JP2021082367A - シミュレーション装置、シミュレーション方法およびシミュレーションプログラム - Google Patents
シミュレーション装置、シミュレーション方法およびシミュレーションプログラム Download PDFInfo
- Publication number
- JP2021082367A JP2021082367A JP2021035735A JP2021035735A JP2021082367A JP 2021082367 A JP2021082367 A JP 2021082367A JP 2021035735 A JP2021035735 A JP 2021035735A JP 2021035735 A JP2021035735 A JP 2021035735A JP 2021082367 A JP2021082367 A JP 2021082367A
- Authority
- JP
- Japan
- Prior art keywords
- simulation
- prediction model
- learning
- data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Testing And Monitoring For Control Systems (AREA)
- Feedback Control In General (AREA)
Abstract
Description
以下の実施の形態では、第1の実施形態に係るシミュレーション装置100の構成、シミュレーション装置100の処理の流れを順に説明し、最後に第1の実施形態による効果を説明する。
まず、図1を用いて、シミュレーション装置100の構成を説明する。図1は、第1の実施形態に係るシミュレーション装置の構成の一例を示すブロック図である。シミュレーション装置100は、例えば、他の情報処理装置から学習用データの入力を受け付ける。シミュレーション装置100は、生成部が、受け付けた学習用データを用いて学習し、予測モデルを生成する。シミュレーション装置100は、シミュレーションに用いる評価用データと、生成された予測モデルと、シミュレーションにおける強化学習を行う強化学習器と、シミュレーションにおける模倣学習を行う模倣学習器とのうち、いずれか1つまたは複数の配置を受け付ける。シミュレーション装置100は、受け付けた配置の状態に基づいて、評価用データと、予測モデルと、強化学習器と、模倣学習器とを用いたシミュレーションを実行する。シミュレーション装置100は、シミュレーションにおける強化学習器の学習結果に基づいて、予測モデルの再生成を行うか否かを判定する。シミュレーション装置100は、予測モデルの再生成を行うと判定した場合、生成部に対して、予測モデルの再生成を指示する。これにより、シミュレーション装置100は、高精度なシミュレーション環境を容易に構築することができる。
次に、第1の実施形態に係るシミュレーション装置100の動作について説明する。図5は、第1の実施形態におけるシミュレーション処理の一例を示すフローチャートである。
このように、シミュレーション装置100は、学習用データの入力を受け付ける。また、シミュレーション装置100は、生成部が、受け付けた学習用データを用いて学習し、予測モデルを生成する。また、シミュレーション装置100は、シミュレーションに用いる評価用データと、生成された予測モデルと、シミュレーションにおける強化学習を行う強化学習器と、シミュレーションにおける模倣学習を行う模倣学習器とのうち、いずれか1つまたは複数の配置を受け付ける。また、シミュレーション装置100は、受け付けた配置の状態に基づいて、評価用データと、予測モデルと、強化学習器と、模倣学習器とを用いたシミュレーションを実行する。また、シミュレーション装置100は、シミュレーションにおける強化学習器の学習結果に基づいて、予測モデルの再生成を行うか否かを判定する。また、シミュレーション装置100は、予測モデルの再生成を行うと判定した場合、生成部に対して、予測モデルの再生成を指示する。その結果、シミュレーション装置100は、高精度なシミュレーション環境を容易に構築することができる。また、シミュレーション装置100は、シミュレーション環境の構築から強化学習の実行までを自動化できるので、人手による構築よりも短時間で高精度なシミュレーション環境を構築することができる。なお、構築するシミュレーション環境は、デジタルツイン環境とも呼ばれるものである。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUやGPUおよび当該CPUやGPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
また、上記実施形態において説明したシミュレーション装置が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。例えば、実施形態に係るシミュレーション装置100が実行する処理をコンピュータが実行可能な言語で記述したシミュレーションプログラムを作成することもできる。この場合、コンピュータがシミュレーションプログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるシミュレーションプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたシミュレーションプログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。
110 通信部
111 表示部
112 操作部
120 記憶部
121 学習用データ記憶部
122 予測モデル記憶部
123 評価用データ記憶部
124 配置情報記憶部
125 学習済モデル記憶部
130 制御部
131 第1受付部
132 設定部
133 生成部
134 第2受付部
135 実行部
136 判定部
137 出力制御部
Claims (8)
- 学習用データの入力を受け付ける第1受付部と、
受け付けた前記学習用データを用いて学習し、予測モデルを生成する生成部と、
シミュレーションに用いる評価用データと、生成された前記予測モデルと、前記シミュレーションにおける強化学習を行う強化学習器とのうち、いずれか1つまたは複数の配置を受け付ける第2受付部と、
受け付けた前記配置の状態に基づいて、前記評価用データと、前記予測モデルと、前記強化学習器とを用いた前記シミュレーションを実行する実行部と、
前記シミュレーションにおける前記強化学習器の学習結果に基づいて、前記予測モデルの再生成を行うか否かを判定し、前記予測モデルの再生成を行うと判定した場合、前記生成部に対して、前記予測モデルの再生成を指示する判定部と、
を有することを特徴とするシミュレーション装置。 - 前記判定部は、実環境における前記強化学習器の学習結果に基づく前記予測モデルの予測値と、前記シミュレーションにおける前記強化学習器の学習結果に基づく前記予測モデルの予測値との誤差の評価値に基づいて、前記予測モデルの再生成を行うか否かを判定する、
ことを特徴とする請求項1に記載のシミュレーション装置。 - 前記判定部は、前記シミュレーションにおける前記強化学習器の学習結果に基づく前記予測モデルの予測値と、実測値との相関度合いに基づいて、前記予測モデルの再生成を行うか否かを判定する、
ことを特徴とする請求項1に記載のシミュレーション装置。 - 前記学習用データは、画像データを含み、
前記生成部は、前記予測モデルとして、さらに、前記画像データに基づいて、予測画像データを生成する予測画像モデルを生成し、
前記第2受付部は、前記予測画像モデルの配置を受け付け、
前記実行部は、前記予測画像モデルを含む前記シミュレーションを実行し、
さらに、前記シミュレーションにおける前記強化学習器の学習結果に基づく前記予測モデルの予測値に対応する前記予測画像データを出力する出力制御部を有する、
ことを特徴とする請求項1〜3のいずれか1つに記載のシミュレーション装置。 - 前記学習用データは、音声データを含み、
前記生成部は、前記予測モデルとして、さらに、前記音声データに基づいて、予測音声データを生成する予測音声モデルを生成し、
前記第2受付部は、前記予測音声モデルの配置を受け付け、
前記実行部は、前記予測音声モデルを含む前記シミュレーションを実行し、
さらに、前記シミュレーションにおける前記強化学習器の学習結果に基づく前記予測モデルの予測値に対応する前記予測音声データを出力する出力制御部を有する、
ことを特徴とする請求項1〜4のいずれか1つに記載のシミュレーション装置。 - 前記判定部は、さらに、前記出力制御部が出力した予測画像データまたは予測音声データに対する評価を受け付け、受け付けた評価に基づいて、前記予測モデルの再生成を行うか否かを判定する、
ことを特徴とする請求項4または5に記載のシミュレーション装置。 - 学習用データの入力を受け付ける第1受付工程と、
受け付けた前記学習用データを用いて学習し、予測モデルを生成する生成工程と、
シミュレーションに用いる評価用データと、生成された前記予測モデルと、前記シミュレーションにおける強化学習を行う強化学習器とのうち、いずれか1つまたは複数の配置を受け付ける第2受付工程と、
受け付けた前記配置の状態に基づいて、前記評価用データと、前記予測モデルと、前記強化学習器とを用いた前記シミュレーションを実行する実行工程と、
前記シミュレーションにおける前記強化学習器の学習結果に基づいて、前記予測モデルの再生成を行うか否かを判定し、前記予測モデルの再生成を行うと判定した場合、前記生成工程に対して、前記予測モデルの再生成を指示する判定工程と、
をシミュレーション装置が実行することを特徴とするシミュレーション方法。 - 学習用データの入力を受け付ける第1受付ステップと、
受け付けた前記学習用データを用いて学習し、予測モデルを生成する生成ステップと、
シミュレーションに用いる評価用データと、生成された前記予測モデルと、前記シミュレーションにおける強化学習を行う強化学習器とのうち、いずれか1つまたは複数の配置を受け付ける第2受付ステップと、
受け付けた前記配置の状態に基づいて、前記評価用データと、前記予測モデルと、前記強化学習器とを用いた前記シミュレーションを実行する実行ステップと、
前記シミュレーションにおける前記強化学習器の学習結果に基づいて、前記予測モデルの再生成を行うか否かを判定し、前記予測モデルの再生成を行うと判定した場合、前記生成ステップに対して、前記予測モデルの再生成を指示する判定ステップと、
をコンピュータに実行させることを特徴とするシミュレーションプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021035735A JP7084520B2 (ja) | 2021-03-05 | 2021-03-05 | シミュレーション装置、シミュレーション方法およびシミュレーションプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021035735A JP7084520B2 (ja) | 2021-03-05 | 2021-03-05 | シミュレーション装置、シミュレーション方法およびシミュレーションプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019021965A Division JP6850313B2 (ja) | 2019-02-08 | 2019-02-08 | シミュレーション装置、シミュレーション方法およびシミュレーションプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021082367A true JP2021082367A (ja) | 2021-05-27 |
JP7084520B2 JP7084520B2 (ja) | 2022-06-14 |
Family
ID=75965763
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021035735A Active JP7084520B2 (ja) | 2021-03-05 | 2021-03-05 | シミュレーション装置、シミュレーション方法およびシミュレーションプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7084520B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102477783B1 (ko) * | 2022-06-02 | 2022-12-15 | 이안 주식회사 | 디지털 트윈에 기반한 메타버스를 제공하는 방법 및 시스템 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06266410A (ja) * | 1993-03-11 | 1994-09-22 | Toshiba Corp | ビジュアルフィードバック制御装置 |
JP2015167041A (ja) * | 2015-05-20 | 2015-09-24 | 大澤 昇平 | 機械学習モデル設計支援装置、機械学習モデル設計支援方法、機械学習モデル設計支援装置用プログラム |
JP2018092511A (ja) * | 2016-12-07 | 2018-06-14 | 三菱重工業株式会社 | 運用支援装置、機器運用システム、運用方法、制御方法及びプログラム |
JP2019021186A (ja) * | 2017-07-20 | 2019-02-07 | 横河電機株式会社 | データ処理装置、制御システム、データ処理方法及びプログラム |
-
2021
- 2021-03-05 JP JP2021035735A patent/JP7084520B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06266410A (ja) * | 1993-03-11 | 1994-09-22 | Toshiba Corp | ビジュアルフィードバック制御装置 |
JP2015167041A (ja) * | 2015-05-20 | 2015-09-24 | 大澤 昇平 | 機械学習モデル設計支援装置、機械学習モデル設計支援方法、機械学習モデル設計支援装置用プログラム |
JP2018092511A (ja) * | 2016-12-07 | 2018-06-14 | 三菱重工業株式会社 | 運用支援装置、機器運用システム、運用方法、制御方法及びプログラム |
JP2019021186A (ja) * | 2017-07-20 | 2019-02-07 | 横河電機株式会社 | データ処理装置、制御システム、データ処理方法及びプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102477783B1 (ko) * | 2022-06-02 | 2022-12-15 | 이안 주식회사 | 디지털 트윈에 기반한 메타버스를 제공하는 방법 및 시스템 |
Also Published As
Publication number | Publication date |
---|---|
JP7084520B2 (ja) | 2022-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Muratore et al. | Assessing transferability from simulation to reality for reinforcement learning | |
JP6521578B2 (ja) | プロセス制御システムにおける非侵入的データ分析 | |
US20210158162A1 (en) | Training reinforcement learning agents to learn farsighted behaviors by predicting in latent space | |
CN113039495A (zh) | 工业厂房控制器 | |
JP6850313B2 (ja) | シミュレーション装置、シミュレーション方法およびシミュレーションプログラム | |
EP3704550B1 (en) | Generation of a control system for a target system | |
US11762679B2 (en) | Information processing device, information processing method, and non-transitory computer-readable storage medium | |
CN110516389B (zh) | 行为控制策略的学习方法、装置、设备及存储介质 | |
WO2021084587A1 (ja) | 機械学習データ生成装置、機械学習装置、作業システム、コンピュータプログラム、機械学習データ生成方法及び作業機械の製造方法 | |
JP2004178492A (ja) | 強化学習法を用いたプラントシミュレーション方法 | |
CN108604317A (zh) | 可扩展性持有装置 | |
CN108701264A (zh) | 能力赋予数据生成装置 | |
CN110447041A (zh) | 噪声神经网络层 | |
JP2019206041A5 (ja) | 情報処理装置、ロボット制御装置、情報処理方法及びプログラム | |
Holstein et al. | Replay enactments: Exploring possible futures through historical data | |
JP7084520B2 (ja) | シミュレーション装置、シミュレーション方法およびシミュレーションプログラム | |
CN115135463A (zh) | 工业系统的预测模型学习方法、装置和系统 | |
CN111491773B (zh) | 用于注射压机的成型参数处理方法 | |
US11320811B2 (en) | Plant operating condition setting support system, learning device, and operating condition setting support device | |
JP2008117309A (ja) | 生産・物流スケジュール作成装置及び方法、生産・物流プロセス制御装置及び方法、コンピュータプログラム、並びにコンピュータ読み取り可能な記録媒体 | |
JP5125754B2 (ja) | Pidコントローラのチューニング装置、pidコントローラのチューニング用プログラムおよびpidコントローラのチューニング方法 | |
WO2022212313A1 (en) | Ml-based discrepancy surrogate for digital twin simulation | |
WO2021185579A1 (en) | Manufacturing or controlling a technical system using an optimized parameter set | |
US10691852B2 (en) | Model based analysis and control of a real-world system | |
JP7233521B2 (ja) | 検査システム及び検査方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210305 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220301 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220602 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7084520 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |