JP2019219981A - 施策探索装置、方法、およびプログラム - Google Patents
施策探索装置、方法、およびプログラム Download PDFInfo
- Publication number
- JP2019219981A JP2019219981A JP2018117639A JP2018117639A JP2019219981A JP 2019219981 A JP2019219981 A JP 2019219981A JP 2018117639 A JP2018117639 A JP 2018117639A JP 2018117639 A JP2018117639 A JP 2018117639A JP 2019219981 A JP2019219981 A JP 2019219981A
- Authority
- JP
- Japan
- Prior art keywords
- index
- value function
- state
- action
- measure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000009471 action Effects 0.000 claims abstract description 62
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000007704 transition Effects 0.000 claims abstract description 19
- 230000006872 improvement Effects 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 66
- 230000008569 process Effects 0.000 claims description 63
- 238000004088 simulation Methods 0.000 claims description 55
- 230000002787 reinforcement Effects 0.000 claims description 44
- 238000004364 calculation method Methods 0.000 claims description 13
- 208000018910 keratinopathic ichthyosis Diseases 0.000 description 120
- 238000010586 diagram Methods 0.000 description 10
- 238000012423 maintenance Methods 0.000 description 9
- 238000013500 data storage Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008094 contradictory effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9536—Search customisation based on social or collaborative filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
Claims (8)
- 所定の対象環境における施策を探索する施策探索装置であって、
向上すべき第1指標と前記第1指標と異なる第2指標との入力を受け付ける入出力部と、
前記対象環境に行動を適用して前記対象環境の状態遷移をシミュレーションし、シミュレーション結果として、遷移後の前記対象環境の状態と、前記第1指標により示される前記適用した行動に対する報酬とを算出するシミュレーション処理部と、
前記対象環境の状態に対する行動の価値を表す価値関数に基づいて行動を選択し、前記選択した行動を適用して前記対象環境の状態遷移を前記シミュレーション処理部にシミュレーションさせ、遷移後の前記対象環境の状態と、前記第1指標により示される前記適用した行動に対する報酬とを取得し、前記状態と前記報酬とに基づいて前記価値関数を更新するまでの一連の処理を複数回繰り返すエピソードを実行し、前記第2指標が所定の条件を満たしたエピソードを蓄積し、前記蓄積したエピソードに基づいて前記価値関数を改善し、前記エピソードの実行から前記価値関数の改善までの一連の処理を所定の終了条件が満たされるまで繰り返し、得られた前記価値関数に基づいて定まる施策を提示する施策探索処理部と、
を有する施策探索装置。 - 前記施策探索処理部は、第1指標から報酬を算出する報酬計算関数を予め定めておき、前記入出力部が入力を受け付けた第1指標に基づいて前記報酬計算関数を選択する、
請求項1に記載の施策探索装置。 - 前記入出力部は、更に、複数の前記第2指標の重みの入力を受け付け、
前記施策探索処理部は、重みの比較的大きい第2指標を重みの比較的小さい第2指標よりも優先的に良好な値に維持するようにエピソードを選択して蓄積する、
請求項1に記載の施策対策装置。 - 前記施策探索処理部は、前記繰り返し実行された複数のエピソードにおける前記第1指標と前記第2指標との相関係数を算出し、前記相関係数が負であれば警告を提示する、
請求項1に記載の施策探索装置。 - 前記施策探索処理部は、前記エピソードの実行による強化学習と並行して前記相関係数を算出し、前記相関係数が負であると判断した段階で前記強化学習を終了する、
請求項4に記載の施策探索装置。 - 前記施策探索処理部は、前記入出力部にて入力を受け付けた第1指標が、過去の施策探索において第2指標とされた指標であれば、前記過去の施策探索時に得られた価値関数を今回の施策探索における価値関数の初期値として用いる、
請求項1に記載の施策探索装置。 - 所定の対象環境における施策を探索するための施策探索方法であって、
向上すべき第1指標と前記第1指標と異なる第2指標との入力を受け付け、
前記対象環境の状態に対する行動の価値を表す価値関数に基づいて行動を選択し、前記選択した行動を適用して前記対象環境の状態遷移をシミュレーションし、シミュレーション結果である、遷移後の前記対象環境の状態と、前記第1指標により示される前記適用した行動に対する報酬とを取得し、前記状態と前記報酬とに基づいて前記価値関数を更新するまでの一連の処理を複数回繰り返すエピソードを実行し、
前記第2指標が所定の条件を満たしたエピソードを蓄積し、
前記蓄積したエピソードに基づいて前記価値関数を改善し、
前記エピソードの実行から前記価値関数の改善までの一連の処理を所定の終了条件が満たされるまで繰り返し、
得られた前記価値関数に基づいて定まる施策を提示する、
ことをコンピュータが実行する施策探索方法。 - 所定の対象環境における施策を探索するための施策探索プログラムであって、
向上すべき第1指標と前記第1指標と異なる第2指標との入力を受け付け、
前記対象環境の状態に対する行動の価値を表す価値関数に基づいて行動を選択し、前記選択した行動を適用して前記対象環境の状態遷移をシミュレーションし、シミュレーション結果である、遷移後の前記対象環境の状態と、前記第1指標により示される前記適用した行動に対する報酬とを取得し、前記状態と前記報酬とに基づいて前記価値関数を更新するまでの一連の処理を複数回繰り返すエピソードを実行し、
前記第2指標が所定の条件を満たしたエピソードを蓄積し、
前記蓄積したエピソードに基づいて前記価値関数を改善し、
前記エピソードの実行から前記価値関数の改善までの一連の処理を所定の終了条件が満たされるまで繰り返し、
得られた前記価値関数に基づいて定まる施策を提示する、
ことをコンピュータに実行させるための施策探索プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018117639A JP7160574B2 (ja) | 2018-06-21 | 2018-06-21 | 処理装置、方法、およびプログラム |
CN201910388236.XA CN110633802A (zh) | 2018-06-21 | 2019-05-10 | 策略搜索装置、方法及记录介质 |
CN202110147006.1A CN112966806A (zh) | 2018-06-21 | 2019-05-10 | 处理装置、处理方法及记录介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018117639A JP7160574B2 (ja) | 2018-06-21 | 2018-06-21 | 処理装置、方法、およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019219981A true JP2019219981A (ja) | 2019-12-26 |
JP2019219981A5 JP2019219981A5 (ja) | 2021-08-05 |
JP7160574B2 JP7160574B2 (ja) | 2022-10-25 |
Family
ID=68968563
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018117639A Active JP7160574B2 (ja) | 2018-06-21 | 2018-06-21 | 処理装置、方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7160574B2 (ja) |
CN (2) | CN110633802A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023024296A (ja) * | 2021-08-05 | 2023-02-16 | アジャイルソーダ インコーポレイテッド | ピックアンドプレイスシステムのための深層強化学習装置及び方法 |
WO2023079821A1 (ja) * | 2021-11-02 | 2023-05-11 | 株式会社日立製作所 | 業務設計支援システム、および業務設計支援方法 |
JP7449982B2 (ja) | 2022-07-05 | 2024-03-14 | 株式会社日立製作所 | 施策策定支援システム、施策策定支援方法、および、施策策定支援プログラム |
JP7466479B2 (ja) | 2021-02-22 | 2024-04-12 | 株式会社日立製作所 | 業務改善支援装置、プログラムおよびプログラムを格納した記憶媒体 |
WO2024084817A1 (ja) * | 2022-10-21 | 2024-04-25 | 株式会社日立製作所 | 業務施策評価装置、および、業務施策評価方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004178492A (ja) * | 2002-11-29 | 2004-06-24 | Mitsubishi Heavy Ind Ltd | 強化学習法を用いたプラントシミュレーション方法 |
JP2012102629A (ja) * | 2010-11-08 | 2012-05-31 | Honda Motor Co Ltd | プラントの制御装置 |
US20140100777A1 (en) * | 2008-06-30 | 2014-04-10 | Autonomous Solutions, Inc. | Vehicle dispatching method and system |
JP2017199074A (ja) * | 2016-04-25 | 2017-11-02 | ファナック株式会社 | 製品の異常に関連する変数の判定値を設定する生産システム |
-
2018
- 2018-06-21 JP JP2018117639A patent/JP7160574B2/ja active Active
-
2019
- 2019-05-10 CN CN201910388236.XA patent/CN110633802A/zh active Pending
- 2019-05-10 CN CN202110147006.1A patent/CN112966806A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004178492A (ja) * | 2002-11-29 | 2004-06-24 | Mitsubishi Heavy Ind Ltd | 強化学習法を用いたプラントシミュレーション方法 |
US20140100777A1 (en) * | 2008-06-30 | 2014-04-10 | Autonomous Solutions, Inc. | Vehicle dispatching method and system |
JP2012102629A (ja) * | 2010-11-08 | 2012-05-31 | Honda Motor Co Ltd | プラントの制御装置 |
JP2017199074A (ja) * | 2016-04-25 | 2017-11-02 | ファナック株式会社 | 製品の異常に関連する変数の判定値を設定する生産システム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7466479B2 (ja) | 2021-02-22 | 2024-04-12 | 株式会社日立製作所 | 業務改善支援装置、プログラムおよびプログラムを格納した記憶媒体 |
JP2023024296A (ja) * | 2021-08-05 | 2023-02-16 | アジャイルソーダ インコーポレイテッド | ピックアンドプレイスシステムのための深層強化学習装置及び方法 |
JP7398830B2 (ja) | 2021-08-05 | 2023-12-15 | アジャイルソーダ インコーポレイテッド | ピックアンドプレイスシステムのための深層強化学習装置及び方法 |
WO2023079821A1 (ja) * | 2021-11-02 | 2023-05-11 | 株式会社日立製作所 | 業務設計支援システム、および業務設計支援方法 |
JP7449982B2 (ja) | 2022-07-05 | 2024-03-14 | 株式会社日立製作所 | 施策策定支援システム、施策策定支援方法、および、施策策定支援プログラム |
WO2024084817A1 (ja) * | 2022-10-21 | 2024-04-25 | 株式会社日立製作所 | 業務施策評価装置、および、業務施策評価方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110633802A (zh) | 2019-12-31 |
JP7160574B2 (ja) | 2022-10-25 |
CN112966806A (zh) | 2021-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019219981A (ja) | 施策探索装置、方法、およびプログラム | |
WO2016152053A1 (ja) | 精度推定モデル生成システムおよび精度推定システム | |
US11645562B2 (en) | Search point determining method and search point determining apparatus | |
US10997373B2 (en) | Document-based response generation system | |
US20070112609A1 (en) | Methods and apparatus to incorporate user feedback during planning | |
JP5460426B2 (ja) | 生産性評価装置、生産性評価方法およびプログラム | |
CN113312854B (zh) | 选型推荐方法、装置、电子设备和可读存储介质 | |
JP7069029B2 (ja) | 自動予測システム、自動予測方法および自動予測プログラム | |
US20170017655A1 (en) | Candidate services for an application | |
US11481659B1 (en) | Hyperparameter optimization using fairness constraints | |
WO2016151620A1 (ja) | シミュレートシステム、シミュレート方法およびシミュレート用プログラム | |
EP3407207A1 (en) | System, method, and program for reconciling input datasets with a model ontology | |
KR20190130212A (ko) | 엔지니어링 빅데이터 기반의 설계 전문가 시스템 및 그 설계 방법 | |
JP2021033544A (ja) | 学習データの精練方法及び計算機システム | |
US20220147850A1 (en) | Hypothesis verification apparatus, hypothesis verification, and computer-readable recording medium | |
JP6546798B2 (ja) | 情報処理装置および情報提示システム | |
JP2020030738A (ja) | 学習データの解析方法及び計算機システム | |
WO2022244625A1 (ja) | 修理内容予測方法、修理内容予測装置、プログラム、及び、修理内容予測モデルの作成方法 | |
JP7125575B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラム、及び情報処理システム | |
JP6702499B2 (ja) | 情報処理システム、情報処理方法、及び、プログラム | |
JP2003122800A (ja) | 設計パラメータ決定支援装置 | |
JP2023116906A (ja) | データ処理装置、データ処理方法及びプログラム | |
CN115759281A (zh) | 目标模型的构建方法、装置、存储介质和电子设备 | |
JP2022081335A (ja) | 予測規則校正システム、および予測規則校正方法 | |
JP2021117763A (ja) | 計算機システム及びデータのアクセス制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210624 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220419 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220617 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220817 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220913 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221013 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7160574 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |