JP2020194242A - 学習装置、学習方法、学習プログラム、自動制御装置、自動制御方法および自動制御プログラム - Google Patents
学習装置、学習方法、学習プログラム、自動制御装置、自動制御方法および自動制御プログラム Download PDFInfo
- Publication number
- JP2020194242A JP2020194242A JP2019098109A JP2019098109A JP2020194242A JP 2020194242 A JP2020194242 A JP 2020194242A JP 2019098109 A JP2019098109 A JP 2019098109A JP 2019098109 A JP2019098109 A JP 2019098109A JP 2020194242 A JP2020194242 A JP 2020194242A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- state value
- target device
- value
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000013016 learning Effects 0.000 title claims abstract description 248
- 238000000034 method Methods 0.000 title claims description 20
- 238000009825 accumulation Methods 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 150000003839 salts Chemical class 0.000 description 16
- 238000005303 weighing Methods 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000012636 effector Substances 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Abstract
Description
学習装置100は、図1に示すように、第1の学習モデル101、第2の学習モデル102、蓄積部103、取得部104、学習部105、手動制御部106、自動制御部107および表示制御部108を備えている。
図3は、学習装置100によるマニピュレータ10の自動制御の流れの一例を示すフローチャートである。なお、一部のステップは並行して、または、順序を替えて実行してもよい。事前(過去)に後述する手動学習または自動学習がなされた学習装置100は、マニピュレータ10(対象機器)を自動制御することができる。
ステップS3において、自動制御部107は、第2の学習モデル102から、カメラ13が撮像した撮像画像の特徴量を取得する。
図6は、学習装置100による手動学習の流れの一例を示すフローチャートである。なお、一部のステップは並行して、または、順序を替えて実行してもよい。
教師データは、状態値、特徴量および計測値の時系列データと、目標値に代えて、結果値と、を含む。すなわち、一態様において、教師データは、図4に示す入力パラメータの時系列データであって、設定された目標値が割り当てられていたパラメータの代わりに、取得部104が取得した結果値が固定値として入力されたデータである。
学習装置100は、図2に示す自動制御部107による制御の結果として蓄積部103に蓄積された状態値および特徴量の時系列データと、取得部104が取得した計測値および結果値とを用いて教師データを生成し、学習を行うことができる。これにより、動作精度を自動的に向上させることができる。つまり、学習装置100は、人の手を介さずに、学習モデルを自習することができる。したがって、手動学習の回数が少なく、手動学習により得られた対象機器の動作精度が所望の動作精度より低い場合であっても、自動学習により、対象機器の動作精度を所望の動作精度まで向上させることができる。言い換えると、少ない手動学習により、高い動作精度を得ることができる。結果として、手動学習を行う作業者の手間を減らすと共に、学習に要する時間を短くすることができる。
蓄積部103が状態値、特徴量および計測値を取得する間隔は、マニピュレータ10の制御に要する時間に近いことが好ましい。換言すれば、教師データに用いる状態値、特徴量および計測値のサンプリングレートは、マニピュレータ10の制御の処理レートに近いことが好ましい。
上記実施形態では、入力パラメータとして、撮像画像の特徴量が含まれているが、当該特徴量は含めなくともよい。また、入力パラメータとして、目標値(結果値)が含まれているが、目標値(結果値)は含めなくともよい。
学習装置100の制御ブロック(特に、蓄積部103、取得部104、学習部105、手動制御部106、自動制御部107および表示制御部108)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
本発明の態様1に係る学習装置は、動作中の対象機器の状態値および当該動作の計測値を経時的に取得して蓄積する蓄積部と、動作中の対象機器の状態値および当該動作の計測値が少なくとも入力され、当該対象機器の未来の状態値を予測する第1の学習モデルに、教師データを学習させる学習部と、を備え、前記教師データは、前記蓄積部に蓄積された前記状態値および前記計測値の時系列データを含む。
2 塩
10 マニピュレータ(対象機器)
11 関節
12 センサ
13 カメラ
14 計測装置
15 入力デバイス
16 ディスプレイ(表示部)
100 学習装置
101 第1の学習モデル
102 第2の学習モデル
103 蓄積部
104 取得部
105 学習部
106 手動制御部
107 自動制御部
108 表示制御部
200 現在の撮像画像
201 未来の撮像画像
Claims (20)
- 動作中の対象機器の状態値および当該動作の計測値を経時的に取得して蓄積する蓄積部と、
動作中の対象機器の状態値および当該動作の計測値が少なくとも入力され、当該対象機器の未来の状態値を予測する第1の学習モデルに、教師データを学習させる学習部と、を備え、
前記教師データは、前記蓄積部に蓄積された前記状態値および前記計測値の時系列データを含むことを特徴とする学習装置。 - 前記動作が完了したときの計測値である結果値を取得する取得部をさらに備え、
前記第1の学習モデルの入力データは、前記対象機器の動作の目標値をさらに含み、
前記教師データは、さらに、前記目標値に代えて、前記取得部が取得した前記結果値を含むことを特徴とする請求項1に記載の学習装置。 - 外部からの指示に応じて前記対象機器を制御する手動制御部をさらに備え、
前記学習部は、前記手動制御部による制御の結果として前記蓄積部に蓄積された前記状態値および前記計測値の時系列データを少なくとも用いて学習を行うことを特徴とする請求項1または2に記載の学習装置。 - 動作中の前記対象機器の状態値および前記動作の計測値を前記第1の学習モデルに入力し、前記第1の学習モデルが予測した前記未来の状態値に前記対象機器の状態値を近づけるように前記対象機器を制御する自動制御部をさらに備えていることを特徴とする請求項1〜3のいずれか一項に記載の学習装置。
- 前記学習部は、前記自動制御部による制御の結果として前記蓄積部に蓄積された前記状態値および前記計測値の時系列データを少なくとも用いて、学習を行うことを特徴とする請求項4に記載の学習装置。
- 前記自動制御部は、前記動作を完了させるまでに掛かった時間に基づいて、当該動作の結果として前記蓄積部に蓄積された前記状態値および前記計測値の時系列データを少なくとも用いた学習を前記学習部に行わせるか否かを判定することを特徴とする請求項5に記載の学習装置。
- 前記自動制御部は、前記状態値または前記計測値を取得してから前記対象機器を制御するまでに掛かった時間を測定し、当該時間に基づいて、前記蓄積部が、前記状態値または前記計測値を取得する間隔を調整することを特徴とする請求項4〜6のいずれか一項に記載の学習装置。
- 前記蓄積部は、さらに、前記対象機器の動作の目的物を撮像した撮像画像の特徴量を経時的に取得して蓄積し、
前記第1の学習モデルには、さらに、前記撮像画像の特徴量が入力され、
前記教師データは、さらに、前記蓄積部に蓄積された前記特徴量の時系列データを含むことを特徴とする請求項1〜7のいずれか一項に記載の学習装置。 - 前記蓄積部は、さらに、前記撮像画像を蓄積し、
前記学習部は、入力画像と出力画像とが一致するように深層学習される第2の学習モデルに、前記蓄積部に蓄積された前記撮像画像を学習させ、
前記撮像画像の特徴量は、当該撮像画像が入力された前記第2の学習モデルから得られることを特徴とする請求項8に記載の学習装置。 - 前記第1の学習モデルは、さらに、未来の撮像画像の特徴量を予測し、
前記第1の学習モデルが予測した前記未来の撮像画像の特徴量から復元した前記未来の撮像画像と、前記目的物を撮像した撮像画像とを表示部に表示させる表示制御部をさらに備えていることを特徴とする請求項8または9に記載の学習装置。 - 前記教師データは、複数次元のパラメータの時系列データを含み、次元毎に前記パラメータが正規化されていることを特徴とする請求項1〜10のいずれか一項に記載の学習装置。
- 前記第1の学習モデルは、RNNであることを特徴とする請求項1〜11のいずれか一項に記載の学習装置。
- 前記対象機器は、関節を有するマニピュレータであり、
前記状態値は、前記関節の状態値を含むことを特徴とする請求項1〜12のいずれか一項に記載の学習装置。 - 動作中の対象機器の状態値および当該動作の計測値を経時的に取得して蓄積する蓄積工程と、
動作中の対象機器の状態値および当該動作の計測値が少なくとも入力され、当該対象機器の未来の状態値を予測する第1の学習モデルに、教師データを学習させる学習工程と、を含み、
前記教師データは、前記蓄積工程で蓄積された前記状態値および前記計測値の時系列データを含むことを特徴とする学習方法。 - 請求項1に記載の学習装置としてコンピュータを機能させるための学習プログラム。
- 請求項15に記載の学習プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 動作中の対象機器の状態値および当該動作の計測値が少なくとも入力され、当該対象機器の未来の状態値を予測する第1の学習モデルと、
少なくとも動作中の前記対象機器の状態値および当該動作の計測値を前記第1の学習モデルに入力し、前記第1の学習モデルが予測した前記未来の状態値に前記対象機器の状態値を近づけるように前記対象機器を制御する自動制御部と、を備え、
前記第1の学習モデルは、過去の前記対象機器の前記状態値および前記計測値の時系列データを含む教師データを学習していることを特徴とする自動制御装置。 - 動作中の対象機器の状態値および当該動作の計測値が少なくとも入力され、当該対象機器の未来の状態値を予測する第1の学習モデルに、少なくとも動作中の前記対象機器の状態値および当該動作の計測値を入力し、前記第1の学習モデルが予測した前記未来の状態値に前記対象機器の状態値を近づけるように前記対象機器を制御する自動制御工程を含み、
前記第1の学習モデルは、過去の前記対象機器の前記状態値および前記計測値の時系列データを含む教師データを学習していることを特徴とする自動制御方法。 - 請求項17に記載の自動制御装置としてコンピュータを機能させるための自動制御プログラム。
- 請求項19に記載の自動制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019098109A JP6811465B2 (ja) | 2019-05-24 | 2019-05-24 | 学習装置、学習方法、学習プログラム、自動制御装置、自動制御方法および自動制御プログラム |
PCT/JP2020/014981 WO2020241037A1 (ja) | 2019-05-24 | 2020-04-01 | 学習装置、学習方法、学習プログラム、自動制御装置、自動制御方法および自動制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019098109A JP6811465B2 (ja) | 2019-05-24 | 2019-05-24 | 学習装置、学習方法、学習プログラム、自動制御装置、自動制御方法および自動制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020194242A true JP2020194242A (ja) | 2020-12-03 |
JP6811465B2 JP6811465B2 (ja) | 2021-01-13 |
Family
ID=73547509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019098109A Active JP6811465B2 (ja) | 2019-05-24 | 2019-05-24 | 学習装置、学習方法、学習プログラム、自動制御装置、自動制御方法および自動制御プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6811465B2 (ja) |
WO (1) | WO2020241037A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022145213A1 (ja) * | 2020-12-28 | 2022-07-07 | ソニーグループ株式会社 | 制御装置、制御システム及び制御方法 |
WO2022145150A1 (ja) * | 2020-12-28 | 2022-07-07 | ソニーグループ株式会社 | 制御システム及び制御方法 |
JP2023095698A (ja) * | 2021-12-24 | 2023-07-06 | 知能技術株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
US20230271319A1 (en) * | 2022-02-28 | 2023-08-31 | Denso Wave Incorporated | Method of generating a learning model for transferring fluid from one container to another by controlling robot arm based on a machine-learned learning model, and a method and system for weighing the fluid |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6955733B1 (ja) * | 2021-02-17 | 2021-10-27 | 株式会社エクサウィザーズ | 情報処理装置、情報処理方法、及びプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11272305A (ja) * | 1998-03-23 | 1999-10-08 | Toshiba Corp | プラント制御装置 |
JP2018100896A (ja) * | 2016-12-20 | 2018-06-28 | ヤフー株式会社 | 選択装置、選択方法及び選択プログラム |
JP2018206286A (ja) * | 2017-06-09 | 2018-12-27 | 川崎重工業株式会社 | 動作予測システム及び動作予測方法 |
JP2019032649A (ja) * | 2017-08-07 | 2019-02-28 | ファナック株式会社 | 制御装置及び機械学習装置 |
-
2019
- 2019-05-24 JP JP2019098109A patent/JP6811465B2/ja active Active
-
2020
- 2020-04-01 WO PCT/JP2020/014981 patent/WO2020241037A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11272305A (ja) * | 1998-03-23 | 1999-10-08 | Toshiba Corp | プラント制御装置 |
JP2018100896A (ja) * | 2016-12-20 | 2018-06-28 | ヤフー株式会社 | 選択装置、選択方法及び選択プログラム |
JP2018206286A (ja) * | 2017-06-09 | 2018-12-27 | 川崎重工業株式会社 | 動作予測システム及び動作予測方法 |
JP2019032649A (ja) * | 2017-08-07 | 2019-02-28 | ファナック株式会社 | 制御装置及び機械学習装置 |
Non-Patent Citations (4)
Title |
---|
"エクサウィザーズと大成建設、力触覚伝達型遠隔操作システムとAIを連携", 株式会社エクサウィザーズ ニュースリリース [ONLINE], JPN6020033037, 20 February 2019 (2019-02-20), ISSN: 0004339711 * |
"マルチモーダルAIロボットをGTC Japan 2018で展示します(前編)", エクサウィザーズ ENGINEER BLOG[ONLINE], JPN6020024175, 11 September 2018 (2018-09-11), ISSN: 0004300750 * |
湯川鶴章: "マルチモーダルAIロボットは匠の技を再現できるか インターフェックス大阪で見た世界最先端", エクサコミュニティ[ONLINE], JPN6020024173, 4 March 2019 (2019-03-04), ISSN: 0004300749 * |
鈴木彼方ほか: "深層学習を用いた多自由度ロボットによる柔軟物の折り畳み動作生成", 情報処理学会第78回(平成28年)全国大会講演論文集(2) 人工知能と認知科学, JPN6020024176, 10 March 2016 (2016-03-10), JP, pages 319 - 2, ISSN: 0004339710 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022145213A1 (ja) * | 2020-12-28 | 2022-07-07 | ソニーグループ株式会社 | 制御装置、制御システム及び制御方法 |
WO2022145150A1 (ja) * | 2020-12-28 | 2022-07-07 | ソニーグループ株式会社 | 制御システム及び制御方法 |
JP2023095698A (ja) * | 2021-12-24 | 2023-07-06 | 知能技術株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
US20230271319A1 (en) * | 2022-02-28 | 2023-08-31 | Denso Wave Incorporated | Method of generating a learning model for transferring fluid from one container to another by controlling robot arm based on a machine-learned learning model, and a method and system for weighing the fluid |
Also Published As
Publication number | Publication date |
---|---|
JP6811465B2 (ja) | 2021-01-13 |
WO2020241037A1 (ja) | 2020-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6811465B2 (ja) | 学習装置、学習方法、学習プログラム、自動制御装置、自動制御方法および自動制御プログラム | |
JP6810087B2 (ja) | 機械学習装置、機械学習装置を用いたロボット制御装置及びロボットビジョンシステム、並びに機械学習方法 | |
JP6676030B2 (ja) | 把持システム、学習装置、把持方法、及び、モデルの製造方法 | |
EP1864764B1 (en) | Robot simulation apparatus | |
JP6680750B2 (ja) | 制御装置及び機械学習装置 | |
CN109397285B (zh) | 一种装配方法、装配装置及装配设备 | |
WO2011065034A1 (ja) | ロボットの動作を制御する方法およびロボットシステム | |
JP2019166626A (ja) | 制御装置及び機械学習装置 | |
JP2018202550A (ja) | 機械学習装置、機械学習方法、および機械学習プログラム | |
JP7458741B2 (ja) | ロボット制御装置及びその制御方法及びプログラム | |
JP2019084601A (ja) | 情報処理装置、把持システムおよび情報処理方法 | |
CN112638596B (zh) | 自主学习型机器人装置以及自主学习型机器人装置的动作生成方法 | |
JP7128736B2 (ja) | ロボット制御装置、ロボットシステム及びロボット制御方法 | |
CN113412178B (zh) | 机器人控制装置、机器人系统以及机器人控制方法 | |
JP2022543926A (ja) | ロボットシステムのためのデリバティブフリーモデル学習のシステムおよび設計 | |
US20190009407A1 (en) | Component supply device and machine learning device | |
JP2021501433A (ja) | ターゲットシステム用制御システムの生成 | |
Campbell et al. | Learning whole-body human-robot haptic interaction in social contexts | |
JP2018122376A (ja) | 画像処理装置、ロボット制御装置、及びロボット | |
US11059180B2 (en) | Control device and machine learning device | |
CN114417738B (zh) | 稀疏imu实时人体动作捕捉及关节受力预测方法及系统 | |
CN114454176B (zh) | 机器人的控制方法、控制装置、机器人和存储介质 | |
JP7376318B2 (ja) | アノテーション装置 | |
Thompson et al. | Identification of unknown object properties based on tactile motion sequence using 2-finger gripper robot | |
JP2021084188A (ja) | 制御システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200107 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200107 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200908 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201207 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6811465 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |