JP2019155561A - ロボットの動作制御装置 - Google Patents
ロボットの動作制御装置 Download PDFInfo
- Publication number
- JP2019155561A JP2019155561A JP2018047704A JP2018047704A JP2019155561A JP 2019155561 A JP2019155561 A JP 2019155561A JP 2018047704 A JP2018047704 A JP 2018047704A JP 2018047704 A JP2018047704 A JP 2018047704A JP 2019155561 A JP2019155561 A JP 2019155561A
- Authority
- JP
- Japan
- Prior art keywords
- processing
- evaluation value
- robot
- evaluation
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 claims abstract description 144
- 238000012545 processing Methods 0.000 claims abstract description 138
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000033001 locomotion Effects 0.000 claims description 179
- 230000008569 process Effects 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 description 19
- 210000002569 neuron Anatomy 0.000 description 17
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000010365 information processing Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/1635—Programme controls characterised by the control loop flexible-arm control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39311—Multilayer, MNN, four layer perceptron, sigmoidal neural network
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40053—Pick 3-D object from pile of objects
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
Description
以下、本実施形態に係るロボットの動作制御装置について図1及び図2を参照しつつ説明する。図1は、本実施形態に係るロボットの概略図、図2は、動作制御装置を含むロボットの制御システムの機能構成を示すブロック図である。
<2−1.ハードウエア構成>
次に、本実施形態に係るロボットの動作制御装置2を含む制御システムのハードウエア構成について、図4も参照しつつ説明する。図4は、本実施形態に係るロボットの制御システムのハードウエア構成を示すブロック図である。
図1に示すように、このロボット1は、部品を把持可能なロボットハンド10を有しており、このロボットハンド10が上下左右に移動するほか、ロボットハンド10が傾くように構成されている。但し、ロボット1及びロボットハンド10の構成は特には限定されず、他の動作を行えるように適宜変更可能である。
図4に示すように、本実施形態に係るロボットの動作制御装置2は、制御部21、記憶部22、通信インタフェース23、入力装置24、出力装置25、表示装置26、外部インタフェース27、及びドライブ28が電気的に接続されたコンピュータである。なお、図4では、通信インタフェース及び外部インタフェースをそれぞれ、「通信I/F」及び「外部I/F」と記載している。
次に、図2及び図4を参照しつつ、本実施形態に係る動作制御装置の機能構成の一例を説明する。
図2に示すように、動作制御装置2の制御部21は、記憶部22に記憶された制御プログラム221をRAMに展開する。そして、制御部21は、RAMに展開されたプログラム221をCPUにより解釈及び実行して、各構成要素を制御する。これによって、図2に示すように、本実施形態に係る制御装置2は、入力部210、第1〜第3学習器211〜213、及び評価部214を備えるコンピュータとして機能する。
入力部210は、各学習器211〜213への入力として、撮影画像及び動作候補を準備する。例えば、入力装置24からの指示により、ロボット1の制御が始まると、カメラ4にロボットハンド10及び対象部品20を撮影させ、撮影画像を取得する。撮影画像は、撮影画像データ223として記憶部22に記憶することができる。なお、予め撮影画像が取得されている場合には、記憶部22の撮影画像データから必要な撮影画像を読み出すこともできる。また、記憶部22の動作候補データ222から複数の動作候補を入力用に選択する。このとき、入力用の動作候補は、動作候補データ222の中からランダムに選択する。こうして、入力部210により準備された撮影画像及び複数の動作候補を各学習器211〜213に入力する。
第1学習器211では、撮影画像及び複数の動作候補を入力とし、各動作候補による動作によってロボットハンド10が対象部品50を把持できる成功確率を示す第1確率値を出力するように学習されている。ここで、ロボットハンド10が対象部品50を単に把持する動作を第1処理動作と称することとする。
第2学習器212では、撮影画像及び複数の動作候補を入力とし、各動作候補による動作によってロボットハンド10が対象部品50の中心に到達できる成功確率を示す第2確率値を出力するように学習されている。ここで、ロボットハンド10が対象部品50の中心に到達するような動作を第2処理動作と称することとする。
第3学習器213では、撮影画像及び複数の動作候補を入力とし、各動作候補による動作によってロボットハンド10が対象部品50に到達するまでの過程で、他の部品51〜53が移動しない確率を示す第3確率値を出力するように学習されている。すなわち、ロボットハンド10によって、あるいは対象部品50によって、他の部品51〜53が影響を受けずに移動しない確率を出力する。ここで、ロボットハンド10が対象部品50に到達する過程で、他の部品を移動させないような動作を第3処理動作と称することとする。
評価部214は、各学習器211〜213から出力された、各動作候補の確率値に基づいて、ロボット1に対する動作指令を決定するものである。各学習器211〜213からは、図9に示すように、各動作候補M1〜Mnの確率値p1〜p3が評価部214へ出力される。
次に、図10を参照しつつ、動作制御装置2におけるロボットの制御処理の例を説明する。図10は、動作制御装置の処理手順の一例を例示するフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
以上のように、本実施形態によれば、一つの学習器を、すべての条件を考慮するように学習させるのではなく、条件が付加されたときには、その条件のみを考慮した学習器を追加で生成し、生成したすべての学習器211〜213の出力を考慮して、評価部214において、動作指令を算出するようにしている。したがって、学習器の学習の負担を低減すことができる。
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
上記実施形態では、学習器の数が3つであるが、学習器の数は、2以上あればよく、特には限定されない。また、第1学習器211の対象となる処理動作と、第2,第3学習器212,213の処理動作は、関連していればよい。例えば、上記実施形態の第1処理動作と第2処理動作のように、第1処理動作を制約するような処理動作が、第2処理動作となるように関連していてもよい。また、第1処理動作と第3処理動作のように、第1処理動作に起因して生じうる事象に関連する処理動作が第3処理動作となるように関連していてもよい。
上記実施形態では、第1〜第3学習器211〜213を設けたが、例えば、動作制御装置2が、第1学習器211と第3学習器213とを有するように構成されていてもよい。
上記実施形態では、各学習器211〜213において、動作候補の成功確率を評価値として出力しているが、これに限定されない。すなわち、各動作候補の評価値としては、成功確率以外に、例えば、各動作候補に基づくロボットハンド10の移動先の座標とすることもでき、この座標によって、動作候補の評価を行うことができる。例えば、移動先の座標が対象部品50の座標に近ければ、評価値が高くなる。これ以外にも、種々の評価値を用いて、動作候補の評価を行い、これを学習器211〜213から出力することができる。
各学習器211〜213に入力する動作候補は、上記のようにランダムに選択する以外に種々の選択方法がある。例えば、動作制御装置2に、動作候補を生成する動作候補生成部を設ける。この動作候補生成部では、まず、評価値の所定の平均と分散を設定し、これらに基づいて、一定数の動作候補をサンプリングして、動作候補の集合を生成する。次に、学習器を用いて、集合内の各動作候補の評価値を出力し、評価値の高い順にランク付けを行う。続いて、集合内のランクの高い動作候補をいくつか選択し、その動作候補の評価値の平均と分散を算出する。そして、その平均と分散により、集合の平均と分散を更新する。これを繰り返すことで、評価値の高い動作候補を生成することができる。
上記の例では、ニューラルネットワーク7として、多層構造を有する一般的な順伝播型ニューラルネットワークを用いている。しかしながら、各ニューラルネットワーク7の種類は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、各ニューラルネットワーク7は、入力層71及び中間層72を畳み込み層及びプーリング層として利用する畳み込みニューラルネットワークであってもよい。また、例えば、各ニューラルネットワーク7は、中間層72から入力層71等のように出力側から入力側に再帰する結合を有する再帰型ニューラルネットワークであってもよい。なお、各ニューラルネットワーク7の層数、各層におけるニューロンの個数、ニューロン同士の結合関係、及び各ニューロンの伝達関数は、実施の形態に応じて適宜決定されてよい。
上記各学習器211〜213の種類は、特には限定されず、ニューラルネットワーク以外に、例えば、サポートベクターマシン、自己組織化マップ、又は強化学習により学習を行う学習器とすることができる。あるいは、機械学習以外の他の手法を用いることができる。
上記実施形態では、ロボットの動作制御装置2について説明したが、この装置のように、付加的な条件が加えられるたびに、新たな学習器を生成し、複数の学習器の出力を評価する手法は、他の装置にも適用することができる。
また、制御対象物の制御だけでなく、処理対象物に対する処理にも適用することができる。例えば、図12に示すような処理装置に適用することができる。この処理装置9の基本構成は、上述した制御装置8と概ね同じである。但し、学習器に入力される情報は、処理候補だけにすることができる。
212 第2学習器
213 第3学習器
214 評価部
Claims (13)
- 処理対象物に対するロボットの動作制御装置であって、
少なくとも前記処理対象物を撮影した撮影画像、及び前記ロボットの少なくとも一つの動作候補が入力される入力部と、
前記撮影画像、及び少なくとも一つの前記動作候補を入力とし、前記ロボットが第1の処理動作を行うときの、前記各動作候補の評価を示す第1の評価値を出力するために、第1学習データにより学習された学習済みの第1の学習器と、
前記撮影画像、及び少なくとも一つの前記動作候補を入力とし、前記ロボットが第2の処理動作を行うときの、前記各動作候補の評価を示す第2の評価値を出力するために、前記第1学習データとは異なる第2学習データにより、学習された学習済みの第2の学習器と、
前記第1の評価値及び前記第2の評価値の少なくとも一方に基づいて、前記ロボットを動作させるための指令値を算出する評価部と、
を備えている、動作制御装置。 - 前記第1の評価値は、当該第1の動作候補の成功確率を示す確率値であり、
前記第2の評価値は、当該第2の動作候補の成功確率を示す確率値である、請求項1に記載の動作制御装置。 - 前記評価部は、前記各評価値が所定値以上の前記動作候補に基づいて、前記指令値を算出する、請求項1または2に記載の動作制御装置。
- 前記評価部は、前記第1の評価値及び第2の評価値に対し、前記各処理動作に基づく重み付けを行うことで、前記指令値を算出する、請求項1または2に記載の動作制御装置。
- 前記第2の評価値は、前記第1の処理動作及び第2の処理動作の少なくとも一方に起因して起こり得る事象の評価値である、請求項1から4のいずれかに記載の動作制御装置。
- 前記撮影画像、及び少なくとも一つの前記動作候補を入力とし、前記第1の処理動作及び第2の処理動作の少なくとも一方に起因して起こり得る事象を示す第3の評価値を出力とするように、前記第1及び第2学習データとは異なる第3学習データにより、学習された学習済みの第3の学習器をさらに備え、
前記評価部は、前記第3の評価値も用いて、前記指令値を算出する、請求項1から4のいずれかに記載の動作制御装置。 - 前記撮影画像を入力とし、前記第1の処理動作に適した前記第1の動作候補、及び前記第2の処理動作に適した前記第2の動作候補を出力とする動作候補生成部をさらに備えている、請求項1から6のいずれかに記載の動作制御装置。
- 前記第1の処理動作及び前記第2の処理動作の動作候補は、前記ロボットが動作するための移動ベクトルを含む、請求項1から7のいずれかに記載の動作制御装置。
- 処理対象物に対して、処理を行うロボットと、
請求項1から8のいずれかに記載の動作制御装置と、
を備え、
前記動作制御装置から算出された指令値により、前記ロボットが動作するように構成されている、ロボット制御システム。 - 処理対象物に対するロボットの動作制御方法であって、
少なくとも前記処理対象物を撮影した撮影画像、及び前記ロボットの少なくとも一つの動作候補を入力するステップと、
前記撮影画像、及び少なくとも一つの前記動作候補を入力とし、前記ロボットが第1の処理動作を行うときの、前記各動作候補の評価を示す第1の評価値を出力するために、第1学習データにより、学習された学習済みの第1の学習器を準備するステップと、
前記撮影画像、及び少なくとも一つの前記動作候補を入力とし、前記ロボットが第2の処理動作を行うときの、前記各動作候補の評価を示す第2の評価値を出力するために、前記第1学習データとは異なる第2学習データにより、学習された学習済みの第2の学習器を準備するステップと、
前記撮影画像及び前記動作候補から、前記第1の学習器によって、前記第1の評価値を出力するステップと、
前記撮影画像及び前記動作候補から、前記第2の学習器によって、前記第2の評価値を出力するステップと、
前記第1の評価値及び第2の評価値の少なくとも一方に基づいて、前記ロボットを動作させるための指令値を算出するステップと、
を備えている、動作制御方法。 - 処理対象物に対するロボットの動作制御プログラムであって、
コンピュータに、
少なくとも前記処理対象物を撮影した撮影画像、及び前記ロボットの少なくとも一つの動作候補を入力するステップと、
前記撮影画像、及び少なくとも一つの前記動作候補を入力とし、前記ロボットが第1の処理動作を行うときの、前記各動作候補の評価を示す第1の評価値を出力するために、第1学習データにより、学習された学習済みの第1の学習器を準備するステップと、
前記撮影画像、及び少なくとも一つの前記動作候補を入力とし、前記ロボットが第2の処理動作を行うときの、前記各動作候補の評価を示す第2の評価値を出力するために、前記第1学習データとは異なる第2学習データにより、学習された学習済みの第2の学習器を準備するステップと、
前記撮影画像及び前記動作候補から、前記第1の学習器によって、前記第1の評価値を出力するステップと、
前記撮影画像及び前記動作候補から、前記第2の学習器によって、前記第2の評価値を出力するステップと、
前記第1の評価値及び第2の評価値の少なくとも一方に基づいて、前記ロボットを動作させるための指令値を算出するステップと、
を実行させる、動作制御プログラム。 - 制御対象物の制御装置であって、
前記制御対象物に関連する環境情報、及び前記制御対象物に対する少なくとも一つの処理候補を入力する入力部と、
前記環境情報、及び少なくとも一つの前記処理候補を入力とし、前記制御対象物に対し第1の処理を行うときの、前記各処理候補の評価を示す第1の評価値を出力するために、第1学習データにより、学習された学習済みの第1の学習器と、
前記環境情報、及び少なくとも一つの前記処理候補を入力とし、前記制御対象物に対し第2の処理を行うときの、前記各処理候補の評価を示す第2の評価値を出力するために、前記第1学習データとは異なる第2学習データにより、学習された学習済みの第2の学習器と、
前記第1の評価値及び前記第2の評価値の少なくとも一方に基づいて、前記制御対象物を制御するための指令値を算出する評価部と、
を備えている、制御装置。 - 所定の処理を行う処理装置であって、
少なくとも一つの処理候補を入力する入力部と、
少なくとも一つの処理候補を入力とし、第1の処理を行うときの、前記各処理候補の評価を示す第1の評価値を出力するために、第1学習データにより、学習された学習済みの第1の学習器と、
少なくとも一つの前記処理候補を入力とし、第2の処理を行うときの、前記各処理候補の評価を示す第2の評価値を出力するために、前記第1学習データとは異なる第2学習データにより、学習された学習済みの第2の学習器と、
前記第1の評価値及び前記第2の評価値の少なくとも一方に基づいて、前記第1の処理及び前記第2の処理の少なくとも一方の処理候補を決定する評価部と、
を備えている、処理装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018047704A JP6911798B2 (ja) | 2018-03-15 | 2018-03-15 | ロボットの動作制御装置 |
US16/977,478 US11478926B2 (en) | 2018-03-15 | 2019-02-20 | Operation control device for robot, robot control system, operation control method, control device, processing device and recording medium |
PCT/JP2019/006183 WO2019176478A1 (ja) | 2018-03-15 | 2019-02-20 | ロボットの動作制御装置 |
CN201980012028.8A CN111683799B (zh) | 2018-03-15 | 2019-02-20 | 动作控制装置、系统、方法、存储介质、控制及处理装置 |
EP19766953.4A EP3766643A4 (en) | 2018-03-15 | 2019-02-20 | OPERATION CONTROL DEVICE FOR ROBOTS |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018047704A JP6911798B2 (ja) | 2018-03-15 | 2018-03-15 | ロボットの動作制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019155561A true JP2019155561A (ja) | 2019-09-19 |
JP6911798B2 JP6911798B2 (ja) | 2021-07-28 |
Family
ID=67907709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018047704A Active JP6911798B2 (ja) | 2018-03-15 | 2018-03-15 | ロボットの動作制御装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11478926B2 (ja) |
EP (1) | EP3766643A4 (ja) |
JP (1) | JP6911798B2 (ja) |
CN (1) | CN111683799B (ja) |
WO (1) | WO2019176478A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021166448A1 (ja) * | 2020-02-17 | 2021-08-26 | 株式会社デンソー | 車両行動生成装置、車両行動生成方法、および車両行動生成プログラム |
WO2021166449A1 (ja) * | 2020-02-17 | 2021-08-26 | 株式会社デンソー | 車両行動評価装置、車両行動評価方法、および車両行動評価プログラム |
JP2021122924A (ja) * | 2020-02-10 | 2021-08-30 | 住友重機械工業株式会社 | 作業装置 |
CN113829358A (zh) * | 2021-11-01 | 2021-12-24 | 江苏昱博自动化设备有限公司 | 一种基于深度强化学习的机器人抓取多目标物的训练方法 |
WO2023042307A1 (ja) * | 2021-09-15 | 2023-03-23 | ヤマハ発動機株式会社 | 画像処理装置、部品把持システム、画像処理方法および部品把持方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05101028A (ja) * | 1991-10-04 | 1993-04-23 | Nippon Telegr & Teleph Corp <Ntt> | 複数特徴量の統合判定方法 |
JP2006139185A (ja) * | 2004-11-15 | 2006-06-01 | Nippon Telegr & Teleph Corp <Ntt> | 音声認識方法、この方法を実施する装置、プログラムおよびその記録媒体 |
JP2013054458A (ja) * | 2011-09-01 | 2013-03-21 | Fuji Xerox Co Ltd | 画像識別情報付与プログラム及び画像識別情報付与装置 |
JP2014240110A (ja) * | 2013-06-12 | 2014-12-25 | 三菱電機株式会社 | ビンピッキング性能評価装置及び方法 |
JP2017030135A (ja) * | 2015-07-31 | 2017-02-09 | ファナック株式会社 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
JP2017097317A (ja) * | 2015-11-18 | 2017-06-01 | 本田技研工業株式会社 | 識別装置、ロボットおよび識別方法 |
JP2017185577A (ja) * | 2016-04-04 | 2017-10-12 | ファナック株式会社 | シミュレーション結果を利用して学習を行う機械学習装置,機械システム,製造システムおよび機械学習方法 |
WO2018008503A1 (ja) * | 2016-07-05 | 2018-01-11 | 株式会社日立製作所 | 制御装置 |
JP2018027581A (ja) * | 2016-08-17 | 2018-02-22 | 株式会社安川電機 | ピッキングシステム |
WO2018047726A1 (ja) * | 2016-09-07 | 2018-03-15 | ボッシュ株式会社 | 情報処理装置および情報処理システム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FI20105732A0 (fi) | 2010-06-24 | 2010-06-24 | Zenrobotics Oy | Menetelmä fyysisten kappaleiden valitsemiseksi robottijärjestelmässä |
US10518409B2 (en) * | 2014-09-02 | 2019-12-31 | Mark Oleynik | Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries |
US9630318B2 (en) | 2014-10-02 | 2017-04-25 | Brain Corporation | Feature detection apparatus and methods for training of robotic navigation |
US11049045B2 (en) * | 2015-11-18 | 2021-06-29 | Honda Motor Co., Ltd. | Classification apparatus, robot, and classification method |
KR102023588B1 (ko) * | 2016-03-03 | 2019-10-14 | 구글 엘엘씨 | 로봇 파지용 심층 기계 학습 방법 및 장치 |
JP6724499B2 (ja) | 2016-04-05 | 2020-07-15 | 株式会社リコー | 物体把持装置及び把持制御プログラム |
WO2018071392A1 (en) * | 2016-10-10 | 2018-04-19 | Deepmind Technologies Limited | Neural networks for selecting actions to be performed by a robotic agent |
JP6453922B2 (ja) * | 2017-02-06 | 2019-01-16 | ファナック株式会社 | ワークの取り出し動作を改善するワーク取り出し装置およびワーク取り出し方法 |
JP6951659B2 (ja) * | 2017-05-09 | 2021-10-20 | オムロン株式会社 | タスク実行システム、タスク実行方法、並びにその学習装置及び学習方法 |
JP6546618B2 (ja) * | 2017-05-31 | 2019-07-17 | 株式会社Preferred Networks | 学習装置、学習方法、学習モデル、検出装置及び把持システム |
CN107688856B (zh) * | 2017-07-24 | 2020-11-06 | 清华大学 | 基于深度强化学习的室内机器人场景主动识别方法 |
JP6579498B2 (ja) * | 2017-10-20 | 2019-09-25 | 株式会社安川電機 | 自動化装置及び位置検出装置 |
-
2018
- 2018-03-15 JP JP2018047704A patent/JP6911798B2/ja active Active
-
2019
- 2019-02-20 WO PCT/JP2019/006183 patent/WO2019176478A1/ja active Application Filing
- 2019-02-20 EP EP19766953.4A patent/EP3766643A4/en active Pending
- 2019-02-20 US US16/977,478 patent/US11478926B2/en active Active
- 2019-02-20 CN CN201980012028.8A patent/CN111683799B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05101028A (ja) * | 1991-10-04 | 1993-04-23 | Nippon Telegr & Teleph Corp <Ntt> | 複数特徴量の統合判定方法 |
JP2006139185A (ja) * | 2004-11-15 | 2006-06-01 | Nippon Telegr & Teleph Corp <Ntt> | 音声認識方法、この方法を実施する装置、プログラムおよびその記録媒体 |
JP2013054458A (ja) * | 2011-09-01 | 2013-03-21 | Fuji Xerox Co Ltd | 画像識別情報付与プログラム及び画像識別情報付与装置 |
JP2014240110A (ja) * | 2013-06-12 | 2014-12-25 | 三菱電機株式会社 | ビンピッキング性能評価装置及び方法 |
JP2017030135A (ja) * | 2015-07-31 | 2017-02-09 | ファナック株式会社 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
JP2017097317A (ja) * | 2015-11-18 | 2017-06-01 | 本田技研工業株式会社 | 識別装置、ロボットおよび識別方法 |
JP2017185577A (ja) * | 2016-04-04 | 2017-10-12 | ファナック株式会社 | シミュレーション結果を利用して学習を行う機械学習装置,機械システム,製造システムおよび機械学習方法 |
WO2018008503A1 (ja) * | 2016-07-05 | 2018-01-11 | 株式会社日立製作所 | 制御装置 |
JP2018027581A (ja) * | 2016-08-17 | 2018-02-22 | 株式会社安川電機 | ピッキングシステム |
WO2018047726A1 (ja) * | 2016-09-07 | 2018-03-15 | ボッシュ株式会社 | 情報処理装置および情報処理システム |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021122924A (ja) * | 2020-02-10 | 2021-08-30 | 住友重機械工業株式会社 | 作業装置 |
JP7378309B2 (ja) | 2020-02-10 | 2023-11-13 | 住友重機械工業株式会社 | 作業装置 |
WO2021166448A1 (ja) * | 2020-02-17 | 2021-08-26 | 株式会社デンソー | 車両行動生成装置、車両行動生成方法、および車両行動生成プログラム |
WO2021166449A1 (ja) * | 2020-02-17 | 2021-08-26 | 株式会社デンソー | 車両行動評価装置、車両行動評価方法、および車両行動評価プログラム |
JP2021128716A (ja) * | 2020-02-17 | 2021-09-02 | 株式会社デンソー | 車両行動評価装置、車両行動評価方法、および車両行動評価プログラム |
JP7347252B2 (ja) | 2020-02-17 | 2023-09-20 | 株式会社デンソー | 車両行動評価装置、車両行動評価方法、および車両行動評価プログラム |
WO2023042307A1 (ja) * | 2021-09-15 | 2023-03-23 | ヤマハ発動機株式会社 | 画像処理装置、部品把持システム、画像処理方法および部品把持方法 |
CN113829358A (zh) * | 2021-11-01 | 2021-12-24 | 江苏昱博自动化设备有限公司 | 一种基于深度强化学习的机器人抓取多目标物的训练方法 |
CN113829358B (zh) * | 2021-11-01 | 2022-12-27 | 江苏昱博自动化设备有限公司 | 一种基于深度强化学习的机器人抓取多目标物的训练方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3766643A4 (en) | 2022-01-12 |
JP6911798B2 (ja) | 2021-07-28 |
US20210053214A1 (en) | 2021-02-25 |
EP3766643A1 (en) | 2021-01-20 |
CN111683799B (zh) | 2024-01-12 |
WO2019176478A1 (ja) | 2019-09-19 |
CN111683799A (zh) | 2020-09-18 |
US11478926B2 (en) | 2022-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019176478A1 (ja) | ロボットの動作制御装置 | |
CN108873768B (zh) | 任务执行系统及方法、学习装置及方法、以及记录介质 | |
US20230330848A1 (en) | Reinforcement and imitation learning for a task | |
JP6705977B2 (ja) | ロボットパス生成装置及びロボットシステム | |
US20210325894A1 (en) | Deep reinforcement learning-based techniques for end to end robot navigation | |
JP2018106466A (ja) | 制御装置及び制御方法 | |
CN111699080B (zh) | 机器人的控制装置、系统、方法、存储介质及处理装置 | |
Zhang et al. | Sim2real learning of obstacle avoidance for robotic manipulators in uncertain environments | |
JP2022155828A (ja) | 軌道生成システム、軌道生成方法及びプログラム | |
US20210397195A1 (en) | Robot navigation using a high-level policy model and a trained low-level policy model | |
US11062141B2 (en) | Methods and apparatuses for future trajectory forecast | |
US20210031365A1 (en) | System and method for predicting robotic tasks with deep learning | |
JP2006268813A (ja) | 学習制御装置、学習制御方法、およびプログラム | |
JP7468619B2 (ja) | 学習装置、学習方法、及び、記録媒体 | |
Baxter et al. | Deep prediction of swept volume geometries: Robots and resolutions | |
Tran et al. | Predicting sample collision with neural networks | |
CN112965487A (zh) | 基于策略迭代的移动机器人轨迹跟踪控制方法 | |
US20230316126A1 (en) | System and method for providing accelerated reinforcement learning training | |
JP2021122899A (ja) | 軌道生成装置、多リンクシステム、及び軌道生成方法 | |
Kubota et al. | Multiple fuzzy state-value functions for human evaluation through interactive trajectory planning of a partner robot | |
Wang et al. | Alignment Method of Combined Perception for Peg‐in‐Hole Assembly with Deep Reinforcement Learning | |
Shah et al. | Hierarchical planning and learning for robots in stochastic settings using zero-shot option invention | |
CN114859940A (zh) | 机器人移动控制方法、装置、设备以及存储介质 | |
Hong et al. | Dynamics-aware metric embedding: Metric learning in a latent space for visual planning | |
CN114080304A (zh) | 控制装置、控制方法及控制程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200304 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210608 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210621 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6911798 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |