JP2022163719A - 対象物を挿入部に挿入するようにロボットを制御するための装置及び方法 - Google Patents

Abstract

【課題】種々の実施形態による、対象物を挿入部に挿入するようにロボットを制御する方法が説明される。【解決手段】当該方法は、対象物を保持するようにロボットを制御するステップと、対象物を挿入部に挿入するための目標位置の推定値を生成するステップと、推定された目標位置に動かすようにロボットを制御するステップと、推定された目標位置に動かすようにロボットを制御した後、ロボットに搭載されたカメラを使用してカメラ画像を撮影するステップと、対象物を挿入部に挿入するためにカメラ画像が撮影された位置からの運動を指定する運動ベクトルをカメラ画像から導出するようにトレーニングされたニューラルネットワークにカメラ画像を供給するステップと、カメラ画像からニューラルネットワークによって導出された運動ベクトルに従って動かすようにロボットを制御するステップと、を含む。【選択図】図６

Description

本開示は、対象物を挿入部に挿入するようにロボットを制御するための装置及び方法に関する。

電気配線アセンブリなどの組立は、産業界で最も一般的な手作業の１つである。例として、電気盤アセンブリや家屋内配電盤アセンブリがある。複雑な組立プロセスは、典型的には、２つの主要な作業、即ち、把持と挿入のシーケンスとして記述することができる。同様の作業は、例えば、典型的には、妥当性確認や検証のためのケーブル挿入が含まれるケーブルの製造において発生する。

把持作業については、適当なロボット制御スキームが典型的には産業界において利用可能であるが、ロボットによる挿入又は「ペグインホール」作業の実行は、典型的には、依然として、主に、固定場所の単純な形状を含みかつ変動が考慮されないような問題の小さいサブセットにしか適用することができていない。その上さらに、既存の視覚技術は、緩慢であり、典型的には、人間の作業者よりも約３倍遅くなる。

従って、挿入作業を実行するようにロボットを制御するための効率的な方法が望まれている。

発明の開示
種々の実施形態によれば、対象物を挿入部に挿入するようにロボットを制御するための方法であって、対象物を保持するようにロボットを制御するステップと、対象物を挿入部に挿入するための目標位置の推定値を生成するステップと、推定された目標位置に動かすようにロボットを制御するステップと、推定された目標位置に動かすようにロボットを制御した後、ロボットに搭載されたカメラを使用してカメラ画像を撮影するステップと、対象物を挿入部に挿入するためにカメラ画像が撮影された位置からの運動を指定する運動ベクトルをカメラ画像から導出するようにトレーニングされたニューラルネットワークにカメラ画像を供給するステップと、カメラ画像からニューラルネットワークによって導出された運動ベクトルに従って動かすようにロボットを制御するステップと、を含む方法が提供される。

運動ベクトルは、例えば、現在位置（カメラ画像が撮影された位置）の姿勢と、挿入時の姿勢との間の差分のベクトルであるものとしてもよい（例えば、位置については直交座標、向きについては角度により表すなど）。

上述した方法の種々の実施形態は、トレーニングデータを容易に収集することが可能であり、かつ、制御環境又は制御シナリオにおける変動、例えば、挿入されるべき対象物の把持誤差（位置合わせ不良の把持）、収集したトレーニングデータと異なる場所や向き、異なる色、形状における小さい相違などに対して一般化が可能であるニューラルネットワークを用いた挿入作業のためにロボットを制御することを可能にする。特に、データ収集中のロボットやその周囲への危険を回避することができ、オフラインで行われる学習を実行することも可能である。さらに、上述した方法のアプローチは、（ペグインホールやねじ山問題を含む）多くの異なる挿入問題に対して調整可能である。上記は、特に、ニューラルネットワークが、データ収集を容易であるままに維持しながら非常に複雑に構造化された環境を捕捉することができるため、把持誤差の補正（又は挿入作業における位置の一般的な補正）を、ニューラルネットワークのための回帰タスクとして定式化することによって達成している。

以下においては、種々の例を示す。

例１は、上述したように、挿入部に対象物を挿入するようにロボットを制御するための方法である。

例２は、推定された目標位置に動かすようにロボットを制御するステップが、挿入部が配置された平面に対象物が接触するまでロボットを制御するステップを含み、カメラ画像が撮影された位置は、対象物が平面に接触する位置であり、カメラ画像は、対象物が平面に接触するときに撮影される場合における例１の方法である。

このようにして、（トレーニングデータ要素用と動作時に）基準が作成される。なぜなら、挿入部と、平面に接触する対象物部分（例えば、プラグのピン先端）とが、（例えば、エンドエフェクタ座標系におけるｚ座標に関して）同等のレベルにあるからである。この基準は、ニューラルネットワークによって実行される回帰タスクにおける曖昧さを回避する。

例３は、対象物が平面に接触するときに対象物に加えられる力及びモーメントを測定するステップと、測定された力及びモーメントをカメラ画像と共にニューラルネットワーク内に供給するステップとをさらに含み、ニューラルネットワークは、カメラ画像と、力及びモーメント測定値とから運動ベクトルを導出するようにトレーニングされる場合における例２の方法である。

回帰において力の測定値を考慮することにより、回帰結果の改善を可能にする付加的情報が提供される。

例４は、運動ベクトルに従って動かすようにロボットを制御するステップが、対象物が挿入部に挿入されるまで、場所が配置された平面への対象物の圧力を維持しながら、運動ベクトルに従って動かすようにロボットを制御するステップを含む場合における例２又は例３の方法である。

このことは、ロボットの運動の自由度を減少させ、従って、挿入部が発見されるまでのさらに信頼性の高い制御につながる。

例５は、ロボット上に搭載されてカメラ画像を提供するように構成されたカメラと、ニューラルネットワークを実装するように構成されかつ例１乃至例４までのいずれか１つの方法を実施するように構成されたコントローラと、を備えているロボットである。

例６は、命令がプロセッサによって実行されるときに、プロセッサに例１乃至例４までのいずれか１つによる方法を実施させるための命令を含むコンピュータプログラムである。

例７は、命令がプロセッサによって実行されるときに、プロセッサに例１乃至例４までのいずれか１つによる方法を実施させるための命令が格納されているコンピュータ可読媒体である。

図面において、同一の参照符号は、一般に、異なる図面を通して同一の要素を指している。図面は、必ずしも縮尺通りではなく、代わりに、本発明の原理を一般的に説明することに重点が置かれている。以下の明細書においては、以下の図面を参照しながら、種々の態様が説明される。

ロボットを示す図である。 一実施形態によるニューラルネットワークを示す図である。 コントローラがトレーニングのために又は動作中に、ロボットに搭載されたカメラを用いて画像を撮影する構成の例を示す図である。 対象物が受ける力及びモーメントを示す図である。 電気プラグを挿入部に挿入するための、一実施形態による動作を示した図である。 一実施形態による、対象物を挿入部に挿入するようにロボットを制御するためのフローチャートである。

以下の詳細な説明は、本発明を実施することができる本開示の特定の詳細及び態様を例示として示す添付の図面を参照している。また、本発明の保護範囲から逸脱することなく、他の態様を用いたり、構造的、論理的及び電気的な変更を行ったりすることが可能である。本開示のいくつかの態様は、新たな態様を構成するために本開示の１つ以上の他の態様と組み合わせることが可能であるので、本開示の種々の態様は、必ずしも相互に排他的なものではない。

以下においては、種々の例をより詳細に説明する。

図１は、ロボット１００を示している。

このロボット１００は、作業部品（又は１つ以上の他の対象物）を操作したり、組み立てたりするためのロボットアーム１０１、例えば産業用ロボットアームを含む。このロボットアーム１０１は、マニピュレータ１０２，１０３，１０４と、これらのマニピュレータ１０２，１０３，１０４が支持されている基台（又は支持台）１０５とを含む。「マニピュレータ」という用語は、ロボットアーム１０１の可動部材を指し、それらの操作が、例えば、作業を実行するために環境との物理的な相互作用を可能にしている。制御のために、ロボット１００は、制御プログラムに従って環境との相互作用を実施するように構成された（ロボット）コントローラ１０６を含む。マニピュレータ１０２，１０３，１０４の（支持台１０５から最も離隔した）最後の部材１０４は、エンドエフェクタ１０４とも称され、１つ以上のツール、例えば、溶接トーチ、把持器具、塗装設備などを含み得る。

（支持台１０５の近傍にある）他のマニピュレータ１０２，１０３は、例えばエンドエフェクタ１０４と共に、その端部にエンドエフェクタ１０４を備えるロボットアーム１０１が設けられた位置決めデバイスを構成することができる。ロボットアーム１０１は、人間の腕と同様の機能を提供することができる機械的なアームである（場合によっては、その端部にツールを備える）。

ロボットアーム１０１は、マニピュレータ１０２，１０３，１０４を互いに相互接続し、さらに支持台１０５にも相互接続する関節要素１０７，１０８，１０９を含み得る。関節要素１０７，１０８，１０９は、１つ以上の関節を含み得るものであり、それらの各々は、互いに関連するマニピュレータに対して回転可能な運動（即ち、回転運動）及び／又は並進運動（即ち、変位）を提供することができる。マニピュレータ１０２，１０３，１０４の運動は、コントローラ１０６によって制御されるアクチュエータを用いて開始することができる。

「アクチュエータ」という用語は、駆動に応じて機構又はプロセスに影響を与えるように構成された構成要素として理解され得るものである。アクチュエータは、コントローラ１０６によって発出された命令（いわゆるアクティベーション（活性化））を、機械的な運動として実行することができる。アクチュエータ、例えば電気機械変換器は、駆動に応じて電気エネルギを機械エネルギに変換するように構成されるものとしてもよい。

「コントローラ」という用語は、論理実装された実体の任意の類型として理解され得るものであり、これは、例えば、記憶媒体に格納されたソフトウェア、ファームウェア又はそれらの組合せを実施することが可能であり、例えば、本例のアクチュエータに命令を発出し得る回路及び／又はプロセッサを含み得る。コントローラは、例えば、システム、本例においてはロボットの動作を制御するためにプログラムコード（例えば、ソフトウェア）によって構成されるものとしてもよい。

本例においては、コントローラ１０６は、１つ以上のプロセッサ１１０と、コード及びデータを格納したメモリ１１１とを含み、これらのコード及びデータに基づいて、プロセッサ１１０は、ロボットアーム１０１を制御する。種々の実施形態によれば、コントローラ１０６は、メモリ１１１に格納された機械学習モデル１１２に基づいて、ロボットアーム１０１を制御する。

種々の実施形態によれば、機械学習モデル１１２は、ロボット１００が、挿入（例えば、ペグインホール）作業を、例えば、対応するソケット１１４内へのプラグ１１３の挿入を実行することができるように構成され、トレーニングされている。このために、コントローラ１０６は、カメラ１１７，１１９を用いてプラグ１１３及びソケット１１４の画像を撮影する。プラグ１１３は、例えば、ＵＳＢ（Universal Serial Bus）プラグであり、又は、電源プラグであるものとしてもよい。プラグが、電源プラグのように複数のペグを有する場合は、各ペグが、挿入されるべき対象物とみなされ得ることに留意すべきである（ここでの挿入部は、対応する孔である）。代替的にプラグ全体が、挿入されるべき対象物とみなされる場合もある（ここでの挿入部は、電源ソケットである）。（対象物とみなされるものに依存して）対象物１１３は、必ずしも完全に挿入部に挿入されるわけではないことに留意すべきである。ＵＳＢプラグの場合のように、金属接触部分１１６がソケット１１４に挿入されている場合、ＵＳＢプラグは、挿入されているとみなされる。

ペグインホール作業を実行するためのロボット制御は、典型的には、２つの主要なフェーズ、即ち、探索及び挿入を含む。探索の間、ソケット１１４は、プラグ１１３を挿入するために必要な必須情報を提供するために識別され、位置特定される。

挿入部の探索は、視覚に基づくものとしてもよいし、例えば、螺旋状の経路を含むブラインド戦略に基づくものとしてもよい。視覚技術は、カメラ１１７，１１９及び（ソケット１１４が配置されている）基板１１８の場所並びに障害物に大きく依存し、典型的には、人間の操作者よりも約３倍遅い。視覚法の限界に起因して、コントローラ１０６は、力－トルク及び触覚フィードバックを、排他的に又は視覚と組み合わせて考慮することができる。

これは特に、例えば、円筒形ペグと直方体ペグとの間において、一般化を可能にする。

挿入作業を実行するようにロボットを制御するステップは、接触モデルに基づく制御や接触モデルフリー学習も含み得る。モデルに基づく戦略は、測定された力、トルク及び位置からアセンブリの状態を推定し、状態依存の事前プログラムされたコンプライアント制御を使用して相応に運動を補正する。モデルフリー学習は、デモンストレーションからの学習（ＬｆＤ）又は環境からの学習（ＬｆＥ）を含む。ＬｆＤアルゴリズムにおいては、熟練操作者によって提供される一連の例又はデモンストレーションから方針を導出する。結果としての方針の柔軟性は、デモンストレーションデータセットにより提供される情報によって制限される。

強化学習（ＲＬ）アプローチ（例えば、（Ｌｆｄ又は予め設計されたベースコントローラを使用して）予めトレーニングされた基本方針と、環境との対話によって学習された残余の方針とを組み合わせるアプローチ）は、いくつかの複雑な挿入問題を解決し、ある程度までは一般化することさえ可能である。しかしながら、オンラインＲＬの柔軟性及びスケーラビリティは、オンライン学習スキームとして制限されたままである。即ち、この場合、データ収集は、高価であり（実際のロボット上の軌跡を収集する必要があり）かつ（ロボットの安全性及びその周囲が）危険であるため、ロボットが最新の学習済み方針を用いて環境と対話し、環境に基づくより多くの知識を取得し、方針を改善することは実用的ではない。機械学習における一般化は、トレーニングされたデータの品質及びサイズに関連するため、データ収集態様は非常に重要である。

上述の観点から、種々の実施形態によれば、広範な挿入問題に適用可能な回帰アプローチが提供される。実験からは、収集されたデータ点が５０～１００個だけで（これらは、数分以内に学習可能である）、広範囲のプラグ及びペグにわたってほぼ完璧な結果を達成し得ることが示されている。これらのデータ点は、プレビュー学習された方針の必要性なく収集することができ、いくつかのリモートオフライン場所において収集することができる。付加的に、収集されたデータ内とは異なるサイズ、形状及び色の観点など、場所や密接に関連するシナリオにわたって一般化するように示すこともできる。

組立作業には、通常、ピックアンドプレースとペグインホール（挿入）という２つの基本的な作業のシーケンスが含まれる。以下においては、ピックアンドプレース、特に、対象物を把持する能力のためのトレーニング及びコントロールについては説明しない。なぜなら、対応する制御が利用可能であること、又は、対象物（例えば、プラグ１１３）の場所及び把持がユーザによって事前に定められていることが想定されるからである。以下に記載するアプローチは、把持場所及び角度（典型的には１０度程度まで）における不確定性（望ましくない位置合わせ不良の把持）を処理することができる。自動コンベヤは、望ましくない位置合わせ不良の把持を低減する１つの実用的な手法である。

対象物１１３を挿入部１１４に挿入するようにロボットアーム１０１を制御するためにコントローラ１０６によって実行される制御手順は、一般化を容易にするために（及び、回帰アプローチを適用可能にするために）、２つの段階に分けられている。第１段階（位置特定段階）は、概略的な位置特定及び計画部分である。このために、コントローラ１０６は、さらなる（例えば、水平）カメラ１１９を挿入部１１４の位置特定のために使用する。この位置特定は、概略的な位置特定であり、その誤差は、水平カメラ１１９の場所及び類型に依存する。

第２段階（補正段階）は、残余の方針に従った位置の補正である。補正の必要性は、挿入部１１４の場所及び向きの不確定性が、位置特定把持及び追従制御エラーに起因して不可避であるという事実に基づく。

種々の実施形態によれば、ニューラルネットワークの形態の機械学習モデル１１２は、位置を補正するための運動ベクトルを提供するようにトレーニングされる。これは、ニューラルネットワークが、回帰を実行するようにトレーニングされることを意味する。ニューラルネットワーク１１２は、エンドエフェクタ１０４上に所定の角度（例えば、４５度）に向けられたロボットに搭載されたカメラ１１７によって撮影された画像に基づいて動作し、それにより、このカメラにより撮影された画像は、エンドエフェクタ１０４によって保持された対象物１１３を示す。例えば、カメラ１１７は、画像の中心がエンドエフェクタ１０４の指の間に向けられるように（ロボット手首から、例えばエンドエフェクタｚ軸に対して）４５度に配置されたリストカメラである。これにより、隠蔽の回避が可能になる。

ロボットに搭載されたカメラ１１７によって撮影された画像は、ニューラルネットワーク１１２の入力の１つである。

図２は、一実施形態によるニューラルネットワーク２００を示している。

ニューラルネットワーク２００は、回帰タスクを実行する。このニューラルネットワーク２００は、第１のサブネットワーク２０１を含み、この第１のサブネットワーク２０１は、視覚入力２０２、例えば、ロボットに搭載されたカメラ１１７によって提供される画像を受信する。第１のサブネットワーク２０１は、（例えば、ＹＯＬＯ Ｌｉｔｅによれば）畳み込みネットワークである。その出力は、ニューラルネットワーク２００の第２のサブネットワーク２０４に与えられる。この第２のサブネットワーク２０４は、力の入力２０３、即ち、エンドエフェクタにより保持され、平面（例えば、基板１１８の表面１１５）上においてロボットにより押圧されたときに対象物１１３が受けるモーメント及び力を測定する力センサ１２０の測定値を受信する。この力測定は、ロボットによって、又は、外部の力及びトルクセンサによって行うことができる。

視覚入力２０２及び力入力２０３の両方の使用は、このアプローチを、多くの異なる種類の挿入作業に適用可能にする。

第２のサブネットワーク２０４（例えば、全ての結合層を有している）は、（例えば、第１のサブネットワーク２０１の出力と力入力２０３との連結によって生成された）視覚情報及び力情報の共有表現を使用する。その出力は、ロボットがエンドエフェクタ座標系において適用するべきデルタ動作を表す運動ベクトル（ここでは、ΔＹとも称する）である。運動ベクトルは、例えば、エンドエフェクタ座標系のｘ－ｙ平面における並進ベクトルを含み得る。この運動ベクトルは、並進成分を含むだけでなく、対象物１１３を挿入部１１４内に挿入するために対象物１１３の向きを補正するためにはロボットアーム１０１をどのように回転させるべきかを指定する角度も含み得ることに留意すべきである。

エンドエフェクタの場所を（ニューラルネットワークに）明確に示さないままデルタ動作を出力として使用することにより、ニューラルネットワークが場所及び回転にとらわれないスキームが導かれる。例えば、基板１１８及びエンドエフェクタ１０４を水平平面内において９０度回転させても、ニューラルネットワーク２００の入力データ及び出力データには影響がない。これは、ニューラルネットワーク２００を簡素に維持することを可能にさせる。

エンドエフェクタの場所が補正段階の補正動作を指定するために必要とされた場合、ニューラルネットワーク２００をトレーニングすることは、他の基板の場所には一般化されないであろうが、エンドエフェクタ座標系を使用することにより、ボードの回転にとらわれないニューラルネットワークを形成することができる。

ニューラルネットワーク２００のためのトレーニングデータを収集するために（特に、正しい動作、即ち、ニューラルネットワーク２００によって出力されるべき運動ベクトルを見出すために）、挿入場所及び向きが最初に特定され、保存される。挿入場所の保存後、回帰モデルのためのトレーニングデータは、以下のように、即ち、
ｏｂｓ：｛カメラ画像、力｝
エンドエフェクタ座標系における動作：｛プレビュー保存された孔の場所－現在の場所｝
のように、収集することができる。

このことは、ニューラルネットワーク２００をトレーニングするためのトレーニングデータ要素を生成することに、以下のこと、即ち、
挿入場所を特定し、
カメラ画像、力測定及び現在の場所（トレーニング場所用）を収集し、
｛画像、力｝によって与えられる入力（観察）、及び、｛挿入場所－現在の場所｝によって与えられるラベル（エンドエフェクタ空間内の動作）、即ち、挿入場所と現在の場所との間の差分ベクトルとしてトレーニングデータ要素を形成することが含まれることを意味する。

上述のように、ラベルはさらに、向きを補正するための、即ち、挿入向きと現在の向きとの間の差分を補正するための１つ以上の角度を含み得る。この場合は、現在の向きも収集される。

このようにして生成されたトレーニングデータ要素を使用することにより、ニューラルネットワーク２００は、教師ありトレーニングを使用してトレーニングされる。このトレーニングは、コントローラ１０６によって実行されるものとしてもよいし、又は、ニューラルネットワーク２００が外部においてトレーニングされ、それがコントローラ１０６にロードされるものとしてもよい。

動作中、補正段階（即ち、第２段階）においては、コントローラ１０６が、ロボット手首に搭載されたカメラ１０７を使用して画像を撮影し、それをトレーニングされたニューラルネットワーク２００に供給し、トレーニングされたニューラルネットワーク２００の出力に従ってロボットを制御する。このトレーニングされたニューラルネットワーク２００の出力は、（第１段階からの結果として）現在位置からどこに動かすべきかを指定し、場合によっては対象物１１３を挿入部に挿入するために対象物１１３の向きをどの程度変更させるべきかを指定する運動ベクトルである。このことは、コントローラ１０６が、ニューラルネットワーク２００の出力によって指定された制御動作を実行することを意味する。上記において説明したように、第１段階からの結果としての位置は、典型的には、位置特定把持及び追従制御エラーに起因して補正される必要がある。

種々の実施形態によれば、カメラ１０７によって撮影される画像（トレーニング用及び動作中の両方）は、挿入部（即ち、特に、挿入部の開口部）と挿入部に最初に挿入すべき対象物の先端とが同一の平面上にあるときに撮影される。

図３は、コントローラ１０６がトレーニングのために又は動作中に、ロボットに搭載されたカメラ１０７を用いて画像を撮影する構成の例を示している。

この例においては、図１の描写のように、対象物は、ＵＳＢプラグ３０１であり、挿入部は、（断面図により示されている）ＵＳＢソケット３０２である。コントローラ１０６は、図示のように、（ソケット３０２に最初に入るべき）プラグ３０１の先端が、挿入部を形成する表面３０３（例えば、基板表面）に接触したときに、ロボットに搭載されたカメラ１０７を用いて写真を撮影する。

電源プラグの例においては、表面３０３は、例えば、ペグのための孔が配置されている表面である（即ち、プラスチックケーシングを受けるための開口部の底面）。これは、ペグがその表面に接触する（即ち、その開口部に配置される）ように、第１段階の精度が十分に高いことを想定している。

必要な場所までのデルタ距離を評価するためにリストカメラを使用することは、ソケットの先端のピンと、挿入部の開口部とが異なる平面にある場合には複雑である。なぜなら、カメラ画像内において示される表面３０３と平行をなす方向から見たプラグ３０１とソケット３０２との間の距離は、表面３０３に対して直角をなす方向から見たプラグ３０１とソケット３０２との間の異なる距離に対して、従って、カメラのイメージコーンに起因するプラグ３０１とソケット３０２との間の実際に異なる距離に対して、同等に見える場合があるからである（相互に並んだ２本の鉛筆に関して片目を閉じて一本の鉛筆を前後に動かしたときのように）。カメラ画像内において示された距離と実際の距離との関係は、閉塞感を回避するための種々の実施形態による場合のようにリストカメラ１０７が斜めに配置されている場合にはさら複雑になる。この問題は、プラグ３０１が表面３０３に接触した場合にのみカメラ画像を取得することによって対処することができる。コントローラ１０６は、力センサ１２０を用いることにより、プラグ３０１が表面３０３に接触したことを検出することができる。力センサが、基板１１８の表面３０３から離隔する方向に向けてプラグ１１３に加えられる力を検出した場合、プラグ１１３は、基板１１８の表面３０３に接触している。

この特定の状況においては、接触部、例えば、プラグの１つ又は複数のピン及び１つ又は複数のソケットホールは、同一の平面内にあり、（この条件が成立する場合にカメラ画像を使用してトレーニングされた）ニューラルネットワーク２００は、（この条件が成立する場合に撮影された）カメラ画像からプラグ３０１の現在の位置とソケット３０２との間の距離を計算することができる。

種々の実施形態によれば、トレーニングデータ画像（即ち、トレーニングデータ要素用に撮影されたカメラ画像）は、逆向きの学習方法により収集される。このことは、ロボットが対象物１１３を保持するように制御され（例えば、グリッパが閉じられ）、対象物１１３が挿入部１１４内に挿入されるような位置にもたらされることを意味する。この位置から、ロボットは、上昇するように（即ち、エンドエフェクタ座標系のｚ方向に）制御され、システムにおける不確実性（把持及び位置特定の誤差）と同様のランダム誤差（例えば、１０ｍｍと２０度、これは、ほとんどの用途に十分である）が加算される。上昇した後、ロボットは、力センサ１２０が対象物１１３に加えられる力を感知するまで、又は、場所誤差（異常）が検出されるまで、下降するように制御される。次いで、ロボットに搭載されたカメラ１１７は、画像を取得するように制御され、Ｏｂｓ：｛カメラ画像、力｝及び運動ベクトル（エンドエフェクタ座標系における挿入場所と現在の場所との間の差分ベクトル）が、上述したようにトレーニングデータ要素として記録される。

種々の実施形態によれば、一般化を強化するために、トレーニングデータに対してデータ拡張が実行される。

収集されたトレーニングデータ画像に関して、補正段階（特に、ニューラルネットワーク２００）は、例えば、プラグ及びソケットの異なる色と異なる形状（例えば、異なるハウジング及び色を有する電源プラグ）などの密接に関連するシナリオにとらわれないことが望ましい。形状に関する一般化は、典型的には困難である。なぜなら、形状は、カメラ画像が撮影されるときのカメラ位置に影響を及ぼすために、例えば、電源プラグのペグは、より長くてもより短くてもよいからである。トレーニングデータ画像の拡張の例（即ち、記録されたトレーニングデータ画像から１つ以上の付加的なトレーニングデータ画像がどのように生成され得るか）については、以下の通りである。
トレーニングデータ画像の５０％のランダムカラージッタ（輝度及び色に関する一般化用）
トレーニングデータ画像の５０％のランダムグレースケール（色に関する一般化用）
クロップトレーニングデータ画像（形状の違いや把持誤差のために生じたカメラ位置におけるシフトに関する一般化用）
シフトトレーニングデータ画像（形状の違いや把持誤差のために生じたカメラ位置におけるシフトに関する一般化用）
ランダム畳み込み（全体的な堅牢性の追加用）

記録されたトレーニングデータ画像からこのようにして生成された付加的なトレーニングデータ画像用のラベル（運動ベクトル）は、記録されたトレーニングデータ画像用と同様に設定される。

種々の実施形態によれば、トレーニングデータの拡張も、力測定のために行われる。これは、トレーニングデータ要素から、（トレーニングデータ要素を用いてニューラルネットワーク２００をトレーニングするときに力入力２０３として使用される）力情報を変更することによって１つ以上の付加的なトレーニングデータ要素が生成されることを意味する。この力情報は、例えば、対象物１１３がエンドエフェクタｚ方向に受ける力と、対象物１１３が受けるモーメントとを含む。

図４は、対象物４０１が受ける力及びモーメントを示している。

図３と同様に、対象物４０１は、挿入部４０２に挿入されるべきものであり、表面４０３に接触する。対象物４０１を保持するロボットアーム１０１は、表面４０３の方向において対象物４０１に力４０４を加える。対象物４０１は、対応する反力４０５を受ける。さらに、対象物４０１は、挿入部４０２の縁部にあるので、力４０４は、モーメント４０６を引き起こす。反力４０５及びモーメント４０６は、例えば、センサ１２０によって測定され、力情報として使用される（即ち、トレーニング中及び動作中のニューラルネットワーク２００のための力入力２０３）。

反力４０５及びモーメント４０６は、力４０４に依存する。この依存性は、結果として過剰な適合をもたらす可能性がある。真の価値ある情報は、対（Ｆ，Ｍ）、即ち、反力４０５及びモーメント４０６の対の大きさではなく、反力４０５の作用点と対象物４０１の中心との間の距離Ｒを指定するそれらの比であることが分かる。

過剰な適合を回避するために、トレーニングデータ要素における対（Ｆ，Ｍ）に対する力モーメント拡張は、以下のように実行される。
（Ｆ，Ｍ）’＝α（Ｆ，Ｍ）
ここで、αは、間隔［０，ｋ］からランダムに（例えば、均一に）サンプリングされ、ｋは、予め定められた上限値である。

（Ｆ，Ｍ）’は、付加的なトレーニングデータ要素の力情報として使用される。（Ｆ，Ｍ）、即ち、元のトレーニングデータ要素の力情報は、例えば、測定によって特定される。

図５は、電気プラグのための一実施形態による動作を示している。

コントローラ１０６は、最初に水平カメラ１１９を用いて画像を記録する。次いで（第１段階で）、孔の概略的な位置特定が（例えば、閉ループｏｒｂアルゴリズムを使用して）実行され、対応する運動が計画される。

例えば、ＰＤ制御を使用することにより、コントローラ１０６は、孔の場所に到達するように計画を実行する（画像５０１，５０２，５０３）。

次いで、ペグは、ソケットの開口部にあるが、上述したような種々の誤差に起因してまだ孔には入っていない（図５０３）。コントローラは、プラグ（ひいてはエンドエフェクタ）が力を受けるため、力測定によってこれを検出する。

コントローラ１０６は、力を測定し、ロボットに搭載されたカメラ１１７を用いて写真を撮影し、それらをトレーニングされたニューラルネットワーク１１２に供給し、このニューラルネットワーク１１２によって出力される運動ベクトルによって指定されるようにロボットを制御する。ロボットは、絶えず挿入平面の方向（エンドエフェクタ座標系においては下向きのｚ方向）に押し込み、それによって、ロボットが運動ベクトルに従って運動を終了すると、最終的にプラグをソケットに押し込む（図５０４）。

要約すると、種々の実施形態によれば、方法は、図６に示されるように提供される。

図６は、一実施形態による、対象物を挿入部に挿入するようにロボットを制御するための方法についてのフローチャート６００を示している。

６０１においては、対象物を保持するようにロボットが制御される。

６０２においては、対象物を挿入部に挿入するための目標位置の推定値が生成される。目標位置としての孔の位置は、例えば、孔の事前知識が与えられている場合の画像マッチングのような周知のコンピュータビジョンアルゴリズムによって、又は、対象物検出アルゴリズム、特に、目標位置に関する画像セグメンテーションによって、推定することができる。好適には、ＯＲＢアルゴリズムが、目標位置の推定のために適用される。

６０３においては、推定された目標位置に動かすようにロボットが制御される。

６０４においては、推定された目標位置に動かすようにロボットを制御した後、ロボットに搭載されたカメラを使用してカメラ画像が撮影される。

６０５においては、対象物を挿入部に挿入するためにカメラ画像が撮影された位置からの運動を指定する運動ベクトルをカメラ画像から導出するようにトレーニングされたニューラルネットワークにカメラ画像が供給される。

６０６においては、カメラ画像からニューラルネットワークによって導出された運動ベクトルに従って動かすようにロボットが制御される。

種々の実施形態によれば、換言すれば、挿入作業は、ニューラルネットワークによって解決される回帰タスク（運動ベクトルの決定）として定式化される。運動ベクトルは、任意の適当な表現、例えば、座標系又は角度系を使用して表され得る並進及び回転成分を含み得る。

図６の方法は、１つ以上のデータ処理ユニットを含む１つ以上のコンピュータによって実行されるものとしてもよい。用語「データ処理ユニット」は、データ又は信号の処理を可能にする任意の類型の実体として理解することができる。例えば、データ又は信号は、データ処理ユニットによって実行される少なくとも１つの（即ち、１つ以上の）特定の機能に従って処理されるものとしてもよい。データ処理ユニットは、アナログ回路、デジタル回路、コンポジット信号回路、ロジック回路、マイクロプロセッサ、マイクロコントローラ、中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、プログラマブルゲートアレイ（ＦＰＧＡ）集積回路、又は、それらの任意の組合せを含むものとしてよく、又は、それらから構成されるものとしてもよい。それぞれの機能を実装する任意の他の手法は、データ処理ユニット又は論理回路として理解され得るものである。本明細書に詳細に記載される方法ステップのうちの１つ以上は、データ処理ユニットによって実行される１つ以上の特定の機能を通して、データ処理ユニットによって実行（例えば、実装）されるものとしてもよいことが理解されるであろう。

種々の実施形態は、ビデオ、レーダ、ＬｉＤＡＲ、超音波、サーマルイメージングなどのような、種々の視覚センサ（カメラ）から画像データを受信し、使用することができる。これらの実施形態は、種々のシナリオのもとで種々の挿入作業を達成するために、機械学習システムをトレーニングし、ロボット、例えばロボット型マニピュレータを自律的に制御するために使用されるものとしてもよい。挿入作業のためのトレーニングが行われた後、ニューラルネットワークは、最初から行われるトレーニング（伝達学習能力）に比較してトレーニング時間を短縮させる新たな挿入作業のためにトレーニングされるものとしてもよいことに留意すべきである。これらの実施形態は、例えば、組立ラインにおける操作タスクの実行の制御及び監視に特に適用可能である。

一実施形態によれば、この方法は、コンピュータに実装される。

本明細書においては、特定の実施形態が示され説明されてきたが、当業者には、図示され説明されてきたこれらの特定の実施形態を、本発明の保護範囲から逸脱することなく種々の代替的及び／又は等価的な実装形態と入れ換えてもよいことは明らかであろう。本出願においては、本明細書において論じられる特定の実施形態の何らかの適合化又は変化形態を包含することが意図されている。それゆえ、本発明は、本出願の特許請求の範囲及び等価物によってのみ限定されることが意図される。

Claims (7)

1. 対象物を挿入部に挿入するようにロボットを制御するための方法であって、
   前記対象物を保持するように前記ロボットを制御するステップと、
   前記対象物を前記挿入部に挿入するための目標位置の推定値を受信するステップと、
   前記推定された目標位置に動かすように前記ロボットを制御するステップと、
   前記推定された目標位置に動かすように前記ロボットを制御した後、前記ロボットに搭載されたカメラを使用してカメラ画像を撮影するステップと、
   前記対象物を前記挿入部に挿入するために前記カメラ画像が撮影された位置からの運動を指定する運動ベクトルを前記カメラ画像から導出するようにトレーニングされたニューラルネットワークに前記カメラ画像を供給するステップと、
   前記カメラ画像から前記ニューラルネットワークによって導出された運動ベクトルに従って動かすように前記ロボットを制御するステップと、
   を含む方法。
2. 前記推定された目標位置に動かすように前記ロボットを制御する前記ステップは、前記挿入部が配置された平面に前記対象物が接触するまで前記ロボットを制御するステップを含み、前記カメラ画像が撮影された位置は、前記対象物が前記平面に接触する位置であり、前記カメラ画像は、前記対象物が前記平面に接触するときに撮影される、
   請求項１に記載の方法。
3. 前記対象物が前記平面に接触するときに前記対象物に加えられる力及びモーメントを測定するステップと、
   前記測定された力及びモーメントを前記カメラ画像と共に前記ニューラルネットワーク内に供給するステップと、
   をさらに含み、
   前記ニューラルネットワークは、前記カメラ画像と、前記力及びモーメント測定値とから前記運動ベクトルを導出するようにトレーニングされる、
   請求項２に記載の方法。
4. 前記運動ベクトルに従って動かすように前記ロボットを制御する前記ステップは、前記対象物が前記挿入部に挿入されるまで、場所が配置された前記平面への前記対象物の圧力を維持しながら、前記運動ベクトルに従って動かすように前記ロボットを制御するステップを含む、
   請求項２又は３に記載の方法。
5. ロボットであって、
   当該ロボット上に搭載されてカメラ画像を提供するように構成されたカメラと、
   ニューラルネットワークを実装するように構成されかつ請求項１乃至４のいずれか一項に記載の方法を実施するように構成されたコントローラと、
   を備えているロボット。
6. コンピュータプログラムであって、命令がプロセッサによって実行されるときに、前記プロセッサに請求項１乃至５のいずれか一項に記載の方法を実施させるための命令を含むコンピュータプログラム。
7. コンピュータ可読媒体であって、命令がプロセッサによって実行されるときに、前記プロセッサに請求項１乃至６のいずれか一項に記載の方法を実施させるための命令が格納されているコンピュータ可読媒体。

Images