JP2022078979A - 種々の姿勢状況の物体をピックアップするロボットを制御するための装置及び方法 - Google Patents

Abstract

【課題】種々の実施形態により、種々の姿勢状況の物体をピックアップするロボットを制御するための方法が記載される。
【解決手段】この方法は、物体上において複数の基準点を確定するステップと、既知の姿勢状況の物体の第１のカメラ画像を、第１の記述子画像にマッピングするステップと、基準点の記述子を、第１の記述子画像から識別するステップと、未知の姿勢状況の物体の第２のカメラ画像を、第２の記述子画像にマッピングするステップと、識別された基準点の記述子を第２の記述子画像内において探索するステップと、未知の姿勢状況の３次元空間内の基準点の位置を、検出された位置から求めるステップと、未知の姿勢状況に対する物体のピックアップポーズを、求められた基準点の位置から求めるステップと、を含む。
【選択図】図５

Description

本発明は、種々の姿勢状況の物体をピックアップするロボットを制御するための装置及び方法に関する。

ロボットによる物体の柔軟な製造又は加工を可能にするためには、ロボットが、この物体を、当該物体が置かれているロボットの作業空間内の状況にかかわらず、取り扱うことができるようにすることが望ましい。それゆえ、ロボットは、少なくとも物体をピックアップする（例えば、把持する）方法に関係する限りにおいては、物体がどのような姿勢状況にあるのかを認識することができるようにする必要があり、即ち、ロボットには、姿勢状況に応じて自身のエンドエフェクタ（例えば、グリッパ付き）を適正に配向し、それを適正な位置に移動させることができるようにするために、物体のピックアップポーズ（例えば、把持ポーズ）を求める能力が必要である。それに対応する、種々の姿勢状況の物体をピックアップするロボットデバイスのための制御方法が望まれている。

種々の実施形態によれば、種々の姿勢状況の物体をピックアップするロボットを制御するための方法であって、物体上において複数の基準点を確定し、それによって、３次元空間における基準点の姿勢状況が物体のピックアップポーズを定めるステップと、物体の既知の位置における物体の第１のカメラ画像を受信し、それによって、第１のカメラ画像内の基準点の位置を既知にするステップと、第１のカメラ画像を、カメラ画像内において可視の物体点をカメラ画像内のそれらの位置に依存することなく記述子に割り当てるように訓練された機械学習モデルを用いて、第１の記述子画像にマッピングするステップと、基準点の記述子を、基準点の既知の位置における第１の記述子画像の読出しにより、第１の記述子画像から識別するステップと、物体がピックアップされる未知の姿勢状況の物体の第２のカメラ画像を受信するステップと、第２のカメラ画像を、機械学習モデルを用いて、第２の記述子画像にマッピングするステップと、識別された基準点の記述子を、第２の記述子画像内において探索するステップと、未知の姿勢状況の３次元空間内の基準点の位置を、記述子画像内において検出された基準点の記述子の位置から求めるステップと、未知の姿勢状況に対する物体のピックアップポーズを、３次元空間内において求められた基準点の位置から求めるステップと、物体をピックアップするロボットデバイスを、求められたピックアップポーズに応じて制御するステップと、を含む方法が提供される。

上述の方法は、物体の任意の姿勢状況について、物体の安全なピックアップ（例えば、把持）を可能にする。未知の姿勢状況にある物体のカメラ画像は、物体のピックアップポーズを求めるのに十分である。特に、複数の視野を包含する複数のカメラによる配置構成は不要である。機械学習モデルは、種々の物体に使用し得るように柔軟に訓練することができる。その場合に必要なのは、各物体について複数の基準点を確定し、それらの基準点の記述子を求めることだけである。

以下においては、種々の実施例が提示される。

実施例１は、上述のように種々の位置にある物体をピックアップするロボットを制御するための方法である。

実施例２は、実施例１の方法であって、未知の姿勢状況における３次元空間内の基準点の位置は、第２の記述子画像における基準点の位置に対応する、第２のカメラ画像における基準点の位置についての深度情報を３次元空間に投影することによって、第２の記述子画像における基準点の記述子の検出された位置から求められる。

これにより、個々のカメラ画像と、関連する深度情報（例えば、ＲＧＢＤ画像）とを用いてピックアップポーズを求めることが可能である。

実施例３は、実施例１又は２の方法であって、基準点は、物体の細長い部分区間に沿って配置されるように確定される少なくとも２つの基準点を有し、未知の姿勢状況についての物体のピックアップポーズは、基準点を通って延在する軸線を求めることによって求められる。

このようにして、細長い部分区間を把持するためのロボットの制御を可能にするピックアップポーズを求めることができる。例えば、ロボットのエンドエフェクタにおけるグリッパは、グリッパはさみが基準点を通って延在する軸線に対して垂直な平面内にあるように制御され、次いで、グリッパが閉じられる。

実施例４は、実施例１乃至３のいずれか１つの方法であって、基準点は、物体の平面上に配置されるように確定される少なくとも３つの基準点を有し、未知の姿勢状況についての物体のピックアップポーズは、基準点を通って延在する平面を求めることによって求められる。

このようにして、表面をつかむための（例えば、吸引する又は持ち上げるための）ロボットの制御を可能にするピックアップポーズを求めることができる。例えば、ロボットのエンドエフェクタにおける吸引装置は、吸引装置の吸引開口部又は吸引ノズルが、基準点を通って延在する平面に対して垂直になるように制御され、次いで、起動される。

実施例５は、実施例１乃至４のいずれか１つの方法であって、機械学習モデルを訓練するステップは、頂点のグリッドを含む、物体の３Ｄモデルを取得するステップと、グリッドの各頂点に対する記述子を決定するステップと、各訓練データ画像対が、物体を示す訓練入力画像と目標画像とを含む、訓練データ画像対を生成するステップであって、目標画像を生成することは、訓練入力画像内の頂点を有する、物体の物体モデルの頂点の頂点位置を決定するサブステップと、訓練入力画像内の各特定の頂点位置について、当該頂点位置における頂点に対して決定された記述子を、目標画像内の位置に割り当てるサブステップと、を含む、ステップと、機械学習モデルを、訓練データとして訓練データ画像対を使用した教師あり学習により訓練するステップと、を含む。

この訓練方法は、自己教師あり学習を使用する場合よりも正確な予測（即ち、記述子の決定）を実施するために、機械学習モデル（ニューラルネットワークなど）を訓練することを可能にする（即ち、ネットワークの多様な適用を可能にする）。さらに、機械学習モデルの適合化のためのより大きい柔軟性を提供し、それによって、種々の問題における適用が可能になり、訓練データの要件（例えば、所要の訓練データ量など）が縮小される。

実施例６は、実施例５の方法であって、訓練データ画像対を生成するステップは、異なる姿勢の物体の複数の画像を取得するステップと、取得された各画像のための目標画像を生成することによって、取得された各画像から訓練データ画像対を生成するステップと、を含む。

これにより、（例えば、機械学習モデルを実装したロボット制御装置を有するロボットの）機械学習モデルを、例えば、ロボットの作業空間内において物体の姿勢に関係なく、物体のトポロジを認識するために訓練することが可能になる。

実施例７は、実施例５又は６の方法であって、訓練入力画像内の頂点を有する、物体の物体モデルの頂点の頂点位置を、訓練入力画像内において（例えば、カメラ座標系内において）物体が有するそれぞれの姿勢から決定するステップを含む。

これにより、頂点位置の正確な決定が可能になり、このことは、その代わりに教師あり訓練用の正確な目標画像を可能にする。

実施例８は、実施例５乃至７のいずれか１つの方法であって、３Ｄモデルの頂点が縁部によって結合され、各縁部は、物体内の縁部によって結合された２つの頂点の近接度を特定する重みを有し、グリッドの各頂点に対する記述子を決定するステップは、頂点対の記述子間の距離の結合された頂点対にわたる合計を、頂点対間の縁部の重みによって重み付けして最小化する、頂点に対する記述子の探索によって行われる。

分かり易くいえば、記述子は、最適な手法により求められる。これにより、記述子の高い一貫性が達成される。その他に、記述子マッピングの良好な表明性が達成される。

実施例９は、実施例１乃至８のいずれか１つによる方法を実施するように構成されたロボット制御装置である。

実施例１０は、命令がプロセッサによって実行されるときに、プロセッサに実施例１乃至８のいずれか１つによる方法を実施させるための命令を含むコンピュータプログラムである。

実施例１１は、命令がプロセッサによって実行されるときに、プロセッサに実施例１乃至８のいずれか１つによる方法を実施させるための命令を記憶しているコンピュータ可読記憶媒体である。

図面において、一般に、種々の図面全体を通して、同一の参照符号は、同一の部品を表している。これらの図面は、必ずしも縮尺通りではないが、その代わりにここでは、本発明の原理を一般的に表すことに重点が置かれている。以下の明細書においては、種々の態様を以下の図面を参照して説明する。

ロボットを示す図である。 一実施形態による、ニューラルネットワークの訓練を示す図である。 記述子決定のための４ノードグラフの例示的な埋め込みを示す図である。 ラプラスベルトラミ演算子による縁部重み付け決定のための３Ｄモデルの頂点における角度の定義を示す図である。 一実施形態による、物体の画像から物体の物体トポロジを認識する機械学習モデルを訓練するための方法を示す図である。 種々の姿勢状況にある物体をピックアップするロボットを制御するための方法を示す図である。

以下の詳細な説明は、説明のための特定の詳細及び本発明を実施することができる本開示の態様を示す添付の図面を参照している。また、本発明の保護範囲から逸脱することなく、他の態様を使用したり、構造的、論理的及び電気的な変更を行ったりすることができる。本開示のいくつかの態様は、新たな態様を構成するために本開示の１つ以上の他の態様と組み合わせることができるので、本開示の種々の態様は、必ずしも相互に排他的なものではない。

以下においては、種々の例をより詳細に説明する。

図１は、ロボット１００を示している。

ロボット１００は、ロボットアーム１０１、例えば、作業ワーク（又は１つ以上の他の物体）を操作したり、取り付けたりするための産業用ロボットアームを含む。このロボットアーム１０１は、マニピュレータ１０２，１０３，１０４と、これらのマニピュレータ１０２，１０３，１０４が支持されている基台（又は支持台）１０５とを含む。「マニピュレータ」という用語は、それらの操作が例えばタスクを実行するために周辺環境との物理的な相互作用を可能にするロボットアーム１０１の可動部品に関連する。制御のために、ロボット１００は、周辺環境との相互作用を制御プログラムに従って実施するように設計された（ロボット）制御装置１０６を含む。マニピュレータ１０２，１０３，１０４の最後の要素１０４（これは、支持台１０５から最も遠く離隔している）は、エンドエフェクタ１０４とも称され、例えば、溶接トーチ、把持具、塗装具などの１つ以上のツールを含み得る。

（支持台１０５の近傍に存在する）他のマニピュレータ１０２，１０３は、位置決め装置を構成し得るものであり、それにより、エンドエフェクタ１０４と合わせて、ロボットアーム１０１は、その端部にエンドエフェクタ１０４を備えている。ロボットアーム１０１は、人間の腕と同様の機能を提供することができる機械的なアームである（場合によっては、その端部にツールを備える）。

ロボットアーム１０１は、マニピュレータ１０２，１０３，１０４を相互に接続し、さらに支持台１０５に接続する関節要素１０７，１０８，１０９を含み得る。関節要素１０７，１０８，１０９は、１つ以上の関節を含み得るものであり、それらの各々は、関連するマニピュレータの相互に対する回転可能な運動（即ち、回転運動）及び／又は並進運動（即ち、移動運動）を提供することができる。マニピュレータ１０２，１０３，１０４の運動は、制御装置１０６によって制御されるアクチュエータを用いて開始することができる。

「アクチュエータ」という用語は、その駆動に応じて機構やプロセスに作用を与えるように設計された構成要素として理解することができる。アクチュエータは、制御装置１０６によって作成された命令（いわゆる起動）を機械的な運動に置き換えることができる。例えば、電気機械式変換器などのアクチュエータは、その駆動に応じて電気エネルギーを機械エネルギーに変換するように構成されるものとしてもよい。

「制御部」という用語は、論理実装された項目の任意のタイプとして理解することができ、これは、例えば、記憶媒体に格納されたソフトウェア、ファームウェア又はそれらの組合せを実行することができ、例えば、本実施例においては、アクチュエータに命令を出力することが可能な回路及び／又はプロセッサを含み得る。制御部は、例えば、システム（本例においてはロボット）の動作を制御するためにプログラムコード（例えば、ソフトウェア）によって構成されるものとしてもよい。

本例においては、制御装置１０６は、１つ以上のプロセッサ１１０と、コード及びデータを格納したメモリ１１１とを含み、これらのコード及びデータに基づいて、プロセッサ１１０はロボットアーム１０１を制御する。種々の実施形態によれば、制御装置１０６は、メモリ１１１に格納された機械学習モデル１１２に基づいて、ロボットアーム１０１を制御する。

種々の実施形態によれば、機械学習モデル１１２は、ロボット１００が、例えば、ロボットアーム１０１の作業空間内に配置される物体１１３のピックアップポーズを認識することができるように設計及び訓練されている。これは、ロボット１００が、物体１１３をどのようにピックアップすることができるか、即ち、自身のエンドエフェクタ１０４をどのように配向しなければならないか、及び、物体１１３をピックアップする（例えば、把持する）ためには自身のエンドエフェクタ１０４をどこへ移動させなければならないかを認識することを意味する。ピックアップポーズとは、ピックアップのための十分な情報を含むもの、即ち、そこから物体１１３をどのように把持することができるのかを求めるのに十分となる、物体１１３の向き及び位置に関する情報を含むものと理解される。ピックアップポーズには、物体１１３に関する完全な配向情報が必ずしも含まれていなければならないわけではない。なぜなら、回転対称部分を有する物体１１３の場合、把持することに、例えば、回転対称部分がその回転軸線周りにおいてどのように回転しているかは無関係である可能性があるからである。

ロボット１００は、例えば、自身の作業空間の画像を撮像することを可能にする１つ以上のカメラ１１４を備えるものとしてもよい。このカメラ１１４は、例えば、ロボットアーム１０１に取り付けられており、そのため、ロボットは、ロボットアーム１０１を動かし回すことにより、種々の視点からの物体１１３の画像を撮ることができる。

種々の実施形態によれば、制御装置１０６は、物体認識のための機械学習モデル１１２を実装し、その出力は、物体１１３のピックアップポーズを求めるために使用される。

物体認識のためのそのような機械学習モデル１１２の例は、密な物体ネットワークである。この密な物体ネットワークは、画像（例えば、カメラ１１４によって提供されるＲＧＢ画像）を任意の次元（次元Ｄ）記述子空間画像にマッピングする。

密な物体ネットワークは、画像の入力画像について記述子空間画像を出力するために自己教師あり学習を使用して訓練されたニューラルネットワークである。ただし、このアプローチの有効性は、収集された訓練データ及び関与するセンサ（例えば、カメラ１１４）の品質に大きく依存している。さらに、ネットワーク予測の解釈が困難な場合もある。

種々の実施形態によれば、産業用の組み立てや機械加工のタスクにとって典型的なケースである、物体の３Ｄモデル（例えば、ＣＡＤ（Computer Aided Design）モデル）が既知であることを想定して、物体と、その位置とを認識するためのアプローチが使用される。種々の実施形態によれば、ニューラルネットワーク用の入力画像を訓練する最適な目標画像を計算するために、非線形次元を低減させる技術が使用される。従って、ニューラルネットワークの自己教師あり訓練を使用する代わりに、種々の実施形態によれば、ニューラルネットワークの教師あり訓練が使用される。また、物体のＲＧＢＤ画像（ＲＧＢ＋深度情報）を撮像することも可能であり、そこからも物体の３Ｄモデルを決定することができる。

一実施形態によれば、機械学習モデル１１２を訓練するための訓練データを生成するために、最初にデータ収集が実施される。特に、例えば、登録されているＲＧＢ（赤－緑－青）画像が収集される。登録されている画像とは、本明細書においては、既知の内在的及び外在的カメラ値を有するＲＧＢ画像を意味する。例えば、現実世界のシナリオにおいては、ロボット（例えば、ロボットアーム１０１）が動き回っている間に、例えば、ロボットに取り付けられたカメラ１１４（例えば、ロボットの手首に取り付けられたカメラ）が物体を走査するために使用される。他の外在的推定手法、例えば、ＣｈＡｒＵｃｏマーカーも使用することができる。即ち、物体は、ＣｈＡｒＵｃｏボードに対して種々の位置及び姿勢で配置することができ、（ＣｈＡｒＵｃｏボード及び物体の）配置構成の画像が撮像可能である。シミュレートされたシナリオにおいては、既知の物体姿勢を用いて写真のようにリアルに生成されたＲＧＢ画像が使用される。

ＲＧＢ画像を収集した後、ニューラルネットワークの教師あり訓練のためにＲＧＢ画像の目標画像がレンダリングされる。

収集された各ＲＧＢ画像のワールド座標における各物体の姿勢は既知であることが想定される。このことは、シミュレートされたシナリオにおいては簡単であるが、現実世界のシナリオにおいては、例えば、物体を予め定められた位置に配置するなど、マニュアル（手動）調整が必要である。物体の位置を決定するために、ＲＧＢＤ画像を使用することもできる。

これらの情報とともに、例えば、以下において説明するような頂点記述子計算手法を使用して、各ＲＧＢ画像（即ち、訓練入力画像）について、記述子画像（即ち、訓練出力画像、これは目標画像又はＧｒｏｕｎｄ－Ｔｒｕｔｈ画像とも称される）がレンダリングされる。

各ＲＧＢ画像について目標画像が生成された場合、即ち、ＲＧＢ画像及び目標画像の対が形成された場合、これらの訓練入力画像及び関連する目標画像の対は、図２に示すように、ニューラルネットワークを訓練するための訓練データとして使用することができる。

図２は、一実施形態によるニューラルネットワーク２００の訓練を示している。

ニューラルネットワーク２００は、ｈ×ｗ×３テンソル（入力画像）をｈ×ｗ×Ｄテンソル（出力画像）にマッピングする完全畳み込みネットワーク(fully convolutional network)である。

これには、畳み込み層の複数のステージ２０４、続いてプーリング層、アップサンプリング層２０５、及び、異なる層の出力を組み合わせるスキップ結合層２０６が含まれる。

訓練のために、ニューラルネットワーク２００は、訓練入力画像２０１を受信し、記述子空間内の画素値（例えば、記述子ベクトル成分による色成分）を有する出力画像２０２を出力する。訓練損失は、出力画像２０２と、訓練入力画像に関連付けられた目標画像２０３との間において計算される。これは、訓練入力画像のバッチに対して行うことができ、訓練損失は、訓練入力画像にわたって平均化することができ、ニューラルネットワーク２００の重みは、訓練損失を用いた確率的勾配降下法を使用して訓練される。出力画像２０２と目標画像２０３との間において計算された訓練損失は、例えば、（目標画像２０３と出力画像２０２との間の画素ごとの最小二乗誤差を最小化するための）Ｌ２損失関数である。

訓練入力画像２０１は、物体及び目標画像、並びに、複数の出力画像を含む記述子空間内のベクトルを示している。これらの記述子空間内のベクトルは、出力画像２０２（及び目標画像２０３）が物体のヒートマップに類似するような色にマッピングすることができる。

記述子空間内のベクトル（（密な）記述子とも称される）は、それぞれの画像内の各画素（例えば、入力画像２０１と出力画像２０２とが同一の次元を有すると想定した場合、入力画像２０１の各画素）に割り当てられたｄ次元ベクトルである（ｄは、例えば、１、２、又は、３である）。密な記述子は、入力画像２０１内に示される物体の表面トポロジをその姿勢又はカメラ位置に対して不変に暗黙的に符号化する。

物体の３Ｄモデルが与えられた場合、物体の３Ｄモデルの各頂点に対する（リーマンの意味における）最適で一義的な記述子ベクトルを分析的に決定することができる。種々の実施形態によれば、これらの最適な記述子（又は最適化によって決定されるこれらの記述子の推定値）を使用して、登録されたＲＧＢ画像に対する目標画像が生成され、これは、ニューラルネットワーク２００の完全な教師あり訓練につながる。付加的に、記述子空間は、選択された記述子の次元ｄに関係なく、説明可能で最適になる。

以下においては、３Ｄモデルを、

に埋め込まれたリーマン多様体

とみなす。これにより、ジオメトリに留意しながら測地距離（頂点間の最短経路）の計算が引き起こされる。最適な表面トポロジは、３Ｄモデルをｄ次元のユークリッド記述子空間に埋め込むことにより明示的に符号化することができ、そのため、隣接する頂点間の測地距離は、可能な限り保持される。このユークリッド空間は、記述子空間とみなされ、最適なマッピング

による探索が実施される。一実施形態によれば、記述子空間内の頂点の最適な埋め込みを決定する（又は少なくとも推定する）ために、グリッドに対するラプラス演算子計算及びそれらの固有値分解が使用される。従って、測地距離計算とマッピング最適化とを分離する代わりに、３Ｄモデルのラプラス演算子を計算することにより、記述子が単一のフレームワークにおいて抽出される。

以下に説明するアプローチによれば、頂点間の距離（例えば、測地距離など）を保持するために、記述子空間へのユークリッド空間内の３Ｄ物体モデルの埋め込みが決定される。

ラプラス演算子を介した次元低減については、点のセット

が無指向グラフのノードに対応する必要がある。ｗ_ｉｊ≧０である場合には、２つのノードｘ_ｉとｘ_ｊとの間の結合強度又は近接度は、例えば、次のように表すべきである。
ｗ_ｉｊ＝ｅｘｐ（－||ｘ_ｉ－ｘ_ｊ||_２）

この目標は、ｄ次元の埋め込み

を見出すことにあり（典型的にはｄ＜Ｄ）、そのため、ｘ_ｉとｘ_ｊとが近接して存在する場合、それらの埋め込みも近接するはずである。即ち、

ここで、Ｙ＝[ｙ_１，…ｙ_Ｎ]_ｄ×Ｎである。

最適化問題（１）は

に対して等価的である。ここで、Ｌ_Ｎ×Ｎは、は正の半確定ラプラシアン行列である。Ａは、要素を有する隣接行列、Ａ_ｉｊ＝Ａ_ｊｉ＝ｗ_ｉｊ及びＤ_ｉｉ＝Σ_ｊＡ_ｉｊである。最適解Ｙ^＊は、任意のスケーリング及び傾向を有し得る点に留意されたい。このランダム性を除去するために、重み付けされた２次モーメントを、Ｙ^ＴＤＹ＝Ｉで正規化することも可能である。これにより、単位分散が種々の次元で強いられる。結果として生じる最適化問題は、以下の通りである。

ラグランジュパラメータ

を用いた制約付き最適化を使用すれば、

であり、これは、標準的な線形代数ライブラリで解くことができる一般化された固有値問題である。ＬとＤは正（半）定値行列であるため、固有値は、λ_０＝≦λ_１≦…≦λ_Ｎ－１として記述することができる。

さらに、第１の固有ベクトル（Ｙ^Ｔの第１の列）は１（１だけのベクトル）に等しく、各頂点を点にマッピングする自明な解である。付加的に、任意の２つの固有ベクトルは互いに直交している。固有値問題の解からは、Ｎ個の固有値とそれに対応する次元Ｎの固有ベクトルとが得られる。ただし、実際には、（自明な解を除いて）最も低い固有値に対応する最初のｄ個の固有ベクトルのみが使用される。

従って、Ｙのｉ番目の列はＲ^ｄへのノードｉの埋め込みであり、それに対して、各行は、種々の直交次元における各点の埋め込みを表す。

図３は、４ノードグラフの例示的な埋め込みを示している。

固有値は、埋め込みの最適性に関して重要な意味を持っている。最適な埋め込みＹ^＊の場合、以下の制約、

が満たされ、その結果、

が成り立つ。即ち、固有値は、種々の次元における埋め込みエラーに対応する。簡素化のために、ｄ＝１とするならば、この場合、各ｘは、点ｙ＝１にマッピングされ、式（５）は、以下のように簡略化される。

λ_０＝０なので、即ち、物体のすべての頂点が１つの点にマッピングされている場合、埋め込みエラーは０になる。なぜなら、すべての点間の距離ｙが０になるからである。これは、実用的な目的には有用ではなく、従って、第１の固有値及び固有ベクトルは、省略される。ｄ＝２を使用することは、各点ｘを線にマッピングすることに対応し、λ１は、対応する埋め込みエラーとなり、以下同様である。固有ベクトルは互いに直交しているため、ｄの増加は、新たな次元を埋め込みに付加する。これは、新たな直交次元の誤差を最小化することを目的としている。同様の効果は、式（３）においても見て取ることができる。ここで、

であるので、元の目的設定は、各次元の埋め込みエラーを最小化することに変更することができる。従って、選択したｄにかかわらず、結果として生じる記述子ベクトルは、最適となる。

場合によっては、後続の固有値が同一となる。即ち、λ_ｉ＝λ_ｉ＋１＝λ_ｉ＋２＝…（ｄ＝２及びｄ＝３の固有値が同様である図３の例参照）。これは、対称性に関するいくつかの情報につながり、ここでは、同一の埋め込みエラーを有する複数の直交次元が存在する。実際に、図３の４ノードグラフの例においては、グラフが完全に結合されている場合、各次元の埋め込みは対称であり、自明な解を除いてすべての固有値は同一である。

上記のグラフ埋め込みアプローチは、グリッドや点群などに直接適用することができる。例えば、頂点間の局所的な結合を形成し、隣接行列を作成するために、Ｋ最近傍法（ＫＮＮ）アルゴリズムを使用することができる。このアプローチは、グラフラプラシアンを構築し、各頂点の埋め込みを計算するのに十分である。それにもかかわらず、このアプローチは、内在的にユークリッド距離関数と発見法とに基づいており、これは３Ｄ物体モデルの基礎となるリーマン幾何学を必ずしも考慮していない。例えば、一部の縁部は、物体を通って延在したり、隣接していないグリッドの頂点を結合したりすることができる。隣接行列に不適正な項目がいくつかあるだけでも、埋め込み能力の低下を引き起こす可能性がある。それゆえ、一実施形態によれば、モデルを処理する場合、任意の２つの頂点間の測地距離が適正であること、又は、最小の近似誤差を有することが保証される。

一般に、グリッドや点群などの物体モデルは、

に埋め込まれたリーマン多様体として表すことができる。距離関数ｇが均一に変化するリーマン多様体Ｍは、「局所的ユークリッド」とみなすことができ、これは、実世界の物体の局所的な滑らかさの特性を捉えている。ラプラス演算子のリーマン多様体への一般化は、ラプラスベルトラミ（ＬＢ）演算子Δである。ユークリッド空間のラプラス演算子と同様に、関数に適用されるＬＢ演算子は、関数の勾配の発散である。ラプラス演算子は、グラフやユークリッド空間については（隣接情報又は有限差分から）容易に計算することができるのに対して、微分幾何学のＬＢ演算子は、外部計算（Exterior Calculus）に基づいており、一般に多様体に対しては直ちに利用することができるものではない。

ただし、グリッドなどの既知の離散多様体については、ＬＢ演算子は近似させることができる。これは、グリッドや点群などを処理する場合、非常に効率的で簡素な計算フレームワークを提供する。ラプラス演算子のリーマン等価物は、ラプラスベルトラミであるため、上述の埋め込みアプローチは、Δの場合にも直接適用可能である。Δの固有ベクトルＹは、グリッドの頂点の最適なｄ次元ユークリッド埋め込みを表す。

Δは、グリッドの場合、以下のように効率的に計算することができる。ここでは、Ｎ個の頂点Ｖ、平面Ｆ及び縁部Ｅを有するグリッドが与えられていることを想定する。この場合、Δのサイズは、Ｎ×Ｎである。Δのｉ番目の行は、その結合頂点に対するｉ番目の頂点の隣接情報を記述する。φをグリッド上の任意の関数とし、次いで、この関数における離散ＬＢ演算子の適用がΔφにマッピングされる。この関数のｉ番目の要素は、次のように記述することができる。即ち、

図４は、角度

及び

の定義を示している。

余接式の合計

は、結合重みｗ_ｉｊとして機能する。式（７）にも現れるこれらの重み、即ち、ＬＢ演算子の重みは、グリッドにおいて適用される場合、一実施形態によれば、式（２）のＤ及びＡを決定するための重みとして使用される。

α＞π／２⇒ｃｏｔ（α）＜０では、負の結合重みｗ_ｉｊが発生する可能性があるため、とりわけ、特に１つの角度が他の角度よりも著しく大きい場合（良好な平面ではない場合）には、注意が必要である。この問題を克服するために、結合重みは、エッジフリッピング（Edge Flipping）によって近似することができる。

上述した記述子生成アプローチは、各頂点を一義的に扱っている。即ち、各頂点には１つの一義的な記述子が割り当てられる。ただし、物体は、対称であるものとしてもよく、その場合、一義的な記述子を外見上同一の頂点に割り当てることは、非対称の埋め込みとなる。

この問題に対処するために、種々の実施形態によれば、形状の内在的対称性が検出され、対称性の埋め込みが圧縮されると、対称的な頂点は、同一の記述子にマッピングされる。ラプラスベルトラミ演算子の固有関数が、ユークリッド空間において対称的に見える場合、その形状は内在的対称性を持つことが示される。換言すれば、グリッドや点群などの対称的な特徴は、それらの測地線を保持するユークリッド埋め込み（記述子空間）がユークリッド対称性を示す場合に検出される。コンパクト多様体は、多様体の各頂点間の測地距離を保持する同相写像Ｔがある場合、内在的対称性を示す。

対称性記述子の圧縮については、いわゆるグローバルな内在的対称性不変関数（ＧＩＳＩＦ）を使用することができる。グローバルな内在的対称性同相写像を以下のように想定し、

ただし、ｇは測地距離を表す、さらに多様体の関数ｆに、多様体上の各点ｐについての場合として以下の式、
ｆｏＴ（ｐ）＝ｆ（Ｔ（ｐ））＝ｆ（ｐ） （８）
が成り立つ場合には、ｆは、ＧＩＳＩＦである。例えば、トーラス上においては、この同相写像は、ｚ軸周りの任意の回転であるものとしてもよい。これは、ｆがＧＩＳＩＦの場合、この回転に対して不変でなければならないことを意味する。

さらに、同一の固有値λ_ｉ＝λ_ｉ＋１＝…＝λ_ｉ＋Ｎの場合、この種のＧＩＳＩＦは、点の固有ベクトル成分の２乗和であることを示すことができる。即ち、

である。

これは、対称的埋め込みの必要条件である、上記の同一の固有値の分析と一致する。実際には、数値的な制約に基づいて稀に同一の固有値が生じるため、それらが同一のε球内にある場合（εが小さい場合）、即ち、それらの差が予め定められた閾値、例えば、０．１％又は０．０１％未満である場合に、固有値が同一とみなされるところでは発見法を使用することができる。対称的な次元は、所与の物体に対して１回だけしか検出する必要がないので、これは、マニュアル（手動）により実施することができる。

例えば、トーラスの固有値分解の最初の７つの固有値は以下のようになる。
λ_０－６＝[0.0,0.0175,0.0175,0.069,0.069,0.1525,0.1525]

自明な解を考慮せずに、

に埋め込まれたＧＩＳＩＦは、次式により与えられる。
ｆ(ｐ)＝[φ_１(ｐ)^２＋φ_２(ｐ)^２，φ_３(ｐ)^２＋φ_４(ｐ)^２，φ_５(ｐ)^２＋φ_６(ｐ)^２]

複数の物体の場合、このことは、個別に接続された複数のグラフとして表すことができる。この場合、隣接行列は、ブロック対角である。対称正定ラプラス演算子は、再び直交固有ベクトルを有する。単一グラフ埋め込みの場合と比較して、固有値分解の結果には２つの違いがある。第１は、減少しない固有値は、順序のないすべての物体の埋め込みエラーになり得ることであり、第２は、対応する固有値が直交のままであるため、固有ベクトルはゼロの項目を有することである。このことは、記述子空間の各次元が１つの物体埋め込みにのみ対応することを意味する。さらに、次元は、対応する物体の埋め込みエラーを参照して順序付けられる。従って、２つの物体の３次元の埋め込みを生成すべき場合には、ｄ＝８が使用される。なぜなら、λ＝０に対応する２つの自明な解が存在するからである。

この単純なアプローチは、複数の物体を独立して取り扱うが、それに対して、物体間の相関関係を利用する、より低いｄで適度に良好な埋め込みを提供する準最適の方法が存在する場合がある。

物体の姿勢を鑑みて、目標画像は、記述子を画像平面に投影することによって生成することができる。非物体（背景）として、記述子空間のランダムな画像ノイズや記述子空間内の最も遠い点にマッピングされる個々の記述子を使用することができる。

訓練されたネットワーク２００の堅牢性を改善するために、ドメインランダム化などの画像拡大法、又は、ガウシアンぼかし、トリミング若しくはドロップアウトなどの外乱を適用することができる。

ここで、機械学習モデル１１２、例えばニューラルネットワーク２００が、物体１１３のカメラ画像を記述子画像にマッピングするように訓練されている場合、未知の姿勢状況の物体１１３のピックアップポーズを求めるために以下の措置を取ることができる。

最初に、物体上において、物体１１３上の複数の基準点ｐ_ｉ、ｉ＝１，…Ｎが選択され、これらの基準点の記述子が求められる。このことは、物体１１３のカメラ画像が撮像され、物体上の基準画素（ｕ_ｉ，ｖ_ｉ）（従って、物体の対応する基準点）が選択され、カメラ画像が、ニューラルネットワーク２００によって記述子画像にマッピングされることによって行うことができる。次いで、基準画素の位置によって与えられる記述子画像内の位置における記述子は、基準点の記述子としてみなすことができる。即ち、基準点の記述子は、ｄ_ｉ＝Ｉ^ｄ（ｕ_ｉ，ｖ_ｉ）であり、ここで、Ｉ^ｄ＝ｆ（Ｉ；θ）は、記述子画像であり、ｆは、ニューラルネットワークによって実装される（カメラ画像から記述子画像への）マッピングであり、Ｉは、カメラ画像、θは、機械学習モデル２００の重みである。

ここで、物体１１３が、未知の姿勢状況にある場合、再びカメラ画像Ｉ_ｎｅｕが撮像され、機械学習モデルを用いて関連する記述子画像Ｉ^ｄ _ｎｅｕ＝ｆ（Ｉ_ｎｅｕ；θ）が求められる。この新たな記述子画像において、ここでは、基準画像のｄ_ｉの記述子に可及的に近接する記述子が、例えば、以下の式、
（ｕ_ｉ，ｖ_ｉ）^＊＝ａｒｇｍｉｎ_{ｕｉ，ｖｉ}||Ｉ^ｄ _ｎｅｕ（ｕ_ｉ，ｖ_ｉ）－ｄ_ｉ||_２ ^２、ただし、すべてのｉ＝１，…Ｎ
によって探索される。

３次元空間内の基準点の位置は、記述子画像Ｉ^ｄ _ｎｅｕ内の（従って、対応する新たなカメラ画像Ｉ_ｎｅｕ内の）基準点のそのように求められた又は推定された位置（ｕ_ｉ，ｖ_ｉ）^＊から求められる。例えば、カメラ画像Ｉ_ｎｅｕと共に深度画像が撮像され（又はカメラ画像Ｉ_ｎｅｕは深度チャネル、例えば、ＲＧＢＤ画像などを有し）、そのため、（ｕ_ｉ，ｖ_ｉ）^＊からは、（当該位置（ｕ_ｉ，ｖ_ｉ）^＊における深度値を、それぞれの作業領域座標系に投影することによって）ｉ番目の基準点ｐ_ｉの３次元位置を求めることができる。

複数の基準点の空間内の位置が既知である場合、そこからは、図５に示されているようにピックアップポーズを求めることができる。

例えば、空間内の物体５００上の２つの基準点ｐ_１及びｐ_２の位置が求められ、この２つは、線形に組み合わせられ、例えば、それらの平均値が、アンカー点５０４を確定するために取られる。把持向きを定義するために、第１の軸線５０１は、ｐ_１及びｐ_２方向によって確定され、第２の軸線５０２は、アンカー点５０４によって、例えば、カメラ１１４のｚ軸線方向又は作業領域座標系の軸線方向において任意に確定される。アンカー点５０４を通る第３の軸線５０３は、第１の軸線５０１の方向ベクトルと、第２の軸線５０２の方向ベクトルとからのベクトル積によって計算することができる。これらの３つの軸線５０１乃至５０３及びアンカー点５０４は、物体５００に対するピックアップポーズを定義する。次いで、ロボットは、第１の軸線方向に延在する物体５００の軸を包含するように制御することができる。基準点ｐ_１及びｐ_２は、例えば、図示のように、軸に沿って、即ち、物体の把持に適した細長い部分区間に沿って延在するように確定される。

同様に、３つ以上の基準点を、物体の把持面上に配置することができ、そのため、それらの位置からは、物体の完全な６Ｄピックアップポーズ又は物体を把持し得る把持面の向きも求めることができる。

グリッパは、必ずしもはさみ形である必要はなく、例えば、物体を適当な表面により吸引することによってピックアップするために、吸引装置を有することもできる点に留意されたい。吸引装置を適正な姿勢に移行させるために、例えば、この場合、吸引に適している物体の表面の向きと位置とを示すピックアップポーズを求めることが望ましい場合もある。これは、例えば、アンカー点とアンカー点内の平面法線ベクトルとを求めることによって行うことができる。

ピックアップポーズを求めるために、例えば、平均化によりエラーを低減するために、３つ以上の基準点を使用することも可能である。

要約すると、種々の実施形態によれば、図６に示されるような方法が提供される。

図６は、種々の姿勢状況の物体をピックアップするロボットを制御するための方法を示している。

６０１においては、物体上において複数の基準点が確定され、それによって、３次元空間内の基準点の姿勢状況が物体のピックアップポーズを定める。

６０２においては、物体の既知の姿勢状況の物体の第１のカメラ画像が受信され、それによって、第１のカメラ画像内の基準点の位置が既知になる。

６０３においては、第１のカメラ画像が、カメラ画像内において可視の物体点をカメラ画像内のそれらの位置に依存することなく記述子に割り当てるように訓練された機械学習モデルを用いて、第１の記述子画像にマッピングされる。

６０４においては、基準点の記述子が、基準点の既知の位置における第１の記述子画像の読出しにより、第１の記述子画像から識別される。

６０５においては、物体がピックアップされる未知の姿勢状況の物体の第２のカメラ画像が受信される。

６０６においては、第２のカメラ画像が、機械学習モデルを用いて第２の記述子画像にマッピングされる。

６０７においては、識別された基準点の記述子が、第２の記述子画像内において探索される。

６０８においては、未知の姿勢状況の３次元空間内の基準点の位置が、記述子画像内において検出された基準点の記述子の位置から求められる。

６０９においては、未知の姿勢状況に対する物体のピックアップポーズが、３次元空間内において求められた基準点の位置から求められる。

６１０においては、物体をピックアップするためのロボット装置が、求められたピックアップポーズに応じて制御される。

種々の実施形態によれば、換言すれば、複数の基準点の位置が、未知の姿勢状況の物体を示すカメラ画像内のそれらの記述子に基づいて識別され、カメラ画像内のそれらの位置から３次元空間内のそれらの位置が決定される。次いで、３次元空間内の複数の基準点の位置から、ピックアップポーズ（例えば、物体を把持するための１つ以上の軸線の向き）が決定される。

「ピックアップする」とは、例えば、グリッパで把持することを意味するものと理解されたい。ただし、他のタイプの保持機構も使用することが可能であり、例えば、物体を吸引するための吸引器も使用可能である。その他に、「ピックアップする」とは、必ずしも物体が単独で移動することを意味するものではないことを理解されたい。例えば、より大きい構造体における構成要素を取り上げ、それを、より大きい構造体から分離することなく曲げることも可能である。

機械学習モデルは、例えば、ニューラルネットワークである。ただし、相応に訓練された他の機械学習モデルを使用することも可能である。

種々の実施形態によれば、機械学習モデルは、（それぞれのカメラ画像の画像平面内の）物体の画素に記述子を割り当てる。このことは、物体の表面トポロジの間接的な符号化とみなすことができる。記述子と表面トポロジとの間のこの接続は、記述子を画像平面にマッピングするためのレンダリングによって明示的に行うことができる。物体モデルの平面（即ち、頂点以外の点）の記述子値は、補間を用いて決定することができる点に留意されたい。例えば、１つの面が、物体モデルの３つの頂点によってそれぞれの記述子値ｙ１，ｙ２，ｙ３で与えられている場合、この面の任意の点において、記述子値ｙは、これらの値の加重和ｗ_１・ｙ_１＋ｗ_２・ｙ_２＋ｗ_３・ｙ_３として計算することができる。換言すれば、記述子値は、頂点において補間される。

機械学習モデルのための訓練データ用画像対を生成するために、例えば、物体の画像（例えば、ＲＧＢ画像）が、既知の３Ｄ（例えば、ＣＡＤ）モデル及び既知の姿勢座標系（グローバル（即ち、ワールド）座標系）を有する物体（又は複数の物体）を含めて（密な）記述子画像にマッピングされ、これは、物体モデルとその記述子空間における表現（埋め込み）との間の幾何学的特性（特に、物体の点の近接度）の偏差を最小にする記述子による探索によって生成されるという意味で最適なものである。実際の使用においては、探索が特定の探索空間に限定されるため、最小化のための理論上の最適解は、一般的には見つからない。それにもかかわらず、最小値の推定は、（利用可能な計算精度、最大反復回数など）実際の適用の制約内において決定される。

従って、頂点に対する記述子は、頂点対の記述子間の距離の、結合された頂点対にわたる合計を、頂点対間の縁部の重みによって重み付けして最小化プロセスを実施することによって探索され、ここでは、頂点のそれぞれの頂点に対する各記述子が探索される。

各訓練データ画像対は、物体の訓練入力画像と目標画像とを含み、目標画像は、訓練入力画像内において可視の頂点の記述子を、訓練入力画像内において物体が有する姿勢に従って、訓練入力画像平面に投影することによって生成される。

これらの画像は、それらに関連する目標画像とともに機械学習モデルの教師あり訓練に使用される。

従って、機械学習モデルは、物体（又は複数の物体）の一義的な特徴を認識するように訓練される。これらの情報は、機械学習モデルのリアルタイムの評価を用いたロボット制御の種々の用途に、例えば、組み立てのための物体把持姿勢の予測に使用することができる。教師あり訓練アプローチでは、対称性情報の明示的な符号化が可能である点に留意されたい。

図６の方法は、１つ以上のデータ処理ユニットを含む１つ以上のコンピュータによって実施され得る。「データ処理ユニット」という用語は、データや信号の処理を可能にする任意のタイプの項目を意味するものと理解することができる。例えば、これらのデータや信号は、データ処理ユニットによって実施される少なくとも１つの（即ち、１つ以上の）特定の機能に従って処理可能である。データ処理ユニットは、アナログ回路、デジタル回路、複合信号回路、論理回路、マイクロプロセッサ、マイクロコントローラ、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、プログラマブルゲートアレイ（ＦＰＧＡ）、集積回路、又は、それらの任意の組合せを含み得るものであり又はそれらから構成し得るものである。また、以下においてより詳細に説明する各機能を実装するための任意の他の手法も、データ処理ユニットや論理回路ユニットとして理解することができる。もちろん、本明細書において詳細に説明されている１つ以上の方法ステップは、データ処理ユニットによって実施される１つ以上の特定の機能を介して、データ処理ユニットによって実行（例えば、実装）することができる。

種々の実施形態は、例えば、物体を示すセンサデータを取得するために、種々のセンサ、例えば、（ＲＧＢ）カメラ、ビデオ、レーダ、ＬｉＤＡＲ、超音波、サーマルイメージング製品などからのセンサ信号を受信して使用することができる。これらの実施形態は、訓練データを生成し、機械学習システムを訓練するために使用することができ、例えば、ロボット、例えばロボットマニピュレータを自律的に制御するために、又は、種々のシナリオの下において種々の操作タスクを達成するために使用することができる。特に、これらの実施形態は、例えば、組み立てラインにおける操作タスクの実行の制御及び監視の際に適用可能である。

本明細書においては、特定の実施形態を示して説明してきたが、当業者が、図示され説明されてきたこれらの特定の実施形態を、本発明の保護範囲から逸脱することなく、種々の代替的及び／又は同等の実施形態に置き換えることが可能であることは、明らかであろう。本出願は、本明細書において論じられる特定の実施形態のあらゆる適合化又は変化形態を包含するものである。それゆえ、本発明は、特許請求の範囲及びそれらの等価物によってのみ限定されることが意図される。

Claims (11)

1. 種々の姿勢状況の物体をピックアップするロボットを制御するための方法であって、
   前記物体上において複数の基準点を確定し、それによって、３次元空間内の前記基準点の状況が前記物体のピックアップポーズを定めるステップと、
   前記物体の既知の姿勢状況の前記物体の第１のカメラ画像を受信し、それによって、前記第１のカメラ画像内の基準点の位置を既知にするステップと、
   前記第１のカメラ画像を、前記カメラ画像内において可視の物体点を前記カメラ画像内のそれらの位置に依存することなく記述子に割り当てるように訓練された機械学習モデルを用いて、第１の記述子画像にマッピングするステップと、
   前記基準点の記述子を、前記基準点の前記既知の位置における前記第１の記述子画像の読出しにより、前記第１の記述子画像から識別するステップと、
   前記物体がピックアップされる未知の姿勢状況の前記物体の第２のカメラ画像を受信するステップと、
   前記第２のカメラ画像を、前記機械学習モデルを用いて第２の記述子画像にマッピングするステップと、
   識別された前記基準点の記述子を、前記第２の記述子画像内において探索するステップと、
   前記未知の姿勢状況の３次元空間内の前記基準点の位置を、前記記述子画像内において検出された前記基準点の前記記述子の位置から求めるステップと、
   前記未知の姿勢状況に対する前記物体のピックアップポーズを、前記３次元空間内において求められた前記基準点の位置から求めるステップと、
   前記物体をピックアップするロボットデバイスを、前記求められた前記ピックアップポーズに応じて制御するステップと、
   を含む方法。
2. 前記未知の姿勢状況における３次元空間内の前記基準点の位置は、前記第２の記述子画像における前記基準点の位置に対応する、前記第２のカメラ画像における前記基準点の位置についての深度情報を３次元空間に投影することによって、前記第２の記述子画像における前記基準点の前記記述子の検出された位置から求められる、請求項１に記載の方法。
3. 前記基準点は、前記物体の細長い部分区間に沿って配置されるように確定される少なくとも２つの基準点を有し、前記未知の姿勢状況についての前記物体のピックアップポーズは、前記基準点を通って延在する軸線を求めることによって求められる、請求項１又は２に記載の方法。
4. 前記基準点は、前記物体の平面上に配置されるように確定される少なくとも３つの基準点を有し、前記未知の姿勢状況についての前記物体のピックアップポーズは、前記基準点を通って延在する平面を求めることによって求められる、請求項１乃至３のいずれか一項に記載の方法。
5. 前記機械学習モデルを訓練するステップは、
   頂点のグリッドを含む、前記物体の３Ｄモデルを取得するステップと、
   前記グリッドの各頂点に対する記述子を決定するステップと、
   各訓練データ画像対が、物体を示す訓練入力画像と目標画像とを含む、訓練データ画像対を生成するステップであって、前記目標画像を生成することは、
   前記訓練入力画像内の頂点を有する、前記物体の物体モデルの頂点の頂点位置を決定するサブステップと、
   前記訓練入力画像内の各特定の頂点位置について、当該頂点位置における頂点に対して決定された記述子を、前記目標画像内の位置に割り当てるサブステップと、を含む、ステップと、
   前記機械学習モデルを、訓練データとして前記訓練データ画像対を使用した教師あり学習により訓練するステップと、
   を含む、請求項１乃至４のいずれか一項に記載の方法。
6. 前記訓練データ画像対を生成するステップは、異なる姿勢の物体の複数の画像を取得するステップと、取得された各画像のための目標画像の生成により、取得された各画像から訓練データ画像対を生成するステップと、を含む、請求項５に記載の方法。
7. 前記訓練入力画像内の頂点を有する、前記物体の物体モデルの頂点の頂点位置を、前記訓練入力画像内において前記物体が有するそれぞれの姿勢から決定するステップを含む、請求項５又は６に記載の方法。
8. ３Ｄモデルの頂点が縁部によって結合され、各縁部は、前記物体内の縁部によって結合された２つの頂点の近接度を特定する重みを有し、前記グリッドの各頂点に対する記述子を決定するステップは、頂点対の記述子間の距離の結合された頂点対にわたる合計を、頂点対間の縁部の重みによって重み付けして最小化する、頂点に対する記述子の探索によって行われる、請求項５乃至７のいずれか一項に記載の方法。
9. 請求項１乃至８のいずれか一項に記載の方法を実施するように構成されたロボット制御装置。
10. 命令がプロセッサによって実行されるときに、前記プロセッサに請求項１乃至８のいずれか一項に記載の方法を実施させるための命令を含むコンピュータプログラム。
11. 命令がプロセッサによって実行されるときに、前記プロセッサに請求項１乃至８のいずれか一項に記載の方法を実施させるための命令を記憶しているコンピュータ可読記憶媒体。

Images