JP2019032830A - 対象オブジェクトをつかみ取るための把持姿勢を検出するシステム及び方法 - Google Patents

Abstract

【課題】対象オブジェクトをつかみ取るための把持姿勢を検出するシステムを提供する。【解決手段】本システムは、複数の表面パッチを、面法線方向に基づくデプス空間に領域拡張技術を使用して作成している。カラーとデプス曲率とに基づく混合ガウスモデルを使用して、対象オブジェクトに属する表面を背景からセグメント化しており、これによって対象オブジェクトのバウンディングボックスが大きくなる現象をもたらす小規模なデータセットで訓練された、オブジェクト認識モジュールの不正確さを克服している。対象オブジェクトの形状を、表面属性に対して経験則を使用することによって識別しており、これによって把持可能なアフォーダンスと姿勢とを検出して、近傍のオブジェクトとの衝突を回避し、且つオブジェクトをより良好に把持している。【選択図】図２

Description

本明細書の開示は、概して把持姿勢検出システムに関し、より詳細には、対象オブジェクトをつかみ取るための把持姿勢を検出するシステム及び方法に関する。

本特許出願は、２０１７年７月２０日に出願されたインド特許出願第２０１７２１０２５９１２号に対する優先権を主張するものである。

周囲の環境を操作できるロボットは、物体の知覚のみが可能なロボットよりも一層有用である。このようなロボットは日々の家事の多くをこなすことができるため、これによって人間がより創造的な追求ができるように、これらの家事から解放してくれる。これを実現するために、ロボットには人間のような処理能力と把持能力とが求められる。ロボットの処理能力は長年にわたり向上してきたが、把持は依然として困難な課題であり続けており、コンピュータビジョン及び画像処理技術の急速な進歩により、この課題は近年大いに注目されている。この把持に関する課題の解決を試みるいくつかの方法が、文献に記載されている。その中には、二次元画像の視覚特性を使用して把持可能領域を特定する例がある一方で、この目的のためにレンジデータを使用する例もあり、後者は低コストのＲＧＢＤセンサが利用できるため、より注目を集めている。近年、深層学習ベースの方法は、把持可能領域を検出するためにますます普及しつつある。当分野における既存の方法の大部分を、２つのカテゴリに大きく分類することができる。第１のカテゴリでは、当該方法（複数可）は、実際の複数の使用事例では非実用的となるような、そのオブジェクト（又はＣＡＤモデル）に関する正確な幾何学的情報を利用できるかどうかに依存している。第２のカテゴリの方法では、ＲＧＢＤ点群から直接把持姿勢と把持アフォーダンスとを計算することに焦点を当てている。上記のような方法では、局所的な幾何学的特性を利用することで、そのオブジェクトの同一性又はその正確な三次元形状を知らなくても把持可能領域を特定している。それでもなお課題は残っており、部分的オクルージョン、照度不良、変形可能なオブジェクトの形状及びサイズの変化、ラックビンのスケーリング及びこれの視界が制限されていることなどの複数の要因により、困難となっている。

本開示の実施形態は、従来のシステムにおいて本発明者らによって認識されている上記の技術的課題の１又は複数に対するソリューションとして、技術的改善策を提示している。たとえば、一態様では、対象オブジェクトをつかみ取るための把持姿勢を検出するプロセッサ実施方法を提供している。本方法は、１又は複数のプロセッサによって実施されるニューラルネットワークを使用して、ＲＧＢ画像から１又は複数の対象オブジェクトを検出する工程であって、前記ＲＧＢ画像は、前記１又は複数の検出された対象オブジェクトのそれぞれを含む１又は複数のウィンドウを備える、工程と、デプスセンサから、前記１又は複数のウィンドウ内のデプスデータを取得する工程と、前記１又は複数のウィンドウ内の前記デプスデータに対して領域拡張技術を適用して、前記１又は複数のウィンドウにおいて、前記１又は複数の対象オブジェクトの１又は複数の表面を求める工程とを備える。一実施形態では、領域拡張技術を使用して、前記１又は複数のウィンドウにおいて、前記１又は複数の対象オブジェクトの１又は複数の表面を求める前記工程は、シード点と１又は複数の近傍点との間である表面の面法線を比較する工程と、（ｉ）前記シード点と前記１又は複数の近傍点との間で角度を比較し、且つ（ｉｉ）これらと閾値とを比較する工程とを含む。

本方法は、混合ガウスモデルを使用して、前記１又は複数の表面から、１又は複数のオブジェクトセグメント及び１又は複数の非オブジェクトセグメントのうちの少なくとも一方をセグメント化する工程をさらに含む。一実施形態では、混合ガウスモデルを使用して、前記１又は複数の表面から、１又は複数のオブジェクトセグメント及び１又は複数の非オブジェクトセグメントのうちの少なくとも一方をセグメント化する前記工程は、前記１又は複数のオブジェクトセグメント及び１又は複数の非オブジェクトセグメントのうちの少なくとも一方に属する１又は複数の表面のカラー及び曲率に基づいており、ここで、前記カラーは色相及び彩度を含み、ここで、各セグメントの曲率をＴａｕｂｉｎのフィッティング技法を使用して計算している。一実施形態では、混合ガウスモデルを使用して、前記表面から、１又は複数のオブジェクトセグメント及び１又は複数の非オブジェクトセグメントのうちの少なくとも一方をセグメント化する前記工程は、データベースに記憶された訓練データに基づいている。

本方法は、前記１又は複数のオブジェクトセグメントの少なくとも１つに基づいて、前記１又は複数の対象オブジェクトの１又は複数の最適なフィット形状プリミティブを求める工程であって、前記１又は複数の最適なフィット形状プリミティブを求める前記工程は、前記１又は複数のオブジェクトセグメントに属する前記１又は複数の表面の１又は複数の属性に対して、１又は複数の経験則を適用する工程を含み、ここで、前記１又は複数の属性は、１又は複数の面法線方向、１又は複数の表面曲率、並びに前記表面の長軸及び短軸のうちの少なくとも１つを含む工程をさらに含む。本方法は、前記１又は複数の最適なフィット形状プリミティブを使用して、前記１又は複数の対象オブジェクトをつかみ取るための１又は複数の把持姿勢を検出する工程をさらに含む。

別の態様では、対象オブジェクトをつかみ取るための把持姿勢を検出するシステムを提供している。本システムは、命令を記憶するメモリと、１又は複数の通信インターフェースと、前記１又は複数の通信インターフェース（１０６）を介して前記メモリに結合された１又は複数のハードウェアプロセッサとを備え、ここで、前記１又は複数のハードウェアプロセッサは、前記命令により、前記１又は複数のプロセッサによって実施されるニューラルネットワークを使用して、ＲＧＢ画像から１又は複数の対象オブジェクトを検出し、ここで、前記ＲＧＢ画像は、前記１又は複数の検出された対象オブジェクトのそれぞれを含む１又は複数のウィンドウを備えており、デプスセンサから、前記１又は複数のウィンドウ内のデプスデータを取得し、且つ前記１又は複数のウィンドウ内の前記デプスデータに対して領域拡張技術を適用して、前記１又は複数のウィンドウにおいて、前記１又は複数の対象オブジェクトの１又は複数の表面を求めるように構成されている。一実施形態では、前記１又は複数の対象オブジェクトの１又は複数の表面を、シード点と１又は複数の近傍点との間である表面の面法線を比較する工程と、（ｉ）前記シード点と前記１又は複数の近傍点との間で角度を比較し、且つ（ｉｉ）これらと閾値とを比較する工程とを実行することによって、前記１又は複数のウィンドウにおいて求めている。

前記１又は複数のハードウェアプロセッサは、混合ガウスモデルを使用して、前記１又は複数の表面から、１又は複数のオブジェクトセグメント及び１又は複数の非オブジェクトセグメントのうちの少なくとも一方をセグメント化し、前記１又は複数のオブジェクトセグメントの少なくとも１つに基づいて、前記１又は複数の対象オブジェクトの１又は複数の最適なフィット形状プリミティブを求め、且つ前記１又は複数の最適なフィット形状プリミティブを使用して、前記１又は複数の対象オブジェクトをつかみ取るための１又は複数の把持姿勢を検出するようにさらに構成されている。

一実施形態では、前記１又は複数のオブジェクトセグメント及び１又は複数の非オブジェクトセグメントのうちの少なくとも一方を、前記１又は複数の表面から、前記１又は複数のオブジェクトセグメント及び１又は複数の非オブジェクトセグメントのうちの少なくとも一方に属する前記１又は複数の表面のカラー及び曲率に基づいてセグメント化しており、ここで、前記カラーは色相及び彩度を含み、ここで、各セグメントの曲率をＴａｕｂｉｎのフィッティング技法を使用して計算しており、ここで、前記１又は複数のオブジェクトセグメント及び１又は複数の非オブジェクトセグメントのうちの少なくとも一方を、データベースに記憶された訓練データに基づいてセグメント化している。

一実施形態では、前記１又は複数の対象オブジェクトの前記１又は複数の最適なフィット形状プリミティブを、前記１又は複数のオブジェクトセグメントに属する前記１又は複数の表面の１又は複数の属性に対して、１又は複数の経験則を適用することによって求めており、ここで、前記１又は複数の属性は、１又は複数の面法線方向、１又は複数の表面曲率、並びに前記表面の長軸及び短軸のうちの少なくとも１つを含む。

さらに別の態様では、１又は複数の命令を備える１又は複数の非一時的機械可読情報記憶媒体を提供している。１又は複数のハードウェアプロセッサによって実行されると、対象オブジェクトをつかみ取るための把持姿勢を検出する工程を実行する、１又は複数の命令を提供している。前記命令は、１又は複数のプロセッサによって実施されるニューラルネットワークを使用して、ＲＧＢ画像から１又は複数の対象オブジェクトを検出する工程であって、前記ＲＧＢ画像は、前記１又は複数の検出された対象オブジェクトのそれぞれを含む１又は複数のウィンドウを備える、工程と、デプスセンサから、前記１又は複数のウィンドウ内のデプスデータを取得する工程と、前記１又は複数のウィンドウ内の前記デプスデータに対して領域拡張技術を適用して、前記１又は複数のウィンドウにおいて、前記１又は複数の対象オブジェクトの１又は複数の表面を求める工程とを含む。一実施形態では、領域拡張技術を使用して、前記１又は複数のウィンドウにおいて、前記１又は複数の対象オブジェクトの１又は複数の表面を求める前記工程は、シード点と１又は複数の近傍点との間である表面の面法線を比較する工程と、（ｉ）前記シード点と前記１又は複数の近傍点との間で角度を比較し、且つ（ｉｉ）これらと閾値とを比較する工程とを含む。

前記命令は、混合ガウスモデルを使用して、前記１又は複数の表面から、１又は複数のオブジェクトセグメント及び１又は複数の非オブジェクトセグメントのうちの少なくとも一方をセグメント化する工程をさらに含む。一実施形態では、混合ガウスモデルを使用して、前記１又は複数の表面から、１又は複数のオブジェクトセグメント及び１又は複数の非オブジェクトセグメントのうちの少なくとも一方をセグメント化する前記工程は、前記１又は複数のオブジェクトセグメント及び１又は複数の非オブジェクトセグメントのうちの少なくとも一方に属する１又は複数の表面のカラー及び曲率に基づいており、ここで、前記カラーは色相及び彩度を含み、ここで、各セグメントの曲率をＴａｕｂｉｎのフィッティング技法を使用して計算している。一実施形態では、混合ガウスモデルを使用して、前記表面から、１又は複数のオブジェクトセグメント及び１又は複数の非オブジェクトセグメントのうちの少なくとも一方をセグメント化する前記工程は、データベースに記憶された訓練データに基づいている。

前記命令は、前記１又は複数のオブジェクトセグメントの少なくとも１つに基づいて、前記１又は複数の対象オブジェクトの１又は複数の最適なフィット形状プリミティブを求める工程であって、前記１又は複数の最適なフィット形状プリミティブを求める前記工程は、前記１又は複数のオブジェクトセグメントに属する前記１又は複数の表面の１又は複数の属性に対して、１又は複数の経験則を適用する工程を含み、ここで、前記１又は複数の属性は、１又は複数の面法線方向、１又は複数の表面曲率、並びに前記表面の長軸及び短軸のうちの少なくとも１つを含む工程をさらに含む。前記命令は、前記１又は複数の最適なフィット形状プリミティブを使用して、前記１又は複数の対象オブジェクトをつかみ取るための１又は複数の把持姿勢を検出する工程をさらに含む。

前述の概要及び以下の詳細な記載は、双方とも例示的且つ説明的なものに過ぎず、特許請求された本発明を限定するものではないことが理解される。

添付の図面は本開示に組み込まれ、本開示の一部を構成し、例示的な実施形態を示し、且つその記載と共に開示された原理を説明する役割を果たしている。

本開示の一実施形態に係る、対象オブジェクトをつかみ取るための１又は複数の把持姿勢を検出するシステムの、例示的なブロック図を示す。 本開示の一実施形態に係る、図１のシステムを使用した対象オブジェクトをつかみ取るための１又は複数の把持姿勢を検出する方法の、例示的なフロー図を示す。 本開示の一実施形態に係る、つかみ取る予定の検出された対象オブジェクトを包囲するバウンディングボックスを示す。 本開示の一実施形態に係る、図３のバウンディングボックス内で拡張される、検出されたセグメント領域を示す。 本開示の一実施形態に係る、マージング技術を適用した後の最終セグメントを示す。 本開示の一実施形態に係る、検出された対象オブジェクトを包囲する、領域ベースの畳み込みニューラルネットワーク（ＲＣＮＮ）のバウンディングボックスを示す。 本開示の一実施形態に係る、図１のシステムによる、フィーチャとしてカラーのみを考慮した混合ガウスモデル（ＧＭＭ）の出力を示す。 本開示の一実施形態に係る、図１のシステムによる、形状フィッティングのフィーチャとしてカラー及び曲率を考慮しているセグメントを示す。 本開示の一実施形態に係る、カラー、曲率及び両方の組み合わせに基づく混合ガウスモデルを使用した、（ａ）円柱及び（ｂ）ボックスの２つのオブジェクトに関する検出精度を図示している、グラフ表示を示す。 本開示の一実施形態に係る、カラー、曲率及び両方の組み合わせに基づく混合ガウスモデルを使用した、（ａ）円柱及び（ｂ）ボックスの２つのオブジェクトに関する検出精度を図示している、グラフ表示を示す。 本開示の一実施形態に係る、円柱、球、及びボックスのそれぞれのプロトタイプを示す。 本開示の一実施形態に係る、円柱、球、及びボックスのそれぞれのプロトタイプを示す。 本開示の一実施形態に係る、円柱、球、及びボックスのそれぞれのプロトタイプを示す。 本開示の一実施形態に係る、提案している本方法による結果を示す。

例示的な実施形態について添付の図面を参照して説明する。図面において、参照番号の最も左の数字（複数可）は、その参照番号が最初に出現する図を特定している。便宜上、図面全体を通して、同じ参照番号を同じ又は同様の部分を指すために使用している。開示する原理の例及び特徴を本明細書に記載しているが、開示する実施形態の趣旨及び範囲から逸脱することなく、修正、適合並びに他の実施が可能となっている。以下の詳細な説明は例示的なものとしてのみ考慮され、本発明の真の範囲及び趣旨を、以下の特許請求の範囲によって示していることが意図される。

対象オブジェクトをつかみ取るための把持姿勢を検出するシステム及び方法を開示している。本システムは、把持姿勢検出の課題を解決し、小売倉庫内のラックビンなどの閉鎖され、且つ雑然とした空間からオブジェクトをつかみ取るのに適した把握可能なアフォーダンスを見つけ出している。本方法は、領域ベースの畳み込みニューラルネットワーク（ＲＣＮＮ）に基づくオブジェクト認識モジュールから取得されるバウンディングボックス内に複数の表面セグメントを作成する工程を含む。これらの表面パッチを、面法線方向の不連続性に基づくデプス空間に領域拡張技術を使用して作成している。カラー（色相及び彩度）とデプス曲率とに基づく混合ガウスモデルを使用して、対象オブジェクトに属する表面をその背景からセグメント化している。これは、対象オブジェクトのバウンディングボックスが大きくなる現象をもたらす小規模なサンプルデータセットで訓練された、オブジェクト認識モジュールの不正確さを克服するのに役立つ。対象オブジェクトの形状を、面法線方向や表面曲率などの表面属性に対して経験則を使用することによって識別している。最終的に、近傍のオブジェクトとの衝突を回避し、且つボックスタイプのオブジェクトをより良好に把持することを可能にする曲線適合アルゴリズムの改良版を使用することにより、適切な把持可能なアフォーダンスと把持姿勢とを検出している。

ここで図面を、より具体的には図１〜図７を参照すると、図面全体を通して一貫して同様の参照番号が対応する特徴を示している中に、好ましい実施形態が示されており、これらの実施形態を、以下の例示的なシステム及び／又は方法に関連して記載している。

図１は、本開示の一実施形態に係る、対象オブジェクトをつかみ取るための１又は複数の把持姿勢を検出するシステム１００の、例示的なブロック図を示す。システム１００を、以下で把持姿勢検出システムとも呼んでいる。一実施形態では、システム１００は１又は複数のプロセッサ１０４と、通信インターフェースデバイス（複数可）又は入出力（Ｉ／Ｏ）インターフェース（複数可）１０６と、１又は複数のプロセッサ１０４に動作可能に結合された１又は複数のデータ記憶デバイス又はメモリ１０２とを備える。ハードウェアプロセッサである１又は複数のプロセッサ１０４を、１又は複数のマイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、中央処理装置、状態マシン、論理回路、及び／又は操作命令に基づいて信号を操作する任意のデバイスとして実施することができる。とりわけプロセッサ（複数可）を、メモリに記憶されたコンピュータ可読命令をフェッチして実行するように構成している。一実施形態では、ラップトップコンピュータ、ノートパソコン、ハンドヘルドデバイス、ワークステーション、メインフレームコンピュータ、サーバ、ネットワーククラウドなどの様々なコンピューティングシステムに、システム１００を実施することができる。

Ｉ／Ｏインターフェースデバイス（複数可）１０６は、たとえばウェブインターフェース、グラフィカル・ユーザ・インターフェースなどの様々なソフトウェアインターフェース及びハードウェアインターフェースを備えることができ、たとえばＬＡＮ、ケーブルなどの有線ネットワーク、及びＷＬＡＮ、セルラー、又は衛星などの無線ネットワークを含む各種ネットワークＮ／Ｗ及びプロトコルタイプ内での複数の通信を容易にすることができる。一実施形態では、Ｉ／Ｏインターフェースデバイス（複数可）は、複数のデバイスを互いに、又は別のサーバに接続するための１又は複数のポートを備えることができる。

メモリ１０２は、たとえばスタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）及びダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）などの揮発性メモリ、並びに／又は読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブルＲＯＭ、フラッシュメモリ、ハードディスク、光ディスク、及び磁気テープなどの不揮発性メモリを含む、当技術分野で任意且つ既知のコンピュータ可読媒体を備えることができる。

図１に関連して、図２は、本開示の一実施形態に係る、図１のシステム１００を使用した対象オブジェクトをつかみ取るための１又は複数の把持姿勢を検出する方法の、例示的なフロー図を示す。一実施形態では、システム１００は、１又は複数のハードウェアプロセッサ１０４に動作可能に結合された１又は複数のデータ記憶デバイス又はメモリ１０２を備え、且つ本方法の工程を１又は複数のプロセッサ１０４によって実行するための命令を記憶するように構成されている。ここで本開示の方法の工程を、図１に示すシステム１００の構成要素とフロー図とを参照して説明する。本開示の一実施形態では、システム１００を１又は複数のハードウェアプロセッサ１０４を介して前記命令によって構成している場合、システム１００は、本明細書に記載の１又は複数の手順を実行する。本開示の一実施形態では、工程２０２において、１又は複数のハードウェアプロセッサ１０４によって実施されるニューラルネットワークを使用して、ＲＧＢ画像から１又は複数の対象オブジェクトを検出する。本開示の一実施形態では、前記ＲＧＢ画像は、前記１又は複数の検出された対象オブジェクトのそれぞれを含む１又は複数のウィンドウを備える。本開示の一実施形態では、システム１００はオブジェクト認識モジュール（モジュール１０８に記憶された）で実施しており、このオブジェクト認識モジュールは、検出された対象オブジェクト３０２を包囲するバウンディングボックス３０４を形成し、このサイズは訓練データセット（メモリ１０２のデータベース１１０に記憶された）のサイズに依存している。図１〜図２に関連して、図３Ａは、本開示の一実施形態に係る、つかみ取る予定の検出された対象オブジェクトを包囲するバウンディングボックスを示す。訓練データセットが大きくなるほどバウンディングボックスは狭くなり、その逆の場合も同様となる。本開示の一実施形態では、工程２０４において、１又は複数のハードウェアプロセッサ１０４がＫｉｎｅｃｔセンサから、前記１又は複数のウィンドウ内のデプスデータを取得する。好ましい実施形態では、前記デプスデータを１又は複数のウィンドウに導入してもよい。

本開示の一実施形態では、工程２０６において、１又は複数のハードウェアプロセッサ１０４が、前記１又は複数のウィンドウ内の前記デプスデータに対して１又は複数の領域拡張技術を適用して、前記１又は複数のウィンドウにおいて、前記１又は複数の対象オブジェクトの１又は複数の表面を求める。本開示の一実施形態では、システム１００は、平滑条件に基づく領域拡張技術（複数可）を適用している。図１〜図３Ａに関連して、図３Ｂは、本開示の一実施形態に係る、バウンディングボックス３０４内で拡張される、検出されたセグメント領域を示す。このバウンディングボックス内で、面法線に基づく領域拡張技術を使用して、種々の表面をデプス点群に作成している。前記１又は複数の表面を、シード点と１又は複数の近傍点との間である表面の面法線を比較する工程と、（ｉ）前記シード点と前記１又は複数の近傍点との間で角度を比較し、且つ（ｉｉ）これらと閾値とを比較する工程とを実行することによって求めている。換言すれば、前記１又は複数の領域拡張技術（複数可）は、まずシード点を考慮し、次いで前記点と近傍点との間で面法線を比較する。これらの間の角度が閾値未満である場合、その点が当該領域に属していると判定される。次いで、すべての近傍点が当該シード点として機能し、従前の点が除去される。すべての点が確認されるまで、全プロセスを繰り返す。

ここでもまた、ボックスの平面に対して、１つのセグメントのみを検出する必要がある。しかし、前記領域拡張技術が複数のセグメントを返す場合がある。このような状況を回避するために、２つの近傍セグメントをほぼ類似の平均面法線の方向にマージしてもよい。２つの隣接するセグメントは、それらの間の内積がある閾値よりも大きい場合にマージされる。この工程により、（図３Ａ〜図３Ｃに示すように）本開示で提案している方法を使用して、当該領域をより好都合な状態にすることができる。

前記領域拡張技術（複数可）がＮ個の表面領域を返すと仮定する。

となる各領域

に対して、各セグメントの複数の特性を抽出し、これらをさらに別の処理に利用する。これらの特性は、たとえば面法線方向
、当該セグメントに属する三次元点の平均

、それらの点における面法線の分散

、主成分分析（ＰＣＡ）からの最初の２つの主方向、及び前記２つの主方向に沿った軸の長さを含んでいてもよい。

オブジェクト姿勢を検出するためにＰＣＡを適用している。各セグメントに対して長軸方向と短軸方向とが計算され、これらはさらに別の処理に使用される。

前記ニューラルネットワークによって返されたウィンドウは、所望のオブジェクトを正確に包囲することができない。これから逸脱してしまう場合がある。結果として、領域拡張技術（複数可）によって検出されるいくつかのセグメントは、特定のオブジェクトに属していない可能性がある。このようなタイプの非帰属セグメントを排除するために、システム１００は混合ガウスモデルを実施している。

本開示の一実施形態では、工程２０８において、１又は複数のハードウェアプロセッサ１０４が混合ガウスモデル（ＧＭＭ）を使用して、前記１又は複数の表面から１又は複数のオブジェクトセグメント及び１又は複数の非オブジェクトセグメントをセグメント化する。本開示の一実施形態では、ＧＭＭは、前記１又は複数のオブジェクトセグメント及び１又は複数の非オブジェクトセグメントに属する前記１又は複数の表面のカラー及び曲率を使用しており、ここで、前記カラーは色相（Ｈ）及び彩度（Ｓ）を含む。実験データ（表１及び表２、並びに図５Ａ〜図５Ｂのグラフ表示を参照のこと）によると、カラー情報のみがクラス間で必要な識別を付与していないことが明らかである。このために、本開示で提案している方法では、カラー情報とデプス情報とを組み合わせて、カラー値のみを使用することによっては得られない良好な識別を可能にしている。

システム１００は、セグメントの曲率を１つのフィーチャとして考慮している。好ましい実施形態では、システム１００は、ＲＧＢカラー空間の代わりにＨＳカラー空間を利用している。Ｖチャネルを除去して、照明条件を可能な限り排除している。本開示の一実施形態では、各セグメントの曲率をＴａｕｂｉｎのフィッティング技法を使用して計算している。面法線の方向に急激な変化が認められるたびに、新たな表面を作成している。対象オブジェクトに属する表面を、カラー（色相及び彩度）とデプス曲率とをフィーチャとして組み込んだ対象オブジェクトの混合ガウスモデル（ＧＭＭ）を使用して、バウンディングボックス内に存在する他のパッチから分離している。当該オブジェクトの同一性を前述の認識モジュールから確認しているので、この情報は、対象オブジェクトを残りの背景からセグメント化するのに利用することができる。本方法を機能させるために、そのオブジェクトの正確な三次元モデル又は完全な三次元点群を有する必要はない。１又は複数のビューから取得された少数のＲＧＢＤ画像を、各オブジェクトのテンプレートとして使用することができる。つまり、対象オブジェクトをその背景と、前記バウンディングボックス内の他のクラスとからＧＭＭに基づいてセグメント化することによって、前記認識モジュールの不正確さが補償される。対象オブジェクトの表面が背景からひとたび分離されると、曲率半径、面法線の方向などに基づく経験則のセットを使用して、３つのプリミティブ形状であるボックス、円柱及び球を識別する。形状の識別を、ＲＡＮＳＡＣ（ランダム・サンプル・コンセンサス）などの複雑な反復法を使用せずに、単一の工程で実行している。図１〜図３Ｂに関連して、図３Ｃは、本開示の一実施形態に係る、マージング技術を適用した後の最終セグメントを示す。上面に検出された小領域はマージされ、必要に応じて１つの表面が形成される。

三次元（Ｈ、Ｓ、及び曲率）ＧＭＭは、オブジェクトテンプレートから訓練されている。したがって、各オブジェクトに対して２つのＧＭＭモデルが訓練され、ここで、１つは所望のオブジェクト用であり、もう１つは背景と他のクラスとをモデル化するためのものである。セグメントが特定のクラスに属しているかどうかを検出するために、各点を２つのＧＭＭモデルに対してテストしてもよい。その点の帰属確率は、正のクラスのモデルにおけるピクセル尤度と両方のモデルにおける尤度の合計との比によって定義される。その点の帰属確率を次の式で示すことができる。
帰属確率

（１）

ここで、

＝当該クラスの尤度、そして

＝背景及び他のクラスの尤度となる。

テスト目的のために、当該確率が閾値（たとえば、０．５）より大きい場合、セグメント内の点をオブジェクトセグメントと見なしている。また、セグメント内の点の大部分がそのクラスに属する場合、当該セグメントはそのクラスに属していると見なしてもよい。したがって、ウィンドウ（たとえば、ＲＣＮＮウィンドウ）内のすべてのセグメントがテストされ、形状プリミティブをフィッティングするべくさらに処理される。図１〜図３Ｃに関連して、図４Ａ〜４Ｃは、本開示の一実施形態に係る、図１のシステム１００によるカラー及び曲率に基づくＧＭＭを使用した改良例を示す。より詳細には、図４Ａは、本開示の一実施形態に係る、検出された対象オブジェクト４０２を包囲する、領域ベースの畳み込みニューラルネットワーク（ＲＣＮＮ）のバウンディングボックス４０４を示し、図４Ｂは、本開示の一実施形態に係る、図１のシステム１００による混合ガウスモデル（ＧＭＭ）の出力を示す。セグメント（たとえば、Ｋｉｎｅｃｔ（登録商標）センサデバイスなどのデプスセンサによって生成される出力として、赤色で表示される可能性がある白色の陰影付きセグメント）をオブジェクトセグメント４０６として検出し、検出しなかったセグメントを４０８（たとえば、Ｋｉｎｅｃｔ（登録商標）センサデバイスなどのデプスセンサによって生成される出力として、青色で表示される可能性がある濃い陰影付きセグメント）として示している。図４Ｃは、本開示の一実施形態に係る、図１のシステム１００による形状フィッティング用に考慮されたセグメント４１０を示す。

システム１００によって実行されるセグメント化の実現性は、その訓練の質に依存し得る。したがって、正しいクラスタ数を選択することが重要となる。本開示の実施形態では、訓練データセットに対して増分クラスタリング技法を実行することによってクラスタ数を自動的に選択している。ＧＭＭクラスタの数を決定するために、クロージャの数、すなわちＫのみを使用している。

訓練データ（又はデータセット）に対してシステム１００によって実施される増分クラスタリング技法を、以下のような例として示してもよい。
増分クラスタリング技法：
１．

となるデータ

、クラスタセンタ

、サイズ

を入力し、ここで、ｈ＝色相、ｓ＝彩度、ｃ＝曲率となる
２．クラスタ数

に０を代入する
３．

及び

を代入してクラスタ

を追加する
４．

となる

に対して
５．最小距離

でクラスタを計算する
６．

である場合にクラスタに含める
７．

を代入して

を更新する
８．それ以外の場合は、

を代入して新たなクラスタ

を作成する

図１〜図４Ｃに関連して、図５Ａ〜図５Ｂは、本開示の一実施形態に係る、カラー、曲率及び両方の組み合わせに基づく混合ガウスモデルを使用した、（ａ）円柱及び（ｂ）ボックスの２つのオブジェクトに関する検出精度を図示している、グラフ表示を示す。図５Ａ〜図５Ｂは、カラー情報とデプス曲率情報とを組み合わせることにより、カラー又は曲率のいずれかのみを使用する場合と比較してより良好な識別が可能となることを示している。より詳細には、図５Ａ〜図５Ｂは、カラーのみ、曲率のみ、且つ両方の組み合わせを使用するＧＭＭを使用した場合に取得される、２つのオブジェクトに関する精度

のグラフ表示を示している。ここから理解できるように、カラーと曲率との組み合わせが、他の２つの場合と比較してより高い精度をもたらしている。円柱プリミティブ及び球プリミティブの場合、３つのチャネル（色相、彩度、及び曲率）がすべて識別可能であるため、全体的な効果がはるかに高くなっている。ボックスの表面が平坦である場合、曲率は他のボックスタイプのオブジェクト及びビンの平坦壁（背景）と一致する。したがって、必要な識別を付与するためには２つのカラーチャネルのみが残る。カラー情報は曲率情報ほど信頼性が高くないので、ボックスタイプのオブジェクトのＧＭＭは他の２つの形状ほど機能していない。

本開示の一実施形態では、工程２１０において、１又は複数のハードウェアプロセッサ１０４が１又は複数のオブジェクトセグメントに基づいて、前記１又は複数の対象オブジェクトの１又は複数の最適なフィット形状プリミティブを求める。本開示の一実施形態では、前記１又は複数の最適なフィット形状プリミティブを、前記１又は複数のオブジェクトセグメントに属する前記１又は複数の表面の１又は複数の属性に対して、１又は複数の経験則（メモリ１０２に記憶され、且つシステム１００によってリアルタイムで実施される）を適用することによって求めており、ここで、前記１又は複数の属性は、１又は複数の面法線方向、１又は複数の曲率、並びに前記表面の長軸及び短軸のうちの少なくとも１つを含む。

本開示は、ＧＭＭの出力からのセグメントを使用して、三次元形状プリミティブをフィッティングしている。本開示のいくつかの実施形態では、たとえばボックス、円柱、及び球などの３つの基本三次元形状プリミティブをフィッティングする手法を開示している。上述のように、どの形状プリミティブをフィッティングすべきかの判断は、セグメントの曲率及び分散に基づき、システム１００によって自動的に行われる。円柱状オブジェクトと球状オブジェクトとは、ボックスオブジェクトと比較してより多くの類似性を共有していることが理解される。したがって、第１の段階では、本開示の実施形態において円柱と球とをボックス形状プリミティブから分離して、円柱と球との間で判断しようと試みた。この判断は、フィッティングすべき表面に関する以下の特性に基づいており、これを実施例として記載している。

曲率推定：

デプスデータはカラー情報と比較してはるかに信頼性が高いため、曲率は本開示の種々の工程において重要な役割を果たしている。システム１００は、三次元デカルト座標（ｘ、ｙ、ｚ）の助けを借りて効率的に局所表面を概算する、Ｔａｕｂｉｎのフィッティング技法を適用している。二次方程式をこれらの近傍点に当てはめることができ、そのセグメントの最終曲率はその近傍の平均曲率に基づいて特定される。

分散計算：

曲率のみでは、形状プリミティブフィッティングに関する判断を下すのに十分でない場合がある。面法線の分散は、表面が平坦であるか、或いは曲面であるかを判断する上で重要な要素である。平面については、曲面と比較してそれほど面法線方向がずれることはなく、平面の分散は曲面の分散と比較してはるかに小さくなる。領域

が

点を有している場合、その標準偏差は次の式で計算することができる。
領域

のσ_ｒｉ

ここで、

となる（２）

この判断は、ＧＭＭに対して最も高い確率を有するセグメントに基づいて下される。１又は複数のセグメントがほぼ同じ確率を有する場合、それらの中で最大のものについて検討してもよい。

形状プリミティブのフィッティングに関する基準は以下のとおりである。
半径

０．０５ｍ−フィット円柱又はフィット球
半径

０．１ｍ−フィットボックス
０．０５ｍ 半径 ０．１ｍ

円柱プリミティブと球プリミティブ：

三次元プリミティブフィッティングは、オブジェクト形状の完全な情報を使用することによって、把持作業を容易にするために取り入れられている。オブジェクトの表面のほとんどが適切に表示されるので、形状フィッティングの課題ははるかに単純なものになっている。しかし、オクルージョンや視認性の欠如のために、入力データはあまりはっきりとした明確さや情報を含有しないことが多いため、フィッティングの課題をより困難なものにしている。

円柱プリミティブ及び球プリミティブフィッティングに関しては、本開示の実施形態は、当該プリミティブのパラメータを求めるために、曲面を使用することを考慮している。円柱状プリミティブと球状プリミティブとを識別するために、当該特性を使用して、これにより球面の面法線がある点で一致する一方で、円柱面の場合は面法線がある線で一致するようにしている。したがって、任意の球面の面法線が、半径に等しい分だけ面法線方向の反対に延長されると、それらはある点で一致することになる。しかし、実際のデータでは、それらは一点において一致するのではなく、球の中心を包囲する小さな領域内に存在している。延長された点の中間に対して、球の中心点を付与している。一方、円柱面の場合は、面法線に同じ手法を適用すると、これらは円柱の中心を通る線上に並び、その長さは円柱の長さにほぼ等しいものとなる。これは、曲率推定手法から既に得られた半径の値である、円柱の長さ方向と軸方向とを取得するのに役立つ。

ボックスプリミティブ：

表面特性が円柱又は球と一致しない場合、システム１００は、ボックス形状フィッティングを自動的に考慮してもよい。ボックスタイプのオブジェクトの一部であるためには、２つの近傍セグメントは以下の特性を有している必要がある。
１．両表面の面法線は垂直である必要がある。
２．両方のセグメントにおける２つの軸（長軸、短軸）のいずれも同じ方向にある必要がある。
３．両方のセグメントにおける一致軸の長さは、ほぼ同じ（又はほぼ同様）である必要がある。
上記の第３の条件を確認するには、その方向が同様である軸の長さを考慮する。これらの比率は可能な限り近いものとなる必要がある。

再度図２の工程を参照すると、本開示の一実施形態では、工程２１２において、１又は複数のハードウェアプロセッサ１０４が、前記１又は複数の最適なフィット形状プリミティブを使用して、前記１又は複数の対象オブジェクトをつかみ取るための１又は複数の把持姿勢を検出する。最初に、円柱又は球の中心及び半径として、把持の中心及び半径を設定した。指間の最大距離（ハンド最大開口）よりも大きいどんな半径も、完全に開いている場合であっても破棄される。前記軸を、円柱軸と法線方向との両方に垂直となるように設定した。把持用のハンドルの周りに十分なスペース（ハンドル間隙）が必要となるはずである。前記中心とハンド最大開口に等しい半径とを包囲する小さな球状領域で探査が行われ、その隙間が有効な把持可能領域であるかどうかを確認するためにのみ、ハンドル間隙を組み合わせている。したがって、有効なハンドルであるためには、円柱シェルはその内側に十分な点を含有し、且つその外側では、ハンドル間隙に等しい一定の距離まで点が非常に少ないか、又はほとんどない状態にするべきである。プリミティブフィッティング手法では既に半径が得らたが、表面の不均一な性質（対象オブジェクトに左右される）のために、いくつかの点が半径の外に存在している可能性がある。この種の状況を回避するために、従来技術では、ハンドル間隙に点がほとんどなくなるまで半径の長さを延長してきた。本従来技術は、他のオブジェクトからのいくつかの点が半径内にあり、ハンドル間隙には点がない例をもって出願されている。初期段階でＧＭＭを使用してセグメント化が行われていたため、提案している本方法においても、どのセグメント（点）がそのオブジェクトに属しているのかや、どれが属していないのかについて認識していた。有効なハンドルであるためには、対象オブジェクトに属していない点の数がごく最小限となる必要がある。この条件を含めることで、本開示の実施形態により、提案している本方法でいくつかの誤ったハンドルを除去することが可能となった。円柱プリミティブ用のハンドルに関して、プリミティブの中心からの探査が行われた。中心にハンドルが見つからなかった場合には、提案している本手法では、図６Ａ〜図６Ｂに示すように、円柱軸に沿って両方向において探査した。球プリミティブは、その中心（三次元点）とその半径によってのみ定義されている。球プリミティブには、円柱プリミティブのような軸が何ら存在しない。したがって、ハンドルの探査は、平均面法線方向に沿って法線を有する平面上で軸を回転することによって行われている。ひとたびハンドルが見つかると、提案している本手法では、システム１００（又はロボット）によって使用されるハンドルパラメータを返す。

ボックスプリミティブの把持位置の特定は、図６Ｃに示すように、側面（面）上でパッチを探査することによって行われている。たとえば、ボックスは、ロボット又はユーザに向かって面法線方向を有する前面を使用して把持されることになる。理想的には、第１の面と垂直な方向に２つの面が存在しなければならない。したがって、上記の基準を有するパッチは各可視面で探査され、見つかった場合に返される。提案している本手法では、単一のビューから点群データが入力されている。前記２つの垂直面は、単一のビューからは見えない場合がある。したがって、本開示の実施形態により、提案している本方法で、少なくとも１つの垂直面で検出することが可能となっている。まず、前記前面の短軸方向をロボットハンドの向きとした上で、引き続き探査を行う。ロボットハンドにフィットする把持用のハンドルの周りに、十分なスペースがなければならない。すべての可視面でハンドルの探査を行い、対応するパラメータをロボットに供給している。

図１〜図５Ｂに関連して、図６Ａ〜図６Ｃは、本開示の一実施形態に係る、円柱及び球のプロトタイプを示す。球の面法線はすべて点に収束しているが、円柱の面法線は三次元の線上に向かっている。この特性を、最初の２つの形状プリミティブを識別するために使用してもよい（又は使用している）（図６Ａ〜６Ｂを参照のこと）。図６Ｃは、本開示の一実施形態に係る、ボックスプリミティブのプロトタイプである。より詳細には、図６Ａ〜図６Ｃは、プリミティブにおける把持位置の特定を説明するためのプロトタイプを示す。有効なハンドルであるためには、当該領域の周りに十分な間隙がなければならない。ハンドル間隙において、オブジェクトに属していない点の数がほとんどない状態となる必要がある。ハンドルの半径はプリミティブ（球及び円柱の）の曲率であり、且つボックスタイプのプリミティブの対応する軸長さである。

本開示の実施形態により、提案している本方法で、オブジェクトごとに少なくとも１つのベストハンドルを返すことに集中できるようになっている。オブジェクトに属さない点の数に基づいて、ベストハンドル（又は最適な把持姿勢（複数可））を選択している。提案している本方法では、球及び円柱に対しては把持可能領域を１つのみ検出し、可能であれば、ボックスの可視面ごとに１つの領域を検出している。ボックスの場合は、ハードウェアの制限や障害によりロボットの手が把持ハンドルに届かない場合があるため、複数のハンドルが返されてもよい。このような場合は、手の届く他のハンドルを試してもよい。図１〜図６Ｃに関連して、図７は、本開示の一実施形態に係る、提案している本方法による結果を示す。３つの形状プリミティブであるボックス７０２、球７０４、円柱７０６それぞれについて示している。ハンドルを７０２Ａ、７０４Ａ、及び７０６Ａによってそれぞれ示している。各ハンドルに対して、法線方向を７０８とロボットハンドの向き７１０とによって示している。

実験結果：

本開示で提案している方法の実現性を評価するために、家庭用オブジェクトを使用して実験を行った。可能な限り多くの姿勢を考慮して結果を算出している。提案している本形状フィッティング手法では、対象オブジェクトがある程度オクルージョンされた場合であっても対応することができる。本実験では、ジオメトリベースの三次元形状プリミティブフィッティングが実際の処理時間においても有望な結果を示した。先に説明したように、カラー及び曲率をフィーチャとして備えるＧＭＭにより、実現性が著しく向上している。本開示の一実施形態では、オブジェクト当たり１５０フレームを使用してＧＭＭを訓練した。

形状プリミティブ：

形状プリミティブフィッティングの結果を、家庭用オブジェクトによる例として以下の表１に示している。円柱（半径、長さ、軸、及び中心）、球（半径、中心）、及びボックス（長さ、幅、高さ、及び対応する方向）の物理パラメータを、提案している本手法の対応する値と比較している。表１は、各プリミティブ形状が検出された回数をまとめたものである。

上記の表１から、正確なプリミティブのフィッティング精度はかなり高く、また姿勢も無関係であることが明らかである。

把持：

表２は、最終の形状プリミティブと把持結果とを示す。提案している本手法では、単一オブジェクト及び複数オブジェクトのワークスペースで個別にテストを行った。単一オブジェクトのプリミティブフィッティングの場合、検出工程とセグメント化工程とを省略した。表２は、具体的には形状プリミティブ（Ｐ）及び把持（Ｈ）の精度（％）を示す。

上記の表２の第１行目から明らかなように、提案しているプリミティブフィッティング及び把握位置の特定の工程は、３つのタイプの形状すべてに対して高精度で実行されている。

本明細書では、当業者が実施形態を作成し、且つ使用することを可能にするために本明細書の主題を記載している。本主題の実施形態の範囲は特許請求の範囲によって定義され、当業者が想到する他の修正を含んでいてもよい。このような他の修正は、特許請求の範囲の文字通りの言葉と異ならない類似の構成要素を有する場合、又はそれらが特許請求の範囲の文字通りの言葉と実質的な差異のない違いを有する等価な構成要素を含む場合には、特許請求の範囲内にあることを意図している。

保護の範囲は、このようなプログラムに、そこにメッセージを有するコンピュータ可読手段に加えて拡張されることが理解される。そのようなコンピュータ可読記憶手段は、前記プログラムがサーバ又はモバイルデバイス若しくは任意の適切なプログラマブルデバイス上で動作するときに、本方法の１又は複数の工程を実行させるためのプログラムコード手段を含む。前記ハードウェアデバイスは、たとえばサーバ又はパソコン、若しくは同様のものなどの任意の種類のコンピュータ、或いはこれらの任意の組み合わせを含む、プログラム可能な任意の種類のデバイスとすることができる。前記デバイスはまた、一例として、たとえば特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ）のようなハードウェア手段、又は、たとえばＡＳＩＣ及びＦＰＧＡ、若しくは少なくとも１つのマイクロプロセッサ及びその内部にソフトウェアモジュールを有する少なくとも１つのメモリなどの、ハードウェア手段とソフトウェア手段との組み合わせとなり得る手段を備えていてもよい。したがって、前記手段はハードウェア手段とソフトウェア手段との両方を含むことができる。本明細書に記載の方法の実施形態は、ハードウェアとソフトウェアとで実施することができる。前記デバイスはまた、ソフトウェア手段を含んでいてもよい。或いは、たとえば複数のＣＰＵを使用して本実施形態を種々のハードウェアデバイスで実施してもよい。

本明細書の実施形態は、ハードウェア構成要素とソフトウェア構成要素とを備えることができる。ソフトウェアで実施する実施形態は、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むが、これらに限定されない。本明細書に記載の種々のモジュールによって実行される機能を、他のモジュール又は他のモジュールの組み合わせで実施してもよい。本明細書では、コンピュータ使用可能媒体又はコンピュータ可読媒体は、命令実行システム、装置、若しくはデバイスによって、或いはこれらと共に使用されるプログラムを備え、記憶し、送信し、伝達し、或いは転送することが可能な任意の装置とすることができる。

図示した工程は、示している例示的な実施形態を説明するために提示しており、また進行中の技術開発によって、特定の機能の実行方法が変更されることが予期されるべきである。これらの実施例を、本明細書では例示する目的で提示しており、限定するものではない。また、機能的ビルディングブロックの境界は、説明の便宜上、本明細書において任意に定義されている。特定の機能及びその関連事項が適切に実行される限り、代替の境界を定義することができる。本明細書に含まれる開示内容に基づいて、当業者にとっては、代替物（本明細書に記載しているものの均等物、拡張物、変形物、偏差などを含む）の存在は明らかである。そのような代替物は、開示している本実施形態の範囲及び趣旨の範囲内にある。また、「備える」、「有する」、「含有する」、及び「含む」並びに他の類似の単語は意味が等価であり、これらの単語のいずれかに続く項目又は複数の項目が、そのような項目又は複数の項目の網羅的なリストであることを意図したものではなく、またリストされた項目又は複数の項目にのみ限定されることを意図したものではないことから、オープンエンドの単語であることが意図されている。なお、本明細書及び添付の特許請求の範囲で使用する単数形「ａ」、「ａｎ」並びに「ｔｈｅ」は、文脈上他に明確に指示しない限り、複数の参照要素も含むものとする。

さらに、本開示の内容と一致する実施形態を実施する際に、１又は複数のコンピュータ可読記憶媒体を利用してもよい。コンピュータ可読記憶媒体は、プロセッサによって読み取り可能な情報又はデータが記憶され得る任意のタイプの物理メモリを指す。したがって、コンピュータ可読記憶媒体は、１又は複数のプロセッサによって実行されるため命令であって、本明細書に記載の実施形態の内容と一致する工程又は段階を前記プロセッサ（複数可）に実行させる命令を含む、複数の命令を記憶していてもよい。「コンピュータ可読媒体」という用語は有形品目を含み、搬送波及び過渡信号を除外する、すなわち非一時的なものであることが理解されるべきである。その例としてはランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、揮発性メモリ、不揮発性メモリ、ハードディスクドライブ、ＣＤ−ＲＯＭ、ＤＶＤ、ブルーレイディスク、フラッシュドライブ、ディスク、及び他の任意且つ既知の物理記憶媒体が挙げられる。

本開示及び実施例は例示的なものとしてのみ考えられ、開示している実施形態の真の範囲及び趣旨を、以下の特許請求の範囲によって示していることが意図される。

Claims (20)

1. １又は複数のプロセッサによって実施されるニューラルネットワークを使用して、ＲＧＢ画像から１又は複数の対象オブジェクトを検出する工程（２０２）であって、前記ＲＧＢ画像は、前記１又は複数の検出された対象オブジェクトのそれぞれを含む１又は複数のウィンドウを備える、工程（２０２）と、
   デプスセンサから、前記１又は複数のウィンドウ内のデプスデータを取得する工程（２０４）と、
   前記１又は複数のウィンドウ内の前記デプスデータに対して領域拡張技術を適用して、前記１又は複数のウィンドウにおいて、前記１又は複数の対象オブジェクトの１又は複数の表面を求める工程（２０６）と、
   混合ガウスモデルを使用して、前記１又は複数の表面から、１又は複数のオブジェクトセグメント及び１又は複数の非オブジェクトセグメントのうちの少なくとも一方をセグメント化する工程（２０８）と、
   前記１又は複数のオブジェクトセグメントの少なくとも１つに基づいて、前記１又は複数の対象オブジェクトの１又は複数の最適なフィット形状プリミティブを求める工程（２１０）と、
   前記１又は複数の最適なフィット形状プリミティブを使用して、前記１又は複数の対象オブジェクトをつかみ取るための１又は複数の把持姿勢を検出する工程（２１２）とを含む、
   プロセッサ実施方法（２００）。
2. 前記混合ガウスモデルを使用して、前記１又は複数の表面から、１又は複数のオブジェクトセグメント及び１又は複数の非オブジェクトセグメントのうちの少なくとも一方をセグメント化する前記工程は、前記１又は複数のオブジェクトセグメント及び１又は複数の非オブジェクトセグメントのうちの少なくとも一方に属する前記１又は複数の表面のカラー及び曲率に基づいており、ここで、前記カラーは色相及び彩度を含む、請求項１に記載のプロセッサ実施方法。
3. 各セグメントの前記曲率をＴａｕｂｉｎのフィッティング技法を使用して計算している、請求項２に記載のプロセッサ実施方法。
4. 前記混合ガウスモデルを使用して、前記表面から、１又は複数のオブジェクトセグメント及び１又は複数の非オブジェクトセグメントのうちの少なくとも一方をセグメント化する前記工程は、データベースに記憶された訓練データに基づいている、請求項２に記載のプロセッサ実施方法。
5. 前記１又は複数の最適なフィット形状プリミティブを求める前記工程は、前記１又は複数のオブジェクトセグメントに属する前記１又は複数の表面の１又は複数の属性に対して、１又は複数の経験則を適用する工程を含む、請求項１に記載のプロセッサ実施方法。
6. 前記１又は複数の属性は、１又は複数の面法線方向、１又は複数の表面曲率、並びに前記表面の長軸及び短軸のうちの少なくとも１つを含む、請求項５に記載のプロセッサ実施方法。
7. 前記領域拡張技術を使用して、前記１又は複数のウィンドウにおいて、前記１又は複数の対象オブジェクトの１又は複数の表面を求める前記工程は、
   シード点と１又は複数の近傍点との間である表面の面法線を比較する工程と、
   （ｉ）前記シード点と前記１又は複数の近傍点との間で角度を比較し、且つ（ｉｉ）これらと閾値とを比較する工程とを含む、
   請求項１に記載のプロセッサ実施方法。
8. 命令を記憶するメモリ（１０２）と、
   １又は複数の通信インターフェース（１０６）と、
   前記１又は複数の通信インターフェース（１０６）を介して前記メモリ（１０２）に結合された１又は複数のハードウェアプロセッサ（１０４）とを備え、ここで、前記１又は複数のハードウェアプロセッサ（１０４）は、前記命令により、
   前記１又は複数のプロセッサ（１０４）によって実施されるニューラルネットワークを使用して、ＲＧＢ画像から１又は複数の対象オブジェクトを検出し、ここで、前記ＲＧＢ画像は、前記１又は複数の検出された対象オブジェクトのそれぞれを含む１又は複数のウィンドウを備えており、
   デプスセンサから、前記１又は複数のウィンドウ内のデプスデータを取得し、
   前記１又は複数のウィンドウ内の前記デプスデータに対して領域拡張技術を適用して、前記１又は複数のウィンドウにおいて、前記１又は複数の対象オブジェクトの１又は複数の表面を求め、
   混合ガウスモデルを使用して、前記１又は複数の表面から、１又は複数のオブジェクトセグメント及び１又は複数の非オブジェクトセグメントのうちの少なくとも一方をセグメント化し、
   前記１又は複数のオブジェクトセグメントの少なくとも１つに基づいて、前記１又は複数の対象オブジェクトの１又は複数の最適なフィット形状プリミティブを求め、且つ
   前記１又は複数の最適なフィット形状プリミティブを使用して、前記１又は複数の対象オブジェクトをつかみ取るための１又は複数の把持姿勢を検出するように構成されている、
   システム（１００）。
9. 前記１又は複数のオブジェクトセグメント及び１又は複数の非オブジェクトセグメントのうちの少なくとも一方を、前記１又は複数の表面から、前記１又は複数のオブジェクトセグメント及び１又は複数の非オブジェクトセグメントのうちの少なくとも一方に属する前記１又は複数の表面のカラー及び曲率に基づいてセグメント化しており、ここで、前記カラーは色相及び彩度を含む、請求項８に記載のシステム。
10. 各セグメントの前記曲率をＴａｕｂｉｎのフィッティング技法を使用して計算している、請求項９に記載のシステム。
11. 前記１又は複数のオブジェクトセグメント及び１又は複数の非オブジェクトセグメントのうちの少なくとも一方を、データベースに記憶された訓練データに基づいてセグメント化している、請求項９に記載のシステム。
12. 前記１又は複数の対象オブジェクトの前記１又は複数の最適なフィット形状プリミティブを、前記１又は複数のオブジェクトセグメントに属する前記１又は複数の表面の１又は複数の属性に対して、１又は複数の経験則を適用することによって求めている、請求項９に記載のシステム。
13. 前記１又は複数の属性は、１又は複数の面法線方向、１又は複数の表面曲率、並びに前記表面の長軸及び短軸のうちの少なくとも１つを含む、請求項１２に記載のシステム。
14. 前記１又は複数の対象オブジェクトの前記１又は複数の表面を、
    シード点と１又は複数の近傍点との間である表面の面法線を比較する工程と、
    （ｉ）前記シード点と前記１又は複数の近傍点との間で角度を比較し、且つ（ｉｉ）これらと閾値とを比較する工程とを実行することによって、前記１又は複数のウィンドウにおいて求めている、
    請求項８に記載のシステム。
15. １又は複数のハードウェアプロセッサによって実行されると、
    １又は複数のプロセッサによって実施されるニューラルネットワークを使用して、ＲＧＢ画像から１又は複数の対象オブジェクトを検出する工程であって、前記ＲＧＢ画像は、前記１又は複数の検出された対象オブジェクトのそれぞれを含む１又は複数のウィンドウを備える、工程と、
    デプスセンサから、前記１又は複数のウィンドウ内のデプスデータを取得する工程と、
    前記１又は複数のウィンドウ内の前記デプスデータに対して領域拡張技術を適用して、前記１又は複数のウィンドウにおいて、前記１又は複数の対象オブジェクトの１又は複数の表面を求める工程と、
    混合ガウスモデルを使用して、前記１又は複数の表面から、１又は複数のオブジェクトセグメント及び１又は複数の非オブジェクトセグメントのうちの少なくとも一方をセグメント化する工程と、
    前記１又は複数のオブジェクトセグメントの少なくとも１つに基づいて、前記１又は複数の対象オブジェクトの１又は複数の最適なフィット形状プリミティブを求める工程と、
    前記１又は複数の最適なフィット形状プリミティブを使用して、前記１又は複数の対象オブジェクトをつかみ取るための１又は複数の把持姿勢を検出する工程と
    を実行させる１又は複数の命令を備える、
    １又は複数の非一時的機械可読情報記憶媒体。
16. 前記混合ガウスモデルを使用して、前記１又は複数の表面から、１又は複数のオブジェクトセグメント及び１又は複数の非オブジェクトセグメントのうちの少なくとも一方をセグメント化する前記工程は、前記１又は複数のオブジェクトセグメント及び１又は複数の非オブジェクトセグメントのうちの少なくとも一方に属する前記１又は複数の表面のカラー及び曲率に基づいており、ここで、前記カラーは色相及び彩度を含み、ここで、各セグメントの前記曲率をＴａｕｂｉｎのフィッティング技法を使用して計算している、請求項１５に記載の１又は複数の非一時的機械可読情報記憶媒体。
17. 前記混合ガウスモデルを使用して、前記表面から、１又は複数のオブジェクトセグメント及び１又は複数の非オブジェクトセグメントのうちの少なくとも一方をセグメント化する前記工程は、データベースに記憶された訓練データに基づいている、請求項１６に記載の１又は複数の非一時的機械可読情報記憶媒体。
18. 前記１又は複数の最適なフィット形状プリミティブを求める前記工程は、前記１又は複数のオブジェクトセグメントに属する前記１又は複数の表面の１又は複数の属性に対して、１又は複数の経験則を適用する工程を含む、請求項１５に記載の１又は複数の非一時的機械可読情報記憶媒体。
19. 前記１又は複数の属性は、１又は複数の面法線方向、１又は複数の表面曲率、並びに前記表面の長軸及び短軸のうちの少なくとも１つを含む、請求項１８に記載の１又は複数の非一時的機械可読情報記憶媒体。
20. 前記領域拡張技術を使用して、前記１又は複数のウィンドウにおいて、前記１又は複数の対象オブジェクトの１又は複数の表面を求める前記工程は、
    シード点と１又は複数の近傍点との間である表面の面法線を比較する工程と、
    （ｉ）前記シード点と前記１又は複数の近傍点との間で角度を比較し、且つ（ｉｉ）これらと閾値とを比較する工程とを含む
    請求項１５に記載の１又は複数の非一時的機械可読情報記憶媒体。