JP2015123534A - 載置判断方法、載置方法、載置判断装置及びロボット - Google Patents

Abstract

【課題】載置物を載置対象物に載置できるか否かを判断することができる載置判断方法、載置方法、載置判断装置及びロボットを提供する。
【解決手段】載置判断装置２１は、載置物が載置される載置対象物の３次元画像情報を取得する点群取得部２２と、載置する載置物の形状情報を取得する形状取得部２３と、上記３次元画像情報に基づいて平面を検出する平面検出部２４と、上記平面より上方の３次元画像情報を取得する上方抽出部２８と、上記平面と、上記平面より上方の３次元画像情報と、上記形状情報とに基づいて、載置対象物に載置物を載置できるか判断する載置判断部３１とを備える。
【選択図】図２

Description

本発明は載置判断方法、載置方法、載置判断装置及びロボットに関する。

作業環境内に存在する物体を認識して把持動作を実行するロボットなど、外部環境に応じた動作を実行するロボットが従来から提案されている。特許文献１には、作業環境の３次元情報を取得し、作業環境内に存在する把持対象物の位置及び姿勢を認識し、把持対象物に対する把持動作を実行するロボットが開示されている。

特開２００４−００１１２２号公報

上述のように、背景技術に係るロボットは、作業環境内で対象物を認識して把持することができる。しかしながら、このロボットは、作業台のような載置対象物に、把持した工具のような載置物を載置することを求められたときに、載置できるか否かを判断できるようには構成されていない。この点に関しては、載置物の種類や載置対象物上での障害物の配置が頻繁に変化する家庭環境内で動作する生活支援ロボットにおいて、より顕著な問題となる。

本発明は、このような問題を解決するためになされたものであり、載置物を載置対象物に載置できるか否かを判断することができる載置判断方法、載置方法、載置判断装置及びロボットを提供することを目的とする。

本発明に係る載置判断方法は、載置する載置物の形状情報を取得するステップと、前記載置物が載置される載置対象物の３次元画像情報を取得するステップと、前記３次元画像情報に基づいて平面を検出するステップと、前記平面より上方の３次元画像情報を取得するステップと、前記平面と、前記平面より上方の３次元画像情報と、前記形状情報とに基づいて、前記載置対象物に前記載置物を載置できるか判断するステップとを有するものである。このような構成により、載置対象物上の障害物及び載置物の形状を考慮して載置対象物に載置物を載置できるか判断することができる。

また、本発明に係る載置判断方法は、前記載置対象物の３次元画像情報を取得するステップにより３次元画像情報を取得できない範囲に物体が存在することを示す３次元画像情報を追加するステップを更に有し、前記判断するステップは、前記平面と、前記平面より上方の３次元画像情報と、前記形状情報と、前記追加した３次元画像情報とに基づいて、前記載置対象物に前記載置物を載置できるか判断することが好ましい。このような構成により、３次元画像情報を取得できない範囲の障害物も考慮して、精度良く、載置対象物に載置物を載置できるか判断することができる。

また、本発明に係る載置判断方法は、前記３次元画像情報を取得できない範囲は、前記載置対象物の３次元画像情報を取得するステップにおいて、隠れとなる範囲と、画角外となる範囲との少なくとも一つである。このような構成により、隠れや画角外の障害物も考慮して、より精度良く、載置対象物に載置物を載置できるか判断することができる。

また、本発明に係る載置判断方法の前記判断するステップは、前記平面より上方の３次元画像情報に基づいて、前記平面に前記載置物を載置できない領域を導出するステップと、前記載置できない領域を除いた領域において、前記形状情報に基づいて前記載置対象物に前記載置物を載置できるか判断するステップとを有し、前記載置できない領域は、上方に前記３次元画像情報が存在する領域と、前記３次元画像情報が存在する領域の周辺領域とを有することが好ましい。このような構成により、３次元画像情報の取得精度や載置対象物に載置物を載置するときの動作精度などを考慮して、載置対象物に載置物を載置できるか判断することができる。

本発明に係る載置方法は、前記載置判断方法によって前記載置物を前記載置対象物に載置できるか否かを判断するステップと、前記載置物を前記載置対象物に載置できると判断したときに、前記載置物を前記載置対象物に載置するステップとを有するものである。このような構成により、載置対象物に載置できると判断された載置物を、載置対象物に載置することができる。

本発明により、載置物を載置対象物に載置できるか否かを判断することができる載置判断方法、載置方法、載置判断装置及びロボットを提供することができる。

実施の形態１に係る載置判断装置を内蔵するロボット１１とその作業環境を示す図である。 実施の形態１に係る載置判断装置２１の構成を示すブロック図である。 実施の形態１に係る載置判断装置２１が行う載置判断方法の処理手順を示すフローチャートである。 実施の形態１に係る点群取得部２２が取得した３次元点群を示す図である。 実施の形態１に係る平面検出部２４が検出した平面５１を示す図である。 実施の形態１に係る領域取得部２７が取得した平面領域６１を示す図である。 実施の形態１に係る隠れ補完部２５が補完した３次元点群７３の一例を示す図である。 実施の形態１に係る画角外補完部２６が補完した３次元点群８３の一例を示す図である。 実施の形態１に係る上方抽出部２８が抽出した３次元点群９１〜９６を示す図である。 実施の形態１に係る非載置導出部２９が導出した非載置領域１０１を示す図である。 実施の形態１に係る載置導出部３０が導出した載置領域１１１を示す図である。

発明の実施の形態１
以下、図面を参照して本実施の形態１について説明する。
まず、本実施の形態１に係る載置判断装置を内蔵するロボット１１とその動作について概略を説明する。

図１は、本実施の形態１に係る載置判断装置を内蔵するロボット１１とその作業環境を示す図である。ロボット１１は載置判断装置（図示せず）を内蔵している。また、ロボット１１は頭部に複数台のカメラからなるセンサ１２を備えている。ロボット１１の把持部１３は載置物であるペットボトル１４を把持している。載置対象物であるテーブル１５の上面１６には、ロボット１１がペットボトル１４を載置するときに障害物となるデスクライト１７が載置されている。

このような作業環境において、ロボット１１の載置判断装置は、センサ１２が撮像したテーブル１５の画像を用いて、ペットボトル１４をテーブル１５の上面１６に載置できるか否かの判断を行う。そして、ロボット１１のアーム１８をテーブル１５の上面１６の載置可能位置にまで移動して、把持部１３がペットボトル１４を解放し、載置可能位置にペットボトル１４を載置する。

なお、本明細書において、載置物とは、ペットボトル１４やコップなどのように、ロボット１１がテーブル１５などに載置する物をいう。載置物の当接面とは、ペットボトル１４の底面のように、載置物をテーブル１５などに載置したときに、載置物のテーブル１５などと当接する側の面をいい、当接する部分に限らず、当接する部分を含む面をいう。倒して載置することができる載置物であれば、底面や側面などのように複数の当接面を有することになる。載置対象物とは、テーブル１５や作業台などのように、ロボット１１がペットボトル１４などを載置する対象物をいう。載置領域とは、テーブル１５の上面１６の一部分などのように、物を載置できる領域をいう。非載置領域とは、物を載置できない領域をいう。

次に、本実施の形態１に係る載置判断装置２１の構成を説明する。
図２は、本実施の形態１に係る載置判断装置２１の構成を示すブロック図である。載置判断装置２１は、点群取得部２２、形状取得部２３、平面検出部２４、隠れ補完部２５、画角外補完部２６、領域取得部２７、上方抽出部２８、非載置導出部２９、載置導出部３０、載置判断部３１などを備えている。これらの構成の詳細は、その動作と合わせて後述する。

なお、載置判断装置２１が実現する各構成要素は、例えば、コンピュータである載置判断装置２１が備える演算装置（図示せず）の制御によって、プログラムを実行させることによって実現できる。より具体的には、載置判断装置２１は、記憶部（図示せず）に格納されたプログラムを主記憶装置（図示せず）にロードし、演算装置の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現しても良い

上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。

また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

次に、本実施の形態１に係る載置判断装置２１の動作について説明する。
図３は、本実施の形態１に係る載置判断装置２１が行う載置判断方法の処理手順を示すフローチャートである。
まず、点群取得部２２が、ロボット１１のセンサ１２が取得した載置対象物の３次元画像を用いて３次元画像情報、例えば、３次元点群を取得する（ステップＳ０１０）。
図４は、本実施の形態１に係る点群取得部２２が取得した３次元点群を示す図である。載置対象物であるテーブル４１の斜め上方向の視点からの３次元点群であり、テーブル４１及びテーブル４１上の箱４２、コップ４３、ハンドバッグ４４などによる３次元点群である。

また、形状取得部２３が載置物の形状情報を取得する（ステップＳ０２０）。形状情報には載置物の高さ及び当接面の形状が含まれる。例えば、載置物がペットボトルであるならば、形状情報には、ペットボトルの高さと、ペットボトルの底面形状とが含まれる。形状情報に３次元形状が含まれても良い。形状取得部２３は、予めデータベースに登録されている形状情報を当該データベースにアクセスして取得する。

次に、平面検出部２４は、ＲＡＮＳＡＣ（Random Sample Consensus）法などの平面抽出法を用いて、点群取得部２２が取得した３次元点群から最も多くの３次元点群を含む平面、つまり、最も３次元点群が存在する領域が広い平面を検出する（ステップＳ０３０）。
図５は、本実施の形態１に係る平面検出部２４が検出した平面５１を示す図である。図４に示した３次元点群に対して平面抽出を行い、テーブル４１の上面を含むような面を平面５１として検出している。

次に、領域取得部２７は、平面検出部が検出した平面５１において３次元点群が存在する領域、すなわち、障害物の存在する領域を除くテーブル４１の上面に相当する領域を平面領域として取得する（ステップＳ０４０）。
図６は、本実施の形態１に係る領域取得部２７が取得した平面領域６１を示す図である。平面領域６１の上方向（略垂直方向）の視点からの図であり、領域取得部２７は、箱４２が存在する領域６２、コップ４３が存在する領域６３、及び、ハンドバッグ４４が存在する領域６４を除いたテーブル４１の上面に相当する領域を平面領域６１として取得する。

載置判断部３１は、形状取得部２３が取得した形状情報と、領域取得部２７が取得した平面領域６１とを用いて、載置物を載置対象物であるテーブル４１に載置できるか否かを判断することもできる。しかしながら、平面領域６１を取得するときの基礎データとなった図４に示した３次元点群には箱４２、コップ４３、ハンドバッグ４４によるセンサ１２の死角、つまり、隠れがあり、その部分に障害物が有るのか無いのか不明である。また、図１に示したデスクライト１７のように上部が大きくなっている物もあり、テーブル４１の上面に相当する平面領域６１だけを考慮して載置しようとすると、載置物がデスクライト１７の上部のような物と接触、または、干渉することがある。更に、センサ１２には有効範囲の外、すなわち、画角の外となる範囲があり、その範囲に障害物が有るのか無いのか不明である。

本実施の形態１に係る載置判断装置２１は、このような隠れ、障害物の立体形状、センサの画角なども考慮に入れて載置物を載置できるか否かを判断し、載置判断の精度を高めようとするものである。
まず、隠れ補完部２５は、隠れによって３次元点群が取得できない範囲、すなわち、未観測領域について、当該範囲には障害物が存在するという推定の元に、当該範囲に物体が存在することを示す３次元点群を追加して補完する（ステップＳ０５０）。
図７は、本実施の形態１に係る隠れ補完部２５が補完した３次元点群７３の一例を示す図である。センサ７１が棚を撮像したときに側板７２の隠れとなった範囲に、隠れ補完部２５が３次元点群７３（三角印）を補完する。

隠れ補完部２５は、３次元点群を取得するためのセンサ７１と点群取得部２２が取得した側板７２による３次元点群７４（丸印）とを結ぶ直線７５上で、センサ７１から見て３次元点群７４の向こう側の範囲には隠れがあると判断する。隠れ補完部２５は、当該範囲に新たに３次元点群７３を生成して、隠れを補完する。隠れ補完部２５は３次元点群７３を直線７５上に所定の間隔または所定の頻度などの適切な間隔で生成する。隠れ補完部２５は、点群取得部２２が取得したほぼすべての３次元点群について隠れを補完する。図７に示した棚の場合には、隠れ補完部２５は棚の棚板７６についても隠れの範囲の３次元点群を補完する。

また、画角外補完部２６は、センサの画角の外側について、画角の外側には障害物が存在するという推定の元に、画角の外側に物体が存在することを示す３次元点群を追加して補完する（ステップＳ０６０）。
図８は、本実施の形態１に係る画角外補完部２６が補完した３次元点群８３の一例を示す図である。棚８２の横方向（略水平方向）の視点からの図である。センサ８１が棚８２を撮像したときに、センサ８１の画角（太実線の内側）の外側となった上方向と下方向の範囲に、画角外補完部２６が３次元点群８３（三角印）を適切な間隔で生成して補完する。画角外補完部２６は、センサ８１の画角の外側であれば上方向と下方向の範囲に限らず３次元点群を補完する。図８では、画角外補完部２６は画角外の範囲において３次元点群８３をセンサ８１から放射状に生成しているが、画角外補完部２６は画角外の空間において格子状に３次元点群を生成しても良い。

次に、上方抽出部２８は、点群取得部２２が取得した３次元点群、隠れ補完部２５が補完した３次元点群、及び、画角外補完部２６が補完した３次元点群を合成し、合成した３次元点群のうち、平面検出部２４が検出した平面５１の上方にある３次元点群を抽出する（ステップＳ０７０）。このとき、上方抽出部２８は、平面検出部２４が検出した平面５１からの距離が載置物の形状に基づく一定範囲の３次元点群を抽出する。一定範囲の下限は、３次元点群を取得するときのセンサの誤差や平面検出部２４の平面抽出のパラメータなどを考慮して設定する。例えば、センサの誤差は無視できるレベルにあり、平面抽出のパラメータは３次元点が平面から１ｍｍ離れていても平面上の点とみなすことになっているのであれば、一定範囲の下限は１ｍｍよりも少し大きい値とすれば良い。また、一定範囲の上限は、形状取得部２３が取得した載置物の高さなどを考慮して設定する。例えば、載置物の高さが１５ｃｍなら一定範囲の上限は１５ｃｍまたは１６ｃｍとすれば良い。

図９は、本実施の形態１に係る上方抽出部２８が抽出した３次元点群９１〜９６を示す図である。図５に示した平面検出部２４が検出した平面５１の上方の視点からの図である。平面上に存在する箱４２、コップ４３、ハンドバッグ４４にそれぞれ対応する３次元点群９１、３次元点群９２、３次元点群９３と、箱４２の隠れ範囲、コップ４３の隠れ範囲、ハンドバッグ４４の隠れ範囲のそれぞれに隠れ補完部２５が補完した３次元点群９４、３次元点群９５、３次元点群９６とがある。上方抽出部２８は、点群取得部２２が取得した３次元点群から、図１に示したデスクライト１７の上部のような平面領域６１に障害物として反映されない部分に対応する３次元点群を抽出することもある。そのような場合には、デスクライト１７の上部の形状に対応する３次元点群が図９に現れることになる。また、上方抽出部２８は、図７に示した棚の側板７２や棚板７６の隠れの範囲の補完した３次元点群を抽出することもある。このような場合にも、隠れの範囲に対応する３次元点群が図９に現れることになる。

つまり、上方抽出部２８は、点群取得部２２が取得した、障害物の立体形状を反映する３次元点群と、隠れによって３次元点群が取得できない範囲には障害物が存在するという推定の元に、隠れ補完部２５が補完した３次元点群と、センサの画角の外側には障害物が存在するという推定の元に、画角外補完部２６が補完した３次元点群とを用いて、ロボット１１が、平面５１に物を載置するときに障害となる３次元点群を抽出する。

非載置導出部２９は、上方抽出部２８が抽出した３次元点群を用いて、平面５１にロボット１１が物を載置できない領域である非載置領域を導出する（ステップＳ０８０）。
図１０は、本実施の形態１に係る非載置導出部２９が平面５１に導出した非載置領域１０１を示す図である。図５に示した平面５１の上方の視点からの図である。非載置導出部２９は、上方抽出部２８が抽出した３次元点群９１〜９６の存在する領域と、当該領域の周辺領域とを合わせて非載置領域１０１として導出する。周辺領域の大きさは３次元点群を取得するときのセンサ１２の誤差やロボット１１が載置物を載置するときの動作精度などを考慮して導出する。例えば、センサの誤差は無視できるレベルにあり、載置物を載置するときにロボット１１の把持部１３が最大１ｃｍずれるのであれば、周辺領域は３次元点群の存在する領域の周囲１ｃｍまたは２ｃｍに設定すれば良い。３次元点群の存在する領域と周辺領域とを合わせて非載置領域１０１を導出することにより、実際にロボット１１が載置動作を実行するときに、載置物、把持部１３、アーム１８等が障害物と接触することがなくなり、円滑、確実な載置動作を実行できる。

載置導出部３０は、ロボット１１が物を載置できる領域である載置領域を導出する（ステップＳ０９０）。
図１１は、本実施の形態１に係る載置導出部３０が導出した載置領域１１１を示す図である。図５に示した平面５１の上方の視点からの図である。載置導出部３０は、図６に示した領域取得部２７が取得した平面領域６１と、図１０に示した非載置導出部２９が導出した非載置領域１０１との差分をとり、残った領域を載置領域１１１として導出する。

最後に、載置判断部３１が、載置導出部３０が導出した載置領域１１１の形状と、形状取得部が取得した載置物の底面などの当接面の形状とを比較して、載置物を載置領域１１１に載置できるか否かを判断する（ステップＳ１００）。載置判断部３１は、載置領域１１１の形状と載置物の当接面の形状とを比較するときに、両者をそれぞれ正方形群で表現してグリッド化したグリッド情報を取得し、グリッド情報同士を比較するようにしても良い。また、載置判断部３１は、載置できると判断したときには載置可能位置を決定する。

なお、本実施の形態１において、ステップＳ０９０で載置領域を導出できなかった場合、例えば、平面領域６１と非載置領域１０１との差分をとったときに領域が残らなかった場合や、ステップＳ１００で載置できないと判断した場合、例えば、載置領域１１１よりも載置物の当接面が大きかった場合には、載置判断装置２１は、ステップＳ０３０の平面検出に戻って、ステップＳ０３０〜ステップＳ１００を改めて実行し、別の載置領域を導出して載置判断を行うようにしても良い。

上述したように、本実施の形態１に係る載置判断装置２１は、載置物が載置される載置対象物の３次元画像情報を取得する点群取得部２２と、載置する載置物の形状情報を取得する形状取得部２３と、上記３次元画像情報に基づいて平面を検出する平面検出部２４と、上記平面より上方の３次元画像情報を取得する上方抽出部２８と、上記平面と、上記平面より上方の３次元画像情報と、上記形状情報とに基づいて、載置対象物に載置物を載置できるか判断する載置判断部３１とを備えるものである。このような構成により、載置対象物上の障害物及び載置物の形状を考慮して載置対象物に載置物を載置できるか判断することができる。

また、本実施の形態１に係る載置判断装置２１は、点群取得部２２が３次元画像情報を取得できない範囲に物体が存在することを示す３次元画像情報を追加する隠れ補完部２５または画角外補完部２６を更に備え、載置判断部３１は、上記平面と、上記平面より上方の３次元画像情報と、上記形状情報と、追加した３次元画像情報とに基づいて、載置対象物に載置物を載置できるか判断することが好ましい。このような構成により、３次元画像情報を取得できない範囲の障害物も考慮して、精度良く、載置対象物に載置物を載置できるか判断することができる。

また、本実施の形態１に係る載置判断装置２１の点群取得部２２が３次元画像情報を取得できない範囲は、隠れとなる範囲と、画角外となる範囲との少なくとも一つである。このような構成により、隠れや画角外の障害物も考慮して、より精度良く、載置対象物に載置物を載置できるか判断することができる。

また、本実施の形態１に係る載置判断装置２１の非載置導出部２９は、上記平面に載置物を載置できない領域を導出するもので、載置できない領域は、上方に３次元画像情報が存在する領域と、３次元画像情報が存在する領域の周辺領域とを有し、また、載置判断装置２１の載置判断部３１は当該載置できない領域を除いた領域において、載置物の形状に基づいて載置対象物に前記載置物を載置できるか判断することが好ましい。このような構成により、実際に載置対象物に載置物を載置するときの動作精度などを考慮して、載置対象物に載置物を載置できるか判断することができる。

また、本実施の形態１に係るロボット１１は、載置判断装置２１と、載置物を把持するための把持部１３とを備え、載置判断装置２１の載置判断部３１が載置対象物に載置物を載置できると判断したときに、把持部１３が載置物を載置対象物に載置するものである。このような構成により、載置対象物に載置できると判断された載置物を、載置対象物に載置することができる。

その他の実施の形態
なお、本発明は上記実施の形態１に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
例えば、実施の形態１では、上方抽出部２８は、点群取得部２２が取得した３次元点群、隠れ補完部２５が補完した３次元点群、及び、画角外補完部２６が補完した３次元点群を合成し、合成した３次元点群のうち、平面検出部２４が検出した平面５１の上方にある３次元点群を抽出したが、上方抽出部２８は、点群取得部２２が取得した３次元点群、隠れ補完部２５が補完した３次元点群、または、画角外補完部２６が補完した３次元点群の１つまたは２つの３次元点群を用いて平面５１の上方にある３次元点群を抽出しても良い。

また、実施の形態１では、上方抽出部２８は、平面検出部２４が検出した平面５１の上方にある３次元点群を抽出したが、領域取得部２７が取得した平面領域６１と平面領域６１内部の障害物が存在する領域との上方にある３次元点群を抽出しても良い。
また、実施の形態１では、上方抽出部２８は、ステップＳ０１０で点群取得部２２が取得した３次元点群を用いて平面５１の上方にある３次元点群を抽出したが、上方抽出部２８が用いる３次元点群は、ステップＳ０１０で取得した３次元点群とは別の、新たに取得した３次元点群であっても良い。

また、実施の形態１では、センサ１２に複数台のカメラを用いたが、センサ１２にレーザスキャナなどの３次元点群を取得できる装置を用いても良い。
また、実施の形態１では、形状取得部２３が、載置物の形状情報をデータベースにアクセスして取得したが、ロボット１１がセンサ１２で取得した載置物の画像を用いて形状を認識して載置物の形状情報を取得しても良い。この場合には、ステップＳ０７０で３次元点群を抽出するときの一定範囲の上限または下限や、ステップＳ０８０で非載置領域１０１を導出するときの周辺領域の大きさに、形状認識の誤差を考慮に加えた値を設定しても良い。

また、実施の形態１では、形状取得部２３が、載置物の形状情報をデータベースにアクセスして取得したが、ロボット１１が動作する作業環境内での載置物の高さの最大値が決まっている場合には、形状取得部２３は載置物の形状情報として載置物の高さを取得しなくとも良い。
また、実施の形態１では、載置判断装置２１はロボット１１に内蔵されていたが、載置判断装置２１の各構成を、ロボット１１を含む複数の装置、または、ロボット１１を含まない一または複数の装置で分担する載置判断システムとして構成しても良い。

１１ ロボット
１３ 把持部
１４ ペットボトル
１５、４１ テーブル
１７ テーブルライト
２１ 載置判断装置
２２ 点群取得部
２３ 形状取得部
２４ 平面検出部
２５ 隠れ補完部
２６ 画角外補完部
２８ 上方抽出部
２９ 非載置導出部
３１ 載置判断部
４２ 箱
４３ コップ
４４ ハンドバッグ
５１ 平面
７３、７４、８３、９１〜９６ ３次元点群
１０１ 非載置領域

Claims (7)

1. 載置する載置物の形状情報を取得するステップと、
   前記載置物が載置される載置対象物の３次元画像情報を取得するステップと、
   前記３次元画像情報に基づいて平面を検出するステップと、
   前記平面より上方の３次元画像情報を取得するステップと、
   前記平面と、前記平面より上方の３次元画像情報と、前記形状情報とに基づいて、前記載置対象物に前記載置物を載置できるか判断するステップとを有する
   載置判断方法。
2. 前記載置対象物の３次元画像情報を取得するステップにより３次元画像情報を取得できない範囲に物体が存在することを示す３次元画像情報を追加するステップを更に有し、
   前記判断するステップは、前記平面と、前記平面より上方の３次元画像情報と、前記形状情報と、前記追加した３次元画像情報とに基づいて、前記載置対象物に前記載置物を載置できるか判断する
   請求項１記載の載置判断方法。
3. 前記３次元画像情報を取得できない範囲は、前記載置対象物の３次元画像情報を取得するステップにおいて隠れとなる範囲と、画角外となる範囲との少なくとも一つである
   請求項２記載の載置判断方法。
4. 前記判断するステップは、
   前記平面より上方の３次元画像情報に基づいて、前記平面に前記載置物を載置できない領域を導出するステップと、
   前記載置できない領域を除いた領域において、前記形状情報に基づいて前記載置対象物に前記載置物を載置できるか判断するステップとを有し、
   前記載置できない領域は、上方に前記３次元画像情報が存在する領域と、前記３次元画像情報が存在する領域の周辺領域とを有する
   請求項１乃至請求項３のいずれか１項に記載の載置判断方法。
5. 請求項１乃至請求項４のいずれか１項に記載の載置判断方法によって前記載置物を前記載置対象物に載置できるか否かを判断するステップと、
   前記載置物を前記載置対象物に載置できると判断したときに、前記載置物を前記載置対象物に載置するステップと
   を有する載置方法。
6. 載置する載置物の形状情報を取得する形状取得部と、
   前記載置物が載置される載置対象物の３次元画像情報を取得する点群取得部と、
   前記３次元画像情報に基づいて平面を検出する平面検出部と、
   前記平面より上方の３次元画像情報を取得する上方抽出部と、
   前記平面と、前記平面より上方の３次元画像情報と、前記形状情報とに基づいて、前記載置対象物に前記載置物を載置できるか判断する載置判断部とを備える
   載置判断装置。
7. 請求項６記載の載置判断装置と、
   前記載置物を把持するための把持部とを備えるロボットであって、
   前記載置判断部が前記載置対象物に前記載置物を載置できると判断したときに、前記把持部が前記載置物を前記載置対象物に載置するロボット。