JP2020163499A - 物体検出方法、物体検出装置およびロボットシステム - Google Patents

Abstract

【課題】対象物を迅速かつ適確に検出することができ、撮像部による見え方と安定姿勢との両方の制約の設定を容易に行うことができる物体検出方法、物体検出装置およびロボットシステムを提供する。【解決手段】対象物の形状データに基づいて前記対象物の位置姿勢を検出する物体検出方法であって、前記形状データから前記対象物の複数の安定姿勢候補を算出する工程と、撮像部で撮像した前記対象物を表示部に表示する工程と、前記表示部に表示された前記対象物の姿勢である対象物姿勢に対して、前記形状データの姿勢である形状データ姿勢を一致させる工程と、前記形状データ姿勢に基づいて設定された前記撮像部に対する制約条件を保存する工程と、前記制約条件に基づいて、前記複数の安定姿勢候補から前記対象物の安定姿勢を決定する工程と、前記制約条件と前記安定姿勢とに基づいて、前記対象物の位置姿勢を推定する工程とを有することを特徴とする物体検出方法。【選択図】図４

Description

本発明は、物体検出方法、物体検出装置およびロボットシステムに関するものである。

基台と、複数のアームを有するロボットアームとを備え、例えば、物体、すなわち、対象物を把持し、その対象物を所定の場所へ移動させ、組立等の所定の作業を行うロボットが知られている。ロボットが前記作業を行う際は、物体検出装置により、対象物の位置や姿勢等の検出を行うことが求められる。

また、物体検出方法や物体検出装置としては、対象物の検出の安定化や高速化のために、事前に検出する対象物の姿勢を絞り込んで設定する等、対象物の姿勢に制約をかける方法が知られている。また、この制約には、撮像部で撮像された対象物の見え方に対する制約と、対象物の置き方を定める制約、例えば、対象物の姿勢として安定した姿勢に限定する制約（例えば、特許文献１参照）とがある。以下、安定した姿勢を「安定姿勢」とも言う。

特開２００７−２４５２８３号公報

しかしながら、特許文献１に記載の物体検出方法では、複数の制約を同時にかけるには、それぞれの制約が矛盾しないように設定することが必要であり、多大な労力がかかるという課題があった。

本発明は、前述した課題の少なくとも一部を解決するためになされたものであり、以下により実現することが可能である。

本発明の物体検出方法は、対象物の形状データに基づいて前記対象物の位置姿勢を検出する物体検出方法であって、
前記形状データから前記対象物の複数の安定姿勢候補を算出する工程と、
撮像部で撮像した前記対象物を表示部に表示する工程と、
前記表示部に表示された前記対象物の姿勢である対象物姿勢に対して、前記形状データの姿勢である形状データ姿勢を一致させる工程と、
前記形状データ姿勢に基づいて設定された、前記撮像部に対する制約条件を保存する工程と、
前記制約条件に基づいて、前記複数の安定姿勢候補から前記対象物の安定姿勢を決定する工程と、
前記制約条件と前記安定姿勢とに基づいて、前記対象物の位置姿勢を推定する工程とを有することを特徴とする。

本発明の物体検出装置は、対象物の形状データを受け付ける受付部と、
前記形状データから前記対象物の複数の安定姿勢候補を算出する算出部と、
撮像部で撮像した前記対象物を表示する表示部と、
前記表示部に表示された前記対象物の姿勢である対象物姿勢に対して、前記形状データの姿勢である形状データ姿勢を一致させる処理部と、
前記形状データ姿勢に基づいて設定された、前記撮像部に対する制約条件を記憶する記憶部と、
前記制約条件に基づいて、前記複数の安定姿勢候補から前記対象物の安定姿勢を決定する決定部と、
前記制約条件と前記安定姿勢とに基づいて、前記対象物の位置姿勢を推定する推定部とを有することを特徴とする。

本発明のロボットシステムは、ロボットと、
物体検出装置と、を備え、
前記物体検出装置は、対象物の形状データを受け付ける受付部と、
前記形状データから前記対象物の複数の安定姿勢候補を算出する算出部と、
撮像部で撮像した前記対象物を表示する表示部と、
前記表示部に表示された前記対象物の姿勢である対象物姿勢に対して、前記形状データの姿勢である形状データ姿勢を一致させる処理部と、
前記形状データ姿勢に基づいて設定された、前記撮像部に対する制約条件を記憶する記憶部と、
前記制約条件に基づいて、前記複数の安定姿勢候補から前記対象物の安定姿勢を決定する決定部と、
前記制約条件と前記安定姿勢とに基づいて、前記対象物の位置姿勢を推定する推定部とを有することを特徴とする。

本発明のロボットシステムの実施形態を示す図である。 図１に示すロボットシステムのブロック図である。 図１に示すロボットシステムの物体検出装置を示すブロック図である。 図１に示すロボットシステムの制御動作を示すフローチャートである。 図１に示すロボットシステムの表示装置に表示される２つのウィンドウを示す図である。 図１に示すロボットシステムの表示装置に表示されるウィンドウを示す図である。 本発明のロボットシステムの他の構成例を示すブロック図である。 本発明のロボットシステムの他の構成例を示すブロック図である。

以下、本発明の物体検出方法、物体検出装置およびロボットシステムを添付図面に示す実施形態に基づいて詳細に説明する。

１．第１実施形態
１−１．ロボットシステム
図１は、本発明のロボットシステムの実施形態を示す図である。図２は、図１に示すロボットシステムのブロック図である。図３は、図１に示すロボットシステムの物体検出装置を示すブロック図である。図４は、図１に示すロボットシステムの制御動作を示すフローチャートである。図５は、図１に示すロボットシステムの表示装置に表示される２つのウィンドウを示す図である。図６は、図１に示すロボットシステムの表示装置に表示されるウィンドウを示す図である。

また、図１には、互いに直交する３つの軸としてｘｒ軸、ｙｒ軸およびｚｒ軸が図示されており、各軸を示す矢印の先端側を「＋：正」、基端側を「−：負」とする。また、図１中のｚｒ軸方向を「鉛直方向」とし、ｘｒ−ｙｒ平面に沿った方向を「水平方向」とする。また、＋ｚｒ軸側を「上方」とし、−ｚｒ軸側を「下方」とする。そして、本実施形態では、このｘｒ軸、ｙｒ軸およびｚｒ軸を有する座標系をロボット座標系の１つとする。

また、以下では、説明の都合上、図１中の上側を「上」または「上方」、下側を「下」または「下方」と言う。また、図１中の基台側を「基端」または「上流」、その反対側を「先端」または「下流」と言う。また、図１中の上下方向が鉛直方向である。

また、本明細書において、「水平」とは、完全に水平な場合のみならず、水平に対して±５°以内で傾斜している場合も含む。同様に、本明細書において、「鉛直」とは、完全に鉛直な場合のみならず、鉛直に対して±５°以内で傾斜している場合も含む。また、本明細書において、「平行」とは、２つの線または面が、互いに完全な平行である場合のみならず、±５°以内で傾斜している場合も含む。また、本明細書において、「直交」とは、２つの線または面が、互いに完全な直交である場合のみならず、±５°以内で傾斜している場合も含む。

図１に示すように、ロボットシステム１００は、ロボット１と、ロボット１の動作を制御するロボット制御装置２と、ロボット制御装置２と通信可能な物体検出装置５と、ロボット制御装置２および物体検出装置５と通信可能な撮像装置４（撮像部）とを有している。

以下、ロボットシステム１００が有する各部を順次説明する。
１−１−１．ロボット
図１に示すように、ロボット１は、いわゆる６軸の垂直多関節ロボットであり、例えば、精密機器等を製造する製造工程等で用いられ、精密機器や部品等の対象物８の保持や搬送等の作業を行う。ロボット１は、基台１１０と、基台１１０に接続されたロボットアーム１０とを有する。

また、対象物８としては、ロボット１が行う作業で用いられるものであればよく、特に限定されない。本実施形態では、対象物８として、図１および図５に示すように、所定の厚さを有する板体を例に挙げて説明する。この対象物８は、対象物８の厚さ方向から見た平面視で、長方形の角部を長方形に切り欠した形状をなしている。そして、対象物８は、作業台９の作業面９１上に載置する場合、安定した姿勢として、６つの姿勢をとり得るようになっている。また、作業台９は、ロボット１の近傍に配置されており、作業面９１は、水平面と平行な平面である。以下、安定した姿勢を「安定姿勢」とも言う。

基台１１０は、ロボット１を例えば床等の任意の設置箇所７０に取り付ける部分である。ロボットアーム１０は、第１アームであるアーム１１、第２アームであるアーム１２、第３アームであるアーム１３、第４アームであるアーム１４、第５アームであるアーム１５および第６アームであるアーム１６を有する。また、アーム１５およびアーム１６によりリストが構成されている。また、アーム１６は、円盤状をなしており、そのアーム１６の先端には、保持部であるエンドエフェクター１７を着脱可能に取り付けることが可能になっている。これらアーム１１〜１６は、基台１１０側からエンドエフェクター１７側に向かってこの順に連結されている。また、各アーム１１〜１６は、隣り合うアームまたは基台１１０に対して回動可能になっている。すなわち、基台１１０とアーム１１とは、関節１７１を介して連結されている。また、アーム１１とアーム１２とは、関節１７２を介して連結されている。また、アーム１２とアーム１３とは、関節１７３を介して連結されている。また、アーム１３とアーム１４とは、関節１７４を介して連結されている。また、アーム１４とアーム１５とは、関節１７５を介して連結されている。また、アーム１５とアーム１６とは、関節１７６を介して連結されている。

エンドエフェクター１７としては、対象物８を保持、解放することが可能なものであれば特に限定されないが、本実施形態では、エンドエフェクター１７として、対象物８を吸着、解放することが可能な吸着装置が用いられている。また、解放とは、保持の解除を言う。また、エンドエフェクター１７の他の構成例としては、例えば、対象物８を把持、解放することが可能なハンド等が挙げられる。また、対象物８を保持するとは、対象物８を移動または対象物８の姿勢を変更させることが可能なように、対象物８を持つことであり、例えば、把持、吸着、載置等が含まれる。また、エンドエフェクター１７の先端中心をツールセンターポイントＰという。

また、図２に示すように、ロボット１は、一方のアームを他方のアームまたは基台１１０に対して回動させるモーターおよび減速機等を備える駆動部１３０を有する。モーターとしては、例えば、ＡＣサーボモーター、ＤＣサーボモーター等のサーボモーターを用いることができる。減速機としては、例えば、遊星ギア型の減速機、波動歯車装置等を用いることができる。また、ロボット１は、モーターまたは減速機の回転軸の回転角度を検出する角度センサー１４０を有する。角度センサー１４０としては、例えば、ロータリーエンコーダー等を用いることができる。また、駆動部１３０および角度センサー１４０は、各アーム１１〜１６に対応して設けられており、本実施形態では、ロボット１は、６つの駆動部１３０および６つの角度センサー１４０を有する。

また、各駆動部１３０は、図示はしないが、例えば図１に示す基台１１０に内蔵されたモータードライバーと電気的に接続されている。各駆動部１３０は、対応するモータードライバーを介してロボット制御装置２により制御される。また、各角度センサー１４０は、ロボット制御装置２に電気的に接続されている。以下、電気的に接続を、単に「接続」とも言う。また、エンドエフェクター１７を駆動する図示しない駆動部は、ロボット制御装置２により制御される。

以上、ロボット１の構成について簡単に説明した。このようなロボット１は、後述するロボット制御装置２によって制御される。これにより、ロボット１は、適切な動作を行うことができる。

なお、ロボット１は、図示はしないが、例えばエンドエフェクター１７に加わる力を検出する６軸力覚センサー等で構成された力検出装置を備えていてもよい。なお、エンドエフェクター１７に加わる力は、モーメントを含む。力検出装置は、例えば、アーム１６とエンドエフェクター１７との間に配置され、ロボット制御装置２に電気的に接続される。力検出装置を設けることにより、例えば、インピーダンス制御等の力制御を行うことが可能になる。

１−１−２．ロボット制御装置
ロボット制御装置２は、ロボット１の動作を制御する。このロボット制御装置２は、ロボット１が有する各部の機能をつかさどるロボットコントローラーで構成されており、ロボット１、撮像装置４および物体検出装置５に対して通信可能に接続されている。

ロボット制御装置２とロボット１とは、例えばケーブル等を用いて有線方式で通信可能に接続されていてもよく、また、無線方式で通信可能に接続されていてもよい。また、ロボット制御装置２は、ロボット１と別体であってもよく、また、ロボット１、例えば、基台１１０等にその一部または全部が内蔵されていてもよい。

また、ロボット制御装置２と物体検出装置５とは、例えばケーブル等を用いて有線方式で通信可能に接続されていてもよく、また、無線方式で通信可能に接続されていてもよい。また、ロボット制御装置２と撮像装置４とは、例えばケーブル等を用いて有線方式で通信可能に接続されていてもよく、また、無線方式で通信可能に接続されていてもよい。

図２に示すように、ロボット制御装置２は、プロセッサーを備える制御部２１と、制御部２１に通信可能に接続されたメモリー等を備える記憶部２２と、外部インターフェース（Ｉ／Ｆ）を備える受付部である外部入出力部２３とを有する。外部入出力部２３は、ロボット制御装置２の受付部の１例である。ロボット制御装置２の各構成要素は、種々のバスを介して相互通信可能に接続されている。

制御部２１は、記憶部２２に記憶された各種プログラム等を実行する。これにより、ロボット１の動作の制御や各種演算および判断等の処理を実現できる。

記憶部２２には、制御部２１により実行可能な各種プログラムが保存されている。また、記憶部２２には、外部入出力部２３で受け付けた各種データの保存が可能である。記憶部２２は、例えばＲＡＭ（Random Access Memory）等の揮発性メモリーや、ＲＯＭ（Read Only Memory）等の不揮発性メモリー等を含んで構成されている。なお、記憶部２２は、非着脱式に限らず、着脱式の外部記憶装置を有する構成であってもよい。

各種プログラムとしては、動作プログラムや、動作プログラムの修正や変更をするプログラム等が挙げられる。各種データとしては、例えば、ツールセンターポイントＰの位置姿勢、各アーム１１〜１６の回動角度等に関するデータ等が挙げられる。

外部入出力部２３は、外部インターフェース（Ｉ／Ｆ）を備え、ロボット１、撮像装置４および物体検出装置５の各接続のために用いられる。

このようなロボット制御装置２は、後述する物体検出装置５の検出結果や動作プログラムに基づいてロボット１を制御する。

なお、ロボット制御装置２は、前述した構成に加えて、さらに他の構成が付加されていてもよい。また、ロボット制御装置２には、ディスプレイ等を有する表示装置や、例えばマウスやキーボード等の入力装置が接続されていてもよい。また、記憶部２２に保存されている各種プログラムやデータ等は、予め記憶部２２に保存されたものであってもよいし、例えばＣＤ−ＲＯＭ等の記録媒体に格納されており、この記録媒体から提供されたものでもよいし、ネットワーク等を介して提供されたものであってもよい。

１−１−３．物体検出装置
物体検出装置５は、対象物８の位置姿勢を検出する。この物体検出装置５は、例えばＰＣ（Personal Computer）等の種々のコンピューターを有しており、ロボット制御装置２に対して通信可能に接続されている。

図２に示すように、物体検出装置５は、物体検出装置本体５０と、表示装置３１（表示部）とを有する。

物体検出装置本体５０は、プロセッサーを備える制御部５１と、制御部５１に通信可能に接続されたメモリー等を備える記憶部５２と、外部Ｉ／Ｆ（インターフェース）を備える外部入出力部５３（受付部）とを有する。図３に示すように、制御部５１は、算出部５１１、処理部５１２、決定部５１３および推定部５１４を有する。算出部５１１、処理部５１２、決定部５１３および推定部５１４の主機能は、それぞれ、プロセッサーにより達成される。外部入出力部５３は、物体検出装置５の受付部の１例である。物体検出装置本体５０の各構成要素は、種々のバスを介して相互通信可能に接続されている。

制御部５１は、記憶部５２に記憶された各種プログラム等を実行する。これにより、対象物８の位置姿勢の検出や、その検出のための各設定等を実現できる。

記憶部５２には、制御部５１により実行可能な各種プログラムが保存されている。また、記憶部５２には、外部入出力部５３で受け付けた各種データの保存が可能である。記憶部５２は、例えばＲＡＭ（Random Access Memory）等の揮発性メモリーや、ＲＯＭ（Read Only Memory）等の不揮発性メモリー等を含んで構成されている。なお、記憶部５２は、非着脱式に限らず、着脱式の外部記憶装置を有する構成であってもよい。

外部入出力部５３は、外部Ｉ／Ｆ（インターフェース）を備え、ロボット制御装置２、表示装置３１、入力装置３２および撮像装置４との各接続のために用いられる。したがって、外部入出力部５３は、作業者による入力装置３２の操作や指令を受け付ける受付部としての機能を有する。また、外部入出力部５３は、表示装置３１の画面に各種のウィンドウに関する信号を出力する出力部としての機能を有する。また、本実施形態では、表示装置３１と物体検出装置本体５０とは別体であるが、表示装置３１は、物体検出装置本体５０に内蔵されていてもよい。すなわち、物体検出装置本体５０と一体化していてもよい。

なお、物体検出装置５は、前述した構成に加えて、さらに他の構成が付加されていてもよい。また、記憶部５２に保存されている各種プログラムやデータ等は、予め記憶部５２に保存されたものであってもよいし、例えばＣＤ−ＲＯＭ等の記録媒体に格納されており、この記録媒体から提供されたものでもよいし、ネットワーク等を介して提供されたものであってもよい。

１−１−４．表示装置および入力装置
表示装置３１（表示部）は、ディスプレイを備えており、その画面に、例えば、図５に示すウィンドウ４１、４２、図６に示すウィンドウ４３等の各種のウィンドウ、すなわち、各種の画面を表示する機能を有する。また、表示装置３１としては、特に限定されず、例えば、液晶表示装置、有機ＥＬ表示装置等の直視型の表示装置、プロジェクター等の投射型表示装置等が挙げられる。また、表示部は、複数の表示部に各種の画面がそれぞれ表示される構成であってもよい。

入力部である入力装置３２は、例えばマウスやキーボード等を含んで構成されている。したがって、作業者は、入力装置３２を操作することで、物体検出装置５に対して各種の処理等の指示、すなわち、入力を行うことができる。

具体的には、作業者は、表示装置３１の画面に表示される各種のウィンドウ等に対して入力装置３２のマウスでクリックする操作や、入力装置３２のキーボードで文字や数字等を入力する操作により、物体検出装置５に対する指示を行うことができる。以下、この作業者による入力装置３２を用いた指示、すなわち、入力装置３２による入力を「操作指示」とも言う。この操作指示は、入力装置３２により、表示装置３１に表示された内容から所望の内容を選択する選択操作や、入力装置３２により、文字や数字等を入力する入力指示等を含む。また、入力には、選択も含まれる。

なお、物体検出装置５には、表示装置３１および入力装置３２がそれぞれ１つ接続されていてもよいし、それぞれ複数接続されていてもよい。また、表示装置３１および入力装置３２の代わりに、表示装置３１および入力装置３２の機能を兼ね備えた表示入力装置を用いてもよい。表示入力装置としては、例えばタッチパネル等を用いることができる。

１−１−５．撮像装置
撮像装置４（撮像部）は、ロボット１の周辺に配置され、例えば、壁や天井等に固定された固定カメラであり、撮像素子および光学系等を有している。この撮像装置４は、作業台９の作業面９１上に載置された対象物８を撮像して、対象物８の画像、すなわち、画像データを生成する。また、対象物８の画像データは、必要に応じて、ロボット制御装置２や物体検出装置５に送信される。また、本実施形態では、撮像装置４が生成する対象物８の画像は、動画であるが、静止画であってもよく、また、静止画と動画とを切り換えられるようになっていてもよい。また、撮像装置４のキャリブレーションは既に完了し、撮像装置４の座標系、すなわち、カメラ座標系とロボット１の座標系、すなわち、ロボット座標系との対応付けはなされており、カメラ座標系とロボット座標系の一方から他方への座標変換が可能なようになっている。

また、撮像装置４の撮像素子としては、特に限定されず、例えば、ＣＣＤイメージセンサー、ＣＭＯＳイメージセンサー等が挙げられる。また、撮像装置４は、例えば、２Ｄカメラであってもよく、また、３Ｄカメラであってもよい。なお、撮像装置４は、これに限定されず、例えば、ロボットアーム１０に固定されたモバイルカメラ等であってもよい。
以上、ロボットシステム１００の基本的な構成について簡単に説明した。

１−２．物体検出
物体検出装置５は、対象物８の位置姿勢を、例えば、テンプレートを用いたパターンマッチング等により検出する。位置姿勢とは、所定座標系における位置および姿勢の組み合わせと言う。また、対象物８の検出に先立て、予め、対象物８を検出する際のテンプレートである学習データを作成し、記憶部５２に保存しておく。以下、学習データの生成方法、すなわち、対象物８の位置姿勢を検出する物体検出方法について説明する。

学習データを作成する際は、撮像装置４からの見え方の制約と、安定姿勢の制約とをかける。これにより、対象物８を迅速かつ適確に検出することができる。また、見え方とは、形状が特定された対象物８を撮像装置４で撮像して得られた画像における姿勢を言う。

また、先に、撮像装置４からの見え方の制約をかけ、その後に、安定姿勢の制約をかける。これにより、安定姿勢の制約をかける際、安定姿勢の候補が絞り込まれ、容易かつ迅速に、学習データを作成することができる。

次に、図４に示すフローチャートに基づいて、対象物８の位置姿勢に制約をかけて、学習データを作成する際の物体検出装置５の動作、すなわち、制御部５１の制御動作および学習データの生成方法、すなわち、物体検出方法について説明する。

まず、作業者は、作業台９の作業面９１上に、対象物８を所定の姿勢にして載置する。
また、作業者は、検出する対象物８の形状データである画像データとして、３次元画像データ、本実施形態では、対象物８のＣＡＤ（computer-aided design）データの設定を行う。なお、形状データは、ＣＡＤデータに限定されるものではなく、例えば、他の形態の３次元画像データであってもよい。なお、画像データは、画像を含み、例えば、ＣＡＤデータは、ＣＡＤデータに基づく画像、すなわち、ＣＡＤ画像を含む。

作業者は、入力装置３２により、対象物８のＣＡＤデータを入力し、形状データとして設定するための操作指示を行う。そして、外部入出力部５３が前記操作指示を受け付け、ＣＡＤデータを記憶部５２に保存する（ステップＳ１０１）。これは、「形状データを受け付ける工程」である。以上で、ＣＡＤデータ、すなわち、形状データの設定が終了する。

次いで、算出部５１１は、ＣＡＤデータに基づいて、対象物８の複数の安定姿勢の候補、すなわち、複数の安定姿勢候補を算出し、各安定姿勢候補を記憶部５２に保存する。これは、「複数の安定姿勢候補を算出する工程」である。

また、対象物８の安定姿勢とは、水平面に対象物８を載置した場合に対象物８がとり得る姿勢である。本実施形態の場合は、作業台９の作業面９１に対象物８を載置した場合に対象物８がとり得る姿勢である。安定姿勢が複数ある場合は、それらの各々が安定姿勢候補となる。

本実施形態の対象物８の場合、その６つの面のうちのいずれかの面の全面が水平面に接触したときの姿勢が安定姿勢であるので、対象物８の安定姿勢候補は、６つある。

次に、作業者は、入力装置３２により、撮像装置４からの見え方の制約をかけるか否かを示す指令を入力する操作指示を行う。そして、外部入出力部５３が前記操作指示を受け付け、前記指令が制御部５１に送信される。なお、前記操作指示は、これよりも以前に行ってもよい。

次いで、制御部５１は、撮像装置４からの見え方の制約をかけるか否かを判断する（ステップＳ１０２）。

ステップＳ１０２において、撮像装置４からの見え方の制約をかけると判断した場合は、図５に示すように、表示装置３１の画面３１１に、ウィンドウ４１、４２を表示する。すなわち、ウィンドウ４１、４２は、同じ画面３１１に並べて表示される。これにより、作業者が、後述する表示装置３１に表示された対象物８の見え方、すなわち、対象物８の姿勢である対象物姿勢に対して、ＣＡＤデータの見え方、すなわち、形状データの姿勢である形状データ姿勢を一致させる操作を行う場合、その操作を容易かつ迅速に行うことができる。以下、対象物姿勢を対象物８の見え方とも言う。また、形状データ姿勢をＣＡＤデータの見え方とも言う。

また、表示装置３１の画面３１１に、ウィンドウ４１、４２とともに、図６に示すウィンドウ４３を表示してもよく、また、ウィンドウ４３は、ウィンドウ４１、４２とは別の画面に表示してもよい。また、ウィンドウ４１とウィンドウ４２とが別々の画面に表示されてもよい。

また、ウィンドウ４１には、対象物８の画像、すなわち、対象物画像８１が表示される。すなわち、撮像装置４により、作業台９の作業面９１上に載置された対象物８を撮像して、対象物画像８１を生成し、その対象物画像８１をウィンドウ４１に表示する。これは、「対象物を表示部に表示する工程」である。これにより、表示装置３１に表示された対象物８の見え方が特定される。また、「対象物８の見え方」は、「対象物８の姿勢」と言い換えることもできる。

また、ウィンドウ４２の図５中の右側には、テキストボックス４２３、４２４、４２５、４２６、４２７と、「ＯＫ」と表示されたボタン４２１と、「キャンセル」と表示されたボタン４２２とが設けられている。

また、テキストボックス４２３、４２４、４２５には、それぞれ、撮像装置４の基準姿勢からのｚ軸回りの回転角度Ｕ、ｙ軸回りの回転角度Ｖ、ｘ軸回りの回転角度Ｗが表示される。

また、テキストボックス４２６には、撮像装置４の基準姿勢を中心とし、視点を変えたときに許容する公差角度が表示され、テキストボックス４２７には、撮像装置４の基準姿勢に対して許容する面内回転の公差が表示される。公差とは、許容される範囲の最大値と最小値との差である。

また、ウィンドウ４２の図５中の左側には、画像表示部４２８が設けられている。この画像表示部４２８には、対象物８のＣＡＤデータ４６が表示される。

次に、作業者は、入力装置３２により、ウィンドウ４１に表示された対象物画像８１の見え方、すなわち、対象物８の見え方に対して、画像表示部４２８に表示されたＣＡＤデータ４６の見え方を一致させる操作指示を行う。この場合、作業者は、例えば、マウスを操作して、互いに直交する３軸の所定の軸回りにＣＡＤデータ４６を所定角度回転させる。この操作指示は、撮像装置４の姿勢の指示に相当する。

ここで、「一致させる」とは、完全に一致させる場合の他、概ね一致させる場合を含む。すなわち、「一致させる」とは、撮像装置４の姿勢が、基準姿勢を中心として視点を変えたときに許容する公差角度、同倍率の対象物画像８１とＣＡＤデータ４６とを重ねたときに、対象物画像８１とＣＡＤデータ４６とが重なった部分の面積の対象物画像８１の面積に対する比率を９０％以上とすることであってもよい。

そして、外部入出力部５３が前記操作指示を受け付け、処理部５１２は、ウィンドウ４１に表示された対象物画像８１見え方、すなわち、対象物８の見え方に対して、画像表示部４２８に表示されたＣＡＤデータ４６の見え方を一致させる。これは、「形状データの見え方を一致させる工程」である。

また、テキストボックス４２３、４２４、４２５には、それぞれ、撮像装置４の基準姿勢からのｚ軸回りの回転角度Ｕ、ｙ軸回りの回転角度Ｖ、ｘ軸回りの回転角度Ｗ、すなわち、撮像装置４の姿勢が表示される。これらの各回転角度は、ＣＡＤデータ４６の基準姿勢からの各回転角度と対応しており、ＣＡＤデータ４６の基準姿勢からの各回転角度、すなわち、ＣＡＤデータ４６の姿勢と言うこともできる。また、これらの各回転角度は、対象物８の基準姿勢からの各回転角度と対応しており、対象物８の基準姿勢からの各回転角度、すなわち、対象物８の姿勢と言うこともできる。なお、前記ｘ軸、ｙ軸およびｚ軸を有する座標系は、カメラ座標系である。

また、作業者は、入力装置３２により、テキストボックス４２６、４２７に、撮像装置４の基準姿勢からのｚ軸回りの回転角度Ｕ、ｙ軸回りの回転角度Ｖ、ｘ軸回りの回転角度Ｗについての公差を入力する操作指示を行う。この操作指示は、撮像装置４の姿勢公差の指示に相当する。そして、外部入出力部５３が前記操作指示を受け付け、テキストボックス４２６、４２７に、撮像装置４の基準姿勢からｚ軸回りの回転角度Ｕ、ｙ軸回りの回転角度Ｖ、ｘ軸回りの回転角度Ｗについての公差、すなわち、撮像装置４の姿勢公差が表示される。これらの公差は、ＣＡＤデータ４６の基準姿勢からの各回転角度の公差と対応しており、ＣＡＤデータ４６の基準姿勢からの各回転角度の公差、すなわち、ＣＡＤデータ４６の姿勢公差と言うこともできる。また、これらの公差は、対象物８の基準姿勢からの各回転角度の公差と対応しており、対象物８の基準姿勢からの各回転角度の公差、すなわち、対象物８の姿勢公差と言うこともできる。

このようにして、作業者は、画面３１１で撮像装置４の姿勢およびその姿勢公差を入力する操作を容易かつ迅速に行うことができる。

また、ｚ軸回りの回転角度Ｕ、ｙ軸回りの回転角度Ｖ、ｘ軸回りの回転角度Ｗの各公差は、それぞれ、特に限定されず、諸条件に応じて適宜設定されるものであるが、３０°以下の範囲内の値に設定されることが好ましく、より検出精度を高くするには２０°以下の範囲内の値に設定されることがより好ましく、さらに検出精度を高くするには５°以下の範囲内の値に設定されることがさらに好ましい。

次に、作業者は、入力装置３２により、ボタン４２１を押す操作指示を行う。そして、外部入出力部５３が前記操作指示を受け付け、前述した各条件、すなわち、形状データ姿勢に基づいて設定された、撮像装置４に対する制約条件を保存する（ステップＳ１０３）。これは、「撮像部に対する制約条件を保存する工程」である。また、制約条件には、例えば、撮像装置４の基準姿勢からの各回転角度、その公差等が挙げられる。

ここで、対象物８の見え方は、ＣＡＤデータ４６の見え方と一致しているので、対象物８の基準姿勢からの各回転角度は、ＣＡＤデータ４６の基準姿勢からの各回転角度や、撮像装置４の基準姿勢からの各回転角度に相当し、対象物８の基準姿勢からの各回転角度の公差は、ＣＡＤデータ４６の基準姿勢からの各回転角度の公差や、撮像装置４の基準姿勢からの各回転角度の公差に相当する。

次いで、ステップＳ１０３で保存した各値がロボット座標系での値となるように、カメラ座標系からロボット座標系に座標変換し（ステップＳ１０４）、ステップＳ１０５に移行する。この座標変換により、撮像装置４からの見え方の制約と、安定姿勢の制約とを矛盾させないように、容易に、両方の制約をかけることができる。

一方、ステップＳ１０２において、撮像装置４からの見え方の制約をかけないと判断した場合は、ステップＳ１０５に移行する。

次に、作業者は、入力装置３２により、安定姿勢の制約をかけるか否かを示す指令を入力する操作指示を行う。そして、外部入出力部５３が前記操作指示を受け付け、前記指令が制御部５１に送信される。なお、前記操作指示は、これよりも以前に行ってもよい。

次いで、制御部５１は、安定姿勢の制約をかけるか否かを判断する（ステップＳ１０５）。

ステップＳ１０５において、安定姿勢の制約をかけると判断した場合は、図６に示すように、表示装置３１に、ウィンドウ４３を表示する。

また、ウィンドウ４３の図６中の右側には、画像表示部４３８が設けられ、図６中の左側には、画像表示部４３７が設けられている。また、画像表示部４３８には、ＣＡＤデータ４６が表示され、画像表示部４３７には、安定姿勢の対象物８の画像が表示される。なお、画像表示部４３８に表示されている網目は、作業台９の作業面９１に相当する。

また、ウィンドウ４３の図６中の下側には、「追加」と表示されたボタン４３１と、「削除」と表示されたボタン４３２と、「生成」と表示されたボタン４３３と、ドロップダウンリスト４３４と、「保存」と表示されたボタン４３５と、「キャンセル」と表示されたボタン４３６とが設けられている。

一方、ステップＳ１０５において、安定姿勢の制約をかけないと判断した場合は、ステップＳ１０８に移行する。

次に、作業者は、入力装置３２により、ボタン４３３を押す操作指示を行う。そして、外部入出力部５３が前記操作指示を受け付け、決定部５１３は、制約条件に基づいて、記憶部５２に保存されている対象物８の複数の安定姿勢候補から所定の１つまたは複数の安定姿勢候補を選択する、すなわち、所定の１つまたは複数の安定姿勢候補を生成する（ステップＳ１０６）。これは、「対象物の安定姿勢を決定する工程」である。

この場合、決定部５１３は、複数の安定姿勢候補のうちから、制約条件に含まれない安定姿勢候補を除外する。すなわち、決定部５１３は、複数の安定姿勢候補のうちから、制約条件に合致する安定姿勢を選択し、その選択した安定姿勢の対象物８の画像を画像表示部４３７に表示する。すなわち、前記対象物の安定姿勢を決定する工程は、制約条件に基づいて、複数の安定姿勢候補からとり得ない安定姿勢候補を除外する処理を含んでいる。これにより、安定姿勢候補を絞り込むことができ、対象物８の安定姿勢を容易かつ迅速に決定することができる。

ここで、ステップＳ１０２において「ＹＥＳ」の場合は、本実施形態では、選択される安定姿勢候補、すなわち、安定姿勢は、１つであり、その安定姿勢に決定する。

しかし、ステップＳ１０２において「ＮＯ」の場合は、本実施形態では、選択される安定姿勢候補、すなわち、安定姿勢は、６つであるので、その６つの姿勢が表示され、作業者は、入力装置３２を操作して、その６つのうちから１つを選択する。これにより、その選択した姿勢が安定姿勢に決定される。このため、ステップＳ１０６は、「対象物の安定姿勢候補を生成する工程」または「対象物の安定姿勢候補を生成し、対象物の安定姿勢を決定する工程」とも言うこともできる。ただし、選択する安定姿勢は１つに限らず、複数選択してもよい。

また、作業者が入力装置３２を操作して安定姿勢を選択する際は、制御部５１は、安定姿勢候補と、ステップＳ１０４におけるロボット座標系での姿勢との差が所定の閾値内、すなわち、公差内に収まっているか否かを判断し、公差内に収まっていない場合は、その旨のメッセージを表示装置３１に表示し、作業者に通知する。

次に、作業者は、入力装置３２により、ボタン４３５を押す操作指示を行う。そして、外部入出力部５３が前記操作指示を受け付け、前記決定した安定姿勢等の必要な各条件を記憶部５２に保存する（ステップＳ１０７）。

次いで、推定部５１４は、制約条件と前記決定した安定姿勢とに基づいて、対象物８の位置姿勢を推定し、学習データを作成し、その学習データをテンプレートとして記憶部５２に保存する（ステップＳ１０８）。これは、「対象物の位置姿勢を推定する工程」である。以上で、設定が完了する。

ここで、対象物８の複数の安定姿勢についての学習データを作成する場合は、前述した作業や動作が再度行われる。この場合、ＣＡＤデータは、複数個が同時に表示されるようになっていてもよく、また、タブで切り換えられるようになっていてもよい。

また、記憶部５２に保存されている安定姿勢候補のみでは不十分な場合は、入力装置３２により、図６に示すボタン４３１を押し、所定の操作を行うことで、対象物８の任意の姿勢を対象物８の姿勢の候補として追加することができる。

また、図６に示すドロップダウンリスト４３４において、項目を選択することで、対象物８が低い確率でとってしまう姿勢を対象物の姿勢の候補とするか否かを選択することができる。

以上説明したように、ロボットシステム１００は、物体検出装置５と、物体検出装置５の検出結果に基づいてロボット１の動作の制御を行うロボット制御装置２と、ロボット制御装置２により制御されるロボット１とを有する。このようなロボットシステム１００によれば、物体検出装置５について、対象物８の位置姿勢の制約として、見え方と安定姿勢との両方の制約の設定を行うので、その物体検出装置５により、対象物８を迅速かつ適確に検出することができ、これにより、ロボット１は、作業を迅速かつ適確に行うことができる。また、物体検出装置５において、見え方と安定姿勢との両方の制約の設定を行う際、先に見え方の制約をかけるので、安定姿勢候補が絞り込まれ、これにより、両方の制約の設定を容易かつ迅速に行うことができる。

以上説明したように、本発明の物体検出方法は、対象物８の形状データに基づいて対象物８の位置姿勢を検出する物体検出方法であり、ＣＡＤデータ（形状データ）から対象物８の複数の安定姿勢候補を算出する工程と、撮像装置４（撮像部）で撮像した対象物８を表示装置３１（表示部）に表示する工程と、表示装置３１（表示部）に表示された対象物８の姿勢である対象物姿勢に対して、ＣＡＤデータ（形状データ）の姿勢である形状データ姿勢を一致させる工程と、形状データ姿勢に基づいて設定された、撮像装置４（撮像部）に対する制約条件を保存する工程と、制約条件に基づいて、複数の安定姿勢候補から対象物８の安定姿勢を決定する工程と、制約条件と安定姿勢とに基づいて、対象物８の位置姿勢を推定する工程とを有する。

このような物体検出方法によれば、見え方と安定姿勢との両方の制約をかけるので、対象物８を迅速かつ適確に検出することができる。また、先に見え方の制約をかけるので、安定姿勢候補が絞り込まれ、これにより、見え方と安定姿勢との両方の制約の設定を容易かつ迅速に行うことができる。

また、本発明の物体検出方法では、対象物８の安定姿勢を決定する工程は、複数の安定姿勢候補から制約条件に含まれない安定姿勢候補を除外する処理を含む。

これにより、安定姿勢候補を絞り込むことができ、対象物８の安定姿勢を容易かつ迅速に決定することができる。

また、本発明の物体検出方法では、形状データは、ＣＡＤデータであり、形状データ姿勢を一致させる工程では、撮像装置４（撮像部）で撮像した対象物８と、ＣＡＤデータ（形状データ）とを表示装置３１（表示部）の画面３１１に並べて表示する。

これにより、作業者が、表示装置３１（表示部）に表示された対象物８の見え方に対して、ＣＡＤデータ（形状データ）の見え方を一致させる操作を行う場合、その操作を容易かつ迅速に行うことができる。

また、本発明の物体検出方法では、画面３１１で、撮像装置４（撮像部）の姿勢と、撮像装置４（撮像部）の姿勢公差とを受け付ける。

これにより、作業者が、画面３１１で、撮像装置４（撮像部）の姿勢および撮像装置４（撮像部）の姿勢公差を入力する操作を行う場合、その操作を容易かつ迅速に行うことができる。

また、物体検出装置５は、対象物８のＣＡＤデータ（形状データ）を受け付ける外部入出力部５３（受付部）と、ＣＡＤデータ（形状データ）から対象物８の複数の安定姿勢候補を算出する算出部５１１と、撮像装置４（撮像部）で撮像した対象物８を表示する表示装置３１（表示部）と、表示装置３１（表示部）に表示された対象物８の姿勢である対象物姿勢に対して、ＣＡＤデータ（形状データ）の姿勢である形状データ姿勢を一致させる処理部５１２と、形状データ姿勢に基づいて設定された、撮像装置４（撮像部）に対する制約条件を記憶する記憶部５２と、制約条件に基づいて、複数の安定姿勢候補から対象物８の安定姿勢を決定する決定部５１３と、制約条件と安定姿勢とに基づいて、対象物８の位置姿勢を推定する推定部５１４とを有する。

このような物体検出装置５によれば、見え方と安定姿勢との両方の制約をかけるので、対象物８を迅速かつ適確に検出することができる。また、先に見え方の制約をかけるので、安定姿勢候補が絞り込まれ、これにより、見え方と安定姿勢との両方の制約の設定を容易かつ迅速に行うことができる。

また、ロボットシステム１００は、ロボット１と、物体検出装置５とを備えている。そして、物体検出装置５は、対象物８のＣＡＤデータ（形状データ）を受け付ける外部入出力部５３（受付部）と、ＣＡＤデータ（形状データ）から対象物８の複数の安定姿勢候補を算出する算出部５１１と、撮像装置４（撮像部）で撮像した対象物８を表示する表示装置３１（表示部）と、表示装置３１（表示部）に表示された対象物８の姿勢である対象物姿勢に対して、ＣＡＤデータ（形状データ）の姿勢である形状データ姿勢を一致させる処理部５１２と、撮像装置４（撮像部）に対する制約条件を記憶する記憶部５２と、制約条件に基づいて、複数の安定姿勢候補から対象物８の安定姿勢を決定する決定部５１３と、制約条件と安定姿勢とに基づいて、対象物８の位置姿勢を推定する推定部５１４とを有する。

このようなロボットシステム１００によれば、見え方と安定姿勢との両方の制約をかけるので、対象物８を迅速かつ適確に検出することができる。また、先に見え方の制約をかけるので、安定姿勢候補が絞り込まれ、これにより、見え方と安定姿勢との両方の制約の設定を容易かつ迅速に行うことができる。

以上、ロボットシステム１００について説明した。なお、「ロボットシステム」は、図７および図８に示す形態であってもよい。

図７および図８は、それぞれ、本発明のロボットシステムの他の構成例を示すブロック図である。

図７には、ロボット１に直接コンピューター６３が接続されたロボットシステム１００Ｂの全体構成図を示す。ロボット１の制御はコンピューター６３に存在するプロセッサーによりメモリーにある指令を読み出して直接実行される。コンピューター６３は、前述したロボット制御装置２および物体検出装置５の物体検出装置本体５０の機能を有する。

図８には、コントローラー６１が内蔵されたロボット１とコンピューター６６とが接続され、コンピューター６６がＬＡＮ（Local Area Network）等のネットワーク６５を介してクラウド６４に接続されているロボットシステム１００Ｃの全体構成図を示す。ロボット１の制御はコンピューター６６に存在するプロセッサーによりメモリーにある指令を読み出して実行されてもよいし、クラウド６４上に存在するプロセッサーによりコンピューター６６を介してメモリーにある指令を読み出して実行されてもよい。コントローラー６１が、前述したロボット制御装置２の機能を有し、コンピューター６６またはクラウド６４が、前述した物体検出装置５の物体検出装置本体５０の機能を有する。

なお、ロボットシステム１００、１００Ｂおよび１００Ｃでは、各プロセッサーは、それぞれ、１つの装置で構成されていてもよく、また、複数の装置で構成されていてもよい、すなわち、複数の単位プロセッサーに分かれていてもよい。

以上、本発明の物体検出方法、物体検出装置およびロボットシステムを図示の実施形態に基づいて説明したが、本発明は、これに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、他の任意の工程、他の任意の構成物が付加されていてもよい。

また、本発明は、前記実施形態、前記各構成例のうちの、任意の２以上の構成を組み合わせたものであってもよい。

また、前述した実施形態では、ロボットとして、６軸の垂直多関節ロボットを例示したが、当該ロボットは、これに限らず、例えば、スカラーロボット等の水平多関節ロボット、脚部を有する脚式歩行ロボット等の他の形態のロボットであってもよい。また、当該ロボットは、単腕ロボットに限定されず、例えば、双腕ロボット等の他のロボットであってもよい。したがって、ロボットアームの数は、１つに限定されず、２つ以上であってもよい。また、ロボットアームが有するアームの数は、前述した実施形態では、６つであるが、１つ〜５つまたは７つ以上であってもよい。

また、前述した実施形態では、物体検出方法および物体検出装置をロボットシステムに適用した場合を例に挙げて説明したが、本発明では、これに限定されず、例えば、ベルトコンベアー等の対象物を搬送する搬送装置、対象物の検査を行う検査装置等、対象物の検出を行う装置や工程を備えるシステムに適用することができる。

また、本発明では、好ましくは、対象物を平面上に載置した状態で対象物の検出を行う場合、より好ましくは、対象物を水平面と平行な平面上に載置した状態で対象物の検出を行う場合に適用することができる。なお、本発明では、対象物の検出を行う際に対象物を載置する部分の形状が平面の場合、その平面は、例えば、水平面や鉛直面に対して傾斜していてもよく、また、鉛直面であってもよい。

また、本発明では、対象物の検出を行う際に対象物を載置する部分の形状は、平面に限定されず、例えば、曲面、複数の凹凸を有する形状等が挙げられる。

１…ロボット、２…ロボット制御装置、４…撮像装置、５…物体検出装置、５０…物体検出装置本体、８…対象物、８１…対象物画像、９…作業台、９１…作業面、１０…ロボットアーム、１１…アーム、１２…アーム、１３…アーム、１４…アーム、１５…アーム、１６…アーム、１７…エンドエフェクター、２１…制御部、２２…記憶部、２３…外部入出力部、３１…表示装置、３１１…画面、３２…入力装置、４１…ウィンドウ、４２…ウィンドウ、４２１…ボタン、４２２…ボタン、４２３…テキストボックス、４２４…テキストボックス、４２５…テキストボックス、４２６…テキストボックス、４２７…テキストボックス、４２８…画像表示部、４３…ウィンドウ、４３１…ボタン、４３２…ボタン、４３３…ボタン、４３４…ドロップダウンリスト、４３５…ボタン、４３６…ボタン、４３７…画像表示部、４３８…画像表示部、４６…ＣＡＤデータ、５１…制御部、５１１…算出部、５１２…処理部、５１３…決定部、５１４…推定部、５２…記憶部、５３…外部入出力部、６１…コントローラー、６３…コンピューター、６４…クラウド、６５…ネットワーク、６６…コンピューター、７０…設置箇所、１００…ロボットシステム、１００Ｂ…ロボットシステム、１００Ｃ…ロボットシステム、１１０…基台、１３０…駆動部、１４０…角度センサー、１７１…関節、１７２…関節、１７３…関節、１７４…関節、１７５…関節、１７６…関節、Ｐ…ツールセンターポイント、Ｓ１０１…ステップ、Ｓ１０２…ステップ、Ｓ１０３…ステップ、Ｓ１０４…ステップ、Ｓ１０５…ステップ、Ｓ１０６…ステップ、Ｓ１０７…ステップ、Ｓ１０８…ステップ

Claims (6)

1. 対象物の形状データに基づいて前記対象物の位置姿勢を検出する物体検出方法であって、
   前記形状データから前記対象物の複数の安定姿勢候補を算出する工程と、
   撮像部で撮像した前記対象物を表示部に表示する工程と、
   前記表示部に表示された前記対象物の姿勢である対象物姿勢に対して、前記形状データの姿勢である形状データ姿勢を一致させる工程と、
   前記形状データ姿勢に基づいて設定された、前記撮像部に対する制約条件を保存する工程と、
   前記制約条件に基づいて、前記複数の安定姿勢候補から前記対象物の安定姿勢を決定する工程と、
   前記制約条件と前記安定姿勢とに基づいて、前記対象物の位置姿勢を推定する工程とを有することを特徴とする物体検出方法。
2. 前記対象物の安定姿勢を決定する工程は、前記複数の安定姿勢候補から、前記制約条件に含まれない安定姿勢候補を除外する処理を含む請求項１に記載の物体検出方法。
3. 前記形状データは、ＣＡＤデータであり、
   前記形状データ姿勢を一致させる工程では、前記撮像部で撮像した前記対象物と、前記形状データとを前記表示部の画面に並べて表示する請求項１または２に記載の物体検出方法。
4. 前記画面で、前記撮像部の姿勢と、前記撮像部の姿勢公差とを受け付ける請求項３に記載の物体検出方法。
5. 対象物の形状データを受け付ける受付部と、
   前記形状データから前記対象物の複数の安定姿勢候補を算出する算出部と、
   撮像部で撮像した前記対象物を表示する表示部と、
   前記表示部に表示された前記対象物の姿勢である対象物姿勢に対して、前記形状データの姿勢である形状データ姿勢を一致させる処理部と、
   前記形状データ姿勢に基づいて設定された、前記撮像部に対する制約条件を記憶する記憶部と、
   前記制約条件に基づいて、前記複数の安定姿勢候補から前記対象物の安定姿勢を決定する決定部と、
   前記制約条件と前記安定姿勢とに基づいて、前記対象物の位置姿勢を推定する推定部とを有することを特徴とする物体検出装置。
6. ロボットと、
   物体検出装置と、を備え、
   前記物体検出装置は、対象物の形状データを受け付ける受付部と、
   前記形状データから前記対象物の複数の安定姿勢候補を算出する算出部と、
   撮像部で撮像した前記対象物を表示する表示部と、
   前記表示部に表示された前記対象物の姿勢である対象物姿勢に対して、前記形状データの姿勢である形状データ姿勢を一致させる処理部と、
   前記形状データ姿勢に基づいて設定された、前記撮像部に対する制約条件を記憶する記憶部と、
   前記制約条件に基づいて、前記複数の安定姿勢候補から前記対象物の安定姿勢を決定する決定部と、
   前記制約条件と前記安定姿勢とに基づいて、前記対象物の位置姿勢を推定する推定部とを有することを特徴とするロボットシステム。

Images