JP2005001022A - 物体モデル作成装置及びロボット制御装置 - Google Patents
物体モデル作成装置及びロボット制御装置 Download PDFInfo
- Publication number
- JP2005001022A JP2005001022A JP2003164470A JP2003164470A JP2005001022A JP 2005001022 A JP2005001022 A JP 2005001022A JP 2003164470 A JP2003164470 A JP 2003164470A JP 2003164470 A JP2003164470 A JP 2003164470A JP 2005001022 A JP2005001022 A JP 2005001022A
- Authority
- JP
- Japan
- Prior art keywords
- hand
- model
- object model
- feature
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Abstract
【課題】把持部を含めた正しい物体モデルを作成することができる物体モデル作成装置を提供する。
【解決手段】請求項１に記載の発明は、対象物に関する物体モデルを作成する物体モデル作成装置において、視覚センサから取得される前記対象物と前記ハンドに関する３次元データから形状に関するハンド付き特徴を抽出して出力する特徴抽出手段と、前記ハンド付き特徴の内、前記ハンドに相当する部分を除去してハンド無し特徴を出力する第１のハンド除去手段と、前記対象物に関して作成し、保存する物体モデルと、前記ハンド無し特徴と、前記物体モデルとから、前記物体モデルに該当するモデルが存在しない場合には前記ハンド無し特徴を前記物体モデルに登録し、前記物体モデルに該当するモデルが存在する場合には前記物体モデルと前記ハンド無し特徴とを重ね合わせて前記物体モデルを更新する。
【選択図】 図１
【解決手段】請求項１に記載の発明は、対象物に関する物体モデルを作成する物体モデル作成装置において、視覚センサから取得される前記対象物と前記ハンドに関する３次元データから形状に関するハンド付き特徴を抽出して出力する特徴抽出手段と、前記ハンド付き特徴の内、前記ハンドに相当する部分を除去してハンド無し特徴を出力する第１のハンド除去手段と、前記対象物に関して作成し、保存する物体モデルと、前記ハンド無し特徴と、前記物体モデルとから、前記物体モデルに該当するモデルが存在しない場合には前記ハンド無し特徴を前記物体モデルに登録し、前記物体モデルに該当するモデルが存在する場合には前記物体モデルと前記ハンド無し特徴とを重ね合わせて前記物体モデルを更新する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、対象物に関する物体モデルを作成する物体モデル作成装置に関し、特に、ハンドによる把持部を同時に登録することのできる物体モデル作成装置に関する。また、それを用いたロボット制御装置に関する。
【０００２】
【従来の技術】
従来より、コンピュータグラフィックス、ＣＡＤ、ロボットビジョン等で利用するために、３次元の物体モデルを作成する技術が開示されている（例えば、特許文献１）。特許文献１では、複数の異なる観測方向から撮像されたステレオ画像から、ステレオビジョンによって復元した３次元情報を位置合わせして統合し、対象物の３次元モデルを作成する技術が開示されている。
【０００３】
【特許文献１】
特許第２９６１２６４号公報
【０００４】
以下では、特許文献１を例に、従来の物体モデルを作成する技術の概要を説明する。図９は、特許文献１に関する物体モデル生成方法のフローチャートである。図９において、Ｓ１からＳ９はフローチャートの各ステップで、Ｄ１、Ｄ２はフローチャートの各データである。
ステップＳ１では、２台または３台のカメラでステレオカメラを構成し、ある観測方向から、モデル作成対象となる対象物に関する画像（ステレオ画像）を入力する。ステップＳ２では、ステレオ画像からエッジを抽出して、直線や曲線のセグメントに分割する。ステップＳ３では、セグメントを対応の単位としてステレオ画像の対応付けを行い、輪郭線（エッジ）の３次元情報（データＤ１）を求める。一方、これらと並行して、ステップＳ４では、ステレオ画像の画素間の相関を求め、相関の高い画素を対応付けて、領域の３次元情報（データＤ２）を求める。ステップＳ５では、作成中の物体モデルの存在を判定する。存在する場合には、ステップＳ６で、既に登録されている物体モデルに、輪郭線の３次元情報（データＤ１）を位置合わせし、ステップＳ７で、輪郭線の３次元情報（データＤ１）と領域の３次元情報（データＤ２）を統合して物体モデルを更新する。ステップＳ５で、物体モデルが存在しない場合には、ステップＳ７で、輪郭線の３次元情報（データＤ１）と領域の３次元情報（データＤ２）を統合して物体モデルとして新規に登録する。ステップＳ８では、物体モデルの完成を判定する。完成している場合には、処理を終了し、完成していない場合には、ステップＳ９で、観測方向を移動し、ステップＳ１からＳ８までの処理を繰り返す。
【０００５】
ところで、ステップＳ９の観測方向の移動と、ステップＳ６の物体モデルとの位置合わせについて、次のような３つの手法が開示されている。
（１）位置合わせ手法１
対象物を回転テーブルに載せ、回転テーブルを用いて観測方向の移動量を制御する。回転テーブルとステレオカメラとの位置関係は予めキャリブレーションされている。ステップＳ９の観測方向の移動は、回転テーブルを必要な量だけ回転することによって行う。ステップＳ６の物体モデルの位置合わせは、回転量から位置を演算して行う。
【０００６】
（２）位置合わせ手法２
未知の観測方向からの３次元情報を位置合わせする。ステップＳ９の観測方向の移動は、ステレオカメラ、対象物のいずれかを移動することにより行う。ステップＳ６の物体モデルの位置合わせは、物体モデルと、新たに作成した輪郭線の３次元情報（データＤ１）とをマッチングして行う。そのため、ステップＳ９の観測方向の移動は、物体モデルと重複した輪郭線の３次元情報（データＤ１）が得られるように行う。
【０００７】
（３）位置合わせ手法３
未知の観測方向の移動を検出しながら３次元情報を位置合わせする。ステップＳ９の観測方向の移動は、ステレオカメラ、対象物のいずれかを移動することにより行う。ステップＳ６の物体モデルの位置合わせは、物体モデルに指定した追跡点を追跡し、追跡点の微小移動量を演算して行う。
【０００８】
【発明が解決しようとする課題】
ここで、ロボットビジョンの分野において、対象物の３次元モデルを作成する技術を必要とするビンピッキングシステムを考える。図５は、ビンピッキングシステムの説明図である。図５において、５０３は対象物、５０４はビンで、箱であるビン５０４の中に、対象物５０３がバラバラに多数積み込まれている。５０１は視覚センサで、ビン５０４内部を撮像または計測し、３次元データを出力する。５０２はデータ処理装置で、視覚センサ５０１で取得された３次元データを処理して、ビン５０４内部のいくつかの対象物５０３の位置・姿勢を演算すると共に、取り上げることのできる対象物５０３の候補を決定する。５０５はハンド、５０６はロボットで、ハンド５０５はロボット５０６の手先に装着されている。５０７はロボットコントローラで、データ処理装置５０２から得られた対象物５０３の候補をハンドで把持できる位置・姿勢にロボット５０６を移動させる。このようにして、ロボット５０６は、ビン５０４内部の対象物５０３を順次取り上げて行く。
【０００９】
このようなビンピッキングシステムにおいては、データ処理装置５０２でビン５０４内部の対象物５０３の位置・姿勢を演算する際に、予め作成し、保存された対象物５０３に関する物体モデルを利用する。すなわち、データ処理装置５０２では、視覚センサ５０１で取得された３次元データから、対象物５０３に関する物体モデルをマッチング等の手段によって探索し、ビン５０４内部の対象物５０３の位置・姿勢を演算する。
【００１０】
このビンピッキングシステムに、従来の技術で説明した特許文献１の物体モデルを作成する技術を適用すると、以下に示すような問題が挙げられる。
位置合わせ手法１においては、回転テーブルを用いるため、その分システムのコストが高価となるという問題がある。また、回転テーブルとステレオカメラ（視覚センサ５０１）との位置関係をキャリブレーションする必要があり、実際の現場にシステムを設置する場合には、大変手間が掛かるという問題がある。
【００１１】
位置合わせ手法２または位置合わせ手法３においては、回転テーブルを用いないが、対象物５０３またはステレオカメラ（視覚センサ５０１）を移動させるための機構が別途必要となり、システムのコストが高価となるという問題がある。その機構を、図５に示したようなロボット５０６とハンド５０５とする場合も考えられるが、ハンド５０５が対象物５０３を隠してしまうため、対象物５０３全体の物体モデルが作成できない、または、ハンド５０５も含めてモデル化されてしまい正しい物体モデルが作成できないという問題がある。
【００１２】
また、ロボット５０６のハンド５０５がビン５０４内部の対象物５０３を把持しに行く場合には、対象物５０３のどこを把持したら良いかという情報も必要であるが、特許文献１の技術では形状に関する物体モデルを作成する技術しか提供されていないという問題がある。
【００１３】
そこで、本発明は、このような問題点に鑑みてなされたものであり、システムのコストを抑えた、手間の掛からない、把持部を含めた正しい物体モデルを作成することができる物体モデル作成装置を提供することを目的とする。また、この物体モデル作成装置を用いて、ロボットが操作対象とする物体を把持する等の作業が簡便に行えるようなロボット制御装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記問題を解決するため、本発明を次のように構成した。
請求項１に記載の発明は、対象物と、前記対象物に関する３次元データを取得して出力する視覚センサとを備え、前記３次元データから前記対象物に関する物体モデルを作成する物体モデル作成装置において、前記対象物を把持するハンドと、前記ハンドを装着し、前記ハンドの位置・姿勢を変えるロボットと、前記ロボットに動作指令を供給し、前記ロボットの現在位置を取得し、前記ハンドの位置・姿勢を演算して出力するロボットコントローラと、前記視覚センサから取得される前記対象物と前記ハンドに関する３次元データから形状に関するハンド付き特徴を抽出して出力する特徴抽出手段と、前記ハンドに関して予め作成し、保存したハンドモデルと、前記ハンド付き特徴と、前記ハンドモデルと、前記ハンドの位置・姿勢とから、前記ハンド付き特徴の内、前記ハンドに相当する部分を除去してハンド無し特徴を出力する第１のハンド除去手段と、前記対象物に関して作成し、保存する物体モデルと、前記ハンドが前記対象物を把持するのに最適な部分（把持部）を把持している時にオンとするように構成した把持部登録選択手段と、前記ハンド無し特徴と、前記物体モデルとから、前記物体モデルに該当するモデルが存在しない場合には前記ハンド無し特徴を前記物体モデルに登録し、前記物体モデルに該当するモデルが存在する場合には前記物体モデルと前記ハンド無し特徴とを重ね合わせて前記物体モデルを更新し、前記把持部登録選択手段がオンの場合には前記把持部を前記物体モデルに登録するモデル作成手段と、を備えるものである。
【００１５】
また、請求項２に記載の発明は、前記モデル作成手段は、前記物体モデルと前記ハンド無し特徴とを重ね合わせて前記物体モデルを更新する重ね合わせ手段と、前記物体モデルと前記ハンド無し特徴とをマッチングさせて前記物体モデルを更新するモデルマッチング手段と、前記ハンドによる前記対象物の把持に応じて、前記重ね合わせ手段と前記モデルマッチング手段の利用を選択するモデル作成選択手段と、から構成するものである。
【００１６】
また、請求項３に記載の発明は、前記モデル作成手段は、前記モデルマッチング手段とするものである。
【００１７】
また、請求項４に記載の発明は、前記第１のハンド除去手段は、前記ハンド付き特徴と、前記ハンドモデルと、前記ハンドの位置・姿勢とから、前記ハンド付き特徴の内、前記ハンドに相当する部分をマッチングさせて除去してハンド無し特徴を出力する第２のハンド除去手段とするものである。
【００１８】
また、請求項５に記載の発明は、前記視覚センサは、固体撮像素子を利用したカメラを複数台、または、１台の前記カメラの位置を変えて利用し、前記３次元データを演算するものである。
【００１９】
また、請求項６に記載の発明は、前記視覚センサは、前記対象物に光エネルギーを照射して受光し、受光位置から計測、または、前記光エネルギーの飛行時間を計測して前記３次元データを演算するものである。
【００２０】
また、請求項７に記載の発明は、前記ロボットと前記ハンドは、実際の作業において、前記対象物を操作するロボットとハンドとするものである。
【００２１】
また、請求項８に記載の発明は、前記特徴抽出手段の出力である対象物の特徴と前記物体モデルから操作対象となる前記対象物の位置・姿勢を演算して出力する対象物検出手段と請求項１から７までのいずれか１つに記載の物体モデル作成装置を備えてロボット制御装置を構成するものである。
【００２２】
【発明の実施の形態】
以下、本発明の具体的実施の形態を図に基づいて説明する。なお従来技術の説明と共通する構成要素には同一の符号を付したので、その説明を割愛する。
本実施の形態では、図５に示したようなビンピッキングシステムにおいて、物体モデルを作成する技術について説明する。基本的な考え方は、ロボット５０６のハンド５０５に対象物５０３を把持させた状態で、対象物５０３を動かして視覚センサ５０１に見せ、逐次、物体モデルを作成すると共に、対象物５０３の把持部を登録するものである。
【００２３】
（１）第１の実施の形態（請求項１記載の内容に相当）
第１の実施の形態について、図１を用いて説明する。図１は、第１の実施の形態に関わる物体モデル作成装置のブロック図である。図１において、ロボット５０６の手先に装着されたハンド５０５が、対象物５０３を把持し、視覚センサ５０１が対象物５０３とハンド５０５に関する３次元データ１０８を取得して出力するようになっている。また、ロボットコントローラ５０７は、ロボット５０６を動作させるための各軸指令１１１をロボット５０６に供給し、ロボット５０６の現在位置・姿勢情報として各軸位置１１２を入力する。ロボット５０６とハンド５０５との位置関係は予めキャリブレーションされているので、ロボットコントローラ５０７は、各軸位置１１２からハンドの位置・姿勢１１３を演算して出力する。
【００２４】
１０１は特徴抽出手段であり、対象物５０３とハンド５０５に関する３次元データ１０８を入力し、エッジや三角メッシュ等の３次元形状を表す特徴を抽出して出力する。この特徴は、物体モデル１０７やハンドモデル１０６の形式と同等であれば良い。また、特徴の抽出は、広く知られている物体のモデル化技術を適用すれば良い。この段階では、ハンド５０５に関する特徴も含まれているので、特徴抽出手段１０１の出力はハンド付き特徴１０９となる。また、ハンド付き特徴１０９は、視覚センサ５０１に設置された座標系ΣＣに関するものであり、ＣＦＨとおく。
【００２５】
１０６はハンドモデルで、ハンド５０５に関する３次元データから特徴抽出手段１０１と同様の処理で抽出した特徴を予め作成しておき、保存しておくものである。ハンドモデル１０６は、ハンド５０５に設置された座標系ΣＨに関するものであり、ＨＨとおく。尚、ハンドモデル１０６は、ハンド５０５に関するＣＡＤデータから、特徴抽出手段１０１と同等の特徴を求めるようにしても良い。
【００２６】
１０２は第１のハンド除去手段で、ハンド付き特徴１０９と、ハンドモデル１０６と、ハンド位置・姿勢１１３を入力し、ハンド付き特徴１０９の内、ハンド５０５に相当する部分を除去してハンド無し特徴１１０を出力する。まず、視覚センサ５０１に設置された座標系ΣＣに関するハンド付き特徴１０９（ＣＦＨ）を下記の式を用いて、ハンド５０５に設置された座標系ΣＨに関するものＨＦＨに変換する。
【００２７】
ＨＦＨ＝Ｈ ＲＴＲ ＣＴＣＦＨ （１）
【００２８】
ここで、Ｈ ＲＴは、ハンド５０５に設置された座標系ΣＨから見たロボット５
０６に設置された座標系ΣＲの位置・姿勢を表す４行４列の同次変換行列で、ハンド位置・姿勢１１３から演算することができる。Ｒ ＣＴは、ロボット５０６に設置された座標系ΣＲから見た、視覚センサ５０１に設置された座標系ΣＣの位置・姿勢を表す同次変換行列で、ロボット５０６と視覚センサ５０１との位置関係が予めキャリブレーションされているため固定値となる。すなわち、対象物５０３がある位置・姿勢の状態にあるハンド付き特徴１０９（ＣＦＨ）が入力されると、これが、式（１）によりハンド５０５に設置された座標系ΣＨに関するものＨＦＨに変換される。ハンドモデル１０６（ＨＨ）も、同じハンド５０５に設置された座標系ΣＨに関して表現されているため、ハンド付き特徴ＨＦＨにおけるハンド５０５各部の位置を知ることができる、すなわち、ハンド付き特徴ＨＦＨにおける、ハンド５０５を構成する領域を知ることができる。第１のハンド除去手段では、演算されたハンド付き特徴ＨＦＨから、ハンド５０５を構成する領域にある特徴を除去し、ハンド無し特徴１１０（ＨＦ）として出力する。
【００２９】
１０７は物体モデルで、本発明で作成対象とするものである。物体モデル１０７は、ハンドモデル１０６と同様、ハンド５０５に設置された座標系ΣＨに関して表現されており、ＨＭとおく。
【００３０】
１０４は把持部登録選択手段で、物体モデル作成時に、ハンド５０５が対象物５０３を把持するのに最適な部分（把持部）を把持している時にオンとし、把持していない時にオフとする。オンの場合には把持部登録信号１０５を出力する。
【００３１】
１０３はモデル作成手段で、ハンド無し特徴１１０と、物体モデル１０７を入力し、物体モデル１０７に、モデル作成対象となる対象物５０３に関する物体モデルが存在しない場合には、そのままハンド無し特徴１１０を対象物５０３に関する物体モデルとして登録する。既に対象物５０３に関する物体モデルが存在する場合には、ハンド無し特徴１１０（ＨＦ）と物体モデル１０７（ＨＭ）とを重ね合わせて対象物５０３に関する物体モデルを更新する。ハンド無し特徴１１０と物体モデル１０７とは、共にハンド５０５に設置された座標系ΣＨに関して表現されているため、そのまま重ね合わせることができる。また、把持部登録選択手段１０４がオンの場合には、すなわち、把持部登録信号１０５が入力されている場合には、物体モデルの登録時または更新時に、物体モデル中の、ハンド５０５に設置された座標系ΣＨを対象物５０３の把持部として物体モデル１０７に登録する。
【００３２】
以上説明したように、本発明の第１の実施形態は、ロボット５０６の手先に装着されたハンド５０５が対象物５０３を把持し、視覚センサ５０１が対象物５０３とハンド５０５に関する３次元データ１０８を取得し、特徴抽出手段１０１が対象物５０３とハンド５０５に関する特徴（ハンド付き特徴１０９）を抽出し、第１のハンド除去手段１０２がハンド付き特徴１０９の内、ハンド５０５に相当する部分を除去してハンド無し特徴１１０を出力し、モデル作成手段１０３がハンド無し特徴１１０を用いて対象物５０３に関する物体モデルを登録し、ロボット５０６が対象物５０３の位置・姿勢を変更し、以上の処理を繰り返して物体モデル１０７を登録するので、回転テーブルや、対象物５０３または視覚センサ５０１を移動させるための機構を別途必要とせずに、また、ハンド５０５の部分を除いて対象物５０３に関する物体モデル１０７を作成することができ、システムのコストを抑え、手間を掛けずに、正しい物体モデルを作成することができる。
【００３３】
また、把持部登録選択手段１０４が対象物５０３を把持するのに最適な部分（把持部）を把持している時にオンとなり、オンの時にモデル作成手段１０３が把持部を登録するので、対象物５０３の形状に関する物体モデル１０７と同時に把持部を登録することができる。
【００３４】
（２）第２の実施の形態（請求項２記載の内容に相当）
第２の実施の形態について、図２を用いて説明する。図２は、第２の実施の形態に関わるモデル作成手段のブロック図である。本実施の形態は、図１を用いて説明した第１の実施の形態におけるモデル作成手段１０３を、モデル作成選択手段２０１と、重ね合わせ手段２０２と、モデルマッチング手段２０３とから構成するようにしたものである。
【００３５】
図２において、２０２は重ね合わせ手段で、ハンド無し特徴１１０と、物体モデル１０７を入力し、物体モデル１０７に、モデル作成対象となる対象物５０３に関する物体モデルが存在しない場合には、そのままハンド無し特徴１１０を対象物５０３に関する物体モデルとして登録する。既に対象物５０３に関する物体モデルが存在する場合には、ハンド無し特徴１１０（ＨＦ）と物体モデル１０７（ＨＭ）とを重ね合わせて対象物５０３に関する物体モデルを更新する。ハンド無し特徴１１０と物体モデル１０７とは、共にハンド５０５に設置された座標系ΣＨに関して表現されているため、そのまま重ね合わせることができる。
【００３６】
２０３はモデルマッチング手段で、ハンド無し特徴１１０と、物体モデル１０７を入力し、物体モデル１０７に、モデル作成対象となる対象物５０３に関する物体モデルが存在しない場合には、そのままハンド無し特徴１１０を対象物５０３に関する物体モデルとして登録する。既に対象物５０３に関する物体モデルが存在する場合には、ハンド無し特徴１１０と物体モデル１０７とをマッチングさせて対象物５０３に関する物体モデルを更新する。マッチングは、現在取得したハンド無し特徴１１０が、物体モデル１０７のどの部分に対応するかを見つける処理である。物体モデル１０７と重複した部分が存在するように、対象物５０３を移動して３次元データ１０８を取得しているため、モデルマッチング手段２０３の処理によって重複部分を見つけることができる。重複部分が見つかった後、ハンド無し特徴１１０と物体モデル１０７とを重複部分が重なるように統合して対象物５０３に関する物体モデルを更新する。
【００３７】
２０１はモデル作成選択手段で、ハンド５０５による対象物５０３の把持に応じて、重ね合わせ手段２０２とモデルマッチング手段２０３との利用を選択する。モデル作成選択手段２０１は、例えば、次のように用いる。
今、ある対象物５０３に関して物体モデル１０７の作成を開始したとする。ハンド５０５が対象物５０３の把持部を把持し、視覚センサ５０１に対象物５０３を見せる位置にロボット５０６が対象物５０３を移動させる。視覚センサ５０１が３次元データ１０８を取得し、一連の処理を行い、ハンド無し特徴１１０まで出力できたとする。モデル作成選択手段２０１は、重ね合わせ手段２０２を選択し、対象物５０３に関する物体モデルが存在しないので、このハンド無し特徴１１０を対象物５０３に関する物体モデルとして登録する。次に、ロボット５０６が対象物５０３の位置・姿勢を変え、視覚センサ５０１が３次元データ１０８を取得する。一連の処理を行い、ハンド無し特徴１１０まで出力する。モデル作成選択手段２０１は、重ね合わせ手段２０２を選択し、既に対象物５０３に関する物体モデルが存在するので、このハンド無し特徴１１０と物体モデル１０７とを重ね合わせて対象物５０３に関する物体モデルを更新する。以上の処理を繰り返し、物体モデル１０７を更新して行くが、ハンド５０５は対象物５０３の把持部を把持しているので、どこかのタイミングで、把持部登録選択手段１０４をオンにし、物体モデル中の、ハンド５０５に設置された座標系ΣＨを対象物５０３の把持部として物体モデル１０７に登録する。この間、モデル作成選択手段２０１は、重ね合わせ手段２０２を選択し続けている。
【００３８】
次に、ハンド５０５に対象物５０３を持ち替えさせ、対象物５０３の把持部でない部分を把持させ、上と同様に、３次元データ１０８の取得から、ハンド無し特徴１１０の出力までを行う。これは、ハンド５０５が対象物５０３の把持部を把持したままだと、把持部をハンド５０５が隠してしまう可能性があり、把持部の３次元データ１０８が良好に取得できない場合には、把持部に関する物体モデル１０７が正確に作成できない可能性があるためである。この時、モデル作成選択手段２０１は、モデルマッチング手段２０３を選択し、既に対象物５０３に関する物体モデルが存在するので、ハンド無し特徴１１０と物体モデル１０７とをマッチングさせて対象物５０３に関する物体モデルを更新する。対象物５０３の把持部に関する物体モデル１０７の精度を向上させたい場合には、ロボット５０６が対象物５０３の位置・姿勢を変え、同様の処理を繰り返す。この間、モデル作成選択手段２０１は、モデルマッチング手段２０３を選択し続けている。
【００３９】
モデル作成選択手段２０１についてまとめると、ハンド５０５が対象物５０３を持ち替えるまでは重ね合わせ手段２０２を選択し、持ち替えた後はモデルマッチング手段２０３を選択する。これは、物体モデル１０７がハンド５０５に設置された座標系ΣＨに関して表現されており、持ち替えるまでは、この同じ座標系ΣＨで表現されているハンド無し特徴１１０を重ね合わせることができるが、持ち替えた後のハンド無し特徴１１０は、同様にハンド５０５に設置された座標系ΣＨに関して表現されているが、対象物５０３から見た場合、持ち替える前の座標系ΣＨとは位置・姿勢が異なっているため、そのまま重ね合わせることができない。従って、モデルマッチング手段２０３によって、ハンド無し特徴１１０が物体モデル１０７のどの部分に対応するかを見つけることによって、物体モデル１０７を更新するのである。
【００４０】
以上説明したように、本発明の第２の実施形態は、モデル作成手段１０３に、重ね合わせ手段２０２とモデルマッチング手段２０３を備え、ハンド５０５が対象物５０３を持ち替えた場合には、モデル作成選択手段２０１が処理を切り替えるので、ハンド５０５が対象物５０３を隠してしまっても、持ち替えて適切な処理を選択することができ、対象物５０３全体の正しい物体モデルを作成することができる。
【００４１】
（３）第３の実施の形態（請求項３記載の内容に相当）
第３の実施の形態について、図３を用いて説明する。図３は、第３の実施の形態に関わる物体モデル作成装置のブロック図である。本実施の形態は、図１を用いて説明した第１の実施の形態におけるモデル作成手段１０３を、モデルマッチング手段２０３に置き換えたものである。
モデルマッチング手段２０３は、図２を用いて第２の実施の形態で説明したように、ハンド無し特徴１１０と、物体モデル１０７を入力し、物体モデル１０７に、モデル作成対象となる対象物５０３に関する物体モデルが存在しない場合には、そのままハンド無し特徴１１０を対象物５０３に関する物体モデルとして登録する。既に対象物５０３に関する物体モデルが存在する場合には、ハンド無し特徴１１０と物体モデル１０７とをマッチングさせて対象物５０３に関する物体モデルを更新する。
【００４２】
すなわち、本実施の形態は、第１や第２の実施形態のように、ハンド無し特徴１１０と物体モデル１０７とを重ね合わせることを行わず、全て、現在取得したハンド無し特徴１１０が、物体モデル１０７のどの部分に対応するかを見つける処理を行うようにするものである。これにより、ハンド５０５の対象物５０３の持ち替えにも対応でき、重ね合わせ手段２０２やモデル作成選択手段２０１が不要となるため、簡素な構成となる。
【００４３】
以上説明したように、本発明の第３の実施形態は、モデル作成手段１０３を、モデルマッチング手段２０３に置き換えて、ハンド無し特徴１１０と物体モデル１０７とをマッチングさせて対象物５０３に関する物体モデルを更新するので、ハンド５０５が対象物５０３を隠してしまっても、対象物５０３全体の正しい物体モデルを作成することができる。また、重ね合わせ手段２０２やモデル作成選択手段２０１が不要となるため、簡素に物体モデル作成装置を構成することができる。
【００４４】
（４）第４の実施の形態（請求項４記載の内容に相当）
第４の実施の形態について、図４を用いて説明する。図４は、第４の実施の形態に関わる物体モデル作成装置のブロック図である。本実施の形態は、図１を用いて説明した第１の実施の形態における第１のハンド除去手段１０２を、第２のハンド除去手段４０１に置き換えたものである。
【００４５】
図４において、４０１は第２のハンド除去手段で、ハンド付き特徴１０９と、ハンドモデル１０６と、ハンド位置・姿勢１１３を入力し、ハンド付き特徴１０９の内、ハンド５０５に相当する部分をマッチングさせて除去してハンド無し特徴１１０を出力する。第１のハンド除去手段１０２が、ハンド位置・姿勢１１３から、ハンド付き特徴１０９を式（１）を用いて、ハンド５０５に設置された座標系ΣＨに関するハンド付き特徴に変換してハンド５０５を構成する領域にある特徴を除去し、ハンド無し特徴１１０として出力するのに対し、第２のハンド除去手段４０１は、同様に変換した、ハンド５０５に設置された座標系ΣＨに関するハンド付き特徴と、ハンドモデル１０６とをマッチングさせて、ハンド付き特徴からハンド５０５の部分を探索し、ハンド５０５を構成する領域にある特徴を除去し、ハンド無し特徴１１０として出力する。マッチングは、ハンドモデル１０６が、現在取得したハンド付き特徴のどの部分に対応するかを見つける処理である。
【００４６】
すなわち、本実施の形態は、第１の実施形態のように、ハンド付き特徴１０９の内、ハンド５０５に相当する部分を除去するが、同様の作用でありながら別の手法を提供するものである。
【００４７】
以上説明したように、本発明の第４の実施形態は、第２のハンド除去手段１０２がハンド付き特徴１０９の内、ハンド５０５に相当する部分を除去してハンド無し特徴１１０を出力するので、ハンド５０５の部分を除いて対象物５０３に関する物体モデル１０７を作成することができ、正しい物体モデルを作成することができる。
【００４８】
（５）第５の実施の形態（請求項５、６記載の内容に相当）
第５の実施の形態について、次に説明する。
本発明で用いる視覚センサ５０１は、３次元データを取得して出力するものであるが、その機能を満足すれば良く、手段を限定しない。
例えば、固体撮像素子を利用したタイプの、ＣＣＤカメラやＣＭＯＳカメラに代表されるカメラを、複数台用いてステレオカメラを構成しても良いし、１台のカメラで、その位置を変えることで擬似的にステレオカメラを構成するようにしても良い。また、光エネルギーを照射して受光し、受光位置から計測、または、光エネルギーの飛行時間を計測して３次元データを演算・出力するタイプの、レーザレンジファインダに代表される装置を利用しても良い。
【００４９】
以上説明したように、本発明の第５の実施形態は、視覚センサ５０１として３次元データ１０８を取得して出力する機能を満足していれば、その手段を限定しないため、容易に物体モデル作成装置を構成することができる。
【００５０】
（６）第６の実施の形態（請求項７記載の内容に相当）
第６の実施の形態について、次に説明する。
本発明で用いるハンド５０５は、対象物５０３を把持し、ロボット５０６は、対象物５０３の表面全体に関する３次元データ１０８が取得できるように、対象物５０３を移動させて視覚センサ５０１の視野に入れ、物体モデル１０７を作成する。一方、ロボット５０６とハンド５０５は、図５に示したように、ビン５０４内部の対象物５０３を順次取り上げて行くようなビンピッキング作業等も実行する。すなわち、実際の作業を実行するロボット５０６を、物体モデル１０７を作成する際に、用いれば良い。
【００５１】
以上説明したように、本発明の第６の実施形態は、実際の作業において利用するロボット５０６とハンド５０５を、物体モデル１０７を作成する際のロボットとハンドとして利用することができるため、回転テーブルや、対象物５０３または視覚センサ５０１を移動させるための機構を別途必要とせず、システムのコストを抑えた物体モデル作成装置を構成することができる。
尚、以上説明した実施の形態では、物体モデル１０７の基本となる座標系を、ハンド５０５に設置された座標系ΣＨとしてきたが、本発明はこれに限定されるものではなく、物体モデル１０７を登録・更新するにあたって統一した座標系で、ハンド５０５と位置関係がキャリブレーションされている座標系であれば、他の座標系を基本としても良い。
【００５２】
また、第２の実施の形態において、モデル作成手段１０３を、重ね合わせ手段２０２とモデルマッチング手段２０３との利用を選択するように構成したが、本発明はこれに限定されるものではなく、例えば、重ね合わせ手段２０２の処理の後に、モデルマッチング手段２０３の処理を行うようにして、モデルマッチング手段２０３で、重ね合わせ手段２０２の処理をして良いかどうかの確認を行うようにしても良い。この場合、重ね合わせ手段２０２の精度が向上し、結果として物体モデル１０７の精度が向上する。
【００５３】
（７）第７の実施の形態（請求項８記載の内容に相当）
第７の実施の形態について、図６から８までを用いて説明する。図６から８までは、それぞれ、第１の実施形態の物体モデル作成装置、第３の実施形態の物体モデル作成装置、第４の実施形態の物体モデル作成装置を用いたロボット制御装置のブロック図である。本実施の形態は、図１、図３、図４を用いて説明した第１、第３、第４の実施の形態における物体モデル作成装置に、対象物検出手段６０１を付加したものである。
【００５４】
すなわち、本実施の形態は、ロボット５０６のハンド５０５に対象物５０３を把持させた状態で、対象物５０３を動かして視覚センサ５０１に見せ、本発明の物体モデル作成装置を用いて物体モデル１０７の作成と対象物５０３把持部の登録をオフラインで行い、ビン５０４の中のバラバラに積まれた対象物５０３をロボット５０６が取り上げるような作業をオンラインで行う際、本発明の物体モデル作成装置で作成した物体モデル１０７を用いてビンピッキング等の作業を行うロボット制御装置を構成するものである。
【００５５】
図６から８までにおいて、特徴抽出手段１０１は、物体モデル１０７作成のオフライン時に、対象物５０３とハンド５０５に関する３次元データ１０８を入力し、エッジや三角メッシュ等の３次元形状を表す特徴をハンド付き特徴１０９として抽出して出力する一方、オンラインでの作業時には、対象物５０３に関する３次元データ１０８を入力し、エッジや三角メッシュ等の３次元形状を表す特徴を対象物特徴６０２として抽出して出力する。オフライン時でもオンライン時でも、３次元形状を表す特徴を抽出して出力する点で、機能的には同等である。
【００５６】
６０１は対象物検出手段で、対象物特徴６０２と、物体モデル１０７を入力し、操作対象となる対象物５０３の位置・姿勢６０３を演算して出力する。まず、操作対象となる対象物５０３に関する物体モデル１０７を読み出し、それが、対象物特徴６０２のどこに存在するかをマッチングさせて検出する。対象物５０３はバラバラに積まれているため、対象物特徴６０２は、多数の対象物５０３に関する特徴を持っている。その中からマッチングの度合いが高いものを抽出してその位置・姿勢を演算する。但し、ここで演算された位置・姿勢は、視覚センサ５０１に設置された座標系ΣＣに関する対象物５０３の位置・姿勢（Ｃ ＯＴ）なので、次に、これをロボット５０６に設置された座標系ΣＲに関する位置・姿勢（Ｒ ＯＴ）に変換する。これは、予めキャリブレーションされて既知となっている、ロボット５０６に設置された座標系ΣＲから見た、視覚センサ５０１に設置された座標系ΣＣの位置・姿勢Ｒ ＣＴを用いて、下式によって求まる。
【００５７】
Ｒ ＯＴ＝Ｒ ＣＴＣ ＯＴ （２）
【００５８】
これを対象物位置・姿勢６０３として、ロボットコントローラ５０７に出力する。
【００５９】
ロボットコントローラ５０７は、対象物位置・姿勢６０３から各軸指令１１１を演算して出力し、ロボット５０６を移動させる。ハンド５０５は、バラバラに積まれた対象物５０３の中から操作対象だけを把持し、取り上げる。
【００６０】
以上説明したように、本発明の第７の実施形態は、本発明の物体モデル作成装置を用いてモデル作成のオフライン時に物体モデル１０７を作成し、実際の作業を行うオンライン時には、対象物検出手段６０１が操作対象となる対象物５０３の位置・姿勢６０３を演算して出力するので、本発明の物体モデル作成装置に、対象物検出手段６０１を加えるだけで、簡便にロボット制御装置を構成することができる。
【００６１】
【発明の効果】
以上述べたように、本発明の請求項１に記載の物体モデル作成装置によれば、ロボットの手先に装着されたハンドが対象物を把持し、視覚センサが対象物とハンドに関する３次元データを取得し、特徴抽出手段が対象物とハンドに関する特徴（ハンド付き特徴）を抽出し、第１のハンド除去手段がハンド付き特徴の内、ハンドに相当する部分を除去してハンド無し特徴を出力し、モデル作成手段がハンド無し特徴を用いて対象物に関する物体モデルを登録し、ロボットが対象物の位置・姿勢を変更し、以上の処理を繰り返して物体モデルを登録するので、回転テーブルや、対象物または視覚センサを移動させるための機構を別途必要とせずに、また、ハンドの部分を除いて対象物に関する物体モデルを作成することができ、システムのコストを抑え、手間を掛けずに、正しい物体モデルを作成することができるという効果がある。
【００６２】
また、把持部登録選択手段が対象物を把持するのに最適な部分（把持部）を把持している時にオンとなり、オンの時にモデル作成手段が把持部を登録するので、対象物の形状に関する物体モデルと同時に把持部を登録することができるという効果がある。
【００６３】
また、本発明の請求項２に記載の物体モデル作成装置によれば、モデル作成手段に、重ね合わせ手段とモデルマッチング手段を備え、ハンドが対象物を持ち替えた場合には、モデル作成選択手段が処理を切り替えるので、ハンドが対象物を隠してしまっても、持ち替えて適切な処理を選択することができ、対象物全体の正しい物体モデルを作成することができるという効果がある。
【００６４】
また、本発明の請求項３に記載の物体モデル作成装置によれば、モデル作成手段を、モデルマッチング手段に置き換えて、ハンド無し特徴と物体モデルとをマッチングさせて対象物に関する物体モデルを更新するので、ハンドが対象物を隠してしまっても、対象物全体の正しい物体モデルを作成することができるという効果がある。また、重ね合わせ手段やモデル作成選択手段が不要となるため、簡素に物体モデル作成装置を構成することができるという効果がある。
【００６５】
また、本発明の請求項４に記載の物体モデル作成装置によれば、第２のハンド除去手段がハンド付き特徴の内、ハンドに相当する部分を除去してハンド無し特徴を出力するので、ハンドの部分を除いて対象物に関する物体モデルを作成することができ、正しい物体モデルを作成することができるという効果がある。
【００６６】
また、本発明の請求項５または６に記載の物体モデル作成装置によれば、視覚センサとして３次元データを取得して出力する機能を満足していれば、その手段を限定しないため、容易に物体モデル作成装置を構成することができるという効果がある。
【００６７】
また、本発明の請求項７に記載の物体モデル作成装置によれば、実際の作業において利用するロボットとハンドを、物体モデルを作成する際のロボットとハンドとして利用することができるため、回転テーブルや、対象物または視覚センサを移動させるための機構を別途必要とせず、システムのコストを抑えた物体モデル作成装置を構成することができるという効果がある。
【００６８】
また、本発明の請求項８に記載の物体モデル作成装置によれば、本発明の物体モデル作成装置を用いてモデル作成のオフライン時に物体モデルを作成し、実際の作業を行うオンライン時には、対象物検出手段が操作対象となる対象物の位置・姿勢を演算して出力するので、本発明の物体モデル作成装置に、対象物検出手段を加えるだけで、簡便にロボット制御装置を構成することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に関わる物体モデル作成装置のブロック図
【図２】本発明の第２の実施形態に関わるモデル作成手段のブロック図
【図３】本発明の第３の実施形態に関わる物体モデル作成装置のブロック図
【図４】本発明の第４の実施形態に関わる物体モデル作成装置のブロック図
【図５】ビンピッキングシステムの説明図
【図６】本発明の第７の実施形態に関わる第１の実施形態の物体モデル作成装置を用いたロボット制御装置のブロック図
【図７】本発明の第７の実施形態に関わる第３の実施形態の物体モデル作成装置を用いたロボット制御装置のブロック図
【図８】本発明の第７の実施形態に関わる第４の実施形態の物体モデル作成装置を用いたロボット制御装置のブロック図
【図９】従来の物体モデル生成方法のフローチャート
【符号の説明】
１０１ 特徴抽出手段、１０２ 第１のハンド除去手段、１０３ モデル作成手段、１０４ 把持部登録選択手段、１０５ 把持部登録信号、１０６ ハンドモデル、１０７ 物体モデル、１０８ ３次元データ、１０９ ハンド付き特徴、１１０ ハンド無し特徴、１１１ 各軸指令、１１２ 各軸位置、１１３ ハンド位置・姿勢、２０１ モデル作成選択手段、２０２ 重ね合わせ手段、２０３モデルマッチング手段、４０１ 第２のハンド除去手段、５０１ 視覚センサ、５０２ データ処理装置、５０３ 対象物、５０４ ビン、５０５ ハンド、５０６ ロボット、５０７ ロボットコントローラ、６０１ 対象物検出手段、６０２ 対象物特徴、６０３ 対象物位置・姿勢
【発明の属する技術分野】
本発明は、対象物に関する物体モデルを作成する物体モデル作成装置に関し、特に、ハンドによる把持部を同時に登録することのできる物体モデル作成装置に関する。また、それを用いたロボット制御装置に関する。
【０００２】
【従来の技術】
従来より、コンピュータグラフィックス、ＣＡＤ、ロボットビジョン等で利用するために、３次元の物体モデルを作成する技術が開示されている（例えば、特許文献１）。特許文献１では、複数の異なる観測方向から撮像されたステレオ画像から、ステレオビジョンによって復元した３次元情報を位置合わせして統合し、対象物の３次元モデルを作成する技術が開示されている。
【０００３】
【特許文献１】
特許第２９６１２６４号公報
【０００４】
以下では、特許文献１を例に、従来の物体モデルを作成する技術の概要を説明する。図９は、特許文献１に関する物体モデル生成方法のフローチャートである。図９において、Ｓ１からＳ９はフローチャートの各ステップで、Ｄ１、Ｄ２はフローチャートの各データである。
ステップＳ１では、２台または３台のカメラでステレオカメラを構成し、ある観測方向から、モデル作成対象となる対象物に関する画像（ステレオ画像）を入力する。ステップＳ２では、ステレオ画像からエッジを抽出して、直線や曲線のセグメントに分割する。ステップＳ３では、セグメントを対応の単位としてステレオ画像の対応付けを行い、輪郭線（エッジ）の３次元情報（データＤ１）を求める。一方、これらと並行して、ステップＳ４では、ステレオ画像の画素間の相関を求め、相関の高い画素を対応付けて、領域の３次元情報（データＤ２）を求める。ステップＳ５では、作成中の物体モデルの存在を判定する。存在する場合には、ステップＳ６で、既に登録されている物体モデルに、輪郭線の３次元情報（データＤ１）を位置合わせし、ステップＳ７で、輪郭線の３次元情報（データＤ１）と領域の３次元情報（データＤ２）を統合して物体モデルを更新する。ステップＳ５で、物体モデルが存在しない場合には、ステップＳ７で、輪郭線の３次元情報（データＤ１）と領域の３次元情報（データＤ２）を統合して物体モデルとして新規に登録する。ステップＳ８では、物体モデルの完成を判定する。完成している場合には、処理を終了し、完成していない場合には、ステップＳ９で、観測方向を移動し、ステップＳ１からＳ８までの処理を繰り返す。
【０００５】
ところで、ステップＳ９の観測方向の移動と、ステップＳ６の物体モデルとの位置合わせについて、次のような３つの手法が開示されている。
（１）位置合わせ手法１
対象物を回転テーブルに載せ、回転テーブルを用いて観測方向の移動量を制御する。回転テーブルとステレオカメラとの位置関係は予めキャリブレーションされている。ステップＳ９の観測方向の移動は、回転テーブルを必要な量だけ回転することによって行う。ステップＳ６の物体モデルの位置合わせは、回転量から位置を演算して行う。
【０００６】
（２）位置合わせ手法２
未知の観測方向からの３次元情報を位置合わせする。ステップＳ９の観測方向の移動は、ステレオカメラ、対象物のいずれかを移動することにより行う。ステップＳ６の物体モデルの位置合わせは、物体モデルと、新たに作成した輪郭線の３次元情報（データＤ１）とをマッチングして行う。そのため、ステップＳ９の観測方向の移動は、物体モデルと重複した輪郭線の３次元情報（データＤ１）が得られるように行う。
【０００７】
（３）位置合わせ手法３
未知の観測方向の移動を検出しながら３次元情報を位置合わせする。ステップＳ９の観測方向の移動は、ステレオカメラ、対象物のいずれかを移動することにより行う。ステップＳ６の物体モデルの位置合わせは、物体モデルに指定した追跡点を追跡し、追跡点の微小移動量を演算して行う。
【０００８】
【発明が解決しようとする課題】
ここで、ロボットビジョンの分野において、対象物の３次元モデルを作成する技術を必要とするビンピッキングシステムを考える。図５は、ビンピッキングシステムの説明図である。図５において、５０３は対象物、５０４はビンで、箱であるビン５０４の中に、対象物５０３がバラバラに多数積み込まれている。５０１は視覚センサで、ビン５０４内部を撮像または計測し、３次元データを出力する。５０２はデータ処理装置で、視覚センサ５０１で取得された３次元データを処理して、ビン５０４内部のいくつかの対象物５０３の位置・姿勢を演算すると共に、取り上げることのできる対象物５０３の候補を決定する。５０５はハンド、５０６はロボットで、ハンド５０５はロボット５０６の手先に装着されている。５０７はロボットコントローラで、データ処理装置５０２から得られた対象物５０３の候補をハンドで把持できる位置・姿勢にロボット５０６を移動させる。このようにして、ロボット５０６は、ビン５０４内部の対象物５０３を順次取り上げて行く。
【０００９】
このようなビンピッキングシステムにおいては、データ処理装置５０２でビン５０４内部の対象物５０３の位置・姿勢を演算する際に、予め作成し、保存された対象物５０３に関する物体モデルを利用する。すなわち、データ処理装置５０２では、視覚センサ５０１で取得された３次元データから、対象物５０３に関する物体モデルをマッチング等の手段によって探索し、ビン５０４内部の対象物５０３の位置・姿勢を演算する。
【００１０】
このビンピッキングシステムに、従来の技術で説明した特許文献１の物体モデルを作成する技術を適用すると、以下に示すような問題が挙げられる。
位置合わせ手法１においては、回転テーブルを用いるため、その分システムのコストが高価となるという問題がある。また、回転テーブルとステレオカメラ（視覚センサ５０１）との位置関係をキャリブレーションする必要があり、実際の現場にシステムを設置する場合には、大変手間が掛かるという問題がある。
【００１１】
位置合わせ手法２または位置合わせ手法３においては、回転テーブルを用いないが、対象物５０３またはステレオカメラ（視覚センサ５０１）を移動させるための機構が別途必要となり、システムのコストが高価となるという問題がある。その機構を、図５に示したようなロボット５０６とハンド５０５とする場合も考えられるが、ハンド５０５が対象物５０３を隠してしまうため、対象物５０３全体の物体モデルが作成できない、または、ハンド５０５も含めてモデル化されてしまい正しい物体モデルが作成できないという問題がある。
【００１２】
また、ロボット５０６のハンド５０５がビン５０４内部の対象物５０３を把持しに行く場合には、対象物５０３のどこを把持したら良いかという情報も必要であるが、特許文献１の技術では形状に関する物体モデルを作成する技術しか提供されていないという問題がある。
【００１３】
そこで、本発明は、このような問題点に鑑みてなされたものであり、システムのコストを抑えた、手間の掛からない、把持部を含めた正しい物体モデルを作成することができる物体モデル作成装置を提供することを目的とする。また、この物体モデル作成装置を用いて、ロボットが操作対象とする物体を把持する等の作業が簡便に行えるようなロボット制御装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記問題を解決するため、本発明を次のように構成した。
請求項１に記載の発明は、対象物と、前記対象物に関する３次元データを取得して出力する視覚センサとを備え、前記３次元データから前記対象物に関する物体モデルを作成する物体モデル作成装置において、前記対象物を把持するハンドと、前記ハンドを装着し、前記ハンドの位置・姿勢を変えるロボットと、前記ロボットに動作指令を供給し、前記ロボットの現在位置を取得し、前記ハンドの位置・姿勢を演算して出力するロボットコントローラと、前記視覚センサから取得される前記対象物と前記ハンドに関する３次元データから形状に関するハンド付き特徴を抽出して出力する特徴抽出手段と、前記ハンドに関して予め作成し、保存したハンドモデルと、前記ハンド付き特徴と、前記ハンドモデルと、前記ハンドの位置・姿勢とから、前記ハンド付き特徴の内、前記ハンドに相当する部分を除去してハンド無し特徴を出力する第１のハンド除去手段と、前記対象物に関して作成し、保存する物体モデルと、前記ハンドが前記対象物を把持するのに最適な部分（把持部）を把持している時にオンとするように構成した把持部登録選択手段と、前記ハンド無し特徴と、前記物体モデルとから、前記物体モデルに該当するモデルが存在しない場合には前記ハンド無し特徴を前記物体モデルに登録し、前記物体モデルに該当するモデルが存在する場合には前記物体モデルと前記ハンド無し特徴とを重ね合わせて前記物体モデルを更新し、前記把持部登録選択手段がオンの場合には前記把持部を前記物体モデルに登録するモデル作成手段と、を備えるものである。
【００１５】
また、請求項２に記載の発明は、前記モデル作成手段は、前記物体モデルと前記ハンド無し特徴とを重ね合わせて前記物体モデルを更新する重ね合わせ手段と、前記物体モデルと前記ハンド無し特徴とをマッチングさせて前記物体モデルを更新するモデルマッチング手段と、前記ハンドによる前記対象物の把持に応じて、前記重ね合わせ手段と前記モデルマッチング手段の利用を選択するモデル作成選択手段と、から構成するものである。
【００１６】
また、請求項３に記載の発明は、前記モデル作成手段は、前記モデルマッチング手段とするものである。
【００１７】
また、請求項４に記載の発明は、前記第１のハンド除去手段は、前記ハンド付き特徴と、前記ハンドモデルと、前記ハンドの位置・姿勢とから、前記ハンド付き特徴の内、前記ハンドに相当する部分をマッチングさせて除去してハンド無し特徴を出力する第２のハンド除去手段とするものである。
【００１８】
また、請求項５に記載の発明は、前記視覚センサは、固体撮像素子を利用したカメラを複数台、または、１台の前記カメラの位置を変えて利用し、前記３次元データを演算するものである。
【００１９】
また、請求項６に記載の発明は、前記視覚センサは、前記対象物に光エネルギーを照射して受光し、受光位置から計測、または、前記光エネルギーの飛行時間を計測して前記３次元データを演算するものである。
【００２０】
また、請求項７に記載の発明は、前記ロボットと前記ハンドは、実際の作業において、前記対象物を操作するロボットとハンドとするものである。
【００２１】
また、請求項８に記載の発明は、前記特徴抽出手段の出力である対象物の特徴と前記物体モデルから操作対象となる前記対象物の位置・姿勢を演算して出力する対象物検出手段と請求項１から７までのいずれか１つに記載の物体モデル作成装置を備えてロボット制御装置を構成するものである。
【００２２】
【発明の実施の形態】
以下、本発明の具体的実施の形態を図に基づいて説明する。なお従来技術の説明と共通する構成要素には同一の符号を付したので、その説明を割愛する。
本実施の形態では、図５に示したようなビンピッキングシステムにおいて、物体モデルを作成する技術について説明する。基本的な考え方は、ロボット５０６のハンド５０５に対象物５０３を把持させた状態で、対象物５０３を動かして視覚センサ５０１に見せ、逐次、物体モデルを作成すると共に、対象物５０３の把持部を登録するものである。
【００２３】
（１）第１の実施の形態（請求項１記載の内容に相当）
第１の実施の形態について、図１を用いて説明する。図１は、第１の実施の形態に関わる物体モデル作成装置のブロック図である。図１において、ロボット５０６の手先に装着されたハンド５０５が、対象物５０３を把持し、視覚センサ５０１が対象物５０３とハンド５０５に関する３次元データ１０８を取得して出力するようになっている。また、ロボットコントローラ５０７は、ロボット５０６を動作させるための各軸指令１１１をロボット５０６に供給し、ロボット５０６の現在位置・姿勢情報として各軸位置１１２を入力する。ロボット５０６とハンド５０５との位置関係は予めキャリブレーションされているので、ロボットコントローラ５０７は、各軸位置１１２からハンドの位置・姿勢１１３を演算して出力する。
【００２４】
１０１は特徴抽出手段であり、対象物５０３とハンド５０５に関する３次元データ１０８を入力し、エッジや三角メッシュ等の３次元形状を表す特徴を抽出して出力する。この特徴は、物体モデル１０７やハンドモデル１０６の形式と同等であれば良い。また、特徴の抽出は、広く知られている物体のモデル化技術を適用すれば良い。この段階では、ハンド５０５に関する特徴も含まれているので、特徴抽出手段１０１の出力はハンド付き特徴１０９となる。また、ハンド付き特徴１０９は、視覚センサ５０１に設置された座標系ΣＣに関するものであり、ＣＦＨとおく。
【００２５】
１０６はハンドモデルで、ハンド５０５に関する３次元データから特徴抽出手段１０１と同様の処理で抽出した特徴を予め作成しておき、保存しておくものである。ハンドモデル１０６は、ハンド５０５に設置された座標系ΣＨに関するものであり、ＨＨとおく。尚、ハンドモデル１０６は、ハンド５０５に関するＣＡＤデータから、特徴抽出手段１０１と同等の特徴を求めるようにしても良い。
【００２６】
１０２は第１のハンド除去手段で、ハンド付き特徴１０９と、ハンドモデル１０６と、ハンド位置・姿勢１１３を入力し、ハンド付き特徴１０９の内、ハンド５０５に相当する部分を除去してハンド無し特徴１１０を出力する。まず、視覚センサ５０１に設置された座標系ΣＣに関するハンド付き特徴１０９（ＣＦＨ）を下記の式を用いて、ハンド５０５に設置された座標系ΣＨに関するものＨＦＨに変換する。
【００２７】
ＨＦＨ＝Ｈ ＲＴＲ ＣＴＣＦＨ （１）
【００２８】
ここで、Ｈ ＲＴは、ハンド５０５に設置された座標系ΣＨから見たロボット５
０６に設置された座標系ΣＲの位置・姿勢を表す４行４列の同次変換行列で、ハンド位置・姿勢１１３から演算することができる。Ｒ ＣＴは、ロボット５０６に設置された座標系ΣＲから見た、視覚センサ５０１に設置された座標系ΣＣの位置・姿勢を表す同次変換行列で、ロボット５０６と視覚センサ５０１との位置関係が予めキャリブレーションされているため固定値となる。すなわち、対象物５０３がある位置・姿勢の状態にあるハンド付き特徴１０９（ＣＦＨ）が入力されると、これが、式（１）によりハンド５０５に設置された座標系ΣＨに関するものＨＦＨに変換される。ハンドモデル１０６（ＨＨ）も、同じハンド５０５に設置された座標系ΣＨに関して表現されているため、ハンド付き特徴ＨＦＨにおけるハンド５０５各部の位置を知ることができる、すなわち、ハンド付き特徴ＨＦＨにおける、ハンド５０５を構成する領域を知ることができる。第１のハンド除去手段では、演算されたハンド付き特徴ＨＦＨから、ハンド５０５を構成する領域にある特徴を除去し、ハンド無し特徴１１０（ＨＦ）として出力する。
【００２９】
１０７は物体モデルで、本発明で作成対象とするものである。物体モデル１０７は、ハンドモデル１０６と同様、ハンド５０５に設置された座標系ΣＨに関して表現されており、ＨＭとおく。
【００３０】
１０４は把持部登録選択手段で、物体モデル作成時に、ハンド５０５が対象物５０３を把持するのに最適な部分（把持部）を把持している時にオンとし、把持していない時にオフとする。オンの場合には把持部登録信号１０５を出力する。
【００３１】
１０３はモデル作成手段で、ハンド無し特徴１１０と、物体モデル１０７を入力し、物体モデル１０７に、モデル作成対象となる対象物５０３に関する物体モデルが存在しない場合には、そのままハンド無し特徴１１０を対象物５０３に関する物体モデルとして登録する。既に対象物５０３に関する物体モデルが存在する場合には、ハンド無し特徴１１０（ＨＦ）と物体モデル１０７（ＨＭ）とを重ね合わせて対象物５０３に関する物体モデルを更新する。ハンド無し特徴１１０と物体モデル１０７とは、共にハンド５０５に設置された座標系ΣＨに関して表現されているため、そのまま重ね合わせることができる。また、把持部登録選択手段１０４がオンの場合には、すなわち、把持部登録信号１０５が入力されている場合には、物体モデルの登録時または更新時に、物体モデル中の、ハンド５０５に設置された座標系ΣＨを対象物５０３の把持部として物体モデル１０７に登録する。
【００３２】
以上説明したように、本発明の第１の実施形態は、ロボット５０６の手先に装着されたハンド５０５が対象物５０３を把持し、視覚センサ５０１が対象物５０３とハンド５０５に関する３次元データ１０８を取得し、特徴抽出手段１０１が対象物５０３とハンド５０５に関する特徴（ハンド付き特徴１０９）を抽出し、第１のハンド除去手段１０２がハンド付き特徴１０９の内、ハンド５０５に相当する部分を除去してハンド無し特徴１１０を出力し、モデル作成手段１０３がハンド無し特徴１１０を用いて対象物５０３に関する物体モデルを登録し、ロボット５０６が対象物５０３の位置・姿勢を変更し、以上の処理を繰り返して物体モデル１０７を登録するので、回転テーブルや、対象物５０３または視覚センサ５０１を移動させるための機構を別途必要とせずに、また、ハンド５０５の部分を除いて対象物５０３に関する物体モデル１０７を作成することができ、システムのコストを抑え、手間を掛けずに、正しい物体モデルを作成することができる。
【００３３】
また、把持部登録選択手段１０４が対象物５０３を把持するのに最適な部分（把持部）を把持している時にオンとなり、オンの時にモデル作成手段１０３が把持部を登録するので、対象物５０３の形状に関する物体モデル１０７と同時に把持部を登録することができる。
【００３４】
（２）第２の実施の形態（請求項２記載の内容に相当）
第２の実施の形態について、図２を用いて説明する。図２は、第２の実施の形態に関わるモデル作成手段のブロック図である。本実施の形態は、図１を用いて説明した第１の実施の形態におけるモデル作成手段１０３を、モデル作成選択手段２０１と、重ね合わせ手段２０２と、モデルマッチング手段２０３とから構成するようにしたものである。
【００３５】
図２において、２０２は重ね合わせ手段で、ハンド無し特徴１１０と、物体モデル１０７を入力し、物体モデル１０７に、モデル作成対象となる対象物５０３に関する物体モデルが存在しない場合には、そのままハンド無し特徴１１０を対象物５０３に関する物体モデルとして登録する。既に対象物５０３に関する物体モデルが存在する場合には、ハンド無し特徴１１０（ＨＦ）と物体モデル１０７（ＨＭ）とを重ね合わせて対象物５０３に関する物体モデルを更新する。ハンド無し特徴１１０と物体モデル１０７とは、共にハンド５０５に設置された座標系ΣＨに関して表現されているため、そのまま重ね合わせることができる。
【００３６】
２０３はモデルマッチング手段で、ハンド無し特徴１１０と、物体モデル１０７を入力し、物体モデル１０７に、モデル作成対象となる対象物５０３に関する物体モデルが存在しない場合には、そのままハンド無し特徴１１０を対象物５０３に関する物体モデルとして登録する。既に対象物５０３に関する物体モデルが存在する場合には、ハンド無し特徴１１０と物体モデル１０７とをマッチングさせて対象物５０３に関する物体モデルを更新する。マッチングは、現在取得したハンド無し特徴１１０が、物体モデル１０７のどの部分に対応するかを見つける処理である。物体モデル１０７と重複した部分が存在するように、対象物５０３を移動して３次元データ１０８を取得しているため、モデルマッチング手段２０３の処理によって重複部分を見つけることができる。重複部分が見つかった後、ハンド無し特徴１１０と物体モデル１０７とを重複部分が重なるように統合して対象物５０３に関する物体モデルを更新する。
【００３７】
２０１はモデル作成選択手段で、ハンド５０５による対象物５０３の把持に応じて、重ね合わせ手段２０２とモデルマッチング手段２０３との利用を選択する。モデル作成選択手段２０１は、例えば、次のように用いる。
今、ある対象物５０３に関して物体モデル１０７の作成を開始したとする。ハンド５０５が対象物５０３の把持部を把持し、視覚センサ５０１に対象物５０３を見せる位置にロボット５０６が対象物５０３を移動させる。視覚センサ５０１が３次元データ１０８を取得し、一連の処理を行い、ハンド無し特徴１１０まで出力できたとする。モデル作成選択手段２０１は、重ね合わせ手段２０２を選択し、対象物５０３に関する物体モデルが存在しないので、このハンド無し特徴１１０を対象物５０３に関する物体モデルとして登録する。次に、ロボット５０６が対象物５０３の位置・姿勢を変え、視覚センサ５０１が３次元データ１０８を取得する。一連の処理を行い、ハンド無し特徴１１０まで出力する。モデル作成選択手段２０１は、重ね合わせ手段２０２を選択し、既に対象物５０３に関する物体モデルが存在するので、このハンド無し特徴１１０と物体モデル１０７とを重ね合わせて対象物５０３に関する物体モデルを更新する。以上の処理を繰り返し、物体モデル１０７を更新して行くが、ハンド５０５は対象物５０３の把持部を把持しているので、どこかのタイミングで、把持部登録選択手段１０４をオンにし、物体モデル中の、ハンド５０５に設置された座標系ΣＨを対象物５０３の把持部として物体モデル１０７に登録する。この間、モデル作成選択手段２０１は、重ね合わせ手段２０２を選択し続けている。
【００３８】
次に、ハンド５０５に対象物５０３を持ち替えさせ、対象物５０３の把持部でない部分を把持させ、上と同様に、３次元データ１０８の取得から、ハンド無し特徴１１０の出力までを行う。これは、ハンド５０５が対象物５０３の把持部を把持したままだと、把持部をハンド５０５が隠してしまう可能性があり、把持部の３次元データ１０８が良好に取得できない場合には、把持部に関する物体モデル１０７が正確に作成できない可能性があるためである。この時、モデル作成選択手段２０１は、モデルマッチング手段２０３を選択し、既に対象物５０３に関する物体モデルが存在するので、ハンド無し特徴１１０と物体モデル１０７とをマッチングさせて対象物５０３に関する物体モデルを更新する。対象物５０３の把持部に関する物体モデル１０７の精度を向上させたい場合には、ロボット５０６が対象物５０３の位置・姿勢を変え、同様の処理を繰り返す。この間、モデル作成選択手段２０１は、モデルマッチング手段２０３を選択し続けている。
【００３９】
モデル作成選択手段２０１についてまとめると、ハンド５０５が対象物５０３を持ち替えるまでは重ね合わせ手段２０２を選択し、持ち替えた後はモデルマッチング手段２０３を選択する。これは、物体モデル１０７がハンド５０５に設置された座標系ΣＨに関して表現されており、持ち替えるまでは、この同じ座標系ΣＨで表現されているハンド無し特徴１１０を重ね合わせることができるが、持ち替えた後のハンド無し特徴１１０は、同様にハンド５０５に設置された座標系ΣＨに関して表現されているが、対象物５０３から見た場合、持ち替える前の座標系ΣＨとは位置・姿勢が異なっているため、そのまま重ね合わせることができない。従って、モデルマッチング手段２０３によって、ハンド無し特徴１１０が物体モデル１０７のどの部分に対応するかを見つけることによって、物体モデル１０７を更新するのである。
【００４０】
以上説明したように、本発明の第２の実施形態は、モデル作成手段１０３に、重ね合わせ手段２０２とモデルマッチング手段２０３を備え、ハンド５０５が対象物５０３を持ち替えた場合には、モデル作成選択手段２０１が処理を切り替えるので、ハンド５０５が対象物５０３を隠してしまっても、持ち替えて適切な処理を選択することができ、対象物５０３全体の正しい物体モデルを作成することができる。
【００４１】
（３）第３の実施の形態（請求項３記載の内容に相当）
第３の実施の形態について、図３を用いて説明する。図３は、第３の実施の形態に関わる物体モデル作成装置のブロック図である。本実施の形態は、図１を用いて説明した第１の実施の形態におけるモデル作成手段１０３を、モデルマッチング手段２０３に置き換えたものである。
モデルマッチング手段２０３は、図２を用いて第２の実施の形態で説明したように、ハンド無し特徴１１０と、物体モデル１０７を入力し、物体モデル１０７に、モデル作成対象となる対象物５０３に関する物体モデルが存在しない場合には、そのままハンド無し特徴１１０を対象物５０３に関する物体モデルとして登録する。既に対象物５０３に関する物体モデルが存在する場合には、ハンド無し特徴１１０と物体モデル１０７とをマッチングさせて対象物５０３に関する物体モデルを更新する。
【００４２】
すなわち、本実施の形態は、第１や第２の実施形態のように、ハンド無し特徴１１０と物体モデル１０７とを重ね合わせることを行わず、全て、現在取得したハンド無し特徴１１０が、物体モデル１０７のどの部分に対応するかを見つける処理を行うようにするものである。これにより、ハンド５０５の対象物５０３の持ち替えにも対応でき、重ね合わせ手段２０２やモデル作成選択手段２０１が不要となるため、簡素な構成となる。
【００４３】
以上説明したように、本発明の第３の実施形態は、モデル作成手段１０３を、モデルマッチング手段２０３に置き換えて、ハンド無し特徴１１０と物体モデル１０７とをマッチングさせて対象物５０３に関する物体モデルを更新するので、ハンド５０５が対象物５０３を隠してしまっても、対象物５０３全体の正しい物体モデルを作成することができる。また、重ね合わせ手段２０２やモデル作成選択手段２０１が不要となるため、簡素に物体モデル作成装置を構成することができる。
【００４４】
（４）第４の実施の形態（請求項４記載の内容に相当）
第４の実施の形態について、図４を用いて説明する。図４は、第４の実施の形態に関わる物体モデル作成装置のブロック図である。本実施の形態は、図１を用いて説明した第１の実施の形態における第１のハンド除去手段１０２を、第２のハンド除去手段４０１に置き換えたものである。
【００４５】
図４において、４０１は第２のハンド除去手段で、ハンド付き特徴１０９と、ハンドモデル１０６と、ハンド位置・姿勢１１３を入力し、ハンド付き特徴１０９の内、ハンド５０５に相当する部分をマッチングさせて除去してハンド無し特徴１１０を出力する。第１のハンド除去手段１０２が、ハンド位置・姿勢１１３から、ハンド付き特徴１０９を式（１）を用いて、ハンド５０５に設置された座標系ΣＨに関するハンド付き特徴に変換してハンド５０５を構成する領域にある特徴を除去し、ハンド無し特徴１１０として出力するのに対し、第２のハンド除去手段４０１は、同様に変換した、ハンド５０５に設置された座標系ΣＨに関するハンド付き特徴と、ハンドモデル１０６とをマッチングさせて、ハンド付き特徴からハンド５０５の部分を探索し、ハンド５０５を構成する領域にある特徴を除去し、ハンド無し特徴１１０として出力する。マッチングは、ハンドモデル１０６が、現在取得したハンド付き特徴のどの部分に対応するかを見つける処理である。
【００４６】
すなわち、本実施の形態は、第１の実施形態のように、ハンド付き特徴１０９の内、ハンド５０５に相当する部分を除去するが、同様の作用でありながら別の手法を提供するものである。
【００４７】
以上説明したように、本発明の第４の実施形態は、第２のハンド除去手段１０２がハンド付き特徴１０９の内、ハンド５０５に相当する部分を除去してハンド無し特徴１１０を出力するので、ハンド５０５の部分を除いて対象物５０３に関する物体モデル１０７を作成することができ、正しい物体モデルを作成することができる。
【００４８】
（５）第５の実施の形態（請求項５、６記載の内容に相当）
第５の実施の形態について、次に説明する。
本発明で用いる視覚センサ５０１は、３次元データを取得して出力するものであるが、その機能を満足すれば良く、手段を限定しない。
例えば、固体撮像素子を利用したタイプの、ＣＣＤカメラやＣＭＯＳカメラに代表されるカメラを、複数台用いてステレオカメラを構成しても良いし、１台のカメラで、その位置を変えることで擬似的にステレオカメラを構成するようにしても良い。また、光エネルギーを照射して受光し、受光位置から計測、または、光エネルギーの飛行時間を計測して３次元データを演算・出力するタイプの、レーザレンジファインダに代表される装置を利用しても良い。
【００４９】
以上説明したように、本発明の第５の実施形態は、視覚センサ５０１として３次元データ１０８を取得して出力する機能を満足していれば、その手段を限定しないため、容易に物体モデル作成装置を構成することができる。
【００５０】
（６）第６の実施の形態（請求項７記載の内容に相当）
第６の実施の形態について、次に説明する。
本発明で用いるハンド５０５は、対象物５０３を把持し、ロボット５０６は、対象物５０３の表面全体に関する３次元データ１０８が取得できるように、対象物５０３を移動させて視覚センサ５０１の視野に入れ、物体モデル１０７を作成する。一方、ロボット５０６とハンド５０５は、図５に示したように、ビン５０４内部の対象物５０３を順次取り上げて行くようなビンピッキング作業等も実行する。すなわち、実際の作業を実行するロボット５０６を、物体モデル１０７を作成する際に、用いれば良い。
【００５１】
以上説明したように、本発明の第６の実施形態は、実際の作業において利用するロボット５０６とハンド５０５を、物体モデル１０７を作成する際のロボットとハンドとして利用することができるため、回転テーブルや、対象物５０３または視覚センサ５０１を移動させるための機構を別途必要とせず、システムのコストを抑えた物体モデル作成装置を構成することができる。
尚、以上説明した実施の形態では、物体モデル１０７の基本となる座標系を、ハンド５０５に設置された座標系ΣＨとしてきたが、本発明はこれに限定されるものではなく、物体モデル１０７を登録・更新するにあたって統一した座標系で、ハンド５０５と位置関係がキャリブレーションされている座標系であれば、他の座標系を基本としても良い。
【００５２】
また、第２の実施の形態において、モデル作成手段１０３を、重ね合わせ手段２０２とモデルマッチング手段２０３との利用を選択するように構成したが、本発明はこれに限定されるものではなく、例えば、重ね合わせ手段２０２の処理の後に、モデルマッチング手段２０３の処理を行うようにして、モデルマッチング手段２０３で、重ね合わせ手段２０２の処理をして良いかどうかの確認を行うようにしても良い。この場合、重ね合わせ手段２０２の精度が向上し、結果として物体モデル１０７の精度が向上する。
【００５３】
（７）第７の実施の形態（請求項８記載の内容に相当）
第７の実施の形態について、図６から８までを用いて説明する。図６から８までは、それぞれ、第１の実施形態の物体モデル作成装置、第３の実施形態の物体モデル作成装置、第４の実施形態の物体モデル作成装置を用いたロボット制御装置のブロック図である。本実施の形態は、図１、図３、図４を用いて説明した第１、第３、第４の実施の形態における物体モデル作成装置に、対象物検出手段６０１を付加したものである。
【００５４】
すなわち、本実施の形態は、ロボット５０６のハンド５０５に対象物５０３を把持させた状態で、対象物５０３を動かして視覚センサ５０１に見せ、本発明の物体モデル作成装置を用いて物体モデル１０７の作成と対象物５０３把持部の登録をオフラインで行い、ビン５０４の中のバラバラに積まれた対象物５０３をロボット５０６が取り上げるような作業をオンラインで行う際、本発明の物体モデル作成装置で作成した物体モデル１０７を用いてビンピッキング等の作業を行うロボット制御装置を構成するものである。
【００５５】
図６から８までにおいて、特徴抽出手段１０１は、物体モデル１０７作成のオフライン時に、対象物５０３とハンド５０５に関する３次元データ１０８を入力し、エッジや三角メッシュ等の３次元形状を表す特徴をハンド付き特徴１０９として抽出して出力する一方、オンラインでの作業時には、対象物５０３に関する３次元データ１０８を入力し、エッジや三角メッシュ等の３次元形状を表す特徴を対象物特徴６０２として抽出して出力する。オフライン時でもオンライン時でも、３次元形状を表す特徴を抽出して出力する点で、機能的には同等である。
【００５６】
６０１は対象物検出手段で、対象物特徴６０２と、物体モデル１０７を入力し、操作対象となる対象物５０３の位置・姿勢６０３を演算して出力する。まず、操作対象となる対象物５０３に関する物体モデル１０７を読み出し、それが、対象物特徴６０２のどこに存在するかをマッチングさせて検出する。対象物５０３はバラバラに積まれているため、対象物特徴６０２は、多数の対象物５０３に関する特徴を持っている。その中からマッチングの度合いが高いものを抽出してその位置・姿勢を演算する。但し、ここで演算された位置・姿勢は、視覚センサ５０１に設置された座標系ΣＣに関する対象物５０３の位置・姿勢（Ｃ ＯＴ）なので、次に、これをロボット５０６に設置された座標系ΣＲに関する位置・姿勢（Ｒ ＯＴ）に変換する。これは、予めキャリブレーションされて既知となっている、ロボット５０６に設置された座標系ΣＲから見た、視覚センサ５０１に設置された座標系ΣＣの位置・姿勢Ｒ ＣＴを用いて、下式によって求まる。
【００５７】
Ｒ ＯＴ＝Ｒ ＣＴＣ ＯＴ （２）
【００５８】
これを対象物位置・姿勢６０３として、ロボットコントローラ５０７に出力する。
【００５９】
ロボットコントローラ５０７は、対象物位置・姿勢６０３から各軸指令１１１を演算して出力し、ロボット５０６を移動させる。ハンド５０５は、バラバラに積まれた対象物５０３の中から操作対象だけを把持し、取り上げる。
【００６０】
以上説明したように、本発明の第７の実施形態は、本発明の物体モデル作成装置を用いてモデル作成のオフライン時に物体モデル１０７を作成し、実際の作業を行うオンライン時には、対象物検出手段６０１が操作対象となる対象物５０３の位置・姿勢６０３を演算して出力するので、本発明の物体モデル作成装置に、対象物検出手段６０１を加えるだけで、簡便にロボット制御装置を構成することができる。
【００６１】
【発明の効果】
以上述べたように、本発明の請求項１に記載の物体モデル作成装置によれば、ロボットの手先に装着されたハンドが対象物を把持し、視覚センサが対象物とハンドに関する３次元データを取得し、特徴抽出手段が対象物とハンドに関する特徴（ハンド付き特徴）を抽出し、第１のハンド除去手段がハンド付き特徴の内、ハンドに相当する部分を除去してハンド無し特徴を出力し、モデル作成手段がハンド無し特徴を用いて対象物に関する物体モデルを登録し、ロボットが対象物の位置・姿勢を変更し、以上の処理を繰り返して物体モデルを登録するので、回転テーブルや、対象物または視覚センサを移動させるための機構を別途必要とせずに、また、ハンドの部分を除いて対象物に関する物体モデルを作成することができ、システムのコストを抑え、手間を掛けずに、正しい物体モデルを作成することができるという効果がある。
【００６２】
また、把持部登録選択手段が対象物を把持するのに最適な部分（把持部）を把持している時にオンとなり、オンの時にモデル作成手段が把持部を登録するので、対象物の形状に関する物体モデルと同時に把持部を登録することができるという効果がある。
【００６３】
また、本発明の請求項２に記載の物体モデル作成装置によれば、モデル作成手段に、重ね合わせ手段とモデルマッチング手段を備え、ハンドが対象物を持ち替えた場合には、モデル作成選択手段が処理を切り替えるので、ハンドが対象物を隠してしまっても、持ち替えて適切な処理を選択することができ、対象物全体の正しい物体モデルを作成することができるという効果がある。
【００６４】
また、本発明の請求項３に記載の物体モデル作成装置によれば、モデル作成手段を、モデルマッチング手段に置き換えて、ハンド無し特徴と物体モデルとをマッチングさせて対象物に関する物体モデルを更新するので、ハンドが対象物を隠してしまっても、対象物全体の正しい物体モデルを作成することができるという効果がある。また、重ね合わせ手段やモデル作成選択手段が不要となるため、簡素に物体モデル作成装置を構成することができるという効果がある。
【００６５】
また、本発明の請求項４に記載の物体モデル作成装置によれば、第２のハンド除去手段がハンド付き特徴の内、ハンドに相当する部分を除去してハンド無し特徴を出力するので、ハンドの部分を除いて対象物に関する物体モデルを作成することができ、正しい物体モデルを作成することができるという効果がある。
【００６６】
また、本発明の請求項５または６に記載の物体モデル作成装置によれば、視覚センサとして３次元データを取得して出力する機能を満足していれば、その手段を限定しないため、容易に物体モデル作成装置を構成することができるという効果がある。
【００６７】
また、本発明の請求項７に記載の物体モデル作成装置によれば、実際の作業において利用するロボットとハンドを、物体モデルを作成する際のロボットとハンドとして利用することができるため、回転テーブルや、対象物または視覚センサを移動させるための機構を別途必要とせず、システムのコストを抑えた物体モデル作成装置を構成することができるという効果がある。
【００６８】
また、本発明の請求項８に記載の物体モデル作成装置によれば、本発明の物体モデル作成装置を用いてモデル作成のオフライン時に物体モデルを作成し、実際の作業を行うオンライン時には、対象物検出手段が操作対象となる対象物の位置・姿勢を演算して出力するので、本発明の物体モデル作成装置に、対象物検出手段を加えるだけで、簡便にロボット制御装置を構成することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に関わる物体モデル作成装置のブロック図
【図２】本発明の第２の実施形態に関わるモデル作成手段のブロック図
【図３】本発明の第３の実施形態に関わる物体モデル作成装置のブロック図
【図４】本発明の第４の実施形態に関わる物体モデル作成装置のブロック図
【図５】ビンピッキングシステムの説明図
【図６】本発明の第７の実施形態に関わる第１の実施形態の物体モデル作成装置を用いたロボット制御装置のブロック図
【図７】本発明の第７の実施形態に関わる第３の実施形態の物体モデル作成装置を用いたロボット制御装置のブロック図
【図８】本発明の第７の実施形態に関わる第４の実施形態の物体モデル作成装置を用いたロボット制御装置のブロック図
【図９】従来の物体モデル生成方法のフローチャート
【符号の説明】
１０１ 特徴抽出手段、１０２ 第１のハンド除去手段、１０３ モデル作成手段、１０４ 把持部登録選択手段、１０５ 把持部登録信号、１０６ ハンドモデル、１０７ 物体モデル、１０８ ３次元データ、１０９ ハンド付き特徴、１１０ ハンド無し特徴、１１１ 各軸指令、１１２ 各軸位置、１１３ ハンド位置・姿勢、２０１ モデル作成選択手段、２０２ 重ね合わせ手段、２０３モデルマッチング手段、４０１ 第２のハンド除去手段、５０１ 視覚センサ、５０２ データ処理装置、５０３ 対象物、５０４ ビン、５０５ ハンド、５０６ ロボット、５０７ ロボットコントローラ、６０１ 対象物検出手段、６０２ 対象物特徴、６０３ 対象物位置・姿勢
Claims (8)
- 対象物と、前記対象物に関する３次元データを取得して出力する視覚センサとを備え、前記３次元データから前記対象物に関する物体モデルを作成する物体モデル作成装置において、
前記対象物を把持するハンドと、
前記ハンドを装着し、前記ハンドの位置・姿勢を変えるロボットと、
前記ロボットに動作指令を供給し、前記ロボットの現在位置を取得し、前記ハンドの位置・姿勢を演算して出力するロボットコントローラと、
前記視覚センサから取得される前記対象物と前記ハンドに関する３次元データから形状に関するハンド付き特徴を抽出して出力する特徴抽出手段と、
前記ハンドに関して予め作成し、保存したハンドモデルと、
前記ハンド付き特徴と、前記ハンドモデルと、前記ハンドの位置・姿勢とから、前記ハンド付き特徴の内、前記ハンドに相当する部分を除去してハンド無し特徴を出力する第１のハンド除去手段と、
前記対象物に関して作成し、保存する物体モデルと、
前記ハンドが前記対象物を把持するのに最適な部分（把持部）を把持している時にオンとするように構成した把持部登録選択手段と、
前記ハンド無し特徴と、前記物体モデルとから、前記物体モデルに該当するモデルが存在しない場合には前記ハンド無し特徴を前記物体モデルに登録し、前記物体モデルに該当するモデルが存在する場合には前記物体モデルと前記ハンド無し特徴とを重ね合わせて前記物体モデルを更新し、前記把持部登録選択手段がオンの場合には前記把持部を前記物体モデルに登録するモデル作成手段と、
を備えることを特徴とする物体モデル作成装置。 - 前記モデル作成手段は、
前記物体モデルと前記ハンド無し特徴とを重ね合わせて前記物体モデルを更新する重ね合わせ手段と、
前記物体モデルと前記ハンド無し特徴とをマッチングさせて前記物体モデルを更新するモデルマッチング手段と、
前記ハンドによる前記対象物の把持に応じて、前記重ね合わせ手段と前記モデルマッチング手段の利用を選択するモデル作成選択手段と、
から構成することを特徴とする請求項１記載の物体モデル作成装置。 - 前記モデル作成手段は、前記モデルマッチング手段とすることを特徴とする請求項１記載の物体モデル作成装置。
- 前記第１のハンド除去手段は、前記ハンド付き特徴と、前記ハンドモデルと、前記ハンドの位置・姿勢とから、前記ハンド付き特徴の内、前記ハンドに相当する部分をマッチングさせて除去してハンド無し特徴を出力する第２のハンド除去手段とすることを特徴とする請求項１から３までのいずれか１つに記載の物体モデル作成装置。
- 前記視覚センサは、固体撮像素子を利用したカメラを複数台、または、１台の前記カメラの位置を変えて利用し、前記３次元データを演算することを特徴とする請求項１から４までのいずれか１つに記載の物体モデル作成装置。
- 前記視覚センサは、前記対象物に光エネルギーを照射して受光し、受光位置から計測、または、前記光エネルギーの飛行時間を計測して前記３次元データを演算することを特徴とする請求項１から４までのいずれか１つに記載の物体モデル作成装置。
- 前記ロボットと前記ハンドは、実際の作業において、前記対象物を操作するロボットとハンドとすることを特徴とする請求項１から６までのいずれか１つに記載の物体モデル作成装置。
- 前記特徴抽出手段の出力である対象物の特徴と前記物体モデルから操作対象となる前記対象物の位置・姿勢を演算して出力する対象物検出手段と請求項１から７までのいずれか１つに記載の物体モデル作成装置を備えることを特徴とするロボット制御装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003164470A JP2005001022A (ja) | 2003-06-10 | 2003-06-10 | 物体モデル作成装置及びロボット制御装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003164470A JP2005001022A (ja) | 2003-06-10 | 2003-06-10 | 物体モデル作成装置及びロボット制御装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005001022A true JP2005001022A (ja) | 2005-01-06 |
Family
ID=34091225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003164470A Pending JP2005001022A (ja) | 2003-06-10 | 2003-06-10 | 物体モデル作成装置及びロボット制御装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005001022A (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008001793A1 (fr) * | 2006-06-27 | 2008-01-03 | Toyota Jidosha Kabushiki Kaisha | Dispositif de robot et son procédé de commande |
| EP2045772A2 (en) | 2007-03-30 | 2009-04-08 | Fanuc Ltd | Apparatus for picking up objects |
| JPWO2008047872A1 (ja) * | 2006-10-20 | 2010-02-25 | 株式会社日立製作所 | マニピュレータ |
| JP2011245569A (ja) * | 2010-05-25 | 2011-12-08 | Ihi Corp | 切削部を有するワークの把持装置及び把持方法 |
| JP2012101320A (ja) * | 2010-11-10 | 2012-05-31 | Canon Inc | 画像生成装置、画像生成方法、およびプログラム |
| WO2012093473A1 (ja) * | 2011-01-05 | 2012-07-12 | 財団法人機械振興協会 | 工具衝突防止システム及び工具衝突防止方法 |
| JP2014206910A (ja) * | 2013-04-15 | 2014-10-30 | オークマ株式会社 | 数値制御装置 |
| JP2017120515A (ja) * | 2015-12-28 | 2017-07-06 | 株式会社ニイガタマシンテクノ | 制御用データ生成方法および制御用データ生成装置 |
| JP2018144152A (ja) * | 2017-03-03 | 2018-09-20 | 株式会社キーエンス | ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
-
2003
- 2003-06-10 JP JP2003164470A patent/JP2005001022A/ja active Pending
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008001793A1 (fr) * | 2006-06-27 | 2008-01-03 | Toyota Jidosha Kabushiki Kaisha | Dispositif de robot et son procédé de commande |
| JP2008006519A (ja) * | 2006-06-27 | 2008-01-17 | Toyota Motor Corp | ロボット装置及びロボット装置の制御方法 |
| US20090208094A1 (en) * | 2006-06-27 | 2009-08-20 | Hirohito Hattori | Robot apparatus and method of controlling same |
| CN101479082B (zh) * | 2006-06-27 | 2011-07-13 | 丰田自动车株式会社 | 机器人装置和机器人装置的控制方法 |
| JPWO2008047872A1 (ja) * | 2006-10-20 | 2010-02-25 | 株式会社日立製作所 | マニピュレータ |
| EP2045772A2 (en) | 2007-03-30 | 2009-04-08 | Fanuc Ltd | Apparatus for picking up objects |
| US8098928B2 (en) | 2007-03-30 | 2012-01-17 | Fanuc Ltd | Apparatus for picking up objects |
| JP2011245569A (ja) * | 2010-05-25 | 2011-12-08 | Ihi Corp | 切削部を有するワークの把持装置及び把持方法 |
| JP2012101320A (ja) * | 2010-11-10 | 2012-05-31 | Canon Inc | 画像生成装置、画像生成方法、およびプログラム |
| US9118823B2 (en) | 2010-11-10 | 2015-08-25 | Canon Kabushiki Kaisha | Image generation apparatus, image generation method and storage medium for generating a target image based on a difference between a grip-state image and a non-grip-state image |
| WO2012093473A1 (ja) * | 2011-01-05 | 2012-07-12 | 財団法人機械振興協会 | 工具衝突防止システム及び工具衝突防止方法 |
| JP5161373B2 (ja) * | 2011-01-05 | 2013-03-13 | 一般財団法人機械振興協会 | 工具衝突防止システム及び工具衝突防止方法 |
| JP2014206910A (ja) * | 2013-04-15 | 2014-10-30 | オークマ株式会社 | 数値制御装置 |
| US9696714B2 (en) | 2013-04-15 | 2017-07-04 | Okuma Corporation | Numerical controller for controlling a tool and distinguished workpiece and jig |
| JP2017120515A (ja) * | 2015-12-28 | 2017-07-06 | 株式会社ニイガタマシンテクノ | 制御用データ生成方法および制御用データ生成装置 |
| JP2018144152A (ja) * | 2017-03-03 | 2018-09-20 | 株式会社キーエンス | ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4506685B2 (ja) | 移動型ロボット | |
| JP5810562B2 (ja) | 画像処理システムに向けられたユーザ支援装置、そのプログラムおよび画像処理装置 | |
| JP5852364B2 (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
| JP5200772B2 (ja) | ロボット装置の制御方法及びロボット装置 | |
| JP4961860B2 (ja) | ロボット装置及びロボット装置の制御方法 | |
| JP2011110621A (ja) | ロボットの教示データを作成する方法およびロボット教示システム | |
| JP5471355B2 (ja) | ３次元視覚センサ | |
| JP6892286B2 (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
| US20110142353A1 (en) | Device method and program for human hand posture estimation | |
| JP2010112859A (ja) | ロボットシステム、ロボット制御装置およびロボット制御方法 | |
| JP2008015683A (ja) | ロボットプログラムを作成するための装置、プログラム、記録媒体及び方法 | |
| JP2015176217A (ja) | 画像処理装置、システム、画像処理方法、および画像処理プログラム | |
| JP2009157430A (ja) | 座標補正方法、座標補正プログラム、及び自律移動ロボット | |
| JP2005001022A (ja) | 物体モデル作成装置及びロボット制御装置 | |
| JP6902369B2 (ja) | 提示装置、提示方法およびプログラム、ならびに作業システム | |
| KR20100062320A (ko) | 영상 데이터를 이용한 로봇 움직임 데이터 생성 방법 및 생성 장치 | |
| JP4849178B2 (ja) | 移動型ロボット | |
| JP6973444B2 (ja) | 制御システム、情報処理装置および制御方法 | |
| JP2003256850A (ja) | 動き認識装置および画像処理装置並びにプログラム | |
| CN112805127A (zh) | 用于创建机器人控制程序的方法和设备 | |
| CN110942083A (zh) | 拍摄装置以及拍摄系统 | |
| JPH07146121A (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
| CN113302027B (zh) | 作业坐标生成装置 | |
| JP6603993B2 (ja) | 画像処理装置、画像処理方法、画像処理システム、及びプログラム | |
| JP2012022600A (ja) | マスク画像作成システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050314 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070618 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071011 |