JP2015226954A

JP2015226954A - ロボット、ロボットの制御方法、及びロボットの制御装置

Info

Publication number: JP2015226954A
Application number: JP2014113819A
Authority: JP
Inventors: 丸山　健一; Kenichi Maruyama; 健一丸山
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2014-06-02
Filing date: 2014-06-02
Publication date: 2015-12-17

Abstract

【課題】誤差の少ない組み付けを行うことができるロボット、ロボットの制御方法、及びロボットの制御装置を提供する。
【解決手段】ロボットは、第１対象物ＯＢＪを把持するハンドＨＮＤ１と、ロボット２に搭載され、ハンドＨＮＤ１に把持された第１対象物ＯＢＪを撮像するカメラ１０と、カメラ１０で撮像した画像を画像処理するとともに、第１対象物ＯＢＪの位置姿勢を算出する制御部１２と、を含み、ハンドＨＮＤ１に把持された第１対象物ＯＢＪは、第１対象物ＯＢＪの位置姿勢を変更されることによりカメラ１０で撮像される。
【選択図】図１

Description

本発明は、ロボット、ロボットの制御方法、及びロボットの制御装置に関するものである。

産業用ロボットによって作業が行われる際に、産業用ロボットが扱う対象となる物体の位置は、ロボットの制御装置側で把握されている必要がある。物体の位置を把握するために、例えば、ステレオカメラにより物体を撮像することで、物体の位置及び姿勢を表す三次元情報を取得する方法の研究・開発が行われている。

これに関連して、データベースに登録された把持判定基準と現在の把持状態との比較を行う方法が知られている（例えば、特許文献１参照）。

特開２０１１−２２４６９５号公報

しかしながら、特許文献１ではロボットが組立て作業を行う際、物体を把持するために検出手段で物体位置を確認して、ハンドを可動し把持するとなっているが、具体的な検出方法が記載されていない。そのため物体とハンドとの位置に微妙にズレが生じて、そのままでは組み付けることができないおそれがある。
さらに、撮像部が固定されていることから、ハンドで対象物を無理な姿勢で移動させて撮像しようとした場合に、対象物の位置、姿勢を正確に取得することができないという課題があった。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。

［適用例１］本適用例に係るロボットは、ロボットであって、第１対象物を把持するハンドと、前記ロボットに搭載され、前記ハンドに把持された前記第１対象物を撮像するカメラと、前記カメラで撮像した画像を画像処理するとともに、前記第１対象物の位置姿勢を算出する制御部と、を含み、前記ハンドに把持された前記第１対象物は、前記第１対象物の位置姿勢を変更されることにより前記カメラで撮像されることを特徴とする。

本適用例によれば、把持した第１対象物を一旦カメラの撮像領域に、第１対象物の位置姿勢を変えて、撮像する。これにより、撮影する際、第１対象物のロボットのハンドで隠れる量をできるだけ少ない状態で撮像することができる。そして、第１対象物のカメラ座標をワールド座標に変換することで、第１対象物とハンドとの位置関係を把握することができる。その結果、ロボットの第１対象物把持状態において、第１対象物とハンドとの位置ズレを補正して、誤差の少ない組み付けを行うことができるロボットを提供する。

カメラ座標は、カメラが撮像した画像における座標である。ワールド座標は、機構に唯一存在する座標であり、一般的には装置の取付け基準位置を原点とする直交座標系である。このため、各座標系で行われる座標変換は、最低限このワールド座標に対する変換・逆変換を行うものである必要がある。

［適用例２］上記適用例に記載のロボットにおいて、前記ハンドは、複数台設けられており、前記カメラは、前記第１対象物を把持した前記ハンド以外に設置されていることを特徴とする。

本適用例によれば、第１対象物を把持したときに、第１対象物がカメラとの接近した位置関係により、第１対象物の一部形状しか撮像ができないことを回避できる。

［適用例３］上記適用例に記載のロボットにおいて、前記第１対象物を把持した前記ハンドの爪部の先端方向は、前記カメラの撮像方向に対向していることを特徴とする。

本適用例によれば、カメラの撮像方向に第１対象物の裏面（ハンドや爪部と重ならない面）を見せることができる。これにより、カメラと第１対象物との間には遮蔽物がなく、ハンド自体で第１対象物を隠すことが少なくなる。その結果、第１対象物の裏側の輪郭形状を撮像することができる。

［適用例４］上記適用例に記載のロボットにおいて、前記カメラは、複数台設けられていることを特徴とする。

本適用例によれば、複数のカメラを有することで、カメラによる画像の解像度を上げることができ、精度の良い画像を作成することができる。これにより、位置精度の高い３次元位置姿勢を得ることができる。

［適用例５］上記適用例に記載のロボットにおいて、前記複数台のカメラは、２台のカメラからなり、前記ハンドに把持された前記第１対象物は、前記２台のカメラの光軸の交点から前記２台のカメラの位置を結ぶ直線上におろした垂線上にあることを特徴とする。

本適用例によれば、カメラと第１対象物との間には遮蔽物がなく、ハンド自体で第１対象物を隠すことが少なくなる。

ここで、「垂線上」とは、完全に垂線上である構成に加えて、撮像領域の範囲で垂線に略平行である構成を含むものと定義する。

［適用例６］上記適用例に記載のロボットにおいて、前記複数台のカメラは、２台のカメラからなり、前記ハンドに把持された前記第１対象物の重心は、前記２台のカメラの光軸の交点から前記２台のカメラの位置を結ぶ直線上におろした垂線上にあることを特徴とする。

［適用例７］上記適用例に記載のロボットにおいて、前記複数台のカメラは、２台のカメラからなり、前記第１対象物を把持した前記ハンドの爪部の開閉方向は、前記２台のカメラの光軸の交点と、前記２台のカメラの位置とを含む平面の法線方向であることを特徴とする。

ここで、「法線方向」とは、完全に法線の方向である構成に加えて、１０度以内の範囲で傾いている構成を含むものと定義する。

［適用例８］本適用例に係るロボットの制御方法は、ロボットであって、第１対象物を把持するハンドと、前記ロボットに搭載され、前記ハンドに把持された前記第１対象物を撮像するカメラと、前記カメラで撮像した画像を画像処理するとともに、前記第１対象物の位置姿勢を算出する制御部と、を含むロボットの制御方法であって、前記第１対象物を第２対象物に組み付ける位置姿勢となるように、前記ハンドの目標位置を登録する登録工程と、前記ハンドで前記第１対象物を把持する把持工程と、前記第１対象物を把持した状態で、前記第１対象物の輪郭形状を前記カメラで撮像可能な位置に移動させる移動工程と、前記第１対象物を前記第２対象物に組み付ける位置姿勢となるように、前記ハンドの前記目標位置を補正する補正工程と、及び、前記第１対象物を前記第２対象物に組み付ける組み付け工程と、を含むことを特徴とする。

本適用例によれば、把持した第１対象物を一旦カメラの撮像領域に、第１対象物の位置姿勢を変えて、撮像する。これにより、撮影する際、第１対象物のロボットのハンドで隠れる量をできるだけ少ない状態で撮像することができる。そして、第１対象物のカメラ座標をワールド座標に変換することで、第１対象物とハンドとの位置関係を把握することができる。その結果、ロボットの第１対象物把持状態において、第１対象物とハンドとの位置ズレを補正して、誤差の少ない組み付けを行うことができるロボットの制御方法を提供する。

［適用例９］本適用例に係るロボットの制御装置は、ロボットであって、第１対象物を把持するハンドと、前記ロボットに搭載され、前記ハンドに把持された前記第１対象物を撮像するカメラと、を含むロボットの制御装置であって、前記第１対象物を第２対象物に組み付ける位置姿勢となるように、前記ハンドの目標位置を登録する登録手段と、前記ハンドで前記第１対象物を把持する把持手段と、前記第１対象物を把持した状態で、前記第１対象物の輪郭形状を前記カメラで撮像可能な位置に移動させる移動手段と、前記第１対象物を前記第２対象物に組み付ける位置姿勢となるように、前記ハンドの前記目標位置を補正する補正手段と、前記第１対象物を前記第２対象物に組み付ける組み付け手段と、を含むことを特徴とする。

本適用例によれば、把持した第１対象物を一旦カメラの撮像領域に、第１対象物の位置姿勢を変えて、撮像する。これにより、撮影する際、第１対象物のロボットのハンドで隠れる量をできるだけ少ない状態で撮像することができる。そして、第１対象物のカメラ座標をワールド座標に変換することで、第１対象物とハンドとの位置関係を把握することができる。その結果、ロボットの第１対象物把持状態において、第１対象物とハンドとの位置ズレを補正して、誤差の少ない組み付けを行うことができるロボットの制御装置を提供する。

本実施形態に係るロボットの利用状況の一例を示す図。本実施形態に係る制御装置のハードウェア構成の一例を示す図。本実施形態に係る制御装置の機能構成の一例を示す図。本実施形態に係る把持部による物体の把持方法の一例を説明する図。本実施形態に係る把持部の移動位置を示す図。本実施形態に係るロボットのロボット制御部により実行される組み付け処理の流れの一例を示すフローチャート。本実施形態に係る把持部の位置姿勢を示す図。（Ａ）は把持部の目標位置を示し、（Ｂ）は把持部の位置姿勢の補正を示す。

以下、本発明を具体化した実施形態について図面に従って説明する。なお、使用する図面は、説明する部分が認識可能な状態となるように、適宜拡大又は縮小して表示している。
図１は、本実施形態に係るロボットの利用状況の一例を示す図である。
本実施形態に係るロボット２は、撮像部（カメラ）１０と、制御装置（制御部）１２と、を備えている。撮像部１０は、ロボット２に搭載されている。撮像部１０は、把持された物体ＯＢＪを撮像する（図５参照）。撮像部１０は、把持部ＨＮＤ１に把持された物体ＯＢＪの位置姿勢が変更されることにより撮像する。

撮像部１０は、複数台設けられていてもよい。これによれば、複数の撮像部１０を有することで、撮像部１０による画像の解像度を上げることができ、精度の良い画像を作成することができる。これにより、位置精度の高い３次元位置姿勢を得ることができる。

撮像部１０は、例えば、集光された光を電気信号に変換する撮像素子であるＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を備えたカメラである。また、撮像部１０は、例えば、２台のカメラによって構成されるステレオカメラであるが、３台以上のカメラによって構成されているものとしてもよいし、１台のカメラにより二次元画像を撮像するものとしてもよい。またカメラは、可動型であり、上下、左右に可動する。

撮像部１０は、例えばケーブルによって制御装置１２と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ（Universal Serial Bus）等の規格によって行われる。なお、撮像部１０と制御装置１２とは、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によって接続されてもよい。物体ＯＢＪは、設定面ＭＳ上に予め設置されている。物体ＯＢＪは、特許請求の範囲における「第１対象物」の一例である。設置面ＭＳは、特許請求の範囲における「第２対象物」の一例である。「設置面ＭＳ」とは、例えば、テーブル上の面等である。撮像部１０は、その物体ＯＢＪを撮像可能な位置に設置される。撮像部１０は、物体ＯＢＪを撮像し、撮像した物体ＯＢＪの撮像画像を、通信により制御装置１２へ出力する。

ロボット２は、例えば、把持部ＨＮＤ１と、把持部ＨＮＤ２と、力センサー１４と、アーム部ＡＲＭ１と、アーム部ＡＲＭ２と、図示しない複数のアクチュエーターとを、図１に示したように、ロボットの基軸の左右の腕に備えた双腕ロボットである。ロボットの基軸は、回転軸を有し回転する。ロボット２の各腕は、６軸垂直多関節型となっており、一方の腕が支持台とアーム部ＡＲＭ１と把持部ＨＮＤ１とがアクチュエーターによる連携した動作よって６軸の自由度の動作を行うことができ、他方の腕が支持台とアーム部ＡＲＭ２と把持部ＨＮＤ２とがアクチュエーターによる連携した動作よって６軸の自由度の動作を行うことができる。なお、ロボット２の各腕は、５自由度（５軸）以下で動作するものであってもよいし、７自由度（７軸）以上で動作するものであってもよい。以下では、把持部ＨＮＤ１及びアーム部ＡＲＭ１を備えた腕によって行われるロボット２の動作について説明するが、把持部ＨＮＤ２及びアーム部ＡＲＭ２を備えた腕によって同様の動作が行われてもよい。把持部ＨＮＤ１は、物体ＯＢＪを把持する。なお、「把持部ＨＮＤ１」は、特許請求の範囲における「ハンド」の一例である。ロボット２は、例えばケーブルによって制御装置１２と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ等の規格によって行われる。なお、ロボット２と制御装置１２とは、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によって接続されてもよい。また、図１に示したロボット２は、双腕のロボットであるが、単腕のロボットとして実施されてもよい。

ロボット２の把持部ＨＮＤ１は、物体を把持又は挟持可能な爪部を備える。力センサー１４は、ロボット２の把持部ＨＮＤ１とアーム部との間に備えられており、把持部ＨＮＤ１に作用する力やモーメントを検出する。力センサー１４は、検出した力やモーメントを示す情報を、通信により制御装置１２へ出力する。力センサー１４により検出された力やモーメントを示す情報は、例えば、ロボット制御部１６によるロボット２のインピーダンス制御等に用いられる。

ロボット２は、物体ＯＢＪの三次元位置及び姿勢に基づいた制御信号を制御装置１２から取得し、取得した制御信号に基づいて、物体ＯＢＪに対して所定の作業を行う。所定の作業とは、例えば、ロボット２の把持部ＨＮＤ１により物体ＯＢＪを把持し、把持された物体ＯＢＪを現在設置されている位置から、他の位置へと移動させることや、移動させた後に別の装置に組み付けを行うこと等の作業である。

撮像部１０は、物体ＯＢＪを把持した把持部ＨＮＤ１以外に設置されていてもよい。これによれば、物体ＯＢＪを把持したときに、物体ＯＢＪが撮像部１０との接近した位置関係により、物体ＯＢＪの一部形状しか撮像ができないことを回避できる。

制御装置１２は、撮像部１０で撮像した画像を画像処理する。制御装置１２は、物体ＯＢＪの位置姿勢を算出する。制御装置１２は、ロボット２が所定の作業を行うように制御する。より具体的には、制御装置１２は、撮像部１０により撮像された物体ＯＢＪの撮像画像に基づいて、物体ＯＢＪの三次元位置及び姿勢を導出する。そして、制御装置１２は、導出された物体ＯＢＪの三次元位置及び姿勢に基づいて、ロボット２に把持部ＨＮＤ１で物体ＯＢＪを把持させる。その後、制御装置１２は、把持させた物体ＯＢＪに対して所定の作業を行うように、ロボット２を制御する。

次に、図２を参照することで、制御装置１２のハードウェア構成について説明する。
図２は、本実施形態に係る制御装置１２のハードウェア構成の一例を示す図である。制御装置１２は、例えば、ＣＰＵ（Central Processing Unit）２０と、記憶部２２と、入力受付部２４と、通信部２６とを備え、通信部２６を介して撮像部１０等と通信を行う。これらの構成要素は、バスＢｕｓを介して相互に通信可能に接続されている。ＣＰＵ２０は、記憶部２２に格納された各種プログラムを実行する。記憶部２２は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、ＲＯＭ（Read-Only Memory）、ＲＡＭ（Random Access Memory）などを含み、制御装置１２が処理する各種情報や画像、プログラムを格納する。なお、記憶部２２は、制御装置１２に内蔵されるものに代えて、ＵＳＢ等のデジタル入出力ポート等によって接続された外付け型の記憶装置でもよい。

入力受付部２４は、例えば、キーボードやマウス、タッチパッド、その他の入力装置である。なお、入力受付部２４は、表示部として機能してもよく、さらに、タッチパネルとして構成されてもよい。通信部２６は、例えば、ＵＳＢ等のデジタル入出力ポートやイーサネット（登録商標）ポート等を含んで構成される。

次に、図３を参照することで、制御装置１２の機能構成について説明する。
図３は、本実施形態に係る制御装置１２の機能構成の一例を示す図である。制御装置１２は、例えば、画像取得部３０と、三次元位置姿勢導出部３２と、ロボット制御部１６とを備える。これらの機能部のうち一部又は全部は、例えば、ＣＰＵ２０が、記憶部２２に記憶された各種プログラムを実行することで実現される。また、これらの機能部のうち一部又は全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア機能部であってもよい。

画像取得部３０は、撮像部１０により撮像された撮像画像を取得し、取得した撮像画像を三次元位置姿勢導出部３２に出力する。なお、画像取得部３０は、取得した撮像画像を記憶部２２に記憶し、三次元位置姿勢導出部３２が記憶部２２から撮像画像を読み込むものとしてもよい。三次元位置姿勢導出部３２は、画像取得部３０から取得した撮像画像に基づいて、物体ＯＢＪの三次元位置及び姿勢を導出する。そして、三次元位置姿勢導出部３２は、導出した物体ＯＢＪの三次元位置及び姿勢をロボット制御部１６へ出力する。

ロボット制御部１６は、三次元位置姿勢導出部３２から取得した物体ＯＢＪの三次元位置及び姿勢に基づいて、ロボット２が把持部ＨＮＤ１によって物体ＯＢＪを把持するように、ロボット２を制御する。

ロボット制御部１６は、登録手段と、把持手段と、移動手段と、補正手段と、組み付け手段と、を備えている。
登録手段は、物体ＯＢＪを設置面ＭＳに組み付ける位置姿勢となるように、把持部ＨＮＤ１の目標位置を登録する（図７（Ａ）参照）。
把持手段は、把持部ＨＮＤ１で物体ＯＢＪを把持する。
移動手段は、物体ＯＢＪを把持した状態で、物体ＯＢＪの輪郭形状を撮像部１０で撮像可能な位置に移動させる（図５参照）。
補正手段は、物体ＯＢＪを設置面ＭＳに組み付ける位置姿勢となるように、把持部ＨＮＤ１の目標位置を補正する（図７（Ｂ）参照）。
組み付け手段は、物体ＯＢＪを設置面ＭＳに組み付ける（図７（Ｂ）参照）。

ここで、図４を参照することにより、把持部ＨＮＤ１による物体ＯＢＪの把持方法について説明する。
図４は、本実施形態に係る把持部ＨＮＤ１による物体ＯＢＪの把持方法の一例を説明する図である。図４の上段図は、把持部ＨＮＤ１と設置面ＭＳ上に設置された物体ＯＢＪとの間の位置関係を、設置面ＭＳに対して真横から見た断面図である。また、図４の下段図は、把持部ＨＮＤ１と設置面ＭＳ上に設置された物体ＯＢＪとの間の位置関係を、設置面ＭＳに対して真上（例えば、物体ＯＢＪが設置された面側）から見た図である。なお、設置面ＭＳは、物体ＯＢＪが設置された面であれば、テーブル面のように鉛直方向に対して直交する面である必要はなく、例えば、壁面等でもよい。

まず、ロボット制御部１６は、物体ＯＢＪの三次元位置及び姿勢に基づいて、ロボット２の把持部ＨＮＤ１を、設置面ＭＳ上において図４の下段図で示した位置まで移動させる。ここで、図４の上下段図の座標軸は、設置面ＭＳと物体ＯＢＪとの間の位置関係を示すための座標軸であって、ロボット座標系や撮像画像上の座標軸ではない。物体ＯＢＪが設置面ＭＳ上に設置されている場合、図４の下段図で示した把持部ＨＮＤ１の位置は、物体ＯＢＪの真上である。そして、ロボット制御部１６は、把持部ＨＮＤ１を、図４の上段図の矢印が示す方向（ｚ方向）に向けて移動させることで、物体ＯＢＪを把持部ＨＮＤ１によって把持できる場所まで移動させる。

ロボット制御部１６は、把持部ＨＮＤ１が物体ＯＢＪを把持した後、所定の作業を行うようにロボット２を制御する。

図５は、本実施形態に係る把持部ＨＮＤ１の移動位置を示す図である。
物体ＯＢＪを把持した把持部ＨＮＤ１の爪部の先端方向は、撮像部１０の撮像方向に対向していてもよい。これによれば、撮像部１０の撮像方向に物体ＯＢＪの裏面（把持部ＨＮＤ１や把持部ＨＮＤ１の爪部と重ならない面）を見せることができる。これにより、撮像部１０と物体ＯＢＪとの間には遮蔽物がなく、把持部ＨＮＤ１自体で物体ＯＢＪを隠すことが少なくなる。その結果、物体ＯＢＪの裏側の輪郭形状を撮像することができる。また、物体ＯＢＪの輪郭形状を撮像するために、カメラも可動するし、又は基軸も回転することができる。

複数台の撮像部１０は、２台の撮像部１０から構成されてもよい。把持部ＨＮＤ１に把持された物体ＯＢＪは、２台の撮像部１０の光軸４０の交点４２から２台の撮像部１０の位置を結ぶ直線４８上におろした垂線４４上にあってもよい。

また、把持部ＨＮＤ１に把持された物体ＯＢＪの重心４６は、２台の撮像部１０の光軸４０の交点４２から２台の撮像部１０の位置を結ぶ直線４８上におろした垂線４４上にあってもよい。

さらに、物体ＯＢＪを把持した把持部ＨＮＤ１の爪部の開閉方向は、２台の撮像部１０の光軸４０の交点４２と、２台の撮像部１０の位置とを含む平面５０の法線方向であってもよい。これらによれば、撮像部１０と物体ＯＢＪとの間には遮蔽物がなく、把持部ＨＮＤ１自体で物体ＯＢＪを隠すことが少なくなる。

以下、図６を参照することにより、ロボット制御部１６が、ロボット２に物体ＯＢＪを設置面ＭＳに組み付ける際に行う処理について説明する。
図６は、本実施形態に係るロボット２のロボット制御部１６により実行される組み付け処理の流れの一例を示すフローチャートである。図７は、本実施形態に係る把持部ＨＮＤ１の位置姿勢を示す図である。図７（Ａ）は把持部ＨＮＤ１の目標位置を示し、図７（Ｂ）は把持部ＨＮＤ１の位置姿勢の補正を示す。以下では、ロボット２の把持部ＨＮＤ１は、ロボット制御部１６により物体ＯＢＪの真上まで移動しているものとして説明する。

まず、図６に示すように、ステップＳ１０では、登録工程として物体ＯＢＪを設置面ＭＳに組み付ける位置姿勢となるように、図７（Ａ）に示すように、把持部ＨＮＤ１の目標位置を記憶部２２に登録する。

次に、ステップＳ２０では、物体ＯＢＪと設置面ＭＳとを検出するためのデータを記憶部２２に登録する。又は、設置面ＭＳに対する物体ＯＢＪの３次元位置姿勢を記憶部２２に登録する。

次に、ステップＳ３０では、設置面ＭＳ、物体ＯＢＪの３次元位置姿勢を記憶部２２より取得する。

次に、ステップＳ４０では、把持工程として把持部ＨＮＤ１で物体ＯＢＪを把持する。そして、把持している物体ＯＢＪを撮像部１０で観測可能となる位置姿勢を算出する。

次に、ステップＳ５０では、移動工程として物体ＯＢＪを把持した状態で、物体ＯＢＪを撮像部１０で撮像可能な位置に移動させる。そして、把持している物体ＯＢＪを、撮像部１０の前に移動させ、把持している物体ＯＢＪの３次元位置姿勢を検出する。

次に、ステップＳ６０では、物体ＯＢＪの３次元位置姿勢を撮像部１０より取得する。

次に、ステップＳ７０では、物体ＯＢＪを把持している把持部ＨＮＤ１の位置姿勢を記憶部２２より取得する。

次に、ステップＳ８０では、物体ＯＢＪと把持部ＨＮＤ１の３次元位置姿勢の関係（設定値からのズレ）を取得する。

次に、ステップＳ９０では、設置面ＭＳの３次元位置姿勢を記憶部２２より取得する。

次に、ステップＳ１００では、補正工程として物体ＯＢＪを設置面ＭＳに組み付ける位置姿勢となるように、把持部ＨＮＤ１の目標位置を補正する。設定値からのズレを補正した把持部ＨＮＤ１の目標位置姿勢を算出する。把持している物体ＯＢＪが目標位置姿勢となるように、把持部ＨＮＤ１の位置姿勢を変化させる。

次に、ステップＳ１１０では、組み付け工程として物体ＯＢＪを設置面ＭＳに組み付ける。物体ＯＢＪの把持部ＨＮＤ１に対する傾き（ズレ）を把持部ＨＮＤ１の位置姿勢の補正を行うことで、図７（Ｂ）に示すように、組み付ける際、物体ＯＢＪの設置面ＭＳに対する傾きを最小限にすることができる。そして、終了する。

以上説明したように、本実施形態に係るロボット２は、把持した物体ＯＢＪを一旦撮像部１０の撮像領域に、物体ＯＢＪの位置姿勢を変えて、撮像する。これにより、撮影する際、物体ＯＢＪのロボット２の把持部ＨＮＤ１で隠れる量をできるだけ少ない状態で撮像することができる。そして、物体ＯＢＪのカメラ座標をワールド座標に変換することで、物体ＯＢＪと把持部ＨＮＤ１との位置関係を把握することができる。その結果、ロボット２の物体ＯＢＪ把持状態において、物体ＯＢＪと把持部ＨＮＤ１との位置ズレを補正して、誤差の少ない組み付けを行うことができる。

把持部ＨＮＤ１と撮像部１０との位置姿勢の関係や撮像部１０の視線方向が既知である場合に、ロボットが把持している物体ＯＢＪの状態を確認するためには、撮像部１０の視線に入るように、物体ＯＢＪを移動させればよい。その際、撮像部１０と物体ＯＢＪとの間にはできるだけ遮蔽物が少なく、把持部ＨＮＤ１自体で物体ＯＢＪを隠すことが少ない方が望ましい。

また、検出した物体ＯＢＪの位置姿勢と把持部ＨＮＤ１の位置姿勢との関係を比較することで、その関係がデータベースに登録されている期待されている関係からずれているかどうかを検出することができる。
さらに、撮像部も頭、腰の回転で移動可能にしたので、無理な姿勢を取ることなく、対象物を撮像できるようになり、対象物の位置、姿勢を正確に取得することができるようになる。

なお、実施形態は上記に限定されず、以下のような形態で実施することもできる。
上記した実施形態において、把持部ＨＮＤ１の爪部の開閉方向と、撮像部１０の光軸４０の交点４２と、２つの撮像部１０位置とを含む平面５０の法線が一致することに限定されず、例えば、把持状態によっては、両者のなす角が略９０度となるようにしてもよい。

また、検出される物体ＯＢＪの形状は既知であるので、物体ＯＢＪの一部の画像から物体ＯＢＪと把持部ＨＮＤ１との３次元位置姿勢の関係（設定値からのズレ）を取得してもよい。

さらに、撮像部１０の光軸４０の交点４２の算出は、光軸４０同士が交わることは稀であることから、中点法などで算出してもよい。

以上、ロボット、ロボットの制御方法、及びロボットの制御装置について、図示の実施形態に基づいて説明したが、本発明は、これに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に他の任意の構成物が付加されていてもよい。

２…ロボット１０…撮像部（カメラ）１２…制御装置（制御部）１４…力センサー１６…ロボット制御部２０…ＣＰＵ２２…記憶部２４…入力受付部２６…通信部３０…画像取得部３２…三次元位置姿勢導出部４０…光軸４２…交点４４…垂線４６…重心４８…直線５０…平面ＡＲＭ１，ＡＲＭ２…アーム部Ｂｕｓ…バスＨＮＤ１，ＨＮＤ２…把持部ＭＳ…設置面ＯＢＪ…物体。

Claims

ロボットであって、
第１対象物を把持するハンドと、
前記ロボットに搭載され、前記ハンドに把持された前記第１対象物を撮像するカメラと、
前記カメラで撮像した画像を画像処理するとともに、前記第１対象物の位置姿勢を算出する制御部と、
を含み、
前記ハンドに把持された前記第１対象物は、前記第１対象物の位置姿勢を変更されることにより前記カメラで撮像されることを特徴とするロボット。
請求項１に記載のロボットにおいて、
前記ハンドは、複数台設けられており、
前記カメラは、前記第１対象物を把持した前記ハンド以外に設置されていることを特徴とするロボット。
請求項１又は２に記載のロボットにおいて、
前記第１対象物を把持した前記ハンドの爪部の先端方向は、前記カメラの撮像方向に対向していることを特徴とするロボット。
請求項１〜３のいずれか一項に記載のロボットにおいて、
前記カメラは、複数台設けられていることを特徴とするロボット。
請求項３に記載のロボットにおいて、
前記複数台のカメラは、２台のカメラからなり、
前記ハンドに把持された前記第１対象物は、前記２台のカメラの光軸の交点から前記２台のカメラの位置を結ぶ直線上におろした垂線上にあることを特徴とするロボット。
請求項３に記載のロボットにおいて、
前記複数台のカメラは、２台のカメラからなり、
前記ハンドに把持された前記第１対象物の重心は、前記２台のカメラの光軸の交点から前記２台のカメラの位置を結ぶ直線上におろした垂線上にあることを特徴とするロボット。
請求項３に記載のロボットにおいて、
前記複数台のカメラは、２台のカメラからなり、
前記第１対象物を把持した前記ハンドの爪部の開閉方向は、前記２台のカメラの光軸の交点と、前記２台のカメラの位置とを含む平面の法線方向であることを特徴とするロボット。
ロボットであって、第１対象物を把持するハンドと、前記ロボットに搭載され、前記ハンドに把持された前記第１対象物を撮像するカメラと、前記カメラで撮像した画像を画像処理するとともに、前記第１対象物の位置姿勢を算出する制御部と、を含むロボットの制御方法であって、
前記第１対象物を第２対象物に組み付ける位置姿勢となるように、前記ハンドの目標位置を登録する登録工程と、
前記ハンドで前記第１対象物を把持する把持工程と、
前記第１対象物を把持した状態で、前記第１対象物の輪郭形状を前記カメラで撮像可能な位置に移動させる移動工程と、
前記第１対象物を前記第２対象物に組み付ける位置姿勢となるように、前記ハンドの前記目標位置を補正する補正工程と、及び、
前記第１対象物を前記第２対象物に組み付ける組み付け工程と、
を含むことを特徴とするロボットの制御方法。
ロボットであって、第１対象物を把持するハンドと、前記ロボットに搭載され、前記ハンドに把持された前記第１対象物を撮像するカメラと、を含むロボットの制御装置であって、
前記第１対象物を第２対象物に組み付ける位置姿勢となるように、前記ハンドの目標位置を登録する登録手段と、
前記ハンドで前記第１対象物を把持する把持手段と、
前記第１対象物を把持した状態で、前記第１対象物の輪郭形状を前記カメラで撮像可能な位置に移動させる移動手段と、
前記第１対象物を前記第２対象物に組み付ける位置姿勢となるように、前記ハンドの前記目標位置を補正する補正手段と、
前記第１対象物を前記第２対象物に組み付ける組み付け手段と、
を含むことを特徴とするロボットの制御装置。