JP2008168372A - ロボット装置及び形状認識方法 - Google Patents

Abstract

【課題】腕部を有するロボットにおいて、周囲環境に依存しない方法で把持対象物の三次元形状の認識を行うロボット装置を提供すること。
【解決手段】本発明の一態様に係るロボット装置１０は、頭部１１と、頭部１１に連結された腕部１３と、腕部１３に設けられ、ワークＷの上面を撮像する手先カメラ１５と、頭部１１に設けられた頭部カメラ１２と、手先カメラ１５によって撮像したワークＷの画像に基づいて、手先カメラ１５の移動経路を計画する算出部とを有し、移動経路に沿って移動する手先カメラ１５によって撮像された画像と、頭部カメラ１２によって撮像された画像とに基づいてワークＷの三次元形状を認識するものである。
【選択図】 図１

Description

本発明は、ロボット装置及び物体形状認識方法に関し、特に、腕部を有するロボット装置による物体の三次元形状の認識方法に関する。

ロボットに物体の把持を行わせるためには、把持動作に先立って把持対象物の三次元形状をロボットに認識させることが必要である。従来から、物体を把持可能な腕部を有する産業用ロボット等において、手先にカメラを搭載して物体把持のための腕部の位置決め制御が行われている（例えば、特許文献１参照）。このように手先カメラにより位置決めをした腕部によって物体を把持する間は、把持対象物に対して静止した状態にあるロボットの胴体部や頭部などに固定されたカメラによって把持対象物を撮像することにより、把持対象物の三次元形状の認識することが行われている。しかしながら、手先に搭載したカメラを利用して、把持対象物の三次元形状の復元を行っているものはない。

また、このような頭部カメラ等を用いた物体認識方法では、把持対象物の置かれている環境によっては、把持対象物の撮像を十分に行うことができないため、把持対象物の全体的な形状を認識できない場合がある。このように把持対象物の形状認識が不十分であると、把持対象物の種類の判断の誤りや、適切な把持位置を選択できないことにより、物体把持に失敗する場合があった。

そこで、特許文献２には、把持対象物の三次元位置・姿勢を検出するための教示モデルの生成装置が開示されている。特許文献１では、ロボットの先端に取り付けたカメラにより把持対象物を複数の位置で撮像し、各画像データから教示モデルを生成している。この教示モデルと把持対象物のパターンマッチングを行い、把持対象物の位置・姿勢を検出してロボットの腕部により把持している。

また、物体の三次元形状を認識する他の技術として、車載カメラ等の応用で、単眼カメラの多視点画像から三次元データを復元する研究が進められている。しかし、物体の三次元形状を復元するためのカメラの位置は人が与えている。
特開２００３−３４４３０号公報 特開２０００−２８８９６８号公報

上述のとおり、ロボットに搭載された頭部カメラ等から把持対象物を撮像すると、当該物体の形状の一部の情報しか得られない。物体を確実に把持するためには、見えていない部分の情報が必要となることが多々ある。そのため、より多くの把持対象物の形状情報を得るためには、ロボット自身が把持対象物のまわりを周り、多視点からの画像情報を組み合わせる必要がある。

しかし、ロボットが把持対象物のまわりを移動できるかどうかは、その場の環境に依存する。また、仮に把持対象物のまわりを移動できたとしても、ロボットが移動すること自体かなりの時間を要することが予想される。人と共存するパートナーロボットが作業する空間として家庭、オフィスなどが考えられる。例えば、机の上に置かれている物体を把持して、人に渡すような作業を考えてみる。把持対象の形状を知るためにロボットが机の周りを一周できるかどうかは、机の周りの環境に依存するため、確実に形状が得られるとは限らない。そこで、環境に依存しない方法で把持対象の形状を知ることが重要となる。

本発明は、上述した事情を考慮してなされたものであり、腕部を有するロボットにおいて、周囲環境に依存しない方法で把持対象物の三次元形状の認識を行うロボット装置及び形状認識方法を提供することを目的とする。

本発明の第１の態様に係るロボット装置は、本体部と、前記本体部に連結された腕部と、前記腕部に設けられ、対象物の上面を撮像する第１の撮像部と、前記本体部に設けられた第２の撮像部と、前記第１の撮像部によって撮像した前記対象物の画像に基づいて、前記第代１の撮像部の移動経路を計画する第１の算出部とを有し、前記移動経路に沿って移動する前記第１の撮像部によって撮像された画像と、前記第２の撮像部によって撮像された画像とに基づいて前記対象物の三次元形状を認識するものである。これにより、対象物の画像に基づいて計画された移動経路に沿って第１の撮像部を移動させることができるため、周囲環境に依存しない方法で第２の撮像部では死角となっていた領域を第１の撮像部により撮影し、把持対象物の三次元形状の認識を行うことが可能となる。

本発明の第２の態様に係るロボット装置は、上記のロボット装置において、前記第１の算出部は、前記第１の撮像部によって撮像された画像から前記対象物の輪郭線を抽出し、前記移動経路を計画するものである。これにより、簡便に第１の撮像部の移動経路を計画することができる。

本発明の第３の態様に係るロボット装置は、上記のロボット装置において、前記第１の算出部は、前記輪郭線に基づいて、前記対象物の輪郭線を含む近似輪郭線を算出し、前記第１の撮像部は、前記第１の算出部で算出された前記近似輪郭線に沿って移動するものである。これにより、第１の撮像部と把持対象物との間の距離を確保して、第１の撮像部と把持対象物とが接触することを防止することができる。

本発明の第４の態様に係るロボット装置は、上記のロボット装置において、前記第１の撮像部の光軸が、前記近似輪郭線の図心の垂線が前記対象物の底面と交差する点の方向に向くように、前記第１の撮像部を移動させるものである。これにより、把持対象物の第２の撮像部では撮像できない死角となっていた領域を腕部に設けられた第１の撮像部により撮影し、把持対象物の三次元形状の復元を行うことができる。

本発明の第５の態様に係るロボット装置は、上記のロボット装置において、前記第２の撮像部は、前記第２の撮像部の基線に平行で前記対象物に接する前記第２の撮像部側の直線と前記近似輪郭線との交点間の領域を撮像し、前記第１の撮像部は、前記第２の撮像部によって撮像される領域以外の領域を撮像するものである。これにより、第１の撮像部により撮像される領域と第２の撮像部により撮像される領域との重複を防止でき、三次元形状の復元処理に係る時間を短縮することができる。

本発明の第６の態様に係るロボット装置は、上記のロボット装置において、前記第１の撮像部によって撮像された多視点の画像から算出された第１の距離画像と、前記第２の撮像部で算出された第２の距離画像に基づいて前記対象物の三次元形状を認識するものである。これにより、簡便に把持対象物の三次元形状の認識を行うことができる。

本発明の第７の態様に係る形状認識方法は、本体部と、前記本体部に連結された腕部と、前記腕部に設けられた第１の撮像部と、前記本体部に設けられた第２の撮像部とを有するロボット装置が実行する対象物の三次元形状を認識する形状認識方法であって、前記第１の撮像部により、前記対象物の上面を撮像し、前記第１の撮像部により撮像された前記対象物の画像に基づいて、前記第１の撮像部の移動経路を計画し、前記第１の撮像部を前記移動経路に沿って移動させ、前記対象物を多視点から撮像し、前記多視点から撮像された画像と、前記第２の撮像部により撮像された画像に基づいて前記対象物の三次元形状を認識する。これにより、対象物の画像に基づいて計画された移動経路に沿って第１の撮像部を移動させることができるため、周囲環境に依存しない方法で第２の撮像部では死角となっていた領域を第１の撮像部により撮影し、把持対象物の三次元形状の認識を行うことが可能となる。

本発明の第８の態様に係る形状認識方法は、上記の形状認識方法において、前記対象物の輪郭線に基づいて、近似輪郭線を算出し、前記体１の撮像部を前記近似輪郭線に沿って移動させ、前記対象物を多視点から撮像する。これにより、簡便に把持対象物の三次元形状の認識を行うことができる。

本発明によれば、腕部を有するロボットにおいて、周囲環境に依存しない方法で把持対象物の三次元形状の認識を行うロボット装置及び形状認識方法を提供することができる。

以下に、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。なお、以下に示す本発明の実施の形態は、物体把持を行う腕部を備えたロボットに本発明を適用したものである。

本発明の実施の形態に係るロボット装置について図１を参照して説明する。図１は、本実施の形態に係るロボット装置１０の構成を示す模式図である。図１に示すように、ロボット装置１０は、頭部１１、頭部カメラ１２、腕部１３、手部１４、手先カメラ１５を有している。なお、図１に示すｘｙｚ直交座標のように、水平方向で頭部カメラ１２の基線と平行な方向をｘ方向、水平方向で頭部カメラ１２の基線に垂直な方向をｙ方向、鉛直方向をｚ方向とする。以下の図においても、同様とする。

ロボット装置１０は、工業製品の部品等の把持対象物（ワークＷ）の把持を行うロボットであり、３次元的に駆動される腕部１３を備えている。また、本実施の形態においては、腕部１３の先端に、把持対象物を把持する手部１４が設けられている。なお、ここでは図示しないが、当該手部１４には、取り扱うワークＷを把持するため、ワークＷに適合したチャックが取り付けられている。

ロボット装置１０の頭部１１には、外界を撮像可能な頭部カメラ１２が設けられている。本実施の形態においては、２台の頭部カメラ１２が設けられている。この頭部カメラ１２がロボット装置１０の目の役割を果たす。頭部１１には、２本の腕部１３が連結されている。また、腕部１３には、複数の関節部１６が設けられている。本実施の形態においては、腕部１３には３つの関節部１６が設けられている。関節部１６はモータ等の駆動機構（不図示）に接続されており、所定の角度になるように三次元的に駆動される。さらに、腕部１３の先端には、手部１４が設けられており、手部１４には手先カメラ１５が固定されている。従って、本実施の形態では、２本の腕部の先端にそれぞれ手先カメラ１５が設けられている。なお、本実施の形態においては、頭部１１と腕部１３とが直接連結されている例について示したが、頭部１１、腕部１３がそれぞれ胴体部に連結されている場合もある。また、胴体部にはロボット１０の移動機構が設けられることもある。さらに、腕部１３に設けられた関節部１６の数については、上述の例に限定されない。例えば、７自由度を有するアームの場合、腕部１３に４つの関節部１６が設けられ、手部１４に３つの関節が設けられる。

ロボット１０は、頭部カメラ１１及び手先カメラ１５によって撮影した画像を用いて、把持対象であるワークＷの三次元形状を認識する。そして、認識したワークＷに対応した把持動作を実行することにより、手部１４によるワークＷの把持を行うものである。

以下、ロボット１０によるワークＷの三次元形状の認識処理について説明する。図２は、三次元形状の認識処理に関係するロボット１０の主要部の内部構成を示すブロック図である。画像取得部２１は、頭部カメラ１２及び手先カメラ１５から入力された画像を記憶する。経路計画部２２は、後述する手先カメラ１５の移動経路を計画し、手先カメラ１５の移動経路に応じた腕部１３の動作情報を制御部２４に出力する。

三次元復元部２３は、頭部カメラ１２及び手先カメラ１５によって撮影された画像を用いて、ワークＷの三次元形状を算出する。なお、三次元復元部２３によるワークＷの三次元形状の認識方法については、後に詳述する。また、三次元復元部２３は、算出したワークＷの形状データを制御部２４に出力する。

制御部２４は、頭部１１、腕部１３等の位置、角度、速度等を検出するためにロボット１０が備えている図示しないエンコーダや関節角センサ等の計測情報を収集し、頭部１１、腕部１３等を駆動する制御信号を、これらを駆動する駆動部２５に対して出力する。また、制御部２４は、経路計画部２２により決定された移動経路に従って、腕部１３を動作させるための制御信号を駆動部２５に出力する。これにより、腕部１３の各関節部１６が駆動される。これにより、腕部１３にも受けられた手先カメラ１５が所定の位置に移動する。さらに、制御部２４は、復元したワークＷの三次元形状に適した把持位置を算出し、ワークＷの三次元形状及び把持位置に応じた腕部１３の動作を決定して把持動作の実行を駆動部２５に通知する。

次に、ロボット１０によるワークＷの三次元形状の認識方法について、図３〜図９を参照して説明する。図３〜図９は、本実施の形態に係る三次元形状の認識方法を説明するための図である。図３は、三次元形状の認識方法の概略を説明するフローチャートである。また、図４、図５及び図６は、ワークＷを手先カメラ１５の画角に収める方法を説明するための図である。図７、図８及び図９は、手部１４の移動経路を説明するための図である。

図３に示すように、まず、ワークＷの頭部カメラ１２の受光面への射影輪郭線を抽出して、ワークＷの上面の位置を推定する（ステップＳ１）。具体的には、頭部カメラ１２によりワークＷを撮影し、撮影した画像から三次元形状を復元する対象であるワークＷの幅と高さを求める。そして、ワークＷの上面を撮影するため、手先カメラ１５を初期位置（x_h_init, y_h_init, z_h_init）に移動させる。この手先カメラ１５の初期位置（x_h_init, y_h_init, z_h_init）は、x_h_init＝ワークＷ表面の一番近い場所、y_h_init＝ワークＷの幅／２、z_h_init＝ワークＷの高さ×２とする。その後、手先カメラ１５により、ワークＷの画像を取り込む。この手先カメラ１５により撮像された画像に基づいて水平面への射影輪郭線を求める。

なお、射影輪郭線が途中で途切れている場合には、以下のような処理を行う。図４に示すように、まず、射影輪郭線が１箇所で途切れているかどうかを判断する（ステップＳ１１）。射影輪郭線が１箇所で途切れている場合（ステップＳ１１、ＹＥＳ）、途切れている方向に手先を動かす（ステップＳ１２）。ここで、射影輪郭線が途切れるとは、手先カメラ１５の画角内にワークＷが収まりきれず、射影輪郭線を閉じた線として抽出できない状態をいう。すなわち、ワークＷの射影輪郭線と手先カメラ１５の画角とが交差している状態をいう。

図５に示す例では、手先カメラ１５の画角の中心から見てワークＷの射影輪郭線が＋ｙ方向において１箇所のみ途切れている。すなわち、ワークＷの射影輪郭線が＋ｙ方向において１ヶ所だけ画角からはみ出している。この場合、手先を所定の距離だけ＋ｙ方向に動かして、ワークＷを画角内に収めることができる

また、射影輪郭線が途切れている箇所が１箇所ではない場合（ステップＳ１１、ＮＯ）、射影輪郭線が複数箇所で途切れているかどうかを判断する（ステップＳ１３）。射影輪郭線が複数箇所で途切れている場合（ステップＳ１３、ＹＥＳ）、＋ｚ方向に手先を動かす。図６に示すように、ワークＷの射影輪郭線が５箇所途切れている場合、＋ｚ方向に手先を所定の距離だけ動かす。ワークＷと手先カメラ１５との距離を離すことにより、手先カメラ１５の撮像範囲が広くなり、ワークＷを画角内に収めることができる。

なお、上記の処理を行ってもワークＷの射影輪郭線が途切れている場合には、上記の操作を繰り返し、手先カメラ１５の画角内に、ワークＷの射影輪郭線が収まる手先カメラ１５の位置を決定する。射影輪郭線が複数箇所で途切れていない場合（ステップＳ１３、ＮＯ）、射影輪郭線は途切れておらず、手先カメラ１５の撮影可能範囲、すなわち、画角内にワークＷが収まっている。

ワークＷの射影輪郭線が複雑な場合には、当該輪郭線に沿って腕部１３を動かすことは現実的ではない。そこで、図３（ステップＳ２）のように、上述のようにして求めた射影輪郭線に基づいて近似輪郭線を求める。具体的には、図７に示すように、射影輪郭線を内包するような最小楕円若しくは最小矩形で近似して、近似輪郭線を得ることができる。これを、最小近似輪郭線という。従って、最小近似輪郭線は、射影輪郭線と１点以上の交点を有する。さらに、最小近似輪郭線の図心を中心として、最小近似輪郭線を１．５〜２倍の大きさに拡大し、ワークＷと手先カメラ１５との距離を確保する。これを、拡大近似輪郭線という。拡大近似輪郭線は、ワークＷを内包する。このように拡大近似輪郭線上を手先カメラ１５が通れば、ワークＷと手先カメラ１５が接触することなく、ワークＷの全周を撮影することができる。

しかしながら、頭部カメラ１２により撮影可能である領域については冗長になる。従って、拡大近似輪郭線から手先カメラ１５が移動する領域を限定する（ステップＳ３）。具体的には、図８に示すように、拡大近似輪郭線から、頭部カメラ１２の基線に平行でワークＷに接する頭部カメラ１２側の直線と拡大近似輪郭線との交点間の領域内に包含される部分を削除する。すなわち、手先カメラ１５は、拡大近似輪郭線の一部に沿って移動する。従って、図８において破線で示すように、手先カメラ１５の経路を求めることができる。頭部カメラ１２の基線に平行でワークＷに接する頭部カメラ１２側の直線と拡大近似輪郭線との交点間の領域は、頭部カメラ１２により撮像される。そして、頭部カメラ１２によって撮像される領域以外の領域、すなわち、頭部カメラ１２の死角領域は手先カメラ１５によって撮像される。

そして、上述のように求められた経路に沿って、手先に設けられた手先カメラ１５の移動経路の計画を行う（ステップＳ４）。具体的には、拡大した近似輪郭線の図心の垂線がワークＷの底面と交差する点の方向を手先カメラ１５の光軸が常に向くように、手先を移動させる。これにより、図８の網掛け領域で示す頭部カメラ１２では死角となっていた領域を、手先カメラ１５により撮影することができる。例えば、経路上の座標から逆運動学を解くことにより、各関節部１６の角度を求めることができる。

その後、移動計画によって求められた経路に手先を追従させながら、手先カメラ１５により、画像を順次撮影し蓄える。これにより、多視点からの画像を取得する（ステップＳ５）。すなわち、経路上の複数の位置から手先カメラ１５によって撮像する。そして、手先カメラ１５から取得した多視点の画像から算出した距離画像と、頭部カメラ１２で求めた距離画像をボクセル（voxel）空間へ投票し、ワークＷの三次元形状をボクセルで近似することができる（ステップＳ６）。

なお、上述した発明の実施の形態において、頭部カメラ１２及び手先カメラ１５をステレオカメラとし、得られたステレオ画像から距離データを生成してもよい。また、頭部カメラ１２、手先カメラ１５としては、距離画像が得られるレンジセンサを用いることも可能である。また、本実施の形態にかかるロボット１０は、腕部１３の先端の手部１４に手先カメラ１５を固定した例について説明したが、ワークＷの周囲に手先カメラ１５を移動させることができれば、腕部１３の中間部分に固定されていてもよい。

発明の実施の形態にかかるロボット１０は、復元したワークＷの三次元形状に適した把持位置を算出し、ワークＷの三次元形状及び把持位置に応じた腕部１３の動作を決定して把持動作を開始するものとして説明した。しかしながら、復元したワークＷの三次元形状を、予め記憶している把持対象物体の形状データと照合することにより、ワークＷの種別を決定し、決定した物体種別に応じた把持動作を実行するものとしてもよい。

また、本実施の形態では、ロボット１０は、２つの腕部１３を備えるものとして説明したがこれに限定されるものではない。ロボット１０は、１つの腕部１３を備えていてもよく、２本以上の腕部１２を備えてもよい。また、手先カメラ１５を備える腕部とワークＷの把持を行う腕部とを別個に形成してもよい。

上述した発明の実施の形態では、物体の三次元形状を認識し、当該物体の把持を行うことを目的とするロボットについて説明した。しかしながら、本発明は、三次元形状を認識した後に把持以外の動作を実行するロボット、又は物体の三次元形状の認識のみを目的とするロボット等にも適用可能である。なお、上述した実施の形態においては、頭部に頭部カメラが設けられた例について説明したが、カメラが胴体部に設けられていてもよい。すなわち、カメラが、頭部、胴体部等の本体部に設けられていればよい。さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

実施の形態に係るロボット装置の一例を示す模式図である。 実施の形態に係る形状認識処理に関係するロボットの主要部の根イブ構成を示す図である。 実施の形態に係る形状認識方法を説明するためのフローチャートである。 実施の形態に係る対象物を手先カメラの画角に納める方法を説明するためのフローチャートである。 実施の形態に係る対象物を手先カメラの画角に納める一例を示す図である。 実施の形態に係る対象物を手先カメラの画角に納める他の例を示す図である。 実施の形態に係る手先の移動経路を説明するための図である。 実施の形態に係る手先の移動経路を説明するための図である。 実施の形態に係る手先の移動経路を説明するための図である。

符号の説明

１０ ロボット装置
１１ 頭部
１２ 頭部カメラ
１３ 腕部
１４ 手部
１５ 手先カメラ
１６ 関節部
２１ 画像取得部
２２ 経路計画部
２３ 三次元復元部
２４ 制御部
２５ 駆動部
Ｗ ワーク

Claims (8)

1. 本体部と、
   前記本体部に連結された腕部と、
   前記腕部に設けられ、対象物の上面を撮像する第１の撮像部と、
   前記本体部に設けられた第２の撮像部と、
   前記第１の撮像部によって撮像した前記対象物の画像に基づいて、前記第１の撮像部の移動経路を計画する第１の算出部とを有し、
   前記移動経路に沿って移動する前記第１の撮像部によって撮像された画像と、前記第２の撮像部によって撮像された画像とに基づいて前記対象物の三次元形状を認識するロボット装置。
2. 前記第１の算出部は、前記第１の撮像部によって撮像された画像から前記対象物の輪郭線を抽出し、前記移動経路を計画する請求項１に記載のロボット装置。
3. 前記第１の算出部は、前記輪郭線に基づいて、前記対象物の輪郭線を含む近似輪郭線を算出し、
   前記第１の撮像部は、前記第１の算出部で算出された前記近似輪郭線に沿って移動する請求項２に記載のロボット装置。
4. 前記第１の撮像部の光軸が、前記近似輪郭線の図心の垂線が前記対象物の底面と交差する点の方向に向くように、前記第１の撮像部を移動させる請求項３に記載のロボット装置。
5. 前記第２の撮像部は、前記第２の撮像部の基線に平行で前記対象物に接する前記第２の撮像部側の直線と前記近似輪郭線との交点間の領域を撮像し、
   前記第１の撮像部は、前記第２の撮像部によって撮像される領域以外の領域を撮像する請求項１〜４のいずれか１項に記載のロボット装置。
6. 前記第１の撮像部によって撮像された多視点の画像から算出された第１の距離画像と、前記第２の撮像部で算出された第２の距離画像に基づいて前記対象物の三次元形状を認識する請求項１〜５のいずれか１項に記載のロボット装置。
7. 本体部と、前記本体部に連結された腕部と、前記腕部に設けられた第１の撮像部と、前記本体部に設けられた第２の撮像部とを有するロボット装置が実行する対象物の三次元形状を認識する形状認識方法であって、
   前記第１の撮像部により、前記対象物の上面を撮像し、
   前記第１の撮像部により撮像された前記対象物の画像に基づいて、前記第１の撮像部の移動経路を計画し、
   前記第１の撮像部を前記移動経路に沿って移動させ、前記対象物を多視点から撮像し、
   前記多視点から撮像された画像と、前記第２の撮像部により撮像された画像に基づいて前記対象物の三次元形状を認識する形状認識方法。
8. 前記対象物の輪郭線に基づいて、近似輪郭線を算出し、
   前記体１の撮像部を前記近似輪郭線に沿って移動させ、前記対象物を多視点から撮像する請求項７に記載の形状認識方法。

Images