JP2010058243A - ピッキング装置 - Google Patents

Abstract

【課題】照明装置の搭載によるハンドユニットの肥大化を抑えつつ、照明条件を容易に変更することができ、高速に対象物の三次元形状を計測するとともに形状を認識して対象物を把持することができるピッキング装置を提供する。
【解決手段】多指多関節ハンド１０は、各指の先端にそれぞれ照明装置１５を備え、ベース部１１にカメラ１２を備える。多指多関節ハンド１０は、対象物に対し各指先端の照明装置１５を１つずつ照射させると共に対象物からの反射光を都度カメラ１２によって撮像し、照度差ステレオ法によって対象物の形状および位置・姿勢認識を行い、認識結果に従って各指を駆動して対象物を把持する。
【選択図】図１

Description

本発明はピッキング装置に関し、特にロボットにより対象物を把持するピッキング装置に関する。

ロボットによるピッキング装置では、先端に取り付けたハンドで対象物を把持する構成となっているものが多い。対象物が整列していない状態において対象物をハンドリングする場合は単純なティーチングプレイバック方式では対象物をハンドリングすることは不可能であり、事前に何らかの計測を行って対象物の位置と姿勢を把握しなければならない。
そこで従来のロボットよるピッキングシステムでは、光切断法や複眼ステレオ法などにより把持対象物の三次元形状を計測するものがあった。また照度差ステレオ法を適用して対象物の三次元形状を計測する手法がある（例えば特許文献１、特許文献２）。照度差ステレオ法は、複眼ステレオ法のような画像間のマッチング処理が不要で高速に処理が可能であり、使用する光源は光切断法のようなレーザ光でなく一様な光を照射する照明で人体に対しても無害である。照度差ステレオ法では、３方向以上から照明を対象物へ照射させカメラで撮像する必要がある。
一方、計測装置を対象物に近づけて正確な計測を行おうとすると、ロボットの手先付近にこうした計測装置を設ける必要がある。ハンドリングロボットに関して手先部分にカメラや照明装置を設けたものとして特許文献３や特許文献４があった。
特開２００４−２７９１８７号公報 特開２００７−２０６７９７号公報 特開２００５−２９７１００号公報 特開平９−７０７８６号公報

しかしながら、ロボットの手先付近に計測装置を搭載するとハンドユニットが肥大化してしまう問題があった。特に照度差ステレオ法では、３方向以上から照明を対象物へ照射させる必要があり、複数の照明装置をそのままピッキング装置に組み込むと装置が肥大化してしまう。ハンドが肥大化すると、対象物に接近した際に周辺と干渉する虞があり、さらにはハンドを先端に取り付けるロボットを大型化しなければならなくなる。１つの照明装置を移動させて計測する手法も考えられるが、照明装置が移動する時間だけ計測時間が長くなるといった問題がある。
特許文献４では、ハンドユニットの肥大化を抑えるために手の平部にカメラを設置し、対象物を撮像して位置を求めピッキングを行っている。またハンドと照明を一体化させている。しかし特許文献４の照明は単に対象物をカメラで捉え易くするための手段に過ぎず、特許文献４の発明では対象物の三次元形状を計測することができないため、形状が未知の対象物については対応できない。
特許文献３の照明も対象物までの距離を計測するためのもので、特許文献３、特許文献４は共に照度差ステレオ法を行おうとする技術的思想を持つものではない。
本発明はこのような問題点に鑑みてなされたものであり、照明装置の搭載によるハンドユニットの肥大化を抑えつつ、照明条件を容易に変更することができ、高速に対象物の三次元形状を計測するとともに形状を認識して対象物を把持することができるピッキング装置を提供することを目的とする。

上記問題を解決するため、本発明は、次のように構成したのである。
請求項１に記載の発明は、ロボットのアーム先端に把持機構を有し、対象物をピッキングするピッキング装置において、前記把持機構は多指多関節ハンドであって、前記多指多関節ハンドは、各指の先端にそれぞれ照明装置を備え、ベース部にカメラを備えることを特徴とする。
請求項２に記載の発明は、前記多指多関節ハンドは、少なくとも３本の指を備えることを特徴とする。
請求項３に記載の発明は、前記多指多関節ハンドは、前記対象物に対し各指先端の前記照明装置を１つずつ照射させると共に前記対象物からの反射光を都度前記カメラによって撮像し、照度差ステレオ法によって前記対象物の形状および位置・姿勢認識を行い、認識結果に従って各指を駆動して前記対象物を把持することを特徴とする。
請求項４に記載の発明は、前記多指多関節ハンドは、前記多指多関節ハンドの各関節を駆動することによって前記対象物の形状に合わせて各指先端の前記照明装置の位置を変更することを特徴とする。
請求項５に記載の発明は、前記照明装置は、ＬＥＤ照明であることを特徴とする。
請求項６に記載の発明は、前記照明装置は、ハロゲン照明であることを特徴とする。
請求項７に記載の発明は、前記多指多関節ハンドは、前記対象物をピッキングする際に前記対象物と接触する各指先端の部分に圧力センサを備えることを特徴とする。
請求項８に記載の発明は、前記ロボットは、垂直多関節ロボットであることを特徴とする。

請求項１に記載の発明によると、対象物の三次元計測に使用する照明を多指多関節ハンドの各指先に内蔵し、カメラをベース部に配置するため、ハンドユニットの肥大化を抑制できる。
請求項２、３に記載の発明によると、多指多関節ハンドを対象物に接近させれば照度差ステレオ法による対象物の三次元形状計測が可能となり、複眼ステレオ法のような画像間のマッチングが不要で処理時間を短縮できる。
請求項４に記載の発明によると、多関節指を駆動することにより照明の照射角度条件を変更することが可能となり、対象物の形状に応じて照明の照射方向を適切に容易に設定することが可能となる。
請求項５に記載の発明によると、ＬＥＤ照明を使用することで消費電力を低減できる。また、照明装置の長寿命化が可能となる。
請求項６に記載の発明によると、ハロゲン照明を使用することで照明強度が強くなる。また、照明装置の長寿命化が可能となる。
請求項７に記載の発明によると、各指先に圧力センサを備えることにより対象物を確実に把持したことを検出可能となる。
請求項８に記載の発明によると、多指多関節ハンドを垂直多関節ロボット先端部に取り付けることにより、ハンドの位置や姿勢を自在に変更し様々な位置・姿勢の対象物に対応することが可能となる。

以下、本発明の実施の形態について図を参照して説明する。

図１は、本発明のピッキング装置の全体構成を表す図である。多関節ロボット１の先端に多指多関節ハンド１０が取り付けられており、ロボット１を動作させることでピッキングを行う対象物に合わせて多指多関節ハンド１０の位置や姿勢を変化させることができる。
多関節ロボット１および多指多関節ハンド１０は制御装置２によって制御される。
図２は、多指多関節ハンド１０およびその制御に関する部位の構成を示す図である。多指多関節ハンドのベース部１１にはピッキングの対象物を撮像するカメラ１２が内蔵されている。
１３a〜１３jは多関節指を駆動する駆動部である。１４a〜１４cは、ハンドにて対象物を把持した際にその把持力を計測する圧力センサである。圧力センサの出力が変化することにより対象物の把持を検出することができる。
１５a〜１５cは、対象物をカメラ１２にて撮像する際に対象物へ光を照射する照明装置であって各指の先端部に内蔵されている。照明装置１５a〜１５cには、ＬＥＤ照明やハロゲン照明の適用が考えられる。
なお本実施例では指の各関節に駆動用のモータが内蔵される構成となっているが、これに限定されるものではなく、指の各関節を駆動させるモータをベース部１１に内蔵してもよい。また、指の本数も３本に限定されず、４本や５本であってもよい。

カメラ１２で撮像した画像は画像処理部１６で処理され対象物が抽出される。１７は多関節指の駆動部１３a〜１３jの動作を制御するハンド制御部である。１８は多関節指駆動部の動作角度を記憶しておくハンド記憶部であって、対象物の大きさや配置に応じた適切な照明装置の位置関係が記憶される。画像処理部１６、ハンド制御部１７、ハンド記憶部１８はいずれも制御装置２内部に存在する。
また図示していないが制御装置２内にはこれらの他にもロボット１を制御するためのロボット制御部、予め教示されたロボットの動作を記憶する記憶部などが存在することは言うまでもない。
さらに本実施例では画像処理部１６、ハンド制御部１７、ハンド記憶部１８とロボット１を制御するためのロボット制御部などが共に制御装置２内に配置されているが、画像処理部１６、ハンド制御部１７、ハンド記憶部１８などとロボット制御部などとが別体となっていてもよい。

図３は、本発明のピッキング装置が異なるサイズの対象物に対応する様子を示した図である。
図３（ａ）は高さが低い対象物１９に対してピッキング動作を行う場合であり、図３（ｂ）は高さが高い対象物２０に対してピッキング動作を行う場合である。
照明装置１５a〜１５cから照射される光が対象物１９に対して適切に照射されるように、ハンド制御部１７で多関節指の駆動部１３a〜１３jを駆動し調節する。対象物に対して適切な照射を行うためには、カメラ１２と照明装置１５a〜１５cとの位置関係、対象物と照明装置１５a〜１５cとの距離、対象物に対する照明装置１５a〜１５cの光の照射方向を調整する必要がある。
図３（ａ）と（ｂ）とを比較すると、図３（ｂ）では対象物の高さに合わせて３（ａ）に比べて指先すなわち照明装置１５a〜１５cが高い位置に引き上げられているのが分かる。図３では対象物の高さが異なる例を示したが、仮に対象物の横幅が異なる場合であれば、指先すなわち照明装置１５a〜１５cの位置もそれに合わせて横方向に広がることとなる。
対象物の高さの高低については、カメラ１２で撮影した対象物の外形を画像処理部１６で認識し、その撮像面における面積によって検出したり、ベース部１１にカメラ１２の視線と同じ方向を向くよう距離センサを取り付け、その距離センサによって検出したりすればよい。またカメラ１２とは別に対象物を撮影するカメラを設け、そのカメラで検出してもよい。
照明装置１５a〜１５cの位置と照射角度が決定したら、多関節指の駆動部１３a〜１３jの角度情報をハンド制御装置１７からハンド記憶装置１８へ送信し、ハンド記憶装置１８で保存する。

続いて、図４のフローチャートを参照して、照度差ステレオ法による対象物の三次元形状計測の処理手順を説明する。なお、図４のフォローチャートを実行する前にハンド１０はロボット１によって対象物をピッキングできる適切な位置に予め移動が完了しているものとする。
ステップ１０１では、ハンド記憶部１８に保存しておいた多関節指の駆動部１３a〜１３jの角度情報を読み出しハンド制御部１７に転送する。
ステップ１０２では、ハンド制御部１７がハンド記憶部１８よりロードした角度情報をもとに多関節指の駆動部１３a〜１３jを駆動し、多関節指の姿勢を再現する。ステップ１０３では、対象物に対して照明装置１５aのみを照射して、ステップ１０４にて照明装置１５aが照射された状態の対象物をカメラ１２で撮像し第１画像を得る。
続いてステップ１０５で対象物に対して照明装置１５bのみを照射して、ステップ１０６にて照明装置１５bが照射された状態の対象物をカメラ１２で撮像し第２画像を得る。
最後にステップ１０７で対象物に対して照明装置１５cのみを照射して、ステップ１０８にて照明装置１５cが照射された状態の対象物をカメラ１２で撮像し第３画像を得る。
第１〜３画像は画像処理部１６に一時的に蓄積される。
続くステップ１０９にて、ステップ１０４、１０６、１０８で得た３枚の画像に対し照度差ステレオ法を適用し、面の法線ベクトルを求め三次元形状を求める。

図５は、照度差ステレオ法を説明する一般的な図である。図５において、２１は対象物へ光を照射する照明装置である。２２は計測点における計測面の法線方向を示す。２３は照明装置２１から照射され計測面で反射した光を受光するカメラである。２４は照明装置２１から計測点へ照射させる照射方向と計測点の面の法線方向とがなす角θである。２５は計測面を示す。
本発明の照明装置１５a〜１５cが照明装置２１に相当し、本発明のカメラ１２がカメラ２３に相当する。また本発明の対象物の表面が計測面２５に相当する。

計測点の面の法線方向２２を示すベクトルをｎ、照明装置２１の照射方向を示すベクトルをＳ、カメラ２３にて受光した反射光の強度をＬとする。照明装置２１の照射方向ベクトルＳは事前にキャリブレーション作業にて求めておく。対象物表面の反射係数をρとし、照射方向ベクトルＳと面の法線ベクトルｎとがなす角をθとすると、次の式（１）が成立する。

θはベクトルＳとベクトルｎとのなす角であるから、内積の関係式から式（１）は式（２）のように置き換えられる。

第１光源の方向ベクトルをＳ₁とし、第１光源を照射した際にカメラ１２で受光した対象物からの反射光の強度をＬ₁とする、第２光源、第３光源についても同様に、光源の方向ベクトルをＳ₂、Ｓ₃、カメラで受光した反射光の強度をＬ₂、Ｌ₃とし、それぞれを次の式のように表す。

式（２）〜式（６）から式（７）が成立する。

式（７）を解くことで、計測点の面の法線ベクトルｎが求まる。同様にして、計測面全体の面の法線ベクトルを求める。法線ベクトルが求まれば、積分処理により対象物の三次元形状が求まる。ステップ１１０では、画像処理部１６にて三次元形状から対象物の位置と姿勢を求める。画像処理部１６にて求めた位置・姿勢のデータ値は、ハンド制御部１７へと転送される。ステップ１１１では、ハンド制御部１７にて、予め求めておいたカメラ座標系とロボット座標系との座標変換パラメータを使用して対象物の位置・姿勢のデータをロボット座標系のデータ値へ変換する。その後ハンド制御部１７にてハンドの各指を駆動してロボット座標系へ変換した位置データをもとに移動させ、姿勢データをもとに対象物の姿勢に合わせ把持動作を行ってピッキングを完了する。

本発明のピッキング装置の全体構成を表す図 多指多関節ハンドの構成を示す図 本発明のピッキング装置が異なるサイズの対象物に対応する様子を示す図 本発明の処理手順を示すフローチャート図 照度差ステレオ法による三次元形状計測手法を説明する図

符号の説明

１ 多関節ロボット
２ 制御装置
１０ 多指多関節ハンド
１１ ベース部
１２ カメラ
１３ 多関節指駆動部
１４ 圧力センサ
１５ 照明装置
１６ 画像処理部
１７ ハンド制御部
１８ ハンド記憶部
１９ 計測対象物（低）
２０ 計測対称物（高）
２１ 照明装置
２２ 計測点の面の法線方向
２３ カメラ
２４ 照明装置の照射方向と計測点の面の法線方向とがなす角
２５ 計測面
１０１ 多関節指駆動部の角度データ読み込ステップ
１０２ 多関節指駆動ステップ
１０３ 第１照明照射ステップ
１０４ 第１画像撮像ステップ
１０５ 第２照明照射ステップ
１０６ 第２画像撮像ステップ
１０７ 第３照明照射ステップ
１０８ 第３画像撮像ステップ
１０９ 三次元形状計測ステップ
１１０ 位置・姿勢認識ステップ
１１１ 対象物把持ステップ

Claims (8)

1. ロボットのアーム先端に把持機構を有し、対象物をピッキングするピッキング装置において、
   前記把持機構は多指多関節ハンドであって、前記多指多関節ハンドは、各指の先端にそれぞれ照明装置を備え、ベース部にカメラを備えることを特徴とするピッキング装置。
2. 前記多指多関節ハンドは、少なくとも３本の指を備えることを特徴とする請求項１記載のピッキング装置。
3. 前記多指多関節ハンドは、前記対象物に対し各指先端の前記照明装置を１つずつ照射させると共に前記対象物からの反射光を都度前記カメラによって撮像し、照度差ステレオ法によって前記対象物の形状および位置・姿勢認識を行い、認識結果に従って各指を駆動して前記対象物を把持することを特徴とする請求項１または２記載のピッキング装置。
4. 前記多指多関節ハンドは、前記多指多関節ハンドの各関節を駆動することによって前記対象物の形状に合わせて各指先端の前記照明装置の位置を変更することを特徴とする請求項１または２記載のピッキング装置。
5. 前記照明装置は、ＬＥＤ照明であることを特徴とする請求項１記載のピッキング装置。
6. 前記照明装置は、ハロゲン照明であることを特徴とする請求項１記載のピッキング装置。
7. 前記多指多関節ハンドは、前記対象物をピッキングする際に前記対象物と接触する各指先端の部分に圧力センサを備えることを特徴とする請求項１記載のピッキング装置。
8. 前記ロボットは、垂直多関節ロボットであることを特徴とする請求項１記載のピッキング装置。