JP2005205519A - ロボットハンド装置 - Google Patents

Abstract

【課題】ハンド部とセンサとの干渉を確実に回避して、センサによる検出精度を向上させるとともに、処理時間を短縮させてコストダウンを実現したロボットハンド装置を得る。
【解決手段】作業対象に対して所定のシーケンス動作を行うハンド部４と、ハンド部４を支持するロボットアーム１と、作業対象に向けられたセンサ２とを備えている。ロボットアーム１およびハンド部４により形成される作業軸Ｚ１と、センサ２から作業対象に向けられたセンサ軸Ｚ２とを一致させた。
【選択図】図１

Description

この発明は、センサ（高解像度で高感度のカメラなど）を搭載したロボットハンド装置に関し、特にハンド部とセンサとの干渉を確実に回避して、センサによる検出精度を向上させるとともに、小形化およびコストダウンを実現したロボットハンド装置に関するものである。

一般に、センサ付きのロボットハンド装置を用いて、ワーク（対象物体）に対して所定のシーケンス動作を行う場合、作業員のマニュアル操作を不要とするために、センサ情報に基づく計算処理が必要となる。
たとえば、ワークを把持する場合には、ハンド部（多指ハンドなど）に据え付けられたセンサ（電子カメラ）情報を用いて、コンピュータの演算処理によりワーク情報（位置および傾きなど）を認識し、ワークを自動的に把持する制御動作が要求されている（たとえば、特許文献１参照）。

通常、この種のロボットハンド装置において、センサ（電子カメラ）は、ハンド部の作業軸とセンサ軸（光軸）とがたとえば平行となるように、ハンド部の側面位置（脇）に取り付けられており、センサ情報（撮影画像）に基づくワーク認識処理後に、ハンド部の位置決め制御およびシーケンス制御が実行されるようになっている。
この場合、ハンド部とセンサとの干渉を回避するため、センサを駆動するためのサーボモータを必要とする場合があり、装置が大形化する可能性がある。
また、上記のように作業軸とは異なるセンサ軸（視点）を有するセンサ（電子カメラ）を用いた場合、撮像と同時にハンド部を指定視点に移動させようとすると、極めて複雑な座標変換が必要となる。

また、従来のロボットハンド装置として、視覚制御によるものではないが、手動（作業員が、ＴＶカメラの映像を観測しながらハンド部を制御する）により、ハンド部をワークに対して位置決めするために、カメラなどのセンサを内蔵した装置も提案されている（たとえば、特許文献２参照）。
特許文献２に記載されたカメラ内蔵型のロボットハンド装置は、ちりや挨の侵入回避を目的としており、たとえば遠隔操作（手動）でクリーンルーム内のワークを検査または把持する際に、ロボットハンドおよびカメラを一体的に密閉構造としたものである。
しかし、この場合も、作業軸とカメラの光軸とを一致させる技術思想は示唆されておらず、カメラを用いて視覚制御する概念も当然ながら示唆されていない。視覚制御することができない理由は、特許文献２の出願当時においては、コンピュータの画像処理速度が遅く、視覚情報を処理し且つその処理結果に基づいて実用的な速度でロボットハンド装置を自動的に制御することが困難であったからである。

さらに、ロボットハンド装置の関連技術として、内視鏡手術に用いられる多指ハンド装備システム、すなわち、内視鏡カメラと鉗子（患部の把持道具）とを組み合わせたシステムが挙げられる。
この場合、視覚情報獲得部と把持部とが別体で構成されており、患部と鉗子との位置関係を鉗子の軸とは異なる視点にあるカメラでとらえて、人間が鉗子をマニュアル操作するようになっている。

特開２００３−３１１６７４号公報 特開平５−９６４８４号公報

従来のロボットハンド装置では、ロボットアームおよびハンド部により形成される作業軸と、センサから作業対象に向けられたセンサ軸とが同一軸上に設定されておらず、作業軸とセンサ軸とが一致する位置にセンサが取り付けられていないので、センサ軸上にロボットアームまたはハンド部などが干渉して（ハンド部がセンサ視界を遮って）、移動操作が厄介なうえ、センサ機能を十分に発揮することができず、検出精度が劣化するという課題があった。
また、ハンド部を指定視点に移動させようとした場合には、作業軸とは異なる視点からのセンサ情報であることから、複雑な座標変換処理が必要となり、演算処理に多大な時間を要するためコストアップを招くという課題があった。

この発明は、ハンド部とセンサとの干渉を確実に回避して、センサによる検出精度を向上させるとともに、処理時間を短縮させてコストダウンを実現したロボットハンド装置を得ることを目的とする。

この発明によるロボットハンド装置は、作業対象に対して所定のシーケンス動作を行うハンド部と、ハンド部を支持するロボットアームと、作業対象に向けられたセンサとを備えたロボットハンド装置において、ロボットアームおよびハンド部により形成される作業軸と、センサから作業対象に向けられたセンサ軸とを一致させたものである。

この発明によれば、ロボットアームおよびハンド部により形成される作業軸と、センサから作業対象に向けられたセンサ軸とを一致させることにより、ハンド部とセンサとの干渉を確実に回避して、センサによる検出精度を向上させるとともに、処理時間を短縮してコストダウンを実現することができる。
また、装置全体がコンパクト化されるとともに、構造的にセンサと他の物体との接触や衝突などが起こりにくくなり、センサを確実に保護することができる。

実施の形態１．
図１はこの発明の実施の形態１に係るロボットハンド装置を示す斜視図であり、センサ（電子カメラ）２の内蔵位置を示している。
また、図２は制御システム全体を概略的に示す構成図であり、図１のロボットハンド装置を制御部とともに示している。図２においては、煩雑さを避けるために、ハンド部４の図示を省略している。

図１において、ロボットハンド装置は、３次元座標軸内で移動可能なロボットアーム１（図２参照）のアーム先端部１ａと、アーム先端部１ａに設けられたハンド支持部３と、ハンド支持部３を介してアーム先端部１ａに取り付けられたハンド部４とを備えている。
センサ２は、ハンド支持部３の中央位置に内蔵されており、作業対象（図示せず）に向けられた小形で高解像度（たとえば、１３９２×１０４０画素）且つ低歪みの電子カメラ（ＣＣＤカメラまたはＣＭＯＳカメラなど）により構成されている。
ハンド部４は、開閉動作する多指ハンドにより構成されており、作業対象（対象物体）に対して所定のシーケンス動作を行うように制御駆動される。

センサ２は、ロボットアーム１およびハンド部４により形成される作業軸Ｚ１と、センサ２から作業対象に向けられたセンサ軸（光軸）Ｚ２とが一致するように配置されており、多指ハンドからなるハンド部４の中心軸（作業軸）を通して対象物体を直視できるようになっている。
また、ここでは、図示を省略するが、センサ２は、作業軸Ｚ１に対して垂直方向に且つ対称位置に配列された一組（一対）の電子カメラ部（ステレオカメラ）により構成されてもよい。この場合、センサ軸Ｚ２は、複数の電子カメラ部の光軸により合成されて形成されることになる。
さらに、センサ２は、レーザ、超音波または磁界を用いた変位センサ（または、エリアセンサ）を含んでいてもよい。

図２において、ロボットアーム１は、たとえば、動作自由度が６軸または７軸の産業用ロボットアームを構成しているものとする。
センサ（たとえば、高解像度のＣＣＤカメラ）２は、レンズ２ａは対象物体５に向けられており、対象物体５の全体が撮影画像内に収まるように対象物体５を撮影するようになっている。
センサ２により撮影された画像は、通信手段（ネットワークまたはケーブル）１１を介してパーソナルコンピュータ（以下、「パソコン」という）１０に入力され、対象物体５の位置姿勢を認識するために用いられる。

パソコン１０は、センサ２からの撮影画像を処理する画像処理手段と、画像処理手段の処理結果を用いてハンド部４（図１参照）を駆動する視覚制御手段とを備え、対象物体５の位置姿勢認識に基づくハンド部４の指定視点への移動システム（視覚制御システム）を構成している。
パソコン１０内の画像処理手段は、アーム先端部１ａのマニピュレータ部に取り付けられたセンサ２からの撮影画像に基づいて、対象物体５の位置および姿勢を認識する。
パソコン１０内の視覚制御手段は、対象物体５の位置および姿勢に基づいてハンド部４を指定視点に移動させ、所定のシーケンス制御動作を実行させる。
このとき、前述のように、作業軸Ｚ１とセンサ軸Ｚ２とが一致しているので、ハンド部４（マニピュレータ先端部）の座標軸とセンサ２の座標軸との間の余分な座標変換が不要となる。

図３はこの発明の実施の形態１で用いられる座標系の一例を示す説明図であり、対象物体５の位置姿勢を複数軸で表現している。
ここでは、モデル・ベースド・マッチング手法に基づく位置姿勢認識処理を例にとって説明する。なお、必要となる対象物体５の３次元ＣＡＤデータは、パソコン１０内にあらかじめ用意されているものとする。
図３において、センサ２の座標系（カメラ座標系）［Ｏｃ−Ｘｃ，Ｙｃ，Ｚｃ］は、視点の位置を原点Ｏｃとし、視線の方向をＺｃ軸にとっている。
また、ＣＡＤモデル座標系［Ｏｍ−Ｘｍ，Ｙｍ，Ｚｍ］において、原点Ｏｍを対象物体５の中心にとっている。
さらに、画像平面上の座標系［Ｏ−Ｘ，Ｙ］は、原点Ｏを画像平面の左上隅にとっている。画像平面は、画像平面の中心座標［Ｍｘ，Ｍｙ］において、カメラ座標系のＺｃ軸と垂直に交わるように配置されているものとして、以下説明する。

図３に示す対象物体５において、位置姿勢に関する自由度は「６」である。
すなわち、ＣＡＤモデル座標系の各軸［Ｘｍ，Ｙｍ，Ｚｍ］に対して、対象物体５を各角度［Ｘθ，Ｙθ，Ｚθ］で回転させ、さらに、ＣＡＤモデル座標系の原点Ｏｍをカメラ座標系の点ｔ＝［Ｘｃ，Ｙｃ，Ｚｃ］におくと、３つの角度パラメータ［Ｘθ，Ｙθ，Ｚθ］が対象物体５の姿勢を表し、３つのパラメータ［Ｘｃ，Ｙｃ，Ｚｃ］が対象物体５の位置を表すことになる。
したがって、対象物体５の位置姿勢は、６つのパラメータ［Ｘθ，Ｙθ，Ｚθ，Ｘｃ，Ｙｃ，Ｚｃ］によって定義される。

また、対象物体５上の点ｒｍ＝［ｘｍ，ｙｍ，ｚｍ］は、以下の式（１）のように、ＣＡＤモデル座標系−カメラ座標系間の座標変換によって、カメラ座標系の点ｒｃ＝［ｘｃ，ｙｃ，ｚｃ］に変換される。

ｒｃ＝Ｒ・ｒｍ＋ｔ ・・・（１）

式（１）において、Ｒはカメラ座標に対する物体の回転行列であり、以下の式（２）により表すことができる。

ただし、式（１）において、各変数は以下の通りである。

また、カメラ座標系から画像平面への投影において、カメラ座標系の点ｒｃは、以下の式（３）により、画像平面上の点［Ｘ，Ｙ］に投影される。

式（３）において、ｄＸ、ｄＹは、画像平面上の１画素の幅および高さを示しており、それぞれ、以下の式（４）で表される。

式（４）において、Ｃｗ、Ｃｈは、それぞれ、レンズ２ａ（図２参照）の横サイズおよび縦サイズを示し、Ｗｗ、Ｗｈは、それぞれ、センサ２（ＣＣＤカメラ）の横画素数および縦画素数を示している。
また、式（４）において、ｕは有効焦点距離であり、レンズ２ａから撮像素子までの距離に相当しており、以下の式（５）のように求められる。

ｕ＝ｆ＋ｆ^２（Ｗ−ｆ）^−１ ・・・（５）

式（５）において、ｆ、Ｗはレンズ２ａの焦点距離および合焦距離である。
ここで、合焦距離Ｗとは、レンズ２ａのピントが合っている距離を示し、焦点距離ｆとは、合焦距離Ｗを無限遠に合わせたときのレンズ２ａから撮像素子までの距離のことである。

このように、位置姿勢パラメータにより、対象物体５上の各点は、上記式（１）および式（３）を用いて画像平面上に投影される。
なお、ＣＡＤモデル座標系におけるモデル画像とは、図３に示すように、指定した位置姿勢（傾き、奥行き、距離）を表す６つのパラメータ［Ｘθ，Ｙθ，Ｚθ，Ｘｃ，Ｙｃ，Ｚｃ］によって、３次元ＣＡＤデータから生成される対象物体５の画像として定義されるものとする。

次に、図４のフローチャートを参照しながら、図１および図２に示したこの発明の実施の形態１によるロボットハンド装置の動作について説明する。
図４はセンサ情報（撮影画像）に基づくパソコン１０の視覚制御（ビジュアルサーボ）動作、すなわち、対象物体５の位置姿勢認識結果に基づく指定視点へのセンサ２（電子カメラ）およびハンド部４の移動処理を示している。
なお、指定視点とは、センサ２（電子カメラ）からの相対的な対象物体５の位置姿勢パラメータが任意に指定されている視点のことである。

図４において、まず、アーム先端部１ａのハンド部４に取り付けられたセンサ２（ＣＣＤカメラ）により対象物体５を撮影し（ステップＳ１）、画像データをパソコン１０に入力する。

次に、パソコン１０内の視覚制御手段は、対象物体５の撮影画像から対象物体５の輪郭画像を抽出し（ステップＳ２）、対象物体５の面積および慣性主軸と３次元ＣＡＤデータとを用いて、対象物体５の位置姿勢を認識する（ステップＳ３）。
続いて、対象物体５の位置姿勢情報の認識結果に基づいて、ロボットアーム１を駆動し、センサ２およびハンド部４を指定視点に向けて移動させる（ステップＳ４）。

最後に、センサ２およびハンド部４が指定視点に到達したか否かを判定し（ステップＳ５）、指定視点に到達していない（すなわち、ＮＯ）と判定されれば、ステップＳ１に戻り、対象物体５の位置姿勢の認識処理およびロボットアーム１の指定視点への移動処理を繰り返し実行し、センサ２およびハンド部４が指定視点に到達するまでロボットアーム１を駆動制御する。
一方、ステップＳ５において、センサ２およびハンド部４が指定視点に到達した（すなわち、ＹＥＳ）と判定されれば、図４の処理ルーチンを終了する。

ここで、ステップＳ２〜Ｓ５における具体的な処理動作について説明する。
まず、ステップＳ２において、パソコン１０内の視覚制御手段は、センサ２から取得された撮影画像に対して、エッジ強調処理、２値化処理、雑音除去処理、細線化処理、塗りつぶし処理、および、輪郭抽出処理を順に実行し、対象物体５の輪郭画像を抽出する。輪郭画像とは、撮影画像から対象物体５の外側の輪郭線のみを抽出した２値画像である。

また、ステップＳ３における位置姿勢の認識処理は、以下のように実行される。
前述のように、対象物体５の位置姿勢に関する自由度は、ＣＡＤモデル座標系の各軸［Ｘｍ，Ｙｍ，Ｚｍ］に対する回転角度［Ｘθ，Ｙθ，Ｚθ］と、ＣＡＤモデル座標系の原点Ｏｍをカメラ座標系で表したときのパラメータ［Ｘｃ，Ｙｃ，Ｚｃ］との６つになる。
３つの回転角度［Ｘθ，Ｙθ，Ｚθ］が対象物体５の姿勢を示し、３つのパラメータ［Ｘｃ，Ｙｃ，Ｚｃ］が対象物体５の位置を示すので、対象物体５の位置姿勢を認識することは、上記６つのパラメータを推定することに相当する。

この発明の実施の形態１においては、６つのパラメータを、
（Ａ１）奥行き位置Ｚｃ、
（Ａ２）２次元位置［Ｘｃ，Ｙｃ］、
（Ａ３）Ｚｍ軸の回転角Ｚθ、
（Ａ４）Ｘｍ、Ｙｍ軸の回転角［Ｘθ，Ｙθ］、
の順に推定する。

以下、パソコン１０は、ステップＳ４の移動処理を実行する。
すなわち、ステップＳ３で認識した対象物体５の位置姿勢パラメータに基づき、対象物体５に対して相対的な指定視点に向けて、センサ２付きのロボットアーム１を移動する場合、ロボットアーム１の有している絶対座標の位置パラメータを指定することにより、ロボットアーム１を移動させる。

ロボットアーム１は、位置パラメータとして、ロボットアーム１の部分の３次元座標［ｘｒ，ｙｒ，ｚｒ］と、３軸（Ｘｒ軸、Ｙｒ軸、Ｚｒ軸）に対する回転角度［Ｘｒθ，Ｙｒθ，Ｚｒθ］とを有している。
ロボットアーム１の作業軸Ｚ１とセンサ２のセンサ軸Ｚ２（ＣＣＤカメラの光軸）とが一致している場合、ロボットアーム１の座標系とカメラ座標系との関係は、同軸（Ｚ軸）上での平行移動関係となる。

したがって、推定された位置姿勢パラメータとロボットアーム１の位置パラメータとの対応関係に基づき、位置姿勢の認識結果から、指定視点へのセンサ２およびハンド部４の移動量をロボットアーム１の移動量に置換して、ロボットアーム１を指定視点に移動させることになる。

こうして、ロボットアーム１を指定視点に移動させた後、ステップＳ５において、センサ２により対象物体５を再度撮影し、パソコン１０は、前述と同様に輪郭画像を取得して、指定視点におけるモデル画像と輪郭画像との誤差を計算し、センサ２およびハンド部４が指定視点に到達したか否かを判定する。

以上のように、センサ２（ＣＣＤ撮像素子またはＣＭＯＳ撮像素子を用いた小型の電子カメラ）を、外付けせずに、ロボットハンド装置のハンド部４（多指ハンド）自体に内蔵し、作業軸Ｚ１とセンサ軸Ｚ２とを一致させることにより、小形で安価な構成で、高精度且つ応用範囲の広いロボットハンド装置を実現することができ、各種の用途に適用したも同等の作用効果を奏する。
たとえば、ハンド部４が多指ハンド（マニピュレータ）であって、対象物体５が把持部品の場合には、対象物体５を撮影した後、センサ２からの撮影情報を用いて、対象物体５の位置姿勢情報（存在位置および傾きなど）をパソコン１０で計算して認識することにより、人間の作業を特に必要とせずに自動的に対象物体５を把持することができる。
また、このとき、作業軸Ｚ１とセンサ軸Ｚ２とが同一線上に設定されているので、ハンド部４とセンサ２との干渉を確実に回避してセンサ２による検出精度を向上させることができる。また、演算が容易であり、画像処理およびフィードバック制御を簡略化することができ、パソコン１０の処理時間を短縮させてコストダウンを実現することができる。

すなわち、ハンド部４（マニピュレータ）の作業軸Ｚ１とセンサ軸Ｚ２（カメラ光軸）とが一致するようにセンサ２が取り付けられているので、座標変換処理などが最小限に簡略化され、パソコン１０の制御負荷を軽減することができ、パソコン１０の作業時間が短縮されるので、コストダウンを実現することができる。
また、センサ２（電子カメラ）は、センサ軸Ｚ２に対してハンド部４が干渉しないように内蔵配置されており、センサ２の視界（センサ軸Ｚ２）を遮るものが存在しないので、対象物体５を確実に且つ正確に検出することができる。特に、ハンド部４（多指ハンド）を広げた状態において、センサ２の視界は最大となる。また、センサ２を駆動するサーボモータが不要となるので、コンパクト化を実現することができる。
また、作業軸Ｚ１とセンサ軸Ｚ２とを一致させたことに加えて、アーム先端部１ａにセンサ２が配置されているので、センサ２から対象物体５までの距離を最短に設定することができ、検出精度をさらに向上させることができる。
上記効果は、視覚制御（ビジュアルサーボ）に適用した場合に、特に有効である。
視覚制御技術の具体例は、たとえば特開２００３−３１１６７４号公報、特開２００３−９４３６７号公報などに参照することができる。

なお、上記実施の形態１では、センサ２として電子カメラを用いたが、他のセンサ手段を用いてもよい。
また、センサ２として１台のＣＣＤカメラを内蔵し、対象物体５のモデルデータを用いて位置姿勢情報を取得する場合を例にとって説明したが、複数（一対または３個以上）のＣＣＤカメラを内蔵してステレオ視覚手段を構成してもよい。
この場合、センサ２（電子カメラ）は、作業軸Ｚ１に対して垂直方向に且つ対称位置に配列された一組（たとえば、一対）の電子カメラ部（立体センサ）により構成され、センサ軸Ｚ２は、複数の電子カメラ部の光軸により合成されて形成されることになる。
このように、２台以上のＣＣＤカメラを用いた場合には、パソコン１０内で対象物体５の奥行きを含めた３次元的認識処理時に、モデルデータを不要にすることができる。
また、センサ２として、電子カメラのみならず、レーザ、超音波または磁界を用いた変位センサ（エリアセンサ）とを組み合わせて用いてもよい。
この場合、変位センサとの組み合わせにより、対象物体５の位置姿勢情報をさらに高精度に取得することができる。
また、上記実施の形態１では、モデル・ベースド・マッチング手法に基づく位置姿勢認識処理を例にとって説明したが、他の手法に基づく位置姿勢認識処理を適用しても、同等の作用効果を奏することは言うまでもない。
さらに、センサ２からの信号を用いてロボットアーム１またはハンド部４を制御する一般的な手法に対し、この発明が適用可能なことは言うまでもないことである。

この発明の実施の形態１に係るロボットハンド装置を示す斜視図である。 この発明の実施の形態１を用いた視覚制御システムを概略的に示す構成図である。 この発明の実施の形態１による座標変換処理を示す説明図である。 この発明の実施の形態１による視覚制御処理を示すフローチャートである。

符号の説明

１ ロボットアーム、１ａ アーム先端部、２ センサ（電子カメラ）、３ ハンド支持部、４ ハンド部、５ 対象物体、１０ パソコン（画像処理手段、視覚制御手段）、１１ 通信手段、Ｚ１ 作業軸、Ｚ２ センサ軸。

Claims (7)

1. 作業対象に対して所定のシーケンス動作を行うハンド部と、
   前記ハンド部を支持するロボットアームと、
   前記作業対象に向けられたセンサと
   を備えたロボットハンド装置において、
   前記ロボットアームおよび前記ハンド部により形成される作業軸と、前記センサから前記作業対象に向けられたセンサ軸とを一致させたことを特徴とするロボットハンド装置。
2. 前記ロボットアームと前記ハンド部とを接続するために前記ロボットアームの先端部に設けられたハンド支持部を備え、
   前記センサは、前記ハンド支持部に設けられたことを特徴とする請求項１に記載のロボットハンド装置。
3. 前記ハンド部は、開閉動作する多指ハンドにより構成され、
   前記センサは、前記多指ハンドの作業軸に配置されたことを特徴とする請求項１または請求項２に記載のロボットハンド装置。
4. 前記センサは、電子カメラを含むことを特徴とする請求項１から請求項３までのいずれか１項に記載のロボットハンド装置。
5. 前記電子カメラは、前記作業軸に対して垂直方向に且つ対称位置に配列された一組の電子カメラ部により構成され、
   前記センサ軸は、前記複数の電子カメラ部の光軸により合成されて形成されたことを特徴とする請求項４に記載のロボットハンド装置。
6. 前記センサは、レーザ、超音波または磁界を用いた変位センサを含むことを特徴とする請求項４または請求項５に記載のロボットハンド装置。
7. 前記電子カメラにより撮影された画像を処理する画像処理手段と、
   前記画像処理手段の処理結果を用いて前記ハンド部を駆動する視覚制御手段と
   を備えたことを特徴とする請求項４から請求項６までのいずれか１項に記載のロボットハンド装置。

Images