JP2009241247A - ステレオ画像型検出移動装置 - Google Patents

Abstract

【課題】ワークの三次元位置姿勢及び形態を簡便迅速に計測し、計測された情報によりロボットアーム先端部及びロボットハンドを迅速かつ精密に操作できる装置を提供する。
【解決手段】本装置は、画像を用いて、ワークを把持し移動させる装置であって、ワークを撮影するカメラと、ハンド部を有するロボットアームと、カメラにより撮影された画像を処理する画像処理部と、処理された画像に基づいてワークの三次元位置姿勢や形態を検出する検出部と、検出された情報に基づいてアーム先端部とロボットハンドを操作する制御部とから構成される。そして、上記カメラが２つ以上の独立したレンズ機構を有し、各レンズ機構を介した映像を１つの撮像素子上にエリアを分割して撮像し、又は各レンズ機構を介した映像を並列配置した２つの撮像素子上に撮像するステレオカメラであり、カメラが上記ロボットアームの先端部に装着される。
【選択図】図１

Description

本発明は、複数のレンズ機構を有するカメラを利用することによりワークを把持し、移動させる装置に関するものである。

工業製品製造現場等でロボットを用いるのはごく一般的になっているが、ロボットアーム等移動体を対象物に向けて移動させる必要がある場合には、ワークとの位置関係の微妙な調整を考慮して、人間が操作を行うケースが多い。

対象物への認識のために製造ラインにカメラを配置するケースも多く見られるが、固定位置からの撮影であり、多くは色彩の相違や明暗を認識して不良品の判別を行う等に利用されるものであった。

異なる位置にある複数のカメラにより、物体に対する角度差を利用して物体の高さを計測する提案がなされている（特許文献１）。しかし、設定された角度により決定された位置に２台のカメラを配置しなければならず、ロボットの移動に合わせて追加情報を提供することはできない。

又、２台のカメラを用いて、ロボットのキャリブレーションを提供する提案がある（特許文献２）。しかし、５箇所以上の計測点でワークを撮影することが必要で、設定に手数がかかる。

又、２台のカメラ間で同一対象物の像同士の対応づけを行うことによる３次元位置姿勢検出手段を提供するものもある（特許文献３）。しかし、これも２台のカメラの位置の相違を調製するために３個以上の参照点位置を定める必要がある。

特開昭６２−１６２９１２号公報 特開２００５−１８６１９３号公報 特開２００４−９０１８３号公報

本発明はこれらの問題点を解決するために、カメラポジションに関する複雑な設定や煩雑な配置をすることなく、ワークの三次元位置姿勢及び形態を簡便迅速に計測し、計測された情報によりロボットアーム及びロボットハンドを迅速かつ精密に操作することを目的とするものである。

上記課題を解決するために、本発明に係るステレオ画像型検出移動装置は、ワークを撮影するカメラと、ハンド部を有するロボットアームと、前記カメラにより撮影された画像を処理する画像処理部と、前記画像処理部により処理された画像に基づいてワークの三次元位置姿勢及び／又は形態を検出する検出部と、前記検出部により検出された情報に基づいて前記ロボットアームと前記ハンド部を操作する制御部と、により構成され、前記カメラの撮影画像を用いて、前記前記ハンド部を有するロボットアームが前記ワークを把持し及び／又は移動させる装置において、前記カメラが２つ以上の独立したレンズ機構を有し、各レンズ機構を介した映像を１つの撮像素子上にエリアを分割して撮像し、又は各レンズ機構を介した映像を並列配置した２つの撮像素子上に撮像するステレオカメラであり、かつ、前記カメラが前記ロボットアームの先端部に装着されることを特徴とする。

ロボットアームの先端部をワークの真上又は正面位置に伸ばすと、ロボットアームの先端部に装着された複数のレンズ機構を有し、各レンズ機構を介した映像を１つの撮像素子上にエリアを分割して撮像し、又は各レンズ機構を介した映像を並列配置した２つの撮像素子上に撮像するステレオカメラカメラ（以下、「本件ステレオカメラ」という。）はワークに正対する。この場合に、左右又は上下(以下、「左右」という。）の各レンズを通して撮影されるワークの像の対応点のズレ、すなわち視差を利用して、三角測量の原理によりカメラからワークまでの距離及び角度を算出することができる。
具体的にはステレオ画像で得られる２つの画像に映るワークの像の位置の差を撮像素子上のピクセル単位で測ることで、カメラ中心位置からワークの各ポイントまでの距離を正確に算出することが出来る。
なお、従来型のレンズとＣＣＤ等の撮像素子をそれぞれ別々に有するカメラを組み合わせるステレオカメラでは、撮像素子間に存在する色や感度の微妙な差を修正する色調整が大変であること、各カメラの位置調整をユーザーが行う必要があること、カメラの取り付ける場所が必要なこと等の問題があった。そこで本発明では、１枚のＣＣＤ等の撮像素子エリアを２つに分割すると同時に２つの独立した光学系を通して撮影されるようにして２つのステレオ画像を得られるようにすることで、撮像素子を複数用いるために発生する色調整や位置調整を無くすことを特徴とする。
なお、１枚の撮像素子の代わりに、同じロットで作られた特性が非常に近い２枚の撮像素子を精度よく並列配置する方法でもよい。

又、前記画像処理部と前記検出部が、前記カメラと一体となったセンサとして、前記ロボットアームの先端部に装着されていることを特徴とするステレオ画像型検出移動装置が提供される。離れた位置にある複数台のカメラの画像を利用するロボットでは、複数台のカメラを支持するためにロボットアームを大型にせざるを得ず、設置の際にステレオ画像を得るための調整が困難で、又、各画像データをロボット本体に伝送するためのケーブルも複数必要であった。本発明では、本件ステレオカメラで撮影された撮像が、カメラと一体化した画像処理部及び検出部で処理され、処理された後の情報のみが制御部に伝送される。

又、前記カメラ及び／又は前記ハンドが、前記ロボットアームの先端部における位置の変更機構を備えていることにより、前記ステレオ画像型検出移動装置の操作段階に応じて、前記ロボットアームの先端部における位置を変更することを特徴とするステレオ画像型検出移動装置が提供される。本件ステレオカメラもロボットハンドも、単独配置の場合は、いずれもロボットアームの先端中央部に配置されることが好ましい。もちろんハンド形状や対象物によってはハンドの外側に配置した方がよいこともある。いずれにせよスライド、回転等によって作業状況に応じた各々の配意位置の変更をすることができる。

又、前記制御部は、撮影された画像に基づいて、前記カメラの位置を前記ワークに正対する位置に位置補正する機能を有することを特徴とするステレオ画像型検出移動装置が提供される。
ここで、位置補正の方法としては、まずステレオ画像で得られる２つのワーク画像の位置の差を撮像素子上のピクセル単位で測ることで、カメラ中心位置からワーク画像の各ポイントまでの距離を正確に算出すると同時に、その各ポイントの距離・位置からカメラとワークの座標位置・傾き角度の関係が導き出せる。その情報に基づいてカメラすなわちロボット先端部の位置をワークに正対する位置・角度に移動させるための指示を与えて駆動することが可能で、上記の手順は正対するまで繰り返すことが可能である。なお位置補正の方法は他にもありこの方法に限定されるものではない。

又、前記ロボットアームの先端部の三次元位置姿勢を教示するティーチング装置を更に備え、前記ワークに近接するまでは、ティーチング装置又はティーチングデータに基づいて前記ロボットアーム先端部を操作し、前記ワークに近接した後は、前記検出部で検出された情報に基づいて、前記ロボットアーム先端部と前記ハンド部を操作することを特徴とするステレオ画像型検出移動装置が提供される。
長い距離を比較的粗い位置精度でロボットを移動させるような用途にはティーチングが向いている半面、近接してからの微調整はティーチングの工数が大幅に増加する。
またステレオカメラを利用したステレオマッチング法等によるワークの三次元位置姿勢測定は近接距離では極めて高い精度が得られる半面、一般に距離が離れると測定精度が落ちる。
したがって、ワークとの距離が遠い状況ではロボットに動作を教示するティーチング装置を利用してアーム先端部をワークに近接させ、ワークとの距離が適切に近接した後は本発明に係るステレオカメラを利用してワークの三次元位置姿勢測定を行ってワークへの作業を行えば、長い距離の移動は簡便にティーチングで行うと同時に近接時にはステレオ画像による正確で速やかなワークへの移動が効率的に行える。

又、上述のステレオ画像型検出移動装置を備えたティーチング装置であって、前記ティーチング装置が、可動部に変化量検出センサを有する関節を含む関節群と、前記変化量検出センサから出力されるセンサ信号を処理する処理部と、前記処理部により処理されたデータを伝送する通信部と、により構成される多関節構造体（以下、「ＦＳＴ」という。）、前記通信部から伝送されたデータを演算編集する演算編集部と、前記演算編集部に対して付加指示情報を入力する入力部と、前記演算編集部により演算された位置姿勢情報を出力する出力部と、を備え、前記多関節構造体の１又は複数の先端関節の移動に伴う隣接する各関節間の角度及び／又は軸回転の変化量を計測し、かつ、前記１又は複数の先端関節における移動に伴うすべての関節間の変化量を合算又は先端関節ごとに合算することにより、前記多関節構造体の１又は複数の先端関節の移動前の三次元の相対的位置姿勢に対する移動後の三次元の相対的位置姿勢を算出し、算出された位置姿勢情報又は該算出された位置姿勢情報に前記付加指示情報を加えて処理作成された修正位置姿勢情報を出力することにより、基準原点に対する前記ロボットアーム先端部の三次元相対的位置姿勢を教示して追随移動させることを特徴とする多関節構造体型ティーチング装置が提供される。

係るティーチング装置の場合、ＦＳＴを構成する関節は隣接する関節との傾斜角の形成及び/又は軸の回転が可変となった可動部を有している。又、各関節可動部には変化量を計測するポテンショメータ等のセンサが備えられている。ロボットにハンドの移動先を教示する場合、先ず、操作者はＦＳＴの先端関節と教示するロボットのハンドを開始位置に設定する。
次に、ＦＳＴの先端関節をロボットのハンドの到達すべき地点に対応すると思われる地点の付近に移動させる。このとき、先端関節の三次元の位置の変化量は、センサにより計測されるすべての関節の各々の傾斜角度と回転角度の合算によりたちどころに演算処理され、算出された三次元位置姿勢情報は出力部からロボットの制御部に伝送される。伝送された情報に基づき、ロボットの制御部よりハンドの移動指示がなされ、ハンドはＦＳＴの先端関節にほぼリアルタイムに追随する。操作者はかかるハンドの動作を観察し、必要な方向等の修正を加えつつさらに先端関節を移動させる。このような作業を繰り返すことにより先端関節の移動によって、ロボットのハンドを正確な到達すべき地点に導くことができる。
以上記載したようにこの手段を用いることで、さらにティーチング作業を簡単かつ柔軟に行うことが可能となる。

又、前記記載のステレオ画像型検出移動装置又は前記記載の多関節構造体型ティーチング装置を含むステレオ画像型検出移動装置であって、前記ワークの不良品判別ないし種別判別を行う判別部を更に備えたことを特徴とするステレオ画像型検出移動装置が提供される。

又、前記記載のステレオ画像型検出移動装置又は前記記載の多関節構造体型ティーチング装置を含むステレオ画像型検出移動装置であって、前記カメラの前面にワイパー機構を加えたことを特徴とするステレオ画像型検出移動装置が提供される。

又、前記記載のステレオ画像型検出移動装置又は前記記載の多関節構造体型ティーチング装置を含むステレオ画像型検出移動装置であって、前記カメラのレンズ機構の一部または全部を非球面とすることにより、画像歪みを無くすことを特徴とするステレオ画像型検出移動装置が提供される。非球面レンズの採用により歪み補正機構が不要となり、さらに軽量化を図ることができる。

又、前記記載のステレオ画像型検出移動装置又は前記記載の多関節構造体型ティーチング装置を含むステレオ画像型検出移動装置であって、前記カメラにより撮影された画像の伝送及び／又は前記カメラへの電力供給を無線で行うことを特徴とするステレオ画像型検出移動装置が提供される。

又、前記記載のステレオ画像型検出移動装置又は前記記載のＦＳＴ型ティーチング装置を含むステレオ画像型検出移動装置であって、前記カメラにより撮影され、前記検出部により検出される前記ハンド部の一部又は全部の三次元位置姿勢及び/又は形態及び/又はハンド部に付与した標識を基準情報として前記カメラの位置を補正することを特徴とするステレオ画像型検出移動装置が提供される。前記カメラにより撮影された画像の中のハンド部の位置・角度・傾斜の情報を基準情報とすることで、カメラのロボット取り付け位置がずれたとしても自動的にそのカメラとハンド部間の位置・角度・傾斜情報を得て自動的にカメラ位置の補正することが可能となる。ハンド部に丸穴、突起、印字など認識可能な標識を付与し、それを基準情報としても同様に補正が可能となる。

又、上述のいずれかのステレオ画像型検出移動装置又は多関節構造体型ティーチング装置により、画像を用いて、ワークを把持し及び／又は移動させる方法が提供される。

又、上述のステレオ画像型検出移動装置又は上述のＦＳＴ型ティーチング装置であって、前記カメラに単一のオートフォーカス機構及び／又はズーム機構を備えたことを特徴とするステレオ画像型検出移動装置が提供される。前述の通り本発明に係るステレオ画像型検出移動装置により、左右両レンズ群によって撮影された撮像の視差を利用してカメラ位置からワークまでの距離を算出できる。したがって算出された距離情報に基づき各レンズ群内に設けた複数のレンズ間の距離をレンズ駆動手段（アクチュエータ）によって調整することにより焦点の合った画像を撮影することができ、正確な距離の測定や正確な画像の認識ができる。撮像の視差を利用することに代えて、又は撮像の視差を利用することに加えて、撮影された画像のコントラストを計測し、それに基づいて焦点の合った画像を撮影することも可能である。合焦点用距離測定手段及びレンズ間距離調整のためのアクチュエータは単一なので、両レンズ群内のレンズ間の距離の調整は同時に一括して行われる。又、単一のオートフォーカス機構に代えて、又は加えて単一のズーム機構を備えることにより、ワークまでの距離に応じて適切な画角にズーム調整することができ、正確な距離測定や画像認識を行うことができる。ズーム機構手段のためのアクチュエータは単一なので、両レンズ群内のレンズ間の距離の調整は同時に一括して行われる。

又、対象物に対する別の距離計測手段及び/又は照射手段をさらに備えたことを特徴とする前記記載のステレオ画像型検出移動装置が提供される。赤外線を含めた電磁波、超音波等を照射してアクティブに対象物との距離を求める。この別途計測手段は、視差画像や画像コントラストによる距離計測に代わる手段として、又はそれを補完し精度を向上させる手段として用いられる。

又、上述のステレオ画像型検出移動装置又は上述のＦＳＴ型ティーチング装置であって、さらに加速度センサ及び/又はジャイロスコープを備えたことを特徴とするステレオ画像型検出移動装置が提供される。加速度センサとジャイロスコープを組み合わせた場合には、基準位置からの移動方向及び距離を計測することができる。上述のステレオ画像型検出移動装置では、撮影されたワークの画像からワークまでの方向及び距離を検出し、検出部で検出された情報に基づいて、制御部からの指令に基づき前記ロボットアーム先端部と前記ハンド部の移動が実施されるが、実施された移動方向及び/又は距離の検証をすることが加速度センサ及び/又はジャイロスコープを備えることにより可能となるのである。

又、上述のステレオ画像型検出移動装置又は上述のＦＳＴ型ティーチング装置であって、前記カメラに単一の手ぶれ補正機構を備えたことを特徴とするステレオ画像型検出移動装置が提供される。本発明に係るステレオ画像型検出移動装置において、前記ロボットアーム先端部と前記ハンド部が移動を開始する際に回転や横方向等のぶれが生じ、撮影されるワークの画像がいわゆる手ぶれ画像となる場合がある。前記ロボットアーム先端部と前記ハンド部の移動や停止は制御部の指令に基づき行われるので、手ぶれ補正機構は制御部の移動等指令信号を受信することにより移動や停止の内容を認識できる。よって、移動や停止に伴うカメラ部の回転等のブレを予測でき、移動開始に伴うカメラ部のブレが生じるのとほとんど同時に、カメラ部のブレを打ち消す補正機構の駆動を開始させることができる。タイムラグのない手ぶれ補正を行うことができるのである。本発明に係る手ぶれ補正機構は電子式、光学式、撮像素子シフト式等いずれの手ぶれ補正機構にも使用可能であり、特定の方式に限定されない。また、静止状態から移動を開始する場合や移動中のカメラ部を停止させる場合以外にも、移動中の速度変化や移動方向の変化により発生するカメラのぶれについても、同様に補正機構の駆動を開始させることが可能である。又、上述の加速度センサやジャイロスコープを利用することによって、若干のタイムラグは生じるものの、移動に追随した手ぶれ補正機構の発動が可能となる。なお、手ぶれ補正機構は単一であって、両レンズ機構内の手ぶれ補正は同時に一括して行われる。なお、カメラに対する衝撃や連続してロボットから発生する振動などを吸収する手段を加えることで画像のブレを軽減し、手ぶれ補正機構を発動させる対象をスクリーニングすることができる。

又、上述のステレオ画像型検出移動装置又は上述のＦＳＴ型ティーチング装置であって、少なくとも、地磁気センサ、及びジャイロスコープ又は加速度センサの組み合わせにより構成される検出センサ、又は地磁気センサ、及びジャイロスコープ又は加速度センサ、及びＧＰＳの組み合わせにより構成される検出センサを備えたことを特徴とするステレオ画像型検出移動装置が提供される。地磁気センサにより前記ロボットアーム先端部と前記ハンド部の絶対方位が把握できるので、ワークに向かって移動する場合に、その移動方向について検証することができる。地磁気センサは、限定されるものではないが、傾斜状態の使用のために３軸によるものが好ましい。地磁気センサに加速度センサ又はジャイロスコープを組み合わせることにより、絶対方位に加え、前記ロボットアーム先端部と前記ハンド部の傾斜も検出することが可能となる。加速度センサも３軸のものが好ましい。又、ＧＰＳをさらに組み合わせることにより、自己位置と絶対方位を含めたカメラ部の姿勢が認識できる。

又、上述のステレオ画像型検出移動装置又は上述のＦＳＴ型ティーチング装置であって、前記カメラ部の移動情報及び/又は傾斜情報に基づいて、撮影された映像の傾きを補正して表示することを特徴とするステレオ画像型検出移動装置が提供される。移動情報及び/又は傾斜情報によって、撮影されている画像が天地逆などの傾斜した状態となっていることが認識された場合、ステレオカメラそのものを回転させることなく、画像の傾斜のみを傾斜した差分を相殺する補正により修正した画像を表示し、操作者に操作容易な画像とするのである。

又、前記カメラが、前記のいずれかに記載のステレオ画像型検出移動装置又は前記記載の多関節構造体型ティーチング装置であって、３以上の独立したレンズ機構を有し、各レンズ機構を介した映像を１つの撮像素子上にエリアを３以上に分割して撮像するステレオカメラであることを特徴とするステレオ画像型検出移動装置が提供される。エリア分割は、独立したレンズ機構の数に対応した数に分割することが好適であるが、限定されるものではない。ＣＣＤ等撮像素子のエリアを分割することにより、装置の大型化を避け、かつ、レンズ機構間の調整なしに３以上の複数の画像を獲得することができる。レンズ機構は横に一列に並べるもの、碁盤の目状に縦横に並べるもの等様々な配置が可能である。

又、前記のいずれかに記載のステレオ画像型検出移動装置により、画像を用いて、ワークを把持し及び／又は移動させる方法が提供される。

本発明によりワークの三次元位置姿勢を簡便かつ迅速に検出することができ、検出結果に基づき制御部はロボットアームの先端部を移動させ、又、ワークを把持するためにロボットアームの先端部を停止させることができる。このように移動を続行しながらワークのリアルタイムの三次元位置姿勢を検出し、その情報を制御部にフィードバックして、次の動作を決定することができるので、全体として効率の良い、かつ精密な作業をすることができる。

本発明では、１枚のＣＣＤ等の撮像素子エリアを２つに分割すると同時に２つの独立した光学系を通して撮影されるようにして２つのワーク画像（ステレオ画像）を得られるユニットに構成する。本件ステレオカメラの場合、一式をすべて一つの小型ケースにまとめることが可能である。また撮像素子を１個にすることで、通常撮像素子を複数用いた際に発生する撮像素子間の色調整や位置調整を無くすことが可能となる。全体としても軽量であり、アーム先端部に装着してもロボットアームに負担とならない。なお、前記本件ステレオカメラと画像処理部と検出部を一体化することも可能で、その場合カメラ一体型センサとして扱える。これをロボットアーム先端部に装着した場合、処理された情報のみが制御部に伝送されるので、複数の画像ケーブルを配する必要がない。よって、ステレオ画像型検出移動装置全体を小型軽量化できる。
なお、上記の１枚の撮像素子を用いる代わりに、同じロットで作られた特性が非常に近い２枚の撮像素子を精度よく並列配置する方法も利用出来る。

作業状況に応じて、ロボットハンド又はカメラの位置を移動・回転など変更可能な構成を取れば、ロボットハンド等をカメラの視野の外側に移動することができる。又、ロボットハンド等がカメラの視野を遮る前の段階で適切にカメラを移動させることで視野を遮ることなくワークを安定的に把持・移動することもできる。

撮影開始時点にロボットアーム先端に位置する本件ステレオカメラがワークに正対していない場合、当該位置からワークに斜めに接近してワークの把持等を行うとワークの形状によっては適切に把持できない場合が生じる。先ず、ワークに正対し、それからワークへの接近を開始することで、ワークを誤差少なく適切に把持できる。斜め位置から正対位置までは、ステレオ画像で得られる２つのワーク画像の位置の差を撮像素子上のピクセル単位で測ることで、カメラ中心位置からワークの各ポイントまでの距離を正確に算出して、カメラとワークの座標位置・傾き角度情報が得られる。その情報に基づいてカメラすなわちロボット先端部の位置をワークに正対する位置・角度に移動させるための指示を与えて駆動すれば、ワークに対して平行かつワーク中心に対して正対する位置へのロボットアーム移動が可能になる。

ティーチング装置はロボットアームを比較的大まかに移動させる場合に使用されるが、最後にワークを把持する段階では、精密な位置の調整に手間がかかる場合が多い。一方、本発明に係るペア画像型作業ロボットは近距離、特に２〜３メートル以下に接近すると飛躍的に正確性を増す。したがって、２つの装置をジョイントすることによって、より効率良くワークへの作業を行うことができる。ティーチング装置としては、多関節構造体ティーチング装置が有効である。ＦＳＴとロボットアームの共同作業的なより効率の良い教示が実現される。もちろん、他のティーチング方法と組合せることができる。

画像処理された情報に基づいて、ワークの不良品判別及び/又は種別判別を行うことにより、ワークの選別等とワークへの作業を同時に行うことができる。又、カメラ前面にワイパーを装着することにより、作業中の埃や油のよるカメラ前面の汚れを拭き取ることができ、クリアな視野を確保できる。又、非球面レンズを採用することにより、画像の歪み補正を軽減できる。前記カメラにより撮影された画像の伝送及び/又はロボットへの電力供給を無線で行うことができる。配線を省略することにより重量の軽減、スペースの省略をすることができる。又、のハンド部の位置・角度・傾斜の情報を基準情報とすることで、カメラのロボット取り付け位置がずれたとしても自動的にカメラ位置の補正することが可能となる。
上述のステレオ画像型検出移動装置により、画像を用いて、迅速正確にワークを把持し及び/又は移動させる方法が提供される。

オートフォーカス機構の搭載によりワークの鮮明な画像が撮影され、ワークへの角度、距離の算出がより正確に行えるようになる。又、ワークを把持する際に、ワークの形状を正確に認識することにより把持位置を誤認することを防止できる。又、ズーム機構の搭載によりワークまでの距離に応じて最適な画角すなわち画像の分解能を得ることが可能となる。

又、赤外線照射等アクティブな別系統の照射及び距離算出手段を設けた場合には、暗所でも作業やコントラストの低いワークであってもカメラの合焦点が容易で、より鮮明な画像を撮影することができる。

加速度センサ及び/又はジャイロスコープの搭載により、画像情報に基づき実行される移動について、別手段により検証することができる。よって、誤った方向への移動を修正することができる。又、画像情報に基づく移動が故障等によりできなくなった場合に、その機能を補完することができる。

手ぶれ補正機構の搭載により、移動開始時及び移動時におけるステレオカメラの回転等によってワーク画像が不鮮明になることを防止することができる。一般の手ぶれ補正機構は意図せざる手ぶれによるカメラの回転等に基づく画像の不鮮明さを事後的に補正するものである。しかし、本発明に係る手ぶれ補正機構は、制御部によって指示される前記ロボットアーム先端部と前記ハンド部の移動に付随して発生するステレオカメラの回転等に基づくワーク画像の不鮮明さを補正するものである。したがって、事後的に補正するのではなく、前記ロボットアーム先端部と前記ハンド部の移動に伴い予測されるカメラの回転等に対し、回転等するのと同時にそれを打ち消す補正をすることが可能となる。いわば、手ぶれの予測に基づいてリアルタイムに手ぶれ補正をすることが可能となるのである。このため、本発明に係る装置はワークへの距離及び/又は方向、ワーク形状を正確に計測、認識することができ、円滑にワークへ接近しかつ把持することができる。振動吸収手段を付与することでロボットハンドやカメラが受ける衝撃や連続発生している振動を軽減し、手ぶれ補正機構による補正効果をより完全なものにすることが可能となる。

地磁気センサによって絶対方位を認識でき、加速度センサやジャイロスコープとの組み合わせにより方位に加えてステレオカメラ及びステレオカメラを装着しているロボットアーム先端部の姿勢を把握することができ、それに基づいて、ステレオカメラ及びロボットアーム先端部の傾きの修正を行うことができる。又、ＧＰＳを加えることにより、画像によらないでワークへ接近することもでき、画像情報による装置の移動を補完又は代替することも可能となる。

上述のロボットアーム先端部の移動及び/又は傾斜の情報に基づいて、ステレオカメラによって撮影される画像の上下を反転するなど傾斜を補正して表示することができる。ノーマルな画像に切り替えて画像提供することにより外部操作等を円滑に行うことができる。

例えば４枚の画像を撮影して１枚の撮像素子に縦方向・横方向のそれぞれを２分割配置することにより４方向からの撮影角度が異なる映像でワークの形状を把握できる。ステレオ画像対比も横２組縦２組斜め２組の６通り可能となり、ワークとの位置合わせや把持部分の特定を正確に行うことができる。横方向にワイドに３分割配置した場合は、ワークの立体的形状をより正確に把握できる。例えば前面が広くて背面が狭い、側面が斜面状となっている形状のワークを認識する場合には、レンズ機構が２つの場合には左右どちらのレンズ機構による画像も平面状となって立体形状を認識することが困難な場合がある。横方向にワイドに並べられた３つのレンズ機構による画像であれば、ワークの側面の画像を撮影できる可能性が高くなり、立体形状を認識することができる。この他に横方向３分割・縦方向２分割など色々と組み合わせを考えることが可能である。

以下、本発明の最良の実施形態に係るステレオ画像型検出移動装置について図面を参照しつつ詳細に説明する。図１は本発明に係るステレオ画像型検出移動装置の全体図である。装置１はロボットアーム２とロボットハンド３とカメラ一体型センサ４と制御部７により構成されている。図示していないが、カメラ一体型センサで処理又は検出された情報は有線あるいは無線で制御部に伝送される。なおカメラ一体型センサでは、ワークを撮影するためのカメラ４Ｃと、画像処理部５と、処理された画像に基づいてロボットハンドから見たワークの三次元位置姿勢及び／又は形態を検出する検出部６は一体にまとめられていても、画像処理部、制御部を別に配置してもよい。又、制御は同様に図示していないサーボモータに組み込まれたエンコーダによるが、これに限定されるものではない。なお、８は作業対象のワークである。

図２は、ロボットアームの先端部に装着したカメラ一体型センサ４の拡大図である。本図に示すカメラ一体型センサの例では、ロボットアーム先端部近くに取り付けるステレオカメラ４Ｃと撮影した画像の処理部５と処理された画像からワークの三次元位置姿勢や形態を検出する検出部６が一体化して装着されている。前記ステレオカメラ４Ｃには、保護用の前面ガラスを設け、その内部には２組の独立した撮像を可能とするためのレンズ機構９を２組配置し、また１枚のＣＣＤ等の撮像素子エリアを論理的に２つに分割して前記のレンズ機構をそれぞれ通る２つの独立した映像を同時に撮影出来るようにすることでステレオ画像を得られる撮像部を配置すると共に、その撮像素子からの映像信号を変換・出力する回路を有する。このようにステレオカメラ４Ｃを構成すれば、別々にカメラを設置して構成する場合に比較して、撮像素子を複数用いた際に発生する素子間の色調整やステレオ状態にするための位置調整を不要にすることが出来る。また１枚の撮像素子上に論理的に２つのステレオ画像があることから、物理的には常に１つの画像信号として取り扱えるため回路や配線をすべて半減させることが出来る。
あるいは１枚の撮像素子を使用する代わりに、同じロットで作られた特性が非常に近い２枚の撮像素子を精度よく並列配置する方法も採用出来る。しかしながらこの場合は一体化でまとめることが出来るものの出力信号など物理的には２系統存在するため、上記のようなコスト削減は出来ない。なお、本図ではロボットハンド３は省略されている。

図３は、ロボットアーム先端に装着されているロボットハンド３の図である。カメラ一体型センサ４もロボットハンド３もロボットアームの先端部近くに装着されることが必要であるが、ロボットハンド３が常にワーク方向に伸びている状態の場合、ステレオカメラ４Ｃのワーク撮影において障害となることがある。本実施形態に係るロボットハンド３は回転機構を備えているので、カメラ一体型センサ４の視野をハンド３が遮る場合、ハンド３を適切に回転して視野を確保することが出来る。又、ロボットアーム先端部がワーク８に接近しているときはハンド３を後方に移動させて視野を確保し、ワーク８に近接してロボットアームが停止してワーク８の三次元位置姿勢及び/又は形態を十分に捉え、認識できる状態となった段階でハンド３を前方すなわちワークを把持する位置に移動させることも可能である。さらに、ロボットアームの先端位置に対してカメラ一体型センサ４を移動・回転させる構成も可能である。カメラ一体型センサ４が絶えず移動するような場合でも、カメラ一体型センサ４の前記移動量・回転量の情報を距離演算処理に加えることで適切にワークの位置を把握することが出来る。

本発明によるワーク８の三次元位置姿勢の検出について、図２に基づいて説明する。
今、ロボットアーム２の先端部はワーク８の真上に配されて、カメラ一体型センサ４はワーク８と正対している状態である。カメラに配置された左右のレンズ機構９によりワーク８が同時に撮影され、カメラ内のＣＣＤ等の撮像素子に記録される。レンズ機構９は平行に２組配置されることから撮影された画像は微妙に左右で相違しているが、それぞれのワーク８の画像情報から得られるエッジ部などユニークに特定できる情報に着目すると、当該箇所の両画像の位置すなわち撮像素子上のピクセル位置の差分情報が得られる。この差分情報からワーク８のエッジの距離情報が三角関数を用いて簡単に算出出来る。あるいは他方の画像のどの部分に対応するかを面積相関により求め、その対応関係を用いて三角測量によりワークの三次元位置を検出する方法でもよい。これらのステレオマッチング法を利用することで、ワークとロボットアーム先端部間の距離や、複数のエッジ情報を基にワークの測定対象部の角度を算出することができる。以上の情報を得た後に、ハンドがワークを把持する位置を算出して、その位置までロボットアーム並びにロボットハンドを移動させる指示を出すことで、ワーク位置までロボットアームが移動し、把持指令を出せば正しくワークを把持することが実現する。なおワークを把持するまでの間は、画像処理センサ信号を連続処理して絶えず位置補正を行っても良いし、あるいは停止位置で算出した情報だけでその後のロボット制御を行う方法も可能である。

なお本構成では、カメラで写される映像の中にハンド部３が必然的に入ってくる。そのハンド部３で視野が遮られないようにハンド部３あるいはカメラを移動や回転させる方法は既述であるが、そのハンド部３の映像情報から得られるカメラとハンド部３間の位置・角度・傾斜の情報を積極的に活用することも出来る。例えばハンド３が閉じた状態つまりカメラ視野のほとんどがハンド部３の映像で占められる状態をカメラとハンド部３間の基準位置情報として学習・記憶すれば、その後運用中にカメラの位置がずれたとしても、ハンド３の映像情報から都度カメラとハンド部３間の位置・角度・傾斜情報を求めることが出来るので、何らカメラ位置調整などの機械的調整を行うことなく自動的にカメラ位置補正が可能となりロボットの運用性を著しく高めることが出来る。

次に、ロボットアーム２の先端部がワーク８の真上に配されていない場合の位置補正について図４に基づいて説明する。図４Ａではロボットアーム２の先端部がワーク８の左側にずれた位置にある。この場合、ステレオカメラ４Ｃの右のレンズに撮影されるワークは図４Ｃ−Ｒの状態になる。一方、左のレンズに撮影されるワークは図４ＡＣ―Ｌの状態となる。図２では左右カメラによる撮像は相違しているものの左右対称であった。
一方、本図ではワークはいずれも右に傾斜しており、４Ｃ−Ｌがより強く傾斜している。そのままワークに直線的に向かっていく制御も可能であるが、真上からハンドを下ろしてワークを把持することが安全性の面から望ましい。したがって、検出部６で検出したワーク８の三次元位置に基づいて、制御部７の指令によってロボットアーム先端部はまず右方向に移動する。次にワークの傾斜角度情報を算出して、正対する角度位置にロボットアームを移動あるいは回転させる。角度調整を行った結果、位置が再度ずれる場合があるが同様に正対位置にロボットアームを移動すればよい。さらにワークまでの距離を算出して、適切な位置にロボットアームを移動あるいは回転させる。これらの作業を繰り返すことで、どの位置からもロボットアームをワークに正対させることが可能となる。これらの移動あるいは回転によって角度調整ロボットアーム先端部がワークに正対する位置に到達したときは、左右のレンズで撮影される画像は左右対称でワークに十分に近接した状態、すなわち図４Ｄの状態となる。以上の情報を得た後に、ハンドがワークを把持する位置を算出して、その位置までロボットアーム並びにロボットハンドを移動させる指示を出すことで、ワーク位置までロボットアームが移動し、把持指令を出せば正しくワークを把持することが前例同様に実現する。

図５はステレオカメラの前面の正面図である。本発明に係る作業ロボットは製造現場で用いられることが多いので、作業中に埃や油が付着して撮像に支障を来たす場合がある。図５によりステレオカメラ前面のガラス部分にワイパー１０を設置しており、かかる事態を防止している。

次に、本発明により、ベルトコンベア上を流れる化粧品のボトル（ワーク）を把持して移動し、梱包箱に詰める場合について図６に基づいて説明する。先ず、ティーチングデータ等の手段でロボットアーム先端部をワーク８の真上に移動させる。同時にカメラ一体型センサによってワーク８の三次元位置が検出される。しかし、ベルトコンベア上のワークは移動し続けており、ロボットアーム先端部に対する位置は逐次変化する。この位置変化による新たなワークの三次元位置の検出に基づく上記位置補正機能を用いた制御部の指令により、ロボットアーム先端部はワークの移動方向に追随し、ワークに追いつき、正対した位置に到達する。以降、この動作を繰り返すことで、ロボットアーム先端部はワークの位置を連続ホールドした状態となり、コンベアの移動方向に同じ速度で移動を継続する。次に、ロボットアーム先端部から真下にあるワークまでの距離及び角度情報がカメラ一体型センサによって検出され、検出された情報に基づいた制御部の指令によりロボットアーム先端部はワーク８に向かって接近する。ロボットアーム先端部が把持ポイントに接近すると、検出された距離及び角度情報に基づいて制御部７がロボットアーム先端部の移動停止指令及びロボットハンド３に対する把持指令を発する。ロボットハンド３は回転してワーク８を把持して持ち上げる。作業ロボット１はロボットハンド３でワーク８を保持しつつ、梱包箱まで移動させた後にリリースする。

次に、ティーチング法によりロボットアーム先端部をワーク８に接近させ、その後上述の方法を使用する場合について、図７、図８に基づいて説明する。ティーチング法としては、多関節構造体（ＦＳＴ）を用いたＦＳＴティーチング法を用いる。

図７は床置きタイプのＦＳＴティーチング装置１１である。ＦＳＴティーチング装置１１は操作テーブル１２とＦＳＴ１３とアタッチメント１４より構成されている。操作テーブル１２には入力用のインターフェイスとしてタッチパネルと操作キーが組み込まれている。入力用のインターフェイスとしては本実施例に限定されないのは勿論である。例えば操作テーブルを小型化して操作用のボタン等を一切設けず、パソコンに接続してパソコン側から入力するようにしても良い。又、ＦＳＴティーチング装置１１は人体に装着すると、移動を重ねながらティーチングすることが可能となる。

ＦＳＴ１３は多数の関節により構成され、関節にはアタッチメント１４が取り付けられており、先端関節はアタッチメント１４の先端まで延長して取り付けられている。また、アタッチメント１４には手元操作用として操作テーブルの入力用インターフェイスと同機能を有したジョイスティック１５及び図示していないボタンが取り付けられている。ロボットへのティーチングの開始後は先端関節とほぼ同位置にあるジョイスティック１５を用いて付加情報を入力する方が便宜である。

図８はＦＳＴの一例である。本ＦＳＴは先端関節と後端関節と折り曲げ関節と軸回転関節とダミー関節により構成されている。関節間にはすべて可動部１６が装着されている。可動部１６は円滑に運動するように低摩擦樹脂で形成されているが、ベアリング等でも良い。可動部１６はいずれも１自由度であるが、折り曲げ関節と軸回転関節がバランス良く配置されているため、ＦＳＴ全体では任意の三次元位置へと容易に進むことができる。勿論２自由度以上であっても良い。又、可動部にはそれぞれポテンショメータ１７が備えられ、いくつかの関節にはＣＰＵ１８が配置されている。

次に、ＦＳＴ１３の移動に伴う変化量の演算、送信について説明する。ＦＳＴ１３の先端部が移動等したとき、移動に伴い各関節間の角度が変化する。一方、各関節間の長さは変化しない。したがって、角度の変化を合計すれば、移動等前の三次元位置姿勢に対する移動後の三次元位置姿勢が判明する。関節間の角度の変化はポテンショメータ１７で計測され、計測データはＣＰＵ１８に送られる。ＣＰＵ１８はＣＡＮ通信機能を有しており、本多関節構造体全体で１つのＣＡＮネットワークが構築されているので、すべてのＣＰＵ１８から操作テーブル１２内の演算編集部に直接無線送信されて演算される。先端関節が分岐している場合には、各々の先端関節について移動に伴う角度変化が計測される。したがって、分岐した先端部の開閉等の動作についても三次元位置の変化として計測される。操作テーブル内演算編集部で演算された先端関節の三次元位置姿勢情報は操作テーブル１２内の出力部よりロボット制御部に出力送信される。ロボット制御部では指示されたロボットアーム先端部の三次元位置姿勢情報を実現するために、逆キネマティクスにより関節角度を決定する等の処理を行い、ロボットアーム先端部を移動させる。

図９はＦＳＴの先端関節の移動に追随するロボットアーム先端部を示している。操作者はＦＳＴをロボットアーム２に見立てて直感的に操っている。ワーク８（シャンプー）の移動元はベルトコンベア、移動先は製品２０本用ダンボールケースである。ロボットアーム先端部は操作者のＦＳＴの移動に追随して移動するが、シャンプーまで２メートル程度の距離に接近した段階で、ＦＳＴティーチング装置による移動から、本発明に係るカメラ一体型センサ４利用による位置検出に基づく移動に切り替わる。シャンプーを把持する段階では微妙な位置合わせが必要であるが、ＦＳＴティーチング法を含めたティーチング法ではこの微細な動作が弱点となっている。本発明に係るカメラ一体型センサ４利用による位置検出に基づく作業では微細な把持の動作を正確かつスムースに行うことができる。ワーク８を把持して移動を開始した後は、再びＦＳＴティーチング装置１１による移動に切り替える。大きな距離の移動は操作者の空間認識力を利用することが効率的である。ダンボールケースまで２メートル程度に接近すると、再度ＦＳＴティーチング装置１１による移動から、カメラ一体型センサ４利用による位置検出に基づく作業に切り替わり、ワークは迅速正確にダンボール箱の所定位置に収められる。

図１０は本発明に係るオートフォーカス機構を備えたステレオ画像型検出移動装置である。カメラ部１９はレンズ機構２０、撮像素子２３、ステレオマッチング部２４、ＡＦ制御手段２７、レンズ駆動手段２８より構成されている。又、レンズ機構２０は左右一対のレンズ群より構成され、それぞれのレンズ群は固定レンズ２１と焦点調整用移動レンズ２２を有する。固定レンズの個数は複数個になる場合が多いが、本実施形態では概念的に移動レンズと固定レンズ各１個としている。又、ステレオマッチング部２４は視差検出手段２５と距離検出手段２６により構成されている。撮像素子２３はＣＣＤイメージセンサで、１枚のＣＣＤを左右にエリア分割して、左右レンズに映るそれぞれのワーク画像を撮像する。撮像素子としてはＣＭＯＳイメージセンサであってもよい。又、レンズ駆動手段２８はボイスコイルモータでも、ステッピングモータ等でも良い。

当初のカメラ焦点は無限遠の位置にセットされている。ステレオ画像型移動装置が移動を始めると、左右にエリア分割されたＣＣＤに撮像される２枚のワーク画像がステレオマッチング部２４に伝送される。視差検出部２５は、２枚の画像の対応点を見つけて、そこから左右レンズの視差を検出する。次に、距離検出部２６で左右レンズの視差から、各々のレンズからワークへの角度を求め、三角測量法の原理により、ワークとの距離を算出する。

同様に１つのズーム機構で複数のレンズ機構２０、レンズ駆動手段２８などの光学系を同時に駆動することが可能である。仮にワークとカメラの距離が離れていると同時にワークの位置が得られている状態なら、そのワークを狙ってカメラを望遠側にズームすることで、距離の離れた段階から分解能の高い画像が得られる。変化した画角に応じた距離測定のキャリブレーションを通じて、画像に基づいた速やかな位置同定を行うことが可能となる。逆にワークの位置が不明な時は広角側にズームすることで、広い視野で得られた画像情報の中から速やかにワークを探し出すことが可能となる。またワークとカメラ間が近距離になった際も、画角に収まらないワークの場合は広角側に調整して画像を縮小、あるいは非常に小さなワークの場合は望遠側に調整して画像を拡大する等のズーム機構を遣った調整が可能になる。
なお、ステレオ画像を用いる距離測定方法では画角が変わると都度距離測定のための位置調整のキャリブレーション作業が必要になる。すなわちズームで画角が変化する度に、その都度変化した画角に応じたキャリブレーション作業が必要になる。
よって無段階ズームの場合はキャリブレーション作業が困難になるが、その反面２〜６箇所程度のズームポイントのみ使用するように限定すれば（例：20mm 28mm 35mm 50mm 70mm 85mmなどを選択）、その各々のズームポイントにおける画像のキャリブレーションだけを事前に採取することで、適切に使用するズームの画角に対してキャリブレーションデータを適切に切り替えて処理が行える。

視差利用による距離算出に代えて、撮像されるいずれか又は２枚のワーク画像における隣接部とのコントラストを計測し、コントラストの最大となる位置に焦点調整用移動レンズ２０を移動させることにより合焦点動作をすることも可能である。この場合も、視差画像利用法と同様に、すでに備えられているカメラによるワーク画像をそのまま利用することができる。

又、近赤外光の投光素子、受光素子、反射時間計測手段等を別に備えることにより、ワークとの距離を算出することも可能である。このようにアクティブに近赤外光を照射することにより、薄暗い環境下での作業や特徴部分のないワーク、コントラスト比の低いワークに対しても有効に距離を算出することができる。

距離が算出されると、距離情報がＡＦ制御手段２７に伝送され、ＡＦ制御手段２７は焦点調整用移動レンズ２２の移動方向、移動速度を演算する。演算に基づくＡＦ制御手段２７の出力信号によりレンズ駆動手段２８は焦点調整用移動レンズ２２を移動させる。なお、レンズ駆動手段２８は左右２個の焦点調整用移動レンズ２２を同時に同方向・同距離の移動をさせるので、左右レンズ群間での調整作業は全く必要がない。

又、図示していないが、加速度センサやジャイロスコープを更に備えることによって、基準位置からの移動方向及び距離を計測することができる。計測された信号をＡＦ制御手段に伝送することによって、二重系のＡＦ機構が構築される。

図１１は本発明に係る手ぶれ補正機構を備えたステレオ画像型検出移動装置である。カメラ部１９はレンズ機構２０、撮像素子２３、ジャイロスコープ部２９、手ぶれ補正制御手段３３、撮像素子移動手段３４により構成されている。ジャイロスコープ部２９中のジャイロメータＡ３０，ジャイロメータＢ３１は、それぞれカメラがピッチング、ヨーイングするときの角速度を検出する。又、手ぶれ補正制御手段３２は、本移動装置の制御部からロボットアーム先端部の移動指令信号を受け取り、移動や停止に基づくカメラ部１９のぶれをメモリに保存した手ぶれ基準データに照らして手ぶれを予測する機能を有している。

本発明に係るステレオ画像型検出移動装置は、ワークを把持等するためにロボットアーム先端部をワークに接近させる。アーム先端部の移動指令の信号が手ぶれを発生させる場合、すなわち移動の急発進、急停止、移動方向の急反転等移動の速度や方向が急速に変化する場合には、移動指令の信号とメモリの基準との対比に基づいた手ぶれ補正制御手段３２の信号により撮像素子移動手段３３が移動する。撮像素子移動手段３３は、モータ（図示していない）の駆動により、光軸に垂直な平面上において、互いに直角なＸ方向、Ｙ方向に沿って移動可能となっている。撮像素子移動手段３３の移動によって、その上に固定されている撮像素子２３はカメラ部１９のぶれによる撮像のブレを相殺する方向にスライド移動する。左右レンズ群による撮像は撮像素子２３の中でエリア分割されており、撮像素子移動手段３３の移動により各々全く同一のブレ相殺移動がなされる。

手ぶれ予測に基づく補正の他、本移動装置が移動を開始した際のカメラ部１９のぶれについて、光軸周りの動きをジャイロメータＢが、光軸の垂直方向周りの動きをジャイロメータＡが検出し、出力された信号に基づいて手ぶれ補正制御手段３３が撮像素子移動手段３４を移動させる。予測に基づく補正とジャイロメータ検出による補正とを組み合わせ、手ぶれ予測による検出値に対するジャイロメータの検出値を修正値として、その差分を追加補正することが可能である。又、ジャイロメータによる補正を、手ぶれ予測による補正の補完手段として用いることも可能である。

なお、本実施形態では撮像素子２３のスライド移動により手ぶれを補正しているが、本方法に限定されるものではなく、移動レンズのスライドや電子的に撮像可能範囲を変動させる方法でも良い。またレンズ機構２０、撮像素子２３が外部から受ける衝撃や振動を吸収する吸収体をケースとレンズ機構２０、撮像素子２３の間に設けるなどで、画像のブレを軽減することも可能である。衝撃や振動が一部吸収された画像の残りのブレは。手ぶれ補正機構により完全に補正される。

図１２は本発明に係る検出センサボード３４を備えたステレオ画像型検出移動装置である。検出センサボード３４は、３軸地磁気センサ３５と３軸加速度センサ３６とＧＰＳ３７と姿勢検知演算用ＣＰＵ３８により構成されている。

３軸地磁気センサ３５は３軸地磁気ベクトル、すなわち本発明に係る移動装置のカメラ部の絶対方位を、又、３軸加速度センサ３６は前後・左右・上下方向の加速度ベクトルによる重力ベクトル、すなわちカメラ部の傾きを認識することができる。したがって、３軸地磁気セン３５サ及び３軸加速度センサ３６によって検出された信号をＣＰＵ３８で演算することによって、カメラ部の絶対方位を含めた姿勢状態を認識することができる。よって、カメラ部の姿勢（方向）がずれた場合等には、姿勢補正手段（図示していない）を通じて、正しい姿勢に補正することができる。本発明に係るステレオ画像型検出移動装置では、ワーク画像の撮像位置からカメラ部の傾きを推測して姿勢を補正することが可能であるが、上記センサによる別系統の手段によって、本発明に係る画像を通じた検出移動機能を補完することができる。つまり、カメラ部で撮影される画像情報に基づいた検出移動と独立した二重系の検出移動方法を構築が可能であり、一系統が故障や精度劣化などの現象が発生した際の補完性や代替性を高めることが出来る。

又、ＧＰＳ３７により自己位置が同定されるので、これらの検出データを組み合わせることによって、カメラ部の位置、見ている方向が決定される。したがって、ワークの３次元位置のデータを入力しておけば、画像情報を用いることなくワークに接近することが可能である。地図情報に基づいたワークへの接近ルートを入力しておけば、途中の障害物を回避しながらワークに接近することもできる。したがって、この方法を用いてもカメラ部で撮影される画像情報に基づいた検出移動と独立した二重系の検出移動方法を構築することが可能となる。

カメラ部の傾きを認識する手段としてジャイロスコープを用いることもできる。３軸地磁気センサによって絶対的方位を検知でき、ジャイロスコープによって相対的角度を検知できるので、当初の姿勢を入力しておくことによって、カメラ部の絶対方位を含めた姿勢状態を認識することができる。

なお、カメラ部の姿勢状態を認識することによって、カメラ部が回転した差分を補正した画面を表示することも容易である。ワークを把持するために、ワークの形状によりハンド部が回転する場合があり、その場合カメラ部も追随して回転する。このような場合、外部から操作を行う操作者は天地が逆などの認識しにくい画像を見ることになるので、通常の人間が認識する画像に補正してティーチングを容易にする。

図１３Ｂは４つのレンズ群を有する本発明に係るステレオ画像型検出移動装置である。図１３Ａは２のレンズ群により構成されるレンズ機構を有し、ＣＣＤ（撮像素子）２３は左右に２分割されている。一方、図１３Ｂは４のレンズ群により構成されるレンズ機構を有し、水平方向の２分割のみならず垂直方向への２分割を行うことで４つの画像が一枚のＣＣＤに撮像されている。

本発明によるステレオ画像型検出移動装置は製造現場等における精密な作業を自動で迅速に行うことができる。又、ティーチング装置と組み合わせて利用すれば、さらに効率的な作業が可能となり、産業上きわめて有効に利用することができる。

ステレオ画像型検出移動装置全体図 一体型ステレオカメラとワークの概念図 ロボットハンド拡大概念図 ワーク位置補正概念図 カメラワイパー概念図 ロボット作業概念図 ＦＳＴティーチング装置概念図 ＦＳＴ構成図 ＦＳＴ利用ステレオ画像型検出移動装置作業概念図 オートフォーカス機構を備えたステレオ画像型検出移動装置概念図 手ぶれ補正機構を備えたステレオ画像型検出移動装置概念図 検出センサボードを備えたステレオ画像型検出移動装置概念図 ４つのレンズ群を有するステレオ画像型検出移動装置概念図

符号の説明

１ 作業ロボット
２ ロボットアーム
３ ロボットハンド
４ カメラ一体型センサ
４Ｃ 一体型センサステレオカメラ部
５ 一体型センサ画像処理部
６ 一体型センサ検出部
７ 制御部
８ ワーク
９ 非球面カメラレンズ
１０ ワイパー
１１ ＦＳＴティーチング装置
１２ 操作テーブル
１３ ＦＳＴ（多関節構造体）
１４ アタッチメント
１５ ジョイスティック
１６ 可動部
１７ ポテンショメータ
１８ ＣＰＵ
１９ カメラ部
２０ レンズ機構
２１ 固定レンズ
２２ 焦点調整用移動レンズ
２３ 撮像素子
２４ ステレオマッチング部
２５ 視差検出部
２６ 距離検出部
２７ ＡＦ制御手段
２８ レンズ駆動手段
２９ ジャイロスコープ部
３０ ジャイロメータＡ
３１ ジャイロメータＢ
３２ 手ぶれ補正制御手段
３３ 撮像素子移動手段
３４ 検出センサボード
３５ ３軸地磁気センサ
３６ ３軸加速度センサ
３７ ＧＰＳ
３８ 姿勢検知演算用ＣＰＵ
３９ ４眼カメラ
４０ エリア２分割撮像素子
４１ エリア４分割撮像素子

Claims (20)

1. ワークを撮影するカメラと、
   ハンド部を有するロボットアームと、
   前記カメラにより撮影された画像を処理する画像処理部と、
   前記画像処理部により処理された画像に基づいてワークの三次元位置姿勢及び／又は形態を検出する検出部と、
   前記検出部により検出された情報に基づいて前記ロボットアームと前記ハンド部を操作する制御部と、
   により構成され、前記カメラの撮影画像を用いて、前記ハンド部を有するロボットアームが前記ワークを把持し及び／又は移動させる装置において、
   前記カメラが、２つ以上の独立したレンズ機構を有し、
   各レンズ機構を介した映像を１つの撮像素子上にエリアを分割して撮像し、又は各レンズ機構を介した映像を並列配置した２つの撮像素子上に撮像するステレオカメラであり、
   かつ、前記カメラが前記ロボットアームの先端部に装着される、
   ことを特徴とするステレオ画像型検出移動装置。
2. 前記画像処理部と前記検出部が、
   前記カメラと一体となったセンサとして、
   前記ロボットアームの先端部に装着されていることを特徴とする請求項１に記載のステレオ画像型検出移動装置。
3. 前記カメラ及び／又は前記ハンドが、
   前記ロボットアームの先端部における位置の変更機構を備えていることにより、
   前記ステレオ画像型検出移動装置の操作段階に応じて、
   前記ロボットアームの先端部における位置を変更することを特徴とする請求項１又は２に記載のステレオ画像型検出移動装置。
4. 前記制御部は、撮影された画像に基づいて、
   前記カメラの位置を前記ワークに正対する位置に位置補正する機能を、
   有することを特徴とする請求項１ないし３のいずれかに記載のステレオ画像型検出移動装置。
5. 前記ロボットアームの先端部の三次元位置姿勢を教示するティーチング装置を更に備え、前記ワークに近接するまでは、ティーチング装置又はティーチングデータに基づいて前記ロボットアーム先端部を操作し、
   前記ワークに近接した後は、前記検出部で検出された情報に基づいて、前記ロボットアーム先端部と前記ハンド部を操作することを特徴とする請求項１ないし４のいずれかに記載のステレオ画像型検出移動装置。
6. 請求項１ないし５のいずれかに記載のステレオ画像型検出移動装置を備えたティーチング装置であって、
   前記ティーチング装置が、可動部に変化量検出センサを有する関節を含む関節群と、
   前記変化量検出センサから出力されるセンサ信号を処理する処理部と、
   前記処理部により処理されたデータを伝送する通信部と、
   により構成される多関節構造体と、
   前記通信部から伝送されたデータを演算編集する演算編集部と、
   前記演算編集部に対して付加指示情報を入力する入力部と、
   前記演算編集部により演算された位置姿勢情報を出力する出力部と、
   を備え、
   前記多関節構造体の１又は複数の先端関節の移動に伴う隣接する各関節間の角度及び／又は軸回転の変化量を計測し、
   かつ、前記１又は複数の先端関節における移動に伴うすべての関節間の変化量を合算又は先端関節ごとに合算することにより、前記多関節構造体の１又は複数の先端関節の移動前の三次元の相対的位置姿勢に対する移動後の三次元の相対的位置姿勢を算出し、
   算出された位置姿勢情報又は該算出された位置姿勢情報に前記付加指示情報を加えて処理作成された修正位置姿勢情報を出力することにより、
   基準原点に対する前記ロボットアーム先端部の三次元相対的位置姿勢を教示して追随移動させることを特徴とする多関節構造体型ティーチング装置。
7. 請求項１ないし５のいずれかに記載のステレオ画像型検出移動装置又は請求項６に記載の多関節構造体型ティーチング装置を含むステレオ画像型検出移動装置であって、前記ワークの不良品判別ないし種別判別を行う判別部を更に備えたことを特徴とするステレオ画像型検出移動装置。
8. 請求項１ないし５及び７のいずれかに記載のステレオ画像型検出移動装置又は請求項６に記載の多関節構造体型ティーチング装置を含むステレオ画像型検出移動装置であって、前記カメラの前面にワイパー機構を加えたことを特徴とするステレオ画像型検出移動装置。
9. 請求項１ないし５、７及び８のいずれかに記載のステレオ画像型検出移動装置又は請求項６に記載の多関節構造体型ティーチング装置を含むステレオ画像型検出移動装置であって、前記カメラのレンズ機構の一部または全部を非球面とすることにより、画像歪みを無くすことを特徴とするステレオ画像型検出移動装置。
10. 請求項１ないし５及び請求項７ないし９のいずれかに記載のステレオ画像型検出移動装置又は請求項６に記載の多関節構造体型ティーチング装置を含むステレオ画像型検出移動装置であって、前記カメラにより撮影された画像の伝送及び／又は前記カメラへの電力供給を無線で行うことを特徴とするステレオ画像型検出移動装置。
11. 請求項１ないし５及び請求項７ないし１０のいずれかに記載のステレオ画像型検出移動装置又は請求項６に記載の多関節構造体型ティーチング装置を含むステレオ画像型検出移動装置であって、前記カメラにより撮影され、前記検出部により検出される前記ハンド部の一部又は全部の三次元位置姿勢及び/又は形態及び/又はハンド部に付与した標識を基準情報として前記カメラの位置を補正することを特徴とするステレオ画像型検出移動装置。
12. 請求項１ないし５及び請求項７ないし１１のいずれかに記載のステレオ画像型検出移動装置又は請求項６に記載の多関節構造体型ティーチング装置により、画像を用いて、ワークを把持し及び／又は移動させる方法。
13. 請求項１ないし５及び請求項７ないし１１のいずれかに記載のステレオ画像型検出移動装置又は請求項６に記載の多関節構造体型ティーチング装置であって、前記カメラに単一のオートフォーカス機構及び／又はズーム機構を備えたことを特徴とするステレオ画像型検出移動装置。
14. ワークに対する別の距離計測手段及び／又はワークへの照射手段をさらに備えたことを特徴とする請求項１３に記載のステレオ画像型検出移動装置。
15. 請求項１ないし５及び請求項７ないし１１及び請求項１３ないし１４のいずれかに記載のステレオ画像型検出移動装置又は請求項６に記載の多関節構造体型ティーチング装置であって、さらに加速度センサ及び/又はジャイロスコープを備えたことを特徴とするステレオ画像型検出移動装置。
16. 請求項１ないし５及び請求項７ないし１１及び請求項１３ないし１５のいずれかに記載のステレオ画像型検出移動装置又は請求項６に記載の多関節構造体型ティーチング装置であって、前記カメラに単一の手ぶれ補正機構を備えたことを特徴とするステレオ画像型検出移動装置。
17. 請求項１ないし５及び請求項７ないし１１及び請求項１３ないし１６のいずれかに記載のステレオ画像型検出移動装置又は請求項６に記載の多関節構造体型ティーチング装置であって、少なくとも、地磁気センサ、及びジャイロスコープ又は加速度センサの組み合わせにより構成される検出センサ、又は地磁気センサ、及びジャイロスコープ又は加速度センサ、及びＧＰＳの組み合わせにより構成される検出センサを備えたことを特徴とするステレオ画像型検出移動装置。
18. 請求項１ないし５及び請求項７ないし１１及び請求項１３ないし１７のいずれかに記載のステレオ画像型検出移動装置又は請求項６に記載の多関節構造体型ティーチング装置であって、前記カメラ部の移動情報及び/又は傾斜情報に基づいて、撮影された映像の傾きを補正して表示することを特徴とするステレオ画像型検出移動装置。
19. 前記カメラが、請求項１ないし５及び請求項７ないし１１及び請求項１３ないし１８のいずれかに記載のステレオ画像型検出移動装置又は請求項６に記載の多関節構造体型ティーチング装置であって、３以上の独立したレンズ機構を有し、各レンズ機構を介した映像を１つの撮像素子上にエリアを３以上に分割して撮像するステレオカメラであることを特徴とするステレオ画像型検出移動装置。
20. 請求項１３ないし１９のいずれかに記載のステレオ画像型検出移動装置により、画像を用いて、ワークを把持し及び／又は移動させる方法。