JP2011000703A

JP2011000703A - カメラ付きマニピュレータ

Info

Publication number: JP2011000703A
Application number: JP2010108546A
Authority: JP
Inventors: Kota Tani; 紘太谷
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-05-19
Filing date: 2010-05-10
Publication date: 2011-01-06
Also published as: US8532819B2; US8280551B2; US20120323366A1; US20100298978A1

Abstract

【課題】作業に適した方向からエンドエフェクタを観察することができるカメラ付きマニピュレータを提供する。
【解決手段】グリッパ型のエンドエフェクタ１を備えた先端のリンクに対して一つ手前のリンクに、エンドエフェクタ１と同軸上に回転可能な回転部２０を設け、その上に、雲台２を介して作業対象物であるワーク４を認識するためのカメラ３を配置する。先端のリンクの回転角度θ_６に応じて、回転部２０の回転角度θｃを制御するアクチュエータを駆動することで、エンドエフェクタ１がつかみ作業のときは可動面５に垂直な方向にカメラ３を設置する。組付作業時には、エンドエフェクタ１の可動面５に対して平行な方向にカメラ３が設置されるように回転部２０を回転させる。
【選択図】図１

Description

本発明は、カメラによって作業対象物を認識する機能を備えたカメラ付きマニピュレータに関するものである。

マニピュレータの先端に取り付けたエンドエフェクタを用いた組付作業において、組付の作業対象物を認識し、様々な作業領域において作業を行うためには、マニピュレータ上に備えられたカメラが必要となる。従来、マニピュレータ上に設置するカメラは、図７（ａ）に示すように、エンドエフェクタ１０１とともにカメラ１０３をマニピュレータ先端のリンクに取り付ける構成が主であった（特許文献１参照）。しかしながらこの構成では、カメラがエンドエフェクタを観察する方向は固定となる。また、図７（ｂ）に示すように、カメラ２０３がエンドエフェクタ２０１を常に視野内に捉えられるようにカメラの方向を可変とする構成も知られている（特許文献２参照）。これは、複数の軸回りに回転することができる雲台２０２にカメラ２０３を設置したものである。

特開昭６２−２７７２９０号公報特開昭６３−５２９９０号公報

しかしながら、特許文献１に記載されているように、エンドエフェクタとともにカメラを先端のリンクに取り付ける構成では、カメラがエンドエフェクタを観察する方向が固定であるため、作業に適した方向からエンドエフェクタを観察することができない。

特許文献２に記載されたように、複数の軸回りに回転することができる雲台を用いるものは、カメラが観察する方向を可変とすることができるが、カメラがエンドエフェクタを常に視野内に捉えるのみであり、エンドエフェクタのヨー軸周りの回転には対応しない。このため、作業に適した方向からはエンドエフェクタを観察することはできない。加えて、マニピュレータのリンクやリンク間のジョイント部によるオクルージョンが発生しうる。

本発明は、マニピュレータの作業に適した方向からエンドエフェクタを観察することができるカメラ付きマニピュレータを提供することを目的とするものである。

上記目的を達成するため、本発明のカメラ付きマニピュレータは、複数のリンクを連結した多関節のアームと、前記アームの先端のリンクもしくは先端より一つ手前のリンクに同軸上に回転可能に配置された回転部と、前記先端のリンクに連結されたエンドエフェクタと、前記回転部に支持された、作業対象物を認識するためのカメラと、前記エンドエフェクタの動作に応じて前記回転部を回転させるアクチュエータと、を有し、前記アクチュエータは、前記エンドエフェクタが前記作業対象物を把持するつかみ作業のときは前記エンドエフェクタの可動面に対して垂直方向に前記カメラが配置されるように前記回転部を回転させ、組付作業もしくは配置作業のときは前記エンドエフェクタの可動面に対して平行方向に前記カメラが配置されるように前記回転部を回転させることを特徴とする。

カメラを設置した雲台を、エンドエフェクタと同軸上に回転させる回転部に配置し、その回転角度を制御することで、マニピュレータの作業に適した方向からエンドエフェクタを観察することができる。

例えば、エンドエフェクタが作業対象物を把持するつかみ作業では、作業対象物の位置を認識したい領域はエンドエフェクタが開閉する可動面と同平面になることが多い。このときは、カメラはエンドエフェクタの可動面に対して垂直方向に設置される。また、エンドエフェクタが作業対象物をつかんだ後、物体に組付ける組付作業もしくは作業対象物を所望の位置に配置する配置作業の開始時には、作業対象物はエンドエフェクタによりつかまれており、エンドエフェクタの可動方向には拘束されている。このため、作業対象物の位置を認識したい領域はエンドエフェクタの可動面に対して垂直な平面となり、作業対象物を認識するためのカメラはエンドエフェクタの可動面に対して平行方向に設置される。

実施例１によるカメラ付きマニピュレータを説明する図である。実施例２によるカメラ付きマニピュレータを説明する図である。実施例３によるカメラ付きマニピュレータを説明する図である。実施例４によるカメラ付きマニピュレータを説明する図である。実施例４による他物体とカメラの干渉を回避する動作を説明する図である。図５の装置の動作を説明するフローチャートである。従来例を説明する図である。

図１は、実施例１に係るもので、これは、アームを６軸のものとし、組付作業を挿入作業としたカメラ付きマニピュレータである。図１（ａ）に示すように、グリッパ型のエンドエフェクタ１は、マニピュレータのアーム先端のリンクに連結され、先端から一つ手前のリンクには、回転部２０が配置される。この回転部２０に雲台２が取り付けられ、その雲台２にカメラ３が取り付けられている。回転部２０を回転させるアクチュエータはこの回転部２０内に含まれているとする。カメラ３は、作業対象物であるワーク４を認識するために用いられる。ジョイント（継手）１１〜１６は、多関節のアームの複数のリンクを連結する回転継手又は旋回継手である。アーム先端のジョイント１６の回転角度θ_６と、カメラ３を支持する回転部２０の回転角度θｃは同軸上の回転角度である。

図１（ｂ）は、エンドエフェクタ１がつかみ作業を行う時の様子を示す。作業対象物であるワーク４を把持することを目的としたつかみ作業のときは、ワーク４の位置を認識したい領域はエンドエフェクタ１の可動（開閉）する平面である可動面５に平行な面となる。これは、ワーク４は作業台の上に置かれているため、ワークがずれる方向は可動面５に平行な方向となるからである。それゆえ、カメラ３は、エンドエフェクタ１の可動面５に対して垂直方向に配置され、その位置から可動面５を観察するのが、作業に適したエンドエフェクタ１の観察方向となる。

なお、ここでいう可動面とは、エンドエフェクタの把持中心方向と、エンドエフェクタが動作する方向から規定される面を指す。また、可動面に対して垂直な方向とは、可動面の垂線方向と平行な方向を指し、可動面に対して平行な方向とは前記垂直な方向に対して、ジョイント１６の回転軸周りに直角となる方向を指す。これは、以下の各実施例においても同様である。

よって、つかみ作業のときは、カメラ３が配置される位置がエンドエフェクタ１の可動面５に対して垂直方向となるように、カメラ３が設置された回転部２０をアクチュエータによって回転させる。例えば、エンドエフェクタ１が取り付けられている先端のジョイント１６の回転角度θ_６と、カメラ３を設置した回転部２０の回転角度θｃの差（｜θ_６−θｃ｜）が７５°〜１０５°の間になるようにアクチュエータの制御を行う。なお、ここでは、可動面５と平行な方向にカメラに置かれている状態をθ_６＝θｃとする。以下の実施例でもこれは同様である。

図１（ｃ）はエンドエフェクタ１が挿入作業（組付作業）を行う時の様子を表した図である。この図に示すように、ワーク４をワーク挿入対象６に挿入することを目的とした挿入作業のときは、挿入作業開始時や挿入作業中の補正のためにワーク４の把持状態を認識する必要がある。エンドエフェクタ１がワーク４を把持した状態において、ワーク４はエンドエフェクタ１の可動方向には拘束されているため、ワーク４の状態を認識すべき領域はエンドエフェクタ１の可動面５に垂直な面となる。そのためカメラ３は、エンドエフェクタ１の可動面５と平行な方向に設置され、その位置から可動面５と垂直な平面を観察するのが、作業に適したエンドエフェクタ１の観察方向となる。

よって、組付作業のときは、カメラ３が設置される位置がエンドエフェクタ１の可動面５に対して平行方向となるように、カメラ３を支持する回転部２０をアクチュエータによって回転させる。例えば、エンドエフェクタ１が取り付けられている先端のジョイント１６の回転角度θ_６と回転部２０の回転角度θｃの差（｜θ_６−θｃ｜）が１５°以内になるようにアクチュエータの制御を行う。

このように、カメラ３を回転部２０により、エンドエフェクタ１を連結したリンクと同軸上に回転可能とし、その回転角度θｃを、ジョイント１６の回転角度θ_６に応じて制御することで、作業に適した方向からエンドエフェクタ１を観察できる。

図２は実施例２に係るもので、図１(a)においては回転部及びカメラを先端のリンクから一つ手前のリンクに取り付けたのに対し、本実施例は図２(a)に示すように先端のリンクにエンドエフェクタ１と回転部２０及びカメラ３を取り付けてある。その他の点は実施例１と同様であるから説明は省略する。

図２（ｂ）はエンドエフェクタ１が剛体である作業対象物を把持する、つかみ作業を行う時の様子を示すものである。剛体であるワーク７をつかむことを目的としたつかみ作業のときは、ワーク７の位置を認識したい領域は実施例１と同様にエンドエフェクタ１の可動面５に平行な面となる。そのためカメラ３は、エンドエフェクタ１の可動面５と垂直な方向に配置され、その位置から可動面５を観察するのが作業に適したエンドエフェクタ１の観察方向となる。

よって、カメラ３が配置される位置がエンドエフェクタ１の可動面５に対して垂直方向となるように、カメラ３が設置された回転部２０をアクチュエータによって回転させる。例えば、エンドエフェクタ１が取り付けられている先端のジョイント１６の回転角度θ_６と回転部２０の回転角度θｃの差（｜θ_６−θｃ｜）が７５°〜１０５°の間になるようにアクチュエータの制御を行う。

また、図２（ｃ）はエンドエフェクタ１が柔軟物である作業対象物を把持する、つかみ作業を行う時の様子を示すもので、ここでは柔軟物としてケーブルを例にした。作業対象物がケーブルのような柔軟物の場合は、まずグリッパを開いた状態で大まかにつかんだ後、カメラにより柔軟物の位置を認識し、正確につかむ必要がある。この場合は、柔軟物はエンドエフェクタが開閉する可動面と平行な方向には倣うため、正確につかむためには可動面と垂直な平面方向のつかみ方をカメラで認識することにより補正する必要がある。それゆえ、柔軟物であるワーク８をつかむことを目的とした作業のときは、ワーク８の位置を認識したい領域はエンドエフェクタ１の可動面５に垂直な面となる。そのためカメラ３は、エンドエフェクタ１の可動面５と平行な方向に配置され、その位置から可動面５を観察するのが作業に適したエンドエフェクタ１の観察方向となる。

よって、カメラ３が配置される位置がエンドエフェクタ１の可動面５に対して平行方向となるように、カメラ３が設置された回転部２０をアクチュエータによって回転させる。例えば、エンドエフェクタ１が取り付けられている先端のジョイント１６の回転角度θ_６と回転部２０の回転角度θｃの差（｜θ_６−θｃ｜）が１５°以内になるようにアクチュエータの制御を行う。

なお、ここでは作業対象物が剛体と柔軟物のどちらであるかはマニピュレータの教示時に予め設定しておく。

図３は実施例３に係るもので、本実施例では、図３(a)に示すように、回転部２０に継手を介してエンドエフェクタ１を保持させている。その他の点は実施例２と同様であるから説明は省略する。

図３（b）は、エンドエフェクタ１が挿入作業（組付作業もしくは配置作業）を行う時の様子を表した図である。ここでは実施例１と同様に、カメラ３はエンドエフェクタ１の可動面５と平行な方向に設置され、その位置から可動面５を観察するのが、作業に適したエンドエフェクタ１の観察方向となる。

また、図３（c）は挿入作業後に、ワーク４の挿入対象６に対する挿入状態（組付状態もしくは配置状態）を検査する検査作業を行う時の様子を表わす。作業対象物が組み付けられたもしくは配置された位置や姿勢を検査する検査作業時には、組付作業時もしくは配置作業時に認識した領域とは異なる領域を認識する必要がある。本実施例のように、挿入状態を検査することを目的とした作業の時は、エンドエフェクタ１の可動面５に対して平行方向からカメラが観察しても挿入口が見られないため、検査を行うことができない。そのためカメラ３は、挿入口を検査できるように、エンドエフェクタ１の可動面５と垂直な方向に配置されるのが、作業に適したエンドエフェクタ１の観察方向となる。

よって、カメラ３が配置される位置がエンドエフェクタ１の可動面５に対して平行方向となるように、カメラ３が設置された回転部２０をアクチュエータによって回転させる。例えば、エンドエフェクタ１が取り付けられている先端のジョイント１６の回転角度θ_６と回転部２０の回転角度θｃの差（｜θ_６−θｃ｜）が７５°〜１０５°の間になるようにアクチュエータの制御を行う。

図４は実施例４に係るもので、本実施例は、図４(a)に示すように、実施例１の回転部２０の代わりに、先端のジョイント１６とその１つ手前のジョイント１５の間に、これらのジョイントと直列に組み込まれた回転継手を有する回転部２１を用いる。それゆえ、マニピュレータは７軸となり、雲台２は、先端のジョイント１６に直列に連結された回転部２１に取り付けられ、その雲台２の上にカメラ３が設置される。その他の点は実施例１と同様であるから説明は省略する。

図４（ｂ）はエンドエフェクタがつかみ作業を行う時の様子を示すもので、作業対象物であるワーク７をつかむことを目的としたつかみ作業のときは、ワーク７の位置を認識したい領域はエンドエフェクタ１の可動面５に平行な面となる。そのためカメラ３は、エンドエフェクタ１の可動面５と垂直な方向に配置され、その位置から可動面５を観察するのが作業に適したエンドエフェクタ１の観察方向となる。

よって、カメラ３が配置される位置がエンドエフェクタ１の可動面５に対して垂直方向となるように、カメラ３が設置された回転部２１をアクチュエータによって回転させる。例えば、エンドエフェクタ１が取り付けられている先端のジョイント１６の回転角度θ_６と回転部２１の回転角度θｃの差（｜θ_６−θｃ｜）が７５°〜１０５°の間になるようにアクチュエータの制御を行う。

また、図４（ｃ）はエンドエフェクタ１が配置作業を行う時の様子を示すもので、ワーク７をフィクスチャ９に配置することを目的とした作業のときは、作業開始時にワーク７の把持状態を認識する必要がある。エンドエフェクタ１がワーク７を把持した状態において、ワーク７はエンドエフェクタ１の可動方向には拘束されているため、ワーク７の状態を認識するべき領域はエンドエフェクタ１の可動面５に垂直な面となる。そのためカメラ３は、エンドエフェクタ１の可動面５と平行な方向に配置され、その位置から可動面５と垂直な平面を観察するのが作業に適したエンドエフェクタ１の観察方向となる。

よって、カメラ３が配置される位置がエンドエフェクタ１の可動面５に対して平行方向となるように、カメラ３が設置された回転部２１をアクチュエータによって回転させる。例えば、エンドエフェクタ１が取り付けられている先端のジョイント１６の回転角度θ_６と回転部２１の回転角度θｃの差（｜θ_６−θｃ｜）が１５°以内になるようにアクチュエータの制御を行う。

一方で、他物体とカメラの干渉が起こる場合には、その干渉の回避を考慮した上で、所望のカメラ位置との差が最小となるように、カメラを支持する回転部を回転させる必要がある。

図５（ａ）は、他物体１０とカメラ３の干渉の回避を考慮して、回転部２１のアクチュエータを制御している様子を示すもので、カメラ３との干渉を起こしうる他物体１０とカメラ３の干渉の危険性を検知するセンサ３０を設ける。このセンサ３０は他物体１０の周りに光線を出しており、その光線が遮られたかどうかを監視する。これにより、カメラ３が他物体１０に近づいて干渉の危険性が生じたことを検知する。センサ３０による検知結果は、ジョイント１６及び回転部２１のそれぞれのアクチュエータを制御する制御装置３１に送信される。そして、干渉が起こらない範囲でθ_６とθｃの相対角が所望の値に近づくように回転部２１が制御される。図５（ｂ）は、図５（ａ）におけるカメラ３と他物体１０との干渉が回避されている状態を示す。

なお、本実施例では干渉の危険性を作業中にセンサを用いて検知する手段について述べているが、事前に検知しておき、それを避けるように教示してもよい。これには、実際の障害物などを含めた環境と同じ環境をコンピュータ上で仮想的に構築し、そのコンピュータ上での仮想環境において、実際のカメラ付マニピュレータと同じ構成のモデルを動作させる方法がある。この仮想環境上での動作過程において、他物体とカメラが干渉しないかどうかを検査する。この方法により、干渉をさけることも考慮した上で、カメラ位置を制御する回転部の回転角を作業に適した方向に教示することができる。

図６は干渉回避を考慮した場合の動作決定についてのフローチャートを表す。回転部２１の制御が開始されると、目的の作業に応じて所望のカメラ位置が決定され（ステップＳ１）、その位置にカメラ３を移動させるために制御装置３１により回転部２１のアクチュエータの制御を開始する（ステップＳ２）。アクチュエータの制御中においては、制御装置３１は他物体１０とカメラ３の干渉を検知するセンサ３０をリアルタイムに監視する（ステップＳ３）。そして、他物体１０とカメラ３の干渉危険性がセンサ３０により検知されない場合は、ジョイント１６の回転角度θ_６と回転部２１の回転角度θｃの差（｜θ_６−θｃ｜）が所望の角度になるように回転部２１のアクチュエータが制御される（ステップＳ４）。他物体１０とカメラ３の干渉危険性がセンサ３０により検知された場合は、他物体１０とカメラ３の干渉が起きない範囲で、回転角度の差（｜θ_６−θｃ｜）と、所望の差との差が最小になるように、回転部２１のアクチュエータを制御する（ステップＳ５）。この作業をマニピュレータの動作中は繰り返し、マニピュレータの動作が終了したら（ステップＳ６）、回転部２１のアクチュエータの制御を終了する。

このように、カメラ３を回転部２１により、エンドエフェクタ１を連結したリンクと同軸上に回転可能とし、その回転角度θｃを、ジョイント１６の回転角度θ_６に応じて制御することで、作業に適した方向からエンドエフェクタ１を観察できる。

本実施例では、回転部２１を、マニピュレータのジョイント１１〜１６と直列に組み込むことで、マニピュレータの外側に取り付けられる部材は、カメラ３と雲台２のみとなり、他の実施例に比べて小型化が可能となる。このように小型化することで、カメラ３が回転部２１から突出する長さを短縮し、作業に応じてカメラ３を回転させてもその回転領域を小さくできる。これによって、他物体との干渉が起こりうる領域を小さくできるため、他物体との干渉の回避がしやすくなる。

他物体１０とカメラ３の干渉が起こる場合には、その干渉の回避を考慮した上で所望のカメラ位置との差が最小となるように回転部２１の回転角度を制御する。これによって、他物体１０とカメラ３の干渉を回避する条件下で、作業に適した方向からエンドエフェクタ１を観察することが可能となる。

１エンドエフェクタ
２雲台
３カメラ
４、７、８ワーク
１１〜１６ジョイント
２０、２１回転部

Claims

複数のリンクを連結した多関節のアームと、
前記アームの先端のリンクもしくは先端より一つ手前のリンクに同軸上に回転可能に配置された回転部と、
前記先端のリンクに連結されたエンドエフェクタと、
前記回転部に支持された、作業対象物を認識するためのカメラと、
前記エンドエフェクタの動作に応じて前記回転部を回転させるアクチュエータと、を有し、
前記アクチュエータは、前記エンドエフェクタが前記作業対象物を把持するつかみ作業のときは前記エンドエフェクタの可動面に対して垂直方向に前記カメラが配置されるように前記回転部を回転させ、組付作業もしくは配置作業のときは前記エンドエフェクタの可動面に対して平行方向に前記カメラが配置されるように前記回転部を回転させることを特徴とするカメラ付きマニピュレータ。
複数のリンクを連結した多関節のアームと、
前記アームの先端のリンクもしくは先端より一つ手前のリンクに同軸上に回転可能に配置された回転部と、
前記先端のリンクに連結されたエンドエフェクタと、
前記回転部に支持された、作業対象物を認識するためのカメラと、
前記エンドエフェクタの動作に応じて前記回転部を回転させるアクチュエータと、を有し、
前記アクチュエータは、前記エンドエフェクタが前記作業対象物を把持するつかみ作業において、前記作業対象物が剛体であるときは前記エンドエフェクタの可動面に対して垂直方向に前記カメラが配置されるように前記回転部を回転させ、前記作業対象物が柔軟物であるときは前記エンドエフェクタの可動面に対して平行方向に前記カメラが配置されるように前記回転部を回転させることを特徴とするカメラ付きマニピュレータ。
複数のリンクを連結した多関節のアームと、
前記アームの先端のリンクもしくは先端より一つ手前のリンクに同軸上に回転可能に配置された回転部と、
前記先端のリンクに連結されたエンドエフェクタと、
前記回転部に支持された、作業対象物を認識するためのカメラと、
前記エンドエフェクタの動作に応じて前記回転部を回転させるアクチュエータと、を有し、
前記アクチュエータは、組付作業もしくは配置作業のときは前記エンドエフェクタの可動面に対して平行方向に前記カメラが配置されるように前記回転部を回転させ、前記作業対象物の組付状態もしくは配置状態を検査する検査作業のときは前記エンドエフェクタの可動面に対して垂直方向に前記カメラが配置されるように前記回転部を回転させることを特徴とするカメラ付きマニピュレータ。
他物体と前記カメラとの干渉を事前に検査する手段もしくは作業中に検知する手段を有し、
前記アクチュエータは、前記干渉を回避するように前記回転部を回転させることを特徴とする請求項１〜３のいずれかに記載のカメラ付きマニピュレータ。