JP2010117223A - ロボットに取付けられたカメラを用いた三次元位置計測装置 - Google Patents

Abstract

【課題】カメラの移動を伴う対象物の三次元位置計測時に、より高精度の計測を行う。
【解決手段】三次元計測装置（７）は、複数の軸回りで回転可能または該軸沿いに並進可能に互いに結合された複数のアーム要素を備えたロボット（１０）の末端軸の回転中心線（６）における末端軸の可動端側に取付けられた撮像手段（３０）と、ロボットの末端軸の動作によって該撮像手段を末端軸の回転中心線回りにのみ移動させる移動手段（１９）と、移動手段による撮像手段の移動の前後における撮像手段の位置と、これら位置において撮像手段によりそれぞれ撮像された対象物の画像とに基づいて、対象物の三次元位置を計測する計測手段（２５）とを具備する。ロボットの末端軸の可動端側に位置する部分の重心が前記ロボットの末端軸の回転中心線上に概ね位置するのが好ましい。
【選択図】図１

Description

本発明は、ロボットに取付けられたカメラを用いて対象物の三次元位置を計測する三次元位置計測装置に関する。

工場の製造ラインにおける組立作業および加工作業などにおいては、作業の自動化および省力化を図るために、カメラを用いて対象物を複数の方向から撮像し、その三次元位置を計測することが行われている。このような三次元位置計測は一般にステレオ計測と呼ばれている。

ステレオ計測には、二つ以上のカメラにより撮像された画像を用いる方式と、一つのカメラを移動させて複数箇所にて撮像された画像を用いる方式とがある。特許文献１は、多関節ロボットに取付けられた一つのカメラを複数箇所に移動させて対象物を撮像することを開示している。具体的には、特許文献１においては、ロボットに取付けられたカメラにて捕らえられた対象物の画像を受光面中心に移動させる所定点移動処理が複数回にわたって行われている。
特許第４０２１４１３号

特許文献１に開示されるようにロボットがカメラを移動させる方式においては、ロボットの移動精度が対象物の三次元位置の計測精度に直接的な影響を与える。ロボットの位置、つまりメカニカルインターフェース位置は、その位置におけるロボットの各軸の角度あるいは並進位置と、ロボットの機構パラメータ、例えばアーム長さなどに基づいて計算される。

図７（ａ）および図７（ｂ）は、特許文献１に記載されるような従来技術にて用いられるロボットの略側面図である。これら図面においては、第一軸線１１０から第六軸線１６０を備えた多関節ロボット１００が示されている。また、ロボット１００の作業ツール４００は第六軸線１６０回りに回動可能に取付けられている。さらに、図示されるように、カメラ３００は、多関節ロボット１００の第六軸線（末端軸の回転中心線）１６０の可動端側、すなわち第六軸線１６０における動作によって移動させられる側、に取付けられている。なお、多関節ロボットにおいては一般的に、その各軸は、第一軸線に近い側を固定端、および固定端の反対側に位置する可動端とから成っている。そして、各軸の動作によって、可動端が、対応する固定端に対して回転ないし並進動作をする。このような各軸が機械的に連結されて多関節ロボット全体を構成している。以下、本願明細書においては、各軸においてロボット先端に近い側を「可動端」と称する。

はじめに、図７（ａ）に示される第一の位置で対象物Ｗを撮像する。次いで、多関節ロボット１００が動作し、カメラ３００は図７（ｂ）に示される第二の位置まで移動されて対象物Ｗを撮像する。第一および第二の位置において撮像された対象物Ｗの画像は、対象物Ｗの三次元位置を計算するのに使用される。

しかしながら、これら図面から分かるように、カメラ３００を移動させる際にはロボットの複数の軸線、例えば第一軸線１１０から第六軸線１６０を同時に動作させることになる。このため、カメラ３００の移動誤差、つまり移動前後における位置誤差はこれら複数の軸線１１０〜１６０のそれぞれについての移動誤差を含むことになる。そして、カメラ３００の移動誤差は、カメラ３００を移動させる際に動作させた軸線の数が増すにつれて、増加する。

また、図７（ａ）に示される第一の位置においては、ロボット１００のアームは該アームの自重および作業ツール４００の重量の影響により矢印Ａ１、Ａ２方向に撓んでいる。そして、ロボット１００が図７（ｂ）に示される第二の位置まで移動すると、ロボット１００のアームの撓みは矢印Ｂ１、Ｂ２で示すように変化する。

これにより、ロボット１００の位置誤差が増すので、カメラ３００の移動誤差はさらに増すことになる。そのようなカメラ３００によって撮像された対象物Ｗの画像はこのような誤差を含んでいるので、対象物Ｗの画像に基づいて、対象物Ｗの三次元位置を正確に計測するのは極めて困難である。

さらに、カメラ３００が前述したように移動するときには、ロボット１００のアームの位置およびアームに取付けられた作業ツール４００の姿勢も大幅に変化する。このため、ロボット１００のアームおよび作業ツール４００がロボット１００の周辺機器に干渉する危険性があった。

本発明はこのような事情に鑑みてなされたものであり、カメラの移動を伴う対象物の三次元位置計測時に、より高精度の計測を行うことのできる三次元位置計測装置を提供することを目的とする。

前述した目的を達成するために１番目の発明によれば、複数の軸回りで回転可能または該軸沿いに並進可能に互いに結合された複数のアーム要素を備えたロボットの末端軸の回転中心線における前記末端軸の可動端側に取付けられた撮像手段と、前記ロボットの末端軸の動作によって該撮像手段を前記末端軸の回転中心線回りにのみ移動させる移動手段と、該移動手段による前記撮像手段の移動の前後における前記撮像手段の位置と、これら位置において前記撮像手段によりそれぞれ撮像された対象物の画像とに基づいて、前記対象物の三次元位置を計測する計測手段とを具備する三次元位置計測装置が提供される。

すなわち１番目の発明においては、撮像手段はロボットの末端軸の回転中心線回りにおいてのみ移動される。従って、撮像手段の移動前後においてロボットのアームの姿勢は変化しない。このため、移動前後における相対的な位置誤差を、回転中心線回りの回転に伴う誤差程度にまで減少させられる。すなわち、１番目の発明においては、他の軸における回転移動ないしは並進移動に伴う誤差の影響を受けないので、対象物をより高精度で三次元位置計測することができる。

２番目の発明によれば、１番目の発明において、前記ロボットの前記末端軸の可動端側に位置する部分の重心が前記ロボットの前記末端軸の前記回転中心線上に概ね位置するようにした。
すなわち２番目の発明においては、ロボットの末端軸の可動端側に位置する部分の重心が末端軸の回転中心線上に概ね位置するようにしている。この目的のために、撮像手段のためのカウンタバランスを末端軸の回転中心線を基準として対称となる位置に設けるのが好ましい。これにより、ロボットの末端軸の可動端側に撮像手段が取付けられている場合に末端軸を回転中心線回りに回転させたとしても、ロボットの末端軸の回転中心線における可動端側に位置する部分の重心位置は変化しない。その結果、移動前後におけるアーム要素の撓み量に基づく誤差は完全に相殺されるので、移動前後における撮像手段の相対的な位置誤差を排除でき、より高精度な三次元位置計測が可能となる。さらに、ロボットの末端軸の回転中心線における末端軸の可動端側の全質量の重心、すなわち、撮像手段と作業ツールを合わせた全体の重心が回転中心線上に概ね位置するように作業ツールを設計することでも同様の効果が得られることは言うまでもない。

３番目の発明によれば、１番目の発明において、前記ロボットに取付けられた作業ツールが前記ロボットの前記末端軸の前記回転中心線に対して同心の筒型形状であり、前記撮像手段が前記作業ツールの内部に取付けられている。
すなわち３番目の発明においては、末端軸を回転中心線回りに回転させた場合であっても作業ツールの外形寸法が変化することはない。その結果、撮像手段および作業ツールが周辺機器に干渉する危険性を排除できる。

以下、添付図面を参照して本発明の実施形態を説明する。以下の図面において同様の部材には同様の参照符号が付けられている。理解を容易にするために、これら図面は縮尺を適宜変更している。
図１は、本発明の第一の実施形態に基づく三次元位置計測装置の略図である。図１に示されるように、三次元計測装置７は、ロボット１０と、該ロボット１０に接続された制御装置２０とを主に含んでいる。図１に示されるロボット１０は、ベース部１１と、第一軸線１回りに旋回可能にベース部１１に取付けられた旋回胴１２とを含んでいる。旋回胴１２の上腕取付部には、第一軸線１に対して垂直な第二軸線２回りで旋回可能な上腕１４が取付けられている。さらに、第二軸線２に対して平行な第三軸線３回りで回転可能な前腕１５が上腕１４の先端に取付けられている。

さらに、第三軸線３に対して垂直な第四軸線４回りで回転可能な第一手首要素１６が前腕１５の先端に取付けられている。そして、第一手首要素１６の先端には、第四軸線４に略垂直な第五軸線５回りに回転可能な第二手首要素１７が連結されている。さらに、第二手首要素１７の先端には第二手首要素１７の長手方向に略一致する第六軸線６回りに回転可能な作業ツール４０が連結されている。

図示される実施形態においては、第六軸線６はロボット１０の末端軸の回転中心線である。作業ツール４０は図１のサーボモータ１９により第六軸線６回りに回転される。なお、添付図面においては、作業ツール４０としてロボットハンドが示されているが、作業ツール４０は溶接トーチであってもよい。

また、図１においては、カメラ３０、例えばＣＣＤカメラがロボット１０の第六軸線６の可動端側に取付けられている。具体的には、カメラ３０は、作業ツール４０のハウジング４１の外周面に取付けられている。このため、カメラ３０の焦点は第六軸線６から所定距離以上離れている。また、カメラ３０は、その前方の所定位置に配置された対象物Ｗを撮像して、対象物Ｗの画像データを後述する画像処理装置２１に供給する。

カメラ３０のキャリブレーションは、所定位置に在るキャリブレーション用治具（図示しない）により既に行われているものとする。このため、キャリブレーション用治具とキャリブレーション実施時のカメラ３０との相対位置が既に確定している。また、キャリブレーション用治具とロボット１０との間の位置関係も分かっているので、ロボット１０のメカニカルインタフェースに対するカメラ３０の位置を正確に求めることができる。これを元に、ロボット１０の現在位置、すなわち第六軸線６における可動端側のメカニカルインタフェース位置に基づいて、カメラ３０の現在位置を取得することができる。

図１に示される制御装置２０はロボット１０全体の動作を制御する。図示されるように、制御装置２０には、ＬＣＤとキーボードとを備えた教示制御盤２９が接続されている。操作者は、教示制御盤２９のＬＣＤを通じて制御装置２０内部の情報を閲覧できる。さらに、操作者は、教示制御盤２９のキーボードを通じて制御装置２０の各種プログラムおよびデータの入力および変更を行うことができる。

さらに、制御装置２０には、画像処理装置２１が接続されている。画像処理装置２１は、カメラ３０が異なる複数の位置において撮像した対象物Ｗの画像と、対象物Ｗを撮像したカメラ３０の位置とに基づいて対象物Ｗの三次元位置をステレオ計測する計測手段２５としての役目を果たす。表示部２６には対象物Ｗの画像および対象物Ｗの画像に画像処理を施した結果などが表示される。図示しない実施形態においては、制御装置２０が画像処理装置２１および計測手段２５および表示部２６を含む構成であってもよい。

図２は図１に示されるシステムの動作プログラムを示すフローチャートである。この動作プログラムは、制御装置２０の記憶部（図示しない）に予め記憶されているものとする。以下、図２を参照しつつ、図１に示されるシステムの動作を説明する。

図２のステップ１０１において、ロボット１０を動作させて、対象物Ｗを撮像可能な第一カメラ位置Ｐａまでカメラ３０を移動させる。ステップ１０１における移動の際には、ロボット１０の全ての軸線１〜６が移動および回転してもよい。

図３は本発明の第一の実施形態に基づくカメラおよびその周囲の拡大図である。カメラ３０が図３にて実線で示される第一カメラ位置Ｐａまで移動されると、カメラ３０は対象物Ｗの第一画像Ｉａを撮像して画像処理装置２１に記憶させる（ステップ１０２）。次いで、第一画像Ｉａを撮像したときのカメラ３０の第一カメラ位置Ｐａが制御装置２０に同様に記憶される（ステップ１０３）。

次いで、図２のステップ１０４において、サーボモータ１９を駆動させて、作業ツール４０を第六軸線６回りに白矢印方向に回転させる。図３に示される実施形態においては、作業ツール４０は１８０°だけ第六軸線６回りに回転される。これにより、カメラ３０は第一カメラ位置Ｐａから第二カメラ位置Ｐｂまで移動される。

なお、カメラ３０の移動時においてはロボット１０の他の軸線１〜５は移動せず、また回転もしない。従って、各軸線１〜５の角度も変化しない。その後、図２のステップ１０５では、第二カメラ位置Ｐｂにおける対象物Ｗの第二画像Ｉｂが撮像されて画像処理装置２１に記憶される。次いで、ステップ１０６において、第二カメラ位置Ｐｂを制御装置２０に同様に記憶する。

第一カメラ位置Ｐａ、第二カメラ位置Ｐｂは画像処理装置２１に供給される。そして、ステップ１０７においては、画像処理装置２１の計測手段２５が第一画像Ｉａにおける対象物Ｗの特徴点Ｗ１の特徴点位置Ｐｗａを検出する。

図３に示されるように、特徴点Ｗ１は例えば対象物Ｗの外周部から突出する突起である。あるいは、特徴点として、対象物Ｗの中央穴の縁部などを採用することも可能である。簡潔にする目的で、図面には単一の特徴点Ｗ１のみしか示していないが、実際には対象物Ｗは複数の特徴点Ｗ１、Ｗ２、Ｗ３…を備えているものとする。第一画像Ｉａの特徴点位置Ｐｗａを検出した後においては、ステップ１０８にて、画像処理装置２１は対象物Ｗの特徴点Ｗ１の第二画像Ｉｂにおける特徴点位置Ｐｗｂを同様に検出する。

その後、ステップ１０９において、計測手段２５は、第一画像Ｉａにおける特徴点位置Ｐｗａと第一カメラ位置Ｐａとに基づいて、第一カメラ位置Ｐａにおける視線ＸＡの位置および方向を算出する（図３を参照されたい）。そして、ステップ１１０において、第二画像Ｉｂにおける特徴点位置Ｐｗｂと第二カメラ位置Ｐｂとに基づいて、第二カメラ位置Ｐｂにおける視線ＸＢの位置および方向を同様に算出する。これら視線ＸＡ、ＸＢの算出手法は公知であるので、その説明を省略する。

最終的に、ステップ１１１において、計測手段２５は、視線ＸＡ、ＸＢの交点として、対象物Ｗの特徴点Ｗ１の三次元位置をステレオ計測する。この三次元位置の計測は公知であるので、その説明を省略する。特徴点Ｗ１の三次元位置が計測されると、対象物Ｗの他の特徴点Ｗ２、Ｗ３、…についても、前述したステップを繰返すことにより、それらの三次元位置を同様にステレオ計測する。対象物Ｗの全ての特徴点Ｗ１、Ｗ２、Ｗ３、…の三次元位置が計測されると、処理を終了する。
本実施形態においては、第一カメラ位置Ｐａにおける視線ＸＡと第二カメラ位置Ｐｂにおける視線ＸＢとの交点として対象物Ｗの特徴点Ｗ１の三次元位置を求めている。しかしながら、カメラ位置をさらに追加して、追加したカメラ位置における視線を含む三つ以上の視線の交点を最小二乗法等を利用して求めることで、得られる特徴点Ｗ１の三次元位置の精度を向上させられることは言うまでもない。

このように本発明においては、ステップ１０４にて、作業ツール４０を第六軸線６回りにのみ回転させることにより、カメラ３０を第一カメラ位置Ｐａから第二カメラ位置Ｐｂまで移動させている。従って、本発明ではカメラ３０の移動前後においてもロボット１０の上腕１４、前腕１５、第一および第二手首要素１６、１７等の姿勢および位置が変化しない。

このため、本発明においてはカメラ３０の移動誤差、つまり移動前後における位置誤差を第六軸線６（末端軸の回転中心線）の回転に伴う誤差程度にまで減少させられる。すなわち、他の軸線１〜５の回転移動ないし並進移動に伴う誤差の影響を受けないので、本発明においては、対象物Ｗの特徴点Ｗ１のより正確な三次元位置を取得することが可能となる。

なお、本発明では、カメラ３０の移動時に第六軸線６（末端軸の回転中心線）回りの回転のみを用いているが、他の軸線、例えば第五軸線５回りの回転のみによりカメラ３０を移動させてもよい。しかしながら、ロボット１０の末端軸の回転中心線においては作業ツール４０のみが支持されているので、前腕または手首要素を支持する他の軸線と比較して、末端軸の回転中心線回りの回転のみを用いた場合には、カメラ３０の移動精度を高めることができる。従って、このような場合には、対象物Ｗの三次元位置をより高精度で求められることが分かるであろう。

図４は本発明の第二の実施形態に基づくカメラおよびその周囲の拡大図である。第二の実施形態においても、図２を参照して説明したのと同様な処理が行われる。第二の実施形態においては、作業ツール４０（ハウジング４１を含む）はその重心位置が第六軸線６上に一致するように設計されている。そのハウジング４１の外周面にカメラ３０が付加されており、さらに、カメラ３０の重量に等しい重量を有するカウンタバランス３５が、作業ツール４０のハウジング４１の外周面に取付けられている。図４から分かるように、カウンタバランス３５は、第六軸線６を基準としてカメラ３０と対称な、直径方向反対側に取付けられている。

このような構成であるので、第二の実施形態においては、ロボット１０の第六軸線６における可動端側の全質量の重心、すなわち、カメラ３０、カウンタバランス３５、作業ツール４０、およびハウジング４１を合わせた全体の重心は第六軸線６上に概ね位置するようになる。従って、第六軸線６において可動端側に位置する部分が第六軸線６回りに回転した場合であっても、第六軸線６において可動端側に位置する部分の全質量の重心位置は変化しない。すなわち、第二の実施形態においては、カメラ３０の移動前後におけるアームの撓みに基づく誤差を完全に相殺できる。それゆえ、第二の実施形態においては、より高精度な三次元位置計測が可能となるのが分かるであろう。

ところで、カメラ３０を第六軸線６回りに回転させる場合には、カメラ３０を備えた作業ツール４０がロボット１０の周辺機器に干渉する可能性がある。周辺機器に対する干渉を回避するためには、作業ツール４０のハウジング４１は、中心軸線が第六軸線６に一致する筒型形状、例えば円筒形状であるのが好ましい。この場合には、作業ツール４０を第六軸線６回りに回転させた場合であっても、作業ツール４０の外形寸法はほとんど変化しない。従って、作業ツール４０の回転時に作業ツール４０が周辺機器に干渉することはない。

さらに、本発明の第三の実施形態に基づくカメラ等の拡大図である図５に示されるように、カメラ３０がハウジング４１の内部に配置されることが好ましい。これにより、カメラ３０および作業ツール４０が周辺機器に干渉する危険性を排除できるのが分かるであろう。

ところで、ステレオ計測においては、第一および第二のカメラ位置Ｐａ、Ｐｂの間の相対距離を長くすることにより、対象物Ｗの奥行き位置分解能を向上させることが可能である。これに対し、相対距離を長くしすぎた場合には第一および第二のカメラ位置Ｐａ、Ｐｂにおいて共通に撮像できる範囲が狭くなる。図６（ａ）および図６（ｂ）はカメラ３０の移動前後において撮像された画像を示す図である。図６（ａ）に示される例においては、カメラ３０を第六軸線６回りで時計回り方向に回転量θ１だけ回転させている。また、図６（ｂ）に示される例においては、カメラ３０を第六軸線６回りで反時計回り方向に回転量θ２だけ回転させている。

これら図面から分かるように、第六軸線６回りの回転量θ１、θ２は、カメラ３０の移動前後にて対象物Ｗがカメラ３０の視野から逸脱することのない最大値であるのが好ましい。このような場合には、対象物Ｗの奥行き位置分解能をその限界まで向上させられることが分かるであろう。

また、最大の回転量θ１、θ２を得るための回転の方向は、第一カメラ位置Ｐａにおいて撮像された第一画像Ｉａ内の対象物Ｗの位置に応じて定まる。回転の方向を求める際には、はじめに第一カメラ位置Ｐａで第一画像Ｉａを撮像する。次いで、カメラ３０を第六軸線６回りで所定方向に微小回転量Δθだけ回転させて、新たな画像Ｉｎ（図示しない）を取得する。その後、画像処理装置２１が第一画像Ｉａおよび画像Ｉｎから対象物Ｗの移動方向および移動量を求める。そして、前述した所定方向、対象物Ｗの画像上での見た目の移動方向および移動量に基づいて、対象物Ｗがカメラ３０の視野から逸脱することのない回転量の最大値が画像処理装置２１によって算出される。

典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、前述した変更および種々の他の変更、省略、追加を行うことができるのを理解できるであろう。

本発明の第一の実施形態に基づく三次元位置計測装置の略図である。 図１に示されるシステムの動作を示すフローチャートである。 本発明の第一の実施形態に基づくカメラおよびその周囲の拡大図である。 本発明の第二の実施形態に基づくカメラおよびその周囲の拡大図である。 本発明の第三の実施形態に基づくカメラおよびその周囲の拡大図である。 （ａ）カメラの移動前後において撮像された画像を示す図である。（ｂ）カメラの移動前後において撮像された画像を示す他の図である。 （ａ）従来技術におけるロボットの第一の略側面図である。（ｂ）従来技術におけるロボットの第二の略側面図である。

符号の説明

１ 第一軸線
２ 第二軸線
３ 第三軸線
４ 第四軸線
５ 第五軸線
６ 第六軸線（回転中心線）
７ 三次元計測装置
１０ ロボット
１１ ベース部
１２ 旋回胴
１４ 上腕
１５ 前腕
１６ 第一手首要素
１７ 第二手首要素
１９ サーボモータ（移動手段）
２０ 制御装置
２１ 画像処理装置
２５ 計測手段
２６ 表示部
２９ 教示制御盤
３０ カメラ（撮像手段）
３５ カウンタバランス
４０ 作業ツール
Ｗ 対象物
Ｗ１ 特徴点

Claims (3)

1. 複数の軸回りで回転可能または該軸沿いに並進可能に互いに結合された複数のアーム要素を備えたロボットの末端軸の回転中心線における前記末端軸の可動端側に取付けられた撮像手段と、
   前記ロボットの末端軸の動作によって該撮像手段を前記末端軸の回転中心線回りにのみ移動させる移動手段と、
   該移動手段による前記撮像手段の移動の前後における前記撮像手段の位置と、これら位置において前記撮像手段によりそれぞれ撮像された対象物の画像とに基づいて、前記対象物の三次元位置を計測する計測手段とを具備する三次元位置計測装置。
2. 前記ロボットの前記末端軸の可動端側に位置する部分の重心が前記ロボットの前記末端軸の前記回転中心線上に概ね位置するようにした、請求項１に記載の三次元位置計測装置。
3. 前記ロボットに取付けられた作業ツールが前記ロボットの前記末端軸の前記回転中心線に対して同心の筒型形状であり、前記撮像手段が前記作業ツールの内部に取付けられていることを特徴とする、請求項１に記載の三次元位置計測装置。

Images