JP2011112401A - ３次元計測のためのキャリブレーション方法および３次元視覚センサ - Google Patents

Abstract

【課題】ユーザが定めた計測対象の高さ範囲に適した姿勢でキャリブレーションワークが設置されているかどうかを作業者が容易に判断できるようにする。
【解決手段】キャリブレーション処理の設定画面において、作業者は、高さ計測範囲の下限値および上限値を入力ボックス２０４，２０５に入力した後に、ボタン２０６〜２０８のいずれかによりキャリブレーションワークの姿勢を選択する。この後、作業者がキャリブレーションプレートを選択した姿勢になるように調整すると、正面視用のカメラにより生成された画像を用いた処理により、このカメラの光軸に直交する平面（基準平面）に対するキャリブレーションワークの表面の傾きを示す角度が算出される。さらに算出された角度に基づき、キャリブレーションワークの姿勢が上記の高さ計測範囲が適合しているか否かが判定され、その判定結果が設定画面上に表示される。
【選択図】図７

Description

本発明は、ステレオカメラを用いた３次元計測を行うのに必要なパラメータを教示する処理（キャリブレーション）の方法、およびこのキャリブレーション方法が適用される３次元視覚センサに関する。

ステレオカメラによる３次元計測を行うには、ステレオカメラを構成する各カメラの座標系とワールド座標系との関係を表す変換式（下記の（１）式）中の透視変換行列（下記の（２）式）を求める必要がある。なお、（１）式中のλはスケールファクタである。

上記の透視変換行列Ｐの各要素Ｐ_００，Ｐ_０１，・・・Ｐ_２３は、カメラの内部パラメータ（焦点距離、分解能、画像中心など）と、カメラの位置や姿勢に起因するパラメータ（ワールド座標系とカメラ座標系との回転ずれや各座標系の原点の位置ずれ量など）とを反映したものである。従来のキャリブレーション処理では、複数の３次元座標（Ｘ，Ｙ，Ｚ）について、それぞれカメラ毎に対応する２次元座標（ｘ，ｙ）を特定し、各２次元座標と３次元座標との組み合わせを上記の（１）式に代入することにより、行列Ｐ内の各要素を未知数とする多次元連立方程式を設定する。そして、最小自乗法などにより各要素の最も好ましい値を特定する。

上記のキャリブレーション処理に用いられる３次元座標や２次元座標は、複数のマークが規則性をもって配列されたキャリブレーションパターンが表面に設けられたキャリブレーションワークを用いてサンプリングされる。この種のキャリブレーションワークとして、たとえば特許文献１には、直交する関係にある２方向（第１および第２の基準方向）を表す形状のマークを中心に、各方向に沿って複数のマークを等間隔で配置した構成のキャリブレーションプレートが開示されている。また、この特許文献１には、ステレオ画像を構成する画像毎に、画像中の中央のマークにより各基準方向を特定し、特定した方向に沿って順に教示点（均等配置されたマークの特徴点）を探索し、各教示点の画像上の座標値とキャリブレーションプレートにおける相対位置関係から求めた空間座標とを対応づけることが記載されている。

特開２０００−１８０１３８号公報

特許文献１に記載されているような平板状のキャリブレーションワークを用いてキャリブレーション処理を行う場合には、キャリブレーションワークの位置や姿勢（傾斜角度）を変更して複数回のステレオ撮像を行う。この場合に高さの計測精度を確保するには、計測対象とする高さ範囲に十分な数のマークが分布するようにキャリブレーションワークの傾きを調整する必要がある。しかし、従来はキャリブレーションワークの傾きが適切であるかどうかを判断する基準がなく、調整が不十分なままキャリブレーションが進められる可能性がある。
また、キャリブレーションワークに設定される傾きが作業者によって異なると、３次元計測の結果にもばらつきが生じる。

本発明は上記の問題に着目し、ユーザが定めた計測対象の高さ範囲に適した姿勢でキャリブレーションワークが設置されているかどうかを作業者が容易に判断できるようにすることによって、計測の目的に適したキャリブレーションを実施して、計測の精度を確保することを、課題とする。

本発明は、ステレオカメラによる３次元計測の対象空間に、直交する２方向に沿ってそれぞれ複数のマークが複数列にわたって配列されたキャリブレーションパターンが表面に設けられた平板状のキャリブレーションワークを、位置または姿勢を毎回変更して設置して複数回のステレオ撮像を実施し、毎回の撮像により生成された複数組のステレオ画像中のマークを用いて３次元計測のためのパラメータを導出する方法に適用される。

この方法では、以下の第１〜第３のステップを実行する。
第１ステップでは、キャリブレーションワークの位置および姿勢を定めた後に、ステレオカメラのうちの１つのカメラによる撮像により生成された前記キャリブレーションワークの画像を処理対象画像として、この処理対象画像中の前記マークの特徴点を抽出する。第２ステップでは、特徴点の抽出結果に基づき、処理対象画像において、直交する関係にある２方向に沿って並ぶ特徴点の配列を方向毎に少なくとも２列特定して、特定した配列毎にその配列に含まれる２個の特徴点の間の処理対象画像上の距離を算出する。

第３ステップでは、第２ステップで配列毎に算出された距離と、この算出に用いられた特徴点に対応するマーク間のキャリブレーションワークにおける位置関係と、処理対象画像を生成したカメラの内部パラメータとに基づき、第２ステップで特定された特徴点の配列毎に、キャリブレーションワーク上の当該配列からカメラまでの距離を算出する。さらに算出された各距離を用いて、カメラの光軸に直交する平面に対するキャリブレーションワークの傾きを表す角度を算出し、算出された角度をモニタに表示する。

上記の方法において、第２ステップでは、直交する関係にある２方向毎に、一定数の特徴点が配列されている範囲の両端の各特徴点を特定して、これらの特徴点間の距離を算出するのが望ましい。

第３ステップにおいては、たとえば、第２ステップで算出された距離に対応する数値として、距離の算出に使用された各特徴点に対応するマーク間の実際の位置関係からキャリブレーションワークにおける特徴点間の距離を割り出し、これら２種類の距離およびカメラの内部パラメータ（焦点距離や解像度）を用いて、カメラの焦点から各特徴点を通る直線までの距離を求める。さらに、直交する関係にある２方向毎に、その方向に沿う各配列間における上記の距離の変化量や各特徴点に対応するマーク間の距離などに基づき、当該方向がカメラの光軸に直交する面に対してなす角度を求めることができる。

上記の方法によれば、３次元計測の対象空間において、作業者がキャリブレーションワークの姿勢を調整すると、その姿勢を表す角度が自動算出されて表示されるので、作業者はその算出値を見ながら、計測対象とする高さ範囲に対する計測精度を確保できる状態になるようにキャリブレーションワークの姿勢を調整することができる。

上記の方法の好ましい一実施態様では、計測対象とする高さ範囲について、あらかじめ、その範囲を表す設定値の入力を受け付ける。また、第３ステップで算出された角度を用いてキャリブレーションワークの姿勢が前記入力された設定値が示す高さ範囲に適合するか否かを判定し、その判定結果を出力する第４ステップを、さらに実行する。

第４ステップでは、たとえば、第３ステップで算出された角度や、特徴点間の距離などに基づき、算出された角度をもってキャリブレーションワークが傾斜している場合に高さのサンプリングに必要な数の特徴点が分布する範囲の高さを割り出し、この高さと設定値が示す高さ範囲とを照合することにより、キャリブレーションワークの姿勢の適否を判定する。または、あらかじめ、入力された設定値が示す高さ範囲に高さのサンプリングに必要な数のマークが分布するようにキャリブレーションワークの姿勢を調整したときのキャリブレーションワークの傾斜角度を求めて、これを適正角度として登録しておき、第３ステップで算出された角度を適正角度と照合することにより、キャリブレーションワークの姿勢の適否を判定してもよい。

上記の態様によれば、３次元計測の対象空間において、作業者がキャリブレーションワークの姿勢を調整すると、その姿勢が設定された高さ範囲を計測するのに適しているかどうかが自動判定されて、その判定結果が出力される。したがって、高さ範囲の計測に適していると判定された姿勢によるキャリブレーションワークを各カメラにより撮像して、これを用いて精度の良いキャリブレーション演算を実施することができる。

上記のキャリブレーション方法の他の好ましい実施態様では、第３ステップにおいて、第２ステップで特定された特徴点の配列毎に、キャリブレーションワーク上の当該配列からカメラまでの距離を算出した後に、キャリブレーションパターン内で直交する関係にある２方向毎に、その方向と直交する関係にある特徴点の配列に関して算出した前記距離を用いて、カメラの光軸に直交する平面に対する当該方向の傾斜角度を算出する。また第４ステップでは、直交する関係にある２方向の一方に沿って高さが変化するようにキャリブレーションワークが傾けられていることを前提として、この方向につき第２ステップで算出された傾斜角度をもってキャリブレーションワークを傾けたときに当該方向に沿って配列された一定数の特徴点が分布する高さ範囲が前記設定値が示す高さ範囲に適合するか否かを判定する。

上記の態様によれば、直交する関係にある２方向の一方に沿って傾斜するように、キャリブレーションワークの姿勢を調整する場合に、設定されている高さ範囲を計測するのに適した姿勢を設定することができる。

他の好ましい態様によるキャリブレーション方法では、ステレオカメラを構成するカメラの１つがキャリブレーションワークを正面視するように光軸が定められ、このカメラにより生成されたキャリブレーションワークの画像を処理対象として、前記第１〜第４の各ステップを実行する。

上記の態様によれば、キャリブレーションワークの正面視画像を処理対象画像とすることにより、キャリブレーションワークが設置される基準面に対するキャリブレーションワークの表面の傾斜角度を求めることが可能になる。

つぎに、本発明が適用される３次元視覚センサは、ステレオカメラと、直交する２方向に沿ってそれぞれ複数のマークが複数列にわたって配列されたキャリブレーションパターンが表面に設けられた平板状のキャリブレーションワークをステレオカメラにより複数回撮像することにより生成された複数組のステレオ画像を用いて３次元計測のためのパラメータを導出するパラメータ導出手段と、パラメータ導出手段が導出したパラメータを登録する登録手段と、この登録手段による処理が終了した後にステレオカメラにより生成されたステレオ画像を対象に、登録されたパラメータを用いた３次元計測処理を実行する計測手段とを具備する。

上記の３次元視覚センサは、ステレオカメラのうちの１つのカメラによる撮像により生成されたキャリブレーションワークの画像を処理対象画像として、この処理対象画像中のマークの特徴点を抽出する特徴点抽出手段と、特徴点の抽出結果に基づき、処理対象画像において、直交する関係にある２方向に沿って並ぶ特徴点の配列を方向毎に少なくとも２列特定し、特定した配列毎に、その配列中の２個の特徴点の間の処理対象画像上での距離を算出し、配列毎に算出された距離と、この算出に用いられた特徴点に対応するマークの間のキャリブレーションワークにおける位置関係と、処理対象画像を生成したカメラの内部パラメータとに基づき、カメラの光軸に直交する平面に対するキャリブレーションワークの表面の傾きを表す角度を算出する演算手段と、演算手段により算出された角度をモニタに表示する表示手段とを、具備する。この構成により上記のキャリブレーション方法を実行することが可能になる。

本発明によれば、ステレオカメラを構成するカメラのうちの１つを用いた処理により、キャリブレーションワークの姿勢を示す角度を算出して表示するので、作業者は、表示された値を見ながらキャリブレーションワークの姿勢を調整することができる。よって、計測対象とする高さ範囲に対する計測精度を確保するのに必要な数の３次元座標や２次元座標をサンプリングできる状態のステレオ画像を取得して、キャリブレーションの精度を高めることができる。

３次元視覚センサが導入されたピッキングシステムの構成を示す図である。 ３次元視覚センサの電気構成を示すブロック図である。 キャリブレーションプレートの構成例を示す図である。 キャリブレーションパターンから抽出される特徴点を識別するルールを示す図である。 キャリブレーションプレートの設置例を示す図である。 直交する関係にある２方向の一方に沿って傾斜させたキャリブレーションプレートを正面視のカメラの視点から見た状態を示す図である。 キャリブレーション処理時の設定画面の例を示す図である。 キャリブレーションプレートの傾斜角度が算出された後の設定画面の例（判定ＮＧ）を示す図である。 キャリブレーションプレートの傾斜角度が算出された後の設定画面の例（判定ＯＫ）を示す図である。 Ｘ方向傾斜角度θＸおよびＹ方向傾斜角度θＹの定義を示す図である。 傾斜角度の算出に用いられる正方形領域を、キャリブレーションパターンの傾斜方向毎に示す図である。 カメラの焦点からキャリブレーションプレート上の配列までの距離を算出する原理を示す図である。 適正角度を求める原理を示す図である。 キャリブレーション演算用の画像を取得する処理の手順を示すフローチャートである。

図１は、３次元視覚センサが導入されたピッキングシステムの例を示す。
このピッキングシステムは、工場内で収容ボックス６に収容されたワークＷを１つずつ取り出して所定の位置に搬送する作業を行うためのもので、ワークＷを認識するための３次元視覚センサ１００のほか、実際の作業を行う多関節ロボット４や、このロボット４の動作を制御するロボット制御装置３などが含まれる。

３次元視覚センサ１００は、ステレオカメラ１と認識処理装置２とにより構成される。
ステレオカメラ１は、３台のカメラＣ０，Ｃ１，Ｃ２により構成される。これらのうち中央のカメラＣ０は、光軸を鉛直方向に向けた状態（すなわち正面視を行う状態）にして配備され、左右のカメラＣ１，Ｃ２は、光軸を鉛直方向に対して斜めにして配備される。

認識処理装置２は、専用のプログラムが格納されたパーソナルコンピュータである。この認識処理装置２では、各カメラＣ０，Ｃ１，Ｃ２が生成した画像を取り込んで、ワークＷの輪郭線を対象とする３次元計測を実行した後に、この計測により復元された３次元情報をあらかじめ登録された３次元モデルと照合することにより、ワークＷの位置および姿勢を認識する。そして、認識したワークＷの位置を表す３次元座標、および３次元モデルに対するワークＷの回転角度（Ｘ，Ｙ，Ｚの各軸毎に表される。）をロボット制御装置３に出力する。ロボット制御装置３では、この情報に基づき、ロボット４のアーム４０の動作を制御して、ワークＷを把持させる。

図２は、上記の３次元視覚センサ１００の構成をブロック図により表したものである。
この図によれば、認識処理装置２には、各カメラＣ０，Ｃ１，Ｃ２に対応する画像入力部２０，２１，２２、カメラ駆動部２３、ＣＰＵ２４、メモリ２５、入力部２６、表示部２７、通信インターフェース２８などが含まれる。

カメラ駆動部２３は、ＣＰＵ２４からの指令に応じて、各カメラＣ０，Ｃ１，Ｃ２を同時に駆動する。なお、後記するキャリブレーション処理では、各カメラＣ０，Ｃ１，Ｃ２を一定の時間毎に駆動し、作業者による画像取り込み操作が行われた時点の最新画像をキャリブレーション用の画像として作業メモリに取り込むようにしている。

表示部２７は、図１に示すモニタ装置である。また入力部２６には、図１中のキーボード２６Ａおよびマウス２６Ｂが含まれる。これらは、キャリブレーション処理およびモデル作成処理という２種類の設定処理の際に、設定のための情報を入力したり、作業を支援するための情報を表示する目的に使用される。
通信インターフェース２８は、ロボット制御装置３との通信に用いられる。

メモリ２５は、ＲＯＭ，ＲＡＭ，およびハードディスクなどの大容量メモリを含むもので、キャリブレーション処理、３次元モデルの作成、およびワークＷの３次元認識処理のためのプログラムや設定データが格納されている。また、キャリブレーション処理で算出された３次元計測用のパラメータや３次元モデルも、メモリ２５内の専用のエリアに登録される。

ＣＰＵ２４は、メモリ２５内のプログラムに基づき、キャリブレーション処理、すなわち３次元計測用のパラメータの算出および登録処理を行った後に、モデル作成処理、すなわちワークＷの３次元モデルの作成および登録処理を実行する。この２種類の設定処理を実行することによって、ワークＷに対する３次元計測および認識処理が可能な状態になる。

以下、上記２種類の設定処理のうち、最初に実行されるキャリブレーション処理について、詳細に説明する。

この実施例では、図３に示すようなキャリブレーションプレート３０を用いて３次元計測用のパラメータを算出する。このキャリブレーションプレート３０は、白色地の薄型プレートの上面に２次元のキャリブレーションパターンを描いた構成のものである。

図３に示すキャリブレーションパターンは、同一径の円形状のマークＭを上下および左右に等間隔で配列したものである。以下、このマークＭの配列方向の一方をＦＸとし、他方をＦＹとする。また、マークＭの中心点間の距離をＤとする。なお、ＦＸ，ＦＹの各方向は固定されたものではなく、カメラＣ０〜Ｃ２の視野に対する関係によっては、図示とは反対になる場合もある。

上記のキャリブレーションパターンでは、中心に位置するマークＭ０を除く各マークＭは黒一色で着色され、中心のマークＭ０には、外周部が黒色で内部に一回り小さい白色円が配置されている。キャリブレーションプレート３０の各マークＭの位置は、このマークＭ０と各配列方向ＦＸ，ＦＹを基準に認識される。

図４は、上記のキャリブレーションプレート３０の各マークＭの特徴点を識別するためのルールを示す。
この図では、各マークＭの配列を、それぞれの中心点の配列に置き換えて示すとともに、各中心点にＰ（ｉ，ｊ）というラベルを付している。各ラベルの（ｉ，ｊ）の値は、中央のマークＭ０の中心点を（０，０）として、ｉはＦＸ方向に沿って、ｊはＦＹ方向に沿って、それぞれ１ずつ変化するように定められている。

図５は、上記のキャリブレーションプレート３０の設置方法を示す。なお、この図５には、正面視を行うカメラＣ０のみを示しているが、他のカメラＣ１，Ｃ２もカメラＣ０と同じタイミングでキャリブレーションプレート３０を撮像する。

この実施例のキャリブレーション処理では、作業者により定められた平面Ｓ０（以下、「基準平面Ｓ０」という。）を高さ０の平面とし、この基準平面Ｓ０にキャリブレーションプレート３０を水平な姿勢で設置して（図中の矢印（ア）が示す状態）、１回目のステレオ撮像を実施する。このときには、カメラＣ０により生成された正面視画像の中のマークＭの配列方向の一方が画像の左右方向（ｘ軸方向）にほぼ対応し、他方が画像の上下方向（ｙ軸方向）にほぼ対応するように、マークＭの配列方向を調整する。ここでｘ軸方向に対応づけられた方向がＦＸ方向として認識され、ｙ軸方向に対応づけられた方向がＦＹ方向として認識される。

２回目のステレオ撮像は、キャリブレーションプレート３０を、（ア）の姿勢を維持したまま基準面から持ち上げた状態（矢印（イ）が示す状態）にして実施する。このときのキャリブレーションプレート３０の高さは、後記する高さ計測範囲の上限値付近に定めるのが望ましい。

この後は、キャリブレーションプレート３０の高さがＦＸ方向に沿って変化する状態になるようにプレートを傾斜させて（矢印（ウ）が示す状態）、３回目のステレオ撮像を実施し、さらに、傾斜の方向が反対になるようにして（矢印（エ）が示す状態）、４回目のステレオ撮像を実施する。さらに、ＦＹ方向に関しても（ウ）（エ）と同様に、キャリブレーションプレート３０の高さがＦＹ方向に沿って変化する２とおりの状態を設定して、５回目および６回目のステレオ撮像を実施する。

図６は、キャリブレーションプレート３０を傾斜した姿勢で設置したときにカメラＣ０の視点から見たキャリブレーションプレート３０の状態を示す。図６（１）は、キャリブレーションプレート３０をＦＹ方向に沿って高さが変化するように傾けた例であり、図６（２）は、キャリブレーションプレート３０をＦＸ方向に沿って高さが変化するように傾けた例である。これらの姿勢をキャリブレーションプレート３０の軸回転によるものとすると、図６（１）に示す姿勢は、ＦＸ方向を軸としてキャリブレーションプレート３０を所定角度回転させることにより生じ、図６（２）に示す姿勢は、ＦＹ方向を軸としてキャリブレーションプレート３０を所定角度回転させることにより生じることになる。

図５に示した方法によりキャリブレーションプレート３０の位置（高さ）または姿勢を変更して計６回のステレオ撮像が実施される。認識処理装置２のＣＰＵ２４は、各回のステレオ撮像毎に、その撮像により生成されたカメラ毎の画像からそれぞれマークの特徴点（中心点）の座標を抽出して、図４に示した方法によりこれらの座標にラベル付けを行う。

また、ＣＰＵ２４は、キャリブレーションプレート３０が基準平面Ｓ０に設置されたときのマークＭ０の位置を原点（０，０，０）とし、このときのマークＭの一方の配列方向ＦＸをＸ軸方向とし、他方の並び方向ＦＹをＹ軸方向とし、基準平面Ｓ０の法線方向をＺ方向とする空間座標系を設定して、毎回のステレオ画像における各特徴点の３次元座標を特定する。

上記の空間座標の設定によれば、１回目の撮像に関しては、各特徴点のＺ座標はすべて０となる。また、Ｘ，Ｙ座標についても、それぞれの特徴点に付されたラベルのｉ，ｊの値と各マークＭの中心点間の距離Ｄとを用いて具体的な値（Ｘ＝ｉ×Ｄ，Ｙ＝ｊ×Ｄ）を導出することができる。

２回目以後のステレオ撮像においては、Ｚ座標は未知数となる。またＸ，Ｙ座標に関しても、ｉ，ｊ，Ｄの各値と、原点に対するマークＭ０の位置ずれ量やキャリブレーションプレート３０の基準平面Ｓ０に対する傾き角度などによる未知数とを用いて各座標を表現する。
この実施例においては、水平な姿勢のキャリブレーションプレート３０をＦＸ方向またはＦＹ方向を軸に回転させることによりキャリブレーションプレート３０を傾けた姿勢に設定するので、画像における各マークの配列方向ＦＸ，ＦＹは、キャリブレーションプレート３０が水平な姿勢で基準平面Ｓ０に設置されているときの画像におけるものと、ほぼ同様になる。よって、直交する２方向を表す特別のマーキングが存在しなくとも、各方向を容易に特定して、各特徴点の座標に対するラベル付けを正しく行うことができる。したがって、キャリブレーションプレート３０がいずれの姿勢をとる場合でも、上記の未知数を用いた３次元座標を正しく特定することができる。

上記の処理によれば、ステレオ撮像毎に、３個の２次元座標と１つの３次元座標との組み合わせが複数組定められる。ＣＰＵ２４は、これらの組み合わせを用いて、カメラ毎に、そのカメラの画像から求めた２次元座標とこれに対応する３次元座標とを前出の透視投影変換の演算式（（１）式）に代入し、最小自乗法により透視変換行列Ｐを求める。このカメラ毎に求めた行列Ｐが３次元計測用のパラメータとなる。

つぎに、上記の３次元視覚センサ１００により高さ（Ｚ座標）を精度良く計測するには、キャリブレーション処理の際に、計測される可能性のある高さ範囲に十分な数のマークを分布させることにより、この高さ範囲内の３次元座標およびこれに対応する２次元座標のサンプリング数を確保する必要がある。この点を考慮して、この実施例のキャリブレーション処理では、計測対象の高さ範囲（以下、「高さ計測範囲」という。）の上限値および下限値の設定入力を受け付けた後に、作業者が設定したキャリブレーションプレート３０の姿勢が高さ計測範囲に適合するかどうかを判定して、その判定結果を表示部２７に表示するようにしている。作業者はこの表示によりキャリブレーションプレート３０の姿勢が適正であることを確認してから、ステレオ画像の取り込み操作を行うので、高さ計測範囲内での計測の精度を確保するのに必要な数の２次元座標や３次元座標をサンプリングすることができる。

図７は、上記の高さ範囲の設定値の入力に用いられる設定画面の例を示す。この画面には、大小３つの画像表示領域２０１，２０２，２０３が設けられ、面積が一番大きな画像表示領域２０１には、カメラＣ０による正面視画像が表示される。また、面積が小さな画像領域２０２，２０３には、それぞれカメラＣ１，Ｃ２により生成されたキャリブレーションプレート３０の画像（図示省略）が表示される。

画面の右手には、高さ計測範囲の下限値と上限値とを入力するための入力ボックス２０４，２０５が設けられ、その下方に、キャリブレーションプレート３０の姿勢を選択するボタン２０６，２０７，２０８が設けられている。

作業者は、計測対象のワークの形状に基づき、各入力ボックス２０４，２０５に下限値、上限値を入力した後に、ボタン２０６，２０７，２０８の１つを操作し、その操作により選択された姿勢をとるようにキャリブレーションプレート３０を調整する。なお、この実施例では、基準平面Ｓ０上に設置されたキャリブレーションプレート３０のＦＸ方向、ＦＹ方向をそれぞれＸ軸方向、Ｙ軸方向とすることにちなんで、ＦＸ方向に沿って高さが変化するように姿勢を調整することを「Ｘ方向に傾斜」と表し、ＦＹ方向に沿って高さが変化するように姿勢を調整することを「Ｙ方向に傾斜」と表している。

ＣＰＵ２４は、キャリブレーションプレート３０の姿勢が選択された後に、カメラＣ０からの正面視画像を用いて基準面に対するキャリブレーションプレート３０の傾斜角度を算出する。さらにＣＰＵ２４は、キャリブレーションプレート３０の姿勢が高さ計測範囲に適合しているか否かを判定する。さらに、この判定結果を上記の傾斜角度とともに、設定画面上に表示することにより、作業者にキャリブレーションプレート３０の姿勢の適否を報知する。

図８および図９は、「Ｘ方向に傾斜」の選択ボタン２０７が操作された場合の設定画面を示す。この段階の画面では、高さ計測範囲の表示に代えて、傾斜角度の表示欄２０９が設けられて、この欄内に、方向毎の傾斜角度の算出値や、これらの傾斜角度の適正範囲（以下、適正角度範囲という。）が表示される。また、画像表示領域２０１内の左上には、判定結果を示す文字列（ＯＫまたはＮＧ）が目立つ色彩により表示される。さらに画面の右下には、画像取り込みボタン２１０が設けられる。

図１０（１）（２）は、上記の設定画面の表示欄２０９に表示される傾斜角度の概念を示す。この実施例では、図１０（１）に示すように、基準平面Ｓ０に対してＦＸ方向がなす角度θＸをＸ方向傾斜角度とし、図１０（２）に示すように、基準平面Ｓ０に対してＦＹ方向がなす角度θＹをＹ方向傾斜角度とする。また、θＸ，θＹとも、その傾斜を生じさせた回転軸ＦＹ，ＦＸの正の方向（図面が描画された平面から上方の空間に向かう方向）に視線を合わせたときに反時計回りとなる方向を正の回転方向として、０°以上１８０°未満の範囲で、θＸ，θＹの値を設定する。

この実施例では、いずれの姿勢が選択されている場合にも、上記２種類の傾斜角度θＸ，θＹを算出する。
図８の例では、キャリブレーションプレート３０は水平な姿勢で設置されているため、Ｘ方向傾斜角度θＸ，Ｙ方向傾斜角度θＹは、ともに０．０となっている。しかし「Ｘ方向に傾斜」する姿勢が選択されていることに伴い、Ｘ方向傾斜角度θＸの適正角度範囲が４．６〜５．０の範囲に設定されているので、θＸの計測値は適正角度範囲に含まれない状態となっている。このため、キャリブレーションプレート３０の姿勢は高さ計測範囲に適合していないと判定され、画像表示領域２０１の左上の判定結果は「ＮＧ」となっている。

図９は、ＦＸ方向に沿って高さが変化するようにキャリブレーションプレート３０の姿勢が変更されたときの表示例である。この例では、Ｘ軸方向傾斜角度θＸの計測値が４．８となり、これによりキャリブレーションプレート３０の姿勢は高さ計測範囲に適合していると判定され、判定結果は「ＯＫ」となっている。

上記の表示状態下で画像取り込みボタン２１０が操作されると、ＣＰＵ２４は、そのときに各画像表示領域２０１〜２０３に表示されている画像を、キャリブレーション演算の対象画像としてメモリ２５に保存する。そして、キャリブレーション演算に必要な数の画像が保存されると、これらの画像を対象に、マークＭの抽出処理や、各マークＭの特徴点の２次元および３次元の各座標をサンプリングする処理を実行し、サンプリングされた各座標を（１）式にあてはめて、３次元計測のためのパラメータを導出する。

上記の設定画面によれば、作業者は、各ボタン２０６，２０７，２０８により姿勢の選択を適宜切り替えながら、キャリブレーションプレート３０に図５に示した各姿勢を順に設定し、画像表示領域２０１にＯＫの表示が出ていることを確認してから画像取り込みボタン２１０を操作することにより、毎回、キャリブレーションプレート３０を高さ計測範囲に適合する姿勢にして、その姿勢におけるステレオ画像を保存することができる。

つぎに、傾斜角度θＸ，θＹを求める演算について説明する。
この実施例では、カメラＣ０からの正面視画像から各マークＭ０，Ｍを抽出し、この抽出結果に基づき、マークＭ０を中心として、上下左右の各方向にそれぞれ一定数（たとえば５個）分のマークが含まれるような正方形領域を特定する。そして、画像中の正方形領域の各頂点の座標を用いて、正方形領域の各辺の長さを求め、これらの長さと、実際のキャリブレーションプレート３０における正方形領域の一辺の長さと、カメラＣ０の内部パラメータ（焦点距離および解像度）とを用いて、角度θＸ，θＹを算出する。

図１１（１）は、キャリブレーションプレート３０がＸ方向に傾斜している場合にカメラＣ０による正面視画像に現れる正方形領域を、図１１（２）は、キャリブレーションプレート３０がＹ方向に傾斜している場合に正面視画像に現れる正方形領域を、それぞれ模式したものである。ここでは、正方形領域の頂点をＡ，Ｂ，Ｃ，Ｄとする。

先に説明したキャリブレーションプレート３０の設置方法や図１０，１１によれば、正方形領域の辺ＡＢおよび辺ＣＤが基準平面Ｓ０に対してなす角度がＸ軸方向傾斜角度θＸに相当し、辺ＡＣおよび辺ＢＤが基準平面Ｓ０に対してなす角度がＹ軸方向傾斜角度θＹに相当することになる。したがって、これらの角度θＸ，θＹを求めるには、各頂点Ａ，Ｂ，Ｃ，Ｄの高さを求めればよいが、キャリブレーション演算が実施されていない段階では画像中の各頂点Ａ，Ｂ，Ｃ，Ｄの２次元座標から高さを直接求めることはできない。このため、この実施例では、カメラＣ０の焦点から各辺までの距離を算出し、これらの距離から傾斜角度を求めるようにしている。

図１２は、上記の距離算出の原理を示す。図中の点Ａ，Ｂは、図１１（１）（２）に示した正方形領域の頂点である。また、キャリブレーションプレート３０における点Ａへの対応点をＡ１とし、点Ｂへの対応点をＢ１とする。また点ＦはカメラＣ０の焦点であり、ｆは焦点距離である。

ここで、実際のキャリブレーションプレート３０における正方形領域の一辺に位置するマーク（頂点に対応するものを含む。）の数をｎとすると、点Ａ１と点Ｂ１との距離Ｌは（ｎ−１）×Ｄとなる。
また、画像側の点Ａ，Ｂ間の画素数をＭとし、カメラＣ０の１画素あたりの寸法をｇ（ｍｍ／画素）とすると、２つの三角形の相似の関係に基づき、焦点Ｆから辺ＡＢまでの距離ＦＺ１を、下記の（ａ）式により求めることができる。

正方形領域の他の辺ＣＤ，ＡＣ，ＢＤについても、上記と同様の演算により、それぞれ焦点Ｆからの距離ＦＺ２，ＦＺ３，ＦＺ４を求めることができる。よって、Ｘ方向傾斜角度θＸ、Ｙ方向傾斜角度θＹを、それぞれ下記の（ｂ）式および（ｃ）式により算出することができる。

つぎに、適正角度範囲を求める方法について説明する。
先の図７に示したように、この実施例では、高さ計測範囲の下限値として負の値（基準平面より低い高さ）が設定される場合がある。しかし、キャリブレーション処理では基準平面Ｓ０より上の空間のみが使用されるので、この実施例では、基準平面Ｓ０から高さ計測範囲の上限値Ｈ_ＭＡＸまでの範囲を対象にして、適正角度を算出するようにしている。

具体的には、図１３に示すように、正方形領域の一辺（図示例では辺ＡＢ）が基準平面Ｓ０の高さに位置し、これに対向する辺（図示例では辺ＣＤ）が上限値Ｈ_ＭＡＸの高さに位置するように正方形領域を傾斜させた場合の角度を上記の（ｂ）（ｃ）式と同様の演算式により算出し、算出された角度を適正角度θ０とする。
なお、このθ０の算出処理においては、０からＨ_ＭＡＸまでの高さ範囲に正方形領域の一辺に対応する数より多くの特徴点が分布されることを想定して、演算を行ってもよい。

上記の演算により求めた適正角度θ０は、θＸ，θＹのうち、キャリブレーションプレート３０を傾斜させる方向に対応する角度にのみ適用され、他方の角度の適正角度は０に設定される。また、キャリブレーションプレート３０を水平姿勢に設定する場合には、θＸ，θＹとも、適正角度は０に設定される。
以上の各方向の適正角度の設定のルールや適正角度θ０の算出式をまとめると、以下のとおりである。

１）キャリブレーションプレート３０をＸ方向に傾斜させる場合
θＸの適正角度＝θ０，θＹの適正角度＝０
２）キャリブレーションプレート３０をＹ方向に傾斜させる場合
θＸの適正角度＝０，θＹの適正角度＝θ０
３）キャリブレーションプレート３０を水平姿勢にする場合
θＸの適正角度＝０，θＹの適正角度＝０

この実施例では、上記のルールに基づき方向毎に求めた適正角度について、それぞれその適正角度から一定角度αを差し引いた値を下限値とし、適正角度に一定角度αを加えた値を上限値として、これら下限値と上限値により適正角度範囲を設定する。そして、上記（ｂ）式および（ｃ）式により求めた各傾斜角度θＸ，θＹがそれぞれの適正角度範囲に含まれているかどうかを判定する。

図１４は、上記のキャリブレーションプレート３０を用いて、キャリブレーション演算に必要な画像を蓄積する処理のフローチャートである。以下、このフローチャートの流れに沿って、作業者によるキャリブレーションプレート３０の姿勢の調整や設定画面に対する操作に対して実行される処理手順を説明する。

この処理では、まず設定画面の入力ボックス２０４，２０５に高さ計測範囲の下限値および上限値が入力されたことに応じて、これらの値に基づき、高さ計測範囲を設定する（ＳＴ１）。つぎに、姿勢選択用のボタン２０６，２０７，２０８のいずれかが操作される（ＳＴ２が「ＹＥＳ」）と、選択された姿勢に応じて、前出のルールに基づき各方向の適正角度を求め、この値に基づき適正角度範囲を設定する（ＳＴ３）。

この後は、カメラＣ０，Ｃ１，Ｃ２によるステレオ撮像（ＳＴ４）と、このステレオ撮像により生成された画像のうちカメラＣ０による正面視画像を対象として、マークＭの特徴点（中心点）の座標をする処理（ＳＴ５）とを、あらかじめ定めたしきい値以上の座標の抽出に成功するまで繰り返す。キャリブレーションプレート３０の姿勢が定まって画像における各マークＭのぶれが小さくなると、しきい値以上のマークＭの特徴点の座標が正しく抽出され、ＳＴ６が「ＹＥＳ」となる。これに応じて、つぎのステップＳＴ７では、正面視画像から抽出された各特徴点の座標を用いて各方向の傾斜角度θＸ，θＹを算出する。

具体的にステップＳＴ７では、先に述べたとおり、マークＭ０を中心とする正方形領域を特定する。また、画像中の正方形領域の各辺の頂点Ａ，Ｂ，Ｃ，Ｄの座標を求めて、これらにより正方形領域の四辺の長さを求める。さらに、キャリブレーションプレート３０における正方形領域の各辺ＡＢ，ＣＤ，ＡＣ，ＢＤについて、それぞれカメラＣ０の焦点からの距離ＦＺ１，ＦＺ２，ＦＺ３，ＦＺ４を求め、これらの距離を前出の（ｂ）式および（ｃ）式にあてはめて、Ｘ方向傾斜角度θＸ、およびＹ方向傾斜角度θＹを算出する。
上記の処理により、各方向の傾斜角度θＸ，θＹが算出されると、つぎのステップＳＴ８では、θＸ，θＹの算出値を画面に表示する。またこのときには、ステップＳＴ３で設定した適正角度範囲も合わせて表示する。

つぎに、算出された傾斜角度θＸ，θＹをそれぞれステップＳＴ３で設定した適正角度範囲と照合する（ＳＴ９）。ここでθＸ，θＹがともに適正角度範囲内にあれば（ＳＴ９が「ＹＥＳ」）、設定画面に「ＯＫ」と表示する（ＳＴ１０）。一方、θＸ，θＹのいずれか一方の値または双方の値が適正角度範囲内に含まれない場合には（ＳＴ９が「ＮＯ」）、設定画面に「ＮＧ」を表示する（ＳＴ１１）。ここでＮＧ表示を行う場合には、適切でない算出値の表示色を目立つ色彩に変更する処理を合わせて実行してもよい。

画像取り込みボタン２１０が操作されるまでの間、上記のステップＳＴ４〜１１の処理が繰り返し行われる。作業者が画像取り込みボタン２１０を操作した場合（ＳＴ１２が「ＹＥＳ」）には、そのときの正面視画像にＮＧ表示がされていない（ＳＴ１３が「ＮＯ」）ことを条件として、当該正面視画像およびこれと同じタイミングでカメラＣ１，Ｃ２により生成された画像を、現在選択されているキャリブレーションプレート３０の姿勢に対応づけて保存する（ＳＴ１４）。また、この保存によりキャリブレーション演算に必要とする数の画像が蓄積された場合（ＳＴ１５が「ＹＥＳ」）には、処理を終了し、蓄積された画像を用いてキャリブレーション演算を実行する。なお、画像取り込みボタン２１０が操作されたときの正面視画像にＮＧ表示がされている場合（ＳＴ１３が「ＹＥＳ」）には、画像の保存は行わずにエラー処理（ＳＴ１６）に進む。

キャリブレーションプレート３０の調整に対してＮＧ表示が行われた場合（ＳＴ１１）には、作業者がキャリブレーションプレート３０の姿勢を変更することにより、再び、ステップＳＴ４〜１１の処理が行われて、変更後の姿勢の適否が判明する。よって、作業者は、設定画面の表示を確認しながらキャリブレーションプレート３０の姿勢を適切な状態に調整することができ、キャリブレーションプレート３０の姿勢の調整を容易に行うことができる。

上記の手順によれば、作業者がキャリブレーションプレート３０の姿勢を選択して、その選択に応じた姿勢になるようにキャリブレーションプレート３０を調整し、傾斜角度の設定値や設定画面にＯＫと表示されたことを確認して画像取り込みボタン２１０を操作することにより、高さ計測範囲に対する計測精度を確保するのに適した姿勢のキャリブレーションプレート３０の画像を蓄積することが可能になる。よって、蓄積された画像を用いて精度の良いキャリブレーション演算を実行することができ、計測の精度を確保することができる。また、作業者間の調整のばらつきをなくすことができるので、安定した計測が可能になる。

なお、上記の実施例では、あらかじめ、高さ計測範囲の上限値Ｈ_ＭＡＸを用いてキャリブレーションプレート３０の傾斜角度の適正範囲を求めて、正面視画像から求められた傾斜角度θＸ，θＹを適正角度範囲と照合するようにしたが、これに代えて、θＸ，θＹの値に基づき図１３に示したのと同様の状態で正方形領域を傾斜させた場合に、基準平面Ｓ０より高い位置にある辺の高さを求め、この高さをＨ_ＭＡＸと照合してもよい。この場合には、算出された高さとＨ_ＭＡＸとの差が所定のしきい値以内であれば、キャリブレーションプレート３０の姿勢は適正であると判定し、算出された高さとＨ_ＭＡＸとの差が上記のしきい値を超える場合に、キャリブレーションプレート３０の姿勢は適正ではないと判定することになる。

また、上記の実施例では、各カメラＣ０，Ｃ１，Ｃ２によるステレオ撮像を一定の時間毎に行いながら、カメラＣ０による正面視画像を用いてキャリブレーションプレート３０の傾斜角度の算出やその角度の適否を判定する処理を実行し、画像取り込みボタン２１０が操作された時点での最新のステレオ画像をキャリブレーション演算のために保存しているが、撮像制御や画像の取扱いはこれに限定されるものではない。たとえば、キャリブレーションプレート３０の位置および姿勢が調整されている間はカメラＣ０のみを駆動し、キャリブレーションプレート３０の姿勢が適正と判定されて画像取り込みボタン２１０が操作されたときにステレオ撮像を実施し、生成されたステレオ画像を保存するようにしてもよい。

また、上記の実施例では、キャリブレーションプレート３０が設置される基準面Ｓ０を正面視するカメラＣ０を用いて各方向の傾斜角度を求めたが、これに限らず、他のカメラＣ１，Ｃ２を用いて同様の手法で傾斜角度θＸ，θＹを求めることも可能である。この場合には、まず、キャリブレーションプレート３０を水平な姿勢にして算出したθＸ，θＹの各値をオフセット値として保存しておき、キャリブレーションプレート３０を傾斜させて求めたθＸ，θＹから上記のオフセット値を差し引いた後に、適正角度範囲と照合すればよい。

加えて、上記の実施例では、正面視画像において、マークＭ０を中心とした正方形領域を特定して、この領域の各辺の長さを用いて傾斜角度θＸ，θＹを算出したが、角度の算出方法はこれに限定されるものではない。たとえば、ＦＸ方向、ＦＹ方向とも、正面視画像において、マークＭ０を通る配列を含む複数の配列を特定し、これらの配列毎に、その配列中のあらかじめ定めた位置関係にある２つのマークを用いて（ａ）式に準じた演算を実行することにより、カメラＣ０の焦点から当該配列までの距離ＦＺを算出する。そして、ＦＹ方向に沿う配列間の距離ＦＺの変化に基づき、ＦＸ方向に沿う傾斜の近似直線を特定し、その直線の傾き角度をθＸとする。またＦＸ方向に沿う各配列間の距離ＦＺの変化に基づき、ＦＹ方向に沿う傾斜の近似直線を特定し、その直線の傾き角度をθＹとする。

また、上記の実施例では、作業者により設定された高さ計測範囲の上限値Ｈ_ＭＡＸを用いて常に適正角度範囲を定められるものとして説明したが、演算により算出された角度θ０が４５度を超える場合には、θ０＝４５°として設定して適正角度範囲を設定する。またこの場合には、キャリブレーションプレート３０の下端縁を基準平面Ｓ０より高い位置に設定して傾斜の姿勢を設定する必要がある旨を、メッセージ等により作業者に報知する。

また、上記の実施例では、傾斜角度θＸ，θＹの算出値と合わせて、これらの角度が適正角度範囲に含まれているか否かの判定結果を表示したが、傾斜角度θＸおよびθＹの算出値のみを表示し、表示された傾斜角度が適正であるかどうかを、ユーザ側が判断するようにしてもよい。

１００ ３次元視覚センサ
Ｃ０，Ｃ１，Ｃ２ カメラ
１ ステレオカメラ
２ 認識処理装置
２４ ＣＰＵ
２５ メモリ
３０ キャリブレーションプレート
θＸ Ｘ方向傾斜角度
θＹ Ｙ方向傾斜角度

Claims (5)

1. ステレオカメラによる３次元計測の対象空間に、直交する２方向に沿ってそれぞれ複数のマークが複数列にわたって配列されたキャリブレーションパターンが表面に設けられた平板状のキャリブレーションワークを、位置または姿勢を毎回変更して設置して複数回のステレオ撮像を実施し、毎回の撮像により生成された複数組のステレオ画像を用いて３次元計測のためのパラメータを導出する方法において、
   前記キャリブレーションワークの位置および姿勢を定めた後に、前記ステレオカメラのうちの１つのカメラによる撮像により生成された前記キャリブレーションワークの画像を処理対象画像として、この処理対象画像中の前記マークの特徴点を抽出する第１ステップ、
   前記特徴点の抽出結果に基づき、処理対象画像において、直交する関係にある２方向に沿って並ぶ特徴点の配列を方向毎に少なくとも２列特定して、特定した配列毎にその配列に含まれる２個の特徴点の間の処理対象画像上での距離を算出する第２ステップ、
   前記第２ステップで配列毎に算出された距離と、この算出に用いられた特徴点に対応するマーク間のキャリブレーションワークにおける位置関係と、前記処理対象画像を生成したカメラの内部パラメータとに基づき、前記第２ステップで特定された特徴点の配列毎に、キャリブレーションワーク上の当該配列からカメラまでの距離を算出し、さらに算出された各距離を用いて、前記カメラの光軸に直交する平面に対するキャリブレーションワークの表面の傾きを表す角度を算出し、算出された角度をモニタに表示する第３ステップ、
   を、実行することを特徴とする３次元計測のためのキャリブレーション方法。
2. 請求項１に記載された方法において、
   計測対象とする高さ範囲を表す設定値の入力を、あらかじめ受け付けておき、
   前記第３ステップで算出された角度を用いて前記キャリブレーションワークの姿勢が前記入力された設定値が示す高さ範囲に適合するか否かを判定し、その判定結果を出力する第４ステップを、さらに実行する、３次元計測のためのキャリブレーション方法。
3. 請求項２に記載された方法において、
   前記第３ステップでは、前記第２ステップで特定された特徴点の配列毎に、キャリブレーションワーク上の当該配列からカメラまでの距離を算出した後に、前記キャリブレーションパターン内で直交する関係にある２方向毎に、その方向と直交する関係にある特徴点の配列に関して算出した前記距離を用いて、前記カメラの光軸に直交する平面に対する当該方向の傾斜角度を算出し、
   前記第４ステップでは、前記直交する関係にある２方向の一方に沿って高さが変化するようにキャリブレーションワークが傾けられていることを前提として、この方向につき第２ステップで算出された傾斜角度をもってキャリブレーションワークを傾けたときに当該方向に沿って配列された一定数の特徴点が分布する高さ範囲が前記設定値が示す高さ範囲に適合するか否かを判定する、３次元計測のためのキャリブレーション方法。
4. 請求項２または３に記載された方法において、
   前記ステレオカメラを構成するカメラの１つは前記キャリブレーションワークを正面視するように光軸が定められ、このカメラにより生成された前記キャリブレーションワークの画像を処理対象画像として、前記第１〜第４の各ステップを実行する、３次元計測のためのキャリブレーション方法。
5. ステレオカメラと、直交する２方向に沿ってそれぞれ複数のマークが複数列にわたって配列されたキャリブレーションパターンが表面に設けられた平板状のキャリブレーションワークを前記ステレオカメラにより複数回撮像することにより生成された複数組のステレオ画像を用いて３次元計測のためのパラメータを導出するパラメータ導出手段と、パラメータ導出手段が導出したパラメータを登録する登録手段と、この登録手段による処理が終了した後に前記ステレオカメラにより生成されたステレオ画像を対象に、登録されたパラメータを用いた３次元計測処理を実行する計測手段とを具備する３次元視覚センサにおいて、
   前記ステレオカメラのうちの１つのカメラによる撮像により生成された前記キャリブレーションワークの画像を処理対象画像として、この処理対象画像中の前記マークの特徴点を抽出する特徴点抽出手段と、
   前記特徴点の抽出結果に基づき、処理対象画像において、前記直交する関係にある２方向に沿って並ぶ特徴点の配列を方向毎に少なくとも２列特定し、特定した配列毎に、その配列中の２個の特徴点の間の処理対象画像上での距離を算出し、配列毎に算出された距離と、この算出に用いられた特徴点に対応するマークの間のキャリブレーションワークにおける位置関係と、前記処理対象画像を生成したカメラの内部パラメータとに基づき、前記カメラの光軸に直交する平面に対するキャリブレーションワークの表面の傾きを表す角度を算出する演算手段と、
   前記演算手段により算出された角度をモニタに表示する表示手段とを、
   具備することを特徴とする３次元視覚センサ。

Images