JP2013113712A - ステレオ３次元計測装置 - Google Patents

Abstract

【課題】真に最適なパラメータ群を得ることができ、精度の高い３次元計測を可能にするステレオ３次元計測装置を提供する。
【解決手段】ステレオ３次元計測装置１は、第１，第２のカメラ２１，２２で計測対象物の画像を複数取得する画像取得部２と、画像取得部２から複数の画像を受けて補正するステレオ平行化部３２と、ステレオ平行化部３２で補正された複数の画像同士の対応点を探索して、対応点に基づいて複数の画像の評価値を算出する対応点探索部３３と、画像取得部２および対応点探索部３３に、予め準備しておいた複数のパラメータ群を順次入力して、上記評価値に基づいて複数のパラメータ群の中から最適なパラメータ群を選択するパラメータ選択部４とを備える。
【選択図】図１

Description

本発明は、複数のカメラを用いて計測対象物までの距離や計測対象物の形状などの計測するステレオ３次元計測装置に関するものである。

複数のカメラを用いて計測対象物までの距離や計測対象物の形状などを計測するステレオ３次元計測装置が実用化されている。このステレオ３次元計測装置が行うステレオ３次元計測の手法としては、一般に「光切断法」と「ステレオ相関法」と呼ばれる方法が知られている。「光切断法」は、計測対象物に直線や多角形などの既知の光パターンを投影し、投影されたパターン形状の変化から計測対象物の形状を求める方法である。一方、「ステレオ相関法」は、左右に配置したカメラで計測対象物を同時に撮影し、これで得られた左右画像のペアから対応する画素の対、すなわち対応点を探索し、左右画像の対応点同士が左右方向にどれだけ離れているか、すなわち視差を求め、この視差から三角測量の原理を用いて計測対象物までの距離を算出する計測方法である。

上記ステレオ相関法において、計測精度を高めるためには、上述のカメラの動作パラメータ、対応点探索時の設定パラメータ、および、照明条件を最適に設定する必要がある。このステレオ相関法を用いた実際の３次元計測を行う場合に、計測精度は、計測対象物の形状や反射率、周囲の温度や明るさなどの周辺環境の影響を受けるため、高い計測精度で計測を行うためには、計測対象物毎、周辺環境が変化する毎にパラメータ条件の最適値を選定する必要がある。

従来、ステレオ３次元計測装置としては、特開２０１１−１３７０６号公報(特許文献１)に開示されたものがある。このステレオ３次元計測装置は、左右画像を取得後、対応点探索した結果から、視差データを得る。そして、視差勾配算出部が上記視差データから視差勾配を算出して、この視差勾配を使って対応点探索パラメータの１つである照合領域を照合領域制御部で設定するようにして、計測精度の向上が図られている。

特開２０１１−１３７０６号公報

しかしながら、上記従来のステレオ３次元計測装置では、予め定められた一つのパラメータ群を用いるため、そのパラメータ群が真に最適になっていないという問題がある。

また、上記従来のステレオ３次元計測装置には、視差の算出および視差勾配の算出に時間がかかってしまうという問題や、計測装置のハードウェアもしくはソフトウェアの規模を増大させてしまうという問題もある。

そこで、本発明の課題は、真に最適なパラメータ群を得ることができ、精度の高い３次元計測を可能にするステレオ３次元計測装置を提供することにある。

上記課題を解決するため、本発明のステレオ３次元計測装置は、
複数のカメラで計測対象物の画像を複数取得する画像取得手段と、
上記画像取得手段から上記複数の画像を受けて補正する補正手段と、
上記補正手段で補正された上記複数の画像同士の対応点を探索して、上記対応点に基づいて上記複数の画像の評価値を算出する対応点探索手段と、
上記画像取得手段および対応点探索手段に、予め準備しておいた複数のパラメータ群を順次入力して、上記評価値に基づいて上記複数のパラメータ群の中から最適なパラメータ群を選択するパラメータ選択手段と
を備えている。

上記構成によれば、上記パラメータ選択手段が、画像取得手段および対応点探索手段に、予め準備しておいた複数のパラメータ群を順次入力して、評価値に基づいて複数のパラメータ群の中から最適なパラメータ群を選択するので、真に最適なパラメータ群を得ることができる。

また、上記パラメータ選択手段によって選択された最適なパラメータ群を用いることによって、計測対象物の形状や材質の違いや、環境変化があった場合でも計測精度が低下するのを防ぐことができるので、精度の高い３次元計測を行える。

一実施形態のステレオ３次元計測装置は、
上記計測対象物にテクスチャパターンを投影する投影手段を備え、
上記パラメータ選択手段は上記投影手段に上記複数のパラメータ群を順次入力する。

上記実施形態によれば、上記投影手段が計測対象物にテクスチャパターンを投影することにより、計測対象物の表面のテクスチャの変化が乏しい場合やコントラストの低い場合であっても、安定した計測を行える。

また、上記パラメータ選択手段は上記投影手段に上記複数のパラメータ群を順次入力するので、対応点探索手段が算出する評価値の信頼性を高めることができる。

一実施形態のステレオ３次元計測装置では、
上記評価値は、上記対応点が得られた画素対の数が、計測対象対範囲の全画素に対して占める割合である。

上記実施形態によれば、上記評価値は、上記対応点が得られた画素対の数が、計測対象対範囲の全画素に対して占める割合であるので、ハードウェアやソフトウェアの規模の増大を防ぐことができると共に、最適なパラメータ群の選択に要する時間を短くすることができる。

一実施形態のステレオ３次元計測装置では、
上記評価値は、上記対応点が得られた画素対のうち視差が予め定めておいた範囲内にある画素対の数が、計測対象範囲の全画素に対して占める割合である。

上記実施形態によれば、上記評価値は、対応点が得られた画素対のうち視差が予め定めておいた範囲内にある画素対の数が、計測対象範囲の全画素に対して占める割合であるので、間違って見つかった対応点の影響を大幅に除外することができる。したがって、上記最適なパラメータ群の選択の精度を高めることができる。

一実施形態のステレオ３次元計測装置では、
上記パラメータ選択手段は、上記最適なパラメータ群に対応する上記評価値が予め設定された値を下回った場合に、計測を中止するための計測可否判定手段を有している。

上記実施形態によれば、上記パラメータ選択手段は、上記最適なパラメータ群に対応する上記評価値が予め設定された値を下回った場合に、計測を中止するための計測可否判定手段を有しているので、精度が低下した状態での計測を中止することができ、誤った計測結果が得られることを防ぐことができる。

一実施形態のステレオ３次元計測装置では、
上記パラメータ選択手段は、上記最適なパラメータ群に対応する上記評価値が予め設定された値を下回った場合に、再度、最適なパラメータ群を選択し直すための評価値判定手段を有する。

上記実施形態によれば、上記パラメータ選択手段は、上記最適なパラメータ群に対応する上記評価値が予め設定された値を下回った場合に、再度、最適なパラメータ群を選択し直すための評価値判定手段を有するので、計測の度に、最適パラメータ群の選択をせずとも、評価値が低下した時にだけ最適パラメータ群の選択フローを実行することができ、計測時間を短縮することができる。

本発明のステレオ３次元計測装置によれば、複数のカメラで計測対象物の画像を複数取得する画像取得手段と、画像取得手段から複数の画像を受けて補正する補正手段と、補正手段で補正された複数の画像同士の対応点を探索して、対応点に基づいて複数の画像の評価値を算出する対応点探索手段と、画像取得手段および対応点探索手段に、予め準備しておいた複数のパラメータ群を順次入力して、評価値に基づいて複数のパラメータ群の中から最適なパラメータ群を選択するパラメータ選択手段とを備えているので、真に最適なパラメータ群を得ることができる。

また、上記パラメータ選択手段によって選択された最適なパラメータ群を用いることによって、計測対象物の形状や材質の違いや、環境変化があった場合でも計測精度が低下するのを防ぐことができるので、精度の高い３次元計測を行える。

図１は本発明の第１実施形態のステレオ３次元計測装置のブロック図である。 図２は上記第１実施形態の最適パラメータ群の選択方法を説明するための図である。 図３は従来のステレオ３次元計測装置の図である。 図４は上記第１実施形態のステレオ３次元計測装置による３次元計測の一部のフローチャートである。 図５は上記第１実施形態のステレオ３次元計測装置による３次元計測の全体のフローチャートである。 図６Ａはランダム２値ドットパターンを示す図である。 図６Ｂはランダム多角形パターンを示す図である。 図６Ｃはランダムグレースケール多角形パターンを示す図である。 図７は本発明の第２実施形態のステレオ３次元計測装置のブロック図である。 図８は上記第２実施形態のステレオ３次元計測装置による３次元計測のフローチャートである。 図９は本発明の第３実施形態のステレオ３次元計測装置のブロック図である。 図１０は上記第３実施形態のステレオ３次元計測装置による３次元計測のフローチャートである。

〔第１実施形態〕
図１に、本発明の第１実施形態のステレオ３次元計測装置１のブロック図を示す。

上記ステレオ３次元計測装置１は、画像取得部２、計測処理部３、パラメータ選択部４およびプロジェクタ５を備えている。なお、上記画像取得部２は画像取得手段の一例、パラメータ選択部４はパラメータ選択手段の一例、プロジェクタ５は投影手段の一例である。

上記画像取得部２は、第１のカメラ２１、第２のカメラ２２および画像取得回路２３を有している。

上記第１，第２のカメラ２１，２２は、それぞれ、撮像素子、レンズ、レンズ駆動素子から構成されるカメラモジュールである。この撮像素子としては、ＣＭＯＳ(シーモス)センサまたはＣＣＤ(シーシーディ)センサが用いられる。上記ＣＭＯＳセンサを用いる場合、制御用ＤＳＰ(ディジタル・シグナル・プロセッサ)が一体となったＣＭＯＳセンサを用いることで、簡素な構成で撮影画像サイズや焦点距離、露出、ホワイトバランスなどのカメラパラメータを電気的に制御することができる。上記レンズは、ガラスレンズ、プラスチックレンズが複数枚組み合わされたレンズ群を使用することで精度の高い計測が可能となる。上記レンズ駆動素子として、ボイスコイルモータやステッピングモータを用いることで、近距離から遠距離までフォーカスを調整することが可能となり計測の対応距離を広くすることが可能である。

上記画像取得回路２３は、第１，第２のカメラ２１，２２で撮像された画像を取得して計測処理部３に送っている。ここで、上記第１，第２のカメラ２１，２２で撮像された動画像から計測を実行する場合は、第１のカメラ２１と第２のカメラ２２の同期が取れている必要があるため、画像取得回路２３から同期信号が第１，第２のカメラ２１，２２へ送信されて、第１，第２のカメラ２１，２２の同期が取られる。この同期では、取り込みタイミングの同期、明るさの同期、色バランスの同期が行われることが望ましい。上記第１，第２のカメラ２１，２２の画素サイズや設置位置は、計測対象物のサイズや必要な計測精度によって選択・設置する必要がある。理論上の計測精度は、カメラの画素ピッチを小さく、焦点距離を長く、２つのカメラ間の距離すなわち基線長を長く、計測対象物までの距離を短くすることで向上する。一例としては、１５０ｍｍ程度の計測対象物を奥行き方向の分解能０．１５ｍｍ程度で計測を行うためには、画素ピッチ１．４μｍ、焦点距離３ｍｍ、基線長６０ｍｍ、計測距離１５０ｍｍで計測すればよい。２つのカメラ間の角度、すなわち輻輳角は計測対象物が２つのカメラの画角内に映るように調整すればよく、上記の一例では、２０度程度に調整すればよい。

上記計測処理部３は、キャリブレーション処理部３１、ステレオ平行化部３２、対応点探索部３３および３次元座標算出部３４を有している。なお、上記ステレオ平行化部３２は補正手段の一例、対応点探索部３３は対応点探索手段の一例である。

上記キャリブレーション処理部３１は、計測を実行する前に予め第１，第２のカメラ２１，２２のレンズの歪や角度ずれを補正するためのカメラキャリブレーションを実行し、このカメラキャリブレーションで算出されたキャリブレーション補正値を記憶する。

上記ステレオ平行化部３２は、画像取得回路２３からの２つの画像に対して、キャリブレーション処理部３１に記憶されたキャリブレーション補正値に基づき、第１，第２のカメラ２１，２２画像歪や、第１，第２のカメラ２１，２２間の相対的な位置関係を含む複数の物理量を補正する。すなわち、上記ステレオ平行化部３２は、第１，第２のカメラ２１，２２で撮像された２つの画像をステレオ平行化する。このステレオ平行化後の２つの画像は対応点探索部３３に送られる。

上記対応点探索部３３は、上記ステレオ平行化後の２つの画像の一方において、上記ステレオ平行化後の２つの画像の他方の各画素に対応する画素を探索する処理を行う。

上記３次元座標算出部３４は、対応点探索部３３で対応がとれた点に基づき、三角測量の原理により、３次元座標を算出し、３次元座標データを出力する。

図２に、上記パラメータ選択部４における最適パラメータ群の選択方法を説明するための図を示す。

上記パラメータ選択部４は、予め準備された、いくつかのパラメータ群を画像取得部２、計測処理部３およびプロジェクタ５に順次入力し、対応点探索部３３から出力される複数の評価値の中から最良の評価値に対応するパラメータ群を最適パラメータ群として選択する。本実施形態では、評価値の一例として対応点の認識率を用いている。この対応点の認識率とは、対応点が得られた画素対の数が、計測対象範囲の全画素に占める割合と定義され、認識率が高ければ高いほど、最終的に３次元座標データを算出する際に、データの密度が増えるため、より精度よく計測が行われていると判断できる。なお、上記画像取得部２、計測処理部３およびプロジェクタ５に順次入力するパラメータ群の詳細は後述する。また、上記計測対象範囲は対応点を探索した範囲としてもよい。

また、図１に示すプロジェクタ５は、計測時に計測対象物に対し、ランダムのテクスチャパターンを投影する。上記テクスチャパターンを投影することにより、計測対象物の凹凸の各所にテクスチャ起因の細かい輝度変化が付与される。また、上記テクスチャのランダム性により、これらの輝度変化を左右画像で一対一に対応づけて認識することができる。また、上記テクスチャを投影しない場合であっても計測は可能であるが、テクスチャを投影しない場合と比較して、テクスチャを投影した場合の方が認識率を飛躍的に高めることができる。その結果として、計測対象物の表面のテクスチャの変化が乏しい場合やコントラストの低い場合であっても、安定した計測が可能になる。上記計測対象物に投影するテクスチャは、対応点探索時の誤検出を防ぐために、可能な限り周期性を排除した２次元的にランダムなパターンであることが望ましい。例えば、図６Ａに示すランダム２値ドットパターンや、図６Ｂに示す多角形が組み合わされたランダムパターンや、図６Ｃに示すグレースケール多諧調を含むパターンなどを用いることが可能である。なお、コントラストの十分高い計測対象物を計測する場合は、プロジェクタ５を省略することが可能である。

以下、上記ステレオ３次元計測装置１を用いた３次元計測の全体的な流れを、図３，図４のフローチャートを用いて説明する。

上記３次元計測を開始すると、図４に示すように、まず、ステップＳ２０１で、最適パラメータ群を選択する。

上記最適パラメータ群の選択では、図３に示すように、まず、ステップＳ１０１で、画像取得部２が取得した第１，第２のカメラ２１，２２の第１，第２のキャプチャ画像を、計測処理部３内のステレオ平行化部３２に送る。

次に、ステップＳ１０２で、ステレオ平行化部３２において、予め実施されたカメラキャリブレーションにより得られ、キャリブレーション処理部３１に記憶されているキャリブレーションパラメータに基づき、第１，第２のキャプチャ画像にステレオ平行化処理を施す。このステレオ平行化後の第１，第２のキャプチャ画像は、対応点探索部３３に送られる。

次に、ステップＳ１０３で、上記第１，第２のキャプチャ画像の輝度差や画像内の局所的な輝度レベルの変動などを吸収するために、上記第１，第２のキャプチャ画像にプレフィルタとしてエッジ強調処理を施した後、対応点探索部３３による対応点探索を行う。上記プレフィルタとしては、ソベルフィルタやラプラシアンフィルタ等が用いられる。

上記対応点探索の詳細は、まず、第１のキャプチャ画像の注目する画素を中心として、縦横それぞれｐ(０を除く自然数)画素の正方形状の「相関窓」と呼ばれる領域を設定する。そして、上記第２のキャプチャ画像２２において、上記画素と同一列に、上記領域と同じ大きさの相関窓を設定し、この相関窓を左右方向にスライドさせながら、両画像の相関窓に含まれる画素間の相関度合いを示す評価量を計算して行く。この相関度合いを示す評価量としては、例えばＳＡＤ(Sum of Absolute Difference : 差分絶対値和)などの画素演算で計算できる量が用いられる。所定の相関探索範囲の端から端まで探索したとき、相関度合いが最も高くなる状態での第２のカメラ画像２２の相関窓の中心点が、第１のカメラ画像２１の注目画素に対する対応点となる。なお、上記相関探索範囲の端から端まで探索しても相関度合いが所定の値以上にならない場合は、相関点が存在しないと見なされる。例えば、上記第１のカメラ２１からは見えているが第２のカメラ２２からは見えない部分(オクルージョン領域)を計測する場合や、計測対象物のコントラストが低いときに相関点が存在しなくなることがある。対応点が見出せなかったり対応点を誤って検出したりすると、ノイズが混じることがある。特に、上記対応点探索時の相関窓サイズが比較的小さい場合、計測精度が高まる代わりにノイズの割合が大きくなる傾向がある。このようなノイズ成分を低減するため、対応点探索結果にポストフィルタを適用してノイズ除去を行う。上記ポストフィルタとしては、例えばガウシアン、メディアン等の平滑化フィルタや膨張収縮などのモルフォロジー処理が用いられる。

次に、ステップＳ１０４で、対応点の認識率を算出する。この算出された対応点の認識率は、パラメータ選択部４が有する記憶部４１に記憶される。なお、上記記憶部４１には予め複数のパラメータ群を記憶させている。

次に、ステップＳ１０５で、上記対応点の認識率を算出するために使用したパラメータ群が最終パラメータ群であるか否かを判定する。このステップ１０５で、上記対応点の認識率を算出するために使用したパラメータ群が最終パラメータ群でないと判定すると、ステップＳ１０６で、上記パラメータ群を予め決められた次のパラメータ群に変更した後、ステップＳ１０１〜Ｓ１０４を行う。一方、上記ステップ１０５で、上記対応点の認識率を算出するために使用したパラメータ群が最終パラメータ群であると判定すると、ステップＳ１０７に進む。

最後に、ステップＳ１０７で、認識率比較を行って最適パラメータ群選択が終了する。より詳しくは、上記ステップＳ１０４で算出された複数の対応点の認識率の中から、最も高い認識率に対応するパラメータ群を最適パラメータ群として選択して、最適パラメータ群選択が終了する。

上記最適パラメータ群選択が終了すると、図４に示すように、ステップＳ２０２で、最適パラメータ群を読み出す。

次に、ステップＳ２０３の画像取得、ステップＳ２０４のステレオ平行化、ステップＳ２０５の対応点探索を順次実行する。このステップＳ２０３，Ｓ２０４，Ｓ２０５の処理は図３のステップＳ１０１，Ｓ１０２，Ｓ１０３の処理と同じであるため、ステップＳ２０３，Ｓ２０４，Ｓ２０５の詳細は省略する。

次に、ステップＳ２０６で、得られた対応点の情報から視差の値が算出される。なお、上記視差とは、第１のキャプチャ画像の注目画素と第２のキャプチャ画像の対応画素との距離を、水平方向の画素単位で表したものと定義される。

最後に、ステップＳ２０７で、３次元座標算出部３４において、上記視差の値から、三角測量の原理により、計測対象物の３次元座標(Ｘ，Ｙ，Ｚ)を算出する。この算出された計測対象物の３次元座標(Ｘ，Ｙ，Ｚ)は計測処理部３外へ出力される。ここで、水平方向の距離Ｘ，垂直方向の距離Ｙ、奥行き方向の距離をＺとする。例えば、計測対象物までの奥行き方向の距離Ｚを計測する場合、具体的には、２つのカメラの基線長をＡ、カメラの焦点距離をｆ、視差ｄとして、距離Ｚ＝Ａ・ｆ／ｄで計算できる。

図５に、上記パラメータ選択部４が使用するパラメータ群を説明するための図を示す。

上記パラメータ選択部４が画像取得部２に入力するパラメータとしては、第１，第２のカメラ２１，２２の動作パラメータがある。具体的には、フォーカス位置設定、露出設定、ホワイトバランス設定などがある。

上記パラメータ選択部４が計測処理部３に入力するパラメータとしては、プレフィルタの種類、対応点探索の相関窓サイズや視差探索範囲、ポストフィルタの種類などがある。

上記パラメータ選択部４がプロジェクタ５に入力するパラメータとしては、テクスチャパターンの種類、プロジェクタ照度、ドットサイズなどがある。

これらのパラメータをすべて変えながら最適パラメータ群を探索するのは時間がかかり実用的ではないため、実際の計測においては、計測精度に影響を及ぼす項目に絞って最適値を決定することが望ましい。どのパラメータを選択するかは事前に実験等で計測精度に影響を及ぼす項目を調査しておけば良く、例えば、本発明者らの実験によれば計測精度に影響を及ぼす項目は、フォーカス位置設定、および相関窓サイズおよびテクスチャパターンであったため、この３項目を可変のパラメータ群とした。

なお、本実施形態で挙げたパラメータ群の組み合わせは、一例であって、その他の組み合わせであっても、本発明の適用範囲内である。

このように、上記ステレオ３次元計測装置１では、計測パラメータを、対応点探索において得られる評価値を用いるので、真に最適なパラメータ群を選択できる。

また、上記最適なパラメータ群を用いることによって、計測対象物の形状や材質の違いや、環境変化があった場合でも計測精度が低下するのを防ぐことができるので、精度の高い３次元計測を行える。

また、上記対応点探索部３３からの評価値を上述のように対応点の認識率とすることで、ステレオ３次元計測装置１のハードウェアまたはソフトウェアの規模を増大させることなく短時間に、高精度の計測を行うことができる。

上記第１実施形態では、対応点の認識率を評価値として用いたが、対応点の認識率以外のものを評価値として用いてもよい。例えば、計測対象物が凹凸の少ないものである場合は、奥行き方向の距離Ｚの変化が小さいので、算出される視差の値が狭い範囲に分布すると予想される。一方、間違って対応点が見つかった、つまり誤対応により得られた画素対の視差の値は正しく対応点が取れた画素対の視差とは大きく異なる値となることが多い。したがって、評価値を特定視差内認識率(対応点が得られた画素対のうち対応する画素の位置の差、すなわち視差が予め定めておいた範囲内にある画素対が、計測対象範囲の全画素に占める割合)とすることで、誤対応の影響の大部分を除外することが可能となり、より精度よく最適パラメータ群を選択することができる。

〔第２実施形態〕
図７に、本発明の第２実施形態のステレオ３次元計測装置２０１のブロック図を示す。また、図７において、図１に示した第１実施形態の構成部と同一構成部は、図１における構成部と同一参照番号を付して説明を省略する。

上記ステレオ３次元計測装置２０１は、パラメータ選択手段２０４を備えている点が、上記第１実施形態とは異なる。

上記パラメータ選択手段２０４は記憶部４１および計測可否判定部２４２を有している。この計測可否判定部２４２は、最適パラメータ群の選択過程で得られた最良の評価値が予め定められた値を下回った場合に、計測を中止させる機能を持っている。なお、上記計測可否判定部２４２は計測可否判定手段の一例である。

以下、上記ステレオ３次元計測装置２０１を用いた３次元計測の全体的な流れを、図８のフローチャートを用いて説明する。

上記３次元計測を開始すると、まず、ステップＳ３０１で、図４のステップＳ２０１と同様に、最適パラメータ群を選択する。

次に、ステップＳ３０２で、上記最適パラメータ群に対応する最良の認識率が予め定められた閾値(例えば９０％)以上であるか否かを判定する。このステップＳ３０２で、上記最適パラメータ群に対応する最良の認識率が予め設定された閾値以上であると判定すると、図４のステップＳ２０２〜Ｓ２０７と同様に、ステップＳ３０３〜Ｓ３０８を順次行って、３次元計測が終了する。一方、上記ステップＳ３０２で、上記最適パラメータ群に対応する最良の認識率が予め定められた閾値以上でないと判定すると、ステップＳ３０９に進んで、計測を中止し、利用者に測定不能を通知する。

このように、上記最適パラメータ選択手段２０４が計測可否判定部２４２を有することで、精度が低下した状態での計測を中止することができ、誤った計測結果が得られることを防ぐことが可能である。

また、上記測定不能の通知を受けた利用者は、状況によりカメラキャリブレーションのやり直し、または測定機各部の設置再調整、またはパラメータの条件設定変更を行い、再度図８のフローチャートに従って計測を実行することができる。

上記第２実施形態では、対応点の認識率を評価値として用いたが、対応点の認識率以外のものを評価値として用いてもよい。例えば、計測対象物が凹凸の少ないものである場合は、奥行き方向の距離Ｚの変化が小さいので、算出される視差の値が狭い範囲に分布すると予想される。一方、間違って対応点が見つかった、つまり誤対応により得られた画素対の視差の値は正しく対応点が取れた画素対の視差とは大きく異なる値となることが多い。したがって、評価値を特定視差内認識率(対応点が得られた画素対のうち対応する画素の位置の差、すなわち視差が予め定めておいた範囲内にある画素対が、計測対象範囲の全画素に占める割合)とすることで、誤対応の影響の大部分を除外することが可能となり、より精度よく最適パラメータ群を選択することができる。

〔第３実施形態〕
図９に、本発明の第３実施形態のステレオ３次元計測装置３０１のブロック図を示す。また、図９において、図７に示した第２実施形態の構成部と同一構成部は、図７における構成部と同一参照番号を付して説明を省略する。

上記ステレオ３次元計測装置３０１は、パラメータ選択手段３０４を備えている点が、上記第２実施形態とは異なる。

上記パラメータ選択手段３０４は、記憶部４１、計測可否判定部２４２および評価値判定部３４３を有している。この評価値判定部３４３は、計測を実施する都度、対応点探索部３３から出力される評価値を受け取り、予め定められた値を下回った場合に、再度最適パラメータ群を選択し直す指令を送る機能を持っている。なお、上記評価値判定部３４３は評価値判定手段の一例である。

以下、上記ステレオ３次元計測装置３０１を用いた３次元計測の全体的な流れを、図１０のフローチャートを用いて説明する。

上記３次元計測を開始すると、まず、ステップＳ４０１で、図４のステップＳ２０１と同様に、最適パラメータ群を選択する。

次に、ステップＳ４０２で、上記最適パラメータ群に対応する最良の認識率が予め定められた閾値(例えば９０％)以上であるか否かを判定する。このステップＳ４０２で、上記最適パラメータ群に対応する最良の認識率が予め設定された閾値以上であると判定すると、図４のステップＳ２０２〜Ｓ２０５と同様に、ステップＳ４０３〜Ｓ３０６を順次行った後、次のステップＳ４０７に進む。一方、上記ステップＳ４０２で、上記最適パラメータ群に対応する最良の認識率が予め定められた閾値以上でないと判定すると、ステップＳ３０９に進んで、計測を中止し、利用者に測定不能を通知する。

次に、ステップＳ４０７で、ステップＳ４０６の対応点探索で得た認識率が予め定められた閾値(例えば９０％)以上であるか否かを判定する。このステップＳ４０７で、上記認識率が予め定められた閾値以上でないと判定すると、ステップＳ４０１に戻る。一方、上記ステップＳ４０７で、上記認識率が予め定められた閾値以上であると判定すると、図４のステップＳ２０６，Ｓ２０７と同様に、ステップＳ４０８，Ｓ４０９を行って、ステップＳ４０４に戻る。

このように、上記ステップＳ４０９を行った後、ステップＳ４０４に戻るので、繰り返し計測を実行する際に、時間を短縮することを目的として適用される。つまり、計測の度に最適パラメータ群の選択フローを実行せずに、評価値が低下した時にだけ最適パラメータ群の選択シーケンスを実行することで、計測時間を短縮することができる。

上記第３実施形態では、対応点の認識率を評価値として用いたが、対応点の認識率以外のものを評価値として用いてもよい。例えば、計測対象物が凹凸の少ないものである場合は、奥行き方向の距離Ｚの変化が小さいので、算出される視差の値が狭い範囲に分布すると予想される。一方、間違って対応点が見つかった、つまり誤対応により得られた画素対の視差の値は正しく対応点が取れた画素対の視差とは大きく異なる値となることが多い。したがって、評価値を特定視差内認識率(対応点が得られた画素対のうち対応する画素の位置の差、すなわち視差が予め定めておいた範囲内にある画素対が、計測対象範囲の全画素に占める割合)とすることで、誤対応の影響の大部分を除外することが可能となり、より精度よく最適パラメータ群を選択することができる。

以上で説明した第１〜第３実施形態においては、２つのカメラを搭載し、２枚の画像対から対応点探索を行っていたが、カメラの個数は２つに限らず、３つ以上のカメラを使った３次元計測装置の場合においても本発明を応用することは可能である。

本発明のステレオ３次元計測装置は、３次元計測装置として産業用、民生用その他用途に用いる他、携帯情報端末などの一部に組み込むことが可能である。

本発明は、複数のカメラを用いて距離・形状などの計測を行うためのステレオ３次元計測装置に関するものであり、３次元計測装置として産業用、民生用その他用途に用いる他に、携帯情報端末などの一部に組み込むことが可能である。

１，２０１，３０１…ステレオ３次元計測装置
２…画像取得部
３…計測処理部
４，２０４，３０４…パラメータ選択手部
５…プロジェクタ
２１…第１のカメラ
２２…第２のカメラ
３１…キャリブレーション処理部
３２…ステレオ平行化部
３３…対応点探索部
３４…３次元座標算出部
４１…記憶部
２４２…計測可否判定部
３４３…評価値判定部

Claims (6)

1. 複数のカメラで計測対象物の画像を複数取得する画像取得手段と、
   上記画像取得手段から上記複数の画像を受けて補正する補正手段と、
   上記補正手段で補正された上記複数の画像同士の対応点を探索して、上記対応点に基づいて上記複数の画像の評価値を算出する対応点探索手段と、
   上記画像取得手段および対応点探索手段に、予め準備しておいた複数のパラメータ群を順次入力して、上記評価値に基づいて上記複数のパラメータ群の中から最適なパラメータ群を選択するパラメータ選択手段と
   を備えたことを特徴とするステレオ３次元計測装置。
2. 請求項１に記載のステレオ３次元計測装置において、
   上記計測対象物にテクスチャパターンを投影する投影手段を備え、
   上記パラメータ選択手段は上記投影手段に上記複数のパラメータ群を順次入力することを特徴とするステレオ３次元計測装置。
3. 請求項１または２に記載のステレオ３次元計測装置において、
   上記評価値は、上記対応点が得られた画素対の数が、計測対象対範囲の全画素に対して占める割合であることを特徴とするステレオ３次元計測装置。
4. 請求項１または２に記載のステレオ３次元計測装置において、
   上記評価値は、上記対応点が得られた画素対のうち視差が予め定めておいた範囲内にある画素対の数が、計測対象範囲の全画素に対して占める割合であることを特徴とするステレオ３次元計測装置。
5. 請求項１から４までのいずれか一項に記載のステレオ３次元計測装置において、
   上記パラメータ選択手段は、上記最適なパラメータ群に対応する上記評価値が予め設定された値を下回った場合に、計測を中止するための計測可否判定手段を有していることを特徴とするステレオ３次元計測装置。
6. 請求項１から５までのいずれか一項に記載のステレオ３次元計測装置において、
   上記パラメータ選択手段は、上記最適なパラメータ群に対応する上記評価値が予め設定された値を下回った場合に、再度、最適なパラメータ群を選択し直すための評価値判定手段を有することを特徴とするステレオ３次元計測装置。