JP2010071922A - ３次元位置計測装置 - Google Patents

Abstract

【課題】対応点の探索に要する計算量を大幅に減らし、短時間でかつ高精度に、かつトラブルの発生も含めて、対応点の３次元位置を計測することを可能とする。
【解決手段】対象物を異なる視点から見た複数の画像を取り込む。その画像の１つを基準画像、それ以外を参照画像とする。基準画像および参照画像から、カメラパラメータおよび基準点から計算されるエピポーラ線に沿って、所定幅Ｗの１次元の画素データ列を切り出す。この切り出した１次元の画素データ列から位相限定相関関数を計算することによって相関ピークの位置Ｐｈ（ｘ，ｙ）を求め、この相関ピークの位置Ｐｈ（ｘ，ｙ）から位置ずれ量ｄを求め、この位置ずれ量ｄから基準点ｐに対応する対応点ｑを探索する。この対応点の探索過程において、相関ピークの値Ｐｈが予め定められている下限値Ｐｈｔｈに満たない場合、異常である旨を通知すると同時に、以降の３次元位置の計測を中止する。
【選択図】 図９

Description

この発明は、立体的な物体、例えば人間の顔などを対象物とし、この対象物を異なる視点から見た複数の画像中の対応点を探索し、この探索した対応点の視差に基づいてその対応点の３元位置を計測する３次元位置計測装置に関するものである。

従来より、対象物を異なる視点から見た複数の画像中の対応点の探索は、画像センシング、画像・映像信号処理、コンピュータビジョン等の様々な分野で重要な技術とされている。これらの分野では、通常、ピクセル精度の対応付け手法を用いることが多いが、近年、サブピクセル精度の対応付け手法への要求が高まっている。

例えば、基線長の短いステレオビジョンシステムにおいて、十分な３次元計測精度を実現するためには、サブピクセル精度の対応付けアルゴリズムが不可欠である。また、超解像による映像の高解像度化技術などにおいても、サブピクセル精度の対応付けアルゴリズムが重要になる。このため、例えば特許文献１に示された立体像計測装置では、対象物を異なる視点から見た複数の画像中の対応点の探索を２次元位相限定相関法を用いて行うことにより、サブピクセル精度の対応付けの要求を満たしている。

図１９は上述の特許文献１に示された立体像計装置における画像入力部の概略を示す図である。同図において、１は第１のカメラ、２は第２のカメラ、Ｍは対象物（人間の顔）である。カメラ１，２は、そのレンズＬＮ１，ＬＮ２間の距離をＬとして、横方向に並んで配置されている。図では分かり易いように、カメラ１および２を上方向から見た図とし、対象物Ｍは横方向から見た図としている。

この立体像計測装置では、対象物Ｍをカメラ１で捉えた画像を入力画像Ｉ（図１８（ａ））とし、この入力画像Ｉの画像データをｍ×ｎ個の局所領域Ｉ（ｉ，ｊ）に分割する（図１８（ｂ））。そして、入力画像Ｉの画像データから局所領域Ｉ（ｉ，ｊ）を切り出し、この切り出した局所領域Ｉ（ｉ，ｊ）の画像データに２次元離散的フーリエ変換（ＤＦＴ）を施してフーリエ画像データ（入力フーリエ画像データ）を得る。

また、対象物Ｍをカメラ２で捉えた画像を参照画像Ｊ（図１８（ｃ））とし、この参照画像Ｊの画像データに２次元離散的フーリエ変換を施してフーリエ画像データ（参照フーリエ画像データ）を得る。

そして、この得られた入力フーリエ画像データと参照フーリエ画像データとを合成し、この合成したフーリエ画像データ（合成フーリエ画像データ）の振幅成分を正規化して、もう一度、２次元離散的フーリエ変換（もしくは２次元離散的逆フーリエ変換）を施す。

そして、この２次元離散的フーリエ変換が施された合成フーリエ画像データより所定の相関成分エリアの各画素の相関成分の強度（振幅）を求め、この相関成分エリア内の最も強度の高い相関成分を相関ピークとし、この相関ピークの強度値を相関ピークの値（相関を示す値）Ｐｈとし（図１８（ｄ））、この相関ピークの位置Ｐｈ（ｘ，ｙ）を求める。

この場合、相関成分エリアの中心Ｏから相関ピークの位置Ｐｈ（ｘ，ｙ）までの距離Ａが、入力画像Ｉの画像データにおける局所領域Ｉ（ｉ，ｊ）と参照画像Ｊの画像データにおける一致する画像データのある領域（対応領域）との視差の方向（ｘ軸方向）へのずれ量を示す。入力画像Ｉにおける局所領域Ｉ（ｉ，ｊ）中の画像と参照画像Ｊにおける対応領域中の画像とは視差によってその画像がずれており、これがｘ軸方向のずれ量Ａとして現れる。

このずれ量Ａによって、入力画像中の局所領域Ｉ（ｉ，ｊ）の中心点（探索点）と、参照画像Ｊ中の対応領域の中心点（対応点）とを対応付け、三角測量の原理に基づく下記（１）式によって、カメラから対象物Ｍの対応点（探索点）までの距離Ｒを計算する。なお、下記（１）式において、ｆはレンズＬＮ（ＬＮ１，ＬＮ２）の中心から撮像位置までの距離、Ｌはレンズ間距離である。
Ｒ＝ｆ・Ｌ／Ａ ・・・・（１）

特開平１０−１３２５３４号公報 「写真から作る３次元ＣＧ」、著者：徐剛、発行所：株式会社 近代科学社、２００３年２月２５日 初版第２刷発行、３１〜３３頁。

上述した特許文献１に示された手法は、対応付けの精度が極めて高く、様々な画像に対して同一のアルゴリズムが適用できるという長所がある。しかしながら、この手法は、２次元離散的フーリエ変換に要する計算量が多く、短時間で対応付けの結果を得ることが要求される分野では採用し難いという問題があった。

本発明は、このような課題を解決するためになされたもので、その目的とするところは、対応点の探索に要する計算量を大幅に減らし、短時間でかつ高精度に、かつトラブルの発生も含めて、対応点の３次元位置を計測することが可能な３次元位置計測装置を提供することにある。

このような目的を達成するために、本発明は、対象物を異なる視点から見た複数の画像を取り込む画像取込手段と、画像取込手段のパラメータおよび基準点から計算されるエピポーラ線に沿って複数の画像より１次元の画素データ列を切り出す画素データ列切出手段と、画素データ列切出手段によって切り出された１次元の画素データ列の相関から複数の画像中の対応点を探索する対応点探索手段と、対応点探索手段によって探索された対応点の視差に基づいてその対応点の３次元位置を計測する３次元位置計測手段と、画素データ列切出手段によって切り出された１次元の画素データ列の相関を示す値が予め定められた下限値に満たない場合、異常である旨を通知する異常通知手段とを設けたものである。

この発明において、例えば、画像取込手段を所定の距離隔てて配置された２台のカメラとした場合、第１のカメラと第２のカメラが対象物に対して等位置に傾斜なく配置されていれば、第１のカメラで撮像される画像および第２のカメラで撮像される画像におけるエピポーラ線は、いずれも水平となる。これに対し、第１のカメラおよび第２のカメラの何れかが傾斜していれば、第１のカメラで撮像される画像および第２のカメラで撮像される画像におけるエピポーラ線も傾斜する。このように、第１のカメラで撮像される画像および第２のカメラで撮像される画像におけるエピポーラ線は、第１および第２のカメラの位置関係（２つの画像間の基礎行列や、内部行列・外部行列などのカメラ固有のパラメータ）によって定まる。本発明では、このような画像取込手段のパラメータを保存しておき、対応点を探索する際の処理過程で用いる。

本発明において、画像取込手段は、複数台のカメラに限られるものではない。例えば、光学機構を設けることによって、１台のカメラから対象物を異なる視点から見た複数の画像を得るようにしてもよい。

本発明において、複数の画像のうちの１つを入力画像、もう１つを参照画像とした場合、画像取込手段のパラメータおよび基準点から計算されるエピポーラ線に沿って、入力画像および参照画像より１次元の画素データ列（例えば、３２画素の画素データ列）が切り出される。そして、このエピポーラ線に沿って切り出された１次元の画素データ列の相関から、入力画像中の基準点に対応する参照画像中の対応点が探索され、基準点と対応点とが対応付けられる。

この場合、基準点の画素データ列は１次元の画素データ列であり、参照画像中の画素データ列も１次元の画素データ列であるので、１次元の位相限定相関法（１次元ＰＯＣ）を利用することができる。すなわち、複数の画像から切り出された１次元の画素データ列から位相限定相関関数を計算することによって得られる相関ピークの位置から位置ずれ量を求め、この位置ずれ量から複数の画像中の対応点を探索することが可能である。

１次元ＰＯＣでは、１次元のフーリエ変換を施せばよいので、計算量を大幅に減らすことができる。これにより、対応点の探索に要する計算量が大幅に減り、対象物における各点の３次元位置を短時間で計測することが可能となる。また、１次元ＰＯＣを用いることにより、エピポーラ線の垂直方向の相関誤差要因を少なくすることができ、高精度な３次元位置の計測が可能となる。

本発明において、画像取込手段を介して取り込まれる画像における実際のエピポーラ線は水平であるとは限らず、傾斜している場合もある。理想的には水平であることが望まれるが、カメラの取り付け誤差などもあり、エピポーラ線は傾斜している場合が多い。

本発明において、画像取込手段に対して調整機構を設け、この調整機構を介して複数の画像の少なくとも１つについて対象物に対する視点を調整できるようにすると、例えば工場出荷前に、複数の画像における実際のエピポーラ線を手動で水平に設定することが可能である。

本発明において、複数の画像におけるエピポーラ線を水平とすると、複数の画像中の各画素データを、画像取込手段のパラメータおよび基準点から計算されるエピポーラ線に平行な軸を一軸とし、この一軸に対して垂直な軸を他軸とする座標系に変換するというような座標系の変換処理が不要となり、処理負荷が削減できるともに、対応点の探索結果が得られるまでの時間が短縮される。

また、本発明では、画素データ列切出手段によって切り出された１次元の画素データ列の相関を示す値が予め定められた下限値に満たない場合、すなわち画素データ列切出手段によって切り出された１次元の画素データ列に相関が認められない場合、異常である旨が通知される。これにより、ユーザは、３次元位置計測装置に何らかのトラブルが発生していることを知り、素早くメンテナンスを行うことができる。

また、本発明において、画素データ列切出手段によって切り出された１次元の画素データ列の相関を示す値が予め定められた下限値に満たない場合、異常である旨を通知すると同時に、３次元位置の計測を中止するようにするとよい。この場合、３次元計測を実行しても信憑性のある計測データは得られないので、３次元位置の計測を中止しても構わない。このようにすることにより、無駄なエネルギーの消費を抑えることができる。

また、本発明において、画素データ列切出手段によって切り出された１次元の画素データ列の相関を示す値が下限値以上である場合、その相関を示す値として求められる相関ピークの位置の視差の方向に対して直交する方向へのずれ量を求め、このずれ量が予め定められている閾値を超えていた場合、そのずれ量に基づいて画素データ列切出手段によって切り出された１次元の画素データ列の画素データの位置を補正するようにしてもよい。これにより、現場においてエピポーラ線が傾いてきたような場合でも、１次元の画素データ列の画素データの位置を自動的に補正して、精度の高い対応点の探索を続行することができる。

本発明によれば、画像取込手段を介して、対象物を異なる視点から見た複数の画像を取り込み、画像取込手段のパラメータおよび基準点から計算されるエピポーラ線に沿って複数の画像より１次元の画素データ列を切り出し、複数の画像から切り出された１次元の画素データ列の相関から複数の画像中の対応点を探索するようにしたので、１次元ＰＯＣを利用することができ、対応点の探索に要する計算量を大幅に減らし、対象物における各点の３次元位置を短時間で計測することが可能となる。また、１次元ＰＯＣを用いることにより、エピポーラ線の垂直方向の相関誤差要因を少なくすることができ、高精度な３次元位置の計測が可能となる。

また、本発明によれば、画素データ列切出手段によって切り出された１次元の画素データ列の相関を示す値が予め定められた下限値に満たない場合、異常である旨を通知するようにすることにより、３次元位置計測装置に何らかのトラブルが発生していることを知り、素早くメンテナンスを行うことができるようになる。
また、本発明によれば、画素データ列切出手段によって切り出された１次元の画素データ列の相関を示す値が予め定められた下限値に満たない場合、３次元位置の計測を中止するようにすることにより、無駄なエネルギーの消費を抑えることができるようになる。

また、本発明によれば、画素データ列切出手段によって切り出された１次元の画素データ列の相関を示す値が予め定められた下限値以上である場合、その相関を示す値として求められる相関ピークの位置の視差の方向に対して直交する方向へのずれ量を求め、このずれ量が予め定められている閾値を超えていた場合、そのずれ量に基づいて画素データ列切出手段によって切り出された１次元の画素データ列の画素データの位置を補正するようにすることにより、現場においてエピポーラ線が傾いてきたような場合でも、１次元の画素データ列の画素データの位置を自動的に補正して、精度の高い対応点の探索を続行することができるようになる。

以下、本発明を図面に基づいて詳細に説明する。図１はこの発明に係る３次元位置計測装置の一実施の形態を示すブロック構成図である。同図において、１０は第１のカメラ（ＣＣＤカメラ）、１１は第２のカメラ（ＣＣＤカメラ）、１２は液晶表示装置（ＬＣＤ）、２０は処理部であり、処理部２０は、ＣＰＵを有する制御部２０−１と、ＲＯＭ２０−２と、ＲＡＭ２０−３と、ハードディスクドライブ（ＨＤＤ）２０−４と、フレームメモリ（ＦＭ）２０−５と、外部接続部（Ｉ／Ｆ）２０−６と、フーリエ変換部（ＦＦＴ）２０−７とを備えており、ＲＯＭ２０−２には３次元位置計測プログラムが格納されている。

カメラ１０，１１は、図１９に示した従来例と同様に、所定の距離Ｌを隔てて設置されている。すなわち、カメラ１０，１１は、そのレンズＬＮ１，１Ｎ２間の距離をＬとして、横方向に並んで配置されている。この図でも分かり易いように、３次元計測装置は上方向から見た図とし、対象物Ｍは横方向から見た図としている。

また、カメラ１０，１１には、このカメラ１０，１１の姿勢の所望の方向への手動調整を可能とする姿勢調整機構１３−１，１３−２が設けられている。図４に姿勢調整機構１３（１３−１，１３−２）の一例を示す。本実施の形態では、カメラ１０，１１にそれぞれ姿勢調整機構１３を設けているが、何れか一方のカメラのみに姿勢調整機構１３を設けるようにしてもよい。

〔カメラパラメータの保存〕
カメラ１０および１１は所定の距離Ｌを隔てて配置されている。このカメラ１０および１１が互いの光軸が平行且つ、画像座標の水平軸が同一直線上で同じ向きになるように配置されていれば、図２（ａ）および（ｂ）に示すように、カメラ１０で撮像される画像Ｉにおける基準点ｐが存在する直線ＥＰ１およびカメラ１１で撮像される画像Ｊにおける対応点ｑが存在する直線ＥＰ２、すなわちエピポーラ線ＥＰ１およびＥＰ２は、いずれも水平となる。なお、エピポーラ線については、非特許文献１などに解説されているので、ここでの詳細な説明は省略する。

これに対し、カメラ１０および１１の何れかが傾斜していれば、カメラ１０で撮像される画像Ｉおよびカメラ１１で撮像される画像Ｊにおけるエピポーラ線ＥＰ１，ＥＰ２も傾斜する（図３（ａ），（ｂ）参照）。このように、カメラ１０で撮像される画像Ｉおよびカメラ１１で撮像される画像Ｊにおけるエピポーラ線ＥＰ（ＥＰ１，ＥＰ２）は、カメラ１０とカメラ１１との位置関係（２つの画像間の基礎行列や、内部行列・外部行列などのカメラ固有のパラメータ）によって定まる。本実施の形態では、このカメラ１０とカメラ１１との位置関係を示すパラメータ（カメラパラメータ）をハードディスクに保存させておき、後述する対応点を探索する際の処理過程で用いる。

〔３次元位置の計測〕
この３次元位置計測装置において、対象物Ｍを人間の顔とした場合、この対象物Ｍにおける各点の３次元位置の計測は次のようにして行われる。この３次元位置の計測処理は、ＲＯＭ２０−２に格納された３次元位置計測プログラムに従って、制御部２０−１が行う。

〔画像取り込み〕
制御部２０−１は、カメラ１０からの対象物Ｍを捉えた画像Ｉを入力画像（図５（ａ））として取り込む（図６に示すステップＳ１０１）。また、カメラ１１からの対象物Ｍを捉えた画像Ｊ（図５（ｂ））を参照画像として取り込む（ステップＳ１０２）。この例では、入力画像Ｉおよび参照画像Ｊにおけるエピポーラ線ＥＰは水平となっており、エピポーラ線ＥＰを水平とする座標系に変換する必要はない。

〔対象領域の抽出〕
次に、エッジ検出により、入力画像Ｉおよび参照画像Ｊ中から、対象物Ｍ（人間の顔）が存在する領域だけを対応点探索の対象領域（以下、オブジェクト領域と呼ぶ）として抽出する（ステップＳ１０３）。これにより、図５（ｃ）および（ｄ）に示されるように、オブジェクト領域ＯＢ１およびＯＢ２を抽出した入力画像Ｉ’および参照画像Ｊ’が得られる。

なお、ここでは、説明を簡単とするために、入力画像Ｉおよび参照画像Ｊにおける対象物Ｍ以外の背景は無地であり、対象物Ｍが存在する領域だけがオブジェクト領域ＯＢ１およびＯＢ２として正しく抽出されるものとする。

〔対応点の探索〕
そして、制御部２０−１は、入力画像Ｉ’中のオブジェクト領域ＯＢ１と参照画像Ｊ’中のオブジェクト領域ＯＢ２とを対象領域として、対応点の探索を行う（ステップＳ１０４）。図７にステップＳ１０４における対応点の探索処理のフローチャートを示す。制御部２０−１は、このフローチャートに従って、対応点の探索を次のようにして行う。

先ず、入力画像Ｉ’において、Ｘ軸に平行な各線（１画素幅の線）のオブジェクト領域ＯＢ１内の起点（ＳＴ）と終点（ＥＮＤ）を求める（ステップＳ２０１）。

そして、オブジェクト領域ＯＢ１中の最上位の線の線番号をｎ＝１とし（ステップＳ２０２）、このｎ＝１番目の線上に基準点ｐを定め、その基準点ｐを中心とする所定幅Ｗの探索ウィンドウＳＷの画素データ列を基準点ｐの画素データ列として抽出する（ステップＳ２０３）。この例では、ｎ＝１番目の線（以下、探索ラインと呼ぶ）の起点ＳＴ（図８（ａ）参照）から、幅Ｗを３２画素とする探索ウィンドウＳＷ内の画素のデータ列を基準点ｐの画素データ列として抽出する。

この場合、ｎ＝１番目の探索ラインが基準点ｐのエピポーラ線ＥＰであり、このエピポーラ線ＥＰに沿って基準点ｐの画素データ列が切り出されるものとなる。この基準点の画素データ列は１次元の画素のデータ列である。

また、オブジェクト領域ＯＢ２中の基準点ｐに対応する座標点を候補点ｑ’とし、この候補点ｑ’を中心とする幅Ｗ＝３２画素の探索ウィンドウＣＷを定め、探索ウィンドウＣＷ内の画素のデータ列を候補点ｑ’の画素データ列として抽出する（ステップＳ２０４）。

この場合、ｎ＝１番目の探索ラインが候補点ｑ’のエピポーラ線ＥＰであり、このエピポーラ線ＥＰに沿って候補点ｑ’の画素データ列が切り出されるものとなる。この候補点の画素データ列は１次元の画素のデータ列である。

そして、ステップＳ２０３で抽出した基準点ｐの画素データ列とステップＳ２０４で抽出した候補点ｑ’の画素データ列とから位相限定相関関数を計算する（ステップＳ２０５）。この位相限定相関関数の計算には１次元位相限定相関法（１次元ＰＯＣ）を用いる。この１次元ＰＯＣによる位相限定相関関数の計算は次のようにして行う。

制御部２０−１は、ステップＳ２０３で抽出した基準点ｐの画素データ列を第１の画像データＧ１とし（図９（ａ）参照）、この第１の画像データＧ１をフーリエ変換部２０−７へ送り、この第１の画像データＧ１に１次元のフーリエ変換を施す。これにより、第１の画像データＧ１は、フーリエ画像データＦ１となる。

また、ステップＳ２０４で抽出した候補点ｑ’の画素データ列を第２の画像データＧ２とし（図９（ｂ）参照）、この第２の画像データＧ２をフーリエ変換部２０−７へ送り、この第２の画像データＧ２に１次元のフーリエ変換を施す。これにより、第２の画像データＧ２は、フーリエ画像データＦ２となる。

そして、制御部２０−１は、フーリエ画像データＦ１とフーリエ画像データＦ２とを合成し、この合成したフーリエ画像データ（合成フーリエ画像データ）の振幅成分を正規化してフーリエ変換部２０−７へ送り、もう一度、１次元のフーリエ変換を施す。

そして、この１次元のフーリエ変換が施された合成フーリエ画像データより所定の相関成分エリアの各画素の相関成分の強度（振幅）を求め、この相関成分エリア内の最も強度の高い相関成分を相関ピークとし、この相関ピークの強度値を相関ピークの値（相関値）Ｐｈとし（図９（ｃ））、この相関ピークの位置Ｐｈ（ｘ，ｙ）を求める。この処理過程において、相関ピークの値Ｐｈおよび相関ピークの位置Ｐｈ（ｘ，ｙ）を求める処理が位相限定相関関数を計算することに対応する。

この場合、相関成分エリアの中心Ｏから相関ピークの位置Ｐｈ（ｘ，ｙ）までの距離ｄが、探索ウィンドウＳＷ中の画像と探索ウィンドウＣＷ中の画像との視差の方向（ｘ軸方向）へのずれ量、すなわち探索ウィンドウＳＷ中の基準点ｐと探索ウィンドウＣＷ中の対応点ｑとのｘ軸方向へのずれ量を示す。

ここで、制御部２０−１は、相関ピークの値Ｐｈと予め定められている下限値Ｐｈｔｈとを比較し（ステップＳ２０６）、相関ピークの値Ｐｈが下限値Ｐｈｔｈに満たなければ（ステップＳ２０６のＮＯ）、両者に相関が認められず、探索ウィンドウＣＷ中に対応点ｑが存在しないと判断し、異常として重故障である旨を通知する（ステップＳ２０７）。また、以降の３次元位置の計測を中止する（ステップＳ２０８）。この場合、重故障である旨の通知は、ＬＣＤ１２への表示、ブザー（図示せず）の鳴動、Ｉ／Ｆ２０−６を介する上位装置への通報などによって行う。

相関ピークの値Ｐｈが下限値Ｐｈｔｈ以上である場合（ステップＳ２０６のＹＥＳ）、制御部２０−１は、相関成分エリアにおける相関ピークの位置Ｐｈ（ｘ，ｙ）の視差の方向（ｘ軸方向）に対して直交する方向（ｙ軸方向）へのずれ量ｅを求め（ステップＳ２０９）、このｙ軸方向へのずれ量ｅが予め定められている閾値ｅｔｈを超えていれば（ステップＳ２１０のＮＯ）、例えば探索ウィンドウＣＷ中の画像の各画素の位置をｙ軸方向にずれ量ｅだけ補正したうえ（ステップＳ２１１）、ステップＳ２０５へ戻り、再度、位相限定相関関数を計算する。この位相限定相関関数の計算によって、ｙ軸方向へのずれ量ｅが閾値ｅｔｈ以内となれば（ステップＳ２１０のＹＥＳ）、この時の基準点ｐと対応点ｑとのずれ量ｄを基準点ｐに対応付けて記憶する（ステップＳ２１２）。

このステップＳ２０９〜Ｓ２１１の処理により、現場においてエピポーラ線が傾いてきたような場合でも、探索ウィンドウＣＷ中の画像の各画素の位置をｙ軸方向にずれ量ｅだけ自動的に補正して、精度の高い対応点の探索を続行することができる。

なお、この例では、探索ウィンドウＣＷ中の画像の各画素の位置をｙ軸方向にずれ量ｅだけ補正するようにしたが、探索ウィンドウＳＷ中の画像の各画素の位置をｙ軸方向にずれ量ｅだけ補正するようにしてもよい。また、ｙ軸方向へのずれ量ｅからエピポーラ線の傾きを推定し、その推定したエピポーラ線線の傾きに応じて探索ウィンドウＳＷやＣＷ中の画像の各画素のｙ軸方向の位置に対する補正量を定めるようにしてもよい。

以下同様にして、制御部２０−１は、オブジェクト領域ＯＢ１中のｎ＝１番目の探索ライン上の基準点を所定画素（例えば、１画素）ずつずらしながら、すなわち探索ウィンドウＳＷを所定画素づつずらしながら（ステップＳ２１４）、同様の処理を繰り返す。

そして、オブジェクト領域ＯＢ１中のｎ＝１番目の探索ラインの終点ＥＮＤまで対応点の探索が完了すれば（ステップＳ２１３のＹＥＳ）、オブジェクト領域ＯＢ１中のｎ＝２番目の探索ラインの起点に探索ウィンドウＳＷを移す（ステップＳ２１５）。以下同様にして、オブジェクト領域ＯＢ１中の最後の探索ラインの終点まで、同様動作を繰り返す。

〔３次元位置の計測〕
制御部２０−１は、オブジェクト領域ＯＢ１中の全ての基準点について対応点の探索が完了すると（ステップＳ２１６のＹＥＳ）、各基準点と各対応点とのずれ量ｄに基づいて、三角測量の原理に基づく下記（２）式によって、カメラから対象物Ｍの対応点（基準点）までの距離Ｒを計算する（ステップＳ１０５（図６））。
Ｒ＝ｆ・Ｌ／ｄ ・・・・（２）

そして、この計算したカメラから対象物Ｍの対応点（基準点）までの距離Ｒを３次元位置の計測データとし、各点の３次元位置の計測データをハードディスクに記憶させる。このハードディスクに記憶させた３次元位置の計測データ群は、必要に応じて読み出し、ＬＣＤ１２の画面上に表示したり、上位の装置へ送ったりする。

〔エピポーラ線の調整〕
本実施の形態において、入力画像Ｉおよび参照画像Ｊにおけるエピポーラ線の調整は、次のようにして行う。

〔工場出荷前の調整〕
制御部２０−１は、エピポーラ線の調整モードとされると、入力画像Ｉと参照画像Ｊとを取り込み（図１０に示すステップＳ３０１）、２次元位相限定相関法によって入力画像Ｉと参照画像Ｊ間の各対応点を求める（ステップＳ３０２）。

そして、例えば入力画像Ｉについて、図１１に示すように、その画像の中心（原点）を通る実際のエピポーラ線ＥＰ０’上の各点の計算上のエピポーラ線ＥＰ０（Ｘ軸上のライン）からの垂直方向の差分値の積算値Ｓを求める（ステップＳ３０３）。

そして、この求めた積算値Ｓと予め設定されている閾値Ｓｔｈとを比較し（ステップＳ３０４）、積算値Ｓが閾値Ｓｔｈを超えていれば（ステップＳ３０４のＮＯ）、エピポーラ線の調整が必要であると判断し、ＬＣＤ１２に調整量を数値で表示するなどして、作業者にエピポーラ線の調整を促す（ステップＳ３０５）。

これを受けて、作業者は、姿勢調整機構１３−１を用いて、ＬＣＤ１２に表示されている数値を見ながら、カメラ１０の姿勢（視点）を手動調整する。この手動調整によって、入力画像Ｉだけではなく、参照画像Ｊ中のエピポーラ線の傾きも変化する。したがって、カメラ１０の姿勢だけ調整すればよく、カメラ１１の姿勢を調整する必要はない。なお、カメラ１０側ではなく、カメラ１１側の姿勢（視点）を調整するようにしてもよく、場合によってはカメラ１０，１１の姿勢（視点）をともに調整するようにしてもよい。

この手動調整によって、積算値Ｓが閾値Ｓｔｈ以下となれば（ステップＳ３０４のＹＥＳ）、制御部２０−１は、ブザーなどで作業者に調整の終了を知らせる（ステップＳ３０５）。この場合、閾値Ｓｔｈにより若干誤差はあるが、実際のエピポーラ線ＥＰＯ’と計算上のエピポーラ線ＥＰ０とが一致する。

〔現場での自動補正〕
現場において、制御部２０−１は、定期的に、入力画像Ｉと参照画像Ｊとを取り込み（図１２に示すステップＳ４０１）、２次元位相限定相関法によって入力画像Ｉと参照画像Ｊ間の各対応点を求める（ステップＳ４０２）。

そして、入力画像Ｉおよび参照画像Ｊについて、図１１に示したと同様にして、その画像の中心（原点）を通る実際のエピポーラ線ＥＰ０’上の各点の計算上のエピポーラ線ＥＰ０（Ｘ軸上のライン）からの垂直方向の差分値の積算値Ｓを求める（ステップＳ４０３）。

そして、求めた入力画像Ｉの積算値Ｓと予め設定されている閾値Ｓｔｈとを比較し（ステップＳ４０４）、積算値Ｓが閾値Ｓｔｈを超えていれば（ステップＳ４０４のＮＯ）、入力画像Ｉの各画素のＹ軸方向の位置の補正が必要であると判断し、入力画像Ｉにおける実際のエピポーラ線ＥＰ０’の計算上のエピポーラ線ＥＰ０に対する傾きに応じて、３次元位置計測に際する入力画像Ｉの各画素のＹ軸方向の位置の補正量を求める（ステップＳ４０５）。

また、求めた参照画像Ｊの積算値Ｓと予め設定されている閾値Ｓｔｈとを比較し（ステップＳ４０４）、積算値Ｓが閾値Ｓｔｈを超えていれば（ステップＳ４０４のＮＯ）、参照画像Ｊの各画素のＹ軸方向の位置の補正が必要であると判断し、参照画像Ｊにおける実際のエピポーラ線ＥＰ０’の計算上のエピポーラ線ＥＰ０に対する傾きに応じて、３次元位置計測に際する参照画像Ｊの各画素のＹ軸方向の位置の補正量を求める。

なお、この場合、入力画像Ｉおよび参照画像Ｊにおいて、実際のエピポーラ線ＥＰ０’と計算上のエピポーラ線ＥＰ０とが交差せず、平行となっていれば、３次元位置計測に際する入力画像Ｉおよび参照画像Ｊの各画素のＹ軸方向の位置の補正量は一律値として求められる。

以上の説明から分かるように、本実施の形態において、基準点ｐの画素データ列は１次元の画素データ列であり、候補点ｑ’の画素データ列も１次元の画素データ列であり、この基準点ｐの画素データ列と候補点ｑ’の画素データ列から１次元ＰＯＣを利用して位相限定相関関数を計算するようにしている。１次元ＰＯＣでは、１次元のフーリエ変換を施すので、対応点の探索に要する計算量が大幅に減り、対象物Ｍにおける各点の３次元位置を短時間で計測することができる。また、１次元ＰＯＣを用いることにより、エピポーラ線ＥＰに垂直方向の相関誤差要因を取り除くことが可能となり、高精度な３次元位置の計測が可能となる。

また、本実施の形態によれば、対応点を探索する際に切り出される探索ウィンドウＳＷ内の画素のデータ列と探索ウィンドウＣＷ内の画素のデータ列との相関値として求められる相関ピークの値Ｐｈが下限値Ｐｈｔｈに満たない場合、重故障である旨が通知されるので、３次元位置計測装置に何らかのトラブルが発生していることを知り、素早くメンテナンスを行うことができるようになる。また、この場合、３次元位置の計測が中止されるので、無駄なエネルギーの消費を抑えることができる。

また、本実施の形態によれば、対応点を探索する際に切り出される探索ウィンドウＳＷ内の画素のデータ列と探索ウィンドウＣＷ内の画素のデータ列との相関値として求められる相関ピークの値Ｐｈが相関ピークの下限値Ｐｈｔｈ以上であり、その相関ピークの位置Ｐｈ（ｘ，ｙ）の視差の方向（ｘ軸方向）に対して直交する方向（ｙ軸方向）へのずれ量ｅが閾値ｅｔｈを超えていた場合、そのずれ量ｅに基づいて探索ウィンドウＳＷやＣＷ中の画像の各画素のｙ軸方向の位置が自動的に補正されるものとなり、現場においてエピポーラ線が傾いてきたような場合でも、精度の高い対応点の探索を続行することができるようになる。

図１３に図１に示した３次元位置計測装置における処理部２０の要部の機能ブロック図を示す。処理部２０は、カメラ１０およびカメラ１１からの対象物Ｍを捉えた入力画像Ｉおよび参照画像Ｊを取り込む画像取込部２０Ａと、カメラ１０とカメラ１１との位置関係（２つの画像間の基礎行列や、内部行列・外部行列などのカメラ固有のパラメータ）および基準点から計算されるエピポーラ線に沿って入力画像Ｉおよび参照画像Ｊより探索ウィンドウＳＷ内の画素のデータ列および探索ウィンドウＣＷ内の画素のデータ列を切り出す画素データ列切出部２０Ｂと、画素データ列切出部２０Ｂによって切り出された探索ウィンドウＳＷ内の画素のデータ列と探索ウィンドウＣＷ内の画素のデータ列との相関から探索ウィンドウＳＷおよび探索ウィンドウＣＷの画像中の対応点を探索する対応点探索部２０Ｃとを備えている。

また、処理部２０は、対応点探索部２０Ｃによって探索された対応点の視差に基づいてその対応点の３次元位置を計測する３次元位置計測部２０Ｄと、画素データ列切出部２０Ｂによって切り出された探索ウィンドウＳＷ内の画素のデータ列と探索ウィンドウＣＷ内の画素のデータ列とから求められる相関ピークの値Ｐｈが下限値Ｐｈｔｈに満たない場合、異常である旨を通知すると共に以降の３次元位置の計測を中止する異常通知処理部２０Ｅと、画素データ列切出部２０Ｂによって切り出された探索ウィンドウＳＷ内の画素のデータ列と探索ウィンドウＣＷ内の画素のデータ列とから求められる相関ピークの値Ｐｈが下限値Ｐｈｔｈ以上である場合、その相関ピークの位置Ｐｈ（ｘ，ｙ）の視差の方向に対して直交する方向へのずれ量ｅを求め、このずれ量ｅが予め定められている閾値ｅｔｈを超えていた場合、そのずれ量ｅに基づいて画素データ列切出部２０Ｂによって切り出された探索ウィンドウＳＷ内の画素のデータ列や探索ウィンドウＣＷ内の画素のデータ列の画素データの位置を補正する画素データ位置補正部２０Ｆと、２次元位相限定相関法によって入力画像Ｉと参照画像Ｊ間の各対応点を求め実際のエピポーラ線上の各点の計算上のエピポーラ線からの垂直方向の差分値の積算値Ｓが閾値Ｓｔｈを超えていた場合にエピポーラ線の調整量をカメラのずれ量として算出するカメラずれ量算出部２０Ｇと、これら各部２０Ａ〜２０Ｆ間の動作を制御すると共に３次元位置計測２０Ｄでの３次元位置の計測結果やカメラずれ量算出部２０Ｇでのカメラずれ量、異常通知処理部２０Ｅから通知される異常をＬＣＤ１２に表示する制御部２０Ｉとを備えている。

なお、上述した実施の形態では、基準点ｐの探索ウィンドウＳＷと候補点ｑ’の探索ウィンドウＣＷの幅Ｗを同じとしたが、候補点ｑ’の探索ウィンドウＣＷの幅Ｗは基準点ｐの探索ウィンドウＳＷの幅Ｗ以上あればよく、１本の探索ラインの起点ＳＴから終点ＥＮＤまでの全ての範囲を探索ウィンドウＣＷとしてもよい。

また、上述した実施の形態では、エピポーラ線ＥＰに沿って各画像より１次元の画素データ列を切り出し、この切り出した１次元の画素データ列の位相限定相関関数から対応点を探索するが、その１次元の画素データ列の近傍のエピポーラ線ＥＰに平行な線に沿う１次元の画素データ列を各画像から切り出し、これら複数組の１次元の画素データ列の位相限定相関関数から対応点を探索するようにしてもよい。このようにすると、ノイズの影響を受け難くなり、より対応点探索性能が安定する。

例えば、図１４に示すように、入力画像Ｉ’における探索ウィンドウＳＷ（ＳＷ０）に対して平行に、この探索ウィンドウＳＷ０と同じ位置から同じ長さの近傍探索ウィンドウＳＷ１〜ＳＷ４を定め、この探索ウィンドウＳＷ０および近傍探索ウィンドウＳＷ１〜ＳＷ４内の画素データ列と参照画像Ｊ’における探索ウィンドウＣＷ０および近傍探索ウィンドウＣＷ１〜ＣＢ４内の画素データ列の各組の相関値を求め、相関値の平均を計算する。平均された相関値の最大ピーク位置を求めることで基準点ｐと対応点ｑとのずれ量を算出する。

この場合、探索ウィンドウＳＷ０および近傍探索ウィンドウＳＷ１〜ＳＷ４内の画素データ列に１次元のフーリエ変換を施し、探索ウィンドウＣＷ０および近傍探索ウィンドウＣＷ１〜ＣＢ４内の画素データ列に１次元のフーリエ変換を施し、フーリエ変換が施された探索ウィンドウＳＷ０内の画素データ列と探索ウィンドウＣＷ０内の画素データ列とを合成し、同様にして、フーリエ変換が施された近傍探索ウィンドウＳＷ１〜ＳＷ４内の画素データ列と近傍探索ウィンドウＣＷ１〜ＣＢ４内の画素データ列とを各個に合成し、これにより得られる５つの合成フーリエ画像データを平均して合成位相スペクトルを作成し、この合成位相スペクトルに対して１次元のフーリエ変換を施して最大相関ピークの位置を求めるようにすれば、５つの合成フーリエ画像データの１つひとつに１次元のフーリエ変換を施して相関ピークの位置を求めるようにする方法と比較して、格段に処理スピードがアップする。

図１４では、探索ウィンドウＳＷ０に対して平行に、画像の水平方向に同じ位置から同じ長さの近傍探索ウィンドウＳＷ１〜ＳＷ４を定めたが、図１５に示すように、画像の水平方向に異なる位置から同じ長さの近傍探索ウィンドウＳＷ１〜ＳＷ４を定めるようにしてもよい。また、図１６に示すように、画像の水平方向に異なる位置から異なる長さの近傍探索ウィンドウＳＷ１〜ＳＷ４を定めるようにしてもよい。また、図１７に示すように、画像の異なる位置から異なる長さの近傍探索ウィンドウＳＷ１〜ＳＷ４を定めるようにしてもよい。

また、上述した実施の形態では、入力画像Ｉ’および参照画像Ｊ’からエッジ検出によってオブジェクト領域ＯＢ１およびＯＢ２を抽出するようにしたが、必ずしもオブジェクト領域ＯＢ１およびＯＢ２を抽出するようにしなくてもよい。例えば、オブジェクト領域ＯＢ１およびＯＢ２を抽出せずに、入力画像Ｉ’および参照画像Ｊ’の最上位の探索ラインの起点から最下位の探索ラインの終点まで、基準点ｐを移動しながら、すなわち探索ウィンドウＳＷを移動しながら、基準点ｐと対応点ｑとの対応付けを進めるようにしてもよい。

この場合、入力画像Ｉ’中の全領域において基準点ｐをずらしながら、その基準点ｐの画像データ列と参照画像Ｊ’中の候補点ｑ’の１次元の画素データ列との位相限定相関関数を１次元ＰＯＣによって計算することになるので、処理すべきデータ量が多くなる。これに対して、入力画像Ｉ’および参照画像Ｊ’からオブジェクト領域ＯＢ１およびＯＢ２を抽出し、この抽出したオブジェクト領域ＯＢ１およびＯＢ２を探索対象領域とすることにより、入力画像Ｉ’中の基準点ｐをずらす領域を小さくし、処理すべきデータ量を削減することができる。また、画像内のオブジェクト領域ＯＢ１，ＯＢ２外の画素データを処理対象から除外することで、これらの領域が対応点探索過程で精度を下げる外乱要因として働くことを未然に防止し、対応点探索精度の向上を図ることが可能となる。また、オブジェクト領域ＯＢ１中の探索ラインの起点から対応点の探索を始めることにより、常に対象物Ｍの輪郭に近い位置から対応点が求まるものとなり、対象物の３元位置の計測精度が向上する。

また、上述した実施の形態では説明しなかったが、対応点の探索を開始する際、入力画像Ｉ’および参照画像Ｊ’を低解像度として基準点の画素データ列と候補点の画素データ列との位相限定相関関数を計算し、この結果、相関ピークが得られれば、入力画像Ｉ’および参照画像Ｊ’の解像度を上げるということを段階的に繰り返して行くようにしてもよい。

また、上述した実施の形態では、カメラを２台としたが、光学機構を設けることによって、１台のカメラから入力画像Ｉと参照画像Ｊを得るようにしてもよい。また、カメラを３台以上設け、さらに複数の画像を得るようにしてもよい。カメラを１台とすると、ハードウェアで設計的に同期をとらずによいので、作りやすい。カメラがメガピクセルで高価な場合、安価になる場合がある。また、カメラを１台とする場合、その光学機構の調整によって、対象物を一方から見た画像の視点や他方から見た画像の視点を調整するようにする。

また、上述した実施の形態では、基準点ｐの画素データ列と候補点ｑ’の画素データ列との相関関数を１次元の位相限定相関法で計算するようにしたが、１次元の帯域制限法で計算したり、１次元の相関係数法で計算したり、１次元の振幅抑制相関法で計算したりするようにしてもよい。

本発明に係る３次元位置計測装置の一実施の形態を示すブロック構成図である。 対象物を異なる視点から見た２つの画像に水平なラインとして存在するエピポーラ線を説明する図である。 対象物を異なる視点から見た２つの画像に傾斜したラインとして存在するエピポーラ線を説明する図である。 この３次元位置計測装置に用いるカメラの姿勢調整機構の一例を示す斜視図である。 この３次元位置計測装置の画像取り込みから対象領域の抽出までの処理過程を説明する図である。 この３次元位置計測装置における３次元位置の計測処理を示すフローチャートである。 この３次元位置計測装置における３次元位置の計測処理過程での対応点探索処理を示すフローチャートである。 入力画像から抽出されたオブジェクト領域中の最上位の線の起点から対応点の探索が始められる様子を説明する図である。 基準点のデータ列と候補点のデータ列との１次元位相限定相関法による相関関数の計算を説明する図である。 この３次元位置計測装置における工場出荷前のエピポーラ線の調整処理を示すフローチャートである。 計算上のエピポーラ線からの垂直方向の差分値の積算値を求めるステップの処理を説明する図である。 この３次元位置計測装置における定期的に行われる現場での自動補正処理を示すフローチャートである。 この３次元位置計測装置における処理部の要部の機能ブロック図である。 探索ウィンドウに対して平行に複数組の近傍探索ウィンドウを定めて対応点の探索を行う例を説明する図である。 探索ウィンドウに対して平行に複数組の近傍探索ウィンドウを定めて対応点の探索を行う場合の変形例を示す図である。 探索ウィンドウに対して平行に複数組の近傍探索ウィンドウを定めて対応点の探索を行う場合の変形例を示す図である 探索ウィンドウに対して平行に複数組の近傍探索ウィンドウを定めて対応点の探索を行う場合の変形例を示す図である 特許文献１に示された立体像計装置における２次元位相限定相関法を用いた立体像の計測処理を説明する図である。 特許文献１に示された立体像計装置における画像入力部の概略を示す図である。

符号の説明

１０，１１…カメラ（ＣＣＤカメラ）、１２…液晶表示装置（ＬＣＤ）、１３（１３−１，１３−２）…姿勢調整機構、２０…処理部、２０−１…制御部、２０−２…ＲＯＭ、２０−３…ＲＡＭ、２０−４…ハードディスクドライブ（ＨＤＤ）、２０−５…フレームメモリ（ＦＭ）、２０−６…外部接続部（Ｉ／Ｆ）、２０−７…フーリエ変換部（ＦＦＴ）、ＬＮ（ＬＮ１，ＬＮ２）…レンズ、ＥＰ…エピポーラ線、ＳＷ（ＳＷ０）…探索ウィンドウ、ＳＷ１〜ＳＷ４…近傍探索ウィンドウ、ＣＷ（ＣＷ０）…探索ウィンドウ、ＣＷ１〜ＣＷ４…近傍探索ウィンドウ、ＯＢ１，ＯＢ２…オブジェクト領域、ＳＴ…起点、ＥＮＤ…終点、Ｉ…入力画像、Ｊ…参照画像、Ｍ…対象物、２０Ａ…画像取込部、２０Ｂ…画素データ切出部、２０Ｃ…対応点探索部、２０Ｄ…３次元位置計測部、２０Ｅ…異常通知処理部、２０Ｆ…画素データ位置補正部、２０Ｇ…カメラずれ量算出部、２０Ｉ…制御部。

Claims (3)

1. 対象物を異なる視点から見た複数の画像を取り込む画像取込手段と、
   前記画像取込手段のパラメータおよび基準点から計算されるエピポーラ線に沿って前記複数の画像より１次元の画素データ列を切り出す画素データ列切出手段と、
   前記画素データ列切出手段によって切り出された１次元の画素データ列の相関から前記複数の画像中の対応点を探索する対応点探索手段と、
   前記対応点探索手段によって探索された対応点の視差に基づいてその対応点の３次元位置を計測する３次元位置計測手段と、
   前記画素データ列切出手段によって切り出された１次元の画素データ列の相関を示す値が予め定められた下限値に満たない場合、異常である旨を通知する異常通知手段と
   を備えることを特徴とする３次元位置計測装置。
2. 請求項１に記載された３次元位置計測装置において、
   前記画素データ列切出手段によって切り出された１次元の画素データ列の相関を示す値が前記下限値に満たない場合、前記３次元位置の計測を中止する３次元位置計測中止手段
   を備えることを特徴とする３次元位置計測装置。
3. 請求項１に記載された３次元位置計測装置において、
   前記画素データ列切出手段によって切り出された１次元の画素データ列の相関を示す値が前記下限値以上である場合、その相関を示す値として求められる相関ピークの位置の視差の方向に対して直交する方向へのずれ量を求め、このずれ量が予め定められている閾値を超えていた場合、そのずれ量に基づいて前記画素データ列切出手段によって切り出された１次元の画素データ列の画素データの位置を補正する画素データ位置補正手段
   を備えることを特徴とする３次元位置計測装置。

Images