JP2005308553A - 三次元画像計測装置及び方法 - Google Patents

Abstract

【課題】 射影歪みの大きなステレオ画像に対しても、対象物表面の凸凹が木目細かく測定できると共に、安定した収束性の得られる三次元画像計測及び方法を提供すること。
【解決手段】 一対のステレオ画像４６の一方画像５３に基準エリア５７を設定し、他方画像５４の基準エリア５７に対応した位置に探索エリア５８を設定するエリア設定部５６と、基準エリア５７と基準エリア５７に対応する探索エリア５８との位置関係に応じて、一方画像５３又は他方画像５４の何れか一方に画像修正を加える探索画像歪修正部６２と、探索画像歪修正部６２で修正された、一方画像５３の基準エリア５７と他方画像５４上の探索エリア５８とに基づき、ステレオ画像４６で撮影された被測定物４１の形状を測定するエリア形状測定部６６とを備えている。
【選択図】 図１

Description

この発明は、航空写真のように遠距離の対象物ではなく、中近距離の対象物を計測の対象とする画像計測のように、ステレオ写真撮影した画像の射影歪みが大きくなる測定対象物について、撮影した画像データを用いて、測定対象物の三次元形状データを取得する三次元画像計測装置及び方法に関する。

施工対象物や製作対象物の３Ｄデータを取得する方法には、特許文献１に記載されているような三次元位置測定装置（トータルステーション）により取得する方式と、特許文献２に記載されているような対象物と比較校正体を用いてステレオ画像を撮影して、ステレオ計測することにより３Ｄデータを取得するステレオ画像計測方式がある。三次元位置測定装置を用いた方式では、得られる３Ｄ座標の精度が良いので、画像貼り付けの際の基準点位置測定に利用される。特に、近年のトータルステーションでは、モータ駆動によって比較的多数（例えば測定対象物について数十点程度）の三次元座標が得られるようになってきている。ステレオ画像計測方式では、３Ｄデータと画像貼り付けを行う際に標定という作業を行なうことで、測定対象物について数千点−数万点程度の三次元座標を比較的簡便に得られる。

特開２００２−３５２２２４号公報 図２ 特開２００３−６５７３７号公報 図１、図２

しかしながら、三次元位置測定装置により取得した３Ｄデータは、基本的には距離データを含む三次元座標データにて構成されている。特に、中近距離の対象物を撮影した画像においては、射影歪の影響が少なくなく、そのためこの画像を用いて精密な三次元位置測定を行うことは、困難であるという課題があることが判明した。

本発明は上述した課題を解決したもので、射影歪みの大きなステレオ画像に対しても、対象物表面の凸凹が木目細かく測定できると共に、安定した収束性の得られる三次元画像計測装置及び方法を提供することを目的とする。

上記目的を達成する本発明の三次元画像計測装置は、例えば図１に示すように、一対のステレオ画像４６の一方画像５３に基準エリア５７を設定し、他方画像５４の基準エリア５７に対応した位置に探索エリア５８を設定する画像探索エリア設定部５６と、基準エリア５７と基準エリア５７に対応する探索エリア５８との位置関係に応じて、一方画像５３又は他方画像５４の何れか一方に画像修正を加える探索画像歪修正部６２と、探索画像歪修正部６２で修正された、一方画像５３の基準エリア５７と他方画像５４上の探索エリア５８とに基づき、ステレオ画像４６で撮影された被測定物４１の形状を測定するエリア形状測定部６６とを備えている。

このような構成によると、画像探索エリア設定部５６によって、一対のステレオ画像４６の一方画像５３に基準エリア５７を設定し、他方画像５４の基準エリア５７に対応した位置に探索エリア５８を設定して、基準エリア５７に対応する探索エリア５８との位置関係を求める為の前処理を行っている。探索画像歪修正部６２は、基準エリア５７と基準エリア５７に対応する探索エリア５８との位置関係に応じて、一方画像５３又は他方画像５４の何れか一方に画像修正を加えて、一対のステレオ画像４６に含まれる光学系の歪に起因する画像歪みや、像のボケや被測定物４１の影等を考慮して、位置対応が求めやすいようにする。エリア形状測定部６６は、探索画像歪修正部６２で修正された、一方画像５３の基準エリア５７と他方画像５４上の探索エリア５８とに基づき、ステレオ画像４６で撮影された被測定物４１の形状を測定する。

好ましくは、本発明の三次元画像計測装置において、例えば図１に示すように、さらに、単位幾何学形状を平面的に繰返して、ステレオ画像４６の一方画像５３と他方画像５４を覆う単位幾何学形状網を形成する単位幾何学形状網形成部６０を備え、画像探索エリア設定部５６で設定する基準エリア５７及び探索エリア５８は、前記単位幾何学形状であり、探索画像歪修正部６２は、基準エリア５７に対する探索エリア５８の歪を修正する構成とするとよい。単位幾何学形状網にて、ステレオ画像４６の一方画像５３と他方画像５４を覆うと、一方画像５３と他方画像５４の単位幾何学形状網で覆われた領域全体に、ほぼ均質な密度の単位幾何学形状の格子点が分散配置される。探索画像歪修正部６２は、単位幾何学形状網で覆われた領域全体で基準エリア５７に対する探索エリア５８の歪を修正することで、画像歪みが各単位幾何学形状の格子点に振り分けられる。そこで、エリア形状測定部６６では、ステレオ画像４６で撮影された被測定物４１の形状測定の結果が合理的なものとなる。

好ましくは、本発明の三次元画像計測装置において、例えば図１に示すように、さらに、画像探索エリア設定部５６で設定された基準エリア５７と対応関係にある対応基準エリア５９を、相関処理によって定める対応エリア決定部６４を備え、画像探索エリア設定部５６は、対応エリア決定部６４で求められた対応基準エリア５９を、基準エリア５７に対応する他方画像５４上の探索エリア５８として設定する構成とするとよい。

好ましくは、本発明の三次元画像計測装置において、探索画像歪修正部６２は、探索エリア５８の近傍に位置する隣接探索エリアについて、対応基準エリア５９に対応する隣接探索エリアの情報に基づき、探索エリア５８に加える画像歪修正量を決定するように構成とするとよい。

好ましくは、本発明の三次元画像計測装置において、例えば図４に示すように、単位幾何学形状網形成部６０は、粗密の幾何学形状を形成するもので、粗い幾何学形状から密な幾何学形状を順に形成していき、画像歪修正を行うように構成されているとよい。このように構成されると、粗い幾何学形状にて画像歪修正が概括的になされ、次に密な幾何学形状では、概括的になされた画像歪修正を用いて、さらに詳細な画像歪修正を行なうことで、少ない演算量で確実な画像歪修正が行なえる。

好ましくは、本発明の三次元画像計測装置において、探索画像歪修正部６２は、一対のステレオ画像４６の一方画像５３と他方画像５４との画像歪みが均等になるように、他方画像５４に設けられる各探索エリアに加える画像歪修正量を決定する構成とするとよい。

上記目的を達成する本発明の三次元画像計測方法は、例えば図６に示すように、単位幾何学形状を平面的に繰返して、ステレオ画像４６の一方画像５３と他方画像５４を覆う単位幾何学形状網を形成するステップ（Ｓ１０６）と、前記単位幾何学形状網のステレオ画像４６の一方画像５３と他方画像５４との間の位置関係から求めた画像歪修正量を用いて、他方画像５４を修正するステップ（Ｓ１１０、Ｓ１１２）と、一対のステレオ画像４６の一方画像５３に基準エリア５７を設定し、ステレオ画像４６の他方画像５４の基準エリア５７に対応した位置に探索エリア５８を設定するステップ（Ｓ１１６）と、基準エリア５７と基準エリア５７に対応する探索エリア５８との位置関係を、一方画像５３と前記画像歪修正量で修正された他方画像５４とを用いて求めるステップ（Ｓ１１８）と、単位幾何学形状網の形成された一方画像５３の基準エリアと、修正された他方画像５４上の探索エリア５８とに基づき、ステレオ画像４６で撮影された被測定物の形状を測定するステップ（Ｓ１２６）とを、コンピュータに実行させるものである。

上記目的を達成する本発明の三次元画像計測装置は、例えば図１５に示すように、一対のステレオ画像４６の一方画像５３に基準エリア５７を設定し、他方画像５４の基準エリア５７に対応した位置に探索エリア５８を設定する画像探索エリア設定部５６と、基準エリア５７の大きさ又は形状の少なくとも一方を変形させる基準エリア変形部７２と、画像探索エリア設定部５６で設定された基準エリア５７又は基準エリア変形部７２で変形された基準エリア５７と対応関係にある探索エリア５８を、相関処理によって定める対応エリア決定部７４と、基準エリア５７と基準エリア５７に対応する探索エリア５８との位置関係に応じて、他方画像５４に所定の画像修正を加える探索画像歪修正部６２と、一方画像５３の基準エリア５７と探索画像歪修正部６２で修正された他方画像５４上の探索エリア５８とに基づきステレオ画像４６で撮影された被測定物４１の形状を測定するエリア形状測定部８０とを備えている。

好ましくは、本発明の三次元画像計測装置において、例えば図１５に示すように、さらに、単位幾何学形状を平面的に繰返して、ステレオ画像４６の一方画像５３と他方画像５４を覆う単位幾何学形状網を形成する単位幾何学形状網形成部６０を備え、画像探索エリア設定部５６で設定する基準エリア５７及び探索エリア５８は、前記単位幾何学形状であり、探索画像歪修正部６２は、基準エリア５７に対する探索エリア５８の歪を修正する構成とするとよい。

好ましくは、本発明の三次元画像計測装置において、例えば図１５に示すように、基準エリア変形部７２は、エリア形状測定部８０で得られた測定結果に基づき、基準エリア５７の設定位置または形状の少なくとも一方を修正するように構成とするとよい。

好ましくは、本発明の三次元画像計測装置において、例えば図４に示すように、単位幾何学形状網形成部６０は、粗密の幾何学形状を形成するもので、粗い幾何学形状から密な幾何学形状を順に形成していき、画像歪修正を行うように構成されているとよい。

上記目的を達成する本発明の三次元画像計測方法は、例えば図１６に示すように、単位幾何学形状を平面的に繰返して、ステレオ画像４６の一方画像５３と他方画像５４を覆う単位幾何学形状網を形成するステップ（Ｓ２０６）と、一対のステレオ画像４６の一方画像５３に基準エリア５７を設定し、ステレオ画像４６の他方画像の基準エリア５７に対応した位置に探索エリア５８を設定するステップ（Ｓ２０８）と、単位幾何学形状網を構成する任意の格子点位置を変更して、少なくとも一個の基準エリア５７における大きさ又は形状の少なくとも一方を変形させるステップ（Ｓ２１０）と、設定された基準エリア５７、若しくは前記大きさ又は形状が変形された基準エリア５７を有する一方画像５３と、他方画像５４との間の位置関係から求めた画像歪修正量を用いて、他方画像５４を修正するステップ（Ｓ２１４、Ｓ２１６）と、基準エリア５７と基準エリア５７に対応する探索エリア５８との位置関係を、一方画像５３と前記画像歪修正量で修正された他方画像とを用いて求めるステップ（Ｓ２２０）と、単位幾何学形状網の形成された一方画像５３の基準エリアと、修正された他方画像５４上の探索エリア５８とに基づき、ステレオ画像４６で撮影された被測定物の形状を測定するステップ（Ｓ２２６）とをコンピュータに実行させるものである。

本発明の三次元画像計測装置及び方法によれば、射影歪みの大きなステレオ画像に対しても、対象物表面の凸凹が木目細かく測定できると共に、安定した収束性が得られる。射影歪の大きな画像としては、比較的中近距離測定の場合に生じる中心投影画像や、平行投影でも起伏が大きい場合が相当する。後者の典型例は、例えば半導体の試料撮影や、撮影距離が大きく変化するような凹凸のある対象物を撮影するような場合がある。

以下図面を用いて本発明を説明する。本発明の三次元画像表示装置は、最低２枚以上の複数撮影された画像から、ステレオ画像を構成する左右２枚の画像を１単位として、測定対象物４１の立体的な形状を算出すると共に、測定対象物４１の全体を３Ｄ計測もしくは取得された３Ｄデータを用いて、測定対象物４１の二次元画像に立体感を表現するテクスチャ（texture）を貼り付ける。ここで、テクスチャとはグラフィックスなどにおいて、図形の表面に付けられた模様や、質感を表わすための描き込みをいう。

図１は本発明の三次元画像計測装置を説明する全体構成ブロック図である。図において、半導体や生体組織・細胞のような対象物４１がテーブル（図示せず）等に載置されており、同一の光学的特性を有するカメラ４２ａ、４２ｂによって撮影される。像形成光学系としてのカメラ４２ａ、４２ｂは焦点距離が既知で、レンズ収差が補償されるものであり、対象物４１が左右のステレオカメラ４２ａ、４２ｂで同一解像度で撮影されるように配置されている。左右のステレオカメラ４２ａ、４２ｂは、対象物４１に対して、例えば８０％程度以上の高い重複率で撮影した、一対のステレオ撮影画像データ４３を生成する。カメラは、汎用の印画紙を用いた光学式カメラでもよく、またＣＣＤ(Charged Coupled Device)のような電子式でもよい。画像処理を円滑に行なう為には、ステレオ撮影画像データ４３は電磁気記録情報としてフレキシブル・ディスク、ＣＤＲＯＭ、ＤＶＤ等に記憶させておくと良い。

標定処理部４４は、左右のステレオカメラ４２ａ、４２ｂで撮影されたステレオ撮影画像データ４３に対して、内部標定と外部標定を行ない、ステレオマッチング処理を可能とする。内部標定とは、撮影したカメラや結像面（フィルム）に関連した内部幾何構造の補正・キャリブレーションを行なうもので、例えばレンズの歪み、レンズとフィルムの偏心のような位置関係、フィルムの平面性の補正を行なう。外部標定とは、撮影した時のカメラの位置・姿勢を決定するもので、例えば共線条件式を用いて定式化されている。共線条件式は投影中心・フィルム上の位置、対象物は一直線上にあるという関係式である。標定処理部４４で標定された左右一対のステレオ画像４６は、ステレオ画像記録部４５に記憶される。ステレオ画像記録部４５は、例えばフレキシブル・ディスク、ＣＤＲＯＭ、ＤＶＤ等のように画像情報を電磁気情報として記憶する媒体である。標定処理は、予め装置のパラメータとして事前に求めておいても良いし、画像を計測して求めても良い。なお、ここでいうレンズには、電子顕微鏡の電子レンズも含まれる。

画像測定装置５０は、概略位置測定部５１、解像度別グリッド画像形成部５２、画像処理部５５、画像探索エリア設定部５６、単位幾何学形状網形成部としての非整形三角形網形成部６０、探索画像歪修正部６２、対応エリア決定部６４、エリア形状測定部６６、画像再構築部６７、左右画像対応関係データベース６８を備えている。また、画像測定装置５０で取扱われるデータとしては、基準画像５３、探索画像５４、基準エリア５７、探索エリア５８、対応基準エリア５９、非整形三角形網データ６１がある。画像測定装置５０には、演算処理機能の高いパソコンやワークステーションのようなコンピュータが使用される。画像測定装置５０の各構成要素は、アプリケーション・ソフトウェアやＡＳＩＣのような高度に集積した電子回路にて構成されている。なお、単位幾何学形状網形成部が形成する幾何学形状は、三角形に限るものではなく、正方形や、線分で区切られたものでも良く、要するに単位面が形成され、高さが内挿できるものであれば構わない。

概略位置測定部５１は、一対のステレオ画像４６中のマーク又は特徴点を抽出し、抽出されたマーク又は特徴点を用いて射影変換処理によりステレオ画像中のマーク又は特徴点の概略位置を求める機能を有する。

解像度別グリッド画像形成部５２は、一対のステレオ画像４６に対する基準画像５３と探索画像５４を生成するもので、高い解像度のものから低い解像度のものに順次基準画像５３ａ、５３ｂ、…と探索画像５４ａ、５４ｂ、…を生成する。典型的には、一対のステレオ画像４６のうち、左画像に基準画像５３が生成されると、探索画像５４は基準画像が生成された他方の画像、即ち右画像に生成される。画像の解像度は、画像の木目細やかな表現力を定めるパラメータとなっており、低い解像度では粗い解像度、高い解像度では密な解像度が得られる。画像に含まれるデータ量は莫大であり、ステレオマッチングでの演算量を削減するために、低い解像度の画像で大まかな対応点の位置を抽出し、順次高い解像度の画像で詳細な対応点の位置を抽出してゆく。典型的には、第１解像度としての低解像度と、第２解像度としての高解像度の２階層で画像を生成すればよい。画像解像度に関する階層構造は、粗密探索法(Coarse To Fine法)に関連するもので、詳細は後で説明する。なお、解像度別グリッド画像形成部５２で生成する基準画像５３と探索画像５４は、３階層以上であってもよい。

画像処理部５５は、解像度別グリッド画像形成部５２で取扱う、一対のステレオ画像４６、即ち基準画像５３、探索画像５４を鮮鋭化させたり、コントラスト強調、エッジ強調を行ったり、解像度の異なる画像を作成する際に必要な画像データの補間や圧縮を行なったり、画像データから特徴抽出を行ったりする。

画像探索エリア設定部５６は、基準画像５３に対する基準エリア５７と、探索画像５４に対する探索エリア５８を設定する。基準エリア５７は、例えば正方領域のテンプレートと呼ばれるものである。探索エリア５８は基準エリア５７の捜索する範囲を限定するもので、探索画像５４全体より小さく、基準エリア５７より大きくするのが良い。解像度別グリッド画像形成部５２で生成される基準画像５３と探索画像５４が、低解像度と高解像度の２階層で生成される場合には、画像探索エリア設定部５６は、基準エリア５７と探索エリア５８も低解像度と高解像度の２階層として生成する。解像度別グリッド画像形成部５２で生成される基準画像５３と探索画像５４が３階層の解像度で生成される場合には、画像探索エリア設定部５６は、基準エリア５７と探索エリア５８も３階層の解像度で生成する。

図２は基準画像５３に設定される基準エリア５７と、探索画像５４に設定される探索エリア５８の説明図である。画像探索エリア設定部５６は、基準画像５３に設定される基準エリア５７に比較して、探索画像５４に設定される探索エリア５８の領域を広く取っている。これにより、探索エリア５８内の領域に、基準エリア５７との相関係数の高い領域が存在する可能性が高くなる。なお、基準エリア５７と探索エリア５８は、画像を構成する全ての画素に対して定義することができる。全ての画素に対して定義すると、パターン配線前の半導体ウェハのように画像情報に顕著なパターンが表れない場合でも、全体的な色調や明度のパターンから、位置の判別が可能な場所が出現してくる。しかし、一定間隔や対応点・特徴点のように位置対応が判別できる程度の濃淡や形状・輪郭を含む画像情報に限って、基準エリア５７と探索エリア５８を設定してもよい。

図１に戻り、非整形三角形網形成部６０は、基準画像５３と探索画像５４を非整形三角形で覆う非整形三角形網(TIN: Triangulated Irregular Network)を形成する。単位幾何学形状としての非整形三角形には、基準画像５３と探索画像５４で同一の地点を頂点とする三角形とするとよい。三角形が非整形であるのは、一対のステレオ画像４６に撮影されている対象物４１表面の凸凹やカメラ４２ａ、４２ｂの視軸の相違に起因する。即ち、単位幾何学形状には、典型的には正三角形や二等辺三角形のように対称性の良い図形を用いるのであるが、一対のステレオ画像４６の性格上歪んで非整形となるのである。非整形三角形網で覆われる領域は、基準画像５３と探索画像５４の全領域である必要はなく、三次元画像計測の対象領域だけでもよい。非整形三角形網の詳細は、後で説明する。

探索画像歪修正部６２は、基準エリア５７と基準エリア５７に対応する探索エリア５８との位置関係に応じて、他方画像５４に画像修正を加えるものである。探索画像歪修正部６２で行われる、基準エリア５７と探索エリア５８との対応点検出処理は、次のように行われる。対応点検出処理では、例えば写真測量で用いられるパスポイントや基準点を、基準画像５３と探索画像５４に設けている。一対のステレオ画像４６の左右画像に対してマッチングを行う場合、画像探索エリア設定部５６によって設定された探索画像５４に対して、基準エリア５７のテンプレートと同じ大きさのウィンドウを動かして、探索画像歪修正部６２の対応点検出処理機能によって、基準エリア５７と探索エリア５８の濃度値が最も類似している位置を検出する。

対応点検出処理では、パスポイントや基準点の画像座標の計測に対しては、ステレオマッチングを併用する事により作業の効率化を実現している。例えば、正規化相関係数によるマッチング法や最小二乗マッチング（ＬＳＭ：Least-Squares Matching)による対応点検出処理を行うと、パスポイントや基準点等の標定点を高精度に自動計測できる。

次に、探索画像歪修正部６２では、一例として、正規化相関係数によるマッチング法が行なわれ、この処理を図２を参照して説明する。図２において、右画像を基準画像５３、左画像を探索画像５４とする。基準エリア５７は、Ｎ個のデータから構成されるとし、探索エリア５８は画像座標（Ｕ、Ｖ）を起点とする。正規化相関係数によるマッチング法では、基準エリア５７を探索エリア５８の中を左から右に動かし、探索エリア５８の右端まで行くと下がって左端に戻り、また基準エリア５７を左から右に動かすラスタ走査を行いながら、各位置で式５による演算処理を行なう。
Ｍ＝Ｍ(Ｘi，Ｙi) (1≦i≦N) ・・・（１）
Ｉ＝Ｉ(Ｕ＋Ｘi，Ｖ＋Ｙi)
とする。ここで、Ｍは基準エリア５７の正規化数値、Ｉは探索エリア５８の正規化数値とする。

すると、基準エリア５７と探索エリア５８の類似度は、次の正規化相関係数Ｒ（Ｕ、Ｖ）で与えられる。

ここで、正規化相関係数Ｒの値は常に−１から１までの範囲の値をとる。正規化相関係数値Ｒが１の場合には、テンプレートとしての基準エリア５７と探索エリア５８中の対応画像が完全に一致した事になる。そこで対応エリア決定部６４により、相関係数値の最大の位置を探せば、探索エリア５８中において、基準エリア５７に最も類似した画像の場所を示す対応基準エリア５９を探す事ができる。

探索エリア５８中に、基準エリア５７と類似している点が無かった場合は、正規化相関係数値Ｒの最大値が小さく(例えば0.1)なるので、対応基準エリア５９の探索は失敗とする。しかし探索を行う際に、対応エリア決定部６４は、正規化相関係数値Ｒが最大となった座標値を対応基準エリア５９の座標値としている。そこで、Ｒ＝0.1とノイズに近い場合でも、低い正規化相関係数値の座標値が対応基準エリア５９の座標値となってしまうことがある。従って正規化相関係数値Ｒの最大値があまりに小さく、設定したしきい値(例えば0.2〜0.3)以下の場合は、対応基準エリア５９の探索は失敗とする。

続いて、最小二乗マッチングによる対応点検出処理を説明する。図３は、最小二乗マッチングによる対応点検出処理の説明図で、（Ａ）は基準画像５３の基準エリア５７に相当するウィンドウ、（Ｂ）は探索画像５４の探索エリア５８に相当するウィンドウで、アフィン変形後を示している。図において、探索画像歪修正部６２は、探索画像５４のウィンドウの形状をアフィン変形させながら、基準画像５３の基準エリア５７に相当するウィンドウとのマッチング演算を行い、対応点をサブピクセル単位で計測する。

まず、探索画像５４内でアフィン変形前の基準エリア５７に相当するテンプレートをｆ１(i,j)、アフィン変形された探索エリア５８に相当するマッチングウィンドウをｆ２(x,y)として、マッチングウィンドウの変形を式（３）のアフィン変換によって近似する。

そして、アフィン変形前のテンプレートの画素ｆ１(i,j)と、アフィン変形後のマッチングウィンドウの画素ｆ２(x,y)とにおいて、比較する画素(i,j)における濃度差ｄ(i,j)は以下の式（４）で与えられる。

次に、濃度差の二乗和を最小とする条件、すなわち

を満たすような係数ａ１〜ａ６を決定する。ここで、係数ａ１、ａ２、ａ４、ａ５はマッチングウィンドウの変形を表し、係数ａ３、ａ６が求めるべき検出位置の座標に相当する。

なお、探索画像歪修正部６２は、エピポーラ拘束による最小二乗マッチングを用いることも出来る。即ち、基準画像５３と探索画像５４が偏位修正画像であって、探索画像歪修正部６２が偏位修正画像を用いてステレオマッチングを行う場合、マッチングはエピポーラライン上の１次元探索で行うため、マッチングの高速化と信頼性を向上させることができる。そこで、最小二乗マッチングはマッチングウィンドウの変形を表すアフィン変換式（３）を用いるが、ここではエピポーラ拘束条件により式（６）のように簡略化できる。

対応エリア決定部６４は、基準画像５３に設けられた基準エリア５７に対応する探索エリア５８を探索画像５４上で捜索するもので、例えば上述のアフィン変換を用いる。画像データを取扱うので、同じ解像度での基準画像５３と探索画像５４との間で、基準エリア５７と同一又は同一性のある探索エリア５８を探す。従って、対応エリア決定部６４は、異なる解像度の基準画像５３と探索画像５４との間での捜索対応検出は行なわない。

エリア形状測定部６６では、求められた位置関係を利用して一対のステレオ画像に撮影された対象物の測定を行なう。本実施例のエリア形状測定部６６では、粗密探索法と非整形三角形網法を組合せると共に、最小二乗法や正規化相関法を有機的に組合せて、少ない演算量でステレオ画像４６の画素単位よりも詳細なサブピクセル単位で対象物の測定を行える。

画像再構築部６７は、画像測定装置５０で得られた、一対のステレオ画像４６に撮影された対象物の測定結果から、対象物の二次元又は三次元の画像を再構築する。再構築画像４７には、三次元鳥瞰図や正射写真図等の各種の画像がある。左右画像対応関係データベース６８は、一対のステレオ画像４６に撮影されている左右画像の対応点に関する情報が格納されるもので、概略位置測定部５１、解像度別グリッド画像形成部５２、画像処理部５５、画像探索エリア設定部５６、対応エリア決定部６４、エリア形状測定部６６、画像再構築部６７に対して共通のデータベースとして用いられる。なお、対象物の３Ｄモデリングは、面の概念が必要であるため、ステレオマッチングで計測されたＤＳＭデータは、点群ではなく、ＴＩＮ（非整形三角形網）モデルとして面的に処理する。また、マニュアルで計測された輪郭などのポリラインデータもＴＩＮモデルとして利用できる。

次に、各構成要素の作用について図面を参照して、さらに詳細に説明する。なお、ここで説明するのは一例であり、この方法に限定されない。例えば、粗密の度合いや階層数は任意に設定できる。また、ＴＩＮ（非整形三角形網）モデルの密度も任意に変更・設定できる。

図４は粗密探索法の階層構造を説明する構成図である。対応エリア決定部６４での画像相関演算時間を最適化するために、解像度別グリッド画像形成部５２を用いて、一対のステレオ画像４６を異なる解像度の多層階層とする。この場合、画像相関演算による対応点を確実に検出するために、ピラミッド構造型の多層階層による捜索を利用する。ピラミッド構造では、粗い解像度の最上層で概略重ね合わせを行ってから、密の解像度で詳細重ね合わせを行う。そこで、画像相関演算を短縮すると同時に、各解像度の画像におけるマッチング結果の統合判断が可能となる為、誤対応が低減できる。ピラミッド構造型の多層階層では、図４に示すように、予め画像解像度の異なる画像を低解像度層（第一基準画像）、第２層（第二基準画像）、…、高解像度層（第Ｌ基準画像）、低解像度層（第一探索画像）、第２層（第二探索画像）、…、高解像度層（第Ｌ探索画像）というふうに作成する。高解像度層は、例えば基準画像５３や探索画像５４の画素密度と等倍とし、以下一層毎に画素解像度を１／２（縮小解像度を２倍）にするとよい。

即ち、上述の基準画像や探索画像のピラミッド構造は、画像処理部５５や解像度別グリッド画像形成部５２により式（７）を適用することで、第１層から第Ｌ層(最下層を第Ｌ’層とする)まで構築される。ここでは、第Ｌ層が次式で表される。

ここでx,y ＝ 0,1,・・・,2^K-(L'-L)-1である。Ｌ＝３とすると、総階層数は３階層となる。もし、２階層に対して第３階層を付加するという立場で説明する場合、第３解像度としての第２解像度よりも高い高解像度を設けてもよく、また第４解像度としての第１解像度と第２解像度の中間解像度でもよい。

続いて、このように構成された装置の動作について説明する。図５は一対のステレオ画像に対する三次元画像計測処理全体を説明するフローチャートである。まず、左右のステレオカメラ４２ａ、４２ｂを用いて、対象物４１の左右のカメラ画像を取得する（Ｓ１０）。左右のカメラ画像は、ステレオ撮影画像データ４３として、標定処理部４４により画像を補正するし、好ましくは同時に縦視差を除去する（Ｓ１２）。作成されたステレオ画像は、一対のステレオ画像４６としてステレオ画像記録部４５に記憶される。次に、一対のステレオ画像４６に対して、ステレオ・マッチング処理が行なわれる（Ｓ１４）。そして、ステレオ・マッチング処理が行なわれた一対のステレオ画像４６を用いて、ステレオ画像４６に撮影された対象物４１の三次元座標計測が行なわれる（Ｓ１６）。また、必要に応じて態様で、対象物４１の三次元画像を再構築する（Ｓ１８）。

続いて、図６を用いて図１の画像測定装置の動作を説明する。図６は本発明の一実施の形態を説明するフローチャートで、粗密探索法、非整形三角形網並びに最小二乗法を組合せた動作について説明する。まず、画像測定装置５０によってステレオ画像記録部４５から一対のステレオ画像４６を取込み、解像度別グリッド画像形成部５２によって、一対のステレオ画像４６の左右画像に対して、基準画像５３と探索画像５４を設定する（Ｓ１００）。次に、例えばオペレータによって、左右画像のマッチング対象領域を、輪郭となる境界点を入力して指定する（Ｓ１０２）。図７は、一対のステレオ画像４６に設定された輪郭線の説明図で、（Ａ）は左画像（探索画像５４）、（Ｂ）は右画像（基準画像５３）を示している。オペレータによって、一対のステレオ画像４６の一方画像に輪郭となる境界点を入力して指定すると、画像探索エリア設定部５６に設けられた入力援助機能によって、他方画像の対応位置に輪郭となる境界点が自動設定される。

次に、オペレータや画像測定装置５０の初期値設定機能により、非整形三角形網の初期値が設定される（Ｓ１０４）。すると、非整形三角形網形成部６０によって、非整形三角形を平面的に繰返して、ステレオ画像４６の基準画像５３と他方画像５４を覆う非整形三角形網が形成される。そして、解像度別グリッド画像形成部５２によって、粗密探索法(Coarse to Fine Method)における低解像度層のグリッドが生成される（Ｓ１０６）。図８は、解像度別グリッド画像形成部５２によって生成されるグリッドの説明図で、（Ａ）は低解像度層、（Ｂ）は中解像度層、（Ｃ）は高解像度層を示している。前述したように、低解像度層で求めた位置情報が有効により高い解像度層で使用できるように、低解像度層の単一グリッドが、より高い解像度層の複数のグリッドに分割される。

次に、基準画像５３と探索画像５４の対応位置の初期値を、非整形三角形網内挿によって求める（Ｓ１０８）。ここで、非整形三角形網内挿とは、ランダム状に配置された地形点から三角形群を発生させてデジタルエレベーションモデル（ＤＥＭ）を形成し、任意の点の位置を既知点の値から内挿により求めることをいう。図９は、探索画像５４の非整形三角形網内挿後における各点の探索幅補正の説明図で、（Ａ）は当初の探索画像５４のグリッド、（Ｂ）は非整形三角形網内挿によって求められた探索画像５４の対応位置の初期値に応じて変形されたグリッドの説明図である。当初の探索画像５４のグリッドは、非整形三角形網内挿によって求められた探索画像５４の対応位置の初期値に応じて変形され、探索画像上に形成されたグリッドは、図９（Ｂ）に示すように変形される。

次に、対応エリア決定部６４によって、探索画像の探索画像歪修正量の初期値が非整形三角形網より最小二乗法で定められる（Ｓ１１０）。図１０は、探索画像５４の探索画像歪修正の説明図で、（Ａ）は探索画像歪の修正前、（Ｂ）は探索画像歪の修正後の説明図である。探索画像の探索画像歪修正量の初期値は、最小二乗マッチングによる対応点検出処理におけるアフィン変形式の係数ａ１〜ａ６により得られる。なお、今回の解像度層での探索画像５４に対して求められた、最小二乗マッチングによる対応点検出処理の変換係数は、より高解像度層でのマッチングの初期値として用いることができ、最終的に等倍画像において最適な対応点の位置を決定するのに役立つ。

そして、探索画像歪修正部６２は、探索画像５４をＳ１１０で求めた探索画像歪修正量で補正する（Ｓ１１２）。そして、探索画像歪修正部６２は、探索画像５４の探索画像歪修正後における各点の探索幅を、各非整形三角形の傾斜により決定する（Ｓ１１４）。図１１は、探索画像５４の傾斜歪修正後における各点の探索幅補正の説明図で、（Ａ）は探索画像５４のグリッド、（Ｂ）は非整形三角形の傾斜により変形された探索画像５４のグリッドの説明図である。探索画像５４のグリッドは、各画素を含む非整形三角形の傾斜に応じて、探索幅が補正される。即ち、探索画像歪修正部６２によって、ステレオ画像４６の基準画像５３と探索画像５４との間の位置関係を、非整形三角形網から求めた変形量によって、画像の全体的配慮からみた探索画像５４の修正がなされ、各画素を含む非整形三角形の傾斜によって個別画素での局所的な探索画像５４の修正がなされる。

そして、画像探索エリア設定部５６によって、一対のステレオ画像４６の基準画像５３に基準エリア５７が設定され、ステレオ画像４６の探索画像５４の基準エリア５７に対応した位置に探索エリア５８が設定される（Ｓ１１６）。次に、探索画像歪修正部６２によって、探索画像の各点の探索範囲について、探索画像歪修正量で補正した探索画像を用いて、探索エリア５８の探索が行なわれる（Ｓ１１８）。このようにして、基準エリア５７と基準エリア５７に対応する探索エリア５８との位置関係を、基準画像５３と画像歪修正量で修正された探索画像５４とを用いて求めることができる。そして、画像測定装置５０は、粗密探索法の一段高い解像度層は存在するか判断し（Ｓ１２０）、存在すれば解像度別グリッド画像形成部５２によって、より高解像度層のグリッドを発生させ（Ｓ１２４）、Ｓ１０８に戻る。そして、探索画像５４における画像歪がきれいに補正されるまで、上記の処理（Ｓ１０８〜Ｓ１２４）が繰り返される。「きれいに補正」とは、例えば解像度の範囲を適宜に設定して行う。

そして、粗密探索法の一段高い解像度層まで非整形三角形網が形成されている場合には、Ｓ１２０からＳ１２６に分枝する。そして、エリア形状測定部６６では、一番高い解像度層まで非整形三角網が形成され、画像歪の補正がなされている探索画像５４と、基準画像５３とを用いて、各点の三次元画像計測が行われる（Ｓ１２６）ので、より精度の高い測定結果が期待できる。そして、処理の終了かどうかが判断され（Ｓ１２８）、Ｎｏであれば、Ｓ１００に戻り、Ｙｅｓであれば終了する。

図１２は、ステレオマッチングの粗密探索過程と非整形三角形網の一例を示す図で、土器を例に示している。粗密探索法(Coarse To Fine法)における画像解像度に関する階層構造は、ここでは４階層の場合を示している。低解像度層では画素数が圧縮されている関係で小さく図示され、高解像度層では画素数が多い為大きく図示されている。対象物としての土器に対して、非整形三角形網は、最初は低解像度層に対応した粗い非整形三角形網モデルであり、高解像度層に移行するに従って、次第に詳細な非整形三角形網モデルへと計測されていく。

図１３は、通常の正規化相関で得られた１画素精度のマッチング結果の一例を示す図である。図１４は最小二乗マッチングで得られたサブピクセル精度のマッチング結果の一例を示す図である。マネキンの顔面表面のように、数ｍｍ程度の僅かな凸凹が存在している場合には、一画素の分解能が数ｍｍ程度に相当する場合に、一画素以下のビット落ちの影響が大きく現れ、再構築された表面形状に段差が表れる。これに対して、最小二乗マッチングで得られたサブピクセル精度の場合には、一画素分解能の１／１０〜１／１００程度の精度まで再現可能である為、再構築された表面形状は滑らかである。

なお、第１の実施の形態においては、探索画像歪修正部６２は、基準エリア５７と基準エリア５７に対応する探索エリア５８との位置関係に応じて、他方画像５４に画像修正を加える場合を示しているが、変形実施例として、他方画像５４に代えて基準画像５３に画像修正を加えてもよい。

図１５は本発明の三次元画像計測装置の第２の実施の形態を説明する全体構成ブロック図である。実施例１においては、探索画像歪修正部６２によって探索画像５４を探索画像歪修正量で補正し、基準画像５３に関しては画像歪みをそのまま存置する場合を示した。しかし、基準画像５３の画像歪みが大きい場合には、基準画像５３の画像歪みも探索画像５４の画像歪みを考慮して補正するのが良い場合もある。そこで、実施例２では基準画像５３の画像歪みも補正する場合を示している。

図において、図１と同一作用をするものには同一符号を付して、説明を省略する。画像測定装置５０は、基準エリア変形部７２、対応エリア決定部７４、エリア形状測定部８０、画像再構築部８２、左右画像対応関係データベース８４を備えている。基準エリア変形部７２は、基準エリア５７の大きさ又は形状の少なくとも一方を変形させるもので、例えばオペレータが基準エリア５７と対応関係にある探索エリア５８の像を見て適宜に判断したり、標定結果を利用したりする。また、基準エリア変形部７２は、エリア形状測定部８０で得られた測定結果に基づき、基準画像５３の画像歪みが小さくなるように、基準エリア５７の設定位置または形状の少なくとも一方を修正するとよい。

対応エリア決定部７４は、エリア設定部５６で設定された基準エリア５７又は基準エリア変形部７２で変形された基準エリア５７と対応関係にある探索エリア５８を、相関処理によって定めるもので、相関処理に関しては既述してある。探索画像歪修正部６２は、基準エリア５７と基準エリア５７に対応する探索エリア５８との位置関係に応じて、探索画像５４に所定の画像修正を加える。エリア形状測定部８０は、基準画像５３の基準エリア５７と探索画像歪修正部６２で修正された探索画像５４上の探索エリア５８とに基づき、ステレオ画像４６で撮影された被測定物４１の形状を測定する。

続いて、図１６を用いて図１５の画像測定装置の動作を説明する。図１６は本発明の第２の実施の形態を説明するフローチャートで、粗密探索法、非整形三角形網並びに最小二乗法を組合せた動作について説明する。まず、画像測定装置５０によってステレオ画像記録部４５から一対のステレオ画像４６を取込み、解像度別グリッド画像形成部５２によって、一対のステレオ画像４６の左右画像に対して、基準画像５３と探索画像５４を設定する（Ｓ２００）。次に、例えばオペレータによって、左右画像のマッチング対象領域を、輪郭となる境界点を入力して指定する（Ｓ２０２）。

次に、オペレータや画像測定装置５０の初期値設定機能により、非整形三角形網の初期値が設定される（Ｓ２０４）。すると、非整形三角形網形成部６０によって、非整形三角形を平面的に繰返して、ステレオ画像４６の基準画像５３と他方画像５４を覆う非整形三角形網が形成される。そして、解像度別グリッド画像形成部５２によって、粗密探索法(Coarse to Fine Method)における低解像度層のグリッドが生成される（Ｓ２０６）。

そして、画像探索エリア設定部５６によって、一対のステレオ画像４６の基準画像５３に基準エリア５７が設定され、ステレオ画像４６の探索画像５４の基準エリア５７に対応した位置に探索エリア５８が設定される（Ｓ２０８）。基準エリア変形部７２は、非整形三角形網を構成する任意の格子点位置を変更して、少なくとも一個の基準エリア５７における大きさ又は形状の少なくとも一方を変形させる（Ｓ２１０）。次に、基準画像５３と探索画像５４の対応位置の初期値を、非整形三角形網内挿によって求める（Ｓ２１２）。次に、対応エリア決定部７４によって、探索画像５４の探索画像歪修正量の初期値が非整形三角形網より最小二乗法で定められる（Ｓ２１４）。

そして、探索画像歪修正部６２は、探索画像５４をＳ２１２で求めた探索画像歪修正量で補正する（Ｓ２１６）。そして、探索画像歪修正部６２は、探索画像５４の探索画像歪修正後における各点の探索幅を、各非整形三角形の傾斜により決定する（Ｓ２１８）。

次に、探索画像歪修正部６２によって、探索画像の各点の探索範囲について、探索画像歪修正量で補正した探索画像を用いて、探索が行なわれる（Ｓ２２０）。例えば画像探索エリア設定部５６によって、一対のステレオ画像４６の基準画像５３に基準エリア５７が設定され、ステレオ画像４６の探索画像５４の基準エリア５７に対応した位置に探索エリア５８が設定される。

そして、画像測定装置５０は、粗密探索法の一段高い解像度層は存在するか判断し（Ｓ２２２）、存在すれば解像度別グリッド画像形成部５２によって、より高解像度層のグリッドを発生させ（Ｓ２２４）、Ｓ２１２に戻る。なお、必要な場合には、Ｓ２１２に代えて、Ｓ２０８に戻って、非整形三角形網形成部６０で得られた測定結果に基づき、基準エリア５７の設定位置または形状の少なくとも一方を修正するようにしてもよい。

そして、粗密探索法の一段高い解像度層まで非整形三角形網が形成されている場合には、Ｓ２２２からＳ２２６に分枝する。そして、エリア形状測定部８０では、一番高い解像度層まで非整形三角網が形成され、画像歪の補正がなされている探索画像５４と、基準画像５３とを用いて、各点の三次元画像計測が行われる（Ｓ２２６）ので、より精度の高い測定結果が期待できる。そして、処理の終了かどうかが判断され（Ｓ２２８）、Ｎｏであれば、Ｓ２００に戻り、Ｙｅｓであれば終了する。

また実施の形態のように、三次元画像計測装置としてＰＣ（パソコン）のような情報処理プロセッサを搭載したコンピュータ、ＬＣＤ(Liquid Crystal Display)モニタのような表示装置、並びにＰＣにインストールする三次元画像計測装置用のソフトウェア、並びに測定対象物のステレオ画像を撮影するデジタルカメラのような被校正撮影装置が存在すれば、ステレオ画像から取得した３Ｄ計測データを測定対象物の立体感テクスチャ付き画像と一体化して視覚化できる。そこで、従来ステレオ計測した３Ｄデータで必要とされていた、高価で精密な立体視用の装置を用いなくても、汎用で低価格のコンピュータとモニタ装置を用いて安価にシステム構築ができる。

写真測量の計測分解能は、カメラ間の距離：Ｂと撮影距離：Ｈとの比である基線比：Ｂ/Ｈ（Base and Height Ratio）で決定されるが、地上写真測量の場合、複雑な凹凸形状を持った対象物を計測するには、基線比を大きくして撮影すると、オクルージョンや比高差に伴う投影歪の影響によりステレオマッチングが破綻する場合がある。このような場合でも、本実施の形態における最小二乗マッチングを適用すると、複雑な対象物であっても、基線比を小さくして撮影された画像を用いて、ステレオマッチングを行うことで、サブピクセル単位で画像計測が行える。さらに、ＴＩＮによる内挿と粗密探索を組み合わせたアルゴリズムにより、斜め画像や対象物の投影歪みなどによる画像の変形（倍率、回転）に対しても信頼性の高い結果が得られている。

なお、最小二乗マッチングの良否は、左右画像の濃度レベルやウィンドウ内のテクスチャに依存する。そこで、本発明の最小二乗マッチングの前処理として、左右画像の濃度値でテクスチャの解析を行うとよい。また、ウィンドウ変形の際には、バイリニア法などを用いて画像のサンプリングを正確に行うとよい。

また、デジタル写真測量においては、標定によって各ステレオモデルから計測されるＴＩＮデータの３次元位置と撮影された画像との関係が確立しているため、ＴＩＮモデルの合成及びテクスチャの位置合わせ作業を必要としない。また、テクスチャは撮影時のカメラのレンズディストーションや射影歪の補正も同時に行われるため、計測に用いた画像であれば、その計測精度に一致した解像度のテクスチャマッピングが行える。ＴＩＮモデルとテクスチャとの対応関係は、各解像度層で管理する。

テクスチャ付き３Ｄモデルは、パソコン画面上で、自由に回転、拡大してリアルに表面形状を確認できる。これにより、立体視用画面（３Ｄモニタ）を用いなくても計測データのチェックや編集が行える。また、建築、構造物などの複雑な全周モデルを計測する場合には、周囲から撮影されたたくさんの画像を用いて、ステレオモデル毎にＴＩＮモデルを計測していくが、ＴＩＮモデルは、同一座標系の正しい配置に自動合成されるので、計測データを確認しながら作業を進める事ができる。

Windows(登録商標)環境で高速な３Ｄグラフィックを実現するためのAPI(Application Programming Interface)としては、Silicon Graphics社が中心となって開発したOpenGLと、Microsoft社が開発したDirect3Dとが広く普及しており、現在、多くのＣＧソフト、ＣＡＤソフト、ゲームソフト等で利用されている。両者とも、３Ｄアクセラレーション機能を持つビデオカードがパソコンに搭載していれば、非常に高速な描画が可能になる。

本発明の第１の実施の形態を説明する全体構成ブロック図である。 基準画像５３に設定される基準エリア５７と、探索画像５４に設定される探索エリア５８の説明図である。 最小二乗マッチングによる対応点検出処理の説明図である。 粗密探索法の階層構造を説明する構成図である。 一対のステレオ画像に対する三次元画像計測処理全体を説明するフローチャートである。 本発明の一実施の形態を説明するフローチャートである。 一対のステレオ画像に設定された輪郭線の説明図である。 解像度別グリッド画像形成部によって生成されるグリッドの説明図である。 探索画像の非整形三角形網内挿後における各点の探索幅補正の説明図である。 探索画像の探索画像歪修正の説明図である。 探索画像５４の傾斜歪修正後における各点の探索幅補正の説明図である。 ステレオマッチングの粗密探索過程と非整形三角形網の一例を示す図で、土器を例に示している。 通常の正規化相関で得られた１画素精度のマッチング結果の一例を示す図である。 最小二乗マッチングで得られたサブピクセル精度のマッチング結果の一例を示す図である。 本発明の三次元画像計測装置の第２の実施の形態を説明する全体構成ブロック図である。 本発明の第２の実施の形態を説明するフローチャートである。

符号の説明

４１ 測定対象物
４６ ステレオ画像
５０ 画像測定装置
５１ 概略位置測定部
５２ 解像度別グリッド画像形成部
５３ 基準画像（一方画像）
５４ 探索画像（他方画像）
５５ 画像処理部
５６ 画像探索エリア設定部
５７ 基準エリア
５８ 探索エリア
５９ 対応基準エリア
６０ 非整形三角形網（単位幾何学形状網形成部）
６１ 非整形三角形網データ
６２ 探索画像歪修正部
６４、７４ 対応エリア決定部
６６、８０ エリア形状測定部
６７、８２ 画像再構築部
６８、８４ 左右画像対応関係データベース
７２ 基準エリア変形部

Claims (12)

1. 一対のステレオ画像の一方画像に基準エリアを設定し、前記ステレオ画像の他方画像の前記基準エリアに対応した位置に探索エリアを設定するエリア設定部と；
   前記基準エリアと、前記基準エリアに対応する前記探索エリアとの位置関係に応じて、前記いずれか一つの画像に画像修正を加える探索画像歪修正部と；
   前記画像修正された、一方画像の基準エリアと、他方画像上の探索エリアとに基づき、前記ステレオ画像で撮影された被測定物の形状を測定するエリア形状測定部と；
   を備える三次元画像計測装置。
2. さらに、単位幾何学形状を平面的に繰返して、前記ステレオ画像の一方画像と他方画像を覆う単位幾何学形状網を形成する単位幾何学形状網形成部を備え；
   前記エリア設定部で設定する基準エリア及び探索エリアは、前記単位幾何学形状であり；
   前記探索画像歪修正部は、基準エリアに対する探索エリアの歪を修正する；
   請求項１記載の三次元画像計測装置。
3. さらに、前記エリア設定部で設定された基準エリアと対応関係にある対応基準エリアを、相関処理によって定める対応エリア決定部を備え；
   前記エリア設定部は、前記対応エリア決定部で求められた対応基準エリアを、前記基準エリアに対応する他方画像上の探索エリアとして設定する請求項１又は請求項２に記載の三次元画像計測装置。
4. 前記探索画像歪修正部は、探索エリアの近傍に位置する隣接探索エリアについて、隣接基準エリアに対応する前記隣接探索エリアの情報に基づき、前記探索エリアに加える画像歪修正量を決定するように構成されている請求項１乃至請求項３の何れか１項に記載の三次元画像計測装置。
5. 前記単位幾何学形状網形成部は、粗密の幾何学形状を形成するもので、粗い幾何学形状から密な幾何学形状を順に形成していき、画像歪修正を行うように構成されていることを特徴とする請求項１乃至請求項４の何れか１項に記載の三次元画像計測装置。
6. 前記探索画像歪修正部は、前記一対のステレオ画像の一方画像と他方画像との画像歪みが均等になるように、前記他方画像に設けられる各探索エリアに加える画像歪修正量を決定する請求項１乃至請求項５の何れか１項に記載の三次元画像計測装置。
7. 単位幾何学形状を平面的に繰返して、前記ステレオ画像の一方画像と他方画像を覆う単位幾何学形状網を形成するステップと；
   前記単位幾何学形状網の前記ステレオ画像の一方画像と他方画像との間の位置関係から求めた画像歪修正量を用いて、前記他方画像を修正するステップと；
   一対のステレオ画像の一方画像に基準エリアを設定し、前記ステレオ画像の他方画像の前記基準エリアに対応した位置に探索エリアを設定するステップと；
   前記基準エリアと前記基準エリアに対応する前記探索エリアとの位置関係を、前記一方画像と前記画像歪修正量で修正された他方画像とを用いて求めるステップと；
   前記幾何学形状網の形成された一方画像の基準エリアと、修正された他方画像上の探索エリアとに基づき、前記ステレオ画像で撮影された被測定物の形状を測定するステップと；
   をコンピュータに実行させる三次元画像計測方法。
8. 一対のステレオ画像の一方画像に基準エリアを設定し、前記ステレオ画像の他方画像の前記基準エリアに対応した位置に探索エリアを設定するエリア設定部と；
   前記基準エリアの大きさ又は形状の少なくとも一方を変形させる基準エリア変形部と；
   前記エリア設定部で設定された基準エリア、又は前記基準エリア変形部で変形された基準エリアと対応関係にある探索エリアを、相関処理によって定める対応エリア決定部と；
   前記基準エリアと、前記基準エリアに対応する前記探索エリアの位置関係に応じて、前記他方画像に所定の画像修正を加える探索画像歪修正部と；
   前記一方画像の基準エリアと、修正された他方画像上の探索エリアに基づき前記ステレオ画像で撮影された被測定物の形状を測定するエリア形状測定部と；
   を有する三次元画像計測装置。
9. さらに、単位幾何学形状を平面的に繰返して、前記ステレオ画像の一方画像と他方画像を覆う単位幾何学形状網を形成する単位幾何学形状網形成部を備え；
   前記エリア設定部で設定する基準エリア及び探索エリアは、前記単位幾何学形状であり；
   前記探索画像歪修正部は、基準エリアに対する探索エリアの歪を修正する；
   請求項８記載の三次元画像計測装置。
10. 前記基準エリア変形部は、前記エリア形状測定部で得られた測定結果に基づき、基準エリアの設定位置または形状の少なくとも一方を修正するように構成されている請求項８又は請求項９に記載の三次元画像計測装置。
11. 前記単位幾何学形状網形成部は、粗密の幾何学形状を形成するもので、粗い幾何学形状から密な幾何学形状を順に形成していき、画像歪修正を行うように構成されていることを特徴とする請求項８乃至請求項１０の何れか１項に記載の三次元画像計測装置。
12. 単位幾何学形状を平面的に繰返して、前記ステレオ画像の一方画像と他方画像を覆う単位幾何学形状網を形成するステップと；
    一対のステレオ画像の一方画像に基準エリアを設定し、前記ステレオ画像の他方画像の前記基準エリアに対応した位置に探索エリアを設定するステップと；
    前記単位幾何学形状網を構成する任意の格子点位置を変更して、少なくとも一個の前記基準エリアにおける大きさ又は形状の少なくとも一方を変形させるステップと；
    設定された前記基準エリア、若しくは前記大きさ又は形状が変形された前記基準エリアを有する前記一方画像と、前記他方画像との間の位置関係から求めた画像歪修正量を用いて、前記他方画像を修正するステップと；
    前記基準エリアと前記基準エリアに対応する前記探索エリアとの位置関係を、前記一方画像と前記画像歪修正量で修正された他方画像とを用いて求めるステップと；
    前記幾何学形状網の形成された一方画像の基準エリアと、修正された他方画像上の探索エリアとに基づき、前記ステレオ画像で撮影された被測定物の形状を測定するステップと；
    をコンピュータに実行させる三次元画像計測方法。
    

Images