JP2011013066A - 画像処理装置 - Google Patents

Abstract

【課題】多重解像度画像を用いた対応点探索における処理コストを抑制しつつ、対応点探索の精度や信頼度を向上できる技術を提供する。
【解決手段】原基準画像と原参照画像とを取得する画像取得手段と、前記原基準画像と前記原参照画像のそれぞれの多重解像度画像を生成する多重解像度画像作成手段と、注目基準画像上の注目点に対応する対応点の探索処理を行うための探索基準点を、注目参照画像に設定する探索基準点設定手段と、前記対応点を探索する対応点探索手段と、前記探索処理が下位の階層から上位の階層に向けて実行されるように前記探索基準点設定手段と前記対応点探索手段とを制御する制御手段と、を備える画像処理装置であって、前記対応点探索手段は、前記対応点をサブピクセル分解能で探索するとともに、前記探索基準点設定手段は、探索された前記対応点に基づいて、注目参照画像の１つ上位階層の参照画像上に探索基準点を設定する。
【選択図】図２

Description

本発明は、基準画像に設定された注目点の対応点を参照画像から探索する画像処理装置に関する。

近年、異なる視点から撮影された測定対象物に関する複数の画像や、同一視点から時系列に撮影された移動する測定対象物などに関する複数の時系列画像のうち、１の画像を基準画像、他の画像を参照画像として基準画像上の注目点に対応する参照画像上の対応点を探索し、得られた対応点と注目点とに基づいて、測定対象物の３次元形状を求めたり、測定対象物の移動を追跡する装置が知られている。ここで、参照画像における対応点の存在範囲を予め特定することはできないので、参照画像の全域を対応点の探索範囲に設定した対応点の探索処理が行われるのが一般的であるが、近年、参照画像の全域を探索範囲に設定することなく高精度に対応点を探索する手法として、多重解像度画像を用いる多重解像度戦略によって対応点を探索する手法が注目されている。

特許文献１では、多重解像度画像を用いた対応点探索において、注目する解像度の参照画像における対応点の探索結果を、解像度が１段階高い参照画像における次の対応点探索に用いること、および求められた対応点の信頼度が低い場合には、周囲の対応点の情報を用いて信頼度の低い対応点を補正することによって、高精度な対応点探索を可能とする技術が開示されている。

特開２００１−１４８０１２号公報

しかし、特許文献１の画像処理装置においては、信頼度の低い対応点を補正する前の対応点探索が、多重解像度画像の参照画像の画素サイズと等しい分解能で行われるため、対応点の探索、および信頼度の低い対応点の補正において、精度上の限界があるという問題がある。

本発明は、こうした問題を解決するためになされたもので、多重解像度画像を用いた対応点探索における処理コストを抑制しつつ、対応点探索の精度や信頼度を向上できる技術を提供することを目的とする。

上記の課題を解決するために、請求項１の発明は、画像処理装置であって、２枚以上の入力画像のうちの１の入力画像を原基準画像、他の入力画像を原参照画像として取得する画像取得手段と、上位階層から下位階層に向かうにつれて解像度が低くなるように、前記原基準画像と前記原参照画像とを低解像度化することによって、解像度の異なる複数の基準画像と複数の参照画像とをそれぞれ階層的に生成する多重解像度画像作成手段と、前記複数の基準画像と前記複数の参照画像とのうち、同じ注目階層に属する画像を注目基準画像と注目参照画像として、前記注目基準画像の注目点に対応する前記注目参照画像の対応点を探索する探索処理の基準となる探索基準点を、前記注目参照画像に設定する探索基準点設定手段と、前記探索基準点を基準とする前記探索処理を行うことによって、前記対応点を探索する対応点探索手段と、前記複数の基準画像と前記複数の参照画像とのそれぞれの階層構造において、前記注目階層を下位の階層から上位の階層に向けて逐次設定することによって、前記探索処理が下位の階層から上位の階層に向けて逐次実行されるように前記探索基準点設定手段と前記対応点探索手段とを制御する制御手段と、を備え、前記対応点探索手段は、前記注目参照画像における前記対応点を、前記注目参照画像の画素サイズよりも小さいサイズを持ったサブピクセルを画像表現単位とするサブピクセル分解能で探索するとともに、前記探索基準点設定手段は、前記サブピクセル分解能で探索された前記対応点に基づいて、前記注目階層の１つ上位の階層の参照画像における探索基準点を設定する。

また、請求項２の発明は、請求項１に記載された画像処理装置であって、前記多重解像度画像作成手段は、前記注目階層の１つ上位の階層の基準画像および参照画像に対する前記注目基準画像および前記注目参照画像の解像度が、１よりも大きな実数ｒを用いて、１／ｒと表されるように前記低解像度化を行うとともに、前記対応点探索手段は、前記注目参照画像の画素サイズの１／ｒ²より粗く、かつ、前記注目参照画像の画素サイズより細かい探索分解能で、前記注目参照画像における前記対応点を探索する。

また、請求項３の発明は、請求項２に記載された画像処理装置であって、前記対応点探索手段は、前記実数ｒを用いて、前記注目参照画像の画素サイズの１／ｒで表わされる探索分解能で、前記注目参照画像における前記対応点を探索する。

また、請求項４の発明は、請求項２に記載された画像処理装置であって、前記対応点探索手段は、前記実数ｒを用いて、前記注目参照画像の画素サイズの１／ｒで表わされる探索分解能よりも細かい探索分解能で、前記注目参照画像における前記対応点を探索する。

また、請求項５の発明は、請求項２に記載された画像処理装置であって、前記対応点探索手段は、前記実数ｒを用いて、前記注目参照画像の画素サイズの１／ｒで表わされる探索分解能よりも粗い探索分解能で、前記注目参照画像における前記対応点を探索する。

また、請求項６の発明は、請求項１に記載された画像処理装置であって、前記対応点探索手段は、前記注目参照画像の画素サイズであるピクセル分解能で、前記注目基準画像の注目点に対応する前記注目参照画像における画素サイズのピクセル対応点を探索するピクセル対応点探索処理を行うピクセル探索手段と、前記ピクセル対応点に基づいて、前記サブピクセル分解能で、前記注目参照画像の対応点を探索するサブピクセル対応点探索処理を行うサブピクセル探索手段とを有するとともに、前記画像処理装置は、前記ピクセル対応点の探索結果に基づいて、前記ピクセル対応点の探索精度を示す信頼度を算出する信頼度算出手段と、前記信頼度が所定の値よりも低いか否かを判定する信頼度判定手段と、を更に備え、前記信頼度判定手段によって、前記信頼度が所定の値よりも低いと判定された場合には、前記対応点探索手段の前記サブピクセル探索手段は、前記サブピクセル対応点探索処理を不能化する。

また、請求項７の発明は、請求項１に記載された画像処理装置であって、前記対応点探索手段は、前記注目参照画像の画素サイズであるピクセル分解能で、前記注目基準画像の注目点に対応する前記注目参照画像における画素サイズのピクセル対応点を探索するピクセル対応点探索処理を行うピクセル探索手段と、前記ピクセル対応点に基づいて、前記サブピクセル分解能で、前記注目参照画像の対応点を探索するサブピクセル対応点探索処理を行うサブピクセル探索手段とを有するとともに、前記画像処理装置は、前記ピクセル対応点探索処理の探索結果に基づく、前記ピクセル対応点の探索精度を示す第１の信頼度、および前記サブピクセル対応点探索処理の探索結果に基づく、前記注目参照画像の前記サブピクセル分解能で探索された対応点の探索精度を示す第２の信頼度の少なくとも一方を算出する信頼度算出手段と、前記第１の信頼度が第１の所定の値より低いか否か、および前記第２の信頼度が第２の所定の値より低いか否かの少なくとも一方を判定する信頼度判定手段と、を更に備え、前記多重解像度画像作成手段は、前記注目階層の１つ上位の階層の基準画像および参照画像より解像度が低く、かつ、前記注目基準画像および前記注目参照画像よりも解像度が高くなるように前記原基準画像および前記原参照画像がそれぞれ低解像度化された画像である補助基準画像および補助参照画像を生成し、前記信頼度判定手段によって、前記第１の信頼度が前記第１の所定の値より低い、または前記第２の信頼度が前記第２の所定の値より低いと判定された場合には、（ａ）前記探索基準点設定手段は、前記注目参照画像の前記ピクセル対応点または前記注目階層の前記サブピクセル分解能で探索された対応点に基づいて、前記補助基準画像の注目点に対応する前記補助参照画像の対応点を探索する処理の基準となる探索基準点を、前記補助参照画像に設定し、（ｂ）前記制御手段は、前記補助基準画像および前記補助参照画像を、前記複数の基準画像と前記複数の参照画像とのそれぞれの階層構造において、前記注目階層と前記注目階層の１つ上位階層との間の中間階層として設定するとともに、前記注目階層を前記中間階層から上位の階層に向けて逐次設定することによって、前記探索処理が前記中間階層から上位の階層に向けて逐次実行されるように前記探索基準点設定手段と前記対応点探索手段とを制御する。

請求項１から請求項７の発明によれば、サブピクセル分解能で探索された注目階層の参照画像の対応点に基づいて、１つ上位の階層の参照画像の探索基準点が設定されるので、対応点がサブピクセル分解能で探索されない場合に比べて、より狭い範囲に信頼度の高い探索基準点を設定することが可能となり、その結果、多重解像度画像の階層数を減らことや、探索基準点に基づいて設定される対応点の探索範囲を狭くすることができるので、対応点探索に係る処理コストを抑制しつつ、高精度に対応点探索を行うことが可能となる。

請求項２の発明によれば、対応点を求めるサブピクセル分解能を、注目階層の参照画像の画素サイズより細かく、かつ、注目階層の２つ上位の階層の参照画像の画素サイズより粗く設定することができるので、多重解像度画像の各階層の画像を無駄なく使用して、各階層毎に逐次対応点を求めていく多重解像度戦略による対応点探索処理を効率的に行うことができる。

請求項３の発明によれば、注目階層の１つ上位の階層の参照画像の画素サイズ、すなわち、注目階層の１つ上位の階層の参照画像における探索基準点の画素サイズと同じサイズの探索分解能で注目階層の参照画像における対応点を探索できるので、多重解像度画像の階層構成に対して、好適な処理コストで効率的に多重解像度戦略に基づく対応点探索を行うことができる。

請求項４の発明によれば、注目階層の１つ上位の階層の参照画像の画素サイズよりも細かい探索分解能で注目階層の参照画像における対応点を探索できるので、注目階層の参照画像で探索された対応点を用いて、注目階層の１つ上位の階層の参照画像で探索される対応点の信頼度を検証することが可能となり、対応点探索の信頼度を高めることができる。

請求項５の発明によれば、注目階層の１つ上位の階層の参照画像の画素サイズ、すなわち、注目階層の１つ上位の階層の参照画像における探索基準点の画素サイズよりも粗い探索分解能で探索された注目階層の参照画像における対応点を用いることによって、サブピクセル分解能で対応点を探索しない場合に比べて高い精度で、注目階層の１つ上位の階層の参照画像における探索基準点の位置を推定することができるので、対応点探索に係る処理コストを抑制しつつ、高精度な対応点探索を行うことができる。

請求項６の発明によれば、ピクセル分解能で探索されたピクセル対応点の信頼度が低い場合には、サブピクセル分解能で対応点を探索するサブピクセル対応点探索処理が行なわれず、ピクセル対応点の信頼度の低さに起因するサブピクセル対応点探索処理の失敗を防止することができるので、対応点探索に係る処理コストを抑制することができる。

請求項７の発明によれば、注目階層の１つ上位階層よりも中間階層の探索範囲の画角を広げることによって、中間階層において、探索範囲内に正しい対応点が存在する確率を、注目階層の１つ上位階層よりも高めることができるとともに、注目階層よりも画素の情報量が多く、かつ、遠近競合が発生しにくい状態で対応点の探索を行うことができるので、中間階層における対応点の探索が成功する確率を高めることができ、従って、多重解像度戦略に基づく対応点の探索が成功する確率を高めることができる。

実施形態に係る画像処理装置を用いた３次元形状測定装置の概略構成を示す図である。 実施形態に係る画像処理装置の要部の構成を示す機能ブロック図である。 多重解像度基準画像を例示する図である。 多重解像度参照画像を例示する図である。 解像度変倍率が対応点探索処理に与える影響例を説明する図である。 参照画像の多重解像度画像を例示する図である。 多重解像度基準画像における注目点の設定例を示す図である。 多重解像度参照画像における探索基準点の設定例を示す図である。 ピクセル対応点探索処理の概要を説明する図である。 参照画像の探索基準点に対する参照ウィンドウの設定例を示す図である。 ＳＡＤ法を用いたピクセル対応点探索処理の説明図である。 ＳＡＤ法における参照ウィンドウの走査態様を例示する図である。 ＰＯＣ法を用いたピクセル対応点探索処理の手順を示す図である。 ＰＯＣ値の例を示す図である。 信頼度が低いピクセル対応点に基づくサブピクセル対応点探索の例を示す図である。 サブピクセル対応点探索処理の例を示す説明図である。 サブピクセル対応点探索処理の例を示す説明図である。 注目階層のサブピクセル対応点と１つ上位階層の探索基準点との対応関係を説明する図である。 注目階層のサブピクセル対応点に対する１つ上位階層の探索基準点の設定例を示す図である。 注目階層のサブピクセル対応点に対する１つ上位階層の探索基準点の設定例を示す図である。 サブピクセル対応点の設定による効果を説明する図である。 注目階層のサブピクセル対応点に対する１つ上位階層の探索基準点の設定例を示す図である。 サブピクセル対応点の設定による効果を説明する図である。 実施形態に係る画像処理装置の動作の概要を示すフローチャートである。 実施形態に係る画像処理装置の動作の概要を示すフローチャートである。 サブピクセル対応点探索処理の信頼度を求める処理の例を説明する図である。 実施形態に係る画像処理装置の動作の概要を示すフローチャートである。

本発明に係る画像処理装置は、例えば、２台以上のカメラによって測定対象物を測定し、得られた画像を処理して測定対象物上の注目点を通る各カメラの視線方程式を求めることによって測定対象物の形状を測定する３次元形状測定装置や、１台のカメラによって測定対象物を時系列に測定し、得られた画像を処理して、測定対象物の移動量を求めたり、予め登録された測定対象物の画像と測定した画像とを比較する装置などに適用される。

以下、本発明に係る画像処理装置が、２台のカメラ（ステレオカメラとも称する）を用いて測定対象物を測定し、得られたステレオ画像を処理して測定対象物の３次元形状を測定する３次元測定装置に適用される実施形態について図面を参照して説明する。なお、説明のために図面には適宜座標軸を記載している。

＜３次元形状測定装置＞
図１は、実施形態に係る画像処理装置３Ａを用いた３次元形状測定装置１Ａの概略構成を示す図である。

図１に示されるように、３次元形状測定装置１Ａは、２眼のステレオカメラ２と、ステレオカメラ２に対してデータ伝送可能に接続する画像処理装置３Ａとを備えている。

２眼のステレオカメラ２には、それぞれ撮像素子を有する２つの撮像系２１、２２が設けられている。撮像系２１、２２は、ほぼ同等の光学的特性と電気的特性を有しており、所定方向に沿って離隔配置され、カメラ正面の測定対象物ＯＢを、同期されつつ同じタイミングで異なる視点から撮像するように構成されている。撮像系２１、２２によって同じタイミングで撮像される２画像は、いわゆるステレオ画像であり、データ線ＤＬを介して画像処理装置３Ａに送信される。

ここで、ステレオ画像を構成する２画像のうち、撮像系２１によって撮像されて取得される画像を、適宜「基準画像」と称し、撮像系２２によって撮影されて取得される画像を、適宜「参照画像」と称する。

また、撮像系２１、２２の焦点距離、主点位置、歪曲収差および基線長などのカメラパラメータは、予め校正されており、該カメラパラメータによって撮像系２１、２２の撮像素子に結像した測定対象物ＯＢの像上の点と、撮像系の主点とを通るカメラ視線方程式が決定される。

画像処理装置３Ａは、先ず、測定対象物ＯＢに関する基準画像ＢＩＴと参照画像ＲＩＴとを階層的に繰り返し低解像度化することにより、基準画像ＢＩＴと参照画像ＲＩＴとのそれぞれについて、解像度の異なる複数の画像から構成される多重解像度画像を作成し、該多重解像度画像を用いて基準画像ＢＩＴ上の注目点に対応する参照画像ＲＩＴ上の対応点を探索する対応点探索処理を行う。

次に、画像処理装置３Ａは、探索された注目点と対応点の座標情報と、撮像系２１、２２のカメラパラメータとを用いて、注目点と対応点に関するカメラ視線方程式を作成し、この方程式を連立させて解くことによって注目点に対応する測定対象物ＯＢの点の３次元座標を求める３次元化処理を行う。画像処理装置３Ａは、複数の注目点について、対応点探索処理と３次元化処理を行うことによって測定対象物ＯＢの３次元形状を算出する。

ここで、３次元形状測定装置１Ａにはステレオカメラが設けられているが、例えば、３個以上のカメラが設けられる場合には、３次元形状測定装置に入力される入力画像のうちの１の入力画像が基準画像、他の入力画像が参照画像として取得され、ステレオカメラ使用時と同様の処理が行われて測定対象物ＯＢの３次元形状が求められる。

＜画像処理装置３Ａの機能説明＞
図２は、実施形態に係る画像処理装置３Ａの要部の構成を示す機能ブロック図である。

図２に示されるように、画像処理装置３Ａは、操作部４、表示部５、通信部６、入出力部７、記憶部９、画像取得部１０、多重解像度画像作成部１１、探索基準点設定部１２、対応点探索部１３、信頼度算出部１４、信頼度判定部１５および制御部１６を備えており、これらの機能ブロックによって基準画像ＢＩＴと参照画像ＲＩＴに関する多重解像度画像作成、対応点探索および３次元化処理などを行う。

以下、画像処理装置３Ａの操作部４から制御部１６について説明する。

◎操作部４〜記憶部９：
操作部４は、例えば、キーボード、マウスおよび操作ボタンなどを備えて構成されており、制御部１６への操作信号の入力や、画像処理装置３Ａの各部に関する解像度変倍率ＲＲと探索分解能ＳＲなどの制御パラメータの設定などの用途に使用され、設定された制御パラメータは、制御部１６によって、記憶部９に記憶される。

表示部５は、例えば液晶ディスプレイで構成されて動画などを表示可能であり、撮像されたステレオ画像や生成された３次元画像などの画像情報や、各種メッセージなどが表示部５に表示される。また、制御パラメータ設定用の情報も表示部５に表示される。

通信部６は、ＬＡＮやインターネットに接続するためのインタフェースであり、例えばネットワークアダプタなどで構成される。

入出力部７は、例えばマルチメディアドライブを備えて構成され、光ディスクなどの記憶媒体８を受け付け、制御部１６との間でデータの授受を行うものである。画像処理装置３Ａが処理するステレオ画像は、ステレオカメラ２から直接入力されるだけでなく、通信部６や、入出力部７によって、記憶媒体８や、ネットワーク経由でも入力され得る。

記憶部９は、例えばハードディスク、ＲＯＭおよびＲＡＭなどを備えて構成されており、画像処理装置３Ａの各部が出力する情報、画像処理装置３Ａの各部を制御するために設定された制御パラメータ、校正されたカメラパラメータおよび制御プログラムなどの恒久的な記憶と、各種情報の一時的な記憶とに使用される。

ここで、制御パラメータは、例えば、多重解像度画像の階層数Ｔ、解像度変倍率ＲＲ、基準ウィンドウと参照ウィンドウの水平と垂直方向のサイズであるウィンドウサイズＷＸとＷＹ、対応点探索処理における分解能（「探索分解能」とも称する）ＳＲおよびピクセル対応点探索処理の信頼度を判定するための閾値ＴＨ１などである。

なお、以下に説明する画像取得部１０、多重解像度画像作成部１１、探索基準点設定部１２、対応点探索部１３、信頼度算出部１４、信頼度判定部１５および制御部１６は、ＣＰＵで所定のプログラムを実行することで実現しても良いし、専用のハードウェア回路を用いて実現しても良い。

◎画像取得部１０：
画像取得部１０は、基準カメラ２１の撮影する画像と参照カメラ２２が撮影する画像とを取得し、それぞれ基準画像ＢＩＴおよび参照画像ＲＩＴとして、記憶部９に記憶する。ここで、基準画像ＢＩＴおよび参照画像ＲＩＴは、例えば、複数の画素がマトリックス状に配列され、各画素の画素値が所定の階調数で表現されたデジタル画像データである。

◎多重解像度画像作成部１１：
多重解像度画像作成部１１は、基準画像ＢＩＴおよび参照画像ＲＩＴに多段階の低解像度化処理を施すことによって基準画像ＢＩＴの多重解像度画像である多重解像度基準画像ＭＢと、参照画像ＲＩＴの多重解像度画像である多重解像度参照画像ＭＲとを作成し、記憶部９に記憶する。

図３は、多重解像度基準画像ＭＢを例示する図であり、図４は、多重解像度参照画像ＭＲを例示する図である。多重解像度基準画像ＭＢと多重解像度参照画像ＭＲに関して、図３（ａ）、図４（ａ）は、それぞれの最上位の基準画像ＢＩＴ、参照画像ＲＩＴを、図３（ｂ）、図４（ｂ）は、それぞれ多重解像度基準画像ＭＢ、多重解像度参照画像ＭＲの全体を、図３（ｃ）、図４（ｃ）は、それぞれ最下位の基準画像ＢＩ１、参照画像ＲＩ１を示している。

図３と図４に示されるように、多重解像度基準画像ＭＢと多重解像度参照画像ＭＲは、それぞれ、解像度が異なる複数の基準画像の集合体と解像度が異なる複数の参照画像の集合体であって、上位階層から下位階層に向かうにつれて解像度が低くなるように階層的に形成されている。

多重解像度基準画像ＭＢと多重解像度参照画像ＭＲにおいて、最上位の基準画像ＢＩＴと参照画像ＲＩＴ画像は低解像度化されておらず、最下位の基準画像ＢＩ１と参照画像ＲＩ１画像は、最も解像度が低い画像である。また、多重解像度基準画像ＭＢと多重解像度参照画像ＭＲの階層数Ｔは等しく、同一階層の基準画像と参照画像の解像度は同じである。

なお、基準カメラ２１が撮影した基準画像であり、多重解像度基準画像ＭＢの最上位の画像でもある低解像度化されていない基準画像ＢＩＴを「原基準画像」ＢＩＴとも称し、参照カメラ２２が撮影した参照画像であり、多重解像度参照画像ＭＲの最上位の画像でもある低解像度化されていない参照画像ＲＩＴを「原参照画像」ＲＩＴとも称する。

また、多重解像度画像の注目する階層（「注目階層」とも称する）の画像に対して、より解像度の高い画像を「上位」（または、「上位階層」）の画像と称し、より解像度の低い画像を「下位」（または、「下位階層」）の画像と称する。さらに、注目階層の画像を低解像度化して１つ下位階層の画像を作成する際の低解像度化の比率を「解像度変倍率」とも称する。

解像度変倍率は、多重解像度画像の隣合う２つの階層の画像のうち、上位階層の画像の水平方向の画素数に対する下位階層の画像の水平方向の画素数の比率として与えられ、また、該上位階層の画像の垂直方向の画素数に対する該下位階層の画像の垂直方向の画素数の比率としても与えられる。通常、これら２種類の比率は同じ値に設定される。

多重解像度画像は、例えば、記憶部９に予め設定保存された解像度変倍率ＲＲおよび階層数Ｔに従って、多重解像度画像の階層数が階層数Ｔになるまで解像度変倍率ＲＲによる低解像度化を繰り返すことや、最下層の画像の画素数が所定値以下になるまで解像度変倍率ＲＲによる低解像度化を繰り返すことなどによって作成される。

具体的には、多重解像度画像作成部１１は、先ず、多重解像度画像の階層数Ｔ、解像度変倍率ＲＲおよび最下層の基準画像ＢＩ１、参照画像ＲＩ１の画素数などの多重解像度画像作成に関係する制御パラメータと、基準画像ＢＩＴ、参照画像ＲＩＴを記憶部９から取得し、基準画像ＢＩＴ、参照画像ＲＩＴを、それぞれ注目階層の基準画像（「注目基準画像」とも称する）ＢＩｍ、注目階層の参照画像（「注目参照画像」とも称する）ＲＩｍとして設定する（ステップＳ２）。

注目階層の設定が終了すると、多重解像度画像作成部１１は、基準画像ＢＩｍ、参照画像ＲＩＴの水平方向、垂直方向の画素数に解像度変倍率ＲＲを乗じて、注目階層の１つ下位階層の基準画像ＢＩ（ｍ−１）、参照画像ＲＩ（ｍ−１）の水平方向、垂直方向の画素数を求め、基準画像ＢＩ（ｍ−１）、参照画像ＲＩ（ｍ−１）の記憶領域を記憶部９に確保する（ステップＳ１０）。

記憶領域の確保が終了すると、多重解像度画像作成部１１は、基準画像ＢＩ（ｍ−１）の１つの画素の画素値を、この画素に対応する基準画像ＢＩｍの各画素の画素値を平均することなどによって求め、この画素に対応する記憶領域に記憶する画素値の設定処理を行い、この画素値の設定処理を基準画像ＢＩ（ｍ−１）、参照画像ＲＩ（ｍ−１）の全ての画素について行うことによって、基準画像ＢＩ（ｍ−１）、参照画像ＲＩ（ｍ−１）の画像を作成し、基準画像ＢＩ（ｍ−１）、参照画像ＲＩ（ｍ−１）を注目階層の新たな基準画像ＢＩｍ、参照画像ＲＩｍに設定する（ステップＳ２０）。

以下、ステップＳ１０とステップＳ２０を、画像数が階層数Ｔになるまで繰り返すことや、最下層の基準画像ＢＩ１、参照画像ＲＩ１の画素数が所定値以下になるまで繰り返すことによって、上位階層から下位階層に向かうにつれて解像度が低くなるように、画像取得部１０によって取得された基準画像ＢＩＴと参照画像ＲＩＴとが階層的に低解像度化されて、解像度の異なる複数の階層的な基準画像と参照画像、すなわち多重解像度基準画像ＭＢと多重解像度参照画像ＭＲが作成され、多重解像度基準画像ＭＢと多重解像度参照画像ＭＲは、記憶部９に記憶される。

○解像度変倍率ＲＲについて：
図５は、解像度変倍率ＲＲが対応点探索処理に与える影響例を説明する図である。

図５に示される画像ＲＩｍは、注目階層の参照画像であり、画像ＲＩ（ｍ＋１）は、注目階層の１つ上位階層の参照画像である。ここで、図５に示される格子で区切られた各領域は、参照画像ＲＩｍと参照画像ＲＩ（ｍ＋１）の個々の画素（「ピクセル」とも称する）を示している。

また、参照画像ＲＩ（ｍ＋１）から参照画像ＲＩｍを作成する際の解像度変倍率ＲＲは１／４である。参照画像ＲＩｍ上の画素ＣＰｍＴは注目階層の基準画像上に設定された基準点に対する正しい対応点を示し、画素ＣＰｍＦは誤った対応点を示す。

参照画像ＲＩ（ｍ＋１）上の画素Ｋ（ｍ＋１）Ｔは、正しい対応点ＣＰｍＴに基づいて設定された正しい探索基準点を示し、画素Ｋ（ｍ＋１）Ｆは、は誤った対応点ＣＰｍＦに基づいて設定された誤った探索基準点を示す。

図５に示されるように、正しい対応点ＣＰｍＴと誤った対応点ＣＰｍＦとのずれは、画素の対角線方向にわずか１画素であるが、探索基準点Ｋ（ｍ＋１）ＴとＫ（ｍ＋１）Ｆとの画素の対角線方向のずれは、解像度変倍率の逆数倍の４画素に拡大する。すなわち、下位階層における対応点探索の誤りは、上位階層での探索基準点の探索において、さらに拡大されることになる。

参照画像ＲＩ（ｍ＋１）上の対応点は参照画像ＲＩ（ｍ＋１）に設定された探索基準点に基づく探索範囲において探索されるので、誤った探索基準点Ｋ（ｍ＋１）Ｆを用いて参照画像ＲＩ（ｍ＋１）上の対応点を探索しても、下位階層の画像ＲＩｍでの対応点探索の誤りを補正できずに、誤った探索が行われる可能性が増大する。

つまり、解像度変倍率ＲＲが小さい場合には、下位階層の画像（低解像度の画像）における対応点探索の小さな誤りが、上位階層の画像（高解像度の画像）における対応点探索の大きな誤りに結びついて対応点探索の精度低下を招き易い。

解像度変倍率ＲＲの設定手法は、例えば、表示部５に表示される、２／３、１／２、１／３または１／４（解像度変倍率ＲＲを１より大きな実数（典型的には、有理数）ｒを用いて１／ｒで表現すると、ｒは、３／２、２、３または４）などの適切な範囲の候補中から操作部４を用いて選択する手法などが採用されるが、操作部４からの入力などによって候補値以外の１より小さい解像度変倍率を設定する手法を採用してもよい。設定された解像度変倍率ＲＲは、記憶部９に記憶される。

また、多重解像度画像作成部１１が専用のハードウェア回路である場合には、解像度変倍率ＲＲの設定は、例えば、複数の異なる解像度変倍率ＲＲにそれぞれ対応した複数の多重解像度画像作成部１１の中から、ディップスイッチの切り替えなどによって、所望の解像度変倍率ＲＲに対応した多重解像度画像作成部１１を選択する手法などによって設定してもよい。

多重解像度画像においては、より下位の階層の画像であればあるほど画像中の各画素の「情報量減少」が生ずるため、対応点探索の誤りが発生しやすい。また、探索基準点に基づく探索範囲の画素数が多重解像度画像の階層にかかわらず一定である場合には、より下位の階層の画像であればあるほど探索基準点に基づく探索範囲には、より広い視野域で撮像された測定対象物ＯＢおよび背景の画像が含まれるので、いわゆる「遠近競合」が発生して対応点探索の誤りが発生しやすい。

同様に、上位階層の画像を低解像度化して下位階層の画像を作成する際の解像度変倍率ＲＲが小さければ小さいほど、下位階層の画像において、より「情報量減少」が生ずるとともに、「遠近競合」が発生して対応点探索の誤りが発生しやすい。

従って、下位階層における対応点探索の誤りが上位階層における対応点探索の誤りを増幅させる前述の悪影響を抑制するために、図６に示す参照画像の多重解像度画像の例にように、多重解像度画像の作成において複数の解像度変倍率ＲＲを用いて、上位階層側の画像には小さな解像度変倍率を適用し、下位階層側の画像には大きな解像度変倍率を適用してもよい。図６の例では、上位階層側の解像度変倍率を１／４に設定し、下位階層側の解像度変倍率を１／２に設定することによって、前述の悪影響の抑制を行っている。

◎探索基準点設定部１２：
探索基準点設定部１２は、制御パラメータによって決定される多重解像度基準画像ＭＢと、多重解像度参照画像ＭＲの各階層間の画素の対応関係に基づいて、多重解像度基準画像ＭＢ中と多重解像度参照画像ＭＲ中の、制御部９によって指定される注目階層のそれぞれの画像上に、対応点探索部１３が行う対応点探索処理の基準となる注目点と探索基準点とを画素サイズと等しい分解能（「ピクセル分解能」とも称する）で設定する。ここで、探索基準点を設定する処理を「探索基準点設定処理」とも称する。

○注目点について：
図７は、多重解像度基準画像ＭＢにおける注目点の設定例を示す図である。図７に示されるＮｍは、多重解像度基準画像ＭＢ中の注目階層の基準画像ＢＩｍ上における注目点であり、Ｎ（ｍ＋１）は、該注目階層の１つ上位階層の基準画像ＢＩ（ｍ＋１）における注目点であって、注目点Ｎｍに対応している。注目点Ｎｍは、基準画像ＢＩ（ｍ＋１）と基準画像ＢＩｍ間の画素の対応関係と、注目点Ｎ（ｍ＋１）の座標とに基づいて探索基準点設定部１２によって設定される。この設定処理が、上位階層側から下位階層側へ向けて次々と繰り返されることによって最上位の基準画像ＢＩＴから最下位の基準画像ＢＩ１まで各階層の基準画像における注目点が設定される。

ここで、多重解像度基準画像ＭＢの最上位の基準画像ＢＩＴにおける注目点は、例えば、操作部４のマウスによる表示部５に表示された基準画像ＢＩＴ上の特徴点の手動指定、基準画像ＢＩＴにエッジ検出処理を施して自動抽出したエッジ位置に基づく自動指定などの手法によって設定される。

また、下位の注目階層における注目点を、例えば、操作部４のマウスで手動指定し、該注目階層と１つ上位の階層間の画素の対応関係に基づいて、上位階層における注目点を設定する処理を、下位階層から上位階層へ向けて順次行うことによって各階層の基準画像上の注目点を設定する手法を採用しても良い。

なお、多重解像度基準画像ＭＢにおける注目点の設定は、必ずしも探索基準点設定部１２によって行われる必要はなく、例えば、多重解像度画像作成部１１が、多重解像度基準画像ＭＢの作成と、各階層の基準画像上の注目点の設定とを行っても良い。

○探索基準点について：
図８は、多重解像度参照画像ＭＲにおける探索基準点の設定例を示す図である。
図８に示されるＣＳｍは、多重解像度参照画像ＭＲ中の注目階層の参照画像ＲＩｍ上において画素サイズよりも細かいサイズを持ったサブピクセルを画像表現単位とする分解能（「サブピクセル分解能」とも称する）で探索されたサブピクセル対応点であり、Ｋ（ｍ＋１）は、該注目階層の１つ上位階層の参照画像ＲＩ（ｍ＋１）における探索基準点であって、サブピクセル対応点ＣＳｍに対応している。探索基準点Ｋ（ｍ＋１）は、参照画像ＲＩｍと参照画像ＲＩ（ｍ＋１）間の画素の対応関係と、サブピクセル対応点ＣＳｍの座標とに基づいて設定される。

以上の探索基準点設定処理により、探索基準点設定部１２は、注目階層の基準画像上の注目点に対応する対応点を注目階層の参照画像上で探索する探索処理において、該探索処理の基準となる探索基準点を注目階層の参照画像上に設定する。

なお、具体的な探索基準点設定処理については、後述の「サブピクセル対応点と１つ上位階層の探索基準点との対応関係」の欄において説明する。

◎対応点探索部１３：
対応点探索部１３は、ピクセル探索部１３ａとサブピクセル探索部１３ｂとを有している。

○ピクセル探索部１３ａ：
ピクセル探索部１３ａは、ピクセル分解能で対応点を探索する探索処理（「ピクセル対応点探索処理」とも称する）を行うことによって、多重解像度基準画像ＭＢ中の注目階層の基準画像上に設定された注目点に対応する対応点を、多重解像度参照画像ＭＲ中の注目階層の参照画像上で探索する。ここで、ピクセル分解能で探索される対応点は、「ピクセル対応点」とも称される。

なお、ピクセル対応点探索処理は、注目点と探索基準点に基づいて、注目階層の基準画像上と参照画像上にそれぞれ探索用のウィンドウ（それぞれ、「基準ウィンドウ」、「参照ウィンドウ」とも称する）を設定し、基準ウィンドウ内と参照ウィンドウ内の画像間の相関値を求めることによって行われる。また、基準ウィンドウと参照ウィンドウのサイズは、記憶部９から取得される制御パラメータであるウィンドウサイズＷＸ、ＷＹによって決定される。

○サブピクセル探索部１３ｂ：
サブピクセル探索部１３ｂは、ピクセル探索部１３ａが探索したピクセル対応点とその近傍点に関する情報と、記憶部９から取得される探索分解能ＳＲとに基づいて、サブピクセル分解能で対応点を探索する探索処理（「サブピクセル対応点探索処理」とも称する）を行うことによって、注目点に対応する対応点を、注目階層の参照画像上で探索する。ここで、サブピクセル分解能で探索される対応点は、「サブピクセル対応点」とも称される。

ピクセル探索部１３ａとサブピクセル探索部１３ｂが協働することにより、対応点探索部１３は、ピクセル対応点探索処理と、サブピクセル対応点探索処理とを行い、該注目階層の基準画像に設定された注目点に対応する多重解像度参照画像ＭＲ中の該注目階層の参照画像上の対応点を、サブピクセル分解能で探索する。

○探索分解能ＳＲ：
探索分解能ＳＲは、例えば、表示部５に表示される１／２、１／３などの定数の探索分解能の候補群から操作部４によって選択する手法、表示部５に表示される乗算用の係数の候補群から操作部４によって選択した係数を記憶部９に記憶された解像度変倍率ＲＲに乗算する手法または所望の探索分解能を操作部４から入力設定する手法などによって予め設定されて、記憶部９に記憶されている。

ここで、本発明に係る探索分解能ＳＲの単位は「画素サイズ」（「画素長」とも称し、また、単に「画素」と称することもある。）であるが、本発明に係る記載においては、探索分解能ＳＲの単位の記載は、適宜省略する。

また、探索分解能の値が「大きい」ことを、探索分解能が「粗い」とも称し、逆に探索分解能の値が「小さい」ことを、探索分解能が「細かい」とも称する。

探索分解能ＳＲは、ＲＲ²＜ＳＲ＜１の範囲に制限されており、この範囲に入らない探索分解能ＳＲが設定される場合は、制御部１６によって表示部５への警告メッセージ表示などの警告が行われて探索分解能ＳＲの再入力が促される。

また、対応点探索部１３が専用のハードウェア回路である場合には、探索分解能ＳＲの設定は、例えば、複数の異なる探索分解能ＳＲにそれぞれ対応した複数の対応点探索部１３の中から、ディップスイッチの切り替えなどによって、所望の探索分解能ＳＲに対応した対応点探索部１３を選択する手法などによって設定してもよい。

○探索分解能ＳＲの設定範囲について：
サブピクセル分解能で対応点探索を行うために、探索分解能ＳＲは、ピクセル分解能に相当する１より細かい値である必要がある。また、探索分解能ＳＲが、解像度変倍率ＲＲの２乗と等しいか、またはより細かい値であれば、注目階層の参照画像ＲＩｍ上で探索されるサブピクセル対応点ＣＳｍの領域は、参照画像ＲＩｍの２階層上位の参照画像ＲＩ（ｍ＋２）の画素サイズ以下の大きさとなるので、１つ上位の参照画像ＲＩ（ｍ＋１）を有効に活用することができなくなる。このため、探索分解能ＳＲの設定範囲は、ＲＲ²＜ＳＲ＜１の範囲に制限されている。

すなわち、上記範囲の探索分解能ＳＲを用いることによって、対応点を求めるサブピクセル分解能を、注目階層の参照画像の画素サイズより細かく、かつ、注目階層の２つ上位の階層の参照画像の画素サイズより粗く設定することができるので、多重解像度画像の各階層の画像を無駄なく使用して、各階層毎に逐次対応点を求めていく多重解像度戦略による対応点探索処理を効率的に行うことができる。

◎信頼度算出部１４と信頼度判定部１５：
信頼度算出部１４と信頼度判定部１５は、協働してピクセル対応点探索処理の信頼度を判定する機能ブロックである。信頼度算出部１４は、ピクセル対応点に関する基準ウィンドウと参照ウィンドウとの画像間の相関値に基づいてピクセル対応点探索処理の信頼度を算出する信頼度算出処理を行い、信頼度判定部１５は、該信頼度を所定の閾値ＴＨ１と比較して該信頼度が閾値ＴＨ１以上であればピクセル対応点探索処理の信頼度が高いと判定し、そうでなければピクセル対応点探索処理の信頼度が低いと判定する信頼度判定処理を行う。

信頼度判定処理の結果、ピクセル対応点探索処理の信頼度が高いと判定された場合にのみサブピクセル探索部１３ｂがサブピクセル対応点探索処理を行うようにすることによって、無駄なサブピクセル対応点探索処理の実施を防止することができる。

本実施形態においては、信頼度算出部１４と信頼度判定部１５とは、独立した機能ブロックであるが、例えば対応点探索部１３が信頼度算出部１４の機能を兼用し、後述する制御部１６が信頼度算出部１４の機能を兼用してもよい。

また、例えば、ピクセル対応点探索処理の信頼度が十分高いことが予め確かめられている場合などでは、信頼度算出処理と信頼度判定処理は省いてもよく、また信頼度算出部１４と信頼度判定部１５を画像処理装置３Ａの構成要素から省いてもよい。

◎制御部１６：
制御部１６は、画像処理装置３Ａの各部を統括的に制御することによって、対応点探索処理や３次元データ作成などの情報処理を実現する。

対応点探索処理においては、制御部１６は、対応点探索処理の対象となる多重解像度基準画像ＭＢおよび多重解像度参照画像ＭＲ中の注目階層を、下位の階層から上位の階層に向けて探索基準点設定部１２と対応点探索部１３に対して逐次設定しつつ、対応点探索処理が下位の階層から上位の階層に向けて階層的に繰り返し実行されるように探索基準点設定部１２と対応点探索部１３とを制御する。

以上に説明された構成によって、画像処理装置３Ａは、多重解像度戦略に基づく対応点探索処理を行う。対応点探索処理はサブピクセル分解能で行われ、探索された注目階層の参照画像ＲＩｍ上のサブピクセル対応点に基づいて、１つ上位の階層の参照画像ＲＩ（ｍ＋１）上の探索基準点が設定されるので、対応点がサブピクセル分解能で探索されない場合に比べて、より狭い範囲に信頼度の高い探索基準点を設定することが可能となる。その結果、サブピクセル分解能で探索されない場合に比べて、階層数をより減らした多重解像度画像や、範囲をより狭くした基準ウィンドウと参照ウィンドウを採用することができる。従って、対応点探索に係る処理コストを抑制しつつ、高精度に対応点探索を行うことが可能となる。

＜画像処理装置３Ａの動作説明＞
次に、画像処理装置３Ａのピクセル対応点探索処理、信頼度判定処理、サブピクセル対応点探索処理、注目階層の１つ上位階層の探索基準点設定処理などについてさらに詳しく説明し、その後、画像処理装置３Ａが行う多重解像度画像を用いた対応点探索処理の全体処理フローを説明する。

◎ピクセル対応点探索処理：
図９は、ピクセル探索部１３ａが行うピクセル対応点探索処理の概要を説明する図である。図９の注目点Ｎｍと探索基準点Ｋｍは、それぞれ探索基準点設定部１２によって、多重解像度基準画像ＭＢ中に設定された注目階層の基準画像ＢＩｍ上と、多重解像度参照画像ＭＲ中の該注目階層の参照画像ＲＩｍ上とに設定された注目点と探索基準点である。

ピクセル探索部１３ａは、記憶部９に格納されたウィンドウサイズＷＸ、ＷＹに基づいて、注目点Ｎｍに対して基準ウィンドウＷＢｍを、探索基準点Ｋｍに対して参照ウィンドウＷＲｍをそれぞれ設定し、基準ウィンドウＷＢｍ内の画像と参照ウィンドウＷＲｍ内の画像との相関を求めることによって、注目点Ｎｍに対応するピクセル対応点ＣＰｍを求める。

なお、基準ウィンドウＷＢｍと参照ウィンドウＷＲｍそれぞれの水平方向（Ｘ方向）画素数は同じであり、それぞれの垂直方向（Ｙ方向）画素数もまた同じである。

○基準ウィンドウと参照ウィンドウ：
図１０は、参照画像ＷＲｍに設定された探索基準点Ｋｍに対する参照ウィンドウＷＲｍの設定例を示す図である。

図１０（ａ）に例示される参照ウィンドウＷＲｍは、水平方向画素数と垂直方向画素数がともに奇数であり、探索基準点Ｋｍの座標は、参照ウィンドウＷＲｍの重心Ｗｇと一致する。

図１０（ｂ）に例示される参照ウィンドウＷＲｍは、水平方向画素数と垂直方向画素数とがともに偶数であり、探索基準点Ｋｍの座標は、参照ウィンドウＷＲｍの重心Ｗｇに対して−Ｘ方向、−Ｙ方向に１画素ずれている。

図１０（ａ）、（ｂ）に示される例の他に、基準ウィンドウＷＢｍ、参照ウィンドウＷＲｍの水平方向画素数と垂直方向画素数は、奇数と偶数（順不同）の組でもよい。

ここで、基準ウィンドウＷＢｍと参照ウィンドウＷＲｍの画像間の相関を求める手法としては、例えばＳＡＤ法（差分絶対値和法）などのように周波数分解を行わない手法と、ＰＯＣ法（位相限定相関法）などのように周波数分解を行う手法とがあり、周波数分解を行う手法を用いる場合には、高速フーリエ変換（ＦＦＴ）を用いて必要な演算回数を抑制し、処理の高速化を図る観点から、水平方向画素数と垂直方向画素数とを２のべき乗で表される画素数とすることが望ましい。

次に、ＳＡＤ法とＰＯＣ法を例として、基準ウィンドウＷＢｍと参照ウィンドウＷＲｍの画像間の相関を求める手法について説明する。

○ＳＡＤ法：
図１１は、ＳＡＤ法を用いたピクセル対応点探索処理手順を示す図である。

図１１に示される注目階層の基準画像ＢＩｍ上にはＸ座標がｈ２である注目点Ｎｍが設定されており、注目点Ｎｍに対して基準ウィンドウＷＢｍが設定されている。基準ウィンドウＷＢｍのＸ方向の両端のＸ座標は、ｈ１とｈ３である。また、該注目階層の参照画像ＲＩｍ上には、注目点Ｎｍに対応するピクセル対応点ＣＰｍが示されている。

ここでは、ＳＡＤ法を用いてピクセル対応点ＣＰｍを求める例について説明する。

参照画像ＲＩｍ上には、Ｘ座標がｘｓである探索基準点ＫｍｓからＸ座標がｘｅである探索基準点Ｋｍｅまで、Ｘ座標がｘｓ≦ｘ≦ｘｅの範囲で１画素ごとに複数の探索基準点が設定されており、これら複数の探索基準点の代表として両端の探索基準点Ｋｍｓ、Ｋｍｅのみが記載されている。

また、該複数の探索基準点には、それぞれ基準ウィンドウＷＢｍと、同サイズの複数の参照ウィンドウとが設定されており、該複数の参照ウィンドウの代表として両端の参照ウィンドウＷＲｍｓ、ＷＲｍｅのみが記載されている。

ここで、図１１においては説明を簡単にするため、注目点Ｎｍと複数の探索基準点Ｋｍｓ〜ＫｍｅのＹ座標は同じであり、従って、基準ウィンドウＷＢｍと、参照ウィンドウＷＲｍｓ〜ＷＲｍｅのＹ方向の座標のずれ量は無いように設定されている。また、注目点Ｎｍと、求められるべきピクセル対応点ＣＰｍのＹ座標も一致するように設定されている。

次に、参照ウィンドウＷＲｍｓ〜ＷＲｍｅの各参照ウィンドウ内の各画像と、基準ウィンドウＷＢｍ内の画像との相関値を演算する。基準ウィンドウと参照ウィンドウのＸ方向、Ｙ方向の座標のずれ量（「対応ずれ量」とも称する）をそれぞれｘｄ、ｙｄとする。図１１の例では、ｘｄの範囲はｘｓ−ｈ２〜ｘｅ−ｈ２であり、ｙｄは０である。

基準ウィンドウＷＢｍ内の各画素（xｉ，yｊ）の画素値をＩｍｇ１（xｉ，yｊ）、Ｘ方向、Ｙ方向の対応ずれ量がｘｄ、ｙｄである参照ウィンドウＷＲｍ内の各画素（ｘｉ＋ｘｄ，yｊ＋ｙｄ）の画素値をＩｍｇ２（ｘｉ＋ｘｄ，yｊ＋ｙｄ）とすると、（１）式、（２）式を用いた演算によって基準ウィンドウＷＢｍ内の画像と参照ウィンドウＷＲｍ内の画像の相関値ＣＯＲｐが算出される。

参照ウィンドウがＷＲｍｓからＷＲｍｅにわたって走査されるように、Ｘ方向の対応ずれ量ｘｄをｘｓ−ｈ２〜ｘｅ−ｈ２の範囲で変更しつつ、（１）式および（２）式によって各対応ずれ量ｘｄに対する相関値ＣＯＲｐが算出されると、図１１に示すグラフＧ１のように参照画像ＲＩｍのＸ座標と相関値ＣＯＲｐとの関係が明らかになる。

図１１の例では、座標ｘＭにおいて、グラフＧ１における相関値ＣＯＲｐの最大値が与えられているので、探索基準点のＸ座標がｘＭと一致する参照ウィンドウが、相関値ＣＯＲｐの最大値を与える参照ウィンドウであり、該参照ウィンドウの探索基準点と、注目点Ｎｍに対応するピクセル対応点ＣＰｍとは一致する。

図１２はＳＡＤ法における参照ウィンドウＷＲｍの走査態様を例示する図であり、注目階層の参照画像ＲＩｍの全域に参照ウィンドウＷＲｍを走査させている。ＳＡＤ法はＰＯＣ法に比べて演算量が少なく高速な処理が可能であるので、画素数が多い参照画像ＲＩｍにＳＡＤ法による対応点探索処理を適用し、図１２に示される全域走査を行っても処理時間が短くなる。

従ってＳＡＤ法を用いる場合には、周波数分解を行う手法を用いる場合に比べて多重解像度画像の階層数を減らすことができる。また、対応点に近い探索基準点を求めることなく、画像の全域にわたって参照ウィンドウの走査を行って対応点探索をしても、周波数分解を行う手法を用いる場合に比べて短時間で探索処理を行うことができるので、探索基準点を求める処理コストを削減することが可能となる。

○ＰＯＣ法：
図１３は、ＰＯＣ法を用いたピクセル対応点探索処理手順を示す図である。

ＰＯＣ法は、周波数分解を使用した相関法であって、かつ、振幅成分を抑制した相関法である。同様の相関法として、ＤＣＴ符号限定相関法（参考論文：「画像信号処理と画像パターン認識の融合−ＤＣＴ符号限定相関とその応用」貴塚仁志）などが知られている。これらの相関法は、パターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて類似度演算を行うため、画像を取得するためのステレオカメラ２における撮影条件の差（ここでは、撮像系２１、２２における撮影条件の差）や、ノイズなどの影響を受けにくく、ロバストな対応点検索が可能である。

また、ＳＡＤ法が、１組の基準ウィンドウと参照ウィンドウに対して１つの相関値（ＣＯＲｐ値）のみを出力するため、相関値が最も高い参照ウィンドウ、すなわち、相関値が最も高い対応ずれ量を特定するためには複数の参照ウィンドウにわたって、参照ウィンドウの走査を行う必要があるのに対して、ＰＯＣ法などの周波数分解を使用した相関法は、１組の基準ウィンドウと参照ウィンドウの画像に対して、画像間の相関値とともに、相関値が最も高くなる画像間の対応ずれ量が求められるので、ピクセル対応点が該参照ウィンドウ内に存在する場合には、参照ウィンドウの走査を行う必要がない。

このため、多重解像度画像にＰＯＣ法を用いる対応点探索法によれば、画素数の最も少ない多重解像度画像の最下位の基準画像と参照画像の画像全域をそれぞれ当初の基準ウィンドウと参照ウィンドウに設定して正しい対応点を探索した後、該対応点に基づいて１つ上位階層に参照ウィンドウを設定して該参照ウィンドウを走査することなく該階層における正しい対応点を求める探索処理を全ての階層にわたって繰り返すことが可能となる。従って、ＰＯＣ法を用いる対応点探索法は、多重解像度画像を対象とする対応点探索処理に好適な手法となる。

以下に、ある注目階層における基準画像ＢＩｍに対する基準ウィンドウＷＢｍ内の画像と、該注目階層の参照画像ＲＩｍに対する参照ウィンドウＷＲｍ内の画像とを対応点探索処理の対象として対応点を探索する場合を例に、ＰＯＣ法の基本原理を説明する。

基準ウィンドウＷＢｍ内の画像領域と、参照ウィンドウＷＲｍ内の画像領域とは、次の（３）式、（４）式のように表されるものとする。

ここで、（３）式のｆ（ｎ1，ｎ2）および（４）式のｇ（ｎ1，ｎ2）は、基準ウィンドウＷＢｍ内の画像領域および参照ウィンドウＷＲｍ内の画素の画素値を示している。また、Ｎ1およびＮ２は、例えばＮ1＝２Ｍ1＋１、Ｎ２＝２Ｍ２＋１と設定されている。

次に、基準ウィンドウＷＢｍ、参照ウィンドウＷＲｍ内の各画像領域に対し、（５）式、（６）式で示す演算式を用いて、図１３に示される２次元のフーリエ変換処理Ｔ１ａ、Ｔ１ｂが行われる。

なお、（５）式、（６）式の下部ただし書におけるＷの添字Ｐには、Ｎ1、Ｎ2が代入され、またｋの添字ｓには、１、２が代入される。ここで、周波数分解の処理は必ずしもフーリエ変換である必要はなく、離散コサイン変換、離散サイン変換、ウェーブレット変換又はアダマール変換の何れかを含んでいても良い。

このようなフーリエ変換処理Ｔ１ａ、Ｔ１ｂが施された各画像領域に対しては、（７）式で示す演算式を用いて、画像の振幅成分を除去するための規格化処理Ｔ２ａ、Ｔ２ｂが行われる。

規格化処理Ｔ２ａ、Ｔ２ｂが完了すると、（８）式で示す演算式を用いた合成処理（クロス・パワースペクトル算出処理）Ｔ３が行われる。

合成処理Ｔ３が完了すると、（９）式で示す演算式を用いた２次元の逆フーリエ変換処理Ｔ４が行われる。これにより、基準ウィンドウＷＢｍと参照ウィンドウＷＲｍ内の各画像間の相関演算が実施されることとなり、その結果（ＰＯＣ値）が出力される。

以上の処理により、基準ウィンドウＷＢｍ内の画像と参照ウィンドウＷＲｍ内の画像との相関を示す演算結果（ＰＯＣ値）が得られ、例えば、図１４で示すような結果（ＰＯＣ値）が得られる。

図１４は、ＰＯＣ値の例を示す図である。図１４においては、ウィンドウ（Ｎ1×Ｎ2）内で相関が高い箇所のＰＯＣ値が大きくなっており、ＰＯＣ値のピークＳを与える座標が、基準ウィンドウＷＢｍ内の画像と参照ウィンドウＷＲｍ内の画像との相関が最も高くなる対応ずれ量を示す。この対応ずれ量に基づいて、基準ウィンドウＷＢｍ内の注目点Ｎｍに対応した参照ウィンドウＷＲｍ内のピクセル対応点Ｃｐｍが求められる。

なお、相関値、すなわち信頼度であるＰＯＣ値のピークＳの値が、後述する信頼度判定処理によって十分大きくないと判定された場合には、参照ウィンドウＷＢｍを、例えば、ウィンドウサイズの半分ずらすなどして参照ウィンドウＷＢｍの再設定を行って再度ＰＯＣ法を用いた対応点探索処理を行う。

以上のように、ＰＯＣ法を用いた対応点探索処理によれば、画像の振幅成分が除去され、画像の位相成分のみで相関演算が行われるため、輝度変動やノイズの影響が抑制されて対応点が精度良く検出される。

◎信頼度判定処理：
次に、信頼度算出部１４と信頼度判定部１５が行うピクセル対応点探索の信頼度判定処理の効果について説明する。

図１５は、信頼度が低いピクセル対応点に基づくサブピクセル対応点探索の例を示す図であり、参照画像ＲＩｍ上のＣＰｍＴは、注目階層の基準画像上に設定された基準点に対する正しいピクセル対応点を示し、ＣＰｍＦは、誤ったピクセル対応点を示し、また、ＡＸ、ＡＹは、それぞれピクセル対応点ＣＰｍＦの水平方向、垂直方向の画素長であり、参照画像ＲＩｍにおけるピクセル対応点ＣＰｍＦの存在範囲を示している。

ここで、正しいサブピクセル対応点ＣＳｍＴは正しいピクセル対応点ＣＰｍＴ内に存在するが、サブピクセル対応点はピクセル対応点の領域内において探索されるため、仮に、ピクセル対応点探索処理において誤ったピクセル対応点ＣＰｍＦが探索されてしまうと、サブピクセル対応点も、例えば、サブピクセル対応点ＣＳｍＦのように誤って探索されてしまう。

このように誤ったサブピクセル対応点の探索が行われる無駄を防止するためには、サブピクセル対応点探索処理に先立ってピクセル対応点探索処理の信頼度判定を行うことが有効である。

すなわち、ピクセル対応点探索処理の信頼度判定を行うことによって、ピクセル対応点の信頼度が低い場合には、サブピクセル対応点探索処理を行なわず、ピクセル対応点の信頼度の低さに起因するサブピクセル対応点探索処理の失敗を防止することができるので、対応点探索に係る処理コストを抑制することができる。

また、この場合には、例えば、注目階層の１つ下位階層のサブピクセル対応点ＣＳ（ｍ−１）に基づいて、注目階層の１つ上位階層の探索基準点Ｋ（ｍ＋１）を決定し、ピクセル対応点ＣＰ（ｍ＋１）を探索するとすれば、サブピクセル対応点ＣＳ（ｍ−１）の領域長は、注目階層の画素長のＳＲ／ＲＲ倍であるので、探索分解能ＳＲが解像度変倍率ＲＲと同程度以下の細かい値であれば、ピクセル対応点ＣＰｍに基づいて探索する場合と同程度以下の細かい探索分解能でサブピクセル対応点ＣＳ（ｍ−１）に基づいてピクセル対応点ＣＰ（ｍ＋１）を探索できることとなる。

ここで、例えば、ＳＡＤ法におけるＣＯＲｐ値や、ＰＯＣ法におけるＰＯＣ値は、基準ウィンドウ内の画像と参照ウィンドウ内の画像との相関の高さを示しており、ピクセル対応点探索処理で求められたピクセル対応点に対するＣＯＲｐ値やＰＯＣ値をそのまま、信頼度算出部１４が求めるピクセル対応点探索の信頼度として用いることができる。つまり、例えば、ＰＯＣ値などに正規化処理などを施さずに、そのまま信頼度とする場合には、対応点探索部１３に信頼度算出部１４の機能を兼ねさせることもできる。また、ピクセル対応点ＣＰｍを与えるＣＯＲｐ値やＰＯＣ値などに対して、信頼度算出部１４が正規化処理を施すことなどによって信頼度としてもよい。

◎サブピクセル対応点探索処理：
図１６と図１７は、サブピクセル探索部１３ｂによって行われるサブピクセル対応点探索処理の例を示しており、図１６は、いわゆる等角フィッティングによってサブピクセル対応点探索処理を行う例の説明図である。ここで、サブピクセル対応点探索処理のサブピクセル分解能としては、記憶部９に記憶された探索分解能ＳＲが採用される。

図１６に示されるＲＰ２は、ピクセル対応点探索処理によって探索されたピクセル対応点に対応しており、また、ＲＰ１とＲＰ３は、ピクセル対応点を挟んで水平方向（Ｘ方向）に隣り合う隣接画素に対応している。ここでＲＰ１、ＲＰ２およびＲＰ３は、それぞれの座標Ｘ２−１、Ｘ２およびＸ２＋１に対する、それぞれのピクセル対応点探索処理の信頼度Ｒ１、Ｒ２およびＲ３をグラフ上に描画することによって表されている。ここでは、Ｒ２が信頼度算出部１５が求める信頼度となる。また、仮サブピクセル対応点ＲＳｔは、サブピクセル対応点ＲＳ１を得るために求められる仮のサブピクセル対応点を示しており、その座標はＸＳｔ、信頼度はＲＳである。

基準ウィンドウ内の画像と参照ウィンドウ内の画像とに対応関係がある場合は、基準ウィンドウ内の画像と参照ウィンドウ内の画像との相関は、画像間の自己相関となるので、例えば図１６（ａ）に示されるように、Ｒ１＞Ｒ３の場合には、仮サブピクセル対応点ＲＳ１は、図１６（ａ）上の点ＲＰ２と点ＲＰ３とを結ぶ直線Ｌ２と、点ＲＰ１を通って直線Ｌ２の傾きの反対符号の傾きを持つ直線Ｌ１との交点となる。したがって、座標ＸＳｔは（１０）式によって与えられる。

同様にして、図１６（ｂ）に示されるように、Ｒ１≦Ｒ３の場合には、座標ＸＳｔは（１１）式によって与えられる。

また、仮サブピクセル対応点ＲＳｔの垂直方向の座標ＹＳｔについても、ピクセル対応点ＲＰ２と垂直方向に隣り合う画素の座標およびピクセル対応点探索処理の信頼度とを用いて、座標ＸＳｔと同様にして算出できる。

ここで、サブピクセル対応点ＲＳ１は、例えば、注目階層の画像の画素面積と、探索分解能ＳＲとによって定められるサブピクセル対応点の領域面積によって画像領域が均等に区分された図１７（ｂ）などに例示される各領域の中で、算出されたサブピクセル対応点ＲＳｔの座標が含まれる領域を探索する手法などによって求められる。

これらの設定方法によって、解像度変倍率ＲＲに対して、ＲＲ²＜ＳＲ＜１の範囲に設定される探索分解能ＳＲに対応して、サブピクセル対応点の領域を設定することができる。なお、最上位の参照画像ＲＩＴについては、更に上位の階層が存在しないので、最上位の参照画像ＲＩＴにおけるサブピクセル対応点ＲＳ１として、仮サブピクセル対応点ＲＳｔを採用してもよい。

なお、図１６の例では、自己相関の性質を利用して等角フィッティングを用いるサブピクセル対応点探索処理を行ったが、例えば、２次関数近似などによる他のフィッティング手法や、補間を用いる手法などによってサブピクセル対応点探索処理を行ってもよい。

次に、図１７は、注目階層の参照画像ＲＩｍ上において座標が（Ｘ，Ｙ）で与えられるピクセル対応点（Ｘ，Ｙ）と、その４近傍の画素のピクセル対応点探索の信頼度の大小関係に基づいて、参照画像ＲＩｍ上のサブピクセル対応点の座標を求める手法例を示している。

図１７（ａ）には、ピクセル対応点（Ｘ，Ｙ）とその４近傍の画素（Ｘ−１，Ｙ）、（Ｘ＋１，Ｙ）、（Ｘ，Ｙ−１）および（Ｘ，Ｙ＋１）が示される。ここで、該ピクセル対応点および、該４近傍の画素のピクセル対応点探索の信頼度は、それぞれＲ（Ｘ，Ｙ）、Ｒ（Ｘ−１，Ｙ）、Ｒ（Ｘ＋１，Ｙ）、Ｒ（Ｘ，Ｙ−１）およびＲ（Ｘ，Ｙ＋１）で与えられる。

先ず、サブピクセル対応点を画素サイズの１／３の探索分解能で求める手法例を説明する。

図１７（ｂ）は、画素サイズの１／３の探索分解能でサブピクセル対応点を探索する場合において、該サブピクセル対応点が取り得る９つの座標を示す図である。

図１７（ａ）に示されるピクセル対応点を中心とする水平方向の３つの画素（Ｘ−１，Ｙ）、（Ｘ，Ｙ）および（Ｘ＋１，Ｙ）のそれぞれのピクセル対応点探索の信頼度Ｒ（Ｘ−１，Ｙ）、Ｒ（Ｘ，Ｙ）およびＲ（Ｘ＋１，Ｙ）に対して、（１２）式が成立するならば、サブピクセル対応点の水平座標ＸＳは、図１７（ａ）に示される３つの水平座標のうちでＸであり、（１２）式が成立せず、かつ（１３）式が成立する場合はＸ＋１／３であり、（１２）式が成立せず、かつ（１３）式も成立しない場合はＸ−１／３であるとすることによって、水平座標ＸＳを画素サイズの１／３の探索分解能で定めることができる。ここで、ＴＨ２は、記憶装置９に記憶された所定の閾値である。

同様にして、ピクセル対応点を中心とする垂直方向の３つの画素（Ｘ，Ｙ−１）、（Ｘ，Ｙ）および（Ｘ，Ｙ＋１）のそれぞれのピクセル対応点探索の信頼度Ｒ（Ｘ，Ｙ−１）、Ｒ（Ｘ，Ｙ）およびＲ（Ｘ，Ｙ＋１）に対して、（１４）式が成立するならば、サブピクセル対応点の垂直座標ＹＳは、図１７（ａ）に示される３つの垂直座標のうちでＹであり、（１４）式が成立せず、かつ（１５）式が成立する場合はＹ＋１／３であり、（１４）式が成立せず、かつ（１５）式も成立しない場合はＹ−１／３であるとすることによって、垂直座標ＹＳを画素サイズの１／３の探索分解能で定めることができる。

次に、サブピクセル対応点を画素サイズの１／２の探索分解能で求める手法例を説明する。

図１７（ｃ）は、画素サイズの１／２の探索分解能でサブピクセル対応点を探索する場合において、該サブピクセル対応点が取り得る４つの座標を示す図である。

先ず、図１７（ａ）に示されるピクセル対応点を挟む水平方向の２つの画素（Ｘ−１，Ｙ）および（Ｘ＋１，Ｙ）のそれぞれのピクセル対応点探索の信頼度Ｒ（Ｘ−１，Ｙ）およびＲ（Ｘ＋１，Ｙ）に対して、（１６）式が成立する場合は、サブピクセル対応点の水平座標ＸＳは、図１７（ｃ）に示される２つの水平座標のうちでＸ−１／４であり、（１６）式が成立しない場合は、Ｘ＋１／４であるとすることによって、水平座標ＸＳを画素サイズの１／２の探索分解能で定めることができる。

同様にして、図１７（ａ）に示されるピクセル対応点を挟む水平方向の２つの画素（Ｘ，Ｙ−１）および（Ｘ，Ｙ＋１）のそれぞれのピクセル対応点探索の信頼度Ｒ（Ｘ，Ｙ−１）およびＲ（Ｘ，Ｙ＋１）に対して、（１７）式が成立する場合は、サブピクセル対応点の垂直座標ＹＳはＹ−１／４であり、（１７）式が成立しない場合はＹ＋１／４であるとすることによって、垂直座標ＹＳを画素サイズの１／２の探索分解能で定めることができる。

また、上述した画素サイズの１／２、１／３のサブピクセル分解能でサブピクセル対応点を求める手法例によれば、フィッティングや補間などによってサブピクセル対応点の座標を直接算出することなく、ピクセル対応点の近傍画素の信頼度の大小関係の比較のみによってサブピクセル対応点の座標を決めることができるので、サブピクセル対応点探索処理のコストを低減できる。

◎サブピクセル対応点と１つ上位階層の探索基準点との対応関係：
図１８は、注目階層のサブピクセル対応点と１つ上位階層の探索基準点との対応関係を説明する図である。

また、図１８（ａ）は、注目階層の参照画像ＲＩｍにおいて、画素サイズの１／２の探索分解能でサブピクセル対応点（ＸＳ，ＹＳ）が求められた状態を示している。ここで、参照画像ＲＩｍの水平方向、垂直方向の画素数は、それぞれＸｎ、Ｙｎ、左上隅の画素の座標は（１，１）、参照画像ＲＩｍの左上隅の座標は（０．５，０．５）である。また、ＡＸ、ＡＹは、それぞれ水平方向、垂直方向の画素長を示している。

なお、本実施形態の説明においては、画素や対応点の座標は、画素や対応点の領域の重心（中心）によって与えられるものとする。

図１８（ｂ）は、サブピクセル対応点（ＸＳ，ＹＳ）に基づいて、該注目階層の１つ上位階層の参照画像ＲＩ（ｍ＋１）において、探索基準点（ＸＫ，ＹＫ）が設定された状態を示している。ここで、参照画像ＲＩ（ｍ＋１）の水平方向、垂直方向の画素数は、それぞれＸｍ、Ｙｍ、左上隅の画素の座標は（１，１）、参照画像ＲＩ（ｍ＋１）の左上隅の座標は（０．５，０．５）である。また、ＡＸ'、ＡＹ'は、それぞれ水平方向、垂直方向の画素長を示している。

参照画像ＲＩｍの左上隅とサブピクセル対応点（ＸＳ，ＹＳ）との水平方向長さＬＸＳは、（１８）式によって表され、水平方向長さＬＹＳは、（１９）式によって表される。

参照画像ＲＩ（ｍ＋１）から参照画像ＲＩｍを作成する際の解像度変倍率がＲＲに設定されている場合には、参照画像ＲＩｍと参照画像ＲＩ（ｍ＋１）とを対応づけるために、参照画像ＲＩｍの縮尺は１／ＲＲ倍に拡大される必要がある。このため、（１９）式下のただし書きに示す式によって画素長ＡＸおよびＡＹと画素長ＡＸ'およびＡＹ'との関係が与えられる。

参照画像ＲＩ（ｍ＋１）上に設定される探索基準点（ＸＫ，ＹＫ）の座標は、参照画像ＲＩ（ｍ＋１）のピクセル分解能で表される。従って、参照画像ＲＩ（ｍ＋１）の水平座標ＸＫは、参照画像ＲＩ（ｍ＋１）上に投影された水平方向長さＬＸＳを画素長ＡＸ'で除した後、小数点以下を切り捨てることによって、（２０）式で与えられる。

同様にして、水平座標ＹＫは、（２１）式で与えられる。

◎探索基準点の設定例について：
次に、注目階層の参照画像ＲＩｍ上のサブピクセル対応点ＣＳｍに対する、該注目階層の１つ上位階層の参照画像ＲＩ（ｍ＋１）上の探索基準点Ｋ（ｍ＋１）の設定例を説明する。

Ａ．解像度変倍率の値と探索分解能の値とが等しい場合：
図１９は、解像度変倍率ＲＲと探索分解能ＳＲがともに等しく１／２である場合のサブピクセル対応点ＣＳｍに対する探索基準点Ｋ（ｍ＋１）の設定例を示す図である。

図１９（ａ）には、参照画像ＲＩｍにおいて探索分解能ＳＲが１／２で探索されたサブピクセル対応点ＣＳｍが示され、図１９（ｂ）は、参照画像ＲＩｍの２倍の解像度を有する参照画像ＲＩ（ｍ＋１）を示し、図１９（ｃ）には、参照画像ＲＩ（ｍ＋１）に設定された探索基準点Ｋ（ｍ＋１）が示されている。

ここで、図１９上と後述する図２０〜図２３上の探索基準点Ｋ（ｍ＋１）の座標は、例えば、サブピクセル対応点ＣＳｍの座標を（２０）式、（２１）式に代入することなどによって算出される。

図１９に示されるように、解像度変倍率ＲＲと探索分解能ＳＲとが等しい場合には、サブピクセル対応点ＣＳｍの領域と、探索基準点Ｋ（ｍ＋１）の画素領域とが一致する。すなわち、注目階層の１つ上位の階層の参照画像ＲＩ（ｍ＋１）における探索基準点Ｋ（ｍ＋１）の画素サイズと同じサイズの探索分解能で注目階層の参照画像ＲＩｍにおける対応点ＣＳｍを探索できる。従って、多重解像度画像の階層構成に対して、好適な処理コストで効率的に多重解像度戦略に基づく対応点探索を行うことができる。

また、この場合には、探索基準点Ｋ（ｍ＋１）の設定を省いて、サブピクセル対応点ＣＳｍの座標情報に基づいて参照画像ＲＩ（ｍ＋１）の参照ウィンドウＷ（ｍ＋１）を設定してもよい。

Ｂ．解像度変倍率の値よりも探索分解能の値が小さい場合：
図２０は、解像度変倍率ＲＲが１／２であり、探索分解能ＳＲが１／３である場合のサブピクセル対応点ＣＳｍに対する探索基準点Ｋ（ｍ＋１）の設定例を示す図である。

図２０（ａ）には、参照画像ＲＩｍにおいて探索分解能ＳＲが１／３で探索されたサブピクセル対応点ＣＳｍが示され、図２０（ｂ）は、参照画像ＲＩｍの２倍の解像度を有する参照画像ＲＩ（ｍ＋１）を示し、図２０（ｃ）は、１／ＳＲ倍に拡大された参照画像ＲＩｍを参照画像ＲＩ（ｍ＋１）に重ね、サブピクセル対応点ＣＳｍを参照画像ＲＩ（ｍ＋１）上に投影した図であり、図２０（ｄ）には、参照画像ＲＩ（ｍ＋１）に設定された探索基準点Ｋ（ｍ＋１）が示されている。

また、図２１は、図２０に示すサブピクセル対応点ＣＳｍの設定による効果を説明する図であり、サブピクセル対応点ＣＳｍは、図２０（ｃ）と同じく参照画像ＲＩ（ｍ＋１）上に投影されている。ここで、ピクセル対応点ＣＰ（ｍ＋１）ＴとＣＰ（ｍ＋１）Ｆは、図２０（ｄ）の探索基準点Ｋ（ｍ＋１）に基づいて設定される参照ウィンドウ内でピクセル対応点として探索され得る参照画像ＲＩ（ｍ＋１）上の２つの画素を例示している。

サブピクセル対応点ＣＳｍに、より近いピクセル対応点の方が信頼度が高いと推定されるので、図２１においては、ＣＰ（ｍ＋１）Ｔが正しく探索されたピクセル対応点であり、ＣＰ（ｍ＋１）Ｆが、誤って探索されたピクセル対応点であると推定される。

すなわち、解像度変倍率ＲＲよりも探索分解能ＳＲが細かい場合には、図２１に示されるように、注目階層の１つ上位の階層の参照画像の画素サイズよりも細かい探索分解能で注目階層の参照画像における対応点を探索できるので、注目階層の参照画像で探索された対応点に基づいて注目階層の１つ上位の階層の参照画像上で探索される対応点の信頼度を検証することが可能となり、対応点探索の信頼度を高めることができる。

Ｃ．解像度変倍率の値よりも探索分解能の値が大きい場合：
図２２は、解像度変倍率ＲＲが１／３であり、探索分解能ＳＲが１／２である場合のサブピクセル対応点ＣＳｍに対する探索基準点Ｋ（ｍ＋１）の設定例を示す図である。

図２２（ａ）には、参照画像ＲＩｍにおいて探索分解能ＳＲが１／２で探索されたサブピクセル対応点ＣＳｍが示され、図２２（ｂ）は、参照画像ＲＩｍの３倍の解像度を有する参照画像ＲＩ（ｍ＋１）を示し、図２２（ｃ）は、１／ＳＲ倍に拡大された参照画像ＲＩｍを参照画像ＲＩ（ｍ＋１）に重ね、サブピクセル対応点ＣＳｍを参照画像ＲＩ（ｍ＋１）上に投影した図であり、図２２（ｄ）には、参照画像ＲＩ（ｍ＋１）に設定された探索基準点Ｋ（ｍ＋１）が示されている。

また、図２３は、図２２に示すサブピクセル対応点ＣＳｍの設定による効果を説明する図である。

図２３（ａ）は、図２２（ｃ）に示されるサブピクセル対応点ＣＳｍを、図２２（ｄ）に示される探索基準点Ｋ（ｍ＋１）上に投影した例を示しており、矢印ＶＫは、探索基準点Ｋ（ｍ＋１）の座標からサブピクセル対応点ＣＳｍの座標へ向かう方向に設定された矢印である。

また、図２３（ｂ）は、サブピクセル対応点探索処理を行わない場合における参照画像ＲＩｍ上のピクセル対応点ＣＰｍを、参照画像ＲＩｍの１つ上位階層の、探索基準点Ｋ（ｍ＋１）が設定された参照画像ＲＩ（ｍ＋１）上に、投影した例を示している。

図２３（ｂ）に示されるように、サブピクセル対応点探索処理を行わない場合においては、探索基準点Ｋ（ｍ＋１）とピクセル対応点ＣＰｍのそれぞれの座標が一致している。従って、探索されたピクセル対応点の信頼度が低いために探索基準点Ｋ（ｍ＋１）の位置を修正する必要が生じた場合であっても、ピクセル対応点ＣＰｍの座標や領域情報などに基づいて該修正の方向を推定できない。

これに対して、サブピクセル対応点探索処理を行う場合は、図２３（ａ）に示されるように、探索基準点Ｋ（ｍ＋１）とサブピクセル対応点ＣＳｍのそれぞれの座標がずれているので、探索基準点Ｋ（ｍ＋１）の位置を修正する場合に、例えば、探索基準点Ｋ（ｍ＋１）に対して矢印ＶＫが示す方向の最近傍画素を新たな探索基準点Ｋ（ｍ＋１）とする方法などによって、探索基準点Ｋ（ｍ＋１）の再設定の方向等をサブピクセル対応点ＣＳｍに基づいて推定することができる。

すなわち、注目階層の１つ上位の階層の参照画像における探索基準点の画素サイズよりも粗い探索分解能で探索された注目階層の参照画像における対応点を用いることによって、サブピクセル分解能で対応点を探索しない場合に比べて高い精度で、注目階層の１つ上位の階層の参照画像における探索基準点の位置を推定することができるので、対応点探索に係る処理コストを抑制しつつ、高精度な対応点探索を行うことができる。

◎全体処理フロー：
次に、画像処理装置３Ａが行う多重解像度画像を用いた対応点探索処理の全体処理フローを説明する。

図２４、図２５は実施形態に係る画像処理装置３Ａが行う多重解像度画像を用いた対応点探索処理の手順の概要を示すフローチャートである。

先ず、画像取得部１０は、基準カメラ２１の撮影する画像と参照カメラ２２が撮影する画像とを、それぞれ基準画像ＢＩＴおよび参照画像ＲＩＴとして取得し、記憶部９に記憶する（ステップＳ３０）。

画像の取得が終了すると、多重解像度画像作成部１１は、記憶部９から多重解像度画像の階層数Ｔ、解像度変倍率ＲＲなどの多重解像度画像作成に関係する制御パラメータと、基準画像ＢＩＴ、参照画像ＲＩＴを取得し、該制御パラメータを用いて基準画像ＢＩＴと参照画像ＲＩＴに多段階の低解像度化処理を施して多重解像度基準画像ＭＢと多重解像度参照画像ＭＲを作成し、記憶部９に記憶する（ステップＳ４０）。

多重解像度画像の作成が終了すると、制御部１６は、注目階層が未設定であれば、多重解像度基準画像ＭＢと多重解像度参照画像ＭＲのそれぞれの最下位の基準画像ＢＩ１と参照画像ＲＩ１を注目階層の基準画像ＢＩｍと参照画像ＲＩｍとして新規に設定し、既存の基準画像ＢＩｍと参照画像ＲＩｍがあれば、基準画像ＢＩｍと参照画像ＲＩｍの１つ上位階層の基準画像ＢＩ（ｍ＋１）と参照画像ＲＩ（ｍ＋１）を、それぞれ新たな注目階層の基準画像ＢＩｍと参照画像ＲＩｍとして再設定し、該設定情報を探索基準点設定部１２、対応点探索部１３に送信する（ステップＳ５０）。

注目階層の設定が終了すると、探索基準点設定部１２は、記憶部９から多重解像度画像作成に関係する制御パラメータを取得するとともに、注目階層の基準画像ＢＩｍ、参照画像ＲＩｍを取得する。ここで、最上位の基準画像ＲＩＴ上の注目点は、操作部４などによって基準画像ＲＩＴ上の特徴点上などに予め設定されており、探索基準点設定部１２は、最上位の基準画像ＲＩＴ上の注目点と、制御パラメータによって決定される多重解像度基準画像ＭＢの基準画像間における画素の対応関係とに基づいて、基準画像ＢＩｍ上に注目点Ｎｍを設定し、結果を記憶部９に記憶する（ステップＳ６０）。

注目点の設定が終了すると、探索基準点設定部１２は、記憶部９から参照画像ＲＩｍを取得し、対応点探索処理のための探索基準点Ｋｍを参照画像ＲＩｍ上に設定し、結果を記憶部９に記憶する（ステップＳ７０）。

図２５は、ステップＳ７０の処理の概要を示すフローチャートである。以下で、図２５のフローチャートを用いてステップＳ７０の処理手順を説明する。

探索基準点設定部１２は、先ず、制御部１６によって設定された注目階層情報に基づいて参照画像ＲＩｍを取得し、参照画像ＲＩｍが最下位の参照画像ＲＩ１であるかどうかを確認する（ステップＳ７１０）。

ステップＳ７１０の確認の結果、参照画像ＲＩｍが最下位の参照画像ＲＩ１であるならば、探索基準点設定部１２は参照画像ＲＩｍ上に予め設定された所定の画素（Ｘ０，Ｙ０）を探索基準点Ｋｍとして設定して（ステップＳ７２０）、再び図２４のフローチャートに戻る。ここで、所定の画素（Ｘ０，Ｙ０）は、例えば、参照画像ＲＩｍの全域を参照ウィンドウに設定し得る所定の探索基準点である。

ステップＳ７１０の確認の結果、参照画像ＲＩｍが最下位の参照画像ＲＩ１でないならば、探索基準点設定部１２は、注目階層の１つ下位階層の参照画像ＲＩ（ｍ−１）において、サブピクセル対応点ＣＳ（ｍ−１）が求められているかどうかを確認する（ステップＳ７３０）。

ステップＳ７３０の確認の結果、サブピクセル対応点ＣＳ（ｍ−１）が求められているならば、探索基準点設定部１２は、サブピクセル対応点ＣＳ（ｍ−１）と（２０）式および（２１）式によって、参照画像ＲＩｍ上に探索基準点Ｋｍを設定し（ステップＳ７４０）、再び図２４のフローチャートに戻る。

ステップＳ７３０の確認の結果、サブピクセル対応点ＣＳ（ｍ−１）が求められていないならば、探索基準点設定部１２は、参照画像ＲＩ（ｍ−１）上で求められたピクセル対応点ＣＰ（ｍ−１）と（２０）式および（２１）式によって、探索基準点Ｋｍを設定し（ステップＳ７５０）、再び図２４のフローチャートに戻る。

図２４のフローチャートでは、ステップＳ８０から処理が再開され、対応点探索部１３は、記憶部９から注目階層の基準画像ＢＩｍ、参照画像ＲＩｍ、注目点Ｎｍおよび探索基準点Ｋｍ、ならびに、ウィンドウサイズＷＸ、ＷＹおよび探索分解能ＳＲなどの探索処理パラメータを取得し、ピクセル探索部１３ａは、探索処理パラメータに基づいて基準画像ＢＩｍ上、参照画像ＲＩｍ上に基準ウィンドウＷＢｍ、参照ウィンドウＷＲｍをそれぞれ設定する（ステップＳ８０）。

次に、ピクセル探索部１３ａは、基準ウィンドウＷＢｍ内の画像と参照ウィンドウＷＲｍ内の画像との相関を求めるピクセル対応点探索処理を行って、基準画像ＢＩｍ上の注目点Ｎｍに対応する、参照画像ＲＩｍ上のピクセル対応点ＣＰｍを探索するとともに、ピクセル対応点ＣＰｍの情報と、ピクセル対応点ＣＰｍを求める過程で算出される基準ウィンドウと参照ウィンドウの画像間の相関値を信頼度算出部１４に送信する（ステップＳ９０）。

次に、信頼度算出部１４は、取得した相関値に基づいてピクセル対応点ＣＰｍの信頼度を求め（ステップＳ１００）、信頼度判定部１５は、信頼度が記憶部９に記憶された所定の閾値ＴＨ１以上かどうかを調べる信頼度判定処理を行い、結果を対応点探索部１３に送信する（ステップＳ１１０）。信頼度判定処理の結果、ピクセル対応点ＣＰｍの信頼度が所定の閾値ＴＨ１未満である場合は、制御部１６は、対応点探索処理を終了する。

信頼度判定処理の結果、ピクセル対応点ＣＰｍの信頼度が所定の閾値ＴＨ１以上であるならば、対応点探索部１３のサブピクセル探索部１３ｂは、探索処理パラメータに基づいてピクセル対応点ＣＰｍとその近傍画素それぞれの座標および信頼度を用いるサブピクセル対応点探索処理を行い、参照画像ＲＩｍ上のサブピクセル対応点ＣＳｍを求める（ステップＳ１２０）。

サブピクセル対応点探索処理が終了した場合には、制御部１６は、全階層について対応点探索処理が終了したかどうかを調べて、全階層の探索処理が終了している場合には、対応点探索処理を終了し、全階層の探索処理が終了していない場合には、処理をステップＳ５０に戻す（ステップＳ１３０）。

以上の対応点探索処理の全体処理フローによって、多重解像度戦略に基づく対応点探索処理が下位階層から上位階層に向けて行われ、最終的に、最上位の基準画像ＢＩＴ上の注目点に対応する、参照画像ＲＩＴ上の対応点が求められる。

＜変形例＞
本発明は上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良等が可能である。

◎例えば、信頼度算出部１４と信頼度判定部１５とが協働してピクセル対応点探索処理の信頼度判定およびサブピクセル対応点探索処理の信頼度判定の少なくとも一方を行い、これらの信頼度判定処理の結果、注目階層におけるピクセル対応点探索処理およびサブピクセル対応点探索処理の少なくとも一方の信頼度が低いと判定された場合には、例えば、注目階層の画像と、注目階層の１つ上位階層の画像との中間的な解像度を有する画像を用いることによって、信頼度が低いと判定された注目階層における対応点に基づいた対応点探索を続行しても良い。以下、具体例について説明する。

＜変形例に係る画像処理装置の対応点探索について＞
探索範囲を定める対応点の探索においては、探索範囲内に正しい対応点が存在しなければ、たとえ画素の情報量が多く、かつ、対応点の探索範囲における遠近競合が少ないとしても、対応点の探索は失敗する。

また、既述のように、多重解像度画像においては、より下位の階層の画像であればあるほど、また、多重解像度画像作成時の解像度変倍率が小さければ小さいほど、画像中の各画素の「情報量減少」が生ずるとともに、いわゆる「遠近競合」が探索範囲内で発生しやすくなるため、対応点探索の誤りが発生しやすくなる。

ここで、対応点の探索が失敗した注目階層の探索結果に基づいて、注目階層の１つ上位階層における対応点の探索を続行して、該上位階層における対応点の探索を成功させ得る
手法としては、例えば、上位階層における探索範囲の画素数を増やして探索範囲を拡大することにより、上位階層における画素の情報量を維持したまま、探索範囲内に対応点が存在する確率を高める手法が考えられる。

しかし、この手法では、上位階層における元の探索範囲よりも新たな探索範囲の画角が広くなるため遠近競合が発生しやすく、処理時間も増加する。また、対応点探索部が、例えば、ハードウエア回路によって構成されている場合には、探索範囲の画素数を増やすことは、一般的に、容易ではない。

そこで、変形例においては、注目階層よりも解像度が高く、かつ、注目階層の１つ上位階層の画像よりも解像度が低くなるように、原基準画像および原参照画像がそれぞれ低解像度化された基準画像（「補助基準画像」とも称する）および参照画像（「補助参照画像」とも称する）を設けて、多重解像度基準画像および多重解像度参照画像のそれぞれの階層構造における注目階層と、注目階層の１つ上位の階層との間の階層（「中間階層」とも称する）に位置づける設定を行い、この中間階層において、対応点の探索が失敗した注目階層の探索結果に基づいて、補助参照画像に探索基準点を設定して他の階層と同じ画素数の探索範囲を設け、中間階層における対応点を探索する。

探索の結果、中間階層における探索の信頼度が高い場合には、中間階層で探索された対応点に基づいて注目階層の１つ上位階層での対応点探索を行うとともに、さらに上位の階層における探索処理を逐次行う。

変形例によれば、注目階層の１つ上位階層よりも中間階層の探索範囲の画角を広げることによって、中間階層において、探索範囲内に正しい対応点が存在する確率を、注目階層の１つ上位階層よりも高めることができるとともに、注目階層よりも画素の情報量が多く、かつ、遠近競合が発生しにくい状態で対応点の探索を行うことができるので、中間階層における対応点の探索が成功する確率を高めることができ、従って、多重解像度戦略に基づく対応点の探索が成功する確率を高めることができる。

＜画像処理装置３Ｂの機能＞
図２は、変形例に係る画像処理装置３Ｂの機能ブロックを説明する図である。

図２に示されるように、画像処理装置３Ｂの構成要素は、多重解像度画像作成部１１Ｂ、探索基準点設定部１２Ｂ、信頼度算出部１４Ｂ、信頼度判定部１５Ｂおよび制御部１６Ｂを除き、同じく図２に示される画像処理装置３Ａの構成要素と同じ構成要素を有する。

ここでは、画像処理装置３Ｂの多重解像度画像作成部１１Ｂ、探索基準点設定部１２Ｂ、信頼度算出部１４Ｂ、信頼度判定部１５Ｂおよび制御部１６Ｂの機能について、画像処理装置３Ａにおける各対応する構成要素の機能との差異を説明する。

◎多重解像度画像作成部１１Ｂ：
多重解像度画像作成部１１Ｂは、多重解像度画像作成部１１と異なる機能として、作成された多重解像度基準画像ＭＢおよび多重解像度参照画像ＭＲの、最下層の画像を除く各階層の画像について、解像度変倍率ＲＲ’に基づいて１段階の低解像度化を施すことによって、多重解像度基準画像ＭＢ’および多重解像度参照画像ＭＲ’を作成し、記憶部９に記憶する機能などを有する。

ここで、解像度変倍率ＲＲ’には解像度変倍率ＲＲよりも大きい値が設定される。例えば、解像度変倍率ＲＲが１／４である場合には、解像度変倍率ＲＲ’には、例えば、１／３または１／２などの値が設定される。

従って、多重解像度基準画像ＭＢ’および多重解像度参照画像ＭＲ’の各階層の画像の解像度は、該各階層の画像の作成時の低解像度化の対象となった多重解像度基準画像ＭＢおよび多重解像度参照画像ＭＲの各階層の画像よりも解像度が低く、かつ、該低解像度化の対象となった各画像の１つ下位階層の画像よりも解像度が高くなる。

多重解像度基準画像ＭＢ’および多重解像度参照画像ＭＲ’の画像は、多重解像度基準画像ＭＢの注目基準画像ＢＩｍ上の注目点に対応する多重解像度参照画像ＭＲの注目参照画像ＲＩｍ上の対応点を探索する探索処理が失敗した場合に、失敗した探索結果に基づいて補助基準画像の注目点に対応する補助参照画像の対応点を探索する処理を成功させるために用いられる。

また、上記例のように、多重解像度基準画像ＭＢ’および多重解像度参照画像ＭＲ’を予め作成しておく手法の他に、例えば、対応点の探索処理が失敗するごとに、失敗が発生した注目階層の１つ上位階層の画像に、解像度変倍率ＲＲ’に基づいて１段階の低解像度化を施すことによって、中間階層の補助基準画像および補助参照画像の組を作成する手法などを採用してもよい。

なお、これらの手法によって作成される中間階層の画像は、原基準画像ＢＩＴおよび原参照画像ＲＩＴが、中間階層に対応する注目階層よりも解像度が高く、かつ、該注目階層の１つ上位階層の画像よりも解像度が低くなるように低解像度化された基準画像（補助基準画像）および参照画像（補助参照画像）となる。

◎探索基準点設定部１２Ｂ：
探索基準点設定部１２Ｂは、探索基準点設定部１２と異なる機能として、多重解像度基準画像ＭＢおよび多重解像度参照画像ＭＲの注目階層において、対応点の探索処理が失敗した場合、すなわち、ピクセル対応点探索処理の信頼度が低い、または、サブピクセル対応点探索処理の信頼度が低いと判定された場合に、探索されたピクセル対応点、または該ピクセル対応点に基づいて探索されたサブピクセル対応点に基づいて、該注目階層に対応する補助参照画像上に探索基準点を設定する機能などを有する。

◎信頼度算出部１４Ｂと信頼度判定部１５Ｂ：
信頼度算出部１４Ｂと信頼度判定部１５Ｂは、協働してピクセル対応点探索処理およびサブピクセル対応点探索処理の少なくとも一方の信頼度を判定する機能ブロックである。

具体的には、信頼度算出部１４Ｂは、ピクセル対応点探索処理の信頼度を表す第１の信頼度を算出する第１の信頼度算出処理、およびサブピクセル対応点探索処理の信頼度を表す第２の信頼度を算出する第２の信頼度算出処理の少なくとも一方の処理を行う。

また、信頼度判定部１５Ｂは、第１の信頼度を所定の閾値ＴＨ３と比較して、第１の信頼度が閾値ＴＨ３以上であればピクセル対応点探索処理の信頼度が高いと判定し、そうでなければピクセル対応点探索処理の信頼度が低いと判定する第１の信頼度判定処理、および第２の信頼度を所定の閾値ＴＨ４と比較して、第２の信頼度が閾値ＴＨ４以上であればサブピクセル対応点探索処理の信頼度が高いと判定し、そうでなければサブピクセル対応点探索処理の信頼度が低いと判定する第２の信頼度判定処理の少なくとも一方を行う。ここで閾値ＴＨ３は、画像処理装置３Ａの信頼度判定部１５に係る閾値ＴＨ１に相当する閾値であり、閾値ＴＨ３と閾値ＴＨ４とは、異なる値であってもよいし、同一の値であってもよい。

本実施形態においては、信頼度算出部１４Ｂと信頼度判定部１５Ｂとは、独立した機能ブロックであるが、例えば、対応点探索部１３が信頼度算出部１４Ｂの機能を兼用し、後述する制御部１６Ｂが信頼度算出部１４Ｂの機能を兼用してもよい。

○第２の信頼度の算出処理：
図２６は、信頼度算出部１４Ｂが行う、サブピクセル対応点探索処理の信頼度（第２の信頼度）を求める第２の信頼度算出処理の例を説明する図である。

図２６に示される例では、２次関数を用いたフィッティングによってサブピクセル対応点探索処理の信頼度が求められている。ＲＰ２は、ピクセル探索部１３ａが行うピクセル対応点探索処理によって探索されたピクセル対応点であり、また、ＲＰ１とＲＰ３は、ピクセル対応点を挟んで水平方向（Ｘ方向）に隣り合う隣接画素である。隣接画素ＲＰ１、ピクセル対応点ＲＰ２および隣接画素ＲＰ３のそれぞれに対応する、Ｘ座標Ｘ２−１、Ｘ２およびＸ２＋１ならびにピクセル対応点探索処理の信頼度Ｒ１、Ｒ２およびＲ３は、対応点探索部１３から信頼度算出部１４Ｂに供給されている。なお、信頼度Ｒ２は信頼度算出部１５Ｂが求める第１の信頼度に相当する。

また、関数ｆ１は、図２６に示される隣接画素ＲＰ１、ピクセル対応点ＲＰ２および隣接画素ＲＰ３に対してフィッティングされた２次関数であり、隣接画素およびピクセル対応点の画素座標と、信頼度との関係を示す関数である。関数ｆ１は、（２２）式で示される２次関数に、３点ＲＰ１、ＲＰ２およびＲＰ３のそれぞれのＸ座標と信頼度を代入して、各係数ａ、ｂおよび定数項ｃを求めることによって決定される。

この例では３点に基づいて関数ｆ１を決定しているため、ａ、ｂおよびｃの値は一意的に決定されるが、４点以上を用いる場合には、最小２乗法によって、ａ、ｂおよびｃの値を求めればよい。

関数ｆ１が決定されると、その頂点を求めることによって、仮サブピクセル対応点ＲＳｔのＸ座標ＸＳｔおよび信頼度ＲＳが求められる。なお、図１６の例と同様にの等角フィッティングを用いてＸ座標ＸＳｔおよび信頼度ＲＳを求めてもよい。

ここで、仮サブピクセル対応点ＲＳｔの座標と、仮サブピクセル対応点ＲＳｔに基づいて求められるサブピクセル対応点ＲＳ１の座標との差は、仮サブピクセル対応点ＲＳｔの座標とピクセル対応点ＲＰ２の座標との差に比べて、通常、小さいので、信頼度ＲＳをサブピクセル対応点ＲＳ１の信頼度として採用することができる。また、サブピクセル探索部１３ｂで探索されたサブピクセル対応点ＲＳ１の座標を、求められた関数ｆ１に代入することによってサブピクセル対応点ＲＳ１に対する信頼度を算出してもよい。

また、関数ｆ１をピクセル対応点ＲＰ２と多数の隣接画素に対して、最小２乗法などによって近似的に求める場合には、求められた関数ｆ１とピクセル対応点ＲＰ２および各隣接画素とのずれ量に基づいてサブピクセル対応点ＲＳ１に対する信頼度を求めてもよい。

また、関数ｆ１に基づいて求められたサブピクセル対応点ＲＳ１に対する信頼度に対して、必要に応じて正規化処理などを施したものを、サブピクセル対応点ＲＳ１に対する信頼度として採用しても良い。

以上に説明した各種手法によって、信頼度算出部１４Ｂは、サブピクセル対応点に対する信頼度、すなわち、サブピクセル対応点探索処理についての信頼度（第２の信頼度）を求める第２の信頼度算出処理を行う。

◎制御部１６Ｂ：
制御部１６Ｂは、画像処理装置３Ａの制御部１６と異なる機能として、多重解像度基準画像ＭＢおよび多重解像度参照画像ＭＲの注目階層において対応点探索が失敗した場合、すなわち該注目階層におけるピクセル対応点探索処理の信頼度（第１の信頼度）およびサブピクセル対応点探索処理の信頼度（第２の信頼度）の少なくとも一方が低いと判定された場合に、該注目階層に対応する補助参照画像上に探索基準点を設定するように、探索基準点設定部１２Ｂを制御する機能と、該補助基準画像および該補助参照画像を、多重解像度基準画像ＭＢおよび多重解像度参照画像ＭＲのそれぞれの階層構造において、該注目階層と該注目階層の１つ上位階層の間の階層（中間階層）に位置づける設定をするとともに、この中間階層を新たな注目階層として設定する機能と、この新たな注目階層に設定された中間階層から上位の階層に向けて注目階層を逐次設定しつつ、この中間階層から上位の階層に向けて多重解像度戦略に基づく対応点の探索処理が行われるように探索基準点設定部１２Ｂおよび対応点探索部１３を制御する機能などを有する。

＜画像処理装置３Ｂの動作＞
以下、画像処理装置３Ｂの動作の一例について図を用いて説明する。

図２７は、画像処理装置３Ｂの全体処理フローの例を説明する図である。なお、図２７に示される各ステップの内容は、ステップＳ１０２〜ステップＳ１２８を除いて図２４に示される各ステップと同じであるので、同一内容の処理を行うステップについては、図２４と同一のステップ番号を付して、動作の説明を省略する。

図２７のステップＳ３０〜ステップＳ９０の処理の結果、対応点探索部１３のピクセル探索部１３ａによるピクセル対応点探索処理が行われ、基準ウィンドウＷＢｍ内の画像と参照ウィンドウＷＲｍ内の画像との相関値（信頼度）が複数の対応ずれ量に対して、ＰＯＣ法またはＳＡＤ法などを用いて求められるとともに、最も相関の高い相関値を与える対応ずれ量に対応した画素が、基準画像ＢＩｍ上の注目点Ｎｍに対応する、参照画像ＲＩｍ上のピクセル対応点ＣＰｍとして探索される（ステップＳ９０）。また、ピクセル対応点ＣＰｍおよびその近傍画素についての各座標情報および各相関値は、サブピクセル探索部１３ｂおよび信頼度算出部１４Ｂへと供給される。

信頼度算出部１４Ｂは、供給されたピクセル対応点ＣＰｍに対応する相関値に、必要に応じて正規化などの処理を施してピクセル対応点探索処理の信頼度を表す第１の信頼度として取得する第１の信頼度算出処理を行い（ステップＳ１０２）、取得した第１の信頼度を信頼度判定部１５Ｂへと供給する。

次に、対応点探索部１３のサブピクセル探索部１３ｂは、探索処理パラメータに基づいてピクセル対応点ＣＰｍとその近傍画素それぞれの座標および相関値（信頼度）を用いるサブピクセル対応点探索処理を行い、参照画像ＲＩｍ上のサブピクセル対応点ＣＳｍを探索する（ステップＳ１１８）。

また、信頼度算出部１４Ｂは、ピクセル対応点ＣＰｍおよびその近傍画素についての各座標情報および各相関値に基づいて、サブピクセル対応点ＣＳｍについての相関値（信頼度）を求め、必要に応じて正規化などの処理を施してサブピクセル対応点探索処理の信頼度を表す第２の信頼度として取得する第２の信頼度算出処理を行い（ステップＳ１２１）、取得した第２の信頼度を信頼度判定部１５Ｂへと供給する。

なお、図２７の処理フローは、ピクセル対応点ＣＰｍおよびサブピクセル対応点ＣＳｍの両方が探索されるとともに、信頼度算出部１４Ｂによって第１の信頼度および第２の信頼度の両方が求められる例を示しているが、信頼度算出部１４Ｂは、第１の信頼度または第２の信頼度を求めてもよい。

次に、信頼度判定部１５Ｂは、信頼度算出部１４Ｂから供給された第１の信頼度および第２の信頼度と、記憶部９に記憶された所定の閾値ＴＨ３およびＴＨ４とを用いて、第１の信頼度が閾値ＴＨ３以上かどうかを調べる第１の信頼度判定処理および第２の信頼度が閾値ＴＨ４以上かどうかを調べる第２の信頼度判定処理を行って、第１の信頼度が閾値ＴＨ３未満、または、第２の信頼度が閾値ＴＨ４未満であるか否かを判定し、判定結果を対応点探索部１３に供給する（ステップＳ１２２）。なお、信頼度判定部１５Ｂは、第１の信頼度判定処理および第２の信頼度判定処理の少なくとも一方を行えばよい。

対応点探索部１３に供給された該判定結果は、制御部１６Ｂへと供給され、ピクセル対応点ＣＰｍに係る第１の信頼度が所定の閾値ＴＨ３未満である場合、または、サブピクセル対応点ＣＳｍに係る第２の信頼度が所定の閾値ＴＨ４未満である場合には、処理はステップＳ１２３に移され、そうでない場合には、処理はステップＳ１３０へ移される。

ステップＳ１２３においては、現状の注目階層が、補助基準画像および補助参照画像、すなわち、中間階層であるか否かが制御部１６Ｂによって判定される。判定の結果、注目階層が中間階層であった場合には、中間階層の補助基準画像と補助参照画像とを用いた対応点探索がすでに実施されており、前回の注目階層での対応点探索の失敗に続いて、今回の中間階層での対応点探索も失敗したことになるので、制御部１６Ｂは対応点探索処理を終了する。

また、注目階層が、多重解像度基準画像ＭＢおよび多重解像度参照画像ＭＲのそれぞれの階層構造の最上位の階層である場合には、注目階層に対応する補助基準画像および補助参照画像は存在しないので、制御部１６Ｂは対応点探索処理を終了する。

ステップＳ１２３における判定の結果、現状の注目階層が、中間階層および最上位の階層の何れでもなかった場合には、多重解像度画像作成部１１Ｂは、制御部１６Ｂからの制御に従い、注目階層の１つ上位階層の基準画像および参照画像を記憶部９に記憶された解像度変倍率ＲＲ’に基づいてそれぞれ低解像度することによって、注目階層に対応する補助基準画像および補助参照画像を作成する（ステップＳ１２４）。

なお、既述したように、注目階層に対応する補助基準画像および補助参照画像は、例えば、ステップＳ４０の終了後に、ステップＳ４０で作成された多重解像度基準画像ＭＢおよび多重解像度参照画像ＭＲの、最下層の画像を除く各階層の画像について、解像度変倍率ＲＲ’に基づいて１段階の低解像度化を施すことによって、多重解像度基準画像ＭＢ’および多重解像度参照画像ＭＲ’を予め作成して記憶部９に記憶しておき、ステップＳ１２４においては、注目階層に対応する補助基準画像および補助参照画像を、多重解像度基準画像ＭＢ’および多重解像度参照画像ＭＲ’の中から選択するようにしてもよい。

補助基準画像および補助参照画像が作成されると、探索基準点設定部１２Ｂは、制御部１６Ｂからの制御に従い、ステップＳ９０においてピクセル対応点探索されたピクセル対応点ＣＰｍ、またはステップＳ１１８において探索されたサブピクセル対応点ＣＳｍに基づいて、注目階層に対応する補助参照画像上に探索基準点を設定する（ステップＳ１２６）。

なお、ステップ１０２が終了した時点で、信頼度判定部１５Ｂにおいて、第１の信頼度が閾値ＴＨ３以上か否かを判定して、第１の信頼度が閾値ＴＨ３以上の場合には処理をステップＳ１１８へ移し、第１の信頼度が閾値ＴＨ３未満の場合には処理をステップＳ１２３へと移すとともに、ステップＳ１２４の処理の後、ステップＳ１２６において、ピクセル対応点に基づいて補助参照画像に探索基準点を設定するようにしてもよい。

補助参照画像上の探索基準点の設定が完了すると、制御部１６Ｂは、補助基準画像および補助参照画像を、多重解像度基準画像ＭＢおよび多重解像度参照画像ＭＲのそれぞれの階層構造において、注目階層と注目階層の１つ上位階層の間の中間階層に位置づけて、この中間階層を新たな注目階層として設定した後、ステップＳ８０に処理を移す（ステップＳ１１８）。

また、ステップＳ１３０において、制御部１６Ｂは、全階層について対応点探索処理が終了したかどうかを調べ、全階層の探索処理が終了している場合には、対応点探索処理を終了し、全階層の探索処理が終了していない場合には、処理をステップＳ５０に戻す。

以上の動作によって、変形例に係る画像処理装置３Ｂは、注目階層における対応点の探索が失敗した場合であっても、探索が失敗した注目階層の探索結果に基づいて、注目階層に対応する中間階層での対応点の探索を行うことによって、多重解像度戦略に基づく対応点の探索が成功する確率を高めることができる。

１Ａ ３次元形状測定装置
２ ステレオカメラ
３Ａ，３Ｂ 画像処理装置
４ 操作部
５ 表示部
６ 通信部
７ 入出力部
８ 記憶媒体
９ 記憶部
１０ 画像取得部
１１，１１Ｂ 多重解像度画像作成部
１２，１２Ｂ 探索基準点設定部
１３ 対応点探索部
１３ａ ピクセル探索部
１３ｂ サブピクセル探索部
１４，１４Ｂ 信頼度算出部
１５，１５Ｂ 信頼度判定部
１６，１６Ｂ 制御部
２１，２２ 撮像系
ＤＬ データ線
ＯＢ 測定対象物
ＢＩＴ，ＢＩ（Ｔ−１），ＢＩ（ｍ＋１），ＢＩｍ，ＢＩ１ 基準画像
ＲＩＴ，ＲＩ（Ｔ−１），ＲＩ（ｍ＋１），ＲＩｍ，ＲＩ１ 参照画像
ＭＢ 多重解像度基準画像
ＭＲ 多重解像度参照画像
Ｎｍ，Ｎ（ｍ＋１） 注目点
ＣＰｍ，ＣＰｍＴ，ＣＰｍＦ ピクセル対応点
ＣＳｍ，ＲＳ１ サブピクセル対応点
ＲＳｔ 仮サブピクセル対応点
Ｋｍ，Ｋ（ｍ＋１），Ｋ（ｍ＋１）Ｔ，Ｋ（ｍ＋１）Ｆ 探索基準点
ＷＢｍ 基準ウィンドウ
ＷＲｍ 参照ウィンドウ
Ｗｇ 探索ウィンドウの重心
ＲＲ 解像度変倍率
ＳＲ 探索分解能
ＷＳＸ，ＷＳＹ 探索ウィンドウサイズ
Ｒ１，Ｒ２，Ｒ３ 信頼度
ＡＸ，ＡＹ，ＡＸ'，ＡＹ' 画素長

Claims (7)

1. ２枚以上の入力画像のうちの１の入力画像を原基準画像、他の入力画像を原参照画像として取得する画像取得手段と、
   上位階層から下位階層に向かうにつれて解像度が低くなるように、前記原基準画像と前記原参照画像とを低解像度化することによって、解像度の異なる複数の基準画像と複数の参照画像とをそれぞれ階層的に生成する多重解像度画像作成手段と、
   前記複数の基準画像と前記複数の参照画像とのうち、同じ注目階層に属する画像を注目基準画像と注目参照画像として、前記注目基準画像の注目点に対応する前記注目参照画像の対応点を探索する探索処理の基準となる探索基準点を、前記注目参照画像に設定する探索基準点設定手段と、
   前記探索基準点を基準とする前記探索処理を行うことによって、前記対応点を探索する対応点探索手段と、
   前記複数の基準画像と前記複数の参照画像とのそれぞれの階層構造において、前記注目階層を下位の階層から上位の階層に向けて逐次設定することによって、前記探索処理が下位の階層から上位の階層に向けて逐次実行されるように前記探索基準点設定手段と前記対応点探索手段とを制御する制御手段と、
   を備え、
   前記対応点探索手段は、前記注目参照画像における前記対応点を、前記注目参照画像の画素サイズよりも小さいサイズを持ったサブピクセルを画像表現単位とするサブピクセル分解能で探索するとともに、
   前記探索基準点設定手段は、前記サブピクセル分解能で探索された前記対応点に基づいて、前記注目階層の１つ上位の階層の参照画像における探索基準点を設定することを特徴とする画像処理装置。
2. 請求項１に記載された画像処理装置であって、
   前記多重解像度画像作成手段は、前記注目階層の１つ上位の階層の基準画像および参照画像に対する前記注目基準画像および前記注目参照画像の解像度が、１よりも大きな実数ｒを用いて、１／ｒと表されるように前記低解像度化を行うとともに、
   前記対応点探索手段は、前記注目参照画像の画素サイズの１／ｒ²より粗く、かつ、前記注目参照画像の画素サイズより細かい探索分解能で、前記注目参照画像における前記対応点を探索することを特徴とする画像処理装置。
3. 請求項２に記載された画像処理装置であって、
   前記対応点探索手段は、前記実数ｒを用いて、前記注目参照画像の画素サイズの１／ｒで表わされる探索分解能で、前記注目参照画像における前記対応点を探索することを特徴とする画像処理装置。
4. 請求項２に記載された画像処理装置であって、
   前記対応点探索手段は、前記実数ｒを用いて、前記注目参照画像の画素サイズの１／ｒで表わされる探索分解能よりも細かい探索分解能で、前記注目参照画像における前記対応点を探索することを特徴とする画像処理装置。
5. 請求項２に記載された画像処理装置であって、
   前記対応点探索手段は、前記実数ｒを用いて、前記注目参照画像の画素サイズの１／ｒで表わされる探索分解能よりも粗い探索分解能で、前記注目参照画像における前記対応点を探索することを特徴とする画像処理装置。
6. 請求項１に記載された画像処理装置であって、
   前記対応点探索手段は、
   前記注目参照画像の画素サイズであるピクセル分解能で、前記注目基準画像の注目点に対応する前記注目参照画像における画素サイズのピクセル対応点を探索するピクセル対応点探索処理を行うピクセル探索手段と、
   前記ピクセル対応点に基づいて、前記サブピクセル分解能で、前記注目参照画像の対応点を探索するサブピクセル対応点探索処理を行うサブピクセル探索手段とを有するとともに、
   前記画像処理装置は、
   前記ピクセル対応点の探索結果に基づいて、前記ピクセル対応点の探索精度を示す信頼度を算出する信頼度算出手段と、
   前記信頼度が所定の値よりも低いか否かを判定する信頼度判定手段と、
   を更に備え、
   前記信頼度判定手段によって、前記信頼度が所定の値よりも低いと判定された場合には、前記対応点探索手段の前記サブピクセル探索手段は、前記サブピクセル対応点探索処理を不能化することを特徴とする画像処理装置。
7. 請求項１に記載された画像処理装置であって、
   前記対応点探索手段は、
   前記注目参照画像の画素サイズであるピクセル分解能で、前記注目基準画像の注目点に対応する前記注目参照画像における画素サイズのピクセル対応点を探索するピクセル対応点探索処理を行うピクセル探索手段と、
   前記ピクセル対応点に基づいて、前記サブピクセル分解能で、前記注目参照画像の対応点を探索するサブピクセル対応点探索処理を行うサブピクセル探索手段とを有するとともに、
   前記画像処理装置は、
   前記ピクセル対応点探索処理の探索結果に基づく、前記ピクセル対応点の探索精度を示す第１の信頼度、および前記サブピクセル対応点探索処理の探索結果に基づく、前記注目参照画像の前記サブピクセル分解能で探索された対応点の探索精度を示す第２の信頼度の少なくとも一方を算出する信頼度算出手段と、
   前記第１の信頼度が第１の所定の値より低いか否か、および前記第２の信頼度が第２の所定の値より低いか否かの少なくとも一方を判定する信頼度判定手段と、
   を更に備え、
   前記多重解像度画像作成手段は、前記注目階層の１つ上位の階層の基準画像および参照画像より解像度が低く、かつ、前記注目基準画像および前記注目参照画像よりも解像度が高くなるように前記原基準画像および前記原参照画像がそれぞれ低解像度化された画像である補助基準画像および補助参照画像を生成し、
   前記信頼度判定手段によって、前記第１の信頼度が前記第１の所定の値より低い、または前記第２の信頼度が前記第２の所定の値より低いと判定された場合には、
   （ａ）前記探索基準点設定手段は、前記注目参照画像の前記ピクセル対応点または前記注目階層の前記サブピクセル分解能で探索された対応点に基づいて、前記補助基準画像の注目点に対応する前記補助参照画像の対応点を探索する処理の基準となる探索基準点を、前記補助参照画像に設定し、
   （ｂ）前記制御手段は、前記補助基準画像および前記補助参照画像を、前記複数の基準画像と前記複数の参照画像とのそれぞれの階層構造において、前記注目階層と前記注目階層の１つ上位階層との間の中間階層として設定するとともに、前記注目階層を前記中間階層から上位の階層に向けて逐次設定することによって、前記探索処理が前記中間階層から上位の階層に向けて逐次実行されるように前記探索基準点設定手段と前記対応点探索手段とを制御することを特徴とする画像処理装置。

Images