JP2005216191A - ステレオ画像処理装置およびステレオ画像処理方法 - Google Patents

Abstract

【課題】 ステレオ画像の撮影ごとに等輝度画面を撮影したり、周辺光量低下の変化に大きく影響する撮影パラメータをいちいち記録したりすることなく、ステレオ画像における対応点抽出精度を向上させる。
【解決手段】 ステレオ撮影光学系を用いて得られたステレオ画像間における対応点を表す第１の対応点情報を求める（Ｓ９１）一方、ステレオ画像における周辺光量の低下を補正するためのデータ群を記憶手段に記憶する（Ｓ９２）。さらに、第１の対応点情報と該対応点の画素値情報とを用いて上記データ群から特定のデータを選択し（Ｓ９３）、該特定のデータを用いてステレオ画像の補正を行う（Ｓ９４）。そして、補正されたステレオ画像間の対応点を表す第２の対応点情報を求める（Ｓ９５）。
【選択図】 図９

Description

本発明は、ステレオ画像から奥行き情報や視差情報等を抽出するために行われるステレオ画像処理に関するものである。

従来、コンピュータビジョンの理論を用いた技術として、物体の３次元形状を復元する技術や、画像を撮影した視点以外の仮想視点における仮想視点画像を生成する技術が存在する。該３次元形状復元および仮想視点画像生成を行うためには、対象物体についての２視点以上の視点で撮影したステレオ画像が必要となる。

さらに、３次元形状復元および仮想視点画像生成を行うためには、ステレオ画像から視差情報もしくは奥行き情報を抽出する処理を行う必要がある。視差情報および奥行き情報は、３次元形状抽出技術や仮想視点画像生成技術といったコンピュータビジョンの技術には必要不可欠な情報である。そして、視差情報もしくは奥行き情報を抽出するためには、ステレオ画像間に含まれる同一空間点の各ステレオ画像への射影像である対応点の対応付け、すなわち対応点抽出処理（特許文献１参照）が行われることが前提となる。

さらに、対応点抽出処理においてより多くの画素についての信頼性のある対応点情報を求めることは、コンピュータビジョン技術の高品位化およびロバスト化につながる。
ステレオ画像を撮影するための方法には、１台のカメラを移動させて撮影する方法や、複数台のカメラを使用する方法、ステレオ撮像装置を用いて画像を撮影する方法がある。その中でもステレオ撮像装置を用いて撮影する方法は、ステレオ撮影光学系という特殊なデバイスを必要とするが、１台のカメラのみにより、複数視点における動きのあるシーンに対するステレオ画像を一度に撮影することができるという大きな利点を持つ。

ここで、ステレオ撮影光学系は、像面を２分割あるいはそれ以上に分割して、それぞれの分割領域に異なる視点位置における被写体像を投影する光学系である。ステレオ撮影光学系は、撮像装置の前面に付加されたり、撮像装置の光学系の構成に含まれたりする。このため、カメラの制御機構は１つであり、フォーカス、焦点距離、露出、ホワイトバランスなどの撮影パラメータもステレオ画像間で同一の値を用いることができる。

そして、ステレオ撮影光学系を用いて撮影したステレオ画像間で対応点探索を行うことにより、３次元形状抽出および仮想視点画像生成等の技術に必要な対応点情報が得られる。

しかし、ステレオ撮影光学系も、通常のレンズを含む撮影光学系と同様に結像光学系を含むことから、光学系のシェーディング、口径触、歪曲収差等の影響により、周辺光量低下の影響を受ける。

これらの周辺光量低下の原因は、広角側ではCos４乗則を主要因とし、望遠側では口径触を主要因とする。

そしてこれらの周辺光量低下の影響に対して、通常の撮影光学系においては、等輝度面の撮影画像を用いた補正手法や、周辺光量低下の現象を記述するレンズカメラモデルを想定し、撮影時における撮像パラメータを用いて周辺光量低下の影響の補正データを生成し、補正する方法が一般的に知られている。

通常の撮影光学系を用いた場合の周辺光量低下の補正手法として、まず、等輝度面の画像データを用いた周辺光量低下の補正手法について説明する。この方法では、被写体を撮影する撮影装置と同じ撮影装置および撮影パラメータを用いて、図８のような配置のもとで等輝度面を撮影し、等輝度面画像データを得る。そして、撮影した被写体画像に対して該等輝度面画像データ分を減算もしくは該等輝度面画像データで除算等する単純な演算処理により、被写体画像上に生じる周辺光量低下の影響を補正する。

また、他の手法では、周辺光量低下の現象を記述するレンズカメラモデルを想定し、被写体撮影時の撮影パラメータを用いて、周辺光量低下の影響を補正するための補正データを生成する。そして、該補正データを被写体画像に適用することによって、周辺光量低下の補正を行う。

撮影光学系の焦点距離、絞り値、画像中心位置、画素サイズ等の撮影パラメータが既知の場合には、レンズカメラモデルの画像生成過程から補正データを生成する補正式を導き出し、周辺光量低下の補正を行うことにより良好な結果が得られる場合がある。周辺光量低下の影響はＣｏｓ４乗則、口径触、レンズの湾曲収差、フレア、絞りの斜め効果、光の入射角度によるガラスの透過率の変化等の複合要因により引き起こされるが、これらを考慮したレンズカメラモデルの画像生成過程からその補正式が導き出される。

非特許文献１に述べられているように、例えば、被写体画像を撮影した撮像装置を構成する光学系が、画角の大きい広角レンズであったり、ズームレンズの広角側であったりする場合には、Ｃｏｓ４乗則が周辺光量低下の主原因と考えられる。Ｃｏｓ４乗則の影響は、光学系を単レンズで置き換えた場合のレンズの直径をｄ、入射光がレンズの光軸となす角度をθ、レンズの焦点距離をｆ、物体表面の放射輝度をＬ、画像平面上の放射照度をＥとして以下のように表される。

よって、Ｅ′を周辺光量低下の補正後の画像とすると、

に従って、周辺光量低下の影響を補正することができる。

この場合、撮影画像中に画像中心（ｘ_０，ｙ_０）を設定し、画像中の注目画素（ｘ，ｙ）の画素値Ｉ（ｘ，ｙ）に対し、

により補正後の注目画素の画素値Ｉ′（ｘ，ｙ）を求めることができる。

焦点距離ｆ、画像中心（ｘ_０，ｙ_０）は被写体の画像を撮影した時点における撮像装置の撮影パラメータより求められる。また、焦点距離ｆは撮影パラメータの１つである画素サイズにより画像座標に正規化される。

上記補正式（３）により、被写体画像Ｉに周辺光量低下の補正を行い、補正被写体画像Ｉ′を得ることができる。

また、被写体画像を撮影した撮像装置を構成する光学系が焦点距離の長い望遠レンズであったり、ズームレンズの望遠側であったりする場合、周辺光量低下の主原因は口径触であると考えられる。通常の撮像光学系に対する口径触の影響は、例えば非特許文献２にて提唱されている「可変円筒モデル」を用いた場合に忠実に記述することができる。

「可変円筒モデル」および光学系の撮影パラメータを用いた周辺光量低下の補正手法は、Ｃｏｓ４乗則の場合と同じように、撮影パラメータと、カメラモデルにより補正式Ｐ（ｐ，ｘ，ｙ）を導き出すことができる。そして、

により、被写体画像Ｉに周辺光量低下の補正を行い、補正被写体画像Ｉ′を得ることができる。ここで、ｐは撮影パラメータ、（ｘ，ｙ）は被写体画像上における画像中の注目画素の座標である。撮影パラメータは、

と表される様に、周辺光量低下に影響する各撮影パラメータの組であるとする。ｆは焦点距離、ａは光学系の絞り値とする。なお、可変円筒モデルを用いた補正式の詳細については非特許文献２に詳しく述べられている。

このように、撮像装置の撮影パラメータが既知の場合、口径触が周辺光量低下の主原因と考えられる場合も、Ｃｏｓ４乗則が周辺光量低下の主原因と考えられる場合と同様に、撮影光学系についてカメラモデルの画像生成過程から周辺光量低下の補正のための補正式を想定し、利用することにより、周辺光量低下のデータを計算し、周辺光量低下を補正した被写体画像Ｉ′を得ることができる。

つまり、周辺光量低下の影響を記述する何らかのカメラモデルを想定できる場合、該カメラモデルと周辺光量低下の影響を受けた画像を撮影した際の撮像装置の撮影パラメータを利用することにより、周辺光量低下の影響を補正できる。
特開平８−２３３５２７号公報（段落００２９〜００５１、図２〜図５） 天野晃,浅田尚紀,馬場雅志「ズームレンズの光学的ひずみの解析と補正-可変円筒モデルを用いた口径触現象の解析と画像周辺部明度低下の補正」（電子情報通信学会論文誌D-II Vol.J80-D-II No.6 pp.1458-1465 1997.6） 松山隆司,久野義徳,井宮淳「コンピュータビジョン：技術評論と将来展望」新技術コミュニケーションズ，第3章 カメラキャリブレーション

しかし、撮影光学系がズーミング機能を備えている場合に、焦点距離を変化させたり、撮影パラメータの１つである絞り値を極端に変化させたりすると、周辺光量低下の影響が大きく変化してしまう。従って、先に述べた周辺光量低下の補正手法は、焦点距離もしくは絞り値等、周辺光量低下に大きく影響する撮影パラメータが変化しないことを前提としているといえる。

このため、ズーミング機能を備えた撮影光学系に対して先に述べた周辺光量低下の補正方法を適用して良好な周辺光量低下の補正を行うことを考えた場合、広角側ではステレオ画像の撮影のたびに等輝度画面の画像を撮影するか、補正時に被写体画像の撮影時と同一の撮影パラメータにより等輝度画面の画像を撮影して用意するか、若しくは同一の撮影パラメータを用いてカメラモデルから補正データを生成するために、ズーミング値や焦点距離を記録しておく等の必要がある。

また、修正モデルパラメータとカメラの撮影パラメータ間には煩雑な較正が必要となり、現実的ではない。ましてや、周辺光量低下に光学系の絞り値までもが影響してくる望遠側においては、絞り値までも撮影のたびに記録する必要が生じ、さらに煩雑さが増加する。
近年のデジタルカメラ等の撮像装置では、これらの撮影パラメータを特定の画像フォーマットを利用して記録するものも出現している。しかし、画像フォーマットをビットマップのような未対応フォーマットに変換する際に情報が消失してしまう問題や、誤差や撮像装置特有のオフセットが、記録された撮影パラメータに含まれているために、これを補正にそのまま用いることができないという問題がある。

また、ステレオ撮影光学系を用いた場合、撮像面上に投影される複数視点に対応したステレオ画像において、同一空間点の各ステレオ画像への射影点である対応点間であっても、撮影光学系に起因した周辺光量低下の影響により輝度差もしくは色差が生じてしまう。

対応点探索手法の多くは、同一空間点の各ステレオ画像への射影像である対応点は同じか若しくは近い画素値を持つことを前提として対応点探索を行う。したがって、周辺光量低下の影響は、対応点探索性能の低下につながり、対応点探索により求められる対応点の数が減少したり、誤った対応点を抽出する可能性が高くなったりする。抽出対応点情報の減少や誤対応点抽出の増加は、３次元形状復元や仮想視点画像生成等の品質の低下につながる。

本発明は、ステレオ画像の撮影ごとに等輝度画面を撮影したり、周辺光量低下の変化に大きく影響する撮影パラメータをいちいち記録したりすることなく、ステレオ画像に対する良好な周辺光量低下補正を行い、対応点抽出精度を向上させることができるようにしたステレオ画像処理装置およびステレオ画像処理方法を提供することを目的とする。

従来の方法で述べたように、同一空間点の各ステレオ画像への射影点である対応点は、光学的歪が生じない限り、画素値について同じ値もしくは非常に近い値を持つはずである。

従って、周辺光量低下の影響についての補正をおこなった結果においては、該対応点間の画素値の差、具体的には、輝度差もしくは色差がもっとも小さな補正結果が良好な補正結果であるといえる。

よって上記目的を達成するために、本発明においては、第１の対応点探索により求めた、ステレオ画像間の部分的な対応点情報とそれぞれ対応点の画素値情報を周辺光量低下の補正結果の評価値として用いることにより、ステレオ画像の撮影時に、焦点距離、絞り値等の頻繁に変化するパラメータを記録することなく、良好な周辺光量低下の補正を可能にする。

具体的には、第１の発明では、ステレオ撮影光学系を用いて得られたステレオ画像間における対応点を表す第１の対応点情報を求める一方、ステレオ画像における周辺光量の低下を補正するためのデータ群を記憶手段に記憶する。さらに、第１の対応点情報と該対応点の画素値情報とを用いて上記データ群から特定のデータを選択し、該特定のデータを用いてステレオ画像の補正を行う。そして、補正されたステレオ画像間の対応点を表す第２の対応点情報を求める。

また、第２の発明では、ステレオ撮影光学系を用いて得られたステレオ画像間における対応点を表す第１の対応点情報を求め、第１の対応点情報と該対応点の画素値情報とを用いてステレオ撮像光学系の撮影パラメータを推定する。さらに、該推定された撮影パラメータを用いてステレオ画像における周辺光量の低下を補正するための補正情報を生成し、該生成した補正情報を用いてステレオ画像の補正を行う。そして、補正されたステレオ画像間の対応点を表す第２の対応点情報を求める。

また、第３の発明では、ステレオ撮影光学系を用いて得られたステレオ画像に対して歪み補正および微分処理のうち少なくとも１つを含む前処理を施して前処理画像を生成し、該前処理画像間における対応点を表す第１の対応点情報を求める。また、ステレオ画像における周辺光量の低下を補正するための画像データ群を記憶手段に記憶する。さらに、第１の対応点情報をステレオ画像に投影し、該投影した対応点情報と該投影対応点の画素値情報とを用いて上記データ群から特定のデータを選択し、該特定のデータを用いてステレオ画像の補正を行う。そして、補正されたステレオ画像間の対応点を表す第２の対応点情報を求める。

また、第４の発明では、ステレオ撮影光学系を用いて得られたステレオ画像に対して歪み補正および微分処理のうち少なくとも１つを含む前処理を施して前処理画像を生成すし、該前処理画像間における対応点を表す第１の対応点情報を求める。さらに、第１の対応点情報と該対応点の画素値情報とを用いてステレオ撮像光学系の撮影パラメータを推定する。そして、該推定された撮影パラメータを用いてステレオ画像における周辺光量の低下を補正するための補正情報を生成し、該生成した補正情報を用いてステレオ画像の補正を行い、該補正されたステレオ画像間の対応点を表す第２の対応点情報を求める。

本発明によれば、ステレオ光学系を有した撮像系で撮影したステレオ画像間の対応点探索で問題となる、撮影光学系により生じる光学的歪みを補正した上で対応点探索を行うので、対応点探索精度をより向上させることができる。

また、ステレオ撮影光学系を用いて同一撮像面内に投影され、撮影されたステレオ画像の同一空間点の各ステレオ画像への射影点である対応点間に生じる色差の影響を除去するために、周辺光量低下の補正を行うことより、視差情報算出もしくは奥行き情報算出の前提となる対応点探索精度の向上を図ることができる。

しかも、同時に、周辺光量低下の影響を補正したステレオ画像を得ることができる。

以下、図面を参照しながら本発明の実施例を説明する。

図１６には、本発明の実施例１であるステレオ画像処理システムの構成を示す。本システムは、撮像系１０１と、画像処理装置１０２と、固定記憶部１０３とりより構成されている。

撮像系１０１は、ステレオ撮影光学系を含み、図２に示すような構成例が挙げられる。２０はステレオアダブタに搭載されたステレオ撮影光学系、２１はカメラである。ステレオ撮影光学系２０は、被写体Ｏからの光束を左右に所定距離離れて配置された第１および第２のミラー２０ａ，２０ｂで反射する。第１および第２のミラー２０ａ，２０ｂで反射した光束はそれぞれ、第３および第４のミラー２０ｃ，２０ｄを介してカメラ２１に導かれる。第１および第３のミラー２０ａ，２０ｃで構成される第１の光学系の光軸Ｌ１と、第２および第４のミラー２０ｂ，２０ｄで構成される第２の光学系の光軸Ｌ２とは、被写体Ｏの位置の近傍で交差（輻輳）する。

カメラ２１には、上記第３および第４のミラー２０ｃ，２０ｄからの入射光束を結像させる光学系２１ａと、該光学系２１ａにより形成された被写体像を光電変換するＣＣＤやＣＭＯＳセンサ等からなる撮像素子（光電変換素子）２１ｂとから構成されている。なお、図２には、光学系２１ａを１枚のレンズとして示しているが、実際には複数枚のレンズにより構成されていてもよい。そして、この光学系２１ａに含まれるレンズのうち一部を光軸方向（図中に１点鎖線で示す方向）に移動させることにより、ズーミングが可能である。

撮像素子２１ｂ上には第３および第４のミラー２０ｃ，２０ｄからの２つの光束がそれぞれ結像する。これにより、図１等に示すように、撮像素子２１ｂの左右２つの領域に２つの被写体像が形成される。これら２つの被写体像は、第１および第２のミラー２０ａ，２０ｂ間の距離だけ離れた２つの視点から同じ被写体を観察したときに見える像に相当し、これら２つの被写体像を撮像素子２１ｂを用いて同時に撮像することで得られた２つの画像が、互いに対をなすステレオ画像となる。

画像処理装置１０２は、コントローラとしてのＣＰＵ１２１と、入力データバッファメモリ１２２と、等輝度画像情報メモリ１２３と、周辺光量補正画像メモリ１２４と、対応点情報メモリ１２５とを含んで構成されている。

ＣＰＵ１２１は、撮像系１０１から取得したステレオ画像に対して、第１対応点探索（以下、初期対応点探索という）、周辺光量補正演算および第２対応点探索（以下、単に対応点探索という）を行う中央演算処理ユニットである。

入力データバッファメモリ１２２は、撮像系１０１によって取得されたステレオ画像（入力データ）を保存する。但し、入力データは、直接撮像系１０１によって取得されたデータではなく、撮像系１０１により取得された後、画像ファイルに変換されて保存されたデータファイル１０５でもよい。

等輝度画像情報メモリ１２３は、撮像系１０１（カメラ２１）において設定可能な撮影パラメータの各値について、該撮像系１０１によって取得された複数の等輝度面の画像データ（以下、等輝度面画像データという）を保存する。但し、等輝度面画像データは、被写体Ｏのステレオ画像を撮影する撮像系によって取得されたデータではなく、同様の性能を持つ別の撮像系によって取得された画像データ１０６であってもよい。また、周辺光量低下の影響を、背景技術で説明したようなモデルに従って、設定可能な撮影パラメータの各値について計算した結果を表した二次元配列データであってもよい。

また、等輝度画像情報メモリ１２３は、各等輝度面画像データについて周辺光量補正演算の際に得られた評価値を、各等輝度面画像データに関連付けて保存する。

周辺光量補正画像メモリ１２４は、周辺光量補正演算により計算された、ステレオ画像から周辺光量の影響が除去された補正後ステレオ画像を保存する。

対応点情報メモリ１２５は、初期対応点探索および対応点探索により計算された対応点情報を保存する。

固定記憶部１０３は、画像処理装置１０２からの出力データである補正後ステレオ画像および対応点情報を保存する不揮発性メモリである。

図９には、本実施例における周辺光量補正処理および対応点抽出処理の方法および手順のフローチャートを示している。これらの処理の制御は、ＣＰＵ１２１が内蔵メモリに格納されたプログラム（ステレオ画像処理プログラム）に従って実行するものである。

ステップ（図ではＳと略す）９０では、ＣＰＵ２２１は、図２に示したステレオ撮影光学系２０を含む撮像系１０１により撮像されたステレオ画像を取得する。

ステレオ撮影光学系２０はミラー２０ａ〜２０ｄにより構成され、周辺光量低下の主原因となるレンズを含まないことから、ミラーに歪や反射率の角度依存性がないとすると、ステレオ撮影光学系２０の撮影パラメータの変化に起因する周辺光量低下の影響は生じない。このため、撮像系１０１のうちカメラ２１に設けられた、レンズを含む光学系２１ａによって、ほぼ図６に示すような周辺光量低下の影響を生じる。このような撮像系１０１の場合、カメラ２１の光学系２１ａのズーミング値（焦点距離）が変化したり、絞り値が変化したりすると、図１３に示すように、ステレオ画像における周辺光量低下の影響が変化する。

したがって、図１のＳＩ１０のような周辺光量低下の不定な影響を含むステレオ画像が得られる。ＣＰＵ１２１は、このステレオ画像を入力データバッファメモリ１２２に保存する。

次に、ステップ９１では、図３から図４に示すように、取得したステレオ画像ＳＩ１０を個々の画像Ｉ４０、Ｉ４１に分割し、そのうち一方を基準ステレオ画像、他方を参照ステレオ画像とする。そして、これらステレオ画像間で初期対応点探索を行い、信頼性の高い粗な対応点情報を得る。例えばＩ４０を基準ステレオ画像とした場合、Ｉ４１は参照ステレオ画像となる。

初期対応点探索においては、信頼性の高い部分的な対応点情報を得るために、対応点探索を行う画素を限定して選択し、対応点探索を行う。これにより、周辺光量低下の影響を受けにくい確かな対応点を得る。

また、初期対応点探索を行う画素の選択は、水平および垂直方向についてそれぞれｓｏｂｅｌフィルタを基準ステレオ画像に適用してエッジ画像を生成し、エッジ画像内で、微分値である画素値の水平方向の値および垂直方向の値が、エッジ点とみなすためのある閾値を超えている画素を閾値処理により選択する。

本実施例においては、ｓｏｂｅｌフィルタおよび閾値処理を用いて対応点探索をする画素の選択を行う方法を利用するが、対応点探索を行う画素の選択には、ステレオ画像間における照度差や、ノイズの混入にロバストなエッジやコーナーを選択する手法であればどのような手法を用いてもよい。

本実施例では、初期対応点探索を、選択された対応点探索の基準点に対し、テンプレートマッチングを適用して行う。図７において、左の画像Ｉ７０を基準ステレオ画像、右の画像Ｉ７１を参照ステレオ画像とした場合の対応点探索の様子を示す。基準ステレオ画像Ｉ７０中のあるドットが対応点を求める基準点Ｐ７３であるとする。そして、その周辺の正方形で囲まれた領域Ｒ７２をテンプレートとする。そして、参照ステレオ画像Ｉ７１中において対応点探索を行う。対応点探索範囲Ｒ７４は、参照ステレオ画像Ｉ７１中に任意に設定される。

本実施例における対応点探索範囲Ｒ７４は、ほぼ平行視となるような一対のステレオ画像が得られている場合を想定し、基準点Ｐ７３と同じｙ座標を持つ参照ステレオ画像Ｉ７１上のスキャンラインに沿った水平方向の所定の範囲に設定する。また、撮影したシーンの距離範囲等の奥行き情報が予め与えられているときは、それに従い、水平方向の探索範囲をできるだけ限定することが、対応点探索の誤対応防止のためには望ましい。

対応点探索範囲Ｒ７４中の対応点候補Ｐ７５の個々について、基準点Ｐ７３との相関値を求める。対応点候補Ｐ７５の周囲に基準点の周囲に設定したテンプレートＲ７２と参照ステレオ画像Ｉ７１中のスケールで同サイズ相当のウィンドウＷ７６を設定し、基準ステレオ画像Ｉ７０におけるテンプレートＲ７２との相関値をそれぞれ求めていく。

そして、最も相関が高い対応点候補点Ｐ７５を対応点とする。相関値の演算は、テンプレートＲ７２およびウィンドウ領域にＷ７６について画素値の正規相互相関や、画素値の差分和を求めることによって得る。対応点情報は、図１７のような座標の形式により求められる。

初期対応点探索により求められる対応点数は、全点である必要はなく、最適な周辺光量補正画像の選択における自乗誤差を評価するのに十分な点数が求められていればよい。

また、対応点探索には、テンプレートマッチングではなく、特徴ベースのマッチングを用いてもよい。さらに、対応点情報は、画像上において手動でポインティングして与えてもよく、図１７のような座標値を表したファイルとして入力してもよい。

ステップ９２では、図８に示すような構成により、等輝度面を撮影して等輝度面画像データを取得しておく。このステップは、ステップ９０（ステレオ画像の撮像取得）の前に、ステレオ画像の撮像取得とは独立して行う。

図８において、８０は光源であり、８１は透過型のスクリーンである。スクリーン８１はその背面側から光源８０により照らされることによって、等輝度面を構成する。８２はステレオ撮影光学系を含む撮像系（例えば、図２に示す撮像系１０１）である。

周辺光量低下の変化に影響する撮影パラメータを、ステップ９０でのステレオ画像の取得時にとり得る範囲で変化させて順次、等輝度面を撮像し、等輝度面画像データ群を得る。等輝度面画像データ群は、等輝度画像情報メモリ１２３に保存される。

ステップ９３では、ステップ９１での初期対応点探索により求められた信頼性の高い部分的な対応点情報およびステレオ画像における該対応点の画素値を示す情報（画素値情報）を利用して、ステップ９２においてメモリ１２３に保存された等輝度面画像データ群から、最も良好な周辺光量低下の補正を行える等輝度画像データ（特定データ）Ｉ_ｃａｌを選択する。

等輝度画像データＩ_ｃａｌの選択は、初期対応点探索により得られた対応点の座標に対応するステレオ画像内の画素に対して、各等輝度面画像データにおける該画素と同一座標の画素値を用いて周辺光量低下の補正を行い、補正後の対応点の画素値間の差もしくは画素値から変換される量（例えば、輝度値）の差の自乗和を評価値として求め、それぞれの等輝度面画像データに対する評価値を比較して、最適な等輝度面画像データを選択する。評価値は、それぞれ等輝度面画像情報メモリ１２３に、各等輝度面画像データに関連付けて保存される。

図５には、ステップ９１での初期対応点探索により求められるステレオ画像上での対応点Ｐ５１の位置（座標）の例として、３点を○，□，△の記号を用いて示している。但し、実際に対応点探索により求められる対応点の数は３点に限られることはない。なお、Ｐ５０はステレオ画像の中心点であり、Ｌ５２、Ｌ５３はそれぞれ画像中心点から左右の画像の対応点までの距離ｘ，ｘ’である。

ここで、ステレオ画像の個々の画素の画素値をＩ（ｘ，ｙ）、等輝度面画像の個々の画素の画素値をＩ_ｃａｌ（ｘ，ｙ）、周辺光量補正後のステレオ画像の個々の画素の画素値をＩ′（ｘ，ｙ）とすると、

として、補正後のステレオ画像の画素値が得られる。ここでは、等輝度面画像は十分な輝度値が得られているとして、

を想定している
そして、初期対応点探索により求められたステレオ画像上における対応点の座標

についてのみ、補正後のステレオ画像における画素値Ｉ′（ｘ，ｙ）を計算する。

次に、対応点画素間の輝度値の差もしくは各チャンネル画素値の差の自乗誤差の初期対応点についての総和について求め、それぞれ違った撮影パラメータを持つ等輝度面画像について、それぞれの評価値を計算する。

ここで、ｃは画像の各チャネルを、ｎは対応点情報の添字を示す。

例えば、本実施例においては、ステレオ画像および等輝度画像の注目画素をＹＩＱ変換し、Ｙの輝度成分のみを用いて、（５）式の補正処理を行う。そして、周辺光量低下補正画像中における注目画素のＹの輝度成分のみを用いて、以下のようにして、対応画素間の輝度値の差の二乗誤差を求める。

本来、対応点とは、同一空間点の各ステレオ画像への射影像であることから、鏡面反射の問題を考慮しなければ、対応点の各画像上における画素値もしくは輝度値は等しい値を持つはずである。従って、ｍｉｎ（Ｅ）をもたらす等輝度面画像データ群中の等輝度面画像データを、最適な周辺光量低下補正画像として選択することができる。各等輝度面画像データに対して試行を行い、最小の評価値に関連付けられた等輝度面画像データを最適な周辺光量低下補正画像として選択する。

ステップ９４では、ステップ９３において選択された等輝度面画像データを用いて、ステレオ画像の全画素に対して次式（７）に従って周辺光量低下補正を行う。

ここで、Ｉはステレオ画像（の画素値）、Ｉ_ｃａｌは等輝度面画像（の画素値）、Ｉ′は補正後のステレオ画像（の画素値）である。

また、画素の各チャネルｃについては任意の変換および選択的な利用を行ってよい。例えば、本実施例においては、ステップ９３の等輝度面画像データの選択時と同様に、ｃ=Ｒ，Ｇ，Ｂのステレオ画像および等輝度面画像についてＹＩＱ変換を行い、ステレオ画像の輝度成分Ｙについてのみ周辺光量低下の補正演算を実行し、演算結果とステレオ画像のＩ成分およびＱ成分を用いてＲ，Ｇ，Ｂ成分へと変換する。これにより、図１の右側に示すような、周辺光量低下補正画像ＳＩ１１を得る。

本実施例においては、周辺光量補正を除算により行う場合を示したが、データの状態や装置によっては、減算を行った場合のほうが良い結果をもたらすこともあり、減算による補正を行ってもよい。

ステップ９５では、周辺光量低下補正後のステレオ画像に対して、再び対応点探索（第２対応点探索）を行う。ここで行う対応点探索は、ステップ９１で行った初期対応点探索とは異なり、基準ステレオ画像（補正後の基準ステレオ画像）の全画素について対応点探索を行い、できるだけ多くの画素についての対応点情報を求める。ステレオ画像間における同一空間点の射影像である対応点間の画素値の差が補正済みであるため、初期対応点探索に比べてより厳密な対応付けが可能となる。

具体的には、周辺光量低下の補正により、対応点間の輝度差もしくは色差が小さくなるために、真に対応する対応点間の相関値が上昇する効果が得られる。これにより、テンプレートマッチング法における相関判定の最低閾値を高めに設定することができ、対応点探索を誤対応の生じにくい厳密な対応付けで行っても、十分な対応点数の対応点情報を得ることができるようになる。これにより、対応点の増加と誤対応点の減少というかたちで、ステレオ画像間の対応付けの性能向上を図ることができる。

また同時に、周辺光量低下の影響を補正したステレオ画像を得ることができ、３次元形状抽出や仮想視点画像生成等の技術の精度や質の向上に寄与することができる。

なお、本実施例においては、図２に示したような単純な（ミラーのみを用いた）ステレオ撮影光学系を用いた場合を想定して説明した。このため、周辺光量低下の変化に影響する要因は、カメラ２１に設けられた光学系２１ａの撮影パラメータの変化に限られ、これらの周辺光量低下の変化に影響する撮影パラメータを変更可能な範囲内で変更して等輝度面を撮像することにより、本実施例における周辺光量低下補正および対応点探索に十分な等輝度面画像データを得ている。

しかしながら、一般的なステレオ撮影光学系を想定した場合、該ステレオ撮影光学系の撮影パラメータの変化も周辺光量低下の変化に影響すると考えられる。例えば、ステレオ撮影光学系にズーム用光学素子が含まれているような場合には。ステレオ撮影光学系の撮影パラメータ（焦点距離等）の変化も周辺光量低下の変化に影響する。このような場合には、ステレオ撮影光学系の撮影パラメータの変化も独立に変化させ、とり得る撮影パラメータ範囲もしくは想定される全ての場合について等輝度面の画像を撮影しておくとよい。

また、等輝度面画像データは、各画素の補正値をフィルタ形態に記述した補正データ配列と見なすとができる。背景技術にて説明したような周辺光量低下の影響を記述するカメラモデルに従い、周辺光量低下の変化に影響する撮影パラメータを変更して周辺光量低下の影響を表す二次元配列データを等輝度面画像データの代わりとして生成し、周辺光量低下補正を行うためのデータ群として用いてもよい。

図１８には、本発明の実施例２であるステレオ画像処理システムの構成を示す。なお、本実施例において、実施例１と同様の構成要素については実施例１と同符号を付して説明に代える。

本システムは、図２に具体的構成例を示す撮像系１０１と、画像処理装置２０１と、固定記憶部１０３とにより構成されている。

画像処理装置２０１は、コントローラとしてのＣＰＵ２２１、入力データバッファメモリ２２２、撮影パラメータ情報メモリ２２７、補正モデルメモリ２２６、周辺光量低下データ画像メモリ２２３、周辺光量補正画像メモリ２２４および対応点情報メモリ２２５を有する。

ＣＰＵは、第１（初期）対応点探索、撮影パラメータ推定、周辺光量補正演算および第２対応点探索（以下、単に対応点探索という）を行う中央演算処理ユニットである。

入力データバッファメモリ２２２には、撮像系１０１によって撮像された被写体を含むステレオ画像（入力データ）を保存する。入力データは直接、撮像系１０１によって取得された画像データではなく、撮像系１０１により取得された後、画像ファイル１０５に変換され、保存されたデータファイルでもよい。

撮影パラメータ情報メモリ２２７は、撮像系１０１の周辺光量低下に影響する既知な撮影パラメータを保存する。撮像系１０１からステレオ画像が直接入力される場合又はjpeg等の撮影情報がヘッダファイルに記載されている画像フォーマットの画像ファイルでステレオ画像が入力される場合には、焦点距離、絞り値等の補正モデルの選択および周辺光量演算自体に有効な情報が入力される。

撮像系１０１から撮影パラメータが入力されない場合やヘッダファイルに有効な情報が記載されていない画像フォーマットで画像ファイルが入力されるような場合には、撮影パラメータの推定値、撮影パラメータの存在可能範囲等を指定して入力する。

撮影パラメータには、周辺光量補正演算に有用となる、画素サイズや焦点距離範囲、絞りの範囲等が含まれる。

補正モデルメモリ２２６は、撮影パラメータ推定および周辺光量補正演算に利用される補正モデルを保存する。ここにいう補正モデルとは、式（１）のｐ（ｐ，ｘ，ｙ）の形態のような、対応する画素の座標とその画素値を用いて補正データの配列の要素値を計算できるような補正式、関数、変換テーブルをさす。

周辺光量低下データ画像メモリ２２３は、周辺光量補正演算中に作成された周辺光量低下データ画像と該周辺光量低下データ画像を周辺光量補正に適用した際の評価値を保存する。該周辺光量低下データ画像は、既知な撮影パラメータ情報を用いて補正モデルにより計算された複数の周辺光量の影響を表した二次元配列データである。但し、周辺光量補正演算において周辺光量低下データ画像のような中間データを生成しない場合には、周辺光量補正の試行に利用された補正モデルと既知な撮影パラメータとの組み合わせ、およびそれらを周辺光量補正に適用した試行の際の評価値が保存される。

周辺光量補正画像メモリ２２４は、周辺光量補正演算により計算された、ステレオ画像から周辺光量の影響が除去された補正後のステレオ画像を保存する。

対応点情報メモリ２２５は、初期対応点探索および対応点探索により計算された対応点情報を保存する。

固定記憶部１０３は、画像処理装置２０２からの出力データである補正後ステレオ画像および対応点情報を保存する不揮発性メモリである。

図１０には、本実施例における周辺光量補正処理および対応点抽出処理の方法および手順のフローチャートを示している。これらの処理の制御は、ＣＰＵ２２１が内蔵メモリに格納されたプログラムに従って実行するものである。

ステップ１００において、ＣＰＵ２２１は、ステレオ撮影光学系２０を含む撮像系１０１により撮像されたステレオ画像を取得する。

ここで、ステレオ撮影光学系２０は、ミラー２０ａ〜２０ｄのみにより構成され、周辺光量低下の主原因となるレンズを含まないことから、ミラーに歪や反射率の角度依存性がないとすると、ステレオ撮影光学系の撮影パラメータ変化に起因する周辺光量低下の影響は生じない。このため、ほぼ図６のような周辺光量低下の影響を生じる。

このような撮像系の場合、カメラ２１の光学系２１ａのズーミング値（焦点距離）が変化したり、絞り値が変化したりすると、図１３のように、ステレオ画像における周辺光量低下の影響が変化する。したがって、図１のＳＩ１０のような周辺光量低下の不定な影響を含むステレオ画像が得られる。ＣＰＵ２２１はこのステレオ画像を画像処理装置２０２の入力データバッファメモリ２２２に保存する。

背景技術で説明したモデルから分かるように、周辺光量低下の影響は、焦点距離、絞り値等の撮影パラメータにより変化してしまう。このため、周辺光量低下を記述するカメラモデルを用いて周辺光量低下の補正を行うためには、逐次変化する撮影パラメータのその時点での値が必要となる。そして、このような周辺光量低下に影響する撮影パラメータが未知の場合には、該撮影パラメータを推定しなければならない。

ステップ１０１では、実施例１におけるステップ９１と同様にして、図３に示す取得したステレオ画像ＳＩ１１を、図４に示す２つの画像Ｉ４０，Ｉ４１に分割し、これらの画像間で初期対応点探索を行い、周辺光量低下の影響を受けにくい確かな対応点についての対応点情報を得る。

初期対応点探索により求められる対応点数は、全点である必要はなく、撮影パラメータ推定における最適な未知パラメータを評価するのに十分な点数が求められていればよい。なお、初期対応点探索の詳細については、実施例１にて説明されている内容に準ずる。

また、対応点探索には、テンプレートマッチングではなく、特徴ベースのマッチングを用いてもよい。また、対応点情報は、画像上において手動でポインティングして与えてもよく、図１７のような座標値を表したファイルとして入力してもよい。

ステップ１０２では、周辺光量低下を記述するカメラモデルを選択し、ステップ１０１で求めた初期対応点情報を用いて、撮影パラメータのうちの未知パラメータの推定を行う。

本実施例においては、Ｃｏｓ４乗則による周辺光量低下のモデルを補正モデルとして仮定し、焦点距離ｆが未知であり、該焦点距離についての推定を行う場合について説明する。

ズーミング値がより広角側であると想定される場合には、

に従って、周辺光量低下の影響を補正する。

実際には、撮影画像中に画像中心（ｘ_０，ｙ_０）を設定し、画像中の注目画素（ｘ_ｉ，ｙ_ｉ）の画素値Ｉ（ｘ_ｉ，ｙ_ｉ）に対し、

で表され、焦点距離により影響が変化する補正式で表される。ここで、Ｉ_ｃはステレオ画像（の画素値）、補正後のステレオ画像（の画素値）Ｉ_ｃ′である。

また、画素の各チャネルｃについてはカメラモデルを考慮した任意の変換および選択的な補正を行ってもよい。例えば、本実施例においては、ｃ＝Ｒ，Ｇ，Ｂのステレオ画像についてＹＩＱ変換を行い、ステレオ撮像系画像の輝度成分Ｙについてのみ周辺光量低下の補正演算を行い、演算結果とステレオ撮像系画像のＩ成分およびＱを用いてＲ，Ｇ，Ｂ成分へと変換し、周辺光量低下補正後のステレオ画像を得る。

ステップ１０１の初期対応点探索により得られた対応点

について、補正後の注目画素の画素値Ｉ′（ｘ_ｉ，ｙ_ｉ）を求める。

焦点距離ｆの最適値の推定は、該補正後のステレオ画像中で求められた初期対応点の対の位置に対応する画素間の輝度差もしくは各チャネルの画素値の差の自乗誤差を評価値として行う。

例えば、本実施例においては、周辺光量低下補正後の画像中の注目画素をＹＩＱ変換し、ｃ＝Ｙとして、対応画素間の輝度値の自乗誤差をステップ１０１により求めた初期対応点位置の画素について求める場合を説明する。

とする。

対応点は同一空間点の各ステレオ画像への射影像であることから、鏡面反射の問題を考慮しなければ、対応点の各画像上における輝度値もしくは色情報は等しい値を持つはずである。従って、ｍｉｎ_ｆ（Ｅ）をもたらす焦点距離パラメータの推定値ｆを、未知パラメータの最適値として選択する。変数ｆには、ズーム機構に依存する焦点距離の範囲が適用される。

焦点距離パラメータｆと残差εの関係は通常、非線形となることから、最適値ｆの推定は非線形最適化、例えばLevenberg-Marqart法等のアルゴリズムを用いて推定を行うことができる。

変換テーブルを選択して用いる場合等、最適な補正モデルとパラメータの組を最適化により求めることができない場合には、補正モデルの組み合わせやパラメータを変化させて、逐次試行を行う。そして各試行の補正モデルとパラメータについての評価値を計算し、周辺光量低下データメモリに蓄積しておき、全ての試行を行った後で、蓄積された評価値のうち最小の値を取る評価モデルとパラメータの組み合わせを最適な補正モデルとパラメータの組み合わせとして決定してもよい。評価値には別の指標を用いてもよい。

また、本実施例においては、画像中心（ｘ_０，ｙ_０）を定数としたが、これを変数として、ｘ_０，ｙ_０も推定により求めてもよい。

ステップ１０３においては、選択したカメラモデル，既知の撮影パラメータおよびステップ１０２で推定した未知の撮影パラメータを用いて補正式（１１）を確定し、ステレオ画像の全画素に対して周辺光量低下補正を行う。

ここで、Ｐ（ｐ，ｘ，ｙ）は一般的に表した補正式、ｐは撮影パラメータ、（ｘ，ｙ）はステレオ画像中の注目画像の座標である。また、Ｉはステレオ画像（の画素値）、Ｉ′は補正後のステレオ画像（の画素値）である。

また、画素の各チャネルｃについては、カメラモデルを考慮した任意の変換および選択的な補正を行ってもよい。例えば本実施例においては、ｃ＝Ｒ，Ｇ，Ｂのステレオ画像についてＹＩＱ変換を行い、ステレオ画像の輝度成分Ｙについてのみ、ステレオ画像の全画素に対して周辺光量低下の補正演算を行い、演算結果とステレオ画像のＩ成分およびＱを用いてＲ，Ｇ，Ｂ成分へと変換し、周辺光量低下補正後のステレオ画像を得る。

ステップ１０４では、周辺光量低下補正後のステレオ画像に対して、対応点探索を行う。ここでの対応点探索は、ステップ１０１で行った初期対応点探索と異なり、基準ステレオ画像の全画素について対応点探索を行い、できるだけ多くの画素について対応点を探索する。ステレオ画像中の同一空間点の射影像である対応点間の画素値の差が補正済みであるため、より厳密な対応付けが可能となる。

具体的には周辺光量低下の補正により、対応点間の輝度差もしくは色差が小さくなるために真に対応する対応点間の相関値が上昇する。これにより、テンプレートマッチング法での相関判定の最低閾値を高めに設定することができ、対応点探索を誤対応の生じにくい厳密な対応付けで行っても、十分な対応点数の対応点情報を得ることができる。そしてこれにより、対応点の増加と誤対応点の減少というかたちで、ステレオ画像間の対応付けの性能向上を図ることができる。

また同時に、周辺光量低下の影響を補正したステレオ画像を得ることができる。

本実施例によれば、ステレオ撮影光学系を用いて同一撮像面上にて撮像したステレオ画像について、該ステレオ画像の撮像に用いた光学系の絞り値や焦点距離等の撮影パラメータが変化する場合において、周辺光量低下の影響が変化してしまう問題に対し、絞り値や焦点距離等の撮影パラメータが不明な場合にも、ステレオ画像、周辺光量低下の影響から連想されるカメラモデル、既知な撮影パラメータおよびステレオ画像間の初期対応点情報を用いることにより、未知撮影パラメータを最適に推定することができる。

本実施例では、周辺光量低下の現象を記述するレンズカメラモデルを想定し、ステレオ画像の撮像時の既知な撮像パラメータを用いて、未知の撮影パラメータを推定し、該周辺光量低下の影響を補正する方法について１つのカメラモデルを用いて紹介したが、適用されるカメラモデルは、撮影パラメータから導き出されるパラメータとステレオ画像上における画像中の注目画素の座標で記述される一般式で表されるものであることがわかる。

したがって、本実施例への適用を考えた場合、周辺光量低下の影響を記述するカメラモデル、つまり該周辺光量低下を補正する補正式は、本実施例および背景技術で説明した２つの例に限定されない。

上記実施例１および実施例の初期対応点探索ステップ９１，１０１においては、説明を簡単にするために、ステレオ画像間の関係がほぼ平行視の関係にあり、対応点探索を基準ステレオ画像Ｉ７０内の基準点Ｐ７３と同じｙ座標を持つ参照ステレオ画像Ｉ７１上のスキャンラインに沿った水平方向の所定の範囲に限定できると仮定し、そのままのステレオ画像に対してエリアベースマッチングを実施した。しかし、本発明は、得られるステレオ画像が台形歪のような要因により非平行視となるステレオ撮像系の場合にも、マッチングの精度を上げるためにステレオ画像に何らかの幾何的変換を加える場合にも適用することができる。

つまり本発明は、対応点探索手法および対応点探索過程に依存せず、これにより得られた信頼性のある初期対応点情報をステレオ画像上の座標に変換して、元のステレオ画像の対応点位置における画素値もしくは輝度値と共に、ステップ９２の最適周辺光量低下補正画像の選択若しくはステップ１０２の撮影パラメータ推定に利用し、最適周辺光量低下補正画像の選択若しくは撮影パラメータの推定を行うことができる。

図１９には、本発明の実施例１の処理を含む、本発明の実施例３であるステレオ画像処理システムの構成を示す。本システムは、撮像系１０１と、画像処理装置３０２、固定記憶部１０３とから構成される。

画像処理装置３０２は、初期対応点探索、レクティファイ、周辺光量補正演算および対応点探索を行うために用いるコントローラとしてのＣＰＵ、入力データバッファメモリ２２２、レクティファイ後画像メモリ３２６、等輝度画像情報メモリ１２３、周辺光量補正画像メモリ１２４、対応点情報メモリ１２５により構成されている。なお、図１９において、実施例１と同様の構成要素については実施例１と同符号を付して説明に代える。

また、図２０には、実施例２の処理を含む、本発明の実施例３であるステレオ画像処理システムの構成を示す。本システムは、撮像系１０１と、画像処理装置４０２、固定記憶部１０３とから構成されている。

画像処理装置４０２は、初期対応点探索、撮影パラメータ推定、周辺光量補正演算および対応点探索を行うために用いるコントローラとしてのＣＰＵ２２１と、入力データバッファメモリ２２２と、撮影パラメータ情報メモリ２２７と、補正モデルメモリ２２６と、レクティファイ後画像メモリ３２６と、周辺光量低下データ画像メモリ２２３と、周辺光量補正画像メモリ２２４と、対応点情報メモリ２２５とから構成されている。なお、図２０において、実施例２と同様の構成要素については実施例１と同符号を付して説明に代える。

図１９および図２０において、レクティファイ後画像メモリ３２６には、レクティファイ（歪み補正および微分処理のうち少なくとも１つを含む前処理）により平行化されたステレオ画像を保存する。

図１１には、本実施例において、周辺光量低下補正に等輝度面画像データを用いた場合の対応点抽出処理のフローチャートを示す。

まず、ステップ１１０では、実施例１および実施例２と同様に、ステレオ撮影光学系を含む撮像系１０１を用いて被写体を撮影し、ステレオ画像を取得する。なお、本実施例では、図２に示す単純なステレオ撮影光学系２０を含む場合を想定して説明する。

ステレオ撮影光学系２０を含む従来の３Ｄアダプタの多くは、図１４の左図に示すように、ステレオ画像に台形歪みを生じさせる。

このため、ステップ１１１では、図１４の右図のように、撮影したステレオ画像を個々の画像に分割し、各分割画像から台形歪みを除去して、平行視ステレオ画像へと変換する。 レクティファイは、標準オブジェクトを用いたキャリブレーション若しくはステレオ画像自体からのエピポーラ幾何の推定を行い、レクティファイを行うホモグラフィーを各画像について計算して実行する。

ここで、ｍ_ｉはレクティファイ前のある画素の斉次座標形式で表された座標であり、ｍ_ｉ’はレクティファイによりマッピングされる位置の座標であり、下記（１２）式で表される。Ｈは変換を表す３×３のホモグラフィーであり、添字ｉは画像を特定するインデックスである。本実施例においては便宜的に、ｉ＝ｌ：基準画像、ｉ＝ｒ：基準画像としている。

該レクティファイにより、エピポーララインを基準点Ｐ７３と同じｙ座標を持つ参照画像Ｉ７１上のスキャンラインに一致するように画像変換を行う。キャリブレーション、エピポーラ幾何推定およびレクティファイについては、
O. Faugeras. ,Three-Dimensional Computer Vision: A Geometric Viewpoint. ,The MIT Press, Cambridge, MA, 1993.
に詳しく説明されている。

ステップ１１２においては、ステップ１１１でのレクティファイ処理を行うことによって実施例１および実施例２と同様な平行視の視点関係に画像変換されたステレオ画像間について、実施例１および実施例２と同様なシンプルな手法により初期対応点を求める。その結果、図１５の左図のように対応点情報（例えば、○，△，□の座標）が得られる。

ステップ１１３では、実施例１のステップ９３と同様に、最適周辺光量補正画像の選択処理の前に等輝度面画像を撮影しておく。等輝度面群撮影は、Ｓ１１０のステレオ撮像系撮影とは独立して撮影してよい。

周辺光量低下の変化に影響する撮影パラメータについて、ステップ１１０でのステレオ画像の撮影時に取り得る範囲で変化させて順次、等輝度面画像を撮影し、等輝度面画像データ群を得る。等輝度面画像データ群は等輝度画像情報メモリ１２３に保存される。

次に、ステップ１１４では、レクティファイ後のステレオ画像上の対応点として求められている初期対応点情報を、下記式（１３）による各ステレオ画像平面のレクティファイ時に適用したホモグラフィーの逆変換を適用することにより、レクティファイ前のステレオ画像上の座標値に変換する。

ｍ_ｉはレクティファイ前の座標であり、ｍ_ｉ’はレクティファイ後の座標である。Ｈ^−１はレクティファイのホモグラフィーの逆変換である。この変換により、ステレオ画像上でのステレオ画像間の対応関係が得られる。図１５に対応点座標変換の様子を示す。

ステップ１１５における最適周辺光量低下補正画像の選択およびステップ１１６の周辺光量低下補正における周辺光量の補正は、対応点座標変換処理により、初期対応点情報をレクティファイ前のステレオ画像上の座標値に変換して行うことができる。したがって、ステップ１１４において、実施例１（図９）のステップ９３で説明した最適周辺光量低下補正画像の選択およびステップ９４で説明した周辺光量低下補正と同様の処理を行うことにより、対応点となるべき画素間に生じる色差の問題を解消することができる。

次に、ステップ１１７では、周辺光量低下補正後のステレオ画像内のステレオ画像Ｉ４０およびＩ４１に再度ホモグラフィーを適用したレクティファイ後のステレオ画像間において行う。よって、ステップ９５における対応点探索と同様に、単純な手法により対応点探索を行うことができる。

また、図１２には、本実施例において、周辺光量低下補正に周辺光量低下の影響を記述するカメラモデルおよび撮影パラメータを用いた場合の対応点抽出処理のフローチャートを示す。

図１１を用いて説明した周辺光量低下補正に等輝度画像データを用いた場合の対応点抽出処理と同様に、ステップ１２４での撮影パラメータ推定とステップ１２５での周辺光量低下の処理において、実施例２（図１０）のステップ１０２で説明した撮影パラメータ推定以降の処理と同様の処理を行うことにより、対応点となるべき画素間に生じる色差の問題を解消することができる。

そして、図１１にて説明した周辺光量低下補正に等輝度画像データを用いる場合と同様に、レクティファイ後のステレオ画像間においてステップ１２６で対応点探索を行うことにより、単純に対応点を算出する。

但し、本実施例においては、初期対応点にホモグラフィーの逆変換を適用し、最適周辺光量低下補正画像の選択、撮影パラメータ推定、周辺光量低下補正をレクティファイ前の画像座標系おいて行ったが、逆に等輝度面画像を対応する領域のステレオ画像に分割し、それぞれに対して同じホモグラフィーを適用して、対応するレクティファイ後のステレオ画像の各画素位置に等輝度面画像の各画素をマッピングすることにより、レクティファイ後の初期対応点情報の座標を用いて、ステップ１１４の最適周辺光量低下補正画像の選択を行うことができる。そして、該最適周辺光量低下補正画像を用い、レクティファイ後のステレオ画像に対して直接、周辺光量低下補正を行うことができる。

同様に以下の式（１４）のように、明示的な座標変換を行うことなく、レクティファイ前の画像に対して補正を行えることは、配列の性質からも明らかである。したがって、ステップ１２３の明示的な座標変換処理ステップが存在する、しないは本質的ではない。

ここでは、Ｉは未レクティファイのステレオ画像のある画素（の画素値）、Ｉ_ｃａｌは未レクティファイの等輝度面画像データのある画素（の画素値）、Ｉ’は未レクティファイの周辺光量補正済みステレオ画像のある画素（の画素値）である。

また同様に、レクティファイ前の画像中ではなく、レクティファイ後のステレオ画像中において、撮影パラメータ推定以降の処理を行い、カメラモデルを用いた補正を適用するためには、次のような座標変換を適用する必要が生じる。

ここで、は未レクティファイのステレオ撮像系画像のある画素、Ｉ_ｃａｌは未レクティファイの画像平面の画素座標および撮影パラメータに基づく、周辺光量低下の影響を記述するカメラモデル、Ｉ’は未レクティファイの周辺光量補正済みステレオ画像のある画素である。

本実施例により、得られるステレオ画像が台形歪のような要因を含む非平行視の視点配置となってしまう場合でも、レクティファイ手順を導入することにより、周辺光量低下の補正を実施例１および実施例２の方法をそのまま用いて行うことができるようになる。その結果、対応点の増加と誤対応点の減少というかたちでステレオ画像間の対応付けの性能の向上を図ることができる。

また同時に、周辺光量低下の影響を補正したステレオ画像を得ることができる。

周辺光量低下の補正を説明する図である。 ステレオ撮像系の構成図である。 ステレオ画像を説明する図である。 ステレオ画像を説明する図である。 周辺光量低下の影響と初期対応点情報の関係を説明する図である。 周辺光量低下の影響を説明する図である。 エリアベースマッチングを説明する図である。 等輝度画像の撮影方法を説明する図である。 本発明の実施例１における対応点抽出処理のフローチャートである。 本発明の実施例２における対応点抽出処理のフローチャートである。 本発明の実施例３における対応点抽出処理のフローチャートである。 実施例３における他の対応点抽出処理のフローチャートである。 撮影パラメータの変化による周辺光量低下の影響の変化を説明する図である。 実施例３におけるレクティファイを説明する図である。 実施例３における対応点座標変換を説明する図である。 実施例１のステレオ画像処理システムの構成を示すブロック図である。 対応点の座標を表す式である。 実施例２のステレオ画像処理システムの構成を示すブロック図である。 実施例３のステレオ画像処理システムの構成を示すブロック図である。 実施例３のステレオ画像処理システムの構成を示すブロック図である。

符号の説明

ＳＩ１０ ステレオ画像
ＳＩ１１ 周辺光量補正後のステレオ画像
２０ ステレオ撮影光学系
２１ カメラ
Ｐ５１ 対応点
Ｌ５２，Ｌ５３ 画像中心から対応点までの距離ｘ、ｘ’
Ｒ７２ テンプレート
Ｐ７３ 基準点
Ｒ７４ 対応点探索範囲
Ｐ７５ 対応点候補点
Ｗ７６ ウィンドウ
８０ 光源
８１ 拡散面
８２ ステレオ撮影光学系を備えたカメラ

Claims (9)

1. ステレオ撮影光学系を用いて得られたステレオ画像間における対応点を表す第１の対応点情報を求める第１の対応点探索手段と、
   前記ステレオ画像における周辺光量の低下を補正するためのデータ群を記憶する記憶手段と、
   前記第１の対応点情報と該対応点の画素値情報とを用いて前記データ群から特定のデータを選択し、該特定のデータを用いて前記ステレオ画像の補正を行う補正手段と、
   該補正手段により補正されたステレオ画像間の対応点を表す第２の対応点情報を求める第２の対応点探索手段とを有することを特徴とするステレオ画像処理装置。
2. ステレオ撮影光学系を用いて得られたステレオ画像間における対応点を表す第１の対応点情報を求める第１の対応点探索手段と、
   前記第１の対応点情報と該対応点の画素値情報とを用いて前記ステレオ撮像光学系の撮影パラメータを推定する推定手段と、
   該推定された撮影パラメータを用いて前記ステレオ画像における周辺光量の低下を補正するための補正情報を生成し、該生成した補正情報を用いて前記ステレオ画像の補正を行う補正手段と、
   該補正手段により補正されたステレオ画像間の対応点を表す第２の対応点情報を求める第２の対応点探索手段とを有することを特徴とするステレオ画像処理装置。
3. ステレオ撮影光学系を用いて得られたステレオ画像に対して歪み補正および微分処理のうち少なくとも１つを含む前処理を施して前処理画像を生成する前処理手段と、
   該前処理画像間における対応点を表す第１の対応点情報を求める第１の対応点探索手段と、
   前記ステレオ画像における周辺光量の低下を補正するための画像データ群を記憶する記憶手段と、
   前記第１の対応点情報を前記ステレオ画像に投影し、該投影した対応点情報と該投影対応点の画素値情報とを用いて前記データ群から特定のデータを選択し、該特定のデータを用いて前記ステレオ画像の補正を行う補正手段と、
   該補正手段により補正されたステレオ画像間の対応点を表す第２の対応点情報を求める第２の対応点探索手段とを有することを特徴とするステレオ画像処理装置。
4. ステレオ撮影光学系を用いて得られたステレオ画像に対して歪み補正および微分処理のうち少なくとも１つを含む前処理を施して前処理画像を生成する前処理手段と、
   該前処理画像間における対応点を表す第１の対応点情報を求める第１の対応点探索手段と、
   前記第１の対応点情報と該対応点の画素値情報とを用いて前記ステレオ撮像光学系の撮影パラメータを推定する推定手段と、
   該推定された撮影パラメータを用いて前記ステレオ画像における周辺光量の低下を補正するための補正情報を生成し、該生成した補正情報を用いて前記ステレオ画像の補正を行う補正手段と、
   該補正手段により補正されたステレオ画像間の対応点を表す第２の対応点情報を求める第２の対応点探索手段とを有することを特徴とするステレオ画像処理装置。
5. ステレオ撮影光学系を用いて得られたステレオ画像間における対応点を表す第１の対応点情報を求める第１の対応点探索ステップと、
   前記ステレオ画像における周辺光量の低下を補正するためのデータ群を記憶する記憶ステップと、
   前記第１の対応点情報と該対応点の画素値情報とを用いて前記データ群から特定のデータを選択し、該特定のデータを用いて前記ステレオ画像の補正を行う補正ステップと、
   該補正ステップにより補正されたステレオ画像間の対応点を表す第２の対応点情報を求める第２の対応点探索ステップとを有することを特徴とするステレオ画像処理方法。
6. ステレオ撮影光学系を用いて得られたステレオ画像間における対応点を表す第１の対応点情報を求める第１の対応点探索ステップと、
   前記第１の対応点情報と該対応点の画素値情報とを用いて前記ステレオ撮像光学系の撮影パラメータを推定する推定ステップと、
   該推定された撮影パラメータを用いて前記ステレオ画像における周辺光量の低下を補正するための補正情報を生成し、該生成した補正情報を用いて前記ステレオ画像の補正を行う補正ステップと、
   該補正ステップにより補正されたステレオ画像間の対応点を表す第２の対応点情報を求める第２の対応点探索ステップとを有することを特徴とするステレオ画像処理方法。
7. ステレオ撮影光学系を用いて得られたステレオ画像に対して歪み補正および微分処理のうち少なくとも１つを含む前処理を施して前処理画像を生成する前処理ステップと、
   該前処理画像間における対応点を表す第１の対応点情報を求める第１の対応点探索ステップと、
   前記ステレオ画像における周辺光量の低下を補正するための画像データ群を記憶する記憶ステップと、
   前記第１の対応点情報を前記ステレオ画像に投影し、該投影した対応点情報と該投影対応点の画素値情報とを用いて前記データ群から特定のデータを選択し、該特定のデータを用いて前記ステレオ画像の補正を行う補正ステップと、
   該補正ステップにより補正されたステレオ画像間の対応点を表す第２の対応点情報を求める第２の対応点探索ステップとを有することを特徴とするステレオ画像処理方法。
8. ステレオ撮影光学系を用いて得られたステレオ画像に対して歪み補正および微分処理のうち少なくとも１つを含む前処理を施して前処理画像を生成する前処理ステップと、
   該前処理画像間における対応点を表す第１の対応点情報を求める第１の対応点探索ステップと、
   前記第１の対応点情報と該対応点の画素値情報とを用いて前記ステレオ撮像光学系の撮影パラメータを推定する推定ステップと、
   該推定された撮影パラメータを用いて前記ステレオ画像における周辺光量の低下を補正するための補正情報を生成し、該生成した補正情報を用いて前記ステレオ画像の補正を行う補正ステップと、
   該補正ステップにより補正されたステレオ画像間の対応点を表す第２の対応点情報を求める第２の対応点探索ステップとを有することを特徴とするステレオ画像処理方法。
9. 請求項５から８のいずれか１つに記載のステレオ画像処理方法をコンピュータに実行させるプログラムを含むことを特徴とするステレオ画像処理プログラム。

Images