JP2010225092A - 画像処理装置、及び画像処理システム - Google Patents

Abstract

【課題】距離センサを用いずに合成画像の立体物の変形を防ぐことを目的とする。
【解決手段】複数の撮像画像から合成画像を生成する画像処理装置であって、視野の異なる複数の撮像装置から各撮像画像を取得する画像取得手段２０１と、複数の撮像装置に撮影された対象物が存在すると仮定される平面を示す仮想面の位置を複数有し、複数の仮想面の位置から１の仮想面の位置を決定する位置決定手段２０３と、決定された仮想面の位置に対して、合成画像の点に対応する仮想面の点を求め、求めた仮想面の点に対応する２以上の撮像画像の点を求める対応点算出手段２０５と、算出された各撮像画像の点の輝度値が所定の条件を満たす場合、各撮像画像の点の輝度値を用いて合成画像の点の輝度値を決定する輝度決定手段２０７とを備える。
【選択図】図９

Description

本発明は、複数の撮像画像から合成画像を生成する画像処理装置、及び画像処理システムに関する。

近年、自動車の車庫入れなどを支援するために、自動車に搭載した視野の異なる複数のカメラで撮影した画像から合成画像を生成し、生成した合成画像を運転者に提示するシステムが普及し始めている。

視野の異なる複数の画像を一つの画像に合成する方法について説明する。図１は、モザイキングの一例を示す図である。モザイキングとは、図１に示すように複数の画像間で視野の重なった部分が一致するように複数の画像をつなぎ合わせる技術である。モザイキングは、撮影対象が紙のような平面である場合に有効な技術である。

また、撮影対象が立体物でもモザイキングが有効な場合がある。図２は、モザイキングが有効な場合の例を示す図である。図２に示すように、撮影対象が立体物でもその奥行きａに比べて撮影対象からカメラまでの距離ｂが十分大きい場合には、モザイキングは有効である。

図３は、モザイキングが有効ではない場合の例を示す図である。図３に示すように、撮影対象が立体物で、その奥行きａが、対象からカメラまでの距離ｂと比べてそれほど変わらない場合、視野の重なった部分において画像間の見え方が異なる。よって、視野の重なった部分で画像を一致させることができないため、図３に示す例では正しく合成画像を作成することができない。

また、その他の合成方法は、複数のカメラの位置と姿勢を既知として、各カメラから撮影対象を撮影した複数の撮像画像に基づいて合成画像を作成する。図４は、対象物が平面である場合の合成画像の一例を示す図である。図４に示す例では、カメラ１とカメラ２との二つのカメラで撮影した撮像画像を合成して、合成画像を上方からの仮想カメラで撮影した撮像画像とみなす。

図５は、仮想カメラと各カメラとの位置関係を示すｚｘ平面の一例を示す図である。従来の合成方法は、まず、図５に示すように、カメラ１とカメラ２との重複領域Ａに対して、各撮像画像の重複領域Ａの平均輝度値が等しくなるように理想ゲインを求める。次に理想ゲインを用いて画像を補正し、補正した画像を合成する。このように、合成する撮像画像間の輝度（平均輝度）が等しくなるように撮像画像を補正し、補正した撮像画像を合成する技術が開示されている。

一方、図６は、撮影対象が立体物である場合の合成画像の一例を示す図である。図６に示すように撮影対象が立体物Ｏである場合、立体物Ｏが載置している面（床面）と撮影された立体物の面（Ａ１）では、カメラまでの距離が一致しない。図７は、立体物Ｏが載置している面と撮影された立体物の面とが一致しない場合の問題を説明する図である。図７に示すように、合成画像の点Ａに対応する点の輝度を決定する場合、実空間の点Ａ１ではなく、床面の点Ｄに対応する各カメラで撮影した撮像画像の点Ｂ１とＣ１の輝度から点Ａの輝度を求めるため、合成画像の立体物が変形してしまう。

上記問題に対して、合成画像の立体物の変形を防ぐため、距離センサを使用して合成画像の各点に対応する実空間の点を求めることで、立体物について変形のない合成画像を求める技術が開示されている。

特開２００２−３２４２３５号公報 特開２００６−１７１９６４号公報

しかしながら、距離センサを使用して、合成画像の点に対応する実空間の点を求めて合成画像の立体物が変形するのを防ぐ場合、距離センサを使用するためコストが高くなるという問題点があった。

開示の画像処理装置は、視野の異なる複数の撮像装置により撮像された撮像画像から合成画像を生成する画像処理装置であって、複数の撮像画像を入力する画像入力手段と、撮像された対象物が存在すると仮定される平面を示す仮想面を複数有し、複数の仮想面から１の仮想面を決定する位置決定手段と、決定された仮想面に対して、前記合成画像の点に対応する前記仮想面の点を求め、求めた仮想面の点に対応する少なくとも２つ以上の前記撮像画像の各点を求める対応点算出手段と、算出された前記撮像画像の各点の輝度が所定の条件を満たす場合、前記各輝度を用いて前記合成画像の点の輝度を決定する輝度決定手段とを備える。

開示の画像処理装置によれば、距離センサを用いずに合成画像の立体物の変形を防ぐことができる。

モザイキングの一例を示す図。 モザイキングが有効な場合の例を示す図。 モザイキングが有効ではない場合の例を示す図。 対象物が平面である場合の合成画像の一例を示す図。 仮想カメラと各カメラとの位置関係を示すｚｘ平面の一例を示す図。 撮影対象が立体物である場合の合成画像の一例を示す図。 立体物Ｏが載置している面と撮影された立体物の面とが一致しない場合の問題を説明する図。 実施例１における画像処理システムの構成例を示す図。 画像合成装置の主要機能構成の一例を示す図。 仮想面の位置情報の一例を示す図。 実施例１における仮想カメラと各カメラと撮影対象との位置関係を示す図。 図１１に示す例のｚｘ平面の一例を示す図。 例外処理が起こる例１を示す図。 例１の例外処理を説明するための図。 例外処理が起こる例２を示す図。 実施例１における輝度決定処理の一例を示すフローチャート。 実施例１における例外処理の一例を示すフローチャート。 実施例２における仮想カメラと各カメラと撮影対象との位置関係を示す図。 図１８に示す例のｚｘ平面の一例を示す図。 実施例２における輝度決定処理の一例を示すフローチャート。 変形例を説明するための図。

以下、添付図面を参照しながら実施例について詳細に説明する。

［実施例１］
＜システム構成＞
図８は、実施例１における画像処理システムの構成例を示す図である。図８に示すように、画像処理システム１０は、２つ以上（Ｎ個）の撮像装置、画像合成装置（画像処理装置）２０、表示装置（モニタ）３０を含む。

撮像装置は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを備えるカメラである。各撮像装置は、少なくとも１つの他の撮像装置と視野が重なるように配置される。また、各撮像装置の座標位置（ｘ，ｙ，ｚ）と焦点距離と姿勢とは既知とする。

画像合成装置２０は、各撮像装置で撮影した撮像画像を各撮像装置から取得し、少なくとも２つ以上の撮像画像を１つの画像に合成する。ここで、画像合成装置２０は、撮影対象が存在すると仮定する平面を示す仮想面に対して、仮想カメラからの仮想面の位置を一つに固定するのではなく、複数の位置に変えることができる。また、画像合成装置２０は、仮想面の位置を変えながら、合成画像の点に対応する各撮像画像の点の輝度値が所定の条件を満たす場合に、合成画像の点の輝度値を決定する。詳しくは図９を用いて後述する。

表示装置３０は、画像合成装置２０から合成画像を取得し、取得した合成画像をモニタなどに表示する。

輝度値について、カラー画像の場合は、ＲＧＢ、ＹＵＶなど３つの全ての要素に対して、所定の条件を満たす必要がある。また、ＲＧＢなどを色差変換したＹＣｒＣｂなどの場合でも全ての要素で所定の条件を満たす必要がある。また、撮像画像がカラー画像であり、合成画像が白黒画像である場合は、輝度が一番現れやすいＧのみで所定の条件を満たすか判定してもよいし、色差変換を行ってＹのみで所定の条件を満たすか判定してもよい。

＜機能構成＞
図９は、画像合成装置２０の主要機能構成の一例を示す図である。図９に示すように、画像合成装置２０は、画像取得手段２０１、取得画像記録手段２０２、仮想面位置決定手段２０３、出力画素位置制御手段２０４、対応点座標算出手段２０５、対応点比較手段２０６、輝度決定手段２０７、出力画像記録手段２０８、画像出力手段２０９を含む。

画像取得手段２０１は、各撮像装置により撮影された撮像画像を、各撮像装置から取得する。また、画像取得手段２０１は、各撮像装置から取得した撮像画像を取得画像記録手段２０２に出力する。

取得画像記録手段２０２は、画像取得手段２０１から取得した画像を記録する。取得画像記録手段２０２は、例えば、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。

仮想面位置決定手段２０３は、撮影対象が存在すると仮定する平面を示す仮想面の位置を決定する。例えば、仮想面位置決定手段２０３は、仮想面の位置を複数用意しておき、初期位置から順に仮想面の位置を変更していくとよい。なお、仮想面は、撮像される立体物の実空間上の点を含む面を仮定する面である。

図１０は、仮想面の位置情報の一例を示す図である。図１０に示すように、仮想面位置決定手段２０３は、ａ１を初期値として、ａ２、ａ３・・・、ａｎとｎ個の値を保持する。これらの値は、ａ１から順にｚ軸方向の上方に上がっていく値とする。仮想面位置決定手段２０３は、ａ１から順に仮想面の位置を変更していくとよい。また、仮想面の位置情報は他の記憶手段に記憶されており、仮想面位置決定手段２０３は、記憶手段から位置情報を読み出すようにしてもよい。

図９に戻り、出力画素位置制御手段２０４は、仮想カメラの画像面の位置（座標点）を順に決定し、決定した点の座標を対応点座標算出手段２０５に出力する。なお、仮想カメラの画像面の点の座標の出力は、仮想カメラの画像面全てにおいて行われる。また、仮想カメラの画像面については、仮想カメラの焦点の座標（ｘ，ｙ，ｚ）と、焦点距離とを与えることで一意に定まる。また、仮想カメラの焦点の座標と焦点距離とは、ユーザによって事前に与えられる値とする。なお、座標系は、仮想カメラの焦点を原点、画像面の横方向をｘ軸、縦方向をｙ軸、光軸方向をｚ軸のように定める。

対応点座標算出手段２０５は、出力画素位置制御手段２０４から仮想カメラの画像面の点の座標を取得すると、取得した点に対応する仮想面の点の座標を求める。このとき、対応点座標算出手段２０５は、仮想面位置決定手段２０３から仮想面の位置（ｚ座標）を取得している。

次に、対応点座標算出手段２０５は、求めた仮想面の点の座標に対応する各撮像装置の撮像画像の点の座標を求める。対応点座標算出手段２０５は、求めた各撮像画像の点の座標を対応点比較手段２０６に出力する。

ここで、各対応点の具体的な算出方法について、前述した図７を用いて説明する。カメラ１とカメラ２とは、撮影対象がそれぞれのカメラで映るようにするため、図７に示すように視野が重なるように配置する。以下では、説明を簡単にするために各カメラの光軸は平行であるとする。なお、光軸が平行でない場合には、キャリブレーションを行うことで光軸を平行にして撮影したように各カメラの画像を補正する方法が知られているため、この補正を行うことで光軸が平行な場合と同様に扱うことができる。また、カメラ１とカメラ２の位置と姿勢は既知とする。

座標系は、前述したように、仮想カメラの焦点を原点、画像面の横方向をｘ軸、縦方向をｙ軸、光軸方向をｚ軸のように定める。この座標系において、カメラ１の焦点の座標を（ｘ１，ｙ１，ｚ１）、焦点距離をｆ１、カメラ２の焦点の座標を（ｘ２，ｙ２，ｚ２）、焦点距離をｆ２、仮想カメラの焦点の座標を（０，０，０）、焦点距離をｆｖとする。

また、仮想カメラの光軸方向はカメラ１、カメラ２の光軸方向と一致するものとする。これらが一致しない場合は、適当な回転変換で一致させることができる。また、カメラ１及びカメラ２の画像面の横方向はｘ軸方向と一致するものとする。画像面の横方向とｘ軸が一致しない場合は、適当な回転変換を行うことで、一致させることができる。

このとき、仮想カメラの画像面の点Ａ（ｘ，ｙ，ｆｖ）に対して、以下のようにして対応点Ｂ、Ｃを求める。まず、物体（立体物）があると仮定する平面（仮想面）を決定する。この仮想面の初期位置をｚ軸に直交する平面ｚ＝ａ１とする。次に、点Ａに対応する仮想面の点Ａ１（ｘ'，ｙ'，ａ１）を次式により求める。

次に、点Ａ１に対応するカメラ１の画像面の点Ｂ（ｘｂ，ｙｂ，ｚｂ）を次式により求める。

次に、点Ａ１に対応するカメラ２の画像面の点Ｃ（ｘｃ，ｙｃ，ｚｃ）を次式により求める。

これより、各対応点の座標が求められる。

対応点比較手段２０６は、対応点座標算出手段２０５から各撮像画像の点の座標を取得すると、取得した各撮像画像の点の座標の輝度値を、取得画像記録手段２０２から読み出す。このとき、撮像装置が３つ以上あることにより撮像画像が３つ以上ある場合、対応点比較手段２０６は、取得した３つ以上の輝度値から２つの輝度値を選択する。また、対応点比較手段２０６は、３つ以上の撮像画像の点から２つの点を先に選択して、輝度値を取得するようにしてもよい。以下、実施例１では、撮像装置は２つとして説明する。

また、対応点比較手段２０６は、取得した２つの輝度値を比較して、２つの輝度値が所定の条件を満たす場合、２つの輝度値を輝度決定手段２０７に出力する。例えば、所定の条件とは２つの輝度値が一致することであり、条件を満たす場合は、一致した輝度値が輝度決定手段２０７に出力される。また、他の所定の条件は、２つの輝度値の差分値が所定値以下であることであり、条件を満たす場合は、２つの輝度値が輝度決定手段２０７に出力される。

また、対応点比較手段２０６は、比較の結果、２つの輝度値が所定の条件を満たさない場合は、仮想面位置決定手段２０３に対し、仮想面の位置を変更するよう要求する。このとき、仮想面位置決定手段２０３は、仮想面の位置を変更し、変更した仮想面の位置を示すｚ座標を対応点座標算出手段２０５に出力する。

対応点座標算出手段２０５は、変更された仮想面の位置を取得した場合は、再度、仮想面の点の座標に対応する各撮像画像の点の座標を求める。求めた各撮像画像の点の座標は対応点比較手段２０６に出力され、対応点比較手段２０６により、再度、各撮像画像の点の輝度値が比較され、所定の条件を満たすか判定される。前述した処理は、対応点比較手段２０６により所定の条件を満たすと判定されるまで繰り返される。

このとき、対応点比較手段２０６は、２つの輝度値が所定の条件を満たすか否かを判定するが、全ての仮想面の位置について前述した判定を行なっても所定の条件を満たさない場合がある。このとき、輝度決定手段２０７は、例外処理を行って合成画像の点の輝度値を決定する。例外処理については図１３〜１５を用いて後述する。

輝度決定手段２０７は、対応点比較手段２０６から取得した２つの輝度値から合成画像の点の輝度値を決定する。合成画像の点の輝度値は、２つの輝度値のいずれか１つの輝度値にしてもよいし、２つの輝度値の平均値にしてもよい。また、輝度決定手段２０７は、決定した輝度値を出力画像記録手段２０８に出力する。

出力画像記録手段２０８は、輝度決定手段２０７により決定された輝度値を、出力画素位置制御手段２０４により決定されていた点の輝度値として記憶する。出力画素位置制御手段２０４は、出力画像記録手段２０８に輝度値が記録されたら、次の合成画像の点の座標を対応点座標算出手段２０５に出力する。

画像出力手段２０９は、出力画像記録手段２０８に記録されている合成画像を読み出し、読み出した合成画像を外部の表示装置３０などに出力する。

これにより、仮想面の位置を変更することで、合成画像の点に対応する仮想面の点が実空間の点と一致しやすくなり、合成画像の立体物の変形を防止することができる。以下、実施例１の具体例について説明する。

＜具体例＞
（通常処理）
図１１は、実施例１における仮想カメラと各カメラと撮影対象との位置関係を示す図である。図１１に示すように、立体物の撮影対象をカメラ１とカメラ２とで撮影し、上方の仮想カメラから撮影したとする合成画像を生成する例について説明する。

図１２は、図１１に示す例のｚｘ平面の一例を示す図である。図１２（Ａ）は、仮想面Ｐがａ１の位置にある場合の各点の対応関係を示す図である。図１２（Ａ）に示すように、仮想カメラの画像面（合成画像）の点Ａに対応する仮想面Ｐ上の点はＡ１である。また、仮想面Ｐ上の点Ａ１を撮影したカメラ１の画像面上の点はＢであり、カメラ２の画像面上の点はＣである。また、点Ｂと点Ｃに映る実空間上の点はＤ、Ｅである。この点ＤとＥは、立体物の別の位置を撮影したものであるため輝度値が異なる可能性が高い。よって、所定の条件を満たさないため仮想面の位置ａ１が変更され、再度、２つの輝度値が所定の条件を満たすか否かの判定が行なわれることになる。

図１２（Ｂ）は、仮想面Ｐがａ３の位置にある場合の各点の対応関係を示す図である。図１２（Ｂ）に示すように、仮想面の位置を変更することで仮想面Ｐ上の点Ａ１が、実空間における物体上に位置する。これより、カメラ１の撮像画像の点Ｂとカメラ２の撮像画像の点ＣとがＡ１を撮影していることになり、この点ＢとＣとの輝度値が一致する。よって、この点Ｂ、Ｃのいずれかの輝度値を合成画像の点Ａの輝度値に決定する。

なお、仮想面Ｐの位置の初期値は、立体物との載置面の位置とする。載置面の位置は、事前にユーザなどにより与えられているとする。

（例外処理）
次に、図１３〜図１５を用いて、合成画像の点の輝度値を決定する例外処理について説明する。図１３は、例外処理が起こる例１を示す図である。図１３に示すように、領域ｂは、いずれか一方のカメラからは撮影できない範囲であり、かつ、合成画像に必要な範囲ａに対応する仮想面の範囲である。領域ａに含まれる点の輝度値を決定するために前述したような通常処理を行っても、カメラ１の対応点Ｂの輝度値と、カメラ２の対応点Ｃの輝度値が一致する可能性は低い。よって、例外処理が必要となる。

図１４は、例１の例外処理を説明するための図である。図１４に示すように、まず、仮想面Ｐが初期値ａ１に再決定される。次に、合成画像の点Ａに対応する仮想面の点Ａ１の座標が求められる。また、カメラ１の光軸（焦点を通り画像面と直交する直線）と仮想面との交点Ｍ１の座標と、カメラ２の光軸と仮想面との交点Ｍ２の座標とが求められる。次に、点Ａ１と点Ｍ１との距離ｄ１、点Ａ１と点Ｍ２との距離ｄ２が求められる。距離ｄ１とｄ２とは次式により求められる。

式（９）、（１０）により求められた距離ｄ１とｄ２とを比較し、値が小さい方（点Ａ１との距離が近い方）のカメラの対応点の輝度値を、合成画像の点の輝度値として決定する。図１４に示す例では、ｄ１の方がｄ２よりも小さいので、カメラ１の撮像画像の点Ｂの輝度値が合成画像の点Ａの輝度値として決定される。

図１５は、例外処理が起こる例２を示す図である。図１５に示すように、仮想面Ｐの位置がａ１にある場合は、点Ａ１に対応する各カメラの撮像画像の点が存在したが、仮想面Ｐの位置がａ２の位置にきた場合は、カメラ２の視野から外れてしまい（ａ参照）、カメラ２の撮像画像の点が存在しない。このような場合は、カメラ１の対応する点Ｂの輝度値を合成画像の点Ａの輝度値とする。つまり、仮想面の位置を変更することで、いずれかのカメラの対応点が存在しなくなった場合は、存在する方の対応点の輝度値を用いて合成画像の点の輝度値とすればよい。なお、例外処理は、主に輝度決定手段２０７により行われる。

＜動作＞
次に、実施例１にかかる画像処理システムの動作について説明する。図１６は、実施例１における輝度決定処理の一例を示すフローチャートである。ステップＳ１１において、仮想面位置決定手段２０３は、仮想面の位置を初期化する。例えば対象物の載置面を初期値とする。

ステップＳ１２において、対応点座標算出手段２０５は、合成画像の点Ａに対応する仮想面の点Ａ１の座標を求める。仮想面の点Ａ１の座標は、式（１）、（２）により求められる。

ステップＳ１３において、対応点座標算出手段２０５は、点Ａ１に対応するカメラ１の撮像画像の点Ｂの座標と、カメラ２の撮像画像の点Ｃの座標を求める。点Ｂと点Ｃとの座標は、式（３）〜（８）により求められる。

ステップＳ１４において、対応点比較手段２０６は、点Ｂと点Ｃとの座標が、カメラ１とカメラ２の視野内であるか判定する。ステップＳ１４の判定結果がＹＥＳ（両方とも視野内）であればステップＳ１６に進み、判定結果がＮＯ（いずれか一方が視野内）であればステップＳ１５に進む。

ステップＳ１５において、輝度決定手段２０７は、対応点比較手段２０６により視野内であると判定された対応点の輝度値を、合成画像の点Ａの輝度値として決定し、合成画像の次の点の輝度決定処理に進む。

ステップＳ１６において、対応点比較手段２０５は、点Ｂと点Ｃとの輝度値が一致するか判定する。ステップＳ１６の判定結果がＹＥＳ（一致）であればステップＳ１７に進み、判定結果がＮＯ（不一致）であればステップＳ１８に進む。

ステップＳ１７において、輝度決定手段２０７は、輝度値が一致した対応点の輝度値を合成画像の点Ａの輝度値に決定する。

ステップＳ１８において、対応点比較手段２０６は、仮想面の位置を全て調べたか否かを判定する。図１０に示す例では、ａ１〜ａｎまで全て調べたか否かを判定する。ステップＳ１８の判定結果がＹＥＳ（全て調べた）であればステップＳ１９に進み、判定結果がＮＯ（全て調べていない）であればステップＳ２０に進む。

ステップＳ１９に進み、輝度決定手段２０７は、例外処理１を行う。例外処理については、図１７を用いて後述する。

ステップＳ２０に進み、仮想面位置決定手段２０３は、仮想面の位置を変更した後、ステップＳ１２に戻る。以上の処理を合成画像の点全てにおいて行う。これにより、合成画像の点の輝度値が決まる。

次に、実施例１における例外処理の動作について説明する。図１７は、実施例１における例外処理の一例を示すフローチャートである。図１７に示す処理において、図１６に示す処理と同様の処理を行うものは同じ符号を付し、その説明を省略する。

ステップＳ２１において、輝度決定手段２０７は、カメラ１の光軸（焦点を通り画像面と直交する直線）と仮想面との交点Ｍ１と、カメラ２の光軸と仮想面との交点Ｍ２とを求める。

ステップＳ２２において、輝度決定手段２０７は、点Ａ１と点Ｍ１との距離ｄ１と、点Ａ１と点Ｍ２との距離ｄ２とを求める。なお、ステップＳ２１とＳ２２による処理は、対応点座標算出手段２０５が行ってもよい。

ステップＳ２３において、輝度決定手段２０７は、ｄ１＜ｄ２であるか否かを判定する。ステップＳ２３の判定結果がＹＥＳ（ｄ１＜ｄ２）であればステップＳ２４に進み、判定結果がＮＯ（ｄ１≧ｄ２）であればステップＳ２５に進む。なお、ステップＳ２１とＳ２２の処理を対応点座標算出手段２０５が行う場合は、ステップＳ２３による処理は、対応点比較手段２０６が行ってもよい。

ステップＳ２４において、輝度決定手段２０７は、点Ｂの輝度値を点Ａの輝度値に決定する。ステップＳ２５において、点Ｃの輝度値を点Ａの輝度値に決定する。

以上、実施例１によれば、立体物が存在すると仮定する仮想面の位置を変化させることにより、距離センサを用いずに合成画像の立体物の変形を防ぐことができる。

［実施例２］
次に、実施例２に係る画像処理システムについて説明する。実施例２では、撮像装置（カメラ）が３台以上ある場合に、合成画像の点の輝度値の決め方について説明する。画像処理装置２０の機能構成については、図９と同様であるためその説明を省略する。

＜具体例＞
図１８は、実施例２における仮想カメラと各カメラと撮影対象との位置関係を示す図である。図１８に示すように、立体物の撮影対象をカメラ１とカメラ２とカメラ３とで撮影し、上方の仮想カメラから撮影したとする合成画像を生成する例について説明する。なお、図１８に示す例ではカメラは３つであるが、カメラを３つ以上にしても以下に説明する処理と同様の処理を行うことができる。

図１９は、図１８に示す例のｚｘ平面の一例を示す図である。図１９は、仮想面Ｐがａ１の位置にある場合の各点の対応関係を示す図である。図１９に示すように、領域ｒは、３つのカメラの視野が重複する領域である。領域ｒについては、まず、２つのカメラを選択する。ここでは、Ｂｉとｋが選択されたとする。

次に、実施例１で説明したように、仮想面の位置を変更して、各カメラの撮像画像の対応点の輝度値が一致するかを判定する。仮想面の位置を変更しても輝度値が一致しない場合、実施例２では、対応点座標算出手段２０５は、カメラの組み合わせを変える。例えば、カメラＢｉとカメラＢｊとの組み合わせにして、対応点比較手段２０６は輝度値の一致を調べる。カメラの全ての組み合わせについて調べても輝度値が一致しない場合は、例外処理を行う。

これにより、３つ以上の撮像装置が設置されている場合は、合成画像の点の輝度値をより正確に決定することができる。

＜動作＞
次に、実施例２にかかる画像処理システムの動作について説明する。図２０は、実施例２における輝度決定処理の一例を示すフローチャートである。図２０に示す処理で図１６に示す処理と同様の処理を行うものは同じ符号を付し、その説明を省略する。

ステップＳ３１において、対応点座標算出手段２０５は、３つ以上のカメラから２つのカメラを選択する。このとき、視野が重複しているカメラを選択する。なお、視野が重複しているカメラが３つ以上ある場合は、視野が重複しているカメラの中から２つのカメラを選択する。

ステップＳ１４においてＮＯ（何れか一方の対応点が存在しない）であればステップＳ３２に進む。ステップＳ３２において、対応点座標算出手段２０５は、カメラの組み合わせを全て調べたか否かを判定する。ステップＳ３２の判定結果がＮＯ（全て調べていない）であればステップＳ３１に戻り、カメラの組み合わせを変更する。ステップＳ３２の判定結果がＹＥＳ（全て調べた）であれば、ステップＳ１５の処理を行う。

ステップＳ１８においてＹＥＳ（仮想面の位置全て調べた）であればステップＳ３３に進む。ステップＳ３３において、対応点算出手段２０５は、カメラの組み合わせを全て調べたか否かを判定する。ステップＳ３３の判定結果がＮＯ（全て調べていない）であればステップＳ３１に戻り、カメラの組み合わせを変更する。ステップＳ３３の判定結果がＹＥＳ（全て調べた）であればステップＳ１９に進み、例外処理を行う。

なお、図２０に示す処理では、まず、２つのカメラを選択した後、仮想面の位置を変更するようにしたが、仮想面の位置を決定した後、カメラの組み合わせを変更して輝度値が一致するかを調べるようにしてもよい。

以上、実施例２によれば、視野が重複しているカメラが３つ以上ある場合は、視野が重複しているカメラの中から２つのカメラを選択し、合成画像の点の輝度値をより正確に決定することができる。

［変形例］
次に、各実施例の変形例について説明する。変形例では、各撮像装置の撮像画像の対応点の輝度値が所定の条件を満たすかどうかを判定するのではなく、対応点を中心とした部分画像が所定の条件を満たすかどうかを判定する。

図２１は、変形例を説明するための図である。変形例では、対応点比較手段２０６は、対応点の輝度値だけではなく、図２１に示すように、対応点を中心とした５×５の部分画像間の差分を計算し、差分値が閾値よりも小さいか否かを判定する。なお、変形例では、部分画像間の差分だけでなく、部分画像間の相関値や類似度を計算して、閾値判定を行ってもよい。

また、前述した各実施例及び変形例で説明した合成画像の輝度決定処理内容をコンピュータに実行させるためのプログラムとし、このプログラムをサーバ等からインストールして、コンピュータに実行させることにより前述した輝度決定処理を実現させることも可能である。

また、このプログラムを記録媒体（ＣＤ−ＲＯＭやＳＤカード等）に記録し、このプログラムが記録された記録媒体をコンピュータに読み取らせて、前述した輝度決定処理を実現させることも可能である。なお、記録媒体は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。

なお、以上の実施例に関し、さらに以下の付記を開示する。
（付記１）
複数の撮像画像から合成画像を生成する画像処理装置であって、
視野の異なる複数の撮像装置から各撮像画像を取得する画像取得手段と、
複数の撮像装置から撮影された対象物が存在すると仮定される平面を示す仮想面の位置を複数有し、複数の仮想面の位置から１の仮想面の位置を決定する位置決定手段と、
決定された仮想面の位置に対して、前記合成画像の点に対応する前記仮想面の点を求め、求めた仮想面の点に対応する２以上の前記撮像画像の点を求める対応点算出手段と、
算出された各撮像画像の点の輝度値が所定の条件を満たす場合、前記各撮像画像の点の輝度値を用いて前記合成画像の点の輝度値を決定する輝度決定手段と
を備える画像処理装置。
（付記２）
前記位置決定手段は、
前記各撮像画像の点の輝度値が所定の条件を満たさない場合、前記仮想面の位置を他の位置にする付記１記載の画像処理装置。
（付記３）
前記輝度決定手段は、
前記複数の仮想面の位置全てに対して、前記各撮像画像の点の輝度値が所定の条件を満たさない場合、前記仮想面の点に一番近い撮像装置における前記仮想面の点に対応する撮像画像の点の輝度値を、前記合成画像の点の輝度値に決定する付記２記載の画像処理装置。
（付記４）
前記輝度決定手段は、
前記仮想面位置決定手段により仮想面の位置を変更することで、前記対応点算出手段により算出された前記撮像画像の点が１つのみになった場合、該点の輝度値を前記合成画像の点の輝度値に決定する付記２又は３記載の画像処理装置。
（付記５）
前記輝度決定手段は、
算出された各撮像画像の点を含む部分画像が所定の条件を満たす場合、前記各撮像画像の点の輝度値を用いて前記合成画像の点の輝度値を決定する付記１乃至４いずれか一に記載の画像処理装置。
（付記６）
前記所定の条件は、
各撮像画像の点の輝度値が一致する、又は各撮像画像の点の輝度値の差分が所定値未満である付記１乃至５いずれか一に記載の画像処理装置。
（付記７）
複数の撮像画像から合成した合成画像を表示する画像処理システムであって、
視野の異なる複数の撮像装置から各撮像画像を取得する画像取得手段と、
複数の撮像装置から撮影された対象物が存在すると仮定される平面を示す仮想面の位置を複数有し、複数の仮想面の位置から１の仮想面の位置を決定する位置決定手段と、
決定された仮想面の位置に対して、前記合成画像の点に対応する前記仮想面の点を求め、求めた仮想面の点に対応する少なくとも２つ以上の前記撮像画像の点を求める対応点算出手段と、
算出された各撮像画像の点の輝度値が所定の条件を満たす場合、前記各撮像画像の点の輝度値を用いて前記合成画像の点の輝度値を決定する輝度決定手段と、
決定された輝度値を含む合成画像を表示する表示手段と
を有する画像処理システム。
（付記８）
複数の撮像画像から合成画像を生成する画像処理方法であって、
視野の異なる複数の撮像装置から各撮像画像を取得する画像取得段階と、
複数の撮像装置から撮影された対象物が存在すると仮定される平面を示す仮想面の位置を複数有し、複数の仮想面の位置から１の仮想面の位置を決定する位置決定段階と、
決定された仮想面の位置に対して、前記合成画像の点に対応する前記仮想面の点を求め、求めた仮想面の点に対応する２以上の前記撮像画像の点を求める対応点算出段階と、
算出された各撮像画像の点の輝度値が所定の条件を満たす場合、前記各撮像画像の点の輝度値を用いて前記合成画像の点の輝度値を決定する輝度決定段階と
を有する画像処理方法。
（付記９）
複数の撮像画像から合成画像を生成する画像処理装置を制御するコンピュータを、
視野の異なる複数の撮像装置から各撮像画像を取得する画像取得手段と、
複数の撮像装置から撮影された対象物が存在すると仮定される平面を示す仮想面の位置を複数有し、複数の仮想面の位置から１の仮想面の位置を決定する位置決定手段と、
決定された仮想面の位置に対して、前記合成画像の点に対応する前記仮想面の点を求め、求めた仮想面の点に対応する２以上の前記撮像画像の点を求める対応点算出手段と、
算出された各撮像画像の点の輝度値が所定の条件を満たす場合、前記各撮像画像の点の輝度値を用いて前記合成画像の点の輝度値を決定する輝度決定手段として機能させるためのプログラム。

１ 撮像装置
１０ 画像処理システム
２０ 画像合成装置
３０ 表示装置
２０１ 画像取得手段
２０２ 取得画像記憶手段
２０３ 仮想面位置決定手段
２０４ 出力画素位置制御手段
２０５ 対応点座標算出手段
２０６ 対応点比較手段
２０７ 輝度決定手段
２０８ 出力画像記録手段
２０９ 画像出力手段

Claims (4)

1. 複数の撮像画像から合成画像を生成する画像処理装置であって、
   視野の異なる複数の撮像装置から各撮像画像を取得する画像取得手段と、
   複数の撮像装置に撮影された対象物が存在すると仮定される平面を示す仮想面の位置を複数有し、複数の仮想面の位置から１の仮想面の位置を決定する位置決定手段と、
   決定された仮想面の位置に対して、前記合成画像の点に対応する前記仮想面の点を求め、求めた仮想面の点に対応する２以上の前記撮像画像の点を求める対応点算出手段と、
   算出された各撮像画像の点の輝度値が所定の条件を満たす場合、前記各撮像画像の点の輝度値を用いて前記合成画像の点の輝度値を決定する輝度決定手段と
   を備える画像処理装置。
2. 前記位置決定手段は、
   前記各撮像画像の点の輝度値が所定の条件を満たさない場合、前記仮想面の位置を他の位置にする請求項１記載の画像処理装置。
3. 前記輝度決定手段は、
   前記複数の仮想面の位置全てに対して、前記各撮像画像の点の輝度値が所定の条件を満たさない場合、前記仮想面の点に一番近い撮像装置における前記仮想面の点に対応する撮像画像の点の輝度値を、前記合成画像の点の輝度値に決定する請求項２記載の画像処理装置。
4. 複数の撮像画像から合成した合成画像を表示する画像処理システムであって、
   視野の異なる複数の撮像装置から各撮像画像を取得する画像取得手段と、
   複数の撮像装置に撮影された対象物が存在すると仮定される平面を示す仮想面の位置を複数有し、複数の仮想面の位置から１の仮想面の位置を決定する位置決定手段と、
   決定された仮想面の位置に対して、前記合成画像の点に対応する前記仮想面の点を求め、求めた仮想面の点に対応する少なくとも２つ以上の前記撮像画像の点を求める対応点算出手段と、
   算出された各撮像画像の点の輝度値が所定の条件を満たす場合、前記各撮像画像の点の輝度値を用いて前記合成画像の点の輝度値を決定する輝度決定手段と、
   決定された輝度値を含む合成画像を表示する表示手段と
   を有する画像処理システム。

Images