JP2017208606A - 画像処理装置、撮像装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】複数の画像を取得した撮像時の光学パラメータが厳密に取得されていない場合においても、少ない処理負荷で該複数の画像間での対応点を検出する。【解決手段】画像処理装置２０は、それぞれ撮像により取得された画像であり、該撮像に用いられた撮像系の光学パラメータが互いに異なる第１のパラメータ値および第２のパラメータ値である第１の画像および第２の画像に対して、第１の画像内の対象画素に対応する第２の画像内の対応画素を検出する処理を行う。該装置は、第１および第２のパラメータ値がそれぞれ変化し得る所定範囲に応じて、第２の画像のうち対応画素の探索を行う部分領域である２次元探索領域を設定し、該２次元探索領域において探索を行うことにより対応画素を検出する。【選択図】図１

Description

本発明は、撮像時の光学パラメータが異なる複数の画像において対応点を検出する画像処理技術に関する。

撮像時の光学パラメータが異なる複数の画像において同一被写体が写っている画素同士である対応点を検出することで、該対応点の位置の対応関係に基づいて被写体空間内の被写体までの距離（被写体距離）を算出したり該複数の画像を合成したりすることができる。

例えば、互いに異なる複数の視点からの撮像が可能なステレオカメラでは、それぞれの視点からの撮像により取得した複数の画像における対応点の各画像上での座標の相違量から視差量を求め、該視差量に基づいて被写体距離を算出することができる。また、特許文献１には、焦点距離が互いに異なる単焦点撮像系を複数有し、複数の異なる画角の合焦画像を同時に取得可能な複眼撮像装置が開示されている。この複眼撮像装置では、複数の撮像系によって取得された複数の画像において対応点を検出し、該複数の画像の合成や被写体距離の算出を行う。さらに、特許文献２には、複数のフォーカス位置での撮像により取得された合焦距離がそれぞれ異なる複数の画像の位置合せを行ってこれら画像を合成することで、全焦点（パンフォーカス）画像を生成する撮像装置が開示されている。

一般に、対応点の検出は、複数の画像のうち１つの基準画像内の任意の対象画素に対応する対応画素を他の探索画像内で探索することにより行われる。さらに、探索画像内において複数の撮像系の光学パラメータに基づいて設定（算出）したエピポーラ線上のみにおいて対応画素が探索される。

特開２０１５−１０３８８５号公報 特開２０１４−０１７５３９号公報

しかしながら、複数の撮像系のそれぞれの厳密な光学パラメータが取得されていない場合には、光学パラメータに基づいて探索画像内に設定されたエピポーラ線上に対応画素が存在しない可能性がある。この場合においてエピポーラ線上のみにおいて対応画素を探索すると、対応画素を検出することができなかったり対応画素の検出精度が十分に得られなかったりする。一方、エピポーラ線上だけでなく探索画像全体を探索領域として対応画素を探索すると、処理負荷が極めて大きくなる。

本発明は、複数の画像を取得した撮像時の光学パラメータが厳密に取得されていない場合においても、少ない処理負荷で該複数の画像間での対応点の検出が可能な画像処理装置および画像処理方法等を提供する。

本発明の他の一側面としての画像処理装置は、それぞれ撮像により取得された画像であり、該撮像に用いられた撮像系の光学パラメータが互いに異なる第１のパラメータ値および第２のパラメータ値である第１の画像および第２の画像に対して、第１の画像内の対象画素に対応する第２の画像内の対応画素を検出する処理を行う。該画像処理装置は、第１および第２のパラメータ値がそれぞれ変化し得る所定範囲に応じて、第２の画像のうち対応画素の探索を行う部分領域である２次元探索領域を設定する領域設定手段と、２次元探索領域において探索を行うことにより対応画素を検出する検出手段とを有することを特徴とする。

なお、撮像系と上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。

また、本発明の他の一側面としての画像処理方法は、それぞれ撮像により取得された画像であり、該撮像に用いられた撮像系の光学パラメータが互いに異なる第１のパラメータ値および第２のパラメータ値である第１の画像および第２の画像に対して、第１の画像内の対象画素に対応する第２の画像内の対応画素を検出する処理を行う方法である。該画像処理方法は、第１および第２のパラメータ値がそれぞれ変化し得る所定範囲に応じて、第２の画像のうち対応画素の探索を行う部分領域である２次元探索領域を設定するステップと、２次元探索領域において探索を行うことにより対応画素を検出するステップとを有することを特徴とする。

なお、上記画像処理方法による処理をコンピュータに実行させる画像処理プログラムも、本発明の他の一側面を構成する。

本発明によれば、第１および第２の画像を取得した撮像時の光学パラメータの値が厳密に取得されていなくても、少ない処理負荷で第１および第２の画像間での対応点（対象画素と対応画素）を精度良く検出することができる。

本発明の実施例における２次元探索領域の設定方法を説明する図。 ブロックマッチング法について説明する図。 ２つの撮像系における同一被写体の撮像面上での座標の対応関係について説明する図。 図３に示す２つの撮像系により取得される画像上のエピポーラ線を示す図。 入射瞳位置が異なる２つの撮像系における同一被写体の撮像面上での座標の対応関係について説明する図。 図５に示す２つの撮像系により取得される画像上のエピポーラ線を示す図。 クラスタリング処理について説明する図。 ２つの撮像系のそれぞれの光軸が互いに角度を持つ場合のエピポーラ線を示す図。 ２つの撮像系のそれぞれの焦点距離が互いに異なる場合のエピポーラ線を示す図。 本発明の実施例１，２である複眼撮像装置の構成を示すブロック図。 実施例１，２の複眼撮像装置における撮像ユニットの（ａ）斜視図および（ｂ）正面図。 実施例１の複眼撮像装置１が行う画像処理を示すフローチャート。 実施例２の複眼撮像装置２が行う画像処理を示すフローチャート。 本発明の実施例３であるステレオ撮像装置の構成を示すブロック図。 実施例３であるステレオ撮像装置３が行う画像処理を示すフローチャート。 本発明の実施例４であるステレオ撮像装置の構成を示すブロック図。 実施例４のステレオ撮像装置が行う画像処理を示すフローチャート。

以下、本発明の実施例について図面を参照しながら説明する。

具体的な実施例（実施例１〜４）の説明に先立って、まず、各実施例における共通事項として、複数の画像における対応被写体である対応点を検出する対応点検出処理（画像処理方法）について説明する。対応点は、複数の画像において同一被写体が写っている、言い換えれば同一被写体からの光を記録した画素同士である。また、本実施例では、対応点検出処理として、複数の画像のうち１つの基準画像内（第１の画像内）の任意の対象画素に対応する対応画素を他の探索画像内（第２の画像内）で探索することにより行う。なお、以下の説明では、対象画素および対応画素がそれぞれ１画素である場合について説明するが、１まとまりの２画素以上の画素であってもよい。

図２には、互いに異なる視点位置からの撮像により取得された基準画像としての第１の画像ＩＭＧ１および探索画像としての第２の画像ＩＭＧ２を示す。各画像内での画素位置を示す座標（Ｘ，Ｙ）は、各画像（画素群）の中心を原点として定義する。Ｘは水平方向（Ｘ方向）での座標を、Ｙは垂直方向（Ｙ方向）での座標である。第１の画像ＩＭＧ１内における座標（Ｘ，Ｙ）の画素の信号値（画素値）をＦ１（Ｘ，Ｙ）とし、第２の画像ＩＭＧ２内における座標（Ｘ，Ｙ）の画素の画素値をＦ２（Ｘ，Ｙ）とする。

第１の画像ＩＭＧ１内の任意の対象画素（画素値Ｆ１（Ｘ，Ｙ））に対応する第２の画像ＩＭＧ２内の対応画素は、第２の画素ＩＭＧ２において画素値Ｆ１（Ｘ，Ｙ）と最も類似した画素値を探すことで検出することができる。図２では、第１および第２の画像ＩＭＧ１，ＩＭＧ２内のハッチングされた画素がそれぞれ対象画素と対応画素である。以下の説明では、対象画素を注目画素といい、対応画素を注目対応画素という。

第１の画像ＩＭＧ１内の任意の画素と最も類似した画素を第２の画像ＩＭＧ２内から探すには、ブロックマッチングと呼ばれる手法を用いる。ここでは、ブロックのサイズが３×１画素である場合のブロックマッチングについて説明する。第１の画像ＩＭＧ１内の任意の注目画素（座標（Ｘ，Ｙ））とその左右の座標（Ｘ−１，Ｙ），（Ｘ＋１，Ｙ）の２つの画素とからなる３画素の画素値はそれぞれ、Ｆ１（Ｘ，Ｙ）、Ｆ１（Ｘ−１，Ｙ）およびＦ１（Ｘ＋１，Ｙ）である。これに対して、座標（Ｘ，Ｙ）からＸ方向にｋだけずれた第２の画像ＩＭＧ２内の画素の画素値はそれぞれ、Ｆ２（Ｘ＋ｋ，Ｙ），Ｆ２（Ｘ＋ｋ−１，Ｙ）およびＦ２（Ｘ＋ｋ＋１，Ｙ）となる。この場合、第１の画像ＩＭＧ１内の座標（Ｘ，Ｙ）に位置する注目画素と第２の画像ＩＭＧ２内の座標（Ｘ＋ｋ，Ｙ）に位置する画素との画素値の類似度Ｅを以下の式（１）で定義する。

この式（１）において逐次ｋの値を変えながら類似度Ｅの値を計算し、最も小さい類似度Ｅを与える（Ｘ＋ｋ，Ｙ）が、第１のＩＭＧ１内の注目画素に対応する第２の画像ＩＭＧ２内での注目対応画素の座標である。類似度Ｅの計算に用いる複数の画素、ここでは上記３画素の範囲をブロックという。式（１）では、ブロックをＸ方向に３画素とＹ方向に１画素の範囲とするが、Ｙ方向についても複数の画素を有する範囲としてもよい。また、ブロックの形状は任意である。また、式（１）では、類似度Ｅを画素値の差の２乗の合計（ＳＳＤ；Sum of Squared Difference）として定義したが、ＳＡＤ（Sum of Absolute Difference）として定義してもよい。さらに、類似度ＥをＮＣＣ（Normalized Cross-Correlation）として定義してもよく、この場合には最も１に近い類似度を与える画素が注目対応画素である。このように逐次ｋを変えながら最も小さい類似度Ｅを与える注目対象画素の座標（Ｘ＋ｋ，Ｙ）を探す処理を行うことを、注目対応画素を探索する（又は対応点を検出する）という。ここでは、類似度ＥをＸ方向にのみ逐次座標を変化させながら計算するが、Ｙ方向（Ｘ方向およびＹ方向のうち少なくとも一方）に逐次座標を変化させながら計算してもよい。第２の画像ＩＭＧ２において注目対応画素を探索する領域を探索領域という。

以上の対応点検出処理を行うことで、第１および第２の画像ＩＭＧ１，ＩＭＧ２間での対応点（注目画素と注目対応画素）が位置する座標を取得（検出）することができる。対応点が特定されることで、該対応点間の座標（位置）の相対関係、すなわち該対応点間の位置関係に関する情報を取得することができる。そして、該位置関係に関する情報を用いることで、第１および第２の画像を合成して合成画像や全焦点画像を生成したり、第１および第２の画像における対応点間の位置差から被写体空間の被写体までの距離（被写体距離）を算出したりすることができる。

図２では、第１の画像ＩＭＧ１における注目画素の座標に対して、第２の画像ＩＭＧ２における注目対応画素の座標がＸ方向にのみずれている、つまりエピポーラ線がＸ方向に平行な直線である場合を示している。エピポーラ線とは、注目対応画素が存在し得る画像上の直線である。この場合、探索領域はＸ方向に延びるエピポーラ線上でよい。第２の画像ＩＭＧ２におけるＸ方向での画素数がＮとすると、逐次ｋの値を変えながら類似度ＥをＮ回計算することとなる。さらに、第１の画像ＩＭＧ１内の全ての画素を注目画素として、それぞれの注目画素に対応する第２の画像ＩＭＧ２内での注目対応画素を探索するには、第２の画像ＩＭＧ２のＹ方向での画素数がＭであるとすると、全体での計算回数はＮ×（Ｎ×Ｍ）回となる。

ただし、このように直線状の探索範囲のみから注目対応画素を探索するには、第１および第２の画像ＩＭＧ１，ＩＭＧ２のそれぞれの取得時における撮像系の厳密な光学パラメータの値が取得できていることが前提となる。光学パラメータとしては、撮像系が有する光学系の焦点距離、入射瞳の位置、前側主点の位置、光軸の向き、合焦距離、撮像系が有する撮像素子の中心と光学系の光軸との位置差および光学系の光軸に対する撮像素子の回転量のうち少なくとも１つである。また、図２に示したように互いに異なる視点位置からの撮像が行われた場合は、光学パラメータとして、視点位置間の距離も含まれる。

これら光学パラメータのうち入射瞳の位置（以下、入射瞳位置という）は、光学系の光軸に対して直交する任意の平面を基準としたときの該平面から該光学系の入射瞳までの距離である。また、前側主点の位置（以下、前側主点位置という）とは、光学系の光軸に対して直交する任意の平面を基準としたときの該平面から該光学系の前側主点までの距離である。合焦距離とは、撮像に際して光学系のピントが合っていた距離である。

第１の画像の取得時の光学パラメータの値（第１のパラメータ値）と第２の画像の取得時の光学パラメータの値（第２のパラメータ値という）のうち少なくとも一方が変化すると、第２の画像内の同一注目画素に対する探索画像内でエピポーラ線が変化する。このエピポーラ線の変化については後述する。このため、実際の光学パラメータの値と異なる光学パラメータの値に基づいて第２の画像において注目対応画素を探索するエピポーラ線を設定しても、そのエピポーラ線上に注目対応画素は存在せず、誤った画素が注目対応画素として検出されるおそれがある。誤って検出された注目対応画素はエピポーラ線上では類似度Ｅが最も小さい画素であるが、注目画素が記録した光を発した被写体とは異なる被写体からの光を記録している。

以下、光学パラメータの変化に応じたエピポーラ線の変化について説明する。ここでは、互いに異なる２つの視点位置から２つの撮像系を通して撮像を行う場合について説明する。まず、視点位置以外の光学パラメータの値が全て互いに同一である理想的な２つの撮像系が用いられた場合のエピポーラ線について、図３を用いて説明する。図３中のＣＡおよびＣＢは互いに視点位置が異なる２つの撮像系を示す。図３では、Ｏを原点とし、水平方向をＸ軸方向、垂直方向をＺ軸方向として定義する。一点鎖線ＯＡａ，ＯＡｂはそれぞれ撮像系ＣＡ，ＣＢの光軸を示し、Ｏｂｊは被写体を示す。ＥＰａ，ＥＰｂはそれぞれ撮像系ＣＡ，ＣＢの入射瞳を示し、ＡＰａ，ＡＰｂはそれぞれ撮像系ＣＡ，ＣＢの射出瞳を示す。Ｈ１ａ，Ｈ１ｂはそれぞれ撮像系ＣＡ，ＣＢの前側主平面を示し、Ｈ２ａ，Ｈ２ｂはそれぞれ撮像系ＣＡ，ＣＢの後側主平面を示す。実線ＰＲａ，ＰＲｂはそれぞれ、被写体から撮像系ＣＡ，ＣＢに入射する光のうち撮像系ＣＡ，ＣＢの光学系の絞り開口の中心を通る光線（以下、絞り中心光線という）を示す。破線ＳＲａ，ＳＲｂはそれぞれ、被写体から撮像系ＣＡ，ＣＢに入射する光のうち撮像系ＣＡ，ＣＢの光学系の前側および後側主点を通る光線（以下、主点光線という）を示す。

撮像系ＣＡ，ＡＢは視点位置を除く光学パラメータの値が全て互いに同一であるので、光軸ＯＡａ，ＯＡｂは互いに平行である。また、入射瞳ＥＰａ，ＥＰｂ、射出瞳ＡＰａ，ＡＰｂ、前側主平面Ｈ１ａ，Ｈ１ｂおよび後側主平面Ｈ２ａ，Ｈ２ｂはそれぞれ互いに同じＺ座標に位置する。また、撮像系ＣＡにおいて前側主平面Ｈ１ａと光軸ＯＡａとの交点である前側主点の座標は（−Ｄ／２，０）であり、撮像系ＣＢにおいて前側主平面Ｈ１ｂと光軸ＯＡｂとの交点である前側主点の座標は（＋Ｄ／２，０）である。さらに、撮像系ＣＡにおいて入射瞳ＥＰａと光軸ＯＡａとの交点の座標は（−Ｄ／２，ｅｏ）であり、撮像系ＣＢにおいて入射瞳ＥＰｂと光軸ＯＡｂとの交点の座標は（＋Ｄ／２，ｅｏ）である。つまり、撮像系ＣＡ，ＣＢの間の基線長（視点位置間の距離）はＤであり、撮像系ＣＡ，ＣＢの前側主平面Ｈ１ａ，Ｈ１ｂと入射瞳ＥＰａ，ＥＰｂとの間のＺ軸方向における距離はｅｏである。

点線Ｐｆは撮像系ＣＡ，ＣＢがピントを合わせている平面である合焦平面を示し、入射瞳ＥＰａ，ＥＰｂと合焦平面Ｐｆとの間のＺ軸方向での距離である合焦距離はＺｆである。合焦平面Ｐｆと被写体Ｏｂｊとの間のＺ軸方向の距離はＺｏであり、被写体Ｏｂｊは座標（−ｘ，ｅｏ＋Ｚｆ＋Ｚｏ）に位置する。

撮像系ＣＡおよびＣＢの焦点距離をｆとすると、撮像系ＣＡ，ＣＢのそれぞれの撮像面（撮像素子）上での被写体像の座標ａ，ｂは式（２）の関係を満足する。座標ａ，ｂはそれぞれ撮像系ＣＡおよびＣＢの撮像面の中心（光軸ＯＡａ，ＯＡｂが通る位置）からの距離に相当する。

ここでは２次元空間において座標ａ，ｂが満足する関係について説明したが、この関係は３次元空間にも拡張することができる。撮像系ＣＡ，ＣＢのそれぞれの撮像面上での座標を（Ｘ，Ｙ）と表現する。このとき、撮像系ＣＡ，ＣＢにおける撮像面上での被写体像の座標をそれぞれ（ａｘ，ｂｙ），（ｂｘ，ｂｙ）とし、基線長のＸおよびＹ方向の成分をそれぞれＤｘ，Ｄｙとすると、ａ＝ａｘ、ｂ＝ｂｘ、Ｄ＝Ｄｘを代入しても式（２）は成り立つ。また、ａ＝ａｙ、ｂ＝ｂｙ、Ｄ＝Ｄｙを代入しても式（２）は成り立つ。

式（２）において、Ｚｏに互いに異なる任意の値であるＺｏ１およびＺｏ２を代入したときの座標ｂ１および座標ｂ２を結ぶ直線がエピポーラ線であり、座標ａに位置する画素を注目画素としたとき、注目対応画素は該エピポーラ線上に存在する。

図４には、撮像系ＣＡ，ＣＢによって取得された第１および第２の画像ＩＭＧａ，ＩＭＧｂを示す。図４では、それぞれの画像の中心を原点とし、垂直方向をＹ軸方向とし、水平方向をＸ軸方向として定義する。実線ｅｐｉ１は第１の画像ＩＭＧａ内の点ａ１に位置する画素を注目画素としたときの、第２の画像ＩＭＧｂ内でのエピポーラ線を示しており、注目対応画素は該エピポーラ線ｅｐｉ１上に存在する。また、実線ｅｐｉ２は第１の画像ＩＭＧａ内の点ａ２に位置する画素を注目画素としたときの第２の画像ＩＭＧｂ内でのエピポーラ線を表しており、注目対応画素は該エピポーラ線ｅｐｉ２上に存在する。エピポーラ線ｅｐｉ１，ｅｐｉ２上の点ｐａ１，ｐａ２はそれぞれ、第２の画像ＩＭＧｂのうち第１の画像ＩＭＧａ上の注目画素ａ１，ａ２と同じ座標の画素を示す。

第２の画像ＩＭＧｂにおいて注目画素ａ１，ａ２に対応する注目対応画素を検出するためにはそれぞれ、エピポーラ線ｅｐｉ１，ｅｐｉ２上を探索すればよい。さらに、光学パラメータとして、撮像系ＣＡに対して撮像系ＣＢが位置する方向、つまりは基線方向が既知であれば、注目対応画素が注目画素と同じ座標に対してエピポーラ線上のどちらの方向に存在するかを特定することができる。すなわち、第２の画像ＩＭＧｂ上における注目画素と同じ座標に対して、注目対応画素は必ず基線方向とは逆方向に位置する。このため、基線方向から、第２の画像ＩＭＧｂ上の破線ｒｅｇ１，ｒｅｇ２で示すように、エピポーラ線ｅｐｉ１，ｅｐｉ２上での注目対応画素の探索領域を限定することができる。

次に、視点位置が互いに異なり、かつ他の光学パラメータである入射瞳位置（ここでは光軸ＯＡａ，ＯＡｂに対して直交する平面から入射瞳ＥＰａ，ＥＰｂまでの距離）も互いに異なる２つの撮像系が用いられた場合のエピポーラ線について、図５を用いて説明する。図５中の符号は図３中の符号と同じ要素を示す。図５に示す２つの撮像系ＣＡ，ＣＢにおいては、被写体Ｏｂｊからそれぞれの入射瞳ＥＰａ，ＥＰｂまでの距離が互いに異なる。つまり、入射瞳ＥＰａ，ＥＰｂはＺ軸方向において互いに異なる座標に位置する。

Ｚ軸方向において撮像系ＣＡの入射瞳ＥＰａと合焦平面Ｐｆとの間の距離はＺｆ、合焦平面Ｐｆと被写体Ｏｂｊとの間の距離はＺｏであり、被写体Ｏｂｊは座標（−ｘ，ｅｏ＋Ｚｆ＋Ｚｏ）に位置する。また、撮像系ＣＢの入射瞳ＥＰｂは撮像系ＣＡの入射瞳ＥＰａよりも被写体Ｏｂｊの近くに位置し、入射瞳ＥＰａ，ＥＰｂの間の距離はΔｅｐである。

撮像系ＣＡ，ＣＢの焦点距離をともにｆとすると、撮像系ＣＡ，ＣＢのそれぞれの撮像面上での被写体像の座標ａ，ｂは式（３）の関係を満足する。

式（３）において、Ｚｏに互いに異なる任意の値Ｚｏ１およびＺｏ２を代入したときの座標ｂ１および座標ｂ２を結ぶ直線がエピポーラ線であり、座標ａに位置する画素を注目画素としたとき、注目対応画素は該エピポーラ線上に存在する。

図６には、撮像系ＣＡ，ＣＢによって取得される第１および第２の画像ＩＭＧａ，ＩＭＧｂを示している。図６における座標系の定義は図４と同様である。実線ｅｐｉ１は第１の画像ＩＭＧａ内の点ａ１に位置する画素を注目画素としたときの第２の画像ＩＭＧｂ内でのエピポーラ線を示しており、注目対応画素は該エピポーラ線ｅｐｉ１上に存在する。また、実線ｅｐｉ２は第１の画像ＩＭＧａ内の点ａ２に位置する画素を注目画素としたときの第２の画像ＩＭＧｂ内でのエピポーラ線を示しており、注目対応画素は該エピポーラ線ｅｐｉ２上に存在する。エピポーラ線ｅｐｉ１，ｅｐｉ２上の点ｐａ１，ｐａ２はそれぞれ、第２の画像ＩＭＧｂのうち第１の画像ＩＭＧａ上の注目画素ａ１，ａ２と同じ座標の画素を示す。光学パラメータとして撮像系ＣＡに対して撮像系ＣＢが位置する基線方向が既知であれば、第２の画像ＩＭＧｂ上の破線ｒｅｇ１，ｒｅｇ２で示すように、エピポーラ線ｅｐｉ１，ｅｐｉ２上での注目対応画素の探索領域を限定することができる。

図６に示したように２つの撮像系ＣＡ，ＣＢのそれぞれの入射瞳位置が互いに異なる場合には、図４に示したような視点位置以外の光学パラメータが全て同一である場合とは異なり、第２の画像ＩＭＧｂ上のエピポーラ線ｅｐｉ１，ｅｐｉ２が傾いている。また、図６に示したエピポーラ線ｅｐｉ１，ｅｐｉ２の傾きは、基線長Ｄおよび入射瞳位置のずれ量Δｅｐのそれぞれの変化に応じて変化する。このため、前述したように実際の光学パラメーラの値とは異なる光学パラメータの値に基づいて算出されたエピポーラ線上において注目対応画素を探索しても、実際のエピポーラ線が変化しているために真の注目対応画素を検出できない。すなわち、誤った画素が注目対応画素として検出されるおそれがある。

このように、第１および第２の画像ＩＭＧａ，ＩＭＧｂのそれぞれの取得時での撮像系の実際の厳密な光学パラメータの値に対してエピポーラ線の算出に用いた光学パラメータの値が誤差を持つと、真の注目対応画素を精度良く検出することができない。厳密な光学パラメータの値が得られない場合の例としては、撮像系の合焦状態や熱的状態の全ての状態におけるキャリブレーションが行われていない場合が挙げられる。また、撮像系を構成する光学素子、機械部および駆動部の公差に起因して各光学パラメータの値が想定値からばらつく場合も挙げられる。

このような厳密な光学パラメータの値が得られないために正しいエピポーラ線が既知でない場合においても真の注目対応画素を検出するためには、第２の画像ＩＭＧｂの全領域（全ての画素）を探索領域として探索する必要がある。具体的には、第１の画像ＩＭＧａの１つの注目画素について、第２の画像ＩＭＧｂ上の全ての画素の類似度Ｅを計算する必要がり、第１および第２の画像ＩＭＧａ，ＩＭＧｂが図２と同様にＮ×Ｍ画素を有する場合にはＮ×Ｍ回だけ類似度Ｅを計算する必要がある。このため、第１の画像ＩＭＧａ上の全ての画素を注目画素として、それぞれに対応する第２の画像ＩＭＧｂ上の注目対応画素を検出するためには、全体で（Ｎ×Ｍ）×（Ｎ×Ｍ）回の類似度Ｅの計算が必要となる。この場合、エピポーラ線上のみを探索領域として探索する場合に比べて処理負荷がＭ倍であり、計算量が非常に多くなる。

以下に説明する各実施例では、光学パラメータの値（第１および第２のパラメータ値）が変化し得る範囲の最大値と最小値に基づいて、第２の画像のうち注目対応画素を効率良く探索する部分領域としての２次元探索領域を算出して設定する。具体的には、光学パラメータの値がその変化が予想される最大値から最小値までの範囲（所定範囲）で変化することに応じて変化するエピポーラ線を全て包含する２次元探索領域をできるだけ小さく（望ましくは最小限に）設定する。これにより、第１および第２の画像を取得した際の撮像系の厳密な光学パラメータの値が取得されていない場合においても、軽い処理負荷（少ない計算量）で真の注目対応画素を精度良く検出することが可能となる。

各実施例にて行われる２次元探索領域の設定方法について、図５に示した２つの撮像系ＣＡ，ＣＢにおいて基線長Ｄおよび互いの入射瞳位置間の距離Δｅｐの厳密な値が取得されていない場合を例として説明する。図１（ａ）、（ｂ）および（ｃ）は、図６に示した第２の画像ＩＭＧｂのうち画素ｐａ２を含む左下領域を拡大して示している。図１（ａ）におけるＥＰＩ１，ＥＰＩ２，ＥＰＩ３およびＥＰＩ４はそれぞれ、基線長Ｄおよび入射瞳位置間の距離Δｅｐのうち行く無くとも一方が異なる場合の注目画素ａ２に対応する注目対応画素が存在するエピポーラ線を示す。ＥＰＩ１はＤ＝Ｄ１およびΔｅｐ＝０であるときのエピポーラ線を示し、ＥＰＩ２はＤ＝Ｄ１およびΔｅｐ＝Δｅｐ１であるときのエピポーラ線を示す。ＥＰＩ３はＤ＝Ｄ２（＜Ｄ１）およびΔｅｐ＝Δｅｐ２（＜Δｅｐ１）であるときのエピポーラ線を示し、ＥＰＩ４はＤ＝０およびΔｅｐ＝Δｅｐ１であるときのエピポーラ線を示す。このように、図１（ａ）は基線長Ｄが０〜Ｄ１の間で変化し、入射瞳位置間の距離Δｅｐが０〜Δｅｐ１の間で変化したときのエピポーラ線の変化を示す。このとき、第２の画像ＩＭＧｂのうちこれらエピポーラ線ＥＰＩ１〜ＥＰＩ４を全て包含する部分領域としての２次元探索領域を設定する。これにより、基線長Ｄおよび入射瞳位置間の距離Δｅｐが厳密に取得されていなくても、基線長Ｄが０〜Ｄ１の範囲内に収まり、かつ入射瞳位置間の距離Δｅｐが０〜Δｅｐ１の範囲内に収まれば、真の注目対応画素を軽い処理負荷で正確に検出することができる。

このように、各実施例では、光学パラメータの値の変化に伴うエピポーラ線の変化に基づいて２次元探索領域を設定することで、光学パラメータの値が厳密に取得されていない場合においても効率的に正確な注目対応画素を検出することができる。これにより、第２の画像の全域を探索領域とする場合に比べて、対応点の探索（検出）に必要な計算量、つまりは処理負荷を大幅に低減することができる。

図１（ｂ）には、撮像画角（被写体空間）中に含まれる被写体のうち撮像系に最も近い被写体までの距離が既知である場合に注目対応画素の探索領域が限定された複数のエピポーラ線を示している。言い換えれば、第１および第２の画像ＩＭＧａ，ＩＭＧｂ間での対応点の座標の相違量の最大値（以下、最大対応点ずれ量という）が既知である場合において、注目対応画素の探索領域が限定されたエピポーラ線を示している。また、図１（ｃ）には、図１（ｂ）に示した複数のエピポーラ線を全て包含するように設定（算出）された２次元探索領域を示す。この２次元探索領域の設定により、基線長Ｄおよび入射瞳位置間の距離Δｅｐが厳密に取得されていなくても、基線長Ｄが０〜Ｄ１の範囲内に収まり、かつ入射瞳位置間の距離Δｅｐが０〜Δｅｐ１の範囲内に収まれば、真の注目対応画素を検出することができる。このように、予め最大対応点ずれ量を取得することができれば、さらに効率的に正確な注目対応画素を検出すること可能な探索領域を設定することができる。

ここで、注目画素が異なればエピポーラ線も異なるため、上記２次元探索領域も異なる。このため、２次元探索領域は注目画素ごとに設定する。

次に、最大対応点ずれ量の取得方法について説明する。最大対応点ずれ量は、互いに取得時の光学パラメータが異なる２つの画像のうち一方に対して複数の画素領域に分割するクラスタリング処理を行い、画素領域ごとに選択された注目画素に対する他方の画像における注目対応画素を探索することで取得可能である。画素領域は、画素値が相互に類似する相互に近傍に位置する複数の画素（近傍画素）を含む領域である。

図７には、クラスタリング処理の例を示している。図７におけるＩＭＧはクラスタリング処理前の画像を示し、ＩＭＧｃはクラスタリング処理後の画像を示している。クラスタリング処理後の画像ＩＭＧｃにおいて、太い実線がクラスタリング処理により分割された複数の画素領域の境界を示す。なお、画像ＩＭＧｃでは４つの画素領域に番号１〜４が付与されており、その他の画素領域への番号の付与は省略されている。画像を複数の画素領域に分割するクラスタリング処理には任意の方法を用いることができ、例えば以下の文献Ａに示すＳＬＩＣ（Simple Linear Iterative Clustering）法を用いることができる。

文献Ａ：IEEE Transactions on Pattern Analysis and Machine Intelligence VOLUME 34,Issue 11,NOV. 2012 pp. 2274 - 2282, R. Achanta et al. “SLIC Superpixels Compared to State-of-the-Art Superpixel Methods”
クラスタリング処理により分割された複数の画素領域を含む一方の画像（基準画像）ＩＭＧｃに対する他方の画像（探索画像）内での対応注目画素の検出を行う際には、基準画像の各画素領域について１回のみ探索画像内を探索する。すなわち、基準画像のうち各画素領域内の任意の１画素を注目画素とし、該注目画素に対応する注目対応画素を探索画像内で探索する。この結果、基準画像における画素領域の数の注目対応画素が探索画像内で検出される。こうして基準画像の全ての画素領域について１回ずつ探索画像内で注目対応画素の探索を行った結果として得られた複数対の対応点のそれぞれの座標の相違量のうち最大値を最大対応点ずれ量とする。

クラスタリング処理を用いる注目対応画素の検出は、基準画像における複数の画素をまとめて１つの画素領域として扱い、各画素領域の全ての画素を同一視するため、基準画像の全画素について精度良く探索画像内での注目対応画素を検出する目的には適さない。しかし、少ない計算量で基準画像と探索画像との間での最大対応点ずれ量を取得することは可能である。

２つの撮像系の厳密な基線長と入射瞳位置間の距離が未取得である場合の２次元探索領域の設定方法は以上の通りであるが、他の光学パラメータの厳密な値が未取得である場合も、その変化によるエピポーラ線の変化に基づいて２次元探索領域を設定可能である。以下、他の光学パラメータの値の変化に応じたエピポーラ線の変化について説明する。

図３を用いて説明した視点位置が異なる理想的な２つの撮像系ＣＡ，ＣＢにおいて、撮像系ＣＡの光軸ＯＡａの向きに対して撮像系ＣＢの光軸ＯＡｂの向きがθ°だけ傾いている場合のエピポーラ線の変化について説明する。２つの撮像系ＣＡ，ＣＢの光軸ＯＡａ，ＯＡｂの向きが互いに平行でない場合は、撮像系ＣＡにより取得される第１の画像ＩＭＧａ内の被写体の座標に対して、撮像系ＣＢにより取得される第２の画像ＩＭＧｂ内での同一被写体の座標がある方向にある量だけずれる。第１の画像ＩＭＧａにおける注目画素ａと第２の画像ＩＭＧｂにおける注目対応画素ｂは、式（４）を満足する。

式（４）は２次元空間においてａとｂが満足する式であるが、前述したように３次元空間に拡張することができる。この際には、Ｘ−Ｚ空間またはＹ−Ｚ空間における撮像系ＣＡ，ＣＢの光軸ＯＡａ，ＯＡｂ間の角度をそれぞれ代入すればよい。

図８には、撮像系ＣＡ，ＣＢによって取得された第１および第２の画像ＩＭＧａ，ＩＭＧｂを示す。図８における座標系の定義は図４と同様である。図中の実線ｅｐｉ１は第１の画像ＩＭＧａ内の点ａ１に位置する画素を注目画素としたときの第２の画像ＩＭＧｂ内でのエピポーラ線を示しており、注目対応画素は該エピポーラ線ｅｐｉ１上に存在する。また、実線ｅｐｉ２は第２の画像ＩＭＧａ内の点ａ２に位置する画素を注目画素としたときの第２の画像ＩＭＧｂ内でのエピポーラ線を示しており、注目対応画素は該エピポーラ線ｅｐｉ２上に存在する。

次に、図３を用いて説明した視点位置が異なる理想的な２つの撮像系ＣＡ，ＣＢにおいて焦点距離が互いに異なる場合のエピポーラ線の変化について説明する。２つの撮像系ＣＡ，ＣＢの焦点距離が互いに異なる場合には、撮像系ＣＡによって取得される第１の画像ＩＭＧａ内の被写体の座標に対して、撮像系ＣＢによって取得される第２の画像ＩＭＧｂ内の同一被写体の座標が画像中心から放射方向に一定倍される。撮像系ＣＡの焦点距離をｆａ、撮像系ＣＢの焦点距離をｆｂとすると、第１の画像ＩＭＧａにおける注目画素ａと第２の画像ＩＭＧｂにおける注目対応画素ｂは、式（５）を満足する。

図９には、撮像系ＣＡ，ＣＢによって取得される第１および第２の画像ＩＭＧａ，ＩＭＧｂを示す。図９での座標系の定義は図４と同様である。焦点距離ｆｂは焦点距離ｆａよりも大きい。実線ｅｐｉ１は第１の画像ＩＭＧａ内の点ａ１に位置する画素を注目画素としたときの第２の画像ＩＭＧｂ内でのエピポーラ線を示しており、注目対応画素は該エピポーラ線ｅｐｉ１上に存在する。また、実線ｅｐｉ２は第１の画像ＩＭＧａ内の点ａ２に位置する画素を注目画素としたときの第２の画像ＩＭＧｂ内でのエピポーラ線を示しており、注目対応画素は該エピポーラ線ｅｐｉ２上に存在する。

２つの撮像系の光軸の向き（光軸間の角度）および焦点距離の相違によるエピポーラ線への影響については以上の通りである。この２種類の光学パラメータの厳密な値が取得されていない場合も、前述したように光学パラメータの値の変化に応じて変化するエピポーラ線を全て包含する２次元探索領域を設定（算出）することで、注目対応画素を精度良く検出することができる。２つの撮像系間において他の光学パラメータの値、例えば前側主点位置、撮像系の撮像素子のＺ軸方向（光軸方向）での位置、撮像素子の中心と光学系の光軸との位置差、撮像素子の光軸に対する倒れおよび撮像素子の光軸回りでの回転量が異なる場合も同様である。

また、計算量やデータ量を削減するために、考慮する光学パラメータを限定してもよい。その際には、画像を取得する撮像系において予想される、特に変化しやすい光学パラメータを考慮して２次元探索領域を設定することが望ましい。例えば、単焦点光学系を有する撮像系を用いる場合は、一般にフォーカス駆動によって焦点距離と入射瞳位置が変化しやすいので、これらに基づいて２次元探索領域を設定するとよい。また、変倍時に多数の光学素子が駆動されるズームレンズを有する撮像系を用いる場合は、単焦点光学系を有する撮像系を用いる場合に考慮する光学パラメータに加えて、光軸の変化についても考慮し、これらに基づいて２次元探索領域を設定するとよい。さらに、それぞれの焦点距離が異なる複数の光学系を備える複眼撮像装置を用いる場合は、上記光学パラメータに加えて、基線長（光学系間の距離）を考慮することが好ましい。

２つの撮像系を用いる場合については以上の通りであるが、３つ以上の撮像系を用いる場合や１つの撮像系の位置と光学パラメータの値を変えて複数の画像を取得する場合についても同様である。

以下、具体的な実施例について説明する。

図１０には、本発明の実施例１である複眼撮像装置１の構成を示している。図１１（ａ），（ｂ）には複眼撮像装置１における撮像ユニット１００の構成を示している。

複眼撮像装置１は、撮像ユニット１００、Ａ／Ｄ変換器１０、画像処理部２０、システムコントローラ３０、撮像制御部４０、情報入力部５０、画像記録媒体６０、表示部７０および記憶部８０を有する。複眼撮像装置１は、撮像ユニット１００のうち後述する撮像光学系が一体に設けられた撮像装置であるが、撮像光学系が後述する撮像素子を含む撮像装置に対して着脱（交換）可能であってもよい。

図１１（ａ），（ｂ）に示すように、撮像ユニット１００は、それぞれが被写体の光学像（被写体像）を形成する６つの撮像光学系（個眼）１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂ，１１３０ａ，１１３０ｂを有する。また、撮像ユニット１００は、６つの撮像光学系１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂ，１１３０ａ，１１３０ｂのそれぞれに対応して設けられた６つの撮像素子１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂ，１２３０ａ，１２３０ｂを有する。６つの撮像光学系１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂ，１１３０ａ，１１３０ｂはそれぞれ、少なくとも１つのレンズおよびフォーカスレンズを含む単焦点光学系である。１つの撮像光学系とこれに対応する１つの撮像素子とにより１つの撮像系が構成される。つまり、撮像ユニット１００は、６つの撮像系を有する。図１０には、撮像ユニット１００のうち撮像光学系１１１０ａ，１１２０ｂの光軸を含む撮像系の断面を示している。

６つの撮像素子１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂ，１２３０ａ，１２３０ｂは一体的に、かつ同一平面上に保持されて撮像素子ユニット１２００を構成する。ただし、これら撮像素子１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂ，１２３０ａ，１２３０ｂは必ずしも同一平面上に位置しなくてもよい。また、６つの撮像光学系１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂ，１１３０ａ，１１３０ｂは、それぞれの光軸が平行になるように配置されている。

撮像光学系１１１０ａ，１１１０ｂは互いに同じ焦点距離を有し、該焦点距離が６つの撮像光学系１１１０ａ〜１１３０ｂのうち最も短い（画角がワイド画角である）１組のワイド個眼である。撮像光学系１１２０ａ，１１２０ｂは互いに同じ焦点距離を有し、該焦点距離が６つの撮像光学系１１１０ａ〜１１３０ｂのうち中間の長さである（画角がミドル画角である）１組のミドル個眼である。また、撮像光学系１１３０ａ，１１３０ｂは互いに同じ焦点距離を有し、該焦点距離が６つの撮像光学系１１１０ａ〜１１３０ｂのうち最も長い（画角がテレ画角である）１組のテレ個眼である。撮像光学系１１１０ａは、後述する合成画像を生成する際の基準視点となる。

撮像素子１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂ，１２３０ａ，１２３０ｂはそれぞれ、撮像光学系１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂ，１１３０ａ，１１３０ｂにより撮像面上に形成された被写体像をアナログ電気信号に変換する。Ａ／Ｄ変換器１０は、撮像素子１２１０ａ〜１２３０ｂのそれぞれから出力されたアナログ信号をデジタル信号に変換し、６つのデジタル信号としての画像データを画像処理部２０に出力する。

画像処理部２０は、Ａ／Ｄ変換器１０から入力された６つの画像データに対して画素補間処理や色変換処理等の画像処理を行って６つの視点画像を生成する。画像処理部２０からの６つの視点画像は、システムコントローラ３０に送信される。また、画像処理部２０は、記憶部８０から読み出した撮像ユニット１００の光学パラメータの値に基づいて、６つの視点画像間で対応点検出処理を行い、該６つの視点画像間での対応点の座標の相違量（位置関係に関する情報）を算出する。そして、画像処理部２０は、該相違量に基づいて合成画像を生成したり視点画像に写った被写体空間内の各被写体の被写体距離を算出したりする。なお、画像処理部２０は、複眼撮像装置１に搭載された画像処理装置に相当し、領域設定手段および画像合成手段として機能する。

情報入力部５０は、ユーザが所望の撮像条件を選択して入力した情報を取得してシステムコントローラ３０に該撮像条件の情報を供給する。システムコントローラ３０は、入力された撮像条件の情報に基づいて、撮像制御部４０を通じて各撮像光学系のフォーカスレンズの移動量、絞り値および各撮像素子の露出時間等を制御して被写体（被写体空間）の撮像を行う。これにより、画像処理部２０が、上述した６つの視点画像を生成する。

画像記録媒体６０は、撮像により得られた６つの視点画像、これら視点画像から生成された合成画像、視点画像から生成された被写体距離のマップおよび画像ファイルを構成するためのファイルヘッダを格納する。表示部７０は、液晶表示素子等により構成され、撮像前のライブビュー画像、撮像後の６つの視点画像、合成画像、被写体距離マップおよび撮像装置１の状態等を表示する。

次に、画像処理部２０が行う画像処理の手順について、図１２のフローチャートを用いて説明する。コンピュータとしての画像処理部２０は、コンピュータプログラムである画像処理プログラムに従って本画像処理を実行する。

ステップＳ１０１では、画像処理部２０は、情報入力部５０を通じてユーザにより入力されてシステムコントローラ３０を介して受け取った画角の情報に応じて、後に出力する合成画像に対応する焦点距離ｆｏを算出する。また、画像処理部２０は、ユーザによる画角の入力がない場合には、予め設定された任意の焦点距離を合成画像に対応する焦点距離ｆｏとして設定してもよい。ユーザが入力可能な画角の範囲は、焦点距離ｆｏがワイド個眼の焦点距離以上で、かつテレ個眼の焦点距離以下となる範囲である。

ステップＳ１０２において、システムコントローラ３０が撮像ユニット１００を制御して被写体空間の撮像を行うと、画像処理部２０はＡ／Ｄ変換器１０からの画像データに対して上述した画像処理を行って６つの視点画像を生成する。６つの視点画像のうち撮像光学系１１１０ａを通した撮像により得られた視点画像を、以下の説明では基準視点画像という。

ステップＳ１０３では、画像処理部２０は、記憶部８０から撮像ユニット１００における６つの撮像系のそれぞれにおける複数の光学パラメータの値を読み出す。ここでの複数の光学パラメータは、各撮像光学系の焦点距離、前側主点位置、入射瞳位置および撮像光学系間の基線長である。また、ここでの各光学パラメータの値が変化し得る範囲の最大値と最小値は、各光学パラメータがフォーカスレンズの駆動に応じて変化し得る範囲の最大値と最小値である。撮像光学系１１１０ａを含む撮像系の各光学パラメータの値が第１のパラメータ値に相当し、撮像光学系１１１０ｂ〜１１３０ｂを含む５つの撮像系の各光学パラメータの値が第２のパラメータ値に相当する。

ステップＳ１０４では、画像処理部２０は、各視点画像にトリミング拡大処理または縮小処理を行い、各視点画像の画角を合成画像の画角と同じにする。具体的には、焦点距離ｆｏがミドル個眼の焦点距離よりも短い場合には、ミドル個眼およびテレ個眼を通した撮像により生成された４つの視点画像に対して縮小処理を行い、ワイド個眼を通した撮像により生成された２つの視点画像に対してトリミング拡大処理を行う。焦点距離ｆｏがミドル個眼の焦点距離よりも長い場合には、テレ個眼を通した撮像により生成された２つの視点画像に対して縮小処理を行い、ワイド個眼およびミドル個眼を通した撮像により生成された４つの視点画像に対してトリミング拡大処理を行う。トリミング拡大処理および縮小処理の際には、バイキュービック補間等、公知の画素補間処理を用いる。

ステップＳ１０５では、画像処理部２０は、画角を互いに同じとした複数の視点画像のうち１つの基準視点画像とその他の５つの視点画像（以下、探索視点画像という）に対して対応点検出処理を行う。具体的には、画像処理部２０は、基準視点画像内の複数の画素領域のそれぞれについて各探索視点画像内で注目対応画素を探索する２次元探索領域を算出する。２次元探索領域は、各探索視点画像のうち、上記複数の光学パラメータの値が変化し得る範囲の最大値と最小値の全ての組み合わせに対応するエピポーラ線を全て包含する部分領域である。

画像処理部２０は、まず基準視点画像内の各画素領域の中心に位置する画素を注目画素として探索視点画像内で注目対応画素を探索する２次元探索領域を算出し、同じ画素領域内の画素を注目画素として注目対応画素を探索する際には同じ２次元探索領域で探索する。２次元探索領域のサイズが大きければ該２次元探索領域の算出に必要な計算量は少なくなるが、２次元探索領域のサイズが大きすぎると該２次元探索範囲内に注目対応画素が存在しない可能性がある。ここでは２次元探索領域のサイズを、例として、１０×１０画素とする。

こうして、画像処理部２０は、基準視点画像の画素（注目画素）ごとに、複数の探索視点画像内の２次元探索領域において対応する画素（注目対応画素）を探索する。基準視点画像の全ての画素に対して複数（またはその一部）の探索視点画像にて対応する画素が検出されると次のステップに進む。

ステップＳ１０６では、画像処理部２０は、基準視点画像と各探索視点画像との間の対応点の座標の相違量に基づいて１つの合成画像を生成する。具体的には、基準視点画像内の注目画素の画素値と該注目画素に対応する５つの探索視点画像内の注目対応画素の画素値との平均値を算出し、合成画像内における該注目画素および注目対応画素に対応する画素の画素値とする。この処理を基準視点画像の全ての画素について行って合成画像の全画素の画素値を算出することで、合成画像を生成する。

このように、本実施例では、複数の視点画像の取得時における撮像系の光学パラメータの値が取り得る範囲に基づいて探索視点画像内に設定した２次元探索領域内で注目対応画素探索をする。これにより、撮像系ごとの厳密な光学パラメータの値を得ていない場合であっても、少ない計算量で高精度に注目対応画素を検出することができる。この結果、良好な合成画像を生成することができる。

次に、本発明の実施例２について説明する。本実施例は、実施例１の複眼撮像装置１の変形例である。本実施例の複眼撮像装置２の構成は、実施例１の複眼撮像装置１の構成と同様である。複眼撮像装置２は、撮像光学系１１１０ａをワイド基準視点とし、撮像光学系１１２０ｂをミドル基準視点とする。また、撮像光学系１１３０ａをテレ基準視点とする。

複眼撮像装置２の記憶部８０は、撮像光学系１１１０ｂ，１１２０ｂ，１１３０ｂを通した撮像によりそれぞれ取得される探索視点画像における撮像条件ごとの２次元探索領域を示すテーブルデータ（以下、探索領域テーブルという）を記憶している。探索領域テーブルは、２つ（対）のワイド個眼、２つ（対）のミドル個眼および２つ（対）のテレ個眼ごとに１つずつ用意されている。各探索領域テーブルは、各対の個眼のうち基準視点となる一方の撮像光学系と他方の撮像光学系の合焦距離および注目画素の座標ごとの２次元探索領域を示すデータである。

各探索領域テーブル内の２次元探索領域は、撮像光学系１１１０ａ〜１１３０ｂの複数の光学パラメータの値に基づいて算出されたものである。具体的には、複数の光学パラメータは、撮像光学系１１１０ａ〜１１３０ｂの合焦距離、焦点距離、入射瞳位置、前側主点位置および基線長である。そして、各光学パラメータの基準値の１０５％の値を該光学パラメータの値が変化し得る範囲の最大値とし、該基準値の９５％の値を該範囲の最小値として、上記２次元探索領域が算出されている。本実施例でも２次元探索領域は、各上記複数の光学パラメータの値が変化し得る範囲の最大値と最小値の全ての組み合わせに対応するエピポーラ線を全て包含する部分領域である。なお、ここでは、例として、２次元探索領域を設定するために用いる光学パラメータの値が変化し得る範囲の最大値と最小値を、各光学パラメータの基準値に対して＋５％の値と−５％の値とした。しかし、光学パラメータの値の変化し得る最大値と最小値を、各撮像光学系を構成する光学素子、機構部および駆動部の公差から算出してもよいし、予め測定して取得してもよい。

本実施例では、撮像光学系１１１０ａ，１１２０ａ，１１３０ａを含む３つの撮像系の各光学パラメータの値が第１のパラメータ値に相当する。また、他の撮像光学系１１１０ｂ，１１２０ｂ，１１３０ｂを含む３つの撮像系の各光学パラメータの値が第２のパラメータ値に相当する。

さらに、記憶部８０は、被写体距離の算出に必要な光学パラメータの値を記憶している。ここにいう光学パラメータは、各撮像光学系の焦点距離、入射瞳位置、前側主点位置間の距離および各基準視点となる撮像光学系と他の撮像光学系との間の基線長である。各撮像光学系の入射瞳位置から入射瞳位置の相違量を算出することができる。複眼撮像装置２内の画像処理部２０は、探索視点画像における２次元探索領域内での対応点検出処理を行い、その結果および光学パラメータに基づいて各視点画像に写っている被写体空間の奥行き（被写体距離）の情報としての距離マップを生成（算出）する。本実施例の画像処理部２０は、複眼撮像装置１に搭載された画像処理装置に相当し、かつ領域設定手段および奥行き情報生成手段として機能する。

次に、画像処理部２０が行う画像処理の手順について、図１３のフローチャートを用いて説明する。コンピュータとしての画像処理部２０は、コンピュータプログラムである画像処理プログラムに従って本画像処理を実行する。

ステップＳ２０１において、システムコントローラ３０が撮像ユニット１００を制御して被写体空間の撮像を行うと、画像処理部２０はＡ／Ｄ変換器１０からの画像データに対して実施例１で説明した画像処理を行って６つの視点画像を生成する。６つの視点画像のうち、ワイド基準視点、ミドル基準視点およびテレ基準視点となる個眼１１１０ａ，１１２０ａ，１１３０ａを通した撮像により生成された画像をそれぞれ、ワイド基準視点画像、ミドル基準視点画像およびテレ基準視点画像という。また、上記６つの視点画像のうち個眼１１１０ａ，１１２０ａ，１１３０ａと対をなす個眼１１１０ｂ，１１２０ｂ，１１３０ｂを通した撮像により生成された画像をそれぞれ、ワイド探索視点画像、ミドル探索視点画像およびテレ探索視点画像という。画像処理部２０は、これら６つの視点画像の生成とともに、各個眼の合焦距離を撮像条件として保存する。

ステップＳ２０２では、画像処理部２０は、ステップＳ２０１で保存した各個眼の合焦距離を取得する。

ステップＳ２０３では、画像処理部２０は、記憶部８０に記憶されたワイド個眼、ミドル個眼およびテレ個眼ごとの探索領域テーブルから、それぞれの合焦距離に対応する２次元探索領域を読み出す。

ステップＳ２０４では、画像処理部２０は、ワイド、ミドルおよびテレ基準視点画像内の注目画素に対応する注目対応画素をそれぞれ、ワイド、ミドルおよびテレ探索視点画像におけるステップＳ２０３でそれぞれ読み出した２次元探索領域内で探索する。

こうして、画像処理部２０は、基準視点画像の画素（注目画素）ごとに、複数の探索視点画像内の２次元探索領域において対応する画素（注目対応画素）を探索する。基準視点画像の全ての画素に対して複数（またはその一部）の探索視点画像にて対応する画素が検出されると次のステップに進む。

ステップＳ２０５では、画像処理部２０は、記憶部８０から被写体距離の算出に必要な複数の光学パラメータの値を読み出し、該複数の光学パラメータの値と複数の対応点の座標とを用いて被写体空間内の複数の被写体距離を算出する。被写体距離は、式（３）に各注目画素と各注目対応画素の座標、各個眼の合焦距離および複数の光学パラメータの値を代入することで求められるＺｏである。

ステップＳ２０６では、画像処理部２０は、ステップＳ２０５で算出された複数の被写体距離を示す距離マップを生成する。本実施例では、ワイド基準および探索視点画像における注目および注目対象画素の座標からワイド画角用の距離マップが生成され、ミドル基準および探索視点画像における注目および注目対象画素の座標からミドル画角用の距離マップが生成される。また、テレ基準および探索視点画像における注目および注目対象画素の座標からテレ画角用の距離マップが生成される。ワイド画角用の距離マップからは、ミドルおよびテレ画角用の距離マップに比べてより広い被写体空間内の奥行き情報が得られる。また、テレ画角用の距離マップからは、ミドルおよびワイド画角用の距離マップに比べて被写体空間のうち狭い範囲における細かな奥行き情報が得られる。

このように、本実施例でも、複数の視点画像の取得時における撮像系の光学パラメータの値が取り得る範囲に基づいて探索視点画像内に設定した２次元探索領域内で注目対応画素探索をする。これにより、撮像系ごとの厳密な光学パラメータの値を得ていない場合であっても、少ない計算量で高精度に注目対応画素を検出することができる。この結果、良好な距離マップを生成することができる。

次に、本発明の実施例３であるステレオ撮像装置について説明する。本実施例のステレオ撮像装置は、高速な処理で距離マップを取得可能である。

図１４には、本実施例のステレオ撮像装置３の構成を示す。ステレオ撮像装置３の構成は、撮像ユニット３００を除いて実施例１の複眼撮像装置１と同様であり、実施例１と共通する又は同様な構成要素には実施例１と同符号を付す。

ステレオ撮像装置３は、撮像ユニット３００を備えている。撮像ユニット３００は、撮像光学系３１００ａ，３１００ｂと、これら撮像光学系３１００ａ，３１００ｂのそれぞれに対応する撮像素子３２００ａ，３２００ｂとを有する。１つの撮像光学系とこれに対応する１つの撮像素子とにより１つの撮像系が構成される。つまり、撮像ユニット３００は、２つの撮像系を有する。撮像光学系３１００ａ，３１００ｂはそれぞれ、少なくとも１つのレンズを含み、それぞれの焦点距離は互いに同じである。撮像光学系３１００ａは、距離マップを生成する際の基準視点となる。撮像光学系３１００ａを通した撮像により取得される画像を基準視点画像といい、撮像光学系３１００ｂを通した撮像により取得される画像を探索視点画像という。

ステレオ撮像装置３の記憶部８０は、基準視点画像内の画素（座標）ごとの探索視点画像における２次元探索領域を示す探索領域テーブルを記憶している。探索領域テーブル内の２次元探索領域は、撮像光学系３１００ａ，３１００ｂの複数の光学パラメータの値に基づいて算出されたものである。具体的には、複数の光学パラメータは、撮像光学系３１００ａ，３１００ｂの焦点距離、入射瞳位置、前側主点位置および基線長である。また、複数の光学パラメータは、撮像素子３２００ａ，３２００ｂのそれぞれの中心の撮像光学系３１００ａ，３１００ｂの光軸に対する位置差としての中心ずれ量、撮像素子３２００ａ，３２００ｂの光軸回りでの回転角および光軸に直交する面に対する倒れ角も含む。２次元探索領域は、探索視点画像のうち上記複数の光学パラメータのそれぞれの値が変化し得る範囲の最大値および最小値の全ての組み合わせに対応するエピポーラ線を全て包含する部分領域である。

各撮像素子の中心ずれ量、回転角および倒れ角のそれぞれが変化し得る範囲の最大値と最小値は、撮像ユニット３００の組立て公差から算出されるのが好ましい。理想的に配置された各撮像素子の中心ずれ量、回転角および倒れ角はいずれも０である。ここでは例として、中心ずれ量が変化し得る範囲の最大値を＋１ｍｍ、最小値を−１ｍｍとし、回転角および倒れ角が変化し得る範囲の最大値を＋１°、最小値を−１°とする。

本実施例では、撮像光学系３１００ａを含む撮像系の各光学パラメータの値が第１のパラメータ値に相当し、撮像光学系３１００ｂを含む撮像系の各光学パラメータの値が第２のパラメータ値に相当する。また、画像処理部２０は、ステレオ撮像装置３に搭載された画像処理装置に相当し、かつ領域設定手段および奥行き情報生成手段として機能する。

次に、画像処理部２０が行う画像処理の手順について、図１５のフローチャートを用いて説明する。コンピュータとしての画像処理部２０は、コンピュータプログラムである画像処理プログラムに従って本画像処理を実行する。

ステップＳ３０１において、システムコントローラ３０が撮像ユニット３００を制御して被写体空間の撮像を行うと、画像処理部２０はＡ／Ｄ変換器１０からの画像データに対して実施例１で説明した画像処理を行って基準視点画像および探索視点画像を生成する。

ステップＳ３０２では、画像処理部２０は、基準視点画像に対してＳＬＩＣ法を用いてクラスタリング処理を行うことで、基準視点画像を複数の画素領域に分割する。画素領域の分割数は任意であるが、ここでは例として３０の画素領域に分割する。

ステップＳ３０３では、画像処理部２０は、記憶部８０の探索領域テーブルから、基準視点画像における画素（座標）ごとの２次元探索領域を読み出す。

ステップＳ３０４では、画像処理部２０は、基準視点画像の各画素領域内の１つの注目画素に対する探索視点画像における注目対応画素を、探索視点画像のうちステップＳ３０３で読み出した２次元探索領域で探索する。そして、画像処理部２０は、それぞれ画素領域内の注目画素と注目対応画素からなる複数対の対応点の基準画像と探索画像との間での座標の相違量のうち最大値を最大対応点ずれ量として取得する。

ステップＳ３０５では、画像処理部２０は、ステップＳ３０３で読み出した座標ごとの２次元探索領域のうち、注目画素の座標からの距離が上記最大対応点ずれ量より大きい画素の２次元探索領域を消去し、限定された２次元探索領域を設定する。

ステップＳ３０６では、画像処理部２０は、注目画素に対応する注目対応画素を探索視点画像におけるステップＳ３０５で限定した２次元探索領域内で探索する。

こうして、画像処理部２０は、基準視点画像の画素（注目画素）ごとに、探索視点画像内の２次元探索領域において対応する画素（注目対応画素）を探索する。基準視点画像の全て（または一部）の画素に対して探索視点画像にて対応する画素が検出されると次のステップに進む。

ステップＳ３０７では、画像処理部２０は、複数の対応点の座標を用いて被写体空間内の複数の被写体距離を算出する。

ステップＳ３０８では、画像処理部２０は、ステップＳ３０７で算出された複数の被写体距離を示す距離マップを生成する。

このように、本実施例でも、複数の視点画像の取得時における撮像系の光学パラメータの値が取り得る範囲に基づいて探索視点画像内に設定した２次元探索領域内で注目対応画素探索をする。これにより、撮像系ごとの厳密な光学パラメータの値を得ていない場合であっても、少ない計算量で高精度に注目対応画素を検出することができる。この結果、良好な距離マップを生成することができる。特に本実施例では、クラスタリング処理がなされた基準視点画像（複数の画素領域）と探索視点画像との間での最大対応点ずれ量に応じて限定された２次元探索領域を設定する。これにより、より少ない計算量で高精度に注目対応画素を検出することができ、高速に高精度の距離マップを生成することができる。

次に、本発明の実施例４である撮像装置について説明する。本実施例の撮像装置は、それぞれ合焦距離が異なる複数の画像を取得し、該複数の画像を用いて全焦点画像（パンフォーカス画像）を生成する。

同一の被写体空間の撮像により取得されたそれぞれ合焦距離が異なる複数の画像のそれぞれから鮮鋭度が高い部分領域を選択して合成する（組み合わせる）ことで、被写体空間の全域にピントが合っている全焦点画像を生成することができる。それぞれ合焦距離が異なる複数の画像は、単一の撮像系のフォーカスレンズを逐次駆動しながら複数回撮像を行うこと、すなわちフォーカスブラケティング撮像を行うことで取得することができる。ただし、フォーカスレンズの駆動により撮像光学系の焦点距離や入射瞳位置等の光学パラメータの値が変化すると、それぞれ合焦距離が異なる複数の画像において同一被写体が写っている画素（座標）が異なってしまう。このため、これら複数の画像間で被写体の位置を合わせる処理を行ってから合成を行う必要がある。

そこで、本実施例の撮像装置では、フォーカスブラケティング撮像により取得したそれぞれ合焦距離が異なる複数の画像のうち１つの画像を基準画像とし、他（２以上）の画像を探索画像とする。そして、フォーカスブラケティング撮像における複数回の撮像での光学パラメータの値に基づいて探索画像のそれぞれに対して算出された２次元探索領域にて基準画像の注目画素に対応する注目対応画素を検出する。こうして得られた対応点を用いて基準画像と探索画像との被写体位置合せを行う。これにより、少ない計算量で良好な全焦点画像を生成することができる。

図１６には、本実施例の撮像装置４の構成を示す。撮像装置４の構成は、撮像ユニット４００を除いて実施例１の複眼撮像装置１と同様であり、実施例１と共通する又は同様な構成要素には実施例１と同符号を付す。

撮像装置４は、撮像ユニット４００を有する。撮像ユニット４００は、撮像光学系４１００と撮像素子４２００とにより構成されている。撮像光学系４１００と撮像素子４２００により撮像系が構成される。撮像光学系４１００は、少なくとも１つのレンズおよびフォーカスレンズを含む。

システムコントローラ３０は、撮像制御部４０を制御し、フォーカスレンズを逐次移動させながら撮像を行い、画像処理部２０にそれぞれ合焦距離が異なる複数の画像を生成させる。つまり、撮像装置４は、フォーカスブラケティング撮像を行うことができる。

本実施例では、基準画像の取得時における撮像系の光学パラメータの値が第１のパラメータ値に相当し、２つの探索画像の取得時における撮像系の光学パラメータの値がそれぞれ第２のパラメータ値に相当する。また、画像処理部２０は、撮像装置４に搭載された画像処理装置に相当し、かつ領域設定手段および画像生成手段として機能する。

次に、画像処理部２０が行う画像処理の手順について、図１７のフローチャートを用いて説明する。コンピュータとしての画像処理部２０は、コンピュータプログラムである画像処理プログラムに従って本画像処理を実行する。

ステップＳ４０１において、システムコントローラ３０は、撮像ユニット４００を制御して被写体空間のフォーカスブラケティング撮像を行う。これにより、画像処理部２０は、Ａ／Ｄ変換器１０からの画像データに対して実施例１で説明した画像処理を行って複数の画像を生成する。このとき、システムコントローラ３０は、無限遠を合焦距離とする撮像から行い、予め設定された至近距離が合焦距離となるまで合計Ｎ回の撮像を行う。Ｎは任意の数でよいが、ここでは例としてＮ＝３とする。無限遠を合焦距離とする撮像により取得された画像を基準画像とし、他の２つの画像を探索画像とする。

ステップＳ４０２では、画像処理部２０は、記憶部８０から３回の撮像における撮像光学系４１００の複数の光学パラメータの値を読み出す。複数の光学パラメータは、撮像光学系４１００の焦点距離、入射瞳位置、前側主点位置および光軸の向きであり、それぞれが変化し得る範囲の最大値と最小値が読み出される。これら最大値と最小値は、撮像光学系４１００がフォーカスレンズを駆動した際の各光学パラメータが変化し得る範囲の最大値と最小値である。このうち、光軸の向きが変化し得る範囲の最大値は、無限遠合焦時における撮像光学系４１００の光軸を基準光軸として、ここからフォーカスレンズを駆動しながら行う各撮像時の光軸と基準光軸とがなす角度の最大値である。光軸の向きが変化し得る範囲の最小値は、上記最大値の負値である。

ステップＳ４０３では、まず画像処理部２０は、ステップＳ４０２で読み出した複数の光学パラメータの値に基づいて探索画像における２次元探索領域を設定（算出）する。具体的には、２次元探索領域を、探索画像のうち上記複数の光学パラメータのそれぞれの値が変化し得る範囲の最大値および最小値の全ての組み合わせに対応するエピポーラ線を全て包含する部分領域とする。このとき、光軸の向きについては、基準光軸に対して直交し、かつ互いに直交する２方向のそれぞれに最大値と最小値とがある。つまり、光軸の向きを示すパラメータ値としては４つあり、２次元探索領域はこれら４つのパラメータ値を含めた全ての組み合わせに対応するエピポーラ線を全て包含する部分領域とする。

次に画像処理部２０は、基準画像内の注目画素に対応する注目対応画素を探索画像におけるステップＳ４０３で設定した２次元探索領域内で探索する。こうして、画像処理部２０は、基準画像の画素（注目画素）ごとに、２つの探索画像内の２次元探索領域において対応する画素（注目対応画素）を探索する。基準画像の全ての画素に対して２つ（または１つ）の探索画像にて対応する画素が検出されると次のステップに進む。

ステップＳ４０４では、画像処理部２０は、基準画像と２つの探索画像に対して、これら画像間の対応点の座標に基づいて被写体の位置を一致させる被写体位置合せ処理を行う。具体的には、各探索画像のうち基準画像の各画素（注目画素）と同一の座標に位置する画素の画素値を、該探索画像における該注目画素に対応する注目対応画素の画素値で置き換える。これにより、２つの探索画像が、基準画像と同一の座標の画素に同一被写体が写っている画像に変換される。

ステップＳ４０５では、画像処理部２０は、基準画像および２つの探索画像を合成して全焦点画像を生成する。具体的には、これら基準画像および２つの探索画像のうち鮮鋭度が最も高い部分領域を有する画像を選択し、その部分領域の画素値を全焦点画像の画素値とする。鮮鋭度の評価には、例えば空間２次微分を用いる。具体的には、各画像に対して公知のラプラシアンフィルタを適用して基準画像および２つの探索画像のそれぞれに対応する空間２次微分画像を生成する。その後、基準画像および２つの探索画像のうち、対応する空間２次微分画像における部分領域の画素値が最も大きい画像を選択し、該部分領域の画素値を全焦点画像の画素値とする。

このように本実施例では、１つの撮像系を用いてフォーカスブラケティング撮像を行うことで取得した複数の画像（基準および探索画像）における被写体の位置を合わせた上で、該複数の画像のうち鮮鋭度が高い部分領域を合成することで全焦点画像を生成する。そして、被写体の位置合わせにおいて、基準画像の画素に対応する探索画像内での画素をフォーカスブラケティング撮像での光学パラメータの値に基づいて設定した２次元探索領域内で探索する。これにより、少ない計算量で複数の画像における位置合わせを行うことができ、良好な全焦点画像を生成することができる。

また、本実施例は、フォーカスブラケティング撮像により取得した複数の画像を合成する際の被写体位置合わせのための対応点の検出について説明した。しかし、同様の対応点の検出を、ズームブラケティング撮像を行って取得した複数の画像を合成する際の被写体位置合わせにも適用することができる。すなわち、撮像光学系をズーム駆動すると、撮像系の各光学パラメータの値を変化させるだけでなく、その各光学パラメータの値を厳密に取得するのは困難である。このため、複数の画像の被写体の位置を合わせる際に本実施例で説明した対応点の検出方法（さらに言えば、２次元探索領域の設定方法）が有効である。
（その他の実施例）
なお、各実施例では、画像処理装置を搭載した撮像装置について説明したが、本発明の画像処理方法は、例えば、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが画像処理装置に相当する。

さらに、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１，２，３，４ 撮像装置
１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂ，１１３０ａ，１１３０ｂ，３１００ａ，３１００ｂ，４１００ 撮像光学系
１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂ，１２３０ａ，１２３０ｂ，３２００ａ，３２００ｂ，４２００ 撮像素子
２０ 画像処理部

Claims (15)

1. それぞれ撮像により取得された画像であり、該撮像に用いられた撮像系の光学パラメータが互いに異なる第１のパラメータ値および第２のパラメータ値である第１の画像および第２の画像に対して、前記第１の画像内の対象画素に対応する前記第２の画像内の対応画素を検出する処理を行う画像処理装置であって、
   前記第１および第２のパラメータ値がそれぞれ変化し得る所定範囲に応じて、前記第２の画像のうち前記対応画素の探索を行う部分領域である２次元探索領域を設定する領域設定手段と、
   前記２次元探索領域において前記探索を行うことにより前記対応画素を検出する検出手段とを有することを特徴とする画像処理装置。
2. 前記対象画素は、前記第２の画像のうち前記第１および第２のパラメータ値に応じたエピポーラ線上に存在し、
   前記領域設定手段は、前記第１および第２のパラメータ値の前記所定範囲での変化に応じて前記第２の画像内で変化する前記エピポーラ線を全て包含するように前記２次元探索領域を設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記所定範囲は、前記第１および第２のパラメータ値が変化し得る最大値から最小値までの範囲であることを特徴とする請求項２に記載の画像処理装置。
4. 前記光学パラメータは、前記撮像系が有する光学系の焦点距離、入射瞳の位置、前側主点の位置、光軸の向き、合焦距離、前記撮像系が有する撮像素子の前記光軸の方向での位置、前記撮像素子の中心と前記光軸との位置差、前記撮像素子の前記光軸に直交する面に対する倒れ角および前記撮像素子の前記光軸回りでの回転角のうち少なくとも１つであることを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記光学パラメータは、少なくとも前記入射瞳の位置および前記光軸の向きを含むことを特徴とする請求項４に記載の画像処理装置。
6. 前記光学パラメータは、少なくとも前記焦点距離および前記入射瞳の位置を含むことを特徴とする請求項４に記載の画像処理装置。
7. 前記光学パラメータは、少なくとも前記焦点距離、前記入射瞳の位置および前記光軸の向きを含むことを特徴とする請求項４に記載の画像処理装置
8. 前記第１および第２の画像は、互いに異なる視点位置からの撮像により取得された画像であり、
   前記光学パラメータは、前記視点位置間の距離を含むことを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
9. 前記第１の画像と前記対応画素が検出された前記第２の画像とを用いて、前記撮像系により撮像された被写体空間の奥行き情報を生成する奥行き情報生成手段をさらに有することを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
10. 前記第１の画像と前記対応画素が検出された前記第２の画像とを合成することにより合成画像または全焦点画像を生成する画像合成手段をさらに有することを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
11. 前記第１および第２の画像は、前記光学パラメータが互いに異なる第１の撮像系および第２の撮像系により取得された画像であることを特徴とする請求項１から１０のいずれか一項に記載の画像処理装置。
12. 前記第１および第２の撮像系は、該各撮像系が有する光学系の焦点距離が互いに異なることを特徴とする請求項１１に記載の画像処理装置。
13. 互いに異なる光学パラメータで撮像を行うことにより第１の画像および第２の画像を取得する撮像系と、
    請求項１から１２のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
14. それぞれ撮像により取得された画像であり、該撮像に用いられた撮像系の光学パラメータが互いに異なる第１のパラメータ値および第２のパラメータ値である第１の画像および第２の画像に対して、前記第１の画像内の対象画素に対応する前記第２の画像内の対応画素を検出する処理を行う画像処理方法であって、
    前記第１および第２のパラメータ値がそれぞれ変化し得る所定範囲に応じて、前記第２の画像のうち前記対応画素の探索を行う部分領域である２次元探索領域を設定するステップと、
    前記２次元探索領域において前記探索を行うことにより前記対応画素を検出するステップとを有することを特徴とする画像処理方法。
15. コンピュータに、それぞれ撮像により取得された画像であり、該撮像に用いられた撮像系の光学パラメータが互いに異なる第１のパラメータ値および第２のパラメータ値である第１の画像および第２の画像に対して、前記第１の画像内の対象画素に対応する前記第２の画像内の対応画素を検出する処理を行わせるコンピュータプログラムであって、
    前記コンピュータに、
    前記第１および第２のパラメータ値がそれぞれ変化し得る所定範囲に応じて、前記第２の画像のうち前記対応画素の探索を行う部分領域である２次元探索領域を設定する処理と、
    前記２次元探索領域において前記探索を行うことにより前記対応画素を検出する処理とを実行させることを特徴とする画像処理プログラム。