JP2011203811A - 画像処理装置、画像処理方法、画像処理プログラム、及び複眼デジタルカメラ - Google Patents

Abstract

【課題】誤補正を抑制し、精度の高い視差マップを生成する。
【解決手段】左画像と右画像とを左画像を基準としてステレオマッチングにより対応させて視差マップを生成する。視差マップ上に注目画素を設定し、注目画素に対応する左画像上の画素（左画像注目画素）を中心とした所定サイズのウインドウを左画像に設定し、ウインドウ内に含まれる画素のうち、左画像注目画素のＲＧＢ値と近いＲＧＢ値を持つ画素を抽出し、抽出された画素の各々に対応する視差マップ上の画素の各々の視差を視差ヒストグラムにエントリして視差ヒストグラムを生成する。注目画素の頻度が所定値未満の場合には、視差ヒストグラムの最頻値の視差で、注目画素の視差を補正する。
【選択図】図６

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラム、及び複眼デジタルカメラに係り、特に立体視用画像を生成するための視差マップを生成及び補正する画像処理装置、画像処理方法、画像処理プログラム、及び複眼デジタルカメラに関する。

従来、異なる２以上の視点から撮影された画像間でステレオマッチングを行って、互いに対応する画素の間の視差情報を得て、対象物上の各点の距離を求めたり、対象物の形状を計測したりすることが行われている。

例えば、ステレオカメラで撮影したステレオ画像対を基に、ステレオ処理部で小領域毎の距離情報を作成するステレオ画像処理装置が提案されている（特許文献１参照。）特許文献１のステレオ画像処理装置では、多数決フィルタ部で、作成した距離情報から、注目する小領域を中心とした３×３の小領域群を抽出し、小領域のアドレス及び視差に応じて度数を加算したヒストグラムを作成し、このヒストグラムの最大度数視差と注目する小領域の視差を比較し、これらが予め設定した条件を満たしたとき、注目する小領域の視差を最大度数視差で補正している。

また、第１及び第２の画像間をエリアベースマッチングにより対応させて距離関係情報画像を生成し、距離関係情報画像の画素のうち、真の対応点である確実性が一定以下の画素を距離関係情報の補正を行う対象とする補正対象画素として選択する画像処理装置が提案されている（特許文献２参照）。特許文献２の画像処理装置では、補正対象画素を含む所定の領域を検索ブロックとして、検索ブロック内の複数の画素の中から、確実性が所定の条件を満たす画素を選択し、選択された画素の距離関係情報を用いて補正対象画素の距離関係情報を補正している。

特開平１１−２４８４４６号公報 特開２０００−１２１３１９号公報

しかしながら、特許文献１の技術では、注目する小領域の視差をヒストグラムの最大度数視差にて補正しているが、前景と背景とが混在するシーンにおいては、前景と背景との境界近辺の小領域に注目した際、同領域が前景部分であるにも関わらず、同領域の視差が背景部分の視差で補正されてしまう場合がある、という問題がある。

また、特許文献２の技術では、補正対象画素の距離関係情報を補正するために、確実性が所定の条件を満たす画素として、エリアベースマッチングの評価値が最も小さい（最も評価が高い）画素を選択しているが、エリアベースマッチグの評価値が最も小さい画素が補正対象画素の距離関係情報を補正するための画素として最尤とは限らないため、この方法では、誤補正が生じる可能性が高い、という問題がある。

本発明は、上記問題を解決するためになされたもので、前景と背景との境界近辺において生じやすい誤補正を抑制し、精度の高い視差マップを生成することができる画像処理装置、画像処理方法、画像処理プログラム、及び複眼デジタルカメラを提供することを目的とする。

上記目的を達成するために、第１の発明の画像処理装置は、異なる２以上の視点から撮影された複数の画像を取得する取得手段と、前記取得手段により取得された複数の画像に含まれる第１の画像と該第１の画像とは異なる視点から撮影された第２の画像との各々対応する画素毎の画素位置の差で表される視差を、前記第１の画像の画素位置に対応させた視差マップを生成する視差マップ生成手段と、前記視差マップ生成手段により生成された視差マップの注目画素及び該注目画素の周辺に存在する周辺画素に対応する前記第１の画像の画素のうち、前記視差マップの注目画素に対応する画素の色情報と比較して色情報の差が所定範囲内の画素を抽出し、抽出された画素の各々に対応する前記視差マップの画素の各々の視差に基づいて、視差のヒストグラムを生成するヒストグラム生成手段と、前記ヒストグラム生成手段により生成された視差のヒストグラムに基づいて、補正対象となる注目画素の視差を補正する補正手段と、を含んで構成されている。

第１の発明の画像処理装置によれば、取得手段が、異なる２以上の視点から撮影された複数の画像を取得し、視差マップ生成手段が、取得手段により取得された複数の画像に含まれる第１の画像と該第１の画像とは異なる視点から撮影された第２の画像との各々対応する画素毎の画素位置の差で表される視差を、第１の画像の画素位置に対応させた視差マップを生成する。ここで、第１の画像と第２の画像との対応に誤対応が生じると、その誤対応が視差マップ上のノイズとなる。

そこで、ヒストグラム生成手段が、視差マップ生成手段により生成された視差マップの注目画素及び該注目画素の周辺に存在する周辺画素に対応する第１の画像の画素のうち、視差マップの注目画素に対応する画素の色情報と比較して色情報の差が所定範囲内の画素を抽出し、抽出された画素の各々に対応する視差マップの画素の各々の視差に基づいて、視差のヒストグラムを生成し、補正手段が、ヒストグラム生成手段により生成された視差のヒストグラムに基づいて、補正対象となる注目画素の視差を補正する。

このように、注目画素に対応する第１の画像の画素のうち、注目画素に対応する画素の色情報と比較して色情報の差が所定範囲内の画素、すなわち色情報が近い画素に対応する視差に基づいて生成した視差のヒストグラムを用いて、注目画素の視差を補正するため、特に、前景と背景との境界近辺において生じやすい誤補正を抑制して、精度の高い視差マップを生成することができる。

また、第２の発明の画像処理装置は、異なる２以上の視点から撮影された複数の画像を取得する取得手段と、前記取得手段により取得された複数の画像に含まれる第１の画像と該第１の画像とは異なる視点から撮影された第２の画像との各々対応する画素毎の画素位置の差で表される視差を、前記第１の画像の画素位置に対応させた視差マップを生成する視差マップ生成手段と、前記視差マップ生成手段により生成された視差マップの注目画素に対応する前記第１の画像の画素を含み、前記視差マップの注目画素に対応する画素の色情報と比較して色情報の差が所定範囲内の隣接する画素同士を連結した連結領域を抽出し、抽出された連結領域に対応する前記視差マップの領域に含まれる画素の各々の視差に基づいて、視差のヒストグラムを生成するヒストグラム生成手段と、前記ヒストグラム生成手段により生成された視差のヒストグラムに基づいて、補正対象となる注目画素の視差を補正する補正手段と、を含んで構成されている。

第２の発明の画像処理装置によれば、取得手段が、異なる２以上の視点から撮影された複数の画像を取得し、視差マップ生成手段が、取得手段により取得された複数の画像に含まれる第１の画像と該第１の画像とは異なる視点から撮影された第２の画像との各々対応する画素毎の画素位置の差で表される視差を、第１の画像の画素位置に対応させた視差マップを生成する。ここで、第１の画像と第２の画像との対応に誤対応が生じると、その誤対応が視差マップ上のノイズとなる。

そこで、ヒストグラム生成手段が、視差マップ生成手段により生成された視差マップの注目画素に対応する第１の画像の画素を含み、視差マップの注目画素に対応する画素の色情報と比較して色情報の差が所定範囲内の隣接する画素同士を連結した連結領域を抽出し、抽出された連結領域に対応する視差マップの領域に含まれる画素の各々の視差に基づいて、視差のヒストグラムを生成し、補正手段が、ヒストグラム生成手段により生成された視差のヒストグラムに基づいて、補正対象となる注目画素の視差を補正する。

このように、注目画素に対応する第１の画像の画素のうち、注目画素に対応する画素の色情報と比較して色情報の差が所定範囲内の隣接する画素同士、すなわち色情報が近い画素同士を連結した連結領域に対応する画素の視差に基づいて生成した視差のヒストグラムを用いて、注目画素の視差を補正するため、特に、前景と背景との境界近辺において生じやすい誤補正を抑制して、精度の高い視差マップを生成することができる。

また、第２の発明の画像処理装置において、前記ヒストグラム生成手段は、前記連結領域に含まれる画素数が所定個以上の場合に、前記視差のヒストグラムを生成するようにすることができる。これにより、視差のヒストグラムの精度を保ち、誤補正を抑制することができる。

また、第２の発明の画像処理装置において、前記補正手段は、前記連結領域に対応する前記視差マップの領域に含まれる画素の各々の視差を補正することができる。連結領域内は略同一平面とみなすことができるため、注目画素だけでなく、連結領域に対応する画素も合わせて補正対象とすることで、処理の効率化が図れる。

また、第１及び第２の発明の画像処理装置において、前記補正手段は、前記視差のヒストグラムに基づいて、前記注目画素の視差の頻度が予め定めた頻度閾値より小さい場合に、該注目画素を補正対象とすることができる。このように、注目画素の視差の頻度が少数派の場合には補正を行い、多数派の場合には補正を行わないようにすることで、適切な補正対象の画素を検出することができると共に、無駄な補正を抑制することができる。

また、第１及び第２の発明の画像処理装置において、前記補正手段は、補正対象の画素の視差を、前記視差のヒストグラムの最頻値の視差に補正することができる。これにより、より確からしい視差で補正することができるため、特に、前景と背景との境界近辺において生じやすい誤補正をより抑制することができる。

また、第１及び第２の発明の画像処理装置は、前記視差のヒストグラムに基づいて、頻度が予め定めた選択閾値以上の視差を仮補正視差として選択し、選択した仮補正視差に基づいて得られる注目画素に対応する前記第２の画像の画素及び前記注目画素の色情報に基づいて、前記仮補正視差で補正対象の画素の視差を補正するか否かを判定する判定手段を含んで構成することができ、前記補正手段は、前記視差のヒストグラム及び前記判定手段の判定結果に基づいて、補正対象の画素の視差を補正することができる。

このように、第１の画像の色情報と第２の画像の色情報に基づいて、選択した仮補正視差で補正するか否かを判定するため、より精度よく前景と背景との境界近辺において生じやすい誤補正を抑制することができる。

また、第１及び第２の発明の画像処理装置において、前記補正手段は、注目画素を含み、前記注目画素の視差と比較して視差の差が所定範囲内の隣接する画素同士を連結した視差連結領域を前記視差マップ上から抽出し、抽出された視差連結領域に含まれる画素数が所定個未満の場合に、前記視差のヒストグラムに基づいて、前記視差連結領域に含まれる画素の各々の視差を補正することができる。このように、画素数が所定個未満の視差連結領域を補正対象とすることで、視差マップ上のスパイク状のノイズを効果的に補正することができる。

また第３の発明の画像処理装置は、異なる２以上の視点から撮影された複数の画像を取得する取得手段と、前記取得手段により取得された複数の画像に含まれる第１の画像と該第１の画像とは異なる視点から撮影された第２の画像との各々対応する画素毎の画素位置の差で表される視差を、前記第１の画像の画素位置に対応させた視差マップを生成する視差マップ生成手段と、前記視差マップ生成手段により生成された視差マップの注目画素に対応する前記第１の画像の画素を含み、前記視差マップの注目画素に対応する画素の色情報と比較して色情報の差が所定範囲内の隣接する画素同士を連結した連結領域を抽出し、抽出された連結領域に対応する前記視差マップの領域に輪郭が含まれる場合に、抽出された連結領域に対応する前記視差マップの領域に含まれる画素の各々の視差に基づいて、視差のヒストグラムを生成するヒストグラム生成手段と、前記ヒストグラム生成手段により生成された視差のヒストグラムに基づいて、前記連結領域に対応する前記視差マップの領域に含まれる画素の各々の視差を補正する補正手段と、を含んで構成されている。

第３の発明の画像処理装置によれば、取得手段が、異なる２以上の視点から撮影された複数の画像を取得し、視差マップ生成手段が、取得手段により取得された複数の画像に含まれる第１の画像と該第１の画像とは異なる視点から撮影された第２の画像との各々対応する画素毎の画素位置の差で表される視差を、第１の画像の画素位置に対応させた視差マップを生成する。ここで、第１の画像と第２の画像との対応に誤対応が生じると、その誤対応が視差マップ上のノイズとなる。

そこで、ヒストグラム生成手段が、視差マップ生成手段により生成された視差マップの注目画素に対応する第１の画像の画素を含み、視差マップの注目画素に対応する画素の色情報と比較して色情報の差が所定範囲内の隣接する画素同士を連結した連結領域を抽出し、抽出された連結領域に対応する視差マップの領域に輪郭が含まれる場合に、抽出された連結領域に対応する視差マップの領域に含まれる画素の各々の視差に基づいて、視差のヒストグラムを生成し、補正手段が、ヒストグラム生成手段により生成された視差のヒストグラムに基づいて、前記連結領域に対応する前記視差マップの領域に含まれる画素の各々視差を補正する。

このように、連結領域内の画素は略同一平面とみなすことができるため、連結領域に対応する視差マップの領域に輪郭（視差の段差）は本来生じないはずであるので、視差のヒストグラムに基づいて、連結領域に対応する画素の視差を補正することで、効果的に視差マップ上のノイズを補正することができる。

第４の発明の画像処理方法は、異なる２以上の視点から撮影された複数の画像を取得し、取得された複数の画像に含まれる第１の画像と該第１の画像とは異なる視点から撮影された第２の画像との各々対応する画素毎の画素位置の差で表される視差を、前記第１の画像の画素位置に対応させた視差マップを生成し、生成された視差マップの注目画素及び該注目画素の周辺に存在する周辺画素に対応する前記第１の画像の画素のうち、前記視差マップの注目画素に対応する画素の色情報と比較して色情報の差が所定範囲内の画素を抽出し、抽出された画素の各々に対応する前記視差マップの画素の各々の視差に基づいて、視差のヒストグラムを生成し、生成された視差のヒストグラムに基づいて、補正対象となる注目画素の視差を補正する方法である。

第５の発明の画像処理方法は、異なる２以上の視点から撮影された複数の画像を取得し、取得された複数の画像に含まれる第１の画像と該第１の画像とは異なる視点から撮影された第２の画像との各々対応する画素毎の画素位置の差で表される視差を、前記第１の画像の画素位置に対応させた視差マップを生成し、生成された視差マップの注目画素に対応する前記第１の画像の画素を含み、前記視差マップの注目画素に対応する画素の色情報と比較して色情報の差が所定範囲内の隣接する画素同士を連結した連結領域を抽出し、抽出された連結領域に対応する前記視差マップの領域に含まれる画素の各々の視差に基づいて、視差のヒストグラムを生成し、生成された視差のヒストグラムに基づいて、補正対象となる注目画素の視差を補正する方法である。

第６の発明の画像処理プログラムは、コンピュータを、異なる２以上の視点から撮影された複数の画像を取得する取得手段、前記取得手段により取得された複数の画像に含まれる第１の画像と該第１の画像とは異なる視点から撮影された第２の画像との各々対応する画素毎の画素位置の差で表される視差を、前記第１の画像の画素位置に対応させた視差マップを生成する視差マップ生成手段、前記視差マップ生成手段により生成された視差マップの注目画素及び該注目画素の周辺に存在する周辺画素に対応する前記第１の画像の画素のうち、前記視差マップの注目画素に対応する画素の色情報と比較して色情報の差が所定範囲内の画素を抽出し、抽出された画素の各々に対応する前記視差マップの画素の各々の視差に基づいて、視差のヒストグラムを生成するヒストグラム生成手段、及び前記ヒストグラム生成手段により生成された視差のヒストグラムに基づいて、補正対象となる注目画素の視差を補正する補正手段として機能させるためのプログラムである。

第７の発明の画像処理プログラムは、コンピュータを、異なる２以上の視点から撮影された複数の画像を取得する取得手段、前記取得手段により取得された複数の画像に含まれる第１の画像と該第１の画像とは異なる視点から撮影された第２の画像との各々対応する画素毎の画素位置の差で表される視差を、前記第１の画像の画素位置に対応させた視差マップを生成する視差マップ生成手段、前記視差マップ生成手段により生成された視差マップの注目画素に対応する前記第１の画像の画素を含み、前記視差マップの注目画素に対応する画素の色情報と比較して色情報の差が所定範囲内の隣接する画素同士を連結した連結領域を抽出し、抽出された連結領域に対応する前記視差マップの領域に含まれる画素の各々の視差に基づいて、視差のヒストグラムを生成するヒストグラム生成手段、及び前記ヒストグラム生成手段により生成された視差のヒストグラムに基づいて、補正対象となる注目画素の視差を補正する補正手段として機能させるためのプログラムである。

第７の発明の複眼デジタルカメラは、第１〜第３の発明のいずれかの画像処理装置と、前記画像処理装置で生成及び補正された視差マップに基づいて、画像を立体視表示するための表示手段と、を含んで構成されている。

なお、画素の色情報には、画素の輝度値が含まれる。

以上説明したように、本発明によれば、実画像である第１の画像の色情報に基づいてヒストグラムへのエントリを制限して生成された視差のヒストグラムを用いて注目画素の視差を補正するため、特に、前景と背景との境界近辺において生じやすい誤補正を抑制して精度の高い視差マップを生成することができる、という効果が得られる。

本実施の形態の複眼デジタルカメラの正面側斜視図である。 本実施の形態の複眼デジタルカメラの背面側斜視図である。 本実施の形態の複眼デジタルカメラの内部構成を示す概略ブロック図である。 第１の実施の形態における画像処理ルーチンの内容を示すフローチャートである。 視差マップの生成を説明するためのイメージ図である。 第１の実施の形態における画像処理の概略を示すイメージ図である。 第２の実施の形態における画像処理ルーチンの内容を示すフローチャートである。 第２の実施の形態における画像処理の概略を示すイメージ図である。 第３の実施の形態における画像処理ルーチンの内容を示すフローチャートである。 第３の実施の形態における画像処理の概略を示すイメージ図である。 第４の実施の形態における画像処理ルーチンの内容を示すフローチャートである。 第４の実施の形態における画像処理の概略を示すイメージ図である。 第５の実施の形態における画像処理ルーチンの内容を示すフローチャートである。 第５の実施の形態における画像処理の概略を示すイメージ図である。 中間視点画像を説明するためのイメージ図である。

以下、図面を参照して、本発明の実施の形態を詳細に説明する。なお、本実施の形態では、本発明の画像処理装置を複眼デジタルカメラに適用した場合について説明する。

図１は、第１の実施の形態の複眼デジタルカメラ１の正面側斜視図、図２は背面側斜視図である。図１に示すように、複眼デジタルカメラ１の上部には、レリーズボタン２、電源ボタン３、及びズームレバー４が備えられている。また、複眼デジタルカメラ１の正面には、フラッシュ５及び２つの撮影部２１Ａ、２１Ｂのレンズが配設されている。また、複眼デジタルカメラの１の背面には、各種表示を行う液晶モニタ７、及び各種操作ボタン８が配設されている。

図３は、複眼デジタルカメラ１の内部構成を示す概略ブロック図である。図３に示すように、複眼デジタルカメラ１は、２つの撮影部２１Ａ、２１Ｂ、撮影制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、及び表示制御部２８を備えている。なお、撮影部２１Ａ、２１Ｂは、被写体を見込む輻輳角を持って、予め定められた基線長となるように配置されている。なお、輻輳角及び基線長の情報は内部メモリ２７に記憶されている。

撮影制御部２２は、不図示のＡＦ処理部及びＡＥ処理部からなる。ＡＦ処理部はレリーズボタン２の半押し操作により撮影部２１Ａ、２１Ｂが取得したプレ画像に基づいて、合焦領域を決定すると共に、レンズの焦点位置を決定し、撮影部２１Ａ、２１Ｂに出力する。ＡＥ処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部２１Ａ、２１Ｂに出力する。

また、撮影制御部２２は、レリーズボタン２の全押し操作により、撮影部２１Ａに対して左画像、撮影部２１Ｂに対して右画像の本画像を取得させる本撮影の指示を行う。なお、レリーズボタン２が操作される前は、撮影制御部２２は、撮影範囲を確認させるための本画像よりも画素数が少ないスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を撮影部２１Ａ、２１Ｂに対して行う。

画像処理部２３は、撮影部２１Ａ、２１Ｂが取得した左画像及び右画像のデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、及び色補正等の画像処理を施す。

圧縮／伸長処理部２４は、画像処理部２３によって処理が施された左画像及び右画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、立体視用の画像ファイルを生成する。この立体視用の画像ファイルには、左画像及び右画像の画像データを含み、Ｅｘｉｆフォーマット等に基づいて、基線長、輻輳角、及び撮影日時等の付帯情報、並びに視点位置を表す視点情報が格納される。

フレームメモリ２５は、撮影部２１Ａ、２１Ｂが取得した左画像及び右画像を表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。

メディア制御部２６は、記録メディア２９にアクセスして画像ファイル等の書き込み及び読み込みの制御を行う。

内部メモリ２７は、複眼デジタルカメラ１において設定される各種定数、及びＣＰＵ３５が実行するプログラム等を記憶する。

表示制御部２８は、撮影時においてフレームメモリ２５に格納された左画像及び右画像から生成された立体視用画像を液晶モニタ７に表示させたり、記録メディア２９に記録されている左画像及び右画像、または立体視用画像を液晶モニタ７に表示させたりする。

また、複眼デジタルカメラ１は、３次元処理部３０、及び視差マップ生成部３１を備える。

３次元処理部３０は、左画像及び右画像をモニタ７に立体視表示を行うために、左画像及び右画像に３次元処理を行って立体視用画像を生成する。

視差マップ生成部３１は、立体視用画像の立体感を適切なものとするために、左画像及び右画像に基づく視差マップを生成し、また、後述する処理により視差マップを補正する。ここで、視差は、左画像及び右画像の双方に含まれる被写体の左画像と右画像との横方向における画素位置の相違として算出することができる。視差マップを適切に生成及び補正することにより、立体視用画像に含まれる被写体の立体感を適切なものとすることができる。

より具体的には、視差マップが適切に生成されれば、その視差マップを用いて中間視点画像を生成することができる。中間視点画像とは、図１５に示すように、複眼カメラの左カメラ（左視点）と右カメラ（右視点）との中間に位置する視点（同図中破線の丸の視点）からの画像を仮想的に生成した画像である。例えば、視差マップから、左視点の左画像と右視点の右画像との間に生じている視差が過度に大きいということが分かれば、左画像、右画像、及び視差マップを基に仮想的に中間視点画像を生成し、左画像及び中間視点画像を用いて立体表示する。これにより、あたかも基線長が半分になったかのような画像を取得することができ、立体視用画像の立体感を適切なものとすることができる。

次に、図４を参照して、第１の実施の形態の複眼デジタルカメラにおける画像処理ルーチンについて説明する。

ステップ１００で、撮影部２１Ａ、２１Ｂで撮影された左画像及び右画像を取得し、次に、ステップ１０２で、左画像と右画像とに対してステレオマッチングを行って視差マップを生成する。具体的には、図５に示すように、ステレオマッチングにより、例えば左画像を基準として、左画像上の画素（ｘ１，ｙ１）に対応する右画像上の対応画素（ｘ２，ｙ２）を抽出する。なお、ここでは、視差が画像の横方向（水平方向）に発生しており、縦方向（垂直方向）にずれは生じていないものとして説明する。左画像上の画素（ｘ１，ｙ１）と右画像上の対応画素（ｘ２，ｙ２）との視差ｄは、ｄ＝ｘ２−ｘ１と計算でき、この視差ｄを、基準とした左画像の画素位置（ｘ１，ｙ１）に格納する。そして、左画像の各画素について計算した視差ｄを左画像の画素位置に対応させて格納して画像化する。この画像化したものを視差マップと呼ぶ。

次に、ステップ１０４で、視差マップ上に注目画素（以下、視差マップ上の注目画素を単に注目画素ともいう）を設定する。例えば、視差マップの左上角の画素を最初の注目画素として設定する。以降、ラスタスキャン順に１画素ずつ注目画素として設定する。

次に、ステップ１０６で、注目画素の画素位置に対応する左画像上の画素（以下、左画像注目画素という）、及び左画像注目画素の周辺に存在する周辺画素を含む所定サイズのウインドウを設定する。ウインドウは、例えば、左画像注目画素を中心とした周辺のｎ×ｎ画素（ｎは正数、例えば１３×１３画素）の範囲のサイズとすることができる。そして、左画像上のウインドウ内に含まれる各画素のＲＧＢ値を抽出する。

次に、ステップ１０８で、左画像上のウインドウ内に含まれる周辺画素のうち、左画像注目画素のＲＧＢ値と近いＲＧＢ値を持つ画素の数をカウントする。ＲＧＢ値が近いとは、左画像注目画素と周辺画素とが類似色であることを示し、ここでは、左画像注目画素のＲＧＢ値と比較してＲＧＢ値の差が所定範囲内である場合を類似色であると定める。例えば、左画像注目画素のＲＧＢ値を（ｒ０，ｇ０，ｂ０）とし、比較する周辺画素のＲＧＢ値を（ｒ，ｇ，ｂ）とすると、下記（１）式により類似色か否かを判定する。

ここで、ｃｏｌｏｒ＿ｔｈｒｅｓは閾値であり、ＲＧＢ値がそれぞれ２５６階調の場合には、例えば３０程度の値を設定することができる。なお、ここでは、色情報としてＲＧＢ値を用いる場合について説明するが、例えばＹＣｂＣｒやＬＵＶ等の他の色空間を用いてもよいし、輝度値を用いてもよい。

次に、ステップ１１０で、ウインドウ内の左画像注目画素の類似色の画素のカウント値が所定値以上か否かを判定する。カウント値が小さい場合、すなわち左画像注目画素の類似色が少ない場合には、後述する視差ヒストグラムへのエントリ数が少なくなって視差ヒストグラムの精度が悪くなるため、カウント値をチェックするものである。所定値は、ウインドウのサイズやヒストグラムに要求される精度等に基づいて予め定めておく。ウインドウ内の全画素数に対する割合として定めることもでき、例えば、ウインドウ（ｎ×ｎ画素）内の画素数に対して２割以上類似色の画素が存在する場合には、ヒストグラムの精度に問題はないとする場合には、所定値をｎ×ｎ×０．２として定めることができる。カウント値が所定値以上の場合には、ステップ１１２へ移行し、カウント値が所定値未満の場合には、ステップ１１４へ移行する。

ステップ１１２では、ウインドウ内の左画像注目画素の類似色の画素に対応する視差マップ上の画素の視差を、視差ヒストグラムにエントリして視差ヒストグラムを生成する。図６中に、視差ヒストグラムの一例を示す。図６に示すように、実画像上（ここでは左画像上）でＲＧＢ値が近いということは、ウインドウを設定した領域内においてこれらの画素が示す被写体が略同一平面上にあると考えられる。このような画素に対応する視差をエントリして視差ヒストグラムを生成することで、後述の処理で、この視差ヒストグラムに基づいて補正に用いる視差を選択する際に、適切な視差を選択することができる。一方、ステップ１１４では、ウインドウ内の全ての画素に対応する視差マップ上の画素の視差を、視差ヒストグラムにエントリして視差ヒストグラムを生成する。

次に、ステップ１１６で、生成した視差ヒストグラムに基づいて、注目画素の視差ｄｉの頻度が予め定めた頻度閾値ｆｒｅｑ＿ｔｈｒｅｓ未満か否かを判定することにより、視差ヒストグラムにエントリした画素の視差の中で、注目画素の視差ｄｉが少数派か否かを判定する。頻度閾値ｆｒｅｑ＿ｔｈｒｅｓは、視差ヒストグラムのエントリ数に対する割合として定めておくことができ、例えば、エントリ数Ｎの３割未満の頻度であれば注目画素の視差ｄｉが少数派であるとする場合には、頻度閾値ｆｒｅｑ＿ｔｈｒｅｓ＝Ｎ×０．３として定めることができる。ｄｉ＜ｆｒｅｑ＿ｔｈｒｅｓの場合には、注目画素の視差ｄｉが少数派、すなわちノイズの可能性が高いと判定して、ステップ１１８へ移行する。一方、ｄｉ≧ｆｒｅｑ＿ｔｈｒｅｓの場合には、注目画素の視差ｄｉが多数派であり、補正の必要はないと判定して、ステップ１１８をスキップして、ステップ１２０へ移行する。

ステップ１１８では、視差ヒストグラムから最頻値の視差ｄｍを選択し、この最頻値の視差ｄｍを注目画素の視差に補正する。すなわち、注目画素の視差を多数派の視差で埋める。

次に、ステップ１２０で、視差マップ上の全画素を注目画素に設定したか否かを判定する。まだ注目画素に設定していない画素が残っている場合には、ステップ１０４へ戻って、次の画素を注目画素に設定し、処理を繰り返す。注目画素に設定していない画素が存在しなくなった場合には、処理を終了する。

以上説明したように、第１の実施の形態の複眼デジタルカメラによれば、注目画素に対応する実画像上の画素の類似色の画素に対応する視差をエントリして視差マップを生成し、この視差マップの最頻値で補正対象となる注目画素の視差を補正するため、特に、前景と背景との境界近辺において生じやすい誤補正を抑制し、精度の高い視差マップを生成することができる。

なお、第１の実施の形態では、視差ヒストグラムの最頻値で注目画素の視差を補正する場合について説明したが、多数派とみなせる所定値以上の頻度の視差が複数存在する場合には、その中から選択したいずれかの視差を用いて補正してもよい。選択する際には、注目画素の画素位置と近い画素位置の画素が多くエントリされている視差や、色情報がより類似している画素がエントリされている視差等を選択するようにすることができる。

次に、第２の実施の形態について説明する。第２の実施の形態の複眼デジタルカメラの構成は、第１の実施の形態の複眼デジタルカメラ１と同一であるため、説明を省略する。

図７を参照して、第２の実施の形態の複眼デジタルカメラにおける画像処理ルーチンについて説明する。なお、第１の実施の形態の画像処理ルーチンと同一の処理については、同一の符号を付して説明を省略する。

ステップ１００〜１０４で、視差マップを生成し、視差マップ上に注目画素を設定する。

次に、ステップ２００で、左画像注目画素のＲＧＢ値に基づいて、左画像注目画素を含み、左画像注目画素のＲＧＢ値に近いＲＧＢ値を持つ画素、すなわち左画像注目画素の類似色の画素で、隣接する画素同士を連結した連結領域を抽出する。ＲＧＢ値が近いか否かは、例えば、第１の実施の形態と同様に、（１）式を用いて判断する。

次に、ステップ２０２で、連結領域に含まれる画素数が所定値未満か否かを判定する。画素数が小さい場合、すなわち左画像注目画素の類似色が少ない場合には、視差ヒストグラムへのエントリ数が少なくなって視差ヒストグラムの精度が悪くなるため、画素数をチェックするものである。所定値は、ヒストグラムに要求される精度等に基づいて予め定めておく。所定値を、左画像全体の画素数に対する割合として定めることもでき、例えば、左画像全体の画素数に対して０．１％以上の画素が存在する場合には、ヒストグラムの精度に問題はないとする場合には、所定値を全画素数×０．１％として定めることができる。

連結領域内の画素数が所定値未満の場合には、連結領域内の画素に対応する視差をエントリした視差ヒストグラムでは、精度が悪くなると判定して、ステップ１０６へ移行し、第１の実施の形態と同様に、ウインドウ内の類似色の画素またはウインドウ内の全画素に対応する視差を用いて視差ヒストグラムを生成する。

一方、連結領域内の画素数が所定値以上の場合には、ステップ２０４へ移行し、連結領域に対応する視差マップの領域に含まれる画素の視差を、視差ヒストグラムにエントリして視差ヒストグラムを生成する。図８中に、視差ヒストグラムの一例を示す。図８に示すように、実画像上（ここでは左画像上）で類似色の画素を連結した連結領域内においては、この連結領域内に含まれる画素が示す被写体が略同一平面上にあると考えられる。このような画素に対応する視差をエントリして視差ヒストグラムを生成することで、この視差ヒストグラムに基づいて補正に用いる視差を選択する際に、適切な視差を選択することができる。

以下、第１の実施の形態の場合と同様に処理する。

以上説明したように、第２の実施の形態の複眼デジタルカメラによれば、注目画素に対応する実画像上の画素の類似色の画素で、隣接する画素同士を連結した連結領域に含まれる画素に対応する視差をエントリして視差マップを生成し、この視差マップの最頻値で補正対象となる注目画素の視差を補正するため、特に、前景と背景との境界近辺において生じやすい誤補正を抑制し、精度の高い視差マップを生成することができる。

なお、第２の実施の形態では、注目画素の視差のみを視差ヒストグラムの最頻値の視差で補正する場合について説明したが、連結領域内の画素は、略同一平面の被写体を示す傾向がより強いため、注目画素だけでなく、連結領域に対応する視差マップの領域に含まれる画素の全てを視差ヒストグラムの最頻値の視差で補正してもよい。これにより、処理の効率化が図れる。

次に、第３の実施の形態について説明する。第３の実施の形態の複眼デジタルカメラの構成は、第１の実施の形態の複眼デジタルカメラ１と同一であるため、説明を省略する。

図９を参照して、第３の実施の形態の複眼デジタルカメラにおける画像処理ルーチンについて説明する。なお、第１の実施の形態の画像処理ルーチンと同一の処理については、同一の符号を付して説明を省略する。

ステップ１００〜１１４を経て、ステップ１１６で、注目画素の視差ｄｉの頻度が予め定めた頻度閾値ｆｒｅｑ＿ｔｈｒｅｓ未満か否か、すなわち注目画素の視差の補正が必要か否かを判定し、ｄｉ＜ｆｒｅｑ＿ｔｈｒｅｓと判定された場合には、ステップ３００へ移行する。

ステップ３００では、視差ヒストグラムの頻度が所定値以上の視差を補正候補として抽出する。例えば、図１０に示すように、視差ヒストグラムにおいて、所定の閾値以上の頻度が２つ（ｄｃ１、ｄｃ２）存在する場合には、これらを補正候補として抽出する。

次に、ステップ３０２で、補正候補から１つを選択して仮補正値とし、右画像の対応画素位置を計算する。複数の補正候補から１つを選択する際には、視差ヒストグラムの頻度が高い順に選択するようにするとよい。まず、視差ｄｃ１を選択して仮補正値とした場合には、左画像注目画素の画素位置を（ｘ１，ｙ１）とすると、右画像の対応画素位置は、（ｘ１＋ｄｃ１，ｙ１）として計算できる。

次に、ステップ３０４で、左画像注目画素のＲＧＢ値と右画像の対応画素のＲＧＢ値とを比較して、両画素が類似色か否かを判定する。両画素が類似色か否かは、例えば、第１の実施の形態と同様に（１）式を用いて判断する。両画素が類似色の場合には、仮補正値により補正した場合に左画像と右画像との対応が正しいという確度が高いと判定して、ステップ３０６へ移行し、仮補正値で注目画素の視差を補正する。

一方、両画素が類似色ではない場合には、仮補正値により補正した場合に左画像と右画像との対応が正しいという確度が低いと判定して、ステップ３０８へ移行する。例えば、図１０の例で、仮補正値としてｄｃ２を選択した場合には、右画像の対応画素位置は、（ｘ１＋ｄｃ２，ｙ１）として計算できる。この場合、左画像の人物上の画素と右画像の背景上の画素とが対応することになり、両画素のＲＧＢ値が大きく異なり、仮補正値ｄｃ２を用いて補正することが適切でないことがわかる。

ステップ３０８では、抽出された全ての補正候補を仮補正値として選択したか否かを判定する。まだ仮補正値として選択していない補正候補が存在する場合には、ステップ３０２に戻って、次の仮補正値を選択して処理を繰り返す。一方、全ての補正候補を仮補正値として選択したと判定された場合には、視差ヒストグラムからは適切な補正値が得られなかったと判断して、現在の注目画素の視差については補正を行うことなく、ステップ１２０へ移行する。

以下、第１の実施の形態の場合と同様に処理する。

以上説明したように、第３の実施の形態の複眼デジタルカメラによれば、視差ヒストグラムの頻度が所定値以上の視差を仮補正値として右画像の対応画素位置を計算し、左画像と右画像との対応する両画素が類似色か否かを判定することにより、仮補正値を用いて注目画素の視差を補正するか否かを決定するため、特に、前景と背景との境界近辺において生じやすい誤補正を抑制し、精度の高い視差マップを生成することができる。

なお、第３の実施の形態は、第１の実施の形態における画像処理ルーチンのステップ１１８をステップ３００〜３０８に置き換えたものであるが、第２の実施の形態における画像処理ルーチンのステップ１１８も同様にステップ３００〜３０８に置き換えることができる。

次に、第４の実施の形態について説明する。第４の実施の形態の複眼デジタルカメラの構成は、第１の実施の形態の複眼デジタルカメラ１と同一であるため、説明を省略する。

図１１を参照して、第４の実施の形態の複眼デジタルカメラにおける画像処理ルーチンについて説明する。なお、第１の実施の形態の画像処理ルーチンと同一の処理については、同一の符号を付して説明を省略する。

ステップ１００〜１１４を経て、ステップ４００で、注目画素を含み、注目画素の視差と比較して視差の差が所定範囲内の隣接する画素同士を連結した視差連結領域を視差マップ上から抽出する。

次に、ステップ４０２で、視差連結領域内の画素数が所定値未満か否かを判定する。図１２に示すように、視差連結領域の面積（画素数）が小さい場合には、その視差連結領域はスパイク状のノイズであると考えられる。所定値は、例えば視差マップ全体の画素数の０．５〜１％の値を定めることができる。視差連結領域内の画素数が所定値未満の場合には、ステップ４０４へ移行し、所定値以上の場合には、ステップ４０４をスキップして、ステップ１２０へ移行する。

ステップ４０４では、視差連結領域内の画素の視差を、視差ヒストグラムの最頻値で補正する。

以下、第１の実施の形態の場合と同様に処理する。

以上説明したように、第４の実施の形態の複眼デジタルカメラによれば、視差マップ上から視差連結領域を抽出し、視差連結領域内の画素数が所定値未満の場合には、その視差連結領域をスパイク状のノイズとみなして、視差連結領域内の画素の視差を視差ヒストグラムの最頻値で補正するため、視差マップを精度よく生成することができる。特に、視差マップ上のスパイク状のノイズを軽減することができる。

なお、第４の実施の形態は、第１の実施の形態における画像処理ルーチンのステップ１１６及び１１８をステップ４００〜３０４に置き換えたものであるが、第２の実施の形態における画像処理ルーチンのステップ１１６及び１１８も同様にステップ３００〜３０８に置き換えることができる。また、第１〜第３の実施の形態に組合せて実施してもよい。

次に、第５の実施の形態について説明する。第５の実施の形態の複眼デジタルカメラの構成は、第１の実施の形態の複眼デジタルカメラ１と同一であるため、説明を省略する。

図１３を参照して、第５の実施の形態の複眼デジタルカメラにおける画像処理ルーチンについて説明する。なお、第１及び第２の実施の形態の画像処理ルーチンと同一の処理については、同一の符号を付して説明を省略する。

ステップ１００〜１０４、及びステップ２００を経て、左画像から連結領域を抽出し、次に、ステップ５００で、連結領域内の画素数が所定値以上か否かを判定し、所定値以上の場合には、ステップ５０２へ移行し、所定値未満の場合には、ステップ１２０へ移行する。

ステップ５０２では、図１４に示すように、連結領域に対応する視差マップ上の領域に対して、ハイパス処理やバンドパス処理などを施して、輪郭を抽出し、次に、ステップ５０４で、輪郭が抽出されたか否かを判定する。類似色の画素を連結した連結領域内に含まれる画素が示す被写体は略同一平面上にあると考えられるため、この連結領域に対応する視差マップ上に視差の段差が発生することは通常ありえない。そこで、輪郭が存在する場合はノイズであると判定して、補正対象とする。輪郭が存在する場合には、ステップ２０４へ移行する。

ステップ２０４で、連結領域に対応する視差マップの領域に含まれる画素の視差を、視差ヒストグラムにエントリして視差ヒストグラムを生成し、次に、ステップ５０６で、視差ヒストグラムの最頻値の視差で、連結領域に対応する視差マップの領域に含まれる画素の視差を補正する。

以下、第１の実施の形態の場合と同様に処理する。

以上説明したように、第５の実施の形態の複眼デジタルカメラによれば、連結領域に対応する視差マップの領域に輪郭が存在する場合に、連結領域に対応する視差マップの領域に含まれる画素の視差を視差ヒストグラムの最頻値で補正するため、効果的にノイズ領域を検出することができ、視差マップを精度よく生成することができる。

なお、上記第１〜第５の実施の形態では、左画像と右画像とを左画像を基準としてステレオマッチングして視差マップを生成する場合について説明したが、右画像を基準としてもよい。

また、３以上の画像を取得した場合には、いずれかの画像を第１の画像（基準画像）とし、その他の画像を第２の画像として、それぞれについて視差マップを生成するようにするとよい。

また、上記第１〜第５の実施の形態の画像処理ルーチンをプログラム化して、そのプログラムをＣＰＵにより実行するようにしてもよい。

１ 複眼デジタルカメラ
７ 液晶モニタ
２１Ａ、２１Ｂ 撮影部
３０ ３次元処理部
３１ 視差マップ生成部

Claims (15)

1. 異なる２以上の視点から撮影された複数の画像を取得する取得手段と、
   前記取得手段により取得された複数の画像に含まれる第１の画像と該第１の画像とは異なる視点から撮影された第２の画像との各々対応する画素毎の画素位置の差で表される視差を、前記第１の画像の画素位置に対応させた視差マップを生成する視差マップ生成手段と、
   前記視差マップ生成手段により生成された視差マップの注目画素及び該注目画素の周辺に存在する周辺画素に対応する前記第１の画像の画素のうち、前記視差マップの注目画素に対応する画素の色情報と比較して色情報の差が所定範囲内の画素を抽出し、抽出された画素の各々に対応する前記視差マップの画素の各々の視差に基づいて、視差のヒストグラムを生成するヒストグラム生成手段と、
   前記ヒストグラム生成手段により生成された視差のヒストグラムに基づいて、補正対象となる注目画素の視差を補正する補正手段と、
   を含む画像処理装置。
2. 異なる２以上の視点から撮影された複数の画像を取得する取得手段と、
   前記取得手段により取得された複数の画像に含まれる第１の画像と該第１の画像とは異なる視点から撮影された第２の画像との各々対応する画素毎の画素位置の差で表される視差を、前記第１の画像の画素位置に対応させた視差マップを生成する視差マップ生成手段と、
   前記視差マップ生成手段により生成された視差マップの注目画素に対応する前記第１の画像の画素を含み、前記視差マップの注目画素に対応する画素の色情報と比較して色情報の差が所定範囲内の隣接する画素同士を連結した連結領域を抽出し、抽出された連結領域に対応する前記視差マップの領域に含まれる画素の各々の視差に基づいて、視差のヒストグラムを生成するヒストグラム生成手段と、
   前記ヒストグラム生成手段により生成された視差のヒストグラムに基づいて、補正対象となる注目画素の視差を補正する補正手段と、
   を含む画像処理装置。
3. 前記ヒストグラム生成手段は、前記連結領域に含まれる画素数が所定個以上の場合に、前記視差のヒストグラムを生成する請求項２記載の画像処理装置。
4. 前記補正手段は、前記連結領域に対応する前記視差マップの領域に含まれる画素の各々の視差を補正する請求項２または請求項３記載の画像処理装置。
5. 前記補正手段は、前記視差のヒストグラムに基づいて、前記注目画素の視差の頻度が予め定めた頻度閾値より小さい場合に、該注目画素を補正対象とする請求項１〜請求項３のいずれか１項記載の画像処理装置。
6. 前記補正手段は、補正対象の画素の視差を、前記視差のヒストグラムの最頻値の視差に補正する請求項１〜請求項５のいずれか１項記載の画像処理装置。
7. 前記視差のヒストグラムに基づいて、頻度が予め定めた選択閾値以上の視差を仮補正視差として選択し、選択した仮補正視差に基づいて得られる注目画素に対応する前記第２の画像の画素及び前記注目画素の色情報に基づいて、前記仮補正視差で補正対象の画素の視差を補正するか否かを判定する判定手段を含み、
   前記補正手段は、前記視差のヒストグラム及び前記判定手段の判定結果に基づいて、補正対象の画素の視差を補正する
   請求項１〜請求項５のいずれか１項記載の画像処理装置。
8. 前記補正手段は、注目画素を含み、前記注目画素の視差と比較して視差の差が所定範囲内の隣接する画素同士を連結した視差連結領域を前記視差マップ上から抽出し、抽出された視差連結領域に含まれる画素数が所定個未満の場合に、前記視差のヒストグラムに基づいて、前記視差連結領域に含まれる画素の各々の視差を補正する請求項１〜請求項５のいずれか１項記載の画像処理装置。
9. 異なる２以上の視点から撮影された複数の画像を取得する取得手段と、
   前記取得手段により取得された複数の画像に含まれる第１の画像と該第１の画像とは異なる視点から撮影された第２の画像との各々対応する画素毎の画素位置の差で表される視差を、前記第１の画像の画素位置に対応させた視差マップを生成する視差マップ生成手段と、
   前記視差マップ生成手段により生成された視差マップの注目画素に対応する前記第１の画像の画素を含み、前記視差マップの注目画素に対応する画素の色情報と比較して色情報の差が所定範囲内の隣接する画素同士を連結した連結領域を抽出し、抽出された連結領域に対応する前記視差マップの領域に輪郭が含まれる場合に、抽出された連結領域に対応する前記視差マップの領域に含まれる画素の各々の視差に基づいて、視差のヒストグラムを生成するヒストグラム生成手段と、
   前記ヒストグラム生成手段により生成された視差のヒストグラムに基づいて、前記連結領域に対応する前記視差マップの領域に含まれる画素の各々の視差を補正する補正手段と、
   を含む画像処理装置。
10. 前記画素の色情報は、画素の輝度値を含む請求項１〜請求項９のいずれか１項記載の画像処理装置。
11. 異なる２以上の視点から撮影された複数の画像を取得し、
    取得された複数の画像に含まれる第１の画像と該第１の画像とは異なる視点から撮影された第２の画像との各々対応する画素毎の画素位置の差で表される視差を、前記第１の画像の画素位置に対応させた視差マップを生成し、
    生成された視差マップの注目画素及び該注目画素の周辺に存在する周辺画素に対応する前記第１の画像の画素のうち、前記視差マップの注目画素に対応する画素の色情報と比較して色情報の差が所定範囲内の画素を抽出し、
    抽出された画素の各々に対応する前記視差マップの画素の各々の視差に基づいて、視差のヒストグラムを生成し、
    生成された視差のヒストグラムに基づいて、補正対象となる注目画素の視差を補正する
    画像処理方法。
12. 異なる２以上の視点から撮影された複数の画像を取得し、
    取得された複数の画像に含まれる第１の画像と該第１の画像とは異なる視点から撮影された第２の画像との各々対応する画素毎の画素位置の差で表される視差を、前記第１の画像の画素位置に対応させた視差マップを生成し、
    生成された視差マップの注目画素に対応する前記第１の画像の画素を含み、前記視差マップの注目画素に対応する画素の色情報と比較して色情報の差が所定範囲内の隣接する画素同士を連結した連結領域を抽出し、
    抽出された連結領域に対応する前記視差マップの領域に含まれる画素の各々の視差に基づいて、視差のヒストグラムを生成し、
    生成された視差のヒストグラムに基づいて、補正対象となる注目画素の視差を補正する
    画像処理方法。
13. コンピュータを、
    異なる２以上の視点から撮影された複数の画像を取得する取得手段、
    前記取得手段により取得された複数の画像に含まれる第１の画像と該第１の画像とは異なる視点から撮影された第２の画像との各々対応する画素毎の画素位置の差で表される視差を、前記第１の画像の画素位置に対応させた視差マップを生成する視差マップ生成手段、
    前記視差マップ生成手段により生成された視差マップの注目画素及び該注目画素の周辺に存在する周辺画素に対応する前記第１の画像の画素のうち、前記視差マップの注目画素に対応する画素の色情報と比較して色情報の差が所定範囲内の画素を抽出し、抽出された画素の各々に対応する前記視差マップの画素の各々の視差に基づいて、視差のヒストグラムを生成するヒストグラム生成手段、及び
    前記ヒストグラム生成手段により生成された視差のヒストグラムに基づいて、補正対象となる注目画素の視差を補正する補正手段
    として機能させるための画像処理プログラム。
14. コンピュータを、
    異なる２以上の視点から撮影された複数の画像を取得する取得手段、
    前記取得手段により取得された複数の画像に含まれる第１の画像と該第１の画像とは異なる視点から撮影された第２の画像との各々対応する画素毎の画素位置の差で表される視差を、前記第１の画像の画素位置に対応させた視差マップを生成する視差マップ生成手段、
    前記視差マップ生成手段により生成された視差マップの注目画素に対応する前記第１の画像の画素を含み、前記視差マップの注目画素に対応する画素の色情報と比較して色情報の差が所定範囲内の隣接する画素同士を連結した連結領域を抽出し、抽出された連結領域に対応する前記視差マップの領域に含まれる画素の各々の視差に基づいて、視差のヒストグラムを生成するヒストグラム生成手段、及び
    前記ヒストグラム生成手段により生成された視差のヒストグラムに基づいて、補正対象となる注目画素の視差を補正する補正手段
    として機能させるための画像処理プログラム。
15. 請求項１〜請求項１０のいずれか１項記載の画像処理装置と、
    前記画像処理装置で生成及び補正された視差マップに基づいて、画像を立体視表示するための表示手段と、
    を含む複眼デジタルカメラ。

Images