JP2015081846A - 撮像装置及び位相差検出方法 - Google Patents

Abstract

【課題】撮像素子の画素ピッチよりも高分解能な位相差検出を可能にする撮像装置及び位相差検出方法等を提供すること。【解決手段】撮像装置は、同一被写体に対して視差を有する第１被写体像と第２被写体像を撮像する撮像部１０と、第１被写体像が撮像された第１画像と第２被写体像が撮像された第２画像に対して高密度化処理を行う高密度化処理部２０と、高密度化処理後の第１画像と第２画像の間の位相差を検出する位相差検出部３０と、を備える。撮像部１０は、第１被写体像及び第２被写体像を撮像する画素のピッチがＰである場合に、カットオフ周波数が１／（２Ｐ）以下である光学ローパスフィルタ１１を有する。高密度化処理部２０は、高密度化処理として、第１画像と第２画像に対するアップサンプリング処理と、アップサンプリング処理後の第１画像と第２画像に対する２次元ローパスフィルタ処理と、を行う。【選択図】 図１

Description

本発明は、撮像装置及び位相差検出方法等に関する。

近年デジタルカメラのオートフォーカス（ＡＦ）の高速化が進んでいる。また、顕微鏡や内視鏡などにおいても、３Ｄ計測のリアルタイム性の向上や、さらなる測定精度の向上が期待されている。これらの撮像装置では、デジタル化に伴い撮像素子による撮像が主流となっており、計測用の検出部を別途構成するのではなく、この撮像画像自体を利用した画像計測が広く用いられている。

ＡＦあるいは３Ｄ計測において、主流方式の一つとして位相差を用いた方法がある。この手法は、２つの視差画像を取得し、それらの位相差（ずれ量）を検出することにより三角測量の原理を用いて撮像系から被写体までの距離を求めることが基本である。位相差の検出では、一方の視差画像を他方の視差画像に対して初期位置からずらしながら相関演算等を行い、その相関演算により相互の類似性を評価し、マッチングが取れる位置を特定し、初期位置とマッチング位置の差を位相差として検出する。視差画像を得る手法としては、所定の間隔で配置した２つのカメラを用いる二眼立体視の手法が古くから行われている。最近では、シンプルに構成可能な単眼方式が提案されており、例えば、撮像レンズにおいて片方の瞳を通過した光と他方の瞳を通過した光を分離し、異なる瞳画像を形成することにより視差画像を得る手法が提案されている。

単眼方式では２つの瞳を通過した画像が１つの撮像素子で撮像される。その撮像画像から２つの瞳画像を分離形成する手法として、例えば特許文献１には、撮像素子面の隣接２画素を一対とし、それぞれに入射する角度により片方の瞳を通過した光が入る画素と他方の瞳を通過した光が入る画素を分ける手法が開示されている。片方の瞳画像をサンプリングした画素と他方の瞳画像をサンプリングした画素とが、それぞれに分離した成分として得られるので位相差検出が可能である。

また、例えば特許文献２には、撮像素子面ではなく、撮像光学系の瞳位置に分光フィルタを構成する手法が開示されている。例えば、一方の瞳には赤色のみを通過させ、他方の瞳には青色のみを通過させ、それら２つの瞳を通過した像を撮像素子面に形成し、撮像素子の赤色画素により一方の瞳画像を取得し、青色画素により他方の瞳画像を取得する。

特開２００９−１４５４０１号公報 特開２００１−１７４６９６号公報

二眼、単眼いずれにしても、２つの視差画像は、撮像素子の画素によりサンプリングされた像の波形データとなり、これらの波形データをマッチング演算処理して位相差検出を行う。そのため、位相差の検出分解能は、視差画像をサンプリング可能な画素ピッチに制限されるという課題がある。

本発明の幾つかの態様によれば、撮像素子の画素ピッチよりも高分解能な位相差検出を可能にする撮像装置及び位相差検出方法等を提供できる。

本発明の一態様は、同一被写体に対して視差を有する第１被写体像と第２被写体像を撮像する撮像部と、前記第１被写体像が撮像された第１画像と前記第２被写体像が撮像された第２画像に対して高密度化処理を行う高密度化処理部と、前記高密度化処理後の前記第１画像と前記第２画像の間の位相差を検出する位相差検出部と、を備え、前記撮像部は、前記第１被写体像を撮像する画素のピッチ及び前記第２被写体像を撮像する画素のピッチがＰである場合に、カットオフ周波数が１／（２Ｐ）以下である光学ローパスフィルタを有し、前記高密度化処理部は、前記高密度化処理として、前記第１画像と前記第２画像に対するアップサンプリング処理と、前記アップサンプリング処理後の前記第１画像と前記第２画像に対する２次元ローパスフィルタ処理と、を行う撮像装置に関係する。

また、本発明の他の態様は、第１被写体像を撮像する画素のピッチ及び第２被写体像を撮像する画素のピッチがＰである場合にカットオフ周波数が１／（２Ｐ）以下である光学ローパスフィルタを通過した、同一被写体に対して視差を有する前記第１被写体像及び前記第２被写体像を撮像し、前記第１被写体像が撮像された第１画像及び前記第２被写体像が撮像された第２画像に対してアップサンプリング処理を行い、前記アップサンプリング処理後の前記第１画像と前記第２画像に対して２次元ローパスフィルタ処理を行い、前記２次元ローパスフィルタ処理後の前記第１画像及び前記第２画像の間の位相差を検出する処理を行う、位相差検出方法に関係する。

撮像装置の構成例。 瞳分割方式によるステレオ画像計測の基本原理についての説明図。 第１実施形態における撮像装置の構成例。 瞳分割フィルタと撮像素子の分光特性の例。 第１実施形態における高密度化処理についての説明図。 図６（Ａ）〜図６（Ｄ）は、第１実施形態における高密度化処理についての説明図。 第１実施形態における高密度化処理についての説明図。 図８（Ａ）〜図８（Ｃ）は、高密度化処理による位相差検出のシミュレーション結果。 第１実施形態における高密度化処理についての説明図。 サンプリングデータの類似性についてのシミュレーション結果。 第２実施形態における高密度化処理についての説明図。 第２実施形態における高密度化処理についての説明図。 改良ＳＡＤによるマッチング評価の説明図。 波形のＳＮ比に対する位相差検出値の統計的分散値のシミュレーション結果。

以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

１．本実施形態の概要
従来の位相差検出では、瞳分割により撮像された２つの視差画像の各画像を受け持つサンプリング画素の密度により位相差の検出分解能が決まってしまう。即ち、図９の左図に示すように、視差画像の波形パターンはサンプリング画素によりサンプリングされたデータとして扱われる。その２つの波形パターンの相対位置を初期位置からシフトしながら相関係数を求める際、２つの波形パターンのサンプリング位置が一致する相対位置での相関係数が得られる。そのため、マッチング位置の検出分解能はサンプリング密度で決まることとなり、初期位置とマッチング位置の差である位相差の分解能もサンプリング密度で決まることになる。

例えば、位相差検出を測距に応用した場合を考える。下式（２）で後述のように、距離分解能Δｚは、位相差の検出分解能Δｓによって決まる。即ち、高分解能な測距を実現しようとすると、より高い位相差検出分解能が必要となる。しかしながら、昨今、撮像素子の画素密度は光学分解能の限界まで近づいてきており、今後の大幅な画素密度の改善は見込めない。したがって、如何に与えられた撮像素子を使って、その画素密度以上の高密度サンプリングを実現できるかが大きな課題となる。

図１に、この課題を解決できる本実施形態の撮像装置の構成例を示す。撮像装置は、同一被写体に対して視差を有する第１被写体像と第２被写体像を撮像する撮像部１０と、第１被写体像が撮像された第１画像と第２被写体像が撮像された第２画像に対して高密度化処理を行う高密度化処理部２０と、高密度化処理後の第１画像と第２画像の間の位相差を検出する位相差検出部３０と、を含む。

このとき、撮像部１０は、第１被写体像を撮像する画素のピッチ及び第２被写体像を撮像する画素のピッチがＰである場合に、カットオフ周波数が１／（２Ｐ）以下である光学ローパスフィルタ１１を有する。高密度化処理部２０は、高密度化処理として、第１画像と第２画像に対するアップサンプリング処理と、アップサンプリング処理後の第１画像と第２画像に対する２次元ローパスフィルタ処理と、を行う。

例えば、後述する第１実施形態では、単眼の撮像光学系を瞳分割し、ベイヤ配列の撮像素子を用いて視差画像を取得する。このとき、第１瞳を通過する第１被写体像を赤色画素で撮像し、第２瞳を通過する第２被写体像を青色画素で撮像する。即ち、図５に示すように、第１画像と第２画像のサンプリングピッチは、それぞれＰ＝２ｐである。そして、第１画像と第２画像を、それぞれＮ×Ｎ倍の画素数にアップサンプリング処理し、その画像に対して２次元ローパスフィルタ処理を行う。これにより、撮像素子の画素密度（画素ピッチｐ）に対してＮ倍のサンプリング密度（画素ピッチｐ／Ｎ）をもつ視差画像を得ることができる。

以上のようにすれば、見かけ上のサンプリング密度を撮像素子の画素密度よりも格段に高密度にした視差画像を生成することができる。即ち、この視差画像を用いて位相差を検出することで、従来の検出分解能よりも飛躍的に高分解能な位相差検出を行うことが可能となる。例えば、上記の例では、Ｎ倍の密度で相関係数を求めることができるので、従来のＮ倍の分解能で位相差を検出することが可能となる。

なお、上記では単眼の第１実施形態を例に説明したが、本実施形態は二眼の撮像部を用いる場合にも適用できる。例えば、二眼の撮像光学系それぞれに撮像素子が設けられる場合、視差画像のサンプリングピッチＰは撮像素子の画素ピッチｐと同一なので、Ｐ＝ｐとなる。

２．第１実施形態
２．１．ステレオ画像計測の手法
次に、第１実施形態について説明する。この実施形態では、単眼の撮像部を瞳分割し、２つの瞳に異なる色を割り当てて位相差を検出し、３Ｄ計測を行う。

まず、瞳分割方式によるステレオ画像計測の基本原理について、図２を用いて説明する。なお以下では、瞳を左右（水平走査方向）に分割する場合を例に説明するが、瞳の分割方向は左右に限定されず、光軸に直交する任意の方向であればよい。

被写体面からの反射光は、結像レンズ１２（結像光学系）を通り、撮像素子面にて像を形成し、撮像素子により画像信号として取得される。このとき、被写体の基準位置ＲＰをゼロとした座標軸を（ｘ，ｙ，ｚ）とし、それに対応する撮像素子面の合焦位置ＲＰ’をゼロとした座標軸を（ｘ’，ｙ’）とする。例えば、ｘ’軸は撮像素子の水平走査方向に対応し、ｙ’軸は撮像素子の垂直走査方向に対応する。ｚ軸は、結像レンズ１２の光軸方向、即ち、奥行き距離方向に対応する。

被写体の基準位置ＲＰから結像レンズ１２の中心までの距離をａ_０とし、結像レンズ１２の中心から撮像素子面までの距離をｂ_０とする。この距離ａ_０、ｂ_０は、撮像部の設計により決まる距離である。

さて、結像レンズ１２の左半分を左瞳と呼び、右半分を右瞳と呼ぶとする。ＧＰ_Ｌは左瞳の重心位置であり、ＧＰ_Ｒは右瞳の重心位置である。被写体面が基準位置からｚ方向に離れると、撮像素子面で得られる画像はデフォーカス状態となり、左瞳の通過画像Ｉ_Ｌと右瞳の通過画像Ｉ_Ｒ（以下、左瞳画像、右瞳画像と言う）は、ずれた画像、即ち位相差ｓをもった画像となる。なお、ここでは便宜上レンズ中心に瞳位置があるようにしたが、実際はレンズの外の絞り等の位置に瞳位置が存在するのが常識である。

上記の位相差ｓと被写体面の位置ｚの関係を求める。撮像素子面で得られる左右瞳画像Ｉ_Ｌ、Ｉ_Ｒの位相差ｓと被写体面の位置ｚの関係は、下式（１）により決定される。

ここで、Ｍは基準合焦位置における光学総合倍率である。結像視野サークル径をφＩＣとし、撮像範囲の視野サークル径をφＯＣとすると、Ｍ＝φＩＣ／φＯＣ＝ｂ_０／ａ_０である。ｌは、左瞳の重心ＧＰ_Ｌと右瞳の重心ＧＰ_Ｒの間の距離である。なお、上式（１）が成り立つのは厳密には光学系の軸上についてであるが、原理説明のために軸外での関係式は省略する。

位相差ｓを求めるためには、左瞳画像Ｉ_Ｌと右瞳画像Ｉ_Ｒを分離して取得できなければならないが、その分離手法については種々考えられる。例えば、左瞳位置に赤色を透過する光学フィルタを設け、右瞳位置に青色を透過する光学フィルタを設定し、撮像素子で得られる赤色画像を左瞳画像として分離し、青色画像を右瞳画像として分離する。或は、特許文献１に開示されるように、撮像素子面に入射する光線角度により左右瞳画像を分離取得する手法もある。或は、古くから行われている二眼カメラを用いて、左右瞳画像に相当する視差ステレオ画像を別々に取得する手法もある。いずれの手法も用いることが可能であり、目的・用途に応じて選択されればよい。

高精度な３Ｄ計測を実現するためには、ｚ分解能を如何に高められるかが重要な課題である。上式（１）を変形し、ｚ分解能Δｚを位相差分解能Δｓにより表すと、下式（２）となる。

上式（２）から分かるように、ｚ方向の測定分解能を向上させるためには、位相差分解能Δｓを小さくすることによりｚ分解能Δｚを小さくすることが求められる。即ち、ｚ分解能Δｚを高めるためには、左右の瞳画像の位相差を如何に細かく検出できるかにかかっており、そのためには撮像素子による左右瞳画像のサンプリング密度を上げる必要がある。しかしながら、サンプリング密度は撮像素子の画素ピッチにより制限され、現状の画素ピッチはほぼ限界に近づきつつあり、これ以上大幅に細かくしていくことは困難となっている。

２．２．撮像装置
図３に、第１実施形態における撮像装置の構成例を示す。撮像装置は、撮像部１０、高密度化処理部２０（高密度化計測用現像部）、位相差検出部３０、光学特性記憶部４０、測距演算部８０、立体形状出力処理部９０を含む。なお、既に上述した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。

撮像部１０は、光学ローパスフィルタ１１、結像レンズ１２（結像光学系）、瞳分割フィルタ１３、撮像素子１４、撮像処理部１５を含む。

瞳分割フィルタ１３の左瞳にはＲ（赤色）フィルタが設けられ、右瞳にはＢ（青色）フィルタが設けられる。撮像素子１４はベイヤ画素配列のＲＧＢカラーイメージセンサである。図４に、瞳分割フィルタ１３と撮像素子１４の分光特性を示す。Ｆ^Ｌは左瞳のＲフィルタの分光特性であり、Ｆ^Ｒは右瞳のＢフィルタの分光特性である。Ｔ_Ｂ、Ｔ_Ｇ、Ｔ_Ｒは、それぞれＢ、Ｇ（緑色）、Ｒの画素の分光特性である。瞳の分光特性Ｆ^Ｌ、Ｆ^Ｒは、Ｒ画素とＢ画素の分光特性Ｔ_Ｂ、Ｔ_Ｒのクロスポイント（波長λｃ）で分割されており、全体としてＲＧＢの帯域を覆っている。分光特性Ｆ^Ｌ、Ｆ^Ｒは、ともにＧの成分（の一部）を透過する特性になっている。

なお、分光特性｛Ｔ_Ｂ、Ｔ_Ｇ、Ｔ_Ｒ｝は、撮像素子１４の画素毎に設けられたカラーフィルタの特性のみならず、被写体に照射される外光又は照明光の分光特性や、画素自体の分光特性が合成されたものとして定義される。分光特性に関するパラメータは、すべて波長λに対する設定値（対応値）であるが、本明細書では従属変数としての波長λの表記は省略している。

被写体からの反射光は、結像レンズ１２、瞳分割フィルタ１３、光学ローパスフィルタ１１を通過し、撮像素子１４に像を形成する。このとき、Ｒ画素の画素値として、被写体からの反射光の分光特性に、左瞳の分光特性Ｆ^ＬとＲ画素の分光特性Ｔ_Ｒを掛けた成分値が得られる。また、Ｂ画素の画素値として、被写体からの反射光の分光特性に、右瞳の分光特性Ｆ^ＲとＢ画素の分光特性Ｔ_Ｂを掛けた成分値が得られる。即ち、ベイヤ画像のうちＲ画像により左瞳画像が得られ、Ｂ画像により右瞳画像が得られる。

撮像処理部１５は、撮像動作の制御や、撮像信号の処理を行う。例えば、撮像素子１４からの画素信号をデジタルデータに変換し、ベイヤ配列の画像データ（いわゆるＲＡＷ画像データ）を出力する。

高密度化処理部２０は、Ｒ画像とＢ画像の位相差をサンプリング画素ピッチよりも小さい分解能で検出するためのサンプリング密度の高密度化処理を行う。この処理によりサンプリング密度はＮ×Ｎ倍となる。Ｎは例えば１００〜１００００である。高密度化処理の詳細については後述する。

なお、高密度化処理部２０は、光学特性記憶部４０に記憶された分光特性Ｆ^Ｒ、Ｆ^Ｌ、Ｔ_Ｂ、Ｔ_Ｇ、Ｔ_Ｒに基づいて、Ｒ画像とＢ画像の高精度な分離を行ってもよい。例えば、Ｒ画素の分光特性Ｔ_Ｂは左瞳の分光特性Ｆ^Ｌの帯域にも成分をもっている。そのため、右瞳画像であるべきＲ画像には左瞳の成分が混入している。このような左右瞳の混合を分光特性Ｆ^Ｒ、Ｆ^Ｌ、Ｔ_Ｂ、Ｔ_Ｇ、Ｔ_Ｒに基づいて低減する処理を行ってもよい。

位相差検出部３０は、位相差ラフ検出部５０、検出可能領域抽出部６０（検出可能特徴部位抽出部）、位相差微細検出部７０を含む。

位相差ラフ検出部５０は、位相差微細検出部７０が行う位相差検出の密度よりも粗い位相差検出を行う。例えば、高密度化処理後の画像や高密度化処理前のベイヤ画像に対して、画素を間引いて相関演算を行う。

検出可能領域抽出部６０は、位相差ラフ検出部５０からの相関係数に基づいて、位相差検出が可能か否かの判定を行い、その判定結果によりｚ方向の距離情報を取得できるか否かを判断し、検出可能領域の画像を位相差微細検出部７０へ出力する。例えば、相関ピークが存在するか否かを判定することで位相差検出が可能か否かを判定する。

位相差微細検出部７０では、高密度化処理後の画像に対して位相差検出を行い、サンプリング画素ピッチよりも小さい分解能により位相差を精細に求める。位相差の検出は、検出可能領域抽出部６０により位相差検出が可能と判断された領域に対して行う。

測距演算部８０は、位相差微細検出部７０により検出された位相差に基づいて、ｚ方向の距離を高分解能に算出する。立体形状出力処理部９０は、ｚ方向の距離情報に基づいて立体形状データを構成し、その立体形状データを出力する。

２．３．高密度化処理
次に、サンプリング密度の高密度化処理について詳細に説明する。

光学ローパスフィルタ１１を通った左右のＲ、Ｂの瞳画像は、カラー撮像素子１４によりサンプリングされる。撮像素子１４のＲ、Ｂ画素は図５のように配置されている。光学ローパスフィルタ１１は、アンチエイリアスフィルタであり、Ｒ、Ｂの瞳画像に折り返し雑音が発生しないように設けられる。各瞳画像のサンプリングピッチは２ｐなのでサンプリング周波数は１／（２ｐ）であり、それに対応して決まるナイキスト周波数１／（４ｐ）以下にカットオフ周波数を設定する。

Ｒ、Ｂ画像の周波数特性は、図６（Ａ）のようになる。即ち、光学ＬＰＦの周波数特性が例えば１／（４ｐ）の場合、−１／（４ｐ）〜＋１／（４ｐ）の帯域をもつ。図示を省略しているが、１／（２ｐ）の繰り返し周期をもつ。なお、点線は、画素開口の周波数特性を示す。開口幅ｐに対応して、−１／ｐ〜＋１／ｐの帯域をもつ。

次に、撮像素子１４により得られたＲ、Ｂの瞳画像の一つ一つのサンプリング画素について、１画素以下の見かけ上の微小画素により構成されているかのようなデータを作成する。例えば、縦横０．１画素によりサンプリングされた画素値を生成する場合、１画素を縦横にそれぞれＮ＝１０等分し、１画素がＮ×Ｎ＝１００個の微小画素で構成されることを想定する。微小画素の画素値は、元の画素の値と等しい値を適用する。このアップサンプリング処理をＲ画素およびＢ画素全てにおいて行う。

Ｒ、Ｂ画像の周波数特性は、図６（Ｂ）のようになる。画素を分割してデータを複製しただけなので、周波数特性はアップサンプリング前と同様である。即ち、例えば−１／（４ｐ）〜＋１／（４ｐ）の帯域をもち、１／（２ｐ）の繰り返し周期をもつ。

次に、微小画素で構成されたサンプリングデータを２次元ローパスフィルタによりフィルタリングし、未検出部分の画素を含めて撮像画像全面における微小画素を再構成する。即ち、撮像素子１４の画素ピッチｐに対して画素ピッチｐ／Ｎの画像データを生成し、見かけ上Ｎ倍のサンプリング密度が得られる。２次元ローパスフィルタのカットオフ周波数は、光学ローパスフィルタ同様にＲ又はＢのサンプリングピッチ２ｐで決まるナイキスト周波数１／（４ｐ）以下に設定される。２次元ローパスフィルタは、例えばガウシアンフィルタである。

２次元ローパスフィルタの周波数特性は、例えば図６（Ｃ）に示す通りである。２次元ローパスフィルタ後のＲ、Ｂ画像の周波数特性は、図６（Ｄ）のようになる。画素ピッチがｐ／Ｎとなったことに対応して、繰り返し周波数がＮ／ｐとなる。帯域は、光学ローパスフィルタの周波数特性に２次元ローパスフィルタの周波数特性を乗じたものの帯域に対応する。

図７の左図に示すように、高密度化処理前の左右のＲ、Ｂの瞳画像Ｉ_Ｌ、Ｉ_Ｒは、２ｐピッチでサンプリングされた画像である。上記の高密度化処理により、図７の右図に示すように、左右のＲ、Ｂの瞳画像Ｉ_Ｌ、Ｉ_Ｒは、単純に撮像素子１４でサンプリングした密度を大きく超える密度（ピッチｐ／Ｎ）でサンプリングした画像データとして得ることができる。

図８（Ａ）〜図８（Ｃ）に、高密度化処理による位相差検出のシミュレーション結果を示す。横軸は、相関演算における初期位置を“０”とし、その初期位置からのシフト量を画素数で表したものである。

図８（Ａ）は、位相差を求める波形である。撮像素子の画素ピッチをｐとすると、波形Ｉ（ｘ）とＩ（ｘ−δ）は位相差δ＝０．２ｐをもった波形であり、画素ピッチｐでサンプリングした波形である。

図８（Ｂ）は、サンプリング波形Ｉ（ｘ）、Ｉ（ｘ−δ）を単純に０．１ｐでアップサンプリングし（１画素を０．１ｐに分割し、その画素と同一の値を複製する）、０．１ｐ刻みでシフトしながら相互相関係数を求めたものである。本来、δ＝０．２ｐのところで相関ピークが検出されなければならないが、サンプリング波形は１画素単位の値しか持ち得ないので、δ＝０において相関ピークを示し、１画素以下の分解能での検出はできていない。

図８（Ｃ）は、サンプリング波形Ｉ（ｘ）、Ｉ（ｘ−δ）に対して本実施形態の高密度化処理を行い、相互相関係数を求めたものである。即ち、上記のアップサンプリングに加え、カットオフ周波数１／（４ｐ）以下のローパスフィルタをかけた後に、０．１ｐ刻みでシフトしながら相互相関係数を求めたものである。δ＝０．２ｐにて明確に相関ピークを示し、０．１ｐ単位の検出分解能が得られることが分かる。

以上より、本実施形態のアップサンプリング処理と２次元ローパスフィルタ処理によって、撮像素子の画素ピッチ以下での位相差検出分解能を可能にすることができる。

また、通常の位相差検出では、サンプリング位置が異なることで左右のＲ、Ｂの瞳画像サンプリングデータの類似性が劣化するが、本実施形態によれば、この課題を解決できる。この点について、図９を用いて説明する。

図９の左図に示すように、左右のＲ、Ｂの瞳画像Ｉ_Ｌ、Ｉ_Ｒは、ほぼ同一の波形であり、位相差δを有する。図９の右図に示すように、仮に瞳画像Ｉ_Ｌ、Ｉ_Ｒの波形を一致させたとする。このとき、瞳画像Ｉ_Ｌ、Ｉ_Ｒはマッチングしており、本来は、このように波形の類似性が最も高い位置での相関係数が得られることが望ましい。

しかしながら、視差δは任意であるため、ほぼ同一波形である瞳画像Ｉ_Ｌ、Ｉ_Ｒに対してＲ、Ｂの画素がサンプリングする位置は一般的に同一とはならない。そのため、例えば左右のＲ，Ｂの瞳画像Ｉ_Ｌ、Ｉ_Ｒが光学的に同一であっても、得られるサンプリングデータは異なったものとなり、サンプリングデータで見れば類似性が失われている。このことは、相関係数から瞳画像Ｉ_Ｌ、Ｉ_Ｒのマッチング位置を求めようとしたときに、正確な位置が求められないことを意味する。

例えば、瞳画像Ｉ_Ｌ、Ｉ_Ｒを１サンプリング画素ずつ（即ち２ｐピッチで）ずらしながら、相関係数を求めたとする。相関係数が得られるのは、瞳画像Ｉ_Ｌ、Ｉ_Ｒの画素（即ち実線矢印と点線矢印）が一致する各位置である。即ち、サンプリング位置が異なる瞳画像Ｉ_Ｌ、Ｉ_Ｒでは、波形が一致したときの相関係数は得られず、位相差の検出誤差が生じる。

この点、本実施形態によれば、図７の右図のように瞳画像Ｉ_Ｌ、Ｉ_Ｒを高密度にサンプリングしたデータが得られるので、サンプリングデータの類似性を確保することができ、位相差の検出精度を向上できる。また、２次元ローパスフィルタをかけることにより、Ｒ、Ｂの瞳画像Ｉ_Ｌ、Ｉ_Ｒに重畳されたノイズ成分が抑圧され、ノイズによるマッチング位置の検出誤差ばらつきを抑える効果がある。

図１０に、サンプリングデータの類似性についてシミュレーションした結果を示す。上段の図はサンプリング位置を示す。サンプリング位置Ｂ２、Ｂ４、Ｂ６、Ｂ８は、サンプリング位置Ａから０．２ｐずつシフトした位置である。例えば、位相差が０．６ｐの場合、左瞳画像はサンプリング位置Ａでサンプリングされ、右瞳画像はサンプリング位置Ｂ６でサンプリングされる。

中段の図はサンプリングデータを示す。サンプリングデータは、センサ入力波形をサンプリング位置Ａ、Ｂ２、Ｂ４、Ｂ６、Ｂ８でサンプリングしたデータである。センサ入力波形は、センサ面に結像した被写体像の波形である。この時点では、サンプリング位置が異なっているのでサンプリングデータ間の類似性は低下している。

下段の図は各サンプリングデータに本実施形態の高密度化処理を施したものである。波形データＡｓ、Ｂｓ２、Ｂｓ４、Ｂｓ６、Ｂｓ８は、サンプリング位置Ａ、Ｂ２、Ｂ４、Ｂ６、Ｂ８に対応する。波形データＡｓ、Ｂｓ２、Ｂｓ４、Ｂｓ６、Ｂｓ８は、一致して識別不能であり、サンプリングデータ間の類似性が高いことが分かる。この類似性の高いサンプリングデータを用いることで、高精度な位相差検出が可能となる。

以上の実施形態によれば、撮像部１０は、結像光学系（結像レンズ１２）と、結像光学系の瞳を、第１被写体像を通過させる第１瞳（左瞳）と第２被写体像を通過させる第２瞳（右瞳）とに分割する瞳分割フィルタ１３と、結像光学系により結像された第１被写体像及び第２被写体像を撮像する撮像素子１４と、を有する。

このようにすれば、単眼の撮像部１０で視差画像を撮像できる。そして、その視差画像に高密度化処理を施すことで、単眼であっても高分解能な測距が可能となる。即ち、上式（２）に示すように、測距の分解能Δｚを上げるためには瞳の重心間距離ｌを離す必要があるが、単眼は二眼に比べて瞳の重心間距離ｌを確保しにくい。この点、本実施形態では高密度化処理により位相差の検出分解能Δｓを上げることができるため、上式（２）により、瞳の重心間距離ｌが小さい場合であっても高分解能な測距を実現できる。例えば、内視鏡ではスコープを細径にするニーズがあるが、単眼は細径を実現しやすく、また、細径にして瞳の重心間距離ｌが小さくなっても高密度化処理により高精度な測距が可能である。

また、本実施形態では、撮像素子１４は、原色ベイヤ配列の撮像素子である。瞳分割フィルタ１３は、赤色に対応する波長帯域を透過するフィルタ（図４の分光特性Ｆ^Ｌ）を第１瞳として有し、青色に対応する波長帯域を透過するフィルタ（図４の分光特性Ｆ^Ｒ）を第２瞳として有する。そして、高密度化処理部２０は、撮像素子１４により撮像されたベイヤ配列の画像のうち赤色の画像を第１の画像（左瞳画像）とし、青色の画像を第２の画像（右瞳画像）として、高密度化処理を行う。

このようにすれば、一般的に用いられている原色ベイヤ配列のカラーイメージセンサを用いて、高分解能な位相差検出を実現できる。瞳分割フィルタ１３を挿入し、Ｒ、Ｂ画像を取り出すだけで視差画像を構成できるので、従来からある撮像部に大きな変更を加えずに高分解能な位相差検出を実現できる。また、光学系には瞳分割フィルタ１３が加わるだけなので撮像部１０をコンパクトに構成でき、例えば上述した細径の内視鏡等を実現できる。

また、本実施形態では、撮像素子１４の画素ピッチをｐとする場合に、第１被写体像を撮像する赤色の画素のピッチ及び第２被写体像を撮像する青色の画素のピッチは、Ｐ＝２ｐである。そして、光学ローパスフィルタ１１のカットオフ周波数は、１／（２Ｐ）＝１／（４ｐ）以下である。

瞳分割しない通常の撮影では、撮像素子の画素ピッチｐに対応するナイキスト周波数は１／（２ｐ）であり、光学ローパスフィルタ１１のカットオフ周波数を１／（２ｐ）以下に設定する。一方、本実施形態では、視差画像それぞれにサンプリングを行っているので、そのサンプリングピッチ２ｐに対応したナイキスト周波数１／（４ｐ）以下にカットオフ周波数を設定する。これにより、視差画像における折り返し雑音を抑制できる。

また、本実施形態では、高密度化処理部２０は、アップサンプリング処理として、第１画像及び第２画像の画素をＮ×Ｎ画素に分割し、そのＮ×Ｎ画素に元の画素の画素値を複製する処理を行う。

また、本実施形態では、２次元ローパスフィルタ処理のカットオフ周波数は、１／（２Ｐ）以下である。

このように、視差画像の画素をＮ×Ｎ画素に分割し、元の画素の画素値を複製することで、まずデータ上で微細な画素を準備することができる。そして、そのデータに対してカットオフ周波数１／（２Ｐ）以下の２次元ローパスフィルタ処理を行うことで、あたかも微細な画素でサンプリングしたかのような視差画像を生成できる。視差画像の周波数帯域は光学ローパスフィルタ１１により１／（２Ｐ）以下に制限されているため、それに対応して２次元ローパスフィルタのカットオフ周波数を１／（２Ｐ）以下に設定することで、視差画像の成分を残しながら、その帯域外のノイズを低減することができる。

３．第２実施形態
次に、第２実施形態について説明する。この実施形態では、補色イメージセンサにより撮像し、その補色の画像から高密度化した左右瞳画像を生成する。なお、撮像装置の構成は、第１実施形態と同様である。

図１１に示すように、補色イメージセンサは、シアンＣｙ＝Ｂ＋Ｇ、マゼンダＭｇ＝Ｂ＋Ｒ、イエローＹｅ＝Ｇ＋Ｒ、及びグリーン（緑色）Ｇの画素からなる。一般的な配列は図示の通りである。画素ピッチをｐとすると、各色の配置ピッチは２ｐである。

撮像素子から読み出される値は、垂直方向の隣接２画素を結合（加算）した値である。それらをＡ１、Ａ２、Ｂ１、Ｂ２とすると、下式（３）となる。

水平ラインは２画素単位で形成され、例えば図１１のようにラインＬ_ｎの次はラインＬ_ｎ＋２であり、上式（３）のデータはライン単位で出力される。なお、インターレースの場合、奇数フレームではラインＬ_ｎ、Ｌ_ｎ＋２が読み出され、偶数フレームでは垂直方向に１画素ずらしたラインＬ_ｎ＋１、Ｌ_ｎ＋３が読み出される。処理は同様のため、以下ではラインＬ_ｎ、Ｌ_ｎ＋２を例に説明する。

まず、上式（３）で表される結合値｛Ａ１，Ａ２，Ｂ１，Ｂ２｝を用い、隣接４画素を単位としてライン毎に輝度値Ｙ、色差値Ｃｒ又はＣｂを下式（４）のように求める。

図１１に示すように、輝度値Ｙは全ライン毎に、色差値Ｃｒ、Ｃｂは交互のライン毎に求められることになる。Ｙ、Ｃｒ、Ｃｂは、隣接４画素単位の値である。この隣接４画素単位を第２の画素単位とする。

Ｃｒ、Ｃｂの値が得られる第２の画素単位の水平方向のピッチは２ｐだが、垂直方向のピッチは４ｐである。そのため、光学ローパスフィルタのカットオフ周波数は、粗いピッチ４ｐによるサンプリングピッチで決まるナイキスト周波数１／（８ｐ）以下に設定される。２次元ローパスフィルタのカットオフ周波数も光学ローパスフィルタと同様である。

次に、第１の実施形態と同様に、Ｙ、Ｃｒ、Ｃｂそれぞれの第２の画素単位をＮ×Ｎ画素に分割し、その分割した画素に元の第２の画素単位のデータを複製する。この等分配列の微小画素から構成される画像に２次元ローパスフィルタを掛け、フィルタリング処理を行う。図１２に示すように、２次元ローパスフィルタ処理により、見かけ上２ｐ／ＮピッチでサンプリングしたＹ、Ｃｒ、Ｃｂの画像が得られる。

次に、２次元ローパスフィルタ処理後の高密度な微小画素からなるＹ、Ｃｒ、Ｃｂのデータから原色ＲＧＢデータへの変換を行い、左右の瞳画像に対応したＲ及びＢの高密度（２ｐ／Ｎピッチ）画像を求め、この高密度画像から位相差を求める。なお、本実施形態においては、左右の瞳画像はＲとＢに割り当てられているので変換されたＧ画像は位相差検出としては用いる必要がない。よってＧについての原色変換は不要である。

左右の瞳画像は高密度化された画像データとなっているので、高分解能な位相差を求めることができ、結果としてｚ方向の計測分解能が大きく改善される。

以上の実施形態では、撮像素子１４は、補色の撮像素子である。瞳分割フィルタ１３は、赤色に対応する波長帯域を透過するフィルタ（図４の分光特性Ｆ^Ｌ）を第１瞳として有し、青色に対応する波長帯域を透過するフィルタ（図４の分光特性Ｆ^Ｒ）を第２瞳として有する。そして、高密度化処理部２０は、撮像素子１４により撮像された画像から赤色の画像及び青色の画像を生成し、赤色の画像を第１の画像（左瞳画像）とし、青色の画像を第２の画像（右瞳画像）として、高密度化処理を行う。

このようにすれば、一般的に用いられている補色のカラーイメージセンサを用いて、高分解能な位相差検出を実現できる。瞳分割フィルタ１３を挿入し、ＹＣｒＣｂ画像からＲ、Ｂ画像を生成するだけで視差画像を構成できるので、従来からある撮像部に大きな変更を加えずに高分解能な位相差検出を実現できる。補色のカラーイメージセンサは高感度であるため、例えば上述した内視鏡等で明るい照明が得られない場合であっても、Ｓ／Ｎの良い視差画像が得られる。

４．第３実施形態
次に、第３実施形態について説明する。この実施形態では、改良ＳＡＤによるマッチング評価を行う。上述した第１、第２実施形態と組み合わせることで、更に高精度な位相差検出を効果的に行うことができる。なお、撮像装置の構成は第１実施形態と同様であり、位相差微細検出部７０が第３実施形態の位相差検出処理を行う。位相差ラフ検出部５０は、例えば従来のＳＡＤによるマッチング評価を行う。

図１３に、改良ＳＡＤ（Improved Sum of Absolute Difference）によるマッチング評価の説明図を示す。

Ｉ_Ｌ，Ｉ_Ｒは、撮像された左右の瞳画像の一部プロファイル（波形パターン）である。即ち、左右の瞳を通過した光線により撮像素子に形成された視差画像の、水平方向ｘ（視差方向）における画素値パターンである。瞳画像Ｉ_Ｌ、Ｉ_Ｒには位相差δのずれが生じている。

瞳画像Ｉ_Ｌ、Ｉ_Ｒは振幅ゲインが揃っていないので、所定演算区間ｗ（マッチング評価係数の算出に用いる区間）の値を用いて正規化を行い、振幅ゲインを合わせる。正規化した瞳画像ｎＩ_Ｌ、ｎＩ_Ｒは、下式（５）により求められる。シグマ記号の“ｗ”は、所定演算区間ｗの範囲で和をとることを表す。

次に、正規化された瞳画像ｎＩ_Ｌ、ｎＩ_Ｒを加算した合成波形ｎＩを下式（６）のように生成する。

次に、所定演算区間ｗにおいて、瞳画像ｎＩ_Ｌ、ｎＩ_Ｒが交差するクロスポイントを検出し、隣接するクロスポイントとクロスポイントの区間を求める。区間内の合成波形ｎＩが増加傾向にある場合を増加区間Ｒａとし、減少傾向にある場合を減少区間Ｆａとする。増減区間の判定は、例えば、クロスポイントで区切った区間内で合成波形ｎＩの隣接画素差分値（微分値）を積算し、正の場合は増加区間、負の場合は減少区間として判断する。

次に、増加区間Ｒａ、減少区間Ｆａごとに下式（７）のルールに従い、瞳画像Ｉ_ＬとＩ_Ｒの減算の順序を変えて減算値Ｄを求める。即ち、各区間において減算値Ｄ＞０となるように減算の順序を決める。

求めた減算値Ｄを、下式（８）に示すように、所定演算区間ｗを越えない範囲内において全て加算し、ＩＳＡＤ評価値（マッチング評価係数）を求める。シグマ記号の“Ｒａ”、“Ｆａ”は、所定演算区間ｗ内の全てのＲａ、Ｆａの範囲で和ととることを表す。但し、所定演算区間ｗ内にクロスポイントが存在しない場合であっても所定演算区間ｗが増加区間であるのか減少区間であるのかを判断し、所定演算区間ｗにおいてＩＳＡＤ評価値を求めればよい。

従来のＳＡＤ（Sum of Absolute Difference）のように増減区間を分けずに瞳画像Ｉ_ＬとＩ_Ｒとの絶対値和を取る方法ではなく、本実施形態では増減区間を敢えて分け瞳画像Ｉ_ＬとＩ_Ｒとの差分値和を取っている理由について説明する。なお、以下では正規化した波形も単に“Ｉ_Ｌ”、“Ｉ_Ｒ”等と表記する。

Ｉ_Ｌ、Ｉ_Ｒは極めて類似性の高い波形パターンであると仮定する。下式（９）に示すように、それらに独立してノイズ成分ｎ_Ｒ、ｎ_Ｌが付加された波形をＩ_Ｌ’、Ｉ_Ｒ’とする。

波形Ｉ_Ｌ’、Ｉ_Ｒ’のマッチング評価として従来のＳＡＤを当てはめてみると、下式（１０）となる。

ＳＡＤ評価値は、その定義から分かるように、本来は比較波形が一致するとゼロを示す。しかしながら、上式（１０）に示すように、ＳＡＤ評価値は、波形Ｉ_ＬとＩ_Ｒの差分絶対値和に加えてノイズ成分ｎ_Ｒとｎ_Ｌの差分絶対値和が加算された値を最大値としてもつ。ノイズ成分ｎ_Ｒ、ｎ_Ｌとしてはランダムノイズが想定されるが、絶対値をとっているため加算しても打ち消し合わない。このことは、波形Ｉ_ＬとＩ_Ｒが一致する状態、つまり｜Ｉ_Ｌ−Ｉ_Ｒ｜＝０であってもＳＡＤ評価値にはノイズ成分が多く残ることを意味する。即ち、｜Ｉ_Ｌ−Ｉ_Ｒ｜＝０であっても評価値が最小値を必ずしも示さないので、正しいマッチング位置を判定することができなくなる。よって、従来のＳＡＤ評価値ではノイズの影響を非常に受けやすいことが分かる。

一方、上式（８）で定義したＩＳＡＤ評価値に上式（９）を当てはめると、下式（１１）の関係が得られる。

ＩＳＡＤ評価値では、波形Ｉ_ＬとＩ_Ｒの差分絶対値和と絶対値をとらないノイズ成分ｎ_Ｒとｎ_Ｌの単なる差分和とが加算されたものが求められる。波形Ｉ_ＬとＩ_Ｒの差分絶対値和は両者が一致した場合に｜Ｉ_Ｌ−Ｉ_Ｒ｜＝０を示す。ノイズ成分ｎ_Ｒとｎ_Ｌの単なる差分和は、絶対値をとっていないためランダムノイズの加算効果によりその成分値が低減される。区間ＲａとＦａでノイズ成分の差分の符号が逆になるが、ランダムノイズのため加算効果には影響しない。この加算効果により、ＩＳＡＤ評価値では、波形Ｉ_ＬとＩ_Ｒのマッチング位置をノイズが大きく低減された状態で評価できる。このように、ＩＳＡＤ評価値ではノイズの影響を受けにくいマッチング評価が可能となり、従来のＳＡＤに比べ非常に優位な評価方法と言える。

図１４に、波形Ｉ_Ｌ’、Ｉ_Ｒ’のＳＮ比（ＳＮＲ）に対する位相差検出値の統計的分散値σのシミュレーション結果を示す。

波形Ｉ_Ｌ’、Ｉ_Ｒ’にはエッジ波形を用いている。位相差検出値には、マッチング評価値がピーク値となるときの位相差を用いている。分散値σは、次のようにして求めている。即ち、ノイズのパワーを同一にして、ノイズの出現パターンをランダムに異ならせて波形Ｉ_Ｌ’、Ｉ_Ｒ’を作る。その波形Ｉ_Ｌ’、Ｉ_Ｒ’を用いて複数回のマッチングを試行し、位相差を求める。そして、その位相差と、真の波形Ｉ_Ｌ、Ｉ_Ｒがもつ位相差の真値との誤差を求め、その誤差の発生分布から分散値σを求める。

比較例として、従来のＺＮＣＣ（Zero-mean Normalized Cross-Correlation）による相関係数を使った場合の分散値σを示す。同一のＳＮ比に対して、ＩＳＡＤ評価値による位相差検出値の誤差ばらつきσは、ＺＮＣＣ評価値による位相差検出の誤差ばらつきσよりも明らかに小さい。即ち、ＩＳＡＤ評価値はノイズの影響を受けにくく、位相差の検出分解能が高いことが分かる。

例えば、低周波数画像どうしの相関演算では、ノイズ等の劣化要因が加わると相関ピークのばらつきが大きくなり、位相差の検出精度が劣化する。この点、本実施形態によれば、ノイズが加わった場合でも従来の手法に比べて相関ピークのばらつきσが小さいため、高精度な位相差検出が可能となる。

以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１０ 撮像部、１１ 光学ローパスフィルタ、１２ 結像レンズ、
１３ 瞳分割フィルタ、１４ 撮像素子、１５ 撮像処理部、
２０ 高密度化処理部、３０ 位相差検出部、４０ 光学特性記憶部、
５０ 位相差ラフ検出部、６０ 検出可能領域抽出部、
７０ 位相差微細検出部、８０ 測距演算部、９０ 立体形状出力処理部、
Ｆ^Ｌ，Ｆ^Ｒ 分光特性、Ｆａ 減少区間、Ｉ_Ｌ 左瞳画像、Ｉ_Ｒ 右瞳画像、
Ｐ サンプリングピッチ、Ｒａ 増加区間、Ｔ_Ｂ，Ｔ_Ｇ，Ｔ_Ｒ 分光特性、
ｎＩ 合成波形、ｎＩ_Ｌ 正規化した左瞳画像、ｎＩ_Ｒ 正規化した右瞳画像、
ｐ 画素ピッチ、ｓ 位相差、ｗ 所定演算区間、
ｘ，ｙ，ｚ，ｘ’，ｙ’ 座標、Δｓ 位相差分解能、Δｚ 距離分解能、
δ 位相差、σ 分散値

Claims (9)

1. 同一被写体に対して視差を有する第１被写体像と第２被写体像を撮像する撮像部と、
   前記第１被写体像が撮像された第１画像と前記第２被写体像が撮像された第２画像に対して高密度化処理を行う高密度化処理部と、
   前記高密度化処理後の前記第１画像と前記第２画像の間の位相差を検出する位相差検出部と、を備え、
   前記撮像部は、前記第１被写体像を撮像する画素のピッチ及び前記第２被写体像を撮像する画素のピッチがＰである場合に、カットオフ周波数が１／（２Ｐ）以下である光学ローパスフィルタを有し、
   前記高密度化処理部は、前記高密度化処理として、前記第１画像と前記第２画像に対するアップサンプリング処理と、前記アップサンプリング処理後の前記第１画像と前記第２画像に対する２次元ローパスフィルタ処理と、を行う、
   ことを特徴とする撮像装置。
2. 請求項１において、
   前記撮像部は、
   結像光学系と、
   前記結像光学系の瞳を、前記第１被写体像を通過させる第１瞳と前記第２被写体像を通過させる第２瞳とに分割する瞳分割フィルタと、
   前記結像光学系により結像された前記第１被写体像及び前記第２被写体像を撮像する撮像素子と、を有する、
   ことを特徴とする撮像装置。
3. 請求項２において、
   前記撮像素子は、原色ベイヤ配列の撮像素子であり、
   前記瞳分割フィルタは、赤色に対応する波長帯域を透過するフィルタを前記第１瞳として有し、青色に対応する波長帯域を透過するフィルタを前記第２瞳として有し、
   前記高密度化処理部は、前記撮像素子により撮像されたベイヤ配列の画像のうち赤色の画像を前記第１の画像とし、青色の画像を前記第２の画像として、前記高密度化処理を行う、
   ことを特徴とする撮像装置。
4. 請求項３において、
   前記撮像素子の画素ピッチをｐとする場合に、前記第１被写体像を撮像する赤色の画素のピッチ及び前記第２被写体像を撮像する青色の画素のピッチは、Ｐ＝２ｐであり、
   前記光学ローパスフィルタのカットオフ周波数は、１／（４ｐ）以下である、
   ことを特徴とする撮像装置。
5. 請求項２において、
   前記撮像素子は、補色の撮像素子であり、
   前記瞳分割フィルタは、赤色に対応する波長帯域を透過するフィルタを前記第１瞳として有し、青色に対応する波長帯域を透過するフィルタを前記第２瞳として有し、
   前記高密度化処理部は、前記撮像素子により撮像された画像から赤色の画像及び青色の画像を生成し、前記赤色の画像を前記第１の画像とし、前記青色の画像を前記第２の画像として、前記高密度化処理を行う、
   ことを特徴とする撮像装置。
6. 請求項１乃至５のいずれかにおいて、
   前記高密度化処理部は、前記アップサンプリング処理として、前記第１画像及び前記第２画像の画素をＮ×Ｎ画素に分割し、前記Ｎ×Ｎ画素に元の画素の画素値を複製する処理を行う、
   ことを特徴とする撮像装置。
7. 請求項１乃至６のいずれかにおいて、
   前記２次元ローパスフィルタ処理のカットオフ周波数は、１／（２Ｐ）以下である、
   ことを特徴とする撮像装置。
8. 請求項１乃至７のいずれかにおいて、
   前記高密度化処理は、前記第１被写体像と前記第２被写体像のサンプリングピッチを仮想的に高密度化する処理である、
   ことを特長とする撮像装置。
9. 第１被写体像を撮像する画素のピッチ及び第２被写体像を撮像する画素のピッチがＰである場合にカットオフ周波数が１／（２Ｐ）以下である光学ローパスフィルタを通過した、同一被写体に対して視差を有する前記第１被写体像及び前記第２被写体像を撮像し、
   前記第１被写体像が撮像された第１画像及び前記第２被写体像が撮像された第２画像に対してアップサンプリング処理を行い、
   前記アップサンプリング処理後の前記第１画像と前記第２画像に対して２次元ローパスフィルタ処理を行い、
   前記２次元ローパスフィルタ処理後の前記第１画像及び前記第２画像の間の位相差を検出する処理を行う、
   ことを特徴とする位相差検出方法。

Images