JP2015012319A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】カラーフィルタの透過率特性がオーバーラップした撮像画像から高色純度画像を取得可能な画像処理装置及び画像処理方法等を提供すること。【解決手段】画像処理装置１００は、画像取得部１１０と補正処理部１２０を含む。画像取得部１１０は、第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子２０によって撮像された画像を取得する。そして補正処理部１２０は、第１透過率特性と第３透過率特性の重複部分の成分値を、画像を構成する第１色〜第３色の画素値ｂ、ｇ、ｒのうち第２色の画素値ｇに基づいて推定し、第１色〜第３色の画素値ｂ、ｇ、ｒを重複部分の成分値に基づいて補正する。【選択図】 図１

Description

本発明は、画像処理装置及び画像処理方法等に関する。

近年の撮像装置には、原色ＲＧＢのカラーフィルタを有する撮像素子が広く用いられている。カラーフィルタの帯域を広くするほど透過光量が増えて撮像感度が得られるため、一般的な撮像素子では、ＲＧＢのカラーフィルタの透過率特性を意図的にオーバーラップさせる手法が用いられている。

特開２００１−１７４６９６号公報

しかしながら、カラーフィルタの透過率特性をオーバーラップさせると色の分離性が低下するため、撮像画像の色純度が低下するという課題がある。

例えば、特許文献１には、瞳分割による位相差検出を行う手法が開示されている。この手法では、右瞳がＲとＧを透過し、左瞳がＧとＢを透過し、撮像したＲＧＢ画像のうち視差を持つＲ画像とＢ画像の位相差を検出する。しかしながら、この手法では、左瞳に対応したＢ画像に右瞳の透過光が混入するという課題がある。即ち、撮像素子のＢとＧのカラーフィルタの透過率特性にオーバーラップがあるため、ＲとＧを透過する右瞳の透過光がＢ画像に混入し、左右瞳の分離性が低下し、位相差検出の精度が低下する。これは、カラーフィルタの透過率特性をオーバーラップさせたことで、色の分離性が低下していることに起因する。

色純度を高くするには、透過率特性をオーバーラップさせずに分離する手法が考えられるが、この手法では撮像感度が低下してしまう。

本発明の幾つかの態様によれば、カラーフィルタの透過率特性がオーバーラップした撮像画像から高色純度画像を取得可能な画像処理装置及び画像処理方法等を提供できる。

本発明の一態様は、第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子によって撮像された画像を取得する画像取得部と、前記第１透過率特性と前記第３透過率特性の重複部分の成分値を、前記画像を構成する第１色〜第３色の画素値のうち第２色の画素値に基づいて推定し、前記第１色〜第３色の画素値を前記重複部分の成分値に基づいて補正する補正処理部と、を含む画像処理装置に関係する。

また本発明の他の態様は、第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子によって撮像された画像を取得する処理を行い、前記第１透過率特性と前記第３透過率特性の重複部分の成分値を、前記画像を構成する第１色〜第３色の画素値のうち第２色の画素値に基づいて推定し、前記第１色〜第３色の画素値を前記重複部分の成分値に基づいて補正する処理を行う画像処理方法に関係する。

本発明の一態様と他の態様によれば、第１透過率特性と第３透過率特性の重複部分の成分値が、第２色の画素値に基づいて推定され、その推定された重複部分の成分値に基づいて第１色〜第３色の画素値が補正される。これにより、カラーフィルタの透過率特性がオーバーラップした撮像画像から高色純度な画像を取得することが可能となる。

撮像装置の基本構成例。 高色再現画像を求める手法についての説明図。 高色再現画像を求める手法についての説明図。 係数αを求める手法についての説明図。 係数βを求める手法についての説明図。 第１実施形態における撮像装置の構成例。 第２実施形態における高色再現画像を求める手法についての説明図。 第３実施形態における撮像装置の基本構成例。 右瞳画像と左瞳画像を分離する手法についての説明図。 右瞳画像と左瞳画像のプロファイルについての説明図。 第３実施形態における撮像装置の構成例。

以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

１．本実施形態の概要
まず、本実施形態の概要について説明する。以下ではＲＧＢベイヤ配列の撮像素子を用いる場合を例に説明するが、本実施形態はこれに限定されず、波長帯域がオーバーラップするカラーフィルタを有する撮像素子であればよい。

図２に、撮像素子のカラーフィルタの透過率特性を模式的に示す。Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒは、それぞれ青色、緑色、赤色のカラーフィルタの透過率特性を表す。これらの透過率特性は互いにオーバーラップしているため、色が混合する。例えば、青色と赤色の透過率特性Ｆ_Ｂ、Ｆ_Ｒはφ_ＲＢにおいて重複しているため、青色の波長の光であっても赤色の画素に到達し（漏れ光）、赤色の画素値に青色光の成分が混ざることになる。このように色の分離が明確でない場合には、被写体の色を正確に再現することは難しい。

一方、透過率特性Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒの帯域を狭くしてオーバーラップを小さくした場合には、色の再現性を上げることができる。しかしながら、カラーフィルタの帯域が狭くなるため透過光量が減少し、感度を確保することが困難となってしまう。一般的な撮像素子では、意図的に透過率特性Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒをオーバーラップさせ、感度を確保しているが、オーバーラップを大きくしすぎると色の再現性が非常に悪くなるため、バランスを考慮して透過率特性を決定している。このように、高い感度と高い色再現性を両立した撮像は困難であるという課題がある。

そこで図１に示すように、本実施形態の画像処理装置１００は、画像取得部１１０と補正処理部１２０を含む。画像取得部１１０は、第１透過率特性Ｆ_Ｂを有する第１色（青色）フィルタと、第２透過率特性Ｆ_Ｇを有する第２色（緑色）フィルタと、第３透過率特性Ｆ_Ｒを有する第３色（赤色）フィルタとを含む撮像素子２０によって撮像された画像を取得する。そして補正処理部１２０は、第１透過率特性Ｆ_Ｂと第３透過率特性Ｆ_Ｒの重複部分の成分値Ｉ・φ_ＲＢ（Ｉは入射光量）を、画像を構成する第１色〜第３色の画素値ｂ、ｇ、ｒのうち第２色の画素値ｇに基づいて推定し、第１色〜第３色の画素値ｂ、ｇ、ｒを重複部分の成分値Ｉ・φ_ＲＢに基づいて補正する。

このようにすれば、第１色〜第３色の画素値ｂ、ｇ、ｒにおいて互いに重複する成分（例えばＩ・φ_ＲＢ）を、補正により低下させる又はキャンセルすることが可能となる。これにより、カラーフィルタの透過率特性Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒがオーバーラップした高感度な撮像画像から、あたかもオーバーラップが小さいカラーフィルタを用いたかのような色純度の高い画像を得ることができる。

後述する実施形態を例に、より具体的に説明する。図２に示すように、一般的な撮像素子では、透過率特性Ｆ_Ｂ、Ｆ_Ｒの重複部分φ_ＲＢが緑色（第２色）の透過率特性Ｆ_Ｇに相似であることから、緑色の画素値ｇに基づいて重複部分φ_ＲＢの成分値Ｉ・φ_ＲＢを推定する。この成分値Ｉ・φ_ＲＢを画素値ｂ、ｒから減算することで、補正後の青色と赤色の画素値｛ｂ’，ｒ’｝＝｛Ｉ・φ_Ｂ，Ｉ・φ_Ｒ｝を得る。また図３に示すように、緑色（第２色）の透過率特性Ｆ_Ｇをゲインアップ（Ｆ_Ｇ２）すると青色と赤色の透過率特性Ｆ_Ｂ、Ｆ_Ｒを覆えることから、そのゲインと緑色の画素値ｇに基づいて、Ｆ_Ｇ２の成分値を求める。このＦ_Ｇ２の成分値からＩ・φ_Ｂ、Ｉ・φ_Ｒを減算することで、補正後の緑色の画素値ｇ’＝Ｉ・φ_Ｇを得る。

以上のように、本実施形態では、第１色〜第３色の画素値ｂ、ｇ、ｒを重複部分の成分値Ｉ・φ_ＲＢに基づいて補正し、補正後の画素値｛ｂ’，ｇ’，ｒ’｝＝｛Ｉ・φ_Ｂ，Ｉ・φ_Ｇ，Ｉ・φ_Ｒ｝を求めている。この補正後の画素値Ｉ・φ_Ｂ、Ｉ・φ_Ｇ、Ｉ・φ_Ｒは、カラーフィルタの透過率特性Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒのオーバーラップ部分が除かれた画素値となっている。このようにして、高感度に撮像した画像から高い色再現性の画像を生成することが可能となる。

２．第１実施形態
２．１．高純度分光分離手法
次に、本実施形態の詳細について説明する。なお以下では、撮像素子２０を適宜、撮像センサとも呼ぶ。また、透過率特性（分光特性）｛Ｆ_Ｂ，Ｆ_Ｇ，Ｆ_Ｒ，Ｆ_Ｇ１，Ｆ_Ｇ２｝や、透過率特性の領域又は部分｛φ_Ｂ，φ_Ｇ，φ_Ｒ，φ_ＲＢ｝は、波長λの関数であるが、簡単のためＦ_Ｂ（λ）等をＦ_Ｂ等と表記する。また、｛φ_Ｂ，φ_Ｇ，φ_Ｒ，φ_ＲＢ｝に光量Ｉを乗じ（て波長λで積分し）た｛Ｉ・φ_Ｂ，Ｉ・φ_Ｇ，Ｉ・φ_Ｒ，Ｉ・φ_ＲＢ｝は画素値又は成分値である。

まず、高感度画像と高色再現画像を同時取得する手法について説明する。図２、図３に示すように、撮像センサのカラーフィルタの透過率特性Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒを４つの領域φ_Ｒ、φ_ＲＢ、φ_Ｂ、φ_Ｇに分けて考える。φ_ＲＢは、Ｆ_ＢとＦ_Ｒが重なる部分である。φ_Ｒは、Ｆ_Ｒから重複部分φ_ＲＢを除いた部分である。φ_Ｂは、Ｆ_Ｂから重複部分φ_ＲＢを除いた部分である。φ_Ｇは、Ｆ_Ｂ、Ｆ_Ｒを包含するようにＦ_Ｇをゲインアップした特性Ｆ_Ｇ２からφ_Ｒ、φ_ＲＢ、φ_Ｂを除いた部分である。

φ_Ｒ、φ_Ｇ、φ_Ｂを、高純度な原色ＲＧＢの分光特性フィルタを通過した光量成分と捉えると、φ_Ｒ、φ_Ｇ、φ_Ｂの特性を予め求めることができれば、高色再現の画像を得ることができる。

図２を用いて、赤色と青色の高純度画素値｛ｒ’，ｂ’｝＝｛Ｉ・φ_Ｒ，Ｉ・φ_Ｂ｝を抽出する手法について説明する。なお以下では、一般に広く使われているカラー撮像センサでは、重複部分φ_ＲＢの分光特性Ｆ_ＲＧと緑色のカラーフィルタの分光特性Ｆ_Ｇの相似性が高いことが分かっている。相互の特性そのものの相似性が高いため、φ_ＲＢを下式（１）により近似できる。なお、係数αの求め方は後述する。
φ_ＲＢ≒Ｆ_Ｇ１＝α・Ｆ_Ｇ，
０＜α＜１．０ （１）

上式（１）で求めたφ_ＲＢからφ_Ｒ、φ_Ｂを求める。図２から分かるように、下式（２）が成り立つ。
Ｆ_Ｒ＝φ_Ｒ＋φ_ＲＢ，
Ｆ_Ｂ＝φ_Ｂ＋φ_ＲＢ （２）

上式（１）、（２）より、下式（３）が成り立つことから、φ_Ｒ、φ_Ｂを求めることができる。
φ_Ｒ＝Ｆ_Ｒ−φ_ＲＢ≒Ｆ_Ｒ−α・Ｆ_Ｇ，
φ_Ｂ＝Ｆ_Ｂ−φ_ＲＢ≒Ｆ_Ｂ−α・Ｆ_Ｇ （３）

撮像センサの画素に入力する光量値をＩとすると、実際に各画素のＲＧＢ画素値として得られるのは、下式（４）となる。
ｒ＝Ｉ・Ｆ_Ｒ，
ｇ＝Ｉ・Ｆ_Ｇ，
ｂ＝Ｉ・Ｆ_Ｂ （４）

即ち、上式（３）、（４）より、高純度画素値ｒ’、ｂ’は下式（５）のように求められる。
ｒ’＝Ｉ・φ_Ｒ≒ｒ−α・ｇ，
ｂ’＝Ｉ・φ_ｂ≒ｂ−α・ｇ （５）

次に、図３を用いて、緑色の高純度画素値ｇ’＝Ｉ・φ_Ｇを抽出する手法について説明する。分光特性Ｆ_Ｇ２は、緑色の分光特性Ｆ_Ｇにゲインβ（係数β）を乗じたものである。ゲインβは、Ｆ_Ｇ２が領域φ_Ｒ及び領域φ_Ｂを包含し、且つ最小のゲインとなるように求める。なお、ゲインβの求め方の詳細は後述する。

下式（６）に示すように、ゲインβにより緑色の分光特性Ｆ_Ｇをゲインアップした分光特性Ｆ_Ｇ２を得る。
Ｆ_Ｇ２＝β・Ｆ_Ｇ，
１．０＜β （６）

上式（６）で得られたＦ_Ｇ２と、上式（１）、（３）で求めたφ_Ｒ、φ_ＲＢ、φ_Ｂから、下式（７）によりφ_Ｇが得られる。
φ_Ｇ＝β・Ｆ_Ｇ−（φ_Ｒ＋φ_ＲＢ＋φ_Ｂ） （７）

上式（１）、（４）、（７）より、高純度画素値ｇ’は下式（８）のように求められる。
ｇ’＝Ｉ・φ_Ｇ＝β・ｇ−（ｒ＋α・ｇ＋ｂ） （８）

以上のようにして、高純度な原色画素値｛ｒ’，ｇ’，ｂ’｝＝｛Ｉ・φ_Ｂ，Ｉ・φ_Ｇ，Ｉ・φ_Ｒ｝が得られる。

なお、高感度画像としては、ＲＧＢ特性の重なりが大きい撮像センサで取得したままの画像を使えばよいので、画素値ｒ、ｇ、ｂを用いればよい。

２．２．係数α、βの算出手法
次に、上記の係数α、βを推定する手法について説明する。以下で説明する手法で予め求めておいた係数α、βを画像処理装置１００に記憶しておいてもよいし、或は、画像処理装置１００が分光特性Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒを取得し、その分光特性に基づいて係数α、βを求めてもよい。

図４に示すように、実用的観点から、分光特性Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_ＲはＦ_Ｇに対してＦ_Ｂ、Ｆ_Ｒが対称的な特性になっているとは限らないので、Ｆ_Ｂ、Ｆ_Ｒに偏りのある特性の場合について、係数α、βの決定手法を示す。

まず、係数αの求め方について説明する。Ｆ_ＢとＦ_Ｒの重なり部分φ_ＲＢはＦ_Ｇに対して偏っており、Ｆ_Ｇの最大値を示す波長をλ_Ｃとし、Ｆ_ＢとＦ_Ｒのクロスポイントを示す波長をλ’_Ｃとする。下式（９）に示すように、重複部分φ_ＲＢの分光特性及び分光特性Ｆ_Ｇを、波長λ_０、λ_１、λ_２、・・・、λ_Ｎにおける透過率を成分としたベクトルＶ_ＲＢ、Ｖ_Ｇとして捉える。
Ｖ_ＲＢ＝［φ_ＲＢ（λ_０），φ_ＲＢ（λ_１），φ_ＲＢ（λ_２），・・・，φ_ＲＢ（λ_Ｎ）］，
Ｖ_Ｇ＝［Ｆ_Ｇ（λ_０），Ｆ_Ｇ（λ_１），Ｆ_Ｇ（λ_２），・・・，Ｆ_Ｇ（λ_Ｎ）］ （９）

下式（１０）に示すように、これらのベクトルＶ_ＲＢ、Ｖ_Ｇのユークリッド距離が最小になるときの係数αを採用する。これにより、φ_ＲＢとαＦ_Ｇ（＝Ｆ_Ｇ１）の類似性を高くできるため、漏れ光成分の低減効果を最適化できる。

なお、係数αの算出手法は上記に限定されない。例えば、係数αを変数として変化させ、上式（１）と上式（３）によりφ_Ｒ、φ_Ｂを求め、光量Ｉをフラットな分光特性である白色光と仮定して上式（５）によりｒ’、ｂ’を求め、そのホワイトバランスが最良になるように係数αを探索的に求めてもよい。

次に、係数βの求め方について説明する。図５に示すように、φ_Ｒ、φ_Ｂを包含するようにＦ_ＧをゲインアップしたＦ_Ｇ２からφ_Ｒ、φ_ＲＢ、φ_Ｂを差し引いた部分をφ_Ｇとする。分光特性Ｆ_ＲとＦ_Ｇ２がほぼ合致する波長域をλ_Ｒ、λ_Ｒ＋１、・・・、λ_Ｎとし、分光特性Ｆ_ＢとＦ_Ｇ２がほぼ合致する波長域をλ_０、λ_１、・・・、λ_Ｂとする。下式（１１）に示すように、波長λ_Ｒ、λ_Ｒ＋１、・・・、λ_Ｎにおける分光特性Ｆ_Ｒ、Ｆ_Ｇ２の透過率を成分としたベクトルをＶ_Ｒ、Ｖ_ＧＲ２とする。また、波長λ_０、λ_１、・・・、λ_Ｂにおける分光特性Ｆ_Ｂ、Ｆ_Ｇ２の透過率を成分としたベクトルをＶ_Ｂ、Ｖ_ＧＢ２とする。
Ｖ_Ｒ＝［Ｆ_Ｒ（λ_Ｒ），Ｆ_Ｒ（λ_Ｒ＋１），・・・，Ｆ_Ｒ（λ_Ｎ）］，
Ｖ_ＧＲ２＝［Ｆ_Ｇ２（λ_Ｒ），Ｆ_Ｇ２（λ_Ｒ＋１），・・・，Ｆ_Ｇ２（λ_Ｎ）］，
Ｖ_Ｂ＝［Ｆ_Ｂ（λ_０），Ｆ_Ｂ（λ_１），・・・，Ｆ_Ｂ（λ_Ｂ）］，
Ｖ_ＧＢ２＝［Ｆ_Ｇ２（λ_０），Ｆ_Ｇ２（λ_１），・・・，Ｆ_Ｇ２（λ_Ｂ）］ （１１）

下式（１２）に示すように、これらのベクトルＶ_Ｒ、Ｖ_ＧＲ２、Ｖ_Ｂ、Ｖ_ＧＢ２のユークリッド距離が最小になるときの係数βを採用する。これにより、φ_Ｒ、φ_ＢとβＦ_Ｇ（＝Ｆ_Ｇ２）の類似性を高くできるため、漏れ光成分の低減効果を最適化できる。

なお、係数βの算出手法は上記に限定されない。例えば、係数βを変数として変化させ、上式（１）と上式（３）によりφ_Ｒ、φ_ＲＢ、φ_Ｂを求め、光量Ｉをフラットな分光特性である白色光と仮定して上式（５）によりｒ’、ｇ’、ｂ’を求め、そのホワイトバランスが最良になるように係数βを探索的に求めてもよい。

以上の説明では分光特性Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒを撮像センサのカラーフィルタの分光特性であるものとして説明したが、分光特性Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒは、例えば撮像光学系の分光特性や撮像センサの画素の感度特性、光源の分光特性等を含んでもよい。この場合、照明や撮像センサによる撮像条件が決まっていれば、分光特性Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒはそれに従った特性となるので、予め係数α，βを求めておくことができる。一方、外光などによる撮影の場合は、撮影ごとに分光特性Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒを検出し、その分光特性から係数α，βを求めてもよい。

２．３．撮像装置
図６に、高感度画像｛ｒ，ｇ，ｂ｝と高色再現画像｛ｒ’，ｇ’，ｂ’｝を同時取得する撮像装置の構成例を示す。

撮像装置は、結像レンズ１４（光学系）、撮像部４０、モニタ表示部５０、分光特性検出部６０、画像処理装置１００を含む。画像処理装置１００は、デモザイキング部１３０、高画質化処理部１４０、モニタ画像生成部１５０、高純度分光分離処理部１６０、高画質化処理部１８０、撮像モード選択部１９０、分光特性記憶部１９５を含む。

撮像部４０は、撮像素子２０と撮像処理部を含む。撮像素子２０は、例えばベイヤ配列のカラー撮像センサである。撮像処理部は、撮像動作の制御や、アナログの画素信号をＡ／Ｄ変換する処理等を行い、ベイヤ配列の画像｛ｒ，ｇｒ，ｇｂ，ｂ｝を出力する。

デモザイキング部１３０は、ベイヤ配列の画像をデモザイキング処理し、画素毎にＲＧＢ画素値を有する画像（３板化画像）｛ｒ，ｇ，ｂ｝を生成する。

ここで、図１の画像取得部１１０は、撮像処理部或はデモザイキング部１３０に対応する。即ち、画像を取得する処理とは、例えば撮像処理部が撮像センサの出力からデジタル画像を取得する処理、或は、デモザイキング部１３０がベイヤ画像から３板化画像を取得する処理である。

カラー撮像センサは、ＲＧＢの分光特性Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒの重なりを大きくしたものを採用しているので、画像｛ｒ，ｇ，ｂ｝は、そのまま高感度画像として扱える。なお、カラー撮像センサとして、通常のオーバーラップ特性をもつ撮像センサを用いてもよいし、或は、通常よりもオーバーラップを大きくした撮像センサを用いてもよい。後者の場合、各色の帯域を広くできるため、通常よりも高感度な撮影が可能であり、例えば暗所等でも明るい画像が得られる。

高画質化処理部１４０は、高感度画像｛ｒ，ｇ，ｂ｝に対して高画質化処理（例えば、ノイズ低減処理や、階調補正処理等）を行い、その画像をモニタ画像生成部１５０へ出力する。モニタ画像生成部１５０は、その画像をモニタ表示部５０に表示する処理を行う。

高純度分光分離処理部１６０は、係数α、βを取得する係数取得部１７０と、デモザイキング処理を経た３板化画像｛ｒ，ｇ，ｂ｝から純度の高い原色成分を抽出する補正処理部１２０を含む。

具体的には、分光特性記憶部１９５は、カラーフィルタの分光特性｛Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒ｝を記憶する。この分光特性は、例えば撮像部４０から取得してもよいし、予め分光特性記憶部１９５に記憶しておいてもよい。また、外光や照明光の分光特性を取得する分光特性検出部６０を更に設け、その外光や照明光の分光特性を加えて分光特性｛Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒ｝を取得してもよい。

係数取得部１７０は、分光特性記憶部１９５から分光特性｛Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒ｝を読み出し、その分光特性｛Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒ｝に基づいて、上述の手法により係数α、βを求める。

或は、分光特性記憶部１９５は、予め分光特性｛Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒ｝から求めておいた係数α、βを記憶しておいてもよい。この場合、係数取得部１７０は、分光特性記憶部１９５から係数α、βを読み出すことにより、係数α、βを取得する。

補正処理部１２０は、上述の手法に基づく処理を行うことにより、係数α、βに基づいて高色再現画像｛ｒ’，ｇ’，ｂ’｝を求め、その高色再現画像を出力する。

高画質化処理部１８０は、色の再現性を高めるために、高色再現画像｛ｒ’，ｇ’，ｂ’｝に対して色バランス等の調整処理を行う。即ち、高色再現画像｛ｒ’，ｇ’，ｂ’｝に対してホワイトバランス処理等の適正な高画質化処理を施す。高画質化処理部１８０は、その画像をモニタ画像生成部１５０へ出力し、モニタ画像生成部１５０は、その画像をモニタ表示部５０に表示する処理を行う。

撮像モード選択部１９０は、モニタ表示画像を選択する処理を行う。具体的には、モニタ画像生成部１５０に対して、高感度画像と高色再現画像のうち選択した一方をモニタに表示させる指示を行う。或は、高感度画像と高色再現画像の両方を表示させる指示を行ってもよい。画像の選択は、例えば不図示の操作部を介して入力されたユーザー指示に基づいて行ってもよい。或は、外光センサを設け、その外光センサで検出した明るさに基づいて画像を選択してもよい。例えば、外光が閾値より明るい場合には高色再現画像を選択し、外光が閾値より暗い場合には高感度画像を選択してもよい。

なお、上記では画像処理装置１００が撮像装置に設けられる場合を例に説明したが、本実施形態はこれに限定されず、画像処理装置１００を撮像装置と別体に構成してもよい。この場合、別体に構成された撮像装置が撮像画像データと分光特性｛Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒ｝のデータを不図示の記録装置に記録しておく。そして、画像処理装置１００が、記録されたデータを取得し、そのデータから高色再現画像｛ｒ’，ｇ’，ｂ’｝を求める。このように、別体の画像処理装置１００が事後処理により高色再現画像を求めてもよい。別体の画像処理装置１００としては、例えばＰＣ等の情報処理装置が想定される。

この撮像システムによれば、例えば、暗所環境において感度を優先したい場合は高感度画像を選択し、明所環境において色再現性を優先したい場合は高色再現画像を１度に撮影した画像から選択できる。条件を変えて複数回に分けて撮影する従来のやり方に比べ、リアルタイムに２種類の撮影を可能にし、データ量の節約と目的に柔軟に応じた撮影を可能とする。また、本実施形態では、基本的に撮像センサのカラーフィルタの特性に依存するだけなので、純度の高い３原色画素値を抽出するための光学フィルタやその機械的挿抜機構も不要なために、実施が容易で実現性に極めて優れている。

以上の実施形態によれば、図２に示すように、第２色（緑色）は、第１色（青色）よりも長波長側及び第３色（赤色）よりも短波長側の色である。そして、補正処理部１２０は、第１透過率特性Ｆ_Ｂと第３透過率特性Ｆ_Ｒに基づく第１係数αを第２色の画素値ｇに乗じることで、重複部分の成分値Ｉ・φ_ＲＢ≒α・ｇを求める（上式（１）〜（５））。

上述したように、一般的な撮像素子では第１色（青色）及び第３色（赤色）のカラーフィルタの分光特性Ｆ_Ｂ、Ｆ_Ｒの重複部分φ_ＲＢは、第２色（緑色）のカラーフィルタの分光特性Ｆ_Ｇに相似である。また、本実施形態では高色純度の画像を分離できることから、一般的な撮像素子とは異なる分光特性を設定することも可能であり、その際に重複部分φ_ＲＢとＦ_Ｇの相似性を高く設定しておくことも可能である。このような相似性から、重複部分の成分値Ｉ・φ_ＲＢをα・ｇと推定することが可能となり、その推定値に基づいて第１色〜第３色の画素値ｂ、ｇ、ｒの色純度を上げる補正が可能となる。

また本実施形態では、係数取得部１７０は、第１係数αを乗じた第２透過率特性Ｆ_Ｇと重複部分φ_ＲＢとの類似性が最も高い場合の第１係数αを取得する（上式（９）、（１０））。

このようにすれば、第２透過率特性Ｆ_Ｇと重複部分φ_ＲＢとの類似性に基づいて、その類似性が最も高いときの係数αを決定することができる。これにより、色純度を上げる補正（即ち、画素値ｒ、ｂから重複部分の成分α・ｇを減算する補正）の精度を向上できる。

また本実施形態では、類似性が最も高い場合の第１係数αは、重複部分φ_ＲＢの複数波長λ_０、λ_１、・・・、λ_Ｎでの透過率を成分とするベクトルＶ_ＲＢと、第１係数αを乗じた第２透過率特性Ｆ_Ｇの複数波長λ_０、λ_１、・・・、λ_Ｎでの透過率を成分とするベクトルＶ_Ｇと、の間のユークリッド距離が最小となる場合の第１係数αである（上式（９）、（１０））。

このようにすれば、ベクトルＶ_ＲＢとベクトルＶ_Ｇとの間のユークリッド距離を指標として類似度を求めることができる。そして、その指標が最小値をとる場合を類似度が最も高い場合として、第１係数αを決定することができる。

また本実施形態では、補正処理部１２０は、重複部分φ_ＲＢの成分値α・ｇを第１色の画素値ｂから減算することで第１色の画素値ｂを補正し（画素値ｂ’）、重複部分φ_ＲＢの成分値α・ｇを第３色の画素値ｒから減算することで第３色の画素値ｒを補正する（画素値ｒ’）（上式（１）〜（５））。

このようにすれば、第１係数により推定した重複部分φ_ＲＢの成分値α・ｇにより、第１色と第３色の画素値ｂ、ｒから重複部分φ_ＲＢの成分値Ｉ・φ_ＲＢを低下させることができる。これにより、カラーフィルタの分光特性がオーバーラップした撮像画像から、色純度が高い画素値ｂ、ｒを求めることができる。

また本実施形態では、補正処理部１２０は、第１透過率特性Ｆ_Ｂと第３透過率特性Ｆ_Ｒに基づく第２係数βを乗じた第２色の画素値ｇから、重複部分の成分値α・ｇと補正した第１色の画素値ｂ’と補正した第３色の画素値ｒ’とを減算することで、第２色の画素値ｇを補正する（画素値ｇ’）（図５、上式（６）、（７））。

このようにすれば、第２透過率特性Ｆ_Ｇを第２係数βでゲインアップした分光特性の成分値β・ｇを推定し、その推定した成分値β・ｇに基づいて色純度の高い第２色の画素値ｇ’を求めることができる。即ち、成分値β・ｇから、第１色、第２色の画素値ｂ、ｒとの重複部分を低下させる（又はキャンセルする）補正を行うことができる。

また本実施形態では、図５に示すように、係数取得部１７０は、第１透過率特性Ｆ_Ｂの短波長側の一部（波長λ_Ｂより短波長側）及び第３透過率特性Ｆ_Ｒの長波長側の一部（波長λ_Ｒより短波長側）と、第２係数βを乗じた第２透過率特性Ｆ_Ｇと、の類似性が最も高い場合の第２係数βを取得する（上式（１１）、（１２））。

このようにすれば、第２透過率特性Ｆ_Ｇと第１、第３透過率特性Ｆ_Ｂ、Ｆ_Ｒの一部との類似性に基づいて、その類似性が最も高いときの係数βを決定することができる。これにより、色純度を上げる補正（即ち、成分値β・ｇから重複部分の成分ｒ’、ｂ’、α・ｇを減算する補正）の精度を向上できる。

また本実施形態では、図５に示すように、第１透過率特性Ｆ_Ｂの最大透過率よりも短波長側の所定波長を第１波長λ_Ｂとし、第３透過率特性Ｆ_Ｒの最大透過率よりも長波長側の所定波長を第２波長λ_Ｒとする。そして、第１透過率特性Ｆ_Ｂにおける第１波長λ_Ｂよりも短波長側の複数波長λ_０、λ_１、・・・、λ_Ｂでの透過率を成分とするベクトルをＶ_Ｂとする。第３透過率特性Ｆ_Ｒにおける第２波長λ_Ｒよりも長波長側の複数波長λ_Ｒ、λ_Ｒ＋１、・・・、λ_Ｎでの透過率を成分とするベクトルをＶ_Ｒとする。第２係数βを乗じた第２透過率特性Ｆ_Ｇの複数波長での透過率を成分とするベクトルをＶ_ＧＢ２、Ｖ_ＧＲ２とする（上式（１１））。この場合に、類似性が最も高い場合の第２係数βは、ベクトルＶ_Ｂ及びベクトルＶ_ＲとベクトルＶ_ＧＢ２、Ｖ_ＧＲ２との間のユークリッド距離が最小となる場合の第２係数βである（上式（１２））。

このようにすれば、ベクトルＶ_Ｂ及びベクトルＶ_ＲとベクトルＶ_ＧＢ２、Ｖ_ＧＲ２との間のユークリッド距離を指標として類似度を求めることができる。そして、その指標が最小値をとる場合を類似度が最も高い場合として、第２係数βを決定することができる。

また本実施形態では、表示制御部（モニタ画像生成部１５０）は、画像取得部１１０（例えばデモザイキング部１３０）が取得した画像である高感度画像（画素値ｂ、ｇ、ｒ）、及び補正処理部１２０が補正した第１色〜第３色の画素値ｂ、ｇ、ｒに基づく画像である高色再現画像の少なくとも一方を表示部（モニタ表示部５０）に表示する制御を行う。

本実施形態では、高感度画像から高色再現画像を生成することが可能である。即ち、高感度画像と高色再現画像を１つの撮像画像から同時取得することが可能である。表示制御部は、このような同時取得した高感度画像と高色再現画像の一方を選択し、或は両方を同時に表示部に表示させることが可能である。

また本実施形態では、選択部（撮像モード選択部１９０）は、外部の明るさの情報を取得し、その明るさの情報に基づいて高感度画像及び高色再現画像の一方を選択する。そして、表示制御部（モニタ画像生成部１５０）は、選択部が選択した画像を表示する制御を行う。

このようにすれば、高感度画像と高色再現画像を外部の明るさに応じて選択的に表示することが可能となる。即ち、暗い環境においては分光特性がオーバーラップしたままの高感度画像を表示し、明るい環境においてはオーバーラップ成分を低減又は消去した高色再現画像を表示することができる。

３．第２実施形態
次に、第２実施形態について説明する。第２実施形態の撮像装置は、図１や図６の撮像装置と同様に構成できる。

第２実施形態では、領域｛φ_Ｒ，φ_ＲＢ，φ_Ｂ｝の分光特性を関係式に基づいて推定する。具体的には、上記領域の画素値｛Ｉ・φ_Ｒ，Ｉ・φ_ＲＢ，Ｉ・φ_Ｂ｝＝｛ｒ’，ｇｘ，ｂ’｝と、デモザイキング処理後の原色画素値｛ｒ，ｇ，ｂ｝との間には、下式（１３）の関係が成り立つ。ここで、便宜的にＩ・φ_ＲＢ＝ｇｘとする。
ｒ＝Ｉ・Ｆ_Ｒ＝Ｉ・（φ_Ｒ＋φ_ＲＢ）＝ｒ’＋ｇｘ，
ｂ＝Ｉ・Ｆ_Ｂ＝Ｉ・（φ_Ｂ＋φ_ＲＢ）＝ｂ’＋ｇｘ （１３）

上式（１３）より、Ｉ・φ_ＲＢ＝ｇｘを未知数（未知変数）として下式（１４）の関係式が求められる。
ｇｘ＝（未知数），
ｒ’＝ｒ−ｇｘ，
ｂ’＝ｂ−ｇｘ （１４）

上式（１４）は、未知数ｇｘが決まると｛ｒ’，ｂ’｝が一意的に決まることを示している。ｇｘが正しければ｛ｒ’，ｂ’｝は必ず正しい値として求めることができる。

しかしながら、現段階では候補値｛ｒ’，ｇｘ，ｂ’｝の組み合わせ解は多数存在している。この多数解の中から尤もらしい解を特定するために、候補値｛ｒ’，ｇｘ，ｂ’｝の近傍に存在する参照値｛Ｉ_Ｒ，Ｉ_ＲＢ，Ｉ_Ｂ｝を求める。分光特性Ｆ_Ｒに占めるφ_Ｒの占有率をγ_Ｒとし、分光特性Ｆ_Ｂに占めるφ_Ｂの占有率をγ_Ｂとし、参照値を下式（１５）とする。ここで、αは第１の実施形態にて求めた係数である。
Ｉ_Ｒ＝Ｉ・φ_Ｒ＝Ｉ・（γ_Ｒ・Ｆ_Ｒ）＝γ_Ｒ・ｒ，
Ｉ_ＲＢ＝Ｉ・φ_ＲＢ＝Ｉ・（α・Ｆ_Ｇ）＝α・ｇ，
Ｉ_Ｂ＝Ｉ・φ_Ｂ＝Ｉ・（γ_Ｂ・Ｆ_Ｂ）＝γ_Ｂ・ｂ （１５）

候補値｛ｒ’，ｇｘ，ｂ’｝の中から参照値｛Ｉ_Ｒ，Ｉ_ＲＢ，Ｉ_Ｂ｝に最尤度な組み合わせ解を求めるために、それらの誤差が最小になるような候補値｛ｒ’，ｇｘ，ｂ’｝を求めるものとする。

分光特性｛Ｆ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂ｝は撮像条件で決まり、それにより係数αと占有率γ_Ｒ、γ_Ｂは既知情報であるから、それらを上式（１５）に代入し、参照値｛Ｉ_Ｒ，Ｉ_ＲＢ，Ｉ_Ｂ｝を求める。その参照値と上式（１４）を下式（１６）の評価関数Ｅ（ｇｘ）に代入し、評価関数Ｅ（ｇｘ）が最小になる未知数ｇｘを求める。即ち、図７に示すように、未知数ｇｘにより求められる候補値｛ｒ’，ｇｘ，ｂ’｝と参照値｛Ｉ_Ｒ，Ｉ_ＲＢ，Ｉ_Ｂ｝の誤差が最小になるような未知数ｇｘを特定する。
Ｅ（ｇｘ）＝（ｒ’−Ｉ_Ｒ）^２＋（ｇｘ−Ｉ_ＲＢ）^２＋（ｂ’−Ｉ_Ｂ）^２ （１６）

上式（１６）において、未知数ｇｘを変化させて評価関数Ｅ（ｇｘ）が最小になるｇｘを探索的に求めてもよいし、上式（１６）を未知数ｇｘの２次関数として展開し、解析的に解いてｇｘを特定してもよい。

なお、候補値｛ｒ’，ｇｘ，ｂ’｝の取りえる範囲は下式（１７）のように決まっているので、その条件を満足する組み合わせ値となるように、ｇｘを決定する。
０≦ｒ’＜（最大設定画素値），
０≦ｇｘ＜（最大設定画素値），
０≦ｂ’＜（最大設定画素値） （１７）

以上の実施形態によれば、補正処理部１２０は、重複部分φ_ＲＢの成分値ｇｘ＝Ｉ・φ_ＲＢの候補値、及び第１色（青色）の画素値ｂを候補値ｇｘで補正した値ｂ’＝ｂ−ｇｘ、及び第３色（赤色）の画素値ｒを候補値ｇｘで補正した値ｒ’＝ｒ−ｇｘと、第１色〜第３色の画素値ｂ、ｇ、ｒと、の類似性を表す評価値Ｅ（ｇｘ）を求める（上式（１３）〜（１６））。そして、補正処理部１２０は、類似性が最も高い場合の候補値ｇｘを評価値Ｅ（ｇｘ）に基づいて決定することで、重複部分φ_ＲＢの成分値ｇｘ＝Ｉ・φ_ＲＢを求める（図７）。

このようにすれば、補正後の画素値の候補値｛ｒ’，ｇｘ，ｂ’｝と第１色〜第３色の画素値ｂ、ｇ、ｒと、の類似性に基づいて、補正後の画素値｛ｒ’，ｇ’，ｂ’｝を求めることが可能となる。即ち、類似性の指標として評価値Ｅ（ｇｘ）を求め、例えばその評価値Ｅ（ｇｘ）が最小値となる場合を類似性が最も高い場合として、重複部分φ_ＲＢの成分値ｇｘを決定できる。重複部分φ_ＲＢの成分値ｇｘが求まれば、第１実施形態と同様にして色純度の高い画素値｛ｒ’，ｇ’，ｂ’｝を求めることが可能である。

４．第３実施形態
４．１．左右瞳画像の漏れ光を低減する手法
次に、第３実施形態について説明する。第３実施形態では、左右瞳による位相差検出を行い、その左右瞳画像の間での漏れ光を低減する。

なお、以下では１眼の光学系の瞳を分割する例を説明するが、本実施形態はこれに限定されず、２眼の光学系を２つの瞳としてもよい。また、以下では第１瞳を右瞳とし、第２瞳を左瞳として説明するが、本実施形態ではこれに限定されない。即ち、瞳の分離方向は左右に限定されず、撮像光学系の光軸に対して垂直な任意の方向に第１瞳と第２瞳が分離されていればよい。

図８に、第３実施形態における撮像装置の基本構成例を示す。撮像装置は、被写体を撮像センサに結像させる光学系１０を含む。光学系１０は、結像レンズ１４と光学フィルタ１２を有する。

光学フィルタ１２は、透過率特性ｆ^Ｒを有する右瞳フィルタＦＬ１（第１フィルタ）と、透過率特性ｆ^Ｌを有する左瞳フィルタＦＬ２（第２フィルタ）と、を有する。光学フィルタ１２は、撮像光学系１０の瞳位置（例えば絞りの設置位置）に設けられ、フィルタＦＬ１、ＦＬ２がそれぞれ右瞳、左瞳に相当する。撮像素子に入射する光量をＩとすると、Ｉ^Ｒ（ｘ）＝Ｉ（ｘ）・ｆ^Ｒ、Ｉ^Ｌ（ｘ）＝Ｉ（ｘ）・ｆ^Ｌ、Ｉ（ｘ）＝Ｉ^Ｒ（ｘ）＋Ｉ^Ｌ（ｘ）である。ここで、ｘは水平方向（瞳分割方向）における位置（座標）である

透過率特性｛ｆ^Ｒ，ｆ^Ｌ｝は、撮像波長帯域を２つの分光（バンド）成分に分割したものである。即ち、図９に示すように、原色ＲＧＢの３つの分光特性｛Ｆ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂ｝を含む（覆う）バンドを２つに分割したものである。例えば、Ｆ_ＲとＦ_Ｂがクロスする波長λ_Ｃでバンドを分割する。或は、左右瞳画像の分離性が良くなるように設定した波長でバンドを分割してもよい。

撮像センサで撮像した画像は、図９のような原色ＲＧＢの３つの分光特性｛Ｆ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂ｝を入射光量Ｉに乗じた成分値として得られる。分光特性｛Ｆ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂ｝は、撮像センサの画素毎に設けられたカラーフィルタの分光特性だけでなく、被写体に照射される外光又は照明光の分光特性が合成されたものとして定義される。

さて、分光特性｛Ｆ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂ｝を４つの領域に分けて考える。Ｆ_Ｒとｆ^Ｒが重なる部分をφ_ＧＲとし、Ｆ_Ｂとｆ^Ｌが重なる部分をφ_ＧＢとする。Ｆ_Ｒから重複成分φ_ＲＢ（＝φ_ＧＲ＋φ_ＧＢ）を差し引いた部分をφ_Ｒとし、Ｆ_Ｂから重複部分φ_ＲＢ（＝φ_ＧＲ＋φ_ＧＢ）を差し引いた部分をφ_Ｂとする。

位相差情報を精度良く検出するには、左右の瞳分割画像が高精度に分離できる必要がある。左右瞳には分離した帯域｛ｆ^Ｒ，ｆ^Ｌ｝を割り当てているため、例えば右瞳画像を画素値ｒ＝Ｉ・Ｆ_Ｒで構成し、左瞳画像を画素値ｂ＝Ｉ・Ｆ_Ｂで構成することにより瞳分割画像を分離できる。

ところが、撮像センサのフィルタ特性は、そもそも左右の瞳分割画像に割り当てた波長帯域｛ｆ^Ｒ，ｆ^Ｌ｝に完全には分離されておらず、相互に瞳画像成分が漏れ光として入り込み合成されて取得してしまうという課題がある。即ち、右瞳画像の画素値ｒ＝Ｉ・Ｆ_Ｒには、左瞳の分光特性ｆ^Ｌと重なるφ_ＧＢの成分が含まれており、左瞳画像の画素値ｂ＝Ｉ・Ｆ_Ｂには、右瞳の分光特性ｆ^Ｒと重なるφ_ＧＲの成分が含まれている。このように、左右瞳画像が相互に混入して、分離性が低下している。

このような分離性の低下は、位相差検出の精度を低下させる要因となる。図１０に示すように、例えば被写体が白から黒へ変化する像パターンである場合、右瞳画像と左瞳画像のプロファイルの歪みが発生し、右瞳画像と左瞳画像の類似性を失う。この類似性の低下により、相関演算による位相差検出の精度が著しく劣化する。

即ち、右瞳、左瞳を通過した成分は、それぞれ左瞳、右瞳のポイントスプレッドファンクションＰＳＦ^Ｌ、ＰＳＦ^Ｒと被写体のプロファイルとのコンボリューションになっている。これにより、右瞳、左瞳を通過した成分の間には視差（位相差）が生じる。右瞳画像の画素値ｒは、右瞳を通過したＩ^Ｒ・（φ_Ｒ＋φ_ＧＲ）に左瞳を通過したＩ^Ｌ・φ_ＧＢが加算されているため、これらの視差をもつ成分を加算した画素値ｒのプロファイルは、右瞳のみのプロファイルとならず歪んでいる。画素値ｂについても同様であり、左瞳を通過したＩ^Ｌ・（φ_Ｂ＋φ_ＧＢ）に右瞳を通過したＩ^Ｒ・φ_ＧＲが加算されており、プロファイルは歪んでいる。これらのプロファイルの相関演算を行った場合、歪みの影響で類似性が低下しており、正確なマッチングができなくなってしまう。

そこで、本実施形態では、右瞳画像から不要な左瞳の通過成分Ｉ^Ｌ・φ_ＧＢを除き、左瞳画像から不要な右瞳の通過成分Ｉ^Ｒ・φ_ＧＲを除く。φ_ＲＢ＝φ_ＧＲ＋φ_ＧＢなので、第１実施形態等で説明した手法によりφ_ＲＢの成分値を低減又は除去することにより、分光特性｛φ_Ｒ，φ_Ｂ｝の画素値｛ｒ’，ｂ’｝＝｛Ｉ^Ｒ・φ_Ｒ，Ｉ^Ｌ・φ_Ｂ｝を求めることができる。この画素値｛ｒ’，ｂ’｝は、それぞれ純粋な右瞳、左瞳の通過光の成分と見なせるので、歪みのないプロファイルが得られる。この画素値｛ｒ’，ｂ’｝でそれぞれ右瞳画像、左瞳画像を構成することにより、左右瞳画像の類似性が保たれ、高精度な位相差検出が可能となる。

４．２．撮像装置
図１１に、第３実施形態における撮像装置の構成例を示す。光学系１０（光学フィルタ１２、結像レンズ１４）、撮像部４０、モニタ表示部５０、分光特性検出部６０、画像処理装置１００を含む。画像処理装置１００は、デモザイキング部１３０、モニタ画像生成部１５０、高純度分光分離処理部１６０、測距演算部１７５、高画質化処理部１８０、位相差検出部１８５、分光特性記憶部１９５を含む。なお、図１や図６で説明した構成要素と同一の構成要素には同一の符号を付し、適宜説明を省略する。

分光特性記憶部１９５は、光学フィルタ１２の分光特性と照明光（又は外光）の分光特性と撮像センサのカラーフィルタの分光特性で決まる分光特性｛Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒ｝を記憶する。或は、分光特性｛Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒ｝から予め求めた係数α、βを記憶してもよい。

位相差検出部１８５は、高純度分光分離処理部１６０が出力する高色純度の左右瞳画像｛ｒ’，ｂ’｝の位相差δ（ｘ，ｙ）を検出する。位相差δ（ｘ，ｙ）は、各画素について求める。（ｘ，ｙ）は画像上における位置（座標）であり、例えばｘは水平走査方向、ｙは垂直走査方向に対応する。

測距演算部１７５は、検出された位相差δ（ｘ，ｙ）に基づいて３次元計測を行う。即ち、各画素位置（ｘ，ｙ）での被写体までの距離を位相差δ（ｘ，ｙ）から算出し、物体の３次元形状情報を取得する。

なお、本実施形態のアプリケーションとしては、例えば位相差δ（ｘ，ｙ）を用いた高速位相差ＡＦや、測距情報を用いた３次元計測、立体表示等が想定できる。

以上、本発明を適用した実施形態及びその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、撮像装置、画像処理装置の構成・動作や、それらの作動方法（撮像方法、画像処理方法）も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１０ 撮像光学系、１２ 光学フィルタ、１４ 結像レンズ、
２０ 撮像素子、４０ 撮像部、５０ モニタ表示部、
６０ 分光特性検出部、１００ 画像処理装置、１１０ 画像取得部、
１２０ 補正処理部、１３０ デモザイキング部、１４０ 高画質化処理部、
１５０ モニタ画像生成部、１６０ 高純度分光分離処理部、
１７０ 係数取得部、１７５ 測距演算部、１８０ 高画質化処理部、
１８５ 位相差検出部、１９０ 撮像モード選択部、１９５ 分光特性記憶部、
Ｆ_Ｂ，Ｆ_Ｇ，Ｆ_Ｒ 第１〜第３透過率特性、
ＦＬ１ 右瞳フィルタ、ＦＬ２ 左瞳フィルタ、
ＰＳＦ^Ｌ 左瞳のポイントスプレッドファンクション、
ＰＳＦ^Ｒ 右瞳のポイントスプレッドファンクション、
ｂ，ｇ，ｒ 第１色〜第３色の画素値、
ｂ’，ｇ’，ｒ’ 補正後の第１色〜第３色の画素値、
ｆ^Ｌ 左瞳フィルタの透過率特性、ｆ^Ｒ 右瞳フィルタの透過率特性、
δ 位相差、λ_Ｂ，λ_Ｒ 第１、第２波長、
φ_Ｂ，φ_Ｇ，φ_Ｒ，φ_ＲＢ，φ_ＧＢ，φ_ＧＲ 領域

Claims (12)

1. 第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子によって撮像された画像を取得する画像取得部と、
   前記第１透過率特性と前記第３透過率特性の重複部分の成分値を、前記画像を構成する第１色〜第３色の画素値のうち第２色の画素値に基づいて推定し、前記第１色〜第３色の画素値を前記重複部分の成分値に基づいて補正する補正処理部と、
   を含むことを特徴とする画像処理装置。
2. 請求項１において、
   前記第２色は、前記第１色よりも長波長側であり且つ前記第３色よりも短波長側の色であり、
   前記補正処理部は、
   前記第１透過率特性と前記第３透過率特性に基づく第１係数を前記第２色の画素値に乗じることで、前記重複部分の成分値を求めることを特徴とする画像処理装置。
3. 請求項２において、
   前記第１係数を乗じた前記第２透過率特性と前記重複部分との類似性が最も高い場合の前記第１係数を取得する係数取得部を含むことを特徴とする画像処理装置。
4. 請求項３において、
   前記類似性が最も高い場合の前記第１係数は、
   前記重複部分の複数波長での透過率を成分とするベクトルと、前記第１係数を乗じた前記第２透過率特性の前記複数波長での透過率を成分とするベクトルと、の間のユークリッド距離が最小となる場合の前記第１係数であることを特徴とする画像処理装置。
5. 請求項１乃至４のいずれかにおいて、
   前記補正処理部は、
   前記重複部分の成分値を前記第１色の画素値から減算することで前記第１色の画素値を補正し、前記重複部分の成分値を前記第３色の画素値から減算することで前記第３色の画素値を補正することを特徴とする画像処理装置。
6. 請求項５において、
   前記補正処理部は、
   前記第１透過率特性と前記第３透過率特性に基づく第２係数を乗じた前記第２色の画素値から、前記重複部分の成分値と前記補正した前記第１色の画素値と前記補正した前記第３色の画素値とを減算することで、前記第２色の画素値を補正することを特徴とする画像処理装置。
7. 請求項６において、
   前記第１透過率特性の短波長側の一部及び前記第３透過率特性の長波長側の一部と、前記第２係数を乗じた前記第２透過率特性と、の類似性が最も高い場合の前記第２係数を取得する係数取得部を含むことを特徴とする画像処理装置。
8. 請求項７において、
   前記第１透過率特性の最大透過率よりも短波長側の所定波長を第１波長とし、前記第３透過率特性の最大透過率よりも長波長側の所定波長を第２波長とする場合に、
   前記類似性が最も高い場合の前記第２係数は、
   前記第１透過率特性における前記第１波長よりも短波長側の複数波長での透過率を成分とするベクトル、及び前記第３透過率特性における前記第２波長よりも長波長側の複数波長での透過率を成分とするベクトルと、前記第２係数を乗じた前記第２透過率特性の前記複数波長での透過率を成分とするベクトルと、の間のユークリッド距離が最小となる場合の前記第２係数であることを特徴とする画像処理装置。
9. 請求項１乃至４のいずれかにおいて、
   前記補正処理部は、
   前記重複部分の成分値の候補値、及び前記第１色の画素値を前記候補値で補正した値、及び前記第３色の画素値を前記候補値で補正した値と、前記第１色〜第３色の画素値と、の類似性を表す評価値を求め、
   前記類似性が最も高い場合の前記候補値を前記評価値に基づいて決定することで、前記重複部分の成分値を求めることを特徴とする画像処理装置。
10. 請求項１乃至９のいずれかにおいて、
    前記画像取得部が取得した前記画像である高感度画像、及び前記補正処理部が補正した前記第１色〜第３色の画素値に基づく画像である高色再現画像の少なくとも一方を表示部に表示する制御を行う表示制御部を含むことを特徴とする画像処理装置。
11. 請求項１０において、
    外部の明るさの情報を取得し、前記明るさの情報に基づいて前記高感度画像及び前記高色再現画像の一方を選択する選択部を含み、
    前記表示制御部は、
    前記選択部が選択した画像を表示する制御を行うことを特徴とする画像処理装置。
12. 第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子によって撮像された画像を取得する処理を行い、
    前記第１透過率特性と前記第３透過率特性の重複部分の成分値を、前記画像を構成する第１色〜第３色の画素値のうち第２色の画素値に基づいて推定し、前記第１色〜第３色の画素値を前記重複部分の成分値に基づいて補正する処理を行う、
    ことを特徴とする画像処理方法。

Images