JP2013171129A

JP2013171129A - 撮像装置及びフォーカス制御方法

Info

Publication number: JP2013171129A
Application number: JP2012034185A
Authority: JP
Inventors: Shinichi Imaide; 愼一今出
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2012-02-20
Filing date: 2012-02-20
Publication date: 2013-09-02
Also published as: WO2013125398A1

Abstract

【課題】例えば色ずれの発生や特殊な撮像素子の必要性等なく、位相差ＡＦを行うことが可能な撮像装置及びフォーカス制御方法等を提供すること。
【解決手段】撮像装置は、撮像光学系の瞳を第１瞳と第２瞳に分割する光学フィルタＦＬＴと、第１〜第３透過率特性の第１〜第３色フィルタを有する撮像素子と、第１〜第３透過率特性の重なり部分及び非重なり部分に対応する第１〜第５バンドの成分値｛ｂ^Ｒ，ｂ^Ｌ，ｇ，ｒ^Ｒ，ｒ^Ｌ｝を、第１〜第３色の画素値に基づいて推定するマルチバンド推定部と、第１瞳の透過波長帯域に対応するバンドの成分値を第１被写体像Ｉ^Ｒとして取得し、第２瞳の透過波長帯域に対応するバンドの成分値を第２被写体像Ｉ^Ｌとして取得し、第１、第２被写体像Ｉ^Ｒ、Ｉ^Ｌの位相差を検出し、位相差に基づいて撮像光学系のフォーカス制御を行うフォーカス制御部と、を含む。
【選択図】図２

Description

本発明は、撮像装置及びフォーカス制御方法等に関する。

特許文献１には、赤色フィルタの部分瞳と青色フィルタの部分瞳で瞳分割フィルタを構成し、その瞳分割フィルタにより撮像光学系の瞳を色で分割し、撮像画像の中の赤色画像と青色画像との間の位相差を検出し、その位相差に基づいてフォーカス制御を行う手法が開示されている。

特許文献２には、複数の開口を設けた遮光板を撮像光学系に配置し、その複数の開口の中の１つに青色フィルタを取り付け、他の１つにオレンジ色フィルタを取り付け、青色フィルタとオレンジ色フィルタを取り付けた眼鏡を通して撮像画像を観察することで、立体視を行う手法が開示されている。

特許文献３には、瞳分割フィルタの第１瞳には３色のフィルタを設け、第２瞳には、透過特性が第１瞳のフィルタと重ならない３色のフィルタを設け、第１撮像素子には第１瞳の透過波長帯域に対応する色フィルタを設け、第２撮像素子には第２瞳の透過波長帯域に対応する色フィルタを設け、瞳分割フィルタの透過光をビームスプリッタで分割して第１撮像素子と第２撮像素子に入射させ、立体視用の画像を撮影する手法が開示されている。

特開２００１−１７４６９６号公報特開平４−２５１２３９号公報特開平１０−２７６９６４号公報

さて、瞳分割により得られた２画像の位相差を検出してフォーカス制御を行う、いわゆる位相差ＡＦ（Auto-Focus）が知られている。しかしながら、従来の位相差ＡＦでは、例えば色ずれの発生や特殊な撮像素子が必要となる等の課題がある。例えば特許文献１の手法では、被写体の中でピントの合っていない部分では赤色画像と青色画像の位置にずれ（即ち位相差）があるため、色ずれを生じてしまう。また、特許文献２の手法を仮に位相差ＡＦに適用した場合、同様に青色画像とオレンジ色画像に色ずれを生じてしまう。また、特許文献３の手法を仮に位相差ＡＦに適用した場合、特殊な色フィルタを設けた２つの撮像素子や、ビームスプリッタが必要となる。

本発明の幾つかの態様によれば、例えば色ずれの発生や特殊な撮像素子の必要性等なく、位相差ＡＦを行うことが可能な撮像装置及びフォーカス制御方法等を提供できる。

本発明の一態様は、撮像光学系の瞳を、第１瞳と、前記第１瞳とは透過波長帯域が異なる第２瞳とに分割する光学フィルタと、第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子と、前記第１〜第３透過率特性の重なり部分及び非重なり部分に対応する第１〜第５バンドを設定し、前記撮像素子によって撮像された画像を構成する第１〜第３色の画素値に基づいて前記第１〜第５バンドの成分値を推定するマルチバンド推定部と、前記第１〜第５バンドのうち前記第１瞳の透過波長帯域に対応するバンドの成分値を第１被写体像として取得し、前記第１〜第５バンドのうち前記第２瞳の透過波長帯域に対応するバンドの成分値を第２被写体像として取得し、前記第１被写体像と前記第２被写体像の位相差を検出し、前記位相差に基づいて前記撮像光学系のフォーカス制御を行うフォーカス制御部と、を含む撮像装置に関係する。

本発明の一態様によれば、第１〜第３色の画素値に基づいて第１〜第５バンドの成分値が推定され、第１瞳の透過波長帯域に対応するバンドの成分値が第１被写体像として取得され、第２瞳の透過波長帯域に対応するバンドの成分値が第２被写体像として取得され、第１被写体像と第２被写体像から検出された位相差に基づいて撮像光学系のフォーカス制御が行われる。これにより、例えば色ずれの発生や特殊な撮像素子の必要性等なく、位相差ＡＦを行うことが可能になる。

また本発明の一態様では、前記マルチバンド推定部は、前記第１透過率特性の非重なり部分に対応する前記第１バンドと、前記第１透過率特性と前記第２透過率特性との重なり部分に対応する前記第２バンドと、前記第２透過率特性の非重なり部分に対応する前記第３バンドと、前記第２透過率特性と前記第３透過率特性との重なり部分に対応する前記第４バンドと、前記第３透過率特性の非重なり部分に対応する前記第５バンドとを設定してもよい。

また本発明の一態様では、前記第１瞳は、前記第１、第２バンドの一方と、前記第４、第５バンドの一方とを少なくとも透過し、前記第２瞳は、前記第１、第２バンドの他方と、前記第４、第５バンドの他方とを少なくとも透過し、前記フォーカス制御部は、前記第１、第２バンドの前記一方の成分値と、前記第４、第５バンドの前記一方の成分値を前記第１被写体像として取得し、前記第１、第２バンドの前記他方の成分値と、前記第４、第５バンドの前記他方の成分値を前記第２被写体像として取得してもよい。

また本発明の一態様では、前記第１〜第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタであり、前記第１瞳は、前記第１、第２バンドの一方と、前記第３バンドと、前記第４、第５バンドの一方とを透過し、前記第２瞳は、前記第１、第２バンドの他方と、前記第３バンドと、前記第４、第５バンドの他方とを透過してもよい。

また本発明の一態様では、前記第１〜第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタであり、前記赤色フィルタの透過率特性である前記第３透過率特性は、近赤外光の帯域を透過する特性であってもよい。

また本発明の一態様では、前記マルチバンド推定部は、前記近赤外光の帯域を前記第５バンドに設定してもよい。

また本発明の一態様では、前記マルチバンド推定部は、前記第１、第２バンドの成分値を加算した値である前記第１色の画素値と、前記第２〜第４バンドの成分値を加算した値である前記第２色の画素値とに基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第３、第４バンドの成分値を加算した値である第１加算値との間の関係式を求め、前記関係式に基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とを推定してもよい。

また本発明の一態様では、前記マルチバンド推定部は、前記第１バンドの成分値を未知数として前記関係式を求め、前記関係式で表した前記第１、第２バンドの成分値及び前記第１加算値と、前記第１、第２色の画素値との間の誤差を表す誤差評価値を求め、前記誤差評価値を最小にする前記未知数を決定し、決定した前記未知数及び前記関係式に基づいて、前記第１、第２バンドの成分値及び前記第１加算値を決定してもよい。

また本発明の一態様では、前記マルチバンド推定部は、前記第２〜第４バンドの成分値を加算した値である前記第２色の画素値と、前記第４、第５バンドの成分値を加算した値である前記第３色の画素値とに基づいて、前記第２、第３バンドの成分値を加算した値である前記第２加算値と、前記第４バンドの成分値と、前記第５バンドの成分値との間の関係式を求め、前記関係式に基づいて、前記第２加算値と、前記第４バンドの成分値と、前記第５バンドの成分値とを推定し、前記第２色の画素値と前記第２バンドの成分値と前記第４バンドの成分値とから、前記第３バンドの成分値を求めてもよい。

また本発明の一態様では、前記マルチバンド推定部は、前記第１バンドの成分値を未知数として前記関係式を求め、前記未知数の候補として、複数の候補値を生成し、前記複数の候補値の中から、前記第１、第２色の画素値の定義域に基づく選択条件を満たす候補値を、前記関係式に基づいて選択し、選択した前記候補値に基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とを求めてもよい。

また本発明の一態様では、前記選択条件は、前記関係式に前記候補値を代入して求めた前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とが、前記第１、第２色の画素値の定義域に矛盾しないという条件であってもよい。

また本発明の一態様では、前記マルチバンド推定部は、前記第１、第２色フィルタの透過率特性に基づいて、前記第１色の画素値と前第２色の画素値との間の相対的なゲイン比を補正し、補正後の前記第１、第２色の画素値を用いて前記第１〜第５バンドの成分値を推定してもよい。

また本発明の一態様では、前記第１〜第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタであり、前記マルチバンド推定部は、前記青色の画素値を構成する前記第１、第２バンドの成分値を、それぞれ第１、第２青色成分値として求め、前記緑色の画素値を構成する前記第２〜第４バンドの成分値を、それぞれ第１〜第３緑色成分値として求め、前記赤色の画素値を構成する前記第４、第５バンドの成分値を、それぞれ第１、第２赤色成分値として求めてもよい。

また本発明の他の態様は、撮像光学系の瞳を、第１瞳と、前記第１瞳とは透過波長帯域が異なる第２瞳とに分割する光学フィルタを透過した被写体像を、第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子により撮像し、前記第１〜第３透過率特性の重なり部分及び非重なり部分に対応する第１〜第５バンドを設定し、前記撮像素子によって撮像された画像を構成する第１〜第３色の画素値に基づいて前記第１〜第５バンドの成分値を推定し、前記第１〜第５バンドのうち前記第１瞳の透過波長帯域に対応するバンドの成分値を第１被写体像として取得し、前記第１〜第５バンドのうち前記第２瞳の透過波長帯域に対応するバンドの成分値を第２被写体像として取得し、前記第１被写体像と前記第２被写体像の位相差を検出し、前記位相差に基づいて前記撮像光学系のフォーカス制御を行うフォーカス制御方法に関係する。

バンド分割手法についての説明図。撮像光学系の基本構成例。図３（Ａ）〜図３（Ｆ）は、第１のマルチバンド推定処理におけるゲイン補正処理についての説明図。第１のマルチバンド推定処理における未知数推定処理についての説明図。図５（Ａ）〜図５（Ｆ）は、第１のマルチバンド推定処理におけるゲイン補正処理についての説明図。第１のマルチバンド推定処理における未知数推定処理についての説明図。フォーカス制御処理と測距処理についての説明図。撮像装置の第１の構成例。情報処理装置の構成例。第２のマルチバンド推定処理におけるバンド成分値についての説明図。ルックアップテーブルの第１設定例。ルックアップテーブルの第２設定例。図１３（Ａ）、図１３（Ｂ）は、第３のマルチバンド推定処理についての説明図。撮像装置の第２の構成例。

以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

１．本実施形態の概要
カメラ、顕微鏡、内視鏡などデジタル画像撮影において、撮像に係る各種機能の向上には目覚しいものがある。代表的機能としてＡＦの高速化が上げられる。ＡＦ方式は大きく分類すると、コントラスト方式と位相差方式の２つの方式に分類できる。

コントラスト方式では、複数フレームの撮像情報から合焦位置を求めるので、撮像フレームの高レート化により高速化が図れるが、基本的にはコントラスト評価値のピークを頻繁に探索する必要があるので高速化には自ずと限界がある。

一方、位相差ＡＦ方式では、位相差からダイレクトに合焦位置を求められるので、コントラスト方式に比べ高速化が図れる。位相差ＡＦ方式では、以前は撮像光学経路を分岐し、位相差検出用の専用撮像素子により位相差情報を検出していたが、昨今は専用撮像素子を設けずに撮像素子のみで位相差を検出する手法が種々提案されている。例えば、撮像素子自体に位相差検出機能を搭載した方式（イメージャ内位相差方式）や、結像光学系の左右の瞳位置に異なる波長域のフィルタを配置し、色の違いで左右の位相差画像（多重画像）を取得し位相差を演算により求める方式（カラー位相差方式）などがある。

しかしながら、イメージャ内位相差方式では、左右の瞳位置からの光束をそれぞれ受光する独立した画素（位相差検出用画素）が必要となるため、結像画像として使用可能な画素は半数になり、解像度の犠牲が伴う。また、位相差検出用画素が画素欠陥のような状態になり画質劣化の要因となるため、高度な補正処理が必要になる。

また、特許文献１のようなカラー位相差方式や、直接にＡＦに関するものでないが特許文献２のようなカラー位相差方式では、イメージャ内位相差方式の課題はクリアできる。しかしながら、通常の３原色カラー撮像素子を使用する場合、例えば右瞳通過光束用にはＲ（赤色）フィルタを割り当て、左瞳通過光束用にはＢ（青色）フィルタを割り当てるなど、位相差画像が３原色のいずれかによって明確に分離できるようにしなくてはならない。そのため、赤成分Ｒのみの画像や青成分Ｂだけの画像など単一色画像の場合には、左右瞳のうち一方の瞳を通過した画像しか取得できず、位相差を検出できない。また、ＲとＢの画像に相関性が低い場合には、色分離により位相差画像を取得しても、位相差を検出する精度が劣ってしまう。このように、カラー位相差方式では、位相差を検出できない状況、又は検出精度が著しく劣る状況が発生する可能性がある。さらには、ＲＧＢのうち一部の色の光束のみを通過させるフィルタを用いるので、光量低下が発生する。また、デフォーカス位置の撮像画像が位相差により必ず色ずれを起こすので、その色ずれを精度良く補正する処理が必要になってくる。そのため、補正画像の品質、処理のリアルタイム性、低コスト化の観点で課題がある。

これらカラー位相差方式の課題を解決するために、多バンドフィルタを用いる手法（例えば特開２００５−２８６６４９号公報）が考えられる。この手法では、例えば、右瞳光束用には波長分離された２色のフィルタＲ１，Ｂ１を割り当て、左瞳光束用にも波長分離された２色のフィルタＲ２，Ｂ２を割り当てるなどして左右の位相差画像を得る。この場合、撮像素子には、各色を分離するための多バンド（多分割波長域）の色フィルタと、それぞれのバンドの色フィルタに対して割り当て画素が必要になる。そのため、一つ一つのバンド画像（分離波長域画像）のサンプリングが粗くなるのは必然であり、位相差検出のための相関精度を低下させる。また、サンプリングの粗さから単一バンド画像の解像度も低下し、撮像画像としての解像度も劣化するという課題が残る。

このように、従来の位相差ＡＦでは、例えば色ずれの発生や、解像度の低下、画素欠陥の高度な補正が必要となること、位相差の検出精度の低下、位相差を検出できない状況があり得ること、多バンドの色フィルタを有する撮像素子が必要となること等の種々の課題がある。

そこで本実施形態では、右瞳（広義には第１瞳）には、波長分離された２色のフィルタＲ１、Ｂ１（図１のｒ^Ｒ、ｂ^Ｒ）を割り当て、左瞳（広義には第２瞳）には、波長分離された２色のフィルタＲ２，Ｂ２（図１のｒ^Ｌ、ｂ^Ｌ）を割り当てる。そして、従来のＲＧＢの３原色フィルタ、即ち隣接する色の波長域が重なりをもつ３原色フィルタを有する撮像素子で撮像し、得られた３つのＲ，Ｇ，Ｂの画素値から５つの色Ｒ１、Ｂ１、Ｇ、Ｂ１、Ｂ２を後処理により推定する。Ｒ１、Ｂ１、Ｇ、Ｂ１、Ｂ２が得られれば、Ｒ１、Ｇ、Ｂ１を右瞳画像、Ｒ２、Ｇ、Ｂ２を左瞳画像として分離でき、これらの画像の位相差を求めることができる。

このようにすれば、上述のような従来の位相差ＡＦにおける種々の課題を解決できる。即ち、右瞳画像及び左瞳画像のいずれにもＲＧＢ成分が含まれるため、デフォーカス位置の画像の色ずれが発生しない。また、特殊な撮像素子（例えば位相差検出用画素が配置された撮像素子や、５色を分離するための割当て画素が配置された撮像素子）を用いる必要がないため、従来どおりの解像度のＲＧＢ画像が得られる。また、ＲＧＢベイヤ画像のデモザイキングにより、位相差画像の解像度も落とすことなく得られるため位相差の検出精度も高くできる。また、右瞳画像及び左瞳画像のいずれにもＲＧＢ成分が含まれるため、位相差を検出できない状況が発生しにくくなる。

２．第１のマルチバンド推定処理
２．１．バンド分割手法
次に、本実施形態の詳細について説明する。まず、位相差検出に用いる５バンドのマルチバンド画像をＲＧＢ画像から推定する処理について説明する。以下では、ＲＧＢベイヤ配列の撮像素子を例に説明するが、本実施形態はこれに限定されず、カラーフィルタの透過率特性に重なり部分がある撮像素子でさえあればよい。なお以下では、撮像素子を適宜、撮像センサとも呼ぶ。また、以下で用いる｛Ｆ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂ｝、｛ｒ^Ｒ，ｒ^Ｌ，ｇ，ｂ^Ｒ，ｂ^Ｌ｝は、いずれも波長λの関数であるが、表記を簡単にするために波長λを省略する。

図１にバンド分割についての説明図を示す。図１に示すように、５バンドの成分ｂ^Ｒ、ｂ^Ｌ、ｇ、ｒ^Ｒ、ｒ^Ｌは、撮像系の分光特性に応じて定まる成分である。図１には、撮像系の分光特性として、撮像センサのカラーフィルタの透過率特性Ｆ_Ｒ、Ｆ_Ｇ、Ｆ_Ｂを示すが、厳密には、撮像系の分光特性は、例えばカラーフィルタを除いた撮像センサがもつ分光特性や、光学系のもつ分光特性等も含んでいる。以下では説明を簡単にするため、撮像センサ等の分光特性が、図１に示すカラーフィルタの透過率特性Ｆ_Ｒ、Ｆ_Ｇ、Ｆ_Ｂに含まれるものとする。

図１に示すように、青色フィルタの透過率特性Ｆ_Ｂと緑色フィルタの透過率特性Ｆ_Ｇとの重なり部分に対応するバンドの成分がｂ^Ｌであり、青色フィルタの透過率特性Ｆ_Ｂの非重なり部分に対応するバンドの成分がｂ^Ｒである。また、赤色フィルタの透過率特性Ｆ_Ｒと緑色フィルタの透過率特性Ｆ_Ｇとの重なり部分に対応するバンドの成分がｒ^Ｒであり、赤色フィルタの透過率特性Ｆ_Ｒの非重なり部分に対応するバンドの成分がｒ^Ｌである。また、緑色フィルタの透過率特性Ｆ_Ｇの非重なり部分に対応するバンドの成分がｇである。ここで、非重なり部分とは、他の色フィルタの透過率特性と重なっていない部分のことである。

５バンドの帯域ＢＤ１〜ＢＤ５は、透過率特性Ｆ_Ｒ、Ｆ_Ｇ、Ｆ_Ｂの形状や重なり具合などに応じて決定すればよく、透過率特性の帯域や重なり部分の帯域そのものである必要はない。例えば、透過率特性Ｆ_Ｇ、Ｆ_Ｂの重なり部分の帯域は、およそ４５０ｎｍ〜５５０ｎｍであるが、帯域ＢＤ２は重なり部分に対応するものであればよく、４５０ｎｍ〜５５０ｎｍである必要はない。

２．２．基本構成例
図２に、本実施形態における撮像光学系の基本構成例を示す。図２に示すように、撮像光学系は、撮像素子のセンサ面に被写体を結像させる結像レンズＬＮＳと、第１瞳と第２瞳で帯域を分離する光学フィルタＦＬＴと、を含む。以下では、第１瞳を右瞳とし、第２瞳を左瞳として説明するが、本実施形態ではこれに限定されない。即ち、瞳の分離方向は左右に限定されず、撮像光学系の光軸に対して垂直な任意の方向に第１瞳と第２瞳が分離されていればよい。なお以下では、５バンドの成分｛ｂ^Ｒ，ｂ^Ｌ，ｇ，ｒ^Ｒ，ｒ^Ｌ｝に対応する波長分割光や帯域を、適宜、同一の符号｛ｂ^Ｒ，ｂ^Ｌ，ｇ，ｒ^Ｒ，ｒ^Ｌ｝で表す。

光学フィルタＦＬＴは、波長分割光｛ｂ^Ｒ，ｇ，ｒ^Ｒ｝を透過する特性の右瞳フィルタＦＬ１（広義には第１フィルタ）と、波長分割光｛ｂ^Ｌ，ｇ，ｒ^Ｌ｝を透過する特性の左瞳フィルタＦＬ２（広義には第２フィルタ）とを有する。光学フィルタＦＬＴは、撮像光学系の瞳位置（例えば絞りの設置位置）に設けられ、フィルタＦＬ１、ＦＬ２がそれぞれ右瞳、左瞳に相当する。

図２に示すように、結像レンズＬＮＳ及び光学フィルタＦＬＴを透過した結像光は、ＲＧＢベイヤ配列の撮像素子に入力され、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光強度として信号に変換されデータとして取得される。取得されたベイヤ画像に対してデモザイキング処理を行い、ＲＧＢ毎の３画像（全画素にＲ画素値、Ｇ画素値、Ｂ画素値が存在する画像）を生成する。図１に示すように、右瞳を通過した波長分割光｛ｂ^Ｒ，ｇ，ｒ^Ｒ｝と、左瞳を通過した波長分割光｛ｂ^Ｌ，ｇ，ｒ^Ｌ｝は、波長帯域が明確に分離されている。一方、撮像素子のカラーフィルタの分光特性｛Ｆ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂ｝は、隣接する分光特性の波長帯域が重複した特性となっている。この重複状態を考慮すると、デモザイキング処理後の各画素における赤色、緑色、青色の画素値Ｒ、Ｇ、Ｂを、下式（１）のようにモデル化することができる。
Ｒ＝ｇ_Ｒ＋ｒ^Ｒ _Ｒ＋ｒ^Ｌ _Ｒ，
Ｇ＝ｂ^Ｌ _Ｇ＋ｇ_Ｇ＋ｒ^Ｒ _Ｇ，
Ｂ＝ｂ^Ｒ _Ｂ＋ｂ^Ｌ _Ｂ＋ｇ_Ｂ（１）

図３（Ｃ）に示すように、成分｛ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ，ｇ_Ｂ｝は、分光特性Ｆ_Ｂの青色フィルタを通過した波長分割光｛ｂ^Ｒ，ｂ^Ｌ，ｇ｝に対応する。図３（Ｄ）に示すように、成分｛ｂ^Ｌ _Ｇ，ｇ_Ｇ，ｒ^Ｒ _Ｇ｝は、分光特性Ｆ_Ｇの緑色フィルタを通過した波長分割光｛ｂ^Ｌ，ｇ，ｒ^Ｒ｝に対応する。また、図３（Ｄ）に示すように、成分｛ｇ_Ｒ，ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝は、分光特性Ｆ_Ｒの赤色フィルタを通過した波長分割光｛ｇ，ｒ^Ｒ，ｒ^Ｌ｝に対応する。各成分を表す符号の上付きサフィックスは、右瞳「Ｒ」及び左瞳「Ｌ」のいずれを通過したかを表し、下付サフィックスは、赤色フィルタ「Ｒ」、緑色フィルタ「Ｇ」、青色フィルタ「Ｂ」のいずれを通過したかを表している。

２．３．｛ｂ^Ｒ，ｂ^Ｌ，（ｇ＋ｒ^Ｒ）｝の推定処理
次に、図３（Ａ）〜図６を用いて、画素値｛Ｒ，Ｇ，Ｂ｝から成分｛ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ，ｇ_Ｂ｝、｛ｂ^Ｌ _Ｇ，ｇ_Ｇ，ｒ^Ｒ _Ｇ｝、｛ｇ_Ｒ，ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝を推定する処理について説明する。

まず上式（１）を用いて、画素値｛Ｂ，Ｇ｝で重複している波長帯域｛ｂ^Ｌ，ｇ｝を、画素値｛Ｂ，Ｇ｝の差分に基づいて取り除き、成分ｂ^Ｒと成分［ｇ＋ｒ^Ｒ］の関係を求めることにより成分｛ｂ^Ｒ，ｂ^Ｌ，（ｇ＋ｒ^Ｒ）｝の関係式を導き出す処理を行う。

ここで注意しなければならないのは、図３（Ａ）〜図３（Ｄ）に示すように、波長帯域ｂ^Ｌに対応するのは画素値Ｂの成分ｂ^Ｌ _Ｂ及び画素値Ｇの成分ｂ^Ｌ _Ｇであるが、成分ｂ^Ｌ _Ｂ、ｂ^Ｌ _Ｇには、分光特性Ｆ_Ｂ、Ｆ_Ｇの相対ゲインが乗じられていることである。そのため、成分ｂ^Ｌ _Ｂ、ｂ^Ｌ _Ｇは、相対ゲインの分だけ異なる値であり、成分ｂ^Ｌ _Ｂ、ｂ^Ｌ _Ｇが等しくなるように補正する必要がある。

図３（Ｃ）、図３（Ｄ）に示すように、画素値Ｇを基準（例えば「１」）として、（ｂ^Ｌ _Ｂ＋ｇ_Ｂ）の成分比をｋ_Ｂ１とし、ｂ^Ｌ _Ｇの成分比をｋ_Ｂ２とすると、下式（２）が成り立つ。
ここで、ｋ_Ｂ１／ｋ_Ｂ２は、例えば帯域ｂ^Ｌにおける分光特性Ｆ_Ｂ、Ｆ_Ｇのゲイン比である。
ｂ^Ｌ _Ｂ＋ｇ_Ｂ＝（ｋ_Ｂ１／ｋ_Ｂ２）×ｂ^Ｌ _Ｇ（２）

帯域ｂ^Ｌ、ｇにおける分光特性Ｆ_Ｂのゲインを考慮すると、成分ｇ_Ｂは成分ｂ^Ｌ _Ｂよりも十分小さいと考えられるため、成分ｂ^Ｌ _Ｂ、ｂ^Ｌ _Ｇを等しくするためには、成分（ｂ^Ｌ _Ｂ＋ｇ_Ｂ）と成分ｂ^Ｌ _Ｇがほぼ等しくなればよい。成分（ｂ^Ｌ _Ｂ＋ｇ_Ｂ）を補正した値を（ｂ^Ｌ _Ｂ’＋ｇ_Ｂ’）とすると、上式（２）を用いて下式（３）に示す補正を行えばよい。
ｂ^Ｌ _Ｂ’＋ｇ_Ｂ’≒ｂ^Ｌ _Ｇ＝（ｋ_Ｂ２／ｋ_Ｂ１）×（ｂ^Ｌ _Ｂ＋ｇ_Ｂ）（３）

成分（ｂ^Ｌ _Ｂ＋ｇ_Ｂ）は画素値Ｂに含まれるため、成分（ｂ^Ｌ _Ｂ＋ｇ_Ｂ）を補正するためには、結局、画素値Ｂを補正することになる。この補正後のＢをＢ’とすると、下式（４）の関係が得られる。
Ｂ’＝（ｋ_Ｂ２／ｋ_Ｂ１）Ｂ（４）

上式（４）より、Ｂ’の成分｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｂ’，ｇ_Ｂ’｝は下式（５）となる。
ｂ^Ｒ _Ｂ’＝（ｋ_Ｂ２／ｋ_Ｂ１）×ｂ^Ｒ _Ｂ，
ｂ^Ｌ _Ｂ’＋ｇ_Ｂ’≒ｂ^Ｌ _Ｇ（５）

上式（１）、（５）より、画素値Ｂ’と画素値Ｇを成分｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，ｇ_Ｇ，ｒ^Ｒ _Ｇ｝を用いて表すと、下式（６）のようになる。
Ｂ’＝ｂ^Ｒ _Ｂ’＋（ｂ^Ｌ _Ｂ’＋ｇ_Ｂ’）＝ｂ^Ｒ _Ｂ’＋ｂ^Ｌ _Ｇ，
Ｇ＝ｂ^Ｌ _Ｇ＋（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）（６）

次に、下式（７）に示すように、補正後の画素値Ｂ’と画素値Ｇの差分を取ることにより、重複した成分ｂ^Ｌを取り除く。また上式（６）より下式（８）が成り立つ。
Ｂ’−Ｇ＝［ｂ^Ｒ _Ｂ’＋ｂ^Ｌ _Ｇ］−［ｂ^Ｌ _Ｇ＋ｇ_Ｇ＋ｒ^Ｒ _Ｇ］
＝ｂ^Ｒ _Ｂ’−（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）（７）
ｂ^Ｌ _Ｇ＝Ｂ’−ｂ^Ｒ _Ｂ’ （８）

ｂ^Ｒ _Ｂ’を未知数（支配変数）とすると、上式（７）、（８）より｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝の関係式を下式（９）のように求められる。
ｂ^Ｒ _Ｂ’＝未知数（支配変数）
ｂ^Ｌ _Ｇ＝Ｂ’−ｂ^Ｒ _Ｂ’
ｇ_Ｇ＋ｒ^Ｒ _Ｇ＝ｂ^Ｒ _Ｂ’−（Ｂ’−Ｇ）（９）

｛Ｂ’，Ｇ｝は検出された既知の値であるので、上式（９）に基づき未知数ｂ^Ｒ _Ｂ’が決まれば、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝が全て決まることになる。即ち、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝の尤度パターンを特定することができる。

図４に、この関係を原理的に表した図を示す。図４に示すように、未知数ｂ^Ｒ _Ｂ’として、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝と｛Ｂ’／２，Ｇ／２｝の誤差が最小になる値を求める。即ち、下式（１０）に示す誤差の評価値Ｅ_ＢＧが最小になる場合のｂ^Ｒ _Ｂ’を求め、求めたｂ^Ｒ _Ｂ’を上式（９）に代入することにより、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝の値を決定する。
ｅ^Ｂ＝（Ｂ’／２−ｂ^Ｒ _Ｂ’）^２＋（Ｂ’／２−ｂ^Ｌ _Ｇ）^２，
ｅ^Ｇ＝（Ｇ／２−ｂ^Ｌ _Ｇ）^２＋（Ｇ／２−（ｇ_Ｇ＋ｒ^Ｒ _Ｇ））^２，
Ｅ_ＢＧ＝ｅ^Ｂ＋ｅ^Ｇ（１０）

以上のようにして、各画素の２バンド画素値｛Ｂ’，Ｇ｝から成分｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝を推定することができる。

なお、上記では｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝と｛Ｂ’／２，Ｇ／２｝の誤差が最小となる場合のｂ^Ｒ _Ｂ’を求めたが、本実施形態では、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝と｛α_ＢＢ’，α_ＧｂＧ｝の誤差が最小となる場合のｂ^Ｒ _Ｂ’を求めてもよい。ここで、α_Ｂ、α_Ｇｂは、下式（１１）を満たす値である。α_Ｂは、Ｂ’に対する｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ｝の平均的な値を算出するためのものであり、α_Ｇｂは、Ｇに対する｛ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝の平均的な値を算出するためのものである。これらは、図１に示すような撮像素子のカラーフィルタ特性から｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ｝及び｛ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝の成分比を考慮して決定すればよい。
０＜α_Ｂ≦１，０＜α_Ｇｂ≦１（１１）

２．４．｛（ｂ^Ｌ＋ｇ），ｒ^Ｒ，ｒ^Ｌ｝の推定処理
次に、画素値｛Ｇ，Ｒ｝から成分｛（ｂ^Ｌ＋ｇ），ｒ^Ｒ，ｒ^Ｌ｝を推定する。具体的には、上式（１）を用いて、画素値｛Ｇ，Ｒ｝で重複している波長帯域｛ｇ，ｒ^Ｒ｝を、画素値｛Ｇ，Ｒ｝の差分に基づいて取り除き、成分［ｂ^Ｌ＋ｇ］と成分ｒ^Ｌの関係を求めることにより成分｛（ｂ^Ｌ＋ｇ），ｒ^Ｒ，ｒ^Ｌ｝の関係式を導き出す処理を行う。

図５（Ａ）〜図５（Ｄ）に示すように、波長帯域ｒ^Ｒに対応するのは画素値Ｇの成分ｒ^Ｒ _Ｇ及び画素値Ｒの成分ｒ^Ｒ _Ｒであるが、成分ｒ^Ｒ _Ｇ、ｒ^Ｒ _Ｒには、分光特性Ｆ_Ｇ、Ｆ_Ｒの相対ゲインが乗じられている。そのため、成分ｒ^Ｒ _Ｇ、ｒ^Ｒ _Ｒは、相対ゲインの分だけ異なる値であり、成分ｒ^Ｒ _Ｇ、ｒ^Ｒ _Ｒが等しくなるように補正する必要がある。

図５（Ｃ）、図５（Ｄ）に示すように、画素値Ｇを基準（例えば「１」）として、（ｇ_Ｒ＋ｒ^Ｒ _Ｒ）の成分比をｋ_Ｒ１とし、ｒ^Ｒ _Ｇの成分比をｋ_Ｒ２とすると、下式（１２）が成り立つ。ｋ_Ｒ１／ｋ_Ｒ２は、例えば帯域ｒ^Ｒにおける分光特性Ｆ_Ｇ、Ｆ_Ｒのゲイン比である。
ｇ_Ｒ＋ｒ^Ｒ _Ｒ＝（ｋ_Ｒ２／ｋ_Ｒ１）×ｒ^Ｒ _Ｇ（１２）

帯域ｇ、ｒ^Ｒにおける分光特性Ｆ_Ｒのゲインを考慮すると、成分ｇ_Ｒは成分ｒ^Ｒ _Ｒよりも十分小さいと考えられるため、成分ｒ^Ｒ _Ｇ、ｒ^Ｒ _Ｒを等しくするためには、成分（ｇ_Ｒ＋ｒ^Ｒ _Ｒ）と成分ｒ^Ｒ _Ｇがほぼ等しくなればよい。成分（ｇ_Ｒ＋ｒ^Ｒ _Ｒ）を補正した値を（ｇ_Ｒ’＋ｒ^Ｒ _Ｒ’）とすると、上式（１２）を用いて下式（１３）に示す補正を行えばよい。
ｇ_Ｒ’＋ｒ^Ｒ _Ｒ’≒ｒ^Ｒ _Ｇ＝（ｋ_Ｒ２／ｋ_Ｒ１）×（ｇ_Ｒ＋ｒ^Ｒ _Ｒ）（１３）

成分（ｇ_Ｒ＋ｒ^Ｒ _Ｒ）は画素値Ｒに含まれるため、成分（ｇ_Ｒ＋ｒ^Ｒ _Ｒ）を補正するためには、結局、画素値Ｒを補正することになる。この補正後のＲをＲ’とすると、下式（１４）の関係が得られる。
Ｒ’＝（ｋ_Ｒ２／ｋ_Ｒ１）Ｒ（１４）

上式（１４）より、Ｒ’の成分｛ｇ_Ｒ’，ｒ^Ｒ _Ｒ’，ｒ^Ｌ _Ｒ’｝は下式（１５）となる。
ｇ_Ｒ’＋ｒ^Ｒ _Ｒ’≒ｒ^Ｒ _Ｇ，
ｒ^Ｌ _Ｒ’＝（ｋ_Ｒ２／ｋ_Ｒ１）×ｒ^Ｌ _Ｒ（１５）

上式（１）、（１５）より、画素値Ｇと画素値Ｒ’を成分｛ｂ^Ｌ _Ｇ，ｇ_Ｇ，ｒ^Ｒ _Ｇ，ｒ^Ｌ _Ｒ’｝を用いて表すと、下式（１６）のようになる。
Ｇ＝ｂ^Ｌ _Ｇ＋（ｇ_Ｇ＋ｒ^Ｒ _Ｇ），
Ｒ’＝（ｇ_Ｒ’＋ｒ^Ｒ _Ｒ’）＋ｒ^Ｌ _Ｒ’＝ｒ^Ｒ _Ｇ＋ｒ^Ｌ _Ｒ’ （１６）

次に、下式（１７）に示すように、画素値Ｇと補正後の画素値Ｒ’の差分を取ることにより、重複した成分ｒ^Ｒを取り除く。また上式（１６）より下式（１８）が成り立つ。
Ｇ−Ｒ’＝［ｂ^Ｌ _Ｇ＋ｇ_Ｇ＋ｒ^Ｒ _Ｇ）］−［ｒ^Ｒ _Ｇ＋ｒ^Ｌ _Ｒ’］
＝（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）−ｒ^Ｌ _Ｒ’ （１７）
ｒ^Ｒ _Ｇ＝Ｒ’−ｒ^Ｌ _Ｒ’ （１８）

ｒ^Ｌ _Ｒ’を未知数（支配変数）とすると、上式（１７）、（１８）より｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝の関係式を下式（１９）のように求められる。
ｒ^Ｌ _Ｒ’＝未知数（支配変数），
ｒ^Ｒ _Ｇ＝Ｒ’−ｒ^Ｌ _Ｒ’，
ｂ^Ｌ _Ｇ＋ｇ_Ｇ＝ｒ^Ｌ _Ｒ’＋（Ｇ−Ｒ’）（１９）

｛Ｇ，Ｒ’｝は検出された既知の値であるので、上式（１９）に基づき未知数ｒ^Ｌ _Ｒ’が決まれば、｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝が全て決まることになる。即ち、｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝の尤度パターンを特定することができる。

図６に、この関係を原理的に表した図を示す。図６に示すように、未知数ｒ^Ｌ _Ｒ’として、｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝と｛Ｇ／２，Ｒ’／２｝の誤差が最小になる値を未知数ｒ^Ｌ _Ｒ’として求める。即ち、下式（２０）に示す誤差の評価値Ｅ_ＧＲが最小になる場合のｒ^Ｌ _Ｒ’を求め、求めたｒ^Ｌ _Ｒ’を上式（１９）に代入することにより、｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝の値を決定する。
ｅ^Ｇ＝（Ｇ／２−（ｂ^Ｌ _Ｇ＋ｇ_Ｇ））^２＋（Ｇ／２−ｒ^Ｒ _Ｇ）^２，
ｅ^Ｇ＝（Ｒ’／２−ｒ^Ｒ _Ｇ）^２＋（Ｒ’／２−（ｒ^Ｌ _Ｒ’））^２，
Ｅ_ＧＲ＝ｅ^Ｇ＋ｅ^Ｒ（２０）

以上のようにして、各画素の２バンド画素値｛Ｇ，Ｒ’｝から成分｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝を推定することができる。

なお、上記では｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝と｛Ｇ／２，Ｒ’／２｝の誤差が最小となる場合のｒ^Ｌ _Ｒ’を求めたが、本実施形態では、｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝と｛α_ＧｒＧ，α_ＲＲ’｝の誤差が最小となる場合のｒ^Ｌ _Ｒ’を求めてもよい。ここで、α_Ｒ、α_Ｇｒは、下式（２１）を満たす値である。α_Ｒは、Ｒ’に対する｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ｝の平均的な値を算出するためのものであり、α_Ｇｒは、Ｇに対する｛ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝の平均的な値を算出するためのものである。これらは、図１に示すような撮像素子のカラーフィルタ特性から｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ｝及び｛ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝の成分比を考慮して決定すればよい。
０＜α_Ｒ≦１，０＜α_Ｇｒ≦１（２１）

また、評価値Ｅ_ＢＧ、Ｅ_ＧＲの算出手法は上記手法に限定されず、種々の方法が考えられることは言うまでもない。例えば、評価値Ｅ_ＢＧを例にとれば、予め対象とする被写体（例えば、自然被写体あるいは医療用の生体内被写体など）を多数撮像し、取得された｛Ｒ，Ｇ，Ｂ｝により得られる｛Ｂ’，Ｇ｝から、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝の値の生起パターンを上記のようにして求める。そして、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝の生起パターンの確率分布において、局所的に生起確率が高いピークを示すパターンか、又は部分的な確率分布領域を設定し、その中のパターン群の平均パターンを示すパターン｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝を代表パターンとして定める。このようにして、予め定めた複数の代表パターンを設定しておく。そして、改めて（実際の撮影で）取得された｛Ｂ，Ｇ｝から推定を行う際には、取得された｛Ｂ，Ｇ｝から上記のように｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝を計算し、その計算により求めた｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝と、予め設定した代表パターンとのユークリッド距離を評価値として求める。予め設定された代表パターンのうち最もユークリッド距離が小さい、即ち最も類似する代表パターンを推定パターンとし、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝の値として特定してもよい。なお、予め代表パターンを設定する際に、対象被写体の｛Ｂ’，Ｇ｝の生起パターンから｛Ｂ’，Ｇ｝の代表パターンを求めてもよい。そして、実際に撮影した｛Ｂ’，Ｇ｝から推定する際に、撮影で取得した｛Ｂ’，Ｇ｝と、代表パターンとのユークリッド距離を評価値として求め、評価値の最も小さい｛Ｂ’，Ｇ｝の代表パターンに対して上記の推定処理を行い、最終的な推定パターン｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝を特定してもよい。

２．５．成分値の算出処理
次に、上記で求めた値｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝、｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝を用いて、画素値Ｂを構成する成分｛ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝の値、画素値Ｇを構成する成分｛ｂ^Ｌ _Ｇ，ｇ_Ｇ，ｒ^Ｒ _Ｇ｝の値、画素値Ｒを構成する成分｛ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝の値を算出する。

ｂ^Ｒ _Ｂ，ｒ^Ｌ _Ｒは、上式（５）、（１５）より、下式（２２）のように求められる。
ｂ^Ｒ _Ｂ＝（ｋ_Ｂ１／ｋ_Ｂ２）×ｂ^Ｒ _Ｂ’，
ｒ^Ｌ _Ｒ＝（ｋ_Ｒ１／ｋ_Ｒ２）×ｒ^Ｌ _Ｒ’ （２２）

ｂ^Ｌ _Ｂ，ｒ^Ｒ _Ｒは、ｇ_Ｂ≪ｂ^Ｒ _Ｂ，ｇ_Ｒ≪ｒ^Ｌ _Ｒであること及び上式（１）より、下式（２３）のように求められる。
ｂ^Ｌ _Ｂ＝Ｂ−（ｂ^Ｒ _Ｂ＋ｇ_Ｂ）≒Ｂ−ｂ^Ｒ _Ｂ，
ｒ^Ｒ _Ｒ＝Ｒ−（ｒ^Ｌ _Ｒ＋ｇ_Ｒ）≒Ｒ−ｒ^Ｌ _Ｒ（２３）

ｂ^Ｌ _Ｇ，ｒ^Ｒ _Ｇは、上式（１）より、下式（２４）のように求められる。
ｂ^Ｌ _Ｇ＝Ｇ−（ｇ_Ｇ＋ｒ^Ｒ _Ｇ），
ｒ^Ｒ _Ｇ＝Ｇ−（ｇ_Ｇ＋ｂ^Ｌ _Ｇ）（２４）

ｇ_Ｇは、上式（１）、（２４）より、下式（２５）のように求められる。
ｇ_Ｇ＝Ｇ−（ｂ^Ｌ _Ｇ＋ｒ^Ｒ _Ｇ）（２５）

２．６．右瞳画像と左瞳画像の取得処理
図２に示すように、光学フィルタＦＬＴの透過光を撮像することで、右瞳を通過した被写体像Ｉ^Ｒと、左瞳を通過した被写体像Ｉ^Ｌを取得する。図２では、撮像素子のセンサ面がデフォーカス位置ＰＤにある場合を例にＩ^Ｒ、Ｉ^Ｌを図示しており、ｈは水平方向（広義には瞳の分離方向）に沿った軸である。像Ｉ^Ｒ、Ｉ^ＬのＲ、Ｇ、Ｂ成分は、上記で求めた成分から下式（２６）のように分離する。
Ｉ^Ｒ＝（ｒ^Ｒ _Ｒ，ｒ^Ｒ _Ｇ，ｂ^Ｒ _Ｂ），Ｉ^Ｌ＝（ｒ^Ｌ _Ｒ，ｂ^Ｌ _Ｇ，ｂ^Ｌ _Ｂ）（２６）

そして、像Ｉ^Ｒ、Ｉ^Ｌのデフォーカス位置での位相差（像のずれ量）を求め、３角測量の原理を用いて被写体の測距を行い、求めた距離情報に基づいてＡＦ制御を行う。像Ｉ^Ｒ、Ｉ^Ｌの位相差ＡＦへの適用については、図７等で詳細に後述する。上式（２６）に示すように、像Ｉ^Ｒ、Ｉ^Ｌはともに、その成分値の下付サフィックスに示すようにＲＧＢ各帯域の成分で構成されている。そのため、被写体の色がＲＧＢのいずれかに極端に偏っているような場合であっても、像Ｉ^Ｒ、Ｉ^Ｌが極端に暗くなることはなく、位相差を検出することが可能である。なお、本実施形態では画像内の各画素について距離情報を取得することが可能であり、この各画素についての距離情報を用いて、位相差ＡＦだけでなく種々の応用処理を行うことも可能である。

２．７．マルチバンド画像、ＲＧＢ画像の取得処理
撮像素子のセンサ面がフォーカス位置ＰＦにあるフォーカス時では、像Ｉ^Ｒ、Ｉ^Ｌのずれは無くなる。即ち、同一画素におけるｒ^Ｒ _Ｒとｒ^Ｌ _Ｒ、ｒ^Ｒ _Ｇとｂ^Ｌ _Ｇ、ｂ^Ｒ _Ｂとｂ^Ｌ _Ｂ、ｇ_Ｇは、全て被写体の同一微小領域からの反射光の色光を表している。即ち、結像時の撮像素子の任意の画素のＲ、Ｇ、Ｂ値から、下式（２７）に示す５バンド｛Ｒ_１，Ｒ_２，Ｇ，Ｂ_１，Ｂ_２｝の色画像（マルチバンド画像）を得ることができる。
Ｒ_１＝ｒ^Ｒ _Ｒ，Ｒ_２＝ｒ^Ｌ _Ｒ，Ｇ＝ｒ^Ｒ _Ｇ＋ｇ_Ｇ＋ｂ^Ｌ _Ｇ，Ｂ_１＝ｂ^Ｒ _Ｂ，Ｂ_２＝ｂ^Ｌ _Ｂ（２７）

通常のＲＧＢ画像（例えばモニタ表示用の画像）は、撮像されたベイヤ画像からデモザイキング処理により取得すればよい。図２に示すように、右瞳フィルタＦＬ１はＲＧＢの帯域｛ｂ^Ｒ，ｇ，ｒ^Ｒ｝を透過し、左瞳フィルタＦＬ２はＲＧＢの帯域｛ｂ^Ｌ，ｇ，ｒ^Ｌ｝を透過するため、上式（１）を見ても分かるように画像のＲＧＢ各成分には右瞳と左瞳の透過帯域が含まれている。そのため、デフォーカス位置（画像のボケ領域）において右瞳画像｛ｂ^Ｒ，ｇ，ｒ^Ｒ｝と左瞳画像｛ｂ^Ｌ，ｇ，ｒ^Ｌ｝がずれても、ＲＧＢ画像では色ずれが起きない（又は非常に小さく抑えられる）ので、色ずれ補正を行う必要がなくそのまま鑑賞することが可能である。

３．フォーカス制御処理、測距処理
上述した像Ｉ^Ｒ、Ｉ^Ｌの位相差に基づいてデフォーカス量を算出する処理について詳細に説明する。

図７に示すように、絞りを開放した時の開口径をＡとし、開口径Ａに対する左右の瞳の重心間の距離をｑ×Ａとし、光軸上における結像レンズＬＮＳの中心から撮像素子のセンサ面ＰＳまでの距離をｘとし、センサ面ＰＳにおける右瞳画像Ｉ^Ｒ（ｈ）と左瞳画像Ｉ^Ｌ（ｈ）のずれ量をδとすると、三角測量法により下式（２８）が成り立つ。ｑは、０＜ｑ≦１を満たす係数であり、ｑ×Ａは、絞り量によっても変化する値である。ｘは、距離検出センサ（例えば図８の距離検出センサ８８）により検出される値である。ｂは、光軸上における結像レンズＬＮＳの中心からフォーカス位置ＰＦまでの距離を表す。δは、相関演算（例えば既知の相関演算）により求められる。
ｑ×Ａ：δ＝ｂ：ｄ，
ｂ＝ｘ＋ｄ（２８）
上式（２８）よりデフォーカス量ｄは下式（２９）で与えられる。
ｄ＝（δ×ｘ）／｛（ｑ×Ａ）−δ｝（２９）

図７が、例えば撮像装置の上部（瞳分割方向に垂直な方向）から見た図である場合、ｈは水平方向（瞳分割方向）の座標軸である。座標軸ｈでのずれ量δを、右瞳画像Ｉ^Ｒ（ｈ）及び左瞳画像Ｉ^Ｌ（ｈ）のいずれかを基準として正負の符号で表すように定義し、そのずれ量δの正負により、センサ面ＰＳがフォーカス位置ＰＦの前方にあるのか後方にあるのかを識別する。センサ面ＰＳとフォーカス位置ＰＦの前後関係が分かれば、フォーカス位置ＰＦにセンサ面ＰＳを一致させる際に、どちらの方向にフォーカスレンズを移動させれば良いのかが簡単に分る。

デフォーカス量ｄ及びずれ量δの符号を求めた後、それらに基づいて、デフォーカス量ｄをゼロにするようにフォーカスレンズを駆動させ、フォーカシングを行う。本実施形態では、左右瞳により水平方向に色分割しているので、撮像画像の中のフォーカシングさせたい水平方向の領域を選択して相関演算を行えばよい。なお、瞳色分割の方向は水平方向とは限らないので、左右帯域分離光学フィルタの設定条件（分割方向）に合わせて適宜、相関演算を行う方向を設定すればよい。また、デフォーカス量ｄを求める対象領域は、撮像画像の一部領域に限らず、撮像画像の全領域を対象としてもよい。その場合は、複数のデフォーカス量ｄが求められるので、それらを所定の評価関数により最終的なデフォーカス量を決定するプロセスが必要である。

次に、被写体までの距離ａを測距する処理について説明する。ａは、フォーカス位置ＰＦに対応する距離であり、光軸上における結像レンズＬＮＳから被写体までの距離である。一般的に結像光学系では、複数のレンズで構成される結像光学系の合成焦点距離をｆとすると、下式（３０）が成り立つ。
（１／ａ）＋（１／ｂ）＝１／ｆ（３０）

上式（２９）で求めたデフォーカス量ｄ及び検出可能な値ｘから、上式（２８）によりｂを求め、求めたｂと、結像光学構成により決まる合成焦点距離ｆとを上式（３０）に代入し、結像レンズＬＮＳと被写体位置との距離ａを算出する。任意の画像位置に対応する被写体までの距離ａを算出できるので、被写体までの距離計測や、被写体の３次元形状計測を行うことが可能である。

４．撮像装置、情報処理装置
図８に、本実施形態のフォーカス制御処理を行う撮像装置の第１の構成例を示す。図８の撮像装置は、結像レンズＬＮＳ、光学フィルタＦＬＴ、撮像素子１０（撮像センサ）、撮像処理部２０、ＲＧＢ画像生成部３０、色補正処理部３５、モニタ表示部４０、ＲＧＢフィルタ特性データ記録部５０、フォーカス領域選択部６５、マルチバンド推定部７０、フォーカス制御部８０、距離検出センサ８８（距離計測センサ）、データ圧縮部９０、データ記録部１００を含む。なお、本実施形態は図８の構成に限定されず、その構成要素の一部を省略（例えば色補正処理部３５、データ圧縮部９０）したり、他の構成要素を追加したりする等の種々の変形実施が可能である。

撮像素子１０は、結像レンズＬＮＳ及び光学フィルタＦＬＴによって結像された被写体を撮像する。光学フィルタＦＬＴは、図２で説明したように右瞳と左瞳の透過帯域が異なる。撮像処理部２０は、撮像素子１０による撮像動作の制御や、アナログの画素信号をＡ／Ｄ変換する処理などを行う。

ＲＧＢ画像生成部３０は、撮像により得られたＲＧＢベイヤ画像のデモザイキング処理や、高画質化処理などを行い、ＲＧＢ３板画像（画素値Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ））を出力する。ｉ，ｊは、自然数であり、それぞれ画像の水平走査方向、垂直走査方向における位置（座標）を表す。色補正処理部３５は、ＲＧＢ３板画像に対して色補正処理を行う。右瞳と左瞳の透過波長帯域が異なり、且つデフォーカス画像領域では右瞳と左瞳の透過光が近接して撮像されるため、デフォーカス画像領域では色のバランスが崩れる可能性がある。そのため、色補正処理を行う。モニタ表示部４０は、色補正処理されたＲＧＢ３板画像をモニタ（表示装置）に表示する。

ＲＧＢフィルタ特性データ記録部５０は、撮像素子１０がもつカラーフィルタの透過率特性（分光特性）Ｆ_Ｒ（λ）、Ｆ_Ｇ（λ）、Ｆ_Ｂ（λ）のデータを記憶しており、そのデータをマルチバンド推定部７０に出力する。但し、撮像されるＲＧＢ成分は、厳密にはカラーフィルタのみならず撮像素子１０の分光感度特性や、結像レンズＬＮＳの分光特性によって決まるものである。上記ではカラーフィルタの透過率特性がＲＧＢフィルタ特性であるものとして説明したが、本実施形態では、当然、撮像素子１０や結像レンズＬＮＳの分光特性を含んだ特性データをＲＧＢフィルタ特性データとして定義している。

フォーカス領域選択部６５は、図示しないユーザインターフェースを介してユーザが選択した領域の画像を、ＲＧＢ３板画像から抽出し、その抽出した画像をマルチバンド推定部７０に出力する。マルチバンド推定部７０は、ユーザが選択した領域の画像に対して本実施形態のマルチバンド推定処理を行い、右瞳画像Ｉ^Ｒ（ｉ，ｊ）、左瞳画像Ｉ^Ｌ（ｉ，ｊ）を出力する。また、マルチバンド推定部７０は、５バンドのマルチバンド画像（成分値Ｒ_１（ｉ，ｊ）、Ｒ_２（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ_１（ｉ，ｊ）、Ｂ_２（ｉ，ｊ）を出力する。なお、領域選択を行わず、ＲＧＢ３板画像の全体に対してマルチバンド推定処理を行ってもよい。

フォーカス制御部８０は、右瞳画像Ｉ^Ｒ（ｉ，ｊ）及び左瞳画像Ｉ^Ｌ（ｉ，ｊ）に基づいてオートフォーカス制御を行う。具体的にはフォーカス制御部８０は、位相差検出部８２、フォーカス制御量算出部８４、フォーカスレンズ駆動制御部８６を含む。位相差検出部８２は、右瞳画像Ｉ^Ｒ（ｉ，ｊ）と左瞳画像Ｉ^Ｌ（ｉ，ｊ）のずれ量δの情報（広義には位相差情報）を検出する。距離検出センサ８８は、結像レンズＬＮＳの中心から撮像素子１０のセンサ面までの距離ｘの情報を検出する。フォーカス制御量算出部８４は、ずれ量δの情報と距離ｘの情報からデフォーカス量ｄの情報を算出し、そのデフォーカス量ｄの情報に基づいて結像レンズＬＮＳの移動量及び移動方向を求める。フォーカスレンズ駆動制御部８６は、結像レンズＬＮＳの移動量及び移動方向に基づいてフォーカスレンズを移動させる制御を行う。

データ圧縮部９０は、色補正処理されたＲＧＢ３板画像のデータに対して圧縮処理を行う。データ記録部１００は、圧縮されたＲＧＢ３板画像データと、カラーフィルタの透過率特性データとを記録する。これらの記録データは、撮影後の事後処理においてマルチバンド推定処理や位相差検出処理に用いることが可能である。事後処理は、撮像装置で行ってもよいし、撮像装置と別体に構成された情報処理装置で行ってもよい。

図９に、撮像装置と別体に構成された情報処理装置の構成例を示す。図９の情報処理装置は、データ記録部２００、データ伸張部２１０、伸張データ記憶部２２０、モニタ画像生成部２３０、モニタ画像表示部２４０、画像データ選択部２５０、選択フレーム記憶部２６０、マルチバンド推定部２７０、位相差検出部２９０、位相差処理部２９５を含む。この情報処理装置としては、例えばＰＣ等の情報処理装置が想定される。

データ記録部２００は、例えば外部記憶装置（例えばメモリカード）により構成され、撮像装置により記録されたＲＧＢ３板画像データ及び透過率特性データを記憶している。データ伸張部２１０は、撮像装置により圧縮されたＲＧＢ３板画像データを伸張する処理を行う。伸張データ記憶部２２０は、伸張されたＲＧＢ３板画像データを記憶する。

モニタ画像生成部２３０は、ＲＧＢ３板画像データからモニタ表示用の画像を生成する。モニタ画像表示部２４０は、そのモニタ表示用の画像をモニタに表示する。画像データ選択部２５０は、図示しないユーザインターフェースを介してユーザ（操作者）が選択したフレームのＩＤを、伸張データ記憶部２２０に出力する。伸張データ記憶部２２０は、複数のＲＧＢ３板画像（複数の静止画像、又は動画像）の中から、選択フレームの画像を出力する。選択フレーム記憶部２６０は、選択フレームの画像を記憶する。

マルチバンド推定部２７０は、選択フレームの画像（画素値Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ））と、カラーフィルタの透過率特性Ｆ_Ｒ（λ）、Ｆ_Ｇ（λ）、Ｆ_Ｂ（λ）とに基づいて、マルチバンド画像Ｉ^Ｒ（ｉ，ｊ）、Ｉ^Ｌ（ｉ，ｊ）を推定する処理を行う。位相差検出部２９０は、画像Ｉ^Ｒ（ｉ，ｊ）、Ｉ^Ｌ（ｉ，ｊ）の位相差を、例えば各画素（又は各微小分割領域）について検出する。位相差処理部２９５は、検出された位相差に基づいて、例えば被写体の立体形状測定等の種々の応用処理を行う。

以上の実施形態によれば、図８に示すように、撮像装置は光学フィルタＦＬＴと撮像素子１０とマルチバンド推定部７０とフォーカス制御部８０とを含む。光学フィルタＦＬＴは、撮像光学系の瞳を、図２で説明したように、第１瞳（例えば右瞳）と、第１瞳とは透過波長帯域が異なる第２瞳（左瞳）とに分割する。図１で説明したように、撮像素子１０は、第１透過率特性Ｆ_Ｂを有する第１色（例えば青色）フィルタと、第２透過率特性Ｆ_Ｇを有する第２色（緑色）フィルタと、第３透過率特性Ｆ_Ｒを有する第３色（赤色）フィルタとを含む。マルチバンド推定部７０は、第１〜第３透過率特性｛Ｆ_Ｂ，Ｆ_Ｇ，Ｆ_Ｒ｝の重なり部分及び非重なり部分に対応する第１〜第５バンドＢＤ１〜ＢＤ５を設定する。図２等で説明したように、マルチバンド推定部７０は、撮像素子１０によって撮像された画像を構成する第１〜第３色の画素値｛Ｒ，Ｇ，Ｂ｝に基づいて第１〜第５バンドの成分値｛ｂ^Ｒ，ｂ^Ｌ，ｇ，ｒ^Ｒ，ｒ^Ｌ｝を推定する。フォーカス制御部８０は、第１〜第５バンドＢＤ１〜ＢＤ５のうち第１瞳の透過波長帯域に対応するバンドの成分値を第１被写体像（右瞳画像）Ｉ^Ｒ＝（ｒ^Ｒ _Ｒ，ｒ^Ｒ _Ｇ，ｂ^Ｒ _Ｂ）として取得し、第１〜第５バンドのうち第２瞳の透過波長帯域に対応するバンドの成分値を第２被写体像（左瞳画像）Ｉ^Ｌ＝（ｒ^Ｌ _Ｒ，ｂ^Ｌ _Ｇ，ｂ^Ｌ _Ｂ）として取得する。フォーカス制御部８０は、第１被写体像Ｉ^Ｒと第２被写体像Ｉ^Ｌの位相差（ずれ量δ）を検出し、位相差に基づいて撮像光学系のフォーカス制御を行う。

このようにすれば、第１〜第３色の画素値で構成される画像から５バンドの成分値を推定し、その成分値を第１被写体像と第２被写体像に分離することができる。そして、第１被写体像と第２被写体像の位相差を検出することで、高速な位相差ＡＦを実現することができる。また、通常のＲＧＢ撮像素子を用いることが可能となるため、位相差検出用画素による画素欠陥や、マルチバンドのカラーフィルタによる１色当たりの割り当て画素数の減少等が起きず、位相差の検出精度や画像の解像度が低下しない。また、第１瞳と第２瞳でそれぞれ複数色を透過するように設定すれば、デフォーカス画像領域における色ずれの抑制や、色が偏った被写体における位相差検出精度の向上を、実現できる。

また本実施形態では、図１で説明したように、マルチバンド推定部７０は、第１透過率特性Ｆ_Ｂの非重なり部分に対応する第１バンドＢＤ１と、第１透過率特性Ｆ_Ｂと第２透過率特性Ｆ_Ｇとの重なり部分に対応する第２バンドＢＤ２と、第２透過率特性Ｆ_Ｇの非重なり部分に対応する第３バンドＢＤ３と、第２透過率特性Ｆ_Ｇと第３透過率特性Ｆ_Ｒとの重なり部分に対応する第４バンドＢＤ４と、第３透過率特性Ｆ_Ｒの非重なり部分に対応する第５バンドＢＤ５とを設定する。

ここで、透過率特性の重なり部分とは、図１に示すように波長軸に対して透過率特性を表した場合に、波長軸上で隣り合う透過率特性が重なっている領域のことである。重なり部分は、透過率特性が重なっている領域そのもの、あるいは透過率特性の帯域が重なっている帯域で表される。また、透過率特性の非重なり部分とは、他の透過率特性と重なっていない部分のことである。即ち、透過率特性から重なり部分を除いた部分のことである。なお、重なり部分又は非重なり部分に対応するバンドは、重なり部分又は非重なり部分の帯域そのものに限定されず、重なり部分又は非重なり部分に対応して設定されたバンドであればよい。例えば、所定の透過率と透過率特性が交わる波長でバンドを分割し、第１〜第５バンドを設定してもよい。

このようにすれば、撮像画像の第１〜第３色の画素値｛Ｒ，Ｇ，Ｂ｝から第１〜第５のバンド成分値｛ｂ^Ｒ，ｂ^Ｌ，ｇ，ｒ^Ｒ，ｒ^Ｌ｝を推定することが可能となる。即ち、上式（１）で説明したように、透過率特性が隣り合う画素値（例えばＢ、Ｇ）には重なり部分の成分値（ｂ^Ｌ）が含まれる。この重なり部分の成分値（ｂ^Ｌ）を、上式（７）のように画素値の差分（Ｂ’−Ｇ）により消去することで、上式（９）のように成分値の関係式を求め、その関係式に基づいて成分値を推定することが可能となる。

また本実施形態では、第１瞳（右瞳フィルタＦＬ１）は、第１、第２バンドの一方ＢＤ１と、第４、第５バンドの一方ＢＤ４とを少なくとも透過し、第２瞳（左瞳フィルタＦＬ２）は、第１、第２バンドの他方ＢＤ２と、第４、第５バンドの他方ＢＤ５とを少なくとも透過する。フォーカス制御部８０は、第１、第２バンドの一方ＢＤ１の成分値ｂ^Ｒと、第４、第５バンドの一方ＢＤ４の成分値ｒ^Ｒを第１被写体像Ｉ^Ｒ＝（ｒ^Ｒ _Ｒ，ｒ^Ｒ _Ｇ，ｂ^Ｒ _Ｂ）として取得し、第１、第２バンドの他方ＢＤ２の成分値ｂ^Ｌと、第４、第５バンドの他方ＢＤ５の成分値ｒ^Ｌを第２被写体像Ｉ^Ｌ＝（ｒ^Ｌ _Ｒ，ｂ^Ｌ _Ｇ，ｂ^Ｌ _Ｂ）として取得する。

このようにすれば、第１、第２バンドに対応する第１色、及び第４、第５バンドに対応する第３色を、第１被写体像と第２被写体像の両方に含ませることができる。例えば第１色、第３色が青色、赤色である場合、青色又は赤色に極端に偏った被写体であっても、第１被写体像と第２被写体像の両方に、その偏った色が含まれるため、精度良く位相差を検出することが可能である。

また本実施形態では、第１〜第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタである。第１瞳は、第１、第２バンドの一方ＢＤ１と、第３バンドＢＤ３と、第４、第５バンドの一方ＢＤ４とを透過し、第２瞳は、第１、第２バンドの他方ＢＤ２と、第３バンドＢＤ３と、第４、第５バンドの他方ＢＤ５とを透過する。

このようにすれば、例えばベイヤ配列等の既存のカメラシステムに搭載されたＲＧＢ撮像素子をそのまま利用して、位相差ＡＦを行うことが可能となる。また、第１瞳と第２瞳がともにＲＧＢ成分を透過するため、デフォーカス画像領域において色ずれが無い（又は抑制された）ＲＧＢ画像を撮影できる。これにより、高度な色ずれ補正等を行うことなく鑑賞に耐える画像を取得できる。

なお、本実施形態では、第１〜第３色はＲＧＢに限定されず、波長軸上において隣り合う透過率特性が重なり部分を有する３つのカラーフィルタに対応した色であればよい。また本実施形態では、第１瞳が帯域ＢＤ１、ＢＤ４を透過し、第２瞳が帯域ＢＤ２、ＢＤ５を透過する場合に限定されず、第１瞳と第２瞳が帯域ＢＤ１、ＢＤ２のいずれを透過してもよいし、第１瞳と第２瞳が帯域ＢＤ４、ＢＤ５のいずれを透過してもよい。

また本実施形態では、上式（１）で説明したように、第１色の画素値Ｂは、第１、第２バンドの成分値ｂ^Ｒ _Ｂ、ｂ^Ｌ _Ｂを加算した値であり、第２色の画素値Ｇは、第２〜第４バンドの成分値ｂ^Ｌ _Ｇ、ｇ_Ｇ、ｒ^Ｒ _Ｇを加算した値である。上式（９）で説明したように、マルチバンド推定部は、この第１、第２色の画素値Ｂ、Ｇに基づいて、第１バンドの成分値ｂ^Ｒ _Ｂと、第２バンドの成分値ｂ^Ｌ _Ｇと、第３、第４バンドの成分値ｇ_Ｇ、ｒ^Ｒ _Ｇを加算した値である第１加算値ｇ_Ｇ＋ｒ^Ｒ _Ｇとの間の関係式を求める。そして、マルチバンド推定部７０は、その関係式に基づいて、第１バンドの成分値ｂ^Ｒ _Ｂと、第２バンドの成分値ｂ^Ｌ _Ｇと、第１加算値ｇ_Ｇ＋ｒ^Ｒ _Ｇとを推定する。

なお、上式（１）では第１色の画素値Ｂは、第１〜第３バンドの成分値ｂ^Ｒ _Ｂ、ｂ^Ｌ _Ｂ、ｇ_Ｂを加算した値であるが、上式（５）に示すようにｇ_Ｂがｂ^Ｌ _Ｂよりも十分小さいものとしてｇ_Ｂを無視している。即ち、第１色の画素値Ｂは、第１、第２バンドの成分値ｂ^Ｒ _Ｂ、ｂ^Ｌ _Ｂを加算した値に、ｂ^Ｌ _Ｂ（又はｂ^Ｒ _Ｂ）よりも十分小さいバンド成分値ｇ_Ｂを更に加算した値であってもよい。

このようにすれば、隣り合った透過率特性が重なっている状態を、バンド成分値の加算式（上式（１））として表すことができる。そして、その加算式からバンド成分値間の関係式を求め、その関係式からバンド成分値を推定することが可能となる。

また本実施形態では、上式（９）で説明したように、マルチバンド推定部７０は、第１バンドの成分値ｂ^Ｒ _Ｂを未知数として関係式を求める。図４及び上式（１０）で説明したように、マルチバンド推定部は、関係式で表した第１、第２バンドの成分値及び第１加算値｛ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｇ，ｇ_Ｇ＋ｒ^Ｒ _Ｇ｝と、第１、第２色の画素値｛Ｂ，Ｇ｝との間の誤差を表す誤差評価値Ｅ_ＢＧを求め、その誤差評価値Ｅ_ＢＧを最小にする未知数ｂ^（１）を決定し、その決定した未知数ｂ^Ｒ _Ｂ及び関係式（上式（９））に基づいて、第１、第２バンドの成分値及び第１加算値｛ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｇ，ｇ_Ｇ＋ｒ^Ｒ _Ｇ｝を決定する。

このようにすれば、２つの画素値｛Ｂ，Ｇ｝から３つの変数｛ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｇ，ｇ_Ｇ＋ｒ^Ｒ _Ｇ｝を決定する際に必要な１つの未知数ｂ^Ｒ _Ｂを、誤差評価値Ｅ_ＢＧに基づいて決定でき、決定した未知数によりバンド成分値｛ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｇ，ｇ_Ｇ＋ｒ^Ｒ _Ｇ｝を決定できる。

また本実施形態では、上記と同様にして、マルチバンド推定部７０は、関係式（上式（１９））を求め、その関係式に基づいて、第２、第３バンドの成分値ｂ^Ｌ _Ｇ、ｇ_Ｇを加算した値である第２加算値ｂ^Ｌ _Ｇ＋ｇ_Ｇと、第４バンドの成分値ｒ^Ｒ _Ｇと、第５バンドの成分値ｒ^Ｌ _Ｒとを推定する（上式（１２）〜（２０））。そして、上式（２５）で説明したように、第２色の画素値Ｇと第２バンドの成分値ｂ^Ｌ _Ｇと第４バンドの成分値ｒ^Ｒ _Ｇとから、第３バンドの成分値ｇ_Ｇを求める。

このようにすれば、バンド成分値｛ｒ^Ｒ _Ｇ，ｒ^Ｌ _Ｒ，ｂ^Ｌ _Ｇ＋ｇ_Ｇ｝を関係式で表し、その関係式を用いてバンド成分値｛ｒ^Ｒ _Ｇ，ｒ^Ｌ _Ｒ，ｂ^Ｌ _Ｇ＋ｇ_Ｇ｝を推定できる。そして、上式（２２）〜（２５）で説明したように、バンド成分値｛ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｇ，ｇ_Ｇ＋ｒ^Ｒ _Ｇ｝及び｛ｒ^Ｒ _Ｇ，ｒ^Ｌ _Ｒ，ｂ^Ｌ _Ｇ＋ｇ_Ｇ｝を用いて、第１〜第５バンドの成分値｛ｂ^Ｒ，ｂ^Ｌ，ｇ，ｒ^Ｒ，ｒ^Ｌ｝を求めることができる。

また本実施形態では、図３（Ａ）〜図３（Ｆ）で説明したように、マルチバンド推定部７０は、第１、第２色フィルタの透過率特性Ｆ_Ｂ、Ｆ_Ｇに基づいて、第１色の画素値Ｂと第２色の画素値Ｇとの間の相対的なゲイン比ｋ_Ｂ１／ｋ_Ｂ２を補正し、補正後の第１、第２色の画素値Ｂ’、Ｇを用いて第１〜第５バンドの成分値を推定する。

より具体的には、上式（２）〜（６）で説明したように、マルチバンド推定部７０は、第２バンド（ｂ^Ｌ）での第２色フィルタ（Ｆ_Ｇ）の透過率ｋ_Ｂ２と、第２バンド（ｂ^Ｌ）での第１色フィルタ（Ｆ_Ｂ）の透過率ｋ_Ｂ１との比ｋ_Ｂ２／ｋ_Ｂ１を、第１色の画素値Ｂに乗じて、ゲイン比を補正する。

撮像素子のカラーフィルタでは、一般的に色に依って透過率特性が異なるため、色に依ってゲインが異なっている。本実施形態によれば、透過率特性の重なり部分に対応するバンドが存在するため、そのバンドにおける相対的なゲイン比ｋ_Ｂ２／ｋ_Ｂ１を求めることができ、そのゲイン比を用いて、色に依って異なるゲインを補正できる。

５．第２のマルチバンド推定処理
５．１．候補発生による推定処理
次に、バンド成分の候補値を発生させ、その候補値を選択条件に基づいて選択する第２のマルチバンド推定処理について説明する。求めた推定値を用いたフォーカス制御処理については、上述のフォーカス制御処理と同様である。

図１０に示すように、ゲイン補正を行った５バンドの成分の関係式を第１のマルチバンド推定処理と同様にして求める。下記に、第１のマルチバンド推定処理で説明した式（９）、（１９）を再掲する。
ｂ^Ｒ _Ｂ’＝未知数（支配変数），
ｂ^Ｌ _Ｇ＝Ｂ’−ｂ^Ｒ _Ｂ’，
ｇ_Ｇ＋ｒ^Ｒ _Ｇ＝ｂ^Ｒ _Ｂ’−（Ｂ’−Ｇ）（９）
ｒ^Ｌ _Ｒ’＝未知数（支配変数），
ｒ^Ｒ _Ｇ＝Ｒ’−ｒ^Ｌ _Ｒ’，
ｂ^Ｌ _Ｇ＋ｇ_Ｇ＝ｒ^Ｌ _Ｒ’＋（Ｇ−Ｒ’）（１９）

ｂ^Ｒ _Ｂ’、ｒ^Ｌ _Ｒ’は、検出されるはずの分割帯域成分ｂ^Ｒ _Ｂ、ｒ^Ｌ _Ｒの補正値であり、第１のマルチバンド推定処理で説明した式（５）、（１５）より、下式（３１）で表される。
ｂ^Ｒ _Ｂ’＝（ｋ_Ｂ２／ｋ_Ｂ１）×ｂ^Ｒ _Ｂ，
ｒ^Ｌ _Ｒ’＝（ｋ_Ｒ２／ｋ_Ｒ１）×ｒ^Ｌ _Ｒ（３１）

さて、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝及び｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝のそれぞれのパターンの成分値は、正の値であってかつ取り得る値の範囲に制限があることに注目する。

具体的には、撮像画像として取得する補正前の３原色画素値を、Ｂ（青）、Ｇ（緑）、Ｒ（赤）とし、センサ飽和値以下に設定される最大値の量子化ステップ数をＮ（Ｎは自然数）とする。例えば、８ビット画像として扱うときは、Ｎ＝２５６である。このとき、画素値Ｒ、Ｇ、Ｂは下式（３２）の範囲を取り得る。
０≦Ｂ＜Ｎ，０≦Ｇ＜Ｎ，０≦Ｒ＜Ｎ（３２）

なお、Ｒ、Ｇ、Ｂの量子化ステップ数は一般的に同一とすると扱いやすいので共通のＮ値としているが、意図的に各色ごとに量子化ステップ数を異ならせても構わない。

Ｂ及びＲの補正前の検出成分は｛ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝、｛ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝であり、それぞれ２成分を加算した値が、Ｂ及びＲになると定義しているので、下式（３３）が成り立つ。
０≦Ｂ（＝ｂ^Ｒ _Ｂ＋ｂ^Ｌ _Ｂ）＜Ｎ，０≦Ｒ（＝ｒ^Ｒ _Ｒ＋ｒ^Ｌ _Ｒ）＜Ｎ（３３）

ｂ^Ｒ _Ｂとｂ^Ｌ _Ｂが独立した変数であり、ｒ^Ｌ _Ｒとｒ^Ｒ _Ｒが独立した変数であると仮定すれば、ｂ^Ｒ _Ｂ、ｒ^Ｌ _Ｒは下式（３４）の範囲を取り得る。
０≦ｂ^Ｒ _Ｂ＜Ｎ，０≦ｒ^Ｌ _Ｒ＜Ｎ（３４）

上式（３１）、（３４）より、ｂ^Ｒ _Ｂ’、ｒ^Ｌ _Ｒ’は下式（３５）の範囲を取り得る。
０≦ｂ^Ｒ _Ｂ’＜Ｎ×（ｋ_Ｂ２／ｋ_Ｂ１），
０≦ｒ^Ｌ _Ｒ’＜Ｎ×（ｋ_Ｒ２／ｋ_Ｒ１）（３５）

また、Ｇの検出成分は｛ｂ^Ｌ _Ｇ，ｇ_Ｇ，ｒ^Ｒ _Ｇ｝であり、これら３成分を加算した値が、Ｇになると定義しているので、下式（３６）が成り立つ。
０≦Ｇ（＝ｂ^Ｌ _Ｇ＋ｇ_Ｇ＋ｒ^Ｒ _Ｇ）＜Ｎ（３６）

ｂ^Ｌ _Ｇ、ｇ_Ｇ、ｒ^Ｒ _Ｇが独立した変数であると仮定すれば、ｂ^Ｌ _Ｇ、ｇ_Ｇ、ｒ^Ｒ _Ｇは下式（３７）の範囲を取り得る。
０≦ｂ^Ｌ _Ｇ＜Ｎ，０≦ｇ_Ｇ＜Ｎ，０≦ｒ^Ｒ _Ｇ＜Ｎ（３７）

上式（３７）より、（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）及び（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）は、下式（３８）の範囲を取り得る。
０≦（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）＜２Ｎ，０≦（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）＜２Ｎ（３８）

上式（３５）、（３７）、（３８）の制限条件を、上式（９）、（１９）の関係式に適用すると、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝及び｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝のパターンの推定候補は限定されることになる。

即ち、上式（３５）に示す０≦ｂ^Ｒ _Ｂ’＜Ｎ×（ｋ_Ｂ２／ｋ_Ｂ１）の範囲内の各値を、未知数ｂ^Ｒ _Ｂ’の候補として発生する。各候補を上式（９）に代入し、既知の画素値｛Ｂ，Ｇ｝を用いて｛ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝を求める。各候補から求めた｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝のうち、上式（３７）、（３８）の条件を満たすもののみを残す。同様に、上式（１９）についても候補の発生を行い、条件を満たす｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝のみを残す。条件を満たす候補は、複数存在する可能性がある。候補が複数残った場合には、例えばそれらの平均値を最終的な値として決定すればよい。

５．２．ルックアップテーブルを用いた推定処理
次に、第２のマルチバンド推定処理の変形例について説明する。

図１１に示すように、上式（３２）の定義域を満たす｛Ｒ，Ｇ，Ｂ｝の全ての組み合わせを発生させる。｛Ｒ，Ｇ，Ｂ｝の各組み合わせについて、上式（３５）の定義域を満たす未知数ｂ^Ｒ _Ｂ’、ｒ^Ｌ _Ｒ’の候補を発生させる。そして、上式（３７）、（３８）の制限条件を満たす推定値｛ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝及び｛ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝を残す。このようにして得られる推定パターン｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝及び｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝をテーブル化し、図１１に示すような尤度パターン決定テーブルを予め作成しておく。

マルチバンド推定を行う際には、撮像画像の画素値｛Ｒ，Ｇ，Ｂ｝をテーブルから検索して推定パターン｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝、｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝を決定する。そして、その推定パターンから、画素値Ｂを構成する成分｛ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝の値、画素値Ｇを構成する成分｛ｂ^Ｌ _Ｇ，ｇ_Ｇ，ｒ^Ｒ _Ｇ｝の値、画素値Ｒを構成する成分｛ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝の値を、最終的に算出する。

なお、図１２に示すように、制限条件を満たす推定パターンのうち、｛Ｒ，Ｇ，Ｂ｝の同一組み合わせパターンから得られる推定パターンは単一とは限らず、複数得られる場合がある。この場合、それら推定パターンの平均をとって尤度パターンとし、予めテーブルを作成しておけばよい。

ここで、上記では定義域に基づく制限条件を用いてテーブルを作成したが、本実施形態のテーブル作成手法はこれに限定されない。例えば、撮像対象となる画像（例えばデジタルカメラの場合は自然画像、内視鏡の場合は生体内画像など）を母集団とする。そして、母集団の統計的な関係に基づいて、画素値｛Ｒ，Ｇ，Ｂ｝に対して最も発生確率が高い尤度パターン｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，ｒ^Ｒ _Ｇ，ｒ^Ｌ _Ｒ’，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ），（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝の対応テーブルを、予め作成しておいて参照テーブルとしてもよい。

以上の実施形態によれば、図１１又は図１２で説明したように、マルチバンド推定部７０は、第１バンドの成分値ｂ^Ｒ _Ｂ’を未知数として関係式（上式（９））を求め、未知数ｂ^Ｒ _Ｂ’の候補として、複数の候補値を生成する。マルチバンド推定部は、その複数の候補値の中から、第１、第２色の画素値Ｂ、Ｇの定義域（上式（３２））に基づく選択条件を満たす候補値を、関係式（上式（９））に基づいて選択する。そして、マルチバンド推定部は、選択した候補値に基づいて、第１バンドの成分値と、第２バンドの成分値と、第１加算値と｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝を求める。

具体的には、選択条件は、関係式（上式（９））に候補値を代入して求めた第１バンドの成分値と、第２バンドの成分値と、第１加算値と｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝が、第１、第２色の画素値Ｂ、Ｇの定義域（上式（３２））に矛盾しないという条件（上式（３５）、（３７）、（３８））である。

より具体的には、マルチバンド推定部は、第１、第２色の画素値Ｂ、Ｇの定義域（上式（３２））に基づいて第１バンドの成分値ｂ^Ｒ _Ｂ’が取り得る範囲内の値（上式（３５））を、複数の候補値として生成する。

このようにすれば、候補値を関係式に代入して求めたバンドの成分値が、画素値の定義域に基づいて存在し得ないと判断された場合に、その候補値を除外し、画素値の定義域に矛盾しない候補値に基づいて最終的な推定値を決定できる。

６．第３のマルチバンド推定処理
次に、近赤外光を撮影することで暗い環境でも高感度ＡＦが可能な第３のマルチバンド推定処理について説明する。フォーカス制御処理については、図７等で上述したフォーカス制御処理と同様である。

図１３（Ａ）に示すように、撮像センサの赤色フィルタの分光特性Ｆ_Ｒ（λ）を、近赤外光の帯域までカバーするように（透過するように）設定する。また、緑色フィルタの分光特性Ｆ_Ｇ（λ）を、通常の可視赤色フィルタの分光特性までカバーするように、従来よりも透過波長帯域を広く設定する。このように分光特性を設定すれば、波長が長い領域での撮像において、暗い環境でも被写体の反射光の撮像感度が比較的高く取れる効果を期待できる。

右瞳フィルタＦＬ１の透過波長帯域は｛ｂ^Ｒ，ｇ，ｒ｝であり、左瞳フィルタＦＬ２の透過波長帯域は｛ｂ^Ｌ，ｇ，ｒ，ｒ^Ｌ｝である。ｂ^Ｒ、ｂ^Ｌ、ｇは、例えば図１のｂ^Ｒ、ｂ^Ｌ、ｇと同じ帯域であり、ｒは、例えば図１のｒ^Ｒよりも長波長側に広い帯域であり、ｒ^Ｌは、例えば図１のｒ^Ｌよりも長波長側且つ近赤外を含む広い帯域である。位相差検出に用いる右瞳画像と左瞳画像は、Ｉ^Ｒ＝（ｒ_Ｒ，ｒ_Ｇ，ｂ^Ｒ _Ｂ）とＩ^Ｌ＝（ｒ^Ｌ _Ｒ，ｂ^Ｌ _Ｇ，ｂ^Ｌ _Ｂ）である。

なお、撮像センサの赤（Ｒ）フィルタを通った画素値は、左右瞳による通過光の波長域割り当てがされない共通の帯域ｒの成分値ｒ_Ｇ，ｒ_Ｒと、左瞳のみの通過光の波長域として割当てた帯域ｒ^Ｌの成分値ｒ^Ｌ _Ｒとに設定されることに注意が必要である。可視光画像として用いるｒ_Ｇ又はｒ_Ｒの値は、片側の瞳による通過光から生成されると、通常鑑賞画像のデフォーカス領域において他のＧ、Ｂの色画像に対してＲ画像のずれが生ずると考えられるので、左右瞳の区別がないようにしておく。この条件であっても、ｒ_Ｇ又はｒ_Ｒからなる画像とｒ^Ｌ _Ｒからなる画像の位相差は得られるので、フォーカス制御に活用できる。上述の図２では、左右瞳が分離されない共通の成分ｇは、あくまでも位相差検出には用いないように構成したが、この場合はｒ_Ｇ又はｒ_Ｒを左右瞳に分割しないことにより、ボケ領域での可視赤色と他色との色ずれを発生させないようにしている。また、左右瞳共通の画像ｒ_Ｇ又はｒ_Ｒと、片側の瞳からの近赤外ｒ^Ｌの成分値による画像とは、成分値は半減するものの位相差は発生するので、フォーカス位置を求めて合焦制御を行うことができる。

上記のように設定した分割帯域の成分値を、第１又は第２のマルチバンド推定処理により推定すれば、左右瞳の透過波長であるｒ_Ｒは可視光領域の（近赤外に近い成分も含まれる）赤色光として得られ、左瞳のみの透過波長であるｒ^Ｌ _Ｒは近赤外光として得られるため、暗い環境での位相差検出に有利となる。即ち、暗い環境での測距又はその測距情報を用いたオートフォーカスを効果的に行うことができる。なお、鑑賞用画像としては、ｒ^Ｌ _Ｒの近赤外光の成分を除いた可視光のＲ＝ｒ_Ｒのみを赤色光画像として、Ｇ＝ｂ^Ｌ _Ｇ＋ｇ_Ｇ＋ｒ_Ｇを緑色光画像として採用すればよい。

図１４に、第３のマルチバンド推定処理を行う場合の構成例として、撮像装置の第２の構成例を示す。図１４の撮像装置は、結像レンズＬＮＳ、光学フィルタＦＬＴ、撮像素子１０（撮像センサ）、撮像処理部２０、ＲＧＢ画像生成部３０、モニタ表示部４０、ＲＧＢフィルタ特性データ記録部５０、フォーカス領域選択部６５、マルチバンド推定部７０、ＲＧ成分再構成部７５、フォーカス制御部８０、距離検出センサ８８（距離計測センサ）、データ圧縮部９０、データ記録部１００を含む。なお、図８で説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。

マルチバンド推定部７０は、バンド成分を推定し、右瞳画像Ｉ^Ｒ＝（ｒ_Ｒ，ｒ_Ｇ，ｂ^Ｒ _Ｂ）と左瞳画像Ｉ^Ｌ＝（ｒ^Ｌ _Ｒ，ｂ^Ｌ _Ｇ，ｂ^Ｌ _Ｂ）を出力する。またマルチバンド推定部７０は、推定したバンド成分のうち、ｒ_Ｒ、ｒ_Ｇ、ｇ_Ｇ、ｂ^Ｌ _ＧをＲＧ成分再構成部７５に出力する。ＲＧ成分再構成部７５は、Ｒ’＝ｒ_Ｒ、Ｇ’＝ｂ^Ｌ _Ｇ＋ｇ_Ｇ＋ｒ_Ｇを新たな画素値Ｒ（ｉ，ｊ）’、Ｇ（ｉ，ｊ）’としてモニタ表示部４０とデータ圧縮部９０に出力する。

以上の実施形態によれば、第１〜第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタである。図１３（Ｂ）に示すように、赤色フィルタの透過率特性である第３透過率特性Ｆ_Ｒは、近赤外光の帯域ｒ^Ｌ _Ｒ（例えば７００ｎｍ〜９５０ｎｍ）を透過する特性である。

より具体的には、マルチバンド推定部７０は、近赤外光の帯域を第５バンドＢＤ５に設定する。

なお、赤色フィルタは、近赤外光の帯域全て（例えば７００ｎｍ〜２５００ｎｍ）を透過する必要はなく、近赤外光の帯域のうちの一部（例えば７００ｎｍ〜９５０ｎｍ）を透過すればよい。

通常のＲＧＢ撮像素子では一般的に近赤外光を撮影しないので、暗い環境では位相差の検出精度が悪く、位相差ＡＦを行うことは困難である。この点、本実施形態によれば、被写体が発する近赤外光を撮影できるため、暗い環境であっても、近赤外光を含むバンド成分値を用いて位相差ＡＦを行うことが可能になる。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またマルチバンド推定部、フォーカス制御部、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。

１０撮像素子、２０撮像処理部、３０ＲＧＢ画像生成部、
３５色補正処理部、４０モニタ表示部、５０ＲＧＢフィルタ特性データ記録部、
６５フォーカス領域選択部、７０マルチバンド推定部、７５ＲＧ成分再構成部、
８０フォーカス制御部、８２位相差検出部、８４フォーカス制御量算出部、
８６フォーカスレンズ駆動制御部、８８距離検出センサ、９０データ圧縮部、
１００データ記録部、２００データ記録部、２１０データ伸張部、
２２０伸張データ記憶部、２３０モニタ画像生成部、２４０モニタ画像表示部、
２５０画像データ選択部、２６０選択フレーム記憶部、
２７０マルチバンド推定部、２９０位相差検出部、２９５位相差処理部、
Ａ開口径、ＢＤ１〜ＢＤ５第１〜第５バンド、Ｅ_ＢＧ，Ｅ_ＧＲ評価値、
Ｆ_Ｂ，Ｆ_Ｇ，Ｆ_Ｒ第１〜第３透過率特性、ＦＬ１右瞳フィルタ、
ＦＬ２左瞳フィルタ、ＦＬＴ光学フィルタ、Ｉ^Ｌ左瞳画像、Ｉ^Ｒ右瞳画像、
ＬＮＳ結像レンズ、ＰＤデフォーカス位置、ＰＦフォーカス位置、
ＰＳセンサ面位置、ａ，ｂ，ｘ距離、
ｂ^Ｒ，ｂ^Ｌ，ｇ，ｒ^Ｒ，ｒ^Ｌ第１〜第５バンドの成分値、ｄデフォーカス量、
ｆ合成焦点距離、ｋ_Ｂ１，ｋ_Ｂ２ゲイン、δ ずれ量

Claims

撮像光学系の瞳を、第１瞳と、前記第１瞳とは透過波長帯域が異なる第２瞳とに分割する光学フィルタと、
第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子と、
前記第１〜第３透過率特性の重なり部分及び非重なり部分に対応する第１〜第５バンドを設定し、前記撮像素子によって撮像された画像を構成する第１〜第３色の画素値に基づいて前記第１〜第５バンドの成分値を推定するマルチバンド推定部と、
前記第１〜第５バンドのうち前記第１瞳の透過波長帯域に対応するバンドの成分値を第１被写体像として取得し、前記第１〜第５バンドのうち前記第２瞳の透過波長帯域に対応するバンドの成分値を第２被写体像として取得し、前記第１被写体像と前記第２被写体像の位相差を検出し、前記位相差に基づいて前記撮像光学系のフォーカス制御を行うフォーカス制御部と、
を含むことを特徴とする撮像装置。
請求項１において、
前記マルチバンド推定部は、
前記第１透過率特性の非重なり部分に対応する前記第１バンドと、前記第１透過率特性と前記第２透過率特性との重なり部分に対応する前記第２バンドと、前記第２透過率特性の非重なり部分に対応する前記第３バンドと、前記第２透過率特性と前記第３透過率特性との重なり部分に対応する前記第４バンドと、前記第３透過率特性の非重なり部分に対応する前記第５バンドとを設定することを特徴とする撮像装置。
請求項２において、
前記第１瞳は、前記第１、第２バンドの一方と、前記第４、第５バンドの一方とを少なくとも透過し、
前記第２瞳は、前記第１、第２バンドの他方と、前記第４、第５バンドの他方とを少なくとも透過し、
前記フォーカス制御部は、
前記第１、第２バンドの前記一方の成分値と、前記第４、第５バンドの前記一方の成分値を前記第１被写体像として取得し、前記第１、第２バンドの前記他方の成分値と、前記第４、第５バンドの前記他方の成分値を前記第２被写体像として取得することを特徴とする撮像装置。
請求項２又は３において、
前記第１〜第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタであり、
前記第１瞳は、前記第１、第２バンドの一方と、前記第３バンドと、前記第４、第５バンドの一方とを透過し、
前記第２瞳は、前記第１、第２バンドの他方と、前記第３バンドと、前記第４、第５バンドの他方とを透過することを特徴とする撮像装置。
請求項１乃至４のいずれかにおいて、
前記第１〜第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタであり、
前記赤色フィルタの透過率特性である前記第３透過率特性は、近赤外光の帯域を透過する特性であることを特徴とする撮像装置。
請求項５において、
前記マルチバンド推定部は、
前記近赤外光の帯域を前記第５バンドに設定することを特徴とする撮像装置。
請求項１乃至６のいずれかにおいて、
前記マルチバンド推定部は、
前記第１、第２バンドの成分値を加算した値である前記第１色の画素値と、前記第２〜第４バンドの成分値を加算した値である前記第２色の画素値とに基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第３、第４バンドの成分値を加算した値である第１加算値との間の関係式を求め、
前記関係式に基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とを推定することを特徴とする撮像装置。
請求項７において、
前記マルチバンド推定部は、
前記第１バンドの成分値を未知数として前記関係式を求め、
前記関係式で表した前記第１、第２バンドの成分値及び前記第１加算値と、前記第１、第２色の画素値との間の誤差を表す誤差評価値を求め、
前記誤差評価値を最小にする前記未知数を決定し、
決定した前記未知数及び前記関係式に基づいて、前記第１、第２バンドの成分値及び前記第１加算値を決定することを特徴とする撮像装置。
請求項７又は８において、
前記マルチバンド推定部は、
前記第２〜第４バンドの成分値を加算した値である前記第２色の画素値と、前記第４、第５バンドの成分値を加算した値である前記第３色の画素値とに基づいて、前記第２、第３バンドの成分値を加算した値である前記第２加算値と、前記第４バンドの成分値と、前記第５バンドの成分値との間の関係式を求め、
前記関係式に基づいて、前記第２加算値と、前記第４バンドの成分値と、前記第５バンドの成分値とを推定し、
前記第２色の画素値と前記第２バンドの成分値と前記第４バンドの成分値とから、前記第３バンドの成分値を求めることを特徴とする撮像装置。
請求項７において、
前記マルチバンド推定部は、
前記第１バンドの成分値を未知数として前記関係式を求め、
前記未知数の候補として、複数の候補値を生成し、
前記複数の候補値の中から、前記第１、第２色の画素値の定義域に基づく選択条件を満たす候補値を、前記関係式に基づいて選択し、
選択した前記候補値に基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とを求めることを特徴とする撮像装置。
請求項１０において、
前記選択条件は、
前記関係式に前記候補値を代入して求めた前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とが、前記第１、第２色の画素値の定義域に矛盾しないという条件であることを特徴とする撮像装置。
請求項７乃至１１のいずれかにおいて、
前記マルチバンド推定部は、
前記第１、第２色フィルタの透過率特性に基づいて、前記第１色の画素値と前第２色の画素値との間の相対的なゲイン比を補正し、補正後の前記第１、第２色の画素値を用いて前記第１〜第５バンドの成分値を推定することを特徴とする撮像装置。
請求項７乃至１２のいずれかにおいて、
前記第１〜第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタであり、
前記マルチバンド推定部は、
前記青色の画素値を構成する前記第１、第２バンドの成分値を、それぞれ第１、第２青色成分値として求め、前記緑色の画素値を構成する前記第２〜第４バンドの成分値を、それぞれ第１〜第３緑色成分値として求め、前記赤色の画素値を構成する前記第４、第５バンドの成分値を、それぞれ第１、第２赤色成分値として求めることを特徴とする撮像装置。
撮像光学系の瞳を、第１瞳と、前記第１瞳とは透過波長帯域が異なる第２瞳とに分割する光学フィルタを透過した被写体像を、第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子により撮像し、
前記第１〜第３透過率特性の重なり部分及び非重なり部分に対応する第１〜第５バンドを設定し、前記撮像素子によって撮像された画像を構成する第１〜第３色の画素値に基づいて前記第１〜第５バンドの成分値を推定し、
前記第１〜第５バンドのうち前記第１瞳の透過波長帯域に対応するバンドの成分値を第１被写体像として取得し、前記第１〜第５バンドのうち前記第２瞳の透過波長帯域に対応するバンドの成分値を第２被写体像として取得し、前記第１被写体像と前記第２被写体像の位相差を検出し、前記位相差に基づいて前記撮像光学系のフォーカス制御を行うことを特徴とするフォーカス制御方法。