JP2013157729A - 画像処理装置、撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】既存の撮像システムを大きく変更することなくマルチバンドの撮像システムを実現可能な画像処理装置、撮像装置及び画像処理方法等を提供すること。
【解決手段】画像処理装置は、第１〜第３色フィルタを含む撮像素子に依って撮像された画像を取得する画像取得部と、第１透過率特性Ｆ_Ｂの非重なり部分に対応する第１バンドＢＤ１と、第１、第２透過率特性Ｆ_Ｂ、Ｆ_Ｇの重なり部分に対応する第２バンドＢＤ２と、第２透過率特性Ｆ_Ｇの非重なり部分に対応する第３バンドＢＤ３と、第２、第３透過率特性Ｆ_Ｇ、Ｆ_Ｒの重なり部分に対応する第４バンドＢＤ４と、第３透過率特性Ｆ_Ｒの非重なり部分に対応する第５バンドＢＤ５とを設定し、第１〜第３色の画素値に基づいて第１〜第５バンドＢＤ１〜ＢＤ５の成分値ｂ^（１）、ｂ^（２）、ｇ、ｒ^（１）、ｒ^（２）を推定するマルチバンド推定部と、を含む。
【選択図】 図２

Description

本発明は、画像処理装置、撮像装置及び画像処理方法等に関する。

カメラや顕微鏡、内視鏡などの撮影装置のデジタル化により、各種撮像機能の向上・拡張には目覚しいものがある。色空間の拡張もその一つであり、一般的な３原色のＲＧＢカラー撮影に加え、多くの分割波長帯域による撮影を可能にする。例えば、色空間の拡張により、きめ細かい色の違いを取得し表現する技術の開発が取り組まれている。

特許文献１には、分光透過率特性の平均波長が異なる５種類以上の色フィルタを配置した撮像装置が開示されている。特許文献１では、６種類のフィルタ、即ち第１の青色フィルタ、第２の青色フィルタ、第１の緑色フィルタ、第２の緑色フィルタ、第１の赤色フィルタ、及び第２の赤色フィルタが、撮像センサの画素に対応して設けられており、マルチバンドの画像を同時に撮像することが可能である。

特許文献２には、結像光学系と撮像センサの間に分岐光学系を設け、その分岐光学系を用いて４バンド以上の波長帯域に分離する手法が開示されている。この手法では、分岐された各色の画像は、撮像センサ上の分離された領域に結像される。各色の画像は、まとまった領域に像が生成されるため、マルチバンドの画像を同時に撮像することが可能である。

非特許文献１には、回転式のマルチバンドフィルタを用いて、撮像する画像の通過波長域を順次入れ替えて撮像することにより、マルチバンドの画像を取得する手法が開示されている。この手法では、取得できない波長帯域の情報を、自然界の被写体の分光反射率が滑らかであるとの先見情報を用いて推定する処理が行われている。

特開２００５−２８６６４９号公報 特開２００５−２６０４８０号公報

電子情報通信学会誌Ｖｏｌ．８８，Ｎｏ．６，２００５，東京工業大学

さて、既存の撮像システムを大きく変更することなくマルチバンドの撮像システムを実現することが望ましいという課題がある。

例えば、上述の特許文献１では、撮像素子のカラーフィルタに６種類のカラーフィルタを用いる。そのため、通常のＲＧＢ３原色のカラーフィルタを用いた場合に比べて、１種類のカラーフィルタに対して半分の画素しか割当てることができない。割り当てられず情報として欠落している画素値は、補間処理により求めることになるため、解像度の低下は免れない。

また、特許文献２では、分岐光学系により、各色の画像が撮像センサ上の分離された領域に結像される。そのため、各色の画像に割当てられる画素数は、通常のＲＧＢ３原色撮影に比べて少なくなり、解像度が低下してしまう。

また、非特許文献１では、回転式のマルチバンドフィルタを用いている。動きのある被写体の場合、フィルタの高速回転とそれに同期した高速撮影が必要となるので、特殊な追加機構が必要である。また、先見情報に基づく推定処理は、自然界の被写体ではない人工的なものを撮影する場合、成立しない可能性がある。

本発明の幾つかの態様によれば、既存の撮像システムを大きく変更することなくマルチバンドの撮像システムを実現可能な画像処理装置、撮像装置及び画像処理方法等を提供できる。

本発明の一態様は、第１透過率特性を有する第１色フィルタと第２透過率特性を有する第２色フィルタと第３透過率特性を有する第３色フィルタとを含む撮像素子によって撮像された画像を取得する画像取得部と、前記第１透過率特性の非重なり部分に対応する第１バンドと、前記第１透過率特性と前記第２透過率特性との重なり部分に対応する第２バンドと、前記第２透過率特性の非重なり部分に対応する第３バンドと、前記第２透過率特性と前記第３透過率特性との重なり部分に対応する第４バンドと、前記第３透過率特性の非重なり部分に対応する第５バンドとを設定し、前記画像を構成する第１〜第３色の画素値に基づいて前記第１〜第５バンドの成分値を推定するマルチバンド推定部と、を含む画像処理装置に関係する。

本発明の一態様によれば、撮像素子の第１〜第３色フィルタが有する第１〜第３透過率特性の重なり部分、非重なり部分に対応して、第１〜第５バンドが設定され、その第１〜第５バンドの成分値が第１〜第３色の画素値に基づいて推定される。これにより、既存の撮像システムを大きく変更することなくマルチバンドの撮像システムを実現することが可能になる。

また本発明の一態様では、前記マルチバンド推定部は、前記第１、第２バンドの成分値を加算した値である前記第１色の画素値と、前記第２〜第４バンドの成分値を加算した値である前記第２色の画素値とに基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第３、第４バンドの成分値を加算した値である第１加算値との間の関係式を求め、前記関係式に基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とを推定してもよい。

また本発明の一態様では、前記マルチバンド推定部は、前記第１バンドの成分値を未知数として前記関係式を求め、前記関係式で表した前記第１、第２バンドの成分値及び前記第１加算値と、前記第１、第２色の画素値との間の誤差を表す誤差評価値を求め、前記誤差評価値を最小にする前記未知数を決定し、決定した前記未知数及び前記関係式に基づいて、前記第１、第２バンドの成分値及び前記第１加算値を決定してもよい。

また本発明の一態様では、前記マルチバンド推定部は、前記第２〜第４バンドの成分値を加算した値である前記第２色の画素値と、前記第４、第５バンドの成分値を加算した値である前記第３色の画素値とに基づいて、前記第２、第３バンドの成分値を加算した値である前記第２加算値と、前記第４バンドの成分値と、前記第５バンドの成分値との間の関係式を求め、前記関係式に基づいて、前記第２加算値と、前記第４バンドの成分値と、前記第５バンドの成分値とを推定し、前記第１加算値と前記第４バンドの成分値から、又は前記第２加算値と前記第２バンドの成分値から前記第３バンドの成分値を求めてもよい。

また本発明の一態様では、前記マルチバンド推定部は、前記第１バンドの成分値を未知数として前記関係式を求め、前記未知数の候補として、複数の候補値を生成し、前記複数の候補値の中から、前記第１、第２色の画素値の定義域に基づく選択条件を満たす候補値を、前記関係式に基づいて選択し、選択した前記候補値に基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とを求めてもよい。

また本発明の一態様では、前記選択条件は、前記関係式に前記候補値を代入して求めた前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とが、前記第１、第２色の画素値の定義域に矛盾しないという条件であってもよい。

また本発明の一態様では、前記マルチバンド推定部は、前記第１、第２色の画素値の前記定義域に基づいて前記第１バンドの成分値が取り得る範囲内の値を、前記複数の候補値として生成してもよい。

また本発明の一態様では、前記マルチバンド推定部は、前記第１、第２色フィルタの透過率特性に基づいて、前記第１色の画素値と前第２色の画素値との間の相対的なゲイン比を補正し、補正後の前記第１、第２色の画素値を用いて前記第１〜第５バンドの成分値を推定してもよい。

また本発明の一態様では、前記マルチバンド推定部は、前記第２バンドでの前記第２色フィルタの透過率と、前記第２バンドでの前記第１色フィルタの透過率との比を、前記第１色の画素値に乗じて、前記ゲイン比を補正してもよい。

また本発明の一態様では、前記第１〜第３色は、それぞれ青色、緑色、赤色であり、前記マルチバンド推定部は、前記第１〜第５バンドの成分値を、それぞれ第１青色成分値、第２青色成分値、緑色成分値、第１赤色成分値、第２赤色成分値として求めてもよい。

また本発明の一態様では、前記撮像素子には、撮像光学系の瞳を第１瞳と第２瞳に分割する光学フィルタを透過した光が結像され、前記第１瞳は、前記第１、第２バンドの一方と、前記第３バンドと、前記第４、第５バンドの一方とを透過し、前記第２瞳は、前記第１、第２バンドの他方と、前記第３バンドと、前記第４、第５バンドの他方とを透過し、前記マルチバンド推定部は、前記第１瞳及び前記第２瞳の透過光が撮像された前記画像に基づいて、前記第１〜第５バンドの成分値を推定してもよい。

また本発明の一態様では、前記第１〜第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタであり、前記マルチバンド推定部は、前記青色の画素値を構成する前記第１、第２バンドの成分値を、それぞれ第１、第２青色成分値として求め、前記緑色の画素値を構成する前記第２〜第４バンドの成分値を、それぞれ第１〜第３緑色成分値として求め、前記赤色の画素値を構成する前記第４、第５バンドの成分値を、それぞれ第１、第２赤色成分値として求めてもよい。

また本発明の一態様では、前記マルチバンド推定部は、前記第１青色成分値と、前記第２青色成分値と、前記第１〜第３緑色成分値の加算値である緑色成分値と、前記第１赤色成分値と、前記第２赤色成分値とで、５バンドの成分値を構成してもよい。

また本発明の他の態様は、上記のいずれかに記載された画像処理装置と、前記撮像素子と、を含む撮像装置に関係する。

また本発明の更に他の態様は、上記のいずれかに記載された画像処理装置と、前記撮像素子と、前記光学フィルタが設けられた前記撮像光学系と、を含む撮像装置に関係する。

また本発明の更に他の態様は、第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子によって撮像された画像を取得し、前記第１透過率特性の非重なり部分に対応する第１バンドと、前記第１透過率特性と前記第２透過率特性との重なり部分に対応する第２バンドと、前記第２透過率特性の非重なり部分に対応する第３バンドと、前記第２透過率特性と前記第３透過率特性との重なり部分に対応する第４バンドと、前記第３透過率特性の非重なり部分に対応する第５バンドとを設定し、前記画像を構成する第１〜第３色の画素値に基づいて前記第１〜第５バンドの成分値を推定する画像処理方法に関係する。

デモザイキング処理についての説明図。 バンド分割手法についての説明図。 第１のマルチバンド推定処理における未知数推定処理についての説明図。 第１のマルチバンド推定処理における未知数推定処理についての説明図。 第２のマルチバンド推定処理における撮像装置の基本構成例。 第２のマルチバンド推定処理におけるバンド分割手法についての説明図。 図７（Ａ）〜図７（Ｆ）は、ゲイン補正処理についての説明図。 第２のマルチバンド推定処理における未知数推定処理についての説明図。 図９（Ａ）〜図９（Ｆ）は、ゲイン補正処理についての説明図。 第２のマルチバンド推定処理における未知数推定処理についての説明図。 第３のマルチバンド推定処理におけるバンド成分値についての説明図。 ルックアップテーブルの第１設定例。 ルックアップテーブルの第２設定例。 本実施形態の撮像装置の構成例。 本実施形態の画像処理装置の構成例。

以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

１．第１のマルチバンド推定処理
１．１．概要
高付加価値のマルチバンド撮影を実用性の高い撮像システムとして提供するためには、既存性能を踏襲でき且つ撮像システムを大きく変更することなく機能実現できることが望ましい。

従来から、マルチバンド撮影の手法として種々の手法（例えば特許文献１、２、非特許文献１）が提案されているが、これら従来の手法では、特殊な撮像センサ（撮像素子）や分光フィルタの交換機構などを必要とし、既存の撮像システムの撮像解像度や動画特性を損なわずに実用性の高い手法の提案には至っていない。

そこで、本実施形態では、ＲＧＢ３原色の撮像素子を用いてＲＧＢ画像を撮影し、ＲＧＢカラーフィルタの透過率特性の重なりを利用してＲＧＢ画像から５バンドのマルチバンド画像を推定する。これにより、従来のＲＧＢ３原色の撮像素子による撮像方式を変更せずにマルチバンド撮影を行うことができる。また、特殊な撮像センサや分光フィルタの交換機構などが不要となるため、解像度を犠牲にすることなく、動く被写体にも十分対応できるマルチバンド同時撮影が可能となる。

１．２．バンド分割手法
以下に、ＲＧＢ画像から５バンドのマルチバンド画像を推定する処理について詳細に説明する。なお、以下ではＲＧＢベイヤ配列の撮像素子を例に説明するが、本実施形態はこれに限定されず、カラーフィルタの透過率特性に重なり部分がある撮像素子でさえあればよい。

図１に示すように、ＲＧＢのベイヤ画像を撮像し、ベイヤ画像に対してデモザイキング処理を行ってＲＧＢ毎の３画像を生成する。デモザイキング処理により得られた各画素の赤色、緑色、青色の画素値をそれぞれＲ_ｄ、Ｇ_ｄ、Ｂ_ｄとし、画素値Ｒ_ｄ、Ｇ_ｄ、Ｂ_ｄと５バンドの波長成分ｂ^（１）、ｂ^（２）、ｇ、ｒ^（１）、ｒ^（２）との関係を下式（１）に示すようにモデル化して考える。
Ｂ_ｄ＝ｂ^（１）＋ｂ^（２），
Ｇ_ｄ＝ｒ^（１）＋ｇ＋ｂ^（２），
Ｒ_ｄ＝ｒ^（１）＋ｒ^（２） （１）

図２に示すように、５バンドの波長成分ｂ^（１）、ｂ^（２）、ｇ、ｒ^（１）、ｒ^（２）は、カラーフィルタの透過率特性Ｆ_Ｒ（λ）、Ｆ_Ｇ（λ）、Ｆ_Ｂ（λ）および撮像センサの分光特性に応じて定まる成分である。なお本実施形態では説明を簡単にするため、撮像センサの分光特性が、図２に示すカラーフィルタの透過率特性Ｆ_Ｒ（λ）、Ｆ_Ｇ（λ）、Ｆ_Ｂ（λ）に含まれるものとして説明することにする。即ち、青色フィルタの透過率特性Ｆ_Ｂ（λ）と緑色フィルタの透過率特性Ｆ_Ｇ（λ）との重なり部分に対応するバンドの成分がｂ^（２）であり、青色フィルタの透過率特性Ｆ_Ｂ（λ）の非重なり部分に対応するバンドの成分がｂ^（１）である。また、赤色フィルタの透過率特性Ｆ_Ｒ（λ）と緑色フィルタの透過率特性Ｆ_Ｇ（λ）との重なり部分に対応するバンドの成分がｒ^（１）であり、赤色フィルタの透過率特性Ｆ_Ｒ（λ）の非重なり部分に対応するバンドの成分がｒ^（２）である。また、緑色フィルタの透過率特性Ｆ_Ｇ（λ）の非重なり部分に対応するバンドの成分がｇである。ここで、非重なり部分とは、他の色フィルタの透過率特性と重なっていない部分のことである。

５バンドの帯域ＢＤ１〜ＢＤ５は、透過率特性Ｆ_Ｒ（λ）、Ｆ_Ｇ（λ）、Ｆ_Ｂ（λ）の形状や重なり具合などに応じて決定すればよく、透過率特性の帯域や重なり部分の帯域そのものである必要はない。例えば、透過率特性Ｆ_Ｇ（λ）、Ｆ_Ｂ（λ）の重なり部分の帯域は、およそ４５０ｎｍ〜５５０ｎｍであるが、帯域ＢＤ２は重なり部分に対応するものであればよく、４５０ｎｍ〜５５０ｎｍである必要はない。

１．３．｛ｒ^（１），ｒ^（２），ｇ＋ｂ^（２）｝の推定処理
次に、上式（１）を用いて、｛Ｒ_ｄ，Ｇ_ｄ｝から｛ｒ^（１），ｒ^（２），ｇ＋ｂ^（２）｝の関係式を下式（２）のように求める。また、上式（１）より下式（３）が成り立つ。なお以下では、Ｒ_ｄ、Ｇ_ｄ、Ｂ_ｄをＲ、Ｇ、Ｂと省略して表記する。
Ｒ−Ｇ＝［ｒ^（１）＋ｒ^（２）］−［ｒ^（１）＋ｇ＋ｂ^（２）］
＝ｒ^（２）−［ｇ＋ｂ^（２）］ （２）
ｒ^（１）＝Ｒ−ｒ^（２） （３）

ｒ^（２）を未知数（支配変数）とすると、上式（１）〜（３）より｛ｒ^（１），ｒ^（２），ｇ＋ｂ^（２）｝の関係式を下式（４）のように求められる。
ｒ^（２）＝未知数（支配変数），
ｒ^（１）＝Ｒ−ｒ^（２），
ｇ＋ｂ^（２）＝ｒ^（２）−［Ｒ−Ｇ］ （４）

｛Ｒ，Ｇ｝は検出された既知の値であるので、上式（４）に基づき未知数ｒ^（２）が決まれば、｛ｒ^（１），ｒ^（２），ｇ＋ｂ^（２）｝が全て決まることになる。即ち、｛ｒ^（１），ｒ^（２），ｇ＋ｂ^（２）｝の尤度パターンを特定することができる。

図３に、この関係を原理的に表した図を示す。図３に示すように、未知数ｒ^（２）として、｛ｒ^（１），ｒ^（２），ｇ＋ｂ^（２）｝と｛α_ＲＲ，α_ＧｒＧ｝の誤差が最小になる値を求める。

ここで、α_Ｒ，α_Ｇｒは、下式（５）を満たす値である。α_Ｒは、Ｒに対する｛ｒ^（１），ｒ^（２）｝の平均的な値を算出したものであり、α_Ｇｒは、Ｇに対する｛ｒ^（１），ｇ＋ｂ^（２）｝の平均的な値を算出したものである。これらは、図２に示すように撮像素子のカラーフィルタ特性から｛ｒ^（１），ｒ^（２）｝及び｛ｒ^（１），ｇ＋ｂ^（２）｝の成分比を考慮して決定すればよい。
０＜α_Ｒ≦１，０＜α_Ｇｒ≦１ （５）

｛ｒ^（１），ｒ^（２），ｇ＋ｂ^（２）｝と｛α_ＲＲ，α_ＧｒＧ｝の誤差を評価する値Ｅ^ｒｇは、下式（６）により求める。そして、評価値Ｅ^ｒｇが最小になる場合のｒ^（２）を求め、求めたｒ^（２）を上式（４）に代入することにより、｛ｒ^（１），ｒ^（２），ｇ＋ｂ^（２）｝の３つの値を決定する。
ｅ^ｒ＝［α_ＲＲ−ｒ^（１）］^２＋［α_ＲＲ−ｒ^（２）］^２，
ｅ^ｇ＝［α_ＧｒＧ−ｒ^（１）］^２＋［α_ＧｒＧ−（ｇ＋ｂ^（２））］^２，
Ｅ^ｒｇ＝ｅ^ｒ＋ｅ^ｇ （６）

１．４．｛ｂ^（１），ｂ^（２），ｇ＋ｒ^（１）｝の推定処理
同様にして、上式（１）を用いて、｛Ｂ，Ｇ｝から｛ｂ^（１），ｂ^（２），ｇ＋ｒ^（１）｝の関係式を下式（７）のように求める。また、上式（１）より下式（８）が成り立つ。
Ｂ−Ｇ＝［ｂ^（１）＋ｂ^（２）］−［ｒ^（１）＋ｇ＋ｂ^（２）］
＝ｂ^（１）−［ｇ＋ｒ^（１）］ （７）
ｂ^（２）＝Ｂ−ｂ^（１） （８）

ｂ^（１）を未知数（支配変数）とすると、上式（１）、（７）、（８）より｛ｂ^（１），ｂ^（２），ｇ＋ｒ^（１）｝の関係式を下式（９）のように求められる。
ｂ^（１）＝未知数（支配変数）
ｂ^（２）＝Ｂ−ｂ^（１），
ｇ＋ｒ^（１）＝ｂ^（１）−［Ｂ−Ｇ］ （９）

｛Ｂ，Ｇ｝は検出された既知の値であるので、上式（９）に基づき未知数ｂ^（１）が決まれば、｛ｂ^（１），ｂ^（２），ｇ＋ｒ^（１）｝が全て決まることになる。即ち、｛ｂ^（１），ｂ^（２），ｇ＋ｒ^（１）｝の尤度パターンを特定することができる。

図４に、この関係を原理的に表した図を示す。図４に示すように、未知数ｂ^（１）として、｛ｂ^（１），ｂ^（２），ｇ＋ｒ^（１）｝と｛α_ＢＢ，α_ＧｂＧ｝の誤差が最小になる値を求める。

ここで、α_Ｂ，α_Ｇｂは、下式（１０）を満たす値である。α_Ｂは、Ｂに対する｛ｂ^（１），ｂ^（２）｝の平均的な値を算出したものであり、α_Ｇｂは、Ｇに対する｛ｂ^（２），ｇ＋ｒ^（１）｝の平均的な値を算出したものである。これらは、図２に示すように撮像素子のカラーフィルタ特性から｛ｒ^（１），ｒ^（２）｝及び｛ｒ^（１），ｇ＋ｂ^（２）｝の成分比を考慮して決定すればよい。
０＜α_Ｂ≦１，０＜α_Ｇｂ≦１ （１０）

｛ｂ^（１），ｂ^（２），ｇ＋ｒ^（１）｝と｛α_ＢＢ，α_ＧｂＧ｝の誤差を評価する値Ｅ^ｂｇは、下式（１１）により求める。そして、評価値Ｅ^ｂｇが最小になる場合のｂ^（１）を求め、求めたｂ^（１）を上式（９）に代入することにより、｛ｒ^（１），ｒ^（２），ｇ＋ｂ^（２）｝の３つの値を決定する。
ｅ^ｂ＝［α_ＢＢ−ｂ^（１）］^２＋［α_ＢＢ−ｂ^（２）］^２，
ｅ^ｇ＝［α_ＧｂＧ−ｂ^（２）］^２＋［α_ＧｂＧ−（ｇ＋ｒ^（１））］^２，
Ｅ^ｂｇ＝ｅ^ｂ＋ｅ^ｇ （１１）

次に、上式（１）より下式（１２）が成り立つから、上式（４）、（９）で求めたｒ^（１）、ｂ^（２）を下式（１２）に代入し、ｇを算出する。
ｇ＝Ｇ−（ｒ^（１）＋ｂ^（２）） （１２）

以上のようにして、デモザイキング処理により得られた各画素の３バンド画素値｛Ｒ，Ｇ，Ｂ｝から、図２に示すような５バンド画素値｛ｂ^（１），ｂ^（２），ｇ，ｒ^（１），ｒ^（２）｝を推定することができる。

以上の実施形態によれば、画像処理装置は画像取得部とマルチバンド推定部を含む。図２で説明したように、画像取得部は、撮像素子によって撮像された画像を取得する。撮像素子は、第１透過率特性Ｆ_Ｂ（λ）を有する第１色フィルタと、第２透過率特性Ｆ_Ｇ（λ）を有する第２色フィルタと、第３透過率特性Ｆ_Ｒ（λ）を有する第３色フィルタとを有する。図２〜図４で説明したように、マルチバンド推定部は、画像を構成する第１〜第３色の画素値｛Ｂ，Ｇ，Ｒ｝に基づいて、第１〜第５バンドＢＤ１〜ＢＤ５の成分値｛ｂ^（１），ｂ^（２），ｇ，ｒ^（１），ｒ^（２）｝を推定する。図２で説明したように、第１バンドＢＤ１は第１透過率特性Ｆ_Ｂ（λ）の非重なり部分に対応する。第２バンドＢＤ２は、第１透過率特性Ｆ_Ｂ（λ）と第２透過率特性Ｆ_Ｇ（λ）との重なり部分に対応する。第３バンドＢＤ３は、第２透過率特性Ｆ_Ｇ（λ）の非重なり部分に対応する。第４バンドＢＤ４は、第２透過率特性Ｆ_Ｇ（λ）と第３透過率特性Ｆ_Ｒ（λ）との重なり部分に対応する。第５バンドは、第３透過率特性Ｆ_Ｒ（λ）の非重なり部分に対応する。

本実施形態では、画像処理装置は、図１４に示す撮像装置の中の画像処理装置２５、あるいは、図１５に示す、撮像装置とは別体に構成された画像処理装置に対応する。また、画像取得部は、図１４のＲＧＢ画像生成部３０、あるいは図１５の選択フレーム記憶部２６０に対応する。マルチバンド推定部は、図１４のマルチバンド推定部７０、あるいは図１５のマルチバンド推定部２７０に対応する。

ここで、透過率特性の重なり部分とは、図２に示すように波長軸に対して透過率特性を表した場合に、波長軸上で隣り合う透過率特性が重なっている領域のことである。重なり部分は、透過率特性が重なっている領域そのもの、あるいは透過率特性の帯域が重なっている帯域で表される。また、透過率特性の非重なり部分とは、他の透過率特性と重なっていない部分のことである。即ち、透過率特性から重なり部分を除いた部分のことである。なお、重なり部分又は非重なり部分に対応するバンドは、重なり部分又は非重なり部分の帯域そのものに限定されず、重なり部分又は非重なり部分に対応して設定されたバンドであればよい。例えば、所定の透過率と透過率特性が交わる波長でバンドを分割し、第１〜第５バンドを設定してもよい。

このようにすれば、既存の撮像システムを大きく変更することなくマルチバンドの撮像システムを実現することが可能となる。即ち、従来の撮像装置に用いられてきたＲＧＢ撮像素子を他の特殊な撮像素子（例えばマルチバンドカラーフィルタを備えた撮像素子）に変更することなく、マルチバンド撮影を行うことができる。また、特殊な追加機構（例えば回転式のマルチバンドカラーフィルタ、分岐光学系）を用いることなく、マルチバンド撮影を行うことができる。特殊な撮像素子や追加機構が不要なため、解像度の低下や、コスト増大を避けることが可能である。

また本実施形態では、上式（１）で説明したように、第１色の画素値Ｂは、第１、第２バンドの成分値ｂ^（１）、ｂ^（２）を加算した値であり、第２色の画素値Ｇは、第２〜第４バンドの成分値ｂ^（２）、ｇ、ｒ^（１）を加算した値である。上式（９）で説明したように、マルチバンド推定部は、この第１、第２色の画素値Ｂ、Ｇに基づいて、第１バンドの成分値ｂ^（１）と、第２バンドの成分値ｂ^（２）と、第３、第４バンドの成分値ｇ、ｒ^（１）を加算した値である第１加算値ｒ^（１）＋ｇとの間の関係式を求める。そして、マルチバンド推定部は、その関係式に基づいて、第１バンドの成分値ｂ^（１）と、第２バンドの成分値ｂ^（２）と、第１加算値ｒ^（１）＋ｇとを推定する。

このようにすれば、隣り合った透過率特性が重なっている状態を、バンド成分値の加算式（上式（１））として表すことができる。そして、その加算式からバンド成分値間の関係式を求め、その関係式からバンド成分値を推定することが可能となる。

また本実施形態では、上式（９）で説明したように、マルチバンド推定部は、第１バンドの成分値ｂ^（１）を未知数として関係式を求める。図４及び上式（１１）で説明したように、マルチバンド推定部は、関係式で表した第１、第２バンドの成分値及び第１加算値｛ｂ^（１），ｂ^（２），ｇ＋ｒ^（１）｝と、第１、第２色の画素値｛Ｂ，Ｇ｝との間の誤差を表す誤差評価値Ｅ^ｂｇを求め、その誤差評価値Ｅ^ｂｇを最小にする未知数ｂ^（１）を決定し、その決定した未知数ｂ^（１）及び関係式（上式（９））に基づいて、第１、第２バンドの成分値及び第１加算値｛ｂ^（１），ｂ^（２），ｇ＋ｒ^（１）｝を決定する。

このようにすれば、２つの画素値｛Ｂ，Ｇ｝から３つの変数｛ｂ^（１），ｂ^（２），ｇ＋ｒ^（１）｝を決定する際に必要な１つの未知数ｂ^（１）を、誤差評価値Ｅ^ｂｇに基づいて決定でき、決定した未知数によりバンド成分値｛ｂ^（１），ｂ^（２），ｇ＋ｒ^（１）｝を決定できる。

また本実施形態では、上記と同様にして、マルチバンド推定部は、関係式（上式（４））を求め、その関係式に基づいて、第２、第３バンドの成分値ｂ^（２）、ｇを加算した値である第２加算値ｇ＋ｂ^（２）と、第４バンドの成分値ｒ^（１）と、第５バンドの成分値ｒ^（２）とを推定する（上式（１）〜（６））。そして、第１加算値ｇ＋ｒ^（１）と第４バンドの成分値ｒ^（１）から、又は第２加算値ｇ＋ｂ^（２）と第２バンドの成分値ｂ^（２）から第３バンドの成分値ｇを求める。

このようにすれば、バンド成分値｛ｒ^（１），ｒ^（２），ｇ＋ｂ^（２）｝を関係式で表し、その関係式を用いてバンド成分値｛ｒ^（１），ｒ^（２），ｇ＋ｂ^（２）｝を推定できる。そして、求めたバンド成分値｛ｂ^（１），ｂ^（２），ｇ＋ｒ^（１）｝及び｛ｒ^（１），ｒ^（２），ｇ＋ｂ^（２）｝を用いて、第１〜第５バンドの成分値｛ｂ^（１），ｂ^（２），ｇ，ｒ^（１），ｒ^（２）｝を求めることができる。

また本実施形態では、第１〜第３色は、それぞれ青色（Ｂ）、緑色（Ｇ）、赤色（Ｒ）である。マルチバンド推定部は、第１〜第５バンドの成分値｛ｂ^（１），ｂ^（２），ｇ，ｒ^（１），ｒ^（２）｝を、それぞれ第１青色成分値ｂ^（１）、第２青色成分値ｂ^（２）、緑色成分値ｇ、第１赤色成分値ｒ^（１）、第２赤色成分値ｒ^（２）として求める。

このようにすれば、例えばベイヤ配列等の既存のカメラシステムに搭載されたＲＧＢ撮像素子をそのまま利用して、５バンドのマルチバンド撮影を行うことが可能となる。なお、本実施形態では、第１〜第３色はＲＧＢに限定されず、波長軸上において隣り合う透過率特性が重なり部分を有する３つのカラーフィルタに対応した色であればよい。

２．第２のマルチバンド推定処理
２．１．基本構成例
次に、第２のマルチバンド推定処理について説明する。図５に、本処理における基本構成例を示す。図５に示すように、撮像光学系は、撮像素子のセンサ面に被写体を結像させる結像レンズＬＮＳと、第１瞳と第２瞳で帯域を分離する光学フィルタＦＬＴと、を含む。

なお以下では、第１瞳を右瞳とし、第２瞳を左瞳として説明するが、本実施形態ではこれに限定されない。即ち、瞳の分離方向は左右に限定されず、撮像光学系の光軸に対して垂直な任意の方向に第１瞳と第２瞳が分離されていればよい。

光学フィルタＦＬＴは、波長分割光｛ｂ^Ｒ，ｇ，ｒ^Ｒ｝を透過する特性の右瞳フィルタＦＬ１（広義には第１フィルタ）と、波長分割光｛ｂ^Ｌ，ｇ，ｒ^Ｌ｝を透過する特性の左瞳フィルタＦＬ２（広義には第２フィルタ）とを有する。光学フィルタＦＬＴは、撮像光学系の瞳位置（例えば絞りの設置位置）に設けられ、フィルタＦＬ１、ＦＬ２がそれぞれ右瞳、左瞳に相当する。

図６に示すように、右瞳フィルタＦＬ１は、図２で説明した成分｛ｂ^（１），ｇ，ｒ^（１）｝に対応する帯域ＢＤ１、ＢＤ３、ＢＤ４を透過するフィルタである。即ち、波長分割光｛ｂ^Ｒ，ｇ，ｒ^Ｒ｝は、成分｛ｂ^（１），ｇ，ｒ^（１）｝に対応する透過光である。また、左瞳フィルタＦＬ２は、図２で説明した成分｛ｂ^（２），ｇ，ｒ^（２）｝に対応する帯域ＢＤ２、ＢＤ３、ＢＤ５を透過するフィルタである。即ち、波長分割光｛ｂ^Ｌ，ｇ，ｒ^Ｌ｝は、成分｛ｂ^（２），ｇ，ｒ^（２）｝に対応する透過光である。

図５に示すように、結像レンズＬＮＳ及び光学フィルタＦＬＴを透過した結像光は、ＲＧＢベイヤ配列の撮像素子に入力され、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光強度として信号に変換されデータとして取得される。図６に示すように、右瞳を通過した波長分割光｛ｂ^Ｒ，ｇ，ｒ^Ｒ｝と、左瞳を通過した波長分割光｛ｂ^Ｌ，ｇ，ｒ^Ｌ｝は、波長帯域が明確に分離されている。一方、撮像素子のカラーフィルタの分光特性｛Ｆ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂ｝は、隣接する分光特性の波長帯域が重複した特性となっている。この重複状態を考慮すると、デモザイキング処理後の各画素における赤色、緑色、青色の画素値Ｒ、Ｇ、Ｂを、下式（１３）のようにモデル化することができる。
Ｒ＝ｇ_Ｒ＋ｒ^Ｒ _Ｒ＋ｒ^Ｌ _Ｒ，
Ｇ＝ｂ^Ｌ _Ｇ＋ｇ_Ｇ＋ｒ^Ｒ _Ｇ，
Ｂ＝ｂ^Ｒ _Ｂ＋ｂ^Ｌ _Ｂ＋ｇ_Ｂ （１３）

ここで、図７（Ｃ）に示すように、成分｛ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ，ｇ_Ｂ｝は、分光特性Ｆ_Ｂの青色フィルタを通過した波長分割光｛ｂ^Ｒ，ｂ^Ｌ，ｇ｝に対応する。図７（Ｄ）に示すように、成分｛ｂ^Ｌ _Ｇ，ｇ_Ｇ，ｒ^Ｒ _Ｇ｝は、分光特性Ｆ_Ｇの緑色フィルタを通過した波長分割光｛ｂ^Ｌ，ｇ，ｒ^Ｒ｝に対応する。また、図９（Ｄ）に示すように、成分｛ｇ_Ｒ，ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝は、分光特性Ｆ_Ｒの赤色フィルタを通過した波長分割光｛ｇ，ｒ^Ｒ，ｒ^Ｌ｝に対応する。各成分を表す符号の上付きサフィックスは、右瞳「Ｒ」及び左瞳「Ｌ」のいずれを通過したかを表し、下付サフィックスは、赤色フィルタ「Ｒ」、緑色フィルタ「Ｇ」、青色フィルタ「Ｂ」のいずれを通過したかを表している。

なお、｛Ｆ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂ｝、｛ｒ^Ｒ，ｇ，ｂ^Ｒ｝、｛ｒ^Ｌ，ｇ，ｂ^Ｌ｝は、いずれも波長λの関数であるが、表記を簡単にするために波長λを省略した。

２．２．｛ｂ^Ｒ，ｂ^Ｌ，（ｇ＋ｒ^Ｒ）｝の推定処理
次に、図７（Ａ）〜図１０を用いて、画素値｛Ｒ，Ｇ，Ｂ｝から成分｛ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ，ｇ_Ｂ｝、｛ｂ^Ｌ _Ｇ，ｇ_Ｇ，ｒ^Ｒ _Ｇ｝、｛ｇ_Ｒ，ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝を推定する処理について説明する。なお以下では、波長分割光｛ｂ^Ｒ，ｂ^Ｌ，ｇ，ｒ^Ｒ，ｒ^Ｌ｝に対応する帯域や成分を、適宜、同一の符号｛ｂ^Ｒ，ｂ^Ｌ，ｇ，ｒ^Ｒ，ｒ^Ｌ｝で表す。

まず上式（１３）を用いて、画素値｛Ｂ，Ｇ｝で重複している波長帯域｛ｂ^Ｌ，ｇ｝を、画素値｛Ｂ，Ｇ｝の差分に基づいて取り除き、成分ｂ^Ｒと成分［ｇ＋ｒ^Ｒ］の関係を求めることにより成分｛ｂ^Ｒ，ｂ^Ｌ，（ｇ＋ｒ^Ｒ）｝の関係式を導き出す処理を行う。

ここで注意しなければならないのは、図７（Ａ）〜図７（Ｄ）に示すように、波長帯域ｂ^Ｌに対応するのは画素値Ｂの成分ｂ^Ｌ _Ｂ及び画素値Ｇの成分ｂ^Ｌ _Ｇであるが、成分ｂ^Ｌ _Ｂ、ｂ^Ｌ _Ｇには、分光特性Ｆ_Ｂ、Ｆ_Ｇの相対ゲインが乗じられていることである。そのため、成分ｂ^Ｌ _Ｂ、ｂ^Ｌ _Ｇは、相対ゲインの分だけ異なる値であり、成分ｂ^Ｌ _Ｂ、ｂ^Ｌ _Ｇが等しくなるように補正する必要がある。

図７（Ｃ）、図７（Ｄ）に示すように、画素値Ｇを基準（例えば「１」）として、（ｂ^Ｌ _Ｂ＋ｇ_Ｂ）の成分比をｋ_Ｂ１とし、ｂ^Ｌ _Ｇの成分比をｋ_Ｂ２とすると、下式（１４）が成り立つ。ｋ_Ｂ１／ｋ_Ｂ２は、例えば帯域ｂ^Ｌにおける分光特性Ｆ_Ｂ、Ｆ_Ｇのゲイン比である。
ｂ^Ｌ _Ｂ＋ｇ_Ｂ＝（ｋ_Ｂ１／ｋ_Ｂ２）×ｂ^Ｌ _Ｇ （１４）

帯域ｂ^Ｌ、ｇにおける分光特性Ｆ_Ｂのゲインを考慮すると、成分ｇ_Ｂは成分ｂ^Ｌ _Ｂよりも十分小さいと考えられるため、成分ｂ^Ｌ _Ｂ、ｂ^Ｌ _Ｇを等しくするためには、成分（ｂ^Ｌ _Ｂ＋ｇ_Ｂ）と成分ｂ^Ｌ _Ｇがほぼ等しくなればよい。成分（ｂ^Ｌ _Ｂ＋ｇ_Ｂ）を補正した値を（ｂ^Ｌ _Ｂ’＋ｇ_Ｂ’）とすると、上式（１４）を用いて下式（１５）に示す補正を行えばよい。
ｂ^Ｌ _Ｂ’＋ｇ_Ｂ’≒ｂ^Ｌ _Ｇ＝（ｋ_Ｂ２／ｋ_Ｂ１）×（ｂ^Ｌ _Ｂ＋ｇ_Ｂ） （１５）

成分（ｂ^Ｌ _Ｂ＋ｇ_Ｂ）は画素値Ｂに含まれるため、成分（ｂ^Ｌ _Ｂ＋ｇ_Ｂ）を補正するためには、結局、画素値Ｂを補正することになる。この補正後のＢをＢ’とすると、下式（１６）の関係が得られる。
Ｂ’＝（ｋ_Ｂ２／ｋ_Ｂ１）Ｂ （１６）

上式（１６）より、Ｂ’の成分｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｂ’，ｇ_Ｂ’｝は下式（１７）となる。
ｂ^Ｒ _Ｂ’＝（ｋ_Ｂ２／ｋ_Ｂ１）×ｂ^Ｒ _Ｂ，
ｂ^Ｌ _Ｂ’＋ｇ_Ｂ’≒ｂ^Ｌ _Ｇ （１７）

上式（１３）、（１７）より、画素値Ｂ’と画素値Ｇを成分｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，ｇ_Ｇ，ｒ^Ｒ _Ｇ｝を用いて表すと、下式（１８）のようになる。
Ｂ’＝ｂ^Ｒ _Ｂ’＋（ｂ^Ｌ _Ｂ’＋ｇ_Ｂ’）＝ｂ^Ｒ _Ｂ’＋ｂ^Ｌ _Ｇ，
Ｇ ＝ｂ^Ｌ _Ｇ＋（ｇ_Ｇ＋ｒ^Ｒ _Ｇ） （１８）

次に、下式（１９）に示すように、補正後の画素値Ｂ’と画素値Ｇの差分を取ることにより、重複した成分ｂ^Ｌを取り除く。また上式（１８）より下式（２０）が成り立つ。
Ｂ’−Ｇ＝［ｂ^Ｒ _Ｂ’＋ｂ^Ｌ _Ｇ］−［ｂ^Ｌ _Ｇ＋ｇ_Ｇ＋ｒ^Ｒ _Ｇ］
＝ｂ^Ｒ _Ｂ’−（ｇ_Ｇ＋ｒ^Ｒ _Ｇ） （１９）
ｂ^Ｌ _Ｇ＝Ｂ’−ｂ^Ｒ _Ｂ’ （２０）

ｂ^Ｒ _Ｂ’を未知数（支配変数）とすると、上式（１９）、（２０）より｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝の関係式を下式（２１）のように求められる。
ｂ^Ｒ _Ｂ’＝未知数（支配変数）
ｂ^Ｌ _Ｇ＝Ｂ’−ｂ^Ｒ _Ｂ’
ｇ_Ｇ＋ｒ^Ｒ _Ｇ＝ｂ^Ｒ _Ｂ’−（Ｂ’−Ｇ） （２１）

｛Ｂ’，Ｇ｝は検出された既知の値であるので、上式（２１）に基づき未知数ｂ^Ｒ _Ｂ’が決まれば、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝が全て決まることになる。即ち、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝の尤度パターンを特定することができる。

図８に、この関係を原理的に表した図を示す。図８に示すように、未知数ｂ^Ｒ _Ｂ’として、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝と｛Ｂ’／２，Ｇ／２｝の誤差が最小になる値を求める。即ち、下式（２２）に示す誤差の評価値Ｅ_ＢＧが最小になる場合のｂ^Ｒ _Ｂ’を求め、求めたｂ^Ｒ _Ｂ’を上式（２１）に代入することにより、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝の値を決定する。
ｅ^Ｂ＝（Ｂ’／２−ｂ^Ｒ _Ｂ’）^２＋（Ｂ’／２−ｂ^Ｌ _Ｇ）^２，
ｅ^Ｇ＝（Ｇ／２−ｂ^Ｌ _Ｇ）^２＋（Ｇ／２−（ｇ_Ｇ＋ｒ^Ｒ _Ｇ））^２，
Ｅ_ＢＧ＝ｅ^Ｂ＋ｅ^Ｇ （２２）

以上のようにして、各画素の２バンド画素値｛Ｂ’，Ｇ｝から成分｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝を推定することができる。

２．３．｛（ｂ^Ｌ＋ｇ），ｒ^Ｒ，ｒ^Ｌ｝の推定処理
次に、画素値｛Ｇ，Ｒ｝から成分｛（ｂ^Ｌ＋ｇ），ｒ^Ｒ，ｒ^Ｌ｝を推定する。具体的には、上式（１３）を用いて、画素値｛Ｇ，Ｒ｝で重複している波長帯域｛ｇ，ｒ^Ｒ｝を、画素値｛Ｇ，Ｒ｝の差分に基づいて取り除き、成分［ｂ^Ｌ＋ｇ］と成分ｒ^Ｌの関係を求めることにより成分｛（ｂ^Ｌ＋ｇ），ｒ^Ｒ，ｒ^Ｌ｝の関係式を導き出す処理を行う。

図９（Ａ）〜図９（Ｄ）に示すように、波長帯域ｒ^Ｒに対応するのは画素値Ｇの成分ｒ^Ｒ _Ｇ及び画素値Ｒの成分ｒ^Ｒ _Ｒであるが、成分ｒ^Ｒ _Ｇ、ｒ^Ｒ _Ｒには、分光特性Ｆ_Ｇ、Ｆ_Ｒの相対ゲインが乗じられている。そのため、成分ｒ^Ｒ _Ｇ、ｒ^Ｒ _Ｒは、相対ゲインの分だけ異なる値であり、成分ｒ^Ｒ _Ｇ、ｒ^Ｒ _Ｒが等しくなるように補正する必要がある。

図９（Ｃ）、図９（Ｄ）に示すように、画素値Ｇを基準（例えば「１」）として、（ｇ_Ｒ＋ｒ^Ｒ _Ｒ）の成分比をｋ_Ｒ１とし、ｒ^Ｒ _Ｇの成分比をｋ_Ｒ２とすると、下式（２３）が成り立つ。ｋ_Ｒ１／ｋ_Ｒ２は、例えば帯域ｒ^Ｒにおける分光特性Ｆ_Ｇ、Ｆ_Ｒのゲイン比である。
ｇ_Ｒ＋ｒ^Ｒ _Ｒ＝（ｋ_Ｒ２／ｋ_Ｒ１）×ｒ^Ｒ _Ｇ （２３）

帯域ｇ、ｒ^Ｒにおける分光特性Ｆ_Ｒのゲインを考慮すると、成分ｇ_Ｒは成分ｒ^Ｒ _Ｒよりも十分小さいと考えられるため、成分ｒ^Ｒ _Ｇ、ｒ^Ｒ _Ｒを等しくするためには、成分（ｇ_Ｒ＋ｒ^Ｒ _Ｒ）と成分ｒ^Ｒ _Ｇがほぼ等しくなればよい。成分（ｇ_Ｒ＋ｒ^Ｒ _Ｒ）を補正した値を（ｇ_Ｒ’＋ｒ^Ｒ _Ｒ’）とすると、上式（２３）を用いて下式（２４）に示す補正を行えばよい。
ｇ_Ｒ’＋ｒ^Ｒ _Ｒ’≒ｒ^Ｒ _Ｇ＝（ｋ_Ｒ２／ｋ_Ｒ１）×（ｇ_Ｒ＋ｒ^Ｒ _Ｒ） （２４）

成分（ｇ_Ｒ＋ｒ^Ｒ _Ｒ）は画素値Ｒに含まれるため、成分（ｇ_Ｒ＋ｒ^Ｒ _Ｒ）を補正するためには、結局、画素値Ｒを補正することになる。この補正後のＲをＲ’とすると、下式（２５）の関係が得られる。
Ｒ’＝（ｋ_Ｒ２／ｋ_Ｒ１）Ｒ （２５）

上式（２５）より、Ｒ’の成分｛ｇ_Ｒ’，ｒ^Ｒ _Ｒ’，ｒ^Ｌ _Ｒ’｝は下式（２６）となる。
ｇ_Ｒ’＋ｒ^Ｒ _Ｒ’≒ｒ^Ｒ _Ｇ，
ｒ^Ｌ _Ｒ’＝（ｋ_Ｒ２／ｋ_Ｒ１）×ｒ^Ｌ _Ｒ （２６）

上式（１３）、（２６）より、画素値Ｇと画素値Ｒ’を成分｛ｂ^Ｌ _Ｇ，ｇ_Ｇ，ｒ^Ｒ _Ｇ，ｒ^Ｌ _Ｒ’｝を用いて表すと、下式（２７）のようになる。
Ｇ ＝ｂ^Ｌ _Ｇ＋（ｇ_Ｇ＋ｒ^Ｒ _Ｇ），
Ｒ’＝（ｇ_Ｒ’＋ｒ^Ｒ _Ｒ’）＋ｒ^Ｌ _Ｒ’＝ｒ^Ｒ _Ｇ＋ｒ^Ｌ _Ｒ’ （２７）

次に、下式（２８）に示すように、画素値Ｇと補正後の画素値Ｒ’の差分を取ることにより、重複した成分ｒ^Ｒを取り除く。また上式（２７）より下式（２９）が成り立つ。
Ｇ−Ｒ’＝［ｂ^Ｌ _Ｇ＋ｇ_Ｇ＋ｒ^Ｒ _Ｇ）］−［ｒ^Ｒ _Ｇ＋ｒ^Ｌ _Ｒ’］
＝（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）−ｒ^Ｌ _Ｒ’ （２８）
ｒ^Ｒ _Ｇ＝Ｒ’−ｒ^Ｌ _Ｒ’ （２９）

ｒ^Ｌ _Ｒ’を未知数（支配変数）とすると、上式（２８）、（２９）より｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝の関係式を下式（３０）のように求められる。
ｒ^Ｌ _Ｒ’＝未知数（支配変数），
ｒ^Ｒ _Ｇ＝Ｒ’−ｒ^Ｌ _Ｒ’ ，
ｂ^Ｌ _Ｇ＋ｇ_Ｇ＝ｒ^Ｌ _Ｒ’＋（Ｇ−Ｒ’） （３０）

｛Ｇ，Ｒ’｝は検出された既知の値であるので、上式（３０）に基づき未知数ｒ^Ｌ _Ｒ’が決まれば、｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝が全て決まることになる。即ち、｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝の尤度パターンを特定することができる。

図１０に、この関係を原理的に表した図を示す。図１０に示すように、未知数ｒ^Ｌ _Ｒ’として、｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝と｛Ｇ／２，Ｒ’／２｝の誤差が最小になる値を未知数ｒ^Ｌ _Ｒ’として求める。即ち、下式（３１）に示す誤差の評価値Ｅ_ＧＲが最小になる場合のｒ^Ｌ _Ｒ’を求め、求めたｒ^Ｌ _Ｒ’を上式（３０）に代入することにより、｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝の値を決定する。
ｅ^Ｇ＝（Ｇ／２−（ｂ^Ｌ _Ｇ＋ｇ_Ｇ））^２＋（Ｇ／２−ｒ^Ｒ _Ｇ）^２，
ｅ^Ｇ＝（Ｒ’／２−ｒ^Ｒ _Ｇ）^２＋（Ｒ’／２−（ｒ^Ｌ _Ｒ’））^２，
Ｅ_ＧＲ＝ｅ^Ｇ＋ｅ^Ｒ （３１）

以上のようにして、各画素の２バンド画素値｛Ｇ，Ｒ’｝から成分｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝を推定することができる。

なお、上式（２２）、（３１）では画素値｛Ｂ’，Ｇ｝、｛Ｇ，Ｒ’｝に対して係数１／２を掛けて評価値を算出したが、係数は１／２に限定されない。第１のマルチバンド推定処理で説明（例えば上式（１０））したように、係数は０より大きく１以下であればよい。

また、評価値Ｅ_ＢＧ、Ｅ_ＧＲの算出手法は上記手法に限定されず、種々の方法が考えられることは言うまでもない。例えば、評価値Ｅ_ＢＧを例にとれば、予め対象とする被写体（例えば、自然被写体あるいは医療用の生体内被写体など）を多数撮像し、取得された｛Ｒ，Ｇ，Ｂ｝により得られる｛Ｂ’，Ｇ｝から、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝の値の生起パターンを上記のようにして求める。そして、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝の生起パターンの確率分布において、局所的に生起確率が高いピークを示すパターンか、または部分的な確率分布領域を設定し、その中のパターン群の平均パターンを示すパターン｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝を代表パターンとして定める。このようにして、予め定めた複数の代表パターンを設定しておく。そして、改めて（実際の撮影で）取得された｛Ｂ，Ｇ｝から推定を行う際には、取得された｛Ｂ，Ｇ｝から上記のように｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝を計算し、その計算により求めた｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝と、予め設定した代表パターンとのユークリッド距離を評価値として求める。予め設定された代表パターンのうち最もユークリッド距離が小さい、即ち最も類似する代表パターンを推定パターンとし、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝の値として特定してもよい。なお、予め代表パターンを設定する際に、対象被写体の｛Ｂ’，Ｇ｝の生起パターンから｛Ｂ’，Ｇ｝の代表パターンを求めてもよい。そして、実際に撮影した｛Ｂ’，Ｇ｝から推定する際に、撮影で取得した｛Ｂ’，Ｇ｝と、代表パターンとのユークリッド距離を評価値として求め、評価値の最も小さい｛Ｂ’，Ｇ｝の代表パターンに対して上記の推定処理を行い、最終的な推定パターン｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝を特定してもよい。

２．４．成分値の算出処理
次に、上記で求めた値｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝、｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝を用いて、画素値Ｂを構成する成分｛ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝の値、画素値Ｇを構成する成分｛ｂ^Ｌ _Ｇ，ｇ_Ｇ，ｒ^Ｒ _Ｇ｝の値、画素値Ｒを構成する成分｛ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝の値を算出する。

上式（１７）、（２６）より、ｂ^Ｒ _Ｂ，ｒ^Ｌ _Ｒは、下式（３２）により求められる。
ｂ^Ｒ _Ｂ＝（ｋ_Ｂ１／ｋ_Ｂ２）×ｂ^Ｒ _Ｂ’ ，
ｒ^Ｌ _Ｒ＝（ｋ_Ｒ１／ｋ_Ｒ２）×ｒ^Ｌ _Ｒ’ （３２）

ｇ_Ｂ≪ｂ^Ｒ _Ｂ，ｇ_Ｒ≪ｒ^Ｌ _Ｒであることを用いて、上式（１３）より、ｂ^Ｌ _Ｂ，ｒ^Ｒ _Ｒは、下式（３３）により求められる。
ｂ^Ｌ _Ｂ＝Ｂ−（ｂ^Ｒ _Ｂ＋ｇ_Ｂ）≒Ｂ−ｂ^Ｒ _Ｂ，
ｒ^Ｒ _Ｒ＝Ｒ−（ｒ^Ｌ _Ｒ＋ｇ_Ｒ）≒Ｒ−ｒ^Ｌ _Ｒ （３３）

上式（１３）より、ｂ^Ｌ _Ｇ，ｒ^Ｒ _Ｇは、下式（３４）により求められる。
ｂ^Ｌ _Ｇ＝Ｇ−（ｇ_Ｇ＋ｒ^Ｒ _Ｇ），
ｒ^Ｒ _Ｇ＝Ｇ−（ｇ_Ｇ＋ｂ^Ｌ _Ｇ） （３４）

上式（１３）、（３４）より、ｇ_Ｇは、下式（３５）により求められる。
ｇ_Ｇ＝Ｇ−（ｂ^Ｌ _Ｇ＋ｒ^Ｒ _Ｇ） （３５）

２．５．マルチバンド画像の取得処理
図５に示すように、光学フィルタＦＬＴの透過光を撮像することで、右瞳を通過した被写体像Ｉ^Ｒと、左瞳を通過した被写体像Ｉ^Ｌが得られる。図５では、撮像素子のセンサ面がデフォーカス位置ＰＤにある場合を例に、Ｉ^Ｒ、Ｉ^Ｌを図示しており、ｈは水平方向（広義には瞳の分離方向）に沿った軸である。像Ｉ^ＲのＲ、Ｇ、Ｂ成分は、それぞれ（ｒ^Ｒ _Ｒ，ｇ_Ｒ）、（ｇ_Ｇ，ｒ^Ｒ _Ｇ）、（ｂ^Ｒ _Ｂ，ｇ_Ｂ）であり、像Ｉ^ＬのＲ、Ｇ、Ｂ成分は、それぞれ（ｒ^Ｌ _Ｒ，ｇ_Ｒ）、（ｇ_Ｇ，ｒ^Ｌ _Ｇ）、（ｂ^Ｌ _Ｂ，ｇ_Ｂ）である。

撮像素子のセンサ面がフォーカス位置ＰＦにあるフォーカス時では、像Ｉ^Ｒ、Ｉ^Ｌのずれは無くなる。即ち、同一画素におけるｒ^Ｒ _Ｒとｒ^Ｌ _Ｒ、ｒ^Ｒ _Ｇとｂ^Ｌ _Ｇ、ｂ^Ｒ _Ｂとｂ^Ｌ _Ｂ、ｇ_Ｇは、全て被写体の同一微小領域からの反射光の色光を表している。即ち、結像時の撮像素子の任意の画素のＲ、Ｇ、Ｂ値から、下式（３６）に示す５バンド｛Ｒ_１，Ｒ_２，Ｇ，Ｂ_１，Ｂ_２｝の色画像（マルチバンド画像）を得ることができる。
Ｒ_１＝ｒ^Ｒ _Ｒ，Ｒ_２＝ｒ^Ｌ _Ｒ，Ｇ＝ｒ^Ｒ _Ｇ＋ｇ_Ｇ＋ｂ^Ｌ _Ｇ，Ｂ_１＝ｂ^Ｒ _Ｂ，Ｂ_２＝ｂ^Ｌ _Ｂ （３６）

以上の実施形態によれば、図７（Ａ）〜図７（Ｆ）で説明したように、マルチバンド推定部は、第１、第２色フィルタの透過率特性Ｆ_Ｂ、Ｆ_Ｇに基づいて、第１色の画素値Ｂと第２色の画素値Ｇとの間の相対的なゲイン比ｋ_Ｂ１／ｋ_Ｂ２を補正し、補正後の第１、第２色の画素値Ｂ’、Ｇを用いて第１〜第５バンドの成分値を推定する。

より具体的には、上式（１４）〜（１７）で説明したように、マルチバンド推定部は、第２バンド（ｂ^Ｌ）での第２色フィルタ（Ｆ_Ｇ）の透過率ｋ_Ｂ２と、第２バンド（ｂ^Ｌ）での第１色フィルタ（Ｆ_Ｂ）の透過率ｋ_Ｂ１との比ｋ_Ｂ１／ｋ_Ｂ２を、第１色の画素値Ｂに乗じて、ゲイン比を補正する。

撮像素子のカラーフィルタでは、一般的に色に依って透過率特性が異なるため、色に依ってゲインが異なっている。本実施形態によれば、透過率特性の重なり部分に対応するバンドが存在するため、そのバンドにおける相対的なゲイン比ｋ_Ｂ１／ｋ_Ｂ２を求めることができ、そのゲイン比を用いて、色に依って異なるゲインを補正できる。

また本実施形態では、図５で説明したように、撮像素子（撮像素子のセンサ面）には、撮像光学系の瞳を第１瞳（例えば右瞳）と第２瞳（左瞳）に分割する光学フィルタＦＬＴを透過した光が結像される。図６で説明したように、第１瞳（第１瞳フィルタＦＬ１）は、第１、第２バンドの一方ｂ^Ｒ＝ｂ^（１）と、第３バンドｇと、第４、第５バンドの一方ｒ^Ｒ＝ｒ^（１）とを透過する。第２瞳（第２瞳フィルタＦＬ２）は、第１、第２バンドの他方ｂ^Ｌ＝ｂ^（２）と、第３バンドｇと、第４、第５バンドの他方ｒ^Ｌ＝ｒ^（２）とを透過する。マルチバンド推定部は、第１瞳及び第２瞳の透過光が撮像された画像に基づいて、第１〜第５バンドの成分値を推定する。

このようにすれば、第１瞳、第２瞳に対応するバンド成分値を、それぞれ求めることができる。これにより、瞳分割を利用した種々の応用処理が可能となる。また、第１瞳、第２瞳にそれぞれＲＧＢ成分が含まれるため、撮像画像のピンぼけ領域においても色ずれが生じにくい。なお、上記の実施形態では、ｂ^（１）、ｒ^（１）が第１瞳に割り当てられる場合を例に説明したが、本実施形態ではこれに限定されず、ｂ^（１）、ｂ^（２）のいずれが第１瞳に割り当てられてもよいし、ｒ^（１）、ｒ^（２）のいずれが第１瞳に割り当てられてもよい。

また本実施形態では、上式（３２）〜（３５）に示すように、マルチバンド推定部は、青色の画素値Ｂを構成する第１、第２バンドの成分値｛ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝を、それぞれ第１、第２青色成分値として求め、緑色の画素値Ｇを構成する第２〜第４バンドの成分値｛ｂ^Ｌ _Ｇ，ｇ_Ｇ，ｒ^Ｒ _Ｇ｝を、それぞれ第１〜第３緑色成分値として求め、赤色の画素値Ｒを構成する第４、第５バンドの成分値｛ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝を、それぞれ第１、第２赤色成分値として求める。

より具体的には、上式（３６）で説明したように、マルチバンド推定部は、第１、第２青色成分値Ｂ_１＝ｂ^Ｒ _Ｂ、Ｂ_２＝ｂ^Ｌ _Ｂと、第１〜第３緑色成分値｛ｂ^Ｌ _Ｇ，ｇ_Ｇ，ｒ^Ｒ _Ｇ｝の加算値である緑色成分値Ｇと、第１、第２赤色成分値Ｒ_１＝ｒ^Ｒ _Ｒ、Ｒ_２＝ｒ^Ｌ _Ｒとで、５バンドの成分値を構成する。

このようにすれば、第１〜第５バンドの成分値を、第１瞳の通過光に対応する成分値Ｂ_１＝ｂ^Ｒ _Ｂ、Ｇ、Ｒ_１＝ｒ^Ｒ _Ｒと、第２瞳の通過光に対応する成分値Ｂ_２＝ｂ^Ｌ _Ｂ、Ｇ、Ｒ_２＝ｒ^Ｌ _Ｒとに分離して求めることができる。なお、緑色成分値Ｇの構成手法は、上記に限定されず、例えば各瞳の緑色成分値を分離して構成してもよい。

３．第３のマルチバンド推定処理
３．１．候補発生による推定処理
次に、第３のマルチバンド推定処理について説明する。

図１１に示すように、ゲイン補正を行った５バンドの成分の関係式を第２のマルチバンド推定処理と同様にして求める。下記に、第２のマルチバンド推定処理で説明した式（２１）、（３０）を再掲する。
ｂ^Ｒ _Ｂ’＝未知数（支配変数），
ｂ^Ｌ _Ｇ＝Ｂ’−ｂ^Ｒ _Ｂ’ ，
ｇ_Ｇ＋ｒ^Ｒ _Ｇ＝ｂ^Ｒ _Ｂ’−（Ｂ’−Ｇ） （２１）
ｒ^Ｌ _Ｒ’＝未知数（支配変数），
ｒ^Ｒ _Ｇ＝Ｒ’−ｒ^Ｌ _Ｒ’ ，
ｂ^Ｌ _Ｇ＋ｇ_Ｇ＝ｒ^Ｌ _Ｒ’＋（Ｇ−Ｒ’） （３０）

ｂ^Ｒ _Ｂ’、ｒ^Ｌ _Ｒ’は、検出されるはずの分割帯域成分ｂ^Ｒ _Ｂ、ｒ^Ｌ _Ｒの補正値であり、第２のマルチバンド推定処理で説明した式（１７）、（２６）より、下式（３７）で表される。
ｂ^Ｒ _Ｂ’＝（ｋ_Ｂ２／ｋ_Ｂ１）×ｂ^Ｒ _Ｂ，
ｒ^Ｌ _Ｒ’＝（ｋ_Ｒ２／ｋ_Ｒ１）×ｒ^Ｌ _Ｒ （３７）

さて、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝及び｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝のそれぞれのパターンの成分値は、正の値であってかつ取り得る値の範囲に制限があることに注目する。

具体的には、撮像画像として取得する補正前の３原色画素値を、Ｂ（青）、Ｇ（緑）、Ｒ（赤）とし、センサ飽和値以下に設定される最大値の量子化ステップ数をＮ（Ｎは自然数）とする。例えば、８ビット画像として扱うときは、Ｎ＝２５６である。このとき、画素値Ｒ、Ｇ、Ｂは下式（３８）の範囲を取り得る。
０≦Ｂ＜Ｎ，０≦Ｇ＜Ｎ，０≦Ｒ＜Ｎ （３８）

なお、Ｒ、Ｇ、Ｂの量子化ステップ数は一般的に同一とすると扱いやすいので共通のＮ値としているが、意図的に各色ごとに量子化ステップ数を異ならせても構わない。

Ｂ及びＲの補正前の検出成分は｛ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝、｛ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝であり、それぞれ２成分を加算した値が、Ｂ及びＲになると定義しているので、下式（３９）が成り立つ。
０≦Ｂ（＝ｂ^Ｒ _Ｂ＋ｂ^Ｌ _Ｂ）＜Ｎ，０≦Ｒ（＝ｒ^Ｒ _Ｒ＋ｒ^Ｌ _Ｒ）＜Ｎ （３９）

ｂ^Ｒ _Ｂとｂ^Ｌ _Ｂが独立した変数であり、ｒ^Ｌ _Ｒとｒ^Ｒ _Ｒが独立した変数であると仮定すれば、ｂ^Ｒ _Ｂ、ｒ^Ｌ _Ｒは下式（４０）の範囲を取り得る。
０≦ｂ^Ｒ _Ｂ＜Ｎ，０≦ｒ^Ｌ _Ｒ＜Ｎ （４０）

上式（３７）、（４０）より、ｂ^Ｒ _Ｂ’、ｒ^Ｌ _Ｒ’は下式（４１）の範囲を取り得る。
０≦ｂ^Ｒ _Ｂ’＜Ｎ×（ｋ_Ｂ２／ｋ_Ｂ１），
０≦ｒ^Ｌ _Ｒ’＜Ｎ×（ｋ_Ｒ２／ｋ_Ｒ１） （４１）

また、Ｇの検出成分は｛ｂ^Ｌ _Ｇ，ｇ_Ｇ，ｒ^Ｒ _Ｇ｝であり、これら３成分を加算した値が、Ｇになると定義しているので、下式（４２）が成り立つ。
０≦Ｇ（＝ｂ^Ｌ _Ｇ＋ｇ_Ｇ＋ｒ^Ｒ _Ｇ）＜Ｎ （４２）

ｂ^Ｌ _Ｇ、ｇ_Ｇ、ｒ^Ｒ _Ｇが独立した変数であると仮定すれば、ｂ^Ｌ _Ｇ、ｇ_Ｇ、ｒ^Ｒ _Ｇは下式（４３）の範囲を取り得る。
０≦ｂ^Ｌ _Ｇ＜Ｎ，０≦ｇ_Ｇ＜Ｎ，０≦ｒ^Ｒ _Ｇ＜Ｎ （４３）

上式（４３）より、（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）及び（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）は、下式（４４）の範囲を取り得る。
０≦（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）＜２Ｎ，０≦（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）＜２Ｎ （４４）

上式（４１）、（４３）、（４４）の制限条件を、上式（２１）、（３０）の関係式に適用すると、｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝及び｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝のパターンの推定候補は限定されることになる。

即ち、上式（４１）に示す０≦ｂ^Ｒ _Ｂ’＜Ｎ×（ｋ_Ｂ２／ｋ_Ｂ１）の範囲内の各値を、未知数ｂ^Ｒ _Ｂ’の候補として発生する。各候補を上式（２１）に代入し、既知の画素値｛Ｂ，Ｇ｝を用いて｛ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝を求める。各候補から求めた｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝のうち、上式（４３）、（４４）の条件を満たすもののみを残す。同様に、上式（３０）についても候補の発生を行い、条件を満たす｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝のみを残す。条件を満たす候補は、複数存在する可能性がある。候補が複数残った場合には、例えばそれらの平均値を最終的な値として決定すればよい。

３．２．ルックアップテーブルを用いた推定処理
次に、第３のマルチバンド推定処理の変形例について説明する。

図１２に示すように、上式（３８）の定義域を満たす｛Ｒ，Ｇ，Ｂ｝の全ての組み合わせを発生させる。｛Ｒ，Ｇ，Ｂ｝の各組み合わせについて、上式（４１）の定義域を満たす未知数ｂ^Ｒ _Ｂ’、ｒ^Ｌ _Ｒ’の候補を発生させる。そして、上式（４３）、（４４）の制限条件を満たす推定値｛ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝及び｛ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝を残す。このようにして得られる推定パターン｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝及び｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝をテーブル化し、図１２に示すような尤度パターン決定テーブルを予め作成しておく。

マルチバンド推定を行う際には、撮像画像の画素値｛Ｒ，Ｇ，Ｂ｝をテーブルから検索して推定パターン｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝、｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｇ，（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝を決定する。そして、その推定パターンから、画素値Ｂを構成する成分｛ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝の値、画素値Ｇを構成する成分｛ｂ^Ｌ _Ｇ，ｇ_Ｇ，ｒ^Ｒ _Ｇ｝の値、画素値Ｒを構成する成分｛ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝の値を、最終的に算出する。

なお、図１３に示すように、制限条件を満たす推定パターンのうち、｛Ｒ，Ｇ，Ｂ｝の同一組み合わせパターンから得られる推定パターンは単一とは限らず、複数得られる場合がある。この場合、それら推定パターンの平均をとって尤度パターンとし、予めテーブルを作成しておけばよい。

ここで、上記では定義域に基づく制限条件を用いてテーブルを作成したが、本実施形態のテーブル作成手法はこれに限定されない。例えば、撮像対象となる画像（例えばデジタルカメラの場合は自然画像、内視鏡の場合は生体内画像など）を母集団とする。そして、母集団の統計的な関係に基づいて、画素値｛Ｒ，Ｇ，Ｂ｝に対して最も発生確率が高い尤度パターン｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，ｒ^Ｒ _Ｇ，ｒ^Ｌ _Ｒ’，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ），（ｂ^Ｌ _Ｇ＋ｇ_Ｇ）｝の対応テーブルを、予め作成しておいて参照テーブルとしてもよい。

以上の実施形態によれば、図１２又は図１３で説明したように、マルチバンド推定部は、第１バンドの成分値ｂ^Ｒ _Ｂ’を未知数として関係式（上式（２１））を求め、未知数ｂ^Ｒ _Ｂ’の候補として、複数の候補値を生成する。マルチバンド推定部は、その複数の候補値の中から、第１、第２色の画素値Ｂ、Ｇの定義域（上式（３８））に基づく選択条件を満たす候補値を、関係式（上式（２１））に基づいて選択する。そして、マルチバンド推定部は、選択した候補値に基づいて、第１バンドの成分値と、第２バンドの成分値と、第１加算値と｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝を求める。

具体的には、選択条件は、関係式（上式（２１））に候補値を代入して求めた第１バンドの成分値と、第２バンドの成分値と、第１加算値と｛ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｇ，（ｇ_Ｇ＋ｒ^Ｒ _Ｇ）｝が、第１、第２色の画素値Ｂ、Ｇの定義域（上式（３８））に矛盾しないという条件（上式（４１）、（４３）、（４４））である。

より具体的には、マルチバンド推定部は、第１、第２色の画素値Ｂ、Ｇの定義域（上式（３８））に基づいて第１バンドの成分値ｂ^Ｒ _Ｂ’が取り得る範囲内の値（上式（４１））を、複数の候補値として生成する。

このようにすれば、候補値を関係式に代入して求めたバンドの成分値が、画素値の定義域に基づいて存在し得ないと判断された場合に、その候補値を除外し、画素値の定義域に矛盾しない候補値に基づいて最終的な推定値を決定できる。

４．撮像装置、画像処理装置
図１４に、本実施形態のマルチバンド推定処理を行う撮像装置の構成例を示す。図１４の撮像装置は、結像レンズＬＮＳ、光学フィルタＦＬＴ、撮像素子１０、撮像処理部２０、画像処理装置２５（画像処理部）、モニタ表示部４０を含む。画像処理装置２５は、ＲＧＢ画像生成部３０、ＲＧＢフィルタ特性データ記録部５０、領域選択部６０、マルチバンド推定部７０、マルチバンドデータ記録部８０、データ圧縮部９０、ＲＧＢデータ記録部１００を含む。

撮像素子１０は、結像レンズＬＮＳ及び光学フィルタＦＬＴによって結像された被写体を撮像する。光学フィルタＦＬＴは、図５で説明したように右瞳と左瞳の透過帯域が異なる。撮像処理部２０は、撮像素子１０による撮像動作の制御や、アナログの画素信号をＡ／Ｄ変換する処理などを行う。

ＲＧＢ画像生成部３０は、撮像により得られたＲＧＢベイヤ画像のデモザイキング処理や、高画質化処理などを行い、ＲＧＢ３板画像（画素値Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ））を出力する。ｉ，ｊは、自然数であり、それぞれ画像の水平走査方向、垂直走査方向における位置（座標）を表す。モニタ表示部４０は、ＲＧＢ３板画像をモニタ（表示装置）に表示する。

ＲＧＢフィルタ特性データ記録部５０は、撮像素子１０がもつカラーフィルタの透過率特性（分光特性）Ｆ_Ｒ（λ）、Ｆ_Ｇ（λ）、Ｆ_Ｂ（λ）のデータを記憶しており、そのデータをマルチバンド推定部７０に出力する。但し、撮像されるＲＧＢ成分は、厳密にはカラーフィルタのみならず撮像素子１０の分光感度特性や、結像レンズＬＮＳの分光特性によって決まるものである。上記ではカラーフィルタの透過率特性がＲＧＢフィルタ特性であるものとして説明したが、本実施形態では、当然、撮像素子１０や結像レンズＬＮＳの分光特性を含んだ特性データをＲＧＢフィルタ特性データとして定義している。領域選択部６０は、図示しないユーザインターフェースを介してユーザが選択した領域の画像を、ＲＧＢ３板画像から抽出し、その抽出した画像をマルチバンド推定部７０に出力する。

マルチバンド推定部７０は、ユーザが選択した領域の画像に対して本実施形態のマルチバンド推定処理を行い、５バンドのマルチバンド画像（成分値Ｒ_１（ｉ，ｊ）、Ｒ_２（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ_１（ｉ，ｊ）、Ｂ_２（ｉ，ｊ）、図１４では簡単のため（ｉ，ｊ）を省略する）を出力する。なお、領域選択を行わず、ＲＧＢ３板画像の全体に対してマルチバンド推定処理を行ってもよい。マルチバンドデータ記録部８０は、マルチバンド画像のデータを記録する。

データ圧縮部９０は、ＲＧＢ３板画像のデータに対して圧縮処理を行う。ＲＧＢデータ記録部１００は、圧縮されたＲＧＢ３板画像データと、カラーフィルタの透過率特性データとを記録する。これらの記録データは、撮影後の事後処理においてマルチバンド推定処理に用いることが可能である。事後処理は、撮像装置の中の画像処理装置２５で行ってもよいし、撮像装置と別体に構成された画像処理装置で行ってもよい。

図１５に、撮像装置と別体に構成された画像処理装置の構成例を示す。図１５の画像処理装置は、データ記録部２００、データ伸張部２１０、伸張データ記憶部２２０、モニタ画像生成部２３０、モニタ画像表示部２４０、画像データ選択部２５０、選択フレーム記憶部２６０、マルチバンド推定部２７０、マルチバンド処理部２８０を含む。この画像処理装置としては、例えばＰＣ等の情報処理装置が想定される。

データ記録部２００は、例えば外部記憶装置（例えばメモリカード）により構成され、撮像装置により記録されたＲＧＢ３板画像データ及び透過率特性データを記憶している。データ伸張部２１０は、撮像装置により圧縮されたＲＧＢ３板画像データを伸張する処理を行う。伸張データ記憶部２２０は、伸張されたＲＧＢ３板画像データを記憶する。

モニタ画像生成部２３０は、ＲＧＢ３板画像データからモニタ表示用の画像を生成する。モニタ表示部２４０は、そのモニタ表示用の画像をモニタに表示する。画像データ選択部２５０は、図示しないユーザインターフェースを介してユーザ（操作者）が選択したフレームのＩＤを、伸張データ記憶部２２０に出力する。伸張データ記憶部２２０は、複数のＲＧＢ３板画像（複数の静止画像、又は動画像）の中から、選択フレームの画像を出力する。選択フレーム記憶部２６０は、選択フレームの画像を記憶する。

マルチバンド推定部２７０は、選択フレームの画像（画素値Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ））と、カラーフィルタの透過率特性Ｆ_Ｒ（λ）、Ｆ_Ｇ（λ）、Ｆ_Ｂ（λ）とに基づいて、マルチバンド画像Ｉ^Ｒ（ｉ，ｊ）、Ｉ^Ｌ（ｉ，ｊ）を推定する処理を行う。Ｉ^Ｒ（ｉ，ｊ）、Ｉ^Ｌ（ｉ，ｊ）は、それぞれ右瞳、左瞳を通過した被写体像に対応する。マルチバンド処理部２８０は、マルチバンド画像Ｉ^Ｒ（ｉ，ｊ）、Ｉ^Ｌ（ｉ，ｊ）を用いて種々の応用処理を行う。マルチバンド処理部２８０では、瞳の分離やマルチバンドの色成分などの多次元の情報を利用して、多様な処理を実現可能である。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またマルチバンド推定部、画像処理装置、撮像光学系、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。

１０ 撮像素子、２０ 撮像処理部、２５ 画像処理装置、３０ ＲＧＢ画像生成部、
４０ モニタ表示部、５０ ＲＧＢフィルタ特性データ記録部、６０ 領域選択部、
７０ マルチバンド推定部、８０ マルチバンドデータ記録部、９０ データ圧縮部、
１００ ＲＧＢデータ記録部、２００ データ記録部、２１０ データ伸張部、
２２０ 伸張データ記憶部、２３０ モニタ画像生成部、２４０ モニタ画像表示部、
２５０ 画像データ選択部、２６０ 選択フレーム記憶部、
２７０ マルチバンド推定部、２８０ マルチバンド処理部、
Ｂ，Ｇ，Ｒ 画素値、ＢＤ１〜ＢＤ５ 第１〜第５バンド、
Ｆ_Ｂ，Ｆ_Ｇ，Ｆ_Ｒ 第１〜第３透過率特性、ＦＬ１ 右瞳フィルタ、
ＦＬ２ 左瞳フィルタ、ＦＬＴ 光学フィルタ、Ｉ^Ｌ，Ｉ^Ｒ 被写体像、
ＬＮＳ 結像レンズ、ＰＤ デフォーカス位置、ＰＦ フォーカス位置、
ｂ^（１），ｂ^（２） 第１、第２青色成分値、ｇ 緑色成分値、
ｒ^（１），ｒ^（２） 第１、第２赤色成分値、ｋ_Ｂ１／ｋ_Ｂ２ ゲイン比、λ 波長

Claims (16)

1. 第１透過率特性を有する第１色フィルタと第２透過率特性を有する第２色フィルタと第３透過率特性を有する第３色フィルタとを含む撮像素子によって撮像された画像を取得する画像取得部と、
   前記第１透過率特性の非重なり部分に対応する第１バンドと、前記第１透過率特性と前記第２透過率特性との重なり部分に対応する第２バンドと、前記第２透過率特性の非重なり部分に対応する第３バンドと、前記第２透過率特性と前記第３透過率特性との重なり部分に対応する第４バンドと、前記第３透過率特性の非重なり部分に対応する第５バンドとを設定し、前記画像を構成する第１〜第３色の画素値に基づいて前記第１〜第５バンドの成分値を推定するマルチバンド推定部と、
   を含むことを特徴とする画像処理装置。
2. 請求項１において、
   前記マルチバンド推定部は、
   前記第１、第２バンドの成分値を加算した値である前記第１色の画素値と、前記第２〜第４バンドの成分値を加算した値である前記第２色の画素値とに基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第３、第４バンドの成分値を加算した値である第１加算値との間の関係式を求め、
   前記関係式に基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とを推定することを特徴とする画像処理装置。
3. 請求項２において、
   前記マルチバンド推定部は、
   前記第１バンドの成分値を未知数として前記関係式を求め、
   前記関係式で表した前記第１、第２バンドの成分値及び前記第１加算値と、前記第１、第２色の画素値との間の誤差を表す誤差評価値を求め、
   前記誤差評価値を最小にする前記未知数を決定し、
   決定した前記未知数及び前記関係式に基づいて、前記第１、第２バンドの成分値及び前記第１加算値を決定することを特徴とする画像処理装置。
4. 請求項２又は３において、
   前記マルチバンド推定部は、
   前記第２〜第４バンドの成分値を加算した値である前記第２色の画素値と、前記第４、第５バンドの成分値を加算した値である前記第３色の画素値とに基づいて、前記第２、第３バンドの成分値を加算した値である前記第２加算値と、前記第４バンドの成分値と、前記第５バンドの成分値との間の関係式を求め、
   前記関係式に基づいて、前記第２加算値と、前記第４バンドの成分値と、前記第５バンドの成分値とを推定し、
   前記第１加算値と前記第４バンドの成分値から、又は前記第２加算値と前記第２バンドの成分値から前記第３バンドの成分値を求めることを特徴とする画像処理装置。
5. 請求項２において、
   前記マルチバンド推定部は、
   前記第１バンドの成分値を未知数として前記関係式を求め、
   前記未知数の候補として、複数の候補値を生成し、
   前記複数の候補値の中から、前記第１、第２色の画素値の定義域に基づく選択条件を満たす候補値を、前記関係式に基づいて選択し、
   選択した前記候補値に基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とを求めることを特徴とする画像処理装置。
6. 請求項５において、
   前記選択条件は、
   前記関係式に前記候補値を代入して求めた前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とが、前記第１、第２色の画素値の定義域に矛盾しないという条件であることを特徴とする画像処理装置。
7. 請求項５又は６において、
   前記マルチバンド推定部は、
   前記第１、第２色の画素値の前記定義域に基づいて前記第１バンドの成分値が取り得る範囲内の値を、前記複数の候補値として生成することを特徴とする画像処理装置。
8. 請求項１乃至７のいずれかにおいて、
   前記マルチバンド推定部は、
   前記第１、第２色フィルタの透過率特性に基づいて、前記第１色の画素値と前第２色の画素値との間の相対的なゲイン比を補正し、補正後の前記第１、第２色の画素値を用いて前記第１〜第５バンドの成分値を推定することを特徴とする画像処理装置。
9. 請求項８において、
   前記マルチバンド推定部は、
   前記第２バンドでの前記第２色フィルタの透過率と、前記第２バンドでの前記第１色フィルタの透過率との比を、前記第１色の画素値に乗じて、前記ゲイン比を補正することを特徴とする画像処理装置。
10. 請求項１乃至９のいずれかにおいて、
    前記第１〜第３色は、それぞれ青色、緑色、赤色であり、
    前記マルチバンド推定部は、
    前記第１〜第５バンドの成分値を、それぞれ第１青色成分値、第２青色成分値、緑色成分値、第１赤色成分値、第２赤色成分値として求めることを特徴とする画像処理装置。
11. 請求項１乃至１０のいずれかにおいて、
    前記撮像素子には、撮像光学系の瞳を第１瞳と第２瞳に分割する光学フィルタを透過した光が結像され、
    前記第１瞳は、前記第１、第２バンドの一方と、前記第３バンドと、前記第４、第５バンドの一方とを透過し、
    前記第２瞳は、前記第１、第２バンドの他方と、前記第３バンドと、前記第４、第５バンドの他方とを透過し、
    前記マルチバンド推定部は、
    前記第１瞳及び前記第２瞳の透過光が撮像された前記画像に基づいて、前記第１〜第５バンドの成分値を推定することを特徴とする画像処理装置。
12. 請求項１１において、
    前記第１〜第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタであり、
    前記マルチバンド推定部は、
    前記青色の画素値を構成する前記第１、第２バンドの成分値を、それぞれ第１、第２青色成分値として求め、前記緑色の画素値を構成する前記第２〜第４バンドの成分値を、それぞれ第１〜第３緑色成分値として求め、前記赤色の画素値を構成する前記第４、第５バンドの成分値を、それぞれ第１、第２赤色成分値として求めることを特徴とする画像処理装置。
13. 請求項１２において、
    前記マルチバンド推定部は、
    前記第１青色成分値と、前記第２青色成分値と、前記第１〜第３緑色成分値の加算値である緑色成分値と、前記第１赤色成分値と、前記第２赤色成分値とで、５バンドの成分値を構成することを特徴とする画像処理装置。
14. 請求項１乃至１３のいずれかに記載された画像処理装置と、
    前記撮像素子と、
    を含むことを特徴とする撮像装置。
15. 請求項１１乃至１３のいずれかに記載された画像処理装置と、
    前記撮像素子と、
    前記光学フィルタが設けられた前記撮像光学系と、
    を含むことを特徴とする撮像装置。
16. 第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子によって撮像された画像を取得し、
    前記第１透過率特性の非重なり部分に対応する第１バンドと、前記第１透過率特性と前記第２透過率特性との重なり部分に対応する第２バンドと、前記第２透過率特性の非重なり部分に対応する第３バンドと、前記第２透過率特性と前記第３透過率特性との重なり部分に対応する第４バンドと、前記第３透過率特性の非重なり部分に対応する第５バンドとを設定し、
    前記画像を構成する第１〜第３色の画素値に基づいて前記第１〜第５バンドの成分値を推定することを特徴とする画像処理方法。

Images