JP2012049761A - 撮像モジュールおよび画像信号処理方法 - Google Patents

Abstract

【課題】光源に応じてＲ，Ｇ，またはＢの画像信号を選択し、選択された色の画像信号について復元処理を行う。
【解決手段】ホワイトバランス検出判定部２１は、色分布の範囲が所定の通常範囲以内であるか否かを判断する。Ｙｅｓの場合はＳ５、Ｎｏの場合はＳ６に進む。Ｓ５では、復元基本色制御部２４は、復元基本色をＧに設定するよう画像復元処理部２５を制御する。Ｓ６では、ホワイトバランス検出判定部２１は、Ｒ信号とＢ信号のいずれの信号が強いかを判断する。Ｒ信号が強い場合はＳ７、Ｂ信号が強い場合はＳ８に進む。Ｓ７では、復元基本色制御部２４は、復元基本色をＲに設定するよう画像復元処理部２５を制御する。Ｓ８では、復元基本色制御部２４は、復元基本色をＢに設定するよう画像復元処理部２５を制御する。
【選択図】 図１

Description

本発明は撮像モジュールおよび画像信号処理方法に係り、特にメカ的に焦点調節を行う焦点調節機構を省略し、かつ高解像度の画像信号を得る技術に関する。

従来、撮影光学系の光路中に位相を変調させる光波面変調素子を挿入することにより焦点深度を拡大し、焦点深度の拡大によりぼけた画像（大きな点像）に、復元処理パラメータを有するカーネルによるデコンボリューション処理を掛けることより高解像度の画像（小さな点像）に復元するようにした撮像装置が提案されている（特許文献１・２）。この撮像素子は、光波面変調素子を含む光学系と、光学系を通過した被写体像を撮像する撮像素子と、撮像素子からの被写体の画像データに対して所定の処理を施す画像処理装置と、を有し、画像処理装置は、選択した特定領域の分散画像を分散のない画像信号として復元する。

光波面変調素子は、例えば、３次元的曲面を有し、物体側レンズと結像レンズ間に配置され、結像レンズによる撮像素子の受光面への結像の波面を変形させる位相板である。あるいは、光波面変調素子の他の例として、屈折率が変化する光学素子（たとえば屈折率分布型波面変調レンズ）、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子（たとえば、波面変調ハイブリッドレンズ）などがある。

デフォーカス量が不明なため、ピントが合っていてもいなくてもＰＳＦが同じような広がりを有するようにした特殊な光学系は、ＥＤｏｆ（Extended Depth of Field、拡大された焦点深度）と呼ばれる（特許文献３）。

特許文献４〜１０は光源推定およびホワイトバランス補正の一例を示す。特許文献１０では、代表値算出部は、画像データの一画面を、例えば、水平方向に８つ、垂直方向に６つといった複数（８×６）のブロックに分割し、各ブロックの映像信号の代表値を算出する。かかるブロックの代表値は、各ブロックに含まれる画素のＲ信号成分、Ｇ信号成分、Ｂ信号成分の積算値と、各色信号成分の分散値とからなる。分散値は、輝度信号の大きさの２乗に比例して大きくなるため、算出するにあたっては各色信号成分の正規化が必要となる。また、Ｒ信号成分、Ｇ信号成分、Ｂ信号成分の平均値であってもよい。軸変換部は、代表値算出部で算出された代表値を軸変換し、所定の平面（Ｂ／Ｇ−Ｒ／Ｇ平面をさらに軸変換した平面）に配する。かかる軸変換は、Ｂ／Ｇ−Ｒ／Ｇ平面における、黒体放射の分光分布特性および対象となる撮像装置の分光分布特性を反映した黒体放射軌跡に対する差分（例えば平均二乗誤差）が最小となる近似関数を一次関数に置換する変換である。

特許文献１１は支配色検出の一例を示す。

特開2006-094470号公報 特開2007-181193号公報 特開2008-268869号公報 特開2009-27259号公報 特開2008-17198号公報 特開2007-74379号公報 特開2006-222672号公報 特開2006-217169号公報 特開2004-349931号公報 特開2010-21883号公報 特開2009-278227号公報

焦点深度の拡大は、撮像素子から出力される信号の復元により実現される。復元処理は、主に画像のボケを取り除く処理であるため、輝度信号に対して行われることが望ましいと考えられるが、そのためには各画素に対応する輝度信号を補間処理で生成する必要があるため、撮像モジュールに搭載することが難しい。

あるいは、ベイヤ配列の撮像素子の場合、Ｇ画素はＲＢ画素の２倍あり、復元処理は、主に画像のボケを取り除く処理であるため、Ｇ画素からのＧ信号に対して行われることが望ましいと考えられる。しかし、色温度が極端に高い、あるいは極端に低い光源下で撮像された画像信号を復元する場合、Ｇ画素の画像信号のノイズがＲＢ画素より多くなり、復元すべき画像信号がノイズに埋もれてしまって、復元処理に支障をきたす。

本発明はこのような事情に鑑みてなされたもので、光源に応じてＲ，Ｇ，またはＢの画像信号を選択し、選択された色の画像信号について復元処理を行うことを目的とする。

本発明は、所定の光学的位相変調手段により焦点深度の拡大されたレンズ部と、所定の結像面にベイヤ配列された各画素に対応する赤、青および緑のカラーフィルタが装着され、レンズ部を介して所定の結像面に結像された光学像を、各画素により光電変換することで、各画素に対応する赤、青および緑のアナログ画像信号を出力することが可能な撮像素子と、撮像素子から出力される画素ごとのアナログ画像信号を、画素ごとのデジタル画像信号に変換して出力するＡＤ変換部と、ＡＤ変換部から出力された画像信号に基づき、ホワイトバランスを検出するホワイトバランス検出部と、ホワイトバランス検出部の検出したホワイトバランスに基づき、赤、青および緑の画像信号の中から、復元処理を施す画像信号を選択する復元基本色制御部と、復元基本色制御部の選択した画像信号から、光学的位相変調手段による被写体像の劣化を除去する復元処理を施す復元処理部と、を備える撮像モジュールを提供する。

復元基本色制御部は、ホワイトバランス検出部の検出したホワイトバランスが所定の範囲内である場合、復元処理を施す画像信号として緑の画像信号を選択する。

復元基本色制御部は、ホワイトバランス検出部の検出したホワイトバランスが所定の範囲外である場合、復元処理を施す画像信号として赤および青の画像信号のうちより強い画像信号を選択する。

ＡＤ変換部から出力された画像信号に基づき、光源色を検出する光源色検出部と、ＡＤ変換部から出力された画像信号に基づき、主要被写体の支配色を検出する支配色検出部を備え、復元基本色制御部は、ホワイトバランス検出部の検出したホワイトバランスが所定の範囲内であり、かつ光源色検出部の検出した光源色と支配色検出部の検出した主要被写体の支配色とが一致する場合、復元処理を施す画像信号として緑の画像信号を選択する。

光源色検出部の検出した光源色と支配色検出部の検出した主要被写体の支配色とが不一致の場合、復元処理を施す画像信号として光源色以外の支配色に対応する画像信号のうちより強い画像信号を選択する。

本発明は、所定の光学的位相変調手段により焦点深度の拡大されたレンズ部と、所定の結像面にベイヤ配列された各画素に対応する赤、青および緑のカラーフィルタが装着され、レンズ部を介して所定の結像面に結像された光学像を、各画素により光電変換することで、各画素に対応する赤、青および緑のアナログ画像信号を出力することが可能な撮像素子と、を備えた撮像モジュールが、撮像素子から出力される画素ごとのアナログ画像信号を、画素ごとのデジタル画像信号に変換して出力するステップと、出力された画像信号に基づき、ホワイトバランスを検出するステップと、検出したホワイトバランスに基づき、赤、青および緑の画像信号の中から、復元処理を施す画像信号を選択するステップと、選択した画像信号から、光学的位相変調手段による被写体像の劣化を除去する復元処理を施すステップと、を実行する画像信号処理方法を提供する。

本発明によると、ホワイトバランスに基づいて復元処理を施す画像信号を選択し、選択された画像信号から、光学的位相変調手段による被写体像の劣化を除去する復元処理を施す。このため、光源に応じた最適な復元処理を実行でき、光源による復元画像の画質への影響を極力少なくすることができる。

第１の実施形態の撮像モジュールのブロック図 レンズ部の光学系の一例を示す図 第１の実施形態の復元処理を示すフローチャート 第２の実施形態の撮像モジュールのブロック図 第２の実施形態の復元処理を示すフローチャート 撮像装置の一例を示すブロック図

［第１の実施形態］
図１は本発明に係る撮像モジュール１の第１の実施形態を示すブロック図である。

図１に示すように、撮像モジュール１は、レンズ部１０と、撮像素子１２と、ＡＤ変換部１４と、復元処理ブロック２０と、デモザイク信号処理部２６とから構成されている。

図２はレンズ部１０の光学系の一例を示す図である。レンズ部１０は、図２に示すように単焦点の固定された撮影レンズ１０Ａと、瞳位置に挿入される光学フィルタ１１とから構成されている。光学フィルタ１１は、位相を変調させるもので、拡大された焦点深度（Extended Depth Of Focus:EDoF）が得られるように撮影レンズをEDoF化させる。

なお、光学フィルタ１１の近傍には、図示しない絞りが配設されている。また、光学フィルタ１１は、１枚でもよいし、複数枚を組み合わせたものでもよい。また、光学フィルタ１１は、光学的位相変調手段の一例にすぎず、その他のもの、例えば特許文献１のような各種の光波面変調素子が採用されてもよい。

このレンズ部１０は、メカ的に焦点調節を行う焦点調節機構を省略することができ、小型化が可能であり、カメラ付き携帯電話や携帯情報端末に搭載されるものとして好適である。

EDoF化されたレンズ部１０を透過した光学像は、撮像素子１２に結像され、ここで電気信号に変換される。

撮像素子１２は、画素ごとに赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色の原色フィルタがベイヤ型に配列されたカラー撮像素子であり、Ｃ−ＭＯＳイメージセンサまたはＣＣＤイメージセンサにより構成されている。ベイヤ配列は、半導体基板表面部に正方格子状に形成された各画素（フォトダイオード）の上に、赤色（Ｒ，ｒ），緑色（Ｇ，ｇ），青色（Ｂ，ｂ）の三原色系のカラーフィルタを配列するに際し、赤色と緑色の各フィルタを交互に配列した行と、緑色と青色の各フィルタを交互に配列した行とを、列方向に交互に設ける構成である。

レンズ部１０を介して撮像素子１２の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積されたＲ・Ｇ・Ｂの信号電荷は、画素ごとの電圧信号（画像信号）として順次出力される。

ＡＤ変換部１４は、撮像素子１２から画素ごとに出力されるアナログのＲ・Ｇ・Ｂ画像信号をデジタルのＲＧＢ画像信号に変換する。ＡＤ変換部１４によりデジタルの画像信号に変換されたデジタル画像信号は、復元処理ブロック２０に加えられる。復元処理ブロック２０から出力された画像信号は、デモザイク信号処理部２６に加えられる。デモザイク信号処理部２６は、モザイク状の画像データから欠落した色成分を補って、ＲＧＢの各成分がそろった画像信号であるＲＡＷデータを生成するデモザイク処理を行う。

復元処理ブロック２０は、主として、ホワイトバランス検出判定部２１、撮像素子色特性記憶部２２、復元基本色制御部２４、画像復元処理部２５を含む。

ホワイトバランス検出判定部２１は、撮像素子色特性記憶部２２に記憶された撮像素子の色特性に基づき、ＡＤ変換部１４から入力された画像信号から、ホワイトバランスを検出する。

復元基本色制御部２４は、判定された支配色に対応する復元基本色（Ｒ，Ｇ，Ｂのいずれか）を設定するよう画像復元処理部２５を制御する。

画像復元処理部２５は、復元基本色の画像信号について、復元処理の必要なブロックの分散画像信号を分散のない画像信号として復元する復元処理を施す。例えば、特許文献１・２に記載のように、復元処理では、１次画像の空間周波数における変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を持ち上げ、位相板を用いない場合のＭＴＦ特性に近づける補正を行い、高精細な最終画像を形成する処理が行われる。復元された画像信号はデモザイク信号処理部２６に出力される。なお、画像復元処理部２５は、復元処理の対象外の色の画像信号を、そのままデモザイク信号処理部２６に入力する。

次に、復元処理ブロック２０による復元処理について説明する。図３は第１の実施形態
の復元処理ブロック２０による復元処理を示すフローチャートである。この処理は静止画撮影モードの選択に応じて開始される。

Ｓ１では、ＡＤ変換部１４からホワイトバランス検出判定部２１と画像復元処理部２５にデジタル画像信号が加えられる。

Ｓ２では、ホワイトバランス検出判定部２１は、レンズ部１０の分光分布など撮像モジュール１自体の分光分布特性を撮像素子色特性記憶部２２などから取得する。この分光分布特性は、次ステップのホワイトバランス検出に必要となる。特定の光源色に対して、色ごとにどのような信号を出力するかは、撮像素子１２の色特性に依存するからである。

Ｓ３では、ホワイトバランス検出判定部２１は、画像信号の画面を複数のエリアに分割し、各エリアのＲ、Ｇ、Ｂ信号からなる３原色信号の代表値を算出し、代表値をそれぞれ軸変換し所定の平面に配する。ここで、特許文献１０と同様、レンズ部１０の分光分布など撮像モジュール１自体の分光分布特性を反映した軸変換が行われてもよい。

ホワイトバランス検出には次の処理が含まれる。まず、ホワイトバランス検出判定部２１は、分割エリアごとのＲ、Ｇ、Ｂ信号の色別の積算値を求める。次に、ホワイトバランス検出判定部２１は、分割エリアごとに、Ｒ信号の積算値Ｒｔ’とＧ信号の積算値Ｇｔ’との比Ｒｔ’／Ｇｔ’、Ｂ信号の積算値とＧ信号の積算値との比Ｂｔ’／Ｇｔ’を求める。そして、ホワイトバランス検出判定部２１は、各分割エリアに対応する（Ｒｔ’／Ｇｔ’，Ｂｔ’／Ｇｔ’）をＲ／Ｇ（Ｘ）−Ｂ／Ｇ（Ｙ）色平面にプロットする。これを色分布と呼ぶ。

Ｓ４では、ホワイトバランス検出判定部２１は、色分布の範囲が所定の通常範囲以内であるか否かを判断する。例えばこの通常範囲は、色平面の（１，１）を中心とした所定半径の円内である。Ｙｅｓの場合はＳ５、Ｎｏの場合はＳ６に進む。例えば、所定の通常範囲とは、下限のタングステン光の色温度(3200K)から、上限の太陽光の色温度(6500K)までである。

Ｓ５では、復元基本色制御部２４は、復元基本色をＧに設定するよう画像復元処理部２５を制御する。画像復元処理部２５は、ＡＤ変換部１４から加えられた画像信号のうち、設定された復元基本色のＧ信号のみに復元処理を施す。

Ｓ６では、ホワイトバランス検出判定部２１は、Ｒ信号とＢ信号の強度を比較し、Ｒ信号とＢ信号のいずれの信号が強いかを判断する。Ｒ信号が強い場合はＳ７、Ｂ信号が強い場合はＳ８に進む。上記ホワイトバランス検出において、検出された色温度が通常範囲より高い場合はＢが強く、通常範囲より低い場合はＲが強くなる。

Ｓ７では、復元基本色制御部２４は、復元基本色をＲに設定するよう画像復元処理部２５を制御する。画像復元処理部２５は、復元基本色のＲ信号のみに復元処理を施す。

Ｓ８では、復元基本色制御部２４は、復元基本色をＢに設定するよう画像復元処理部２５を制御する。画像復元処理部２５は、復元基本色のＢ信号のみに復元処理を施す。

Ｓ９では、デモザイク信号処理部は、画像復元処理部２５からの画像信号（復元後の画像信号と復元の対象外の画像信号の両方が含まれる）がデモザイク信号処理部２６に入力され、デモザイク処理が施され、ＲＡＷデータが出力される。

Ｓ１０では、画像出力処理の終了が外部の指示手段（ユーザ操作手段やＣＰＵなど）から指示されたか否かが判断され、指示があった場合は本処理を終了する。指示がない場合はＳ１に戻り、次に取得された画像信号について処理が繰り返される。

なお、復元基本色以外の色の画像信号についての復元処理は実施されてもよいしされなくてもよい。実施する場合は、復元基本色の画像信号と同じ復元処理パラメータ（ゲイン）を復元基本以外の色の画像信号に適用すれば、処理が簡略化される。

以上の処理により、撮像素子１２の画像信号から色分布が取得され、色分布が通常の範囲内であれば、Ｇ信号に復元処理が施され、色分布が通常の範囲内でなければ、Ｒ信号またはＢ信号に復元処理が施される。これにより、光源による復元画質への影響を極力少なくでき、かつ、Ｒ，Ｇ，Ｂ信号の全てにそれぞれ異なる復元パラメータで復元処理を実施する場合に比して処理が高速化する。

［第２の実施形態］
図４は本発明に係る撮像モジュール２の第２の実施形態を示すブロック図である。なお、図１に示した第１の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図４に示すように、第２の実施形態の撮像モジュール２は、シーン検出部２３を備えている。

図５は第２の実施形態の復元処理ブロック４０による復元処理を示すフローチャートで
ある。第１実施形態と同様の処理ステップについての説明は省略する。

Ｓ２０〜Ｓ２３はＳ１〜４と同様である。

Ｓ２４では、シーン検出部２３は、画像信号から光源色を検出する。光源色の検出は従来技術、例えば特許文献４と同様にして行われる。またシーン検出部２３は、支配色を検出する。例えば、シーン検出部２３は、ＡＤ変換部１４からの画像信号のうち、予め定められた主要被写体の存在範囲からの画像信号、例えば画面中央領域の画素の画像信号に基づいて色相のヒストグラムを作成し、ヒストグラムのピークの色相を主要被写体の支配色として検出する。あるいは、顔、人物、動物などの特定被写体を検出しているのであれば、検出した特定被写体に対応する範囲の画像信号に基づいて色相のヒストグラムを作成し、ヒストグラムのピークの色相を主要被写体の支配色として検出する。そして、シーン検出部２３は、検出された光源色と主要被写体の支配色とを比較し、両者が一致している通常シーンであるか否かを判断する。Ｙｅｓの場合はＳ２５、Ｎｏの場合はＳ２８に進む。

Ｓ２５はＳ５と同様である。

Ｓ２６では、Ｓ２４と同様の判断を行う。Ｙｅｓの場合はＳ２７、Ｎｏの場合はＳ２８に進む。

Ｓ２７はＳ６と同様である。

Ｓ２８では、シーン検出部２３は、検出された主要被写体の支配色がＢであるかＲであるかを判断する。主要被写体の支配色がＲの場合はＳ２９、主要被写体の支配色がＢの場合はＳ３０に進む。

Ｓ２９〜Ｓ３２はＳ７〜Ｓ１０と同様である。

以上の処理により、ホワイトバランスの偏りと主要被写体の色の偏りが異なっていれば、その主要被写体の支配色のみに復元処理を施す。例えば、ホワイトバランスがＢに偏っていても、主要被写体の色がＲに偏っていれば、その主要被写体の支配色の画像信号Ｒのみに復元処理を施す。これにより、主要被写体について適切かつ高速な復元処理を行うことができる。

［第３の実施形態］
図６は撮像モジュール１が適用された撮像装置の一例を示すブロック図である。

図６に示す撮像装置１００は、図１に示した撮像モジュール１が組み込まれたもので、撮像モジュール以外は通常のデジタルカメラ等と同じ構成を有している。

中央処理装置（ＣＰＵ）１０２は、操作部１０４からの操作入力および所定のプログラムに従って装置全体を統括制御する部分であり、自動露出（ＡＥ）演算、ホワイトバランス（ＷＢ）調整演算、顔、人物、動物などの特定被写体の検出等、各種演算を実施する演算手段としても機能する。

ＣＰＵ１０２には、バス１０３およびメモリ・インターフェース１０６を介してＲＡＭ（Random Access Memory）１０８およびＲＯＭ（Read Only Memory）１１０が接続されている。ＲＡＭ１０８は、プログラムの展開領域およびＣＰＵ１０２の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。ＲＯＭ１１０には、ＣＰＵ１０２が実行するプログラムおよび制御に必要な各種データや、撮像動作に関する各種定数／情報等が格納されている。ＣＰＵ１０２が上記第１〜２の実施形態の復元処理の流れを制御するプログラムは、ＲＯＭ１１０に記憶されている。

撮像モジュール１は、ＣＰＵ１０２からの指令により撮影動作等を行い、ＲＧＢのＲＡＷデータを出力する。このＲＡＷデータは、バス１０３およびメモリＩ／Ｆ１０６を介してＲＡＭ１０８に一時的に保存される。

ＲＡＭ１０８に保存されたＲＧＢのＲＡＷデータは、デジタル信号処理部１１２に入力され、各種の画像処理が施される。画像処理は、ガンマ補正、コントラスト調整処理、シャープネス調整処理、ノイズリダクション処理、色補正処理、ＹＣ変換などの各種の処理が含まれる。

また、ＲＡＷデータ記録が選択されている場合には、ＲＡＷデータはＲＡＷファイルのフォーマットで、外部メモリＩ／Ｆ１１４を介してメモリカード１１６に記録される。

操作部１０４には、シャッターボタン、撮影モードと再生モードを選択するモード選択スイッチ、表示部（ＬＣＤ）１１８にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択するためのマルチファンクションの十字キー等が含まれる。操作部１０４からの出力信号は、バス１０３を介してＣＰＵ１０２に入力され、ＣＰＵ１０２は操作部１０４からの入力信号に基づいて撮影や再生等の適宜の処理を実施させる。

撮像装置１００には、被写体にフラッシュ光を照射するためのフラッシュ装置１２０が含まれ、フラッシュ装置１２０は、ＣＰＵ１０２からの発光指令によって充電部１２２から電源の供給を受けてフラッシュ光を照射する。

デジタル信号処理部１１２で処理された画像データ（静止画または動画）は、画像記録部３１に与えられ、ここで、所定の圧縮フォーマット（例えば、JPEG方式やMPEG方式) に従って圧縮される。圧縮された画像データは、画像ファイル（例えば、JPEGファイルやMPEGファイル）のフォーマットで、外部メモリＩ／Ｆ１１４を介してメモリカード１１６に記録される。

また、ＬＣＤ１１８には、ＬＣＤインターフェース１２６を介して加えられる動画信号により撮像準備中に映像（スルー画像）が表示され、また、再生モード時にメモリカード１１６に記録されたJPEGファイル、MPEGファイル、ＲＡＷファイルなどの画像ファイルが読み出され、画像が表示される。なお、JPEGファイルやMPEGファイルに格納された圧縮画像データは、圧縮伸張処理回路１２４によって伸張処理が行われてＬＣＤ１１８に出力され、ＲＡＷファイルに格納されたＲＡＷデータは、デジタル信号処理部１１２によってＲＡＷ現像した後にＬＣＤ１１８に出力される。

なお、図示は省略するが、撮像装置１００は、撮像モジュール１の代わりに撮像モジュール２を有していてもよい。

１・２…撮像モジュール、１０…レンズ部、１０Ａ…撮影レンズ、１１…光学フィルタ、１２…撮像素子、１４…ＡＤ変換部、２０…復元処理ブロック、２１…ホワイトバランスブロック検出判定部、２２…撮像素子色特性記憶部、２３…シーン検出部、２４…復元基本色制御部、２５…画像復元処理部

Claims (6)

1. 所定の光学的位相変調手段により焦点深度の拡大されたレンズ部と、
   所定の結像面にベイヤ配列された各画素に対応する赤、青および緑のカラーフィルタが装着され、前記レンズ部を介して前記所定の結像面に結像された光学像を、前記各画素により光電変換することで、前記各画素に対応する赤、青および緑のアナログ画像信号を出力することが可能な撮像素子と、
   前記撮像素子から出力される画素ごとのアナログ画像信号を、画素ごとのデジタル画像信号に変換して出力するＡＤ変換部と、
   前記ＡＤ変換部から出力された画像信号に基づき、ホワイトバランスを検出するホワイトバランス検出部と、
   前記ホワイトバランス検出部の検出したホワイトバランスに基づき、前記赤、青および緑の画像信号の中から、復元処理を施す画像信号を選択する復元基本色制御部と、
   前記復元基本色制御部の選択した画像信号から、前記光学的位相変調手段による被写体像の劣化を除去する復元処理を施す復元処理部と、
   を備える撮像モジュール。
2. 前記復元基本色制御部は、前記ホワイトバランス検出部の検出したホワイトバランスが所定の範囲内である場合、前記復元処理を施す画像信号として前記緑の画像信号を選択する請求項１に記載の撮像モジュール。
3. 前記復元基本色制御部は、前記ホワイトバランス検出部の検出したホワイトバランスが所定の範囲外である場合、前記復元処理を施す画像信号として前記赤および青の画像信号のうちより強い画像信号を選択する請求項２に記載の撮像モジュール。
4. 前記ＡＤ変換部から出力された画像信号に基づき、光源色を検出する光源色検出部と、
   前記ＡＤ変換部から出力された画像信号に基づき、主要被写体の支配色を検出する支配色検出部を備え、
   前記復元基本色制御部は、前記ホワイトバランス検出部の検出したホワイトバランスが所定の範囲内であり、かつ前記光源色検出部の検出した光源色と前記支配色検出部の検出した主要被写体の支配色とが一致する場合、前記復元処理を施す画像信号として前記緑の画像信号を選択する請求項３に記載の撮像モジュール。
5. 前記光源色検出部の検出した光源色と前記支配色検出部の検出した主要被写体の支配色とが不一致の場合、前記復元処理を施す画像信号として前記光源色以外の支配色に対応する画像信号のうちより強い画像信号を選択する請求項４に記載の撮像モジュール。
6. 所定の光学的位相変調手段により焦点深度の拡大されたレンズ部と、所定の結像面にベイヤ配列された各画素に対応する赤、青および緑のカラーフィルタが装着され、前記レンズ部を介して前記所定の結像面に結像された光学像を、前記各画素により光電変換することで、前記各画素に対応する赤、青および緑のアナログ画像信号を出力することが可能な撮像素子と、を備えた撮像モジュールが、
   前記撮像素子から出力される画素ごとのアナログ画像信号を、画素ごとのデジタル画像信号に変換して出力するステップと、
   前記出力された画像信号に基づき、ホワイトバランスを検出するステップと、
   前記検出したホワイトバランスに基づき、前記赤、青および緑の画像信号の中から、復元処理を施す画像信号を選択するステップと、
   前記選択した画像信号から、前記光学的位相変調手段による被写体像の劣化を除去する復元処理を施すステップと、
   を実行する画像信号処理方法。

Images