JP2012049759A - 撮像モジュールおよび画像信号処理方法 - Google Patents

Abstract

【課題】焦点深度が拡大された画像の復元を、従来よりも短時間かつ精度よく実行する。
【解決手段】同時化後の輝度信号に復元処理をかけることで、復元処理のパラメータをＲＧＢ別々に持つ必要がなくなり、復元処理が高速化する。また、飛び飛びの位置にあるＲ，Ｇ，またはＢの画素をまとめてデコンボリューション処理するのでなく、近接する画素同士を所定の単位にまとめ、その単位には共通の復元処理パラメータを適用してデコンボリューション処理するため、復元処理の精度が向上する。
【選択図】 図１

Description

本発明は撮像モジュールおよび画像信号処理方法に係り、特にメカ的に焦点調節を行う焦点調節機構を省略し、かつ高解像度の画像信号を得る技術に関する。

従来、撮影光学系の光路中に位相を変調させる光波面変調素子を挿入することにより焦点深度を拡大し、焦点深度の拡大によりぼけた画像（大きな点像）に、復元処理パラメータを有するカーネルによるデコンボリューション処理を掛けることより高解像度の画像（小さな点像）に復元するようにした撮像装置が提案されている（特許文献１）。光波面変調素子は、例えば、３次元的曲面を有し、物体側レンズと結像レンズ間に配置され、結像レンズによる撮像素子の受光面への結像の波面を変形させる位相板である。あるいは、位相板の他の例として、屈折率が変化する光学素子（たとえば屈折率分布型波面変調レンズ）、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子（たとえば、波面変調ハイブリッドレンズ）、光の位相分布を変調可能な液晶素子（たとえば、液晶空間位相変調素子）等がある。

特許文献２には、１次画像を形成する光学系および撮像素子と、１次画像を高精細な最終画像に形成する画像処理装置とを含み、画像処理装置において、露出制御装置からの露出情報に応じて光学的伝達関数（OTF）に対してフィルタ処理を行う技術が開示されている。

被写体となる物体をズームレンズ等の光学系により撮像素子の撮像面上に結像した場合、撮像素子で撮像した像は元の物体に比べて光学系の収差の影響によりボケが生じ、画質が劣化することが知られている。この時の像による画像の強度分布ｇは、元の物体の輝度分布ｆと光学系の結像性能を表す点像強度分布ｈの畳み込み（Convolution）にノイズｎが加わった
ｇ＝ｆ＊ｈ＋ｎ （＊は畳み込み積分） ・・・（Ａ）
で表される。ｇ、ｈ、ｎを既知として、式（Ａ）から元の物体の輝度分布ｆを求めることができる。このようにして、光学系のボケを信号処理により取り除き、理想的な像を得る技術は、像の「復元」、「逆畳み込み」、あるいは「デコンボリューション（Deconvolution ）」と呼ばれている。点像強度分布（ＰＳＦ）に基づく復元フィルタは、撮像時の画像の劣化に関する情報、例えば撮影条件（露光時間、露光量、被写体までの距離、焦点距離等）や撮像装置の特性情報（レンズの光学特性、撮像装置の識別情報等）等を考慮して生成される（特許文献３）。

ボケによる劣化モデルは、関数によって表現することができる。例えば、中心画素からの距離（像高）をパラメータとする正規分布でボケ現象を表現することができる（特許文献４）。

なお、光学的伝達関数（ＯＴＦ）は、ＰＳＦの周波数領域への二次元フーリエ変換である。ＰＳＦをＯＴＦに変換する、またはその逆は容易であるので、ＯＴＦは、ＰＳＦと同視されうる（特許文献５）。

デフォーカス量が不明なため、ピントが合っていてもいなくてもＰＳＦが同じような広がりを有するようにした特殊な光学系は、ＥＤｏｆ（Extended Depth of Field、拡大された焦点深度）と呼ばれる（特許文献６〜８）。

特許文献９は従来のガンマ補正の一例を示す。ガンマ補正時には、たとえば、最初１２bit信号であった画像信号を、８bitの低精度の画像信号に変換する。このように、画像信号の精度を落とすのは、ディスプレイモニタの規格や、JPEG、MPEG等の画像データフォーマットに合わせるためである。

特許文献１０はガンマ補正された画像信号を線形な画像信号に戻すデガンマ処理の一例を示す。

特許文献１１は色同時化の一例を示す。

特開2006-94470号公報 特開2007-181170号公報 特開2008-172321号公報 特開2000-020691号公報 特表2009-534722号公報 特開2009-10944号公報 特開2009-187092号公報 特開2009-188676号公報 特開2010-21694号公報 特開2008-281481号公報 特開2010-147651号公報

位相板を挿入することにより焦点深度が拡大された撮像光学系を介して得られた画像の復元処理、すなわちデコンボリューション処理は、同時化処理前のＲＧＢの各画素値にゲイン（復元処理パラメータ）をかけて畳み込み演算を行う処理である。

しかし、Ｒ、Ｇ、またはＢのカラーフィルタに対応する画素の配列位置は飛び飛びであるため、ＲＧＢのそれぞれに異なる復元処理パラメータを設定し、ＲＧＢのそれぞれに異なる畳み込み演算を行う必要がある。このため、復元に時間がかかるという問題がある。

例えば、特許文献１や３に記載の発明は、同時化処理前に復元を行っており、ＲＧＢそれぞれに対して多くのパラメータが必要になるし、復元にも時間がかかる。

また、従来は位置的に飛び飛びなＲ、Ｇ、またはＢ画素を１単位にまとめ、同一のゲインをかけてデコンボリューション処理をしており、復元精度が不正確である。例えば、ベイヤ配列では、Ｒは４画素に１個で離散的に配置されているが、位置的に離れたＲ画素を１単位にまとめ、同一のゲインをかけてデコンボリューション処理をすると、復元精度が正確でないと考えられる。

本発明はこのような事情に鑑みてなされたもので、焦点深度が拡大された画像の復元を、従来よりも短時間かつ精度よく実行可能な撮像モジュールおよび画像信号処理方法を提供することを目的とする。

本発明は、所定の光学的位相変調手段により焦点深度の拡大されたレンズ部と、所定の結像面にマトリクス状に配列された各画素に対応する赤、青および緑のカラーフィルタが装着され、レンズ部を介して所定の結像面に結像された光学像を、各画素により光電変換することで、各画素に対応する色のアナログ画像信号を出力することが可能な撮像素子と、撮像素子から出力される各画素ごとのアナログ画像信号を、各画素ごとのデジタル画像信号に変換して出力するＡＤ変換部と、ＡＤ変換部から出力された各画素ごとのデジタル画像信号の黒レベルを調整する黒レベル調整部と、黒レベル調整部が黒レベルを調整した各画素ごとのデジタル画像信号のホワイトバランスゲインを調整するホワイトバランスゲイン調整部と、ホワイトバランスゲイン調整部がホワイトバランスゲインを調整した各画素ごとのデジタル画像信号にガンマ補正を施すガンマ処理部と、ガンマ処理部がガンマ補正を行った各画素ごとのデジタル画像信号に同時化処理を施すことで、各画素に対応する赤、青および緑のデジタル画像信号の組を生成する同時化処理部と、同時化処理部が生成した各画素に対応する赤、青および緑のデジタル画像信号の組を輝度データおよび色差データに変換し、各画素に対応する輝度信号および色差信号を出力可能なＹＣ変換部と、ＹＣ変換部の出力した各画素に対応する輝度信号のうち、近接する所定単位の画素群に対応する輝度信号ごとに共通するデコンボリューションパラメータでデコンボリューションすることで、光学的位相変調手段による被写体像の劣化を輝度信号から除去する復元処理を施す復元処理部と、を備える撮像モジュールを提供する。

ＹＣ変換部の出力した輝度信号に、デガンマ処理を施し、線形な輝度信号を出力するデガンマ処理部を備え、復元処理部は、デガンマ処理部の出力した線形な輝度信号に、復元処理を施し、復元処理部が復元処理を施した輝度信号にガンマ補正を施す輝度信号ガンマ処理部を備える。

復元処理部が復元処理を施した輝度信号とＹＣ変換部の出力した色差信号とからなるデジタル画像信号を記録可能な記録部を備え、前記ガンマ補正後から前記復元処理完了までのデジタル画像信号のビット長は、記録部が記録するデジタル画像信号のビット長よりも大きい。

本発明は、所定の光学的位相変調手段により焦点深度の拡大されたレンズ部と、所定の結像面にマトリクス状に配列された各画素に対応する赤、青および緑のカラーフィルタが装着され、レンズ部を介して所定の結像面に結像された光学像を、各画素により光電変換することで、各画素に対応する色のアナログ画像信号を出力することが可能な撮像素子と、を備えた撮像モジュールによる信号処理方法であって、撮像素子から出力される各画素ごとのアナログ画像信号を、各画素ごとのデジタル画像信号に変換して出力するステップと、各画素ごとのデジタル画像信号の黒レベルを調整するステップと、黒レベルを調整した各画素ごとのデジタル画像信号のホワイトバランスゲインを調整するステップと、ホワイトバランスゲインを調整した各画素ごとのデジタル画像信号にガンマ補正を施すステップと、ガンマ補正を行った各画素ごとのデジタル画像信号に同時化処理を施すことで、各画素に対応する赤、青および緑のデジタル画像信号の組を生成するステップと、各画素に対応する赤、青および緑のデジタル画像信号の組を輝度データおよび色差データに変換し、各画素に対応する輝度信号および色差信号を出力するステップと、各画素に対応する輝度信号のうち、近接する所定単位の画素群に対応する輝度信号ごとに共通するデコンボリューションパラメータでデコンボリューションすることで、光学的位相変調手段による被写体像の劣化を輝度信号から除去する復元処理を施すステップと、を含む画像信号処理方法を提供する。

デコンボリューションパラメータは、レンズ部と所定の白黒フィルタが装着された白黒撮像素子を介して得られた白黒画像の強度分布に基づいて算出される。

所定の白黒フィルタは所定の分光視感度と同等の分光透過率を有する。

本発明では、同時化処理後の赤、青および緑の画像信号から得られた、各画素ごとの輝度信号に復元処理を施す。同時化後の輝度信号に復元処理をかけることで、復元処理のパラメータを赤・青・緑の画素ごとに別々に持つ必要がなくなり、復元処理が高速化する。また、飛び飛びの位置にある赤・青・緑の画素をまとめてデコンボリューション処理するのでなく、近接する画素同士を所定の単位にまとめ、その単位には共通の復元処理パラメータを適用してデコンボリューション処理するため、復元処理の精度が向上する。さらに、色差信号については、人の目による視覚の特性上、復元処理で解像度を上げなくても画質的には許容されるので、復元精度の向上と処理の簡易化および高速化を両立できる。

本発明に係る撮像モジュールの第１の実施形態を示すブロック図 レンズ部の光学系の一例を示す図 第１の実施形態の復元処理ブロックによる復元処理を示すフローチャート 復元処理部でのデコンボリューション処理により復元される点像の様子を示す図 本発明に係る撮像モジュールの第２の実施形態を示すブロック図 第２の実施形態の復元処理ブロックによる復元処理を示すフローチャート 本発明に係る撮像モジュールの第３の実施形態を示すブロック図 第３の実施形態の復元処理ブロックによる復元処理を示すフローチャート 本発明に係る撮像モジュールの第４の実施形態を示すブロック図 標準分光視感度効率を例示した図 撮像装置の一例を示すブロック図

［第１の実施形態］
図１は本発明に係る撮像モジュール１の第１の実施形態を示すブロック図である。

図１に示すように、第１の実施形態の撮像モジュール１は、レンズ部１０と、撮像素子１２と、ＡＤ変換部１４と、復元処理ブロック２０とから構成されている。

図２はレンズ部１０の光学系の一例を示す図である。レンズ部１０は、図２に示すように単焦点の固定された撮影レンズ１０Ａと、瞳位置に挿入される光学フィルタ１１とから構成されている。光学フィルタ１１は、位相を変調させるもので、拡大された焦点深度（Extended Depth Of Focus:EDoF）が得られるように撮影レンズ１０ＡをEDoF化させる。

尚、光学フィルタ１１の近傍には、図示しない絞りが配設されている。また、光学フィルタ１１は、１枚でもよいし、複数枚を組み合わせたものでもよい。また、光学フィルタ１１は、光学的位相変調手段の一例にすぎず、その他のもの、例えば特許文献１のような各種の光波面変調素子が採用されてもよい。

このレンズ部１０は、メカ的に焦点調節を行う焦点調節機構を省略することができ、小型化が可能であり、カメラ付き携帯電話や携帯情報端末に搭載されるものとして好適である。

EDoF化されたレンズ部１０を透過した光学像は、撮像素子１２に結像され、ここで電気信号に変換される。

撮像素子１２は、画素毎に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色の原色フィルタが所定のパターンでマトリクス状に配列（ベイヤ配列、ＧストライプＲ／Ｇ完全市松、ハニカム配列等）されたカラー撮像素子であり、Ｃ−ＭＯＳイメージセンサ又はＣＣＤイメージセンサにより構成されている。レンズ部１０を介して撮像素子１２の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積されたＲ・Ｇ・Ｂの信号電荷は、画素毎の電圧信号（画像信号）として順次出力される。

ＡＤ変換部１４は、撮像素子１２から画素毎に出力されるアナログのＲ・Ｇ・Ｂ画像信号をデジタルのＲＧＢ画像信号に変換する。ＡＤ変換部１４によりデジタルの画像信号に変換されたデジタル画像信号（第１のデジタル画像信号）は、復元処理ブロック２０に加えられる。

復元処理ブロック２０は、主として黒レベル調整部２２と、ホワイトバランスゲイン部２３と、ガンマ処理部２４と、同時化処理部２５と、ＲＧＢ／ＹＣｒＣｂ変換部２６と、Ｙ信号復元処理部２７とから構成されている。

黒レベル調整部２２は、ＡＤ変換部１４から出力されたデジタル画像信号に黒レベル調整を施す。黒レベル調整には、公知の方法が採用されうる。例えば、ある有効光電変換素子に着目した場合、その有効光電変換素子を含む光電変換素子行に含まれる複数のＯＢ光電変換素子の各々に対応する暗電流量取得用信号の平均を求め、その有効光電変換素子に対応する暗電流量取得用信号から該平均を減算することで、黒レベル調整が行われる。

ホワイトバランスゲイン部２３は、黒レベルデータが調整されたデジタル画像信号に含まれるＲＧＢ各色信号のホワイトバランスゲインに応じたゲイン調整を行う。

ガンマ処理部２４は、ホワイトバランス調整されたＲ、Ｇ、Ｂ画像信号が所望のガンマ特性となるように中間調等の階調補正を行うガンマ補正を行う。

同時化処理部２５は、ガンマ補正後のＲ、Ｇ、Ｂ画像信号に同時化処理を施す。具体的には、同時化処理部２５は、Ｒ、Ｇ、Ｂの画像信号に色補間処理を施すことにより、撮像素子１２の各受光画素から出力される一組の画像信号（Ｒ信号、Ｇ信号、Ｂ信号）を生成する。即ち、色同時化処理前は、各受光画素からの画素信号はＲ、Ｇ、Ｂの画像信号のいずれかであるが、色同時化処理後は、各受光画素に対応するＲ、Ｇ、Ｂ信号の３つの画素信号の組が出力されることとなる。

ＲＧＢ／ＹＣｒＣｂ変換部２６は、同時化処理された画素毎のＲ、Ｇ、Ｂ信号を、輝度信号Ｙと色差信号Ｃｒ、Ｃｂに変換し、画素毎の輝度信号Ｙおよび色差信号Ｃｒ、Ｃｂを出力する。

Ｙ信号復元処理部２７は、予め記憶された復元処理パラメータに基づいて、ＲＧＢ／ＹＣｒＣｂ変換部２６からの輝度信号Ｙに復元処理を行う。復元処理パラメータは、例えば、７×７のカーネルサイズを有するデコンボリューションカーネルと、そのデコンボリューションカーネルに対応する演算係数（復元ゲインデータ）とからなり、光学フィルタ１１の位相変調分のデコンボリューション処理に使用されるものである。尚、復元処理パラメータは、光学フィルタ１１に対応するものがメモリに記憶される。また、カーネルのサイズは、７×７のものに限らない。

次に、復元処理ブロック２０による復元処理について説明する。図３は第１の実施形態
の復元処理ブロック２０による復元処理を示すフローチャートである。

黒レベル調整部２２の一方の入力には、ＡＤ変換部１４からデジタル画像信号が加えられており、他の入力には黒レベルデータが加えられており、黒レベル調整部２２は、デジタル画像信号から黒レベルデータを減算し、黒レベルデータが減算されたデジタル画像信号をホワイトバランスゲイン部２３に出力する（ステップＳ１）。これにより、デジタル画像信号には黒レベル成分が含まれなくなり、黒レベルを示すデジタル画像信号は０になる。

黒レベル調整後の画像データに対し、順次、ホワイトバランスゲイン部２３、ガンマ処理部２４による処理が施される（ステップＳ２およびＳ３）。

ＲＧＢ／ＹＣｒＣｂ変換部２６は、ガンマ補正されたＲ、Ｇ、Ｂ信号を、輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂに変換する（ステップＳ４）。

Ｙ信号復元処理部２７は、輝度信号Ｙに、レンズ部１０に挿入された光学フィルタ１１の位相変調分のデコンボリューション処理を掛ける復元処理を行う（ステップＳ５）。即ち、Ｙ信号復元処理部２７は、任意の処理対象の画素を中心とする所定単位の画素群に対応する輝度信号（ここでは７×７画素の輝度信号）と、予めメモリなどに記憶されている復元処理パラメータ（７×７のコンボリューションカーネルとその演算係数）とのデコンボリューション処理（畳み込み演算処理）を行う。Ｙ信号復元処理部２７は、この所定単位の画素群ごとのデコンボリューション処理を撮像面の全領域をカバーするよう繰り返すことにより画像全体の像ボケを取り除く復元処理を行う。復元処理パラメータは、デコンボリューション処理を施す画素群の中心の位置に応じて定められている。すなわち、近接する画素群には、共通の復元処理パラメータが適用される。さらに復元処理を簡略化するためには、全ての画素群に共通の復元処理パラメータが適用されることが好ましい。

図４（Ａ）に示すように、EDoF化されたレンズ部１０を透過した輝度信号の点像（光学像）は、大きな点像（ぼけた画像）として撮像素子１２に結像されるが、上記Ｙ信号復元処理部２７でのデコンボリューション処理により、図４（Ｂ）に示すように小さな点像（高解像度の画像）に復元される。

上記のように、同時化後の輝度信号のみに復元処理をかけることで、復元処理のパラメータをＲＧＢ別々に持つ必要がなくなり、復元処理が高速化する。また、飛び飛びの位置にあるＲ・Ｇ・Ｂの画素に対応するＲ・Ｇ・Ｂの画像信号をそれぞれ１単位にまとめてデコンボリューション処理するのでなく、近接する画素の輝度信号同士を所定の単位にまとめ、その単位には共通の復元処理パラメータを適用してデコンボリューション処理するため、復元処理の精度が向上する。なお、色差信号Ｃｒ・Ｃｂについては、人の目による視覚の特性上、復元処理で解像度を上げなくても画質的には許容される。また、ＪＰＥＧのような圧縮形式で画像を記録する場合、色差信号は輝度信号よりも高い圧縮率で圧縮されるので、復元処理で解像度を上げる必要性が乏しい。こうして、復元精度の向上と処理の簡易化および高速化を両立できる。

［第２の実施形態］
図５は本発明に係る撮像モジュール２の第２の実施形態を示すブロック図である。尚、図１に示した第１の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図５に示すように、第２の実施形態の撮像モジュール２は、Ｙ信号デガンマ処理部２８、Ｙ信号ガンマ処理部２９を備えている。

Ｙ信号デガンマ処理部２８は、ＲＧＢ／ＹＣｒＣｂ変換部２６から出力されたＹ信号に対し、デガンマ処理を施し、線形なＹ信号を得る。そして、Ｙ信号デガンマ処理部２８は、線形なＹ信号をＹ信号復元処理部２７に入力する。

Ｙ信号ガンマ処理部２９は、Ｙ信号復元処理部２７が復元した線形なＹ信号にガンマ補正を施す。例えば、Ｙ信号ガンマ処理部２９は、所定のガンマ特性を有するルックアップテーブル（ＬＵＴ）を記憶しており、線形な輝度信号Ｙを入力すると、そのＹをＬＵＴに従って輝度信号Ｙ′に変換し、この輝度信号Ｙ′をガンマ補正後のＹ信号として出力する。

ガンマ補正は、非線形処理の一例である。非線形処理の他の例としては、コントラスト調整処理、シャープネス調整処理、ノイズリダクション処理及び色補正処理が挙げられる。非線形なＹ信号に対して復元処理をする場合、復元処理のパラメータも非線形でなければ正確な復元ができない。一方、一旦線形なＹ信号に変換すれば、復元処理のパラメータも線形なものが適用できる。しかしながら、Ｃｒ，Ｃｂへの変換はガンマ補正後に実施しなければ正確な色が再現できなくなる。そのために、一旦非線形処理すなわちガンマ補正の施されたＲＧＢ画像データから変換されたＹ信号に対して、対応する線形処理すなわちデガンマ補正を施し、線形なＹ信号をＹ信号復元処理部２７に入力する。そして、復元後のＹ信号に対し、改めて非線形処理すなわちガンマ補正を行う。

図６は第２の実施形態の復元処理ブロック４０による復元処理を示すフローチャートで
ある。尚、図３に示した第１の実施形態と共通する部分には同一のステップ番号を付し、
その詳細な説明は省略する。

Ｙ信号デガンマ処理部２８は、ＲＧＢ／ＹＣｒＣｂ変換部２６から出力されたＹ信号に対し、デガンマ処理を施し、線形なＹ信号を得る（ステップＳ１０）。

Ｙ信号復元処理部２７は、Ｙ信号デガンマ処理部２８から入力された線形なＹ信号にデコンボリューション処理を施し、Ｙ信号を復元する（ステップＳ５）。

Ｙ信号ガンマ処理部２９は、Ｙ信号復元処理部２７が復元した線形なＹ信号にガンマ補正を施す（ステップＳ１１）。

このように、ガンマ補正前の画像信号と同様の線形なＹ信号に対して復元を行うことで、より精度の高い復元処理が可能となる。

［第３の実施形態］
図７は本発明に係る撮像モジュール３の第３の実施形態を示すブロック図である。尚、図１に示した第１の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図７に示すように、第３の実施形態の撮像モジュール３は、画像処理ブロック３０、画像記録部３１が追加されている点で、第１・２の実施形態と相違する。

また、ＡＤ変換部１４は、撮像素子１２からの電圧信号（画像信号）を、所定の精度（ここではＲＧＢ各色１４ビット）でデジタル画像データに変換する。

また、ガンマ処理部２４よりも上流側のブロック、すなわち、黒レベル調整部２２およびホワイトバランスゲイン部２３は、ＡＤ変換部１４から出力された画像データのビット長（ここでは１４ビット）と同一のビット長を保持したまま各処理を行う。

画像記録部３１の記録する画像データのビット長は、画像記録方式に応じて定まる。例えば、画像記録部３１がベースラインＪＰＥＧで画像データを記録する場合、最終ビット長は８ビットである。

なお、図示は省略するが、第２の実施形態と同様、Ｙ信号復元処理部２７の上流側と下流側にそれぞれＹ信号デガンマ処理部２８とＹ信号ガンマ処理部２９を設けてもよい。

図８は第３の実施形態の復元処理ブロック４０による復元処理を示すフローチャートで
ある。尚、図３に示した第１の実施形態と共通する部分には同一のステップ番号を付し、
その詳細な説明は省略する。

ガンマ処理部２４は、ガンマ補正に際して、画像データを、上流側のブロックよりも小さいが、画像記録部３１で記録される画像の最終ビット長よりも大きいビット長（例えば１２ビット）に変換する（ステップＳ３）。

ＲＧＢ／ＹＣｒＣｂ変換部２６、Ｙ信号復元処理部２７の処理は上記実施形態と同様であるが（ステップＳ４、５）、画像のビット長はガンマ処理部２４から出力された画像データのビット長、例えば１２ビットを保つ。また、ＲＧＢ／ＹＣｒＣｂ変換部２６は、当該ビット長のＹ信号をＹ信号復元処理部２７に入力し、また当該ビット長のＣｒ／Ｃｂ信号を画像処理ブロック３０に入力する。

画像処理ブロック３０は、Ｙ信号復元処理部２７から入力されたＹ信号およびＲＧＢ／ＹＣｒＣｂ変換部２６から入力されたＣｒ／Ｃｂ信号に対し、色差マトリクス、圧縮、リサイズ、輪郭強調などの各種の画像処理を施す（ステップＳ２０）。この画像処理は上述した非線形処理を含むこともできる。

画像記録部３１は、所定の最終ビット長で画像を記録する（ステップＳ２１）。

なお、図示は省略するが、Ｙ信号復元処理部２７の上流側と下流側にそれぞれＹ信号デガンマ処理部２８とＹ信号ガンマ処理部２９が設けられた場合は、第２の実施形態の復元処理と同様、Ｓ５の前後でＳ１０およびＳ１１の処理を行い、その後画像処理と画像記録を行う。

Ｙ信号復元処理部２７でＹ信号を最終画像のビット長と同じビット長で復元すると、ビットの飛びにより階調飛びが発生するおそれがある。これを防ぐため、ガンマ補正後から復元処理完了までは、最終画像のビット長よりも多いビット長で処理を行う。

［第４の実施形態］
図９は本発明に係る撮像モジュール１の第４の実施形態を示すブロック図である。尚、
図１に示した第１の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省
略する。

図９に示すように、第４の実施形態の撮像モジュール４は、復元パラメータ記憶部３２が追加されている点で、第１〜３の実施形態と相違する。この復元パラメータ記憶部３２は、第１〜３の実施形態のいずれの撮像モジュールにも適用できる。

復元パラメータ記憶部３２に記憶されたデコンボリューションカーネルとその復元パラメータは、次のようにして算出される。まず、いわゆる分光視感度と同等の分光透過率を持つ白黒フィルタ付きの撮像素子（白黒撮像素子）を、レンズ部１０の結像位置に合わせて配置する。すなわち、ここでいう白黒撮像素子には、撮像素子４１に配置されたＲＧＢカラーフィルタではなく、人間の輝度に対する視感度特性を有する白黒フィルタが配置されている。当該白黒撮像素子と対になるレンズ部１０は、各撮像装置に備えつけられた個々のEDoF化された撮像レンズであってもよいし、個々の撮像レンズと同等の結像性能を有するEDoF化された撮像レンズでもよい。いずれの場合でも、レンズ部１０の結像性能は、既知の点像強度分布ｈで表されるものとする。また、白黒撮像素子よりも下流側の信号処理ブロックは、上記実施形態の黒レベル調整部２２、ホワイトバランスゲイン部２３、ガンマ処理部２４、同時化処理部２５、ＲＧＢ／ＹＣｒＣｂ変換部２６である。

当該レンズ部１０と当該撮像素子で所定の光源下における所定の被写体の撮像を行い、上記信号処理ブロックを経由して輝度成分のみからなるデジタル白黒画像信号が得られる。そして、当該白黒画像信号から、画像の強度分布ｇを求める。

ここで、特許文献３のように、画像の強度分布ｇは、元の物体の輝度分布ｆとレンズ部１０の結像性能を表す点像強度分布ｈの畳み込み（Convolution）にノイズｎが加わった
ｇ＝ｆ＊ｈ＋ｎ （＊は畳み込み積分） ・・・（Ａ）
で表される。ｇ、ｈ、ｎを既知として、（Ａ）から元の物体の輝度分布ｆを求めることで、デコンボリューションの復元パラメータが算出される。

図１０は分光視感度の一例として、ＣＩＥによる標準分光視感度効率（spectral luminous efficiency）を示している。この視感度特性は、波長λ＝５５５［ｎｍ］の単色放射に対して感ずる明るさを１に正規化して、その他の波長で感ずる同一放射強度の明るさの比を表している。例えば、波長λ＝４７０［ｎｍ］の光は、物理的に同一の放射強度であっても、波長λ＝５５５［ｎｍ］の光の約１０分の１の明るさにしか感じないことになる。

鑑賞者の視覚特性に合わせて輝度と色温度を最適に制御するため、ＲＧＢ／ＹＣｒＣｂ変換部２６は、上記分光視感度を参考に、Ｙ信号を変換出力するものとする。この場合、Ｙ信号復元処理部２７が上記白黒画像から算出された復元パラメータを用いて復元すれば、正確で鑑賞者の視覚特性に合った復元結果が得られる。

［第５の実施形態］
図１１は第１の実施形態の撮像モジュール１が適用された撮像装置の一例を示すブロック図である。

図１１に示す撮像装置１００は、図１に示した撮像モジュール１が組み込まれたもので、撮像モジュール以外は通常のデジタルカメラ等と同じ構成を有している。図示は省略するが、撮像装置１００には、第１〜第４実施形態で説明された撮像モジュール１のいずれも組み込むことができる。

中央処理装置（ＣＰＵ）１０２は、操作部１０４からの操作入力及び所定のプログラムに従って装置全体を統括制御する部分であり、自動露出（ＡＥ）演算、ホワイトバランス（ＷＢ）調整演算等、各種演算を実施する演算手段としても機能する。

ＣＰＵ１０２には、バス１０３及びメモリ・インターフェース１０６を介してＲＡＭ（Random Access Memory）１０８及びＲＯＭ（Read Only Memory）１１０が接続されている。ＲＡＭ１０８は、プログラムの展開領域及びＣＰＵ１０２の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。ＲＯＭ１１０には、ＣＰＵ１０２が実行するプログラム及び制御に必要な各種データや、撮像動作に関する各種定数／情報等が格納されている。

撮像モジュール１は、ＣＰＵ１０２からの指令により撮影動作等を行い、前述したように復元処理ブロック２０からＲＧＢのＲＡＷデータを出力する。このＲＡＷデータは、バス１０３及びメモリＩ／Ｆ１０６を介してＲＡＭ１０８に一時的に保存される。

ＲＡＭ１０８に保存されたＲＧＢのＲＡＷデータは、画像処理ブロック３０に入力され、各種の画像処理が施される。

また、ＲＡＷデータ記録が選択されている場合には、ＲＡＷデータはＲＡＷファイルのフォーマットで、外部メモリＩ／Ｆ１１４を介してメモリカード１１６に記録される。

操作部１０４には、シャッターボタン、撮影モードと再生モードを選択するモード選択スイッチ、表示部（ＬＣＤ）１１８にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択するためのマルチファンクションの十字キー等が含まれる。操作部１０４からの出力信号は、バス１０３を介してＣＰＵ１０２に入力され、ＣＰＵ１０２は操作部１０４からの入力信号に基づいて撮影や再生等の適宜の処理を実施させる。

撮像装置１００には、被写体にフラッシュ光を照射するためのフラッシュ装置１２０が含まれ、フラッシュ装置１２０は、ＣＰＵ１０２からの発光指令によって充電部１２２から電源の供給を受けてフラッシュ光を照射する。

画像処理ブロック３０で処理された画像データ（輝度信号Ｙ，色差信号Ｃr,Ｃｂ）は、画像記録部３１に与えられ、ここで、所定の圧縮フォーマット（例えば、JPEG方式) に従って圧縮される。圧縮された画像データは、画像ファイル（例えば、JPEGファイル）のフォーマットで、外部メモリＩ／Ｆ１１４を介してメモリカード１１６に記録される。

また、ＬＣＤ１１８には、ＬＣＤインターフェース１２６を介して加えられる画像信号により撮像準備中に映像（ライブビュー画像）が表示され、また、再生モード時にメモリカード１１６に記録されたJPEGファイル、又はＲＡＷファイルが読み出され、画像が表示される。尚、JPEGファイルに格納された圧縮された画像データは、圧縮伸張処理回路１２４によって伸張処理が行われてＬＣＤ１１８に出力され、ＲＡＷファイルに格納されたＲＡＷデータは、画像処理ブロック３０によってＲＡＷ現像した後にＬＣＤ１１８に出力される。

［その他］
本発明は第１の実施形態から第４の実施形態の撮像モジュールに限らず、例えば、各実施形態の撮像モジュールの構成要素を適宜組み合わせたものでもよい。

また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々
の変形が可能であることは言うまでもない。

１…撮像モジュール、１０…レンズ部、１０Ａ…撮影レンズ、１１…光学フィルタ、１２…撮像素子、１４…ＡＤ変換部、２０…復元処理ブロック

Claims (6)

1. 所定の光学的位相変調手段により焦点深度の拡大されたレンズ部と、
   所定の結像面にマトリクス状に配列された各画素に対応する赤、青および緑のカラーフィルタが装着され、前記レンズ部を介して前記所定の結像面に結像された光学像を、前記各画素により光電変換することで、前記各画素に対応する色のアナログ画像信号を出力することが可能な撮像素子と、
   前記撮像素子から出力される各画素ごとのアナログ画像信号を、各画素ごとのデジタル画像信号に変換して出力するＡＤ変換部と、
   前記ＡＤ変換部から出力された各画素ごとのデジタル画像信号の黒レベルを調整する黒レベル調整部と、
   前記黒レベル調整部が黒レベルを調整した各画素ごとのデジタル画像信号のホワイトバランスゲインを調整するホワイトバランスゲイン調整部と、
   前記ホワイトバランスゲイン調整部がホワイトバランスゲインを調整した各画素ごとのデジタル画像信号にガンマ補正を施すガンマ処理部と、
   前記ガンマ処理部がガンマ補正を行った各画素ごとのデジタル画像信号に同時化処理を施すことで、各画素に対応する赤、青および緑のデジタル画像信号の組を生成する同時化処理部と、
   前記同時化処理部が生成した各画素に対応する赤、青および緑のデジタル画像信号の組を輝度データおよび色差データに変換し、各画素に対応する輝度信号および色差信号を出力可能なＹＣ変換部と、
   前記ＹＣ変換部の出力した各画素に対応する輝度信号のうち、近接する所定単位の画素群に対応する輝度信号ごとに共通するデコンボリューションパラメータでデコンボリューションすることで、前記光学的位相変調手段による被写体像の劣化を前記輝度信号から除去する復元処理を施す復元処理部と、
   を備える撮像モジュール。
2. 前記ＹＣ変換部の出力した輝度信号に、デガンマ処理を施し、線形な輝度信号を出力するデガンマ処理部を備え、
   前記復元処理部は、前記デガンマ処理部の出力した線形な輝度信号に、前記復元処理を施し、
   前記復元処理部が前記復元処理を施した輝度信号にガンマ補正を施す輝度信号ガンマ処理部を備える請求項１に記載の撮像モジュール。
3. 前記復元処理部が前記復元処理を施した輝度信号と前記ＹＣ変換部の出力した色差信号とからなるデジタル画像信号を記録可能な記録部を備え、
   前記ガンマ補正後から前記復元処理完了までのデジタル画像信号のビット長は、前記記録部が記録するデジタル画像信号のビット長よりも大きい請求項１または２に記載の撮像モジュール。
4. 所定の光学的位相変調手段により焦点深度の拡大されたレンズ部と、所定の結像面にマトリクス状に配列された各画素に対応する赤、青および緑のカラーフィルタが装着され、前記レンズ部を介して前記所定の結像面に結像された光学像を、前記各画素により光電変換することで、前記各画素に対応する色のアナログ画像信号を出力することが可能な撮像素子と、を備えた撮像モジュールによる信号処理方法であって、
   前記撮像素子から出力される各画素ごとのアナログ画像信号を、各画素ごとのデジタル画像信号に変換して出力するステップと、
   前記各画素ごとのデジタル画像信号の黒レベルを調整するステップと、
   前記黒レベルを調整した各画素ごとのデジタル画像信号のホワイトバランスゲインを調整するステップと、
   前記ホワイトバランスゲインを調整した各画素ごとのデジタル画像信号にガンマ補正を施すステップと、
   前記ガンマ補正を行った各画素ごとのデジタル画像信号に同時化処理を施すことで、各画素に対応する赤、青および緑のデジタル画像信号の組を生成するステップと、
   前記各画素に対応する赤、青および緑のデジタル画像信号の組を輝度データおよび色差データに変換し、各画素に対応する輝度信号および色差信号を出力するステップと、
   前記各画素に対応する輝度信号のうち、近接する所定単位の画素群に対応する輝度信号ごとに共通するデコンボリューションパラメータでデコンボリューションすることで、前記光学的位相変調手段による被写体像の劣化を前記輝度信号から除去する復元処理を施すステップと、
   を含む画像信号処理方法。
5. 前記デコンボリューションパラメータは、前記レンズ部と所定の白黒フィルタが装着された白黒撮像素子を介して得られた白黒画像の強度分布に基づいて算出される請求項４に記載の画像信号処理方法。
6. 所定の白黒フィルタは所定の分光視感度と同等の分光透過率を有する請求項５に記載の画像信号処理方法。

Images