JP2012023675A - 撮像モジュール及び撮像装置並びに撮像モジュールの信号処理方法 - Google Patents

Abstract

【課題】位相変調させて焦点深度が拡大された画像から高解像度の画像を高精度に復元することができ、かつ復元処理後の画像を既存の信号処理系にそのまま使用可能にする。
【解決手段】位相を変調させる光学フィルタを含むレンズ部１０、撮像素子１２及びＡＤ変換部１４を介して出力されるぼけ画像のデジタル画像信号を復元処理ブロック２０により高解像度のデジタル画像信号に復元して出力する。この復元処理ブロック２０は、黒レベルが減算されたデジタル画像信号に光学フィルタの位相変調分のデコンボリューション処理を掛け、これにより復元処理されたデジタル画像信号に黒レベルを加算して出力するようにしている。黒レベルが加算されたデジタル画像信号（ＲＡＷデータ）を出力することで、焦点深度拡大及び復元系を含まない撮像モジュールのＲＡＷデータと同一にすることができ、撮像モジュール１に互換性をもたせることができる。
【選択図】 図１

Description

本発明は撮像モジュール及び撮像装置並びに撮像モジュールの信号処理方法に係り、特にメカ的に焦点調節を行う焦点調節機構を省略し、かつ高解像度の画像信号を得る技術に関する。

従来、撮影光学系の光路中に位相を変調させる位相板を挿入することにより焦点深度を拡大し、前記焦点深度の拡大によりぼけた画像（大きな点像）に、復元処理パラメータを有するカーネルによるデコンボリューション処理を掛けることより高解像度の画像（小さな点像）に復元するようにした撮像装置が提案されている（特許文献１）。

特許文献２には、撮影光学系の特性データと撮像素子の出力信号に基づき、画像データの輝度／色分離処理、色変換処理を行う前に、画像データに対し撮像光学系による色収差や歪曲収差等の画質劣化を補正する処理を施す技術が開示されている。

また、特許文献３には、信号の計測、観測、記録の過程、変化した観測信号を、変化する前の信号にする復元処理部を有し、この復元処理部により既知の変化関数を用いて１回または複数回変化させた変化信号に加工し、ノイズの影響を軽減する信号処理装置が開示されている。

特開２００６−９４４７０号公報 特開２００２−１９９４１０号公報 特開２００８−１１８３９９号公報

ところで、位相板を挿入することにより焦点深度が拡大された画像の復元処理に用いるデコンボリューション処理は、画素値にゲイン（復元処理パラメータ）をかけて畳み込み演算を行う処理であるため、処理対象の画像データに黒レベルが含まれていると、正確に復元できないという問題がある。

特許文献１に記載の発明は、撮像素子から出力される生データに、復元処理パラメータを有する所定のカーネルによるデコンボリューション処理を掛けており、事前に黒レベルを減算する処理を行っていない。

一方、特許文献２に記載の発明は、輝度／色分離処理、色変換処理の前に、被写体深度を拡張する復元処理を行っていない。

また、特許文献３に記載の発明は、画像のぶれ情報、画像の焦点情報、光学情報等の元変化情報に基づいて変化前の信号に復元しているが、復元前に黒レベルを減算する処理を行っていないため、正確に復元することができず、また、被写体深度を拡張する復元処理も行っていない。

本発明はこのような事情に鑑みてなされたもので、位相変調させて焦点深度が拡大された画像から高解像度の画像を高精度に復元することができ、かつ復元処理後の画像を既存の信号処理系にそのまま使用することができる互換性を有する撮像モジュール及び該撮像モジュールを備えた撮像装置並びに撮像モジュールの信号処理方法を提供することを目的とする。

前記目的を達成するために請求項１に係る撮像モジュールは、位相を変調させる光学フィルタを少なくとも１つ含むレンズ部と、前記レンズ部を透過した光学像が結像され、該光学像を電気信号に変換する撮像素子と、前記撮像素子から出力される電気信号を第１のデジタル画像信号に変換して出力するＡＤ変換部と、復元処理ブロックと、を備え、前記復元処理ブロックは、前記ＡＤ変換部から第１のデジタル画像信号を入力し、該第１のデジタル画像信号から黒レベルを減算する黒レベル減算処理部と、前記黒レベルが減算された第１のデジタル画像信号に、前記光学フィルタの位相変調分のデコンボリューション処理を掛ける復元処理部と、前記復元処理された第１のデジタル画像信号に黒レベルを加算する黒レベル加算処理部と、からなり、前記復元処理ブロックにより復元処理された第１のデジタル画像信号を第２のデジタル画像信号として出力することを特徴としている。

請求項１に係る復元処理ブロックは、黒レベルが減算された第１のデジタル画像信号に対して復元処理を行うことで高精度の復元を可能にしている。また、復元処理後の第１のデジタル画像信号に黒レベルを再度加算することで、黒レベルが加算された第１のデジタル画像信号（第２のデジタル画像信号）に対する後段の信号処理が、焦点深度拡大及び復元系を含まない画像信号に対する信号処理と同一にすることができ、撮像モジュールに互換性をもたせることができる。

請求項２に示すように請求項１に記載の撮像モジュールにおいて、予め黒レベルを記憶するメモリ部を備え、前記黒レベル減算処理部は、前記第１のデジタル画像信号から前記メモリ部に記憶された黒レベルを減算し、前記黒レベル加算処理部は、前記復元処理された第１のデジタル画像信号に前記メモリ部に記憶された黒レベルを加算することを特徴としている。予め測定した黒レベルをメモリ部に記憶させておくことで、黒レベルの個体バラツキを吸収することができ、より高精度の復元処理が可能になる。

請求項３に示すように請求項１に記載の撮像モジュールにおいて、前記ＡＤ変換部から出力される第１のデジタル画像信号のうちの前記撮像素子の遮光領域に対応する第１のデジタル信号に基づいて黒レベルを算出する黒レベル算出部を備え、前記黒レベル減算処理部は、前記第１のデジタル画像信号から前記黒レベル算出部により算出された黒レベルを減算し、前記黒レベル加算処理部は、前記復元処理された第１のデジタル画像信号に前記黒レベル算出部により算出された黒レベルを加算することを特徴としている。これにより、撮影毎の黒レベルのバラツキを吸収することができ、より高精度の復元処理が可能になる。

請求項４に示すように請求項１に記載の撮像モジュールにおいて、予め黒レベルを記憶するメモリ部と、前記ＡＤ変換部から出力される第１のデジタル画像信号のうちの前記撮像素子の遮光領域に対応する第１のデジタル信号に基づいて黒レベルを算出する黒レベル算出部とを備え、前記黒レベル減算処理部は、前記第１のデジタル画像信号から前記黒レベル算出部により算出された黒レベルを減算し、前記黒レベル加算処理部は、前記復元処理された第１のデジタル画像信号に前記メモリ部に記憶された黒レベルを加算することを特徴としている。これにより、撮影毎の黒レベルのバラツキを吸収した復元処理を行うとともに、撮影毎の黒レベルを気にすることなく後段の信号処理に出力することができる。

請求項５に示すように請求項１から４のいずれかに記載の撮像モジュールにおいて、前記復元処理ブロックは、前記黒レベル加算処理部により黒レベルが加算された第１のデジタル信号のうち、負になる第１のデジタル信号を０にクリップするクリップ処理部を更に備えたことを特徴としている。前記黒レベルが減算された第１のデジタル画像信号を復元処理することにより、その復元処理された第１のデジタル画像信号に黒レベルを加算した後も、負になる画像信号になる画素が発生する。この場合の画素のデジタル画像信号は、０にクリップされることで、後段の信号処理部に異常な値として入力されないように処理される。

請求項６に示すように請求項１から５のいずれかに記載の撮像モジュールにおいて、前記復元処理ブロックは、前記黒レベル減算処理部により黒レベルが減算された第１のデジタル画像信号を、面内のシェーディング補正特性に応じてシェーディング補正するシェーディング補正部を更に備え、前記復元処理部は、前記シェーディング補正された第１のデジタル画像信号にデコンボリューション処理を掛けることを特徴としている。黒レベル減算後、復元処理前にレンズ部及び撮像素子に起因するシェーディング補正を実施することで、更に画質を高めることができる。

請求項７に示すように請求項１から６のいずれかに記載の撮像モジュールにおいて、前記復元処理ブロックは、前記黒レベル減算処理部により黒レベルが減算された第１のデジタル画像信号に含まれる混色成分を補正する混色補正部を更に備え、前記復元処理部は、前記混色補正された第１のデジタル画像信号にデコンボリューション処理を掛けることを特徴としている。黒レベル減算後、復元処理前に撮像素子に起因する混色補正を実施することで、更に画質を高めることができる。

請求項８に示すように請求項１から７のいずれかに記載の撮像モジュールにおいて、前記撮像素子は、画素毎に３原色の原色フィルタが所定のパターンで配列されたカラー撮像素子であり、前記復元処理ブロックにおける前記第１のデジタル画像信号に対する各処理は、３原色の色毎に行うことを特徴としている。これにより、フルカラーの第２のデジタル画像信号を出力することができるとともに、原色フィルタの配列に対応した点順次の第２のデジタル画像信号を出力することができる。

請求項９に係る撮像装置は、請求項１から８のいずれかに記載の撮像モジュールと、前記撮像モジュールから出力される第２のデジタル画像信号を受入し、該第２のデジタル画像信号に対して信号処理を行うデジタル信号処理部と、前記デジタル信号処理部により処理された第２のデジタル画像信号を記録媒体に記録する記録手段と、を備えたことを特徴としている。前記デジタル信号処理部は、前記撮像モジュール専用のものに限らず、焦点深度拡大及び復元系を含まない画像信号に対するものと同一のものを使用することができる。

請求項１０に示すように請求項９に記載の撮像装置において、前記デジタル信号処理部は、黒レベルを含むデジタル画像信号に対して信号処理を行うことを特徴としている。前記撮像モジュールから出力される第２のデジタル画像信号は黒レベルを含むため、前記デジタル画像信号処理部は、適正な信号処理を行うことができる。

請求項１１に係る発明は、位相を変調させる光学フィルタを少なくとも１つ含むレンズ部と、前記レンズ部を透過した光学像が結像され、該光学像を電気信号に変換する撮像素子と、前記撮像素子から出力される電気信号を第１のデジタル画像信号に変換して出力するＡＤ変換部と、復元ブロックとを備えた撮像モジュールの信号処理方法において、前記復元処理ブロックは、前記ＡＤ変換部から第１のデジタル画像信号を入力し、該第１のデジタル画像信号から黒レベルを減算する黒レベル減算処理工程と、前記黒レベルが減算された第１のデジタル画像信号に、前記光学フィルタの位相変調分のデコンボリューション処理を掛ける復元処理工程と、前記復元処理された第１のデジタル画像信号に黒レベルを加算する黒レベル加算処理工程と、を含み、前記復元処理ブロックにより復元処理された第１のデジタル画像信号を第２のデジタル画像信号として出力することを特徴としている。

本発明によれば、位相変調させて焦点深度が拡大された画像信号から高解像度の画像信号を復元する際に、黒レベルが減算された画像信号に対して復元処理を行うようにしたため、高精度の復元を実現することができ、また、復元処理後の画像信号に黒レベルを再度加算することにより、後段の信号処理が焦点深度拡大及び復元系を含まない画像信号に対する信号処理部と同一にすることができ、撮像モジュールに互換性をもたせることができる。

本発明に係る撮像モジュールの第１の実施形態を示すブロック図 レンズ部の光学系の一例を示す図 第１の実施形態の復元処理ブロックによる復元処理を示すフローチャート 復元処理部でのデコンボリューション処理により復元される点像の様子を示す図 第１の実施形態の変形例の復元処理ブロックによる復元処理を示すフローチャート 本発明に係る撮像モジュールの第２の実施形態を示すブロック図 第２の実施形態の復元処理ブロックによる復元処理を示すフローチャート 本発明に係る撮像モジュールの第３の実施形態を示すブロック図 第３の実施形態の復元処理ブロックによる復元処理を示すフローチャート 本発明に係る撮像モジュールの第４の実施形態を示すブロック図 第４の実施形態の復元処理ブロックによる復元処理を示すフローチャート 本発明に係る撮像モジュールの第５の実施形態を示すブロック図 第５の実施形態の復元処理ブロックによる復元処理を示すフローチャート 本発明に係る撮像装置の一例を示すブロック図

以下、添付図面に従って本発明に係る撮像モジュール及び撮像装置並びに撮像モジュールの信号処理方法の実施の形態について説明する。

［第１の実施形態］
図１は本発明に係る撮像モジュール１の第１の実施形態を示すブロック図である。

図１に示すように、第１の実施形態の撮像モジュール１は、レンズ部１０と、撮像素子１２と、ＡＤ変換部１４と、復元処理ブロック２０と、メモリ部３０とから構成されている。

図２はレンズ部１０の光学系の一例を示す図である。レンズ部１０は、図２に示すように単焦点の固定された撮影レンズ１０Ａと、瞳位置に挿入される光学フィルタ１１とか構成されている。光学フィルタ１１は、位相を変調させるもので、拡大された焦点深度（Extended Depth Of Focus:EDoF）が得られるように撮影レンズ１０ＡをEDoF化させる。

尚、光学フィルタ１１の近傍には、図示しない絞りが配設されている。また、光学フィルタ１１は、１枚でもよいし、複数枚を組み合わせたものでもよい。

このレンズ部１０は、メカ的に焦点調節を行う焦点調節機構を省略することができ、小型化が可能であり、カメラ付き携帯電話や携帯情報端末に搭載されるものとして好適である。

EDoF化されたレンズ部１０を透過した光学像は、撮像素子１２に結像され、ここで電気信号に変換される。

撮像素子１２は、画素毎に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色の原色フィルタが所定のパターンで配列（ベイヤ配列、ＧストライプＲ／Ｇ完全市松、ハニカム配列等）されたカラー撮像素子であり、Ｃ−ＭＯＳイメージセンサ又はＣＣＤイメージセンサにより構成されている。レンズ部１０を介して撮像素子１２の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積された信号電荷は、電圧信号（画像信号）として順次出力される。

ＡＤ変換部１４は、撮像素子１２から出力されるアナログの画像信号をデジタルの画像信号に変換する。ＡＤ変換部１４によりデジタルの画像信号に変換されたデジタル画像信号（第１のデジタル画像信号）は、復元処理ブロック２０に加えられる。

復元処理ブロック２０は、主として黒レベル減算処理部２２と、復元処理部２４と、黒レベル加算処理部２６とから構成されている。また、メモリ部３０には、黒レベルデータ及び復元処理パラメータが記憶されている。

黒レベルデータは、撮像素子１２への入射光量が０の場合に、前記ＡＤ変換部１４から出力されるデジタル画像信号の平均値であり、黒レベルデータとして、所定値（例えば、６４、１２８等）が出力されるようにＡＤ変換部１４が設定されている場合には、その所定値に対応する。また、復元処理パラメータは、例えば、７×７のカーネルと、そのカーネルに対応する復元ゲインデータとからなり、光学フィルタ１１の位相変調分のデコンボリューション処理に使用されるものである。尚、復元処理パラメータは、光学フィルタ１１に対応するものが記憶される。また、カーネルのサイズは、７×７のものに限らない。

次に、復元処理ブロック２０による復元処理について説明する。図３は第１の実施形態の復元処理ブロック２０による復元処理を示すフローチャートである。

黒レベル減算処理部２２の一方の入力には、ＡＤ変換部１４からデジタル画像信号が加えられており、他の入力にはメモリ部３０から黒レベルデータが加えられており、黒レベル減算処理部２２は、デジタル画像信号から黒レベルデータを減算し、黒レベルデータが減算されたデジタル画像信号を復元処理部２４に出力する（図３のステップＳ１０）。これにより、デジタル画像信号には黒レベル成分が含まれなくなり、黒レベルを示すデジタル画像信号は０になる。

復元処理部２４は、黒レベルデータが減算されたデジタル画像信号に、レンズ部１０に挿入された光学フィルタ１１の位相変調分のデコンボリューション処理を掛ける復元処理を行う（図３のステップＳ１２）。即ち、復元処理部２４は、黒レベルデータが減算されたデジタル画像信号であって、処理対象の画素を中心とする７×７画素のデジタル画像データと、メモリ部３０に記憶されている７×７のカーネルの復元処理パラメータとのデコンボリューション処理（畳み込み演算処理）を行うことにより復元処理を行う。

図４（Ａ）に示すように、EDoF化されたレンズ部１０を透過した点像（光学像）は、大きな点像（ぼけた画像）として撮像素子１２に結像されるが、上記復元処理部２４でのデコンボリューション処理により、図４（Ｂ）に示すように小さな点像（高解像度の画像）に復元される。

また、復元処理に用いるデコンボリューションは、画素にゲインをかけることにより行われるが、黒レベルデータが減算されたデジタル画像信号にデコンボリューション処理を掛けることにより、正確に復元することができる。

上記のようにして復元処理されたデジタル画像信号は、黒レベル加算処理部２６に加えられる。黒レベル加算処理部２６の他の入力には、メモリ部３０から黒レベルデータが加えられており、黒レベル加算処理部２６は、復元処理されたデジタル画像信号に黒レベルデータを加算する（図３のステップＳ１４）。黒レベル加算処理部２６により黒レベルデータが加算されたデジタル画像信号は、第２のデジタル画像信号（ＲＡＷデータ）として出力される。

この黒レベル加算処理部２６（復元処理ブロック２０）から出力されるＲＡＷデータは、EDoF化されたレンズ部１０及び復元処理ブロック２０を含まない画像信号（即ち、通常の撮影レンズ、撮像素子及びＡＤ変換部を有する撮像部から出力されるＲＡＷデータ）と同じものとなり、後段の信号処理系として共通のものを使用することができる。即ち、撮像モジュール１に互換性をもたせることができる。

尚、撮像素子１２がＲＧＢの原色フィルタ配列としてベイヤ配列のカラー撮像素子の場合、ＡＤ変換部１４からはそのベイヤ配列（Ｇ画素が市松状に配置されるとともに、そのＧ画素の間にＢ画素が配置さるライン（ＧＢＧＢＧＢ…）と、Ｒ画素が配置されるライン（ＲＧＲＧＲＧ…）とが交互に配列されるもの）にしたがって、点順次で各色のデジタル画像信号が出力され、復元処理ブロック２０は、デジタル画像信号を色毎に復元処理し、ＡＤ変換部１４から点順次で出力されるデジタル画像信号と同様に、原色フィルタ配列の順にしたがって点順次のＲＡＷデータを出力する。

［第１の実施形態の変形例］
第１の実施形態では、メモリ部３０に所定値の黒レベルデータが記憶されている場合について説明したが、第１の実施形態の変形例では、メモリ部３０に撮像モジュール毎の黒レベルデータを記憶させる。尚、撮像モジュールの構成としては、図１に示したものと同様に構成することができる。

即ち、撮像モジュールの出荷の調整時に、レンズ部１０から光が入射しない状態で撮像を行い、このときＡＤ変換部１４から出力されるデジタル画像信号の平均値を測定する。そして、この平均値を黒レベルデータとしてメモリ部３０に記憶させる。

図５は第１の実施形態の変形例の復元処理ブロックによる復元処理を示すフローチャートである。尚、図３に示した第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

即ち、図５に示すように黒レベル減算処理（ステップＳ１０）及び黒レベル加算処理（ステップＳ１４）の前に、実際に撮像モジュール毎に測定された最適な黒レベルデータを、メモリ部３０から読み込み（ステップＳ２０、Ｓ２２）、この読み込んだ黒レベルデータを減算処理及び加算処理に使用するようにしている。

これにより、撮像モジュール（レンズ部１０、撮像素子１２）毎の個体差によらず、最適な黒レベルデータによる減算処理及び加算処理を行うことができ、復元処理の精度アップか可能になる。

［第２の実施形態］
図６は本発明に係る撮像モジュール２の第２の実施形態を示すブロック図である。尚、図１に示した第１の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図６に示すように、第２の実施形態の撮像モジュール２は、主として黒レベルデータの取得手段が第１の実施形態と相違しており、黒レベル算出部４２と、黒レベルデータを一時保持するメモリ部４４とを備えている。

撮像素子１２は、有効画素領域の周囲に遮光されたオプティカルブラック（ＯＢ）領域を有している。黒レベル算出部４２は、ＡＤ変換部１４から出力されるデジタル画像信号のうちのＯＢ領域のデジタル画像信号を積算平均することにより、黒レベルデータを算出する。黒レベル算出部４２により算出された黒レベルデータは、メモリ部４４に一時格納され、黒レベル減算処理部２２及び黒レベル加算処理部２６により利用できるようになっている。

図７は第２の実施形態の復元処理ブロック４０による復元処理を示すフローチャートである。尚、図３に示した第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

撮像モジュール２によって撮影が行われると、黒レベル算出部４２は、撮影毎に撮像素子１２のＯＢ領域から得られるデジタル画像信号に基づいて黒レベルデータを算出する（ステップＳ３０）。

黒レベル算出部４２により算出された黒レベルデータは、メモリ部４４に一時記憶された後、黒レベル減算処理部２２により各画素のデジタル画像信号の復元処理毎に読み込まれる（ステップＳ３２）。同様に、メモリ部４４に一時記憶された黒レベルデータは、黒レベル加算処理（ステップＳ１４）の前に、読み込まれる（ステップＳ３４）。この読み込んだ黒レベルデータを、黒レベル減算処理部２２での減算処理及び黒レベル加算処理部２６での加算処理に使用するようにしている。

これにより、撮影毎の黒レベルのバラツキを吸収した復元処理を行うことができ、撮影毎の黒レベルの変動を気にすることなく後段の信号処理に出力することができる。

尚、第２の実施形態では、黒レベル算出部４２により算出された黒レベルデータを、それぞれ減算処理及び加算処理に使用するようにしているが、これに限らず、黒レベル減算処理部２２での減算処理のみに使用し、黒レベル加算処理部２６での加算処理には、第１の実施形態に示したように別のメモリ部３０に予め記憶された黒レベルデータを使用するようにしてもよい。

［第３の実施形態］
図８は本発明に係る撮像モジュール３の第３の実施形態を示すブロック図である。尚、図６に示した第２の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図８に示すように、第３の実施形態の撮像モジュール３は、黒レベル加算処理部２６の後段にクリップ処理部５２が追加されている点で、第２の実施形態と相違する。

このクリップ処理部５２は、黒レベル加算処理部２６から出力されるデジタル画像信号に負の画素値が混在する場合にその負の画素値を０にクリップする。即ち、復元処理前にデジタル画像信号から黒レベルデータを減算するが、黒レベルデータの減算後のデジタル画像信号の復元処理では、マイナスゲインの加算を発生する。この場合、復元処理されたデジタル画像信号に黒レベルデータを加算しても負の値になる可能性がある。焦点深度拡大及び復元系を含まない通常の画像信号の場合には、負の値は取り得ないので、黒レベルデータの加算後に負の値になる画素値は、クリップ処理部５２により０にクリップして出力し、異常な画素値が出力されないようにする。

図９は第３の実施形態の復元処理ブロック５０による復元処理を示すフローチャートである。尚、図７に示した第２の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

クリップ処理部５２は、黒レベル加算処理部２６により黒レベルデータが加算されたデジタル画像信号の画素値が負か否かを判別する（ステップＳ４０）。そして、画素値が負の場合(「Yes」の場合)には、その画像値を０にクリップして出力し（ステップＳ４２）、画素値が負でない場合(「No」の場合)には、そのまま出力する。

［第４の実施形態］
図１０は本発明に係る撮像モジュール４の第４の実施形態を示すブロック図である。尚、図６に示した第２の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１０に示すように、第４の実施形態の撮像モジュール４は、黒レベル減算処理部２２と復元処理部２４との間にシェーディング補正部６２が追加されている点で、第２の実施形態と相違する。

このシェーディング補正部６２は、黒レベル減算処理部２２により黒レベルデータが減算されたデジタル画像信号を、面内のシェーディング補正特性に応じてシェーディング補正するものである。即ち、メモリ部３０には、レンズ部１０及び撮像素子１２のシェーディング特性に応じて画面の位置に対応するシェーディング補正データ（ゲイン）が記憶されており、シェーディング補正部６２は、黒レベルデータが減算されたデジタル画像信号に、メモリ部３０から読み出したそのデジタル画像信号の面内位置に対応するシェーディング補正ゲインを掛けることによりシェーディング補正を行う。尚、シェーディング補正ゲインを掛ける代わりに、予めシェーディング補正ゲインに基づいてシェーディング補正用の変換テーブルを作成しておき、この変換テーブルを使用してデジタル画像信号を、シェーディング補正後のデジタル画像信号に変換するようにしてもよい。

図１１は第４の実施形態の復元処理ブロック６０による復元処理を示すフローチャートである。尚、図３と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図１１に示すように第４の実施形態では、黒レベル減算処理部２２による黒レベル減算処理（ステップＳ１０）と、復元処理部２４による復元処理（ステップＳ１２）との間で、シェーディング補正部６２によるシェーディング補正を実施するようにしている（ステップＳ５０）。

上記の順番で処理することにより、シェーディング補正を正確に行うことができるとともに、レンズ部１０及び撮像素子１２に起因するシェーディング補正が実施されたデジタル画像信号に復元処理を掛けるので、光学的に精度の高い復元処理が可能になる。

［第５の実施形態］
図１２は本発明に係る撮像モジュール５の第５の実施形態を示すブロック図である。尚、図６に示した第２の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１２に示すように、第５の実施形態の撮像モジュール５は、黒レベル減算処理部２２と復元処理部２４との間に混色補正部７２が追加されている点で、第２の実施形態と相違する。

この混色補正部７２は、黒レベル減算処理部２２により黒レベルデータが減算されたデジタル画像信号に含まれる混色成分を補正する部分である。即ち、メモリ部３０には、撮像素子１２の面内の位置毎に予め設定された混色補正データが記憶されており、混色補正部７２は、混色補正時にメモリ部３０から読み出した混色補正データを用いて混色成分の補正を行う。

図１３は第５の実施形態の復元処理ブロック７０による復元処理を示すフローチャートである。尚、図３と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図１３に示すように第５の実施形態では、黒レベル減算処理部２２による黒レベル減算処理（ステップＳ１０）と、復元処理部２４による復元処理（ステップＳ１２）との間で、混色補正部７２による混色補正を実施するようにしている（ステップＳ６０）。

上記の順番で処理することにより、混色補正を正確に行うことができるとともに、撮像素子１２に起因する混色が補正されたデジタル画像信号に復元処理を掛けるので、光学的に精度の高い復元処理が可能になる。

［第６の実施形態］
図１４は第１の実施形態の撮像モジュール１が適用された撮像装置の一例を示すブロック図である。

図１４に示す撮像装置１００は、図１に示した撮像モジュール１が組み込まれたもので、撮像モジュール以外は通常のデジタルカメラ等と同じ構成を有している。

中央処理装置（ＣＰＵ）１０２は、操作部１０４からの操作入力及び所定のプログラムに従って装置全体を統括制御する部分であり、自動露出（ＡＥ）演算、ホワイトバランス（ＷＢ）調整演算等、各種演算を実施する演算手段としても機能する。

ＣＰＵ１０２には、バス１０３及びメモリ・インターフェース１０６を介してＲＡＭ（Random Access Memory）１０８及びＲＯＭ（Read Only Memory）１１０が接続されている。ＲＡＭ１０８は、プログラムの展開領域及びＣＰＵ１０２の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。ＲＯＭ１１０には、ＣＰＵ１０２が実行するプログラム及び制御に必要な各種データや、撮像動作に関する各種定数／情報等が格納されている。

撮像モジュール１は、ＣＰＵ１０２からの指令により撮影動作等を行い、前述したように復元処理ブロック２０からＲＧＢのＲＡＷデータを出力する。このＲＡＷデータは、バス１０３及びメモリＩ／Ｆ１０６を介してＲＡＭ１０８に一時的に保存される。

ＲＡＭ１０８に保存されたＲＧＢのＲＡＷデータは、デジタル信号処理部１１２に入力され、ここで、ノイズリダクション処理、黒レベル減算処理、混色補正、シェーディング補正、ホワイトバランス補正、ガンマ補正、同時化処理、ＲＧＢ／ＹＣ変換処理等の画像処理が施される。

また、ＲＡＷデータ記録が選択されている場合には、前記ＲＡＷデータはＲＡＷファイルのフォーマットで、外部メモリＩ／Ｆ１１４を介してメモリカード１１６に記録される。

操作部１０４には、シャッターボタン、撮影モードと再生モードを選択するモード選択スイッチ、表示部（ＬＣＤ）１１８にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択するためのマルチファンクションの十字キー等が含まれる。操作部１０４からの出力信号は、バス１０３を介してＣＰＵ１０２に入力され、ＣＰＵ１０２は操作部１０４からの入力信号に基づいて撮影や再生等の適宜の処理を実施させる。

撮像装置１００には、被写体にフラッシュ光を照射するためのフラッシュ装置１２０が含まれ、フラッシュ装置１２０は、ＣＰＵ１０２からの発光指令によって充電部１２２から電源の供給を受けてフラッシュ光を照射する。

デジタル信号処理部１１２で処理された画像データ（輝度信号Ｙ，色差信号Ｃr,Ｃｂ）は、圧縮伸張処理回路１２４に与えられ、ここで、所定の圧縮フォーマット（例えば、JPEG方式) に従って圧縮される。圧縮された画像データは、画像ファイル（例えば、JPEGファイル）のフォーマットで、外部メモリＩ／Ｆ１１４を介してメモリカード１１６に記録される。

また、ＬＣＤ１１８には、ＬＣＤインターフェース１２６を介して加えられる画像信号により撮像準備中に映像（ライブビュー画像）が表示され、また、再生モード時にメモリカード１１６に記録されたJPEGファイル、又はＲＡＷファイルが読み出され、画像が表示される。尚、JPEGファイルに格納された圧縮された画像データは、圧縮伸張処理回路１２４によって伸張処理が行われてＬＣＤ１１８に出力され、ＲＡＷファイルに格納されたＲＡＷデータは、前記デジタル信号処理部１１２によってＲＡＷ現像した後にＬＣＤ１１８に出力される。

ここで、デジタル信号処理部１１２のノイズリダクション処理部では、撮像モジュール１から出力される、黒レベルデータが加算されたＲＡＷデータに対してノイズリダクション処理を行うため、ノイズを良好に除去することができる。また、デジタル信号処理部１１２では、ノイズリダクション処理後に黒レベル減算処理が行われるが、この黒レベル減算処理を行わずに、ガンマ補正により黒レベル補正を行うようにしてもよい。

また、図１０に示した第４の実施形態の撮像モジュール４が組み込まれる場合には、撮像モジュール４内でシェーディング補正が行われるため、デジタル信号処理部１１２ではシェーディング補正が行わないようにシェーディング補正データを設定しておく（例えば、面内の全てのゲインを１に設定しておく）。同様に、図１２に示した第５の実施形態の撮像モジュール５が組み込まれる場合には、撮像モジュール５内で混色補正が行われるため、デジタル信号処理部１１２では混色補正が行わないように混色補正データを設定しておく。

［その他］
本発明は第１の実施形態から第５の実施形態の撮像モジュールに限らず、例えば、各実施形態の撮像モジュールの構成要素を適宜組み合わせたものでもよい。

また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１〜５…撮像モジュール、１０…レンズ部、１０Ａ…撮影レンズ、１１…光学フィルタ、１２…撮像素子、１４…ＡＤ変換部、２０、４０、５０、６０、７０…復元処理ブロック、２２…黒レベル減算処理部、２４…復元処理部、２６…黒レベル加算処理部、３０、４４…メモリ部、４２…黒レベル算出部、５２…クリップ処理部、６２…シェーディング補正部、７２…混色補正部、１００…撮像装置、１０２…中央処理装置（ＣＰＵ）、１１２…デジタル信号処理部

Claims (11)

1. 位相を変調させる光学フィルタを少なくとも１つ含むレンズ部と、
   前記レンズ部を透過した光学像が結像され、該光学像を電気信号に変換する撮像素子と、
   前記撮像素子から出力される電気信号を第１のデジタル画像信号に変換して出力するＡＤ変換部と、
   復元処理ブロックと、を備え、
   前記復元処理ブロックは、
   前記ＡＤ変換部から第１のデジタル画像信号を入力し、該第１のデジタル画像信号から黒レベルを減算する黒レベル減算処理部と、
   前記黒レベルが減算された第１のデジタル画像信号に、前記光学フィルタの位相変調分のデコンボリューション処理を掛ける復元処理部と、
   前記復元処理された第１のデジタル画像信号に黒レベルを加算する黒レベル加算処理部と、からなり、
   前記復元処理ブロックにより復元処理された第１のデジタル画像信号を第２のデジタル画像信号として出力することを特徴とする撮像モジュール。
2. 予め黒レベルを記憶するメモリ部を備え、
   前記黒レベル減算処理部は、前記第１のデジタル画像信号から前記メモリ部に記憶された黒レベルを減算し、前記黒レベル加算処理部は、前記復元処理された第１のデジタル画像信号に前記メモリ部に記憶された黒レベルを加算することを特徴とする請求項１に記載の撮像モジュール。
3. 前記ＡＤ変換部から出力される第１のデジタル画像信号のうちの前記撮像素子の遮光領域に対応する第１のデジタル信号に基づいて黒レベルを算出する黒レベル算出部を備え、
   前記黒レベル減算処理部は、前記第１のデジタル画像信号から前記黒レベル算出部により算出された黒レベルを減算し、前記黒レベル加算処理部は、前記復元処理された第１のデジタル画像信号に前記黒レベル算出部により算出された黒レベルを加算することを特徴とする請求項１に記載の撮像モジュール。
4. 予め黒レベルを記憶するメモリ部と、前記ＡＤ変換部から出力される第１のデジタル画像信号のうちの前記撮像素子の遮光領域に対応する第１のデジタル信号に基づいて黒レベルを算出する黒レベル算出部とを備え、
   前記黒レベル減算処理部は、前記第１のデジタル画像信号から前記黒レベル算出部により算出された黒レベルを減算し、前記黒レベル加算処理部は、前記復元処理された第１のデジタル画像信号に前記メモリ部に記憶された黒レベルを加算することを特徴とする請求項１に記載の撮像モジュール。
5. 前記復元処理ブロックは、前記黒レベル加算処理部により黒レベルが加算された第１のデジタル信号のうち、負になる第１のデジタル信号を０にクリップするクリップ処理部を更に備えたことを特徴とする請求項１から４のいずれかに記載の撮像モジュール。
6. 前記復元処理ブロックは、前記黒レベル減算処理部により黒レベルが減算された第１のデジタル画像信号を、面内のシェーディング補正特性に応じてシェーディング補正するシェーディング補正部を更に備え、前記復元処理部は、前記シェーディング補正された第１のデジタル画像信号にデコンボリューション処理を掛けることを特徴とする請求項１から５のいずれかに記載の撮像モジュール。
7. 前記復元処理ブロックは、前記黒レベル減算処理部により黒レベルが減算された第１のデジタル画像信号に含まれる混色成分を補正する混色補正部を更に備え、前記復元処理部は、前記混色補正された第１のデジタル画像信号にデコンボリューション処理を掛けることを特徴とする請求項１から６のいずれかに記載の撮像モジュール。
8. 前記撮像素子は、画素毎に３原色の原色フィルタが所定のパターンで配列されたカラー撮像素子であり、
   前記復元処理ブロックにおける前記第１のデジタル画像信号に対する各処理は、３原色の色毎に行うことを特徴とする請求項１から７のいずれかに記載の撮像モジュール。
9. 請求項１から８のいずれかに記載の撮像モジュールと、
   前記撮像モジュールから出力される第２のデジタル画像信号を受入し、該第２のデジタル画像信号に対して信号処理を行うデジタル信号処理部と、
   前記デジタル信号処理部により処理された第２のデジタル画像信号を記録媒体に記録する記録手段と、
   を備えたことを特徴とする撮像装置。
10. 前記デジタル信号処理部は、黒レベルを含むデジタル画像信号に対して信号処理を行うことを特徴とする請求項９に記載の撮像装置。
11. 位相を変調させる光学フィルタを少なくとも１つ含むレンズ部と、前記レンズ部を透過した光学像が結像され、該光学像を電気信号に変換する撮像素子と、前記撮像素子から出力される電気信号を第１のデジタル画像信号に変換して出力するＡＤ変換部と、復元ブロックとを備えた撮像モジュールの信号処理方法において、
    前記復元処理ブロックは、
    前記ＡＤ変換部から第１のデジタル画像信号を入力し、該第１のデジタル画像信号から黒レベルを減算する黒レベル減算処理工程と、
    前記黒レベルが減算された第１のデジタル画像信号に、前記光学フィルタの位相変調分のデコンボリューション処理を掛ける復元処理工程と、
    前記復元処理された第１のデジタル画像信号に黒レベルを加算する黒レベル加算処理工程と、を含み、
    前記復元処理ブロックにより復元処理された第１のデジタル画像信号を第２のデジタル画像信号として出力することを特徴とする撮像モジュールの信号処理方法。

Images