JP2007202128A - 撮像装置および画像データ補正方法 - Google Patents

Abstract

【課題】比較的安価な光学性能の高くない小型撮像光学系を用いても、色収差を良好に補正し、実用上十分な画質を得ることを可能とする撮像装置および画像データ補正方法を提供すること。
【解決手段】 撮像装置は、被写体の像を結像する撮像光学系１０１と、複数種類の色フィルター１０２ａと、所定の種類の色フィルターを介して入射光を受ける複数の画素を備え、前記撮像光学系で結像された像から複数の画素によって画像データを生成する撮像素子１０２と、入射光に関する情報を取得する光情報取得手段１０４と、少なくとも、画素に対して設けられた色フィルターの種類および光情報取得手段で取得した入射光に関する情報に応じて、複数の画素で生成した画像データの画素位置の変換を行う補正処理部１０６とを備える。
【選択図】図１

Description

本発明は、デジタルスチルカメラ等の撮像装置に関し、特に、色収差に関する画像データ補正技術に関する。

近年、デジタルスチルカメラ等のデジタル撮像装置の発展は著しく、小型、軽量であり、かつ高画素数の機種が急速に普及している。それに伴って、デジタルスチルカメラ等の撮像光学系にも、小型、薄型のレンズが要求され、開発されている。

しかしながら、このように撮像光学系の小型化、薄型化が進んでくると、各種の収差や解像力といった基本的な光学性能を十分維持していくことが困難となる。特に、レンズ自身の光学材料の分散特性によって発生する色収差の影響が、光学性能を維持する上で大きな問題となる。

色収差とは、図１２（ａ）に示すように、レンズ１２０１に用いられている光学材料の、光の波長に対する屈折率の違いから、白色光１２０４が分光されて、撮像素子１２０２上での光軸１２０３からの距離である像高１２０５が一定の範囲Ｒに広がる現象をいう。実際の被写体では、結像面における像の濃淡の境界の部分が、虹色ににじむ現象として認められることが多い。

図１２（ｂ）は、光軸１２０３の方向から撮像素子１２０２を見た図である。像高ｈは、撮像素子の中心である光軸１２０３からの距離を示す。通常、光軸１２０３の位置での像高を０、撮像素子１２０２のいずれかの頂点の位置での像高を１とする。

さらに、撮像素子の高画素化により撮像素子の画素サイズが小さくなるにつれ、画素単位での色収差の影響はより顕著となる。そのため、色収差の補正は、撮像光学系の小型化、薄型化には必要不可欠な技術となっている。

従来の色収差の補正手段としては、撮像光学系の色収差特性データをあらかじめ記憶し、撮像光学系の焦点距離等の情報に応じて撮像素子の色フィルターの各色に相当する画素の位置を補正するものがある。例えば、特許文献１に開示のデジタルスチルカメラでは、内蔵メモリに格納された撮像光学系の色収差特性、歪曲収差特性に基づき、画像データにおける撮像光学系の色収差、歪曲収差に起因する画像劣化を補正している。
特開２００２−１９９４１０号公報

撮像素子の色フィルターの各色に相当する画素の出力は、周囲環境光源によって変化するため、色収差量も常に一定の値とはならない。日常生活の上では、白熱電球から快晴日の青空まで、周囲環境光源が大きく変化するため、色収差変化量も大きい。特に、青色から紫外線領域で色収差変化量が大きくなる傾向がある。比較的安価な、光学性能のあまり高くない小型撮像光学系を用いた場合は、色収差の影響を大きく受けてしまう。

そのため、従来のように、ある条件下で算出された撮像光学系の色収差特性のみで補正する構成では、周囲環境光源による色収差変化量が認識できないため、撮影時の周囲環境光源によっては、色収差の過補正や補正不足を起こす場合がある。特に、過補正の場合は、画像周辺域の解像度やコントラストの低下等、不必要な画質の劣化を引き起こしてしまう課題を有していた。

本発明は、上記課題を解決するためになされ、その目的とするところは、比較的安価な、光学性能のあまり高くない小型撮像光学系を用いた場合でも、周囲環境光源による色収差変化量に応じて適正な補正を行い、色収差およびその補正による画質劣化を改善した撮像装置を提供することにある。

また、撮像素子で生成された画像データ、いわゆるＲＡＷデータをパーソナルコンピュータ等他の情報処理装置で加工する際に有効な画像データ補正方法も合わせて提案する。

本発明に係る第１の撮像装置は、被写体の像を結像する撮像光学系と、複数種類の色フィルターと、所定の種類の色フィルターを介して入射光を受ける複数の画素を備え、前記撮像光学系で結像された像から複数の画素によって画像データを生成する撮像素子と、入射光に関する情報を取得する光情報取得手段と、少なくとも、画素に対して設けられた色フィルターの種類および光情報取得手段で取得した入射光に関する情報に応じて、複数の画素で生成した画像データの画素位置の変換を行う補正処理部とを備える。

本発明に係る第２の撮像装置は、被写体の像を結像する撮像光学系と、複数種類の色フィルターと、複数の撮像素子とを備える。各撮像素子は色フィルターを介して入射光を受ける複数の画素を含み、撮像素子毎に設けられる色フィルターの種類が異なる。複数の撮像素子は、撮像光学系で結像された像から、複数の画素によって画像データを生成する。さらに、撮像装置は、入射光に関する情報を取得する光情報取得手段と、少なくとも、画素に対して設けられた色フィルターの種類および光情報取得手段で取得した入射光に関する情報に応じて、複数の画素で生成した画像データの画素位置の変換を行う補正処理部とを備える。

本発明に係る第１の画像データの補正方法は、複数種類の色フィルターを介して入射光を受ける複数の画素を備える撮像素子によって生成された画像データの補正方法である。その画像データの補正方法は、画像データ、またはその画像データに所定の処理を施した画像データに基づいて入射光の情報を取得し、少なくとも、複数の画素に対して配された色フィルターの種類および入射光に関する情報に応じて、画像データの画素位置の変換を行う。

本発明に係る第２の画像データの補正方法は、複数の撮像素子によって生成された画像データの補正方法である。各撮像素子は色フィルターを介して入射光を受ける画素を複数備え、撮像素子毎に設けられる色フィルターの種類が異なる。その画像データの補正方法は、画像データ、またはその画像データに所定の処理を施した画像データに基づいて入射光の情報を取得し、少なくとも、複数の画素に対して配された色フィルターの種類および入射光に関する情報に応じて、画像データの画素位置の変換を行う。

本発明に係る撮像装置は、色収差の補正を行う際、少なくとも複数の画素の前方に配された色フィルターの種類と、撮像装置に入射する光に関する情報とに基づき、画像データの補正を行う。このため、周囲環境光源の違いから発生する色収差変化量に応じた補正が可能となる。よって、比較的安価な光学性能のあまり高くない小型撮像光学系を用いた場合でも、色収差およびその補正による画質劣化を改善した撮像装置を提供することができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

実施の形態１
図1は、本発明の第１の実施の形態における撮像装置の例であるデジタルスチルカメラの構成を示すブロック図である。

図１において、撮像装置としてのデジタルスチルカメラは、レンズからなる撮像光学系１０１と、撮像光学系１０１からの光信号を電気信号に変換する撮像素子１０２と、撮像素子１０２からのアナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換器１０３と、Ａ／Ｄ変換器１０３からのデジタル画像信号を処理する画像信号処理部１２０とを備える。

デジタルスチルカメラはさらに撮像光学系１０１の駆動を制御する撮像光学系制御部１０９と、色収差特性データを格納する色収差特性データ保持部１１０と、画像信号処理部１２０により処理されるデータを一時的に格納する作業メモリ１１１と、撮像された画像データを格納するメモリ記憶部１１２とを備える。

１．１ 周囲環境光源による色収差量の変化
撮像素子１０２は、撮像光学系１０１によって受光面上に結像された像を、その受光位置毎の画素で電気信号に変換する光電変換素子である。光電変換素子は例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサである。

ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の光電変換素子は、赤外線領域に高い感度を有している。そこで、一般的には、光電変換素子の前面に赤外線カットガラスや赤外線カットフィルター等の赤外線除去手段を取り付けることによって、赤外線が光電変換素子に入射するのを防ぎ、人間の目の感度特性に合わせるように設計される。なお、図１では、前記赤外線除去手段は省略されている。

撮像素子１０２を構成するすべての画素の前面には、Ｒ（赤）、Ｇ(緑)、Ｂ（青）のいずれかの色フィルター１０２ａが設けられている。各色フィルターは、例えば、図２に示すベイヤ配列のように規則正しく配置されている。

撮像光学系１０１を介して入射した光は、前記赤外線除去手段やＲ（赤）、Ｇ（緑）、Ｂ（青）の各色フィルターを通して撮像素子１０２に結像され、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の光の強さに応じた電気信号に変換される。

撮像素子１０２に白色光が入射したときの感度特性の例を、図３に示す。３本の曲線は、Ｒ（赤）に対する感度３０１ｒとＧ（緑）に対する感度３０１ｇとＢ（青）に対する感度３０１ｂをそれぞれ示している。横軸は光の波長であり、縦軸は相対感度である。Ｒ（赤）に対する感度３０１ｒとＧ（緑）に対する感度３０１ｇとＢ（青）に対する感度３０１ｂのそれぞれについて、ピークが１．０となるように正規化している。

白色光に対して図３に示す感度特性を有する撮像素子１０２に、図４に示すような特性を持つ標準光Ａ（４０１）および標準光Ｄ_６５（４０２）のような周囲環境光源が入射した場合の、撮像素子１０２の出力特性を図５に示す。

ここで、標準光Ａ（４０１）は、ＣＩＥで規定された色温度約２８５６Ｋの光で、白熱電球から放射される光に近い。一方、標準光Ｄ_６５（４０２）は、ＣＩＥで規定された色温度約６５０４Ｋの光で、紫外域を含む平均的な昼光に近い。

図４において、横軸は光の波長であり、縦軸は相対強度である。標準光Ａ（４０１）および標準光Ｄ_６５（４０２）のそれぞれについて、ピークが１．０となるように正規化している。

図５（ａ）は、標準光Ａ（４０１）が撮像素子１０２に入射した場合の出力特性を示している。Ｒ（赤）に対する出力５０１ｒとＧ（緑）に対する出力５０１ｇとＢ（青）に対する出力５０１ｂが、すべて赤外線側に偏っている。波長４００ｎｍにおけるＢ（青）に対する出力５０１ｂは、ピーク出力の１５％程度となっている。

図５（ｂ）は、標準光Ｄ_６５（４０２）が撮像素子１０２に入射した場合の出力特性を示している。Ｒ（赤）に対する出力５０２ｒとＧ（緑）に対する出力５０２ｇとＢ（青）に対する出力５０２ｂのうち、特にＢ（青）に対する出力５０２ｂの紫外線側への偏りが大きい。波長４００ｎｍにおけるＢ（青）に対する出力５０２ｂは、ピーク出力の３０％程度となっている。

図５において、横軸は光の波長であり、縦軸は相対出力である。Ｒ（赤）に対する出力５０１ｒ、５０２ｒと、Ｇ（緑）に対する出力５０１ｇ、５０２ｇと、Ｂ（青）に対する出力５０１ｂ、５０２ｂのそれぞれについて、ピークが１．０となるように正規化している。

次に、出力特性と色収差量の関係を図６に模式的に示す。図６（ａ）は、撮像素子１０２の出力特性を示している。３本の曲線は、Ｒ（赤）に対する出力６０１ｒとＧ（緑）に対する出力６０１ｇとＢ（青）に対する出力６０１ｂをそれぞれ示している。横軸は光の波長であり、縦軸は相対出力である。Ｒ（赤）に対する出力６０１ｒとＧ（緑）に対する出力６０１ｇとＢ（青）に対する出力６０１ｂのそれぞれについて、ピークが１．０となるように正規化している。

図６（ｂ）は、ある像高における光の波長と色収差量の関係を示している。例えば、Ｂ（青）に対する出力６０１ｂを示す曲線上の「●」で示した３点に対応する色収差量を求め、これらの色収差量の重心をＢ（青）の色収差量Ａｂとする。同様に、Ｇ（緑）に対する出力６０１ｇを示す曲線上の四角で示した３点に対応する色収差量を求め、これらの色収差量の重心をＧ（緑）の色収差量Ａｇとする。Ｒ（赤）についても同様であるが、図が煩雑になるため図示していない。このとき、Ｂ（青）の色収差量ＡｂからＧ（緑）の色収差量Ａｇを引くと、Ｇ（緑）に対するＢ（青）のずれ量ΔＡが求まる。

ここで、図３に示す感度特性を有する対角１／１．８インチＣＣＤイメージセンサと３５ｍｍフィルム換算で２８ｍｍ〜１１２ｍｍの焦点距離を有する広角ズームレンズとの組み合わせを用い、図４に示す標準光Ａ（４０１）および標準光Ｄ_６５（４０２）を入射させたときの像高に対する色収差量をシミュレーションで求めた結果を図７に示す。

図７において、（Ｂ−Ｇ）は、Ｇ（緑）に対するＢ（青）のずれ量を、（Ｒ−Ｇ）は、Ｇ（緑）に対するＲ（赤）のずれ量を、それぞれ示している。色収差量は、標準光Ａと標準光Ｄ_６５のそれぞれについて、前記ずれ量をμｍ単位で示している。例えば、像高が０．７５の場合、Ｇ（緑）に対するＢ（青）のずれ量（Ｂ−Ｇ）は、標準光Ａで４．１９２μｍ、標準光Ｄ_６５で６．５６６μｍである。

差１（ｃ）は、標準光Ｄ_６５（ｂ）と標準光Ａ（ａ）とのずれ量の差（（ｂ）−（ａ））をμｍ単位で示している。差２（ｄ）は、差１（ｃ）を本ＣＣＤイメージセンサの画素ピッチである２．２μｍで割ることによって求めた値であり、ずれ量の差を画素単位で示している。また、同図において記号「＜」は、その右に書かれた数値よりも小さいことを、記号「≒」は、その右に書かれた数値にほぼ等しいことを、それぞれ示している。

図７に示すように、Ｇ（緑）に対するＢ（青）のずれ量（Ｂ−Ｇ）は、像高が高くなるほど大きくなり、その傾向は、標準光Ａよりも標準光Ｄ_６５の方が顕著である。例えば、像高が１のときのμｍ単位のずれ量は、標準光Ａの７．７９５μｍに対して、標準光Ｄ_６５では１１．６８７μｍである。

このとき、μｍ単位のずれ量の差である差１（ｃ）は、約３．８９μｍ、画素単位のずれ量の差である差２（ｄ）は約１．７７画素である。このように、周囲環境光源によって、色収差量が大きく変化することが確認できた。同じ撮像光学系に対して、より高画素数の、すなわち、より画素ピッチの小さいＣＣＤイメージセンサを使用した場合、画素単位のずれ量の差である差２（ｄ）は、さらに大きくなる。

１．２ 周囲環境光源に応じた色収差の補正処理
図１に戻り、Ａ／Ｄ変換器１０３は、撮像素子１０２の出力をデジタル値に変換する。画像信号処理部１２０における前処理部１０４は、Ａ／Ｄ変換器１０３により生成された画像データを、メモリ制御部１０８を経由して、作業メモリ１１１に書き込む。

次に、前処理部１０４は、画像データを構成するＲ（赤）、Ｇ（緑）、Ｂ（青）の強度データを、メモリ制御部１０８を経由して、作業メモリ１１１から順次読み出して、ゲイン調整、ガンマ補正等の所定の処理を施す。前処理部１０４は、所定の処理を施したＲ（赤）、Ｇ（緑）、Ｂ（青）の強度データを、メモリ制御部１０８を経由して、作業メモリ１１１に書き戻す。

前処理部１０４は、所定の処理を施したＲ（赤）、Ｇ（緑）、Ｂ（青）の強度データを、メモリ制御部１０８を経由して、再度、作業メモリ１１１から順次読み出して、輝度Ｙと色差ＣＲ、ＣＢを算出する。

Ｒ（赤）、Ｇ（緑）、Ｂ（青）の強度データを、それぞれ、Ｒ、Ｇ、Ｂとすると、輝度Ｙは、一般的に式（１）で示される。
Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ ・・・（１）

また、色差ＣＲ、ＣＢは、それぞれ一般的に式（２）、式（３）で示される。
ＣＲ＝Ｒ−Ｙ＝０．７０（Ｒ−Ｇ）−０．１１（Ｂ−Ｇ） ・・・（２）
ＣＢ＝Ｂ−Ｙ＝０．８９（Ｂ−Ｇ）−０．３０（Ｒ−Ｇ） ・・・（３）

前処理部１０４は、式（１）〜式（３）で算出した輝度Ｙと色差ＣＲ、ＣＢから色温度を求めて、補正情報演算部１０５に送る。ここで、前処理部１０４は本発明の「光情報取得手段」に相当し、色温度は本発明の「入射光に関する情報」に相当する。撮像光学系制御部１０９は、撮影時の撮像光学系１０１の情報、例えば、焦点距離、絞り値、被写体距離等を、補正情報演算部１０５に送る。

補正情報演算部１０５は、撮像光学系１０１の色収差特性データが保存された色収差特性データ保持部１１０から、前処理部１０４で求められた色温度と、撮像光学系制御部１０９から得られた撮影時の撮像光学系１０１の情報とに対応する、当該撮影時の色収差補正係数を抽出する。

色収差特性データ保持部１１０に保存された色収差特性データの一例を図８に示す。

色収差特性データ保持部１１０に保存する色収差特性データは、撮像素子１０２の出力特性および撮像光学系１０１の設計データを用いて、光学シミュレーションにより求めることができる。その際、図６に示したように、Ｒ（赤）、Ｇ（緑）、Ｂ（青）各色の出力に応じた重心を用いて、Ｇ（緑）に対するＲ（赤）のずれ量およびＧ（緑）に対するＢ（青）のずれ量を撮像素子１０２の中心からの距離、即ち像高の関数として記憶することで、データ量が比較的少なく、汎用性の高い色収差特性データとすることが可能になる。

図８では、簡単化のために、撮像光学系制御部１０９から得られた撮影時の撮像光学系１０１の情報として、当該撮影時の焦点距離のみを使用している。

図８において、記号「・」は数値が省略されていることを示している。図８では、３５ｍｍフィルム換算で２８ｍｍ〜１１２ｍｍの焦点距離を有する撮像光学系１０１を想定して、広角端２８ｍｍ、５６ｍｍ、８４ｍｍ、望遠端１１２ｍｍの４種類の表を用意する。図８において、焦点距離１１２ｍｍに対する表の背後に隠れてさらに他の３つの焦点距離に関する表があることが示唆されている。

例えば、焦点距離が１１２ｍｍの場合、色温度が６５０４Ｋであれば、像高０．７５の位置にあるＢ（青）の色フィルターが設けられた画素の色収差補正係数は、２．９８５画素であるとわかる。

前処理部１０４で求められた色温度と、撮像光学系制御部１０９から得られた撮影時の撮像光学系１０１の情報とに対応する、色収差補正係数が色収差特性データ保持部１１０に保存されていない場合、その前後の色収差補正係数から補間によって、当該撮影時の色収差補正係数を算出（抽出）する。

前記のようにして抽出された当該撮影時の色収差補正係数は、当該撮影時の色温度に対応しているので、撮影時の周囲環境光源の種類を反映している。さらに、当該撮影時の焦点距離に対応しているので、撮影時の撮像光学系１０１の情報をも反映している。補正情報演算部１０５は、前記抽出された当該撮影時の色収差補正係数を補正処理部１０６に送る。

補正処理部１０６は、前処理部１０４により処理されたＲ（赤）、Ｇ（緑）、Ｂ（青）の強度データを、メモリ制御部１０８を経由して、作業メモリ１１１から順次読み出して、補正情報演算部１０５から受信した色収差補正係数を用いて、色収差補正を行う。

色収差補正の概念図を図９に示す。図９は、図１２（ｂ）と同様に光軸１２０３の方向から撮像素子１２０２を見た図である。光軸１２０３を共通の中心とする３つの同心円は、それぞれ像高が１．００の同心円９０１ａと像高が０．７５の同心円９０１ｂと像高が０．５０の同心円９０１ｃである。

図８で示したように、色温度が６５０４Ｋであれば、像高が０．７５の位置にあるＢ（青）の色フィルターが設けられた画素９０２の色収差補正係数は、２．９８５画素である。そこで、像高が０．７５の位置にあるＢ（青）の色フィルターが設けられた画素９０２のＢ（青）の強度データを光軸１２０３方向に３画素だけ移動（補正）する。色収差補正係数は２．９８５画素であるが、実際の移動には整数値をとり、３画素とする。

Ｒ（赤）の色フィルターが設けられた画素についても、同様である。また、像高が１．００の同心円９０１ａと像高が０．５０の同心円９０１ｃ上の画素についても、同様である。例えば、色温度が２８５６Ｋで、像高が０．５の位置にあるＲ（赤）の色フィルターが設けられた画素の色収差補正係数は図８から０．５０１画素である。よって、この場合、その画素のＲ（赤）の強度データを光軸１２０３方向に１画素だけ移動させる。３つの同心円９０１ａ、９０１ｂ、９０１ｃ上にない画素については、補間によって色収差補正係数を算出する。

補正処理部１０６は、以上のようにして、撮像素子１０２上のすべての画素について色収差補正がなされた画像データを、メモリ制御部１０８を経由して、作業メモリ１１１に書き戻す。

ここで、色収差特性データ保持部１１０と補正情報演算部１０５と補正処理部１０６とは、本発明の「補正処理部」に相当する。
画像処理部１０７は、色収差補正がなされた画像データを、メモリ制御部１０８を経由して、作業メモリ１１１から順次読み出す。このとき、個々の画素は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のいずれかの強度データしか持っていない。例えば、図２に示すＢ（青)の色フィルターが設けられた画素２０１は、自身ではＢ（青）の強度データしか持っていない。そこで、画素２０１のＧ（緑）とＲ（赤）の強度データは周囲の画素の値から補間して求める。このようにして、すべての画素が、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の強度データを持つようにする。

その後、画像処理部１０７は、画像データに対して、例えば、歪曲収差補正、彩度補正、エッジ強調処理等の人間の目の特性に合うような画像処理をした後、ＪＰＥＧ形式等、所望のファイル形式に展開、圧縮して、メモリ制御部１０８を経由して、作業メモリ１１１に書き戻す。

メモリ制御部１０８は、すべての処理が完了した画像データをメモリ記憶部１１２に記録する。なお、前処理部１０４、補正情報演算部１０５、補正処理部１０６、画像処理部１０７、およびメモリ制御部１０８を含む画像信号処理部１２０は、１つの画像処理ＬＳＩとして実現することができる。また、画像信号処理部１２０の機能はハードウェアまたはソフトウェアのいずれによっても実現できる。

１．３ まとめ
以上のように、本発明の第１の実施の形態では、前処理部１０４（光情報取得手段）は、入射する光に関する情報である色温度を取得する。色収差特性データ保持部１１０と、補正情報演算部１０５と、補正処理部１０６とは、色フィルターの種類と、前処理部１０４で取得した入射光に関する情報である色温度と、撮像光学系１０１の情報である焦点距離とに基づいて、撮像素子１０２により得られた各画素について画像データの画素位置の変換を行う。これにより、周囲環境光源の違いから発生する色収差変化量に応じた補正が可能となる。

１．４ 補足
本発明の第１の実施の形態では、色収差特性データは、撮像素子１０２で生成された画像データから得られる輝度Ｙと色差ＣＲ、ＣＢから求められた色温度および撮像光学系制御部１０９から得られる撮影時の撮像光学系１０１の情報の関数としたが、画像データおよび撮像光学系から得られる色収差変化量に関連する情報であれば何の関数でもよい。また、色収差特性データは、その他の撮像装置に入射する光に関する情報を取得する光情報取得手段(例えば、露出計や色温度センサ等）から得られる情報の関数でもよい。

撮像装置が、手ぶれの影響を抑制するために、撮像光学系１０１内に手ぶれ補正用の移動レンズを有している場合、あらかじめ色収差特性データ保持部１１０に移動レンズの動き情報に応じた色収差特性データを保存しておいてもよい。

撮像光学系制御部１０９は、撮影時の撮像光学系１０１の情報として、焦点距離、絞り値、被写体距離等に加えて、移動レンズの動き情報も補正情報演算部１０５に送ってもよい。これにより、移動レンズの動き情報にも対応した色収差補正が可能になる。

撮像光学系１０１が撮像装置本体と一体の場合は、色収差特性データ保持部１１０は補正情報演算部１０５の近傍に配置されるのが望ましい。しかし、撮像光学系１０１が撮像装置本体に着脱可能な場合は、色収差特性データ保持部１１０を撮像光学系１０１内に設けてもよい。

撮像光学系１０１より直接色収差特性データを読み出すため、新規の撮像光学系１０１でも、すぐに対応が可能となる。その際、複数の撮像装置の撮像素子１０２のサイズや画素数、出力特性等に対応した色収差特性データを色収差特性データ保持部１１０に保存しておけば、撮像光学系１０１の互換性がさらに向上する。

また、メモリカード等の着脱可能なメモリ記憶部１１２を備える撮像装置であれば、メモリカード内に色収差特性データ保持部１１０を設けてもよい。

その他にも、以下に示すような複数の撮像素子を備えた撮像装置にも適用できる。すなわち、その撮像装置においては、各撮像素子が光路前方に１種類の色フィルターが配された複数の画素を含み、各撮像素子間で設けられる色フィルターの種類が異なる。複数の撮像素子からのデータによって１枚の画像データが構成される。

例えば、撮像光学系１０１の背後にプリズムを設け、入射光をＲ（赤）、Ｇ（緑）、Ｂ（青）に分解して、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色フィルターを配した３つのＣＣＤイメージセンサに結像させ、それぞれのＣＣＤイメージセンサで生成された画像データを合成することで１枚の画像データを生成する撮像装置が実用化されている。このような撮像装置にも本発明を適用することができる。

さらに、色収差補正係数の算出も本発明の第１の実施の形態に記載の方法に限定するものではなく、別の手段を用いてもよい。カラーモデルも、原色系に限るものではなく、補色系等その他のカラーモデルでもよい。

撮像装置が、周囲環境に応じた光源の種類を設定する光源設定部を有する場合、その光源設定部を入射光に関する情報を取得する光情報取得手段としてもよい。例えば、光源設定部が、白熱電球や太陽光等プリセットされた光源の種類の中から撮影時の状況に最適な光源の種類を選択する機能や、マニュアルでホワイトバランスを設定する機能等を有する場合は、その光源設定部を光情報取得手段としてもよい。
なお、プリセットされた光源の種類としては、上記の白熱電球や太陽光等の他に日陰、曇天、蛍光灯、フラッシュ等が設定できるのが一般的であるが、水銀灯やネオン灯等の特殊な光源の種類も考えられる。

実施の形態２
２．１ 明暗コントラストが高い画像への対応
本発明の第１の実施の形態におけるデジタルスチルカメラは、撮像素子１０２で生成した１画面分の画像データすべてを用いて色収差補正係数を算出した。しかし、１画面分の画像データには、色収差補正係数を算出するのに適した部分もあれば、適していない部分も含まれ得る。

例えば、木漏れ日下での撮影のように明暗のコントラストが非常に高い場合、必ずしもすべての画像データを用いて色収差補正係数を求めるのが最適なわけではない。画像のどの部分で色温度を求めるかによって、得られる色収差補正係数が変わってしまうからである。１画面の画像の一部で輝度が飽和している場合も同様である。

そこで、本発明の第２の実施の形態では、撮像素子１０２で生成した１画面分の画像データのうち、色収差補正係数を算出するのに適する部分だけを用いて、色収差補正係数の算出を行う。

図１０は、本発明の第２の実施の形態における撮像装置の例であるデジタルスチルカメラの構成を示すブロック図である。

図１０において、本発明の第１の実施の形態の構成と異なるのは、メモリ制御部１０８および前処理部１０４に接続する領域分割部１００１が設けられている点である。本発明の第１の実施の形態と同一の構成要素は、図１と同一の番号を付して説明を省略する。

領域分割部１００１は、図１１に示すように、画像の全領域を複数の領域に分割して管理し、各分割領域毎の画像データの読み出しを可能とする。

前処理部１０４は、１画面分の画像データを、メモリ制御部１０８を経由して、作業メモリ１１１に書き込む。次に、前処理部１０４は、領域分割部１００１を介して、図１１に示す１つの分割領域の画像データを構成するＲ（赤）、Ｇ（緑）、Ｂ（青）の強度データを、メモリ制御部１０８を経由して、作業メモリ１１１から順次読み出して、輝度Ｙを算出する。

同様の処理を繰り返して、すべての分割領域の輝度Ｙを算出する。その中で、比較的輝度Ｙの高い３つの分割領域から色温度を求める。例えば、図１１の例では、比較的輝度Ｙの高い３つの分割領域１１０１ａ、１１０１ｂ、１１０１ｃから色温度を求める。

求めた色温度に基づき、周囲環境光源に対応した色収差補正係数を算出し、以降、第１の実施の形態と同様の処理を行う。これによって、明暗コントラストが高い画像でも、周囲環境光源に適応した色収差補正を行うことが可能になる。

２．２ 補足
本実施の形態では、比較的輝度Ｙの高い３つの分割領域１１０１ａ、１１０１ｂ、１１０１ｃを選択し、それらから色温度を求めた。しかし、色温度を求めるために選択する分割領域の数は１以上であればよい。また、輝度Ｙが飽和している分割領域では正確な色温度が求められないため、輝度Ｙが飽和している分割領域に隣接する、輝度Ｙが飽和していない分割領域から色温度を求めるほうが望ましい。

さらに、特に輝度Ｙが高く、その領域のＢ（青）の強度データが飽和している場合には屋外晴天時の撮影の可能性が高いと判断して、色温度を算出せずに輝度Ｙに応じた色収差補正係数を算出してもよい。その場合、あらかじめ屋外晴天時の色収差量を記憶させておくことで、所望の補正が可能となる。

さらに、複数の分割領域のそれぞれについて、色収差補正係数を算出してもよい。この場合、画像全体にわたって適切な色収差補正が可能になる。

本発明の撮像装置および画像データ補正方法は、比較的安価な光学性能の高くない小型撮像光学系を用いた場合でも、周囲環境光源に応じて良好な色収差補正を行うことができるので、デジタルスチルカメラ等の撮像装置および画像データ補正方法として有用である。

本発明の第１の実施の形態の撮像装置の構成図 ベイヤ配列の模式図 撮像素子の分光感度例を示す図 代表的な周囲環境光源の分光分布を示す図 代表的な周囲環境光源による撮像素子の分光感度例を示す図 分光感度特性と色収差量の関係を示す図 周囲環境光源による色収差量の変化量を示す図 色収差特性データ例を示す図 色収差補正を説明するための図 本発明の第２の実施の形態の撮像装置の構成図 輝度Ｙの高い領域からの色温度の抽出を説明するための図 色収差を説明するための図

符号の説明

１０１ 撮像光学系
１０２ 撮像素子
１０３ Ａ／Ｄ変換器
１０４ 前処理部
１０５ 補正情報演算部
１０６ 補正処理部
１０７ 画像処理部
１０８ メモリ制御部
１０９ 撮像光学系制御部
１１０ 色収差特性データ保持部
１１１ 作業メモリ
１１２ メモリ記憶部
１２０ 画像信号処理部

Claims (10)

1. 被写体の像を結像する撮像光学系と、
   複数種類の色フィルターと、
   所定の種類の色フィルターを介して入射光を受ける複数の画素を備え、前記撮像光学系で結像された像から、前記複数の画素によって画像データを生成する撮像素子と、
   入射光に関する情報を取得する光情報取得手段と、
   少なくとも、前記画素に対して設けられた色フィルターの種類および前記光情報取得手段で取得した入射光に関する情報に応じて、前記複数の画素で生成した画像データの画素位置の変換を行う補正処理部と、
   を備える撮像装置。
2. 被写体の像を結像する撮像光学系と、
   複数種類の色フィルターと、
   複数の撮像素子と、
   各撮像素子は色フィルターを介して入射光を受ける複数の画素を含み、前記撮像素子毎に設けられる色フィルターの種類が異なり、前記複数の撮像素子は、前記撮像光学系で結像された像から、前記複数の画素によって画像データを生成し、
   前記入射光に関する情報を取得する光情報取得手段と、
   少なくとも、前記画素に対して設けられた色フィルターの種類および前記光情報取得手段で取得した入射光に関する情報に応じて、前記複数の画素で生成した画像データの画素位置の変換を行う補正処理部と、
   を備える撮像装置。
3. 前記光情報取得手段は、前記撮像素子で生成された画像データまたはその画像データに所定の処理を施した画像データに基づいて、前記入射光に関する情報を取得する、
   請求項１または請求項２に記載の撮像装置。
4. 前記光情報取得手段は、前記撮像素子で生成された画像データまたはその画像データに所定の処理を施した画像データの一部に基づいて、前記入射光に関する情報を取得する、
   請求項３に記載の撮像装置。
5. 前記入射光に関する情報を設定する光源設定手段
   をさらに備え、
   前記光情報取得手段は、前記光源設定手段で設定された情報を前記入射光に関する情報として取得する、
   請求項１または請求項２に記載の撮像装置。
6. 前記補正処理部は、前記色フィルターの種類および前記入射光に関する情報に加えて、さらに前記撮像光学系の情報にも応じて、前記複数の画素で生成した画像データの画素位置の変換を行う、
   請求項１から請求項５のいずれかに記載の撮像装置。
7. 複数種類の色フィルターを介して入射光を受ける複数の画素を備える撮像素子によって生成された画像データの補正方法であって、
   前記画像データ、またはその画像データに所定の処理を施した画像データに基づいて、入射光の情報を取得し、
   少なくとも、前記複数の画素に対して配された色フィルターの種類および前記入射光に関する情報に応じて、前記画像データの画素位置の変換を行う、
   画像データ補正方法。
8. 複数の撮像素子によって生成された画像データの補正方法であって、
   各撮像素子は色フィルターを介して入射光を受ける画素を複数備え、前記撮像素子毎に設けられる色フィルターの種類が異なり、
   前記補正方法は、
   前記画像データ、またはその画像データに所定の処理を施した画像データに基づいて、前記入射光の情報を取得し、
   少なくとも、前記複数の画素に対して配された色フィルターの種類および前記入射光に関する情報に応じて、前記画像データの画素位置の変換を行う、
   画像データ補正方法。
9. 前記入射光に関する情報を、前記画像データまたはその画像データに所定の処理を施した画像データの一部に基づいて取得する、
   請求項７または請求項８に記載の画像データ補正方法。
10. 前記画像データの画素位置の変換を前記色フィルターの種類および前記入射光に関する情報に加えて、さらに撮像光学系の情報にも応じて行う、
    請求項７から請求項９のいずれかに記載の画像データ補正方法。

Images