JP2018037791A - 撮像装置、画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】光学劣化が少ない画像成分の情報を用いて他の画像成分の光学劣化を補正する。【解決手段】撮像装置１００は、分光透過率特性が互いに異なる複数の第１の画素群と該複数の第１の画素群とは分光透過率特性が異なる第２の画素群とを含む撮像素子１０２を有し、撮像光学系１０１の光学特性に関する情報を取得し、第１の画素群を用いて第１の画像を生成し、第２の画素群を用いて第２の画像を生成する。第２の画像と光学特性に関する情報とを用いて第１の画像に対して劣化補正処理を行う。第１および第２の画素群のそれぞれにおいて分光透過率特性における最大透過率の半分以上の透過率が得られる波長帯域を第１および第２の画素群の透過波長帯域とする。劣化補正処理により、第２の画像におけるエッジ情報を用いて、該第２の画像のエッジ情報に対する第１の画像のエッジ情報の差を減少させる。【選択図】図１

Description

本発明は、撮像光学系を通した撮像により生成された画像の光学劣化を補正する画像処理技術に関する。

被写体の１点から出た光は、撮像光学系を通ると該撮像光学系の回折や収差の影響によって１点に収束することができず、微小な広がりを持つ。このような微小な広がりを持った分布を点像分布関数（Point Spread Function：ＰＳＦ）と呼ぶ。撮像光学系を用いた撮像により生成された撮像画像は、理想的な被写体像にこのＰＳＦが畳み込まれたものであるため、該撮像画像に光学劣化（ぼけ）が生じる。

非特許文献１には、画像処理によって撮像画像の光学劣化を補正する方法として、以下の方法が開示されている。この方法では、ＰＳＦを用いて以下の式（１）に示す損失関数Ｌと正則化関数Ｒを最小化する解を求める最適化問題として画像処理を行う。

非特許文献１における式（１）の損失関数Ｌと正則化関数Ｒは、以下の式（２），（３）により表される。

式（２），（３）中のｉは光学劣化を受ける前の画像（以下、原画像という）の各画素を成分とする列ベクトルであり、ｊは撮像画像の各画素を成分とする列ベクトルである。ＢはＰＳＦの畳み込みを表す行列である。また、ｃは撮像画像の構成成分（以下、画像成分という）を表し、一般的なカラー画像にいうＲＧＢの３つの成分となる。ｌは画像成分ｃの中で光学劣化が小さい成分を表す。さらにＨ_１，２は１次微分（縦方向と横方向）を表し、Ｈ_{３，４，５}は２次微分（縦方向と横方向、およびそのクロスターム）を表す。λとβは重み係数を表す。ｉ_ｃ・ｉ_ｌにおける・はアダマール積を示す。

はＬ２ノルムを表す。また、

はＬ１ノルムを表す。ベクトルｘ＝（ｘ_１，ｘ_２，…，ｘ_ｎ）として、|・|を絶対値とすると、Ｌ２ノルム

およびＬ１ノルム

はそれぞれ、以下の式（４），（５）で定義される。

式（２）では、原画像ｉに対して既知であるＰＳＦを与えた劣化画像Ｂｉと実際の撮像画像ｊとの差分を取っている。ノイズがない場合は、原画像ｉが正確に推定されていれば式（２）の値は０となる。式（３）の第１項は、ｉの１次微分値のＬ１ノルムを計算することで、自然（一般的）な被写体を撮像して得られる自然画像全体のうちエッジが占める割合が疎（スパース）となる特性を反映している。また、式（３）の第２項は、画像成分ｌのエッジの位置と補正対象である画像成分ｃのエッジの位置とが合致することで値が小さくなる正則化項である。この式（３）の第２項は、画像成分ｃの２次微分で得られる輝度勾配値と画像成分ｌの輝度値との積であるＨ_ａｉ_ｃ・ｉ_ｌと、画像成分ｌの２次微分で得られる輝度勾配値と画像成分ｃの輝度値との積であるＨ_ａｉ_ｌ・ｉ_ｃとの差を計算している。式（１）を最小化するｉを推定する最適化手法は、非特許文献１に詳しく記載されている。

Felix Heide, et al., "High-QualityComputational Imaging Through Simple Lenses", ACM Transactions on Graphics (presented at SIGGRAPH 2013)

上述した式（３）の正則化関数を用いて行うような画像成分間のエッジの位置を合わせる劣化画像の補正方法では、全ての画像成分において同程度の光学劣化が発生している場合に十分な光学劣化の補正効果が得られない。

本発明は、光学劣化が少ない画像成分の情報を用いて、他の画像成分の光学劣化を良好に補正することができるようにした撮像装置および画像処理装置等を提供する。

本発明の一側面としての撮像装置は、分光透過率特性が互いに異なる複数の第１の画素群と該複数の第１の画素群とは分光透過率特性が異なる第２の画素群とを含み、撮像光学系により形成された被写体像を光電変換する撮像素子と、撮像光学系の光学特性に関する情報を取得する光学特性取得手段と、複数の第１の画素群からの出力を用いて第１の画像を生成するとともに第２の画素群からの出力を用いて第２の画像を生成し、第２の画像と光学特性に関する情報とを用いて第１の画像に対する撮像光学系による光学劣化を補正する劣化補正処理を行う画像処理手段とを有する。撮像素子の光電変換部が感度を有する全波長帯域のうち第１および第２の画素群のそれぞれにおいて分光透過率特性における最大透過率の半分以上の透過率が得られる波長帯域を前記第１および第２の画素群の透過波長帯域とするとき、第２の画素群の透過波長帯域の幅は複数の第１の画素群のいずれの透過波長帯域の幅に対しても半分以下である。そして、画像処理手段は、劣化補正処理により、第２の画像におけるエッジ情報を用いて、該第２の画像におけるエッジ情報に対する第１の画像におけるエッジ情報の差を減少させることを特徴とする。

また、本発明の他の一側面としての画像処理装置は、撮像光学系により形成された被写体像を光電変換する撮像素子のうち分光透過率特性が互いに異なる複数の第１の画素群からの出力を用いて生成された第１の画像と複数の第１の画素群とは分光透過率特性が異なる第２の画素群からの出力を用いて生成された第２の画像とを取得する画像取得手段と、撮像光学系の光学特性に関する情報を取得する光学特性取得手段と、第２の画像および光学特性に関する情報を用いて第１の画像に対する撮像光学系による光学劣化を補正する劣化補正処理を行う補正処理手段とを有する。撮像素子の光電変換部が感度を有する全波長帯域のうち第１および第２の画素群のそれぞれにおいて分光透過率特性における最大透過率の半分以上の透過率が得られる波長帯域を前記第１および第２の画素群の透過波長帯域とするとき、第２の画素群の透過波長帯域の幅は複数の第１の画素群のいずれの透過波長帯域の幅に対しても半分以下である。そして、補正処理手段は、劣化補正処理により、第２の画像におけるエッジ情報を用いて、該第２の画像におけるエッジ情報に対する第１の画像におけるエッジ情報の差を減少させることを特徴とする。

なお、上述した撮像装置や画像処理装置が行う画像処理方法およびコンピュータを上記画像処理装置として動作させる画像処理プログラムも、本発明の他の一側面を構成する。

本発明によれば、第１の画像よりも光学劣化が少ない第２の画像を用いて、第１の画像の光学劣化を良好に補正することができる。

本発明の実施例１である撮像装置の構成を示すブロック図。 実施例１における撮像素子の画素配列を示す図。 実施例１における撮像素子の各画素の分光透過率特性を示す図。 実施例１における画像処理を示すフローチャート。 本発明の実施例２における撮像光学系の構成を示す図。 実施例２における撮像光学系（物体無限遠）の収差図。 実施例２における撮像光学系のＭＴＦを示す図。 実施例２における撮像光学系および撮像素子の白色光源に対するＰＳＦを示す図。 実施例２における補正処理前後の画像のエッジ断面を示す図。 本発明の実施例３である画像処理装置を示す図。 実施例１における撮像素子の別の画素解列を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

まず、具体的な実施例の説明に先立って、各実施例で用いる用語について説明する。
「光学劣化」
光学劣化は、撮像光学系に起因する画像の劣化を意味し、具体的には撮像光学系が持つ諸収差に起因する像ぼけや撮像光学系が有限な径を持つことに起因する回折ぼけである。光学劣化は、撮像光学系の点光源に対する応答を表す関数である点像分布関数（ＰＳＦ：Point Spread Function）や点像分布関数のフーリエ変換によって得られる光学伝達関数（ＯＴＦ：Optical Transfer Function）等で表現することができる。
「撮像状態」
撮像状態は、撮像時における撮像光学系の焦点距離、絞り値および合焦した被写体距離等である。
「撮像光学系の光学特性」
撮像光学系の光学特性は、撮像光学系に起因する光学劣化を表すＰＳＦやＯＴＦであり、撮像状態ごとに異なる。この光学特性に関する情報（以下、光学特性情報という）は、撮像光学系の設計値等からコンピュータによるシミュレーションにより予め算出しておくことが望ましい。コンピュータシミュレーションで撮像光学系の光学特性情報を生成するためには、想定する光源の分光特性や撮像素子の各画素に設けられたカラーフィルタの分光透過率特性を用いる。そして、撮像素子の同一の分光透過率特性を有する画素（カラーフィルタ）ごとの光学特性情報を生成することが好ましい。光学特性情報は、撮像状態と撮像素子の画素ごとの分光透過率特性との組み合わせの数だけ必要となる。また、同一の撮像状態かつ同一の分光透過率特性でも像高に応じた収差や回折の変化が無視できない場合は、像高ごとに光学特性情報を生成しておく必要がある。
「画像のエッジ情報」
画像のエッジ情報とは、画像内のエッジの位置や方向等の情報であり、画像の明るさ（輝度値）が鋭敏に変化している位置や方向を表す。エッジ情報を取得する方法としては、画像データに対する微分（差分）値を算出する等がある。

以下、本発明の具体的な実施例について説明する。

図１には、本発明の実施例１である撮像装置１００の構成を示している。撮像装置１００は、デジタルスチルカメラやデジタルビデオカメラ等であり、撮像光学系１０１、撮像素子１０２、画像処理部１０３、光学系制御部１０４、状態検知部１０５、記憶部１０６およびシステムコントローラ１０７を有する。なお、撮像光学系１０１は、撮像装置１００に対して取り外し（交換）可能であってもよい。

撮像光学系１０１は被写体からの光をＣＣＤセンサやＣＭＯＳセンサ等により構成される撮像素子１０２上に結像させる。撮像光学系１０１は、絞り１０１ａおよびフォーカスレンズ１０１ｂを含む。絞り１０１ａは、絞り開口径を増減させて撮像素子１０２に到達する光量を調節する。

また、フォーカスレンズ１０１ｂは、不図示のフォーカス駆動機構によって光軸方向に駆動されて焦点調節を行う。この際、フォーカス制御手段としてのシステムコントローラ１０７は、後述するＫ画素からの出力を用いて生成されたフォーカス情報を用いてフォーカス駆動機構によるフォーカスレンズ１０１ｂの駆動量を決定する。そして、該駆動量に応じてフォーカス駆動機構を制御することでフォーカス制御（ＡＦ）を行う。これは後述する処理において、Ｋ画素から生成されるリファレンス画像のエッジ情報を用いてＲＧＢ画像のエッジを補正するためである。ＡＦ方式としては、コントラスト検出方式や撮像面位相差検出方式等を用いることができ、フォーカス情報とは、コントラスト情報や位相差（デフォーカス）情報である。また、撮像素子１０２とは別にＡＦセンサを設けてもよい。この際、ＡＦセンサはＫ画素と同じ分光透過率特性を持つことが望ましい。

なお、ＡＦをフォーカスレンズ１０１ｂの駆動に代えて、撮像光学系１０１の全体を駆動したり撮像素子１０２を駆動したりすることで行ってもよい。また、撮像光学系１０１はズーム機能を有してもよい。フォーカス駆動機構や不図示のズーム駆動機構の制御は、システムコントローラ１０７からの指令を受けた光学系制御部１０４が行う。

さらに、撮像光学系１０１は、撮像により取得される画像のエイリアシングを抑制するためのローパスフィルタ１０１ｃを有する。

撮像光学系１０１により形成された被写体像は、撮像素子１０２の複数の画素により光電変換されて電気信号に変換される。画像信号は画像処理部１０３に入力される。

図２（ａ）には、本実施例における撮像素子１０２の画素配列を示している。撮像素子１０２には、２行×２列で配列されたＲ（赤）画素、Ｇ（緑）画素、Ｂ（青）画素およびＫ（リファレンス）画素を一組の画素としたとき、複数組の画素が水平および垂直方向に配列されている。Ｒ画素は光電変換部と赤色波長帯域の光を透過するカラーフィルタであるＲフィルタとを備えた画素であり、Ｇ画素は光電変換部と緑色波長帯域の光を透過するカラーフィルタであるＧフィルタとを備えた画素である。Ｂ画素は光電変換部と青色波長帯域の光を透過するカラーフィルタであるＢフィルタとを備えた画素であり、Ｋ画素は 光電変換部と色波長帯域の光を透過する後述する干渉フィルタ等のＫフィルタとを備えた画素である。

図２（ｂ）には一般的なベイヤー配列での一組の画素を示している。ベイヤー配列では、Ｒ画素、Ｂ画素および２つのＧ画素が２行×２列で配列されている。図２（ａ）に示した本実施例の撮像素子は、図２（ｂ）に示した２つのＧ画素のうち１つをＫ画素に置き換えた互いに異なる４つの分光透過率特性を有する４種類の画素を含む。ただし、図２（ａ）に示した画素配列は例であり、複数の異なる分光透過率特性の画素（実施例１ではＲ、Ｇ、Ｂ）およびＫ画素を含めば他の画素配列を用いてもよい。撮像素子１０２上の複数のＲ画素、複数のＧ画素および複数のＢ画素はそれぞれ、第１の画素群に相当する。すなわち、撮像素子１０２は、分光透過率特性が異なる複数（３つ）の第１の画素群を有する。一方、撮像素子１０２上の複数のＫ画素は、第２の画素群に相当する。すなわち、撮像素子１０２は、複数の第１の画素群のいずれとも分光透過率特性が異なる第２の画素群を有する。

Ｒ、ＧおよびＢフィルタは、例えば透明基板上に顔料を分散させて作られる。また、Ｋフィルタは、ある特定の波長を中心とした狭い波長帯域の光を透過させるように、例えば誘電体のみからなる多層膜を用いて又は金属膜と誘電体とを組み合わせて用いて干渉フィルタとして作られる。干渉フィルタは、光の干渉作用によって特定波長を中心とした狭い波長帯域の光を透過させる特性を有する。本実施例におけるＫカラーフィルタは、５５０ｎｍ付近の狭い波長帯域に対してのみ高い透過率を有し、他の波長帯域の光に対しては低い透過率しか有さない。

図３には、撮像素子１０２のＲ、Ｇ、ＢおよびＫ画素（Ｒ、Ｇ、ＢおよびＫフィルタ）の分光透過率特性の例を示す。横軸は波長を、縦軸は透過率をそれぞれ示す。透過率は、各画素における最大透過率を１とする相対値として表している。３０１はＲ画素の分光透過率特性を、３０４はＧ画素の分光透過率特性を、３０３はＢ画素の分光透過率特性を示している。３０２はＫ画素の分光透過率特性を示している。この図に示すように、Ｒ画素は波長６００ｎｍに、Ｇ画素は波長５３０ｎｍに、Ｂ画素は波長４６０ｎｍに、Ｋ画素は波長５５０ｎｍにそれぞれ最大透過率を持つ分光透過率特性を有する。

撮像素子１０２で光電変換される（撮像素子の光電変換部が感度を有する）全波長帯域のうち、各画素においてその画素の分光透過率特性における最大透過率の半分以上（図３では０．５以上）の透過率が得られる波長帯域を該画素の透過波長帯域という。また、透過波長帯域の幅（ｎｍ）を透過波長帯域幅という。このとき、Ｒ画素（分光透過率特性３０１）の透過波長帯域幅３１１は９２ｎｍ、Ｇ画素（分光透過率特性３０４）の透過波長帯域幅３１４は９２ｎｍ、Ｂ画素（分光透過率特性３０３）の透過波長帯域幅３１３は８３ｎｍである。一方、Ｋ画素（分光透過率特性３０２）の透過波長帯域幅３１２は２０ｎｍである。Ｋ画素の透過波長帯域は、Ｇ画素の透過波長帯域に含まれている。

Ｋ画素の透過波長帯域幅３１２は、Ｒ、ＧおよびＢ画素のいずれの透過波長帯域幅３１１，３１４，３１３に対しても半分以下となっている。このようにＫ画素の透過波長帯域幅３１２をＲ、ＧおよびＢ画素の透過波長帯域幅３１１，３１４，３１３の半分以下とすることで、光学劣化の要因の１つである色収差の影響をＲ、ＧおよびＢ画素よりも小さくすることができる。言い換えれば、Ｋ画素の透過波長帯域幅３１２がＲ、ＧおよびＢ画素の透過波長帯域幅３１１，３１４，３１３の半分より広いと、Ｋ画素とＲ、ＧおよびＢ画素とが受ける光学劣化の差異が小さくなるので好ましくない。Ｋ画素の透過波長帯域幅３１２がＲ、ＧおよびＢ画素のいずれの透過波長帯域幅３１１，３１４，３１３に対しても１／４以下であることがより望ましい。また、図３の画素配列では、Ｋ画素の画素数は、Ｒ、ＧおよびＢ画素のいずれの画素数とも等しい。

なお、撮像素子１０２の各画素の分光透過率分布は、該画素に入射する光が複数のフィルタを通過する場合にはそれらのフィルタの全てのフィルタ効果を掛け合わせたものとなる。例えば、Ｇ画素に入射する光が紫外カットフィルタ、赤外カットフィルタおよびＧフィルタを通過した場合は、これら３つのフィルタの分光透過率特性を掛け合わせたものが最終的なＧ画素の分光透過率特性となる。ただし、本実施例では、説明を簡単にするため、各画素に入射する光が１つのフィルタ（Ｒ、Ｇ、ＢおよびＫフィルタ）を通過する場合について説明する。

画像処理部１０３は、処理画像生成部１０３ａ、劣化補正処理部１０３ｂおよびカラー画像生成部１０３ｃを有する。処理画像生成部１０３ａは、それぞれ複数のＲ画素、Ｇ画素、Ｂ画素およびＫ画素（以下、Ｒ画素群、Ｇ画素群、Ｂ画素群およびＫ画素群という）から出力された電気信号からＲＧＢＫ画素信号を生成する。そして、処理画像生成部１０３ａは、ＲＧＢＫ画素信号から第１の画像（撮像画像）であるＲＧＢＫ画像を生成する。このＫ画像または該Ｋ画像に対して後述する劣化補正処理が行われることで生成されるリファレンス画像が第２の画像に相当する。劣化補正処理部１０３ｂおよびカラー画像生成部１０３ｃが行う処理については後述する。

記憶部１０６は、磁気ディスク、光ディスク、フラッシュメモリ等の記録媒体により構成され、複数の撮像状態のそれぞれに対応した光学特性情報としてのＰＳＦの情報を記憶している。撮像状態ごとのＰＳＦの情報は、前述したように撮像光学系１０１の設計値等を用いたコンピュータシミュレーションによりＲ、Ｇ、ＢおよびＫのそれぞれについて予め算出されて記憶部１０６に記憶される。

状態検知部１０５は、撮像状態の情報を取得する撮像状態取得手段として機能する。画像処理部１０３は、撮像画像を取得した撮像時における撮像光学系１０１の撮像状態を状態検知部１０５または光学系制御部１０４から取得し、後述する画像補正処理にて使用する。

次に、図４のフローチャートを用いて、画像処理部１０３が行う画像処理について説明する。コンピュータおよび画像処理装置（画像処理手段）としての画像処理部１０３は、記憶部１０６に格納されたコンピュータプログラムである画像処理プログラムを実行して画像処理を行う。また、画像処理部１０３をハードウェア回路として実装し、該ハードウェア回路により画像処理を行ってもよい。

まずステップＳ１０１において、画像取得手段としての画像処理部１０３（処理画像生成部１０３ａ）は、上述したようにＲＧＢＫ画像（撮像画像）を生成して取得する。ＲＧＢＫ画像の各画素は、Ｒ、Ｇ、ＢおよびＫのうち１つの色の画素値を有する。

次に、ステップＳ１０２において、光学特性取得手段としての画像処理部１０３（劣化補正処理部１０３ｂ）は、状態検知部１０５を通じてＲＧＢＫ画像を取得した撮像時における撮像状態に関する情報を取得する。そして、該撮像状態に対応する光学特性情報（ＰＳＦ情報）を記憶部１０６から読み出して取得する。撮像状態に関する情報を撮像時に記憶部１０６に一旦保存し、本処理を行う際に画像処理部１０３が記憶部１０６から読み出してもよい。画像処理部１０３は、Ｒ、Ｇ、ＢおよびＫのそれぞれについてＰＳＦ情報を取得する。

次に、ステップＳ１０３において、補正処理手段としての画像処理部１０３（劣化補正処理部１０３ｂ）は、ステップＳ１０１で取得したＲＧＢＫ画像それぞれにおける光学劣化を補正する劣化補正処理を行う。画像処理部１０３は、まずＫ画像に対する劣化補正処理を、ステップＳ１０２で取得したＫについてのＰＳＦ情報を用いて、先に説明した式（１）を最小化する解（原画像ｉ）を求める最適化問題として解く。式（１）において、損失関数Ｌは例えば式（２）で表され、正則化関数Ｒは例えば式（３）の第１項で表される。また、劣化補正処理をWienerフィルタ等の逆フィルタを用いて行ってもよい。こうして画像処理部１０３はＫ画像に対する劣化補正処理を行うことでリファレンス画像（第２の画像）を生成する。なお、Ｋ画像の光学劣化が無視できる程度に小さい場合は、Ｋ画像に対する劣化補正処理を行わずに該Ｋ画像をリファレンス画像として用いてもよい。

また、画像処理部１０３は、Ｋ画像より大きな光学劣化を受けた劣化画像としてのＲＧＢ画像（第１の画像）に対して劣化補正処理を行う。具体的には、画像処理部１０３は、ステップＳ１０２で取得したＲ、ＧおよびＢのそれぞれについてのＰＳＦ情報とステップＳ１０３で生成したリファレンス画像のエッジ情報とを用いてＲＧＢ画像に対する劣化補正処理を行う。

この際、撮像光学系１０１において倍率色収差が発生している場合は、画像処理部１０３はまずＲＧＢ画像に対する倍率色収差補正処理を行う。倍率色収差補正処理では、まずＲＧＢ画像からＲ、ＧおよびＢのそれぞれの色画像（以下、Ｒ画像、Ｇ画像およびＢ画像という）を分離する。そして、リファレンス画像内のエッジに対してＲ画像、Ｇ画像およびＢ画像内のエッジの位置を合わせるように各色画像をシフトさせる。該シフト量は、撮像光学系１０１の設計値から算出されるＫ画像に対する倍率色収差から決定する。また、倍率色収差は像高によって異なるため、像高ごとに倍率色収差補正処理を行う。

ＲＧＢ画像の劣化補正処理も、式（１）を最小化する解（原画像ｉ）を求める最適化問題として解くことで行う。ここでも式（１）の損失関数Ｌは、例えば式（２）で表される。一方、正則化関数Ｒは、式（３）の全体で表される。式（３）の第１項と第２項を用いることで、補正対象であるＲＧＢ画像のエッジ情報とリファレンス画像のエッジ情報の類似度を評価することができる。そして、画像処理部１０３は、リファレンス画像のエッジ情報に対するＲＧＢ画像のエッジ情報の差が減少していくように劣化前のＲＧＢ画像を順次推定する。このように推定するＲＧＢ画像のエッジ情報を光学劣化が小さいリファレンス画像のエッジ情報に漸近させることで、ＲＧＢ画像に対する劣化補正効果を向上させることができる。

次に、ステップＳ１０４において、画像処理部１０３（カラー画像生成部１０３ｃ）は、劣化補正処理後のＲＧＢＫ画像から出力画像としてのカラー画像を生成する。具体的には、ステップ１０３で光学劣化が補正された補正画像としてのＲＧＢ画像に対して、デモザイキング処理、ホワイトバランス調整処理、シェーディング処理、カラーマトリクス処理、γ補正処理等の各種画像処理を行ってＲＧＢカラー画像を生成する。なお、補正画像および出力画像に、光学劣化が補正されたＫ画像が含まれていてもよい。また、出力画像の生成において、例えばデモザイキング処理にてＫ画素を用いた補間処理を行うことでＲＧＢカラー画像を生成してもよい。

本実施例では、撮像光学系１０１のＰＳＦの情報を記憶部１０６に記憶させ、該記憶部１０６から読み出したＰＳＦの情報を用いて劣化補正処理を行う場合について説明した。しかし、記憶部１０６に撮像光学系１０１のＯＴＦの情報を記憶させておき、撮像状態に応じたＯＴＦの情報に対して周波数変換を行うことで生成した実空間上のデータであるＰＳＦの情報を用いて劣化補正処理を行ってもよい。

また、ステップＳ１０４で生成されるカラー画像は一般的なカラー画像とは異なり、Ｒ、Ｇ、ＢおよびＫの４色の画素で構成されるが、デモザイキング処理は従来の基本的な手法であるバイリニアやバイキュービック等の補間手法を用いて行うことができる。また、その他の手法を用いてデモザイキング処理を行ってもよい。

さらに、本実施例ではデモザイキング処理を行う前のＲＧＢＫ画像に劣化補正処理を行ったが、デモザイキング処理を行ったＲＧＢＫ画像に対して劣化補正処理を行ってもよい。この場合、デモザイキング処理において、ＲＧＢ画像に対しては従来のカラー画像に対するデモザイキング処理と同様に互いの画素値を用いて補完処理を行い、Ｋ画像に対しては独立してデモザイキング処理を行ってもよい。

また、撮像素子１０２の画素配列として、図１１（ａ）に示す画素配列を用いてもよい。図１１（ａ）では、Ｍ（マゼンタ）画素、Ｃ（シアン）画素および２つのＫ画素からなる組の画素と、Ｃ画素、Ｙ（イエロー）画素および２つのＫ画素からなる組の画素と、Ｍ画素、Ｙ画素および２つのＫ画素からなる組の画素とがそれぞれ複数配列されている。複数のＭ画素、複数のＣ画素および複数のＹ画素はそれぞれ、第１の画素群に相当する。また、複数のＫ画素は、第２の画素群に相当する。

図１１（ｂ）には、Ｍ、Ｃ、ＹおよびＫ画素（Ｍ、Ｃ、ＹおよびＫフィルタ）の分光透過率特性の例を示す。横軸は波長を、縦軸は透過率をそれぞれ示す。図３と同様に、透過率は、各画素における最大透過率を１とする相対値として表している。３２１はＭ画素の分光透過率特性を、３２２はＣ画素の分光透過率特性を、３２３はＹ画素の分光透過率特性を示している。３２４はＫ画素の分光透過率特性を示している。Ｍ、ＣおよびＹ画素のうち最も透過波長帯域幅が小さいのはＣ画素であり、その透過波長帯域幅３３２は１３０ｎｍである。なお、Ｍ画素の透過波長帯域幅は、Ｍ画素における透過率が最大透過率の半分以上となる波長帯域の幅であるため、透過波長帯域幅３３１ａ（６１ｎｍ）と３３１ｂ（１０３ｎｍ）とを足し合わせたものとなる。Ｋ画素の透過波長帯域幅３３４は３０ｎｍであり、Ｃ、ＭおよびＹ画素のいずれの透過波長帯域幅に対しても半分以下となっている。

また、図１１（ａ）の画素配列では、全画素のうち半分がＫ画素となっている。すなわち、Ｋ画素の画素数は、Ｍ、ＣおよびＹ画素のいずれの画素数より多い。このような画像配列を有する撮像素子１０２を用いる場合も、ＭＣＹ画像に対してＫ画像から生成されるリファレンス画像を用いた劣化補正処理が行われる。このため、Ｋ画像は高解像な画像情報である必要がある。このため、Ｋ画素の画素数は、Ｍ，ＣおよびＹ画素のいずれの画素数よりも多いか、少なくとも等しいことが望ましい。

さらに、撮像光学系１０１に設けられたローパスフィルタ１０１ｃのカットオフ周波数は、Ｋ画素のナイキスト周波数より高いことが望ましい。これは、上述したようにリファレンス画像を生成するためのＫ画像は高解像な画像情報である必要があるためである。

次に、本発明の実施例２である撮像装置について説明する。本実施例の撮像装置の構成は、撮像光学系を除いて図１に示した実施例１の撮像装置と同じである。図５には、本実施例における撮像光学系の光学構成について説明する。

撮像光学系は、物体側から像側に順に、開口絞りＳＰと第１レンズＧ１とを有し、撮像素子が配置される像面ＩＰに被写体像を形成する。第１レンズＧ１は、物体側に平面を向けた正レンズである。

図６は、本実施例における撮像光学系の無限遠合焦状態での縦収差図であり、球面収差（ｍｍ）、非点収差（ｍｍ）、歪曲収差（％）および倍率色収差（ｍｍ）を示している。縦収差図において、ｄとｇはそれぞれｄ線とｇ線を示し、ΔＭとΔＳはそれぞれｄ線のメリディオナル像面とサジタル像面を表す。ＦｎｏはＦナンバーを、ωは半画角を表す。

本実施例において、撮像素子は、図２（ａ）に示した画素配列と図３に示した分光透過率特性を有する。

図７には、本実施例の撮像光学系の軸上におけるＯＴＦの絶対値、すなわち振幅成分であるＭＴＦ（Modulation Transfer Function）を示しており、４つの波長帯域（Ｒ、Ｇ、ＢおよびＫ帯域）でのＭＴＦを示している。横軸は空間周波数（最大値６０本／ｍｍ）を示し、縦軸はＭＴＦの強度（最大値１）を示している。図７から分かるように、Ｋ帯域でのＭＴＦは、全空間周波数においてＲ、ＧおよびＢ帯域でのＭＴＦより高くなっており、特に高い空間周波数域においてＲ、ＧおよびＢ帯域よりも良好なＭＴＦが得られる。このことから分かるように、本実施例の撮像光学系を用いることで、Ｒ、ＧおよびＢ画像よりも高解像度なＫ画像を取得することができる。これは、軸上以外の像高についても同様である。

図８（ａ）〜（ｄ）には、本実施例における撮像光学系および撮像素子の軸上での白色光源に対するＰＳＦの断面を示している。横軸は位置を、縦軸は強度を示す。図８（ａ）はＲ帯域のＰＳＦを、図８（ｂ）がＧ帯域のＰＳＦを、図８（ｃ）がＢ帯域のＰＳＦを、（ｄ）がＫ帯域のＰＳＦをそれぞれ示している。これらの図から、Ｋ帯域において、Ｒ、ＧおよびＢ帯域に比べて鮮鋭かつ高強度の画像が得られることが分かる。

本実施例では、図８（ａ）〜（ｄ）に示したＰＳＦの情報（光学特性情報）を用いて実施例１と同様の劣化補正処理を行う。

図９（ａ）〜（ｃ）にはそれぞれ、被写体像の軸上付近におけるＲ、Ｇ、ＢおよびＫ帯域のエッジ断面を示す。横軸は位置を示し、縦軸は輝度値を示している。図９（ａ）は光学劣化を受ける前の被写体像（原画像）のエッジ断面を、図９（ｂ）は光学劣化を受けた被写体像（劣化画像）のエッジ断面を示す。また、図９（ｃ）は光学劣化が補正された後の補正画像のエッジ断面を示す。光学劣化を受けた被写体像はその解像度が低下して輝度値の変化量も低下することから、図９（ｂ）における輝度値は、図９（ａ）および図９（ｃ）における輝度値に比べて低く、かつ狭い輝度範囲で変化する。また、図９（ｂ）に示す輝度値の変化量の低下は、Ｒ、Ｇ、ＢおよびＫ帯域での光学劣化の度合いを示した図７のＭＴＦおよび図８のＰＳＦの低下と対応している。図９（ｂ）から、リファレンス画像の生成に用いられるＫ画像は、Ｒ、ＧおよびＢ画像より高い解像度でエッジ情報が得られることが分かる。図９（ｃ）に示す補正画像のエッジ断面から、Ｒ、ＧおよびＢ画像のいずれも図９（ａ）に示す光学劣化を受ける前の原画像のエッジ断面に近づいていることが分かる。

次に、本実施例における撮像光学系の数値例を示す。数値例において、ｒは光学面の曲率半径を示し、ｄはレンズ厚または空気間隔を示す。ｎｄとνｄはレンズの材料のｄ線に対する屈折率とアッベ数を示す。

（数値例）
単位 mm

面データ
面番号 r d nd νd 有効径
1(絞り) ∞ 0.10 28.89
2 ∞ 5.00 1.516330 64.14 28.89
3 -67.123 28.89
像面 ∞

焦点距離 130.00
Fナンバー 4.50
画角 5.93
像高 13.50
レンズ全長 135.00
バックフォーカス 130.00

次に、本発明の実施例３である画像処理装置について図１０を用いて説明する。図１０において、撮像装置１００１は、撮像光学系と撮像素子を有する。撮像光学系は、図５を用いて説明した実施例２の撮像光学系である。撮像素子は、図２（ａ）を用いて説明した実施例１（および実施例２）の撮像素子１０２と同じである。撮像装置１００１は撮像により生成した撮像画像としてのＲＧＢＫ画像（ＲＡＷ画像）を撮像装置１００１内の記憶部（図示せず）に保存する。保存される撮像画像のＥｘｉｆ情報には、撮像状態に関する情報が記録される。

画像処理装置としてのパーソナルコンピュータ（ＰＣ）１００３は、図４に示したステップＳ１０１にて撮像装置１００１から記憶媒体を介して、または有線もしくは無線での通信によってＲＧＢＫ画像を取得し、該ＲＧＢＫ画像からＫ画像を取得（抽出）する。画像処理装置は、図１０には示していないが、図１に示した劣化補正処理部１０３ｂとカラー画像生成部１０３ｃに相当する処理部（処理手段）を有する。このため、ＰＣ１００３は、インストールされた画像処理プログラムに従って図４に示したステップＳ１０２〜Ｓ１０４の処理を実行する。この際、ＰＣ１００３は、撮像画像のＥｘｉｆ情報から撮像時の撮像状態の情報を読み取り、ＰＣ１００３内の記憶部に予め記憶された複数の撮像状態の光学特性情報のうち該撮像状態に対応する光学特性情報を読み出して用いる。

ＰＣ１００３は、本処理を行っている間、原画像に近づくように補正されていくＲＧＢ画像をディスプレイ１００２に表示する。これにより、作業者はそのＲＧＢ画像を見ながら作業を進めることができる。さらにＰＣ１００３は、最終的に光学劣化が良好に補正された出力画像としてのカラー画像もディスプレイ１００２に表示する。

以上説明した各実施例によれば、ＲＧＢ画像よりも光学劣化が少ないＫ画像を用いて、ＲＧＢ画像の光学劣化を良好に補正することができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１００ 撮像装置
１０１ 撮像光学系
１０２ 撮像素子
１０３ 画像処理部

Claims (10)

1. 分光透過率特性が互いに異なる複数の第１の画素群と該複数の第１の画素群とは分光透過率特性が異なる第２の画素群とを含み、撮像光学系により形成された被写体像を光電変換する撮像素子と、
   前記撮像光学系の光学特性に関する情報を取得する光学特性取得手段と、
   前記複数の第１の画素群からの出力を用いて第１の画像を生成するとともに前記第２の画素群からの出力を用いて第２の画像を生成し、前記第２の画像と前記光学特性に関する情報とを用いて前記第１の画像に対する前記撮像光学系による光学劣化を補正する劣化補正処理を行う画像処理手段とを有し、
   前記撮像素子の光電変換部が感度を有する全波長帯域のうち前記第１および第２の画素群のそれぞれにおいて前記分光透過率特性における最大透過率の半分以上の透過率が得られる波長帯域を前記第１および第２の画素群の透過波長帯域とするとき、前記第２の画素群の前記透過波長帯域の幅は前記複数の第１の画素群のいずれの前記透過波長帯域の幅に対しても半分以下であり、
   前記画像処理手段は、前記劣化補正処理により、前記第２の画像におけるエッジ情報を用いて、該第２の画像におけるエッジ情報に対する前記第１の画像におけるエッジ情報の差を減少させることを特徴とする撮像装置。
2. 前記光学特性は、前記分光透過率特性に応じた前記撮像光学系の点像分布関数であることを特徴とする請求項１に記載の撮像装置。
3. 前記第２の画素群の前記透過波長帯域は、前記複数の第１の画素群のいずれの前記透過波長帯域に対しても１／４以下であることを特徴とする請求項１または２に記載の撮像装置。
4. 前記画像処理手段は、前記第１の画像に対して前記撮像光学系で発生した倍率色収差を補正する倍率色収差補正処理を行った後に前記劣化補正処理を行うことを特徴とする請求項１から３のいずれか一項に記載の撮像装置。
5. 前記撮像光学系のフォーカス制御を行うフォーカス制御手段を有し、
   該フォーカス制御手段は、前記第２の画素群または該第２の画素群と同じ分光透過率特性を有する他のセンサからの出力を用いて前記フォーカス制御を行うことを特徴とする請求項１から４のいずれか一項に記載の撮像装置。
6. 前記第２の画素群は、前記複数の第１の画素群のいずれに対しても画素数が等しい又は多いことを特徴とする請求項１から５のいずれか一項に記載の撮像装置。
7. ローパスフィルタをさらに有し、
   前記ローパスフィルタのカットオフ周波数は、前記第２の画素群のナイキスト周波数より高いことを特徴とする請求項１から６のいずれか一項に記載の撮像装置。
8. 撮像光学系により形成された被写体像を光電変換する撮像素子のうち分光透過率特性が互いに異なる複数の第１の画素群からの出力を用いて生成された第１の画像と前記複数の第１の画素群とは分光透過率特性が異なる第２の画素群からの出力を用いて生成された第２の画像とを取得する画像取得手段と、
   前記撮像光学系の光学特性に関する情報を取得する光学特性取得手段と、
   前記第２の画像および前記光学特性に関する情報を用いて前記第１の画像に対する前記撮像光学系による光学劣化を補正する劣化補正処理を行う補正処理手段とを有し、
   前記撮像素子の光電変換部が感度を有する全波長帯域のうち前記第１および第２の画素群のそれぞれにおいて前記分光透過率特性における最大透過率の半分以上の透過率が得られる波長帯域を前記第１および第２の画素群の透過波長帯域とするとき、前記第２の画素群の前記透過波長帯域の幅は前記複数の第１の画素群のいずれの前記透過波長帯域の幅に対しても半分以下であり、
   前記補正処理手段は、前記劣化補正処理により、前記第２の画像におけるエッジ情報を用いて、該第２の画像におけるエッジ情報に対する前記第１の画像におけるエッジ情報の差を減少させることを特徴とする画像処理装置。
9. 撮像光学系により形成された被写体像を光電変換する撮像素子のうち分光透過率特性が互いに異なる複数の第１の画素群からの出力を用いて生成された第１の画像と前記複数の第１の画素群とは分光透過率特性が異なる第２の画素群からの出力を用いて生成された第２の画像とを取得する処理と、
   前記撮像光学系の光学特性に関する情報を取得する処理と、
   前記第２の画像および前記光学特性に関する情報を用いて前記第１の画像に対する前記撮像光学系による光学劣化を補正する劣化補正処理とを含む画像処理方法であって、
   前記撮像素子の光電変換部が感度を有する全波長帯域のうち前記第１および第２の画素群のそれぞれにおいて前記分光透過率特性における最大透過率の半分以上の透過率が得られる波長帯域を前記第１および第２の画素群の透過波長帯域とするとき、前記第２の画素群の前記透過波長帯域の幅は前記複数の第１の画素群のいずれの前記透過波長帯域の幅に対しても半分以下であり、
   前記劣化補正処理により、前記第２の画像におけるエッジ情報を用いて、該第２の画像におけるエッジ情報に対する前記第１の画像におけるエッジ情報の差を減少させることを特徴とする画像処理方法。
10. コンピュータに、
    撮像光学系により形成された被写体像を光電変換する撮像素子のうち分光透過率特性が互いに異なる複数の第１の画素群からの出力を用いて生成された第１の画像と前記複数の第１の画素群とは分光透過率特性が異なる第２の画素群からの出力を用いて生成された第２の画像とを取得する処理と、
    前記撮像光学系の光学特性に関する情報を取得する処理と、
    前記第２の画像および前記光学特性に関する情報を用いて前記第１の画像に対する前記撮像光学系による光学劣化を補正する劣化補正処理とを実行させるコンピュータプログラムであって、
    前記撮像素子の光電変換部が感度を有する全波長帯域のうち前記第１および第２の画素群のそれぞれにおいて前記分光透過率特性における最大透過率の半分以上の透過率が得られる波長帯域を前記第１および第２の画素群の透過波長帯域とするとき、前記第２の画素群の前記透過波長帯域の幅は前記複数の第１の画素群のいずれの前記透過波長帯域の幅に対しても半分以下であり、
    前記劣化補正処理により、前記第２の画像におけるエッジ情報を用いて、該第２の画像におけるエッジ情報に対する前記第１の画像におけるエッジ情報の差を減少させることを特徴とする画像処理プログラム。