JP2011254376A - 画像処理装置、撮像装置及び画像処理プログラム - Google Patents

Abstract

【課題】カラーフィルターアレイで得られた画像を補間した際に輝度と色差の解像度の差を補正して高画質の補間画像を得る。
【解決手段】イメージセンサー６の前面に複数の異なる透過特性を有するカラーフィルター４を配置したカラーイメージセンサーにより各画素において複数の色成分のうちの一つの色成分を検出することにより得られたカラーフィルター画像データの補間を行う画像処理装置１において、前記カラーフィルター画像データの輝度成分を補間する第１の補間手段８と、前記カラーフィルター画像データの色差成分を補間する第２の補間手段８と、前記輝度成分の解像度と前記色差成分の解像度の差に応じて前記色差成分の補正値を算出する補正値算出手段８と、前記色差成分の補正値に応じて前記色差成分を補正する補正手段８とを備える。
【選択図】図１

Description

本発明は、画像処理装置、撮像装置及び画像処理プログラムに関するものである。

従来、デジタルカメラでは単板イメージセンサーでカラー情報を取得するためにイメージセンサーに、例えばベイヤーパターンによるカラーフィルターアレイを配置し複数の色成分を検出している（例えば、特許文献１参照）。

ＵＳＰ３，９７１，０６５

ところで、カラーフィルターアレイを使った単板カラーイメージセンサーでは各画素毎には一つの色成分しか検出できないため、各画素でＲＧＢの情報を有するカラー画像を作成するために補間処理が必要になるが、ベイヤーパターンによるカラーフィルターアレイでは、主に輝度成分に寄与する緑画素が主に色成分に寄与する赤、青画素よりも密度が高く配置されていて、補間処理においても輝度は高解像度に補間されるが色差は低解像度に補間される。従って、例えば白色の紙に赤色の文字が表示されているような画像の場合、輝度を高解像度に再現し色差を低解像度に再現すると文字の周りに色が滲んでしまい画質が低下するという問題がある。

本発明の目的は、カラーフィルターアレイで得られた画像を補間した際に輝度と色差の解像度の差を補正して高画質の補間画像を得ることができる画像処理装置、撮像装置及び画像処理プログラムを提供することである。

本発明の画像処理装置は、イメージセンサーの前面に複数の異なる透過特性を有するカラーフィルターを配置したカラーイメージセンサーにより各画素において複数の色成分のうちの一つの色成分を検出することにより得られたカラーフィルター画像データの補間を行う画像処理装置において、前記カラーフィルター画像データの輝度成分を補間する第１の補間手段と、前記カラーフィルター画像データの色差成分を補間する第２の補間手段と、前記輝度成分の解像度と前記色差成分の解像度の差に応じて前記色差成分の補正値を算出する補正値算出手段と、前記色差成分の補正値に応じて前記色差成分を補正する補正手段とを備えることを特徴とする。

また、本発明の撮像装置は、本発明の画像処理装置を含むことを特徴とする。

また、本発明の画像処理プログラムは、イメージセンサーの前面に複数の異なる透過特性を有するカラーフィルターを配置したカラーイメージセンサーにより各画素において複数の色成分のうちの一つの色成分を検出することにより得られたカラーフィルター画像のデータ補間を行う画像処理装置に適用される画像処理プログラムであって、前記カラーフィルター画像データの輝度成分を補間する第１の補間ステップと、前記カラーフィルター画像データの色差成分を補間する第２の補間ステップと、前記輝度成分の解像度と前記色差成分の解像度の差に応じて前記色差成分の補正値を算出する補正値算出ステップと、前記色差成分の補正値に応じて前記色差成分を補正する補正ステップとを含むことを特徴とする。

本発明の画像処理装置、撮像装置及び画像処理プログラムによれば、カラーフィルターアレイで得られた画像を補間した際に輝度と色差の解像度の差を補正して高画質の補間画像を得ることができる。

第１の実施の形態に係るデジタルカメラの構成を示すブロック図である。 第１の実施の形態に係る画像処理部の構成を示すブロック図である。 第２の実施の形態に係るカラーフィルターアレイの構成を示す図である。

以下、図面を参照して本発明の第１の実施の形態に係る画像処理装置（撮像装置）としてのデジタルカメラについて説明する。図１は、第１の実施の形態に係るデジタルカメラの構成を示すブロック図である。デジタルカメラ１は、撮影レンズ２を介して入射した被写体光によって、入射面にカラーフィルターアレイ４を有するイメージセンサー６上に被写体像を結像させ、この被写体像をイメージセンサー６で電気信号に変換する。ここでカラーフィルターアレイ４及びイメージセンサー６は、カラーイメージセンサーを構成する。カラーフィルターアレイ４は、例えば４つの画素の中の左上及びその対角である右下の画素に対して緑色（Ｇ）のカラーフィルター、右上の画素に対して赤色（Ｒ）のカラーフィルター、左下の画素に対して青色（Ｂ）のカラーフィルターをアレイ状に配列したベイヤーカラーフィルターアレイ（ＢａｙｅｒＣＦＡ）である。

イメージセンサー６から出力された電気信号は、画像処理部８に入力される。画像処理部８においては、図示しないメモリ等から読み込まれた画像処理プログラムが実行されることにより、後述の補間等の画像処理が行われる。画像処理部８において画像処理された画像は記録部１０に記録される。

図２は、第１の実施の形態に係る画像処理部８の構成を示すブロック図である。画像処理部８は、ホワイトバランス処理部１２、第１階調処理部１４、補間処理部１６、色差補正処理部１７、第１色変換処理部１８、第２階調処理部２０、第２色変換処理部２２、エッジ強調処理部２４及び圧縮処理部２６を備えている。

ホワイトバランス処理部１２においては、無彩色の被写体を撮影した時にカラーイメージセンサー上の各色チャンネルの出力が概ね同じになるようにホワイトバランス処理を行う。この処理は、例えば画像中の最も明るい領域が無彩色だとの仮定の元、その領域のＲＧＢの値が同じになるようなゲインとしても良いし、予めユーザーが撮影光源を設定しその光源に応じたゲインを設定しても良い。また撮影シーンの判定を行い人物の顔領域が肌色になるようなゲインを設定しても良い。ホワイトバランス処理部１２では各画素のＲＧＢにホワイトバランス係数を掛ける。

次に、第１階調処理部１４においては、ガンマ処理と呼ばれる入力画素値ｘに対して出力画素値ｙが

となるような特性の階調変換を行う。定数γは、γ＝２．２程度が良い。なおγ＝１として実質的に階調処理を行わないようにしても良い。

次に、補間処理部１６においては、ＣＦＡ（Ｃｏｌｏｒ Ｆｉｌｔｅｒ Ａｒｒａｙ）画像を補間し、各画素にＲＧＢの揃ったカラー画像を生成する。補間の方法としてEric Dubois, “Frequency-Domain Methods for Demosaicking of Bayer-Sampled Color Images,” IEEE Signal Process. Lett., vol.12, pp.847,2005に記載の方法のようにＣＦＡ画像を周波数帯域で分割して輝度信号Ｌ，色差信号Ｃ_１，Ｃ_２成分の抽出を行う。ここで、ＢａｙｅｒＣＦＡで得られた画像をフーリエ変換した場合に、周波数解析を行うと低周波領域にＬ（輝度成分）、高周波領域にＣ_１，Ｃ_２（色差成分）が現れる。ここで、Ｌ，Ｃ_１，Ｃ_２はそれぞれ、
Ｌ＝（２Ｇ＋Ｂ＋Ｒ）／４
Ｃ_１＝（２Ｇ−Ｂ−Ｒ）／４
Ｃ_２＝（Ｂ−Ｒ）／４
で表される。

ここで輝度成分ＬはＢａｙｅｒＣＦＡ画像において低周波成分として現れ、色差成分Ｃ_１は（−１／２，−１／２）を中心とする周波数域に変調され、色差成分Ｃ_２は（０，−１／２）、（−１／２，０）を中心とする周波数域に変調されて分布する。このＬ，Ｃ_１，Ｃ_２成分をローパスフィルター、またはバンドパスフィルターを用いて抽出し、ＢａｙｅｒＣＦＡ画像の補間を行うことにより画素毎にＲＧＢの揃ったカラー画像を得ることができる。なお、この実施の形態では、ローパスフィルターを用いてＬ，Ｃ_１，Ｃ_２成分を抽出するローパスフィルター処理（ＬＰＦ処理）を例に挙げて説明する。

まず、ＢａｙｅｒＣＦＡ画像を周波数解析した時の（−１／２，−１／２）の周波数を中心に分布する色差Ｃ_１成分を抽出する。そのためにＢａｙｅｒＣＦＡ画像の座標（ｘ，ｙ）の位置の画素値に（−１）^ｘ＋ｙを掛けて（−１／２，−１／２）の周波数を中心に分布する成分を（０，０）の周波数を中心に分布するように変調する。そしてＬＰＦ処理を行って低域成分を抽出しＣ_１（ｘ，ｙ）成分とする。

次にＢａｙｅｒＣＦＡ画像を周波数解析した時の（−１／２，０）の周波数を中心に分布する色差Ｃ_２ａ成分を抽出する。そのためにＢａｙｅｒＣＦＡ画像の座標（ｘ，ｙ）の位置の画素値に（−１）^ｘを掛けて（−１／２，０）の周波数を中心に分布する成分を（０，０）の周波数を中心に分布するように変調する。そしてＬＰＦ処理を行って低域成分を抽出しＣ_２ａ（ｘ，ｙ）成分とする。

次にＢａｙｅｒＣＦＡ画像を周波数解析した時の（０，−１／２）の周波数を中心に分布する色差Ｃ_２ｂ成分を抽出する。そのためにＢａｙｅｒＣＦＡ画像の座標（ｘ，ｙ）の位置の画素値に（−１）^ｙを掛けて（０，−１／２）の周波数を中心に分布する成分を（０，０）の周波数を中心に分布するように変調する。そしてＬＰＦ処理を行って低域成分を抽出しＣ_２ｂ（ｘ，ｙ）成分とする。

次にＢａｙｅｒＣＦＡ画像を周波数解析した時の輝度Ｌ成分を抽出する。Ｃ_１成分の座標（ｘ，ｙ）の位置の画素値に（−１）^ｘ＋ｙを掛けて（−１／２，−１／２）の周波数を中心に分布する成分に戻し、Ｃ’_１（ｘ，ｙ）成分とする。また、Ｃ_２ａ成分の座標（ｘ，ｙ）の位置の画素値に（−１）^ｘを掛けて（−１／２，０）の周波数を中心に分布する成分に戻し、Ｃ’_２ａ（ｘ，ｙ）成分とする。また、Ｃ_２ｂ成分の座標（ｘ，ｙ）の位置の画素値に（−１）^ｙを掛けて（０，−１／２）の周波数を中心に分布する成分に戻し、Ｃ’_２ｂ（ｘ，ｙ）成分とする。

次に、ＢａｙｅｒＣＦＡ画像からＣ’_１，Ｃ’_２ａ，Ｃ’_２ｂを引いてＬ成分を抽出する（次式参照）。
Ｌ（ｘ，ｙ）＝ＣＦＡ（ｘ，ｙ）−Ｃ’_１（ｘ，ｙ）−Ｃ’_２ａ（ｘ，ｙ）−Ｃ’_２ｂ（ｘ，ｙ）

なお、Ｌ成分はＣＦＡ画像に直接ＬＰＦを掛けて抽出しても良い。この場合、色差と輝度は周波数帯域で分離したそれぞれの領域から抽出されているのではなく、一部分重なっている領域が色差と輝度の両方に抽出されることもある。また、ＬＰＦは線形フィルターでなくてもよく、ε-フィルター、σ-フィルターやbilateralフィルターのような画素値の差に依存する非線形フィルターを用いて抽出してもよい。この場合、帯域の違いだけでなく、振幅の違いでも輝度や色差の抽出を行うことができる。

次に、Ｃ_２ａとＣ_２ｂよりＣ_２を求める。

これは色差成分や輝度成分の分布に応じて例えば

としてαとβを定めてＣ_２を求めても良い。

なお、ここではＣＦＡ画像を変調し、ＬＰＦ処理によって色差成分を抽出しているが、ＣＦＡ画像にバンドパスフィルター処理、ハイパスフィルター処理を施して色差成分を抽出し、その後抽出した成分を変調して低周波成分にしてもよい。フィルターの通過帯域は、Ｌ，Ｃ_１，Ｃ_２ａ，Ｃ_２ｂの成分ごとに変えてもよい。また、ここではＢａｙｅｒＣＦＡの補間処理を示しているが、ＣＦＡ画像を周波数帯域で分割して輝度色差成分を抽出する方法はＢａｙｅｒＣＦＡに限らずあらゆるＣＦＡ画像に適用できる。異なるＣＦＡでは色差成分の分布する周波数帯域が異なり、輝度色差成分をＲＧＢ成分に変換する変換マトリクスが異なる。また、ここでの補間はＬＰＦ処理のみを行っているが、ＣＦＡ画像をフーリエ変換やＤＣＴ変換して輝度色差の帯域を抽出しても良いし、ウェーブレット変換して局所的な空間情報も考慮して輝度色差帯域を抽出しても良い。

次に、色差補正処理部１７においては、色滲みが低減するように色差の補正を行う。輝度の帯域よりも色差の帯域が狭いため、色差に高周波成分が含まれる領域（色のついたエッジなど）で色滲みが出てしまうため色差の補正を行う。

先ず、輝度Ｌの帯域と色差Ｃ_１，Ｃ_２の帯域の差のぶんだけ輝度をぼかした輝度Ｌ_ＬＰＦ１，Ｌ_ＬＰＦ２を作成する。つまり、Ｌ_ＬＰＦ１はＣ_１と同程度の帯域幅を有し、Ｌ_ＬＰＦ２はＣ_２と同程度の帯域幅を有するようにして輝度と色差の解像度を揃える。

次に、

を用いて色差を仮補正する。

次に、色差を補正するか否かの判定を行う。仮補正した色差の大きさがもとの色差の大きさよりも大きくなっているか、仮補正すると色差の符号が反転してしまう場合は色差の補正を行わない。仮補正した色差の大きさがもとの色差の大きさよりも大きくなっているという条件は

であり、仮補正すると色差の符号が反転してしまうという条件は

である。上記条件式が複数の色差成分Ｃ_１，Ｃ_２で一つでも成立した場合には補正を行わないとしてもよいし、それぞれの色差成分毎に判断してそれぞれの色差成分毎に補正を行っても良い。そして、補正を行わないという判定がなされなかった場合は補正を行う。ここでは（Ｌ_ＬＰＦ１−Ｌ）や（Ｌ_ＬＰＦ２−Ｌ）の大きさに応じて補正強度を変える。

なお、ｆ（ｘ）はｄｆ／ｄｘ≧０となる関数である。また、Ｃ_１やＣ_２の大きさによって補正強度を変えても良い。例えばＣ_１やＣ_２の大きさが大きい場合には補正を強くし、小さい場合には補正を弱くする。

次に、第１色変換処理部１８において、各画素のＬ，Ｃ_１” ，Ｃ_２”の値を用いて、次数に従って各画素のＲＧＢの値を求める。

ここではＢａｙｅｒＣＦＡの周波数空間補間での色変換処理を示しているが、ＣＦＡ画像を周波数帯域で分割して輝度色差成分を抽出する方法はＢａｙｅｒＣＦＡに限らずあらゆるＣＦＡ画像に適用できる。異なるＣＦＡでは色差成分の分布する周波数帯域が異なり、輝度色差成分をＲＧＢ成分に変換する変換マトリクスが異なる。

次に、第２階調処理部２０において、第１階調処理部１４において行った階調処理の逆変換を行う。即ち、入力画素値ｘに対して出力画素値ｙが

となるような特性の階調変換を行う。なお、γ=１の場合はこの処理をスキップできる。

次に、第２色変換処理部２２において、次式に従ってカラーイメージセンサーのＲＧＢデータを出力色空間のＲＧＢデータＲ_０，Ｇ_０，Ｂ_０に変換する。

なお、ｃ_ｉｊはイメージセンサー６の分光感度、光源、出力色空間より定められる定数である。出力色空間の規格としては例えばIEC 61966-2-1 sRGBが挙げられる。そしてさらに出力色空間の定義に従い階調処理が行われる。例えばIEC 61966-2-1 sRGBでは入力画素値ｘに対して出力画素値ｙが

となるような特性で入力ＲＧＢを出力Ｒ'Ｇ'Ｂ'に階調変換を行う。

さらにエッジ強調、圧縮処理のためにＲＧＢからＹＣｂＣｒへ色変換を行っても良い。この色変換は入力がＲ'Ｇ'Ｂ'とすると

となる。

次に、エッジ強調処理部２４により輝度成分Ｙにエッジ強調処理を行う。また、圧縮処理部２６によりＪＰＥＧ、ＪＰＥＧ２０００、ＪＰＥＧ ＸＲ等の圧縮方式で圧縮する。

ここで補間処理部１６において、Ｃ_１，Ｃ_２ａ，Ｃ_２ｂを抽出するのに用いるローパスフィルター（以下、ＬＰＦという。） は撮影被写体や撮影条件、カラーイメージセンサーの特性によって最適化することで高品質な補間画像が得られる。

第１の実施の形態に係るデジタルカメラによれば、カラーフィルターアレイで得られた画像を補間した際に輝度と色差の解像度の差を補正して高画質の補間画像を得ることができる。

次に、図面を参照して本発明の第２の実施の形態に係る画像処理装置（撮像装置）としてのデジタルカメラについて説明する。第２の実施の形態に係るデジタルカメラの構成及び画像処理は、第１の実施の形態に係るデジタルカメラ１の構成及び画像処理と同一であるため説明を省略する。なお、この実施の形態では、図３に示すようなベイヤーカラーフィルターアレイ（ＢａｙｅｒＣＦＡ）を備えたカラーイメージセンサーを用いる。

先ず、ホワイトバランス処理部１２により、無彩色の被写体を撮影した時にセンサー上の各色チャンネルの出力が概ね同じになるようにホワイトバランス処理を行う。次に、第１階調処理部１４により、ガンマ処理と呼ばれる入力画素値ｘに対して出力画素値ｙが

となるような特性の階調変換を行う。定数γはγ＝２．２程度が良い。これは直線部を含むようにしても良いし、ＬＵＴ（Look Up Table）でもよい。またγ＝１として実質的に階調処理を行わなくてもよい。

次に、補間処理部１６により、Ｇ空格子補間、即ちＢａｙｅｒＣＦＡでＧがない座標のＧの値を補間する。いま、例えば、図３においてＲ_３４のある位置でのＧを計算する。即ち、
ｄ_ｖ＝|Ｇ_２４−Ｇ_４４|とｄ_ｈ＝|Ｇ_３３−Ｇ_３５|を計算する。そして、ｄ_ｖとｄ_ｈの大きさに応じてＧ_３４を計算する。この場合に、
ｄ_ｖ−ｄ_ｔ＞ｄ_ｈならば、Ｇ_３４＝（Ｇ_３３＋Ｇ_３５）／２
ｄ_ｈ−ｄ_ｔ＞ｄ_ｖならば、Ｇ_３４＝（Ｇ_２４＋Ｇ_４４）／２
上記二つ以外ならば、Ｇ_３４＝（Ｇ_２４＋Ｇ_４４＋Ｇ_３３＋Ｇ_３５）／４
とする。なお、ｄ_ｔは予め定めておく正の定数であり、ノイズが大きい場合にはｄ_ｔを大きくする。

また補間処理部１６により色差生成を行う。即ち、Ｒ,Ｂの画素位置でＣ_Ｂ＝Ｂ−Ｇ，Ｃ_Ｒ＝Ｒ−Ｇとして色差Ｃ_Ｂ，Ｃ_Ｒを計算する。そして平滑化処理を行う。ある位置（ｘ，ｙ）でのＣ_Ｂ（ｘ，ｙ）やＣ_Ｒ（ｘ，ｙ）に

として平滑化する。

また補間処理部１６により色差補間を行う。例えばＲ_３４の位置では、Ｃ_Ｒ３４＝Ｒ_３４−Ｇ_３４は判っていて、Ｃ_Ｂ３４＝（Ｃ_Ｂ２３＋Ｃ_Ｂ２５＋Ｃ_Ｂ４３＋Ｃ_Ｂ４５）／４とする。また、例えばＢ_４５の位置では、Ｃ_Ｂ４５＝Ｂ_４５−Ｇ_４５は判っていて、Ｃ_Ｒ４５＝（Ｃ_Ｒ３４＋Ｃ_Ｒ３６＋Ｃ_Ｒ５４＋Ｃ_Ｒ５６）／４とする。また例えばＧ_４４の位置では、Ｃ_Ｂ４４＝（Ｃ_Ｂ４３＋Ｃ_Ｂ４５）／２及び、Ｃ_Ｒ４４＝（Ｃ_Ｒ３４＋Ｃ_Ｒ３５）／２とする。

次に、色差補正処理部１７により色差成分を補正する。ある位置（ｘ，ｙ）の色差成分を補正する場合には、先ず、

次に、色差を仮補正する。

次に、Ｃ_Ｂの補正を行う。

として補正する。また、

として補正してもよい。

に比べ

は平滑化されたＧ成分を基準にして補正を行うので画像のノイズの影響を受けにくい。Ｃ_Ｒの補正も同様に行う。

次に、第１色変換処理部１８において、ＲＢの計算を行う。即ち、色差Ｃ”_Ｂ,Ｃ”_Ｒから、Ｂ，Ｒの値を計算する。

次に、第２階調処理部２０により、求まった各画素毎の(Ｒ，Ｇ，Ｂ)の値に対し第１階調処理の逆変換を行う。即ち、入力画素値ｘに対して出力画素値ｙが

となるような特性の階調変換を行う。これは直線部を含むようにしても良いし、ＬＵＴでもよい。なお、γ＝１の場合はこの処理はスキップできる。そして、第１の実施の形態と同様に、第２色変換処理部２２、エッジ強調処理部２４、圧縮処理部２６による処理を行う。

なお、上述の各実施の形態における色差の補正は色差が空間的に急に変化する領域において効果的である。従って、色差成分のエッジ検出を行い、エッジ領域を抽出し、そのエッジ領域近傍にのみ補正処理を行うようにしてもよい。その処理は例えば、エッジ検出をハイパスフィルターで行い、エッジ領域の抽出をハイパスフィルター処理画像を閾値処理して抽出する事により領域マスクを作成する。また、領域マスクにローパスフィルター処理して処理する領域としない領域をなめらかに変化させても良い。

また、上述の各実施の形態においては、画像処理装置としてデジタルカメラを例に挙げて説明したが、パーソナルコンピュータ等の画像処理を行うことができる他の画像処理装置においても本発明を適用することができる。

また、上述の各実施の形態においては、図示しないメモリ等からデジタルカメラ１に画像処理を実行させる画像処理プログラムを読み込んで実行している。即ち、上述の各実施の形態で用いられている画像処理プログラムは、イメージセンサー６の前面に複数の異なる透過特性を有するカラーフィルターアレイ４を配置したカラーイメージセンサーにより各画素において複数の色成分のうちの一つの色成分を検出することにより得られたカラーフィルター画像のデータ補間を行う画像処理装置としてのデジタルカメラ１に適用される画像処理プログラムであって、カラーフィルター画像データの輝度成分を補間する第１の補間ステップと、カラーフィルター画像データの色差成分を補間する第２の補間ステップと、輝度成分の解像度と色差成分の解像度の差に応じて色差成分の補正値を算出する補正値算出ステップと、色差成分の補正値に応じて色差成分を補正する補正ステップとを実行させている。したがって、上述の各実施の形態で用いられている画像処理プログラムによれば、カラーフィルターアレイで得られた画像を補間した際に輝度と色差の解像度の差を補正して高画質の補間画像を得ることができる。

１…デジタルカメラ、２…撮影レンズ、４…カラーフィルター、６…イメージセンサー、８…画像処理部、１０…記録部、１２…ホワイトバランス処理部、１４…第１階調処理部、１６…補間処理部、１７…色差補正処理部、１８…第１色変換処理部、２０…第２階調処理部、２２…第２色変換処理部、２４…エッジ強調処理部、２６…圧縮処理部

Claims (8)

1. イメージセンサーの前面に複数の異なる透過特性を有するカラーフィルターを配置したカラーイメージセンサーにより各画素において複数の色成分のうちの一つの色成分を検出することにより得られたカラーフィルター画像データの補間を行う画像処理装置において、
   前記カラーフィルター画像データの輝度成分を補間する第１の補間手段と、
   前記カラーフィルター画像データの色差成分を補間する第２の補間手段と、
   前記輝度成分の解像度と前記色差成分の解像度の差に応じて前記色差成分の補正値を算出する補正値算出手段と、
   前記色差成分の補正値に応じて前記色差成分を補正する補正手段と、
   を備えることを特徴とする画像処理装置。
2. 前記第１の補間手段及び前記第２の補間手段は、前記カラーフィルター画像データを周波数空間において輝度成分の帯域及び色差成分の帯域に分割して補間を行うことを特徴とする請求項１記載の画像処理装置。
3. 前記色差成分の補正値は、前記輝度成分の解像度及び前記色差成分の解像度の差に応じて算出されることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記補正値算出手段は、前記輝度成分を平滑化して平滑化輝度成分を算出し、前記平滑化輝度成分と前記輝度成分の差を取って補正値を算出することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
5. 前記平滑化輝度成分は、前記輝度成分の解像度を前記色差成分の解像度に合わせたものであることを特徴とする請求項４に記載の画像処理装置。
6. 前記補正手段は、補正を行った場合に前記色差成分の大きさが小さくなり、かつ、前記色差成分の符号が変わらない場合に補正を行うことを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
7. 請求項１〜６の何れか一項に記載の画像処理装置を含むことを特徴とする撮像装置。
8. イメージセンサーの前面に複数の異なる透過特性を有するカラーフィルターを配置したカラーイメージセンサーにより各画素において複数の色成分のうちの一つの色成分を検出することにより得られたカラーフィルター画像のデータ補間を行う画像処理装置に適用される画像処理プログラムであって、
   前記カラーフィルター画像データの輝度成分を補間する第１の補間ステップと、
   前記カラーフィルター画像データの色差成分を補間する第２の補間ステップと、
   前記輝度成分の解像度と前記色差成分の解像度の差に応じて前記色差成分の補正値を算出する補正値算出ステップと、
   前記色差成分の補正値に応じて前記色差成分を補正する補正ステップと
   を含むことを特徴とする画像処理プログラム。

Images