JP2008042482A - カラーフィルタ、画像処理装置および画像処理方法、撮像装置および撮像方法、プログラム、並びに、記録媒体 - Google Patents

Abstract

【課題】低照度条件下でもノイズが少なく、色収差によるボケが少ない画像を得る。
【解決手段】カラーフィルタにおいて、Ｘ軸方向を０度として、Ｇで示される画素に注目した場合、Ｇで示される画素は、０度方向、４５度方向、９０度方向、１３５度方向のいずれにおいても１画素おきに配置され、Ｇで示される画素に０度方向で隣接する画素は、いずれもＭで示される画素であり、Ｇで示される画素に９０度方向で隣接する画素は、いずれもＷで示される画素であり、Ｇで示される画素に４５度方向で隣接する画素は、いずれもＲまたはＢで示される画素であり、Ｇで示される画素に１３５度方向で隣接する画素は、いずれも４５度方向で隣接している画素とは異なる、ＲまたはＢのうちのいずれか一方の画素である。そして、Ｗ−Ｍ＝Ｇに基づいて、デモザイク処理が実行される。本発明は、撮像装置、カメラ信号処理部、デモザイク処理部、カラーフィルタに適用できる。
【選択図】図６

Description

本発明は、カラーフィルタ、画像処理装置および画像処理方法、撮像装置および撮像方法、プログラム、並びに、記録媒体に関し、特に、色収差をキャンセルしたボケのない画像を得ることができる、カラーフィルタ、画像処理装置および画像処理方法、撮像装置および撮像方法、プログラム、並びに、記録媒体に関する。

近年、デジタルカメラが一般的に広く用いられるようになっている。デジタルカメラにおいては、レンズを通してＣＣＤやＣＭＯＳ等の撮像素子（イメージセンサ）で得られた画像信号がデジタル化され、適切な画像処理が施された後、得られた画像信号は、フラッシュメモリなどの記録媒体に記録されるか、または、直接、ケーブル接続や赤外線通信などによりパーソナルコンピュータなどの情報処理装置に転送することができるようになされている。そして、パーソナルコンピュータなどの情報処理装置においては、供給された画像信号に対応する画像を、例えば、ＣＲＴ（Cathode Ray Tube）や液晶ディスプレイなどのモニタに表示することが可能である。

従来広く用いられている通常のイメージセンサは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３種類の色フィルタを搭載している。すなわち、イメージセンサの各画素は、Ｒ（赤）、Ｇ（緑）、または、Ｂ（青）のいずれかの波長成分のみが取得できるようになっている。すなわち、イメージセンサにより得られる画像信号は、Ｒ（赤）の分光成分を取得できる画素群、Ｇ（緑）の分光成分を取得できる画素群、および、Ｂ（青）の分光成分を取得できる画素群より構成されている。このとき、カラーフィルタで用いられる色配列は、例えば、図１に示されるものであり、ベイヤー配列と称される。

このようなイメージセンサを用いて撮像処理を行うにあたって、被写体があまり明るくない場合、すなわち、被写体から得られる光量が少ない場合、イメージセンサからの出力は小さい値となり、得られる画像信号は、ノイズに埋もれてしまうため、最終的に得られる画像も、ノイズが多いものとなってしまっていた。

そこで、従来、図２に示される色配列、すなわち、輝度信号としての白（Ｙ）と、赤（Ｒ）、緑（Ｇ）、青（Ｂ）を組み合わせたベイヤー配列を適用した撮像素子を用いて、高解像度の画像を得る信号処理技術が用いられる（例えば、特許文献１参照）。この技術によれば、図２に示す白画素を市松配置したカラーフィルタアレイを適用し、すべての画素が赤外光を感じないことを前提に、市松配置画素の白画素を利用して高い解像度を得ることができるようになされている。

特開平４−８８７８４号公報

すなわち、図２に示すカラーフィルタ配置によれば、市松配列のＹ画素はほぼ可視光全体に感度を持つため、同一の被写体に対しては、図１に示すように緑（Ｇ）画素を市松配置にする構成と比較して、より強度の大きな画像信号を得ることができる。このため、図２に示されるカラーフィルタを用いることにより、図１に示される緑画素市松配置のカラーフィルタを用いた場合と比較して、解像度を左右する市松配置の信号のＳ／Ｎ比を良くすることが可能となる。

レンズは、光の屈折効果を利用して、イメージセンサ上に入射光を結像するものである。屈折効果を利用しているために、入射する光の波長により、レンズの色収差と称されるぼけが発生する。通常、Ｇ（緑）の成分が結像するようにレンズの位置が設定された状態においてピントが合わせられるので、このようにピントを合わせた状態で撮影する画像は、Ｇ（緑）の成分はピントの合った画像となるが、他の成分は、ピントが合わないボケた画像となってしまう。

色収差について、図３を用いて説明する。

すなわち、従来、デジタルカメラなどのイメージセンサを有する撮像装置においては、入力された光は、レンズ１により屈折され、カラーフィルタを有するイメージセンサ２付近で結像するように、レンズ１およびカラーフィルタを有するイメージセンサ２が配置されている。

一般的には、Ｇ(緑)の分光成分がちょうどイメージセンサ２の位置で結像されるようになされている。この場合、Ｇ（緑）より波長の短いＢ（青）の分光成分は、図３Ａに示されるように、イメージセンサ２よりもレンズ側で結像され、Ｇ（緑）の分光成分は、図３Ｂに示されるように、イメージセンサ２でピントが合うように結像され、Ｇ（緑）より波長の長いＲ（赤）の分光成分、または、Ｒ（赤）とＩＲ（赤外）の合計の分光成分は、図３Ｃに示されるように、イメージセンサ２よりもレンズの反対側で結像される。したがって、このような状態では、Ｇ（緑）以外の成分は、イメージセンサ上で正確に結像はしない。すなわち、Ｇ（緑）より波長の短いＢ（青）も、Ｇ（緑）より波長の長いＲ（赤）やＩＲ（赤外）も、イメージセンサ上ではボケた絵を結像してしまう。

この問題を解決するためには、色収差の少ないレンズを使用すれば良いが、そのようなレンズは高価になってしまうという欠点があった。

本発明はこのような状況に鑑みてなされたものであり、低照度条件下でも、ノイズの少なく、また、色収差によるボケが少ない画像を、高価なレンズを用いることなく得ることができるようにするものである。

本発明の第１の側面のカラーフィルタは、レンズを介して入射された光を受けて、複数の異なる分光成分のうちのいずれかを有する光信号を画素ごとに透過させ、撮像素子に照射させるカラーフィルタであって、複数の異なる前記分光成分は、複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分と、前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分と、前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の係数に第２の重み係数を乗算した値との線形和により表される第３の分光成分とを含んで構成される。

前記第１の分光成分は、少なくとも赤外成分を含むものとすることができる。

前記第１の分光成分は、赤外成分および可視光の全ての周波数領域を含むものとすることができる。

前記第１の分光成分は、可視光の全ての周波数領域を含むものとすることができる。

前記第２の分光成分は、緑色に対応する所定範囲の周波数成分であるものとすることができる。

前記第３の分光成分は、前記第１の分光成分から前記前記第２の分光成分を除いた分光成分であるものとすることができる。

前記第２の分光成分に対応する画素は、前記画素が配列される平面上の一方の方向を０度として、０度方向、４５度方向、９０度方向、および、１３５度方向のいずれにおいても１画素おきに配置されているものとすることができる。

複数の異なる前記分光成分は、前記第１の分光成分、前記第２の分光成分、および前記第３の分光成分を含む５種類の分光成分であるものとすることができ、前記第１の分光成分および前記第３の分光成分、並びに、第４の分光成分および第５の分光成分にそれぞれ対応する画素は、前記画素が配列される平面上の配列の一方の方向を０度として、０度方向、４５度方向、９０度方向、または、１３５度方向のいずれかの方向に、前記第２の分光成分に対応する画素と隣接して配置されるとともに、前記第１の分光成分および前記第３の分光成分に対応する画素が、前記第２の分光成分に対応する画素に対して直行する方向に配列され、前記第４の分光成分および前記第５の分光成分に対応する画素が、前記第２の分光成分に対応する画素に対して直行する方向に配列されるものとすることができる。

本発明の第１の側面においては、カラーフィルタにおける複数の異なる前記分光成分は、複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分と、前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分と、前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の係数に第２の重み係数を乗算した値との線形和により表される第３の分光成分とを含んで構成されるものとすることができる。

本発明の第２の側面の画像処理装置は、レンズを介して所定のカラーフィルタに入射されて取得された光信号であって、画素ごとに、複数の異なる分光成分のうちのいずれかの分光成分を有する光信号の入力を受け、前記画素ごとの前記光信号を基に、画像データを生成する画像処理装置であって、所定の前記画素における前記光信号に対応する第１の画素値と、前記所定の画素の隣接画素が有する画素値を用いて実行される補間処理により得られる第２の画素値とを基に、前記画像データのコントラスト成分を演算するコントラスト成分演算手段を備え、前記コントラスト成分演算手段は、前記第１の画素値または前記第２の画素値のうち、複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分に対応する画素値、前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分に対応する画素値、または、前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分に第２の重み係数を乗算した値との線形和により表される第３の分光成分に対応する画素値を用いた演算処理に基づいて、前記画像データのコントラスト成分を求める。

前記コントラスト成分演算手段により演算される前記画像データのコントラスト成分は、前記第２の分光成分に対応する画素値を含むものとすることができる。

前記第２の分光成分は、緑色に対応する所定範囲の周波数成分であるものとすることができる。

前記コントラスト成分演算手段には、前記第１の画素値または前記第２の画素値に基づいて、緑色に対応する各画素の画素値を算出する緑色成分算出手段と、複数の異なる前記分光成分のうち、赤色に対応する所定の周波数成分に対応する画素値と、前記緑色成分算出手段による算出結果とに基づいて、赤色に対応する各画素の画素値を算出する赤色成分算出手段と、複数の異なる前記分光成分のうち、青色に対応する所定の周波数成分に対応する画素値と、前記緑色成分算出手段による算出結果とに基づいて、青色に対応する各画素の画素値を算出する青色成分算出手段とを備えさせるようにすることができる

前記画像データにおけるそれぞれの画素近辺の模様の方向を推定する模様方向推定手段を更に備えさせるようにすることができ、前記コントラスト成分演算手段には、前記模様方向検出手段による、それぞれの画素近辺の模様の方向の推定結果に基づいて、前記画像データのコントラスト成分を演算させるようにすることができる。

前記画素が配列される平面上の配列の一方の方向を０度として、０度方向、４５度方向、９０度方向、および、１３５度方向のそれぞれの方向において模様がある確度を求める模様確度算出手段を更に備えさせるようにすることができ、前記模様方向検出手段には、前記模様確度算出手段による算出結果に基づいて、前記画像データにおけるそれぞれの画素近辺の模様の方向を推定させるようにすることができる。

前記模様方向検出手段には、前記模様確度算出手段による算出結果に基づいて、前記画像データにおけるそれぞれの画素近辺の模様の方向は、０度と９０度のうちのいずれに近い可能性が高いか、または、４５度と１３５度のうちのいずれに近い可能性が高いかを求めさせるようにすることができる。

前記第１の分光成分は、少なくとも赤外成分を含むものとすることができる。

前記第１の分光成分は、赤外成分および可視光の全ての周波数領域を含むものとすることができる。

前記第１の分光成分は、可視光の全ての周波数領域を含むものとすることができる。

前記第３の分光成分は、前記第１の分光成分から前記前記第２の分光成分を除いた分光成分であるものとすることができる。

前記第２の分光成分に対応する画素は、前記画素が配列される平面上の一方の方向を０度として、０度方向、４５度方向、９０度方向、および、１３５度方向のいずれにおいても１画素おきに配置されているものとすることができる。

複数の異なる前記分光成分は、前記第１の分光成分、前記第２の分光成分、および前記第３の分光成分を含む５種類の分光成分であり、前記第１の分光成分および前記第３の分光成分、並びに、第４の分光成分および第５の分光成分にそれぞれ対応する画素は、前記画素が配列される平面上の配列の一方の方向を０度として、０度方向、４５度方向、９０度方向、または、１３５度方向のいずれかの方向に、前記第２の分光成分に対応する画素と隣接して配置されるとともに、前記第１の分光成分および前記第３の分光成分に対応する画素が、前記第２の分光成分に対応する画素に対して直行する方向に配列され、前記第４の分光成分および前記第５の分光成分に対応する画素が、前記第２の分光成分に対応する画素に対して直行する方向に配列されるものとすることができる。

本発明の第２の側面の画像処理方法は、レンズを介して所定のカラーフィルタに入射されて取得された、複数の異なる分光成分のうちのいずれかの分光成分を有する光信号の入力を受け、画素ごとの前記光信号を基に、画像データを生成する画像処理装置の画像処理方法であって、所定の前記画素における前記光信号に対応する第１の画素値を取得し、前記所定の画素の隣接画素が有する画素値を用いて補間処理を実行して第２の画素値を取得し、前記第１の画素値および前記第２の画素値のうち、複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分に対応する画素値、前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分に対応する画素値、または、前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分に第２の重み係数を乗算した値との線形和により表される第３の分光成分に対応する画素値を用いた演算処理により、前記画像データのコントラスト成分を求めるステップを含む。

本発明の第２の側面のプログラムは、レンズを介して所定のカラーフィルタに入射されて取得された、複数の異なる分光成分のうちのいずれかの分光成分を有する光信号の入力を受け、画素ごとの前記光信号を基に、画像データを生成する処理を制御するコンピュータが実行可能なプログラムであって、所定の前記画素における前記光信号に対応する第１の画素値の取得を制御し、前記所定の画素の隣接画素が有する画素値を用いて補間処理を実行して第２の画素値を算出し、前記第１の画素値および前記第２の画素値のうち、複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分に対応する画素値、前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分に対応する画素値、または、前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分に第２の重み係数を乗算した値との線形和により表される第３の分光成分に対応する画素値を用いた演算処理により、前記画像データのコントラスト成分を求めるステップを含む処理をコンピュータに実行させる。

本発明の第２の側面においては、所定の画素における光信号に対応する第１の画素値が取得され、所定の画素の隣接画素が有する画素値を用いて補間処理が実行されて第２の画素値が取得され、第１の画素値および第２の画素値のうち、複数の異なる分光成分のうち最も周波数の帯域幅が広い第１の分光成分に対応する画素値、レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分に対応する画素値、または、第１の分光成分に第１の重み係数を乗算した値と、第２の分光成分に第２の重み係数を乗算した値との線形和により表される第３の分光成分に対応する画素値を用いた演算処理により、画像データのコントラスト成分が求められる。

本発明の第３の側面の撮像装置は、画像を撮像する撮像装置であって、レンズを介して入射された光を、所定のカラーフィルタを介することにより複数の異なる分光成分の光信号として画素ごとに取得する光信号取得手段と、前記光信号取得手段により取得された前記光信号をデジタル信号に変換する変換手段と、前記変換手段により変換された前記デジタル信号を処理して、全画素において、所定の複数の色成分に対応する画素値が揃った画像データを生成する画像処理手段とを備え、前記画像処理手段は、所定の前記画素における前記光信号に対応する第１の画素値と、前記所定の画素の隣接画素が有する画素値を用いて実行される補間処理により得られる第２の画素値とを基に、前記画像データのコントラスト成分を演算するコントラスト成分演算手段を備え、前記コントラスト成分演算手段は、前記第１の画素値または前記第２の画素値のうち、複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分に対応する画素値、前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分に対応する画素値、または、前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分に第２の重み係数を乗算した値との線形和により表される第３の分光成分に対応する画素値を用いた演算処理に基づいて、前記画像データのコントラスト成分を求める。

前記コントラスト成分演算手段により演算される前記画像データのコントラスト成分は、前記第２の分光成分に対応する画素値を含むものとすることができる。

前記第２の分光成分は、緑色に対応する所定範囲の周波数成分であるものとすることができる。

前記コントラスト成分演算手段には、前記第１の画素値または前記第２の画素値に基づいて、緑色に対応する各画素の画素値を算出する緑色成分算出手段と、複数の異なる前記分光成分のうち、赤色に対応する所定の周波数成分に対応する画素値と、前記緑色成分算出手段による算出結果とに基づいて、赤色に対応する各画素の画素値を算出する赤色成分算出手段と、複数の異なる前記分光成分のうち、青色に対応する所定の周波数成分に対応する画素値と、前記緑色成分算出手段による算出結果とに基づいて、青色に対応する各画素の画素値を算出する青色成分算出手段とを備えさせるようにすることができる。

前記画像処理手段には、前記画像データにおけるそれぞれの画素近辺の模様の方向を推定する模様方向推定手段を更に備えさせるようにすることができ、前記コントラスト成分演算手段は、前記模様方向検出手段による、それぞれの画素近辺の模様の方向の推定結果に基づいて、前記画像データのコントラスト成分を演算させるようにすることができる。

前記画像処理手段には、前記画素が配列される平面上の配列の一方の方向を０度として、０度方向、４５度方向、９０度方向、および、１３５度方向のそれぞれの方向において模様がある確度を求める模様確度算出手段を更に備えさせるようにすることができ、前記模様方向検出手段は、前記模様確度算出手段による算出結果に基づいて、前記画像データにおけるそれぞれの画素近辺の模様の方向を推定させるようにすることができる。

前記模様方向検出手段には、前記模様確度算出手段による算出結果に基づいて、前記画像データにおけるそれぞれの画素近辺の模様の方向は、０度と９０度のうちのいずれに存在するか、または、４５度と１３５度のうちのいずれに存在するかを求めさせるようにすることができる。

前記第１の分光成分は、少なくとも赤外成分を含むものとすることができる。

前記第１の分光成分は、赤外成分および可視光の全ての周波数領域を含むものとすることができる。

前記第１の分光成分は、可視光の全ての周波数領域を含むものとすることができる。

前記第３の分光成分は、前記第１の分光成分から前記前記第２の分光成分を除いた分光成分であるものとすることができる。

前記第２の分光成分に対応する画素は、前記画素が配列される平面上の一方の方向を０度として、０度方向、４５度方向、９０度方向、および、１３５度方向のいずれにおいても１画素おきに配置されているものとすることができる。

複数の異なる前記分光成分は、前記第１の分光成分、前記第２の分光成分、および前記第３の分光成分を含む５種類の分光成分であり、前記第１の分光成分および前記第３の分光成分、並びに、第４の分光成分および第５の分光成分にそれぞれ対応する画素は、前記画素が配列される平面上の配列の一方の方向を０度として、０度方向、４５度方向、９０度方向、または、１３５度方向のいずれかの方向に、前記第２の分光成分に対応する画素と隣接して配置されるとともに、前記第１の分光成分および前記第３の分光成分に対応する画素が、前記第２の分光成分に対応する画素に対して直行する方向に配列され、前記第４の分光成分および前記第５の分光成分に対応する画素が、前記第２の分光成分に対応する画素に対して直行する方向に配列されるものとすることができる。

本発明の第３の側面の撮像方法は、画像を撮像する撮像装置の撮像方法であって、レンズを介して入射された光を、所定のカラーフィルタを介することにより複数の異なる分光成分の光信号として画素ごとに取得し、取得された前記光信号をデジタル信号に変換し、
変換された前記デジタル信号から、所定の前記画素における前記光信号に対応する第１の画素値を取得し、前記所定の画素の隣接画素が有する画素値を用いて補間処理を実行して第２の画素値を取得し、前記第１の画素値および前記第２の画素値のうち、複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分に対応する画素値、前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分に対応する画素値、または、前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分に第２の重み係数を乗算した値との線形和により表される第３の分光成分に対応する画素値を用いた演算処理により、前記画像データのコントラスト成分を求めるステップを含む。

本発明の第３の側面のプログラムは、画像を撮像する処理を制御するコンピュータが実行可能なプログラムであって、レンズを介して入射され、所定のカラーフィルタを介することにより複数の異なる分光成分として画素ごとに得られる光信号の取得を制御し、取得された前記光信号のデジタル信号への変換を制御し、変換された前記デジタル信号からの、所定の前記画素における前記光信号に対応する第１の画素値の取得を制御し、前記所定の画素の隣接画素が有する画素値を用いて補間処理を実行して第２の画素値を算出し、前記第１の画素値および前記第２の画素値のうち、複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分に対応する画素値、前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分に対応する画素値、または、前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分に第２の重み係数を乗算した値との線形和により表される第３の分光成分に対応する画素値を用いた演算処理により、前記画像データのコントラスト成分を求めるステップを含む処理をコンピュータに実行させる。

本発明の第３の側面においては、レンズを介して入射され、所定のカラーフィルタを介することにより複数の異なる分光成分として画素ごとに得られる光信号が取得され、取得された光信号がデジタル信号へ変換され、変換されたデジタル信号から、所定の画素における光信号に対応する第１の画素値が取得され、所定の画素の隣接画素が有する画素値を用いて補間処理が実行されて第２の画素値が算出され、第１の画素値および第２の画素値のうち、複数の異なる分光成分のうち最も周波数の帯域幅が広い第１の分光成分に対応する画素値、レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分に対応する画素値、または、第１の分光成分に第１の重み係数を乗算した値と、第２の分光成分に第２の重み係数を乗算した値との線形和により表される第３の分光成分に対応する画素値を用いた演算処理により、画像データのコントラスト成分が求められる。

撮像装置は、独立した装置であっても良いし、情報処理装置の撮像処理を行うブロックであっても良い。

以上のように、本発明の第１の側面によれば、所定のモザイク画像を得ることができ、特に、このカラーフィルタを用いて取得された撮像データを処理する画像処理において、従来より広い周波数領域の分光成分を有する画素値を用いて、色収差をキャンセルしたデモザイク処理を実行させるようにすることができる。

本発明の第２の側面によれば、コントラスト成分を求めることができ、特に、従来より広い周波数領域の分光成分を有する画素値を用いて、色収差をキャンセルしたデモザイク処理を実行することができる。

また、本発明の第３の側面によれば、画像を撮像することができ、特に、デモザイク処理において、従来より広い周波数領域の分光成分を有する画素値を用いて、色収差をキャンセルした画像データを得ることができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の第１の側面のカラーフィルタは、レンズを介して入射された光を受けて、複数の異なる分光成分のうちのいずれかを有する光信号を画素ごとに透過させ、撮像素子に照射させるカラーフィルタ（例えば、図４のカラーフィルタ２２）であって、複数の異なる前記分光成分は、複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分（例えば、Ｗに対応する分光成分）と、前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分（例えば、Ｇに対応する分光成分）と、前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の係数に第２の重み係数を乗算した値との線形和により表される第３の分光成分（例えば、Ｍに対応する分光成分）とを含んで構成される。

複数の異なる前記分光成分は、前記第１の分光成分、前記第２の分光成分、および前記第３の分光成分を含む５種類の分光成分であり、前記第１の分光成分および前記第３の分光成分、並びに、第４の分光成分（例えば、Ｒに対応する分光成分）および第５の分光成分（例えば、Ｂに対応する分光成分）にそれぞれ対応する画素は、前記画素が配列される平面上の配列の一方の方向を０度として、０度方向、４５度方向、９０度方向、または、１３５度方向のいずれかの方向に、前記第２の分光成分に対応する画素と隣接して配置されるとともに、前記第１の分光成分および前記第３の分光成分に対応する画素が、前記第２の分光成分に対応する画素に対して直行する方向に配列され、前記第４の分光成分および前記第５の分光成分に対応する画素が、前記第２の分光成分に対応する画素に対して直行する方向に配列されるものとすることができる。

本発明の第２の側面の画像処理装置は、レンズを介して所定のカラーフィルタに入射されて取得された光信号であって、画素ごとに、複数の異なる分光成分のうちのいずれかの分光成分を有する光信号の入力を受け、前記画素ごとの前記光信号を基に、画像データを生成する画像処理装置（例えば、図１０のデモザイク処理部４４または図８のカメラ信号処理部２５）であって、所定の前記画素における前記光信号に対応する第１の画素値と、前記所定の画素の隣接画素が有する画素値を用いて実行される補間処理により得られる第２の画素値とを基に、前記画像データのコントラスト成分を演算するコントラスト成分演算手段（例えば、図１０の０度方向補間Ｇ画像計算処理部７１、４５度方向補間Ｇ画像計算処理部７２、９０度方向補間Ｇ画像計算処理部７３、１３５度方向補間Ｇ画像計算処理部７４、および、Ｇ画像計算処理部７５、または、Ｒ画像計算処理部８１、Ｂ画像計算処理部８２）を備え、前記コントラスト成分演算手段は、前記第１の画素値または前記第２の画素値のうち、複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分（例えば、Ｗに対応する分光成分）に対応する画素値、前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分（例えば、Ｇに対応する分光成分）に対応する画素値、または、前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分（例えば、Ｇに対応する分光成分）に第２の重み係数を乗算した値との線形和により表される第３の分光成分（例えば、Ｍに対応する分光成分）に対応する画素値を用いた演算処理に基づいて、前記画像データのコントラスト成分を求める。

前記コントラスト成分演算手段は、前記第１の画素値または前記第２の画素値に基づいて、緑色に対応する各画素の画素値を算出する緑色成分算出手段（例えば、図１０のＧ画像計算処理部７５）と、複数の異なる前記分光成分のうち、赤色に対応する所定の周波数成分に対応する画素値と、前記緑色成分算出手段による算出結果とに基づいて、赤色に対応する各画素の画素値を算出する赤色成分算出手段（例えば、図１０のＲ画像計算処理部８１）と、複数の異なる前記分光成分のうち、青色に対応する所定の周波数成分に対応する画素値と、前記緑色成分算出手段による算出結果とに基づいて、青色に対応する各画素の画素値を算出する青色成分算出手段（例えば、図１０のＢ画像計算処理部８２）とを備えることができる。

前記画像データにおけるそれぞれの画素近辺の模様の方向を推定する模様方向推定手段（例えば、図１０の模様方向判定部６５）を更に備えることができ、前記コントラスト成分演算手段は、前記模様方向検出手段による、それぞれの画素近辺の模様の方向の推定結果に基づいて、前記画像データのコントラスト成分を演算することができる。

前記画素が配列される平面上の配列の一方の方向を０度として、０度方向、４５度方向、９０度方向、および、１３５度方向のそれぞれの方向において模様がある確度を求める模様確度算出手段（例えば、図１０の０度方向の模様分析処理部５１、４５度方向の模様分析処理部５２、９０度方向の模様分析処理部５３、および、１３５度方向の模様分析処理部５４）を更に備えることができ、前記模様方向検出手段は、前記模様確度算出手段による算出結果に基づいて、前記画像データにおけるそれぞれの画素近辺の模様の方向を推定することができる。

複数の異なる前記分光成分は、前記第１の分光成分、前記第２の分光成分、および前記第３の分光成分を含む５種類の分光成分であり、前記第１の分光成分および前記第３の分光成分、並びに、第４の分光成分（例えば、Ｒに対応する分光成分）および第５の分光成分（例えば、Ｂに対応する分光成分）にそれぞれ対応する画素は、前記画素が配列される平面上の配列の一方の方向を０度として、０度方向、４５度方向、９０度方向、または、１３５度方向のいずれかの方向に、前記第２の分光成分に対応する画素と隣接して配置されるとともに、前記第１の分光成分および前記第３の分光成分に対応する画素が、前記第２の分光成分に対応する画素に対して直行する方向に配列され、前記第４の分光成分および前記第５の分光成分に対応する画素が、前記第２の分光成分に対応する画素に対して直行する方向に配列されるものとすることができる。

本発明の第２の側面の画像処理方法は、レンズを介して所定のカラーフィルタに入射されて取得された、複数の異なる分光成分のうちのいずれかの分光成分を有する光信号の入力を受け、画素ごとの前記光信号を基に、画像データを生成する画像処理装置（例えば、図１０のデモザイク処理部４４または図８のカメラ信号処理部２５）の画像処理方法であって、所定の前記画素における前記光信号に対応する第１の画素値を取得し（図１２のステップＳ４１の処理）、前記所定の画素の隣接画素が有する画素値を用いて補間処理を実行して第２の画素値を取得し（例えば、図２４のステップＳ２４４，２４６，２４９などの処理であり、または、図２６、図２７、図２９における同様の処理）、前記第１の画素値および前記第２の画素値のうち、複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分（例えば、Ｗに対応する分光成分）に対応する画素値、前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分（例えば、Ｇに対応する分光成分）に対応する画素値、または、前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分（例えば、Ｇに対応する分光成分）に第２の重み係数を乗算した値との線形和により表される第３の分光成分（例えば、Ｍに対応する分光成分）に対応する画素値を用いた演算処理により、前記画像データのコントラスト成分を求める（例えば、図２４、または、図２６、図２７、図２９、図３０、図３２における処理）ステップを含む。

本発明の第２の側面のプログラムは、レンズを介して所定のカラーフィルタに入射されて取得された、複数の異なる分光成分のうちのいずれかの分光成分を有する光信号の入力を受け、画素ごとの前記光信号を基に、画像データを生成する処理を制御するコンピュータが実行可能なプログラムであって、所定の前記画素における前記光信号に対応する第１の画素値の取得を制御し（図１２のステップＳ４１の処理）、前記所定の画素の隣接画素が有する画素値を用いて補間処理を実行して第２の画素値を算出し（例えば、図２４のステップＳ２４４，２４６，２４９などの処理であり、または、図２６、図２７、図２９における同様の処理）、前記第１の画素値および前記第２の画素値のうち、複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分（例えば、Ｗに対応する分光成分）に対応する画素値、前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分（例えば、Ｇに対応する分光成分）に対応する画素値、または、前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分（例えば、Ｇに対応する分光成分）に第２の重み係数を乗算した値との線形和により表される第３の分光成分（例えば、Ｍに対応する分光成分）に対応する画素値を用いた演算処理により、前記画像データのコントラスト成分を求める（例えば、図２４、または、図２６、図２７、図２９、図３０、図３２における処理）ステップを含む処理をコンピュータに実行させる。

本発明の第３の側面の撮像装置は、画像を撮像する撮像装置（例えば、図２の撮像装置１１）であって、レンズ（例えば、図２のレンズ２１）を介して入射された光を、所定のカラーフィルタ（例えば、図２のカラーフィルタ２２）を介することにより複数の異なる分光成分の光信号として画素ごとに取得する光信号取得手段（例えば、図２の固体撮像素子２３）と、前記光信号取得手段により取得された前記光信号をデジタル信号に変換する変換手段（例えば、図２のＡ／Ｄ変換部２４）と、前記変換手段により変換された前記デジタル信号を処理して、全画素において、所定の複数の色成分に対応する画素値が揃った画像データを生成する画像処理手段（例えば、図１０のデモザイク処理部４４または図８のカメラ信号処理部２５）とを備え、前記画像処理手段は、所定の前記画素における前記光信号に対応する第１の画素値と、前記所定の画素の隣接画素が有する画素値を用いて実行される補間処理により得られる第２の画素値とを基に、前記画像データのコントラスト成分を演算するコントラスト成分演算手段（例えば、図１０の０度方向補間Ｇ画像計算処理部７１、４５度方向補間Ｇ画像計算処理部７２、９０度方向補間Ｇ画像計算処理部７３、１３５度方向補間Ｇ画像計算処理部７４、および、Ｇ画像計算処理部７５、または、Ｒ画像計算処理部８１、Ｂ画像計算処理部８２）を備え、前記コントラスト成分演算手段は、前記第１の画素値または前記第２の画素値のうち、複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分（例えば、Ｗに対応する分光成分）に対応する画素値、前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分（例えば、Ｇに対応する分光成分）に対応する画素値、または、前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分（例えば、Ｇに対応する分光成分）に第２の重み係数を乗算した値との線形和により表される第３の分光成分（例えば、Ｍに対応する分光成分）に対応する画素値を用いた演算処理に基づいて、前記画像データのコントラスト成分を求める。

前記コントラスト成分演算手段は、前記第１の画素値または前記第２の画素値に基づいて、緑色に対応する各画素の画素値を算出する緑色成分算出手段（例えば、図１０のＧ画像計算処理部７５）と、複数の異なる前記分光成分のうち、赤色に対応する所定の周波数成分に対応する画素値と、前記緑色成分算出手段による算出結果とに基づいて、赤色に対応する各画素の画素値を算出する赤色成分算出手段（例えば、図１０のＲ画像計算処理部８１）と、複数の異なる前記分光成分のうち、青色に対応する所定の周波数成分に対応する画素値と、前記緑色成分算出手段による算出結果とに基づいて、青色に対応する各画素の画素値を算出する青色成分算出手段（例えば、図１０のＢ画像計算処理部８２）とを備えることができる。

前記画像処理手段は、前記画像データにおけるそれぞれの画素近辺の模様の方向を推定する模様方向推定手段（例えば、図１０の模様方向判定部６５）を更に備えることができ、前記コントラスト成分演算手段は、前記模様方向検出手段による、それぞれの画素近辺の模様の方向の推定結果に基づいて、前記画像データのコントラスト成分を演算することができる。

前記画像処理手段は、前記画素が配列される平面上の配列の一方の方向を０度として、０度方向、４５度方向、９０度方向、および、１３５度方向のそれぞれの方向において模様がある確度を求める模様確度算出手段（例えば、図１０の０度方向の模様分析処理部５１、４５度方向の模様分析処理部５２、９０度方向の模様分析処理部５３、および、１３５度方向の模様分析処理部５４）を更に備えることができ、前記模様方向検出手段は、前記模様確度算出手段による算出結果に基づいて、前記画像データにおけるそれぞれの画素近辺の模様の方向を推定することができる。

複数の異なる前記分光成分は、前記第１の分光成分、前記第２の分光成分、および前記第３の分光成分を含む５種類の分光成分であり、前記第１の分光成分および前記第３の分光成分、並びに、第４の分光成分（例えば、Ｒに対応する分光成分）および第５の分光成分（例えば、Ｂに対応する分光成分）にそれぞれ対応する画素は、前記画素が配列される平面上の配列の一方の方向を０度として、０度方向、４５度方向、９０度方向、または、１３５度方向のいずれかの方向に、前記第２の分光成分に対応する画素と隣接して配置されるとともに、前記第１の分光成分および前記第３の分光成分に対応する画素が、前記第２の分光成分に対応する画素に対して直行する方向に配列され、前記第４の分光成分および前記第５の分光成分に対応する画素が、前記第２の分光成分に対応する画素に対して直行する方向に配列されるものとすることができる。

本発明の第３の側面の撮像方法は、画像を撮像する撮像装置（例えば、図２の撮像装置１１）の撮像方法であって、レンズ（例えば、図２のレンズ２１）を介して入射された光を、所定のカラーフィルタ（例えば、図２のカラーフィルタ２２）を介することにより複数の異なる分光成分の光信号として画素ごとに取得し（例えば、図１１のステップＳ１の処理）、取得された前記光信号をデジタル信号に変換し（例えば、図１１のステップＳ２の処理）、変換された前記デジタル信号から、所定の前記画素における前記光信号に対応する第１の画素値を取得し（図１２のステップＳ４１の処理）、前記所定の画素の隣接画素が有する画素値を用いて補間処理を実行して第２の画素値を取得し（例えば、図２４のステップＳ２４４，２４６，２４９などの処理であり、または、図２６、図２７、図２９における同様の処理）、前記第１の画素値および前記第２の画素値のうち、複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分（例えば、Ｗに対応する分光成分）に対応する画素値、前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分（例えば、Ｇに対応する分光成分）に対応する画素値、または、前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分（例えば、Ｇに対応する分光成分）に第２の重み係数を乗算した値との線形和により表される第３の分光成分（例えば、Ｍに対応する分光成分）に対応する画素値を用いた演算処理により、前記画像データのコントラスト成分を求める（例えば、図２４、または、図２６、図２７、図２９、図３０、図３２における処理）ステップを含む。

本発明の第３の側面のプログラムは、画像を撮像する処理を制御するコンピュータが実行可能なプログラムであって、レンズ（例えば、図２のレンズ２１）を介して入射され、所定のカラーフィルタ（例えば、図２のカラーフィルタ２２）を介することにより複数の異なる分光成分として画素ごとに得られる光信号の取得を制御し（例えば、図１１のステップＳ１の処理）、取得された前記光信号のデジタル信号への変換を制御し（例えば、図１１のステップＳ２の処理）、変換された前記デジタル信号からの、所定の前記画素における前記光信号に対応する第１の画素値の取得を制御し（図１２のステップＳ４１の処理）、前記所定の画素の隣接画素が有する画素値を用いて補間処理を実行して第２の画素値を算出し（例えば、図２４のステップＳ２４４，２４６，２４９などの処理であり、または、図２６、図２７、図２９における同様の処理）、前記第１の画素値および前記第２の画素値のうち、複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分（例えば、Ｗに対応する分光成分）に対応する画素値、前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分（例えば、Ｇに対応する分光成分）に対応する画素値、または、前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分（例えば、Ｇに対応する分光成分）に第２の重み係数を乗算した値との線形和により表される第３の分光成分（例えば、Ｍに対応する分光成分）に対応する画素値を用いた演算処理により、前記画像データのコントラスト成分を求める（例えば、図２４、または、図２６、図２７、図２９、図３０、図３２における処理）ステップを含む。

以下、図を参照して、本発明の実施の形態について説明する。

図４は、固体撮像素子を具備する撮像装置１１の構成を示すブロック図である。

光学レンズ２１を介して入射される光は、カラーフィルタ２２に照射される。

カラーフィルタ２２は、図６を用いて後述する配列を有しており、それぞれの画素ごとに所定の周波数の光を透過して、固体撮像素子２３に入射させる。

固体撮像素子２３は、光学レンズ１１を通して入射される光のうち、カラーフィルタ２２を透過する光を受光し、受光して得られた光エネルギを、画素ごとに光電変換により電気信号に変換する。固体撮像素子２３で光電変換されて電気信号として出力される画像信号は、Ａ／Ｄ変換部２４によりデジタル信号に変換された後、カメラ信号処理部２５に供給される。

カメラ信号処理部２５は、供給されたデジタル信号に対して、クリッピング処理、ガンマ補正、ホワイトバランス補正、デモザイク処理などを施し、表示部２６、または、画像圧縮部２７に供給する。カメラ信号処理部２５が実行するデモザイク処理の詳細については後述する。

表示部２６は、例えば、液晶表示素子および素子を駆動するドライバなどを含んで構成され、必要に応じて、カメラ信号処理部２５により所定の処理が施されて得られた画像データに対応する画像を表示する。

画像圧縮部２７は、供給された画像信号に圧縮処理を施して、画像信号のデータ量を削減し、所定の記録用画像フォーマットに変換して、記録部２８または外部出力部２９に出力する。記録部２８は、変換された画像データを、例えば、ハードディスクもしくは半導体メモリなどの記憶素子、または、所定のドライバに装着された着脱可能な記録媒体に記録する。外部出力部２９は、変換された画像データを、有線または無線の通信により、他の装置へ出力する。なお、記録される、または、外部出力される信号に対して、画像圧縮部２７によって必ずしも画像圧縮処理が施されなくても良いが、近年では撮像素子の画素数が増加し、かつ装置自体の小型化が要求されているために、画像データが記録される場合や、所定の媒体を介して外部出力される場合には、画像圧縮が行われると好適である。

一般的なカラーフィルタ、および、図４のカラーフィルタ１２の分光特性について、図５を参照して説明する。

例えば、図１を用いて説明したような、一般的なベイヤー配列のカラーフィルタにおいて、Ｂチャネルに対応するフィルタは、青色に相当する約２００乃至３００ｎｍの波長の光信号の透過率が高いフィルタであり、Ｇチャネルに対応するフィルタは、緑色に相当する約４５０乃至５５０ｎｍの波長の光信号の透過率が高いフィルタであり、Ｒチャネルに対応するフィルタは、赤色に相当する約５５０乃至６５０ｎｍの波長の光信号の透過率が高いフィルタである。これらのＲＧＢ対応のフィルタは、約７００ｎｍ以上の波長を持つ赤外光成分はほとんど透過しない性質を有する。

これに対して、カラーフィルタ２２は、ＲＧＢに加えて、更に２つの波長帯域の分光成分を含む光信号を取得する５つのフィルタを有している。

カラーフィルタ２２は、被写体が明るくない場合にも対応できるように、より広い波長帯域の分光成分（以下、第１の分光成分と称する）の光信号を取得できる画素群（以下、第１の画素群と称する）」を得るためのフィルタとして、例えば、ＲＧＢの可視光全体を取得するか、または、可視光および赤外光等の不可視光成分を含む光信号を取得するためのフィルタを用意する。

低照度条件下では、色温度が低くて、赤外光の放射量の多い光源が使われている場合が多い。また、補助光として赤外光などの不可視光を使えば雰囲気を損なうことが少ない。以上のことから、赤外光などの不可視光を多く含む光源下において、実効的な撮影感度を上げる技術が望まれている。

したがって、第１の分光成分として、可視光および赤外光を含む光信号を取得するようにすると好適であるが、赤外光を除いた、ＲＧＢの可視光全体を第１の分光成分としても良いし、それ以外にも、例えば、可視光および赤外光を含む波長帯域から、所定の帯域のみを除いた分光成分や、可視光から所定の帯域のみを除いた分光成分としてもよく、第１の分光成分が含む波長領域幅が広ければその分だけ、撮影感度を向上させることが可能となる。

すなわち、カラーフィルタ２２が、最も広範囲の波長帯域の分光成分の光信号を取得するフィルタとして、可視光全体を取得するフィルタを用いても、従来における場合と比較して、ＳＮ比を改善することが可能となる。しかしながら、この場合においても、十分な照度があれば感度は充分であるが、十分な照度が得られない暗闇のような環境や、光源に赤外光が多く含まれる低照度の条件、あるいは低照度で赤外光の補助光を使用する撮影条件においては、感度はまだ不十分となり、ノイズを削減した高品質な画像を生成することができない。これに対して、最も広範囲の波長帯域の分光成分である第１の分光成分の光信号を取得するフィルタとして、可視光および赤外光等の不可視光成分を含む光信号を取得するためのフィルタを用いるものとすると、十分な照度が得られない暗闇のような場合や、光源に赤外光が多く含まれる低照度の条件、あるいは低照度で赤外光の補助光を使用する撮影条件においても、ノイズを削減した高品質な画像を生成することが可能となり、好適である。

例えば、可視光および赤外光等の不可視光成分を含む光信号を取得するためのフィルタは、図中Ｗとして分光特性を示すように、ピークは約５３０ｎｍ付近であるが、ＲＧＢ成分のすべての信号を透過するとともに、７００ｎｍ以上の赤外光成分も透過する性質を有する。

以下、カラーフィルタ２２は、第１の分光成分として、可視光および赤外光等の不可視光成分（以下、Ｗとも記載する）を含む光信号を取得するものとして説明する。

また、さらに、カラーフィルタ２２は、第１の分光成分から、所定範囲の波長成分を除いた分光成分（以下、第２の分光成分と称する）を取得できる画素群（以下、第２の画素群と称する）を取得することができる。

第２の分光成分は、第１の分光成分から、ＲＧＢのいずれに対応する波長成分を除いた分光成分としても良いが、容易にピントのボケを補正した画像を得るためには、色収差のない成分を第１の分光成分から除いた分光成分を第２の分光成分とすると好適である。人間の目は、555nmの緑付近の波長の光を感じる感度が最も良いことから、一般的に、緑の成分に色収差が発生しないようにレンズが設定されているので、特に、第１の分光成分からＧ（緑色）に対応する波長成分を除いた分光成分、すなわち、マゼンダの色成分に対応する分光成分を第２の分光成分とすると好適である。

もちろん、第１の分光成分からＢ（青）に対応する波長成分を除いた分光成分、すなわち、イエローの分光成分を第２の分光成分としても良いし、第１の分光成分からＲ（赤）に対応する波長成分を除いた分光成分、すなわち、シアンに対応する波長成分を除いた分光成分を第２の分光成分としても良い。

以下、カラーフィルタ２２は、第２の分光成分として、可視光および赤外光等の不可視光成分の波長領域から、Ｇ(緑)に対応する波長成分を除いた分光成分、すなわち、マゼンダに対応する分光成分（以下、Ｍとも記載する）の光信号を取得するものとして説明する。

このように、カラーフィルタ２２を用いることにより、固体撮像素子２３は、従来のカラーフィルタと同様のＲＧＢそれぞれの分光成分を取得する画素群に加えて、被写体が明るくない場合にも、固体撮像素子２３に充分な光量が入射されるように、従来のカラーフィルタのＲＧＢそれぞれにおける波長帯域よりも広い波長帯域の分光成分である第１の分光成分を取得できる画素群と、第１の分光成分から、所定の領域の波長成分を除いた分光成分である第２の分光成分を取得できる画素群とを取得することが可能になる。

このようにして取得された画素データに対して、第１の画素群の画素データから、第２の画素群の画素データを減算する（換言すれば、重みＷ１＝１、重みＷ２＝（−１）として、重みＷ１とＷ２による、第１の画素群と第２に画素群とそれぞれの画素値の線形和を得る）ことで、所定の領域の波長成分の画素データを得ることができる。この所定の領域の波長成分の画素データに色収差が発生していない場合、ボケのない鮮明な画像を得ることができる。換言すれば、第１の画素群の画素データから、第２の画素群の画素データを減算することによって得られる所定の領域の波長において色収差が無いようにレンズ２１を設定し、この所定の領域の波長成分の画素データ、すなわち、色収差を除去した画素データをコントラスト成分として使用することで、色収差のない画素データを作成することができ、色収差をキャンセルした、鮮明な画像を作成することができる。

図６を用いて、カラーフィルタ２２におけるカラーフィルタ配列の一例と、固体撮像素子２３において取得される各画素について説明する。図６は、カラーフィルタ２２の一部分のフィルタ配列を表している。

カラーフィルタ２２によってそれぞれ取得可能な分光成分が異なるようになされている固体撮像素子２３の各画素は、Ｗで示される画素、Ｍで示される画素、Ｇで示される画素、Ｒで示される画素、および、Ｂで示される画素の５種類に分類される。

Ｗで示される画素（上述した第１の分光成分を取得する第１の画素群に対応する画素）とは、広い波長帯域の分光成分（上述したの第１の分光成分）を取得する画素である。具体的には、例えば、Ｗで示される画素とは、Ｂ（青）の分光成分、Ｇ（緑）の分光成分、Ｒ（赤）の分光成分、および、ＩＲ（赤外）の分光成分のすべてを取得することができる画素である。なお、カラーフィルタ２２において、通常、固体撮像素子２３の対応する画素の前面に何も加工しなければ、固体撮像素子２３において第１の分光成分を取得できる画素になる。

Ｍで示される画素（上述した第２の分光成分を取得する第２の画素群に対応する画素）とは、第１の分光成分から、所定の範囲の波長成分（例えば、Ｇ（緑）に対応する所定の範囲の波長成分）を除いた分光成分（上述した第２の分光成分）を取得する画素である。具体的には、例えば、Ｂ（青）の分光成分、Ｒ（赤）の分光成分、および、ＩＲ（赤外）の分光成分を取得することができる画素である。なお、カラーフィルタ２２において、通常、固体撮像素子２３の対応する画素の前面にマゼンダ色を通過させる色フィルタを付けることで、固体撮像素子２３において第２の分光成分を取得できる画素になる。

そして、Ｇで示される画素とは、Ｇ（緑）の分光成分を取得できる画素である。なお、カラーフィルタ２２において、通常、固体撮像素子２３の対応する画素の前面に緑色を通過させる色フィルタと赤外カットフィルタを付けることで、固体撮像素子２３においてＧ（緑）の分光成分を取得することができる画素になる。

Ｒで示される画素とは、Ｒ（赤）の分光成分を取得できる画素である。なお、カラーフィルタ２２において、通常、固体撮像素子２３の対応する画素の前面に赤色を通過させる色フィルタと赤外カットフィルタを付けることで、固体撮像素子２３においてＲ（赤）の分光成分を取得することができる画素になる。

そして、Ｂで示される画素とは、Ｂ（青）の分光成分を取得できる画素である。なお、カラーフィルタ２２において、通常、固体撮像素子２３の対応する画素の前面に青色を通過させる色フィルタと赤外カットフィルタを付けることで、固体撮像素子２３においてＢ（青）の分光成分を取得することができる画素になる。

カラーフィルタ２２は、図６に示されるように、例えば、Ｗで示されるある画素を基準、すなわち、図中、座標（０，０）として、座標（０，０）（２，０）（０，２）（２，２）にＷで示される画素が配置され、座標（１,１）（１，３）（３，１）（３，３）にＭで示される画素が配置され、座標（０,１）（０，３）（２，１）（２，３）にＧで示される画素が配置され、座標（１，０）（３，２）にＢで示される画素が配置され、座標（３，０）（１，２）にＲで示される画素が配置されるような、最小単位が４×４のマトリクスとなるようなフィルタ配列を有している。

すなわち、カラーフィルタ２２において、Ｘ軸方向を０度として、Ｇで示される画素に注目した場合、Ｇで示される画素は、０度方向、４５度方向、９０度方向、および、１３５度方向のいずれにおいても１画素おきに配置され、Ｇで示される画素に０度方向で隣接する画素は、いずれも、Ｍで示される画素であり、Ｇで示される画素に９０度方向で隣接する画素は、いずれも、Ｗで示される画素であり、Ｇで示される画素に４５度方向で隣接する画素は、いずれも、ＲまたはＢで示される画素であり、Ｇで示される画素に１３５度方向で隣接する画素は、いずれも、４５度方向で隣接している画素とは異なる、ＲまたはＢのうちのいずれか一方の画素である。

このようなカラーフィルタ２２および固体撮像素子２３を用いて撮影された画像データに対して、カメラ信号処理部２５により所定の処理が施され、最終的な出力画像を得ることが出来る。

なお、このカラーフィルタ２２において、ＷとＭのそれぞれの画素の配置が逆転しても、後述するデモザイク処理は同様にして実行可能であり、ＢとＲのそれぞれの画素の配置が逆転しても、後述するデモザイク処理は同様にして実行可能である。

図６を用いて説明したカラーフィルタ２２における５つの波長帯域について、図７を用いて説明する。

図７において、横軸は、波長を表している。図中（イ）は、Ｂ（青）の分光成分を示しており、図中（ロ）は、Ｇ（緑）の分光成分を示しており、図中（ハ）は、Ｒ（赤）の分光成分、または、Ｒ（赤）とＩＲ（赤外）の合計の分光成分を示している。

そして、Ｗで示される第１の画素群が取得する波長成分（即ち、第１の分光成分）は、図中（イ）（ロ）（ハ）の波長成分の合計である。そして、Ｍで示される第２の画素群が取得できる波長成分（即ち、第２の分光成分）は、図中（イ）（ハ）の波長成分の合計である。

すなわち、Ｗで示される第１の画素群が取得した光信号から、Ｍで示される第２の画素群が取得した光信号を減算すると、色収差のない、図中（ロ）で示されるＧ（緑）の分光成分を得ることができる。この、色収差が除去されたＧ（緑）の分光成分の画素データをコントラスト成分として使用することで、色収差をキャンセルした、ピントの合ったコントラストの高い鮮明な画像を作成することができる。

以上説明したように、カメラ信号処理部２５に入力されるデータは、固体撮像素子２３から出力されたＷ、Ｍ、Ｇ、Ｂ、Ｒで示されるそれぞれ異なる分光成分に対応する画素群である。すなわち、カメラ信号処理部２５に入力される画像データを構成する画素は、Ｗ、Ｍ、Ｇ、Ｂ、Ｒで示される画素群に分類可能であり、Ｗで示される画素群が配置されている画素の座標（Ｘ,Ｙ）において、Ｘは偶数、Ｙは偶数であるとすると、Ｍで示される画素群が配置されている画素の座標（Ｘ，Ｙにおいて、Ｘは奇数、Ｙは奇数となり、Ｇで示される画素群が配置されている画素の座標（Ｘ，Ｙ）において、Ｘは偶数、Ｙは奇数となり、Ｂで示される画素群が配置されている画素の座標（Ｘ，Ｙ）において、Ｘは奇数、Ｙは偶数、かつ、Ｘ−Ｙ−１は４の倍数となり、Ｒで示される画素群が配置されている画素の座標（Ｘ，Ｙ）において、Ｘは奇数、Ｙは偶数、かつ、Ｘ−Ｙ−３は４の倍数となる。

換言すれば、例えば、Ｗで示されるある画素の画素位置を基準点（０，０）としたとき、カメラ信号処理部２５に入力されるデータのうち、ＸおよびＹがいずれも偶数である画素はＷに対応し、ＸおよびＹがいずれも奇数である画素はＭに対応し、Ｘが偶数でありＹが奇数である画素はＧに対応し、Ｘは奇数、Ｙは偶数、かつ、Ｘ−Ｙ−１は４の倍数である画素はＢに対応し、Ｘは奇数、Ｙは偶数、かつ、Ｘ−Ｙ−３は４の倍数である画素はＲに対応する。

そして、カメラ信号処理部２５から出力される画像データは、全ての画素位置におけるＲ（赤）、Ｇ（緑）、Ｂ（青）の３つのコンポーネントから成るデータ、すなわち、デモザイク後の画像データである。

図８は、カメラ信号処理部２５の更に詳細な構成を示すブロック図である。カメラ信号処理部２５は、クリッピング処理部４１、ガンマ補正部４２、ホワイトバランス補正部４３、および、デモザイク処理部４４で構成されている。

クリッピング処理部４１は、供給された画像データの各画素の画素値が、定義されている範囲内であるか否かを確認し、その画素値が定義された範囲の下限値未満の場合、画素値を下限値に補正（ノイズレベルにクリッピング）し、画素値が定義された範囲の上限値を超えている場合、画素値を上限値に補正（飽和レベルにクリッピング）する。

ガンマ補正部４２は、入力されたモザイク画像の各画素のそれぞれの画素値に対して、ガンマ補正を実行する。

ホワイトバランス補正部４３は、ホワイトバランス、すなわち、撮影時の光源による色味の違いを補正する。

デモザイク処理部４４は、供給された所定のカラーフィルタ配列のモザイク画像を基に、カラーフィルタ配列のそれぞれの画素がＲＧＢのいずれかの色成分を有していないとき、有していない色成分を補間する処理、すなわち、デモザイク処理を実行し、全画素がＲＧＢそれぞれの画素値を有する画像データを生成する。

なお、ここでは、クリッピング処理部４１、ガンマ補正部４２、ホワイトバランス補正部４３、デモザイク処理部４４の順に配列され、この順に画像処理が実行されるものとして説明しているが、例えば、クリッピング処理部４１、デモザイク処理部４４、ガンマ補正部４２、ホワイトバランス補正部４３の順に配列され、この順に画像処理が実行されるものとしても良く、このような順番に画像処理が実行される場合であっても、以下に説明するデモザイク処理部４４においては、同様のデモザイク処理が実行される。

デモザイク処理部４４においては、画像を構成するそれぞれの画素を注目画素として着目し、それぞれの画素（座標（Ｈ，Ｋ）とする。Ｈ、Ｋは、ともに整数）におけるＲ、Ｇ、Ｂの値を求めなくてはいけないが、入力データの画素（Ｈ、Ｋ）には、Ｗ，Ｍ，Ｇ，Ｒ，Ｂうちのいずれか１つのデータしか存在しない。そこで、デモザイク処理部４４は、座標（Ｈ,Ｋ）の画素の近傍の画素から画素値を推測する補間処理を行って、それぞれの画素におけるＲ，Ｇ，Ｂの値を求める。

どの方向に隣接している画素の画素値を用いて補間を行うか、すなわち、補間の方向によって、補間処理の結果得られる画素値が異なる場合がある。図９を用いて、具体的な例を用いて説明する。

例えば、図９に示されるように、所定の角度θの方向に白黒のグラデーション模様が入っているような画像において、注目画素１０１を近傍の画素を用いて補間することを考える。実際には、隣接した画素を用いて補間が行われるが、ここでは、補間に用いる画素の方向による補間結果の影響が極端に現れるように、少し離れた位置の画素を用いて補間処理を行う場合を想定して説明する。

実際には白または白に近い色の注目画素１０１に対して、注目画素近傍の画素であり、ほぼ同一の色を有する画素１０２および画素１０３、または、注目画素近傍の画素であるが、模様の角度θに対して９０度の角度となるため、注目画素とは異なり暗い色を有する画素１０４および画素１０５のいずれかを用いて補間処理を行う場合について考える。ここで、画素１０４および画素１０５を用いて補間処理を行えば、画素１０１の画素値は、実際よりも暗い色となってしまう。一方、画素１０２および画素１０３を用いて補間処理を行えば、正しい結果を得ることが可能となる。

すなわち、補間処理は、注目画素近傍の模様(色や明度の変化を含む)に基づいて、適切な方向の近傍画素を用いて実行しなければならない。

そこで、デモザイク処理部４４においては、注目画素近傍の模様の方向が、０度方向、４５度方向、９０度方向、１３５度方向のそれぞれである可能性、換言すれば、模様の方向がこの角度である確度（らしさ）に対応する数値を求める。その結果を、各画素位置においての０度方向の模様確度、４５度方向の模様確度、９０度方向の模様確度、１３５度方向の模様確度と称するものとする。模様確度の詳細については後述する。

そして、デモザイク処理部４４は、０度方向の模様確度、４５度方向の模様確度、９０度方向の模様確度、１３５度方向の模様確度に基づいて、それぞれの角度における補間処理の適正度、すなわち、それぞれの角度の近傍画素値を用いた補間処理が適正である可能性を表す数値を求める。

ここでは、それぞれの角度における「模様確度」は、他の角度のことは考慮せずに、その角度が正しいかを判定する確からしさの指標として用いられるものとする。それに対して、それぞれの角度における補間処理の「適正度」は、他の角度のことも考慮して、その角度が正しいかを判定する確からしさの指標として用いられるものとする。

また、デモザイク処理部４４は、Ｇ(緑)成分に関して、０度方向の近傍画素値を用いて補間した結果得られるＧ(緑)成分の補間画素値、４５度方向の近傍画素値を用いて補間した結果得られるＧ(緑)成分の補間画素値、９０度方向の近傍画素値を用いて補間した結果得られるＧ(緑)成分の補間画素値、および、１３５度方向の近傍画素値を用いて補間した結果得られるＧ(緑)成分の補間画素値を求め、それぞれの角度における補間の適正度で重み付けした重み加算を行うことにより、模様の方向を考慮したＧ（緑）成分のみの画像データを得ることができる。

そして、デモザイク処理部４４は、模様の方向を考慮したＧ（緑）成分の画像データを基に、Ｇ（緑）とＲ（赤）の相関係数、Ｇ（緑）とＢ（青）の相関係数を求めて、Ｒ（赤）とＢ（青）の各画素の画素値を求める。これにより、各画素位置におけるＲ（赤）、Ｇ（緑）、Ｂ（青）の画素値が求まるので、デモザイク処理部４４は、これを結果画像として出力する。

図１０は、図８を用いて説明したカメラ信号処理部２４のデモザイク処理部４４の詳細な構成例を示すブロック図である。

デモザイク処理部４４は、０度方向の模様分析処理部６１、４５度方向の模様分析処理部６２、９０度方向の模様分析処理部６３、１３５度方向の模様分析処理部６４、模様方向判定部６５、０度方向補間Ｇ画像計算処理部７１、４５度方向補間Ｇ画像計算処理部７２、９０度方向補間Ｇ画像計算処理部７３、１３５度方向補間Ｇ画像計算処理部７４、Ｇ画像計算処理部７５、Ｒ画像計算処理部８１、および、Ｂ画像計算処理部８２で構成されている。

０度方向の模様分析処理部６１、４５度方向の模様分析処理部６２、９０度方向の模様分析処理部６３、および、１３５度方向の模様分析処理部６４は、注目画素から所定範囲内の画素の画素値を基に、カラーフィルタ２２のフィルタ配列に応じて、それぞれの方向における補間処理を行う。図６を用いて説明したフィルタ配列においては、Ｘ軸方向を０度として、０度方向においては、隣接するＧとＭとのいずれか一方に対して他方で補間処理を行い、４５度方向においては、隣接するＷとＭとのいずれか一方に対して他方で補間処理を行い、９０度方向においては、隣接するＧとＷとのいずれか一方に対して他方で補間処理を行い、１３５度方向においては、隣接するＷとＭとのいずれか一方に対して他方で補間処理を行う。このようにして、所定範囲内において、複数の画素において、もともと有していた色成分の画素値以外に、補間処理によって他の色成分の画素値を得て、それら２つの色成分の画素値の主成分分析を実行することにより、それぞれの角度における模様確度を求める。

具体的には、０度方向の模様分析処理部６１は、注目画素から所定範囲内のＧ成分の画素値を有している画素に着目し、その画素にＸ軸に対して０度方向で隣接する２つのＭ成分の画素値を用いて補間処理を行い、このＧ成分の画素値とＭ成分の補間画素値の複数のペアの画素値の分散を求めて主成分分析する。ここで、第１主成分の寄与率が高ければ、０度方向の模様確度は高いと言うことができる。なお、０度方向の模様分析処理部６１は、注目画素から所定範囲内のＭ成分の画素値を有している画素に着目し、その画素にＸ軸に対して０度方向で隣接する２つのＧ成分の画素値を用いて補間処理を行うことにより、主成分分析を行うようにしても、同様にして、０度方向の模様確度を求めることが可能である。

４５度方向の模様分析処理部６２は、注目画素から所定範囲内のＷ成分の画素値を有している画素に着目し、その画素にＸ軸に対して４５度方向で隣接する２つのＭ成分の画素値を用いて補間処理を行い、このＷ成分の画素値とＭ成分の補間画素値の複数のペアの画素値の分散を求めて主成分分析する。ここで、第１主成分の寄与率が高ければ、４５度方向の模様確度は高いと言うことができる。なお、４５度方向の模様分析処理部６２は、注目画素から所定範囲内のＭ成分の画素値を有している画素に着目し、その画素にＸ軸に対して４５度方向で隣接する２つのＷ成分の画素値を用いて補間処理を行うことにより、主成分分析を行うようにしても、同様にして、４５度方向の模様確度を求めることが可能である。

９０度方向の模様分析処理部６３は、注目画素から所定範囲内のＧ成分の画素値を有している画素に着目し、その画素にＸ軸に対して９０度方向で隣接する２つのＷ成分の画素値を用いて補間処理を行い、このＧ成分の画素値とＷ成分の補間画素値の複数のペアの画素値の分散を求めて主成分分析する。ここで、第１主成分の寄与率が高ければ、９０度方向の模様確度は高いと言うことができる。なお、９０度方向の模様分析処理部６３は、注目画素から所定範囲内のＷ成分の画素値を有している画素に着目し、その画素にＸ軸に対して９０度方向で隣接する２つのＧ成分の画素値を用いて補間処理を行うことにより、主成分分析を行うようにしても、同様にして、９０度方向の模様確度を求めることが可能である。

１３５度方向の模様分析処理部６４は、注目画素から所定範囲内のＷ成分の画素値を有している画素に着目し、その画素にＸ軸に対して１３５度方向で隣接する２つのＭ成分の画素値を用いて補間処理を行い、このＷ成分の画素値とＭ成分の補間画素値の複数のペアの画素値の分散を求めて主成分分析する。ここで、第１主成分の寄与率が高ければ、１３５度方向の模様確度は高いと言うことができる。なお、１３５度方向の模様分析処理部６４は、注目画素から所定範囲内のＭ成分の画素値を有している画素に着目し、その画素にＸ軸に対して１３５度方向で隣接する２つのＷ成分の画素値を用いて補間処理を行うことにより、主成分分析を行うようにしても、同様にして、１３５度方向の模様確度を求めることが可能である。

上述したように、それぞれの角度における「模様確度」は、他の角度のことは考慮せずに、その角度が模様の方向として正しいかを判定する確からしさの指標として用いられるものとする。それぞれの模様確度の算出の詳細な例については、図１４乃至図２１を用いて後述する。

模様方向判定部６５は、０度方向の模様分析処理部６１、４５度方向の模様分析処理部６２、９０度方向の模様分析処理部６３、および、１３５度方向の模様分析処理部６４により求められた、それぞれの角度における模様確度を基に、０度方向補間の適正度、４５度方向補間の適正度、９０度方向補間の適正度、１３５度方向補間の適正度を求める。

ここでは、上述したように、それぞれの角度における補間処理の「適正度」は、他の角度のことも考慮して、その角度が正しいかを判定する確からしさの指標として用いられるものとする。それぞれの方向における補間の適正度の算出の詳細な例については、図２２および図２３のフローチャートを用いて後述する。

０度方向補間Ｇ画像計算処理部７１は、Ｇ成分を有さない画素において、０度方向の補間処理を実行することにより、Ｇ（緑）成分のみの画像データを生成する。具体的には、０度方向保管Ｇ画像計算処理部７１は、図６を用いて説明したカラーフィルタ配列が用いられた場合、ＲとＢの画素には０度方向にＷの画素が隣接し、ＧとＭの画素はお互い０度方向に隣接していることからＧとＭの画素値の加算によりＷの画素値を推定することができることを利用して、全ての画素のＷ成分を得る。そして、注目画素近傍の所定の範囲内の画素のうち、入力信号においてＧ成分を有している画素を抽出して、それら複数の画素のＧ成分とＷ成分との主成分分析を行うことにより、注目画素のＧ成分を求める。その処理の詳細な演算手順の例については、図２４および図２５を用いて後述する。

４５度方向補間Ｇ画像計算処理部７２は、Ｇ成分を有さない画素において、４５度方向の補間処理を実行することにより、Ｇ（緑）成分のみの画像データを生成する。具体的には、４５度方向補間Ｇ画像計算処理部７２は、図６を用いて説明したカラーフィルタ配列が用いられた場合、ＲとＢの画素は４５度方向にＧの画素が隣接し、ＷとＭの画素はお互い４５度方向に隣接していることからＷの画素値からＭの画素値を減算することによりＧの画素値を推定することができることを利用して、全ての画素のＧ成分を得る。その処理の詳細な演算手順の例については、図２６を用いて後述する。

９０度方向補間Ｇ画像計算処理部７３は、Ｇ成分を有さない画素において、９０度方向の補間処理を実行することにより、Ｇ（緑）成分のみの画像データを生成する。具体的には、９０度方向補間Ｇ画像計算処理部７３は、図６を用いて説明したカラーフィルタ配列が用いられた場合、ＲとＢの画素は９０度方向にＭの画素が隣接し、ＧとＷの画素はお互い９０度方向に隣接していることからＷの画素値からＧの画素値を減算することによりＭの画素値を推定することができることを利用して、全ての画素のＭ成分を推定する。そして、注目画素近傍の所定の範囲内の画素のうち、入力信号においてＧ成分を有している画素を抽出して、それら複数の画素のＧ成分とＭ成分との主成分分析を行うことにより、注目画素のＧ成分を求める。その処理の詳細な演算手順の例については、図２７および図２８を用いて後述する。

１３５度方向補間Ｇ画像計算処理部７４は、Ｇ成分を有さない画素において、１３５度方向の補間処理を実行することにより、Ｇ（緑）成分のみの画像データを生成する。具体的には、１３５度方向補間Ｇ画像計算処理部７４は、図６を用いて説明したカラーフィルタ配列が用いられた場合、ＲとＢの画素は１３５度方向にＧの画素が隣接し、ＷとＭの画素はお互い１３５度方向に隣接していることからＷの画素値からＭの画素値を減算することによりＧの画素値を推定することができることを利用して、全ての画素のＧ成分を得る。その処理の詳細な演算手順の例については、図２９を用いて後述する。

Ｇ画像計算処理部７５は、０度方向補間Ｇ画像計算処理部７１、４５度方向補間Ｇ画像計算処理部７２、９０度方向補間Ｇ画像計算処理部７３、１３５度方向補間Ｇ画像計算処理部７４により求められた、それぞれの方向の補間処理により生成されたＧ成分の画像に対して、模様方向判定部６５の処理により求められた、０度方向補間の適正度、４５度方向補間の適正度、９０度方向補間の適正度、１３５度方向補間の適正度を重み付けして加算することにより、模様の方向が考慮されたＧ成分の画像データを求める。

Ｒ画像計算処理部８１は、撮像データに含まれるＲ成分の画素値と、Ｇ画像計算処理部７５により求められたＧ成分の画像データとを基に、主成分分析を行って、Ｒ成分とＧ成分との相関を求め、これを基に、Ｒ成分の画像データを求める。その処理の詳細については、図３０および図３１を参照して後述する。

Ｂ画像計算処理部８２は、撮像データに含まれるＢ成分の画素値と、Ｇ画像計算処理部７５により求められたＧ成分の画像データとを基に、主成分分析を行って、Ｂ成分とＧ成分との相関を求め、これを基に、Ｂ成分の画像データを求める。その処理の詳細については、図３２および図３３を参照して後述する。

次に、図１１のフローチャートを参照して、撮像装置１１が実行する撮像処理について説明する。

ステップＳ１において、イメージセンサ、すなわち、カラーフィルタ２２および固体撮像素子２３は、レンズ２１を介して入射された光を受光し、得られた光エネルギを画素ごとに光電変換により電気信号に変換して、画像データを取得し、Ａ／Ｄ変換部２４に供給する。得られた画像データのそれぞれの画素が有している色成分は、図６に示されるフィルタ配列によって決まる。カラーフィルタ２２は、図６を用いて説明したフィルタ配列を有している。

ステップＳ２において、Ａ／Ｄ変換部２４は、供給されたアナログの画像データをデジタル信号の画像データに変換する、すなわち、ＡＤ変換を行う。

ステップＳ３において、カメラ信号処理部２５は、クリッピング処理部４１においてクリッピング処理、ガンマ補正部４２においてガンマ補正、ホワイトバランス補正部４３においてホワイトバランス補正を行う。

ステップＳ４において、カメラ信号処理部２５は、図１２および図１３のフローチャートを用いて後述するデモザイク処理を実行する。

ステップＳ５において、カメラ信号処理部２５は、処理された画像は表示されるか否かを判断する。ステップＳ５において、画像は表示されないと判断された場合、処理は、ステップＳ７に進む。

ステップＳ５において、画像は表示されると判断された場合、ステップＳ６において、カメラ信号処理部２５は、処理済の画像データを表示部２６に供給する。表示部２６は、供給された画像データに対応する画像を表示する。

ステップＳ５において、画像は表示されないと判断された場合、または、ステップＳ６の処理の終了後、ステップＳ７において、カメラ信号処理部２５は、処理された画像は外部出力されるか否かを判断する。ステップＳ７において、画像は外部出力されないと判断された場合、処理は、後述するステップＳ９に進む。

ステップＳ７において、画像は外部出力されると判断された場合、ステップＳ８において、カメラ信号処理部２５は、処理済の画像データを画像圧縮部３７に供給する。画像圧縮部３７は、供給された画像データを必要に応じて圧縮し、外部出力部２９に供給する。外部出力部２９は、供給された画像データを外部出力する。

ステップＳ７において、画像は外部出力されないと判断された場合、または、ステップＳ８の処理の終了後、ステップＳ９において、カメラ信号処理部２５は、処理された画像は記録されるか否かを判断する。ステップＳ９において、画像は記録されないと判断された場合、処理は終了される。

ステップＳ９において、画像は記録されると判断された場合、ステップＳ１０において、カメラ信号処理部２５は、処理済の画像データを画像圧縮部３７に供給する。画像圧縮部３７は、供給された画像データを必要に応じて圧縮し、記録部２８に供給する。記録部２８は、供給された画像データを、例えば、ハードディスク、もしくは、半導体メモリなどの記憶素子、または、所定のドライバに装着された着脱可能な記録媒体などに記録して、処理が終了される。

このような処理により、広い周波数帯域の光信号を取得する画素を含む画像データが撮像されて、デモザイク処理を含む各種処理が施され、必要に応じて、表示、外部出力、または、記録される。ステップＳ４の、図１２および図１３のフローチャートを用いて後述するデモザイク処理においては、色収差が発生しないようにして、コントラスト成分が抽出される。

次に、図１２および図１３のフローチャートを参照して、図１１のステップＳ４において実行されるデモザイク処理について説明する。

ステップＳ４１において、デモザイク処理部４４は、それぞれの画素が、図６を用いて説明したフィルタ配列に基づいた、Ｒ，Ｇ，Ｂ，Ｗ，Ｍのいずれかの成分の画素値を有する画像データを取得する。

ステップＳ４２において、図１４のフローチャートを用いて後述する、０度方向の模様角度算出処理が実行される。

すなわち、ステップＳ４２において、０度方向の模様分析処理部６１は、出力画像中の注目画素において、０度方向に補間したデータに関する主成分分析を行い、０度方向の模様確度として、第１主成分の寄与率を求める。この寄与率が小さいということは、０度方向の模様ではない、すなわち、０度方向の隣接画素を用いた補間処理が適切ではない可能性が高いことを意味する。そして、この寄与率が大きいということは、９０度方向に模様が変化しているかもしれないが、少なくとも、０度方向には模様が変化していない、すなわち、０度方向の隣接画素を用いた補間処理が適切である可能性が高いことを意味する。

ステップＳ４３において、図１６のフローチャートを用いて後述する、４５度方向の模様角度算出処理が実行される。

すなわち、ステップＳ４３において、４５度方向の模様分析処理部６２は、出力画像中の注目画素において、４５度方向に補間したデータに関する主成分分析を行い、４５度方向の模様確度として、第１主成分の寄与率を求める。この寄与率が小さいということは、４５度方向の模様ではない、すなわち、４５度方向の隣接画素を用いた補間処理が適切ではない可能性が高いことを意味する。そして、この寄与率が大きいということは、１３５度方向に模様が変化しているかもしれないが、少なくとも、４５度方向には模様が変化していない、すなわち、４５度方向の隣接画素を用いた補間処理が適切である可能性が高いことを意味する。

ステップＳ４４において、図１８のフローチャートを用いて後述する、９０度方向の模様角度算出処理が実行される。

すなわち、ステップＳ４４において、９０度方向の模様分析処理部６３は、出力画像中の注目画素において、９０度方向に補間したデータに関する主成分分析を行い、９０度方向の模様確度として、第１主成分の寄与率を求める。この寄与率が小さいということは、９０度方向の模様ではない、すなわち、９０度方向の隣接画素を用いた補間処理が適切ではない可能性が高いことを意味する。そして、この寄与率が大きいということは、０度方向に模様が変化しているかもしれないが、少なくとも、９０度方向には模様が変化していない、すなわち、９０度方向の隣接画素を用いた補間処理が適切である可能性が高いことを意味する。

ステップＳ４５において、図２０のフローチャートを用いて後述する、１３５度方向の模様角度算出処理が実行される。

すなわち、ステップＳ４５において、１３５度方向の模様分析処理部６４は、出力画像中の注目画素において、１３５度方向に補間したデータに関する主成分分析を行い、１３５度方向の模様確度として、第１主成分の寄与率を求める。この寄与率が小さいということは、１３５度方向の模様ではない、すなわち、１３５度方向の隣接画素を用いた補間処理が適切ではない可能性が高いことを意味する。そして、この寄与率が大きいということは、４５度方向に模様が変化しているかもしれないが、少なくとも、１３５度方向には模様が変化していない、すなわち、１３５度方向の隣接画素を用いた補間処理が適切である可能性が高いことを意味する。

ステップＳ４６において、図２２および図２３のフローチャートを用いて後述する、角度補間適正度算出処理が実行される。

すなわち、ステップＳ４６において、模様方向判定部６５は、ステップＳ４２乃至ステップＳ４５の処理によって求められた、４つの方向のそれぞれの模様確度に基づいて、注目画素に関して、０度方向補間の適正度、４５度方向補間の適正度、９０度方向補間の適正度、および、１３５度方向補間の適正度を、それぞれ、計算する。

ステップＳ４７において、図２４のフローチャートを用いて後述する、０度方向補間Ｇ成分画像生成処理が実行される。

すなわち、ステップＳ４７において、０度方向補間Ｇ画像計算処理部７１は、０度方向の補間処理を実行した結果得られるＧ（緑）成分の画像データを生成する。

ステップＳ４８において、図２６のフローチャートを用いて後述する、４５度方向補間Ｇ成分画像生成処理が実行される。

すなわち、ステップＳ４８において、４５度方向補間Ｇ画像計算処理部７２は、４５度方向の補間処理を実行した結果得られるＧ（緑）成分の画像データを生成する。

ステップＳ４９において、図２７のフローチャートを用いて後述する、９０度方向補間Ｇ成分画像生成処理が実行される。

すなわち、ステップＳ４９において、９０度方向補間Ｇ画像計算処理部７３は、９０度方向の補間処理を実行した結果得られるＧ（緑）成分の画像データを生成する。

ステップＳ５０において、図２９のフローチャートを用いて後述する、１３５度方向補間Ｇ成分画像生成処理が実行される。

すなわち、ステップＳ５０において、１３５度方向補間Ｇ画像計算処理部７４は、１３５度方向の補間処理を実行した結果得られるＧ（緑）成分の画像データを生成する。

ステップＳ５１において、Ｇ画像計算処理部７５は、ステップＳ４７乃至ステップＳ５０の処理により得られた、それぞれの方向に補間した結果得られた緑成分の画像を、ステップＳ４６において得られた、それぞれの角度の補正適正度に基づいて、重み付け加算することにより、模様の方向を考慮したＧ(緑)成分の画像データを求める。

具体的には、Ｇ画像計算処理部７５は、注目画素の座標を（Ｈ，Ｋ）として、その画素において、０度方向補間の適正度×０度方向補間Ｇ画像の画素値＋４５度方向補間の適正度×４５度方向補間Ｇ画像の画素値＋９０度方向補間の適正度×９０度方向補間Ｇ画像の画素値＋１３５度方向補間の適正度×１３５度方向補間Ｇ画像の画素値を、模様の方向を考慮したＧ（緑）画像の座標（Ｈ，Ｋ）における画素値として算出する。そして、この演算が全画素において実行され、模様の方向を考慮したＧ(緑)成分の画像データが生成される。

ここで生成されたＧ(緑)成分の画像データは、従来のＲ・Ｇ・Ｂのそれぞれの色成分のうちのいずれかに対応する周波数帯域よりも広い周波数帯域の光を受光するＷおよびＭのデータを利用して生成されている。すなわち、ここで生成されたＧ(緑)成分の画像データは、従来のＲ・Ｇ・Ｂのそれぞれの色成分のみで生成された画像と比較して、暗い被写体であっても、良好な画像を得ることができる。また、ＷおよびＭのデータを利用して、色収差のないＧの成分が生成されているので、広い周波数帯域の光を用いているのにもかかわらず、色収差によるぼけが抑制されたＧ成分の画像データを得ることができる。

ステップＳ５２において、図３０のフローチャートを用いて後述する、Ｒ成分画素値算出処理が実行される。

すなわち、ステップ５２において、Ｒ画像計算処理部８１は、入力信号に含まれるＲ成分の画素値と、Ｇ画像計算処理部７５により求められたＧ成分の画像データとを基に、主成分分析を行って、Ｒ成分とＧ成分との相関を求め、これを基に、Ｒ成分の画像データを求める。

ステップＳ５３において、図３２のフローチャートを用いて後述する、Ｂ成分画素値算出処理が実行される。

すなわち、ステップＳ５３において、Ｂ画像計算処理部８２は、入力信号に含まれるＢ成分の画素値と、Ｇ画像計算処理部７５により求められたＧ成分の画像データとを基に、主成分分析を行って、Ｂ成分とＧ成分との相関を求め、これを基に、Ｂ成分の画像データを求める。

そして、ステップＳ５４において、デモザイク処理部４４は、Ｇ画像計算処理部７５、Ｒ画像計算処理部８１、および、Ｂ画像計算処理部８２によりそれぞれ算出された、各画素におけるＧ・Ｒ・Ｂの画素値を、出力画像データとして出力し、処理は、図１１のステップＳ４に戻り、ステップＳ５に進む。

このような処理により、デモザイク処理が実行され、ＲＧＢＷＭの５つの色成分により構成されたモザイク画像から、各画素にＲＧＢの色成分が揃った画像データを得ることができる。

また、ここでは、ＲＧＢのそれぞれの色成分より周波数帯域の広い、すなわち、これらの色成分と比較して受光量が多い、ＷおよびＭの画素値を用いて、色収差のないＧの画像データを生成し、これを基にして、ＲおよびＢの画像データを生成しているので、例えば、被写体が暗い場合などにおいても、良好な画像を得ることができる。

また、画像中の模様の方向を考慮した補間処理を実行しているため、模様の方向を全く考慮することなく、全方向の近傍画素の画素値を用いて補間処理を行う場合と比較して、より良好な画像を得ることができる。

次に、図１４のフローチャートを参照して、図１２のステップＳ４２において実行される、０度方向の模様確度算出処理について説明する。

ステップＳ８１において、０度方向の模様分析処理部６１は、未処理の注目画素を１つ選択する。ここで、例えば、注目画素の画素位置を座標（Ｈ，Ｋ）とする。

ステップＳ８２において、０度方向の模様分析処理部６１は、注目画素から所定の範囲内に存在するＧの画素を検出する。

例えば、図６を用いて説明したフィルタ配列において、Ｘ座標が偶数、かつ、Ｙ座標が奇数となる複数の座標（Ｘ，Ｙ）には、Ｇで示される画素がある。０度方向の模様分析処理部６１は、このような座標で示されるＧの画素を検出する。また、ここで、所定の範囲とは、主成分分析のためのサンプル数や、注目画素と離れることによる相関性の強さなどの条件を基に経験的または実験的に定められる範囲である。所定の範囲とは、例えば、注目画素の画素位置を座標（Ｈ，Ｋ）とした場合に、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４となる座標（Ｘ、Ｙ）で示される９×９画素の範囲などであっても良く、これ以外の大きさであっても、また、注目画素を中心として、画素間の距離が近い画素から選択される所定数の画素の範囲であっても良い。

ステップＳ８３において、０度方向の模様分析処理部６１は、検出された全てのＧの画素（Ｘ，Ｙ）に対して、０度方向に隣接するＭで補間する。

すなわち、ステップＳ８２において検出された座標（Ｘ，Ｙ）のＧの画素においては、図１５に示されるように、０度方向に隣接して、座標（Ｘ−１，Ｙ）および座標（Ｘ＋１，Ｙ）で示されるＭの画素が配置されている。そこで、これら２つの点のＭの値の平均値を求めることにより、座標（Ｘ，Ｙ）における０度方向に補間されたＭの補間画素値を求めることができる。すなわち、０度方向の模様分析処理部６１は、式（１）により、Ｘが偶数、かつ、Ｙが奇数となる座標（Ｘ，Ｙ）における０度方向に補間されたＭの値を求めることができる。

Ｘが偶数、かつ、Ｙが奇数となる座標（Ｘ，Ｙ）で０度方向に補間されたＭの値
＝｛（座標（Ｘ−１，Ｙ）のＭの値）＋（座標（Ｘ＋１，Ｙ）のＭの値）｝÷２
・・・（１）

ステップＳ８４において、０度方向の模様分析処理部６１は、ステップＳ８２において所定範囲内において検出されたＧに対応する画素位置における、それぞれのＧの画素値と、ステップＳ８３において求められたＭの補間画素値とを、ＧとＭの２次元空間にプロットし、主成分分析を行う。

すなわち、所定範囲内において、Ｘ座標が偶数、かつ、Ｙ座標が奇数となる座標（Ｘ，Ｙ）の位置の入力画像には、Ｇの画素値が存在し、ステップＳ８３において、対応する位置のＭの０度方向の補間画素値が求められた。これを用いて、所定範囲内において、Ｘ座標が偶数、かつ、Ｙ座標が奇数となる複数の座標（Ｘ，Ｙ）において、Ｇの値とＭの値のペアが成立する。したがって、０度方向の模様分析処理部６１は、この複数のペアを、ＧとＭの２次元空間にプロットすることにより、主成分分析を行うことができる。

ステップＳ８５において、０度方向の模様分析処理部６１は、ステップＳ８４における主成分分析における第１主成分の寄与率を求め、０度方向の模様確度とする。

第１主成分の寄与率は、（第１主成分の分散値）/（各変量の分散の和）で求められるが、これは（第１主成分の分散値）/（試料全体の散らばり量）と同義である。すなわち、０度方向に模様が変化しない部分では、０度方向に補間することで正しく補間されて、ＧとＭの２次元空間にプロットされたペアは、１つの直線上に乗るはずである。換言すれば、０度方向に模様が変化しない場合、主成分分析の結果、第１主成分以外の寄与率は、略０となる。したがって、第１主成分の寄与率は、注目画素における０度方向の模様確度と同義である。主成分分析した結果、第１主成分の寄与率が小さければ、０度方向に模様が変化しているため、０度方向の補間により正しい補間画像を得ることができないと推定することができる。

なお、ここでは、例えば、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４などで示される局所領域においては、ＧとＭの値には、相関があると仮定する。また、模様の変化する位置では色相は変化しないのが一般的である。つまり、Ｇの値とＭの値とは比例関係（比例係数は正）になるのが一般的である。従って、第１主成分を求める際に、原点を通るという条件付きで求めても良いし、あるいは、第１主成分の方向が負の傾きを持つ場合には、０度方向の模様確度の値を所定の割合で減少させるようにしても良い。

ステップＳ８６において、０度方向の模様分析処理部６１は、全画素分の０度方向の模様確度を算出したか否かを判断する。ステップＳ８６において、全画素分の０度方向の模様確度が算出されていないと判断された場合、処理は、ステップＳ８１に戻り、それ以降の処理が繰り替えさえる。ステップＳ８６において、全画素分の０度方向の模様確度が算出されたと判断された場合、処理は、図１２のステップＳ４２に戻り、ステップＳ４３に進む。

このような処理により、入力画像データのうち、Ｇの色成分を持つ画素の画素値と、Ｍの色成分を持つ画素の画素値とを用いて、注目画素近傍の模様の方向が０度方向である可能性、換言すれば、模様の方向が０度である確度（らしさ）を求めることができる。

次に、図１６のフローチャートを参照して、図１２のステップＳ４３において実行される、４５度方向の模様確度算出処理について説明する。

ステップＳ１１１において、４５度方向の模様分析処理部６２は、未処理の注目画素を１つ選択する。ここで、例えば、注目画素の画素位置を座標（Ｈ，Ｋ）とする。

ステップＳ１１２において、４５度方向の模様分析処理部６２は、注目画素から所定の範囲内に存在するＷの画素を検出する。

例えば、図６を用いて説明したフィルタ配列において、Ｘが偶数、かつ、Ｙが偶数となる複数の座標（Ｘ，Ｙ）には、Ｗで示される画素がある。４５度方向の模様分析処理部６２は、このような座標で示されるＷの画素を検出する。

ステップＳ１１３において、４５度方向の模様分析処理部６２は、検出された全てのＷの画素（Ｘ，Ｙ）に対して、４５度方向に隣接するＭで補間する。

すなわち、ステップＳ１１２において検出された座標（Ｘ，Ｙ）のＷの画素においては、図１７に示されるように、４５度方向に隣接して、座標（Ｘ−１，Ｙ−１）および座標（Ｘ＋１，Ｙ＋１）で示されるＭの画素が配置されている。そこで、これら２つの点のＭの値の平均値を求めることにより、座標（Ｘ，Ｙ）における４５度方向で補間したＭの補間画素値を求めることができる。すなわち、４５度方向の模様分析処理部６２は、式（２）により、Ｘが偶数、かつ、Ｙが偶数となる複数の座標（Ｘ，Ｙ）における４５度方向で補間したＭの値を求めることができる。

Ｘが偶数、かつ、Ｙが偶数となる座標（Ｘ，Ｙ）の４５度方向で補間したＭの値
＝｛（座標（Ｘ−１，Ｙ−１）のＭの値）＋（座標（Ｘ＋１，Ｙ＋１）のＭの値）｝÷２
・・・（２）

ステップＳ１１４において、４５度方向の模様分析処理部６２は、ステップＳ１１２において所定範囲内において検出されたＷに対応する画素位置における、それぞれのＷの画素値と、ステップＳ１１３において求められたＭの補間画素値とを、ＷとＭの２次元空間にプロットし、主成分分析を行う。

すなわち、所定範囲内において、Ｘ座標が偶数、かつ、Ｙ座標が偶数となる座標（Ｘ，Ｙ）の位置の入力画像には、Ｗの画素値が存在し、ステップＳ１１３において、対応する位置のＭの４５度方向の補間画素値が求められた。これを用いて、所定範囲内において、Ｘ座標が偶数、かつ、Ｙ座標が偶数となる複数の座標（Ｘ，Ｙ）において、Ｗの値とＭの値のペアが成立する。したがって、４５度方向の模様分析処理部６２は、この複数のペアを、ＷとＭの２次元空間にプロットすることにより、主成分分析を行うことができる。

ステップＳ１１５において、４５度方向の模様分析処理部６２は、ステップＳ１１４における主成分分析における第１主成分の寄与率を求め、４５度方向の模様確度とする。

第１主成分の寄与率は、（第１主成分の分散値）/（各変量の分散の和）で求められるが、これは（第１主成分の分散値）/（試料全体の散らばり量）と同義である。すなわち、４５度方向に模様が変化しない部分では、４５度方向に補間することで正しく補間されて、ＷとＭの２次元空間にプロットされたペアは、１つの直線上に乗るはずである。換言すれば、４５度方向に模様が変化しない場合、主成分分析の結果、第１主成分以外の寄与率は、略０となる。したがって、第１主成分の寄与率は、注目画素における４５度方向の模様確度と同義である。主成分分析した結果、第１主成分の寄与率が小さければ、４５度方向に模様が変化しているため、４５度方向の補間により正しい補間画像を得ることができないと推定することができる。

なお、ここでは、例えば、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４などで示される局所領域においては、ＷとＭの値には、相関があると仮定する。また、模様の変化する位置では色相は変化しないのが一般的である。つまり、Ｗの値とＭの値とは比例関係（比例係数は正）になるのが一般的である。従って、第１主成分を求める際に、原点を通るという条件付きで求めても良いし、あるいは、第１主成分の方向が負の傾きを持つ場合には、４５度方向の模様確度の値を所定の割合で減少させるようにしても良い。

ステップＳ１１６において、４５度方向の模様分析処理部６２は、全画素分の４５度方向の模様確度を算出したか否かを判断する。ステップＳ１１６において、全画素分の４５度方向の模様確度が算出されていないと判断された場合、処理は、ステップＳ１１１に戻り、それ以降の処理が繰り替えさえる。ステップＳ１１６において、全画素分の４５度方向の模様確度が算出されたと判断された場合、処理は、図１２のステップＳ４３に戻り、ステップＳ４４に進む。

このような処理により、入力画像データのうち、Ｗの色成分を持つ画素の画素値と、Ｍの色成分を持つ画素の画素値とを用いて、注目画素近傍の模様の方向が４５度方向である可能性、換言すれば、模様の方向が４５度である確度（らしさ）を求めることができる。

次に、図１８のフローチャートを参照して、図１２のステップＳ４４において実行される、９０度方向の模様確度算出処理について説明する。

ステップＳ１４１において、９０度方向の模様分析処理部６３は、未処理の注目画素を１つ選択する。ここで、例えば、注目画素の画素位置を座標（Ｈ，Ｋ）とする。

ステップＳ１４２において、９０度方向の模様分析処理部６３は、注目画素から所定の範囲内に存在するＧの画素を検出する。

上述したように、図６を用いて説明したフィルタ配列において、Ｘ座標が偶数、かつ、Ｙ座標が奇数となる複数の座標（Ｘ，Ｙ）には、Ｇで示される画素がある。９０度方向の模様分析処理部６３は、このような座標で示されるＧの画素を検出する。

ステップＳ１４３において、９０度方向の模様分析処理部６３は、検出された全てのＧの画素（Ｘ，Ｙ）に対して、９０度方向に隣接するＷで補間する。

すなわち、ステップＳ１４２において検出された座標（Ｘ，Ｙ）のＧの画素においては、図１９に示されるように、９０度方向に隣接して、座標（Ｘ，Ｙ＋１）および座標（Ｘ，Ｙ−１）で示されるＷの画素が配置されている。そこで、これら２つの点のＷの値の平均値を求めることにより、座標（Ｘ，Ｙ）の９０度方向に補間されたＷの補間画素値を求めることができる。すなわち、９０度方向の模様分析処理部６３は、式（３）により、Ｘが偶数、かつ、Ｙが奇数となる座標（Ｘ，Ｙ）の９０度方向に補間されたＷの値を求めることができる。

Ｘが偶数、Ｙが奇数となる座標（Ｘ，Ｙ）の９０度方向に補間されたＷの値
＝｛（座標（Ｘ，Ｙ＋１）のＷの値）＋（座標（Ｘ，Ｙ−１）のＷの値）｝÷２
・・・（３）

ステップＳ１４４において、９０度方向の模様分析処理部６３は、ステップＳ１４２において所定範囲内において検出されたＧに対応する画素位置における、それぞれのＧの画素値と、ステップＳ１４３において求められたＷの補間画素値とを、ＧとＷの２次元空間にプロットし、主成分分析を行う。

すなわち、所定範囲内において、Ｘ座標が偶数、かつ、Ｙ座標が奇数となる座標（Ｘ，Ｙ）の位置の入力画像には、Ｇの画素値が存在し、ステップＳ１４３において、対応する位置のＷの９０度方向の補間画素値が求められた。これを用いて、所定範囲内において、Ｘ座標が偶数、かつ、Ｙ座標が奇数となる複数の座標（Ｘ，Ｙ）において、Ｇの値とＷの値のペアが成立する。したがって、９０度方向の模様分析処理部６３は、この複数のペアを、ＧとＷの２次元空間にプロットすることにより、主成分分析を行うことができる。

ステップＳ１４５において、９０度方向の模様分析処理部６３は、ステップＳ１４４における主成分分析における第１主成分の寄与率を求め、９０度方向の模様確度とする。

第１主成分の寄与率は、（第１主成分の分散値）/（各変量の分散の和）で求められるが、これは（第１主成分の分散値）/（試料全体の散らばり量）と同義である。すなわち、９０度方向に模様が変化しない部分では、９０度方向に補間することで正しく補間されて、ＧとＷの２次元空間にプロットされたペアは、１つの直線上に乗るはずである。換言すれば、９０度方向に模様が変化しない場合、主成分分析の結果、第１主成分以外の寄与率は、略０となる。したがって、第１主成分の寄与率は、注目画素における９０度方向の模様確度と同義である。主成分分析した結果、第１主成分の寄与率が小さければ、９０度方向に模様が変化しているため、９０度方向の補間により正しい補間画像を得ることができないと推定することができる。

なお、ここでは、例えば、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４などで示される局所領域においては、ＧとＷの値には、相関があると仮定する。また、模様の変化する位置では色相は変化しないのが一般的である。つまり、Ｇの値とＷの値とは比例関係（比例係数は正）になるのが一般的である。従って、第１主成分を求める際に、原点を通るという条件付きで求めても良いし、あるいは、第１主成分の方向が負の傾きを持つ場合には、９０度方向の模様確度の値を所定の割合で減少させるようにしても良い。

ステップＳ１４６において、９０度方向の模様分析処理部６３は、全画素分の９０度方向の模様確度を算出したか否かを判断する。ステップＳ１４６において、全画素分の９０度方向の模様確度が算出されていないと判断された場合、処理は、ステップＳ１４１に戻り、それ以降の処理が繰り替えさえる。ステップＳ１４６において、全画素分の９０度方向の模様確度が算出されたと判断された場合、処理は、図１２のステップＳ４４に戻り、ステップＳ４５に進む。

このような処理により、入力画像データのうち、Ｇの色成分を持つ画素の画素値と、Ｗの色成分を持つ画素の画素値とを用いて、注目画素近傍の模様の方向が９０度方向である可能性、換言すれば、模様の方向が９０度である確度（らしさ）を求めることができる。

次に、図２０のフローチャートを参照して、図１２のステップＳ４５において実行される、１３５度方向の模様確度算出処理について説明する。

ステップＳ１７１において、１３５度方向の模様分析処理部６４は、未処理の注目画素を１つ選択する。ここで、例えば、注目画素の画素位置を座標（Ｈ，Ｋ）とする。

ステップＳ１７２において、１３５度方向の模様分析処理部６４は、注目画素から所定の範囲内に存在するＷの画素を検出する。

例えば、図６を用いて説明したフィルタ配列において、Ｘ座標が偶数、かつ、Ｙ座標が偶数となる複数の座標（Ｘ，Ｙ）には、Ｗで示される画素がある。１３５度方向の模様分析処理部６４は、このような座標で示されるＷの画素を検出する。

ステップＳ１７３において、１３５度方向の模様分析処理部６４は、検出された全てのＷの画素（Ｘ，Ｙ）に対して、１３５度方向に隣接するＭで補間する。

すなわち、ステップＳ１７２において検出された座標（Ｘ，Ｙ）のＷの画素においては、図２１に示されるように、１３５度方向に隣接して、座標（Ｘ−１，Ｙ＋１）および座標（Ｘ＋１，Ｙ−１）で示されるＭの画素が配置されている。そこで、これら２つの点のＭの値の平均値を求めることにより、座標（Ｘ，Ｙ）の１３５度方向に補間されたＭの補間画素値を求めることができる。すなわち、１３５度方向の模様分析処理部６４は、式（４）により、Ｘが偶数、かつ、Ｙが偶数となる座標（Ｘ，Ｙ）における１３５度方向に補間されたＭの値を求めることができる。

Ｘが偶数、Ｙが偶数となる座標（Ｘ，Ｙ）で１３５度方向に補間されたＭの値
＝｛（座標（Ｘ−１，Ｙ＋１）のＭの値）＋（座標（Ｘ＋１，Ｙ−１）のＭの値）｝÷２
・・・（４）

ステップＳ１７４において、１３５度方向の模様分析処理部６４は、ステップＳ１７２において所定範囲内において検出されたＷに対応する画素位置における、それぞれのＷの画素値と、ステップＳ１７３において求められたＭの補間画素値とを、ＷとＭの２次元空間にプロットし、主成分分析を行う。

すなわち、所定範囲内において、Ｘ座標が偶数、かつ、Ｙ座標が偶数となる座標（Ｘ，Ｙ）の位置の入力画像には、Ｗの画素値が存在し、ステップＳ１７３において、対応する位置のＭの１３５度方向の補間画素値が求められた。これを用いて、所定範囲内において、Ｘ座標が偶数、かつ、Ｙ座標が偶数となる複数の座標（Ｘ，Ｙ）において、Ｗの値とＭの値のペアが成立する。したがって、１３５度方向の模様分析処理部６４は、この複数のペアを、ＷとＭの２次元空間にプロットすることにより、主成分分析を行うことができる。

ステップＳ１７５において、１３５度方向の模様分析処理部６４は、ステップＳ１７４における主成分分析における第１主成分の寄与率を求め、１３５度方向の模様確度とする。

第１主成分の寄与率は、（第１主成分の分散値）/（各変量の分散の和）で求められるが、これは（第１主成分の分散値）/（試料全体の散らばり量）と同義である。すなわち、１３５度方向に模様が変化しない部分では、１３５度方向に補間することで正しく補間されて、ＷとＭの２次元空間にプロットされたペアは、１つの直線上に乗るはずである。換言すれば、１３５度方向に模様が変化しない場合、主成分分析の結果、第１主成分以外の寄与率は、略０となる。したがって、第１主成分の寄与率は、注目画素における１３５度方向の模様確度と同義である。主成分分析した結果、第１主成分の寄与率が小さければ、１３５度方向に模様が変化しているため、１３５度方向の補間により正しい補間画像を得ることができないと推定することができる。

なお、ここでは、例えば、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４などで示される局所領域においては、ＷとＭの値には、相関があると仮定する。また、模様の変化する位置では色相は変化しないのが一般的である。つまり、Ｗの値とＭの値とは比例関係（比例係数は正）になるのが一般的である。従って、第１主成分を求める際に、原点を通るという条件付きで求めても良いし、あるいは、第１主成分の方向が負の傾きを持つ場合には、１３５度方向の模様確度の値を所定の割合で減少させるようにしても良い。

ステップＳ１７６において、１３５度方向の模様分析処理部６４は、全画素分の１３５度方向の模様確度を算出したか否かを判断する。ステップＳ１７６において、全画素分の１３５度方向の模様確度が算出されていないと判断された場合、処理は、ステップＳ１７１に戻り、それ以降の処理が繰り替えさえる。ステップＳ１７６において、全画素分の１３５度方向の模様確度が算出されたと判断された場合、処理は、図１２のステップＳ４５に戻り、ステップＳ４６に進む。

このような処理により、入力画像データのうち、Ｗの色成分を持つ画素の画素値と、Ｍの色成分を持つ画素の画素値とを用いて、注目画素近傍の模様の方向が１３５度方向である可能性、換言すれば、模様の方向が１３５度である確度（らしさ）を求めることができる。

次に、図２２および図２３のフローチャートを参照して、図１２のステップＳ４６において実行される、角度補間適正度算出処理について説明する。

ここで、図１４乃至図２１を用いて説明した、それぞれの角度における模様確度は、他の角度のことは考えずに、模様の角度としてその角度が正しいかを判定する指標として用いられている。それに対して、適正度という言葉は、他の角度のことも考慮して、模様の角度としてその角度が正しいかを判定する指標として用いられている。

ステップＳ２０１において、模様方向判定部６５は、未処理の注目画素を１つ選択する。

ステップＳ２０２において、模様方向判定部６５は、注目画素の０度方向の模様確度と９０度方向の模様確度を基に、０度と９０度のうちの０度方向に模様がある確度Ｐ０を求める。具体的には、模様方向判定部６５は、０度と９０度のうちの０度方向に模様がある確度Ｐ０＝（０度方向の模様確度）÷｛（０度方向の模様確度）＋（９０度方向の模様確度）｝を求める。

ステップＳ２０３において、模様方向判定部６５は、注目画素の０度方向の模様確度と９０度方向の模様確度を基に、０度と９０度のうちの９０度方向に模様がある確度Ｐ９０を求める。具体的には、模様方向判定部６５は、０度と９０度のうちの９０度方向に模様がある確度＝（９０度方向の模様確度）÷｛（０度方向の模様確度）＋（９０度方向の模様確度）｝を求める。

ステップＳ２０４において、模様方向判定部６５は、注目画素の４５度方向の模様確度と１３５度方向の模様確度を基に、４５度と１３５度のうちの４５度方向に模様がある確度Ｐ４５を求める。具体的には、模様方向判定部６５は、４５度と１３５度のうちの４５度方向に模様がある確度Ｐ４５＝（４５度方向の模様確度）÷｛（４５度方向の模様確度）＋（１３５度方向の模様確度）｝を求める。

ステップＳ２０５において、模様方向判定部６５は、注目画素の４５度方向の模様確度と１３５度方向の模様確度を基に、４５度と１３５度のうちの１３５度方向に模様がある確度Ｐ１３５を求める。具体的には、模様方向判定部６５は、４５度と１３５度のうちの１３５度方向に模様がある確度Ｐ１３５＝（１３５度方向の模様確度）÷｛（４５度方向の模様確度）＋（１３５度方向の模様確度）｝を求める。

なお、ステップＳ２０２およびステップＳ２０３において求められた確度Ｐ０および確度Ｐ９０は、４５度方向の模様確度および１３５度方向の模様確度を考慮しない値であり、ステップＳ２０４およびステップＳ２０５において求められた確度Ｐ４５および確度Ｐ１３５は、０度方向の模様確度および９０度方向の模様確度を考慮しない値である。

ステップＳ２０６において、模様方向判定部６５は、得られた確度Ｐ０と確度Ｐ９０を用いて、模様が０度または９０度のいずれかの方向である確度Ｑ０９０を求める。具体的には、模様方向判定部６５は、模様が０度または９０度のいずれかの方向である確度Ｑ０９０を、（Ｐ０−Ｐ９０の絶対値）÷｛（Ｐ０−Ｐ９０の絶対値）＋（Ｐ４５−Ｐ１３５の絶対値）｝として算出する。

ステップＳ２０７において、模様方向判定部６５は、得られた確度Ｐ４５と確度Ｐ１３５を用いて、模様が４５度または１３５度のいずれかの方向である確度Ｑ４５１３５を求める。具体的には、模様方向判定部６５は、模様が４５度または１３５度のいずれかの方向である確度Ｑ４５１３５を、（Ｐ４５−Ｐ１３５の絶対値）÷｛（Ｐ０−Ｐ９０の絶対値）＋（Ｐ４５−Ｐ１３５の絶対値）｝として算出する。

ステップＳ２０８において、模様方向判定部６５は、得られた確度Ｐ０と確度Ｑ０９０とを基に、０度補間の適正度を算出する。具体的には、模様方向判定部６５は、０度方向補間の適正度＝Ｐ０×Ｑ０９０を求める。

ステップＳ２０９において、模様方向判定部６５は、得られた確度Ｐ９０と確度Ｑ０９０とを基に、９０度補間の適正度を算出する。具体的には、模様方向判定部６５は、９０度方向補間の適正度＝Ｐ９０×Ｑ０９０を求める。

ステップＳ２１０において、模様方向判定部６５は、得られた確度Ｐ４５と確度Ｑ４５１３５とを基に、４５度補間の適正度を算出する。具体的には、模様方向判定部６５は、４５度方向補間の適正度＝Ｐ４５×Ｑ４５１３５を求める。

ステップＳ２１１において、模様方向判定部６５は、得られた確度Ｐ１３５と確度Ｑ４５１３５とを基に、１３５度補間の適正度を算出する。具体的には、模様方向判定部６５は、１３５度方向補間の適正度＝Ｐ１３５×Ｑ４５１３５を求める。

ステップＳ２１２において、模様方向判定部６５は、全ての画素における処理が終了したか否かを判断する。ステップＳ２１２において、全ての画素における処理が終了していないと判断された場合、処理は、ステップＳ２０１に戻り、それ以降の処理が繰り返される。ステップＳ２１２において、全ての画素における処理が終了していないと判断された場合、処理は、図１２のステップＳ４６に戻り、ステップＳ４７に進む。

このような処理により、まず、０度方向の模様確度と９０度方向の模様確度の２つから、０度方向補間の適正度と９０度方向補間の適正度の比が求められ、４５度方向の模様確度と１３５度方向の模様確度の２つから、４５度方向補間の適正度と１３５度方向補間の適正度の比が求められる。これにより、直交する２つの方向に対して、どちらが、どれだけ正しいと考えられるかが推定される。

そして、次に、０度方向補間の適正度と９０度方向補間の適正度の合計と、４５度方向補間の適正度と１３５度方向補間の適正度の合計との比が求められる。そして、最終的に、０度方向補間の適正度、４５度方向補間の適正度、９０度方向補間の適正度、および、１３５度方向補間の適正度が求められる。

４５度だけずれた方向の違いを判定するのは難しいが、９０度ずれた方向の違いを判定するのは比較的容易である。すなわち、「０度方向補間の適正度と４５度方向補間の適正度の比」から、０度方向の補間の適正度と４５度方向の補間の適正度とをそれぞれ求める事は、方向が４５度という僅かな違いなので、困難であるが、それに対して、「０度方向補間の適正度と９０度方向補間の適正度の比」から、０度方向の補間の適正度と９０度方向の補間の適正度とをそれぞれ求める事は、それぞれの角度が大きく異なるため、容易である。したがって、このような手順により、複雑な演算処理を行うことなく、それぞれの角度の補間の適正度を求めることが可能となる。

具体的な例として、０度方向の模様がある場合、それぞれの角度に対して、どのような適正度が求められるかについて説明する。

まず、０度方向の模様であるため、「０度方向の模様確度」は大きく、そして、それと直交する「９０度方向の模様確度」は小さい。そのため、ステップＳ２０１およびステップＳ２０２において求められる確度Ｐ０および確度Ｐ９０は、Ｐ０≒１、Ｐ９０≒０となる。また、４５度方向と、１３５度方向に関しては、それぞれ、実際の模様の方向に対して、同じ角度（４５度）だけずれているので、「４５度方向の模様確度」≒「１３５度方向の模様確度」となる。そのため、ステップＳ２０４およびステップＳ２０５において求められる確度Ｐ４５および確度Ｐ１３５は、Ｐ４５≒Ｐ１３５となる。

したがって、ステップＳ２０６において、確度Ｑ０９０≒１÷（１＋０）≒１が求められ、ステップＳ２０７において、確度Ｑ４５１３５≒０÷（１＋０）≒０が求められる。そして、ステップＳ２０８において、「０度方向補間の適正度」≒１×１≒１、ステップＳ２０９において、「９０度方向補間の適正度」≒０が求められる。また、ステップＳ２１０において、「４５度方向補間の適正度」≒０、ステップＳ２１１において、「１３５度方向補間の適正度」≒０が求められる。したがって、０度方向の補間によりデモザイク処理が行われて、良好な画像を得ることができる。

また、例えば、模様のない被写体を投影した部分については、０度方向の模様確度、４５度方向の模様確度、９０度方向の模様確度、１３５度方向の模様確度のすべての値が、同程度に大きいので、結果として、０度方向補間の適正度≒０．２５、４５度方向補間の適正度≒０．２５、９０度方向補間の適正度≒０．２５、１３５度方向補間の適正度≒０．２５となり、全ての方向について、同程度の重みで補間処理が実行される。

次に、図２４のフローチャートを参照して、図１３のステップＳ４７において実行される、０度方向補間Ｇ成分画像生成処理について説明する。

図６を用いて説明したカラーフィルタ２２のフィルタ配列においては、Ｙ軸の値が奇数であるラインには、入力画像中に一つおきにＧの値が存在しているので、Ｍで示される画素においては、０度方向の補間により、Ｇの補間画素値を算出することが出来る。しかしながら、Ｙ軸の値が偶数であるラインは、入力画像中にＧの値が存在しないので、０度方向の補間によりＧの補間画素値を直接計算することが出来ない。そこで、まず、０度方向の補間により、全ての画素におけるＷの画像を計算し、その後、ＧとＷの相関により、全画素におけるＧを計算するものとする。

まず、ステップＳ２４１において、０度方向補間Ｇ画像計算処理部７１は、Ｗの値の抽出または補間処理が未処理の注目画素を１つ選択する。

ステップＳ２４２において、０度方向補間Ｇ画像計算処理部７１は、注目画素は、Ｗの画素値を有する画素であるか否かを判断する。Ｘは偶数、かつ、Ｙは偶数となる座標（Ｘ，Ｙ）には、もともとＷで示される画素がある。ステップＳ２４２において、注目画素は、Ｗの画素値を有する画素であると判断された場合、この値を、座標（Ｘ，Ｙ）におけるＷの値とすれば良いので、処理は、後述するステップＳ２５１に進む。

ステップＳ２４２において、注目画素は、Ｗの画素値を有する画素ではないと判断された場合、ステップＳ２４３において、０度方向補間Ｇ画像計算処理部７１は、注目画素に対して０度方向に隣接する画素として、Ｗの画素が存在するか否かを判断する。Ｘは奇数、かつ、Ｙは偶数となる座標（Ｘ，Ｙ）の画素に対して、０度方向に隣接する座標（Ｘ−１，Ｙ）および座標（Ｘ＋１，Ｙ）の画素は、Ｗの画素値を有している。ステップＳ２４３において、注目画素に対して０度方向にＷの画素が存在しないと判断された場合、処理は、後述するステップＳ２４５に進む。

ステップＳ２４３において、注目画素に対して０度方向にＷの画素が存在すると判断された場合、ステップＳ２４４において、０度方向補間Ｇ画像計算処理部７１は、０度方向に隣接しているＷの画素値を基に、Ｗの補間値を得る。すなわち、０度方向補間Ｇ画像計算処理部７１は、座標（Ｘ−１，Ｙ）における画素値と座標（Ｘ＋１，Ｙ）における画素値との平均を、座標（Ｘ，Ｙ）におけるＷの補間画素値とし、処理は、後述するステップＳ２５１に進む。

ステップＳ２４３において、注目画素に対して０度方向にＷの画素が存在しないと判断された場合、ステップＳ２４５において、０度方向補間Ｇ画像計算処理部７１は、注目画素は、Ｇの画素値を有する画素であるか否かを判断する。ステップＳ２４５において、注目画素は、Ｇの画素値を有する画素ではないと判断された場合、処理は、後述するステップＳ２４８に進む。

ステップＳ２４５において、注目画素は、Ｇの画素値を有する画素であると判断された場合、ステップＳ２４６において、０度方向補間Ｇ画像計算処理部７１は、０度方向に隣接するＭの画素値を基に、注目画素のＭの補間値を得る。すなわち、Ｘは偶数、かつ、Ｙは奇数となる座標（Ｘ，Ｙ）には、Ｇで示される画素がある。そして、その画素に対して、０度方向に隣接する画素、すなわち、座標（Ｘ−１，Ｙ）および座標（Ｘ＋１，Ｙ）の位置にはＭで示される画素があるので、これら２点の平均値を、座標（Ｘ，Ｙ）におけるＭの補間画素値とすることができる。

ステップＳ２４７において、０度方向補間Ｇ画像計算処理部７１は、Ｗの画素値＝Ｇの画素値＋Ｍの画素値であることに基づいて、注目画素のＧの画素値とＭの補間値とを加算して、Ｗの画素値を求め、処理は、後述するステップＳ２５１に進む。

ステップＳ２４５において、注目画素は、Ｇの画素値を有する画素ではないと判断された場合、ステップＳ２４８において、０度方向補間Ｇ画像計算処理部７１は、注目画素は、Ｍの画素値を有する画素であるか否かを判断する。ステップＳ２４８において、注目画素は、Ｍの画素値を有する画素ではないと判断された場合、処理は、後述するステップＳ２５１に進む。

ステップＳ２４８において、注目画素は、Ｍの画素値を有する画素であると判断された場合、ステップＳ２４９において、０度方向補間Ｇ画像計算処理部７１は、注目画素に対して０度方向に隣接する画素が有するＧの画素値を基に、注目画素におけるＧの補間値を得る。すなわち、Ｘは奇数、かつ、Ｙは奇数となる座標（Ｘ，Ｙ）には、Ｍで示される画素がある。そして、その画素に対して０度方向に隣接する画素、すなわち、座標（Ｘ−１，Ｙ）および座標（Ｘ＋１，Ｙ）の位置にはＧで示される画素があるので、これら２点の平均値を、座標（Ｘ，Ｙ）におけるＧの補間画素値とすることができる。

ステップＳ２５０において、０度方向補間Ｇ画像計算処理部７１は、Ｗの画素値＝Ｇの画素値＋Ｍの画素値であることに基づいて、注目画素のＭの画素値とＧの補間値とを加算して、Ｗの画素値を求め、処理は、後述するステップＳ２５１に進む。

ステップＳ２４２において、注目画素は、Ｗの画素値を有する画素であると判断された場合、ステップＳ２４４、もしくは、ステップＳ２４７の処理の終了後、ステップＳ２４８において、注目画素は、Ｍの画素値を有する画素ではないと判断された場合、または、ステップＳ２５０の処理の終了後、ステップＳ２５１において、０度方向補間Ｇ画像計算処理部７１は、全ての画素においてＷの値が得られたか否かを判断する。ステップＳ２５１において、全ての画素においてＷの値が得られていないと判断された場合、処理は、ステップＳ２４１に戻り、それ以降の処理が繰り返される。

ステップＳ２５１において、全ての画素においてＷの値が得られたと判断された場合、ステップＳ２５２において、０度方向補間Ｇ画像計算処理部７１は、Ｇの値の決定処理が未処理の注目画素を１つ選択する。

ステップＳ２５３において、０度方向補間Ｇ画像計算処理部７１は、注目画素から所定の範囲内に存在するＧの画素を検出する。ここで、所定の範囲とは、主成分分析のためのサンプル数や、注目画素と離れることによる相関性の強さなどの条件を基に経験的または実験的に定められる範囲である。所定の範囲とは、例えば、注目画素の画素位置を座標（Ｈ，Ｋ）とした場合に、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４となる座標（Ｘ、Ｙ）で示される９×９画素の範囲などであっても良く、これ以外の大きさであっても、また、注目画素を中心として、画素間の距離が近い画素から選択される所定数の画素の範囲であっても良い。

また、ここでいう所定の範囲、および、後述する９０度方向補間Ｇ成分画像生成処理における所定の範囲は、上述した、０度、４５度、９０度、または、１３５度のそれぞれの方向の模様確度算出処理において用いた所定の範囲と同一であっても、異なるものであっても良い。

ステップＳ２５４において、０度方向補間Ｇ画像計算処理部７１は、ステップＳ２５３において検出されたそれぞれの画素のＧの画素値と、その画素位置において求められたＷの値とを、ＧとＷの２次元空間にプロットし、主成分分析を行う。

すなわち、上述した処理により、全ての画素位置におけるＷの値が求められているので、当然、検出されたＧの画素の画素位置においても、Ｗの画素値が求められている。したがって、所定の範囲を、注目画素の座標（Ｈ，Ｋ）に対して、例えば、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４としたとき、Ｘは偶数、かつ、Ｙは奇数となる座標（Ｘ，Ｙ）で示されるＧの画素は所定の範囲内に複数含まれるので、Ｗの値とＧの値とのペアを複数作ることが出来る。この複数のペアを、ＷとＧの２次元空間にプロットし、主成分分析を行うことにより、図２５に示されるような、第１主成分の直線を求めることができる。

ここで、ステップＳ２５３において検出された、所定範囲内のＧの画素値の分散をvarianceＧ、平均をAveＧとし、それらの画素位置におけるＷの画素値の分散をvarianceＷ、平均をAveＷとしたとき、第１主成分の直線の式は、次の式(５)で示される。

ただし、係数Ｓは、正の相関のときは＋１、負の相関のときは−１である。

ステップＳ２５５において、０度方向補間Ｇ画像計算処理部７１は、主成分分析の結果得られた直線と、注目画素におけるＷの画素値とを基に、Ｇの画素値を求める。

具体的には、図２５に示されるように、第１主成分の直線上における注目画素のＷの画素値に対応するＧの画素値を求めるものであり、式(５)に示した直線の式に、注目画素（Ｈ，Ｋ）におけるＷの値を代入することにより、Ｇの値がもとめられる。ただし、ここでは、例えば、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４などの所定範囲内においては、ＷとＧの値には相関があると仮定する。

ステップＳ２５６において、０度方向補間Ｇ画像計算処理部７１は、全ての画素においてＧの値が得られたか否かを判断する。ステップＳ２５６において、全ての画素においてＧの値が得られていないと判断された場合、処理は、ステップＳ２５２に戻り、それ以降の処理が繰り返される。ステップＳ２５６において、全ての画素においてＧの値が得られたと判断された場合、処理は、図１３のステップＳ４７にもどり、ステップＳ４８に進む。

このような処理により、０度方向の補間により、全ての画素におけるＷの画像を計算し、その結果を用いて、ＧとＷの相関により、全画素におけるＧを計算して、０度方向の補間によるＧ成分の画像を得ることができる。

次に、図２６のフローチャートを参照して、図１３のステップＳ４８において実行される、４５度方向補間Ｇ成分画像生成処理について説明する。

図６を用いて説明したカラーフィルタ２２のフィルタ配列においては、Ｘ＋Ｙが奇数となる座標（Ｘ，Ｙ）により構成される、４５度方向に伸びるラインには、入力画像中に一つおきにＧの値が存在しているので、ＲまたはＢで示される画素においては、４５度方向の補間により、Ｇの補間画素値を算出することが出来る。しかしながら、Ｘ＋Ｙが偶数となる座標（Ｘ，Ｙ）により構成される、４５度方向に伸びるラインには、入力画像中にＧの値は存在しないが、ＷまたはＭにより構成されているので、Ｗ−Ｍにより、Ｇの値を計算することができる。

まず、ステップＳ２８１において、４５度方向補間Ｇ画像計算処理部７２は、Ｇの値の抽出または補間処理が未処理の注目画素を１つ選択する。

ステップＳ２８２において、４５度方向補間Ｇ画像計算処理部７２は、注目画素は、Ｇの画素値を有する画素であるか否かを判断する。Ｘは偶数、かつ、Ｙは奇数となる座標（Ｘ，Ｙ）には、もともとＧで示される画素がある。ステップＳ２８２において、注目画素は、Ｇの画素値を有する画素であると判断された場合、この値を、座標（Ｘ，Ｙ）におけるＧの値とすれば良いので、処理は、後述するステップＳ２９１に進む。

ステップＳ２８２において、注目画素は、Ｇの画素値を有する画素ではないと判断された場合、ステップＳ２８３において、４５度方向補間Ｇ画像計算処理部７２は、注目画素に対して４５度方向に隣接する画素として、Ｇの画素が存在するか否かを判断する。Ｘ＋Ｙが奇数となる座標（Ｘ，Ｙ）の画素に対して、４５度方向に隣接する座標（Ｘ−１，Ｙ−１）および座標（Ｘ＋１，Ｙ＋１）の画素は、Ｇの画素値を有している。ステップＳ２８３において、注目画素に対して４５度方向にＧの画素が存在しないと判断された場合、処理は、後述するステップＳ２８５に進む。

ステップＳ２８３において、注目画素に対して４５度方向にＧの画素が存在すると判断された場合、ステップＳ２８４において、４５度方向補間Ｇ画像計算処理部７２は、４５度方向のＧの画素値を基に、Ｇの補間値を得る。すなわち、４５度方向補間Ｇ画像計算処理部７２は、座標（Ｘ−１，Ｙ−１）における画素値と座標（Ｘ＋１，Ｙ＋１）における画素値との平均を、座標（Ｘ，Ｙ）におけるＧの補間画素値とし、処理は、後述するステップＳ２９１に進む。

ステップＳ２８３において、注目画素に対して４５度方向にＧの画素が存在しないと判断された場合、ステップＳ２８５において、４５度方向補間Ｇ画像計算処理部７２は、注目画素は、Ｗの画素値を有する画素であるか否かを判断する。ステップＳ２８５において、注目画素は、Ｗの画素値を有する画素ではないと判断された場合、処理は、後述するステップＳ２８８に進む。

ステップＳ２８５において、注目画素は、Ｗの画素値を有する画素であると判断された場合、ステップＳ２８６において、４５度方向補間Ｇ画像計算処理部７２は、４５度方向のＭの画素値を基に、Ｍの補間値を得る。すなわち、Ｘは偶数、かつ、Ｙは偶数となる座標（Ｘ，Ｙ）には、Ｗで示される画素がある。そして、その画素に対して、４５度方向に隣接する画素、すなわち、座標（Ｘ−１，Ｙ−１）および座標（Ｘ＋１，Ｙ＋１）の位置にはＭで示される画素があるので、これら２点の平均値を、座標（Ｘ，Ｙ）におけるＭの補間画素値とすることができる。

ステップＳ２８７において、４５度方向補間Ｇ画像計算処理部７２は、Ｇの画素値＝Ｗの画素値−Ｍの画素値であることに基づいて、注目画素のＷの画素値からＭの補間値を減算して、Ｇの画素値を求め、処理は、後述するステップＳ２９１に進む。

ステップＳ２８５において、注目画素は、Ｗの画素値を有する画素ではないと判断された場合、ステップＳ２８８において、４５度方向補間Ｇ画像計算処理部７２は、注目画素は、Ｍの画素値を有する画素であるか否かを判断する。ステップＳ２８８において、注目画素は、Ｍの画素値を有する画素ではないと判断された場合、処理は、後述するステップＳ２９１に進む。

ステップＳ２８８において、注目画素は、Ｍの画素値を有する画素であると判断された場合、ステップＳ２８９において、４５度方向補間Ｇ画像計算処理部７２は、注目画素に対して４５度方向に隣接する画素が有するＷの画素値を基に、Ｗの補間値を得る。すなわち、Ｘは奇数、かつ、Ｙは奇数となる座標（Ｘ，Ｙ）には、Ｍで示される画素がある。そして、その画素に対して４５度方向に隣接する画素、すなわち、座標（Ｘ−１，Ｙ−１）および座標（Ｘ＋１，Ｙ＋１）の位置にはＷで示される画素があるので、これら２点の平均値を、座標（Ｘ，Ｙ）におけるＷの補間画素値とすることができる。

ステップＳ２９０において、４５度方向補間Ｇ画像計算処理部７２は、Ｇの画素値＝Ｗの画素値−Ｍの画素値であることに基づいて、注目画素のＷの補間値からＭの画素値を減算して、Ｇの画素値を求め、処理は、後述するステップＳ２９１に進む。

ステップＳ２８２において、注目画素は、Ｇの画素値を有する画素であると判断された場合、ステップＳ２８４、もしくは、ステップＳ２８７の処理の終了後、ステップＳ２８８において、注目画素は、Ｍの画素値を有する画素ではないと判断された場合、または、ステップＳ２９０の処理の終了後、ステップＳ２９１において、４５度方向補間Ｇ画像計算処理部７２は、全ての画素においてＧの値が得られたか否かを判断する。

ステップＳ２９１において、全ての画素においてＧの値が得られていないと判断された場合、処理は、ステップＳ２８１に戻り、それ以降の処理が繰り返される。ステップＳ２９１において、全ての画素においてＧの値が得られたと判断された場合、処理は、図１３のステップＳ４８に戻り、ステップＳ４９に進む。

このような処理により、４５度方向の補間により、Ｇ成分の画像を得ることができる。

次に、図２７のフローチャートを参照して、図１３のステップＳ４９において実行される、９０度方向補間Ｇ成分画像生成処理について説明する。

図６を用いて説明したカラーフィルタ２２のフィルタ配列においては、Ｘ軸の値が偶数であるラインには、入力画像中に一つおきにＧの値が存在しているので、Ｗで示される画素においては、９０度方向の補間により、Ｇの補間画素値を算出することが出来る。しかしながら、Ｘ軸の値が奇数であるラインは、入力画像中にＧの値が存在しないので、９０度方向の補間によりＧの補間画素値を直接計算することが出来ない。そこで、まず、９０度方向の補間により、全ての画素におけるＭの画像を計算し、その後、ＧとＭの相関により、全画素におけるＧを計算するものとする。

まず、ステップＳ３２１において、９０度方向補間Ｇ画像計算処理部７３は、Ｍの値の抽出または補間処理が未処理の注目画素を１つ選択する。

ステップＳ３２２において、９０度方向補間Ｇ画像計算処理部７３は、注目画素は、Ｍの画素値を有する画素であるか否かを判断する。Ｘは奇数、かつ、Ｙは奇数となる座標（Ｘ，Ｙ）には、もともとＭで示される画素がある。ステップＳ３２２において、注目画素は、Ｍの画素値を有する画素であると判断された場合、この値を、座標（Ｘ，Ｙ）におけるＭの値とすれば良いので、処理は、後述するステップＳ３３１に進む。

ステップＳ３２２において、注目画素は、Ｍの画素値を有する画素ではないと判断された場合、ステップＳ３２３において、９０度方向補間Ｇ画像計算処理部７３は、注目画素に対して９０度方向に隣接する画素として、Ｍの画素が存在するか否かを判断する。Ｘは奇数、かつ、Ｙは偶数となる座標（Ｘ，Ｙ）の画素に対して、９０度方向に隣接する座標（Ｘ，Ｙ−１）および座標（Ｘ，Ｙ＋１）の画素は、Ｍの画素値を有している。ステップＳ３２３において、注目画素に対して９０度方向にＭの画素が存在しないと判断された場合、処理は、後述するステップＳ３２５に進む。

ステップＳ３２３において、注目画素に対して９０度方向にＭの画素が存在すると判断された場合、ステップＳ３２４において、９０度方向補間Ｇ画像計算処理部７３は、９０度方向のＭの画素値を基に、Ｍの補間値を得る。すなわち、９０度方向補間Ｇ画像計算処理部７３は、座標（Ｘ，Ｙ−１）における画素値と座標（Ｘ，Ｙ＋１）における画素値との平均を、座標（Ｘ，Ｙ）におけるＭの補間画素値とし、処理は、後述するステップＳ３３１に進む。

ステップＳ３２３において、注目画素に対して９０度方向にＭの画素が存在しないと判断された場合、ステップＳ３２５において、９０度方向補間Ｇ画像計算処理部７３は、注目画素は、Ｇの画素値を有する画素であるか否かを判断する。ステップＳ３２５において、注目画素は、Ｇの画素値を有する画素ではないと判断された場合、処理は、後述するステップＳ３２８に進む。

ステップＳ３２５において、注目画素は、Ｇの画素値を有する画素であると判断された場合、ステップＳ３２６において、９０度方向補間Ｇ画像計算処理部７３は、９０度方向のＷの画素値を基に、Ｗの補間値を得る。すなわち、Ｘは偶数、かつ、Ｙは奇数となる座標（Ｘ，Ｙ）には、Ｇで示される画素がある。そして、その画素に対して、９０度方向に隣接する画素、すなわち、座標（Ｘ，Ｙ−１）および座標（Ｘ，Ｙ＋１）の位置にはＷで示される画素があるので、これら２点の平均値を、座標（Ｘ，Ｙ）におけるＷの補間画素値とすることができる。

ステップＳ３２７において、９０度方向補間Ｇ画像計算処理部７３は、Ｍの画素値＝Ｗの画素値−Ｇの画素値であることに基づいて、注目画素のＷの補間値からＧの画素値を減算して、Ｍの画素値を求め、処理は、後述するステップＳ３３１に進む。

ステップＳ３２５において、注目画素は、Ｇの画素値を有する画素ではないと判断された場合、ステップＳ３２８において、９０度方向補間Ｇ画像計算処理部７３は、注目画素は、Ｗの画素値を有する画素であるか否かを判断する。ステップＳ３２８において、注目画素は、Ｗの画素値を有する画素ではないと判断された場合、処理は、後述するステップＳ３３１に進む。

ステップＳ３２８において、注目画素は、Ｗの画素値を有する画素であると判断された場合、ステップＳ３２９において、９０度方向補間Ｇ画像計算処理部７３は、注目画素に対して９０度方向に隣接する画素が有するＧの画素値を基に、Ｇの補間値を得る。すなわち、Ｘは偶数、かつ、Ｙは偶数となる座標（Ｘ，Ｙ）には、Ｗで示される画素がある。そして、その画素に対して９０度方向に隣接する画素、すなわち、座標（Ｘ，Ｙ−１）および座標（Ｘ，Ｙ＋１）の位置にはＧで示される画素があるので、これら２点の平均値を、座標（Ｘ，Ｙ）におけるＧの補間画素値とすることができる。

ステップＳ３３０において、９０度方向補間Ｇ画像計算処理部７３は、Ｍの画素値＝Ｗの画素値−Ｇの画素値であることに基づいて、注目画素のＷの画素値からＧの補間画素値を減算して、Ｍの画素値を求め、処理は、後述するステップＳ３３１に進む。

ステップＳ３２２において、注目画素は、Ｍの画素値を有する画素であると判断された場合、ステップＳ３２４、もしくは、ステップＳ３２７の処理の終了後、ステップＳ３２８において、注目画素は、Ｗの画素値を有する画素ではないと判断された場合、または、ステップＳ３３０の処理の終了後、ステップＳ３３１において、９０度方向補間Ｇ画像計算処理部７３は、全ての画素においてＭの値が得られたか否かを判断する。ステップＳ３３１において、全ての画素においてＭの値が得られていないと判断された場合、処理は、ステップＳ３２１に戻り、それ以降の処理が繰り返される。

ステップＳ３３１において、全ての画素においてＭの値が得られたと判断された場合、ステップＳ３３２において、９０度方向補間Ｇ画像計算処理部７３は、Ｇの値の決定処理が未処理の注目画素を１つ選択する。

ステップＳ３３３において、９０度方向補間Ｇ画像計算処理部７３は、注目画素から所定の範囲内に存在するＧの画素を検出する。ここで、所定の範囲とは、主成分分析のためのサンプル数や、注目画素と離れることによる相関性の強さなどの条件を基に経験的または実験的に定められる範囲である。所定の範囲とは、例えば、注目画素の画素位置を座標（Ｈ，Ｋ）とした場合に、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４となる座標（Ｘ、Ｙ）で示される９×９画素の範囲などであっても良く、これ以外の大きさであっても、また、注目画素を中心として、画素間の距離が近い画素から選択される所定数の画素の範囲であっても良い。

ステップＳ３３４において、９０度方向補間Ｇ画像計算処理部７３は、ステップＳ３３３において検出されたそれぞれの画素のＧの画素値と、その画素位置において求められたＭの値とを、ＧとＭの２次元空間にプロットし、主成分分析を行う。

すなわち、上述した処理により、全ての画素位置におけるＭの値が求められているので、当然、検出されたＧの画素の画素位置においても、Ｍの画素値が求められている。したがって、所定の範囲を、注目画素の座標（Ｈ，Ｋ）に対して、例えば、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４としたとき、Ｘは偶数、かつ、Ｙは奇数となる座標（Ｘ，Ｙ）で示されるＧの画素は複数含まれるので、Ｍの値とＧの値とのペアを複数作ることが出来る。この複数のペアを、ＭとＧの２次元空間にプロットし、主成分分析を行うことにより、図２８に示されるような、第１主成分の直線を求めることができる。

ここで、ステップＳ３３３において検出された、所定範囲内のＧの画素値の分散をvarianceＧ、平均をAveＧとし、それらの画素位置におけるＭの画素値の分散をvarianceＭ、平均をAveＭとしたとき、第１主成分の直線の式は、次の式(６)で示される。

ただし、係数Ｓは、正の相関のときは＋１、負の相関のときは−１である。

ステップＳ３３５において、９０度方向補間Ｇ画像計算処理部７３は、主成分分析の結果得られた直線と、注目画素におけるＭの画素値とを基に、Ｇの画素値を求める。

具体的には、図２５に示されるように、第１主成分の直線上における注目画素のＭの画素値に対応するＧの画素値を求めるものであり、式(６)に示した直線の式に、注目画素（Ｈ，Ｋ）におけるＭの値を代入することにより、Ｇの値がもとめられる。ただし、ここでは、例えば、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４などの所定範囲内においては、ＭとＧの値には相関があると仮定する。

ステップＳ３３６において、９０度方向補間Ｇ画像計算処理部７３は、全ての画素においてＧの値が得られたか否かを判断する。ステップＳ３３６において、全ての画素においてＧの値が得られていないと判断された場合、処理は、ステップＳ３３２に戻り、それ以降の処理が繰り返される。ステップＳ３３６において、全ての画素においてＧの値が得られたと判断された場合、処理は、図１３のステップＳ４９にもどり、ステップＳ５０に進む。

このような処理により、９０度方向の補間により、全ての画素におけるＭの画像を計算し、その結果を用いて、ＧとＭの相関により、全画素におけるＧを計算して、９０度方向の補間によるＧ成分の画像を得ることができる。

次に、図２９のフローチャートを参照して、図１３のステップＳ５０において実行される、１３５度方向補間Ｇ成分画像生成処理について説明する。

図６を用いて説明したカラーフィルタ２２のフィルタ配列においては、Ｘ−Ｙが奇数となる座標（Ｘ，Ｙ）により構成される、１３５度方向に伸びるラインには、入力画像中に一つおきにＧの値が存在しているので、ＲまたはＢで示される画素においては、１３５度方向の補間により、Ｇの補間画素値を算出することが出来る。しかしながら、Ｘ−Ｙが偶数となる座標（Ｘ，Ｙ）により構成される、１３５度方向に伸びるラインには、入力画像中にＧの値は存在しないが、ＷまたはＭにより構成されているので、Ｗ−Ｍにより、Ｇの値を計算することができる。

まず、ステップＳ３６１において、１３５度方向補間Ｇ画像計算処理部７４は、Ｇの値の抽出または補間処理が未処理の注目画素を１つ選択する。

ステップＳ３６２において、１３５度方向補間Ｇ画像計算処理部７４は、注目画素は、Ｇの画素値を有する画素であるか否かを判断する。Ｘは偶数、かつ、Ｙは奇数となる座標（Ｘ，Ｙ）には、もともとＧで示される画素がある。ステップＳ３６２において、注目画素は、Ｇの画素値を有する画素であると判断された場合、この値を、座標（Ｘ，Ｙ）におけるＧの値とすれば良いので、処理は、後述するステップＳ３７１に進む。

ステップＳ３６２において、注目画素は、Ｇの画素値を有する画素ではないと判断された場合、ステップＳ３６３において、１３５度方向補間Ｇ画像計算処理部７４は、注目画素に対して１３５度方向に隣接する画素として、Ｇの画素が存在するか否かを判断する。Ｘ＋Ｙが奇数となる座標（Ｘ，Ｙ）の画素に対して、１３５度方向に隣接する座標（Ｘ−１，Ｙ＋１）および座標（Ｘ＋１，Ｙ−１）の画素は、Ｇの画素値を有している。ステップＳ３６３において、注目画素に対して１３５度方向にＧの画素が存在しないと判断された場合、処理は、後述するステップＳ３６５に進む。

ステップＳ３６３において、注目画素に対して１３５度方向にＧの画素が存在すると判断された場合、ステップＳ３６４において、１３５度方向補間Ｇ画像計算処理部７４は、１３５度方向のＧの画素値を基に、Ｇの補間値を得る。すなわち、１３５度方向補間Ｇ画像計算処理部７４は、座標（Ｘ−１，Ｙ＋１）における画素値と座標（Ｘ＋１，Ｙ−１）における画素値との平均を、座標（Ｘ，Ｙ）におけるＧの補間画素値とし、処理は、後述するステップＳ３７１に進む。

ステップＳ３６３において、注目画素に対して１３５度方向にＧの画素が存在しないと判断された場合、ステップＳ３６５において、１３５度方向補間Ｇ画像計算処理部７４は、注目画素は、Ｗの画素値を有する画素であるか否かを判断する。ステップＳ３６５において、注目画素は、Ｗの画素値を有する画素ではないと判断された場合、処理は、後述するステップＳ３６８に進む。

ステップＳ３６５において、注目画素は、Ｗの画素値を有する画素であると判断された場合、ステップＳ３６６において、１３５度方向補間Ｇ画像計算処理部７４は、１３５度方向のＭの画素値を基に、Ｍの補間値を得る。すなわち、Ｘは偶数、かつ、Ｙは偶数となる座標（Ｘ，Ｙ）には、Ｗで示される画素がある。そして、その画素に対して、１３５度方向に隣接する画素、すなわち、座標（Ｘ−１，Ｙ＋１）および座標（Ｘ＋１，Ｙ−１）の位置にはＭで示される画素があるので、これら２点の平均値を、座標（Ｘ，Ｙ）におけるＭの補間画素値とすることができる。

ステップＳ３６７において、１３５度方向補間Ｇ画像計算処理部７４は、Ｇの画素値＝Ｗの画素値−Ｍの画素値であることに基づいて、注目画素のＷの画素値からＭの補間値を減算して、Ｇの画素値を求め、処理は、後述するステップＳ３７１に進む。

ステップＳ３６５において、注目画素は、Ｗの画素値を有する画素ではないと判断された場合、ステップＳ３６８において、１３５度方向補間Ｇ画像計算処理部７４は、注目画素は、Ｍの画素値を有する画素であるか否かを判断する。ステップＳ３６８において、注目画素は、Ｍの画素値を有する画素ではないと判断された場合、処理は、後述するステップＳ３７１に進む。

ステップＳ３６８において、注目画素は、Ｍの画素値を有する画素であると判断された場合、ステップＳ３６９において、１３５度方向補間Ｇ画像計算処理部７４は、注目画素に対して１３５度方向に隣接する画素が有するＷの画素値を基に、Ｗの補間値を得る。すなわち、Ｘは奇数、かつ、Ｙは奇数となる座標（Ｘ，Ｙ）には、Ｍで示される画素がある。そして、その画素に対して１３５度方向に隣接する画素、すなわち、座標（Ｘ−１，Ｙ＋１）および座標（Ｘ＋１，Ｙ−１）の位置にはＷで示される画素があるので、これら２点の平均値を、座標（Ｘ，Ｙ）におけるＷの補間画素値とすることができる。

ステップＳ３７０において、１３５度方向補間Ｇ画像計算処理部７４は、Ｇの画素値＝Ｗの画素値−Ｍの画素値であることに基づいて、注目画素のＷの補間値からＭの画素値を減算して、Ｇの画素値を求め、処理は、後述するステップＳ３７１に進む。

ステップＳ３６２において、注目画素は、Ｇの画素値を有する画素であると判断された場合、ステップＳ３６４、もしくは、ステップＳ３６７の処理の終了後、ステップＳ３６８において、注目画素は、Ｍの画素値を有する画素ではないと判断された場合、または、ステップＳ３７０の処理の終了後、ステップＳ３７１において、１３５度方向補間Ｇ画像計算処理部７４は、全ての画素においてＧの値が得られたか否かを判断する。

ステップＳ３７１において、全ての画素においてＧの値が得られていないと判断された場合、処理は、ステップＳ３６１に戻り、それ以降の処理が繰り返される。ステップＳ３７１において、全ての画素においてＧの値が得られたと判断された場合、処理は、図１３のステップＳ５０に戻り、ステップＳ５１に進む。

このような処理により、１３５度方向の補間により、Ｇ成分の画像を得ることができる。

そして、上述したように、図１３のステップＳ５１において、各角度の方向で補正されたＧ成分の画像に、確度補正適正度が重み付け係数として乗算されて、画素ごとに加算されることにより、模様の方向を考慮し、また、ＷおよびＭの成分の画素におけるＷ−Ｍ＝Ｇの性質を利用して生成されるＧ成分画像が生成される。

次に、図３０のフローチャートを参照して、図１３のステップＳ５２において実行される、Ｒ成分画素値算出処理について説明する。

ステップＳ４０１において、Ｒ画像計算処理部８１は、未処理の注目画素を１つ選択する。

ステップＳ４０２において、Ｒ画像計算処理部８１は、注目画素から所定範囲内に存在するＲの画素を検出する。ここで、所定の範囲とは、主成分分析のためのサンプル数や、注目画素と離れることによる相関性の強さなどの条件を基に経験的または実験的に定められる範囲である。所定の範囲とは、例えば、注目画素の画素位置を座標（Ｈ，Ｋ）とした場合に、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４となる座標（Ｘ、Ｙ）で示される９×９画素の範囲などであっても良く、これ以外の大きさであっても、また、注目画素を中心として、画素間の距離が近い画素から選択される所定数の画素の範囲であっても良い。

また、ここでいう所定の範囲、および、後述するＢ成分画素値算出処理における所定の範囲は、上述したいずれかの処理において用いた所定の範囲と同一であっても、異なるものであっても良い。

例えば、注目画素の画素位置を座標（Ｈ，Ｋ）とした場合に、Ｈ−４≦Ｘ≦Ｈ＋４、Ｋ＋４≦Ｙ≦Ｋ＋４、Ｘは奇数、Ｙは偶数、かつ、Ｘ−Ｙ−３は４の倍数となる座標（Ｘ，Ｙ）には、Ｒで示される画素がある。

ステップＳ４０３において、Ｒ画像計算処理部８１は、検出された全てのＲの画素（Ｘ,Ｙ）の画素位置に対して、図１３のステップＳ５１の処理により推定されたＧの画素値を取得する。すなわち、Ｒ画像計算処理部８１は、検出された全てのＲの画素（Ｘ,Ｙ）の画素位置におけるＲの画素値とＧの画素値とのペアを複数取得する。

ステップＳ４０４において、Ｒ画像計算処理部８１は、それぞれの画素のＲの値とＧのペアの値を、図３１に示されるように、ＲとＧの２次元空間にプロットし、主成分分析を行う。

ここで、所定範囲内のＲの画素値の分散をvarianceＲ、平均をAveＲとし、それらの画素位置におけるＧの画素値の分散をvarianceＧ、平均をAveＧとしたとき、第１主成分の直線の式は、次の式(７)で示される。

ただし、係数Ｓは、正の相関のときは＋１、負の相関のときは−１である。

ステップＳ４０５において、Ｒ画像計算処理部８１は、主成分分析の結果得られた直線と、注目画素のＧの値とを基に、Ｒの値を求める。すなわち、Ｒ画像計算処理部８１は、上述した式(７)に注目画素のＧの画素値を代入することにより、Ｒの値を求める。

ステップＳ４０６において、Ｒ画像計算処理部８１は、全ての画素においてＲが求められたか否かを判断する。ステップＳ４０６において、全ての画素においてＲが求められていないと判断された場合、処理は、ステップＳ４０１に戻り、それ以降の処理が繰り返される。ステップＳ４０６において、全ての画素においてＲが求められたと判断された場合、処理は、図１３のステップＳ５２に戻り、ステップＳ５３に進む。

このような処理により、撮像データに含まれるＲの画素値と、図１３のステップＳ５１の処理により推定されたＧの画素値とに基づいて、全画素分のＲ成分の画素値が求められる。

なお、ここでは、例えば、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４などの所定の領域内においては、Ｒ成分とＧ成分のそれぞれの画素値に相関があるものと仮定して処理が実行されている。

次に、図３２のフローチャートを参照して、図１３のステップＳ５３において実行される、Ｂ成分画素値算出処理について説明する。

ステップＳ４４１において、Ｂ画像計算処理部８２は、未処理の注目画素を１つ選択する。

ステップＳ４４２において、Ｂ画像計算処理部８２は、注目画素から所定範囲内に存在するＢの画素を検出する。ここで、所定の範囲とは、主成分分析のためのサンプル数や、注目画素と離れることによる相関性の強さなどの条件を基に経験的または実験的に定められる範囲である。所定の範囲とは、例えば、注目画素の画素位置を座標（Ｈ，Ｋ）とした場合に、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４となる座標（Ｘ、Ｙ）で示される９×９画素の範囲などであっても良く、これ以外の大きさであっても、また、注目画素を中心として、画素間の距離が近い画素から選択される所定数の画素の範囲であっても良い。

例えば、注目画素の画素位置を座標（Ｈ，Ｋ）とした場合に、Ｈ−４≦Ｘ≦Ｈ＋４、Ｋ＋４≦Ｙ≦Ｋ＋４、Ｘは奇数、Ｙは偶数、かつ、Ｘ−Ｙ−１が４の倍数となる座標（Ｘ，Ｙ）には、Ｂで示される画素がある。

ステップＳ４４３において、Ｂ画像計算処理部８２は、検出された全てのＢの画素（Ｘ,Ｙ）の画素位置に対して、図１３のステップＳ５１の処理により推定されたＧの画素値を取得する。すなわち、Ｂ画像計算処理部８２は、検出された全てのＢの画素（Ｘ,Ｙ）の画素位置におけるＢの画素値とＧの画素値とのペアを複数取得する。

ステップＳ４４４において、Ｂ画像計算処理部８２は、それぞれの画素のＢの値とＧのペアの値を、図３３に示されるように、ＢとＧの２次元空間にプロットし、主成分分析を行う。

ここで、所定範囲内のＢの画素値の分散をvarianceＢ、平均をAveＢとし、それらの画素位置におけるＧの画素値の分散をvarianceＧ、平均をAveＧとしたとき、第１主成分の直線の式は、次の式(８)で示される。

ただし、係数Ｓは、正の相関のときは＋１、負の相関のときは−１である。

ステップＳ４４５において、Ｂ画像計算処理部８２は、主成分分析の結果得られた直線と、注目画素のＧの値とを基に、Ｂの値を求める。すなわち、Ｂ画像計算処理部８２は、上述した式(８)に注目画素のＧの画素値を代入することにより、Ｂの値を求める。

ステップＳ４４６において、Ｂ画像計算処理部８２は、全ての画素においてＢが求められたか否かを判断する。ステップＳ４４６において、全ての画素においてＢが求められていないと判断された場合、処理は、ステップＳ４４１に戻り、それ以降の処理が繰り返される。ステップＳ４４６において、全ての画素においてＢが求められたと判断された場合、処理は、図１３のステップＳ５２に戻り、ステップＳ５３に進む。

このような処理により、撮像データに含まれるＢの画素値と、図１３のステップＳ５１の処理により推定されたＧの画素値とに基づいて、全画素分のＢ成分の画素値が求められる。

なお、ここでも、例えば、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４などの所定の領域内においては、Ｂ成分とＧ成分のそれぞれの画素値に相関があるものと仮定して処理が実行されている。

また、上述したそれぞれの処理では、第１の分光成分のデータを有する第１の画素群の画素（例えば、Ｗで示される画素）データから、第２の分光成分のデータを有する第２の画素群の画素（例えば、Ｍで示される画素）データを減算する（換言すれば、重みＷ１＝１、重みＷ２＝（−１）として、重みＷ１とＷ２による、第１の画素群と第２に画素群との線形和を求める）ことで、色収差のない所定の周波数範囲の分光成分(例えば、Ｇ（緑）成分)の画素データを得ることについて説明した。すなわち、Ｇ＝Ｗ−Ｍの関係にある場合について述べた。これに対して、例えば、Ｍの画素の感度に対して、感度が１／２であるＭ´が用いられた場合、Ｇ＝Ｗ−Ｍ´は成立しないため、これに代わって、Ｇ＝Ｗ−２×Ｍ´に基づいて、デモザイク処理を実行するようにすれば良い。具体的には、例えば、固体撮像素子２３のＭに対応する画素の出力値を２倍にゲインアップして、Ａ／Ｄ変換部２４に供給し、同様の処理を実行するようにしても良い。同様に、いずれかの色成分に対応する信号の感度が他のものと比較して劣っているような場合、固体撮像素子２３の対応する画素の出力値を所定倍率でゲインアップした後、Ａ／Ｄ変換部２４に供給し、同様の処理を実行するようにしても良い。

すなわち、第１の分光成分の周波数帯域の信号（または、その信号に所定の係数が乗ぜられた値）から第２の分光成分の周波数帯域の信号（または、その信号に所定の係数が乗ぜられた値）を減算することにより得られる所定周波数領域の分光成分に対応する信号成分を基にして、色収差のない周波数領域の画像を得て、これを基準としてデモザイク処理を実行するようになされていれば、例えば、第１の分光成分の周波数帯域や、第２の分光成分の周波数帯域が、例示された周波数帯域以外のものである場合にも、また、連続せずに複数の乖離した周波数帯域から構成される場合にも、本発明は適用可能である。また、例示した処理のように、第１の分光成分の周波数帯域から第２の分光成分の周波数帯域を減算することにより得られる所定周波数領域の分光成分が、色収差のない周波数領域と一致すれば、処理が簡単になり、好適である。例えば、第１の分光成分の周波数帯域を、Ｇ（緑）成分と赤外成分とし、第２の分光成分の周波数帯域を赤外成分としたり、第１の分光成分の周波数帯域を、赤外成分を除いた可視光成分とし、第２の分光成分の周波数帯域をＲ(赤)成分およびＢ(青)成分としても、本発明は適用可能である。

このように本発明を適用すれば、広い波長帯域の分光成分を取得できる画素を有しながら、かつ、レンズの色収差をキャンセルしてデモザイク処理を実行することが可能である。

なお、カラーフィルタの配列は、図７に示す配列構成の他の設定も可能であり、例えば図３４に示す配列としてもよい。図３４に示すカラーフィルタの配列は、図７に示す配列を４５度回転させた構成に相当する。

すなわち、図３４に示されるカラーフィルタにおいては、Ｘ軸方向を０度として、Ｇで示される画素に注目した場合、Ｇで示される画素は、０度方向、４５度方向、９０度方向、および、１３５度方向のいずれにおいても１画素おきに配置され、Ｇで示される画素に０度方向で隣接する画素は、いずれも、ＢまたはＲで示される画素であり、Ｇで示される画素に９０度方向で隣接する画素は、いずれもＢまたは、Ｒで示される画素であり、Ｇで示される画素に４５度方向で隣接する画素は、いずれも、Ｍで示される画素であり、Ｇで示される画素に１３５度方向で隣接する画素は、いずれも、Ｗで示される画素である。

なお、図３４に示されるカラーフィルタ配列においても、ＷとＭのそれぞれの画素の配置が逆転しても、上述したデモザイク処理は同様にして実行可能であり、ＢとＲのそれぞれの画素の配置が逆転しても、上述したデモザイク処理は同様にして実行可能である。

すなわち、Ｘ軸方向を０度として、Ｇで示される画素に注目した場合、Ｇで示される画素は、０度方向、４５度方向、９０度方向、および、１３５度方向のいずれにおいても１画素おきに配置され、他の色成分Ｒ，Ｂ，Ｗ，Ｍの画素が、ＲとＢ、ＷとＭがＧの画素に対して直行する位置となるように、それぞれの方向に隣接して配置されるカラーフィルタが用いられた場合、上述したデモザイク処理は同様にして実行可能である。

なお、以上説明した処理においては、０度、４５度、９０度、および１３５度の４つの角度において、模様確度を求め、それぞれの方向の補間処理によるＧ成分の画像を求めることにより、デモザイク処理を実行するようになされていたが、本発明は、０度、４５度、９０度、および１３５度の４つの角度における処理以外にも適用可能であり、例えば、０度と９０度、または、４５度と１３５度など、２つの角度における場合などにも、適用可能であるのはいうまでもない。

一般的に、風景などを撮像した場合、撮像画像に対して０度方向と９０度方向に模様が入る場合が多く、これらと比較すると、４５度または１３５度の模様は、あまり存在しない。そこで、回路規模を削減したり、演算時間を減少させるために、０度、および、９０度の２つの角度において、模様確度を求め、それぞれの方向の補間処理によるＧ成分の画像を求めることにより、デモザイク処理を実行するようにしてもよい。

上述した一連の処理のうち、特に、カメラ信号処理部２５において実行された処理は、ハードウェアのみならず、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体などからインストールされる。この場合、例えば、図４を用いて説明した撮像装置１１は、図３５に示されるようなパーソナルコンピュータ１０１により構成される。

図３５において、ＣＰＵ（Central Processing Unit）１１１は、ＲＯＭ（Read Only Memory）１１２に記憶されているプログラム、または記憶部１１８からＲＡＭ（Random Access Memory）１１３にロードされたプログラムにしたがって、各種の処理を実行する。ＲＡＭ１１３にはまた、ＣＰＵ１１１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ１１１、ＲＯＭ１１２、およびＲＡＭ１１３は、バス１１４を介して相互に接続されている。このバス１１４にはまた、入出力インタフェース１１５も接続されている。

入出力インタフェース１１５には、キーボード、マウスなどよりなる入力部１１６、ディスプレイやスピーカなどよりなる出力部１１７、ハードディスクなどより構成される記憶部１１８、モデム、ターミナルアダプタなどより構成される通信部１１９、および、撮像処理部１２０が接続されている。通信部１１９は、インターネットを含むネットワークを介しての通信処理を行う。

撮像処理部１２０は、図４を用いて説明した光学レンズ２１、カラーフィルタ２２、固体撮像素子２３、および、Ａ／Ｄ変換部２４を有しているか、または、同様の機能を実行可能なようになされており、図５を用いて説明したカメラ信号処理部２５、および、図４の画像圧縮部２７の機能を有するＣＰＵ１１１の制御に基づいて、上述した場合と同様の処理を実行する。

入出力インタフェース１１５にはまた、必要に応じてドライブ１２１が接続され、磁気ディスク１１１、光ディスク１１２、光磁気ディスク１３３、もしくは、半導体メモリ１３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１１８にインストールされる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図３５に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク１１１（フロッピディスクを含む）、光ディスク１１２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク１３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ１３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ１１２や、記憶部１１８に含まれるハードディスクなどで構成される。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

従来のカラーフィルタ配列について説明するための図である。 従来のカラーフィルタ配列について説明するための図である。 色収差について説明するための図である。 撮像装置の構成を示すブロック図である。 カラーフィルタの分光成分について説明するための図である。 図４のカラーフィルタの色配列について説明するための図である。 図４のカラーフィルタの分光成分について説明するための図である。 図４のカメラ信号処理部の構成を示すブロック図である 模様の方向と補間との関係について説明するための図である。 図８のデモザイク処理部４４の構成を示すブロック図である。 撮像処理について説明するフローチャートである。 モザイク処理について説明するフローチャートである。 モザイク処理について説明するフローチャートである。 ０度方向の模様確度算出処理について説明するフローチャートである。 ０度方向の補間処理について説明するための図である。 ４５度方向の模様確度算出処理について説明するフローチャートである。 ４５度方向の補間処理について説明するための図である。 ９０度方向の模様確度算出処理について説明するフローチャートである。 ９０度方向の補間処理について説明するための図である。 １３５度方向の模様確度算出処理について説明するフローチャートである。 １３５度方向の補間処理について説明するための図である。 角度補間適正度算出処理について説明するフローチャートである。 角度補間適正度算出処理について説明するフローチャートである。 ０度方向補間Ｇ成分画像生成処理について説明するフローチャートである。 主成分分析について説明するための図である。 ４５度方向補間Ｇ成分画像生成処理について説明するフローチャートである。 ９０度方向補間Ｇ成分画像生成処理について説明するフローチャートである。 主成分分析について説明するための図である。 １３５度方向補間Ｇ成分画像生成処理について説明するフローチャートである。 Ｒ成分画素値算出処理について説明するフローチャートである。 主成分分析について説明するための図である。 Ｂ成分画素値算出処理について説明するフローチャートである。 主成分分析について説明するための図である。 図４のカラーフィルタの異なる色配列について説明するための図である。 パーソナルコンピュータの構成を示すブロック図である。

符号の説明

１１ 撮像装置 ２１ レンズ， ２２ カラーフィルタ， ２３ 固体撮像素子， ２４ Ａ／Ｄ変換部， ２５ カメラ信号処理部， ２６ 表示部， ２７ 画像圧縮部， ２８ 記録部， ２９ 外部出力部， ４４ デモザイク処理部， ６１ ０度方向の模様分析処理部， ６２ ４５度方向の模様分析処理部， ６３ ９０度方向の模様分析処理部， ６４ １３５度方向の模様分析処理部， ６５ 模様方向判定部， ７１ ０度方向補間Ｇ画像計算処理部， ７２ ４５度方向補間Ｇ画像計算処理部， ７３ ９０度方向補間Ｇ画像計算処理部， ７４ １３５度方向補間Ｇ画像計算処理部， ７５ Ｇ画像計算処理部， ８１ Ｒ画像計算処理部， ８２ Ｂ画像計算処理部

Claims (40)

1. レンズを介して入射された光を受けて、複数の異なる分光成分のうちのいずれかを有する光信号を画素ごとに透過させ、撮像素子に照射させるカラーフィルタにおいて、
   複数の異なる前記分光成分は、
   複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分と、
   前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分と、
   前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の係数に第２の重み係数を乗算した値との線形和により表される第３の分光成分と
   を含んで構成されるカラーフィルタ。
2. 前記第１の分光成分は、少なくとも赤外成分を含む
   請求項１に記載のカラーフィルタ。
3. 前記第１の分光成分は、赤外成分および可視光の全ての周波数領域を含む
   請求項２に記載のカラーフィルタ。
4. 前記第１の分光成分は、可視光の全ての周波数領域を含む
   請求項１に記載のカラーフィルタ。
5. 前記第２の分光成分は、緑色に対応する所定範囲の周波数成分である
   請求項１に記載のカラーフィルタ。
6. 前記第３の分光成分は、前記第１の分光成分から前記前記第２の分光成分を除いた分光成分である
   請求項１に記載のカラーフィルタ。
7. 前記第２の分光成分に対応する画素は、前記画素が配列される平面上の一方の方向を０度として、０度方向、４５度方向、９０度方向、および、１３５度方向のいずれにおいても１画素おきに配置されている
   請求項１に記載のカラーフィルタ。
8. 複数の異なる前記分光成分は、前記第１の分光成分、前記第２の分光成分、および前記第３の分光成分を含む５種類の分光成分であり、
   前記第１の分光成分および前記第３の分光成分、並びに、第４の分光成分および第５の分光成分にそれぞれ対応する画素は、前記画素が配列される平面上の配列の一方の方向を０度として、０度方向、４５度方向、９０度方向、または、１３５度方向のいずれかの方向に、前記第２の分光成分に対応する画素と隣接して配置されるとともに、前記第１の分光成分および前記第３の分光成分に対応する画素が、前記第２の分光成分に対応する画素に対して直行する方向に配列され、前記第４の分光成分および前記第５の分光成分に対応する画素が、前記第２の分光成分に対応する画素に対して直行する方向に配列される
   請求項１に記載のカラーフィルタ。
9. レンズを介して所定のカラーフィルタに入射されて取得された光信号であって、画素ごとに、複数の異なる分光成分のうちのいずれかの分光成分を有する光信号の入力を受け、前記画素ごとの前記光信号を基に、画像データを生成する画像処理装置において、
   所定の前記画素における前記光信号に対応する第１の画素値と、前記所定の画素の隣接画素が有する画素値を用いて実行される補間処理により得られる第２の画素値とを基に、前記画像データのコントラスト成分を演算するコントラスト成分演算手段を備え、
   前記コントラスト成分演算手段は、前記第１の画素値または前記第２の画素値のうち、
   複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分に対応する画素値、
   前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分に対応する画素値、
   または、
   前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分に第２の重み係数を乗算した値との線形和により表される第３の分光成分に対応する画素値
   を用いた演算処理に基づいて、前記画像データのコントラスト成分を求める
   画像処理装置。
10. 前記コントラスト成分演算手段により演算される前記画像データのコントラスト成分は、前記第２の分光成分に対応する画素値を含む
    請求項９に記載の画像処理装置。
11. 前記第２の分光成分は、緑色に対応する所定範囲の周波数成分である
    請求項１０に記載の画像処理装置。
12. 前記コントラスト成分演算手段は、
    前記第１の画素値または前記第２の画素値に基づいて、緑色に対応する各画素の画素値を算出する緑色成分算出手段と、
    複数の異なる前記分光成分のうち、赤色に対応する所定の周波数成分に対応する画素値と、前記緑色成分算出手段による算出結果とに基づいて、赤色に対応する各画素の画素値を算出する赤色成分算出手段と、
    複数の異なる前記分光成分のうち、青色に対応する所定の周波数成分に対応する画素値と、前記緑色成分算出手段による算出結果とに基づいて、青色に対応する各画素の画素値を算出する青色成分算出手段と
    を備える
    請求項１１に記載の画像処理装置。
13. 前記画像データにおけるそれぞれの画素近辺の模様の方向を推定する模様方向推定手段を更に備え、
    前記コントラスト成分演算手段は、前記模様方向検出手段による、それぞれの画素近辺の模様の方向の推定結果に基づいて、前記画像データのコントラスト成分を演算する
    請求項９に記載の画像処理装置。
14. 前記画素が配列される平面上の配列の一方の方向を０度として、０度方向、４５度方向、９０度方向、および、１３５度方向のそれぞれの方向において模様がある確度を求める模様確度算出手段を更に備え、
    前記模様方向検出手段は、前記模様確度算出手段による算出結果に基づいて、前記画像データにおけるそれぞれの画素近辺の模様の方向を推定する
    請求項１３に記載の画像処理装置。
15. 前記模様方向検出手段は、前記模様確度算出手段による算出結果に基づいて、前記画像データにおけるそれぞれの画素近辺の模様の方向は、０度と９０度のうちのいずれに近い可能性が高いか、または、４５度と１３５度のうちのいずれに近い可能性が高いかを求める
    請求項１４に記載の画像処理装置。
16. 前記第１の分光成分は、少なくとも赤外成分を含む
    請求項９に記載の画像処理装置。
17. 前記第１の分光成分は、赤外成分および可視光の全ての周波数領域を含む
    請求項１６に記載の画像処理装置。
18. 前記第１の分光成分は、可視光の全ての周波数領域を含む
    請求項９に記載の画像処理装置。
19. 前記第３の分光成分は、前記第１の分光成分から前記前記第２の分光成分を除いた分光成分である
    請求項９に記載の画像処理装置。
20. 前記第２の分光成分に対応する画素は、前記画素が配列される平面上の一方の方向を０度として、０度方向、４５度方向、９０度方向、および、１３５度方向のいずれにおいても１画素おきに配置されている
    請求項９に記載の画像処理装置。
21. 複数の異なる前記分光成分は、前記第１の分光成分、前記第２の分光成分、および前記第３の分光成分を含む５種類の分光成分であり、
    前記第１の分光成分および前記第３の分光成分、並びに、第４の分光成分および第５の分光成分にそれぞれ対応する画素は、前記画素が配列される平面上の配列の一方の方向を０度として、０度方向、４５度方向、９０度方向、または、１３５度方向のいずれかの方向に、前記第２の分光成分に対応する画素と隣接して配置されるとともに、前記第１の分光成分および前記第３の分光成分に対応する画素が、前記第２の分光成分に対応する画素に対して直行する方向に配列され、前記第４の分光成分および前記第５の分光成分に対応する画素が、前記第２の分光成分に対応する画素に対して直行する方向に配列される
    請求項９に記載の画像処理装置。
22. レンズを介して所定のカラーフィルタに入射されて取得された、複数の異なる分光成分のうちのいずれかの分光成分を有する光信号の入力を受け、画素ごとの前記光信号を基に、画像データを生成する画像処理装置の画像処理方法において、
    所定の前記画素における前記光信号に対応する第１の画素値を取得し、
    前記所定の画素の隣接画素が有する画素値を用いて補間処理を実行して第２の画素値を取得し、
    前記第１の画素値および前記第２の画素値のうち、
    複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分に対応する画素値、
    前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分に対応する画素値、
    または、
    前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分に第２の重み係数を乗算した値との線形和により表される第３の分光成分に対応する画素値
    を用いた演算処理により、前記画像データのコントラスト成分を求める
    ステップを含む画像処理方法。
23. レンズを介して所定のカラーフィルタに入射されて取得された、複数の異なる分光成分のうちのいずれかの分光成分を有する光信号の入力を受け、画素ごとの前記光信号を基に、画像データを生成する処理を制御するコンピュータが実行可能なプログラムであって、
    所定の前記画素における前記光信号に対応する第１の画素値の取得を制御し、
    前記所定の画素の隣接画素が有する画素値を用いて補間処理を実行して第２の画素値を算出し、
    前記第１の画素値および前記第２の画素値のうち、
    複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分に対応する画素値、
    前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分に対応する画素値、
    または、
    前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分に第２の重み係数を乗算した値との線形和により表される第３の分光成分に対応する画素値
    を用いた演算処理により、前記画像データのコントラスト成分を求める
    ステップを含む処理をコンピュータに実行させるプログラム。
24. 請求項２３に記載のプログラムが記録されている記録媒体。
25. 画像を撮像する撮像装置において、
    レンズを介して入射された光を、所定のカラーフィルタを介することにより複数の異なる分光成分の光信号として画素ごとに取得する光信号取得手段と、
    前記光信号取得手段により取得された前記光信号をデジタル信号に変換する変換手段と、
    前記変換手段により変換された前記デジタル信号を処理して、全画素において、所定の複数の色成分に対応する画素値が揃った画像データを生成する画像処理手段と
    を備え、
    前記画像処理手段は、
    所定の前記画素における前記光信号に対応する第１の画素値と、前記所定の画素の隣接画素が有する画素値を用いて実行される補間処理により得られる第２の画素値とを基に、前記画像データのコントラスト成分を演算するコントラスト成分演算手段を備え、
    前記コントラスト成分演算手段は、前記第１の画素値または前記第２の画素値のうち、
    複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分に対応する画素値、
    前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分に対応する画素値、
    または、
    前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分に第２の重み係数を乗算した値との線形和により表される第３の分光成分に対応する画素値
    を用いた演算処理に基づいて、前記画像データのコントラスト成分を求める
    撮像装置。
26. 前記コントラスト成分演算手段により演算される前記画像データのコントラスト成分は、前記第２の分光成分に対応する画素値を含む
    請求項２５に記載の撮像装置。
27. 前記第２の分光成分は、緑色に対応する所定範囲の周波数成分である
    請求項２５に記載の撮像装置。
28. 前記コントラスト成分演算手段は、
    前記第１の画素値または前記第２の画素値に基づいて、緑色に対応する各画素の画素値を算出する緑色成分算出手段と、
    複数の異なる前記分光成分のうち、赤色に対応する所定の周波数成分に対応する画素値と、前記緑色成分算出手段による算出結果とに基づいて、赤色に対応する各画素の画素値を算出する赤色成分算出手段と、
    複数の異なる前記分光成分のうち、青色に対応する所定の周波数成分に対応する画素値と、前記緑色成分算出手段による算出結果とに基づいて、青色に対応する各画素の画素値を算出する青色成分算出手段と
    を備える
    請求項２７に記載の撮像装置。
29. 前記画像処理手段は、前記画像データにおけるそれぞれの画素近辺の模様の方向を推定する模様方向推定手段を更に備え、
    前記コントラスト成分演算手段は、前記模様方向検出手段による、それぞれの画素近辺の模様の方向の推定結果に基づいて、前記画像データのコントラスト成分を演算する
    請求項２５に記載の撮像装置。
30. 前記画像処理手段は、前記画素が配列される平面上の配列の一方の方向を０度として、０度方向、４５度方向、９０度方向、および、１３５度方向のそれぞれの方向において模様がある確度を求める模様確度算出手段を更に備え、
    前記模様方向検出手段は、前記模様確度算出手段による算出結果に基づいて、前記画像データにおけるそれぞれの画素近辺の模様の方向を推定する
    請求項２９に記載の撮像装置。
31. 前記模様方向検出手段は、前記模様確度算出手段による算出結果に基づいて、前記画像データにおけるそれぞれの画素近辺の模様の方向は、０度と９０度のうちのいずれに存在するか、または、４５度と１３５度のうちのいずれに存在するかを求める
    請求項３０に記載の撮像装置。
32. 前記第１の分光成分は、少なくとも赤外成分を含む
    請求項２５に記載の撮像装置。
33. 前記第１の分光成分は、赤外成分および可視光の全ての周波数領域を含む
    請求項２５に記載の撮像装置。
34. 前記第１の分光成分は、可視光の全ての周波数領域を含む
    請求項２５に記載の撮像装置。
35. 前記第３の分光成分は、前記第１の分光成分から前記前記第２の分光成分を除いた分光成分である
    請求項２５に記載の撮像装置。
36. 前記第２の分光成分に対応する画素は、前記画素が配列される平面上の一方の方向を０度として、０度方向、４５度方向、９０度方向、および、１３５度方向のいずれにおいても１画素おきに配置されている
    請求項２５に記載の撮像装置。
37. 複数の異なる前記分光成分は、前記第１の分光成分、前記第２の分光成分、および前記第３の分光成分を含む５種類の分光成分であり、
    前記第１の分光成分および前記第３の分光成分、並びに、第４の分光成分および第５の分光成分にそれぞれ対応する画素は、前記画素が配列される平面上の配列の一方の方向を０度として、０度方向、４５度方向、９０度方向、または、１３５度方向のいずれかの方向に、前記第２の分光成分に対応する画素と隣接して配置されるとともに、前記第１の分光成分および前記第３の分光成分に対応する画素が、前記第２の分光成分に対応する画素に対して直行する方向に配列され、前記第４の分光成分および前記第５の分光成分に対応する画素が、前記第２の分光成分に対応する画素に対して直行する方向に配列される
    請求項２５に記載の撮像装置。
38. 画像を撮像する撮像装置の撮像方法において、
    レンズを介して入射された光を、所定のカラーフィルタを介することにより複数の異なる分光成分の光信号として画素ごとに取得し、
    取得された前記光信号をデジタル信号に変換し、
    変換された前記デジタル信号から、所定の前記画素における前記光信号に対応する第１の画素値を取得し、
    前記所定の画素の隣接画素が有する画素値を用いて補間処理を実行して第２の画素値を取得し、
    前記第１の画素値および前記第２の画素値のうち、
    複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分に対応する画素値、
    前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分に対応する画素値、
    または、
    前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分に第２の重み係数を乗算した値との線形和により表される第３の分光成分に対応する画素値
    を用いた演算処理により、前記画像データのコントラスト成分を求める
    ステップを含む撮像方法。
39. 画像を撮像する処理を制御するコンピュータが実行可能なプログラムであって、
    レンズを介して入射され、所定のカラーフィルタを介することにより複数の異なる分光成分として画素ごとに得られる光信号の取得を制御し、
    取得された前記光信号のデジタル信号への変換を制御し、
    変換された前記デジタル信号からの、所定の前記画素における前記光信号に対応する第１の画素値の取得を制御し、
    前記所定の画素の隣接画素が有する画素値を用いて補間処理を実行して第２の画素値を算出し、
    前記第１の画素値および前記第２の画素値のうち、
    複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分に対応する画素値、
    前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分に対応する画素値、
    または、
    前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分に第２の重み係数を乗算した値との線形和により表される第３の分光成分に対応する画素値
    を用いた演算処理により、前記画像データのコントラスト成分を求める
    ステップを含む処理をコンピュータに実行させるプログラム。
40. 請求項３９に記載のプログラムが記録されている記録媒体。

Images