JP2012244495A - 単板マルチバンド撮像素子用カラーフィルタ、単板マルチバンド撮像素子、マルチバンド撮像装置 - Google Patents

Abstract

【課題】輝度解像度とともに色解像度も確保しながら、偽色の低限を図ることができる単板マルチバンド撮像素子用カラーフィルタ等を提供する。
【解決手段】単板マルチバンド撮像素子用カラーフィルタ７ｃは、撮像面全体、または撮像面の一区分でなるフィルタ基礎配列領域におけるバンド毎の数が予め定められた４バンド以上のカラーフィルタＣ１〜Ｃ８を備える。これら複数バンドのフィルタＣ１〜Ｃ８は、フィルタ基礎配列領域内において、０．２５よりも大きく０．５未満の割合を占めるように予め定められた固定パターンの画素位置のみに配置されることにより、撮像面全体に渡って一定の密度で分布するようになされた、輝度成分に寄与する割合が高い光を透過する２以上のバンドの固定配置フィルタＣ１，Ｃ２と、固定パターン以外の画素位置にランダムに配置された他のバンドのランダム配置フィルタＣ３〜Ｃ８と、で構成される。
【選択図】図３

Description

本発明は、４バンド以上の異なる分光感度特性を有する単板マルチバンド撮像素子用カラーフィルタと、この単板マルチバンド撮像素子用カラーフィルタを備える単板マルチバンド撮像素子と、この単板マルチバンド撮像素子を備えるマルチバンド撮像装置と、に関する。

従来より、単板撮像素子のカラーフィルタ配列に関しては、様々な種類のものが提案されている。

撮像装置の代表的な例であるデジタルカメラや携帯電話の撮像モジュールにおいては、図１６に示すようなＲＧＢベイヤ配列のカラーフィルタを供えた単板撮像素子が広く用いられている。ここに図１６はＲＧＢベイヤ配列を示す図である。

このＲＧＢベイヤ配列は、Ｒ（赤），Ｇ（緑），Ｂ（青）の３色のカラーフィルタの内のＧのカラーフィルタを市松模様（チェスボードの模様）に配列し、ＲのカラーフィルタとＢのカラーフィルタとを対角に配列することにより実現されている。従って、このベイヤ配列における各カラーフィルタの配置は、図１７に示すように、全画素が固定されたパターンをなしている。ここに、図１７はＲＧＢベイヤ配列における固定パターンの画素位置を示す図である。

ベイヤ配列は、人間の視覚特性、すなわち輝度成分に対しては敏感であるが色成分に対しては輝度成分ほど敏感でない特性を考慮して考案されたものである。つまり、輝度成分に寄与する割合が高いＧを、輝度成分に寄与する割合が低く色成分に寄与する割合が高いＲ，Ｂの２倍の数だけ市松模様に配列することにより、輝度成分の情報を多く取得することができるようにした、理にかなったカラーフィルタ配分となっている。

しかしながらベイヤ配列は、Ｒ，Ｇ，Ｂの３色のカラーフィルタしか設けられていないために、測色的な色精度が高いとはいえない。そこで、ベイヤ配列に用いられているＲ，Ｇ，Ｂの３色のカラーフィルタの他に、他の色のカラーフィルタを加えたマルチバンドのカラーフィルタが提案されている。例えば、ベイヤ配列におけるＧ画素の位置にＧ画素および透明画素（バンドを制限されることなく被写体光を受光して光電変換する画素）を配置した構成や、カラーフィルタとしてＲ，Ｇ，Ｂ，Ｃｙ（シアン）の４色を用いる構成などが提案されている。このような４色以上のカラーフィルタを供えた構成は、いわゆるマルチバンドカラーフィルタとして知られており、各種の提案がなされている。そして、３色よりも色数が増えることにより、色再現性が向上したり、被写体のスペクトルを推定する際の精度が向上したりすると考えられる。

具体例として、例えば特開２００７−２５１３９３号公報には、５色のカラーフィルタを配置する構成が記載されている。該公報には、さらに、輝度成分を主に担うと思われるカラーフィルタＣ１を従来のベイヤ配列におけるＧと同様に市松模様に配置して輝度解像度を確保するとともに、その他の色Ｃ２〜Ｃ５をＣ１が存在しない位置にランダムに配置してデモザイキングを行うときの偽色の発生を抑制するようにした技術が記載されている。

特開２００７−２５１３９３号公報

しかしながら、上記特開２００７−２５１３９３号公報に記載されたようなカラーフィルタ配列の場合には、Ｃ１画素が全画素数の半分を占めることになり、残りの半分の画素数をＣ２〜Ｃ５画素で分け合うことになるために、Ｃ１以外の色成分が少なくなって色解像度が劣ってしまう可能性がある。特に、カラーフィルタの色数を５色よりもさらに多色にした場合には、色解像度が劣るのがより顕著になってきてしまう。

本発明は上記事情に鑑みてなされたものであり、輝度解像度とともに色解像度も確保しながら、偽色の低限を図ることができる単板マルチバンド撮像素子用カラーフィルタ、単板マルチバンド撮像素子、マルチバンド撮像装置を提供することを目的としている。

上記の目的を達成するために、本発明のある態様による単板マルチバンド撮像素子用カラーフィルタは、複数のモノクロ画素が撮像面に２次元状に配列された基板に対して配設することによりカラーの単板撮像素子を構成するための単板マルチバンド撮像素子用カラーフィルタにおいて、分光透過率特性が関数的に独立して異なる４以上の複数バンドのカラーフィルタ（以下、フィルタという）であって、１つの上記モノクロ画素に対して該複数バンドのフィルタの内の何れか１バンドのフィルタが配置されるようになされ、前記撮像面全体、または該撮像面を複数に区分した全ての区分のそれぞれをフィルタ基礎配列領域としたときに、該フィルタ基礎配列領域におけるバンド毎の数が予め定められたフィルタを具備し、前記フィルタは、前記フィルタ基礎配列領域内において、０．２５よりも大きく０．５未満の割合を占めるように予め定められた固定パターンの画素位置のみに配置されることにより、前記撮像面全体に渡って一定の密度で分布するようになされた、前記複数バンドのフィルタの内の２以上の所定バンドの固定配置フィルタと、前記フィルタ基礎配列領域内における前記固定パターンの画素位置を除く画素位置にランダムに配置された、前記複数バンドのフィルタの内の、前記所定バンド以外のバンドのランダム配置フィルタと、で構成され、任意の前記固定配置フィルタが透過する光は、輝度成分に寄与する割合が、何れの前記ランダム配置フィルタが透過する光よりも高い。

また、本発明の他の態様による単板マルチバンド撮像素子は、複数のモノクロ画素が撮像面に２次元状に配列された基板と、１バンドのフィルタが１つの上記モノクロ画素に対して配置されるように、上記基板に対して取り付けられた、上記単板マルチバンド撮像素子用カラーフィルタと、を具備したものである。

さらに、本発明のさらに他の態様によるマルチバンド撮像装置は、上記単板マルチバンド撮像素子と、被写体の光学像を上記単板マルチバンド撮像素子上に結像するための撮像光学系と、を具備したものである。

本発明の単板マルチバンド撮像素子用カラーフィルタ、単板マルチバンド撮像素子、マルチバンド撮像装置によれば、輝度解像度とともに色解像度も確保しながら、偽色の低限を図ることが可能となる。

本発明の実施形態１における撮像装置の構成を示すブロック図。 上記実施形態１におけるマルチバンドイメージセンサの構成を説明するための斜視図。 上記実施形態１のマルチバンドイメージセンサにおけるカラーフィルタ配置を示す図。 上記実施形態１において、固定パターンの画素位置に配置されるカラーフィルタを示す図。 上記実施形態１のカラーフィルタ配列における固定パターンを示す図。 本発明の実施形態２のマルチバンドイメージセンサにおけるカラーフィルタ配置を示す図。 上記実施形態２において、固定パターンの画素位置に配置されるカラーフィルタを示す図。 上記実施形態２のカラーフィルタ配列における固定パターンを示す図。 上記実施形態２において、ランダム配置フィルタを配置する閉領域の例を示す図。 上記実施形態２におけるカラーフィルタＣ１〜Ｃ８の各分光透過率特性を示す線図。 上記実施形態２において、カラーフィルタＣ２として複数の透過率のフィルタを用いる例における分光透過率特性を示す線図。 本発明の実施形態３において、固定パターンの画素位置に配置されるカラーフィルタを示す図。 上記実施形態３のカラーフィルタ配列における固定パターンを示す図。 本発明の実施形態４において、固定パターンの画素位置に配置されるカラーフィルタを示す図。 上記実施形態４のカラーフィルタ配列における固定パターンを示す図。 従来のＲＧＢベイヤ配列を示す図。 従来のＲＧＢベイヤ配列における固定パターンの画素位置を示す図。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図５は本発明の実施形態１を示したものであり、図１は撮像装置１の構成を示すブロック図である。

撮像装置１は、例えばデジタルカメラとして構成されたマルチバンド撮像装置であり、撮影レンズ系２と、レンズ駆動機構３と、レンズドライバ４と、露出制御機構５と、露出制御ドライバ６と、マルチバンドイメージセンサ７と、イメージセンサドライバ８と、プリプロセス回路９と、デジタルプロセス回路１０と、カードインタフェース（カードＩ／Ｆ）１１と、ＬＣＤ１２と、操作スイッチ１３と、操作表示部１４と、ＥＥＰＲＯＭ１５と、システムコントローラ１６と、を備えている。

なお、図１にはメモリカード１７も記載されているが、このメモリカード１７は撮像装置１に対して着脱自在であるために、撮像装置１に固有の構成ではない。

撮影レンズ系２は、被写体の光学像をマルチバンドイメージセンサ７上に結像するためのものであり、フォーカスレンズやあるいはズームレンズ等の各種のレンズを有して構成された撮像光学系である。

レンズ駆動機構３は、撮影レンズ系２を光軸方向に移動可能に保持するレンズ鏡筒を含み、このレンズ鏡筒を伸縮する駆動や、撮影レンズ系２内のズームレンズおよびフォーカスレンズを光軸方向に移動させる駆動を行う機構（例えばカム機構や駆動モータ等）を備えている。

レンズドライバ４は、システムコントローラ１６の指令に基づいて、レンズ駆動機構３を制御するためのものである。

露出制御機構５は、撮影レンズ系２からマルチバンドイメージセンサ７へ到達する光束の通過範囲を制御するための絞りと、撮影レンズ系２からマルチバンドイメージセンサ７へ到達する光束の通過時間を制御するためのシャッタ機構と、を備えたものである。

露出制御ドライバ６は、システムコントローラ１６の指令に基づいて、露出制御機構５を制御するためのものである。

マルチバンドイメージセンサ７は、撮影レンズ系２により結像された光学的な被写体像を光電変換して画像信号を生成するものである。このマルチバンドイメージセンサ７は、図２に示すように、撮像面上にフォトダイオードを含むモノクロ画素７ｂが配列された基板７ａ上に、分光透過率特性が関数的に独立して異なる４以上の複数バンドのカラーフィルタを備える単板マルチバンド撮像素子用カラーフィルタ（以下、単にカラーフィルタという）７ｃを、１つのモノクロ画素７ｂに対して複数バンドのカラーフィルタの内の何れか１バンドのカラーフィルタが配置されるようにすることで、異なる分光感度特性を有する４バンド以上の画素を構成した、いわゆる単板マルチバンドイメージセンサ（単板マルチバンド撮像素子）である。ここに、図２はマルチバンドイメージセンサ７の構成を説明するための斜視図である。また、「分光透過率特性が関数的に独立して異なる」とは、任意のバンドの分光透過率特性を表す曲線について、その曲線を、他のバンドの分光透過率特性を表す曲線をどのように線形加算しても得ることができないことを意味している。なお、基板７ａにより構成されるモノクロのイメージセンサは、例えばＣＣＤやＣＭＯＳなどのセンサを想定している。

イメージセンサドライバ８は、マルチバンドイメージセンサ７を制御して駆動するための駆動制御部である。

プリプロセス回路９は、マルチバンドイメージセンサ７から出力されたアナログの信号を増幅するためのアナログアンプと、このアナログアンプにより増幅された信号をデジタル信号に変換するためのＡ／Ｄ変換器と、含むものである。このプリプロセス回路９により処理されて出力される信号は、いわゆるＲＡＷデータとなる。

デジタルプロセス回路１０は、メモリ１８と信号処理部１９とを備えている。

プリプロセス回路９から出力されたＲＡＷデータは、メモリ１８に記憶される。

信号処理部１９は、メモリ１８から読み出した画像データに対して、デモザイキング処理やデモザイキングされたマルチバンド画像データからさらにＲＧＢ画像データを生成する処理、ノイズリダクション処理、ホワイトバランス処理、階調変換処理、圧縮伸張処理などの各種のデジタル信号処理を行うものである。ここに、信号処理部１９がデモザイキング処理を行う際には、システムコントローラ１６を介してＥＥＰＲＯＭ１５からカラーフィルタ配置情報を読み出し参照する。

カードインタフェース１１は、外部の記録媒体であるメモリカード１７とのインタフェースである。信号処理部１９から出力されるマルチバンド画像、ＲＧＢ画像、またはマルチバンド画像およびＲＧＢ画像は、このカードインタフェース１１を介してメモリカード１７に記録される。

ＬＣＤ１２は、信号処理部１９により生成されたＲＧＢ画像を表示するとともに、この撮像装置１に係る各種の情報も表示し得るカラーの画像表示装置である。なお、ＬＣＤ１２としてマルチバンドのカラー表示が可能な表示装置を用いる場合には、ＲＧＢ画像に代えてマルチバンド画像を表示するようにしても勿論構わない。

操作スイッチ１３は、この撮像装置１の電源をオン／オフするための電源スイッチ、マルチバンドイメージセンサ７による撮像を指示入力するためのレリーズスイッチ、各種のモード設定を行うためのモードスイッチや、その他各種の設定を行うための設定スイッチなどを含んで構成される操作入力部である。

操作表示部１４は、上述したＬＣＤ１２よりも小型の例えばモノクロＬＣＤとして構成されており、この撮像装置１に対して行われている操作状態や、この撮像装置１に対して設定されているモード状態等を表示するための情報表示装置である。

ＥＥＰＲＯＭ１５は、システムコントローラ１６がこの撮像装置１を制御するための処理プログラムや、各種の設定情報などを記憶する不揮発性メモリである。そして、このＥＥＰＲＯＭ１５は、信号処理部１９によりデモザイキングを行う際に必要なマルチバンドイメージセンサ７のカラーフィルタ配置情報を記憶する記憶部となっている。ここに、ＥＥＰＲＯＭ１５への情報の記憶は、例えば製造時に行われる。

システムコントローラ１６は、例えばＣＰＵ等を有して構成されており、操作スイッチ１３からの操作入力に応じて、ＥＥＰＲＯＭ１５から読み出した設定値や、プリプロセス回路９から得た画像データに基づき、レンズドライバ４、露出制御ドライバ６、イメージセンサドライバ８、プリプロセス回路９、デジタルプロセス回路１０、操作表示部１４、ＥＥＰＲＯＭ１５等を含むこの撮像装置１内の各部を統括的に制御するための制御部である。また、システムコントローラ１６は、必要に応じて、デモザイキングされた画像に基づき、被写体の分光特性の推定を、ウイナー推定法、マルコフ推定法、または主成分を基にした推定法などを用いて行うことも可能となっている（ただし、分光特性の推定は、メモリカードを介してデモザイキングされた画像データ（もしくはＲＡＷデータおよびカラーフィルタ配置情報）を出力し、外部のコンピュータや画像処理装置等で行っても勿論構わない）。

このような撮像装置１全体の撮像動作時における大まかな作用は、次のようになっている。

操作スイッチ１３のレリーズスイッチがオンされると、システムコントローラ１６が撮像動作の制御を開始する。

システムコントローラ１６は、露出制御ドライバ６を介して露出制御機構５に含まれるシャッタ機構を開放状態にし、マルチバンドイメージセンサ７からプリプロセス回路９を介して出力される信号に基づいてＡＦ制御およびＡＥ制御を行う。すなわち、システムコントローラ１６は、レンズドライバ４を介してレンズ駆動機構３を駆動し、撮影レンズ系２により結像される被写体像がマルチバンドイメージセンサ７上に合焦するようにＡＦ制御する。また、システムコントローラ１６は、露出制御ドライバ６を介して露出制御機構５に含まれる絞りの開口の大きさを制御する。

そして、合焦が行われ、撮像のための絞り値が得られたら、システムコントローラ１６は、露出制御機構５に含まれるシャッタ機構を制御して、ＡＥ制御により算出された露光時間だけマルチバンドイメージセンサ７上に被写体像を結像させる。これにより、マルチバンドイメージセンサ７の各画素は、光電変換を行い信号電荷を蓄積する。なお、ここでは露出制御機構５により露光時間の制御を行ったが、イメージセンサドライバ８を介してマルチバンドイメージセンサ７に電子シャッタの動作を行わせることにより露光時間の制御をするようにしても良いし、シャッタ機構と電子シャッタとを組み合わせても構わない。

露光が終了したら、システムコントローラ１６は、イメージセンサドライバ８を介してマルチバンドイメージセンサ７を制御することにより、画像信号の読み出しを行う。

読み出された画像信号は、プリプロセス回路９により増幅された後にデジタル信号（ＲＡＷデータ）に変換される。

このＲＡＷデータは、デジタルプロセス回路１０により、デモザイキング処理を含む上述した各種の信号処理が施される。例えば、信号処理部１９は、システムコントローラ１６を介してＥＥＰＲＯＭ１５からカラーフィルタ配置情報を読み込んで、マルチバンドイメージセンサ７から入力した単板の画像データ（１画素が１色の色成分でなる画像データ）を後述するようにデモザイキングし、マルチバンドの画像データ（全ての画素について、全色の色成分を備えた画像データ）を生成する。

こうしてデジタルプロセス回路１０により処理された信号は、ＬＣＤ１２に表示されるとともに、カードインタフェース１１を介してメモリカード１７に記録される。

次に、図３〜図５を参照して、本実施形態のマルチバンドイメージセンサ７におけるカラーフィルタの配置について説明する。図３はマルチバンドイメージセンサ７におけるカラーフィルタ配置を示す図、図４は固定パターンの画素位置に配置されるカラーフィルタを示す図、図５はカラーフィルタ配列における固定パターンを示す図である。なお、これら図３〜図５においては、配列におけるフィルタ位置が分かり易いように、行番号および列番号を参照のために付している。これら参照用の行番号および列番号は、下記に説明するその他の図面においても適宜付すこととする。

まず、フィルタ基礎配列領域について説明する。フィルタ基礎配列領域は、デモザイキング処理を行う際に必要な情報であるフィルタの配列を記憶しておかなければならない領域の最小のものを指す。すなわち、フィルタの配列が、撮像面を複数に区分した全ての区分のそれぞれにおいて同一であれば、その区分がフィルタ基礎配列領域となる。また、撮像面の中に同一のフィルタ配列の繰り返しがない場合には、撮像面全体がフィルタ基礎配列領域となる。

ただし、近年の撮像素子は１０００万画素以上の画素数をもつものも多いために、撮像面全体をフィルタ基礎配列領域とすると、ＥＥＰＲＯＭ１５内に全画素分のカラーフィルタ配置を記憶させておかなければならず大きなメモリ容量を要するとともに、信号処理部１９においてデモザイキング処理を行う場合にも一定の処理を繰り返すことができないために処理が複雑となり、処理負荷が大きい。

そこで実用的には、撮像面を複数に区分したものをフィルタ基礎配列領域とすることが望ましい。具体例としては、撮像面全体を図３に示したような８×８画素のフィルタ基礎配列領域に区分して、全てのフィルタ基礎配列領域に対して図３に示したようなカラーフィルタ配置を適用することが挙げられる。これにより、ＥＥＰＲＯＭ１５のメモリ容量を削減して、信号処理部１９の処理負荷を軽減することが可能となる。

次に、カラーフィルタ７ｃは、上述したように、複数のモノクロ画素７ｂが撮像面に水平方向および垂直方向に２次元状に配列された基板７ａに対して、何れか１バンドのカラーフィルタが１つのモノクロ画素に対して配置されるように配設することで、カラーの単板撮像素子を構成するための単板マルチバンド撮像素子用カラーフィルタである。従って、カラーフィルタ７ｃ上に設けられた画素単位の２次元状のフィルタ配列も、モノクロ画素７ｂの配列に対応して、水平方向および垂直方向の配列となっている。また、カラーフィルタ７ｃの設計を行う際に、フィルタ基礎配列領域におけるバンド毎のカラーフィルタの数を予め定めておくものとする。

そして、複数バンドのカラーフィルタは、撮像面全体に渡って一定の密度で分布するようになされた固定パターンの画素位置に配置されるフィルタである固定配置フィルタと、固定パターン以外の画素位置に配置されるフィルタであるランダム配置フィルタと、の２つに分類される。

ここに、固定配置フィルタは、透過する光が輝度成分に寄与する割合が最も高いカラーフィルタから順に、複数バンドのカラーフィルタの中から２以上の所定バンドのカラーフィルタが選ばれる。このように構成することで、輝度解像度を固定パターンの画素位置で確実に確保することができる利点がある。

このとき、固定配置フィルタが配置される固定パターンの画素位置は、輝度解像度をある程度確保しながら色解像度の向上を図るために、フィルタ基礎配列領域内において占める割合（ひいては、全画素に対して占める割合）Ｒａｔｅが、０．２５よりも大きく０．５未満（０．２５＜Ｒａｔｅ＜０．５）となるように予め定められる。ここに、輝度成分に寄与する割合が高い光を透過するカラーフィルタが全画素に占める割合が０．２５よりも大きいことは、原色ベイヤー配列におけるＲ，Ｂ成分の各色解像度よりも高い輝度解像度を確保することを意味している。また、輝度成分に寄与する割合が高い光を透過するカラーフィルタが全画素に占める割合が０．５未満であることは、原色ベイヤー配列におけるＲ成分およびＢ成分を合計した画素数よりも多い画素数を色成分に割り当てて、なるべく高い色解像度を確保すること（および、上記特開２００７−２５１３９３号公報に記載されたような市松模様に配置されたＣ１の割合０．５よりも小さく、該公報の場合よりも色解像度の向上が期待できること）を意味している。

ただし、単板マルチバンド撮像素子における輝度解像度と色解像度とを何れも高いレベルに保ち、両者を良好にバランスさせるためには、割合Ｒａｔｅが例えば０．３よりも大きく０．４未満（０．３＜Ｒａｔｅ＜０．４）であることがより望ましい。

また、固定配置フィルタは、ランダム配置フィルタの何れよりも分光透過率特性におけるピークの半値幅が広いフィルタを含むことが望ましい（図１０も参考として参照）。この場合には、信号処理部１９においてデモザイキング処理を行う際に、色相関（例えばスペクトル相関など）をより有効に利用することができる利点がある。

具体的に、本実施形態ではカラーフィルタ７ｃとして、８バンド（スペクトル上の各バンドは色に対応するために、以下では適宜８色などという）のカラーフィルタを用い、８色の各色を図３に示すように符号Ｃ１〜Ｃ８により表している。なお、この符号Ｃ１〜Ｃ８は、カラーフィルタの色（バンド）を表すのに用いるとともに、その色のカラーフィルタ自体、あるいはカラーフィルタが配置された画素の分光感度特性を示す曲線などを表すのにも用いるものとする。

そして、このような８バンドのカラーフィルタＣ１〜Ｃ８を用いて、例えば図３のようなフィルタ配置をとっている。

この図３に示すフィルタ配置では、所定バンドの数は２となっていて、固定配置フィルタであるのはカラーフィルタＣ１，Ｃ２、ランダム配置フィルタであるのはカラーフィルタＣ３〜Ｃ８である。

固定配置フィルタであるカラーフィルタＣ１，Ｃ２は、図４に示すような規則的な構造をなす固定パターンの画素位置にのみ配置されていて、上述したように、８バンドのフィルタＣ１〜Ｃ８の内の、輝度成分に寄与する割合が高い光を透過するカラーフィルタを、寄与割合が高い方から順に選んだ２つとなっている（この場合には当然にして、カラーフィルタＣ１，Ｃ２の何れか一方は、輝度成分に寄与する割合が最も高い光を透過するバンドのカラーフィルタ、他方は輝度成分に寄与する割合が２番目に高い光を透過するバンドのカラーフィルタとなる）。

カラーフィルタＣ１およびＣ２（すなわち、固定配置フィルタの全色）で構成される固定パターンは、図５に示すように、左斜め方向（図５において右上から左下にかけての方向）の配列および右斜め方向（図５において左上から右下にかけての方向）の配列を含み、図５に示す例では、何れの斜め方向の配列も配列方向に沿ってフィルタが連続しており、かつ、左斜め方向の配列同士がなすピッチと、右斜め方向の配列同士がなすピッチとは、同一の２画素のピッチとなっている。

そして、図５を見れば分かるように、固定パターンは、左斜め方向の配列と右斜め方向の配列との組み合わせによって斜め格子（ダイヤ型の格子）を構成しており、４×４画素配列を基本配列としている。この図３〜図５に示す固定パターンの画素位置に配置された画素の割合Ｒａｔｅは、６／１６＝０．３７５であり、上述した条件０．２５＜Ｒａｔｅ＜０．５を満たすことは勿論、より望ましい条件０．３＜Ｒａｔｅ＜０．４も満たしている。

従って、０．６２５の割合の領域にランダム配置フィルタであるカラーフィルタＣ３〜Ｃ８を配置することが可能となり、輝度解像度をある程度確保しながら、色解像度の向上を図ることが可能となる。

より具体的には、各カラーフィルタＣ１，Ｃ２の配置は次のようになっている。

カラーフィルタＣ１を（１，１）〜（４，４）までの４×４画素の基本配列内における例えば座標（１，１）に配置したときに、この基本配列内において、座標（３，３）にのみさらにＣ１が存在する。また、カラーフィルタＣ２は、座標（２，２）、（２，４）、（４，２）、（４，４）に配置されている。このような配列を採用した場合には、カラーフィルタＣ２は水平方向および垂直方向に１ラインおきに（２画素に１画素の割合で）配置され、カラーフィルタＣ１は、カラーフィルタＣ２とは異なるラインに斜め方向にＣ２を挟むように、かつ水平および垂直に３ラインおきに（４画素に１画素の割合で）配置されることになる。

また、ランダム配置フィルタであるカラーフィルタＣ３〜Ｃ８は、図５に示した固定パターン以外の画素位置に、上述したようなフィルタ基礎配列領域におけるバンド毎のカラーフィルタの数が予め定められた数となる制限の下に、ランダムに配置されている。ここに、各カラーフィルタＣ３〜Ｃ８の数は、例えばそれぞれの重要度に応じて定められる。

カラーフィルタＣ３〜Ｃ８のランダムな配置は、カラーフィルタを設計する際に例えば乱数を発生させることによって得ることができる。すなわち、例えば座標（２，１）に配置するカラーフィルタを決定するときに、３〜８までの範囲内の数字から乱数を発生させ、例えば「３」が乱数として得られた場合には、カラーフィルタＣ３を配置する。このとき、乱数として発生される３〜８までの範囲内の数字は、同一の確率で発生するのではなく、予め定められた乱数フィルタ基礎配列領域におけるバンド毎のカラーフィルタの数に応じた発生確率で発生するようにする。そして、フィルタ基礎配列領域における１つ以上のバンドのカラーフィルタの数が予め定められた数に達した場合には、そのバンドに対応する数字を、乱数を発生させる数字から除外する。例えば、カラーフィルタＣ５のみが予め定められた数に達した場合には、３，４，６〜８までの範囲内の数字から乱数を発生させる、等である。このような処理を、固定パターン以外の全ての画素位置に対して行えば良い。

次に、信号処理部１９において行われるデモザイキング処理の一例を説明する。

以下の説明においては、マルチバンドイメージセンサ７のカラーフィルタＣｉ（ｉ＝１〜８）が配設された画素から得られた単板の画素値がＸｉであるものとする。

デモザイキング処理は、まず、固定パターンの画素位置に配置されたカラーフィルタＣ１，Ｃ２が配設された画素から得られた画素値Ｘ１，Ｘ２から着手する。ここで、カラーフィルタＣ１とカラーフィルタＣ２とには分光透過率特性に相関性が高い（すなわち、スペクトル相関性が高い）ものとする（スペクトル相関性が高くない場合には、下記に説明するように、後段の処理において空間相関性を用いた補間を行うことになる）。この場合には、カラーフィルタＣ１の分光透過率特性に対するカラーフィルタＣ２の分光透過率特性の比に基づく係数Ｋ１２をＸ１に乗算すれば、Ｃ１の画素位置の画素値Ｘ２を算出することができる。同様に、カラーフィルタＣ２の分光透過率特性に対するカラーフィルタＣ１の分光透過率特性の比に基づく係数Ｋ２１をＸ２に乗算すれば、Ｃ２の画素位置の画素値Ｘ１を算出することができる。このような処理を単板として得られた全ての画素値Ｘ１，Ｘ２について行うことにより、図５に示す固定パターンの画素位置（Ｃ１およびＣ２の画素位置）の全てについて、画素値Ｘ１およびＸ２が得られる。

次に、固定パターン以外の画素位置の画素値Ｘ１，Ｘ２の補間についても、例えば、まずスペクトル相関性を利用可能であれば利用する。すなわち、カラーフィルタＣ１とスペクトル相関性が高いカラーフィルタがＣ３〜Ｃ８の中にある場合には、そのカラーフィルタをＣｊとすると、カラーフィルタＣｊの分光透過率特性に対するカラーフィルタＣ１の分光透過率特性の比に基づく係数Ｋｊ１をＸｊに乗算すれば、Ｃｊの画素位置の画素値Ｘ１を算出することができる。

同様に、カラーフィルタＣ２とスペクトル相関性が高いカラーフィルタがＣ３〜Ｃ８の中にある場合には、そのカラーフィルタをＣｍとすると、カラーフィルタＣｍの分光透過率特性に対するカラーフィルタＣ２の分光透過率特性の比に基づく係数Ｋｍ２をＸｍに乗算すれば、Ｃｍの画素位置の画素値Ｘ２を算出することができる。

なお、このようなスペクトル相関を利用したデモザイキング処理は、カラーフィルタＣ１，Ｃ２として、上述したようなカラーフィルタＣ３〜Ｃ８の何れよりも分光透過率特性におけるピークの半値幅が広いフィルタを選ぶ場合に、各カラーフィルタとのスペクトル相関性が確保できると期待されるために有利である。

固定パターン以外の画素位置において、画素値Ｘ１と画素値Ｘ２との何れか一方のみしか得られていない場合には、画素値Ｘ１と画素値Ｘ２との相関性を用いれば、上述したように他方を容易に得ることができる。

このような処理を行うことにより、カラーフィルタＣ１またはカラーフィルタＣ２の少なくとも一方とスペクトル相関性が高いカラーフィルタＣ３〜Ｃ８の全ての画素位置に対して、画素値Ｘ１および画素値Ｘ２を推定することができる。

この処理の後には、画素値Ｘ１，Ｘ２が得られていないのは、カラーフィルタＣ１およびカラーフィルタＣ２の何れともスペクトル相関性が高くないカラーフィルタ（Ｃ３〜Ｃ８中の何れかであり、Ｃｎとする）の画素位置のみとなる。

そこで、次に、Ｃｎ以外の画素位置で得られている画素値Ｘ１に基づき、空間相関性を利用して線形補間等を行うことにより、Ｃｎの画素位置における画素値Ｘ１を算出する。同様に、Ｃｎ以外の画素位置で得られている画素値Ｘ２に基づき、空間相関性を利用して線形補間等を行うことにより、Ｃｎの画素位置における画素値Ｘ２を算出する（あるいは、Ｃ１とＣ２とのスペクトル相関性を利用して、Ｃｎの画素位置における画素値Ｘ１に基づき、同画素位置における画素値Ｘ２を算出する。）。このような処理を全てのＣｎの画素位置に対して行うことにより、全画素位置の画素値Ｘ１，Ｘ２が得られることになる。なお、上述においては、カラーフィルタＣ１とカラーフィルタＣ２とにスペクトル相関性が高いことを想定したが、スペクトル相関性が高くない場合には、この段階で空間相関性を利用して補間を行うことになる。

こうして、全画素位置の画素値Ｘ１，Ｘ２が得られたら、次は全画素位置の画素値Ｘ３〜Ｃ８の補間処理に進む。

ここでもまず、スペクトル相関性を利用可能であれば利用することにする。すなわち、カラーフィルタＣｊは上述したようにカラーフィルタＣ１とスペクトル相関性が高いから、カラーフィルタＣ１の分光透過率特性に対するカラーフィルタＣｊの分光透過率特性の比に基づく係数Ｋ１ｊをＣｊ以外の画素位置のＸ１に乗算すれば、Ｃｊ以外の画素位置の画素値Ｘｊを算出することができる。

同様に、カラーフィルタＣｍは上述したようにカラーフィルタＣ２とスペクトル相関性が高いから、カラーフィルタＣ２の分光透過率特性に対するカラーフィルタＣｍの分光透過率特性の比に基づく係数Ｋ２ｍをＣｍ以外の画素位置のＸ２に乗算すれば、Ｃｍ以外の画素位置の画素値Ｘｍを算出することができる。ただし、カラーフィルタＣｊとＣｍには共通するものが存在することがあり得る（つまり、ＣｊにＣ２ともスペクトル相関性が高いものが存在することがあり、そのＣｊはＣｍにも含まれる）。このＣｊとＣｍに共通するフィルタについては、Ｃ１とのスペクトル相関性とＣ２とのスペクトル相関性との内の、高い方のスペクトル相関性を示す方から得られた結果を採用すれば良い。

このような処理を全てのＣｊおよびＣｍ（ただし、ＣｊとＣｍに共通するフィルタについては何れか一方）について行うことにより、全画素位置の画素値Ｘ１，Ｘ２，Ｘｊ，Ｘｍが得られる。

この時点でデモザイキングが未処理であるのは、カラーフィルタＣ１およびカラーフィルタＣ２の何れともスペクトル相関性が高くないカラーフィルタＣｎに係る画素値Ｘｎである。

ここでもさらに、スペクトル相関性を利用可能であれば利用することにする。すなわち、カラーフィルタＣｎは、上述したようにカラーフィルタＣ１，Ｃ２とはスペクトル相関性が高くないが、カラーフィルタＣｊまたはＣｍの中にスペクトル相関性が高いものが存在することがある（このカラーフィルタをＣｐとする）。このときには、カラーフィルタＣｐの分光透過率特性に対するカラーフィルタＣｎの分光透過率特性の比に基づく係数ＫｐｎをＣｎ以外の画素位置のＸｐに乗算すれば、Ｃｎ以外の画素位置の画素値Ｘｎを算出することができる。

このような処理をＣｐが存在する全てのＣｎについて行う。全てのＣｎに対してＣｐが存在する場合には、この時点でデモザイキング処理が終了することになる。一方、Ｃｐが存在しないＣｎがある場合には、そのＣｎをＣｎ’とし、Ｃｎ’以外のＣｎをＣｐ’とすると、カラーフィルタＣｎ’は、カラーフィルタＣｐ’の中にスペクトル相関性が高いものが存在することがある。このときには、ＣｎとＣｐとのスペクトル相関性を利用して画素値Ｘｎを算出した処理と全く同様の処理を、Ｃｎ’とＣｐ’とに対して行う。その後も、Ｃｐ’が存在しないＣｎ’がある場合には、そのＣｎ’をＣｎ”とし、Ｃｎ”以外のＣｎ’をＣｐ”とする、等を繰り返し行う。

このような処理を、それ以上の実行が不可能になるまで行った結果、全画素位置に対して画素値Ｘ１〜Ｘ８が得られればデモザイキング処理が終了する。一方、画素値Ｘ１〜Ｘ８の内の何れかに得られていないものがあれば、その画素値に対応するカラーフィルタは既に全画素位置に対して画素値が得られているカラーフィルタの何れともスペクトル相関性が高くないことになる。

この場合には、デモザイキングが未処理のカラーフィルタの画素値を、例えば空間相関性を利用して補間すれば良い。

なお、上述では、輝度成分に寄与する割合が高い方から順に２つ選んだカラーフィルタＣ１，Ｃ２を固定パターンの画素位置に配置したが、これらに加えて、輝度成分に寄与する割合がカラーフィルタＣ１，Ｃ２に準ずるような光を透過するその他のバンドのカラーフィルタをランダム配置フィルタに配置するようにしても構わない（ランダム配置フィルタとすると、エイリアシングノイズを低減することができる効果がある）。

また、上述では空間相関性を利用する補間法として線形補間法を例に挙げたが、空間相関性を利用する補間法には例えば勾配に基づく補間法やその他各種の技術が存在するために、それらの内の何れの技術を用いても構わない。

さらに、上述では空間相関性よりもスペクトル相関性を優先的に利用したが、勿論これに限るものではなく、処理負荷等も考慮しながらより精度の高い補間法を適用すればよい。一例を挙げれば、エッジ検出等を用いた画像の平坦性の検出や、画像の色分布の検出を行い、その結果に基づいて画像を解析し、画像全体を、平坦性が高いために空間相関性に基づく補間を行う領域と、色相関性が高いためにスペクトル相関性に基づく補間を行う領域とに分割し、領域毎にそれぞれに適した補間法を適用する等が考えられる。

その他、デモザイキング処理としては種々の技術が提案されているために、本発明の趣旨を損なうものでなければ、任意の技術を採用することができる。

このような実施形態１によれば、４バンド以上の単板マルチバンド撮像素子用カラーフィルタを用いて単板マルチバンド撮像素子を構成しているために、原色ベイヤー配列のカラーフィルタを供えた撮像素子よりも色再現性を高めることができ、かつ、被写体のスペクトルをより高精度に推定することが可能となる。

そして、輝度成分に寄与する割合が高い光を透過するカラーフィルタを、全画素に占める割合Ｒａｔｅが０．２５＜Ｒａｔｅ＜０．５となるように撮像面全体に渡って一定の密度で分布する固定パターンの画素位置に配置したために、比較的高い輝度解像度を固定パターンの画素位置で確実に確保しながら、上記特開２００７−２５１３９３号公報に記載された技術よりも色解像度を向上することが可能となる。特に、０．３＜Ｒａｔｅ＜０．４とした場合には、単板マルチバンド撮像素子における輝度解像度と色解像度とを何れも高いレベルに保つことができ、両者を良好にバランスさせることができる。

そして、水平方向および垂直方向の２次元状配列において、全ての固定配置フィルタが配置される画素位置により構成される固定パターンが、左斜め方向の配列および右斜め方向の配列を含むようにしたために、水平方向と垂直方向との両方における輝度解像度を確保することができる。このとき、左斜め方向の配列および右斜め方向の配列を、配列方向に沿ってフィルタが連続する配列とすることにより、輝度成分が得られないラインは水平ラインおよび水平ラインの何れにも存在しなくなるために、水平方向と垂直方向との両方における輝度解像度を高めることが可能となる。加えて、左斜め方向の配列同士がなすピッチと右斜め方向の配列同士がなすピッチとを同一とすることにより、水平方向の輝度解像度と垂直方向の輝度解像度とを同一レベルの高さに保つことができる。

特に、本実施形態においては、左斜め方向の配列同士がなすピッチと右斜め方向の配列同士がなすピッチとを何れも斜め方向に２画素のピッチとし、固定パターンを４×４画素配列を基本配列として、この基本配列内において座標（１，１）および（３，３）にのみＣ１を配置し、座標（２，２）、（２，４）、（４，２）、（４，４）にのみＣ２を配置することにより、割合Ｒａｔｅを０．３７５として、上述した望ましい条件、０．３＜Ｒａｔｅ＜０．４を達成することができる。

また、全画素に占める割合が０．５よりも大きい領域（固定パターンの画素位置を除く画素位置でなる領域）にその他のカラーフィルタＣ３〜Ｃ８をランダムに配置することにより、色解像度の向上を図りながら、デモザイキングを行うときの偽色の発生を抑制することができる。
［実施形態２］

図６から図１１は本発明の実施形態２を示したものであり、図６はマルチバンドイメージセンサ７におけるカラーフィルタ配置を示す図、図７は固定パターンの画素位置に配置されるカラーフィルタを示す図、図８はカラーフィルタ配列における固定パターンを示す図、図９はランダム配置フィルタを配置する閉領域の例を示す図、図１０はカラーフィルタＣ１〜Ｃ８の各分光透過率特性を示す線図、図１１はカラーフィルタＣ２として複数の透過率のフィルタを用いる例における分光透過率特性を示す線図である。この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

本実施形態においても、上述した実施形態１と同様に、カラーフィルタ７ｃとして、８バンドのカラーフィルタＣ１〜Ｃ８を用いている。ただし、本実施形態においては、所定バンドの数は３となっていて、固定配置フィルタであるのはカラーフィルタＣ１〜Ｃ３、ランダム配置フィルタであるのはカラーフィルタＣ４〜Ｃ８である。そして、このような８バンドのカラーフィルタＣ１〜Ｃ８を用いて、例えば図６のようなフィルタ配置をとっている。

固定配置フィルタであるカラーフィルタＣ１〜Ｃ３は、図７に示すような規則的な構造をなす固定パターンの画素位置にのみ配置されていて、輝度成分に寄与する割合が１〜３番目に高い光を透過し、かつ、例えばバンド幅が広いフィルタとなっている。

すなわち、各カラーフィルタＣ１〜Ｃ８の分光透過率特性は、例えば図１０に示すようになっていて、固定配置フィルタであるカラーフィルタＣ１〜Ｃ３は、ランダム配置フィルタであるカラーフィルタＣ４〜Ｃ８の何れよりも分光透過率特性におけるピークの半値幅が広いフィルタとなっている。そして、カラーフィルタＣ１〜Ｃ３の内のカラーフィルタＣ２は、カラーフィルタＣ１，Ｃ３よりも輝度成分に寄与する割合が高い光を透過する。

カラーフィルタＣ１〜Ｃ３（すなわち、固定配置フィルタの全色）で構成される固定パターンは、図８に示すように、上述した実施形態１の図５に示したものと基本的に同様である。従って、固定パターンの画素位置に配置された画素の割合Ｒａｔｅも、実施形態１と同様に０．３７５であり、０．６２５の割合の領域にランダム配置フィルタであるカラーフィルタＣ４〜Ｃ８を配置することが可能となり、輝度解像度をある程度確保しながら、色解像度の向上を図ることが可能である。

ただし、実施形態１と異なって固定配置フィルタが３色であるために、図７に示すように、各色の配置は実施形態１とは自ずから異なる。

まず、カラーフィルタＣ１の配置は、図７に示す例は図５に示したものと同様である。従って、図５に示したカラーフィルタＣ２の位置を、本実施形態においてはカラーフィルタＣ２，Ｃ３でシェアすることになる。

すなわち、カラーフィルタＣ１を（１，１）〜（４，４）までの４×４画素の基本配列内における例えば座標（１，１）および（３，３）に配置したときに、カラーフィルタＣ２は、座標（２，２）および（４，４）に配置され、カラーフィルタＣ３は、座標（２，４）および（４，２）に配置されている（ただし、カラーフィルタＣ２とカラーフィルタＣ３の配置は交換しても構わない）。このような配列を採用した場合には、カラーフィルタＣ１〜Ｃ３は水平および垂直にそれぞれ接しないように１ラインの隙間をもった市松模様（隙間のラインを無視すると市松模様となる）で配置され、カラーフィルタＣ１はカラーフィルタＣ２およびカラーフィルタＣ３とは異なるラインの全てに水平および垂直に３ラインおきに配置されることになる。

また、ランダム配置フィルタであるカラーフィルタＣ４〜Ｃ８は、図８に示した固定パターン以外の画素位置に、上述したようなフィルタ基礎配列領域におけるバンド毎のカラーフィルタの数が予め定められた数となる制限の下に、ランダムに配置されている。

ただし、例えば図６に示したようなフィルタ基礎配列領域内全体でランダムに配置するのに変えて、図９に示すように、フィルタ基礎配列領域内の閉領域毎にランダムに配置しても良い。

すなわち、固定パターンは、左斜め方向の配列および右斜め方向の配列の組み合わせによって斜め格子を構成している。そして、隣接する一対の同一周期（ここに、同一周期は、配列方向に沿ったカラーフィルタの配列順序が同一であることを示している。後述する実施形態３においては、隣接する配列の位相が半周期ずれている例が示されており、ここでは、閉領域が、同一周期の配列同士で囲まれた領域であることを述べている。）の左斜め方向の配列と、隣接する一対の同一周期の右斜め方向の配列と、で構成される斜め格子により囲まれる閉領域が存在する（図９のハッチング部分参照）。この閉領域は、図９に示す例では十字状をなす５画素分の領域である。そこで、この閉領域毎に、ランダム配置フィルタであるカラーフィルタＣ４〜Ｃ８の全５色をランダムに配置することが考えられる。この場合には、図９に示した例に限らず、ランダム配置フィルタのバンド数が、閉領域の画素数を最大値とする数である（つまり、閉領域の画素数以下である）ことを想定している。

そして、閉領域毎のランダム配置をとる場合には、フィルタ基礎配列領域、ひいては画像全体における各色の分布をほぼ均一とすることができるために、デモザイキングを行うときの偽色の発生を抑制することができ、かつ、色解像度の局所的な低下も抑制することが可能となる。

ただし、閉領域の画素数とランダム配置フィルタのバンド数とに応じて、ランダム配置フィルタの各バンドの割合は制限を受けることになる。例えば、図９に示したような閉領域の画素数が５で、かつランダム配置フィルタのバンド数が５である場合には、ランダム配置フィルタの各バンドの割合は均等に制限される（カラーフィルタＣ４〜Ｃ８の全５色を同一数ずつ配置するしかない）。

次に、本実施形態において、信号処理部１９により行われるデモザイキング処理の一例について、上述した実施形態１と異なる部分を主として説明する。

本実施形態においては、図１０に示すような分光透過率特性のカラーフィルタＣ１〜Ｃ８を用いているために、スペクトル相関に関して次のような特徴がある。

まず、固定配置フィルタであるカラーフィルタＣ１〜Ｃ３は、ピークの半値幅が広いために、スペクトル相関をもつ色の種類が比較的多い。まず、カラーフィルタＣ２はカラーフィルタＣ１およびＣ３と強いスペクトル相関をもち、カラーフィルタＣ１とカラーフィルタＣ３とは幾らかのスペクトル相関をもつ。

カラーフィルタＣ２はカラーフィルタＣ６と強い相関をもち、カラーフィルタＣ５およびＣ７と幾らかのスペクトル相関をもつ。

カラーフィルタＣ１はカラーフィルタＣ５と強い相関をもち、カラーフィルタＣ４およびＣ６と幾らかのスペクトル相関をもつ。

カラーフィルタＣ３はカラーフィルタＣ７と強い相関をもち、カラーフィルタＣ６およびＣ８と幾らかのスペクトル相関をもつ。

また、カラーフィルタＣ４〜Ｃ８は互いのスペクトル相関が比較的低いながらも、波長に沿った配列順序を考慮すると、カラーフィルタＣ４とカラーフィルタＣ５、カラーフィルタＣ５とカラーフィルタＣ６、カラーフィルタＣ６とカラーフィルタＣ７、カラーフィルタＣ７とカラーフィルタＣ８は、それぞれ少しはスペクトル相関がある。

デモザイキング処理は、まず、固定パターンの画素位置に配置されたカラーフィルタＣ１〜Ｃ３が配設された画素から得られた画素値Ｘ１〜Ｘ３から着手する。カラーフィルタＣ１〜Ｃ３間には上述したような相関性があるために、カラーフィルタＣ１の分光透過率特性に対するカラーフィルタＣ２の分光透過率特性の比に基づく係数Ｋ１２をＸ１に乗算すれば、Ｃ１の画素位置の画素値Ｘ２を算出することができる。同様に、カラーフィルタＣ３の分光透過率特性に対するカラーフィルタＣ２の分光透過率特性の比に基づく係数Ｋ３２をＸ３に乗算すれば、Ｃ３の画素位置の画素値Ｘ２を算出することができる。このような処理を単板として得られた全ての画素値Ｘ１〜Ｘ３について行うことにより、図８に示す固定パターンの画素位置（Ｃ１〜Ｃ３の画素位置）の全てについて、画素値Ｘ２が得られる。

次に、カラーフィルタＣ２の分光透過率特性に対するカラーフィルタＣ１の分光透過率特性の比に基づく係数Ｋ２１をＸ２に乗算すれば、固定パターンの画素位置の全てについて、画素値Ｘ１が得られる。

同様に、カラーフィルタＣ２の分光透過率特性に対するカラーフィルタＣ３の分光透過率特性の比に基づく係数Ｋ２３をＸ２に乗算すれば、固定パターンの画素位置の全てについて、画素値Ｘ３が得られる。

ここまでの処理により、固定パターンの画素位置の全てについて、画素値Ｘ１〜Ｘ３が得られたことになる。

次に、固定パターン以外の画素位置の画素値Ｘ１〜Ｘ３の補間についても、例えば、まずスペクトル相関性を利用可能であれば利用する。

上述と同様の係数を利用すれば、カラーフィルタＣ４，Ｃ５の位置の画素値Ｘ１、カラーフィルタＣ６の位置の画素値Ｘ２、カラーフィルタＣ７，Ｃ８の位置の画素値Ｘ３がそれぞれ得られる。

また、Ｃ２とＣ５のスペクトル相関、またはＣ２とＣ１のスペクトル相関の何れか一方を利用すれば、カラーフィルタＣ５の位置の画素値Ｘ２が得られ、Ｃ２とＣ１のスペクトル相関を利用すればカラーフィルタＣ４の位置の画素値Ｘ１が得られる。Ｃ２とＣ７のスペクトル相関、またはＣ２とＣ３のスペクトル相関の何れか一方を利用すれば、カラーフィルタＣ７の位置の画素値Ｘ２が得られ、Ｃ２とＣ３のスペクトル相関を利用すれば、カラーフィルタＣ８の位置の画素値Ｘ２が得られる。これにより、全画素位置について、画素値Ｘ２が得られたことになる。

同様に、Ｃ１とＣ６のスペクトル相関、またはＣ１とＣ２のスペクトル相関の何れか一方を利用すれば、カラーフィルタＣ６の位置の画素値Ｘ１が得られ、Ｃ１とＣ２のスペクトル相関を利用すればカラーフィルタＣ７，Ｃ８の位置の画素値Ｘ１が得られる。これにより、全画素位置について、画素値Ｘ１が得られたことになる。

さらに、Ｃ３とＣ６のスペクトル相関、またはＣ３とＣ２のスペクトル相関の何れか一方を利用すれば、カラーフィルタＣ６の位置の画素値Ｘ３が得られ、Ｃ３とＣ２のスペクトル相関を利用すればカラーフィルタＣ４，Ｃ５の位置の画素値Ｘ３が得られる。これにより、全画素位置について、画素値Ｘ３が得られたことになる。

この時点で、全画素位置について画素値Ｘ１〜Ｘ３が得られているために、画素値Ｘ４〜Ｘ８については、スペクトル相関に基づき画素値Ｘ１〜Ｘ３の何れかリファレンスとして用いて算出することができる。

すなわち、Ｃ４とＣ１のスペクトル相関を利用すれば全画素位置の画素値Ｘ４が得られ、Ｃ５とＣ１のスペクトル相関を利用すれば全画素位置の画素値Ｘ５が得られ、Ｃ６とＣ２のスペクトル相関を利用すれば全画素位置の画素値Ｘ６が得られ、Ｃ７とＣ３のスペクトル相関を利用すれば全画素位置の画素値Ｘ７が得られ、Ｃ８とＣ３のスペクトル相関を利用すれば全画素位置の画素値Ｘ８が得られる。

こうして、図１０に示したような分光透過率特性のカラーフィルタＣ１〜Ｃ８を用いれば、スペクトル相関に基づきデモザイキングを行うことが可能となる。ただし、上述の処理においては間接的なスペクトル相関を利用している部分（一例を挙げれば、Ｃ５とＣ２にスペクトル相関があり、Ｃ２とＣ３にスペクトル相関があるのを利用して、Ｃ５の位置の画素値Ｘ３を求める等）があるが、このような間接的なスペクトル相関では補間精度が低下する場合もあり得る。従って、補間精度が低下する可能性がある場合には、スペクトル相関に代えて空間相関等を適宜利用しても勿論構わない。

なお、カラーフィルタＣ２は、上述したように、固定配置フィルタであるカラーフィルタＣ１〜Ｃ３の中で輝度成分に寄与する割合が最も高い光を透過する。そこで、このカラーフィルタＣ２として、図１１に示すような複数の透過率のカラーフィルタＣ２，Ｃ２’，Ｃ２”を用いることが考えられる。ここに、カラーフィルタＣ２’はカラーフィルタＣ２よりも感度が高く、カラーフィルタＣ２”はカラーフィルタＣ２よりも感度が低くなるように設定されている。このような構成を採用すれば、ダイナミックレンジの拡大を容易に図ることができる利点がある。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、固定パターンの位置に配置するフィルタの種類を３種類とすることができる。

このとき、Ｃ１を４×４画素配列における座標（１，１）および（３，３）に配置するとともに、座標（２，２）および（４，４）と、座標（２，４）および（４，２）と、の内の一方にＣ２を、他方にＣ３を配置する場合には、Ｃ１〜Ｃ３の何れもを、撮像面全体に渡って均一の密度で分布させることができる。

また、隣接する一対の同一周期の左斜め方向の配列と、隣接する一対の同一周期の右斜め方向の配列と、で構成される斜め格子により囲まれる閉領域毎に、全バンドのランダム配置フィルタを配置する場合には、フィルタ基礎配列領域、ひいては画像全体における各色の分布をほぼ均一とすることができるために、デモザイキングを行うときの偽色の発生を抑制することができるだけでなく、任意画素の近傍に任意の色を存在させることができ、色解像度の局所的な低下も抑制することが可能となる。

また、固定パターンの画素位置にあるフィルタ（固定配置フィルタ）は、比較的高い精度でデモザイキングを行うことができる。そこで、固定配置フィルタとして分光透過率特性におけるピークの半値幅が広いフィルタを用いることにより、スペクトル相関に基づくデモザイキングを高精度に行うことが可能となる。
［実施形態３］

図１２および図１３は本発明の実施形態３を示したものであり、図１２は固定パターンの画素位置に配置されるカラーフィルタを示す図、図１３はカラーフィルタ配列における固定パターンを示す図である。この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

本実施形態におけるフィルタ構成は、上述した実施形態１と同様に所定バンドの数は２となっていて、図１２に示すように固定配置フィルタであるのはカラーフィルタＣ１，Ｃ２である。また、ランダム配置フィルタは適宜でよいが、例えば実施形態１と同様にカラーフィルタＣ３〜Ｃ８である。

固定配置フィルタであるカラーフィルタＣ１，Ｃ２が配置される固定パターンは、実施形態１とは異なり、図１２および図１３に示すような配列となっている。

この固定パターンは、配列方向に沿ってフィルタが連続する左斜め方向の配列および右斜め方向の配列を含むことは実施形態１と同様であるが、隣接する一対の同一周期の左斜め方向の配列同士がなすピッチと、隣接する一対の同一周期の右斜め方向の配列同士がなすピッチとは、実施形態１と違い、異なっている。

すなわち、同一周期の左斜め方向（図１２、図１３において右上から左下にかけての方向）の配列同士がなすピッチは斜め方向２画素分であるのに対して、同一周期の右斜め方向（図１２、図１３において左上から右下にかけての方向）の配列同士がなすピッチは斜め方向の６画素分となっている。なお、図１３のみを見ると、右斜め方向の配列同士がなすピッチは斜め方向の３画素分であるようにも見えるが、右斜め方向の配列は、同一周期の配列同士の間に、半周期位相がずれた配列が挟み込まれている。つまり、図１２において例えば座標（１，７）および（７，１）のカラーフィルタはＣ１であるのに対して、座標（４，４）のカラーフィルタはＣ２である。従って、同一周期の右斜め方向の配列同士がなすピッチは、正しくは、上述したように６画素分である。

このような固定パターンがどのように繰り返されているかは基点とする画素位置に応じて種々の見方ができるが、見方の一例としては、図１３においてハッチングで示したような繰り返しパターンが生じているということができる。

そして、図１３の実線ハッチングで示した繰り返しパターンを例にとると、図１２を見れば、座標（４，６）、（６，４）、（６，６）、（８，２）の４つの画素位置にカラーフィルタＣ２が配置され、座標（３，７）、（５，５）、（７，３）、（９，３）の４つの画素位置にカラーフィルタＣ１が配置されていることが分かる。

このような固定パターンの画素位置に配置された画素の割合Ｒａｔｅは、８／２４＝０．３３３であり、上述した条件０．２５＜Ｒａｔｅ＜０．５を満たすことは勿論、より望ましい条件０．３＜Ｒａｔｅ＜０．４も満たすものとなっている。

従って、残りの０．６６７の割合の領域に、ランダム配置フィルタを配置することになり、上記特開２００７−２５１３９３号公報に記載された技術よりも色解像度の向上を図ることが可能となる。

なお、本実施形態の固定パターンにおいても、隣接する一対の同一周期の左斜め方向の配列と、隣接する一対の同一周期の右斜め方向の配列と、で構成される斜め格子により囲まれる閉領域（図１３において同一種類のハッチングを施した画素位置の内の、固定以外の画素位置で構成される閉領域）毎に、全バンドのランダム配置フィルタを配置しても良いことは勿論である。

このような実施形態３によっても、左斜め方向の配列同士がなすピッチと右斜め方向の配列同士がなすピッチとが同一でない点を除いて、上述した実施形態１とほぼ同様の効果を奏することが可能となる。
［実施形態４］

図１４および図１５は本発明の実施形態４を示したものであり、図１４は固定パターンの画素位置に配置されるカラーフィルタを示す図、図１５はカラーフィルタ配列における固定パターンを示す図である。この実施形態４において、上述の実施形態１〜３と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

本実施形態におけるフィルタ構成は、上述した実施形態１，３と同様に所定バンドの数は２となっていて、図１４に示すように固定配置フィルタであるのはカラーフィルタＣ１，Ｃ２である。また、ランダム配置フィルタは適宜でよいが、例えば実施形態１と同様にカラーフィルタＣ３〜Ｃ８である。

固定配置フィルタであるカラーフィルタＣ１，Ｃ２が配置される固定パターンは、実施形態１，３とは異なり、図１４および図１５に示すような配列となっている。

この固定パターンは、配列方向に沿ってフィルタが連続する左斜め方向の配列および右斜め方向の配列を含み、左斜め方向の配列同士がなすピッチと、右斜め方向の配列同士がなすピッチとが同じであることは、実施形態１と同様である。

ただし、ピッチの値が異なり、同一周期の左斜め方向（図１４、図１５において右上から左下にかけての方向）の配列同士がなすピッチと、同一周期の右斜め方向（図１４、図１５において左上から右下にかけての方向）の配列同士がなすピッチとは、何れも、斜め方向の６画素分となっている。

さらに、隣接する同一周期の左斜め方向の配列同士の間に、半周期位相がずれた左斜め方向の配列が挟み込まれ、隣接する同一周期の右斜め方向の配列同士の間に、半周期位相がずれた右斜め方向の配列が挟み込まれたものとなっている。例えば、図１４に示す配列において、右斜め方向の配列について考えると、座標（１０，４）および（４，１０）のカラーフィルタはＣ２であるのに対して、座標（７，７）のカラーフィルタはＣ１である。同様に、左斜め方向の配列について考えると、座標（４，４）および（１０，１０）のカラーフィルタはＣ２であるのに対して、座標（７，７）のカラーフィルタはＣ１である。

このような固定パターンがどのように繰り返されているかは基点とする画素位置に応じて種々の見方ができるが、見方の一例としては、図１５においてハッチングで示したような繰り返しパターンが生じているということができる。

そして、図１５において実線、点線、一点鎖線の何れかのハッチングで示した繰り返しパターンの１つを例にとると、図１４を見れば、座標（２，６）、（４，４）、（６，２）、（６，６）、（６，８）、（８，２）、（８，６）、（８，８）、（１０，４）、（１２，６）の１０個の画素位置にカラーフィルタＣ２が配置され、座標（３，５）、（５，３）、（５，５）、（５，９）、（７，１）、（７，７）、（９，３）、（９，５）、（９，９）、（１１，５）の１０個の画素位置にカラーフィルタＣ１が配置されていることが分かる。

このような固定パターンの画素位置に配置された画素の割合Ｒａｔｅは、２０／７２＝０．２７８であり、上述した条件０．２５＜Ｒａｔｅ＜０．５は満たしているが、より望ましい条件０．３＜Ｒａｔｅ＜０．４には届かないものとなっている。ただし、このような固定パターンの配置であっても、ランダム配置フィルタの中に輝度成分を多く含むフィルタを入れれば、輝度解像度を高く維持することが可能である。

そして、残りの０．７２２の割合の領域に、ランダム配置フィルタを配置することになるために、上記特開２００７−２５１３９３号公報に記載された技術よりも色解像度の向上を図ることが可能となるのは上述した各実施形態と同様である。

なお、本実施形態の固定パターンにおいても、隣接する一対の同一周期の左斜め方向の配列と、隣接する一対の同一周期の右斜め方向の配列と、で構成される斜め格子により囲まれる閉領域（図１５において同一種類のハッチングを施した画素位置の内の、固定以外の画素位置で構成される閉領域）毎に、全バンドのランダム配置フィルタを配置しても良いことは勿論である。

このような実施形態４によっても、固定配置フィルタによる輝度解像度がやや低下する点を除いて、上述した実施形態１とほぼ同様の効果を奏することが可能となる。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…撮像装置
２…撮影レンズ系
３…レンズ駆動機構
４…レンズドライバ
５…露出制御機構
６…露出制御ドライバ
７…マルチバンドイメージセンサ（単板マルチバンド撮像素子）
７ａ…基板
７ｂ…モノクロ画素
７ｃ…カラーフィルタ（単板マルチバンド撮像素子用カラーフィルタ）
８…イメージセンサドライバ
９…プリプロセス回路
１０…デジタルプロセス回路
１１…カードインタフェース（カードＩ／Ｆ）
１２…ＬＣＤ
１３…操作スイッチ
１４…操作表示部
１５…ＥＥＰＲＯＭ
１６…システムコントローラ
１７…メモリカード
１８…メモリ
１９…信号処理部
Ｃ１〜Ｃ８…カラーフィルタ

Claims (11)

1. 複数のモノクロ画素が撮像面に２次元状に配列された基板に対して配設することによりカラーの単板撮像素子を構成するための単板マルチバンド撮像素子用カラーフィルタにおいて、
   分光透過率特性が関数的に独立して異なる４以上の複数バンドのカラーフィルタ（以下、フィルタという）であって、１つの上記モノクロ画素に対して該複数バンドのフィルタの内の何れか１バンドのフィルタが配置されるようになされ、前記撮像面全体、または該撮像面を複数に区分した全ての区分のそれぞれをフィルタ基礎配列領域としたときに、該フィルタ基礎配列領域におけるバンド毎の数が予め定められたフィルタを具備し、
   前記フィルタは、
   前記フィルタ基礎配列領域内において、０．２５よりも大きく０．５未満の割合を占めるように予め定められた固定パターンの画素位置のみに配置されることにより、前記撮像面全体に渡って一定の密度で分布するようになされた、前記複数バンドのフィルタの内の２以上の所定バンドの固定配置フィルタと、
   前記フィルタ基礎配列領域内における前記固定パターンの画素位置を除く画素位置にランダムに配置された、前記複数バンドのフィルタの内の、前記所定バンド以外のバンドのランダム配置フィルタと、
   で構成され、任意の前記固定配置フィルタが透過する光は、輝度成分に寄与する割合が、何れの前記ランダム配置フィルタが透過する光よりも高いことを特徴とする単板マルチバンド撮像素子用カラーフィルタ。
2. 上記２次元状の配列は、水平方向および垂直方向の配列であり、全ての前記固定配置フィルタが配置される画素位置により構成される固定パターンは、左斜め方向の配列および右斜め方向の配列を含むことを特徴とする請求項１に記載の単板マルチバンド撮像素子用カラーフィルタ。
3. 前記左斜め方向の配列および右斜め方向の配列は、配列方向に沿ってフィルタが連続する配列であることを特徴とする請求項２に記載の単板マルチバンド撮像素子用カラーフィルタ。
4. 前記左斜め方向の配列同士がなすピッチと、前記右斜め方向の配列同士がなすピッチとは、同一であることを特徴とする請求項３に記載の単板マルチバンド撮像素子用カラーフィルタ。
5. 前記左斜め方向の配列同士がなすピッチと、前記右斜め方向の配列同士がなすピッチとは、何れも斜め方向に２画素のピッチであって、前記固定パターンは４×４画素配列を基本配列としたものであり、
   前記所定バンドは２バンドまたは３バンドであって、該固定配置フィルタの内の１バンドをＣ１として、このＣ１を４×４画素配列における座標（１，１）に配置したときに、該４×４画素配列内において座標（３，３）にのみさらにＣ１が存在し、該Ｃ１以外の１バンドまたは２バンドのフィルタが、座標（２，２）、（２，４）、（４，２）、（４，４）に配置されていることを特徴とする請求項４に記載の単板マルチバンド撮像素子用カラーフィルタ。
6. 前記所定バンドは３バンドであり、前記Ｃ１以外の２バンドをＣ２およびＣ３としたときに、座標（２，２）および（４，４）と、座標（２，４）および（４，２）と、の内の一方にＣ２が、他方にＣ３が配置されていることを特徴とする請求項５に記載の単板マルチバンド撮像素子用カラーフィルタ。
7. 前記固定パターンは、組み合わせによって斜め格子を構成する左斜め方向の配列および右斜め方向の配列でなり、
   前記ランダム配置フィルタは、隣接する一対の同一周期の前記左斜め方向の配列と、隣接する一対の同一周期の前記右斜め方向の配列と、で構成される斜め格子により囲まれる閉領域内の画素の数を最大値とする数のバンドがあり、該閉領域毎に、全バンドの該ランダム配置フィルタが配置されていることを特徴とする請求項３に記載の単板マルチバンド撮像素子用カラーフィルタ。
8. 前記固定配置フィルタは、前記ランダム配置フィルタの何れよりも分光透過率特性におけるピークの半値幅が広いフィルタを含むことを特徴とする請求項１に記載の単板マルチバンド撮像素子用カラーフィルタ。
9. 複数のモノクロ画素が撮像面に２次元状に配列された基板と、
   １バンドのフィルタが１つの上記モノクロ画素に対して配置されるように、上記基板に対して取り付けられた、請求項１〜８の何れか一項に記載の単板マルチバンド撮像素子用カラーフィルタと、
   を具備したことを特徴とする単板マルチバンド撮像素子。
10. 請求項９に記載の単板マルチバンド撮像素子と、
    被写体の光学像を上記単板マルチバンド撮像素子上に結像するための撮像光学系と、
    を具備したことを特徴とする撮像装置。
11. 上記フィルタの配置情報を記憶する記憶部と、
    上記記憶部から読み出したフィルタ配置情報に基づいて、上記単板マルチバンド撮像素子から読み出された１画素につき１バンドの情報を含む画像データから、１画素につき全バンドの情報を含む画像データを生成するデモザイキング処理を行う画像処理部と、
    をさらに具備したことを特徴とする請求項１０に記載の撮像装置。

Images