JP2007074635A - 画像入力装置および固体撮像素子 - Google Patents

Abstract

【課題】単層の無機材料を用いた色分離用のフィルタ膜を搭載した画像入力装置であって、所望の映像信号を得ることが可能な画像入力装置を提供する。
【解決手段】被写体を撮像する固体撮像素子（イメージセンサ）３と、固体撮像素子が出力する撮像信号を処理する信号処理手段Ｅ１とを備える。固体撮像素子は、入射光の透過スペクトルにおいて特定の波長に極大値を有する少なくとも２種類の膜厚を有し、所定の配列に基づいて並べられている単層の無機材料からなるフィルタ膜１２〜１４と、フィルタ膜を透過した入射光の光量に応じて信号電荷を生成する光電変換部１１とを備え、信号処理手段Ｅ１は、撮像信号をその色と出力する信号の種類とに適応した方法で処理して、輝度信号、色信号、色差信号および入射光の光量に相応する信号のうち少なくとも１つの信号を生成する。
【選択図】図６

Description

本発明は、画像入力装置および固体撮像素子に関し、特には、装置を小型化、高信頼化する際に所望の映像信号を得る技術に関する。

近年、デジタルカメラを搭載した携帯電話が広く普及するなど、固体撮像装置に関する小型化の要請が高まっている。固体撮像装置は入射光を三原色に分離するために色分離フィルタを用いている。色分離フィルタの材料としては、従来、顔料などの有機材料が用いられてきたが、近年では無機材料も用いられるようになってきた。

無機材料を用いた色分離フィルタとしては、例えば多層干渉膜を用いた色分離フィルタがある（例えば、特許文献１を参照）。無機材料を用いた色分離フィルタは、有機材料を用いたものに比べて小型化が容易であるため、固体撮像装置へ適用すべく技術開発が盛んに進められている。
特開平５−４５５１４号公報（第２−４頁、第１２図）

しかしながら、無機材料を用いた色分離フィルタには次のような問題がある。すなわち、固体撮像素子の色分離フィルタが単層の無機材料で構成され、光透過特性を膜厚調整によって実現する場合、カラーフィルタの光透過特性は干渉と吸収により実現される。そのため、ある２種類の膜厚を有するカラーフィルタの光透過特性の大まかな関係は、膜厚が増加するにつれて、透過スペクトルにおける極大値での波長が長波長側にシフトしたものとなり、従来、一般的に使用されている原色や補色のカラーフィルタとは全く異なった光透過特性を有している。

このような場合に、原色や補色のセンサから映像信号を生成する従来の画像処理を適用すると、所望の映像信号を得ることができない。これは、単層の無機材料を用いた色分離フィルタが従来の原色や補色の光透過特性と著しく異なっているためである。

本発明は、上述のような問題に鑑みてなされたものであって、単層の無機材料を用いた色分離フィルタを搭載した画像入力装置において、所望の映像信号を得ることが可能な技術を提供することを目的とする。

上記目的を達成するため、本発明においては、単層の無機材料からなる色分離用のフィルタ膜を備えた固体撮像素子から得られる撮像信号を、その色と出力する信号の種類とに適応した方法で信号処理することを特徴とするものである。

すなわち、本発明による画像入力装置は、被写体を撮像する固体撮像素子と、前記固体撮像素子が出力する撮像信号を処理する信号処理手段とを備え、さらに、前記固体撮像素子は、入射光の透過スペクトルにおいて特定の波長に極大値を有する少なくとも２種類の膜厚を有し、所定の配列に基づいて並べられている単層の無機材料からなるフィルタ膜と、前記フィルタ膜を透過した前記入射光の光量に応じて信号電荷を生成する光電変換部とを備え、前記信号処理手段は、前記撮像信号に前記所定の配列に基づく色変換処理を加えることにより、輝度信号、色信号、色差信号および入射光の光量に相応する信号のうち少なくとも１つの信号を生成するように構成されている。ここで、前記固体撮像素子は、単層の無機材料からなるものとする。前記フィルタ膜は、所定の波長域の入射光を透過するように膜厚が調整されている濾光手段である。前記光電変換部は、半導体基板内に２次元状に配置されている。

この構成において、信号処理手段が撮像信号をその色と出力する信号の種類とに適応した方法で処理するので、色分離用のフィルタ膜が単層の無機材料で構成されていても、固体撮像素子による撮像信号から所望の映像信号を得ることができる。

上記において、前記色分離用のフィルタ膜の光透過特性の種類をｎ種類（ｎ：２以上の自然数）、前記信号処理手段が出力する信号の種類をｍ種類（ｍ：自然数）とし、ｍとｎの関係がｍ≧ｎを満たすようにすると好ましい。このようにすれば、信号処理手段において、出力信号に含まれる映像情報についてその詳細な調整を実現できる。

また、上記において、前記フィルタ膜は、透過スペクトルにおいて特定の波長に極大値を有する３種類の膜厚を備え、前記フィルタ膜は、２行２列の単位配列に基づいて構成され、前記単位配列における第１の列に第１の膜厚および第３の膜厚を有するフィルタが順次配列されると共に、前記単位配列における第２の列に第２の膜厚および第１の膜厚を有するフィルタが順次配列されるという態様がある。これは光透過特性の種類を３種類とするものであり、このようにすれば、信号処理手段の構成について、従来のベイヤ配列型の撮像素子出力に対応したものと親和性を高くできるため、設計工数の大幅な削減を実現できる。

上記において、前記第１の膜厚、前記第２の膜厚、前記第３の膜厚は、前記第２の膜厚、前記第１の膜厚、前記第３の膜厚の順に膜厚が厚いものとする。これは、例えば、第１の膜厚をＧ（緑）、第２の膜厚をＲ（赤）、第３の膜厚をＢ（青）にそれぞれ対応させると、ＧＢＲＧのベイヤ配列になる。

また、上記において、前記フィルタ膜は、透過スペクトルにおいて特定の波長に極大値を有する４種類の膜厚を備え、前記フィルタ膜は、２行２列の単位配列に基づいて構成され、前記単位配列における第１の列に第１の膜厚および第２の膜厚を有するフィルタが順次配列されると共に、前記単位配列における第２の列に第３の膜厚および第４の膜厚を有するフィルタが順次配列されるという態様がある。これは光透過特性の種類を４種類とするものであり、このようにすれば、信号処理手段の構成について、従来の補色市松配列型の撮像素子出力に対応したものと親和性を高くできるため、設計工数の大幅な削減を実現できる。

また、上記において、前記フィルタ膜は、透過スペクトルにおいて特定の波長に極大値を有する４種類の膜厚を備え、前記フィルタ膜は、４行２列の単位配列に基づいて構成され、前記単位配列における第１の列に第１の膜厚、第２の膜厚、第１の膜厚、および第４の膜厚を有するフィルタが順次配列されると共に、前記単位配列における第２の列に第３の膜厚、第４の膜厚、第３の膜厚および第２の膜厚を有するフィルタが順次配列されるという態様がある。このようにすれば、信号処理手段の構成について、従来の補色ムービー配列型の撮像素子出力に対応したものと親和性を高くできるため、設計工数の大幅な削減を実現できる。

また、上記において、前記フィルタ膜は、透過スペクトルにおいて特定の波長に極大値を有する４種類の膜厚を備え、前記フィルタ膜は、４行２列の単位配列に基づいて構成され、前記単位配列における第１の列に第１の膜厚、第２の膜厚、第３の膜厚および第４の膜厚を有するフィルタが順次配列されると共に、前記単位配列における第２の列に第３の膜厚、第４の膜厚、第１の膜厚および第２の膜厚を有するフィルタが順次配列されるという態様がある。このようにすれば、信号処理手段の構成について、従来の補色全ライン反転ムービー配列型の撮像素子出力に対応したものと親和性を高くできるため、設計工数の大幅な削減を実現できる。

また、上記において、ｎを２以上の自然数とし、前記固体撮像素子から出力される撮像信号は、前記第１〜ｎの膜厚によって濾光された第１〜ｎの撮像信号からなり、前記信号処理手段は、前記第１〜ｎの撮像信号から輝度信号、色信号、色差信号および入射光の光量に相応する信号のうち少なくとも１つの信号を出力するものであって、前記信号処理が、前記第１〜ｎの撮像信号の線形１次結合の式と、定数の加算あるいは減算で表されるという態様がある。このようにすれば、前記信号処理手段において出力信号に含まれる映像情報についてその詳細な調整を実現できる。

上記において、前記信号処理は、輝度信号を、前記第１〜ｎのうちのいずれか１種類の撮像信号に対して第１の定数の乗算および第２の定数の加算または減算を行うことで生成するという態様がある。このようにすれば、冗長な回路を削減でき、回路規模の削減を実現できる。

また、上記において、前記信号処理は、ガンマ補正関数の形状が、入力が所定の閾値より小さい領域で、前記ガンマ補正関数の２次微分値が０以上、入力が所定の閾値より大きい領域で、前記ガンマ補正関数の２次微分値が０以下として表されるという態様がある。すなわち、入力が所定の閾値より小さい場合は下に凸の形状とし、入力が所定の閾値より大きい場合は上に凸の形状とする。このようにすれば、低輝度部のノイズ感を抑えた高品位の信号を得ることができる。

また、上記において、前記信号処理は、ガンマ補正関数の形状が、前記ガンマ補正関数の２次微分値が０以上として表されるという態様もある。すなわち、全体的に下に凸の形状とする。このようにすれば、さらにノイズ感を抑えた高品位の信号を得ることができる。

また、上記において、前記信号処理は、ガンマ補正関数の形状が線形関数および線形関数の組み合わせで表されるという態様がある。すなわち、線形関数で多線近似するもので、このようにすれば、処理を簡易化でき、回路規模の削減を実現できる。

また、上記において、前記信号処理は、ノイズ成分を除去するノイズリダクション機能を備えたという態様がある。

また、上記において、前記信号処理は、周波数成分において、色差信号の所定の帯域以下の信号のみを通過させるという態様がある。すなわち、前記信号処理手段において、所定の周波数帯域以下の色差信号のみを通過させるＬＰＦ（Low Pass Filter）を備えていても好ましい。このようにすれば、色差信号のノイズ感を抑えた高品位の信号を得ることができる。

また、上記において、前記所定の帯域は、輝度信号の帯域より低いという態様がある。すなわち、前記信号処理手段において、輝度信号の周波数帯域よりも色差信号の周波数帯域が低くなる構成であっても好ましい。このようにすれば、輝度信号の解像感を確保し、色差信号のノイズ感を抑えた高品位の信号を得ることができる。

また、上記において、被写体から前記固体撮像素子へ入射される光の光路上に、近赤外領域の光を除去するＩＲ（Infrared Rays）カットフィルタが存在するという態様がある。

ただし、ＩＲカットフィルタが配設されていなくても好ましい。このようにすれば、近赤外領域の映像信号も利用可能になり、撮像信号の情報量を拡張することができる。

本発明は、固体撮像素子として、次のように展開することも可能である。

すなわち、入射光のエネルギーを電気信号に変換する固体撮像素子であって、入射光の透過スペクトルにおいて、少なくとも３種類の異なる波長の極大値を有し、前記少なくとも３種類の波長は、それぞれ、６５０ｎｍ〜７５０ｎｍ、５２５ｎｍ〜６２５ｎｍ、３８０ｎｍ〜４８０ｎｍの範囲の波長の中に極大値を有することを特徴とする。

上記において、好ましくは、前記極大値をもつ波長の少なくとも３種類が、それぞれ７００ｎｍ、５７５ｎｍ、４３５ｎｍであるものとする。

また、上記において、前記少なくとも３種類の極大値をもつ波長は、それぞれ異なる膜厚を有する無機材料のフィルタ膜によって形成されるものとする。

また、上記において、前記フィルタ膜の膜厚は、少なくとも３種類が、それぞれ６５〜１００ｎｍ、５０〜７０ｎｍ、３０〜５０ｎｍの範囲であって、前記膜厚は、フィルタ膜の持つ屈折率と透過スペクトルの極大値をとる波長との相関に基づくという態様がある。

また、上記において、前記３種類のフィルタ膜は、２行２列の単位配列に基づいて構成され、前記単位配列における第１の列に、極大値が６５０ｎｍ〜７５０ｎｍの範囲にあるフィルタ膜および極大値が５２５ｎｍ〜６２５ｎｍの範囲にあるフィルタ膜が順次配列されると共に、前記単位配列における第２の列に、極大値が５２５ｎｍ〜６２５ｎｍの範囲にあるフィルタ膜および極大値が３８０ｎｍ〜４８０ｎｍの範囲にあるフィルタ膜が順次配列されるという態様がある。これは、ベイヤ配列型の撮像素子出力に対応している。

あるいは、入射光のエネルギーを電気信号に変換する固体撮像素子であって、入射光の透過スペクトルにおいて、少なくとも３種類の異なる特定波長以上の光を透過する透過特性を有し、前記波長透過範囲のうち少なくとも３種類が、それぞれ６５０ｎｍ以上、５２５ｎｍ以上、３８０ｎｍ以上の範囲の中に含まれることを特徴とする。

そして、前記波長透過範囲のうち少なくとも３種類が、長波長から数えてそれぞれ６５０ｎｍ〜７５０ｎｍ、５２５ｎｍ〜６２５ｎｍ、３８０ｎｍ〜４８０ｎｍの範囲の波長の中に極大値を有するものとする。

あるいは、前記透過特性をもつ特定波長の少なくとも３種類が、それぞれ７００ｎｍ未満、５７５ｎｍ未満、４３５ｎｍ未満の値であるものとする。

また、上記において、前記特定波長の波長範囲は、少なくとも３種類のそれぞれ異なる膜厚を有する無機材料のフィルタ膜によって形成されるものとする。

また、上記において、前記フィルタ膜の膜厚は、少なくとも３種類がそれぞれ、６５〜１００ｎｍ、５０〜７０ｎｍ、３０〜５０ｎｍの範囲であって、前記膜厚は、フィルタ膜の持つ屈折率と透過スペクトルの極大値をとる波長との相関に基づくという態様がある。

また、上記において、前記フィルタ膜は、２行２列の単位配列に基づいて構成され、前記単位配列における第１の列に、極大値が６５０ｎｍ〜７５０ｎｍの範囲にあるフィルタ膜および遮断特定波長が５２５ｎｍ〜６２５ｎｍの範囲にあるフィルタ膜が順次配列されると共に、前記単位配列における第２の列に特定値が５２５ｎｍ〜６２５ｎｍの範囲にあるフィルタ膜および極大値が３８０ｎｍ〜４８０ｎｍの範囲にあるフィルタ膜が順次配列されるという態様がある。これは、ベイヤ配列型に対応している。

さらに、上記のいずれかの固体撮像素子と、前記固体撮像素子が出力する撮像信号を処理する信号処理手段とを備える画像入力装置であって、前記信号処理手段は、前記撮像信号に前記所定の配列に基づく色変換処理を加えることにより、輝度信号、色信号、色差信号および入射光の光量に相応する信号のうち少なくとも１つの信号を生成することを特徴とする。これによれば、信号処理手段が撮像信号をその色と出力する信号の種類とに適応した方法で処理するので、色分離用のフィルタ膜が単層の無機材料で構成されていても、固体撮像素子による撮像信号から所望の映像信号を得ることができる。

本発明によれば、信号処理手段が撮像信号をその色と出力する信号の種類とに適応した方法で処理するので、色分離用のフィルタ膜が単層の無機材料で構成されていても、固体撮像素子による撮像信号から所望の映像信号を得ることができる。

以下、本発明の画像入力装置の実施の形態について、電子スチルカメラを例にとり、図面を参照しながら説明する。

［１］第１の実施の形態
本発明の第１の実施の形態における電子スチルカメラについて説明する。

（１）電子スチルカメラの構成
まず、本実施の形態における電子スチルカメラの構成について説明する。図１は本実施の形態における電子スチルカメラの機能構成を示すブロック図である。この電子スチルカメラは、光学レンズ１、ＩＲカットフィルタ２、イメージセンサ（固体撮像素子）３、アナログ信号処理回路４、Ａ／Ｄ（Analogue to Digital）変換器５、デジタル信号処理回路６、メモリカード７およびドライブ回路８を備えている。アナログ信号処理回路４、Ａ／Ｄ変換器５およびデジタル信号処理回路６が信号処理手段Ｅ１を構成している。

光学レンズ１は被写体からの入射光をイメージセンサ３上に結像させる。ＩＲカットフィルタ２はイメージセンサ３に入射する光の長波長成分を除去する。イメージセンサ３はいわゆる単板式のＣＣＤ（Charge Coupled Device）イメージセンサであって、２次元状に配置された光電変換素子のそれぞれに入射光を濾光する色フィルタが設けられている。イメージセンサ３は、ドライブ回路８からの駆動信号に応じて電荷を読み出し、アナログ撮像信号Ｓａを出力する。

アナログ信号処理回路４は、イメージセンサ３が出力したアナログ撮像信号Ｓａに対して相関二重サンプリングや信号増幅などの処理を施す。Ａ／Ｄ変換器５は、アナログ信号処理回路４の出力信号をデジタル撮像信号Ｓｄに変換する。デジタル信号処理回路６は、デジタル撮像信号Ｓｄから所望のデジタル映像信号ＳＤを生成する。メモリカード７はデジタル映像信号ＳＤを記録する。

（２）イメージセンサの構成
次に、イメージセンサ３の構成について説明する。図２はイメージセンサ３の概略構成を示すブロック図である。イメージセンサ３は、光電変換素子１１、カラーフィルタ１２〜１４、垂直転送ＣＣＤ１５、水平転送ＣＣＤ１６、増幅回路１７および出力端子１８を備えている。カラーフィルタ１２〜１４は、単層の無機材料から構成されている。

光電変換素子１１は２次元状に配列されており、各光電変換素子上には、第１の色αのカラーフィルタ１２、第２の色βのカラーフィルタ１３、第３の色γのカラーフィルタ１４の何れかのカラーフィルタがベイヤ状に配列されており、ベイヤ配列の単位配列におけるＲの位置に対応する色が第１の色α、Ｇの位置に対応する色が第２の色β、Ｂの位置に対応する色が第３の色γにそれぞれ対応している。カラーフィルタに入射した光のうち特定の色成分のみが光電変換素子１１に到達し、電荷信号に変換される。垂直転送ＣＣＤ１５は、ドライブ回路８からの駆動パルスに応じて光電変換素子１１毎の電荷信号を水平転送ＣＣＤ１６に転送する。水平転送ＣＣＤ１６もまたドライブ回路８からの駆動パルスに応じて、垂直転送ＣＣＤ１５からの電荷信号を増幅回路１７に転送する。増幅回路１７は電荷信号を電圧信号に変換し、出力端子１８から出力する。

図３はイメージセンサ３の構成の一部を示す断面図である。イメージセンサ３は、Ｎ型半導体層３１、Ｐ型半導体層３２、絶縁膜３３、光電変換素子１１、遮光膜３４、カラーフィルタ１２〜１４、二酸化珪素からなる平坦化膜３５および集光レンズ（マイクロレンズ）３６を備えている。

Ｎ型半導体層３１上にはＰ型半導体層３２が形成されている。光電変換素子１１はＰ型半導体層３２にＮ型不純物がイオン注入されてなる。Ｐ型半導体層３２および光電変換素子１１上には光透過性の絶縁膜３３が形成されている。絶縁膜３３には特定のカラーフィルタを透過した光のみが光電変換素子１１に入射するように遮光膜３４が設けられている。絶縁膜３３上にはカラーフィルタ１２〜１４が形成されている。カラーフィルタ１２〜１４上には素子の平坦化のための二酸化珪素からなる平坦化膜３５が形成されている。平坦化膜３５の上に、カラーフィルタ１２〜１４に位置対応して入射光を光電変換素子１１上に集光するための集光レンズ３６が配されている。

カラーフィルタ１２〜１４は、単層のアモルファスシリコン（無機材料）からなるフィルタ膜からなり、所定の波長域の光を透過するようにそれぞれの受光セルにおける膜厚を決定するが、まず極大値を有する波長を決定してから膜厚を決定する。つまり、極大値を有する波長を、第１の色αの領域では６５０ｎｍ、第２の色βの領域では５３０ｎｍ、第３の色γの領域では４７０ｎｍとしたときに、波長６５０ｎｍ、５３０ｎｍおよび４７０ｎｍにおける屈折率はそれぞれ４．５、４．７５および５．０である。ここで、極大値における波長λおよび屈折率ｎおよびフィルタ膜の膜厚ｄの間には以下の関係がある。

(数１) ｎ・ｄ＝λ／２
したがって、第１の色αの領域、第２の色βの領域、第３の色γの領域において極大値を有する膜厚をそれぞれｄa，ｄbおよびｄcと規定すると、ｄa＝７０ｎｍ、ｄb＝５５ｎｍおよびｄc＝４０ｎｍとなる。ここでは膜厚が厚いほど極大値を有する波長が長波長側にシフトしており、第１の波長（４７０ｎｍ）よりも長波長側の第２の波長（５６０ｎｍ）に極大値を有する第１膜厚（４０ｎｍ）および第２膜厚（５５ｎｍ）となり、第１膜厚は第２膜厚よりも厚くなっている。このときに、可視光の波長は３００ｎｍ〜８００ｎｍであるので、フィルタの膜厚と屈折率の積（ｎ・ｄ）は１５０ｎｍ以上で４００ｎｍ以下の範囲で選択されることになる。

ここで、フィルタ膜には吸収材料であるアモルファスシリコンを用いているが、吸収材料とは波長が４００ｎｍ〜７００ｎｍにおいて消衰係数が０．１以上の値をもつ波長がある材料と定義している。材料の例としては、ポリシリコン、単結晶シリコン、酸化チタン、酸化タンタル、酸化ニオブなどが挙げられる。これらは、無機材料の好適例である。

一般的に、一定の膜厚を有する媒質は、膜と外部媒質との間の反射によって、その膜厚に応じて強め合う波長、弱め合う波長が決定され、干渉を生じる。アモルファスシリコンは屈折率が大きいので反射率も大きくなる。さらに、アモルファスシリコンは消衰係数が大きいため、特定の波長領域の光を吸収する性質を有している。

このように、フィルタ膜は、全ての画素セルにおいて単一素材の無機材料であるアモルファスシリコンにより形成される。アモルファスシリコンは、その膜厚に応じて異なる波長域の光を通過させる性質があるので、受光セル毎に異なる膜厚とすることでカラーフィルタの役割を果たすことができる。

また、フィルタ膜は、色別に異なる顔料または染料ではなく、色別に異なる膜厚により透過光の波長域を定める。したがって、その製造工程において色別に異なる顔料または染料の材料管理が不要となり、コストを削減することができる。

また、フィルタ膜は、半導体プロセスにより製造され得る。したがって、アクリル系樹脂を扱うカラーフィルタ製造プロセスが不要となる。その結果、製造設備の流用および製造工程の簡易化を図ることができる。

さらに、フィルタ膜の膜厚が最大でも７０ｎｍと極めて薄くなっている。したがって、隣接する受光セルのフィルタ膜を通過した光が入射してしまうという混色を防止する手段としても有効であるといえる。極大値を有する波長はｎ・ｄ＝λ／２で定義されるので、可視光域において極大値を有するように膜厚を設定することで、優れた色分離特性を得ることができる。

また、フィルタ膜の材料として用いているアモルファスシリコンは低温で成膜することができるため、低融点のアルミなどの遮光膜を形成した後に形成することができる。また、応力を小さくでき、光電変換部へのダメージを小さくすることができる。また、フィルタ膜の膜厚と屈折率の積は１５０ｎｍ以上で４００ｎｍ以下と設定することにより、膜厚を変化させることで可視光域において干渉する波長を制御することができ、その結果、色分離が実現できる。しかしながら、有機材料を用いたカラーフィルタと比較して、上述のようなアモルファスシリコンに代表される無機材料を用いたカラーフィルタは、光透過特性が著しく異なる。そのため、従来の信号処理方法では所望の信号を得ることができない。本発明においてはデジタル信号処理回路によってこの課題を解決している。

（３）デジタル信号処理回路
次に、信号処理手段Ｅ１におけるデジタル信号処理回路６について説明する。図４はデジタル信号処理回路６の機能構成を示すブロック図である。デジタル信号処理回路６は、入力アドレス制御回路４１、メモリ４２、メモリコントロール回路４３、出力アドレス制御回路４４、マイクロコンピュータ４５およびＹＣ処理回路４６を備えている。

入力アドレス制御回路４１はデジタル撮像信号Ｓｄのアドレスを制御する。メモリ４２はデジタル撮像信号Ｓｄを記録する。出力アドレス制御回路４４はメモリ４２に記録されたデジタル撮像信号Ｓｄを読み出すアドレスを制御し、また、デジタル撮像信号Ｓｄを補正するための映像信号生成用データＤｉをマイクロコンピュータ４５に出力させる。メモリコントロール回路４３は入力アドレス制御回路４１および出力アドレス制御回路４４の制御信号に応じてメモリ４２に対してデータの読み書きを制御するための制御信号を生成する。

マイクロコンピュータ４５は映像信号生成用データＤｉを出力して、ＹＣ処理回路４６にデジタル映像信号ＳＤを生成させる。ＹＣ処理回路４６はマイクロコンピュータ４５からの映像信号生成用データＤｉを用いてデジタル撮像信号Ｓｄからデジタル映像信号ＳＤを生成して、ガンマ補正等の処理を加えた後、出力する。

（４）ＹＣ処理回路
次に、ＹＣ処理回路４６について説明する。図５はＹＣ処理回路４６の構成を示すブロック図である。ＹＣ処理回路４６は、同時化処理回路５１とカラーマトリクス回路５２とガンマ補正回路５３とを備えている。同時化処理回路５１は、メモリコントロール回路４３からのデジタル撮像信号Ｓｄを各α，β，γの色成分毎に同時化を行う。カラーマトリクス回路５２は、マイクロコンピュータ４５からの映像信号生成用データＤｉと、同時化処理回路５１によって色成分毎に同時化されたデジタル撮像信号Ｓｄとを演算することでＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の三原色で構成されるデジタル映像信号ＳＤを出力する。ガンマ補正回路５３は、表示用デバイスであるＣＲＴ（Cathode Ray Tube）のガンマ特性を補正するための回路で、デジタル映像信号ＳＤをガンマ特性の逆特性になるように変換し、出力する。

（５）カラーマトリクス回路
次に、カラーマトリクス回路５２について説明する。図６はカラーマトリクス回路５２の構成の一部を示すブロック図である。

カラーマトリクス回路５２は、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）を生成するために、乗算器６１と加算器６２とオーバーフローアンダーフロー補正回路６３を単位として、図６に示される回路が３つ配設された構成となっている。

３つの回路のうちの１つの回路を例に挙げて処理の流れを説明する。

まず、乗算器６１は、同時化処理回路５１によって同時化されたデジタル撮像信号Ｓｄの各色成分α，β，γの色信号Ｉα，Ｉβ，Ｉγのそれぞれに、マイクロコンピュータ４５から入力された所定の値Α，Β，Γをそれぞれ乗じる。加算器６２は、乗算器６１で演算された３つの結果を加算する。なお、加算器６２の出力における加算結果は、同時化処理回路５１から入力される各色成分α，β，γの信号Ｉα，Ｉβ，Ｉγと、マイクロコンピュータ４５からの入力Α，Β，Γを用いると、［式１］で表される。

［式１］
（加算器６２の出力）＝（Α＊Ｉα）＋（Β＊Ｉβ）＋（Γ＊Ｉγ）
ところで、図６に示される回路に等価な［式１］における（加算器６２の出力）の値は、カラーマトリクス回路５２から出力されるＲ（赤色）、Ｇ（緑色）、Ｂ（青色）に相当するので、［式１］とカラーマトリクス回路５２から出力される信号の関係から［式２］を得る。

［式２］
（Ｒ（赤色））＝（ΑR ＊Ｉα）＋（ΒR ＊Ｉβ）＋（ΓR ＊Ｉγ）
（Ｇ（緑色））＝（ΑG ＊Ｉα）＋（ΒG ＊Ｉβ）＋（ΓG ＊Ｉγ）
（Ｂ（青色））＝（ΑB ＊Ｉα）＋（ΒB ＊Ｉβ）＋（ΓB ＊Ｉγ）
ここで、ΑR ，ΑG ，ΑB は、それぞれＲ（赤色）、Ｇ（緑色）、Ｂ（青色）を出力するために、同時化処理回路５１から入力されたデジタル撮像信号Ｓｄの色信号Ｉαに乗じる係数であり、ΒR ，ΒG ，ΒB は、それぞれＲ（赤色）、Ｇ（緑色）、Ｂ（青色）を出力するために色信号Ｉβに乗じる係数であり、ΓR ，ΓG ，ΓB は、それぞれＲ（赤色）、Ｇ（緑色）、Ｂ（青色）を出力するために色信号Ｉγに乗じる係数である。

次に、オーバーフローアンダーフロー補正回路６３は、［式１］から得られた加算器６２の演算結果が所定のビットレンジをオーバーしている場合にクリッピング処理を行うことで、演算結果を所定のビットレンジに補正し、出力する。

（６）ガンマ補正回路
次に、ガンマ補正回路５３について説明する。図７（ａ）はガンマ補正回路５３の入出力関係を示すグラフであり、図７（ｂ）は表示デバイスであるＣＲＴのガンマ特性の入出力関係を示すグラフである。横軸が入力、縦軸が出力にそれぞれ相当する。ガンマ補正回路５３に、図７（ａ）の７１のレベルＸの入力が行われた場合には、７２のレベルＹを出力する。ＣＲＴのガンマ特性の入出力の関係も同様である。

なお、一般的に、特性７０と特性７３は逆関数の関係とするのが好適である。

（７）映像信号生成用データ
マイクロコンピュータ４５は、同時化されたデジタル撮像信号Ｓｄの各色成分に対応する所定の値を出力する。本実施の形態においては、同時化された撮像信号の色成分数は、第１の色α、第２の色β、第３の色γの「３」であり、映像信号として出力する信号数は、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）の「３」であるので、マイクロコンピュータ４５は９個（ΑR ，ΑG ，ΑB ，ΒR ，ΒG ，ΒB ，ΓR ，ΓG ，ΓB ）の映像信号生成用データＤｉを出力する。

上記の構成による光透過特性およびレスポンスは図８のように示すことができる。図示されている図８の横軸（波長）は、人間が視覚的な感度をもつ４００ｎｍから７００ｎｍに相当する。図８（ａ）は本実施の形態における単層の無機材料からなるカラーフィルタの光透過特性を示す図であり、８１，８２，８３はそれぞれ［式２］における第１の色α、第２の色β、第３の色γに対応する。図８（ｂ）はカラーマトリクス回路５２から出力されるＲ（赤色）、Ｇ（緑色）、Ｂ（青色）のレスポンスを示す図であり、それぞれ、８４，８５，８６が対応する。

図８（ｂ）の特性は、ＮＴＳＣ（National Television Standards Committee）の理想撮像特性とほぼ同等で、色再現的にも好適である。

信号処理手段Ｅ１はアナログ信号処理回路４、Ａ／Ｄ変換器５およびデジタル信号処理回路６からなるが、Ａ／Ｄ変換器５はイメージセンサ３からのアナログ撮像信号Ｓａをデジタル撮像信号Ｓｄに変換する。そして、デジタル信号処理回路６におけるＹＣ処理回路４６はマイクロコンピュータ４５からの映像信号生成用データＤｉによってデジタル撮像信号Ｓｄをデジタル映像信号ＳＤに変換する。すなわち、ＹＣ処理回路４６は同時化処理回路５１、カラーマトリクス回路５２およびガンマ補正回路５３からなる。カラーマトリクス回路５２は同時化された第１の色αの撮像信号Ｉα、第２の色βの撮像信号Ｉβおよび第３の色γの撮像信号Ｉγからなるデジタル撮像信号Ｓｄを映像信号生成用データＤｉによってＲ，Ｇ，Ｂの色信号のデジタル映像信号ＳＤに変換する。このように撮像信号をその色と出力する信号の種類とに適応した方法で処理するので、色分離用のカラーフィルタ１２〜１４が単層の無機材料で構成されていても、イメージセンサ３によるアナログ撮像信号Ｓａから所望のデジタル映像信号ＳＤを得ることができる。

（８）変形例
上記においては、カラーマトリクス回路５２から出力される映像信号の特性をＮＴＳＣの理想撮像特性に近づけるように映像信号生成用データＤｉを設定したが、本発明がこれに限定されないことはいうまでもなく、理想とする映像信号の特性を他の特性、例えば人間の被視感度特性に近づけるように映像信号生成用データＤｉを設定してもよい。

また、上記においては、ベイヤ配列の単位配列におけるＲの位置に対応する色が第１の色α、Ｇの位置に対応する色が第２の色β、Ｂの位置に対応する色が第３の色γにそれぞれ対応していたが、被写体の特性に特化してα，β，γの各フィルタの配置を変更してもよい。例えば、内視鏡など赤成分が支配的な場合には、ベイヤ配列のＧの位置に対応する位置に長波長側に感度を有するカラーフィルタを配置し、ベイヤ配列のＲおよびＢの位置に対応する位置に他の光透過特性のカラーフィルタを配置すると好適である。

［２］第２の実施の形態
次に、本発明の第２の実施の形態における電子スチルカメラについて説明する。本実施の形態における電子スチルカメラは上記第１の実施の形態における電子スチルカメラと概ね同様の構成を備える一方、ガンマ補正の特性の点で相違している。以下、当該相違点に着目して説明する。

（１）ガンマ補正回路
図９は本実施の形態におけるガンマ補正回路の入出力関係を示すグラフである。本実施の形態においては、低信号レベル部のゲインが実施の形態１と比較して小さくなっている（以下、「Ｓ字ガンマ特性」と呼ぶ）。ガンマ補正関数の形状において、入力が所定の閾値より小さい領域で、ガンマ補正関数の２次微分値が０以上、すなわち、下に凸の形状であり、入力が所定の閾値より大きい領域で、前記ガンマ補正関数の２次微分値が０以下、すなわち、上に凸の形状である。

一般的に、ガンマ補正特性は映像信号を表示する場合はＣＲＴの逆関数の関係とするのが好適であるが、ＣＲＴの逆関数とした場合には、低信号レベル部のゲインが著しく高くなりノイズが問題になってくる。したがって、画像認識等のノイズが問題になる場合は、図９に示すＳ字ガンマ特性として、ノイズの影響を小さくするのが好適である。すなわち、低輝度部のノイズ感を抑えた高品位の信号を得ることができる。

さらに、図１０に示すような特性にしてもよい。これは、ガンマ補正関数の形状において、ガンマ補正関数の２次微分値が０以上、すなわち、全体的に下に凸の形状となっている。このようにすれば、さらにノイズ感を抑えた高品位の信号を得ることができる。

（２）変形例
上記においては、ガンマ補正特性を曲線になるように設定したが、本発明がこれに限定されないことはいうまでもなく、直線で多線近似してもよいし、直線と曲線が混在してもよい。線形関数で多線近似すれば、処理を簡易化でき、回路規模の削減を実現できる。

［３］第３の実施の形態
次に、本発明の第３の実施の形態における電子スチルカメラについて説明する。本実施の形態における電子スチルカメラは上記第１の実施の形態における電子スチルカメラと概ね同様の構成を備える一方、デジタル信号処理回路６におけるマイクロコンピュータ４５がＹＣ処理回路４６におけるカラーマトリクス回路５２に出力する映像信号生成用データＤｉの設定方法の点で相違している。以下、当該相違点に着目して説明する。

（１）映像信号生成用データＤｉの設定方法
図１１（ａ）は上記実施の形態で使用したカラーフィルタの特性８２を抜き出して図示したものであり、図１１（ｂ）は本実施の形態で使用されているＩＲカットフィルタの特性８７と、カラーフィルタ８２とＩＲカットフィルタの両方を組み合わせた特性８２ａを図示したものである。図示されている図１１の横軸（波長）は、ほぼ人間が視感度をもつ４００ｎｍから７００ｎｍに相当し、縦軸は透過率に相当する。

ところで、被写体からの光学像が受光セルに到達するまで、大まかに、ＩＲカットフィルタおよびカラーフィルタから構成される光学系を経由している。そのため、被写体から受光セルに到達する波長毎の透過特性は８２ａに示す特性で表すことができる。特性８２ａは人間の輝度に対する被視感度特性とほぼ一致しているので、近似的に被視感度特性として扱うことができる。

したがって、［式２］を基に次の［式３］が得られる。

［式３］
（Ｒ（赤色））＝（ΑR ＊Ｉα）＋（ΒR ＊Ｉβ）＋（ΓR ＊Ｉγ）
（Ｙ（輝度））＝（０＊Ｉα）＋（ΒY ＊Ｉβ）＋（０＊Ｉγ）
（Ｂ（青色））＝（ΑB ＊Ｉα）＋（ΒB ＊Ｉβ）＋（ΓB ＊Ｉγ）
［式３］の輝度信号を求める式では、撮像信号の色成分の第２の色β以外の係数は０になっており、ΒY のみが非０の値を有している。このようにすれば、輝度信号を出力する演算部の回路部分を削減し、かつ、人間の輝度の被視感度特性にも近い好適な信号が得られる。

（２）変形例
上記においては、受光セルに到達した入射光の透過特性が人間の輝度に対する被視感度特性を例として説明したが、本発明がこれに限定されないことはいうまでもなく、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、Ｗ（無彩色）、ＣＹ（シアン）、ＭＧ（マジェンタ）、ＹＥ（黄）に透過特性が等しくなる光学系としてもよい。

また、ＩＲカットフィルタおよびカラーフィルタと比較すると影響は少ないので上記では無視して説明したが、光学倍率や焦点を調整する光学レンズも波長によって透過率が異なるので、受光セルに到達する入射光の特性を光学レンズをも含めたものと考えるものとしてもよい。さらに、イメージセンサを構成する半導体基板が有する光透過率を含んでいてもよい。

また、上記においてカラーマトリクス回路５２はＲ（赤色）、Ｙ（輝度）、Ｂ（青色）を出力する設定となっていたが、輝度信号ＩY と色差信号ＩCB（＝Ｂ−Ｙ）およびＩCR（＝Ｒ−Ｙ）等、他の信号を出力する設定であってもよい。また、ΒY は非０であれば、１であってもよいし、１未満でも１より大きくてもよい。

また、図１１に示されるような、人間の輝度に対する被視感度特性とほぼ一致している分光特性を有するフィルタを、ベイヤ配列の単位配列におけるＧの位置に対応させ、ベイヤ配列の単位配列におけるＲおよびＧの位置にその他の特性を有するフィルタを配置するようにしてもよい。このようにすることで、輝度信号の周波数特性が改善され、より高解像度の画像を得る場合に好適である。

［４］第４の実施の形態
次に、本発明の第４の実施の形態における電子スチルカメラについて説明する。本実施の形態における電子スチルカメラは上記第１の実施の形態における電子スチルカメラと概ね同様の構成を備える一方、イメージセンサの光電変換素子上に設けられているカラーフィルタの配列、ＹＣ処理回路、カラーマトリクス回路の点で相違している。以下、当該相違点に着目して説明する。

（１）カラーフィルタの配列
カラーフィルタの配列を除いて、イメージセンサの構造は概ね同様の構成を備えるので、イメージセンサの構造ではなくカラーフィルタ配列についてのみ説明する。

図１２（ａ）は本実施の形態におけるカラーフィルタの配列である。図１２（ａ）に示されるように本実施の形態では、カラーフィルタは第１の色αのフィルタＦ１と第２の色βのフィルタＦ２から構成される２行２列の単位配列からなっている。各カラーフィルタの光透過特性については、それぞれ図８の特性８２および特性８３が援用される。

（２）ＹＣ処理回路
次に、ＹＣ処理回路４６について説明する。図１３はＹＣ処理回路４６の構成を示すブロック図である。ＹＣ処理回路４６は、同時化処理回路５１ａとカラーマトリクス回路５２ａとガンマ補正回路５３ａとを備えている。同時化処理回路５１ａは、メモリコントロール回路４３からのデジタル撮像信号Ｓｄを各α，βの色成分毎に同時化を行う。カラーマトリクス回路５２ａは、マイクロコンピュータ４５からの映像信号生成用データＤｉと、同時化処理回路５１ａによって色成分毎に同時化されたデジタル撮像信号Ｓｄとを演算することでＰ（肌色）、Ｙ（輝度）の２色で構成されるデジタル映像信号ＳＤを出力する。ガンマ補正回路５３ａは、出力された映像信号が表示用デバイスであるＣＲＴのガンマ特性に合致するように補正するための回路で、デジタル映像信号ＳＤにガンマ特性の逆特性になるように変換し、出力する。

（３）カラーマトリクス回路
次に、カラーマトリクス回路５２ａについて説明する。図１４はカラーマトリクス回路５２ａの構成の一部を示すブロック図である。

カラーマトリクス回路５２ａは、Ｐ（肌色）、Ｙ（輝度）を生成するために、乗算器６１と加算器６２とオーバーフローアンダーフロー補正回路６３を単位として、図１４に示される回路が２つ配設された構成となっている。２つの回路のうちの１つの回路を例に挙げて処理の流れを説明する。

まず、乗算器６１は、同時化処理回路５１ａによって同時化されたデジタル撮像信号Ｓｄの各色成分α，βの色信号Ｉα，Ｉβのそれぞれに、マイクロコンピュータ４５から入力された所定の値Α，Βをそれぞれ乗じる。加算器６２は、乗算器６１で演算された２つの結果を加算する。なお、加算器６２の出力における加算結果は、同時化処理回路５１ａから入力される各色成分α，βの信号Ｉα，Ｉβと、マイクロコンピュータ４５からの入力Α，Βを用いると、［式４］で表される。

［式４］
（加算器６２の出力）＝（Α＊Ｉα）＋（Β＊Ｉβ）
ところで、図１４に示される回路に等価な［式４］における（加算器６２の出力）の値は、カラーマトリクス回路５２ａから出力されるＰ（肌色）、Ｙ（輝度）に相当するので、［式４］とカラーマトリクス回路５２ａから出力される信号の関係から［式５］を得る。

［式５］
（Ｐ（肌色））＝（ΑP ＊Ｉα）＋（ΒP ＊Ｉβ）
（Ｙ（輝度））＝（ΑY ＊Ｉα）＋（ΒY ＊Ｉβ）
ここで、ΑP ，ΑY は、それぞれＰ（肌色）、Ｙ（輝度）を出力するために、同時化処理回路５１ａから入力されたデジタル撮像信号Ｓｄの色信号Ｉαに乗じる係数であり、ΒP ，ΒY は、それぞれＰ（肌色）、Ｙ（輝度）を出力するために色信号Ｉβに乗じる係数である。

次に、オーバーフローアンダーフロー補正回路６３は、［式４］から得られた加算器６２の演算結果が所定のビットレンジをオーバーしている場合にクリッピング処理を行うことで、演算結果を所定のビットレンジに補正し、出力する。

上記構成によれば、第１の色αのフィルタから人間の被視感度特性に近い輝度情報が取得でき、第２の色βのフィルタからは黄色から赤色にかける肌色に近い情報を取得することが可能になる。本実施の形態では人間が感じる色情報は正しく取得することができないが、例えば、人物検出における肌色検知等の特徴的な色成分を有する物体を認識する手段として好適である。

（４）変形例
上記においては、カラーマトリクス回路５２ａから出力される映像信号の特性を肌色と輝度としたが、本発明がこれに限定されないことはいうまでもなく、その他の信号を出力するものであってもよいし、輝度信号のみといったように１種類の出力であってもよい。また、カラーフィルタも同様で、単層の無機材料からなる異なる２種類の透過特性をもつカラーフィルタであればよいし、カラーフィルタ配列もいわゆるストライプ状になるように１行２列を単位配列としてもよい。

［５］第５の実施の形態
次に、本発明の第５の実施の形態における電子スチルカメラについて説明する。本実施の形態における電子スチルカメラは上記第１の実施の形態における電子スチルカメラと概ね同様の構成を備える一方、イメージセンサの光電変換素子上に設けられているカラーフィルタの配列、ＹＣ処理回路、カラーマトリクス回路の点で相違している。以下、当該相違点に着目して説明する。

（１）カラーフィルタの配列
カラーフィルタの配列を除いて、イメージセンサの構造は概ね同様の構成を備えるので、イメージセンサの構造ではなくカラーフィルタ配列についてのみ説明する。

図１２（ｂ）は本実施の形態におけるカラーフィルタの配列である。図１２（ｂ）に示されるように本実施の形態では、カラーフィルタは第１の色αのフィルタＦ１と第２の色βのフィルタＦ２と第３の色γのフィルタＦ３と第４の色δのフィルタＦ４から構成される２行２列の単位配列からなっている。各カラーフィルタの光透過特性については、それぞれ図８の特性８１，８２，８３および８０が援用される。

換言すれば、透過スペクトルにおいて特定の波長に極大値を有する４種類の膜厚を備え、単位配列における第１の列に第１の膜厚および第２の膜厚を有するフィルタが順次配列されると共に、第２の列に第３の膜厚および第４の膜厚を有するフィルタが順次配列されている。これは、補色市松配列型に相当している。

（２）ＹＣ処理回路
次に、ＹＣ処理回路４６について説明する。図１５はＹＣ処理回路４６の構成を示すブロック図である。ＹＣ処理回路４６は、同時化処理回路５１ｂとカラーマトリクス回路５２ｂとガンマ補正回路５３ｂとを備えている。同時化処理回路５１ｂは、メモリコントロール回路４３からのデジタル撮像信号Ｓｄを各α，β，γ，δの色成分毎に同時化を行う。カラーマトリクス回路５２ｂは、マイクロコンピュータ４５からの映像信号生成用データＤｉと、同時化処理回路５１ｂによって色成分毎に同時化されたデジタル撮像信号Ｓｄとを演算することでＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の３色で構成されるデジタル映像信号ＳＤを出力する。ガンマ補正回路５３ｂは、出力された映像信号が表示用デバイスであるＣＲＴのガンマ特性に合致するように補正するための回路で、デジタル映像信号ＳＤにガンマ特性の逆特性になるように変換し、出力する。

（３）カラーマトリクス回路
次に、カラーマトリクス回路５２ｂについて説明する。図１６はカラーマトリクス回路５２ｂの構成の一部を示すブロック図である。カラーマトリクス回路５２ｂは、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）を生成するために、乗算器６１と加算器６２とオーバーフローアンダーフロー補正回路６３を単位として、図１６に示される回路が３つ配設された構成となっている。

３つの回路のうちの１つの回路を例に挙げて処理の流れを説明する。

まず、乗算器６１は、同時化処理回路５１ｂによって同時化されたデジタル撮像信号Ｓｄの各色成分α，β，γ，δの色信号Ｉα，Ｉβ，Ｉγ，Ｉδのそれぞれに、マイクロコンピュータ４５から入力された所定の値Α，Β，Γ，Δをそれぞれ乗じる。

加算器６２は、乗算器６１で演算された４つの結果を加算する。なお、加算器６２の出力における加算結果は、同時化処理回路５１ｂから入力される色信号Ｉα，Ｉβ，Ｉγ，Ｉδと、マイクロコンピュータ４５からの入力Α，Β，Γ，Δを用いると、［式６］で表される。

［式６］
（加算器６２の出力）＝（Α＊Ｉα）＋（Β＊Ｉβ）＋（Γ＊Ｉγ）＋（Δ＊Ｉδ）
ところで、図１６に示される回路に等価な［式６］における（加算器６２の出力）の値は、カラーマトリクス回路５２ｂから出力されるＲ（赤色）、Ｇ（緑色）、Ｂ（青色）に相当するので、［式６］とカラーマトリクス回路５２ｂから出力される信号の関係から［式７］を得る。

［式７］
（Ｒ（赤色））＝（ΑR ＊Ｉα）＋（ΒR ＊Ｉβ）＋（ΓR ＊Ｉγ）＋（ΔR ＊Ｉδ）
（Ｇ（緑色））＝（ΑG ＊Ｉα）＋（ΒG ＊Ｉβ）＋（ΓG ＊Ｉγ）＋（ΔG ＊Ｉδ）
（Ｂ（青色））＝（ΑB ＊Ｉα）＋（ΒB ＊Ｉβ）＋（ΓB ＊Ｉγ）＋（ΔB ＊Ｉδ）
ここで、ΑR ，ΑG ，ΑB は、それぞれＲ（赤色）、Ｇ（緑色）、Ｂ（青色）を出力するために、同時化処理回路５１ｂから入力されたデジタル撮像信号Ｓｄの色信号Ｉαに乗じる係数であり、ΒR ，ΒG ，ΒB は、それぞれＲ（赤色）、Ｇ（緑色）、Ｂ（青色）を出力するために色信号Ｉβに乗じる係数であり、ΓR ，ΓG ，ΓB は、それぞれＲ（赤色）、Ｇ（緑色）、Ｂ（青色）を出力するために色信号Ｉγに乗じる係数であり、ΔR ，ΔG ，ΔB は、それぞれＲ（赤色）、Ｇ（緑色）、Ｂ（青色）を出力するために色信号Ｉδに乗じる係数である。

次に、オーバーフローアンダーフロー補正回路６３は、［式６］から得られた加算器６２の演算結果が所定のビットレンジをオーバーしている場合にクリッピング処理を行うことで、演算結果を所定のビットレンジに補正し、出力する。

上記構成によれば、従来の原色および補色のカラーフィルタと著しく光透過特性が異なる、単層の無機材料からなるカラーフィルタを有するイメージセンサから所望のＲ（赤色）、Ｇ（緑色）、Ｂ（青色）信号を出力することが可能になる。特に、イメージセンサにおける濾光手段であるカラーフィルタを４種類にすることで、［式７］に示されるように、信号生成の自由度を高くすることが可能になり、より色再現を好ましいものにすることができる。また、従来の補色市松配列型の撮像素子出力に対応したものと親和性を高くできるため、設計工数の大幅な削減を実現できる。

（４）変形例
上記においては、カラーフィルタの配列を図１２（ｂ）として説明したが、本発明がこれに限定されないことはいうまでもなく図１２（ｃ）および図１２（ｄ）に示される４行２列の配列を単位配列としたカラーフィルタであってもよい。

図１２（ｃ）のフィルタ膜は、透過スペクトルにおいて特定の波長に極大値を有する４種類の膜厚を備え、４行２列の単位配列における第１の列に第１の膜厚、第２の膜厚、第１の膜厚および第４の膜厚を有するフィルタが順次配列されると共に（αγαδ）、第２の列に第３の膜厚、第４の膜厚、第３の膜厚および第２の膜厚を有するフィルタが順次配列されている（βδβγ）。これは、補色ムービー配列型に相当している。

このようにすれば、従来の補色ムービー配列型の撮像素子出力に対応したものと親和性を高くできるため、設計工数の大幅な削減を実現できる。

また、図１２（ｄ）のフィルタ膜は、透過スペクトルにおいて特定の波長に極大値を有する４種類の膜厚を備え、４行２列の単位配列における第１の列に第１の膜厚、第２の膜厚、第３の膜厚および第４の膜厚を有するフィルタが順次配列されると共に（αγβδ）、第２の列に第３の膜厚、第４の膜厚、第１の膜厚および第２の膜厚を有するフィルタが順次配列されている（βδαγ）。これは補色全ライン反転ムービー配列型に相当している。

このようにすれば、従来の補色全ライン反転ムービー配列型の撮像素子出力に対応したものと親和性を高くできるため、設計工数の大幅な削減を実現できる。

このように、カラーフィルタの特性により撮像可能な被写体の周波数帯域が変化するので、被写体形態または色成分等の条件によって使い分けると好適である。

また、上記においては出力信号をＲ（赤色）、Ｇ（緑色）、Ｂ（青色）の３種類として説明したが、Ｙ（輝度）、ＣＢ（色差Ｂ−Ｙ）、ＣＲ（色差Ｒ−Ｙ）等の信号であってもよいし、Ｙ（輝度）のみの１種類だけとしてもよい。さらに、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）およびＹ（輝度）といったように４種類以上の出力であってもよい。

また、上記においてはカラーフィルタの膜厚の種類を４種類として説明を行ったが、４種類以上であってもよい。この場合は［式６］および［式７］にα，β，γ，δ…と項を追加していくことで実現が可能になり、より細やかな色再現を実現することが可能になる。

［６］第６の実施の形態
次に、本発明の第６の実施の形態における電子スチルカメラについて説明する。本実施の形態における電子スチルカメラは上記第１の実施の形態における電子スチルカメラと概ね同様の構成を備える一方、ＹＣ処理回路の点で相違している。以下、当該相違点に着目して説明する。

（１）ＹＣ処理回路
次に、ＹＣ処理回路４６について説明する。図１７はＹＣ処理回路４６の構成を示すブロック図である。ＹＣ処理回路４６は、同時化処理回路５１ｃとカラーマトリクス回路５２ｃとガンマ補正回路５３ｃと色差信号ＮＲ（Noise Reduction）回路５４と輝度色差ＲＧＢ変換回路５５とを備えている。

同時化処理回路５１ｃは、メモリコントロール回路４３からのデジタル撮像信号Ｓｄを各α，β，γの色成分毎に同時化を行う。カラーマトリクス回路５２ｃは、マイクロコンピュータ４５からの映像信号生成用データＤｉと、同時化処理回路５１ｃによって色成分毎に同時化されたデジタル撮像信号Ｓｄとを演算することで、輝度信号ＩY と色差信号ＩCBおよびＩCRの３系統で構成されるデジタル映像信号ＳＤを出力する。ガンマ補正回路５３ｃは、出力された映像信号が表示用デバイスであるＣＲＴのガンマ特性に合致するように補正するための回路で、デジタル映像信号ＳＤにガンマ特性の逆特性になるように変換し、出力する。色差信号ＮＲ回路５４は入力された色差信号に対してノイズまたはノイズ感を低減する処理を施して出力する。

輝度色差ＲＧＢ変換回路５５は、輝度信号ＩY と２種類の色差信号ＩCBおよびＩCRを入力として、演算によりＲＧＢ（赤、緑、青）の信号として出力する。

（２）色差信号ＮＲ回路
色差信号ＮＲ回路５４について説明する。色差信号ＮＲ回路５４は、図１８に示されるように、１Ｔディレイ回路９１とフィルタタップ係数決定用ゲイン補正部９２と加算器９３とを備えている。

色差信号ＮＲ回路５４は２種類の色差信号を処理するために、図１８に示される回路を単位として、色差信号ＩCB用と色差信号ＩCR用に２つが並列に配設されている。

１Ｔディレイ回路９１は、１Ｔディレイ回路９１に供給されるクロック同期信号（不図示）に従い、入力されたデータをクロック同期信号の１周期分遅延させて出力する。つまり、信号９４と信号９５では２周期分の時間差が存在することになり、撮像信号をクロック同期信号に同期して処理している場合には、信号９４の画素を基準として信号９５は２画素離れた撮像信号に相当する。

また、フィルタタップ係数決定用ゲイン補正部９２は、図示されているように矩形領域で囲まれた内部の数字が補正用ゲイン値となる。例えば矩形領域の内部が０．２５となっている場合、フィルタタップ係数決定用ゲイン補正部９２の入力と出力には［式８］の関係が成立する。

［式８］
（出力）＝（０．２５）＊（入力）
また、加算器９３は、１Ｔディレイ回路９１により遅延された撮像信号と、フィルタタップ係数決定用ゲイン補正部９２によってそれぞれゲイン補正された信号の加算を行う。

つまり図１８に示されている構成により、ある画素を基準として、基準画素と基準画素と、基準画素を原点として第１の方向で隣接する画素と基準画素と、基準画素を原点として第１の方向と１８０度異なる方向とで隣接する画素とを、それぞれ２：１：１の重み付けをして加算し、加算結果に０．２５倍のゲイン補正を行った信号を出力することが可能になる。

ところで、上記「２：１：１」の重み付けによる加算は、ＬＰＦであるので、色差信号の高周波成分を低減し、低周波成分のみを透過するようになり、色差信号のノイズ感を抑えた高品位の信号を得ることができる。

（３）輝度色差ＲＧＢ変換回路
輝度色差ＲＧＢ変換回路５５の回路の構成は図１９に示される。図１９は輝度色差ＲＧＢ変換回路５５の構成の一部を示すブロック図であり、輝度色差ＲＧＢ変換回路５５は、輝度信号ＩY と色差信号ＩCBおよびＩCRからＲ（赤色）、Ｇ（緑色）、Ｂ（青色）を生成するために、乗算器６１と加算器６２とオーバーフローアンダーフロー補正回路６３を単位として、図１９に示される回路が３つ配設された構成となっている。

３つの回路のうちの１つの回路を例に挙げて処理の流れを説明する。

まず、乗算器６１は、輝度信号ＩY と色差信号ＩCBおよびＩCRのそれぞれに、マイクロコンピュータ４５から入力された所定の値Α，Β，Γをそれぞれ乗じる。加算器６２は、乗算器６１で演算された３つの結果を加算する。なお、加算器６２の出力における加算結果は、輝度信号ＩY と色差信号ＩCBおよびＩCRのそれぞれと、マイクロコンピュータ４５からの入力Α，Β，Γを用いると、［式９］で表される。

［式９］
（加算器６２の出力）＝（Α＊ＩY ）＋（Β＊ＩCB）＋（Γ＊ＩCR）
ところで、図１９に示される回路に等価な［式９］における（加算器６２の出力）の値は、輝度色差ＲＧＢ変換回路５５から出力されるＲ（赤色）、Ｇ（緑色）、Ｂ（青色）に相当するので、［式９］と輝度色差ＲＧＢ変換回路５５から出力される信号の関係から［式１０］を得る。

［式１０］
（Ｒ（赤色））＝（ΑR ＊ＩY ）＋（ΒR ＊ＩCB）＋（ΓR ＊ＩCR）
（Ｇ（緑色））＝（ΑG ＊ＩY ）＋（ΒG ＊ＩCB）＋（ΓG ＊ＩCR）
（Ｂ（青色））＝（ΑB ＊ＩY ）＋（ΒB ＊ＩCB）＋（ΓB ＊ＩCR）
ここで、ΑR ，ΑG ，ΑB は、それぞれＲ（赤色）、Ｇ（緑色）、Ｂ（青色）を出力するために、輝度信号ＩY に乗じる係数であり、ΒR ，ΒG ，ΒB は、それぞれＲ（赤色）、Ｇ（緑色）、Ｂ（青色）を出力するために色差信号ＩCBに乗じる係数であり、ΓR ，ΓG ，ΓB は、それぞれＲ（赤色）、Ｇ（緑色）、Ｂ（青色）を出力するために色差信号ＩCRに乗じる係数である。

次に、オーバーフローアンダーフロー補正回路６３は、［式９］から得られた加算器６２の演算結果が所定のビットレンジをオーバーしている場合にクリッピング処理を行うことで、演算結果を所定のビットレンジに補正し、出力する。

特に、輝度色差ＲＧＢ変換回路５５に設定される値は［式１１］に示される関係を満たすことが好ましい。

［式１１］
Ｒ（赤色）＝ＩY ＋ＩCR
Ｇ（緑色）＝ＩY −０．５＊ＩCR−０．１８＊ＩCB
Ｂ（青色）＝ＩY ＋ＩCB
（４）変形例
上記においては、色差信号ＮＲ回路５４が色差信号２種類に対応するように２つ並列に配設されていたが、本発明がこれに限定されないことはいうまでもなく、色差信号の間引きを行い、時系列的に交互に２つの色差信号を１つの色差信号ＮＲ回路で処理してもよい。

また、上記においては、ＮＲ（ノイズリダクション）の手段としてＬＰＦを使用したが、メディアンフィルタに代表されるランクフィルタを使用してもよい。

また、本実施の形態の説明では、輝度色差ＲＧＢ変換回路５５とカラーマトリクス回路５２ｃを並設しているが、回路構造の類似性を利用して、１つの回路に合理化してもよい。

さらに、［式１１］で使用した輝度色差信号からＲＧＢ信号への変換のための係数はあくまで一例であって他の値であってもよい。
［７］第７の実施の形態
次に、本発明の第７の実施の形態における電子スチルカメラについて説明する。本実施の形態における電子スチルカメラは上記第１の実施の形態における電子スチルカメラと概ね同様の構成を備える一方、ＹＣ処理回路の点で相違している。以下、当該相違点に着目して説明する。

（１）カラーマトリクス回路
次に、カラーマトリクス回路５２ｄについて説明する。図２０はカラーマトリクス回路５２ｄの構成の一部を示すブロック図である。

カラーマトリクス回路５２ｄは、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）を生成するために、乗算器６１と加算器６２とオーバーフローアンダーフロー補正回路６３に加え、加算器６２ａおよび加算器６２ｂを単位として、図２０に示される回路が３つ配設された構成となっている。

３つの回路のうちの１つの回路を例に挙げて処理の流れを説明する。

まず、加算器６２ａは、同時化処理回路５１によって同時化されたデジタル撮像信号Ｓｄの各色成分α，β，γの色信号Ｉα，Ｉβ，Ｉγのそれぞれに、マイクロコンピュータ４５から入力された所定の値Α′，Β′，Γ′をそれぞれ加算する。

次に、乗算器６１は、加算器６２ａによって所定の値が加算されたデジタル撮像信号Ｓｄの各（Ｉα＋Α′）、（Ｉβ＋Β′）、（Ｉγ＋Γ′）の色成分のそれぞれに、マイクロコンピュータ４５から入力された所定の値Α，Β，Γをそれぞれ乗じる。

次に、加算器６２は、乗算器６１で演算された３つの結果を加算する。

次に、加算器６２で積算されたデジタル撮像信号Ｓｄと、マイクロコンピュータ４５から入力された所定の値Δ′を加算器６２ｂで加算する。

なお、加算器６２ｂの出力における加算結果は、同時化処理回路５１から入力される色信号Ｉα，Ｉβ，Ｉγと、マイクロコンピュータ４５からの入力Α，Β，Γ，Α′，Β′，Γ′，Δ′を用いると次の式で表される。

［式１２］
（加算器６２ｂの出力）＝（Α＊（Ｉα＋Α′））＋（Β＊（Ｉβ＋Β′））＋（Γ＊（Ｉγ＋Γ′））＋Δ′
ところで、図２０に示される回路に等価な［式１２］における（加算器６２ｂ出力）の値は、カラーマトリクス回路５２ｄから出力されるＲ（赤色）、Ｇ（緑色）、Ｂ（青色）に相当するので、［式１２］とカラーマトリクス回路５２ｄから出力される信号の関係から［式１３］を得る。

［式１３］
（Ｒ（赤色））＝（ΑR ＊（Ｉα＋Α′R ））＋（ΒR ＊（Ｉβ＋Β′R ））＋（ΓR ＊（Ｉγ＋Γ′R ））＋Δ′R
（Ｇ（緑色））＝（ΑG ＊（Ｉα＋Α′G ））＋（ΒG ＊（Ｉβ＋Β′G ））＋（ΓG ＊（Ｉγ＋Γ′G ））＋Δ′G
（Ｂ（青色））＝（ΑB ＊（Ｉα＋Α′B ））＋（ΒB ＊（Ｉβ＋Β′B ））＋（ΓB ＊（Ｉγ＋Γ′B ））＋Δ′B
ここで、Α′R ，Α′G ，Α′B は、それぞれＲ（赤色）、Ｇ（緑色）、Ｂ（青色）を出力するために、同時化処理回路５１から入力されたデジタル撮像信号Ｓｄの色信号Ｉαに加算する値であり、Β′R ，Β′G ，Β′B は、それぞれＲ（赤色）、Ｇ（緑色）、Ｂ（青色）を出力するために色信号Ｉβに加算する値であり、Γ′R ，Γ′G ，Γ′B は、それぞれＲ（赤色）、Ｇ（緑色）、Ｂ（青色）を出力するために色信号Ｉγに加算する値であり、ΑR ，ΑG ，ΑB は、それぞれＲ（赤色）、Ｇ（緑色）、Ｂ（青色）を出力するために、加算器６２ａから出力された撮像信号（Ｉα＋Α′）に乗じる係数であり、ΒR ，ΒG ，ΒB は、それぞれＲ（赤色）、Ｇ（緑色）、Ｂ（青色）を出力するために、加算器６２ａから出力された撮像信号（Ｉβ＋Β′）に乗じる係数であり、ΓR ，ΓG ，ΓB は、それぞれＲ（赤色）、Ｇ（緑色）、Ｂ（青色）を出力するために、加算器６２ａから出力された撮像信号（Ｉγ＋Γ′）に乗じる係数であり、Δ′R ，Δ′G ，Δ′B は、それぞれＲ（赤色）、Ｇ（緑色）、Ｂ（青色）を出力するために、加算器６２から出力された撮像信号（Α＊（Ｉα＋Α′）＋Β＊（Ｉβ＋Β′）＋Γ＊（Ｉγ＋Γ′））に加算する値である。

次に、オーバーフローアンダーフロー補正回路６３は、［式１３］から得られた加算器６２の演算結果が所定のビットレンジをオーバーしている場合にクリッピング処理を行うことで、演算結果を所定のビットレンジに補正し、出力する。

（２）変形例
上記においては、撮像信号に加算する値Α′，Β′，Γ′を独立に設定しているが、本発明がこれに限定されないことはいうまでもなく、Α′，Β′，Γ′が同じ値であってもよいし、負の値を有していてもよい。

また、Δ′についても同様でΔ′R ，Δ′G ，Δ′B を独立する値としてもよいし、同じ値であってもよい。さらに負の値を有していてもよい。

また、加算器６２ｂの出力に対してゲインを補正する乗算器（不図示）を有していてもよい。

本実施の形態によれば、デジタル撮像信号Ｓｄの線形１次結合の式と、定数の加算あるいは減算で表される変換を行うので、デジタル映像信号ＳＤについてその詳細な調整を実現できる。また、冗長な回路を削減でき、回路規模の削減を実現できる。

［８］第８の実施の形態
次に、本発明の第８の実施の形態における電子スチルカメラについて説明する。本実施の形態における電子スチルカメラは上記第４の実施の形態における電子スチルカメラと概ね同様の構成を備える一方、光学レンズとイメージセンサの間に配設されていたＩＲカットフィルタがない点と、イメージセンサ上に配設されていたカラーフィルタの光透過特性が異なる点と、カラーマトリクス回路の点で相違している。以下、当該相違点に着目して説明する。

（１）電子スチルカメラの構成（ＩＲカットフィルタの有無）
まず、本実施の形態における電子スチルカメラの構成について説明する。図２１は本実施の形態における電子スチルカメラの機能構成を示すブロック図である。図２１に示されるように、本実施の形態における電子スチルカメラは光学レンズ１、イメージセンサ３、アナログ信号処理回路４、Ａ／Ｄ変換器５、デジタル信号処理回路６、メモリカード７およびドライブ回路８を備えている。図１の場合のＩＲカットフィルタ２はない。

光学レンズ１は被写体からの入射光をイメージセン３上に結像させる。本実施の形態における電子スチルカメラの構成ではＩＲカットフィルタがないため、イメージセンサ３に入射する光の長波長成分は除去されない。イメージセンサ３はいわゆる単板式ＣＣＤイメージセンサであって、２次元状に配置された光電変換素子のそれぞれに入射光を濾光する単色フィルタが設けられている。イメージセンサ３は、ドライブ回路８からの駆動信号に応じて電荷を読み出し、アナログ撮像信号Ｓａを出力する。

アナログ信号処理回路４は、イメージセンサ３が出力したアナログ撮像信号Ｓａに対して相関二重サンプリングや信号増幅などの処理を施す。Ａ／Ｄ変換器５はアナログ信号処理回路４の出力信号をデジタル撮像信号Ｓｄに変換する。デジタル信号処理回路６はデジタル撮像信号Ｓｄから所望のデジタル映像信号ＳＤを生成する。メモリカード７はデジタル信号処理回路６から出力されるデジタル映像信号ＳＤを記録する。

（２）カラーフィルタの配列および光透過特性
カラーフィルタの配列を除いて、イメージセンサの構造は概ね同様の構成を備えるので、イメージセンサの構造ではなくカラーフィルタ配列と光透過特性についてのみ説明する。

カラーフィルタの配列形状については図１２（ａ）が援用され、本実施の形態におけるイメージセンサのカラーフィルタは第１の色αのフィルタＦ１と第２の色βのフィルタＦ２から構成される２行２列の単位配列からなっている。

一方で、各カラーフィルタのαおよびβの光透過特性については、それぞれ図２２の特性８８および特性８９のようになっている。図２２の横軸は波長で、縦軸が光透過率に相当している。

λc は従来の電子スチルカメラに備えられているＩＲカットフィルタのカットオフ波長であり、Ａ１は従来の電子スチルカメラで撮像信号として使用されていた波長の領域で、Ａ２はＩＲカットフィルタによって遮光されて、撮像信号として使用されていなかった波長の領域を示しており、領域Ａ１と領域Ａ２は波長λc により分割されている。本実施の形態における電子スチルカメラでは、領域Ａ１は約４００ｎｍ〜約７００ｎｍの波長の領域であり、領域Ａ２は約７００ｎｍ以上であり、波長λc は約７００ｎｍに設定されている。つまり、本実施の形態におけるカラーフィルタは、領域Ａ１と領域Ａ２の波長の光をイメージセンサの画素アドレス毎に透過する構成となっている。

（３）カラーマトリクス回路
次に、カラーマトリクス回路５２ａについて説明する。図２３はカラーマトリクス回路５２ａの構成の一部を示すブロック図である。

カラーマトリクス回路５２ａは、Ｉ（近赤外線映像）、Ｙ（輝度）を生成するために、乗算器６１と加算器６２とオーバーフローアンダーフロー補正回路６３を単位として、図２３に示される回路が２つ配置された構成となっている。

２つの回路のうちの１つの回路を例に挙げて処理の流れを説明する。

まず、乗算器６１は、同時化処理回路５１ａによって同時化されたデジタル撮像信号Ｓｄの各色成分α，βの色信号のそれぞれに、マイクロコンピュータ４５から入力された所定の値Α，Βをそれぞれ乗じる。加算器６２は、乗算器６１で演算された２つの結果を加算する。なお、加算器６２の出力における加算結果は、同時化処理回路５１ａから入力される色信号Ｉα，Ｉβと、マイクロコンピュータ４５からの入力Α，Βを用いると、［式１４］で表される。

［式１４］
（加算器６２の出力）＝（Α＊Ｉα）＋（Β＊Ｉβ）
ところで、図２３に示される回路に等価な［式１４］における（加算器６２の出力）の値は、カラーマトリクス回路５２ａから出力されるＩ（近赤外線映像）、Ｙ（輝度）に相当するので、［式１４］とカラーマトリクス回路５２ａから出力される信号の関係から［式１５］を得る。

［式１５］
（Ｉ（近赤外線映像））＝（ΑI ＊Ｉα）＋（ΒI ＊Ｉβ）
（Ｙ（輝度））＝（ΑY ＊Ｉα）＋（ΒY ＊Ｉβ）
ここで、ΑI ，ΑY は、それぞれＩ（近赤外線映像）、Ｙ（輝度）を出力するために、同時化処理回路５１ａから入力されたデジタル撮像信号Ｓｄの色信号Ｉαに乗じる係数であり、ΒI ，ΒY は、それぞれＩ（近赤外線映像）、Ｙ（輝度）を出力するために色信号Ｉβに乗じる係数である。

次に、オーバーフローアンダーフロー補正回路６３は、［式１５］から得られた加算器６２の演算結果が所定のビットレンジをオーバーしている場合にクリッピング処理を行うことで、演算結果を所定のビットレンジに補正し、出力する。

特に、本実施の形態におけるマトリクス回路においては、
［式１６］
（Ｉ（近赤外線映像））＝（ΑI ＊Ｉα）−（ΒI ＊Ｉβ）
（Ｙ（輝度））＝（−１）＊（ΑY ＊Ｉα）＋（ΒY ＊Ｉβ）
ΑI ，ΒI ，ΑY ，ΒY ＞０
とすることにより、所望の信号を得ることができる。

上記構成によれば、第１の色αのフィルタにゲイン補正をした信号から第２の色βのフィルタにゲイン補正をした信号との差をとることにより、人間の被視感度特性に近い輝度情報が取得でき、第２の色βのフィルタにゲイン補正をした信号から第１の色αのフィルタにゲイン補正をした信号との差をとることにより、近赤外線領域の映像情報を取得することができる。

本実施の形態では、人間が感じる色情報は正しく取得することができないが、例えば、著しく光量が不足している被写体と著しく光量が過剰な被写体の両方が存在している被写体を撮影する場合において、低照度部と高照度部にそれぞれ存在する物体を認識する手段として好適である。

（４）変形例
上記においては、出力される映像信号の特性を輝度信号と近赤外映像信号としたが、本発明がこれに限定されないことはいうまでもなく、その他の信号を出力するものであってもよいし、輝度信号のみといったように１種類の出力であってもよい。

また、カラーフィルタ配列も同様で、膜厚の種類を２種類に限定したものでなく、１種類以上であればよい。

本実施の形態によれば、ＩＲカットフィルタがなく、近赤外領域の映像信号も利用可能であるので、撮像信号の情報量を拡張することができる。

［９］第９の実施の形態
（フィルタの配色）
上記の実施の形態に対して、本発明におけるカラーフィルタの配色について、第１の色α、第２の色β、第３の色γを、それぞれ、どの色の組み合わせとしてもよいのはいうまでもないが、α／β／γをそれぞれ、赤／黄／無彩色の組み合わせとすると、最も良い色Ｓ／Ｎを得ることができる。理由を以下に説明する。

無機材料の単層フィルタ膜を用いると、上述のように、有機材料を用いた色フィルタと透過特性が異なり、フィルタ膜厚とその膜厚時無機材料のもつ屈折率との積によって透過波長が決定されるため、ＣＩＥ（国際照明委員会）で定めた理想の原刺激量、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３種類の理想波長７００ｎｍ、５４６．１０ｎｍ、４３５．８ｎｍの組み合わせを取るのが困難である。

赤、黄、無彩色の色透過スペクトルの極大値は、それぞれ、赤＝７００ｎｍ、黄＝５７５ｎｍ、無彩色＝４３５ｎｍ（青近辺、あるいは、可視光と紫外光との境界付近としてもよい）であれば、これらの波長の光を分離して透過し易い。波長が上記値となるのが理想であるが、固体撮像素子の製造ばらつき等により実際には差異が生じるため、それぞれ、前後５０ｎｍ程度の範囲内の誤差があってもよい。すなわち、波長がそれぞれ、赤＝６５０ｎｍ〜７５０ｎｍ、黄＝５２５ｎｍ〜６２５ｎｍ、青＝３８０ｎｍ〜４８０ｎｍの範囲に入っていればよい。また、波長に対して高域透過特性があり、透過波長範囲の中に上記スペクトルの極大値の取る波長範囲が含まれることが望ましい。さらに言い換えれば、極大値が透過波長範囲に含まれるので、カットオフ周波数は、極大値未満であることが望ましい。

波長範囲と同様に、膜厚を決定するについても厚い順にそれぞれ一意に、決定するのが理想的である。固体撮像素子の製造ばらつき等により実際には膜厚差異が生じることもあるため、それぞれ、前後１０ｎｍ程度の範囲内の誤差があってもよい。すなわち、（数１）に基づき算出された、７００ｎｍ、５７５ｎｍ、４３５ｎｍの最適膜厚は、左記波長時の屈折率がそれぞれ、５．２５、４．７５、４．５であるため、７０ｎｍ、６０．５ｎｍ、４０ｎｍとなる。ここで、前述の各色の極大値を取る波長の範囲がそれぞれ、赤＝６５０ｎｍ〜７５０ｎｍ、黄＝５２５ｎｍ〜６２５ｎｍ、青＝３８０ｎｍ〜４８０ｎｍであるので、最適膜厚の前後１０ｎｍのばらつきも含めると、３０ｎｍ〜５０ｎｍ、５０ｎｍ〜７０ｎｍ、６０ｎｍ〜１００ｎｍの範囲であれば、赤・黄・無彩色の色波長が得られる。

（数１）において、求められる膜厚は波長と屈折率との相関があり、屈折率が一定ならば比例の関係にあるため、第１の色α、第２の色β、第３の色γを膜厚の厚い順に並べると、赤、黄、無彩色の順となる。

また、ＹＣ処理回路４６においてＲＧＢ成分を算出するが、加法混色に基づくと、
［式１７］
（Ｒ（赤色））＝（Ｒ（赤色））
（Ｇ（緑色））＝（Ｒ（赤色））−（Ｙｅ（黄色））
（Ｂ（青色））＝（Ｗ（無彩色））−（Ｒ（赤色））−（Ｇ（緑色））
＝（Ｗ（無彩色））−（Ｙｅ（黄色））
という関係で表すことができる。すなわち、赤、黄、無彩色のカラーフィルタを用いることにより、これら３成分のみでＲＧＢの色成分を算出決定することもできる。

カラーマトリクス回路５２の［式２］に対して上記加法混色を当てはめると、
ΑR ＝１、ΑG ＝１、ΑB ＝−１、ΒR ＝０、ΒG ＝１、ΒB ＝−１、ΓR ＝０、ΓG ＝−１、ΓB ＝１
の場合に相当する。言い換えれば、マイクロコンピュータ４５が与える補正値が上記９個の値であることを前提にすると、カラーマトリクス回路５２でＲＧＢの色成分を算出するために、マイクロコンピュータ４５が補正値を与えて乗算を行わなくてもよいため、カラーマトリクス回路５２に対して、回路規模が削減できるため、低コストで実現するのに適している。

カラーマトリクス回路５２においては、実際は、［式１７］の項がない成分に対して、上［式２］において係数を０とし、０である係数が掛かる項のみ省いて、
［式１８］
（Ｒ（赤色））＝ΑR ＊（Ｒ（赤色））
（Ｇ（緑色））＝ΑG ＊（Ｒ（赤色））＋ΒG ＊（Ｙｅ（黄色））
（Ｂ（青色））＝（Ｗ（無彩色））−（Ｒ（赤色））−（Ｇ（緑色））
＝ΒB ＊（Ｙｅ（黄色））＋ΓB ＊（Ｗ（無彩色））
のように表現する。これは、無機材料の光透過特性が有機材料の色フィルタと異なり、明確な極大値を持つのではなく、スペクトルの極大値に相当する波長における信号レベルが波長が短くなるにつれて小さくなり、ある波長から短波長側を透過せず反射するカットオフ特性を持つため、実際のカラーマトリクス回路５２では各色成分の信号レベルを調整するために上記［式１８］において各信号にかかる係数を使用する。上記のようなフィルタ膜との組み合わせで、色再現性が向上する。

（フィルタの配列例）
次に、本実施の形態のように、２行２列の４画素中に３種類の異なる色成分を配列するが、Ｙｅ成分を２個選択し配列することにより、色Ｓ／Ｎが最も向上する固体撮像素子および画像入力装置を得ることができる。理由を以下に説明する。

定性的には、Ｙｅの分光スペクトルのピーク波長は約５７５ｎｍであり、ＲとＷに比べて可視光領域の中央部に極大値が位置しており、受光波長範囲が極大値周辺を含めて可視光領域の広範に渡って分布することになり色感度が３成分中最も高くなるため、Ｙｅを２個とすれば色Ｓ／Ｎが最も良くなるからである。ここでは、無機材料を用いることにより、可視光領域に顕著な極大値を持たない場合があり、短波長になればなるほど顕著となる。定量的に、ノイズの観点から、統計的に各成分の信号比が大きくなる方が差が明確である白を再現することを例にとって説明する。

白を構成するＲ：Ｗ：Ｙｅの信号比は透過スペクトルの可視光領域での積分値で表され、図２４に概略を示すように、極大値をもつ波長領域が約４３５ｎｍ、５７５ｎｍ、７００ｎｍとほぼ等間隔に並んでいるため、積分値はおよそ１：２：３となる。現実にはデバイスの透過特性や膜厚等によって、積分値の比が１：２：３という値のみでなく異なることがあるのはいうまでもない。ここで、白はＷ成分とは同じ信号ではなく、別の信号である。

上［式１７］において、ＲＧＢに変換する際にＲ成分とＹｅ成分が２項、Ｗ成分が１項使用されているが、Ｗ成分は他の成分に対して寄与率が１項と低いため、Ｗ成分が２個では最も良い色Ｓ／Ｎが得られない。ＲまたはＹｅの２成分のうち、どちらか一方を２個配列するということになるが、ノイズの小さい方を２個とした方が色Ｓ／Ｎが良いことはいうまでもない。

また、画像データには少なからずノイズ成分が含まれているが、各成分の信号比から、Ｒ、Ｙｅ、Ｗのノイズ成分をそれぞれＮｒ、Ｎｙｅ、Ｎｗとすると、ノイズ比は信号の平方根（以降√と表記する）に比例するため、Ｎｒ：Ｎｙｅ：Ｎｗ＝１：√２：√３となる。なお、√ｎはｎの平方根であり、√（……）は（……）の平方根である。

Ｒ成分を２個とした場合、
Ｒのノイズ＝Ｎｒ／√２＝√（０．５）
Ｇのノイズ＝√（Ｎｒ2 ／２＋Ｎｙｅ2 ）＝√（２．５）
Ｂのノイズ＝√（Ｎｙ2 ＋Ｎｗ2 ）＝√５
白のノイズ＝√（（Ｒのノイズ）2 ＋（Ｇのノイズ）2 ＋（Ｂのノイズ）2 ）
＝√８
となる。一方、Ｙｅ成分を２個とした場合、
Ｒのノイズ＝Ｎｒ＝１
Ｇのノイズ＝√（Ｎｒ2 ＋Ｎｙｅ2 ／２）＝√２
Ｂのノイズ＝√（Ｎｙｅ2 ／２＋Ｎｗ2 ）＝√４＝２
白のノイズ＝√（（Ｒのノイズ）2 ＋（Ｇのノイズ）2 ＋（Ｂのノイズ）2 ）
＝√７
となる。

上記の理由から、Ｙｅ成分を２個とすることにより、ノイズ量が低く抑えられるため、ノイズの観点からも色Ｓ／Ｎが最も向上することが定量的に明らかである。

図２５に２×２画素を単位画素としたフィルタ配列例を示す。Ｙｅ成分を市松状に配置する。図２５においては、（ａ）のように波長の長いものから左上から横方向に配列し、単位画素の左上にＲ成分、右下にＷ成分が配列されているが、単位画素を上下左右に１画素ずつずらして見方を変えれば同じである。言い換えれば、（ｂ）のように、単位画素に対して左上にＷ成分、右下にＲ成分としてもよく、また、左上と右下にＹｅ成分とし、Ｒ成分とＷ成分をそれぞれ入れ替えてもよい。

［１０］実施の形態の変形例
上記実施例ではイメージセンサをＣＣＤとしたが、本発明がこれに限定されないことはいうまでもなく、ＭＯＳ（Metal Oxide Semiconductor）型センサでもよい。

また、フラッシュやメカシャッタ等、撮像装置としてのいくつかの諸機能を省略して説明しているが、付随的な機能追加も本発明の範疇である。

本発明の画像入力装置および固体撮像素子は、従来の原色および補色のカラーフィルタの光透過特性と著しく異なる単層の無機材料からなるカラーフィルタを有する撮像装置において、所望の信号を得ることができる装置として有用である。

本発明の第１の実施の形態における電子スチルカメラの機能構成を示すブロック図 本発明の第１の実施の形態におけるイメージセンサの概略構成を示すブロック図 本発明の第１の実施の形態におけるイメージセンサの構成の一部を示す断面図 本発明の第１の実施の形態におけるデジタル信号処理回路の機能構成を示すブロック図 本発明の第１の実施の形態におけるＹＣ処理回路の機能構成を示すブロック図 本発明の第１の実施の形態におけるカラーマトリクス回路の機能構成を示すブロック図 （ａ）本発明の第１の実施の形態におけるガンマ補正回路の入出力特性を示す図と（ｂ）表示デバイスのＣＲＴのガンマ特性を示す図 （ａ）本発明の第１の実施の形態におけるカラーフィルタの透過特性を示す図（アモルファスシリコンの膜厚：３０ｎｍ、４０ｎｍ、５５ｎｍ、７０ｎｍ）と（ｂ）映像信号出力のレスポンスを示す図（Ｒ、Ｇ、Ｂ） 本発明の第２の実施の形態におけるガンマ補正回路の入出力特性を示す図 本発明の第２の実施の形態におけるガンマ補正回路の入出力特性の変形例を示す図 （ａ）本発明の第３の実施の形態におけるカラーフィルタの特性８２のみを示す図と（ｂ）ＩＲカットフィルタの特性およびカラーフィルタの特性８２とＩＲカットフィルタの両方を組み合わせた特性を示す図 （ａ）本発明の第３の実施の形態におけるカラーフィルタ配列を示す図と（ｂ）第５の実施の形態におけるカラーフィルタ配列を示す図と（ｃ），（ｄ）第５の実施の形態におけるカラーフィルタ配列の変形例を示す図 本発明の第４の実施の形態におけるＹＣ処理回路の機能構成を示すブロック図 本発明の第４の実施の形態におけるカラーマトリクス回路の機能構成を示すブロック図 本発明の第５の実施の形態におけるＹＣ処理回路の機能構成を示すブロック図 本発明の第５の実施の形態におけるカラーマトリクス回路の機能構成を示すブロック図 本発明の第６の実施の形態におけるＹＣ処理回路の機能構成を示すブロック図 本発明の第６の実施の形態における色差信号ＮＲ回路の機能構成を示すブロック図 本発明の第６の実施の形態における輝度色差ＲＧＢ変換回路の機能構成を示すブロック図 本発明の第７の実施の形態におけるカラーマトリクス回路の機能構成を示すブロック図 本発明の第８の実施の形態における電子スチルカメラの機能構成を示すブロック図 本発明の第８の実施の形態におけるカラーフィルタの透過特性を示す図（人間の視感度のある波長にピークがあるもの、近赤外波長にピークがあるもの） 本発明の第８の実施の形態におけるカラーマトリクス回路の機能構成を示すブロック図 本発明の第９の実施の形態におけるフィルタ配色をＲ／Ｙｅ／Ｗ成分としたときのフィルタの透過特性とエネルギー分布を示す図（説明のため簡略に示したもの） 本発明の第９の実施の形態におけるフィルタ配色をＲ／Ｙｅ／Ｗ成分としたときのフィルタ配列例を示す図。（ａ）代表例（波長の長いものから左上から横方向に配列）と（ｂ）変形例（上記以外の配列）

符号の説明

Ｅ１ 信号処理手段
１ 光学レンズ
２ ＩＲカットフィルタ
３ イメージセンサ（固体撮像素子）
４ アナログ信号処理回路
５ Ａ／Ｄ変換器
６ デジタル信号処理回路
７ メモリカード
８ ドライブ回路
１１ 光電変換素子
１２，１３，１４，Ｆ１，Ｆ２，Ｆ３，Ｆ４ カラーフィルタ
１５ 垂直転送ＣＣＤ
１６ 水平転送ＣＣＤ
１７ 増幅回路
１８ 出力端子
３１ Ｐ型半導体層
３２ Ｎ型半導体層
３３ 絶縁層
３４ 遮光膜
３５ 平坦化膜
３６ 集光レンズ（オンチップマイクロレンズ）
４１ 入力アドレス制御回路
４２ メモリ
４３ メモリコントロール回路
４４ 出力アドレス制御回路
４５ マイクロコンピュータ
４６ ＹＣ処理回路
５１，５１ａ，５１ｂ，５１ｃ 同時化処理回路
５２，５２ａ，５２ｂ，５２ｃ，５２ｄ カラーマトリクス回路
５３，５３ａ，５３ｂ，５３ｃ ガンマ補正回路
５４ 色差信号ＮＲ回路
５５ 輝度色差ＲＧＢ変換回路
６１ 乗算器
６２，６２ａ，６２ｂ，９３ 加算器
６３ オーバーフローアンダーフロー補正回路
９１ １Ｔディレイ回路
９２ フィルタタップ係数

Claims (27)

1. 被写体を撮像する固体撮像素子と、
   前記固体撮像素子が出力する撮像信号を処理する信号処理手段とを備える画像入力装置であって、
   前記固体撮像素子は、
   入射光の透過スペクトルにおいて特定の波長に極大値を有する少なくとも２種類の膜厚を有し、所定の配列に基づいて並べられている単層の無機材料からなるフィルタ膜と、
   前記フィルタ膜を透過した前記入射光の光量に応じて信号電荷を生成する光電変換部とを備え、
   前記信号処理手段は、前記撮像信号に前記所定の配列に基づく色変換処理を加えることにより、輝度信号、色信号、色差信号および入射光の光量に相応する信号のうち少なくとも１つの信号を生成することを特徴とする画像入力装置。
2. 前記フィルタ膜は、透過スペクトルにおいて特定の波長に極大値を有する３種類の膜厚を備え、
   前記フィルタ膜は、２行２列の単位配列に基づいて構成され、前記単位配列における第１の列に第１の膜厚および第３の膜厚を有するフィルタが順次配列されると共に、前記単位配列における第２の列に第２の膜厚および第１の膜厚を有するフィルタが順次配列される請求項１に記載の画像入力装置。
3. 前記第１の膜厚、前記第２の膜厚、前記第３の膜厚は、前記第２の膜厚、前記第１の膜厚、前記第３の膜厚の順に膜厚が厚い請求項２に記載の画像入力装置。
4. 前記フィルタ膜は、透過スペクトルにおいて特定の波長に極大値を有する４種類の膜厚を備え、
   前記フィルタ膜は、２行２列の単位配列に基づいて構成され、前記単位配列における第１の列に第１の膜厚および第２の膜厚を有するフィルタが順次配列されると共に、前記単位配列における第２の列に第３の膜厚および第４の膜厚を有するフィルタが順次配列される請求項１に記載の画像入力装置。
5. 前記フィルタ膜は、透過スペクトルにおいて特定の波長に極大値を有する４種類の膜厚を備え、
   前記フィルタ膜は、４行２列の単位配列に基づいて構成され、前記単位配列における第１の列に第１の膜厚、第２の膜厚、第１の膜厚、および第４の膜厚を有するフィルタが順次配列されると共に、前記単位配列における第２の列に第３の膜厚、第４の膜厚、第３の膜厚および第２の膜厚を有するフィルタが順次配列される請求項１に記載の画像入力装置。
6. 前記フィルタ膜は、透過スペクトルにおいて特定の波長に極大値を有する４種類の膜厚を備え、
   前記フィルタ膜は、４行２列の単位配列に基づいて構成され、前記単位配列における第１の列に第１の膜厚、第２の膜厚、第３の膜厚および第４の膜厚を有するフィルタが順次配列されると共に、前記単位配列における第２の列に第３の膜厚、第４の膜厚、第１の膜厚および第２の膜厚を有するフィルタが順次配列される請求項１に記載の画像入力装置。
7. ｎを２以上の自然数とし、前記固体撮像素子から出力される撮像信号は、前記第１〜ｎの膜厚によって濾光された第１〜ｎの撮像信号からなり、
   前記信号処理手段は、前記第１〜ｎの撮像信号から輝度信号、色信号、色差信号および入射光の光量に相応する信号のうち少なくとも１つの信号を出力するものであって、前記信号処理が、前記第１〜ｎの撮像信号の線形１次結合の式と、定数の加算あるいは減算で表される請求項１から請求項６までのいずれかに記載の画像入力装置。
8. 前記信号処理は、輝度信号を、前記第１〜ｎのうちのいずれか１種類の撮像信号に対して第１の定数の乗算および第２の定数の加算または減算を行うことで生成する請求項７に記載の画像入力装置。
9. 前記信号処理は、ガンマ補正関数の形状が、入力が所定の閾値より小さい領域で、前記ガンマ補正関数の２次微分値が０以上、入力が所定の閾値より大きい領域で、前記ガンマ補正関数の２次微分値が０以下として表される請求項１から請求項７までのいずれかに記載の画像入力装置。
10. 前記信号処理は、ガンマ補正関数の形状が、前記ガンマ補正関数の２次微分値が０以上として表される請求項１から請求項７までのいずれかに記載の画像入力装置。
11. 前記信号処理は、ガンマ補正関数の形状が線形関数および線形関数の組み合わせで表される請求項１から請求項７までのいずれかに記載の画像入力装置。
12. 前記信号処理は、ノイズ成分を除去するノイズリダクション機能を備えた請求項１から請求項７までのいずれかに記載の画像入力装置。
13. 前記信号処理は、周波数成分において、色差信号の所定の帯域以下の信号のみを通過させる請求項１から請求項７までのいずれかに記載の画像入力装置。
14. 前記所定の帯域は、輝度信号の帯域より低い請求項１３に記載の画像入力装置。
15. 被写体から前記固体撮像素子へ入射される光の光路上に、近赤外領域の光を除去するＩＲカットフィルタが存在する請求項１から請求項１４までのいずれかに記載の画像入力装置。
16. 入射光のエネルギーを電気信号に変換する固体撮像素子であって、入射光の透過スペクトルにおいて、少なくとも３種類の異なる波長の極大値を有し、前記少なくとも３種類の波長は、それぞれ、６５０ｎｍ〜７５０ｎｍ、５２５ｎｍ〜６２５ｎｍ、３８０ｎｍ〜４８０ｎｍの範囲の波長の中に極大値を有することを特徴とする固体撮像素子。
17. 前記極大値をもつ波長の少なくとも３種類が、それぞれ７００ｎｍ、５７５ｎｍ、４３５ｎｍである請求項１６に記載の固体撮像素子。
18. 前記少なくとも３種類の極大値をもつ波長は、それぞれ異なる膜厚を有する無機材料のフィルタ膜によって形成される請求項１６または請求項１７に記載の固体撮像素子。
19. 前記フィルタ膜の膜厚は、少なくとも３種類が、それぞれ６５〜１００ｎｍ、５０〜７０ｎｍ、３０〜５０ｎｍの範囲であって、前記膜厚は、フィルタ膜の持つ屈折率と透過スペクトルの極大値をとる波長との相関に基づく請求項１６から請求項１８までのいずれかに記載の固体撮像素子。
20. 前記３種類のフィルタ膜は、２行２列の単位配列に基づいて構成され、前記単位配列における第１の列に、極大値が６５０ｎｍ〜７５０ｎｍの範囲にあるフィルタ膜および極大値が５２５ｎｍ〜６２５ｎｍの範囲にあるフィルタ膜が順次配列されると共に、前記単位配列における第２の列に、極大値が５２５ｎｍ〜６２５ｎｍの範囲にあるフィルタ膜および極大値が３８０ｎｍ〜４８０ｎｍの範囲にあるフィルタ膜が順次配列される請求項１６から請求項１９までのいずれかに記載の固体撮像素子。
21. 入射光のエネルギーを電気信号に変換する固体撮像素子であって、入射光の透過スペクトルにおいて、少なくとも３種類の異なる特定波長以上の光を透過する透過特性を有し、前記波長透過範囲のうち少なくとも３種類が、それぞれ６５０ｎｍ以上、５２５ｎｍ以上、３８０ｎｍ以上の範囲の中に含まれることを特徴とする固体撮像素子。
22. 前記波長透過範囲のうち少なくとも３種類が、長波長から数えてそれぞれ６５０ｎｍ〜７５０ｎｍ、５２５ｎｍ〜６２５ｎｍ、３８０ｎｍ〜４８０ｎｍの範囲の波長の中に極大値を有する請求項２１に記載の固体撮像素子。
23. 前記透過特性をもつ特定波長の少なくとも３種類が、それぞれ７００ｎｍ未満、５７５ｎｍ未満、４３５ｎｍ未満の値である請求項２１に記載の固体撮像素子。
24. 前記特定波長の波長範囲は、少なくとも３種類のそれぞれ異なる膜厚を有する無機材料のフィルタ膜によって形成される請求項２１から請求項２３までのいずれかに記載の固体撮像素子。
25. 前記フィルタ膜の膜厚は、少なくとも３種類がそれぞれ、６５〜１００ｎｍ、５０〜７０ｎｍ、３０〜５０ｎｍの範囲であって、前記膜厚は、フィルタ膜の持つ屈折率と透過スペクトルの極大値をとる波長との相関に基づく請求項２１から請求項２４までのいずれかに記載の固体撮像素子。
26. 前記フィルタ膜は、２行２列の単位配列に基づいて構成され、前記単位配列における第１の列に、極大値が６５０ｎｍ〜７５０ｎｍの範囲にあるフィルタ膜および遮断特定波長が５２５ｎｍ〜６２５ｎｍの範囲にあるフィルタ膜が順次配列されると共に、前記単位配列における第２の列に特定値が５２５ｎｍ〜６２５ｎｍの範囲にあるフィルタ膜および極大値が３８０ｎｍ〜４８０ｎｍの範囲にあるフィルタ膜が順次配列される請求項２１から請求項２５までのいずれかに記載の固体撮像素子。
27. 請求項１６から請求項２６までのいずれかに記載の固体撮像素子と、
    前記固体撮像素子が出力する撮像信号を処理する信号処理手段とを備える画像入力装置であって、
    前記信号処理手段は、前記撮像信号に前記所定の配列に基づく色変換処理を加えることにより、輝度信号、色信号、色差信号および入射光の光量に相応する信号のうち少なくとも１つの信号を生成することを特徴とする画像入力装置。
    
    

Images