JP2016197794A - 撮像装置 - Google Patents

Abstract

【課題】カラーフィルタの種類数及び画素補間処理を抑えながら分光波長情報の情報種類数を増加させることで、高い情報再現性を実現し、解像性に優れる撮像装置を提供する。【解決手段】積層された複数の層の受光部を有する受光素子が半導体基板上に配置された固体撮像素子２００と、透過カラーフィルタと有色カラーフィルタとを含むカラーフィルタアレイと、固体撮像素子から取得した分光波長情報を処理する信号処理装置１５０と、分光波長情報から画像データを生成する画像処理装置１５１とを有する。固体撮像素子は、受光部の層数とカラーフィルタの種類数を積算した数だけ種類数を持つ分光波長情報を生成する。信号処理装置は、分光波長情報を用いて色成分信号を算出する。画像処理装置は、色成分信号に基づき、分光波長情報を補正する処理を行い、全ての分光波長情報から画像データを生成する。【選択図】図１

Description

本発明はフィルタアレイを備えた垂直色分離型の固体撮像素子を有する撮像装置に関する。

デジタルスチルカメラは、レンズ系から入射された光線を光電変換するために、固体撮像素子を内部に有している。固体撮像素子は信号処理装置に接続され、発生した電荷はデジタル情報へと変換される。

一般的に光源や被写体は、分光分布や分光反射率として多くの情報を保持している。しかし出力されるデジタル情報は、ＲＧＢとして波長ごとの強度情報を積算した、色信号と呼ばれる値である。このような積算処理の結果、情報量の圧縮が発生し、最終的に生成される画像には撮影対象の情報が十分に再現できていないといった問題が存在する。

例えば一般的な白色蛍光灯下で白い物体を撮影した場合と、自然昼光下で緑色の植物の葉を撮影した場合とで、両者の信号値を比較すると、ＲＧＢの色信号での表記上は一致することがある。すると撮影者が肉眼で見た際に明らかに色合いが異なっていたとしても、カメラ内の処理上、表現される色は同様のものとなる。これは、分光分布等の撮影対象の保持する情報が異なっていても、ＲＧＢとしてそれぞれ積算した結果が一致し得ることから生じる問題である。

このような問題に対しては、従来ではＲＧＢの３領域によって波長を分割していたところを、より多くの領域によって分割をするマルチバンド処理を行うことで改善がなされることが公知である。バンド数を増加させることで、詳細な色信号を得ることができ、撮影対象の波長域ごとの強度についての情報量が増加する。その結果、好適な画像処理がなされ、高精度の情報再現が可能となる。

マルチバンド処理によって画像処理を向上させる試みとして、例えば特許文献１が挙げられる。特許文献１に開示された発明によれば、３バンド以上の通常画像生成用カラーフィルタと、前記通常画像生成用カラーフィルタとは分光感度特性が異なる補正情報生成用カラーフィルタとがアレイ状に配置されたカラーフィルタアレイを有する撮像素子と、前記通常画像生成用カラーフィルタを用いて得られた画素値の補間処理を行うことで、欠落画素の画素値が補間された通常画像の生成処理を行う通常画像生成部と、少なくとも前記補正情報生成用カラーフィルタを用いて得られた画素値に基づいて、スペクトル推定処理を行うスペクトル推定部と、前記スペクトル推定部により得られるスペクトル推定値に基づいて、前記通常画像の画素値を補正する補正情報を生成する補正情報生成部と、前記補正情報に基づいて前記通常画像の補正処理を行って、補正画像を生成する補正画像生成部と、を含む撮像装置、としている。

このような構成を取ることで、画質の劣化を抑えながら、推定したスペクトル情報を用いて通常画像の補正をすることが可能となる、としている。

また分光波長情報の情報種類数を増加することで、マルチバンドを実現する技術が公知である。

特許文献２に記載の技術は、半導体基板の第１面上にマトリクス状に配置された複数の画素ブロックを有し、各画素ブロックは光を信号電荷に変換する光電変換素子をそれぞれ有する第１乃至第３画素を含み、前記第１画素は可視波長域中の第１波長域に対して可視波長域中の他の波長域よりも高い透過率を有する第１フィルタを備え、前記第２画素は前記第１波長域に対して補色となる第２波長域に対して可視光波長域中の他の波長域よりも高い透過率を有する第２フィルタを備え、前記第３画素は前記第１波長域および前記第２波長域を含む波長域の光を透過する第３フィルタを備えている、画素アレイと、前記複数の画素ブロックの前記第１乃至第３画素で光電変換された信号電荷を読み出す読み出し回路と、前記読み出し回路によって読み出された信号電荷に基づいて信号処理を行う信号処理回路と、を備えている固体撮像装置、としている。

このような構成を取ることで、低照度被写体に対してＳＮＲが高く色再現性に優れた固体撮像装置を提供することができる、としている。

特開２０１４−８６８６２号公報 特開２０１４−１８７６４８号公報

しかし特許文献１記載の技術は、補正情報生成用カラーフィルタに対応する画素が、通常画像の生成に寄与をしない欠陥画素と同様のものになっているという問題があった。これは通常画像の生成という点からは、カラーフィルタアレイに周期的に欠陥画素が存在する構造をとることと略同義である。ここで、カラーフィルタの存在する画素に行う画素補間処理と、欠陥画素に行う画素補間処理とでは、再現性の精度が異なる。カラーフィルタの存在する画素では元の色情報の一部が存在するため、欠陥画素に行う画素補間処理よりも再現性が高いのである。従って欠陥画素に補間を行う特許文献１の構成では、結果的に生成する画像に顕著な偽色が発生し、解像性も低下してしまう。

またバンド数が多ければ多いほど、高精度な情報再現が可能となる。しかし、バンド数を増加させるためにカラーフィルタの種類数を増やしてしまうと、１画素の補完を行うために必要とする情報量が増加してしまう。また１種類のカラーフィルタの、カラーフィルタアレイに占める割合が減少してしまう。その結果、画素補間処理が複雑かつ精度の低いものとなり、顕著な偽色が発生し、解像性が低下してしまうという問題があった。つまり従来技術には、バンド数を増加させるためにカラーフィルタの種類数を増加させたいが、その結果画質が損なわれてしまうというジレンマが存在した。

特許文献２記載の技術は、情報種類数を増加させているものの、ホワイトフィルタに対応する受光素子は輝度のみしか計測することができない。従って、該受光素子の色信号は全て周囲の画素から生成された値にすぎないため、画素補間処理の精度が悪く、色再現性が不十分であった。また、垂直色分離型の撮像素子が２層構造であるため、１画素によってＲＧＢの色信号を取得することができず、全ての受光素子に対して画素補間処理が必要となる。従って、偽色の発生や解像性の低下を抑えられなかった。また、情報再現性を向上させるために必要な、十分な情報種類数を得ることができないという問題があった。

上記課題から本発明は、カラーフィルタの種類数及び画素補間処理を抑えながら分光波長情報の情報種類数を増加させることで、高い情報再現性を実現し、解像性に優れる撮像装置を提供することを目的とする。

請求項１に示す発明は、深さ方向に積層された複数の層の受光部を有する複数の受光素子が半導体基板上に配置された固体撮像素子と、特定の波長域を減衰させることのない透過カラーフィルタと有色カラーフィルタとを含むカラーフィルタから構成される、前記固体撮像素子の光の入射側に配置されたカラーフィルタアレイと、前記固体撮像素子から取得した分光波長情報を処理する信号処理装置と、前記分光波長情報から画像データを生成する画像処理装置と、を有し、前記受光素子は３層以上に前記受光部を積層し、前記受光部は、入射される光のうち前記受光部材料における光吸収係数の波長依存性により各受光部の深さに対応した光をそれぞれ検出し、前記固体撮像素子は、前記受光部の層数とカラーフィルタの種類数を積算した数だけ種類数を持つ前記分光波長情報を生成し、前記信号処理装置は、前記分光波長情報を用いて色成分信号を算出し、前記画像処理装置は、前記色成分信号に基づき、前記分光波長情報を補正する処理を行い、全ての前記分光波長情報から前記画像データを生成することを特徴とする撮像装置である。

請求項２に示す発明は、前記色成分信号は、前記カラーフィルタアレイの一部であるユニットに対応する受光素子から生成された前記分光波長情報により算出され、前記ユニットは少なくとも２つ以上の、それぞれ異なる種類のカラーフィルタから構成されることを特徴とする請求項１に記載の撮像装置である。

請求項３に示す発明は、前記カラーフィルタアレイは、前記有色カラーフィルタが前記透過カラーフィルタに隣接することを特徴とする請求項１又は請求項２に記載の撮像装置である。

請求項４に示す発明は、前記透過カラーフィルタは白色であることを特徴とする請求項１乃至請求項３に記載の撮像装置である。

請求項５に示す発明は、前記有色カラーフィルタは、赤色又は青色又は緑色のカラーフィルタの少なくともいずれか１つを含むことを特徴とする請求項１乃至請求項４に記載の撮像装置である。

請求項６に示す発明は、前記複数の層の受光部の層数は３層であることを特徴とする請求項１乃至請求項５に記載の撮像装置である。

本発明によれば、カラーフィルタの種類数及び画素補間処理を抑えながら分光波長情報の情報種類数を増加させることで、高い情報再現性を実現し、解像性に優れる撮像装置を得ることができる。

本発明の一実施形態である撮像装置の主要な構成を示したブロック図である。 図１に示した撮像装置に実装される撮像素子の単一画素を単純化した断面図である。 垂直色分離型の撮像素子の分光感度を示した曲線図である。 垂直色分離型の撮像素子にカラーフィルタを設置した概念図である。 カラーフィルタの透過率を示した曲線図である。 実施例１におけるカラーフィルタアレイの配置図である。 実施例１におけるカラーフィルタアレイの基本単位の配置図である。 光を白色フィルタに通した際の撮像素子の分光感度を示した曲線図である。 光を赤色フィルタに通した際の撮像素子の分光感度を示した曲線図である。 光を緑色フィルタに通した際の撮像素子の分光感度を示した曲線図である。 光を青色フィルタに通した際の撮像素子の分光感度を示した曲線図である。 図８から図１１までの分光感度を同時に示した曲線図である。 図１２を分離、変換し、色成分信号を示した曲線図である。 実施例２におけるカラーフィルタアレイの配置図である。 実施例２におけるカラーフィルタアレイの基本単位の配置図である。

以下、添付の図面に従って、本発明を実施するための最良の形態について説明する。なお、この実施の形態により本発明が限定されるものではない。

図１に示すブロック図には、本発明の一実施形態である撮像装置の主要な構成が示されている。本図に示す撮像装置１００は、撮影光学系１１０と、撮像素子２００と、読み出し制御部１３０と、信号処理部１５０と、画像処理部１５１と、カメラＣＰＵ１７０と、ユーザインターフェース（Ｉ／Ｆ）１７１と、記録媒体インターフェース（Ｉ／Ｆ）１７２と、画像表示部１９０と、を備えている。

撮影光学系１１０は、フォーカスレンズ群やズームレンズ群を含む、複数の不図示のレンズ群で構成されている。本図においては、簡単のために１枚のレンズのみ記載している。

撮像素子２００は、撮影光学系１１０により集光された光線を受光して光電変換し、分光波長情報を生成する。本実施形態の撮像素子２００としては、ＣＭＯＳイメージセンサが用いられている。

撮像素子２００の受光面は多数の画素から構成されている。これらの画素は、その内部において、入射光の波長により光電変換される深さの違いを用いることで、単一画素からＲＧＢの各分光波長情報を出力可能な垂直色分離型のイメージセンサである。垂直色分離型のイメージセンサについて、また分光波長情報について詳しくは後述する。

撮像素子２００の受光面側にはカラーフィルタアレイ３００が取り付けられている。カラーフィルタアレイ３００は白色、赤色、緑色、青色のカラーフィルタから構成され、各カラーフィルタは画素に対してそれぞれ１対１の対応を取る。

また、カラーフィルタアレイ３００の物体側には、ＵＶ−ＩＲカットフィルタが取り付けられている。ＵＶ−ＩＲカットフィルタは波長の可視領域外である、紫外線、赤外線を遮断する効果を有する。

読み出し制御部１３０は、撮像素子２００の駆動タイミングを決定するための信号を出力する。これにより画素毎の水平駆動並びに垂直駆動が制御され、各画素から分光波長情報が読み出される。

本実施例の撮像素子２００には、画素から読み出した分光波長情報を増幅するゲイン可変アンプやゲイン値を補正するためのゲイン補正回路、アナログ画像信号をデジタル変換するＡ／Ｄコンバータが内蔵されている。

撮像素子２００内でＡ／Ｄ変換処理が行われることで、分光波長情報はデジタルデータとして出力される。

撮像素子２００から出力された分光波長情報のデジタルデータは、各種処理が施された後、Ｒａｗデータとして一旦不図示のメモリ部に記録される。メモリ部は、この他にも各種データのバッファとして機能する。

信号処理部１５０は、撮像素子２００から出力された分光波長情報のデジタルデータの一部を、色成分信号へと変換する。変換が行われるデータの選択については後述する。

色成分信号は分光波長情報のデジタルデータと同様に、メモリ部に記録される。

画像処理部１５１は、メモリ部から色成分信号を読み出し、補正情報を生成する。生成された補正情報は、メモリ部から読み出された分光波長情報のデジタルデータに適用され、各種画像処理が行われる。

カメラＣＰＵ１７０は、撮像装置１００全体の包括的な制御を行う。また、カメラＣＰＵ１７０は、読み出し制御部１３０の制御を行う。

ユーザインターフェース（Ｉ／Ｆ）１７１は、例えば、レリーズボタン、電源ボタン、コマンドダイヤル、十字キー等の操作部材を有しており、ユーザがこれらの操作部材を操作すると、カメラＣＰＵ１７０は所定の動作を行う指示を出す。

記録媒体インターフェース（Ｉ／Ｆ）１７２は、不図示の記録媒体との間で画像データの記録又は読み出しを行う。この記録媒体は、半導体メモリ等の着脱可能な記録媒体である。

画像表示部１９０は、画像処理部１５１で処理された画像データや、不図示の記録媒体から読み出された画像データ等を表示する。

なお、上述したゲイン可変アンプ、ゲイン補正回路、Ａ／Ｄコンバータを内蔵していない撮像素子２００を採用する場合には、これらのデバイスを個別に搭載すればよい。

図２は、撮像装置１００に実装される撮像素子２００の単一画素を単純化して示した断面図である。上述したように、本実施形態の撮像素子２００はいわゆる垂直色分離型のイメージセンサであり、各画素には、深さ方向に３つのフォトダイオードが積層して形成されている。

ある画素に光が入射すると、最上層に位置するフォトダイオード２１０では入射光中の青色（Ｂ）を中心とした成分が光電変換される。同様に、中間深さに位置するフォトダイオード２３０では入射光中の緑色（Ｇ）を中心とした成分が光電変換され、最下層に位置するフォトダイオード２５０では入射光中の赤色（Ｒ）を中心とした成分が光電変換される。これらの、垂直方向の色分離は撮像素子２００の材料として用いるシリコン（Ｓｉ）の特性を利用したものである。

これら３つのフォトダイオードは、Ｓｉ基板の内部の異なる深さに所定のドープ処理を行うことで形成される。具体的には、最上層に位置するフォトダイオード２１０は、約０．２〜０．５μｍの間の深さに形成され、中間深さに位置するフォトダイオード２３０は、約０．５〜１．５μｍの間の深さに形成され、最下層に位置するフォトダイオード２５０は、約１．５〜３．０μｍの間の深さに形成される。

図３は垂直色分離型の撮像素子２００の分光感度を示した曲線図である。破線は最上層のフォトダイオード２１０の分光感度を表し、点線は中間深さのフォトダイオード２３０の分光感度を表し、実線は最下層のフォトダイオード２５０の分光感度を表している。

垂直色分離型の撮像素子２００は入射した光に対し、各色成分に対応するフォトダイオードで光電変換を行う。しかし、各フォトダイオードは特定の色成分に対応した波長のみを捉えるのではなく、幅広い感度を有している。例えば最上層のフォトダイオード２１０は主にＢ成分を光電変換するが、Ｇ成分、Ｒ成分も混合された色信号を生成する。

本発明の撮像装置１００を用いて撮影をする場合において、垂直色分離型の撮像素子２００から生成される分光波長情報について、図を参照しながら詳しく説明する。

撮像装置１００を用いて撮影をする場合、撮影者によりユーザインターフェース（Ｉ／Ｆ）１７１を介してレリーズ操作が行われると、撮影光学系１１０を介して被写体光が撮像素子２００に入射して露光される。

図４は垂直色分離型の撮像素子２００にカラーフィルタアレイ３００を設置した概念図である。撮像素子２００の光の入射側にカラーフィルタアレイ３００を設置することで、入射する光はカラーフィルタの透過率に従って通過する。通過した光は撮像素子２００へ到達し、積層されたフォトダイオードの各層で検知される。つまり、特定の波長に対して、層数分の分光波長情報が得られる。これは各フォトダイオードが幅広い感度を有しているため、各層で必ず検知が行われることから可能となる。このような構成を取ることによって、垂直色分離型の撮像素子２００の層数分とカラーフィルタの種類数の積算分だけ分光波長情報を取得することができる。

なお、本実施例では垂直色分離型の撮像素子２００の層数を３層とするが、本発明はこれに限られることはない。３層以上の層数を持つことで、１画素において最終出力に必要なＲＧＢの３種の分光波長情報、もしくはＲＧＢの分光波長情報を内包する３種以上の分光波長情報を取得することが可能であれば、本発明は適用可能である。また２層以下の撮像素子を使用した場合、分光波長情報について、ＲＧＢのいずれかの成分を主に持つ色成分を検知できない。その結果、画像処理部において全画素に対し、主な成分を取得できなかった色成分について補間を行う必要が発生する。これは、本発明の目的である高い情報再現性、良質な解像性に損失を与えるため、不適格となる。

図５はカラーフィルタの透過率を示した曲線図である。カラーフィルタは、それぞれ透過率の波長依存性を有している。Ｗが付された曲線は白色フィルタの透過率を表し、Ｒが付された曲線は赤色フィルタの透過率を表し、Ｇが付された曲線は緑色フィルタの透過率を表し、Ｂが付された曲線は青色フィルタの透過率を表している。

ここで、本実施例における白色フィルタとは、特定の波長域を減衰させるのではなく、波長域全域にわたって同等に光を減衰させる効果を持つ、透過カラーフィルタの一種である。また、赤色フィルタとは、波長７００ｎｍ付近に透過率のピークを持ち、６００ｎｍより大きい波長域の光に対しピークの透過率に対して５０%以上の透過率を持ち、その他の波長域では光を減衰させる効果を持つカラーフィルタである。また、緑色フィルタとは、波長５２５ｎｍ付近に透過率のピークを持ち、５００ｎｍから６００ｎｍの波長帯の光に対しピークの透過率に対して５０%以上の透過率を持ち、その他の波長域では光を減衰させる効果を持つカラーフィルタである。また、青色フィルタとは、波長４５０ｎｍ付近に透過率のピークを持ち、５００ｎｍより小さい波長帯の光に対しピークの透過率に対して５０%以上の透過率を持ち、その他の波長域では光を減衰させる効果を持つカラーフィルタである。
（実施例１）

図６は実施例１におけるカラーフィルタアレイ３００の配置図である。４つのカラーフィルタで１ユニットを構成し、その構成は左上に赤色フィルタ、右上に白色フィルタ、左下に緑色フィルタ、右下に青色フィルタとなっている。次に、４つ１組み合わせのフィルタの周囲を白色のカラーフィルタが取り囲んで配置される。図７は実施例１におけるカラーフィルタアレイ３００の基本単位の配置図である。この基本単位を繰り返すことによって、実施例１のカラーフィルタアレイ３００は配置される。

このようなカラーフィルタアレイ３００の配置では、白色、赤色、緑色、青色のカラーフィルタに対し、それぞれ３層分の分光波長情報を取得することが可能となる。また、白色のフィルタは特定の波長域を大きく減衰させることはない。従って白色フィルタと対応する画素には、カラーフィルタアレイ３００の存在しない垂直色分離型の撮像素子に入射する光と、略同等の光が入射する。

図８乃至図１１は光をそれぞれ白色フィルタ、赤色フィルタ、緑色フィルタ、青色フィルタに通した際のフォトダイオードの分光感度を示した曲線図である。図１２は図８乃至図１１までの分光感度を同時に示した曲線図である。ここで、図８乃至図１１の入射光は、カラーフィルタアレイ３００より撮影対象側に設置されたＵＶ−ＩＲフィルタを通すことで、赤外・紫外領域の波長を遮断された後の光であるとする。

図９を例に取り、説明をする。図９は光を赤色フィルタに通した際の、垂直色分離型の撮像素子２００に積層された各フォトダイオードの分光感度を示した曲線図である。光を赤色フィルタに通すと図５に示されるように、赤色フィルタの透過率から短波長域が減衰される。よって、垂直色分離型の撮像素子２００の、本来図８のような結果を示す分光感度は、図９のように抑制される。図９は、最下層のフォトダイオードが長波長域を主に受光することから、高い分光感度を得られること、及び最上層のフォトダイオードが短波長域を主に受光することから、低い分光感度を得られることを示している。このように、５６０〜６８０ｎｍ付近の波長に関して、最上層、中間深さ、最下層の３つのフォトダイオードによって３種類の分光波長情報を取得できる。図１０、図１１も同様である。

本実施例では、垂直色分離型の撮像素子２００の層数が最上層、中間深さ、最下層の３種類であり、ユニットを構成するカラーフィルタの種類数が白色、赤色、緑色、青色の４種類である。従って、それらを積算した値である１２種類の分光波長情報が得られる。

この際、１つあたりの画素から得られる分光波長情報は３種類であるので、１ユニットから１２種類の分光波長情報が得られる。上述したように、信号処理部１５０では一部の分光波長情報が色成分信号へと変換される。この一部の分光波長情報が、ユニットを形成するカラーフィルタに対応する画素から読み出された１２種類の分光波長情報である。ユニットを構成しない白色カラーフィルタに対応する画素から得られる分光波長情報については、色成分信号への変換が行われない。

撮像素子２００によって得られた１２種類の分光波長情報は、撮像素子２００に内蔵されたＡ／Ｄコンバータによってデジタル変換が行われ、メモリ部に記録される。

メモリ部に記録された分光波長情報は信号処理部１５０において最適化処理が用いられ、各データが特定の波長で強い反応を示し、かつ他のデータがそれぞれの反応の弱い波長を補うように分離される。図１３は図１２で得られた１２種類の分光波長情報を、１２種類のピークを持たせて分離させることで変換した曲線図である。具体的手法としては、まずターゲットとして波長に対して等間隔な波形を作成する。本実施例では１２種類のピークを持つターゲットを使用する。次に適当な行列式を分光波長情報に適用し、ターゲットとの誤差を減らす演算を繰り返すことで精度を向上させ、等間隔に分離を行う。

このようにして分離された１２種類の分光波長情報は、色成分信号としてメモリ部に保存される。

ここで、本実施例ではターゲットとなる波長のピークの数を１２種類としたが、本発明はこれに限られるものではない。また、ピークの数について、得られた分光波長情報よりも少ない数を設定すると、後述の画像処理部１５１において使用可能な色成分信号が減少し、補正処理の精度が低下する。一方得られた分光波長情報よりも多い数を設定すると、実データからの推測を行うこととなり、変換によるノイズの増加や分離精度の信頼性低下につながる。従って、ピークの数は分光波長情報の数と同数を取ることが望ましい。

メモリ部に保存された色成分信号は、画像処理部１５１において補正処理に使用される。つまり、画像処理部１５１によって色成分信号の評価が行われることで補正処理に必要な、シーン判別や光源推定といった情報が算出される。このような処理は公知の技術であり、例えば特許文献１に開示されているように処理を行えばよい。算出された情報を元に、各画素から検出された分光波長情報のデジタルデータは、画像処理部１５１において色補正やノイズ除去といった各種処理が施される。

色成分信号に基づいた補正処理が行われた後に、画像処理部１５１では色情報の補間が行われる。実施例１におけるカラーフィルタアレイ３００には有色カラーフィルムが含まれるため、対応する画素は本来の被写体の色情報の一部のみを持つ。従って、周囲の画素から残りの色情報を補間する必要がある。このような画素補間処理は公知の技術であり、本実施例での説明は省略する。

画像処理の行われた画像データはメモリ部に保存されるが、撮像装置１００の設定によっては画像処理部１５１において画像処理が施された後、記録媒体インターフェース（Ｉ／Ｆ）１７２を介して不図示の記録媒体に保存される。

上記実施例によれば、カラーフィルタの種類数を４種類と抑えながら、高精度な情報再現に十分な量である１２種類の分光波長情報を生成することができる。その結果、好適な画像処理がなされ、高い情報再現性を実現し、解像性に優れる画像データが生成可能である。

また特許文献１のように、補正情報生成用カラーフィルタを有したカラーフィルタアレイ３００では、欠陥画素に対する補間と同様に、全ての色成分を周囲の画素から補間する必要がある。しかし上記実施例によれば、図６に表された補正処理に使用するためのユニットは、同時に通常画像作成にも使用される。これらの画素は本来被写体から画素に届く色情報の一部を表す色成分を有しているため、周囲からの補間を行う際には欠落した色成分を補うだけでよい。従って、従来に比べ高精度の補間を行うことができる。

また、周囲からの画素補間処理に関して、一般的なベイヤー型配置の撮像素子ではこのような処理を行うことで、出力された情報に偽色が発生し、解像性が損なわれてしまう。

しかし、実施例１において配置される全ての有色カラーフィルタは、最低２つの白色カラーフィルタと隣接をしている。有色フィルタに対応した画素の画素補間処理の際には、隣接した白色フィルタに対応した画素からの補間が行われる。ここで、垂直色分離型の撮像素子は１画素においてＲＧＢ全ての情報を取得することができる。つまり一般的なベイヤー型配置の撮像素子よりも、補間に必要な画素が少ない数で済み、また、より本来の被写体が持つ色情報から補間することが出来る。従って偽色の発生を抑えた、精度良い画素補間処理を行うことが可能である。
（実施例２）

実施例２における発明は、特に白色蛍光下でホワイトバランス処理に好適な効果を示す、カラーフィルタアレイ３００を備えた撮像装置である。

白色蛍光灯は特定の波長領域にピークを持つスペクトルを持った光源である。一方で自然昼光下の緑色の植物の葉は、広い波長領域に対して滑らかにスペクトルが変化する。しかし、両者の信号値を比較したとき、ＲＧＢの色信号での表記上は一致することがあったため、肉眼で見た際に明らかに色合いが異なっていたとしても、カメラ内の処理上、表現される色は同様のものとなることがあった。

そこで本実施例においては、緑色フィルタを特定波長領域のみ透過するように配置することで、蛍光灯と植物の緑色に対して異なる色成分信号を取得する。これによって、従来は一致したＲＧＢの色信号のみを取得していたことに対して、シーンを見分けるための色成分信号を取得することが出来るため、結果に応じて適切なホワイトバランス処理を行うことが出来る。

図１４は実施例２におけるカラーフィルタアレイ３００の配置図である。緑色のカラーフィルタを配置し、その周囲を白色フィルタが取り囲んで配置される。また、２つのカラーフィルタで１ユニットを構成し、その構成は白色フィルタ、緑色フィルタが各１つずつとなっている。図１５が実施例２のカラーフィルタアレイ３００の基本単位である。この基本単位を繰り返すことによって、実施例２のカラーフィルタアレイ３００は配置される。

以下、実施例２の効果を説明する。実施例２のカラーフィルタアレイ３００の配置では、緑色のフィルタを置くことで、緑色、白色のフィルタに対し、それぞれ３層分の分光波長情報を取得することが可能となる。これらの波形は図８と図１０に表されており、得られる分光波長情報は計６種類となる。

実施例２において配置される緑色フィルタは、周囲全てを白色フィルタに取り囲まれている。従って、隣接している白色フィルタが２つとなる実施例１と比較しても、より高精度の補間を行うことができる。

また、緑色フィルタによって生成される分光波長情報によって、オートホワイトバランス処理の不得手とする、緑成分の判別に好適な作用を示す。

なお、カラーフィルタアレイ３００の配列は上記に限られるものではない。複数の種類のカラーフィルタから構成されるカラーフィルタアレイ３００を使用することで、情報種類数を十分に取得することが可能であれば、どのような配列パターンにも本発明は適用可能である。

以上で説明したように、本発明の撮像装置によれば、カラーフィルタの種類数及び画素補間処理を抑えながら分光波長情報の情報種類数を増加させることで、高い情報再現性を実現し、解像性に優れる撮像装置を提供することが可能となる。

１００ 撮像装置
１１０ 撮影光学系
１３０ 読み出し制御部
１５０ 信号処理部
１５１ 画像処理部
１７０ カメラＣＰＵ
１７１ ユーザインターフェース（Ｉ／Ｆ）
１７２ 記録媒体インターフェース（Ｉ／Ｆ）
１９０ 画像表示部
２００ 撮像素子
２１０ 最上層に位置するフォトダイオード
２３０ 中間深さに位置するフォトダイオード
２５０ 最下層に位置するフォトダイオード
３００ カラーフィルタアレイ

Claims (6)

1. 深さ方向に積層された複数の層の受光部を有する複数の受光素子が半導体基板上に配置された固体撮像素子と、
   特定の波長域を減衰させることのない透過カラーフィルタと有色カラーフィルタとを含むカラーフィルタから構成される、前記固体撮像素子の光の入射側に配置されたカラーフィルタアレイと、
   前記固体撮像素子から取得した分光波長情報を処理する信号処理装置と、
   前記分光波長情報から画像データを生成する画像処理装置と、を有し、
   前記受光素子は３層以上に前記受光部を積層し、
   前記受光部は、入射される光のうち前記受光部材料における光吸収係数の波長依存性により各受光部の深さに対応した光をそれぞれ検出し、
   前記固体撮像素子は、前記受光部の層数とカラーフィルタの種類数を積算した数だけ種類数を持つ前記分光波長情報を生成し、
   前記信号処理装置は、前記分光波長情報を用いて色成分信号を算出し、
   前記画像処理装置は、前記色成分信号に基づき、前記分光波長情報を補正する処理を行い、全ての前記分光波長情報から前記画像データを生成することを特徴とする撮像装置。
2. 前記色成分信号は、前記カラーフィルタアレイの一部であるユニットに対応する受光素子から生成された前記分光波長情報により算出され、
   前記ユニットは少なくとも２つ以上の、それぞれ異なる種類のカラーフィルタから構成されることを特徴とする請求項１に記載の撮像装置。
3. 前記カラーフィルタアレイは、前記有色カラーフィルタが前記透過カラーフィルタに隣接することを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 前記透過カラーフィルタは白色であることを特徴とする請求項１乃至請求項３に記載の撮像装置。
5. 前記有色カラーフィルタは、赤色又は青色又は緑色のカラーフィルタの少なくともいずれか１つを含むことを特徴とする請求項１乃至請求項４に記載の撮像装置。
6. 前記複数の層の受光部の層数は３層であることを特徴とする請求項１乃至請求項５に記載の撮像装置。

Images