JP2015015684A - 撮像装置 - Google Patents

Abstract

【課題】入射光の利用効率を高くすること。【解決手段】撮像装置１は、入射光のうち所定の色成分の光を光電変換し残りの色成分の光を透過する画素が２次元状に配列された第１光電変換層と、第１光電変換層と同一光路上に積層されて配置され、第１光電変換層を透過した光を光電変換する画素が２次元状に配列された第２光電変換層と、を有する撮像素子１１と、第１光電変換層からの出力信号と第２光電変換層からの出力信号とを用いてカラー画像信号を生成する画像生成手段１４と、を備え、画像生成手段１４は、第１光電変換層からの出力信号と第２光電変換層からの出力信号とを加算することによりカラー画像信号における輝度信号を生成する。【選択図】図１

Description

本発明は、撮像装置に関する。

従来、カラーフィルターが配置された撮像素子が知られている（特許文献１参照）。

特開２００７−２８２１０９号公報

従来技術では、各画素へ入射される光がカラーフィルターを透過した光となる。そのため、たとえばＧ（グリーン）の光を受光するＧ画素では、Ｇ以外の光はカラーフィルターで吸収され、使用されない。また、Ｇ画素において、Ｇの光自体も全て使用される訳ではなく、その一部はカラーフィルターに吸収されたり反射されたりしてしまう。このように、従来技術では、入射光の利用効率が悪かった。

請求項１に記載の撮像装置は、入射光のうち所定の色成分の光を光電変換し残りの色成分の光を透過する画素が２次元状に配列された第１光電変換層と、第１光電変換層と同一光路上に積層されて配置され、第１光電変換層を透過した光を光電変換する画素が２次元状に配列された第２光電変換層と、を有する撮像素子と、第１光電変換層からの出力信号と第２光電変換層からの出力信号とを用いてカラー画像信号を生成する画像生成手段と、を備え、画像生成手段は、第１光電変換層からの出力信号と第２光電変換層からの出力信号とを加算することによりカラー画像信号における輝度信号を生成することを特徴とする。

本発明によれば、入射光の利用効率を高くできる。

デジタルカメラの構成例を説明するブロック図である。 撮像素子の概要を説明する図である。 画素の配置例を説明する図である。 Ｙ信号を生成する方法を説明する図である。 ＣｂＣｒ信号を生成する方法を説明する図である。 撮像素子においてカラーフィルターが配置されていない場合とカラーフィルターが配置されている場合における相対分光例を示す図である。

以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態によるデジタルカメラ１の構成を例示する図である。デジタルカメラ１は、撮像光学系１０、撮像素子１１、制御部１２、操作部１３、画像処理部１４、液晶モニタ１５、およびバッファメモリ１６を有する。また、デジタルカメラ１には、メモリカード１７が装着されている。

制御部１２は、マイクロプロセッサおよびその周辺回路から構成され、不図示のＲＯＭに格納された制御プログラムを実行することにより、デジタルカメラ１の各種の制御を行う。

撮像素子１１は、複数の画素から構成され、撮像光学系１０を介して被写体からの光束を受光し、光電変換を行ってアナログ画像信号、またはデジタル画像信号を出力する。撮像素子１１からアナログ画像信号が出力される場合は、不図示のＡＤ変換回路によりＡＤ変換されてデジタル画像信号となる。このデジタル画像信号はバッファメモリ１６に格納される。

バッファメモリ１６に格納されたデジタル画像信号は、画像処理部１４において各種の画像処理が行われ、液晶モニタ１５に表示されたり、メモリカード１７に格納されたりする。メモリカード１７は、不揮発性のフラッシュメモリなどから構成され、デジタルカメラ１に対して着脱可能である。

操作部１３は、レリーズボタンやモード切り替えボタン、電源ボタンなど各種の操作ボタンから構成され、撮影者により操作される。操作部１３は、撮影者による上記の各操作ボタンの操作に応じた操作信号を制御部１２へ出力する。画像処理部１４は、ＡＳＩＣ等により構成されている。画像処理部１４は、撮像素子１１によって撮像された画像データに対して、補間、圧縮、ホワイトバランスなどの各種の画像処理や、後述する画像生成処理を行う。

＜撮像素子の説明＞
図２は、本実施形態に係る撮像素子１１の概要を示す図である。なお、図２では、撮像素子１１の光入射側を上側とした状態を示している。このため、以下の説明では、撮像素子１１の光入射側の方向を「上方」または「上」とし、光入射側に対して反対側の方向を「下方」または「下」とする。撮像素子１１は、上部光電変換層３１と下部光電変換層３２とを有する。上部光電変換層３１と下部光電変換層３２とは、同一光路上に積層配置されている。上部光電変換層３１は、所定の色成分（詳しくは後述する）の光を吸収（光電変換）する有機光電膜で構成される。上部光電変換層３１で吸収（光電変換）されなかった色成分の光は、上部光電変換層３１を透過して下部光電変換層３２に入射し、下部光電変換層３２で光電変換される。下部光電変換層３２は、可視光全ての波長の光を吸収（光電変換）する有機光電膜で構成される。上部光電変換層３１と下部光電変換層３２とは同一の半導体基板上に形成され、各画素位置は一対一に対応する。たとえば上部光電変換層３１の１行１列目の画素は、下部光電変換層３２の１行１列目の画素に対応する。

図３（ａ）は、上部光電変換層３１の画素配置を示す図である。図３（ａ）において、横方向をｘ軸、縦方向をｙ軸とし、画素Ｐの座標をＰ（ｘ，ｙ）と表記する。上部光電変換層３１では、各画素がたとえばベイヤー配列で配置される。すなわち、図３（ａ）に示すように、奇数行には、Ｒ（レッド）の光を光電変換するＲ画素とＧ（グリーン）の光を光電変換するＧ画素とが交互に配置され、偶数行には、Ｇ（グリーン）の光を光電変換するＧ画素とＢ（ブルー）の光を光電変換するＢ画素とが交互に配置される。上部光電変換層３１の各画素で光電変換（吸収）されない色成分の光は、透過する。たとえば、上部光電変換層３１の画素Ｐ（１，１）では、Ｒ成分の光が吸収されて光電変換されるので、Ｒ成分以外の色成分の光が透過する。

図３（ｂ）は、下部光電変換層３２の画素配置を示す図である。なお、図３（ｂ）に示す各画素位置は、図３（ａ）と同じである。たとえば下部光電変換層３２の画素Ｐ（１，１）は、上部光電変換層３１の画素Ｐ（１，１）に対応する。下部光電変換層３２には、可視光全ての波長を吸収可能な画素が２次元状に配置される。そのため、下部光電変換層３２の各画素では、上部光電変換層３１で吸収されなかった（すなわち上部光電変換層３１を透過した）可視光全てを吸収して光電変換する。したがって、たとえば、下部光電変換層３２の画素Ｐ（１，１）では、上部光電変換層３１の画素Ｐ（１，１）で吸収されなかった可視光、すなわちＲ成分以外の色成分を含む可視光が吸収されて光電変換される。

＜画像生成処理＞
次に、上述した撮像素子１１から出力された信号を用いて、ＹＣｂＣｒ形式のカラー画像信号を生成する画像生成処理について説明する。まず、図４を用いて、カラー画像信号におけるＹ信号（輝度信号）を生成する方法を説明する。

上述したように、撮像素子１１では、上部光電変換層３１の各画素においてＲＧＢいずれかの光を吸収し、下部光電変換層３２の各画素において上部光電変換層３１を透過した（すなわち吸収されなかった）色成分の光を受光して光電変換する。そのため、上部光電変換層３１からの出力信号と下部光電変換層３２からの出力信号を加算すれば、撮像素子１１への可視光がそのまま光電変換された信号、すなわち従来の撮像素子でカラーフィルターが配置されていないものの出力信号と同等の白黒信号を得ることができる。

そこで、画像処理部１４は、図４に示すように、各画素位置において、上部光電変換層３１からの出力信号と下部光電変換層３２からの出力信号とを加算することにより、カラー画像信号におけるＹ信号（輝度信号）を生成する。なお、図４において、ｒは上部光電変換層３１のＲ画素からの出力信号を示し、ｇは上部光電変換層３１のＧ画素からの出力信号を示し、ｂは上部光電変換層３１のＢ画素からの出力信号を示す。また、ｗは下部光電変換層３２に配置された可視光全ての波長を吸収する画素からの出力信号を示す。画像処理部１４は、上部光電変換層３１がＲ画素の位置では以下の式（１）により、Ｇ画素の位置では以下の式（２）により、Ｂ画素の位置では以下の式（３）により、Ｙ信号を求める。なお、画像処理部１４は、Ｙ信号を０〜１の範囲で正規化する。
Ｙ＝ｒ＋ｗ・・・（１）
Ｙ＝ｇ＋ｗ・・・（２）
Ｙ＝ｂ＋ｗ・・・（３）

次に、図５を用いて、カラー画像信号におけるＣｂＣｒ信号（色差信号）を生成する方法を説明する。まず、画像処理部１４は、上部光電変換層３１から出力されるベイヤー配列の画像信号に対して、ホワイトバランスや分光調整用のマトリクス変換を行いながらデモザイク処理（色補間処理）を行い、各画素においてＲ成分、Ｇ成分およびＢ成分の信号値を求める。以下、デモザイク処理により得られたＲ成分の信号をｒ´信号と表記し、デモザイク処理により得られたＧ成分の信号をｇ´信号と表記し、デモザイク処理により得られたＢ成分の信号をｂ´信号と表記する。画像処理部１４は、ｒ´信号、ｇ´信号、およびｂ´信号を０〜１の範囲で正規化する。

次に画像処理部１４は、Ｙ信号と上記デモザイク処理により得られたｒ´ｇ´ｂ´信号とを用いて、カラー画像信号におけるＲＧＢ信号を求める。まず、カラー画像信号におけるＲ信号を求める場合について説明する。本実施形態では、一例として、式（４）に示すＩＴＵ−Ｒ ＢＴ．６０１規格で定められたＳＤＴＶ用の関係式を用いる。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ・・・（４）

カラー画像信号におけるＲ信号、Ｇ信号およびＢ信号の比と、上記デモザイク処理により得られるｒ信号、ｇ信号およびｂ信号の比とが同一である（すなわち、Ｒ：Ｇ：Ｂ＝ｒ´：ｇ´：ｂ´）と仮定すると、式（５）および式（６）が得られる。
Ｇ＝（ｇ´÷ｒ´）Ｒ・・・（５）
Ｂ＝（ｂ´÷ｒ´）Ｒ・・・（６）

式（４）に、式（５）および（６）を代入すると、以下の式（７）が得られる。
Ｙ＝０．２９９Ｒ＋０．５８７Ｒ（ｇ´÷ｒ´）＋０．１１４Ｒ（ｂ´÷ｒ´）・・・（７）

式（７）を変形すると、以下の式（８）が得られる。
Ｒ＝{ｒ´÷（０．２９９ｒ´＋０．５８７ｇ´＋０．１１４ｂ´）}Ｙ・・・（８）

画像処理部１４は、式（８）に、上記デモザイク処理により得られたｒ´ｇ´ｂ´信号とＹ信号とを代入することにより、カラー画像信号におけるＲ信号を求める。

同様に、画像処理部１４は、式（９）および（１０）に、上記デモザイク処理により得られたｒ´ｇ´ｂ´信号と、Ｙ信号とを代入することにより、カラー画像信号におけるＧ信号およびＢ信号を求める。なお、式（９）および（１０）は、上述したＲ信号の場合と同様にして作成した式である。
Ｇ＝{ｇ´÷（０．２９９ｒ´＋０．５８７ｇ´＋０．１１４ｂ´）}Ｙ・・・（９）
Ｂ＝{ｂ´÷（０．２９９ｒ´＋０．５８７ｇ´＋０．１１４ｂ´）}Ｙ・・・（１０）

このように、画像処理部１４は、ｒ´信号、ｇ´信号およびｂ´信号の比とＹ信号を用いて、カラー画像信号におけるＲＧＢ信号を求める。

そして、画像処理部１４は、以下の式（１１）および（１２）に、上記式（８）〜（１０）により求めたＲＧＢ信号を代入して、Ｃｒ信号およびＣｂ信号を求める。なお、式（１１）および（１２）は、ＩＴＵ−Ｒ ＢＴ．６０１規格で定められたＳＤＴＶ用の関係式である。
Ｃｒ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ・・・（１１）
Ｃｂ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ・・・（１２）

なお、画像処理部１４は、以下の式（１３）および（１４）に、Ｙ信号とＲ信号およびＢ信号とを代入することにより、Ｃｒ信号およびＣｂ信号を求めるようにしてもよい。なお、式（１３）および（１４）も、ＩＴＵ−Ｒ ＢＴ．６０１規格で定められたＳＤＴＶ用の関係式である。
Ｃｒ＝０．７１３（Ｒ−Ｙ）・・・（１３）
Ｃｂ＝０．５６４（Ｂ−Ｙ）・・・（１４）

以上のようにして、画像処理部１４は、上部光電変換層３１と下部光電変換層３２から出力された信号を用いて、ＹＣｂＣｒ形式のカラー画像信号を生成する。

以上説明した実施形態によれば、次の作用効果が得られる。
（１）デジタルカメラ１は、入射光のうち所定の色成分の光を光電変換し残りの色成分の光を透過する画素が２次元状に配列された上部光電変換層３１と、上部光電変換層３１と同一光路上に積層されて配置され、上部光電変換層３１を透過した光を光電変換する画素が２次元状に配列された下部光電変換層３２と、を有する撮像素子１１と、上部光電変換層３１からの出力信号と下部光電変換層３２からの出力信号とを用いてＹＣｂＣｒ形式のカラー画像信号を生成する画像処理部１４と、を備える。画像処理部１４は、上部光電変換層３１からの出力信号と下部光電変換層３２からの出力信号とを加算することにより、カラー画像信号における輝度信号（Ｙ信号）を生成する。これにより、本実施形態のデジタルカメラ１では、従来よりも、入射光の利用効率を高くでき、且つ高い信号出力を得ることができ、Ｙ信号のＳ／Ｎ比を上げることができる。

ここで参考として、図６に、従来の撮像素子において、カラーフィルターが配置されていない場合とカラーフィルターがベイヤー配列で配置されている場合とにおける相対分光例を示す。なお、図６では、横軸が波長を示し、縦軸が出力を示しており、各分光ともにピーク出力を１に正規化している。たとえば、波長５５０ｎｍ付近の分光に着目すると、カラーフィルターが配置されていない場合に比べて、カラーフィルターがベイヤー配列で配置されている場合のＧ出力はあきらかに出力が低くなっている。つまり、カラーフィルターがベイヤー配列で配置されている場合では、Ｇのピークに近い波長でも、カラーフィルターが配置されていない場合に比べて、全ての光を利用できていない。また、Ｇから異なる波長の光は使用される割合が非常に低くなっている。このように、従来のカラーフィルターが配置された撮像素子では、入射光の利用効率が低くなっている。これに対して、本実施形態のデジタルカメラ１では、従来の撮像素子においてはカラーフィルターで吸収されてしまう光を利用することができ、従来よりも入射光の利用効率を高くすることができる。

（２）デジタルカメラ１において、画像処理部１４は、上部光電変換層３１の各画素においてデモザイク処理（色補間処理）を行ってｒ´ｇ´ｂ´信号を生成し、ｒ´ｇ´ｂ´信号の比とＹ信号とを用いてカラー画像信号におけるＲＧＢ信号を生成し、所定の変換式（式（１１）、式（１２））によりＣｂＣｒ信号を生成するようにした。このように、本実施形態では、従来の撮像素子のように、デモザイク処理により得られたｒ´ｇ´ｂ´信号をそのままカラー画像信号におけるＲＧＢ信号として用いるのではなく、Ｙ信号を用いてカラー画像信号におけるＲＧＢ信号を求めるようにした。この理由は、以下の通りである。

たとえば、上部光電変換層３１がＲ画素である画素位置では、Ｇ成分とＢ成分の情報が得られないため、デモザイク処理の結果得られるＧ成分とＢ成分の信号値については、当該Ｒ画素の近傍のＧ画素およびＢ画素の信号値から補間された値である。一方、上部光電変換層３１がＲ画素である画素位置では、下部光電変換層３２からの出力信号にＧ成分とＢ成分に関する情報が含まれる。したがって、下部光電変換層３２からの出力信号を利用すれば、デモザイク処理で得られる画像信号よりも色再現性の高い画像信号が得られることが予測される。そこで、本実施形態のデジタルカメラ１では、上部光電変換層３１と下部光電変換層３２とを加算したＹ信号を利用して、カラー画像信号におけるＲＧＢ信号を求めるようにした。これにより、従来よりも色再現性の高い画像信号を得ることができる。

（変形例１）
上述した実施の形態では、上部光電変換層３１からの出力信号に対してデモザイク処理を行った結果得られたｒ´ｇ´ｂ´信号の比とＹ信号とを用いてカラー画像信号におけるＲＧＢ信号を求め、ＣｂＣｒ信号を求める例について説明した。しかしながら、上部光電変換層３１からの出力信号に対してデモザイク処理を行った結果得られたｒ´ｇ´ｂ´信号をそのままカラー画像信号におけるＲＧＢ信号として用いて、上記式（１１）および（１２）または式（１３）および（１４）により、ＣｂＣｒ信号を生成するようにしてもよい。

（変形例２）
上述した実施の形態では、上部光電変換層３１にベイヤー配列で画素が配置されている例について説明したが、画素の配置はこれに限らなくてもよい。また、上述した実施の形態では、上部光電変換層３１に、Ｒ画素、Ｇ画素、およびＢ画素が配置されている例について説明したが、これに限らなくてよく、たとえば、Ｃｙ（シアン）の光を受光するＣｙ画素、Ｍｇ（マジェンタ）の光を受光するＭｇ画素、およびＹｅ（イエロー）の光を受光するＹｅ画素が配置されていてもよい。

（変形例３）
上述した実施の形態では、下部光電変換層３２が有機光電膜で構成されている例について説明したが、フォトダイオードで構成されていてもよい。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１…デジタルカメラ、１０…撮像光学系、１１…撮像素子、１２…制御部、１４…画像処理部、３１…上部光電変換層、３２…下部光電変換層

Claims (4)

1. 入射光のうち所定の色成分の光を光電変換し残りの色成分の光を透過する画素が２次元状に配列された第１光電変換層と、前記第１光電変換層と同一光路上に積層されて配置され、前記第１光電変換層を透過した光を光電変換する画素が２次元状に配列された第２光電変換層と、を有する撮像素子と、
   前記第１光電変換層からの出力信号と前記第２光電変換層からの出力信号とを用いてカラー画像信号を生成する画像生成手段と、
   を備え、
   前記画像生成手段は、前記第１光電変換層からの出力信号と前記第２光電変換層からの出力信号とを加算することにより前記カラー画像信号における輝度信号を生成することを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記第１光電変換層は、第１の色成分の光を光電変換する第１の画素と、第２の色成分の光を光電変換する第２の画素と、第３の色成分の光を光電変換する第３の画素と、を有し、
   前記画像生成手段は、前記第１光電変換層からの出力信号を用いて前記カラー画像信号における色差信号を生成することを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記画像生成手段は、前記撮像素子の各画素において、前記第１光電変換層の出力信号を用いて色補間処理を行って前記第１〜第３の色成分の信号を求め、前記第１〜第３の色成分の信号の比と前記輝度信号とに基づいて、前記第１〜第３の色成分の画像信号を求め、前記画像信号に基づいて、または前記画像信号と前記輝度信号とに基づいて、前記色差信号を生成することを特徴とする撮像装置。
4. 請求項２または３に記載の撮像装置において、
   前記第１の色成分はレッドであり、前記第２の色成分はグリーンであり、前記第３の色成分はブルーであり、前記第１〜第３の画素はベイヤー配列により配列されていることを特徴とする撮像装置。

Images