JP2009021988A

JP2009021988A - 撮像装置

Info

Publication number: JP2009021988A
Application number: JP2008145697A
Authority: JP
Inventors: Satoru Wada; 和田　　哲
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2007-06-12
Filing date: 2008-06-03
Publication date: 2009-01-29
Anticipated expiration: 2028-06-03
Also published as: JP5087474B2

Abstract

【課題】輝度ノイズを低減することが可能な撮像装置を提供する。
【解決手段】Ｒ光を検出する光電変換素子１と、Ｇ光を検出する光電変換素子２と、Ｂ光を検出する光電変換素子３と、輝度成分を検出する光電変換素子４とを含む撮像素子１０を有する撮像装置であって、光電変換素子１〜３の各々から得られる色信号から、各々に対応する輝度信号Ｙｒｇｂを生成する輝度信号生成部１３と、光電変換素子４から得られた輝度信号Ｙｗと輝度信号Ｙｒｇｂの各々に対してフィルタ処理を行うフィルタ処理部１５とを備え、フィルタ処理部１５は、処理対象となる輝度信号に対し、前記処理対象となる輝度信号に乗じる係数と前記処理対象となる輝度信号に近接する当該輝度信号とは異なる種類の輝度信号に乗じる係数の和とが一致するフィルタ処理を行う。このフィルタ処理によって得られた輝度信号が、画素データを構成する輝度信号となる。
【選択図】図２

Description

本発明は、光のそれぞれ異なる色成分を検出する少なくとも３種類の色検出用光電変換素子と、光の輝度成分を検出する輝度検出用光電変換素子とを含む撮像素子を有する撮像装置に関する。

特許文献１には、シリコン基板上に、光の輝度成分を検出する感光素子を正方格子状に配列した第１の感光素子群と、光の色相成分を検出する感光素子を正方格子状に配列した第２の感光素子群とを互いに隣接する位置にずらして配置して、いわゆるハニカム状の配列パターンを形成した撮像素子が開示されている。

特開平１１−３５５７９０号公報

特許文献１に開示された撮像素子で画像データを生成しようとすると、各感光素子に対応させて輝度信号を生成する必要がある。この場合、第１の感光素子群の感光素子に対応する輝度信号は、その感光素子から得られた信号（信号Ａとする）そのものを使うことができる。一方、第２の感光素子群の感光素子に対応する輝度信号は、その感光素子から得られた信号と、その周囲にある第２の感光素子群の感光素子から得られた信号とから生成した信号（信号Ｂとする）を使う必要がある。

しかし、第１の感光素子群の感光素子と第２の感光素子群の感光素子の感光素子とは、それぞれ分光特性が異なるため、被写体色や光源によって互いの相関性が崩れてしまう。この結果、信号Ａと信号Ｂにはレベル差が生じてしまい、このレベル差が輝度ノイズとなってしまう。

本発明は、上記事情に鑑みてなされたものであり、輝度ノイズを低減することが可能な撮像装置を提供することを目的とする。

本発明の撮像装置は、それぞれ異なる光の色成分を検出する少なくとも３種類の色検出用光電変換素子と、光の輝度成分を検出する輝度検出用光電変換素子とを含む撮像素子を有する撮像装置であって、前記少なくとも３種類の色検出用光電変換素子の各々から得られる色信号から、前記色検出用光電変換素子に対応する第１の輝度信号を生成する第１の輝度信号生成手段と、各光電変換素子に対応する画素データを構成する輝度信号を生成するために、前記第１の輝度信号と前記輝度検出用光電変換素子から得られた前記輝度検出用光電変換素子に対応する第２の輝度信号とのうち少なくとも前記第２の輝度信号を、前記色信号に基づいて補正する補正手段とを備える。

本発明の撮像装置は、前記補正手段が、前記第２の輝度信号と前記第１の輝度信号の各々に対してフィルタ処理を行うフィルタ処理手段であり、前記フィルタ処理手段は、処理対象となる輝度信号に対し、前記処理対象となる輝度信号に乗じる係数と前記処理対象となる輝度信号に近接する当該輝度信号とは異なる種類の輝度信号に乗じる係数の和とが一致するフィルタ処理を行う。

本発明の撮像装置は、前記第１の輝度信号生成手段が、前記少なくとも３種類の色信号を所定の輝度生成係数で重み付け加算して前記第１の輝度信号を生成するものであり、前記第１の輝度信号生成手段が、前記第２の輝度信号のフィルタ処理後の輝度信号と、前記所定の輝度生成係数を前記色検出用光電変換素子から得られる色信号のみで画像データを生成する場合に最適な値としたときの前記第１の輝度信号との差が最小となるような輝度生成係数で、前記第１の輝度信号を生成する。

本発明の撮像装置は、前記第１の輝度信号生成手段が、前記所定の輝度生成係数を、前記色検出用光電変換素子から得られる色信号のみで画像データを生成する場合に最適な値に設定し、前記第１の輝度信号の生成前に、撮影感度を決定するために前記第１の輝度信号を構成する色信号のレベルを調整するレベル調整手段を備え、前記レベル調整手段が、前記第２の輝度信号のフィルタ処理後の輝度信号と前記最適な輝度生成係数で生成された前記第１の輝度信号との差が最小となるようなゲインを用いて、前記色信号のレベルを調整する。

本発明の撮像装置は、前記差が最小となるような輝度生成係数を被写体光源毎に記憶する記憶手段を備え、前記第１の輝度信号生成手段が、前記記憶手段に記憶されている被写体光源に応じた前記輝度生成係数を用いて前記第１の輝度信号を生成する。

本発明の撮像装置は、前記差が最小となるようなゲインを被写体光源毎に記憶する記憶手段を備え、前記レベル調整手段が、前記記憶手段に記憶されている被写体光源に応じた前記ゲインを用いて前記色信号のレベルを調整する。

本発明の撮像装置は、前記第１の輝度信号生成手段が、前記所定の輝度生成係数を、前記色検出用光電変換素子から得られる色信号のみで画像データを生成する場合に最適な値に設定し、前記第２の輝度信号のフィルタ処理後の輝度信号と前記第１の輝度信号生成手段で生成される前記第１の輝度信号との差が最小となるように、前記第２の輝度信号を調整する調整手段を備える。

本発明の撮像装置は、前記調整手段が、調整対象となる前記第２の輝度信号に対応する画素位置に前記少なくとも３種類の色検出用光電変換素子の各々から得られる色信号に基づいて補間生成された少なくとも３つの色信号を所定の係数で重み付け加算して得られる調整データを、前記第２の輝度信号に加算して前記調整を行う。

本発明の撮像装置は、前記差が最小となるような前記所定の係数を被写体光源毎に記憶する記憶手段を備え、前記調整手段が、前記記憶手段に記憶されている被写体光源に応じた前記所定の係数を用いて前記第２の輝度信号のレベルを調整する。

本発明の撮像装置は、前記第１の輝度信号生成手段が、前記少なくとも３種類の色信号を所定の輝度生成係数で重み付け加算して前記第１の輝度信号を生成するものであり、前記所定の輝度生成係数を、前記色検出用光電変換素子から得られる色信号のみで画像データを生成する場合に最適な値に設定し、前記補正手段は、前記第２の輝度信号と前記第１の輝度信号生成手段で生成される前記第１の輝度信号との差が最小となるように、前記第２の輝度信号を調整する調整手段である。

本発明の撮像装置は、前記撮像素子が、前記色検出用光電変換素子からなる第１のグループと前記輝度検出用光電変換素子からなる第２のグループとを備え、前記第１のグループに含まれる各光電変換素子は、前記第２のグループに含まれる各光電変換素子の位置を基準にした場合に、前記第２のグループに含まれる各光電変換素子に前記第１のグループに含まれる１つの光電変換素子が隣接するように、前記基準の位置から所定の方向にずれた位置に配置されている。

本発明によれば、輝度ノイズを低減することが可能な撮像装置を提供することができる。

以下、本発明の実施形態について図面を参照して説明する。

（第一実施形態）
図１は、本発明の第一実施形態である撮像装置に搭載される撮像素子の概略平面模式図である。
図１に示す撮像素子１０は、半導体基板上の行方向Ｘとこれに直交する列方向Ｙに正方格子状に配列された多数の光電変換素子（１，２，３）からなる第１のグループと、半導体基板上の行方向Ｘと列方向Ｙに正方格子状に配列された多数の光電変換素子（４）からなる第２のグループとを備える。第１のグループを構成する光電変換素子と第２のグループを構成する光電変換素子との数は同一となっている。

第１のグループに含まれる各光電変換素子は、第２のグループに含まれる各光電変換素子４の位置を基準にした場合に、第２のグループに含まれる各光電変換素子４に第１のグループに含まれる１つの光電変換素子が隣接するように、該基準の位置から所定の方向（図１の例では、斜め左上４５度の方向）にずれた位置に配置されており、全ての光電変換素子がいわゆるハニカム状に配列された構成となっている。

光電変換素子１〜４は、それぞれ同一構造となっており、それぞれの受光面上方に形成されるフィルタによって、それぞれの検出する光の成分が異なるものとなっている。

光電変換素子１は、光の赤色（Ｒ）成分を透過するＲカラーフィルタが受光面上に形成されており、これにより、光のＲ成分を検出する光電変換素子として機能する。光電変換素子２は、光の緑色（Ｇ）成分を透過するＧカラーフィルタが受光面上に形成されており、これにより、光のＧ成分を検出する光電変換素子として機能する。光電変換素子３は、光の青色（Ｂ）成分を透過するＢカラーフィルタが受光面上に形成されており、これにより、光のＢ成分を検出する光電変換素子として機能する。光電変換素子４は、光の輝度成分と相関のある分光特性を持った輝度フィルタが受光面上に形成されており、これにより、光の輝度成分を検出する光電変換素子として機能する。

輝度フィルタは、ＮＤフィルタや、透明フィルタ、白色フィルタ、グレーのフィルタ等が該当するが、光電変換素子４の受光面の上方に何も設けずに光が直接受光面に入射する構成も、輝度フィルタを設けたということができる。

第１のグループの各光電変換素子の受光面上方に形成されたカラーフィルタはベイヤー配列となっている。つまり、第１のグループの各光電変換素子は、光電変換素子１と光電変換素子２とがこの順番でＸ方向に交互に配列されたＲＧ光電変換素子行と、光電変換素子２と光電変換素子３とがこの順番でＸ方向に交互に配列されたＧＢ光電変換素子行とが、Ｙ方向に交互に配列された配置となっている。

以下では、光電変換素子１から得られる赤色成分の撮像信号をＲ信号、光電変換素子２から得られる緑色成分の撮像信号をＧ信号、光電変換素子３から得られる青色成分の撮像信号をＢ信号、光電変換素子４から得られる輝度成分の撮像信号を輝度信号Ｙ_ｗと言う。

図２は、本発明の第一実施形態である撮像装置の概略構成を示すブロック図である。
図２に示す撮像装置は、図１に示した撮像素子１０と、撮像素子１０から出力されるアナログ信号に所定のアナログ信号処理及びデジタル変換処理を行うＡＦＥ１１と、１つの撮像点にＲＧＢ３色の色信号を持たせる同時化処理を行う同時化処理部１２と、輝度信号生成部１３と、色差信号生成部１４と、フィルタ処理部１５と、ハニカム配置となっている画素データを正方配置に変換するハニカム→正方変換部１６とを備える。

ＡＦＥ１１は、Ｒ信号、Ｇ信号、及びＢ信号の各々に一律のゲインを乗じて、各信号のレベルを調整するレベル調整処理も行う。このレベルを調整するためのゲインは、設定された撮影感度（ＩＳＯ）に応じて最適な値が予め決められており、ＡＦＥ１１は、設定されたＩＳＯ感度に応じたゲインを各信号に乗じることで、レベル調整を行う。

同時化処理部１２は、ＡＦＥ１１から出力される撮像信号から、メモリ上の光電変換素子１〜４の各々に対応する画素位置に、該各々からは得られない色信号を、該各々の周囲の光電変換素子から得られた色信号を用いて補間生成する同時化処理を行う。

例えば、光電変換素子１に対応する画素位置には、該光電変換素子１の周囲にある光電変換素子２，３から得られたＧ信号とＢ信号を用いてＧ信号及びＢ信号を補間生成し、光電変換素子２に対応する画素位置には、該光電変換素子２の周囲にある光電変換素子１，３から得られたＲ信号とＢ信号を用いてＲ信号及びＢ信号を補間生成し、光電変換素子３に対応する画素位置には、該光電変換素子３の周囲にある光電変換素子１，２から得られたＲ信号とＧ信号を用いてＲ信号及びＧ信号を補間生成し、光電変換素子４に対応する画素位置には、該光電変換素子４の周囲にある光電変換素子１，２，３から得られたＲ信号とＧ信号とＢ信号を用いてＲ信号、Ｇ信号、及びＢ信号を補間生成する。

輝度信号生成部１３は、第１のグループの各光電変換素子に対応する画素位置に生成されたＲ信号、Ｇ信号、及びＢ信号を、下記式（１）に示すように、所定の係数（α、β、γ）で重み付け加算して、該画素位置に対応する輝度信号Ｙ_ｒｇｂを生成する。
輝度信号Ｙ_ｒｇｂ＝α×Ｒ信号＋β×Ｇ信号＋γ×Ｂ信号・・・（１）

この係数α、β、γは、第１のグループのみから色信号を出力させて、該色信号に基づいて画像データを生成する場合に最適な値が用いられる。第１のグループのみから色信号を出力させて、該色信号に基づいて画像データを生成する場合というのは、ベイヤー配列の公知の単板式撮像素子から得られる信号に基づいて画像データを生成する場合と同じである。つまり、この最適な値とは、ベイヤー配列の公知の単板式撮像素子から得られる信号に基づいて画像データを生成する際にＲ信号、Ｇ信号、及びＢ信号から輝度信号を生成する際に使用する一般的な係数（α＝０．３、β＝０．５９、γ＝０．１１）のことである。

輝度信号生成部１３での輝度信号生成処理により、メモリ上には、図１に示した各光電変換素子に対応する画素位置に図３に示すようなデータが記憶された状態となる。図３に示すように、光電変換素子１，２，３の各々に対応する画素位置には輝度信号生成部１３で生成された輝度信号Ｙ_ｒｇｂが配置され、光電変換素子４に対応する画素位置には該光電変換素子４から得られた信号そのものである輝度信号Ｙ_ｗが配置された状態となっている。

フィルタ処理部１５は、図３に示した各画素位置にある輝度信号に対し、該輝度信号に乗じる係数と該輝度信号に近接する該輝度信号とは異なる種類の輝度信号に乗じる係数の和とが一致するフィルタ処理を行う。このようなフィルタ処理を行うためのフィルタ係数としては例えば図４に示したようなものを用いることができる。

例えば、図３の輝度信号Ｙ_ｗをフィルタ処理対象とした場合は、図４に示すフィルタ係数により、下記式（２）のようなフィルタ演算を行って、輝度信号Ｙ_ｗ’を生成する。この輝度信号Ｙ_ｗ’は、光電変換素子４に対応する画素データを構成するデータの１つとなる。
Ｙ_ｗ’＝（４×Ｙ_ｗ＋１×Ｙ_ｒｇｂ＋１×Ｙ_ｒｇｂ＋１×Ｙ_ｒｇｂ＋１×Ｙ_ｒｇｂ）／（４＋１＋１＋１＋１）＝０．５Ｙ_ｗ＋０．５Ｙ_ｒｇｂ・・・（２）

同様に、図３の輝度信号Ｙ_ｒｇｂをフィルタ処理対象とした場合は、図４に示すフィルタ係数により、下記式（３）のようなフィルタ演算を行って、輝度信号Ｙ_ｒｇｂ’を生成する。この輝度信号Ｙ_ｒｇｂ’は、光電変換素子１，２，３の各々に対応する画素データを構成するデータの１つとなる。
Ｙ_ｒｇｂ’＝（４×Ｙ_ｒｇｂ＋１×Ｙ_ｗ＋１×Ｙ_ｗ＋１×Ｙ_ｗ＋１×Ｙ_ｗ）／（４＋１＋１＋１＋１）＝０．５Ｙ_ｒｇｂ＋０．５Ｙ_ｗ・・・（３）

式（２）、（３）から分かるように、このようなフィルタ処理を行うことで、図１に示す各光電変換素子に対応する画素データを構成する輝度信号を、輝度信号生成部１３によって生成した輝度信号Ｙ_ｒｇｂと光電変換素子４から得られた輝度信号Ｙ_ｗとを１：１の割合で混合したレベルにすることができる。このことを説明したのが図５である。

図５に示すように、フィルタ処理を行う前の状態では、光電変換素子４に対応する輝度信号Ｙ_ｗと光電変換素子１，２，３の各々に対応する輝度信号Ｙ_ｒｇｂとのレベルには差が生じている。フィルタ処理後は、図中の一点鎖線で示したように、各光電変換素子に対応する輝度信号が平均化されるため、光電変換素子４に対応する画素位置と光電変換素子１〜３に対応する画素位置とで輝度レベル差がなくなる。このため、輝度ノイズを低減することができる。

色差信号生成部１４は、光電変換素子１〜３の各々に対応する画素位置に生成されたＲ信号、Ｇ信号、Ｂ信号から色差信号Ｃ_ｒｇｂを生成し、光電変換素子４に対応する画素位置に生成されたＲ信号、Ｇ信号、Ｂ信号から色差信号Ｃ_ｗを生成する。これにより、光電変換素子４に対応する画素位置には、輝度信号Ｙ_ｗ’及び色差信号Ｃ_ｗからなる画素データが存在し、光電変換素子１〜３の各々に対応する画素位置には、輝度信号Ｙ_ｒｇｂ’及び色差信号Ｃ_ｒｇｂからなる画素データが存在することになる。

ハニカム→正方変換部１６は、図１の各光電変換素子に対応する画素位置にある画素データから、各光電変換素子同士の間の領域に画素データを補間する処理を行って、ハニカム状の画素データからなる画像データを、正方格子状の画素データからなる画像データに変換して、解像度向上を図るものである。ここで変換された画像データは、圧縮されて記録メディアに記録されたり、ＲＧＢ信号に変換されて表示装置に表示されたりする。

また、ハニカム→正方変換をフィルタ処理により構成することで、輝度ノイズ低減フィルタとすることも可能である。例えばハニカム状の画素データの隙間に画素データの補間を行って正方格子状の画素データを生成する場合、信号が存在する実画素位置では図４に示すフィルタ処理を行って画素データを生成し、信号が存在していない虚画素位置では、隣接する上下左右の信号を加算平均して画素データを生成することで、実画素位置の画素データ及び虚画素位置の画素データのそれぞれを構成する輝度信号を、輝度信号Ｙｗと輝度信号Ｙ_ｒｇｂとを１：１の割合で混合したレベルにすることが可能となる。これにより、フィルタ回路の削減によるメモリ等のコスト削減効果が期待できる。

以上のように、本実施形態の撮像装置によれば、色成分を検出する光電変換素子１，２，３から得られた色信号から生成する輝度信号Ｙ_ｒｇｂと、輝度成分を検出する光電変換素子４から得られた輝度信号Ｙ_ｗとをそのまま用いて画像データを生成するのではなく、これらを平均化した輝度信号Ｙ_ｗ’及び輝度信号Ｙ_ｒｇｂ’を用いて画像データを生成することができる。このため、光電変換素子１，２，３と光電変換素子４との分光特性の差に起因する輝度ノイズを低減することができる。このような信号処理を採用することで、第１のグループのみから信号を読み出して画像データを生成するときよりも解像度を増大させることができ、且つ、画質も向上させることができる。

尚、以上の説明では、第１のグループに含まれる多数の光電変換素子が、ＲＧＢの３つの異なる色成分を検出する光電変換素子からなるものとしたが、これらの色成分はＲＧＢの原色系に限らず、補色系の色やその他の色であっても良い。又、色成分の数についても、３つに限らず、４つ以上であっても良い。

（第二実施形態）
第一実施形態の撮像装置では、フィルタ処理を行うことにより、輝度レベル差を無くすことが可能である。一方で、輝度の再現性という観点では、フィルタ処理によって得られた輝度信号のレベルが、上記最適な係数で求めた輝度信号Ｙ_ｒｇｂのレベルにできるだけ近いことが好ましい。

これは、輝度信号Ｙ_ｗが撮像素子１０の全光電変換素子のうちの半分を占める光電変換素子４から得られたものであるため、輝度信号Ｙ_ｗの周波数特性（解像感）は輝度信号Ｙ_ｒｇｂよりも良好となるが、輝度再現性は輝度信号Ｙ_ｒｇｂよりも落ちるからである。上記フィルタ処理を行っただけでは、図５に示すように、このフィルタ処理によって得られた輝度信号Ｙ_ｗ’と輝度信号Ｙ_ｒｇｂとの差Ｙ_ｅｒｒが依然として残ってしまう。そこで、この差Ｙ_ｅｒｒを可能な限り小さくすることで、輝度再現性を向上させることが可能となる。

本実施形態の撮像装置では、図２に示した撮像装置の輝度信号生成部１３が輝度信号を生成する際に用いる係数（α、β、γ）を、上記差Ｙ_ｅｒｒが最小となるように最小二乗法等によって予め求めておき、図２に示した撮像装置の輝度信号生成部１３が、この係数を用いて輝度信号Ｙ_ｒｇｂを生成することで、輝度再現性の向上を実現している。例えば、輝度信号生成部１３で生成する輝度信号Ｙ_ｒｇｂのレベルを図５中の破線で示す位置まで低くしておくことで、フィルタ処理後の輝度信号Ｙ_ｗ’を、上記最適な係数で求められた輝度信号Ｙ_ｒｇｂのレベルとほぼ同一にすることができ、この結果、輝度再現性を向上させることができる。上記差Ｙ_ｅｒｒが最小となるような係数（α、β、γ）は、例えば、製品出荷前に、所定の画像を撮影して得られる信号から求めておくことが可能である。

又は、図２に示した撮像装置において、上記係数（α、β、γ）は第一実施形態で説明したように最適な値のままとし、ＡＦＥ１１でのレベル調整時の各信号に乗じるゲインを、上記差Ｙ_ｅｒｒが最小となるような値に変更しておくことでも、フィルタ処理後の輝度信号Ｙ_ｗ’を、上記最適な係数で求められた輝度信号Ｙ_ｒｇｂのレベルに近づけることができ、この結果、輝度再現性を向上させることができる。上記差Ｙ_ｅｒｒが最小となるようなゲインは、例えば、製品出荷前に、所定の画像を撮影して得られる信号から求めておくことが可能である。

尚、図２には図示していないが、本実施形態の撮像装置には、輝度信号生成部１３の前段に、Ｒ信号、Ｇ信号、及びＢ信号の各々にホワイトバランスゲインを乗じてホワイトバランスを補正するホワイトバランス補正部が設けられている。このホワイトバランスゲインは、色信号毎に異なり、又、被写体光源に応じて変化するものである。このため、ホワイトバランス補正部には、被写体光源毎に、異なるホワイトバランスゲインが記憶されている。

差Ｙ_ｅｒｒを最小にするために、係数（α、β、γ）を変更する場合を例にすると、ホワイトバランスゲインが変更されれば、上記差Ｙ_ｅｒｒも当然変化することになり、上記差Ｙ_ｅｒｒが最小となるような係数（α、β、γ）も当然変化する。このため、撮像装置内には、上記差Ｙ_ｅｒｒが最小となるような係数（α、β、γ）を被写体光源毎に記憶しておき、輝度信号生成部１３が、設定された被写体光源に応じた係数を読み出して、輝度信号Ｙ_ｒｇｂの生成を行うことが好ましい。このようにすることで、被写体光源の変化にも対応することができる。

又、差Ｙ_ｅｒｒを最小にするために、ＡＦＥ１１でのゲインを変更する場合を例にすると、ホワイトバランスゲインが変更されれば、上記差Ｙ_ｅｒｒも当然変化することになり、上記差Ｙ_ｅｒｒが最小となるようなゲインも当然変化する。このため、撮像装置内には、上記差Ｙ_ｅｒｒが最小となるようなゲインを被写体光源毎に記憶しておき、輝度信号生成部１３が、設定された被写体光源に応じたゲインを読み出して、輝度信号Ｙ_ｒｇｂの生成を行うことが好ましい。このようにすることで、被写体光源の変化にも対応することができる。

（第三実施形態）
第二実施形態では、輝度信号生成部１３で生成される輝度信号Ｙ_ｒｇｂのレベルを上記係数又はゲインを変えて調整することで、差Ｙ_ｅｒｒを最小にすることを可能にしているが、本実施形態の撮像装置では、上記係数及びゲインは固定とし、輝度信号Ｙ_ｗのレベルを調整することで、差Ｙ_ｅｒｒを最小にするようにしている。

図６は、本発明の第三実施形態である撮像装置の概略構成を示すブロック図である。図６において図２と同様の構成には同一符号を付してある。図６に示す撮像装置は、図２に示す撮像装置にＹ_ｗ調整部１７を追加し、フィルタ処理部１５をフィルタ処理部１５’に変更したものである。

フィルタ処理部１５’は、フィルタ処理部１５とほぼ同様の機能を有しており、フィルタ処理部１５の機能と異なる点は、フィルタ処理対象となる輝度信号Ｙ_ｗが、Ｙ_ｗ調整部１７でレベル調整後の輝度信号Ｙ_ｗであることだけである。

Ｙ_ｗ調整部１７は、上記差Ｙ_ｅｒｒが最小となるように、ＡＦＥ１１から出力された輝度信号Ｙ_ｗのレベルを下記式（４）による演算を行って調整するものである。
調整後の輝度信号Ｙ_ｗ＝調整前の輝度信号Ｙ_ｗ＋ｘＲ信号＋ｙＧ信号＋ｚＢ信号・・・（４）

式（４）において、Ｒ信号、Ｇ信号、及びＢ信号は、同時化処理部１２によって調整対象となる輝度信号Ｙ_ｗに対応する画素位置に補間生成された信号である。又、ｘ、ｙ、ｚは重み付け係数である。

上記重み付け係数を、所定の画像を撮影したときに得られる信号から、レベル調整後の輝度信号Ｙ_ｗのフィルタ処理後の輝度信号Ｙ_ｗ’と輝度信号Ｙ_ｒｇｂとの差が最小となるように予め求めおき、この係数を式（４）に代入して輝度信号Ｙ_ｗの調整を行う。Ｙ_ｒｇｂを構成するＲ，Ｇ，Ｂ信号によってＹ_ｗを補正することで、Ｙ_ｒｇｂを構成するＲ，Ｇ，Ｂ信号によってＹ_ｒｇｂを補正することと同等の効果が期待できる。

このように、輝度信号Ｙ_ｗのレベルを事前に調整しておくことでも、輝度再現性を向上させることができる。

本実施形態の撮像装置においても同様に、ホワイトバランス補正部が設けられている。つまり、ホワイトバランスゲインが変更されれば、上記差Ｙ_ｅｒｒも当然変化することになり、上記差Ｙ_ｅｒｒが最小となるような係数（ｘ、ｙ、ｚ）も当然変化する。このため、撮像装置内には、上記差Ｙ_ｅｒｒが最小となるような係数（ｘ、ｙ、ｚ）を被写体光源毎に記憶しておき、Ｙ_ｗ調整部１７が、設定された被写体光源に応じた係数を読み出して、輝度信号Ｙ_ｗの調整を行うことが好ましい。このようにすることで、被写体光源の変化にも対応することができる。

（第四実施形態）
第一〜第三実施形態では、フィルタ処理を行うことを前提にしているが、このフィルタ処理を省略しても、輝度信号Ｙ_ｒｇｂと輝度信号Ｙ_ｗのレベル差を少なくして、輝度ノイズ及び輝度再現性を向上させることが可能である。この場合の構成を以下で説明する。

図７は、本発明の第四実施形態である撮像装置の概略構成を示すブロック図である。図７において図６と同様の構成には同一符号を付してある。図７に示す撮像装置は、図６に示す撮像装置のＹ_ｗ調整部１７をＹ_ｗ調整部１８に変更し、フィルタ処理部１５’を削除したものである。

Ｙ_ｗ調整部１８は、ＡＦＥ１１から出力された輝度信号Ｙ_ｗと輝度信号生成部１３から出力された該輝度信号Ｙ_ｗに近接する輝度信号Ｙ_ｒｇｂとの差（差Ｓとする）が最小となるように、ＡＦＥ１１から出力された輝度信号Ｙ_ｗのレベルを下記式（５）による演算を行って調整するものである。
調整後の輝度信号Ｙ_ｗ＝調整前の輝度信号Ｙ_ｗ＋ｘＲ信号＋ｙＧ信号＋ｚＢ信号・・・（５）

式（５）において、Ｒ信号、Ｇ信号、及びＢ信号は、同時化処理部１２によって調整対象となる輝度信号Ｙ_ｗに対応する画素位置に補間生成された信号である。又、ｘ、ｙ、ｚは重み付け係数である。

上記重み付け係数を、所定の画像を撮影したときに得られる信号から、上記差Ｓが最小となるように予め求めおき、この係数を式（５）に代入して輝度信号Ｙ_ｗの調整を行う。

色差信号生成部１４は、輝度信号Ｙ_ｒｇｂとＲ信号、Ｇ信号、Ｂ信号とから色差信号Ｃｒｇｂを生成し、調整後の輝度信号Ｙ_ｗとＲ信号、Ｇ信号、Ｂ信号とから色差信号Ｃｗを生成して出力する。尚、色差信号Ｃｗについては、色差信号Ｃｒｇｂを用いた信号補間処理により生成しても良い。

このように、フィルタ処理を行わずに、輝度信号Ｙ_ｗのレベルを事前に調整しておくだけでも、輝度ノイズの低減及び輝度再現性の向上を実現することができる。また、本実施形態の撮像装置によれば、フィルタ処理による解像低下を防ぐことができるという利点がある。

本実施形態の撮像装置においても同様に、ホワイトバランス補正部が設けられている。つまり、ホワイトバランスゲインが変更されれば、上記差Ｓも当然変化することになり、上記差Ｓが最小となるような係数（ｘ、ｙ、ｚ）も当然変化する。このため、撮像装置内には、上記差Ｓが最小となるような係数（ｘ、ｙ、ｚ）を被写体光源毎に記憶しておき、Ｙ_ｗ調整部１８が、設定された被写体光源に応じた係数を読み出して、輝度信号Ｙ_ｗの調整を行うことが好ましい。このようにすることで、被写体光源の変化にも対応することができる。

本発明の第一実施形態である撮像装置に搭載される撮像素子の概略平面模式図本発明の第一実施形態である撮像装置の概略構成を示すブロック図生成された輝度信号の位置関係を示す図フィルタ係数の一例を示す図フィルタ処理の効果を説明するための図本発明の第三実施形態である撮像装置の概略構成を示すブロック図本発明の第四実施形態である撮像装置の概略構成を示すブロック図

符号の説明

１〜３色検出用光電変換素子
４輝度検出用光電変換素子
１３輝度信号生成部
１５フィルタ処理部

Claims

それぞれ異なる光の色成分を検出する少なくとも３種類の色検出用光電変換素子と、光の輝度成分を検出する輝度検出用光電変換素子とを含む撮像素子を有する撮像装置であって、
前記少なくとも３種類の色検出用光電変換素子の各々から得られる色信号から、前記色検出用光電変換素子に対応する第１の輝度信号を生成する第１の輝度信号生成手段と、
各光電変換素子に対応する画素データを構成する輝度信号を生成するために、前記第１の輝度信号と前記輝度検出用光電変換素子から得られた前記輝度検出用光電変換素子に対応する第２の輝度信号とのうち少なくとも前記第２の輝度信号を、前記色信号に基づいて補正する補正手段とを備える撮像装置。
請求項１記載の撮像装置であって、
前記補正手段が、前記第２の輝度信号と前記第１の輝度信号の各々に対してフィルタ処理を行うフィルタ処理手段であり、
前記フィルタ処理手段は、処理対象となる輝度信号に対し、前記処理対象となる輝度信号に乗じる係数と前記処理対象となる輝度信号に近接する当該輝度信号とは異なる種類の輝度信号に乗じる係数の和とが一致するフィルタ処理を行う撮像装置。
請求項２記載の撮像装置であって、
前記第１の輝度信号生成手段が、前記少なくとも３種類の色信号を所定の輝度生成係数で重み付け加算して前記第１の輝度信号を生成するものであり、
前記第１の輝度信号生成手段が、前記第２の輝度信号のフィルタ処理後の輝度信号と、前記所定の輝度生成係数を前記色検出用光電変換素子から得られる色信号のみで画像データを生成する場合に最適な値としたときの前記第１の輝度信号との差が最小となるような輝度生成係数で、前記第１の輝度信号を生成する撮像装置。
請求項２記載の撮像装置であって、
前記第１の輝度信号生成手段が、前記所定の輝度生成係数を、前記色検出用光電変換素子から得られる色信号のみで画像データを生成する場合に最適な値に設定し、
前記第１の輝度信号の生成前に、撮影感度を決定するために前記第１の輝度信号を構成する色信号のレベルを調整するレベル調整手段を備え、
前記レベル調整手段が、前記第２の輝度信号のフィルタ処理後の輝度信号と前記最適な輝度生成係数で生成された前記第１の輝度信号との差が最小となるようなゲインを用いて、前記色信号のレベルを調整する撮像装置。
請求項３記載の撮像装置であって、
前記差が最小となるような輝度生成係数を被写体光源毎に記憶する記憶手段を備え、
前記第１の輝度信号生成手段が、前記記憶手段に記憶されている被写体光源に応じた前記輝度生成係数を用いて前記第１の輝度信号を生成する撮像装置。
請求項４記載の撮像装置であって、
前記差が最小となるようなゲインを被写体光源毎に記憶する記憶手段を備え、
前記レベル調整手段が、前記記憶手段に記憶されている被写体光源に応じた前記ゲインを用いて前記色信号のレベルを調整する撮像装置。
請求項２記載の撮像装置であって、
前記第１の輝度信号生成手段が、前記所定の輝度生成係数を、前記色検出用光電変換素子から得られる色信号のみで画像データを生成する場合に最適な値に設定し、
前記第２の輝度信号のフィルタ処理後の輝度信号と前記第１の輝度信号生成手段で生成される前記第１の輝度信号との差が最小となるように、前記第２の輝度信号を調整する調整手段を備える撮像装置。
請求項７記載の撮像装置であって、
前記調整手段が、調整対象となる前記第２の輝度信号に対応する画素位置に前記少なくとも３種類の色検出用光電変換素子の各々から得られる色信号に基づいて補間生成された少なくとも３つの色信号を所定の係数で重み付け加算して得られる調整データを、前記第２の輝度信号に加算して前記調整を行う撮像装置。
請求項８記載の撮像装置であって、
前記差が最小となるような前記所定の係数を被写体光源毎に記憶する記憶手段を備え、
前記調整手段が、前記記憶手段に記憶されている被写体光源に応じた前記所定の係数を用いて前記第２の輝度信号のレベルを調整する撮像装置。
請求項１記載の撮像装置であって、
前記第１の輝度信号生成手段が、前記少なくとも３種類の色信号を所定の輝度生成係数で重み付け加算して前記第１の輝度信号を生成するものであり、前記所定の輝度生成係数を、前記色検出用光電変換素子から得られる色信号のみで画像データを生成する場合に最適な値に設定し、
前記補正手段は、前記第２の輝度信号と前記第１の輝度信号生成手段で生成される前記第１の輝度信号との差が最小となるように、前記第２の輝度信号を調整する調整手段である撮像装置。
請求項１０記載の撮像装置であって、
前記調整手段が、調整対象となる前記第２の輝度信号に対応する画素位置に前記少なくとも３種類の色検出用光電変換素子の各々から得られる色信号に基づいて補間生成された少なくとも３つの色信号を所定の係数で重み付け加算して得られる調整データを、前記第２の輝度信号に加算して前記調整を行う撮像装置。
請求項１１記載の撮像装置であって、
前記差が最小となるような前記所定の係数を被写体光源毎に記憶する記憶手段を備え、
前記調整手段が、前記記憶手段に記憶されている被写体光源に応じた前記所定の係数を用いて前記第２の輝度信号のレベルを調整する撮像装置。
請求項１〜１２のいずれか１項記載の撮像装置であって、
前記撮像素子が、前記色検出用光電変換素子からなる第１のグループと前記輝度検出用光電変換素子からなる第２のグループとを備え、
前記第１のグループに含まれる各光電変換素子は、前記第２のグループに含まれる各光電変換素子の位置を基準にした場合に、前記第２のグループに含まれる各光電変換素子に前記第１のグループに含まれる１つの光電変換素子が隣接するように、前記基準の位置から所定の方向にずれた位置に配置されている撮像装置。