(第1の実施形態)
以下、本発明の第1の実施形態について図面を参照して説明する。図1は、本実施形態における撮像素子100の断面を示した断面図である。図示する例では、撮像素子100は、第1の基板101(第1基板)と、第2の基板102(第2基板)と、補色系カラーフィルタ103と、原色系カラーフィルタ104と、接続部105と、信号処理部106とを備えている。第1の基板101は、シリコンチップ上に形成されており複数の第1の画素を備えている。第2の基板102は、シリコンチップ上に形成されており複数の第2の画素を備えている。なお、補色系カラーフィルタ103は、RGB表色系に対するCMY補色系のカラーフィルタである。
第1の基板101が備える複数の第1の画素と、第2の基板102が備える複数の第2の画素は、それぞれ光電変換素子(受光素子)と信号読み出し回路とを備えている。光電変換素子は、露光量に応じた信号電荷を読み出し回路に対して出力する。信号読み出し回路は、信号電荷を電気信号として出力する。第1の基板101の受光面側には、補色系カラーフィルタ103が形成されている。補色系カラーフィルタ103の配列については後述する。第2の基板102の受光面側には、原色系カラーフィルタ104が形成されている。原色系カラーフィルタ104の配列については後述する。
第1の基板101と第2の基板102とは段積み(スタック)されている。図示する例では、第1の基板101の受光面とは反対側に、第2の基板102が配置されている。第2の基板102の受光面は、第1の基板101が存在する側である。また、第1の基板101と第2の基板102との間には接続部105が構成されており、第1の基板101と第2の基板102とは接続部105を介して電気的に接続されている。すなわち、第1の基板101と第2の基板102とは接続部105を介して貼り合わせている。
第1の基板101が備えている第1の画素の各々は第1の信号を取得する。第2の基板102が備えている第2の画素の各々は第2の信号を取得する。第1の基板101で取得した第1の信号と、第2の基板102で取得した第2の信号とは、接続部105を介して信号処理部106に出力される。信号処理部106は、第1の基板101と第2の基板102とのいずれかに設けるようにしてもよく、第1の基板101および第2の基板102以外に設けるようにしてもよい。信号処理部106は、第1の信号と第2の信号とを用いて、第1の画素の各々の画素信号を生成する。すなわち、信号処理部106は、RGB(赤色、緑色、青色)の色情報を有するフルカラー画像を生成する。
ここで、第1の基板101は裏面照射型の撮像基板であり、第1の基板101の厚さは数um程度と薄い。そのために、第1の基板101の受光面側から入射した光の一部は透過し、第2の基板102の受光面側に入射する。なお、シリコンの深さごとの光に対する吸収率は波長によって異なる。シリコンの浅い部分では、波長が短い光の吸収率は高く、波長が長い光の吸収率は低い。すなわち、厚さが薄い第1の基板101では、波長が短い光を吸収するが、波長が長い光を吸収しない。例えば、本実施形態では、第1の基板101の厚みを約3μmとする。この場合、500nm以上の波長の光(緑色(G)の光のうち高波長側の光、赤色(R)の光、および赤外(IR)光)は一部吸収されずに、第1の基板101を透過する。また、第2の基板102は、表面照射型の撮像基板であり、第1の基板101よりも厚い。そのために、第2の基板102では、第1の基板101を透過した透過光を検出する。
図2は、本実施形態における補色系カラーフィルタ103の配列と、原色系カラーフィルタ104の配列とを示した概略図である。図示する例では、第1の基板101には、4行4列の二次元状に規則的に配列された計16個の第1の画素1011−1〜1011−16(第1受光素子)が含まれている。また、第2の基板102には、4行4列の二次元状に規則的に配列された計16個の第2の画素1021−1〜1021−16(第2受光素子)が含まれている。なお、第1の基板101に含まれる第1の画素1011と第2の基板102に含まれる第2の画素1021との数および配列は図示する例に限らず、どのような数および配列でもよい。
第1の基板101に形成された補色系カラーフィルタ103は、マゼンタ色(M(=B+R))の光を透過するカラーフィルタMと、黄色(Y(=G+R))の光を透過するカラーフィルタYとの複数のカラーフィルタ(第1カラーフィルタ)が配列されたフィルタである。第1の画素1011−1,1011−3,1011−6,1011−8,1011−9,1011−11,1011−14,1011−16には、黄色(Y)の光を透過するカラーフィルタYが形成されている。第1の画素1011−2,1011−4,1011−5,1011−7,1011−10,1011−12,1011−13,1011−15にはマゼンタ色(M)の光を透過するカラーフィルタMが形成されている。
また、縦と横に隣接する4つの第1の画素1011を1組の単位画素領域121とする。例えば、1組の単位画素領域121は、マゼンタ色の光を透過するカラーフィルタMが形成された2つの第1の画素1011−2,1011−5と、黄色の光を透過するカラーフィルタYが形成された2つの第1の画素1011−1,1011−6とで構成されている。
第2の基板102に形成された原色系カラーフィルタ104は、赤色(R)の光を透過するカラーフィルタR(第2カラーフィルタ)が複数配列されたフィルタである。第2の画素1021−1〜1021−16には赤色(R)の光を透過するカラーフィルタRが形成されている。
また、縦と横に隣接する4つの第2の画素1021を1組の単位画素領域122とする。例えば、1組の単位画素領域122は、赤色の光を透過するカラーフィルタRが形成された4つの画素1021−1,1021−2,1021−5,1021−6で構成されている。
また、第1の基板101に含まれる第1の画素1011−1〜1011−16と、第2の基板102に含まれる第2の画素1021−1〜1021−16とは、1対1の対応関係となるように配置されている。例えば、第1の画素1011−1を透過した光は、対応する第2の画素1021−1のみに照射されるように、第1の画素1011−1と第2の画素1021−1とは配置されている。また、第1の画素1011−2を透過した光は、対応する第2の画素1021−2のみに照射されるように、第1の画素1011−2と第2の画素1021−2とは配置されている。同様に、第1の画素1011−3〜1011−16と第2の画素1021−3〜1021−16とについても図示するとおり配置されている。
上述したとおり、第1の基板101は、500nm以上の波長の光(緑色(G)の光のうち高波長側の光、赤色(R)の光、および赤外(IR)光)を透過する。また、第1の基板101を透過した500nm以上の波長の光は第2の基板102に照射される。すなわち、赤色(R)(第2波長帯域)の光と、緑色(G)(第3波長帯域)の光と、青色(B)(第3波長帯域)の光のうち、赤色(R)の光が第1の基板101を最も透過しやすい。従って、本実施形態では図2に示すように、第2の基板102に形成する原色系カラーフィルタ104には、赤色(R)の光を透過するカラーフィルタRのみを用いる。また、第1の基板101に形成する補色系カラーフィルタ103には、第2の基板102に赤色(R)の光を透過させるために、マゼンタ色(M(=B+R))(第1波長帯域)の光を透過するカラーフィルタMと、黄色(Y(=G+R))(第1波長帯域)の光を透過するカラーフィルタYとを用いる。
この構成により、第1の基板101で取得する第1の信号は、マゼンタ色(M)の光の強度に応じた信号Mと、黄色(Y)の光の高度に応じた信号Yである。また、第2の基板102で取得する第2の信号は、赤色(R)の光の強度に応じた信号Rである。信号処理部106は、この第1の信号と第2の信号とを用いて、各第1の画素1011のRGBの色情報を精度良く算出する。なお、信号処理部106によるRGBの色情報の算出方法の詳細については後述する。
次に、撮像素子100の動作について説明する。本実施形態では、撮像素子100をデジタルカメラに用いた場合について説明する。撮像素子100には、赤外光(IR)カットフィルタによって赤外光がカットされた光が照射される。
第1の基板101の受光面側に光が入射される。第1の画素1011−1〜1011−16の各々は、補色系カラーフィルタ103を透過した光を検出し、第1の信号を出力する。具体的には、黄色(Y)の光を透過するカラーフィルタYが形成された第1の画素1011−1,1011−3,1011−6,1011−8,1011−9,1011−11,1011−14,1011−16は、黄色(Y)の光の強度に応じた第1の信号を出力する。また、マゼンタ色(M)の光を透過するカラーフィルタMが形成された第1の画素1011−2,1011−4,1011−5,1011−7,1011−10,1011−12,1011−13,1011−15は、マゼンタ色(M)の光の強度に応じた第1の信号を出力する。
また、第2の基板102の第2の画素1021−1〜1021−16の各々は、補色系カラーフィルタ103と、第1の基板101と、原色系カラーフィルタ104とを透過した光を検出し、第2の信号を出力する。具体的には、赤色(R)の光を透過するカラーフィルタRが形成された第2の画素1021−1〜1021−16の各々は、赤色(R)の光の強度に応じた第2の信号を出力する。
第1の画素1011−1〜1011−16が出力した第1の信号と、第2の画素1021−1〜1021−16が出力した第2の信号は、それぞれ接続部105を介して、信号処理部106に出力される。信号処理部106は、第1の信号と第2の信号とを用いて、各第1の画素1011−1〜1011−16のRGBの色情報を有するフルカラー画像を生成する。
次に、第1の画素1011−1〜1011−16が出力する第1の信号と、第2の画素1021−1〜1021−16が出力する第2の信号とについて説明する。図3は、本実施形態における第1の画素1011−1〜1011−16が出力する第1の信号と、第2の画素1021−1〜1021−16が出力する第2の信号とを示した概略図である。
図示する例では、第1の基板101には、第1の画素1011−1,1011−2,1011−5,1011−6で構成される単位画素領域121が示されている。また、第2の基板102には、第2の画素1021−1,1021−2,1021−5,1021−6で構成される単位画素領域122が示されている。
上述したとおり、第1の画素1011−1,1011−3,1011−6,1011−8,1011−9,1011−11,1011−14,1011−16には、黄色(Y)の光を透過するカラーフィルタYが形成されている。黄色(Y)は青色(B)の補色(=緑色(G)+赤色(R))である。ここで、第1の画素1011−1,1011−3,1011−6,1011−8,1011−9,1011−11,1011−14,1011−16が出力する第1の信号を、αG+βRとする。Gは緑色の光の強度に応じた値である。Rは赤色の光の強度に応じた値である。αおよびβの値は、カラーフィルタYの製造時に決まる値であり、固定値である。
また、上述したとおり、第1の画素1011−2,1011−4,1011−5,1011−7,1011−10,1011−12,1011−13,1011−15には、マゼンタ色(M)の光を透過するカラーフィルタMが形成されている。マゼンタ色(M)は緑色(G)の補色(=青色(B)+赤色(R))である。ここで、第1の画素1011−2,1011−4,1011−5,1011−7,1011−10,1011−12,1011−13,1011−15が出力する第1の信号を、δB+εRとする。Bは青色の光の強度に応じた値である。Rは赤色の光の強度に応じた値である。δおよびεの値は、カラーフィルタMの製造時に決まる値であり、固定値である。
また、上述したとおり、第2の画素1021−1〜1021−16には、赤色(R)の光を透過するカラーフィルタRが形成されている。第2の画素1021−1,1021−3,1021−6,1021−8,1021−9,1021−11,1021−14,1021−16には、第1の画素1011−1,1011−3,1011−6,1011−8,1011−9,1011−11,1011−14,1011−16を透過した光が入射される。すなわち、第2の画素1021−1,1021−3,1021−6,1021−8,1021−9,1021−11,1021−14,1021−16には、カラーフィルタYと、第1の基板101と、カラーフィルタRとを透過した光が入射される。ここで、第2の画素1021−1,1021−3,1021−6,1021−8,1021−9,1021−11,1021−14,1021−16が出力する第2の信号を、γRとする。Rは赤色の光の強度に応じた値である。γの値は、カラーフィルタRの製造時に決まる値であり、固定値である。
また、第1の基板101にてカラーフィルタYが形成された第1の画素1011−2,1011−4,1011−5,1011−7,1011−10,1011−12,1011−13,1011−15が透過する赤色の光に着目すると、βとγとの比は製造時に決まるパラメータである。例えば、カラーフィルタYおよびカラーフィルタRとの透過特性や、第1の基板101および第2の基板102の厚みなどに基づいて決まる第1の基板101と第2の基板102の分光感度によって、βとγとの比は決まる。
第2の画素1021−2,1021−5には、第1の画素1011−2,1011−5を透過した光が入射される。すなわち、第2の画素1021−2,1021−5には、カラーフィルタMと、第1の基板101と、カラーフィルタRとを透過した光が入射される。ここで、第2の画素1021−2,1021−5が出力する第2の信号を、ηRとする。Rは赤色の光の強度に応じた値である。ηの値は、カラーフィルタRの製造時に決まる値であり、固定値である。
また、第1の基板101にてカラーフィルタMが形成された第1の画素1011−2,1011−4,1011−5,1011−7,1011−10,1011−12,1011−13,1011−15が透過する赤色の光に着目すると、εとηとの比は製造時に決まるパラメータである。例えば、カラーフィルタMおよびカラーフィルタRとの透過特性や、第1の基板101および第2の基板102の厚みなどに基づいて決まる第1の基板101と第2の基板102の分光感度によって、εとηとの比は決まる。
次に、信号処理部106によるRGBの色情報の算出方法の詳細について説明する。信号処理部106は、第1の基板101の第1の画素1011−1〜1011−16が出力する第1の信号と、第2の基板102の第2の画素1021−1〜1021−16が出力する第2の信号とを用いて、各第1の画素1011−1〜1011−16のRGBの色情報を算出する。なお、信号処理部106は、以下に示す第1のステップと第2のステップとの2つのステップを実行することで、各第1の画素1011−1〜1011−16のRGBの色情報を算出する。
<第1のステップ>
第1のステップでは、信号処理部106は、補色系カラーフィルタ103を透過した第1の信号と、原色系カラーフィルタ104を透過した第2の信号とを用いて演算処理を行い、各第1の画素1011−1〜1011−16において、RGBの色情報のうち2色の色情報を分離して算出する。
例えば、黄色(Y(=G+R))の光を透過するカラーフィルタYが形成された第1の画素1011−1が出力した第1の信号「αG+βR」と、赤色の光を透過するカラーフィルタRが形成された第2の画素1021−1が出力した第2の信号「γR」とを用いて演算処理を行い、第1の画素1011−1における「G」の色情報と「R」の色情報とを算出する。
具体的には、α、β、γの値は既知であり、βとγの比率も既知であるため、第2の信号「γR」を用いて、第1の信号「αG+βR」のうち、「βR」を算出する。これによって、純粋な「R」の色情報を算出することができる。続いて、第1の信号「αG+βR」から、算出した「βR」を差分して、「αG」を算出する。これによって、純粋な「G」の色情報を算出することができる。すなわち、上述した演算方法により、カラーフィルタYが設けられた第1の画素1011−1における純粋な「G」と「R」の色情報をそれぞれ算出することができる。なお、第1の画素1011−1,1011−3,1011−6,1011−8,1011−9,1011−11,1011−14,1011−16についても同様の処理を行い、純粋な「G」と「R」の色情報をそれぞれ算出する。
また、例えば、マゼンタ色(M(=B+R))の光を透過するカラーフィルタMが形成された第1の画素1011−2が出力した第1の信号「δB+εR」と、赤色の光を透過するカラーフィルタRが形成された第2の画素1021−2が出力した第2の信号「ηR」を用いて演算処理を行い、第1の画素1011−2における「B」の色情報と「R」の色情報とを算出する。
具体的には、δ、ε、ηの値は既知であり、εとηの比率も既知であるため、第2の信号「ηR」を用いて、第1の信号「δB+εR」のうち、「εR」を算出する。これによって、純粋な「R」の色情報を算出することができる。続いて、第1の信号「δB+εR」から、算出した「εR」を差分して、「δB」を算出する。これによって、純粋な「B」の色情報を算出することができる。すなわち、上述した演算方法により、カラーフィルタMが設けられた第1の画素1011−2における純粋な「B」と「R」の色情報をそれぞれ算出することができる。なお、第1の画素1011−2,1011−4,1011−5,1011−7,1011−10,1011−12,1011−13,1011−15についても同様の処理を行い、純粋な「B」と「R」の色情報をそれぞれ算出する。
上述した第1のステップの演算を行うことにより、各第1の画素1011−1〜1011−16において、RGBの色情報のうち、2色の色情報を算出することができる。図4は、本実施形態において、第1のステップの演算を行った結果を示した概略図である。図中の「,」は、補色系カラーフィルタ103が配置された第1の画素1011−1〜1011−16において、RGBの色情報のうち2色の色情報を分離して算出したことを示している。
第1のステップの演算を行うことにより、図示するとおり、カラーフィルタYが形成された第1の画素1011−1,1011−3,1011−6,1011−8,1011−9,1011−11,1011−14,1011−16において、それぞれ「αG,βR」の色情報を得ることができる。なお、上述したとおり、第2の画素1021−1,1021−3,1021−6,1021−8,1021−9,1021−11,1021−14,1021−16が得る色情報は、それぞれ「γR」である。
また、第1のステップの演算を行うことにより、図示するとおり、カラーフィルタMが形成された第1の画素1011−2,1011−4,1011−5,1011−7,1011−10,1011−12,1011−13,1011−15において、それぞれ「δB+εR」の色情報を得ることができる。なお、上述したとおり、第2の画素1021−2,1021−4,1021−5,1021−7,1021−10,1021−12,1021−13,1021−15が得る色情報は、それぞれ「ηR」である。
<第2のステップ>
第2のステップでは、各第1の画素1011−1〜1011−16において、第1のステップで算出した2色の色情報を用いて、残り1色の色情報を算出する。残り1色の色情報は、従来知られているデモザイキング処理と同様に、隣接または近傍に配置されている第1の画素1011−1〜1011−16の色情報を用いて線形補間等を行い、算出する。
例えば、黄色(Y(=G+R))の光を透過するカラーフィルタYが形成された第1の画素1011−6では、「B」の色情報が欠けている。図4において、第1の画素1011−6に隣接する第1の画素1011−1,1011−2,1011−3,1011−5,1011−7,1011−9,1011−10,1011−11に着目すると、第1の画素1011−2,1011−5,1011−7,1011−10において、「B」の色情報を得ている。
信号処理部106は、この4つの第1の画素1011−2,1011−5,1011−7,1011−10の「B」の色情報を用いて補間処理を行い、第1の画素1011−6における「B」の色情報を算出する。例えば、信号処理部106は、従来知られている原色系のデモザイキング処理と同様に線形補間等を用いて欠落した色情報を算出する。なお、第1の画素1011−1,1011−3,1011−8,1011−9,1011−11,1011−14,1011−16についても同様の処理を行い、「B」の色情報をそれぞれ算出する。
また、例えば、マゼンタ色(M(=B+R))の光を透過するカラーフィルタMが形成された第1の画素1011−10では、「G」の色情報が欠けている。図4において、第1の画素1011−10に隣接する第1の画素1011−5,1011−6,1011−7,1011−9,1011−11,1011−13,1011−14,1011−15に着目すると、第1の画素1011−6,1011−9,1011−11,1011−14において、「G」の色情報を得ている。
信号処理部106は、この4つの第1の画素1011−6,1011−9,1011−11,1011−14の「G」の色情報を用いて補間処理を行い、第1の画素1011−10における「G」の色情報を算出する。例えば、信号処理部106は、従来知られている原色系のデモザイキング処理と同様に線形補間等を用いて欠落した色情報を算出する。なお、第1の画素1011−2,1011−4,1011−5,1011−7,1011−12,1011−13,1011−15についても同様の処理を行い、「G」の色情報をそれぞれ算出する。
上述した第1のステップと第2のステップを実行することにより、信号処理部106は、各第1の画素1011−1〜1011−16のRGBの色情報を算出することができる。
例えば、色再現性が良いと言われている従来知られている原色系のベイヤー配列のカラーフィルタを備えた撮像素子では、デモザイキングを行う際に「B」の色情報を取得する画素に着目した場合、隣接する8つの画素のうち、「G」の色情報を取得する画素は4画素であり、「R」の色情報を取得する画素は4画素である。また、「G」の色情報を取得する画素に着目した場合、隣接する8つの画素のうち、「B」の色情報を取得する画素は2画素であり、「R」の色情報を取得する画素は2画素である。また、「R」の色情報を取得する画素に着目した場合、隣接する8つの画素のうち、「B」の色情報を取得する画素は4画素であり、「G」の色情報を取得する画素は4画素である。
一方、本実施形態では、第1の画素1011の全てが「R」の色情報を取得している。また、デモザイキング処理を行う際に、「Y(=G+R))」の色情報を取得する第1の画素1011に着目した場合、隣接する8つの画素のうち、「B」の色情報を取得する画素は4画素である。また、「M(=B+R)」の色情報を取得する第1の画素1011に着目した場合、隣接する8つの画素のうち「G」の色情報を取得する画素は4画素である。
このように、本実施形態では、デモザイキング処理を行う際に、欠けている色情報を取得している隣接画素が増加するために、色補間精度が向上する。また、第1の画素1011には補色系カラーフィルタ103が形成されているため、第1の画素1011の感度は高感度である。従って、本実施形態の撮像素子100は、感度および色再現性の精度を高くすることができる。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。本実施形態と第1の実施形態とで異なる点は、補色系カラーフィルタの配列と、原色系カラーフィルタの配列である。なお、本実施形態における撮像素子200のその他の構成は、第1の実施形態における撮像素子100の構成と同様である。
図5は、本実施形態における補色系カラーフィルタ203の配列と、原色系カラーフィルタ204の配列とを示した概略図である。図示する例では、第1の基板201には、4行4列の二次元状に配列された計16個の第1の画素2011−1〜2011−16が含まれている。また、第2の基板202には、4行4列の二次元状に配列された計16個の第2の画素2021−1〜2021−16が含まれている。なお、第1の基板201に含まれる第1の画素2011と第2の基板202に含まれる第2の画素2021との数および配列は図示する例に限らず、どのような数および配列でもよい。
第1の基板201に形成された補色系カラーフィルタ203は、マゼンタ色(M(=B+R))の光を透過するカラーフィルタMと、黄色(Y(=G+R))の光を透過するカラーフィルタYと、シアン色(C(=B+G))の光を透過するカラーフィルタCとが配列されたフィルタである。第1の画素2011−1,2011−3,2011−9,2011−11(第1受光素子)には、黄色(Y)(第1波長帯域)の光を透過するカラーフィルタY(第1カラーフィルタ)が形成されている。第1の画素2011−2,2011−4,2011−5,2011−7,2011−10,2011−12,2011−13,2011−15(第1受光素子)にはマゼンタ色(M)(第1波長帯域)の光を透過するカラーフィルタM(第1カラーフィルタ)が形成されている。第1の画素2011−6,2011−8,2011−14,2011−16(第3受光素子)にはシアン色(C)(第4波長帯域)の光を透過するカラーフィルタC(第3カラーフィルタ)が形成されている。
また、縦と横に隣接する4つの第1の画素2011を1組の単位画素領域221とする。例えば、1組の単位画素領域221は、マゼンタ色の光を透過するカラーフィルタMが形成された2つの第1の画素2011−2,2011−5と、黄色の光を透過するカラーフィルタYが形成された1つの第1の画素2011−1と、シアン色の光を透過するカラーフィルタCが形成された1つの第1の画素2011−6とで構成されている。
第2の基板202に形成された原色系カラーフィルタ204は、赤色(R)の光を透過するカラーフィルタRと、緑色(G)の光を透過するカラーフィルタGとが配列されたフィルタである。第2の画素2021−1〜2021−5,2021−7,2021−9〜2021−13,2021−15(第2受光素子)には赤色(R)(第2波長帯域)の光を透過するカラーフィルタR(第2カラーフィルタ)が形成されている。第2の画素2021−6,2021−8,2021−14,2021−16(第4受光素子)には緑色(G)(第5波長帯域)の光を透過するカラーフィルタG(第4カラーフィルタ)が形成されている。
また、縦と横に隣接する4つの第2の画素2021を1組の単位画素領域222とする。例えば、1組の単位画素領域222は、赤色の光を透過するカラーフィルタRが形成された3つの第2の画素2021−1,2021−2,2021−5と、緑色の光を透過するカラーフィルタGが形成された1つの第2の画素2021−6とで構成されている。
また、第1の基板201に含まれる第1の画素2011−1〜2011−16と、第2の基板202に含まれる第2の画素2021−1〜2021−16とは、1対1の対応関係となるように配置されている。例えば、第1の画素2011−1を透過した光は、対応する第2の画素2021−1のみに照射されるように、第1の画素2011−1と第2の画素2021−1とは配置されている。また、第1の画素2011−2を透過した光は、対応する第2の画素2021−2のみに照射されるように、第1の画素2011−2と第2の画素2021−2とは配置されている。同様に、第1の画素2011−3〜2011−16と第2の画素2021−3〜2021−16とについても図示するとおり配置されている。
上述したとおり、シアン色(C)の光を透過するカラーフィルタCが配置された第1の画素2011−6,2011−8,2011−14,2011−16に対応する第2の画素2021−6,2021−8,2021−14,2021−16には、緑色(G)の光を透過するカラーフィルタGが形成されている。これは、シアン色(C(=B+G))の光を透過するカラーフィルタCは、赤色(R)の光を透過せず、青色(B)の光と緑色(G)の光を透過するためである。
次に、撮像素子200の動作について説明する。本実施形態では、撮像素子200をデジタルカメラに用いた場合について説明する。撮像素子200には、赤外光(IR)カットフィルタによって赤外光がカットされた光が照射される。
第1の基板201の受光面側に光が入射される。第1の画素2011−1〜2011−16の各々は、補色系カラーフィルタ203を透過した光を検出し、第1の信号または第3の信号を出力する。具体的には、黄色(Y)の光を透過するカラーフィルタYが形成された第1の画素2011−1,2011−3,2011−9,2011−11は、黄色(Y)の光の強度に応じた第1の信号を出力する。また、マゼンタ色(M)の光を透過するカラーフィルタMが形成された第1の画素2011−2,2011−4,2011−5,2011−7,2011−10,2011−12,2011−13,2011−15は、マゼンタ色(M)の光の強度に応じた第1の信号を出力する。また、シアン色(C)の光を透過するカラーフィルタCが形成された第1の画素2011−6,2011−8,2011−14,2011−16は、シアン色(C)の光の強度に応じた第3の信号を出力する。
また、第2の基板202の第2の画素2021−1〜2021−16の各々は、補色系カラーフィルタ203と、第1の基板201と、原色系カラーフィルタ204とを透過した光を検出し、第2の信号または第4の信号を出力する。具体的には、赤色(R)の光を透過するカラーフィルタRが形成された第2の画素2021−1〜2021−5,2021−7,2021−9〜2021−13,2021−15は、赤色(R)の光の強度に応じた第2の信号を出力する。また、緑色(G)の光を透過するカラーフィルタGが形成された第2の画素2021−6,2021−8,2021−14,2021−16は、緑色(G)の光の強度に応じた第4の信号を出力する。
第1の画素2011−1〜2011−16が出力した第1の信号および第3の信号と、第2の画素2021−1〜2021−16が出力した第2の信号および第4の信号は、それぞれ接続部105を介して、信号処理部106に出力される。信号処理部106は、第1の信号〜第4の信号を用いて、各第1の画素2011−1〜2011−16のRGBの色情報を有するフルカラー画像を生成する。
次に、第1の画素2011−1〜2011−16が出力する第1の信号および第3の信号と、第2の画素2021−1〜2021−16が出力する第2の信号および第4の信号とについて説明する。図6は、本実施形態における第1の画素2011−1〜2011−16が出力する第1の信号および第3の信号と、第2の画素2021−1〜2021−16が出力する第2の信号および第4の信号とを示した概略図である。
上述したとおり、第1の画素2011−1,2011−3,2011−9,2011−11には、黄色(Y)の光を透過するカラーフィルタYが形成されている。黄色(Y)は青色(B)の補色(=緑色(G)+赤色(R))である。ここで、第1の画素2011−1,2011−3,2011−9,2011−11が出力する第1の信号を、αG+βRとする。Gは緑色の光の強度に応じた値である。Rは赤色の光の強度に応じた値である。αおよびβの値は、カラーフィルタYの製造時に決まる値であり、固定値である。
また、上述したとおり、第1の画素2011−2,2011−4,2011−5,2011−7,2011−10,2011−12,2011−13,2011−15には、マゼンタ色(M)の光を透過するカラーフィルタMが形成されている。マゼンタ色(M)は緑色(G)の補色(=青色(B)+赤色(R))である。ここで、第1の画素2011−2,2011−4,2011−5,2011−7,2011−10,2011−12,2011−13,2011−15が出力する第1の信号を、δB+εRとする。Bは青色の光の強度に応じた値である。Rは赤色の光の強度に応じた値である。δおよびεの値は、カラーフィルタMの製造時に決まる値であり、固定値である。
また、上述したとおり、第1の画素2011−6,2011−8,2011−14,2011−16には、シアン色(C)の光を透過するカラーフィルタCが形成されている。シアン色(C)は赤色(R)の補色(=青色(B)+緑色(G))である。ここで、第1の画素2011−6,2011−8,2011−14,2011−16が出力する第3の信号を、κB+λGとする。Bは青色の光の強度に応じた値である。Gは緑色の光の強度に応じた値である。κおよびλの値は、カラーフィルタCの製造時に決まる値であり、固定値である。
また、上述したとおり、第2の画素2021−1〜2021−5,2021−7,2021−9〜2021−13,2021−15には、赤色(R)の光を透過するカラーフィルタRが形成されている。第2の画素2021−1,2021−3,2021−9,2021−11には、第1の画素2011−1,2011−3,2011−9,2011−11を透過した光が入射される。すなわち、第2の画素2021−1,2021−3,2021−9,2021−11には、カラーフィルタYと、第1の基板201と、カラーフィルタRとを透過した光が入射される。ここで、第2の画素2021−1,2021−3,2021−9,2021−11が出力する第2の信号を、γRとする。Rは赤色の光の強度に応じた値である。γの値は、カラーフィルタRの製造時に決まる値であり、固定値である。
また、第1の基板201にてカラーフィルタYが形成された第1の画素2011−1,2011−3,2011−9,2011−11が透過する赤色の光に着目すると、βとγとの比は製造時に決まるパラメータである。例えば、カラーフィルタYおよびカラーフィルタRとの透過特性や、第1の基板201および第2の基板202の厚みなどに基づいて決まる第1の基板201と第2の基板202の分光感度によって、βとγとの比は決まる。
第2の画素2021−2,2021−4,2021−5,2021−7,2021−10,2021−12,2021−13,2021−15には、第1の画素2011−2,2011−4,2011−5,2011−7,2011−10,2011−12,2011−13,2011−15を透過した光が入射される。すなわち、第2の画素2021−2,2021−4,2021−5,2021−7,2021−10,2021−12,2021−13,2021−15には、カラーフィルタMと、第1の基板201と、カラーフィルタRとを透過した光が入射される。ここで、第2の画素2021−2,2021−4,2021−5,2021−7,2021−10,2021−12,2021−13,2021−15が出力する第2の信号を、ηRとする。Rは赤色の光の強度に応じた値である。ηの値は、カラーフィルタRの製造時に決まる値であり、固定値である。
また、第1の基板201にてカラーフィルタMが形成された第1の画素2011−2,2011−4,2011−5,2011−7,2011−10,2011−12,2011−13,2011−15が透過する赤色の光に着目すると、εとηとの比は製造時に決まるパラメータである。例えば、カラーフィルタMおよびカラーフィルタRとの透過特性や、第1の基板201および第2の基板202の厚みなどに基づいて決まる第1の基板201と第2の基板202の分光感度によって、εとηとの比は決まる。
また、上述したとおり、第2の画素2021−6,2021−8,2021−14,2021−16には緑色(G)の光を透過するカラーフィルタGが形成されている。第2の画素2021−6,2021−8,2021−14,2021−16には、第1の画素2011−6,2011−8,2011−14,2011−16を透過した光が入射される。すなわち、第2の画素2021−6,2021−8,2021−14,2021−16には、カラーフィルタCと、第1の基板201と、カラーフィルタGとを透過した光が入射される。
なお、緑色の光は、500nm以下の波長を含む。また、第1の基板201は500nm以上の波長の光の一部を透過する。よって、第2の基板202には、撮像素子200の受光面に入射された緑色の光のうち、500nm以下の波長の光は届かない。すなわち、第2の画素2021−6,2021−8,2021−14,2021−16は、緑色の光のうち、高波長領域の光を検出する。ここで、第2の画素2021−6,2021−8,2021−14,2021−16が出力する第4の信号を、μG’とする。G’は緑色の光のうち、高波長領域の光の強度に応じた値である。μの値は、カラーフィルタGの製造時に決まる値であり、固定値である。
次に、信号処理部106によるRGBの色情報の算出方法の詳細について説明する。信号処理部106は、第1の基板201の第1の画素2011−1〜2011−16が出力する第1の信号および第3の信号と、第2の基板202の第2の画素2021−1〜2021−16が出力する第2の信号および第4の信号とを用いて、各第1の画素2011−1〜2011−16のRGBの色情報を算出する。なお、信号処理部106は、以下に示す第1のステップと第2のステップとの2つのステップを実行することで、各第1の画素2011−1〜2011−16のRGBの色情報を算出する。
<第1のステップ>
第1のステップでは、信号処理部106は、黄色(Y(=G+R))の光を透過するカラーフィルタYが形成された第1の画素2011−1,2011−3,2011−9,2011−11における「G」の色情報と「R」の色情報とを算出する。算出方法は第1の実施形態と同様である。
また、信号処理部106は、マゼンタ色(M(=B+R))の光を透過するカラーフィルタMが形成された第1の画素2011−2,2011−4,2011−5,2011−7,2011−10,2011−12,2011−13,2011−15における「B」の色情報と「R」の色情報とを算出する。算出方法は第1の実施形態と同様である。
なお、シアン色(C(=B+G))の光を透過するカラーフィルタCが形成された第1の画素2011−6,2011−8,2011−14,2011−16においては、対応する第2の画素2021−6,2021−8,2021−14,2021−16が、「B」と「G」の色情報を保持していないため、「B」の色情報と「G」の色情報とを算出しない。すなわち、第2の画素2021−6,2021−8,2021−14,2021−16が検出したμG’からλGを算出することができないため、カラーフィルタCが形成された第1の画素2011−6,2011−8,2011−14,2011−16では、「B」の色情報と「G」の色情報とを算出しない。
上述した第1のステップの演算を行うことにより、第1の画素2011−1〜2011−5,2011−7,2011−9〜2011−13,2011−15において、RGBの色情報のうち、2色の色情報を算出することができる。図7は、本実施形態において、第1のステップの演算を行った結果を示した概略図である。図中の「,」は、第1の画素2011−1〜2011−5,2011−7,2011−9〜2011−13,2011−15において、RGBの色情報のうち2色の色情報を分離して算出したことを示している。
第1のステップの演算を行うことにより、図示するとおり、カラーフィルタYが形成された第1の画素2011−1,2011−3,2011−9,2011−11において、それぞれ「αG,βR」の色情報を得ることができる。なお、上述したとおり、第2の画素2021−1,2021−3,2021−9,2021−11が得る色情報は、それぞれ「γR」である。
また、第1のステップの演算を行うことにより、図示するとおり、カラーフィルタMが形成された第1の画素2011−2,2011−4,2011−5,2011−7,2011−10,2011−12,2011−13,2011−15において、それぞれ「δB+εR」の色情報を得ることができる。なお、上述したとおり、第2の画素2021−2,2021−4,2021−5,2021−7,2021−10,2021−12,2021−13,2021−15が得る色情報は、それぞれ「ηR」である。
また、カラーフィルタCが形成された第1の画素2011−6,2011−8,2011−14,2011−16においては、「B」の色情報と「G」の色情報とを算出しないため、第1の画素2011−6,2011−8,2011−14,2011−16が出力した第1の信号「κB+λG」のままである。なお、上述したとおり、第2の画素2021−6,2021−8,2021−14,2021−16が得る色情報は、それぞれ「μG’」である。
<第2のステップ>
第2のステップでは、各第1の画素2011−1〜2011−16において、欠けている色情報を算出する。欠けている色情報は、従来知られているデモザイキング処理と同様に、隣接または近傍に配置されている第1の画素2011−1〜2011−16の色情報を用いて線形補間等を行い、算出する。
例えば、黄色(Y(=G+R))の光を透過するカラーフィルタYが形成された第1の画素2011−11では、「B」の色情報が欠けている。図7において、第1の画素2011−11に隣接する第1の画素2011−6,2011−7,2011−8,2011−10,2011−12,2011−14,2011−15,2011−16に着目すると、第1の画素2011−7,2011−10,2011−12,2011−15において、「B」の色情報を得ている。
信号処理部106は、この4つの第1の画素2011−7,2011−10,2011−12,2011−15の「B」の色情報を用いて補間処理を行い、第1の画素2011−11における「B」の色情報を算出する。例えば、信号処理部106は、従来知られている原色系のデモザイキング処理と同様に線形補間等を用いて欠落した色情報を算出する。なお、第1の画素2011−1,2011−3,2011−9についても同様の処理を行い、「B」の色情報をそれぞれ算出する。
また、例えば、マゼンタ色(M(=B+R))の光を透過するカラーフィルタMが形成された第1の画素2011−10では、「G」の色情報が欠けている。図7において、第1の画素2011−10に隣接する第1の画素2011−5,2011−6,2011−7,2011−9,2011−11,2011−13,2011−14,2011−15に着目すると、第1の画素2011−9,2011−11において、「G」の色情報を得ている。
信号処理部106は、この2つの第1の画素2011−9,2011−11の「G」の色情報を用いて補間処理を行い、第1の画素2011−10における「G」の色情報を算出する。例えば、信号処理部106は、従来知られている原色系のデモザイキング処理と同様に線形補間等を用いて欠落した色情報を算出する。なお、第1の画素2011−2,2011−4,2011−5,2011−7,2011−12,2011−13,2011−15についても同様の処理を行い、「G」の色情報をそれぞれ算出する。
また、例えば、シアン色(C(=B+G))の光を透過するカラーフィルタCが形成された第1の画素2011−6では、「R」の色情報と、「G」の色情報と、「B」の色情報とが欠けている。図7において、第1の画素2011−6に隣接する第1の画素2011−1,2011−2,2011−3,2011−5,2011−7,2011−9,2011−10,2011−11に着目する。この場合、第1の画素2011−1,2011−2,2011−3,2011−5,2011−7,2011−9,2011−10,2011−11において、「R」の色情報を得ている。また、第1の画素2011−1,2011−3,2011−9,2011−11において、「G」の色情報を得ている。また、第1の画素2011−2,2011−5,2011−7,2011−10において、「B」の色情報を得ている。
信号処理部106は、8つの第1の画素2011−1,2011−2,2011−3,2011−5,2011−7,2011−9,2011−10,2011−11の「R」の色情報を用いて補間処理を行い、第1の画素2011−6における「R」の色情報を算出する。また、信号処理部106は、4つの第1の画素2011−1,2011−3,2011−9,2011−11の「G」の色情報を用いて補間処理を行い、第1の画素2011−6における「G」の色情報を算出する。また、信号処理部106は、4つの第1の画素2011−2,2011−5,2011−7,2011−10の「B」の色情報を用いて補間処理を行い、第1の画素2011−6における「B」の色情報を算出する。
例えば、信号処理部106は、従来知られている原色系のデモザイキング処理と同様に線形補間等を用いて欠落した色情報を算出する。なお、第1の画素2011−8,2011−14,2011−16についても同様の処理を行い、「R」の色情報と、「G」の色情報と、「B」の色情報とをそれぞれ算出する。
上述した第1のステップと第2のステップを実行することにより、信号処理部106は、各第1の画素2011−1〜2011−16のRGBの色情報を算出することができる。さらに、カラーフィルタCが形成された第1の画素2011−6,2011−8,2011−14,2011−16に対応する第2の画素2021−6,2021−8,2021−14,2021−16は、緑色(G)の光の高波長帯域である「G’」の色情報を検出している。この「G’」の色情報を検出している第2の画素2021は、4画素に1つ存在する。
このように、本実施形態では、デモザイキング処理を行う際に、欠けている色情報を取得している隣接画素が増加するために、色補間精度が向上する。さらに、第2の画素2021が検出した緑色(G)の光の高波長帯域である「G’」の色情報を、上述したRGBのデモザイキング処理に加えることによって、デモザイキング処理を行う際の色補間精度を向上させ、RGBの色再現性をより高めることができる。また、第1の画素2011には補色系カラーフィルタ203が形成されているため、第1の画素2011の感度は高感度である。従って、本実施形態の撮像素子200は、高感度かつ色再現性を高くすることができる。
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。本実施形態と第1の実施形態とで異なる点は、補色系カラーフィルタの配列と、原色系カラーフィルタの配列である。なお、本実施形態における撮像素子300のその他の構成は、第1の実施形態における撮像素子100の構成と同様である。
図8は、本実施形態における補色系カラーフィルタ303の配列と、原色系カラーフィルタ304の配列とを示した概略図である。図示する例では、第1の基板301には、4行4列の二次元状に配列された計16個の第1の画素3011−1〜3011−16が含まれている。また、第2の基板302には、4行4列の二次元状に配列された計16個の第2の画素3021−1〜3021−16が含まれている。なお、第1の基板301に含まれる第1の画素3011と第2の基板302に含まれる第2の画素3021との数および配列は図示する例に限らず、どのような数および配列でもよい。
第1の基板301に形成された補色系カラーフィルタ303は、マゼンタ色(M(=B+R))の光を透過するカラーフィルタMと、黄色(Y(=G+R))の光を透過するカラーフィルタYと、緑色(G)の光を透過するカラーフィルタGとが配列されたフィルタである。第1の画素3011−1,3011−3,3011−9,3011−11(第1受光素子)には、黄色(Y)(第1波長帯域)の光を透過するカラーフィルタY(第1カラーフィルタ)が形成されている。第1の画素3011−2,3011−4,3011−5,3011−7,3011−10,3011−12,3011−13,3011−15(第1受光素子)にはマゼンタ色(M)(第1波長帯域)の光を透過するカラーフィルタM(第1カラーフィルタ)が形成されている。第1の画素3011−6,3011−8,3011−14,3011−16(第3受光素子)には緑色(G)(第4波長帯域)の光を透過するカラーフィルタG(第3カラーフィルタ)が形成されている。
また、縦と横に隣接する4つの第1の画素3011を1組の単位画素領域321とする。例えば、1組の単位画素領域321は、マゼンタ色の光を透過するカラーフィルタMが形成された2つの第1の画素3011−2,3011−5と、黄色の光を透過するカラーフィルタYが形成された1つの第1の画素3011−1と、緑色の光を透過するカラーフィルタGが形成された1つの第1の画素3011−6とで構成されている。
第2の基板302に形成された原色系カラーフィルタ304は、赤色(R)の光を透過するカラーフィルタRと、緑色(G)の光を透過するカラーフィルタGとが配列されたフィルタである。第2の画素3021−1〜3021−5,3021−7,3021−9〜3021−13,3021−15(第2受光素子)には赤色(R)の光を透過するカラーフィルタR(第2カラーフィルタ)が形成されている。第2の画素3021−6,3021−8,3021−14,3021−16(第4受光素子)には緑色(G)(第5波長帯域)の光を透過するカラーフィルタG(第4カラーフィルタ)が形成されている。
また、縦と横に隣接する4つの第2の画素3021を1組の単位画素領域322とする。例えば、1組の単位画素領域322は、赤色の光を透過するカラーフィルタRが形成された3つの第2の画素3021−1,3021−2,3021−5と、緑色の光を透過するカラーフィルタGが形成された1つの第2の画素3021−6とで構成されている。
また、第1の基板301に含まれる第1の画素3011−1〜3011−16と、第2の基板302に含まれる第2の画素3021−1〜3021−16とは、1対1の対応関係となるように配置されている。例えば、第1の画素3011−1を透過した光は、対応する第2の画素3021−1のみに照射されるように、第1の画素3011−1と第2の画素3021−1とは配置されている。また、第1の画素3011−2を透過した光は、対応する第2の画素3021−2のみに照射されるように、第1の画素3011−2と第2の画素3021−2とは配置されている。同様に、第1の画素3011−3〜3011−16と第2の画素3021−3〜3021−16とについても図示するとおり配置されている。
上述したとおり、緑色(G)の光を透過するカラーフィルタGが配置された第1の画素3011−6,3011−8,3011−14,3011−16に対応する第2の画素2021−6,2021−8,2021−14,2021−16には、緑色(G)の光を透過するカラーフィルタGが形成されている。これは、緑色(G)の光を透過するカラーフィルタGは、赤色(R)の光を透過せず、緑色(G)の光を透過するためである。
次に、撮像素子300の動作について説明する。本実施形態では、撮像素子300をデジタルカメラに用いた場合について説明する。撮像素子300には、赤外光(IR)カットフィルタによって赤外光がカットされた光が照射される。
第1の基板301の受光面側に光が入射される。第1の画素3011−1〜3011−16の各々は、補色系カラーフィルタ303を透過した光を検出し、第1の信号を出力する。具体的には、黄色(Y)の光を透過するカラーフィルタYが形成された第1の画素3011−1,3011−3,3011−9,3011−11は、黄色(Y)の光の強度に応じた第1の信号を出力する。また、マゼンタ色(M)の光を透過するカラーフィルタMが形成された第1の画素3011−2,3011−4,3011−5,3011−7,3011−10,3011−12,3011−13,3011−15は、マゼンタ色(M)の光の強度に応じた第1の信号を出力する。また、緑色(G)の光を透過するカラーフィルタGが形成された第1の画素3011−6,3011−8,3011−14,3011−16は、緑色(G)の光の強度に応じた第3の信号を出力する。
また、第2の基板302の第2の画素3021−1〜3021−16の各々は、補色系カラーフィルタ303と、第1の基板301と、原色系カラーフィルタ304とを透過した光を検出し、第2の信号を出力する。具体的には、赤色(R)の光を透過するカラーフィルタRが形成された第2の画素3021−1〜3021−5,3021−7,3021−9〜3021−13,3021−15は、赤色(R)の光の強度に応じた第2の信号を出力する。また、緑色(G)の光を透過するカラーフィルタGが形成された第2の画素3021−6,3021−8,3021−14,3021−16は、緑色(G)の光の強度に応じた第4の信号を出力する。
第1の画素3011−1〜3011−16が出力した第1の信号および第3の信号と、第2の画素3021−1〜3021−16が出力した第2の信号および第4の信号は、それぞれ接続部105を介して、信号処理部106に出力される。信号処理部106は、第1の信号〜第4の信号を用いて、各第1の画素3011−1〜3011−16のRGBの色情報を有するフルカラー画像を生成する。
次に、第1の画素3011−1〜3011−16が出力する第1の信号および第3の信号と、第2の画素3021−1〜3021−16が出力する第2の信号および第4の信号とについて説明する。図9は、本実施形態における第1の画素3011−1〜3011−16が出力する第1の信号および第3の信号と、第2の画素3021−1〜3021−16が出力する第2の信号および第4の信号とを示した概略図である。
上述したとおり、第1の画素3011−1,3011−3,3011−9,3011−11には、黄色(Y)の光を透過するカラーフィルタYが形成されている。黄色(Y)は青色(B)の補色(=緑色(G)+赤色(R))である。ここで、第1の画素3011−1,3011−3,3011−9,3011−11が出力する第1の信号を、αG+βRとする。Gは緑色の光の強度に応じた値である。Rは赤色の光の強度に応じた値である。αおよびβの値は、カラーフィルタYの製造時に決まる値であり、固定値である。
また、上述したとおり、第1の画素3011−2,3011−4,3011−5,3011−7,3011−10,3011−12,3011−13,3011−15には、マゼンタ色(M)の光を透過するカラーフィルタMが形成されている。マゼンタ色(M)は緑色(G)の補色(=青色(B)+赤色(R))である。ここで、第1の画素3011−2,3011−4,3011−5,3011−7,3011−10,3011−12,3011−13,3011−15が出力する第1の信号を、δB+εRとする。Bは青色の光の強度に応じた値である。Rは赤色の光の強度に応じた値である。δおよびεの値は、カラーフィルタMの製造時に決まる値であり、固定値である。
また、上述したとおり、第1の画素3011−6,3011−8,3011−14,3011−16には、緑色(G)の光を透過するカラーフィルタGが形成されている。ここで、第1の画素3011−6,3011−8,3011−14,3011−16が出力する第3の信号を、λGとする。Gは緑色の光の強度に応じた値である。λの値は、補色系カラーフィルタ303のカラーフィルタGの製造時に決まる値であり、固定値である。
また、上述したとおり、第2の画素3021−1〜3021−5,3021−7,3021−9〜3021−13,3021−15には、赤色(R)の光を透過するカラーフィルタRが形成されている。第2の画素3021−1,3021−3,3021−9,3021−11には、第1の画素3011−1,3011−3,3011−9,3011−11を透過した光が入射される。すなわち、第2の画素3021−1,3021−3,3021−9,3021−11には、カラーフィルタYと、第1の基板301と、カラーフィルタRとを透過した光が入射される。ここで、第2の画素3021−1,3021−3,3021−9,3021−11が出力する第2の信号を、γRとする。Rは赤色の光の強度に応じた値である。γの値は、カラーフィルタRの製造時に決まる値であり、固定値である。
また、第1の基板301にてカラーフィルタYが形成された第1の画素3011−1,3011−3,3011−9,3011−11が透過する赤色の光に着目すると、βとγとの比は製造時に決まるパラメータである。例えば、カラーフィルタYおよびカラーフィルタRとの透過特性や、第1の基板301および第2の基板302の厚みなどに基づいて決まる第1の基板301と第2の基板302の分光感度によって、βとγとの比は決まる。
第2の画素3021−2,3021−4,3021−5,3021−7,3021−10,3021−12,3021−13,3021−15には、第1の画素3011−2,3011−4,3011−5,3011−7,3011−10,3011−12,3011−13,3011−15を透過した光が入射される。すなわち、第2の画素3021−2,3021−4,3021−5,3021−7,3021−10,3021−12,3021−13,3021−15には、カラーフィルタMと、第1の基板301と、カラーフィルタRとを透過した光が入射される。ここで、第2の画素3021−2,3021−4,3021−5,3021−7,3021−10,3021−12,3021−13,3021−15が出力する第2の信号を、ηRとする。Rは赤色の光の強度に応じた値である。ηの値は、カラーフィルタRの製造時に決まる値であり、固定値である。
また、第1の基板301にてカラーフィルタMが形成された第1の画素3011−2,3011−4,3011−5,3011−7,3011−10,3011−12,3011−13,3011−15が透過する赤色の光に着目すると、εとηとの比は製造時に決まるパラメータである。例えば、カラーフィルタMおよびカラーフィルタRとの透過特性や、第1の基板301および第2の基板302の厚みなどに基づいて決まる第1の基板301と第2の基板302の分光感度によって、εとηとの比は決まる。
また、上述したとおり、第2の画素3021−6,3021−8,3021−14,3021−16には緑色(G)の光を透過するカラーフィルタGが形成されている。第2の画素3021−6,3021−8,3021−14,3021−16には、第1の画素3011−6,3011−8,3011−14,3011−16を透過した光が入射される。すなわち、第2の画素3021−6,3021−8,3021−14,3021−16には、補色系カラーフィルタ303のカラーフィルタGと、第1の基板201と、原色系カラーフィルタ304のカラーフィルタGとを透過した光が入射される。
なお、緑色の光は、500nm以下の波長を含む。また、第1の基板301は500nm以上の波長の光の一部を透過する。よって、第2の基板302には、撮像素子300の受光面に入射された緑色の光のうち、500nm以下の波長の光は届かない。すなわち、第2の画素3021−6,3021−8,3021−14,3021−16は、緑色の光のうち、高波長領域の光を検出する。ここで、第2の画素3021−6,3021−8,3021−14,3021−16が出力する第4の信号を、μG’とする。G’は緑色の光のうち、高波長領域の光の強度に応じた値である。μの値は、原色系カラーフィルタ304のカラーフィルタGの製造時に決まる値であり、固定値である。
次に、信号処理部106によるRGBの色情報の算出方法の詳細について説明する。信号処理部106は、第1の基板301の第1の画素3011−1〜3011−16が出力する第1の信号および第3の信号と、第2の基板302の第2の画素3021−1〜3021−16が出力する第2の信号および第4の信号とを用いて、各第1の画素3011−1〜3011−16のRGBの色情報を算出する。なお、信号処理部106は、以下に示す第1のステップと第2のステップとの2つのステップを実行することで、各第1の画素3011−1〜3011−16のRGBの色情報を算出する。
<第1のステップ>
第1のステップでは、信号処理部106は、黄色(Y(=G+R))の光を透過するカラーフィルタYが形成された第1の画素3011−1,3011−3,3011−9,3011−11における「G」の色情報と「R」の色情報とを算出する。算出方法は第1の実施形態と同様である。
また、信号処理部106は、マゼンタ色(M(=B+R))の光を透過するカラーフィルタMが形成された第1の画素3011−2,3011−4,3011−5,3011−7,3011−10,3011−12,3011−13,3011−15における「B」の色情報と「R」の色情報とを算出する。算出方法は第1の実施形態と同様である。
なお、緑色の光を透過するカラーフィルタGが形成された第1の画素3011−6,3011−8,3011−14,3011−16においては、第1の信号「λG」が「G」の色情報である。
上述した第1のステップの演算を行うことにより、第1の画素3011−1〜3011−5,3011−7,3011−9〜3011−13,3011−15において、RGBの色情報のうち、2色の色情報を算出することができる。図10は、本実施形態において、第1のステップの演算を行った結果を示した概略図である。図中の「,」は、第1の画素3011−1〜3011−5,3011−7,3011−9〜3011−13,3011−15において、RGBの色情報のうち2色の色情報を分離して算出したことを示している。
第1のステップの演算を行うことにより、図示するとおり、カラーフィルタYが形成された第1の画素3011−1,3011−3,3011−9,3011−11において、それぞれ「αG,βR」の色情報を得ることができる。なお、上述したとおり、第2の画素3021−1,3021−3,3021−9,3021−11が得る色情報は、それぞれ「γR」である。
また、第1のステップの演算を行うことにより、図示するとおり、カラーフィルタMが形成された第1の画素3011−2,3011−4,3011−5,3011−7,3011−10,3011−12,3011−13,3011−15において、それぞれ「δB+εR」の色情報を得ることができる。なお、上述したとおり、第2の画素3021−2,3021−4,3021−5,3021−7,3021−10,3021−12,3021−13,3021−15が得る色情報は、それぞれ「ηR」である。
また、カラーフィルタGが形成された第1の画素3011−6,3011−8,3011−14,3011−16においては、第1の信号「λG」が「G」の色情報である。なお、上述したとおり、第2の画素3021−6,3021−8,3021−14,3021−16が得る色情報は、それぞれ「μG’」である。
<第2のステップ>
第2のステップでは、各第1の画素3011−1〜3011−16における1色または2色の色情報を用いて、残り1色または2色の色情報を算出する。残り1色または2色の色情報は、従来知られているデモザイキング処理と同様に、隣接または近傍に配置されている第1の画素3011−1〜3011−16の色情報を用いて線形補間等を行い、算出する。
例えば、黄色(Y(=G+R))の光を透過するカラーフィルタYが形成された第1の画素3011−11では、「B」の色情報が欠けている。図10において、第1の画素3011−11に隣接する第1の画素3011−6,3011−7,3011−8,3011−10,3011−12,3011−14,3011−15,3011−16に着目すると、第1の画素3011−7,3011−10,3011−12,3011−15において、「B」の色情報を得ている。
信号処理部106は、この4つの第1の画素3011−7,3011−10,3011−12,3011−15の「B」の色情報を用いて補間処理を行い、第1の画素3011−11における「B」の色情報を算出する。例えば、信号処理部106は、従来知られている原色系のデモザイキング処理と同様に線形補間等を用いて欠落した色情報を算出する。なお、第1の画素3011−1,3011−3,3011−9についても同様の処理を行い、「B」の色情報をそれぞれ算出する。
また、例えば、マゼンタ色(M(=B+R))の光を透過するカラーフィルタMが形成された第1の画素3011−10では、「G」の色情報が欠けている。図10において、第1の画素3011−10に隣接する第1の画素3011−5,3011−6,3011−7,3011−9,3011−11,3011−13,3011−14,3011−15に着目すると、第1の画素3011−6,3011−9,3011−11,3011−14において、「G」の色情報を得ている。
信号処理部106は、この4つの第1の画素3011−6,3011−9,3011−11,3011−14の「G」の色情報を用いて補間処理を行い、第1の画素3011−10における「G」の色情報を算出する。例えば、信号処理部106は、従来知られている原色系のデモザイキング処理と同様に線形補間等を用いて欠落した色情報を算出する。なお、第1の画素3011−2,3011−4,3011−5,3011−7,3011−12,3011−13,3011−15についても同様の処理を行い、「G」の色情報をそれぞれ算出する。
また、例えば、緑色(G)の光を透過するカラーフィルタGが形成された第1の画素3011−6では、「R」の色情報と「B」の色情報とが欠けている。図10において、第1の画素3011−6に隣接する第1の画素3011−1,3011−2,3011−3,3011−5,3011−7,3011−9,3011−10,3011−11に着目する。この場合、第1の画素3011−1,3011−2,3011−3,3011−5,3011−7,3011−9,3011−10,3011−11において、「R」の色情報を得ている。また、第1の画素3011−2,3011−5,3011−7,3011−10において、「B」の色情報を得ている。
信号処理部106は、8つの第1の画素3011−1,3011−2,3011−3,3011−5,3011−7,3011−9,3011−10,3011−11の「R」の色情報を用いて補間処理を行い、第1の画素3011−6における「R」の色情報を算出する。また、信号処理部106は、4つの第1の画素3011−2,3011−5,3011−7,3011−10の「B」の色情報を用いて補間処理を行い、第1の画素3011−6における「B」の色情報を算出する。
例えば、信号処理部106は、従来知られている原色系のデモザイキング処理と同様に線形補間等を用いて欠落した色情報を算出する。なお、第1の画素3011−8,3011−14,3011−16についても同様の処理を行い、「R」の色情報と「B」の色情報とをそれぞれ算出する。
上述した第1のステップと第2のステップを実行することにより、信号処理部106は、各第1の画素3011−1〜3011−16のRGBの色情報を算出することができる。さらに、カラーフィルタGが形成された第1の画素3011−6,3011−8,3011−14,3011−16に対応する第2の画素3021−6,3021−8,3021−14,3021−16は、緑色(G)の光の高波長帯域である「G’」の色情報を検出している。この「G’」の色情報を検出している第2の画素3021は、4画素に1つある。
このように、本実施形態では、デモザイキング処理を行う際に、欠けている色情報を取得している隣接画素が増加するために、色補間精度が向上する。さらに、第2の画素3021が検出した緑色(G)の光の高波長帯域である「G’」の色情報を、上述したRGBのデモザイキング処理に加えることによって、デモザイキング処理を行う際の色補間精度を向上させ、RGBの色再現性をより高めることができる。また、第1の画素3011には補色系カラーフィルタ303が形成されているため、第1の画素3011の感度は高感度である。従って、本実施形態の撮像素子300は、高感度かつ色再現性を高くすることができる。
(第4の実施形態)
次に、本発明の第4の実施形態について説明する。本実施形態と第1の実施形態とで異なる点は、第1の基板の第1の画素の受光面積よりも、第2の基板の第2の画素の受光面積が広い点である。なお、本実施形態における撮像素子400のその他の構成は、第1の実施形態における撮像素子100の構成と同様である。
図11は、本実施形態における補色系カラーフィルタ403の配列と、原色系カラーフィルタ404の配列とを示した概略図である。図示する例では、第1の基板401には、4行4列の二次元状に配列された計16個の第1の画素4011−1〜4011−16が含まれている。また、第2の基板402には、2行4列の二次元状に配列された計8個の第2の画素4021−1〜4021−8が含まれている。第2の画素4021−1〜4021−8の受光面積は、第1の画素4011−1〜4011−16の受光面積の2倍である。なお、第1の基板401に含まれる第1の画素4011と第2の基板402に含まれる第2の画素4021との数および配列は図示する例に限らず、どのような数および配列でもよい。
第1の基板401に形成された補色系カラーフィルタ403は、マゼンタ色(M(=B+R))の光を透過するカラーフィルタMと、黄色(Y(=G+R))の光を透過するカラーフィルタYとが配列されたフィルタである。第1の画素4011−1,4011−3,4011−5,4011−7,4011−9,4011−11,4011−13,4011−15には、黄色(Y)の光を透過するカラーフィルタYが形成されている。第1の画素4011−2,4011−4,4011−6,4011−8,4011−10,4011−12,4011−14,4011−16にはマゼンタ色(M)の光を透過するカラーフィルタMが形成されている。
第2の基板402に形成された原色系カラーフィルタ404は、赤色(R)の光を透過するカラーフィルタRが配列されたフィルタである。第2の画素4021−1〜4021−8には赤色(R)の光を透過するカラーフィルタRが形成されている。
また、第1の基板401に含まれる第1の画素4011−1〜4011−16と、第2の基板402に含まれる第2の画素4021−1〜4021−8とは、2対1の対応関係となるように配置されている。例えば、第1の画素4011−1,4011−5を透過した光は、対応する第2の画素4021−1のみに照射されるように、第1の画素4011−1,4011−5と第2の画素4021−1とは配置されている。また、第1の画素4011−2,4022−6を透過した光は、対応する第2の画素4021−2のみに照射されるように、第1の画素4011−2,4011−6と第2の画素4021−2とは配置されている。同様に、第1の画素4011−3,4011−4,4011−7〜4011−16と第2の画素4021−3〜4021−8とについても図示するとおり配置されている。
上述したとおり本実施形態では、第2の画素4021−1〜4021−8の各受光面積を第1の画素4011−1〜4011−16の各受光面積の2倍としている。これは、第1の基板401を透過して第2の基板402に照射される赤色(R)の光の一部が、第1の基板401によって吸収され、第2の基板に照射される単位面積あたりの入射光量が減少するために、第2の画素4021−1〜4021−8の受光感度を高くするためである。
例えば、第1の基板401の厚みが約3μmの場合、第2の基板402に照射される赤色(R)の光は、第1の基板401に照射される赤色(R)の光の約15%に減衰する。そのため、第2の基板402に照射される光量が少なくなり、第2の画素4021の受光面積が小さい場合にはSN比が低下する。
本実施形態では、第2の画素4021−1〜4021−8の各受光面積を第1の画素4011−1〜4011−16の各受光面積の2倍としている。従って、第2の画素4021−1〜4021−8の受光感度が高くなり、SN比を大きくすることができる。
なお、信号処理部106によるRGBの色情報の算出方法は、第1の実施形態と同様である。また、本実施形態においても第1の実施形態と同様に、デモザイキング処理を行う際に、欠けている色情報を取得している隣接画素が増加するために、色補間精度が向上する。また、第1の画素4011には補色系カラーフィルタ403が形成されているため、第1の画素4011の感度は高感度である。従って、本実施形態の撮像素子400は、高感度かつ色再現性を高くすることができる。
(第5の実施形態)
次に、本発明の第5の実施形態について説明する。本実施形態と第1の実施形態とで異なる点は、本実施形態では、1組の単位画素領域が2つの画素(横×縦:1画素×2画素、または2画素×1画素)で構成されている点である。なお、本実施形態における撮像素子500のその他の構成は、第1の実施形態における撮像素子100の構成と同様である。
図12は、本実施形態における補色系カラーフィルタ503の配列と、原色系カラーフィルタ504の配列とを示した概略図である。図示する例では、第1の基板501には、4行4列の二次元状に配列された計16個の第1の画素5011−1〜5011−16が含まれている。また、第2の基板502には、4行4列の二次元状に配列された計16個の第2の画素5021−1〜5021−16が含まれている。なお、第1の基板501に含まれる第1の画素5011と第2の基板502に含まれる第2の画素5021との数および配列は図示する例に限らず、どのような数および配列でもよい。
第1の基板501に形成された補色系カラーフィルタ503は、マゼンタ色(M(=B+R))の光を透過するカラーフィルタMと、黄色(Y(=G+R))の光を透過するカラーフィルタYとが配列されたフィルタである。第1の画素5011−1〜5011−4,5011−9〜5011−12には、黄色(Y)の光を透過するカラーフィルタYが形成されている。第1の画素5011−5〜5011−8,5011−13〜5011−16にはマゼンタ色(M)の光を透過するカラーフィルタMが形成されている。
また、縦に隣接する2つの第1の画素5011を1組の単位画素領域521とする。例えば、1組の単位画素領域521は、黄色の光を透過するカラーフィルタYが形成された1つの第1の画素5011−1と、マゼンタ色の光を透過するカラーフィルタMが形成された1つの第1の画素5011−5とで構成されている。
第2の基板502に形成された原色系カラーフィルタ504は、赤色(R)の光を透過するカラーフィルタRが配列されたフィルタである。第2の画素5021−1〜5021−16には赤色(R)の光を透過するカラーフィルタRが形成されている。
また、縦に隣接する2つの第2の画素5021を1組の単位画素領域522とする。例えば、1組の単位画素領域522は、赤色の光を透過するカラーフィルタRが形成された2つの画素5021−1,5021−5で構成されている。
また、第1の基板501に含まれる第1の画素5011−1〜5011−16と、第2の基板502に含まれる第2の画素5021−1〜5021−16とは、1対1の対応関係となるように配置されている。例えば、第1の画素5011−1を透過した光は、対応する第2の画素5021−1のみに照射されるように、第1の画素5011−1と第2の画素5021−1とは配置されている。また、第1の画素5011−2を透過した光は、対応する第2の画素5021−2のみに照射されるように、第1の画素5011−2と第2の画素5021−2とは配置されている。同様に、第1の画素5011−3〜5011−16と第2の画素5021−3〜5021−16とについても図示するとおり配置されている。
第1の実施形態で説明したとおり、第1の基板501の第1の画素5011にカラーフィルタMまたはカラーフィルタYを形成し、第2の基板502の第2の画素5021にカラーフィルタRを形成することによって、隣接する2つの第1の画素5011にてRGBの全ての色情報を取得することができる。
従って、ベイヤー配列や色差順次方式を用いるフィルタの配列のように、縦と横に隣接する4つの画素(2画素×2画素)で単位画素領域を構成せずとも、本実施形態のように、2つの第1の画素5011で単位画素領域521を構成することで、RGBのフル画像を生成することができる。
なお、信号処理部106によるRGBの色情報の算出方法は、第1の実施形態と同様である。また、本実施形態においても第1の実施形態と同様に、デモザイキング処理を行う際に、欠けている色情報を取得している隣接画素が増加するために、色補間精度が向上する。また、第1の画素5011には補色系カラーフィルタ503が形成されているため、第1の画素5011の感度は高感度である。従って、4画素で1組の単位画像領域を構成することなく、高感度かつ色再現性の高い撮像素子500を構成することができる。
以上、この発明の第1の実施形態〜第5の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。