JP2015088944A - 撮像素子 - Google Patents

撮像素子 Download PDF

Info

Publication number
JP2015088944A
JP2015088944A JP2013226260A JP2013226260A JP2015088944A JP 2015088944 A JP2015088944 A JP 2015088944A JP 2013226260 A JP2013226260 A JP 2013226260A JP 2013226260 A JP2013226260 A JP 2013226260A JP 2015088944 A JP2015088944 A JP 2015088944A
Authority
JP
Japan
Prior art keywords
light
pixels
color
substrate
color filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013226260A
Other languages
English (en)
Other versions
JP6245942B2 (ja
Inventor
祐輔 山本
Yusuke Yamamoto
祐輔 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2013226260A priority Critical patent/JP6245942B2/ja
Priority to PCT/JP2014/076032 priority patent/WO2015064274A1/ja
Publication of JP2015088944A publication Critical patent/JP2015088944A/ja
Priority to US15/136,523 priority patent/US10056418B2/en
Application granted granted Critical
Publication of JP6245942B2 publication Critical patent/JP6245942B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/201Filters in the form of arrays
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Optical Filters (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】感度および色再現性の精度を高くすることができる。【解決手段】第1の基板101と、第1の基板101に規則的に配置され、照射された光の強度に対応する第1の信号を出力する複数の第1受光素子と、第1受光素子の受光面の各々に配置され、少なくとも第2波長帯域と第3波長帯域とを包含する第1波長帯域の光を透過する複数の補色系カラーフィルタ103と、第1の基板101を透過した光が照射されるように配置された第2の基板102と、第2の基板102に規則的に配置され、照射された光の強度に対応する第2の信号を出力する複数の第2受光素子と、第2受光素子の受光面の各々に配置され、第2波長帯域の光を透過する複数の原色系カラーフィルタ104と、第1の信号と第2の信号とを用いて、複数の第1受光素子の各々に対応する画素信号を生成する信号処理部106とを備える。【選択図】図1

Description

本発明は、撮像素子に関する。
一般的なカラーデジタルカメラでは、2次元的に配列された受光素子によって構成された単板式撮像素子が採用されている。このような単板式カラーデジタルカメラでは、フルカラー画像を得るために、受光素子の前にカラーフィルタが配置されている。このカラーフィルタの種類としては、RGBの原色系とCMYGの補色系がある。
以下に、原色系のカラーフィルタが搭載された撮像素子と、補色系のカラーフィルタが搭載された撮像素子とにおいて、全画素がRGBの色情報を有したフルカラー画像を生成する信号処理方法について示す。
(原色系のカラーフィルタが搭載された撮像素子)
図13は、従来知られているベイヤー配列と呼ばれる原色系のカラーフィルタの色配列を示した概略図である。図示する例では、赤色(R)の光を透過するカラーフィルタRと、緑色(G)の光を透過するカラーフィルタGと、青色(B)の光を透過するカラーフィルタBとが各画素の受光面に規則的に配列されている。カラーフィルタGは、全体画素数のうち1/2を占めている。また、カラーフィルタRは、全体画素数のうち1/4を占めている。また、カラーフィルタBは、全体画素数のうち1/4を占めている。
図示するとおり、各画素の受光面にはカラーフィルタRと、カラーフィルタGと、カラーフィルタBのいずれか1つが配置されているため、各画素では、赤色と緑色と青色とのうち、2色の色情報が必ず欠落する。そこで、欠落した2色の色情報を隣接画素の出力に基づいて補間し、各画素が赤色と青色と緑色との3色の色情報を得るようにデモザイキング処理を行う。
デモザイキング処理としては、一般的に以下の2つの方法が知られている。1つ目の方法は、隣接または近傍画素から線形補間する方法である。2つ目の方法は、線形補間後に色差信号を算出して垂直方向と水平方向のどちらに相関が強いかを判断し、その結果に応じて、更に補間処理を行う方法である。例えば、垂直方向に相関が高ければ、垂直方向に隣接した画素の平均値で更に補間する。
(補色系のカラーフィルタが搭載された撮像素子)
図14は、従来知られている色差順次方式と呼ばれる補色系のカラーフィルタの色配列を示した概略図である。図示する例では、シアン色(C)の光を透過するカラーフィルタCと、マゼンタ色(M)の光を透過するカラーフィルタMと、黄色の光(Y)を透過するカラーフィルタYと、緑色(G)の光を透過するカラーフィルタGとが各画素の受光面に規則的に配列されている。シアン色(C)は赤色(R)の補色(=青色(B)+緑色(G))である。マゼンタ色(M)は緑色(G)の補色(=青色(B)+赤色(R))である。黄色(Y)は青色(B)の補色(=緑色(G)+赤色(R))である。
図15は、従来知られているカラーフィルタCと、カラーフィルタMと、カラーフィルタYと、カラーフィルタGとの透過特性を示したグラフである。グラフの横軸は波長λ(nm)を示す。グラフの縦軸は相対分光感度を示す。図示する例では、曲線2501は、カラーフィルタCの透過特性を示している。曲線2502は、カラーフィルタMの透過特性を示している。曲線2503は、カラーフィルタYの透過特性を示している。曲線2504は、カラーフィルタGの透過特性を示している。
以下、図14の説明に戻る。図14に示すとおり、各画素の受光面にはカラーフィルタCと、カラーフィルタMと、カラーフィルタYと、カラーフィルタGとのいずれか1つが配置されているため、各画素では、シアン色と、マゼンタ色と、黄色と、緑色とのうち、3色の色情報が必ず欠落する。補色系では、撮像されたCMYG画像からカラーテレビなどに表示するためのRGB画像を得るために、以下の方法で変換する(例えば、特許文献1参照)。
最初に、各画素が1色ずつ取得したCMYGの色情報を用いて、画素毎にCMGY全ての色情報を算出する。算出方法は、線形補間等を行う。次に、各画素において、CMYGの色情報をRGBの色情報に変換する。CMYGの各色フィルタが透過するRGB各色成分の透過率は、製造時のCMYGの透過特性によって決まるパラメータである。
図16は、従来知られているCMYGの各色フィルタが透過するRGB各色成分の透過率の一例を示した概略図である。図示する例では、カラーフィルタGの赤色の光の透過率は0.11である。また、カラーフィルタGの緑色の光の透過率は0.86である。また、カラーフィルタGの青色の光の透過率は0.08である。また、カラーフィルタMの赤色の光の透過率は0.50である。また、カラーフィルタMの緑色の光の透過率は0.29である。また、カラーフィルタMの青色の光の透過率は0.51である。また、カラーフィルタCの赤色の光の透過率は0.11である。また、カラーフィルタCの緑色の光の透過率は0.92である。また、カラーフィルタCの青色の光の透過率は0.75である。また、カラーフィルタYの赤色の光の透過率は0.81である。また、カラーフィルタYの緑色の光の透過率は0.98である。また、カラーフィルタYの青色の光の透過率は0.08である。
CMYGの各色フィルタが透過するRGB各色成分の透過率が図16に示した場合では、(1)式に示す行列演算(カラーマトリクス変換)を用いて、各画素においてCMYGからRGBに色情報を変換することができる。
Figure 2015088944
上述した動作を行い、CMYGの色情報をRGBの色情報に変換することができる。
特開2004−56640号公報
しかしながら、原色系のカラーフィルタが搭載された撮像素子では、補色系のカラーフィルタが搭載された撮像素子よりもカラーフィルタの透過波長帯域が狭いために、光の透過率が悪くなり、感度が低くなるという問題がある。一方、補色系のカラーフィルタが搭載された撮像素子を用いる場合、CMYGの色情報からRGBの色情報に変換して画像を生成するため(1)式に示したような行列演算を行う。(1)式では、RGBのカラーフィルタやCMYGのカラーフィルタの製造ばらつき等が考慮されていないため、各画素におけるRGBの色再現性の精度が低下するという問題がある。
本発明は、上記課題を解決するためになされたものであり、感度および色再現性の精度を高くすることができる撮像素子を提供することを目的とする。
本発明の幾つかの態様は、第1基板と、前記第1基板に規則的に配置され、照射された光の強度に対応する第1の信号を出力する複数の第1受光素子と、前記第1受光素子の受光面の各々に配置され、少なくとも第2波長帯域と第3波長帯域とを包含する第1波長帯域の光を透過する複数の第1カラーフィルタと、前記第1基板を透過した光が照射されるように配置された第2基板と、前記第2基板に規則的に配置され、照射された光の強度に対応する第2の信号を出力する複数の第2受光素子と、前記第2受光素子の受光面の各々に配置され、前記第2波長帯域の光を透過する複数の第2カラーフィルタと、前記第1の信号と前記第2の信号とを用いて、前記複数の第1受光素子の各々に対応する画素信号を生成する信号処理部と、を備えることを特徴とする撮像素子である。
また、本発明の他の態様の撮像素子において、前記第1波長帯域は、RGB表色系に対するCMY補色系における、マゼンタ色(M)の光の波長帯域または黄色(Y)の光の波長帯域のいずれかであり、前記第2波長帯域は、前記RGB表色系における、赤色(R)の光の波長帯域であり、前記第3波長帯域は、前記RGB表色系における、緑色(G)の光の波長帯域または青色(B)の光の波長帯域のいずれかであることを特徴とする。
また、本発明の他の態様は、前記第1基板に規則的に配置され、照射された光の強度に対応する第3の信号を出力する複数の第3受光素子と、前記第3受光素子の受光面の各々に配置され、少なくとも第5波長帯域を包含する第4波長帯域の光を透過する複数の第3カラーフィルタと、前記第2基板に規則的に配置され、照射された光の強度に対応する第4の信号を出力する複数の第4受光素子と、前記第4受光素子の受光面の各々に配置され、第5波長帯域の光を透過する複数の第4カラーフィルタと、を備え、前記信号処理部は、前記第3の信号と前記第4の信号とを用いて、前記複数の第3受光素子の各々に対応する前記画素信号を生成することを特徴とする撮像素子である。
また、本発明の他の態様の撮像素子において、前記第4波長帯域は、RGB表色系に対するCMY補色系における、シアン色(C)の光の波長帯域または黄色(Y)の光の波長帯域であり、前記第5波長帯域は、前記RGB表色系における、緑色(G)の光の波長帯域であることを特徴とする。
また、本発明の他の態様の撮像素子において、前記第4波長帯域は、前記第5波長帯域と等しいことを特徴とする。
また、本発明の他の態様の撮像素子において、前記第2受光素子は、前記第1受光素子よりも受光面積が広く、前記第2受光素子の各々は、複数個の前記第1受光素子に対して1個配置されていることを特徴とする。
本発明の撮像素子は、第1基板と、複数の第1受光素子と、複数の第1カラーフィルタと、第2基板と、複数の第2受光素子と、複数の第2カラーフィルタと、信号処理部とを備える。複数の第1受光素子は、第1基板に規則的に配置され、照射された光の強度に対応する第1の信号を出力する。複数の第1カラーフィルタは、第1受光素子の受光面の各々に配置され、少なくとも第2波長帯域と第3波長帯域とを包含する第1波長帯域の光を透過する。第2基板は、第1基板を透過した光が照射されるように配置される。複数の第2受光素子は、第2基板に規則的に配置され、照射された光の強度に対応する第2の信号を出力する。複数の第2カラーフィルタは、第2受光素子の受光面の各々に配置され、第2波長帯域の光を透過する。信号処理部は、第1の信号と第2の信号とを用いて、複数の第1受光素子の各々に対応する画素信号を生成する。これにより、感度および色再現性の精度を高くすることができる。
本発明の第1の実施形態における撮像素子の断面を示した断面図である。 本発明の第1の実施形態における補色系カラーフィルタの配列と、原色系カラーフィルタの配列とを示した概略図である。 本発明の第1の実施形態における第1の画素が出力する第1の信号と、第2の画素が出力する第2の信号とを示した概略図である。 本発明の第1の実施形態において、第1のステップの演算を行った結果を示した概略図である。 本発明の第2の実施形態における補色系カラーフィルタの配列と、原色系カラーフィルタの配列とを示した概略図である。 本発明の第2の実施形態における第1の画素が出力する第1の信号および第3の信号と、第2の画素が出力する第2の信号および第4の信号とを示した概略図である。 本発明の第2の実施形態において、第1のステップの演算を行った結果を示した概略図である。 本発明の第3の実施形態における補色系カラーフィルタの配列と、原色系カラーフィルタの配列とを示した概略図である。 本発明の第3の実施形態における第1の画素が出力する第1の信号と、第2の画素が出力する第2の信号とを示した概略図である。 本発明の第3の実施形態において、第1のステップの演算を行った結果を示した概略図である。 本発明の第4の実施形態における補色系カラーフィルタの配列と、原色系カラーフィルタの配列とを示した概略図である。 本発明の第5の実施形態における補色系カラーフィルタの配列と、原色系カラーフィルタの配列とを示した概略図である。 従来知られているベイヤー配列と呼ばれる原色系のカラーフィルタの色配列を示した概略図である。 従来知られている色差順次方式と呼ばれる補色系のカラーフィルタの色配列を示した概略図である。 従来知られているカラーフィルタCと、カラーフィルタMと、カラーフィルタYと、カラーフィルタGとの透過特性を示したグラフである。 従来知られているCMYGの各色フィルタが透過するRGB各色成分の透過率の一例を示した概略図である。
(第1の実施形態)
以下、本発明の第1の実施形態について図面を参照して説明する。図1は、本実施形態における撮像素子100の断面を示した断面図である。図示する例では、撮像素子100は、第1の基板101(第1基板)と、第2の基板102(第2基板)と、補色系カラーフィルタ103と、原色系カラーフィルタ104と、接続部105と、信号処理部106とを備えている。第1の基板101は、シリコンチップ上に形成されており複数の第1の画素を備えている。第2の基板102は、シリコンチップ上に形成されており複数の第2の画素を備えている。なお、補色系カラーフィルタ103は、RGB表色系に対するCMY補色系のカラーフィルタである。
第1の基板101が備える複数の第1の画素と、第2の基板102が備える複数の第2の画素は、それぞれ光電変換素子(受光素子)と信号読み出し回路とを備えている。光電変換素子は、露光量に応じた信号電荷を読み出し回路に対して出力する。信号読み出し回路は、信号電荷を電気信号として出力する。第1の基板101の受光面側には、補色系カラーフィルタ103が形成されている。補色系カラーフィルタ103の配列については後述する。第2の基板102の受光面側には、原色系カラーフィルタ104が形成されている。原色系カラーフィルタ104の配列については後述する。
第1の基板101と第2の基板102とは段積み(スタック)されている。図示する例では、第1の基板101の受光面とは反対側に、第2の基板102が配置されている。第2の基板102の受光面は、第1の基板101が存在する側である。また、第1の基板101と第2の基板102との間には接続部105が構成されており、第1の基板101と第2の基板102とは接続部105を介して電気的に接続されている。すなわち、第1の基板101と第2の基板102とは接続部105を介して貼り合わせている。
第1の基板101が備えている第1の画素の各々は第1の信号を取得する。第2の基板102が備えている第2の画素の各々は第2の信号を取得する。第1の基板101で取得した第1の信号と、第2の基板102で取得した第2の信号とは、接続部105を介して信号処理部106に出力される。信号処理部106は、第1の基板101と第2の基板102とのいずれかに設けるようにしてもよく、第1の基板101および第2の基板102以外に設けるようにしてもよい。信号処理部106は、第1の信号と第2の信号とを用いて、第1の画素の各々の画素信号を生成する。すなわち、信号処理部106は、RGB(赤色、緑色、青色)の色情報を有するフルカラー画像を生成する。
ここで、第1の基板101は裏面照射型の撮像基板であり、第1の基板101の厚さは数um程度と薄い。そのために、第1の基板101の受光面側から入射した光の一部は透過し、第2の基板102の受光面側に入射する。なお、シリコンの深さごとの光に対する吸収率は波長によって異なる。シリコンの浅い部分では、波長が短い光の吸収率は高く、波長が長い光の吸収率は低い。すなわち、厚さが薄い第1の基板101では、波長が短い光を吸収するが、波長が長い光を吸収しない。例えば、本実施形態では、第1の基板101の厚みを約3μmとする。この場合、500nm以上の波長の光(緑色(G)の光のうち高波長側の光、赤色(R)の光、および赤外(IR)光)は一部吸収されずに、第1の基板101を透過する。また、第2の基板102は、表面照射型の撮像基板であり、第1の基板101よりも厚い。そのために、第2の基板102では、第1の基板101を透過した透過光を検出する。
図2は、本実施形態における補色系カラーフィルタ103の配列と、原色系カラーフィルタ104の配列とを示した概略図である。図示する例では、第1の基板101には、4行4列の二次元状に規則的に配列された計16個の第1の画素1011−1〜1011−16(第1受光素子)が含まれている。また、第2の基板102には、4行4列の二次元状に規則的に配列された計16個の第2の画素1021−1〜1021−16(第2受光素子)が含まれている。なお、第1の基板101に含まれる第1の画素1011と第2の基板102に含まれる第2の画素1021との数および配列は図示する例に限らず、どのような数および配列でもよい。
第1の基板101に形成された補色系カラーフィルタ103は、マゼンタ色(M(=B+R))の光を透過するカラーフィルタMと、黄色(Y(=G+R))の光を透過するカラーフィルタYとの複数のカラーフィルタ(第1カラーフィルタ)が配列されたフィルタである。第1の画素1011−1,1011−3,1011−6,1011−8,1011−9,1011−11,1011−14,1011−16には、黄色(Y)の光を透過するカラーフィルタYが形成されている。第1の画素1011−2,1011−4,1011−5,1011−7,1011−10,1011−12,1011−13,1011−15にはマゼンタ色(M)の光を透過するカラーフィルタMが形成されている。
また、縦と横に隣接する4つの第1の画素1011を1組の単位画素領域121とする。例えば、1組の単位画素領域121は、マゼンタ色の光を透過するカラーフィルタMが形成された2つの第1の画素1011−2,1011−5と、黄色の光を透過するカラーフィルタYが形成された2つの第1の画素1011−1,1011−6とで構成されている。
第2の基板102に形成された原色系カラーフィルタ104は、赤色(R)の光を透過するカラーフィルタR(第2カラーフィルタ)が複数配列されたフィルタである。第2の画素1021−1〜1021−16には赤色(R)の光を透過するカラーフィルタRが形成されている。
また、縦と横に隣接する4つの第2の画素1021を1組の単位画素領域122とする。例えば、1組の単位画素領域122は、赤色の光を透過するカラーフィルタRが形成された4つの画素1021−1,1021−2,1021−5,1021−6で構成されている。
また、第1の基板101に含まれる第1の画素1011−1〜1011−16と、第2の基板102に含まれる第2の画素1021−1〜1021−16とは、1対1の対応関係となるように配置されている。例えば、第1の画素1011−1を透過した光は、対応する第2の画素1021−1のみに照射されるように、第1の画素1011−1と第2の画素1021−1とは配置されている。また、第1の画素1011−2を透過した光は、対応する第2の画素1021−2のみに照射されるように、第1の画素1011−2と第2の画素1021−2とは配置されている。同様に、第1の画素1011−3〜1011−16と第2の画素1021−3〜1021−16とについても図示するとおり配置されている。
上述したとおり、第1の基板101は、500nm以上の波長の光(緑色(G)の光のうち高波長側の光、赤色(R)の光、および赤外(IR)光)を透過する。また、第1の基板101を透過した500nm以上の波長の光は第2の基板102に照射される。すなわち、赤色(R)(第2波長帯域)の光と、緑色(G)(第3波長帯域)の光と、青色(B)(第3波長帯域)の光のうち、赤色(R)の光が第1の基板101を最も透過しやすい。従って、本実施形態では図2に示すように、第2の基板102に形成する原色系カラーフィルタ104には、赤色(R)の光を透過するカラーフィルタRのみを用いる。また、第1の基板101に形成する補色系カラーフィルタ103には、第2の基板102に赤色(R)の光を透過させるために、マゼンタ色(M(=B+R))(第1波長帯域)の光を透過するカラーフィルタMと、黄色(Y(=G+R))(第1波長帯域)の光を透過するカラーフィルタYとを用いる。
この構成により、第1の基板101で取得する第1の信号は、マゼンタ色(M)の光の強度に応じた信号Mと、黄色(Y)の光の高度に応じた信号Yである。また、第2の基板102で取得する第2の信号は、赤色(R)の光の強度に応じた信号Rである。信号処理部106は、この第1の信号と第2の信号とを用いて、各第1の画素1011のRGBの色情報を精度良く算出する。なお、信号処理部106によるRGBの色情報の算出方法の詳細については後述する。
次に、撮像素子100の動作について説明する。本実施形態では、撮像素子100をデジタルカメラに用いた場合について説明する。撮像素子100には、赤外光(IR)カットフィルタによって赤外光がカットされた光が照射される。
第1の基板101の受光面側に光が入射される。第1の画素1011−1〜1011−16の各々は、補色系カラーフィルタ103を透過した光を検出し、第1の信号を出力する。具体的には、黄色(Y)の光を透過するカラーフィルタYが形成された第1の画素1011−1,1011−3,1011−6,1011−8,1011−9,1011−11,1011−14,1011−16は、黄色(Y)の光の強度に応じた第1の信号を出力する。また、マゼンタ色(M)の光を透過するカラーフィルタMが形成された第1の画素1011−2,1011−4,1011−5,1011−7,1011−10,1011−12,1011−13,1011−15は、マゼンタ色(M)の光の強度に応じた第1の信号を出力する。
また、第2の基板102の第2の画素1021−1〜1021−16の各々は、補色系カラーフィルタ103と、第1の基板101と、原色系カラーフィルタ104とを透過した光を検出し、第2の信号を出力する。具体的には、赤色(R)の光を透過するカラーフィルタRが形成された第2の画素1021−1〜1021−16の各々は、赤色(R)の光の強度に応じた第2の信号を出力する。
第1の画素1011−1〜1011−16が出力した第1の信号と、第2の画素1021−1〜1021−16が出力した第2の信号は、それぞれ接続部105を介して、信号処理部106に出力される。信号処理部106は、第1の信号と第2の信号とを用いて、各第1の画素1011−1〜1011−16のRGBの色情報を有するフルカラー画像を生成する。
次に、第1の画素1011−1〜1011−16が出力する第1の信号と、第2の画素1021−1〜1021−16が出力する第2の信号とについて説明する。図3は、本実施形態における第1の画素1011−1〜1011−16が出力する第1の信号と、第2の画素1021−1〜1021−16が出力する第2の信号とを示した概略図である。
図示する例では、第1の基板101には、第1の画素1011−1,1011−2,1011−5,1011−6で構成される単位画素領域121が示されている。また、第2の基板102には、第2の画素1021−1,1021−2,1021−5,1021−6で構成される単位画素領域122が示されている。
上述したとおり、第1の画素1011−1,1011−3,1011−6,1011−8,1011−9,1011−11,1011−14,1011−16には、黄色(Y)の光を透過するカラーフィルタYが形成されている。黄色(Y)は青色(B)の補色(=緑色(G)+赤色(R))である。ここで、第1の画素1011−1,1011−3,1011−6,1011−8,1011−9,1011−11,1011−14,1011−16が出力する第1の信号を、αG+βRとする。Gは緑色の光の強度に応じた値である。Rは赤色の光の強度に応じた値である。αおよびβの値は、カラーフィルタYの製造時に決まる値であり、固定値である。
また、上述したとおり、第1の画素1011−2,1011−4,1011−5,1011−7,1011−10,1011−12,1011−13,1011−15には、マゼンタ色(M)の光を透過するカラーフィルタMが形成されている。マゼンタ色(M)は緑色(G)の補色(=青色(B)+赤色(R))である。ここで、第1の画素1011−2,1011−4,1011−5,1011−7,1011−10,1011−12,1011−13,1011−15が出力する第1の信号を、δB+εRとする。Bは青色の光の強度に応じた値である。Rは赤色の光の強度に応じた値である。δおよびεの値は、カラーフィルタMの製造時に決まる値であり、固定値である。
また、上述したとおり、第2の画素1021−1〜1021−16には、赤色(R)の光を透過するカラーフィルタRが形成されている。第2の画素1021−1,1021−3,1021−6,1021−8,1021−9,1021−11,1021−14,1021−16には、第1の画素1011−1,1011−3,1011−6,1011−8,1011−9,1011−11,1011−14,1011−16を透過した光が入射される。すなわち、第2の画素1021−1,1021−3,1021−6,1021−8,1021−9,1021−11,1021−14,1021−16には、カラーフィルタYと、第1の基板101と、カラーフィルタRとを透過した光が入射される。ここで、第2の画素1021−1,1021−3,1021−6,1021−8,1021−9,1021−11,1021−14,1021−16が出力する第2の信号を、γRとする。Rは赤色の光の強度に応じた値である。γの値は、カラーフィルタRの製造時に決まる値であり、固定値である。
また、第1の基板101にてカラーフィルタYが形成された第1の画素1011−2,1011−4,1011−5,1011−7,1011−10,1011−12,1011−13,1011−15が透過する赤色の光に着目すると、βとγとの比は製造時に決まるパラメータである。例えば、カラーフィルタYおよびカラーフィルタRとの透過特性や、第1の基板101および第2の基板102の厚みなどに基づいて決まる第1の基板101と第2の基板102の分光感度によって、βとγとの比は決まる。
第2の画素1021−2,1021−5には、第1の画素1011−2,1011−5を透過した光が入射される。すなわち、第2の画素1021−2,1021−5には、カラーフィルタMと、第1の基板101と、カラーフィルタRとを透過した光が入射される。ここで、第2の画素1021−2,1021−5が出力する第2の信号を、ηRとする。Rは赤色の光の強度に応じた値である。ηの値は、カラーフィルタRの製造時に決まる値であり、固定値である。
また、第1の基板101にてカラーフィルタMが形成された第1の画素1011−2,1011−4,1011−5,1011−7,1011−10,1011−12,1011−13,1011−15が透過する赤色の光に着目すると、εとηとの比は製造時に決まるパラメータである。例えば、カラーフィルタMおよびカラーフィルタRとの透過特性や、第1の基板101および第2の基板102の厚みなどに基づいて決まる第1の基板101と第2の基板102の分光感度によって、εとηとの比は決まる。
次に、信号処理部106によるRGBの色情報の算出方法の詳細について説明する。信号処理部106は、第1の基板101の第1の画素1011−1〜1011−16が出力する第1の信号と、第2の基板102の第2の画素1021−1〜1021−16が出力する第2の信号とを用いて、各第1の画素1011−1〜1011−16のRGBの色情報を算出する。なお、信号処理部106は、以下に示す第1のステップと第2のステップとの2つのステップを実行することで、各第1の画素1011−1〜1011−16のRGBの色情報を算出する。
<第1のステップ>
第1のステップでは、信号処理部106は、補色系カラーフィルタ103を透過した第1の信号と、原色系カラーフィルタ104を透過した第2の信号とを用いて演算処理を行い、各第1の画素1011−1〜1011−16において、RGBの色情報のうち2色の色情報を分離して算出する。
例えば、黄色(Y(=G+R))の光を透過するカラーフィルタYが形成された第1の画素1011−1が出力した第1の信号「αG+βR」と、赤色の光を透過するカラーフィルタRが形成された第2の画素1021−1が出力した第2の信号「γR」とを用いて演算処理を行い、第1の画素1011−1における「G」の色情報と「R」の色情報とを算出する。
具体的には、α、β、γの値は既知であり、βとγの比率も既知であるため、第2の信号「γR」を用いて、第1の信号「αG+βR」のうち、「βR」を算出する。これによって、純粋な「R」の色情報を算出することができる。続いて、第1の信号「αG+βR」から、算出した「βR」を差分して、「αG」を算出する。これによって、純粋な「G」の色情報を算出することができる。すなわち、上述した演算方法により、カラーフィルタYが設けられた第1の画素1011−1における純粋な「G」と「R」の色情報をそれぞれ算出することができる。なお、第1の画素1011−1,1011−3,1011−6,1011−8,1011−9,1011−11,1011−14,1011−16についても同様の処理を行い、純粋な「G」と「R」の色情報をそれぞれ算出する。
また、例えば、マゼンタ色(M(=B+R))の光を透過するカラーフィルタMが形成された第1の画素1011−2が出力した第1の信号「δB+εR」と、赤色の光を透過するカラーフィルタRが形成された第2の画素1021−2が出力した第2の信号「ηR」を用いて演算処理を行い、第1の画素1011−2における「B」の色情報と「R」の色情報とを算出する。
具体的には、δ、ε、ηの値は既知であり、εとηの比率も既知であるため、第2の信号「ηR」を用いて、第1の信号「δB+εR」のうち、「εR」を算出する。これによって、純粋な「R」の色情報を算出することができる。続いて、第1の信号「δB+εR」から、算出した「εR」を差分して、「δB」を算出する。これによって、純粋な「B」の色情報を算出することができる。すなわち、上述した演算方法により、カラーフィルタMが設けられた第1の画素1011−2における純粋な「B」と「R」の色情報をそれぞれ算出することができる。なお、第1の画素1011−2,1011−4,1011−5,1011−7,1011−10,1011−12,1011−13,1011−15についても同様の処理を行い、純粋な「B」と「R」の色情報をそれぞれ算出する。
上述した第1のステップの演算を行うことにより、各第1の画素1011−1〜1011−16において、RGBの色情報のうち、2色の色情報を算出することができる。図4は、本実施形態において、第1のステップの演算を行った結果を示した概略図である。図中の「,」は、補色系カラーフィルタ103が配置された第1の画素1011−1〜1011−16において、RGBの色情報のうち2色の色情報を分離して算出したことを示している。
第1のステップの演算を行うことにより、図示するとおり、カラーフィルタYが形成された第1の画素1011−1,1011−3,1011−6,1011−8,1011−9,1011−11,1011−14,1011−16において、それぞれ「αG,βR」の色情報を得ることができる。なお、上述したとおり、第2の画素1021−1,1021−3,1021−6,1021−8,1021−9,1021−11,1021−14,1021−16が得る色情報は、それぞれ「γR」である。
また、第1のステップの演算を行うことにより、図示するとおり、カラーフィルタMが形成された第1の画素1011−2,1011−4,1011−5,1011−7,1011−10,1011−12,1011−13,1011−15において、それぞれ「δB+εR」の色情報を得ることができる。なお、上述したとおり、第2の画素1021−2,1021−4,1021−5,1021−7,1021−10,1021−12,1021−13,1021−15が得る色情報は、それぞれ「ηR」である。
<第2のステップ>
第2のステップでは、各第1の画素1011−1〜1011−16において、第1のステップで算出した2色の色情報を用いて、残り1色の色情報を算出する。残り1色の色情報は、従来知られているデモザイキング処理と同様に、隣接または近傍に配置されている第1の画素1011−1〜1011−16の色情報を用いて線形補間等を行い、算出する。
例えば、黄色(Y(=G+R))の光を透過するカラーフィルタYが形成された第1の画素1011−6では、「B」の色情報が欠けている。図4において、第1の画素1011−6に隣接する第1の画素1011−1,1011−2,1011−3,1011−5,1011−7,1011−9,1011−10,1011−11に着目すると、第1の画素1011−2,1011−5,1011−7,1011−10において、「B」の色情報を得ている。
信号処理部106は、この4つの第1の画素1011−2,1011−5,1011−7,1011−10の「B」の色情報を用いて補間処理を行い、第1の画素1011−6における「B」の色情報を算出する。例えば、信号処理部106は、従来知られている原色系のデモザイキング処理と同様に線形補間等を用いて欠落した色情報を算出する。なお、第1の画素1011−1,1011−3,1011−8,1011−9,1011−11,1011−14,1011−16についても同様の処理を行い、「B」の色情報をそれぞれ算出する。
また、例えば、マゼンタ色(M(=B+R))の光を透過するカラーフィルタMが形成された第1の画素1011−10では、「G」の色情報が欠けている。図4において、第1の画素1011−10に隣接する第1の画素1011−5,1011−6,1011−7,1011−9,1011−11,1011−13,1011−14,1011−15に着目すると、第1の画素1011−6,1011−9,1011−11,1011−14において、「G」の色情報を得ている。
信号処理部106は、この4つの第1の画素1011−6,1011−9,1011−11,1011−14の「G」の色情報を用いて補間処理を行い、第1の画素1011−10における「G」の色情報を算出する。例えば、信号処理部106は、従来知られている原色系のデモザイキング処理と同様に線形補間等を用いて欠落した色情報を算出する。なお、第1の画素1011−2,1011−4,1011−5,1011−7,1011−12,1011−13,1011−15についても同様の処理を行い、「G」の色情報をそれぞれ算出する。
上述した第1のステップと第2のステップを実行することにより、信号処理部106は、各第1の画素1011−1〜1011−16のRGBの色情報を算出することができる。
例えば、色再現性が良いと言われている従来知られている原色系のベイヤー配列のカラーフィルタを備えた撮像素子では、デモザイキングを行う際に「B」の色情報を取得する画素に着目した場合、隣接する8つの画素のうち、「G」の色情報を取得する画素は4画素であり、「R」の色情報を取得する画素は4画素である。また、「G」の色情報を取得する画素に着目した場合、隣接する8つの画素のうち、「B」の色情報を取得する画素は2画素であり、「R」の色情報を取得する画素は2画素である。また、「R」の色情報を取得する画素に着目した場合、隣接する8つの画素のうち、「B」の色情報を取得する画素は4画素であり、「G」の色情報を取得する画素は4画素である。
一方、本実施形態では、第1の画素1011の全てが「R」の色情報を取得している。また、デモザイキング処理を行う際に、「Y(=G+R))」の色情報を取得する第1の画素1011に着目した場合、隣接する8つの画素のうち、「B」の色情報を取得する画素は4画素である。また、「M(=B+R)」の色情報を取得する第1の画素1011に着目した場合、隣接する8つの画素のうち「G」の色情報を取得する画素は4画素である。
このように、本実施形態では、デモザイキング処理を行う際に、欠けている色情報を取得している隣接画素が増加するために、色補間精度が向上する。また、第1の画素1011には補色系カラーフィルタ103が形成されているため、第1の画素1011の感度は高感度である。従って、本実施形態の撮像素子100は、感度および色再現性の精度を高くすることができる。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。本実施形態と第1の実施形態とで異なる点は、補色系カラーフィルタの配列と、原色系カラーフィルタの配列である。なお、本実施形態における撮像素子200のその他の構成は、第1の実施形態における撮像素子100の構成と同様である。
図5は、本実施形態における補色系カラーフィルタ203の配列と、原色系カラーフィルタ204の配列とを示した概略図である。図示する例では、第1の基板201には、4行4列の二次元状に配列された計16個の第1の画素2011−1〜2011−16が含まれている。また、第2の基板202には、4行4列の二次元状に配列された計16個の第2の画素2021−1〜2021−16が含まれている。なお、第1の基板201に含まれる第1の画素2011と第2の基板202に含まれる第2の画素2021との数および配列は図示する例に限らず、どのような数および配列でもよい。
第1の基板201に形成された補色系カラーフィルタ203は、マゼンタ色(M(=B+R))の光を透過するカラーフィルタMと、黄色(Y(=G+R))の光を透過するカラーフィルタYと、シアン色(C(=B+G))の光を透過するカラーフィルタCとが配列されたフィルタである。第1の画素2011−1,2011−3,2011−9,2011−11(第1受光素子)には、黄色(Y)(第1波長帯域)の光を透過するカラーフィルタY(第1カラーフィルタ)が形成されている。第1の画素2011−2,2011−4,2011−5,2011−7,2011−10,2011−12,2011−13,2011−15(第1受光素子)にはマゼンタ色(M)(第1波長帯域)の光を透過するカラーフィルタM(第1カラーフィルタ)が形成されている。第1の画素2011−6,2011−8,2011−14,2011−16(第3受光素子)にはシアン色(C)(第4波長帯域)の光を透過するカラーフィルタC(第3カラーフィルタ)が形成されている。
また、縦と横に隣接する4つの第1の画素2011を1組の単位画素領域221とする。例えば、1組の単位画素領域221は、マゼンタ色の光を透過するカラーフィルタMが形成された2つの第1の画素2011−2,2011−5と、黄色の光を透過するカラーフィルタYが形成された1つの第1の画素2011−1と、シアン色の光を透過するカラーフィルタCが形成された1つの第1の画素2011−6とで構成されている。
第2の基板202に形成された原色系カラーフィルタ204は、赤色(R)の光を透過するカラーフィルタRと、緑色(G)の光を透過するカラーフィルタGとが配列されたフィルタである。第2の画素2021−1〜2021−5,2021−7,2021−9〜2021−13,2021−15(第2受光素子)には赤色(R)(第2波長帯域)の光を透過するカラーフィルタR(第2カラーフィルタ)が形成されている。第2の画素2021−6,2021−8,2021−14,2021−16(第4受光素子)には緑色(G)(第5波長帯域)の光を透過するカラーフィルタG(第4カラーフィルタ)が形成されている。
また、縦と横に隣接する4つの第2の画素2021を1組の単位画素領域222とする。例えば、1組の単位画素領域222は、赤色の光を透過するカラーフィルタRが形成された3つの第2の画素2021−1,2021−2,2021−5と、緑色の光を透過するカラーフィルタGが形成された1つの第2の画素2021−6とで構成されている。
また、第1の基板201に含まれる第1の画素2011−1〜2011−16と、第2の基板202に含まれる第2の画素2021−1〜2021−16とは、1対1の対応関係となるように配置されている。例えば、第1の画素2011−1を透過した光は、対応する第2の画素2021−1のみに照射されるように、第1の画素2011−1と第2の画素2021−1とは配置されている。また、第1の画素2011−2を透過した光は、対応する第2の画素2021−2のみに照射されるように、第1の画素2011−2と第2の画素2021−2とは配置されている。同様に、第1の画素2011−3〜2011−16と第2の画素2021−3〜2021−16とについても図示するとおり配置されている。
上述したとおり、シアン色(C)の光を透過するカラーフィルタCが配置された第1の画素2011−6,2011−8,2011−14,2011−16に対応する第2の画素2021−6,2021−8,2021−14,2021−16には、緑色(G)の光を透過するカラーフィルタGが形成されている。これは、シアン色(C(=B+G))の光を透過するカラーフィルタCは、赤色(R)の光を透過せず、青色(B)の光と緑色(G)の光を透過するためである。
次に、撮像素子200の動作について説明する。本実施形態では、撮像素子200をデジタルカメラに用いた場合について説明する。撮像素子200には、赤外光(IR)カットフィルタによって赤外光がカットされた光が照射される。
第1の基板201の受光面側に光が入射される。第1の画素2011−1〜2011−16の各々は、補色系カラーフィルタ203を透過した光を検出し、第1の信号または第3の信号を出力する。具体的には、黄色(Y)の光を透過するカラーフィルタYが形成された第1の画素2011−1,2011−3,2011−9,2011−11は、黄色(Y)の光の強度に応じた第1の信号を出力する。また、マゼンタ色(M)の光を透過するカラーフィルタMが形成された第1の画素2011−2,2011−4,2011−5,2011−7,2011−10,2011−12,2011−13,2011−15は、マゼンタ色(M)の光の強度に応じた第1の信号を出力する。また、シアン色(C)の光を透過するカラーフィルタCが形成された第1の画素2011−6,2011−8,2011−14,2011−16は、シアン色(C)の光の強度に応じた第3の信号を出力する。
また、第2の基板202の第2の画素2021−1〜2021−16の各々は、補色系カラーフィルタ203と、第1の基板201と、原色系カラーフィルタ204とを透過した光を検出し、第2の信号または第4の信号を出力する。具体的には、赤色(R)の光を透過するカラーフィルタRが形成された第2の画素2021−1〜2021−5,2021−7,2021−9〜2021−13,2021−15は、赤色(R)の光の強度に応じた第2の信号を出力する。また、緑色(G)の光を透過するカラーフィルタGが形成された第2の画素2021−6,2021−8,2021−14,2021−16は、緑色(G)の光の強度に応じた第4の信号を出力する。
第1の画素2011−1〜2011−16が出力した第1の信号および第3の信号と、第2の画素2021−1〜2021−16が出力した第2の信号および第4の信号は、それぞれ接続部105を介して、信号処理部106に出力される。信号処理部106は、第1の信号〜第4の信号を用いて、各第1の画素2011−1〜2011−16のRGBの色情報を有するフルカラー画像を生成する。
次に、第1の画素2011−1〜2011−16が出力する第1の信号および第3の信号と、第2の画素2021−1〜2021−16が出力する第2の信号および第4の信号とについて説明する。図6は、本実施形態における第1の画素2011−1〜2011−16が出力する第1の信号および第3の信号と、第2の画素2021−1〜2021−16が出力する第2の信号および第4の信号とを示した概略図である。
上述したとおり、第1の画素2011−1,2011−3,2011−9,2011−11には、黄色(Y)の光を透過するカラーフィルタYが形成されている。黄色(Y)は青色(B)の補色(=緑色(G)+赤色(R))である。ここで、第1の画素2011−1,2011−3,2011−9,2011−11が出力する第1の信号を、αG+βRとする。Gは緑色の光の強度に応じた値である。Rは赤色の光の強度に応じた値である。αおよびβの値は、カラーフィルタYの製造時に決まる値であり、固定値である。
また、上述したとおり、第1の画素2011−2,2011−4,2011−5,2011−7,2011−10,2011−12,2011−13,2011−15には、マゼンタ色(M)の光を透過するカラーフィルタMが形成されている。マゼンタ色(M)は緑色(G)の補色(=青色(B)+赤色(R))である。ここで、第1の画素2011−2,2011−4,2011−5,2011−7,2011−10,2011−12,2011−13,2011−15が出力する第1の信号を、δB+εRとする。Bは青色の光の強度に応じた値である。Rは赤色の光の強度に応じた値である。δおよびεの値は、カラーフィルタMの製造時に決まる値であり、固定値である。
また、上述したとおり、第1の画素2011−6,2011−8,2011−14,2011−16には、シアン色(C)の光を透過するカラーフィルタCが形成されている。シアン色(C)は赤色(R)の補色(=青色(B)+緑色(G))である。ここで、第1の画素2011−6,2011−8,2011−14,2011−16が出力する第3の信号を、κB+λGとする。Bは青色の光の強度に応じた値である。Gは緑色の光の強度に応じた値である。κおよびλの値は、カラーフィルタCの製造時に決まる値であり、固定値である。
また、上述したとおり、第2の画素2021−1〜2021−5,2021−7,2021−9〜2021−13,2021−15には、赤色(R)の光を透過するカラーフィルタRが形成されている。第2の画素2021−1,2021−3,2021−9,2021−11には、第1の画素2011−1,2011−3,2011−9,2011−11を透過した光が入射される。すなわち、第2の画素2021−1,2021−3,2021−9,2021−11には、カラーフィルタYと、第1の基板201と、カラーフィルタRとを透過した光が入射される。ここで、第2の画素2021−1,2021−3,2021−9,2021−11が出力する第2の信号を、γRとする。Rは赤色の光の強度に応じた値である。γの値は、カラーフィルタRの製造時に決まる値であり、固定値である。
また、第1の基板201にてカラーフィルタYが形成された第1の画素2011−1,2011−3,2011−9,2011−11が透過する赤色の光に着目すると、βとγとの比は製造時に決まるパラメータである。例えば、カラーフィルタYおよびカラーフィルタRとの透過特性や、第1の基板201および第2の基板202の厚みなどに基づいて決まる第1の基板201と第2の基板202の分光感度によって、βとγとの比は決まる。
第2の画素2021−2,2021−4,2021−5,2021−7,2021−10,2021−12,2021−13,2021−15には、第1の画素2011−2,2011−4,2011−5,2011−7,2011−10,2011−12,2011−13,2011−15を透過した光が入射される。すなわち、第2の画素2021−2,2021−4,2021−5,2021−7,2021−10,2021−12,2021−13,2021−15には、カラーフィルタMと、第1の基板201と、カラーフィルタRとを透過した光が入射される。ここで、第2の画素2021−2,2021−4,2021−5,2021−7,2021−10,2021−12,2021−13,2021−15が出力する第2の信号を、ηRとする。Rは赤色の光の強度に応じた値である。ηの値は、カラーフィルタRの製造時に決まる値であり、固定値である。
また、第1の基板201にてカラーフィルタMが形成された第1の画素2011−2,2011−4,2011−5,2011−7,2011−10,2011−12,2011−13,2011−15が透過する赤色の光に着目すると、εとηとの比は製造時に決まるパラメータである。例えば、カラーフィルタMおよびカラーフィルタRとの透過特性や、第1の基板201および第2の基板202の厚みなどに基づいて決まる第1の基板201と第2の基板202の分光感度によって、εとηとの比は決まる。
また、上述したとおり、第2の画素2021−6,2021−8,2021−14,2021−16には緑色(G)の光を透過するカラーフィルタGが形成されている。第2の画素2021−6,2021−8,2021−14,2021−16には、第1の画素2011−6,2011−8,2011−14,2011−16を透過した光が入射される。すなわち、第2の画素2021−6,2021−8,2021−14,2021−16には、カラーフィルタCと、第1の基板201と、カラーフィルタGとを透過した光が入射される。
なお、緑色の光は、500nm以下の波長を含む。また、第1の基板201は500nm以上の波長の光の一部を透過する。よって、第2の基板202には、撮像素子200の受光面に入射された緑色の光のうち、500nm以下の波長の光は届かない。すなわち、第2の画素2021−6,2021−8,2021−14,2021−16は、緑色の光のうち、高波長領域の光を検出する。ここで、第2の画素2021−6,2021−8,2021−14,2021−16が出力する第4の信号を、μG’とする。G’は緑色の光のうち、高波長領域の光の強度に応じた値である。μの値は、カラーフィルタGの製造時に決まる値であり、固定値である。
次に、信号処理部106によるRGBの色情報の算出方法の詳細について説明する。信号処理部106は、第1の基板201の第1の画素2011−1〜2011−16が出力する第1の信号および第3の信号と、第2の基板202の第2の画素2021−1〜2021−16が出力する第2の信号および第4の信号とを用いて、各第1の画素2011−1〜2011−16のRGBの色情報を算出する。なお、信号処理部106は、以下に示す第1のステップと第2のステップとの2つのステップを実行することで、各第1の画素2011−1〜2011−16のRGBの色情報を算出する。
<第1のステップ>
第1のステップでは、信号処理部106は、黄色(Y(=G+R))の光を透過するカラーフィルタYが形成された第1の画素2011−1,2011−3,2011−9,2011−11における「G」の色情報と「R」の色情報とを算出する。算出方法は第1の実施形態と同様である。
また、信号処理部106は、マゼンタ色(M(=B+R))の光を透過するカラーフィルタMが形成された第1の画素2011−2,2011−4,2011−5,2011−7,2011−10,2011−12,2011−13,2011−15における「B」の色情報と「R」の色情報とを算出する。算出方法は第1の実施形態と同様である。
なお、シアン色(C(=B+G))の光を透過するカラーフィルタCが形成された第1の画素2011−6,2011−8,2011−14,2011−16においては、対応する第2の画素2021−6,2021−8,2021−14,2021−16が、「B」と「G」の色情報を保持していないため、「B」の色情報と「G」の色情報とを算出しない。すなわち、第2の画素2021−6,2021−8,2021−14,2021−16が検出したμG’からλGを算出することができないため、カラーフィルタCが形成された第1の画素2011−6,2011−8,2011−14,2011−16では、「B」の色情報と「G」の色情報とを算出しない。
上述した第1のステップの演算を行うことにより、第1の画素2011−1〜2011−5,2011−7,2011−9〜2011−13,2011−15において、RGBの色情報のうち、2色の色情報を算出することができる。図7は、本実施形態において、第1のステップの演算を行った結果を示した概略図である。図中の「,」は、第1の画素2011−1〜2011−5,2011−7,2011−9〜2011−13,2011−15において、RGBの色情報のうち2色の色情報を分離して算出したことを示している。
第1のステップの演算を行うことにより、図示するとおり、カラーフィルタYが形成された第1の画素2011−1,2011−3,2011−9,2011−11において、それぞれ「αG,βR」の色情報を得ることができる。なお、上述したとおり、第2の画素2021−1,2021−3,2021−9,2021−11が得る色情報は、それぞれ「γR」である。
また、第1のステップの演算を行うことにより、図示するとおり、カラーフィルタMが形成された第1の画素2011−2,2011−4,2011−5,2011−7,2011−10,2011−12,2011−13,2011−15において、それぞれ「δB+εR」の色情報を得ることができる。なお、上述したとおり、第2の画素2021−2,2021−4,2021−5,2021−7,2021−10,2021−12,2021−13,2021−15が得る色情報は、それぞれ「ηR」である。
また、カラーフィルタCが形成された第1の画素2011−6,2011−8,2011−14,2011−16においては、「B」の色情報と「G」の色情報とを算出しないため、第1の画素2011−6,2011−8,2011−14,2011−16が出力した第1の信号「κB+λG」のままである。なお、上述したとおり、第2の画素2021−6,2021−8,2021−14,2021−16が得る色情報は、それぞれ「μG’」である。
<第2のステップ>
第2のステップでは、各第1の画素2011−1〜2011−16において、欠けている色情報を算出する。欠けている色情報は、従来知られているデモザイキング処理と同様に、隣接または近傍に配置されている第1の画素2011−1〜2011−16の色情報を用いて線形補間等を行い、算出する。
例えば、黄色(Y(=G+R))の光を透過するカラーフィルタYが形成された第1の画素2011−11では、「B」の色情報が欠けている。図7において、第1の画素2011−11に隣接する第1の画素2011−6,2011−7,2011−8,2011−10,2011−12,2011−14,2011−15,2011−16に着目すると、第1の画素2011−7,2011−10,2011−12,2011−15において、「B」の色情報を得ている。
信号処理部106は、この4つの第1の画素2011−7,2011−10,2011−12,2011−15の「B」の色情報を用いて補間処理を行い、第1の画素2011−11における「B」の色情報を算出する。例えば、信号処理部106は、従来知られている原色系のデモザイキング処理と同様に線形補間等を用いて欠落した色情報を算出する。なお、第1の画素2011−1,2011−3,2011−9についても同様の処理を行い、「B」の色情報をそれぞれ算出する。
また、例えば、マゼンタ色(M(=B+R))の光を透過するカラーフィルタMが形成された第1の画素2011−10では、「G」の色情報が欠けている。図7において、第1の画素2011−10に隣接する第1の画素2011−5,2011−6,2011−7,2011−9,2011−11,2011−13,2011−14,2011−15に着目すると、第1の画素2011−9,2011−11において、「G」の色情報を得ている。
信号処理部106は、この2つの第1の画素2011−9,2011−11の「G」の色情報を用いて補間処理を行い、第1の画素2011−10における「G」の色情報を算出する。例えば、信号処理部106は、従来知られている原色系のデモザイキング処理と同様に線形補間等を用いて欠落した色情報を算出する。なお、第1の画素2011−2,2011−4,2011−5,2011−7,2011−12,2011−13,2011−15についても同様の処理を行い、「G」の色情報をそれぞれ算出する。
また、例えば、シアン色(C(=B+G))の光を透過するカラーフィルタCが形成された第1の画素2011−6では、「R」の色情報と、「G」の色情報と、「B」の色情報とが欠けている。図7において、第1の画素2011−6に隣接する第1の画素2011−1,2011−2,2011−3,2011−5,2011−7,2011−9,2011−10,2011−11に着目する。この場合、第1の画素2011−1,2011−2,2011−3,2011−5,2011−7,2011−9,2011−10,2011−11において、「R」の色情報を得ている。また、第1の画素2011−1,2011−3,2011−9,2011−11において、「G」の色情報を得ている。また、第1の画素2011−2,2011−5,2011−7,2011−10において、「B」の色情報を得ている。
信号処理部106は、8つの第1の画素2011−1,2011−2,2011−3,2011−5,2011−7,2011−9,2011−10,2011−11の「R」の色情報を用いて補間処理を行い、第1の画素2011−6における「R」の色情報を算出する。また、信号処理部106は、4つの第1の画素2011−1,2011−3,2011−9,2011−11の「G」の色情報を用いて補間処理を行い、第1の画素2011−6における「G」の色情報を算出する。また、信号処理部106は、4つの第1の画素2011−2,2011−5,2011−7,2011−10の「B」の色情報を用いて補間処理を行い、第1の画素2011−6における「B」の色情報を算出する。
例えば、信号処理部106は、従来知られている原色系のデモザイキング処理と同様に線形補間等を用いて欠落した色情報を算出する。なお、第1の画素2011−8,2011−14,2011−16についても同様の処理を行い、「R」の色情報と、「G」の色情報と、「B」の色情報とをそれぞれ算出する。
上述した第1のステップと第2のステップを実行することにより、信号処理部106は、各第1の画素2011−1〜2011−16のRGBの色情報を算出することができる。さらに、カラーフィルタCが形成された第1の画素2011−6,2011−8,2011−14,2011−16に対応する第2の画素2021−6,2021−8,2021−14,2021−16は、緑色(G)の光の高波長帯域である「G’」の色情報を検出している。この「G’」の色情報を検出している第2の画素2021は、4画素に1つ存在する。
このように、本実施形態では、デモザイキング処理を行う際に、欠けている色情報を取得している隣接画素が増加するために、色補間精度が向上する。さらに、第2の画素2021が検出した緑色(G)の光の高波長帯域である「G’」の色情報を、上述したRGBのデモザイキング処理に加えることによって、デモザイキング処理を行う際の色補間精度を向上させ、RGBの色再現性をより高めることができる。また、第1の画素2011には補色系カラーフィルタ203が形成されているため、第1の画素2011の感度は高感度である。従って、本実施形態の撮像素子200は、高感度かつ色再現性を高くすることができる。
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。本実施形態と第1の実施形態とで異なる点は、補色系カラーフィルタの配列と、原色系カラーフィルタの配列である。なお、本実施形態における撮像素子300のその他の構成は、第1の実施形態における撮像素子100の構成と同様である。
図8は、本実施形態における補色系カラーフィルタ303の配列と、原色系カラーフィルタ304の配列とを示した概略図である。図示する例では、第1の基板301には、4行4列の二次元状に配列された計16個の第1の画素3011−1〜3011−16が含まれている。また、第2の基板302には、4行4列の二次元状に配列された計16個の第2の画素3021−1〜3021−16が含まれている。なお、第1の基板301に含まれる第1の画素3011と第2の基板302に含まれる第2の画素3021との数および配列は図示する例に限らず、どのような数および配列でもよい。
第1の基板301に形成された補色系カラーフィルタ303は、マゼンタ色(M(=B+R))の光を透過するカラーフィルタMと、黄色(Y(=G+R))の光を透過するカラーフィルタYと、緑色(G)の光を透過するカラーフィルタGとが配列されたフィルタである。第1の画素3011−1,3011−3,3011−9,3011−11(第1受光素子)には、黄色(Y)(第1波長帯域)の光を透過するカラーフィルタY(第1カラーフィルタ)が形成されている。第1の画素3011−2,3011−4,3011−5,3011−7,3011−10,3011−12,3011−13,3011−15(第1受光素子)にはマゼンタ色(M)(第1波長帯域)の光を透過するカラーフィルタM(第1カラーフィルタ)が形成されている。第1の画素3011−6,3011−8,3011−14,3011−16(第3受光素子)には緑色(G)(第4波長帯域)の光を透過するカラーフィルタG(第3カラーフィルタ)が形成されている。
また、縦と横に隣接する4つの第1の画素3011を1組の単位画素領域321とする。例えば、1組の単位画素領域321は、マゼンタ色の光を透過するカラーフィルタMが形成された2つの第1の画素3011−2,3011−5と、黄色の光を透過するカラーフィルタYが形成された1つの第1の画素3011−1と、緑色の光を透過するカラーフィルタGが形成された1つの第1の画素3011−6とで構成されている。
第2の基板302に形成された原色系カラーフィルタ304は、赤色(R)の光を透過するカラーフィルタRと、緑色(G)の光を透過するカラーフィルタGとが配列されたフィルタである。第2の画素3021−1〜3021−5,3021−7,3021−9〜3021−13,3021−15(第2受光素子)には赤色(R)の光を透過するカラーフィルタR(第2カラーフィルタ)が形成されている。第2の画素3021−6,3021−8,3021−14,3021−16(第4受光素子)には緑色(G)(第5波長帯域)の光を透過するカラーフィルタG(第4カラーフィルタ)が形成されている。
また、縦と横に隣接する4つの第2の画素3021を1組の単位画素領域322とする。例えば、1組の単位画素領域322は、赤色の光を透過するカラーフィルタRが形成された3つの第2の画素3021−1,3021−2,3021−5と、緑色の光を透過するカラーフィルタGが形成された1つの第2の画素3021−6とで構成されている。
また、第1の基板301に含まれる第1の画素3011−1〜3011−16と、第2の基板302に含まれる第2の画素3021−1〜3021−16とは、1対1の対応関係となるように配置されている。例えば、第1の画素3011−1を透過した光は、対応する第2の画素3021−1のみに照射されるように、第1の画素3011−1と第2の画素3021−1とは配置されている。また、第1の画素3011−2を透過した光は、対応する第2の画素3021−2のみに照射されるように、第1の画素3011−2と第2の画素3021−2とは配置されている。同様に、第1の画素3011−3〜3011−16と第2の画素3021−3〜3021−16とについても図示するとおり配置されている。
上述したとおり、緑色(G)の光を透過するカラーフィルタGが配置された第1の画素3011−6,3011−8,3011−14,3011−16に対応する第2の画素2021−6,2021−8,2021−14,2021−16には、緑色(G)の光を透過するカラーフィルタGが形成されている。これは、緑色(G)の光を透過するカラーフィルタGは、赤色(R)の光を透過せず、緑色(G)の光を透過するためである。
次に、撮像素子300の動作について説明する。本実施形態では、撮像素子300をデジタルカメラに用いた場合について説明する。撮像素子300には、赤外光(IR)カットフィルタによって赤外光がカットされた光が照射される。
第1の基板301の受光面側に光が入射される。第1の画素3011−1〜3011−16の各々は、補色系カラーフィルタ303を透過した光を検出し、第1の信号を出力する。具体的には、黄色(Y)の光を透過するカラーフィルタYが形成された第1の画素3011−1,3011−3,3011−9,3011−11は、黄色(Y)の光の強度に応じた第1の信号を出力する。また、マゼンタ色(M)の光を透過するカラーフィルタMが形成された第1の画素3011−2,3011−4,3011−5,3011−7,3011−10,3011−12,3011−13,3011−15は、マゼンタ色(M)の光の強度に応じた第1の信号を出力する。また、緑色(G)の光を透過するカラーフィルタGが形成された第1の画素3011−6,3011−8,3011−14,3011−16は、緑色(G)の光の強度に応じた第3の信号を出力する。
また、第2の基板302の第2の画素3021−1〜3021−16の各々は、補色系カラーフィルタ303と、第1の基板301と、原色系カラーフィルタ304とを透過した光を検出し、第2の信号を出力する。具体的には、赤色(R)の光を透過するカラーフィルタRが形成された第2の画素3021−1〜3021−5,3021−7,3021−9〜3021−13,3021−15は、赤色(R)の光の強度に応じた第2の信号を出力する。また、緑色(G)の光を透過するカラーフィルタGが形成された第2の画素3021−6,3021−8,3021−14,3021−16は、緑色(G)の光の強度に応じた第4の信号を出力する。
第1の画素3011−1〜3011−16が出力した第1の信号および第3の信号と、第2の画素3021−1〜3021−16が出力した第2の信号および第4の信号は、それぞれ接続部105を介して、信号処理部106に出力される。信号処理部106は、第1の信号〜第4の信号を用いて、各第1の画素3011−1〜3011−16のRGBの色情報を有するフルカラー画像を生成する。
次に、第1の画素3011−1〜3011−16が出力する第1の信号および第3の信号と、第2の画素3021−1〜3021−16が出力する第2の信号および第4の信号とについて説明する。図9は、本実施形態における第1の画素3011−1〜3011−16が出力する第1の信号および第3の信号と、第2の画素3021−1〜3021−16が出力する第2の信号および第4の信号とを示した概略図である。
上述したとおり、第1の画素3011−1,3011−3,3011−9,3011−11には、黄色(Y)の光を透過するカラーフィルタYが形成されている。黄色(Y)は青色(B)の補色(=緑色(G)+赤色(R))である。ここで、第1の画素3011−1,3011−3,3011−9,3011−11が出力する第1の信号を、αG+βRとする。Gは緑色の光の強度に応じた値である。Rは赤色の光の強度に応じた値である。αおよびβの値は、カラーフィルタYの製造時に決まる値であり、固定値である。
また、上述したとおり、第1の画素3011−2,3011−4,3011−5,3011−7,3011−10,3011−12,3011−13,3011−15には、マゼンタ色(M)の光を透過するカラーフィルタMが形成されている。マゼンタ色(M)は緑色(G)の補色(=青色(B)+赤色(R))である。ここで、第1の画素3011−2,3011−4,3011−5,3011−7,3011−10,3011−12,3011−13,3011−15が出力する第1の信号を、δB+εRとする。Bは青色の光の強度に応じた値である。Rは赤色の光の強度に応じた値である。δおよびεの値は、カラーフィルタMの製造時に決まる値であり、固定値である。
また、上述したとおり、第1の画素3011−6,3011−8,3011−14,3011−16には、緑色(G)の光を透過するカラーフィルタGが形成されている。ここで、第1の画素3011−6,3011−8,3011−14,3011−16が出力する第3の信号を、λGとする。Gは緑色の光の強度に応じた値である。λの値は、補色系カラーフィルタ303のカラーフィルタGの製造時に決まる値であり、固定値である。
また、上述したとおり、第2の画素3021−1〜3021−5,3021−7,3021−9〜3021−13,3021−15には、赤色(R)の光を透過するカラーフィルタRが形成されている。第2の画素3021−1,3021−3,3021−9,3021−11には、第1の画素3011−1,3011−3,3011−9,3011−11を透過した光が入射される。すなわち、第2の画素3021−1,3021−3,3021−9,3021−11には、カラーフィルタYと、第1の基板301と、カラーフィルタRとを透過した光が入射される。ここで、第2の画素3021−1,3021−3,3021−9,3021−11が出力する第2の信号を、γRとする。Rは赤色の光の強度に応じた値である。γの値は、カラーフィルタRの製造時に決まる値であり、固定値である。
また、第1の基板301にてカラーフィルタYが形成された第1の画素3011−1,3011−3,3011−9,3011−11が透過する赤色の光に着目すると、βとγとの比は製造時に決まるパラメータである。例えば、カラーフィルタYおよびカラーフィルタRとの透過特性や、第1の基板301および第2の基板302の厚みなどに基づいて決まる第1の基板301と第2の基板302の分光感度によって、βとγとの比は決まる。
第2の画素3021−2,3021−4,3021−5,3021−7,3021−10,3021−12,3021−13,3021−15には、第1の画素3011−2,3011−4,3011−5,3011−7,3011−10,3011−12,3011−13,3011−15を透過した光が入射される。すなわち、第2の画素3021−2,3021−4,3021−5,3021−7,3021−10,3021−12,3021−13,3021−15には、カラーフィルタMと、第1の基板301と、カラーフィルタRとを透過した光が入射される。ここで、第2の画素3021−2,3021−4,3021−5,3021−7,3021−10,3021−12,3021−13,3021−15が出力する第2の信号を、ηRとする。Rは赤色の光の強度に応じた値である。ηの値は、カラーフィルタRの製造時に決まる値であり、固定値である。
また、第1の基板301にてカラーフィルタMが形成された第1の画素3011−2,3011−4,3011−5,3011−7,3011−10,3011−12,3011−13,3011−15が透過する赤色の光に着目すると、εとηとの比は製造時に決まるパラメータである。例えば、カラーフィルタMおよびカラーフィルタRとの透過特性や、第1の基板301および第2の基板302の厚みなどに基づいて決まる第1の基板301と第2の基板302の分光感度によって、εとηとの比は決まる。
また、上述したとおり、第2の画素3021−6,3021−8,3021−14,3021−16には緑色(G)の光を透過するカラーフィルタGが形成されている。第2の画素3021−6,3021−8,3021−14,3021−16には、第1の画素3011−6,3011−8,3011−14,3011−16を透過した光が入射される。すなわち、第2の画素3021−6,3021−8,3021−14,3021−16には、補色系カラーフィルタ303のカラーフィルタGと、第1の基板201と、原色系カラーフィルタ304のカラーフィルタGとを透過した光が入射される。
なお、緑色の光は、500nm以下の波長を含む。また、第1の基板301は500nm以上の波長の光の一部を透過する。よって、第2の基板302には、撮像素子300の受光面に入射された緑色の光のうち、500nm以下の波長の光は届かない。すなわち、第2の画素3021−6,3021−8,3021−14,3021−16は、緑色の光のうち、高波長領域の光を検出する。ここで、第2の画素3021−6,3021−8,3021−14,3021−16が出力する第4の信号を、μG’とする。G’は緑色の光のうち、高波長領域の光の強度に応じた値である。μの値は、原色系カラーフィルタ304のカラーフィルタGの製造時に決まる値であり、固定値である。
次に、信号処理部106によるRGBの色情報の算出方法の詳細について説明する。信号処理部106は、第1の基板301の第1の画素3011−1〜3011−16が出力する第1の信号および第3の信号と、第2の基板302の第2の画素3021−1〜3021−16が出力する第2の信号および第4の信号とを用いて、各第1の画素3011−1〜3011−16のRGBの色情報を算出する。なお、信号処理部106は、以下に示す第1のステップと第2のステップとの2つのステップを実行することで、各第1の画素3011−1〜3011−16のRGBの色情報を算出する。
<第1のステップ>
第1のステップでは、信号処理部106は、黄色(Y(=G+R))の光を透過するカラーフィルタYが形成された第1の画素3011−1,3011−3,3011−9,3011−11における「G」の色情報と「R」の色情報とを算出する。算出方法は第1の実施形態と同様である。
また、信号処理部106は、マゼンタ色(M(=B+R))の光を透過するカラーフィルタMが形成された第1の画素3011−2,3011−4,3011−5,3011−7,3011−10,3011−12,3011−13,3011−15における「B」の色情報と「R」の色情報とを算出する。算出方法は第1の実施形態と同様である。
なお、緑色の光を透過するカラーフィルタGが形成された第1の画素3011−6,3011−8,3011−14,3011−16においては、第1の信号「λG」が「G」の色情報である。
上述した第1のステップの演算を行うことにより、第1の画素3011−1〜3011−5,3011−7,3011−9〜3011−13,3011−15において、RGBの色情報のうち、2色の色情報を算出することができる。図10は、本実施形態において、第1のステップの演算を行った結果を示した概略図である。図中の「,」は、第1の画素3011−1〜3011−5,3011−7,3011−9〜3011−13,3011−15において、RGBの色情報のうち2色の色情報を分離して算出したことを示している。
第1のステップの演算を行うことにより、図示するとおり、カラーフィルタYが形成された第1の画素3011−1,3011−3,3011−9,3011−11において、それぞれ「αG,βR」の色情報を得ることができる。なお、上述したとおり、第2の画素3021−1,3021−3,3021−9,3021−11が得る色情報は、それぞれ「γR」である。
また、第1のステップの演算を行うことにより、図示するとおり、カラーフィルタMが形成された第1の画素3011−2,3011−4,3011−5,3011−7,3011−10,3011−12,3011−13,3011−15において、それぞれ「δB+εR」の色情報を得ることができる。なお、上述したとおり、第2の画素3021−2,3021−4,3021−5,3021−7,3021−10,3021−12,3021−13,3021−15が得る色情報は、それぞれ「ηR」である。
また、カラーフィルタGが形成された第1の画素3011−6,3011−8,3011−14,3011−16においては、第1の信号「λG」が「G」の色情報である。なお、上述したとおり、第2の画素3021−6,3021−8,3021−14,3021−16が得る色情報は、それぞれ「μG’」である。
<第2のステップ>
第2のステップでは、各第1の画素3011−1〜3011−16における1色または2色の色情報を用いて、残り1色または2色の色情報を算出する。残り1色または2色の色情報は、従来知られているデモザイキング処理と同様に、隣接または近傍に配置されている第1の画素3011−1〜3011−16の色情報を用いて線形補間等を行い、算出する。
例えば、黄色(Y(=G+R))の光を透過するカラーフィルタYが形成された第1の画素3011−11では、「B」の色情報が欠けている。図10において、第1の画素3011−11に隣接する第1の画素3011−6,3011−7,3011−8,3011−10,3011−12,3011−14,3011−15,3011−16に着目すると、第1の画素3011−7,3011−10,3011−12,3011−15において、「B」の色情報を得ている。
信号処理部106は、この4つの第1の画素3011−7,3011−10,3011−12,3011−15の「B」の色情報を用いて補間処理を行い、第1の画素3011−11における「B」の色情報を算出する。例えば、信号処理部106は、従来知られている原色系のデモザイキング処理と同様に線形補間等を用いて欠落した色情報を算出する。なお、第1の画素3011−1,3011−3,3011−9についても同様の処理を行い、「B」の色情報をそれぞれ算出する。
また、例えば、マゼンタ色(M(=B+R))の光を透過するカラーフィルタMが形成された第1の画素3011−10では、「G」の色情報が欠けている。図10において、第1の画素3011−10に隣接する第1の画素3011−5,3011−6,3011−7,3011−9,3011−11,3011−13,3011−14,3011−15に着目すると、第1の画素3011−6,3011−9,3011−11,3011−14において、「G」の色情報を得ている。
信号処理部106は、この4つの第1の画素3011−6,3011−9,3011−11,3011−14の「G」の色情報を用いて補間処理を行い、第1の画素3011−10における「G」の色情報を算出する。例えば、信号処理部106は、従来知られている原色系のデモザイキング処理と同様に線形補間等を用いて欠落した色情報を算出する。なお、第1の画素3011−2,3011−4,3011−5,3011−7,3011−12,3011−13,3011−15についても同様の処理を行い、「G」の色情報をそれぞれ算出する。
また、例えば、緑色(G)の光を透過するカラーフィルタGが形成された第1の画素3011−6では、「R」の色情報と「B」の色情報とが欠けている。図10において、第1の画素3011−6に隣接する第1の画素3011−1,3011−2,3011−3,3011−5,3011−7,3011−9,3011−10,3011−11に着目する。この場合、第1の画素3011−1,3011−2,3011−3,3011−5,3011−7,3011−9,3011−10,3011−11において、「R」の色情報を得ている。また、第1の画素3011−2,3011−5,3011−7,3011−10において、「B」の色情報を得ている。
信号処理部106は、8つの第1の画素3011−1,3011−2,3011−3,3011−5,3011−7,3011−9,3011−10,3011−11の「R」の色情報を用いて補間処理を行い、第1の画素3011−6における「R」の色情報を算出する。また、信号処理部106は、4つの第1の画素3011−2,3011−5,3011−7,3011−10の「B」の色情報を用いて補間処理を行い、第1の画素3011−6における「B」の色情報を算出する。
例えば、信号処理部106は、従来知られている原色系のデモザイキング処理と同様に線形補間等を用いて欠落した色情報を算出する。なお、第1の画素3011−8,3011−14,3011−16についても同様の処理を行い、「R」の色情報と「B」の色情報とをそれぞれ算出する。
上述した第1のステップと第2のステップを実行することにより、信号処理部106は、各第1の画素3011−1〜3011−16のRGBの色情報を算出することができる。さらに、カラーフィルタGが形成された第1の画素3011−6,3011−8,3011−14,3011−16に対応する第2の画素3021−6,3021−8,3021−14,3021−16は、緑色(G)の光の高波長帯域である「G’」の色情報を検出している。この「G’」の色情報を検出している第2の画素3021は、4画素に1つある。
このように、本実施形態では、デモザイキング処理を行う際に、欠けている色情報を取得している隣接画素が増加するために、色補間精度が向上する。さらに、第2の画素3021が検出した緑色(G)の光の高波長帯域である「G’」の色情報を、上述したRGBのデモザイキング処理に加えることによって、デモザイキング処理を行う際の色補間精度を向上させ、RGBの色再現性をより高めることができる。また、第1の画素3011には補色系カラーフィルタ303が形成されているため、第1の画素3011の感度は高感度である。従って、本実施形態の撮像素子300は、高感度かつ色再現性を高くすることができる。
(第4の実施形態)
次に、本発明の第4の実施形態について説明する。本実施形態と第1の実施形態とで異なる点は、第1の基板の第1の画素の受光面積よりも、第2の基板の第2の画素の受光面積が広い点である。なお、本実施形態における撮像素子400のその他の構成は、第1の実施形態における撮像素子100の構成と同様である。
図11は、本実施形態における補色系カラーフィルタ403の配列と、原色系カラーフィルタ404の配列とを示した概略図である。図示する例では、第1の基板401には、4行4列の二次元状に配列された計16個の第1の画素4011−1〜4011−16が含まれている。また、第2の基板402には、2行4列の二次元状に配列された計8個の第2の画素4021−1〜4021−8が含まれている。第2の画素4021−1〜4021−8の受光面積は、第1の画素4011−1〜4011−16の受光面積の2倍である。なお、第1の基板401に含まれる第1の画素4011と第2の基板402に含まれる第2の画素4021との数および配列は図示する例に限らず、どのような数および配列でもよい。
第1の基板401に形成された補色系カラーフィルタ403は、マゼンタ色(M(=B+R))の光を透過するカラーフィルタMと、黄色(Y(=G+R))の光を透過するカラーフィルタYとが配列されたフィルタである。第1の画素4011−1,4011−3,4011−5,4011−7,4011−9,4011−11,4011−13,4011−15には、黄色(Y)の光を透過するカラーフィルタYが形成されている。第1の画素4011−2,4011−4,4011−6,4011−8,4011−10,4011−12,4011−14,4011−16にはマゼンタ色(M)の光を透過するカラーフィルタMが形成されている。
第2の基板402に形成された原色系カラーフィルタ404は、赤色(R)の光を透過するカラーフィルタRが配列されたフィルタである。第2の画素4021−1〜4021−8には赤色(R)の光を透過するカラーフィルタRが形成されている。
また、第1の基板401に含まれる第1の画素4011−1〜4011−16と、第2の基板402に含まれる第2の画素4021−1〜4021−8とは、2対1の対応関係となるように配置されている。例えば、第1の画素4011−1,4011−5を透過した光は、対応する第2の画素4021−1のみに照射されるように、第1の画素4011−1,4011−5と第2の画素4021−1とは配置されている。また、第1の画素4011−2,4022−6を透過した光は、対応する第2の画素4021−2のみに照射されるように、第1の画素4011−2,4011−6と第2の画素4021−2とは配置されている。同様に、第1の画素4011−3,4011−4,4011−7〜4011−16と第2の画素4021−3〜4021−8とについても図示するとおり配置されている。
上述したとおり本実施形態では、第2の画素4021−1〜4021−8の各受光面積を第1の画素4011−1〜4011−16の各受光面積の2倍としている。これは、第1の基板401を透過して第2の基板402に照射される赤色(R)の光の一部が、第1の基板401によって吸収され、第2の基板に照射される単位面積あたりの入射光量が減少するために、第2の画素4021−1〜4021−8の受光感度を高くするためである。
例えば、第1の基板401の厚みが約3μmの場合、第2の基板402に照射される赤色(R)の光は、第1の基板401に照射される赤色(R)の光の約15%に減衰する。そのため、第2の基板402に照射される光量が少なくなり、第2の画素4021の受光面積が小さい場合にはSN比が低下する。
本実施形態では、第2の画素4021−1〜4021−8の各受光面積を第1の画素4011−1〜4011−16の各受光面積の2倍としている。従って、第2の画素4021−1〜4021−8の受光感度が高くなり、SN比を大きくすることができる。
なお、信号処理部106によるRGBの色情報の算出方法は、第1の実施形態と同様である。また、本実施形態においても第1の実施形態と同様に、デモザイキング処理を行う際に、欠けている色情報を取得している隣接画素が増加するために、色補間精度が向上する。また、第1の画素4011には補色系カラーフィルタ403が形成されているため、第1の画素4011の感度は高感度である。従って、本実施形態の撮像素子400は、高感度かつ色再現性を高くすることができる。
(第5の実施形態)
次に、本発明の第5の実施形態について説明する。本実施形態と第1の実施形態とで異なる点は、本実施形態では、1組の単位画素領域が2つの画素(横×縦:1画素×2画素、または2画素×1画素)で構成されている点である。なお、本実施形態における撮像素子500のその他の構成は、第1の実施形態における撮像素子100の構成と同様である。
図12は、本実施形態における補色系カラーフィルタ503の配列と、原色系カラーフィルタ504の配列とを示した概略図である。図示する例では、第1の基板501には、4行4列の二次元状に配列された計16個の第1の画素5011−1〜5011−16が含まれている。また、第2の基板502には、4行4列の二次元状に配列された計16個の第2の画素5021−1〜5021−16が含まれている。なお、第1の基板501に含まれる第1の画素5011と第2の基板502に含まれる第2の画素5021との数および配列は図示する例に限らず、どのような数および配列でもよい。
第1の基板501に形成された補色系カラーフィルタ503は、マゼンタ色(M(=B+R))の光を透過するカラーフィルタMと、黄色(Y(=G+R))の光を透過するカラーフィルタYとが配列されたフィルタである。第1の画素5011−1〜5011−4,5011−9〜5011−12には、黄色(Y)の光を透過するカラーフィルタYが形成されている。第1の画素5011−5〜5011−8,5011−13〜5011−16にはマゼンタ色(M)の光を透過するカラーフィルタMが形成されている。
また、縦に隣接する2つの第1の画素5011を1組の単位画素領域521とする。例えば、1組の単位画素領域521は、黄色の光を透過するカラーフィルタYが形成された1つの第1の画素5011−1と、マゼンタ色の光を透過するカラーフィルタMが形成された1つの第1の画素5011−5とで構成されている。
第2の基板502に形成された原色系カラーフィルタ504は、赤色(R)の光を透過するカラーフィルタRが配列されたフィルタである。第2の画素5021−1〜5021−16には赤色(R)の光を透過するカラーフィルタRが形成されている。
また、縦に隣接する2つの第2の画素5021を1組の単位画素領域522とする。例えば、1組の単位画素領域522は、赤色の光を透過するカラーフィルタRが形成された2つの画素5021−1,5021−5で構成されている。
また、第1の基板501に含まれる第1の画素5011−1〜5011−16と、第2の基板502に含まれる第2の画素5021−1〜5021−16とは、1対1の対応関係となるように配置されている。例えば、第1の画素5011−1を透過した光は、対応する第2の画素5021−1のみに照射されるように、第1の画素5011−1と第2の画素5021−1とは配置されている。また、第1の画素5011−2を透過した光は、対応する第2の画素5021−2のみに照射されるように、第1の画素5011−2と第2の画素5021−2とは配置されている。同様に、第1の画素5011−3〜5011−16と第2の画素5021−3〜5021−16とについても図示するとおり配置されている。
第1の実施形態で説明したとおり、第1の基板501の第1の画素5011にカラーフィルタMまたはカラーフィルタYを形成し、第2の基板502の第2の画素5021にカラーフィルタRを形成することによって、隣接する2つの第1の画素5011にてRGBの全ての色情報を取得することができる。
従って、ベイヤー配列や色差順次方式を用いるフィルタの配列のように、縦と横に隣接する4つの画素(2画素×2画素)で単位画素領域を構成せずとも、本実施形態のように、2つの第1の画素5011で単位画素領域521を構成することで、RGBのフル画像を生成することができる。
なお、信号処理部106によるRGBの色情報の算出方法は、第1の実施形態と同様である。また、本実施形態においても第1の実施形態と同様に、デモザイキング処理を行う際に、欠けている色情報を取得している隣接画素が増加するために、色補間精度が向上する。また、第1の画素5011には補色系カラーフィルタ503が形成されているため、第1の画素5011の感度は高感度である。従って、4画素で1組の単位画像領域を構成することなく、高感度かつ色再現性の高い撮像素子500を構成することができる。
以上、この発明の第1の実施形態〜第5の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
100,200,300,400,500・・・撮像素子、101,201,301,401,501・・・第1の基板、102,202,302,402,502・・・第2の基板、103,203,303,403,503・・・補色系カラーフィルタ、104,204,304,404,504・・・原色系カラーフィルタ、105・・・接続部、106・・・信号処理部、121,122,221,222,321,322,521,522・・・単位画素領域、1011,2011,3011,4011,5011・・・第1の画素、1021,2021,3021,4021,5021・・・第2の画素

Claims (6)

  1. 第1基板と、
    前記第1基板に規則的に配置され、照射された光の強度に対応する第1の信号を出力する複数の第1受光素子と、
    前記第1受光素子の受光面の各々に配置され、少なくとも第2波長帯域と第3波長帯域とを包含する第1波長帯域の光を透過する複数の第1カラーフィルタと、
    前記第1基板を透過した光が照射されるように配置された第2基板と、
    前記第2基板に規則的に配置され、照射された光の強度に対応する第2の信号を出力する複数の第2受光素子と、
    前記第2受光素子の受光面の各々に配置され、前記第2波長帯域の光を透過する複数の第2カラーフィルタと、
    前記第1の信号と前記第2の信号とを用いて、前記複数の第1受光素子の各々に対応する画素信号を生成する信号処理部と、
    を備えることを特徴とする撮像素子。
  2. 前記第1波長帯域は、RGB表色系に対するCMY補色系における、マゼンタ色(M)の光の波長帯域または黄色(Y)の光の波長帯域のいずれかであり、
    前記第2波長帯域は、前記RGB表色系における、赤色(R)の光の波長帯域であり、
    前記第3波長帯域は、前記RGB表色系における、緑色(G)の光の波長帯域または青色(B)の光の波長帯域のいずれかである
    ことを特徴とする請求項1に記載の撮像素子。
  3. 前記第1基板に規則的に配置され、照射された光の強度に対応する第3の信号を出力する複数の第3受光素子と、
    前記第3受光素子の受光面の各々に配置され、少なくとも第5波長帯域を包含する第4波長帯域の光を透過する複数の第3カラーフィルタと、
    前記第2基板に規則的に配置され、照射された光の強度に対応する第4の信号を出力する複数の第4受光素子と、
    前記第4受光素子の受光面の各々に配置され、第5波長帯域の光を透過する複数の第4カラーフィルタと、
    を備え、
    前記信号処理部は、前記第3の信号と前記第4の信号とを用いて、前記複数の第3受光素子の各々に対応する前記画素信号を生成する
    ことを特徴とする請求項1に記載の撮像素子。
  4. 前記第4波長帯域は、RGB表色系に対するCMY補色系における、シアン色(C)の光の波長帯域または黄色(Y)の光の波長帯域であり、
    前記第5波長帯域は、前記RGB表色系における、緑色(G)の光の波長帯域である
    ことを特徴とする請求項3に記載の撮像素子。
  5. 前記第4波長帯域は、前記第5波長帯域と等しい
    ことを特徴とする請求項3に記載の撮像素子。
  6. 前記第2受光素子は、前記第1受光素子よりも受光面積が広く、
    前記第2受光素子の各々は、複数個の前記第1受光素子に対して1個配置されている
    ことを特徴とする請求項1に記載の撮像素子。
JP2013226260A 2013-10-31 2013-10-31 撮像素子 Active JP6245942B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013226260A JP6245942B2 (ja) 2013-10-31 2013-10-31 撮像素子
PCT/JP2014/076032 WO2015064274A1 (ja) 2013-10-31 2014-09-30 撮像素子
US15/136,523 US10056418B2 (en) 2013-10-31 2016-04-22 Imaging element for generating a pixel signal corresponding to light receiving elements

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013226260A JP6245942B2 (ja) 2013-10-31 2013-10-31 撮像素子

Publications (2)

Publication Number Publication Date
JP2015088944A true JP2015088944A (ja) 2015-05-07
JP6245942B2 JP6245942B2 (ja) 2017-12-13

Family

ID=53003887

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013226260A Active JP6245942B2 (ja) 2013-10-31 2013-10-31 撮像素子

Country Status (3)

Country Link
US (1) US10056418B2 (ja)
JP (1) JP6245942B2 (ja)
WO (1) WO2015064274A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7071055B2 (ja) * 2017-02-24 2022-05-18 キヤノン株式会社 撮像素子および撮像装置
WO2021187076A1 (ja) * 2020-03-16 2021-09-23 ソニーセミコンダクタソリューションズ株式会社 撮像素子及び電子機器

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013070030A (ja) * 2011-09-06 2013-04-18 Sony Corp 撮像素子、電子機器、並びに、情報処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004056640A (ja) 2002-07-23 2004-02-19 Dainippon Printing Co Ltd 補色系単板式カラーディジタルカメラにおける撮像画像の補間方法、その補間装置及びそれを備えたディジタルカメラ
JP5332572B2 (ja) * 2008-12-08 2013-11-06 ソニー株式会社 固体撮像装置、及び電子機器
US9294691B2 (en) 2011-09-06 2016-03-22 Sony Corporation Imaging device, imaging apparatus, manufacturing apparatus and manufacturing method
US20130075607A1 (en) * 2011-09-22 2013-03-28 Manoj Bikumandla Image sensors having stacked photodetector arrays
JP6076093B2 (ja) 2013-01-08 2017-02-08 オリンパス株式会社 撮像装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013070030A (ja) * 2011-09-06 2013-04-18 Sony Corp 撮像素子、電子機器、並びに、情報処理装置

Also Published As

Publication number Publication date
JP6245942B2 (ja) 2017-12-13
US20160240573A1 (en) 2016-08-18
US10056418B2 (en) 2018-08-21
WO2015064274A1 (ja) 2015-05-07

Similar Documents

Publication Publication Date Title
US10032810B2 (en) Image sensor with dual layer photodiode structure
JP5285879B2 (ja) イメージ撮像装置及びイメージ撮像装置の動作方法
JP4984634B2 (ja) 物理情報取得方法および物理情報取得装置
US9888194B2 (en) Array camera architecture implementing quantum film image sensors
JP5187433B2 (ja) 物理情報取得方法および物理情報取得装置
US9167230B2 (en) Image sensor for simultaneously obtaining color image and depth image, method of operating the image sensor, and image processing system including the image sensor
JP5661201B2 (ja) 固体撮像装置
KR101621158B1 (ko) 고체 촬상 장치
JP2011243862A (ja) 撮像デバイス及び撮像装置
EP3021577B1 (en) Imaging device
JP2011166477A (ja) 固体撮像素子及び画像入力装置
JP5331119B2 (ja) 固体撮像素子および撮像装置
JP4404561B2 (ja) Mos型カラー固体撮像装置
WO2010100896A1 (ja) 撮像装置および両面照射型固体撮像素子
JP4264248B2 (ja) カラー固体撮像装置
JP6245942B2 (ja) 撮像素子
JP2014075767A (ja) 固体撮像装置
EP2784820A1 (en) Solid state imaging device
JP2004186311A (ja) Mos型イメージセンサ及びデジタルカメラ
KR20160072508A (ko) 컬러 필터 어레이 및 이를 구비한 이미지 센서
JP6248417B2 (ja) 撮像素子およびカメラ
JP6399146B2 (ja) 撮像装置
JP2005353716A (ja) 固体撮像素子及び撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20171017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171114

R151 Written notification of patent or utility model registration

Ref document number: 6245942

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250