JP2008022521A - 固体撮像素子 - Google Patents

固体撮像素子 Download PDF

Info

Publication number
JP2008022521A
JP2008022521A JP2007016971A JP2007016971A JP2008022521A JP 2008022521 A JP2008022521 A JP 2008022521A JP 2007016971 A JP2007016971 A JP 2007016971A JP 2007016971 A JP2007016971 A JP 2007016971A JP 2008022521 A JP2008022521 A JP 2008022521A
Authority
JP
Japan
Prior art keywords
color
pixels
pixel
data value
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007016971A
Other languages
English (en)
Other versions
JP5106870B2 (ja
Inventor
Hironaga Honda
多 浩 大 本
Yoshinori Iida
田 義 典 飯
Yoshitaka Egawa
川 佳 孝 江
Takeshi Ito
藤 剛 伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2007016971A priority Critical patent/JP5106870B2/ja
Priority to TW096121383A priority patent/TW200816805A/zh
Priority to US11/815,903 priority patent/US7990447B2/en
Priority to EP07745543A priority patent/EP2039149A2/en
Priority to KR1020097000718A priority patent/KR101012537B1/ko
Priority to PCT/JP2007/062470 priority patent/WO2007145373A2/en
Priority to CN2007800220813A priority patent/CN101467444B/zh
Publication of JP2008022521A publication Critical patent/JP2008022521A/ja
Application granted granted Critical
Publication of JP5106870B2 publication Critical patent/JP5106870B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Processing Of Color Television Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

【課題】色再現性に優れた映像信号を出力することのできる固体撮像素子を提供する。
【解決手段】信号処理回路６は、白色データＷの飽和度とＳ／Ｎを判定するＷ飽和＆ノイズ判定部２３と、信号処理に用いるべき白色データＷ’を生成するＷ’生成部２４と、色データＣの感度を上げた色データＣ’を生成するＣ’生成部２５と、色データＣ’のＳ／Ｎを判定するＣ’ノイズ判定部２６と、色データＣ’の復元処理を行うＣ’復元部２７と、復元された色データＣ’と白色データＷ’を輝度信号Ｙと色差信号ＵＶに変換するＹＵＶ変換部３５２８とを有する。画素ブロック１０を単位として、RGBの色データ値が設定値Ｃn以下のものがいくつあるかによって信号処理のやり方を変えて色データ値の復元処理を行うため、特に低照度の色情報の再現性に優れた画像を得ることができる。
【選択図】図８

Description

本発明は、光電変換素子を有する複数の画素をマトリクス状に配置した固体撮像素子に関する。
近年、MOS(CMOS)イメージセンサの開発が盛んに行われている。特に、半導体プロセスの微細化(デザインルール縮小)に伴って、たとえば2.5μmの画素ピッチで500万画素を超える画素数の単板カラーイメージセンサが商品化されている。
この種のMOSイメージセンサでは、２行２列の画素ブロック中に、赤色(Ｒ)と青色(Ｂ)画素を１画素ずつと、緑色(Ｇ)画素を対角に２画素配置したベイヤー(Ｂａｙｅｒ)配列の色フィルタを備えるのが一般的である。画素ブロック中にＧ画素を２つ設けるのは、光電変換素子は緑に対する感度が高いためであり、緑画素を輝度（明るさ）情報を取得する画素として用いている。
半導体デバイスのデザインルールの縮小に伴う多画素化と画素微細化の趨勢と並行して、ワイドダイナミックレンジ(WDR)化の必要性が高まっている。近年、特に高照度側での飽和(：白つぶれ)を回避するために様々な技術が提案されているが、低照度側へのダイナミックレンジの拡大、すなわち最低被写体照度の低減は、画素段階でのＳ／Ｎの改善を要し、実現は困難とされている。画素微細化のトレンドは画素ピッチが1.7μm、開口面積で1μm以下のレベルへと向かっており、このような画素サイズでは入射光の波動性が顕著となり、像のぼやけによって入射光量が画素面積の縮小割合よりも急速に低下していく(回折限界)。したがって、ダイナミックレンジの低照度側への拡張、すなわちＳ／Ｎ向上を図る方策が必要とされている。
画素サイズを微細化しても色再現性の劣化を抑制する技術が種々提案されている（例えば、特許文献１，２参照）。
特開2004-304706号公報 特開平8-9395号公報
特許文献１には、緑色を中心にし、上下左右に輝度信号として用いる白色を配置して、輝度信号の信号電荷量を確保する技術が開示されている。特許文献１の場合、４行４列の画素ブロックを単位としており、画素ブロックの単位が大きいため、信号処理に時間がかかるという問題がある。また、低照度の画素に対する特別な信号処理を行っていないため、低照度の画素がノイズに埋もれてしまうおそれがある。
また、特許文献２には、色フィルタの配列を全画素の分光感度の和がＲ：Ｇ：Ｂ＝２：３：１になるように信号処理を行う技術が開示されている。特許文献２の場合も、低照度の画素に対して配慮していないため、低照度の画素のＳ／Ｎが悪くなるおそれがある。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、色再現性に優れた映像信号を出力することのできる固体撮像素子を提供することにある。
本発明の一態様によれば、半導体基板上にマトリクス状に形成され、それぞれが光電変換素子を有する複数の画素と、
前記複数の画素で光電変換された電気信号を読み出す読み出し回路と、
前記読み出し回路で読み出した電気信号に対して信号処理を行う信号処理部と、を備え、
前記複数の画素は、
可視光波長の入射光を透明フィルタを介して対応する前記光電変換素子に導く第１の画素と、
可視波長域中の第１の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第１の色フィルタを有する複数の第２の画素と、
可視波長域中の前記第１の可視光波長域とは異なる第２の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第２の色フィルタを有する複数の第３の画素と、
可視波長域中の前記第１および第２の可視光波長域とは異なる第３の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第３の色フィルタを有する複数の第４の画素と、
をそれぞれ複数個ずつ有し、
前記信号処理部は、
信号処理の対象となる複数の画素からなる画素ブロック内の第１の色データ値Ｃ1、第２の色データ値Ｃ2、第３の色データ値Ｃ3および白色データ値Ｗを取得する色取得部と、
前記対象となる画素ブロックにおける前記白色データ値Ｗが予め定めた第１の設定値よりも小さいか否かを判定する第１の判定部と、
前記第１の判定部による判定処理が否定された場合、前記対象となる画素ブロックにおける前記白色データ値Ｗを、以下の（１）式に基づいて補正処理を行い、前記第１の判定部による判定処理が肯定された場合、（１）式に基づく補正処理を行わずに前記白色データ値Ｗをそのまま出力する白色補正部と、を有することを特徴とする固体撮像素子が提供される。
Ｗ＝Ｓ1Ｃ1＋Ｓ2Ｃ2＋Ｓ3Ｃ3 …（１）
ただし、Ｓ1，Ｓ2，Ｓ3は色バランスにより決定される係数である。
また、本発明の一態様によれば、半導体基板上にマトリクス状に形成され、それぞれが光電変換素子を有する複数の画素と、
前記複数の画素で光電変換された電気信号を読み出す読み出し回路と、
前記複数の画素で光電変換された電気信号に対して信号処理を行う信号処理部と、を備え、
前記複数の画素は、
可視光波長の入射光を透明フィルタを介して対応する前記光電変換素子に導く第１の画素と、
可視波長域中の第１の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第１の色フィルタを有する複数の第２の画素と、
可視波長域中の前記第１の可視光波長域とは異なる第２の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第２の色フィルタを有する複数の第３の画素と、
可視波長域中の前記第１および第２の可視光波長域とは異なる第３の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第３の色フィルタを有する複数の第４の画素と、
をそれぞれ複数個ずつ有し、
前記信号処理部は、
信号処理の対象となる複数の画素からなる画素ブロック内の第１の色の色データ値Ｃ1、第２の色データ値Ｃ2、第３の色データ値Ｃ3および白色データ値Ｗを取得する色取得部と、
以下の（１）式に基づいて、前記白色データ値を色分離して、前記第１の色の色データ値Ｃ1w、前記第２の色の色データ値Ｃ2wおよび第３の色の色データ値Ｃ3wを生成する色分離処理部を有することを特徴とする固体撮像素子が提供される。
Ｃ1w←Ｗ・Ｋ1 …（２）
Ｃ2w←Ｗ・Ｋ2 …（３）
Ｃ3w←Ｗ・Ｋ3 …（４）
ただし、Ｋ1，Ｋ2，Ｋ3は信号強度比である。
また、本発明の一態様によれば、半導体基板上にマトリクス状に形成され、それぞれが光電変換素子を有する複数の画素と、
前記複数の画素で光電変換された電気信号を読み出す読み出し回路と、
前記複数の画素で光電変換された電気信号に対して信号処理を行う信号処理部と、を備え、
前記複数の画素は、
可視光波長の入射光を透明フィルタを介して対応する前記光電変換素子に導く第１の画素と、
可視波長域中の第１の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第１の色フィルタを有する複数の第２の画素と、
可視波長域中の前記第１の可視光波長域とは異なる第２の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第２の色フィルタを有する複数の第３の画素と、
可視波長域中の前記第１および第２の可視光波長域とは異なる第３の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第３の色フィルタを有する複数の第４の画素と、
をそれぞれ複数個ずつ有し、
前記信号処理部は、
信号処理の対象となる複数の画素からなる画素ブロック内の第１の色の色データ値Ｃ1、第２の色の色データ値Ｃ2、第３の色の色データ値Ｃ3および白色データ値Ｗを取得する色取得部と、
前記色データ値Ｃ1，Ｃ2，Ｃ3が所定の設定値より小さいか否かを判定する判定部と、
前記判定部により、前記色データ値Ｃ1，Ｃ2，Ｃ3のうち最大二つが前記設定値より小さいと判定された場合には、白色データと前記設定値より大きい色データ値とに基づいて、前記設定値より小さいと判定された色データ値を復元する低照度補正部と、を備えることを特徴とする固体撮像素子が提供される。
本発明によれば、色再現性に優れた映像信号を出力することのできる固体撮像素子を実現できる。
以下、図面を参照しながら、本発明の実施形態について説明する。
（第１の実施形態）
図１は本発明の一実施形態に係る固体撮像素子の概略構成を示すブロック図である。図１の固体撮像素子は、それぞれが光電変換素子を有する複数の画素をマトリクス状に配置した画素アレイ１と、画素アレイ１の各行に順に駆動電圧を供給する垂直スキャナ２と、個々の画素で光電変換された撮像信号に含まれるノイズの除去処理を行うノイズ減算回路３と、ノイズ減算回路３から出力された撮像信号をＡ／Ｄ変換するＡ／Ｄ変換回路４と、Ａ／Ｄ変換後の撮像データを列ごとに順に選択して読み出す水平スキャナ５と、撮像データに対して後述する信号処理を行う信号処理回路６と、を備えている。信号処理回路６には、画素アレイ１内の各行ごとに、一列分ずつ直列に撮像データが入力される。垂直スキャナ２、ノイズ減算回路３、Ａ／Ｄ変換回路４および水平スキャナ５は読み出し回路を構成する。読み出し回路は、複数の画素に対して１水平ライン同時、もしくは１画素ずつ順番に信号読み出しを行う。
画素アレイ１内の複数の画素は、隣接配置されたいくつかの画素を単位として、複数の画素ブロックに区分けされている。例えば、図２は２行２列の画素ブロックの一例を示す図であり、白色Ｗの画素（以下、Ｗ画素）と緑色Ｇの画素（以下、Ｇ画素）が対角上に配置され、残りの２つの画素は赤色Ｒと青色Ｂ（以下、Ｒ画素とＢ画素）を備えている。
Ｗ画素は、可視光波長（例えば、４００nm〜６５０nm）の入射光を透明フィルタを介して対応する光電変換素子に導いている。透明フィルタは、可視光に対して透明な素材で形成されており、全可視光領域で高い感度を示す。
一方、Ｇ画素には、緑色の可視光波長域の光に対して高い透過率を有する色フィルタが設けられ、Ｒ画素には、赤色の可視光波長域の光に対して高い透過率を有する色フィルタが設けられ、Ｂ画素には、青色の可視光波長域の光に対して高い透過率を有する色フィルタが設けられている。
Ｗ画素を設ける理由は、白色画素は全可視波長域の光を透過するため、輝度情報を取得するのに適しているためである。輝度情報の取得には、緑色画素も利用できるため、図２では、白色画素と緑色画素を対角上に配置している。これにより、すべての行および列に対して均等に輝度情報を検出でき、輝度解像度の向上が図れる。
また、図２の画素ブロックが、Ｗ画素以外に、ＲＧＢの画素を有する理由は、ＲＧＢは原色であり、補色（黄、シアン、マゼンダ）の画素よりも色再現性に優れ、かつ色変換等の処理が不要で、信号処理の処理手順を簡略化できるためである。
図３は色フィルタの透過率を示すグラフ、図４は各色の色フィルタを付けた各画素の感度を示すグラフである。図３に示すように、白色Ｗのフィルタは全可視波長域（約４００〜７００nm）の光に対して９５％以上の透過率を持ち、緑色Ｇの色フィルタは約５００〜５５０nmの光に対して高い透過率を持ち、赤色Ｒの色フィルタは約６００〜７００nmの可視光波長域の光に対して高い透過率を持ち、青色Ｂの色フィルタは約４５０〜４９０nmの可視光波長域の光に対して高い透過率を持っている。
図４に示すように、感度も透過率と同様の特性を持っており、白色Ｗの画素は全可視波長域に対して高い感度を持ち、ＲＧＢの各画素単体の約２倍の感度を持っている。
また、青色Ｂと緑色Ｇのクロスポイント(分光スペクトルが交差する点の透過率)と緑Ｇと赤Ｒのクロスポイントを略５０％となるようにカラーフィルタを設計することで、後述の白色Ｗからの色信号抽出の際に、白色Ｗから抽出された緑色Ｇの分光スペクトルを、緑色Ｇ単独の分光スペクトルと略相似形にすることができる。上記クロスポイントは、４０〜６０％の値の範囲内であれば良好な色再現性を得ることができ、３０〜７０％の範囲内でも実用レベルの色再現性が得られる。
図５は図２の画素ブロックを縦横に計４個配置した例を示す図である。また、図６（ａ）は行方向に隣接する３画素分の断面構造を模式的に示した断面図である。図６（ａ）に示すように、各画素は、半導体基板１１上に形成される光電変換素子１２と、その上に層間絶縁膜１３を介して形成される色フィルタ１４と、その上に形成されるマイクロレンズ１５とを有する。層間絶縁膜１３の内部には、隣接画素の光を遮断するための遮光膜１６が形成されている。
光電変換素子１２は、近赤外波長領域まで感度があるため、近赤外光（例えば６５０ｎｍ以上）をカットしないと、色再現性が悪化してしまう。たとえば純粋な緑色光と近赤外光を放つ(反射する)被写体を撮像する場合、Ｇ画素において緑色光を検出し、Ｒ画素において近赤外光を検出してしまうことになり、上記被写体を純粋な緑色（Ｒ：Ｇ：Ｂ）＝（０：１：０）として検出することができなくなる。
そこで、例えば６５０nm以上の光を遮断する赤外カットフィルタを固体撮像素子と被写体、あるいは固体撮像素子とレンズとの間に設けて、波長可視光のみを固体撮像素子に入射させる。もしくは、図６（ｂ）の断面図に示すように、色フィルタの上に赤外カットフィルタ１７を配置してもよい。図６（ｂ）の場合、白色画素については赤外カットフィルタ１７を設けていない。これは、白色画素は輝度情報を取得するために設けられており、赤外カットフィルタ１７がない方が低照度側の輝度情報をより確実に取得できるためである。
図７はＲＧＢの画素のそれぞれに赤外カットフィルタ１７を設け、Ｗ画素には赤外カットフィルタ１７を設けない場合の各画素の通過波長域と透過率との関係を示すグラフである。図示のように、Ｗ画素は、光電変換素子の基板材料であるシリコンが光電変換を行うことができる波長（約１．１μｍの近赤外線）の光線まで吸収することができ、特に低照度の被写体を撮像する際に有利となり、近赤外カメラとしても用いることができる。
図８は図１に示す信号処理回路６の内部構成の一例を示すブロック図である。図８の信号処理回路６は、白色画素の飽和判定および補正処理を行うＷ飽和判定補正処理部２１を含んでいる。図８では、Ｗ飽和判定補正処理部２１だけで信号処理回路６を構成する例を説明したが、信号処理回路６内に他の信号処理を行うブロックが含まれていてもよい。
Ｗ飽和判定補正処理部２１は、Ｗ画素の白色データ値Ｗが飽和したか否かを判定するＷ飽和判定部２２と、Ｗ飽和判定部２２の判定結果に基づいてＷ画素の補正処理を行うＷ補正処理部２３と、Ｗ補正処理部２３が作業用に用いるラインメモリ２４とを有する。
Ｗ飽和判定補正処理部２１は、撮像データを、ＲＧＢの３色データＣ＝（Ｃ1，Ｃ2，Ｃ3）と白色データ値Ｗとに分けて信号処理を行う。３色データＣと白色データ値Ｗは、例えば２５６階調のデータ０〜２５５の値を取りうる。以下では、赤色データをＣ1、緑色データをＣ2、青色データをＣ3とする。例えば、Ｃ2＝１００として、色温度５５００Ｋ（ケルビン）の白色光を撮像した場合、Ｗ＝２００、Ｃ＝（Ｃ1，Ｃ2，Ｃ3）＝（８０，１００，７０）となると仮定する。
以下では、Ｗ画素を中心とする３行３列の画素ブロックを基本単位とする。ＲＧＢの画素とＷ画素では、各画素の色データ値が飽和する照度（明るさ）が異なっている。
図９は照度と画素出力との関係を示す図である。図９に示すように、Ｗ画素は、ＲＧＢ画素と比べて、低照度側で飽和しにくいが、高照度側では飽和しやすい。そこで、図８のＷ飽和判定補正処理部２１は、白色データ値Ｗが高輝度側で飽和しないか否かを判定する。
図１０は図８の信号処理回路６が行う処理動作の一例を示すフローチャートである。まず、Ｗ飽和判定部２２は、白色データ値Ｗが設定値Ｗs（例えば、Ｗs＝２４０）以上か否かを判定し、白色データ値Ｗが飽和しない範囲であるか否かを検出する（ステップＳ１、第１の判定部）。Ｗ＜Ｗsであれば（図９の領域Ｂ〜Ｃ）、飽和しないと判断して、Ｗ’＝Ｗとする（ステップＳ２）。この場合、白色データ値Ｗはそのまま、次の信号処理に用いられるＷ’として出力される。
一方、Ｗ≧Ｗsであれば（図９の領域Ｄ〜Ｅの場合）、飽和すると判断して、以下の（１）式にて、白色補正値Ｗ’を計算する（ステップＳ３）。
Ｗ’＝Ｓ1Ｃ1＋Ｓ2Ｃ2＋Ｓ3Ｃ3 …（１）
ここで、Ｓ1，Ｓ2，Ｓ3は色バランスにより決定される係数である。例えば、色温度５５００ＫのＲＧＢ情報を純粋な白色（１：１：１）になるように調整する場合、（Ｓ1，Ｓ2，Ｓ3＝（１．０２，０．８２，１．１６）にすればよい。この係数Ｓ1，Ｓ2，Ｓ3の値は、上述したように色温度５５００Kの白色光撮像時に（Ｒ，Ｇ，Ｂ）=（８０，１００，７０）なる信号が得られた場合、信号量の合計（＝２５０）を等しくした状態でＲ：Ｇ：Ｂ比が１：１：１となるように導出したものである。係数Ｓ1，Ｓ2，Ｓ3は、撮像面全体の色バランスを計算した後に算出するオートホワイトバランスによるものでもよい。
上述したステップＳ２，Ｓ３の処理はＷ補正処理部２３が行う。ステップＳ３におけるＲＧＢデータＣ1，Ｃ2，Ｃ3は、例えばそれぞれ画素ブロック内に存在する赤色画素２画素分の平均信号値，緑色画素４画素分の平均信号値，青色画素２画素分の平均信号値である。通常、画素アレイからの出力信号は行順次で読み出されるため、３行分の信号を用いて上記のように平均信号値を計算するためには、直前に読み出した行の信号を一時的に保存しておくためのラインメモリ２４が必要であり、Ｗ補正処理部２３ではラインメモリ２４を参照しながら計算を行う。
Ｗ飽和判定補正処理部２１は、画素ブロックごとに図１０の処理を行い、一つの画素ブロックに対応する白色データ値Ｗ’とＲＧＢデータ値Ｃを出力すると（ステップＳ４）、次の画素ブロックについて図１０の処理を行う。
このように、第１の実施形態では、感度の高いＷ画素が高輝度側で飽和しないようにリアルタイムで白色データ値Ｗを補正するため、飽和により輝度情報が失われることがなく、色再現性のよい撮像データが得られる。
上述した図２の画素ブロックは、ＷＲＧＢの４画素で構成されているが、Ｗ画素とＧ画素を対角上に配置するという条件を満たす限り、ＷＲＧＢの配置は任意に変更可能である。
（第２の実施形態）
以下に説明する第２の実施形態は、Ｗ画素の白色データ値ＷをＲＧＢの３色データに色分離することを特徴とする。
第２の実施形態による固体撮像素子は図１と同様に構成されているが、信号処理回路６の処理動作が第１の実施形態とは異なる。以下では、第１の実施形態との相違点を中心に説明する。
第２の実施形態においても、Ｗ画素を中心とした３行３列の画素ブロックを基本単位とするが、これは色分離処理をわかりやすく説明するためであり、実際の画素ブロックの基本単位は３行３列に限定されない。
図１１は第２の実施形態による信号処理回路６の内部構成の一例を示すブロック図である。第２の実施形態による信号処理回路６は、色分離補間処理部２５を含んでいる。色分離補間処理部２５は、白色データ値Ｗを色分離して色データＲＧＢを生成する色分離処理部２６と、色分離処理部２６が作業用に用いるラインメモリ２７と、色分離された色データ値およびもとの色データ値を用いて各画素位置にRGB信号を計算する補間処理部２８が作業用に用いるラインメモリ２９とを有する。信号処理回路６内には、色分離補間処理部２５以外の処理部が含まれていてもよい。
図１２は図１１の信号処理回路６が行う処理動作の一例を示すフローチャートである。まず、色分離処理部２６は、Ｗ画素の周辺のＲＧＢ画素を用いて、以下の（２）〜（４）式により、Ｗ画素をＲＧＢ画素に変換する（ステップＳ１１）。
Ｒw←Ｗ・Ｋ1 …（２）
Ｇw←Ｗ・Ｋ2 …（３）
Ｂw←Ｗ・Ｋ3 …（４）
ここで、Ｋ1，Ｋ2，Ｋ3はそれぞれ、対象となるＷ画素の周辺のＲＧＢ画素から得られる色比率を表しており、例えば以下の（５）〜（７）式で表される。
Figure 2008022521
 ここで、Ｒaverage，Ｇaverage，Ｂaverageはそれぞれ、対象となるＷ画素の周辺の複数画素の色データ値ＲＧＢの平均であり、例えば、画素ブロック内に存在する赤色画素２画素分の平均色データ値、緑色画素４画素分の平均色データ値、青色画素２画素分の平均色データ値である。
図１３および図１４は図１２のステップＳ１１の処理動作を説明する図である。色分離処理部２６は、図１３に示すように、Ｗ画素を取り囲む３行３列の画素ブロック内の色比率Ｋ1，Ｋ2，Ｋ3を求め、この色比率にＷ画素自身の輝度値（白色データ値Ｗ）を掛け合わせる。これにより、輝度解像度を劣化させずにＷ画素を色分離し、図１４に示すように、Ｗ画素の位置に新たにＲＧＢデータ値Ｒw，Ｇw，Ｂwを生成する。
色分離処理部２６は、上述したステップＳ１１の処理を行うためには、行をまたがる演算を行う必要がある。そこで、図１１のラインメモリに２行分の色データ値を一時的に格納しておき、画素ブロック内の最終行を読み出すタイミングで、ラインメモリに格納しておいた残り２行分の色データ値を読み出して、上述した（２）〜（４）式の演算を行う。
ここで、例えば画素ブロック内の色データ値が、Ｗ＝２００、（Ｒaverage，Ｇaverage，Ｂaverage）＝（８０，１００，７０）の場合には、（２）〜（７）式より、（Ｒw，Ｇw，Ｂw）＝（６４，８０，５６）となる。
このように、白色データ値Ｗを色データＲw，Ｇw，Ｂwに変換すると、平均色データＲaverage，Ｇaverage，Ｂaverageに対して（６４＋８０＋５６）／（８０＋１００＋７０）＝４／５倍になる。そこで、その逆数５／４を定数として、（２）〜（４）のそれぞれの右辺に掛け合わせた値を最終的な色データ値Ｒw，Ｇw，Ｂwとしてもよい。
色変換データＲw，Ｇw，Ｂwは、本来Ｓ／Ｎ比の高い白色データ値Ｗと、平均化によりＳ／Ｎ比が向上した色データ値とを用いた乗算と除算のみにより得られるものであり、生成された色データ値はＳ／Ｎ比がＲ、Ｇ、Ｂデータ値単体よりも高くなる。
なお、画素ブロックは３行３列に限定されない。例えば、図１５はＷ画素を中心とする５行７列の画素ブロックの一例を示す図である。上述したステップＳ１１の処理を行うのに使用するラインメモリの容量は画素ブロックの行数に依存し、行数が増えるに従ってラインメモリの容量も大きくなる。したがって、画素ブロックの行数を極端に増やすのは望ましくない。
色分離処理部２６が図１２のステップＳ１１の処理を終えると、次に、補間処理部２８は、例えば図１６に示すように、画素ブロック内のすべてのＲ画素とＲw画素の平均値Ｒ’を計算する。同様に、補間処理部２８は、画素ブロック内のすべてのＧ画素とＧw画素の平均値Ｇ’と、すべてのＢ画素とＢw画素の平均値Ｂ’とを計算する（ステップＳ１２）。計算された画素平均値Ｒ’，Ｇ’，Ｂ’は、図１６に示すように、画素ブロックの中心画素（対象画素）の色データ値としてみなされる。
このように、すべての画素について、その周囲の３行３列の画素ブロック内の三色データ値ＲＧＢと色分離データ値Ｒw，Ｇw，Ｂwとの平均化により、最終的な色データ値Ｒ’，Ｇ’，Ｂ’を決定する。
補間処理部２８が最終的な色データ値Ｒ’，Ｇ’，Ｂ’を出力すると（ステップＳ１３）、次の画素ブロックについて上述したステップＳ１１〜Ｓ１３の処理を行う。
以上の処理を繰り返すことで、すべての画素位置について、３色の色データ値Ｒ’，Ｇ’，Ｂ’が生成される。このうち特に色データ値Ｒ’，Ｂ’は、ベイヤー配列と比較して２倍の画素数のＲデータ値とＢデータ値に基づいて色補間を行って得られるものであり、Ｓ／Ｎ比が従来の２倍程度まで向上する。
このように、第２の実施形態では、Ｗ画素をＲＧＢの３色画素に色分離するため、簡易かつ高速にみかけのＲＧＢ画素数を増やすことができ、Ｓ／Ｎ比が大幅に向上して画質もよくなる。また、すべての画素について、色補間処理により３色データ値を生成するため、色の解像度が高くなり、画質向上が図れる。
なお、第２の実施形態の処理を行う前に、上述した第１の実施形態で説明したＷ飽和判定補正処理を行ってもよい。
（第３の実施形態）
第３の実施形態は、低照度時に白色データを用いて色信号の復元処理を行うことを特徴とする。
第３の実施形態による固体撮像素子は図１と同様に構成されているが、信号処理回路６の処理動作が第１および第２の実施形態とは異なる。以下では、第１および第２の実施形態との相違点を中心に説明する。
第３の実施形態においても、Ｗ画素を中心とした３行３列の画素ブロックを基本単位とするが、これは色分離処理をわかりやすく説明するためであり、実際の画素ブロックの基本単位は３行３列に限定されない。
図１７は第３の実施形態による信号処理回路６の内部構成の一例を示すブロック図である。図１７の信号処理回路６は、低照度判定補正処理部３０を含んでいる。低照度判定補正処理部３０は、ＲＧＢ画素が低照度か否かを判定するＲＧＢ低照度判定部３１と、低照度と判定された場合に補正処理を行う低照度補正処理部３２と、低照度補正処理部３２が作業用に用いるラインメモリ３３と、低照度補正処理部３２の処理結果を画素ブロック単位で格納する１ブロックメモリ３４とを有する。信号処理回路６内には、低照度判定補正処理部３０以外の処理部が含まれていてもよい。
図１８は図１７の信号処理回路６が行う処理動作の一例を示すフローチャートである。ＲＧＢ低照度判定部３１は、画素ブロック内のＲＧＢデータ値Ｃ＝（Ｃ1，Ｃ2，Ｃ3）に対して低照度判定を行い、その判定結果に基づいて、低照度補正処理部３２は補正処理を行う。以下、図１８のフローチャートを参照しながら、具体的な判定および補正処理を説明する。
まず、画素ブロック内のＲＧＢデータ値Ｃm（ｍは１，２または３）のいずれもが予め定めた下限の設定値Ｃn以下であるか否かを判定する（ステップＳ２１）。この判定が否定された場合には、Ｓ／Ｎに優れた有効なデータであると判断して、白色データ値ＷとＲＧＢデータ値ＣをそれぞれＷP，ＣPとして１ブロックメモリ３４に格納する（ステップＳ２２）。
一方、ステップＳ２１の判定が肯定された場合には、設定値Ｃn以下の色データ値Ｃm （ｍは１，２または３）が一つだけ存在するか否かを判定する（ステップＳ２３）。この判定が肯定された場合には、以下の（８）式に基づいて、設定値Ｃn以下の一つの色データ値Ｃm1（ｍ１は１，２または３）を補正する（ステップＳ２４、第１の色補正部）。
Ｃm1＝Ｗ−（Ｓm2’Ｃm2＋Ｓm3’Ｃm3） …（８）
ここで、Ｃm2，Ｃm3は設定値Ｃn以上の色データ値である。
この（８）式は、Ｓ／Ｎ比に優れた有効な色データ値Ｃm2，Ｃm3に対して、高照度時のＷと（Ｃ1＋Ｃ2＋Ｃ3）の比（Ｗ＝２００、Ｃ＝（Ｃ1，Ｃ2，Ｃ3）＝（８０，１００，７０）の場合、２００：２５０）と、画素領域全体で決定されるホワイトバランスにより決定される係数とをそれぞれ乗じて得られる値Ｓm2’，Ｓm3’とを乗じた値を、同ブロック内で得られたＷから減算するものである。これにより、白色データＷの中に依然として含まれている色データＣm1の情報を抽出して復元することができる。
ここで、係数Ｓm2’，Ｓm3’は、高照度時のＷと（Ｃ1＋Ｃ2＋Ｃ3）の比が２００：２５０とすると、例えば、Ｓm2’＝（２００÷２５０）×０．８２＝０．６５、Ｓm3’＝（２００÷２５０）×１．１６＝０．９３である。Ｗ＝１０，Ｃ＝（０，３，７）の場合、Ｃm1＝１０−（３×０．６５＋７×０．９３）＝１．５になる。
上記のステップＳ２３で判定が否定された場合、設定値Ｃn以下の色データ値Ｃm（ｍは１，２または３）が二つだけ存在するか否かを判定する（ステップＳ２５）。この判定が肯定された場合には、以下の（９）式に基づいて、設定値Ｃn以下の二つの色データＣm1とＣm2（ｍ１，ｍ２は１，２または３）を補正する（ステップＳ２６）。補正された色データＣm1とＣm2は、１ブロックメモリ３４に記憶される。
Figure 2008022521
上述した（９）式は、対象画素ブロック内の輝度データＷから有効な色データ値Ｃm3（ｍ３は１，２または３）を減算し、その減算により得られた値を、１ブロックメモリ３４内に記憶されている直前の画素ブロックの色データ値ＣP＝（Ｃ1 P，Ｃ2 P，Ｃ3 P）の中で、有効でない（Ｓ／Ｎの悪い）色ｍ１，ｍ２の色データ値Ｃm1 PとＣm2 Pで比例配分して、色ｍ１，ｍ２の色データを復元するものである。
上述したステップＳ２５で判定が否定された場合は、ＲＧＢの全色データ値が設定値Ｃn以下であることを示している。この場合、以下の（１０）式に基づいて、各色データ値Ｃml（ｌは１，２または３）の復元処理を行う（ステップＳ２７）。
Figure 2008022521
上記（１０）式では、対象画素ブロック内の輝度データＷを、１ブロックメモリ３４に記憶されている直前の画素ブロックの色データ値ＣP＝（Ｃ1 P，Ｃ2 P，Ｃ3 P）（例えば、Ｃ1 P＝３、Ｃ2 P＝３、Ｃ3 P＝２）により得られる、有効でない色ｍ１，ｍ２，ｍ３の色データ値Ｃm1 P，Ｃm2 P，Ｃm3 Pで比例配分して、各色データＣm1 ，Ｃm2 ，Ｃm3 を復元する。
上記（１０）式において、色データ値Ｃm1 P，Ｃm2 P，Ｃm3 Pに色バランスにより決定される係数Ｓ1，Ｓ2，Ｓ3を乗じた値を比例配分してもよい。
以上の計算において、行をまたがる演算が必要である場合は、ラインメモリに格納しておいた直前の数行の信号を参照しながら演算を行えばよい。
白色データ値ＷとステップＳ２７で復元された各色データ値Ｃmlは１ブロックメモリに記憶されるとともに（ステップＳ２２）、出力される（ステップＳ２８）。その後、次の画素ブロックについて、上述したステップＳ２１〜Ｓ２８の処理が行われる。
このように、第３の実施形態では、ＲＧＢの色データ値により低照度か否かを判定し、低照度と判定された場合には、感度の高いＷ画素を利用して色データ値の補正処理を行うため、低照度により失われた色情報をリアルタイムに復元することができ、低照度であっても高画質の固体撮像素子を得ることができる。
以上に説明した色データ値の低照度判定および補正処理は、第２の実施形態で説明した色分離処理の前段階で行ってもよいし、第１の実施形態のＷ飽和判定補正処理と併用して行ってもよい。
（第４の実施形態）
以下に説明する第４の実施形態は、第２の実施形態の色分離処理の中に低照度判定処理を追加したものである。
図１９は第４の実施形態による信号処理回路６が行う処理動作の一例を示すフローチャートである。図１９は図１２にステップＳ１４，Ｓ１５を追加したものである。
まず、白色データ値Ｗと所定の設定値Ｗn（例えば、２５６階調の場合はＷn＝１０等に設定する）との比較を行う（ステップＳ１４）。白色データ値ＷがＷn以上の場合には、上述した（２）〜（４）式を用いて色分離処理を行う（ステップＳ１１）。一方、白色データ値ＷがＷnより小さい場合には、下記の（１１）式に基づいて色分離処理処理を行う。
Figure 2008022521
（１１）式では、輝度データとしての白色データ値Ｗにさらに周囲の色データＲＧＢ全てを加算して色データ値Cmwを生成するため、色データ値ＣmwのＳ／Ｎ比はさらによくなる。ただしこの場合、周囲の画素データを輝度データとして加算するため、輝度解像度が劣化することになる。したがって、上述したステップＳ１１の処理は、対象となっているＷ画素が受ける光が低照度であると判定された場合にのみ行うようにし、輝度解像度を犠牲にしてＳ／Ｎ比の向上を図る。
このように、第４の実施形態では、白色データ値Ｗの輝度が低い場合には、白色データ値Ｗにその周囲の色データＲＧＢを加算した値に係数Ｋ1〜Ｋ3を乗じて白色データ値Ｗの色分離を行うため、低照度の白色データ値Ｗの輝度向上が図れ、黒つぶれが起きなくなる。
（第５の実施形態）
第５の実施形態は、白色データ値Ｗを色データＲＧＢに色分離した後の色補間処理に特徴があり、出力されるデータがベイヤー配列によるデータと同様の配列となるように色補間処理を行うものである。
第５の実施形態による信号処理回路６は、図１１と同様に構成されており、図１２と同様のフローチャートに従って処理動作を行う。ただし、図１１の補間処理部２８が行う図１２のステップＳ１２の処理動作が第２の実施形態と異なる。
本実施形態による補間処理部２８は、赤色データ値Ｒおよび青色データ値Ｂと、色分離された色データ値Ｒw，Ｇw，ＢwのうちＲw，Ｂwを用いて補間処理を行う。
図２０は、色分離処理を行った直後の画素配列を示している。図示のように、白色データ値Ｗの画素位置には、色分離された色データ値Ｒw，Ｇw，Ｂwが割り当てられる。補間処理部２８は、図２１（ａ）に示すように、赤色データ値Ｒと、横方向に隣接する２個の色データ値Ｒwを用いて、最終的な色データ値Ｒ’を補間する。このために、たとえば上記３値の平均値をＲ’とする方法が最も簡便である。同様に、図２１（ｂ）に示すように、青色データ値Ｂと、縦方向に隣接する２個の色データ値Ｂwを用いて、最終的な色データ値Ｂ’を補間する。一方、緑色の色データ値Ｇwについては、図２１（ｃ）に示すように補間処理を行わない。緑色について補間処理を行わない理由は、色分離処理が行われた時点で、色データ値GおよびGwによりベイヤー配列に対応した撮像データが完成しているためである。
このような処理を行うと、図２２に示すようなベイヤー配列に対応したデータ配列が得られる。固体撮像素子から出力された撮像データを処理する汎用のデジタルシグナルプロセッサは、ベイヤー配列の撮像データに対応していることが多いため、本実施形態のようにベイヤー配列に変換した後の撮像データを固体撮像素子から出力するようにすれば、汎用のデジタルシグナルプロセッサを用いて、種々の画像処理を行うことができ、画像処理の設計コストおよび部品コストの削減が図れる。
このように、第５の実施形態では、白色データ値Ｗを色データＲＧＢに色分離した後、画素ブロック内のデータ配列をベイヤー配列に対応したデータ配列に変換する処理を行うため、固体撮像素子からベイヤー配列に対応した撮像データを出力でき、汎用のデジタルシグナルプロセッサを用いてその後の画像処理を行うことができる。
（第６の実施形態）
上述した第１〜第５の実施形態は、任意に組み合わせて実施することができる。例えば、以下に説明する第６の実施形態は、上述した図１０、図１８および図１２の処理を連続して行うことを特徴とする。
図２３は第６の実施形態による信号処理回路６の内部構成の一例を示すブロック図である。図２３の信号処理回路６は、図８と同様に構成されたＷ飽和判定補正処理部２１と、図１７と同様に構成された低照度判定補正処理部３０と、図１１と同様に構成された色分離補間処理部２５と、色データＲＧＢを輝度データＹと色差データＵＶに変換するＹＵＶ変換部３５と、これら各部が作業用に用いるラインメモリ３６と、処理結果を格納する１ブロックメモリ３７とを有する。
図２３の信号処理回路６内の各部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。いずれの場合も、基本的には図１０、図１８および図１２の各フローチャートに従って順に処理を行った後、ＹＵＶ変換部３５にて輝度データおよび色差データへの変換を行う。
図２４は図２３の信号処理回路６が行う処理動作の一例を示すフローチャートである。以下では、図２に示した２行２列の画素ブロックを単位として信号処理を行う例を説明する。
まず、２行２列の画素ブロックを単位として、各画素ブロック内のＲＧＢの色データ値Ｃ＝（Ｃ1，Ｃ2，Ｃ3）と白色データ値Ｗを取得する（ステップＳ３１）。これらデータは、１Ｈメモリから取得する。以下では、取得した１画素ブロックを信号処理のための対象画素と呼ぶ。
白色画素は、ＲＧＢ画素と比べて、低照度側で飽和しにくいが、高照度側では飽和しやすい。そこで、図２４のステップＳ３２（第２の判定部）では、白色データ値Ｗが下限の設定値Ｃn（例えば、Ｃn＝０）より大きいか否かを判定する。この判定処理は図２３のＷ飽和判定補正処理部２１が行う。Ｗ≦Ｃnであれば（図９の領域Ａの場合）、信号処理に用いられるデータＣ’，Ｗ’を、１ブロックメモリ２２に記憶されている直前の画素ブロックのデータＣP，ＷPにする（ステップＳ３３、直前ブロック色調整部）。
ステップＳ３２で、Ｗ＞Ｃnと判定されると、Ｗ飽和判定補正処理部２１は、図１０と同様の処理手順からなるＷ飽和判定補正処理を行う（ステップＳ３４）。このステップＳ３４の処理により、補正された白色データ値Ｗ’と色データ値が出力される。
次に、低照度判定補正処理部３０は、図１８と同様の処理手順からなる低照度判定処理を行う（ステップＳ３５）。このステップＳ３５の処理により、ＲＧＢの各画素のうち低照度の画素は高感度化される。
次に、色分離補間処理部２５は、図１２と同様の処理手順からなる色分離処理を行う（ステップＳ３６）。このステップＳ３６の処理により、Ｗ画素をＲＧＢの色データ値に色分離した後、補間処理を行った色データ値が出力される。
ステップＳ３６およびステップＳ３３の処理結果である白色データ値Ｗ’と色データ値Ｃは１ブロックメモリに格納される（ステップＳ３７）。
次に、ＹＵＶ変換部３５は、色分離補間処理部２５から出力された三色データ値を輝度データと色差データに変換する（ステップＳ３８）。
このように、第６の実施形態では、Ｗ飽和判定補正処理と、ＲＧＢ低照度判定処理と、色分離処理とを連続的に行って、最終的な色データを生成するため、白とびや黒つぶれがない高画質で色情報の再現性に優れた画像を得ることができる。
なお、必ずしもＷ飽和判定補正処理部２１、低照度判定補正処理部３０および色分離補間処理部２５の順に各処理を行う必要はなく、例えば、Ｗ飽和判定補正処理部２１、色分離補間処理部２５および低照度判定補正処理部３０の順に処理を行ってもよい。また、図２４中の一部の処理、例えばステップＳ３２の判定処理を省略してもよい。
（第７の実施形態）
上述した図１２では、色分離処理を行った後に補間処理を行っているが、補間処理を行った後に色分離処理を行ってもよい。以下に説明する第７の実施形態は、補間処理を行った後に色分離処理を行うことを特徴とする。
図２５は第７の実施形態による信号処理回路６の内部構成の一例を示すブロック図、図２６は図２５の信号処理回路６の処理動作を示すフローチャートである。
図２５の信号処理回路６は、補間処理部２８により補間処理を行った後に、色分離補間処理部２５により色分離処理を行う。補間処理部２８は、対象画素の色データＣ（Ｃ１，Ｃ２，Ｃ３）と白色データ値Ｗを取得する。
ここで、対象画素とは、信号処理の基本単位であり、各対象画素はＲＧＢの各色データと白色Ｗデータを持っている。この対象画素は、現実に存在する画素アレイ１内の画素とは異なり、仮想的なものである。より詳細には、対象画素の場所は、画素アレイ１部内の各画素に存在する光電変換素子の位置あるいは各画素の重心の位置である。
例えば、図２７は図２に示す２行２列の画素ブロックを単位とする画素アレイ１内の対象画素４０を説明する図である。図２７の左から２行目２列目の画素を対象画素４０とする。この対象画素４０のＲデータ値は、図２７（ａ）に示すように、上下のＲ画素のデータ値の平均値である。また、Ｂデータ値は、図２７（ｂ）に示すように、左右のＢ画素のデータ値の平均値であり、Ｇデータ値は対象画素４０の位置にあるＧ画素自身のデータ値であり、Ｗデータ値は対象画素４０の四隅にあるＷ画素のデータ値の平均値である。
このような補間処理を行うことにより、対象画素４０のＲＧＢデータ値とＷデータ値が決定される。なお、信号処理回路６が上記補間処理を行う際には、図２５に示したラインメモリを利用する。したがって、このラインメモリには、予め対象画素４０の周囲の色データ値を格納しておく。
本実施形態による信号処理回路６では、図２６に示すように、まず補間処理部２８により、上述した処理手順で補間処理を行う（ステップＳ４１）。これにより、対象画素４０ごとに、ＲＧＢデータ値Ｃ’mとＷデータ値Ｗ’が決定される。
次に、色分離補間処理部２５は、以下の（１２）式により対象画素４０の三色データ値を計算して出力する（ステップＳ４２，Ｓ４３）。
Figure 2008022521
ステップＳ４２で計算された対象画素４０の三色データ値は、対象画素４０ごとにＹＵＶ変換される。
このように、第７の実施形態では、対象画素４０ごとに補間処理を行ってＲＧＢデータＣと白色データ値Ｗを取得した後に、図２６のフローチャートに沿って信号処理を行うため、画素ブロックよりも細かい単位で輝度情報を考慮に入れて信号処理を行うことができ、色再現性により優れ、空間解像度の高い画像を取得できる。
（第８の実施形態）
第８の実施形態は、ＲＧＢデータＣ＝（Ｃ1，Ｃ2，Ｃ3）が低照度のときの処理動作が第３の実施形態とは異なることを特徴とする。
第８の実施形態による信号処理部は、図１８のフローチャートに沿って処理動作を行うが、（Ａ）ステップＳ２７の処理、あるいは（Ｂ）ステップＳ２６とＳ２７の処理、あるいは（Ｃ）ステップＳ２４，Ｓ２６およびＳ２７の処理動作が第１および第２の実施形態とは異なっている。
より具体的には、上記の（Ａ）、（Ｂ）または（Ｃ）の処理を行う場合に、以下の（１３）式に基づいて、ＲＧＢデータ値Ｃの復元処理を行う。
Ｃm1＝Ｗ／Ｓ1、Ｃm2＝Ｗ／Ｓ2、Ｃm3＝Ｗ／Ｓ3 …（１３）
ここで、Ｓ1，Ｓ2，Ｓ3はホワイトバランスにより決定される係数であり、画素領域の全体に対応して決定される。すなわち、低照度の被写体を撮像する際、ＲＧＢデータ値のうち（Ｄ）三色すべてのデータ値がＳ／Ｎが低くて有効でない場合、（Ｅ）二色のみが有効でない場合、（Ｆ）一色のみが有効でない場合に、（１３）式の演算を行うことにより、輝度データWに比例した白黒の色情報を生成できる。
このように、第８の実施形態では、ＲＧＢデータ値が低照度の場合に、直前ブロックを参照することなく、簡易な手法で、ＲＧＢデータ値として白黒の色情報を検出できる。すなわち、本実施形態によれば、低照度側で色信号をグレースケールとしても差し支えない場合に、簡易な信号処理で低照度側の色信号を白黒情報として再生することができる。
（第９の実施形態）
上述した第１の実施形態では、２行２列の画素ブロックを単位とする例を説明したが、Ｗ画素、Ｒ画素、Ｇ画素、Ｂ画素を配置する画素ブロックは２行２列以外でもよい。
例えば、図２８は１行おきにＷ画素のみの行を設けた画素アレイ１の一例を示す図である。図２８の場合、Ｗ画素の行の合間にＲＧＢの画素が順に繰り返し配置されている。したがって、画素ブロック５０ａの単位は２行３列になる。なお、ＲＧＢの画素の並び順は特に制限はない。
図２８の画素アレイ１の場合、図１に示した垂直スキャナ２が、Ｗ画素の行だけをＲＧＢの画素よりも先に高速に掃引することで、色情報を取得する前に輝度情報だけ先に取得できる。
Ｗ画素の行を他の行の２倍のフレームレートで読み出す場合、２行３列の画素ブロック中のＷ画素のみのデータ（ＷＷＷ）で構成されるフレームと、（ＷＷＷＲＧＢ）で構成されるフレームとを交互に繰り返し読み出すことにより、輝度データのみ２倍の速度で読み出すことができる。
図２９は図２８の画素の並びを一部変更した画素ブロック５０ｂの一例を示す図である。図２９の場合、４行４列で画素ブロックを構成しており、一行おきにＷ画素のみの行を配置し、その合間にＢＧＲＧの画素からなる行を配置している。ＢＧＲＧの画素からなる行は、Ｇ画素の数を他の色の画素の数の２倍設けている。これにより、ＲＧＢの画素を均等に設ける場合に比べて、輝度解像度を向上できる。
図２９において、ＢＧＲＧの画素からなる行の画素の並びは任意に変更可能であるが、Ｇ画素同士は隣接させない方が均等に輝度を検出できるため、より望ましい。
図３０は図２９の画素の並びを一部変更した画素ブロック５０ｃの一例を示す図である。図３０では、Ｇ信号の色再現性および緑色解像度を高めるために、図２９のＷ画素とＧ画素を入れ替えて、Ｇ画素だけの行を１行おきに設けている。この場合、Ｗ画素と同様に輝度情報の取得に利用可能なＧ画素からなる行だけを読み出すことにより、図２９と同様に輝度解像度の向上が図れる。
このように、第９の実施形態では、Ｗ画素またはＧ画素のみからなる行を１行おきに配置した画素ブロックを設けるため、色情報に先立って、輝度情報だけを高速に取得できる。
（第１０の実施形態）
第１０の実施形態は、画素アレイ１内にＷ画素を千鳥状に配置したものである。第１０の実施形態は、図１と同様の構成をもつ固体撮像素子に適用され、固体撮像素子内の信号処理部の内部構成は第１または第２の実施形態と同様であるため、信号処理部の詳細な説明を割愛する。
図３１は第１０の実施形態による画素アレイ１を示す図である。図３１の画素アレイ１は、２行６列の画素ブロック５０ｄを有する。各画素ブロック５０ｄは、千鳥状に配置される６個のＷ画素と、その合間に交互に配置される計６個のＲＧＢ画素とを有する。
画素ブロック５０ｄ内の半数がＷ画素であるため、輝度解像度を高めることができる。特に、ＲＧＢ画素が低照度で、かつＷ画素のＳ／Ｎが最低基準値よりも高い場合には、水平方向と垂直方向の両方で輝度解像度を高く維持できる。
図３２は図３１の画素の並びを一部変更した画素アレイ１を示す図である。図３２の画素アレイ１内の画素ブロック５０ｅは、Ｇ画素の数をＲ画素とＢ画素の数の２倍設けている。これにより、緑色の再現性が向上し、図３１よりもさらに輝度解像度を向上できる。
図３３は図３２のＷ画素とＧ画素を入れ替えた画素アレイ１を示す図である。図３３の画素アレイ１内の画素ブロック５０ｆは、図３２に比べてＷ画素の数が少ないため、輝度解像度は落ちるが、その分、緑色解像度および色再現性を向上できる。
このように、第１０の実施形態では、Ｗ画素またはＧ画素を千鳥状に配置するため、輝度情報を詳細かつ均等に把握でき、輝度解像度の向上が図れる。
（第１１の実施形態）
上述した第１〜第１０の実施形態では、画素アレイ１の撮像面の縦横軸に平行に各画素を配置する例を説明したが、撮像面の縦横軸に対して０〜９０°の範囲で傾けて各画素を配置してもよい。以下では、縦横軸に対して４５°傾けて各画素を配置する例を説明する。なお、第１１の実施形態は、図１と同様の構成をもつ固体撮像素子に適用され、固体撮像素子内の信号処理部の内部構成は第１または第２の実施形態と同様であるため、信号処理部の詳細な説明を割愛する。
図３４は第１１の実施形態による画素アレイ１を示す図である。図３４の画素アレイ１では、撮像面の縦横軸（紙面の上下左右方向）に対して４５°傾けた方向に各画素が隙間なく配置されている。
各画素は正方形であり、４５°傾けることから菱形形状になる。この場合、各画素が市松状に配置された、いわゆるハニカム構造になるため、横方向（水平方向）に補間処理を行えば、みかけの画素数は傾けない場合に比べて、同画素面積当たり２倍になり、みかけの解像度を向上できる。
図３４の画素アレイ１は、水平方向に１行ごとにＧ画素のみからなる行を有し、これら行の合間に、Ｗ画素とＲ画素が繰り返される行を有する。図３４では、４５°傾いた４行４列を画素ブロック５０ｇとしている。図３４におけるＷ：Ｒ：Ｇ：Ｂの画素数比は、２：１：４：１であり、Ｗ画素とＧ画素が割合的に多いため、輝度情報をより多く取得できる。
図３５は図３４の変形例の画素アレイ１を示す図である。図３５の画素アレイ１は、水平方向に１行ごとにＷ画素のみからなる行を有し、これら行の合間に、ＲＧＢ画素が繰り返される行を有する。図３５における画素ブロック５０ｈ内のＷ：Ｒ：Ｇ：Ｂの画素数比は４：１：２：１であり、図３４よりもＷ画素の割合が多いため、輝度感度が高い。ただし、図３４よりもＧ画素の割合が少ないため、色解像度は悪くなる。
また、図３５の場合、垂直スキャナ２にて、Ｗ画素のみからなる行を高速で選択して読み出すことにより、グレースケール画像の高速撮像が可能になる。あるいは、Ｗ画素のみからなる行を間引いて選択して読み出すことにより、通常のBayer配列と同様の画素配列で高速に撮像することができる。
このように、第１１の実施形態では、各画素を撮像面の縦横軸に対して４５°傾けて配置するため、単位面積当たりのみかけの画素数を２倍に増やすことができ、解像度を高めることができる。また、Ｇ画素のみの行やＷ画素のみの行だけを選択して高速に読み出すことができるため、通常のBayer配列と同様の画素配列で高速に撮像することができる。
上述した図３４および図３５では、各画素を撮像面の縦横軸に対して４５°傾けて配置する例を示したが、図３６のように隣接する２行の画素を半画素分ずつ横方向にずらして配置してもよい。この場合、縦方向の画素の密度が半画素ずらさない場合に比べて２倍になり、２倍の解像度が得られる。
また、図３６の代わりに、隣接する２列の画素を半画素分ずつずらして配置してもよい。この場合、横方向の画素の密度が半画素ずらさない場合に比べて２倍になり、２倍の解像度が得られる。
このように、隣接する２行の各画素を半画素分ずつ縦または横にずらして配置することにより、図３４または図３５のように各画素を４５°傾けた場合と同様の効果が得られる。
本発明の一実施形態に係る固体撮像素子の概略構成を示すブロック図。 ２行２列の画素ブロック１０の一例を示す図。 色フィルタの透過率を示すグラフ。 各色の色フィルタを付けた各画素の感度を示すグラフ。 図２の画素ブロック１０を縦横に計４個配置した例を示す図。 （ａ）は行方向に隣接する３画素分の断面構造を模式的に示した断面図、赤外カットフィルタを有する固体撮像素子の断面図。（ｂ）は（ａ）に対して色フィルタの上に赤外カットフィルタ１７を配置した断面図。 ＲＧＢの画素のそれぞれに赤外カットフィルタ１７を設け、Ｗ画素には赤外カットフィルタ１７を設けない場合の各画素の通過波長域と透過率との関係を示すグラフ。 第１の実施形態による、図１に示す信号処理回路６の内部構成の一例を示すブロック図 照度と画素出力との関係を示す図。 第１の実施形態による信号処理回路６が行う処理動作の一例を示すフローチャート。 第２の実施形態による信号処理回路６の内部構成の一例を示すブロック図。 図１１の信号処理回路６が行う処理動作の一例を示すフローチャート。 図１２のステップＳ１１の処理動作を説明する図。 図１２のステップＳ１１の処理動作を説明する図。 Ｗ画素を中心とする５行７列の画素ブロックの一例を示す図。 補間処理部の処理動作を説明する図。 第３の実施形態による信号処理回路６の内部構成の一例を示すブロック図。 図１７の信号処理回路６が行う処理動作の一例を示すフローチャート。 第４の実施形態による信号処理回路６が行う処理動作の一例を示すフローチャート。 色分離処理を行った直後の画素配列を示す図。 （ａ）〜（ｃ）は補間処理部の処理動作を説明する図。 ベイヤー配列に対応するように処理された信号マトリクスを示す図。 第６の実施形態による信号処理回路６の内部構成の一例を示すブロック図。 図２３の信号処理回路６が行う処理動作の一例を示すフローチャート。 第７の実施形態による信号処理回路６の内部構成の一例を示すブロック図。 図２５の信号処理回路６の処理動作を示すフローチャート。 図２に示す２行２列の画素ブロックを単位とする画素アレイ１内の対象画素４０および、対象画素４０に対する補間処理を説明する図。 １行おきにＷ画素のみの行を設けた画素アレイ１の一例を示す図。 図２８の画素の並びを一部変更した画素ブロック１０ｂの一例を示す図。 図２９の画素の並びを一部変更した画素ブロック１０ｃの一例を示す図。 第１０の実施形態による画素アレイ１を示す図。 図３１の画素の並びを一部変更した画素アレイ１を示す図。 図３２のＷ画素とＧ画素を入れ替えた画素アレイ１を示す図。 第１１の実施形態による画素アレイ１を示す図。 図３４の変形例の画素アレイ１を示す図。 隣接する２行の画素を半画素分ずつ横方向にずらして配置した画素アレイを示す図。
符号の説明
１ 画素アレイ
２ 垂直スキャナ
３ ノイズ減算回路
４ Ａ／Ｄ変換回路
５ 水平スキャナ
６ 信号処理回路６
１１ 半導体基板
１２ 光電変換素子
１３ 層間絶縁膜
１４ 色フィルタ
１５ マイクロレンズ
１６ 遮光幕
１７ 赤外カットフィルタ
２１ Ｗ飽和判定補正処理部
２２ Ｗ飽和判定部
２３ Ｗ補正処理部
２４ ラインメモリ
２５ 色分離補間処理部
２６ 色分離処理部
２７ ラインメモリ
２８ 補間処理部
２９ ラインメモリ
３０ 低照度判定補正処理部
３１ ＲＧＢ低照度判定部
３２ 低照度補正処理部
３３ ラインメモリ
３４ １ブロックメモリ
３５ ＹＵＶ変換部
３６ ラインメモリ
３７ １ブロックメモリ

Claims (25)

  1. 半導体基板上にマトリクス状に形成され、それぞれが光電変換素子を有する複数の画素と、
    前記複数の画素で光電変換された電気信号を読み出す読み出し回路と、
    前記読み出し回路で読み出した電気信号に対して信号処理を行う信号処理部と、を備え、
    前記複数の画素は、
    可視光波長の入射光を透明フィルタを介して対応する前記光電変換素子に導く第１の画素と、
    可視波長域中の第１の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第１の色フィルタを有する複数の第２の画素と、
    可視波長域中の前記第１の可視光波長域とは異なる第２の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第２の色フィルタを有する複数の第３の画素と、
    可視波長域中の前記第１および第２の可視光波長域とは異なる第３の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第３の色フィルタを有する複数の第４の画素と、
    をそれぞれ複数個ずつ有し、
    前記信号処理部は、
    信号処理の対象となる複数の画素からなる画素ブロック内の第１の色データ値Ｃ1、第２の色データ値Ｃ2、第３の色データ値Ｃ3および白色データ値Ｗを取得する色取得部と、
    前記対象となる画素ブロックにおける前記白色データ値Ｗが予め定めた第１の設定値よりも小さいか否かを判定する第１の判定部と、
    前記第１の判定部による判定処理が否定された場合、前記対象となる画素ブロックにおける前記白色データ値Ｗを、以下の（１）式に基づいて補正処理を行い、前記第１の判定部による判定処理が肯定された場合、（１）式に基づく補正処理を行わずに前記白色データ値Ｗをそのまま出力する白色補正部と、を有することを特徴とする固体撮像素子。
    Ｗ＝Ｓ1Ｃ1＋Ｓ2Ｃ2＋Ｓ3Ｃ3 …（１）
    ただし、Ｓ1，Ｓ2，Ｓ3は色バランスにより決定される係数である。
  2. 前記第１の判定処理を行う前に、前記対象となる画素ブロックにおける前記白色データ値Ｗが前記第１の設定値よりも小さい第２の設定値より大きいか否かを判定する第２の判定部と、
    前記第２の判定部による判定処理が否定された場合、前記対象となる画素ブロック内の各色データ値を直前の画素ブロック内の各色データ値に基づいて決定する直前ブロック色調整部と、を備え、
    前記第１の判定部は、前記第２の判定部による判定処理が肯定された場合に判定処理を行うことを特徴とする請求項１に記載の固体撮像素子。
  3. 半導体基板上にマトリクス状に形成され、それぞれが光電変換素子を有する複数の画素と、
    前記複数の画素で光電変換された電気信号を読み出す読み出し回路と、
    前記複数の画素で光電変換された電気信号に対して信号処理を行う信号処理部と、を備え、
    前記複数の画素は、
    可視光波長の入射光を透明フィルタを介して対応する前記光電変換素子に導く第１の画素と、
    可視波長域中の第１の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第１の色フィルタを有する複数の第２の画素と、
    可視波長域中の前記第１の可視光波長域とは異なる第２の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第２の色フィルタを有する複数の第３の画素と、
    可視波長域中の前記第１および第２の可視光波長域とは異なる第３の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第３の色フィルタを有する複数の第４の画素と、
    をそれぞれ複数個ずつ有し、
    前記信号処理部は、
    信号処理の対象となる複数の画素からなる画素ブロック内の第１の色の色データ値Ｃ1、第２の色データ値Ｃ2、第３の色データ値Ｃ3および白色データ値Ｗを取得する色取得部と、
    以下の（１）式に基づいて、前記白色データ値を色分離して、前記第１の色の色データ値Ｃ1w、前記第２の色の色データ値Ｃ2wおよび第３の色の色データ値Ｃ3wを生成する色分離処理部を有することを特徴とする固体撮像素子。
    Ｃ1w←Ｗ・Ｋ1 …（２）
    Ｃ2w←Ｗ・Ｋ2 …（３）
    Ｃ3w←Ｗ・Ｋ3 …（４）
    ただし、Ｋ1，Ｋ2，Ｋ3は信号強度比であり、画素ブロック内の前記色データ値Ｃ1、Ｃ2およびＣ3により定まる値である。
  4. ）
    前記信号強度比Ｋm（ｍ＝１，２，３）は、画素ブロック内の前記色データ値Ｃ1、Ｃ2およびＣ3を用いて、以下の（５）式で表されることを特徴とする請求項３に記載の固体撮像素子。
    Figure 2008022521
  5. （色分離処理の変形例、図１９のステップＳ１４，Ｓ１５）
    前記信号処理部は、
    白色データ値Ｗが所定の設定値以上か否かを判定する白色判定部を備え、
    前記色分離処理部は、前記白色判定部の判定処理が肯定された場合に前記（２）〜（４）式により前記白色データ値を色分離し、前記白色判定部の判定処理が否定された場合には、以下の（６）式に基づいて前記白色データ値を色分離して、前記色データ値Ｃ1w，Ｃ2w，Ｃ3wを生成することを特徴とする請求項３または４に記載の固体撮像素子。
    Figure 2008022521
  6. 前記色分離処理部で生成した前記色データ値Ｃ1w，Ｃ2w，Ｃ3wと白色画素の周囲の対象画素の色データ値を用いて、前記対象画素の色データ値を補正する補間処理部を備えることを特徴とする請求項３乃至５のいずれかに記載の固体撮像素子。
  7. 前記補間処理部は、前記画素ブロック内の画素の配列がベイヤー配列となるように、前記色分離処理部で生成した前記色データ値Ｃ1w，Ｃ2w，Ｃ3wと白色画素の周囲の対象画素の色データ値を用いて、前記対象画素の色データ値を補正することを特徴とする請求項６に記載の固体撮像素子。
  8. 前記信号処理部は、前記色取得部で取得した前記色データ値Ｃ1，Ｃ2，Ｃ3と前記白色データ値Ｗとに基づいて補間処理を行って、各画素ごとに、補間された色データ値と白色データ値とを計算する補間処理部を有し、
    前記色分離処理部は、前記補間処理部で補間された色データ値と白色データ値とを用いて前記（２）〜（４）式により色分離処理を行うことを特徴とする請求項３または４に記載の固体撮像素子。
  9. 半導体基板上にマトリクス状に形成され、それぞれが光電変換素子を有する複数の画素と、
    前記複数の画素で光電変換された電気信号を読み出す読み出し回路と、
    前記複数の画素で光電変換された電気信号に対して信号処理を行う信号処理部と、を備え、
    前記複数の画素は、
    可視光波長の入射光を透明フィルタを介して対応する前記光電変換素子に導く第１の画素と、
    可視波長域中の第１の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第１の色フィルタを有する複数の第２の画素と、
    可視波長域中の前記第１の可視光波長域とは異なる第２の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第２の色フィルタを有する複数の第３の画素と、
    可視波長域中の前記第１および第２の可視光波長域とは異なる第３の可視光波長域に対して他の可視光波長域よりも高い透過率を持つ第３の色フィルタを有する複数の第４の画素と、
    をそれぞれ複数個ずつ有し、
    前記信号処理部は、
    信号処理の対象となる複数の画素からなる画素ブロック内の第１の色の色データ値Ｃ1、第２の色の色データ値Ｃ2、第３の色の色データ値Ｃ3および白色データ値Ｗを取得する色取得部と、
    前記色データ値Ｃ1，Ｃ2，Ｃ3が所定の設定値より小さいか否かを判定する判定部と、
    前記判定部により、前記色データ値Ｃ1，Ｃ2，Ｃ3のうち最大二つが前記設定値より小さいと判定された場合には、白色データと前記設定値より大きい色データ値とに基づいて、前記設定値より小さいと判定された色データ値を復元する低照度補正部と、を備えることを特徴とする固体撮像素子。
  10. 前記色取得部は、対象画素の周囲の画素の白色データ値と白色以外の前記第１〜第３の色の色データ値とに基づいて補間処理を行って、前記対象画素の前記色データ値Ｃ1，Ｃ2，Ｃ3および前記白色データ値Ｗを検出することを特徴とする請求項１〜７および９のいずれかに記載の固体撮像素子。
  11. 前記低照度補正部は、前記色データ値Ｃ1，Ｃ2，Ｃ3のうち一つの色データ値のみが前記設定値より小さい場合、前記白色データ値Ｗから残りの２つの色データ値と対応する色バランスにより決定される係数Ｓ1，Ｓ2，Ｓ3との乗算結果をそれぞれ減算して得られた値を前記一つの色データ値とする第１の色補正部を有することを特徴とする請求項９または１０に記載の固体撮像素子。
  12. 前記信号処理部が直前に信号処理を行って得た第１の色の色データ値Ｃ1 P、第２の色の色データ値Ｃ2 P、第３の色の色データ値Ｃ3 Pおよび白色データ値Ｗを記憶する記憶部を備え、
    前記信号処理部は、前記記憶部に記憶されたデータ値Ｃ1 P，Ｃ2 P，Ｃ3 P，Ｗを用いて、前記低照度補正部で補正された前記色データ値Ｃ1，Ｃ2，Ｃ3および前記白色データ値Ｗを補正することを特徴とする請求項９乃至１１のいずれかに記載の固体撮像素子。
  13. 前記低照度補正部は、前記色データ値Ｃ1，Ｃ2，Ｃ3のうち二つの色データ値が前記設定値より小さい場合、前記白色データ値Ｗから残りの一つのデータ値を減算して得られた値を、前記二つの色データ値に対応する前記記憶部に記憶された二色のデータ値で比例配分した値を、新たな前記二つのデータ値とする第２の色補正部を有することを特徴とする請求項１２に記載の固体撮像素子。
  14. 前記低照度補正部は、前記色データ値Ｃ1，Ｃ2，Ｃ3のすべてが前記設定値より小さい場合、前記白色データ値Ｗを前記記憶部に記憶された三色データ値Ｃ1 P，Ｃ2 P，Ｃ3 Pで比例配分した値を、新たなデータ値Ｃ1，Ｃ2，Ｃ3とする第３の色補正部を有することを特徴とする請求項１２または１３に記載の固体撮像素子。
  15. 前記低照度補正部は、前記色データ値Ｃ1，Ｃ2，Ｃ3の少なくとも一つが前記設定値より小さい場合、前記白色データ値Ｗと前記色バランスにより決定される係数Ｓ1，Ｓ2，Ｓ3とを用いて、前記三色データ値を、Ｃ1＝Ｗ／Ｓ1、前記信号Ｃ2＝Ｗ／Ｓ2、前記信号Ｃ3＝Ｗ／Ｓ3とする第４の色補正部を有することを特徴とする請求項９または１０に記載の固体撮像素子。
  16. 前記信号処理部は、三色データ値Ｃ1，Ｃ2，Ｃ3と白色データ値Ｗとに対応する輝度データおよび色差データを出力する信号出力部を有することを特徴とする請求項１乃至１５のいずれかに記載の固体撮像素子。
  17. 前記画素ブロックは、隣接配置される２行２列の４個の前記第１乃至第４画素を含んでおり、
    前記画素ブロック内の前記第１及び第２の画素は対角上に配置されることを特徴とする請求項１乃至１６のいずれかに記載の固体撮像素子。
  18. 前記画素ブロックは、隣接配置される２行２列の４個の前記第１乃至第４画素を含んでおり、
    前記第２の画素は、緑色の可視光波長域に対して緑色以外の他の色の可視光波長域よりも高い透過率を持つ第１の色フィルタを有し、
    前記第３の画素は、赤色の可視光波長域に対して赤色以外の他の色の可視光波長域よりも高い透過率を持つ第２の色フィルタを有し、
    前記第４の画素は、青色の可視光波長域に対して青色以外の他の色の可視光波長域よりも高い透過率を持つ第３の色フィルタを有することを特徴とする請求項１乃至１６のいずれかに記載の固体撮像素子。
  19. 前記画素ブロックは、隣接配置される４行４列の１６個の前記画素を含んでおり、
    個々の前記画素ブロックは、
    前記画素ブロック内に１行おきに配置される、前記第１の画素からなる行と、前記第１の画素行の合間に配置され、互いに異なる可視光波長域の複数の色に対して前記複数の色以外の他の色の可視光波長域よりも高い透過率を持つ色フィルタをそれぞれ有する複数の画素を並べて構成される第１の画素行と、を有することを特徴とする請求項１乃至１６のいずれかに記載の固体撮像素子。
  20. 前記第２の画素行は、緑色の可視光波長域に対して緑色以外の他の色の可視光波長域よりも高い透過率を持つ色フィルタを有する画素の割合が最も高いことを特徴とする請求項１９に記載の固体撮像素子。
  21. 前記第２の画素行には、３種類の色に対してそれぞれ異なる透過率を有する３種類の画素が交互に配置されることを特徴とする請求項１９に記載の固体撮像素子。
  22. 半導体基板上にマトリクス状に形成され、それぞれが光電変換素子を有する複数の画素と、
    前記複数の画素で光電変換された電気信号を読み出す読み出し回路と、を備え、
    前記複数の画素は、２以上の前記画素を単位とする画素ブロックに分類され、
    前記複数の画素は、撮像面の縦横軸に対して４５°傾斜した正方形であって、隣接する画素同士が隙間なく配置されており、前記第１または第４の画素は、互いに異なる行に沿って配置されることを特徴とする請求項１乃至請求項１６のいずれかに記載の固体撮像素子。
  23. 前記読出し回路は、前記複数の画素に対し１水平ライン同時、もしくは１画素ずつ順番に信号読み出しを行うことを特徴とする請求項１乃至２２のいずれかに記載の固体撮像素子。
  24. 前記信号処理部は、前記複数の画素と前記読み出し回路とが形成された半導体基板とは異なる半導体基板上に形成され、
    前記読み出し回路の出力が前記信号処理回路に入力されることを特徴とする請求項１乃至２３のいずれかに記載の固体撮像素子。
  25. 前記第２、第３及び第４の画素は、赤外線を遮断する赤外カットフィルタを有し、
    前記第１の画素は、前記赤外カットフィルタを介在させずに入射光を前記光電変換素子に導くことを特徴とする請求項１乃至２４のいずれかに記載の固体撮像素子。
JP2007016971A 2006-06-14 2007-01-26 固体撮像素子 Expired - Fee Related JP5106870B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2007016971A JP5106870B2 (ja) 2006-06-14 2007-01-26 固体撮像素子
TW096121383A TW200816805A (en) 2006-06-14 2007-06-13 Solid-state image sensor
EP07745543A EP2039149A2 (en) 2006-06-14 2007-06-14 Solid-state image sensor
KR1020097000718A KR101012537B1 (ko) 2006-06-14 2007-06-14 고체 이미지 센서
US11/815,903 US7990447B2 (en) 2006-06-14 2007-06-14 Solid-state image sensor
PCT/JP2007/062470 WO2007145373A2 (en) 2006-06-14 2007-06-14 Solid-state image sensor
CN2007800220813A CN101467444B (zh) 2006-06-14 2007-06-14 固态图像传感器

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006165053 2006-06-14
JP2006165053 2006-06-14
JP2007016971A JP5106870B2 (ja) 2006-06-14 2007-01-26 固体撮像素子

Publications (2)

Publication Number Publication Date
JP2008022521A true JP2008022521A (ja) 2008-01-31
JP5106870B2 JP5106870B2 (ja) 2012-12-26

Family

ID=38603404

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007016971A Expired - Fee Related JP5106870B2 (ja) 2006-06-14 2007-01-26 固体撮像素子

Country Status (7)

Country Link
US (1) US7990447B2 (ja)
EP (1) EP2039149A2 (ja)
JP (1) JP5106870B2 (ja)
KR (1) KR101012537B1 (ja)
CN (1) CN101467444B (ja)
TW (1) TW200816805A (ja)
WO (1) WO2007145373A2 (ja)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008236620A (ja) * 2007-03-23 2008-10-02 Sony Corp 固体撮像装置及び撮像装置
JP2009027488A (ja) * 2007-07-20 2009-02-05 Sony Corp 撮像回路および撮像装置
WO2009035148A1 (en) * 2007-09-14 2009-03-19 Ricoh Company, Ltd. Imaging apparatus and imaging method
JP2009089355A (ja) * 2007-09-14 2009-04-23 Ricoh Co Ltd 撮像装置および撮像方法
JP2009118158A (ja) * 2007-11-06 2009-05-28 Ricoh Co Ltd 撮像装置および撮像方法
JP2009225252A (ja) * 2008-03-18 2009-10-01 Ricoh Co Ltd 撮像装置および撮像方法
JP2009239493A (ja) * 2008-03-26 2009-10-15 Toshiba Corp 固体撮像装置
JP2009253439A (ja) * 2008-04-02 2009-10-29 Fujifilm Corp 撮像装置
JP2010068064A (ja) * 2008-09-09 2010-03-25 Ricoh Co Ltd 撮像装置及び撮像方法
JP2010093780A (ja) * 2008-09-11 2010-04-22 Ricoh Co Ltd 撮像装置および撮像方法
JP2010154493A (ja) * 2008-11-21 2010-07-08 Sony Corp 撮像装置
JP2010199849A (ja) * 2009-02-24 2010-09-09 Toshiba Corp 画像処理装置、画像処理方法、撮像装置
JP2010239337A (ja) * 2009-03-31 2010-10-21 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
CN102265176A (zh) * 2008-12-22 2011-11-30 皇家飞利浦电子股份有限公司 具有单光子计数能力的cmos成像器
JP2012073035A (ja) * 2010-09-27 2012-04-12 Olympus Corp スペクトル情報測定方法、カラーセンサおよびバーチャルスライド装置
JP2012130078A (ja) * 2012-03-21 2012-07-05 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
US8436925B2 (en) 2008-12-08 2013-05-07 Sony Corporation Solid-state imaging device, method for processing signal of solid-state imaging device, and imaging apparatus
WO2013145487A1 (ja) * 2012-03-27 2013-10-03 ソニー株式会社 画像処理装置、撮像素子、および画像処理方法、並びにプログラム
CN103928483A (zh) * 2014-04-22 2014-07-16 北京思比科微电子技术股份有限公司 提高红色和蓝色像素灵敏度的图像传感器像素结构
CN103928484A (zh) * 2014-04-22 2014-07-16 北京思比科微电子技术股份有限公司 提高红色和蓝色像素灵敏度的图像传感器微透镜结构
KR101516757B1 (ko) * 2013-11-05 2015-05-06 에스케이텔레콤 주식회사 영상복원장치 및 영상복원장치의 동작 방법
JP2015122747A (ja) * 2013-12-20 2015-07-02 スイスタイミング・リミテッド デジタルセンサー用適応色フィルター
JP2015159527A (ja) * 2013-11-25 2015-09-03 株式会社Ｊｖｃケンウッド 映像処理装置、撮像装置、映像処理方法、及び映像処理プログラム
US9210387B2 (en) 2012-07-06 2015-12-08 Fujifilm Corporation Color imaging element and imaging device
US10674129B2 (en) 2017-12-08 2020-06-02 Canon Kabushiki Kaisha Imaging device and imaging system

Families Citing this family (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7916362B2 (en) 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
JP2008306379A (ja) * 2007-06-06 2008-12-18 Toshiba Corp 固体撮像素子
KR100976284B1 (ko) 2007-06-07 2010-08-16 가부시끼가이샤 도시바 촬상 장치
US8077234B2 (en) * 2007-07-27 2011-12-13 Kabushiki Kaisha Toshiba Image pickup device and method for processing an interpolated color signal
JP5262180B2 (ja) * 2008-02-26 2013-08-14 ソニー株式会社 固体撮像装置及びカメラ
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP4336447A1 (en) * 2008-05-20 2024-03-13 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5505761B2 (ja) * 2008-06-18 2014-05-28 株式会社リコー 撮像装置
WO2009153836A1 (en) * 2008-06-19 2009-12-23 Panasonic Corporation Method and apparatus for motion blur and ghosting prevention in imaging system
JP2010061565A (ja) * 2008-09-05 2010-03-18 Konica Minolta Business Technologies Inc 画素補間装置、画素補間方法および画像読取装置
US20100149396A1 (en) * 2008-12-16 2010-06-17 Summa Joseph R Image sensor with inlaid color pixels in etched panchromatic array
JP2010283225A (ja) * 2009-06-05 2010-12-16 Panasonic Corp 固体撮像装置
JP5546166B2 (ja) * 2009-06-19 2014-07-09 キヤノン株式会社 撮像装置、信号処理方法、及びプログラム
KR20110040402A (ko) * 2009-10-14 2011-04-20 삼성전자주식회사 필터 어레이, 이를 포함하는 이미지 센서, 및 신호 보간 방법
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR20110056096A (ko) * 2009-11-20 2011-05-26 삼성전자주식회사 디지털 이미지 처리 장치 및 그 촬영 방법
JP2011239252A (ja) * 2010-05-12 2011-11-24 Panasonic Corp 撮像装置
WO2011143501A1 (en) 2010-05-12 2011-11-17 Pelican Imaging Corporation Architectures for imager arrays and array cameras
CN103155542A (zh) * 2010-09-24 2013-06-12 富士胶片株式会社 图像拾取装置和图像拾取设备
DE102010041569B4 (de) * 2010-09-28 2017-04-06 Leica Geosystems Ag Digitales Kamerasystem, Farbfilterelement für digitales Kamerasystem, Verfahren zur Bestimmung von Abweichungen zwischen den Kameras eines digitalen Kamerasystems sowie Bildverarbeitungseinheit für digitales Kamerasystem
JP5570373B2 (ja) * 2010-09-29 2014-08-13 富士フイルム株式会社 内視鏡システム
JP5244164B2 (ja) * 2010-10-18 2013-07-24 富士フイルム株式会社 内視鏡装置
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
CN103503438A (zh) * 2011-05-24 2014-01-08 索尼公司 固态图像拾取装置和相机系统
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
US8878969B2 (en) 2011-07-27 2014-11-04 Aptina Imaging Corporation Imaging systems with color filter barriers
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
US8542933B2 (en) 2011-09-28 2013-09-24 Pelican Imaging Corporation Systems and methods for decoding light field image files
JP5732145B2 (ja) * 2011-12-16 2015-06-10 本田技研工業株式会社 画像処理装置
KR101338589B1 (ko) * 2011-12-19 2013-12-06 엘지이노텍 주식회사 픽셀 어레이, 이를 포함하는 이미지 센서 및 그 구동 방법
WO2013111449A1 (ja) * 2012-01-24 2013-08-01 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2013157883A (ja) * 2012-01-31 2013-08-15 Sony Corp 固体撮像素子およびカメラシステム
WO2013126578A1 (en) 2012-02-21 2013-08-29 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
CN104247409B (zh) 2012-04-24 2016-10-12 索尼公司 图像处理装置、图像处理方法以及程序
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
KR20150023907A (ko) 2012-06-28 2015-03-05 펠리칸 이매징 코포레이션 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
WO2014007279A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子および撮像装置
KR102019186B1 (ko) * 2012-08-16 2019-09-06 엘지이노텍 주식회사 이미지 센서 및 그를 갖는 카메라 장치
EP2888720B1 (en) 2012-08-21 2021-03-17 FotoNation Limited System and method for depth estimation from images captured using array cameras
EP2888698A4 (en) 2012-08-23 2016-06-29 Pelican Imaging Corp PROPERTY-BASED HIGH-RESOLUTION MOTION ESTIMATION FROM LOW-RESOLUTION IMAGES RECORDED WITH AN ARRAY SOURCE
WO2014043641A1 (en) 2012-09-14 2014-03-20 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
WO2014091706A1 (ja) * 2012-12-14 2014-06-19 コニカミノルタ株式会社 撮像装置
US8866944B2 (en) * 2012-12-28 2014-10-21 Visera Technologies Company Limited Method for correcting pixel information of color pixels on a color filter array of an image sensor
JP5962533B2 (ja) * 2013-02-13 2016-08-03 ソニー株式会社 固体撮像素子、駆動方法、および撮像装置
CN104981861B (zh) * 2013-02-14 2017-04-12 三菱电机株式会社 信号转换装置和方法
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9253380B2 (en) 2013-02-24 2016-02-02 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
TWI634791B (zh) * 2013-02-27 2018-09-01 新力股份有限公司 Solid-state imaging device, driving method, and electronic device
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9497370B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Array camera architecture implementing quantum dot color filters
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
JP6275695B2 (ja) * 2013-03-29 2018-02-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 推定装置、推定方法、集積回路およびプログラム
FR3004882B1 (fr) * 2013-04-17 2015-05-15 Photonis France Dispositif d'acquisition d'images bimode
JP2014230179A (ja) * 2013-05-24 2014-12-08 ソニー株式会社 撮像装置及び撮像方法
JP2015026675A (ja) * 2013-07-25 2015-02-05 ソニー株式会社 固体撮像素子およびその製造方法、並びに電子機器
KR102025184B1 (ko) * 2013-07-31 2019-09-25 엘지디스플레이 주식회사 데이터 변환 장치 및 이를 이용한 디스플레이 장치
TWI690209B (zh) * 2013-09-25 2020-04-01 新力股份有限公司 固體攝像裝置、攝像裝置及電子機器
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US9264592B2 (en) 2013-11-07 2016-02-16 Pelican Imaging Corporation Array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
CN104735427B (zh) * 2013-12-24 2016-07-06 浙江大华技术股份有限公司 一种图像传感器
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
US9699393B2 (en) 2014-06-26 2017-07-04 Semiconductor Components Industries, Llc Imaging systems for infrared and visible imaging with patterned infrared cutoff filters
CN105323567B (zh) * 2014-07-11 2017-07-28 恒景科技股份有限公司 色彩处理系统及装置
KR102316447B1 (ko) * 2014-08-28 2021-10-22 삼성전자주식회사 광 이용 효율이 향상된 이미지 센서
JP6369233B2 (ja) * 2014-09-01 2018-08-08 ソニー株式会社 固体撮像素子及びその信号処理方法、並びに電子機器
CN113256730B (zh) 2014-09-29 2023-09-05 快图有限公司 用于阵列相机的动态校准的系统和方法
JP6541324B2 (ja) * 2014-10-17 2019-07-10 キヤノン株式会社 固体撮像装置及びその駆動方法、並びに、撮像システム
KR102286136B1 (ko) * 2014-12-01 2021-08-06 에스케이하이닉스 주식회사 컬러 필터 어레이, 이를 포함하는 이미지 센서 및 이를 이용한 적외선 정보 획득 방법
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
JP6584131B2 (ja) * 2015-05-08 2019-10-02 キヤノン株式会社 撮像装置、撮像システム、および信号処理方法
US9497366B1 (en) 2015-05-27 2016-11-15 Semiconductor Components Industries, Llc Imaging systems with integrated light shield structures
US10148926B2 (en) * 2015-12-07 2018-12-04 Samsung Electronics Co., Ltd. Imaging apparatus and image processing method of thereof
CN105516700B (zh) * 2015-12-18 2018-01-19 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置
CN105472266A (zh) 2015-12-18 2016-04-06 广东欧珀移动通信有限公司 高动态范围图像的生成方法、拍照装置和终端
CN105611257B (zh) * 2015-12-18 2018-09-11 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN105430362B (zh) * 2015-12-18 2017-09-19 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105578066B (zh) * 2015-12-18 2018-01-19 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105578075A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 高动态范围图像的生成方法、拍照装置和终端
CN108702494B (zh) * 2016-03-09 2020-12-04 索尼公司 图像处理装置、成像装置、图像处理方法和存储介质
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
KR102465070B1 (ko) 2018-06-20 2022-11-09 삼성전자주식회사 이미지 복원 장치 및 방법
RU2712436C1 (ru) 2019-08-09 2020-01-28 Самсунг Электроникс Ко., Лтд. Способ обработки rccb-изображения
CN110507283A (zh) * 2019-09-17 2019-11-29 福州鑫图光电有限公司 视网膜相机及其实现方法
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
US20220368867A1 (en) * 2019-09-26 2022-11-17 Sony Semiconductor Solutions Corporation Imaging device
EP4042101A4 (en) 2019-10-07 2023-11-22 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR DETECTING SURFACE NORMALS USING POLARIZATION
JP7329143B2 (ja) 2019-11-30 2023-08-17 ボストン ポーラリメトリックス，インコーポレイティド 偏光キューを用いた透明な物体のセグメンテーションのためのシステム及び方法
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
CN115428028A (zh) 2020-01-30 2022-12-02 因思创新有限责任公司 用于合成用于在包括偏振图像的不同成像模态下训练统计模型的数据的系统和方法
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
CN111726549B (zh) * 2020-06-29 2022-08-23 深圳市汇顶科技股份有限公司 图像传感器、电子设备和芯片
CN112702543B (zh) * 2020-12-28 2021-09-17 Oppo广东移动通信有限公司 图像处理方法、图像处理系统、电子设备及可读存储介质
KR20220125103A (ko) * 2021-03-04 2022-09-14 삼성전자주식회사 이미지 센서 및 이의 동작 방법
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
CN115866423A (zh) * 2021-09-22 2023-03-28 华为技术有限公司 一种图像传感器、摄像头模组、电子设备及图像处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135792A (ja) * 2000-10-18 2002-05-10 Sony Corp 固体撮像素子
JP2003199117A (ja) * 2001-12-25 2003-07-11 Sony Corp 撮像装置及び固体撮像素子の信号処理方法
JP2004304706A (ja) * 2003-04-01 2004-10-28 Fuji Photo Film Co Ltd 固体撮像装置およびその補間処理方法
WO2006064564A1 (ja) * 2004-12-16 2006-06-22 Fujitsu Limited 撮像装置、撮像素子および画像処理方法
JP2007288403A (ja) * 2006-04-14 2007-11-01 Sony Corp 撮像装置およびカメラシステム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6618084B1 (en) * 1997-11-05 2003-09-09 Stmicroelectronics, Inc. Pixel correction system and method for CMOS imagers
DE69929395T2 (de) * 1998-12-23 2006-09-07 Eastman Kodak Co. Korrektur des farbabgleichs von bildern
US6661457B1 (en) * 1999-03-22 2003-12-09 Biomorphic Vlsi, Inc. Pixel read-out architecture
US6781626B1 (en) * 2000-01-13 2004-08-24 Biomorphic Vlsi, Inc. System and method of color interpolation
US6757012B1 (en) * 2000-01-13 2004-06-29 Biomorphic Vlsi, Inc. Color selection for sparse color image reconstruction
US6876384B1 (en) * 2000-04-19 2005-04-05 Biomorphic Vlsi, Inc. Pixel selective white balancing
US6704046B2 (en) * 2002-04-17 2004-03-09 Motorola, Inc. Digital pixel image sensor with independent color channel reference signals
JP4311988B2 (ja) 2003-06-12 2009-08-12 アキュートロジック株式会社 固体撮像素子用カラーフィルタおよびこれを用いたカラー撮像装置
EP1705634A4 (en) * 2003-11-19 2009-02-18 Eizo Nanao Corp METHOD AND APPARATUS FOR COMPENSATING THE CHANGE OF A LIQUID CRYSTAL DISPLAY BY INTERVAL OF YEARS, COMPUTER PROGRAM, AND LIQUID CRYSTAL DISPLAY
US20050122409A1 (en) * 2003-12-08 2005-06-09 Nikon Corporation Electronic camera having color adjustment function and program therefor
JP4665422B2 (ja) 2004-04-02 2011-04-06 ソニー株式会社 撮像装置
JP2005354610A (ja) * 2004-06-14 2005-12-22 Canon Inc 画像処理装置、画像処理方法および画像処理プログラム
EP1679907A1 (en) * 2005-01-05 2006-07-12 Dialog Semiconductor GmbH Hexagonal color pixel structure with white pixels
JP2006217441A (ja) * 2005-02-07 2006-08-17 Sanyo Electric Co Ltd 色信号処理方法
US20070145273A1 (en) * 2005-12-22 2007-06-28 Chang Edward T High-sensitivity infrared color camera
JP5011814B2 (ja) * 2006-05-15 2012-08-29 ソニー株式会社 撮像装置、および画像処理方法、並びにコンピュータ・プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135792A (ja) * 2000-10-18 2002-05-10 Sony Corp 固体撮像素子
JP2003199117A (ja) * 2001-12-25 2003-07-11 Sony Corp 撮像装置及び固体撮像素子の信号処理方法
JP2004304706A (ja) * 2003-04-01 2004-10-28 Fuji Photo Film Co Ltd 固体撮像装置およびその補間処理方法
WO2006064564A1 (ja) * 2004-12-16 2006-06-22 Fujitsu Limited 撮像装置、撮像素子および画像処理方法
JP2007288403A (ja) * 2006-04-14 2007-11-01 Sony Corp 撮像装置およびカメラシステム

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008236620A (ja) * 2007-03-23 2008-10-02 Sony Corp 固体撮像装置及び撮像装置
JP2009027488A (ja) * 2007-07-20 2009-02-05 Sony Corp 撮像回路および撮像装置
WO2009035148A1 (en) * 2007-09-14 2009-03-19 Ricoh Company, Ltd. Imaging apparatus and imaging method
JP2009089355A (ja) * 2007-09-14 2009-04-23 Ricoh Co Ltd 撮像装置および撮像方法
US8269852B2 (en) 2007-09-14 2012-09-18 Ricoh Company, Ltd. Imaging apparatus and imaging method
JP2009118158A (ja) * 2007-11-06 2009-05-28 Ricoh Co Ltd 撮像装置および撮像方法
JP2009225252A (ja) * 2008-03-18 2009-10-01 Ricoh Co Ltd 撮像装置および撮像方法
JP2009239493A (ja) * 2008-03-26 2009-10-15 Toshiba Corp 固体撮像装置
JP2009253439A (ja) * 2008-04-02 2009-10-29 Fujifilm Corp 撮像装置
JP2010068064A (ja) * 2008-09-09 2010-03-25 Ricoh Co Ltd 撮像装置及び撮像方法
JP2010093780A (ja) * 2008-09-11 2010-04-22 Ricoh Co Ltd 撮像装置および撮像方法
JP2010154493A (ja) * 2008-11-21 2010-07-08 Sony Corp 撮像装置
US8436925B2 (en) 2008-12-08 2013-05-07 Sony Corporation Solid-state imaging device, method for processing signal of solid-state imaging device, and imaging apparatus
US8947564B2 (en) 2008-12-08 2015-02-03 Sony Corporation Solid-state imaging device, method for processing signal of solid-state imaging device, and imaging apparatus
CN102265176A (zh) * 2008-12-22 2011-11-30 皇家飞利浦电子股份有限公司 具有单光子计数能力的cmos成像器
JP2012513694A (ja) * 2008-12-22 2012-06-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 単光子計数機能を備えるｃｍｏｓ撮像装置
JP2010199849A (ja) * 2009-02-24 2010-09-09 Toshiba Corp 画像処理装置、画像処理方法、撮像装置
JP2010239337A (ja) * 2009-03-31 2010-10-21 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP2012073035A (ja) * 2010-09-27 2012-04-12 Olympus Corp スペクトル情報測定方法、カラーセンサおよびバーチャルスライド装置
US8884210B2 (en) 2010-09-27 2014-11-11 Olympus Corporation Spectrum information measurement method, color sensor and virtual slide device
JP2012130078A (ja) * 2012-03-21 2012-07-05 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
WO2013145487A1 (ja) * 2012-03-27 2013-10-03 ソニー株式会社 画像処理装置、撮像素子、および画像処理方法、並びにプログラム
JPWO2013145487A1 (ja) * 2012-03-27 2015-12-10 ソニー株式会社 画像処理装置、撮像素子、および画像処理方法、並びにプログラム
US9699429B2 (en) 2012-03-27 2017-07-04 Sony Corporation Image processing apparatus, imaging device, image processing method, and program for reducing noise or false colors in an image
US10200664B2 (en) 2012-03-27 2019-02-05 Sony Corporation Image processing apparatus, image device, image processing method, and program for reducing noise or false colors in an image
US9210387B2 (en) 2012-07-06 2015-12-08 Fujifilm Corporation Color imaging element and imaging device
KR101516757B1 (ko) * 2013-11-05 2015-05-06 에스케이텔레콤 주식회사 영상복원장치 및 영상복원장치의 동작 방법
JP2015159527A (ja) * 2013-11-25 2015-09-03 株式会社Ｊｖｃケンウッド 映像処理装置、撮像装置、映像処理方法、及び映像処理プログラム
JP2015122747A (ja) * 2013-12-20 2015-07-02 スイスタイミング・リミテッド デジタルセンサー用適応色フィルター
CN103928484A (zh) * 2014-04-22 2014-07-16 北京思比科微电子技术股份有限公司 提高红色和蓝色像素灵敏度的图像传感器微透镜结构
CN103928483A (zh) * 2014-04-22 2014-07-16 北京思比科微电子技术股份有限公司 提高红色和蓝色像素灵敏度的图像传感器像素结构
US10674129B2 (en) 2017-12-08 2020-06-02 Canon Kabushiki Kaisha Imaging device and imaging system

Also Published As

Publication number Publication date
WO2007145373A2 (en) 2007-12-21
TW200816805A (en) 2008-04-01
EP2039149A2 (en) 2009-03-25
KR20090023690A (ko) 2009-03-05
US20100157091A1 (en) 2010-06-24
JP5106870B2 (ja) 2012-12-26
CN101467444B (zh) 2013-02-27
KR101012537B1 (ko) 2011-02-07
CN101467444A (zh) 2009-06-24
US7990447B2 (en) 2011-08-02
TWI371965B (ja) 2012-09-01
WO2007145373A3 (en) 2008-03-27

Similar Documents

Publication Publication Date Title
JP5106870B2 (ja) 固体撮像素子
US7414630B2 (en) Hexagonal color pixel structure with white pixels
JP4846608B2 (ja) 固体撮像装置
KR101130023B1 (ko) 고체 촬상 소자
US9160935B2 (en) Sensor arrangement for transforming color space representation in a digital color image
JP4966035B2 (ja) 固体撮像装置
US7015961B2 (en) Digital image system and method for combining demosaicing and bad pixel correction
TWI428025B (zh) Image processing apparatus and image processing method, image capturing apparatus and computer program product
US8736724B2 (en) Imaging apparatus, method of processing captured image, and program for processing captured image
US6757012B1 (en) Color selection for sparse color image reconstruction
US8013914B2 (en) Imaging apparatus including noise suppression circuit
US20070159542A1 (en) Color filter array with neutral elements and color image formation
US7760255B2 (en) Method and apparatus for interpolation of interlaced CMYG color format
JP6622481B2 (ja) 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法
US20100086202A1 (en) Image processing apparatus, computer-readable recording medium for recording image processing program, and image processing method
US7889252B2 (en) Image processing device, non-capture color signal calculating device, and image processing method
WO2018092400A1 (ja) 固体撮像素子、信号処理回路、及び、電子機器
JP3711402B2 (ja) 撮像装置及びカラー撮像信号の処理方法
JP2008131291A (ja) 撮像装置
JP2009290568A (ja) 撮像装置
JP2009290599A (ja) 撮像装置
JP2006166030A (ja) 色雑音低減手法およびカラー撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120907

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121003

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151012

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees