JP2010288150A - 固体撮像装置 - Google Patents

固体撮像装置 Download PDF

Info

Publication number
JP2010288150A
JP2010288150A JP2009141429A JP2009141429A JP2010288150A JP 2010288150 A JP2010288150 A JP 2010288150A JP 2009141429 A JP2009141429 A JP 2009141429A JP 2009141429 A JP2009141429 A JP 2009141429A JP 2010288150 A JP2010288150 A JP 2010288150A
Authority
JP
Japan
Prior art keywords
signal
color
pixel
resolution
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2009141429A
Other languages
English (en)
Inventor
Yoshitaka Egawa
佳孝 江川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2009141429A priority Critical patent/JP2010288150A/ja
Priority to US12/813,129 priority patent/US20100315541A1/en
Publication of JP2010288150A publication Critical patent/JP2010288150A/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14683Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
    • H01L27/14685Process for coatings or optical elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/42Wire connectors; Manufacturing methods related thereto
    • H01L2224/47Structure, shape, material or disposition of the wire connectors after the connecting process
    • H01L2224/48Structure, shape, material or disposition of the wire connectors after the connecting process of an individual wire connector
    • H01L2224/4805Shape
    • H01L2224/4809Loop shape
    • H01L2224/48091Arched
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14618Containers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

【課題】解像度信号のレベルを低下させることなく、被写界深度を拡大することができる固体撮像装置を提供する。
【解決手段】センサ部11は光学レンズを通った光の波長を分離する、透明(W)フィルタと少なくとも2色の色フィルタとを有する。センサ部11により透明フィルタを通過した光がW信号に変換され、色フィルタを通過した光が少なくとも第1、第2の色信号にそれぞれ変換される。輪郭抽出回路135によりセンサ部11によって変換されたW信号から解像度信号が抽出される。そして、生成回路によりセンサ部11によって変換されたW信号及び色信号からR,G,B信号が生成される。
【選択図】図1

Description

本発明は、CMOS型イメージセンサやCCD(charge-coupled device)イメージセンサなどを含む固体撮像装置に関するものであり、例えばイメージセンサ付き携帯電話、デジタルカメラ、ビデオカメラなどに使用される。
携帯電話用に搭載されるカメラモジュールでは、携帯電話の薄型化に伴うカメラモジュールの小型化や、例えば携帯電話を落としても壊れにくいカメラモジュールが要求されている。さらに、近年は高画質化の要求から、500万画素や800万画素以上といった多画素化が進んでいる。
多画素を持つセンサでは、画素サイズの縮小化にともない被写界深度が浅くなる。被写界深度が浅くなると、オートフォーカス(AF)機構が必要となる。しかし、AF機構を持つカメラモジュールは小型化が難しく、落とした場合に壊れやすいなどの課題も生じる。
そこで、AF機構を使用せずに、被写界深度を深くする方法、言い換えると被写界深度を拡大する方法が要求されている。この被写界深度を深くする方法は、古くから光学マスクを使った研究開発がなされている。被写界深度を深くする方法は、レンズの絞りを絞る以外は、光学レンズ自体で焦点ずれを発生させ、信号処理で補正する方法が提案されている。
例えば、非特許文献1は、瞳孔の中心からその周縁に向けて徐々に振幅透過率を減少させて、わずかによくなった画像をもたらすことを論じている。また、非特許文献2は、反復デジタル復元アルゴリズムを使用し、予めアポダイズされた(apodized)光学システムの光学伝達関数を改善することを論じている。非特許文献3は、焦点深度を増大するためにアポダイザ(apodizer)としてゾーンプレートを使用することを論じている。また、特許文献1〜5では、色収差レンズ、球面収差レンズなどは、焦点ずれをもたらすとしている。逆に言い換えれば、焦点深度を深くすることになる。
しかし、現在、携帯電話やデジタルカメラなどで一般的に使用されている固体撮像素子は、単板式で色フィルタにG(緑)画素が2個、R(赤)画素が1個、B(青)画素が1個を基本とした2×2配置のベイヤー(Bayer)配列を使用している。また、解像度信号は、G信号から抽出している。
被写界深度を深くする焦点ずれの方法では、G信号から得られる解像度信号レベルは焦点深度が深くなる分だけ小さくなる。そこで、解像度信号のレベルを大きく増幅する必要があるが、同時にノイズも増加されるという問題がある。
また、レンズの点像分布関数(PSF:Point Spread Function)に対して逆畳み込みを行う逆畳み込み変換フィルタ(DCF)で解像度を精鋭化する方法が提案されている。PSFをレンズの面内で均一にするのは難しい。そのため、DCFの変換パラメータ量が多量に必要になり、回路規模が増大し、高価なカメラモジュールとなる。特に、携帯電話向けの安価なカメラモジュールでは、特性と価格が合わないという問題がある。
国際公開番号 WO9624085(特表平11−500235号公報) 国際公開番号 WO9957599(特表2002−513951号公報) 国際公開番号 WO2004063989(特表2006−519527号公報) 国際公開番号 WO2006095110(特表2008−532449号公報) 特開2000−98301号公報
M. Mino およびY. Okano、"Improvement in the OTF of a Defocussed Optical System Through the Use of Shaded Apertures"、Applied Optics、1971年10月、第10巻、第10号 J. Ojeda-Castaneda等、"High Focal Depth By A podization and Digital Restoration"、Applied Optics、1988年6月、第27巻、第12号 J. Ojeda-Castaneda等、"ZonePlate for Arbitrarily High Focal Depth"、Applied Optics、1990年3月、第29巻、第7号
本発明は、解像度信号のレベルを低下させることなく、被写界深度を拡大することができる固体撮像装置を提供する。
本発明の第1の実施態様の固体撮像装置は、光学レンズを通った光の波長を分離する、透明(W)フィルタと少なくとも2色の色フィルタとを有し、前記透明フィルタを通過した光をW信号に変換し、前記色フィルタを通過した光を少なくとも第1、第2の色信号にそれぞれ変換するセンサ部と、前記センサ部により変換された前記W信号から解像度信号を抽出する解像度抽出回路と、前記センサ部により変換された前記W信号及び前記色信号からR,G,B信号を生成する生成回路とを具備する。
本発明の第2の実施態様の固体撮像装置は、光学レンズを通った光の波長を分離する3色の色フィルタを有し、前記色フィルタを通過した光を色信号にそれぞれ変換するセンサ部と、前記センサ部により変換された前記色信号から解像度信号を抽出する解像度抽出回路と、前記センサ部により変換された前記色信号からR,G,B信号を生成する生成回路とを具備する。
本発明によれば、解像度信号のレベルを低下させることなく、被写界深度を拡大することができる固体撮像装置を提供できる。
本発明の第1実施形態に係るCMOSイメージセンサを使用した固体撮像装置の概略的な構成を示す図である。 図1に示した画素補間回路においてW,G,R,Bの各信号の補間処理が行われる様子を示す図である。 図1に示した輪郭抽出回路において輪郭信号が生成される様子を示す図である。 第1実施形態の固体撮像装置における分光感度特性を示す特性図である。 図1に示した光学レンズに球面収差を持つレンズを用いた場合の焦点特性を示す図である。 通常のレンズにおける焦点特性を示す図である。 第1実施形態における球面収差レンズのエリア分割の他の例を示す図である。 図5Aに示した球面収差レンズの具体的な設計例を示す図である。 図6に示した球面収差レンズの解像度特性を示す図である。 図1に示した光学レンズに色収差を持つレンズを用いた場合の被写界深度を示す図である。 図1に示した光学レンズにおいて物体までの距離とPSFの最大値との関係を示す特性図である。 図1中に示した光学レンズとセンサチップとの間に位相板を配置した場合の被写界深度を示す図である。 図1中に示した光学レンズとセンサチップとの間に位相板を配置した場合の被写界深度を示す図である。 本発明の第2実施形態に係るCMOSイメージセンサを使用した固体撮像装置の概略的な構成を示す図である。 図10に示した画素補間回路においてG、R、Bの各信号の補間処理が行われる様子を示す図である。 第2実施形態の固体撮像装置における分光感度特性を示す特性図である。 本発明の第3実施形態に係るCMOSイメージセンサを使用した固体撮像装置の概略的な構成を示す図である。 図13に示した画素補間回路においてW、G、Rの各信号の補間処理が行われる様子を示す図である。 第3実施形態の固体撮像装置における分光感度特性を示す特性図である。 第3実施形態における分光感度特性の変形例を示す特性図である。 本発明の第4実施形態の固体撮像装置におけるセンサ部のカラーフィルタの色配列を示す図である。 図17(a)に示したカラーフィルタを持つ固体撮像装置の分光感度特性を示す特性図である。 図17(a)に示したカラーフィルタを持つ固体撮像装置の分光感度特性の変形例を示す特性図である。 図17(b)に示したカラーフィルタを持つ固体撮像装置の分光感度特性を示す特性図である。 図17(b)に示したカラーフィルタを持つ固体撮像装置の分光感度特性の変形例を示す特性図である。 本発明の第5実施形態の固体撮像装置におけるセンサ部の拡大図である。 図19に示したセンサ部におけるWGWG画素に対応する部分の断面図である。 第5実施形態の固体撮像装置における分光感度特性を示す特性図である。 本発明の第6実施形態に係る固体撮像装置の第1の変形例を示す図である。 本発明の第6実施形態に係る固体撮像装置の第2の変形例を示す図である。 本発明の第6実施形態に係る固体撮像装置の第3の変形例を示す図である。 本発明の実施形態をカメラモジュールに適用した場合のカメラモジュールの断面図である。
以下、図面を参照して本発明の実施形態について説明する。説明に際し、全図にわたり、共通する部分には共通する参照符号を付す。
[第1実施形態]
まず、本発明の第1実施形態の固体撮像装置について説明する。
図1は、第1実施形態に係るCMOSイメージセンサを使用した固体撮像装置の概略的な構成を示す図である。
図示するように、CMOSイメージセンサを含むセンサチップ1の上方には光学レンズ2が配置されている。図1中の破線内がセンサチップ1の詳細な構成を示す。光学レンズ2は、被写体(物体)の光情報を集光する。センサチップ1は、信号処理回路を内蔵し、光学レンズ2により集光された光を電気信号に変換してデジタル画像信号を出力する。後に詳細に説明するが、光学レンズ2は、レンズの収差もしくは光学マスク(例えば、位相板)を用いて焦点深度を拡大している、言い換えると被写界深度を深くしている。
センサチップ1は、センサ部11、ラインメモリ12、解像度復元回路13、信号処理回路14、システムタイミング発生回路(SG)15、コマンドデコーダ16、及びシリアルインタフェース(シリアルI/F)17を備える。
センサ部11には、画素アレイ111、及びカラム型アナログデジタルコンバータ(ADC)112が配置されている。画素アレイ111には、光学レンズ2で集光された光を電気信号に変換する光電変換素子手段としてのフォトダイオード(画素)がシリコン半導体基板上に二次元に配置されている。フォトダイオードの前面には、W(透明)、B(青)、G(緑)、及びR(赤)の4種類からなるカラーフィルタがそれぞれ配置されている。カラーフィルタにおける色配列は、基本の4×4画素配列内にWが市松状に8画素、Gが4画素、Rが2画素、Bが2画素配置されたものとなっている。
センサ部11の画素アレイ111では、フォトダイオード(画素)に入射する光の波長がカラーフィルタにより4つに分離され、分離された光が二次元に配置されたフォトダイオードにより信号電荷に変換される。さらに、信号電荷は、ADC112によりデジタル信号に変換されて出力される。また、各画素にはカラーフィルタの前面にマイクロレンズが配置されている。
センサ部11から出力された信号はラインメモリ12に供給され、例えば垂直7ライン分の信号がラインメモリ12に蓄積される。この7ライン分の信号が並列に読み出されて、解像度復元回路13に入力される。
解像度復元回路13では、複数の画素補間回路131〜134により、W,B,G,Rの各信号が補間処理される。補間処理されたW画素信号は輪郭(解像度)抽出回路135に供給される。輪郭抽出回路は、例えば高周波信号を抽出する高帯域通過フィルタ回路(HPF)を有し、高帯域通過フィルタ回路により輪郭(解像度)信号Ewを抽出する。この輪郭信号Ewはレベル調整回路136によりレベルが適宜調整された後、複数の加算回路(解像度合成回路)137〜139に供給される。
複数の加算回路137〜139では、画素補間回路132〜134により補間処理されたB,G,Rの各信号と、レベル調整された輪郭信号とが加算される。加算回路137〜139により加算された信号と、レベル調整回路136によりレベルが調整された輪郭信号は、後段の信号処理回路14に供給される。
信号処理回路14では、受け取った信号を用いて、一般的なホワイトバランス調整、カラー調整(RGBマトリックス)、γ補正、及びYUV変換などの処理が行われ、YUV信号形式やRGB信号形式のデジタル信号DOUT0〜DOUT7として出力される。なお、レベル調整回路136で調整された輪郭信号は、後段の信号処理回路14において輝度信号(Y信号)に加算することもできる。
システムタイミング発生回路(SG)15には、外部からマスタクロック信号MCKが供給される。システムタイミング発生回路15からは、センサ部11、ラインメモリ12、及び解像度復元回路13の動作を制御するクロック信号が出力される。
さらに、ラインメモリ12、解像度復元回路13、及びシステムタイミング発生回路15の動作は、コマンドデコーダから出力される制御信号により制御される。例えば、外部から入力されるデータDATAがシリアルインタフェース17を介してコマンドデコーダ16に入力される。そして、コマンドデコーダ16によりデコードされた制御信号が前述した各回路に入力されることにより、外部から入力されたデータDATAに基づいて処理のパラメータ等が制御できる。
なお、後段の信号処理回路14は、センサチップ1内に形成せず、別チップに分割することもできる。このときは、各B,G,R信号を一般的なベイヤー配列(Gが2画素、Rが1画素、Bが1画素の2×2配列を基本構成とする)に間引いて出力している。
図2(a)〜図2(d)は、図1中の画素補間回路131〜134において、W,G,R,Bの各信号の補間処理が行われる様子を示す図である。なお、図2(a)〜図2(d)のそれぞれの上部には補間前の信号を示し、それぞれの下部には補間後の信号を示している。
図2中、矢印が2本の場合は2つの画素の信号の平均値で補間され、矢印が3本の場合は3つの画素の信号の平均値で補間され、矢印が4本の場合は4つの画素の信号の平均値で補間される。
例えば、図2(a)に着目すると、4箇所の信号W1,W3,W4,W6によって囲まれた位置のW信号は、これら4箇所の信号W1,W3,W4,W6の平均値によって補間される。また、図2(b)に着目すると、2箇所の信号G1,G2の間に位置するG信号は、この2箇所の信号G1,G2の平均値によって補間され、4箇所の信号G1,G2,G3,G4の中央に位置するG信号は、これら4箇所の信号G1,G2,G3,G4の平均値によって補間される。R信号及びB信号の補間処理は、図2(c)及び図2(d)にそれぞれ示す通りである。
図3(a)、図3(b)、図3(c)は、図1中のW画素の輪郭抽出回路135において、輪郭信号Ewが生成される様子を示す図である。
図3(a)に示した方法では、3×3画素のエリアの中心画素に対してゲインが8倍され、その周囲8画素のそれぞれに対してゲインが−1倍され、これら9画素の信号が加算されることにより輪郭信号Ewが生成される。均一被写体では輪郭信号Ewは0となる。一方、縦縞もしくは横縞のパターンが発生すると輪郭信号が発生する。
図3(b)に示した方法では、3×3画素のエリアの中心画素に対してゲインが4倍され、中心画素に対して斜め方向に隣り合う4画素のそれぞれに対してゲインが−1倍され、これら5画素の信号が加算されることにより輪郭信号Ewが生成される。
図3(c)に示した方法では、5×5画素のエリアの中心画素に対してゲインが32倍され、中心画素を取り囲む8画素のそれぞれに対してゲインが−2倍され、上記8画素をさらに取り囲む16画素のそれぞれに対してゲインが−1倍され、これら25画素の信号が加算されることにより輪郭信号Ewが生成される。
輪郭信号の生成には、上記以外にも種々の方法を用いることができる。例えば、3×3画素及び5×5画素以外に7×7画素のエリアを採用してもよく、画素の重み付け(ゲイン)を変更することもできる。W画素以外のR、G、Bの各画素における輪郭信号の生成は、図3(a)〜図3(c)に示した場合と同様の方法で実施することができる。その際、7×7画素のエリアを用いて輪郭信号を生成してもよい。
図4は、第1実施形態の固体撮像装置における分光感度特性を示す特性図である。図示するように、B信号は分光特性のピークが460nm、G信号は分光特性のピークが530nm、R信号は分光特性のピークが600nmになっている。W信号は、色フィルタに透明層を用いているため、感度が高く、400nmから650nmまでなだらかな特性になっている。このため、W画素から得られるW信号のレベルは、G信号の約2倍以上を得ることができる。
図5Aは、図1中に示した光学レンズ2に球面収差を持つレンズを用いた場合の焦点特性を示す。図5Bは通常のレンズにおける焦点特性を示し、図5Cは球面収差レンズにおけるエリア分割の他の例を示す。
通常のレンズの場合は、図5Bに示すように、レンズのどの位置を通った光も同一の焦点距離に集合するように設計されている。球面収差を持つレンズの場合は、図5Aに示すように、レンズのエリアA,B,Cにおいて焦点距離が異なっている。
レンズの各エリアA,B,Cの面積は、解像度レベルが同じになることが好ましい。このため、例えば、エリアAのサイズをレンズ絞りF4.2とし、エリアBのサイズをF2.9〜F4.2とし、エリアCのサイズをF2.4〜F2.9のサイズにすると、ほぼ3つのエリアの解像度レベルを同じにできる。
球面収差レンズのエリア分割は、円形で無く、例えば図5Cに示すように、十字に4分割にしてもよい。このように、4分割以上に分割を増加することにより、より焦点深度を深くすることができる。
図6及び図7に、図5Aに示した球面収差レンズの具体的な設計例を示す。
図6に示す球面収差レンズは、焦点距離(被写体までの距離)をA,B,Cの3分割にゾーン別けをしている。例えば、Aゾーンは、ぼけが許容される物体までの距離が50cm〜∞であり、Bゾーンは20cm〜50cm、Cゾーンは10cm〜20cmとなるように設計している。
レンズ設計では、まず、絞りF2.4で、物体までの距離が50cm〜∞になるレンズを設計する。次に、レンズの形状を変更して物体までの距離が20cm〜50cmになるレンズを設計する。さらに、レンズの形状を変更して物体までの距離が10cm〜20cmになる3つのレンズを設計する。そして、各A,B,Cのエリアのみ切り取り合成することにより、最終的なレンズを形成することで球面収差レンズが完成する。
図7は、図6に示した球面収差レンズの解像度特性を示す。
従来のカメラモジュールでは、球面収差の無い標準レンズを使い、解像度信号はG画素(G信号)から得ている。また、物体までの距離は、約50cm〜∞でボケが無いように設計している。この時の解像度特性MTF(Modulation Transfer Function)を100%とする。
図6に示した球面収差レンズを光学レンズ2に適用すると、球面収差レンズ通った光でG画素から得られる解像度特性MTFのレベルは、レンズが3分割されているため、約1/3に低下してしまう。このため、通常の解像度感を得るためには、信号処理で約3倍の信号レベル強調を実施する必要がある。このとき、ノイズも約3倍に強調されてしまうという課題がある。
そこで、本実施形態では、解像度信号をW(透明)画素から得ることにより、信号レベルがG信号の約2倍得られるため、ノイズの増加を抑えて、解像度特性MTFを向上させることができる。
図8Aは、図1中に示した光学レンズ2に色収差を持つレンズを用いた場合の被写界深度を示す図である。
通常のレンズは光の波長によって屈折率が異なるため、色収差が発生する。このため、材質の異なるレンズを組み合わせることで、この色収差を補正している。本実施形態では、この色収差を積極的に活用することで被写界深度を拡大している。
図8Aに示すように、ピーク波長が460nmのB信号に関しては、物体(被写体)までの距離が15cmの時、センサチップ1にピントが合うようにレンズ2を設計している。さらに、ピーク波長が530nmのG信号に関しては、被写体(物体)までの距離が50cmの時、またピーク波長が600nmのR信号に関しては、被写体(物体)までの距離が2mの時に、それぞれセンサチップ1にピントが合うように、色収差を使ってレンズ2を設計している。
図8Bは、本実施形態で使用される光学レンズ2において、物体までの距離と、各ピーク波長B=460nm,G=530nm,R=600nmにおけるPSF(点像分布関数)の最大値との関係を示す特性図である。さらに、図8Bには、W(透明)画素における400〜650nmの各単一波長におけるPSFのピーク値の変化を合わせて示している。すなわち、W画素では約15cmから無限大まで連続的に高いPSFが得られる。
W(透明)画素を用いない場合は、各B,G,RのPSFの最大レベルのクロスレベルが約50%近辺になっている必要がある。50%より大幅に低下すると、その距離での解像度レベルが低下するため、解像度が劣化するという問題が発生する。一方、W(透明)画素を用いることで、B,G,Rの間隔を拡大することができるため、焦点深度をさらに拡大できる。
図9A及び図9Bは、図1中に示した光学レンズ2とセンサチップ1との間に位相板3を配置した場合の被写界深度を示す図である。
図示するように、位相板3はレンズ2とセンサチップ1との間に配置される。位相板3は光の通過するエリアに応じて、光の位相を変調することにより焦点距離を変更することができる。よって、図9A、図9Bに示すように焦点深度を延ばすこと、言い換えると、被写界深度を拡大することができる。
例えば、図9Aに示すように、物体までの距離が10cm〜20cmでは、レンズ2の下部領域がセンサチップ1面でジャストピントの信号を得ている。図9Bに示すように、物体までの距離が50cm〜∞では、レンズ2の上部領域がセンサチップ1面でジャストピントの信号を得ている。物体までの距離が20cm〜50cmでは、レンズ2の中心領域がセンサチップ1面でジャストピントの信号を得ている。
位相板3は、格子状に凹凸を形成したものや、平行平面ガラス板の一部に屈折率の異なる透明薄膜を付けたものが使われる。また、位相板3として、水晶板、レンチキュラー、クリスチャンセンフィルタなどを用いることもできる。
なお、位相板(phase plate)とは、光に位相差を与えるために、光学系内に入れる透明板を言う。基本的には次の二種がある。(1)互いに垂直な主軸方向に振動する直線偏光成分を通過させ、この二成分間に必要な位相差を与える結晶板で、二分の一波長板、四分の一波長板などがある。(2)平行平面ガラス板の一部分に屈折率n、厚さdの等方性の透明薄膜を付けたもの。透明薄膜の付いた部分と付かない部分とを透過する光の間に、位相差ができる。
以上説明したように第1実施形態では、球面収差あるいは色収差を持つ光学レンズを用いること、または位相板を光学レンズとセンサチップ間に配置することにより、被写界深度を拡大することができる。また、被写界深度を拡大することにより低下した解像度信号の対策として、透明フィルタを通った光から得たW信号を用いて解像度信号を求めることにより、信号レベルが高くSN比が良い解像度信号を生成することができる。
第1実施形態によれば、被写界深度を深くするこができるため、AF(オートフォーカス)機構が不要となる。この効果として、カメラモジュールの高さを低くでき、薄型のカメラ付き携帯電話が容易に製造できる。また、AFのメカ機構が不要になるため、ショックなどの衝撃に強いカメラが提供できる。さらに、AF動作では、タイムラグが発生するため、シャッタチャンスを逃す可能性が高いが、本実施形態では、AFを使わないため、タイムラグが発生せず、シャッタチャンスに強いカメラが提供できる。
また、固定焦点カメラにマクロ切換えを備えたカメラがあるが、このようなカメラではマクロ切換えのスイッチが逆になっていて、ボケた画像を撮影する失敗が多々発生する。しかし、本実施形態では、切換えが不要となるため、ボケた画像を撮影する失敗がない。また、AFや、マクロ切換えなどのメカ機構が不要となるため、製品コストを低減することができる。また、レンズの設計製造が容易にでき、材質、構成など、標準レンズと同じに形成できるため、製品コストがアップすることがない。さらに、信号処理回路も回路規模が小さくできるため、小型で安価な固体撮像装置、さらにはカメラモジュールを提供できる。
[第2実施形態]
次に、本発明の第2実施形態の固体撮像装置について説明する。
図10は、第2実施形態に係るCMOSイメージセンサを使用した固体撮像装置の概略的な構成を示す図である。
この固体撮像装置は、被写体の光情報を集光する光学レンズ2と、信号処理回路を内蔵し、光学レンズ2により集光された光信号を電気信号に変換してデジタル画像信号を出力するセンサチップ1とから構成されている。光学レンズ2として、球面収差レンズあるいは色収差レンズを用いて被写界深度を拡大している。また、光学レンズ2とセンサチップ1との間に光学マスク(位相板など)を配置して被写界深度を拡大している。
本実施形態におけるセンサチップ1が第1実施形態の構成と異なる点は、センサ部11Aの画素アレイ111Aにおけるカラーフィルタの色配列が、基本の2×2画素配列内にG画素が2画素、B画素が1画素、R画素が1画素それぞれ配置された一般的なベイヤー配列となっていることである。
このようなカラーフィルタの色配列の変更に伴い、解像度復元回路13Aの一部も変更されている。すなわち、本実施形態の解像度復元回路13Aでは、W信号の入力が無いので、第1実施形態で備えていたW信号の画素補間回路131及び輪郭抽出回路135が省略されている。
また、B信号の輪郭抽出回路140、G信号の輪郭抽出回路141、及びR信号の輪郭抽出回路142からそれぞれ得た輪郭信号が輪郭信号合成回路143により合成されて、輪郭信号Ewが生成される。さらに、輪郭信号Ewはレベル調整回路136によりレベルが調整される。また、画素補間回路132,133,134から出力された各R,G,B信号の帯域が同じに成るように、LPF(低帯域通過フィルタ回路)144,145,146を追加している。これらLPF144,145,146の出力に、レベル調整回路136によりレベル調整された輪郭信号が加算回路137,138,139により加算されている。
加算回路137〜139により加算された信号は、後段の信号処理回路14に供給される。信号処理回路14では、受け取った信号を用いて、一般的なホワイトバランス調整、カラー調整(RGBマトリックス)、γ補正、YUV変換などの処理が行われ、YUV信号形式やRGB信号形式のデジタル信号DOUT0〜DOUT7として出力される。なお、レベル調整回路136で調整した輪郭信号は、後段の信号処理回路14において輝度信号(Y信号)に加算することもできる。
図11(a)〜図11(c)は、図10中の画素補間回路132〜134において、G、R、Bの各信号の補間処理が行われる様子を示す図である。なお、図11(a)〜図11(c)のそれぞれの上部には補間前の信号を示し、それぞれの下部には補間後の信号を示している。
図11中、矢印が2本の場合は2つの画素の信号の平均値で補間され、矢印が3本の場合は3つの画素の信号の平均値で補間され、矢印が4本の場合は4つの画素の信号の平均値で補間される。
例えば、図11(a)に着目すると、4箇所の信号G1,G3,G4,G6によって囲まれた位置のG信号は、これら4箇所の信号G1,G3,G4,G6の平均値によって補間される。また、図11(c)に着目すると、4箇所の信号B1,B2,B4,B5の中央に位置するB信号は、この4箇所の信号B1,B2,B4,B5の平均値によって補間される。さらに、2箇所の信号B1,B2の間に位置するB信号は、この2箇所の信号B1,B2の平均値によって補間される。
図12は、第2実施形態の固体撮像装置における分光感度特性を示す特性図である。図示するように、B信号は分光特性のピークが460nm、G信号は分光特性のピークが530nm、R信号は分光特性のピークが600nmになっている。
第2実施形態では、第1実施形態と同様に、球面収差あるいは色収差を持つ光学レンズを用いること、または位相板を光学レンズとセンサチップ間に配置することにより、被写界深度を拡大することができる。また、被写界深度を拡大することにより低下した解像度信号の対策として、B,G,Rのフィルタを通った光から得た各信号を用いて解像度信号を求めることにより、レベルが高くSN比が良い解像度信号を生成することができる。
第2実施形態におけるその他の構成及び効果は、第1実施形態と同様であり、説明は省略する。
[第3実施形態]
次に、本発明の第3実施形態の固体撮像装置について説明する。
図13は、第3実施形態に係るCMOSイメージセンサを使用した固体撮像装置の概略的な構成を示す図である。
この固体撮像装置は、被写体の光情報を集光する光学レンズ2と、信号処理回路を内蔵し、光学レンズ2により集光された光信号を電気信号に変換してデジタル画像信号を出力するセンサチップ1とから構成されている。光学レンズ2として、球面収差レンズあるいは色収差レンズを用いて被写界深度を拡大している。また、光学レンズ2とセンサチップ1との間に光学マスク(位相板など)を配置して被写界深度を拡大している。
本実施形態におけるセンサチップ1が第1の実施形態の構成と異なる点は、センサ部11Bの画素アレイ111Bにおけるカラーフィルタの色配列が、基本の2×2画素配列内にW画素が市松状に2画素、G画素が1画素、R画素が1画素それぞれ配置されたものとなっていることである。このようなカラーフィルタの採用により、第1実施形態のセンサ部11と比べて、第3実施形態ではR信号の出力が4×4画素配列内に4個と2倍になっている。
解像度復元回路13Bでは、B信号が無いため、B信号を生成するB信号生成回路147を備えている。W画素数とG画素数とR画素数が異なるため、同一の信号帯域となるようにLPF(ローパスフィルタ)148,145,146をそれぞれ備えている。そして、LPF(ローパスフィルタ)を通過したW,G,R信号である信号WLPF,GLPF,RLPFから、B信号生成回路147において、“BLPF=WLPF−GLPF−RLPF”によりB信号BLPFが生成される。
解像度の復元は、B、G、Rの各信号BLPF,GLPF,RLPFと、レベル調整後の輪郭信号とが加算されることでなされる。
加算回路137〜139により加算された信号は、後段の信号処理回路14に供給される。信号処理回路14では、受け取った信号を用いて、一般的なホワイトバランス調整、カラー調整(RGBマトリックス)、γ補正、YUV変換などの処理が行われ、YUV信号形式やRGB信号形式のデジタル信号DOUT0〜DOUT7として出力される。なお、レベル調整回路136で調整した輪郭信号は、後段の信号処理回路14において輝度信号(Y信号)に加算することもできる。
図14(a)〜図14(c)は、図13中の画素補間回路131,133,134において、W、G、Rの各信号の補間処理が行われる様子を示す図である。なお、図14(a)〜図14(c)のそれぞれの上部には補間前の信号を示し、それぞれの下部には補間後の信号を示している。
図14中、矢印が2本の場合は2つの画素の信号の平均値で補間され、矢印が3本の場合は3つの画素の信号の平均値で補間され、矢印が4本の場合は4つの画素の信号の平均値で補間される。
例えば、図14(a)に着目すると、4箇所の信号W1,W3,W4,W6によって囲まれた位置のW信号は、これら4箇所の信号W1,W3,W4,W6の平均値によって補間される。また、図14(c)に着目すると、4箇所の信号R1,R2,R4,R5の中央に位置するR信号は、この4箇所の信号R1,R2,R4,R5の平均値によって補間され、2箇所の信号R1,R2の間に位置するR信号は、この2箇所の信号R1,R2の平均値によって補間される。
図15は、第3実施形態の固体撮像装置における分光感度特性を示す特性図である。本実施形態では、B画素が無いため、分光特性のカーブはWとGとRの3種類となる。G信号は分光特性のピークが530nm、R信号は分光特性のピークが600nmになっている。W信号は、透明層なために、感度が高く、400nmから650nmまでなだらかな特性になっている。
図16は、第3実施形態における分光感度特性の変形例を示す特性図である。W画素の分光特性Wbを図16に示すように形成することにより、B信号のSN比を改善することができる。B信号は、“B=W−G−R”で算出して求める。このため、図15に示すW画素の分光特性では、より大きなG信号とR信号を減算する必要がある。しかし、この変形例では、W信号のGとR領域における感度を低下させ、図16に示すように信号Wbを形成している。これにより、B信号の算出時におけるG信号とR信号の減算量を約1/2とすることができる。また、信号Wbは、B信号領域での感度が大きいため、生成したB信号の色再現性も改善できる。
このような信号Wbの分光特性は、図12に示したB信号の分光特性を持つBの色フィルタを薄く形成すること、もしくは、Bの色フィルタはBの顔料材とポリマー材とを混合しているため、Bの顔料材を少なくし、ポリマー材を多くすることで実現できる。
第3実施形態では、第1実施形態と同様に、球面収差あるいは色収差を持つ光学レンズを用いること、または位相板を光学レンズとセンサチップ間に配置することにより、被写界深度を拡大することができる。また、被写界深度を拡大することにより低下した解像度信号の対策として、透明フィルタを通った光から得たW信号を用いて解像度信号を求めることにより、レベルが高くSN比が良い解像度信号を生成することができる。また、透明フィルタのG波長領域とR波長領域の透明度を低下させることで、生成するB信号のSN比と色再現性を改善することができる。
第3実施形態におけるその他の構成及び効果は、第1実施形態と同様であり、説明は省略する。
[第4実施形態]
次に、本発明の第4実施形態の固体撮像装置について説明する。第4実施形態では、第3実施形態においてセンサ部のカラーフィルタの色配列を変更した例を示す。
図17(a)及び図17(b)は、第4実施形態の固体撮像装置におけるセンサ部のカラーフィルタの色配列を示す図である。
図17(a)では、センサ部のカラーフィルタの色配列が、基本の2×2画素配列内にW画素が市松状に2画素、R画素が1画素、B画素が1画素それぞれ配置されている。この色配列では、G信号が無いため、G信号は“G=W−B−R”から算出する。
また、図17(b)では、カラーフィルタの色配列が、基本の2×2画素配列内にW画素が市松状に2画素、G画素が1画素、B画素が1画素それぞれ配置されている。この色配列では、R信号が無いため、R信号は“R=W−B−G”から算出する。
図18Aは、図17(a)に示したカラーフィルタを持つ固体撮像装置の分光感度特性を示す特性図である。
図17(a)に示したカラーフィルタはG画素が無いため、図18Aに示すように、分光特性のカーブはWとBとRの3種類となる。B信号は分光特性のピークが460nm、R信号は分光特性のピークが600nmになっている。W信号は、透明層なために、感度が高く、400nmから650nmまでなだらかな特性になっている。
図18Bは、図17(a)に示したカラーフィルタを持つ固体撮像装置の分光感度特性の変形例を示す特性図である。
W画素の分光特性Wgを図18Bに示すように形成することにより、G信号のSN比を改善することができる。G信号は、“G=W−B−R”で算出して求める。このため、図18Aに示すW画素の分光特性では、より大きなB信号とR信号を減算する必要がある。しかし、この変形例では、W信号のBとR領域における感度を低下させ、図18Bに示すように信号Wgを形成している。これにより、G信号の算出時におけるB信号とR信号の減算量を約1/2とすることができる。また、信号Wgは、G信号領域での感度が大きいため、生成したG信号の色再現性も改善できる。
このような信号Wgの分光特性は、従来のG信号の分光特性を持つGの色フィルタを薄く形成すること、もしくは、Gの色フィルタはGの顔料材とポリマー材とを混合しているため、Gの顔料材を少なくし、ポリマー材を多くすることで実現できる
図18Cは、図17(b)に示したカラーフィルタを持つ固体撮像装置の分光感度特性を示す特性図である。
図17(b)に示したカラーフィルタはR画素が無いため、図18Cに示すように、分光特性のカーブはWとBとGの3種類となる。B信号は分光特性のピークが460nm、G信号は分光特性のピークが530nmになっている。W信号は、透明層なために、感度が高く、400nmから650nmまでなだらかな特性になっている。
図18Dは、図17(b)に示したカラーフィルタを持つ固体撮像装置の分光感度特性の変形例を示す特性図である。
W画素の分光特性Wrを図18Dに示すように形成することにより、R信号のSN比を改善することができる。R信号は、“R=W−B−G”で算出して求める。このため、図18Cに示すW画素の分光特性では、より大きなBとG信号を減算する必要がある。しかし、この変形例では、W信号のBとG領域における感度を低下させ、図18Dに示すように信号Wrを形成している。これにより、R信号の算出時におけるB信号とG信号の減算量を約1/2とすることができる。また、信号Wrは、R信号領域での感度が大きいため、生成したR信号の色再現性も改善できる。
このような信号Wrの分光特性は、従来のR信号の分光特性を持つRの色フィルタを薄く形成すること、もしくは、Rの色フィルタはRの顔料材とポリマー材とを混合しているため、Rの顔料材を少なくし、ポリマー材を多くすることで実現できる。
第4実施形態では、第1実施形態と同様に、球面収差あるいは色収差を持つ光学レンズを用いること、または位相板を光学レンズとセンサチップ間に配置することにより、被写界深度を拡大することができる。また、被写界深度を拡大することにより低下した解像度信号の対策として、透明フィルタを通った光から得たW信号を用いて解像度信号を求めることにより、レベルが高くSN比が良い解像度信号を生成することができる。
第4実施形態におけるその他の構成及び効果は、第1実施形態と同様であり、説明は省略する。
[第5実施形態]
次に、本発明の第5実施形態の固体撮像装置について説明する。
W画素は、G画素の約2倍の信号を得ることができる。このため、W画素が早く飽和するという課題がある。この対策として、ワイドダイナミックレンジ(WDR)などの特殊な動作によりW画素の飽和を改善する方法がある。
WDRを使わない場合には、図19(a)及び図19(b)に示す画素サイズを適用することが有効な手段となる。図19(a)に、WRGBカラーフィルタの4×4画素配列を示す。この画素配列は、市松状に配置したW画素の面積を小さくし、他のR,G,Bの画素面積をW画素に対して相対的に大きくしている。
例えば、図19(b)に示すように、通常の1.75μmサイズの画素では、W画素を1.525μmサイズとし、他のR,G,B画素を1.975μmサイズに形成することにより、他のR,G,B画素に対してW画素の感度を相対的に約60%に低減することができる。1.75μmサイズとは、一辺が1.75μmの正方形であることをいう。
R,G,B画素は、W画素の面積を小さくした分、1.975(=1.75+0.225)μmサイズに大きくできるため、従来の1.75umサイズの画素に対して、1.27倍の高感度化が実現できる。
図20に、水平方向に配列されたWGWG画素に対応するセンサ部の断面図を示す。フォトダイオード(PD)が形成されたシリコン半導体基板20の上方には色フィルタ21が配置され、さらに色フィルタ21の上方にはマイクロレンズ22,23A,23Bが配置されている。
フォトダイオード(PD)の受光面の面積は、画素W,Gに対して、さらに画素R,B(図示しない)に対してすべて同じ面積になっている。この面積は、標準的な色温度を想定した場合に発生する信号電荷量に応じて、サイズを最適化して良い。
図19(a)の平面図に示した画素Wに対応して、図20に示すように、マイクロレンズ22とW色フィルタの面積を、G色フィルタのそれら(マイクロレンズ23A,23BとG色フィルタの面積)より小さく設定している。すなわち、感度の高いW画素の面積を小さくし、W画素より感度の低いGもしくはR,B画素の面積を大きくしている。
このように面積を異ならせることで、標準的な色温度、例えば5500KのときのW画素とG画素の信号量を同等にしている。W画素の高感度のメリットを利用し、W画素に入射する面積を小さくし、他のR,G,B画素の面積を大きくすることでセンサ部の高感度化を実現できる。
マイクロレンズの曲率については、面積が大きいR,G,B画素に対応するマイクロレンズ23Bの曲率を大きくし、面積が小さいW画素に対応するマイクロレンズ22の曲率を小さくしている。マイクロレンズの曲率を変えるには、例えば、マイクロレンズの形成を、W画素ではマイクロレンズ22を1回の塗布プロセスで形成し、面積の大きいR,G,B画素ではマイクロレンズ23A,23Bを2回以上の塗布プロセスで形成することで実現できる。
図21に、図19(a)に示したWRGBカラーフィルタを用いた場合の分光特性を示す。W画素の信号レベルが小さく、その分R,G,B画素の信号が増加していることが分かる。入射するW画素の信号量が減少するため、波長550nm以上のR,Gの信号の裾野のレベル浮き(混色)が低減している。この結果、色再現性を改善するためのカラーマトリックス係数を小さくすることができ、SN比の劣化を低減している。
このように、高感度化のために用いるW(透明)の色フィルタから得られるW信号はG信号の約2倍の感度を有する。よって、信号のバランスが崩れる問題やW画素からのリークにより混色が大きくなり、色再現性改善のためのカラーマトリックス係数が大きくなるため、SN比が劣化する問題があった。
しかし、本実施形態は、高感度のW画素の面積を小さくし、その分を他のRGB色画素の面積を大きくすることにより、色信号のSN比を改善すると共に、WとG画素の信号レベルが同じになるように調整することができる。その結果、カラーマトリックス係数を小さくできるため、SN比の劣化を回避することができる。
即ち、W画素を小さくすることにより、フォトダイオードが形成されたシリコン基板20内で発生する混色を低減できるため、カラーマトリックス処理によるSN比の劣化を低減できる。さらに、実効的な光が入射するRGB画素の面積を大きくすることにより、感度が高くなるためSN比が改善できる。
また、W画素の感度を低下させる方法として、R,G,Bなどの色フィルタ材料を混ぜ合わせて、グレー(Gray)化することで、感度を低下させることもできる。また、色フィルタ材料はR,G,Bに限定されない。
[第6実施形態]
次に、本発明の第6実施形態として、第1,第2,第3実施形態における解像度復元回路の変形例について説明する。図22に第3実施形態における解像度復元回路の変形例を、図23に第2実施形態における解像度復元回路の変形例を、図24に第1実施形態における解像度復元回路の変形例をそれぞれ示す。
図22に、図13に示した解像度復元回路の変形例を示す。この変形例では、解像度復元回路13Cに、光学レンズのPSF(Point Spread Function)の逆畳み込み変換フィルタ(DCF)150A,150B,150Cを用いている。焦点深度を深くした光学レンズから得られるPSFは、図22に示すように、なだらかなカーブになっている。ここで、求めた逆畳み込み変換フィルタ(DCF)150A,150B,150CでW,G,Rの各信号を演算することにより、出力として急峻なPSFカーブが得られる。すなわち、ボケた画像のボケを改善した画像が得られる。B信号は、画素補間回路131の後段のB信号生成回路146において、“Ba=Wa−Ga−Ra”の演算を実施することで得られる。
次に、図10に示した解像度復元回路の変形例を図23に示す。この変形例では、解像度復元回路13Dが有するDCF150D,150B,150Cにより、ボケたPSFを急峻なPSFに改善している。画素補間回路132,133,134にて画素補間処理された信号をDCF150D,150B,150Cにより処理して、後段の信号処理回路14へ出力している。
次に、図1に示した解像度復元回路の変形例を図24に示す。この変形例の解像度復元回路13Eでは、W画素から得たW信号の解像度信号抽出にDCF150Aを用いている。一般に、光学レンズのPSFは、レンズ全面で均一にすることは難しい。特に、中心から広がるほど、PSFの広がりは大きくなる。このため、レンズ全面で最適なDCF処理を行うと、DCFのパラメータが多量となるため回路規模が増大する。
そこで、最低限の広がりを改善するDCF処理を均一に実施する。DCF150Aにより処理された信号から輪郭抽出回路151により輪郭抽出処理を実施し、さらにレベル調整回路152によりレベルの調整を行って高周波数帯域のエッジ信号とする。
さらに、W信号の中周波数帯域のエッジ信号を抽出するために、以下の処理を行う。W画素の画素補間回路131によりW信号を補間処理した信号から、輪郭抽出回路135により輪郭抽出を行い、さらにレベル調整回路136によりレベルの調整を行って中周波数帯域のエッジ信号を抽出する。
そして、中周波数帯域と高周波数帯域の2つのエッジ信号を加算することにより、中周波数から高周波数までのエッジ信号を生成することができる。これにより、固体撮像装置における解像度感を安価で確実に改善することができる。
なお、DCF150A,150B,150C,150Dのパラメータは、回路規模に応じてエリアで変更することもできる。また、同様に図22のW画素のDCF150Aの後に図1のように、輪郭抽出回路135を設けて輪郭抽出を実施し、レベル調整回路図136、輪郭信号加算回路137,138,139を設けて処理することもできる。
また、同様に図23の各B、G、R信号のDCF150D,150B,150Cの後に図10のように各輪郭抽出回路140,141,142を設けて輪郭抽出を実施し、輪郭信号合成回路143、レベル調整回路図136、輪郭信号加算回路137,138,139を設けて処理することもできる。
次に、本発明の実施形態を、携帯電話などに使われているカメラモジュールに適用した一例を示す。図25は、本発明の実施形態をカメラモジュールに適用した場合のカメラモジュールの断面図である。
センサチップ1は、ガラスエポキシなどの基板3上に接着剤で固定されている。センサチップ1のパッドは、ワイヤーボンディング4により基板3の接続端子に接続されている。図示しないが、基板3では基板の側面もしくは底面に接続端子が引き出されている。
センサチップ1の上方には、赤外(IR)カットガラス5、2枚の光学レンズ2、及び2枚のレンズ2間に設けられた絞り6が配置されている。光学レンズ2及び絞り6は、レンズバレル7にプラスチックなどの樹脂で固定されている。さらに、レンズバレル7はレンズホルダ8上に固定されている。なお、実施形態では、必要に応じてセンサチップ1とレンズ2との間に位相板が配置される。
一般に、光学レンズ2の枚数は、センサチップに形成される画素数が増加するのにしたがって枚数が多くなる。例えば、3.2Mの画素を持つセンサチップを備えたカメラモジュールでは、3枚レンズが多く使われている。
なお、センサチップ1は、例えば図1あるいは図10,図13,図22,図23,図24に示した各実施形態において破線で囲んだCMOSイメージセンサである。さらに、センサチップ1は、これらCMOSイメージセンサに他の機能を付加したものであってもよい。
本発明の実施形態では、被写界深度を拡大するために、カラー固体撮像装置に用いる光学レンズに、レンズの収差を持つ光学レンズを利用する。もしくは、光学レンズの光軸上に位相板を配置する。言い換えると、光学レンズとセンサチップとの間に位相板を配置する。そして、光電変換素子の光電変換可能な波長領域から解像度信号を抽出し、各R,G,B信号もしくは輝度信号に解像度信号を合成する。特に、W(透明)画素から得たW信号を用いることにより、解像度信号レベルを大きくすることができる。
また、前述した各実施形態はそれぞれ、単独で実施できるばかりでなく、適宜組み合わせて実施することも可能である。さらに、前述した各実施形態には種々の段階の発明が含まれており、各実施形態において開示した複数の構成要件の適宜な組み合わせにより、種々の段階の発明を抽出することも可能である。
1…センサチップ、2…光学レンズ、3…基板、4…ワイヤーボンディング、5…赤外(IR)カットガラス、6…絞り、7…レンズバレル、8…レンズホルダ、11,11A,11B…センサ部、12…ラインメモリ、13,13A,13B,13C,13D,13E…解像度復元回路、14…信号処理回路、15…システムタイミング発生回路(SG)、16…コマンドデコーダ、17…シリアルインタフェース(シリアルI/F)、20…シリコン半導体基板、21…色フィルタ、22,23A,23B…マイクロレンズ、111,111A,111B…画素アレイ、112…カラム型アナログデジタルコンバータ(ADC)、131〜134…画素補間回路、135…輪郭(解像度)抽出回路、136…レベル調整回路、137〜139…加算回路(解像度合成回路)、140〜142…輪郭(解像度)抽出回路、143…輪郭信号合成回路、144,145,146…LPF(低帯域通過フィルタ回路)、150A,150B,150C,150D…逆畳み込み変換フィルタ(DCF)、151…輪郭(解像度)抽出回路、152…レベル調整回路。

Claims (6)

  1. 光学レンズを通った光の波長を分離する、透明(W)フィルタと少なくとも2色の色フィルタとを有し、前記透明フィルタを通過した光をW信号に変換し、前記色フィルタを通過した光を少なくとも第1、第2の色信号にそれぞれ変換するセンサ部と、
    前記センサ部により変換された前記W信号から解像度信号を抽出する解像度抽出回路と、
    前記センサ部により変換された前記W信号及び前記色信号からR,G,B信号を生成する生成回路と、
    を具備することを特徴とする固体撮像装置。
  2. 光学レンズを通った光の波長を分離する3色の色フィルタを有し、前記色フィルタを通過した光を色信号にそれぞれ変換するセンサ部と、
    前記センサ部により変換された前記色信号から解像度信号を抽出する解像度抽出回路と、
    前記センサ部により変換された前記色信号からR,G,B信号を生成する生成回路と、
    を具備することを特徴とする固体撮像装置。
  3. 前記透明フィルタは、前記色フィルタの波長領域の透過率を低くした透明層を具備することを特徴とする請求項1に記載の固体撮像装置。
  4. 前記解像度抽出回路は、高周波信号を抽出する高帯域通過フィルタ回路を有し、前記高帯域通過フィルタ回路により前記解像度信号を抽出することを特徴とする請求項1または2に記載の固体撮像装置。
  5. 前記センサ部が有する色フィルタが2色であるとき、前記生成回路は前記W信号と前記第1、第2の色信号から第3の色信号を生成する回路を備えることを特徴とする請求項1に記載の固体撮像装置。
  6. 前記透明フィルタ及び前記色フィルタの前面にマイクロレンズがそれぞれ配置され、前記透明フィルタの前面に配置されたマイクロレンズは、前記色フィルタの前面に配置されたマイクロレンズよりサイズが小さいことを特徴とする請求項1に記載の固体撮像装置。
JP2009141429A 2009-06-12 2009-06-12 固体撮像装置 Abandoned JP2010288150A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009141429A JP2010288150A (ja) 2009-06-12 2009-06-12 固体撮像装置
US12/813,129 US20100315541A1 (en) 2009-06-12 2010-06-10 Solid-state imaging device including image sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009141429A JP2010288150A (ja) 2009-06-12 2009-06-12 固体撮像装置

Publications (1)

Publication Number Publication Date
JP2010288150A true JP2010288150A (ja) 2010-12-24

Family

ID=43306128

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009141429A Abandoned JP2010288150A (ja) 2009-06-12 2009-06-12 固体撮像装置

Country Status (2)

Country Link
US (1) US20100315541A1 (ja)
JP (1) JP2010288150A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014507856A (ja) * 2011-01-14 2014-03-27 ソニー株式会社 レンズ部の縦の色収差を利用したイメージングシステム及びその操作方法
JP2014075780A (ja) * 2012-09-14 2014-04-24 Ricoh Co Ltd 撮像装置及び撮像システム
US8748213B2 (en) 2012-02-24 2014-06-10 Canon Kabushiki Kaisha Light transmission member, image pickup device, and method of manufacturing same
US9055181B2 (en) 2011-07-15 2015-06-09 Kabushiki Kaisha Toshiba Solid-state imaging device, image processing apparatus, and a camera module having an image synthesizer configured to synthesize color information
WO2015198733A1 (ja) * 2014-06-26 2015-12-30 ソニー株式会社 固体撮像装置、電子機器、及び、固体撮像装置の製造方法
CN105580360A (zh) * 2013-07-08 2016-05-11 株式会社尼康 摄像装置
JP2016208093A (ja) * 2015-04-15 2016-12-08 キヤノン株式会社 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法
JP2018133575A (ja) * 2018-03-08 2018-08-23 ソニー株式会社 固体撮像装置、電子機器、及び、固体撮像装置の製造方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100976284B1 (ko) 2007-06-07 2010-08-16 가부시끼가이샤 도시바 촬상 장치
JP5330291B2 (ja) * 2010-02-23 2013-10-30 株式会社東芝 信号処理装置及び撮像装置
KR101671927B1 (ko) * 2010-07-21 2016-11-04 삼성전자주식회사 이미지 처리 장치 및 방법
US9055248B2 (en) 2011-05-02 2015-06-09 Sony Corporation Infrared imaging system and method of operating
US9098147B2 (en) * 2011-12-29 2015-08-04 Industrial Technology Research Institute Ranging apparatus, ranging method, and interactive display system
TW201326755A (zh) * 2011-12-29 2013-07-01 Ind Tech Res Inst 測距裝置、測距方法及互動式顯示系統
US9071737B2 (en) * 2013-02-22 2015-06-30 Broadcom Corporation Image processing based on moving lens with chromatic aberration and an image sensor having a color filter mosaic
JP2015023332A (ja) * 2013-07-17 2015-02-02 ソニー株式会社 固体撮像素子及びその駆動方法、並びに電子機器
KR102025184B1 (ko) * 2013-07-31 2019-09-25 엘지디스플레이 주식회사 데이터 변환 장치 및 이를 이용한 디스플레이 장치
US9219896B1 (en) * 2014-06-12 2015-12-22 Himax Imaging Limited Method of color processing using a color and white filter array
WO2016102988A1 (en) 2014-12-24 2016-06-30 Datalogic Automation, Inc. Multiline scanner
JP6614662B2 (ja) * 2016-03-02 2019-12-04 国立研究開発法人情報通信研究機構 電界イメージング装置
US20220191411A1 (en) * 2020-12-11 2022-06-16 Qualcomm Incorporated Spectral image capturing using infrared light and color light filtering
US20230035728A1 (en) * 2021-07-29 2023-02-02 Omnivision Technologies, Inc. Color-infrared sensor with a low power binning readout mode

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980702008A (ko) * 1995-02-03 1998-07-15 마이클 지. 가브리지 광학 시스템의 필드 심도를 증가시키기 위한 방법 및 장치
GB9605527D0 (en) * 1996-03-15 1996-05-15 Vlsi Vision Ltd Image restoration
EP0973330A4 (en) * 1997-03-25 2000-01-19 Fujitsu General Ltd CONTOURING CIRCUIT
EP0878970A3 (en) * 1997-05-16 1999-08-18 Matsushita Electric Industrial Co., Ltd. Imager registration error and chromatic aberration measurement system for a video camera
IL133243A0 (en) * 1999-03-30 2001-03-19 Univ Ramot A method and system for super resolution
US6628330B1 (en) * 1999-09-01 2003-09-30 Neomagic Corp. Color interpolator and horizontal/vertical edge enhancer using two line buffer and alternating even/odd filters for digital camera
US6842297B2 (en) * 2001-08-31 2005-01-11 Cdm Optics, Inc. Wavefront coding optics
US20060093234A1 (en) * 2004-11-04 2006-05-04 Silverstein D A Reduction of blur in multi-channel images
WO2006095110A2 (fr) * 2005-03-07 2006-09-14 Dxo Labs Procédé pour commander une action, notamment une modification de netteté, à partir d'une image numérique en couleurs
WO2007049418A1 (ja) * 2005-10-26 2007-05-03 Olympus Corporation 画像処理システム、画像処理プログラム
JP4469324B2 (ja) * 2005-11-01 2010-05-26 イーストマン コダック カンパニー 色収差抑圧回路及び色収差抑圧プログラム
JP4966035B2 (ja) * 2007-01-26 2012-07-04 株式会社東芝 固体撮像装置
JP2008268869A (ja) * 2007-03-26 2008-11-06 Fujifilm Corp 撮像装置、撮像方法、及びプログラム
JP5193486B2 (ja) * 2007-03-29 2013-05-08 富士フイルム株式会社 撮像装置、撮像方法、及びプログラム
JP2008252403A (ja) * 2007-03-29 2008-10-16 Fujifilm Corp 撮像装置、撮像方法、及びプログラム
WO2008129541A2 (en) * 2007-04-19 2008-10-30 Ramot At Tel-Aviv University Ltd Optical imaging system with an extended depth-of-field and method for designing an optical imaging system
JP2008289090A (ja) * 2007-05-21 2008-11-27 Toshiba Corp 撮像信号処理装置
KR100976284B1 (ko) * 2007-06-07 2010-08-16 가부시끼가이샤 도시바 촬상 장치
KR101341101B1 (ko) * 2007-09-11 2013-12-13 삼성전기주식회사 영상 복원 장치 및 복원 방법
KR101399012B1 (ko) * 2007-09-12 2014-05-26 삼성전기주식회사 영상 복원 장치 및 방법
US8149319B2 (en) * 2007-12-03 2012-04-03 Ricoh Co., Ltd. End-to-end design of electro-optic imaging systems for color-correlated objects
JP5075795B2 (ja) * 2008-11-14 2012-11-21 株式会社東芝 固体撮像装置
JP2010257518A (ja) * 2009-04-24 2010-11-11 Suncall Corp 磁気ヘッドサスペンション
JP5326943B2 (ja) * 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014507856A (ja) * 2011-01-14 2014-03-27 ソニー株式会社 レンズ部の縦の色収差を利用したイメージングシステム及びその操作方法
US9055181B2 (en) 2011-07-15 2015-06-09 Kabushiki Kaisha Toshiba Solid-state imaging device, image processing apparatus, and a camera module having an image synthesizer configured to synthesize color information
US8748213B2 (en) 2012-02-24 2014-06-10 Canon Kabushiki Kaisha Light transmission member, image pickup device, and method of manufacturing same
JP2014075780A (ja) * 2012-09-14 2014-04-24 Ricoh Co Ltd 撮像装置及び撮像システム
CN105580360A (zh) * 2013-07-08 2016-05-11 株式会社尼康 摄像装置
WO2015198733A1 (ja) * 2014-06-26 2015-12-30 ソニー株式会社 固体撮像装置、電子機器、及び、固体撮像装置の製造方法
JP2016009813A (ja) * 2014-06-26 2016-01-18 ソニー株式会社 固体撮像装置、電子機器、及び、固体撮像装置の製造方法
US10063816B2 (en) 2014-06-26 2018-08-28 Sony Corporation Solid state imaging device, electronic apparatus, and method for manufacturing solid state imaging device
JP2016208093A (ja) * 2015-04-15 2016-12-08 キヤノン株式会社 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法
JP2018133575A (ja) * 2018-03-08 2018-08-23 ソニー株式会社 固体撮像装置、電子機器、及び、固体撮像装置の製造方法

Also Published As

Publication number Publication date
US20100315541A1 (en) 2010-12-16

Similar Documents

Publication Publication Date Title
JP2010288150A (ja) 固体撮像装置
KR100976284B1 (ko) 촬상 장치
JP5713816B2 (ja) 固体撮像装置及びカメラモジュール
JP5670456B2 (ja) カラー画像のノイズを低減すること
US8462237B2 (en) Solid-state image pickup device which senses and processes light into primary color bands and an all wavelength band
US9888194B2 (en) Array camera architecture implementing quantum film image sensors
JP5074106B2 (ja) 固体撮像素子及びカメラ
US9025077B2 (en) Geometrically distorted luminance in a multi-lens camera
US20150312455A1 (en) Array Camera Architecture Implementing Quantum Dot Color Filters
US10911738B2 (en) Compound-eye imaging device
US20170034456A1 (en) Sensor assembly with selective infrared filter array
EP3968378B1 (en) Complementary metal oxide image sensor, image processing method, and storage medium
US10181488B2 (en) Imaging device
KR20220063575A (ko) 색분리 렌즈 어레이를 적용한 영상 획득 장치 및 방법
JP2016139988A (ja) 固体撮像装置
JP2015226299A (ja) 画像入力装置
JP5997149B2 (ja) 固体撮像素子、撮像装置、および信号処理方法
JPWO2019188396A1 (ja) 撮像装置および方法、画像処理装置および方法、並びに、撮像素子
KR102650664B1 (ko) 색분리 렌즈 어레이를 적용한 영상 획득 장치 및 방법
CN118488331A (zh) 图像传感器、摄像模组、电子设备、拍摄方法和拍摄装置
JP5074760B2 (ja) 撮像素子及びそれを有する撮像装置
JP2017028065A (ja) 固体撮像装置
JP2013090085A (ja) 撮像装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110802

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20121001

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121009