JP2014236411A - 固体撮像装置、電子機器、レンズ制御方法、および撮像モジュール - Google Patents

固体撮像装置、電子機器、レンズ制御方法、および撮像モジュール Download PDF

Info

Publication number
JP2014236411A
JP2014236411A JP2013117688A JP2013117688A JP2014236411A JP 2014236411 A JP2014236411 A JP 2014236411A JP 2013117688 A JP2013117688 A JP 2013117688A JP 2013117688 A JP2013117688 A JP 2013117688A JP 2014236411 A JP2014236411 A JP 2014236411A
Authority
JP
Japan
Prior art keywords
phase difference
difference detection
pixels
pixel
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013117688A
Other languages
English (en)
Other versions
JP2014236411A5 (ja
JP6186900B2 (ja
Inventor
征志 中田
Seishi Nakada
征志 中田
高橋 浩司
Koji Takahashi
浩司 高橋
裕士 井上
Yuji Inoue
裕士 井上
健児 池田
Kenji Ikeda
健児 池田
治 岡
Osamu Oka
治 岡
芳郎 服部
Yoshiro Hattori
芳郎 服部
佐藤 信也
Shinya Sato
信也 佐藤
加藤 英明
Hideaki Kato
英明 加藤
保宏 長治
Yasuhiro Choji
保宏 長治
恵美 西岡
Emi Nishioka
恵美 西岡
宏 河野邉
Hiroshi Kawanobe
宏 河野邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013117688A priority Critical patent/JP6186900B2/ja
Priority to TW103116748A priority patent/TWI643322B/zh
Priority to CN201480026086.3A priority patent/CN105191285B/zh
Priority to KR1020157025329A priority patent/KR102237315B1/ko
Priority to PCT/JP2014/002799 priority patent/WO2014196160A1/en
Priority to US14/890,460 priority patent/US10277847B2/en
Publication of JP2014236411A publication Critical patent/JP2014236411A/ja
Publication of JP2014236411A5 publication Critical patent/JP2014236411A5/ja
Application granted granted Critical
Publication of JP6186900B2 publication Critical patent/JP6186900B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14603Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G02B7/346Systems for automatic generation of focusing signals using different areas in a pupil plane using horizontal and vertical areas in the pupil plane, i.e. wide area autofocusing
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14623Optical shielding
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Optics & Photonics (AREA)

Abstract

【課題】、製造上のばらつきがあっても、AFの精度を低下させないようにする。【解決手段】位相差検出によるAFを行うための位相差検出画素を含む複数の画素を備える固体撮像装置において、位相差検出画素は、オンチップレンズと、オンチップレンズより下層に形成された光電変換部とを備え、位相差検出画素のうちの複数の所定の位相差検出画素において、オンチップレンズは、所定の位相差検出画素の配置に応じた射出瞳補正量とは異なるずれ量をもって形成される。本技術は、例えばCMOSイメージセンサに適用することができる。【選択図】図10

Description

本技術は、固体撮像装置、電子機器、レンズ制御方法、および撮像モジュールに関し、特に、AFの精度を低下させないようにすることができるようにする固体撮像装置、電子機器、レンズ制御方法、および撮像モジュールに関する。
近年、撮像素子において、光電変換部の一部が遮光された位相差検出画素を設けることで位相差検出を行い、AF(Auto Focus)を行う撮像装置が知られている(例えば、特許文献1参照)。
特開2010−160313号公報
しかしながら、例えば、各画素の遮光膜やオンチップレンズを形成する際のリソグラフィの合わせずれや、撮像素子をモジュール化する際の撮像レンズの合わせずれ等の、製造上のばらつきが、位相差検出の精度低下の一因となっていた。これにより、位相差検出によるAF(Auto Focus)の精度が低下する恐れがあった。
本技術は、このような状況に鑑みてなされたものであり、製造上のばらつきがあっても、AFの精度を低下させないようにすることができるようにするものである。
本技術の一側面の固体撮像装置は、位相差検出によるAF(Auto Focus)を行うための位相差検出画素を含む複数の画素を備える固体撮像装置であって、前記位相差検出画素は、オンチップレンズと、前記オンチップレンズより下層に形成された光電変換部とを備え、前記位相差検出画素のうちの複数の所定の位相差検出画素において、前記オンチップレンズは、前記所定の位相差検出画素の配置に応じた射出瞳補正量とは異なるずれ量をもって形成される。
前記位相差検出画素には、前記光電変換部の一部を遮光する遮光膜をさらに設け、前記所定の位相差検出画素において、前記オンチップレンズおよび前記遮光膜は、前記所定の位相差検出画素の配置に応じた射出瞳補正量とは異なるずれ量をもって形成されるようにすることができる。
前記所定の位相差検出画素は、互いに近い位置に配置され、前記所定の位相差検出画素において、前記オンチップレンズおよび前記遮光膜は、前記前記位相差検出画素の配置に応じた射出瞳補正量とは異なる補正量の射出瞳補正がかけられているようにすることができる。
前記所定の位相差検出画素は、互いに離れた位置に配置され、前記所定の位相差検出画素において、前記オンチップレンズおよび前記遮光膜は、射出瞳補正がかけられていないようにすることができる。
前記所定の位相差検出画素は、複数の前記画素に含まれる、画像を生成するための撮像画素が配置される画像出力領域の外側に配置されるようにすることができる。
前記所定の位相差検出画素は、複数の前記画素に含まれる、画像を生成するための撮像画素が配置される画像出力領域の内側に配置されるようにすることができる。
前記所定の位相差検出画素に隣接する前記画素には、通常より大きいサイズの前記オンチップレンズを設けることができる。
前記所定の位相差検出画素に隣接する前記画素には、通常より小さいサイズの前記オンチップレンズを設けることができる。
前記位相差検出画素には、前記光電変換部として、分割形成されている光電変換部を設けることができる。
前記位相差検出画素同士の出力の差分を用いて位相差検出を行う位相差検出部と、予め得られた前記所定の位相差検出画素の出力を用いて、検出された位相差を補正する位相差補正部とをさらに設けることができる。
前記位相差補正部には、予め得られた前記所定の位相差検出画素の出力を用いて求められる位相差特性に基づいて、検出された位相差を補正させることができる。
前記位相差特性は、1対の前記位相差検出画素における、入射光の光軸の角度に対する前記位相差検出画素それぞれの出力を表し、前記位相差補正部には、前記位相差特性における所定の角度範囲での前記出力の傾きを用いて求められる補正パラメータを用いて、検出された位相差を補正させることができる。
前記位相差補正部には、レンズのF値に対応した前記補正パラメータを用いて、検出された位相差を補正させることができる。
前記位相差補正部には、像高に対応した前記補正パラメータを用いて、検出された位相差を補正させることができる。
前記位相差補正部には、撮影環境に対応した前記補正パラメータを用いて、検出された位相差を補正させることができる。
本技術の一側面の電子機器は、位相差検出によるAF(Auto Focus)を行うための位相差検出画素を含む複数の画素を備える撮像素子であって、前記位相差検出画素は、オンチップレンズと、前記オンチップレンズより下層に形成された光電変換部と、前記光電変換部の一部を遮光する遮光膜とを備え、前記位相差検出画素のうちの複数の所定の位相差検出画素において、前記オンチップレンズおよび前記遮光膜は、前記所定の位相差検出画素の配置に応じた射出瞳補正量とは異なるずれ量をもって形成される撮像素子と、被写体光を前記撮像素子に入射するレンズと、前記位相差検出画素同士の出力の差分を用いて位相差検出を行う位相差検出部と、予め得られた前記所定の位相差検出画素の出力を用いて、検出された位相差を補正する位相差補正部と、補正された位相差に応じて、前記レンズの駆動を制御するレンズ制御部とを備える。
特定のパターンの光を照射する光源をさらに設け、前記位相差補正部には、前記光源の波長に対応した前記補正パラメータを用いて、検出された位相差を補正させることができる。
前記位相差検出画素は、複数の前記画素に含まれる、画像を生成するための撮像画素が配置される画像出力領域の内側に配置され、予め得られた前記所定の位相差検出画素の出力を用いて、前記所定の位相差検出画素の出力を補正する欠陥補正部をさらに設けることができる。
本技術の一側面のレンズ制御方法は、位相差検出によるAF(Auto Focus)を行うための位相差検出画素を含む複数の画素を備える撮像素子であって、前記位相差検出画素は、オンチップレンズと、前記オンチップレンズより下層に形成された光電変換部と、前記光電変換部の一部を遮光する遮光膜とを備え、前記位相差検出画素のうちの複数の所定の位相差検出画素において、前記オンチップレンズおよび前記遮光膜は、前記所定の位相差検出画素の配置に応じた射出瞳補正量とは異なるずれ量をもって形成される撮像素子と、被写体光を前記撮像素子に入射するレンズとを備える電子機器のレンズ制御方法であって、前記電子機器が、前記位相差検出画素同士の出力の差分を用いて位相差検出を行い、予め得られた前記所定の位相差検出画素の出力を用いて、検出された位相差を補正し、補正された位相差に応じて、前記レンズの駆動を制御する。
本技術の一側面の撮像モジュールは、位相差検出によるAF(Auto Focus)を行うための位相差検出画素を含む複数の画素を備える撮像素子であって、前記位相差検出画素は、オンチップレンズと、前記オンチップレンズより下層に形成された光電変換部と、前記光電変換部の一部を遮光する遮光膜とを備え、前記位相差検出画素のうちの複数の所定の位相差検出画素において、前記オンチップレンズおよび前記遮光膜は、前記所定の位相差検出画素の配置に応じた射出瞳補正量とは異なるずれ量をもって形成される撮像素子と、被写体光を前記撮像素子に入射するレンズと、前記撮像素子と前記レンズとの間に形成される光学フィルタとを備える撮像モジュールにおいて、前記レンズおよび前記光学フィルタは、予め得られた前記所定の位相差検出画素の出力を用いて求められる位相差特性に応じて形成される。
本技術の一側面においては、位相差検出画素のうちの複数の所定の位相差検出画素において、オンチップレンズが、所定の位相差検出画素の配置に応じた射出瞳補正量とは異なるずれ量をもって形成される。
本技術の一側面によれば、製造上のばらつきがあっても、AFの精度を低下させないようにすることが可能となる。
撮像素子の画素配置について説明する図である 位相差検出画素の構造例を示す断面図である。 撮像素子の画素配置について説明する図である。 位相差検出画素の構造例を示す断面図である。 位相差検出画素の位相差特性について説明する図である。 位相差検出画素の位相差特性について説明する図である。 従来の位相差検出の補正について説明する図である。 位相差に対するフォーカスのずれ量について説明する図である。 本技術を適用した撮像素子の構成例を示す図である。 本技術を適用した撮像素子の他の構成例を示す図である。 モニタ画素の位相差特性について説明する図である。 モニタ画素の位相差特性の実測データを示す図である。 オンチップレンズの形状について説明する図である。 遮光膜の遮光パターンについて説明する図である。 本技術を適用した撮像素子のさらに他の構成例を示す図である。 位相差検出画素の他の構造例を示す断面図である。 本技術を適用した電子機器の構成例を示すブロック図である。 本技術の固体撮像装置の基本的な概略構成について説明する図である。 位相差AF処理について説明するフローチャートである。 補正パラメータの算出について説明する図である。 補正パラメータによる位相差の補正について説明する図である。 撮像処理について説明するフローチャートである。 撮像画素の入射角依存特性について説明する図である。 本技術を適用した電子機器の他の構成例を示すブロック図である。 本技術を適用した撮像装置の外観構成を示す図である。 ばらつきのある位相差特性について説明する図である。 撮像装置の位相差AF処理について説明するフローチャートである。 本技術を適用したカプセル内視鏡の外観構成を示す図である。 光源が照射する光のパターンの例を示す図である。 カプセル内視鏡の撮影処理について説明するフローチャートである。 撮像モジュールの構成例について説明する図である。 本技術を適用した3次元センサの構成例を示すブロック図である。
以下、本技術の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
1.従来の撮像素子とその課題
2.本技術の撮像素子について
3.本技術の撮像素子を搭載した電子機器について
<1.従来の撮像素子における課題>
[射出瞳補正が行われていない撮像素子]
図1は、位相差検出を実行可能とする一般的な撮像素子の画素配置の例を示している。
図1に示されるように、撮像素子には、白色の正方形で示される複数の撮像画素が行列状に2次元配置されている。撮像画素は、R画素、G画素、およびB画素からなり、これらは、ベイヤ配列に従い規則的に配置されている。
また、撮像素子には、行列状に2次元配置される複数の撮像画素の中に、黒色の正方形で示される複数の位相差検出画素が散在して配置されている。位相差検出画素は、撮像素子における所定の撮像画素の一部が置き換えられることで、特定のパターンで規則的に配置されている。図1の例では、2つのG画素が、位相差検出画素P1,P2に置き換えられている。
図2は、図1の位相差検出画素の構造例を示す断面図である。なお、図2においては、位相差検出画素P1,P2は互いに隣接して配置されているものとして示されているが、図1に示されるように、所定数の撮像画素を挟んで配置されている。
図2に示されるように、位相差検出画素P1,P2においては、半導体基板(Si基板)121に光電変換部としてのフォトダイオード122が形成されている。半導体基板121の上層には、遮光膜123とカラーフィルタ124とが同一層に形成されており、それらの上層には、オンチップレンズ125が形成されている。
なお、図2において、位相差検出画素P1,P2は、それぞれ左側遮光、右側遮光の構成をとっているが、それぞれの画素配置に応じて、上側遮光、下側遮光の構成をとるようにしてもよいし、斜めに遮光されるようにしてもよい。
また、図2の位相差検出画素P1,P2においては、撮像素子の周辺でオンチップレンズの光学中心をフォトダイオード122の中心よりチップ中心側(いわゆる有効画素領域の中心側)にずらす、いわゆる射出瞳補正は行われていない。
[射出瞳補正が行われている撮像素子]
図3は、位相差検出を実行可能とする一般的な撮像素子の画素配置の他の例を示している。
図1と同様、図3の撮像素子には、行列状に2次元配置される複数の撮像画素の中に、黒色の正方形で示される複数の位相差検出画素が散在して配置されている。図3の例では、画素領域の略中心にある2つのG画素が、位相差検出画素P1,P2に置き換えられて、画素領域の端部(図中左側)にある2つのG画素が、位相差検出画素P3,P4に置き換えられている。
図4は、図3の位相差検出画素の構造例を示す断面図である。
上述したように、位相差検出画素P1,P2は、画素領域の略中心にあり、その位置で撮像レンズ(図示せず)からの入射光の主光線は、その入射角が0度となるので、位相差検出画素P1,P2において、射出瞳補正は行われていない。
一方、位相差検出画素P3,P4は、画素領域の端部にあり、その位置で撮像レンズからの入射光の主光線は、その入射角が、レンズの設計に応じて所定の角度となるので、位相差検出画素P3,P4においては、その入射角に合わせて射出瞳補正が行われている。
ここで、図5を参照して、射出瞳補正が行われていない位相差検出画素P1,P2への入射光の入射角を振った場合の画素出力について説明する。
図5上段に示されるように、位相差検出画素P1,P2には、5つの方向からの入射光L1乃至L5が入射されるものとする。図5下段のグラフには、そのときの位相差検出画素P1,P2の画素出力が示されている。
図5下段のグラフにおいて、横軸は、入射光の入射角を示しており、縦軸は、位相差検出画素P1,P2の画素出力を示している。なお、実線は、位相差検出画素P1の画素出力を示し、破線は、位相差検出画素P2の画素出力を示している。
このグラフに示されるように、左側遮光の位相差検出画素P1は、左側(マイナス側)に入射光の角度をつけると、その出力が大きくなり、右側遮光の位相差検出画素P2は、右側(プラス側)に入射光の角度をつけると、その出力が大きくなる。つまり、入射光L1のように、入射光においてマイナス方向の角度成分が大きい場合、位相差検出画素P1の出力は、位相差検出画素P2の出力より大きくなり、入射光L5のように、入射光においてプラス方向の角度成分が大きい場合、位相差検出画素P2の出力は、位相差検出画素P1の出力より大きくなる。
このような、1対の位相差検出画素における、入射光の入射角に対する位相差検出画素それぞれの画素出力を、以下、位相差特性という。
ところで、半導体プロセスにおける各画素の遮光膜やオンチップレンズを形成する際のリソグラフィの合わせずれや、撮像素子をモジュール化する際の撮像レンズの合わせずれによって、位相差検出画素P1,P2の位相差特性は、図6に示されるような特性となることがある。
図6に示される位相差特性は、図5に示されるものと比べると、位相差検出画素P1の出力と位相差検出画素P2の出力との交点が、プラス方向の角度にシフトしている。すなわち、上述したような製造上のばらつきにより、画素領域の略中心にある位相差検出画素P1,P2であっても、感度にずれが生じることになる。
これに対して、製造上のばらつきによる画素出力の差分を、ゲインをかけることで補正する手法が、例えば、特開2010−49209号公報に開示されている。具体的には、図6に示される位相差特性において得られる、入射角0度を中心とした所定の角度範囲での位相差検出画素P1,P2の出力の積分値の差分に対して、積分値の差分が同じとなるようにゲインをかけることで、図7に示されるような特性を得る。ここで、所定の角度範囲は、撮像レンズのF値等によって決まり、入射光の入射角の範囲を表す。また、この角度範囲で位相差検出画素の出力を積分する際、角度毎に重み付けをして積分するようにもできる。
図7上段に示される特性においては、所定の角度範囲での位相差検出画素P2の出力の積分値が、網掛けで示されており、図7下段に示される特性においては、所定の角度範囲での位相差検出画素P1の出力の積分値が、網掛けで示されている。この手法によれば、図7に示されるこれらの積分値が同じとなるものの、位相差検出画素P1,P2の出力それぞれを表す曲線の形状は、図5に示されるものと全く異なってしまう。
フォーカスのずれ量を位相差検出により算出するAF技術においては、左側遮光の画素と右側遮光の画素の出力それぞれを表す曲線の分離具合や特性の交点は、重要なポイントとなる。
例えば、フォーカスがずれたときに、入射光においてプラス方向の角度成分が大きくなった場合に、左側遮光の画素と右側遮光の画素の出力の差分がどの程度になるかは、それぞれの出力を表す曲線の傾きや分離具合によって大きく変わる。つまり、特開2010−49209号公報に開示されている手法のように、出力の差分を補正するだけでは、図8に示されるように、位相差に対するフォーカスのずれ量が異なってしまう。
図8においては、バラつき品Aは、通常品と比べて、位相差に対するフォーカスのずれ量が小さく、バラつき品Bは、通常品と比べて、位相差に対するフォーカスのずれ量が大きい。すなわち、バラつき品Aやバラつき品Bでは、位相差が検出されても、フォーカスをどの程度シフトさせれば合焦するかはわからないため、位相差検出によるAF制御においては、従来の技術であるコントラスト方式等を組み合わせてAF制御を行う必要があった。
また、上述した位相差特性は、同一の位相差検出画素P1,P2に対して、入射光の入射角を振ることで得られるものであるため、撮像レンズが装着された状態では、撮像レンズからの入射光の入射角は固定となり、この位相差特性を得ることができなかった。
そこで、以下においては、撮像レンズが装着された状態であっても、位相差検出画素の位相差特性を得ることができ、製造上のばらつきがある場合であっても、位相差特性を補正可能とする撮像素子について説明する。
<2.本技術の撮像素子について>
[撮像素子の構成例]
図9は、本技術を適用した撮像素子の構成例を示している。
図9上段には、撮像素子150の画素配置の例が示されている。
撮像素子150には、受光した被写体光に基づいて画像を生成するための信号を生成する画素(撮像画素)と、位相差検出によるAFを行うための信号を生成する画素(位相差検出画素)とが配置される。
具体的には、撮像素子150には、複数の撮像画素が行列状に2次元配置されている。撮像画素は、R画素、G画素、およびB画素からなり、これらは、ベイヤ配列に従い規則的に配置されている。
また、撮像素子150には、行列状に2次元配置される複数の撮像画素の中に、複数の位相差検出画素が散在して配置されている。位相差検出画素は、撮像素子150における所定の撮像画素の一部が置き換えられることで、特定のパターンで規則的に配置されている。
なお、位相差検出画素は、撮像素子150において不規則に配置されるようにしてもよい。位相差検出画素が規則的に配置されるようにすれば、後述する欠陥補正等の信号処理を容易にすることができ、位相差検出画素が不規則に配置されるようにすれば、欠陥補正によるアーティファクトも不規則になり、その視認性を低下させる(目立たなくする)ことができる。
撮像素子150において画素が配置される領域は、画像出力領域と非画像出力領域とに区分されている。画像出力領域に配置されている画素の出力は、画像を生成するのに利用されるが、非画像出力領域に配置されている画素の出力は、画像を生成するのに利用されない。
図9上段に示されるように、撮像素子150において画像出力領域の上下の非画像出力領域には、図中左右方向に、位相差検出画素の対が並んで配置されている。ここで、非画像出力領域に配置される位相差検出画素を、以下、適宜、モニタ画素という。
図9下段には、画像出力領域の下側の非画像出力領域において、互いに離れた位置に配置されているモニタ画素の対Pa,Pb,Pc(以下、単に、モニタ画素Pa,Pb,Pcという)の構造例を示す断面図が示されている。
図9下段に示されるように、モニタ画素Pa,Pb,Pcにおいては、半導体基板(Si基板)121に光電変換部としてのフォトダイオード122が形成されている。半導体基板121の上層には、遮光膜123とカラーフィルタ124とが同一層に形成されており、それらの上層には、オンチップレンズ125が形成されている。
また、モニタ画素Pa,Pb,Pcにおいて、遮光膜123、カラーフィルタ124、およびオンチップレンズ125は、モニタ画素Pa,Pb,Pcそれぞれの位置に応じた射出瞳補正量とは異なるずれ量をもって形成されている。具体的には、モニタ画素Pa,Pb,Pcにおいて、遮光膜123、カラーフィルタ124、およびオンチップレンズ125は、射出瞳補正がかけられていない。
ここで、撮像素子150に撮像レンズを装着した場合、モニタ画素Pa,Pb,Pcには、それぞれ異なる入射角の入射光が入射される。すなわち、モニタ画素Pa,Pb,Pcの出力としては、図5を参照して説明したような、射出瞳補正が行われていない位相差検出画素の入射光の入射角を振った場合の画素出力と同様のものが得られる。
したがって、撮像素子150によれば、撮像素子150に撮像レンズを装着した状態であっても、図5下段に示されるような位相差特性を得ることができる。
なお、撮像素子150のように、射出瞳補正が行われていない位相差検出画素を横方向(左右方向)に配列することで、撮像レンズからの入射光の入射角分の位相差特性を得ることができるが、入射光が画角全体(撮像素子のセンサ面全体)で略平行(例えば入射角が5度未満)となる撮像レンズの場合、±5度の角度範囲の位相差特性しか得ることができない。そこで、図10を参照して、これを解決する撮像素子の構成について説明する。
[撮像素子の他の構成例]
図10は、本技術を適用した撮像素子の他の構成例を示している。
図10上段には、撮像素子160の画素配置の例が示されている。
なお、図10上段の撮像素子160の画素配置において、図9上段の撮像素子150の画素配置と異なるのは、モニタ画素が、画像出力領域の上下の非画像出力領域ではなく、画像出力領域の左右の非画像出力領域に設けられている点である。
図10下段には、画像出力領域の左側の非画像出力領域において、互いに近い位置に配置されているモニタ画素Pa,Pb,Pcの構造例を示す断面図が示されている。
図10下段に示されるモニタ画素Pa,Pb,Pcそれぞれの構成は、図9下段に示されるものと基本的には同様であるので、その詳細については、説明を省略する。
また、図10下段に示されるモニタ画素Pa,Pb,Pcにおいても、遮光膜123、カラーフィルタ124、およびオンチップレンズ125は、モニタ画素Pa,Pb,Pcそれぞれの位置に応じた射出瞳補正量とは異なるずれ量をもって形成されている。具体的には、モニタ画素Pa,Pb,Pcにおいて、遮光膜123、カラーフィルタ124、およびオンチップレンズ125は、モニタ画素Pa,Pb,Pcそれぞれの配置に応じた射出瞳補正量とは異なる補正量の射出瞳補正がかけられている。
より詳細には、モニタ画素Pbには、その配置に応じた射出瞳補正量の射出瞳補正がかけられているが、モニタ画素Paには、その配置に応じた射出瞳補正量より小さい補正量の射出瞳補正が、モニタ画素Pcには、その配置に応じた射出瞳補正量より大きい補正量の射出瞳補正が、それぞれかけられている。
ここで、撮像素子160に撮像レンズを装着した場合、モニタ画素Pa,Pb,Pcには、それぞれ略同じ入射角の入射光が入射されるが、それぞれ異なる補正量の射出瞳補正がかけられているので、モニタ画素Pa,Pb,Pcの出力としては、相対的に、位相差検出画素の入射光の入射角を振った場合の画素出力が得られる。
図11は、図10のモニタ画素Pa,Pb,Pcそれぞれの位相差特性を示している。図11左側には、モニタ画素Paの位相差特性が、図11中央には、モニタ画素Pbの位相差特性が、図11右側には、モニタ画素Pcの位相差特性が示されている。
図10のモニタ画素Pa,Pb,Pcにおいて、実際に画素出力として得られるのは、図11に示されるそれぞれの位相差特性において白抜きの矢印で示される、撮像レンズの入射角設計により決まる所定の角度(例えば30度等)における出力のみとなる。そこで、それぞれ異なる補正量の射出瞳補正がかけられている位相差画素の出力をサンプリングすることで、位相差特性における画素出力の曲線を得ることができる。
したがって、撮像素子160によれば、撮像素子160に撮像レンズを装着した状態であっても、図5下段に示されるような位相差特性を得ることができる。
図12は、上述したモニタ画素の位相差特性の実測データを示している。
図12上段には、図9を参照して説明したように、射出瞳補正が行われていない位相差検出画素(モニタ画素)に、それぞれ異なる入射角の入射光を入射することで得られた位相差特性が示されている。また、図12下段には、図10を参照して説明したように、それぞれ異なる補正量の射出瞳補正が行われた位相差検出画素(モニタ画素)に、入射角を固定にした入射光を入射することで得られた位相差特性が示されている。
図12に示されるように、それぞれの位相差特性における曲線は、略同一の形状となっている。すなわち、所定の数のモニタ画素を、それぞれの配置に応じた射出瞳補正量とは異なるずれ量をもって形成し、その画素出力をサンプリングすることで、位相差特性を得ることができる。これにより、撮像素子の良品/不良品の選別を行うことが可能となる。
[オンチップレンズの形状]
上述したように、図10に示される撮像素子160において、モニタ画素には、それぞれの配置に応じた射出瞳補正量とは異なる補正量の射出瞳補正がかけられている。そのため、撮像素子160においては、図13左側に示されるように、射出瞳補正量をずらした領域(射出瞳補正量ずらし領域)に配置されているモニタ画素と、それに隣接する適切な補正量の射出瞳補正がかけられている画素との間で、オンチップレンズ同士で隙間ができたり、形状のつぶれが生じてしまう。
このような、オンチップレンズ同士の隙間や形状のつぶれは、モニタ画素において、隣接画素からの混色を引き起こし、モニタ画素によって得られる位相差特性を劣化させる恐れがある。
そこで、モニタ画素とそれに隣接する画素との境界において、オンチップレンズの形状を変えるようにする。具体的には、図13中央に示されるように、モニタ画素に隣接する画素、およびその画素にさらに隣接する画素のオンチップレンズを合体させた、サイズの大きいオンチップレンズ201を形成することで、オンチップレンズ同士の隙間や形状のつぶれが生じないようにする。また、図13右側に示されるように、オンチップレンズ同士の隙間にサイズの小さいオンチップレンズ202を形成したり、形状のつぶれが生じる隣接画素のオンチップレンズのサイズを小さくすることで、オンチップレンズ同士の隙間や形状のつぶれが生じないようにする。
これにより、モニタ画素に対する、隣接画素からの混色を防ぎ、モニタ画素によって得られる位相差特性を安定させることができる。
[遮光膜の遮光パターン]
以上においては、本技術の撮像素子において、1対の位相差検出画素P1,P2は、図14左側に示されるように、それぞれ左側遮光、右側遮光の構成をとるものとしたが、それぞれの画素配置に応じて、図14中央に示されるように、上側遮光、下側遮光の構成をとるようにしてもよいし、図14右側に示されるように、斜めに遮光されるようにしてもよい。
ここで、モニタ画素Pa,Pb,Pcが、図14中央に示されるような、上側遮光、下側遮光の構成をとる場合、その配置は、例えば、図9の撮像素子150においては、画像出力領域の左右の非画像出力領域となり、図10の撮像素子160においては、画像出力領域の上下の非画像出力領域の中央付近となる。
また、モニタ画素Pa,Pb,Pcが、図14右側に示されるような、斜めに遮光される構成をとる場合、その配置は、例えば、図15に示されるように、非画像出力領域において、画素領域全体の対角になる部分となる。
なお、以上においては、位相差として、左側遮光と右側遮光等のように、互いに異なる部分が遮光されている画素(遮光画素)同士の出力の差分が用いられるものとしたが、一方の画素が遮光画素であれば位相差は得られるので、遮光画素(例えば左側遮光の画素)と、遮光されていない撮像画素の出力の差分を位相差とするようにしてもよい。
[位相差検出画素の他の構造例]
また、本技術において、位相差画素は、図9下段や図10下段に示される以外の構造を採ることができる。
図16は、本技術の位相差検出画素(モニタ画素を含む)の他の構造例を示す断面図である。
図16に示される位相差検出画素においては、半導体基板121に光電変換部としてのフォトダイオード211−1,211−2が形成されている。半導体基板121の上層には、遮光膜123とカラーフィルタ124とが同一層に形成されており、それらの上層には、オンチップレンズ125が形成されている。なお、遮光膜123は、隣接する画素の境界部分に形成されるのみで、フォトダイオード211−1,211−2を遮光することはしない。
図16に示されるそれぞれの位相差検出画素は、1つのオンチップレンズ125と、そのオンチップレンズ125より下層に形成されたカラーフィルタ124、およびフォトダイオード211−1,211−2を備えている。フォトダイオード211−1,211−2は、受光面に対して分割されて形成されている(分割形成されている)。
本技術の撮像素子が、図16に示される構造の位相差検出画素を有する場合、位相差検出処理は、フォトダイオード211−1の出力とフォトダイオード211−2の出力の差分を用いて行われるようになる。
なお、モニタ画素が、図16に示される構造を備える場合、オンチップレンズ125は、そのモニタ画素の配置に応じた射出瞳補正量とは異なるずれ量をもって形成される。
このような構造によれば、フォトダイオード211−1,211−2に入射される光が遮光されることがないので、入射光量の損失を少なくすることができる。
[モニタ画素の配置]
なお、以上においては、モニタ画素は、撮像素子における非画像出力領域に配置されるものとしたが、画像出力領域の内側に配置されるようにしてもよい。
これにより、非画像出力領域を狭めることができ、チップサイズを縮小することができる上に、実際に画像を生成するための信号が出力される領域の位相差特性を得ることができる。
以上のような撮像素子のモニタ画素によって得られる位相差特性は、位相差検出によるAFを行う際に検出される位相差の補正に用いることができる。
そこで、以下においては、モニタ画素によって得られた位相差特性を用いて、位相差検出において検出される位相差を補正する電子機器の構成について説明する。
<3.本技術の撮像素子を搭載した電子機器について>
[電子機器の構成例]
図17は、本技術を適用した電子機器の構成例を示す図である。図17に示される電子機器300は、位相差検出方式のAF(位相差AF)を行うことで、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。電子機器300は、例えば、コンパクトデジタルカメラ、デジタル一眼レフカメラ、撮像機能を備えたスマートフォン(多機能携帯電話機)等の携帯端末、内視鏡等として構成される。
図17に示される電子機器300は、レンズ301、光学フィルタ302、撮像素子303、A/D変換部304、クランプ部305、補正パラメータ算出部306、メモリ307、位相差検出部308、位相差補正部309、レンズ制御部310、欠陥補正部311、デモザイク部312、リニアマトリクス(LM)/ホワイトバランス(WB)/ガンマ補正部313、輝度クロマ信号生成部314、およびインタフェース(I/F)部315から構成される。
レンズ301は、撮像素子303に入射する被写体光の焦点距離の調整を行う。レンズ301の後段には、撮像素子303に入射する被写体光の光量調整を行う絞り(図示せず)が設けられている。レンズ301の具体的な構成は任意であり、例えば、レンズ301は複数のレンズにより構成されていてもよい。
レンズ301を透過した被写体光は、例えば、赤外光以外の光を透過するIRカットフィルタ等として構成される光学フィルタ302を介して撮像素子303に入射する。
撮像素子303は、上述した本技術の撮像素子150や撮像素子160に対応し、被写体光を光電変換するフォトダイオード等の光電変換素子を有する複数の画素(撮像画素、位相差検出画素、およびモニタ画素)を備える。各画素は、被写体光を電気信号に変換し、その電気信号を、A/D変換部304に供給する。
なお、撮像素子303は、A/D変換部304、クランプ部305、位相差検出部308、および位相差補正部309を実現する信号処理回路とともに、本技術の固体撮像装置を構成する。この固体撮像装置は、後述するように、1チップ化されたモジュールとして構成されてもよいし、撮像素子303と信号処理回路とが別チップとして構成されてもよい。また、この信号処理回路に、補正パラメータ算出部306やメモリ307が含まれるようにしてもよい。
本技術の固体撮像装置は、例えば、光電変換素子が光から発生した電荷を読み出すために電荷結合素子(CCD(Charge Coupled Device)と呼ばれる回路素子を用いて転送を行うCCDイメージセンサであってもよいし、CMOS(Complementary Metal Oxide Semiconductor)を用いた、単位セルごとに増幅器を持つCMOSイメージセンサ等であってもよい。
A/D変換部304は、撮像素子303から供給されるRGBの電気信号(アナログ信号)をデジタルデータ(画像データ)に変換する。A/D変換部304は、そのデジタルデータの画像データ(RAWデータ)をクランプ部305に供給する。
クランプ部305は、画像データから、黒色と判定されるレベルである黒レベルを減算する。クランプ部305は、黒レベルを減算した画像データ(画素値)のうち、モニタ画素から出力されたデータを補正パラメータ算出部306に供給する。また、クランプ部305は、位相差検出画素から出力された画像データ(画素値)を位相差検出部308に供給し、黒レベルを減算した画像データの全画素分を欠陥補正部311に供給する。
すなわち、位相差検出には、位相差検出画素の出力のみが用いられるが、画像の生成には、撮像画素の出力はもちろん、位相差検出画素の出力も用いられる。ここで、位相差検出画素が、図2や図4に示されるように、光電変換部の半分が遮光膜123により遮光されている場合、位相差検出画素の出力は、撮像画素の出力より低くなるため、後述するように欠陥補正が行われる。また、位相差検出画素が、図16に示されるように、光電変換部が遮光膜123により遮光されていない場合には、位相差検出画素の出力はそのまま用いられる。
補正パラメータ算出部306は、撮像素子303の製造後のテスト工程や、撮像素子303にレンズ301を装着した後のテスト工程等において得られた位相差特性のデータを用いて、位相差検出部308によって検出される位相差を補正するのに用いられる補正パラメータを算出する。
メモリ307には、補正パラメータ算出部306によって算出された補正パラメータが記憶される。
位相差検出部308は、クランプ部305からの画像データ(画素値)に基づいて位相差検出処理行うことで、フォーカスを合わせる対象の物体(合焦対象物)に対してフォーカスが合っているか否か判定する。位相差検出部308は、フォーカスエリアにおける物体にフォーカスが合っている場合、合焦していることを示す情報を合焦判定結果として、レンズ制御部310に供給する。また、位相差検出部308は、合焦対象物にフォーカスが合っていない場合、フォーカスのずれの量(デフォーカス量)を算出し、その算出したデフォーカス量を示す情報を合焦判定結果として、レンズ制御部310に供給する。
位相差補正部309は、メモリ307に記憶されている補正パラメータを用いて、位相差検出部308によって検出された位相差を補正する。すなわち、位相差検出部308は、補正された位相差に対応する合焦判定結果を、レンズ制御部310に供給する。
レンズ制御部310は、レンズ301の駆動を制御する。具体的には、レンズ制御部310は、位相差検出部308から供給された合焦判定結果に基づいて、レンズ301の駆動量を算出し、その算出した駆動量に応じてレンズ301を移動させる。
例えば、レンズ制御部310は、フォーカスが合っている場合には、レンズ301の現在の位置を維持させる。また、レンズ制御部310は、フォーカスが合っていない場合には、デフォーカス量を示す合焦判定結果とレンズ301の位置とに基づいて駆動量を算出し、その駆動量に応じてレンズ301を移動させる。
欠陥補正部311は、クランプ部305からの画像データに基づいて、正しい画素値が得られない欠陥画素(例えば位相差検出画素)について、その画素値の補正、すなわち欠陥補正を行う。欠陥補正部311は、欠陥画素の補正を行った画像データをデモザイク部312に供給する。
デモザイク部312は、欠陥補正部311からのRAWデータに対してデモザイク処理を行い、色情報の補完等を行ってRGBデータに変換する。デモザイク部312は、デモザイク処理後の画像データ(RGBデータ)をLM/WB/ガンマ補正部313に供給する。
LM/WB/ガンマ補正部313は、デモザイク部312からのRGBデータに対して、色特性の補正を行う。具体的には、LM/WB/ガンマ補正部313は、規格で定められた原色(RGB)の色度点と実際のカメラの色度点の差を埋めるために、マトリクス係数を用いて画像データの各色信号を補正し、色再現性を変化させる処理を行う。また、LM/WB/ガンマ補正部313は、RGBデータの各チャンネルの値について白に対するゲインを設定することで、ホワイトバランスを調整する。さらに、LM/WB/ガンマ補正部313は、画像データの色と出力デバイス特性との相対関係を調節して、よりオリジナルに近い表示を得るためのガンマ補正を行う。LM/WB/ガンマ補正部313は、補正後の画像データ(RGBデータ)を輝度クロマ信号生成部314に供給する。
輝度クロマ信号生成部314は、LM/WB/ガンマ補正部313から供給されたRGBデータから輝度信号(Y)と色差信号(Cr,Cb)とを生成する。輝度クロマ信号生成部314は、輝度クロマ信号(Y,Cr,Cb)を生成すると、その輝度信号と色差信号をI/F部315に供給する。
I/F部315は、供給された画像データ(輝度クロマ信号)を、電子機器300の外部(例えば、画像データを記憶する記憶デバイスや、画像データの画像を表示する表示デバイス等)に出力する。
ここで、図18を参照して、本技術の固体撮像装置の基本的な概略構成について説明する。
第1の例として、図18上段に示される固体撮像装置330は、1つの半導体チップ331内に、画素領域332、制御回路333、上述した信号処理回路を含むロジック回路334とを搭載して構成される。
第2の例として、図18中段に示される固体撮像装置340は、第1の半導体チップ部341と第2の半導体チップ部342とから構成される。第1の半導体チップ部341には、画素領域343と制御回路344が搭載され、第2の半導体チップ部342には、上述した信号処理回路を含むロジック回路345が搭載される。そして、第1の半導体チップ部341と第2の半導体チップ部342とが相互に電気的に接続されることで、1つの半導体チップとしての固体撮像装置340が構成される。
第3の例として、図18下段に示される固体撮像装置350は、第1の半導体チップ部351と第2の半導体チップ部352とから構成される。第1の半導体チップ部351には、画素領域353が搭載され、第2の半導体チップ部352には、制御回路354と、上述した信号処理回路を含むロジック回路355が搭載される。そして、第1の半導体チップ部351と第2の半導体チップ部352とが相互に電気的に接続されることで、1つの半導体チップとしての固体撮像装置350が構成される。
[位相差AF処理について]
ここで、図19のフローチャートを参照して、電子機器300による位相差AF処理について説明する。位相差AF処理は、被写体を撮像する際に電子機器300によって実行される撮像処理の前に実行される。
まず、ステップS101において、撮像素子303は、各画素の入射光を光電変換し、各画素信号を読み出し、A/D変換部304に供給する。
ステップS102において、A/D変換部304は、撮像素子303からの各画素信号をA/D変換し、クランプ部305に供給する。
ステップS103において、クランプ部305は、A/D変換部304からの各画素信号(画素値)から、有効画素領域の外部に設けられているOPB(Optical Black)領域において検出された黒レベルを減算する。クランプ部305は、黒レベルを減算した画像データのうち、位相差検出画素から出力された画像データ(画素値)を位相差検出部308に供給する。
ステップS104において、位相差補正部309は、予め算出され、メモリ307に記憶されている補正パラメータを読み出す。
ステップS105において、位相差検出部308は、クランプ部305からの画像データ(画素値)に基づいて位相差検出を行う。
そして、ステップS106において、位相差補正部309は、読み出した補正パラメータを用いて、位相差検出部308によって検出された位相差を補正する。
ここで、図20を参照して、位相差の補正について説明する。
上述したように、本技術の撮像素子によれば、レンズ301を装着した状態であっても、位相差特性を得ることができる。そこで、通常品の位相差特性として、図20上段に示される特性が得られ、バラつき品の位相差特性として、図20下段に示される特性が得られたものとする。
図20に示されるそれぞれの位相差特性において、レンズ301のF値等により決まる、撮像素子に入射し得る角度範囲での、位相差検出画素の出力の傾き(Slope)は、通常品とバラつき品とで大きく異なっている。このSlopeが小さい場合、フォーカスのずれによって入射角に偏りが生じたときの、右側遮光の画素と左側遮光の画素の出力の差分も小さくなってしまう。つまり、図8におけるバラつき品Bのように、通常品と比べて、位相差に対するフォーカスのずれ量が大きくなってしまう。言い換えると、フォーカスが大きくずれた場合でも、位相差は生じにくくなってしまう。
本技術においては、このSlopeを補正パラメータとして、以下の補正係数βを算出することによって、フォーカスのずれ量に対する位相差を補正する。
図20上段に示される、通常品の位相差特性において、左側遮光の画素の出力のSlopeをSlopeAとし、右側遮光の画素の出力のSlopeをSlopeBとする。同様に、図20下段に示される、バラつき品の位相差特性において、左側遮光の画素の出力のSlopeをSlopeCとし、右側遮光の画素の出力のSlopeをSlopeDとする。
このとき、補正係数βは、以下の式(1),(2)によって求められる。
Figure 2014236411
Figure 2014236411
このようにして算出される補正係数βによって、図8におけるバラつき品のフォーカスのずれ量に対する位相差は、図21に示されるように、通常品に近づくように補正される。
また、本技術においては、以下の式(3),(4)によって、左側遮光の画素についての補正係数β'と、右側遮光の画素についての補正係数β''とを求め、これらを組み合わせて用いるようにしてもよい。
Figure 2014236411
Figure 2014236411
なお、それぞれのSlopeは、そのままの値であってもよいし、その絶対値としてもよいし、また、必要に応じて、所定の重み付けを行うようにしてもよい。さらに、補正係数βは、レンズ301のF値や、被写体、光源等の撮影環境に応じて調整されるようにしてもよい。この場合、F値や撮影環境毎の位相差特性を用いて算出される、F値や撮影環境毎のSlope(補正パラメータ)を予めメモリ307に記憶させることで、補正係数βを調整するようにしてもよいし、シーン判別等により所定の数式やテーブルを適応的に用いることで、補正係数βを調整するようにしてもよい。
このようにして位相差が補正されると、ステップS107において、位相差検出部308は、補正された位相差に対応する合焦判定結果を、レンズ制御部310に供給する。
ステップS108において、レンズ制御部310は、位相差検出部308からの合焦判定結果に基づいて、レンズ301の駆動を制御する。
以上の処理によれば、予め得られた位相差特性に基づいて、製造上のばらつきがある場合であっても、位相差を補正することができ、AFの精度を低下させないようにすることが可能となる。
以上においては、位相差AF処理時に、予め算出された補正パラメータを用いて補正係数βを算出することで、位相差を補正するようにしたが、補正パラメータ算出部306が、予め補正係数βまで算出し、位相差補正部309が、その補正係数βを用いて、位相差を補正するようにしてもよい。
なお、レンズ制御部310は、上述したような位相差AFに加え、コントラストAFを行うことで、レンズ301の駆動を制御するようにしてもよい。例えば、レンズ制御部310は、位相差検出部308から、合焦判定結果としてフォーカスのずれの量(デフォーカス量)を示す情報が供給された場合、フォーカスのずれの方向(前ピンか後ピンか)を判別し、その方向に対してコントラストAFを行うようにしてもよい。
また、図10に示される撮像素子160においては、モニタ画素を、画像出力領域の左側および右側の像高で配置するようにしたが、それぞれのモニタ画素に基づいて得られる補正パラメータを、平均化して用いるようにしてもよいし、像高毎に用いるようにしてもよい。
例えば、画像出力領域の左側に配置されたモニタ画素に基づく補正パラメータをωとし、画像出力領域の右側に配置されたモニタ画素に基づく補正パラメータをεとした場合、画角の左側から右側に行くほど、補正パラメータをωからεへシフトさせるようにしてもよい。
[撮像処理について]
次に、図22のフローチャートを参照して、電子機器300による撮像処理について説明する。
ここで、図22のフローチャートのステップS201乃至S203の処理は、図19のフローチャートのステップS101乃至S103の処理と同様であるので、その説明は省略する。なお、ステップS203においては、クランプ部305によって、黒レベルが減算された全画素分の画像データ(画素値)が欠陥補正部311に供給される。
ステップS204において、欠陥補正部311は、クランプ部305からの画像データに基づいて、正しい画素値が得られない欠陥画素、すなわち位相差検出画素について、その画素値の補正(欠陥補正)を行う。ここで、撮像素子303において、モニタ画素が画像出力領域の内側に配置されている場合には、モニタ画素についても、欠陥補正が行われる。欠陥画素の補正が行われた画像データはデモザイク部312に供給される。
ステップS205において、デモザイク部312は、デモザイク処理を行い、RAWデータをRGBデータに変換し、LM/WB/ガンマ補正部313に供給する。
ステップS206において、LM/WB/ガンマ補正部313は、デモザイク部312からのRGBデータに対して、色補正、ホワイトバランスの調整、およびガンマ補正を行い、輝度クロマ信号生成部314に供給する。
ステップS207において、輝度クロマ信号生成部314は、RGBデータから輝度信号および色差信号(YCrCbデータ)を生成する。
そして、ステップS208において、I/F部315は、輝度クロマ信号生成部314によって生成された輝度信号および色差信号を外部の記録デバイスや表示デバイスに出力し、撮像処理を終了する。
以上の処理によれば、AFの精度を低下させないで撮像を行うことができるので、より良い画像を得ることが可能となる。
[撮像画素への適用]
以上においては、モニタ画素として、その配置に応じた射出瞳補正量とは異なるずれ量をもたせた位相差検出画素について説明してきたが、これを撮像画素(以下、通常画素ともいう)に適用するようにしてもよい。
この場合、この通常画素は、モニタ画素とともに、例えば、図9や図10を参照して説明した非画像出力領域に配置される。
これにより、例えば、図23に示されるような入射角依存特性が得られる。なお、この入射角依存特性は、モニタ画素(位相差検出画素)についての位相差特性と同様にして得ることができる。
レンズ301のF値を例えば2.4とした場合、図23の入射角依存特性においては、入射光が入射し得る角度範囲が、矢印で示される範囲となり、通常画素の出力は、この角度範囲の積分値となる。
ここで、この通常画素の出力と、図12の位相差特性において、上述の角度範囲について得られるモニタ画素の出力とを比較することで、通常画素の出力に対して、モニタ画素の出力がどの程度落ちているかを確認することができる。
画像出力領域の内側に配置されている位相差検出画素は、その受光部の一部が遮光されているため、欠陥補正部311によって欠陥補正が行われる。このとき、通常画素の出力に対して、モニタ画素の出力がどの程度落ちているかに応じて、位相差検出画素の出力に、その分のゲインをかけることで、欠陥補正が行われるようにすることができる。
さらに、本技術においては、上述した補正係数βと同様にして、レンズ301のF値や撮影環境に応じてゲインを調整するようにする。具体的には、レンズ301のF値や撮影環境が変化したときに、通常画素の出力と位相差検出画素の出力の差分がどのように変化し、どのようなゲインをかければよいかを適応的に算出するようにする。なお、位相差検出画素の出力から判定される位相状態に応じて、ゲインを調整するようにしてもよい。
[電子機器の他の構成例]
図24は、本技術を適用した電子機器の他の構成例を示すブロック図である。
図24に示される電子機器400は、レンズ301、光学フィルタ302、AF用撮像素子401、A/D変換部304、クランプ部305、メモリ307、位相差検出部308、位相差補正部309、レンズ制御部310、撮像素子402、A/D変換部403、クランプ部404、デモザイク部312、LM/WB/ガンマ補正部313、輝度クロマ信号生成部314、およびI/F部315から構成される。
なお、図24の電子機器400において、図17の電子機器300に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
AF用撮像素子401は、図17の電子機器300に設けられた撮像素子303と異なり、撮像画素は配置されず、モニタ画素を含む位相差検出画素のみが配置されて構成される。なお、モニタ画素は、図9を参照して説明した態様であってもよいし、図10を参照して説明した態様であってもよい。
撮像素子402は、図17の電子機器300に設けられた撮像素子303と異なり、位相差検出画素やモニタ画素は配置されず、通常の撮像画素のみが配置されて構成される。
A/D変換部403は、撮像素子402から供給されるRGBの電気信号(アナログ信号)をデジタルデータ(画像データ)に変換し、クランプ部404に供給する。
クランプ部404は、画像データから、黒色と判定されるレベルである黒レベルを減算し、黒レベルを減算した画像データの全画素分をデモザイク部312に供給する。
なお、AF用撮像素子401は、A/D変換部304、クランプ部305、位相差検出部308、および位相差補正部309を実現する信号処理回路とともに、本技術の固体撮像装置を構成する。この固体撮像装置もまた、図18を参照して説明したように、1チップ化されたモジュールとして構成されてもよいし、AF用撮像素子401と信号処理回路とが別チップとして構成されてもよい。また、この信号処理回路に、補正パラメータ算出部306やメモリ307が含まれるようにしてもよい。
以上の構成においても、製造上のばらつきがある場合であっても、位相差を補正することができるので、製造上のばらつきがあっても、AFの精度を低下させないようにすることが可能となる。
また、通常の撮像に用いられる撮像素子402に位相差検出画素を設ける必要がないので、位相差検出画素に対する欠陥補正を行う必要がなくなる。また、AF用撮像素子401と撮像素子402とは、それぞれ別個に製造されるようにできるので、それぞれに最適化されたプロセスにより製造を行うことができる。
上述したように、本技術の固体撮像装置を搭載した電子機器は、コンパクトデジタルカメラ、デジタル一眼レフカメラ、スマートフォン等の携帯端末、内視鏡等に適用することができる。
[デジタル一眼レフカメラへの適用例]
図25は、本技術を適用したデジタル一眼レフカメラの外観構成を示す正面図である。
デジタル一眼レフカメラ500(以下、単に、カメラ500という)は、カメラボディ510と、カメラボディ510に着脱自在な撮影レンズとしての交換レンズ511(以下、単に、レンズ511という)を備えている。
図25において、カメラボディ510の正面側には、正面略中央に交換レンズ511が装着されるマウント部521、マウント部521の右横に配置されたレンズ交換ボタン522、および、把持可能とするためのグリップ部523が設けられている。
また、カメラボディ510の上面側には、正面左上部に配置されたモード設定ダイアル524、正面右上部に配置された制御値設定ダイアル525、および、グリップ部523の上面に配置されたシャッターボタン526が設けられている。
また、図示はしないが、カメラボディ510の背面側には、LCD(Liquid Crystal Display)、各種のボタンやキー、EVF(Electronic View Finder)等が備えられている。
さらに、カメラ500は、図17の電子機器300と同様の構成および機能を有するものとする。
このようなカメラ500において、レンズ511のF値は、例えば、ユーザによる制御値設定ダイアル525の操作によって、所定の値に設定されるが、上述したように、位相差検出画素の位相差特性は、F値によって異なる。
図26は、ばらつきが生じた場合の位相差特性の例を示している。
図26に示されるそれぞれの位相差特性において、位相差検出画素の出力は、矢印で示される入射角の角度範囲の積分値(レンズ特性を考慮した積分値)となるが、その角度範囲はレンズのF値によって異なり、ひいては、位相差の補正量もレンズのF値によって異なってくる。そこで、本技術においては、F値が可変である光学系が用いられる場合には、F値に応じて補正係数が調整されるようにする。
[位相差AF処理について]
次に、図27のフローチャートを参照して、F値に応じて位相差を補正する位相差AF処理について説明する。図27に示される位相差AF処理は、カメラ500の起動時や、ユーザによって制御値設定ダイアル525が操作されたときに実行される。
なお、図27のフローチャートのステップS303乃至S306における処理は、図19のフローチャートのステップS105乃至S108における処理と同様にして行われるので、その説明は省略する。また、図27のフローチャートにおいては、ステップS303の処理より前に、図19のフローチャートのステップS101乃至S103の処理と同様の処理が行われているものとする。
またここでは、前提として、F値毎のSlope(補正パラメータ)が予めメモリに記憶されているものとする。
すなわち、ステップS301において、位相差補正部309は、現在設定されているF値を検出する。
ステップS302において、位相差補正部309は、メモリ307に記憶されているF値毎の補正パラメータを読み出す。
このようにして、F値が変化した場合であっても、適切に位相差を補正することができ、AFの精度を低下させないようにすることができる。
[カプセル内視鏡への適用例]
図28は、本技術を適用したカプセル内視鏡の断面構成を示す図である。
カプセル内視鏡600は、例えば両端面が半球状で中央部が円筒状の筐体610内に、体腔内の画像を撮影するためのカメラ(超小型カメラ)611、カメラ611により撮影された画像データを記録するためのメモリ612、および、カプセル内視鏡600が被験者の体外に排出された後に、記録された画像データをアンテナ614を介して外部へ送信するための無線送信機613を備えている。
さらに、筐体610内には、CPU(Central Processing Unit)615およびコイル(磁力・電流変換コイル)616が設けられている。
CPU615は、カメラ611による撮影、およびメモリ612へのデータ蓄積動作を制御するとともに、メモリ612から無線送信機613による筐体610外のデータ受信装置(図示せず)へのデータ送信を制御する。コイル616は、カメラ611、メモリ612、無線送信機613、アンテナ614および後述する光源611bへの電力供給を行う。
さらに、筐体610には、カプセル内視鏡600をデータ受信装置にセットした際に、これを検知するための磁気(リード)スイッチ617が設けられている。CPU615は、このリードスイッチ617がデータ受信装置へのセットを検知し、データの送信が可能になった時点で、コイル616からの無線送信機613への電力供給を行う。
カメラ611は、例えば体腔内の画像を撮影するための対物光学系を含む撮像素子611a、体腔内を照明する複数(ここでは2個)の光源611bを有している。具体的には、カメラ611は、光源611bとして、例えばLED(Light Emitting Diode)を備えたCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device )等によって構成される。
また、カメラ611は、図17の電子機器300と同様の構成および機能を有するものとする。
ところで、位相差を検出する際には、例えば、フォーカスのずれを認識する上で、被写体のエッジ部分のぼけ具合が位相差の情報として検出されるため、被写体のエッジ部分の情報が不可欠となる。
しかしながら、カプセル内視鏡600によって体腔内の画像を撮影する場合、被写体となる人間の臓器の表面には、エッジ部分が少ないため、適切に位相差を検出することはできない。
そこで、光源611bに、特定のパターンの光を照射させるようにする。具体的には、光源611bに、図29に示されるような、エッジを含むパターンの光630を照射させる。光源611bにより照射される光の波長は任意とされるが、例えば、光源611bの光を、比較的赤色が強い臓器の色と分離するために、短波長(例えば450nm)の光としてもよいし、撮影に干渉しないように可視光以外の光(例えば赤外光)としてもよい。この場合、位相差検出画素において、カラーフィルタ124は、その可視光以外の光に対応させたものとする。
[内視鏡撮影処理について]
次に、図30のフローチャートを参照して、カプセル内視鏡600による撮影処理について説明する。図30に示される内視鏡撮影処理は、カプセル内視鏡600が、体腔内で撮影対象となる被写体(臓器)に到達すると開始される。
なお、図30のフローチャートのステップS403乃至S406における処理は、図19のフローチャートのステップS105乃至S108における処理と同様にして行われるので、その説明は省略する。また、図30のフローチャートにおいては、ステップS403の処理より前に、図19のフローチャートのステップS101乃至S103の処理と同様の処理が行われているものとする。
またここでは、前提として、波長毎のSlope(補正パラメータ)が予めメモリに記憶されているものとする。
すなわち、ステップS401において、光源611bは、特定のパターンの光の照射を開始する。
ステップS402において、位相差補正部309は、メモリ307に記憶されている波長毎の補正パラメータを読み出す。
このようにして、照射される光の波長に応じて、適切に位相差を補正することができる。
ステップS407においては、撮影に影響を与えないように、光源611bによる特定のパターンの光の照射が終了される。
そして、ステップS408においては、図22のフローチャートを参照して説明した撮像処理が行われる。
以上の処理によれば、エッジ部分が少ない体腔内であっても、適切に位相差を補正することができ、AFの精度を低下させないようにすることができる。結果として、体腔内において、臓器の形状や血管の配置をより正確に観察することが可能となる。
なお、以上においては、カプセル内視鏡において、光源の波長に応じて位相差を補正する構成について説明したが、コンパクトデジタルカメラやデジタル一眼レフカメラ、撮像機能を備えたスマートフォンといった一般的なカメラにおいて、光源の波長や被写体の色等の撮影環境に応じて位相差を補正するようにしてもよい。
また、画角全体で一律に位相差の補正をするのではなく、光源の波長や被写体の色に応じて、撮像領域(画角)における位置毎に位相差の補正をするようにしてもよい。
ここでも、位相差の補正に用いられる補正パラメータは、上述した位相差特性から得られるものとする。例えば、色温度を3000Kとした場合の位相差特性と、6000Kとした場合の位相差特性を予めメモリに記憶する。実際の撮影時に検知された色温度が4500Kである場合には、メモリに記憶されている、色温度3000Kの補正パラメータと、色温度6000Kの補正パラメータとの中間値を用いて、位相差の補正をするようにする。
[撮像モジュールへの適用]
なお、本技術によれば、例えば、レンズ、IRカットフィルタ(IRCF)等の光学フィルタ、および撮像素子等を一体化した撮像モジュールを製造する際に、モニタ画素の出力から得られるばらつきのある位相差特性の補正を、撮像モジュールにおける光学特性を補正することで、補填することができる。
例えば、撮像素子の製造上のばらつきにより、図6に示したような位相差特性が得られたものとする。
ここで、図31の左側に示される撮像モジュール700において、撮像素子711、光学フィルタ712、およびレンズ713が、設計通り、ずれがなく形成された場合、撮像モジュール711の位相差特性も、ばらつきもあるものとなってしまう。
そこで、本技術においては、位相差特性に応じて、光学フィルタ712およびレンズ713を形成することで、撮像モジュール700の位相差特性を補正する。具体的には、図31の右側に示されるように、光学フィルタ712やレンズ713を傾けるようにしたり、光学フィルタ712として、例えば偏光フィルタを新たに挿入することで、撮像モジュール700の位相差特性を補正する。
このように、本技術によれば、撮像素子のばらつきに起因する位相差特性のずれを、撮像モジュールの製造時に補正することができる。すなわち、撮像素子の微細化が進み、正常上のばらつきが十分に抑えることができなくとも、信号処理上の補正に限らず、光学的な補正によって、所望の特性を得ることが可能となる。
以上においては、1対の位相差検出画素それぞれの差分を、位相差検出に用いるものとしたが、例えば特開2013−42379号公報に開示されているような、奥行き検出に用いるようにしてもよい。
具体的には、図32に示される3次元センサ800において、奥行き情報補正部801が、メモリ307に記憶されている補正パラメータを用いて、奥行き情報算出部802によって位相差検出画素それぞれの差分を基に算出される、被写体側の奥行き(距離)を表す奥行き情報を補正するようにする。これにより、立体画像を生成する場合に、モニタ画素に基づいて得られる補正パラメータによって、奥行きに関する奥行き情報を補正することができ、より確実に立体画像を生成することが可能となる。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
さらに、本技術は以下のような構成をとることができる。
(1)
位相差検出によるAF(Auto Focus)を行うための位相差検出画素を含む複数の画素を備える固体撮像装置であって、
前記位相差検出画素は、
オンチップレンズと、
前記オンチップレンズより下層に形成された光電変換部と
を備え、
前記位相差検出画素のうちの複数の所定の位相差検出画素において、前記オンチップレンズは、前記所定の位相差検出画素の配置に応じた射出瞳補正量とは異なるずれ量をもって形成される
固体撮像装置。
(2)
前記位相差検出画素は、前記光電変換部の一部を遮光する遮光膜をさらに備え、
前記所定の位相差検出画素において、前記オンチップレンズおよび前記遮光膜は、前記所定の位相差検出画素の配置に応じた射出瞳補正量とは異なるずれ量をもって形成される
(1)に記載の固体撮像装置。
(3)
前記所定の位相差検出画素は、互いに近い位置に配置され、
前記所定の位相差検出画素において、前記オンチップレンズおよび前記遮光膜は、前記前記位相差検出画素の配置に応じた射出瞳補正量とは異なる補正量の射出瞳補正がかけられている
(2)に記載の固体撮像装置。
(4)
前記所定の位相差検出画素は、互いに離れた位置に配置され、
前記所定の位相差検出画素において、前記オンチップレンズおよび前記遮光膜は、射出瞳補正がかけられていない
(2)に記載の固体撮像装置。
(5)
前記所定の位相差検出画素は、複数の前記画素に含まれる、画像を生成するための撮像画素が配置される画像出力領域の外側に配置される
(2)または(4)に記載の固体撮像装置。
(6)
前記所定の位相差検出画素は、複数の前記画素に含まれる、画像を生成するための撮像画素が配置される画像出力領域の内側に配置される
(2)または(4)に記載の固体撮像装置。
(7)
前記所定の位相差検出画素に隣接する前記画素は、通常より大きいサイズの前記オンチップレンズを備える
(2)に記載の固体撮像装置。
(8)
前記所定の位相差検出画素に隣接する前記画素は、通常より小さいサイズの前記オンチップレンズを備える
(2)に記載の固体撮像装置。
(9)
前記位相差検出画素は、前記光電変換部として、分割形成されている光電変換部を備える
(1)に記載の固体撮像装置。
(10)
前記位相差検出画素同士の出力の差分を用いて位相差検出を行う位相差検出部と、
予め得られた前記所定の位相差検出画素の出力を用いて、検出された位相差を補正する位相差補正部とをさらに備える
(1)乃至(9)に記載の固体撮像装置。
(11)
前記位相差補正部は、予め得られた前記所定の位相差検出画素の出力を用いて求められる位相差特性に基づいて、検出された位相差を補正する
(10)に記載の固体撮像装置。
(12)
前記位相差特性は、1対の前記位相差検出画素における、入射光の光軸の角度に対する前記位相差検出画素それぞれの出力を表し、
前記位相差補正部は、前記位相差特性における所定の角度範囲での前記出力の傾きを用いて求められる補正パラメータを用いて、検出された位相差を補正する
(11)に記載の固体撮像装置。
(13)
前記位相差補正部は、レンズのF値に対応した前記補正パラメータを用いて、検出された位相差を補正する
(12)に記載の固体撮像装置。
(14)
前記位相差補正部は、像高に対応した前記補正パラメータを用いて、検出された位相差を補正する
(12)に記載の固体撮像装置。
(15)
前記位相差補正部は、撮影環境に対応した前記補正パラメータを用いて、検出された位相差を補正する
(12)に記載の固体撮像装置。
(16)
位相差検出によるAF(Auto Focus)を行うための位相差検出画素を含む複数の画素を備える撮像素子であって、
前記位相差検出画素は、
オンチップレンズと、
前記オンチップレンズより下層に形成された光電変換部と、
前記光電変換部の一部を遮光する遮光膜と
を備え、
前記位相差検出画素のうちの複数の所定の位相差検出画素において、前記オンチップレンズおよび前記遮光膜は、前記所定の位相差検出画素の配置に応じた射出瞳補正量とは異なるずれ量をもって形成される撮像素子と、
被写体光を前記撮像素子に入射するレンズと、
前記位相差検出画素同士の出力の差分を用いて位相差検出を行う位相差検出部と、
予め得られた前記所定の位相差検出画素の出力を用いて、検出された位相差を補正する位相差補正部と、
補正された位相差に応じて、前記レンズの駆動を制御するレンズ制御部と
を備える電子機器。
(17)
特定のパターンの光を照射する光源をさらに備え、
前記位相差補正部は、前記光源の波長に対応した前記補正パラメータを用いて、検出された位相差を補正する
(16)に記載の電子機器。
(18)
前記位相差検出画素は、複数の前記画素に含まれる、画像を生成するための撮像画素が配置される画像出力領域の内側に配置され、
予め得られた前記所定の位相差検出画素の出力を用いて、前記所定の位相差検出画素の出力を補正する欠陥補正部をさらに備える
(16)に記載の電子機器。
(19)
位相差検出によるAF(Auto Focus)を行うための位相差検出画素を含む複数の画素を備える撮像素子であって、
前記位相差検出画素は、
オンチップレンズと、
前記オンチップレンズより下層に形成された光電変換部と、
前記光電変換部の一部を遮光する遮光膜と
を備え、
前記位相差検出画素のうちの複数の所定の位相差検出画素において、前記オンチップレンズおよび前記遮光膜は、前記所定の位相差検出画素の配置に応じた射出瞳補正量とは異なるずれ量をもって形成される撮像素子と、
被写体光を前記撮像素子に入射するレンズとを備える電子機器のレンズ制御方法であって、
前記電子機器が、
前記位相差検出画素同士の出力の差分を用いて位相差検出を行い、
予め得られた前記所定の位相差検出画素の出力を用いて、検出された位相差を補正し、
補正された位相差に応じて、前記レンズの駆動を制御する
ステップを含むレンズ制御方法。
(20)
位相差検出によるAF(Auto Focus)を行うための位相差検出画素を含む複数の画素を備える撮像素子であって、
前記位相差検出画素は、
オンチップレンズと、
前記オンチップレンズより下層に形成された光電変換部と、
前記光電変換部の一部を遮光する遮光膜と
を備え、
前記位相差検出画素のうちの複数の所定の位相差検出画素において、前記オンチップレンズおよび前記遮光膜は、前記所定の位相差検出画素の配置に応じた射出瞳補正量とは異なるずれ量をもって形成される撮像素子と、
被写体光を前記撮像素子に入射するレンズと、
前記撮像素子と前記レンズとの間に形成される光学フィルタと
を備える撮像モジュールにおいて、
前記レンズおよび前記光学フィルタは、予め得られた前記所定の位相差検出画素の出力を用いて求められる位相差特性に応じて形成される
撮像モジュール。
122 フォトダイオード, 123 遮光膜, 125 オンチップレンズ, 300 電子機器, 301 レンズ, 303 撮像素子, 306 メモリ, 307 位相差検出部, 308 位相差補正部, 309 レンズ制御部, 310 欠陥補正部, 400 電子機器, 500 カメラ, 600 カプセル内視鏡, 700 撮像モジュール, 800 3次元センサ

Claims (20)

  1. 位相差検出によるAF(Auto Focus)を行うための位相差検出画素を含む複数の画素を備える固体撮像装置であって、
    前記位相差検出画素は、
    オンチップレンズと、
    前記オンチップレンズより下層に形成された光電変換部と
    を備え、
    前記位相差検出画素のうちの複数の所定の位相差検出画素において、前記オンチップレンズは、前記所定の位相差検出画素の配置に応じた射出瞳補正量とは異なるずれ量をもって形成される
    固体撮像装置。
  2. 前記位相差検出画素は、前記光電変換部の一部を遮光する遮光膜をさらに備え、
    前記所定の位相差検出画素において、前記オンチップレンズおよび前記遮光膜は、前記所定の位相差検出画素の配置に応じた射出瞳補正量とは異なるずれ量をもって形成される
    請求項1に記載の固体撮像装置。
  3. 前記所定の位相差検出画素は、互いに近い位置に配置され、
    前記所定の位相差検出画素において、前記オンチップレンズおよび前記遮光膜は、前記前記位相差検出画素の配置に応じた射出瞳補正量とは異なる補正量の射出瞳補正がかけられている
    請求項2に記載の固体撮像装置。
  4. 前記所定の位相差検出画素は、互いに離れた位置に配置され、
    前記所定の位相差検出画素において、前記オンチップレンズおよび前記遮光膜は、射出瞳補正がかけられていない
    請求項2に記載の固体撮像装置。
  5. 前記所定の位相差検出画素は、複数の前記画素に含まれる、画像を生成するための撮像画素が配置される画像出力領域の外側に配置される
    請求項2に記載の固体撮像装置。
  6. 前記所定の位相差検出画素は、複数の前記画素に含まれる、画像を生成するための撮像画素が配置される画像出力領域の内側に配置される
    請求項2に記載の固体撮像装置。
  7. 前記所定の位相差検出画素に隣接する前記画素は、通常より大きいサイズの前記オンチップレンズを備える
    請求項2に記載の固体撮像装置。
  8. 前記所定の位相差検出画素に隣接する前記画素は、通常より小さいサイズの前記オンチップレンズを備える
    請求項2に記載の固体撮像装置。
  9. 前記位相差検出画素は、前記光電変換部として、分割形成されている光電変換部を備える
    請求項1に記載の固体撮像装置。
  10. 前記位相差検出画素同士の出力の差分を用いて位相差検出を行う位相差検出部と、
    予め得られた前記所定の位相差検出画素の出力を用いて、検出された位相差を補正する位相差補正部とをさらに備える
    請求項1に記載の固体撮像装置。
  11. 前記位相差補正部は、予め得られた前記所定の位相差検出画素の出力を用いて求められる位相差特性に基づいて、検出された位相差を補正する
    請求項10に記載の固体撮像装置。
  12. 前記位相差特性は、1対の前記位相差検出画素における、入射光の光軸の角度に対する前記位相差検出画素それぞれの出力を表し、
    前記位相差補正部は、前記位相差特性における所定の角度範囲での前記出力の傾きを用いて求められる補正パラメータを用いて、検出された位相差を補正する
    請求項11に記載の固体撮像装置。
  13. 前記位相差補正部は、レンズのF値に対応した前記補正パラメータを用いて、検出された位相差を補正する
    請求項12に記載の固体撮像装置。
  14. 前記位相差補正部は、像高に対応した前記補正パラメータを用いて、検出された位相差を補正する
    請求項12に記載の固体撮像装置。
  15. 前記位相差補正部は、撮影環境に対応した前記補正パラメータを用いて、検出された位相差を補正する
    請求項12に記載の固体撮像装置。
  16. 位相差検出によるAF(Auto Focus)を行うための位相差検出画素を含む複数の画素を備える撮像素子であって、
    前記位相差検出画素は、
    オンチップレンズと、
    前記オンチップレンズより下層に形成された光電変換部と、
    前記光電変換部の一部を遮光する遮光膜と
    を備え、
    前記位相差検出画素のうちの複数の所定の位相差検出画素において、前記オンチップレンズおよび前記遮光膜は、前記所定の位相差検出画素の配置に応じた射出瞳補正量とは異なるずれ量をもって形成される撮像素子と、
    被写体光を前記撮像素子に入射するレンズと、
    前記位相差検出画素同士の出力の差分を用いて位相差検出を行う位相差検出部と、
    予め得られた前記所定の位相差検出画素の出力を用いて、検出された位相差を補正する位相差補正部と、
    補正された位相差に応じて、前記レンズの駆動を制御するレンズ制御部と
    を備える電子機器。
  17. 特定のパターンの光を照射する光源をさらに備え、
    前記位相差補正部は、前記光源の波長に対応した前記補正パラメータを用いて、検出された位相差を補正する
    請求項16に記載の電子機器。
  18. 前記位相差検出画素は、複数の前記画素に含まれる、画像を生成するための撮像画素が配置される画像出力領域の内側に配置され、
    予め得られた前記所定の位相差検出画素の出力を用いて、前記所定の位相差検出画素の出力を補正する欠陥補正部をさらに備える
    請求項16に記載の電子機器。
  19. 位相差検出によるAF(Auto Focus)を行うための位相差検出画素を含む複数の画素を備える撮像素子であって、
    前記位相差検出画素は、
    オンチップレンズと、
    前記オンチップレンズより下層に形成された光電変換部と、
    前記光電変換部の一部を遮光する遮光膜と
    を備え、
    前記位相差検出画素のうちの複数の所定の位相差検出画素において、前記オンチップレンズおよび前記遮光膜は、前記所定の位相差検出画素の配置に応じた射出瞳補正量とは異なるずれ量をもって形成される撮像素子と、
    被写体光を前記撮像素子に入射するレンズとを備える電子機器のレンズ制御方法であって、
    前記電子機器が、
    前記位相差検出画素同士の出力の差分を用いて位相差検出を行い、
    予め得られた前記所定の位相差検出画素の出力を用いて、検出された位相差を補正し、
    補正された位相差に応じて、前記レンズの駆動を制御する
    ステップを含むレンズ制御方法。
  20. 位相差検出によるAF(Auto Focus)を行うための位相差検出画素を含む複数の画素を備える撮像素子であって、
    前記位相差検出画素は、
    オンチップレンズと、
    前記オンチップレンズより下層に形成された光電変換部と、
    前記光電変換部の一部を遮光する遮光膜と
    を備え、
    前記位相差検出画素のうちの複数の所定の位相差検出画素において、前記オンチップレンズおよび前記遮光膜は、前記所定の位相差検出画素の配置に応じた射出瞳補正量とは異なるずれ量をもって形成される撮像素子と、
    被写体光を前記撮像素子に入射するレンズと、
    前記撮像素子と前記レンズとの間に形成される光学フィルタと
    を備える撮像モジュールにおいて、
    前記レンズおよび前記光学フィルタは、予め得られた前記所定の位相差検出画素の出力を用いて求められる位相差特性に応じて形成される
    撮像モジュール。
JP2013117688A 2013-06-04 2013-06-04 固体撮像装置、電子機器、レンズ制御方法、および撮像モジュール Active JP6186900B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2013117688A JP6186900B2 (ja) 2013-06-04 2013-06-04 固体撮像装置、電子機器、レンズ制御方法、および撮像モジュール
TW103116748A TWI643322B (zh) 2013-06-04 2014-05-12 固態成像器件、電子裝置、透鏡控制方法及成像模組
KR1020157025329A KR102237315B1 (ko) 2013-06-04 2014-05-27 고체 촬상 장치, 전자기기, 렌즈 제어 방법, 및 촬상 모듈
PCT/JP2014/002799 WO2014196160A1 (en) 2013-06-04 2014-05-27 Solid-state imaging device, electronic apparatus, lens control method, and imaging module
CN201480026086.3A CN105191285B (zh) 2013-06-04 2014-05-27 固体摄像器件、电子装置、镜头控制方法和摄像模块
US14/890,460 US10277847B2 (en) 2013-06-04 2014-05-27 Solid-state imaging device, electronic apparatus, lens control method, and imaging module

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013117688A JP6186900B2 (ja) 2013-06-04 2013-06-04 固体撮像装置、電子機器、レンズ制御方法、および撮像モジュール

Publications (3)

Publication Number Publication Date
JP2014236411A true JP2014236411A (ja) 2014-12-15
JP2014236411A5 JP2014236411A5 (ja) 2016-03-31
JP6186900B2 JP6186900B2 (ja) 2017-08-30

Family

ID=50943503

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013117688A Active JP6186900B2 (ja) 2013-06-04 2013-06-04 固体撮像装置、電子機器、レンズ制御方法、および撮像モジュール

Country Status (6)

Country Link
US (1) US10277847B2 (ja)
JP (1) JP6186900B2 (ja)
KR (1) KR102237315B1 (ja)
CN (1) CN105191285B (ja)
TW (1) TWI643322B (ja)
WO (1) WO2014196160A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105812624A (zh) * 2014-12-30 2016-07-27 深圳超多维光电子有限公司 微透镜阵列成像装置
KR20170120253A (ko) * 2016-04-20 2017-10-31 에스케이하이닉스 주식회사 비정형 육각형 모양으로 배열된 위상 차 검출 픽셀들을 갖는 이미지 센서
KR20180093884A (ko) * 2015-12-11 2018-08-22 소니 세미컨덕터 솔루션즈 가부시키가이샤 고체 촬상 소자, 촬상 장치 및 고체 촬상 소자의 제조 방법

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112013005594T5 (de) * 2012-11-22 2015-10-22 Fujifilm Corporation Abbildungsvorrichtung, Unschärfebetrag-Berechnungsverfahren und Objektivvorrichtung
JP6186900B2 (ja) * 2013-06-04 2017-08-30 ソニー株式会社 固体撮像装置、電子機器、レンズ制御方法、および撮像モジュール
KR102172992B1 (ko) * 2014-07-31 2020-11-02 삼성전자주식회사 이미지 촬영 장치 및 이미지 촬영 방법
JP6171106B2 (ja) * 2014-09-11 2017-07-26 富士フイルム株式会社 撮像装置及び合焦制御方法
GB2548462B (en) 2016-01-29 2020-06-17 Canon Kk Image sensor and image capturing apparatus
WO2018075581A1 (en) 2016-10-20 2018-04-26 Invisage Technologies, Inc. Noise mitigation in image sensors with selectable row readout
EP3343894B1 (en) * 2016-12-28 2018-10-31 Axis AB Ir-filter arrangement
KR102375989B1 (ko) 2017-08-10 2022-03-18 삼성전자주식회사 화소 사이의 신호 차이를 보상하는 이미지 센서
CN111133378B (zh) * 2017-09-28 2021-04-23 富士胶片株式会社 摄像装置、信息获取方法及记录介质
WO2019065554A1 (ja) * 2017-09-28 2019-04-04 富士フイルム株式会社 撮像装置、情報取得方法及び情報取得プログラム
US10410374B2 (en) * 2017-12-28 2019-09-10 Semiconductor Components Industries, Llc Image sensors with calibrated phase detection pixels
CN108495115B (zh) * 2018-04-17 2019-09-10 德淮半导体有限公司 图像传感器及其像素组和像素阵列,获取图像信息的方法
CN109040704B (zh) * 2018-09-18 2020-11-27 江苏景雄科技有限公司 一种建筑智能化安防监控装置
JP2020053827A (ja) * 2018-09-27 2020-04-02 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
TW202044566A (zh) * 2019-05-10 2020-12-01 日商索尼半導體解決方案公司 攝像元件及電子機器
CN110164896B (zh) * 2019-06-05 2021-06-25 芯盟科技有限公司 内窥镜探头以及制造方法
CN110769162B (zh) 2019-11-28 2021-07-13 维沃移动通信有限公司 电子设备及对焦方法
WO2021171813A1 (ja) 2020-02-28 2021-09-02 富士フイルム株式会社 撮像装置及び撮像センサ

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012230172A (ja) * 2011-04-25 2012-11-22 Nikon Corp 撮像装置
JP2013037296A (ja) * 2011-08-10 2013-02-21 Olympus Imaging Corp 撮像装置及び撮像素子
JP2013106124A (ja) * 2011-11-11 2013-05-30 Olympus Imaging Corp 撮像装置、撮像装置の制御方法、およびプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020010210A1 (en) * 1997-04-04 2002-01-24 Nobuhiko Miwa Pharmaceutical preparation and method for treating cancer
JP2002207156A (ja) 2001-01-04 2002-07-26 Olympus Optical Co Ltd カメラの測距装置
US7119319B2 (en) * 2004-04-08 2006-10-10 Canon Kabushiki Kaisha Solid-state image sensing element and its design support method, and image sensing device
JP5458475B2 (ja) * 2007-04-18 2014-04-02 株式会社ニコン 焦点検出装置および撮像装置
TWI583937B (zh) * 2007-11-15 2017-05-21 愛克斯崔里斯科技有限公司 在主動視頻煙霧檢測(avsd)系統中測定光束對準之技術
JP5180795B2 (ja) * 2007-12-10 2013-04-10 キヤノン株式会社 撮像装置及びその制御方法
JP5169499B2 (ja) * 2008-06-02 2013-03-27 株式会社ニコン 撮像素子および撮像装置
JP2010020015A (ja) * 2008-07-09 2010-01-28 Canon Inc 撮像装置
JP5161702B2 (ja) * 2008-08-25 2013-03-13 キヤノン株式会社 撮像装置、撮像システム、及び焦点検出方法
JP5465244B2 (ja) * 2008-11-27 2014-04-09 キヤノン株式会社 固体撮像素子及び撮像装置
JP2010160313A (ja) 2009-01-08 2010-07-22 Sony Corp 撮像素子および撮像装置
JP5278165B2 (ja) * 2009-05-26 2013-09-04 ソニー株式会社 焦点検出装置、撮像素子および電子カメラ
JP5765619B2 (ja) * 2010-04-19 2015-08-19 東芝ライテック株式会社 発光装置
JP5606208B2 (ja) * 2010-08-03 2014-10-15 キヤノン株式会社 焦点検出装置および撮像装置
JP5935233B2 (ja) 2010-11-02 2016-06-15 ソニー株式会社 撮像装置、撮像方法およびプログラム。
EP2450880A1 (en) 2010-11-05 2012-05-09 Thomson Licensing Data structure for Higher Order Ambisonics audio data
JP2012182332A (ja) * 2011-03-02 2012-09-20 Sony Corp 撮像素子および撮像装置
US8810713B2 (en) 2011-07-13 2014-08-19 Olympus Imaging Corp. Image pickup apparatus and image pickup device for performing auto-focusing
JP5929037B2 (ja) 2011-08-17 2016-06-01 株式会社リコー 撮像装置
JP5914055B2 (ja) * 2012-03-06 2016-05-11 キヤノン株式会社 撮像装置
JP6124564B2 (ja) * 2012-11-21 2017-05-10 キヤノン株式会社 焦点検出装置及び方法、及び撮像装置
JP6186900B2 (ja) * 2013-06-04 2017-08-30 ソニー株式会社 固体撮像装置、電子機器、レンズ制御方法、および撮像モジュール
JP6509018B2 (ja) * 2015-04-17 2019-05-08 キヤノン株式会社 固体撮像装置、撮像システム及び信号処理方法
US10148863B2 (en) * 2015-12-08 2018-12-04 Canon Kabushiki Kaisha Information processing apparatus and information processing method
JP6682310B2 (ja) * 2016-03-18 2020-04-15 キヤノン株式会社 焦点検出装置および方法、および撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012230172A (ja) * 2011-04-25 2012-11-22 Nikon Corp 撮像装置
JP2013037296A (ja) * 2011-08-10 2013-02-21 Olympus Imaging Corp 撮像装置及び撮像素子
JP2013106124A (ja) * 2011-11-11 2013-05-30 Olympus Imaging Corp 撮像装置、撮像装置の制御方法、およびプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105812624A (zh) * 2014-12-30 2016-07-27 深圳超多维光电子有限公司 微透镜阵列成像装置
CN105812624B (zh) * 2014-12-30 2019-01-11 深圳超多维科技有限公司 微透镜阵列成像装置
KR20180093884A (ko) * 2015-12-11 2018-08-22 소니 세미컨덕터 솔루션즈 가부시키가이샤 고체 촬상 소자, 촬상 장치 및 고체 촬상 소자의 제조 방법
KR102648932B1 (ko) * 2015-12-11 2024-03-19 소니 세미컨덕터 솔루션즈 가부시키가이샤 고체 촬상 소자, 촬상 장치 및 고체 촬상 소자의 제조 방법
KR20170120253A (ko) * 2016-04-20 2017-10-31 에스케이하이닉스 주식회사 비정형 육각형 모양으로 배열된 위상 차 검출 픽셀들을 갖는 이미지 센서
KR102466856B1 (ko) 2016-04-20 2022-11-15 에스케이하이닉스 주식회사 비정형 육각형 모양으로 배열된 위상 차 검출 픽셀들을 갖는 이미지 센서

Also Published As

Publication number Publication date
KR20160014578A (ko) 2016-02-11
TWI643322B (zh) 2018-12-01
CN105191285B (zh) 2019-06-07
JP6186900B2 (ja) 2017-08-30
WO2014196160A1 (en) 2014-12-11
CN105191285A (zh) 2015-12-23
TW201448187A (zh) 2014-12-16
KR102237315B1 (ko) 2021-04-07
US10277847B2 (en) 2019-04-30
US20160088245A1 (en) 2016-03-24

Similar Documents

Publication Publication Date Title
JP6186900B2 (ja) 固体撮像装置、電子機器、レンズ制御方法、および撮像モジュール
US11962902B2 (en) Image sensor and electronic apparatus
EP1975695B1 (en) Focus detection device, focusing state detection method and imaging apparatus
US8049801B2 (en) Image sensor and imaging apparatus
JP5954661B2 (ja) 撮像素子、及び撮像装置
JP4324404B2 (ja) 固体撮像装置及びデジタルカメラ
JP2012141585A (ja) 撮像装置
US10566358B2 (en) Image sensor and image capturing apparatus
JP2012128248A (ja) 撮像装置
JP6758326B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5515852B2 (ja) 撮像装置及び画像生成プログラム
JP6503646B2 (ja) 撮像装置及びノイズ補正方法
JP2013219452A (ja) 色信号処理回路、色信号処理方法、色再現評価方法、撮像装置、電子機器、及び、試験装置
US20100259606A1 (en) Imaging device and method for controlling imaging device
JP5949893B2 (ja) 撮像装置
JP2014098768A (ja) 撮像装置及び露出制御方法
JP2011199860A (ja) 撮像装置及び画像生成プログラム
JP2012058747A (ja) デジタルカメラ
JP2017135521A (ja) 撮影装置及びその制御方法
JP2006325067A (ja) 撮像装置、撮像装置の制御方法
JP2015128226A (ja) 撮像装置、その制御方法及びプログラム
JP4724735B2 (ja) 固体撮像装置及びデジタルカメラ
JP4645078B2 (ja) 撮像装置の輝度信号増幅量調整装置及び輝度信号増幅量調整方法
JP2011055336A (ja) 撮像装置及び信号処理方法
JP2012039525A (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170717

R151 Written notification of patent or utility model registration

Ref document number: 6186900

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250