JP2018185749A - 固体撮像装置および固体撮像装置の制御方法 - Google Patents

固体撮像装置および固体撮像装置の制御方法 Download PDF

Info

Publication number
JP2018185749A
JP2018185749A JP2017088649A JP2017088649A JP2018185749A JP 2018185749 A JP2018185749 A JP 2018185749A JP 2017088649 A JP2017088649 A JP 2017088649A JP 2017088649 A JP2017088649 A JP 2017088649A JP 2018185749 A JP2018185749 A JP 2018185749A
Authority
JP
Japan
Prior art keywords
solid
imaging device
state imaging
iris
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017088649A
Other languages
English (en)
Inventor
亮 広野
Akira Hirono
亮 広野
泰 斎藤
Yasushi Saito
泰 斎藤
智哉 竹田
Tomoya Takeda
智哉 竹田
小野 博明
Hiroaki Ono
博明 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2017088649A priority Critical patent/JP2018185749A/ja
Priority to CN201880026192.XA priority patent/CN110537198A/zh
Priority to PCT/JP2018/014212 priority patent/WO2018198690A1/ja
Priority to US16/605,362 priority patent/US11317044B2/en
Priority to EP18792131.7A priority patent/EP3617988A4/en
Publication of JP2018185749A publication Critical patent/JP2018185749A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14634Assemblies, i.e. Hybrid structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14636Interconnect structures
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02SGENERATION OF ELECTRIC POWER BY CONVERSION OF INFRARED RADIATION, VISIBLE LIGHT OR ULTRAVIOLET LIGHT, e.g. USING PHOTOVOLTAIC [PV] MODULES
    • H02S50/00Monitoring or testing of PV systems, e.g. load balancing or fault identification
    • H02S50/10Testing of PV devices, e.g. of PV modules or single PV cells
    • H02S50/15Testing of PV devices, e.g. of PV modules or single PV cells using optical means, e.g. using electroluminescence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00Energy generation through renewable energy sources
    • Y02E10/50Photovoltaic [PV] energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Power Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Collating Specific Patterns (AREA)
  • Image Input (AREA)
  • Studio Devices (AREA)

Abstract

【課題】虹彩認証に最適な撮像条件の設定を高速に行うことが可能な固体撮像装置を提供する。
【解決手段】情報処理装置300において、固体撮像装置1は、画素がマトリクス上に配置された画素アレイと、前記画素アレイから光電変換により得られる画像データから虹彩認証処理で用いられる虹彩情報を抽出する虹彩認証部310と、前記虹彩情報の抽出の過程で得られる情報を用いて、虹彩認証処理のための画像データを得る際の撮像条件を設定する制御を行う撮像条件制御部330と、を備える。
【選択図】図15

Description

本開示は、固体撮像装置および固体撮像装置の制御方法に関する。
従来、人間の身体的特徴から個人を識別する生体認証技術が提案されている。例えば、指紋、掌形、網膜、顔、音声等が生体認証に利用されている。また、人間の眼球にある虹彩も個人で異なる特徴を持つため、虹彩の特徴を利用した虹彩認証システムが、例えば下記特許文献1で提案されている。
特開2015−170099号公報
虹彩認証システムでは人間の眼球を撮像し、眼球にある虹彩の情報を撮像画像から取得するが、虹彩認証を高速に行うためには、虹彩認証に適した露出やシャッタースピード等の撮像条件の設定を高速に行うことが求められる。
そこで、本開示では、虹彩認証に最適な撮像条件の設定を高速に行うことが可能な、新規かつ改良された固体撮像装置および制御方法を提案する。
本開示によれば、画素がマトリクス上に配置された画素アレイと、前記画素アレイから光電変換により得られる画像データから虹彩認証処理で用いられる虹彩情報を抽出する虹彩認証部と、前記虹彩情報の抽出の過程で得られる情報を用いて、前記虹彩認証処理のための前記画像データを得る際の撮像条件を設定する制御を行う撮像条件制御部と、を備える、固体撮像装置が提供される。
また本開示によれば、少なくとも画素アレイが形成された第1半導体基板と、前記第1半導体基板に接合され、少なくともロジック回路が形成された第2半導体基板と、を備え、前記画素アレイは、画素がマトリクス上に配置されて画像データを出力し、前記ロジック回路は、前記画像データから虹彩情報を抽出する虹彩認証部と、前記虹彩認証部の結果に基づいて、露出またはフォーカスの制御を行う撮像条件制御部と、を備える、固体撮像装置が提供される。
また本開示によれば、画素がマトリクス上に配置された画素アレイから光電変換により得られる画像データから虹彩認証処理で用いられる虹彩情報を抽出することと、前記虹彩情報の抽出の過程で得られる情報を用いて、前記虹彩認証処理のための前記画像データを得る際の撮像条件を設定する制御を行うことと、を含む、固体撮像装置の制御方法が提供される。
以上説明したように本開示によれば、虹彩認証に最適な撮像条件の設定を高速に行うことが可能な、新規かつ改良された固体撮像装置および固体撮像装置の制御方法を提供することが出来る。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る固体撮像装置の構成の一例を示す概略構成図である。 本開示に係る技術を適用し得る積層型の固体撮像装置の構成例の概要を示す図である。 積層型の固体撮像装置23020の第1の構成例を示す断面図である。 積層型の固体撮像装置23020の第2の構成例を示す断面図である。 積層型の固体撮像装置23020の第3の構成例を示す断面図である。 本開示に係る技術を適用し得る積層型の固体撮像装置の他の構成例を示す図である。 本開示の一実施形態に係る固体撮像装置の一部の機能構成の一例を示すブロック図である。 本開示の一実施形態に係る単位画素の回路構成の一例を示した図である。 本開示の第1の実施形態に係る固体撮像素子の機能構成例を示す説明図である。 同実施形態に係るクリップ回路の回路構成例を示す説明図である。 同実施形態に係る基準信号生成部、電流源及びコンパレータの回路構成例を示す説明図である。 同実施形態に係る固有情報を生成する際における動作をタイミングチャートで示す説明図である。 同実施形態に係る固体撮像素子の機能構成例を示す説明図である。 同実施形態に係る固体撮像素子の動作例を示す流れ図である。 同実施形態の比較例を示す説明図である。 同実施形態に係る固体撮像装置を備えた情報処理装置の構成例を示す説明図である。 情報処理装置のディスプレイに表示される画面の例を示す説明図である。 同実施形態に係る固体撮像装置を備えた情報処理装置の構成例を示す説明図である。 同実施形態に係る情報処理装置の構成例を示す説明図である。 同実施形態に係る固体撮像装置を備えた情報処理装置の構成例を示す説明図である。 虹彩認証システムの構成例を示す説明図である。 同実施形態に係る固体撮像装置を構成するロジックダイに形成される回路構成例を示す説明図である。 同実施形態に係る固体撮像装置の動作例を示す流れ図である。 同実施形態に係る固体撮像装置の動作例を示す流れ図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.固体撮像装置の構成例
1.1.概略構成
1.2.機能構成
1.3.単位画素の回路構成
1.4.暗号化処理
1.4.1.構成例
1.4.2.動作例
1.5.生体認証処理
1.5.1.比較例
1.5.2.構成例
1.5.3.動作例
1.5.4.応用例
2.まとめ
<<1.固体撮像装置の構成例>>
本実施形態に係る固体撮像装置の一構成例について以下に説明する。
<1.1.概略構成>
図1に、本開示の一実施形態に係る固体撮像装置の構成の一例として、CMOS固体撮像装置の概略構成を示す。このCMOS固体撮像装置は、各実施の形態の固体撮像装置に適用される。本例の固体撮像装置1は、図1に示すように、半導体基板11、例えばシリコン基板に複数の光電変換部を含む画素2が規則的に2次元アレイ状に配列された画素アレイ(いわゆる画素領域)3と、周辺回路部とを有して構成される。画素2は、光電変換部となる例えばフォトダイオードと、複数の画素トランジスタ(いわゆるMOSトランジスタ)を有して成る。複数の画素トランジスタは、例えば転送トランジスタ、リセットトランジスタ及び増幅トランジスタの3つのトランジスタで構成することができる。その他、選択トランジスタ追加して4つのトランジスタで構成することもできる。なお、単位画素の等価回路の一例については別途後述する。画素2は、1つの単位画素として構成することができる。また、画素2は、共有画素構造とすることもできる。この共有画素構造は、複数のフォトダイオードと、複数の転送トランジスタと、共有する1つのフローティングディフージョンと、共有する1つずつの他の画素トランジスタとから構成される。すなわち、共有画素では、複数の単位画素を構成するフォトダイオード及び転送トランジスタが、他の1つずつの画素トランジスタを共有して構成される。
周辺回路部は、垂直駆動回路4と、カラム信号処理回路5と、水平駆動回路6と、出力回路7と、制御回路8などを有して構成される。
制御回路8は、入力クロックと、動作モードなどを指令するデータを受け取り、また固体撮像装置の内部情報などのデータを出力する。すなわち、制御回路8では、垂直同期信号、水平同期信号及びマスタクロックに基づいて、垂直駆動回路4、カラム信号処理回路5及び水平駆動回路6などの動作の基準となるクロック信号や制御信号を生成する。そして、これらの信号を垂直駆動回路4、カラム信号処理回路5及び水平駆動回路6等に入力する。
垂直駆動回路4は、例えばシフトレジスタによって構成され、画素駆動配線を選択し、選択された画素駆動配線に画素を駆動するためのパルスを供給し、行単位で画素を駆動する。すなわち、垂直駆動回路4は、画素アレイ3の各画素2を行単位で順次垂直方向に選択走査し、垂直信号線9を通して各画素2の光電変換部となる例えばフォトダイオードにおいて受光量に応じて生成した信号電荷に基づく画素信号をカラム信号処理回路5に供給する。
カラム信号処理回路5は、画素2の例えば列ごとに配置されており、1行分の画素2から出力される信号を画素列ごとにノイズ除去などの信号処理を行う。すなわちカラム信号処理回路5は、画素2固有の固定パターンノイズを除去するためのCDSや、信号増幅、AD変換等の信号処理を行う。カラム信号処理回路5の出力段には水平選択スイッチ(図示せず)が水平信号線10との間に接続されて設けられる。
水平駆動回路6は、例えばシフトレジスタによって構成され、水平走査パルスを順次出力することによって、カラム信号処理回路5の各々を順番に選択し、カラム信号処理回路5の各々から画素信号を水平信号線10に出力させる。
出力回路7は、カラム信号処理回路5の各々から水平信号線10を通して順次に供給される信号に対し、信号処理を行って出力する。例えば、バファリングだけする場合もあるし、黒レベル調整、列ばらつき補正、各種デジタル信号処理などが行われる場合もある。入出力端子12は、外部と信号のやりとりをする。
また、図2は、本開示に係る技術を適用し得る積層型の固体撮像装置の構成例の概要を示す図である。
図2のAは、非積層型の固体撮像装置の概略構成例を示している。固体撮像装置23010は、図2のAに示すように、1枚のダイ(半導体基板)23011を有する。このダイ23011には、画素がアレイ状に配置された画素領域23012と、画素の駆動その他の各種の制御を行う制御回路23013と、信号処理するためのロジック回路23014とが搭載されている。
図2のB及びCは、積層型の固体撮像装置の概略構成例を示している。固体撮像装置23020は、図2のB及びCに示すように、センサダイ23021とロジックダイ23024との2枚のダイが積層され、電気的に接続されて、1つの半導体チップとして構成されている。
図2のBでは、センサダイ23021には、画素領域23012と制御回路23013が搭載され、ロジックダイ23024には、信号処理を行う信号処理回路を含むロジック回路23014が搭載されている。
図2のCでは、センサダイ23021には、画素領域23012が搭載され、ロジックダイ23024には、制御回路23013及びロジック回路23014が搭載されている。
図3は、積層型の固体撮像装置23020の第1の構成例を示す断面図である。
センサダイ23021には、画素領域23012となる画素を構成するPD(フォトダイオード)や、FD(フローティングディフュージョン)、Tr(MOS FET)、及び、制御回路23013となるTr等が形成される。さらに、センサダイ23021には、複数層、本例では3層の配線23110を有する配線層23101が形成される。なお、制御回路23013(となるTr)は、センサダイ23021ではなく、ロジックダイ23024に構成することができる。
ロジックダイ23024には、ロジック回路23014を構成するTrが形成される。さらに、ロジックダイ23024には、複数層、本例では3層の配線23170を有する配線層23161が形成される。また、ロジックダイ23024には、内壁面に絶縁膜23172が形成された接続孔23171が形成され、接続孔23171内には、配線23170等と接続される接続導体23173が埋め込まれる。
センサダイ23021とロジックダイ23024とは、互いの配線層23101及び23161が向き合うように貼り合わされ、これにより、センサダイ23021とロジックダイ23024とが積層された積層型の固体撮像装置23020が構成されている。センサダイ23021とロジックダイ23024とが貼り合わされる面には、保護膜等の膜23191が形成されている。
センサダイ23021には、センサダイ23021の裏面側(PDに光が入射する側)(上側)からセンサダイ23021を貫通してロジックダイ23024の最上層の配線23170に達する接続孔23111が形成される。さらに、センサダイ23021には、接続孔23111に近接して、センサダイ23021の裏面側から1層目の配線23110に達する接続孔23121が形成される。接続孔23111の内壁面には、絶縁膜23112が形成され、接続孔23121の内壁面には、絶縁膜23122が形成される。そして、接続孔23111及び23121内には、接続導体23113及び23123がそれぞれ埋め込まれる。接続導体23113と接続導体23123とは、センサダイ23021の裏面側で電気的に接続され、これにより、センサダイ23021とロジックダイ23024とが、配線層23101、接続孔23121、接続孔23111、及び、配線層23161を介して、電気的に接続される。
図4は、積層型の固体撮像装置23020の第2の構成例を示す断面図である。
固体撮像装置23020の第2の構成例では、センサダイ23021に形成する1つの接続孔23211によって、センサダイ23021(の配線層23101(の配線23110))と、ロジックダイ23024(の配線層23161(の配線23170))とが電気的に接続される。
すなわち、図4では、接続孔23211が、センサダイ23021の裏面側からセンサダイ23021を貫通してロジックダイ23024の最上層の配線23170に達し、且つ、センサダイ23021の最上層の配線23110に達するように形成される。接続孔23211の内壁面には、絶縁膜23212が形成され、接続孔23211内には、接続導体23213が埋め込まれる。上述の図3では、2つの接続孔23111及び23121によって、センサダイ23021とロジックダイ23024とが電気的に接続されるが、図4では、1つの接続孔23211によって、センサダイ23021とロジックダイ23024とが電気的に接続される。
図5は、積層型の固体撮像装置23020の第3の構成例を示す断面図である。
図5の固体撮像装置23020は、センサダイ23021とロジックダイ23024とが貼り合わされる面に、保護膜等の膜23191が形成されていない点で、センサダイ23021とロジックダイ23024とが貼り合わされる面に、保護膜等の膜23191が形成されている図3の場合と異なる。
図5の固体撮像装置23020は、配線23110及び23170が直接接触するように、センサダイ23021とロジックダイ23024とを重ね合わせ、所要の加重をかけながら加熱し、配線23110及び23170を直接接合することで構成される。
図6は、本開示に係る技術を適用し得る積層型の固体撮像装置の他の構成例を示す断面図である。
図6では、固体撮像装置23401は、センサダイ23411と、ロジックダイ23412と、メモリダイ23413との3枚のダイが積層された3層の積層構造になっている。
メモリダイ23413は、例えば、ロジックダイ23412で行われる信号処理において一時的に必要となるデータの記憶を行うメモリ回路を有する。
図6では、センサダイ23411の下に、ロジックダイ23412及びメモリダイ23413が、その順番で積層されているが、ロジックダイ23412及びメモリダイ23413は、逆順、すなわち、メモリダイ23413及びロジックダイ23412の順番で、センサダイ23411の下に積層することができる。
なお、図6では、センサダイ23411には、画素の光電変換部となるPDや、画素Trのソース/ドレイン領域が形成されている。
PDの周囲にはゲート絶縁膜を介してゲート電極が形成され、ゲート電極と対のソース/ドレイン領域により画素Tr23421、画素Tr23422が形成されている。
PDに隣接する画素Tr23421が転送Trであり、その画素Tr23421を構成する対のソース/ドレイン領域の一方がFDになっている。
また、センサダイ23411には、層間絶縁膜が形成され、層間絶縁膜には、接続孔が形成される。接続孔には、画素Tr23421、及び、画素Tr23422に接続する接続導体23431が形成されている。
さらに、センサダイ23411には、各接続導体23431に接続する複数層の配線23432を有する配線層23433が形成されている。
また、センサダイ23411の配線層23433の最下層には、外部接続用の電極となるアルミパッド23434が形成されている。すなわち、センサダイ23411では、配線23432よりもロジックダイ23412との接着面23440に近い位置にアルミパッド23434が形成されている。アルミパッド23434は、外部との信号の入出力に係る配線の一端として用いられる。
さらに、センサダイ23411には、ロジックダイ23412との電気的接続に用いられるコンタクト23441が形成されている。コンタクト23441は、ロジックダイ23412のコンタクト23451に接続されるとともに、センサダイ23411のアルミパッド23442にも接続されている。
そして、センサダイ23411には、センサダイ23411の裏面側(上側)からアルミパッド23442に達するようにパッド孔23443が形成されている。
本開示に係る技術は、以上のような固体撮像装置に適用することができる。
なお、図3〜図6を参照して説明した例において、各種配線には、例えば、銅(Cu)配線が用いられる。また、以降では、図5に示すように、互いに積層されるセンサダイ間において配線間(例えば、図5に示す配線23110及び23170間)を直接接合する構成を「Cu−Cu接合」とも称する。
<1.2.機能構成>
続いて、図7を参照して、本開示の一実施形態に係る固体撮像装置の機能構成の一例について説明する。図7は、本開示の一実施形態に係る固体撮像装置の一部の機能構成の一例を示すブロック図である。図7に示される固体撮像装置1は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサ等の、被写体を撮像し、撮像画像のデジタルデータを得る撮像素子である。
図7に示されるように、固体撮像装置1は、制御部101、画素アレイ部111、選択部112、A/D変換部(ADC(Analog Digital Converter))113、及び定電流回路部114を有する。
制御部101は、固体撮像装置1の各部を制御し、画像データ(画素信号)の読み出し等に関する処理を実行させる。
画素アレイ部111は、フォトダイオード等の光電変換素子を有する画素構成が行列(アレイ)状に配置される画素領域である。画素アレイ部111は、制御部101に制御されて、各画素で被写体の光を受光し、その入射光を光電変換して電荷を蓄積し、所定のタイミングにおいて、各画素に蓄積された電荷を画素信号として出力する。
画素121および画素122は、その画素アレイ部111に配置される画素群の中の、上下に隣接する2画素を示している。画素121および画素122は、互いに同じカラム(列)の連続する行の画素である。図7の例の場合、画素121および画素122に示されるように、各画素の回路には、光電変換素子並びに4つのトランジスタが用いられている。なお、各画素の回路の構成は、任意であり、図7に示される例以外であってもよい。
一般的な画素アレイには、カラム(列)毎に、画素信号の出力線が設けられる。画素アレイ部111の場合、1カラム(列)毎に、2本(2系統)の出力線が設けられる。1カラムの画素の回路は、1行おきに、この2本の出力線に交互に接続される。例えば、上から奇数番目の行の画素の回路が一方の出力線に接続され、偶数番目の行の画素の回路が他方の出力線に接続される。図7の例の場合、画素121の回路は、第1の出力線(VSL1)に接続され、画素122の回路は、第2の出力線(VSL2)に接続される。
なお、図7においては、説明の便宜上、1カラム分の出力線のみ示されているが、実際には、各カラムに対して、同様に2本ずつ出力線が設けられる。各出力線には、そのカラムの画素の回路が1行おきに接続される。
選択部112は、画素アレイ部111の各出力線をADC113の入力に接続するスイッチを有し、制御部101に制御されて、画素アレイ部111とADC113との接続を制御する。つまり、画素アレイ部111から読み出された画素信号は、この選択部112を介してADC113に供給される。
選択部112は、スイッチ131、スイッチ132、およびスイッチ133を有する。スイッチ131(選択SW)は、互いに同じカラムに対応する2本の出力線の接続を制御する。例えば、スイッチ131がオン(ON)状態になると、第1の出力線(VSL1)と第2の出力線(VSL2)が接続され、オフ(OFF)状態になると切断される。
詳細については後述するが、固体撮像装置1においては、各出力線に対してADCが1つずつ設けられている(カラムADC)。したがって、スイッチ132およびスイッチ133がともにオン状態であるとすると、スイッチ131がオン状態になれば、同カラムの2本の出力線が接続されるので、1画素の回路が2つのADCに接続されることになる。逆に、スイッチ131がオフ状態になると、同カラムの2本の出力線が切断されて、1画素の回路が1つのADCに接続されることになる。つまり、スイッチ131は、1つの画素の信号の出力先とするADC(カラムADC)の数を選択する。
詳細については後述するが、このようにスイッチ131が画素信号の出力先とするADCの数を制御することにより、固体撮像装置1は、そのADCの数に応じてより多様な画素信号を出力することができる。つまり、固体撮像装置1は、より多様なデータ出力を実現することができる。
スイッチ132は、画素121に対応する第1の出力線(VSL1)と、その出力線に対応するADCとの接続を制御する。スイッチ132がオン(ON)状態になると、第1の出力線が、対応するADCの比較器の一方の入力に接続される。また、オフ(OFF)状態になるとそれらが切断される。
スイッチ133は、画素122に対応する第2の出力線(VSL2)と、その出力線に対応するADCとの接続を制御する。スイッチ133がオン(ON)状態になると、第2の出力線が、対応するADCの比較器の一方の入力に接続される。また、オフ(OFF)状態になるとそれらが切断される。
選択部112は、制御部101の制御に従って、このようなスイッチ131〜スイッチ133の状態を切り替えることにより、1つの画素の信号の出力先とするADC(カラムADC)の数を制御することができる。
なお、スイッチ132やスイッチ133(いずれか一方もしくは両方)を省略し、各出力線と、その出力線に対応するADCとを常時接続するようにしてもよい。ただし、これらのスイッチによって、これらの接続・切断を制御することができるようにすることにより、1つの画素の信号の出力先とするADC(カラムADC)の数の選択の幅が拡がる。つまり、これらのスイッチを設けることにより、固体撮像装置1は、より多様な画素信号を出力することができる。
なお、図7においては、1カラム分の出力線に対する構成のみ示されているが、実際には、選択部112は、カラム毎に、図7に示されるのと同様の構成(スイッチ131〜スイッチ133)を有している。つまり、選択部112は、各カラムについて、制御部101の制御に従って、上述したのと同様の接続制御を行う。
ADC113は、画素アレイ部111から各出力線を介して供給される画素信号を、それぞれA/D変換し、デジタルデータとして出力する。ADC113は、画素アレイ部111からの出力線毎のADC(カラムADC)を有する。つまり、ADC113は、複数のカラムADCを有する。1出力線に対応するカラムADCは、比較器、D/A変換器(DAC)、およびカウンタを有するシングルスロープ型のADCである。
比較器は、そのDAC出力と画素信号の信号値とを比較する。カウンタは、画素信号とDAC出力が等しくなるまで、カウント値(デジタル値)をインクリメントする。比較器は、DAC出力が信号値に達すると、カウンタを停止する。その後カウンタ1,2によってデジタル化された信号をDATA1およびDATA2より固体撮像装置1の外部に出力する。
カウンタは、次のA/D変換のためデータ出力後、カウント値を初期値(例えば0)に戻す。
ADC113は、各カラムに対して2系統のカラムADCを有する。例えば、第1の出力線(VSL1)に対して、比較器141(COMP1)、DAC142(DAC1)、およびカウンタ143(カウンタ1)が設けられ、第2の出力線(VSL2)に対して、比較器151(COMP2)、DAC152(DAC2)、およびカウンタ153(カウンタ2)が設けられている。図示は省略しているが、ADC113は、他のカラムの出力線に対しても同様の構成を有する。
ただし、これらの構成の内、DACは、共通化することができる。DACの共通化は、系統毎に行われる。つまり、各カラムの互いに同じ系統のDACが共通化される。図7の例の場合、各カラムの第1の出力線(VSL1)に対応するDACがDAC142として共通化され、各カラムの第2の出力線(VSL2)に対応するDACがDAC152として共通化されている。なお、比較器とカウンタは、各出力線の系統毎に設けられる。
定電流回路部114は、各出力線に接続される定電流回路であり、制御部101により制御されて駆動する。定電流回路部114の回路は、例えば、MOS(Metal Oxide Semiconductor)トランジスタ等により構成される。この回路構成は任意であるが、図7においては、説明の便宜上、第1の出力線(VSL1)に対して、MOSトランジスタ161(LOAD1)が設けられ、第2の出力線(VSL2)に対して、MOSトランジスタ162(LOAD2)が設けられている。
制御部101は、例えばユーザ等の外部から要求を受け付けて読み出しモードを選択し、選択部112を制御して、出力線に対する接続を制御する。また、制御部101は、選択した読み出しモードに応じて、カラムADCの駆動を制御したりする。さらに、制御部101は、カラムADC以外にも、必要に応じて、定電流回路部114の駆動を制御したり、例えば、読み出しのレートやタイミング等、画素アレイ部111の駆動を制御したりする。
つまり、制御部101は、選択部112の制御だけでなく、選択部112以外の各部も、より多様なモードで動作させることができる。したがって、固体撮像装置1は、より多様な画素信号を出力することができる。
なお、図7に示す各部の数は、不足しない限り任意である。例えば、各カラムに対して、出力線が3系統以上設けられるようにしてもよい。また、図7に示した、ADC132から出力される画素信号の並列数や、ADC132自体の数を増やすことで、外部に並列して出力される画素信号の数を増やしてもよい。
以上、図7を参照して、本開示の一実施形態に係る固体撮像装置の機能構成の一例について説明した。
<1.3.単位画素の回路構成>
続いて、図8を参照して、単位画素の回路構成の一例について説明する。図8は、本開示の一実施形態に係る単位画素の回路構成の一例を示した図である。図8に示すように、本開示の一実施形態に係る単位画素121は、光電変換部、例えばフォトダイオードPDと、4つの画素トランジスタとを含む。4つの画素トランジスタは、例えば、転送トランジスタTr11、リセットトランジスタTr12、増幅トランジスタTr13、及び選択トランジスタTr14である。これらの画素トランジスタは、例えば、nチャネルのMOSトランジスタにより構成され得る。
転送トランジスタTr11は、フォトダイオードPDのカソードとフローティングディフュージョン部FDとの間に接続される。フォトダイオードPDで光電変換され、ここに蓄積された信号電荷(ここでは、電子)を、ゲートに転送パルスφTRGが与えられることによってフローティングディフュージョン部FDに転送する。なお、参照符号Cfdは、フローティングディフュージョン部FDの寄生容量を模式的に示している。
リセットトランジスタTr12は、電源VDDにドレインが、フローティングディフュージョン部FDにソースがそれぞれ接続される。そして、フォトダイオードPDからフローティングディフュージョン部FDへの信号電荷の転送に先立って、ゲートにリセットパルスφRSTが与えられることによってフローティングディフュージョン部FDの電位をリセットする。
増幅トランジスタTr13は、フローティングディフュージョン部FDにゲートが、電源VDDにドレインが、選択トランジスタTr14のドレインにソースがそれぞれ接続される。増幅トランジスタTr13は、リセットトランジスタTr12によってリセットした後のフローティングディフュージョン部FDの電位をリセットレベルとして選択トランジスタTr14に出力する。さらに増幅トランジスタTr13は、転送トランジスタTr11によって信号電荷を転送した後のフローティングディフュージョン部FDの電位を信号レベルとして選択トランジスタTr14に出力する。
選択トランジスタTr14は、例えば、増幅トランジスタTr13のソースにドレインが、垂直信号線9にソースがそれぞれ接続される。そして選択トランジスタTr14のゲートに選択パルスφSELが与えられることによってオン状態となり、増幅トランジスタTr13から出力される信号を垂直信号線9に出力する。なお、この選択トランジスタTr14については、電源VDDと増幅トランジスタTr13のドレインとの間に接続した構成を採ることも可能である。
なお、本実施形態に係る固体撮像装置1を、積層型の固体撮像装置として構成する場合には、例えば、フォトダイオード及び複数のMOSトランジスタ等の素子が、図2のBまたはCにおけるセンサダイ23021に形成される。また、転送パルス、リセットパルス、選択パルス、電源電圧は、図2のBまたはCにおけるロジックダイ23024から供給される。また、選択トランジスタのドレインに接続される垂直信号線9から後段の素子は、選択トランジスタのドレインに接続される垂直信号線9から後段の素子は、ロジック回路23014に構成されており、ロジックダイ23024に形成される。
以上、図8を参照して、単位画素の回路構成の一例について説明した。
<1.4.暗号化処理>
続いて、内部で暗号化処理を完結させる固体撮像素子について説明する。従来、固体撮像素子に固有の固有情報に基づき、撮像装置の内部で暗号キーを生成する技術は存在していた。しかし、固体撮像素子から固有情報を出力し、固体撮像素子とは別の機能ブロックで暗号化すると、暗号化に用いられる固有情報が流出する可能性がある。
そこで、本実施形態に係る固体撮像装置1は、固有情報を外部に出力せずに、固有情報を用いた暗号化処理を内部で完結させる。
<1.4.1.構成例>
図9は、本開示の第1の実施形態に係る固体撮像素子の機能構成例を示す説明図である。図9に示したのは、固有情報を用いた暗号化処理を内部で完結させる固体撮像装置1の機能構成例である。以下、図9を用いて本開示の第1の実施形態に係る固体撮像素子の機能構成例について説明する。
図9に示したように、本開示の第1の実施形態に係る固体撮像装置1は、駆動制御部210と、撮像部212及び固有情報生成部214を含む、所定の行及び列からなる画素アレイ部211と、クリップ回路215と、基準信号生成部216と、電流源217と、検出部218と、固有値計算部220と、暗号化部222と、通信制御部224と、を含んで構成される。
駆動制御部210は、所定の入力クロック及びデータに基づいて、後述の撮像部212や固有情報生成部214を駆動させるための信号を生成して、撮像部212や固有情報生成部214を駆動させる。駆動制御部210は、例えば、図1を用いて説明した固体撮像装置1の構成における制御回路8、垂直駆動回路4、水平駆動回路6を含みうる。また駆動制御部210は、図2に示した制御回路23013に設けられ得る。
駆動制御部210は、画素アレイ部211を駆動させる際に、撮像部212の駆動と、固有情報生成部214の駆動とを切り替える機能を有していても良い。駆動制御部210が撮像部212の駆動と、固有情報生成部214の駆動とを切り替える機能を有することで、撮像部212と固有情報生成部214との回路との共通化が可能となる。また駆動制御部210が撮像部212の駆動と固有情報生成部214の駆動とを切り替える機能を有することで、固有情報を生成するための特別な素子を必要とせず、固有値が解析されにくくなる。
また駆動制御部210は、画素アレイ部211における、画像を出力する際に駆動させる素子と、素子固有情報を検出するために駆動させる素子とを分ける機能を有していても良い。駆動制御部210が、画像を出力する際に駆動させる素子と、素子固有情報を検出するために駆動させる素子とを分ける機能を有することで、素子固有情報が流出されなくなる。
また駆動制御部210は、素子固有情報を検出するための駆動の際は、画像を出力する際の駆動とは異なるバイアス電流で駆動するよう制御しても良い。駆動制御部210が、素子固有情報を検出するための駆動の際は、画像を出力する際の駆動とは異なるバイアス電流で駆動するよう制御することで、安定して固有値を得るのに適した駆動が可能となる。具体的には、例えば図7に示した回路におけるMOSトランジスタ161(LOAD1)、MOSトランジスタ162(LOAD2)の駆動を、素子固有情報を検出するための駆動の際と、画像を出力するための駆動の際とで変化させる。MOSトランジスタ161(LOAD1)、MOSトランジスタ162(LOAD2)の駆動を変化させることで、増幅トランジスタAMPに出てくる特性を変化させることができる。駆動制御部210が、温度に応じたバイアス電流で素子固有情報を検出するための駆動を行うよう制御することで、より安定して固有値を得るのに適した駆動が可能となる。
駆動制御部210は、画像を出力する際の駆動とは異なるバイアス電流で素子固有情報を検出するための駆動を行う際は、固体撮像装置1のチップ温度に応じたバイアス電流で駆動するよう制御しても良い。
画素アレイ部211は、所定の行及び列からなる単位画素が配列されており、ソースフォロワ回路でデータを出力するよう構成されている。
撮像部212は、複数の光電変換部を含む画素が2次元アレイ状に配列された画素アレイを有しており、駆動制御部210により駆動されてアナログ信号を出力する。撮像部212における各画素の回路構成は例えば図8に示したものである。
固有情報生成部214は、例えば撮像部212において設けられている画素と同じ構成を有する回路が一次元に配列されており、駆動制御部210により駆動されてアナログ信号を出力する。固有情報生成部214として形成される回路は、撮像部212において設けられている画素と略同一の製造工程で作製されても良い。また駆動制御部210は、撮像部212の駆動と、固有情報生成部214の駆動とを切り替えても良い。
固有情報生成部214は、画素アレイにおけるオプティカルブラック(OPB)領域に設けられる画素であってもよい。固有情報生成部214として構成される回路における各素子は、製造時に物理的なばらつきを有する。本開示の第1の実施形態に係る固体撮像装置1は、この固有情報生成部214が出力するアナログ信号を、固有の複製できない情報(素子固有情報)の基とする。
固有情報生成部214が出力するアナログ信号の生成元の一例を挙げる。以下の説明では、固有情報生成部214が図7や図8に示した画素121と同様の構成を有しているものとして説明する。
(フォトダイオードPD)
フォトダイオードPDには、製造時の結晶欠陥に起因するノイズ成分がある。結晶欠陥は暗電流のばらつきを引き起こす。結晶欠陥は固定パターンノイズとして現れる。
(選択トランジスタSEL)
選択トランジスタSELには、閾値電圧Vthのばらつきに起因するノイズ成分がある。閾値電圧Vthのばらつきは、酸化膜、チャネル幅、チャネル長、不純物等の構造的なものに起因する。閾値電圧Vthのばらつきは固定パターンノイズとして現れる。
(リセットトランジスタRST)
リセットトランジスタRSTにも、閾値電圧Vthのばらつきに起因するノイズ成分がある。閾値電圧Vthのばらつきは、酸化膜、チャネル幅、チャネル長、不純物等の構造的なものに起因する。閾値電圧Vthのばらつきは固定パターンノイズとして現れる。
(フローティングディフュージョン部FD)
フローティングディフュージョン部FDには、製造時の結晶欠陥に起因するノイズ成分がある。結晶欠陥は暗電流のばらつきを引き起こす。結晶欠陥は固定パターンノイズとして現れる。リセットトランジスタRSTがオンからオフに切り替わる際に、フローティングディフュージョン部FDにはkTCノイズ(リセットノイズ)が現れる。このkTCノイズは一時的に生じるものである。リセットトランジスタRSTがオンからオフに切り替わる際に、フローティングディフュージョン部FDにはフィードスルーが現れる。このフィードスルーは寄生容量のばらつきやしきい値に起因するものであり、固定パターンノイズとして現れる。
(増幅トランジスタAMP)
増幅トランジスタAMPにも、閾値電圧Vthのばらつきに起因するノイズ成分がある。閾値電圧Vthのばらつきは、酸化膜、チャネル幅、チャネル長、不純物等の構造的なものに起因する。閾値電圧Vthのばらつきは固定パターンノイズとして現れる。また増幅トランジスタAMPには、オーバドライブ電圧に起因するノイズ成分、熱雑音に起因するノイズ成分、1/f雑音に起因するノイズ成分、ランダムテレグラフノイズ(RTN)に起因するノイズ成分がある。RTNは酸化膜中の欠陥による電荷のトラップ・デトラップに起因すると考えられている。酸化膜中の欠陥の有無は固有のばらつきであるが、観測されるのは2値又は多値の時間的な信号レベル変動である。
これらのノイズ成分が、信号線(VSL)を介して後段の検出部218に伝達される。通常の駆動時には、これらのノイズ成分のうち、信号の転送の前後で変化しないノイズ成分はCDS処理により除去されることになる。本実施形態では、固体撮像装置1は、固有値を生成する際には、これらのノイズ成分を除去するのでは無く、固有値の基となる素子固有情報として用いる。固有情報生成部214が出力するアナログ信号に含まれるノイズ成分を固有値の基とすることで、固体撮像装置1は、解析されにくい固有値の生成を可能とする。
固有情報生成部214は、例えば外部からの光が届かない位置(遮光された位置)に設けられ得る。固有情報生成部214が遮光された位置に設けられることで、固体撮像装置1は、外光の影響を受けずに安定した固有情報の生成を可能とする。また固有情報生成部214は、撮像部212の画素アレイの列数と同じ数の回路を1または複数行有していても良い。また固有情報生成部214は、駆動制御部210からの制御信号により動作する行選択スイッチを設けていても良い。
クリップ回路215は、画素アレイ部211の列数と同じくn列配列される回路であり、画素アレイ部211のソースフォロワ回路と並列に接続されるソースフォロワ回路である。クリップ回路215は、列ごとの出力線の電圧(VSL電圧)が所定の範囲となるようにクリップする機能を有する。
図10Aは、クリップ回路215の回路構成例を示す説明図である。クリップ回路215は、画素と並列に、出力線VSLに接続された、行選択可能なソースフォロワ回路である。クリップ回路215は、それぞれの出力線VSLに対応して、トランジスタCLPSEL、CLPAMPを備える。トランジスタCLPSELは、線形動作するトランジスタであり、トランジスタCLPAMPのソースと出力線VSLとを接続する制御を行う。当該制御はクリップ選択パルスによって行われる。トランジスタCLPAMPは、飽和動作するトランジスタであり、画素の増幅トランジスタAMPと同様に、電流源によりバイアス電流を流すと入力に応じた信号を出力する。入力はクリップ電圧で与えられ、通常は1V〜2V程度の中間電位である。
選択状態では、出力線VSLに接続されるソースフォロワ(選択行の画素)の出力電圧がクリップ電圧に応じて出力される電圧よりも低くなると、クリップ回路215に優先的にバイアス電流が流れるようになる。結果、選択行の画素のソースフォロワ出力は機能しなくなり、クリップ電圧に応じた出力レベルに出力線VSLの電圧がクリップされる。クリップ電圧は列ごとの単位クリップ回路に共通のDC電圧が供給されるが、このとき、画素ソースフォロワと同様に、個々にしきい値ばらつきやオーバドライブ電圧がばらつく。
基準信号生成部216は、クリップ回路215が列ごとに出力するVSL電圧を平均化して出力する。電流源217は、定電流を流し、VSL電圧を出力するための回路であり、電流制御電圧生成部219によって駆動される。電流源217はn列配列され、単位画素内の増幅トランジスタとソースフォロワ回路を形成する。電流制御電圧生成部219は、バンドギャップリファレンス回路により、電流源217の電流値が温度に依存しないよう、電流制御電圧を生成する。
検出部218は、固有情報生成部214が出力するアナログ信号をデジタル信号に変換する信号処理を行う。検出部218は、コンパレータ231と、DA変換器232と、カウンタ233と、を含む。コンパレータ231は、電流源217が出力するVSL電圧と、DA変換器232が出力する参照波形とを比較して電圧を時間に変換する。コンパレータ231は、入力側に設けられる入力容量と、コンパレータ231の入出力を短絡するスイッチとを備える。DA変換器232は、コンパレータ231に供給する参照波形を生成する。カウンタ233は、コンパレータ231の出力が反転するまでカウントし、時間をカウント数に変換する機能を有する。
検出部218は、変換後のデジタル信号を固有値計算部220に出力する。検出部218は、アナログ信号をデジタル信号に変換する機能に加え、2つの入力信号に対して差分処理する機能と、検出部218自身で発生するばらつきを除去する機能を備えうる。検出部218自身で発生するばらつきを除去する機能を備えることで、固有情報生成部214からの信号に余計にばらつきを加えないため、固有値の基となる信号の品質を高めることが可能となる。また検出部218は、固有情報生成部214が出力するアナログ信号に対して列並列処理を行ってもよく、画素並列処理を行ってもよい。
検出部218は、信号線の電位をクランプする容量と、当該容量の一端を基準電位に設定するためのスイッチを備えてもよい。具体的には、図7に示したADC113の、比較器141、151の入力側に設けられる容量素子の一端と、比較器141、151の出力側とを接続するスイッチを備えていても良い。当該スイッチによって容量素子の一端と、比較器141、151の出力側とが接続されることで、比較器141、151に含まれるトランジスタの内、ダイオード接続されるトランジスタが発生することになる。これにより、信号線の電位をクランプする容量の一端が所定の基準電位に設定されるので、アナログ領域でのばらつきの除去が可能となる。また検出部218は、AD変換後のデジタル値を差分処理してもよい。検出部218は、AD変換後のデジタル値を差分処理によって、デジタル領域でのばらつきの除去が可能となる。
また検出部218は、後述するようにクランプのレベルをシフトさせる機能を有していてもよい。検出部218は、クランプのレベルをシフトさせることで、アナログ値からデジタル値への変換の際に、所定の基準を中心としたアナログ値の分布を最適なものとすることができる。アナログ値の分布を最適なものとすることで、固有情報生成部214が出力する固有情報を損失無く得ることが可能となる。
検出部218が複数配列されている場合、それぞれの検出部218は、検出部218にそれぞれ入力される信号と、複数の検出部218に共通の基準信号との差分を取る機能を有していても良い。この場合、複数の検出部218に共通の基準信号は、検出部218にそれぞれ入力される信号の平均と略同一であってもよい。
固有情報生成部214と検出部218との間には、固有情報生成部214が出力する固有情報を一時的に保持するためのメモリ、特にアナログメモリが設けられても良い。アナログメモリとしては、以下で説明するように信号線の寄生容量であっても良い。また、固有情報生成部214と複数の検出部218との間にそれぞれアナログメモリが設けられる場合、アナログメモリ間を短絡させるスイッチが設けられても良い。固有情報の生成が容易になると共に、アナログメモリ間を短絡させて平均化することで、それぞれのアナログメモリに保持された固有情報は消去される。
図10Bは、基準信号生成部216、電流源217及びコンパレータ231の回路構成例を示す説明図である。図10Bには、(n−1)番目の出力線VSL(n−1)、n番目の出力線VSL(n)、(n+1)番目の出力線VSL(n+1)が示されている。
出力線VSL(n−1)には、基準信号生成部216としてスイッチ251a、252aが設けられており、出力線VSL(n−1)には寄生容量253aが存在する。出力線VSL(n)には、基準信号生成部216としてスイッチ251b、252bが設けられており、出力線VSL(n)には寄生容量253bが存在する。出力線VSL(n+1)には、基準信号生成部216としてスイッチ251c、252cが設けられており、出力線VSL(n+1)には寄生容量253cが存在する。
電流源217として、スイッチ252aの一端にトランジスタ261aが、スイッチ252bの一端にトランジスタ261bが、スイッチ252cの一端にトランジスタ261cが、それぞれ接続される。
出力線VSL(n−1)には、コンパレータ231として入力容量271a、272a、スイッチ273a、274a、コンパレータ275aが存在する。出力線VSL(n)には、コンパレータ231として入力容量271b、272b、スイッチ273b、274b、コンパレータ275bが存在する。出力線VSL(n+1)には、コンパレータ231として入力容量271c、272c、スイッチ273c、274c、コンパレータ275cが存在する。
図11は、固有情報を生成する際における、基準信号生成部216、電流源217及びコンパレータ231の動作をタイミングチャートで示す説明図である。以下では、出力線VSL(n−1)上に、または出力線VSL(n−1)に沿って設けられる各素子の動作について説明する。なお、固有情報を生成する際における、基準信号生成部216、電流源217及びコンパレータ231の動作は、図11に示したものに限定されるものではない。
時刻t1で1水平読み出し期間がスタートする。この時点で行選択信号φSELがハイになり、行選択が始まる。この時点ではリセットトランジスタRSTがオン状態であるので、フローティングディフュージョン部FDの電圧はVDDに固定されている。これによりフローティングディフュージョン部FDのばらつきは除去される。また固有情報を生成する際に、転送パルスφTRGはローで固定される。転送パルスφTRGがローで固定されることで転送トランジスタTRGがオフとなり、フォトダイオードPDのばらつきを除去することが出来る。
また、時刻t1では電流源217を切り離すための電流源切り離しパルスがハイであり、スイッチ252aがオンとなっている。また時刻t1では、VSL電圧を平均化するVSL平均化パルスがローであり、スイッチ251aがオフとなっている。これにより、ソースフォロワ動作していても、ソースフォロワ毎のばらつき情報が出力線VSLに出力される。
時刻t2で、行選択信号(選択パルス)φSELと、電流源切り離しパルスが同時にローになり、列ごとのVSL電圧が、VSLの寄生容量253aに保持される。また時刻t2で、VSL平均化パルスがハイになり、各列のVSL電圧が平均化される。この平均化されたVSL電圧が基準信号となる。
時刻t3の時点で、コンパレータ275aの内部オフセットと、VSL電圧及び参照波形の差分が、入力容量272aに充電され、コンパレータ275aの動作点が初期化される。
時刻t4で、短絡パルスがローになり、スイッチ273a、274aがオフになる。これにより、スイッチ273a、274aでのkTCノイズとフィードスルーばらつきが発生する。
時刻t5〜t6が1回目のAD変換期間(ADC期間1)である。この期間において、DA変換器232は参照波形を直線状に所定の傾きで変化させる。そしてコンパレータ275aは、その参照波形を用いて基準信号をAD変換する。DA変換器232は参照波形をシフトする機能を有しても良い。すなわち、DA変換器232はクランプレベルをシフトする機能を有していてもよい。DA変換器232は参照波形をシフトすることで、カウンタ233の出力にオフセットを付けることが出来る。このADC期間1では、コンパレータ275aの反転遅延、参照波形の遅延、カウンタのクロック遅延が発生している。なお図11において三角形が示しているのは、コンパレータ275aの反転タイミングである。
時刻t6でADC期間1が終わると、行選択信号φSELがハイに、電流源切り離しパルスがハイに、VSL平均化パルスがローになる。すなわち、スイッチ251aがオフとなり、スイッチ252aがオンとなっている。これにより、ソースフォロワ動作していても、ソースフォロワ毎のばらつき情報(増幅トランジスタの出力のばらつき)が出力線VSLに出力される。
時刻t7〜t8が2回目のAD変換期間(ADC期間2)である。この期間においても、DA変換器232は参照波形を直線状に所定の傾きで変化させる。そしてコンパレータ275aは、その参照波形を用いて基準信号をAD変換する。ここで、変換後のデジタル値には、時刻t4で生じたスイッチ273a、274aでのkTCノイズとフィードスルーばらつきと、ADC期間1で生じたコンパレータ275aの反転遅延、参照波形の遅延、カウンタのクロック遅延が、同じく含まれる。なお図11において三角形が示しているのは、コンパレータ275aの反転タイミングである。
そこで、ADC期間2が終わると、ADC期間1でのカウンタ233のカウント値と、ADC期間2でのカウンタ233のカウント値との差分処理を行う。この差分処理によって、検出部218で生じるばらつきを除去することが出来る。従って、素子固有情報に、検出部218で生じるばらつきが含まれることを防ぐことができる。
またADC期間1において、カウンタ233の出力にオフセットを付けているので、上記差分処理が行われても、固有情報生成部214によるばらつきが欠損することは無い。固有情報生成部214によるばらつきは、基準信号を中心に正規分布する。従って、オフセットが無いと固有情報生成部214によるばらつきに負値が発生し、0以下の値が全て0となってしまう。
AD変換の際の参照波形の傾きは、所望のデジタル値が得られるように調整(アナログゲイン調整)されるのが望ましい。また、素子固有情報の読み出しの際には、通常の読み出しに対して、電流源の電流(ドレイン電流Id)を小さくしてもよい。オーバドライブ電圧は、2×Id/gmで求まるが、ばらつきもオーバドライブ電圧に比例するので、ドレイン電流Idを小さくすると、ソースフォロワに含まれるオーバドライブ電圧のばらつき成分が相対的に小さくなる。つまり、主に増幅トランジスタAMPのしきい値のばらつきの情報が検出できる。また、素子固有情報の読み出しの際には、通常の読み出しに対して、電流源の電流(ドレイン電流Id)を大きくしてもよい。電流源の電流を大きくすることで、ソースフォロワに含まれるばらつき情報の内、オーバドライブ電圧のばらつき成分を相対的に大きくすることも出来る。
テンポラルノイズとして、増幅トランジスタAMPの熱雑音、1/fノイズ、RTN、周辺回路の熱雑音が含まれるが、これらは、複数回の読み出しを行って加算(平均)すれば、抑圧することができる。
経時劣化を抑えるために、固体撮像装置1は、以下の条件で、駆動制御することが望ましい。ホットキャリア注入を考慮し、動作時の電流は小さいことが望ましい。すなわちバイアス電流は小さくなるように制御することが望ましい。また同様にホットキャリア注入を考慮し、動作時間が短いことが望ましい。たとえば起動時やリクエスト時のみ駆動するよう制御することが望ましい。また同様にホットキャリア注入を考慮し、不使用時は電流を流さないことが望ましい。すなわち、不使用時には選択トランジスタSELをオフにすることが望ましい。また酸化膜の破壊を考慮し、不使用時は、対象素子のゲートとソースまたはドレインとの電圧差が小さいことが望ましい。すなわち、不使用時にはリセットトランジスタRSTをオンすることが望ましい。また基板ホットキャリア注入を考慮し、固有情報生成部214は、遮光されていることが望ましい。
選択パルスφSELのハイレベルの電位はVDD(2.7V)程度としてもよいが、中間電位(およそ1V〜1.5V程度)としてもよい。選択トランジスタSELのドレインソース間の電位差(VDS)をとり飽和動作させればソースフォロワとなる。例えば、選択トランジスタSELのドレイン電圧を2.7Vとして、選択トランジスタSELのドレイン側(増幅トランジスタAMPのソース側)は通常2.2V程度である。これに対して、選択トランジスタSELのVDSを充分に取れば(少なくとも数百〜700mV程度の差が有れば)飽和動作させることが出来る。これにより、選択トランジスタSELのゲート電圧に応じた出力が出力線VSLに伝達される。選択トランジスタSELも増幅トランジスタAMPと同様、飽和動作させると、しきい値とオーバドライブ電圧とが素子ごとにばらつくので、選択トランジスタSELのしきい値とオーバドライブ電圧のばらつきを検出することができる。この際、非選択行の画素とクリップ回路215は、選択スイッチがオフされており、読み出しに関与しない。
固有値計算部220は、検出部218から送られるデジタル信号に基づき、固体撮像装置1に固有の値(固有値)を計算する。固有値計算部220は、固有値として所定のビット長を有する値を生成する。固有値計算部220による固体撮像装置1の固有値の計算方法の一例については後に詳述する。固有値計算部220は、固体撮像装置1の固有値を計算すると、その固有値を暗号化部222に送る。固有値計算部220が生成した固有値は、暗号化部222における暗号化処理で用いられるシード、または鍵そのものとなり得る。
固有値計算部220は、複数の素子固有情報のうち、どの素子固有情報を採用するかを選択しても良い。固有値計算部220は、素子固有情報を選択する際に、素子固有情報に基づいた演算によってどの素子固有情報を採用するかを選択してもよく、乱数によって素子固有情報を採用するかを選択してもよい。また素子固有情報を選択する際の選択条件は、不揮発性メモリに記憶されていても良い。不揮発性メモリへの選択条件の書き込みは一度だけ行われても良い。不揮発性メモリへの書き込みのタイミングは、例えば検査時、出荷時、最初の使用時など、があり得る。固有値計算部220は、比較的情報量の少ない素子固有情報を含めて、固体撮像装置1のチップ内で発生するあらゆる製造ばらつきに基づく素子固有情報を用いて、繰り返して固有値を算出することが出来る。すなわち、素子固有情報の情報量を増やすことが出来る。
また固有値計算部220は、固有情報生成部214が生成した素子固有情報のうち、複数の素子固有情報を組み合わせて固有値を計算しても良い。複数の素子固有情報を組み合わせて固有値を計算することで、どのように固有値を算出したかが解析されにくくなる。
また、固有値計算部220が生成した固有値は一時的にメモリに格納されていても良い。固有値計算部220が生成した固有値をメモリに格納することで、固有値の算出タイミングを解析されにくくなる。すなわち、固体撮像装置1は、暗号化のリクエストのタイミングで固有値を生成するのでは無く、予め生成しておいた固有値を、暗号化のリクエストに応じて使用してもよい。固体撮像装置1は、例えば、通常の撮像時の駆動を行ってから所定時間経過した後に固有値を計算してもよい。また固体撮像装置1は、暗号化のリクエストのタイミングではなく、固有値を生成するリクエストを受けたタイミングで固有値を生成してもよい。
また固有値計算部220は、同一の駆動条件で得られた固有値を平均化しても良い。同一の駆動条件で得られた固有値を平均化することで、時間方向のノイズを抑圧することができる。
暗号化部222は、固有値計算部220が生成した固有値を用いて、データの暗号化処理を実行する。暗号化部222は、例えば図2に示したロジック回路23014に設けられ得る。具体的には、暗号化部222は、固有値計算部220が生成した固有値をシードまたは鍵そのものとして用いてデータの暗号化処理を行う。暗号化の対象となるのは、固有値そのもの、画像情報、画像情報に基づく特徴量、などがありうる。固有値計算部220が生成した固有値を用いて暗号化処理を行うことで、固体撮像装置1は、データを極めてセキュアに暗号化することが出来る。
通信制御部224は、データを固体撮像装置1の外部に送信する。通信制御部224は、撮像データを出力する場合と、暗号化部222が暗号化したデータを出力する場合とで異なる処理を行っても良い。
図9に示した固体撮像装置1の構成のうち、少なくとも、固有情報を処理する経路は、固体撮像装置1の表面に現れないように形成される。例えば、固有情報を処理する経路は、最表層を含むより上層のメタルで覆われるように配置される。固有情報を処理する経路は所定のシールド層で覆われても良く、VDDまたはVSSの配線で覆われても良い。固有情報を処理する経路としては、例えば固有情報生成部214と、検出部218と、固有値計算部220と、暗号化部222と、が含まれうる。また固有情報を処理する経路には、固有情報をモニタするためのパッドが設けられないように、固体撮像装置1が形成される。このように固体撮像装置1が形成されることで、暗号化処理に用いられる固体撮像装置1の固有情報の外部への流出が妨げられるだけでなく、固有情報を解析しようとすると固体撮像装置1の破壊が避けられず、結果として固有情報の解析が不可能となる。また、本実施形態に係る固体撮像装置1は、固有情報を内部で保持せず、固有情報を都度生成し、生成した固有情報に基づく固有値を用いた暗号化処理を行っている。従って、本実施形態に係る固体撮像装置1は、極めてセキュアな暗号化処理を実施することが可能となる。
本実施形態に係る固体撮像装置1は、固有情報を内部で保持していないので、固有情報に基づき生成される固有値が生成の度に変化しては、暗号化されたデータの復号が不可能になってしまう。従って、固有値はいつ計算しても同じ値となることが求められる。従って、本実施形態に係る固体撮像装置1は、固有情報生成部214が設けられているチップの温度に応じて固有情報生成部214が出力する信号に基づいて固有値計算部220が計算した固有値を補正する機能を設けても良い。また本実施形態に係る固体撮像装置1は、固有情報生成部214が設けられているチップの温度を検出する機能を設けても良い。
図12は、本実施形態に係る固体撮像装置1の別の機能構成例を示す説明図である。図12には、図9に示した固体撮像装置1の構成に加え、チップ温度検出部226と、信号補正部228と、が設けられている構成が示されている。
チップ温度検出部226は、固有情報生成部214が設けられているチップの温度を検出する。チップ温度検出部226は、検出したチップの温度の情報を信号補正部228に送る。信号補正部228は、チップ温度検出部226が検出した固有情報生成部214が設けられているチップの温度に基づいて、固有値計算部220が計算した固有値を補正する。信号補正部228は、温度に応じた補正値が格納されたテーブルを保持し、チップ温度検出部226が検出した温度に基づいて補正値を決定しても良い。
<1.4.2.動作例>
続いて、本実施形態に係る固体撮像装置の動作例を説明する。図13は、本実施形態に係る固体撮像装置の動作例を示す流れ図である。図13に示したのは、固体撮像装置1が固有値を計算し、その固有値を用いた暗号化処理を行う際の動作例である。
固体撮像装置1は、まず固有値の基となる、アナログの固有情報を生成する(ステップS201)。アナログの固有情報は、駆動制御部210が固有情報生成部214を駆動させることによって生成される。
アナログの固有情報を生成すると、続いて固体撮像装置1は、アナログの固有情報をデジタル値に変換する(ステップS202)。アナログの固有情報のデジタル値への変換は、検出部218が行う。検出部218によるアナログの固有情報のデジタル値への変換処理は上述した通りである。
アナログの固有情報をデジタル値に変換すると、続いて固体撮像装置1は、変換後のデジタル値を用いて、固体撮像装置1の固有値を計算する(ステップS203)。固体撮像装置1の固有値の計算は、固有値計算部220が行う。
固体撮像装置1の固有値の計算を行うと、続いて固体撮像装置1は、固有値を用いたデータの暗号化処理を行う(ステップS204)。固有値を用いたデータの暗号化処理は、暗号化部222が行う。
本実施形態に係る固体撮像装置1は、上述の一連の動作を実行することで、固有情報を外部に出力せずに、固有情報を用いた暗号化処理を内部で完結させることが可能となる。本実施形態に係る固体撮像装置1は、外部に流出されることのない固有情報を用いた暗号化処理を行うことで、重要な情報を極めて安全に暗号化して出力することが出来る。
<1.5.生体認証処理>
続いて、本実施形態に係る固体撮像装置1を用いた生体認証処理及び固体撮像装置1の制御について説明する。本実施形態に係る固体撮像装置1を用いた生体認証処理及び固体撮像装置1の制御について詳細に説明する前に、本実施形態についての理解のために比較例を説明する。
<1.5.1.比較例>
図14は、本実施形態の比較例を示す説明図である。図14には、レンズモジュール1001と、レンズモジュール1001を通過する光を電気信号に変換する固体撮像装置1002と、固体撮像装置1002が出力する電気信号を用いた画像処理、特に生体認証処理を行うアプリケーションプロセッサ1003と、を含む情報処理装置1000が示されている。生体認証処理には、撮像されたものが生体か否かを判定する生体検知処理や、人間の虹彩を認識して予め登録されている虹彩情報と一致するものがあるかを判定する虹彩認証処理などがある。この説明では、情報処理装置1000は、生体認証処理として虹彩認証処理を実行するものとする。
アプリケーションプロセッサ1003は、固体撮像装置1002が出力する電気信号を用いた虹彩認証部1010と、認証対象の虹彩情報が予め格納された虹彩情報記憶部1020と、虹彩認証部1010による虹彩認証処理の精度を上げるためにフォーカス、露出等の撮像条件を制御する撮像条件制御部1030と、を含む。また虹彩認証部1010は、固体撮像装置1002が出力する電気信号から人間の目、特に眼球の領域を検出する領域検出部1011と、領域検出部1011が検出した人間の目の領域から、その人間の虹彩情報を抽出する虹彩抽出部1012と、虹彩抽出部1012が抽出した虹彩情報と、虹彩情報記憶部1020に格納されている虹彩情報とを照合する虹彩照合部1013と、を含んで構成される。アプリケーションプロセッサ1003からレンズモジュール1001や固体撮像装置1002への通信は、例えばI2C(Inter-Integrated Circuit)通信が用いられうる。
虹彩認証部1010による虹彩認証処理の精度を上げるためには、固体撮像装置1002が出力する電気信号から虹彩情報を精度良く抽出する必要がある。領域検出部1011で人間の目の位置を検出できなかったり、虹彩抽出部1012で虹彩情報を抽出出来なかった場合には、撮像条件制御部1030は、撮像時に目にフォーカスが合うようにしたり、露光時間を長くしたり、ゲインを上げたりする制御を行う。この際、例えば固体撮像装置1002が出力する電気信号の全領域の平均輝度を評価値として、ターゲットの適正露光に制御しようとすると、虹彩以外の肌の色、メガネの有無、睫毛、化粧の有無などの要因に左右され、虹彩自体を適正露光に出来ない可能性がある。従って、撮像条件制御部1030は、領域検出部1011が検出した人間の眼球の領域の情報を用いて、その眼球の領域に対してフォーカスを合わせたり、虹彩領域のみの平均輝度を評価値として、ターゲットの適正露光に制御することで虹彩情報を取得できる露出に設定したりすることが出来る。
しかし、図14に示したように、アプリケーションプロセッサ1003からレンズモジュール1001や固体撮像装置1002に対して撮像条件を制御する場合、虹彩認証処理に適正な撮像条件とする制御の完了までに時間がかかる。これは、固体撮像装置1002とアプリケーションプロセッサ1003との間の通信速度や、固体撮像装置1002からアプリケーションプロセッサ1003への電気信号の通信量に限りがあるからである。
そこで、本実施形態では、固体撮像装置1の内部で虹彩認証処理に適正な撮像条件とする制御を実行する。固体撮像装置1の内部で虹彩認証処理に適正な撮像条件とする制御を実行することで、虹彩認証処理に適正な撮像条件とする制御の完了までの時間を短縮させることが可能となる。
<1.5.2.構成例>
図15は、本実施形態に係る固体撮像装置1を備えた情報処理装置300の構成例を示す説明図である。以下、図15を用いて本実施形態に係る情報処理装置300の構成例を説明する。
本実施形態に係る情報処理装置300は、人間の虹彩情報を用いて認証を行う装置であり、例えばスマートフォンやタブレット型端末等の携帯端末や、空港等に設置される入国管理システムに含まれる認証装置、自動車のドアやハンドルのロックを解除するためのロック解除装置であり得る。図15に示したように、本実施形態に係る情報処理装置300は、レンズモジュール1001と、レンズモジュール1001を通過する光を電気信号に変換する固体撮像装置1と、を含む。
固体撮像装置1は、撮像制御部301と、虹彩認証部310と、虹彩情報記憶部320と、撮像条件制御部330と、アプリケーションプロセッサ370と、ディスプレイ380と、を含んで構成される。
撮像制御部301は、固体撮像装置1の各部を制御し、画像データ(画素信号)の読み出し等に関する処理を実行させる。撮像制御部301は、レンズモジュール1001を通過する光から変換される電気信号を画素(例えば図1に示した画素アレイ3)から読み出す時間(すなわち、露光時間またはシャッタースピード)の制御を行う。なお、被写体の明度に応じた露光を自動的に得る自動露出(AE)に関する制御は、撮像条件制御部330が行う。撮像条件制御部330が決定した露光時間の情報は撮像制御部301に反映される。また、被写体にフォーカスを合わせるために、レンズモジュール1001に含まれるレンズを駆動させるアクチュエータ(図示せず)の駆動制御(AF)も、撮像条件制御部330が行う。撮像条件制御部330が決定したレンズの位置に関する情報はレンズモジュール1001に反映される。
虹彩認証部310は、固体撮像装置1が生成した画像データを用いた虹彩認証処理を実行する。虹彩認証部310は、画像データから人間の目、特に眼球の領域を検出する領域検出部311と、領域検出部311が検出した人間の目の領域から、その人間の虹彩情報を抽出する虹彩抽出部312と、虹彩抽出部312が抽出した虹彩情報と、虹彩情報記憶部320に予め格納されている虹彩情報とを照合する虹彩照合部313と、を含んで構成される。
領域検出部311は、固体撮像装置1が生成した画像データにおける、人間の目、特に眼球の虹彩や瞳孔の領域を検出する。領域検出部311は、眼球の領域を例えばパターンマッチングなどによって検出する。
虹彩抽出部312は、領域検出部311が検出した人間の目の領域から、その人間の虹彩情報を抽出する。虹彩抽出部312は、例えばガボールフィルタなどのフィルタ処理によって虹彩情報を抽出する。虹彩照合部313は、虹彩抽出部312が抽出した虹彩情報と、虹彩情報記憶部320に予め格納されている虹彩情報とを照合する。
本実施形態に係る情報処理装置300は、固体撮像装置1の内部において虹彩認証処理を完結させることが出来る。従って、虹彩認証部310は、画像データを後段のアプリケーションプロセッサ370に出力しても良いが、虹彩認証の結果のみをアプリケーションプロセッサ370に出力しても良い。本実施形態に係る情報処理装置300は、虹彩認証の結果のみをアプリケーションプロセッサ370に出力することで、人間の顔が含まれる画像データを固体撮像装置1の外部に流出させずに虹彩認証処理を実行することが出来る。
撮像条件制御部330は、虹彩認証部310での虹彩認証処理の過程で得られる情報を用いて、フォーカス、露出等の撮像条件を制御する。例えば、領域検出部311が画像データから眼球の領域を検出する際に、フォーカスが眼球に合っていなければ、撮像条件制御部330は、領域検出部311からフォーカスが眼球に合っていない旨の情報を受け取る。そして撮像条件制御部330は、フォーカスを眼球に合わせるように、レンズモジュール1001に含まれるレンズ(図示せず)を駆動させるアクチュエータ(図示せず)を駆動させるようレンズモジュール1001に指示する。また例えば、虹彩抽出部312が虹彩情報を抽出する際に、露出が足りずに、または露出オーバーにより虹彩情報を抽出できない場合には、撮像条件制御部330は、虹彩抽出部312から、露出がアンダーまたはオーバーである旨の情報を受け取る。そして撮像条件制御部330は、虹彩情報を抽出できる露出となるようにシャッタースピードを遅くして露光時間を長くしたり、ゲインを上げたりする制御を行うよう撮像制御部301に指示する。
虹彩抽出部312は、虹彩情報を抽出する際に、例えばガボールフィルタを用いるが、そのフィルタの出力値の絶対値の大小によって、フォーカスが眼球に合っているかどうかも分かる。虹彩抽出部312は、フィルタの出力値の絶対値が小さければフォーカスが眼球に合っていないと判定することが可能である。従って、撮像条件制御部330は、虹彩抽出部312から、ガボールフィルタの出力値の絶対値の情報を取得しても良い。撮像条件制御部330は、ガボールフィルタの出力値が大きくなるように、すなわちフォーカスが眼球に合うように、レンズモジュール1001に含まれるレンズ(図示せず)を駆動させるアクチュエータ(図示せず)を駆動させるようレンズモジュール1001に指示する。
本実施形態に係る情報処理装置300は、固体撮像装置1の内部においてフォーカスや露出に関する制御を完結させることで、割込みによる制御や、固体撮像装置1の内部のメモリを用いたデータアクセスを可能としている。そして本実施形態に係る情報処理装置300は、I2C等のチップ間通信の遅延を回避することができる。このように、固体撮像装置1の内部においてフォーカスや露出に関する制御を完結させることで、本実施形態に係る情報処理装置300は、虹彩認証処理に適正な撮像条件とする制御の完了までの時間を、上述の比較例の場合と比べて短縮させることが可能となる。また本実施形態に係る情報処理装置300は、虹彩認証処理に適正な撮像条件で撮像を行うことで、虹彩認証処理の精度を向上させることも可能となる。
本実施形態に係る情報処理装置300は、虹彩認証処理を実行する際に、ディスプレイ380へ、認証を受けようとする者に対して目の位置を合わせるためのガイド表示を行っても良い。図16は、情報処理装置300のディスプレイ380に表示される画面の例を示す説明図である。図16には、ディスプレイ380と、レンズモジュール1001と、被写体に光を照射する光源390と、が示されている。例えば、アプリケーションプロセッサ370は、ディスプレイ380に、目の位置を併せてもらうためのガイド381を表示させる。認証を受けようとする者は、両目がガイド381の中に含まれるように顔や情報処理装置300を動かす。このようにガイド381がディスプレイ380に表示されていることで、固体撮像装置1は、虹彩認証処理の実行の際にガイド381の領域に対してのみ眼球の領域を検出したり、虹彩を抽出したりする処理を実行すれば良いことになる。
虹彩認証処理の実行の準備として、虹彩情報を予め認証を受けようとする者に登録してもらう必要がある。本実施形態に係る情報処理装置300は、虹彩情報の登録にも当然用いることができる。虹彩情報を登録する場合にも、本実施形態に係る情報処理装置300は、虹彩情報の抽出に適した露出やフォーカスとなるような撮像条件の設定を固体撮像装置1の内部で実行することができる。
ここまでは、生体認証処理の例として虹彩認証処理を挙げたが、本開示は係る例に限定されるものでは無い。続いて生体認証処理として、画像に写っているものが生体かそうでないか、すなわち、写っているものが生身の人間であるのか、またはマスクを被ったり、人形であったり、写真であったりしているかどうかを判定する生体検知処理を行う固体撮像装置を備えた情報処理装置の例を説明する。
図17は、本実施形態に係る固体撮像装置1を備えた情報処理装置300の構成例を示す説明図である。以下、図17を用いて本実施形態に係る情報処理装置300の構成例を説明する。
本実施形態に係る情報処理装置300は、画像データを用いて生体認証を行う装置であり、例えばスマートフォンやタブレット型端末等の携帯端末や、空港等に設置される入国管理システムに含まれる認証装置等であり得る。図17に示したように、本実施形態に係る情報処理装置300は、レンズモジュール1001と、レンズモジュール1001を通過する光を電気信号に変換する固体撮像装置1と、を含む。
固体撮像装置1は、撮像制御部301と、生体検知部340と、撮像条件制御部330と、アプリケーションプロセッサ370と、ディスプレイ380と、を含んで構成される。ここでは、図15に示した情報処理装置300とは異なる構成である生体検知部340について説明する。
生体検知部340は、固体撮像装置1が生成した画像データを用いた生体検知処理を実行する。ここで、生体検知部340が実行する生体検知処理について説明する。
例えば、生体検知部340は、固体撮像装置1が生成した画像データを用いてプルキニエ像の解析を行う。プルキニエ像は、光源の光が角膜において反射された角膜反射像であり、生体であればこのプルキニエ像が眼に現れる。生体検知部340は、プルキニエ像の輝度情報や位置関係を用いて生体検知処理を実行する。プルキニエ像の輝度情報や位置関係を用いて生体検知処理を実行する場合、AEを制御することでプルキニエ像を検出しやすい輝度にしたり、ブラーを抑制するためにシャッタースピードを短くしたりすることが望ましい。従って、撮像条件制御部330は、生体検知部340が画像データからプルキニエ像の解析を行う際に、プルキニエ像を検出しやすい露出となるように撮像制御部301に指示する。
例えば、生体検知部340は、固体撮像装置1が生成した画像データを用いて瞳孔動揺の有無の解析を行う。瞳孔動揺とは、生体の眼であれば、周囲の明るさが一定の場合でも、その瞳孔がわずかな収縮や散大を繰り返すことをいう。生体検知部340は、瞳孔動揺を検出する際は、瞳孔と虹彩の半径比の時間変動の情報を用いる。そのため、瞳孔動揺を検出することで生体検知処理を実行する場合、AEを制御することで瞳孔と虹彩の円周部分を検出しやすい輝度にしたり、ブラーを抑制するためにシャッタースピードを短くしたりすることが望ましい。従って、撮像条件制御部330は、生体検知部340が画像データから瞳孔動揺の有無の解析を行う際に、瞳孔と虹彩の円周部分を検出しやすい露出となるように撮像制御部301に指示する。
例えば、生体検知部340は、固体撮像装置1が生成した画像データを用いてサッケードの有無の解析を行う。サッケードとは、眼球の素早い動きのことをいい、生体検知部340は、眼球の、例えば瞳孔の中心の動きに跳躍的な変化があるかどうかでサッケードの有無を解析することができる。すなわち、サッケードがあればその目は生体のものであると判定することが可能となる。そのため、サッケードを検出することで生体検知処理を実行する場合、AEを制御することで瞳孔の中心部分を検出しやすい輝度にしたり、ブラーを抑制するためにシャッタースピードを短くしたりすることが望ましい。従って、撮像条件制御部330は、生体検知部340が画像データからサッケードの有無の解析を行う際に、瞳孔の中心部分を検出しやすい露出となるように撮像制御部301に指示する。
例えば、生体検知部340は、固体撮像装置1が生成した画像データを用いて瞬きの有無の解析を行う。すなわち、瞬きがあればその目は生体のものであると判定することが可能となる。生体検知部340は、瞼や瞳孔のエッジ点の画素数の時間変動をみることで瞬きの有無を解析することができる。瞬きを検出することで生体検知処理を実行する場合、AEを制御することで瞼や瞳孔のエッジを検出しやすい輝度にしたり、ブラーを抑制するためにシャッタースピードを短くしたりすることが望ましい。従って、撮像条件制御部330は、生体検知部340が画像データから瞬きの有無の解析を行う際に、瞼や瞳孔のエッジを検出しやすい露出となるように撮像制御部301に指示する。
例えば、生体検知部340は、固体撮像装置1が生成した画像データを用いてアイトラッキングを行う。生体検知部340は、アイトラッキングを行う際には、目頭、またはプルキニエ像と瞳孔との位置関係を用いる。例えば、情報処理装置300は、生体検知を受けようとする者に対して視線を動かすよう指示し、その者が視線を動かしたかどうかで生体であるかどうかを判定する。アイトラッキングを行うことで生体検知処理を実行する場合、AEを制御することでプルキニエ像や瞳孔を検出しやすい輝度にしたり、ブラーを抑制するためにシャッタースピードを短くしたりすることが望ましい。従って、撮像条件制御部330は、生体検知部340が画像データからアイトラッキングを行う際に、プルキニエ像や瞳孔を検出しやすい露出となるように撮像制御部301に指示する。
例えば、生体検知部340は、固体撮像装置1が生成した画像データを用いて顔の凹凸を検知する。生体検知部340は、顔の凹凸を検知する際には、フォーカスを変えながら撮像することにより行う。例えばShape From Focus/Defocus法と呼ばれる方法により三次元の形状を計測する方法が知られており、生体検知部340はこのような方法を用いて画像データを用いた顔の凹凸の検知を行う。顔の凹凸を検知する場合、顔の凹凸を短時間で捉えられるようなフォーカス制御が行われることが望ましい。従って、撮像条件制御部330は、生体検知部340が画像データから顔の凹凸を検知する際に、顔の凹凸を短時間で捉えられるようなフォーカス制御を行うようレンズモジュール1001に指示する。
生体検知部340は、上述した生体検知処理の中から1つ、または2つ以上を組み合わせることで、画像データに含まれる被写体が生体であるかどうかを判定する。上述した生体検知処理の中から2つ以上を組み合わせて被写体が生体であるかどうかを判定する場合、生体検知部340は、同じような撮像条件で判定できるものは並列処理しても良い。例えば、生体検知部340が瞳孔動揺とサッケードによって生体であるかどうかを判定する場合、瞳孔の中心や位置が同一の撮像条件で精度良く検出できるときは、瞳孔動揺による生体検知処理とサッケードによる生体検知処理とを並列に行っても良い。
本実施形態に係る情報処理装置300は、固体撮像装置1の内部においてフォーカスや露出に関する制御を完結させることで、割込みによる制御や、固体撮像装置1の内部のメモリを用いたデータアクセスを可能としている。そして本実施形態に係る情報処理装置300は、I2C等のチップ間通信の遅延を回避することができる。このように、固体撮像装置1の内部においてフォーカスや露出に関する制御を完結させることで、本実施形態に係る情報処理装置300は、生体検知処理に適正な撮像条件とする制御の完了までの時間を、上述の虹彩認証処理の場合と同様に短縮させることが可能となる。また本実施形態に係る情報処理装置300は、生体検知処理に適正な撮像条件で撮像を行うことで、生体検知処理の精度を向上させることも可能となる。
本実施形態に係る情報処理装置300は、虹彩認証処理と生体検知処理の両方を行っても良い。情報処理装置300は、虹彩認証処理と生体検知処理とを順次行うことで、被写体が生体であり、かつ、その生体の虹彩情報が予め登録されているものと一致するかどうかの判定を行うことが出来る。情報処理装置300は、虹彩認証処理から生体検知処理の順に行っても良いが、情報処理装置300は、生体検知処理から虹彩認証処理の順に行っても良い。虹彩認証処理は、予め登録されているものとのマッチング処理に時間を要するため、情報処理装置300は、先に生体検知処理を行い、生体で無ければ虹彩認証処理をキャンセルすることで、生体で無かった場合の処理時間を短縮させることができる。
図18は、本実施形態に係る情報処理装置300の構成例を示す説明図であり、生体検知処理と虹彩認証処理の双方を実行するよう構成された情報処理装置300の例である。なお図18ではアプリケーションプロセッサ370及びディスプレイ380は図示を省略している。
図18に示した情報処理装置300に含まれる固体撮像装置1は、図15を用いて説明した虹彩認証部310と、図17を用いて説明した生体検知部340の双方が含まれている。このように、固体撮像装置1において、生体検知処理と虹彩認証処理の双方を実行することも、当然可能である。
固体撮像装置1は、生体検知処理と虹彩認証処理を、同一のフレームの画像に対して行っても良いが、別のフレームの画像に対して行っても良い。セキュリティ強度を高めるためには、固体撮像装置1は、生体検知処理と虹彩認証処理を別のフレームの画像に対して行う場合、例えば連続したフレームであるとか、短時間後のフレームの画像に対して行われることが望ましい。また固体撮像装置1は、生体検知処理と虹彩認証処理は、同一の撮像条件で行ってもよいが、生体検知処理と虹彩認証処理は必ずしも同じ撮像条件で最適な画像データが得られるとは限らないので、別の撮像条件で行っても良い。
虹彩認証処理を行う際には、可視光をカットする可視光カットフィルタと、赤外光を照射する赤外LED等を用いて近赤外での撮像が行われる。一方、通常の画像を撮像する際には赤外光をカットするIRカットフィルタを用いた可視光の撮像が行われる。そのため、スマートフォンなどで虹彩認証処理を実行する場合には、通常の撮像と、虹彩認証処理のための撮像の両方を行えるよう、通常の撮像を行う固体撮像装置と、虹彩認証処理のための撮像を行う固体撮像装置の2つがスマートフォンに備えられることが多い。
一方、1つの固体撮像装置で、通常の撮像と、近赤外での撮像の双方を行う技術もある。具体的には、可視光カットフィルタとIRフィルタとを機械的に切り替えることで通常の撮像と近赤外での撮像との双方を行う技術や、可視光領域を撮像する通常のRGB画素だけでなく、近赤外領域を透過するカラーフィルタを用いた画素を混在させることで通常の撮像と近赤外での撮像との双方を行う画素アレイを構築する技術がある。また有機薄膜への電圧付加によって感度波長域を変化させる技術もある。従って、このように通常の撮像と、近赤外での撮像の双方を行うことが可能な固体撮像装置であれば、上述したように、虹彩認証処理に最適化した制御モードと、通常の撮像に最適化した制御モードとの双方で動作させることが可能となる。
図19は、本実施形態に係る固体撮像装置1を備えた情報処理装置300の構成例を示す説明図である。図19に示したのは、虹彩認証処理に最適化した制御モードと、通常の撮像に最適化した制御モードとの双方で動作することが可能な固体撮像装置1を備えた情報処理装置300の構成例である。以下、図19を用いて本実施形態に係る情報処理装置300の構成例を説明する。
図19に示したように、本実施形態に係る情報処理装置300は、レンズモジュール1001と、レンズモジュール1001を通過する光を電気信号に変換する固体撮像装置1と、を含む。
固体撮像装置1は、撮像制御部301と、虹彩認証部310と、虹彩情報記憶部320と、撮像条件制御部330と、解析部350と、を含んで構成される。ここでは、図15に示した固体撮像装置1には存在していない解析部350について説明する。
解析部350は、通常の撮像時において、固体撮像装置1で得られる画像データの解析を行う。具体的には、解析部350は、固体撮像装置1で得られる画像データの輝度やコントラストの測定を行う。そして解析部350は、画像データの解析結果を撮像条件制御部330に送る。撮像条件制御部330は、解析部350から送られた解析結果を用いて、レンズモジュール1001に対してアクチュエータを駆動させたり、撮像制御部301に対して適切な露出となるようシャッタースピード、ゲインなどを調整したりする制御を行う。
このように、虹彩認証処理に最適化した制御モードと、通常の撮像に最適化した制御モードとの双方で動作することが可能な固体撮像装置1において、固体撮像装置1で得られる画像データの解析を行うことで、通常の撮像時と、虹彩認証処理時とで、それぞれ適切な撮像条件を高速に設定することが可能となる。
ここまでは、虹彩認証処理を固体撮像装置1の内部で行った例を示したが、虹彩情報の抽出までを固体撮像装置1の内部で行い、抽出した虹彩情報と予め登録されている虹彩情報とのマッチング処理を、後段のアプリケーションプロセッサや、またネットワークを通じて接続されているサーバで行っても良い。固体撮像装置1の外部でマッチング処理を行うことが適している場合としては、例えば、顔認証などと組み合わせることで抽出される特徴量のデータサイズが大きい場合、アルゴリズム上、照合処理の計算量が多い場合、大量のデータが格納されているデータベースの中から該当するものがあるかどうかを検索するシステムの場合、などである。抽出した虹彩情報と予め登録されている虹彩情報とのマッチング処理を、後段のアプリケーションプロセッサや、またネットワークを通じて接続されているサーバで行う場合、虹彩情報をそのまま固体撮像装置1から出力してしまうと虹彩情報の流出のおそれがある。
ここで、上述したように、固体撮像装置1は、内部で生成した情報を鍵として用いた暗号化処理を行うことが出来る。従ってマッチング処理を固体撮像装置1の外で行う場合、固体撮像装置1は、虹彩情報を暗号化して出力することで、安全に虹彩情報をやり取りすることができる。
図20は、虹彩認証システムの構成例を示す説明図である。図20には、虹彩情報の抽出までを行う情報処理装置300と、虹彩情報のマッチング処理を行うサーバ800と、がネットワーク900を通じて接続されている虹彩認証システムが示されている。図20に示された固体撮像装置1は、撮像制御部301と、虹彩処理部302と、暗号化処理部315と、撮像条件制御部330と、を含んで構成される。虹彩処理部302は、領域検出部311と、虹彩抽出部312と、を含む。すなわち、虹彩処理部302は虹彩情報の抽出までを行う。
暗号化処理部315は、虹彩処理部302から出力される虹彩情報に対して暗号化処理を行う。暗号化処理部315は、上述したように、固体撮像装置1に固有の固有情報を用いて暗号化処理を実行する。暗号化処理部315は、固体撮像装置1に固有の固有情報を用いて暗号化処理を実行することで、極めてセキュアに情報を外部とやり取りすることができる。
サーバ800は、復号処理部810と、虹彩照合部820と、虹彩情報記憶部830と、を含んで構成される。
復号処理部810は、暗号化処理部315で暗号化された虹彩情報の復号を行う。サーバ800は、予め任意の方法によって固体撮像装置1に固有の固有情報を情報処理装置300から取得しておく。復号処理部810は、情報処理装置300から取得したその固有情報を用いて暗号化された虹彩情報を復号する。
虹彩照合部820は、上述の虹彩照合部313と同様に、情報処理装置300から取得した虹彩情報と、虹彩情報記憶部830に予め格納されている虹彩情報とを照合する。
このように、情報処理装置300から虹彩情報をサーバ800へ送信し、サーバ800で虹彩認証処理を実行する場合であっても、固体撮像装置1の内部での虹彩情報の抽出の過程で得られる情報を用いて、フォーカス制御や露出制御を固体撮像装置1の内部で実行することが出来る。
ここで、上述した固体撮像装置1の具体的な回路構成例を示す。図21は、本実施形態に係る固体撮像装置1を構成するロジックダイ23024に形成される回路構成例を示す説明図である。
ロジックダイ23024には、通信部23201、CPU23202、ROM23203、RAM23204、画像処理部23205、及び、上述した撮像制御部301が形成される。またロジックダイ23024には、セキュア領域23300が形成される。通信部23201は、例えばI2C通信によって他の要素、例えばアプリケーションプロセッサと通信する。また画像処理部23205には、例えば画素領域23102から画素データが送られる。
そしてセキュア領域23300には、CPU23301、ROM23302、RAM23303、NVM(Non-volatile memory;不揮発性メモリ)23304、及び上述した暗号化部222、虹彩認証部310が形成される。虹彩認証部310にはRAM23104が形成される。
もちろん、図21に示した回路構成例は一例に過ぎないことは言うまでも無く、固体撮像装置1を構成するロジックダイ23024は様々なレイアウトを有することが可能である。
<1.5.3.動作例>
続いて、本開示の実施の形態に係る固体撮像装置1の動作例を説明する。以下で説明するのは、撮像によって得られる画像データを用いて本人確認を行う際に、生体検知処理を行う生体検知モードでまず動作して、生体検知処理によって生体であると判定した場合に、続いて虹彩認証処理を行う虹彩認証モードで動作する、固体撮像装置1の動作例である。
図22は、本実施形態に係る固体撮像装置1の動作例を示す流れ図である。図22に示したのは、生体検知モードで動作する固体撮像装置1の動作例である。
固体撮像装置1は、生体検知モードで動作する際には、まず、得られた画像データを用いて、生体検知に適した撮像制御、すなわち生体検知に適した露出、ゲインなどの設定を行う(ステップS301)。
生体検知に適した撮像制御を行い、撮像条件が生体検知に適したものとなれば(ステップS302、Yes)、固体撮像装置1は、得られた画像データを用いた生体検知処理を行い、被写体が生体かどうか判断する(ステップS303)。生体検知の結果、画像に写っていた被写体が生体であれば(ステップS303、Yes)、固体撮像装置1は、続いて虹彩認証モードに移行する。一方、生体検知の結果、画像に写っていた被写体が生体でなければ(ステップS303、No)、固体撮像装置1は、タイムアウトするまで待機する(ステップS304)。タイムアウトした場合には(ステップS304、Yes)、固体撮像装置1は、生体検知による本人確認が出来なかったとして処理を終了する(ステップS305)。なお、ステップS302の判断の結果、撮像条件が生体検知に適したものでなければ(ステップS302、No)、固体撮像装置1は、タイムアウトするまで待機する(ステップS306)。タイムアウトした場合には(ステップS306、Yes)、固体撮像装置1は、生体検知による本人確認が出来なかったとして処理を終了する(ステップS305)。
ここでステップS304、S306のタイムアウト処理としては、固体撮像装置1の内部にタイマを設け、そのタイマが所定のタイムアウト時間を計時したことによる割り込みによって生体検知処理を終了させてもよく、アプリケーションプロセッサ370の内部にタイマを設け、そのタイマが所定のタイムアウト時間を計時すると、アプリケーションプロセッサ370が固体撮像装置1にタイムアウトしたことを通知することで生体検知処理を終了させてもよい。
図23は、本実施の形態に係る固体撮像装置1の動作例を示す流れ図である。図23に示したのは、虹彩認証モードで動作する固体撮像装置1の動作例である。
固体撮像装置1は、虹彩認証モードで動作する際には、まず、得られた画像データを用いて、虹彩認証に適した撮像制御、すなわち虹彩認証に適した露出、ゲインなどの設定を行う(ステップS311)。
虹彩認証に適した撮像制御を行い、撮像条件が虹彩認証に適したものとなれば(ステップS312、Yes)、固体撮像装置1は、得られた画像データを用いた虹彩認証処理を行い、被写体の虹彩情報が予め登録されている虹彩情報と一致するかどうか判断する(ステップS313)。虹彩認証の結果、被写体の虹彩情報が予め登録されている虹彩情報と一致していれば(ステップS313、Yes)、固体撮像装置1は、被写体が本人であるとして処理を終了する(ステップS314)。一方、虹彩認証の結果、被写体の虹彩情報が予め登録されている虹彩情報と一致していなければ(ステップS313、No)、固体撮像装置1は、タイムアウトするまで待機する(ステップS315)。タイムアウトした場合には(ステップS315、Yes)、固体撮像装置1は、虹彩認証による本人確認が出来なかったとして処理を終了する(ステップS316)。なお、ステップS312の判断の結果、撮像条件が虹彩認証に適したものでなければ(ステップS312、No)、固体撮像装置1は、タイムアウトするまで待機する(ステップS317)。タイムアウトした場合には(ステップS317、Yes)、固体撮像装置1は、虹彩認証による本人確認が出来なかったとして処理を終了する(ステップS316)。
ここでステップS315、S317のタイムアウト処理としては、固体撮像装置1の内部にタイマを設け、そのタイマが所定のタイムアウト時間を計時したことによる割り込みによって虹彩認証処理を終了させてもよく、アプリケーションプロセッサ370の内部にタイマを設け、そのタイマが所定のタイムアウト時間を計時すると、アプリケーションプロセッサ370が固体撮像装置1にタイムアウトしたことを通知することで虹彩認証処理を終了させてもよい。
<2.まとめ>
以上説明したように本開示の実施の形態によれば、内部で虹彩認証処理や生体認証処理に適した撮像条件を設定することで、虹彩認証処理に適正な撮像条件とする制御の完了までの時間を短縮させることが可能な固体撮像装置1を提供することが出来る。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、各装置に内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
画素がマトリクス上に配置された画素アレイと、
前記画素アレイから光電変換により得られる画像データから虹彩認証処理で用いられる虹彩情報を抽出する虹彩認証部と、
前記虹彩情報の抽出の過程で得られる情報を用いて、前記虹彩認証処理のための前記画像データを得る際の撮像条件を設定する制御を行う撮像条件制御部と、
を備える、固体撮像装置。
(2)
前記撮像条件制御部は、前記撮像条件として前記画像データを得る際の露出を設定する制御を行う、前記(1)に記載の固体撮像装置。
(3)
前記撮像条件制御部は、前記撮像条件として前記画像データを得る際のフォーカス制御を行う、前記(1)に記載の固体撮像装置。
(4)
前記虹彩認証部は、前記画像データから虹彩情報を抽出する虹彩抽出部を含む、前記(1)〜(3)のいずれかに記載の固体撮像装置。
(5)
前記虹彩認証部は、前記画像データから虹彩情報が含まれる領域を検出する領域検出部を含み、
前記虹彩抽出部は、前記領域検出部が検出した領域から虹彩情報を抽出する、前記(4)に記載の固体撮像装置。
(6)
前記虹彩認証部は、さらに、前記虹彩抽出部が抽出した虹彩情報を用いた虹彩認証処理を実行する虹彩照合部を含む、前記(4)または(5)に記載の固体撮像装置。
(7)
前記虹彩認証部が抽出した虹彩情報を暗号化する暗号化処理部をさらに備える、前記(1)〜(6)のいずれかに記載の固体撮像装置。
(8)
前記暗号化処理部は、前記画素アレイから取得される固有情報を用いて暗号化する、前記(7)に記載の固体撮像装置。
(9)
2つ以上の半導体基板が接合されている、前記(1)〜(8)のいずれかに記載の固体撮像装置。
(10)
前記半導体基板は、少なくとも前記画素アレイが形成された第1半導体基板と、少なくともロジック回路が形成された第2半導体基板と、を備える、前記(9)に記載の固体撮像装置。
(11)
前記虹彩認証部及び前記撮像条件制御部は、前記ロジック回路に形成される、前記(10)に記載の固体撮像装置。
(12)
前記第1半導体基板と、前記第2半導体基板とは、配線同士が直接接合されている、前記(10)または(11)に記載の固体撮像装置。
(13)
少なくとも画素アレイが形成された第1半導体基板と、
前記第1半導体基板に接合され、少なくともロジック回路が形成された第2半導体基板と、を備え、
前記画素アレイは、画素がマトリクス上に配置されて画像データを出力し、
前記ロジック回路は、
前記画像データから虹彩情報を抽出する虹彩認証部と、
前記虹彩認証部の結果に基づいて、露出またはフォーカスの制御を行う撮像条件制御部と、
を備える、固体撮像装置。
(14)
画素がマトリクス上に配置された画素アレイから光電変換により得られる画像データから虹彩認証処理で用いられる虹彩情報を抽出することと、
前記虹彩情報の抽出の過程で得られる情報を用いて、前記虹彩認証処理のための前記画像データを得る際の撮像条件を設定する制御を行うことと、
を含む、固体撮像装置の制御方法。
1 :固体撮像装置
300 :情報処理装置
380 :ディスプレイ
381 :ガイド
390 :光源
800 :サーバ
900 :ネットワーク

Claims (14)

  1. 画素がマトリクス上に配置された画素アレイと、
    前記画素アレイから光電変換により得られる画像データから虹彩認証処理で用いられる虹彩情報を抽出する虹彩認証部と、
    前記虹彩情報の抽出の過程で得られる情報を用いて、前記虹彩認証処理のための前記画像データを得る際の撮像条件を設定する制御を行う撮像条件制御部と、
    を備える、固体撮像装置。
  2. 前記撮像条件制御部は、前記撮像条件として前記画像データを得る際の露出を設定する制御を行う、請求項1に記載の固体撮像装置。
  3. 前記撮像条件制御部は、前記撮像条件として前記画像データを得る際のフォーカス制御を行う、請求項1に記載の固体撮像装置。
  4. 前記虹彩認証部は、前記画像データから虹彩情報を抽出する虹彩抽出部を含む、請求項1に記載の固体撮像装置。
  5. 前記虹彩認証部は、前記画像データから虹彩情報が含まれる領域を検出する領域検出部を含み、
    前記虹彩抽出部は、前記領域検出部が検出した領域から虹彩情報を抽出する、請求項4に記載の固体撮像装置。
  6. 前記虹彩認証部は、さらに、前記虹彩抽出部が抽出した虹彩情報を用いた虹彩認証処理を実行する虹彩照合部を含む、請求項4に記載の固体撮像装置。
  7. 前記虹彩認証部が抽出した虹彩情報を暗号化する暗号化処理部をさらに備える、請求項1に記載の固体撮像装置。
  8. 前記暗号化処理部は、前記画素アレイから取得される固有情報を用いて暗号化する、請求項7に記載の固体撮像装置。
  9. 2つ以上の半導体基板が接合されている、請求項1に記載の固体撮像装置。
  10. 前記半導体基板は、少なくとも前記画素アレイが形成された第1半導体基板と、少なくともロジック回路が形成された第2半導体基板と、を備える、請求項9に記載の固体撮像装置。
  11. 前記虹彩認証部及び前記撮像条件制御部は、前記ロジック回路に形成される、請求項10に記載の固体撮像装置。
  12. 前記第1半導体基板と、前記第2半導体基板とは、配線同士が直接接合されている、請求項10に記載の固体撮像装置。
  13. 少なくとも画素アレイが形成された第1半導体基板と、
    前記第1半導体基板に接合され、少なくともロジック回路が形成された第2半導体基板と、を備え、
    前記画素アレイは、画素がマトリクス上に配置されて画像データを出力し、
    前記ロジック回路は、
    前記画像データから虹彩情報を抽出する虹彩認証部と、
    前記虹彩認証部の結果に基づいて、露出またはフォーカスの制御を行う撮像条件制御部と、
    を備える、固体撮像装置。
  14. 画素がマトリクス上に配置された画素アレイから光電変換により得られる画像データから虹彩認証処理で用いられる虹彩情報を抽出することと、
    前記虹彩情報の抽出の過程で得られる情報を用いて、前記虹彩認証処理のための前記画像データを得る際の撮像条件を設定する制御を行うことと、
    を含む、固体撮像装置の制御方法。
JP2017088649A 2017-04-27 2017-04-27 固体撮像装置および固体撮像装置の制御方法 Pending JP2018185749A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017088649A JP2018185749A (ja) 2017-04-27 2017-04-27 固体撮像装置および固体撮像装置の制御方法
CN201880026192.XA CN110537198A (zh) 2017-04-27 2018-04-03 固态成像装置和用于控制固态成像装置的方法
PCT/JP2018/014212 WO2018198690A1 (ja) 2017-04-27 2018-04-03 固体撮像装置および固体撮像装置の制御方法
US16/605,362 US11317044B2 (en) 2017-04-27 2018-04-03 Solid state imaging device and method of controlling solid state imaging device
EP18792131.7A EP3617988A4 (en) 2017-04-27 2018-04-03 SOLID IMAGING DEVICE AND METHOD FOR CONTROLLING A SOLID IMAGING DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017088649A JP2018185749A (ja) 2017-04-27 2017-04-27 固体撮像装置および固体撮像装置の制御方法

Publications (1)

Publication Number Publication Date
JP2018185749A true JP2018185749A (ja) 2018-11-22

Family

ID=63919723

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017088649A Pending JP2018185749A (ja) 2017-04-27 2017-04-27 固体撮像装置および固体撮像装置の制御方法

Country Status (5)

Country Link
US (1) US11317044B2 (ja)
EP (1) EP3617988A4 (ja)
JP (1) JP2018185749A (ja)
CN (1) CN110537198A (ja)
WO (1) WO2018198690A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020121520A1 (ja) * 2018-12-14 2020-06-18 日本電気株式会社 画像処理装置、認証システム、画像処理方法、認証方法、及び、記録媒体
WO2020137606A1 (ja) * 2018-12-26 2020-07-02 ソニーセミコンダクタソリューションズ株式会社 半導体装置および電子機器
WO2020189266A1 (ja) * 2019-03-18 2020-09-24 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び情報処理システム
JP2020181305A (ja) * 2019-04-24 2020-11-05 凸版印刷株式会社 生体判別装置及び生体判別方法、並びに個人認証方法
JP2022073873A (ja) * 2020-10-29 2022-05-17 キヤノン株式会社 光電変換装置、光電変換システム、および移動体
WO2022201240A1 (ja) 2021-03-22 2022-09-29 日本電気株式会社 虹彩撮像システム、虹彩撮像方法、及びコンピュータプログラム
WO2023149295A1 (ja) * 2022-02-01 2023-08-10 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7399105B2 (ja) * 2018-12-13 2023-12-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子および映像記録装置
JP7132164B2 (ja) * 2019-03-28 2022-09-06 トヨタ自動車株式会社 車両用認証装置
JP7300869B2 (ja) * 2019-04-02 2023-06-30 株式会社ジャパンディスプレイ 生体認証システム及び生体情報検出装置
WO2021061112A1 (en) * 2019-09-25 2021-04-01 Google Llc Gain control for face authentication
WO2021066839A1 (en) 2019-10-04 2021-04-08 Google Llc Autocalibration for multiple cameras using near-infrared illuminators
CN111491088B (zh) * 2020-04-23 2021-08-31 支付宝(杭州)信息技术有限公司 安全摄像头、图像加密方法及装置和电子设备
US11653083B2 (en) * 2020-12-15 2023-05-16 Qualcomm Incorporated Image sensor module
EP4395350A1 (en) * 2021-11-29 2024-07-03 Samsung Electronics Co., Ltd. Electronic device for autofocusing and method for operating same

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1209073C (zh) * 2001-12-18 2005-07-06 中国科学院自动化研究所 基于活体虹膜的身份识别方法
JP4556103B2 (ja) * 2004-02-24 2010-10-06 ソニー株式会社 暗号化装置及び暗号化方法
JP2007093874A (ja) * 2005-09-28 2007-04-12 Matsushita Electric Ind Co Ltd オートフォーカス装置
JP2009205576A (ja) * 2008-02-29 2009-09-10 Oki Electric Ind Co Ltd 生体認証装置、虹彩認証装置、及び装着具
US8213782B2 (en) * 2008-08-07 2012-07-03 Honeywell International Inc. Predictive autofocusing system
JP2014099582A (ja) * 2012-10-18 2014-05-29 Sony Corp 固体撮像装置
WO2015127313A1 (en) 2014-02-21 2015-08-27 Samsung Electronics Co., Ltd. Multi-band biometric camera system having iris color recognition
JP6417676B2 (ja) 2014-03-06 2018-11-07 ソニー株式会社 情報処理装置、情報処理方法、アイウェア端末および認証システム
TWI692859B (zh) * 2015-05-15 2020-05-01 日商新力股份有限公司 固體攝像裝置及其製造方法、以及電子機器
US10049272B2 (en) * 2015-09-24 2018-08-14 Microsoft Technology Licensing, Llc User authentication using multiple capture techniques
KR102458241B1 (ko) * 2016-12-13 2022-10-24 삼성전자주식회사 사용자 인식 장치 및 방법
CN106603940A (zh) * 2016-12-29 2017-04-26 上海集成电路研发中心有限公司 全局像元虹膜识别图像传感器

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020121520A1 (ja) * 2018-12-14 2020-06-18 日本電気株式会社 画像処理装置、認証システム、画像処理方法、認証方法、及び、記録媒体
JPWO2020121520A1 (ja) * 2018-12-14 2021-10-14 日本電気株式会社 画像処理装置、認証システム、画像処理方法、認証方法、及び、プログラム
US12014573B2 (en) 2018-12-14 2024-06-18 Nec Corporation Image processing device, authentication system, image processing method, authentication method, and recording medium
WO2020137606A1 (ja) * 2018-12-26 2020-07-02 ソニーセミコンダクタソリューションズ株式会社 半導体装置および電子機器
WO2020189266A1 (ja) * 2019-03-18 2020-09-24 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び情報処理システム
US20220172508A1 (en) * 2019-03-18 2022-06-02 Sony Semiconductor Solutions Corporation Information processing apparatus, information processing method, and information processing system
JP2020181305A (ja) * 2019-04-24 2020-11-05 凸版印刷株式会社 生体判別装置及び生体判別方法、並びに個人認証方法
JP2022073873A (ja) * 2020-10-29 2022-05-17 キヤノン株式会社 光電変換装置、光電変換システム、および移動体
WO2022201240A1 (ja) 2021-03-22 2022-09-29 日本電気株式会社 虹彩撮像システム、虹彩撮像方法、及びコンピュータプログラム
WO2023149295A1 (ja) * 2022-02-01 2023-08-10 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
US11317044B2 (en) 2022-04-26
EP3617988A4 (en) 2020-05-27
CN110537198A (zh) 2019-12-03
EP3617988A1 (en) 2020-03-04
WO2018198690A1 (ja) 2018-11-01
US20200128203A1 (en) 2020-04-23

Similar Documents

Publication Publication Date Title
WO2018198690A1 (ja) 固体撮像装置および固体撮像装置の制御方法
US11916093B2 (en) Solid-state imaging device, driving method therefor, and electronic apparatus
US9456161B2 (en) Photoelectric conversion apparatus, image pickup system, and driving method of the photoelectric conversion apparatus
US11665448B2 (en) Information processing apparatus, information processing method, and recording medium
US20160141326A1 (en) Solid-state imaging device, driving method therefor, and electronic apparatus
US9160941B2 (en) Solid-state imaging element having substrates formed on semiconductor wafers and solid-state imaging apparatus having the same solid-state imaging element
US10277848B2 (en) Solid-state imaging device, method of driving the same, and electronic apparatus
CN107924931B (zh) 固态成像装置和电子设备
US9118851B2 (en) High dynamic range image sensor read out architecture
US11556657B2 (en) Solid-state imaging device and information processing method of solid-state imaging device
WO2017122542A1 (ja) 撮像素子、撮像素子の駆動方法、並びに、電子機器
CN109845244B (zh) 固态摄像设备
CN109478891A (zh) Ad转换装置、ad转换方法、图像传感器和电子设备
US11171164B2 (en) Image sensor, image processing method, and electronic device
CN110557585A (zh) 图像传感器、操作图像传感器的方法及系统
US20180048836A1 (en) Solid-state imaging device, driving method, and electronic apparatus
JPWO2018012316A1 (ja) 固体撮像素子および固体撮像素子の動作方法、撮像装置、並びに電子機器
US10848700B2 (en) Imaging device with switch circuit
US20200404211A1 (en) Solid-state imaging element and electronic device
US20200029045A1 (en) Solid-state imaging device and electronic apparatus