JP2022129810A - 固体撮像装置及び撮像システム - Google Patents

固体撮像装置及び撮像システム Download PDF

Info

Publication number
JP2022129810A
JP2022129810A JP2021028642A JP2021028642A JP2022129810A JP 2022129810 A JP2022129810 A JP 2022129810A JP 2021028642 A JP2021028642 A JP 2021028642A JP 2021028642 A JP2021028642 A JP 2021028642A JP 2022129810 A JP2022129810 A JP 2022129810A
Authority
JP
Japan
Prior art keywords
pixel
solid
imaging device
state imaging
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021028642A
Other languages
English (en)
Inventor
雅博 瀬上
Masahiro Segami
秀晃 富樫
Hideaki Togashi
恭範 佃
Yasunori Tsukuda
大輔 中川
Daisuke Nakagawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2021028642A priority Critical patent/JP2022129810A/ja
Priority to CN202280015696.8A priority patent/CN117063483A/zh
Priority to PCT/JP2022/003516 priority patent/WO2022181215A1/ja
Publication of JP2022129810A publication Critical patent/JP2022129810A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】撮像までの時間をより短縮することができる固体撮像装置及び撮像システムを提案する。【解決手段】固体撮像装置は、画素部と、第１の取得部と、第２の取得部と、を備える。画素部は、第１の画素及び第２の画素の組を複数有する。第１の画素及び第２の画素の組は、画素領域に配置される。第１の画素は、可視光外の光を受光する。第２の画素は、可視光を受光する。第１の取得部は、前記第１の画素から第１の信号を取得する。第２の取得部は、前記第１の信号に基づいて所定の距離範囲にある物体が検出された場合に、前記第２の画素から第２の信号を取得する。【選択図】図２

Description

本開示は、固体撮像装置及び撮像システムに関する。
従来、固体撮像装置から、画像処理の対象とする領域（ＲＯＩ：Region of Interest）の信号を読み出す技術が存在する。当該技術に係る画像センサは、例えば、精度が低いが高速で画素の読み出しが可能な高速読み出し回路で画素の読み出しを行ってＲＯＩを決定する。次に、画像センサは、低速だが精度が高い読み出しが可能な精密読み出し回路で、決定したＲＯＩに属する画素の読み出しを行う。
特表２０１６－５０４８８９号公報
上記技術では、ＲＯＩを決定するために画素の読み出しと、読み出した画像に対する処理が必要となるため、出力画像を得るまでに時間がかかってしまう。例えば、高速に移動する物体の撮像を行う場合、所望の物体を含むＲＯＩを決定してから出力画像を得るまでに時間がかかると、当該物体の撮像が行えない可能性がある。
そこで、本開示では、撮像までの時間をより短縮することができる固体撮像装置及び撮像システムを提案する。
なお、上記課題又は目的は、本明細書に開示される複数の実施形態が解決し得、又は達成し得る複数の課題又は目的の１つに過ぎない。
本開示によれば、固体撮像装置が提供される。固体撮像装置は、画素部と、第１の取得部と、第２の取得部と、を備える。画素部は、第１の画素及び第２の画素の組を複数有する。第１の画素及び第２の画素の組は、画素領域に配置される。第１の画素は、可視光外の光を受光する。第２の画素は、可視光を受光する。第１の取得部は、前記第１の画素から第１の信号を取得する。第２の取得部は、前記第１の信号に基づいて所定の距離範囲にある物体が検出された場合に、前記第２の画素から第２の信号を取得する。
本開示の実施形態に係る撮像システムの構成例を示す図である。 本開示の実施形態に係る固体撮像装置による撮像処理の一例を説明するための図である。 本開示の実施形態に係る固体撮像装置による撮像処理の一例を説明するための図である。 本開示の実施形態に係る固体撮像装置による撮像処理の一例を説明するための図である。 本開示の実施形態に係る撮像処理により取得され得る画像データについて説明するための図である。 本開示の実施形態に係る撮像処理により取得され得る画像データについて説明するための図である。 本開示の実施形態に係る固体撮像装置による撮像処理の一例を説明するための図である。 本開示の実施形態に係る固体撮像装置による撮像処理の一例を説明するための図である。 本開示の実施形態に係る撮像処理により取得され得る画像データについて説明するための図である。 本開示の実施形態に係る撮像処理により取得され得る画像データについて説明するための図である。 本開示の実施形態に係る固体撮像装置の概略構成の一例を示すブロック図である。 本開示の実施形態に係る固体撮像装置の概略構成の他の例を示すブロック図である。 本開示の実施形態に係る固体撮像装置の概略構成の他の例を示すブロック図である。 本開示の実施形態に係る画素アレイ部の概略構成例を示す模式図である。 本開示の実施形態に係る固体撮像装置の断面構造例を示す断面図である。 本実施形態に係る単位画素の概略構成例を示す回路図である。 本開示の実施形態の単位画素の概略構成の他の例を示す回路図である。 本開示の実施形態の単位画素の概略構成の他の例を示す回路図である。 本開示の実施形態に係る画素アレイ部の概略構成の他の例を示す模式図である。 本開示の実施形態に係る固体撮像装置の断面構造の他の例を示す断面図である。 本開示の実施形態に係る単位画素の概略構成の他の例を示す回路図である。 本開示の実施形態に係る画素アレイ部の概略構成の他の例を示す模式図である。 本開示の実施形態に係る画素アレイ部の概略構成の他の例を示す模式図である。 本開示の実施形態に係る固体撮像装置の断面構造の他の例を示す模式図である。 本開示の実施形態に係る固体撮像装置の断面構造の他の例を示す模式図である。 本開示の実施形態に係る固体撮像装置の断面構造の他の例を示す模式図である。 本開示の実施形態に係る固体撮像装置の断面構造の他の例を示す模式図である。 本開示の実施形態に係る固体撮像装置の断面構造の他の例を示す模式図である。 本開示の実施形態に係る固体撮像装置の断面構造の他の例を示す模式図である。 本開示の実施形態に係る固体撮像装置の断面構造の他の例を示す模式図である。 本開示の実施形態に係る固体撮像装置の断面構造の他の例を示す模式図である。 本開示の実施形態に係る固体撮像装置の断面構造の他の例を示す模式図である。 本開示の実施形態に係るＩＲ画素の読み出し動作の一例を示すタイムチャートである。 本開示の実施形態に係るＲＧＢ画素の読み出し動作の一例を示すタイムチャートである。 本開示の実施形態に係る単位画素の読み出し動作の一例を示すタイムチャートである。 本開示の実施形態に係る物体検出動作について説明するための図である。 本開示の実施形態に係る物体検出動作について説明するための図である。 本開示の実施形態に係る固体撮像装置による撮像処理の流れの一例を示すフローチャートである。 本開示の実施形態に係る第１の撮像処理の流れの一例を示すフローチャートである。 本開示の実施形態に係る撮像範囲について説明するための図である。 本開示の実施形態に係る撮像範囲の算出処理の流れの一例を示すフローチャートである。 本開示の実施形態に係る固体撮像装置が出力する画像データのフォーマットの一例を示す図である。 本開示の実施形態に係る固体撮像装置が出力する画像データのフォーマットの一例を示す図である。 本開示の実施形態に係る固体撮像装置が出力する画像データのフォーマットの他の例を示す図である。 本開示の実施形態に係る第１の撮像処理の流れの他の例を示すフローチャートである。 本開示の実施形態に係る固体撮像装置による有効領域の修正例を示す図である。 本開示の実施形態に係る撮像処理の流れの他の例を示すフローチャートである。 本開示の実施形態に係る撮像画像の補正の一例を説明するための図である。 本開示の実施形態に係る第２のデータ処理部の構成例を示すブロック図である。 本開示の実施形態に係る固体撮像装置の構成の他の例を示すブロック図である。 本開示の実施形態に係る第２の撮像条件の決定処理の流れを示すフローチャートである。 本開示の実施形態に係る固体撮像装置の構成の他の例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下に添付図面を参照しながら、本開示の実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
以下に説明される１又は複数の実施形態（実施例、変形例を含む）は、各々が独立に実施されることが可能である。一方で、以下に説明される複数の実施形態は少なくとも一部が他の実施形態の少なくとも一部と適宜組み合わせて実施されてもよい。これら複数の実施形態は、互いに異なる新規な特徴を含み得る。したがって、これら複数の実施形態は、互いに異なる目的又は課題を解決することに寄与し得、互いに異なる効果を奏し得る。
なお、説明は以下の順序で行うものとする。
１．撮像システムの概要
１．１．撮像システムの構成例
１．２．撮像処理
２．固体撮像装置の構成
２．１．固体撮像装置の概略構成例
２．２．画素アレイ部の構成例
２．３．単位画素の断面構造例
２．４．単位画素の回路構造例
２．５．画素アレイ部の変形例
２．６．有機材料
３．固体撮像装置の動作例
３．１．読み出し動作
３．２．検出動作
３．３．撮像動作
３．４．出力フォーマット
４．その他の実施形態
４．１．有効領域の修正
４．２．撮像画像の補正
４．３．第２の撮像条件の設定
４．４．プロセッサによる撮像処理
５．適用例
６．まとめ
＜＜１．撮像システムの概要＞＞
＜１．１．撮像システムの構成例＞
図１は、本開示の実施形態に係る撮像システム１の構成例を示す図である。図１に示すように、撮像システム１は、撮像レンズ１０と、固体撮像装置１００と、光源３０と、記憶部４０と、プロセッサ２０と、を備える。撮像システム１は、例えばカメラ等、撮像機能を有する電子機器である。
撮像レンズ１０は、入射光を集光してその像を固体撮像装置１００の受光面に結像する光学系の一例である。受光面とは、固体撮像装置１００における光電変換素子が配列する面であってよい。
固体撮像装置１００は、少なくとも２つの撮像手段を有する。固体撮像装置１００は、一方の撮像手段を用いて入射光のうち可視光外の光（例えば赤外光）を光電変換し、所定の距離範囲（Range of Interest）に存在する物体を検出する。かかる撮像手段を、第１の撮像系とも記載する。
また、固体撮像装置１００は、他方の撮像手段を用いて入射光のうち可視光を光電変換して画像データを生成する。かかる撮像手段を、第２の撮像系とも記載する。
固体撮像装置１００は、撮像処理を実行し、例えば所定の距離範囲に物体が存在するか否かを検出し、当該物体を検出した場合に、画像データを生成する。
光源３０は、レーザダイオードであって、例えばレーザ光を発光するように駆動される。光源３０は、面光源としてレーザ光を射出するＶＣＳＥＬ(Vertical Cavity Surface Emitting LASER)を適用し得る。ただし、光源３０は、ＶＣＳＥＬに限定されず、ＬＥＤ（Light Emitting Diode）などの種々の光源が使用されてもよい。また、光源３０は、点光源、面光源、線光源のいずれであってもよい。面光源又は線光源の場合、光源３０は、例えば、複数の点光源（例えばＶＣＳＥＬ）が１次元又は２次元に配列した構成を備えてもよい。なお、本実施形態において、光源３０は、例えば赤外（ＩＲ）光など、可視光の波長帯とは異なる波長帯（可視光外）の光を出射してよい。
記憶部４０は、例えば、フラッシュメモリやＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等で構成され、固体撮像装置１００から入力された画像データ等を記録する。
プロセッサ２０は、例えば、ＣＰＵ（Central Processing Unit）等を用いて構成され、オペレーティングシステムや各種アプリケーションソフトウエア等を実行するアプリケーションプロセッサや、ＧＰＵ（Graphics Processing Unit）やベースバンドプロセッサなどが含まれ得る。プロセッサ２０は、固体撮像装置１００から入力された画像データや記憶部４０から読み出した画像データ等に対し、必要に応じた種々処理を実行したり、ユーザへの表示を実行したり、所定のネットワークを介して外部へ送信したりする。
＜１．２．撮像処理＞
次に、撮像システム１による撮像処理の概要について説明する。当該撮像処理は、例えば固体撮像装置１００によって実行される。
図２～４は、本開示の実施形態に係る固体撮像装置１００による撮像処理の一例を説明するための図である。
図２に示すように、固体撮像装置１００は、撮像レンズ１０を介して所定の距離範囲Ｒ０に存在する物体ｏｂを検出する。ここで、距離範囲Ｒ０は、固体撮像装置１００の受光面との距離が、Ｒ１からＲ２の間の範囲である。後述するように、距離範囲Ｒ０は、例えばユーザからの指示に応じて決定される。また、撮像レンズ１０は、距離範囲Ｒ０に焦点が合うように設定される。なお、撮像レンズ１０は、物体ｏｂが無い空間に対していわゆる置きピンであらかじめ合焦位置が設定されているものとする。
固体撮像装置１００は、距離範囲Ｒ０に物体が存在するか否かを検出する。図３にしめすように、まず、固体撮像装置１００は、例えば第１の撮像系（ＩＲを用いた測距）を用いて物体までの距離を検出する（ステップＳ１）。例えば、固体撮像装置１００は、ＴｏＦ（Time of Flight）センサとして機能することで、物体までの距離を検出する。
次に、固体撮像装置１００は、検出した距離が距離範囲Ｒ０内に含まれるか否かを判定する（ステップＳ２）。検出した距離が距離範囲Ｒ０内に含まれない場合（ステップＳ２；Ｎｏ）、ステップＳ１に戻り、固体撮像装置１００は、物体までの距離を検出する。
一方、検出した距離が距離範囲Ｒ０内に含まれる場合（ステップＳ２；Ｙｅｓ）、固体撮像装置１００は、第２の撮像系（ＲＧＢ撮像）を用いて撮像を行い、画像データを取得する（ステップＳ３）。例えば、固体撮像装置１００は、ＲＧＢ画像を撮像するイメージセンサとして機能することで、画像データを取得する。
これにより、固体撮像装置１００は、図２に示すように物体ｏｂを含む画面全体を撮像し、図４に示す画像データＭ１を取得する。
図５及び図６は、本開示の実施形態に係る撮像処理により取得され得る画像データについて説明するための図である。
ここでは、図５の点線で示す領域Ｒ０１に含まれる線路までの距離が距離範囲Ｒ０に設定されているものとする。この場合、固体撮像装置１００は、距離範囲Ｒ０に物体（例えば電車）が入ると、撮像を行い図６に示すような画像データＭ０２を取得する。
このように、本開示の実施形態に係る固体撮像装置１００は、物体が距離範囲Ｒ０に存在する場合に、画像データＭ０２を取得することができる。固体撮像装置１００は、可視光外（例えば、赤外光）を用いた測距によって、物体が距離範囲Ｒ０に存在するか否かを判定する。かかる判定は、画像データの画像処理によって判定する場合と比較して短時間で行うことができる。そのため、固体撮像装置１００は、撮像までの時間、すなわち、物体を検出してから画像データを取得するまでの時間をより短縮することができる。
なお、ここでは、固体撮像装置１００による第２の撮像系での撮像が、固体撮像装置１００が撮像し得る最大の撮像範囲で行われるとしたが、これに限定されない。例えば、固体撮像装置１００が検出した物体ｏｂを含む抽出領域（例えばＲＯＩ）の撮像を行うようにしてもよい。かかる点について、図７及び図８を用いて説明する。
図７及び図８は、本開示の実施形態に係る固体撮像装置１００による撮像処理の一例を説明するための図である。
図７に示すように、固体撮像装置１００は、第１の撮像系を用いて物体ｏｂを検出すると、画面における物体ｏｂを含む領域をＲＯＩとして抽出し、第２の撮像系を用いて抽出したＲＯＩの撮像を行う。
これにより、固体撮像装置１００は、図８に示すように、物体ｏｂを含むＲＯＩの画像データＭ２を取得することができる。
図９及び図１０は、本開示の実施形態に係る撮像処理により取得され得る画像データについて説明するための図である。
ここでは、固体撮像装置１００があらかじめ定めた距離範囲Ｒ０で物体が検出された場合に、検出された物体を含む撮像領域（ＲＯＩ）で撮像を行うものとする。
例えば、固体撮像装置１００は、距離範囲Ｒ０内で物体（図９では鳥の群れ）を検出すると、当該物体を含む撮像領域Ｒ１１の撮像を行う。これにより、固体撮像装置１００は、図１０に示すように、鳥の群れを含む撮像領域の撮像画像として、画像データＭ１２を取得する。
このように、固体撮像装置１００は、ＲＯＩに限定して撮像を行うことで、撮像までの時間、すなわち、物体を検出してから画像データＭ２を取得するまでの時間をより短縮することができる。また、固体撮像装置１００は、画像データＭ２のデータ量を削減し、データ出力帯域をより低減することができる。
＜＜２．固体撮像装置の構成＞＞
＜２．１．固体撮像装置の概略構成例＞
次に、固体撮像装置１００の一例について説明する。図１１は、本開示の実施形態に係る固体撮像装置１００の概略構成の一例を示すブロック図である。図１１に示すように、固体撮像装置１００は、例えば、画素アレイ部１０１と、第１の行制御回路１０２Ａと、第２の行制御回路１０２Ｂと、第１の読み出し回路１０３Ａと、第２の読み出し回路１０３Ｂと、を備える。また、固体撮像装置１００は、パルス生成部１０４と、制御回路１０５と、基準電圧発生回路１０７と、第１のデータ処理部１０８Ａと、第２のデータ処理部１０８Ｂと、を備える。
画素アレイ部１０１は、単位画素１１０が行方向及び列方向に、すなわち、２次元格子状（行列状ともいう）に配置された構成を有する。ここで、行方向とは画素行の画素の配列方向（図面中、横方向）をいい、列方向とは画素列の画素の配列方向（図面中、縦方向）をいう。
各単位画素１１０は、所定の画素領域に形成される第１の画素１１０Ａと第２の画素１１０Ｂとを備える。単位画素１１０の具体的な回路構成や画素構造の詳細については後述するが、第１の画素１１０Ａ、第２の画素１１０Ｂは、受光した光量に応じた電荷を生成しかつ蓄積する光電変換素子を備え、入射光量に応じた電圧の画素信号を生成する。第１の画素１１０Ａ及び第２の画素１１０Ｂは、入射方向に沿って配置されたり、隣接して配置されたりするなど、互いに近傍に配置される。第１の画素１１０Ａは、可視光外の光（例えば赤外光）を受光するＩＲ画素である。一方、第２の画素１１０Ｂは、可視光（例えば、赤色光、緑色光、青色光）を受光するＲＧＢ画素である。本説明において、第１の画素１１０Ａを単にＩＲ画素１１０Ａと、第２の画素１１０Ｂを単にＲＧＢ画素１１０Ｂと称する場合がある。
画素アレイ部１０１では、行列状の画素配列に対し、画素行ごとに画素駆動線ＬＤ１及びＬＤ２が行方向に沿って配線され、画素列ごとに垂直信号線ＶＳＬ１及びＶＳＬ２が列方向に沿って配線されている。例えば、画素駆動線ＬＤ１は、各行の第１の画素１１０Ａに接続され、画素駆動線ＬＤ２は、各行の第２の画素１１０Ｂに接続される。
例えば、垂直信号線ＶＳＬ１は、各列の第１の画素１１０Ａに接続され、垂直信号線ＶＳＬ２は、各列の第２の画素１１０Ｂに接続される。ただし、これに限定されず、画素駆動線ＬＤ１及びＬＤ２は、互いに直交するように配線されていてもよい。同様に、垂直信号線ＶＳＬ１及びＶＳＬ２は、互いに直交するように配線されていてもよい。例えば、画素駆動線ＬＤ１が行方向に配線され、画素駆動線ＬＤ２が列方向に配線され、垂直信号線ＶＳＬ１が列方向に配線され、垂直信号線ＶＳＬ２が行方向に配線されてもよい。
画素駆動線ＬＤ１は、第１の画素１１０Ａから画素信号を読み出す際の駆動を行うための制御信号を伝送する。画素駆動線ＬＤ２は、第２の画素１１０Ｂから画素信号を読み出す際の駆動を行うための制御信号を伝送する。
図１１では、画素駆動線ＬＤ１及びＬＤ２がそれぞれ１本ずつの配線として示されているが、１本ずつに限られるものではない。画素駆動線ＬＤ１の一端は、第１の行制御回路１０２Ａの各行に対応した出力端に接続され、画素駆動線ＬＤ２の一端は、第２の行制御回路１０２Ｂの各行に対応した出力端に接続される。
（ＩＲ画素の駆動構成）
第１の画素１１０Ａは、後述において詳細に説明するが、入射光を光電変換して電荷を発生させる光電変換部と、光電変換部に発生した電荷の電荷量に応じた電圧値の画素信号を生成する画素回路とを備える。第１の画素１１０Ａは、第１の行制御回路１０２Ａによる制御に従い、垂直信号線ＶＳＬ１に画素信号を出現させる。
第１の行制御回路１０２Ａは、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部１０１の第１の画素１１０Ａを全画素同時あるいは行単位等で駆動する。すなわち、第１の行制御回路１０２Ａは、当該第１の行制御回路１０２Ａを制御する制御回路１０５と共に、画素アレイ部１０１の各第１の画素１１０Ａの動作を制御する駆動部を構成する。第１の行制御回路１０２Ａは、その具体的な構成については図示を省略するが、一般的に、読出し走査系と掃出し走査系との２つの走査系を備えている。
読出し走査系は、各画素から信号を読み出すために、画素アレイ部１０１の各画素を行単位で順に選択走査する。各画素から読み出される画素信号はアナログ信号である。掃出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対して、その読出し走査よりも露光時間分だけ先行して掃出し走査を行う。
この掃出し走査系による掃出し走査により、読出し行の各画素の光電変換素子から不要な電荷が掃き出されることによって当該光電変換素子がリセットされる。そして、この掃出し走査系で不要電荷を掃き出す（リセットする）ことにより、所謂電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、光電変換素子の電荷を捨てて、新たに露光を開始する（電荷の蓄積を開始する）動作のことを言う。
読出し走査系による読出し動作によって読み出される信号は、その直前の読出し動作又は電子シャッタ動作以降に受光した光量に対応している。そして、直前の読出し動作による読出しタイミング又は電子シャッタ動作による掃出しタイミングから、今回の読出し動作による読出しタイミングまでの期間が、各画素における電荷の蓄積期間（露光期間ともいう）となる。
第１の行制御回路１０２Ａによって選択走査された画素行の各第１の画素１１０Ａから出力される画素信号は、画素列ごとに垂直信号線ＶＳＬ１の各々を通して第１の読み出し回路１０３Ａに入力される。第１の読み出し回路１０３Ａは、画素アレイ部１０１の画素列ごとに、選択行の各第１の画素１１０Ａから垂直信号線ＶＳＬ１を通して出力される画素信号に対して所定の信号処理を行うとともに、信号処理後の画素信号を一時的に保持する。
具体的には、第１の読み出し回路１０３Ａは、信号処理として少なくとも、ノイズ除去処理、例えばＣＤＳ（Correlated Double Sampling：相関二重サンプリング）処理や、ＤＤＳ（Double Data Sampling）処理を行う。例えば、ＣＤＳ処理により、リセットノイズや画素内の増幅トランジスタの閾値ばらつき等の画素固有の固定パターンノイズが除去される。第１の読み出し回路１０３Ａは、その他にも、例えば、ＡＤ（アナログ－デジタル）変換機能を備え、光電変換素子から読み出されたアナログの画素信号をデジタル信号に変換して出力する。
（ＲＧＢ画素の駆動構成）
第２の画素１１０Ｂは、後述において詳細に説明するが、入射光を光電変換して電荷を発生させる光電変換部と、光電変換部に発生した電荷の電荷量に応じた電圧値の画素信号を生成する画素回路とを備える。第２の画素１１０Ｂは、第２の行制御回路１０２Ｂによる制御に従い、垂直信号線ＶＳＬ２に画素信号を出現させる。
第２の行制御回路１０２Ｂ及び第２の読み出し回路１０３Ｂは、処理対象が第２の画素１１０Ｂである点を除き、第１の行制御回路１０２Ａ及び第１の読み出し回路１０３Ａと同様の構成を有するため、ここでの説明を省略する。
（その他構成）
基準電圧発生回路１０７は、第１の参照信号ＶＲＥＦ１を第１の読み出し回路１０３Ａに供給し、第２の参照信号ＶＲＥＦ２を第２の読み出し回路１０３Ｂに供給する。基準電圧発生回路１０７は、例えばＤＡ変換回路などを用いて構成される。第１の参照信号ＶＲＥＦ１は、第１の読み出し回路１０３Ａで行われるＡＤ変換の参照信号として使用される。第２の参照信号ＶＲＥＦ２は、第２の読み出し回路１０３Ｂで行われるＡＤ変換の参照信号として使用される。
なお、第１の参照信号ＶＲＥＦ１及び第２の参照信号ＶＲＥＦ２は、読み出し対象とする画素ごとに異なる値に設定され得る。これにより、固体撮像装置１００は、画素ごとにＳ／Ｎを維持することができる。
制御回路１０５は、各種のタイミング信号を生成するタイミングジェネレータなどによって構成され、当該タイミングジェネレータで生成された各種のタイミングを基に、行制御回路１０２、読み出し回路１０３、及び、パルス生成部１０４などの駆動制御を行う。
また、制御回路１０５は、水平駆動（列制御）機能を有していてもよい。水平駆動機能は、例えばシフトレジスタやアドレスデコーダなどの構成によって実現され得る。水平駆動機能によって、読み出し回路１０３の画素列に対応する読み出し回路（以下、画素回路という）が順番に選択される。この水平駆動機能による選択走査により、読み出し回路１０３において画素回路ごとに信号処理された画素信号が順次出力される。
パルス生成部１０４は、制御回路１０５からの制御に従い、光源３０を駆動するための駆動パルス信号を生成する。パルス生成部１０４は、生成した駆動パルス信号を光源３０に出力する。これにより、光源３０は、例えば赤外光を出射する。
第１のデータ処理部１０８Ａは、少なくとも演算処理機能を有し、第１の読み出し回路１０３Ａから出力される画素信号に対して演算処理等の種々の信号処理を行う。第１のデータ処理部１０８Ａは、例えば、距離範囲Ｒ０内にある物体を検出したり、検出結果に応じて第２の撮像系の撮像領域（ＲＯＩ）を決定したりする。第１のデータ処理部１０８Ａは、第１の読み出し回路１０３Ａを介して第１の画素１１０Ａから画素信号（第１の信号）を取得する第１の取得部である。
第１のデータ処理部１０８Ａは、決定した撮像領域に関する情報（以下、ＲＯＩ情報という）を第２の行制御回路１０２Ｂ、第２の読み出し回路１０３Ｂ、及び、制御回路１０５に出力する。
第２のデータ処理部１０８Ｂは、少なくとも演算処理機能を有し、第２の読み出し回路１０３Ｂから出力される画素信号に対して演算処理等の種々の信号処理を行う。第２のデータ処理部１０８Ｂは、後述するように、距離範囲Ｒ０にある物体が検出された場合に、第２の読み出し回路１０３Ｂを介して第２の画素１１０Ｂから画素信号（第２の信号）を取得する第２の取得部である。第２のデータ処理部１０８Ｂは、信号処理を行って生成した画像データをプロセッサ２０に出力する。画像データは、例えば、固体撮像装置１００を含む撮像システム１におけるプロセッサ２０（図１参照）等において所定の処理が実行されたり、所定のネットワークを介して外部へ送信されたりしてもよい。
なお、固体撮像装置１００は、データ処理部１０８での信号処理に必要なデータや、読み出し回路１０３及びデータ処理部１０８のうちのいずれか１つ以上で処理されたデータ等を一時的に保持するための記憶部を備えていてもよい。
（装置構成の変形例）
なお、固体撮像装置１００の構成は、図１１の例に限定されない。例えば、第１の撮像系及び第２の撮像系の一部の機能や構成は共有され得る。
図１２は、本開示の実施形態に係る固体撮像装置１００の概略構成の他の例を示すブロック図である。図１２に示す固体撮像装置１００は、垂直信号線ＶＳＬ１及びＶＳＬ２の代わりに画素列ごとに垂直信号線ＶＳＬが列方向に沿って配線される点で、図１１の固体撮像装置１００と異なる。すなわち、図１２の固体撮像装置１００では、第１の画素１１０Ａと第２の画素１１０Ｂとが垂直信号線ＶＳＬを共有する。固体撮像装置１００は、垂直信号線ＶＳＬを介して、第１の画素１１０Ａからの画素信号の読み出しと第２の画素１１０Ｂからの画素信号の読み出しとを時分割で実行する。
これにより、固体撮像装置１００の配線を縮小することができ、画素ピッチの縮小が可能となる。
図１３は、本開示の実施形態に係る固体撮像装置１００の概略構成の他の例を示すブロック図である。図１３に示す固体撮像装置１００は、第１の読み出し回路１０３Ａ及び第２の読み出し回路１０３Ｂの代わりに読み出し回路１０３を備える点で、図１２の固体撮像装置１００と異なる。すなわち、図１３の固体撮像装置１００では、第１の画素１１０Ａと第２の画素１１０Ｂとが読み出し回路１０３を共有する。固体撮像装置１００は、読み出し回路１０３による画素信号の読み出しを、第１の画素１１０Ａ及び第２の画素１１０Ｂの読み出しを時分割で実行する。
これにより、固体撮像装置１００は、画素アレイ部１０１の周辺回路の面積を削減することができる。
＜２．２．画素アレイ部の構成例＞
次に、画素アレイ部１０１の構成例について説明する。なお、ここでは、単位画素１１０が、ＲＧＢ三原色のカラー画像を取得するためのＲＧＢ画素１１０Ｂと、赤外（ＩＲ）光のモノクロ画像を取得するためのＩＲ画素１１０Ａとを含む場合を例示に挙げる。また、図１４及び以下では、ＲＧＢ三原色を構成する各色成分の光を透過させるカラーフィルタ３１ｒ、３１ｇ又は３１ｂを区別しない場合、その符号が３１とされている。
図１４は、本開示の実施形態に係る画素アレイ部１０１の概略構成例を示す模式図である。図１４に示すように、画素アレイ部１０１は、ＲＧＢ画素１１０ＢとＩＲ画素１１０Ａとを含む単位画素１１０が光の入射方向に沿って配列した構造を備える。また、単位画素１１０は、２次元格子状に配列した構成を備える。すなわち、図１４では、ＲＧＢ画素１１０ＢとＩＲ画素１１０Ａとが単位画素１１０の配列方向（平面方向）に対して垂直方向に位置されている。これにより、本実施形態では、入射光の光路における上流側に位置するＲＧＢ画素１１０Ｂを透過した光は、このＲＧＢ画素１１０Ｂの下流側に位置するＩＲ画素１１０Ａに入射する。このような構成によれば、ＲＧＢ画素１１０Ｂの光電変換部ＰＤ２における入射光の入射面と反対側の面側にＩＲ画素１１０Ａの光電変換部ＰＤ１が配置される。それにより、本実施形態では、光の入射方向に沿って配列するＲＧＢ画素１１０ＢとＩＲ画素１１０Ａとの入射光の光軸が一致又は略一致している。
なお、図１４では、ＲＧＢ画素１１０Ｂを構成する光電変換部ＰＤ２を有機材料で構成し、ＩＲ画素１１０Ａを構成する光電変換部ＰＤ１をシリコンなどの半導体材料で構成する場合を例示するが、これに限定されるものではない。例えば、光電変換部ＰＤ１と光電変換部ＰＤ２との両方が半導体材料で構成されてもよいし、光電変換部ＰＤ１と光電変換部ＰＤ２との両方が有機材料で構成されてもよいし、光電変換部ＰＤ２が半導体材料で構成され、光電変換部ＰＤ１が有機材料で構成されてもよい。若しくは、光電変換部ＰＤ１と光電変換部ＰＤ２との少なくとも一方が有機材料及び半導体材料とは異なる光電変換材料で構成されてもよい。
＜２．３．単位画素の断面構造例＞
次に、図１５を参照して、本開示の実施形態に係る固体撮像装置１００の断面構造例を説明する。図１５は、本開示の実施形態に係る固体撮像装置１００の断面構造例を示す断面図である。ここでは、単位画素１１０における光電変換部ＰＤ１及びＰＤ２が形成された半導体チップに着目してその断面構造例を説明する。
また、以下の説明では、光の入射面が半導体基板５０の裏面側（素子形成面と反対側）である、いわゆる裏面照射型の断面構造を例示するが、これに限定されず、光の入射面が半導体基板５０の表面側（素子形成面側）である、いわゆる表面照射型の断面構造であってもよい。さらに、本説明では、ＲＧＢ画素１１０Ｂの光電変換部ＰＤ２に有機材料が用いられた場合を例示するが、上述したように、光電変換部ＰＤ１及びＰＤ２それぞれの光電変換材料には、有機材料及び半導体材料（無機材料ともいう）のうちの一方若しくは両方が用いられてよい。
なお、光電変換部ＰＤ２の光電変換材料及び光電変換部ＰＤ１の光電変換材料の両方に半導体材料を用いる場合、固体撮像装置１００は、光電変換部ＰＤ２と光電変換部ＰＤ１とが同一の半導体基板５０に作り込まれた断面構造を有してもよいし、光電変換部ＰＤ２が作り込まれた半導体基板と光電変換部ＰＤ１が作り込まれた半導体基板とが貼り合わされた断面構造を有してもよいし、光電変換部ＰＤ１及びＰＤ２のうちの一方が半導体基板５０に作り込まれ、他方が半導体基板５０の裏面又は表面上に形成された半導体層に作り込まれた断面構造を有してもよい。
図１５に示すように、本実施形態では、半導体基板５０にＩＲ画素１１０Ａの光電変換部ＰＤ１が形成され、半導体基板５０の裏面側（素子形成面と反対側）の面上に、ＲＧＢ画素１１０Ｂの光電変換部ＰＤ２が設けられた構造を備える。なお、図１５では、説明の都合上、半導体基板５０の裏面が紙面中上側に位置し、表面が下側に位置している。
半導体基板５０には、例えば、シリコン（Ｓｉ）などの半導体材料が用いられてよい。ただし、これに限定されず、ＧａＡｓ、ＩｎＧａＡｓ、ＩｎＰ、ＡｌＧａＡｓ、ＩｎＧａＰ、ＡｌＧａＩｎＰ、ＩｎＧａＡｓＰ等の化合物半導体を含む種々の半導体材料が用いられてよい。
（ＲＧＢ画素１１０Ｂ）
ＲＧＢ画素１１０Ｂの光電変換部ＰＤ２は、絶縁層５３を挟んで、半導体基板５０の裏面側に設けられている。光電変換部ＰＤ２は、例えば、有機材料により構成された光電変換膜３４と、光電変換膜３４を挟むように配置された透明電極３３及び半導体層３５とを備える。光電変換膜３４に対して紙面中上側（以降、紙面中上側を上面側とし、下側を下面側とする）に設けられた透明電極３３は、例えば、光電変換部ＰＤ２のアノードとして機能し、下面側に設けられた半導体層３５は、光電変換部ＰＤ２のカソードとして機能する。
カソードとして機能する半導体層３５は、絶縁層５３中に形成された読出し電極３６に電気的に接続される。読出し電極３６は、絶縁層５３及び半導体基板５０を貫通する配線６１、６２、６３及び６４に接続することで、半導体基板５０の表面（下面）側にまで電気的に引き出されている。なお、図１５には示されていないが、配線６４は、図４に示す浮遊拡散領域ＦＤ１に電気的に接続されている。
カソードとして機能する半導体層３５の下面側には、絶縁層５３を挟んで蓄積電極３７が併設される。図１５には示されていないが、蓄積電極３７は、画素駆動線ＬＤにおける転送制御線に接続されており、上述したように、露光時には、光電変換部ＰＤ２に発生した電荷を蓄積電極３７の近傍の半導体層３５に集めるための電圧が印加され、読出し時には、蓄積電極３７の近傍の半導体層３５に集められた電荷を読出し電極３６を介して流出させるための電圧が印加される。
読出し電極３６及び蓄積電極３７は、透明電極３３と同様に、透明な導電膜であってよい。透明電極３３並びに読出し電極３６及び蓄積電極３７には、例えば、酸化インジウムスズ（ＩＴＯ）や酸化亜鉛（ＩＺＯ）などの透明導電膜が用いられてよい。ただし、これらに限定されず、光電変換部ＰＤ１が検出対象とする波長帯の光を透過させ得る導電膜であれば、種々の導電膜が使用されてよい。
また、半導体層３５には、例えば、ＩＧＺＯなどの透明な半導体層が用いられてよい。ただし、これらに限定されず、光電変換部ＰＤ１が検出対象とする波長帯の光を透過させ得る半導体層であれば、種々の半導体層が使用されてよい。
さらに、絶縁層５３は、例えば、シリコン酸化膜（ＳｉＯ２）やシリコン窒化膜（ＳｉＮ）などの絶縁膜が使用されてよい。ただし、これらに限定されず、光電変換部ＰＤ１が検出対象とする波長帯の光を透過させ得る絶縁膜であれば、種々の絶縁膜が使用されてよい。
アノードとして機能する透明電極３３の上面側には、封止膜３２を挟んでカラーフィルタ３１が設けられる。封止膜３２は、例えば、窒化シリコン（ＳｉＮ）などの絶縁材料で構成され、透明電極３３からアルミニウム（Ａｌ）やチタニウム（Ｔｉ）などの原子が拡散することを防止するために、これらの原子を含み得る。
カラーフィルタ３１の配列については後述において説明するが、例えば、１つのＲＧＢ画素１１０Ｂに対しては、特定の波長成分の光を選択的に透過させるカラーフィルタ３１が設けられる。ただし、色情報を取得するＲＧＢ画素１１０Ｂの代わりに輝度情報を取得するモノクロ画素を設ける場合には、カラーフィルタ３１が省略されてもよい。
（ＩＲ画素１１０Ａ）
ＩＲ画素１１０Ａの光電変換部ＰＤ１は、例えば、半導体基板５０におけるｐウェル領域４２に形成されたｐ型半導体領域４３と、ｐ型半導体領域４３の中央付近に形成されたｎ型半導体領域４４とを備える。ｎ型半導体領域４４は、例えば、光電変換により発生した電荷（電子）を蓄積する電荷蓄積領域として機能し、ｐ型半導体領域４３は、光電変換により発生した電荷をｎ型半導体領域４４内に集めるための電位勾配を形成する領域として機能する。
光電変換部ＰＤ１の光入射面側には、例えば、ＩＲ光を選択的に透過させるＩＲフィルタ４１が配置される。ＩＲフィルタ４１は、例えば、半導体基板５０の裏面側に設けられた絶縁層５３内に配置されてよい。ＩＲフィルタ４１を光電変換部ＰＤ１の光入射面に配置することで、光電変換部ＰＤ１への可視光の入射を抑制することが可能となるため、可視光に対するＩＲ光のＳ／Ｎ比を改善することができる。それにより、ＩＲ光のより正確な検出結果を得ることが可能となる。
半導体基板５０の光入射面には、入射光（本例ではＩＲ光）の反射を抑制するために、例えば、微細な凹凸構造が設けられている。この凹凸構造は、いわゆるモスアイ構造と称される構造であってもよいし、モスアイ構造とはサイズやピッチが異なる凹凸構造であってもよい。
半導体基板５０の表面（紙面中下面）側、すなわち、素子形成面側には、転送トランジスタ２１として機能する縦型トランジスタ４５と、電荷蓄積部として機能する浮遊拡散領域ＦＤ２とが設けられる。縦型トランジスタ４５のゲート電極は、半導体基板５０の表面からｎ型半導体領域４４にまで達しており、層間絶縁膜５６に形成された配線６５及び６６（画素駆動線ＬＤの転送制御線の一部）を介して行制御回路１０２に接続されている。
縦型トランジスタ４５を介して流出した電荷は、浮遊拡散領域ＦＤ２に蓄積される。浮遊拡散領域ＦＤ２は、層間絶縁膜５６に形成された配線６７及び６８を介して、リセットトランジスタ２２のソース及び増幅トランジスタ２３のゲートに接続される。なお、リセットトランジスタ２２、増幅トランジスタ２３及び選択トランジスタ２４は、半導体基板５０の素子形成面に設けられてもよいし、半導体基板５０とは異なる半導体基板に設けられてもよい。
なお、図１５には、１つの光電変換部ＰＤ１に対して２つの縦型トランジスタ４５（転送トランジスタ２１）が設けられた場合が例示されているが、これに限定されず、１つの縦型トランジスタ４５が設けられてもよいし、３以上の縦型トランジスタ４５が設けられてもよい。同様に、１つの光電変換部ＰＤ１に対して２つの浮遊拡散領域ＦＤ２が設けられた場合が例示されているが、これに限定されず、１つの浮遊拡散領域ＦＤ２が設けられてもよいし、３以上の浮遊拡散領域ＦＤ２が設けられてもよい。
（画素分離構造）
半導体基板５０には、複数の単位画素１１０の間を電気的に分離する画素分離部５４が設けられており、この画素分離部５４で区画された各領域内に、光電変換部ＰＤ１が設けられる。例えば、半導体基板５０の裏面（図中上面）側から固体撮像装置１００を見た場合、画素分離部５４は、例えば、複数の単位画素１１０の間に介在する格子形状を有しており、各光電変換部ＰＤ１は、この画素分離部５４で区画された各領域内に形成されている。
画素分離部５４には、例えば、タングステン（Ｗ）やアルミニウム（Ａｌ）などの光を反射する反射膜が用いられてもよい。それにより、光電変換部ＰＤ１内に進入した入射光を画素分離部５４で反射させることが可能となるため、光電変換部ＰＤ１内での入射光の光路長を長くすることが可能となる。加えて、画素分離部５４を光反射構造とすることで、隣接画素への光の漏れ込みを低減することが可能となるため、画質や測距精度等をより向上させることも可能となる。なお、画素分離部５４を光反射構造とする構成は、反射膜を用いる構成に限定されず、例えば、画素分離部５４に半導体基板５０とは異なる屈折率の材料を用いることでも実現することができる。
半導体基板５０と画素分離部５４との間には、例えば、固定電荷膜５５が設けられる。固定電荷膜５５は、例えば、半導体基板５０との界面部分において正電荷（ホール）蓄積領域が形成されて暗電流の発生が抑制されるように、負の固定電荷を有する高誘電体を用いて形成されている。固定電荷膜５５が負の固定電荷を有するように形成されていることで、その負の固定電荷によって、半導体基板１３８との界面に電界が加わり、正電荷（ホール）蓄積領域が形成される。
固定電荷膜５５は、例えば、ハフニウム酸化膜（ＨｆＯ２膜）で形成することができる。また、固定電荷膜５５は、その他、例えば、ハフニウム、ジルコニウム、アルミニウム、タンタル、チタン、マグネシウム、イットリウム、ランタノイド元素等の酸化物の少なくとも１つを含むように形成することができる。
なお、図１５には、画素分離部５４が半導体基板５０の表面から裏面にまで達する、いわゆるＦＴＩ（Full Trench Isolation）構造を有する場合が例示されているが、これに限定されず、例えば、画素分離部５４が半導体基板５０の裏面又は表面から半導体基板５０の中腹付近まで形成された、いわゆるＤＴＩ（Deep Trench Isolation）構造など、種々の素子分離構造を採用することが可能である。
（瞳補正）
カラーフィルタ３１の上面上には、シリコン酸化膜やシリコン窒化膜などによる平坦化膜５２が設けられる。平坦化膜５２の上面上は、例えば、ＣＭＰ（Chemical Mechanical Polishing）により平坦化され、この平坦化された上面上には、単位画素１１０ごとのオンチップレンズ５１が設けられる。各単位画素１１０のオンチップレンズ５１は、入射光を光電変換部ＰＤ１及びＰＤ２に集めるような曲率を備えている。なお、各単位画素１１０におけるオンチップレンズ５１、カラーフィルタ３１、ＩＲフィルタ４１、光電変換部ＰＤ１の位置関係は、例えば、画素アレイ部１０１の中心からの距離（像高）に応じて調節されていてもよい（瞳補正）。
また、図１５に示す構造において、斜めに入射した光が隣接画素へ漏れ込むことを防止するための遮光膜が設けられてもよい。遮光膜は、半導体基板５０の内部に設けられた画素分離部５４の上方（入射光の光路における上流側）に位置し得る。ただし、瞳補正をする場合、遮光膜の位置は、例えば、画素アレイ部１０１の中心からの距離（像高）に応じて調節されていてもよい。このような遮光膜は、例えば、封止膜３２内や平坦化膜５２内に設けられてよい。また、遮光膜の材料には、例えば、アルミニウム（Ａｌ）やタングステン（Ｗ）などの遮光材料が用いられてよい。
＜２．４．単位画素の回路構造例＞
次に、単位画素１１０の回路構成例について説明する。図１６は、本実施形態に係る単位画素１１０の概略構成例を示す回路図である。図１６に示すように、単位画素１１０は、ＲＧＢ画素１１０Ｂと、ＩＲ画素１１０Ａとを１つずつ備える。
（ＲＧＢ画素１１０Ｂ）
ＲＧＢ画素１１０Ｂは、例えば、光電変換部ＰＤ２と、転送ゲート１１と、浮遊拡散領域ＦＤ１と、リセットトランジスタ１２と、増幅トランジスタ１３と、選択トランジスタ１４とを備える。
選択トランジスタ１４のゲートには、画素駆動線ＬＤに含まれる選択制御線が接続され、リセットトランジスタ１２のゲートには、画素駆動線ＬＤに含まれるリセット制御線が接続され、転送ゲート１１の後述する蓄積電極（図１５の蓄積電極３７参照）には、画素駆動線ＬＤ２に含まれる転送制御線が接続される。また、増幅トランジスタ１３のソースには、第２の読み出し回路１０３Ｂに一端が接続される垂直信号線ＶＳＬ２が選択トランジスタ１４を介して接続される。
以下の説明において、リセットトランジスタ１２、増幅トランジスタ１３及び選択トランジスタ１４は、まとめて画素回路とも称される。この画素回路には、浮遊拡散領域ＦＤ１及び／又は転送ゲート１１が含まれてもよい。
光電変換部ＰＤ２は、例えば有機材料で構成され、入射した光を光電変換する。転送ゲート１１は、光電変換部ＰＤ２に発生した電荷を転送する。浮遊拡散領域ＦＤ１は、転送ゲート１１が転送した電荷を蓄積する。増幅トランジスタ１３は、浮遊拡散領域ＦＤ１に蓄積された電荷に応じた電圧値の画素信号を垂直信号線ＶＳＬ２に出現させる。リセットトランジスタ１２は、浮遊拡散領域ＦＤ１に蓄積された電荷を放出する。選択トランジスタ１４は、読出し対象のＲＧＢ画素１１０Ｂを選択する。
光電変換部ＰＤ２のアノードは、接地されており、カソ－ドは、転送ゲート１１に接続される。転送ゲート１１は、図１５を用いて上述したように、例えば、蓄積電極３７と読出し電極３６とを備える。露光時には、光電変換部ＰＤ２に発生した電荷を蓄積電極３７の近傍の半導体層３５に集めるための電圧が、転送制御線を介して蓄積電極３７に印加される。読出し時には、蓄積電極３７の近傍の半導体層３５に集められた電荷を読出し電極３６を介して流出させるための電圧が、転送制御線を介して蓄積電極３７に印加される。
読出し電極３６を介して流出した電荷は、読出し電極３６と、リセットトランジスタ１２のソースと、増幅トランジスタ１３のゲートとを接続する配線構造によって構成される浮遊拡散領域ＦＤ１に蓄積される。なお、リセットトランジスタ１２のドレインは、例えば、電源電圧ＶＤＤや電源電圧ＶＤＤとは異なるリセット電圧が供給される電源線に接続されてもよい。
増幅トランジスタ１３のドレインは、例えば電源線に接続されてよい。増幅トランジスタ１３のソースは、選択トランジスタ１４のドレインに接続され、選択トランジスタ１４のソースは、垂直信号線ＶＳＬ２に接続される。
浮遊拡散領域ＦＤ１は、蓄積している電荷をその電荷量に応じた電圧値の電圧に変換する。なお、浮遊拡散領域ＦＤ１は、例えば、対接地容量であってもよい。ただし、これに限定されず、浮遊拡散領域ＦＤ１は、転送ゲート１１のドレインとリセットトランジスタ１２のソースと増幅トランジスタ１３のゲートとが接続するノードにキャパシタなどを意図的に接続することで付加された容量等であってもよい。
垂直信号線ＶＳＬ２は、第２の読み出し回路１０３Ｂにおいてカラム毎（すなわち、垂直信号線ＶＳＬ２毎）に設けられたＡＤ（Analog-to-Digital）変換回路（図示省略）に接続される。ＡＤ変換回路は、例えば、比較器とカウンタとを備え、基準電圧発生回路１０７（ＤＡＣ（Digital-to-Analog Converter））から入力されたシングルスロープやランプ形状等の基準電圧と、垂直信号線ＶＳＬ２に出現した画素信号とを比較することで、アナログの画素信号をデジタルの画素信号に変換する。なお、ＡＤ変換回路は、例えば、ＣＤＳ（Correlated Double Sampling）回路などを備え、ｋＴＣノイズ等を低減可能に構成されていてもよい。
（ＩＲ画素１１０Ａ）
ＩＲ画素１１０Ａは、例えば、光電変換部ＰＤ１と、転送トランジスタ２１と、浮遊拡散領域ＦＤ２と、リセットトランジスタ２２と、増幅トランジスタ２３と、選択トランジスタ２４と、排出トランジスタ２５とを備える。すなわち、ＩＲ画素１１０Ａでは、ＲＧＢ画素１１０Ｂにおける転送ゲート１１が転送トランジスタ２１に置き換えられるとともに、排出トランジスタ２５が追加されている。
転送トランジスタ２１に対する浮遊拡散領域ＦＤ２、リセットトランジスタ２２及び増幅トランジスタ２３の接続関係は、ＲＧＢ画素１１０Ｂにおける転送ゲート１１に対する浮遊拡散領域ＦＤ１、リセットトランジスタ１２及び増幅トランジスタ１３の接続関係と同様であってよい。また、増幅トランジスタ２３と選択トランジスタ２４と垂直信号線ＶＳＬ１との接続関係も、ＲＧＢ画素１１０Ｂにおける増幅トランジスタ１３と選択トランジスタ１４と垂直信号線ＶＳＬ２との接続関係と同様であってよい。
転送トランジスタ２１のソースは、例えば、光電変換部ＰＤ１のカソードに接続され、ドレインは浮遊拡散領域ＦＤ２に接続される。また、転送トランジスタ２１のゲートには、画素駆動線ＬＤに含まれる転送制御線が接続される。
排出トランジスタ２５のソースは、例えば、光電変換部ＰＤ１のカソードに接続され、ドレインは、電源電圧ＶＤＤや電源電圧ＶＤＤとは異なるリセット電圧が供給される電源線に接続されてよい。また、排出トランジスタ２５のゲートには、画素駆動線ＬＤ１に含まれる排出制御線が接続される。
以下の説明において、リセットトランジスタ２２、増幅トランジスタ２３及び選択トランジスタ２４は、まとめて画素回路とも称される。この画素回路には、浮遊拡散領域ＦＤ２、転送トランジスタ２１及び排出トランジスタ２５のうちの１つ以上が含まれてもよい。
光電変換部ＰＤ１は、例えば半導体材料で構成され、入射した光を光電変換する。転送トランジスタ２１は、光電変換部ＰＤ１に発生した電荷を転送する。浮遊拡散領域ＦＤ２は、転送トランジスタ２１が転送した電荷を蓄積する。増幅トランジスタ２３は、浮遊拡散領域ＦＤ２に蓄積された電荷に応じた電圧値の画素信号を垂直信号線ＶＳＬ１に出現させる。リセットトランジスタ２２は、浮遊拡散領域ＦＤ２に蓄積された電荷を放出する。選択トランジスタ２４は、読出し対象のＩＲ画素１１０Ａを選択する。
光電変換部ＰＤ１のアノードは、接地されており、カソ－ドは、転送トランジスタ２１に接続される。転送トランジスタ２１のドレインは、リセットトランジスタ２２のソース及び増幅トランジスタ２３のゲートに接続されており、これらを接続する配線構造が、浮遊拡散領域ＦＤ２を構成する。光電変換部ＰＤ１から転送トランジスタ２１を介して流出した電荷は、浮遊拡散領域ＦＤ２に蓄積される。
浮遊拡散領域ＦＤ２は、蓄積している電荷をその電荷量に応じた電圧値の電圧に変換する。なお、浮遊拡散領域ＦＤ２は、例えば、対接地容量であってもよい。ただし、これに限定されず、浮遊拡散領域ＦＤ２は、転送トランジスタ２１のドレインとリセットトランジスタ２２のソースと増幅トランジスタ２３のゲートとが接続するノードにキャパシタなどを意図的に接続することで付加された容量等であってもよい。
排出トランジスタ２５は、光電変換部ＰＤ１に蓄積された電荷を排出して、光電変換部ＰＤ１をリセットする際にオン状態とされる。それにより、光電変換部ＰＤ１に蓄積された電荷が排出トランジスタ２５を介して電源線へ流出し、光電変換部ＰＤ１が露光されていない状態にリセットされる。
垂直信号線ＶＳＬ１は、垂直信号線ＶＳＬ２と同様、第１の読み出し回路１０３Ａにおいてカラム毎（すなわち、垂直信号線ＶＳＬ１毎）に設けられたＡＤ変換回路（図示省略）に接続される。第１の読み出し回路１０３ＡのＡＤ変換回路は、第２の読み出し回路１０３ＢのＡＤ変換回路と同様の構成であってよい。
（回路構成の変形例）
続いて、図１６に示す単位画素１１０の回路構成の変形例について、いくつか例を挙げて説明する。
図１７は、本開示の実施形態の単位画素１１０の概略構成の他の例を示す回路図である。図１７に示すように、単位画素１１０は、図１６に示す単位画素１１０と同様の構成において、垂直信号線ＶＳＬ１及びＶＳＬ２の代わりに垂直信号線ＶＳＬがスイッチ回路１３２を介して第１の読み出し回路１０３Ａ及び第２の読み出し回路１０３Ｂ（図１２参照）に接続されるように構成される。
そこで、図１７では、垂直信号線ＶＳＬを、第１の読み出し回路１０３Ａ及び第２の読み出し回路１０３Ｂのどちらに接続するか切り替えるスイッチ回路１３１が設けられる。スイッチ回路１３１は、例えば、ＲＧＢ画素１１０Ｂ及び／又はＩＲ画素１１０Ａの画素回路と同じ半導体基板に設けられてもよいし、読み出し回路１０３が配置された半導体基板に設けられてもよいし、これらとは異なる半導体基板に設けられてもよい。また、スイッチ回路１３１を制御する制御信号は、行制御回路１０２から供給されてもよいし、制御回路１０５から供給されてもよいし、他の構成（例えば図１におけるプロセッサ２０等）から供給されてもよい。
また、固体撮像装置１００が第１の読み出し回路１０３Ａ及び第２の読み出し回路１０３Ｂの代わりに共通の読み出し回路１０３で構成される場合（図１３参照）、スイッチ回路１３１が省略され得る。
このような構成によれば、垂直信号線ＶＳＬや読み出し回路１０３の回路規模を縮小することが可能となるため、面積効率の向上による固体撮像装置１００の小型化や高解像度化等が可能となる。
図１８は、本開示の実施形態の単位画素１１０の概略構成の他の例を示す回路図である。図１７に示すように、単位画素１１０は、図１７に示す単位画素１１０と同様の構成において、ＲＧＢ画素１１０Ｂの画素回路、及び、ＩＲ画素１１０Ａの画素回路の少なくとも一部を共有するように構成される。図１８では、リセットトランジスタ２２、増幅トランジスタ２３及び選択トランジスタ２４を省略し、リセットトランジスタ１２、増幅トランジスタ１３及び選択トランジスタ１４をＲＧＢ画素１１０Ｂ及びＩＲ画素１１０Ａが共有している。
このような構成によれば、画素回路の回路規模を縮小することが可能となるため、面積効率の向上による固体撮像装置１００の小型化や高解像度化等が可能となる。
なお、ここでは、ＲＧＢ画素１１０Ｂ及びＩＲ画素１１０Ａで画素回路を共有する場合について示したが、例えば複数のＲＧＢ画素１１０Ｂで画素回路を共有してもよく、複数のＩＲ画素１１０Ａで画素回路を共有してもよい。
＜２．５．画素アレイ部の変形例＞
上述した図１４では、１つのＩＲ画素１１０Ａに対して１つのＲＧＢ画素１１０Ｂが対応付けられている場合を例に挙げた。これに対し、ここでは、１つのＩＲ画素１１０Ａに対して複数のＲＧＢ画素１１０Ｂが対応付けられている場合を例に挙げる。
（画素アレイ部１０１の構成例１）
図１９は、本開示の実施形態に係る画素アレイ部１０１の概略構成の他の例を示す模式図である。図１９に示すように、画素アレイ部１０１は、２行２列に配列した４つのＲＧＢ画素１１０Ｂに対して１つのＩＲ画素１１０Ａが光の入射方向に配置された構造を備える単位画素１１０が２次元格子状に配列した構成を備える。すなわち、図１９では、４つのＲＧＢ画素１１０Ｂに対して１つのＩＲ画素１１０Ａが、単位画素１１０の配列方向（平面方向）に対して垂直方向に位置される。これにより、入射光の光路における上流側に位置する４つのＲＧＢ画素１１０Ｂを透過した光は、これら４つのＲＧＢ画素１１０Ｂの下流側に位置する１つのＩＲ画素１１０Ａに入射するように構成されている。したがって、図１９では、４つのＲＧＢ画素１１０Ｂで構成されたベイヤー配列の単位配列とＩＲ画素１１０Ａとの入射光の光軸が一致又は略一致している。
（単位画素の断面構造例）
図２０は、本開示の実施形態に係る固体撮像装置１００の断面構造の他の例を示す断面図である。なお、本説明では、図１９と同様に、各単位画素１１０が２行２列に配列した４つのＲＧＢ画素１１０Ｂと、１つのＩＲ画素１１０Ａとから構成されている場合を例に挙げる。また、以下の説明では、図１５と同様に、単位画素１１０における光電変換部ＰＤ１及びＰＤ２が形成された半導体チップに着目してその断面構造例を説明する。さらに、以下の説明において、図１５を用いて説明した固体撮像装置１００の断面構造と同様の構造については、それらを引用することで、重複する説明を省略する。
図２０に示すように、図１５に例示した断面構造と同様の断面構造において、オンチップレンズ５１と、カラーフィルタ３１と、蓄積電極３７とが、２行２列の４つ（ただし、図２０では４つのうちの２つが示されている）に分割され、それにより、４つのＲＧＢ画素１１０Ｂが構成されている。なお、各単位画素１１０における４つのＲＧＢ画素１１０Ｂは、ベイヤー配列の基本配列を構成していてよい。
（単位画素の回路構成例）
図２１は、本開示の実施形態に係る単位画素１１０の概略構成の他の例を示す回路図である。なお、図２１では、図１６に示す単位画素１１０をベースとしているが、これに限定されず、図１７又は図１８の単位画素１１０をベースとすることも可能である。
図２１に示すように、単位画素１１０は、複数のＲＧＢ画素１１０Ｂ－１～１１０Ｂ－Ｎ（図１９では、Ｎは４）と、１つのＩＲ画素１１０Ａとを備える。このように、１つの単位画素１１０が複数のＲＧＢ画素１１０Ｂを備える場合、複数のＲＧＢ画素１１０Ｂで１つの画素回路（リセットトランジスタ１２、浮遊拡散領域ＦＤ１、増幅トランジスタ１３及び選択トランジスタ１４）を共有することが可能である（画素共有）。そこで、図２１では、複数のＲＧＢ画素１１０Ｂ－１～１１０Ｂ－Ｎが、リセットトランジスタ１２、浮遊拡散領域ＦＤ１、増幅トランジスタ１３及び選択トランジスタ１４よりなる画素回路を共有する。すなわち、図２１では、共通の浮遊拡散領域ＦＤ１に複数の光電変換部ＰＤ１及び転送ゲート１１が接続されている。
（画素アレイ部１０１の構成例２）
なお、上述した画素アレイ部１０１では、ＩＲ画素１１０Ａ及びＲＧＢ画素１１０Ｂが積層されていたが、これに限定されない。ＩＲ画素１１０Ａ及びＲＧＢ画素１１０Ｂが同一平面に配置されていてもよい。
図２２及び図２３は、本開示の実施形態に係る画素アレイ部１０１の概略構成の他の例を示す模式図である。図２２及び図２３では、画素アレイ部１０１を光の入射方向から見た図を示している。なお、ここでは、単位画素１１０が、ＲＧＢ三原色のカラー画像を取得するためのＲＧＢ画素１１０Ｂと、赤外（ＩＲ）光のモノクロ画像を取得するためのＩＲ画素１１０Ａとを含む場合を例示に挙げる。
図２２に示すように、画素アレイ部１０１は、３つのＲＧＢ画素１１０Ｂと１つのＩＲ画素１１０Ａを２行２列に配列した単位画素１１０が２次元格子状に配列された構成を備える。なお、フィルタ３１ｄは、赤外光（ＩＲ）を選択的に透過させるフィルタである。
あるいは、図２３に示すように、２行２列に配列した４つのＲＧＢ画素１１０Ｂに対して１つのＩＲ画素１１０Ａが、同一平面に配置されるようにしてもよい。図２３では、４つのＲＧＢ画素１１０Ｂ及び１つのＩＲ画素１１０Ａが、１つの単位画素１１０として２次元格子状に配列された構成を備える。
（単位画素の断面構造例）
図２４Ａ～図２４Ｉは、本開示の実施形態に係る固体撮像装置１００の断面構造の他の例を示す模式図である。図２４Ａ～図２４Ｉは模式図であり、必ずしも厳密に図示されたものではない。また、図２４Ａ～図２４Ｉは、光電変換部ＰＤ１及びＰＤ２の配置例を説明するための図であり、説明に不要な構成要素の説明は省略する。
図２４Ａの例では、光電変換部ＰＤ１及びＰＤ２が同一平面に配置される。光電変換部ＰＤ２には、赤色の光を光電変換する光電変換部ＰＤ２ｒ、緑色の光を光電変換部ＰＤ２ｂ、青色の光を光電変換する光電変換部ＰＤ２ｂが含まれる。
図２４Ｂ及び図２４Ｃに示すように、光電変換部ＰＤ１と光電変換部ＰＤ２とが積層されて配置されてもよい。図２４Ｂでは、入射光の光路における上流側に光電変換部ＰＤ１が配置され、下流側に光電変換部ＰＤ２が配置される。図２４Ｃでは、入射光の光路における上流側に光電変換部ＰＤ２が配置され、下流側に光電変換部ＰＤ１が配置される。図２４Ａと同様に、図２４Ｂ及び図２４Ｃの光電変換部ＰＤ２には、赤色の光を光電変換する光電変換部ＰＤ２ｒ、緑色の光を光電変換部ＰＤ２ｂ、青色の光を光電変換する光電変換部ＰＤ２ｂが含まれる。
例えば、所定の可視光を光電変換する光電変換部ＰＤ２ｒ、ＰＤ２ｇ、ＰＤ２ｂの代わりに、後述するパンクロマチックな感光性有機光電変換膜など、紫外域から赤色域にかけて略全ての可視光の光電変換を行う光電変換膜を用いて光電変換部ＰＤ２を構成してもよい。この場合、図２４Ｄ及び図２４Ｅに示すように、各光電変換部ＰＤ２に対して、カラーフィルタ３１ｒ、３１ｇ、３１ｂを設けることで、光電変換部ＰＤ２は、赤色、緑色及び青色の光の光電変換をそれぞれ行う。なお、図２４Ｄでは、入射光の光路における上流側に光電変換部ＰＤ１が配置され、下流側に光電変換部ＰＤ２が配置される場合を示している。図２４Ｅでは、入射光の光路における上流側に光電変換部ＰＤ２が配置され、下流側に光電変換部ＰＤ１が配置される場合を示している。
また、光電変換部ＰＤ２は、光電変換する光に応じて材料が異なっていてもよい。例えば、緑色の光を光電変換する光電変換部ＰＤ２ｇが、有機系の半導体材料で構成され、赤色及び青色の光を光電変換する光電変換部ＰＤ２ｒ、ＰＤ２ｂが、シリコンなどの半導体材料で構成されてもよい。
図２４Ｆの例では、入射光の光路における上流側に光電変換部ＰＤ１が配置され、下流側に光電変換部ＰＤ２が配置される場合を示している。光電変換部ＰＤ２のうち緑色の光を光電変換する光電変換部ＰＤ２ｇは、赤色及び青色の光を光電変換する光電変換部ＰＤ２ｒ、ＰＤ２ｂと、光電変換部ＰＤ１との間に配置される。また、光電変換部ＰＤ２ｒ、ＰＤ２ｂに対して、それぞれカラーフィルタ３１ｒ、３１ｂが設けられる。なお、図２４Ｇは、入射光の光路における上流側に光電変換部ＰＤ２ｇが配置され、下流側に光電変換部ＰＤ１が配置される点を除き図２４Ｆと同じ構成を有する。
シリコンなどの半導体材料で構成される光電変換部ＰＤ２ｒ、ＰＤ２ｂは、入射方向において積層して構成されてもよい。図２４Ｈの例では、入射光の光路における上流側に光電変換部ＰＤ２ｂが配置され、下流側に光電変換部ＰＤ２ｒが配置される場合を示している。なお、図２４Ｉは、入射光の光路における上流側に光電変換部ＰＤ２ｇが配置され、下流側に光電変換部ＰＤ１が配置される点を除き図２４Ｈと同じ構成を有する。
＜２．６．有機材料＞
本開示の実施形態において、光電変換膜３４の材料に有機系半導体を用いる場合、光電変換膜３４の層構造は、以下のような構造とすることが可能である。ただし、積層構造の場合、その積層順は適宜入れ替えることが可能である。
（１）ｐ型有機半導体の単層構造
（２）ｎ型有機半導体の単層構造
（３－１）ｐ型有機半導体層／ｎ型有機半導体層の積層構造
（３－２）ｐ型有機半導体層／ｐ型有機半導体とｎ型有機半導体との混合層（バルクヘテロ構造）／ｎ型有機半導体層の積層構造
（３－３）ｐ型有機半導体層／ｐ型有機半導体とｎ型有機半導体との混合層（バルクヘテロ構造）の積層構造
（３－４）ｎ型有機半導体層／ｐ型有機半導体とｎ型有機半導体との混合層（バルクヘテロ構造）の積層構造
（４）ｐ型有機半導体とｐ型有機半導体との混合層（バルクヘテロ構造）
ここで、ｐ型有機半導体としては、ナフタレン誘導体、アントラセン誘導体、フェナントレン誘導体、ピレン誘導体、ペリレン誘導体、テトラセン誘導体、ペンタセン誘導体、キナクリドン誘導体、チオフェン誘導体、チエノチオフェン誘導体、ベンゾチオフェン誘導体、ベンゾチエノベンゾチオフェン誘導体、トリアリルアミン誘導体、カルバゾール誘導体、ペリレン誘導体、ピセン誘導体、クリセン誘導体、フルオランテン誘導体、フタロシアニン誘導体、サブフタロシアニン誘導体、サブポルフィラジン誘導体、複素環化合物を配位子とする金属錯体、ポリチオフェン誘導体、ポリベンゾチアジアゾール誘導体、ポリフルオレン誘導体等を挙げることができる。
ｎ型有機半導体としては、フラーレン及びフラーレン誘導体〈例えば、Ｃ６０や、Ｃ７０，Ｃ７４等のフラーレン（高次フラーレン、内包フラーレン等）又はフラーレン誘導体（例えば、フラーレンフッ化物やＰＣＢＭフラーレン化合物、フラーレン多量体等）〉、ｐ型有機半導体よりもＨＯＭＯ及びＬＵＭＯが大きい（深い）有機半導体、透明な無機金属酸化物を挙げることができる。
ｎ型有機半導体として、具体的には、窒素原子、酸素原子、硫黄原子を含有する複素環化合物、例えば、ピリジン誘導体、ピラジン誘導体、ピリミジン誘導体、トリアジン誘導体、キノリン誘導体、キノキサリン誘導体、イソキノリン誘導体、アクリジン誘導体、フェナジン誘導体、フェナントロリン誘導体、テトラゾール誘導体、ピラゾール誘導体、イミダゾール誘導体、チアゾール誘導体、オキサゾール誘導体、イミダゾール誘導体、ベンズイミダゾール誘導体、ベンゾトリアゾール誘導体、ベンズオキサゾール誘導体、ベンズオキサゾール誘導体、カルバゾール誘導体、ベンゾフラン誘導体、ジベンゾフラン誘導体、サブポルフィラジン誘導体、ポリフェニレンビニレン誘導体、ポリベンゾチアジアゾール誘導体、ポリフルオレン誘導体等を分子骨格の一部に有する有機分子、有機金属錯体やサブフタロシアニン誘導体を挙げることができる。
フラーレン誘導体に含まれる基等として、ハロゲン原子；直鎖、分岐若しくは環状のアルキル基若しくはフェニル基；直鎖若しくは縮環した芳香族化合物を有する基；ハロゲン化物を有する基；パーシャルフルオロアルキル基；パーフルオロアルキル基；シリルアルキル基；シリルアルコキシ基；アリールシリル基；アリールスルファニル基；アルキルスルファニル基；アリールスルホニル基；アルキルスルホニル基；アリールスルフィド基；アルキルスルフィド基；アミノ基；アルキルアミノ基；アリールアミノ基；ヒドロキシ基；アルコキシ基；アシルアミノ基；アシルオキシ基；カルボニル基；カルボキシ基；カルボキソアミド基；カルボアルコキシ基；アシル基；スルホニル基；シアノ基；ニトロ基；カルコゲン化物を有する基；ホスフィン基；ホスホン基；これらの誘導体を挙げることができる。
以上のような有機系材料から構成された光電変換膜３４の膜厚としては、次の値に限定されるものではないが、例えば、１×１０－８ｍ（メートル）乃至５×１０－７ｍ、好ましくは、２．５×１０－８ｍ乃至３×１０－７ｍ、より好ましくは、２．５×１０－８ｍ乃至２×１０－７ｍ、一層好ましくは、１×１０－７ｍ乃至１．８×１０－７ｍを例示することができる。尚、有機半導体は、ｐ型、ｎ型と分類されることが多いが、ｐ型とは正孔を輸送し易いという意味であり、ｎ型とは電子を輸送し易いという意味であり、無機半導体のように熱励起の多数キャリアとして正孔又は電子を有しているという解釈に限定されるものではない。
緑色の波長の光を光電変換する光電変換膜３４を構成する材料としては、例えば、ローダミン系色素、メラシアニン系色素、キナクリドン誘導体、サブフタロシアニン系色素（サブフタロシアニン誘導体）等を挙げることができる。
また、青色の光を光電変換する光電変換膜３４を構成する材料としては、例えば、クマリン酸色素、トリス－８－ヒドリキシキノリアルミニウム（Ａｌｑ３）、メラシアニン系色素等を挙げることができる。
さらに、赤色の光を光電変換する光電変換膜３４を構成する材料としては、例えば、フタロシアニン系色素、サブフタロシアニン系色素（サブフタロシアニン誘導体）を挙げることができる。
さらにまた、光電変換膜３４としては、紫外域から赤色域にかけて略全ての可視光に対して感光するパンクロマチックな感光性有機光電変換膜を用いることも可能である。
＜＜３．固体撮像装置の動作例＞＞
＜３．１．読み出し動作＞
続いて、固体撮像装置１００による画素信号の読み出し動作について説明する。
（ＩＲ画素１１０Ａ）
図２５は、本開示の実施形態に係るＩＲ画素１１０Ａの読み出し動作の一例を示すタイムチャートである。図２５では、図１６に示すＩＲ画素１１０Ａの読み出し動作の一例を示している。
図２５において「ＴＲＧ」、「ＲＳＴ」、「ＳＥＬ」は、それぞれ転送パルスＴＲＧ、リセットパルスＲＳＴ、選択信号ＳＥＬを示す。また、「ＯＦＧ」は、排出トランジスタ２５を駆動する駆動信号ＯＦＧを示す。「ＣＮＶ」は、第１の読み出し回路１０３Ａによる読み出しタイミングＣＮＶを示す。「ＦＤ」は、ＩＲ画素１１０Ａの浮遊拡散領域ＦＤ２に蓄積される電荷量を示し、「ＶＳＬ」は、垂直信号線ＶＳＬ１から出力される画素信号のレベル（電圧）を示している。また、ＤＯＵＴは、第１の読み出し回路１０３ＡによるＡＤ変換処理後のデータＤＯＵＴを示している。
図２５のタイムチャートにおいて、初期状態では、選択信号ＳＥＬ、リセットパルスＲＳＴ及び転送パルスＴＲＧがそれぞれロー状態とされる。また、駆動信号ＯＦＧはハイ状態のため、光電変換部ＰＤ１は露光されず、電荷は蓄積されない。
時点ｔ１において、リセットパルスＲＳＴがハイ状態とされ、浮遊拡散領域ＦＤ２の電荷が電源ＶＤＤに排出されることにより、浮遊拡散領域ＦＤ２の電位が所定電位ＶＤＤにリセットされる。
時点ｔ２において、選択信号ＳＥＬがハイ状態とされて、選択トランジスタ２４がオンとされる。これにより、浮遊拡散領域ＦＤ２の電位に応じた信号が垂直信号線ＶＳＬ１に出力される。
次に、時点ｔ３で、垂直信号線ＶＳＬ１に出力されたリセットレベル（黒レベル）の信号ＤＴＯＦＰ＿ｋが、第１の読み出し回路１０３Ａによりデジタル値に変換され、例えば、第１の読み出し回路１０３Ａが持つレジスタなどに一時的に記憶される。この信号ＤＴＯＦＰ＿ｋは、オフセット性のノイズである。この信号ＤＴＯＦＰ＿ｋの読み出しを、Ｐ相（Pre-Charge）読み出しと呼び、Ｐ相読み出しを行う期間をＰ相期間と呼ぶ。
次に、時点ｔｇ１から時点ｔｇ２の間、駆動信号ＯＦＧがロー状態となり、転送パルスＴＲＧがハイ状態となる。これにより、光電変換部ＰＤ１が露光され、光電変換により生成された電荷が浮遊拡散領域ＦＤ２に蓄積される。時点ｔｇ１から時点ｔｇ２の間を有効受光期間と呼び、ＩＲ画素１１０Ａは、この期間で赤外光を受光する。
時点ｔ４において、選択信号ＳＥＬがハイ状態とされて、選択トランジスタ２４がオンとされる。これにより、浮遊拡散領域ＦＤ２の電位に応じた信号が垂直信号線ＶＳＬ１に出力される。
時点ｔ５で、垂直信号線ＶＳＬ１に出力された信号ＤＴＯＦＤ＿ｋが、第１の読み出し回路１０３Ａによりデジタル値に変換され、例えば、第１の読み出し回路１０３Ａが持つレジスタなどに一時的に記憶される。この信号ＤＴＯＦＤ＿ｋは、オフセット性のノイズと画素信号とを含む信号である。この信号ＤＴＯＦＤ＿ｋの読み出しを、Ｄ相（Data Phase）読み出しと呼び、Ｄ相読み出しを行う期間をＤ相期間と呼ぶ。
第１の読み出し回路１０３Ａは、記憶した信号ＤＴＯＦＰ＿ｋ及び信号ＤＴＯＦＤ＿ｋを第１のデータ処理部１０８Ａに供給する。第１のデータ処理部１０８Ａは、信号ＤＴＯＦＰ＿ｋと信号ＤＴＯＦＤ＿ｋとの差分を求める。これにより、オフセット性のノイズが除去された画素信号を得ることができる。
（ＲＧＢ画素１１０Ｂ）
図２６は、本開示の実施形態に係るＲＧＢ画素１１０Ｂの読み出し動作の一例を示すタイムチャートである。図２６では、図１６に示すＲＧＢ画素１１０Ｂの読み出し動作の一例を示している。
図２６において「ＴＲＧ」、「ＲＳＴ」、「ＳＥＬ」は、それぞれ転送パルスＴＲＧ、リセットパルスＲＳＴ、選択信号ＳＥＬを示す。「ＣＮＶ」は、第２の読み出し回路１０３Ｂによる読み出しタイミングＣＮＶを示す。「ＦＤ」は、ＲＧＢ画素１１０Ｂの浮遊拡散領域ＦＤ１に蓄積される電荷量を示し、「ＶＳＬ」は、垂直信号線ＶＳＬ２から出力される画素信号のレベル（電圧）を示している。また、ＤＯＵＴは、第２の読み出し回路１０３ＢによるＡＤ変換処理後のデータＤＯＵＴを示している。
図２６のタイムチャートにおいて、初期状態では、選択信号ＳＥＬ、リセットパルスＲＳＴ及び転送パルスＴＲＧがそれぞれロー状態とされる。この状態では、光電変換部ＰＤ１が露光され、光電変換により生成される電荷が光電変換部ＰＤ１に蓄積され続けている。
時点ｔ１１において、リセットパルスＲＳＴ及び転送パルスＴＲＧがハイ状態とされ、浮遊拡散領域ＦＤ２の電荷が電源ＶＤＤに排出されることにより、浮遊拡散領域ＦＤ２の電位が所定電位ＶＤＤにリセットされる。
時点ｔ１２において、選択信号ＳＥＬがハイ状態とされて、選択トランジスタ１４がオンとされる。これにより、浮遊拡散領域ＦＤ１の電位に応じた信号が垂直信号線ＶＳＬ２に出力される。
時点ｔ１３で、垂直信号線ＶＳＬ２に出力されたリセットレベル（黒レベル）の信号ＤＲＧＢＰ＿ｋが、第２の読み出し回路１０３Ｂによりデジタル値に変換され、例えば、第２の読み出し回路１０３Ｂが持つレジスタなどに一時的に記憶される。この信号ＤＲＧＢＰ＿ｋは、オフセット性のノイズである。この信号ＤＲＧＢＰ＿ｋの読み出しを、Ｐ相（Pre-Charge）読み出しと呼び、Ｐ相読み出しを行う期間をＰ相期間と呼ぶ。
次に、時点ｔ１４で転送パルスＴＲＧがハイ状態となる。これにより、光電変換部ＰＤ１で生成された電荷が浮遊拡散領域ＦＤ１に蓄積される。
時点ｔ１５において、選択信号ＳＥＬがハイ状態とされて、選択トランジスタ１４がオンとされる。これにより、浮遊拡散領域ＦＤ１の電位に応じた信号が垂直信号線ＶＳＬ２に出力される。
時点ｔ１６で、垂直信号線ＶＳＬ２に出力された信号ＤＲＧＢＤ＿ｋが、第２の読み出し回路１０３Ｂによりデジタル値に変換され、例えば、第２の読み出し回路１０３Ｂが持つレジスタなどに一時的に記憶される。この信号ＤＲＧＢＤ＿ｋは、オフセット性のノイズと画素信号とを含む信号である。この信号ＤＲＧＢＤ＿ｋの読み出しを、Ｄ相（Data Phase）読み出しと呼び、Ｄ相読み出しを行う期間をＤ相期間と呼ぶ。
第２の読み出し回路１０３Ｂは、記憶した信号ＤＲＧＢＰ＿ｋ及び信号ＤＲＧＢＤ＿ｋを第２のデータ処理部１０８Ｂに供給する。第２のデータ処理部１０８Ｂは、信号ＤＲＧＢＰ＿ｋと信号ＤＲＧＢＤ＿ｋとの差分を求める。これにより、オフセット性のノイズが除去された画素信号を得ることができる。
（時分割）
図２７は、本開示の実施形態に係る単位画素１１０の読み出し動作の一例を示すタイムチャートである。図２７では、図１７に示す単位画素１１０の読み出し動作の一例を示している。
図２７に示すように、固体撮像装置１００は、時点Ｔ１で動作を「測距」から「撮像」に切り替える。固体撮像装置１００は、時点Ｔ１まで、ＩＲ画素１１０Ａの読み出し動作を実行し、測距を行うことで測距データを取得する。なお、ＩＲ画素１１０Ａの読み出し動作は図２５と同じであるため説明を省略する。
次に、固体撮像装置１００は、時点Ｔ１以降、ＲＧＢ画素１１０Ｂの読み出し動作を実行し、撮像を行う。これにより、時点Ｔ１から１クロック経過した時点Ｔ２以降で、固体撮像装置１００は撮像データを取得する。なお、ＲＧＢ画素１１０Ｂの読み出し動作は図２６と同じであるため説明を省略する。
＜３．２．検出動作＞
続いて、図２８及び図２９を用いて、固体撮像装置１００による物体の検出動作について説明する。図２８及び図２９は、本開示の実施形態に係る物体検出動作について説明するための図である。
図２８に示すように、固体撮像装置１００は、距離範囲Ｒ０内の物体ｏｂを検出する。ここでは、物体ｏｂが距離範囲Ｒ０内に存在する場合をＣａｓｅ１、物体ｏｂが距離範囲Ｒ０の固体撮像装置１００から遠い方の境界に存在する場合をＣａｓｅ２、物体ｏｂが距離範囲Ｒ０外に存在する場合をＣａｓｅ３として説明する。
図２９に示す「Ｅｍｉｔ」は、光源３０を制御する制御信号Ｅｍｉｔであり、パルス生成部１０４で生成され光源３０に供給される。光源３０は、制御信号Ｅｍｉｔがハイ状態で発光し、時刻ｔ２１で照射光（ＩＲ）を出射する。
光源３０が出射した照射光は、物体ｏｂで反射して、ＩＲ画素１１０Ａの光電変換部ＰＤ１に反射光として入射される（図２８参照）。反射光は、固体撮像装置１００と物体ｏｂとの間の距離に応じた時間差で光電変換部ＰＤ１に入射される。
上述したように、ＩＲ画素１１０Ａは、有効受光期間で露光を行い、反射光を光電変換する。有効受光期間は、時点ｔｇ１から時点ｔｇ２の間であり、距離範囲Ｒ０に応じて設定される。固体撮像装置１００から距離Ｒ１離れた位置から距離Ｒ２離れた位置までの間が距離範囲Ｒ０であるとする（図３参照）と、Ｒ１＝ｃ／（ｔｇ１／２）、Ｒ２＝ｃ／（ｔｇ２／２）となる。固体撮像装置１００は、あらかじめ設定された距離範囲Ｒ０に応じて、有効受光期間を設定する。
固体撮像装置１００は、有効受光期間で駆動信号ＯＦＧをロー状態とすることで、ＩＲ画素１１０Ａの露光を行う。
物体ｏｂが距離範囲Ｒ０内に存在する場合（Ｃａｓｅ１）では、反射光は、有効受光期間内に光電変換部ＰＤ１に到達する。そのため、Ｃａｓｅ１では、浮遊拡散領域ＦＤ２に蓄積される電荷量は大きくなり、垂直信号線ＶＳＬ１から出力される画素信号のレベル（電圧）もＰ相の画素信号のレベルから大きく変化する。
一方、物体ｏｂが距離範囲Ｒ０の境界付近に存在する場合（Ｃａｓｅ２）では、反射光が光電変換部ＰＤ１に到達する時刻は、Ｃａｓｅ１と比較して遅くなり、有効受光期間の終了付近になる。また、反射光の強度もＣａｓｅ１より小さくなる。そのため、Ｃａｓｅ２では、浮遊拡散領域ＦＤ２に蓄積される電荷量はＣａｓｅ１と比較して小さくなる。また、垂直信号線ＶＳＬ１から出力される画素信号のレベルの変化は、Ｃａｓｅ１と比較して小さくなる。
また、物体ｏｂが距離範囲Ｒ０外に存在する場合（Ｃａｓｅ３）では、反射光は、有効受光期間を経過してから光電変換部ＰＤ１に到達するため、当該反射光による光電変換は行われない。そのため、Ｃａｓｅ３では、浮遊拡散領域ＦＤ２の電荷量に変化はなく、垂直信号線ＶＳＬ１から出力されるＤ相の画素信号レベルも、Ｐ相の画素信号レベルとほぼ同じになる。
このように、固体撮像装置１００は、距離範囲Ｒ０に応じた有効受光期間を設定することで、距離範囲Ｒ０内に物体ｏｂが存在する場合に、信号レベルの高い画素信号を取得することができる。
固体撮像装置１００の第１のデータ処理部１０８Ａは、例えば、Ｄ相の画素信号とＰ相の画素信号との差分をＩＲ画素１１０Ａの画素信号として第１の読み出し回路１０３Ａから取得する。第１のデータ処理部１０８Ａは、しきい値ＴＨと取得した画素信号とを比較し、比較結果から距離範囲Ｒ０に物体ｏｂが存在するか否かを判定する。
例えば、第１のデータ処理部１０８Ａは、画素信号のレベルがしきい値ＴＨ以上であれば、距離範囲Ｒ０に物体ｏｂが存在すると判定する。
＜３．３．撮像動作＞
（撮像処理）
図３０を用いて、固体撮像装置１００による撮像動作について説明する。図３０は、本開示の実施形態に係る固体撮像装置１００による撮像処理の流れの一例を示すフローチャートである。固体撮像装置１００は、撮像動作として図３０に示す撮像処理を実行する。
図３０に示すように、固体撮像装置１００は、距離範囲Ｒ０を設定する（ステップＳ１０１）。例えば、距離範囲Ｒ０は、ユーザが具体的な距離の範囲を直接入力することで設定され得る。あるいは、ユーザが、固体撮像装置１００の焦点をあらかじめ所望の位置に合わせておく、いわゆる置きピンを行うことで、距離範囲Ｒ０を指定してもよい。この場合、固体撮像装置１００は、焦点位置に応じた距離範囲Ｒ０を設定する。
次に、固体撮像装置１００は、光源３０をＯＦＦして撮像を行い、背景光レベルを取得する（ステップＳ１０２）。続いて、固体撮像装置１００は、取得した背景光レベルに応じて、第１の撮像条件を設定する（ステップＳ１０３）。ここで、第１の撮像は、距離範囲Ｒ０に存在する物体ｏｂを検出するための撮像であり、ＩＲによる測距（例えばＴｏＦ）を行うための撮像である。
固体撮像装置１００は、例えば背景光レベルと距離範囲Ｒ０に応じて光源３０の照射レベル及び発光時間を、第１の撮像条件として設定する。また、固体撮像装置１００は、有効受光期間のｔｇ１、ｔｇ２（図２９参照）や、１回の撮像で行う積算回数を第１の撮像条件として設定する。
なお、上記第１の撮像条件は一例であり、これに限定されない。例えばあらかじめ規定の積算回数で撮像を行う場合等、固体撮像装置１００は、第１の撮像条件の設定を一部省略してもよい。あるいは、固体撮像装置１００は、上記以外の第１の撮像条件を設定するようにしてもよい。
続いて、固体撮像装置１００は、第１の撮像処理を実行し（ステップＳ１０４）、距離範囲Ｒ０に物体ｏｂが存在するか否かを検出する。第１の撮像処理の詳細については後述する。
固体撮像装置１００は、第２の撮像を行うか否かを判定する（ステップＳ１０５）。第２の撮像は、物体ｏｂを撮像するものであり、例えばカラー画像を取得するための撮像である。
固体撮像装置１００は、撮像対象である物体ｏｂが距離範囲Ｒ０内に存在しない場合、第２の撮像を行わないと判定し（ステップＳ１０５；Ｎｏ）、ステップＳ１０８に進む。
一方、固体撮像装置１００は、撮像対象である物体ｏｂが距離範囲Ｒ０内に存在する場合、第２の撮像を行うと判定し（ステップＳ１０５；Ｙｅｓ）、第２の撮像条件を設定する（ステップＳ１０６）。例えば、固体撮像装置１００は、第２の撮像の露光時間や走査範囲（撮像画像のサイズ）等を設定する。なお、固体撮像装置１００は、駆動対象行と読み出し対象列を指定することで走査範囲を設定する。
上述したように、固体撮像装置１００は、距離範囲Ｒ０内に物体ｏｂが存在した場合、画面全体の撮像を行う場合（図３及び図４参照）と、物体ｏｂを含む抽出領域の撮像を行う場合（図７及び図８参照）とがある。
画面全体の撮像を行う場合、固体撮像装置１００は、全てのＲＧＢ画素１１０Ｂを対象として走査範囲を設定する。一方、抽出領域の撮像を行う場合、固体撮像装置１００は、抽出領域を設定し、設定した抽出領域のＲＧＢ画素１１０Ｂを対象として走査範囲を設定する。なお、抽出領域の設定の詳細については後述する。
固体撮像装置１００は、第２の撮像処理を実行し（ステップＳ１０７）、撮像画像を得る。固体撮像装置１００は、撮像を終了するか否かを判定する（ステップＳ１０８）。
撮像を終了する場合（ステップＳ１０８；Ｙｅｓ）、固体撮像装置１００は、撮像画像を後段のプロセッサ２０（図１参照）に出力し（ステップＳ１０９）、処理を終了する。
一方、撮像を継続する場合（ステップＳ１０８；Ｎｏ）、固体撮像装置１００は、物体ｏｂの再検出を行うか否かを判定する（ステップＳ１１０）。
例えば、物体ｏｂが高速で移動する場合、固体撮像装置１００は、第２の撮像を行うたびに再度物体ｏｂの検出を行うことで、物体ｏｂを高速に追尾し、撮像することができる（高速追尾モード）。一方、物体ｏｂの移動速度が遅い場合、固体撮像装置１００は、物体ｏｂの検出を省略し、ステップＳ１０６で設定した第２の撮像条件で、第２の撮像を行うことで、物体ｏｂの検出負荷を低減することができる。
固体撮像装置１００は、高速追尾モードで撮像を行う場合、物体ｏｂの再検出を行うと判定し（ステップＳ１１０；Ｙｅｓ）、ステップＳ１０４に戻る。一方、高速追尾モードで撮像を行わない場合、物体ｏｂの再検出を行わないと判定し（ステップＳ１１０；Ｎｏ）、ステップＳ１０７に戻る。
（第１の撮像処理）
次に、図３１を用いて、第１の撮像処理について説明する。図３１は、本開示の実施形態に係る第１の撮像処理の流れの一例を示すフローチャートである。
固体撮像装置１００は、第１の撮像処理で使用する変数の初期化を行う（ステップＳ２０１）。例えば、固体撮像装置１００は、積算回数をカウントする変数の初期化を行う。
次に、固体撮像装置１００は、第１の撮像条件に基づいた発光レベル及び発光時間で光源３０をＯＮし、照射光を出射させる（ステップＳ２０２）。続いて、固体撮像装置１００は、有効受光期間で反射光の受光を行う（ステップＳ２０３）。
固体撮像装置１００は、有効受光期間で蓄積した電荷の読み出しを行い、読み出し結果を積算する（ステップＳ２０４）。固体撮像装置１００は、ステップＳ２０４で実行した積算の回数がしきい値ＴＨ１より大きいか否かを判定する（ステップＳ２０５）。積算回数がしきい値ＴＨ１以下の場合（ステップＳ２０５；Ｎｏ）、ステップＳ２０２に戻る。
積算回数がしきい値ＴＨ１より大きい場合（ステップＳ２０５；Ｙｅｓ）、固体撮像装置１００は、積算結果がしきい値ＴＨ２より大きいか否かを判定する（ステップＳ２０６）。
上述したように、距離範囲Ｒ０に物体ｏｂが存在する場合、有効受光期間内に反射光による受光が行われ、画素信号が大きくなる。そのため、距離範囲Ｒ０に物体ｏｂが存在する場合、積算結果がしきい値ＴＨ２より大きくなる。
固体撮像装置１００は、積算結果がしきい値ＴＨ２より大きい場合（ステップＳ２０６；Ｙｅｓ）、第１の画素（ＩＲ画素）１１０Ａで距離範囲Ｒ０にある物体ｏｂを検出したとして、対応する第２の画素（ＲＧＢ画素）１１０Ｂを「有効（Enable）」に設定する（ステップＳ２０７）。ここで、対応する第２の画素１１０Ｂとは、物体ｏｂを検出した第１の画素１１０Ａと同じ単位画素１１０に含まれる画素であり、例えば、物体ｏｂを検出した第１の画素１１０Ａの近傍に配置される画素である。
一方、固体撮像装置１００は、積算結果がしきい値ＴＨ２以下の場合（ステップＳ２０６；Ｎｏ）、第１の画素で距離範囲Ｒ０にある物体ｏｂを検出しなかったとして、対応する第２の画素１１０Ｂを「無効（Disable）」に設定する（ステップＳ２０８）。
固体撮像装置１００は、第２の画素１１０Ｂに対し、「有効」又は「無効」を設定すると、第２の撮像の撮像範囲（抽出領域）の算出処理を実行する（ステップＳ２０９）。例えば、全ての第２の画素１１０Ｂが「無効」に設定された場合、固体撮像装置１００は、距離範囲Ｒ０内に物体ｏｂが存在しないとして、撮像範囲はない（第２の撮像を行わない）と決定する。
一方、少なくとも１つの第２の画素１１０Ｂが「有効」に設定された場合、固体撮像装置１００は、距離範囲Ｒ０内に物体ｏｂが存在するとして撮像範囲を設定する。例えば、上述したように、第２の撮像として全画面の撮像を行う場合、固体撮像装置１００は、全画面、換言すると、全ての第２の画素１１０Ｂを撮像範囲として算出する。
上述したように、第２の撮像として物体ｏｂを含む抽出領域の撮像を行う場合、固体撮像装置１００は、抽出領域（ＲＯＩ）を撮像範囲に設定する。以下、図３２及び図３３を用いて、抽出領域を撮像範囲とする場合の撮像範囲の算出処理について説明する。
（撮像範囲の算出処理）
図３２は、本開示の実施形態に係る撮像範囲について説明するための図である。図３２では、「有効」に設定された第２の画素１１０Ｂを含む有効領域Ｅ１～Ｅ４を黒色で示している。
図３２に示すように、固体撮像装置１００は、全画面Ｒ１０のうち、有効領域Ｅ１～Ｅ４を含む抽出領域Ｒ２０を撮像範囲として算出する。図３２では、抽出領域Ｒ２０が、座標（Ｘ１、Ｙ１）、（Ｘ２、Ｙ２）で指定される矩形領域である場合について示している。また、以下の説明では、図３２に示すように、固体撮像装置１００の全画面Ｒ１０の上から下方向に１列、２列、・・・、ｊ列、・・・、Ｍ列として説明し、左から右方向に１行、２行、・・・、ｉ行、・・・、Ｎ行として説明する。
次に、図３３を用いて、撮像範囲の算出処理の流れについて説明する。図３３は、本開示の実施形態に係る撮像範囲の算出処理の流れの一例を示すフローチャートである。
まず、固体撮像装置１００は、処理に使用する変数の初期化を行う（ステップＳ３０１）。例えば、固体撮像装置１００は、変数Ｘ１ｊ＝Ｎ、変数Ｘ２ｊ＝１（ｊ＝１～Ｍ）を代入することで、これらの変数を初期化する。なお、Ｍは固体撮像装置１００の第２の画素１１０Ｂの列数、Ｎは行数を示している。次に、固体撮像装置１００は、変数ｊに１を代入する（ステップＳ３０２）。
固体撮像装置１００は、画素アレイ部１０１のｊ列におけるＮ行分のデータＤｉ（ｉ＝１～Ｎ）を取得する（ステップＳ３０３）。ここで、データＤｉは、第２の画素１１０Ｂに関するデータであり、第２の画素１１０Ｂが「有効」と設定された画素（以下、Enable画素と呼ぶ）であるか否かを示すデータが含まれる。
固体撮像装置１００は、データＤｉを１からＮの方向にスキャンし、最初に検出したEnable画素のＸ座標を変数Ｘ１ｊに格納する（ステップＳ３０３）。続いて、固体撮像装置１００は、データＤｉを逆方向、すなわちＮから１の方向にスキャンし、最初に検出したEnable画素のＸ座標を変数Ｘ２ｊに格納する（ステップＳ３０４）。
次に、固体撮像装置１００は、変数ｊを１増やし（ｊ＝ｊ＋１）（ステップＳ３０６）、ｊがＭより大きいか否かを判定する（ステップＳ３０７）。最後の列までスキャンが完了しておらず、ｊがＭ以下である場合（ステップＳ３０７；Ｎｏ）、固体撮像装置１００は、ステップＳ３０３に戻り、次の列のスキャンを行う。
一方、最後の列までスキャンが完了し、ｊがＭより大きい場合（ステップＳ３０７；Ｙｅｓ）、固体撮像装置１００は、変数Ｘ１ｊ、Ｘ２ｊに応じて、撮像範囲Ｒ２０のＸ座標Ｘ１、Ｘ２を決定する（ステップＳ３０８）。具体的に、固体撮像装置１００は、変数Ｘ１ｊ（ｊ＝１～Ｍ）の中で座標が最も小さいものをＸ１に決定する。また、固体撮像装置１００は、変数Ｘ２ｊの中で座標が最も大きいものをＸ２に決定する。
次に、固体撮像装置１００は、変数の初期化を行う（ステップＳ３０９）。固体撮像装置１００は、撮像範囲Ｒ２０のＹ座標Ｙ１をＹ１＝Ｎとする。続いて、固体撮像装置１００は、変数ｊに１を代入する（ステップＳ３１０）。
固体撮像装置１００は、ｊ列における変数Ｘ１ｊに格納したEnable画素のＸ座標（以下、単にＸ１ｊと記載する）が、変数Ｘ２ｊに格納したEnable画素のＸ座標（以下、単にＸ２ｊと記載する）以下か否かを判定する（ステップＳ３１１）。
上述したように、変数Ｘ１ｊには、行番号が小さい方から順にスキャンした場合に、最初に検出したEnable画素のＸ座標が格納され、変数Ｘ２ｊには、行番号が大きい方から順にスキャンした場合に、最初に検出したEnable画素のＸ座標が格納される。従って、Ｘ１ｊ＞Ｘ２ｊである場合、ｊ列にEnable画素がなく、ｊ列の全ての第２の画素１１０ＢがDisable画素となる。また、Ｘ１ｊ≦Ｘ２ｊである場合、ｊ列に少なくとも１つのEnable画素が存在する。
そこで、固体撮像装置１００は、Ｘ１ｊ＞Ｘ２ｊ、すなわち、ｊ列にEnable画素がないと判定した場合（ステップＳ３１１；Ｎｏ）、固体撮像装置１００は、変数ｊを１増やし（ｊ＝ｊ＋１）（ステップＳ３１２）、ｊがＭより大きいか否かを判定する（ステップＳ３１３）。最後の列までスキャンが完了しておらず、ｊがＭ以下である場合（ステップＳ３１３；Ｎｏ）、固体撮像装置１００は、ステップＳ３１１に戻る。最後の列までスキャンが完了し、ｊがＭより大きい場合（ステップＳ３１３；Ｙｅｓ）、固体撮像装置１００は、ステップＳ３２１に進む。
一方、Ｘ１ｊ≦Ｘ２ｊ、すなわち、ｊ列にEnable画素があると判定した場合（ステップＳ３１１；Ｙｅｓ）、撮像範囲Ｒ２０のＹ座標Ｙ１をＹ１＝ｊとする（ステップＳ３１４）。
次に、固体撮像装置１００は、変数の初期化を行う（ステップＳ３１５）。固体撮像装置１００は、撮像範囲Ｒ２０のＹ座標Ｙ２をＹ２＝１とする。続いて、固体撮像装置１００は、変数ｊにＭを代入する（ステップＳ３１６）。
固体撮像装置１００は、ｊ列におけるEnable画素のＸ座標Ｘ１ｊが、Enable画素のＸ座標Ｘ２ｊ以下か否かを判定する（ステップＳ３１７）。
固体撮像装置１００は、Ｘ１ｊ＞Ｘ２ｊ、すなわち、ｊ列にEnable画素がないと判定した場合（ステップＳ３１７；Ｎｏ）、固体撮像装置１００は、変数ｊを１減らし（ｊ＝ｊ－１）（ステップＳ３１８）、ｊが０より大きいか否かを判定する（ステップＳ３１９）。全ての列のスキャンが完了しておらず、ｊが０より大きい場合（ステップＳ３１９；Ｎｏ）、固体撮像装置１００は、ステップＳ３１７に戻る。全ての列でスキャンが完了し、ｊが０以下である場合（ステップＳ３１９；Ｙｅｓ）、固体撮像装置１００は、ステップＳ３２１に進む。
一方、Ｘ１ｊ≦Ｘ２ｊ、すなわち、ｊ列にEnable画素があると判定した場合（ステップＳ３１７；Ｙｅｓ）、撮像範囲Ｒ２０のＹ座標Ｙ２をＹ２＝ｊとする（ステップＳ３２０）。
固体撮像装置１００は、算出した座標（Ｘ１、Ｙ１）、（Ｘ２、Ｙ２）で指定される矩形領域を撮像範囲Ｒ２０として出力し（ステップＳ３２１）、処理を終了する。
なお、固体撮像装置１００は、撮像範囲Ｒ２０の各座標（Ｘ１、Ｙ１）、（Ｘ２、Ｙ２）が、Ｘ１＞Ｘ２、Ｙ１＞Ｙ２である場合、有効な撮像範囲Ｒ２０がない、換言すると、撮像対象とする物体ｏｂが距離範囲Ｒ０内に存在しないと判定し得る。また、ここでは、固体撮像装置１００が全画面Ｒ１０から撮像範囲Ｒ２０を算出するとしたが、これに限定されない。固体撮像装置１００は、例えば全画面Ｒ１０のうちの半分等、一部の範囲に限定して撮像範囲Ｒ２０を算出するようにしてもよい。固体撮像装置１００は、例えば、１つ前の撮像範囲Ｒ２０に基づいた範囲から次の撮像における撮像範囲Ｒ２０を算出し得る。
＜３．４．出力フォーマット＞
固体撮像装置１００は、第２の撮像処理で撮像した画像データを後段のプロセッサ２０に出力する。図３４及び図３５は、本開示の実施形態に係る固体撮像装置１００が出力する画像データのフォーマットの一例を示す図である。
図３４に示すように、画像データは、ヘッダーと、ＲＯＩイメージデータと、フッターとで構成されるデータである。ＲＯＩイメージデータには、第２の撮像処理で得られたデータが少なくとも１セット以上含まれる。１セットのデータは、１回の第２の撮像処理で得られる画素信号のデータであり、第２の撮像をＫ回行った場合、ＫセットのデータがＲＯＩイメージデータに含まれる。
図３５に示すように、ヘッダーには、画像データの出力開始を示す出力開始認識情報や、第２の撮像回数である走査領域数に関する情報が含まれる。図３５では、走査領域数がＫであり、固体撮像装置１００が第２の撮像をＫ回行ったことを示している。
ＲＯＩイメージデータには、撮像範囲Ｒ２０に関する情報である走査範囲関連情報Ｉ＿１～Ｉ＿Ｋが含まれる。図３５では、走査範囲関連情報は、撮像範囲Ｒ２０の原点座標及びサイズが含まれているが、撮像範囲Ｒ２０の座標（Ｘ１、Ｙ１）、（Ｘ２、Ｙ２）が含まれていてもよい。
また、ＲＯＩイメージデータには、画像データＤ＿１～Ｄ＿Ｋが含まれる。画像データＤ＿１～Ｄ＿Ｋは、第２の画素１１０Ｂから取得した画像信号を含むデータである。走査範囲関連情報と画像データとは対応付けられてＲＯＩイメージデータに格納される。
フッターには、画像データの出力終了を示す出力終了認識情報が含まれる。プロセッサ２０は、出力開始認識情報を認識することで画像データの出力開始を認識し、出力終了認識情報を認識することで画像データの出力終了を認識する。
なお、固体撮像装置１００が出力する画像データのフォーマットは図３５の例に限定されない。図３６は、本開示の実施形態に係る固体撮像装置１００が出力する画像データのフォーマットの他の例を示す図である。
図３６に示すフォーマットは、ヘッダーに出力開始認識情報、走査領域数、及び、走査範囲サイズが含まれる点で、図３５のフォーマットと異なる。走査範囲サイズは、撮像範囲のサイズを示す情報である。
例えば、第２の撮像を行う場合、撮像ごとに撮像範囲のサイズを変更せずに固定のサイズで撮像を行うことが考えられる。このように固定サイズで第２の撮像を行うことで、固体撮像装置１００は、撮像範囲の算出処理や第２の撮像処理の処理負荷を低減することができる。
この場合、固体撮像装置１００が出力する画像データのフォーマットとして、走査領域（撮像範囲）のサイズを示す走査範囲サイズをヘッダーに含め、ＲＯＩイメージデータの走査範囲関連情報に、走査領域の原点情報を含めるようにしてもよい。
このように、走査領域（撮像範囲）のサイズを示す走査範囲サイズをヘッダーに含めることで、ＲＯＩイメージデータの走査範囲関連情報からサイズに関する情報を省略することができる。これにより、ＲＯＩイメージデータの情報量、換言すると、画像データの情報量を低減することができる。
＜＜４．その他の実施形態＞＞
＜４．１．有効領域の修正＞
上述した実施形態では、物体ｏｂを検出した第１の画素１１０Ａに対応する第２の画素１１０ＢをEnable画素に設定するとしたが、これに限定されない。例えば固体撮像装置１００が、設定した有効領域を修正してもよい。
図３７は、本開示の実施形態に係る第１の撮像処理の流れの他の例を示すフローチャートである。図３７に示す第１の撮像処理は、ステップＳ２０７、Ｓ２０８でEnable画素及びDisable画素の設定を行った後にステップＳ４０１で有効領域の修正処理を行っている点を除き、図３１に示す第１の撮像処理と同じである。
図３７に示すように、固体撮像装置１００は、ステップＳ２０７、Ｓ２０８でEnable画素及びDisable画素の設定を行った後に有効領域の修正処理を実行する（ステップＳ４０１）。例えば、固体撮像装置１００は、有効領域を修正するための関数を用いて有効領域の修正を行う。当該関数は、あらかじめ定義されているものとする。
図３８は、本開示の実施形態に係る固体撮像装置１００による有効領域の修正例を示す図である。図３８（ａ）では、修正前の有効領域の一例を黒色の領域で示している。また、図３８（ｂ）～（ｆ）では、修正前の有効領域の一例を黒色の領域で、修正後の有効領域の一例を実線で示している。
固体撮像装置１００は、例えば、修正前の有効領域を拡大することで有効領域を修正し得る（図３８（ｂ））。なお、ここでは、有効領域を拡大する修正について示したが、同様に、固体撮像装置１００が有効領域を縮小する修正を行ってもよい。
あるいは、固体撮像装置１００は、例えば、修正前の有効領域を平滑化することで有効領域を修正し得る（図３８（ｃ））。
また、固体撮像装置１００は、例えば、複数の有効領域を１つに連結する単連結化を行うことで有効領域を修正し得る（図３８（ｄ））。固体撮像装置１００は、例えば、複数の有効領域を１つに連結し、連結後の有効領域を平滑化する凸化を行うことで、有効領域を修正し得る（図３８（ｅ））。なお、ここでは、固体撮像装置１００が複数の有効領域を１つに連結するとしたが、連結後の有効領域数は１つに限定されず、複数であってもよい。
固体撮像装置１００は、例えば、修正前の有効領域を規定形状の領域に変換する規格化を行うことで、有効領域を修正し得る（図３８（ｆ））。図３８（ｆ）では、規定形状として、規定の縦横サイズを有する矩形領域で規格化する例を示している。この場合、固体撮像装置１００は、例えば、規定形状の矩形領域を、当該領域の重心と修正前の有効領域の重心とが一致するように決定することで、有効領域を修正する。
このように、固体撮像装置１００が、有効領域を修正することで、例えば後段の信号処理に合わせて画像データを取得することができる。また、有効領域を単純な形状に修正したり、複数の有効領域の数を減らしたりすることで、後段の信号処理の処理負荷を低減させることができる。
＜４．２．撮像画像の補正＞
上述した実施形態では、固体撮像装置１００が抽出領域を撮像範囲として第２の撮像を行い、撮像画像を出力するとしたが、これに限定されない。例えば固体撮像装置１００が、撮像画像の補正を行ってもよい。
図３９は、本開示の実施形態に係る撮像処理の流れの他の例を示すフローチャートである。図３９に示す撮像処理は、ステップＳ１０８で撮像を終了すると判定を行った後にステップＳ５０１で撮像画像の補正を行っている点を除き、図３０に示す撮像処理と同じである。
図４０は、本開示の実施形態に係る撮像画像の補正の一例を説明するための図である。図４０の上図に示すように、固体撮像装置１００は、Enable画素を含む有効領域Ｅ１～Ｅ４と、Disable画素を含む無効領域Ｄ１と、で構成される撮像領域を撮像し、撮像画像Ｍ２１を取得する。このとき、無効領域Ｄ１には、実際に第２の画素１１０Ｂで撮像した画像データが含まれる。すなわち、無効領域Ｄ１には、物体ｏｂ（有効領域Ｅ１～Ｅ４に対応）の背景データが含まれる。
固体撮像装置１００は、無効領域Ｄ１のデータ（画素値）を所定の値に置き換えることで、撮像画像の無効領域Ｄ１を補正する。撮像画像の１画素が１２ｂｉｔで表される場合、固体撮像装置１００は、図４０の下図に示すように、無効領域のデータを例えば「ＦＦＦ」に置き換えた撮像画像Ｍ２２を生成する。かかる補正は、例えば、固体撮像装置１００の第２のデータ処理部１０８Ｂで行われ得る。
このように、固体撮像装置１００は、撮像画像の背景（無効領域Ｄ１）を所定値に置き換える補正を行うことで、物体ｏｂ（有効領域Ｅ１～Ｅ４）の抽出を容易にし、後段の画像処理の処理負荷を低減することができる。
なお、撮像画像の補正は、上述した例に限定されない。例えば、固体撮像装置１００が撮像画像の一部を切り出す補正を行うようにしてもよい。
図４１は、本開示の実施形態に係る第２のデータ処理部１０８Ｂの構成例を示すブロック図である。第２のデータ処理部１０８Ｂは、取得部１０８１と、出力部１０８２と、評価部１０８３と、選択部１０８４と、を備える。
取得部１０８１は、第２の読み出し回路１０３Ｂから撮像画像を取得する。出力部１０８２は、撮像画像のうち、選択部１０８４が選択した領域を出力画像としてプロセッサ２０に出力する。
評価部１０８３は、選択部１０８４による出力画像の選択に必要な画像評価を行う。例えば、評価部１０８３は、撮像画像に含まれる有効領域の面積を算出したり、有効領域の重心を算出したりする。
選択部１０８４は、評価部１０８３による評価に基づき、撮像画像から出力画像を選択する。例えば、選択部１０８４は、複数の有効領域のうち面積が最大である有効領域を含む抽出領域を出力画像とするよう、撮像画像を絞り込む。あるいは、選択部１０８４は、有効領域の重心近傍を含む領域を出力画像とするよう、撮像画像を絞り込んでもよい。例えば、選択部１０８４は、撮像画像より小さいＲＯＩの重心が、有効領域の重心と一致するようにＲＯＩを設定し、当該ＲＯＩを出力画像として選択する。
このように、固体撮像装置１００では、評価部１０８３による評価に基づき、選択部１０８４が撮像画像から出力画像を選択する。これにより、出力画像のデータ量を削減することができる。
＜４．３．第２の撮像条件の設定＞
上述した実施形態では、固体撮像装置１００が第１の撮像処理の後に第２の撮像条件を設定して第２の撮像処理を実行していたが、これに限定されない。例えば、固体撮像装置１００が、第１の撮像処理の後に第２の撮像の仮撮像を行い、仮撮像の結果に基づいて第２の撮像条件を設定するようにしてもよい。
例えば、物体ｏｂが距離範囲Ｒ０に入ってきてから第２の撮像を行う場合、被写体となる物体ｏｂによっては露光期間やフォーカス等最適な第２の撮像条件を設定できない恐れがある。そこで、固体撮像装置１００は、第１の撮像処理の後、仮に第２の撮像を行ってから第２の撮像条件を決定する。これにより、固体撮像装置１００は、実際の物体ｏｂに応じた第２の撮像条件を設定することができるようになる。
図４２は、本開示の実施形態に係る固体撮像装置１００の構成の他の例を示すブロック図である。図４２に示す固体撮像装置１００では、制御回路１０５が評価部１０５１を有する点を除き、図１１に示す固体撮像装置１００と同じ構成である。
評価部１０５１は、仮撮像の結果を第２のデータ処理部１０８Ｂから取得する。評価部１０５１は、仮撮像データの明るさを評価して、第２の撮像の露光（蓄積）時間を決定する。あるいは、第２の画素１１０Ｂに位相差画素が含まれる場合、評価部１０５１は、位相差画素の画素信号を用いてフォーカス調整を行ってもよい。
評価部１０５１は、評価結果に応じて固体撮像装置１００の各部を制御することで、第２の撮像条件で第２の撮像（本撮像）を行う。
図４３は、本開示の実施形態に係る第２の撮像条件の決定処理の流れを示すフローチャートである。固体撮像装置１００は、例えば、図３０のステップＳ１０６で第２の撮像条件の設定を行う場合、図４３に示す決定処理を実行する。
まず、固体撮像装置１００は、第２の撮像を行う（ステップＳ６０１）。かかる撮像は仮撮像である。ここで行う第２の撮像の撮像条件は、あらかじめ決められた条件であってもよく、あるいは第１の撮像処理の結果に応じて設定された条件であってもよい。
次に、固体撮像装置１００は、ステップＳ６０１で行った第２の撮像の撮像画像の評価を行う（ステップＳ６０２）。かかる撮像画像は、仮撮像により得られた仮撮像画像である。
固体撮像装置１００は、評価結果に応じて、第２の撮像条件を決定する（ステップＳ６０３）。
このように、固体撮像装置１００は、第２の本撮像の１つ前に第２の画素１１０Ｂによる第２の仮撮像を行ってから、第２の撮像条件を設定し、第２の本撮像を行い得る。これにより、固体撮像装置１００は、物体ｏｂに適した撮像条件で第２の本撮像を行うことができる。すなわち、固体撮像装置１００は、いわゆる「待ち構え撮像」でも適切な第２の撮像条件を設定して第２の撮像を行うことができる。
なお、仮撮像の撮像範囲（ＲＯＩ）と本撮像の撮像範囲（ＲＯＩ）とは、同じであっても異なっていてもよい。例えば、仮撮像の撮像範囲を本撮像より小さくすることで、固体撮像装置１００は、仮撮像画像の取得時間を短縮することができ、本撮像を行うまでの時間を短縮することができる。また、仮撮像と本撮像とで同じ撮像範囲とすることで、固体撮像装置１００は、より適切な第２の撮像条件を設定することができる。
＜４．４．プロセッサによる撮像処理＞
上述した実施形態では、固体撮像装置１００が撮像処理を行うとしたが、これに限定されない。例えば、プロセッサ２０が、上記撮像処理の少なくとも一部を行うようにしてもよい。
図４４は、本開示の実施形態に係る固体撮像装置１００の構成の他の例を示すブロック図である。図４４では、第１のデータ処理部１０８Ａが、第１の撮像結果をプロセッサ２０に出力している点で、図１１に示す固体撮像装置１００と異なる。
プロセッサ２０は、固体撮像装置１００から受け取る各種データ（第１の撮像結果等）に基づき、固体撮像装置１００を制御することで、上記撮像処理を行う。プロセッサ２０が、全ての撮像処理を実行するようにしてもよく、あるいは、第１の撮像処理や第２の撮像処理の一方等、撮像処理の一部を実行するようにしてもよい。
このように、プロセッサ２０が撮像処理の少なくとも一部を実行することで、固体撮像装置１００の処理負荷を低減することができる。
＜＜５．適用例＞＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図４５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図４５に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図４５の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図４６は、撮像部１２０３１の設置位置の例を示す図である。
図４６では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図４６には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
＜＜６．まとめ＞＞
以上、添付図面を参照しながら本開示の本開示の実施形態及び各変形例について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
画素領域に配置される第１の画素及び第２の画素の組であって、可視光外の光を受光する前記第１の画素と、可視光を受光する前記第２の画素との組を複数有する画素部と、
前記第１の画素から第１の信号を取得する第１の取得部と、
前記第１の信号に基づいて所定の距離範囲にある物体が検出された場合に、前記第２の画素から第２の信号を取得する第２の取得部と、
を備える固体撮像装置。
（２）
前記第２の取得部は、前記物体を検出した前記第１の画素を含む抽出領域に対応する前記第２の画素から前記第２の信号を取得する、（１）に記載の固体撮像装置。
（３）
前記第２の取得部は、前記抽出領域のうち、前記所定の距離範囲にある前記物体を検出しなかった前記第１の画素に対応する前記画素領域の前記第２の画素が出力する前記第２の信号として、所定値の信号を取得する、（２）に記載の固体撮像装置。
（４）
前記抽出領域は、矩形領域である、（２）又は（３）に記載の固体撮像装置。
（５）
前記第２の取得部は、前記物体を検出した前記第１の画素に対応する検出領域を修正した修正領域に応じた抽出領域に対応する前記第２の画素から前記第２の信号を取得する、（２）に記載の固体撮像装置。
（６）
前記第１の取得部は、光源が光を出射してから第１の期間が経過した第２の期間において前記第１の画素が生成した前記第１の信号を取得する、（１）～（５）のいずれか１つに記載の固体撮像装置。
（７）
前記第１の期間及び前記第２の期間は、前記物体の前記所定の距離範囲に応じた期間である、（６）に記載の固体撮像装置。
（８）
前記第２の取得部は、前記第２の期間において前記第１の画素が生成した前記第１の信号としきい値との比較結果に応じて決定される抽出領域に対応する前記第２の画素から前記第２の信号を取得する、（６）又は（７）に記載の固体撮像装置。
（９）
前記第１の取得部は、前記第２の取得部が抽出領域における前記第２の画素から前記第２の信号を複数回取得すると、前記第１の画素から前記第１の信号を取得する、（１）～（８）のいずれか１つに記載の固体撮像装置。
（１０）
前記第２の取得部が１つ前に取得した前記第２の信号に基づき、前記第２の画素による撮像の条件を設定する設定部をさらに備える、（１）～（９）のいずれか１つに記載の固体撮像装置。
（１１）
前記第２の取得部が取得した前記第２の信号に基づき、前記抽出領域の少なくとも一部の領域の前記第２の信号を出力するよう前記第２の信号を選択する出力選択部をさらに備える、（１）～（１０）のいずれか１つに記載の固体撮像装置。
（１２）
前記第２の画素は、有機光電変換膜を含む、（１）～（１１）のいずれか１つに記載の固体撮像装置。
（１３）
前記組に含まれる前記第２の画素の少なくとも一部は、第１の方向において前記第１の画素とオーバーラップする、（１）～（１２）のいずれか１つに記載の固体撮像装置。
（１４）
可視光外の光を出射する光源と、固体撮像装置と、前記光源及び前記固体撮像装置を制御する制御部と、
を備え、
前記固体撮像装置は、
画素領域に配置される第１の画素及び第２の画素の組であって、前記可視光外の光を受光する前記第１の画素と、可視光の光を受光する前記第２の画素との組を複数有する画素部と、
前記第１の画素から第１の信号を取得する第１の取得部と、
前記第１の信号に基づいて所定の距離範囲にある物体が検出された場合に、前記第２の画素から第２の信号を取得する第２の取得部と、
を備える撮像システム。
（１５）
前記第２の取得部は、前記物体を検出した前記第１の画素を含む抽出領域に対応する前記第２の画素から前記第２の信号を取得し、
前記固体撮像装置は、前記第１の信号に基づき、前記抽出領域を決定し、決定した前記抽出領域で前記第２の信号を取得するよう前記第２の取得部を制御する制御部をさらに備える、
（１４）に記載の撮像システム。
（１６）
前記第２の取得部は、前記物体を検出した前記第１の画素を含む抽出領域に対応する前記第２の画素から前記第２の信号を取得し、
前記制御部は、前記第１の信号に基づき、前記抽出領域を決定し、決定した前記抽出領域で前記第２の信号を取得するよう前記第２の取得部を制御する、
（１４）に記載の撮像システム。
１ 撮像システム
２０ プロセッサ
３０ 光源
４０ 記憶部
１００ 固体撮像装置
１０１ 画素アレイ部
１０２ 行制御回路
１０３ 読み出し回路
１０４ パルス生成部
１０５ 制御回路
１０７ 基準電圧発生回路
１０８ データ処理部
１１０ 単位画素
１１０Ａ 第１の画素
１１０Ｂ 第２の画素

Claims (16)

  1. 画素領域に配置される第１の画素及び第２の画素の組であって、可視光外の光を受光する前記第１の画素と、可視光を受光する前記第２の画素との組を複数有する画素部と、
    前記第１の画素から第１の信号を取得する第１の取得部と、
    前記第１の信号に基づいて所定の距離範囲にある物体が検出された場合に、前記第２の画素から第２の信号を取得する第２の取得部と、
    を備える固体撮像装置。
  2. 前記第２の取得部は、前記物体を検出した前記第１の画素を含む抽出領域に対応する前記第２の画素から前記第２の信号を取得する、請求項１に記載の固体撮像装置。
  3. 前記第２の取得部は、前記抽出領域のうち、前記所定の距離範囲にある前記物体を検出しなかった前記第１の画素に対応する前記画素領域の前記第２の画素が出力する前記第２の信号として、所定値の信号を取得する、請求項２に記載の固体撮像装置。
  4. 前記抽出領域は、矩形領域である、請求項２に記載の固体撮像装置。
  5. 前記第２の取得部は、前記物体を検出した前記第１の画素に対応する検出領域を修正した修正領域に応じた抽出領域に対応する前記第２の画素から前記第２の信号を取得する、請求項２に記載の固体撮像装置。
  6. 前記第１の取得部は、光源が光を出射してから第１の期間が経過した第２の期間において前記第１の画素が生成した前記第１の信号を取得する、請求項１に記載の固体撮像装置。
  7. 前記第１の期間及び前記第２の期間は、前記物体の前記所定の距離範囲に応じた期間である、請求項６に記載の固体撮像装置。
  8. 前記第２の取得部は、前記第２の期間において前記第１の画素が生成した前記第１の信号としきい値との比較結果に応じて決定される抽出領域に対応する前記第２の画素から前記第２の信号を取得する、請求項６に記載の固体撮像装置。
  9. 前記第１の取得部は、前記第２の取得部が抽出領域における前記第２の画素から前記第２の信号を複数回取得すると、前記第１の画素から前記第１の信号を取得する、請求項１に記載の固体撮像装置。
  10. 前記第２の取得部が１つ前に取得した前記第２の信号に基づき、前記第２の画素による撮像の条件を設定する設定部をさらに備える、請求項１に記載の固体撮像装置。
  11. 前記第２の取得部が取得した前記第２の信号に基づき、前記抽出領域の少なくとも一部の領域の前記第２の信号を出力するよう前記第２の信号を選択する出力選択部をさらに備える、請求項１に記載の固体撮像装置。
  12. 前記第２の画素は、有機光電変換膜を含む、請求項１に記載の固体撮像装置。
  13. 前記組に含まれる前記第２の画素の少なくとも一部は、第１の方向において前記第１の画素とオーバーラップする、請求項１に記載の固体撮像装置。
  14. 可視光外の光を出射する光源と、固体撮像装置と、前記光源及び前記固体撮像装置を制御する制御部と、
    を備え、
    前記固体撮像装置は、
    画素領域に配置される第１の画素及び第２の画素の組であって、前記可視光外の光を受光する前記第１の画素と、可視光の光を受光する前記第２の画素との組を複数有する画素部と、
    前記第１の画素から第１の信号を取得する第１の取得部と、
    前記第１の信号に基づいて所定の距離範囲にある物体が検出された場合に、前記第２の画素から第２の信号を取得する第２の取得部と、
    を備える撮像システム。
  15. 前記第２の取得部は、前記物体を検出した前記第１の画素を含む抽出領域に対応する前記第２の画素から前記第２の信号を取得し、
    前記固体撮像装置は、前記第１の信号に基づき、前記抽出領域を決定し、決定した前記抽出領域で前記第２の信号を取得するよう前記第２の取得部を制御する制御部をさらに備える、
    請求項１４に記載の撮像システム。
  16. 前記第２の取得部は、前記物体を検出した前記第１の画素を含む抽出領域に対応する前記第２の画素から前記第２の信号を取得し、
    前記制御部は、前記第１の信号に基づき、前記抽出領域を決定し、決定した前記抽出領域で前記第２の信号を取得するよう前記第２の取得部を制御する、
    請求項１４に記載の撮像システム。
JP2021028642A 2021-02-25 2021-02-25 固体撮像装置及び撮像システム Pending JP2022129810A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021028642A JP2022129810A (ja) 2021-02-25 2021-02-25 固体撮像装置及び撮像システム
CN202280015696.8A CN117063483A (zh) 2021-02-25 2022-01-31 固态成像装置和成像系统
PCT/JP2022/003516 WO2022181215A1 (ja) 2021-02-25 2022-01-31 固体撮像装置及び撮像システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021028642A JP2022129810A (ja) 2021-02-25 2021-02-25 固体撮像装置及び撮像システム

Publications (1)

Publication Number Publication Date
JP2022129810A true JP2022129810A (ja) 2022-09-06

Family

ID=83048115

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021028642A Pending JP2022129810A (ja) 2021-02-25 2021-02-25 固体撮像装置及び撮像システム

Country Status (3)

Country Link
JP (1) JP2022129810A (ja)
CN (1) CN117063483A (ja)
WO (1) WO2022181215A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022159456A (ja) * 2018-09-05 2022-10-17 株式会社三洋物産 遊技機
JP2022159457A (ja) * 2018-09-05 2022-10-17 株式会社三洋物産 遊技機
JP2022159454A (ja) * 2018-09-05 2022-10-17 株式会社三洋物産 遊技機

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020027233A1 (ja) * 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び車両制御システム
JP7208488B2 (ja) * 2018-12-11 2023-01-19 株式会社Ｊｖｃケンウッド 反射光検出装置、反射光検出方法およびプログラム
CN113875023A (zh) * 2019-06-21 2021-12-31 索尼半导体解决方案公司 光电转换元件、光检测器、光检测系统、电子设备和移动体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022159456A (ja) * 2018-09-05 2022-10-17 株式会社三洋物産 遊技機
JP2022159457A (ja) * 2018-09-05 2022-10-17 株式会社三洋物産 遊技機
JP2022159454A (ja) * 2018-09-05 2022-10-17 株式会社三洋物産 遊技機

Also Published As

Publication number Publication date
CN117063483A (zh) 2023-11-14
WO2022181215A1 (ja) 2022-09-01

Similar Documents

Publication Publication Date Title
CN109906512B (zh) 摄像元件和电子设备
WO2022181215A1 (ja) 固体撮像装置及び撮像システム
WO2019093150A1 (ja) 撮像素子、電子機器
WO2020255722A1 (ja) アバランシェフォトダイオードセンサ及び測距装置
US11336860B2 (en) Solid-state image capturing device, method of driving solid-state image capturing device, and electronic apparatus
US20230039270A1 (en) Solid-state imaging device and distance measuring device
JP2022548199A (ja) ダイナミックビジョンセンサ及び撮像機能を組み合わせた固体撮像デバイス及び撮像デバイス
CN112868103A (zh) 固态摄像设备和摄像设备
KR20230073185A (ko) 고체 촬상 장치 및 전자 기기
US20220375975A1 (en) Imaging device
WO2022059515A1 (ja) 固体撮像装置及び認識システム
WO2022059525A1 (ja) 固体撮像装置及び認識システム
WO2023189600A1 (ja) 撮像システム
WO2023079840A1 (ja) 撮像装置および電子機器
US20240178245A1 (en) Photodetection device
WO2023100725A1 (ja) 光検出装置、電子機器及び光検出システム
WO2023181657A1 (ja) 光検出装置及び電子機器
US20230362518A1 (en) Solid-state imaging device and electronic apparatus
US20240014230A1 (en) Solid-state imaging element, method of manufacturing the same, and electronic device
US20230362503A1 (en) Solid imaging device and electronic device
WO2023132151A1 (ja) 撮像素子および電子機器
WO2023127512A1 (ja) 撮像装置、電子機器
KR20230073188A (ko) 고체 촬상 장치 및 전자 기기