JP2019175912A - 撮像装置、及び、画像処理システム - Google Patents

撮像装置、及び、画像処理システム Download PDF

Info

Publication number
JP2019175912A
JP2019175912A JP2018059840A JP2018059840A JP2019175912A JP 2019175912 A JP2019175912 A JP 2019175912A JP 2018059840 A JP2018059840 A JP 2018059840A JP 2018059840 A JP2018059840 A JP 2018059840A JP 2019175912 A JP2019175912 A JP 2019175912A
Authority
JP
Japan
Prior art keywords
pixel
pixels
infrared light
pixel group
receive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018059840A
Other languages
English (en)
Inventor
泰史 佐藤
Yasushi Sato
泰史 佐藤
順一 坂本
Junichi Sakamoto
順一 坂本
充 見潮
Mitsuru Mishio
充 見潮
裕一郎 馬場
Yuichiro Baba
裕一郎 馬場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2018059840A priority Critical patent/JP2019175912A/ja
Priority to PCT/JP2019/009346 priority patent/WO2019188123A1/ja
Priority to US16/982,554 priority patent/US11743604B2/en
Priority to CN201980020237.7A priority patent/CN111869199A/zh
Publication of JP2019175912A publication Critical patent/JP2019175912A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Blocking Light For Cameras (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Stroboscope Apparatuses (AREA)

Abstract

【課題】カラー画像と赤外光画像とを同時に取得できる撮像素子を提供する。【解決手段】２×２個の行列状に配置された４つの画素から成る画素群が複数配列されている画素アレイ部を備えており、４つの画素から成る画素群として、赤色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第１画素群、青色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第２画素群、緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第３画素群、及び、緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第４画素群、が形成されており、第１画素群、第２画素群、第３画素群、及び、第４画素群から成る４つの画素群は、第１画素群と第２画素群とが対角に位置し第３画素群と第４画素群とが対角に位置する２×２個単位の組を成すように配置されている。【選択図】 図４

Description

本開示は、撮像装置、及び、画像処理システムに関する。特に、可視光画像と赤外光画像とを撮像する場合に用いて好適な撮像装置、及び、画像処理システムに関する。
半導体加工プロセスの進歩に伴い、Ｂａｙｅｒ配列の１画素を複数画素に分割した構成の撮像装置が提案されている（例えば、特許文献１の図１４参照）。この構成の撮像装置は、同色の画素を加算して読み出すことによってＳ／Ｎ比に優れた画像を得ることができ、また、フル解像度デモザイク処理を施すことによって高解像度の画像を得ることができ、更には、Ｂａｙｅｒ配列の１画素に対応する複数画素のそれぞれにおいて露光条件を異にすることによって、複数回の撮像を必要とせず高ダイナミックレンジ（ＨＤＲ：High Dynamic Range）の画像を得ることができる、といった利点を備えている。
特開２０１１−２９３７９号公報
近年、画像情報に対して計測処理等を施すセンシング処理を行い、物体の大きさや重心位置、物体までの距離、物体の移動量などといった情報をセンシング情報として用いるといったことが提案されている。
センシング処理に用いられる画像情報と画像表示（ビューイング）に用いられる画像情報とは、両者の間に視差がない状態で取得できることが好ましい。このため、センシング処理などに用いられる赤外光画像とビューイング処理などに用いられる可視光画像とは１つの撮像装置から得られることが好ましい。しかしながら、Ｂａｙｅｒ配列の１画素を複数画素に分割した構成では、赤外光画像と可視光画像とを１つの撮像装置から得ることができない。
本開示の目的は、Ｂａｙｅｒ配列の１画素を複数の画素に分割した構成が備える利点を備えつつ、かつ、赤外光画像も取得することができる撮像装置、及び、係る撮像装置を用いた画像処理システムを提供することにある。
上記の目的を達成するための本開示に係る撮像装置は、
２×２個の行列状に配置された４つの画素から成る画素群が複数配列されている画素アレイ部を備えており、
４つの画素から成る画素群として、
赤色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第１画素群、
青色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第２画素群、
緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第３画素群、及び、
緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第４画素群、
が形成されており、
第１画素群、第２画素群、第３画素群、及び、第４画素群から成る４つの画素群は、第１画素群と第２画素群とが対角に位置し第３画素群と第４画素群とが対角に位置する２×２個単位の組を成すように配置されている、
撮像装置である。
上記の目的を達成するための本開示に係る画像処理システムは、
被写体を撮像する撮像装置と、撮像装置からの信号を処理する信号処理部とを備えており、
撮像装置は、
２×２個の行列状に配置された４つの画素から成る画素群が複数配列されている画素アレイ部を備えており、
４つの画素から成る画素群として、
赤色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第１画素群、
青色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第２画素群、
緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第３画素群、及び、
緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第４画素群、
が形成されており、
第１画素群、第２画素群、第３画素群、及び、第４画素群から成る４つの画素群は、第１画素群と第２画素群とが対角に位置し第３画素群と第４画素群とが対角に位置する２×２個単位の組を成すように配置されている、
画像処理システムである。
上述した画素配列を有する本開示の撮像装置は、Ｂａｙｅｒ配列の１画素を複数の画素に分割した構成が備える利点、例えば、同色の画素を加算して読み出すことによるＳ／Ｎ比の向上、フル解像度デモザイク処理を施すことによる高解像度化、といった利点を備えつつ、赤外光画像と可視光画像とを１つの撮像装置から得ることができる。尚、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また、付加的な効果があってもよい。
図１は、第１の実施形態に係る撮像装置を用いた画像処理システムの基本的な構成図である。 図２は、撮像装置の構成を説明するための模式的な平面図である。 図３は、参考例の撮像装置における画素配列を説明するための模式的な平面図である。 図４は、第１の実施形態に係る撮像装置における画素配列を説明するための模式的な平面図である。 図５は、画素配列とオンチップレンズ配列との関係を説明するための模式的な平面図である。 図６は、撮像装置の模式的な一部端面図である。 図７は、フィルタの分光透過率の模式的なグラフである。 図８は、フル解像度デモザイク処理を伴う画像処理の工程を示す模式的な工程図である。 図９Ａ、図９Ｂは、フル解像度デモザイク処理において補間に用いられる画素の関係を説明するための模式図である。 図１０は、画素加算処理を伴う画像処理の工程を示す模式的な工程図である。 図１１は、ＨＤＲ処理を伴う画像処理の工程を示す模式的な工程図である。 図１２Ａは、露光時間を異にする画素の配列を説明するための模式的な平面図である。図１２Ｂは、画素に接続される走査線と制御対象画素との関係を説明するための模式的な平面図である。 図１３は、デュアルバンドパスフィルタの分光透過率を説明するため模式的なグラフである。 図１４は、デュアルバンドパスフィルタとカラーフィルタを重ねたときの分光透過率を説明するため模式的なグラフである。 図１５は、第２の実施形態に係る撮像装置における画素配列を説明するための模式的な平面図である。 図１６は、画素配列とオンチップレンズ配列との関係を説明するための模式的な平面図である。 図１７は、図１６に引き続き、画素配列とオンチップレンズ配列との関係を説明するための模式的な平面図である。 図１８は、図１７に示すオンチップレンズを備える撮像装置の模式的な一部端面図である。 図１９は、フル解像度デモザイク処理を伴う画像処理の工程を示す模式的な工程図である。 図２０は、画素加算処理を伴う画像処理の工程を示す模式的な工程図である。 図２１は、ローリングシャッター動作時において、赤外光画像を撮像する際の環境赤外光の影響を説明するための模式的な動作図である。 図２２は、図２１に引き続き、ローリングシャッター動作において、赤外光画像を撮像する際の環境赤外光の影響を説明するための模式的な動作図である。 図２３は、ＨＤＲ処理を伴う画像処理の工程を示す模式的な工程図である。 図２４Ａは、露光時間を異にする画素の配列を説明するための模式的な平面図である。図２４Ｂは、画素に接続される走査線と制御対象画素との関係を説明するための模式的な平面図である。 図２５は、第３の実施形態に係る、認証処理やビューイング処理を行う画像処理システムの基本的な構成図である。 図２６は、認証処理工程やビューイング処理工程を伴う画像処理の工程を示す模式的な工程図である。 図２７は、第１の実施形態に係る撮像装置を使用したときの認証処理工程やビューイング処理工程を伴う画像処理の工程を示す模式的な工程図である。 図２８は、可視光を受光する画素における赤外光の影響を低減することができるフィルタ構成を説明するための、撮像装置の模式的な一部端面図である。 図２９は、画素配列の第１変形例を説明するための模式的な平面図である。 図３０は、画素配列の第２変形例を説明するための模式的な平面図である。 図３１は、画素配列の第３変形例を説明するための模式的な平面図である。 図３２は、画素配列の第４変形例を説明するための模式的な平面図である。 図３３は、画素配列の第５変形例を説明するための模式的な平面図である。 図３４は、画素配列の第６変形例を説明するための模式的な平面図である。 図３５は、車両制御システムの概略的な構成の一例を示すブロック図である。 図３６は、車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下、図面を参照して、実施形態に基づいて本開示を説明する。本開示は実施形態に限定されるものではなく、実施形態における種々の数値や材料は例示である。以下の説明において、同一要素または同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は、以下の順序で行う。
１．本開示の撮像装置、及び、画像処理システム、全般に関する説明
２．第１の実施形態
３．第２の実施形態
４．第３の実施形態
５．各種変形例
６．応用例
７．本開示の構成
［本開示の撮像装置、及び、画像処理システム、全般に関する説明］
上述したように、本開示の撮像装置、及び、本開示の画像処理システムに用いられる撮像装置（以下、これらを総称して、『本開示の撮像装置』と呼ぶ場合がある）にあっては、
２×２個の行列状に配置された４つの画素から成る画素群が複数配列されている画素アレイ部を備えており、
４つの画素から成る画素群として、
赤色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第１画素群、
青色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第２画素群、
緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第３画素群、及び、
緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第４画素群、
が形成されており、
第１画素群、第２画素群、第３画素群、及び、第４画素群から成る４つの画素群は、第１画素群と第２画素群とが対角に位置し第３画素群と第４画素群とが対角に位置する２×２個単位の組を成すように配置されている。
本開示の撮像装置にあっては、各画素群において、赤外光を受光する画素は、同一の位置に設けられている構成とすることができる。この場合において、画素毎にオンチップレンズが配置されている構成とすることができる。
上述した各種の好ましい構成を含む本開示の撮像装置にあっては、赤色光、緑色光、若しくは青色光を受光する画素に対応して、赤色フィルタ、緑色フィルタ、及び、青色フィルタのいずれかが配置されており、赤外光を受光する画素に対応して、赤外光透過フィルタが配置されている構成とすることができる。赤外光透過フィルタは、赤色フィルタ、緑色フィルタ、及び、青色フィルタのうち少なくとも２つが積層されて形成されている構成とすることができる。より好ましくは、赤外光透過フィルタは、赤色フィルタ、青色フィルタの２つが積層されて形成されていることが望ましい。
あるいは又、本開示の撮像装置にあっては、赤外光を受光する画素が、隣接する画素群における赤外光を受光する画素と隣り合うように設けられることによって、それぞれ隣接する４つの画素群ごとに、２×２個の行列状に配置されている構成とすることができる。
この場合においても、画素毎にオンチップレンズが配置されている構成とすることができる。あるいは又、赤色光、緑色光、若しくは青色光を受光する画素には、画素毎に、オンチップレンズが配置されており、２×２個の行列状に配置された赤外光を受光する画素には、共通のオンチップレンズが配置されている構成とすることができる。
共通のオンチップレンズが配置されている構成にあっては、２×２個の行列状に配置された赤外光を受光する画素によって像面位相差を検出し、赤外光画像と共に距離情報をも得ることができる。
また、赤色光、緑色光、若しくは青色光を受光する画素に対応して、赤色フィルタ、緑色フィルタ、及び、青色フィルタのいずれかが配置されており、２×２個の行列状に配置された赤外光を受光する画素には、共通の赤外光透過フィルタが配置されている構成とすることができる。この場合において、共通の赤外光透過フィルタは、赤色フィルタ、緑色フィルタ、及び、青色フィルタのうち少なくとも２つが積層されて構成されている構成とすることができる。
上述した各種の好ましい構成を含む本開示の撮像装置にあっては、赤色、緑色、及び、青色の成分を持つ画像データを画素毎に生成する構成とすることができる。この構成にあっては、画像の高解像度化を図ることができる。
あるいは又、各画素群において同色の画素のデータを加算して画像データを生成する構成とすることができる。この構成にあっては、同色の画素を加算することによるＳ／Ｎ比の向上を図ることができる。赤外光を受光する画素が２×２個の行列状に配置されている場合には、４つの画素のデータを加算して画像データを生成する構成とすることができる。特に、画素アレイ部において複数の画素の蓄積電荷を加算して読み出す構成とすれば、読み出し速度の高速化も図ることができる。
あるいは又、各画素群において赤外光を受光する画素を除く３つの画素は、画素に応じて、異なる露光条件で露光される構成とすることができる。この構成にあっては、露光条件を異にする画像情報を用いることによって、高ダイナミックレンジ画像の取得を図ることができる。
この場合において、
各画素群において、赤外光を受光する画素は、同一の位置に設けられており、
一対の走査線が、画素行ごとに配置され、
各画像行の画素は、画素ごとに交互に、一方の走査線と他方の走査線に接続されている、
構成とすることができる。
あるいは又、この場合において、
赤外光を受光する画素は、隣接する画素群における赤外光を受光する画素と隣り合うように設けられることによって、それぞれ隣接する４つの画素群ごとに、２×２個の行列状に配置されており、
一対の走査線が、画素行ごとに配置され、
各画像行の画素は、２つの画素単位で交互に、一方の走査線と他方の走査線に接続されている、
構成とすることができる。
上述した各種の好ましい構成の本開示の撮像装置を用いた画像処理システムにあっては、被写体に赤外光を照射する光源部を更に備えている構成とすることができる。
また、上述した好ましい構成の本開示の画像処理システムにあっては、赤外光画像に基づいて認証処理を行なう認証処理部を更に備えている構成とすることができる。
この場合において、赤外光を受光する画素は、隣接する画素群における赤外光を受光する画素と隣り合うように設けられることによって、それぞれ隣接する４つの画素群ごとに、２×２個の行列状に配置されており、
２×２個の行列状に配置された赤外光を受光する画素には、共通のオンチップレンズが配置されており、
認証処理部は、赤外光画像と、赤外光を受光する画素の像面位相差に基づいて生成されたデプスマップとのうち少なくとも一方を用いて認証処理を行なう構成とすることができる。
以上に説明した好ましい形態、構成を含む本開示の撮像装置として、ＣＭＯＳイメージセンサなどを挙げることができる。撮像装置は、表面照射型であってもよいし裏面照射型であってもよい。そして、本開示の撮像装置や画像処理システムを用いた装置として、スマートホン、ゲーム用のユーザーインターフェースカメラ、生体認証用カメラ等を例示することができる。本開示の撮像装置を備えるこれら各種の装置は、通常の可視光画像と赤外光画像とを視差のない状態で取得することができ、好適に画像処理を行なうことができる。
画素アレイ部が形成される基板として、半導体基板、特に、シリコン半導体基板を挙げることができる。シリコン半導体基板は、可視光に加えて波長が１μｍ程度の光も吸収する。従って、シリコン基板に形成されたフォトダイオードやフォトトランジスタなどといった光電変換素子は、可視光に加え、赤外光についても光電変換を行うことができる。
カラーフィルタや赤外光透過フィルタとして、赤色、緑色、青色等の特定波長を透過させるフィルタ層を挙げることができる。各種フィルタは、例えば、顔料や染料等の有機化合物を用いた有機材料系の材料層から構成することができる。
カラーフィルタや赤外光透過フィルタの他、撮像装置を構成する層間絶縁層や平坦化層などは、各種化学的気相成長法（ＣＶＤ法）、塗布法、各種物理的気相成長法（ＰＶＤ法）等の公知の方法に基づき形成することができる。また、パターニング法として、リソグラフィ技術とエッチング技術との組合せや、リフトオフ法などの公知の方法を挙げることができる。
本開示の撮像装置にあっては、集光効率を向上させるために、画素の上方にオンチップレンズ（ＯＣＬ）が配置されている形態とすることができる。オンチップレンズは、透明材料であって屈折率が大きい材料から成ることが好ましい。
撮像装置に用いられる層間絶縁層や平坦化層を透明な材料で構成する場合、例えば、光吸収特性を有していない絶縁材料、具体的には、ＳｉＯX系材料（シリコン系酸化膜を構成する材料）、ＳｉＮ、ＳｉＯＮ、ＳｉＯＣ、ＳｉＯＦ、ＳｉＣＮ、有機ＳＯＧなどの低誘電率絶縁材料、ポリイミド系樹脂、フッ素系樹脂などを材料として用いることができる。オンチップレンズについても、基本的には同様である。
本開示の画像処理システムにあっては、被写体からの光を結像するレンズ等から成る光学部や、被写体に赤外光を照射する光源部などを、必要に応じて適宜備える構成とすることができる。光源部の構成は特に限定するものではなく、赤外光発光ダイオードなどといった、周知の発光素子を用いることができる。
撮像装置からの信号を処理する信号処理部は、ハードウェアによる物理的な結線に基づいて動作するといった構成であってもよいし、プログラムに基づいて動作するといった構成であってもよい。認証処理部やビューイング処理部、更には、画像処理システム全体を制御する制御部などにおいても同様である。また、画像処理システムはユニットとして一体化されていてもよいし、別体として構成されていてもよい。
本明細書に示す種々の要件において、設計上あるいは製造上生ずる種々のばらつきなどの存在は許容される。また、以下の説明で用いる図は模式的なものである。例えば、後述する図６は撮像装置の端面構造を示すが、幅、高さ、厚さなどの割合を示すものではない。
［第１の実施形態］
第１の実施形態は、本開示に係る撮像装置、及び、係る撮像装置を用いた画像処理システムに関する。
図１は、第１の実施形態に係る撮像装置を用いた画像処理システムの基本的な構成図である。図２は、撮像装置の構成を説明するための模式的な平面図である。
図１に示す画像処理システム１は、
被写体を撮像する撮像装置１００と、撮像装置１００からの信号を処理する信号処理部２００とを備えている。更に、
被写体からの光を結像する光学部（撮像レンズ）３００、
被写体に赤外光を照射する光源部４００、
が設けられている。画像処理システム１全体の動作は、図示せぬ制御部などによって制御される。
図２に示す撮像装置１００は、半導体材料として例えばシリコン（Ｓｉ）を用いた半導体基板に、画素１０１が２次元アレイ状に配列された画素アレイ部１０２、画素アレイ部１０２を駆動するための駆動部１１０とが形成されて構成されている。駆動部１１０は、カラム処理部１１１、水平駆動部１１２、垂直駆動部１１３などから構成されている。撮像装置１００は、所謂ＣＭＯＳイメージセンサである。
画素１０１は、例えばフォトダイオード（ＰＤ）などによる光電変換部と画素トランジスタなどから構成される。画素の構成にもよるが、画素トランジスタは、例えば、転送トランジスタ、選択トランジスタ、リセットトランジスタ、及び、増幅トランジスタといった各種トランジスタから構成される。
次いで、駆動部１１０の基本的な動作について説明する。
垂直駆動部１１３は、例えばシフトレジスタによって構成され、所定の走査線１０４を選択し、選択された走査線１０４に接続された画素１０１を行単位で駆動する。垂直駆動部１１３は、画素アレイ部１０２を垂直方向に選択走査し、受光量に応じて各画素１０１が生成した信号電荷に基づく画素信号を、信号線１０３を通してカラム処理部１１１に供給させる。
カラム処理部１１１は、画素列ごとに配置されている。カラム処理部１１１は、１行分の画素１０１から出力される信号について処理を行い、相関二重サンプリング（ＣＤＳ）やＡ／Ｄ変換といった処理を行なう。
水平駆動部１１２も、垂直駆動部１１３と同様に、例えばシフトレジスタによって構成されている。水平駆動部１１２は、画素列ごとに配置されているカラム処理部１１１の各々を順次選択し、画素信号を出力させる。
以上、駆動部１１０の基本的な動作について説明した。
尚、画素１０１は、撮像装置１００の動作モードに応じて、隣り合う画素を複数纏めて扱うビニング動作が可能なように構成されていてもよい。ビニング動作の場合、複数の画素において、画素トランジスタのいくつかが共有されるように動作する。
また、図２においては、各画素行と各画素列とに走査線１０４と信号線１０３とが一本ずつ配されるとして示したが、これは例示に過ぎない。例えば、一回の撮像でＨＤＲの画像を取得する場合、画素に応じて露光時間を制御する必要がある。このような場合、少なくとも一部の画素行には複数の走査線を配する必要が生ずる。
引き続き、画素アレイ部の画素配置について説明する。本開示の理解を助けるため、先ず、参考例の撮像装置の画素配置を説明し、次いで、第１の実施形態について説明する。
図３は、参考例の撮像装置における画素配列を説明するための模式的な平面図である。
参考例の画素アレイ部９０２には、通常のＢａｙｅｒ配列の１画素を、２×２個の行列状に配置された４つの画素に置き換えたといった形で、画素が配列されている。図において、符号Ｒは赤色光を受光する画素、符号Ｇは緑色光を受光する画素、符号Ｂは青色光を受光する画素を示す。他の図面においても同様である。
この画素配列は、同色の画素を加算して読み出すことによってＳ／Ｎ比に優れた画像を得ることができ、また、フル解像度デモザイク処理を施すことによって高解像度の画像を得ることができ、更には、Ｂａｙｅｒ配列の１画素に対応する複数画素のそれぞれにおいて露光条件を異にすることによって、複数回の撮像を必要とせず高ダイナミックレンジの画像を得ることができる、といった利点を備えている。しかしながら、赤外光画像と可視光画像とを１つの撮像装置から得ることができない。
図４は、第１の実施形態に係る撮像装置における画素配列を説明するための模式的な平面図である。
撮像装置１００にあっては、２×２個の行列状に配置された４つの画素から成る画素群が複数配列されている画素アレイ部１０２を備えている。
具体的には、４つの画素から成る画素群として、
赤色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第１画素群ＧＰ１、
青色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第２画素群ＧＰ２、
緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第３画素群ＧＰ３、及び、
緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第４画素群ＧＰ４、
が形成されている。
第１画素群ＧＰ１、第２画素群ＧＰ２、第３画素群ＧＰ３、及び、第４画素群ＧＰ４から成る４つの画素群は、第１画素群ＧＰ１と第２画素群ＧＰ２とが対角に位置し第３画素群ＧＰ３と第４画素群ＧＰ４とが対角に位置する２×２個単位の組を成すように配置されている。後述する第２の実施形態においても同様である。尚、赤外光を受光する画素を符号ＩＲを用いて表した。他の図面においても同様である。
各画素群において、赤外光を受光する画素は、同一の位置に設けられている。図４は、各画素群において、２×２行の右下側に赤外光を受光する画素が設けられている場合の例を示した。
以上、画素配列について説明した。引き続き、画素配列とオンチップレンズの配列関係や各種構成要素の配置関係について説明する。
図５は、画素配列とオンチップレンズ配列との関係を説明するための模式的な平面図である。図６は、撮像装置の模式的な一部端面図である。
図５や図６に示すように、撮像装置１００にあっては、画素毎にオンチップレンズ４１が配置されている。また、図６に示すように、赤色光、緑色光、若しくは青色光を受光する画素に対応して、赤色フィルタ３０R、緑色フィルタ３０G、及び、青色フィルタ３０Bのいずれかが配置されている。そして、赤外光を受光する画素に対応して、赤外光透過フィルタ３０IRが配置されている。尚、上述のフィルタを纏めてフィルタ３０と表記する場合がある。
図６にあっては、図示の都合上、便宜的に、赤色光用、緑色光用、青色光用、赤外光用の構成要素は一列に配列されているとして示した。各画素が備える光電変換部１１の光入射面側には、フィルタ３０と、オンチップレンズ４１とが、積層されて配されている。
光電変換部１１は、例えばシリコンから成る半導体基板１０に形成されている。尚、光電変換部１１を構成するフォトダイオード等やこれに接続される配線等の図示は省略した。符号２１は、隣接する光電変換部１１と光電変換部１１との間に位置するように配された遮光層を示し、符号２０は、遮光層２１などを覆う平坦化層を示す。更に、その上に、フィルタ３０が形成されている。フィルタ３０の全面を覆うように透明材料層４０が形成されている。透明材料層４０の表面は、各光電変換部１１に対応したレンズ状に形成され、オンチップレンズ４１を構成する。
フィルタ３０は、これらを構成するための材料層をリソグラフィ特性を有する材料を用いて構成し、露光などによってパターニングを行うことで形成することができる。あるいは又、材料層の上層にフォトレジストを成膜すると共にリソグラフィ技術によって選択的に残し、ドライエッチングなどで加工するといったことでパターニングを行うことによって形成することもできる。
図７は、フィルタの分光透過率の模式的なグラフである。図に示すように、撮像装置向けとして市場に流通しているカラーフィルタは、概ね、８００ｎｍより長波長側において１００パーセントに近い透過率を示す。尚、後述する図２８に示すように、赤外光透過フィルタは、赤色フィルタ、緑色フィルタ、及び、青色フィルタのうち少なくとも２つが積層されて形成されている構成とすることもできる。
上述したように、撮像装置１００において、各画素群は、赤色光用の画素、緑色光用の画素、及び、青色光用の画素のいずれかを３つ備え、かつ、１つの赤外光用の画素を備えている。これによって、Ｂａｙｅｒ配列の１画素を複数の画素に分割した構成が備える利点を備えつつ、かつ、赤外光画像も取得することができる。
図１に示す画像処理システム１にあっては、赤色、緑色、及び、青色の成分を持つ画像データを画素毎に生成することによって、高解像度の画像を得ることができる。以下、図８を参照して説明する。
図８は、フル解像度デモザイク処理を伴う画像処理の工程を示す模式的な工程図である。図示の都合上、第１画素群ＧＰ１、第２画素群ＧＰ２、第３画素群ＧＰ３、第４画素群ＧＰ４から成る４×４行、計１６個の画素についての処理を模式的に示す。後述する他の図面においても同様である。
撮像装置１００からの画素信号は、赤色光用の画素、緑色光用の画素、及び、青色光用の画素（以下、これらを、可視光用の画素と呼ぶ場合がある）の画素信号と、赤外光用の画素の画素信号とに分離される（ステップＳ１１：ＩＲ／可視分離）。ここでは、分離されたものを、ＲＧＢ情報並びにＩＲ情報と称する。また、記載の都合上、画素の符号が画素の情報を表すものとして表記する場合がある。後述する他の図面においても同様である。
ＲＧＢ情報については、適宜補間処理を行なって、高解像度の情報を生成する（ステップＳ１２：ＲＧＢ情報補間）。次いで、ベイヤ化の処理を行なう（ステップＳ１４：Ｂａｙｅｒ化）。
図７を参照して説明したが、カラーフィルタは、対象光に加えて、赤外領域の波長に対しても透過性を示す。図８では、ベイヤ化された情報を（Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ）と模式的に表した。ここで、「＋ＩＲ」といった記載は、可視光成分に加えて赤外光成分が含まれていることを示す。後述する他の図面においても同様である。
ＩＲ情報については、通常のＢａｙｅｒ配列に対応した情報となるように、適宜補間処理を行なう（ステップＳ１３：ＩＲ情報補間）。
ステップＳ１２やステップＳ１３における補間処理は、特に限定するものではなく、周知の方法を用いて行なうことができる。ここでは、ステップＳ１３における補間処理の例について、図を参照して説明する。
図９Ａ、図９Ｂは、フル解像度デモザイク処理において補間に用いられる画素の関係を説明するための模式図である。
図９Ａにおいて符号Ｒ14で示す画素に対応したＩＲ情報（符号ＩＲ14と表す）は、例えば、画素Ｒ14の周囲に位置する赤外光用の画素（符号ＩＲ2，ＩＲ3，ＩＲ4，ＩＲ23）の情報を用いて、
ＩＲ14＝（ＩＲ2＋ＩＲ3＋ＩＲ4＋ＩＲ23）／４
といった計算によって補間することができる。
また、図９Ｂにおいて符号Ｒ24で示す画素に対応したＩＲ情報（符号ＩＲ24と表す）は、例えば、画素Ｒ14の上と下に位置する赤外光用の画素（符号ＩＲ4，ＩＲ23）の情報を用いて、
ＩＲ24＝（ＩＲ4＋ＩＲ23）／２
といった計算によって補間することができる。
以上、補間処理について説明した。引き続き、図８を参照して、ステップＳ１４やステップＳ１３に続く工程を説明する。
補間後のＲＧＢ情報から補間後のＩＲ情報を除算することによって、補間後のＲＧＢ情報に含まれる赤外光成分を除去する（ステップＳ１５：ＩＲ成分除去）。より詳しくは、撮像装置１００の仕様等に応じて、所定の係数を補間後のＩＲ情報に乗算した状態で処理を行なう。図８では、赤外光成分が除去された情報を（Ｒ、Ｇ、Ｂ）と模式的に表した。
ステップＳ１５の後のＲＧＢ情報は、通常のＢａｙｅｒ配列の情報であって、かつ、赤外光による影響も軽減された情報である。これに基づいて、通常のＢａｙｅｒ処理を施すことによって、高解像度の画像情報を得ることができる（ステップＳ１６：Ｂａｙｅｒ処理）。
以上、高解像度の画像を得ることができる工程について説明した。
図１に示す画像処理システム１にあっては、また、各画素群において同色の画素のデータを加算して画像データを生成することによって、Ｓ／Ｎに優れた画像を得ることができる。以下、図１０を参照して説明する。
図１０は、画素加算処理を伴う画像処理の工程を示す模式的な工程図である。
撮像装置１００からの画素信号は、可視光用の画素の画素信号と、赤外光用の画素の画素信号とに分離される（ステップＳ２１：ＩＲ／可視分離）。これは、図８において説明した工程と同様であるので、説明を省略する。
ＲＧＢ情報については、画素群ごとに、同色の画素情報を加算する処理を行なう（ステップＳ２２：ＲＧＢ情報加算）。複数の画素の情報を加算することによって、結果として、Ｓ／Ｎが向上する。
ＩＲ情報については、４つの画素群に含まれる情報を加算する処理を行なう（ステップＳ２３：ＩＲ情報加算）。
加算後のＲＧＢ情報から加算後のＩＲ情報を除算することによって、加算後のＲＧＢ情報に含まれる赤外光成分を除去する（ステップＳ２４：ＩＲ成分除去）。より詳しくは、撮像装置１００の仕様等に応じて、所定の係数を加算後のＩＲ情報に乗算した状態で処理を行なう。
ステップＳ２４の後のＲＧＢ情報は、解像度は低下したものの、通常のＢａｙｅｒ配列の情報であって、かつ、赤外光による影響も軽減された情報である。これに基づいて、通常のＢａｙｅｒ処理を施すことによって、画像情報を得ることができる（ステップＳ２５：Ｂａｙｅｒ処理）。
以上、Ｓ／Ｎに優れた画像を得ることができる工程について説明した。
図１に示す画像処理システム１にあっては、また、各画素群において赤外光を受光する画素を除く３つの画素は、画素に応じて、異なる露光条件で露光されることによって、ダイナミックレンジに優れた画像を得ることができる。以下、図１１を参照して説明する。
図１１は、ＨＤＲ処理を伴う画像処理の工程を示す模式的な工程図である。
撮像装置１００において、２×２個の画素群のうち、可視光用の画素３つは、それぞれ異なる露光条件で露光される。図において、符号Ｌは長時間露光される画素、符号Ｍは中時間露光される画素、符号Ｓは短時間露光される画素を示す。長時間露光とは、中時間露光よりも長い時間での露光である。中時間露光とは、短時間露光よりも長い時間での露光である。
図１２Ａは、露光時間を異にする画素の配列を説明するための模式的な平面図である。図１２Ｂは、画素に接続される走査線と制御対象画素との関係を説明するための模式的な平面図である。
図１２Ａに示すように、各画素群において、赤外光を受光する画素は、同一の位置に設けられている。そして、図１２Ｂに示すように、一対の走査線が、画素行ごとに配置されている。各画像行の画素は、画素ごとに交互に、一方の走査線と他方の走査線に接続されている。具体的には、第１の走査線は短時間露光される画素にコンタクトを介して接続され、第２の走査線は中時間露光される画素にコンタクトを介して接続され、第３の走査線は長時間露光される画素にコンタクトを介して接続され、第４の走査線はIR画素にコンタクトを介して接続される。ＩＲ画素での露光時間は、ＩＲ画素に適した露光時間が設定され、一例としては中時間露光の露光時間よりも長く、長時間露光の露光時間よりも短い露光時間が設定される。尚、各走査線と各コンタクトとの関係は、図１２Ｂの構成に限定されず、同一の露光時間を有する画素に対して同一の走査線がコンタクトを介して接続されていれば、どのような構成であっても良い。
撮像装置１００からの画素信号は、可視光用の画素の画素信号と、赤外光用の画素の画素信号とに分離される（ステップＳ３１：ＩＲ／可視分離）。これは、図８において説明した工程と同様であるので、説明を省略する。
ＲＧＢ情報については、画素群ごとに、露光時間の異なる画素情報に基づいてダイナミックレンジが拡大されたＲＧＢ情報を合成する（ステップＳ３２：ＨＤＲ情報合成）。
ＩＲ情報については、４つの画素群に含まれる情報を加算する処理を行なう（ステップＳ３３：ＩＲ情報加算）。
合成後のＲＧＢ情報から加算後のＩＲ情報を除算することによって、合成後のＲＧＢ情報に含まれる赤外光成分を除去する（ステップＳ３４：ＩＲ成分除去）。より詳しくは、撮像装置１００の仕様等に応じて、所定の係数を加算後のＩＲ情報に乗算した状態で処理を行なう。
ステップＳ３４の後のＲＧＢ情報は、解像度は低下したものの、通常のＢａｙｅｒ配列の情報であって、かつ、ダイナミックレンジが拡大されたＲＧＢ情報である。これに基づいて、通常のＢａｙｅｒ処理を施すことによって、ダイナミックレンジが拡大された画像情報を得ることができる（ステップＳ３５：Ｂａｙｅｒ処理）。
以上、第１の実施形態について説明した。第１の実施形態の画像処理システムにあっては、例えば、低照度時は複数画素加算、高照度時はリモザイクによるフル解像度信号を作りだすといったことができる。あるいは又、ＩＲ画素と他の画素の露光時間を個別に制御することで、ＩＲ混色に起因するＳ／Ｎ低下の防止を図ることができる。更には、例えば低照度時の撮像において、ＩＲ画素の信号をガイドとして可視光画像にＮＲ処理を施すといった高画質化処理を施すこともできる。
尚、上述の説明においては、可視光画素は赤外光成分を含んだ画像を撮像するとして説明した。場合によっては、可視光と、所定の範囲の赤外光とに透過帯を有するデュアルバンドパスフィルタを用いて、可視光画素における赤外光成分の影響を低減するといった構成とすることもできる。図１３は、デュアルバンドパスフィルタの分光透過率を説明するため模式的なグラフである。図１４は、デュアルバンドパスフィルタとカラーフィルタを重ねたときの分光透過率を説明するため模式的なグラフである。
［第２の実施形態］
第２の実施形態も、本開示に係る撮像装置、及び、係る撮像装置を用いた画像処理システムに関する。
第２の実施形態は、画素アレイ部における画素配列やオンチップレンズの配列が相違する他は、第１の実施形態において説明した構成と同様である。第２の実施形態における画像処理システム２の模式的な構成図は、図１において、撮像素子１００を撮像素子１００Ａと読み替え、画像処理システム１を画像処理システム２と読み替えればよい。
図１５は、第２の実施形態に係る撮像装置における画素配列を説明するための模式的な平面図である。
撮像装置１００Ａにあっては、２×２個の行列状に配置された４つの画素から成る画素群が複数配列されている画素アレイ部１０２Ａを備えている。
第１の実施形態においては、各画素群において、赤外光を受光する画素は、同一の位置に設けられていた。これに対し、第２の実施形態にあっては、赤外光を受光する画素は、隣接する画素群における赤外光を受光する画素と隣り合うように設けられることによって、それぞれ隣接する４つの画素群ごとに、２×２個の行列状に配置されている。
以上、画素配列について説明した。引き続き、画素配列とオンチップレンズの配列関係や各種構成要素の配置関係について説明する。
第２の実施形態においては、第１の実施形態と同様に、画素毎にオンチップレンズ４１が配置されている構成とすることができる。図１６はこの例を示す。
あるいは又、第２の実施形態とは異なり、赤色光、緑色光、若しくは青色光を受光する画素には、画素毎に、オンチップレンズが配置されており、２×２個の行列状に配置された赤外光を受光する画素には、共通のオンチップレンズが配置されている構成とすることもできる。図１７はこの例を示し、通常のオンチップレンズ４１と共通のオンチップレンズ４１Ａとの配置関係を示している。図１８は、図１７に示すオンチップレンズを備える撮像装置の模式的な一部端面図である。
共通のオンチップレンズが配置されている撮像装置は、赤外光画像の撮像に加えて、ＩＲ画素における像面位相差を用いて測距も可能となるといった利点を備えている。以下、２×２個の行列状に配置された赤外光を受光する画素には、共通のオンチップレンズが配置されているとして説明する。一般に、カラーフィルタ形成は、隣接画素で色配列が異なると、異なる色の隣接画素間でのカラーフィルタの重なりが生じてしまうおそれがあり、その部分が光の透過を遮断し、無効領域となってしまう。第２の実施形態では、４つのＩＲ画素が隣接して配置されることで、異なるカラーフィルタ間の境界が少なくなるため、隣接画素間でのカラーフィルタの重なりが減り、感度を向上させることができる。より望ましくは、図１８で示されるように、２×２個の行列状に配置された赤外光を受光する画素は、単一のカラーフィルタで形成されることで、より感度を向上させることができる。
第２の実施形態に係る画像処理システム２においても、赤色、緑色、及び、青色の成分を持つ画像データを画素毎に生成することによって、高解像度の画像を得ることができる。
図１９は、フル解像度デモザイク処理を伴う画像処理の工程を示す模式的な工程図である。
第１の実施形態において、図８を参照してフル解像度デモザイク処理を伴う画像処理の工程を説明した。図１９においては、画素配列の差に伴ってＲＧＢ情報の補間やＩＲ情報の補間の計算式などが相違する他、基本的には同様な工程である。従って、説明は省略する。
また、第２の実施形態に係る画像処理システム２においても、各画素群において同色の画素のデータを加算して画像データを生成することによって、Ｓ／Ｎに優れた画像を得ることができる。以下、図２０を参照して説明する。
図２０は、画素加算処理を伴う画像処理の工程を示す模式的な工程図である。
第１の実施形態において、図１０を参照して画素加算処理を伴う画像処理の工程を説明した。図２０における工程も基本的には同様であるが、可視光用の画素と共に赤外光用の画素についても画素アレイレベルでのビニング動作が可能といった点が相違する。
即ち、第１の実施形態にあっては、ＩＲ画素が離散して配置されていた。このため、ＩＲ画素に対しては、隣り合う画素を複数纏めて扱う画素アレイレベルでのビニング動作を行い難い。従って、ＩＲ画素情報を個別に取り出したのち外部で加算するといった動作が必要となり、処理に時間を要する。
これに対し、第２の実施形態にあっては、可視光用の画素および赤外光用の画素について画素アレイレベルでのビニング動作が可能である。従って、動作の高速化を図ることができる。動作の高速化によって得られる利点について説明する。
図２１は、ローリングシャッター動作時において、赤外光画像を撮像する際の環境赤外光の影響を説明するための模式的な動作図である。
ローリングシャッター動作にあっては、画素行毎に露光期間の始期と終期が変化する。このため、前フレームにおける最終行のシャッター開始から現フレームにおける読み出し開始までの間に能動的に赤外光を照射して撮像するといった場合にあっても、読み出しに係る期間の間、環境光のみが照射された状態で露光が行なわれる。
図２２は、図２１に引き続き、ローリングシャッター動作において、赤外光画像を撮像する際の環境赤外光の影響を説明するための模式的な動作図である。
図２２では、図２１に対して読み出しが高速化されている場合を示す。シャッター設定期間は、図２１と図２２とで同一である。しかしながら、環境光のみが照射されて露光される期間の長さは図２１に対して短くなっている。従って、動作の高速化によって、赤外光画像を撮像する際の環境赤外光の影響を軽減することができる。
図２１や図２２の例では、前フレームにおける最終行のシャッター開始から現フレームにおける読み出し開始までの間に能動的に赤外光を照射するとして説明した。図２１や図２２において、環境光のみと示す部分においても能動的に赤外光を照射するとすれば、環境赤外光の影響を軽減することができる。この場合には、動作の高速化によって赤外光を照射する期間を短くすることができるので、赤外光の照射に伴う消費電力を軽減することができる。
以上、画素アレイレベルでのビニング動作による利点について説明した。
画像処理システム２にあっては、また、各画素群において赤外光を受光する画素を除く３つの画素は、画素に応じて、異なる露光条件で露光されることによって、ダイナミックレンジに優れた画像を得ることができる。以下、図２３を参照して説明する。
図２３は、ＨＤＲ処理を伴う画像処理の工程を示す模式的な工程図である。
撮像装置１００Ａにおいて、２×２個の画素群のうち、可視光用の画素３つは、それぞれ異なる露光条件で露光される。図において、符号Ｌは長時間露光される画素、符号Ｍは中時間露光される画素、符号Ｓは短時間露光される画素を示す。
第１の実施形態において、図１１を参照してＨＤＲ処理を伴う画像処理の工程をを説明した。図２３においては、画素配列などが相違する他、基本的には同様な工程である。従って、説明は省略する。
図２４Ａは、露光時間を異にする画素の配列を説明するための模式的な平面図である。図２４Ｂは、画素に接続される走査線と制御対象画素との関係を説明するための模式的な平面図である。
図２４Ａに示すように、赤外光を受光する画素は、隣接する画素群における赤外光を受光する画素と隣り合うように設けられることによって、それぞれ隣接する４つの画素群ごとに、２×２個の行列状に配置されている。そして、図２４Ｂに示すように、一対の走査線が、画素行ごとに配置されている。各画像行の画素は、２つの画素単位で交互に、一方の走査線と他方の走査線に接続されている。具体的には、第１の走査線は中時間露光される画素にコンタクトを介して接続され、第２の走査線は長時間露光される画素にコンタクトを介して接続され、第３の走査線はIR画素にコンタクトを介して接続され、第４の走査線は長時間露光される画素にコンタクトを介して接続される。ＩＲ画素での露光時間は、ＩＲ画素に適した露光時間が設定され、一例としては中時間露光の露光時間よりも長く、長時間露光の露光時間よりも短い露光時間が設定される。尚、各走査線と各コンタクトとの関係は、図２４Ｂの構成に限定されず、同一の露光時間を有する画素に対して同一の走査線がコンタクトを介して接続されていれば、どのような構成であっても良い。
以上、第２の実施形態について説明した。第２の実施形態の画像処理システムは、第１の実施形態の画像処理システムにおける効果に加えて、画素アレイレベルでのビニング動作が容易であるといった効果を備えている。
［第３の実施形態］
第３の実施形態は、本開示に係る撮像装置を用いた画像処理システムに関する。
第２の実施形態において、ＩＲ画素に共通のオンチップレンズが配置されている構成にあっては、赤外光画像の撮像に加えて、ＩＲ画素における像面位相差を用いて測距も可能となるといったことを説明した。第３の実施形態は、第２の実施形態に係る撮像装置を用いた、認証処理やビューイング処理を行う画像処理システムである。
図２５は、第３の実施形態に係る、認証処理やビューイング処理を行う画像処理システムの基本的な構成図である。
図２５に示す画像処理システム３は、
被写体を撮像する撮像装置１００Ａと、撮像装置１００Ａからの信号を処理する信号処理部２００と、赤外光画像に基づいて認証処理を行なう認証処理部２１０とを備えている。画像処理システム３は、更に、
ビューイング処理を行なうビューイング処理部２２０、
被写体からの光を結像する光学部（撮像レンズ）３００、
被写体に赤外光を照射する光源部４００、
が設けられている。画像処理システム２全体の動作は、図示せぬ制御部などによって制御される。
図２６は、認証処理工程やビューイング処理工程を伴う画像処理の工程を示す模式的な工程図である。
撮像装置１００Ａからの画素信号は、可視光用の画素の画素信号と、赤外光用の画素の画素信号とに分離される（ステップＳ５１：ＩＲ／可視分離）。そして、分離されたＲＧＢ情報に基づいて、ビューイング処理が施される（ステップＳ５２：ビューイング処理）。
分離されたＩＲ情報は、赤外光画像として用いられる。また、離されたＩＲ情報に基づいて位相差が検出され、距離画像の情報が生成される（ステップＳ５３：位相差検出）。そして、認証処理部２１０は、赤外光画像と、赤外光を受光する画素の像面位相差に基づいて生成されたデプスマップとのうち少なくとも一方を用いて認証処理を行なう。例えば、赤外光画像と距離画像の情報に基づいて、３Ｄ顔認証、虹彩認証などといった統合的な認証を行うことができる（ステップＳ５４）。
尚、上述したステップに併せて、図１９、図２０、図２３を参照して説明した、フル解像度デモザイク処理を伴う画像処理、画素加算による画像処理、ＨＤＲ処理を伴う画像処理を適宜行なえばよい。
距離画像の情報を得るためにストラクチャーライトのように特定のパターンで赤外光を照射するといったシステムでは、虹彩の撮像を良好に行なうことが難しい。すなわち、このようなシステムでは、虹彩の情報を認証に用いるといった構成は取り難い。
これに対して、画像処理システム３にあっては、距離画像の情報を得るために、特定のパターンで赤外光を照射するといったことを必要としない。即ち、光源部はフラットな赤外光を被写体に照射すれば足りるので、虹彩の撮像も良好に行なうことができ、虹彩の情報を認証に用いるといった態様とすることができる。
以上、第３の実施形態について説明した。第３の実施形態の画像処理システムは、フラットな赤外光の照射下で測距が可能であり、単眼構成で、ビューイング画像の取得と同時に赤外光画像を用いた虹彩認証、赤外光画像による距離情報を用いた３Ｄ顔認証やジェスチャ認識などといったセンシング処理を行なうことができる。
可視光の撮像による顔検出や顔認証においては、写真などによるなりすましを判定することが難しい。本願では、単眼構成において画像とデプスマップを共に取得することができるので、ＩＲセンサを別途付加することなく、写真などによるなりすましを判定することができる。
尚、第２の実施形態に係る撮像装置を用いた画像処理システムの場合には、デプスマップの生成はできないものの、虹彩の情報を認証に用いるといったことは可能である。図２７は、第１の実施形態に係る撮像装置を使用したときの認証処理工程やビューイング処理工程を伴う画像処理の工程を示す模式的な工程図である。
［各種変形例］
引き続き、各種の変形例について説明する。
上述の説明にあっては、カラーフィルタの特性上、可視光用の画素が赤外光の影響を受けるといった構成であった。場合によっては、可視光用の画素が赤外光の影響を受ける程度を軽減したいといったことも考えられる。
図２８は、可視光を受光する画素における赤外光の影響を低減することができるフィルタ構成を説明するための、撮像装置の模式的な一部端面図である。
図２８において、可視光用の画素のカラーフィルタ構成は２層構造となっている。より具体的には、赤外光吸収フィルタ３０IRAとカラーフィルタとの積層構造となっている。この構成であれば、可視光用の画素が赤外光の影響を受ける程度を軽減することができる。
また、図２８の例では、赤外光用の画素のフィルタは可視光用のフィルタが２種積層されて構成されている。従って、カラーフィルタとは別に赤外光透過フィルタを形成するといったことを要しない。赤外光用の画素に用いられる２種積層される可視光用のフィルタは、Ｒ，Ｇ，Ｂ透過フィルタのうち任意の２種のフィルタを用いることが可能である。任意の組み合わせの中で、最も適した組み合わせは、図２８の例で示したＲ透過フィルタとＢ透過フィルタとの組み合わせである。理由は、図７の分光特性で示したように、可視光領域においてＲ透過フィルタの透過領域とＢ透過フィルタの透過領域とのオーバーラップが最も少ないためである。したがって、Ｒ透過フィルタとＢ透過フィルタとの組み合わせによって、より効果的に可視光を遮断しつつ赤外光を透過することができる。尚、赤外光用の画素に用いられる可視光用のフィルタは、２種積層に限定されず、３種以上の可視光用のフィルタが積層されても良い。
次いで、画素配置の変形例について説明する。
図２９は、画素配列の第１変形例を説明するための模式的な平面図である。
図２９は、第１の実施形態の画素配列の変形であって、画素群ごとに共通のオンチップレンズが設けられている。尚、図には８×８個の画素を示しているが、上側の８×４個は画素配置のみ、下側の８×４個は画素配置にオンチップレンズの配置を重ねて示した。後述する図３０、図３１、図３２、図３３、図３４においても同様である。
図３０の構成は、可視光の撮像において像面位相差を検出することができるといった利点を備えている。従って、例えば、可視光の距離情報と赤外光の顔画像を用いた３Ｄ顔認証が可能である。また、虹彩認証についても同様に可能である。
図３０は、画素配列の第２変形例を説明するための模式的な平面図である。
図３０は、第１の実施形態の画素配列の変形であって、１つの画素が２つの光電変換部を備えたといった構成である。オンチップレンズは画素毎に設けられている。
図３０の構成は、１つの画素が２つの光電変換部を備えており、像面位相差の検出が可能といった利点を備えている。
図３１は、画素配列の第３変形例を説明するための模式的な平面図である。
図３１は、２×２個の同色の画素群を配置し、かつ、一部の画素群を赤外光用とした構成である。画素毎にオンチップレンズが配置されている。
図３２は、画素配列の第４変形例を説明するための模式的な平面図である。
図３２も、２×２個の同色の画素群を配置し、かつ、一部の画素群を赤外光用とした構成である。可視光用の画素については画素毎にオンチップレンズが配置され、赤外光用の画素については２×２の画素に共通のオンチップレンズが配置されている。
図３３は、画素配列の第５変形例を説明するための模式的な平面図である。
図３３も、２×２個の同色の画素群を配置し、かつ、一部の画素群を赤外光用とした構成である。可視光用の画素および赤外光用の画素については、２×２の画素に共通のオンチップレンズが配置されている。
図３４は、画素配列の第６変形例を説明するための模式的な平面図である。
図３４も、２×２個の同色の画素群を配置し、かつ、一部の画素群を赤外光用とした構成である。可視光用の画素および赤外光用の画素については、２×２の画素に共通のオンチップレンズが配置されている。
［応用例］
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図３５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図３５に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図３５では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。
駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図３６は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図３６には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図３５に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。
専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３５の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図３５に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
本開示に係る技術は、以上説明した構成のうち、例えば、車外情報検出ユニットの撮像部に適用され得る。
尚、本開示の技術は以下のような構成も取ることができる。
［Ａ１］
２×２個の行列状に配置された４つの画素から成る画素群が複数配列されている画素アレイ部を備えており、
４つの画素から成る画素群として、
赤色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第１画素群、
青色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第２画素群、
緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第３画素群、及び、
緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第４画素群、
が形成されており、
第１画素群、第２画素群、第３画素群、及び、第４画素群から成る４つの画素群は、第１画素群と第２画素群とが対角に位置し第３画素群と第４画素群とが対角に位置する２×２個単位の組を成すように配置されている、
撮像装置。
［Ａ２］
各画素群において、赤外光を受光する画素は、同一の位置に設けられている、
上記［Ａ１］に記載の撮像装置。
［Ａ３］
画素毎にオンチップレンズが配置されている、
上記［Ａ２］に記載の撮像装置。
［Ａ４］
赤色光、緑色光、若しくは青色光を受光する画素に対応して、赤色フィルタ、緑色フィルタ、及び、青色フィルタのいずれかが配置されており、
赤外光を受光する画素に対応して、赤外光透過フィルタが配置されている、
上記［Ａ１］または［Ａ２］に記載の撮像装置。
［Ａ５］
赤外光透過フィルタは、赤色フィルタ、緑色フィルタ、及び、青色フィルタのうち少なくとも２つが積層されて形成されている、
上記［Ａ４］に記載の撮像装置。
［Ａ６］
赤外光透過フィルタは、赤色フィルタ、青色フィルタの２つが積層されて形成されている、
上記［Ａ５］に記載の撮像装置。
［Ａ７］
赤外光を受光する画素は、隣接する画素群における赤外光を受光する画素と隣り合うように設けられることによって、それぞれ隣接する４つの画素群ごとに、２×２個の行列状に配置されている、
上記［Ａ１］に記載の撮像装置。
［Ａ８］
画素毎にオンチップレンズが配置されている、
上記［Ａ７］に記載の撮像装置。
［Ａ９］
赤色光、緑色光、若しくは青色光を受光する画素には、画素毎に、オンチップレンズが配置されており、
２×２個の行列状に配置された赤外光を受光する画素には、共通のオンチップレンズが配置されている、
上記［Ａ７］に記載の撮像装置。
［Ａ１０］
赤色光、緑色光、若しくは青色光を受光する画素に対応して、赤色フィルタ、緑色フィルタ、及び、青色フィルタのいずれかが配置されており、
２×２個の行列状に配置された赤外光を受光する画素には、共通の赤外光透過フィルタが配置されている、
上記［Ａ７］ないし［Ａ９］のいずれかに記載の撮像装置。
［Ａ１１］
共通の赤外光透過フィルタは、赤色フィルタ、緑色フィルタ、及び、青色フィルタのうち少なくとも２つが積層されて構成されている、
上記［Ａ１０］に記載の撮像装置。
［Ａ１２］
赤色、緑色、及び、青色の成分を持つ画像データを画素毎に生成する、
上記［Ａ１］ないし［Ａ１１］のいずれかに記載の撮像装置。
［Ａ１３］
各画素群において同色の画素のデータを加算して画像データを生成する、
上記［Ａ１］ないし［Ａ１１］のいずれかに記載の撮像装置。
［Ａ１４］
２×２個の行列状に配置された赤外光を受光する４つの画素のデータを加算して画像データを生成する、
上記［Ａ７］ないし［Ａ１１］のいずれかに記載の撮像装置。
［Ａ１５］
各画素群において赤外光を受光する画素を除く３つの画素は、画素に応じて、異なる露光条件で露光される、
上記［Ａ１］に記載の撮像装置。
［Ａ１６］
各画素群において、赤外光を受光する画素は、同一の位置に設けられており、
一対の走査線が、画素行ごとに配置され、
各画像行の画素は、画素ごとに交互に、一方の走査線と他方の走査線に接続されている、
上記［Ａ１５］に記載の撮像装置。
［Ａ１７］
赤外光を受光する画素は、隣接する画素群における赤外光を受光する画素と隣り合うように設けられることによって、それぞれ隣接する４つの画素群ごとに、２×２個の行列状に配置されており、
一対の走査線が、画素行ごとに配置され、
各画像行の画素は、２つの画素単位で交互に、一方の走査線と他方の走査線に接続されている、
上記［Ａ１５］に記載の撮像装置。
［Ｂ１］
被写体を撮像する撮像装置と、撮像装置からの信号を処理する信号処理部とを備えており、
撮像装置は、
２×２個の行列状に配置された４つの画素から成る画素群が複数配列されている画素アレイ部を備えており、
４つの画素から成る画素群として、
赤色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第１画素群、
青色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第２画素群、
緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第３画素群、及び、
緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第４画素群、
が形成されており、
第１画素群、第２画素群、第３画素群、及び、第４画素群から成る４つの画素群は、第１画素群と第２画素群とが対角に位置し第３画素群と第４画素群とが対角に位置する２×２個単位の組を成すように配置されている、
画像処理システム。
［Ｂ２］
被写体に赤外光を照射する光源部を更に備えている、
上記［Ｂ１］に記載の画像処理システム。
［Ｂ３］
赤外光画像に基づいて認証処理を行なう認証処理部を更に備えている、
上記［Ｂ１］または［Ｂ２］に記載の画像処理システム。
［Ｂ４］
赤外光を受光する画素は、隣接する画素群における赤外光を受光する画素と隣り合うように設けられることによって、それぞれ隣接する４つの画素群ごとに、２×２個の行列状に配置されており、
２×２個の行列状に配置された赤外光を受光する画素には、共通のオンチップレンズが配置されており、
認証処理部は、赤外光画像と、赤外光を受光する画素の像面位相差に基づいて生成されたデプスマップとのうち少なくとも一方を用いて認証処理を行なう、
上記［Ｂ１］ないし［Ｂ３］のいずれかに記載の画像処理システム。
１，２，３・・・画像処理システム、１０・・・半導体基板、１１・・・光電変換部、２０・・・平坦化層、２１・・・遮光層、３０・・・フィルタ、３０R・・・赤色フィルタ、３０G・・・緑色フィルタ、３０B・・・青色フィルタ、３０IR・・・赤外光透過フィルタ、３０IRA・・・赤外光吸収（反射）フィルタ、４０・・・透明材料層、４１・・・オンチップレンズ、４１Ａ・・・共通のオンチップレンズ、１００，１００Ａ・・・撮像装置、１０１・・・画素、１０２，１０２Ａ，１０２Ｂ，１０２Ｃ，１０２Ｄ，１０２Ｅ，１０２Ｆ，１０２Ｇ，９０２・・・画素アレイ部、１０３・・・信号線、１０４・・・走査線、１１０・・・駆動部、１１１・・・カラム処理部、１１２・・・水平駆動部、１１３・・・垂直駆動部、２００・・・信号処理部、２１０・・・認証処理部、２２０・・・ビューイング処理部、３００・・・光学部、４００・・・赤外光の光源部

Claims (21)

  1. ２×２個の行列状に配置された４つの画素から成る画素群が複数配列されている画素アレイ部を備えており、
    ４つの画素から成る画素群として、
    赤色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第１画素群、
    青色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第２画素群、
    緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第３画素群、及び、
    緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第４画素群、
    が形成されており、
    第１画素群、第２画素群、第３画素群、及び、第４画素群から成る４つの画素群は、第１画素群と第２画素群とが対角に位置し第３画素群と第４画素群とが対角に位置する２×２個単位の組を成すように配置されている、
    撮像装置。
  2. 各画素群において、赤外光を受光する画素は、同一の位置に設けられている、
    請求項１に記載の撮像装置。
  3. 画素毎にオンチップレンズが配置されている、
    請求項２に記載の撮像装置。
  4. 赤色光、緑色光、若しくは青色光を受光する画素に対応して、赤色フィルタ、緑色フィルタ、及び、青色フィルタのいずれかが配置されており、
    赤外光を受光する画素に対応して、赤外光透過フィルタが配置されている、
    請求項１に記載の撮像装置。
  5. 赤外光透過フィルタは、赤色フィルタ、緑色フィルタ、及び、青色フィルタのうち少なくとも２つが積層されて形成されている、
    請求項４に記載の撮像装置。
  6. 赤外光透過フィルタは、赤色フィルタ、青色フィルタの２つが積層されて形成されている、
    請求項５に記載の撮像装置。
  7. 赤外光を受光する画素は、隣接する画素群における赤外光を受光する画素と隣り合うように設けられることによって、それぞれ隣接する４つの画素群ごとに、２×２個の行列状に配置されている、
    請求項１に記載の撮像装置。
  8. 画素毎にオンチップレンズが配置されている、
    請求項７に記載の撮像装置。
  9. 赤色光、緑色光、若しくは青色光を受光する画素には、画素毎に、オンチップレンズが配置されており、
    ２×２個の行列状に配置された赤外光を受光する画素には、共通のオンチップレンズが配置されている、
    請求項７に記載の撮像装置。
  10. 赤色光、緑色光、若しくは青色光を受光する画素に対応して、赤色フィルタ、緑色フィルタ、及び、青色フィルタのいずれかが配置されており、
    ２×２個の行列状に配置された赤外光を受光する画素には、共通の赤外光透過フィルタが配置されている、
    請求項７に記載の撮像装置。
  11. 共通の赤外光透過フィルタは、赤色フィルタ、緑色フィルタ、及び、青色フィルタのうち少なくとも２つが積層されて構成されている、
    請求項１０に記載の撮像装置。
  12. 赤色、緑色、及び、青色の成分を持つ画像データを画素毎に生成する、
    請求項１に記載の撮像装置。
  13. 各画素群において同色の画素のデータを加算して画像データを生成する、
    請求項１に記載の撮像装置。
  14. ２×２個の行列状に配置された赤外光を受光する４つの画素のデータを加算して画像データを生成する、
    請求項７に記載の撮像装置。
  15. 各画素群において赤外光を受光する画素を除く３つの画素は、画素に応じて、異なる露光条件で露光される、
    請求項１に記載の撮像装置。
  16. 各画素群において、赤外光を受光する画素は、同一の位置に設けられており、
    一対の走査線が、画素行ごとに配置され、
    各画像行の画素は、画素ごとに交互に、一方の走査線と他方の走査線に接続されている、
    請求項１５に記載の撮像装置。
  17. 赤外光を受光する画素は、隣接する画素群における赤外光を受光する画素と隣り合うように設けられることによって、それぞれ隣接する４つの画素群ごとに、２×２個の行列状に配置されており、
    一対の走査線が、画素行ごとに配置され、
    各画像行の画素は、２つの画素単位で交互に、一方の走査線と他方の走査線に接続されている、
    請求項１５に記載の撮像装置。
  18. 被写体を撮像する撮像装置と、撮像装置からの信号を処理する信号処理部とを備えており、
    撮像装置は、
    ２×２個の行列状に配置された４つの画素から成る画素群が複数配列されている画素アレイ部を備えており、
    ４つの画素から成る画素群として、
    赤色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第１画素群、
    青色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第２画素群、
    緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第３画素群、及び、
    緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第４画素群、
    が形成されており、
    第１画素群、第２画素群、第３画素群、及び、第４画素群から成る４つの画素群は、第１画素群と第２画素群とが対角に位置し第３画素群と第４画素群とが対角に位置する２×２個単位の組を成すように配置されている、
    画像処理システム。
  19. 被写体に赤外光を照射する光源部を更に備えている、
    請求項１８に記載の画像処理システム。
  20. 赤外光画像に基づいて認証処理を行なう認証処理部を更に備えている、
    請求項１８に記載の画像処理システム。
  21. 赤外光を受光する画素は、隣接する画素群における赤外光を受光する画素と隣り合うように設けられることによって、それぞれ隣接する４つの画素群ごとに、２×２個の行列状に配置されており、
    ２×２個の行列状に配置された赤外光を受光する画素には、共通のオンチップレンズが配置されており、
    認証処理部は、赤外光画像と、赤外光を受光する画素の像面位相差に基づいて生成されたデプスマップとのうち少なくとも一方を用いて認証処理を行なう、
    請求項１８に記載の画像処理システム。
JP2018059840A 2018-03-27 2018-03-27 撮像装置、及び、画像処理システム Pending JP2019175912A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018059840A JP2019175912A (ja) 2018-03-27 2018-03-27 撮像装置、及び、画像処理システム
PCT/JP2019/009346 WO2019188123A1 (ja) 2018-03-27 2019-03-08 撮像装置、及び、画像処理システム
US16/982,554 US11743604B2 (en) 2018-03-27 2019-03-08 Imaging device and image processing system
CN201980020237.7A CN111869199A (zh) 2018-03-27 2019-03-08 摄像装置和图像处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018059840A JP2019175912A (ja) 2018-03-27 2018-03-27 撮像装置、及び、画像処理システム

Publications (1)

Publication Number Publication Date
JP2019175912A true JP2019175912A (ja) 2019-10-10

Family

ID=68059868

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018059840A Pending JP2019175912A (ja) 2018-03-27 2018-03-27 撮像装置、及び、画像処理システム

Country Status (4)

Country Link
US (1) US11743604B2 (ja)
JP (1) JP2019175912A (ja)
CN (1) CN111869199A (ja)
WO (1) WO2019188123A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112736101A (zh) * 2019-10-28 2021-04-30 豪威科技股份有限公司 在多个子像素之间具有共享微透镜的图像传感器
CN112928130A (zh) * 2019-12-05 2021-06-08 豪威科技股份有限公司 具有共用微透镜和偏振像素的图像传感器
JP2021145121A (ja) * 2020-03-10 2021-09-24 采▲ぎょく▼科技股▲ふん▼有限公司VisEra Technologies Company Limited 固体撮像素子
WO2022202053A1 (ja) * 2021-03-23 2022-09-29 ソニーセミコンダクタソリューションズ株式会社 撮像素子、撮像装置及び撮像素子の制御方法
DE112021001249T5 (de) 2020-02-26 2022-12-29 Sony Semiconductor Solutions Corporation Festkörperbildgebungsvorrichtung und elektronische vorrichtung
DE112021001250T5 (de) 2020-02-26 2023-01-12 Sony Semiconductor Solutions Corporation Festkörperbildgebungsvorrichtung und elektronische ausrüstung

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108900772A (zh) * 2018-07-19 2018-11-27 维沃移动通信有限公司 一种移动终端及图像拍摄方法
US11405535B2 (en) * 2019-02-28 2022-08-02 Qualcomm Incorporated Quad color filter array camera sensor configurations
KR20210004229A (ko) * 2019-07-03 2021-01-13 삼성전자주식회사 뉴럴 네트워크 프로세서를 구비하는 이미지 프로세싱 장치 및 이의 동작 방법
WO2021070431A1 (ja) * 2019-10-07 2021-04-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
US11182572B2 (en) * 2019-12-20 2021-11-23 Zebra Technologies Corporation System and method of selective auxiliary data capture
KR20210080875A (ko) 2019-12-23 2021-07-01 삼성전자주식회사 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법
JP7437957B2 (ja) 2020-02-06 2024-02-26 ソニーセミコンダクタソリューションズ株式会社 受光素子、固体撮像装置及び電子機器
CN114038204A (zh) * 2020-10-21 2022-02-11 南京光准科技有限公司 一种利用激光感知红绿灯状态实现闯红灯风险预警的装置
WO2022120647A1 (zh) * 2020-12-09 2022-06-16 京东方科技集团股份有限公司 显示面板及其驱动方法、显示装置
JP7019223B1 (ja) 2021-02-24 2022-02-15 ガレージバンク株式会社 情報処理装置、情報処理システムおよび情報処理方法
CN113052884A (zh) * 2021-03-17 2021-06-29 Oppo广东移动通信有限公司 信息处理方法、信息处理装置、存储介质与电子设备
US20230036544A1 (en) * 2021-08-02 2023-02-02 Himax Imaging Limited Dual-mode image sensor and color filter array thereof

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060146155A1 (en) * 2002-10-11 2006-07-06 Rohm Co., Ltd. Area image sensor
JP2007189376A (ja) 2006-01-12 2007-07-26 Matsushita Electric Ind Co Ltd 固体撮像装置及びカメラモジュール
JP5443916B2 (ja) * 2008-09-19 2014-03-19 パナソニック株式会社 カメラ本体
US9077916B2 (en) 2009-01-16 2015-07-07 Dual Aperture International Co. Ltd. Improving the depth of field in an imaging system
JP5359465B2 (ja) * 2009-03-31 2013-12-04 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP5471117B2 (ja) 2009-07-24 2014-04-16 ソニー株式会社 固体撮像装置とその製造方法並びにカメラ
JP2012230132A (ja) * 2009-09-09 2012-11-22 Sharp Corp 光センサおよび表示装置
CN102830453A (zh) * 2011-06-13 2012-12-19 广东中显科技有限公司 彩色滤色片
US9723233B2 (en) * 2012-04-18 2017-08-01 Brightway Vision Ltd. Controllable gated sensor
JP2014078052A (ja) 2012-10-09 2014-05-01 Sony Corp 認証装置および方法、並びにプログラム
US9692992B2 (en) 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9667933B2 (en) 2013-07-01 2017-05-30 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
CN107078138B (zh) * 2014-10-06 2020-12-18 索尼公司 固态摄像装置和电子设备
US20160161332A1 (en) * 2014-12-09 2016-06-09 Stmicroelectronics (Research & Development) Limited Image sensor using pixels with combined rgb and ir sensing
CN105049829B (zh) 2015-07-10 2018-12-25 上海图漾信息科技有限公司 滤光片、图像传感器、成像装置以及三维成像系统
US9671537B2 (en) * 2015-10-22 2017-06-06 Omnivision Technologies, Inc. Multi-layer color filter for low color error and high SNR
CN106878690A (zh) 2015-12-14 2017-06-20 比亚迪股份有限公司 图像传感器的成像方法、成像装置和电子设备
CN105635532B (zh) 2015-12-18 2017-05-24 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN108697314B (zh) * 2016-01-28 2021-04-06 基文影像公司 控制体内装置中的图像捕获和传输速率的方法及系统
KR102577844B1 (ko) * 2016-08-09 2023-09-15 삼성전자주식회사 이미지 센서
US10616516B2 (en) * 2016-09-30 2020-04-07 Planet Labs Inc. Systems and methods for implementing time delay integration imaging techniques in conjunction with distinct imaging regions on a monolithic charge-coupled device image sensor
US10090347B1 (en) * 2017-05-24 2018-10-02 Semiconductor Components Industries, Llc Image sensor with near-infrared and visible light pixels

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112736101A (zh) * 2019-10-28 2021-04-30 豪威科技股份有限公司 在多个子像素之间具有共享微透镜的图像传感器
CN112736101B (zh) * 2019-10-28 2023-10-17 豪威科技股份有限公司 在多个子像素之间具有共享微透镜的图像传感器
CN112928130A (zh) * 2019-12-05 2021-06-08 豪威科技股份有限公司 具有共用微透镜和偏振像素的图像传感器
CN112928130B (zh) * 2019-12-05 2022-11-08 豪威科技股份有限公司 具有共用微透镜和偏振像素的图像传感器
DE112021001249T5 (de) 2020-02-26 2022-12-29 Sony Semiconductor Solutions Corporation Festkörperbildgebungsvorrichtung und elektronische vorrichtung
DE112021001250T5 (de) 2020-02-26 2023-01-12 Sony Semiconductor Solutions Corporation Festkörperbildgebungsvorrichtung und elektronische ausrüstung
US11889206B2 (en) 2020-02-26 2024-01-30 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic equipment
JP2021145121A (ja) * 2020-03-10 2021-09-24 采▲ぎょく▼科技股▲ふん▼有限公司VisEra Technologies Company Limited 固体撮像素子
US11631709B2 (en) 2020-03-10 2023-04-18 Visera Technologies Company Limited Solid-state image sensor
JP7313318B2 (ja) 2020-03-10 2023-07-24 采▲ぎょく▼科技股▲ふん▼有限公司 固体撮像素子
WO2022202053A1 (ja) * 2021-03-23 2022-09-29 ソニーセミコンダクタソリューションズ株式会社 撮像素子、撮像装置及び撮像素子の制御方法

Also Published As

Publication number Publication date
US20210006756A1 (en) 2021-01-07
CN111869199A (zh) 2020-10-30
US11743604B2 (en) 2023-08-29
WO2019188123A1 (ja) 2019-10-03

Similar Documents

Publication Publication Date Title
US11743604B2 (en) Imaging device and image processing system
JP7134952B2 (ja) 撮像素子、及び、撮像素子を備えた電子機器
WO2018074064A1 (ja) 画像処理装置と画像処理方法および撮像装置
US10847561B2 (en) Solid-state imaging element and method for manufacturing the same, and electronic device
JPWO2017217177A1 (ja) 画像処理装置、および撮像装置、ならびに画像処理システム
WO2018070269A1 (ja) 光学デバイス、光学センサ、並びに、撮像装置
JP2018093052A (ja) 固体撮像素子およびその製造方法、並びに電子機器
WO2018008408A1 (ja) 固体撮像装置、補正方法、および電子装置
JP7484904B2 (ja) 撮像素子、信号処理装置、信号処理方法、プログラム、及び、撮像装置
WO2018043140A1 (ja) 固体撮像素子、および電子装置
WO2023195395A1 (en) Light detection device and electronic apparatus
WO2021020156A1 (ja) 撮像素子、撮像装置、信号処理装置、及び、信号処理方法
WO2024048292A1 (ja) 光検出素子、撮像装置、及び車両制御システム
WO2022149556A1 (ja) 撮像装置および電子機器
WO2023195392A1 (en) Light detection device
WO2019082559A1 (ja) 撮像素子および撮像素子の製造方法、並びに、電子機器
WO2024057471A1 (ja) 光電変換素子、固体撮像素子、測距システム
WO2024004644A1 (ja) センサ装置
WO2024018812A1 (ja) 固体撮像装置
WO2023162651A1 (ja) 受光素子、および電子機器
WO2022124092A1 (ja) 固体撮像素子、撮像装置及び固体撮像素子の制御方法
WO2023229018A1 (ja) 光検出装置
WO2023219045A1 (ja) 受光装置、制御方法、及び測距システム
JP2024073899A (ja) 撮像素子
WO2018135208A1 (ja) 撮像装置と撮像システム