JP2022119374A - 光電変換装置、光電変換システム、移動体 - Google Patents

光電変換装置、光電変換システム、移動体 Download PDF

Info

Publication number
JP2022119374A
JP2022119374A JP2021016446A JP2021016446A JP2022119374A JP 2022119374 A JP2022119374 A JP 2022119374A JP 2021016446 A JP2021016446 A JP 2021016446A JP 2021016446 A JP2021016446 A JP 2021016446A JP 2022119374 A JP2022119374 A JP 2022119374A
Authority
JP
Japan
Prior art keywords
signal processing
photoelectric conversion
substrate
processing
conversion device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021016446A
Other languages
English (en)
Other versions
JP2022119374A5 (ja
Inventor
慧 落合
Kei Ochiai
佳明 高田
Yoshiaki Takada
雅紀 佐藤
Masaki Sato
昌弘 小林
Masahiro Kobayashi
大祐 小林
Daisuke Kobayashi
哲也 板野
Tetsuya Itano
七朗 中辻
Shichiro Nakatsuji
康裕 小黒
Yasuhiro Oguro
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021016446A priority Critical patent/JP2022119374A/ja
Priority to KR1020220011169A priority patent/KR20220112686A/ko
Priority to EP22154081.8A priority patent/EP4040779A1/en
Priority to CN202210113180.9A priority patent/CN114938434A/zh
Priority to US17/591,496 priority patent/US11849238B2/en
Publication of JP2022119374A publication Critical patent/JP2022119374A/ja
Publication of JP2022119374A5 publication Critical patent/JP2022119374A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14636—Interconnect structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14665—Imagers using a photoconductor layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

【課題】 本開示に関する技術は、第２基板で発生する熱の分散、第２基板で行う機械学習を伴う処理の高速化に有利な技術を提供する。【解決手段】 複数の画素を有する画素アレイを備える第１基板と、第１基板に積層され、第１基板から出力される信号をデジタル信号に変換する複数のＡＤ変換回路を含むＡＤ変換部を備える第２基板とを有し、第２基板は、機械学習処理を行う、第１信号処理部および第２信号処理部を含む複数の信号処理部をさらに備え、複数の組の各々が互いに異なる複数のＡＤ変換回路を含み、第１信号処理部は、前記複数の組の１つの組に対応するように配され、第２信号処理部は、前記複数の組の別の１つの組に対応するように配されていることを特徴とする光電変換装置である。【選択図】 図３

Description

本発明は光電変換装置、光電変換システム、移動体に関する。
入射光を電荷に変換する光電変換装置において、複数の基板が積層された積層構造を持つ構成が知られている。
特許文献１には、画素を備える第１基板と、信号処理回路（ＤＳＰ）を備える第２基板とが積層された積層型受光センサが記載されている。信号処理回路では、ニューラルネットワーク計算モデルに基づく処理を実行している。
特開２０２０－２５２６３号公報
第２基板に配されたニューラルネットワーク計算モデルに基づく処理信号処理回路は、消費電力が大きく、消費電力に比例して発熱も大きくなる。この第２基板で発生した熱は、第１基板に配された画素アレイに伝搬する。この結果、画素が出力する信号に含まれるノイズの増加が生じる。特に局所的な発熱は、画像面内の出力ムラを生じさせるため、画質を低下させるばかりでなく、画質の補正処理が困難となる。
また、ニューラルネットワーク計算モデルに基づく処理の高機能化に伴い、複数の処理を順次行う信号処理の方式では信号処理速度の高速化が阻害される。
本開示に関する技術は、第２基板で発生する熱の分散、第２基板で行う機械学習を伴う処理の高速化に有利な技術を提供する。
本開示の１つの側面は、複数の画素を有する画素アレイを備える第１基板と、前記第１基板に積層され、前記第１基板から出力される信号をデジタル信号に変換する複数のＡＤ変換回路を含むＡＤ変換部を備える第２基板とを有し、前記第２基板は、機械学習処理を行う、第１信号処理部および第２信号処理部を含む複数の信号処理部をさらに備え、複数の組の各々が互いに異なる複数のＡＤ変換回路を含み、前記第１信号処理部は、前記複数の組の１つの組に対応するように配され、前記第２信号処理部は、前記複数の組の別の１つの組に対応するように配されていることを特徴とする光電変換装置である。
第２基板で発生する熱の分散、第２基板で行う機械学習を伴う処理の高速化を実現できる。
光電変換装置の構成を示す図 画素の構成を示す図 第２基板の構成を示す図 第２基板の構成を示す図 第２基板の構成を示す図 第２基板の構成を示す図 第２基板の動作を示す図 第２基板の構成を示す図 第２基板の構成を示す図 第２基板の構成を示す図 光電変換装置の動作を示す図 光電変換装置の動作を示す図 光電変換装置の動作を示す図 第２基板の構成を示す図 光電変換システムの機能ブロック図 距離センサの機能ブロック図 内視鏡手術の機能ブロック図 光電変換システムおよび移動体の図 スマートグラスの概略図 診断システムの機能ブロック図
以下、図面を参照しながら各実施例を説明する。
以下に述べる各実施形態では、光電変換装置の一例として、光電変換装置を中心に説明する。ただし、各実施形態は、光電変換装置に限られるものではなく、光電変換装置の他の例にも適用可能である。例えば、測距装置（焦点検出やＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）を用いた距離測定等の装置）、測光装置（入射光量の測定等の装置）などがある。
なお、以下に述べる実施形態に記載されるトランジスタの導電型は一例のものであって、実施例中に記載された導電型のみに限定されるものでは無い。実施形態中に記載された導電型に対し、導電型は適宜変更できるし、この変更に伴って、トランジスタのゲート、ソース、ドレインの電位は適宜変更される。
例えば、スイッチとして動作させるトランジスタであれば、ゲートに供給する電位のローレベルとハイレベルとを、導電型の変更に伴って、実施例中の説明に対し逆転させるようにすればよい。また、以下に述べる実施例中に記載される半導体領域の導電型についても一例のものであって、実施例中に記載された導電型のみに限定されるものでは無い。実施例中に記載された導電型に対し、導電型は適宜変更できるし、この変更に伴って、半導体領域の電位は適宜変更される。
図１（ａ）は、第１の実施形態に関わる積層型の光電変換装置の模式図である。第１基板１００、第２基板２００は半導体基板であり、第１基板１００は図１（ｂ）に図示のとおり、複数の単位画素１０１が複数行および複数列に渡って配置された画素アレイ部１１０を有している。なお、複数の単位画素１０１は、１行複数列に配されていても良いし、列複数行に配されていてもよい。デジタルカメラに使用される光電変換装置では、単位画素１０１は典型的には数千万画素、配される。
本実施形態の光電変換装置は、第１基板１００側から光が入射する、裏面照射型の光電変換装置である。さらに、この光電変換部と、接合面３００との間に信号線（不図示）が設けられている。
図２は、図１に示した単位画素１０１のうち、２行２列の単位画素１０１の回路を示した回路図である。以下の説明では、光電変換部であるフォトダイオードが蓄積する電荷が電子であるものとする。単位画素１０１が備えるトランジスタは、すべてＮ型のトランジスタであるものとする。一方、フォトダイオードが蓄積する電荷を正孔としてもよく、この場合には、単位画素１０１のトランジスタをＰ型トランジスタとしてもよい。つまり、信号として取り扱う電荷の極性に応じて、以下の説明で用いる導電型の規定を変更することができる。
単位画素１０１は、光電変換部であるフォトダイオードＤ１と、転送トランジスタＭ１と、電荷変換部Ｃ１と、リセットトランジスタＭ３と、増幅トランジスタＭ４と、選択トランジスタＭ５とを有する。転送トランジスタＭ１は、電荷変換部Ｃ１、リセットトランジスタＭ３、増幅トランジスタＭ４が接続されたノードと、フォトダイオードＤ１との間の電気的経路に設けられている。電荷変換部Ｃ１はフローティングディフージョン部（ＦＤ部）とも呼ばれる。リセットトランジスタＭ３と、増幅トランジスタＭ４には、電源電圧ＶＤＤが与えられている。選択トランジスタＭ５は、増幅トランジスタＭ４と列信号線１０との間の電気的経路に設けられている。増幅トランジスタＭ４は、選択トランジスタＭ５を介して、垂直出力線１０に電気的に接続されていると言える。電荷変換部Ｃ１は、半導体基板内に設けられた浮遊拡散容量と、転送トランジスタＭ１から当該浮遊拡散容量を介して増幅トランジスタＭ５に至る電気的経路の寄生容量を含む。
信号ＲＥＳ、信号Ｔｘ＿Ａ、信号ＳＥＬのそれぞれは、図１で示した不図示の垂直走査回路から制御線３０を介して供給される信号である。図２では、各信号の末尾に、信号が供給される画素行を付して表している。例えば、信号ＲＥＳ（ｍ）は、ｍ行目の画素に供給される信号ＲＥＳであることを意味している。
垂直出力線１０－１，１０－２のそれぞれには、不図示の電流源が接続されている。信号ＳＥＬ（ｍ）がアクティブレベルとなることによって、ｍ行目の単位画素１０１の選択トランジスタＭ５がオンする。これにより、ｍ行目の単位画素１０１の増幅トランジスタＭ４に、電流源から電流が供給される。ｍ行目の単位画素１０１では、電源電圧ＶＤＤと、増幅トランジスタＭ４と、垂直出力線１０－１に接続された不図示の電流源とによって、ソースフォロワ回路が形成される。このソースフォロワ回路が形成されることによって、増幅トランジスタＭ４は、電荷変換部Ｃ１の電位に基づく信号を、垂直出力線１０－１に、トランジスタＭ５を介して出力する。
また、信号ＳＥＬ（ｍ＋１）がアクティブレベルとなることによって、ｍ＋１行目の単位画素１０１の選択トランジスタＭ５がオンする。これにより、ｍ＋１行目の増幅トランジスタＭ４に、電流源から電流が供給される。ｍ＋１行目の単位画素１０１では、電源電圧ＶＤＤと、増幅トランジスタＭ４と、垂直出力線１０－２に接続された不図示の電流源とによって、ソースフォロワ回路が形成される。このソースフォロワ回路が形成されることによって、増幅トランジスタＭ４は、電荷変換部Ｃ１の電位に基づく信号を、垂直出力線１０－２に、トランジスタＭ５を介して出力する。
このように、ｍ行目の単位画素１０１と、ｍ＋１行目の単位画素１０１は、それぞれ異なる垂直出力線１０に接続されている。
なお、図２に示した構成は一例であって、１列の単位画素１０１に対し、垂直出力線１０は１本であっても良いし、２本よりもさらに多くの本数が設けられていても良い。また、光電変換部としてはアバランシェフォトダイオードであってもよく、光電変換するものであれば良い。
第２基板２００は図３に図示の通り、単位画素１０１から出力されるアナログ信号を、デジタル信号に変換するための複数のＡＤ変換回路２０１ａ～ｈを有する。また、第２基板２００は、ＡＤ変換回路２０１ａ～ｈから出力されるデジタルデータを、画像データヘ変換するための複数の前処理部２０２ａ～ｄを有する。
第２基板２００にはさらに、前処理部２０２ａ～ｄで変換された画像データに対して、ニューラルネットワーク計算モデルに基づく処理を実行するための信号処理部である複数のＡＩ処理部２０３ａ、２０３ｂを有している。ＡＩ処理部２０３ａ、２０３ｂにはニューラルネットワークの重み付け係数が学習された学習モデルが格納されたメモリ部も備えられている。
図１（ａ）、（ｂ）、図３に示した第１基板１００と第２基板２００は、接合面３００で接合されることにより、積層型の光電変換装置が構成されている。
なお、図１（ａ）、（ｂ）、図３では光電変換装置を構成する要素として単位画素１０１、ＡＤ変換回路２０１ａ～ｈ、前処理部２０２ａ～ｄ、ＡＩ処理部２０３ａ、２０３ｂが図示されている。他に図２に示したような単位画素１０１を制御する制御線、単位画素１０１が出力する信号を伝送する垂直出力線が適宣、第１基板１００に配される。また、垂直走査回路、タイミングジェネレータ等の駆動回路、および画像データを出力するための出力回路が適宜、第１基板１００あるいは第２基板２００に配される。
第１基板１００の単位画素１０１から出力されるアナログ信号は、単位画素１０１が第１基板１００に配置されている位置に応じ、第２基板２００のＡＤ変換回路２０１ａ～ｈのいずれか近接するＡＤ変換回路へ入力される。例えば、図１（ｂ）の上面から見て左上の画素１０１から出力されるアナログ信号は、第２基板２００の左上に配されているＡＤ変換回路２０１ａに入力される。同様に、右下の画素１０１から出力されるアナログ信号は、第２基板２００の右下に配されているＡＤ変換回路２０１ｈに入力される。ＡＤ変換回路２０１ａ～ｈのそれぞれには、複数行および複数列に渡って配された複数のＡＤ変換器が配されている。複数のＡＤ変換器のそれぞれは、図２に示した垂直出力線１０－ｎの１つに対応して配されている。このＡＤ変換器のＡＤ変換形式は特に限定されるものではなく、スロープ型、ΔΣ型、逐次比較型など、種々のＡＤ変換形式を適用することができる。
次に、ＡＤ変換回路２０１ａ～ｈから出力されるデジタル信号であるデジタルデータは、ＡＤ変換回路２０１ａ～ｈが第２基板２００に配置されている位置に応じ、第２基板２００の前処理部２０２ａ～ｄのいずれか近接している信号処理回路へ入力される。例えば、ＡＤ変換回路２０１ａ、２０２ｂから出力されるデジタルデータは、信号処理回路２０２ａへ入力され、同様に、ＡＤ変換回路２０１ｇ、２０２ｈから出力されるデジタルデータは、前処理部２０２ｄへ入力される。
前処理部２０２ａ～ｈは、対応するＡＤ変換回路２０１から出力されたデジタル信号に対して信号処理を行う。この信号処理は、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）のほか、オフセット除去、増幅処理など、画像処理の一部に相当する処理が行われてもよい。例えば、前処理部２０２は、処理対象の画像データがカラー画像である場合、この画像データをＹＵＶの画像データやＲＧＢの画像データなどにフォーマット変換する。また、前処理部２０２は、例えば、処理対象の画像データに対し、ノイズ除去やホワイトバランス調整等の処理を必要に応じて実行する。その他、前処理部２０２は、処理対象の画像データに対し、ＡＩ処理部２０３がその画像データを処理するのに必要となる種々の信号処理（前処理ともいう）を実行する。
ＡＩ処理部２０３ａ、２０３ｂは、それぞれ近接した前処理部２０２ａ～ｄで変換された画像データに対して、ニューラルネットワーク計算モデルに基づく処理を実行する。例えば、前処理部２０２ａ、２０２ｃで変換された画像データに対しては、ＡＩ処理部２０３ａが処理を行い、前処理部２０２ｂ、２０２ｄで変換された画像データに対しては、ＡＩ処理部２０２ｂが処理を行う。
ＡＤ変換部は、ＡＤ変換回路ａ～ｈを備える。このＡＤ変換部は複数の組として、２つのＡＤ変換回路を備えている。１つの組はＡＤ変換回路２０１ａ、２０１ｂを備え、別の１つの組はＡＤ変換回路２０１ｃ、２０１ｄを備える。この１つの組に含まれる２つのＡＤ変換回路に対し、１つの前処理部２０２が設けられた構成となっている。つまり、１つの組には、２つのＡＤ変換回路と、１つの前処理部とが含まれる。ＡＩ処理部２０３ａ、２０３ｂのそれぞれは２つの組に対応して配されている。
第１信号処理部であるＡＩ処理部２０３ａは、複数の組の１つの組に含まれるＡＤ変換回路２０１ａ、２０１ｂに対応するように配されている。また、第２信号処理部であるＡＩ処理部２０３ｂは、複数の組の別の１つの組に含まれるＡＤ変換回路２０１ｃ、２０１ｄに対応するように配されている。また、この複数の組は複数行、複数列に配されている。第１信号処理部と第２信号処理部との間に前記複数の組が配されている。
ＡＩ処理部２０３ａ、２０３ｂは図３に図示の通り、第２基板２００の左右の２辺端側に配される。ニューラルネットワーク計算モデルに基づく処理は一般に消費電力が大きく、ＡＩ処理部の発熱量も大きい。第２基板２００で発生した熱は、接合面３００を介して第１基板１００側へも伝搬し、熱を受けた単位画素１０１によって画素アレイ１００内で暗電流の上昇、及び温度ムラにより暗電流の不均一性（ムラ）が生じる。画素アレイ１００内で発生する暗電流ムラは、積層型光電変換装置から得られる画像データヘ出カムラを生じさせるため、画質を低下させるばかりでなく、画質の補正処理にも困難を生じさせる。
ＡＩ処理部２０３を図３のように複数配置することにより、第２基板２００での局所的な発熱を軽減することができる。これにより、暗電流の不均一性を低減することができ、画像データの出力村を低減することができる。また、複数のＡＤ変換回路を１つの組として、その複数の組のそれぞれに対応するようにＡＩ処理部２０３が設けられていることにより、並列処理が可能となり、機械学習処理の高速化を実現できる。
また、ＡＩ処理部２０３ａ、２０３ｂを第２基板２００のＡＤ変換部（ＡＤ変換回路ａ～ｈ）を挟むように配置することにより、ＡＩ処理部２０３で生じた熱をより好適に分散させることができる。これにより、第２基板２００で発生する熱が、第１基板１００の画素アレイ１００へ与える影響をより好適に軽減させることができる。
なお、本実施形態ではＡＩ処理部２０３ａ、２０３ｂを第２基板２００の左右の２辺端側に配したが、これに限らず上下の２辺端に配することも可能である。また本実施形態では第１基板１００と第２基板２００とが積層された構成を一例として説明したが、これに限らず、さらに別の半導体基板を備える構成でも構わない。例えば、第１基板１００と第２基板２００との間に、第３基板を配しても良い。第３基板には、メモリ素子を配しても良い。
また、第二基板で発生する熱の分散の効果を高めるためには、ＡＩ処理部は第二基板上の対向する２辺、もしくは３辺、または４辺側に配置されることが望ましい。
さらに、ＡＩ処理部は第一基板１００に配された画素アレイ部１１０の直下を除く領域に配置されることにより、ＡＩ処理部が発する熱が単位画素１０１へ与える影響を最小限に抑えることが可能となる。
もしくは、画素アレイ部１１０の直下であったとしても、画素アレイ部１１０のうち、後述する遮光画素領域の直下を除く領域に配置されることでも、画像データの品質の低下を抑制することが可能となる。
遮光画素はオプティカルブラックレベル（黒レベル）を検出するために配された画素であり、遮光画素は金属等の遮光膜によって遮光が施されているものである。遮光画素が受ける発熱量が軽微であれば、オプティカルブラックレベルは正常に取得することが可能であり、発熱によって値が変動した遮光画素以外の単位画素の出力値の補正が可能となる。遮光画素は、画素アレイ部の４辺を囲うように設ける場合があるが、Ｌ字型のように２辺に配するようにしても良い。この場合、画素アレイ部１１０を第２基板に投影した平面視において、遮光画素が配されない２辺の近傍のみにＡＩ処理部を配置し、遮光画素が配された２辺にはＡＩ処理部を配さないようにしても良い。この場合、ＡＩ処理部による発熱の影響を遮光画素が受けにくくすることができる。
（第２実施形態）
本実施形態では、第１実施形態で述べたＡＩ処理部２０３ａ、２０３ｂの別の構成を説明する。
図４は本実施形態に関わる光電変換装置の第２基板２１０の構成例を示している。なお、ＡＩ処理部２０３ｃ、２０３ｄ以外は第１実施形態と同様であるため説明を省略する。
本実施形態ではＡＩ処理部２０３ｃ、２０３ｄは互いに同じ構成であり、第２基板２１０の左右端に対称に配置されている。
図５は図４の破線部の拡大図である。ＡＩ処理部２０３ｄの内部には同一の機能を持つＡＩ処理回路２０４がｎ個配され、各々のＡＩ処理回路が前処理部２０２ｂ、２０２ｄと電気的に直接接続されている。本実施形態では、前処理部２０２ｂとＡＩ処理回路１、２、３、４が接続され、前処理部２０２ｄと、ＡＩ処理回路５、およびＡＩ処理回路ｎが直接接続される。
本実施形態では、第２基板２００に設けられた前処理回路２０２の個数よりも、複数のＡＩ処理部が備える複数のＡＩ処理回路の個数の方が多く設けられている。これにより、機械学習処理によって生じる熱を、より好適に低減できる。
本実施形態のように、ニューラルネットワーク計算モデルに基づく処理を行う信号処理部をより分散させることにより、第二基板２１０において発生した熱を分散させることができる。これにより、第２基板２００側で発生する熱が、第１基板１００の画素アレイ１００へ与える影響を軽減させることができる。
このように、ニューラルネットワーク計算モデルに基づく処理を複数のＡＩ処理回路を用いて並列に行うことにより、処理速度の高速化を図ることができる。
（第３実施形態）
本実施形態では第２実施形態で述べたＡＩ処理部２０３の変形例を説明する。図６は第２実施形態における図４の破線部の拡大図である。図４に示したＡＩ処理部２０３ｄとして、本実施形態では図６に示したＡＩ処理部２０３ｅが設けられている。図６に示したＡＩ処理部２０３ｅと同じ構成が、図４に示したＡＩ処理部２０３ｃにも設けられている。なお、ＡＩ処理部２０３ｅ以外の構成は、第一、第二の実施形態と同様であるため説明を省略する。
ＡＩ処理部２０３ｅの内部には段階的なデータ処理を実行可能な固定型の回路構成が備えられたＡＩ処理回路がｎ個配され、各ＡＩ処理回路２０５（１）～２０５（ｎ）は各々が電気的に直列に接続されている。
本実施形態では、一例としてＡＩ処理を３つの段階に分けて実行する際の例を説明する。前処理部で変換された画像データは、ＡＩ処理回路２０５（１）、ＡＩ処理回路２０５（２）、ＡＩ処理回路２０５（３）の順に受け渡され、それぞれのＡＩ処理回路でニューラルネットワーク計算モデルに基づく処理が実行される。
本実施形態ではさらに、第２基板２００の上下に配された前処理部２０２ｂ、２０２ｄで変換された画像データを、２並列で処理する例を説明する。この時、ＡＩ処理回路２０５（１）は前処理部２０２ｂと、ＡＩ処理回路２０５（ｎ）は、前処理部２０２ｄとそれぞれ電気的に直接接続されている。
図７は本実施形態でのＡＩ処理回路が行う、ニューラルネットワーク計算モデルに基づく計算の動作を模式的に示すタイミングチャートである。時刻ｔ１からｔ２において、ＡＩ処理回路２０５（１）は前処理部２０２ｂによって変換された画像データ（以降、画像データｃと表記する）に対して、ニューラルネットワーク計算モデルに基づく処理を実行する。この画像データｃは、ＡＤ変換回路２０１ｃから出力されたデジタルデータに基づく。
次に、時刻ｔ２からｔ３においては、ＡＩ処理回路２０５（１）は前処理部２０２ｂによって変換された画像データ（以降、画像データｄと表記する）に対して、ニューラルネットワーク計算モデルに基づく処理を実行する。この画像データｄは、ＡＤ変換回路２０１ｄから出力されたデジタルデータに基づく。
画像データｃは、時刻ｔ１からｔ２においてＡＩ処理回路２０５（１）によって処理される。また、画像データｃは、時刻ｔ２からｔ３において、別のAI処理回路２０５（２）によって処理される。ＡＩ処理回路２０５（１）、（２）は互いに異なるニューラルネットワーク計算モデルを持つ。よって、AI処理回路２０５（２）では、ＡＩ処理回路２０５（１）によって行われた処理とは異なるニューラルネットワーク計算モデルに基づく処理が実行される。
時刻ｔ３からｔ４においては、ＡＩ処理回路２０５（２）は画像データｄに対して、ＡＩ処理回路２０５（１）によって行われた処理とは異なるニューラルネットワーク計算モデルに基づく処理を実行する。また、ＡＩ処理回路２０５（３）は画像データｃに対して、ＡＩ処理回路２０５（２）によって行われた処理とは異なるニューラルネットワーク計算モデルに基づく処理を実行する。
時刻ｔ４からｔ５においてＡＩ処理回路２０５（３）は画像データｄに対して、ＡＩ処理回路２０５（２）によって行われた処理とは異なるニューラルネットワーク計算モデルに基づく処理を実行する。ＡＤ変換回路２０１ｇから出力されたデジタルデータを基に前処理部２０２ｄによって変換された画像データを画像データｄと表記する。また、ＡＤ変換回路２０１ｈから出力されたデジタルデータを基に信号処理回路２０２ｄによって変換された画像データを画像データｈと表記する。この画像データｄ、ｈのそれぞれに対しても、時刻ｔ４からｔ５に渡ってＡＩ処理回路２０５（ｎ－２）、ＡＩ処理回路２０５（ｎ－１）、ＡＩ処理回路２０５（ｎ）によって、それぞれ異なるニューラルネットワーク計算モデルに基づく処理が逐次的に実行される。この処理は図７に示した通りである。
上述のように、本実施形態における光電変換装置のＡＩ処理部は３段からなる多段パイプラインの構成を有し、ニューラルネットワーク計算モデルに基づく処理を逐次処理方式で実行する。
なお、本実施形態に記載のＡＩ処理回路の配置は一例に過ぎず、各ＡＩ処理回路の接続方法は各々のＡＩ処理回路が発する熱量や、処理の段数によって適切に配置することが望ましい。図６ではＡＩ処理回路は第２基板の上面から見た平面視において、第２基板の上端および下端より、第２基板の中央へ向かって直列に配置されている。この例に限定されるものではなく、第２基板２００の中央から上端および下端へ向かって直列に配置されても良い。また、前処理部２０２ｂと接続されるＡＩ処理回路は、第２基板の上端に配置され、前処理部２０２ｄと接続されるＡＩ処理回路が第２基板の中央に配置されても良い。この場合、前処理部で変換された画像データの受け渡しの方向は、第２基板の上面から見て上端側から下端側へ向かう方向となる。
本実施形態のように、ニューラルネットワーク計算モデルに基づく処理を行う処理部をより分散させることにより、第２基板２１０において発生した熱を分散させることができる。よって、第２基板側で発生する熱が、第一基板１００の画素アレイ１００へ与える影響を軽減させることができる。
さらには、ニューラルネットワーク計算モデルに基づく処理を複数のＡＩ処理回路を用いて並列に行うことにより、処理速度の高速化を図ることができる。
（第４実施形態）
本実施形態では、ＡＤ変換回路、およびＡＩ処理部の配置が異なる形態を説明する。
図８は本実施形態における第２基板４００の構成を示す図である。本実施形態における光電変換装置では、第１基板１００の一つの単位画素１０１に対して、第２基板４００に一つのＡＤ変換器４０１が設けられた構成となっている。これにより、すべての単位画素１０１の各々から出力されるアナログ信号を、各ＡＤ変換器で、同時刻に一括してデジタルデータヘ変換することが可能である。
図８に示した４０２ａ～ｄはそれぞれ前処理およびＡＩ処理部であり、ＡＤ変換器４０１で変換されたデジタルデータを画像データヘ変換する。さらに、変換された画像データに対して、ニューラルネットワーク計算モデルに基づく処理を実行する。この前処理およびＡＩ処理を実行する回路領域を図８では４０２ａ～ｄとして示している。
また、図８では、光電変換装置の外部から信号（電源電圧を含む）が入力される、あるいは光電変換装置の外部に信号を出力するパッド８００が第２基板２００の４辺に設けられている。複数のＡＩ処理部は、４辺のパッドが設けられた外周部と、ＡＤ変換部（複数行および複数列に渡って設けられたＡＤ変換器４０１によって形成される領域）との間の領域に設けられている。なお、図８では、第２基板２００の４つの辺の全てにパッド８００が設けられているが、対向する２つの辺において設けられた形態であっても良い。
ＡＤ変換器４０１から出力されるデジタルデータは、ＡＤ変換器４０１が第２基板４００に配置されている位置に応じ、前処理部およびＡＩ処理部４０２ａ～ｄのいずれかへ入力される。例えば、図８に図示された画素領域（ａ）、（ｂ）、（ｃ）、（ｄ）に配されたＡＤ変換器から出力されるデジタルデータは、それぞれ前処理部およびＡＩ処理部４０２ａ、４０２ｂ、４０２ｃ、４０２ｄへ入力される。
上述のように、ニューラルネットワーク計算モデルに基づく処理を実行する要素が配された領域を複数、かつ、ほぼ均等の間隔での配置としている。これにより、ＡＩ処理部が第２基板４００において発生した熱を分散させることができる。よって、第２基板側で発生する熱が、第１基板１００の画素アレイへ与える影響を軽減させることができる。
さらに、第２実施形態のように、ニューラルネットワーク計算モデルに基づく処理を複数のＡＩ処理部を用いて並列に行うことにより、処理速度の高速化を図ることも可能となる。
また、本実施形態に記載のＡＩ処理部は、第３実施形態に記載のように、段階的なデータ処理を実行する回路構成となっていても良い。つまり、各ＡＩ処理回路の各々が電気的に直列に接続され、多段パイプラインの構成を有し、ニューラルネットワーク計算モデルに基づく処理を逐次処理方式で実行形式でも良い。この場合、前処理部およびＡＩ処理部４０２ａ～ｄ内のＡＩ処理回路は、段階的なデータ処理を実行可能な回路構成となっており、前処理部およびＡＩ処理部４０２ａ～ｄは各々が電気的に直列に接続される。接続の方法は、例として前処理部およびＡＩ処理部４０２ａ、４０２ｂ、４０２ｃ、４０３ｄのように第２基板４００を周回するような接続でも良いし、ＡＩ処理部４０２ａ～ｄの一部のみを接続しても良い。ＡＩ処理部４０２ａと、ＡＩ処理部４０２ｂとを接続した上で、ＡＩ処理部４０２ｃと、ＡＩ処理部４０２ｄとを接続する。そして、ＡＩ処理部４０２ａとＡＩ処理部４０２ｂ、およびＡＩ処理部４０２ｃとＡＩ処理部４０２ｄでの逐次処理を行う。そして、ＡＩ処理部４０２ａとＡＩ処理部４０２ｂ、およびＡＩ処理部４０２ｃとＡＩ処理部４０２ｄの逐次処理は同時刻に並列に行っても良い。
さらには、ＡＩ処理部４０２ａ～ｄの入力段に選択スイッチを設けることで、これら逐次処理および並列処理の構成を可変とすることも可能となる。
（第５実施形態）
第１～第４実施形態では、複数の組に対応して設けられた複数のＡＩ処理部が、その対応する組のデジタルデータに対して機械学習処理を伴う信号処理を行う例を説明した。
本実施形態では、複数のＡＩ処理部は、フレームごとに互いに異なるＡＩ処理部が信号処理を行う。
図９は、本実施形態の第２基板２００の構成を示した図である。
前処理部９００ａは、ＡＩ処理部９０１ａ、９０１ｂの両方に同じデータを出力する。また、前処理部９００ｂは、ＡＩ処理部９０１ａ、９０１ｂの両方に同じデータを出力する。つまり、ＡＩ処理部９０１ａ、９０１ｂには、複数の前処理部９００ａ、９００ｂから同じデータが入力される。ＡＩ処理部９０１ａ、９０１ｂは機械学習によって各種パラメータが調整されているが、そのパラメータは、ＡＩ処理部９０１ａ、９０１ｂで異なっている。よって、同じデータがＡＩ処理部９０１ａ、９０１ｂが入力された場合でも、ＡＩ処理部９０１ａ、９０１ｂの出力結果は異なることがある。
ＡＩ処理部９０１ａ、ＡＩ処理部９０１ｂの出力結果は、統合処理部９１０に入力される。統合処理部９１０は、ＡＩ処理部９０１ａ、９０１ｂの出力結果が異なる場合、以下のいずれかの動作を行う。
（１）ＡＩ処理部９０１ａ、９０１ｂの出力結果のうち、信頼度が高い出力結果を選択して光電変換装置の外部に出力する
（２）統合処理部９１０はルックアップテーブルを備え、ＡＩ処理部９０１ａ、９０１ｂの出力結果の組合せに対し、ルックアップテーブルから対応する結果を選択して出力する
（３）ＡＩ処理部９０１ａ、９０１ｂの両方の出力結果を光電変換装置の外部に出力するとともに、信頼情報をさらに出力する
（１）の信頼度の判定は、過去のＡＩ処理部９０１の出力結果を参照して行うようにしても良いし、予めＡＩ処理部９０１ａ、９０１ｂの信頼度の高低を光電変換装置の外部から与えても良い。また、ＡＩ処理部９０１ａ、９０１ｂの各々から、その出力結果に対する信頼情報を出力させ、その信頼情報の高い方を選択するようにしても良い。
（３）の信頼情報は、ＡＩ処理部９０１ａ、９０１ｂの各々から、その出力結果に対する信頼情報を出力させ、その信頼情報を光電変換装置の外部に出力させることができる。
このように、本実施形態の光電変換装置は、複数のＡＩ処理部９０１が、同じデータに対して、機械学習処理を伴う信号処理を行う。これにより、ＡＩ処理部が出力する処理結果の精度を向上させることができる。
また、本実施形態の光電変換装置は、ＡＩ処理部に冗長性を持たせることができる。つまり、ＡＩ処理部９０１ａ、９０１ｂの一方のＡＩ処理部に故障や、信号精度の著しい低下が生じることがある。このような場合、当該一方のＡＩ処理部の動作を停止させ、あるいは出力結果を無視し、他方のＡＩ処理部の出力結果を採用することができる。これにより、一部のＡＩ処理部の故障や信号精度の低下が生じても、光電変換装置の動作を継続することができる。
また、複数のＡＩ処理部を設けていることにより、第１実施形態と同様に、局所的な熱の集中を抑制する効果を得ることができる。また、１つのＡＩ処理部９０１を用いて複数回、機械学習処理を伴う信号処理を行う場合に比べて、複数のＡＩ処理部による信号処理を行うことにより、高速化を行うことができる。
（第６実施形態）
本実施形態では、フレームごとに、複数のＡＩ処理部の一部と他の一部が交互に動作する形態である。これにより、フレームレートを向上させることができる。
本実施形態の光電変換装置の構成は、第５実施形態と同様とすることができるが、図１０のように、さらに多くのＡＩ処理部を設けた構成とすることができる。以下では、図１０の構成をもとに説明する。
図１０の構成では、ＡＩ処理部９２１ａ～９２１ｄが設けられている。また、ＡＤ変換回路ａ～ｈのそれぞれは、ＡＤ変換回路ａについて示したように、前処理部９００ａ、９００ｂのいずれか一方に選択的にデジタルデータを出力することができる。また、ＡＤ変換回路ａ～ｈのそれぞれは前処理部９００ａ、９００ｂの両方に並行して、デジタルデータを出力することができる構成をさらに備えても良い。
図１１は、本実施形態のＡＩ処理部の動作を示した図である。
画像データとして、各フレームのＡＤ変換部９２１ａ～９２１ｈの１画面の出力に対応する画像データを示している。
ＡＩ処理部９２１ａは、ｎフレーム（ｎは自然数）の画像データの処理を開始する。その後、ＡＩ処理部９２１ａが画像データを処理している期間に、別のＡＩ処理部９２１ｂがｎ＋１フレームの画像データの処理を開始する。同様に、ＡＩ処理部９２１ａ、９２１ｂが画像データを処理している期間に、ｎ＋３フレームの画像データの処理を、ＡＩ処理部９２１ｃが開始する。同様に、ＡＩ処理部９２１ａ、９２１ｂ、９２１ｃが画像データを処理している期間に、ｎ＋４フレームの画像データの処理を、ＡＩ処理部９２１ｄが開始する。
その後、ＡＩ処理部９２１ａが画像データの処理を終え、再びｎ＋５フレームの画像データの処理を開始する。以下、同様の動作が繰り返される。
前処理部９００ａが、ＡＩ処理部９２１ａ、９２１ｂに選択的にデジタルデータを出力できることにより、この複数フレームの画像データを、複数のＡＩ処理部に対してフレームごとに振り分けることができる。また、図１０の形態では、さらにＡＤ変換回路ａ～ｈが、前処理部９００ａ、９００ｂのいずれか一方に選択的にデジタルデータを出力できる構成を備えることにより、さらに複数フレームのデジタルデータの複数のＡＩ処理部の振り分けを容易にしている。
なお、本実施形態は図１０の構成に限定されるものではない。例えば、ＡＤ変換回路ａ～ｈが前処理部９００ａ、９００ｂのいずれか一方に選択的にデジタルデータを出力できる構成としている。この構成のほかに、前処理部９００ａ、９００ｂを１つの前処理部９００として、この１つの前処理部９００が、４つのＡＩ処理部９２１ａ～ｄに振り分けるようにしてもよい。また、ＡＩ処理部９２１の個数は４つに限定されるものではなく、２つ以上の個数であれば良い。また、ＡＩ処理部９２１ａ～ｄが持つ学習済モデルは同じとすることができる。これにより、フレームごとに異なるＡＩ処理部９２１が処理を行ったとしても、同程度の信頼精度を持つ出力結果を得ることができる。
この複数のＡＩ処理部９２１ａ～ｄの学習済モデルの共通化は、以下のようにして行うことができる。まず、複数のＡＩ処理部９２１ａ～ｄのそれぞれが独自に機械学習を行う。この機械学習は教師データを用いるようにしても良いし、用いずに行うようにしても良い。ＡＩ処理部９２１ａ～ｄが機械学習を終えた後、光電変換装置に対し、期待される出力結果が既知である信号を入力する。例えば、期待される出力結果として「被写体は人の顔である」というものであるとして、人の顔を光電変換装置に撮像させる例を説明する。統合処理部９１０には、ＡＩ処理部９２１ａ～ｄの出力結果が入力される。一部のＡＩ処理部は「被写体は人の顔である」という出力結果を出力し、他のＡＩ処理部は「被写体は人の顔である」以外の出力結果を出力したとする。この場合、統合処理部９１０は、ＡＩ処理部９２１ａ～ｄのうち、正しい出力結果（「被写体は人の顔である」）を出力したＡＩ処理部９２１の信頼度を高める。この期待される出力結果と、実際のＡＩ処理部９２１の出力結果を比較する動作を光電変換装置は繰り返す。これにより、統合処理部９１０は、ＡＩ処理部９２１ａ～ｄのうち、正しい出力結果を出力しやすいＡＩ処理部９２１を特定する。この特定されたＡＩ処理部９２１が持つ学習済モデルを、統合処理部９１０は他のＡＩ処理部９２１に適用する。これにより、複数のＡＩ処理部９２１ａ～ｄに対し、信頼性の高い、共通の学習済モデルを持たせることができる。
（第７実施形態）
第６実施形態と異なる点を中心に説明する。
本実施形態の光電変換装置の構成は第６実施形態と同様とすることができる。
本実施形態は、統合処理部９１０が、複数のＡＩ処理部が出力した複数フレームの出力結果を基に、光電変換装置の外部に処理結果を出力する。
図１２は本実施形態における、図１０に示したＡＩ処理部９２１ａ～９２１ｄの動作を示した図である。図１１に示した動作と異なるのは、統合処理部９１０が、複数のＡＩ処理部９２１ａ～９２１ｄの出力結果から総合判定を行って光電変換装置の外部に処理結果を出力する点である。
この総合判定は、例えば、複数のＡＩ処理部９２１ａ～９２１ｄの出力結果のうち、最も多い出力結果を採用して出力する。この場合、複数のＡＩ処理部９２１ａ～９２１ｄは、第６実施形態でも述べたように同じ学習済モデルを持つようにしても良い。
また、複数のＡＩ処理部９２１ａ～９２１ｄは異なる学習済モデルを持つようにしても良い。この形態では、ＡＩ処理部９２１ａ～ｄが機械学習を終えた後、光電変換装置に対し、期待される出力結果が既知である信号を入力する。例えば、期待される出力結果として「被写体は人の顔である」というものであるとして、人の顔を光電変換装置に撮像させる例を説明する。統合処理部９１０には、ＡＩ処理部９２１ａ～ｄの出力結果が入力される。一部のＡＩ処理部は「被写体は人の顔である」という出力結果を出力し、他のＡＩ処理部は「被写体は人の顔である」以外の出力結果を出力したとする。この場合、統合処理部９１０は、ＡＩ処理部９２１ａ～ｄのうち、正しい出力結果（「被写体は人の顔である」）を出力したＡＩ処理部９２１の信頼度を高める。この期待される出力結果と、実際のＡＩ処理部９２１の出力結果を比較する動作を光電変換装置は繰り返す。これにより、統合処理部９１０は、ＡＩ処理部９２１ａ～ｄのそれぞれに対する信頼度を決定する。そして、統合処理部９１０は、図１２の動作において複数のＡＩ処理部９２１ａ～９２１ｄの出力結果に対して信頼度のパラメータを付与して、光電変換装置の外部に出力する処理結果を決定する。
このように、本実施形態では複数のＡＩ処理部の処理結果を総合判定することにより、信頼度のより高い処理結果を得ることができる。
なお、本実施形態では複数のＡＩ処理部９２１ａ～９２１ｄの各々が互いに異なるフレームの画像データを処理する例を説明した。他の例として、図１３に示すように、同じフレームの画像データを、複数のＡＩ処理部９２１ａ～ｄで処理するようにしても良い。この場合も統合処理部９１０が、本実施形態で述べたように総合判定を行って、光電変換装置の外部に処理結果を出力するようにすればよい。
各実施形態において説明したように、これまでの実施形態に示したＡＩ処理部の配置、およびＡＩ処理部の動作をさせることにより、光電変換装置から得られる画像データの精度の低下を抑制し、また、ＡＩ処理部の動作の高速化を図ることが可能となる。
また、ＡＩ処理部は図１４に示したように第１基板、第２基板の上面から平面視で見たときに画素アレイの外側に配置することも有効である。図１４では、第１基板に設けられた画素アレイ部１１０について、平面視した場合に、第２基板での投影位置を示してある。画素アレイ部１１０に対し、ＡＩ処理部２０３ａ、２０３ｂは平面視で重ならない位置に設けている。これにより、ＡＩ処理部からの発熱の影響を、画素アレイ部１１０は受けにくくなる。また、前処理部２０２ａ～ｄもまた、画素アレイ部１１０に対して平面視で重ならない位置に設けられている。これにより、前処理部２０２ａ～ｄで生じる熱の影響も、画素アレイ部１１０は受けにくくなる。
また、複数のＡＩ処理部で動作処理速度を異ならせるようにしても良い。この場合、動作処理速度の速いＡＩ処理部が、平面視した画素アレイ位置に対し、動作処理速度の遅いＡＩ処理部よりも遠ざけるようにしても良い。この場合、動作処理速度の速いＡＩ処理部は発熱量も大きいため、画素アレイ部が受けるＡＩ処理部の発熱の影響を低減することができる。
また、本明細書では第２基板にＡＩ処理部が設けられた例を示したが、さらに第１基板にＡＩ処理部を設けるようにしても良い。
（第８実施形態）
図１５は、本実施形態に係る光電変換システム１１２００の構成を示すブロック図である。本実施形態の光電変換システム１１２００は、光電変換装置１１２０４を含む。ここで、光電変換装置１１２０４は、上述の実施形態で述べた光電変換装置のいずれかを適用することができる。光電変換システム１１２００は例えば、撮像システムとして用いることができる。撮像システムの具体例としては、デジタルスチルカメラ、デジタルカムコーダー、監視カメラ、ネットワークカメラ等が挙げられる。図１５では、光電変換システム１１２００としてデジタルスチルカメラの例を示している。
図１５に示す光電変換システム１１２００は、光電変換装置１１２０４、被写体の光学像を光電変換装置１１２０４に結像させるレンズ１１２０２を有する。また、光電変換システム１１２００はレンズ１１２０２を通過する光量を可変にするための絞り１１２０３、レンズ１１２０２の保護のためのバリア１１２０１を有する。レンズ１１２０２および絞り１１２０３は、光電変換装置１１２０４に光を集光する光学系である。
光電変換システム１１２００は、光電変換装置１１２０４から出力される出力信号の処理を行う信号処理部１１２０５を有する。信号処理部１１２０５は、必要に応じて入力信号に対して各種の補正、圧縮を行って出力する信号処理の動作を行う。光電変換システム１１２００は、更に、画像データを一時的に記憶するためのバッファメモリ部１１２０６、外部コンピュータ等と通信するための外部インターフェース部（外部Ｉ／Ｆ部）１１２０９を有する。更に光電変換システム１１２００は、撮像データの記録または読み出しを行うための半導体メモリ等の記録媒体１１２１１、記録媒体１１２１１に記録または読み出しを行うための記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部）１１２１０を有する。記録媒体１１２１１は、光電変換システム１１２００に内蔵されていてもよく、着脱可能であってもよい。また、記録媒体制御Ｉ／Ｆ部１１２１０から記録媒体１１２１１との通信や外部Ｉ／Ｆ部１１２０９からの通信は無線によってなされてもよい。
更に光電変換システム１１２００は、各種演算を行うとともにデジタルスチルカメラ全体を制御する全体制御・演算部１１２０８、光電変換装置１１２０４と信号処理部１１２０５に各種タイミング信号を出力するタイミング発生部１１２０７を有する。ここで、タイミング信号などは外部から入力されてもよく、光電変換システム１１２００は、少なくとも光電変換装置１１２０４と、光電変換装置１１２０４から出力された出力信号を処理する信号処理部１１２０５とを有すればよい。全体制御・演算部１１２０８およびタイミング発生部１１２０７は、光電変換装置１１２０４の制御機能の一部または全部を実施するように構成してもよい。
光電変換装置１１２０４は、画像用信号を信号処理部１１２０５に出力する。信号処理部１１２０５は、光電変換装置１１２０４から出力される画像用信号に対して所定の信号処理を実施し、画像データを出力する。また、信号処理部１１２０５は、画像用信号を用いて、画像を生成する。また、信号処理部１１２０５は、光電変換装置１１２０４から出力される信号に対して測距演算を行ってもよい。なお、信号処理部１１２０５やタイミング発生部１１２０７は、光電変換装置に搭載されていてもよい。つまり、信号処理部１１２０５やタイミング発生部１１２０７は、画素が配された基板に設けられていてもよいし、別の基板に設けられている構成であってもよい。上述した各実施形態の光電変換装置を用いて撮像システムを構成することにより、より良質の画像が取得可能な撮像システムを実現することができる。
（第９実施形態）
図１６は、前述の実施形態に記載の光電変換装置を利用した電子機器である距離画像センサの構成例を示すブロック図である。
図１６に示すように、距離画像センサ１２４０１は、光学系１２４０７、光電変換装置１２４０８、画像処理回路１２４０４、モニタ１２４０５、およびメモリ１２４０６を備えて構成される。そして、距離画像センサ１２４０１は、光源装置１２４０９から被写体に向かって投光され、被写体の表面で反射された光（変調光やパルス光）を受光することにより、被写体までの距離に応じた距離画像を取得することができる。
光学系１２４０７は、１枚または複数枚のレンズを有して構成され、被写体からの像光（入射光）を光電変換装置１２４０８に導き、光電変換装置１２４０８の受光面（センサ部）に結像させる。
光電変換装置１２４０８としては、上述した各実施形態の光電変換装置が適用され、光電変換装置１２４０８から出力される受光信号から求められる距離を示す距離信号が画像処理回路１２４０４に供給される。
画像処理回路１２４０４は、光電変換装置１２４０８から供給された距離信号に基づいて距離画像を構築する画像処理を行う。そして、その画像処理により得られた距離画像（画像データ）は、モニタ１２４０５に供給されて表示されたり、メモリ４０６に供給されて記憶（記録）されたりする。
このように構成されている距離画像センサ１２４０１では、上述した光電変換装置を適用することで、画素の特性向上に伴って、例えば、より正確な距離画像を取得することができる。
（第１０実施形態）
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
図１７は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
図１７では、術者（医師）１３１３１が、内視鏡手術システム１３００３を用いて、患者ベッド１３１３３上の患者１３１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１３００３は、内視鏡１３１００と、術具１３１１０と、内視鏡下手術のための各種の装置が搭載されたカート１３１３４と、から構成される。
内視鏡１３１００は、先端から所定の長さの領域が患者１３１３２の体腔内に挿入される鏡筒１３１０１と、鏡筒１３１０１の基端に接続されるカメラヘッド１３１０２と、から構成される。図示する例では、硬性の鏡筒１３１０１を有するいわゆる硬性鏡として構成される内視鏡１３１００を図示しているが、内視鏡１３１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
鏡筒１３１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１３１００には光源装置１３２０３が接続されており、光源装置１３２０３によって生成された光が、鏡筒１３１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光される。この光は対物レンズを介して患者１３１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１３１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド１３１０２の内部には光学系及び光電変換装置が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該光電変換装置に集光される。当該光電変換装置によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該光電変換装置としては、前述の各実施形態に記載の光電変換装置を用いることができる。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１３１３５に送信される。
ＣＣＵ１３１３５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって構成され、内視鏡１３１００及び表示装置１３１３６の動作を統括的に制御する。さらに、ＣＣＵ１３１３５は、カメラヘッド１３１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
表示装置１３１３６は、ＣＣＵ１３１３５からの制御により、当該ＣＣＵ１３１３５によって画像処理が施された画像信号に基づく画像を表示する。
光源装置１３２０３は、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１３１００に供給する。
入力装置１３１３７は、内視鏡手術システム１３００３に対する入力インターフェースである。ユーザは、入力装置１３１３７を介して、内視鏡手術システム１３００３に対して各種の情報の入力や指示入力を行うことができる。
処置具制御装置１３１３８は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１３１１２の駆動を制御する。
内視鏡１３１００に術部を撮影する際の照射光を供給する光源装置１３２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１３２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１３１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置１３２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１３１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置１３２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用する。具体的には、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１３２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
（第１１実施形態）
本実施形態の光電変換システムおよび移動体について、図１８を用いて説明する。図１８は、本実施形態による光電変換システムおよび移動体の構成例を示す概略図である。本実施形態では、光電変換システムとして、車載カメラの一例を示す。
図１８は、車両システムとこれに搭載される撮像を行う光電変換システムの一例を示したものである。光電変換システム１４３０１は、光電変換装置１４３０２、画像前処理部１４３１５、集積回路１４３０３、光学系１４３１４を含む。光学系１４３１４は、光電変換装置１４３０２に被写体の光学像を結像する。光電変換装置１４３０２は、光学系１４３１４により結像された被写体の光学像を電気信号に変換する。光電変換装置１４３０２は、上述の各実施形態のいずれかの光電変換装置である。画像前処理部１４３１５は、光電変換装置１４３０２から出力された信号に対して所定の信号処理を行う。画像前処理部１４３１５の機能は、光電変換装置１４３０２内に組み込まれていてもよい。光電変換システム１４３０１には、光学系１４３１４、光電変換装置１４３０２および画像前処理部１４３１５が、少なくとも２組設けられており、各組の画像前処理部１４３１５からの出力が集積回路１４３０３に入力されるようになっている。
集積回路１４３０３は、撮像システム用途向けの集積回路であり、メモリ１４３０５を含む画像処理部１４３０４、光学測距部１４３０６、測距演算部１４３０７、物体認知部１４３０８、異常検出部１４３０９を含む。画像処理部１４３０４は、画像前処理部１４３１５の出力信号に対して、現像処理や欠陥補正等の画像処理を行う。メモリ１４３０５は、撮像画像の一次記憶、撮像画素の欠陥位置を格納する。光学測距部１４３０６は、被写体の合焦や、測距を行う。測距演算部１４３０７は、複数の光電変換装置１４３０２により取得された複数の画像データから測距情報の算出を行う。物体認知部１４３０８は、車、道、標識、人等の被写体の認知を行う。異常検出部１４３０９は、光電変換装置１４３０２の異常を検出すると、主制御部１４３１３に異常を発報する。
集積回路１４３０３は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよいし、これらの組合せによって実現されてもよい。また、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等によって実現されてもよいし、これらの組合せによって実現されてもよい。
主制御部１４３１３は、光電変換システム１４３０１、車両センサ１４３１０、制御ユニット１４３２０等の動作を統括・制御する。主制御部１４３１３を持たず、光電変換システム１４３０１、車両センサ１４３１０、制御ユニット１４３２０が個別に通信インターフェースを有して、それぞれが通信ネットワークを介して制御信号の送受を行う（例えばＣＡＮ規格）方法も取り得る。
集積回路１４３０３は、主制御部１４３１３からの制御信号を受け或いは自身の制御部によって、光電変換装置１４３０２へ制御信号や設定値を送信する機能を有する。
光電変換システム１４３０１は、車両センサ１４３１０に接続されており、車速、ヨーレート、舵角などの自車両走行状態および自車外環境や他車・障害物の状態を検出することができる。車両センサ１４３１０は、対象物までの距離情報を取得する距離情報取得手段でもある。また、光電変換システム１４３０１は、自動操舵、自動巡行、衝突防止機能等の種々の運転支援を行う運転支援制御部１３１１に接続されている。特に、衝突判定機能に関しては、光電変換システム１４３０１や車両センサ１４３１０の検出結果を基に他車・障害物との衝突推定・衝突有無を判定する。これにより、衝突が推定される場合の回避制御、衝突時の安全装置起動を行う。
また、光電変換システム１４３０１は、衝突判定部での判定結果に基づいて、ドライバーに警報を発する警報装置１４３１２にも接続されている。例えば、衝突判定部の判定結果として衝突可能性が高い場合、主制御部１４３１３は、ブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして、衝突を回避、被害を軽減する車両制御を行う。警報装置１４３１２は、音等の警報を鳴らす、カーナビゲーションシステムやメーターパネルなどの表示部画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。
本実施形態では、車両の周囲、例えば前方または後方を光電変換システム１４３０１で撮影する。図１８（ｂ）に、車両前方を光電変換システム１４３０１で撮像する場合の光電変換システム１４３０１の配置例を示す。
２つの光電変換装置１４３０２は、車両１４３００の前方に配される。具体的には、車両１４３００の進退方位または外形（例えば車幅）に対する中心線を対称軸に見立て、その対称軸に対して２つの光電変換装置１３０２が線対称に配される。この形態は、車両１４３００と被写対象物との間の距離情報の取得や衝突可能性の判定を行う上で好ましい。また、光電変換装置１４３０２は、運転者が運転席から車両１４３００の外の状況を視認する際に運転者の視野を妨げない配置が好ましい。警報装置１４３１２は、運転者の視野に入りやすい配置が好ましい。
また、本実施形態では、他の車両と衝突しない制御を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。さらに、光電変換システム１４３０１は、自車両等の車両に限らず、例えば、船舶、航空機或いは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。
本発明の光電変換装置は、更に、距離情報など各種情報を取得可能な構成であってもよい。
（第１２実施形態）
図１９は、１つの適用例に係る眼鏡１６６００（スマートグラス）を説明する。眼鏡１６６００には、光電変換装置１６６０２を有する。光電変換装置１６６０２は、上記の各実施形態に記載の光電変換装置である。また、レンズ１６６０１の裏面側には、ＯＬＥＤやＬＥＤ等の発光装置を含む表示装置が設けられていてもよい。光電変換装置１６６０２は１つでもよいし、複数でもよい。また、複数種類の光電変換装置を組み合わせて用いてもよい。光電変換装置１６６０２の配置位置は図１９（ａ）に限定されない。
眼鏡１６６００は、制御装置１６６０３をさらに備える。制御装置１６６０３は、光電変換装置１６６０２と上記の表示装置に電力を供給する電源として機能する。また、制御装置１６６０３は、光電変換装置１６６０２と表示装置の動作を制御する。レンズ１６６０１には、光電変換装置１６６０２に光を集光するための光学系が形成されている。
図１９（ｂ）は、１つの適用例に係る眼鏡１６６１０（スマートグラス）を説明する。眼鏡１６６１０は、制御装置１６６１２を有しており、制御装置１６６１２に、光電変換装置１６６０２に相当する光電変換装置と、表示装置が搭載される。レンズ１６６１１には、制御装置１６６１２内の光電変換装置と、表示装置からの発光を投影するための光学系が形成されており、レンズ１６６１１には画像が投影される。制御装置１６６１２は、光電変換装置および表示装置に電力を供給する電源として機能するとともに、光電変換装置および表示装置の動作を制御する。制御装置は、装着者の視線を検知する視線検知部を有してもよい。視線の検知は赤外線を用いてよい。赤外発光部は、表示画像を注視しているユーザの眼球に対して、赤外光を発する。発せられた赤外光の眼球からの反射光を、受光素子を有する撮像部が検出することで眼球の撮像画像が得られる。平面視における赤外発光部から表示部への光を低減する低減手段を有することで、画像品位の低下を低減する。
赤外光の撮像により得られた眼球の撮像画像から表示画像に対するユーザの視線を検出する。眼球の撮像画像を用いた視線検出には任意の公知の手法が適用できる。一例として、角膜での照射光の反射によるプルキニエ像に基づく視線検出方法を用いることができる。
より具体的には、瞳孔角膜反射法に基づく視線検出処理が行われる。瞳孔角膜反射法を用いて、眼球の撮像画像に含まれる瞳孔の像とプルキニエ像とに基づいて、眼球の向き（回転角度）を表す視線ベクトルが算出されることにより、ユーザの視線が検出される。
本実施形態の表示装置は、受光素子を有する光電変換装置を有し、光電変換装置からのユーザの視線情報に基づいて表示装置の表示画像を制御してよい。
具体的には、表示装置は、視線情報に基づいて、ユーザが注視する第一の視界領域と、第一の視界領域以外の第二の視界領域とを決定される。第一の視界領域、第二の視界領域は、表示装置の制御装置が決定してもよいし、外部の制御装置が決定したものを受信してもよい。表示装置の表示領域において、第一の視界領域の表示解像度を第二の視界領域の表示解像度よりも高く制御してよい。つまり、第二の視界領域の解像度を第一の視界領域よりも低くしてよい。
また、表示領域は、第一の表示領域、第一の表示領域とは異なる第二の表示領域とを有し、視線情報に基づいて、第一の表示領域および第二の表示領域から優先度が高い領域を決定されてよい。第一の視界領域、第二の視界領域は、表示装置の制御装置が決定してもよいし、外部の制御装置が決定したものを受信してもよい。優先度の高い領域の解像度を、優先度が高い領域以外の領域の解像度よりも高く制御してよい。つまり優先度が相対的に低い領域の解像度を低くしてよい。
なお、第一の視界領域や優先度が高い領域の決定には、ＡＩを用いてもよい。ＡＩは、眼球の画像と当該画像の眼球が実際に視ていた方向とを教師データとして、眼球の画像から視線の角度、視線の先の目的物までの距離を推定するよう構成されたモデルであってよい。ＡＩプログラムは、表示装置が有しても、光電変換装置が有しても、外部装置が有してもよい。外部装置が有する場合は、通信を介して、表示装置に伝えられる。
視認検知に基づいて表示制御する場合、外部を撮像する光電変換装置を更に有するスマートグラスに好ましく適用できる。スマートグラスは、撮像した外部情報をリアルタイムで表示することができる。
（第１３実施形態）
図２０を参照しながら、本実施形態のシステムについて説明する。本実施形態は、医師等が患者から採取された細胞や組織を観察して病変を診断する病理診断システムやそれを支援する診断支援システムに適用することができる。本実施形態のシステムは、取得された画像に基づいて病変を診断又はその支援をしてもよい。
図２０に示すように、本実施形態のシステムは、１以上の病理システム１５５１０を含む。さらに解析部１５５３０と、医療情報システム１５５４０とを含んでもよい。
１以上の病理システム１５５１０それぞれは、主に病理医が使用するシステムであり、例えば研究所や病院に導入される。各病理システム１５５１０は、互いに異なる病院に導入されてもよく、それぞれワイドエリアネットワークやローカルエリアネットワークなどの種々のネットワークを介して解析部１５５３０及び医療情報システム１５５４０に接続される。
各病理システム１５５１０は、顕微鏡１５５１１と、サーバ１５５１２と、表示装置１５５１３とを含む。
顕微鏡１５５１１は、光学顕微鏡の機能を有し、ガラススライドに収められた観察対象物を撮像し、デジタル画像である病理画像を取得する。観察対象物とは、例えば、患者から採取された組織や細胞であり、臓器の肉片、唾液、血液等であってよい。
サーバ１５５１２は、顕微鏡１５５１１によって取得された病理画像を図示しない記憶部に記憶、保存する。また、サーバ１５５１２は、閲覧要求を受け付けた場合に、メモリ等に保持された病理画像を検索し、検索された病理画像を表示装置１５５１３に表示させることができる。サーバ１５５１２と表示装置１５５１３とは、表示を制御する装置等を介してもよい。
ここで、観察対象物が臓器の肉片等の固形物である場合、この観察対象物は、例えば、染色された薄切片であってよい。薄切片は、例えば、臓器等の検体から切出されたブロック片を薄切りすることで作製されてもよい。また、薄切りの際には、ブロック片がパラフィン等で固定されてもよい。
顕微鏡１５５１１は、低解像度で撮像するための低解像度撮像部と、高解像度で撮像するための高解像度撮像部とを含み得る。低解像度撮像部と高解像度撮像部とは、異なる光学系であってもよいし、同一の光学系であってもよい。同一の光学系である場合には、顕微鏡１５５１１は、撮像対象に応じて解像度が変更されてもよい。
観察対象物はガラススライドなどに収容され、顕微鏡１５５１１の画角内に位置するステージ上に載置される。顕微鏡１５５１１は、まず、低解像度撮像部を用いて画角内の全体画像を取得し、取得した全体画像から観察対象物の領域を特定する。続いて、顕微鏡１５５１１は、観察対象物が存在する領域を所定サイズの複数の分割領域に分割し、各分割領域を高解像度撮像部により順次撮像することで、各分割領域の高解像度画像を取得する。対象とする分割領域の切替えでは、ステージを移動させてもよいし、撮像光学系を移動させてもよいし、それら両方を移動させてもよい。また、各分割領域は、ガラススライドの意図しない滑りによる撮像漏れ領域の発生等を防止するために、隣接する分割領域との間で重複していてもよい。さらに、全体画像には、全体画像と患者とを対応付けておくための識別情報が含まれていてもよい。この識別情報は、例えば、文字列やＱＲコード（登録商標）等であってよい。
顕微鏡１５５１１で取得された高解像度画像は、サーバ１５５１２に入力される。サーバ１５５１２は、各高解像度画像をより小さいサイズの部分画像に分割することができる。このように部分画像を生成すると、サーバ１５５１２は、隣り合う所定数の部分画像を合成することで１つの画像を生成する合成処理を、全ての部分画像に対して実行する。この合成処理は、最終的に１つの部分画像が生成されるまで繰り返され得る。このような処理により、各階層が１つ以上の部分画像で構成されたピラミッド構造の部分画像群が生成される。このピラミッド構造では、ある層の部分画像とこの層とは異なる層の部分画像との画素数は同じであるが、その解像度が異なっている。例えば、２×２個の計４つの部分画像を合成して上層の１つの部分画像を生成する場合、上層の部分画像の解像度は、合成に用いた下層の部分画像の解像度の１／２倍となっている。
このようなピラミッド構造の部分画像群を構築することによって、表示対象のタイル画像が属する階層次第で、表示装置に表示される観察対象物の詳細度を切り替えることが可能となる。例えば、最下層の部分画像が用いられる場合には、観察対象物の狭い領域を詳細に表示し、上層の部分画像が用いられるほど観察対象物の広い領域が粗く表示されるようにすることができる。
生成されたピラミッド構造の部分画像群は、例えば、メモリ等に記憶することができる。そして、サーバ１５５１２は、他の装置（例えば、解析部１５５３０）から識別情報を含む部分画像の取得要求を受け付けた場合に、識別情報に対応する部分画像を他の装置へ送信する。
なお、病理画像である部分画像は、焦点距離や染色条件等の撮像条件毎に生成されてもよい。撮像条件毎に部分画像が生成される場合、特定の病理画像とともに、特定の撮像条件と異なる撮像条件に対応する他の病理画像であって、特定の病理画像と同一領域の他の病理画像を並べて表示してもよい。特定の撮像条件は、閲覧者によって指定されてもよい。また、閲覧者に複数の撮像条件が指定された場合には、各撮像条件に対応する同一領域の病理画像が並べて表示されてもよい。
また、サーバ１５５１２は、ピラミッド構造の部分画像群をサーバ１５５１２以外の他の記憶装置、例えば、クラウドサーバ等に記憶してもよい。さらに、以上のような部分画像の生成処理の一部又は全部は、クラウドサーバ等で実行されてもよい。このように部分画像を使うことにより、ユーザは、観察倍率を変えながら観察対象物を観察しているような感覚を得ることができる。すなわち、表示を制御することにより、仮想顕微鏡のような役割を果たすことができる。ここでの仮想的な観察倍率は、実際には解像度に相当する。
医療情報システム１５５４０は、いわゆる電子カルテシステムであり、患者を識別する情報、患者の疾患情報、診断に用いた検査情報や画像情報、診断結果、処方薬などの診断に関する情報を記憶する。例えば、ある患者の観察対象物を撮像することで得られる病理画像は、一旦、サーバ１５５１２を介して保存された後、表示装置１５５１４に表示され得る。病理システム１５５１０を利用する病理医は、表示装置１５５１３に表示された病理画像に基づいて病理診断を行う。病理医によって行われた病理診断結果は、医療情報システム１５５４０に記憶される。
解析部１５５３０は、病理画像に対する解析を実行し得る。この解析には、機械学習によって作成された学習モデルを用いることができる。解析部１５５３０は、当該解析結果として、特定領域の分類結果や組織の識別結果等を導出してもよい。さらに、解析部１５５３０は、細胞情報、数、位置、輝度情報等の識別結果やそれらに対するスコアリング情報等を導出してもよい。解析部１５５３０で得られたこれらの情報は、診断支援情報として、病理システム１５５１０の表示装置１５５１３に表示されてもよい。
なお、解析部１５５３０は、１台以上のサーバ（クラウドサーバを含む）等で構成されたサーバシステムであってもよい。また、解析部１５５３０は、病理システム１５５１０内の例えばサーバ１５５１２に組み込まれた構成であってもよい。すなわち、病理画像に対する各種解析は、病理システム１５５１０内で実行されてもよい。
上述の実施形態で説明した光電変換装置は、以上説明した構成のうち、例えば、顕微鏡１５５１１に好適に適用され得る。具体的には、顕微鏡１５５１１における低解像度撮像部及び／ 又は高解像度撮像部に適用することができる。これにより、低解像度撮像部及び／ 又は高解像度撮像部の小型化、強いては、顕微鏡１５５１１の小型化が可能となる。それにより、顕微鏡１５５１１の運搬が容易となるため、システム導入やシステム組換え等を容易化することが可能となる。さらに、上述の実施形態で説明した光電変換装置を適用することにより、病理画像の取得から病理画像の解析までの処理の一部又は全部を顕微鏡１５５１１内においてオンザフライで実行可能となるため、より迅速且つ的確な診断支援情報の出力も可能となる。
なお、上記で説明した構成は、診断支援システムに限らず、共焦点顕微鏡や蛍光顕微鏡、ビデオ顕微鏡等の生物顕微鏡全般にも適用され得る。ここで、観察対象物は、培養細胞や受精卵、精子等の生体試料、細胞シート、三次元細胞組織等の生体材料、ゼブラフィッシュやマウス等の生体であってもよい。また、観察対象物は、ガラススライドに限らず、ウェルプレートやシャーレ等に格納された状態で観察されることもできる。
さらに、顕微鏡を利用して取得した観察対象物の静止画像から動画像が生成されてもよい。例えば、所定期間連続的に撮像した静止画像から動画像を生成してもよいし、所定の間隔を空けて撮像した静止画像から画像シーケンスを生成してもよい。このように、静止画像から動画像を生成することで、がん細胞や神経細胞、心筋組織、精子等の拍動や伸長、遊走等の動きや培養細胞や受精卵の分裂過程など、観察対象物の動的な特徴を機械学習を用いて解析することが可能となる。
＜その他の実施形態＞
以上、各実施形態について説明したが、本発明はこれらの実施形態に制限されるものではなく、様々な変更および変形が可能である。また、各実施形態は相互に適用可能である。すなわち、一方の実施形態の一部を他方の実施形態の一部と置換することもできるし、一方の実施形態の一部を他方の実施形態の一部と付加することも可能である。また、ある実施形態の一部を削除することも可能である。
なお、本明細書の開示内容は、本明細書に記載したことのみならず、本明細書および本明細書に添付した図面から把握可能な全ての事項を含む。また本明細書の開示内容は、本明細書に記載した概念の補集合を含んでいる。すなわち、本明細書に例えば「ＡはＢよりも大きい」旨の記載があれば、「ＡはＢよりも大きくない」旨の記載を省略しても、本明細書は「ＡはＢよりも大きくない」旨を開示していると云える。なぜなら、「ＡはＢよりも大きい」旨を記載している場合には、「ＡはＢよりも大きくない」場合を考慮していることが前提だからである。
１００ 第１基板
１０１ 単位画素
１１０ 画素アレイ部
２００ 第２基板
２０１ ＡＤ変換回路
２０２ 前処理部
２０３ ＡＩ処理部

Claims (11)

  1. 複数の画素を有する画素アレイを備える第１基板と、
    前記第１基板に積層され、前記第１基板から出力される信号をデジタル信号に変換する複数のＡＤ変換回路を含むＡＤ変換部を備える第２基板とを有し、
    前記第２基板は、機械学習処理を行う、第１信号処理部および第２信号処理部を含む複数の信号処理部をさらに備え、
    複数の組の各々が互いに異なる複数のＡＤ変換回路を含み、
    前記第１信号処理部は、前記複数の組の１つの組に対応するように配され、
    前記第２信号処理部は、前記複数の組の別の１つの組に対応するように配されていることを特徴とする光電変換装置。
  2. 前記複数の組は複数行、複数列に配されており、
    前記第１信号処理部と前記第２信号処理部との間に前記複数の組が配されていることを特徴とする請求項１に記載の光電変換装置。
  3. 前記複数の信号処理部はさらに第３信号処理部と第４信号処理部を備え、
    前記第１信号処理部、前記第２信号処理部、前記第３信号処理部、前記第４信号処理部によって囲まれる領域に、前記ＡＤ変換部が設けられていることを特徴とする請求項１または２に記載の光電変換装置。
  4. 前記第１信号処理部、前記第２信号処理部、前記第３信号処理部、前記第４信号処理部は、前記第２基板の外周に沿って配されていることを特徴とする請求項３に記載の光電変換装置。
  5. 前記第２基板の外周に沿って、前記光電変換装置の外部から信号が入力される、あるいは前記光電変換装置の外部に信号を出力する複数のパッドが配され、
    前記複数のパッドと前記ＡＤ変換部との間に、前記第１信号処理部、前記第２信号処理部、前記第３信号処理部、前記第４信号処理部のうちの複数が配されていることを特徴とする請求項４に記載の光電変換装置。
  6. 前記複数のパッドと前記ＡＤ変換部との間に、前記複数の信号処理部の全てが配されていることを特徴とする請求項５に記載の光電変換装置。
  7. 前記第１信号処理部と前記第２信号処理部で信号処理の速度が異なることを特徴とする請求項１～６のいずれか１項に記載の光電変換装置。
  8. 前記複数の組の各々は、前記組に含まれる複数のＡＤ変換回路から前記デジタル信号が入力される前処理回路を備え、
    前記複数の信号処理部の各々は、前記機械学習を各々が行う複数の信号処理回路を備え
    前記前処理回路の処理結果が前記第１信号処理部の前記複数の信号処理回路に入力されることを特徴とする請求項１～７のいずれか１項に記載の光電変換装置。
  9. 前記第２基板に設けられた前記前処理回路の個数よりも、前記複数の信号処理部が備える複数の信号処理回路の個数の方が多いことを特徴とする請求項８に記載の光電変換装置。
  10. 複数の画素を有する画素アレイを備える第１基板と、
    前記第１基板に積層され、前記第１基板から出力される信号をデジタル信号に変換するＡＤ変換部を備える第２基板とを有し、
    前記第２基板は、機械学習処理を請求項１～９のいずれか１項に記載の光電変換装置と、
    前記光電変換装置が出力する信号を用いて画像を生成する信号処理部とを有することを特徴とする光電変換システム。
  11. 請求項１～９のいずれか１項に記載の光電変換装置を備える移動体であって、
    前記光電変換装置が出力する信号を用いて前記移動体の移動を制御する制御部を有することを特徴とする移動体。
JP2021016446A 2021-02-04 2021-02-04 光電変換装置、光電変換システム、移動体 Pending JP2022119374A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021016446A JP2022119374A (ja) 2021-02-04 2021-02-04 光電変換装置、光電変換システム、移動体
KR1020220011169A KR20220112686A (ko) 2021-02-04 2022-01-26 광전 변환 장치, 광전 변환 시스템, 이동체
EP22154081.8A EP4040779A1 (en) 2021-02-04 2022-01-28 Photoelectric conversion apparatus, photoelectric conversion system, moving body
CN202210113180.9A CN114938434A (zh) 2021-02-04 2022-01-30 光电转换装置、光电转换系统、移动体
US17/591,496 US11849238B2 (en) 2021-02-04 2022-02-02 Photoelectric conversion apparatus, photoelectric conversion system, moving body

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021016446A JP2022119374A (ja) 2021-02-04 2021-02-04 光電変換装置、光電変換システム、移動体

Publications (2)

Publication Number Publication Date
JP2022119374A true JP2022119374A (ja) 2022-08-17
JP2022119374A5 JP2022119374A5 (ja) 2024-02-02

Family

ID=80122656

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021016446A Pending JP2022119374A (ja) 2021-02-04 2021-02-04 光電変換装置、光電変換システム、移動体

Country Status (5)

Country Link
US (1) US11849238B2 (ja)
EP (1) EP4040779A1 (ja)
JP (1) JP2022119374A (ja)
KR (1) KR20220112686A (ja)
CN (1) CN114938434A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024135095A1 (ja) * 2022-12-23 2024-06-27 ソニーセミコンダクタソリューションズ株式会社 光検出装置、および、光検出装置の制御方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6704944B2 (ja) * 2018-02-09 2020-06-03 キヤノン株式会社 撮像装置、撮像システム、移動体
JP2022119378A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置、機器

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4500434B2 (ja) 2000-11-28 2010-07-14 キヤノン株式会社 撮像装置及び撮像システム、並びに撮像方法
JP6245474B2 (ja) 2014-04-21 2017-12-13 ソニー株式会社 固体撮像素子、固体撮像素子の製造方法、並びに、電子機器
JP6912922B2 (ja) 2017-04-12 2021-08-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子
KR102325497B1 (ko) 2017-09-29 2021-11-12 캐논 가부시끼가이샤 촬상 소자 및 촬상 장치
JP7091052B2 (ja) 2017-10-25 2022-06-27 キヤノン株式会社 撮像素子及び撮像装置
JP6704944B2 (ja) * 2018-02-09 2020-06-03 キヤノン株式会社 撮像装置、撮像システム、移動体
WO2020027161A1 (ja) * 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 積層型受光センサ及び電子機器
WO2020027230A1 (ja) 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 積層型受光センサ及び車載撮像装置
US11735614B2 (en) 2018-07-31 2023-08-22 Sony Semiconductor Solutions Corporation Stacked light-receiving sensor and electronic device
JP7402606B2 (ja) * 2018-10-31 2023-12-21 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
JP2020136903A (ja) * 2019-02-19 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置および電子機器
US11424282B2 (en) * 2019-02-25 2022-08-23 Canon Kabushiki Kaisha Semiconductor apparatus and equipment
JP2021005846A (ja) 2019-06-27 2021-01-14 オリンパス株式会社 積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路
US11941519B2 (en) * 2019-12-02 2024-03-26 Waymo Llc Machine learning training platform
KR20210092964A (ko) * 2020-01-17 2021-07-27 삼성전자주식회사 이미지 센서 및 이를 포함하는 카메라 모듈
WO2021161712A1 (ja) 2020-02-14 2021-08-19 ソニーグループ株式会社 撮像装置及び車両制御システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024135095A1 (ja) * 2022-12-23 2024-06-27 ソニーセミコンダクタソリューションズ株式会社 光検出装置、および、光検出装置の制御方法

Also Published As

Publication number Publication date
KR20220112686A (ko) 2022-08-11
US20220247966A1 (en) 2022-08-04
US11849238B2 (en) 2023-12-19
CN114938434A (zh) 2022-08-23
EP4040779A1 (en) 2022-08-10

Similar Documents

Publication Publication Date Title
CN112470462B (zh) 层叠式光接收传感器和电子装置
JP2022119374A (ja) 光電変換装置、光電変換システム、移動体
US11930284B2 (en) Photoelectric conversion device and photoelectric conversion system
US20220246661A1 (en) Photoelectric conversion apparatus, photoelectric conversion system, and mobile body
US20240089617A1 (en) Photoelectric conversion apparatus
US11770630B2 (en) Photoelectric conversion apparatus, photoelectric conversion system, and mobile body
US20240021646A1 (en) Stacked light-receiving sensor and in-vehicle imaging device
US20220246652A1 (en) Photoelectric conversion device and photoelectric conversion system
WO2021044590A1 (ja) 内視鏡システム、処理システム、内視鏡システムの作動方法及び画像処理プログラム
WO2023132002A1 (ja) 光電変換装置、光電変換システム、移動体
US20240357258A1 (en) Photoelectric conversion apparatus, photoelectric conversion system, and movable object
US12028623B2 (en) Photoelectric conversion apparatus, photoelectric conversion system, and semiconductor substrate
JP2023061644A (ja) 光電変換装置
US20220246664A1 (en) Photoelectric conversion apparatus, photoelectric conversion system, mobile body, and semiconductor substrate
US20220246663A1 (en) Photoelectric conversion apparatus, photoelectric conversion system, mobile body, and semiconductor substrate
JP2022119375A (ja) 光電変換装置
US20240255620A1 (en) Semiconductor device having time-to-digital converter
JP2023118661A (ja) 処理装置、光電変換システム
JP2023099399A (ja) 光電変換装置及び光検出システム
JP2022113105A (ja) 信号処理装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240124

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240124