JP2022119380A - 光電変換装置、光電変換システム - Google Patents

光電変換装置、光電変換システム Download PDF

Info

Publication number
JP2022119380A
JP2022119380A JP2021016452A JP2021016452A JP2022119380A JP 2022119380 A JP2022119380 A JP 2022119380A JP 2021016452 A JP2021016452 A JP 2021016452A JP 2021016452 A JP2021016452 A JP 2021016452A JP 2022119380 A JP2022119380 A JP 2022119380A
Authority
JP
Japan
Prior art keywords
photoelectric conversion
signal processing
pixel
conversion device
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021016452A
Other languages
English (en)
Other versions
JP2022119380A5 (ja
Inventor
大祐 小林
Daisuke Kobayashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021016452A priority Critical patent/JP2022119380A/ja
Priority to US17/586,520 priority patent/US11678080B2/en
Publication of JP2022119380A publication Critical patent/JP2022119380A/ja
Priority to US18/309,372 priority patent/US11930284B2/en
Publication of JP2022119380A5 publication Critical patent/JP2022119380A5/ja
Priority to US18/432,889 priority patent/US20240179427A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

Figure 2022119380000001
【課題】 制御信号の生成を高速化し、ＳＮ比の低下が生じにくい信号処理結果を得られる光電変換装置を提供することができる。
【解決手段】 一形態に係る光電変換装置は、光電変換素子を含む画素を有する第１基板と、前記画素からの信号を処理する第１の信号処理部を含む第１の制御部を有し、前記第１基板と積層された第２基板と、を備え、前記画素からの信号は、前記第１の信号処理部とは異なる位置に配された第２の信号処理部に出力され、前記画素からの信号が前記第１の信号処理部に出力される経路と前記画素からの信号が前記第２の信号処理部に出力される経路とは異なり、前記第１の制御部は、前記第１の信号処理部で処理された信号に基づいて、前記画素を制御する。
【選択図】 図７

Description

光電変換装置および光電変換システムに関する。
光電変換装置においては、高機能化等が求められている。例えば、高ダイナミックレンジ化、高速移動体の検知等を可能とし、光電変換装置の付加価値を高めることが求められている。
特許文献１には、第１基板と第２基板とを積層させたイメージセンサが記載されている。特許文献１には、第１基板には画素が配され、第２基板には第１基板の画素信号を処理する読出し回路と、制御回路とが配置されることが開示されている。また、特許文献１には、読み出し回路での処理結果を制御回路が受け取り、制御回路は読み出し回路での処理結果に基づいて画素群毎に画素を制御することが開示されている。
特開２０１６－１７１４５５号公報
画素信号の処理結果に基づいて生成される制御信号は、用途によっては生成時間を短くする必要がある場合がある。例えば、輝度が変化する被写体や、移動速度が所定の速さ以上の被写体の場合、当該制御信号の生成時間に起因した遅延により、生成された制御信号が適切でないことがある。したがって、制御信号の生成を高速化する必要がある。一方で、ＳＮ比の低下が生じにくい信号処理結果を得るためには、画素信号の増幅動作、高分解能のＡＤ変換信号処理等、が必要である。したがって、制御信号の生成の高速化とＳＮ比の低下が生じにくい信号処理結果を得ることとはトレードオフの関係となる。
制御信号の生成を高速化でき、ＳＮ比の低下が生じにくい信号処理結果を得られる光電変換装置を提供することを目的とする。
本発明は上記の課題を鑑みて為されたものであり、一の態様は、光電変換素子を含む画素を有する第１基板と、前記画素からの信号を処理する第１の信号処理部を含む第１の制御部を有し、前記第１基板と積層された第２基板と、を備え、前記画素からの信号は、前記第１の信号処理部とは異なる位置に配された第２の信号処理部に出力され、前記画素からの信号が前記第１の信号処理部に出力される経路と前記画素からの信号が前記第２の信号処理部に出力される経路とは異なり、前記第１の制御部は、前記第１の信号処理部で処理された信号に基づいて、前記画素を制御する。
制御信号の生成を高速化でき、ＳＮ比の低下が生じにくい信号処理結果を得られる光電変換装置を提供することができる。
第１実施形態の光電変換装置の概略斜視図 第１実施形態の光電変換装置の平面模式図 第１実施形態の変形例に係る光電変換装置の平面模式図 第１実施形態の光電変換装置の回路図 第１実施形態の光電変換装置の回路図 第１実施形態の光電変換装置の駆動タイミング 第１実施形態の概略を示す機能ブロック図 第２実施形態の光電変換装置の回路図 第２実施形態の画素の光電変換素子の一例を示す概略平面図 第３実施形態の光電変換装置の回路図 第４実施形態の光電変換システムの機能ブロック図 第５実施形態の光電変換システムの機能ブロック図 第６実施形態の光電変換システムの機能ブロック図 第７実施形態の光電変換システムおよび移動体の図 第８実施形態の光電変換システムの概略図 第９実施形態の光電変換システムの機能ブロック図
以下、図面を参照しながら各実施形態を説明する。以下に示す形態は、本発明の技術思想を具体化するためのものであって、本発明を限定するものではない。各図面が示す部材の大きさや位置関係は、説明を明確にするために誇張していることがある。以下の説明において、同一の構成については同一の番号を付して説明を省略することがある。
以下に述べる各実施形態では、光電変換装置の一例として、撮像装置を中心に説明する。ただし、各実施形態は、撮像装置に限られるものではない。光電変換装置としては、撮像装置の他に測距装置（焦点検出やＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）を用いた距離測定等の装置）、測光装置（入射光量の測定等の装置）等であってもよい。
本明細書において、「平面視」とは、後述する第１基板の光入射面に対して垂直な方向から視ることを指す。微視的に見て第１基板の光入射面が粗面である場合は、巨視的に見たときの第１基板の光入射面を基準として平面視を定義する。
（第１実施形態）
本開示の第１実施形態について、図面を参照しながら説明する。
図１は、本実施形態の光電変換装置の概略斜視図を示した図である。本実施形態の光電変換装置は、第１基板１０と第２基板２０とを積層し、それぞれを貼り合わされることで構成される。この２つの基板の貼り合せは、例えば、第１基板１０、第２基板２０のそれぞれの絶縁層中に配された金属部材同士を接合する、金属接合である。金属部材同士が接続された金属接合部を接続部４００とする。第１基板１０と第２基板２０との他の接合方法として、バンプを用いて接合しても良い。
また、第２基板２０にはパッド３００が配置され、第１基板１０には、パッド３００に位置に対応して開口部２００が設けられる。パッド３００と光電変換装置外の回路とがワイヤボンディングを介して接続される。そして、パッド３００を介して入力信号の受信、出力信号の送信が行われる。
なお、図１では説明をわかりやすくするために、第１基板１０の第１面に接続部４００を示しているが、接続部４００は第１基板１０の第２面に配されており、第１基板１０の第１面側からは視認できない。また、図１では６つの接続部４００を示すが、接続部４００の数や配置位置はこれに限られない。
また、パッド３００は第２基板２０に配される必要はなく、第１基板１０に配されていてもよい。
まず、本実施形態の基本的な構成を、図２（Ａ）、図２（Ｂ）、図４、図５、図６を参照しながら説明し、図７を参照して駆動について説明する。
図２（Ａ）及び図２（Ｂ）は本実施形態の光電変換装置の平面模式図である。図２（Ａ）及び図２（Ｂ）では、図１で説明した、開口部２００やパッド３００は図面の簡略化のため省略している。
図２（Ａ）は第１基板１０における概略平面レイアウトを示している。図２（Ｂ）は第２基板２０の概略平面レイアウトを示している。図２（Ａ）では、第１基板１０には、光電変換素子を含む画素と、主に画素から出力される信号（以下、画素信号）を処理する信号処理部５００が配置される例を示している。また、第２基板２０は、画素信号を処理する画素信号処理部を含む画素信号処理制御部７１１、第１基板１０に配置された回路の駆動を制御する駆動タイミング制御部７００や、デジタル信号処理回路を有する。これらの回路は、信号処理部５００とは異なる位置に配され、信号処理部５００とは別の機能を有する。
なお、以下では図２（Ａ）、図２（Ｂ）の構成要素の配置関係について主に説明するが、これら構成要素の配置関係は、図２（Ａ）、図２（Ｂ）に示す構成に限定されない。例えば、図３（Ａ）に示すように、第１基板１０には複数の画素を含む画素部１００が配置され、図３（Ｂ）に示すように、信号処理部５００や垂直走査回路等の周辺回路が第２基板２０に配されていてもよい。なお、図３（Ｂ）はＡＤ変換回路の配置位置の一例を示すだけであり、信号処理回路５００等の配置位置は図３（Ｂ）に示す配置位置に限定されない。また、タイミング生成回路やデジタル信号処理回路の一部が、第１基板１０に設けられる形態でもよい。
前述の通り、第１基板１０と第２基板２０は、接続部４００にて接続される。接続部４００は、平面レイアウト上、第１基板１０と第２基板２０とで同じ座標に両方の基板に配置される。つまり、第１基板１０の第１面に対する正射影において、第１基板１０と接続部４００と第２基板２０とは重なる位置に配置されている。以下の説明では、第１基板１０と第２基板２０とに配置される接続部４００は区別して表記しない。接続部４００－１と表記している場合には、第１基板１０、第２基板２０のいずれかに配置された接続部４００－１を指す。また、同じ機能を有する部材については枝番を省略して記載する。例えば、接続部４００と記載している場合には接続部４００－ｎ（ｎは自然数）を区別することなく記載している。
図面では、配線や接続部４００は単一の要素で示している。実際には複数の電源線、複数の接地線、複数の制御線、複数の信号の入出力線といったように、複数の配線、複数の接続部４００が配されることがある。また、同一の電源や信号が供給される場合であっても、接続部４００の低抵抗化、冗長化のために接続部４００を複数配することがある。以下の説明では、配線や接続部が複数配されるべき場合であっても、図面および説明の簡略化のため省略することがある。
図２（Ａ）、図２（Ｂ）において各構成要素、配線は、平面視で物理的に重ならない配置関係で示す場合があるが、実際には、各構成要素が重なっていてもよい。同様に、接続部４００の配置位置も構成要素や配線等に対して自由に設計することができる。
第１基板１０と第２基板２０とで、複数配された接続部４００を介して、画素や画素信号を処理する回路を制御する駆動信号、信号処理された画素信号等が伝送される。まず、図２（Ａ）の第１基板１０に配置される構成要素について説明し、次に基板を貼り合わせた状態の構成において、図２（Ｂ）の第２基板２０に配置される構成要素の説明および、基板間の信号伝送、制御、駆動について説明する。
第１基板１０の構成について図２（Ａ）、図４、図５を用いて説明する。画素部１００には、図３に示した光電変換素子１０２を含む画素１０１が２次元に配列されている。画素部１００から、各画素１０１が光信号を電気信号に変換して出力する。本実施形態では、複数の画素１０１を含むブロック単位で駆動制御できる構成としている。ブロック単位で駆動制御される複数の画素１０１をまとめて画素ブロックともいう。画素部１００は、例えば、点線で示したように８×８の計６４個の画素ブロックを有する。図２（Ａ）では、１つの画素ブロック内に１つの画素１０１のみを図示しているが、画素ブロックは複数の画素１０１を含んでいるものとする。なお、画素ブロックの数、画素ブロックの区切り方、画素ブロックに含まれる画素１０１の数等は、適宜変更可能とする。
このように２次元状に配列した画素１０１をブロック単位で制御できる構成にすることで、被写体の輝度に応じてブロック毎に最適な制御をすることができる。
図４に示す画素１０１は、電源電位ＶＤＤ、接地電位ＧＮＤ、光電変換素子１０２、転送トランジスタ１０３、リセットトランジスタ１０４、増幅トランジスタ１０５、選択トランジスタ１０６、出力線１０９を有する。また、容量選択トランジスタ１０７、容量１０８を備え、画素の電荷－電圧変換ゲインを切り替えられる。転送トランジスタ１０３は制御信号ＰＴＸによりオンオフが制御される。リセットトランジスタ１０４は制御信号ＰＲＥＳによりオンオフが制御される。選択トランジスタ１０６は制御信号ＰＳＥＬによりオンオフが制御される。容量選択トランジスタ１０７は制御信号ＦＤＧによりオンオフが制御される。出力線１０９は、対応する列の複数の画素１０１が接続され、画素部１００の外に配置された回路に接続される。電源電位ＶＤＤ、接地電位ＧＮＤは不図示の電源線より供給される。図１のパッド３００を介して電源線に電源電位ＶＤＤや接地電位ＧＮＤが供給される。画素１０１の蓄積動作は、まず転送トランジスタ１０３とリセットトランジスタ１０４を同時にオンして、光電変換素子１０２をリセットし、その後、転送トランジスタ１０３をオフする。転送トランジスタ１０３をオフしたタイミングが蓄積を開始するタイミングである。その後、転送トランジスタ１０３をオンし、光電変換素子１０２に蓄積された電荷を、増幅トランジスタ１０５のゲート電極に接続される浮遊拡散領域（ＦＤ）に転送するまでが蓄積時間となる。また、容量選択トランジスタ１０７をオン、オフすることにより、浮遊拡散領域の実効的な容量値を変更することができる。浮遊拡散領域に転送された電荷は、増幅トランジスタ１０５、選択トランジスタ１０６、出力線１０９を介して、画素部１００の外部の回路へと出力される。
画素制御部１２０は、画素制御線１２１を介して画素１０１を制御する。画素制御部１２０は、例えば、垂直走査回路である。図２（Ａ）では図面の簡略化のため画素制御線１２１を１本で示しているが、制御信号ＰＴＸ、ＰＲＥＳ、ＰＳＥＬ、ＦＤＧを含む、複数の制御線を含んでいる。また、符号を省略しているが、８×８の画素ブロックに対して、それぞれ画素制御線が配置される構成としている。ただし、図面に記載されている制御信号の各々は、画素毎の制御、画素の行毎の制御、画素ブロック毎と特に区別しない。
画素部１００から出力される画素信号は、図４に出力線１０９として示した配線１４０を介して、信号処理部５００に入力される。信号処理部５００は、画素信号を処理する複数の回路を含んでいる。信号処理部５００についても、点線で示すように画素のブロック単位に合わせて複数の処理回路を含んだブロック単位で制御できる構成としている。
信号処理部５００は、例えば定電流回路を含む。画素１０１の増幅トランジスタ１０５は、選択トランジスタ１０６、出力線１０９、配線１４０を介して定電流回路を接続することによってソースフォロワ回路を形成する。このソースフォロワ回路が形成されることによって、画素部１００から画素信号が読み出される。ソースフォロワ回路の出力は、増幅器でさらに増幅されてもよい。図５は、画素信号を増幅する増幅器５０１の等価回路図である。増幅器５０１は、増幅回路５１０、入力容量Ｃ０、帰還容量Ｃ１、Ｃ２、スイッチＭ０、Ｍ１により構成される。スイッチＭ０はリセット制御線５０３、スイッチＭ１はゲイン制御線５０２により制御される。増幅器５０１の電圧増幅率は、－入力容量Ｃ０／帰還容量（Ｃ１、Ｃ２）で表せられる。増幅回路５１０に対して負帰還をかけている系において、スイッチＭ１にて帰還容量Ｃ１、Ｃ１＋Ｃ２のいずれを選択することで、帰還容量Ｃ１、Ｃ２と入力容量Ｃ０との分圧比で決まる電圧増幅率を切り替えることができる。なお、電圧増幅率に負の符号がついているのは、反転増幅回路であることを示している。スイッチＭ０は、増幅回路５１０の入出力を短絡するスイッチであり、画素信号の読出し、増幅動作をする前にオンすることで増幅器５０１をリセットする。リセット解除後、ソースフォロワ回路から出力される画素信号は、スイッチＭ１がオフの場合、電圧増幅率－Ｃ０／Ｃ１で増幅され、増幅信号出力線５０４より出力される。スイッチＭ１がオンの場合は、電圧増幅率－Ｃ０／（Ｃ１＋Ｃ２）で増幅される。本実施形態では、入力容量Ｃ０が１種類、帰還容量Ｃ１、Ｃ２が２種類としているが、入力容量、帰還容量ともにさらに複数設けて、電圧増幅率を設定できる構成でもよい。
信号処理部５００は、さらに複数の信号処理機能を備えてもよい。本実施形態では、信号処理部５００は、アナログデジタル変換回路（ＡＤ変換回路）を有する。増幅器５０１で増幅された画素信号は、ＡＤ変換回路において、デジタル信号に変換される。ＡＤ変換結果は、増幅信号出力線５０４を介して、メモリ部５２０に格納される。また、信号処理部５００は、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）、画素信号をサンプル－ホールド（Ｓ／Ｈ）する機能を有する回路を含んでいてもよい。また、信号処理部５００は、信号処理部５００を構成する回路で使用される基準電源やクロック信号を生成する回路を備えてもよい。信号処理部５００は、不図示の電源線より電源電位ＶＤＤ、接地電位ＧＮＤが供給される。なお、画素部の接地電位ＧＮＤと信号処理部５００の接地電位ＧＮＤとは別電源とすることができる。
信号処理部５００は、制御線５０５、５０６により制御される。制御線５０５、５０６は、前述のゲイン制御線５０２、リセット制御線５０３を含む、複数の制御線である。また、本実施形態では、制御線５０５は信号処理部５００に含まれる複数の信号処理回路で共通の制御線とする。一方、制御線５０６は、ブロック化した複数の信号処理回路に対する、ブロック毎の制御線とする。例えば、制御線５０６はゲイン制御線５０２を含み、ブロック毎に増幅器５０１のゲインを制御することが可能となっている。制御線５０５、５０６は、後に説明する第２基板２０に配置される駆動タイミング制御部７００から制御線７０４、７１４、接続部４００－３、４００－７を介して入力される制御信号に基づいて不図示の制御信号生成部にて生成される。制御信号生成部には、電圧レベルシフト回路、バッファ回路、デコーダ等が含まれる。
メモリ部５２０は、ＡＤ変換結果を保持するデジタルメモリ、デジタルメモリに保持したデジタルデータを読み出すための走査回路を含む。メモリ部５２０は、駆動タイミング制御部７００から制御線７０６、接続部４００－４、配線５２１を介して入力される制御信号に基づいて制御される。メモリ部５２０に保持されたデジタルデータは、配線５２２、接続部４００－５を介して第２基板２０に出力される。
次に、図２（Ｂ）の第２基板２０の構成について説明する。また、接続部４００を介した第１基板１０との信号伝送関係、制御関係について説明する。
駆動タイミング制御部７００は、光電変換装置全体を制御する回路である。制御線７０１は、画素部１００の制御に関わる制御信号を伝送する配線であり、接続部４００－１、配線１２３を介して画素制御部１２０に接続される。同様に、制御線７０２についても画素部１００の制御に関わる制御信号を伝送する配線であり、接続部４００－２、画素制御線１２２を介して、画素部１００に接続される。
制御部７１０は、第１基板１０の画素部１００、信号処理部５００を制御する回路を含む。本実施形態では、画素ブロック単位で複数の画素１０１、信号処理部５００を制御している。画素ブロック単位で制御する一例として、画素の蓄積時間の制御がある。本実施形態では、第１基板１０の第１面に対する正射影において、画素部１００に重なる位置に接続部４００－６を設け、当該接続部４００－６を介して各画素ブロックの蓄積時間を制御できる構成としている。
画素の蓄積時間の制御は、画素ブロック単位で配置された画素信号処理制御部７１１により行う。画素信号処理制御部７１１は、駆動タイミング制御部７００から制御線７０３を介して供給される信号に基づき、蓄積制御信号を生成する。画素信号処理制御部７１１で生成された蓄積制御信号は、配線７１２、接続部４００－６、配線１３０を介して、画素１０１に接続される。
なお、図２（Ａ）、（Ｂ）では、図面の簡略化のため画素信号処理制御部７１１や接続部４００－６を１つのブロックのみに示しているが、全ブロックに配置されている。また、画素部１００の蓄積時間制御は、画素信号処理制御部７１１に加え、駆動タイミング制御部７００や画素制御部１２０から制御できる構成でもよい。画素に関わる他の制御に関しても同様に、駆動タイミング制御部７００、画素制御部１２０、画素信号処理制御部７１１のいずれかから駆動できる構成でもよい。
信号処理部５００は、信号処理制御部７１３、配線７１４、接続部４００－７、制御線５０６からブロック毎に制御される。先に説明したように、信号処理部５００の、ブロック毎に制御する機能の一つとして、増幅器５０１の電圧増幅率の制御がある。他の制御として、増幅回路５１０の駆動電流制御、パワーオン、パワーダウンの制御等がある。また、他のブロック毎に制御する機能として、ＡＤ変換動作や、アナログデジタル変換ゲイン（ＡＤ変換ゲイン）が制御される構成としてもよい。
信号処理部５００にてＡＤ変換され、メモリ部５２０に保持された画素信号は、配線５２２、接続部４００－５、配線７２２を介してデジタル信号処理部７２０に入力される。デジタル信号処理部７２０は、入力されたデジタル信号に対し、ノイズ低減処理、デジタルゲイン処理、オフセットの加算・減算、圧縮処理、データのスクランブル処理等の各種デジタル信号処理を行う。デジタル信号処理部７２０で処理されたデジタルデータ、もしくはその一部は、配線７２１を介して、デジタル信号処理制御部７３０に入力される。
デジタル信号処理制御部７３０は、信号処理部５００で信号処理された画素信号に基づいて、画素ブロック毎の最適な蓄積時間、信号処理部５００のブロック毎の電圧増幅率等を算出する機能を有する。なお、蓄積時間の制御はデジタル信号処理制御部７３０から直接画素を制御するのではなく、制御部７１０を制御することにより間接的に画素を制御してもよい。また、蓄積時間の制御は、制御部７００及びデジタル信号処理制御部７３０により行われてもよい。制御部７５０は駆動タイミング制御部７００の一部の機能を含んでいてもよい。また、駆動タイミング制御部７００は制御部７５０を含んでいてもよい。デジタル信号処理制御部７３０で算出された蓄積時間や電圧増幅率の設定に関する制御情報は、配線７２３を介して制御部７５０に入力される。制御部７５０では、画素１０１の蓄積制御信号、増幅器５０１の電圧増幅率制御信号を生成し、生成された制御信号は、配線７５１から制御部７１０に入力される。制御部７１０では、画素信号処理制御部７１１により画素１０１を制御し、信号処理制御部７１３により信号処理部５００を制御する。また、デジタル信号処理制御部７３０で算出された蓄積時間や電圧増幅率の制御情報は、配線７２３を介してデジタル信号処理部７２０にも入力される。デジタル信号処理部７２０では、デジタル信号処理制御部７３０で算出された制御情報に基づき、メモリ部５２０より入力される画素信号について、適切なパラメータでデジタル信号を処理できる。
デジタル信号処理制御部７３０は、配線７３１を介して、メモリ部７４０に接続される。デジタル信号処理制御部７３０で蓄積時間や電圧増幅率を算出する過程で、メモリ部７４０に格納されているプログラムを実行することで、ディープニューラルネットワークを利用した機械学習によって作成された学習済みモデルを用いて各種処理を実行する。この学習済みモデル（ニューラルネットワーク計算モデル）は、画素部１００の出力に相当する入力信号と、当該入力信号に対するラベルとが紐付いている学習データとを所定の機械学習モデルに入力して生成されたパラメータに基づいて設計されていてもよい。また、所定の機械学習モデルは、多層のニューラルネットワークを利用した学習モデル（多層ニューラルネットワークモデルともいう）であってもよい。演算処理とは例えば学習済みモデルが有する辞書係数と画素部１００から得られた画像データと掛け合わせる処理である。このような演算処理により得られた結果（演算結果）を出力インターフェース部へと出力することができる。なお、演算結果には、学習済みモデルを用いた演算処理を実行することで得られた画像データや、その画像データから得られる各種情報（メタデータ）が含まれ得る。また、制御部７１０についても、メモリ部７４０と配線７１５で接続され、デジタル信号処理制御部７３０と同様、各種信号処理が実行される構成としている。
デジタル信号処理部７２０にてデジタル信号処理された画素信号は、配線７２４から出力部８００を介して光電変換装置外に出力される。出力部８００の出力方式は、例えばバッファ回路のように単一の端子から電圧出力を行う方式や、差動の２端子を持つＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）方式とする。また、デジタル信号処理部７２０から入力されるデジタル信号が並列データである場合、例えばパラレル‐シリアル変換（Ｐ／Ｓ変換）機能を有してもよい。
画素信号を処理する画素信号処理制御部７１１は、駆動タイミング制御部７００、制御部７５０から入力された制御信号に基づき、画素の蓄積時間を制御する機能の他に、画素信号を処理する機能を備える。例えば、画素信号処理制御部７１１は、信号処理部５００に含まれるＡＤ変換回路よりも低分解能のＡＤ変換回路を備え、接続部４００－６を介して入力される画素信号を処理することができる。画素信号処理制御部７１１は、おおよその被写体輝度を判定できる構成とする。また、被写体の輝度情報に基づき、画素１０１を制御できる機能をさらに備える構成とする。
具体的な構成例として、例えば、低分解能のＡＤ変換回路は、特定の基準電圧に対して信号レベルの大小を判定する１ビットＡＤ変換回路とし、特定輝度に対して、被写体の輝度の大小を判定できる構成とする。また、被写体輝度の判定結果に基づき、画素１０１の容量選択トランジスタ１０７を制御できる構成とする。
例えば、被写体の輝度が特定の輝度以上であり、画素１０１の容量選択トランジスタ１０７がオフの場合、出力線１０９の振幅が大きく、信号処理部５００の入力レンジを超えてしまうことがある。これにより、画像としては解像度のない画像となり、被写体の判別ができなくなる。
これに対して、本実施形態ではこのような場合に、１ビットＡＤ変換結果に基づき、画素１０１、容量選択トランジスタ１０７をオフ状態から、オン状態とし、容量１０８を増幅トランジスタ１０５のゲートに接続する。これにより、浮遊拡散領域の容量を実効的に増やすことができ、出力線１０９の振幅を低減することができる。そして、信号処理部５００の入力レンジ範囲に対して、適切に信号振幅を調整することができる。
本実施形態の構成のように、１ビットのＡＤ変換、もしくは低分解能のＡＤ変換であれば高速に処理することができ、信号処理部５００の信号処理の開始前に、画素１０１の制御ができる。
なお、画素ブロック毎に、画素信号処理制御部７１１にて画素信号をモニタする画素、および、画素数や、ＡＤ変換回路の分解能は適宜変更可能とする。また、画素信号処理制御部７１１による被写体の輝度の判定結果に基づき、信号処理制御部７１３から、増幅器５０１の電圧増幅率、ＡＤ変換回路のＡＤ変換ゲインを制御できる構成としてもよい。また、画素信号処理制御部７１１の信号処理結果は、配線７５１、制御部７５０、配線７２３から、デジタル信号処理部７２０やデジタル信号処理制御部７３０に入力することで、各種デジタル信号処理に反映できる。
画素１０１の蓄積時間や、増幅器５０１の電圧増幅率を、駆動タイミング制御部７００から、画素ブロック毎に個別に設定、制御することにより、輝度範囲が広い被写体に対しても、各ブロックの輝度に応じて適切な設定ができる。これにより、ダイナミックレンジが広い画像を得ることができる。また、デジタル信号処理制御部７３０では、被写体情報に基づいて、制御情報がリアルタイムに更新、生成される。例えば、動画撮影のように連続して被写体の輝度が変化する場合でも、被写体輝度の変化に連動して、ブロック毎に最適な制御ができる。
図６（Ａ）、（Ｂ）は、本実施形態の光電変換装置の駆動タイミングを説明する図である。図６（Ａ）、（Ｂ）について、トランジスタやスイッチは、パルスがハイレベルのときにオンの状態となり、ローレベルのときにオフの状態となる。「ＴＸ」は光電変換素子１０２から浮遊拡散領域に電荷を転送する期間である。制御信号ＰＴＸがハイレベルの期間に光電変換素子１０２から浮遊拡散領域に電荷が転送される。「ＡＤ」は、信号処理部５００にて、増幅器５０１の画素信号を増幅し、ＡＤ変換する期間である。「ＤＳＰ１」は、デジタル信号処理制御部７３０が、デジタル信号処理部７２０から入力されるデジタルデータに基づき、各種演算、制御信号を生成する期間である。「ＤＳＰ２」は、画素信号処理制御部７１１が、画素１０１から入力される画素信号を低分解能でＡＤ変換し、ＡＤ変換結果に基づき制御信号を生成する期間である。また、増幅器５０１の電圧増幅率をＧａｉｎ１、Ｇａｉｎ２で表している。Ｇａｉｎ２は、Ｇａｉｎ１に対して電圧の増幅率が大きくなっている。
図６（Ａ）は、比較形態であり、デジタル信号処理制御部７３０のみの演算、制御に基づいて光電変換装置を駆動しており、画素信号処理制御部７１１を動作させない。この場合、Ｎ－１（Ｎ：自然数）フレーム目の「ＤＳＰ１」の演算、制御信号に基づき、画素１０１の蓄積時間や増幅器５０１の電圧増幅率が、Ｎフレーム目以降のフレームに設定が反映される。図６（Ａ）の駆動例では、ある画素ブロックのＮ－１フレーム目で輝度が小さいと判断され、Ｎフレーム目以降で、蓄積時間を長くする、は電圧増幅率を大きくする、または容量１０８を非選択する、という設定となるよう制御される。したがって、図６（Ａ）では、Ｎフレーム目で電圧増幅率がＧａｉｎ１からＧａｉｎ２に制御され、画素１０１の容量１０８が制御信号ＦＤＧにより、選択から非選択に制御される。
図５（Ｂ）は、デジタル信号処理制御部７３０、画素信号処理制御部７１１の演算、制御に基づいて撮像装置を駆動する例である。図５（Ｂ）の駆動例では、図５（Ａ）同様、Ｎ－１フレーム目の「ＤＳＰ１」の演算、制御信号に基づき、画素１０１の蓄積時間や増幅器５０１の電圧増幅率が、Ｎフレーム目に設定が反映される。Ｎフレーム目では、「ＴＸ」動作期間に、同時に「ＤＳＰ２」動作期間が設定される。「ＤＳＰ２」動作により、Ｎフレーム目の画素信号に基づき、画素１０１の容量１０８が制御信号ＦＤＧにより非選択から選択に制御され、増幅器５０１の電圧増幅率がＧａｉｎ２からＧａｉｎ１に制御される。
図６（Ａ）の場合、設定が反映されるＮフレーム目以降で、被写体の輝度が高い輝度に変化した場合、画素１０１から読み出される信号が、信号処理部５００の入力レンジを超えることがあり、正しい画像が得られないことがある。反対に、Ｎ－１フレーム目で輝度が大きいと判断され、Ｎフレーム目以降で蓄積時間を短く、電圧増幅率を小さくするように設定が算出される場合がある。設定が反映されるＮフレーム目以降で、被写体の輝度が低輝度に変化した場合、画素１０１から読み出される信号が小さく、画素信号がノイズに埋もれてしまう場合もある。同様に、高速かつ連続して輝度が変化するような被写体の場合も、デジタル信号処理制御部７３０で算出、設定される蓄積時間、電圧増幅率が、被写体に対して適切に設定されないことがある。これらは、画素信号の読出し動作や、信号処理部５００の信号処理速度を上げることで低減することができる。一方、ＳＮ比が高い画像を得るためには、画素信号の応答時間、高分解能のＡ／Ｄ変換が必要であり、適切な信号処理時間を要する。
本実施形態では、画素からの信号が第１の信号処理部に出力される経路と画素からの信号が第２の信号処理部に出力される経路とが異なる。例えば、図７に示すように、画素部１００に含まれる画素で生成され出力される画素からの信号を、信号処理部５００（第２の信号処理部）と制御部７１０の画素信号処理部（第１の信号処理部）を含む制御部７１０の両方に出力している。つまり、信号処理部５００へと出力する経路Ｐ１と、信号処理部へと出力する経路Ｐ２とを備える。そして、経路Ｐ２からの信号処理部への出力の処理結果に基づき画素を制御している。本実施形態によれば、経路Ｐ２を通って出力された画素信号を信号制御部で処理し、その処理結果に基づき画素部１００の画素を制御することが可能となる。一方で、ＡＤ変換等の信号処理は、経路Ｐ１を通って出力された画素信号に基づき行うことが可能となる。したがって、制御信号の生成を高速化でき、ＳＮ比の低下が生じにくい信号処理結果を得ることが可能となる。
また、本実施形態によれば、画素信号処理制御部７１１で、自フレームの画素信号をモニタ、輝度判定し、同一フレームで画素１０１や信号処理部５００を制御することができる。デジタル信号処理制御部７３０で設定された設定が不適切な場合、画素１０１や信号処理部５００の制御がされることで、適切なレンジで信号処理がされる。したがって、輝度範囲の広い被写体について、被写体の輝度変化や移動速度に依らず、ダイナミックレンジの広い画像を得ることができる。
（第２実施形態）
図８は、本発明の第２実施形態に係る光電変換装置の画素の回路図を示した図であり、図９は本実施形態の画素に含まれる２つの光電変換素子の概略平面図である。本実施形態に係る光電変換装置は、光電変換素子を２つ備えている点が第１実施形態と異なる。ここでは第１実施形態との相違点を中心に説明する以下で説明する事項以外は、実質的に第１実施形態と同様であるため、第１実施形態と同様の構成については同一の符号を付して、説明を省略する場合がある。
図８で示した画素１０１は、光電変換素子１０２と同じ、もしくは異なる感度を備えた光電変換素子１１０を備え、転送トランジスタ１１１を介して増幅トランジスタ１０５のゲートに接続される。転送トランジスタ１０３、１１１はそれぞれ制御線ＰＴＸ１、ＰＴＸ２で制御される。ＰＴＸ１、ＰＴＸ２は動作モードに応じて、制御される。
なお、光電変換素子１０２、１１０は、平面レイアウト上、受光面積や遮光パターンが同じ、もしくは、各々異なる構成としてもよい。図９では光電変換素子１１０の一例として、光電変換素子１０２と面積を異ならせることで感度を変えた光電変換素子を示している。プロセス上、形成条件が同じ、あるいは各々異なる構成としてもよい。
また、光電変換素子１０２、１１０の受光面に配されるカラーフィルタは同色、もしくは異なる色の構成としてもよい。さらに、光電変換素子１０２、１１０は、１つのマイクロレンズに配置され、位相差を検出できる構成としてもよい。
本実施形態における動作モードとして、例えば、制御線ＰＴＸ１とＰＴＸ２による駆動タイミングを同一の駆動タイミングとすることで、光電変換素子１０２、１１０を同一の蓄積時間で、同時に読出し、高感度の画像を得ることができる。別の動作モードの例として、同一の蓄積時間で、異なるタイミングで読出すことで、別の画素として解像度を上げた読出しや、２つの信号差から、位相検出ができる。さらに、別の動作モードの例として、光電変換素子１０２、１１０を異なる蓄積時間で、異なるタイミングで読出し、後段の信号処理で合成することによって、ダイナミックレンジの広い画像を得ることができる。
これらの動作モードは、画素信号処理制御部７１１や、デジタル信号処理制御部７３０の信号処理によって制御される構成としてよい。例えば、光電変換素子１０２および光電変換素子１１０の一方から読み出される画素信号レベルに応じて、他方の光電変換素子を制御する。一方の光電変換素子から読み出される画素信号レベルが所定の値以上である場合、他方の光電変換素子の読出しタイミングを異ならせ、別画素として信号処理することができる。別画素として信号処理する以外にも、位相差検出に使用する、または読み出さない、といった制御をすることができる。また、一方の光電変換素子から読み出される画素信号レベルが所定の値未満である場合、他方の光電変換素子を同時に読み出すことで、高感度の画像を得ることができる。なお、第１実施形態と同様に、画素信号処理制御部７１１や、デジタル信号処理制御部７３０の処理結果に基づき、信号処理部５００、デジタル信号処理部７２０の信号処理の設定を動作モードと連動し、適切な信号処理結果を得ることができる。
本実施形態によれば、第１実施形態と同様に、制御信号の生成の高速化とＳＮ比の低下が生じにくい信号処理結果を得ることが可能となる。また、本実施形態では、画素１０１に光電変換素子を複数設け、画素信号処理制御部７１１、デジタル信号処理制御部７３０の信号処理、制御により、画素部１００、もしくは画素ブロック毎に動作モードを切り替えることができる。これにより、光電変換装置を撮像装置として用いる場合に、被写体に対してダイナミックレンジ、消費電力、等の観点で最適な撮像条件を設定できる。また、光電変換装置外からの制御と組み合わせることで、多様なアプリ―ケーションを実現できる。
（第３実施形態）
図１０は、本発明の第３実施形態に係る光電変換装置の画素の回路図を示した図である。本実施形態は、光電変換素子のアノード端子電圧を切り替えられる点が第１実施形態と異なる。ここでは第１実施形態との相違点を中心に説明する。以下で説明する事項以外は、実質的に第１実施形態と同様であるため、第１実施形態と同様の構成については同一の符号を付して、説明を省略する場合がある。
図１０で示した画素１０１は、光電変換素子１０２のアノードと基準電圧ＶＡが供給される信号線との間にスイッチＳ１０が配され、アノードと接地電位が供給される信号線との間にスイッチＳ１１が配されている。アノードに印加する電圧を、各々スイッチＳ１０、Ｓ１１のオンオフを制御することによって、基準電圧ＶＡと接地電位ＧＮＤとで切り替えることができる。基準電圧ＶＡは、光電変換素子１０２に逆バイアスをかけられる電圧とし、例えば負電圧とする。基準電圧ＶＡは例えば－２０Ｖである。スイッチＳ１０がオン、スイッチＳ１１がオフ状態では、光電変換素子１０２にアバランシェ増倍が生じるような逆バイアス電圧が供給され、フォトンが入射されると、アバランシェ降伏が生じる。転送トランジスタ１０３、リセットトランジスタ１０４のゲート電位を適切に設定し、電源電位ＶＤＤと光電変換素子１０２のカソード間の抵抗Ｒとする。光電変換素子１０２がアバランシェ降伏状態の時に流れる電流と抵抗Ｒによって、フォトンの入射を電圧変化として検出することができる。この検出された電圧変化をカウントすることにより、フォトンの入射数をカウントでき、輝度の小さい被写体について高ＳＮ比の画像を得ることができる。スイッチＳ１０がオン、スイッチＳ１１がオフ状態で駆動するモードをＡＰＤモードとする。
なお、ＡＰＤモードでは、フォトンのカウント動作のためカウンタが必要になる。例えば、画素信号処理制御部７１１にカウンタの機能を備える構成とする。画素信号処理制御部７１１に保持されたカウント値は、駆動タイミング制御部７００から、制御線７０３によって画素の選択動作により読み出される。選択されたカウント値は、配線７５１、制御部７５０、配線７２３から、デジタル信号処理部７２０、デジタル信号処理制御部７３０に読み出す構成とする。
一方、スイッチＳ１０がオフ、スイッチＳ１１がオン時には、第１実施形態で説明たように、光電変換素子１０２は特定の時間の蓄積動作によって光電荷を蓄積し、光電荷を読み出すことで画像を得る。この動作モードをＰＤモードとする。
本実施形態では、第１実施形態、第２実施形態と同様に、画素信号処理制御部７１１により画素を制御している。具体的には本実施形態では、画素信号処理制御部７１１、デジタル信号処理制御部７３０の信号処理によって、ＡＰＤモード、ＰＤモードを制御している。本実施形態では、ＡＰＤモードとＰＤモードで、デジタル信号処理部７２０に画素信号が入力される経路が異なる。ＡＰＤモード、ＰＤモードの処理は、画素信号処理制御部７１１から、配線７５１、制御部７０５、配線７２３を介してデジタル信号処理部７２０に情報を入力し、適切なデジタル信号処理、並び替えがされる構成とする。
一般に、被写体輝度が小さい領域のＳＮ比は、ＰＤモードに比較して、ＡＰＤモードが有利である。被写体輝度が一定以上の領域では、光ショットノイズの影響により、ＡＰＤモードと、ＰＤモードのＳＮ比の差は低減する。一方で、被写体輝度大きくなると、ＡＰＤモードでは、フォトンのカウント動作回数が増加するため、消費電力が大きくなる。したがって、被写体輝度が一定以上の領域では、消費電力の観点からＰＤモードで動作することが効率的である。
本実施形態では、画素信号処理制御部７１１、デジタル信号処理制御部７３０によって、被写体輝度に応じて、画素１０１の駆動をＡＰＤモードとＰＤモードで切り替えることができ、高ＳＮ比の画素を、消費電力の増加を抑制しつつ得ることができる。
（第４実施形態）
図１１は、本実施形態に係る光電変換システム１１２００の構成を示すブロック図である。本実施形態の光電変換システム１１２００は、光電変換装置１１２０４を含む。ここで、光電変換装置１１２０４は、上述の実施形態で述べた光電変換装置のいずれかを適用することができる。光電変換システム１１２００は例えば、撮像システムとして用いることができる。撮像システムの具体例としては、デジタルスチルカメラ、デジタルカムコーダー、監視カメラ、ネットワークカメラ等が挙げられる。図１１では、光電変換システム１１２００としてデジタルスチルカメラの例を示している。
図１１に示す光電変換システム１１２００は、光電変換装置１１２０４、被写体の光学像を光電変換装置１１２０４に結像させるレンズ１１２０２を有する。また、光電変換システム１１２００はレンズ１１２０２を通過する光量を可変にするための絞り１１２０３、レンズ１１２０２の保護のためのバリア１１２０１を有する。レンズ１１２０２および絞り１１２０３は、光電変換装置１１２０４に光を集光する光学系である。
光電変換システム１１２００は、光電変換装置１１２０４から出力される出力信号の処理を行う信号処理部１１２０５を有する。信号処理部１１２０５は、必要に応じて入力信号に対して各種の補正、圧縮を行って出力する信号処理の動作を行う。光電変換システム１１２００は、更に、画像データを一時的に記憶するためのバッファメモリ部１１２０６、外部コンピュータ等と通信するための外部インターフェース部（外部Ｉ／Ｆ部）１１２０９を有する。更に光電変換システム１１２００は、撮像データの記録または読み出しを行うための半導体メモリ等の記録媒体１１２１１、記録媒体１１２１１に記録または読み出しを行うための記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部）１１２１０を有する。記録媒体１１２１１は、光電変換システム１１２００に内蔵されていてもよく、着脱可能であってもよい。また、記録媒体制御Ｉ／Ｆ部１１２１０から記録媒体１１２１１との通信や外部Ｉ／Ｆ部１１２０９からの通信は無線によってなされてもよい。
更に光電変換システム１１２００は、各種演算を行うとともにデジタルスチルカメラ全体を制御する全体制御・演算部１１２０８、光電変換装置１１２０４と信号処理部１１２０５に各種タイミング信号を出力するタイミング発生部１１２０７を有する。ここで、タイミング信号などは外部から入力されてもよく、光電変換システム１１２００は、少なくとも光電変換装置１１２０４と、光電変換装置１１２０４から出力された出力信号を処理する信号処理部１１２０５とを有すればよい。全体制御・演算部１１２０８およびタイミング発生部１１２０７は、光電変換装置１１２０４の制御機能の一部または全部を実施するように構成してもよい。
光電変換装置１１２０４は、画像用信号を信号処理部１１２０５に出力する。信号処理部１１２０５は、光電変換装置１１２０４から出力される画像用信号に対して所定の信号処理を実施し、画像データを出力する。また、信号処理部１１２０５は、画像用信号を用いて、画像を生成する。また、信号処理部１１２０５は、光電変換装置１１２０４から出力される信号に対して測距演算を行ってもよい。なお、信号処理部１１２０５やタイミング発生部１１２０７は、光電変換装置に搭載されていてもよい。つまり、信号処理部１１２０５やタイミング発生部１１２０７は、画素が配された基板に設けられていてもよいし、別の基板に設けられている構成であってもよい。上述した各実施形態の光電変換装置を用いて撮像システムを構成することにより、より良質の画像が取得可能な撮像システムを実現することができる。
（第５実施形態）
図１２は、第１乃至第３実施形態のいずれか１つに記載の光電変換装置を利用した光電変換システムを示すブロック図である。図１２では、光電変換システムとして距離画像センサの構成例を示している。
図１２に示すように、距離画像センサ１２４０１は、光学系１２４０７、光電変換装置１２４０８、画像処理回路１２４０４、モニタ１２４０５、およびメモリ１２４０６を備えて構成される。そして、距離画像センサ１２４０１は、光源装置１２４０９から被写体に向かって投光され、被写体の表面で反射された光（変調光やパルス光）を受光することにより、被写体までの距離に応じた距離画像を取得することができる。
光学系１２４０７は、１枚または複数枚のレンズを有して構成され、被写体からの像光（入射光）を光電変換装置１２４０８に導き、光電変換装置１２４０８の受光面（センサ部）に結像させる。
光電変換装置１２４０８としては、上述した各実施形態の光電変換装置が適用され、光電変換装置１２４０８から出力される受光信号から求められる距離を示す距離信号が画像処理回路１２４０４に供給される。
画像処理回路１２４０４は、光電変換装置１２４０８から供給された距離信号に基づいて距離画像を構築する画像処理を行う。そして、その画像処理により得られた距離画像（画像データ）は、モニタ１２４０５に供給されて表示されたり、メモリ４０６に供給されて記憶（記録）されたりする。
このように構成されている距離画像センサ１２４０１では、上述した光電変換装置を適用することで、画素の特性向上に伴って、例えば、より正確な距離画像を取得することができる。
（第６実施形態）
第６実施形態に係る光電変換システムは、第１乃至第３実施形態のいずれか１つに記載の光電変換装置を利用した光電変換システムである。図１３には、光電変換システムの一例である内視鏡手術システムの概略的な構成の一例を示す図である。
図１３では、術者（医師）１３１３１が、内視鏡手術システム１３００３を用いて、患者ベッド１３１３３上の患者１３１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１３００３は、内視鏡１３１００と、術具１３１１０と、内視鏡下手術のための各種の装置が搭載されたカート１３１３４と、から構成される。
内視鏡１３１００は、先端から所定の長さの領域が患者１３１３２の体腔内に挿入される鏡筒１３１０１と、鏡筒１３１０１の基端に接続されるカメラヘッド１３１０２と、から構成される。図示する例では、硬性の鏡筒１３１０１を有するいわゆる硬性鏡として構成される内視鏡１３１００を図示しているが、内視鏡１３１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
鏡筒１３１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１３１００には光源装置１３２０３が接続されており、光源装置１３２０３によって生成された光が、鏡筒１３１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光される。この光は対物レンズを介して患者１３１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１３１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド１３１０２の内部には光学系及び光電変換装置が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該光電変換装置に集光される。当該光電変換装置によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該光電変換装置としては、前述の各実施形態に記載の光電変換装置を用いることができる。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１３１３５に送信される。
ＣＣＵ１３１３５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって構成され、内視鏡１３１００及び表示装置１３１３６の動作を統括的に制御する。さらに、ＣＣＵ１３１３５は、カメラヘッド１３１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
表示装置１３１３６は、ＣＣＵ１３１３５からの制御により、当該ＣＣＵ１３１３５によって画像処理が施された画像信号に基づく画像を表示する。
光源装置１３２０３は、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１３１００に供給する。
入力装置１３１３７は、内視鏡手術システム１３００３に対する入力インターフェースである。ユーザは、入力装置１３１３７を介して、内視鏡手術システム１３００３に対して各種の情報の入力や指示入力を行うことができる。
処置具制御装置１３１３８は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１３１１２の駆動を制御する。
内視鏡１３１００に術部を撮影する際の照射光を供給する光源装置１３２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１３２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１３１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置１３２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１３１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置１３２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用する。具体的には、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１３２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
（第７実施形態）
本実施形態の光電変換システムおよび移動体について、図１４を用いて説明する。図１４は、本実施形態による光電変換システムおよび移動体の構成例を示す概略図である。本実施形態では、光電変換システムとして、車載カメラの一例を示す。
図１４は、車両システムとこれに搭載される撮像を行う光電変換システムの一例を示したものである。光電変換システム１４３０１は、光電変換装置１４３０２、画像前処理部１４３１５、集積回路１４３０３、光学系１４３１４を含む。光学系１４３１４は、光電変換装置１４３０２に被写体の光学像を結像する。光電変換装置１４３０２は、光学系１４３１４により結像された被写体の光学像を電気信号に変換する。光電変換装置１４３０２は、上述の各実施形態のいずれかの光電変換装置である。画像前処理部１４３１５は、光電変換装置１４３０２から出力された信号に対して所定の信号処理を行う。画像前処理部１４３１５の機能は、光電変換装置１４３０２内に組み込まれていてもよい。光電変換システム１４３０１には、光学系１４３１４、光電変換装置１４３０２および画像前処理部１４３１５が、少なくとも２組設けられており、各組の画像前処理部１４３１５からの出力が集積回路１４３０３に入力されるようになっている。
集積回路１４３０３は、撮像システム用途向けの集積回路であり、メモリ１４３０５を含む画像処理部１４３０４、光学測距部１４３０６、測距演算部１４３０７、物体認知部１４３０８、異常検出部１４３０９を含む。画像処理部１４３０４は、画像前処理部１４３１５の出力信号に対して、現像処理や欠陥補正等の画像処理を行う。メモリ１４３０５は、撮像画像の一次記憶、撮像画素の欠陥位置を格納する。光学測距部１４３０６は、被写体の合焦や、測距を行う。測距演算部１４３０７は、複数の光電変換装置１４３０２により取得された複数の画像データから測距情報の算出を行う。物体認知部１４３０８は、車、道、標識、人等の被写体の認知を行う。異常検出部１４３０９は、光電変換装置１４３０２の異常を検出すると、主制御部１４３１３に異常を発報する。
集積回路１４３０３は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよいし、これらの組合せによって実現されてもよい。また、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等によって実現されてもよいし、これらの組合せによって実現されてもよい。
主制御部１４３１３は、光電変換システム１４３０１、車両センサ１４３１０、制御ユニット１４３２０等の動作を統括・制御する。主制御部１４３１３を持たず、光電変換システム１４３０１、車両センサ１４３１０、制御ユニット１４３２０が個別に通信インターフェースを有して、それぞれが通信ネットワークを介して制御信号の送受を行う（例えばＣＡＮ規格）方法も取り得る。
集積回路１４３０３は、主制御部１４３１３からの制御信号を受け或いは自身の制御部によって、光電変換装置１４３０２へ制御信号や設定値を送信する機能を有する。
光電変換システム１４３０１は、車両センサ１４３１０に接続されており、車速、ヨーレート、舵角などの自車両走行状態および自車外環境や他車・障害物の状態を検出することができる。車両センサ１４３１０は、対象物までの距離情報を取得する距離情報取得手段でもある。また、光電変換システム１４３０１は、自動操舵、自動巡行、衝突防止機能等の種々の運転支援を行う運転支援制御部１３１１に接続されている。特に、衝突判定機能に関しては、光電変換システム１４３０１や車両センサ１４３１０の検出結果を基に他車・障害物との衝突推定・衝突有無を判定する。これにより、衝突が推定される場合の回避制御、衝突時の安全装置起動を行う。
また、光電変換システム１４３０１は、衝突判定部での判定結果に基づいて、ドライバーに警報を発する警報装置１４３１２にも接続されている。例えば、衝突判定部の判定結果として衝突可能性が高い場合、主制御部１４３１３は、ブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして、衝突を回避、被害を軽減する車両制御を行う。警報装置１４３１２は、音等の警報を鳴らす、カーナビゲーションシステムやメーターパネルなどの表示部画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。
本実施形態では、車両の周囲、例えば前方または後方を光電変換システム１４３０１で撮影する。図１４（ｂ）に、車両前方を光電変換システム１４３０１で撮像する場合の光電変換システム１４３０１の配置例を示す。
２つの光電変換装置１４３０２は、車両１４３００の前方に配される。具体的には、車両１４３００の進退方位または外形（例えば車幅）に対する中心線を対称軸に見立て、その対称軸に対して２つの光電変換装置１３０２が線対称に配される。この形態は、車両１４３００と被写対象物との間の距離情報の取得や衝突可能性の判定を行う上で好ましい。また、光電変換装置１４３０２は、運転者が運転席から車両１４３００の外の状況を視認する際に運転者の視野を妨げない配置が好ましい。警報装置１４３１２は、運転者の視野に入りやすい配置が好ましい。
また、本実施形態では、他の車両と衝突しない制御を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。さらに、光電変換システム１４３０１は、自車両等の車両に限らず、例えば、船舶、航空機或いは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。
本発明の光電変換装置は、更に、距離情報など各種情報を取得可能な構成であってもよい。
（第８実施形態）
図１５は、本実施形態に係る光電変換システムの一例である眼鏡１６６００（スマートグラス）を示している。眼鏡１６６００には、光電変換装置１６６０２を有する。光電変換装置１６６０２は、第１乃至第３のいずれか１つに記載の光電変換装置である。また、レンズ１６６０１の裏面側には、ＯＬＥＤやＬＥＤ等の発光装置を含む表示装置が設けられていてもよい。光電変換装置１６６０２は１つでもよいし、複数でもよい。また、複数種類の光電変換装置を組み合わせて用いてもよい。光電変換装置１６６０２の配置位置は図１５（ａ）に限定されない。
眼鏡１６６００は、制御装置１６６０３をさらに備える。制御装置１６６０３は、光電変換装置１６６０２と上記の表示装置に電力を供給する電源として機能する。また、制御装置１６６０３は、光電変換装置１６６０２と表示装置の動作を制御する。レンズ１６６０１には、光電変換装置１６６０２に光を集光するための光学系が形成されている。
図１５（ｂ）は、１つの適用例に係る眼鏡１６６１０（スマートグラス）を説明する。眼鏡１６６１０は、制御装置１６６１２を有しており、制御装置１６６１２に、光電変換装置１６６０２に相当する光電変換装置と、表示装置が搭載される。レンズ１６６１１には、制御装置１６６１２内の光電変換装置と、表示装置からの発光を投影するための光学系が形成されており、レンズ１６６１１には画像が投影される。制御装置１６６１２は、光電変換装置および表示装置に電力を供給する電源として機能するとともに、光電変換装置および表示装置の動作を制御する。制御装置は、装着者の視線を検知する視線検知部を有してもよい。視線の検知は赤外線を用いてよい。赤外発光部は、表示画像を注視しているユーザの眼球に対して、赤外光を発する。発せられた赤外光の眼球からの反射光を、受光素子を有する撮像部が検出することで眼球の撮像画像が得られる。平面視における赤外発光部から表示部への光を低減する低減手段を有することで、画像品位の低下を低減する。
赤外光の撮像により得られた眼球の撮像画像から表示画像に対するユーザの視線を検出する。眼球の撮像画像を用いた視線検出には任意の公知の手法が適用できる。一例として、角膜での照射光の反射によるプルキニエ像に基づく視線検出方法を用いることができる。
より具体的には、瞳孔角膜反射法に基づく視線検出処理が行われる。瞳孔角膜反射法を用いて、眼球の撮像画像に含まれる瞳孔の像とプルキニエ像とに基づいて、眼球の向き（回転角度）を表す視線ベクトルが算出されることにより、ユーザの視線が検出される。
本実施形態の表示装置は、受光素子を有する光電変換装置を有し、光電変換装置からのユーザの視線情報に基づいて表示装置の表示画像を制御してよい。
具体的には、表示装置は、視線情報に基づいて、ユーザが注視する第一の視界領域と、第一の視界領域以外の第二の視界領域とを決定される。第一の視界領域、第二の視界領域は、表示装置の制御装置が決定してもよいし、外部の制御装置が決定したものを受信してもよい。表示装置の表示領域において、第一の視界領域の表示解像度を第二の視界領域の表示解像度よりも高く制御してよい。つまり、第二の視界領域の解像度を第一の視界領域よりも低くしてよい。
また、表示領域は、第一の表示領域、第一の表示領域とは異なる第二の表示領域とを有し、視線情報に基づいて、第一の表示領域および第二の表示領域から優先度が高い領域を決定されてよい。第一の視界領域、第二の視界領域は、表示装置の制御装置が決定してもよいし、外部の制御装置が決定したものを受信してもよい。優先度の高い領域の解像度を、優先度が高い領域以外の領域の解像度よりも高く制御してよい。つまり優先度が相対的に低い領域の解像度を低くしてよい。
なお、第一の視界領域や優先度が高い領域の決定には、ＡＩを用いてもよい。ＡＩは、眼球の画像と当該画像の眼球が実際に視ていた方向とを教師データとして、眼球の画像から視線の角度、視線の先の目的物までの距離を推定するよう構成されたモデルであってよい。ＡＩプログラムは、表示装置が有しても、光電変換装置が有しても、外部装置が有してもよい。外部装置が有する場合は、通信を介して、表示装置に伝えられる。
視認検知に基づいて表示制御する場合、外部を撮像する光電変換装置を更に有するスマートグラスに好ましく適用できる。スマートグラスは、撮像した外部情報をリアルタイムで表示することができる。
（第９実施形態）
図１６を参照しながら、本実施形態の光電変換システムについて説明する。図１６は、光電変換システムの一例である、診断支援システムを示している。医師等が患者から採取された細胞や組織を観察して病変を診断する病理診断システムやそれを支援する診断支援システムに適用することができる。本実施形態のシステムは、取得された画像に基づいて病変を診断又はその支援をしてもよい。
図１６に示すように、本実施形態のシステムは、１以上の病理システム１５５１０を含む。さらに解析部１５５３０と、医療情報システム１５５４０とを含んでもよい。
１以上の病理システム１５５１０それぞれは、主に病理医が使用するシステムであり、例えば研究所や病院に導入される。各病理システム１５５１０は、互いに異なる病院に導入されてもよく、それぞれワイドエリアネットワークやローカルエリアネットワークなどの種々のネットワークを介して解析部１５５３０及び医療情報システム１５５４０に接続される。
各病理システム１５５１０は、顕微鏡１５５１１と、サーバ１５５１２と、表示装置１５５１３とを含む。
顕微鏡１５５１１は、光学顕微鏡の機能を有し、ガラススライドに収められた観察対象物を撮像し、デジタル画像である病理画像を取得する。観察対象物とは、例えば、患者から採取された組織や細胞であり、臓器の肉片、唾液、血液等であってよい。
サーバ１５５１２は、顕微鏡１５５１１によって取得された病理画像を図示しない記憶部に記憶、保存する。また、サーバ１５５１２は、閲覧要求を受け付けた場合に、メモリ等に保持された病理画像を検索し、検索された病理画像を表示装置１５５１３に表示させることができる。サーバ１５５１２と表示装置１５５１３とは、表示を制御する装置等を介してもよい。
ここで、観察対象物が臓器の肉片等の固形物である場合、この観察対象物は、例えば、染色された薄切片であってよい。薄切片は、例えば、臓器等の検体から切出されたブロック片を薄切りすることで作製されてもよい。また、薄切りの際には、ブロック片がパラフィン等で固定されてもよい。
顕微鏡１５５１１は、低解像度で撮像するための低解像度撮像部と、高解像度で撮像するための高解像度撮像部とを含み得る。低解像度撮像部と高解像度撮像部とは、異なる光学系であってもよいし、同一の光学系であってもよい。同一の光学系である場合には、顕微鏡１５５１１は、撮像対象に応じて解像度が変更されてもよい。
観察対象物はガラススライドなどに収容され、顕微鏡１５５１１の画角内に位置するステージ上に載置される。顕微鏡１５５１１は、まず、低解像度撮像部を用いて画角内の全体画像を取得し、取得した全体画像から観察対象物の領域を特定する。続いて、顕微鏡１５５１１は、観察対象物が存在する領域を所定サイズの複数の分割領域に分割し、各分割領域を高解像度撮像部により順次撮像することで、各分割領域の高解像度画像を取得する。対象とする分割領域の切替えでは、ステージを移動させてもよいし、撮像光学系を移動させてもよいし、それら両方を移動させてもよい。また、各分割領域は、ガラススライドの意図しない滑りによる撮像漏れ領域の発生等を防止するために、隣接する分割領域との間で重複していてもよい。さらに、全体画像には、全体画像と患者とを対応付けておくための識別情報が含まれていてもよい。この識別情報は、例えば、文字列やＱＲコード（登録商標）等であってよい。
顕微鏡１５５１１で取得された高解像度画像は、サーバ１５５１２に入力される。サーバ１５５１２は、各高解像度画像をより小さいサイズの部分画像に分割することができる。このように部分画像を生成すると、サーバ１５５１２は、隣り合う所定数の部分画像を合成することで１つの画像を生成する合成処理を、全ての部分画像に対して実行する。この合成処理は、最終的に１つの部分画像が生成されるまで繰り返され得る。このような処理により、各階層が１つ以上の部分画像で構成されたピラミッド構造の部分画像群が生成される。このピラミッド構造では、ある層の部分画像とこの層とは異なる層の部分画像との画素数は同じであるが、その解像度が異なっている。例えば、２×２個の計４つの部分画像を合成して上層の１つの部分画像を生成する場合、上層の部分画像の解像度は、合成に用いた下層の部分画像の解像度の１／２倍となっている。
このようなピラミッド構造の部分画像群を構築することによって、表示対象のタイル画像が属する階層次第で、表示装置に表示される観察対象物の詳細度を切り替えることが可能となる。例えば、最下層の部分画像が用いられる場合には、観察対象物の狭い領域を詳細に表示し、上層の部分画像が用いられるほど観察対象物の広い領域が粗く表示されるようにすることができる。
生成されたピラミッド構造の部分画像群は、例えば、メモリ等に記憶することができる。そして、サーバ１５５１２は、他の装置（例えば、解析部１５５３０）から識別情報を含む部分画像の取得要求を受け付けた場合に、識別情報に対応する部分画像を他の装置へ送信する。
なお、病理画像である部分画像は、焦点距離や染色条件等の撮像条件毎に生成されてもよい。撮像条件毎に部分画像が生成される場合、特定の病理画像とともに、特定の撮像条件と異なる撮像条件に対応する他の病理画像であって、特定の病理画像と同一領域の他の病理画像を並べて表示してもよい。特定の撮像条件は、閲覧者によって指定されてもよい。また、閲覧者に複数の撮像条件が指定された場合には、各撮像条件に対応する同一領域の病理画像が並べて表示されてもよい。
また、サーバ１５５１２は、ピラミッド構造の部分画像群をサーバ１５５１２以外の他の記憶装置、例えば、クラウドサーバ等に記憶してもよい。さらに、以上のような部分画像の生成処理の一部又は全部は、クラウドサーバ等で実行されてもよい。このように部分画像を使うことにより、ユーザは、観察倍率を変えながら観察対象物を観察しているような感覚を得ることができる。すなわち、表示を制御することにより、仮想顕微鏡のような役割を果たすことができる。ここでの仮想的な観察倍率は、実際には解像度に相当する。
医療情報システム１５５４０は、いわゆる電子カルテシステムであり、患者を識別する情報、患者の疾患情報、診断に用いた検査情報や画像情報、診断結果、処方薬などの診断に関する情報を記憶する。例えば、ある患者の観察対象物を撮像することで得られる病理画像は、一旦、サーバ１５５１２を介して保存された後、表示装置１５５１４に表示され得る。病理システム１５５１０を利用する病理医は、表示装置１５５１３に表示された病理画像に基づいて病理診断を行う。病理医によって行われた病理診断結果は、医療情報システム１５５４０に記憶される。
解析部１５５３０は、病理画像に対する解析を実行し得る。この解析には、機械学習によって作成された学習モデルを用いることができる。解析部１５５３０は、当該解析結果として、特定領域の分類結果や組織の識別結果等を導出してもよい。さらに、解析部１５５３０は、細胞情報、数、位置、輝度情報等の識別結果やそれらに対するスコアリング情報等を導出してもよい。解析部１５５３０で得られたこれらの情報は、診断支援情報として、病理システム１５５１０の表示装置１５５１３に表示されてもよい。
なお、解析部１５５３０は、１台以上のサーバ（クラウドサーバを含む）等で構成されたサーバシステムであってもよい。また、解析部１５５３０は、病理システム１５５１０内の例えばサーバ１５５１２に組み込まれた構成であってもよい。すなわち、病理画像に対する各種解析は、病理システム１５５１０内で実行されてもよい。
上述の第１乃至第３実施形態で説明した光電変換装置は、以上説明した構成のうち、例えば、顕微鏡１５５１１に好適に適用され得る。具体的には、顕微鏡１５５１１における低解像度撮像部及び／又は高解像度撮像部に適用することができる。これにより、低解像度撮像部及び／又は高解像度撮像部の小型化、強いては、顕微鏡１５５１１の小型化が可能となる。それにより、顕微鏡１５５１１の運搬が容易となるため、システム導入やシステム組換え等を容易化することが可能となる。さらに、上述の実施形態で説明した光電変換装置を適用することにより、病理画像の取得から病理画像の解析までの処理の一部又は全部を顕微鏡１５５１１内においてオンザフライで実行可能となるため、より迅速且つ的確な診断支援情報の出力も可能となる。
なお、上記で説明した構成は、診断支援システムに限らず、共焦点顕微鏡や蛍光顕微鏡、ビデオ顕微鏡等の生物顕微鏡全般にも適用され得る。ここで、観察対象物は、培養細胞や受精卵、精子等の生体試料、細胞シート、三次元細胞組織等の生体材料、ゼブラフィッシュやマウス等の生体であってもよい。また、観察対象物は、ガラススライドに限らず、ウェルプレートやシャーレ等に格納された状態で観察されることもできる。
さらに、顕微鏡を利用して取得した観察対象物の静止画像から動画像が生成されてもよい。例えば、所定期間連続的に撮像した静止画像から動画像を生成してもよいし、所定の間隔を空けて撮像した静止画像から画像シーケンスを生成してもよい。このように、静止画像から動画像を生成することで、がん細胞や神経細胞、心筋組織、精子等の拍動や伸長、遊走等の動きや培養細胞や受精卵の分裂過程など、観察対象物の動的な特徴を機械学習を用いて解析することが可能となる。
［変形実施形態］
本発明は、上記実施形態に限らず種々の変形が可能である。例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態に含まれる。なお、上記実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
１０ 第１基板
２０ 第２基板
１００ 画素部
５００ 信号処理部
５２０、７４０ メモリ部
７００ 駆動タイミング処理部
７１０、７５０ 制御部
７１１ 画素信号処理制御部
７３０ デジタル信号処理制御部
７２０ デジタル信号処理部

Claims (17)

  1. 光電変換素子を含む画素を有する第１基板と、
    前記画素からの信号を処理する第１の信号処理部を含む第１の制御部を有し、前記第１基板と積層された第２基板と、を備え、
    前記画素からの信号は、前記第１の信号処理部とは異なる位置に配された第２の信号処理部に出力され、
    前記画素からの信号が前記第１の信号処理部に出力される経路と前記画素からの信号が前記第２の信号処理部に出力される経路とは異なり、
    前記第１の制御部は、前記第１の信号処理部で処理された信号に基づいて、前記画素を制御することを特徴とする光電変換装置。
  2. 前記第１の制御部は、前記第２の信号処理部を制御することを特徴とする請求項１に記載の光電変換装置。
  3. 前記第２の信号処理部は増幅器を有し、
    前記第１の制御部は、前記第２の信号処理部での処理において、電圧増幅率を制御することを特徴とする請求項２に記載の光電変換装置。
  4. 前記第２の信号処理部はアナログデジタル変換回路を有し、
    前記第１の制御部は、前記第２の信号処理部での処理において、前記アナログデジタル変換回路のアナログデジタル変換ゲインを制御することを特徴とする請求項２または３に記載の光電変換装置。
  5. 前記画素は浮遊拡散領域を含み、
    前記第１の制御部は、前記画素の浮遊拡散領域の容量値を切り替えることを特徴とする請求項１乃至４のいずれか１項に記載の光電変換装置。
  6. 前記第１の制御部は、前記第２の信号処理部において前記画素からの信号の信号処理が開始される前に、前記画素および前記第２の信号処理部の少なくとも一方を制御することを特徴とする請求項１乃至５のいずれか１項に記載の光電変換装置。
  7. 前記第１の制御部は、前記第２の信号処理部に前記画素からの信号が入力される前に、前記画素および前記第２の信号処理部の少なくとも一方を制御することを特徴とする請求項６に記載の光電変換装置。
  8. 前記第２の信号処理部は、前記第２基板に配置されることを特徴とする請求項１乃至７のいずれか１項に記載の光電変換装置。
  9. 前記第２の信号処理部は、前記第１基板に配置されることを特徴とする請求項１乃至７のいずれか１項に記載の光電変換装置。
  10. 前記第２の信号処理部で処理された信号に基づいて、少なくとも、前記画素、前記第１の制御部、および前記第２の信号処理部のいずれか１つを制御する第２の制御部を有する請求項１乃至９のいずれか１項に記載の光電変換装置。
  11. 前記第１の制御部及び前記第２の制御部の少なくとも一方は、前記画素の蓄積時間を制御することを特徴とする請求項１０に記載の光電変換装置。
  12. 前記第１基板は、複数の前記画素を含む画素部を有し、
    前記画素部は、前記複数の画素が複数の画素ごとにブロック化された画素ブロックを有し、
    前記第１の制御部は、平面視で２次元状に配されており、
    前記第１基板の第１面に対する正射影において、前記画素ブロックと前記第１の制御部とが重なるように配置されていることを特徴とする請求項１乃至１１のいずれか１項に記載の光電変換装置。
  13. 前記第１基板および前記第２基板の少なくとも一方は、ニューラルネットワーク計算モデルに基づく処理を実行する処理部を有することを特徴とする請求項１乃至１２のいずれか１項に記載の光電変換装置。
  14. 前記画素は、前記光電変換素子と第２の光電変換素子とを含み、
    前記光電変換素子と前記第２の光電変換素子とは感度が異なり、
    前記光電変換素子と前記第２の光電変換素子との読み出しは、前記第１の制御部または第２の制御部によって制御されることを特徴とする請求項１乃至１３のいずれか１項に記載の光電変換装置。
  15. 前記画素は、光電変換素子にアバランシェ増倍が生じるような逆バイアス電圧が供給される第１モードと、アバランシェ増倍が生じない電圧が供給される第２モードと、を含み、
    前記第１モードと前記第２モードとの切り替えは、前記第１の制御部または前記第２の制御部によって行われることを特徴とする請求項１乃至１３のいずれか１項に記載の光電変換装置。
  16. 請求項１乃至１５のいずれか１項に記載の光電変換装置と、
    前記光電変換装置が出力する信号を処理する信号処理部と、を有することを特徴とする光電変換システム。
  17. 請求項１乃至１５のいずれか１項に記載の光電変換装置と、
    前記光電変換装置からの信号に基づく測距情報から、対象物までの距離情報を取得する距離情報取得手段と、を有する移動体であって、
    前記距離情報に基づいて前記移動体を制御する制御手段をさらに有することを特徴とする移動体。
JP2021016452A 2021-02-04 2021-02-04 光電変換装置、光電変換システム Pending JP2022119380A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021016452A JP2022119380A (ja) 2021-02-04 2021-02-04 光電変換装置、光電変換システム
US17/586,520 US11678080B2 (en) 2021-02-04 2022-01-27 Photoelectric conversion device and photoelectric conversion system
US18/309,372 US11930284B2 (en) 2021-02-04 2023-04-28 Photoelectric conversion device and photoelectric conversion system
US18/432,889 US20240179427A1 (en) 2021-02-04 2024-02-05 Photoelectric conversion device and photoelectric conversion system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021016452A JP2022119380A (ja) 2021-02-04 2021-02-04 光電変換装置、光電変換システム

Publications (2)

Publication Number Publication Date
JP2022119380A true JP2022119380A (ja) 2022-08-17
JP2022119380A5 JP2022119380A5 (ja) 2024-02-01

Family

ID=82611933

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021016452A Pending JP2022119380A (ja) 2021-02-04 2021-02-04 光電変換装置、光電変換システム

Country Status (2)

Country Link
US (3) US11678080B2 (ja)
JP (1) JP2022119380A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022119375A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016171455A (ja) 2015-03-12 2016-09-23 株式会社東芝 固体撮像装置
JP2018011162A (ja) 2016-07-13 2018-01-18 ソニー株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US11252367B2 (en) * 2017-08-01 2022-02-15 Sony Semiconductor Solutions Corporation Solid-stage image sensor, imaging device, and method of controlling solid-state image sensor
KR102453118B1 (ko) 2017-10-30 2022-10-07 소니 세미컨덕터 솔루션즈 가부시키가이샤 고체 촬상 소자
KR102181951B1 (ko) 2017-10-30 2020-11-23 소니 세미컨덕터 솔루션즈 가부시키가이샤 고체 촬상 소자
US11558565B2 (en) 2019-01-31 2023-01-17 Sony Semiconductor Solutions Corporation Solid-state imaging apparatus and imaging apparatus
JP2020158583A (ja) 2019-03-25 2020-10-01 凸版印刷株式会社 樹脂成形体及び樹脂成形体形成用組成物
KR20230026999A (ko) 2020-06-19 2023-02-27 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치

Also Published As

Publication number Publication date
US20230262353A1 (en) 2023-08-17
US20220247944A1 (en) 2022-08-04
US11678080B2 (en) 2023-06-13
US20240179427A1 (en) 2024-05-30
US11930284B2 (en) 2024-03-12

Similar Documents

Publication Publication Date Title
CN112470462B (zh) 层叠式光接收传感器和电子装置
KR20210081342A (ko) 적층형 수광 센서 및 전자 기기
US20240179427A1 (en) Photoelectric conversion device and photoelectric conversion system
US20220246661A1 (en) Photoelectric conversion apparatus, photoelectric conversion system, and mobile body
US11849238B2 (en) Photoelectric conversion apparatus, photoelectric conversion system, moving body
JPWO2017212909A1 (ja) 撮像素子、撮像装置、電子機器
US20240021646A1 (en) Stacked light-receiving sensor and in-vehicle imaging device
US11770630B2 (en) Photoelectric conversion apparatus, photoelectric conversion system, and mobile body
WO2023132002A1 (ja) 光電変換装置、光電変換システム、移動体
US12028623B2 (en) Photoelectric conversion apparatus, photoelectric conversion system, and semiconductor substrate
US20220246651A1 (en) Photoelectric conversion apparatus
US20220246664A1 (en) Photoelectric conversion apparatus, photoelectric conversion system, mobile body, and semiconductor substrate
US20220247921A1 (en) Photoelectric conversion apparatus, photoelectric conversion system, and semiconductor substrate
US20220246663A1 (en) Photoelectric conversion apparatus, photoelectric conversion system, mobile body, and semiconductor substrate
JP2022119379A (ja) 光電変換装置
JP2022119381A (ja) 光電変換装置、光電変換システム
JP7377334B2 (ja) 光電変換装置及び光電変換システム
JP2023174229A (ja) 光電変換装置
WO2023153218A1 (ja) 光電変換装置
JP2023061644A (ja) 光電変換装置
JP2023178686A (ja) 光電変換装置、光電変換システム
JP2023099399A (ja) 光電変換装置及び光検出システム
JP2023118661A (ja) 処理装置、光電変換システム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240124

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240124