JP2022067801A - 光電変換装置、光電変換システム - Google Patents

光電変換装置、光電変換システム Download PDF

Info

Publication number
JP2022067801A
JP2022067801A JP2020176599A JP2020176599A JP2022067801A JP 2022067801 A JP2022067801 A JP 2022067801A JP 2020176599 A JP2020176599 A JP 2020176599A JP 2020176599 A JP2020176599 A JP 2020176599A JP 2022067801 A JP2022067801 A JP 2022067801A
Authority
JP
Japan
Prior art keywords
exposure period
photoelectric conversion
period
conversion device
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020176599A
Other languages
English (en)
Other versions
JP2022067801A5 (ja
Inventor
和浩 森本
Kazuhiro Morimoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020176599A priority Critical patent/JP2022067801A/ja
Priority to KR1020237016128A priority patent/KR20230088423A/ko
Priority to CN202180072028.4A priority patent/CN116349238A/zh
Priority to EP21882696.4A priority patent/EP4236298A1/en
Priority to PCT/JP2021/038032 priority patent/WO2022085555A1/ja
Publication of JP2022067801A publication Critical patent/JP2022067801A/ja
Priority to US18/303,480 priority patent/US20230258776A1/en
Publication of JP2022067801A5 publication Critical patent/JP2022067801A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H04N25/773Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/02Details
    • H01L31/02016Circuit arrangements of general character for the devices
    • H01L31/02019Circuit arrangements of general character for the devices for devices characterised by at least one potential jump barrier or surface barrier
    • H01L31/02027Circuit arrangements of general character for the devices for devices characterised by at least one potential jump barrier or surface barrier for devices working in avalanche mode
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/08Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors
    • H01L31/10Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors characterised by potential barriers, e.g. phototransistors
    • H01L31/101Devices sensitive to infrared, visible or ultraviolet radiation
    • H01L31/102Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier
    • H01L31/107Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier the potential barrier working in avalanche mode, e.g. avalanche photodiodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/79Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】光電変換装置から測定対象物までの距離の測定を高速化できる。【解決手段】光電変換部と、第1の露光期間および前記第1の露光期間とは開始タイミングおよび終了タイミングの少なくとも一方が異なる第2の露光期間に発生した信号電荷に基づく光量値を保持する光量値保持部と、前記第1の露光期間に発生した信号電荷に基づく光量値と、前記第2の露光期間に発生した信号電荷に基づく光量値を比較する比較部と、前記比較部の比較結果に基づき、第3の露光期間と前記第3の露光期間とは開始タイミング及び終了タイミングの少なくとも一方が異なる第4の露光期間とを設定するように制御する制御部と、を有し、前記第3の露光期間および前記第4の露光期間は、前記第1の露光期間および前記第2の露光期間の少なくとも一方よりも短い。【選択図】図4

Description

本発明は、光電変換装置、および光電変換システムに関する。
測定対象物までの距離を測定する際、しばしば、TOF(Time Of Flight)法が用いられる。このTOF法では、光源から光が射出され、測定対象物で反射された反射光を検出する。そして、TOF法では、光を射出したタイミング及び反射光を検出したタイミングの間の時間差を計測することにより、測定対象物までの距離を計測する。特許文献1では、光電変換部を構成する半導体領域のPN接合領域において、単一光子に起因する光電荷がアバランシェ増倍を起こすSPAD(Single Photon Avalanche Diode)を用いたTOF測距装置が開示されている。また、特許文献1には、SPADに入射した光子信号を検出する状態(露光状態)と検出しない状態(非露光状態)とを、ピコ秒~マイクロ秒オーダーの幅を持つパルス信号によって高速で切り替える時間ゲート方式による測距測定が記載されている。
米国特許出願公開第2017/0052065号明細書
しかしながら、特許文献1においては、検出光の時間分布を精度よく測定するために、所定の距離測定範囲に対応する時間範囲内で、発光タイミングに対する時間ゲートタイミングの相対差を細かい間隔で走査する必要がある。このため、1回の距離測定あたりにかかる時間が増加し、光電変換装置から測定対象物までの距離測定の高速化が困難である。
一形態に係る光電変換装置は、光電変換部と、第1の露光期間および前記第1の露光期間とは開始タイミングおよび終了タイミングの少なくとも一方が異なる第2の露光期間に発生した信号電荷に基づく光量値を保持する光量値保持部と、前記第1の露光期間に発生した信号電荷に基づく光量値と、前記第2の露光期間に発生した信号電荷に基づく光量値を比較する比較部と、前記比較部の比較結果に基づき、第3の露光期間と前記第3の露光期間とは開始タイミング及び終了タイミングの少なくとも一方が異なる第4の露光期間とを設定するように制御する制御部と、を有し、前記第3の露光期間および前記第4の露光期間は、前記第1の露光期間および前記第2の露光期間の少なくとも一方よりも短い。
一形態に係る光電変換装置は、光電変換部と、第1の露光期間および前記第1の露光期間とは開始タイミングおよび終了タイミングの少なくとも一方が異なる第2の露光期間に入射して得られた信号電荷に基づく光量値を保持する光量値保持部と、前記第1の露光期間に得られた光量値と前記第2の露光期間に得られた光量値を比較する比較部と、を有し、前記比較部の比較結果に応じて、第3の露光期間および第4の露光期間を制御する制御部と、を有する。
本発明によれば、特許文献1に比較して、光電変換装置から測定対象物までの距離の測定を高速化できる。
実施形態1に関わる光電変換装置の一例の模式図 比較形態及び実施形態1に関わる露光パターンを示すタイミング図 実施形態1に関わる単位画素あたりのブロック図 実施形態1に関わる画素駆動のタイミング図 実施形態2に関わる単位画素あたりのブロック図 実施形態2に関わる画素駆動のタイミング図 実施形態2の変形に関わる単位画素あたりのブロック図 実施形態3に関わる単位画素あたりのブロック図 実施形態4に関わる単位画素あたりのブロック図 実施形態4に関わる画素駆動のタイミング図 実施形態5に関わる露光パターンを示すタイミング図 実施形態6に関わる露光パターンを示すタイミング図 実施形態7に関わる光電変換システムのブロック図 実施形態8に関わる光電変換システムのブロック図 実施形態9に関わる光電変換システムのブロック図
以下に示す形態は、本発明の技術思想を具体化するためのものであって、本発明を限定するものではない。各図面が示す部材の大きさや位置関係は、説明を明確にするために誇張していることがある。以下の説明において、同一の構成については同一の番号を付して説明を省略することがある。
(実施形態1)
実施形態1について、図1から図4を用いて説明する。図1は、本実施形態の光電変換装置100のブロック図である。光電変換装置100は、画素部101、制御パルス生成部115、水平走査回路部111、読み出し回路112、信号線113、垂直走査回路部110を有する。画素部101には、画素104が2次元アレイ状(行列状)に複数配されている。一つの画素104は、アバランシェフォトダイオード(以下、APD)を含む光電変換部102及び画素回路103から構成される。なお、画素部101において、少なくともAPDが2次元アレイ状に配されていればよい。光電変換部102は光を電気信号へ変換する。画素回路103は、光電変換部102で変換された電気信号を信号線113に出力する。
垂直走査回路部110は、制御パルス生成部115から供給された制御パルスを受け、各画素に制御パルスを供給する。垂直走査回路部110にはシフトレジスタやアドレスデコーダといった論理回路が用いられる。
各画素の光電変換部102から出力された信号は、画素回路103で処理される。画素回路103は、カウンタ回路及び/又はメモリが設けられている。以下では、画素回路103がメモリを有する場合について説明する。メモリにはデジタル値が保持される。
水平走査回路部111は、デジタル信号が保持された各画素のメモリから信号を読み出すために、各列を順次選択する制御パルスを画素回路103に入力する。
信号線113には、選択されている行について、垂直走査回路部110により選択された画素104の画素回路103からの信号が出力される。
信号線113に出力された信号は、出力回路114を介して、光電変換装置100の外部の記録部または信号処理部に出力する。
図1において、画素部101には、2次元アレイ状に画素104が配されている。画素部101には、複数の画素104が1次元状に配されていてもよい。また、画素部101には、配列ではなく単一の画素のみが配されていてもよい。
画素回路103の機能は、必ずしも全ての画素104に1つずつ設けられる必要はない。例えば、複数の画素104によって1つの画素回路103を共有し、順次信号処理が行われてもよい。光電変換装置は、高感度化、高機能化のために、光電変換部を有する第一の基板と、画素回路を有する第二の基板を積層して接合した積層型センサを用いてもよい。この場合、光電変換部と画素回路とは、画素毎に設けられた接続配線を介して電気的に接続される。
図2を用いて、本発明の効果である、距離測定の高速化の原理について説明する。
図2(i)は、比較形態を示す図であり、時間ゲート型TOF方式のうち、反射光のタイミングを線形探索する方式の説明図である。図2(ii)は、本実施形態の反射光のタイミングをバイナリ探索する方式の説明図である。図2(i)において、各サブフレームに白色で示す範囲が画素104の露光期間であり、黒色で示す範囲が非露光期間である。本実施形態において、露光期間とは、例えば、光電変換部102がアクティブであり、且つ、光電変換部102からの信号がカウンタ回路及び/又はレジスタ回路に読み出される状態にある期間を指す。また、非露光期間とは、カウンタ回路及び/又はレジスタ回路において光電変換部102からの信号が読み出されない期間を指す。以降の説明では、APDにアバランシェ増倍可能な逆バイアスの電位が印加されており、且つ、ゲート素子をオンし、APDからの信号をカウンタ回路及び/レジスタ回路が読み出し可能な状態の期間を露光期間とする。そして、ゲート素子をオフし、ゲート素子を介してAPDからの信号が読み出されない状態の期間を非露光期間とする。非露光期間は、これに限定されない。例えば、APDにおいてアバランシェ増倍が生じないように、APDへ印加する電位差を小さくする期間を非露光期間とし、APDがアバランシェ増倍するような電位差を印加する期間を露光期間としてもよい。また、カウンタ回路及び/又はレジスタ回路が駆動しないように制御する期間を非露光期間とし、カウンタ回路及び/又はレジスタ回路が駆動するように制御する期間を露光期間としてもよい。
なお、図2(i)及び図2(ii)では、説明をわかりやすくするために、発光光からサブフレームを並べているが、実際の駆動では、第1回目の発光光で第1サブフレームの光量計測がなされる。その後、第1回目の発光光と同じタイミングで第2回目の発光光が射出され、第2回目の発光光で第2サブフレームの光量計測がなされる。そして、N回目の発光光で第Nサブフレームの光量計測がなされる。
比較形態では、光源の発光タイミングに対して、露光期間の開始タイミングと終了タイミングとの相対的なタイミングをずらしながらN回の光量測定を行う。つまり、露光期間の開始タイミングを少しずつずらしながら、反射光を測定する。このように、所定の測距範囲に対して、露光期間のタイミングをステップで線形に走査する場合は、反射光検出の時間分解能ないし測距精度は、線形走査のステップ数Nに比例して高くなる。しかしながら、ステップ数が増加しサブフレーム数を増やすと、距離測定に時間がかかる。
一方、本実施形態では、第1サブフレームにおいて、発光光の周期に対応する期間を2以上の露光期間に時分割する。例えば、露光期間A、Bの2つに時分割し、それぞれの露光期間における光強度を独立に測定し、露光期間AとBにおける光強度の大小を比較する。説明図においては、反射光が露光期間Aに包含されるため、露光期間Aの光信号量が露光期間Bの光信号量よりも大きくなる。この比較結果をもとに、反射光が露光期間Aに包含されていると仮定し、第1サブフレームの露光期間Aの長さの範囲内で、露光期間Aをさらに二分する形で、第2サブフレームの露光期間AとBを決定する。このように、各サブフレームでの2以上の露光期間での光量を比較して、次のサブフレームでの露光パターン、特に露光のタイミングと期間を決めることを逐次的に繰り返すことで、反射光のタイミングの推定を高めていく。この結果、線形探索ではN回の光量測定が必要であったのに対し、バイナリ探索では光量測定回数をLog2(N)に抑制できるため、距離測定の高速化が可能となる。
なお、図2(i)では、各サブフレームは1回の光照射及び1回の露光期間しか図示していないが、各サブフレームを複数繰り返して得られた光信号を加算してもよい。これにより、光信号測定の精度を向上させることができる。この場合は、比較形態によると、反射光検出の時間分解能ないし測距精度は、線形走査のステップ数Nに比例して高くなる。したがって、本実施形態を用いることによる距離測定の高速化の効果が顕著となる。
なお、図2(ii)ではバイナリ探索方式として露光期間を2等分する例を示している。以降の図における説明でも2等分を例として説明するが、バイナリ探索方式という用語は、露光期間を2等分にするものに限定されるものではなく、露光期間の等分数を3以上にして探索を行うものも、本明細書ではバイナリ探索方式という。すなわち、バイナリ探索方式は、線形走査方式とは異なる方式の呼称であり、2等分には限定されない。また、一つのサブフレームにおける二つの露光期間A、Bの長さは異なってもよい。さらに、比較する工程においては、露光期間A、Bの信号量そのものではなく、それぞれの信号に所定の演算処理ないし補正処理を加えた信号A’、B’同士を比較してもよい。
図3は、本実施形態における単位画素あたりのブロック図の一例である。上述の通り、画素は、光電変換部と画素回路とを有する。図3において、光電変換部としてAPD301を用いる。また、画素回路は、クエンチ素子302、ゲート素子303(スイッチ)、光量値保持部31、比較回路(比較部)312、レジスタ回路313、パルス生成回路314を有する。光量値保持部31は、カウンタ回路310とレジスタ回路311とを有する。
APD301は、アバランシェ電流を制御するクエンチ素子302に接続される。APD301から出力される光子検出信号は、ゲート素子303に入力されるゲート信号GATEにより時間的に制御される。ゲート素子303の出力は、カウンタ回路310及びレジスタ回路311からなる光量値保持部31に入力される。ゲート素子303を通過した光子信号は、カウンタ回路310によりカウントされ、カウント値はトリガー信号RTRGに応じてレジスタ回路311に書き込まれる。つまり、レジスタ回路311は、記録回路として機能する。比較回路312は、イネーブル信号COENを受けて、カウンタ回路310及びレジスタ回路311の出力値の大小を比較し、この比較結果をレジスタ回路313に記録する。パルス生成回路314は、レジスタ回路313の保持信号とクロック信号CLK及びイネーブル信号PGENを受けて、露光パターンを規定するゲート信号GATEを生成する。リセット信号RES1、RES2、RES3は、それぞれカウンタ回路310、レジスタ回路311及びレジスタ回路313の保持信号を初期化する。
APD301は、光電変換により入射光に応じた電荷対を生成する。APD301のカソードにはアノードに供給される電位VLよりも高い電位VHに基づく電位が供給される。そしてAPD301のアノードとカソードには、APD301に入射したフォトンがアバランシェ増倍されるような逆バイアスがかかるように電位が供給される。このような逆バイアスの電位を供給した状態で光電変換することで、入射光によって生じた電荷がアバランシェ増倍を起こしアバランシェ電流が発生する。
逆バイアスの電位が供給される場合において、アノードおよびカソードの電位差が降伏電圧より大きいときには、APDはガイガーモード動作となる。以下では、ガイガーモード動作を用いて単一光子レベルの微弱信号を高速検出するAPDをSPAD(Single Photon Avalanche Diode)とも呼ぶ。本実施形態では、微弱信号を高速検出するためにSPADを用いることが好ましいが、APDは降伏電圧以下の電圧で増倍させるリニアモード動作であってもよい。
クエンチ素子302は、単一のトランジスタの代わりに複数のトランジスタからなるクエンチ素子や抵抗素子などを用いてもよい。APD301においてアバランシェ増倍により光電流が増倍されると、増倍した電荷によって得られる電流が、APD301とクエンチ素子302との接続ノードに流れる。この電流による電圧降下により、APD301のカソードの電位が下がり、APD301は、電子なだれを形成しなくなる。これにより、APD301のアバランシェ増倍が停止する。その後、電源の電位VHがクエンチ素子302を介してAPD301のカソードに供給されるため、APD301のカソードに供給される電位が電位VHに戻る。つまり、APD301の動作領域は再びガイガーモード動作となる。このように、クエンチ素子302は、アバランシェ増倍による電荷の増倍時に負荷回路(クエンチ素子)として機能し、アバランシェ増倍を抑制する働きを持つ(クエンチ動作)。また、クエンチ素子は、アバランシェ増倍を抑制した後に、APDの動作領域を再びガイガーモードにする働きを持つ(リチャージ動作)。
ゲート素子303としては、単一のトランジスタの代わりに複数のトランジスタを用いたスイッチ回路や論理回路を用いることができる。図3において、ゲート素子303のオン/オフを制御することにより画素の露光期間を調整している。露光期間とは、APD301で光子検知を可能な状態であり、且つ、APD301の電位が光量値保持部31に入力される期間を指す。また、画素の非露光期間とは、APD301の電位が光量値保持部31に入力されない期間を指す。具体的には、ゲート素子303がオンの状態の期間が露光期間となり、ゲート素子303がオフの状態が非露光期間となる。図3では、ゲート素子303がPMOSトランジスタにより構成されている。したがって、ゲートに入力される信号が第1のレベル(ハイレベル)から第2のレベル(ローレベル)へと遷移するとゲート素子303はオンとなり、第2のレベルから第1のレベルに遷移するとオフとなる。なお、ゲート素子303がNMOSトランジスタの場合は、逆になる。つまり、ゲートに入力される信号が第2のレベルから第1のレベルに遷移するとゲート素子303がオンとなり、第1のレベルから第2のレベルに遷移するとゲート素子303がオフとなる。ゲート素子がオン状態であるとは、APD301と光量値保持部31が導通している状態を指し、ゲート素子がオフ状態であるとは、APD301と光量値保持部31が非導通の状態を指す。なお、ゲート素子303として、APD301とカウンタ回路310の間に特定の素子を設けず、カウンタの動作の有効・無効状態を時間的に切り替える動作で代用してもよい。この場合において、カウンタの動作が有効な状態が露光期間となり、カウンタの動作が無効な状態が非露光期間となる。
カウンタ回路310は、デジタルカウンタとアナログカウンタのいずれを用いてもよい。カウンタ回路310は、レジスタ回路311と比較回路312とにカウンタからの出力信号が入力されるように接続されている。レジスタ回路311は、カウンタ回路310から出力された信号を保持することができる。レジスタ回路311はその出力が比較回路312に入力されるように接続されている。
光量値保持部31、比較回路312、レジスタ回路313、パルス生成回路314の一部を複数の画素で共有してもよい。
比較回路312は、カウンタ回路310から出力される信号値とレジスタ回路311から出力される信号値とを比較して、比較結果をレジスタ回路313に入力するように接続されている。また、レジスタ回路313は、パルス生成回路314に接続されている。パルス生成回路314は、ゲート素子に接続されており、パルス生成回路314からの出力信号に基づき、ゲート素子のオンオフが制御される。本実施形態では、ゲート素子のオンオフを制御することにより、露光期間を設定している。つまり、パルス生成回路314が露光期間を制御する制御部として機能する。
レジスタ回路313は、信号線113に信号が出力されるように接続されている。レジスタ回路313から出力される信号値に基づき、測距を行うことが可能となる。したがって、信号線113は、少なくともレジスタ回路313からの出力ビット数の信号を出力できるような本数で構成されている。
なお、図3では、レジスタ回路313に加えて、カウンタ回路310及びレジスタ回路311が信号線113に接続されている。このように、カウンタ回路310、レジスタ回路311からの出力を、信号線113を介して画素外に出力することにより、測距結果の信頼性を向上できる。例えば、レジスタ回路311から出力される信号値とカウンタ回路310から出力される信号値とをフレーム毎に出力する。そして、出力された各信号値を比較する。反射光が入射する画素においては、レジスタ回路311から出力される信号値とカウンタ回路310から出力される信号値とに大きな差がある。一方で、反射光が入射しない画素においては、ノイズや外光に基づく信号のみが検知されるため、レジスタ回路311から出力される信号値とカウンタ回路310から出力される信号値との差があまりない。このような信号値の絶対値および差を利用することで、反射光が入射する画素か否かの情報や、検出されたノイズや外光のデータを得ることができる。これらの情報は測距精度の正確性を確認するための判断材料とすることできるため、測距結果の信頼性を高めることが可能となる。
レジスタ回路313、カウンタ回路310、及びレジスタ回路311の各出力値が信号線113に出力される場合は、各回路からの信号をそれぞれ出力できるような本数としてもよいし、信号線113を各回路で共有してもよい。信号線113を共有する場合は、各回路からの信号の出力タイミングをずらすことにより、各回路から出力される信号を画素外で検知することが可能となる。
図4は、本実施形態による光電変換装置の画素の動作を示すタイミング図である。時刻t1からt2までの期間において、RES1、RES2、RES3をハイレベルとして、カウンタ回路310、レジスタ回路311及びレジスタ回路313の保持信号(Count、Reg1、Reg2)を初期化する。
まず、時刻t2からt7までの期間に相当する第kフレームの第1サブフレームにおける第1期間の駆動を説明する。時刻t3に光源から測定対象物に向けてパルス光を照射する。このパルス光が測定対象物に反射され、時刻t4に光電変換装置の受光面に到達する。時刻t3からt5までの期間にゲート素子に入力するゲート信号GATEをローレベルとすることにより、第一の露光期間AにおいてAPD301が受ける光量の測定を行う。つまり、光源の発光タイミングと同じタイミングでゲート信号GATEをローレベルとすることで第一の露光期間Aを開始する。本実施形態ではゲート素子をPMOSトランジスタにより構成されているため、ゲート素子は、ローレベルのときにONとなり、ハイレベルのときにOFFとなる。一方、時刻t5からt6までの期間はゲート素子に入力するゲート信号GATEをハイレベルとし、光信号を測定しない非露光状態とする。つまり、第一の露光期間Aは、光源からの発光タイミングから第1の遅延時間を経て露光を開始する期間である。所定の期間を経過した後にゲート信号GATEをハイレベルとすることで第一の露光期間Aを終了する。露光期間Aに内包されるt4において、反射光のパルスが検出されるため、カウンタ回路310のカウント値Countが増加する。第1サブフレームの第1期間内に、時刻t2からt6までの駆動を複数回繰り返すことで、露光期間Aの光信号を積算する。
次に、時刻t7からt12までの期間に、カウンタ回路310が保持する信号をレジスタ回路311に記録する駆動を説明する。時刻t7からt12までの期間は、パルス生成回路314のイネーブル信号PGENをローレベルとし、APD301からの光検出信号をカウンタ回路310でカウントしないようにする。時刻t7からt12までの期間は、ゲート素子に入力されるゲート信号GATEはハイレベルとなる。時刻t8からt9までの期間にトリガー信号RTRGをハイレベルとし、カウンタ回路310の出力をレジスタ回路311に記録する。これにより、レジスタ回路311の保持信号値Reg1が変更される。時刻t10からt11までの期間でリセット信号RES1をハイレベルとし、カウンタ回路310の保持信号を初期化する。
次に、時刻t12からt16までの期間に相当する第kフレームの第1サブフレームにおける第2期間の駆動を説明する。前述の第1サブフレームの第1期間の駆動と比べ、ゲート信号GATEをハイレベルにするタイミングが異なる。第1サブフレームにおける第2期間では、時刻t14からt15までの期間を露光期間Bとし、時刻t12からt14までの期間を非露光期間とする。つまり、露光期間Bは、光源からの発光タイミングから第2の遅延時間を経て露光を開始する期間である。第2の遅延時間の長さは第1の遅延時間の長さと異なる。露光期間Bを開始してから所定の期間を経過した後にゲート信号GATEをハイレベルとすることで露光期間Bを終了している。前述の第1サブフレームの第1期間の駆動とは異なり、反射光は時刻t13に受光面に到達する。このとき、光電変換装置は非露光期間中であるため、光信号はカウントされない。
次に、時刻t16からt21までの期間に、露光期間A及びBにおける光信号量の大小を比較する駆動を説明する。前記同様、時刻t16からt21までの期間は、パルス生成回路314のイネーブル信号PGENをローレベルとし、APD301からの光検出信号をカウンタ回路310でカウントしないようにする。時刻t17からt18までの期間に、比較回路312のイネーブル信号COENをハイレベルとする。そして、露光期間Aに対応する信号量を保持するレジスタ回路311の出力と露光期間Bに対応する信号量を保持するカウンタ回路310の出力の大小の比較結果を、デジタル信号としてレジスタ回路313に記録する。これにより、レジスタ回路313の保持信号Reg2が変更される。時刻t19からt20までの期間において、RES1、RES2をハイレベルとして、カウンタ回路310及びレジスタ回路311の保持信号を初期化する。
時刻t21からt24までの期間に相当する第kフレームの第2サブフレームにおける第1期間では、前記比較結果に基づき、第1サブフレームにおける露光期間Aの半分の長さを有する。そして、時刻t21からt22までの期間で規定される新たな露光期間Aを設定するように、パルス生成回路314がゲート信号GATEを生成する。ここでは、第1サブフレームにおける信号積算量が大きかった露光期間Aを2等分した2つの露光期間のうち一方を、新たに露光期間Aと設定している。そして、第1サブフレームにおける露光期間Aの残りの露光期間と、第1サブフレームにおける露光期間Bとを非露光期間として設定している。前記同様、記録動作を経て、時刻t25以降に第kフレームの第2サブフレームにおける第2期間の駆動が続く。具体的には、第1サブフレームにおける信号積算量が大きかった露光期間Aを2等分した2つの露光期間のうち、新たに設定した露光期間Aの残りの期間を、新たな露光期間Bとして設定する。
このように、露光動作(A)、記録動作、露光動作(B)、比較動作のシーケンスを所定の回数だけ複数回繰り返し、反射光パルスのタイミングをバイナリ探索することで、測定対象物までの距離測定の精度を高めていく。
なお、本実施形態では、第1サブフレームから第2サブフレームに切り替わる時刻t21において、パルス生成回路314に入力されるクロック信号CLKの周波数が倍増する駆動を示した。これに限らず、周波数を変えずに露光パターンの間隔をサブフレーム毎に切り替えられるようなパルス生成回路314を用いてもよい。また、本実施形態では、光源の動作として、周期的なパルス発光を仮定したが、異なるサブフレーム間で発光光の強度や幅、時間的な発光パターンを切り替えてもよい。
また、上記の説明では、所定の回数だけ動作のシーケンスを繰り返した後にレジスタ回路313から信号値を出力しているがこれに限定されない。例えば、1サブフレーム毎や、数サブフレーム毎にレジスタ回路313から信号値を、信号線113に出力してもよい。これにより、1フレーム期間が終了する前に大まかな測距結果を得ることが可能となる。
本実施形態によれば比較形態に比べて高速に距離測定を行うことが可能となる。
(実施形態2)
実施形態2について、図5及び図6を用いて説明する。図5は、本実施形態における単位画素あたりのブロック図の一例である。本実施形態は、次に説明する事項が実施形態1とは異なる。本実施形態では、光量値保持部31が2つのカウンタ回路310a、310bにより構成されている。そして、APD301の出力端子が二つの並列なゲート素子303a、303bに接続され、この二つのゲート素子の出力がそれぞれ、カウンタ回路310a、310bに並列で入力される。比較回路312は、カウンタ回路310a及び310bの出力を比較する。パルス生成回路314は、ゲート素子303a及び303bに対し、独立なゲート信号GATE1とGATE2を生成する。以下では、実施形態1と異なる点について説明し、実施形態1と実質的に同じである点の説明は省略する。
ゲート素子303aからの出力は、カウンタ回路310aに入力される。そして、ゲート素子303bからの出力は、カウンタ回路310bに入力される。カウンタ回路310a、310bは、それらの出力が比較回路312に入力されるように接続される。なお、本明細書において、構成が同様であるものについては、符号の末尾にa、b、c等のローマ字を付して説明を省略することがある。
図6は、本実施形態による光電変換装置の画素の駆動動作を示すタイミング図である。リセット信号RES1、RES2、RES3は、それぞれカウンタ回路310a、カウンタ回路310b及びレジスタ回路313の保持信号を初期化する。露光動作(A)、記録動作、露光動作(B)、比較動作のシーケンスを繰り返す実施形態1と比べて、本実施形態では、露光動作(A、B)、比較動作のシーケンスを繰り返して行うことができる点が異なる。時刻t3からt6までの期間に相当する第kフレームの第1サブフレーム内で、ゲート信号GATE1をハイレベルにすることで規定される露光期間Aと、ゲート信号GATE2をハイレベルにすることで規定される露光期間Bとを相補的に設定している。本実施形態では、ゲート素子303a、303bは、インバータ回路および論理回路により構成されている。APD301a、301bでアバランシェ増倍が生じるとカソードの電位が下がる。そして、ゲート素子303aに含まれるインバータ回路において閾値を超えると電位が反転する。そして論理回路であるAND回路に入力されるとゲート素子303a、303bからハイレベルの信号が出力される。例えば、時刻t3からt4までの期間を露光期間Aとして、この期間中の光信号をカウンタ回路310aでカウントし、時刻t4からt5までの期間を露光期間Bとして、この期間中の光信号をカウンタ回路310bでカウントする。
実施形態1と同様に、時刻t6からt7までの期間において、カウンタ回路310a及び310bの出力信号を比較する。この比較結果に基づき、時刻t7からt10までの期間に相当する第kフレームの第2サブフレームにおける露光期間A及びBを新たに設定する。ここでは、第1サブフレームにおける信号積算量が大きかった露光期間Aを2等分した2つの露光期間を、新たに露光期間A及び露光期間Bと設定している。そして、第1サブフレームと同様に、新たに設定された露光期間Aの光量をカウンタ回路310aでカウントし、露光期間Bの光量をカウンタ回路310bでカウントしている。
本実施形態によれば、実施形態1と同様に、比較形態に比べて高速に距離測定を行うことが可能となる。また、単一のサブフレーム内で、露光期間AとBにおける光信号の強度を並列で取得できるため、実施形態1よりも、露光動作から比較動作までの期間を短縮でき、測定対象物までの距離の測定を高速化できる。さらに、測定対象物が動いている場合でも、露光期間A及びBにおける光信号測定の時間のずれを少なくでき、距離測定の精度を向上できる。
(実施形態2の変形例)
実施形態2の変形例について、図7を用いて説明する。図7は、変形例における単位画素あたりのブロック図の一例である。変形例においては、2つの独立したAPD301a、301bからの出力が、2つのゲート素子303a、303bに接続されている点が実施形態2と異なる。その他に以下で説明する事項以外は実施形態2と実質的に同様であるため、説明を省略する。また、本変形例に対応する駆動方式は、実施形態2の駆動方式に準ずる。
図7に示すように、APD301aからの出力がゲート素子303aに入力され、APD301bからの出力がゲート素子303bに入力される。したがって、カウンタ回路310aは、APD301aで検出される光量をカウントし、カウンタ回路310bは、APD301bで検出される光量をカウントする。
本変形例によれば、実施形態2と同様に、比較形態に比べて高速に距離測定を行うことができる。また、空間的に近接する2つのAPDを用いて、単一のサブフレーム内で、露光期間AとBにおける光信号の強度を並列で取得できるため、露光動作から比較動作までの期間を短縮でき、測定対象物までの距離の測定を高速化できる。さらに、測定対象物が動いている場合でも、露光期間A及びBにおける光信号測定の時間のずれをできるだけ小さくすることができ、距離測定の精度を向上できる。
(実施形態3)
実施形態3について、図8を用いて説明する。図8は、本実施形態における単位画素あたりのブロック図の一例である。本実施形態は、2つの独立したAPD301a、301bと、それらに接続された2つの波形整形回路820a、820bからの出力が同時検出回路821に入力され、同時検出回路821の出力が、2つのゲート素子303a、303bに接続される点が異なる。それ以外の事項は、下記で説明する以外は実施形態2の変形例と実質的に同様であるため説明を省略する。
波形整形回路820a、820bは、それぞれのAPDからの出力の波形を整形する機能を持ち、例えばインバータ回路、バッファ回路、ないしパルス波形の幅を短化するモノステーブル回路等が用いられる。同時検出回路821は、複数の波形整形回路からの信号のうち、所定の数以上の信号が同時ないし近接したタイミングでハイレベルとなった場合にパルス信号を出力する。なお、1つの同時検出回路821に接続されるAPD及び波形整形回路は、3つ以上でもよい。本実施形態においては、実施形態2と同様の駆動方式を用いる。
本実施形態によれば、実施形態1と同様に、比較形態に比べて高速に距離測定を行うことが可能となる。また、反射光に起因する時間的・空間的に近接した光子のみを選択的に検出し、ランダムに検出される外光成分や暗時出力をフィルタリングすることができる。したがって、ToF方式の距離測定精度に対する外光や暗時出力の影響を低減できる。
(実施形態4)
実施形態4について、図9及び図10を用いて説明する。図9は、本実施形態における単位画素あたりのブロック図の一例である。本実施形態は、APD301の代わりに電荷蓄積型のフォトダイオード901を用いており、比較回路312にはアナログ信号が入力される点が実施形態1とは異なる。その他に、以下で説明する事項以外は実質的に実施形態1と同様であるため説明を省略する。
フォトダイオード901で蓄積された光電荷は、オーバーフロードレイン回路902に制御信号OFDが入力されたタイミングで排出されるか、光量保持部91に入力される。光量保持部91は、転送ゲート903a及び903bと、保持部910a及び910b、及び転送ゲート905a、905bからなる。フォトダイオード901で光電変換された光電荷は、ゲート信号GATE1またはGATE2を受け、転送ゲート903aまたは903bを介して保持部910aまたは910bに転送される。前記保持部に保持された信号は、転送ゲート905a及び905bがゲート信号TX1及びTX2を受けたタイミングで、2つのフローティングディフュージョン(FD)領域FD1及びFD2に転送される。前記二つのFD領域の電位VFD1、VFD2は、リセット回路907a及び907bがリセット信号RES1及びRES2を受けたタイミングで、それぞれ初期化される。比較回路312は、イネーブル信号COENを受けて、電位VFD1及びVFD2の大小を比較し、この比較結果をレジスタ回路313に記録する。パルス生成回路314は、レジスタ回路313の保持信号とクロック信号CLK及びイネーブル信号PGENを受けて、露光パターンを規定するゲート信号GATE1とGATE2、及び制御信号OFDを生成する。リセット信号RES3は、レジスタ回路313の保持信号を初期化する。
図10は、本実施形態による光電変換装置の画素の動作を示すタイミング図である。時刻t1からt2までの期間において、RES1、RES2、RES3をハイレベルとして、二つのFD領域の電位VFD1及びVFD2と、レジスタ回路313の保持信号を初期化する。時刻t2からt3までの期間において、制御信号OFDをハイレベルとして、フォトダイオード901に蓄積した電荷をリセットする。
まず、時刻t3からt8までの期間に相当する第kフレームの第1サブフレームにおける駆動を説明する。時刻t3に光源から測定対象物に向けてパルス光を照射する。このパルス光が測定対象物に反射され、時刻t4に受光面に到達する。時刻t4からt5までの期間にゲート信号GATE1をハイレベルとすることにより、時刻t3からt5に対応する第一の露光期間Aにおいてフォトダイオード901が受ける光電荷の転送を行う。さらに、時刻t6からt7までの期間にゲート信号GATE2をハイレベルとすることにより、時刻t5からt7に対応する第二の露光期間Bにおいてフォトダイオード901が受ける光電荷の転送を行う。この時、前記露光期間Aに内包されるt4において、反射光のパルスが検出されるため、保持部910aの電圧値VM1が変化する。前記第1サブフレームの期間内に、時刻t3からt7までの駆動を複数回繰り返すことで、露光期間A及びBの光信号を積算する。
次に、時刻t8からt16までの期間に、保持部910a、910bの保持信号を比較する駆動を説明する。時刻t8からt16までの期間は、パルス生成回路314のイネーブル信号PGENをローレベルとし、フォトダイオード901からの光検出信号を保持部910a及び910bに転送しないようにする。時刻t9からt10までの期間でRES1、RES2をハイレベルとし、FD電位VFD1及びVFD2をリセットする。時刻t10からt11までの期間で転送信号TX1及びTX2をハイレベルとし、保持部910a及び910bに保持された信号電荷をそれぞれFD1及びFD2に転送する。時刻t12からt13までの期間に、比較回路312のイネーブル信号COENをハイレベルとする。そして、露光期間Aの積算信号量に対応するVFD1及び露光期間Bの積算信号量に対応するVFD2の大小の比較結果を、デジタル信号としてレジスタ回路313に記録する。時刻t14からt15までの期間に、RES1、RES2をハイレベルとし、FD電位VFD1及びVFD2を再度リセットする。時刻t15からt16までの期間において、制御信号OFDをハイレベルとして、フォトダイオード901に蓄積した電荷をリセットする。
時刻t16からt20までの期間に相当する第kフレームの第2サブフレームでは、前記比較結果に基づき、新たな露光期間A、新たな露光期間B、非露光期間を設定し、パルス生成回路314がゲート信号GATE1、GATE2及び制御信号OFDを生成する。新たな露光期間Aは、第1サブフレームにおける露光期間Aの半分の長さを有し、時刻t16からt17までの期間で規定される。新たな露光期間Bは、時刻t17からt18までの期間で規定される。そして、非露光期間は、及び時刻t18からt19までの期間で規定される。ここでは、第1サブフレームにおける信号積算量が大きかった露光期間Aを2等分した2つの露光期間を、新たに露光期間A及びBと設定している。前記同様、時刻t20からt21までの比較動作を経て、時刻t21以降に第kフレームの第3サブフレームの駆動が続く。
このように、露光動作(A、B)、比較動作のシーケンスを複数回繰り返し、反射光パルスのタイミングをバイナリ探索することで、測定対象物までの距離測定の精度を高めていく。
なお、本実施形態では、光信号の保持手段として、光電荷信号を保持する容量を用いた「電荷保持方式」の例として説明したが、トランジスタ・アンプ等を介して電荷情報を電圧情報に変換し、この電圧信号を保持する「電圧保持方式」を用いてもよい。
本実施形態によれば、実施形態1と同様に、比較形態に比べて高速に距離測定を行うことが可能となる。また、APDの代わりに電荷蓄積型のフォトダイオードを用いることで、動作電圧が低減できる。また、カウンタ回路やレジスタ回路の代わりに電荷ないし電圧を保持する容量素子を用いることで、画素の微細化が実現できる。
(実施形態5)
本実施形態について、図11を用いて説明する。図11は、本実施形態における露光パターンの選択手順の一例の説明図である。図11(i)では、反射光が発光周期に対応する期間の前半に光電変換装置に到達する場合を示し、図11(ii)では、反射光が発光周期に対応する期間の後半にセンサに到達する場合を示している。
本実施形態は実施形態1と比べ、第1サブフレームの露光期間A及びBが、発光周期に対応する期間を網羅していない点が異なる。図11(i)の第1サブフレームにおいて、露光期間A及びBの光信号量を比較する。この時、前記二つの露光期間の信号がいずれも一定の閾値に達していない場合は、信号比較時に「露光期間AにもBにも信号が含まれていない」と判定する。そして、第2サブフレームにおける露光期間A及びBは、第1サブフレームの露光期間A及びBと重複せず、また第1サブフレームの露光期間A及びBと同じ長さになるように設定する。第2サブフレームにおいては、反射光のタイミングが露光期間Bに包含されており、前記閾値を上回る信号量が得られる。したがって、信号比較時に「露光期間Bに信号が含まれている」と判定し、第2サブフレームの露光期間Bをさらに二分する形で、第3サブフレームの露光期間AとBを決定する。
一方、図11(ii)では、反射光のタイミングが第1サブフレームの露光期間Aに包含されているため、信号比較時に「露光期間Aに信号が含まれている」と判定する。そして、第1サブフレームの露光期間Aをさらに二分する形で、第2サブフレームの露光期間AとBを決定する。
本実施形態のバイナリ探索方式を用いれば、あらかじめ推定される反射光のタイミングの周辺の期間を優先的に探索することで、距離測定を高速化できる。
(実施形態6)
本実施形態について、図12を用いて説明する。図12は、本実施形態におけるバイナリ探索を用いた距離測定の一例の説明図である。図12(i)においては、実施形態1と比べ、発光光のパルス幅が最終サブフレームである第4サブフレームの露光期間A及びBと同程度に設定されている点が異なる。
図12(ii)は、図12(i)の時刻t1からt2までの期間の周辺の反射光及び第4サブフレームの露光パターンを拡大した図である。反射光が露光パターンAの開始時刻t1に対し、Δtだけ遅れたタイミングで到達する場合を考える。反射光の大部分は露光期間Aに包含されるため、信号量を比較すると、露光期間Aの方が露光期間Bよりも大きくなる。この時、反射光のパルス幅と露光期間A及びBの幅が同等とすると、信号量A及びBの内分比を用いて、Δtは下記式で計算できる
Δt=T/2×B/(A+B)・・・式1
なお、上記の式1では、外光や暗時出力の影響が無視できると仮定したが、外光や暗時出力を別途測定し、信号A及びBから減算した上で、上式を用いてΔtを求めてもよい。
本実施形態によれば、最終サブフレームの露光期間の長さよりも細かい時間分解能を実現できるため、距離測定の精度を向上できる。
(実施形態7)
図13は、本実施形態に係る光電変換システム1200の構成を示すブロック図である。本実施形態の光電変換システム1200は、光電変換装置1204を含む。ここで、光電変換装置1204は、上述の実施形態で述べた光電変換装置のいずれかを適用することができる。光電変換システム1200は例えば、撮像システムとして用いることができる。撮像システムの具体例としては、デジタルスチルカメラ、デジタルカムコーダー、監視カメラ等が挙げられる。図13では、光電変換システム1200としてデジタルスチルカメラの例を示している。
図13に示す光電変換システム1200は、光電変換装置1204、被写体の光学像を光電変換装置1204に結像させるレンズ1202、レンズ1202を通過する光量を可変にするための絞り1203、レンズ1202の保護のためのバリア1201を有する。レンズ1202および絞り1203は、光電変換装置1204に光を集光する光学系である。
光電変換システム1200は、光電変換装置1204から出力される出力信号の処理を行う信号処理部1205を有する。信号処理部1205は、必要に応じて入力信号に対して各種の補正、圧縮を行って出力する信号処理の動作を行う。光電変換システム1200は、更に、画像データを一時的に記憶するためのバッファメモリ部1206、外部コンピュータ等と通信するための外部インターフェース部(外部I/F部)1209を有する。更に光電変換システム1200は、撮像データの記録または読み出しを行うための半導体メモリ等の記録媒体1211、記録媒体1211に記録または読み出しを行うための記録媒体制御インターフェース部(記録媒体制御I/F部)1210を有する。記録媒体1211は、光電変換システム1200に内蔵されていてもよく、着脱可能であってもよい。また、記録媒体制御I/F部1210から記録媒体1211との通信や外部I/F部1209からの通信は無線によってなされてもよい。
更に光電変換システム1200は、各種演算を行うとともにデジタルスチルカメラ全体を制御する全体制御・演算部1208、光電変換装置1204と信号処理部1205に各種タイミング信号を出力するタイミング発生部1207を有する。ここで、タイミング信号などは外部から入力されてもよく、光電変換システム1200は、少なくとも光電変換装置1204と、光電変換装置1204から出力された出力信号を処理する信号処理部1205とを有すればよい。第4の実施形態にて説明したようにタイミング発生部1207は光電変換装置に搭載されていてもよい。全体制御・演算部1208およびタイミング発生部1207は、光電変換装置1204の制御機能の一部または全部を実施するように構成してもよい。
光電変換装置1204は、画像用信号を信号処理部1205に出力する。信号処理部1205は、光電変換装置1204から出力される画像用信号に対して所定の信号処理を実施し、画像データを出力する。また、信号処理部1205は、画像用信号を用いて、画像を生成する。また、信号処理部1205は、光電変換装置1204から出力される信号に対して測距演算を行ってもよい。なお、信号処理部1205やタイミング発生部1207は、光電変換装置に搭載されていてもよい。つまり、信号処理部1205やタイミング発生部1207は、画素が配された基板に設けられていてもよいし、別の基板に設けられている構成であってもよい。上述した各実施形態の光電変換装置を用いて撮像システムを構成することにより、より良質の画像が取得可能な撮像システムを実現することができる。
(実施形態8)
図14は、前述の実施形態に記載の光電変換装置を利用した電子機器である距離画像センサ(ToFシステム)の構成例を示すブロック図である。
図14に示すように、距離画像センサ401は、光学系402、光電変換装置403、画像処理回路404、モニタ405、およびメモリ406を備えて構成される。そして、距離画像センサ401は、光源装置411から被写体に向かって投光され、被写体の表面で反射された光(変調光やパルス光)を受光することにより、被写体までの距離に応じた距離画像を取得することができる。
光学系402は、1枚または複数枚のレンズを有して構成され、被写体からの像光(入射光)を光電変換装置403に導き、光電変換装置403の受光面(センサ部)に結像させる。
光電変換装置403としては、上述した各実施形態の光電変換装置が適用され、光電変換装置403から出力される受光信号から求められる距離を示す距離信号が画像処理回路404に供給される。
画像処理回路404は、光電変換装置403から供給された距離信号に基づいて距離画像を構築する画像処理を行う。そして、その画像処理により得られた距離画像(画像データ)は、モニタ405に供給されて表示されたり、メモリ406に供給されて記憶(記録)されたりする。
このように構成されている距離画像センサ401では、上述した光電変換装置を適用することで、画素の特性向上に伴って、例えば、より正確な距離画像を取得することができる。
(実施形態9)
本実施形態の光電変換システムおよび移動体について、図15を用いて説明する。図15は、本実施形態による光電変換システムおよび移動体の構成例を示す概略図である。本実施形態では、光電変換システムとして、車載カメラの一例を示す。
図15は、車両システムとこれに搭載される撮像を行う光電変換システムの一例を示したものである。本実施形態では、2つの光電変換装置1302は、車両1300の前方に配される。具体的には、車両1300の進退方位または外形(例えば車幅)に対する中心線を対称軸に見立て、その対称軸に対して2つの光電変換装置1302が線対称に配されると、車両1300と被写対象物との間の距離情報の取得や衝突可能性の判定を行う上で好ましい。また、光電変換装置1302は、運転者が運転席から車両1300の外の状況を視認する際に運転者の視野を妨げない配置が好ましい。なお、車両1300の後方にも光電変換装置1302を配置し、後方の車両が近づいた際に警報を鳴らす構成としてもよい。
このように、光電変換装置は、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。さらに、光電変換システム1301は、自車両等の車両に限らず、例えば、船舶、航空機或いは産業用ロボットなどの移動体(移動装置)に適用することができる。加えて、移動体に限らず、高度道路交通システム(ITS)等、広く物体認識を利用する機器に適用することができる。
本発明の光電変換装置は、更に、距離情報など各種情報を取得可能な構成であってもよい。
(その他の実施形態)
以上、各実施形態について説明したが、本発明はこれらの実施形態に制限されるものではなく、様々な変更および変形が可能である。また、各実施形態は相互に適用可能である。
104 画素部
301 アバランシェフォトダイオード
302 クエンチ回路
303 ゲート素子
31 光量値保持部
312 比較部

Claims (21)

  1. 光電変換部と、
    第1の露光期間および前記第1の露光期間とは開始タイミングおよび終了タイミングの少なくとも一方が異なる第2の露光期間に発生した信号電荷に基づく光量値を保持する光量値保持部と、
    前記第1の露光期間に発生した信号電荷に基づく光量値と、前記第2の露光期間に発生した信号電荷に基づく光量値を比較する比較部と、
    前記比較部の比較結果に基づき、第3の露光期間と前記第3の露光期間とは開始タイミング及び終了タイミングの少なくとも一方が異なる第4の露光期間とを設定するように制御する制御部と、を有し、
    前記第3の露光期間および前記第4の露光期間は、前記第1の露光期間および前記第2の露光期間の少なくとも一方よりも短いことを特徴とする光電変換装置。
  2. 前記光電変換部は、アバランシェフォトダイオードであり、
    前記光量値保持部は、前記光電変換部でアバランシェ増倍された信号をカウントするカウンタ回路を有することを特徴とする請求項1に記載の光電変換装置、
  3. 前記光量値保持部は、前記カウンタ回路のカウント値を保持する記録回路と、を有することを特徴とする請求項2に記載の光電変換装置。
  4. 前記カウンタ回路は第1のカウンタ回路と第2のカウンタ回路とを含み、
    前記第1の露光期間における光量値は、前記第1のカウンタ回路でカウントされ、
    前記第2の露光期間における光量値は、前記第2のカウンタ回路でカウントされることを特徴とする請求項2に記載の光電変換装置。
  5. 前記光電変換部は、第1のアバランシェフォトダイオード、第2のアバランシェフォトダイオードを含み、
    前記カウンタ回路は第1のカウンタ回路と第2のカウンタ回路とを含み、
    前記第1の露光期間において、前記第1のアバランシェフォトダイオードから得られた光量値は前記第1のカウンタ回路でカウントされ、
    前記第2の露光期間において、前記第2のアバランシェフォトダイオードから得られた光量値は前記第2のカウンタ回路でカウントされることを特徴とする請求項2に記載の光電変換装置。
  6. 前記アバランシェフォトダイオードはガイガーモードで動作するSPADであることを特徴とする請求項2乃至5のいずれか1項に記載の光電変換装置。
  7. 前記光電変換部は、電荷蓄積型のフォトダイオードであり、
    前記光電変換部はオーバーフロードレイン回路の一部を構成し、
    前記オーバーフロードレイン回路のオンオフを制御することにより露光期間を制御することを特徴とする請求項1に記載の光電変換装置。
  8. 前記第3の露光期間及び前記第4の露光期間は、前記第1の露光期間及び前記第2の露光期間よりも短いことを特徴とする請求項1乃至7のいずれか1項に記載の光電変換装置。
  9. 前記比較部の比較結果において、前記第1の露光期間における光量値および前記第2の露光期間における光量値が所定の閾値に達していない場合は、前記第1の露光期間および前記第2の露光期間のいずれにも重ならない期間を前記第3の露光期間および前記第4の露光期間として設定することを特徴とする請求項1乃至8のいずれか1項に記載の光電変換装置。
  10. 前記第3の露光期間及び前記第4の露光期間は、前記第1の露光期間及び前記第2の露光期間のうち前記比較部との比較結果で光量の多い期間の長さの範囲内で設定されることを特徴とする請求項1乃至9のいずれか1項に記載の光電変換装置。
  11. 前記第1の露光期間及び前記第2の露光期間は同じ長さであり、
    前記第3の露光期間及び前記第4の露光期間は同じ長さであることを特徴とする請求項1乃至10のいずれか1項に記載の光電変換装置。
  12. 前記光電変換部のノードと前記光量値保持部のノードとの間に前記光電変換部と前記光量値保持部とのノードを接続するか否かを制御するスイッチが配され、
    前記第1の露光期間、前記第2の露光期間、前記第3の露光期間、および前記第4の露光期間は前記スイッチのオンオフを制御することで前記露光期間を設定することを特徴とする請求項1乃至11のいずれか1項に記載の光電変換装置。
  13. 光源の発光タイミングと同じ又は所定の期間が経過するタイミングで前記スイッチの制御信号を第1のレベルから第2のレベルに遷移させることで前記第1の露光期間を開始し、前記第1の露光期間を開始してから所定の期間を経過した後に前記スイッチの制御信号を前記第2のレベルから前記第1のレベルに遷移させることで前記第1の露光期間を終了し、
    前記第1の露光期間が終了してから所定の期間を経過した後に前記スイッチの制御信号を前記第1のレベルから前記第2のレベルに遷移させることで前記第2の露光期間を開始し、前記第2の露光期間を開始してから所定の期間を経過した後に前記スイッチの制御信号を前記第2のレベルから前記第1のレベルに遷移させることで前記第2の露光期間を終了することを特徴とする請求項12に記載の光電変換装置。
  14. 前記スイッチはPMOSトランジスタで構成されることを特徴とする請求項12又は13に記載の光電変換装置。
  15. 前記第1の露光期間を繰り返した後に、前記第2の露光期間を複数回繰り返し、
    前記第1の露光期間に得られた光量値は、前記複数回の前記第1の露光期間で得られた光量値を積算して得られた値であり、
    前記第2の露光期間に得られた光量値は、前記複数回の前記第2の露光期間で得られた光量値を積算して得られた値であることを特徴とする請求項1乃至14のいずれか1項に記載の光電変換装置。
  16. 信号処理部を備え、
    前記第1の露光期間に得られた光量値および前記第2の露光期間に得られた光量値を、前記信号処理部に出力することを特徴とする請求項15に記載の光電変換装置。
  17. 積算する前の前記複数回の前記第1の露光期間のそれぞれの光量値も前記信号処理部に出力し、
    積算する前の前記複数回の前記第2の露光期間のそれぞれの光量値も前記信号処理部に出力することを特徴とする請求項16に記載の光電変換装置。
  18. 前記光電変換部は第1の基板に配され、
    前記比較部は第2の基板に配され、
    前記第1の基板と前記第2の基板とは積層して接合されることを特徴とする請求項1乃至17のいずれか1項に記載の光電変換装置。
  19. 前記光電変換装置は、光源から発光された光が対象物で反射する光を測定する光電変換装置であって、
    前記第1の露光期間は、前記光源からの発光タイミングから第1の遅延時間を経て露光を開始する期間であり、
    前記第2の露光期間は、前記光源からの発光タイミングから第2の遅延時間を経て露光を開始する期間であり、
    前記第1の遅延時間と前記第2の遅延時間の長さが異なる
    ことを特徴とする請求項1乃至18のいずれか1項に記載の光電変換装置。
  20. 光源と、
    請求項1乃至19のいずれか1項に記載の光電変換装置と、
    前記光源から照射され対象物から反射された反射光を前記光電変換装置により検知する光電変換システム。
  21. 光電変換部と、
    第1の露光期間および前記第1の露光期間とは開始タイミングおよび終了タイミングの少なくとも一方が異なる第2の露光期間に入射して得られた信号電荷に基づく光量値を保持する光量値保持部と、
    前記第1の露光期間に得られた光量値と前記第2の露光期間に得られた光量値を比較する比較部と、を有し、
    前記比較部の比較結果に応じて、第3の露光期間および第4の露光期間を制御する制御部と、を有することを特徴とする光電変換装置。
JP2020176599A 2020-10-21 2020-10-21 光電変換装置、光電変換システム Pending JP2022067801A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2020176599A JP2022067801A (ja) 2020-10-21 2020-10-21 光電変換装置、光電変換システム
KR1020237016128A KR20230088423A (ko) 2020-10-21 2021-10-14 광전변환장치, 광전변환 시스템
CN202180072028.4A CN116349238A (zh) 2020-10-21 2021-10-14 光电转换设备及光电转换系统
EP21882696.4A EP4236298A1 (en) 2020-10-21 2021-10-14 Photoelectric conversion device and photoelectric conversion system
PCT/JP2021/038032 WO2022085555A1 (ja) 2020-10-21 2021-10-14 光電変換装置、光電変換システム
US18/303,480 US20230258776A1 (en) 2020-10-21 2023-04-19 Photoelectric conversion device and photoelectric conversion system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020176599A JP2022067801A (ja) 2020-10-21 2020-10-21 光電変換装置、光電変換システム

Publications (2)

Publication Number Publication Date
JP2022067801A true JP2022067801A (ja) 2022-05-09
JP2022067801A5 JP2022067801A5 (ja) 2023-10-27

Family

ID=81290860

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020176599A Pending JP2022067801A (ja) 2020-10-21 2020-10-21 光電変換装置、光電変換システム

Country Status (6)

Country Link
US (1) US20230258776A1 (ja)
EP (1) EP4236298A1 (ja)
JP (1) JP2022067801A (ja)
KR (1) KR20230088423A (ja)
CN (1) CN116349238A (ja)
WO (1) WO2022085555A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024053400A1 (ja) * 2022-09-08 2024-03-14 キヤノン株式会社 光電変換装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023183169A (ja) * 2022-06-15 2023-12-27 ソニーセミコンダクタソリューションズ株式会社 光検出素子

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10620300B2 (en) 2015-08-20 2020-04-14 Apple Inc. SPAD array with gated histogram construction
KR102404260B1 (ko) 2015-11-03 2022-05-30 삼성중공업 주식회사 밸러스트수 여과 필터 설치 장치 및 방법
WO2017085916A1 (ja) * 2015-11-16 2017-05-26 パナソニックIpマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
WO2019188348A1 (ja) * 2018-03-29 2019-10-03 パナソニックIpマネジメント株式会社 距離情報取得装置、マルチパス検出装置およびマルチパス検出方法
WO2020027221A1 (ja) * 2018-08-02 2020-02-06 パナソニックIpマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
JP7260384B2 (ja) 2019-04-22 2023-04-18 ダイハツ工業株式会社 内燃機関

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024053400A1 (ja) * 2022-09-08 2024-03-14 キヤノン株式会社 光電変換装置

Also Published As

Publication number Publication date
CN116349238A (zh) 2023-06-27
US20230258776A1 (en) 2023-08-17
EP4236298A1 (en) 2023-08-30
WO2022085555A1 (ja) 2022-04-28
KR20230088423A (ko) 2023-06-19

Similar Documents

Publication Publication Date Title
US9171985B2 (en) Pixel circuit with controlled capacitor discharge time of flight measurement
US20180246214A1 (en) Solid-state imaging device, distance measurement device, and distance measurement method
US11644551B2 (en) Lidar systems with improved time-to-digital conversion circuitry
JP7117535B2 (ja) 固体撮像素子及び撮像システム
WO2022085555A1 (ja) 光電変換装置、光電変換システム
US11159738B2 (en) Imaging devices with single-photon avalanche diodes having sub-exposures for high dynamic range
JP7353765B2 (ja) 光検出装置、光検出システム及び移動体
JP6735515B2 (ja) 固体撮像装置
US10833207B2 (en) Photo-detection device, photo-detection system, and mobile apparatus
US10971539B2 (en) Solid-state imaging device, method of driving solid-state imaging device, imaging system, and movable object
JP2020162109A (ja) 光電変換装置、光電変換システム、および移動体
JP2019068382A (ja) 固体撮像装置および撮像システム
JP2020047780A (ja) 光検出装置
JP2019009672A (ja) 撮像装置及びその駆動方法
JP2022092345A (ja) 光電変換装置、撮像システム、移動体
JP2020107980A (ja) 光検出装置および撮像システム
US11965987B2 (en) Solid-state imaging device, distance measuring device, and distance measuring method
JP7492338B2 (ja) 光電変換装置、光電変換システム及び移動体
JP7443006B2 (ja) 光検出器及び距離測定装置
US20240004037A1 (en) Distance measuring device and solid-state imaging device
JP2024090470A (ja) 光電変換装置及び信号処理装置
JP2022096472A (ja) 光電変換装置及びその駆動方法
JP6320132B2 (ja) 撮像システム
CN116249025A (zh) 光电转换装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20201105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231019

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231019

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213