JP2010032425A - 距離画像センサ、及び撮像信号を飛行時間法により生成する方法 - Google Patents

距離画像センサ、及び撮像信号を飛行時間法により生成する方法 Download PDF

Info

Publication number
JP2010032425A
JP2010032425A JP2008196616A JP2008196616A JP2010032425A JP 2010032425 A JP2010032425 A JP 2010032425A JP 2008196616 A JP2008196616 A JP 2008196616A JP 2008196616 A JP2008196616 A JP 2008196616A JP 2010032425 A JP2010032425 A JP 2010032425A
Authority
JP
Japan
Prior art keywords
imaging
window
time
distance
nth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008196616A
Other languages
English (en)
Other versions
JP5585903B2 (ja
Inventor
Shoji Kawahito
祥二 川人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shizuoka University NUC
Original Assignee
Shizuoka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shizuoka University NUC filed Critical Shizuoka University NUC
Priority to JP2008196616A priority Critical patent/JP5585903B2/ja
Priority to US13/056,697 priority patent/US8537218B2/en
Priority to PCT/JP2009/063582 priority patent/WO2010013779A1/ja
Priority to EP09803021A priority patent/EP2322953B1/en
Priority to KR1020117002911A priority patent/KR101508410B1/ko
Publication of JP2010032425A publication Critical patent/JP2010032425A/ja
Application granted granted Critical
Publication of JP5585903B2 publication Critical patent/JP5585903B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/802—Geometry or disposition of elements in pixels, e.g. address-lines or gate electrodes
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F77/00—Constructional details of devices covered by this subclass
    • H10F77/95—Circuit arrangements
    • H10F77/953—Circuit arrangements for devices having potential barriers
    • H10F77/957—Circuit arrangements for devices having potential barriers for position-sensitive photodetectors, e.g. lateral-effect photodiodes or quadrant photodiodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】距離分解能の低下なしに距離計測範囲を拡大可能な距離画像センサを提供する。
【解決手段】放射源１３は、時間軸上に順に配列された第１〜第５のフレームにおいて対象物に照射される第１〜第５のパルスＰＴ１〜ＰＴ５の列を放射パルスとして提供する。フレームの各々では、撮像時刻ＴＰＵ１〜ＴＰＵ５は各フレームの始点から所定の時間△ＴＰＤの位置に規定され、またパルスＰＴ１〜ＰＴ５が、それぞれ、第１〜第５のフレームの始点から、互いに異なるシフト量でシフトされる。５つのフレームの各々における撮像ウインドウＡ、Ｂを用いて、ピクセルアレイ２３は、互いに異なる距離範囲の対象物の距離情報を有する要素画像信号ＳＥ１〜ＳＥ５を生成する。処理装置１７は、これらを合成して画像信号ＳＩＭＡＧＥを生成する。５回の飛行時間測定のを用いるので、広い距離範囲の対象物の距離情報を得るために、放射パルスの幅を広げる必要がなく、距離分解能が低下しない。
【選択図】図１０

Description

本発明は、距離画像センサ、及び撮像信号を飛行時間法により生成する方法に関する。
特許文献１には、全画素同時電子シャッタ動作が可能な固体撮像装置が記載されている。この固体撮像装置は、全フォトダイオードをリセットした後に、第１転送ゲートを一斉に閉じ、各フォトダイオードに電荷の蓄積を行う。シャッタ時間が経過した後に、第１転送ゲートを一斉に開き、蓄積された電荷をそれぞれの電荷蓄積領域に転送する。特許文献２には、電子シャッタ作用を備えた能動ピクセルセンサアレイが記載されている。特許文献３には、距離画像センサのための画素回路が記載されている。シリコン基板上に酸化膜が設けられており、この酸化膜上に、２つの電荷転送用フォトゲート電極が設けられる。酸化膜の縁部には、電荷取り出し用の浮遊拡散層が設けられている。特許文献４には、強度変調された放射フィールドを検出と復調のための方法及び装置が記載されている。この方法及び装置では、センサ素子のアレイの光感応部に生成された信号電荷を、光源によって生成された変調信号に同期してメモリセルに転送するように、センサ素子の電子スイッチを制御すると共に、メモリセルに格納された信号電荷を評価ユニットに転送するように、メモリセルを制御する。特許文献５には、アクティブピクセルセンサが記載されている。アクティブピクセルセンサは、信号電荷として集められるフォト電荷を入力光から発生する光検出領域と、ピクセル内に増幅器の入力に接続されたセンスノードに光検出領域から信号電荷を転送するトランジスタとを備える。ピクセルの設計では、光検出領域が中心軸に関して二次元対称性を有するように設けられている。特許文献６では、ＴＯＦ法を用いる三次元撮像システムが記載されている。三次元撮像システムのピクセルは、ピクセル検出器、電荷コレクタ及び電子シャッタを含み、電子シャッタは、ピクセル検出器と電荷コレクタとの間に介在している。非特許文献１は、ＣＣＤを用いた距離測定センサが記載されている。反射光の遅延時間は、２つの検知期間によって位相シフト量として測定される。
特開平１１−１７７０７６号公報 特表２０００−５０４４８９号公報 特開２００５−２３５８９３号公報 ＵＳＰ５８５６６６７号公報 ＵＳＰ５９８６２９７号公報 ＵＳＰ６３２３９４２号公報 Ryohei Miyagawa, Takeo Kanade, "CCD-based range-finding sensor,"IEEE Trans. Electron Devices, vol. 44, no. 10, pp.1648-1652 (1997).
光の飛行時間を用いた従来の距離画像センサでは、距離計測範囲を広げるためには、以下の事項が必要であった：（ａ１）光の変調周波数を高める；（ａ２）光のパルスの幅を広げる。一方、距離分解能を高めるためには、以下の事項が必要であった：（ｂ１）光の変調周波数を高める；（ｂ２）光のパルス幅を短くする。上記のように、距離計測範囲を広げるためには光のパルスの幅を広げることが求められる一方で、距離分解能を高めるためには光のパルス幅を短くすることが求められる。故に、計測可能な距離範囲を拡大することは、距離分解能を向上させることとトレードオフの関係にある。
本発明は、このような事情を鑑みて為されたものであり、距離分解能を低下させることなく、距離計測範囲を拡大可能な距離画像センサ、及び撮像信号を飛行時間法により生成する方法を提供することを目的とする。
本発明の一側面は、飛行時間法を用いる距離画像センサである。距離画像センサは、（ａ）飛行時間を計測するために対象物に照射する放射パルスを発生する放射源と、（ｂ）互いに異なる第１〜第ｎの飛行時間（ｎ＞１）に対応する第１〜第ｎの撮像タイミングを示す制御信号を生成する制御装置と、入射放射線に感応して電荷を生成する検出素子を含む複数のピクセルのピクセルアレイと、第１〜第ｎの撮像タイミングにそれぞれ対応する第１〜第ｎの要素画像信号を制御信号に応答して生成する信号生成装置とを有する画像生成装置と、（ｃ）第１〜第ｎの要素画像信号を合成して、対象物に関する距離情報を含む画像信号を生成する処理装置とを備える。各ピクセルの検出素子は、第１〜第ｎの撮像タイミングの各々における第１及び第２の撮像ウインドウにおいて該検出素子に入射する入射放射線に応じてそれぞれ第１及び第２の電荷を生成する。各ピクセルは、第１及び第２の撮像ウインドウに対応してそれぞれ第１及び第２の電荷から第１及び第２の要素信号を提供する。第１の撮像ウインドウは、基準時刻から規定された撮像時刻の直前にあり所定の時間幅を有している。第２の撮像ウインドウは、撮像時刻の直後にあり所定の時間幅を有している。第ｉの要素画像信号（１≦ｉ≦ｎ）は、第ｉの撮像タイミングにおける各ピクセルの第１及び第２の要素信号を含む。
この距離画像センサによれば、第１〜第ｎの飛行時間（ｎ＞１）は互いに異なるので、それぞれの飛行時間は、互いに異なる測距範囲をカバーする。また、第１〜第ｎの飛行時間に対応する第１〜第ｎの撮像タイミングで第１〜第ｎの要素画像信号を生成するので、第１〜第ｎの要素画像信号の各々は、互いに異なる距離範囲の対象物の距離情報を有している。これらの第１〜第ｎの要素画像信号を合成して画像信号を生成するので、広い距離範囲における対象物の距離情報を得ることができる。
また、対象物の距離情報を得るために、第１〜第ｎの撮像タイミングの各々では、第１及び第２の撮像ウインドウでピクセルの検出素子に入射する入射放射線に対応する第１及び第２の要素信号を生成しているので、複数回の飛行時間法の測定により、広い距離範囲において対象物に関する距離範囲の情報を得ている。故に、広い距離範囲における対象物の距離情報を得るために、放射パルスの幅を広げる必要がない。したがって、個々の飛行時間の測定において、距離分解能を低下されない。
本発明に係る距離画像センサでは、放射源は、時間軸に関して順に配列された第１〜第ｎのフレームそれぞれにおいて対象物に照射される第１〜第ｎのパルスの列を放射パルスとして提供する。第１〜第ｎのパルスは、それぞれ、第１〜第ｎのフレームの始点から、互いに異なるシフト量でシフトされている。第１〜第ｎのフレームの各々において、撮像時刻は各フレームの始点から所定の時間で規定されている。第１〜第ｎのフレームの各々は、第１及び第２の撮像ウインドウを含む。第１〜第ｎのパルスの各々の持続時間は、第１の撮像ウインドウの期間以下である。第１〜第ｎのパルスの各々の持続時間は、第２の撮像ウインドウの期間以下である。
この距離画像センサによれば、第１〜第ｎの飛行時間の測定には、互いに異なるシフト量でシフトされた第１〜第ｎのパルスを用いる。第１〜第ｎのパルスは、それぞれ、時間軸に関して順に配列された第１〜第ｎのフレームにおいて対象物に照射される。第１〜第ｎのパルスを、それぞれ、第１〜第ｎのフレームにおける第１及び第２の撮像ウインドウに対応づけて、複数回の飛行時間の測定を行うことができる。
本発明に係る距離画像センサでは、第１〜第ｎのフレームの各々は、第１及び第２の撮像ウインドウと、第１及び第２の撮像ウインドウと異なる電荷廃棄ウインドウとを含む。ピクセルは、電荷廃棄ウインドウにおいて、検出素子の電荷を廃棄する。この距離画像センサによれば、電荷廃棄ウインドウにおいて検出素子の電荷が廃棄されるので、検出素子が受ける背景ノイズを除外できる。
本発明に係る距離画像センサでは、ピクセルは、第１〜第ｎの撮像タイミングにおける第１の撮像ウインドウ及び第２の撮像ウインドウにそれぞれ導通し検出素子に接続され第１及び第２の転送ゲートと、検出素子に接続され電荷廃棄ウインドウに導通する第１及び第２の廃棄ゲートとを含む。検出素子は第１の転送ゲートと第２の転送ゲートとの間に位置する。検出素子は第１の廃棄ゲートと第２の廃棄ゲートとの間に位置する。この距離画像センサのピクセルアレイは、上記の構造のピクセルのアレイを含むことができる。
本発明に係る距離画像センサでは、第１〜第ｎのパルスのパルス幅は、線形応答領域を用いて距離情報を含む画像信号を生成可能なように規定されることができる。この距離画像センサによれば、線形応答領域を用いるので、飛行時間の測定の全範囲において、距離精度を確保できる。
本発明に係る距離画像センサでは、放射源は、単一のフレームに単一のパルスを放射パルスとして提供する。第１〜第ｎの撮像タイミングは、単一のフレーム内に位置する。第１〜第ｎの撮像タイミングの撮像時刻は、互いに異なるシフト量で単一のフレームの始点からシフトされている。第１の撮像タイミングの撮像時刻の直前には第１の撮像ウインドウが設けられると共に、第ｎの撮像タイミングの撮像時刻の直後には第２の撮像ウインドウが設けられる。第１〜第ｎの撮像タイミングのうちの第ｉの撮像タイミング（１≦ｉ＜ｎ−１）と第ｉ＋１の撮像タイミングとの間には、検出素子に入射する入射放射線に応じた電荷を取り込むためのウインドウが規定されている。ウインドウは、第１及び第２の撮像ウインドウのために兼用されている。単一のパルスの持続時間は第１及び第２の撮像ウインドウの期間以下である。
この距離画像センサによれば、第１〜第ｎの撮像タイミングの各々における撮像時刻の前後にそれぞれ第１及び第２の撮像ウインドウが設けられる。故に、第１及び複数の第２の撮像ウインドウが交互に配列されて、撮像ウインドウの列を構成する。撮像ウインドウの列の最初には単独の第１の撮像ウインドウがあり、最後には単独の第２の撮像ウインドウがある。撮像ウインドウの列において、単独の第１の撮像ウインドウと単独の第２の撮像ウインドウとの間に一又は複数の撮像兼用ウインドウがある。撮像兼用ウインドウは第１の撮像ウインドウ及び第２の撮像ウインドウの両方のために設けられている。撮像ウインドウの列におけるｎ個の撮像時刻において、第１〜第ｎの要素画像信号が生成される。
本発明に係る距離画像センサでは、単一のフレームは、第１及び第２の撮像ウインドウと、第１の撮像ウインドウ及び第２の撮像ウインドウと異なる電荷廃棄ウインドウとを含む。ピクセルは、電荷廃棄ウインドウにおいて、検出素子の電荷を廃棄する。この距離画像センサによれば、電荷廃棄ウインドウにおいて検出素子の電荷が廃棄されるので、検出素子が受ける背景ノイズを除外できる。
本発明に係る距離画像センサでは、ピクセルは、検出素子の一方の側に配置された第１の群の第１〜第ｊの転送ゲートと、検出素子の他方の側に配置された第２の群の第ｊ＋１〜第ｎ＋１の転送ゲートと、検出素子に接続され電荷廃棄ウインドウに導通する第１及び第２の廃棄ゲートとを含む。第１〜第ｎ＋１の転送ゲートは、第１〜第ｎの撮像タイミングのいずれかにおいて導通する。検出素子は第１の廃棄ゲートと第２の廃棄ゲートとの間に位置する。この距離画像センサのピクセルアレイは、上記の構造のピクセルのアレイを含むことができる。
本発明の別の側面は、複数のピクセルを含むピクセルアレイと飛行時間を計測するための放射源とを用いて対象物に関する距離情報を含む撮像信号を飛行時間法により生成する方法である。この方法は、（ａ）ピクセルアレイの検出素子を用いて、互いに異なる第１〜第ｎの飛行時間（ｎ＞１）で複数の撮像を行って、第１〜第ｎの要素画像信号を生成するステップと、（ｂ）第１〜第ｎの要素画像信号を合成して、対象物に関する距離情報を含む画像信号を生成するステップとを備える。各ピクセルは、第１〜第ｎの撮像タイミングにおける第１及び第２の撮像ウインドウにおいてそれぞれ第１及び第２の電荷を生成する。第１の撮像ウインドウは、基準時刻から規定された撮像時刻の直前にあり、また所定の時間幅を有している。第２の撮像ウインドウは、撮像時刻の直後にあり、また所定の時間幅を有している。各ピクセルは、第１及び第２の電荷の量にそれぞれ対応する第１及び第２の要素信号を提供する。第ｉの要素画像信号（１≦ｉ≦ｎ）は、第ｉの撮像タイミングにおける複数のピクセルの第１及び第２の要素信号を含む。
この方法によれば、第１〜第ｎの飛行時間（ｎ＞１）は互いに異なるので、それぞれの飛行時間は、互いに異なる測距範囲をカバーする。また、第１〜第ｎの飛行時間に対応する第１〜第ｎの撮像タイミングで第１〜第ｎの要素画像信号を生成するので、第１〜第ｎの要素画像信号の各々は、互いに異なる距離範囲の対象物の距離情報を有している。これらの第１〜第ｎの要素画像信号を合成して画像信号を生成するので、広い距離範囲における対象物の距離情報を得ることができる。
また、対象物の距離情報を得るために、第１〜第ｎの撮像タイミングの各々では、第１の撮像ウインドウ及び第２の撮像ウインドウでピクセルの検出素子に入射する入射放射線に対応する第１及び第２の要素信号を生成しているので、複数回の飛行時間により、広い距離範囲において対象物に関する距離範囲の情報を得ている。故に、広い距離範囲における対象物の距離情報を得るために、放射パルスの幅を広げる必要がない。したがって、個々の飛行時間の測定において、距離分解能を低下されない。
本発明に係る方法では、第１〜第ｎの要素画像信号を生成するステップは、飛行時間を計測するための放射パルスを対象物に照射するステップを含む。放射パルスの照射では、時間軸に関して順に配列された第１〜第ｎのフレームそれぞれにおいて対象物に照射するための第１〜第ｎのパルスが出射される。第１〜第ｎのパルスは、それぞれ、第１〜第ｎのフレームの始点から、互いに異なるシフト量でシフトされている。第１〜第ｎのフレームの各々において、基準時刻は各フレームの始点である。第１〜第ｎのフレームの各々は、第１及び第２の撮像ウインドウを含む。第１〜第ｎのパルスの各々の持続時間は、第１の撮像ウインドウの期間以下である。第１〜第ｎのパルスの各々の持続時間は、第２の撮像ウインドウの期間以下である。
この方法によれば、第１〜第ｎの飛行時間の測定には、互いに異なるシフト量でシフトされた第１〜第ｎのパルスを用いる。第１〜第ｎのパルスは、それぞれ、時間軸に関して順に配列された第１〜第ｎのフレームにおいて対象物に照射される。第１〜第ｎのパルスを、それぞれ、第１〜第ｎのフレームにおいて第１及び第２の撮像ウインドウを用いて、複数回の飛行時間の測定を行うことができる。
本発明に係る方法では、第１〜第ｎの要素画像信号を生成するステップは、飛行時間を計測するための放射パルスを対象物に照射するステップを含む。放射パルス、または、単一のフレームに単一のパルスが出射される。第１〜第ｎの撮像タイミングは、単一のフレーム内に位置する。第１〜第ｎの撮像タイミングは、単一のフレームの始点から、互いに異なるシフト量でシフトされている。第１及び第２の撮像ウインドウの各々は、第１〜第ｎの撮像タイミングのうち隣接する撮像タイミングの間に設けられている。
この方法によれば、第１〜第ｎの撮像タイミングの各々における撮像時刻の前後に第１及び第２の撮像ウインドウが設けられる。故に、複数の第１の撮像ウインドウ及び複数の第２の撮像ウインドウが交互に配列されて、撮像ウインドウの列を構成する。撮像ウインドウの列の最初には単独の第１の撮像ウインドウがあり、最後には単独の第２の撮像ウインドウがある。撮像ウインドウの列において、単独の第１の撮像ウインドウと単独の第２の撮像ウインドウとの間に一又は複数の撮像兼用ウインドウがある。撮像兼用ウインドウは第１の撮像ウインドウ及び第２の撮像ウインドウの両方のために設けられている。
本発明によれば、距離分解能を低下させることなく距離計測範囲を拡大可能な距離画像センサ、及び撮像信号を飛行時間法により生成する方法が提供される。
本発明の知見は、例示として示された添付図面を参照して以下の詳細な記述を考慮することによって容易に理解できる。引き続いて、添付図面を参照しながら、本発明の距離画像センサ、及び撮像信号を飛行時間法により生成する方法に係る実施の形態を説明する。可能な場合には、同一の部分には同一の符号を付する。
図１は、本実施の形態に係る、飛行時間法を用いる距離画像センサを示す図面である。距離画像センサ１１は、放射源１３と、画像生成装置１５と、処理装置１７とを備える。放射源１３は、飛行時間を計測するために対象物に照射する放射パルスＬＰを発生する。放射源１３は、例えば、半導体発光素子１３ａと、この発光素子１３ａの駆動回路１３ｂとを含み、駆動回路１３ｂはタイミング信号に応答して発光素子を駆動する。半導体発光素子１３ａとしては、発光ダイオード及びレーザダイオードが用いられる。放射源１３は、近赤外領域、可視光等の波長範囲の放射線を用いることができる。近赤外領域、可視光等を提供する光源から、ＴＯＦ測定のための光パルスが出射される。画像生成装置１５は、制御装置２１、ピクセルアレイ２３、及び信号生成装置２５を有する。画像生成装置１５の制御装置２１は、互いに異なる第１〜第ｎの飛行時間（ｎ＞１）ＴＯＦ１〜ＴＯＦｎに対応する第１〜第ｎの撮像タイミングを示す制御信号を生成する。ピクセルアレイ２３は複数のピクセル２７を含み、これらのピクセル２７は、例えば行及び列に配列されている。各ピクセル２７は、入射放射線ＬＲに感応して電荷を生成する検出素子を含む。この検出素子として、例えばフォトゲート等を用いることができる。信号生成装置１７は、第１〜第ｎの撮像タイミングにおける撮像にそれぞれ対応する第１〜第ｎの要素画像信号ＳＥ１〜ＳＥｎを制御信号に応答して生成する。処理装置１７は、第１〜第ｎの要素画像信号ＳＥ１〜ＳＥｎを合成して、対象物に関する距離情報を含む画像信号ＳＩＭＡＧＥを生成する。
各ピクセル２７の検出素子は、各撮像タイミングにおける第１及び第２の撮像ウインドウＷＰＵ１、ＷＰＵ２において該検出素子に入射する入射放射線に応じてそれぞれ第１及び第２の電荷を生成する。各ピクセル２７は、第１及び第２の撮像ウインドウＷＰＵ１、ＷＰＵ２における第１及び第２の電荷にそれぞれ対応した第１及び第２の出力信号Ｓ１、Ｓ２を提供する。第１の撮像ウインドウＷＰＵ１は、基準時刻から規定された撮像時刻ＴＰＵの直前にあり、第２の撮像ウインドウＷＰＵ２は、撮像時刻ＴＰＵの直後にある。故に、ｎ回の撮像における第１及び第２の電荷の比率からｎ回の飛行時間（ＴＯＦ）を測定できる。第１及び第２の撮像ウインドウＷＰＵ１、ＷＰＵ２は、所定の時間幅ＰＷＩＮを有している。第ｉの要素画像信号（１≦ｉ≦ｎ）は、第ｉの撮像タイミングにおける各ピクセル２７の第１及び第２の要素信号Ｓ１、Ｓ２を含む。
この距離画像センサ１１によれば、第１〜第ｎの飛行時間ＴＯＦ１〜ＴＯＦｎは互いに異なるので、それぞれの飛行時間ＴＯＦ１〜ＴＯＦｎの測定は、互いに異なる測距範囲をカバーする。また、第１〜第ｎの飛行時間ＴＯＦ１〜ＴＯＦｎに対応する第１〜第ｎの撮像タイミングで第１〜第ｎの要素画像信号ＳＥ１〜ＳＥｎを生成するので、第１〜第ｎの要素画像信号ＳＥ１〜ＳＥｎの各々は、互いに異なる距離範囲の対象物の距離情報を有している。これらの第１〜第ｎの要素画像信号ＳＥ１〜ＳＥｎを合成して画像信号ＳＩＭＡＧＥを生成するので、広い距離範囲における対象物の距離情報を得ることができる。
また、対象物の距離情報を得るために、第１〜第ｎの撮像タイミングの各々では、第１及び第２の撮像ウインドウＷＰＵ１、ＷＰＵ２を介してピクセル２７の検出素子に入射する入射放射線ＬＲに対応する第１及び第２の出力信号Ｓ１、Ｓ２を生成するので、複数回の飛行時間法の測定により所望の距離範囲において対象物に関する距離範囲の情報を得ている。広い距離範囲における対象物の距離情報を得るために、放射パルスＬＰの幅を広げる必要がないので、飛行時間ＴＯＦ１〜ＴＯＦｎの測定において、距離分解能を低下されない。
図１を参照すると、距離画像センサシステム３１が示されており、このシステム３１は、距離画像センサ１１及び外部装置３３を含む。外部装置３３は、例えば表示装置、出力デバイス等であることができる。出力デバイスは例えばインタフェース装置である。
また、信号生成装置２５は、各ピクセル２７から提供された第１及び第２の要素信号Ｓ１、Ｓ２から、第１〜第ｎの要素画像信号ＳＥ１〜ＳＥｎを生成するための手段２５ａ、２５ｂ、２５ｃを含む。第１〜第ｎの要素画像信号ＳＥ１〜ＳＥｎは、それぞれ、第１〜第ｎの撮像タイミングにおいて撮像された対象物の画像情報及び距離情報を含んでいる。第１〜第ｎの撮像タイミングの各々が、所定の間隔で配置されているので、第１〜第ｎの撮像タイミングを用いて所望の測距範囲の撮像を可能にしている。一方、距離分解能は、第１〜第ｎの飛行時間ＴＯＦ１〜ＴＯＦｎの各々の測定において規定される。
図２は、画像信号ＳＩＭＡＧＥを表示装置３３によって表示した画像を示している。図２（ａ）を参照すると、撮像の対象物が示されている。図２（ｂ）を参照すると、第１〜第ｎの要素画像信号ＳＥ１〜ＳＥｎを処理して作成された明暗画像が示される。図２（ｃ）を参照すると、画像信号ＳＩＭＡＧＥを表示装置に出力された画像が表示されている。図２（ｃ）の表示では、距離画像センサ１１と対象物との距離に応じて表示のトーンが変更されている。なお、実際のシステムでは、表示された画像は、距離画像センサ１１と対象物との距離に応じて色分けされることができる。
図３は、本実施の形態における距離画像センサのためのピクセルの一構造を示す図面である。図３（ａ）を参照すると、ピクセル２７の主要部を示す平面図である。図３（ｂ）及び図３（ｃ）には、それぞれ、図３（ａ）に示されたI−I線及びII−II線に沿って取られた断面を示す。ピクセル２７は、シリコン基板といった半導体基板Ｐ−ｓｕｂ上に形成されている。ピクセル２７は、フォトゲートＰＧと、第１及び第２の転送ゲートＴＸ１、ＴＸ２と、第１及び第２の廃棄ゲートＴＸＢＣＤとを含む。フォトゲートＰＧは、入射放射線ＬＲに感応して電荷を生成する。フォトゲートＰＧは、それぞれ、第１及び第２の転送ゲートＴＸ１、ＴＸ２を介して第１及び第２の浮遊半導体領域ＦＤ１、ＦＤ２に接続されている。また、フォトゲートＰＧは、それぞれ、第１及び第２の廃棄ゲートＴＸＢＣＤを介して第１及び第２の半導体領域ＦＤＢＣＤに接続されている。第１及び第２の半導体領域ＦＤＢＣＤは、電荷廃棄ライン、例えばＶＤＤに接続されている。フォトゲートＰＧは、第１及び第２の転送ゲートＴＸ１、ＴＸ２の間に設けられており、また第１及び第２の廃棄ゲートＴＸＢＣＤの間に設けられている。第１及び第２の浮遊半導体領域ＦＤ１、ＦＤ２及び第１及び第２の半導体領域ＦＤＢＣＤは、例えばｐ型半導体領域ｐ−ｗｅｌｌ、ｐ−ｅｐｉに設けられたｎ型半導体領域である。第１及び第２の浮遊半導体領域ＦＤ１、ＦＤ２は、リセットゲートＲｅｓｅｔを介して第１及び第２のｎ型半導体領域ＦＤＲに接続されており、これらの半導体領域ＦＤＲには、リセット電圧が印加されている。リセットゲートＲｅｓｅｔは、薄いＭＩＳ（好ましくはＭＯＳ）構造を有しており、リセットゲートＲｅｓｅｔとｐ型半導体領域ｐ−ｗｅｌｌとの間には、ゲート絶縁膜が設けられており、この薄い絶縁膜は例えば薄いＳｉＯ２からなる。フォトゲートＰＧ、第１及び第２の転送ゲートＴＸ１、ＴＸ２及び第１及び第２の廃棄ゲートＴＸＢＣＤは、厚いＭＩＳ（好ましくはＭＯＳ）構造を有しており、フォトゲートＰＧ、第１及び第２の転送ゲートＴＸ１、ＴＸ２及び第１及び第２の廃棄ゲートＴＸＢＣＤとｎ型半導体埋込領域ｎ−ｂｕｒｉｅｄとの間には、ゲート絶縁膜が設けられており、厚い絶縁膜は例えば薄いＳｉＯ２からなる。第１及び第２の浮遊半導体領域ＦＤ１、ＦＤ２及び第１及び第２の浮遊半導体領域ＦＤＢＣＤは、ｎ型半導体埋込領域ｎ−ｂｕｒｉｅｄのエッジに接触している。
ピクセル２７は、第１及び第２の浮遊半導体領域ＦＤ１、ＦＤ２にそれぞれ接続された増幅器Ａｍｐ１、Ａｍｐ２を含む。増幅器Ａｍｐ１、Ａｍｐ２の各々は、ソースフォロアアンプを含む。例えば、増幅器Ａｍｐ１、Ａｍｐ２の各々は増幅用トランジスタを含み、これらのトランジスタのゲートは、それぞれ、第１及び第２の浮遊半導体領域ＦＤ１、ＦＤ２に接続される。増幅用トランジスタのソースは、ピクセルアレイ２３のカラム線に接続される。増幅用トランジスタの導通は、選択用トランジスタによって行われる。選択用トランジスタ及び増幅用トランジスタは、電源線とカラム線との間に接続され、選択用トランジスタは増幅用トランジスタに直列に接続される。
図４及び図５を参照しながら、ピクセルの動作を説明する。代表的なフレームＦｒａｍｅが示されている。撮像ウインドウＡの開始時刻は、フレームＦｒａｍｅの始点から規定され所定の期間Ｔ０の期間であり、また撮像ウインドウＢの開始時刻は、撮像ウインドウＡの終了点から規定され所定の期間Ｔ０の期間である。フレームＦｒａｍｅは、撮像ウインドウＡ、Ｂと異なる電荷廃棄ウインドウＣを含む。測距に先だって、ピクセルアレイの第１及び第２の浮遊半導体領域ＦＤ１、ＦＤ２はリセットされる。
第１及び第２の撮像ウインドウＡ、Ｂでは、それぞれ、転送ゲートＴＸ１、ＴＸ２が導通する。第１の撮像ウインドウＡの幅は第２の撮像ウインドウＢの幅と等しい。動作の説明を容易にするために、放射パルスＰＴは、第１の撮像ウインドウの立ち上がりに同期して出射される。ピクセルアレイは、距離画像センサと対象物との距離に応じた遅延時間（ＴＯＦ）で遅延した受信パルスＰＲを受ける。フォトゲートＰＧは、受信パルスＰＲに応答して電荷を生成する。電荷は、第１及び第２の撮像ウインドウＡ、Ｂにおいてそれぞれ第１及び第２の浮遊半導体領域ＦＤ１、ＦＤ２に転送される。図５から理解されるように、パルスＰＲの遅延時間は、距離画像センサと対象物との間の光の往復時間に等しい。
図５（ａ）に示されるように、第１の転送ゲートＴＸ１の導通に応答して、第１の撮像ウインドウＡ内で生成された電荷△Ｑ１が第１の転送ゲートＴＸ１を介して第１の浮遊半導体領域ＦＤ１に転送される。第１の撮像ウインドウＡ内では、図５（ｂ）に示されるように、廃棄ゲートＴＸＢＣＤは非道通である。
図５（ｃ）に示されるように、第２の転送ゲートＴＸ２の導通に応答して、第２の撮像ウインドウＢ内で生成された電荷△Ｑ２が第２の転送ゲートＴＸ２を介して第２の浮遊半導体領域ＦＤ２に転送される。第２の撮像ウインドウＢ内では、図５（ｄ）に示されるように、廃棄ゲートＴＸＢＣＤは非道通である。
図５（ｅ）に示されるように、廃棄ゲートＴＸＢＣＤの導通に応答して、電荷廃棄ウインドウＣ内で生成された電荷（背景電荷）△Ｑ３が廃棄ゲートＴＸＢＣＤを介して半導体領域ＦＤＢＣＤに転送される。電荷廃棄ウインドウＣ内では、図５（ｆ）に示されるように、第１及び第２の転送ゲートＴＸ１、ＴＸ２は非道通である。
図６は、画像生成装置の構成を示す図面である。図４及び図５を参照しながら行われたピクセル動作の制御は、図６の画像生成装置の各回路によって行われる。図６を参照すると、ピクセルアレイ２３が示されている。ピクセルアレイ２３の一辺には、ＰＧドライバ２１ａが設けられている。ＰＧドライバ２１ａは、各ピクセル２７のフォトゲートＰＧに接続され、また各ピクセル２７を駆動している。ＰＧＤクロック発生器２１ｂは、ＰＧドライバ２１ａに接続されており、またＰＧドライバ２１ａのためのタイミングクロックを生成する。ＰＧＤクロック発生器２１ｂは、タイミング発生器２１ｃに接続されており、また画像生成装置１５の動作タイミングを規定するクロックを生成する。信号生成装置２５が、ピクセルアレイ２３によって生成された信号を垂直スキャナ２５ｄからの制御信号に応じて順に読み出す。この信号は、ピクセル２７のソースフォロア型増幅器の負荷となる電流源２５ａを用いてカラム線上の電圧信号に変換される。電圧信号は、ノイズキャンセル回路２５ｂによって処理されて、ノイズキャンセル回路２５ｂ内の記憶回路に格納される。ノイズキャンセル回路２５ｂにおける処理によって、ピクセルにリセットノイズが除去される。ノイズキャンセル回路２５ｂ内の記憶回路の内容は、水平スキャナ２５ｃからの制御信号に応答して出力駆動回路２５ｅに順に送られる。出力駆動回路２５ｅは、第１〜第ｎの要素画像信号ＳＥ１〜ＳＥｎを提供する。処理装置１７は、ｎ個の要素画像信号ＳＥ１〜ＳＥｎを合成して、対象物に関する距離情報を含む画像信号ＳＩＭＡＧＥを生成する。
図７は、ピクセル分配特性を示す図面である。分配特性の測定は、図７（ａ）に示されるタイミングで行われる。一フレームにおいて、第１及び第２の撮像ウインドウＡ、Ｂのタイミングを規定する。第１及び第２の撮像ウインドウＡ、Ｂの幅は、例えば１００ナノ秒（ｎｓ）である。第１及び第２の撮像ウインドウＡ、Ｂによって規定される撮像時間に対して、放射パルスの出射タイミングを変化させて遅延時間を調整した。放射パルスの幅は、例えば１００ナノ秒である。図７（ｂ）を参照すると、ピクセルの出力信号の信号Ｖ１、Ｖ２は、遅延時間に対してほぼ線形に変化している。また、信号Ｖ１−Ｖ２もほぼ線形に変化している。信号Ｖ１＋Ｖ２が、撮像ウインドウの期間幅においてほぼ一定であるので、遅延時間に応じた電荷の振り分けが適切に行われている。第１及び第２の撮像ウインドウＡ、Ｂと放射パルスとの重なり期間を除いて、出力値がゼロであるので、電荷廃棄ゲートの動作が確認される。図７（ｂ）を参照すると、信号Ｖ１は、遅延時間Ｔｄ＝−１００ｎｓ、＋１００ｎｓの付近において非線形に変化しており、信号Ｖ２は、遅延時間Ｔｄ＝０ｎｓ、＋２００ｎｓの付近において非線形に変化している。この非線形な振る舞いは、放射パルスが、理想的な矩形から変形していることに起因すると考えられる。
図８は、短パルスを用いたピクセル分配特性を示す図面である。分配特性の測定は、図８（ａ）に示されるタイミングで行われる。一フレームにおいて、第１及び第２の撮像ウインドウＡ、Ｂのタイミングを規定する。第１及び第２の撮像ウインドウＡ、Ｂの幅は、例えば１００ナノ秒（ｎｓ）である。第１及び第２の撮像ウインドウＡ、Ｂによって規定される撮像時間に対して、放射パルスの出射タイミングを変化させて遅延時間を調整した。放射パルスの幅は、第１及び第２の撮像ウインドウＡ、Ｂの幅より短く、例えば１０ナノ秒である。遅延時間は、投射パルスの立ち下がりが第１及び第２の撮像ウインドウＡ、Ｂの撮像時間に一致するときを基準にしている。図８（ｂ）を参照すると、ピクセルの出力信号Ｖ１、Ｖ２は、遅延時間に対してほぼ線形に変化している。また、信号Ｖ１−Ｖ２もほぼ線形に変化している。信号Ｖ１＋Ｖ２が、撮像ウインドウの期間幅においてほぼ一定であるので、遅延時間に応じた電荷の振り分けが行われている。第１及び第２の撮像ウインドウＡ、Ｂと放射パルスとの重なり期間を除いて、出力値がゼロであるので、電荷廃棄ゲートの動作が確認される。
図９は、放射パルス幅及び撮像ウインドウ幅との距離分可能との関係を示す図面である。図９（ａ）を参照すると、毎秒３０フレームの繰り返しで行われた測距における、放射パルス強度と距離分解能との関係を示す。この測定において、放射パルス幅は、１００ｎｓ及び０ｎｓが用いられた。図９（ｂ）を参照すると、毎秒３フレームの繰り返しで行われた測距における、放射パルス強度と距離分解能との関係を示す。この測定において、放射パルス幅は、１００ｎｓ及び１０ｎｓが用いられた。
まず、放射パルスの強度は大きくなるにつれて、距離分可能が向上している。また、放射パルスの幅を１００ｎｓから１０ｎｓに変更すると、距離分解能が１／１０に小さく成っている。故に、距離分解能が放射パルス幅に比例する、故に、距離分解能は、放射源からの放射パルス幅に線形に変化すると共に、この放射パルス幅と共に小さくなる。
発明者の実験例により得られた分解能の値を示す：
測定方式、 放射パルス１００ｎｓ、放射パルス１０ｎｓ
毎秒３０フレーム、２９ｍｍ、 ２．３ｍｍ、（平均化処理無し）
毎秒３フレーム、 ９．１ｍｍ、 １．３ｍｍ、（平均化処理有り）。
（実施例１）
図１０は、一実施例の測距タイミングを示す図面である。図１０（ａ）を参照すると、放射源１３は、時間軸に関して順に配列された第１〜第ｎのフレーム（図１０では５フレーム）それぞれにおいて対象物に照射される第１〜第ｎのパルス（図１０では５パルス）ＰＴ１〜ＰＴ５の列を放射パルスとして提供する。第１〜第ｎのフレームは、制御信号によって規定される。該フレームの各々において、撮像時刻ＴＰＵ１〜ＴＰＵ５は各フレームの始点から所定の時間△ＴＰＤの位置に規定される。各フレームは、撮像ウインドウＡ、Ｂを含む。パルスＰＴ１〜ＰＴ５の幅は、第１及び第２の撮像ウインドウの幅より小さい。或いは、パルスＰＴ１〜ＰＴ５の幅は、第１及び第２の撮像ウインドウの幅以下であってもよい。図１０（ｂ）は、各フレームの始点を基準にして表示する時間軸（以下「還元された時間軸」と呼ぶ）の原点に合わせて、時間軸に関して順に配列された５つのフレームの始点を示す図面である。図１０（ｂ）を参照すると、第１〜第ｎのパルスＰＴ１〜ＰＴ５が、それぞれ、第１〜第５のフレームの始点から互いに異なるシフト量でシフトされることが理解される。
この距離画像センサによれば、第１〜第ｎの飛行時間ＴＯＦ１〜ＴＯＦ５の測定には、互いに異なるシフト量でシフトされた第１〜第ｎのパルスＰＴ１〜ＰＴ５を用いる。第１〜第ｎのパルスＰＴ１〜ＰＴ５は、それぞれ、時間軸に関して順に配列された第１〜第ｎのフレームＦｒａｍｅ１〜Ｆｒａｍｅ５において対象物に照射される。第１〜第ｎのパルスＰＴ１〜ＰＴ５を、それぞれ、第１〜第ｎのフレームＦｒａｍｅ１〜Ｆｒａｍｅ５における第１及び第２の撮像ウインドウＡ、Ｂに対応づけて、複数回の飛行時間ＴＯＦ１〜ＴＯＦ５の測定を行うことができる。
第１〜第ｎのフレームＦｒａｍｅ１〜Ｆｒａｍｅ５の各々は、撮像ウインドウＡ、Ｂと異なる電荷廃棄ウインドウＣを含む。ピクセル２７は、電荷廃棄ウインドウＣにおいて、検出素子の電荷を廃棄するので、検出素子に入射する背景ノイズを除外できる。また、電荷廃棄ウインドウＣの期間は、撮像ウインドウＡ、Ｂにおいて各ピクセルによって生成された出力信号Ｓ１、Ｓ２を読み出すために用いられる。
図１１は、ピクセルアレイ２３と放射源１３とを用いて撮像信号ＳＩＭＡＧＥを飛行時間法により生成する方法における主要な工程を示す図面である。工程Ｓ１０１では、ピクセルアレイ２３の検出素子を用いて、互いに異なる第１〜第ｎの飛行時間ＴＯＦ１〜ＴＯＦｎで第１〜第ｎの撮像を行って、第１〜第ｎの要素画像信号ＳＥ１〜ＳＥｎを生成する。
工程Ｓ１０７では、第１〜第ｎの要素画像信号ＳＥ１〜ＳＥｎを合成して、対象物に関する距離情報を含む画像信号ＳＩＭＡＧＥを生成する。
具体的には、工程Ｓ１０１は以下の手順による。工程Ｓ１０２では、時間軸に関して順に配列された第１〜第ｎのフレームの内の第１のフレームおいて第１のパルスを放射して、第１のフレームにおける撮像ウインドウＡ、Ｂを用いて第１の撮像を行う。工程Ｓ１０３では、工程Ｓ１０２で得られた第１の撮像をピクセルアレイから読み出して、第１の要素画像信号ＳＥ１を生成する。工程Ｓ１０４では、時間軸に関して順に配列された第２〜第ｎのフレームの内の第ｉのフレームおいて第ｉのパルスを放射して、第ｉのフレームにおける撮像ウインドウＡ、Ｂを用いて第ｉの撮像を行う。工程Ｓ１０５では、工程Ｓ１０４で得られた第ｉの撮像をピクセルアレイから読み出して、第ｉの要素画像信号ＳＥｉを生成する。工程Ｓ１０６では、第ｉの撮像及び第ｉの要素画像信号ＳＥｉの生成を繰り返す。
上記のように、第１〜第ｎの飛行時間ＴＯＦ１〜ＴＯＦｎの測定には、互いに異なるシフト量でシフトされた第１〜第ｎのパルスを用いる。これらのパルスは、それぞれ、時間軸に関して順に配列された第１〜第ｎのフレームにおいて対象物に照射される。第１〜第ｎのパルスを、それぞれ、第１〜第ｎのフレームにおける第１及び第２の撮像ウインドウに対応づけて、複数回の飛行時間ＴＯＦ１〜ＴＯＦｎの測定を行うことができる。
この方法によれば、第１〜第ｎの飛行時間ＴＯＦ１〜ＴＯＦｎは互いに異なるので、それぞれの飛行時間は、互いに異なる測距範囲をカバーする。また、飛行時間ＴＯＦ１〜ＴＯＦｎに対応するｎ個の撮像タイミングでそれぞれ要素画像信号ＳＥ１〜ＳＥｎを生成するので、要素画像信号ＳＥ１〜ＳＥｎの各々は、互いに異なる距離範囲の対象物の距離情報を有する。これらの要素画像信号ＳＥ１〜ＳＥｎを合成して画像信号ＳＩＭＡＧＥを生成するので、広い距離範囲にわたる対象物の距離情報を得ることができる。また、対象物の距離情報を得るために、撮像タイミングの各々では、撮像ウインドウＡ、Ｂでピクセルの検出素子に入射する入射放射線に対応する第１及び第２の信号Ｓ１、Ｓ２を生成すると共に、複数回の飛行時間の測定により、所望の距離範囲において対象物に関する距離範囲の情報を得ている。故に、広い距離範囲における対象物の距離情報を得るために、放射パルスの幅を広げる必要がない。したがって、個々の飛行時間の測定において、距離分解能が低下しない。
（実施例２）
実施例２の距離画像センサでは、放射源１３は、単一のフレームＦｒａｍｅ０に単一のパルスＰＴ０を放射パルスとして提供する。図１２（ａ）は、単一のフレームを用いるタイミングを示す。このフレームは、制御信号によって規定される。第１〜第ｎのフレーム第１〜第ｎの撮像タイミング（この例では、ＴＰＵ１、ＴＰＵ２、ＴＰＵ３）は、単一のフレームＦｒａｍｅ０内に位置する。撮像タイミングの撮像時刻ＴＰＵ１ＴＰＵ２、ＴＰＵ３は、互いに異なるシフト量で単一のフレームＦｒａｍｅ０の始点からシフトされている。ｎ個の撮像タイミングのうちの第ｉの撮像タイミング（１≦ｉ＜ｎ−１）と第ｉ＋１の撮像タイミングとの間に、検出素子に入射する入射放射線に応じた電荷を浮遊半導体領域に取り込むためのウインドウが規定される。撮像時刻ＴＰＵ１ＴＰＵ２、ＴＰＵ３の各々の直前には撮像ウインドウＡが設けられ、この撮像時刻の直後には撮像ウインドウＢが設けられるので、撮像ウインドウ間のウインドウは撮像ウインドウＡ、Ｂとして兼用される。
この距離画像センサによれば、撮像ウインドウＡ、Ｂが交互に配列されて、撮像ウインドウの列を構成する。撮像ウインドウの列の最初には単独の撮像ウインドウＡがあり、最後には単独の撮像ウインドウＢがある。撮像ウインドウの列において、単独の第１の撮像ウインドウと単独の第２の撮像ウインドウとの間に一又は複数の撮像兼用ウインドウがある。撮像兼用ウインドウは第１の撮像ウインドウ及び第２の撮像ウインドウの両方のために設けられている。故に、第１〜第ｎの撮像タイミングの各々における撮像時刻の前後にそれぞれ第１及び第２の撮像ウインドウが設けられる。撮像ウインドウの列における複数の撮像時刻において、それぞれ、複数の要素画像信号が生成される。
一例では、単一のパルスＰＴ０の持続時間は、第１の撮像ウインドウＡの期間と等しく、単一のパルスＰＴ０の持続時間は、第２の撮像ウインドウＢの期間と等しい。単一のパルスＰＴ０の持続時間は、フレームＦｒａｍｅ０の始点から規定される。単一のパルスＰＴ０の終了時点から所定の数のウインドウの列が規定される。ウインドウ列内のウインドウは、互いに異なる転送ゲートＴＸｉの導通によって規定される。単一のフレームＦｒａｍｅ０は、ウインドウの列の期間と異なる電荷廃棄ウインドウとを含む。ピクセル２７は、この電荷廃棄ウインドウにおいて、検出素子の電荷を廃棄する。これによって、検出素子が受ける背景ノイズを除外できる。
図１３は、本実施例に適用可能なピクセルの構造の平面図を示す図面である。図１３のピクセルを図３（ａ）のピクセルと比較すると、転送ゲートの構造を除いて、図１３のピクセルの構造は図３（ａ）のピクセル構造と同じである。図１３のピクセルは、フォトゲートＰＧの一方の側に配置された第１の群の第１〜第ｊの転送ゲート（図１３ではＴＸ１、ＴＸ３）と、フォトゲートＰＧの他方の側に配置された第２の群の第ｊ＋１〜第ｎ＋１の転送ゲート（図１３ではＴＸ２、ＴＸ４）を含む。第１〜第ｎ＋１の転送ゲート（図１３ではＴＸ１〜ＴＸ４）は、第１〜第ｎの撮像タイミングのいずれかにおいて導通する。第１〜第ｎ＋１の転送ゲート（図１３ではＴＸ１〜ＴＸ４）は、それぞれ、第１〜第ｎ＋１の浮遊半導体領域（図１３ではＦＤ１〜ＦＤ４）に接続されている。なお、フォトゲートＰＧは廃棄ゲートＴＸＢＣＤの間に位置する。
図１２（ｂ）は、パルスの遅延に応じて、選択ゲートＴＸ１〜ＴＸ４に生成される信号を示す。遅延時間の基準は、放射パルスの立ち上がり時刻に規定される。選択ゲートＴＸ１〜ＴＸ４は、飛行時間によって遅延したパルスを取り込んで、図１２（ｂ）に示される信号ＶＴＸ１、ＶＴＸ２、ＶＴＸ３、ＶＴＸ４を生成する。図１２（ｂ）は、遅延時間に応じて転送ゲートＴＸ１〜ＴＸ４が、互いに異なる信号を生成することを示している。図１２（ｂ）は、図７（ｂ）及び図８（ｂ）に対応する特性を示す。３個以上の撮像ウインドウの列の使用によって、単一のパルスＴＰ０を用いるけれども、複数回の飛行時間の測定を行うことができる。撮像期間においては、転送ゲートＴＸ１〜ＴＸ４のいずれかが導通している。
図１４は、ピクセルアレイ２３と放射源１３とを用いて撮像信号ＳＩＭＡＧＥを飛行時間法により生成する方法における主要な工程を示す図面である。工程Ｓ２０１では、ピクセルアレイ２３の検出素子を用いて、互いに異なる飛行時間ＴＯＦ１〜ＴＯＦｎでｎ回の撮像を行って、要素画像信号ＳＥ１〜ＳＥｎを生成する。工程Ｓ２０８では、要素画像信号ＳＥ１〜ＳＥｎを合成して、画像信号ＳＩＭＡＧＥを生成する。
具体的には、工程Ｓ２０１は以下の手順による。工程Ｓ２０２では、飛行時間を計測するための放射パルスを対象物に照射する。工程Ｓ２０３では、複数のウインドウ列内の第１の撮像ウインドウにおいて第１の撮像を行う。工程Ｓ２０４では、工程Ｓ２０３で得られた第１の撮像をピクセルアレイから読み出して、第１の要素画像信号ＳＥ１を生成する。工程Ｓ２０５では、第ｉ−１のウインドウの直後の第ｉの撮像ウインドウにおいて第ｉの撮像を行う。工程Ｓ２０６では、工程Ｓ２０５で得られた第ｉの撮像をピクセルアレイから読み出して、第１の要素画像信号ＳＥｉを生成する。工程Ｓ２０７では、第ｉの撮像及び第ｉの要素画像信号ＳＥｉの生成を繰り返す。
上記のように、単一の放射パルス及び３個以上の撮像ウインドウを用いて複数回の撮像を行う。この方法によれば、飛行時間ＴＯＦ１〜ＴＯＦｎは互いに異なるので、それぞれの飛行時間は、互いに異なる測距範囲をカバーする。また、飛行時間ＴＯＦ１〜ＴＯＦｎに対応するｎ個の撮像タイミングで要素画像信号ＳＥ１〜ＳＥｎを生成するので、これらの要素画像信号ＳＥ１〜ＳＥｎの各々は、互いに異なる距離範囲の対象物の距離情報を有する。これらの要素画像信号ＳＥ１〜ＳＥｎを合成して画像信号ＳＩＭＡＧＥを生成するので、広い距離範囲における対象物の距離情報を得ることができる。また、対象物の距離情報を得るために、第１〜第ｎの撮像タイミングの各々では、撮像ウインドウＡ及び撮像ウインドウＢでピクセルの検出素子に入射する入射放射線に対応する第１及び第２の出力信号Ｓ１、Ｓ２を生成するので、複数回の飛行時間の測定により、所望の範囲の対象物に関する距離範囲の情報を得ている。故に、広い距離範囲における対象物の距離情報を得るために、放射パルスの幅を広げる必要がない。したがって、個々の飛行時間の測定において、距離分解能を低下されない。
引き続き、いくつかの測定装置の例を説明する。
（例１）：レンジシフトタイミング
図１５を参照しながら、距離画像センサの一例を説明する。この距離画像センサでは、時間軸に沿ってフレームＦｒａｍｅ１〜Ｆｒａｍｅ４が配置されている。フレームＦｒａｍｅ１〜Ｆｒａｍｅ４の各々には、撮像ウインドウＡ、Ｂが設けられている。図１５（ａ）を参照すると、撮像ウインドウＡ、Ｂの幅は１００ナノ秒であり、撮像ウインドウＡはフレームの始点に合わせて配置されており、撮像ウインドウＢは撮像ウインドウＡの直後に配置される。フレームＦｒａｍｅ１〜Ｆｒａｍｅ４には、それぞれ、パルスＰＴ１〜ＰＴ４が設けられている。飛行時間のためのパルスＰＴの幅は２５ナノ秒である。パルスＰＴ１はフレームＦｒａｍｅ１の始点から７５ナノ秒のシフト量でシフトされ、パルスＰＴ２はフレームＦｒａｍｅ２の始点から５０ナノ秒のシフト量でシフトされ、パルスＰＴ３はフレームＦｒａｍｅ３の始点から２５ナノ秒のシフト量でシフトされ、パルスＰＴ４はフレームＦｒａｍｅ４の始点に設けられている。
２５ナノ秒幅のパルスＰＴを用いるとき、計測範囲は３．７５メートルである。フレームＦｒａｍｅ１を用いてセンサから３．７５メートルの範囲を測定可能であり、フレームＦｒａｍｅ２を用いて３．７５メートルから７．５メートルの範囲を測定可能であり、フレームＦｒａｍｅ３を用いて７．５メートルから１１．２５メートルの範囲を測定可能であり、フレームＦｒａｍｅ４を用いて１１．２５メートルから１５メートルの範囲を測定可能である。４パルスを用いた測定範囲は１５メートルであり、これは、パルス幅１００ナノ秒を用いた測定範囲と同じである。一方、本距離画像センサによれば、パルス幅を短くできるので、パルス幅１００ナノ秒を用いた測距に比べて、距離分解能は改善される。
発明者は、図１５（ｂ）に示されるように、測距における分解能を見積もった。パルスＰＴの幅は１００ナノ秒（比較例）であると共に背景光に応答してフォトゲートが生成する電子（ＮＢ）は１０４、１０５であるとき、それぞれ、距離分解能σＬは０．０４０メートル、０．０４５メートルである。一方、本実施例では、パルスＰＴの幅は２５ナノ秒であると共に背景光に応答してフォトゲートが生成する電子（ＮＢ）は１０４、１０５であるとき、それぞれ、距離分解能σＬは０．０１０メートル、０．０１１メートルであった。パルス幅を短くすることによって、距離分解能を小さくできる。
（例２）：デューティ比
図１６を参照しながら、距離画像センサの一例を説明する。この距離画像センサでは、時間軸に沿ってフレームＦｒａｍｅ１〜Ｆｒａｍｅ４が配置されている。フレームＦｒａｍｅ１〜Ｆｒａｍｅ４の各々には、撮像ウインドウＡ、Ｂが設けられている。撮像ウインドウＡ、Ｂの幅は２５ナノ秒であり、撮像ウインドウＡはフレームの始点から７５ナノ秒でシフトされた時刻に合わせて配置されており、撮像ウインドウＢは撮像ウインドウＡの直後に配置されている。フレームＦｒａｍｅ１〜Ｆｒａｍｅ４には、それぞれ、例１と同様に、パルスＰＴ１〜ＰＴ４が設けられている。
フレームの幅に対する撮像ウインドウの幅の比率（デューティ比）を小さくして、ＴＯＦ測定期間における背景光のノイズの影響を低減できる。この低減によって距離分解能を改善できる。例２では、撮像ウインドウの幅が、例１における値に比べて１／４の２５ナノ秒であるので、撮像ウインドウにおいて不可避的に取り込まれる背景光を少なくなる。
発明者は、図１６（ｂ）に示されるように、測距における分解能を見積もった。読み出し回路のランダムノイズによる電子数（ＮＲ）及び背景光に応答してフォトゲートによって生成される電子（ＮＢ）がそれぞれ１００、１０５であり、また光源のパルスのデューティ比が０．１であるとき、１００ナノ秒（比較例）のパルスＰＴの距離画像センサの距離分解能を見積もった。距離分解能σＬは１５メートルの測距範囲に対して、約４．５センチメートル以下であった。
また、読み出し回路のランダムノイズによる電子数（ＮＲ）及び背景光に応答してフォトゲートによって生成され電子（ＮＢ）がそれぞれ１００、１０５であるとき、２５ナノ秒のパルスＰＴの距離画像センサの距離分解能を見積もった。光源パルスのデューティ比が０．１、０．０２５であるとき、距離分解能σＬは、それぞれ、１５メートルの測距範囲に対して、約１．１センチメートル以下、１センチメートル以下であった。光源パルスのデューティ比を小さくすることによって、距離分解能を小さくできる。
（例３）：線形応答領域
図１７を参照しながら、距離画像センサの一例を説明する。この距離画像センサでは、時間軸に沿ってフレームＦｒａｍｅ１〜Ｆｒａｍｅ７が配置されている。フレームＦｒａｍｅ１〜Ｆｒａｍｅ７の各々には、撮像ウインドウＡ、Ｂが設けられている。撮像ウインドウＡ、Ｂの幅は１００ナノ秒であり、撮像ウインドウＡはフレームの始点に合わせて配置されており、撮像ウインドウＢは撮像ウインドウＡの直後に配置されている。フレームＦｒａｍｅ１〜Ｆｒａｍｅ７には、例１と同様に、パルスＰＴ１〜ＰＴ７が設けられている。撮像ウインドウＡ、Ｂの幅は１００ナノ秒であり、飛行時間のためのパルスＰＴ１〜ＰＴ７の幅は２５ナノ秒である。
図１７（ｂ）に示されるように、遅れ時間がゼロ秒と１０ナノ秒の付近で、ピクセルからの信号が遅れ時間に対する線形な変化から外れている、この非線形性は距離精度を低下させている。遅れ時間の線形応答領域を測距に用いることによって、距離精度を所定の値に維持することができる。パルスＰＴ１〜ＰＴ７の幅とシフト量を調整して、パルスＰＴ１〜ＰＴ７の各々における線形領域を利用して、遅延時間と距離との関係から距離の決定を行うことができる。
フレームＦｒａｍｅ１では、パルスＰＴ１は撮像ウインドウＡ及び撮像ウインドウＢの切り替わり時刻を横切って設けられている。この時刻を基準にして、パルスＰＴ２の立ち下がりは＋３ナノ秒でシフトしている。フレームＦｒａｍｅ２では、パルスＰＴ２のシフト量は、パルスＰＴ１のシフト量に対して−４ナノ秒でシフトされている。フレームＦｒａｍｅ３は、パルスＰＴ３のシフト量は、パルスＰＴ２のシフト量に対して−４ナノ秒でシフトされている。同様に、パルスＰＴ４〜ＰＴ７も、それぞれ、隣接フレーム内のパルスＰＴ３〜ＰＴ６のシフト量を基準にして所定の調整量（−４ナノ秒）でシフトされている。故に、あるフレーム内の放射パルスのシフト量と隣接フレーム内の放射パルスのシフト量との差は、該放射パルス幅未満である。
この距離画像センサによれば、線形応答領域を用いるので、飛行時間の測定の全範囲において、距離精度を確保できる。
好適な実施の形態において本発明の原理を図示し説明してきたが、本発明は、そのような原理から逸脱することなく配置および詳細において変更され得ることは、当業者によって認識される。本発明は、本実施の形態に開示された特定の構成に限定されるものではない。したがって、特許請求の範囲およびその精神の範囲から来る全ての修正および変更に権利を請求する。
以上説明したように、本実施の形態は、レンジシフト動作に基づくＴＯＦ距離画像センサ及び方法に関しており、以下のように構成される。デューティ比の小さい、すなわち、短時間のパルス光を用い、検出する撮像ウインドウの期間以外の期間では電荷を蓄積せずに生成電荷を排出する。この構造に基づき、光パルスの発光タイミングと撮像ウインドウとの関係を相対的にずらして複数回の撮像を行って、複数の要素画像信号を生成する。これらの要素画像信号を合成することによって、所望の距離分解能を保つと共に、距離計測の範囲を広げることができる。また、本実施の形態に係る方法と装置によれば、電荷排出構造をもつ距離画像センサでは、短時間光パルスの発光タイミングを、撮像のための撮像ウインドウに対して、相対的にずらして撮像を行う。これらの画像を合成すると共に、これらの画像により距離を計測する。これによって、高い距離分解能をもちながら、距離計測範囲を広くできる。さらに、本実施の形態に係る距離画像センサ及び方法によれば、複数の撮像タイミングの各々において規定された撮像ウインドウを用いて、撮像タイミング毎の信号をピクセルから取り出す。これによって、1フレーム内の信号として、異なる値でレンジシフトされた複数の要素画像信号を取り出す。さらに、本実施の形態に係る距離画像センサ及び方法によれば、小さいパルス幅の測距パルスと使用するとき、１つの測距パルスでは線形に検出される範囲が狭くなる。これによる距離精度の低下を避けるために、互いのシフト量が異なるようにシフトした複数の測距パルスを用いると共に、測距範囲を互いに重ね合わせるように配列された測距パルスを用いて距離の計測を行う。これは、パルス毎を用いる測距に異なる測距範囲を割り付けると共に、測距パルスのシフト量差が測距パルスのパルス幅未満になるようにパルスを配列する。これによって、広い計測範囲で線形の計測を行うことができる。
図１は本実施の形態に係る飛行時間法による距離画像センサを示す図面である。 図２は、画像信号ＳＩＭＡＧＥを表示装置によって表示した画像を示す図面である。 図３は本実施の形態における距離画像センサのピクセル構造を示す図面である。 図４は、ピクセルの動作タイミングを示す図面である。 図５は、ピクセルの動作を概略的に示す図面である。 図６は、画像生成装置の構成を示す図面である。 図７は、ピクセル分配特性を示す図面である。 図８は、短パルスを用いたピクセル分配特性を示す図面である。 図９は放射パルス幅及び撮像ウインドウ幅と距離分解能との関係の図面である。 図１０は、一実施例の測距タイミングを示す図面である。 図１１は、ピクセルアレイと放射源とを用いて対象物に関する距離情報を含む撮像信号を飛行時間法により生成する方法の主要な工程を示す図面である。 図１２は、単一のフレームを用いる測距タイミング、及びパルスの遅延に応じて選択ゲートＴＸ１〜ＴＸ４の各々に生成される信号波形を示す図面である。 図１３は、本実施例に適用可能なピクセルの構造の平面図を示す図面である。 図１４は、複数のピクセルを含むピクセルアレイと飛行時間を計測するための放射源とを用いて対象物に関する距離情報を含む撮像信号を飛行時間法により生成する方法における主要な工程を示す図面である。 図１５は、距離画像センサの一例におけるタイミングを示す図面である。 図１６は、距離画像センサの一例におけるタイミングを示す図面である。 図１７は、距離画像センサの一例におけるタイミングを示す図面である。
符号の説明
１１…距離画像センサ、１３…放射源、１５…画像生成装置、１７…処理装置、１３ａ…半導体発光素子、１３ｂ…駆動回路、２１…制御装置、２３…ピクセルアレイ、２５…信号生成装置、２７…ピクセル、ＳＥ１〜ＳＥｎ…要素画像信号、ＳＩＭＡＧＥ…画像信号、ＷＰＵ１、ＷＰＵ２…第１及び第２の撮像ウインドウ、

Claims (11)

  1. 飛行時間法を用いる距離画像センサであって、
    飛行時間を計測するために対象物に照射する放射パルスを発生する放射源と、
    互いに異なる第１〜第ｎの飛行時間（ｎ＞１）に対応する第１〜第ｎの撮像タイミングを示す制御信号を生成する制御装置と、入射放射線に感応して電荷を生成する検出素子を含む複数のピクセルのピクセルアレイと、前記第１〜第ｎの撮像タイミングにそれぞれ対応する第１〜第ｎの要素画像信号を前記制御信号に応答して生成する信号生成装置とを有する画像生成装置と、
    前記第１〜第ｎの要素画像信号を合成して、前記対象物に関する距離情報を含む画像信号を生成する処理装置と
    を備え、
    各ピクセルの前記検出素子は、前記第１〜第ｎの撮像タイミングの各々における第１及び第２の撮像ウインドウにおいて該検出素子に入射する入射放射線に応じてそれぞれ第１及び第２の電荷を生成し、
    各ピクセルは、前記第１及び第２の撮像ウインドウに対応してそれぞれ前記第１及び第２の電荷から第１及び第２の要素信号を提供し、
    前記第１の撮像ウインドウは、基準時刻から規定された撮像時刻の直前にあり所定の時間幅を有しており、
    前記第２の撮像ウインドウは、前記撮像時刻の直後にあり所定の時間幅を有しており、
    前記第ｉの要素画像信号（１≦ｉ≦ｎ）は、前記第ｉの撮像タイミングにおける各ピクセルの前記第１及び第２の要素信号を含む、ことを特徴とする距離画像センサ。
  2. 前記放射源は、時間軸に関して順に配列された第１〜第ｎのフレームそれぞれにおいて対象物に照射される第１〜第ｎのパルスの列を前記放射パルスとして提供し、
    前記第１〜第ｎのパルスは、それぞれ、前記第１〜第ｎのフレームの始点から、互いに異なるシフト量でシフトされており、
    前記第１〜第ｎのフレームの各々において、前記撮像時刻は各フレームの始点から所定の時間で規定され、
    前記第１〜第ｎのフレームの各々は、前記第１及び第２の撮像ウインドウを含み、
    前記第１〜第ｎのパルスの各々の持続時間は、前記第１の撮像ウインドウの期間以下であり、
    前記第１〜第ｎのパルスの各々の持続時間は、前記第２の撮像ウインドウの期間以下である、ことを特徴とする請求項１に記載された距離画像センサ。
  3. 前記第１〜第ｎのフレームの各々は、前記第１及び第２の撮像ウインドウと、前記第１及び第２の撮像ウインドウと異なる電荷廃棄ウインドウとを含み、
    前記ピクセルは、前記電荷廃棄ウインドウにおいて、前記検出素子の電荷を廃棄する、ことを特徴とする請求項２に記載された距離画像センサ。
  4. 前記ピクセルは、前記第１〜第ｎの撮像タイミングにおける前記第１及び第２の撮像ウインドウにおいてそれぞれ導通し前記検出素子に接続された第１及び第２の転送ゲートと、前記検出素子に接続され前記電荷廃棄ウインドウに導通する第１及び第２の廃棄ゲートとを含み、
    前記検出素子は前記第１の転送ゲートと前記第２の転送ゲートとの間に位置し、
    前記検出素子は前記第１の廃棄ゲートと前記第２の廃棄ゲートとの間に位置する、ことを特徴とする請求項３に記載された距離画像センサ。
  5. 前記第１〜第ｎのパルスのパルス幅は、線形応答領域を用いて前記距離情報を含む画像信号を生成可能なように規定されている、ことを特徴とする請求項２〜請求項４のいずれか一項に記載された距離画像センサ。
  6. 前記放射源は、単一のフレームに単一のパルスを前記放射パルスとして提供し、
    前記第１〜第ｎの撮像タイミングは、前記フレーム内に位置し、
    前記第１〜第ｎの撮像タイミングの前記撮像時刻は、互いに異なるシフト量で前記単一のフレームの始点からシフトされており、
    前記第１の撮像タイミングの前記撮像時刻の直前には前記第１の撮像ウインドウが設けられ、
    前記第ｎの撮像タイミングの前記撮像時刻の直後には前記第２の撮像ウインドウが設けられ、
    前記第１〜第ｎの撮像タイミングのうちの第ｉの撮像タイミング（１≦ｉ＜ｎ−１）と第ｉ＋１の撮像タイミングとの間には、前記検出素子に入射する入射放射線に応じた電荷を取り込むためのウインドウが規定されており、
    前記ウインドウは、前記第１及び第２の撮像ウインドウのために兼用され、
    前記パルスの持続時間は、前記第１の撮像ウインドウの期間以下であり、
    前記パルスの各々の持続時間は、前記第２の撮像ウインドウの期間以下である、ことを特徴とする請求項１に記載された距離画像センサ。
  7. 前記単一のフレームは、前記第１及び第２の撮像ウインドウと、前記第１の撮像ウインドウ及び前記第２の撮像ウインドウと異なる電荷廃棄ウインドウとを含み、
    前記ピクセルは、前記電荷廃棄ウインドウにおいて、前記検出素子の電荷を廃棄する、ことを特徴とする請求項６に記載された距離画像センサ。
  8. 前記ピクセルは、前記検出素子の一方の側に配置された第１の群の第１〜第ｊの転送ゲートと、前記検出素子の他方の側に配置された第２の群の第ｊ＋１〜第ｎ＋１の転送ゲートと、前記検出素子に接続され前記電荷廃棄ウインドウに導通する第１及び第２の廃棄ゲートとを含み、
    前記第１〜第ｎ＋１の転送ゲートは、前記第１〜第ｎの撮像タイミングのいずれかにおいて導通し、
    前記検出素子は前記第１の廃棄ゲートと前記第２の廃棄ゲートとの間に位置する、ことを特徴とする請求項７に記載された距離画像センサ。
  9. 複数のピクセルを含むピクセルアレイと飛行時間を計測するための放射源とを用いて対象物に関する距離情報を含む撮像信号を飛行時間法により生成する方法であって、
    前記ピクセルアレイの検出素子を用いて、互いに異なる第１〜第ｎの飛行時間（ｎ＞１）で複数の撮像を行って、第１〜第ｎの要素画像信号を生成するステップと、
    前記第１〜第ｎの要素画像信号を合成して、前記対象物に関する距離情報を含む画像信号を生成するステップと
    を備え、
    各ピクセルは、前記第１〜第ｎの撮像タイミングにおける第１及び第２の撮像ウインドウにおいてそれぞれ第１及び第２の電荷を生成し、
    前記第１の撮像ウインドウは、基準時刻から規定された撮像時刻の直前にあり所定の時間幅を有しており、
    前記第２の撮像ウインドウは、前記撮像時刻の直後にあり所定の時間幅を有しており、
    各ピクセルは、前記第１及び第２の電荷の量にそれぞれ対応する第１及び第２の要素信号を提供し、
    前記第ｉの要素画像信号（１≦ｉ≦ｎ）は、前記第ｉの撮像タイミングにおける前記複数のピクセルの前記第１及び第２の要素信号を含む、ことを特徴とする方法。
  10. 前記第１〜第ｎの要素画像信号を生成する前記ステップは、飛行時間を計測するための放射パルスを対象物に照射するステップを含み、
    前記放射パルスの照射では、時間軸に関して順に配列された第１〜第ｎのフレームそれぞれにおいて対象物に照射するための第１〜第ｎのパルスが出射され、
    前記第１〜第ｎのパルスは、それぞれ、前記第１〜第ｎのフレームの始点から、互いに異なるシフト量でシフトされており、
    前記第１〜第ｎのフレームの各々において、前記基準時刻は各フレームの始点であり、
    前記第１〜第ｎのフレームの各々は、前記第１及び前記第２の撮像ウインドウを含み、
    前記第１〜第ｎのパルスの各々の持続時間は、前記第１の撮像ウインドウの期間以下であり、
    前記第１〜第ｎのパルスの各々の持続時間は、前記第２の撮像ウインドウの期間以下である、ことを特徴とする請求項９に記載された方法。
  11. 前記第１〜第ｎの要素画像信号を生成する前記ステップは、飛行時間を計測するための放射パルスを対象物に照射するステップを含み、
    前記放射パルス照射では、単一のフレームに単一のパルスが出射され、
    前記第１〜第ｎの撮像タイミングは、前記単一のフレーム内に位置し、
    前記第１〜第ｎの撮像タイミングは、前記単一のフレームの始点から、互いに異なるシフト量でシフトされており、
    前記第１及び第２の撮像ウインドウの各々は、前記第１〜第ｎの撮像タイミングのうち隣接する撮像タイミングの間に設けられている、ことを特徴とする請求項９に記載された方法。
JP2008196616A 2008-07-30 2008-07-30 距離画像センサ、及び撮像信号を飛行時間法により生成する方法 Active JP5585903B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008196616A JP5585903B2 (ja) 2008-07-30 2008-07-30 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
US13/056,697 US8537218B2 (en) 2008-07-30 2009-07-30 Distance image sensor and method for generating image signal by time-of-flight method
PCT/JP2009/063582 WO2010013779A1 (ja) 2008-07-30 2009-07-30 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
EP09803021A EP2322953B1 (en) 2008-07-30 2009-07-30 Distance image sensor and method for generating image signal by time-of-flight method
KR1020117002911A KR101508410B1 (ko) 2008-07-30 2009-07-30 거리 화상 센서, 및 촬상 신호를 비행시간법에 의해 생성하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008196616A JP5585903B2 (ja) 2008-07-30 2008-07-30 距離画像センサ、及び撮像信号を飛行時間法により生成する方法

Publications (2)

Publication Number Publication Date
JP2010032425A true JP2010032425A (ja) 2010-02-12
JP5585903B2 JP5585903B2 (ja) 2014-09-10

Family

ID=41610477

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008196616A Active JP5585903B2 (ja) 2008-07-30 2008-07-30 距離画像センサ、及び撮像信号を飛行時間法により生成する方法

Country Status (5)

Country Link
US (1) US8537218B2 (ja)
EP (1) EP2322953B1 (ja)
JP (1) JP5585903B2 (ja)
KR (1) KR101508410B1 (ja)
WO (1) WO2010013779A1 (ja)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012084697A (ja) * 2010-10-12 2012-04-26 Hamamatsu Photonics Kk 距離センサ及び距離画像センサ
JP2012216692A (ja) * 2011-03-31 2012-11-08 Honda Motor Co Ltd 単位画素及び固体撮像装置並びに単位画素の信号加算方法
JP2013076645A (ja) * 2011-09-30 2013-04-25 Stanley Electric Co Ltd 距離画像生成装置および距離画像生成方法
US8569804B2 (en) 2011-03-31 2013-10-29 Honda Motor Co., Ltd. Light receiving device
US8748951B2 (en) 2011-03-31 2014-06-10 Honda Motor Co., Ltd. Solid-state image sensing device
WO2014132767A1 (ja) * 2013-02-28 2014-09-04 株式会社テクノロジーハブ 距離画像センサ
JP2014185995A (ja) * 2013-03-25 2014-10-02 National Univ Corp Shizuoka Univ 画素回路及び撮像素子
JP2015043488A (ja) * 2013-08-26 2015-03-05 清水建設株式会社 遠隔操作装置及びそれを用いた遠隔施工方法
US9018573B2 (en) 2011-03-31 2015-04-28 Honda Motor Co., Ltd. Solid-state image sensing device with a change-over switch
WO2015118884A1 (ja) * 2014-02-07 2015-08-13 国立大学法人静岡大学 電荷変調素子及び固体撮像装置
JP2015210176A (ja) * 2014-04-25 2015-11-24 キヤノン株式会社 撮像装置及び撮像装置の駆動方法
US9204143B2 (en) 2013-03-15 2015-12-01 Samsung Electronics Co., Ltd. Image sensor, operation method thereof, and system including the same
JP2016090435A (ja) * 2014-11-06 2016-05-23 株式会社デンソー 光飛行型測距装置
JP2016095234A (ja) * 2014-11-14 2016-05-26 株式会社デンソー 光飛行型測距装置
JP2016099233A (ja) * 2014-11-21 2016-05-30 株式会社デンソー 光飛行型測距装置
KR101666020B1 (ko) 2010-06-25 2016-10-25 삼성전자주식회사 깊이 영상 생성 장치 및 그 방법
WO2016208214A1 (ja) * 2015-06-24 2016-12-29 株式会社村田製作所 距離センサ
JP2017022259A (ja) * 2015-07-10 2017-01-26 株式会社ニコン 撮像素子および撮像装置
KR20170121241A (ko) * 2015-03-31 2017-11-01 구글 엘엘씨 비행 시간 측정의 프레임 레이트를 증가시키기 위한 방법 및 장치
WO2019078366A1 (ja) * 2017-10-20 2019-04-25 国立大学法人静岡大学 距離画像測定装置及び距離画像測定方法
JP2019109240A (ja) * 2017-12-19 2019-07-04 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ピクセル及びイメージセンサーの動作方法並びにシステム
WO2020021590A1 (ja) * 2018-07-23 2020-01-30 オリンパス株式会社 内視鏡装置
CN110779459A (zh) * 2018-07-24 2020-02-11 三星电子株式会社 图像传感器、成像单元和生成灰阶图像的方法
WO2020116035A1 (ja) * 2018-12-06 2020-06-11 パナソニックＩｐマネジメント株式会社 距離情報取得装置、距離情報取得方法、およびプログラム
WO2020116036A1 (ja) * 2018-12-06 2020-06-11 パナソニックＩｐマネジメント株式会社 物体認識装置、物体認識方法、およびプログラム
US10838066B2 (en) 2015-12-08 2020-11-17 Panasonic Intellectual Property Management Co., Ltd. Solid-state imaging device, distance measurement device, and distance measurement method
WO2020262476A1 (ja) 2019-06-25 2020-12-30 国立大学法人静岡大学 距離画像測定装置
US11169270B2 (en) 2017-03-29 2021-11-09 Panasonic Intellectual Property Management Co., Ltd. Solid-state imaging device
JP2022019558A (ja) * 2020-07-15 2022-01-27 三星電子株式会社 マルチタブ構造を有する距離ピクセル及びこれを含むタイムオブフライトセンサ
US11294039B2 (en) * 2018-07-24 2022-04-05 Samsung Electronics Co., Ltd. Time-resolving image sensor for range measurement and 2D greyscale imaging
US11442169B2 (en) 2017-08-08 2022-09-13 National University Corporation Shizuoka University Distance-image-measuring apparatus and distance-image-measuring method
WO2023199979A1 (ja) * 2022-04-13 2023-10-19 凸版印刷株式会社 距離画像撮像装置、及び距離画像撮像方法
JP2023156731A (ja) * 2022-04-13 2023-10-25 Ｔｏｐｐａｎホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法
US12422530B2 (en) 2019-11-01 2025-09-23 Miraxia Edge Technology Corporation Ranging device and ranging method

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009037596B4 (de) 2009-08-14 2014-07-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Pixelstruktur, System und Verfahren zur optischen Abstandsmessung sowie Steuerschaltung für die Pixelstruktur
GB2486208A (en) 2010-12-06 2012-06-13 Melexis Tessenderlo Nv Demodulation sensor and method for detection and demodulation of temporarily modulated electromagnetic fields for use in Time of Flight applications.
GB2492848A (en) * 2011-07-15 2013-01-16 Softkinetic Sensors Nv Optical distance measurement
KR101863626B1 (ko) 2011-11-02 2018-07-06 삼성전자주식회사 영상 처리 장치 및 방법
US8642938B2 (en) 2012-01-13 2014-02-04 Omnivision Technologies, Inc. Shared time of flight pixel
US8686367B2 (en) 2012-03-01 2014-04-01 Omnivision Technologies, Inc. Circuit configuration and method for time of flight sensor
US20130235160A1 (en) * 2012-03-06 2013-09-12 Microsoft Corporation Optical pulse shaping
US10324033B2 (en) 2012-07-20 2019-06-18 Samsung Electronics Co., Ltd. Image processing apparatus and method for correcting an error in depth
US9786252B2 (en) 2012-09-10 2017-10-10 Samsung Electronics Co., Ltd. Method and apparatus for suppressing background light in time of flight sensor
FR2998683B1 (fr) * 2012-11-27 2016-01-15 Saint Louis Inst Procede d imagerie 3d
KR102007277B1 (ko) 2013-03-11 2019-08-05 삼성전자주식회사 3차원 이미지 센서의 거리 픽셀 및 이를 포함하는 3차원 이미지 센서
US9134114B2 (en) 2013-03-11 2015-09-15 Texas Instruments Incorporated Time of flight sensor binning
US10216266B2 (en) * 2013-03-14 2019-02-26 Qualcomm Incorporated Systems and methods for device interaction based on a detected gaze
KR102061699B1 (ko) 2013-06-19 2020-01-02 삼성전자주식회사 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이의 동작 방법
CN103412314B (zh) * 2013-08-01 2015-07-29 清华大学 一种基于天体辐射信号相干性的成像方法
US9182490B2 (en) 2013-11-27 2015-11-10 Semiconductor Components Industries, Llc Video and 3D time-of-flight image sensors
US9523765B2 (en) * 2014-07-14 2016-12-20 Omnivision Technologies, Inc. Pixel-level oversampling for a time of flight 3D image sensor with dual range measurements
US10422879B2 (en) 2014-11-14 2019-09-24 Denso Corporation Time-of-flight distance measuring device
CN104914446B (zh) * 2015-06-19 2017-06-27 南京理工大学 基于光子计数的三维距离图像时域实时去噪方法
US10620300B2 (en) 2015-08-20 2020-04-14 Apple Inc. SPAD array with gated histogram construction
EP3159711A1 (en) * 2015-10-23 2017-04-26 Xenomatix NV System and method for determining a distance to an object
JPWO2017085916A1 (ja) * 2015-11-16 2018-09-06 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子
FR3043796A1 (ja) 2015-11-16 2017-05-19 Stmicroelectronics (Grenoble 2) Sas
FR3043797A1 (ja) * 2015-11-16 2017-05-19 Stmicroelectronics (Grenoble 2) Sas
KR102512729B1 (ko) * 2015-12-24 2023-03-22 엘지전자 주식회사 야간 영상표시 장치 및 그 영상처리 방법
WO2017138032A1 (en) 2016-02-08 2017-08-17 Denso Corporation Time-of-flight distance measuring device and method for detecting multipath error
JP6631718B2 (ja) 2016-02-08 2020-01-15 株式会社デンソー マルチパス誤差を検出するための飛行時間型距離測定装置及び方法
WO2017141957A1 (ja) 2016-02-17 2017-08-24 パナソニックＩｐマネジメント株式会社 距離測定装置
US12146960B2 (en) * 2016-03-01 2024-11-19 Brightway Vision Ltd. Gated imaging apparatus, system and method
EP3301477A1 (en) 2016-10-03 2018-04-04 Xenomatix NV System for determining a distance to an object
EP3301478A1 (en) 2016-10-03 2018-04-04 Xenomatix NV System for determining a distance to an object
EP3301480A1 (en) 2016-10-03 2018-04-04 Xenomatix NV System and method for determining a distance to an object
EP3301479A1 (en) 2016-10-03 2018-04-04 Xenomatix NV Method for subtracting background light from an exposure value of a pixel in an imaging array, and pixel for use in same
US10291895B2 (en) 2016-10-25 2019-05-14 Omnivision Technologies, Inc. Time of flight photosensor
EP3343246A1 (en) 2016-12-30 2018-07-04 Xenomatix NV System for characterizing surroundings of a vehicle
EP3392674A1 (en) * 2017-04-23 2018-10-24 Xenomatix NV A pixel structure
JP2018185179A (ja) * 2017-04-25 2018-11-22 株式会社リコー 測距装置、監視装置、３次元計測装置、移動体、ロボット及び測距方法
EP3646057A1 (en) 2017-06-29 2020-05-06 Apple Inc. Time-of-flight depth mapping with parallax compensation
EP3550329A1 (en) 2018-04-04 2019-10-09 Xenomatix NV System and method for determining a distance to an object
JP7253556B2 (ja) 2017-12-15 2023-04-06 ゼノマティクス・ナムローゼ・フエンノートシャップ 物体までの距離を測定するためのシステムおよび方法
WO2019125349A1 (en) 2017-12-18 2019-06-27 Montrose Laboratories Llc Time-of-flight sensing using an addressable array of emitters
CN113330328B (zh) 2019-02-11 2024-06-14 苹果公司 深度感测方法及装置
KR102646902B1 (ko) * 2019-02-12 2024-03-12 삼성전자주식회사 거리 측정을 위한 이미지 센서
US11500094B2 (en) 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
CN110276286B (zh) * 2019-06-13 2022-03-04 中国电子科技集团公司第二十八研究所 一种基于tx2的嵌入式全景视频拼接系统
US11555900B1 (en) 2019-07-17 2023-01-17 Apple Inc. LiDAR system with enhanced area coverage
KR102887078B1 (ko) 2019-11-07 2025-11-18 삼성전자주식회사 깊이의 측정 범위에 기초하여 동작하는 센서 및 이를 포함하는 센싱 시스템
US11733359B2 (en) * 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
KR20220018215A (ko) * 2020-08-06 2022-02-15 삼성전자주식회사 비행 거리 센서 및 비행 거리 센서의 거리 측정 방법
DE102020132868A1 (de) * 2020-12-09 2022-06-09 Ifm Electronic Gmbh Lichtlaufzeitpixel mit Ladungsspeicher
US12442926B2 (en) 2021-02-04 2025-10-14 Apple Inc. Time-of-flight depth sensing with improved linearity
US12196860B2 (en) 2021-03-02 2025-01-14 Apple Inc. Depth sensor calibration using internal reflections
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09178853A (ja) * 1995-12-25 1997-07-11 Hitachi Ltd イメージングレーザー測距装置
JP2004538491A (ja) * 2001-08-06 2004-12-24 シーメンス　アクチエンゲゼルシヤフト 三次元距離画像を記録するための方法及び装置
WO2007026779A1 (ja) * 2005-08-30 2007-03-08 National University Corporation Shizuoka University 半導体測距素子及び固体撮像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR900019510A (ko) * 1989-05-31 1990-12-24 강진구 디지탈 화상처리장치에 있어서 신호지연 조정방식
DE4440613C1 (de) 1994-11-14 1996-07-25 Leica Ag Vorrichtung und Verfahren zur Detektion und Demodulation eines intensitätsmodulierten Strahlungsfeldes
WO1997028641A1 (en) 1996-01-22 1997-08-07 California Institute Of Technology Active pixel sensor array with multiresolution readout
US5986297A (en) 1996-05-22 1999-11-16 Eastman Kodak Company Color active pixel sensor with electronic shuttering, anti-blooming and low cross-talk
JP3874135B2 (ja) 1997-12-05 2007-01-31 株式会社ニコン 固体撮像素子
US6323942B1 (en) 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
JP4530571B2 (ja) * 2001-04-16 2010-08-25 Ｈｏｙａ株式会社 ３次元画像検出装置
CA2554955C (en) * 2004-02-04 2010-09-14 Elbit Systems Ltd. Gated imaging
JP4280822B2 (ja) 2004-02-18 2009-06-17 国立大学法人静岡大学 光飛行時間型距離センサ
WO2008152647A2 (en) * 2007-06-15 2008-12-18 Ben Gurion University Of The Negev Research And Development Authority Three-dimensional imaging method and apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09178853A (ja) * 1995-12-25 1997-07-11 Hitachi Ltd イメージングレーザー測距装置
JP2004538491A (ja) * 2001-08-06 2004-12-24 シーメンス　アクチエンゲゼルシヤフト 三次元距離画像を記録するための方法及び装置
WO2007026779A1 (ja) * 2005-08-30 2007-03-08 National University Corporation Shizuoka University 半導体測距素子及び固体撮像装置

Cited By (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101666020B1 (ko) 2010-06-25 2016-10-25 삼성전자주식회사 깊이 영상 생성 장치 및 그 방법
US8976338B2 (en) 2010-10-12 2015-03-10 Hamamatsu Photonics K.K. Range sensor and range image sensor
JP2012084697A (ja) * 2010-10-12 2012-04-26 Hamamatsu Photonics Kk 距離センサ及び距離画像センサ
KR102052753B1 (ko) 2010-10-12 2019-12-05 하마마츠 포토닉스 가부시키가이샤 거리 센서 및 거리 화상 센서
KR20130121691A (ko) * 2010-10-12 2013-11-06 하마마츠 포토닉스 가부시키가이샤 거리 센서 및 거리 화상 센서
US9018573B2 (en) 2011-03-31 2015-04-28 Honda Motor Co., Ltd. Solid-state image sensing device with a change-over switch
US8569804B2 (en) 2011-03-31 2013-10-29 Honda Motor Co., Ltd. Light receiving device
US8748951B2 (en) 2011-03-31 2014-06-10 Honda Motor Co., Ltd. Solid-state image sensing device
US9054014B2 (en) 2011-03-31 2015-06-09 Honda Motor Co., Ltd. Unit pixel for accurately removing reset noise, solid-state image sensing device, and method for summing unit pixel signals
JP2012216692A (ja) * 2011-03-31 2012-11-08 Honda Motor Co Ltd 単位画素及び固体撮像装置並びに単位画素の信号加算方法
JP2013076645A (ja) * 2011-09-30 2013-04-25 Stanley Electric Co Ltd 距離画像生成装置および距離画像生成方法
JPWO2014132767A1 (ja) * 2013-02-28 2017-02-02 株式会社テクノロジーハブ 距離画像センサ
WO2014132767A1 (ja) * 2013-02-28 2014-09-04 株式会社テクノロジーハブ 距離画像センサ
US9204143B2 (en) 2013-03-15 2015-12-01 Samsung Electronics Co., Ltd. Image sensor, operation method thereof, and system including the same
JP2014185995A (ja) * 2013-03-25 2014-10-02 National Univ Corp Shizuoka Univ 画素回路及び撮像素子
JP2015043488A (ja) * 2013-08-26 2015-03-05 清水建設株式会社 遠隔操作装置及びそれを用いた遠隔施工方法
WO2015118884A1 (ja) * 2014-02-07 2015-08-13 国立大学法人静岡大学 電荷変調素子及び固体撮像装置
US10230914B2 (en) 2014-02-07 2019-03-12 National University Corporation Shizuoka University Charge modulation element and solid-state imaging device
JPWO2015118884A1 (ja) * 2014-02-07 2017-03-23 国立大学法人静岡大学 電荷変調素子及び固体撮像装置
JP2015210176A (ja) * 2014-04-25 2015-11-24 キヤノン株式会社 撮像装置及び撮像装置の駆動方法
JP2016090435A (ja) * 2014-11-06 2016-05-23 株式会社デンソー 光飛行型測距装置
JP2016095234A (ja) * 2014-11-14 2016-05-26 株式会社デンソー 光飛行型測距装置
JP2016099233A (ja) * 2014-11-21 2016-05-30 株式会社デンソー 光飛行型測距装置
KR20170121241A (ko) * 2015-03-31 2017-11-01 구글 엘엘씨 비행 시간 측정의 프레임 레이트를 증가시키기 위한 방법 및 장치
JPWO2016208214A1 (ja) * 2015-06-24 2017-10-26 株式会社村田製作所 距離センサ
WO2016208214A1 (ja) * 2015-06-24 2016-12-29 株式会社村田製作所 距離センサ
US10794695B2 (en) 2015-06-24 2020-10-06 Murata Manufacturing Co., Ltd. Range sensor
JP2017022259A (ja) * 2015-07-10 2017-01-26 株式会社ニコン 撮像素子および撮像装置
US10838066B2 (en) 2015-12-08 2020-11-17 Panasonic Intellectual Property Management Co., Ltd. Solid-state imaging device, distance measurement device, and distance measurement method
US11169270B2 (en) 2017-03-29 2021-11-09 Panasonic Intellectual Property Management Co., Ltd. Solid-state imaging device
US11442169B2 (en) 2017-08-08 2022-09-13 National University Corporation Shizuoka University Distance-image-measuring apparatus and distance-image-measuring method
JPWO2019078366A1 (ja) * 2017-10-20 2020-12-03 国立大学法人静岡大学 距離画像測定装置及び距離画像測定方法
US11405577B2 (en) 2017-10-20 2022-08-02 National University Corporation Shizuoka University Distance image measurement device and distance image measurement method
JP7194443B2 (ja) 2017-10-20 2022-12-22 国立大学法人静岡大学 距離画像測定装置及び距離画像測定方法
WO2019078366A1 (ja) * 2017-10-20 2019-04-25 国立大学法人静岡大学 距離画像測定装置及び距離画像測定方法
JP2019109240A (ja) * 2017-12-19 2019-07-04 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ピクセル及びイメージセンサーの動作方法並びにシステム
WO2020021590A1 (ja) * 2018-07-23 2020-01-30 オリンパス株式会社 内視鏡装置
JPWO2020021590A1 (ja) * 2018-07-23 2021-08-02 オリンパス株式会社 内視鏡装置
US11992192B2 (en) 2018-07-23 2024-05-28 Olympus Corporation Endoscope apparatus
US11988777B2 (en) * 2018-07-24 2024-05-21 Samsung Electronics Co., Ltd. Time-resolving image sensor for range measurement and 2D greyscale imaging
CN110779459B (zh) * 2018-07-24 2022-08-05 三星电子株式会社 图像传感器、成像单元和生成灰阶图像的方法
TWI801572B (zh) * 2018-07-24 2023-05-11 南韓商三星電子股份有限公司 影像感測器、成像單元及生成灰階影像的方法
US11294039B2 (en) * 2018-07-24 2022-04-05 Samsung Electronics Co., Ltd. Time-resolving image sensor for range measurement and 2D greyscale imaging
US20220146683A1 (en) * 2018-07-24 2022-05-12 Samsung Electronics Co., Ltd. Time-resolving image sensor for range measurement and 2d greyscale imaging
CN110779459A (zh) * 2018-07-24 2020-02-11 三星电子株式会社 图像传感器、成像单元和生成灰阶图像的方法
WO2020116035A1 (ja) * 2018-12-06 2020-06-11 パナソニックＩｐマネジメント株式会社 距離情報取得装置、距離情報取得方法、およびプログラム
US12222421B2 (en) 2018-12-06 2025-02-11 Panasonic Intellectual Property Management Co., Ltd. Object recognition apparatus, object recognition method, and non-transitory computer readable medium
WO2020116036A1 (ja) * 2018-12-06 2020-06-11 パナソニックＩｐマネジメント株式会社 物体認識装置、物体認識方法、およびプログラム
US12146955B2 (en) 2018-12-06 2024-11-19 Panasonic Intellectual Property Management Co., Ltd. Range-information acquiring apparatus, range-information acquiring method, and non-transitory computer-readable medium
JP7531140B2 (ja) 2018-12-06 2024-08-09 パナソニックＩｐマネジメント株式会社 距離情報取得装置、距離情報取得方法、およびプログラム
JPWO2020116035A1 (ja) * 2018-12-06 2021-10-28 パナソニックＩｐマネジメント株式会社 距離情報取得装置、距離情報取得方法、およびプログラム
WO2020262476A1 (ja) 2019-06-25 2020-12-30 国立大学法人静岡大学 距離画像測定装置
US12429585B2 (en) 2019-06-25 2025-09-30 National University Corporation Shizuoka University Distance image measuring device
US12422530B2 (en) 2019-11-01 2025-09-23 Miraxia Edge Technology Corporation Ranging device and ranging method
CN114019527A (zh) * 2020-07-15 2022-02-08 三星电子株式会社 具有多抽头结构的深度像素和包括深度像素的飞行时间传感器
JP2022019558A (ja) * 2020-07-15 2022-01-27 三星電子株式会社 マルチタブ構造を有する距離ピクセル及びこれを含むタイムオブフライトセンサ
JP2023156731A (ja) * 2022-04-13 2023-10-25 Ｔｏｐｐａｎホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法
WO2023199979A1 (ja) * 2022-04-13 2023-10-19 凸版印刷株式会社 距離画像撮像装置、及び距離画像撮像方法
JP7790260B2 (ja) 2022-04-13 2025-12-23 Ｔｏｐｐａｎホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法

Also Published As

Publication number Publication date
US8537218B2 (en) 2013-09-17
US20110157354A1 (en) 2011-06-30
KR20110044862A (ko) 2011-05-02
EP2322953A1 (en) 2011-05-18
JP5585903B2 (ja) 2014-09-10
EP2322953B1 (en) 2013-01-30
KR101508410B1 (ko) 2015-04-07
EP2322953A4 (en) 2012-01-25
WO2010013779A1 (ja) 2010-02-04

Similar Documents

Publication Publication Date Title
JP5585903B2 (ja) 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
JP7657885B2 (ja) 光検出装置および光検出システム
JP6501403B2 (ja) イメージセンサ
US11543501B2 (en) Method for subtracting background light from an exposure value of a pixel in an imaging array, and pixel for use in same
US9025139B2 (en) Photoelectric conversion element, light receiving device, light receiving system, and distance measuring device
JP6265346B2 (ja) 距離計測装置
JP7242234B2 (ja) 光検出装置、光検出システム
US8947645B2 (en) Photoelectric conversion element, light receiving device, light receiving system, and distance measuring device
US10498991B2 (en) High dynamic range pixel and a method for operating it
US8947646B2 (en) Photoelectric conversion element, light receiving device, light receiving system, and distance measuring device
CN103155150B (zh) 距离传感器以及距离图像传感器
JP7114244B2 (ja) 光検出装置、光検出システム、及び移動体
JP2020150128A (ja) センサ及び距離計測装置
JP2022049838A (ja) 光検出器及び距離測定装置
JP7182978B2 (ja) 光検出装置、光検出システム
CN112868108B (zh) 光检测元件和光检测装置
JP6953595B1 (ja) 距離画像取得装置及び距離画像取得方法
WO2013128723A1 (ja) 距離センサ及び距離画像センサ
Halin et al. A review on solid state time of flight TOF range image sensors
WO2023161529A1 (en) Depth scanning image sensor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140711

R150 Certificate of patent or registration of utility model

Ref document number: 5585903

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250