JP2017520134A - 光学的イベントを感知する方法とそのための光学的イベントセンサ、及び距離測定モバイル装置 - Google Patents

光学的イベントを感知する方法とそのための光学的イベントセンサ、及び距離測定モバイル装置 Download PDF

Info

Publication number
JP2017520134A
JP2017520134A JP2016561822A JP2016561822A JP2017520134A JP 2017520134 A JP2017520134 A JP 2017520134A JP 2016561822 A JP2016561822 A JP 2016561822A JP 2016561822 A JP2016561822 A JP 2016561822A JP 2017520134 A JP2017520134 A JP 2017520134A
Authority
JP
Japan
Prior art keywords
array
information acquisition
pixel
signal
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016561822A
Other languages
English (en)
Other versions
JP6483725B2 (ja
JP2017520134A5 (ja
Inventor
ディーン,ピーター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2017520134A publication Critical patent/JP2017520134A/ja
Publication of JP2017520134A5 publication Critical patent/JP2017520134A5/ja
Application granted granted Critical
Publication of JP6483725B2 publication Critical patent/JP6483725B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • G01S17/48Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H04N25/773Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters comprising photon counting circuits, e.g. single photon detection [SPD] or single photon avalanche diodes [SPAD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

バイナリイベントに基づくイメージセンサを利用して物体までの距離を測定する装置及び方法に関する。1つの側面で、イメージセンサはメモリ回路及びアドレスデコード回路を含む。1つの側面で、1つ以上の光子の受信によるイメージセンサアレイのフォトダイオードの活性化は、論理回路に対する入力として直接的に利用できる。1つの実施形態で、イメージセンサはアバランシェフォトダイオードモード又はガイガー(Geiger)モードで動作するフォトダイオードを含む。1つの実施形態で、イメージセンサは閾値が組み込まれた画素として作動するフォトダイオードを含む。イメージセンサは少なくとも第1及び第2電圧部分を有する1つ以上の基板から製造される。【選択図】図1

Description

本発明は集積回路分野において、光学的イベントを感知する方法とそのための光学的イベントセンサに係り、特に、物体の距離を測定するアバランシェフォトダイオード(avalanche photodiodes)に基づく、高解像度、高フレーム率、低電力イメージセンサに関する。
レンジング(ranging)は、検出器から関心物体までの距離を決定する方法である。従来のレンジングシステムは近接センシング、遠隔センシング、及び/又は3次元(3D)イメージングを含む1つ以上の機能を提供する。このシステムは一般的に関心物体を照らす情報獲得(interrogation)ソース(例えば、光源)及び情報獲得ソース及び前記物体間の相互作用から復帰信号(return signal)を記録するためのイメージセンサアレイ(例えば、Complementary Metal Oxide Semiconductor(CMOS)イメージセンサアレイ)を含む。
従来の光情報獲得システム(light interrogation systems)は、順次的フレーム基盤イメージセンサを利用してイメージをキャプチャし、キャプチャされたイメージにイメージ処理及びパターン認識アルゴリズムを適用する。前記アルゴリズムは典型的に投射放送パターン(projected broadcast patterns、例えば、構造化光)又は情報獲得ソースの位相相関ビームスイープ(phase correlated beam sweeps)に関する知識に基づく。
各々の画素の制限された感光度のため、典型的なイメージセンサは充分な信号対雑音比(signal−to−noise ratio、SNR)の光学的信号を設定するために各々の画素上に多数の光子(例えば、1000個以上の光子)の集積を要求する。従来イメージセンサのSNR要件は結局光源のパワーに対する要求を生成する(例えば、情報獲得ビームは例示的に可視光線波長範囲及び/又は赤外線波長範囲である)。換言すると、スキャンした環境(又は物体)に関する意味ある情報を取出すためには、情報獲得ビームは感知のための充分な数の光子を提供しなければならない。
増加された感光度を有するイメージセンサ(例えば、アバランシェフォトダイオードを含む)は情報獲得ソースからの少数の入射光子に対する信号感知を可能にするが、また背景雑音(background noise)に対して、よりに敏感になる。関心物体に対する距離が大きい時、情報獲得ソースからの光子は大きい飛行時間(time−of−flight、TOF)を有する。
関心物体から反射(又は後方散乱)された光に基づくシステムにとって、情報獲得ソースの放射性消失減衰(1/R、ここでR=往復経路(out−and−back path)に起因する距離)は、長距離に亘り感知可能に充分なSNRを提供するためには、大きい情報獲得ソースパワーを要求する。このようなシナリオで“場面”(即ち、関心物体)からの信号が背景(例えば、澄んだ晴れた日の大きい放射)によって覆われてしまい、これは関心物体から戻って来る情報獲得信号の受信に先立ってイメージセンサ内にあるフォトダイオードの活性化を引き起こす。
伝統的に、TOFレンジング問題(issue)、特に消耗パワー(典型的には、情報獲得物体までの距離に比例)問題は、他のシステム構成要素のサイズと並んで、特に、手に持って使うデバイス,ウェアラブル、及び/又は仮想現実及び/又は拡張現実のためのアプリケーションのような小形状因子(small_form_factor)デバイスの使用を制限する。従来のTOF基盤システムはモバイルフォン、ウェアラブル、及び他のモバイルアプリケーションに適用されるのにはあまりにも(待機時間及びフレーム率に関して)パワー消費が大きい(hungry)か、速度が遅い。
従来のシステムでは、全体イメージセンサアレイ(即ち、全画素)が、グレースケールイメージを発達させるためにサンプリングされる。高画質(多数のピクセル、例えば、1280x720)のイメージセンサを使用する時はデータ流れがあまりにも大きいので、このような方式において低いパワーで高フレーム率を達成することは不可能である。
さらに、高解像度を有するイメージセンサは一般的にメモリインスパイアドアレイアドレス(memory−inspired array address)及び読出し構造を利用しているので、利用可能な時間情報を厳格に制限し、この時間情報はセンサに光子が到着する時間と関係している。膨大な量の画素データが、従来のイメージセンサの場合、関心イベントを探すためにより分けられなければならず、パワーの面から見て非常に非効率的な方法である。さらに、光の非常に速い速度(約0.3m/ns)を考慮すれば、微細なタイミング解像度(例えば、0.5ns)を達成できるシステムであっても空間的解像度が0.15mに制限され、これは多くのアプリケーションに対してはあまりにも未解決のままの問題である。
本発明の目的は、対象物体迄の距離情報を獲得するために利用できる、高解像度、高フレーム率、低電力のイメージセンサを含む光学的イベントセンサを提供することにある。
本発明の一実施形態による光学的イベント感知方法は、光学的情報獲得ビームを用いて物体から情報獲得する(interrogate)段階と、前記光子情報獲得ビームの活性化と実質的に同時に画素のアレイを活性化し、前記画素は、アバランシェフォトダイオードを含み、アバランシェフォトダイオードの電圧バイアスレベルは、ガイガーモード及びアバランシェモードの中の1つにおける画素駆動に対応する段階と、前記アレイにおいて、前記情報獲得された前記物体から反射されたビームを受信する段階と、前記反射されたビームが入射する位置に対応する信号を生成し、前記信号は、画素アレイアドレス、及び前記光子情報獲得ビームと前記反射されるビームとの間のTOF(time−of−flight)の内の少なくとも1つに対応する段階と、前記信号に基づいて物体までの距離を測定する段階と、含む。
好ましくは、
前記情報獲得する段階は、前記光子情報獲得ビームの制御された角度で遂行され、前記情報獲得ビームを放出する情報獲得ソースと、前記アレイとは、制御された距離だけ互いに離隔して配置され、前記物体迄の距離を決定する段階は、前記制御された角度、前記制御された距離、及び、前記反射されたビームの前記画素アレイアドレスによって決定される入射角度を三角測量することに基づく。
前記アレイを活性化することは、シャッタリング(shuttering)を含み、前記シャッタリングは、時変(時間と共に変化する)モードに従って前記アレイの複数の部分集合を活性化することを含み、前記複数の部分集合の内の各部分集合の活性化期間は、前記制御された角度の値及び前記制御された角度の変化率に基づく。
前記信号を生成することは、前記複数の部分集合の内のアクティブ(活性化された)部分集合によって構成される画素によって前記反射されたビームを受信することに基づき、さらに、前記アクティブ部分集合に含まれない残りの画素による前記反射されたビームの感知は、前記信号に含まれない。
本発明の一実施形態で、前記信号を生成することは、前記アレイの画素が前記反射されたビームを受信することに直接応答して前記画素のラッチ回路によりセット信号を生成することを含み、前記セット信号は、前記画素の行アドレス及び列アドレスの内の少なくとも1つを、列デコーダ回路及び行デコーダ回路の内の少なくとも1つに伝達する。
前記セット信号は接地電位を基準とするフォトダイオード電流によって生起されるポジティブ(正)電圧パルスである。
前記信号を生成することは、前記アレイの画素が前記反射されるビームを受信することに応答して前記アレイの画素に対する列デコード信号を生成することを含み、前記列デコード信号は前記画素の前記列アドレスを行ラッチ回路に伝達する。
前記アレイの画素は、少なくとも1つの電荷ストレージ素子を含み、前記光子情報獲得ビーム及び前記アバランシェフォトダイオードのアレイを活性化することは、前記情報獲得ビームの放出から、前記物体により反射されたるビームの受信に至る時間期間に、前記少なくとも1つの電荷ストレージ素子の電荷レベルの変化を開始及び終了し、前記電荷レベルは、TOFに対応する。
本発明の一実施形態による光学的イベントを感知するための光学的イベントセンサは、光子情報獲得ソースの活性化と実質的に同時に活性化されて動作可能な画素のアレイを含み、前記画素はアバランシェフォトダイオードを含み、前記アバランシェフォトダイオードの電圧バイアスレベルは、ガイガーモード及びアバランシェモードの中の1つにおける画素動作に対応し、前記画素のアレイは、物体から反射されたビームを前記アレイにおいて受信し、前記反射されたビームの前記アレイ上における入射位置に対応する信号を生成する動作が可能であり,前記信号は、画素アレイアドレス、及び前記情報獲得ビームと前記反射されたビームの間のTOF(time−of−flight)の内の少なくとも1つに対応し,前記画素のアレイは、前記信号に基づいて前記物体までの距離を決定する動作が可能である。
好ましくは、
前記物体は、前記光子情報獲得ソースの制御された角度で情報獲得され、前記光子情報獲得ソースと前記画素のアレイとは、制御された距離だけ互いに離隔して配置され、前記物体までの距離は、前記制御された角度、前記制御された距離、及び、前記反射されたビームの前記画素アレイアドレスによって決定される入射角度を三角測量することに基づいて決定される。
前記アレイは、シャッタ動作が可能であり、時変(時間と共に変化する)方法に従って前記アレイの複数の部分集合を活性化することを含み、前記複数の部分集合の内の各部分集合の活性化期間は、前記制御された角度の値及び前記制御された角度の変化率に基づく。
前記信号は、前記複数の部分集合の内のアクティブ(活性化された)部分集合によって構成される第1の画素によって前記反射されたビームの感知に基づいて生成され、さらに、前記アクティブ部分集合に含まれない残りの画素による前記反射されたビームの感知は、前記信号に含まれない。
前記信号は、前記アレイの画素のラッチ回路によるセット信号を含み、前記セット信号は、前記画素が前記反射されたビームを受信することに直接応答し、前記セット信号は、前記画素の行アドレス及び列アドレスの内の少なくとも1つを、列デコーダ回路及び行デコーダ回路の内の少なくとも1つに伝達する。
前記セット信号は、接地電位を基準とする(ground−referenced)フォトダイオード電流によって生起される(developed)ポジティブ(正)電圧パルスである。
前記信号は、前記アレイの画素で列デコード信号を含み、前記列デコード信号は、前記画素が前記反射されたビームを受信することに応答し、前記列デコード信号は、前記画素の前記列アドレスを行ラッチ回路に伝達する。
前記画素のアレイは、第1電圧で動作する第1基板及び第2電圧で動作する第2基板を含み、前記第1電圧は、前記第2電圧より高く、前記アバランシェフォトダイオードは、前記第1基板に含まれて構成され、画素の前記アレイの論理及び制御回路は、前記第2基板に含まれて構成される。
前記アレイの画素は、少なくとも1つの電荷ストレージ素子を含み、前記光子情報獲得ビーム及び前記アバランシェフォトダイオードのアレイの活性化は、前記情報獲得ビームの放出から前記物体により反射されたビームの受信に至る時間期間に、前記少なくとも1つの電荷ストレージ素子の電荷レベルの変化を開始及び終了する動作を可能にし、前記電荷レベルは、TOFに対応する。
本発明の一実施形態による距離測定モバイル装置は、プロセッサ、メモリ、光子情報獲得ソース、及びイメージセンサを含む。前記メモリは前記プロセッサに動作可能に連結される。前記光子情報獲得ソースは物体を照明するための情報獲得ビームを放出するように構成される。前記イメージセンサは、画素のアレイと、対応する電荷ストレージ素子とを含み、前記情報獲得ソース及び前記プロセッサに動作可能に連結され、前記情報獲得ビームによる前記物体の照明によって生成される、反射されたビームを受信し、前記アレイ上に前記反射されたビームに基づく信号を生成する。前記情報獲得ソース及び前記イメージセンサの活性化は、前記情報獲得ビームの放出から、前記物体により反射されたビームの受信に至る時間期間に、前記電荷ストレージ素子の電荷レベルの変化を開始及び終了し、ここで、前記電荷レベルは前記信号に含まれる。前記プロセッサは前記信号を受信し、且つ、前記信号に基づいて前記物体の距離情報を出力する、動作が可能である。
好ましくは、
前記画素のアレイは、ガイガーモードで動作するアバランシェフォトダイオードのアレイを含む。
前記電荷ストレージ素子は、キャパシタを含み、前記キャパシタは、前記反射されたビームの受信に応答して対応する画素のフォトダイオードによって生成される信号を受信すると充電を終了する。
本発明の実施形態によれば、情報獲得ビームと、アバランシェフォトダイオード(特にガイガーモードのアバランシェフォトダイオード)を含む画素アレイとを、ビームの往復時間と受信位置に限って時間的、空間的に限定して活性化できるので、高解像度、高フレーム率、且つ、低電力で対象物体までの距離を測定できる。
本発明の一実施形態による例示的な光学的情報獲得システムを示した図面である。 本発明の一実施形態による例示的なアバランシェフォトダイオード画素を示した図面である。 本発明の一実施形態によるシングル−光子アバランシェフォトダイオードの例示的な電流−電圧関係を示した図面である。 背景放射ソース(background radiation source)を含む環境にある本発明の一実施形態による例示的な光学的情報獲得システムを示した図面である。 本発明の一実施形態によるイメージセンサ構造の例示的な回路図を示した図面である。 本発明の一実施形態による距離測定のための様々な物体を含む環境の図面である。 本発明の一実施形態による距離測定のための様々な物体を含む環境の図面である。 本発明の一実施形態による物体までの距離を測定する方法を示したフローチャートである。 本発明の一実施形態によるホスト装置と統合された例示的な光学的情報獲得システムを示した図面である。 本発明の一実施形態による例示的な画素回路のブロック図を示した図面である。 本発明の一実施形態による例示的な画素回路を示した図面である。 本発明の一実施形態によるバッファ及びデコーダ素子を含む例示的な画素回路を示した図面である。 本発明の一実施形態によるイメージセンサカラムセルフタイミング(image sensor column self−timing)及び読出しリップル−通過機能(readout ripple−through functionality)のための例示的な回路ロジックを示した図面である。 本発明の一実施形態による連結された画素回路のブロック図を示した図面である。 本発明の一実施形態によるイメージセンサ構造の回路図を示した図面である。 本発明の一実施形態によるイメージセンサ構造の回路図を示した図面である。 本発明の一実施形態による第1及び第2電圧で動作するための構成部と少なくとも2つの層を含む半導体装置の回路図を示した図面である。 本発明の一実施形態による積層されたウエハーデザインを有するイメージングセンサアレイ(imaging sensor array)を示した図面である。 本発明の一実施形態による積層されたウエハーデザインを有するイメージングセンサアレイの製造のための工程段階を示した図面である。 本発明の一実施形態による積層されたウエハーデザイン及び減少された画素ピッチを有するイメージングセンサアレイを示した図面である。 本発明の一実施形態による半導体製造方法を示したフローチャートである。
1つの様態で、本発明の実施形態はイメージセンサに利用されるように連結された情報獲得(interrogation)ソースを含むシステムを提供する。情報獲得ソース(例えば、赤外線(IR)波長同調レーザ)はシステムの視野にある単数又は複数の物体を照明し、イメージセンサは関心物体から反射された光を感知する。イメージセンサは高い感光性検出器のアレイを含む。一実施形態で、アバランシェフォトダイオード(avalanche photodiode)は降伏領域(breakdown region)を超えて動作するp−n接合(p−n junction)装置を含み、p−n接合(p−n junction)装置は単一光子アバランシェ(なだれ)ダイオード(SPAD、single_photon_avalanche_diode)として動作して、入射光子が自己維持アバランシェを引き起こす(例えば、アバランシェフォトダイオードは所謂ガイガーモード(Geiger mode)で動作する)。一実施形態で、イメージセンサは1つ(又は少数)の入射光子に反応し、特定のイメージセンサアレイアドレスに光子感知を指示する信号を発生させる。
換言すると、画素の感光性素子による光子の受信は少数でも画素によって感知されるのに十分であり、このような画素を使用する場合、光学的イベントを検出するのに必要である光子の数の低減に導ける(従来の方法で動作する画素と比較すれば、従来の場合は、フォトダイオードは光を感知し信号を発生させるために或る時間間隔に亘って数百の光子を合算する)。
予め知られている情報獲得ソーの角度及びイメージセンサまでの距離と並んで、画素アドレスによって導出される正確な位置情報により、物体まで距離は、最小の回路複雑性、費用、及びパワー消耗にも拘らず、優れた正確度でもって測定できる。
その上に、本イメージセンサは、情報獲得ソースの活性化と協調して、イメージアレイ画素(例えば、ローリング画素サブアレイ)の時変部分集合(time−varying subset)を活性化して動作するように構成されるので、背景雑音(background noise)及びシステムパワー要求の双方を低減できる。例えば、このような方法によれば、非常に低い光学的出力パワーの、光情報獲得システムの対応する光ソースにおける利用を可能にし、このように光学的パワー要求が低いことは、人間の目に安全という別の長所の可能性がある。
単一又は少数の光子イベント感知画素は、レンジング(ranging)、TOF、及び3Dイメージングアプリケーション等の多様な光学的情報獲得基盤センシング様態に適用できることは理解されよう。一実施形態で、イメージセンサアレイの各々の画素は、関心物体から反射(又は後方散乱)されて受信された光のTOF情報を決定する。
システム上に含まれる光パッケージは、イメージセンサに入射する放射の波長をフィルタリングし、及び/又は、画素の感光性部分上に入射する放射の焦点を絞る機能を果たす(例えば、画素の充填率を向上)。
一実施形態で、イメージセンサアレイは、情報獲得ソースの活性化と同期して照射光を受信する。本発明のシステムは、最小限のオンチップ回路、待機時間、及びパワー消耗にも拘らず、明るい周辺光(又は環境光)下でも、適当な距離に亘って、背景雑音からではなく情報獲得ソースから受信する光子バースト(photon burst)を識別できる。
図1は本発明の実施形態による光学的情報獲得システムの概要を提供する。単一又は少数の光子画素のようなことを活用する光学的情報獲得システムは、モバイル装置(例えば、スマートフォン、タブレット)等のホスト装置、又は他のホスト装置に組み込まれる。
以下に幾つかの実施形態を参照して詳細な説明を行うが、選択肢となる実施形態と結合して本発明の主題を説明する際に、このような実施形態に本願において請求する主題を制限する意図がないことは理解されるべきである。反面に、請求対象は、添付された特許請求範囲によって定義された請求された主題の思想及び範囲内に含まれ得る代案、変形、及び等価物を含むように意図される。
また、次の詳細な説明で、多数の特定細部事項が請求された主題の完全な理解を提供するために説明される。しかし、実施形態はこれらの特定細部事項無しで又はこれらの均等物と共に実施できることが当業者によって認識されるべきである。他の例で、広く公知された方法、手続、及び構成は詳細に説明されないのは、主題の様態及び特徴を不必要に曖昧にしないためである。
以下の詳細な説明の或る部分は、方法の観点から提示され論議される。段階及び順序は、本方法の動作を説明する図面(図8及び図21、など)において開示されるが、このような段階及び順序は例示的である。実施形態は、多様な他の段階又は本明細書の図面の流れ図に記載された段階の変形及び本明細書に記載された以外の順序に遂行するのにも適合である。
本明細書に記載された実施形態は1つ以上のコンピュータ又は他のコンピューティング装置によって実行されるプログラムモジュールのようなコンピュータ使用可能媒体の一部形態に常駐するコンピュータ実行可能命令の一般的な文脈で説明される。一般的に、プログラムモジュールは特定タスクを遂行するか、或いは特定抽象データタイプを具現するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。多様な実施形態で望む通りプログラムモジュールの機能は結合されるか、或いは分散される。
例として、コンピュータ使用可能媒体はコンピュータ格納媒体及び通信媒体を含むが、これに制限されることではない。コンピュータ格納媒体はコンピュータ読出し可能命令語、データ構造、プログラムモジュール又は他のデータのような情報の格納のための任意の方法又は技術で具現される揮発性及び不揮発性、分離型及び非分離型媒体を含む。コンピュータ格納媒体はランダムアクセスメモリ(Random Access Memory、RAM)、読出し専用メモリ(Read Only Memory、ROM)、電気的消去可能プログラマブルROM(Electrically Erasable Programmable ROM、EEPROM)、フラッシュメモリ又は他のメモリ技術、コンパクトディスクROM(Compact Disk ROM、CD−ROM)、DVD(Digital Versatile Disks)又は他の光学的格納装置、磁気カセット、磁気テープ、磁気ディスク格納装置又は他の磁気格納装置、又は望む程度を格納するのに使用できる任意の他の媒体を含むが、これに制限されない。
通信媒体は、搬送波(carrier wave)又は他の伝送メカニズム等の変調されたデータ信号に、コンピュータ読出し可能命令語、データ構造、プログラムモジュール又は他のデータを具現化でき、任意の情報伝達媒体を含む。用語“変調されたデータ信号”は情報を信号としてエンコーディングする方式に設定又は変更された1つ以上の特性を有する信号を意味する。例えば、通信媒体は有線ネットワーク又は直接有線接続のような有線メディア及びアクースティック、無線周波数(radio frequency、RF)、赤外線、及び他の無線メディアなどの無線メディアを含む。前記の任意の組合せもコンピュータ読出し可能媒体の範囲内に含まれるべきである。
以下の実施形態で、高解像度、高フレーム率、低パワー消耗レンジングのための技術が説明される。実施形態は情報獲得ビームで物体を照らす段階、高感光性イメージセンサを利用して物体から反射された光を受信する段階、及び三角法及び/又は画素レベルで決定されたTOF情報を利用して活性化された画素のアドレスに基づいて物体までの距離を測定する段階を含む物体までの距離を測定する方法を含む。

[SPAD(単一光子なだれダイオード)制御]
本発明の一実施形態で、イメージセンサのアバランシェフォトダイオード(例えば、局所的変数(local variable)及び/又は全域的変数(global variable)の逆方向バイアス)は感度を向上させ、レンジング(ranging)及び3Dイメージアプリケーションで露出時間要求を減少させるために利用される。アバランシェフォトダイオードはガイガーモード(Geiger mode、例えば、SPAD)で自然的な逆方向バイアスブレークダウンを超える非常に極端な逆方向バイアス条件下において作動し、イベントが(非常に急激に)電流が発生するようにトリガーする時まで一時的にこのようなバイアス電圧が維持される。従ってこのような装置を検出器として使用する時は、SPADが非常に長期間、極端な逆方向バイアス条件下で維持されないように、時間要素(time factor)が存在する。イベントトリガーに続くSPADによる大きい電流の発生は破壊的であるので、多くの場合、電流を制限するために抵抗がダイオードに付加され、これに従ってSPADが“発火(fire)”(例えば、急速に電流を生成)すれば、短い時間内に安全なレベルに電流を抑制しなければならない。即ち、一旦発火したならば、SPADアバランシェ電流は抵抗又は他の負荷メカニズムによって“消火(quench)”される。SPADでの電圧は画素作動のために緩和される(同様に、極性の変更が誘導される)。本発明によるアバランシェフォトダイオードの一例は図2に図示される。
SPADは光子イベントに、ピコ秒(pico−seconds)程度に、非常に速く反応する。例えば、入射光子の波長、環境温度、SPADのセルサイズ(面積)、及び電圧バイアス(例えば、過電圧)、量子効率、及びダークカウント率(DCR、Dark Count Rate)などの要因がSPADの機能に影響する。放電されたならば、SPADは充電されるまで所定の時間(所謂、不感時間、deadtime)を要し、不感時間は、一般的に約20〜40ナノ秒(nano−seconds)の範囲にある。一般的に、光子の少ない数十光子(光子波長及び感知器セルサイズに依存するが、約20光子)のみでSPADの高速電流生成をトリガーするのに十分である。
本発明の一実施形態で、SPADを含む画素は局所的変数(local variable)及び/又は全域的変数(global variable)レベルで可変画素感度を構成し、周辺光(又は環境光)及び/又はフィールド条件の深さに従って調整される(即ち、逆方向電圧制御は露出制約及び/又は条件に従うようにフォトダイオード感度を調整するのに使用される)。この動作のシステムで、フォトダイオード感度によりセットされた距離限界が存在する。
ガイガーモードで動作する時、SPADはSPAD雑音の尺度(measure)であるダークカウント(黒い色の係数)率(DCR)を有し、DCR値は、SPADセルの大きさ、SPADの温度、及び過電圧(例えば、ブレークダウン限界点を超える電圧レベル)のような要素に依存する。何れの光も無い時、SPADのDCRはSPADがアバランシェイベント発生の前にガイガーモードに残存する時間の長さの統計的尺度を提供する。周辺光と結合した場合、DCRは意味ある信号が発生するために情報獲得ビームの伝送信号と区別されなければならない背景雑音(background noise)信号を提供する。従って、DCRは、TOFの間に蓄積された周辺光子と結合する時、物体から情報獲得できる最大距離(range)の見積り(estimate)を提供する。
本発明の一実施形態によれば、光学的ノッチフィルタ(optical notch filter、例えば、図1の光学的システム135)は、関心ある情報獲得波長の外部において過度な背景雑音光子が画素に影響を及ぼすのを防止するために利用される。情報獲得ソースは光学的ノッチフィルタの中心付近に波長を放出するように選択されるか、或いは微調される。他の実施形態で、例えば、約850ナノメートル又は940ナノメートルの強い大気吸収ライン(strong atmospheric absorption line、例えば、水に起因する大気吸収ライン)と一致する中心波長を有する光学的ノッチフィルタが、太陽からの背景放射を最小化するために選択される。例えば、このように本発明を具現すると高いフォトダイオードゲインが可能になる。
光学的フィルタの幅を減少させるトレードオフ(tradeoff)は、システムの視野の減少もやはり発生することである。微調可能な情報獲得ソースは、潛在的に費用を追加する反面に、SNRをさらに向上させるのに寄与する。光学的総パワーは、波長のみならず、目の損傷が発生し得る環境での作動が予想される時、考慮しなければならない。付加的に、画像フレーム率は画素感度(例えば、露出時間要求)、及び/又は読出し率、及び/又は画素アレイサイズに基づいて決定されなければならない。高フレーム率リフレッシュ(High frame rate refresh)は、移動する物体の適切に高いナイキストサンプリング率(Nyquist sampling rates)を得るために利用される。
本発明の実施形態は、非常に敏感であるフォトダイオードを含むイメージセンサを提供し、その際、物体に対する距離決定は入射情報獲得光から生じる画素活性化のアレイアドレスを知らせる新しいアドレッシングスキームによって行われる。本発明はSPAD技術に限定されず、充分な感度を有する何れの光子検出器にも使用できる。

[統合三角測量を介したレンジング]
1つの様態で、本発明による実施形態は物体までの距離を測定するための光子情報獲得システム(photonic interrogation system)を提供する。図1は本発明の実施形態による物体までの距離を測定するための例示的な光子情報獲得装置105を含む光学的情報獲得システム100の概略図である。情報獲得装置105は情報獲得ソース110及びイメージセンサ115を含む。情報獲得ソース110及びイメージセンサ115は所定の距離120によって離隔されている。所定の距離120は例えば5センチメートルであるが、これに限定されない。一実施形態で距離120は制御された方式に変更される。情報獲得ソース110は情報獲得ビーム125を放出し、イメージセンサ115は情報獲得装置105の視野で物体から戻って来る光130を感知する。イメージセンサ115は感光性ダイオードのアレイ140、例えばイメージセンサ115の画素を形成するアバランシェダイオードを含む。
本発明による実施形態で、アレイ140は最小限2つの積層されたウエハー(又は基板)によって形成されたSPAD画素140aを含む。SPAD画素140aはバイアス電圧に基づいて線形アバランシェモード又はガイガーモードで動作する。SPAD画素140aは感光性領域145a及び画素回路(例えば、高電圧ライン、画素入力/出力ライン)がある領域150aを含む。一実施形態によれば、画素回路ロジックに対応する画素回路素子はSPADセルから分離された基板上に形成される(例えば、感光性領域はp/n接合に対応する基板上に形成される)。本明細書に記述されたように、即ち、複数のSPADセルを有する基板は複数のロジック及び制御回路(例えば、トランジスタ、イネーブル(enable)ライン、等)を有するウエハーの上方に積層される。本発明による他の一実施形態でアレイ140は1つのウエハー上に形成されるSPAD画素140bを含み、そこで感光性領域145bは画素回路ロジック150b(例えば、高電圧ライン、画素入力/出力、TOF情報格納素子)に隣接する。
画素140a、140bは、少なくとも1つのTOF(time−of−flight、飛行時間)素子、即ち、リニアアバランシェ又はガイガーモードで動作し、且つ、例えば、TOF値に対応する電荷を格納するストレージキャパシタを含むアバランシェフォトダイオードであり。光学的システム135は光学的情報獲得装置105に含まれ、光学的システム135はイメージセンサ115上に入射される反射光を集束及び/又はフィルタリングする。光学的情報獲得装置105は環境光センサ(図示せず)を含む。図1に示したように、情報獲得ビーム125は物体150に向かい、物体150から戻って来る光130はイメージセンサ115上に落ちる。
一実施形態で、情報獲得ソース110はレーザ、例えば、共振性の(resonant)MEMs走査(scanning)ミラーを含むレーザ(例えば、垂直キャビティ表面光放出レーザ、VCSEL)である。情報獲得ソース110はIR波長又は他の波長の放射線を放出する。一実施形態で、ミラーはx方向(例えば、イメージセンサアレイのカラムに沿って)に共振し、y方向(例えば、イメージセンサアレイのローに沿って)に進行(stepped)する。共振走査レーザは情報獲得装置105の全視野に亘って情報獲得ビーム125をスイープ(sweep)する。一実施形態で、情報獲得ソース110はレーザから高強度の光子(例えば、情報獲得ビーム125)のラスタ走査(raster_scan)を生成する。一実施形態で、視野を横切る情報獲得ソース110の共振モーションの生起要因となるために、情報獲得ビーム125の活性化は、イメージセンサ115全体に亘って実質的に同一の放射を提供するように制御される(例えば、情報獲得ソース角度111に基づいた、情報獲得ソース110のデューティサイクル(duty cycle)のサイン曲線的線形化(sinusoidal linearization))。
コリメートされた(collimated)“スポット(spot)”モードにおける情報獲得ソース110の活性化は、特定の角度(例えば、情報獲得ソース角度111)及び定義されたパルス周期を有し、イメージセンサ115に対して1回に1つの画素にグリッドイメージを“ペイント”するのに寄与する。ここで説明されるように、ミラーの走査率(scanning rate)はシステムタイミング、特に画素活性化タイミングにおける重要な要素である。情報獲得ソース110及びイメージセンサ115は共平面であって、イメージセンサ115の場面視野を光学的情報獲得装置105の視野と同一の平面に限定する。従って、全ての物体から戻って来る光子(例えば、戻って来る光130)は情報獲得ビーム125と同一の平面にある。従って、イメージセンサ115のアレイに関しては、情報獲得ソース110の角度111に基づいて予想されるフォトダイオード励起(excitation)を有する行(row)は既知となる。しかし、物体までの距離(そして戻って来る光130の帰還角度)が不明であるので、列(column)内の特定行(row)は未知である。物体150は装置105の視野内で多重の距離/位置に存在し得る。
戻って来る光130が光学的システム135に向かって入ってくる角度116は、フォトダイオードが活性化された行(row)内での位置、即ち、イメージセンサアレイの列(column)を決定し、従って距離(三角測量を通じて)を決定する。イメージセンサ115を含む光学的情報獲得装置105のレンズ系と光学系(例えば、光学的システム135)は視野の限界範囲まで遠隔地点(光の立体角(solid angle))を見る。イメージセンサ115のアパーチャを合わせる低地点(物体150上の地点)からの光子は1つのアレイ素子(例えば、1つの画素)上に集束される。
他の実施形態で、情報獲得ソース110は、照明がストライプ(縞)状に放出される“ファン(fan)”モードで作動する。実施形態で、ストライプは情報獲得ソース動きの軸(例えば、共鳴軸)と実質的に垂直である。このような実施形態で、戻って来る照明130はアレイ素子の全体的な列(又は行)上に入射され、情報獲得ビーム125の方向と平行である。情報獲得物体の特徴(例えば、物体の輪郭線)によって、戻って来る光130は、物体の輪郭線に対応して、非平面(non−planar)に戻り、様々な列を通じて入射される。ファンモードで、全てのフォトダイオード行は同時に活性化される。情報獲得ソースの出力パワーは増加され、全てのライン(全ての行)を通じた分配のために補償することができる。このような装置のためのイメージセンサ115構造は明るい太陽光で情報獲得ソース110からの光子バースト(photon burst)を、最小の時間、最小のパワー消耗、及び高い再生周波数に、オンチップ回路の最小と共に、レポートする。一実施形態で、イメージセンサ115内の発火するフォトダイオードを通じた正確な位置の三角法を利用して、物体までの距離測定が決定される。ここで論議されるように、背景雑音の考慮事項のため、本発明の実施形態は特別な測定周期間情報獲得ビーム125の活性化と同期化された方法(例えば、“gated”)で感知するために活性化されるイメージセンサ115の感光性ダイオードを含む。ここで説明されるシステムは画素アドレスに従って知られる高感光性画素イベントを通じて高い処理量を提供することができる。さらに、本発明による実施形態は画素レベルでTOF計算を通じて物体までの距離を計算する手段を提供し、このような情報は距離が三角法情報(例えば、三角測量)に従って計算される実施形態のためには必要としない。位置上の接近(例えば、画素アドレス)はTOF情報を生成するための画素内の高価な回路に対する必要を除去してシステムの費用を減少させることができる。さらに、例えば、ルックアップテーブルを通じて画素アドレスが検索できれば、計算要求が減少される。付加的に、各画素の感光性部分は全体画素の割当によって大きくなるので(例えば、充電率増加)、画素レベルの回路での最小化は同じサイズのアレイのためのシステムで解像度を増加させる。費用及びサイズのような要素は携帯性及び/又はウェアラブル装置のようなアプリケーションのために非常に重要である。
図2は本発明の一実施形態による例示的なSPAD画素構造140を示した図面である。実施形態で、SPAD画素を活性化することはワードライン(word line)及びビットライン(bit line)信号によって具現される。SPAD画素はフォトダイオード145を含む。SPAD画素の各々はアクティブ又は抵抗性の負荷220を通じたアクティブ及び/又はパッシブクエンチング(quenching)を含む。SPAD画素はバッファ225を含む。一実施形態で、アクティブクエンチングはアクティブ負荷によって提供され、この活性化は選択的なフィードバッククエンチング回路230からのフィードバック(例えば、SPADアバランシェ電流の上昇エッジトリガー)に基づく。クエンチ(Quench)時間はマルチプレクサコードスイッチオーバヘッド時間に内装されることができる。実施形態で、統計的なノイズ(例えば、DCR、周辺光)のリセットを活性化する回路の駆動リセットは内装される。実施形態で、高電圧供給ラインは静的であり、接地側ワードラインの活性化は高電圧電流通路を可能にする。
図3は本発明の一実施形態によるSPAD電流−電圧特性300を示した図面である。電流−電圧特性300はSPAD駆動の位相(段階)を示す矢印を含む。逆バイアスレベル(Vgeiger)が半導体p−n接合のブレークダウン電圧(Vbreakdown)を超える逆バイアス電圧であり、所謂アバランシェフォトダイオード(例えば、SPAD)のガイガーモードを示すところに、逆バイアスレベル(Vgeiger)が図示される。電圧レベル(Vgiger)で、SPADは熱雑音のみならず、入射光子放射から電流(電子のバランシェ)を発生させる。SPADゲイン(例えば、電子増倍因子、electron multiplier factor)は過電圧及びSPADセルサイズの面積に実質的に線形的に依存する。同様に、SPADの光子及び/又は温度活性化の可能性(例えば、DCR)は過電圧増加と共に増加する。アバランシェ電流が開始されれば、SPADは過大電流の流れを防止するためにクエンチ(quench)される。SPADがクエンチされ、低い電圧バイアスに戻れば、さらに活性化のためのSPADが準備されるために、SPAD電圧バイアスはVgeigerに戻る。クエンチとリセットとが約20−40ナノ秒である反面に、ブレークダウンのためのSPADに対する典型的なタイミング値は1ナノ秒より小さい。クエンチングはパッシブ又はアクティブの中で1つであり、望ましい一実施形態で、アクティブクエンチングはクエンチングタイムを最少化し、これにSPADが様々な信号を生成する速度を増加させるために使用される。
図4は明るい光を含む場面400を図示し、物体440を照明する背景放射ソース401を使って物体440までの距離を測定するために駆動する模範的な光子情報獲得装置105の概略図を含む。情報獲得ソース110は角度411に情報獲得ビーム425を放出し、これは角度416に戻って来る光430を形成するために物体440から反射される(又は後方散乱される)。戻って来る光430はイメージセンサ115(情報獲得ソース110から一定の距離120に位置する)によって受信され、光子情報獲得装置105によって作られた距離測定の根拠を形成する。太陽、放射が広いスペクトルであるケースで、情報獲得ビーム425と並行して、放射ソース401は放射ソース401の出力パワーに依存する光子の流れを利用して物体440を一定に照明する。放射ソース401からの光子は物体440を照明し、イメージセンサ115上に入射される反射光435を形成する。
高感光性フォトダイオードを含むイメージセンサ115は放射ソース401の光子からイメージソース110からの光子を識別しない。ガイガーモードで動作するアバランシェフォトダイオードを含むイメージセンサで(例えば、SPADを含む)、個別的ダイオードは約20光子に反応する。放射ソース401からの大きい光子の流れと同様にSPADの黒い色の係数率はイメージセンサ215内のSPADの速い発火を導く、これは装置105から適当な距離にある物体440のための戻って来る光403の受信に優先する。例えば、太陽(例えば、情報獲得ソース110のレーザ波長と同一、感知される波長で太陽の照明、光学的フィルタリングと共に)のような放射ソース401による物体440の照明と同様に、物体440上の情報獲得ソース110の光は(例えば、伝送信号)信号対背景雑音比(signal−to−background noise ratio、SNR)を提供する。従って、縮小された画素活性化時間によってイメージセンサ115でノイズに対する全体的なDCR寄与を減少させることだけでなく、測定の間にイメージセンサ115上に充分な光子の入射数を最少化してSNRを向上させるために、情報獲得ソース110の活性化に基づいたタイミングと共にイメージセンサ115のフォトダイオードを活性化させることは有用である。
背景雑音を考慮すれば、さらに長い測定長さは、対応するさらに大きいTOFと共に、受信される周囲の光子及びダークカウント(dark counts)の全ての増加に繋がる。光子は情報獲得ビーム425の全体TOFを超えてイメージセンサ115に到着する。物体440に対する範囲を測定するための意味ある信号を生成するために、戻って来る光430は周辺光及びDCRによる活性化に優先して第1活性化フォトダイオードを活性化するために必要である数の光子を伝達しなければならない。典型的なレーザである情報獲得ソース110が有限であるパルス幅を有するパルスを放出するので、情報獲得ソース110から予想される伝達光子の数は計算されることができる。放射ソース401からの光子フラックス(即ち、光子受信率)が、時間の経過に対して安定である一方、情報獲得ソース110からの光子フラックスは、出力パワー及びデューティサイクル(duty cycle)に依存して、さらに高くなる。
背景雑音に応答して信号を生成する以前にSPADが活性化される時間窓(time window)は、1つの測定期間に亘る画素活性化に対して意味ある時間窓を提供する。異なりに言えば、測定される物体(例えば、物体440)は、情報獲得ビーム425及び戻って来る光430の間のTOFが背景雑音によってSPADが発火される時間を超過しないような距離内になければならない。従って、物体距離測定の最大範囲に対応する最大の有用なTOFが存在する(光は約、0.3m/nsecの速度で移動するので、測定のアウト及びバック特性(out−and−back nature of the measurement)により、物体距離測定の最大範囲は、半減する。情報獲得物体が公知された大略的な範囲の情報獲得シナリオで、周辺光子の蓄積(例えば、背景雑音)は情報獲得ビーム425及び戻って来る光430の予想される結合されたTOFを利用するイメージセンサ115の調整する活性化によって最小化され、これは情報獲得物体に対する大略的な公知された範囲に基づく。異なりに言えば、情報獲得物体までの予想される視野の真ん中の外側範囲からの周辺光子を拒否するために、イメージセンサ115のフォトダイオードの活性化はTOF−駆動(TOF−gated)である。このTOFはTOF−specific回路によって直接的に測定される必要はなく、ここで説明されたように三角測量による距離測定に基づいて決定されることができる。
パルスウインドー及び画素ウインドーは1つの距離測定周期を定義する。このような方法で、情報獲得ビーム角度411は、距離120と共に物体440までの距離決定に資する、戻って来る角度416と相関性を持たせることができる。イメージセンサ115の受信される光子が曖昧でないことは重要であり、従って、角度416に受信される光子は、光子が放出される情報獲得ソース角度411に適切に帰着される。それと異なりに、非同期化が情報獲得ビーム角度411と戻って来る角度416の間に発生すれば、物体440まで誤った距離計算を引き起こす。しかし、各画素のために使用可能な時間は、情報獲得ソース(例えば、110)又は雑音に起因する発火の対象になるイメージセンサ115の各々のスイープのために許容される総時間のみならず、光子予算及び距離によって制限されなければならない。
理解できるように、本発明による光学的情報獲得システムのためにイメージセンサの機能及びタイミングは特に重要である。センサによって消耗されるパワー及び雑音によって高感光性アバランシェフォトダイオードのアレイが生成する偽の情報を最小化するために、三角測量に基づく物体までの距離を測定するコンセプトはセンサの構造によってさらに強調されることができる。例えば、イメージセンサの全体アレイがガイガーモード及び活性化で構成されれば、SPADの多い部分が概ね同時に発火されるが、恐らくただ1つ(又はそれ程度)は露出時間に依存する情報獲得ソース110によることである。逆に、アレイ内のSPADの選択的な活性化は関心のイメージセンサ115領域に対するアレイ−根拠DCR雑音を減少させ、このようにすることによって光学的情報獲得装置のSNRを増加させる。

[プログラマブル・イメージセンサの、ロー&カラム(行&列)シャッタ]
図5は本発明の一実施形態による例示的なイメージセンサ構造500の図面を示した図面である。イメージセンサ構造500はフォトダイオードのアレイ140、開始(Start)505、設定(setup)505、レンジング制御入力(ranging control inputs)505、高電圧及び供給回路(high voltage and supply circuits)510、マルチプレクサバンク(multiplexer banks)515、センス増幅器(sense amplifiers)520、マルチプレクサ・シークェンサ(multiplexer sequencer)530、アドレスラッチ(address latches)535、及びアドレス及びエッジトリガー入力/出力回路(address and edge trigger input/output circuitry)540を含む。構造500はイメージセンサ内の画素のアレイの画素の部分集合550をさらに含み、本明細書で“部分アレイ”又は“アレイの部分集合”のように、全てのアレイはR行及びC列のサイズを有する。
イメージセンサ(図1のイメージセンサ115)内の高感光性光検出器(photodetector)の使用と共に、低いパワー、高解像度光学的情報獲得システムは物体の範囲を決定する。一般的に、IR波長で及び小さいセルサイズと共に、SPAD画素140は発火されるために約20光子の受信を要求する。一実施形態で、正確な位置三角法は、特別な時間フレーム内に(例えば、画素時間フレーム)、関心物体から反射される入射情報獲得ビームからの光子の受信に基づいて、ただ信号を発生する画素のアドレスをレポーティングして測定される。光学的情報獲得システムは情報獲得ソース活性化のタイミングを制御するので(装置は出力信号が何時に生成されるかを制御)、装置は戻って来る信号が到着しなければならない大略的な幾つの周期の間を予想するようにプログラムされる(公知された範囲に存在する物体のために、例えば公知されたフィールドの深さ(depth of field))。
低いパワーで光学的情報獲得システムを駆動するために、パワー節約は可能な多い部品で(相変わらず、適当な解像度能力を維持しながら)達成されなければならない。高感光性SPADに基づいた画素の使用が情報獲得ソースのパワー要求を減少させる反面に、ゲインはイメージセンサアレイ内の各々のSPADが活性化される方法で慎重に考慮されることができる。ここで説明されたように、アバランシェダイオードはガイガーモードに入るために多い逆バイアスを要求し、これらの開始(例えば、高電圧及び供給回路510を通じて)は各々のダイオードのための特定なパワーを要求する。従って、情報獲得ソース以外にソースからの発火イベント発生の増加のように、フォトダイオードの活性化によるパワー消耗のように、イメージセンサアレイで同時に全てのフォトダイオードを活性化することは望ましくない。
非情報獲得ソースイベントに起因するパワー消耗及び画素活性化の可能性の全てを減らすための接近はただ測定期間の間にイメージセンサ内のフォトダイオードの部分集合を活性化させることである。異なりに言えば、イメージセンサアレイの他の画素が活動を中断する反面に、“page”(例えば、画素のサブアレイ)は一定期間の間に情報獲得ソース伝達を感知するために作動及び活性化される。フォトダイオードの減少された数の活性化は(例えば、DCRを除去することによって、アレイ内の非活性化画素から周辺光をトリガーリングすることによって)パワー消耗を減少させ、また背景雑音に起因する虚偽の自発的な活性化の可能性を減少させる。
物体存在の位置/距離に関する事前知識無い視野のために、イメージセンサ内の全ての画素は視野内の物体から反射される光を検出するための最も大きい機会を提供するために最適に活性化される。物体の以前位置/距離の幾つの知識を利用する視野の情報獲得はイメージセンサ内の画素のサブアレイを利用して遂行される。情報獲得システムから与えられた情報獲得ビーム角度で、視野内の物体に関する予想される位置/距離の知識が物体から反射される光の位置に関する予想(近似値)を提供するので、画素のサブアレイは利用されることができる。このようなシナリオはただ画素アレイの部分集合を活性化するためのイメージセンサを構成する情報獲得システムの能力の使用を示す。光学的情報獲得システムの結合で、これは再び情報獲得システムのフレーム率(frame rate)を増加させパワー消費を減少させることができる。例えば、このシナリオは視野の公知された場面(例えば、最近測定された視野)のアップデートの間に存在することができる。
サブアレイ550のサイズは何処に光子が到着するかに関する予測に基づき、測定された体積空間に関する与えられた知識に基づく(例えば、最小及び最大距離)。視野以内の物体の位置、情報獲得システムのパワー、周辺光レベル、各々のSPADの過電圧レベル、等のような要素に基づいて、サブアレイ550のサイズは増加又は減少される必要がある。特定な測定期間のためのフォトダイオード活性化の具体的な部分集合は測定から測定まで変化し(例えば、情報獲得ソースが視野の他の部分をサンプリングするために移動される)、これに従ってアクティブイメージセンサフォトダイオード550の“ローリングサブアレイ”を生成する。これは画素サブアレイ550の幾つのセットによって図5に図示され、点線矢印で表示されたように時間経過に従ってセンサアレイに沿って移動る。制限されない例として、サブアレイはイメージセンサアレイの3つの隣接する行及び4つの隣接する列(3x4サブアレイデータサイズ)を利用して構成される。他の制限されない例として、アレイ−ハイ(array−high)サブアレイ550’は全ての行及び幾つの(例えば、3つ)隣接する列の活性化で構成される。例えば、サブアレイ550’はファン(例えば、ライン)モードで構成された情報獲得ビーム125と共に使用されることができる。
1つの側面で、このローリングサブアレイ550は光学的情報獲得システムのためのローリングシャッタの種類と考慮されることができる。サブアレイ550の動きは測定期間の間に画素が活性化/非活性化される同一の速度に一般的に増加され、また画素速度(pixel rate)と称される。本明細書で説明されたように、画素速度は測定視野内の情報獲得ソースの動きでの角速度(angular rate、例えばスキャナーミラーに基づいたMEMsの共振周波数)、情報獲得ソースのモード(例えば、ステップモード又は“ファン”モード)、周辺光レベル、等のような要素によって決定される。さらに、ただ画素アドレスを通じた画素イベントレポーティングによって、高い情報処理量は達成される。
光学的情報獲得ソースの活性化に対して画素サブアレイ550の活性化のタイミングは様々な方法に導入されることができる。同期化モードで、情報獲得ソースの連続的なパルス間の時間は、周辺光レベル、情報獲得ソースのパワー、パルス時間、等のような要素によって、光学的情報獲得システムレベルで決定され、サブアレイ550は情報獲得ソースからのパルスが発火される同時に活性化される。異なりに言えば、情報獲得ソース及び画素サブアレイ550は、pulse−by−pulse方式に、同期化されて制御される。パルス間の期間上の制限は物体の位置(感知された物体のための最大の範囲を指示)を決定するための最大のTOFのみならず、画素サブアレイ550の部分集合内の各々のフォトダイオードを活性化するために要求される光子の数を含む。実施形態で、各々の画素は1つの情報獲得ソースパルスが活性化される時間期間内に、超過逆バイアス臨界値に到達、最大のTOFまで臨界値を維持、発火(仮に光子が感知される場合)、及びクエンチングのシークェンスを完了する。仮に最大のTOFが情報獲得ソースのパルス周期より大きければ、画素サブアレイ550の同一の測定期間の間に、距離測定曖昧さにつながる、情報獲得ソースの様々なパルスが存在することになる。距離の三角法測定は、特別な受信画素アドレスと同様に、特別な情報獲得ソース角度を要求する。従って、情報獲得ソースパルスの大きい周波数を活性化するように、微細なイメージセンサアレイ解像度と同様に、活性化/発火/リセットサイクルを完成するためのSPADのために要求される時間を最小化することは光学的情報獲得システムの作動に有益である。SPAD駆動サイクルを減らす1つの方法はSPADのクエンチング時間を最小化することである。これはSPADの活性化クエンチングを通じて達成され、アクティブロードはSPADからアバランシェ電流の開始時間に活性化される。実施形態で、仮にTOFが(情報獲得ソース周波数)−1を超過する場合、情報獲得ソースパルス及び画素サブアレイ550は全て増加され、どのイベントも記録されない。
情報獲得ソース及び画素サブアレイ550が同時に活性化される反面に、画素サブアレイ550の代案的なタイミングは非同期演算(asynchronous operation)であり、しかし、情報獲得ソースパルス間のタイミングは感知イベントのタイミングによって測定される。一実施形態で、情報獲得ソースはただ、画素サブアレイ550が戻って来る信号を受信する時、又はシステムタイムアウトが発生する時、1つのパルスを放出する。システムタイムアウトはシステムレベルで設定可能し、周辺光レベル、物体までの最大の距離、情報獲得ソースパルスパワー、及びパルス幅、等に基づく。このような方法で、光学的情報獲得システムの可変又はセルフ時間制限(self−timed)駆動は具現されることができる。遠く離れて位置した(例えば、数メートル)物体のために、システムのフレーム率(frame rate)は可変的である。測定のために隣接物体が存在する時、最大のTOFタイムアウトが要因ではないように、近接した物体のための非同期モードでの駆動はさらに速い情報獲得ソースパルス及び画素サブアレイ速度を可能するようにする。
本発明の一実施形態よれば、マルチプレクサバンク515はイメージセンサアレイの行及び列に連結される。一実施形態で、マルチプレクサバンク515は現在活性化されたサブアレイに従って出力を選択する、例えば、現在サブアレイに従って、8−bit解像度768で3行を選択し、8−bit解像度1024で4列を選択する。他のマルチプレクサバンク構成も可能である。マルチプレクサバンク515の出力は行及び列センス増幅器520(又は比較器)に各々連結される。一実施形態で、信号を発生するための第1フォトダイオードは、行の中でいずれかでも、例えば、3つのアクティブ行の中で1つは感知信号に出力される、“勝者独食(winner−take−all)”感知及びラッチ525を生成する。同様に、シグナリングフォトダイオード(signaling photodiode)に対応する列は感知及びラッチ525出力を生成する。本発明の一実施形態によれば、出力信号はただ発火された画素位置(例えば、ただ“勝者独食”感知及びラッチからの画素のアドレス)のみを伝達し、他の画素からの情報を含まない。感知及びラッチ525の他の組合が可能であり、本発明の思想及び範囲と一致する。活性化されるための第1行アドレスの及び活性化されるための第1列アドレスの組合は測定期間の間に活性化される情報獲得ソースビームの関連された固有の画素アドレスを与える。この画素アドレスは特別な情報獲得ソース角度に対応する出力信号を含む。例えば、イメージセンサの出力は2−bits行情報及び2−bits列情報であり、レンジング情報は測定されたサブアレイアドレスに基づくので、信号管理及び入力/出力チャレンジは伝統的なレンジングシステムと比較して著しく減少されることができる。
たとえシステム測定範囲で費用が掛かるが(例えば、最大フィールドの深さ)、SPADタイミングは雑音を減らすために外部で駆動されることができる。チップサイズを減らすために、外部タイミング及び制御電子装置が使用されるが、チップデザインレベルと印刷回路基板(PBC)のデザインとの間にトレードオフが存在する。制御入力信号は、エッジトリガーリング、プログラム可能な設定、画素活性化、及びマルチプレクサ・シークェンシング530を通じて、セルフタイミングを生成するのに利用されることができる。マルチプレクサ・シークェンサ530は開始信号からトリガーされるタイミング及び制御ロジックを含む。
光学的情報獲得システムの測定段階の間に、情報獲得ソースが情報獲得ビームの伝達の角度を増加させるように、情報獲得システムから異なる距離にある2つの物体の存在は、物体位置の急激な明らかな変化が発生する状況か、或いはその代わりに物体の存在が適切に感知されない状況を惹起することができる。図6及び図7は近い物体が遠い物体の少なくとも一部を隠す時、このようなシナリオの一実施形態を示した図面である。
図6は近い物体610及び遠い物体615が光情報獲得装置105によって測定される環境600を示した図面である。第1測定期間に、情報獲得ビーム60が放出され、これは近い物体610が反射されて角度θ1にイメージセンサ上に入射される。第1測定期間に後続する第2測定期間に、情報獲得ビーム62が放出され、これは遠い物体615に反射されて角度θ2にイメージセンサ上に入射される。物体610、615が互いに他の距離にあるので、戻って来る角度θ1、θ2は、2つの物体610、615の間の相対的な距離に依存して、異なる。このような互いに異なる、戻って来る角度の意味は、単なる1つの測定期間のコースを超えて、第2測定から戻って来る光が第1受信光の住所から除去されるアレイアドレス幾つの部分で受信され、受信角度で明白な移動につながり、物体の間の距離に比例する。このようなスキップ(skip)角度は図6においてθsで表示される。このシナリオは装置105によって戻って来る物体の部分で段階関数(step fuction)を引き起こす。一般的に、情報獲得装置からイメージ化されない近い物体に比べて遠く存在する物体がある地域が存在する。
また、図7は測定のための様々な個の物体、近い物体710及び遠い物体715を含む環境700を示した図面である。物体710及び715の幾何学的な構造は、従って、情報獲得ビーム角度の所定の範囲を超えて、遠い物体715上に入射光から起因する反射される光は近い物体710によって装置105イメージセンサでの受信から遮断される。このような状況は一般的に物体閉塞(object occlusion)と称される。実施形態で、第1情報獲得ビーム70は遠い物体715上に入射され、そして、狭く欠落する物体710は反射されるビーム72を形成し、反射されるビーム72は装置105のイメージセンサ上に入射される。続ける情報獲得ビーム71は物体715上に入射されるが、ビーム71の反射は物体710によってイメージセンサの視野から遮断される。これが近い物体(710)によって隠される遠い物体715のこのような部分までの距離を測定するための装置105の失敗を引き起こす。スキャニングサイクル内の後の時点で、近い物体710上に入射する情報獲得ビーム78が放出され、反射される光は情報獲得装置105のイメージセンサに再び受信される。一般的に、地域750は、戻って来る光の閉塞によって、情報獲得装置105からイメージ化されない物体710に比べてさらに遠く存在する物体がある地域である。
情報獲得ビームが戻って来る角度内に生じるこのような突然のジャンプを説明するための接近(アプローチ)方法は(例えば、図6及び図7)同時に画素のさらに大きいグループを可能であるようにする(例えば、画素サブアレイ又はページのサイズを増加させるために、例えば、図5のサブアレイ550)。大きいな範囲で、このサイズは(情報獲得ビーム走査のような規模で、例えば、列に沿って)視野の半分までである。この場合、画素のサブアレイの幅は列の半分までとする。さらに、イメージセンサと比較された情報獲得ソースの制御された位置と実際の位置との間の機械的/光学的整列不良(misalignment)を説明するために、及び/又は視野に対して光学的情報獲得システムの動きを説明するために、画素のサブアレイは走査方向直交(例えば、行)である程度の深さ(some depth)を要求する。情報獲得ソース位置内の機械的/光学的整列不良のソースはMEMs調整装置(steering)及び応答線形性(response linearity)を含む。これらはアクティブ画素のサブアレイサイズの増加を説明することができる。
整列不良によって誘導される距離測定エラーは画素アレイの解像度と関連され、微細に解像されたアレイ(finely resolved array、small pixel size)の場合は、多数の画素がスキップオーバされるので、与えられた角度整列不良に対して、戻って来る位置のエラーがより大きくなる。このような接近が光学的情報獲得システムのためのさらに大きい回路複雑度及びパワー消費を引き起こす反面に、あまりにも広い地域を観察することに従う背景雑音を増加させることに対向して、あまりにも小さいデータ(サンプリング)サイズに起因する情報獲得ビームからの光子の戻って来る集合を欠落する可能性の間で、バランスが追求されなければならない。
近い物体及び遠い物体(例えば、物体610、物体615)間の距離はスキップ角度(skip angle)に影響を及ぼし、さらに小さい物体間の距離(inter−object distance)はさらに小さいスキップ角度(skip angle)を提供し、これは縮小されたサブアレイデータサイズの要件とつながる。本発明の一実施形態によれば、光学的情報獲得装置(例えば、測定されたスキップ角度を通じて)の視野内の測定された物体間の距離に基づいて、サブアレイサイズは自動的に作られる。一実施形態によれば、例えば、視野内の動く物体又は新しく導入される物体によるスキップ角度内の変化を説明するために、サブアレイ550サイズは動的に調整される。
センサアレイ内の画素の部分集合(例えば、画素サブアレイ550のサイズ)の活性化を調整するための光学的情報獲得装置の能力は追加機能を提供する。本発明による実施形態で、光学的情報獲得装置がフレームを出力するフレーム率はイメージセンサアレイ(例えば、フレームズーム(frame zoom)内で活性化される行の数を減らして調節される。異なりに言えば、フレームサイズは総可能なアレイ行より少ないことを考慮して減少され(例えば、イメージセンサ構造500内の768行よりさらに少なくように活性化)、これはフレーム率の増加を導く。フレーム率増加は走査された行の減少に比例する(情報獲得ソースの共振動きによって、列が維持されるための走査時間のように)。情報獲得ソースの全体走査(full scan)によって全体フレームは生成され、例えば情報獲得ソースはイメージセンサ行軸に平行に共振し、イメージセンサ列に平行である軸に沿って進行する。情報獲得ソースパルス活性化のパルスは縮小されたフレーム地域内に含まれるこのような地域に制限され、同様にローリング画素サブアレイ550はただ縮小されたフレーム地域で活性化される。一実施形態で、情報獲得ソースはパルススポットモード(pulse spot mode)に活性化され、情報獲得ソースの段階的動き(stepped motion)はフレームズーム地域内の行のみをカバーするように減少される。このような方法の情報獲得ソース及びイメージセンサの作動は情報獲得ソース及びイメージセンサアレイの全てのパワー消費の減少につながることができる。さらに、先に言及されたように、視野の特定地域がズームインされたように、フレーム率は増加される。
イメージセンサフォトダイオードの部分集合の活性化のための様々な実行が可能である。隣接する画素のローリングサブアレイに対する例示的な代案として、大略的な第1番目の走査(coarse first scan)は8列が離れた画素の活性化と共に遂行され、4列が離れた微細な走査、そして2、そして等が続く。このような方法で、視野内の配置された物体の位置の大略的な推定が確認される。個別的位置の改善は大略から微細まで(coarse−to−fine)進行することによって行われ、それによって物体位置の微細な調整が可能であり、そしてまた情報獲得ソース角度のそれは“スキップ”角度を生成する。実施形態で、活性化される画素の大きい列−間隔と共に(例えば、列−間隔内の列の数)、後続する列スペーシング及び/又は走査の地域の微細調整と共に(例えば、イメージセンサアレイ内のローリングサブアレイ位置)、キャリブレーションモードは大略的な走査を含む。このような方法で、背景雑音は現在の視野で物体の位置に対してさらに正確に論理パルスをセッティングすることによって減少され、例えばロジックパルスは減少されるローリングサブアレイを形成するために決定された列上の画素を活性化する。
一実施形態で、最初の物体が位置されるところを決定する感知された受信信号の位置と共に、第1番目の走査は最大の解像度で第1番目のフレームを生成するために作られる。初期の高フレーム率走査に従って、画素(列)を活性化するために、遅延を露出させるために、タイミングのために、等のために、変化が作られる。本発明の実施形態によれば、このような変化は反複されるループ(iterative loops)によって実行される。制限されない実施形態で、信号感知を中止する地点に対する決定は(例えば、減少露出を続けることによって)行われる。この地点から、露出は信号が再び始まる地点まで増加し、これはその時現在条件で物体をイメージ化するための実質的に最適化されたソリューションと連関される。このような方法で、光学的情報獲得範囲の増加に従って、背景雑音の実質的な減少が実現される。このような調整はシステムレベルで具現される。
イメージセンサのフレーム率を増加させる追加技術は全行の走査モード(all−row scan mode)を含む(例えば、アレイハイ、情報獲得ソース光“ファン”のスワイプ(swipe))。このモードで、情報獲得ソースパルスと共に増加するアクティブ列の決定された部分集合を利用して、画素ページ(例えば、サブアレイ550)はアレイハイページである。全ての画素が情報獲得ソースの各々の角度のスイープを利用して活性化されるように、増加されたシステム帯域幅要件を利用して、フレーム率は実質的に増加されることができる。

[統合飛行時間を介したレンジング]
本発明の一実施形態によれば、TOF及びレンジング情報が得られることを可能であるようにするために、単一及び/又は幾つの光子感知アレイは画素(例えば、画素140b)単位に情報を発火する時間−符号化された(time−encoded)光子で構成され、情報獲得ソース(例えば、光ソース)及び感知器の間の同期化されたインタフェイスに結合される。例として、余裕空間解像度の1cmを達成するために約30ピコ秒の確度とイベント解像度(例えば、情報獲得システムの光ソースから目標場面及び情報獲得システムのイメージセンサまで戻るまでの光子移動時間)を必要とする。ここに説明された接近はx軸、y軸、及びz軸を組合情報及びイベント時間を生成するために設計される高感光性光子感知器アレイを利用する低いパワー光子バーストのための高いパワー放送又は走査パターンから3Dイメージング及びレンジングシステムを発達させるために具現されることができ、従ってイメージデータのポスト−プロセシング(post−processing)要求を減少させる必須的なデジタル光子感知器を達成する。
ここで説明されたように、SPAD画素アレイ(例えば、フォトダイオードのアレイ140)は3Dイメージング及びレンジングアプリケーションのためのパルス型(pulsed)及び/又は操縦型(steered)情報獲得ソース(例えば、レーザ光ソース)と結合されて利用されることができる。実施形態で、情報獲得ソース及びイメージセンサアレイは同じ光学的アパーチャ(optical aperture)を通じて同じ軸に置かれる。高感光性SPAD装置が情報獲得光のみならず、周辺光に反応するように、イメージセンサ及び情報獲得ソースの整列が慎重に遂行されなければならない。本発明の一実施形態で、光学的情報獲得システムはセンシング素子に影響を及びように結合された光ソースを含む。一実施形態として、光ソースは垂直キャビティ表面光放出レーザ(VCSEL)及び光子画素のアレイ内に含まれるSPADベース型(SPAD−based)画素であるセンシング素子である。このようなシステムで画素による光ソースの放出及び感知の間の時間遅延は観察されることができ、時間遅延は光ソースから場面の部分及びセンシング素子に戻って来るまで少なくとも1つの光子の移動時間を反映し、移動時間はシステム及び場面の部分の間の距離と対応する。TOF計算及びその後の読出しは画素がTOF情報を格納するような方法で電荷積分器をオフにすることができるSPAD画素を利用してSPAD画素機能で統合される(例えば、光学的強度情報の格納と対照的に)。
時間遅延の観察は、制限されないが、画素センサセル(例えば、キャパシタの電荷レベルの制御)に電荷格納能力を加えることを含む、他の計画を通じて遂行されることができる。キャパシタ電荷レベルは時間遅延に連関されることができ、従ってシステムから場面まで距離の計算を提供することができる。一実施形態で、光ソースの放出イベントはキャパシタの放電をトリガーし、画素感知イベントは同じキャパシタの放電を終了することができる。他の実施形態で、光ソースの放出イベントはキャパシタの充電をトリガーし、感知イベントは同じキャパシタの充電を終了することができる。その他の実施形態で、VCSELからの光パルスの放出に対応するレーザターンオンエッジは時間測定活動を開始するために利用される(例えば、キャパシタの充電又は放電)。光ソース放出に対応するSPAD画素による戻って来る光子を感知する時、アバランシェ電流増加のリーディングエッジ(leading edge)は時間測定活動の終了をトリガーするために利用される(例えば、キャパシタの電荷レベル変化が中止され、従って自分の電荷が光子移動と関連する時間期間に比例するキャパシタを引き起こす)。容量性の電荷が時間測定手段として利用される場合に、SPAD画素アレイを横切って、各々の画素は各々のストレージキャパシタ内の若干の距離−関連された量の電荷を含み、これは場面の特定な部分と対応され、全体的に場面の時空間(spatio−temporal)情報を提供するために読出し及び進行される。このようなSPAD画素は典型的なCMOSイメージセンサ(CIS)画素アレイの読出しのために使用される技術と類似なアレイ形態に読み出される。
高価のMEMs−ベースビーム操縦(MEMs−based beam steering)であり、他の要求は回避される反面、このような実施形態は高フレーム率を提供する。さらに、短くなり、低くなったレベルの光ソース照明はSPAD画素の高くなる感度によって利用されることができる。実施形態でイメージシステムが情報獲得ビーム照明がタイミングレファレンスを提供するところに同期化及び/又は操縦可能な光子情報獲得ビーム(例えば、光ソース)と共に利用されることは認定されることができる。付加的に、アレイ内の画素の1つのグループのみがトリガーされ、アドレッシングイベントをトリガーするための空間の決定は遂行されることができる。現在実施形態はSPAD画素アレイ内のイメージングの地域に対応する情報獲得ビームでの回折する光学的格子(optical grating)から所定の情報獲得パターンの使用まで延長される(例えば、構造がある光接近)。上述された実施形態は低い光ソースパワー要求及び例えば、プロセッサ(例えば、プロセシングユニット、902)にダイレクトイメージを生成する能力を有する。従って、上述されたイメージセンサの実施形態はホストプロセッサーと共にモバイル装置のようなホスト装置への統合に非常に適合である。
画素アレイは画素の充填率(fill factor)を向上させるために画素スケールマイクロレンズアレイ(pixel scale microlens array)をさらに含み、即ち、画素の感光性地域上の入射光に焦点を合うことができる。画素アレイは列レベル、行レベル、画素レベル、グローバルレベル、又はこれらのいくつかの組合で遂行されることができる敏感である制御(例えば、逆バイアス電圧レベル制御を通じて)を含むことができる。パッシブ及び/又はアクティブクエンチング、時間駆動、フローティングゲートプログラミング(例えば、キャリブレーション及び/又は画素決定回路の不一致)もまた遂行されることができる。
本発明の実施形態によれば、イメージセンサはTOF−活性化及びTOF−非活性化画素(例えば、画素140b及び140a)の組合を含むフォトダイオードのアレイを有する。制限されない例として、TOF画素140bの部分集合は、画素140aを含む、残っている画素と共に、イメージセンサアレイ内に大略的に格子状に整列される。このような整列はアレイ内のアドレッシング画素はためのシステム論理を簡易化するか、増強するために利用される(例えば、移動するサブアレイ550を生成するために)。情報獲得ソースから入力信号の制御を利用して、大略的な格子のキャリブレーションはTOF画素140bからTOF情報を利用して遂行され、イメージセンサアレイの画素140aを利用する高解像度走査によって増加されることができる。様々な制御計画は可能し、これはイメージセンサアレイのための高い正確度及び/又は速いウィンドウイング(windowing)を提供することができる。さらに、周期的に、TOF画素140bは光学的情報獲得装置に対する雑音減少を助けるために利用される(例えば、物体に直接的なTOF測定を提供することによって)。
図8は本発明の一実施形態に他の情報獲得ビームを利用する物体までの距離を測定する方法の流れ図800である。段階801〜809は本明細書で説明される多様な実施形態による流れ図に図示された方法を含む例示的な段階を表示した図面である。一実施形態で、流れ図800はコンピュータ読出し可能媒体(computer−readable medium)内に格納されてあるコンピュータ実行可能命令(computer−executable instructions)として遂行されることができ、物体までの距離を測定するための方法を実行するコンピューティングデバイスによって遂行されることができる。
段階801で、物体は光子情報獲得ビームを利用して情報獲得される。光学的情報獲得装置105の情報獲得ソース110から、情報獲得ビームは、例えば情報獲得ビーム125である。実施形態で、情報獲得ソースが共振MEMs走査ミラーを有するレーザである(例えば、垂直キャビティ表面光放出レーザ、VCSEL)。情報獲得ソースはIR波長又は他の波長で放射線を放出することができる。実施形態で、ミラーはx軸(例えば、イメージセンサアレイ列に沿って)に共振し、y軸(例えば、イメージセンサアレイ行に沿って増加)に進行する。共振走査ミラーは情報獲得装置105の視野を横切って情報獲得ビーム125をスイープ(sweep)し、従って視野の物体を情報獲得する。実施形態で、レーザは“スポット(spot)”モードで作動し、両者択一に子情報獲得ソースは“ファン(fan)”で作動し、光の広いストライプを放出する。
段階803で、アバランシェフォトダイオードのアレイ(例えば、SPADフォトダイオードのアレイ)は活性化され、アバランシェフォトダイオードはガイガーモードで作動し、活性化は光子情報獲得ビームの活性化と実質的に同時に生じる。実施形態で、アレイのただ1つの部分集合のみが情報獲得ソースのパルスの間に活性化される。実施形態で、時変方式(time−varying manner)内のアレイ変化の部分集合は情報獲得ビームの連続的なパルスと協力して増加される(例えば、ローリングサブアレイ、550)。サブアレイのサイズは変わることができ、他の要因の中で、情報獲得ソースの強さ及び動きの速度、そして視野内の物体の範囲に基づくことができる。
段階805で、反射されるビームは物体から受信される(例えば、ビーム130、イメージセンサ115に受信)。光学的システム(例えば、光学的システム135)はイメージセンサに含まれる。光学的装置はイメージセンサ上に入射する反射に焦点を合うこと及び/又はフィルタリングをすることができる。実施形態で、段階807で、信号を生成することに従って、アレイの非活性化は反射ビームの受信と実質的に同時に発生する。
段階807で、反射されるビームの特性に対応する信号が生成される。実施形態で、信号を生成することは複数の部分集合のアクティブ部分集合によって含まれる第1アレイ素子による反射されるビームを受信することに基づき、アクティブ部分集合によるアレイ内のアレイ素子の余りによる反射されるビームのいずれかの感知は信号に含まれない。実施形態で、アバランシェフォトダイオードのアレイの各々のフォトダイオードは少なくとも1つの電荷ストレージ(storage)素子を含み、アレイを活性化することは情報獲得ビームからの放出及び物体から反射されるビームの受信する間の時間期間の間に少なくとも1つの電荷ストレージ素子の電荷レベルの変化を終了する。実施形態で、ストレージ素子はキャパシタであり、電荷レベルは信号によって含まれ情報獲得ソースの放出及び反射された光の受信(例えば、TOF情報)の間の時間の測定を提供する。
段階809で、信号に基づく物体までの距離は決定される。実施形態で、光学的に戻って来る光の角度(例えば、角度116)はフォトダイオード活性化を有するイメージセンサアレイの列(column)を決定する。光学的情報獲得ソース角度(例えば、111)と共に、画素アドレスは戻って来る光角度116及び情報獲得ソース及びイメージセンサの間の距離の計算を提供し、これらは距離測定を提供する(三角測量を通じて)。実施形態で、TOF計算及び後続する読出しはSPAD画素機能性に統合されることができ、SPAD画素は画素がTOF情報を格納することと同一の方法で積分の電荷積分器の駆動をトグル(toggle)する。

[レンジング デバイスの例]
本発明による光学的情報獲得装置は多様な構成を含むことができ、光学的情報獲得装置を採用するホスト電子装置内で使用されることができる。このような装置はウェアラブル装置及び他の携帯及び非携帯コンピュータ装置、眼鏡、時計、携帯電話、スマートフォン、タブレット、及びラップトップのようなことを含むが、これに制限されない。図9に示したように、本発明の実施形態による例示的なホスト装置は一般的な目的のコンピュータシステム環境(general purpose computing system environment)900を含む。ホスト装置は光学的情報獲得システム907を含む。実施形態によれば、光学的情報獲得システム907はイメージキャプチャする間にターゲットになる場面を照明する(例えば、レーザ光を利用して)システム上の情報獲得ソース(例えば、情報獲得ソース110)と、制御された位置(例えば、情報獲得システム110から水平にオフセット)にシステム上に位置する単一及び/又は少数の光子画素アレイイメージセンサ(例えば、イメージセンサ115)と、イメージ処理のためにターゲットになる場面の光学的イメージを電気的な信号に変換するイメージセンサ内の回路を含む。光学的情報獲得システム907はイメージキャプチャする間に周辺光を拒絶するためにイメージレンズ(imaging lens)及び/又はマイクロレンズアレイ(microlens array)及び/又はフィルタ(例えば、光学的波長帯域通過フィルタ)を選択的に含む。
最も基本的な構成として、コンピュータシステム900は少なくとも1つのプロセッサ902(CPU)及び少なくとも1つのメモリ904を含む。プロセッサ902は一般的にデータを処理するか、或いは命令語を解釈し、実行する能力を有するプロセシングユニットの所定のタイプ又は形態を示す。所定の実施形態で、プロセッサ902はソフトウェアアプリケーション又はモジュールから指示を受信することができる。このような指示はここに表示及び/又は図示された例示的な実施形態の1つ以上の機能を遂行するためのプロセッサ902を引き起こすことができる。本発明の実施形態によれば、プロセッサ902はイメージセンサからターゲットになる場面のイメージを受信し、イメージからターゲットになる場面の距離情報を計算する。
メモリ904は一般的にデータ及び/又は他のコンピュータ読出し可能指示を格納する能力を有する揮発性又は不揮発性格納装置又は媒体のいずれかのタイプ又は形態を示す。所定の実施形態で、コンピューティングシステム900は不揮発性メモリユニット(例えば、メモリ904のような)及び不揮発性ストレージ装置(図示せず)を全て含むことができる。コンピュータシステム900はまたプロセッサ902に結合されるディスプレイ装置906を含む。ディスプレイ装置906は一般的に使用者とコンピュータシステムとの間にインタフェイスを利用するための便宜性を提供するグラフィック使用者インタフェイス(graphical userinterface、GUI)を表示する。
実施形態で、コンピュータシステム900は本発明の様態に従う方法の遂行のための指示を含み、指示はメモリ904又はストレージ908上に格納されることができる。例えば、コンピュータシステム900は物体距離測定指示913を含むことができ、物体距離測定指示913は本発明の実施形態に従って物体までの距離を測定する方法を遂行するためのコンピュータシステム900を引き起こす指示を含む(例えば、方法800)。
図9に図示されたように、コンピュータシステム900はまた少なくとも1つの入力/出力(I/O)装置910を含む。I/O装置910は一般的に、コンピュータ又は人間が生成したことがコンピュータシステム900に対して/から、入力又は出力を提供/受信可能である入力装置のいずれかのタイプ又は形態を示す。I/O装置910の例として、制限されないが、ポインティング又はカーソル制御装置(例えば、タッチ−感知装置及び/又はマウス)、音声認識装置、キーボード、又は他の入力装置を含む。
図9のコミュニケーションインタフェイス922は大体に例示的なコンピュータシステム900及び1つ以上の付加的な装置の間のコミュニケーションを容易にする能力があるコミュニケーション装置又はアダプタのいずれかのタイプ又は形態を示す。例えば、コミュニケーションインタフェイス922がコンピュータシステム900及び追加的なホスト装置及び/又はコンピュータシステムを含む私的又は公的ネットワークの間のコミュニケーションを容易にすることができる。コミュニケーションインタフェイス922の実施形態は無線ネットワークインタフェイス(無線ネットワークインタフェイスカード及び/又はブルートゥース(登録商標)アダプタのような)、有線ネットワークインタフェイス(ネットワークインタフェイスカードのような)、モデム、及び他の適当なインタフェイスを含むが、これに制限されない。一実施形態で、コミュニケーションインタフェイス922は、携帯電話ネットワーク及び/又はインタネットのように、ネットワークに直接的に連結されるリンクを通じて遠く離れたサーバーに直接的な接続を提供する。コミュニケーションインタフェイス922はまた他の適切な連結を通じてこのような連結を間接的に提供することができる。コミュニケーションインタフェイス922はまた外部バス又はコミュニケーションチャンネルを通じたコンピュータシステム900及び1つ以上の付加的なネットワーク又はストレージ装置の間のコミュニケーションを容易にするホストアダプタを示すことができる。

[画素回路]
図10は本発明の一実施形態による例示的な画素回路1000のブロックダイヤグラムを示した図面である。例示的な画素回路1000はフォトダイオード145、 ラッチ回路1005、及びデコード及び制御回路1010を含む。フォトダイオード145は光の受信の時に電流パルスを生成し、これは電気的に結合された抵抗によって電圧パルスに変換される(例えば、図2の220)。電圧パルスは画素回路1000によって論理のために直接的に利用されることができ、例えば、ラッチ回路1005でラッチを設定するためにフォトダイオード活性化イベントの直接的な利用を活性化する。
図11は本発明の実施形態による例示的なトランジスタレベルの図式的な画素回路1100を示した図面である。画素回路1100はバッファーリング素子1125(例えば、図2のバッファ225に対応する)、ラッチ素子1105(例えば、ラッチ1005に対応する)、及びデコード及び制御素子1110(例えば、デコード及び制御1010に対応する)を含む。図11の画素回路は列及び行活性化信号(ColHVen及びRowEn)によって駆動され、接地電位を基準とするフォトダイオードを含む。実施形態で、フォトダイオードはガイガーモード(例えば、SPADのように駆動)で駆動する。接地電位を基準とするフォトダイオードは、充分な光照明が受信されれば、抵抗を通じて電圧パルスに変更される急激な電流パルスを生成する。電圧パルスは画素回路によって論理のために直接的に使用されることができ、これに従ってイメージセンサの制御機能性に対するフォトダイオード活性化イベント(例えば、発火)の直接的利用を可能であるようにする。例えば、電圧パルスはトランジスタのために入力を利用されるポジティブパルス(グランドと相対的に)である。本発明の実施形態に従って、フォトダイオードイベントから生成される電圧パルスは、例えば、素子1105の設定−再設定ラッチ回路を設定(又は再設定)するためにCMOS論理に直接的に入力される論理レベル電圧を発達させる。
本発明の実施形態によるイメージセンサ(イメージセンサ115)は画素回路1100のアレイを含み、ラッチ1105のための設定値はイメージセンサアレイが発火画素のアドレスをレポートするように引き起こし、これは物体から反射される情報獲得ビームの戻って来る角度を測定するように利用されることができる。本明細書で説明されたように、物体に対して決定された、戻って来る角度(図1の角度116)を通じて距離は三角測量を通じて発見される。制限されない例として、ポジティブ電圧スパイク(a positive voltage spike)はVccと比較されるネガティブ電圧を提供するためにソースフォロワ(source follower)によって反転されることができ、これは設定−再設定ラッチに対する信号を設定することができる。図11に従う画素構造は高いゲインアナログ感知増幅器(high gain analog sense amplifiers)又はアナログ時間−デジタルコンバーター(analog time−to−digital converters)を要求しなく、これはアナログ構成の不足のため、システムのためのパワー要求及び測定待機時間全ての減少を可能であるようにする。図11に従う画素構造1100は完全なデジタル画素である。
本発明の実施形態によれば、フォトダイオードはフォトダイオードの潜在的連続的な発火を間の時間期間を制御するために活発にクエンチ(quench)される(例えば、発火イベントの後にSPADの再設定時間を最小化するために)。逆に、多い他の接近法で抵抗の位置はフォトダイオードの上部にあり、フォトダイオードはグランドに固定される。このような構造は光子感知イベントからSPADが発火する時、ネガティブパルスを引き起こし、これはCMOS論理のための直接的入力のようなフォトダイオード活性化イベントを直接的に利用するために設計されるシステムであまり有用(less useful)である。通常的に、SPADはパッシブ回路でレベルシフティングための(shifting)を遂行するためのAC−coupled(例えば、キャパシタと結合されたフォトダイオード)である。このような構造は本発明のことに比べて実質的に遅く、画素のアクティブクエンチング又は駆動を許諾しない。さらに、小さい電流を感知するために利用される感知増幅器は本発明の実施形態による構造で必要としない。
本発明の実施形態による画素回路1100は駆動される(例えば、フォトダイオードは選択的に活性化される)。停止状態で、フォトダイオードはておらず、フォトダイオードを横切る電圧が無く、従ってフォトダイオードは甚だしく入射光子のイベント内でも発火されることができない。本明細書の実施形態によれば、フォトダイオードは高電圧 レール(rail)による論理回路から別々にパワーされる。画素回路1100の高電圧構成はボックス1145内の、即ち高電圧供給ライン、フォトダイオードカソード、及び接合点A(例えば、フォトダイオードのアノードとの連結)のような素子に制限される。システムレベルで制御される制御ライン(ColHVen及びRowEn)によって画素が活性化される時、フォトダイオードに入射する光子は電圧パルスにつながる信号(例えば、アバランシェブレークダウンイベントからの電流パルス)を生成することができる。図11に図示されたように、FireEn、ColHVen、及びRowEnが高いレベルにある時、発火するパルスはただノードBのみで生成される。構造は完成された画素駆動制御を提供し、従って各々の特定な測定期間の間に活性化されるイメージセンサアレイ内の画素の集合に対して制御する(例えば、可変画素ページサイズのための一般−目的の画素制御)。実施形態で電圧固定(voltage clamp)はバッファーリング素子1125で利用されて画素ダイオードの発火イベントの間にゲートで電圧スパイクを制限する。さらに、電圧スパイク制限することを通じて、電圧固定はターゲットになるフォトダイオードバイアスレベルに近いフォトダイオードの電圧レベルを維持するのに提供され、従って次の発火イベントのための準備の状態にフォトダイオードを再設定するために要求される時間を減らす。
このような方法に画素は駆動され、(活性化された)接地電位を基準とするフォトダイオードは発火イベントにラッチを設定することができる。実施形態によれば、RowEnはHVモードでHVイメージセンサ列(column)制御及び読出しモードで列(column)に接近を許容する。READ信号がHVモードで列の競合(column contention)を防止する間に、ダイオードを横切るHVバイアスは行及び列によってアドレスされることができる。実施形態によれば、読出しは行によってアドレスされ、列はイメージセンサアレイフォトダイオードからイベント情報を発火するためにサンプリングされる。さらに、制御論理はラッチのグローバル再設定を活性化し(例えば、遅いレンジング測定)、ラッチ再設定信号(LtchRst)は低いパルスによって活性化され、フォトダイオードを再設定するためにアクティブ行に適用される。
図11に図示されたような画素構造は速さ、効率性、イメージセンサ構造のために発火された画素のセルフ配列読出し(self−sequencing readout)を可能であるようにする。本発明の実施形態によれば、画素はレンジングシステムの情報獲得ソースによって情報獲得される物体から反射される光の受信に反応する発火するイベントをラッチ(latch)する。このラッチは発火された画素のアドレスの読出しを可能であるようにし、これは情報獲得システムに対する知識に従い(例えば、情報獲得ビームの角度、情報獲得ソースとイメージセンサ間の距離)、情報獲得された物体までの距離を測定するのに必要である情報を提供する。
図12を参照すれば、バッファ1225及びデコーダ1210を含む例示的な画素回路1200が図示される。画素回路1200はクエンチフィードバック回路1230をさらに含む。実施形態によれば、画素回路1200は、イメージセンサアレイ115の画素が受信された光に基づいて活性化される時、列(column)アドレスを生成するために実施可能である。デコード回路1210からの列(column)アドレスは画素が存在する列の終わりで行ラッチを設定するために利用されることができる。さらに、画素の活性化は同一行(例えば、これらは行の他の列に対応する)上の他の画素(例えば、他の画素回路1200)に対する非活性化信号を伝送し、このような方法で信号の競合は最小化されることができる。即ち、行上で活性化される第1番目の列(column)はラッチをセッティングし、イメージセンサアレイ115の外側に格納され、また行の他の画素を非活性化する。画素回路1200はファンモード(例えば、ライン走査モード)で情報獲得するイメージセンサ構造に非常に適合であり、例えば、イメージセンサ構造は図16で表示される。
図13はイメージセンサセルフタイミング活性化のための回路論理の実施形態を図示し、読出しリップル−通過機能性(readout ripple−through functionality)のみならず、図11で図示されたような画素構造に基づく。本発明の実施形態によれば、回路論理はフォトダイオードから信号を直接的に受信することができ(例えば、SPAD発火イベント)、従って(迅速に)ラッチを設定することができる。イメージセンサ内の画素で第1番目の発火イベントは他の画素が非活性化されるように引き起こすことができる。制限されない例として、1回に1つのラッチがイメージセンサ内の行上に設定されれば、行上の全ての他の画素はセルフタイミングループ(self−timing loop)を通じて非活性化される。この構造はイメージセンサアレイで入射する光子の位置の正確な測定を可能であるようにする。本実施形態を通じて説明されたように、この情報を利用して距離測定が遂行されることができる。信号を発達させるための隣接する画素のために電位が存在する間に(例えば、発火される隣接するフォトダイオードのために)、この電位は本明細書で説明されたように情報獲得ソースからの照明のためのタイミングの慎重な制御によって実質的に調整されることができ、それだけでなく、又はイメージセンサ活性化タイミングに従う(例えば、画素サブアレイ駆動)。
実施形態で、SPAD−based画素は読出し回路を駆動するために利用されるセルフタイムラッチ(self−timed latch)を含み、パワー消費を減らし、高い光子カウント環境で単一光子感知器を利用することと連関されるイベントパイルアップモード(event pile−up mode)を防止する。システムレベルタイミング命令は(例えば、行及び列活性化信号)、画素レベルで、セルフタイム非同期化論理をトリガーするのに利用されることができる。本発明の実施形態によれば、システムレベルタイミングはイメージセンサで1つ以上の画素の活性化を情報獲得ソースの活性化に同期化する(例えば、画素サブアレイ、これは1つの画素から最大に全体イメージセンサアレイまでサイズが変わることができる)。列(column)活性化が設定されれば、タイミングループは設定−再設定ラッチを通じて画素のためにトリガーされる。仮にフォトダイオード活性化が感知されなければ、ラッチは設定されなく、次の活性化通路は活性化されて活性化された行上の次の画素でイメージセンサ読出しを続く(例えば、隣接する列の画素)。次の列は電流画素が自分の読出し周期を完成する時まで読み出されることから防止される。画素はセルフタイム読出し周期と共にイメージセンサで順次的にレポートする。特別に、活性化イベントを経験し、これに従ってラッチを設定する画素は与えられた結合される情報獲得パルスのためにレポートする画素である。異なりに言えば、ただイメージアレイから読出しレポートはラッチを設定するための第1番目の画素のアドレスであり、追加画素レポーティングは読出しの間に連続する画素を活性化しないことによって、防止される(例えば、後続する画素の読出しは現在画素がラッチを設定しない場合のみに活性化される)。特定な行(又は列、列別読出し構成(column−by−column readout configuration)のために)上に発火される第1番目の画素の住所のみがレポートされるように、従って設定されない画素アドレスは非同期化フィードスルー論理(asynchronous feed−through logic、例えば、ripple−through)によって判読される間順次的にスキップ(skip)なり、従来のシステムより読出しはさらに速やかにしょうじ、データ帯域幅要求は小さくなる。
図14は本発明の実施形態に他の連結された読出し論理回路(connected read logic circuitry)のブロックダイヤグラム1400を示した図面である(例えば、サイドバイサイド論理回路、グローバルタイミング回路と共に)。論理回路は列活性化のための外部タイミングパルス発生器に従う列バイパス論理(column bypass logic)を含む。タイミングは類似な論理に従う次の列活性化及び読出しによって作られた電流列(column)状態の読出しのように設定される。特別なタイミングはシステムレベルで設定され、条件(例えば、周辺光レベル、情報獲得ソースパワー、イメージ化された物体までの計算された距離、等)をイメージングするために適用されることができる。本発明の実施形態によれば、全ての列はフォトダイオードRead行が設定される時、入力される。1つの様態で、リップルスルー(ripple−through)論理は列が行値を有する時(例えば、フォトダイオードがオフされる)、活性化される。読出しがアレイを通じて順次的に進行される時、高い値を返答する第1番目の列はリップルスルー(ripple−through)論理を中止し、値は列の高い値に対応して設定されることができる。実施形態で、タイマー再設定し、次の活性化が設定される時まで、列(column)高い値はROM行が高い値を有するように設定する。アレイ内の最後の列に到達する時まで、この方法は次の(例えば、連続的な)列で反複される。このような設定された(例えば、列(column)高い値から)フォトダイオードを有するROM行はイメージセンサ入力/出力回路で読み出されることができる。読出しリップルスルー論理は様々なイメージセンサ実施形態で実行されることができ、図15及び図16に表示された実施形態を含み、ROM列アドレス又は行列レジスターを各々読出す間に読出しリップルスルー論理が利用される。
図15は本発明の実施形態によるイメージセンサ構造1500の概略図を示した図面である。イメージセンサ構造1500はフォトダイオードのアレイ、連続的なプログラム可能なインタフェイス(serial programmable interface、SPI)、列制御Mux(column control mux)、行Mux(row mux)、入力/出力制御及びタイミング(I/O control and timing)回路、速いROMデコーダ(fast ROM decoder)、及び行及び列シークェンサ(row−and column sequencers)のための構成の回路を含む。本明細書で説明されるように(例えば、図10及び図11)、イメージセンサアレイの各々の画素はゲート(gate)され、セルフラッチング(self−latching)する。1つの様態で、イメージセンサはセルフレポーティング画素シークェンサであり、予めプログラムされたサブアレイデータサイズ550(最大に全体イメージセンサアレイまで)を有する。距離測定期間の間に、画素は自然的にデジタルであり、1又は0を選択的に有し、設定されるか、或いは設定されないラッチに各々対応する。イメージセンサアレイは使用者設定可能なページに分かれ、これは情報獲得ビームの角度が変化されるように連続的に増加されることができ、及び/又は活性化された画素のアドレスは3D空間の情報獲得ビーム送信空間と協力されることができる。後者は幾何学的に分離されたサブアレイを露出させる間に画素の露出されたサブアレイの同時に生じる読出しを許容し、これはフレーム率及び処理速度を増加させ、システムレベルで構成されることができる。
フォトダイオード活性化によって設定される時、ROMデコーダの前端(front end)にある制御論理(例えば、図13−14)は画素が速いROMデコーダ上に駆動が可能であるようにし、全ての他の画素はこの時オフされる。本発明の実施形態によるイメージセンサの出力は速いROMデコーダに入る行ドライバー信号であり、信号は発火イベントを有するイメージセンサの列(column)に対応し、ROMデコーダは、例えば、イメージセンサ位置測定のために活性化される列(column)の住所を含むルックアップテーブルを含む。電流活性化された行は(イメージシステムによって制御される物として)知られており、ROMデコーダによって決定される列位置は活性化されたフォトダイオードの固有のアドレスを提供する。このような方法で、イメージセンサ構造1500は画素で活性化イベントをラッチ(latch)し、カラムで位置をデコード(decode)する(速いROMデコード通じて)。イメージセンサの全ての行は速いROMデコーダに対する入力であり、ここに画素は本明細書で説明されたように論理を含む。本発明によるイメージセンサ構造は測定期間の間に活性化される画素のアレイアドレスのみを出力し、行上の全てのさらに読み出されない画素は非活性化されスキップされ、従って雑音イベント(例えば、周辺光に露出)に従う発火のための機会及びデータ伝送の帯域幅要求の全ては最小化される。
高いレベル(例えば、システムレベル)タイミング命令は画素のイメージセンサ活性化と共に情報獲得ソースからの照明光パルスを同期化するために利用される。タイミング命令はイメージセンサ内でセルフタイム読出しをトリガーするために利用され、これは結合された光パルス期間内に発火される、このような画素のみの連続的なレポーティングを駆動する(例えば、非同期化された状態の機械のように画素作動)。全ての行が読み出された後に、グローバル再設定(システムレベルで制御される)は次の情報獲得ビームパルスのためのイメージセンサ内の全ての画素を再設定する(例えば、次の測定期間)。行読出しメカニズムは前述したパススルー論理機能性を利用して、各行のために、ただ活性化された画素(行)をレポートする。代案的に、レジスターバンクは、連続的な行走査に現れる読出しと共に、行走査をラッチするために利用されることができる。
図16を参照すれば、本発明の実施形態によるイメージセンサ構造1600のブロックダイヤグラムが図示された。イメージセンサ構造1500と比較すれば、イメージセンサ構造1600の速いROMデコーダ機能性が個別的画素レベルで含まれ、イメージセンサアレイの内部に作られる(例えば、図12の画素構造)。しかし、設定−再設定ラッチ回路はアレイ内部に位置され、このようなラッチは行レベルで遂行され、ただ1つのラッチが行別に設定される。構造1600は列アドレスラッチを含み(例えば、レジスターバンク)、行走査をラッチするための第1ラッチ及び第1ラッチから移動を通じて設定される第2ラッチを含む。第2ラッチは連続的な行走査の間に読み出されることができる。従って、イメージセンサは行レベルでラッチし、画素(セル)レベルでデコードする。本明細書内で説明されたように、リップルスルー論理はイメージセンサ回路内に含まれて、このようなイメージセンサアレイは行の終わりで行ラッチに従って読み出されることができる(列よりは、図15に図示されたように)。
イメージセンサ構造1600はライン走査情報獲得モードのために構成されることができ、ここで全てのイメージセンサ行は同時に活性化される。情報獲得ソースが活性化される時間に基づいて、イメージセンサアレイの1つ以上の行ラインは活性化される。イメージセンサ構造1600に従って、行上で活性化される第1番目のフォトダイオードはその行のためのアドレスバスを要求することであり、そして固有のイメージセンサアレイ位置は情報獲得ソースから戻って来る光のために決定されることができる。実施形態で、行当たり10個の列アドレスラインが存在し、配線によって接続された各画素のためのROM住所、このようなことは画素が光子が対応するレジスターを設定するためのアドレスライン上の分離された(例えば、単一)列アドレス信号を始まることによって活性化される時である。仮に測定期間の間に1つが活性化されれば、これは最後に活性化される画素の列住所を識別する能力のイメージセンサを提供する。
この回路構成は本明細書に開示された他のイメージセンサ構造より空間効率性が小さいが、向上されたセンサ柔軟性が各行内に内装された行アドレスROMと共に実現されることができる。イメージセンサ構造1600は測定期間の間に背景雑音及び他の要素を制御及び調整するためのサブアレイ接近(例えば、移動するサブアレイ550、550’)を使用することができる。実施形態によれば、ライン走査又は点走査情報獲得モードで、各行内の第1番目のフォトダイオード発火イベントをレポーティングするイメージセンサ能力と共に、イメージセンサ内の全体又は部分的な行は実質的に同時にシステム制御によって活性化されることができる。
図16に図示されたような行レベルでラッチを有するイメージセンサはラッチ値の読出しがイメージセンサアレイ内の他のラインの露出と共に同時に行うことができるという意味で平行である駆動を可能であるようにする。本発明の実施形態によれば、イメージセンサは、ラッチカラムアドレス(集合は行当たり1つのレジスターを含む)のための第1レジスター集合、そして第1レジスター集合から値の変化を受信するための第2レジスター集合、レジスターの2つの集合を含む。このような方法で、第1番目の測定周期と共に、与えられた行のためのラッチ列アドレスの値はそれの行に対応する第1レジスターに書き込まれることができる。第2レジスターに移動する値は、次の、第1番目の読出し駆動(第1番目の測定周期から)と共に第2番目の測定(及びラッチ)の同時に生じる駆動を活性化する。このような方法で、本発明によるイメージセンサを使用するシステムの待機時間は十分に減少されることができる。
イメージセンサ構造1600を利用するイメージ装置のための例示的なレンジングシナリオは照明の垂直ラインを放出する情報獲得ソースを含む(例えば、ライン走査モード)。3D輪郭光) を有する物体上に入射する情報獲得ビームはもはや厳密に垂直ではない、戻って来る光を有し、結果的な変化は3D物体の特定な輪郭線に対応して示される。従って、この戻って来る光は一定でない様相を有し(例えば、一定に垂直でない)、図16での点線、曲線で示される。イメージセンサ構造は第1番目のフォトダイオードが活性化される時、行ラッチを設定するために動作し(例えば、SPAD発火イベント)、イメージセンサ回路はラッチの設定がマスター再設定が遂行される時まで活性化から他の隣接するフォトダイオードを防止するように構成される。マスター再設定は活性化されて次の測定期間のためのイメージセンサを準備する。本発明の実施形態によれば、判定論理(decision logic)は行上に活性化イメージセンサアレイによって結合され、全体の行に対して、第1番目の感知されたフォトダイオードが測定期間のための列アドレスを要求する。この判定論理はイメージセンサの各行上に複製され、行ごと(row−by−row)の集合が達成される。判定論理が行単位に表示される反面に、イメージセンサ構造はまた列ごとの論理及び測定(column−by−column logic and measurement)で構成されることは理解されるべきである。
従って、垂直である情報獲得ビームのために、イメージセンサ上に活性化されたフォトダイオードの輪郭線があり、行当たり1つ、これは読み出されることができる。イメージセンサを読み出す間に、仮にフォトダイオードが活性化されない行があれば、リップルスルー論理はスキップされなければならない行及び読み出さなければならない次の行の読出しを引き起こす。このような方法で、イメージセンサは読出し時間及びパワー要求の全てでさらに効果的になる。リップルスルー論理は測定期間が充足される間に、ラッチ集合を有する次の行まで続き、読出しを集中することは行上に活性化されたフォトダイオードのアドレスを出力することを引き起こす。リップルスルー論理がセルフタイムであり、イメージセンサアレイに対して単一入力トリガー信号を開始する。
本発明による他の実施形態で、伝統的なCIS画素と共に利用されるものとは異なるイメージプロセシング及びパターン認識パラダイムは高い光子敏感度によって可能になったローカル判定(local decision making)の組合で二進法画素出力に基づいて利用されることができる。制限されない例として、逆バイアスのために高い電圧ピンを利用するSPAD画素の場合に、不一致キャリブレーション及び画素判定回路のためのフローティングゲートプログラミング計画の実行が行われる。追加の実施形態で、各画素は画素アレイのようなアドレッシングデコーダ計画を利用する平行であるメモリアレイに対する不一致のために調整され、デジタル的に訂正される。本明細書に記述された実施形態は、例えば、十分に速いスピードの連結及び他の構成との結合で利用される時、大規模の平行である非同期化イベントバスと共に利用されることができる。本明細書に記述された実施形態はまた光子入力タイミング及び形状情報獲得光ソースと共に制御される方法で実行されることができ、画素判定反応は情報獲得ソース光タイプに従って調整される。実施形態で、SPAD画素は他の構成及び/又は作動の方法を利用して実行されることができ、例えば、電流ミラー(current mirror)の利用(例えば、負荷条件に関わらず、一定な電流駆動)、ラッチング計画(latching scheme)(例えば、イベント駆動活動を開始及び終了)、内部にトリガーされるアバランシェイベント(例えば、測定を活性化する開始時間)、及び等を含む。
本発明の実施形態によれば、半導体装置は1つの基板上、又は部分が他の電圧で動作する少なくとも2つの層を有する積層された基板上に組立される(例えば、図1の画素140a)。本発明の実施形態によれば、単一基板半導体装置の組立はフォトダイオード(図1の145b)の組立を含み、これは接地電位を基準とするフォトダイオードであり、フォトダイオードのように同じ基板を共有する回路素子(図1の150b)に沿って、回路素子は本明細書に記載された多様な実施形態のように論理及び制御(例えば、ラッチ、デコード及び制御、読出し論理、活性化信号)を提供する。
図17を参照すれば、半導体装置1700の部分が図示される。半導体装置は少なくとも2つ層、即ち第1層1740及び第2層1750を含む。第1層は第1部分1745を含み、第2層は第2部分1755を含む。本発明の実施形態によれば、第1部分1745は第1電圧で動作し、第2部分1755は第2電圧で動作する。実施形態によれば、第1電圧及び第2電圧は互いに異なる。実施形態によれば、第1電圧は第2電圧より大きい。実施形態によれば、第1層1740はフォトダイオード(例えば、図1の145a、アクティブフォトダイオード又はSPAD)を形成するディフュージョンを含み、第2層1750は論理及び制御(例えば、図1の150a、ラッチ、デコード及び制御、読出し論理、活性化信号)に対応する回路を含む。制限されない実施形態として、第2層1750論理及び制御回路は高電圧部分1145に含まれない図11の部分に図示されたように回路論理機能性を提供することができる。第2層1750はトランジスタ、抵抗、キャパシタ、及び当業界通常の技術者によって認識される他の構成を含んで、本明細書に記述された論理及び制御機能性を提供する。第1部分1745はフォトダイオードの配列を含むことができる。
本発明の一実施形態に従って、積層されたウエハーデザインを有するイメージセンサアレイは組立され、トップウエハー(例えば、入射光に露出されるイメージセンサアレイの上部面に対応するウエハー)はSPADセル(例えば、SPADウエハー)を形成するために処理され、ボトムウエハーは本明細書内に記述されたようにイメージセンサ実施形態の構造及び機能性を提供するための論理及び制御回路を有するように提供される。図18を参照すれば、感光性地域145と共にSPADセルを含むウエハー1840を含むイメージセンサ115が図示される。SPADウエハー1840及び論理及び制御回路ウエハー1850が分離されたように図示される反面に、動作で(即ち、レンジングシステム内で遂行される)SPADウエハー1840及び論理及び制御回路ウエハー1850は互いに付着された2つの基板であり(点線矢印で示されたように)、又は本明細書に図示されるように、1つの基板であってもよい。
論理及び制御回路ウエハー1850を超えてSPADウエハー1840の積層されたウエハー駆動は、同じウエハー上で、制御及び論理回路を含む各々のSPADセルが駆動されるところと比較して減られた画素ピッチP(即ち、近いSPADセル)を可能であるようにする。例えば、画素ピッチPは3〜4ミクロン(microns)である。本発明の一実施形態によれば、論理及び制御回路ウエハーは低電圧LVウエハーである反面に、SPADウエハーは高電圧HVディフュージョンウエハーである。LVウエハーはHVウエハーよりさらに微細な特徴を可能であるようにし、与えられた空間でウエハー上に形成されるトランジスタの数を増加させる。
図19を参照すれば、本発明の実施形態による積層されたウエハーデザインを有するイメージセンサアレイ115の組立のための方法段階1905−1915が図示される。図19で図示されたイメージセンサアレイ115の部分は図18のA−A部分と対応する。段階1905で、空乏領域(depletion region)、連結1920、及びスルーシリコンビア(through−silicon via)1930を含む論理及び制御ウエハー1850が示される。実施形態によれば、論理及び制御回路ウエハーは低電圧CMOSウエハー上に形成される。
また、段階1905で、SPADウエハー1840が示され、SPADウエハー1840は空乏されたp−n接合を含む。SPADウエハー1840はCMOSウエハーであり、例えば、高電圧CMOSウエハーである。pディフュージョンはSPADセルの感光性領域に対応され、n−ディフュージョンによって囲まれ、これは隣接するSPADセルによるSPADダイオードの活性化からバリアー(barrier)のように動作する。実施形態によれば、SPADダイオードはn−ウェル(n−well)を共有する。SPADウエハー1840の隣接するSPADセルは分離トレンチ(isolation trenche)1940によってさらに分離される。SPADウエハー1840は金属連結1920を含む。SPADウエハー1840はシリコンオン絶縁体ウエハー(silicon−on−insulator(SOI)wafer)のように生成される。例えば、絶縁体は酸化物層である。段階1905で、SPADウエハー1840は支持ウエハー(support wafer)をさらに含む。SPADウエハー1840は論理及び制御回路ウエハー1850と共に設計され(例えば、連結等の位置)、同じダイ(die)を有する。実施形態によれば、連結1920はカソード/アノードパッドのアレイである。実施形態によれば、高電圧配線はSPADウエハー1840でただカソード配線に制限され、論理及び制御回路1850上に分離要件(isolation requirement)を除去する。この実施形態でアレイ連結1920はただ低電圧アノードに減る。
段階1910でSPADウエハー1840は積層された方向で論理及び制御回路ウエハー1850を超えてフェース・ツー・フェース(face−to−face)にマウントされ、このような各々のウエハーの連結は積層の中心を向かう。複数のウエハーは互いに結合される。論理及び制御回路ウエハー1850及びSPADウエハー1840の間の全ての連結は積層の中間でなされる(即ち、フェース(face)インタフェイスで)。従って、SPADウエハー1840の表面を横切って配列された全ての連結金属は入射光からディフュージョンを保護しない。SPAD画素はセル当たり1つの配線連結を有し、論理及び制御回路ウエハー1850にダウンする。全ての微細な特徴は(イメージセンサ論理のための)論理及び制御回路ウエハー1850に位置する。
実施形態によれば、ウエハーの層の間に形成される唯一の連結(connection)はアノード連結である。例えば、トップ(SPAD)における高電圧カソード連結は、イメージセンサアレイの高電圧供給に対応する連結を提供し、一方、低電圧連結は、行活性化及び読出し信号に対応する。
段階1915で結合されたウエハー1840、1850は積層を薄くするために後面のグラインディングを経り、TSV1930を露出させるために論理及び制御回路ウエハー1850から十分に除去される基板と共に、SPADウエハー1840から支持ウエハーを除去する。TSV1930が現れる間に、他の連結(例えば、配線連結)が、他の接合計画で可能である。本発明に開示された実施形態に従って形成されるイメージセンサアレイの画素ピッチ(pitch)は大略的に3ミクロン(microns)である。後面のグラインディングの後に、マイクロレンズアレイ1950は、イメージセンサアレイ115でSPAD画素の充電率を向上させるために、SPADウエハー1840の後面に付着される。SPADウエハー1840は後面照明のために構成される。有利には、赤外線波長の感光性素子の感度が入射面から大きい深さで増加するように、赤外線スペクトルで光の感度は本明細書で記述されたような方法で配向されたSPADウエハー1840と共に増加される。SPADウエハー1840の厚さ1725は、これはエピタキシャル成長基板の厚さであり、光学的情報獲得システムが動作する特定な光学的情報獲得波長に基づいて選択されることができる。
図20を参照すれば、本発明の一実施形態による積層されたウエハーデザイン及び減少された画素ピッチP’を含むイメージセンサアレイ115bが図示されている。イメージセンサアレイ115bは感光性領域145と共にSPADセルを含むウエハー2040を含み、ウエハー2040は論理及び制御回路ウエハー2050上に積層される。イメージセンサアレイ115bは減少されたピッチP’を有する画素を含み、分配されたHVn−ウェル及びインタセルnディフュージョン(inter−cell n−diffusions)に起因する。これは一定なHV入力を有するn−ウェルのため、活性化され、ただローカル接合がダイレクト光子発生と共にブレークダウンされる事実に従う。本発明の実施形態に他のイメージセンサアレイ構造が高電圧信号のグローバル制御を可能であるようにするので、HVn−well及びインタセルn−ディフュージョンは分配されることができる。図20の実施形態によるイメージセンサは多数のpディフュージョンによって分けられるnディフュージョンを有する。これはイメージセンサアレイ構成が示され、画素ピッチP’を有し、例えば、2−3ミクロン(mirons)、さらにレンジング装置でイメージセンサの解像能力を増加させる。図20を参照すれば、本発明の実施形態による積層されたウエハーデザイン及び減少される画素ピッチP’を有するイメージセンサアレイ115bが図示される。イメージセンサアレイ115bは感光性領域145と共にSPADセルを含むウエハー1840を含み、ウエハー1840は論理及び制御回路ウエハー1850上に積層される。イメージセンサアレイ115bは減少されたピッチP’を有する画素を含み、分配されたHVn−ウェル及びインタセルnディフュージョン(inter−cell n−diffusions)に起因する。これは一定なHV入力を有するn−ウェルのため、活性化され、ただローカル接合がダイレクト光子発生と共にブレークダウンされる事実に従う。本発明の実施形態に他のイメージセンサアレイ構造が高電圧信号のグローバル制御を可能であるようにするので、HVn−well及びインタセルn−ディフュージョンは分配されることができる。これはイメージセンサアレイ構成が示され、画素ピッチP’を有し、例えば、2〜3ミクロン(microns)、さらにレンジング装置でイメージセンサの解像能力を増加させる。
図21を参照すれば、本発明の一実施形態による半導体装置の製造方法の流れ図2100が図示される。半導体装置はイメージセンサ(例えば、イメージセンサ115)である。
段階2101で、第1部分は第1層に形成され、第1部分は第1電圧で駆動する。第1部分はフォトダイオードを含み、例えば、SPADである。
段階2103で、第2部分は第2層に形成され、第2部分は第2電圧で駆動する。第2電圧は第1電圧と異なる。一実施形態によれば、第1電圧は第2電圧より大きい(例えば、第1電圧は高電圧CMOSウエハーに対応、第2電圧は低電圧CMOSウエハーに対応)。第2部分は第1部分でフォトダイオードに活性化信号を選択的に伝送する論理及び制御回路を含み、フォトダイオードから活性化を受信する。
段階2105で論理及び制御回路はフォトダイオードと電気的に連結される。実施形態によれば、論理及び制御回路及びフォトダイオードはストライプがある連結を通じて電気的に連結されることができる。実施形態によれば、論理及び制御回路及びフォトダイオードは結合パッドを通じて電気的に結合される。
本発明の以下コンセプトは例示的な実施形態を提供する。

1. 物体までの距離を測定するシステムで、前記システムは、
制御された角度に情報獲得ビームを放出し、前記情報獲得ビームは前記物体を照明する光子情報獲得ソースと、
ガイガーモードで動作するアバランシェフォトダイオードのアレイを含み、前記イメージセンサは前記情報獲得ソースに影響を及ぶように連結され、前記情報獲得ビームによって前記物体の照明によって生成される反射されるビームを受信し、前記アレイ上に前記反射されるビームの入射の位置に基づいて信号を発達させるイメージセンサと、
前記情報獲得ソース及び前記イメージセンサに影響を及ぶように連結され、前記情報獲得ソースの前記制御された角度及び前記信号に基づいて前記物体までの距離を測定する分析回路と、を含むシステム。
2. 第1コンセプトにおいて、
前記イメージセンサは、前記情報獲得ソースから制御された距離に配置され、前記分析回路は、前記制御された角度、前記制御された距離、及び前記アレイ上で前記反射されるビームの前記位置によって測定される入射角度の三角測量に基づいて前記物体までの前記距離を測定するシステム。
3. 第1コンセプトにおいて、
前記イメージセンサは、シャッタであり、時変方式(time−varyingmanner)に前記アレイの複数の部分集合の活性化を含み、前記複数の部分集合の部分集合のための部分集合活性化期間は前記制御された角度が変わる時、前記制御された角度及び比率の値に基づくシステム。
4. 第3コンセプトにおいて、
前記信号は、前記複数の部分集合のアクティブ部分集合によって構成される第1アレイ素子による前記反射されるビームの感知に基づいて発達し、さらに前記アクティブ部分集合によって構成されるアレイ素子の余りによって前記反射されるビームの感知は前記信号に含まれないシステム。
5. 第3コンセプトにおいて、
前記情報獲得ソースは、パルス期間に前記情報獲得ビームを放出し、前記部分集合活性化期間は前記パルス期間に追加的に基づくシステム。
6. 第3コンセプトにおいて、
前記イメージセンサは、フレームズームであり、前記アレイの領域の非活性化を含み、前記シャッタは、前記アレイの前記領域のただ外側部分を発生するように構成されたシステム。
7. 第5コンセプトにおいて、
前記パルス周期は、セルフタイムパルス周期であり、最大の範囲で前記イメージセンサに戻って来る前記情報獲得ビームのTOF(time−of−flight)に基づくシステム。
8. 第5コンセプトにおいて、
前記システムは、周辺光レベルを感知する周辺光センサをさらに含み、さらに前記パルス周期は、感知された周辺光レベルに基づくシステム。
9. 第1コンセプトにおいて、
前記イメージセンサは、前記アレイの感光性領域上に前記放射されるビームに焦点を合うために配置される複数のフォーカッシング素子を完全に含むシステム。
10. 第3コンセプトにおいて、
前記アレイ活性化は、フレームズーミング(frame zooming)を含み、フレームズーミングは、前記アレイの非活性化される領域を含み、前記シャッタリングは、ただ前記アレイの前記領域の外側に発生するシステム。
11. 第3コンセプトにおいて、
前記アレイの前記活性化は、アレイ活性化期間の間であり、前記アレイ活性化期間の開始は、前記物体までの事前三角測量の距離測定(prior triangulating distance measurement)によって決定される距離に従って作られたTOFに基づくシステム。
12. プロセッサと、
前記プロセッサに影響を及ぶように結合されるメモリと、
制御された角度に情報獲得ビームを放射し、前記情報獲得ビームは、物体を照明する光子情報獲得ソースと、
フォトダイオードのアレイを含み、前記情報獲得ソース及び前記プロセッサに影響を及ぶように結合し、前記情報獲得ビームによる前記物体の照明によって生成される反射されるビームを受信し、前記アレイ上に前記反射されるビームの入射の位置に基づいて信号を発達させるイメージセンサと、を含み、
前記プロセッサは、前記光子情報獲得ソースの前記制御された角度及び前記信号に基づいて前記物体までの距離を測定する距離測定モバイル機器。
13. 第12コンセプトにおいて、
前記イメージセンサは、画素のアレイを含み、各画素はガイガーモードで駆動する少なくとも1つのアバランシェフォトダイオードを含む距離測定モバイル機器。
14. 第12コンセプトにおいて、
フォトダイオードのアレイに含まれるフォトダイオードの光子敏感度は、可変電圧バイアスに従って設定可能な距離測定モバイル機器。
15. 物体までの距離を測定するためのセンサで、前記センサは、
フォトダイオードのアレイを含み、情報獲得ソースに影響を及ぶように結合し、情報獲得ソースの情報獲得ビームによる前記物体の照明によって生成される反射されるビームを受信し、前記アレイ上に前記反射されるビームの入射によって活性化されるフォトダイオードの前記アレイのフォトダイオードのアレイアドレスに基づく信号を発達させるイメージセンサと、
前記反射されるビームを受信する前記フォトダイオードに直接的に反応するセット信号を生成するラッチ回路を含み、前記セット信号は、前記フォトダイオードのアレイアドレスをレポートするメモリと、
前記アレイアドレスを格納するアドレスデコード回路と、
前記アレイアドレスを読出しために前記アドレスデコード回路に影響を及ぶように結合するタイミング回路と、
前記情報獲得ソース及び前記イメージセンサに影響を及ぶように結合し、前記光子情報獲得ソースの前記制御された角度及び前記アレイアドレスに基づいて前記物体までの距離を測定する分析回路と、を含むセンサ。
16. 第15コンセプトにおいて、
前記アドレスデコード回路は、フォトダイオードの前記アレイの列(column)アドレスを格納するためのメモリを含み、フォトダイオードの前記アレイのフォトダイオードの各々は、対応するラッチ回路に影響を及ぶように結合されるセンサ。
17. 第16コンセプトにおいて、
前記タイミング回路は、前記列アドレスの状態を順次的に測定し、前記レポートされたアレイアドレスに対応する前記列アドレスが到着する時まで次の列アドレスのための読出しのタイミングの活性化を維持するセンサ。
18. 第16コンセプトにおいて、
フォトダイオードの前記アレイのフォトダイオードの各々は対応する列アドレスを格納する対応するアドレスデコード回路に影響を及ぶように連結され、フォトダイオードの前記アレイの各行は、対応する行ラッチ回路に影響を及ぶように連結されるセンサ。
19. 第18コンセプトにおいて、
前記セット信号は、前記反射されるビームを受信する前記フォトダイオードのように同じ行上でフォトダイオードの前記アレイの他のフォトダイオードを非活性化するセンサ。
20. 第18コンセプトにおいて、
前記タイミング回路は、前記対応する行ラッチ回路の状態を順次的に測定し、前記レポートされたアレイアドレスに対応する前記行ラッチ回路が到達する時まで次の行ラッチ回路のための読出しタイミングの活性化を維持するセンサ。
21. 第15コンセプトにおいて、
フォトダイオードの前記アレイは、ガイガーモードで動作するアバランシェフォトダイオードを含むセンサ。
22. 第15コンセプトにおいて、
フォトダイオードの前記アレイは、アクティブフォトダイオードを含み、フォトダイオードの前記アレイのフォトダイオードは、前記フォトダイオードの電圧が入射光子に基づいて閾値レベル(threshold level)に到達した時、活性化されるセンサ。
23. 第15コンセプトにおいて、
イメージセンサは、前記情報獲得ソースから制御された距離に配置され、前記分析回路は、前記制御された角度、前記制御された距離、及び前記フォトダイオードのアレイアドレスによって測定される入射角度の三角測量に基づいて前記物体までの距離を測定するイメージセンサ。
24. 第15コンセプトにおいて、
制御タイミング回路は、制御された活性化期間にフォトダイオードの前記アレイのフォトダイオードを活性化し、最大の範囲で前記イメージセンサに戻って来る前記情報獲得ビームのTOF(time−of−flight)及び戻って来る角度に基づくセンサ。
25. 第22コンセプトにおいて、
前記センサは、周辺光レベルを測定する周辺光センサをさらに含み、前記制御された活性化期間は、感知された周辺光レベルに基づくセンサ。
26. 物体までの距離を測定する方法において、前記方法は、
光子情報獲得ビームで前記物体を情報獲得する段階と、
前記光子情報獲得ビームの活性化でフォトダイオードのアレイを実質的に同時に活性化する段階と、
前記アレイで、前記情報獲得される前記物体から反射されるビームを受信する段階と、
前記アレイ上で前記反射されるビームの入射によって活性化されるフォトダイオードの前記アレイの前記フォトダイオードのアレイアドレスに対応する信号を生成する段階と、
前記信号に基づいて前記物体までの距離を決定する段階を含む方法。
27. 第26コンセプトにおいて、
前記信号を生成する段階は、前記反射されるビームを受信する前記フォトダイオードに直接反応するセット信号を受信する前記フォトダイオードに影響を及ぶように結合するラッチ回路を含む方法。
28. 第27コンセプトにおいて、
前記反射されるビームを受信する前記フォトダイオードのように同じ行上でフォトダイオードの前記アレイの他のフォトダイオードを非活性させる段階をさらに含む方法。
29. 第28コンセプトにおいて、
前記アレイは、ガイガーモードで動作するアバランシェフォトダイオードを含む方法。
30. 第26コンセプトにおいて、
前記アレイは、アクティブフォトダイオードを含み、フォトダイオードの前記アレイのフォトダイオードは、前記フォトダイオードの電圧が入射光子に基づいて閾値レベルに到達した時活性化される方法。
31. 第26コンセプトにおいて、
前記情報獲得する段階が前記光子情報獲得ビームの制御された角度で遂行され、前記情報獲得ソースは、前記情報獲得ビームを放出し、前記アレイ、互いから制御された距離に配置される方法。
32. 第28コンセプトにおいて、
前記距離を決定する段階は、前記制御された角度、前記制御された距離、及び前記フォトダイオードの前記アレイアドレスによって測定される入射角度の三角測量に基づく方法。
33. フォトダイオードと、
前記フォトダイオードに電気的に結合し、少なくとも1つのアクティブ及びパッシブ素子を含む負荷と、
前記フォトダイオードに電気的に結合し、ラッチ回路を含む複数のトランジスタと、を含み、
前記フォトダイオードの制御はグランドに参照され、選択的に前記フォトダイオードを活性化し、前記フォトダイオードはフォトダイオードに入射する光子に基づいて電流を発達させ、前記負荷は、前記電流を電圧パルスに変換し、前記電圧パルスは、前記ラッチ回路の論理レベルをセット(set)する入力として機能する画素回路。
34. 第33コンセプトにおいて、
前記画素回路は、前記フォトダイオード及び前記制御に電気的に連結された電圧クランプ(clamp)回路をさらに含み、前記電圧クランプは、前記ラッチ回路に対する前記電圧パルス入力の電圧レベルを制限する画素回路。
35. 第33コンセプトにおいて、
前記フォトダイオードは、ガイガーモードで動作するアバランシェフォトダイオードであり、前記電流は、前記光子によってトリガーされるアバランシェ電流である画素回路。
36. 第33コンセプトにおいて、
前記フォトダイオードは、アクティブフォトダイオードであり、前記電流は、前記フォトダイオードの電圧が前記フォトダイオードに入射される光子に基づく閾値レベルに到達する時、発達する画素回路。
37. 第1電圧で動作する第1部分を含み、前記第1部分は単一光子アバランシェフォトダイオード(SPAD)を含む第1層と、
第2電圧で動作する第2部分を含み、前記第2部分は前記SPADに電気的に結合し前記SPADに活性化信号を選択的に供給し、前記SPADから活性化信号を受信する第2層と、を含み、
前記第1電圧と前記第2電圧とは異なる半導体装置。
38. 第37コンセプトにおいて、
第1基板は、前記第1層を含み、第2基板は、前記第2層を含む半導体装置。
39. 第38コンセプトにおいて、
前記第1基板及び前記第2基板は、積層構造に配列される半導体装置。
40. 第38コンセプトにおいて、
前記第2基板は、前記第1基板及び前記第2基板に電気的コミュニケーションを提供するTSV(through−silicon−via)を含む半導体装置。
41. 第37コンセプトにおいて、
前記第1電圧は、前記第2電圧より大きい半導体装置。
42. 第37コンセプトにおいて、
SPADのアレイは、前記SPADを含む半導体装置。
43. 第42コンセプトにおいて、
前記論理及び制御回路は、SPADの前記アレイのアレイアドレスを格納するアドレスデコード回路を含み、タイミング回路は、前記アレイアドレスを読出しために前記アドレスデコード回路に影響を及ぶように結合する半導体装置。
44. 第43コンセプトにおいて、
前記論理及び制御回路は、ラッチ回路を含み、前記ラッチ回路は、受信された光に反応する前記SPADの活性化に直接反応してセット信号を生成し、前記セット信号は、前記SPADのアレイアドレスをレポートする半導体装置。
45. 第42コンセプトにおいて、
SPADの前記アレイの隣接するSPADの間に中心から中心までの距離は、3乃至5microns間である半導体装置。
46. 第42コンセプトにおいて、
SPADの前記アレイの隣接するSPADの間に中心から中心までの距離は、約2micronsである半導体装置。
47. 第42コンセプトにおいて、
前記第1層上に配置されるマイクロレンズアレイをさらに含み、前記マイクロレンズアレイは、SPADの前記アレイ上に入射される光に焦点を合うために配置される半導体装置。
48. 半導体装置を形成する方法において、前記方法は、
第1電圧で動作する第1層に第1部分を形成し、前記第1部分は単一光子アバランシェフォトダイオード(SPAD)を含む段階と、
前記第1電圧とは異なる第2電圧で動作する第2層に第2部分を形成し、前記第2部分は前記SPADに活性化信号を選択的に送信し、前記SPADから活性化信号を受信する論理及び制御回路を含む段階と、
前記SPADに前記論理及び制御回路を電気的に結合する段階と、を含む方法。
49. 第48コンセプトにおいて、
第1基板は、第1層を含み、第2基板は第2層を含む方法。
50. 第49コンセプトにおいて、
前記第1基板及び前記第2基板を積層構造に配列する段階をさらに含む方法。
51. 第49コンセプトにおいて、
第2基板内に前記第1基板及び前記第2基板に電気的コミュニケーションを提供するTSV(through−silicon−via)を形成する段階をさらに含む方法。
52. 第48コンセプトにおいて、
前記第1電圧は、前記第2電圧より大きい方法。
53. 第48コンセプトにおいて、
SPADの配列は、前記SPADを含む方法。
54. 第53コンセプトにおいて、
前記論理及び制御回路は、SPADの前記アレイのアレイアドレスを格納するアドレスデコード回路を含み、タイミング回路は、前記アレイアドレスを読み出すために前記アドレスデコード回路に影響を及ぶように結合する方法。
55. 第54コンセプトにおいて、
前記論理及び制御回路は、ラッチ回路を含み、前記ラッチ回路は、受信された光に応答するSPADの活性化に直接応答してセット信号を生成し、前記セット信号は、前記SPADのアレイアドレスをレポートする方法。
56. 第53コンセプトにおいて、
SPADの前記アレイの隣接するSPADの間に中心から中心までの距離は、3乃至5micronsである方法。
57. 第53コンセプトにおいて、
SPADの前記アレイの隣接するSPADの間に中心から中心までの距離は、約2micronsである方法。
58. 第53コンセプトにおいて、
前記第1層上にマイクロレンズアレイを配置し、前記マイクロレンズアレイは、SPADの前記アレイ上に入射される光に焦点を合うために配置される段階をさらに含む方法。
本発明の主題は構造的特徴及び/又は方法実行に特定の言語を用いて説明されたが、添付された概念で定義された主題は、上述した特定の特徴又は作用により、必ずしも制限されない。むしろ、上述した特定の特徴及び作用は本願の特許請求の範囲を具現する例示的な形態として開示される。
100 光学的情報獲得システム
105 光子情報獲得装置、光学的情報獲得装置
110 情報獲得ソース
111 情報獲得ソース角度
115 イメージセンサ
116 戻ってくる角度
120 距離
125 情報獲得ビーム
130 物体から戻って来る光、戻って来る光
135 光学的システム、ノッチフィルタ
140 感光性ダイオードのアレイ
140a、140b SPAD画素
145 フォトダイオード
145a、145b 感光性領域
150 物体
150a、150b 画素回路領域、画素回路ロジック
220 抵抗
225 バッファ
230 フィードバック解消回路

Claims (20)

  1. 光学的イベントを感知する方法において、
    光学的情報獲得ビームを用いて物体から情報獲得する(interrogate)段階と、
    前記光子情報獲得ビームの活性化と実質的に同時に画素のアレイを活性化し、前記画素は、アバランシェフォトダイオードを含み、アバランシェフォトダイオードの電圧バイアスレベルは、ガイガーモード及びアバランシェモードの中の1つにおける画素駆動に対応する段階と、
    前記アレイにおいて、前記情報獲得された前記物体から反射されたビームを受信する段階と、
    前記反射されたビームが前記アレイ上に入射する位置に対応する信号を生成し、前記信号は、画素アレイアドレス、及び前記光子情報獲得ビームと前記反射されるビームとの間のTOF(time−of−flight)の内の少なくとも1つに対応する段階と、
    前記信号に基づいて物体迄の距離を測定する段階と、を含むことを特徴とする方法。
  2. 前記情報獲得する段階は、前記光子情報獲得ビームの制御された角度で遂行され、
    前記情報獲得ビームを放出する情報獲得ソースと前記アレイとは、制御された距離だけ互いに離隔して配置され、
    前記物体迄の距離を決定する段階は、前記制御された角度、前記制御された距離、及び、前記反射されたビームの前記画素アレイアドレスによって決定される入射角度を三角測量する(triangulate)ことに基づく、ことを特徴とする請求項1に記載の方法。
  3. 前記アレイを活性化することは、シャッタリング(shuttering)を含み、前記シャッタリングは、時変(時間と共に変化する、time−varying)モードに従って前記アレイの複数の部分集合を活性化することを含み、前記複数の部分集合の内の各部分集合の活性化期間は、前記制御された角度の値及び前記制御された角度の変化率に基づくことを特徴とする請求項2に記載の方法。
  4. 前記信号を生成することは、前記複数の部分集合の内のアクティブ(活性化された)部分集合によって構成される画素によって前記反射されたビームを受信することに基づき、
    さらに、前記アクティブ部分集合に含まれない残りの画素による前記反射されたビームの感知は、前記信号に含まれないことを特徴とする請求項3に記載の方法。
  5. 前記信号を生成することは、前記アレイの画素が前記反射されたビームを受信することに直接応答して前記画素のラッチ回路によりセット信号を生成することを含み、
    前記セット信号は、前記画素の行アドレス及び列アドレスの内の少なくとも1つを、列デコーダ回路及び行デコーダ回路の内の少なくとも1つに伝達することを特徴とする請求項1に記載の方法。
  6. 前記セット信号は、接地電位を基準とする(ground−referenced)フォトダイオード電流によって生起される(developed)ポジティブ(正)電圧パルスであることを特徴とする請求項5に記載の方法。
  7. 前記信号を生成することは、前記アレイの画素が前記反射されたビームを受信することに応答して前記画素に対する列デコード信号を生成することを含み、前記列デコード信号は、前記画素の前記列アドレスを行ラッチ回路に伝達することを特徴とする請求項1に記載の方法。
  8. 前記アレイの画素は、少なくとも1つの電荷ストレージ素子を含み、前記光子情報獲得ビーム及び前記アバランシェフォトダイオードのアレイを活性化することは、前記情報獲得ビームの放出から、前記物体により反射されたビームの受信に至る時間期間に、前記少なくとも1つの電荷ストレージ素子の電荷レベルの変化を開始及び終了し、前記電荷レベルは、TOFに対応することを特徴とする請求項1に記載の方法。
  9. 光学的イベントを感知するための光学的イベントセンサにおいて、
    光子情報獲得ソースの活性化と実質的に同時に活性化されて動作可能な画素のアレイを含み、前記画素はアバランシェフォトダイオードを含み、前記アバランシェフォトダイオードの電圧バイアスレベルは、ガイガーモード及びアバランシェモードの中の1つにおける画素動作に対応し、
    前記画素のアレイは、物体から反射されたビームを前記アレイにおいて受信し、前記反射されたビームの前記アレイ上における入射位置に対応する信号を生成する動作が可能であり、
    前記信号は、画素アレイアドレス、及び前記情報獲得ビームと前記反射されたビームの間のTOF(time−of−flight)の内の少なくとも1つに対応し、前記画素のアレイは、前記信号に基づいて前記物体までの距離を決定する動作が可能であることを特徴とする光学的イベントセンサ。
  10. 前記物体は、前記光子情報獲得ソースの制御された角度で情報獲得され、前記光子情報獲得ソースと前記画素のアレイとは、制御された距離だけ互いに離隔して配置され、前記物体までの距離は、前記制御された角度、前記制御された距離、及び、前記反射されたビームの前記画素アレイアドレスによって決定される入射角度を三角測量することに基づいて決定されることを特徴とする請求項9に記載の光学的イベントセンサ。
  11. 前記アレイは、シャッタ動作が可能であり、時変(時間と共に変化する)方法に従って前記アレイの複数の部分集合を活性化することを含み、前記複数の部分集合の内の各部分集合の活性化期間は、前記制御された角度の値及び前記制御された角度の変化率に基づくことを特徴とする請求項10に記載の光学的イベントセンサ。
  12. 前記信号は、前記複数の部分集合の内のアクティブ(活性化された)部分集合によって構成される第1の画素によって前記反射されたビームの感知に基づいて生成され、
    さらに、前記アクティブ部分集合に含まれない残りの画素による前記反射されたビームの感知は、前記信号に含まれないことを特徴とする請求項11に記載の光学的イベントセンサ。
  13. 前記信号は、前記アレイの画素のラッチ回路によるセット信号を含み、前記セット信号は、前記画素が前記反射されたビームを受信することに直接応答し、前記セット信号は、前記画素の行アドレス及び列アドレスの内の少なくとも1つを、列デコーダ回路及び行デコーダ回路の内の少なくとも1つに伝達することを特徴とする請求項9に記載の光学的イベントセンサ。
  14. 前記セット信号は、接地電位を基準とする(ground−referenced)フォトダイオード電流によって生起される(developed)ポジティブ(正)電圧パルスであることを特徴とする請求項13に記載の光学的イベントセンサ。
  15. 前記信号は、前記アレイの画素における列デコード信号を含み、前記列デコード信号は、前記画素が前記反射されたビームを受信することに応答し、前記列デコード信号は、前記画素の前記列アドレスを行ラッチ回路に伝達することを特徴とする請求項9に記載の光学的イベントセンサ。
  16. 前記画素のアレイは、第1電圧で動作する第1基板及び第2電圧で動作する第2基板を含み、前記第1電圧は、前記第2電圧より高く、前記アバランシェフォトダイオードは、前記第1基板に含まれて構成され、画素の前記アレイの論理及び制御回路は、前記第2基板に含まれて構成されることを特徴とする請求項15に記載の光学的イベントセンサ。
  17. 前記アレイの画素は、少なくとも1つの電荷ストレージ素子を含み、前記光子情報獲得ビーム及び前記アバランシェフォトダイオードのアレイの活性化は、前記情報獲得ビームの放出から前記物体により反射されたビームの受信に至る時間期間に、前記少なくとも1つの電荷ストレージ素子の電荷レベルの変化を開始及び終了する動作を可能にし、前記電荷レベルは、TOFに対応することを特徴とする請求項9に記載の光学的イベントセンサ。
  18. プロセッサと、
    前記プロセッサに動作可能に連結されたメモリと、
    物体を照明するための情報獲得ビームを放出するように構成された光子情報獲得ソースと、
    画素のアレイと、対応する電荷ストレージ素子とを含み、前記情報獲得ソース及び前記プロセッサに動作可能に連結され、前記情報獲得ビームによる前記物体の照明によって生成される、反射されたビームを受信し、前記アレイ上に前記反射ビームに基づく信号を生成するイメージセンサと、を含み、
    前記情報獲得ソース及び前記イメージセンサの活性化は、前記情報獲得ビームの放出から、前記物体により反射されたビームの受信に至る時間期間に、前記電荷ストレージ素子の電荷レベルの変化を開始及び終了し、ここで、前記電荷レベルは前記信号に含まれ、
    前記プロセッサは、前記信号を受信し、且つ、前記信号に基づいて前記物体の距離情報を出力する、動作が可能であることを特徴とする距離測定モバイル装置。
  19. 前記画素のアレイは、ガイガーモードで動作するアバランシェフォトダイオードのアレイを含むことを特徴とする請求項18に記載の距離測定モバイル装置。
  20. 前記電荷ストレージ素子は、キャパシタを含み、前記キャパシタは、前記反射されたビームの受信に応答して対応する画素のフォトダイオードによって生成される信号を受信すると充電を終了することを特徴とする請求項19に記載の距離測定モバイル装置。
JP2016561822A 2014-04-07 2015-04-07 光学的イベントを感知する方法とそのための光学的イベントセンサ、及び距離測定モバイル装置 Active JP6483725B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201461976435P 2014-04-07 2014-04-07
US61/976,435 2014-04-07
US201462072327P 2014-10-29 2014-10-29
US201462072320P 2014-10-29 2014-10-29
US62/072,327 2014-10-29
US62/072,320 2014-10-29
PCT/US2015/024789 WO2015157341A1 (en) 2014-04-07 2015-04-07 High resolution, high frame rate, low power image sensor

Publications (3)

Publication Number Publication Date
JP2017520134A true JP2017520134A (ja) 2017-07-20
JP2017520134A5 JP2017520134A5 (ja) 2018-05-31
JP6483725B2 JP6483725B2 (ja) 2019-03-13

Family

ID=54209502

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016561822A Active JP6483725B2 (ja) 2014-04-07 2015-04-07 光学的イベントを感知する方法とそのための光学的イベントセンサ、及び距離測定モバイル装置

Country Status (6)

Country Link
US (3) US9952323B2 (ja)
JP (1) JP6483725B2 (ja)
KR (1) KR102409952B1 (ja)
CN (1) CN106165399B (ja)
DE (1) DE112015001704T5 (ja)
WO (1) WO2015157341A1 (ja)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019125717A (ja) * 2018-01-17 2019-07-25 シャープ株式会社 シングルフォトンアバランシェダイオード制御回路
JP2019215324A (ja) * 2018-04-20 2019-12-19 ジック アーゲー 光電センサ及び距離測定方法
WO2020017188A1 (ja) * 2018-07-18 2020-01-23 浜松ホトニクス株式会社 半導体光検出装置
WO2020031881A1 (ja) * 2018-08-09 2020-02-13 株式会社デンソー 光測距装置
WO2020045125A1 (ja) * 2018-08-31 2020-03-05 ソニーセミコンダクタソリューションズ株式会社 受光素子および測距システム
WO2020050362A1 (ja) * 2018-09-06 2020-03-12 パナソニックIpマネジメント株式会社 固体撮像素子、撮像システム、固体撮像素子の駆動方法、及び光検出器
WO2020129474A1 (ja) * 2018-12-18 2020-06-25 ソニーセミコンダクタソリューションズ株式会社 測距装置および計測装置
WO2020137318A1 (ja) * 2018-12-26 2020-07-02 ソニーセミコンダクタソリューションズ株式会社 測定装置、測距装置および測定方法
WO2020162223A1 (ja) * 2019-02-05 2020-08-13 ソニーセミコンダクタソリューションズ株式会社 受光装置、測距システム及び受光方法
JP2020134313A (ja) * 2019-02-20 2020-08-31 株式会社デンソー 光検出器
JP2020148644A (ja) * 2019-03-14 2020-09-17 株式会社東芝 光検出器及び距離測定装置
JP2020153746A (ja) * 2019-03-19 2020-09-24 株式会社東芝 受光装置及び距離測定装置
JPWO2020255399A1 (ja) * 2019-06-21 2020-12-24
JP2021032763A (ja) * 2019-08-27 2021-03-01 ソニー株式会社 測距システム及び電子機器
US10971539B2 (en) 2018-03-30 2021-04-06 Canon Kabushiki Kaisha Solid-state imaging device, method of driving solid-state imaging device, imaging system, and movable object
WO2021166503A1 (ja) * 2020-02-18 2021-08-26 ソニーセミコンダクタソリューションズ株式会社 撮像回路、撮像装置および撮像方法
WO2021172216A1 (ja) * 2020-02-27 2021-09-02 ソニーセミコンダクタソリューションズ株式会社 受光素子、光学デバイス、及び電子機器
JP2022023945A (ja) * 2017-09-25 2022-02-08 ウェイモ エルエルシー 拡張されたダイナミックレンジのための組み合わせ光検出器アレイ
JP2022521526A (ja) * 2019-02-22 2022-04-08 プロフェシー 動体視覚センサおよびパターン投影を用いる3次元撮像および感知
JP2022079487A (ja) * 2018-02-09 2022-05-26 キヤノン株式会社 光電変換装置及び撮像システム
JP2022542041A (ja) * 2019-08-06 2022-09-29 イベオ オートモーティブ システムズ ゲーエムベーハー 2つのライダー測定装置を有するライダー測定システム
JP2023540059A (ja) * 2020-08-28 2023-09-21 アーエムエス インターナショナル アーゲー Spadベースデバイスのダイナミックレンジ拡張
JP7450809B2 (ja) 2020-08-31 2024-03-15 華為技術有限公司 Dtof検知モジュール、端末デバイス、および測距方法
JP7505490B2 (ja) 2019-06-04 2024-06-25 ソニーグループ株式会社 撮像システム

Families Citing this family (215)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009049272A2 (en) 2007-10-10 2009-04-16 Gerard Dirk Smits Image projector with reflected light tracking
US12025807B2 (en) 2010-10-04 2024-07-02 Gerard Dirk Smits System and method for 3-D projection and enhancements for interactivity
US9741754B2 (en) 2013-03-06 2017-08-22 Apple Inc. Charge transfer circuit with storage nodes in image sensors
JP2015000288A (ja) * 2013-06-18 2015-01-05 キヤノン株式会社 被検体情報取得装置およびその制御方法ならびに音響信号取得装置およびその制御方法
JP6221582B2 (ja) * 2013-09-30 2017-11-01 セイコーエプソン株式会社 超音波デバイスおよびプローブ並びに電子機器および超音波画像装置
FR3020699A1 (fr) * 2014-04-30 2015-11-06 Centre Nat Rech Scient Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere
US9686485B2 (en) 2014-05-30 2017-06-20 Apple Inc. Pixel binning in an image sensor
US9377533B2 (en) 2014-08-11 2016-06-28 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
US10078133B2 (en) 2014-08-15 2018-09-18 Aeye, Inc. Method and system for ladar transmission with closed loop feedback control of dynamic scan patterns
US9568603B2 (en) * 2014-11-14 2017-02-14 Microsoft Technology Licensing, Llc Eyewear-mountable eye tracking device
US9791568B2 (en) * 2014-12-31 2017-10-17 Stmicroelectronics, Inc. Device for determining the distance to an outer surface of a roll of material and related method
US11493634B2 (en) 2015-02-13 2022-11-08 Carnegie Mellon University Programmable light curtains
US11972586B2 (en) 2015-02-13 2024-04-30 Carnegie Mellon University Agile depth sensing using triangulation light curtains
US11425357B2 (en) * 2015-02-13 2022-08-23 Carnegie Mellon University Method for epipolar time of flight imaging
US11747135B2 (en) * 2015-02-13 2023-09-05 Carnegie Mellon University Energy optimized imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
US9661308B1 (en) * 2015-04-20 2017-05-23 Samsung Electronics Co., Ltd. Increasing tolerance of sensor-scanner misalignment of the 3D camera with epipolar line laser point scanning
KR102311688B1 (ko) 2015-06-17 2021-10-12 엘지전자 주식회사 이동단말기 및 그 제어방법
US10620300B2 (en) 2015-08-20 2020-04-14 Apple Inc. SPAD array with gated histogram construction
US9880267B2 (en) * 2015-09-04 2018-01-30 Microvision, Inc. Hybrid data acquisition in scanned beam display
KR102381862B1 (ko) * 2015-12-10 2022-04-01 삼성전자주식회사 데이터 통신 장치
EP3182162B1 (en) * 2015-12-18 2022-02-16 STMicroelectronics (Grenoble 2) SAS Multi-zone ranging and intensity mapping using spad based tof system
EP3391085B1 (en) * 2015-12-18 2023-04-19 Gerard Dirk Smits Real time position sensing of objects
WO2017106875A1 (en) 2015-12-18 2017-06-22 Gerard Dirk Smits Real time position sensing of objects
US9946259B2 (en) 2015-12-18 2018-04-17 Raytheon Company Negative obstacle detector
US9997551B2 (en) * 2015-12-20 2018-06-12 Apple Inc. Spad array with pixel-level bias control
EP3391076A1 (en) * 2015-12-20 2018-10-24 Apple Inc. Light detection and ranging sensor
US10324171B2 (en) 2015-12-20 2019-06-18 Apple Inc. Light detection and ranging sensor
US10605920B2 (en) 2016-01-13 2020-03-31 Ams Sensors Singapore Pte. Ltd. Power savings through refresh control for distance sensing devices
US9813673B2 (en) 2016-01-20 2017-11-07 Gerard Dirk Smits Holographic video capture and telepresence system
US10382701B2 (en) 2016-01-27 2019-08-13 Raytheon Company Active imaging systems and method
US10602070B2 (en) * 2016-01-27 2020-03-24 Raytheon Company Variable magnification active imaging system
US11207013B2 (en) * 2016-02-01 2021-12-28 The Cleveland Clinic Foundation Systems and methods for estimating a volume of a hollow organ
US9933513B2 (en) 2016-02-18 2018-04-03 Aeye, Inc. Method and apparatus for an adaptive ladar receiver
WO2017143217A1 (en) 2016-02-18 2017-08-24 Aeye, Inc. Adaptive ladar receiver
US20170242104A1 (en) 2016-02-18 2017-08-24 Aeye, Inc. Ladar Transmitter with Induced Phase Drift for Improved Gaze on Scan Area Portions
US10782393B2 (en) 2016-02-18 2020-09-22 Aeye, Inc. Ladar receiver range measurement using distinct optical path for reference light
US10042159B2 (en) 2016-02-18 2018-08-07 Aeye, Inc. Ladar transmitter with optical field splitter/inverter
JP7001274B2 (ja) * 2016-03-15 2022-01-19 ダートマス カレッジ クラスタ並列読み出しを有する、スタック型の裏面照明型量子イメージセンサ
EP3443383B1 (en) 2016-04-13 2023-08-16 Oulun yliopisto Distance measuring device and method thereof
US9985071B2 (en) * 2016-04-15 2018-05-29 Qualcomm Incorporated Active area selection for LIDAR receivers
US10267915B2 (en) * 2016-06-07 2019-04-23 Raytheon Company Optical system for object detection and location
GB2551188B (en) * 2016-06-10 2020-06-03 Advanced Risc Mach Ltd Storing and Reading Arrays of Data in Data Processing Systems Comprising a Plurality of Memory Banks
US20180341009A1 (en) * 2016-06-23 2018-11-29 Apple Inc. Multi-range time of flight sensing
US10540750B2 (en) * 2016-07-07 2020-01-21 Stmicroelectronics Sa Electronic device with an upscaling processor and associated method
DE102016113131A1 (de) * 2016-07-15 2018-01-18 Sick Ag Optoelektronischer Sensor und Verfahren zur Erfassung eines Objekts in einem Überwachungsbereich
GB201612392D0 (en) * 2016-07-18 2016-08-31 Is-Instruments Ltd Raman Spectroscopy
CN111682039B (zh) 2016-09-23 2021-08-03 苹果公司 堆叠式背面照明spad阵列
EP3301476B1 (en) * 2016-09-28 2023-03-15 STMicroelectronics (Research & Development) Limited Apparatus having a camera and a time of flight single photon avalanche diode based range detecting module for controlling the camera and corresponding method
CN116525633A (zh) * 2016-10-18 2023-08-01 索尼半导体解决方案公司 传感器
DE102016220492A1 (de) * 2016-10-19 2018-04-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Ladungslawinen-Photodetektor-System
DE102016221049A1 (de) * 2016-10-26 2018-04-26 Robert Bosch Gmbh Vorrichtung und Verfahren zum Empfangen eines reflektierten Lichtpulses in einem Lidar-System
US10321037B2 (en) * 2016-10-27 2019-06-11 Raytheon Company Active pushbroom scanning system and method
EP3532863A4 (en) 2016-10-31 2020-06-03 Gerard Dirk Smits FAST SCAN LIDAR WITH DYNAMIC VOXEL PROBE
US10598787B2 (en) * 2016-11-04 2020-03-24 Stmicroelectronics (Research & Development) Limited Method and apparatus for measuring time of flight
US11448757B2 (en) * 2016-11-29 2022-09-20 Nuvoton Technology Corporation Japan Distance measuring device
CN106448552B (zh) * 2016-11-29 2018-11-23 京东方科技集团股份有限公司 显示基板、显示装置及显示控制方法
CN106448553B (zh) * 2016-11-29 2018-10-23 京东方科技集团股份有限公司 显示基板、显示装置及显示控制方法
DE102016223892A1 (de) * 2016-12-01 2018-06-07 Zf Friedrichshafen Ag LiDAR mit preselektiertem Erfassungsbereich
US10557965B2 (en) * 2016-12-02 2020-02-11 Stmicroelectronics (Grenoble 2) Sas Device, system, and method for detecting human presence
EP3339887B1 (de) * 2016-12-22 2019-04-03 Sick AG Lichtempfänger mit einer vielzahl von lawinenphotodioden und verfahren zum erfassen von licht
EP3563347A4 (en) 2016-12-27 2020-06-24 Gerard Dirk Smits SYSTEMS AND METHODS FOR MACHINE PERCEPTION
US10366674B1 (en) 2016-12-27 2019-07-30 Facebook Technologies, Llc Display calibration in electronic displays
IT201700000532A1 (it) 2017-01-03 2018-07-03 St Microelectronics Srl Procedimento per rilevare oggetti, sistema ed apparecchiatura corrispondenti
US11054508B2 (en) 2017-01-05 2021-07-06 Innovusion Ireland Limited High resolution LiDAR using high frequency pulse firing
US12019189B2 (en) 2017-01-24 2024-06-25 Analog Devices, Inc. Providing dynamic field of view for light received from a dynamic position
US10656251B1 (en) 2017-01-25 2020-05-19 Apple Inc. Signal acquisition in a SPAD detector
CN110235024B (zh) * 2017-01-25 2022-10-28 苹果公司 具有调制灵敏度的spad检测器
US10962628B1 (en) 2017-01-26 2021-03-30 Apple Inc. Spatial temporal weighting in a SPAD detector
US10527728B2 (en) * 2017-01-27 2020-01-07 Samsung Electronics Co., Ltd Apparatus and method for range measurement
US10379205B2 (en) 2017-02-17 2019-08-13 Aeye, Inc. Ladar pulse deconfliction method
US10516841B2 (en) * 2017-03-08 2019-12-24 Samsung Electronics Co., Ltd. Pixel, pixel driving circuit, and vision sensor including the same
GB201704203D0 (en) * 2017-03-16 2017-05-03 Pixquanta Ltd An electromagnetic radiation detection device
GB201704452D0 (en) * 2017-03-21 2017-05-03 Photonic Vision Ltd Time of flight sensor
EP3382421A1 (en) * 2017-03-28 2018-10-03 Photoneo S.R.O Methods and apparatus for superpixel modulation with ambient light suppression
DE102017206026A1 (de) * 2017-04-07 2018-10-11 Robert Bosch Gmbh LIDAR-Vorrichtung und Verfahren zum Abtasten eines Abtastwinkels und zum Auswerten eines Detektors
WO2018198729A1 (ja) * 2017-04-28 2018-11-01 シャープ株式会社 3次元画像素子および光レーダー装置
US10473921B2 (en) 2017-05-10 2019-11-12 Gerard Dirk Smits Scan mirror systems and methods
FR3068174A1 (fr) * 2017-06-21 2018-12-28 Stmicroelectronics (Crolles 2) Sas Procede de fabrication d'une cellule spad
KR102324224B1 (ko) 2017-06-28 2021-11-10 삼성전자주식회사 이미지 센서 및 그것에 포함되는 전자 회로
US10830879B2 (en) 2017-06-29 2020-11-10 Apple Inc. Time-of-flight depth mapping with parallax compensation
EP3428683B1 (en) * 2017-07-11 2019-08-28 Sick Ag Optoelectronic sensor and method for measuring a distance
WO2019014494A1 (en) * 2017-07-13 2019-01-17 Apple Inc. EARLY-DELAYED PULSE COUNTING FOR DEPTH SENSORS EMITTING LIGHT
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
EP3438699A1 (de) * 2017-07-31 2019-02-06 Hexagon Technology Center GmbH Distanzmesser mit spad-anordnung zur berücksichtigung von mehrfachzielen
US10677899B2 (en) * 2017-08-07 2020-06-09 Waymo Llc Aggregating non-imaging SPAD architecture for full digital monolithic, frame averaging receivers
WO2019041274A1 (en) 2017-08-31 2019-03-07 Sz Dji Technology Co. , Ltd. SEMICONDUCTOR LIGHT DISTANCE LIDAR DETECTION AND ESTIMATING SYSTEM SYSTEM AND METHOD FOR IMPROVING SEMICONDUCTOR LIGHT DISTANCE DETECTION AND LODAR ESTIMATION ESTIMATION
EP3451655B1 (en) 2017-08-31 2020-10-21 Canon Kabushiki Kaisha Solid-state image sensor and image capture apparatus
WO2019041250A1 (zh) * 2017-08-31 2019-03-07 深圳市大疆创新科技有限公司 电子器件及包括其的测距装置和电子设备
US10440301B2 (en) 2017-09-08 2019-10-08 Apple Inc. Image capture device, pixel, and method providing improved phase detection auto-focus performance
DE102017120953A1 (de) * 2017-09-11 2019-03-14 Sick Ag Optoelektronischer Sensor und Verfahren zur Positionserfassung eines Objekts
KR102429879B1 (ko) * 2017-09-13 2022-08-05 삼성전자주식회사 라이다 장치 및 이의 동작 방법
CN111344647B (zh) 2017-09-15 2024-08-02 艾耶股份有限公司 具有低延时运动规划更新的智能激光雷达系统
KR102016942B1 (ko) 2017-09-20 2019-09-02 연세대학교 산학협력단 차량용 라이다 센서 및 라이다 센서의 동작 방법
EP3688809A4 (en) * 2017-09-27 2021-07-28 The Commonwealth of Australia MONOPHOTONIC AVALANCHE DETECTOR (SPAD) NEUROMORPHIC NETWORK MICROCHIP
US10955552B2 (en) 2017-09-27 2021-03-23 Apple Inc. Waveform design for a LiDAR system with closely-spaced pulses
US10955551B2 (en) 2017-10-16 2021-03-23 Sensors Unlimited, Inc. Pixel output processing circuit with laser range finding (LRF) capability
US10591605B2 (en) 2017-10-19 2020-03-17 Gerard Dirk Smits Methods and systems for navigating a vehicle including a novel fiducial marker system
WO2019084702A1 (en) 2017-10-30 2019-05-09 Shenzhen Genorivision Technology Co. Ltd. A lidar detector with high time resolution
US10545224B2 (en) 2017-12-06 2020-01-28 Samsung Electronics Co., Ltd. Time-resolving sensor using SPAD + PPD or capacitors in pixel for range measurement
DE102017222972A1 (de) 2017-12-15 2019-07-04 Ibeo Automotive Systems GmbH Empfangsanordnung zum Empfang von Lichtsignalen
DE102017222971A1 (de) * 2017-12-15 2019-07-11 Ibeo Automotive Systems GmbH LIDAR Empfangseinheit
DE102017222969A1 (de) * 2017-12-15 2019-06-19 Ibeo Automotive Systems GmbH Verfahren zur verbesserten Nah- und Ferndetektion einer LIDAR Empfangseinheit
DE102017222974A1 (de) 2017-12-15 2019-06-19 Ibeo Automotive Systems GmbH Anordnung und Verfahren zur Ermittlung einer Entfernung wenigstens eines Objekts mit Lichtsignalen
WO2019125349A1 (en) * 2017-12-18 2019-06-27 Montrose Laboratories Llc Time-of-flight sensing using an addressable array of emitters
KR102488321B1 (ko) * 2017-12-29 2023-01-13 삼성전자주식회사 3차원 이미지 센서의 픽셀 어레이 및 3차원 이미지 센서의 구동 방법
US10379220B1 (en) * 2018-01-29 2019-08-13 Gerard Dirk Smits Hyper-resolved, high bandwidth scanned LIDAR systems
WO2019154513A1 (en) * 2018-02-09 2019-08-15 Ecole Polytechnique Fédérale De Lausanne Epfl-Tto Photon detecting 3d imaging sensor device
US11978754B2 (en) 2018-02-13 2024-05-07 Sense Photonics, Inc. High quantum efficiency Geiger-mode avalanche diodes including high sensitivity photon mixing structures and arrays thereof
JP2021513087A (ja) 2018-02-13 2021-05-20 センス・フォトニクス, インコーポレイテッドSense Photonics, Inc. 高分解能長距離フラッシュlidar用の方法及びシステム
US11221400B2 (en) * 2018-03-27 2022-01-11 Omnivision Technologies, Inc. Dual mode stacked photomultipliers suitable for use in long range time of flight applications
DE102018205378A1 (de) * 2018-04-10 2019-10-10 Ibeo Automotive Systems GmbH Verfahren zur Ansteuerung von Sensorelementen eines LIDAR Messsystems
US10623728B2 (en) * 2018-07-06 2020-04-14 Stmicroelectronics (Grenoble 2) Sas Image sensors for advanced driver assistance systems utilizing safety pixels to detect malfunctions
US11019294B2 (en) 2018-07-18 2021-05-25 Apple Inc. Seamless readout mode transitions in image sensors
US10848693B2 (en) 2018-07-18 2020-11-24 Apple Inc. Image flare detection using asymmetric pixels
TWI801572B (zh) * 2018-07-24 2023-05-11 南韓商三星電子股份有限公司 影像感測器、成像單元及生成灰階影像的方法
US11294039B2 (en) 2018-07-24 2022-04-05 Samsung Electronics Co., Ltd. Time-resolving image sensor for range measurement and 2D greyscale imaging
US11356654B2 (en) 2018-08-01 2022-06-07 Stmicroelectronics Asia Pacific Pte Ltd Image sensors for advanced driver assistance systems utilizing regulator voltage verification circuitry to detect malfunctions
US20200041618A1 (en) * 2018-08-02 2020-02-06 Infineon Technologies Ag Matrix Light Source and Detector Device for Solid-State Lidar
US10909824B2 (en) * 2018-08-14 2021-02-02 Samsung Electronics Co., Ltd. System and method for pulsed light pattern capturing using a dynamic vision sensor
DE102018213819B3 (de) * 2018-08-16 2019-11-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren für TDC-Sharing bei laufzeitbasierter Distanzmessung
JP2021534412A (ja) 2018-08-16 2021-12-09 センス・フォトニクス, インコーポレイテッドSense Photonics, Inc. 統合されたlidar画像センサデバイス及びシステム並びに関連した動作方法
DE102018120141A1 (de) * 2018-08-17 2020-02-20 Sick Ag Erfassen von Licht mit einer Vielzahl von Lawinenphotodiodenelementen
CN112640432B (zh) * 2018-08-28 2024-08-02 松下知识产权经营株式会社 光电传感器、图像传感器以及光电传感器的驱动方法
EP3620822A1 (en) * 2018-09-06 2020-03-11 STMicroelectronics (Research & Development) Limited Non-contiguous layouts for photosensitive apparatus
US11353563B2 (en) * 2018-09-13 2022-06-07 Pixart Imaging Inc. Avalanche diode based object detection device
CN109194856A (zh) * 2018-09-30 2019-01-11 Oppo广东移动通信有限公司 电子装置的控制方法和电子装置
US11408983B2 (en) * 2018-10-01 2022-08-09 Infineon Technologies Ag Lidar 2D receiver array architecture
WO2020075932A1 (ko) * 2018-10-10 2020-04-16 엘지전자 주식회사 3차원 영상 생성 장치 및 방법
WO2020092471A1 (en) * 2018-10-30 2020-05-07 Sense Photonics, Inc. High quantum efficiency geiger-mode avalanche diodes including high sensitivity photon mixing structures and arrays thereof
US11233966B1 (en) 2018-11-29 2022-01-25 Apple Inc. Breakdown voltage monitoring for avalanche diodes
JP2020088724A (ja) * 2018-11-29 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US20230258809A9 (en) * 2018-12-04 2023-08-17 Ams International Ag Patterned illumination for three dimensional imaging
CN109688398B (zh) * 2018-12-11 2021-01-29 上海集成电路研发中心有限公司 一种3d堆叠的图像传感器
FR3090124B1 (fr) * 2018-12-14 2022-07-15 Valeo Comfort & Driving Assistance Capteur de temps de vol et système de surveillance comportant un tel capteur
CN113302515B (zh) 2019-01-10 2024-09-24 图达通智能美国有限公司 具有光束转向和广角信号检测的lidar系统和方法
JP2020112495A (ja) 2019-01-15 2020-07-27 ソニーセミコンダクタソリューションズ株式会社 受光装置および測距装置
JP7115329B2 (ja) * 2019-01-16 2022-08-09 株式会社デンソー 光学的測距装置および光学的測距装置における異常の発生を検出する方法
US11245865B2 (en) 2019-01-28 2022-02-08 Pixart Imaging Inc. Image sensor employing avalanche diode and shared output circuit
US10715756B1 (en) 2019-01-28 2020-07-14 Pixart Imaging Inc. Image sensor employing avalanche diode
US11108980B2 (en) * 2019-02-04 2021-08-31 Semiconductor Components Industries, Llc Semiconductor devices with single-photon avalanche diode pixels
US12117286B2 (en) 2019-02-11 2024-10-15 Apple Inc. Depth sensing using a sparse array of pulsed beams
CN110024374B (zh) * 2019-02-27 2021-08-10 深圳市汇顶科技股份有限公司 成像系统及成像系统的像素阵列和图像传感器
EP3702805A1 (en) * 2019-02-28 2020-09-02 STMicroelectronics (Research & Development) Limited Photodiode array sensor with disabling of defective pixels
US11544873B2 (en) 2019-03-05 2023-01-03 Artilux, Inc. High resolution 3D image processing apparatus and method thereof
US11428812B2 (en) 2019-03-07 2022-08-30 Luminar, Llc Lidar system with range-ambiguity mitigation
CN113632453A (zh) 2019-03-27 2021-11-09 苹果公司 具有多个功率状态的传感器架构的硬件实现方式
KR102594526B1 (ko) 2019-03-27 2023-10-25 애플 인크. 피드백 루프 및 다수의 전력 상태들을 갖는 센서 시스템 아키텍처
US11513223B2 (en) 2019-04-24 2022-11-29 Aeye, Inc. Ladar system and method with cross-receiver
US10817018B1 (en) 2019-04-29 2020-10-27 Apple Inc. Electronic devices with ambient light sensors and emissive displays
CN110109133A (zh) * 2019-05-05 2019-08-09 武汉市聚芯微电子有限责任公司 基于飞行时间的距离补偿方法和测距方法
CN114008483A (zh) * 2019-06-05 2022-02-01 创新科技有限公司 用于飞行时间光学感测的系统和方法
US11500094B2 (en) 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
JP7079753B2 (ja) 2019-06-11 2022-06-02 株式会社東芝 光検出装置、電子装置及び光検出方法
US11555900B1 (en) 2019-07-17 2023-01-17 Apple Inc. LiDAR system with enhanced area coverage
US20220353440A1 (en) * 2019-07-26 2022-11-03 Sony Semiconductor Solutions Corporation Light reception device, method of controlling light reception device, and distance measuring device
CN114096885A (zh) * 2019-07-30 2022-02-25 深圳源光科技有限公司 用于电话机的激光雷达系统
CN112505722A (zh) * 2019-08-26 2021-03-16 天津大学青岛海洋技术研究院 一种同时捕获深度及灰度信息的ToF像素结构
JP7443006B2 (ja) * 2019-09-19 2024-03-05 株式会社東芝 光検出器及び距離測定装置
EP3798679B1 (en) * 2019-09-30 2023-06-21 STMicroelectronics (Research & Development) Limited Laser safety verification
JP2021060900A (ja) * 2019-10-09 2021-04-15 ソニーセミコンダクタソリューションズ株式会社 顔認証システム及び電子機器
US11012653B2 (en) * 2019-10-14 2021-05-18 Pixart Imaging Inc. Image sensor apparatus and method capable of rapidly reading out and processing pixel voltages of pixel array
JP7175872B2 (ja) * 2019-11-14 2022-11-21 株式会社日立エルジーデータストレージ 測距装置
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
US11346924B2 (en) 2019-12-09 2022-05-31 Waymo Llc SiPM with cells of different sizes
US11349042B2 (en) 2019-12-18 2022-05-31 Stmicroelectronics (Research & Development) Limited Anode sensing circuit for single photon avalanche diodes
US11373322B2 (en) 2019-12-26 2022-06-28 Stmicroelectronics, Inc. Depth sensing with a ranging sensor and an image sensor
ES2849224B2 (es) * 2020-02-14 2022-01-21 Consejo Superior Investigacion Fotomultiplicador digital de combinacion or de pulsos
US11372320B2 (en) 2020-02-27 2022-06-28 Gerard Dirk Smits High resolution scanning of remote objects with fast sweeping laser beams and signal recovery by twitchy pixel array
CN115335722A (zh) * 2020-03-23 2022-11-11 国立大学法人静冈大学 距离图像取得装置
TW202141064A (zh) * 2020-03-24 2021-11-01 日商索尼半導體解決方案公司 受光裝置及測距裝置
US12078728B2 (en) * 2020-04-29 2024-09-03 Semiking Llc High dynamic range single photon avalanche detector array on silicon with circuitry for light detection and ranging
US11635498B2 (en) 2020-04-30 2023-04-25 Stmicroelectronics (Grenoble 2) Sas SPAD based indirect time of flight sensing from solid state transmitter scanning
US11476372B1 (en) 2020-05-13 2022-10-18 Apple Inc. SPAD-based photon detectors with multi-phase sampling TDCs
US20210356568A1 (en) * 2020-05-15 2021-11-18 Analog Devices International Unlimited Company Proximity detection system
US12000931B2 (en) 2020-05-15 2024-06-04 Analog Devices International Unlimited Company Continuous wave time of flight system
CN111830530B (zh) * 2020-06-04 2023-02-24 深圳奥锐达科技有限公司 一种距离测量方法、系统及计算机可读存储介质
CN111796296A (zh) * 2020-06-04 2020-10-20 深圳奥锐达科技有限公司 一种距离测量方法、系统及计算机可读存储介质
WO2021248427A1 (zh) 2020-06-12 2021-12-16 深圳市汇顶科技股份有限公司 深度传感装置以及相关电子装置及深度传感装置的操作方法
US20210389429A1 (en) * 2020-06-15 2021-12-16 Continental Automotive Systems, Inc. Lidar system
CN114355384B (zh) * 2020-07-07 2024-01-02 柳州阜民科技有限公司 飞行时间tof系统和电子设备
CN114063043A (zh) * 2020-07-30 2022-02-18 北京一径科技有限公司 光电探测阵列的控制方法及装置、光电电源开关电路、光电探测阵列
US11563910B2 (en) 2020-08-04 2023-01-24 Apple Inc. Image capture devices having phase detection auto-focus pixels
KR20220022335A (ko) * 2020-08-18 2022-02-25 엘지디스플레이 주식회사 구동 회로와 이를 이용한 표시장치
JP7423485B2 (ja) 2020-09-18 2024-01-29 株式会社東芝 距離計測装置
KR20220038994A (ko) * 2020-09-21 2022-03-29 현대자동차주식회사 ??칭 바이어스 회로 디바이스 및 이를 포함하는 단일 광자 검출기
CN112367482B (zh) * 2020-10-26 2022-08-09 Oppo广东移动通信有限公司 一种感光器件及飞行时间测距系统
WO2022090311A1 (en) * 2020-10-30 2022-05-05 Sony Semiconductor Solutions Corporation Mode sequencer circuitry and mode sequencing method
CN112505661B (zh) * 2020-11-23 2024-09-17 Oppo(重庆)智能科技有限公司 像素控制方法、像素模组、装置、终端及存储介质
EP4006485A1 (en) * 2020-11-25 2022-06-01 Prophesee Method for automatically adapting a pattern projection rate in an active perception system
US11653083B2 (en) 2020-12-15 2023-05-16 Qualcomm Incorporated Image sensor module
CN114697578B (zh) * 2020-12-31 2024-03-15 清华大学 基于三维堆叠技术的双模态图像传感器芯片及成像系统
CN113009499A (zh) * 2021-01-29 2021-06-22 宁波飞芯电子科技有限公司 一种复合型阵列探测器与使用其的探测系统
US20220290983A1 (en) * 2021-03-11 2022-09-15 Tactual Labs Co. Sensing using optical elements
US11546532B1 (en) 2021-03-16 2023-01-03 Apple Inc. Dynamic correlated double sampling for noise rejection in image sensors
US11635495B1 (en) 2021-03-26 2023-04-25 Aeye, Inc. Hyper temporal lidar with controllable tilt amplitude for a variable amplitude scan mirror
US11493610B2 (en) 2021-03-26 2022-11-08 Aeye, Inc. Hyper temporal lidar with detection-based adaptive shot scheduling
US11630188B1 (en) 2021-03-26 2023-04-18 Aeye, Inc. Hyper temporal lidar with dynamic laser control using safety models
US11467263B1 (en) 2021-03-26 2022-10-11 Aeye, Inc. Hyper temporal lidar with controllable variable laser seed energy
US20220308219A1 (en) 2021-03-26 2022-09-29 Aeye, Inc. Hyper Temporal Lidar with Controllable Detection Intervals Based on Environmental Conditions
US11500093B2 (en) 2021-03-26 2022-11-15 Aeye, Inc. Hyper temporal lidar using multiple matched filters to determine target obliquity
US11604264B2 (en) 2021-03-26 2023-03-14 Aeye, Inc. Switchable multi-lens Lidar receiver
CN113323657B (zh) * 2021-05-12 2022-09-02 天地(常州)自动化股份有限公司 一种井下数据传输系统及方法
US11988835B2 (en) * 2021-05-28 2024-05-21 Microsoft Technology Licensing, Llc Systems and methods for power efficient image acquisition using single photon avalanche diodes (SPADs)
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift
US20230030282A1 (en) * 2021-07-30 2023-02-02 Sony Semiconductor Solutions Corporation Backside illuminated single photon avalanche diode
CN113791755B (zh) * 2021-08-24 2023-10-20 中国航天科工集团第二研究院 一种量子随机数序列产生方法、系统及装置
JP2023039586A (ja) * 2021-09-09 2023-03-22 富士フイルムビジネスイノベーション株式会社 発光装置および検出装置
US12069384B2 (en) 2021-09-23 2024-08-20 Apple Inc. Image capture devices having phase detection auto-focus pixels
CN113965705B (zh) * 2021-11-04 2024-09-27 地太科特电子制造(北京)有限公司 一种cmos像素寻址模块和方法
US12105224B2 (en) 2022-01-11 2024-10-01 Samsung Electronics Co., Ltd LiDAR adaptive single-pass histogramming for low power LiDAR system
CN116960133B (zh) * 2022-04-15 2024-06-21 浙桂(杭州)半导体科技有限责任公司 一种高填充系数雪崩二极管传感器
US20230358865A1 (en) * 2022-05-06 2023-11-09 Lg Innotek Co., Ltd. Lidar range enhancement using pulse coding
DE102022124775B3 (de) * 2022-09-27 2023-10-19 Elmos Semiconductor Se Lidar-Empfänger-Schaltung zum Empfangen von optischen Signalen mittels Fotodetektoren
WO2024081319A1 (en) * 2022-10-11 2024-04-18 Meta Platforms Technologies, Llc Sparse depth sensing with digital pixel sensor
CN118154431B (zh) * 2024-05-13 2024-07-26 合肥国家实验室 图像生成方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002039716A (ja) * 2000-07-25 2002-02-06 Olympus Optical Co Ltd 距離画像入力装置
JP2004294420A (ja) * 2003-02-03 2004-10-21 Shoji Kawahito 距離画像センサ
JP2005244399A (ja) * 2004-02-25 2005-09-08 Olympus Corp 障害物認識補助装置
JP2008536600A (ja) * 2005-04-22 2008-09-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 飛行時間能力を有するpet/mriスキャナ
JP2011016421A (ja) * 2009-07-08 2011-01-27 Higashi Nippon Transportec Kk 支障物検知装置及びこれを備えたプラットホームドアシステム並びに支障物検知方法
JP2012242189A (ja) * 2011-05-18 2012-12-10 Hokuyo Automatic Co 走査式測距装置の信号処理装置、信号処理方法、及び走査式測距装置
JP2014514653A (ja) * 2011-03-29 2014-06-19 クアルコム,インコーポレイテッド 各ユーザの視点に対する共有デジタルインターフェースのレンダリングのためのシステム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7858917B2 (en) * 2003-05-02 2010-12-28 Massachusetts Institute Of Technology Digital photon-counting geiger-mode avalanche photodiode solid-state monolithic intensity imaging focal-plane with scalable readout circuitry
KR100680469B1 (ko) * 2005-01-31 2007-02-08 매그나칩 반도체 유한회사 인접한 화소들 사이의 센싱노드들이 공유된 씨모스 이미지센서
US7547872B2 (en) * 2005-02-14 2009-06-16 Ecole Polytechnique Federale De Lausanne Integrated circuit comprising an array of single photon avalanche diodes
US7259360B2 (en) * 2005-07-13 2007-08-21 Ronald Dean Sholders Bacon package converts to a rack for cooking bacon in a microwave oven and collecting grease for disposal
US20070018292A1 (en) * 2005-07-22 2007-01-25 Sehat Sutardja Packaging for high speed integrated circuits
JP4827508B2 (ja) * 2005-12-02 2011-11-30 キヤノン株式会社 撮像システム
US8355117B2 (en) * 2005-12-21 2013-01-15 Ecole Polytechnique Federale De Lausanne Method and arrangement for measuring the distance to an object
JP2007174500A (ja) * 2005-12-26 2007-07-05 Nikon Corp 撮像装置
US20080109367A1 (en) * 2006-11-02 2008-05-08 General Electric Company Method and apparatus for self-licensing data
EP1990656A1 (de) * 2007-05-07 2008-11-12 Sick Ag Dämpungsglied mit PIN-Dioden für optischen Entfernungsmesser
WO2009049272A2 (en) 2007-10-10 2009-04-16 Gerard Dirk Smits Image projector with reflected light tracking
US8519340B2 (en) * 2008-12-22 2013-08-27 Koninklijke Philips N.V. High dynamic range light sensor
JP5527990B2 (ja) 2009-03-11 2014-06-25 キヤノン株式会社 表示制御装置、及び、表示制御方法
US10636929B2 (en) * 2009-04-30 2020-04-28 Massachusetts Institute Of Technology Cross-talk suppression in Geiger-mode avalanche photodiodes
US8415819B2 (en) * 2009-08-06 2013-04-09 ISC8 Inc. Energy harvesting buoy
CN102822693B (zh) * 2010-01-06 2014-09-10 美萨影像股份公司 具有分隔像素和存储阵列的解调传感器
US8345490B2 (en) * 2010-06-23 2013-01-01 International Business Machines Corporation Split voltage level restore and evaluate clock signals for memory address decoding
IT1402264B1 (it) 2010-09-16 2013-08-28 St Microelectronics Srl Array fotorilevatore multi-pixel di fotodiodi a valanga geiger-mode
FR2984522B1 (fr) * 2011-12-20 2014-02-14 St Microelectronics Grenoble 2 Dispositif de detection de la proximite d'un objet, comprenant des photodiodes spad
FR2985570A1 (fr) * 2012-01-09 2013-07-12 St Microelectronics Grenoble 2 Dispositif de detection de la proximite d'un objet, comprenant des photodiodes spad
US9069075B2 (en) 2012-02-10 2015-06-30 GM Global Technology Operations LLC Coupled range and intensity imaging for motion estimation
US10112258B2 (en) * 2012-03-30 2018-10-30 View, Inc. Coaxial distance measurement via folding of triangulation sensor optics path
KR101904720B1 (ko) * 2012-12-28 2018-10-05 삼성전자주식회사 영상 처리 장치 및 방법
US9291819B2 (en) * 2013-09-05 2016-03-22 Texas Instruments Incorporated Multi-focus heads-up display using single picture generator unit
US9331116B2 (en) * 2014-01-15 2016-05-03 Omnivision Technologies, Inc. Back side illuminated single photon avalanche diode imaging sensor with high short wavelength detection efficiency
US9313485B2 (en) * 2014-02-21 2016-04-12 Semiconductor Components Industries, Llc Imagers with error checking capabilities

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002039716A (ja) * 2000-07-25 2002-02-06 Olympus Optical Co Ltd 距離画像入力装置
JP2004294420A (ja) * 2003-02-03 2004-10-21 Shoji Kawahito 距離画像センサ
JP2005244399A (ja) * 2004-02-25 2005-09-08 Olympus Corp 障害物認識補助装置
JP2008536600A (ja) * 2005-04-22 2008-09-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 飛行時間能力を有するpet/mriスキャナ
JP2011016421A (ja) * 2009-07-08 2011-01-27 Higashi Nippon Transportec Kk 支障物検知装置及びこれを備えたプラットホームドアシステム並びに支障物検知方法
JP2014514653A (ja) * 2011-03-29 2014-06-19 クアルコム,インコーポレイテッド 各ユーザの視点に対する共有デジタルインターフェースのレンダリングのためのシステム
JP2012242189A (ja) * 2011-05-18 2012-12-10 Hokuyo Automatic Co 走査式測距装置の信号処理装置、信号処理方法、及び走査式測距装置

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022023945A (ja) * 2017-09-25 2022-02-08 ウェイモ エルエルシー 拡張されたダイナミックレンジのための組み合わせ光検出器アレイ
US11774556B2 (en) 2017-09-25 2023-10-03 Waymo Llc Combination photodetector arrays for extended dynamic range
JP2019125717A (ja) * 2018-01-17 2019-07-25 シャープ株式会社 シングルフォトンアバランシェダイオード制御回路
US10788363B2 (en) 2018-01-17 2020-09-29 Sharp Kabushiki Kaisha Single photon avalanche diode control circuit
JP2022079487A (ja) * 2018-02-09 2022-05-26 キヤノン株式会社 光電変換装置及び撮像システム
US10971539B2 (en) 2018-03-30 2021-04-06 Canon Kabushiki Kaisha Solid-state imaging device, method of driving solid-state imaging device, imaging system, and movable object
JP2019215324A (ja) * 2018-04-20 2019-12-19 ジック アーゲー 光電センサ及び距離測定方法
US12021100B2 (en) 2018-07-18 2024-06-25 Hamamatsu Photonics K.K. Photodetection device, semiconductor photodetection element, and method for driving semiconductor photodetection element
JP7178819B2 (ja) 2018-07-18 2022-11-28 浜松ホトニクス株式会社 半導体光検出装置
WO2020017188A1 (ja) * 2018-07-18 2020-01-23 浜松ホトニクス株式会社 半導体光検出装置
US20210344864A1 (en) * 2018-07-18 2021-11-04 Hamamatsu Photonics K.K. Photodetection device, semiconductor photodetection element, and method for driving semiconductor photodetection element
WO2020017180A1 (ja) * 2018-07-18 2020-01-23 浜松ホトニクス株式会社 光検出装置、半導体光検出素子、及び半導体光検出素子の駆動方法
JPWO2020017180A1 (ja) * 2018-07-18 2021-08-05 浜松ホトニクス株式会社 光検出装置、半導体光検出素子、及び半導体光検出素子の駆動方法
US12046612B2 (en) 2018-07-18 2024-07-23 Hamamatsu Photonics K.K. Semiconductor photodetection device having a plurality of avalanche photodiodes
JP2020021889A (ja) * 2018-07-18 2020-02-06 浜松ホトニクス株式会社 半導体光検出装置
CN112424633A (zh) * 2018-07-18 2021-02-26 浜松光子学株式会社 光检测装置、半导体光检测元件及半导体光检测元件的驱动方法
CN112424633B (zh) * 2018-07-18 2024-06-21 浜松光子学株式会社 光检测装置、半导体光检测元件及半导体光检测元件的驱动方法
WO2020031881A1 (ja) * 2018-08-09 2020-02-13 株式会社デンソー 光測距装置
JP2020026969A (ja) * 2018-08-09 2020-02-20 株式会社デンソー 光測距装置
US11965970B2 (en) 2018-08-31 2024-04-23 Sony Semiconductor Solutions Corporation Light receiving element and ranging system
WO2020045125A1 (ja) * 2018-08-31 2020-03-05 ソニーセミコンダクタソリューションズ株式会社 受光素子および測距システム
JPWO2020050362A1 (ja) * 2018-09-06 2021-08-30 パナソニックIpマネジメント株式会社 固体撮像素子、撮像システム、固体撮像素子の駆動方法、及び光検出器
WO2020050362A1 (ja) * 2018-09-06 2020-03-12 パナソニックIpマネジメント株式会社 固体撮像素子、撮像システム、固体撮像素子の駆動方法、及び光検出器
US11290675B2 (en) 2018-09-06 2022-03-29 Panasonic Intellectual Property Management Co., Ltd. Solid-state image sensor and imaging system
JP7117535B2 (ja) 2018-09-06 2022-08-15 パナソニックIpマネジメント株式会社 固体撮像素子及び撮像システム
WO2020129474A1 (ja) * 2018-12-18 2020-06-25 ソニーセミコンダクタソリューションズ株式会社 測距装置および計測装置
WO2020137318A1 (ja) * 2018-12-26 2020-07-02 ソニーセミコンダクタソリューションズ株式会社 測定装置、測距装置および測定方法
WO2020162223A1 (ja) * 2019-02-05 2020-08-13 ソニーセミコンダクタソリューションズ株式会社 受光装置、測距システム及び受光方法
JP2020134313A (ja) * 2019-02-20 2020-08-31 株式会社デンソー 光検出器
JP2022521526A (ja) * 2019-02-22 2022-04-08 プロフェシー 動体視覚センサおよびパターン投影を用いる3次元撮像および感知
JP7401550B2 (ja) 2019-02-22 2023-12-19 プロフェシー 動体視覚センサおよびパターン投影を用いる3次元撮像および感知
JP2020148644A (ja) * 2019-03-14 2020-09-17 株式会社東芝 光検出器及び距離測定装置
JP7337517B2 (ja) 2019-03-14 2023-09-04 株式会社東芝 光検出器及び距離測定装置
US11520021B2 (en) 2019-03-19 2022-12-06 Kabushiki Kaisha Toshiba Light receiving device and range finding device including a switch circuit which re-arranges the order of signals output from a light receiver
JP7273565B2 (ja) 2019-03-19 2023-05-15 株式会社東芝 受光装置及び距離測定装置
JP2020153746A (ja) * 2019-03-19 2020-09-24 株式会社東芝 受光装置及び距離測定装置
JP7505490B2 (ja) 2019-06-04 2024-06-25 ソニーグループ株式会社 撮像システム
JPWO2020255399A1 (ja) * 2019-06-21 2020-12-24
US12106507B2 (en) 2019-06-21 2024-10-01 Sony Interactive Entertainment Inc. Position detection system, image processing device, position detection method, and position detection program
JP7323738B2 (ja) 2019-08-06 2023-08-09 マイクロビジョン,インク. 2つのライダー測定装置を有するライダー測定システム
JP2022542041A (ja) * 2019-08-06 2022-09-29 イベオ オートモーティブ システムズ ゲーエムベーハー 2つのライダー測定装置を有するライダー測定システム
JP7451110B2 (ja) 2019-08-27 2024-03-18 ソニーグループ株式会社 測距システム及び電子機器
JP2021032763A (ja) * 2019-08-27 2021-03-01 ソニー株式会社 測距システム及び電子機器
US12015863B2 (en) 2020-02-18 2024-06-18 Sony Semiconductor Solutions Corporation Imaging circuit, imaging device, and imaging method
WO2021166503A1 (ja) * 2020-02-18 2021-08-26 ソニーセミコンダクタソリューションズ株式会社 撮像回路、撮像装置および撮像方法
WO2021172216A1 (ja) * 2020-02-27 2021-09-02 ソニーセミコンダクタソリューションズ株式会社 受光素子、光学デバイス、及び電子機器
JP7436754B2 (ja) 2020-08-28 2024-02-22 アーエムエス インターナショナル アーゲー Spadベースデバイスのダイナミックレンジ拡張
JP2023540059A (ja) * 2020-08-28 2023-09-21 アーエムエス インターナショナル アーゲー Spadベースデバイスのダイナミックレンジ拡張
JP7450809B2 (ja) 2020-08-31 2024-03-15 華為技術有限公司 Dtof検知モジュール、端末デバイス、および測距方法

Also Published As

Publication number Publication date
KR20160142839A (ko) 2016-12-13
US20150285625A1 (en) 2015-10-08
US10295669B2 (en) 2019-05-21
CN106165399A (zh) 2016-11-23
US20190277970A1 (en) 2019-09-12
KR102409952B1 (ko) 2022-06-17
CN106165399B (zh) 2019-08-20
JP6483725B2 (ja) 2019-03-13
DE112015001704T5 (de) 2016-12-29
US20180231660A1 (en) 2018-08-16
US9952323B2 (en) 2018-04-24
WO2015157341A1 (en) 2015-10-15
US10605922B2 (en) 2020-03-31

Similar Documents

Publication Publication Date Title
JP6483725B2 (ja) 光学的イベントを感知する方法とそのための光学的イベントセンサ、及び距離測定モバイル装置
US11467286B2 (en) Methods and systems for high-resolution long-range flash lidar
EP3593166B1 (en) Integrated lidar illumination power control
US11796648B2 (en) Multi-channel lidar illumination driver
KR102403544B1 (ko) 방출기들의 어드레스가능 어레이를 사용하는 비행 시간 감지
JP2018530176A (ja) Spadアレイ構造及び動作方法
CN115038986A (zh) 具有全帧利用的选通闪光激光雷达
Jahromi et al. A single chip laser radar receiver with a 9× 9 SPAD detector array and a 10-channel TDC

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180409

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180409

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190214

R150 Certificate of patent or registration of utility model

Ref document number: 6483725

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250