JP2011053216A - 距離測定方法、距離測定システム及び距離センサー - Google Patents

距離測定方法、距離測定システム及び距離センサー Download PDF

Info

Publication number
JP2011053216A
JP2011053216A JP2010196004A JP2010196004A JP2011053216A JP 2011053216 A JP2011053216 A JP 2011053216A JP 2010196004 A JP2010196004 A JP 2010196004A JP 2010196004 A JP2010196004 A JP 2010196004A JP 2011053216 A JP2011053216 A JP 2011053216A
Authority
JP
Japan
Prior art keywords
signal
distance
integrated
phase offsets
modulation phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010196004A
Other languages
English (en)
Other versions
JP5679549B2 (ja
Inventor
Dong-Ki Min
桐 基 閔
Young-Gu Jin
暎 究 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2011053216A publication Critical patent/JP2011053216A/ja
Application granted granted Critical
Publication of JP5679549B2 publication Critical patent/JP5679549B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】距離測定方法を提供する。
【解決手段】距離測定方法は、複数の変調位相オフセットで複数の積分信号を測定する段階と、複数の変調位相オフセットのうちから他の一つの積分信号に対する受信時間を調節するために、複数の変調位相オフセットのうちから少なくとも一つに対する少なくとも一つの積分信号をそれぞれ推定する段階と、推定された少なくとも何れか一つの信号によってターゲットと受信器との距離を決定する段階と、を含む。
【選択図】図1

Description

本発明は、非接触(contactless)3D(3次元)形状測定に係るものであり、特に、変調された光TOF(time of flight)位相推定の遅延補償を用いた距離測定方法、距離測定システム及び距離センサーに関する。
非接触3D形状測定は、圧力波または電磁波の放射を利用する。例えば、圧力波は、超音波信号であり、電磁波は、マイクロ波(microwave)または光波(light
wave、例えば、波長l=0.5〜1.0umm、周波数f=300〜600THz
)であり得る。
光波の放射を利用した非接触3D形状測定は、三角測量(triangulation)、干渉屈折測定(interferometry)、及びTOFを含む。三角測量は、幾何学的な角度測定を用いて距離検出を行う。干渉屈折測定は、光干渉(optical
coherent)のTOF測定を用いて距離検出を行う。TOFは、パルス形態の、または変調された持続波(continuous−wave:CW)形態の光非干渉(optical incoherent)のTOFを用いて距離検出を行う。
パルス形態のTOF(pulsed type TOF)は、往復時間、背景照明の減少した影響、目の保護のための低い平均電力を有する高い信号対ノイズ比(Signal−to−noise ratio:SNR)、レーザダイオード(laser diode:LD)の低い反復率(例えば、10kHz)、及び低いフレーム率(low frame rate)の測定による範囲感知を特徴とする。しかし、これは、十分に短い上昇時間と下降時間とを有するパルスを生成しにくいことがあり、分散及び減衰においても問題になりうる。
変調されたCW形態のTOFは、位相差の測定による範囲感知を特徴とする。変調されたTOFは、正弦波(sinusoidal wave)、矩形波(square wave)、及びその他の類似する種類の多様な光源を使う。
3次元の形状測定を行うものとしては、下記特許文献1に示すようなものがある。
特開2008−286879号公報
本発明が解決しようとする技術的な課題は、変調された光TOF位相推定の遅延補償を用いた距離測定方法、距離測定システム及び距離センサーを提供することである。
本発明の実施形態による距離測定方法は、複数の変調位相オフセット(offsets)で複数の積分信号を測定する段階と、複数の変調位相オフセットのうちから他の一つの積分信号に対する受信時間を調節するために、複数の変調位相オフセットのうちから少なくとも一つに対する少なくとも一つの積分信号をそれぞれ推定する段階と、推定された少なくとも何れか一つの積分信号によってターゲット(target)と受信器との距離を
決定する段階と、を含む。
距離測定方法は、狭域(narrow band)の電磁気エネルギーを変調された持続波として放射する段階と、複数の変調位相オフセットに対するターゲットから反射された電磁気エネルギーを表わす多数の信号を受信して積分する段階と、をさらに含む。
積分信号をそれぞれ推定する段階は、第1サンプリング時点での少なくとも一つの積分信号と第2サンプリング時点での少なくとも一つの積分信号とを補間(interpolating)する段階を含み、第1サンプリング時点は、複数の変調位相オフセットのうちからまた他の一つに対する積分信号の受信時点よりも前であり、第2サンプリング時点は、複数の変調位相オフセットのうち、他の一つに対する積分信号の受信時点よりも後である。
他の実施形態において、積分信号をそれぞれ推定する段階は、現在時点での少なくとも一つの積分信号から複数の時点での少なくとも一つの積分信号を推定する段階を含み、現在時点は、複数の変調位相オフセットのうちからまた他の一つに対する積分信号の受信時点である。
また、他の実施形態において、積分信号をそれぞれ推定する段階は、中間時点を得るために、第1積分信号と第2積分信号との間の時間差を分割する段階と、中間時点で推定された第1積分信号を得るために、第1サンプリング時点での第1積分信号と第3サンプリング時点での第1積分信号とを補間する段階と、中間時点で推定された第2積分信号を得るために、第2サンプリング時点での第2積分信号と第4サンプリング時点での第2積分信号とを補間する段階と、を含み、第1サンプリング時点は、中間時点よりも前であり、第3サンプリング時点は、中間時点よりも後であり、第2サンプリング時点は、中間時点よりも前であり、第4サンプリング時点は、中間時点よりも後である。
狭域の電磁気エネルギーは、850nm(nanometer)と950nmとの間の波長を有する。
複数の変調位相オフセットは、同様に分けられた4つの位相オフセットを含む。
0°の位相オフセット、90°の位相オフセット、180°の位相オフセット、及び270°の位相オフセットのそれぞれに対する第1信号、第2信号、第3信号、及び第4信号は、少なくとも一つのフォトセンサー(photo sensor)によって受信されて積分される。
少なくとも一つのフォトセンサーは、複数のカラーピクセルと複数の距離ピクセルとを含み、複数のカラーピクセルは、第1積分回路に配され、複数の距離ピクセルは、第2積分回路に配される。
少なくとも一つのフォトセンサーは、積分回路である一つの集積回路に具現された複数のカラーピクセルと複数の距離ピクセルとを含む。
本発明の実施形態による距離測定システムは、電磁気エネルギーを変調された連続波(continuous wave)として放射するための狭域ソース(narrow band source)と、複数の変調位相オフセットに対するターゲットから反射される電磁気エネルギーを表わす複数の信号を受信して積分するためのフォトセンサーと、複数の変調位相オフセットで複数の積分信号を測定し、複数の変調位相オフセットのうちから他の一つの積分信号に対する受信時間を調節するために、複数の変調位相オフセットの
うちの少なくとも一つに対する少なくとも一つの積分信号をそれぞれ推定し、推定された少なくとも何れか一つの信号によってターゲットと受信器との距離を決定する制御ユニット(control unit)と、を含む。
狭域ソースは、850nmと950nmとの間の波長を有する狭域の電磁気エネルギーを放射する。
複数の変調位相オフセットは、同様に分けられた4つの位相オフセットを含む。
実施形態において、0°の位相オフセットと180°の位相オフセットのそれぞれに対する第1信号と第3信号は、フォトセンサーによって受信されて積分され、90°の位相オフセットと270°の位相オフセットのそれぞれに対する第2信号と第4信号は、第2フォトセンサーによって受信されて積分される。
他の実施形態において、0°の位相オフセット、90°の位相オフセット、180°の位相オフセット、及び270°の位相オフセットのそれぞれに対する第1信号、第2信号、第3信号、及び第4信号は、フォトセンサーによって受信されて積分される。
フォトセンサーは、複数のカラーピクセルと複数の距離ピクセルとを含み、複数のカラーピクセルは、第1積分回路に配され、複数の距離ピクセルは、第2積分回路に配される。
フォトセンサーは、一つの集積回路に具現された複数のカラーピクセルと複数の距離ピクセルとを含む。
制御ユニットは、第1サンプリング時点での少なくとも一つの積分信号と第2サンプリング時点での少なくとも一つの積分信号とを補間するための推定ユニットを含み、第1サンプリング時点は、複数の変調位相オフセットのうちからまた他の一つに対する積分信号の受信時点よりも前であり、第2サンプリング時点は、複数の変調位相オフセットのうち、他の一つに対する積分信号の受信時点よりも後である。
制御ユニットは、現在時点での少なくとも一つの積分信号から複数の以前時点での少なくとも一つの積分信号を推定するための推定ユニットを含み、現在時点は、複数の変調位相オフセットのうちからまた他の一つに対する積分信号の受信時点である。
本発明の実施形態による距離センサーは、複数の変調位相オフセットに対するターゲットから反射される電磁気エネルギーを表わす複数の信号を受信して積分するためのセンサーピクセルであるフォトセンシングアレイ(photo sensing array)と、複数の変調位相オフセットで複数の積分信号を測定し、複数の変調位相オフセットのうち他の一つの積分信号に対する受信時間を調節するために、複数の変調位相オフセットのうちの少なくとも一つに対する少なくとも一つの積分信号をそれぞれ推定し、推定された少なくとも何れか一つの信号によってターゲットと受信器との距離を決定する制御ユニットと、を含む。
フォトセンシングアレイは、複数の変調位相オフセットで複数の信号サンプルを順次に獲得するための複数のピクセル(pixel)を含む。
フォトセンシングアレイは、複数の第1変調位相オフセットで複数の信号サンプルを順次に獲得するための第1センサー(sensor)と、複数の第2変調位相オフセットで複数の信号サンプルを順次に獲得するための第2センサーと、を含み、複数の第1変調位
相オフセットと複数の第2変調位相オフセットは、交互に順次に発生する。複数の変調位相オフセットは、同様に分けられた4つの位相オフセットを含む。
実施形態において、0°の位相オフセット、90°の位相オフセット、180°の位相オフセット、及び270°の位相オフセットのそれぞれに対する第1信号、第2信号、第3信号、及び第4信号のそれぞれは、第1フォトセンシングアレイ、第2フォトセンシングアレイ、第3フォトセンシングアレイ、及び第4フォトセンシングアレイのそれぞれによって受信されて積分される。
他の実施形態において、0°の位相オフセットと180°の位相オフセットのそれぞれに対する第1信号と第3信号は、フォトセンシングアレイによって受信されて積分され、90°の位相オフセットと270°の位相オフセットのそれぞれに対する第2信号と第4信号は、第2フォトセンシングアレイによって受信されて積分される。
また他の実施形態において、0°の位相オフセット、90°の位相オフセット、180°の位相オフセット、及び270°の位相オフセットのそれぞれに対する第1信号、第2信号、第3信号、及び第4信号は、フォトセンシングアレイによって受信されて積分される。
フォトセンシングアレイは、複数のカラーピクセルと複数の距離ピクセルとを含み、複数のカラーピクセルは、第1積分回路に配され、複数の距離ピクセルは、第2積分回路に配される。
フォトセンシングアレイは、一つの集積回路に具現される複数のカラーピクセルと複数の距離ピクセルとを含む。
実施形態において、制御ユニットは、第1サンプリング時点での少なくとも一つの積分信号と第2サンプリング時点での少なくとも一つの積分信号とを補間するための推定ユニットを含み、第1サンプリング時点は、複数の変調位相オフセットのうちからまた他の一つに対する積分信号の受信時点よりも前であり、第2サンプリング時点は、複数の変調位相オフセットのうち、他の一つに対する積分信号の受信時点よりも後である。
他の実施形態において、制御ユニットは、現在時点での少なくとも一つの積分信号から複数の以前時点での少なくとも一つの積分信号を推定するための推定ユニットを含み、現在時点は、複数の変調位相オフセットのうちからまた他の一つに対する積分信号の受信時点である。
実施形態において、フォトセンシングアレイは、複数のカラーピクセルに対する複数の信号サンプルを獲得するための第1積分回路と、複数の距離ピクセルに対する複数の信号サンプルを獲得するための第2積分回路と、を含む。他の実施形態において、フォトセンシングアレイは、カラーピクセルと距離ピクセルに対する複数の信号サンプルを獲得するための積分回路を含む。
本発明によれば、測定時間差によって発生する位相誤差を補償することができる。したがって、正確な深さまたは距離情報を取得することができる。
本発明の実施形態による非接触(contactless)3D形状測定システムを示すブロック図である。 本発明の実施形態による他の非接触3D形状測定システムを示すブロック図である。 本発明の一実施形態による複数の信号の波形を示す図である。 本発明の他の実施形態による複数の信号の波形を示す図である。 本発明の実施形態による非接触3D形状測定システムを示すブロック図である。 本発明の実施形態による非接触3D形状測定システムから生成された複数のイメージを示す図である。 本発明の実施形態による2タップ(tap)非接触3D形状測定システムを示すブロック図である。 本発明の実施形態による2タップピクセルユニットを示すブロック図である。 本発明の実施形態によるピクセルセンサー回路を示す回路図である。 2タップの信号プロット(plot)と複数の赤外線(IR)信号と複数のゲート信号とを示すタイミング図である。 本発明の実施形態による2タップサンプリングポイントプロット(2−tap sampling point plot)の一実施形態を示す図である。 本発明の実施形態による2タップサンプリングポイントプロットの他の実施形態を示す図である。 本発明の実施形態による推定時点におけるデジタルピクセル信号の推定プロセスを説明する2タップタイミング図である。 本発明の実施形態による2タップ構造のシミュレーション結果と従来の技術によるシミュレーション結果とを示すグラフの一例である。 本発明の実施形態による2タップ比較シミュレーショングラフの一実施形態を示す図である。 本発明の実施形態による2タップ比較シミュレーショングラフの他の実施形態を示す図である。 本発明の実施形態による1タップ非接触3D形状測定システムを示すブロック図である。 本発明の実施形態による1タップピクセルユニットを示すブロック図である。 本発明の実施形態による1タップサンプリングポイントプロットを示すグラフである。 本発明の実施形態による推定時点におけるデジタルピクセル信号の推定プロセスを説明する1タップタイミング図である。 本発明の実施形態による1タップシミュレーション結果を示すグラフである。 本発明の実施形態による1タップ比較シミュレーショングラフである。 本発明の実施形態による1タップ比較シミュレーショングラフである。 本発明の実施形態による深さ推定方法を説明するためのフローチャートである。 本発明の実施形態による3トランジスタ(3T)APS構造を示す回路図である。 本発明の実施形態による4トランジスタ(4T)APS構造を示す回路図である。 本発明の実施形態による5トランジスタ(5T)APS構造を示す回路図である。 本発明の他の実施形態による5トランジスタ(5T)APS構造を示す回路図である。 本発明の実施形態による2チップソリューションを利用した非接触3D形状測定システムを示すブロック図である。 本発明の実施形態による1チップソリューションを利用した非接触3D形状測定システムを示すブロック図である。 本発明の実施形態による非接触3D形状測定システムを示すブロック図である。 本発明の実施形態による非接触3D形状測定システムを示すブロック図である。 本発明の実施形態による非接触3D形状測定を行うための部分的な回路と信号図を示す。 本発明の実施形態による非接触3D形状測定を行うための部分的な回路と信号図を示す。 本発明の実施形態によるAPS構造を示す回路図である。
本発明は、変調された光TOF位相推定で遅延補償を用いて非接触3D形状測定を提供するものであって、詳細な説明で引用される図面をより十分に理解するために、各図面の詳細な説明が提供される。
以下、添付した図面を参照して、本発明に係る距離測定方法、距離測定システム及び距離センサーの各実施形態を詳しく説明する。
本発明の各実施形態で開示される非接触3D(3次元)形状測定は、変調された持続波(CW)の光非干渉TOF(time−of−flight)を用いて深さまたは距離検出を行い、TOF位相推定で遅延補償を行うことを特徴とする。
表1を参照すると、式A1、A2、A3、及びA4は、放射センサーと物体との間で物体から戻ってくる信号の振幅を表わす。ここで、4つの変調位相オフセット(phase
offsets)のそれぞれの振幅は、背景ノイズ要素、アルファ(alpha)、及び反射信号要素、ベータ(beta)で構成される。例えば、反射信号要素とベータは、ターゲットとの距離と、反射率によって変わる強度(intensity)とを表わす。
式A5は、ターゲットまでの距離とターゲットからの距離とを光速度で割った関数としてTOFを定義する。式A6は、間隔(interval)Tintによって区別される各振幅の積分または合算を定義する。なお、式A6で定義されたA1、A2、A3、A4、たとえば、A1(k−1)、A3(k−1)、A1(k)、A3(k1)などは積分信号である。式A7は、位相遅延推定を定義する。式A8は、深さの推定を定義する。
表2を参照すると、式B1は、赤外線ソースから放射された信号の強度の比例性(proportionality)を定義する。式B2は、光源から放射された信号の強度を定義する。式B3は、受信された信号の強度を定義する。式B4は、4つの位相オフセットサンプリング時点の関数として角度を定義する。式B5は、定義した角度の関数として光度(luminosity)を定義する。式B6は、輝度及び振幅の関数と比例する光度の変化を定義する。
3次元(3D)TOFを利用したイメージ化は、物体(subject)を照らすために非可視(invisible)光源を利用する。センサーチップ(sensor chip)は、光が前記チップ内部の各ピクセルに到逹する距離を測定することができる。内蔵されたイメージングソフトウェア(imaging software)は、リアルタ
イムで物体を知覚するために、深さマップ(map)を使う。最終のユーザ装置は、物体認識結果に適切に反応する。
例えば、センサーの一種は、3.4m波長を有した44MHzの変調周波数を使うことができ、3cm以下の深さ解像度を有し、約15cmから約3mまでの測定範囲を有する。他種のセンサーは、さらに大きいピクセルアレイを有することができ、7.5m波長を有した20Mhzの変調周波数を使い、約1.3cmの深さ解像度を有し、ほぼ15mの測定範囲を有する。
正弦波形を利用する距離またはZ測定は、レーザ(laser)より相対的に安い光源とさらに低い帯域幅を有する増幅器とを利用できる。前記測定は、蓄積された電荷によるZ’値を得るために反復され、Zは、放射された光の波長と類似している。
Z測定の光システムは、小さな光子(photons)の数を検出するために非線形ガイガーモード(nonlinear Geiger)を利用できる。ここで、前記光システムは、前記物体から検出器まで前記反射された光を効果的に伝送するために構成することができる。
ピクセルの飽和によって誘発される差分信号(differential signaling)によって深さ情報を検出することは難しい。ピクセルの飽和は、ノイズ(noise)がある背景光のために起きる。したがって、背景信号による共通モード(mode)信号の除去は、助けになりうる。ピクセルの飽和を防止するために、ピクセルが飽和された時、または定期的に、CA電圧をリセットする動作が行われる。
背景光によって発生する所望しない光子は、信号対ノイズ比(SNR)を減らすことができる。信号対ノイズ比(SNR)を増加させるために、電圧は、変調光が存在しない間、背景光によって計算され、背景光に対する計算された電圧は、変調光が存在するか、放射される間、測定された電圧から除外することができる。
高感度と低減度のそれぞれは、長い検出期間と短い検出期間のそれぞれによって得られる。信号対ノイズ比(SNR)を増加させるために、範囲イメージ(range image)で各イメージ要素に対する距離値は、任意の検出期間の間の同期化過程で得られるそれぞれの電荷に基づいて計算され、そして、前記範囲イメージは生成される。
遅延された位相信号は、2つの要素、すなわち、ピクセル別(pixel−wise)遅延とフレーム別(frame−wise)遅延とを含みうる。このうち、ピクセル別遅延が特に重要である。ピクセル別遅延は、0°、90°、180°、及び270°の要素の間の遅延である。
表3を参照すると、2タップ(2−tap)構造は、4つの測定値を得るために2回のサンプリング回数を有し、2番目のサンプリング時間は、式C1によって定義される。
ここで、位相角度は、式C2によって定義される。4タップ構造は、4つの測定値を得るために4回のサンプリング回数を有し、各オフセットは、時間間隔によって定められる。
ここで、位相角度は、式C3によって定義される。フレーム別遅延は、ローリングシャッター(rolling shutter)によってキャプチャー(capture)される最初のピクセルと最後のピクセルとの間での遅延である。
したがって、実際のサンプリング回数でキャプチャーされる光子の数は、サイクル(cycle)または区間の望ましい位相オフセット範囲のために複数のフォトゲート(photo gates)によって活性化される複数のセンサーを使うことで、補償されるサンプリング(sampling)時点で補間されるか、推定(extrapolated)されうる。望ましい位相オフセット範囲は、十分な光電子の数をキャプチャーするために多くのサイクルの間に合算されるか、積分されうる。また、多くのサイクルの間、そのような積分後に一つのCDS(correlated double sampling)動作が行われる。典型的な2x2バイヤー(Bayer)またはこれと類似したモザイク(mosaic)パターン(pattern)の具現のためのセンサーで十分であっても、2x4と3x3のようなストライプ(striped)及び/または他のパターンを具現するためのセンサーが、他の実施形態で具現可能である。
同様に、イエロ(yellow)、シアン(cyon)、及びマゼンタ(magenta)のような補色は、バイヤーパターン(Bayer pattern)のグリーン(green)、ブルー(blue)、及びレッド(red)を代替しうる。約850nmから約950nmの間の波長は、室外で感知する時に選好される。なぜならば、太陽は、8
50nmで低い出力を有し、そのような波長は、近赤外線帯域で人間の視力の範囲を外れるからである。
図1を参照すると、非接触3D形状測定システムは、参照番号100で表わす。非接触3D形状測定システム100は、変調光TOF(time−of−fight)位相推定のために深さ補償を利用するものであり、エミッター110、エミッター110からやや離れた位置にある物体または反射器112、物体または反射器112からやや離れた位置にある受信器114、及び受信器114と通信する位相測定ユニット116を含む。受信器114は、基準(reference)と信号(signal)とを位相測定ユニット116に提供する。
図2を参照すると、他の非接触3D形状測定システムは、参照番号200で表わす。ここで、エミッター/受信器210は、物体212から離れて存在する。TOF(time−of−flight)は、光がエミッター210から反射器212に、反射器212から受信器210に移動するのにかかる時間である。
図3を参照すると、信号プロットは、参照番号300で表わす。信号プロット300は、放射された信号310、反射されるか受信された信号312、0°の位相オフセット信号314、及び180°の位相オフセット信号316を含む。ここで、0°の位相オフセット信号314は、n番目のサイクルの0番目のクアドラント(quadrant)積分318と(n+1)番目のサイクルの0番目のクアドラント積分319とを含む。
同様に、180°の位相オフセット信号316は、n番目のサイクルの2番目のクアドラント積分320と(n+1)番目のサイクルの2番目のクアドラント積分とを含む。
図4を参照すると、他の信号プロットは、参照番号400で表わす。他の信号プロット400は、放射された信号410と検出された信号420とを含む。ここで、放射された信号410と検出された信号420との間の位相遅延角度は、距離情報を提供するために使われる。交流電流(alternating−current:AC)または検出された信号420の時変(time−varying)振幅は、正確な情報(Ameas)を提供するために使われる。直流電流(DC)または検出された信号420の一定の振幅は、輝度情報(Bmeas)を提供するために使われる。
図5を参照すると、非接触3D形状測定システムは、参照番号500で表わす。非接触3D形状測定システム500は、物体511を照らすために非可視光源(invisible light source)510、物体511と光源510からチップ(chip)内部の各ピクセルで光源の移動距離を測定するセンサーチップ512、リアルタイムで物体511を知覚する、距離マップを含む内蔵されたイメージユニット(imaging unit)513、及び知覚された物体511に反応するために、イメージユニット513と通信する最終ユーザ(end−user)装置514を含む。
図6を参照すると、非接触3D形状測定システムを説明するための複数のイメージは、参照番号600で表わす。ここで、図5のイメージユニット513のようなイメージユニットは、場面(scene)610を深さマップ612のように認識し、場面620を深さマップ622のように認識する。この場合、深さマップ622は、十分に基準マップ624とマッチングされ、これは、物体がコーヒーカップのように認識された物体を有していることが分かる。
図7を参照すると、2タップ非接触3D形状測定システムは、参照番号700で表わす。2タップ非接触3D形状測定システム700は、深さセンサー710と物体711とを
含む。深さセンサー710は、狭域ソースである赤外線(IR)エミッター(emitter)712、IRパスフィルター(IR pass filter)717を通じて物体711から反射された光をそれぞれ受信するための複数のセンサーピクセル(sensor pixels)716を含むセンサーアレイ(sensor array)714、センサーアレイ714から複数の振幅や光子数を受信するCDS/ADCユニット(correlated double sampling analog−to−digital converter unit)718、及びタイミング(timing)信号と制御信号とを発生させるタイミングコントロールユニット(timing controller unit;T/C)720を含む。
T/Cユニット720は、センサーアレイ714のためのXデコーダ(X−decoder)722とIRエミッター712と通信する。CDS/ADCユニット718は、サンプルされた複数の振幅または光子数をメモリ(memory)724に伝達する。メモリ724は、交互にサンプルされた振幅または光子数を深さ推定器726に提供する。深さ推定器726は、深さセンサー710のエミッター712とセンサーピクセル716から物体の深さまたは距離を示す複数の信号とを提供する。
2タップ構造の実施形態において、深さセンサー710、物体711、一つまたはそれ以上のIRエミッター712、2タップの深さセンサーアレイ714、センサーピクセル716、IRパスフィルター717、CDS/ADCユニット718、タイミングコントローラ720、メモリ724、及び深さ推定器726は、効果的なシステム(system)を形成する。
表4を参照すると、式1、tデルタ(t−delta=tΔ)は、放射された光ELと
反射された光RLとの間の時間差であり、dは、センサーと物体との間の距離情報、及びcは、光速度である。反射された光RLは、追加的なレンズ(lenses)またはIRパスフィルター717の前に位置するレンズモジュール(lens module)を通過することができる。IRエミッター712は、変調された赤外線(IR)を外部に放射することができ、例えば、LED(light emitting diode)、OLED(organic light emitting diode)、またはLD(Laser Diode)として具現可能である。
2タップのピクセル構造を有するセンサーピクセル716のそれぞれは、180°位相差を有する複数のゲート信号GaとGbに応答して、複数のピクセル信号A0’/A2’とA1’/A3’を測定することができる。
したがって、複数のセンサーピクセル716は、一定の積分時間の間、IRパスフィルター717を通じて入射された光RL(物体711から反射され変調された赤外線(IR)によって発生した光電子を含む反射された光)を蓄積し、該蓄積によって発生した複数のピクセル信号A0’/A2’とA1’/A3’を出力する。
表3で、式E2は、複数のセンサーピクセル716のそれぞれによって生成されたピクセル信号A0’/A2’とA1’/A3’を表わす。Ak’は、ゲート(gate)信号の位相差から誘導される。
ゲート信号の位相差が0°である時、kは0であり、90°である時、kは1であり、180°である時、kは2であり、270°である時、kは3である。ここで、ak、nは、kに該当する位相差でn番目のゲート信号を印加する間、センサーピクセル716で発生した光電子の数を表わし、その数はN=fm*Tintである。ここで、fmは、変調された赤外線(IR)または反射された光ELを表わし、Tintは、積分時間を表わす。
図8を参照すると、2タップピクセルユニット(pixel unit)は、参照番号800で表わす。2タップピクセルユニット800は、図7の複数のセンサーピクセル716のうちの一つと同様のセンサーピクセル816を含む。センサーピクセル816は、第1領域821と第2領域822とを含む。第1領域821は、第1タップ823を含み、第2領域822は、第2タップ824を含む。
図9を参照すると、ピクセルセンサー(pixel sensor)回路は、参照番号900で表わす。ピクセルセンサー回路900は、光子を受信するためのフォトセンサー装置(PSD)910、フォトセンサー装置(PSD)910に接続されたゲートトランジスタ(gate transistor)912、ゲートトランジスタ912と電源電圧Vddとの間に接続されたリセットトランジスタ(reset transistor)914、ゲートトランジスタ912によってゲーティング(gating)され、電源電圧Vddと選択トランジスタ918との間に接続された第2トランジスタ916、及び選択トランジスタ918と接地VSSとの間に接続されたロードトランジスタ(load
transistor)920を含む。したがって、ピクセルセンサー回路900は、図8のアクティブ領域である第1領域821と第2領域822に具現されたトランジスタ912、914、916、918、及び920と光電変換装置であるフォトセンサー装置(PSD)910とを含む。
図10を参照すると、2タップの信号プロットと複数のIR信号と複数のゲート信号のタイミング図は、参照番号1000で表わす。2タップの信号プロットと複数のIR信号と複数のゲート信号のタイミング図、すなわち、タイミング図1000は、放射された光
信号1010、反射されたまたは受信された光信号1012、0°の位相オフセット信号1014、及び180°の位相オフセット信号1016を含む。ここで、0°の位相オフセット信号1014は、n番目のサイクルの0番目のクアドラント積分1018と(n+1)番目のサイクルの0番目のクアドラント積分1019とを含む。同様に、180°の位相オフセット信号1016は、n番目のサイクルの2番目のクアドラント積分1020と(n+1)番目のサイクルの2番目のクアドラント積分とを含む。
図8、図9、及び図10の2タップセンサー動作は、180°の位相差を有する複数のゲート信号GaとGbを利用する。複数のゲート信号GaとGbは、それぞれ図8のセンサーピクセル816の複数のタップ823と824を含む光電変換装置に供給される。
したがって、複数の第1タップ823、第2タップ824のそれぞれは、複数のゲート信号GaとGbのそれぞれがハイレベル(high level)を有する間、図9のゲートトランジスタ912を通じて、反射された光RLによって生成された複数の光電子をフローティングディフュージョン領域(floating diffusion region:FD)に伝達する。複数の光電子に相応する複数のピクセル信号A0’/A2’とA1’/A3’のそれぞれは、第2トランジスタであるソースフォロワトランジスタ(source follower transistor)916と選択トランジスタ918とを通じて光電変換装置である第1タップ823、第2タップ824のそれぞれによって生成される。リセットトランジスタ914は、リセット(reset)信号RSTによってフローティングディフュージョン領域FDを電源電圧Vddにリセットする。
ロードトランジスタ920は、ピクセルセンサー回路900の出力ノードと接地VSSとの間に接続され、ロード(load)信号VLOADによって動作する。図7のタイミングコントローラ720の信号によってデジタルCDS/ADC回路718は、複数のピクセル信号A0’/A2’とA1’/A3’のそれぞれのためにCDS(correlated double sampling)動作とADC(analog to digital converting)動作とを行って、複数のピクセル信号A0とA2、及びA1とA3のそれぞれを出力する。
図11を参照すると、2タップサンプリングポイントプロットは、参照番号1100で表わす。2タップサンプリングポイントプロット1100は、2つのサンプリング時点t0とt1を表わす。第1サンプリング時点t0で、0番目の位相オフセットクアドラント(offset quadrant)光子数と2番目の位相オフセットクアドラント光子数とがサンプルされる。
図7のメモリ724は、複数のバッファーとして具現され、CDS/ADC回路718から出力された複数のデジタルピクセル信号A0/A2とA1/A3のそれぞれを受信して保存する。深さ推定器726は、複数のデジタルピクセル信号A0/A2とA1/A3のそれぞれに基づいて位相差を推定する。深さ推定器726によって推定された位相差は、表3の式E3と定義される。
深さ推定器726は、式E4によって推定された位相差に基づいて深さ情報を推定する。式E4で、cは、光速度を意味し、fmは、反射された光RLの変調された周波数を表わす。
図12のプロット、すなわち、タイミング図1200は、式E5で提示されたように、2タップピクセル構造を有するセンサーピクセル716で発生した時間差を説明する。それぞれが、互いに約0°の位相オフセットと180°の位相オフセットとを有する複数のゲート信号GaとGbが、t0時点でそれぞれ入力される時、2タップピクセル構造を有
する複数のセンサーピクセル716のそれぞれは、同時に測定された複数のピクセル信号A0’とA2’を出力する。
また、それぞれが、互いに約90°の位相オフセットと270°の位相オフセットとを有する複数のゲート信号が、t1時点でそれぞれ入力される時、2タップピクセル構造を有する複数のセンサーピクセル716のそれぞれは、同時に測定された複数のピクセル信号A1’とA3’を出力する。したがって、複数のセンサーピクセル716のそれぞれは、各ピクセル信号A1’、A2’、A3’、及びA4’を同時に測定することができないので、複数のセンサーピクセル716のそれぞれは、それぞれの時間間隔Tintごとに複数のピクセル信号のそれぞれを二回測定することができる。
深さ推定器726は、式E5によって、各デジタルピクセル信号A1、A2、A3、及びA4に基づいて位相差を推定する。深さ推定器726は、推定された位相差に基づいて深さ情報を推定し、深さ情報(d−hat)を出力する。
図12を参照すると、他の2タップサンプリングポイントプロットも参照番号1200で表わす。2タップサンプリングポイントプロット1200は、2つの実際のサンプリング時点t0とt2と2つの補間されたサンプリング時点t1とt3とを表わす。ここで、t2またはt3は受信時間を示す。
図12に示された概念図は、複数のデジタルピクセル信号の推定を説明するために提供される。図7の実施形態で、時間差(Timt)による位相エラー(error)を補償するために、他の深さ推定器726が使われる。例えば、深さ推定器726は、推定時点t2で既に測定された複数のデジタルピクセル信号を用いて、推定時点t2で複数のデジタル信号のそれぞれを推定することができる。ここで、2タップピクセル構造を有するセンサーピクセル716を含む深さセンサー710は、t1時点でA’(k−1)、A3’(k−1)、t2時点でA0’(k)とA2’(k)、t3時点でA1’(k)とA3’(k)を測定することができる。
それぞれのピクセル信号A’(k−1)、A3’(k−1)、A0’(k)、A2’(k)、A1’(k)、及びA3’(k)は、それぞれのデジタル信号A(k−1)、A3(k−1)、A0(k)、A2(k)、A1(k)、及びA3(k)に変換してメモリ724に保存されうる。なお、A(k−1)またはA3(k−1)は第1積分信号であり、A1(k)、またはA3(k)は第2積分信号である。したがって、深さ推定器726は、時点t2で、式E6によって2つの推定された値を推定する。なお、時点t2は中間時点を示す。
ここで、背景ノイズは、物体が時間の関数として動きの間は一定であると仮定されうる。測定された信号A1とA3のそれぞれの現在値と過去値とを用いて、A0とA2に対する補償された信号のそれぞれが推定されうる。例えば、簡単な補間アルゴリズムが使われる。実施形態において、推定が使われる。
表5を参照すると、式D1は、2つの実際のサンプリング時点で実際の測定値の関数として補間された(interpolated)測定を定義する。
式D2は、ここで使われる例示的な簡単な補間を表わす。式D3は、補間測定と実際の測定とから位相角度(θ)を計算する。
例えば、深さ推定器726が、線形補間(linear interpolation)を利用するならば、深さ推定器726は、式E7を使って複数の推定値を推定することができる。深さ推定器726は、前記式を使って残っている複数の推定値を推定することができる。そして、深さ推定器726は、A0(k)/A2と式E8を用いて時点t2での位相差を計算することができる。
図13を参照すると、推定時点で深さセンサー710の動作によって、デジタルピクセル信号についての推定過程を説明するための2タップタイミング図は、参照番号1300で表わす。式E8は、式E9のように再び使われる。ここで、Tintは、積分時間、Treadは、ピクセル出力Ak’からデジタル出力Akまでのリードアウト時間(readout time)、及びTcalは、深さ推定器726が複数のデジタルピクセル信号を計算または推定するために必要となった時間である。複数のデジタルピクセル信号は、式E10によって深さ推定器726によって供給される。
図14を参照すると、複数のシミュレーション結果を示すグラフは、参照番号1400で表わす。ここで、シミュレーショングラフ1410は、物体711が1mm/s〜1m/sの速度で動く場合の位相差の計算誤差を表わし、シミュレーショングラフ1420は、物体711が1mm/s〜1m/sの速度で動いて線形補間によって補正された位相差の計算誤差を表わす。
補償以前、すなわち、従来の推定アルゴリズムを使う場合、推定誤差である位相差エラーは、積分時間が増加するほど及び/または物体711の動きの速度が早いほど増加する。補償以後、すなわち、本発明の実施形態による推定アルゴリズムを使う場合、位相差の計算エラーは、積分時間及び/または物体の速度が増加しても相当減少する。
図15を参照すると、2タップ比較シミュレーショングラフは、参照番号1500で表わす。ここで、プロットまたはグラフ1510は、従来の方法による位相差の計算誤差を表わし、プロットまたはグラフ1520は、本発明の実施形態による位相差の計算誤差を表わす。
図16を参照すると、2タップ比較シミュレーショングラフは、参照番号1600で表わす。ここで、プロットまたはグラフ1610は、補償のない位相差の計算誤差を表わし、プロットまたはグラフ1620は、従来の補償がある位相差の計算誤差を表わす。プロットまたはグラフ1630は、本発明の実施形態による補償がある位相差の計算誤差を表わし、プロットまたはグラフ1640は、従来の方法1642と本発明の実施形態による方法1644とに対する平均二乗誤差を表わす。
図17を参照すると、1タップ非接触3D形状測定システムは、参照番号1700で表わす。1タップ非接触3D形状測定システム1700は、深さセンサー1710’と物体1711とを含む。深さセンサー1710’は、狭域ソースであるIR(赤外線)エミッター(IR emitter)1712、IRパスフィルター1717を通じて物体1711から反射された光をそれぞれ受信する複数のセンサーピクセル1732を含むセンサーアレイ1714、センサーアレイ1714から複数の振幅または光子数を受信するCDS/ADCユニット1718、及びタイミング信号と制御信号とを出力するタイミングコ
ントロールユニット1720を含む。タイミングコントロールユニット1720は、センサーアレイ1714のためのXデコーダ1722及びIRエミッター1712と通信する。CDS/ADCユニット1718は、サンプリングされた複数の振幅または光子数をメモリ1724に伝達し、メモリ1724は、交互にサンプリングされた複数の振幅または光子数を深さ推定器1726に供給する。深さ推定器1726は、深さセンサー1710’のIRエミッター1712と複数のセンサーピクセル1732から物体の深さまたは距離を指示する複数の信号を提供する。
深さセンサー1710、物体1711、IRエミッター1712、センサーアレイ1714、複数のセンサーピクセル1732、IRパスフィルター1717、CDS/ADCユニット1718、タイミングコントロール(T/C)ユニット1720、メモリ1724、及び深さ推定器1726は、効果的なシステムを形成する。
ここで、深さ推定器1726は、式E1を利用し、前記式E1で、tは、放射された光信号ELと受信された光信号RLとの間の時間差であり、dは、IRエミッター1712と物体1711との距離に相応する深さ情報であり、及びcは、光速度である。
前記RLは、追加されたレンズ(lens)またはIRパスフィルター1717の前に位置するレンズモジュール(lens module)を通過することができる。IRエミッター1712は、変調されたIRを外部に放射することができ、一つ以上のLED(light emitting diode)またはOLED(organic light emitting diode)、またはLD(Laser Diode)として具現可能である。
したがって、1タップピクセル構造を有する深さセンサーピクセル1732は、それぞれが0°の位相オフセット、90°の位相オフセット、180°の位相オフセット、及び270°の位相オフセットを有するそれぞれのゲート信号Ga、Gb、Gc、及びGdに応答して、それぞれのピクセル信号A0’、A1’、A2’、A3’を測定することができる。
複数のセンサーピクセル1732は、所定の時間、例えば、積分時間の間、IRパスフィルター1717を通じて入射された反射されたIRまたはRLによって誘導された複数の光電子を蓄積し、式E2による蓄積によって生成された複数のピクセル信号A0’、A1’、A2’、及びA3’を出力する。
複数のピクセル信号A0’、A1’、A2’、及びA3’は、複数のセンサーピクセル1732のそれぞれによって生成される。位相差またはゲート信号のオフセットが0°である時、kは0であり、前記位相差または前記ゲート信号の位相差が90°である時、kは1であり、前記位相差または前記ゲート信号の位相差が180°である時、kは2であり、前記位相差または前記ゲート信号の位相差が270°である時、kは3である。
ここで、ak、nは、kに該当する位相差を有したn番目のゲート信号が印加される間、センサーピクセル1732に存在する光電子の数である。その数は、N=fm*Tintであり、fmは、変調されたIRまたはELであり、Tintは、積分時間である。
図18を参照すると、1タップピクセルユニットは、参照番号1800で表わす。1タップピクセルユニット1800は、図17の複数のセンサーピクセル1732のうちの一つであるピクセル1832を含む。ピクセル1832は、第1タップ1822を含む第1領域1821を含む。
図19を参照すると、1タップサンプリングポイントプロットは、1900で表わす。1タップサンプリングポイントプロット1900は、4つのサンプリング時点t0、t1、t2、及びt3を表わす。0番目のサンプリング時点t0で、0番目の位相差クアドラント光子数がサンプリングされ、1番目のサンプリング時点t1で、最初の位相差クアドラント光子数がサンプリングされる。2番目のサンプリング時点t2で、二番目の位相差クアドラント光子数がサンプリングされる。3番目のサンプリング時点t3で、三番目の位相差クアドラント光子数がサンプリングされる。
図17、図18、及び図19の1タップ構造の動作で、それぞれ0°、90°、180°、及び270°の位相オフセットを有するそれぞれのゲート信号Ga、Gb、Gc、及びGdは、図18に示された光電変換素子または深さ感知のピクセル1832のフォトゲート1822に順次に印加される。したがって、フォトゲート1822は、反射された光信号RLによって生成された光電子を伝達ゲートを通じてフローティングディフュージョン領域FDに伝達される。
タイミングコントローラ1720の信号によって、デジタルCDS/ADC回路1718は、t0時点でA0’、t1時点でA1’、t2時点でA2’、t3時点でA3’、及びt4時点でA4’を含むそれぞれのピクセル信号に対してCDS(correlated double sampling)動作とADC(analog to digital converting)動作とを行って、それぞれのデジタルピクセル信号A0、A1、A2、及びA3を出力する。複数のバッファーとして具現されたメモリ1724は、CDS/ADC回路1718から出力されたそれぞれのデジタルピクセル信号A0、A1、A2、及びA3を受信して保存する。
深さ推定器1726は、それぞれのデジタルピクセル信号A0、A1、A2、及びA3に基づいて位相差を順次に計算する。深さ推定器1726によって推定された位相差は、表Fの式F4から誘導される。
図20を参照すると、推定時点におけるデジタルピクセル信号についての推定プロセスを説明する1タップタイミング図は、参照番号2000で表わす。図17の深さ推定器1726は、A0’(k)が測定される時点で既に測定されて保存された複数のデジタルピ
クセル信号A(k−1)及びA(k)を用いて、相異なる推定時点から複数のデジタル信号を推定することができる。したがって、第1信号推定は、A(k−1)とA(k)とを利用し、第2信号推定は、A(k−1)とA(k)とを利用する。
深さ推定器1726が線形補間を利用すれば、デジタルピクセル信号A(k)に相応するピクセル信号A’(k)が推定される時、深さ推定器1726は、各デジタルピクセル信号を推定することができる。
深さ推定器1726によって生成された複数のデジタルピクセル信号は、表Fの式F5、F6、及びF7に提示されている。したがって、深さ推定器1726は、測定されたデジタルピクセル信号A(k)と式F8によって推定された複数のデジタルピクセル信号とに基づいて位相差を推定する。ここで、深さセンサー1710の深さ推定器1726は、推定された深さ情報を出力することができる。
図21を参照すると、1タップシミュレーション結果を表わすプロットは、参照番号2100で表わす。ここで、プロット2110は、物体1711が1mm/s〜1m/sの速度で動く時、位相差の計算エラーを表わし、プロット2120は、本発明の実施形態による線形補間によって補償された場合、物体1711が1mm/s〜1m/sの速度で動く時、位相差の計算誤差を表わす。
補償以前、すなわち、従来のアルゴリズムを使う場合、推定エラーである位相差エラーは、積分時間が増加するか、または物体1711の移動速度が増加するほど増加する。補償以後、すなわち、本発明の実施形態によるアルゴリズムを使う場合、位相差の計算エラーは、積分時間が増加するか、または物体1711の移動速度が増加しても、相当減少する。
図22を参照すると、1タップ比較シミュレーショングラフは、参照番号2200で表わす。ここで、プロット2210は、従来の方法による位相差の計算誤差を表わし、プロット2220は、本発明の実施形態による位相差の計算誤差を表わす。
図23を参照すると、1タップ比較シミュレーショングラフは、参照番号2300で表わす。ここで、プロット2310は、補償のない場合の位相差の計算誤差を表わす。プロット2320は、従来の補償アルゴリズムを使う場合の位相差の計算誤差を表わす。プロット2330は、本発明の実施形態による補償された位相差の計算誤差を表わす。プロット2340は、従来の方法2342と本発明の実施形態による方法2344とに対する平均二乗誤差を示す。
図24を参照すると、深さの推定方法は、参照番号2400で表わす。深さの推定方法は、以前に測定された値と後に測定された値とを用いて、現在の値を推定する段階(ステップS10)を含む。ここで、2タップピクセル構造を有する図7の深さ感知ピクセル716を含む深さセンサー710は、推定時点と近い二つの検出時点で検出された複数の値を用いて、推定地点に対する複数の値を推定する。次いで、ステップS20段階で、深さセンサー710は、推定された複数の値と推定時点で深さ感知ピクセル716によって検出された二つの値とを用いて、深さ情報を推定する。深さセンサー710は、2つの推定された値と2つの検出された値A(k)とA(k)と間の位相差を決定する。次に、ステップS30段階で、深さセンサー710は、反射された光RLの周波数fm、光速度c、及び位相差に基づいて、深さ情報を推定する。
図25を参照すると、本発明の実施形態による3トランジスタ(3T)APS(active pixel sensor)構造は、参照番号2500で表わす。3TAPS構
造は、フォトダイオード(photo diode)2510、フォトダイオード2510と接続されたリセットトランジスタであるRXトランジスタ2520、フォトダイオード2510と接続されたDXトランジスタ2530、及びDXトランジスタ2530と接続された選択トランジスタであるSXトランジスタ2540を含む。本発明の実施形態による3TAPS構造は、RXトランジスタ2520とSXトランジスタ2540とを共有し、フローティングディフュージョン領域(floating diffusion)を有しているために、CDS動作を行える。
図26を参照すると、本発明の実施形態による4トランジスタ(4T)APS構造は、参照番号2600で表わす。4TAPS構造は、フォトダイオード2610、フォトダイオード2610と接続されたTXトランジスタ2612、TXトランジスタ2612と接続されたRXトランジスタ2620、TXトランジスタ2612と接続されたDXトランジスタ2630、及びDXトランジスタ2630と接続されたSXトランジスタ2640を含む。実施形態において、他の一般的な代替構造が考慮されうる。
図27を参照すると、本発明の実施形態による5トランジスタ(5T)APS構造は、参照番号2700で表わす。5TAPS構造は、フォトダイオード2710、フォトダイオード2710と接続されたTXトランジスタ2712、TXトランジスタ2712と接続されたGXトランジスタ2714、TXトランジスタ2712と接続されたRXトランジスタ2720、TXトランジスタ2712と接続されたDXトランジスタ2730、及びDXトランジスタ2730と接続されたSXトランジスタ2740を含む。実施形態において、他の一般的な代替構造が考慮されうる。
図28を参照すると、本発明の他の実施形態による5トランジスタ(5T)APS構造は、参照番号2800で表わす。5TAPS構造は、フォトダイオード2810、フォトダイオード2810と接続されたPXトランジスタ2811、PXトランジスタ2811と接続されたTXトランジスタ2812、TXトランジスタ2812と接続されたRXトランジスタ2820、TXトランジスタ2812と接続されたDXトランジスタ2830、及びDXトランジスタ2830と接続されたSXトランジスタ2840を含む。実施形態において、他の一般的な代替構造が考慮されうる。
図29を参照すると、2チップソリューション(2−chip solution)を利用した非接触3D形状測定システムは、参照番号2900で表わす。2チップソリューションを利用した非接触3D形状測定システム2900は、変調光TOF(time−of−flight)位相推定のために深さ補償を利用し、光伝送のためのエミッター、光を反射するための物体または反射器2912、物体から周りの光を受信するためのカラーピクセルとしてのカラーセンサー2918、及び反射された光から周りの光を除いて3D情報を提供するために、距離ピクセルとしての深さセンサー2914とカラーセンサー2918と通信する信号プロセッサ2916とを含む。
図30を参照すると、1チップソリューション(1−chip solution)を利用した非接触3D形状測定システムは、参照番号3000で表わす。1チップソリューションを利用した非接触3D形状測定システム3000は、変調光TOF(time−of−flight)位相推定のために深さ補償を利用し、光伝送のための狭域ソースである光源3010、光を反射するための物体または反射器3012、物体から周りの光を受信するためのカラーセンサーと深さセンサー3014、及び反射された光から周りの光を除いて3D情報を提供するために、カラーセンサーと深さセンサー3014と通信する信号プロセッサ3016とを含む。
図31を参照すると、非接触3D形状測定システムは、参照番号3100で表わす。非
接触3D形状測定システム3100は、光を伝送するための狭域ソースである光源3110、光を反射するための物体3112、光を受信するためのピクセルアレイ(pixel
array)3114、光源3110を制御するための制御ユニット3116、ローアドレスデコーダ(row address decoder)3118、及びカラムアドレスデコーダ(column address decoder)3122、ローアドレスデコーダ3118とピクセルアレイ3114との間に接続されたロードライバー(rowdriver)3120、カラムアドレスデコーダ3122とピクセルアレイ3114との間に接続されたカラムドライバー(column driver)3124、カラムドライバー3124に接続されたサンプル/ホールドレジスタ(sample/hold
register、S/H)3126、及びS/Hレジスタ3126に接続されたアナログ/ディジタルコンバータADC(analog−to digital converter、ADC)3128、及びADC3128に接続されたイメージシグナルプロセッサー(image signal processor、ISP)3130を含む。
図32を参照すると、非接触3D形状測定システムは、参照番号3200で表わす。非接触3D形状測定システム3200は、システムバス3220と接続されたCPU3210、システムバス3220と接続されたシングルまたはマルチ−チップセンサー(single/multi chip sensor)3230、及びシステムバス3220と接続されたメモリ3240を含む。
図33を参照すると、非接触3D形状測定を行うための部分的な回路と信号図は、参照番号3300で表わす。部分的な回路3310は、リセットトランジスタ3314と接続されたフォト−ダイオード3312と選択トランジスタ3318と接続されるフローティングディフュージョントランジスタ3316とを含む。接地トランジスタ3320とADC3322のそれぞれは、互いに選択トランジスタ3318と接続される。信号図3330は、PD、RG、及びRD信号レベルがロー(low)であるリセット状態3332、PDレベルがライジング(rising)、RGレベル(level)がハイ(high)、及びRDレベルがローであるリセット直後の状態3334、PDとRGレベルがハイであり、RDレベルがローである積分状態3336を含む。
図34を参照すると、非接触3D形状測定を行うための部分的な回路と信号図は、参照番号3400で表わす。部分的な回路3410は、パストランジスタ3413、リセットトランジスタ3414、及びパストランジスタ3414と接続されたフローティングディフュージョントランジスタ3416と、パストランジスタ3413に接続されたフォトダイオード3412と、フローティングディフュージョントランジスタ3416と接続される選択トランジスタ3418とを含む。
信号図3430は、RDレベルがローであり、PD、TG、FD、及びRGレベルがハイである積分状態3436と、FD、RG、及びRDレベルがローであり、PDとTGレベルがハイであるFDリセット状態3432と、FDとRDレベルがローであり、PD、TG、及びRGレベルがハイであるリセット直後の状態3434と、PD、TG、及びRDレベルがローであり、FDとRGレベルがハイである信号伝達状態3435とを含む。タイミング図3440は、最初に活性化されるリセット信号3442、二番目に活性化されるTG信号3444、及びリセット信号の出力後、段階別に減少する出力信号3446を含む。
図35を参照すると、APS構造は、参照番号3500で表わす。3トランジスタ(3T)APS構造3530は、フォトダイオード3531、フォトダイオード3531と接続されたRXトランジスタ3532、フォトダイオード3531と接続されたDXトランジスタ3533、及びDXトランジスタ3533と接続されたSXトランジスタ3534
を含む。3T構造は、簡単なプロセス(process)、ハイフィルファクター(high fill factor)、ピクセルリセットノイズ(pixel reset noise)、及び低い信号対ノイズ比(low signal−to−noise ratio)を有することを特徴とする。
4トランジスタ(4T)APS構造3540は、フォトダイオード3541、フォトダイオード3541と接続されたTXトランジスタ3545、TXトランジスタ3545と接続されたRXトランジスタ3542、TXトランジスタ3545と接続されたDXトランジスタ3543、DXトランジスタ3543と接続されたSXトランジスタ3544を含む。4T構造は、浅いポテンシャル(shallow potential)フォトダイオード(photo diode)、ローフィルファクター(low fill factor)、ローダークレベル(low dark level)、高感度(high sensitivity)、CDS動作、及びSFCM(single frame capture mode)で動作しないことを特徴とする。
5トランジスタ(5T)APS構造3550は、フォトダイオード3551、フォトダイオード3551と接続されたTXトランジスタ3555、TXトランジスタ3555と接続されたGXトランジスタ3552、TXトランジスタ3555と接続されたRXトランジスタ3553、TXトランジスタ3555と接続されたDXトランジスタ3556、及びDXトランジスタ3556と接続されたSXトランジスタ3554を含む。5T構造は、アドレスドリードアウト(addressed readout)、完全なランダムアクセス(full random access)、一つのCDS、及び最も低いフィルファクター(the lowest fill factor)を有することを特徴とする。
フォトゲート構造3560は、フォトダイオード3561、フォトダイオード3561と接続されたPXトランジスタ3567、PXトランジスタ3567と接続されたTXトランジスタ3565、TXトランジスタ3565と接続されたRXトランジスタ3562、TXトランジスタ3565と接続されたDXトランジスタ3563、及びDXトランジスタ3563と接続されたSXトランジスタ3564を含む。フォトゲート構造3560は、簡単なプロセス、前記4Tのような動作、PGパルス(pulse)とTGパルスとによるシングルチャージシフティング(single charge shifting)、付加的なシングルライン(single line)、及びローブルー応答(low
blue response)を有することを特徴とする。
本発明は、図面に示された一実施形態を参考にして説明されたが、これは例示的なものに過ぎず、当業者ならば、これより多様な変形及び均等な他の実施形態が可能であるという点を理解できるであろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想によって決定されるべきである。
本発明は、距離測定方法、距離測定システム、及び距離センサーに使われる。
100:非接触3D形状測定システム、
200:他の非接触3D形状測定システム、
300:信号プロット、
400:他の信号プロット、
500:非接触3D形状測定システム、
600:複数のイメージ、
700:2タップ非接触3D形状測定システム、
800:2タップピクセルユニット、
900:ピクセルセンサー回路、
1000:2タップの信号プロットと複数のIR信号と複数のゲート信号のタイミング図、
1100:2タップサンプリングポイントプロット、
1200:他の2タップサンプリングポイントプロット、
1300:2タップタイミング図、
1400:複数のシミュレーション結果を示すグラフ、
1500:2タップ比較シミュレーショングラフ、
1600:2タップ比較シミュレーショングラフ、
1700:1タップ非接触3D形状測定システム、
1800:1タップピクセルユニット、
1900:1タップサンプリングポイントプロット、
2000:1タップタイミング図、
2100:1タップシミュレーション結果を表わすプロット、
2200:1タップ比較シミュレーショングラフ、
2300:1タップ比較シミュレーショングラフ、
2400:深さ推定方法を説明するためのフローチャート、
2500:3トランジスタ(3T)APS構造、
2600:4トランジスタ(4T)APS構造、
2700:5トランジスタ(5T)APS構造、
2800:5トランジスタ(5T)APS構造、
2900:2チップソリューションを利用した非接触3D形状測定システム、
3000:1チップソリューションを利用した非接触3D形状測定システム、
3100:非接触3D形状測定システム、
3200:非接触3D形状測定システム、
3300:非接触3D形状測定を行うための部分的な回路と信号図、
3400:非接触3D形状測定を行うための部分的な回路と信号図。

Claims (20)

  1. 複数の変調位相オフセットで複数の積分信号を測定する段階と、
    前記複数の変調位相オフセットのうちから他の一つの積分信号に対する受信時間を調節するために、前記複数の変調位相オフセットのうちから少なくとも一つに対する少なくとも一つの積分信号をそれぞれ推定する段階と、
    前記推定された少なくとも何れか一つの積分信号によってターゲットと受信器との距離を決定する段階と、
    を含むことを特徴とする距離測定方法。
  2. 前記距離測定方法は、
    狭域の電磁気エネルギーを変調された持続波として放射する段階と、
    前記複数の変調位相オフセットに対する前記ターゲットから反射された電磁気エネルギーを表わす多数の信号を受信して積分する段階と、
    をさらに含むことを特徴とする請求項1に記載の距離測定方法。
  3. 前記積分信号をそれぞれ推定する段階は、
    第1サンプリング時点での前記少なくとも一つの積分信号と第2サンプリング時点での前記少なくとも一つの積分信号とを補間する段階を含み、
    前記第1サンプリング時点は、前記複数の変調位相オフセットのうちからまた他の一つに対する前記積分信号の受信時点よりも前であり、
    前記第2サンプリング時点は、前記複数の変調位相オフセットのうち、前記他の一つに対する前記積分信号の受信時点よりも後であることを特徴とする請求項1または2に記載の距離測定方法。
  4. 前記積分信号をそれぞれ推定する段階は、
    現在時点での前記少なくとも一つの積分信号から複数の以前時点での前記少なくとも一つの積分信号を推定する段階を含み、
    前記現在時点は、前記複数の変調位相オフセットのうちのまた他の一つに対する前記積分信号の受信時点であることを特徴とする請求項1から3のいずれかに記載の距離測定方法。
  5. 前記積分信号をそれぞれ推定する段階は、
    中間時点を得るために、第1積分信号と第2積分信号との間の時間差を分割する段階と、
    前記中間時点で推定された第1積分信号を得るために、第1サンプリング時点での前記第1積分信号と第3サンプリング時点での前記第1積分信号とを補間する段階と、
    前記中間時点で推定された第2積分信号を得るために、第2サンプリング時点での前記第2積分信号と第4サンプリング時点での前記第2積分信号とを補間する段階と、を含み、
    前記第1サンプリング時点は、前記中間時点よりも前であり、前記第3サンプリング時点は、前記中間時点よりも後であり、前記第2サンプリング時点は、前記中間時点よりも前であり、前記第4サンプリング時点は、前記中間時点よりも後であることを特徴とする請求項1から5のいずれかに記載の距離測定方法。
  6. 前記狭域の電磁気エネルギーは、850nmと950nmとの間の波長を有することを特徴とする請求項2に記載の距離測定方法。
  7. 前記複数の変調位相オフセットは、同様に分けられた4つの位相オフセットを含むことを特徴とする請求項1から6のいずれかに記載の距離測定方法。
  8. 0°の位相オフセット、90°の位相オフセット、180°の位相オフセット、及び270°の位相オフセットのそれぞれに対する第1信号、第2信号、第3信号、及び第4信号は、少なくとも一つのフォトセンサーによって受信されて積分されることを特徴とする請求項7に記載の距離測定方法。
  9. 前記少なくとも一つのフォトセンサーは、複数のカラーピクセルと複数の距離ピクセルとを含み、
    前記複数のカラーピクセルは、第1積分回路に配され、前記複数の距離ピクセルは、第2積分回路に配されることを特徴とする請求項8に記載の距離測定方法。
  10. 前記少なくとも一つのフォトセンサーは、一つの集積回路に具現された複数のカラーピクセルと複数の距離ピクセルとを含むことを特徴とする請求項8または9に記載の距離測定方法。
  11. 電磁気エネルギーを変調された連続波として放射するための狭域ソースと、
    複数の変調位相オフセットに対するターゲットから反射される電磁気エネルギーを表わす複数の信号を受信して積分するためのフォトセンサーと、
    前記複数の変調位相オフセットで複数の積分信号を測定し、前記複数の変調位相オフセットのうちの他の一つの積分信号に対する受信時間を調節するために、前記複数の変調位相オフセットのうちの少なくとも一つに対する少なくとも一つの積分信号をそれぞれ推定し、前記推定された少なくとも何れか一つの信号によってターゲットと受信器との距離を決定する制御ユニットと、
    を含むことを特徴とする距離測定システム。
  12. 前記複数の変調位相オフセットは、同様に分けられた4つの位相オフセットを含み、0°の位相オフセットと180°の位相オフセットのそれぞれに対する第1信号と第3信号は、前記フォトセンサーによって受信されて積分され、90°の位相オフセットと270°の位相オフセットのそれぞれに対する第2信号と第4信号は、第2フォトセンサーによって受信されて積分されることを特徴とする請求項11に記載の距離測定システム。
  13. 複数の変調位相オフセットに対するターゲットから反射される電磁気エネルギーを表わす複数の信号を受信して積分するためのフォトセンシングアレイと、
    前記複数の変調位相オフセットで複数の積分信号を測定し、前記複数の変調位相オフセットのうちから他の一つの積分信号に対する受信時間を調節するために、前記複数の変調位相オフセットのうちから少なくとも一つに対する少なくとも一つの積分信号をそれぞれ推定し、前記推定された少なくとも何れか一つの信号によってターゲットと受信器との距離を決定する制御ユニットと、
    を含むことを特徴とする距離センサー。
  14. 前記フォトセンシングアレイは、
    前記複数の変調位相オフセットで複数の信号サンプルを順次に獲得するための複数のピクセルを含むことを特徴とする請求項13に記載の距離センサー。
  15. 前記フォトセンシングアレイは、
    複数の第1変調位相オフセットで複数の信号サンプルを順次に獲得するための第1センサーと、
    複数の第2変調位相オフセットで複数の信号サンプルを順次に獲得するための第2センサーと、を含み、
    前記複数の第1変調位相オフセットと前記複数の第2変調位相オフセットは、交互に順
    次に発生することを特徴とする請求項13に記載の距離センサー。
  16. 前記複数の変調位相オフセットは、同様に分けられた4つの位相オフセットを含むことを特徴とする請求項13に記載の距離センサー。
  17. 0°の位相オフセット、90°の位相オフセット、180°の位相オフセット、及び270°の位相オフセットのそれぞれに対する第1信号、第2信号、第3信号、及び第4信号のそれぞれは、第1フォトセンシングアレイ、第2フォトセンシングアレイ、第3フォトセンシングアレイ、及び第4フォトセンシングアレイのそれぞれによって受信されて積分されることを特徴とする請求項16に記載の距離センサー。
  18. 0°の位相オフセットと180°の位相オフセットのそれぞれに対する第1信号と第3信号は、前記第1フォトセンシングアレイによって受信されて積分され、90°の位相オフセットと270°の位相オフセットのそれぞれに対する第2信号と第4信号は、第2フォトセンシングアレイによって受信されて積分されることを特徴とする請求項16に記載の距離センサー。
  19. 前記フォトセンシングアレイは、
    複数のカラーピクセルに対する複数の信号サンプルを獲得するための第1積分回路と、
    複数の距離ピクセルに対する複数の信号サンプルを獲得するための第2積分回路と、
    を含むことを特徴とする請求項13から18のいずれかに記載の距離センサー。
  20. 前記フォトセンシングアレイは、
    カラーピクセルと距離ピクセルに対する複数の信号サンプルを獲得するための積分回路を含むことを特徴とする請求項13から19のいずれかに記載の距離センサー。
JP2010196004A 2009-09-01 2010-09-01 距離測定方法、距離測定システム及び距離センサー Active JP5679549B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090082150A KR101565969B1 (ko) 2009-09-01 2009-09-01 깊이 정보를 추정할 수 있는 방법과 장치, 및 상기 장치를 포함하는 신호 처리 장치
KR10-2009-0082150 2009-09-01

Publications (2)

Publication Number Publication Date
JP2011053216A true JP2011053216A (ja) 2011-03-17
JP5679549B2 JP5679549B2 (ja) 2015-03-04

Family

ID=43624464

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010196004A Active JP5679549B2 (ja) 2009-09-01 2010-09-01 距離測定方法、距離測定システム及び距離センサー

Country Status (5)

Country Link
US (1) US8482722B2 (ja)
JP (1) JP5679549B2 (ja)
KR (1) KR101565969B1 (ja)
CN (1) CN102004254B (ja)
DE (1) DE102010036964B4 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012039347A1 (ja) 2010-09-21 2012-03-29 国立大学法人 長崎大学 金属錯体、発光素子、表示装置
JP2014528059A (ja) * 2011-07-12 2014-10-23 サムスン エレクトロニクス カンパニー リミテッド ブラー処理装置及び方法
US9456152B2 (en) 2011-07-12 2016-09-27 Samsung Electronics Co., Ltd. Device and method for blur processing
JP2017223697A (ja) * 2012-03-21 2017-12-21 株式会社半導体エネルギー研究所 距離測定装置、距離測定システム
JP2018132460A (ja) * 2017-02-17 2018-08-23 セイコーエプソン株式会社 回路装置、物理量測定装置、電子機器及び移動体
KR101929557B1 (ko) * 2011-07-12 2018-12-17 삼성전자주식회사 블러 처리 장치 및 방법
US10223956B2 (en) 2015-11-24 2019-03-05 Samsung Electronics Co., Ltd. Electronic apparatus, distance measurement sensor and control method for electronic apparatus and distance measurement sensor
JP2020010328A (ja) * 2018-07-09 2020-01-16 三星電子株式会社Samsung Electronics Co.,Ltd. イメージセンサ
WO2022097372A1 (ja) * 2020-11-05 2022-05-12 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101697519B1 (ko) * 2010-09-08 2017-01-19 삼성전자주식회사 깊이 센싱 장치 및 방법
US9857469B2 (en) * 2010-10-22 2018-01-02 Heptagon Micro Optics Pte. Ltd. System and method for multi TOF camera operation using phase hopping
KR101887099B1 (ko) * 2010-12-29 2018-08-09 삼성전자주식회사 이미지 처리 시스템 및 이미지 처리 방법
KR101788032B1 (ko) * 2011-03-24 2017-10-19 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 깊이 정보 에러 보상 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
US9819879B2 (en) 2011-07-12 2017-11-14 Samsung Electronics Co., Ltd. Image filtering apparatus and method based on noise prediction using infrared ray (IR) intensity
KR101863626B1 (ko) 2011-11-02 2018-07-06 삼성전자주식회사 영상 처리 장치 및 방법
WO2013086543A2 (en) * 2011-12-09 2013-06-13 Microsoft Corporation Ambient light alert for an image sensor
KR101977711B1 (ko) * 2012-10-12 2019-05-13 삼성전자주식회사 깊이 센서, 이의 이미지 캡쳐 방법, 및 상기 깊이 센서를 포함하는 이미지 처리 시스템
KR101933994B1 (ko) 2012-10-16 2018-12-31 삼성전자주식회사 깊이 영상과 컬러 영상을 획득하는 픽셀 구조를 가진 이미지 센서
KR101893770B1 (ko) * 2012-11-15 2018-08-31 삼성전자주식회사 적외선 반사도에 따른 깊이 오차를 보정하는 3d 카메라 및 그 방법
KR101941907B1 (ko) * 2013-01-03 2019-01-24 삼성전자주식회사 깊이 정보를 이용하는 내시경 및 깊이 정보를 이용하는 내시경에 의한 용종 검출 방법
DE102013103333A1 (de) * 2013-04-03 2014-10-09 Karl Storz Gmbh & Co. Kg Kamera zur Erfassung von optischen Eigenschaften und von Raumstruktureigenschaften
KR101495299B1 (ko) * 2013-09-24 2015-02-24 한국과학기술원 3차원 형상 획득 장치 및 그 획득 방법
KR102136850B1 (ko) * 2013-11-12 2020-07-22 삼성전자 주식회사 깊이 센서, 및 이의 동작 방법
US9606228B1 (en) 2014-02-20 2017-03-28 Banner Engineering Corporation High-precision digital time-of-flight measurement with coarse delay elements
US9681123B2 (en) 2014-04-04 2017-06-13 Microsoft Technology Licensing, Llc Time-of-flight phase-offset calibration
US9170095B1 (en) * 2014-04-08 2015-10-27 Sony Corporation Distance detection device and method including dynamically adjusted frame rate
US9256944B2 (en) 2014-05-19 2016-02-09 Rockwell Automation Technologies, Inc. Integration of optical area monitoring with industrial machine control
US11243294B2 (en) 2014-05-19 2022-02-08 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor
US9921300B2 (en) 2014-05-19 2018-03-20 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor
US9696424B2 (en) 2014-05-19 2017-07-04 Rockwell Automation Technologies, Inc. Optical area monitoring with spot matrix illumination
FR3022358A1 (fr) * 2014-06-12 2015-12-18 Terabee Sas Systeme de reperage dynamique et procede de guidage automatique
US9523765B2 (en) * 2014-07-14 2016-12-20 Omnivision Technologies, Inc. Pixel-level oversampling for a time of flight 3D image sensor with dual range measurements
US9625108B2 (en) 2014-10-08 2017-04-18 Rockwell Automation Technologies, Inc. Auxiliary light source associated with an industrial application
US9702976B2 (en) * 2014-10-27 2017-07-11 Microsoft Technology Licensing, Llc Time of flight camera
US9971023B2 (en) * 2015-05-04 2018-05-15 Infineon Technologies Ag Systems and methods for time of flight measurement using a single exposure
KR20170105701A (ko) * 2016-03-09 2017-09-20 한국전자통신연구원 스캐닝 장치 및 이의 동작 방법
US10598783B2 (en) 2016-07-07 2020-03-24 Microsoft Technology Licensing, Llc Multi-frequency unwrapping
CN107356929B (zh) 2016-08-29 2020-07-28 北醒(北京)光子科技有限公司 一种快速扫描探测方法
US10291895B2 (en) 2016-10-25 2019-05-14 Omnivision Technologies, Inc. Time of flight photosensor
US10209360B2 (en) 2017-02-01 2019-02-19 Microsoft Technology Licensing, Llc Reduced phase sampling for high speed depth sensing
US11498228B2 (en) 2017-06-14 2022-11-15 Lg Electronics Inc. Method for sensing depth of object by considering external light and device implementing same
US11341771B2 (en) * 2017-10-18 2022-05-24 Sony Semiconductor Solutions Corporation Object identification electronic device
US10641868B2 (en) * 2017-11-07 2020-05-05 Stmicroelectronics (Crolles 2) Sas RGB and Z photo-diode pixel array kernel organization
KR102624984B1 (ko) 2018-03-21 2024-01-15 삼성전자주식회사 ToF 센서와 이를 이용한 3차원 영상 장치 및 3차원 영상 장치의 구동 방법
US11796679B2 (en) 2018-05-29 2023-10-24 Sony Semiconductor Solutions Corporation Time of flight sensor and method
US11500100B2 (en) * 2019-04-15 2022-11-15 Microsoft Technology Licensing, Llc Time-of-flight measurements using linear inverse function
CN112198494B (zh) * 2019-06-20 2023-11-21 北京小米移动软件有限公司 飞行时间模组标定方法、装置、系统及终端设备
KR20210084752A (ko) * 2019-12-27 2021-07-08 삼성전자주식회사 광원 및 ToF 센서를 포함하는 전자 장치 및 라이다 시스템
CN116583959A (zh) * 2020-11-27 2023-08-11 趣眼有限公司 用于红外感测的方法和系统
KR20220081056A (ko) * 2020-12-08 2022-06-15 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
KR20230162132A (ko) * 2020-12-26 2023-11-28 트라이아이 엘티디. 단파 적외선 검출 정보에 기초하여 깊이 이미지를 생성하기 위한 시스템, 방법 및 컴퓨터 프로그램 제품
TWI805152B (zh) * 2020-12-26 2023-06-11 以色列商趣眼有限公司 用於產生影像的方法、電光系統及非暫時性電腦可讀媒體
CN112738413B (zh) * 2021-04-02 2021-06-04 杭州宇泛智能科技有限公司 一种基于tof的人像区域亮度自动调节方法
DE102021132485A1 (de) 2021-12-09 2023-06-15 Valeo Schalter Und Sensoren Gmbh Abstandsmessung basierend auf einer indirekten Laufzeittechnik

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11325971A (ja) * 1998-05-14 1999-11-26 Futaba Corp アブソリュートリニヤスケール
JP2006046960A (ja) * 2004-07-30 2006-02-16 Matsushita Electric Works Ltd 画像処理装置
JP2008008700A (ja) * 2006-06-28 2008-01-17 Fujifilm Corp 距離画像センサ
JP2008164496A (ja) * 2006-12-28 2008-07-17 Toyota Central R&D Labs Inc 計測装置
JP2009079988A (ja) * 2007-09-26 2009-04-16 Fujifilm Corp 測距方法および装置ならびにこれに用いられる撮像素子
JP2009085705A (ja) * 2007-09-28 2009-04-23 Fujifilm Corp 測距装置および測距方法並びにプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2504248B (en) * 1986-02-02 2014-07-23 Selex Sensors & Airborne Sys Imaging arrangement
US5892575A (en) * 1996-05-10 1999-04-06 Massachusetts Institute Of Technology Method and apparatus for imaging a scene using a light detector operating in non-linear geiger-mode
DE19704496C2 (de) 1996-09-05 2001-02-15 Rudolf Schwarte Verfahren und Vorrichtung zur Bestimmung der Phasen- und/oder Amplitudeninformation einer elektromagnetischen Welle
JP3745117B2 (ja) * 1998-05-08 2006-02-15 キヤノン株式会社 画像処理装置及び画像処理方法
DE10039422C2 (de) * 2000-08-11 2002-08-01 Siemens Ag Verfahren und Vorrichtungen zum Betrieb eines PMD-System
DE10047170C2 (de) 2000-09-22 2002-09-19 Siemens Ag PMD-System
US6906793B2 (en) * 2000-12-11 2005-06-14 Canesta, Inc. Methods and devices for charge management for three-dimensional sensing
WO2003088485A1 (en) * 2002-04-10 2003-10-23 The Johns Hopkins University The time of flight system on a chip
JP4235729B2 (ja) * 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
US6919549B2 (en) * 2003-04-11 2005-07-19 Canesta, Inc. Method and system to differentially enhance sensor dynamic range
WO2004107266A1 (en) * 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
EP1668384B1 (en) * 2004-09-17 2008-04-16 Matsushita Electric Works, Ltd. A range image sensor
CN100414317C (zh) * 2004-12-17 2008-08-27 电子科技大学 一种伪随机复合调制信号的非完全匹配处理方法
US7688944B2 (en) * 2005-07-01 2010-03-30 Mayo Foundation For Medical Education And Research System and method for time-of-flight imaging
EP1903299A1 (en) 2006-09-20 2008-03-26 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Method and system for acquiring a 3-D image of a scene
JP5295511B2 (ja) 2007-03-23 2013-09-18 富士フイルム株式会社 測距装置及び測距方法
JP4895304B2 (ja) 2007-09-26 2012-03-14 富士フイルム株式会社 測距方法および装置
KR101040374B1 (ko) 2008-01-25 2011-06-10 오원근 레이저 마킹장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11325971A (ja) * 1998-05-14 1999-11-26 Futaba Corp アブソリュートリニヤスケール
JP2006046960A (ja) * 2004-07-30 2006-02-16 Matsushita Electric Works Ltd 画像処理装置
JP2008008700A (ja) * 2006-06-28 2008-01-17 Fujifilm Corp 距離画像センサ
JP2008164496A (ja) * 2006-12-28 2008-07-17 Toyota Central R&D Labs Inc 計測装置
JP2009079988A (ja) * 2007-09-26 2009-04-16 Fujifilm Corp 測距方法および装置ならびにこれに用いられる撮像素子
JP2009085705A (ja) * 2007-09-28 2009-04-23 Fujifilm Corp 測距装置および測距方法並びにプログラム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012039347A1 (ja) 2010-09-21 2012-03-29 国立大学法人 長崎大学 金属錯体、発光素子、表示装置
JP2014528059A (ja) * 2011-07-12 2014-10-23 サムスン エレクトロニクス カンパニー リミテッド ブラー処理装置及び方法
US9456152B2 (en) 2011-07-12 2016-09-27 Samsung Electronics Co., Ltd. Device and method for blur processing
KR101929557B1 (ko) * 2011-07-12 2018-12-17 삼성전자주식회사 블러 처리 장치 및 방법
JP2017223697A (ja) * 2012-03-21 2017-12-21 株式会社半導体エネルギー研究所 距離測定装置、距離測定システム
JP2020109416A (ja) * 2012-03-21 2020-07-16 株式会社半導体エネルギー研究所 距離測定装置の距離測定方法
US10223956B2 (en) 2015-11-24 2019-03-05 Samsung Electronics Co., Ltd. Electronic apparatus, distance measurement sensor and control method for electronic apparatus and distance measurement sensor
JP2018132460A (ja) * 2017-02-17 2018-08-23 セイコーエプソン株式会社 回路装置、物理量測定装置、電子機器及び移動体
JP2020010328A (ja) * 2018-07-09 2020-01-16 三星電子株式会社Samsung Electronics Co.,Ltd. イメージセンサ
JP7442982B2 (ja) 2018-07-09 2024-03-05 三星電子株式会社 イメージセンサ
WO2022097372A1 (ja) * 2020-11-05 2022-05-12 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Also Published As

Publication number Publication date
JP5679549B2 (ja) 2015-03-04
KR101565969B1 (ko) 2015-11-05
US20110051119A1 (en) 2011-03-03
US8482722B2 (en) 2013-07-09
KR20110024242A (ko) 2011-03-09
DE102010036964A1 (de) 2011-04-28
CN102004254B (zh) 2014-04-23
DE102010036964B4 (de) 2021-07-15
CN102004254A (zh) 2011-04-06

Similar Documents

Publication Publication Date Title
JP5679549B2 (ja) 距離測定方法、距離測定システム及び距離センサー
EP3789792B1 (en) Method for subtracting background light from an exposure value of a pixel in an imaging array, and pixel for use in same
US9214492B2 (en) Multispectral sensor
US10237534B2 (en) Imaging device and a method for producing a three-dimensional image of an object
EP3625589B1 (en) System and method for determining a distance to an object
EP3615959B1 (en) A pixel structure
TWI554787B (zh) 深度感測器、其深度資訊錯誤補償方法、具有該深度感測器的訊號處理系統、三維影像感測器、以及操作一影像感測器的方法
US11029391B2 (en) System for determining a distance to an object
CN111758047B (zh) 单芯片rgb-d相机
KR102008233B1 (ko) 거리 측정 장치 및 상기 거리 측정 장치를 이용한 거리 측정 방법
US20190007592A1 (en) Imaging device and solid-state imaging element used in same
US10852400B2 (en) System for determining a distance to an object
KR20100128797A (ko) 거리 센서, 3차원 이미지 센서 및 그 거리 산출 방법
KR101681198B1 (ko) 센서, 이의 동작 방법, 및 상기 센서를 포함하는 데이터 처리 시스템
TWI780462B (zh) 距離影像攝像裝置及距離影像攝像方法
US11709271B2 (en) Time of flight sensing system and image sensor used therein
US20210173085A1 (en) Time of flight sensing system and image sensor used therein
EP4290591A1 (en) Time-of-flight image sensor with quantum dot photodetectors
CN114303071A (zh) 成像系统和检测方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130708

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150105

R150 Certificate of patent or registration of utility model

Ref document number: 5679549

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250