CN105554418A - 成像装置和飞行时间成像方法 - Google Patents

成像装置和飞行时间成像方法 Download PDF

Info

Publication number
CN105554418A
CN105554418A CN201510681075.5A CN201510681075A CN105554418A CN 105554418 A CN105554418 A CN 105554418A CN 201510681075 A CN201510681075 A CN 201510681075A CN 105554418 A CN105554418 A CN 105554418A
Authority
CN
China
Prior art keywords
sensor pixel
photophore
image data
flight
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510681075.5A
Other languages
English (en)
Other versions
CN105554418B (zh
Inventor
M·戴拉彻
M·弗拉斯彻
M·马克
J·普莱恩萨克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infineon Technologies AG
Original Assignee
Infineon Technologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infineon Technologies AG filed Critical Infineon Technologies AG
Publication of CN105554418A publication Critical patent/CN105554418A/zh
Application granted granted Critical
Publication of CN105554418B publication Critical patent/CN105554418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/499—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using polarisation effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

提供了成像装置和飞行时间成像方法。成像装置包括图像传感器电路，该图像传感器电路包括飞行时间传感器像素。成像装置进一步包括具有相对于飞行时间传感器像素的第一空间偏移的第一发光器。成像装置进一步包括具有相对于飞行时间传感器像素的第二空间偏移的第二发光器。成像装置进一步包括图像处理电路，该图像处理电路被配置为基于由飞行时间传感器像素生成的第一传感器像素图像数据和第二传感器像素图像数据来产生对象的区域的图像。第一传感器像素图像数据基于由第一发光器发射并且在对象的区域处反射的接收光，并且其中第二传感器像素图像数据基于由第二发光器发射并且在对象的区域处反射的接收光。

Description

成像装置和飞行时间成像方法
技术领域
实施例涉及产生三维图像，并且具体而言，涉及成像装置和飞行时间成像方法。
背景技术
飞行时间(TOF)系统基于三维(3D)图像传感器原理。例如，相比于二维(2D)成像器的像素而言，像素可能更复杂。例如，像素可以更大。例如，高分辨率成像器可能需要大的芯片面积、大的光学元件以及大体积的相机。例如，这可能导致高的或者增加的成本。
发明内容
一些实施例涉及成像装置。成像装置包括图像传感器电路，该图像传感器电路包括飞行时间传感器像素。成像装置进一步包括第一发光器，该第一发光器具有相对于飞行时间传感器像素的第一空间偏移。成像装置进一步包括第二发光器，该第二发光器具有相对于飞行时间传感器像素的第二空间偏移。成像装置进一步包括图像处理电路，该图像处理电路被配置为基于由飞行时间传感器像素生成的第一传感器像素图像数据和第二传感器像素图像数据来产生对象的区域的图像。第一传感器像素图像数据基于由第一发光器发射的并且在对象的区域处反射的接收光，并且其中第二传感器像素图像数据基于由第二发光器发射的并且在对象的区域处反射的接收光。
一些实施例涉及飞行时间成像方法。方法包括通过飞行时间传感器像素接收由具有相对于飞行时间传感器像素的第一空间偏移的第一发光器发射的并且被对象的区域反射的光，以生成第一传感器像素图像数据。方法进一步包括通过飞行时间传感器像素接收由具有相对于飞行时间传感器像素的第二空间偏移的第二发光器发射的并且被对象的区域反射的光，以生成第二传感器像素图像数据。方法进一步包括基于由飞行时间传感器像素生成的第一和第二传感器像素图像数据来产生对象的区域的图像。
一些实施例涉及成像装置。成像装置包括图像传感器电路，该图像传感器电路包括多个飞行时间传感器像素。成像装置包括具有相对于图像传感器电路的第一空间偏移的第一发光器。成像装置包括具有相对于图像传感器电路的第二空间偏移的第二发光器。成像装置包括图像处理电路，该图像处理电路被配置为基于由多个飞行时间传感器像素中的飞行时间传感器像素生成的第一传感器像素图像数据和第二传感器像素图像数据来产生对象的区域的图像。图像包括对象的第一子区域的第一子图像数据和关于对象的第二子区域的第二子图像数据。第一传感器像素图像数据基于由第一发光器发射并且被该对象反射的接收光，并且其中第二传感器像素图像数据基于由第二发光器发射并且被对象反射的接收光。
附图说明
下面将仅通过示例的方式并且参照附图描述装置和/或方法的一些实施例，其中
图1示出了成像装置的示意性图示；
图2A至图2D示出了成像装置的示意性图示；
图3示出了成像装置的示意性图示；
图4示出了成像装置的示意性图示；
图5示出了飞行时间成像方法的流程图；
图6示出了飞行时间成像方法的流程图。
具体实施方式
现在将参照附图更充分地描述各种示例实施例，在附图中图示了一些示例实施例。在图中，线的粗细、层和/或区域的厚度可以为了清晰而被夸大。
因此，虽然示例实施例能够具有各种修改和备选形式，但是其实施例通过示例的方式在图中示出并且将在本文中详细描述。然而，应该理解的是，并不旨在将示例实施例限制于所公开的特定形式，而是相反地，示例实施例要涵盖落在本公开的范围内的所有修改、等效、以及备选。相同的数字贯穿附图描述指代相同或者相似的元件。
将理解的是，当元件被称为“连接”或者“耦合”到另一元件时，其可以直接连接或者耦合到该另一元件或者可以存在中间元件。相比之下，当元件被称为“直接连接”或者“直接耦合”到另一元件时，则不存在中间元件。用于描述元件之间关系的其它词语应该以相同方式解释(例如，“在…之间”与“直接在…之间”、“邻近”与“直接邻近”等)。
本文使用的术语仅用于描述特定实施例的目的并且不旨在限制示例实施例。如本文所使用的那样，单数形式“一(a)”、“一个(an)”、以及“该(the)”旨在也包括复数形式，除非上下文明确地另外指示。进一步将理解的是，当在本文中使用时，术语“包括(comprises)”、“包括了(comprising)”、“包含(include)”、和/或“包含了(including)”指定存在所陈述的特征、整体、步骤、操作、元件、和/或部件，但是不排除存在或者添加一个或者多个其他特征、整体、步骤、操作、元件、部件、和/或其组。
除非另外定义，本文所使用的所有术语(包括技术和科学术语)具有与示例实施例所属领域普通技术人员的通常理解相同的含义。将进一步理解的是，例如常用词典中定义的那些的术语，应该被解释为具有与其在相关领域的上下文中的含义一致的含义，并且除非在本文中明确如此限定，否则不会在理想化或者过于正式的意义上解释。
图1示出了根据实施例的成像装置100的示意性图示。成像装置100包括图像传感器电路101，该图像传感器电路包括飞行时间传感器像素102。成像装置100进一步包括第一发光器111，该发光器具有相对于飞行时间传感器像素102的第一空间偏移。成像装置100进一步包括第二发光器112，该发光器具有相对于飞行时间传感器像素102的第二空间偏移。成像装置100进一步包括图像处理电路103，该图像处理电路被配置为基于由飞行时间传感器像素102生成的第一传感器像素图像数据和第二传感器像素图像数据而产生对象104的区域的图像。第一传感器像素图像数据基于由第一发光器111发射的并且在对象的区域处反射的接收光，并且其中第二传感器像素图像数据基于由第二发光器112发射的并且在对象的区域处反射的接收光。
由于具有第一发光器和第二发光器的成像装置的实施方式，其中第一发光器具有第一空间偏移并且第二发光器具有第二空间偏移，可以基于第一传感器像素图像数据和第二传感器像素图像数据而产生对象的区域的图像。例如，这可以导致具有经改进的分辨率或更详细信息的对象的区域的图像。此外，例如，可以基于来自具有不同空间偏移的发光器的第一和第二传感器像素图像数据的比较，消除或者减少从第一或者第二发光器透射的光的多路径传播。
例如，成像装置100可以用于确定涉及对象104的距离信息或者用于产生对象104的三维图像。例如，成像装置100可以为诸如飞行时间(TOF)相机之类的相机。例如，对象可以是要拍摄的人、或者物、或者风景。例如，对象可以是例如具有高度、宽度以及深度的三维(3D)场景或者对象。
例如，涉及对象的距离信息可以是对象或者对象的不同区域与成像装置的至少一部分之间的距离。例如，要由装置100确定的距离信息可以是例如对象的表面轮廓的一个或者多个不同位置或者一个或者多个区域或者点与成像装置100的至少一部分之间的距离。通过确定涉及对象的距离信息，关于对象或者对象的区域的三维信息(例如高度、宽度、以及深度)可以由成像装置确定。
例如，第一发光器111和第二发光器112每个分别可以包括一个或者多个光源，例如一个或者多个发光二极管(LED)或者激光器。例如，第一发光器111和第二发光器112每个可以被配置为用经电调制控制信号调制的经调制光学信号，例如经调制红外光或者可见光，执行对对象的主动照射。例如，第一发光器111和第二发光器112每个可以被配置为以对应于调制控制信号的频率的调制频率(例如在1MHz到200MHz之间)发射经调制光学信号。
第一发光器111可以具有关于TOF传感器像素的第一空间偏移，并且第二发光器112可以具有关于TOF传感器像素的第二空间偏移。例如，第一空间偏移和第二空间偏移可以彼此不同。例如，第一发光器111和第二发光器112可以关于成像装置100或者关于图像传感器电路101被设置在不同位置。在一些示例中，第一发光器111和第二发光器112可以被设置在相对于图像传感器电路101(或者TOF传感器像素)的不同等距离位置。在其它示例中，第一发光器111和第二发光器112可以被设置在相对于飞行时间传感器像素(或者图像传感器电路101)的不同非等距离位置。在一些示例中，第一发光器和第二发光器可以关于图像传感器电路101的至少一个对称轴(或者TOF传感器像素的至少一个对称轴)被对称设置。
第一发光器111可以被配置为在第一时间区间期间发射光，并且第二发光器112可以被配置为在第二时间区间期间发射光。例如，第一和第二时间区间可以是不同的。在一些示例中，第一发光器111和第二发光器112可以被配置为依次或者连续发射光。例如，它们可以被配置为一个接一个地发射光。在其它示例中，第一发光器111和第二发光器112可以被配置为同时或者依次发射不同偏振光。
图像传感器电路101可以包括TOF传感器像素阵列，诸如多个TOF传感器像素的二维阵列。每个TOF传感器像素102可以包括用于检测光的光检测电路。例如，光检测电路可以包括生成区，例如光敏感区域，诸如耗尽区或者空间电荷区，在这里可以例如生成光生电荷载流子(例如正电荷载流子，例如空穴，或者负电荷载流子，例如电子)。例如，光检测电路可以由光电二极管实现。在每个单独的TOF传感器像素102中生成的光生电荷载流子的数目可以与从第一和/或第二发光器发射、接着被对象反射、并且由该TOF传感器像素102接收的光的强度成比例。图像传感器电路101的每个TOF传感器像素102可以产生传感器像素图像数据，其可以基于电信号，例如与由像素元件生成的光生电荷载流子的数目成比例的电压信号或者电流信号。
例如，每个TOF传感器像素可以包括光子混合设备(PMD)，该光子混合设备被配置为基于相应的互相关测量(基于所接收的经调制光和参考调制信号)生成第一和第二传感器像素图像数据。例如，TOF传感器像素可以被实现为包括在交变偏置下工作的透明电荷收集器或者光门的PMD设备。通过将发光器与调制控制信号同步，发光器可以被配置为以调制控制信号的调制频率生成多个光脉冲，例如红外或者可见光。具有调制频率的经反射光脉冲可以由图像传感器电路(例如TOF传感器像素)接收，图像传感器电路每个可以测量经反射的所接收光关于调制控制信号的相位延迟(或者相移)。施加到光门的交变偏置(推挽式信号脉冲)的频率可以基于调制控制信号的调制频率，该调制控制信号还可以用于发光器的调制。交变偏置的光门可以交变地接收被对象反射的光脉冲。由于所接收的光也使用与PMD图像传感器电路相同的信号进行了调制，则从第一光门和第二光门输出的电信号的差异可以直接依赖于所接收的光和调制控制信号之间的相位延迟并且可以由例如相关函数表示。
TOF成像器(或者每个TOF传感器像素)可以根据下式提供复杂测量：Zmeas可以例如表示由TOF传感器像素通过相关测量而测量的传感器像素图像数据。
|Zmeas|可以表示基于一个TOF传感器像素所接收的光的幅度信息。例如，幅度信息可以基于对象的反射率(或者对象的区域的反射率，光从该区域反射并且由TOF传感器像素接收)。可以表示基于TOF传感器像素所接收的光而测量的相位信息(由指示)，其可以包括对象的距离信息。
每个TOF传感器像素可以被配置为基于互相关测量生成传感器像素图像数据，其可以用于计算对象的区域到图像传感器电路102的距离。例如，所计算的距离可以与相移除以调制频率成比例。例如，距离测量可以通过测量调制控制信号和反射的光之间的相移在时域中执行。例如，第一传感器像素图像数据可以基于由第一发光器111发射的并且由一个TOF传感器像素接收的光生成，并且第二传感器像素图像数据可以基于由第二发光器112发射的并且由TOF传感器像素接收的光生成。成像装置100的图像处理电路103可以被配置为例如产生经注释的深度图，该经注释的深度图包括幅度图像以作为深度图质量指示器。
在一些示例中，图像处理电路103可以被配置为产生对象104的3D图像，对象的3D图像与TOF传感器阵列的分辨率相比具有增加的图像分辨率。此外，来自不同视角的附加信息可以用于不同的目的，例如用于获得对象的更多细节。图像处理电路103可以被配置为基于由多个TOF传感器像素中的每个TOF传感器像素102生成的第一传感器像素图像数据和第二传感器像素图像数据，来产生对象104的三维(3D)图像。例如，第一传感器像素图像数据可以是由TOF传感器像素基于由第一发光器发射的光而生成的图像数据，并且第二传感器像素图像数据可以是由TOF传感器像素基于由第二发光器发射的光而生成的图像数据。
例如，图像处理电路103可以被配置为通过基于由一个TOF传感器像素生成的多个传感器像素图像数据来产生多个子图像数据或者子像素图像，来产生对象104的3D图像。因此，例如，由图像处理电路103生成的对象104的3D图像可以基于多个子图像数据(或者子像素数据)的生成，其中所生成的子图像数据的数目大于图像传感器电路的TOF像素的数目。
例如，基于由一个TOF传感器像素生成的对象的区域的第一和第二传感器像素图像数据，图像处理电路103可以被配置为确定对象的区域(例如对象的区域)的第一子区域的第一子图像数据和对象的区域(例如对象的区域)的第二子区域的第二子图像数据。第一子区域和第二子区域可以是对象的区域的不同子区域。例如，子区域的数目s对应于具有不同空间偏移的发光器的数目r。例如，图像处理电路103可以基于由一个TOF传感器像素生成的对象的区域的若干传感器像素图像数据来确定若干传感器像素子图像数据，每个传感器像素子图像数据对应于对象的区域的相应不同子区域，并且传感器像素子图像数据的数目对应于具有不同空间偏移的发光器数目r，发光器所发射的光用于生成对象的区域的若干传感器像素图像数据。
传感器像素子图像数据的数目d可以对应于(或者等于)用于发射光的发光器的数目，并且可以包含或者包括涉及对象的区域的信息。传感器像素子图像数据的数目d还可以对应于(或者等于)对象的子区域的数目s，针对该子区域生成传感器像素子图像数据。例如，图像处理电路103可以被配置为基于第一和第二传感器像素图像数据来确定第一和第二子图像数据。通过随后或者依次激活不同的照明单元(或者例如在不同位置处的发光器)，可以增加TOF系统的分辨率，例如可以增加由成像装置100或者TOF系统产生的3D图像的分辨率。
在一些示例中，图像处理电路103可以附加地或者备选地被配置为基于第一传感器像素图像数据和第二传感器像素图像数据的相位信息的比较，产生对象的错误减少的图像。例如，图像处理电路可以被配置为基于选取第一传感器像素图像数据和第二传感器像素图像数据中具有最小相位值的一个，产生对象的区域的图像。以这一方式，由具有不同空间偏移的发光器生成的传感器像素图像数据可以用于基于发光器的不同位置减少多路径传播。例如，遭受高的多路径传播的图像可以被消除、或者减少，并且所产生的3D图像可以基于具有最小的或者减少的多路径传播的图像数据。
图2A至图2D示出了根据实施例的成像装置200的示意性图示。
成像装置200包括图像传感器电路，该图像传感器电路包括多个飞行时间传感器像素。成像装置200进一步包括具有相对于图像传感器电路101的第一空间偏移的第一发光器111。成像装置200进一步包括具有相对于图像传感器电路101的第二空间偏移的第二发光器112。成像装置200进一步包括图像处理电路103，该图像处理电路被配置为基于由多个飞行时间传感器像素中的飞行时间传感器像素生成的第一传感器像素图像数据和第二传感器像素图像数据，产生对象的区域的图像。图像包括对象的第一子区域的第一子图像数据和关于对象的第二子区域的第二子图像数据。第一传感器像素图像数据基于由第一发光器发射并且被对象反射的接收光，并且其中第二传感器像素图像数据基于由第二发光器发射并且被对象反射的接收光。
由于实现了具有第一发光器和第二发光器的成像装置，其中第一发光器具有第一空间偏移并且第二发光器具有第二空间偏移，可以基于第一传感器像素图像数据和第二传感器像素图像数据来产生对象的区域的图像。例如，对象的区域的图像可以具有经改进的分辨率或更详细的信息。
例如，成像装置200可以相似于关于图1所描述的成像装置。例如，成像装置200可以被配置为产生具有增加的分辨率或者增加的细节的三维(3D)图像。例如，成像装置200可以为TOF系统，其可以测量幅度和相位(矢量)。例如，测量的相位信息可以指示对象的距离信息(例如从发光器到对象的距离和从对象到参考、诸如到成像装置或者到成像传感器电路的距离)。例如，测量的幅度信息可以指示对象的反射率。
为了基于传感器像素图像数据信息生成传感器像素子图像数据信息，可以生成未知的参数。例如，例如，为了将一个像素分割为四个子像素，可以计算8个未知参数(例如四个幅度和四个相位)。
图2A示出了由成像装置200测量的传感器像素图像数据的示例。光可以由一个发光器(例如第一发光器)在第一时间区间期间发射。由一个TOF传感器像素测量的其可以基于由发光器发射并且由TOF传感器像素接收的光的传感器像素图像数据可以由矢量Zmeas表示，其可以是从对象的区域的不同子区域(例如子区域A、B、C、以及D)反射的若干子图像数据(或子像素)的叠加。例如，子图像数据的叠加通过由第一发光器111发射并且从不同子区域反射并且由多个TOF传感器像素接收的箭头示出。
图2B示出了测量的矢量Zmeas或者Zmeasured可以是四个子像素(或者例如四个子图像数据)的叠加(或者相加)。例如，Zmeas＝ZA+ZB+ZC+ZD。可以从通过具有不同空间偏移的多个发光器(例如LED1、2、3、以及4)的测量获得若干等式。例如，可以基于所接收的来自不同位置处的不同发光器的光来获得不同的测量矢量。例如，可以基于由具有不同空间偏移的不同发光器生成的传感器像素图像数据来获得若干等式。例如，可以从具有不同LED位置的四个不同测量获得八个等式(针对不同的距离和/或相位)。
图2C示出了根据实施例的成像装置200的前视图。例如，成像装置200可以包括多个发光器，例如四个发光器(例如，第一、第二、第三、以及第四发光器)，或者例如四个LED，每个可以被设置在相对于图像传感器电路101或者相对于2D传感器像素阵列的不同等距离位置处。例如，多个发光器可以相对于图像传感器电路101或者TOF传感器像素阵列的对称轴(例如水平或者竖直或者对角线对称线)对称设置。多个发光器每个可以被设置为与2D传感器像素阵列的平面表面共面。例如，2D传感器像素阵列的平面表面可以是传感器像素阵列用于接收从发光器反射的光的表面区域。
在示例中，多个发光器中的发光器和图像传感器电路101之间的距离x1可以大于1cm，例如大于5cm，或者例如大于10cm。在其它示例中，多个发光器中的每个发光器和图像传感器电路101之间的距离可以例如是不同的。在一些示例中，发光器和相邻发光器之间的距离可以大于2cm，例如大于5cm，或者例如大于10cm。
例如，发光器控制电路可以控制来自多个发光器的光发射。例如，发光器控制电路可以被配置为触发发光器以调制控制信号的调制频率连续或者依次发射光。例如，发光器控制电路可以被配置为触发第一发光器，接着是第二发光器、接着是第三发光器、并且接着是第四发光器。图像传感器电路101(或者每个TOF传感器像素)可以被配置为在第一时间区间期间接收由第一发光器发射并且被对象反射的光。图像传感器电路101(或者每个TOF传感器像素)可以被配置为在第二时间区间期间接收由第二发光器发射并且被对象反射的光。图像传感器电路101(或者每个TOF传感器像素)可以被配置为在第三时间区间期间接收由第三发光器发射并且被对象反射的光。例如，图像传感器电路101(或者每个TOF传感器像素)可以被配置为在第四时间区间期间接收由第四发光器发射并且被对象反射的光。例如，第一到第四时间区间可以是连续的时间区间。
在其它示例中，第一和第二发光器可以是单个光发射源(例如单个LED或者单个LED组)的部分。发光器控制电路可以被配置为选择性地控制由单个光发射源在不同出射点处的光发射，其中出射点可以具有关于图像传感器电路的不同空间偏移。例如，第一发光器和第二发光器的出射点可以例如由控制电路经由光学开关板控制。例如，第一发光器和第二发光器每个可以分别包括光发射器的光发射部分，或者可以包括由光学开关控制的光发射光学或者玻璃纤维。
例如，发光器控制电路可以进一步控制来自多个发光器的光发射，使得在第一光发射模式下，单个发光器可以被配置为以调制频率发射光，并且由图像处理电路产生的图像可以基于由该单个发光器发射并且由图像感测电路接收的光。例如，这可以是例如当成像装置进入低功率模式时并且当低功率模式被发光器控制电路检测到时的情形。第一光发射模式可以例如在低功率模式下使用，其中例如不一定需要整个(增加的)像素分辨率(例如具有更详细信息的增加的图像分辨率)。在第二光发射模式下，多个发光器(例如多于两个发光器)可以被配置为如上文所述那样以调制频率依次发射光。低功率模式可以例如通过手势识别或者例如通过检测不存在人手或者人手静止，由TOF相机(例如成像装置)自身检测。在这种情形下，TOF相机可以自识别不需要增加的分辨率，并且成像装置可以进入低功率模式(例如第一光发射模式)。在该情形下，仅一个LED可以被激活。例如，在性能降低的情况下，光可以被导向到仅一个光发射出射点。
在其它示例中，发光器控制电路可以被配置为触发发光器以同时或者依次发射不同偏振光。
图2D示出了测量的，例如由一个TOF传感器像素基于由第一发光器发射并且由TOF传感器像素接收的光测量的矢量Zmeas_LED1可以是四个子像素(或者例如四个子图像数据)的叠加(或者相加)。例如，Zmeasured_LED1＝ZA+ZB+ZC+ZD。例如，ZA、ZB、ZC、以及ZD每个可以包括相应的相位信息以及用于对应于子区域A、B、C、以及D的每个相应子图像数据。例如，相位信息以及每个可以表示关于参考相位值的相位偏移。
基于测量的传感器像素图像数据，可以获得四个子图像数据。为了简化的目的，本文示出了其描述如何可以例如基于使用在不同位置处的两个不同发光器测量的传感器像素图像数据来确定两个子图像数据的示例。
根据下面的等式，TOF成像器(或者每个TOF传感器像素)可以提供(对测量的传感器像素图像数据的)复杂测量：
为了确定两个子图像数据，测量可以是子像素(或者子图像数据)的叠加，例如第一子图像数据和第二子图像数据的叠加。
例如，使用两个相继(或者依次)激活的发光器(例如LED)进行的两次测量可以由下式表示：
经简化，这意指：
可以引入矢量。例如，Z m 可以表示测量的传感器像素图像数据，例如分别由Z meas1 和Z meas2 表示的测量的第一和第二传感器像素图像数据。
Z m ‾ = Z m e a s 1 ‾ Z m e a s 2 ‾
Z meas1 和Z meas2 可以包括分别涉及第一和第二传感器像素图像数据的强度和相位信息。
例如，要确定的子图像数据可以由矢量Z wanted 表示，其可以表示第一和第二子图像(或者子像素)数据。
Z w a n t e d ‾ = Z a ‾ Z b ‾
例如，飞行时间偏移值的集(例如延迟矩阵)可以由图像处理电路103确定。飞行时间偏移的集可以包括多个飞行时间值，例如2r个飞行时间偏移，其中r表示具有不同空间偏移的发光器的数目，或者基于不同发光器执行的测量的数目。在这一示例中，例如，由于两个发光器用于发光，则r＝2并且可以包括四(22＝4)个飞行时间值。
以及分别指示第一、第二、第三、以及第四飞行时间偏移值。
由于Z m 可以由等式表示，则Z wanted 可以基于等式确定。
例如，图像处理电路可以被配置为基于下式确定第一和第二子图像数据：
例如，Z a 和Z b 每个可以包括分别涉及第一和第二子图像数据的强度和相位信息。图像处理电路103可以被配置为基于第一和第二传感器像素图像数据与飞行时间偏移集的组合来获得第一和第二传感器像素图像数据的相移版本。
图像处理电路103可以被配置为基于第一和第二传感器像素图像数据的相移版本的线性组合来产生第一子图像数据(例如Z a )和第二子图像数据(例如Z b )。例如，图像处理电路103可以被配置为基于第一和第二传感器像素图像数据的相移版本的第一线性组合来确定第一子图像数据Z a 。例如，此外，图像处理电路103可以被配置为至少基于第一和第二传感器像素图像数据的相移版本的第二线性组合来确定第二子图像数据Z b 。例如，
联系上文或者下文描述的实施例提到了更多细节和方面(例如关于成像装置、发光器、图像传感器电路、TOF传感器像素、传感器像素图像数据、图像处理电路、以及飞行时间值的集)。在图2A至图2D中示出的实施例可以包括对应于联系所提出的概念提到的一个或者多个方面或者在上文(例如图1)或者下文(例如图3至图5)描述的一个或者多个实施例的一个或者多个可选附加特征。
图3示出了根据实施例的成像装置(例如成像装置200)的示例和图像处理电路用于产生经改进的3D图像的几何值。
图像处理电路103可以被配置为确定飞行时间偏移。例如，图像处理电路可以被配置为执行因子校正过程，以例如通过将每个偏移乘以因子得出飞行时间偏移值。例如，飞行时间偏移值的集可以通过图像处理电路103基于下面的等式得出：
第一飞行时间偏移可以表示由参考发光器发射并且在对象的第一子区域(例如区域A)处反射的接收光的参考飞行时间和由第一发光器111发射并且在对象的第一子区域处反射的接收光的飞行时间之间的偏移(例如相位偏移或者相位差)。第一飞行时间偏移可以例如基于第一空间偏移。
第二飞行时间偏移可以表示由参考发光器发射并且在对象的第二子区域(例如区域B)处反射的接收光的参考飞行时间和由第一发光器111发射并且在对象的第二子区域处反射的接收光的飞行时间之间的偏移(例如相位偏移或者相位差)。第二飞行时间偏移可以例如基于第一空间偏移。
第三飞行时间偏移可以表示由参考发光器发射并且在对象的第一子区域(例如区域A)处反射的接收光的参考飞行时间和由第二发光器112发射并且在对象的第一子区域处反射的接收光的飞行时间之间的偏移(例如相位偏移或者相位差)。第三飞行时间偏移可以例如基于第二空间偏移。
第四飞行时间偏移可以表示由参考发光器发射并且在对象的第二子区域(例如区域B)处反射的接收光的参考飞行时间和由第二发光器112发射并且在对象的第二子区域处反射的接收光的飞行时间之间的偏移(例如相位偏移或者相位差)。第四飞行时间偏移可以例如基于第二空间偏移。
和可以是涉及第一发光器(例如LED1)的飞行时间偏移，并且和可以是涉及第二发光器(例如LED2)的飞行时间偏移。
参考飞行时间值可以例如通过执行参考TOF测量获得。例如，所有发光器可以同时发射光。例如，发光器控制电路可以被配置为触发第一和第二发光器以同时发射光。被对象反射的光可以被TOF传感器像素接收，并且包括关于接收光的幅度和相位信息的参考传感器像素图像数据可以由TOF传感器像素生成。例如，对于每个TOF传感器像素，第一参考子图像数据以及第二参考子图像数据可以基于由图像处理电路103基于参考互相关测量生成的参考传感器像素图像数据来确定。例如，在示例中，参考TOF测量可以在处于关于图像传感器电路的不同位置处的每个单独发光器的依次发射之前执行。例如，在示例中，参考TOF测量可以基于来自仅一个发光器或者发光器的任何组合的光发射。
第一参考子图像数据和第二参考子图像数据每个可以分别基于第一和第二子图像位置偏移来生成或者确定。在示例中，成像装置200可以包括具有已知角度范围(例如90度角度范围)的收集器光学元件，用于收集或者接收被对象反射的光。第一参考子图像数据可以例如基于飞行时间传感器像素位置偏移、第一子图像位置偏移、以及对象的区域和TOF传感器像素阵列之间的距离来确定。第二参考子图像数据可以例如基于飞行时间传感器像素位置偏移、第二子图像位置偏移、以及对象的区域和TOF传感器像素阵列之间的距离来确定。
在示例中，第一参考子图像数据和第二参考子图像数据每个可以由下式表示：
其中xx表示飞行时间传感器像素位置偏移，表示子图像位置偏移，并且xz表示对象的区域和TOF传感器像素阵列之间的距离。
在示例中，xx可以是飞行时间传感器像素位置偏移，其可以例如基于成像装置的几何结构以及TOF传感器像素在TOF传感器像素阵列中的位置来确定。
xz可以是对象的区域和TOF传感器像素阵列的平面表面之间的垂直距离，或者对象的区域和与TOF传感器像素阵列的平面表面共面的虚拟平面之间的最短距离。值xz可以例如从参考测量得出。
可以是第一或者第二子图像位置偏移的绝对值，这基于对象的区域的图像的像素尺寸(基于成像装置的几何结构和收集器光学元件的接收角度)为例如，第一(参考)子图像数据可以具有关于TOF传感器像素中的参考线的负空间偏移，并且第二(参考)子图像数据可以具有关于参考线的正空间偏移。参考线可以是例如TOF传感器像素的对称轴(例如竖直或者水平对称轴)。
x1可以是第一和第二发光器的空间偏移的绝对值。例如，第一空间偏移可以是关于图像传感器电路103或者成像装置100的参考线314(或者例如对称轴)的负空间偏移，并且第二空间偏移可以是关于参考线(或者例如对称轴)的正空间偏移。
第一飞行时间偏移可以与第一发光器和第一子区域关联。第二飞行时间偏移可以与第一发光器和第二子区域关联。第三飞行时间偏移可以与第二发光器和第一子区域关联。第四飞行时间偏移可以与第二发光器和第二子区域关联。
第一至第四飞行时间偏移(例如以及)每个可以基于由参考发光器发射并且在对象的子区域处反射的接收光的参考飞行时间和分别由第一至第四发光器发射并且在对象的子区域处反射的接收光的飞行时间之间的相位偏移得出。
由图像处理电路103得出的飞行时间偏移值的集可以进一步基于涉及光速c和调制频率f的因子。例如，图像处理电路可以被配置为执行因子校正过程，以例如通过将每个偏移乘以因子得出飞行时间偏移值。
作为示例，对于xz＝1m，Rx＝100，像素73(Rixel73)(xx＝23cm)，x1＝10cm
例如，针对一个TOF传感器像素的第一子图像数据(例如Z a )和第二子图像数据(例如Z b )可以基于飞行时间偏移值和由该TOF传感器像素测量的第一和第二传感器像素图像数据的线性组合来确定。类似地，例如，图像处理电路可以被配置为确定针对多个TOF传感器像素中的每个TOF传感器像素的第一子图像数据和第二子图像数据。
虽然以上示例涉及仅具有两个发光器的成像装置，但是可以理解的是，在其它示例中，可以使用多于两个发光器。在类似的示例中，可以使用四个发光器来获得四个子区域(A、B、C、以及D)的四个子图像数据。
例如，对传感器像素图像数据的测量可以为(或者包括)子图像数据的子像素(例如四个子像素)的叠加。
根据所激活的发光器(例如LED)，距离是不同的。
例如，可以执行使用相继(或者依次)激活的发光器(例如LED)进行的四次测量。
经简化，这意指：
可以引入矢量，并且Z m 可以表示测量的传感器像素图像数据，例如分别由Z meas1 、Z meas2 、Z meas3 、以及Z meas4 表示的第一至第四传感器像素图像数据。
Z m ‾ = Z m e a s 1 ‾ Z m e a s 2 ‾ Z m e a s 3 ‾ Z m e a s 4 ‾
要确定的每个子图像数据可以例如由矢量Z wanted 表示，其可以表示第一至第四子图像(或者子像素)数据。
Z w a n t e d ‾ = Z a ‾ Z b ‾ Z c ‾ Z d ‾
例如，飞行时间值的集可以由图像处理电路103确定。例如，飞行时间值的集可以包括多个飞行时间值，例如2m数目的延迟值，例如16个延迟值。
和
图像处理电路103可以被配置为基于第一、第二、第三、以及第四传感器像素图像数据的相移版本的线性组合，产生不同的子图像数据(例如Z a 、Z b 、Z c 、以及Z d )。
可以理解的是，虽然已经给出用于得出飞行时间值的集的近似法，但是可以使用其它计算方法确定或者得出飞行时间值的集。
联系上文或者下文描述的实施例提到了更多细节和方面(例如关于成像装置、发光器、图像传感器电路、TOF传感器像素、传感器像素图像数据、图像处理电路、以及飞行时间值的集)。在图3中示出的实施例可以包括对应于联系所提出的概念提到的一个或者多个方面或者在上文(例如图1至图2D)或者下文(例如图4至图5)描述的一个或者多个实施例的一个或者多个可选附加特征。
图4示出了根据实施例的成像装置400的示意性图示。
例如，成像装置400可以相似于关于图1至图3所描述的成像装置。
附加地或者备选地，图像处理电路403可以被配置为基于第一传感器像素图像数据和第二传感器像素图像数据的相位信息的比较，产生对象的错误减少的图像。例如，对于TOF系统而言，测量对象404的角落415可能是非常具有挑战性的。图像处理电路403可以被配置为例如基于选取第一传感器像素图像数据和第二传感器像素图像数据中具有最小相位值的一个，产生对象的区域的图像。以这一方式，具有不同空间偏移的发光器可以用于比较由发光器的不同位置引起的多路径传播。例如，遭受高的多路径传播的图像可以被消除或者减少，并且所产生的3D图像可以基于具有最小的或者减少的多路径传播的图像数据。由于具有最小相位值的像素图像数据可以指示TOF系统中的最小量的多路径传播，则可以选取具有最小的(或者最低的)测量相位值的传感器像素图像数据。以这一方式，例如，TOF系统中的多路径传播可以减少或者消除。
联系上文或者下文描述的实施例提到了更多细节和方面(例如关于成像装置、发光器、图像传感器电路、TOF传感器像素、传感器像素图像数据、图像处理电路、以及飞行时间值的集)。在图4中示出的实施例可以包括对应于联系所提出的概念提到的一个或者多个方面或者在上文(例如图1至图3)或者下文(例如图5)描述的一个或者多个实施例的一个或者多个可选附加特征。
图5示出了根据实施例的飞行时间成像方法500的流程图。
方法500包括通过飞行时间传感器像素接收510由具有相对于飞行时间传感器像素的第一空间偏移的第一发光器发射并且被对象的区域反射的光，以生成第一传感器像素图像数据。
方法500进一步包括通过飞行时间传感器像素接收520由具有相对于飞行时间传感器像素的第二空间偏移的第二发光器发射并且被对象的区域反射的光，以生成第二传感器像素图像数据。
方法500进一步包括基于由飞行时间传感器像素生成的第一和第二传感器像素图像数据，产生530对象的区域的图像。
产生图像可以包括确定对象的区域的第一子区域的第一子图像数据和对象的区域的(不同的)第二子区域的第二子图像数据。例如，子区域的数目可以对应于具有不同空间偏移的发光器的数目，并且第一和第二图像子图像数据可以基于第一和第二传感器像素图像数据确定。
方法可以进一步包括基于第一和第二传感器像素图像数据的相移版本的第一线性组合来确定第一子图像。方法可以进一步包括基于第一和第二传感器像素图像数据的相移版本的第二线性组合来确定第二子图像。
第一和第二传感器像素图像数据的相移版本可以基于第一和第二传感器像素图像数据与飞行时间偏移集的组合获得。例如，第一飞行时间偏移可以与第一发光器和第一子区域关联。第二飞行时间偏移可以与第一发光器和第二子区域关联。集中的第三飞行时间偏移可以与第二发光器和第一子区域关联。第四飞行时间偏移可以与第二发光器和第二子区域关联。
方法可以进一步包括基于参考TOF测量确定第一参考子图像和第二参考子图像。参考TOF测量可以通过接收由至少一个发光器发射并且被对象反射的光来执行。
联系上文或者下文描述的实施例提到了更多细节和方面(例如关于成像装置、发光器、图像传感器电路、TOF传感器像素、传感器像素图像数据、图像处理电路、以及飞行时间值的集)。在图5中示出的实施例可以包括对应于联系所提出的概念提到的一个或者多个方面或者在上文(例如图1至图4)或者下文(例如图6)描述的一个或者多个实施例的一个或者多个可选附加特征。
图6示出了根据实施例的飞行时间成像方法600的流程图。
方法600包括通过飞行时间传感器像素接收610由具有相对于飞行时间传感器像素的第一空间偏移的第一发光器发射并且被对象的区域反射的光，以生成第一传感器像素图像数据。
方法600进一步包括通过飞行时间传感器像素接收620由具有相对于飞行时间传感器像素的第二空间偏移的第二发光器发射并且被对象的区域反射的光，以生成第二传感器像素图像数据。
方法600进一步包括基于选取第一和第二传感器像素图像数据中的一个，产生对象的区域的图像。
例如，选取可以基于第一和第二传感器像素图像数据的相位信息的比较。
各种实施例涉及增加飞行时间(TOF)系统的分辨率。例如，各种实施例可以包括传感器移位原理、体视学原理、以及具有多个发射和接收天线的雷达原理。
示例实施例可以进一步提供具有程序代码的计算机程序，用于当计算机程序在计算机或者处理器上执行时执行上述方法之一。本领域技术人员将容易认识到各种上述方法的行为可以通过编程计算机执行。在本文中，一些示例实施例还旨在涵盖程序存储设备，例如数字数据存储介质，其是机器或者计算机可读的并且编码机器可执行或者计算机可执行的指令程序，其中指令执行上述方法中的一些或者所有行为。程序存储设备可以为例如数字存储器、诸如磁盘和磁带之类的磁存储介质、硬盘驱动器、或者光学可读数字数据存储介质。其它示例实施例还旨在涵盖编程为执行上述方法的行为的计算机、或者编程为执行上述方法的行为的(现场)可编程逻辑阵列((F)PLA)或(现场)可编程门阵列((F)PGA)。
描述和附图仅说明本公开的原理。因此要领会的是，本领域技术人员将能够设想体现本公开的原理并且被包括在其精神和范围内的各种装置(虽然在本文中未明确描述或者示出)。此外，本文中记载的所有示例主要明确旨在仅用于教学目的，以帮助读者理解本公开的原理以及由(多个)发明人贡献的用于促进本领域的概念，并且要被解释为不限制于这种特别记载的示例和状况。此外，本文中记载本公开的原理、方面和实施例、以及其特定示例的所有陈述旨在包含其等效。
表示为“用于…的装置”的功能块(执行某个功能)应该被理解为分别包括被配置为执行某个功能的电路的功能块。因此，“用于某事的装置”也可以被理解为“被配置为或者适合用于某事的装置”。被配置为执行某个功能的装置因此不暗示这种装置(在给定时刻)必定执行功能。
附图中所示的各种元件的功能(包括标记为“装置”、“用于提供传感器信号的装置”、“用于生成发射信号的装置”等的任何功能块)可以通过使用专用硬件(诸如“信号提供器”、“信号处理单元”、“处理器”、“控制器”等)、以及能够执行软件的硬件与合适的软件关联来提供。此外，在本文中被描述为“装置”的任何实体可以对应于或者被实现为“一个或者多个模块”、“一个或者多个设备”、“一个或者多个单元”等。当由处理器提供时，功能可以由单个专用处理器、单个共享处理器、或者多个单独处理器(其中一些可共享)提供。此外，术语“处理器”或者“控制器”的显式使用不应该被解释为排它地指代能够执行软件的硬件，并且可以隐式地包括(而不限制于)数字信号处理器(DSP)硬件、网络处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)、以及非易失性存储。还可以包括常规和/或定制的其它硬件。
本领域技术人员应该领会的是，本文中的任何框图表示体现本公开的原理的说明性电路的概念性视图。相似地，要领会的是，任何流程表、流程图、状态转换图、伪代码等表示其大体上可以表示在计算机可读介质中并且因此由计算机或者处理器(无论是否明确示出这种计算机或者处理器)执行的各种处理
此外，所附权利要求由此并入到具体实施方式中，其中每个权利要求自身可以作为单独的实施例。虽然每个权利要求自身可以作为单独的实施例，但是要注意的是——虽然从属权利要求在权利要求书中可以指代与一个或者多个其它权利要求的特定组合——但是其它实施例还可以包括该从属权利要求与每个其它从属或者独立权利要求的主题的组合。这种组合在本文中提出，除非声明了不旨在特定的组合。此外，所旨在的是还将权利要求的特征包括到任何其它独立权利要求中，即使这一权利要求不直接从属于该独立权利要求。
还要注意的是，说明书或者权利要求书中公开的方法可以由具有用于执行这些方法中的相应行为中的每个行为的装置的设备来实现。
此外，要理解的是，说明书或者权利要求书中公开的多个行为或者功能的公开可以不被解释为具有特定顺序。因此，多个行为或者功能的公开并不将其限制于特定顺序，除非由于技术原因，这些行为或者功能不可互换。此外，在一些实施例中，单个行为可以包括或者可以被分解为多个子行为。这种子行为可以被包括，并且可以是这一单个行为的公开内容的部分，除非明确将其排除。

Claims (20)

1.一种成像装置，包括：
图像传感器电路，包括飞行时间传感器像素；
第一发光器，具有相对于所述飞行时间传感器像素的第一空间偏移；
第二发光器，具有相对于所述飞行时间传感器像素的第二空间偏移；
图像处理电路，被配置为基于由所述飞行时间传感器像素生成的第一传感器像素图像数据和第二传感器像素图像数据来产生对象的区域的图像，
其中所述第一传感器像素图像数据基于由所述第一发光器发射并且在所述对象的区域处反射的接收光，并且其中所述第二传感器像素图像数据基于由所述第二发光器发射并且在所述对象的区域处反射的接收光。
2.根据权利要求1所述的成像装置，其中所述第一发光器和所述第二发光器被设置在相对于所述图像传感器电路的不同等距离位置处。
3.根据权利要求1或者2所述的成像装置，其中所述第一发光器和所述第二发光器关于所述图像传感器电路的至少一个对称轴对称设置。
4.根据前述权利要求中的任一项所述的成像装置，其中所述第一发光器被配置为在第一时间区间期间发射光，并且所述第二发光器被配置为在第二时间区间期间发射光。
5.根据前述权利要求中的任一项所述的成像装置，其中所述第一发光器和所述第二发光器被配置为同时发射不同偏振光。
6.根据前述权利要求中的任一项所述的成像装置，其中所述飞行时间传感器像素包括被配置为基于相应的互相关测量来生成所述第一传感器像素图像数据和所述第二传感器像素图像数据的光子混合设备，其中所述相应的互相关测量基于所接收的调制光和参考调制信号。
7.根据前述权利要求中的任一项所述的成像装置，其中所述第一发光器和所述第二发光器分别包括光发射器的光发射部分。
8.根据前述权利要求中的任一项所述的成像装置，其中所述第一发光器和所述第二发光器分别包括一个或者多个发光二极管或者激光器。
9.根据前述权利要求中的任一项所述的成像装置，其中所述图像处理电路被配置为确定所述对象的区域的第一子区域的第一子图像数据和所述对象的区域的第二子区域的第二子图像数据，其中子区域的数目对应于具有不同空间偏移的发光器的数目，其中所述图像处理电路被配置为基于所述第一传感器像素图像数据和所述第二传感器像素图像数据来确定所述第一子图像数据和所述第二子图像数据。
10.根据权利要求9所述的成像装置，其中所述图像处理电路被配置为基于所述第一传感器像素图像数据和所述第二传感器像素图像数据的相移版本的线性组合来产生所述第一子图像数据和所述第二子图像数据。
11.根据权利要求9或者10所述的成像装置，其中所述图像处理电路被配置为基于所述第一传感器像素图像数据和所述第二传感器像素图像数据的相移版本的第一线性组合来确定所述第一子图像数据，并且基于所述第一传感器像素图像数据和所述第二传感器像素图像数据的相移版本的第二线性组合来确定所述第二子图像数据。
12.根据权利要求9到11中的任一项所述的成像装置，其中所述图像处理电路被配置为基于所述第一传感器像素图像数据和所述第二传感器像素图像数据与飞行时间偏移集的组合来获得所述第一传感器像素图像数据和所述第二传感器像素图像数据的所述相移版本，其中第一飞行时间偏移与所述第一发光器和所述第一子区域关联，第二飞行时间偏移与所述第一发光器和所述第二子区域关联，第三飞行时间偏移与所述第二发光器和所述第一子区域关联，并且其中第四飞行时间偏移与所述第二发光器和所述第二子区域关联。
13.根据权利要求12所述的成像装置，其中
所述第一飞行时间偏移表示由参考发光器发射并且在所述对象的第一子区域处反射的接收光的参考飞行时间和由所述第一发光器发射并且在所述对象的第一子区域处反射的接收光的飞行时间之间的偏移，
所述第二飞行时间偏移表示由所述参考发光器发射并且在所述对象的第二子区域处反射的接收光的参考飞行时间和由所述第一发光器发射并且在所述对象的第二子区域处反射的接收光的飞行时间之间的偏移，
所述第三飞行时间偏移表示由所述参考发光器发射并且在所述对象的第一子区域处反射的接收光的所述参考飞行时间和由所述第二发光器发射并且在所述对象的第一子区域处反射的接收光的飞行时间之间的偏移，并且
所述第四飞行时间偏移表示由所述参考发光器发射并且在所述对象的第二子区域处反射的接收光的所述参考飞行时间和由所述第二发光器发射并且在所述对象的第二子区域处反射的接收光的飞行时间之间的偏移。
14.根据权利要求12或者13所述的成像装置，其中所述图像处理电路被配置为确定对应于的所述第一子图像数据和所述第二子图像数据，
其中
其中Z a 和Z b 包括分别涉及所述第一子图像数据和所述第二子图像数据的强度信息和相位信息，其中Z meas1 和Z meas2 包括分别涉及所述第一传感器像素图像数据和所述第二传感器像素图像数据的强度信息和相位信息，并且其中以及分别指示所述第一飞行时间偏移、所述第二飞行时间偏移、所述第三飞行时间偏移、以及所述第四飞行时间偏移。
15.根据前述权利要求中的任一项所述的成像装置，其中所述图像处理电路被配置为基于所述第一传感器像素图像数据和所述第二传感器像素图像数据的相位信息的比较来产生所述对象的区域的所述图像。
16.根据权利要求15所述的成像装置，其中所述图像处理电路被配置为基于选取所述第一传感器像素图像数据和所述第二传感器像素图像数据中具有最小相位值的一个，来产生所述对象的区域的所述图像。
17.一种飞行时间成像方法，所述方法包括：
通过飞行时间传感器像素接收由具有相对于所述飞行时间传感器像素的第一空间偏移的第一发光器发射并且被对象的区域反射的光，以生成第一传感器像素图像数据；
通过所述飞行时间传感器像素接收由具有相对于所述飞行时间传感器像素的第二空间偏移的第二发光器发射并且被所述对象的所述区域反射的光，以生成第二传感器像素图像数据；并且
基于由所述飞行时间传感器像素生成的所述第一传感器像素图像数据和所述第二传感器像素图像数据，产生所述对象的区域的图像。
18.根据权利要求17所述的方法，其中产生所述图像包括确定所述对象的区域的第一子区域的第一子图像数据和所述对象的区域的第二子区域的第二子图像数据，
其中子区域的数目对应于具有不同空间偏移的发光器的数目，其中所述第一图像子图像数据和所述第二图像子图像数据基于所述第一传感器像素图像数据和所述第二传感器像素图像数据来确定。
19.根据权利要求17或者18所述的方法，包括：
基于所述第一传感器像素图像数据和所述第二传感器像素图像数据的相移版本的第一线性组合，确定所述第一子图像；并且
基于所述第一传感器像素图像数据和所述第二传感器像素图像数据的相移版本的第二线性组合，确定所述第二子图像，
其中所述第一传感器像素图像数据和所述第二传感器像素图像数据的所述相移版本基于所述第一传感器像素图像数据和所述第二传感器像素图像数据与飞行时间偏移集的组合来获得，其中第一飞行时间偏移与所述第一发光器和所述第一子区域关联，第二飞行时间偏移与所述第一发光器和所述第二子区域关联，第三飞行时间偏移与所述第二发光器和所述第一子区域关联，并且其中第四飞行时间偏移与所述第二发光器和所述第二子区域关联。
20.一种成像装置，包括：
图像传感器电路，包括多个飞行时间传感器像素；
第一发光器，具有相对于所述图像传感器电路的第一空间偏移；
第二发光器，具有相对于所述图像传感器电路的第二空间偏移；
图像处理电路，被配置为基于由所述多个飞行时间传感器像素中的飞行时间传感器像素生成的第一传感器像素图像数据和第二传感器像素图像数据来产生对象的区域的图像，其中所述图像包括所述对象的第一子区域的第一子图像数据和关于所述对象的第二子区域的第二子图像数据，
其中所述第一传感器像素图像数据基于由所述第一发光器发射并且被所述对象反射的接收光，并且其中所述第二传感器像素图像数据基于由所述第二发光器发射并且被所述对象反射的接收光。
CN201510681075.5A 2014-10-21 2015-10-19 成像装置和飞行时间成像方法 Active CN105554418B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014115310.3A DE102014115310A1 (de) 2014-10-21 2014-10-21 Bilderzeugungsvorrichtungen und ein Laufzeit-Bilderzeugungsverfahren
DE102014115310.3 2014-10-21

Publications (2)

Publication Number Publication Date
CN105554418A true CN105554418A (zh) 2016-05-04
CN105554418B CN105554418B (zh) 2019-06-14

Family

ID=55637759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510681075.5A Active CN105554418B (zh) 2014-10-21 2015-10-19 成像装置和飞行时间成像方法

Country Status (3)

Country Link
US (1) US10091492B2 (zh)
CN (1) CN105554418B (zh)
DE (1) DE102014115310A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108572369A (zh) * 2017-03-13 2018-09-25 北醒（北京）光子科技有限公司 一种微镜扫描探测装置及探测方法
CN110431441A (zh) * 2017-03-19 2019-11-08 科维塔公司 用于调制的图像捕获的系统和方法
CN110662162A (zh) * 2018-06-13 2020-01-07 英飞凌科技股份有限公司 用于飞行时间感测和信息传送的双模式光学设备、以及利用其的装置、系统和方法
CN110832842A (zh) * 2017-07-12 2020-02-21 索尼公司 成像装置和图像产生方法
CN111670336A (zh) * 2018-02-01 2020-09-15 普锐特冶金技术奥地利有限公司 用于识别冶金工业设施中的器具的设备和方法
CN113840105A (zh) * 2020-06-08 2021-12-24 意法半导体(R&D)有限公司 用于dtof传感器的路由
TWI804850B (zh) * 2020-04-16 2023-06-11 鈺立微電子股份有限公司 多深度資訊之融合方法與融合系統

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6363088B2 (ja) * 2013-10-08 2018-07-25 シャープ株式会社 画像復号装置、画像復号方法、画像符号化装置、および画像符号化方法
EP3193190B1 (en) * 2016-01-15 2023-04-12 Sony Depthsensing Solutions N.V. A detector device with majority current and a circuitry for controlling the current
US10726574B2 (en) 2017-04-11 2020-07-28 Dolby Laboratories Licensing Corporation Passive multi-wearable-devices tracking
US11994627B2 (en) * 2019-07-12 2024-05-28 Artis, Llc Microsecond time of flight (μTOF) sensor
CN112824934B (zh) * 2019-11-20 2024-05-07 深圳市光鉴科技有限公司 基于调制光场的tof多径干扰去除方法、系统、设备及介质
JP2021117036A (ja) * 2020-01-23 2021-08-10 株式会社日立エルジーデータストレージ 測距装置の測定値補正方法
DE102020120542A1 (de) * 2020-08-04 2022-02-10 Valeo Schalter Und Sensoren Gmbh Erzeugen eines Messdatensatzes mittels eines aktiven Sensorsystems
EP3964857A1 (en) * 2020-09-07 2022-03-09 Infineon Technologies AG Method and apparatus for determining a reflectivity value indicating a reflectivity of an object

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8242428B2 (en) * 2007-12-06 2012-08-14 The United States Of America As Represented By The Secretary Of The Army Method and system for lidar using spatial information from a light source in combination with nonspatial information influenced by the subject to derive an image
CN102736084A (zh) * 2011-04-06 2012-10-17 通用汽车环球科技运作有限责任公司 使用两个调制光源的用于对象检测系统的方法和设备
CN103439295A (zh) * 2013-08-16 2013-12-11 中国科学院上海光学精密机械研究所 全深度频域多普勒光学相干层析成像方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4011041A1 (de) * 1989-04-08 1991-10-10 Christian Wasserthal Raeumliche erkennung von koerpern mit zwei verschiedenfarbig kodierten bzw. einer polarisierten lichtquelle sowie erfassung mit einer in der hoehe versetzt angebrachten ccd-kamera und auswertung ueber entsprechende software
US6122042A (en) 1997-02-07 2000-09-19 Wunderman; Irwin Devices and methods for optically identifying characteristics of material objects
DE10342800A1 (de) 2003-09-16 2005-04-28 Fraunhofer Ges Forschung Vorrichtung zur Absorption und/oder Emission von Strahlung, Verfahren zur Herstellung einer solchen Vorrichtung und Verfahren zur Analyse von Fluiden
DE102004032176A1 (de) 2004-07-02 2006-01-26 Robert Bosch Gmbh Beschichteter mikromechanischer Strahler
DE102004032489A1 (de) 2004-07-05 2006-01-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mikrostrukturiertes Bauteil und dessen Verwendung
DE102006044794A1 (de) * 2006-09-14 2008-03-27 Schefenacker Vision Systems Germany Gmbh Fahrzeugbasiertes Lidar-System
LU91464B1 (de) 2008-07-28 2010-01-29 Lion Systems S A Verfahren und vorrichtung zum erhöhen der auflösung einer Kamera
DE102013002683A1 (de) * 2013-02-15 2014-08-21 Volkswagen Aktiengesellschaft Verfahren zur Bestimmung einer Entfernungsinformation und Datenübertragung
US9348029B2 (en) * 2013-03-27 2016-05-24 The Boeing Company Imaging system for wire detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8242428B2 (en) * 2007-12-06 2012-08-14 The United States Of America As Represented By The Secretary Of The Army Method and system for lidar using spatial information from a light source in combination with nonspatial information influenced by the subject to derive an image
CN102736084A (zh) * 2011-04-06 2012-10-17 通用汽车环球科技运作有限责任公司 使用两个调制光源的用于对象检测系统的方法和设备
CN103439295A (zh) * 2013-08-16 2013-12-11 中国科学院上海光学精密机械研究所 全深度频域多普勒光学相干层析成像方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108572369A (zh) * 2017-03-13 2018-09-25 北醒（北京）光子科技有限公司 一种微镜扫描探测装置及探测方法
CN110431441A (zh) * 2017-03-19 2019-11-08 科维塔公司 用于调制的图像捕获的系统和方法
CN110431441B (zh) * 2017-03-19 2023-09-15 科维塔公司 用于调制的图像捕获的系统和方法
CN110832842A (zh) * 2017-07-12 2020-02-21 索尼公司 成像装置和图像产生方法
CN111670336A (zh) * 2018-02-01 2020-09-15 普锐特冶金技术奥地利有限公司 用于识别冶金工业设施中的器具的设备和方法
CN110662162A (zh) * 2018-06-13 2020-01-07 英飞凌科技股份有限公司 用于飞行时间感测和信息传送的双模式光学设备、以及利用其的装置、系统和方法
TWI804850B (zh) * 2020-04-16 2023-06-11 鈺立微電子股份有限公司 多深度資訊之融合方法與融合系統
CN113840105A (zh) * 2020-06-08 2021-12-24 意法半导体(R&D)有限公司 用于dtof传感器的路由

Also Published As

Publication number Publication date
US10091492B2 (en) 2018-10-02
DE102014115310A1 (de) 2016-04-21
US20160112696A1 (en) 2016-04-21
CN105554418B (zh) 2019-06-14

Similar Documents

Publication Publication Date Title
CN105554418A (zh) 成像装置和飞行时间成像方法
US20220128663A1 (en) Methods and apparatus for array based lidar systems with reduced interference
US8803952B2 (en) Plural detector time-of-flight depth mapping
CN102253392B (zh) 飞行时间摄像机单元和光学监视系统
CN111123289B (zh) 一种深度测量装置及测量方法
US8217327B2 (en) Apparatus and method of obtaining depth image
CN202600634U (zh) 用于电子设备的输入设备以及包括该输入设备的电子设备
CN102741651B (zh) 用于飞行时间测距系统的多个同步光源
US10712432B2 (en) Time-of-light-based systems using reduced illumination duty cycles
CN105518485A (zh) 用于驱动飞行时间系统的方法
CN106646510B (zh) 一种基于光子标记的首光子激光成像系统
CN103998949A (zh) 对飞行时间信号处理的改进或与之相关的改进
CN102203551A (zh) 用于提供三维和距离面间判定的方法和系统
US20210333377A1 (en) Methods and systems for increasing the range of time-of-flight systems by unambiguous range toggling
EP3739362A1 (en) Reflectance sensing with time-of-flight cameras
US20210263137A1 (en) Phase noise and methods of correction in multi-frequency mode lidar
CN111323787A (zh) 探测装置及方法
CN110471081A (zh) 基于同步ToF离散点云的3D成像装置及电子设备
CN102401901B (zh) 测距系统及测距方法
EP2781932B1 (en) Distance measurement apparatus
CN112105944A (zh) 具有使用短脉冲和长脉冲的多模式操作的光学测距系统
US10746878B2 (en) Method of measuring distance by using 3D depth sensor including optical shutter
CN111510700A (zh) 图像采集装置
CN103697825B (zh) 一种超分辨3d激光测量系统及方法
CN203687882U (zh) 一种超分辨3d激光测量系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant