CN105432080A - 渡越时间相机系统 - Google Patents

渡越时间相机系统 Download PDF

Info

Publication number
CN105432080A
CN105432080A CN201480040819.9A CN201480040819A CN105432080A CN 105432080 A CN105432080 A CN 105432080A CN 201480040819 A CN201480040819 A CN 201480040819A CN 105432080 A CN105432080 A CN 105432080A
Authority
CN
China
Prior art keywords
tof
camera
cameras
camera system
tof camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480040819.9A
Other languages
English (en)
Other versions
CN105432080B (zh
Inventor
D·范纽温霍夫
J·托洛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sufte kayetti International Co.,Ltd.
Original Assignee
Softkinetic Sensors NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Softkinetic Sensors NV filed Critical Softkinetic Sensors NV
Publication of CN105432080A publication Critical patent/CN105432080A/zh
Application granted granted Critical
Publication of CN105432080B publication Critical patent/CN105432080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Cameras In General (AREA)

Abstract

本发明涉及包括数个相机的TOF相机系统，这些相机中的至少一个相机是TOF相机，其中这些相机被组装在共同的基板上并且同时对相同场景成像，并且其中至少两个相机由不同驱动参数驱动。

Description

渡越时间相机系统
发明领域
本发明涉及渡越时间(TOF)射程成像系统，即TOF相机系统。特别地，本发明的目的是提供高质量的场景3D图像。
发明背景
计算机视觉是包括用于捕获、处理、分析、和理解图像的方法的成长中的研究领域。在该领域中的主要驱动理念是要通过电子感知并理解场景的图像来复制人类视觉系统的能力。值得注意的是，计算机视觉研究中的一个主题是深度感知，或者换句话说是三维(3D)视觉。
对于人类，深度感知源自于所谓的立体景深效应，藉由立体效应，人类大脑将两只眼睛对一场景所捕捉到的两个略微不同的图像进行熔合，并且检取深度信息等。此外，最近的研究显示，识别场景中的对象的能力进一步对深度感知做出了极大贡献。
对于相机系统，深度信息并不易于获取并且要求复杂的方法和系统。当对场景成像时，一个常规的二维(2D)相机系统将场景的每个点与给定的RGB色彩信息相关联。在成像过程的最后，场景的2D色彩图被创建。标准2D相机系统不能够容易地从该色彩图中识别场景中的对象，因为色彩高度地取决于变动的场景照明，也因为其并不固有地包含任何维度信息。新的技术已经被引入来发展计算机视觉，值得注意地其被用于发展3D成像，这尤其使得能够直接捕捉与深度有关的信息以及间接捕获与场景或对象有关的维度信息。3D成像系统最近的发展是令人印象深刻的并且引起了来自工业界、学术界以及消费者社团的不断增长的兴趣。
用来创建3D图像的最常见的技术是基于立体景深效应的。两个相机对同一场景照相，但是它们分隔开一段距离——就像人类的眼睛那样。计算机比较这些图像而同时将这两张图像一起移位到彼此上下相叠来找出匹配和不匹配的部分。所移位的量被称为不一致性。计算机使用图像中的对象得以最佳匹配的不一致性通过额外使用相机传感器几何参数和镜头规范来计算距离信息，即深度图。
图1中解说的渡越时间(TOF)相机系统3表示了另一种更为近期且不同的技术。TOF相机系统3包括具有专用照明单元18和数据处理装置4的相机1。TOF相机系统能够通过分析光从光源18渡越到对象的渡越时间来捕捉场景15的3D图像。此类3D相机系统现在被用于许多应用中，其中在这些应用中要求深度或距离信息测量。标准2D相机系统(诸如红-绿-蓝(RGB)相机系统)是被动技术，即它们使用环境光来捕捉图像且并不基于附加光的发射。相反，TOF相机系统的基本操作原理是使用专用照明单元以预定波长的经调制光16(例如用至少一个预定频率的一些光脉冲)来主动照明场景15。经调制的光被从场景内的对象反射回去。镜头收集反射光17并且将对象的图像形成到成像传感器1上。取决于对象到相机的距离，在经调制光(例如，所谓的光脉冲)的发射与在相机处对那些光脉冲的接收之间经历了延迟。在一个常见的实施例中，反射对象以及相机之间的距离可以被确定为所观察到的时间延迟以及光速常量值的函数。在另一个更为复杂且可靠的实施例中，如在RobertLange的题为“3Dtime-of-flightdistancemeasurementwithcustomsolid-stateimagesensorsinCMOS/CCDtechnology(使用CMOS/CCD技术中的定制固态图像传感器进行的3D渡越时间距离测量)”的博士论文中所介绍的，所发射的参考光脉冲以及所捕捉到的光脉冲之间的多个相位差可以被确定且被用于估计深度信息。
TOF相机系统包括数个元件，其中每个元件具有特异的功能。
1)TOF相机系统的第一组件是照明单元18。当使用脉冲时，每个光脉冲的脉冲宽度决定了相机射程。例如，对于50ns的脉冲宽度，该射程被限定于7.5m。结果，场景照明对TOF相机系统的操作变得至关重要，并且照明单元的高速驱动频率要求使得必需使用专业光源(诸如，发光二极管(LED)或激光)来生成此类短光脉冲。
2)TOF相机系统的另一组件是成像传感器1或称TOF传感器。成像传感器通常包括形成场景图像的像素矩阵阵列。应当理解，像素是指对光电磁辐射敏感的图元及其相关的电子电路系统。像素的输出能够被用于确定光从照明单元到场景中对象以及从该对象反射回成像TOF传感器的渡越时间。可在分开的处理单元中计算渡越时间，该分开的处理单元可耦合到TOF传感器或可直接集成到TOF传感器本身中。已知有各种用于测量光从照明单元行进至对象并从对象回到成像传感器的定时的方法。
3)成像光学器件2和处理电子器件4也在TOF相机系统内提供。成像光学器件被设计成收集来自场景中诸对象的反射光(通常是IR域中)并且滤除与照明单元所发射的光并非处于相同波长的光。在一些实施例中，光学器件可以使得能够捕捉用于TOF原理测量的红外线照明和用于RGB彩色测量的可见照明。这些处理电子器件驱动TOF传感器，从而滤除与照明单元所发射的光频率不同但是波长类似的光(一般为日光)以及还用于其他数个特征等。通过滤除不想要的波长或频率，可有效地抑制背景光。处理电子器件进一步包括针对照明单元和成像传感器二者的驱动器，从而这些组件能够被准确地同步控制来确保执行准确的图像捕捉并且确定场景的可靠深度图。
对构成TOF相机系统的元件的选取是至关重要的。取决于所使用的元件的类型以及性能，TOF相机系统旨在覆盖从几毫米一直到数千米的宽广射程。此类TOF相机系统可以具有从亚厘米到数厘米或者甚至数米的不同距离准确性。可与TOF相机系统联用的诸技术包括带数字计时器的脉冲光源、带相位检测器的射频(RF)调制光源、以及射程选通成像器。
TOF相机系统遭受到数种缺陷。在当前TOF成像器或者TOF传感器中，像素节距通常范围从10μm到100μm不等。由于该技术的新颖性以及TOF像素的架构高度复杂这一事实，难以设计小像素尺寸而同时又维持高效的信噪比(SNR)并且不忘有关以低成本进行大规模生产的要求。这导致了TOF图像传感器相对大的芯片大小。在使用常规光学器件的情况下，图像传感器如此大的大小要求较大且厚的光学堆叠来配合到管芯上。一般而言，不得不在所要求的分辨率与器件的厚度之间寻求某种妥协来使得其能够嵌入到便携式大众消费产品上。
进一步，由TOF相机系统所获得的深度测量可以因为多个原因而被错误地确定。首先，此类系统的分辨率要被改进。大的像素大小要求大的传感器芯片，并且由此该传感器分辨率受到TOF传感器大小的限制。其次，此类系统的深度测量中的准确性仍然需要被改进，因为其高度地依赖于信噪比和调制频率(调制频率决定了深度准确性以及操作深度测量射程)以及其他多个参数等。具体地，深度测量中的不确定性或不准确性可以是因为被称为“深度混叠”的效应，这将会在之后被详细描述。此外，不确定性能够源自于背景中附加光的存在。实际上，TOF相机系统的像素包括光敏元件，该光敏元件接收入射光并将其转换成电信号(例如，电流信号)。在场景的捕捉期间，若背景光在传感器敏感的波长中太强烈，那么像素可能会接收到并非反射自该场景内的对象的附加光，这可能会改动测得的距离。
目前，在TOF成像领域中，有多种选项可用来至少部分地克服该技术可能遭受的主要个体缺陷，诸如，例如，使得能够进行更为稳健且准确的深度测量的改进的调制频率系统、解混叠或者背景光稳健性机制。
仍然要提议技术方案来将这些缺陷一并解决并且附加地改进TOF相机系统的分辨率，而同时又限制完整系统的厚度并且减少视差问题以使得其顺应于大规模生产的便携式设备集成。
发明概要
本发明涉及包括数个相机的TOF相机系统，这些相机中的至少一个相机是TOF相机，其中这些相机被组装在共同的基板上并且同时对相同场景成像，并且其中至少两个相机由不同驱动参数驱动。
通过将该至少一个TOF相机的深度信息至少结合来自用不同参数驱动的另一相机的信息使用，将所有相机信息熔合在一起帮助完善和增强最终图像的质量，并且尤其帮助从所捕捉的场景获取较高质量深度图，因为这些图像是由诸相机同时捕获的。
有利地，这些相机的传感器被制造并组装在共同的基板上，诸如例如基于硅的基板或者晶片上，这降低了TOF相机系统的厚度和大小。该共同的基板还使得能够降低由使用数个相机而导致的视差问题。
优选地，该TOF相机系统还进一步包括具有数个镜头的阵列，该阵列的每个镜头与每个相机相关联。这些镜头帮助将照射的光聚焦到它们各自相关联的相机传感器的感光区域上。
有利地，驱动参数包括用于实现立体景深技术和/或用于实现解混叠算法和/或用于实现背景光稳健机制的参数。解混叠将会在下文中解释。
更有利地，该TOF相机系统的至少两个相机可以在不同积分时间期间对相同场景成像。
更有利地，该TOF相机系统可包括两个TOF相机，这两个TOF相机各自具有对相同场景成像的TOF传感器并且被驱动用于从不同调制频率确定距离信息。
更为优选地，该TOF相机系统进一步可包括用于过滤可见范围内和/或红外线范围中的光的装置。使用此类用于过滤光的装置使得能够调谐光以选取该范围中每个传感器必须对其敏感的波长。
一旦参照附图阅读以下描述，本发明将会被更好地理解。
附图简述
图1解说了TOF相机系统的基本操作原理。
图2解说了多镜头TOF传感器堆叠。
图3解说了用于堆叠(诸如图2中所解说的堆叠)中的标准TOF传感器。
图4解说了用于堆叠(诸如图2中所解说的堆叠)的定制的经优化TOF传感器。
图5解说了使用4个分别的TOF传感器的堆叠(诸如图2中所解说的堆叠)。
图6解说了还使用色彩和红外过滤器的多镜头TOF传感器堆叠。
发明详述
虽然将依照具体实施例并参考特定附图描述本发明，但是本发明不限于此。附图仅是示意性的而非限定性的。在附图中，出于解说性目的，一些元件的大小可能被夸大并且并非被按比例绘制。
如图1所解说的，常规TOF相机系统包括一个TOF传感器1及其相关联的光学装置2(例如，镜头)、关于TOF原理规范的用于为场景15照明的照明单元18、以及至少用于驱动照明单元以及TOF传感器的电子电路系统4。该光通常在红外波长域中并且包括向该场景发射的经周期性调制的脉冲16。TOF传感器及其相关联的光学装置被设计成使得能够捕捉从该场景反射回来的所发射的经调制光。用于确定场景对象与如此形成的的TOF相机系统之间的距离信息的一种选择是要确定在所发射的脉冲化或经调制的光与在TOF传感器处收回的光之间的相位延迟。
为了改进渡越时间图像(即深度图)的质量和分辨率，以及降低TOF相机系统的厚度，本发明涉及包括数个相机的新颖的TOF相机系统，这些相机中的至少一个相机为TOF相机，其中这些相机被组装在共同的支承上并且对相同场景成像，并且其中至少两个相机由不同驱动参数驱动。
相机的意思是指至少包括用于捕捉照射光的电磁辐射的装置的电子设备系统。例如，相机可以至少由传感器设备的一个单体像素表示。相机也可以由传感器设备上的像素群或者由整个传感器设备表示。优选地，从中确定有至少一个相机的传感器设备包括像素矩阵阵列以及用于操作它们的电路系统。该电路系统可以进一步包括用于进一步处理由来自所使用的该至少一个传感器设备的每个像素和/或每个相机所测量的数据的电子装置。本发明还可更一般地涉及包括多个独立相机的TOF相机系统，其中这些独立相机各自具有至少一个传感器设备，并且该至少一个传感器设备中至少有一个传感器设备包括TOF传感器设备。
本发明现在将会针对4相机阵列的对称配置进行解释。在此时值得注意的是，本发明的诸方面既不被限定于各自与至少一个镜头相关联的四个相机，也不被限定于所使用的示例中所示的对称性。本领域技术人员能够容易地将所描述的原理外推至更少或者更多的镜头和相机(例如，与至少一个传感器相关联的两个镜头，在其上定义了两个相机)和/或不同配置的视点。
当设计包括数个相机(这些相机中的至少一个相机是TOF相机)的TOF相机系统时，有数个配置是可能用来布置这些相机的。
在图2中，第一配置被示为在支承(图像传感器平面100)顶上有4个镜头A、B、C、D(101-104)。每个镜头使得来自被成像的场景的照射光被聚焦到该图像传感器平面的每个个体相机上。例如，在每个镜头将捕捉的光聚焦到TOF图像传感器上所定义的每个相机上的一个实施例中。该四个个体图像的熔合可以提供更高分辨率的图像，且其厚度低于较大的高分辨率单体相机TOF传感器系统。
在图3到图5中，示出了支承(即，图像传感器平面100)、四个相机107以及它们相关联的电路系统110。显示了该支承内的图像传感器电路系统的数个可能的配置。
1)图3中所解说的第一配置是最直接的。使用了一个单体TOF图像传感器设备，其覆盖了由四个镜头101-104构建或限界的四个成像区域107(即，相机)。在这种情形中，图像传感器电路系统110(包括各种模拟和/或数字块(信号调理、模数转换、滤波、图像传感器处理……))被示为在图像传感器的侧边上并且所有的TOF像素被分组。本办法的益处在于现有的TOF图像传感器设备能够被用于该原理。本办法的一个缺点在于，诸区域107之间的许多TOF像素并不在光学器件101-104的图像平面中并且因此是无用的。本办法的另一缺点在于，此类系统将会遭受到有限的分辨率，因为高效TOF传感器设备本质上对于给定大小而言分辨率是受限制的。本办法的另一个缺点在于，其仅从该场景提供基于TOF原理的信息，即深度图以及照明或置信度灰阶图。
2)图4中示出了第二个可能的配置，其中数个相机被组装在共同的支承上(例如，设计在相同硅基板上)。在该配置中，每个相机也由其自身的镜头覆盖。只有位于由光学器件所限界的区域中的那些相机生成图像。以此方式，图像传感器电路系统能够被分配在诸区域107之间的自由空间中。在图4中，诸区域107之间的自由空间能够被视作矩形带，从而形成“交叉”，并且其中用于操作相机的电子电路系统能够被设置从而节省硅，并且使得如此形成的传感器系统的大小最小化。如图4中所示，所获得的图像传感器系统在大小上小于来自图2的图像传感器系统。该第二配置优化了成本以及板空间。应注意到，显然，填充诸相机之间可用的自由基板空间的电子电路系统可以用其他比交叉次优的形式来设计，例如，以条形的形状。
3)图5中示出了第三可能的配置，其中四个相机(由四个个体TOF图像传感器形成)位于图2的四个镜头101-104之下，并且一起形成了一个单体支承。在该配置中，每个TOF传感器由其本身的镜头覆盖，并且由其本身的电路系统支配。用这种办法，要求有四个个体相机校准和搭载对准步骤。
根据本发明的第一实施例，该TOF相机系统包括数个相机，这些相机中的至少一个相机是TOF相机，其中这些相机被组装在共同的基板上并且同时对相同场景成像，并且其中至少两个相机由不同驱动参数驱动。
共同的基板应当被理解成相机在共同基础上被制造，即，提供这些相机能够被直接制造在其上的表面的基底材料，例如晶片，诸如微电子领域中所常用的晶片等。例如，该基板能够是基于硅的，并且该多个相机能够由此硅制成。
这些相机同时对相同场景成像这一事实的意思是这些相机同时而并非顺序地被曝露于来自该场景的光，从而获取改进的测量，该测量演示出例如从使用某些确定的参数的一个相机捕捉到用某些其他参数所确定的至少另一个其他相机捕捉间没有与移动有关的伪象。
TOF相机系统可以根据以上所披露的配置来设计。优选地，TOF相机系统可以根据图4中所显示的配置来设计，其中这些相机被组装在共同的基板上。该基板可以是基于硅的，但是本发明并不限定于此。
这些相机被组装在共同的基板上并且对相同场景成像、并且至少由两个相机由不同的驱动参数同时驱动这一事实尤其使得能够同时从相同场景获取不同类型的信息，该信息例如是色彩、照明或者深度图信息中的至少一者。优选地，该信息可以是所确定的分辨率的多种深度图，并且可选地是优选为较高分辨率的彩色图像。
包含在每个单一图像中的不同信息的熔合(即，根据TOF原理所获得的至少一个深度图与至少包含深度信息或者色彩信息的至少另一个图像的熔合)使得能够计算具有改进的质量的一个单一的最终图像。“熔合”应当被理解成组合与诸个体图像有关的信息以生成至少演示出对每个单体像素有较高质量深度测量或者较高分辨率的改进的和/或完善的图像或“超级图像”。
通过使用TOF相机系统，就有可能将诸个体图像熔合成一个“超级图像”，例如熔合4个个体图像。在优选的实施例中，熔合所得的所谓的“超级图像”的分辨率和深度图准确性信息两者相比于从每个单一个体图像生成的个体信息均得到了改进。
在一个实施例中，镜头阵列的至少一个镜头或者TOF系统的至少一个相机可以在以下几点中不同于其他镜头或相机：镜头可以递送不同焦距的图像，并且相机可以具有不同的大小和/或不同的分辨率。例如，包括两个TOF相机和两个彩色相机的TOF相机系统可以具有与这些TOF相机(相应的TOF传感器)尺寸和分辨率不同的彩色相机(相应的色彩传感器)。与TOF相机相关联的镜头可以进一步与那些与彩色相机相关联的镜头具有不同的焦距。在TOF相机和彩色相机所观察到的场景是相同的情况下，与每种相机相关联的参数(即，分辨率、镜头焦距、传感器大小)可以导致每种相机捕捉到不同图像。例如，由立体视觉原理从彩色图像估计的深度图可以表示出与由至少一个TOF相机所获得的深度图所成像的场景的略微不同的视。
可以在TOF相机系统中实现的驱动参数在下文中所呈现但是不限于下文中的呈现。
在一个实施例中，至少有两个相机可以由用于实现立体景深技术的参数驱动。立体景深是指用于通过双眼视觉的手段来创建或增强图像中的深度的幻觉的技术。在该技术中，由于头上眼睛的不同位置，场景的双眼视觉在两个眼睛中创建了该场景的两个略微不同的图像。这些不同提供了能够被大脑用来计算视觉场景中的深度的信息，从而提供了深度知觉。在一个实施例中，基于本发明的至少两个视点的组合，被动立体景深计算可以次于渡越时间深度计算被使用。该计算可以十分粗略，来识别或解决解混叠。优选地，可以使用相隔最远的区域107(即，最远的相机)。进一步优选的，在四个像素的情形中，对角线区域可以被用来实现那些驱动参数。
在一个派生的实施例中，至少有两个相同分辨率的彩色相机可以被用来提供去往基于立体景深原理的深度测量的输入，使用该输入，源自该至少一个TOF相机的深度图可以被熔合。
在本发明的使用立体景深技术的另一派生的实施例中，至少两个TOF相机各自被以不同参数驱动，用于提供相同场景的具有不同固有测量质量的两个深度图。那些深度图被熔合到一起用于提供质量比两个原始个体深度图中的任一者都高的深度图。TOF相机系统可以进一步使用由两个TOF相机所固有地提供的两个个体IR照明或置信度图，从而实现从立体生成深度图的立体景深技术，其可以被用于熔合或完善来自TOF相机的这两个深度图中的至少一个，或者通过它们的熔合生成的深度图。此类实施例可以尤其涉及例如获得预定的光脉冲频率或照明功率所不允许获得的额外的距离测量射程。
在其中至少一个传感器是用于针对TOF原理操作的TOF传感器的一个特定实施例中，至少两个其他传感器可以是使用不同参数操作的RGB传感器，其具有较高的分辨率并且被用于从立体视觉原理确定深度图。该基于立体视觉的高分辨率深度图可以用于与获取自该至少一个TOF传感器的TOF原理的较低分辨率深度图熔合。遭受到孔洞和与TOF原理深度测量相比最低的深度估计的基于立体视觉的深度图、在TOF相机处获得的深度图可以用于完善由立体视觉原理获得的较高分辨率但是不完整的深度图。优选地，该熔合可以在TOF相机系统的电路系统内操作，并且最终的改善的深度图也可以包括源自立体视觉捕捉的色彩信息。该改进的最终图像具有类似于高度解析传感器的分辨率，但是也可以使用本领域现有技术中的内插计算手段而具有更低或更高的分辨率。
根据另一实施例，可以在TOF相机系统的相机上(特别是在TOF相机系统的TOF相机上)实现的另一驱动参数是当从场景照射回每个个体TOF相机上时，应用到所发射的脉冲化照明的不同频率及其经同步的捕捉的使用。该用于不同地驱动相机的特定实施例旨在将深度测量解混叠原理应用在TOF测量上。在信号处理及相关的学科中，混叠是指使得不同信号当被采样时变得难以区分的效应。时间混叠是当样本在时间上变得不可区分。当正被周期性采样的信号也具有周期性内容时可能发生时间混叠。在TOF原理操作的系统中，在给定调制频率处，深度混叠导致了离具有预定操作射程的TOF相机系统不同距离的对象测量到的距离被记录为相同距离的多义性。例如，若足够的经调制的光反射回相机上，那么具有从一米到五米的操作射程的使用单一调制频率操作的TOF相机系统使得距离相机系统六米处的任何对象被测量成在一米处(周期性行为)。
在一个实施例中，TOF相机系统的至少一个TOF相机可以由此类解混叠原理驱动，并且更具体地，由相关解混叠算法或方法驱动。该至少一个TOF相机可被操作并驱动以用于根据TOF原理使用至少两个不同频率来测量距离信息，并且该TOF相机所获取的距离测量可以根据解混叠原理而被解混叠。深度图形式的这些距离测量可以随后与来自TOF相机系统的其他相机的测得信息熔合，所述的其他相机可以用不同参数驱动。例如，其他信息可以是源自立体视觉原理或者源自TOF原理的较高或较低分辨率深度图、和/或彩色图像中的至少一者。
在进一步优选的实施例中，不同解混叠技术可被实现用于不同相机(即，区域107)，从而产生甚至更为稳健的解混叠益处，因为每个相机提供不同的经解混叠深度测量。另一示例是包括用不同参数操作的至少两个TOF相机的TOF相机系统，所述不同参数是它们的相应捕捉被同步到的调制频率。至少两个不同频率能够被用来驱动TOF相机。该经调制的照明光可以包括至少两个预定频率：一个为参考频率并且进一步的频率例如为该参考频率的三分之一。TOF相机系统的一个第一TOF相机可以与此低至为三分之一的调制频率同步地被驱动，而该TOF相机系统的另一TOF相机可以与参考频率同步地被驱动。以此方式，该TOF相机系统的这两个TOF相机可以在相同时间内捕获具有不同的无歧义距离射程的深度混叠测量，那些深度测量可以被进一步组合用于提供一个单一解混叠深度图。若有需要，该原理能够被重复，由此产生至完整TOF相机系统的非常高的无歧义距离。
在包括根据TOF原理操作的至少一个TOF相机的一个派生实施例中，如此生成的经解混叠深度图可以进一步与来自至少一个其他相机的其他测量融合，所述其他测量是源自TOF原理或立体视觉原理的另一相同分辨率深度图、相同分辨率彩色图、源自TOF原理或立体视觉原理的较高分辨率深度图、较高分辨率彩色图中的至少一者。
应当注意，当使用多个频率时(即，至少两个)，为了在基于TOF的深度测量上操作解混叠原理，第二频率越高，第二深度测量的准确性就越高。另外，若包括至少一个TOF相机的TOF相机系统是根据解混叠原理来操作的，并且优选地，若两个TOF相机各自用至少一个频率操作，那么深度测量的熔合可以导致更为准确的深度图。若附加地，使用另一驱动参数操作的至少一个相机是具有较高分辨率的，那么最终的图像会包括更高的分辨率、更高的准确度、以及经解混叠的深度测量。更为优选的，相机系统可以进一步包括用于捕捉色彩信息的装置，那些装置的特征在于至少一个相机捕捉色彩信息。更为优选的，TOF相机系统的至少一个相机是RGBZ相机，诸如RGBZ传感器。TOF相机系统能够由此包括至少三个相机，其中至少两个相机是TOF相机，并且该至少两个TOF相机由不同驱动参数驱动(诸如但不限于频率)，而在同时对相同场景成像。
在一个进一步的实施例中，不同背景光稳健性机制可以在相机上实现。经常地，通过改进背景光稳健性，噪声或像素节距能够被改善。在诸不同区域107上(即，在诸相机上)使用背景光稳健性机制可以带来强大的优势。在一个实施例中，该系统的至少一个相机可以由背景光稳健性机制驱动。这可以为在高背景光的情形中仅需要一个区域107的分辨率的应用带来优点。
在一个进一步的实施例中，TOF相机系统的至少两个相机可以用两个不 同的积分时间驱动。实际上，非常短的积分时间产生了高移动稳健性，但是也产生了深度上的高标准偏差，在本文件中被称为深度噪声。因此，区域107可以被优化用于短积分时间，而另一区域107可以被优化用于噪声性能。当熔合图像，特别是它们相关联的信息时，这两个配置的优点都可被获得并使用。有利地，由于TOF相机由短积分时间驱动，该实施例使得每个被熔合的像素能获取有关快速移动对象的可靠信息，而从由较长积分时间驱动的其他相机继承低噪声信息。在派生的实施例中，其他相机可以包括用较长积分时间驱动的至少另一个TOF相机。在另一个实施例中，其他相机可至少包括用较长积分时间驱动的另一个TOF相机、以及至少一个彩色相机。
为了进行对不同信息的可靠熔合，在电路系统中，或者在伴随芯片中，或者在单独的处理单元上，过程将被实现从而将各自与坐标系相关联的不同的信息集转换成一个具有单一共同预定坐标系的单一数据集。优选地，该共同预定坐标系将会是其中一个相机的x-y平面(例如，由水平轴和垂直轴定义的平面)，例如，高度解析相机的x-y平面。来自另一相机的数据(例如彩色图像、深度图测量或者TOF置信度图的灰阶图像)被使用配准来投影到与共同的预定坐标系相关联的图像中。特别地，这里，图像配准涉及在空间上将目标图像(例如，获取自TOF测量的低分辨率高准确性深度图)配准以与参考图像(例如，获取自立体视觉并且包括彩色信息的高分辨率低准确性深度图)对准。数种图像配准方法可以被使用，诸如基于强度的或基于特征的方法。基于强度的方法可以经由相关(correlation)度量来尤其比较图像中的强度图案，而基于特征的方法大多尝试寻找图像特征(诸如点、线、轮廓以及深度)之间的匹配或对应。基于强度的方法的目标在于配准整个图像或子图像。若子图像被配准，对应子图像的中心被视为对应特征点。基于特征的方法建立了图像中预定数目的特异点之间的对应。知晓了图像中数个点之间的对应关系之后，确定变换以将目标图像映射到参考图像，藉此建立参考和目标图像之间的点对点的对应关系。该后面的配准过程可以进一步包括内插技术，因为图像可以是不同分辨率的。
在本发明的一个优选的实施例中，当使用多个TOF相机时或者至少当TOF相机系统包括至少一个提供深度信息的相机时，使用图像配准，该深度信息可以被用于促进图像的熔合。一阶独立于视点角度和/或光条件地，深度是场景的唯一性特性。因此，对于执行任何对准、任何图案识别或者熔合图像时所需的任何其他手段而言，这是非常稳定的度量。
在一个优选的实施例中，其中至少一个相机能够被更为彻底地校准，从而允许其他相机继承该校准。在渡越时间成像中，要求有彻底的校准步骤，诸如绝对距离校准、温度、变形、多径解析等等。由于能够被应用以计算该校准的更少像素与更高数学，仅校准一个相机节省了时间，其他相机能够随后得益于并继承经校准的视点以纠正距离误差和/或非线性。该校准可以在生产时间执行，但是也可以在运行时间执行，例如通过在以上所提到的包括四个TOF相机的TOF相机系统之一中，将这四个视点/相机中的至少一个的维度确定为稳定得多的成像器，从而其可以被用作用于校准的参考。
根据本发明的进一步的实施例，TOF相机系统可以进一步包括用于在可见范围内和/或红外中过滤光的装置。如图6中所示，色彩过滤器可以实现在相机的之上。在该附图中，R、G、B和IR区分别表示红、绿、蓝以及红外通过过滤器。这允许将RGB和深度数据组合在一个图像中，从而允许组合了所有这些属性的熔合或改进的图像。然而，包括至少一个TOF相机以及用不同参数所驱动的至少另一个相机的TOF相机系统的特征可在于，至少一个相机是RGBZ相机。RGBZ相机是包括数个像素的相机，其特征在于，所述像素的感测区域收集红、绿、蓝之中的至少一个颜色(优选地，是三个RGB颜色)，并且附加地捕捉红外照明，从红外照明可以处理关于例如TOF原理的深度(Z)信息。
在另一个进一步的实施例中，TOF相机系统的至少一个相机的像素可以进一步包括量子点薄膜。量子点是半导体材料的纳米粒子，直径范围从2nm到10nm。由于其小的尺寸，量子点演示了唯一性光学及电气性质；即，它们的性质在特性上与对应的块体材料是不同的。主要的明显的性质为在激励下的光子发射(荧光)，其作为光可对于人眼可见，或者若在红外域中发射则不可见。所发射的光子的波长并不仅取决于制成该量子点的材料，而且也取决于该量子点的大小。精确地控制量子点的大小的能力使得制造商能够确定发射的波长，即确定光输出的波长。量子点能够因此在生产期间被“调谐”以发射任何所期望的波长。通过改变其核心大小来控制或“调谐”从量子点进行的发射的能力被称为“尺寸量子化效应”。点越小，其越接近于光谱中的蓝端，并且点越大，其越接近于红端。通过使用某些特定材料，量子点甚至能够被调谐成超过可见光，进入红外或者进入紫外范围。
作为色彩过滤器，量子点薄膜可以被设计用于重新发射在传感器更为敏感的范围中的波长。优选地，量子点薄膜的发射波长可以接近于传感器的最大灵敏性，以使得能够进行较低噪声的测量。

Claims (14)

1.一种TOF相机系统(3)，包括数个相机(1,107)，至少一个所述相机是TOF相机，其中所述相机被组装在共同的基板(100)上并且同时对相同场景(15)成像，并且其中至少两个相机由不同驱动参数驱动。
2.如权利要求1所述的TOF相机系统(3)，其特征在于，所述驱动参数包括用于实现解混叠算法的至少两个不同频率。
3.如权利要求1或2所述的TOF相机系统(3)，其特征在于，进一步包括镜头(101-104)的阵列，所述阵列中的每个镜头与每个所述相机相关联。
4.如权利要求1至3中任一者所述的TOF相机系统(3)，其特征在于，所述驱动参数包括用于实现立体景深技术的参数。
5.如权利要求1至4中任一者所述的TOF相机系统(3)，其特征在于，所述驱动参数包括用于实现背景光稳健性机制的参数。
6.如权利要求1至5中任一项所述的TOF相机系统(3)，其特征在于，至少有两个相机在不同积分时间期间对所述相同场景成像。
7.如权利要求1至6中任一项所述的TOF相机系统(3)，其特征在于，进一步包括用于将所述相机提供的图像配准在一起的图像配准装置。
8.如权利要求1到7中的任一项所述的TOF相机系统(3)，其特征在于，进一步包括用于在运行时间校准至少一个相机的装置。
9.如权利要求8所述的TOF相机系统(3)，其特征在于，经校准的相机中的至少一者被用作用于校准所述其他相机的参考。
10.如权利要求1至9中的任一项所述的TOF相机系统(3)，其特征在于，对所述场景成像的所述相机提供色彩、照明或深度信息中的至少一者。
11.如权利要求1至10中的任一者所述的TOF相机系统(3)，其特征在于，进一步包括用于将所述相机所提供的信息以改进的图像的形式熔合或组合在一起的装置，所述改进的图像的特征在于其包括较高分辨率或者较高深度测量准确性中的至少一者的事实。
12.如权利要求1至11中任一者所述的TOF相机系统(3)，其特征在于，进一步包括用于过滤可见范围中和/或红外线范围中的光的装置。
13.如权利要求1所述的TOF相机系统(3)，其特征在于，所述基板是基于硅的。
14.如权利要求1至13中的任一项所述的TOF相机系统(3)，其特征在于，包括至少三个相机(1,107)，至少两个所述相机是TOF相机，所述至少两个TOF相机由不同驱动参数驱动而同时对相同场景(15)成像。
CN201480040819.9A 2013-12-24 2014-12-24 渡越时间相机系统 Active CN105432080B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13199564.9 2013-12-24
EP13199564.9A EP2890125B1 (en) 2013-12-24 2013-12-24 A time-of-flight camera system
PCT/EP2014/079304 WO2015097284A1 (en) 2013-12-24 2014-12-24 A time-of-flight camera system

Publications (2)

Publication Number Publication Date
CN105432080A true CN105432080A (zh) 2016-03-23
CN105432080B CN105432080B (zh) 2019-07-26

Family

ID=49918467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480040819.9A Active CN105432080B (zh) 2013-12-24 2014-12-24 渡越时间相机系统

Country Status (7)

Country Link
US (5) US10397552B2 (zh)
EP (2) EP4016981A3 (zh)
JP (1) JP6480441B2 (zh)
KR (1) KR20160045670A (zh)
CN (1) CN105432080B (zh)
BE (1) BE1022488B1 (zh)
WO (1) WO2015097284A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108572371A (zh) * 2017-03-13 2018-09-25 欧司朗股份有限公司 Tof相机、机动车、制造相机的方法和确定间距的方法
CN109238163A (zh) * 2018-08-22 2019-01-18 Oppo广东移动通信有限公司 飞行时间模组及其控制方法、控制器和电子装置
WO2020186519A1 (zh) * 2019-03-21 2020-09-24 京东方科技集团股份有限公司 显示装置、电子设备及显示装置的驱动方法
TWI799749B (zh) * 2020-10-23 2023-04-21 大陸商光寶電子（廣州）有限公司 深度圖像的處理方法

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
EP4016981A3 (en) 2013-12-24 2022-09-21 Sony Depthsensing Solutions A time-of-flight camera system
KR101582726B1 (ko) * 2013-12-27 2016-01-06 재단법인대구경북과학기술원 스테레오 타입의 거리 인식 장치 및 방법
US9581696B2 (en) * 2014-12-22 2017-02-28 Google Inc. Image sensor and light source driver integrated in a same semiconductor package
US20160205378A1 (en) * 2015-01-08 2016-07-14 Amir Nevet Multimode depth imaging
WO2017022152A1 (ja) * 2015-07-31 2017-02-09 パナソニックＩｐマネジメント株式会社 測距撮像装置、及び、固体撮像装置
WO2017025885A1 (en) * 2015-08-07 2017-02-16 King Abdullah University Of Science And Technology Doppler time-of-flight imaging
US10021284B2 (en) 2015-08-27 2018-07-10 Samsung Electronics Co., Ltd. Epipolar plane single-pulse indirect TOF imaging for automotives
US9880267B2 (en) * 2015-09-04 2018-01-30 Microvision, Inc. Hybrid data acquisition in scanned beam display
CN106612387B (zh) * 2015-10-15 2019-05-21 杭州海康威视数字技术股份有限公司 一种组合深度图获得方法及深度相机
US10151838B2 (en) 2015-11-24 2018-12-11 Microsoft Technology Licensing, Llc Imaging sensor with shared pixel readout circuitry
CN108291961B (zh) * 2015-12-08 2022-06-28 松下知识产权经营株式会社 固体摄像装置、距离测定装置及距离测定方法
US10229502B2 (en) 2016-02-03 2019-03-12 Microsoft Technology Licensing, Llc Temporal time-of-flight
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
US10917627B2 (en) * 2016-06-03 2021-02-09 Utku Buyuksahin System and a method for capturing and generating 3D image
US11102467B2 (en) 2016-08-25 2021-08-24 Facebook Technologies, Llc Array detector for depth mapping
US10962647B2 (en) 2016-11-30 2021-03-30 Yujin Robot Co., Ltd. Lidar apparatus based on time of flight and moving object
US10810753B2 (en) * 2017-02-27 2020-10-20 Microsoft Technology Licensing, Llc Single-frequency time-of-flight depth computation using stereoscopic disambiguation
WO2019039733A1 (ko) * 2017-08-21 2019-02-28 (주)유진로봇 카메라와 라이다를 이용한 융합 센서 및 이동체
US11579298B2 (en) 2017-09-20 2023-02-14 Yujin Robot Co., Ltd. Hybrid sensor and compact Lidar sensor
EP3483092B1 (en) * 2017-11-13 2023-03-22 Dennis Eagle Ltd. Garbage truck
US11327162B1 (en) * 2017-11-20 2022-05-10 Waymo Llc Methods of calibrating or validating sensors by using a plurality of fiducials
DE102017128369A1 (de) 2017-11-30 2019-06-06 Infineon Technologies Ag Vorrichtung und verfahren zum lokalisieren eines ersten bauelements, lokalisierungsvorrichtung und verfahren zur lokalisierung
US10942274B2 (en) 2018-04-11 2021-03-09 Microsoft Technology Licensing, Llc Time of flight and picture camera
EP3794374A1 (en) * 2018-05-14 2021-03-24 ams International AG Using time-of-flight techniques for stereoscopic image processing
US11874399B2 (en) 2018-05-16 2024-01-16 Yujin Robot Co., Ltd. 3D scanning LIDAR sensor
US11609313B2 (en) * 2018-07-31 2023-03-21 Waymo Llc Hybrid time-of-flight and imager module
DK3844948T3 (da) * 2018-08-30 2024-01-29 Veo Robotics Inc Computervisionssystem med dybdedetektering
WO2020045770A1 (en) * 2018-08-31 2020-03-05 Samsung Electronics Co., Ltd. Method and device for obtaining 3d images
KR102606824B1 (ko) 2018-12-14 2023-11-27 삼성전자주식회사 멀티 카메라를 포함하는 장치 및 이의 이미지 처리방법
US10876889B2 (en) * 2019-02-12 2020-12-29 Viavi Solutions Inc. Sensor device and method of use
WO2020192209A1 (zh) * 2019-03-25 2020-10-01 华为技术有限公司 一种基于Dual Camera+TOF的大光圈虚化方法
US20220183589A1 (en) * 2019-03-28 2022-06-16 Rensselaer Polytechnic Institute Patient monitoring system
US11514594B2 (en) 2019-10-30 2022-11-29 Vergence Automation, Inc. Composite imaging systems using a focal plane array with in-pixel analog storage elements
EP3855162A1 (en) 2020-01-21 2021-07-28 Omya International AG Lwir imaging system for detecting an amorphous and/or crystalline structure of phosphate and/or sulphate salts on the surface of a substrate or within a substrate and use of the lwir imaging system
JP2021117036A (ja) * 2020-01-23 2021-08-10 株式会社日立エルジーデータストレージ 測距装置の測定値補正方法
US11743616B2 (en) 2020-04-27 2023-08-29 Semiconductor Components Industries, Llc Imaging system with time-of-flight sensing
CN112561874A (zh) * 2020-12-11 2021-03-26 杭州海康威视数字技术股份有限公司 一种遮挡物检测方法、装置及监控摄像机
US20240019361A1 (en) 2020-12-23 2024-01-18 Omya International Ag Method and apparatus for detecting an amorphous and/or crystalline structure of phosphate and/or sulphate salts on the surface of a substrate or within a substrate
KR102354158B1 (ko) 2021-01-14 2022-01-21 박천수 다중위상 상관벡터합성 거리측정방법 및 장치
EP4285313A1 (en) * 2021-01-29 2023-12-06 Kevin Fialko Three-dimensional modelling from photographs in series
US11941787B2 (en) * 2021-08-23 2024-03-26 Microsoft Technology Licensing, Llc Denoising depth data of low-signal pixels
US20230134806A1 (en) * 2021-10-29 2023-05-04 Microsoft Technology Licensing, Llc Denoising depth image data using neural networks

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1439145A (zh) * 2000-04-27 2003-08-27 物理光学公司 实时光电图像处理器
CN101094320A (zh) * 2006-06-19 2007-12-26 三星电机株式会社 照相机模块
CN101321302A (zh) * 2008-07-08 2008-12-10 浙江大学 基于摄像机阵列的三维实时获取系统
US20100322477A1 (en) * 2009-06-04 2010-12-23 Peter Schmitt Device and method for detecting a plant
US20120098935A1 (en) * 2010-10-21 2012-04-26 Sony Corporation 3d time-of-flight camera and method
CN102461186A (zh) * 2009-06-25 2012-05-16 皇家飞利浦电子股份有限公司 立体图像捕获方法、系统和摄像机
US20120249744A1 (en) * 2011-04-04 2012-10-04 Primesense Ltd. Multi-Zone Imaging Sensor and Lens Array

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3175317B2 (ja) * 1992-05-07 2001-06-11 ソニー株式会社 距離測定装置
JP3631325B2 (ja) * 1996-06-19 2005-03-23 オリンパス株式会社 ３次元画像入力装置
EP1040366B1 (de) 1997-12-23 2003-10-08 Siemens Aktiengesellschaft Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes
AU2001218821A1 (en) * 2000-12-14 2002-06-24 3Dv Systems Ltd. 3d camera
US7994465B1 (en) * 2006-02-06 2011-08-09 Microsoft Corporation Methods and devices for improved charge management for three-dimensional and color sensing
JP4802891B2 (ja) * 2006-06-27 2011-10-26 トヨタ自動車株式会社 距離測定システム及び距離測定方法
US7791715B1 (en) * 2006-10-02 2010-09-07 Canesta, Inc. Method and system for lossless dealiasing in time-of-flight (TOF) systems
JP4452951B2 (ja) * 2006-11-02 2010-04-21 富士フイルム株式会社 距離画像生成方法及びその装置
JP2008164367A (ja) 2006-12-27 2008-07-17 Matsushita Electric Ind Co Ltd 固体撮像装置、カメラ、車両及び監視装置
JP2008286527A (ja) 2007-05-15 2008-11-27 Panasonic Corp 複眼測距装置
JP2009047497A (ja) 2007-08-17 2009-03-05 Fujifilm Corp 立体撮像装置および立体撮像装置の制御方法並びにプログラム
US8629976B2 (en) 2007-10-02 2014-01-14 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems
JP2009139995A (ja) * 2007-12-03 2009-06-25 National Institute Of Information & Communication Technology ステレオ画像対における画素のリアルタイムマッチングのための装置及びプログラム
US8203699B2 (en) * 2008-06-30 2012-06-19 Microsoft Corporation System architecture design for time-of-flight system having reduced differential pixel size, and time-of-flight systems so designed
KR101483462B1 (ko) * 2008-08-27 2015-01-16 삼성전자주식회사 깊이 영상 획득 장치 및 방법
US8803967B2 (en) * 2009-07-31 2014-08-12 Mesa Imaging Ag Time of flight camera with rectangular field of illumination
US8648702B2 (en) * 2010-08-20 2014-02-11 Denso International America, Inc. Combined time-of-flight and image sensor systems
KR20120056668A (ko) 2010-11-25 2012-06-04 한국전자통신연구원 3차원 정보 복원 장치 및 그 방법
EP2487504A1 (en) * 2011-02-10 2012-08-15 Technische Universität München Method of enhanced depth image acquisition
US9689667B2 (en) * 2011-03-17 2017-06-27 Universitat Politecnica De Catalunya System, method and computer program for receiving a light beam
CN103477186B (zh) 2011-04-07 2016-01-27 松下知识产权经营株式会社 立体摄像装置
US9720089B2 (en) * 2012-01-23 2017-08-01 Microsoft Technology Licensing, Llc 3D zoom imager
RU2012154657A (ru) * 2012-12-17 2014-06-27 ЭлЭсАй Корпорейшн Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной
US9329272B2 (en) * 2013-05-02 2016-05-03 Infineon Technologies Ag 3D camera and method of image processing 3D images
US9770603B2 (en) 2013-06-13 2017-09-26 Koninklijke Philips N.V. Detector for radiotherapy treatment guidance and verification
US9609859B2 (en) * 2013-09-13 2017-04-04 Palo Alto Research Center Incorporated Unwanted plant removal system having a stabilization system
EP4016981A3 (en) 2013-12-24 2022-09-21 Sony Depthsensing Solutions A time-of-flight camera system
KR102251483B1 (ko) * 2014-10-23 2021-05-14 삼성전자주식회사 영상을 처리하는 전자 장치 및 방법
US10836379B2 (en) * 2018-03-23 2020-11-17 Sf Motors, Inc. Multi-network-based path generation for vehicle parking

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1439145A (zh) * 2000-04-27 2003-08-27 物理光学公司 实时光电图像处理器
CN101094320A (zh) * 2006-06-19 2007-12-26 三星电机株式会社 照相机模块
CN101321302A (zh) * 2008-07-08 2008-12-10 浙江大学 基于摄像机阵列的三维实时获取系统
US20100322477A1 (en) * 2009-06-04 2010-12-23 Peter Schmitt Device and method for detecting a plant
CN102461186A (zh) * 2009-06-25 2012-05-16 皇家飞利浦电子股份有限公司 立体图像捕获方法、系统和摄像机
US20120098935A1 (en) * 2010-10-21 2012-04-26 Sony Corporation 3d time-of-flight camera and method
US20120249744A1 (en) * 2011-04-04 2012-10-04 Primesense Ltd. Multi-Zone Imaging Sensor and Lens Array

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108572371A (zh) * 2017-03-13 2018-09-25 欧司朗股份有限公司 Tof相机、机动车、制造相机的方法和确定间距的方法
CN108572371B (zh) * 2017-03-13 2024-03-22 欧司朗股份有限公司 Tof相机、机动车、制造相机的方法和确定间距的方法
CN109238163A (zh) * 2018-08-22 2019-01-18 Oppo广东移动通信有限公司 飞行时间模组及其控制方法、控制器和电子装置
WO2020186519A1 (zh) * 2019-03-21 2020-09-24 京东方科技集团股份有限公司 显示装置、电子设备及显示装置的驱动方法
TWI799749B (zh) * 2020-10-23 2023-04-21 大陸商光寶電子（廣州）有限公司 深度圖像的處理方法

Also Published As

Publication number Publication date
EP4016981A3 (en) 2022-09-21
US20200236342A1 (en) 2020-07-23
US10638118B2 (en) 2020-04-28
US11172186B2 (en) 2021-11-09
WO2015097284A1 (en) 2015-07-02
JP6480441B2 (ja) 2019-03-13
CN105432080B (zh) 2019-07-26
US10397552B2 (en) 2019-08-27
EP2890125B1 (en) 2021-10-13
US11863734B2 (en) 2024-01-02
US20160295193A1 (en) 2016-10-06
KR20160045670A (ko) 2016-04-27
JP2016529491A (ja) 2016-09-23
US20240146895A1 (en) 2024-05-02
EP2890125A1 (en) 2015-07-01
US20200007850A1 (en) 2020-01-02
US20220070436A1 (en) 2022-03-03
EP4016981A2 (en) 2022-06-22
BE1022488B1 (fr) 2016-05-04

Similar Documents

Publication Publication Date Title
CN105432080A (zh) 渡越时间相机系统
US9998730B2 (en) Imaging optical system and 3D image acquisition apparatus including the imaging optical system
JP2023022237A (ja) 色によるパノラマｌｉｄａｒ結果の増強
KR101951318B1 (ko) 컬러 영상과 깊이 영상을 동시에 얻을 수 있는 3차원 영상 획득 장치 및 3차원 영상 획득 방법
CN102685402B (zh) 对距离改变不敏感的颜色传感器
US11914078B2 (en) Calibration of a depth sensing array using color image data
CN110135232A (zh) 用于增强深度传感器装置的系统和方法
US20120314039A1 (en) 3d image acquisition apparatus employing interchangable lens
CN107783353A (zh) 用于捕捉立体影像的装置及系统
EP4047386A1 (en) Depth detection apparatus and electronic device
CN103486979A (zh) 混合系统
CN110139004A (zh) 用于增强光学传感器装置的系统和方法
CN110322561A (zh) 用于机器人无序分拣的3d相机及其测量方法
CN112655022B (zh) 图像处理装置和图像处理方法
CN112213730B (zh) 三维测距方法和装置
JP2017133931A (ja) 画像生成装置、ならびに距離画像およびカラー画像の生成方法
US20200059637A1 (en) Three-dimensional sensing apparatus and three-dimensional sensing method
JP2003090712A (ja) ３次元画像撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Brussels

Applicant after: SOFTKINETIC SENSORS N.V.

Address before: Brussels

Applicant before: Sufte kayetti International Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180823

Address after: Brussels

Applicant after: Sufte kayetti International Co.,Ltd.

Address before: Brussels

Applicant before: SOFTKINETIC SENSORS N.V.

GR01 Patent grant
GR01 Patent grant