CN106030239A - 用于提取深度信息的装置及方法 - Google Patents

用于提取深度信息的装置及方法 Download PDF

Info

Publication number
CN106030239A
CN106030239A CN201580006696.1A CN201580006696A CN106030239A CN 106030239 A CN106030239 A CN 106030239A CN 201580006696 A CN201580006696 A CN 201580006696A CN 106030239 A CN106030239 A CN 106030239A
Authority
CN
China
Prior art keywords
light
unit
area
time
depth information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580006696.1A
Other languages
English (en)
Other versions
CN106030239B (zh
Inventor
李明煜
郑星基
李基锡
韩庆河
徐银晟
李世揆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Innotek Co Ltd
Original Assignee
LG Innotek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140011596A external-priority patent/KR102117561B1/ko
Priority claimed from KR1020140011590A external-priority patent/KR102106080B1/ko
Application filed by LG Innotek Co Ltd filed Critical LG Innotek Co Ltd
Priority to CN202010940599.2A priority Critical patent/CN112180397B/zh
Publication of CN106030239A publication Critical patent/CN106030239A/zh
Application granted granted Critical
Publication of CN106030239B publication Critical patent/CN106030239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Holo Graphy (AREA)

Abstract

根据本发明的一个实施例，一种用于提取深度信息的装置包括：光输出单元，用于输出IR(红外)光；光输入单元，用于输入在从所述光输出单元输出之后从物体反射的光；光调整单元，用于调整所述光的角度，以使所述光照射到包含所述物体的第一区域中，然后调整所述光的角度，以使所述光照射到第二区域中；以及控制单元，用于通过使用被输入到所述第一区域的所述光和被输入到所述第二区域的所述光中的至少一者来估计所述物体的运动。

Description

用于提取深度信息的装置及方法
技术领域
本发明涉及提取深度信息，更具体地，涉及一种使用飞行时间(time-of-flight,TOF)法来提取深度信息的装置及其方法。
背景技术
使用拍摄装置获取三维图像的技术在不断发展。获取三维图像需要深度信息(深度图)。深度信息(depth information)是表示空间距离并且示出在二维图像中一点相对于另一点的视角信息(perspective information)的信息。
将红外(IR)结构光投影到物体并通过解读从该物体反射的光来提取深度信息的方法是获取深度信息的方法中的一种。根据使用红外结构光的方法，问题在于对于移动物体难以获得期望水平的深度分辨率。
作为取代使用红外结构光的方法的技术的飞行时间(TOF)法正受到关注。根据TOF方法，距物体的距离通过测量飞行时间，即发出的光被反射所花的时间，来计算。
总体来说，根据TOF法的摄像头调整光角度以扫描物体的前表面。TOF摄像头具有光学效率低和大量操作的问题。
发明内容
技术问题
本发明旨在提供一种提取深度信息的装置和方法，其中，使用TOF法来提取深度信息。
技术方案
根据本发明一实施例，一种用于提取深度信息的装置包括：光输出单元，所述光输出单元输出红外(IR)光；光输入单元，所述光输入单元输入从所述光输出单元输出，然后从物体反射的光；光调整单元，所述光调整单元调整所述光的角度使得包含物体的第一区域被所述光照射，然后调整所述光的角度使得为所述第一区域的一部分的第二区域被所述光照射；以及控制单元，所述控制单元使用随时间被顺序地输入到所述第二区域中的光束来估计在所述第二区域中的运动。
所述第一区域可以是包含所述物体的整个区域，所述第二区域可以从所述第一区域提取，并且可以是包含所述物体的预定区域的局部区域。
所述控制单元可以计算光从所述光输出单元输出以在从被该光照射的第二区域反射之后输入到所述光输入单元中所花的飞行时间。
所述控制单元可以使用通过使用在第一时间点输入的光计算的第一飞行时间、通过使用在所述第一时间点之前输入的光计算的第二飞行时间，以及通过使用在第二时间点之后输入的光计算的第三飞行时间来估计在第二区域中的运动。
所述控制单元可以使用所述第一飞行时间、所述第二飞行时间与所述第三飞行时间之间的相对差来估计在所述第二区域中的运动，然后使用插值技术来对所估计的运动进行补偿。
所述光输入单元可以包括多个像素，所述多个像素各包括第一接收单元和第二接收单元，所述控制单元可以使用输入到所述第一接收单元和所述第二接收单元的光的量之间的差异来计算飞行时间。
所述光调整单元可以包括微机电系统(MEMS)和MEMS控制单元。
所述控制单元可以包括：时间控制单元，所述时间控制单元控制所述光输出单元、所述光调整单元和所述光输入单元的时间点；转换单元，所述转换单元将通过所述光输入单元输入的电信号转换成数字信号；以及信号处理单元，所述信号处理单元计算随时间被顺序地输入到所述第二区域中的光束的飞行时间，估计在所述第二区域中的运动，并且提取所述第二区域的深度信息。
根据本发明一实施例，一种用于提取深度信息的方法包括：用红外(IR)光照射包含物体的第一区域；用IR光照射为所述第一区域的一部分的第二区域；以及使用随时间被顺序地输入到所述第二区域中的光束来估计在所述第二区域中的运动。
所述估计可以包括计算关于在第一时间点输入的光的第一飞行时间、关于在所述第一时间点之前输入的光的第二飞行时间，以及关于在第二时间点之后输入的光的第三飞行时间；以及使用在所述第一时间点、所述第二时间点与所述第三时间点之间的相对差来估计在所述第二区域中的运动。
根据本发明另一实施例，一种用于提取深度信息的装置包含：光源，所述光源用光照射物体；在所述光源与所述物体之间布置的全息元件，用于调整所述光源的照射区域；致动器，所述致动器驱动所述全息元件，使得所述照射区域在第一帧周期和第二帧周期不同；光接收透镜，所述光接收透镜接收通过所述物体反射的反射光；传感器单元，所述传感器单元接收通过所述光接收透镜的所述反射光，并与所述第一帧周期和所述第二帧周期中的每一个同步以输出第一图像信号和第二图像信号；信号处理单元，所述信号处理单元处理所述第一图像信号和所述第二图像信号以产生第一帧和第二帧；以及去交错器，所述去交错器将所述第一帧和所述第二帧彼此合并以产生深度图像。
根据本发明又另一实施例，一种用于提取深度信息的装置包括：第一光源和第二光源，所述第一光源和所述第二光源布置为彼此间隔开并且用光照射物体；第一全息元件和第二全息元件，所述第一全息元件和所述第二全息元件布置在所述第一光源和所述第二光源与所述物体之间，以调整所述第一光源和所述第二光源的照射区域，使得所述第一光源和所述第二光源的照射区域彼此不同；控制单元，所述控制单元控制所述第一光源和所述第二光源的发光(lighting)，使得所述第一光源在所述第一帧周期中发光，而所述第二光源在所述第二帧周期中发光；光接收透镜，所述光接收透镜接收通过所述物体反射的反射光；传感器单元，所述传感器单元接收通过所述光接收透镜的所述反射光，并且与所述第一帧周期和所述第二帧周期中的每一个同步，以输出第一图像信号和第二图像信号；信号处理单元，所述信号处理单元处理所述第一图像信号和所述第二图像信号以产生第一帧和第二帧；以及去交错器，所述去交错器将所述第一帧和第二帧彼此合并以产生深度图像。
有益效果
根据本发明的一实施例，可以获得一种操作步骤少且深度分辨率优良的用于提取深度信息的装置。因此，可以降低由用于提取深度信息的装置所消耗的电力，并且可以精确地提取距物体的距离。
附图说明
图1是根据本发明一实施例的深度信息提取系统的方框图；
图2示出了根据本发明一实施例的深度信息提取装置的光输入单元的结构；
图3示出了根据本发明一实施例的深度信息提取装置的提取深度信息的原理；
图4示出了随着时间顺序地拍摄的整个区域和局部区域；
图5和图6是示出了根据本发明一实施例的深度信息提取装置的深度信息提取方法的流程图；
图7是示意性地示出根据本发明另一实施例的深度信息提取装置的方框图；
图8是用于描述根据本发明另一实施例的深度信息提取装置的出射角(emission angle)通过全息元件控制的实例的视图；
图9是用于描述根据本发明另一实施例的深度信息提取装置通过与帧周期同步来产生帧的方法的视图；
图10是示出了根据本发明另一实施例的深度信息提取装置通过将奇数编号的帧和偶数编号的帧合并来产生深度图像的视图；
图11是示出了根据本发明另一实施例的深度信息提取装置的深度信息提取方法的流程图；
图12是示意性地示出根据本发明又另一实施例的深度信息提取装置的方框图；
图13是用于描述根据本发明的又另一实施例的深度信息提取装置提取深度信息的方法的视图；
图14是示出通过根据本发明又另一实施例的深度信息提取装置提取深度信息的方法的流程图。
具体实施方式
由于可以对本发明作出各种修改并且本发明可以具有各种实施例，在附图中示出特定实施例并加以描述。但是，这并不表示将本发明限制在所述特定实施例，在本发明精神和范围内包含的所有修改、等同和替代应被看作是属于本发明。
包含诸如第一和第二的序数词的术语可以用于描述各种元件，但是这些元件不受这些术语限制。这些术语仅用于将一个元件与另一个元件相区分的目的。例如，在不偏离本发明范围的同时，可以将第二元件称作第一元件，类似地，第一元件也可以被称作第二元件。所述术语包含多个相关描述条目的组合或在所述多个相关描述条目中的任意一个条目。
当提到将某个元件“连接”或“链接”至另一元件时，尽管该某个元件可以直接地连接或链接至另一个元件，但是，应理解，在两者之间可以存在另外的元件。另一方面，当提及某个元件“直接连接”或“直接链接”至另一元件时，应理解，在这两者之间不存在其他元件。
在申请案中所用的术语仅仅用于描述特定实施例，且并非要限制本发明。单数表达包含复数表达，除非上下文另有清晰指示。在本申请中，诸如“包括/包含”或“具有”的术语应被理解为表示特征、数目、步骤、操作、元件、部分或其组合存在，而不是表示为排除事先添加一个或多个其他特征、数目、步骤、操作、元件、部分或其组合的可能性的存在。
除非另有定义，包含在本文中所用的技术或科学术语在内的所有术语具有与本发明所属技术领域一般技术人员通常意义上所理解的含义相同的含义。诸如在常用词典中所定义的术语的术语应被理解为具有与其在相关技术领域中的含义相一致的含义，不应以理想化或过度正式的含义来理解，除非文中有明确如此的定义。
下文中，将参考附图详细描述实施例，同时不论附图标号如何，将类似的附图标记加给相同或对应的元件，并且关于这些元件的重复的描述会被省略。
根据本发明一实施例，调整发出的光(radiated light)的角度来改善深度分辨率(depth resolution)。
根据本发明一实施例，局部区域的深度信息通过以下方式提取：用光照射包含物体的整个区域；从整个区域提取局部区域；以及用光反复地照射所提取的区域。
图1是根据本发明一实施例的深度信息提取系统的方框图。图2示出了根据本发明一实施例的深度信息提取装置的光输入单元的结构，并且，图3示出了根据本发明一实施例的深度信息提取装置的提取深度信息的原理。
参见图1，深度信息提取系统包括深度信息提取装置100和个人计算机(PC)200。深度信息提取装置可以是三维立体摄像头或其一部分。
深度信息提取装置100包括光输出单元110、光调整单元120、光输入单元130和控制单元140。
光输出单元110输出红外(IR)光。IR光可以是，例如具有800nm或800nm以上波段(wavelength band)的光。光输出单元110包括光源112和光转换单元114。该光源可以包括至少一个投射红外光的激光二极管(LD)或发光二极管(LED)。而且，光转换单元114可以调制从光源112输出的光。光转换单元114可以，例如对从光源112输出的光执行脉冲调制或相位调制。因此，光输出单元110可以输出光，同时使得光源每隔预定的时间间隔闪烁。
光调整单元120调整光的角度，使得包含物体的区域被光照射。为此，光调整单元120可以包括微机电(MEMS)致动器122和MEMS控制单元124。
光调整单元120可以调整光的角度，使得包含物体(object)的整个区域被光照射。例如，如在图4(A)中，光调整单元120可以调整光的角度，使得包含人的整个区域被光照射。因此，从光输出单元110输出的光可以以像素或行(lines)为单位扫描整个区域。另外，光调整单元120还可以调整光的角度，使得作为整个区域的一部分的局部区域被光照射。例如，如在图4(B)中所示，光调整单元120可以调整光的角度，使得整个区域中的包含手的局部区域被光照射。因此，从光输出单元110输出的光可以以像素或行为单位仅扫描该局部区域。
同时，光输入单元130被输入从光输出单元110输出并通过物体反射的光。光输入单元130可以将输入光转换成电信号。光输入单元130可以是包括光电二极管(PD)或互补金属氧化物半导体(CMOS)的图像传感器。如在图2中，光输入单元130可以包括多个排列的像素132。每个像素可以包括同相(in-phase)接收单元132-1和异相(out-phase)接收单元132-2。
控制单元140控制深度信息提取装置100的整体操作并提取深度信息。控制单元140可以用控制器芯片来实施。控制单元140可以包括时间控制单元142、转换单元144、信号处理单元146以及接口控制器148。时间控制单元142控制光输出单元110、光调整单元120和光输入单元130的时间点。例如，时间控制单元142可以控制光输出单元110的闪烁周期。转换单元144可以将通过光输入单元130输入的电信号转换成数字信号。
此外，信号处理单元146计算随时间(over time)被顺序地(sequentially)输入到该局部区域中的光束的飞行时间，估计在该局部区域中的运动，并提取该局部区域的深度信息。这里，光的飞行时间可以通过使用被输入到同相接收单元132-1和异相接收单元132-2中的光的量之间的差异来计算。也就是说，如在图3中，同相接收单元132-1可以在光源开启时被激活，而异相接收单元132-2可以在光源关断时被激活(activated)。以此方式，当同相接收单元132-1和异相接收单元132-2以时间差被激活时，光的飞行时间，即，根据距物体的距离接收的光的量会产生差异。例如，当物体位于深度信息提取装置的正前方(即，当距离＝0时)时，光从光输出单元110输出以被反射所花的时间为0，使得光源的闪烁周期成为光接收周期而没有变化。因此，只有同相接收单元132-1接收光，而异相接收单元132-2不接收光。在另一实例中，当物体与深度信息提取装置远离预定的距离时，光从光输出单元110输出以被反射会花费时间，使得光源的闪烁周期不同于光接收周期。因此，通过同相接收单元132-1和异相接收单元132-2接收的光的量之间会产生差异。
接口控制器148控制与诸如PC 200的中间件(middleware)的接口。例如，接口控制器148可以将关于被照射到整个区域之后的通过光输入单元130输入的光的信息传输到诸如PC 200的中间件。另外，接口控制器148可以从诸如PC 200的中间件接收由诸如PC 200的中间件提取的关于局部区域的信息，然后将该信息传输给光调整单元120等。
图5和图6是根据本发明一实施例的深度信息提取装置的深度信息提取方法的流程图。与图1至图3的内容重复的内容的描述将被省略。
参见图5，深度信息提取装置100的光输出单元110输出IR光(S500)，包含物体的整个区域通过由光调整单元120调整的输出光被照射(S502)。
此外，从物体反射的光通过光输入单元130被输入(S504)，控制单元140将从光输入单元130接收的模拟信号转换成数字信号(S506)，然后将该数字信号传输到例如PC 200(S508)。
PC 200使用从深度信息提取装置100接收的信号，并提取整个区域的局部区域(S510)。该局部区域可以是包含实现应用所需的关注目标的区域。例如，当该应用是根据手指的姿势改变电视(TV)频道时，当整个区域包含整个人体时局部区域可以仅包含手指。
PC 200将关于所提取的局部区域的信息传输给深度信息提取装置100(S512)。
同时，深度信息提取装置100的光输出单元110输出IR光(S514)，并且，通过光调整单元120的调整，将输出光仅照射到从整个区域提取的局部区域(S516)。
此外，从物体单元反射的光通过光输入单元130被输入(S518)，控制单元140将从光输入单元130接收的模拟信号转换成数字信号(S520)，并执行信号处理以提取局部区域的深度信息(S522)。
根据本发明一实施例，深度信息提取装置100可以在整个区域能被扫描一次的时间内，扫描局部区域若干次。因此，步骤S514至步骤S520被重复若干次，通过使用在步骤S522中重复多次的结果能够改善深度信息的精确性。将参考图6对此详细描述。
参见图6，对于局部区域，深度信息提取装置的控制单元140计算在时间T1通过光输入单元130输入的光的飞行时间(S600)，计算在时间T2通过光输入单元130输入的光的飞行时间(S602)，并计算在时间T3通过光输入单元130输入的光的飞行时间(S604)。这里，T1、T2和T3可以具有相同的时间间隔，在图5中的步骤S514至步骤S520可以在T1、T2和T3中的每一个处重复。如参考图3所描述，可以通过使用同相接收单元与异相接收单元之间的光的量的差异来计算光的飞行时间。
此外，控制单元140基于在时间T1至时间T3的飞行时间来估计在局部区域中的运动(S606)，并根据运动估计的结果来提取深度信息(S608)。这里，运动估计和深度信息提取的过程可以根据超分辨率(SR)算法来执行。也就是，如图4(B)所示，在从T1至Tn拍摄局部区域之后，可以计算在每个时间的飞行时间，以估计随时间的相对运动。此外，所估计的运动可以通过使用插值技术(interpolation technique)来补偿并恢复(restore)，并且可以从中减去噪声。
以此方式，当从整个区域检测局部区域，并提取关于该局部区域的深度信息时，计算的复杂性可以降低。此外，由于使用随时间顺序地输入的信息中的相对差来估计关于局部区域的运动信息，所以可以获得高深度分辨率。而且，因为在整个区域被扫描一次的时间内，局部区域可以被扫描若干次，所以深度信息提取所用时间和计算复杂性可以降低。
根据本发明的另一实施例，通过重复用光照射包含物体的局部区域并调整光的角度使得区域被光照射的过程来提取深度信息。
图7是示意性地示出根据本发明另一实施例的深度信息提取装置的方框图。图8是用于描述根据本发明另一实施例的深度信息提取装置的出射角通过全息元件(holographic element)控制的实例的视图。图9是用于描述根据本发明另一实施例的深度信息提取装置通过与帧周期同步来产生帧的方法的视图。图10是示出根据本发明另一实施例的深度信息提取装置通过将奇数编号的帧和偶数编号的帧合并而产生深度图像的视图。与图1至图6重复的内容的描述将省略。
参见图7，根据本发明另一实施例的深度信息提取装置可以包括深度传感器模块10、信号处理单元31以及去交错器(deinterlacer)32。在图7中所示的元件并非必需的，从而根据本发明的实施例的深度信息提取装置可以包含更多或更少的元件。
深度传感器模块10是飞行时间(TOF)传感器模块并且可以包括发光单元(light emitting unit)和光接收单元。
深度传感器模块10的发光单元可以包含光源11、透镜12、全息元件13、致动器14以及控制单元15。这里，光源11可以与光输出单元一起使用，并且，全息元件13和致动器14可以与光调整单元一起使用。
光源11包括发光元件，并且用以驱动该发光元件用具有预定相位的光照射物体OB。光源11可以与预设的帧周期同步并操作以重复闪烁。
尽管在光源11中所包含的发光元件可以包括激光器、激光二极管等，但是，还可以使用其他类型的光源。
从激光器或激光二极管发出的光比从发光二极管(LED)发出的光具有相对更好的方向性。因此，当使用激光器或激光二极管作为光源11时，可以容易地调整出射角和照射区域。
从光源11发出的光的波长可以被包含在IR波段中，还可以被包含在其他波段中。
透镜12被布置在从光源11发出的光的光路上，并且用以将从作为点光源的光源11发出的光转换成面光源。激光器具有优良的方向性但是具有相对小的出射角。因此，透镜12可以用于用光来均匀地照射整个物体OB以获取深度图像。
全息元件13被布置在光源11与物体OB之间，或布置在透镜12与物体OB之间，并且用以控制从光源11发出的光的出射角和照射区域。
图8中的(A)示出在不存在全息元件13的情况下物体OB被从光源(LED)发出的光照射的情况，图8中的(B)示出通过全息元件13调整出射角之后，物体OB被从光源(LED)发出的光照射的情况。
参见图8中的(A)，除了在其上投影图像的传感器的区域，区域a1和a2也被来自LED的光照射，因此降低了光学效率。
另一方面，参见图8中的(B)，从LED发出的光的出射角通过全息元件13来调整，使得光不会偏离其上投影图像的传感器区域(视角，viewing angle)太多，从而最小化光浪费并改善光效率。
同时，由于透镜12不是必须的，当照明的均匀性由全息元件13提供时，透镜12也可以省略。
再次，参见图7，全息元件13可以使用计算机产生全息图(computergenerated hologram，CGH)法来制造。全息图是从包含从物体散射(scattered)的信息的信号波和相干参考波(coherent reference wave)产生的干涉图案，并且CGH法是通过使用计算机数学计算和产生干涉图案的方法。
全息元件13可以通过将由计算机计算出的干涉图案记录在记录介质中来形成。
在全息元件13中记录干涉图案的记录介质可以包括由光敏材料形成的基板。可以使用光聚合物、紫外(UV)光聚合物、光致抗蚀剂、卤化银乳剂、重铬酸盐明胶、照相乳剂、光导热塑、光折变材料等来作为光敏材料。
全息元件13可以是体积全息元件(volume holographic)或表面全息(surface holographic)元件。
体积全息元件是由于在信号波与参考波之间的干涉而在空间中产生的干涉图案三维地被记录在记录介质中的全息光学元件。另一方面，表面全息元件是由于在信号波与参考波之间的干涉而在空间中产生的干涉图案被记录在记录介质的表面上的全息光学元件。
当全息元件13是表面全息元件时，可以在从光源11入射的光出射(exit)的出射表面(exiting surface)上形成干涉图案。
全息元件13连接至致动器14，并且，该全息元件的位置、倾斜(tilting)等可以通过致动器14来调整。
致动器14是驱动全息元件13的驱动装置，并且可以相对于光源11的光轴调整全息元件13的位置、倾斜等。
当全息元件13的位置、倾斜等被改变时，穿过全息元件13的光照射物体OB的照射区域移位(shift)，使得通过物体OB反射的光投影到传感器单元22的每一个胞元(cell)上的区域也移位。
致动器14可以基于控制单元15的控制信号驱动全息元件13，使得全息元件13的照射区域被切换(switch)。也就是说，致动器14可以驱动全息元件13，使得在奇数编号的帧周期中的全息元件13的照射区域不同于在偶数编号的帧周期中的全息元件的照射区域。
在奇数编号的帧周期中的全息元件13的照射区域可以是这样的区域：该区域从在偶数编号的帧周期中的全息元件13的照射区域向上移动或向下移动多达与传感器单元22的一个胞元(cell)相匹配的区域。也就是说，全息元件13的照射区域可以在每个帧周期中调整，使得在奇数编号的帧周期中图像被投影到传感器单元22的胞元上的位置与在偶数编号的帧周期中图像被投影到传感器单元22的胞元上的位置相差一个胞元。因此，即使当光从同一点反射时，在奇数编号的帧周期中图像被投影到传感器单元22的胞元上的位置可以与在偶数编号的帧周期中图像被投影到传感器单元22的胞元上的位置可以相差一个胞元。
致动器14可以是音圈电机(VCM)致动器或微机电(MEMS)致动器。
控制单元15可以基于预设的帧周期来控制光源11开启或关断。
例如，如在图9中，控制单元15可以周期性地开启或关断光源11，使得光源11在每个帧周期闪烁。也就是说，在每个帧周期T1和T2中，控制单元15可以执行以下操作：当帧周期T1和T2开始时开启光源11以用光照射，在预定量时间过去之后关断光源11以控制光照射停止直至帧周期T1和T2结束。
控制单元15可以控制致动器14，使得全息元件13的照射区域在每个帧周期发生切换。
深度传感器模块10的光接收单元可以包括光接收透镜21和传感器单元22。在本说明书中，该光接收单元可以与该光输入单元一起使用。
光接收透镜21被布置在物体OB与传感器单元22之间，用来接收从物体OB反射的反射光，并且使得所接收的反射光入射在传感器单元22上。
传感器单元22接收从物体OB反射的反射光，并将所接收的反射光转换成电信号，并输出图像信号。
传感器单元22可以由多个胞元形成，每个胞元可以对应于形成帧的每个像素。传感器单元22可以以胞元为单位接收光，并以胞元为单位输出图像信号。
形成传感器单元22的胞元中的每一个可以包括将光转换成电信号的元件。胞元中的每一个可以包括金属氧化物半导体(MOS)、电荷耦合装置(CCD)等，但是不限于此。
传感器单元22可以与预设的帧周期同步以接收反射光，并将所接收的反射光转换成图像信号以输出。
同时，随着照射区域(radiation region)通过全息元件13在每个帧周期切换，图像被投影到传感器单元22上的位置也可以每帧周期被切换。
全息元件13通过致动器14在奇数编号的帧周期和偶数编号的帧周期中用光照射不同的区域。因此，即使当光从物体OB的同一位置反射时，在奇数编号的帧周期中图像被投影在传感器单元22上的位置与在偶数编号的帧周期中图像被投影在传感器单元22上时的其位置可以不同。
通过从在偶数编号的帧周期中的投影在传感器单元22上的图像向上或向下移动多达一个胞元，可以投影在奇数编号的帧周期中的投影在传感器单元22上的图像。
信号处理单元31对从传感器单元22输出的图像信号执行诸如采样(sampling)的信号处理以产生帧。这里，该帧可以包括多个像素，并且，这些像素中的每一个的像素值可以从与这些像素中的每一个对应的图像信号获取。
信号处理单元31可以通过将图像信号转换成帧来输出从传感器单元22输出的对应于帧周期的的图像信号。
例如，如在图9中所示，信号处理单元31可以在每个帧周期T1和T2通过将图像信号转换成帧5a和5b来输出图像信号，并且，与奇数编号的帧周期T1和偶数编号的帧周期T2中的每一个同步，以输出奇数编号的帧5a和偶数编号的帧5b。
信号处理单元31还可以基于通过传感器单元22的每个胞元接收的光与通过光源11发出的光之间的相位差(phase difference)来计算与每个胞元，即，每个像素对应的深度信息。对应于形成帧的每个像素存储所计算的深度信息。
去交错器(deinterlacer)32可以从信号处理单元31接收奇数编号的帧和偶数编号的帧中的每一个，并将这两个帧合并以产生一个深度图像。
去交错器32可以通过以行为单位交替地插入从信号处理单元31输出的奇数编号的帧和偶数编号的帧来产生与传感器单元22的分辨率相比(resolution)增加到两倍(increased twice)的分辨率的深度图像。例如，如在图10中，奇数编号的帧和偶数编号的帧中的每一个具有10(行)×10(列)的像素，并且，以行为单位将该两个帧交替合并的深度图像的分辨率为20(行)×20(列)的像素。与传感器单元22的分辨率相比，垂直分辨率增加到两倍。图7中的控制单元15、信号处理单元31和去交错器32可以对应于图1中的控制单元14。
图11是示出根据本发明另一实施例的深度信息提取装置的深度信息提取方法的流程图。
参见图11，深度传感器模块10控制光源11以通过与奇数编号的帧周期同步来发出光(S101)。
在步骤S101中，从光源11发出的光的照射区域可以通过全息元件13来控制。
当从光源11发出的光从物体反射并入射在传感器单元22上时，传感器单元22以像素为单位产生与该光对应的图像信号。此外，信号处理单元31对从传感器单元22输出的图像信号执行信号处理以产生奇数编号的帧(S102)。
当获取奇数编号的帧时，深度传感器模块10控制全息元件13并使物体被光照射的照射区域移位(S103)。
在步骤S103中，深度传感器模块10可以通过控制致动器14以调整全息部件13的斜率(slope)来使照射区域移位。
当偶数编号的帧周期开始时，深度传感器模块10与偶数编号的帧周期同步，并控制光源11来发出光(S104)。
在步骤S104中，从光源11发出的光的照射区域由于全息元件13而可以与偶数编号的帧周期的照射区域不同。
当从光源11发出的光从物体反射并入射在传感器单元22上时，传感器单元22以像素为单位产生与光对应的图像信号。此外，信号处理单元31对从传感器单元22输出的图像信号执行信号处理以产生偶数编号的帧(105)。
去交错器32通过以形成帧的像素阵列(pixel arrays)的行为单位(in unitsof lines)将奇数编号的帧和偶数编号的帧合并来产生深度图像(S106)。
在步骤S106中，去交错器32可以通过顺序地且交替地将奇数编号的帧和偶数编号的帧的像素的行合并来产生深度图像。
参见图12至图14，下文将详细描述根据本发明又另一实施例的深度信息提取方法和用于执行该方法的深度信息提取装置。
图12是示意性地示出根据本发明又另一实施例的深度信息提取装置的方框图。图13是用于描述根据本发明又另一实施例的深度信息提取装置提取深度信息的方法的视图。
下文中，为了避免重复描述，具有与已经参照图7描述的深度信息提取装置中的相同功能的元件的详细描述将省略。
参见图12，根据本发明又另一实施例的深度信息提取装置可以包括深度传感器模块10、信号处理单元31以及去交错器32。在图12中的元件不是必须的，因此，根据本发明又另一实施例的深度信息提取装置可以包括更多或更少的元件。
深度传感器模块10是TOF传感器模块，并且可以包括多个发光单元和光接收单元。
形成深度传感器模块10的多个发光单元可各包括光源11a和11b、透镜12a和12b以及全息元件13a和13b。该多个发光单元可以进一步包括控制单元15。这里，光源11a和11b可以与光输出单元一起使用，全息元件13a和13b可以与光调整单元一起使用。
多个光源11a和11b可以布置为彼此间隔开预定间隔。深度传感器模块10的传感器单元22可以布置在多个光源11a与11b之间。
下文中，为了便于描述，多个发光单元中的每一个将被称作第一发光单元和第二发光单元，并且，形成第一发光单元的元件将被称作第一光源11a、第一透镜12a和第一全息元件13a。此外，形成第二发光单元的元件将被称作第二光源11b、第二透镜12b和第二全息元件13b。然而，这些元件不受包含诸如第一和第二的序数词的术语的限制。
第一光源11a和第二光源11b被布置为彼此间隔开预定间隔，并且用来驱动发光元件用具有预定相位的光来照射物体OB。
在第一光源11a和第二光源11b中所包含的发光元件可以包括激光器、激光二极管等，但是也可以使用其他类型的光源。从第一光源11a和第二光源11b发出的光的波长可以被包含在IR波段(IR band)中，但是也可以被包含其他不同的波长段中。
可以控制第一光源11a和第二光源11b的闪烁，使得第一光源11a和第二光源11b在不同的帧周期中出射(emit)光。例如，第一光源11a可以通过与奇数编号的帧周期同步来出射光，第二光源11b可以通过与偶数编号的帧周期同步来出射光。
第一透镜12a被布置在从第一光源11a发出的光的光路上，并且用来将从为点光源的第一光源11a发出的光转换成面光源(surface light source)。此外，第二透镜12b被布置在从第二光源11b发出的光的光路上，并且用以将从为点光源的第二光源11b发出的光转换成面光源。
第一全息元件13a被布置在第一光源11a与物体OB之间，或布置在第一透镜12a与物体OB之间，并且用以控制从第一光源11a发出(radiated)的光的出射角和照射区域。此外，第二全息元件13b被布置在第二光源11b与物体OB之间或布置在第二透镜12b与物体OB之间，并且用以控制从第二光源11b发出的光的出射角和照射区域。
同时，第一透镜12a和第二透镜12b不是必须的，因此当照明的均匀性通过第一全息元件13a和第二全息元件13b提供时可以被省略。
第一全息元件13a和第二全息元件13b可以使用CGH法来制造。
第一全息元件13a和第二全息元件13b通过将由计算机计算出的干涉图案记录在记录介质中来形成，并且光敏材料，诸如光聚合物、UV光聚合物、光致抗蚀剂、卤化银乳剂、重铬酸盐明胶、照相乳剂、光导热塑和光折变材料可以用于记录干涉图案的记录介质。
第一全息元件13a和第二全息元件13b可以是体积全息元件或表面全息元件。
在第一全息元件13a和第二全息元件13b中记录的干涉图案可以形成为使得物体OB的不同区域被由第一光源11a和第二光源11b发出的光照射。
例如，第一全息元件13a和第二全息元件13b的干涉图案可以形成为使得，被从第一光源11a出射的光照射的区域和被从第二光源11b出射的光照射的区域彼此相差多达与传感器单元22的一个胞元相匹配的区域。
控制单元15可以基于预设的帧周期来控制第一光源11a和第二光源11b开启或关断。例如，如在图13中，控制单元15可以控制第一光源11a和第二光源11b开启或关断，使得第一光源11a通过与奇数编号的帧周期T1同步来出射光，而第二光源11b通过与偶数编号的帧周期T2同步来出射光。
因此，照射物体OB的光源可以在每个帧周期被切换，并且，被光照射的区域也可以通过第一全息元件13a和第二全息元件13b对应于光源切换而被切换。
深度传感器模块10的光接收单元可以包括光接收透镜21和传感器单元22。
光接收透镜21被布置在物体OB与传感器单元22之间，用来接收从物体OB反射的反射光，并使得所接收的反射光入射在传感器单元22上。
传感器单元22可以由多个胞元形成，并且每个胞元可以对应于形成帧的每个像素。传感器单元22可以以胞元为单位接收光，并以胞元为单位输出图像信号。
形成传感器单元22的胞元中的每一个可以包括MOS、CCD等。
传感器单元22可以与预设的帧周期同步以接收反射光并将所接收的反射光转换成图像信号以输出。
随着将光发出至物体OB的光源每个帧周期被切换，图像被投影在传感器单元22上的位置也可以在每个帧周期被切换。也就是说，由于光源的切换，在奇数编号的帧周期中的被光照射的区域与在偶数编号的帧周期中的被光照射的区域可以彼此不同。因此，在奇数编号的帧周期中投影在传感器单元22上的图像的位置与在偶数编号的帧周期中投影在传感器单元22上的图像的位置之间可能会有微小的差异。例如，可以通过从在偶数编号的帧周期中投影在传感器单元22上的图像向上或向下移动多达一个胞元(as much as one cell)投影在奇数编号的帧周期中的投影在传感器单元22上的图像。
信号处理单元31可以通过将图像信号转换成帧来输出从传感器单元22输出的与帧周期对应的图像信号。
例如，如在图13中，信号处理单元31可以通过每帧周期T1和T2将图像信号转换成帧5a和5b来输出图像信号，并且与奇数编号的帧周期T1和偶数编号的帧周期T2中的每一个同步，以输出奇数编号的帧5a和偶数编号的帧5b。
信号处理单元31还可以基于通过传感器单元22的每个胞元接收的光与通过第一光源11a和第二光源11b发出的光之间的相位差来计算与每个胞元，即，每个像素对应的深度信息。对应于形成帧的每个像素来存储所计算的深度信息。
去交错器32可以从信号处理单元31接收奇数编号的帧和偶数编号的帧中的每一个，并且合并两个帧以产生一个深度图像。
如图10所示，通过以行为单位将从信号处理单元31输出的奇数编号的帧和偶数编号的帧交替地插入，去交错器32可以产生与传感器单元22的分辨率相比增加到两倍的分辨率的深度图像。
图14是示出根据本发明又另一实施例通过深度信息提取装置提取深度信息的方法的流程图。
参见图14，深度传感器模块10控制第一光源11a以通过与奇数编号的帧周期同步来发出光(S201)。
在步骤S201中，从第一光源11a发出的光的照射区域可以通过第一全息元件13a来控制。
当从第一光源11a发出的光从物体反射并入射在传感器单元22上时，传感器单元22以像素为单位产生与光对应的图像信号。此外，信号处理单元31对从传感器单元22输出的图像信号执行信号处理以产生奇数编号的帧(S202)。
接下来，深度传感器模块10控制第二光源11b以通过与偶数编号的帧周期同步来发出光(S203)。
在步骤S203中，从第二光源11b发出的光可以通过第二全息元件13b从在步骤S201中的照射区域向上或向下移动来发出。
当从第二光源11b发出的光从物体反射并入射在传感器单元22上时，传感器单元22以像素为单位产生与光对应的图像信号。此外，信号处理单元31对从传感器单元22输出的图像信号执行信号处理以产生偶数编号的帧(S204)。
当从光源11发出的光从物体反射并入射在传感器单元22上时，传感器单元22以像素为单位产生与光对应的图像信号。此外，信号处理单元31对从传感器单元22输出的图像信号执行信号处理以产生偶数编号的帧(S204)。
去交错器32通过以形成帧的像素阵列的行为单位将奇数编号的帧和偶数编号的帧合并来产生深度图像(S205)。
在步骤S106中，去交错器32可以通过顺序地且交替地将奇数编号的帧和偶数编号的帧的像素的行合并来产生深度图像。
根据本发明的实施例，通过以下方式来产生一个深度图像：使用全息元件调整光源的照射区域，以在奇数编号的帧周期和偶数编号的帧周期之间产生差异，并将通过上述方法获得的奇数编号的帧和偶数编号的帧合并，从而具有改善深度图像分辨率的效果。
此外，全息元件用以调整光的出射角，从而具有改善光学效率的效果。
尽管已经参考本发明的示例性实施例描述了本发明，本领域一般技术人员应理解，在不偏离由所附权利要求所描述的本发明的精神和范围的前提下，可以以各种方式对本发明进行修改和改变。

Claims (12)

1.一种用于提取深度信息的装置，所述装置包括：
光输出单元，所述光输出单元被配置为输出红外(IR)光；
光输入单元，所述光输入单元被配置为被输入从所述光输出单元输出然后从物体反射的光；
光调整单元，所述光调整单元被配置为调整所述光的角度使得包含物体的第一区域被光照射，然后调整所述光的角度使得第二区域被光照射；以及
控制单元，所述控制单元被配置为使用被输入到所述第一区域中的光和被输入到所述第二区域中的光中的至少一者来估计所述物体的运动。
2.根据权利要求1所述的装置，其中，所述第一区域是包含所述物体的整个区域，所述第二区域从所述第一区域提取，并且是包含所述物体的预定区域的局部区域。
3.根据权利要求2所述的装置，其中，所述控制单元计算光从所述光输出单元输出以在从被所述光照射的所述第二区域反射之后被输入到所述光输入单元中所花的飞行时间。
4.根据权利要求3所述的装置，其中，所述控制单元使用通过使用在第一时间点输入的光计算的第一飞行时间、通过使用在所述第一时间点之前输入的光计算的第二飞行时间以及通过使用在第二时间点之后输入的光计算的第三飞行时间来估计在所述第二区域中的运动。
5.根据权利要求4所述的装置，其中，所述控制单元使用所述第一飞行时间、所述第二飞行时间与所述第三飞行时间之间的相对差来估计在所述第二区域中的运动，然后使用插值技术对所估计的运动进行补偿。
6.根据权利要求3所述的装置，其中，所述光输入单元包括多个像素，所述多个像素各包括第一接收单元和第二接收单元；并且
所述控制单元使用在被输入到所述第一接收单元和所述第二接收单元的光的量之间的差异来计算所述飞行时间。
7.根据权利要求1所述的装置，其中，所述光调整单元包括微机电系统(MEMS)和MEMS控制单元。
8.根据权利要求1所述的装置，其中，所述控制单元包括：
时间控制单元，所述时间控制单元被配置为控制所述光输出单元、所述光调整单元和所述光输入单元的时间点；
转换单元，所述转换单元被配置为将通过所述光输入单元输入的电信号转换成数字信号；以及
信号处理单元，所述信号处理单元被配置为计算随时间被顺序地输入到所述第二区域中的光束的飞行时间，估计在所述第二区域中的运动，并且提取所述第二区域的深度信息。
9.根据权利要求1所述的装置，其中，所述光调整单元包括：全息元件，所述全息元件被布置在所述光输出单元与所述物体之间；以及致动器，所述致动器被配置为驱动所述全息元件。
10.根据权利要求1所述的装置，其中：
所述第一区域和所述第二区域是彼此不重叠的区域；并且
所述光调整单元调整所述光的角度，使得被所述光照射的区域在每个帧周期变化。
11.一种用于提取深度信息的装置的提取深度信息的方法，所述方法包括：
使用红外(IR)光来照射包含物体的第一区域；
使用IR光来照射第二区域；以及
使用随时间被顺序地输入到所述第一区域和所述第二区域中的至少一者中的光束来估计所述物体的运动。
12.根据权利要求11所述的方法，其中，所述估计包括：
计算关于在第一时间点输入的光的第一飞行时间、关于在所述第一时间点之前输入的光的第二飞行时间以及关于在第二时间点之后输入的光的第三飞行时间；以及
使用所述第一飞行时间、所述第二飞行时间与所述第三飞行时间之间的相对差来估计在所述第二区域中的运动。
CN201580006696.1A 2014-01-29 2015-01-28 用于提取深度信息的装置及方法 Active CN106030239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010940599.2A CN112180397B (zh) 2014-01-29 2015-01-28 用于提取深度信息的装置及方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2014-0011590 2014-01-29
KR10-2014-0011596 2014-01-29
KR1020140011596A KR102117561B1 (ko) 2014-01-29 2014-01-29 센서 모듈 및 이를 포함하는 3차원 영상
KR1020140011590A KR102106080B1 (ko) 2014-01-29 2014-01-29 깊이 정보 추출 장치 및 방법
PCT/KR2015/000911 WO2015115797A1 (ko) 2014-01-29 2015-01-28 깊이 정보 추출 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010940599.2A Division CN112180397B (zh) 2014-01-29 2015-01-28 用于提取深度信息的装置及方法

Publications (2)

Publication Number Publication Date
CN106030239A true CN106030239A (zh) 2016-10-12
CN106030239B CN106030239B (zh) 2020-10-09

Family

ID=53757326

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010940599.2A Active CN112180397B (zh) 2014-01-29 2015-01-28 用于提取深度信息的装置及方法
CN201580006696.1A Active CN106030239B (zh) 2014-01-29 2015-01-28 用于提取深度信息的装置及方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010940599.2A Active CN112180397B (zh) 2014-01-29 2015-01-28 用于提取深度信息的装置及方法

Country Status (5)

Country Link
US (3) US10338221B2 (zh)
EP (1) EP3101382A4 (zh)
JP (3) JP6693880B2 (zh)
CN (2) CN112180397B (zh)
WO (1) WO2015115797A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109844560A (zh) * 2016-10-17 2019-06-04 罗伯特·博世有限公司 用于激光雷达系统的光学元件
CN110687516A (zh) * 2018-07-06 2020-01-14 江苏慧光电子科技有限公司 光束扫描的控制方法、装置、系统及相应的介质
CN113574864A (zh) * 2019-03-11 2021-10-29 Lg伊诺特有限公司 相机模块
CN113994655A (zh) * 2019-05-16 2022-01-28 Lg伊诺特有限公司 相机模块

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112180397B (zh) 2014-01-29 2023-07-25 Lg伊诺特有限公司 用于提取深度信息的装置及方法
US11972586B2 (en) 2015-02-13 2024-04-30 Carnegie Mellon University Agile depth sensing using triangulation light curtains
US11747135B2 (en) 2015-02-13 2023-09-05 Carnegie Mellon University Energy optimized imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
US11425357B2 (en) 2015-02-13 2022-08-23 Carnegie Mellon University Method for epipolar time of flight imaging
US11493634B2 (en) 2015-02-13 2022-11-08 Carnegie Mellon University Programmable light curtains
EP3516692B1 (en) 2016-09-23 2022-02-16 Apple Inc. Stacked backside illuminated spad array
CA3051102A1 (en) * 2017-01-20 2018-07-26 Carnegie Mellon University Method for epipolar time of flight imaging
US10962628B1 (en) 2017-01-26 2021-03-30 Apple Inc. Spatial temporal weighting in a SPAD detector
CN106954058B (zh) * 2017-03-09 2019-05-10 深圳奥比中光科技有限公司 深度图像获取系统和方法
US20190018119A1 (en) * 2017-07-13 2019-01-17 Apple Inc. Early-late pulse counting for light emitting depth sensors
KR102514487B1 (ko) * 2018-06-07 2023-03-27 엘지이노텍 주식회사 카메라 모듈 및 그의 깊이 정보 추출 방법
KR102473494B1 (ko) 2018-08-17 2022-12-02 삼성전자주식회사 심도센싱장치 및 심도센싱장치의 동작 방법
KR102553555B1 (ko) * 2018-09-21 2023-07-10 엘지이노텍 주식회사 카메라 모듈
US11233966B1 (en) 2018-11-29 2022-01-25 Apple Inc. Breakdown voltage monitoring for avalanche diodes
JP2020153715A (ja) 2019-03-18 2020-09-24 株式会社リコー 測距装置および測距方法
JP2020153796A (ja) * 2019-03-19 2020-09-24 株式会社リコー 測距装置、及び測距方法
KR20200136148A (ko) * 2019-05-27 2020-12-07 엘지이노텍 주식회사 카메라 모듈
JP2021085821A (ja) * 2019-11-29 2021-06-03 ソニーセミコンダクタソリューションズ株式会社 測距センサ、測距システム、および、電子機器
JP2021085822A (ja) * 2019-11-29 2021-06-03 ソニーセミコンダクタソリューションズ株式会社 測距センサ、測距システム、および、電子機器
WO2021231947A1 (en) * 2020-05-15 2021-11-18 Lumileds Llc Imaging arrangement and corresponding methods and systems for depth map generation
WO2022201504A1 (ja) * 2021-03-26 2022-09-29 パイオニア株式会社 センサ装置、制御装置、制御方法、プログラム及び記憶媒体
EP4266693A1 (en) * 2021-07-06 2023-10-25 Samsung Electronics Co., Ltd. Electronic device for image processing and operation method thereof
JP2024005395A (ja) * 2022-06-30 2024-01-17 株式会社デンソー 制御装置、センシングシステム、制御方法、制御プログラム
JP7467562B1 (ja) 2022-10-07 2024-04-15 本田技研工業株式会社 外界認識装置
US20240134020A1 (en) * 2022-10-20 2024-04-25 Gm Cruise Holdings Llc Time-of-flight motion misalignment artifact correction

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101189097A (zh) * 2005-06-01 2008-05-28 飞腾股份有限公司 激光加工装置及激光加工方法
US20100290674A1 (en) * 2009-05-14 2010-11-18 Samsung Electronics Co., Ltd. 3D image processing apparatus improving depth accuracy of region of interest and method
CN102222329A (zh) * 2010-03-17 2011-10-19 微软公司 深度检测的光栅扫描
US20120176476A1 (en) * 2011-01-12 2012-07-12 Sony Corporation 3d time-of-flight camera and method
WO2013121267A1 (en) * 2012-02-15 2013-08-22 Mesa Imaging Ag Time of flight camera with stripe illumination
WO2014014838A2 (en) * 2012-07-15 2014-01-23 2R1Y Interactive illumination for gesture and/or object recognition

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62195579A (ja) * 1986-02-24 1987-08-28 Hitachi Ltd 車両用障害物検知装置
JPS6448687U (zh) 1987-09-22 1989-03-27
JPH06308239A (ja) 1993-04-22 1994-11-04 Mitsubishi Electric Corp 車両用光レーダ装置
JP3322489B2 (ja) 1994-11-01 2002-09-09 三洋電機株式会社 自動時刻設定装置
JPH08129064A (ja) * 1994-11-02 1996-05-21 Yazaki Corp 車間距離測定装置
JPH10153653A (ja) 1996-11-25 1998-06-09 Honda Access Corp 車載用レーザレーダ装置及びこれに応用可能なホログラムスキャナ
JP2002031516A (ja) * 2000-07-18 2002-01-31 Asahi Optical Co Ltd ３次元画像入力装置
JP2002039716A (ja) * 2000-07-25 2002-02-06 Olympus Optical Co Ltd 距離画像入力装置
JP4006577B2 (ja) * 2002-03-13 2007-11-14 オムロン株式会社 監視装置
JP2004125739A (ja) * 2002-10-07 2004-04-22 Omron Corp 物体検知装置および方法
US7064810B2 (en) * 2003-09-15 2006-06-20 Deere & Company Optical range finder with directed attention
JP4578797B2 (ja) * 2003-11-10 2010-11-10 パナソニック株式会社 撮像装置
JP2006030147A (ja) * 2004-07-22 2006-02-02 Hitachi Ltd 環境認識システムおよび移動機構
JP2006258604A (ja) * 2005-03-17 2006-09-28 Sanyo Electric Co Ltd 検出装置
JP2006329971A (ja) * 2005-04-27 2006-12-07 Sanyo Electric Co Ltd 検出装置
US8471812B2 (en) * 2005-09-23 2013-06-25 Jesse C. Bunch Pointing and identification device
JP4872948B2 (ja) 2008-02-27 2012-02-08 パルステック工業株式会社 ３次元形状測定装置および３次元形状測定方法
CN102113092A (zh) * 2008-08-04 2011-06-29 美国迅力光能公司 具有实时在线iv测量的卷对卷连续式薄膜pv制造工艺及设备
KR101020999B1 (ko) 2009-01-05 2011-03-09 엘지이노텍 주식회사 촬영 장치 및 이의 영상 제어방법
JP2010256291A (ja) 2009-04-28 2010-11-11 Toyota Motor Corp 距離画像撮影装置
US8849616B2 (en) * 2009-08-04 2014-09-30 Microsoft Corporation Method and system for noise simulation analysis useable with systems including time-of-flight depth systems
KR20110021500A (ko) * 2009-08-26 2011-03-04 유지상 이동객체의 실시간 추적과 거리 측정 방법 및 그 장치
JP5702059B2 (ja) * 2009-09-03 2015-04-15 日本信号株式会社 光測距装置
JP2011089874A (ja) * 2009-10-22 2011-05-06 Toyota Central R&D Labs Inc 距離画像データ取得装置
JP5469446B2 (ja) 2009-12-22 2014-04-16 パナソニック株式会社 物体検知装置
EP2378310B1 (en) * 2010-04-15 2016-08-10 Rockwell Automation Safety AG Time of flight camera unit and optical surveillance system
JP2011243862A (ja) * 2010-05-20 2011-12-01 Sony Corp 撮像デバイス及び撮像装置
CN101866056A (zh) * 2010-05-28 2010-10-20 中国科学院合肥物质科学研究院 基于led阵列共透镜tof深度测量的三维成像方法和系统
US8587771B2 (en) 2010-07-16 2013-11-19 Microsoft Corporation Method and system for multi-phase dynamic calibration of three-dimensional (3D) sensors in a time-of-flight system
US8803952B2 (en) * 2010-12-20 2014-08-12 Microsoft Corporation Plural detector time-of-flight depth mapping
JP2012168049A (ja) * 2011-02-15 2012-09-06 Stanley Electric Co Ltd 距離画像生成装置および距離画像生成方法
JP5978565B2 (ja) 2011-06-30 2016-08-24 富士通株式会社 監視装置および監視方法
KR101854188B1 (ko) 2011-10-25 2018-05-08 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법
KR101896307B1 (ko) 2012-01-10 2018-09-10 삼성전자주식회사 깊이 영상을 처리하는 방법 및 장치
JP2013156139A (ja) * 2012-01-30 2013-08-15 Ihi Corp 移動物体検出装置及び移動物体検出方法
JP2013156138A (ja) * 2012-01-30 2013-08-15 Ihi Corp 移動物体検出装置
US9651417B2 (en) * 2012-02-15 2017-05-16 Apple Inc. Scanning depth engine
KR20130098042A (ko) 2012-02-27 2013-09-04 삼성전자주식회사 깊이 정보 생성 장치 및 이를 포함하는 촬영 장치
US20130241762A1 (en) 2012-03-16 2013-09-19 Nikon Corporation Light-beam scanning for laser radar and other uses
KR102038533B1 (ko) 2012-06-14 2019-10-31 한국전자통신연구원 레이저 레이더 시스템 및 목표물 영상 획득 방법
JP6109496B2 (ja) * 2012-06-19 2017-04-05 株式会社Ｔｒホールディングス キャップ付き容器
JP2014009997A (ja) * 2012-06-28 2014-01-20 Ricoh Co Ltd 測距装置
KR102008233B1 (ko) * 2012-06-29 2019-08-07 삼성전자주식회사 거리 측정 장치 및 상기 거리 측정 장치를 이용한 거리 측정 방법
KR101909630B1 (ko) * 2012-10-30 2018-10-18 삼성전자주식회사 동작 인식 방법 및 동작 인식 장치
JP6489320B2 (ja) * 2013-11-20 2019-03-27 パナソニックＩｐマネジメント株式会社 測距撮像システム
JP5887326B2 (ja) * 2013-12-12 2016-03-16 モレックス エルエルシー コネクタ
CN112180397B (zh) * 2014-01-29 2023-07-25 Lg伊诺特有限公司 用于提取深度信息的装置及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101189097A (zh) * 2005-06-01 2008-05-28 飞腾股份有限公司 激光加工装置及激光加工方法
US20100290674A1 (en) * 2009-05-14 2010-11-18 Samsung Electronics Co., Ltd. 3D image processing apparatus improving depth accuracy of region of interest and method
CN102222329A (zh) * 2010-03-17 2011-10-19 微软公司 深度检测的光栅扫描
US20120176476A1 (en) * 2011-01-12 2012-07-12 Sony Corporation 3d time-of-flight camera and method
WO2013121267A1 (en) * 2012-02-15 2013-08-22 Mesa Imaging Ag Time of flight camera with stripe illumination
WO2014014838A2 (en) * 2012-07-15 2014-01-23 2R1Y Interactive illumination for gesture and/or object recognition

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109844560A (zh) * 2016-10-17 2019-06-04 罗伯特·博世有限公司 用于激光雷达系统的光学元件
CN109844560B (zh) * 2016-10-17 2024-01-09 罗伯特·博世有限公司 用于激光雷达系统的光学元件
CN110687516A (zh) * 2018-07-06 2020-01-14 江苏慧光电子科技有限公司 光束扫描的控制方法、装置、系统及相应的介质
CN113574864A (zh) * 2019-03-11 2021-10-29 Lg伊诺特有限公司 相机模块
CN113574864B (zh) * 2019-03-11 2024-01-09 Lg伊诺特有限公司 相机模块
US11885884B2 (en) 2019-03-11 2024-01-30 Lg Innotek Co., Ltd. Camera module
CN113994655A (zh) * 2019-05-16 2022-01-28 Lg伊诺特有限公司 相机模块

Also Published As

Publication number Publication date
US20160349369A1 (en) 2016-12-01
JP2021165749A (ja) 2021-10-14
US10338221B2 (en) 2019-07-02
US20200408915A1 (en) 2020-12-31
US20190277971A1 (en) 2019-09-12
EP3101382A4 (en) 2017-08-30
EP3101382A1 (en) 2016-12-07
CN106030239B (zh) 2020-10-09
JP6910499B2 (ja) 2021-07-28
JP6693880B2 (ja) 2020-05-13
WO2015115797A1 (ko) 2015-08-06
JP2020126060A (ja) 2020-08-20
US10802148B2 (en) 2020-10-13
JP7237114B2 (ja) 2023-03-10
US11680789B2 (en) 2023-06-20
CN112180397A (zh) 2021-01-05
JP2017505907A (ja) 2017-02-23
CN112180397B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN106030239A (zh) 用于提取深度信息的装置及方法
CN107424188B (zh) 基于vcsel阵列光源的结构光投影模组
KR102486385B1 (ko) 깊이 정보 획득 장치 및 방법
JP6132510B2 (ja) 三次元映像獲得装置、及び三次元映像獲得装置における奥行き情報の算出方法
US7349104B2 (en) System and a method for three-dimensional imaging systems
US20040213463A1 (en) Multiplexed, spatially encoded illumination system for determining imaging and range estimation
US20130250308A2 (en) Object detecting device and information acquiring device
CN104253947A (zh) 智能相机闪光灯
CN109425306A (zh) 深度测量组件
JP2012168049A (ja) 距離画像生成装置および距離画像生成方法
KR102117561B1 (ko) 센서 모듈 및 이를 포함하는 3차원 영상
KR102610830B1 (ko) 거리 정보를 획득하는 방법 및 디바이스
KR20160144148A (ko) 광학 장치 및 깊이 정보 생성 방법
CN114127583A (zh) 用于在飞行时间成像系统中使用的方法和装置
US20220155059A1 (en) Depth data measuring head, measurement device and measuring method
KR102464830B1 (ko) 센서 모듈 및 이를 포함하는 3차원 영상
JP2010085472A (ja) 画像投影・撮像装置
WO2019076811A1 (en) 3D CAMERA SYSTEM WITH IMAGE SENSOR ARRAY WITH SHUTTER DETRATING ADDRESSABLE LIGHT SOURCES
JP2017101965A (ja) 装置
US11994378B2 (en) Camera module
KR20150090779A (ko) 깊이 정보 추출 장치
KR20230027863A (ko) 카메라 모듈
JP2005070689A (ja) ３次元共焦点レーザ顕微鏡システム
KR20150090679A (ko) 깊이 정보 추출 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant