CN104104941B - 三维图像获取装置以及生成深度图像的方法 - Google Patents

三维图像获取装置以及生成深度图像的方法 Download PDF

Info

Publication number
CN104104941B
CN104104941B CN201410138665.9A CN201410138665A CN104104941B CN 104104941 B CN104104941 B CN 104104941B CN 201410138665 A CN201410138665 A CN 201410138665A CN 104104941 B CN104104941 B CN 104104941B
Authority
CN
China
Prior art keywords
image
group
degree
light
motion blur
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410138665.9A
Other languages
English (en)
Other versions
CN104104941A (zh
Inventor
朴勇和
金善权
尹熙善
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN104104941A publication Critical patent/CN104104941A/zh
Application granted granted Critical
Publication of CN104104941B publication Critical patent/CN104104941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

提供一种三维（3D）图像获取装置，以及在3D图像获取装置中生成深度图像的方法。所述方法可以包括顺序地向对象投射从光源生成的光透射信号；使用光调制信号调制由对象反射的反射光；使用在通过捕获已调制的反射光获得的全部组的第二多个图像当中的两组的第一多个图像的组合来计算相位延迟；以及基于相位延迟生成深度图像。

Description

三维图像获取装置以及生成深度图像的方法
相关申请的交叉引用
本申请要求于2013年4月8日在韩国知识产权局提交的韩国专利申请第10-2013-0038287号的优先权，其公开内容通过引用全面合并于此。
技术领域
示例性实施例涉及三维（3D）图像获取装置，以及通过使用3D图像获取装置生成深度图像的方法。
背景技术
在用于捕获目标的距离信息的三维（3D）相机或光探测和测距（LIDAR）技术领域的研究已经增长。此外，这些技术中的一个是通过测量捕获单元和对象之间的距离（以下简称“深度图像”）来测量光的传播时间的飞行时间（TOF）方法。
在TOF方法中，使用发光二极管（LED）或激光二极管（LD）将预定波长，例如，近红外（NIR）（850nm（纳米））的光投射到对象，并且使用光电二极管或相机来测量或捕获从对象反射的相同波长的光。从而，TOF方法可以提取深度图像。已经引入了多种TOF技术，其包括一系列的多个光学处理，诸如光从光源的投射、对象的反射、光调制、捕获和处理。
例如，光学快门方法是这样的方法：使用LED或LD将预定波长（例如，NIR850nm）的光投射到对象，并且使用图像增强器或预定的固态调制器光学地调制从反射自对象的相同波长的光获得的光学图像。使用包括在图像增强器或固态调制器的后部的诸如光电二极管（PD）、电荷耦合器件（CCD）、或互补金属氧化物半导体（CMOS）图像传感器（CIS）之类的图像传感器捕获图像。处理图像的强度值以获得深度图像。为了根据光的距离识别相位差或传播时间，需要大约几十到几百MHz（兆赫）的较高光调制率。为了获得该较高光调制率，可以使用包括多通道板（MCP）或基于GaAs的固态调制器的图像增强器。在现有技术中，已经发布了具有改善特性的基于GaAs的调制器设备，并且已经发布了使用电光材料的薄型调制器。
关于用于提取深度图像或深度信息的光学处理，已经引入了驱动光源和光调制器的方法、使用诸如三角波（斜波）的特定波形的方法、以及使用正弦波的方法。已经引入了根据各自的波形来驱动光源和光调制器的方法，以及基于捕获的图像的强度提取和计算深度图像的方法，即，多种深度算法。噪声或信号畸变通常发生在3D相机中使用的光源、光调制器、或捕获设备（CCD或CIS）中。因此，噪声或信号畸变可以导致深度图像中的误差。为了除去噪声或信号畸变，必须使用合适的设备来除去噪声分量。在现有技术中，已知使用高阶的正弦波（其是特定波形）的方法、使用码分多址（CDMA）方法的方法、或除去随机误差的方法来除去噪声或信号畸变。
在现有技术中，使用TOF方法的3D相机通过使用本质上具有不同相位（例如，0度、90度180度和270度）的驱动信号顺序地获得四个红外线（IR）图像来生成一个深度图像。当四个红外图像的捕获时间彼此不同时导致运动模糊。换句话说，因为运动目标的四个红外图像被顺序地捕获，所以在四个图像的整个捕获时间期间，一些像素（或图像）的对象可能改变，或者不同深度信息（而不是相同深度信息）的目标可能被捕获。运动模糊的频率在运动目标的边界面上较高。此外，当目标快速运动或当捕获相对较慢地发生时，运动模糊的频率也较高。
与典型的运动模糊相比，深度图像中的运动模糊具有不同的后果。相对于诸如其它目标和其背景的目标，典型的运动模糊的后果是在运动目标的边界面处的平均图像，例如，平均亮度或颜色。然而，不是为典型的运动模糊而获得的深度图像的平均，而是在关于用于获得深度图像的相机的运动模糊的计算操作中生成发散（divergence）。从而，关于相机的运动模糊，导出意外的结果。因此，重要的是除去运动模糊。
发明内容
示例性实施例可以提供用于通过使用两组图像的组合生成一个深度图像来改善捕获深度图像的等级的三维（3D）图像获取装置。
示例性实施例可以提供在3D图像获取装置中生成深度图像的方法。当使用飞行时间（TOF）方法捕获运动目标时，在检测和恢复不可避免导致的运动模糊的部分（诸如，边缘）之后生成深度图像，以便避免运动模糊所致的深度图像的发散。此外，示例性实施例可以包括在现有技术中用于生成深度图像的光源、光调制器、或捕获设备，所以不招致额外设备的额外费用。因为不使用额外设备，所以可以降低额外计算。
其他方面将在下面的描述中部分地阐明，并将从该描述中部分地变得清楚，或者可以通过实践提供的实施例而部分地习得。
根据示例性实施例的一方面，生成深度图像的方法包括：向对象顺序地投射从光源生成的光透射信号；使用光调制信号调制由对象反射的反射光；使用在通过捕获已调制的反射光获得的全部组的第二多个图像当中的两组的第一多个图像的组合计算相位延迟；以及基于相位延迟生成深度图像。
根据示例性实施例的另一方面，生成深度图像的方法包括：向对象顺序地投射在光源中生成的光透射信号；使用光调制信号调制由对象反射的反射光；获得相应于0度的第一图像、相应于180度的第二图像、相应于90度的第三图像，以及相应于270度的第四图像，其中0度、180度、90度和270度是已调制的反射光的相位；通过确定第一组中的图像的第一总和与第二组中的图像的第二总和之间的差是否等于或大于第一临界值来确定是否存在通过对象的运动生成的运动模糊图像，该第一组包括第一图像和第二图像，该第二组包括第三图像和第四图像，以及使用其他组的图像恢复包括运动模糊图像的组的图像；使用所述其他组的图像和恢复的组的图像计算相位延迟；以及基于相位延迟生成深度图像。
根据示例性实施例的另一方面，三维（3D）图像获取装置包括：光源，被配置成向对象顺序地投射光透射信号；光调制器，被配置成使用具有增益波形的光调制信号调制由对象反射的反射光；捕获设备，被配置成捕获由光调制器调制的、已调制的反射光以生成多个第二图像；以及深度图像处理器，被配置成使用在使用捕获装置生成的全部组的第二多个图像当中的两组的第一多个图像的组合计算相位延迟；以及基于相位延迟生成深度图像。
根据示例性实施例的另一方面，恢复包括运动模糊的图像的方法包括：通过确定第一组中的图像的第一总和与第二组中的图像的第二总和之间的差是否等于或大于第一临界值来确定运动模糊图像是否发生在反射光信号中；响应于发生在反射光信号中的运动模糊图像，通过比较第一组中的图像的差与第二组中的图像的差来确定包括运动模糊图像的组；以及使用不包括运动模糊图像的组的其他组的图像来恢复包括运动模糊图像的组的图像。所述第一组包括反射光信号的第一图像和第二图像，并且所述第二组包括反射光信号的第三图像和第四图像。所述第一图像、第二图像、第三图像和第四图像每个具有不同的相位。
附图说明
从以下结合附图对示例性实施例的描述，这些和/或其他方面将变得清楚和更加容易理解。其中：
图1是示出根据实施例的、用于通过使用飞行时间（TOF）方法生成深度图像的三维（3D）图像获取装置的示意性的结构图；
图2A到图2D示出根据另一实施例的、在从光源向对象投射四个不同的光透射信号之后通过使用捕获设备生成四个不同的图像（子帧）的操作；
图3A到图3D示出根据另一实施例的、在通过使用光调制器使用四个不同的光调制信号来调制反射光之后生成四个不同的图像（子帧）的操作；
图4示出根据另一实施例的通过使用运动窗口方法生成深度图像的操作；
图5示出根据另一实施例的光学处理的流程；
图6A和图6B是用于说明根据另一实施例的光源和光调制器的输出波形的图；
图7A和图7B是用于说明根据另一实施例的、在通过使用捕获设备捕获的子帧中生成的运动模糊的类型的示意图；
图8A和图8B是用于说明根据另一实施例的、通过使用图像处理器恢复运动模糊的操作的示意图；
图9是示出根据另一示例性实施例的、通过使用3D图像获取装置生成深度图像的方法的流程图；
图10是示出根据另一示例性实施例的、通过使用3D图像获取装置生成深度图像的方法的流程图；
图11A和图11B是用于说明当捕获运动对象时发生的运动模糊的图像；
图12示出根据另一实施例的、为了确定运动模糊向图11A和图11B的图像应用等式19的结果；以及
图13A和图13B示出根据另一实施例的、运动模糊被生成的深度图像以及运动模糊被恢复的深度图像。
具体实施方式
现在将对实施例进行详细参考，在附图中示出了实施例的例子，附图中相似的附图标记始终指代相似的元件。在这点上，所述实施例可以具有不同的形式，并且不应被看作是局限于此处的描述。因此，以下参照附图对实施例的描述仅仅是为了解释本描述的各个方面。如此处使用的，术语“和/或”包括一个或多个相关列出项目中的任意一个以及所有组合。
因为示例性实施例允许多种改变和许多的实施例，所以特定实施例将在附图中示出并且在写出的描述中详细地描述。然而，这不意欲将示例性实施例限制到实践的特定模式，并且将理解地是不脱离精神和技术范围的全部改变、等效物和代替物包含在示例性实施例中。在示例性实施例的描述中，当认为现有技术的特定详细说明可能不必要地模糊示例性实施例的实质时省略所述特定详细说明。
虽然如“第一”、“第二”等等的这种术语可以用于描述多种组件，但是这种组件不必限于以上术语。以上术语仅用于将一个组件区别于另一组件。
本说明书中使用的术语仅仅用于描述特定示例性实施例，并且不意欲限制示例性实施例。单数形式使用的表达式包含复数形式的表达式，除非在上下文中具有清楚地不同的意识。在给出的说明书中，将理解的是，诸如“包括”或“具有”等等的术语是用来指示说明书中公开的特征、数字、步骤、动作、组件、部分或其组合的存在，并且不意欲排除可以存在或可以添加一个或多个其他特征、数字、步骤、动作、组件、部分或其组合的可能性。
下面将参照附图更详细地描述实施例。向相同或对应的那些组件给予相同的参考标号而不考虑图号，并且省略多余的说明。
图1是示出根据实施例的、用于使用飞行时间（TOF）方法生成深度图像的三维（3D）图像获取装置100的示意性的结构图。
参照图1，3D图像获取装置100可以包括发出预定波长的光的光源101、驱动光源101的光源驱动单元102、调制由对象200反射的光的光调制器103、驱动光调制器103的光调制器驱动单元104、从由光调制器103调制的光生成图像的捕获设备105、基于捕获设备105的输出生成深度图像的深度图像处理器107、以及控制光源驱动单元102、光调制器驱动单元104、捕获设备105以及深度图像处理器107的操作的控制单元106。此外，通过其将反射光聚焦在光调制器103的区域中的光调制器的光入射面的第一镜头108、以及仅使具有预定波长的光穿过并除去背景光或杂光的滤波器109也可以布置在光调制器103的光入射面上。此外，将已调制的光聚焦在捕获设备105的区域中的第二镜头110可以进一步布置在光调制器103和捕获设备105之间。
例如，为了安全，光源101可以是会发出人眼不可见的具有约850nm波长的光的发光二极管（LED）或激光二极管（LD）。然而，光源的波长的波段和类型不局限于此。光源驱动单元102可以根据从控制单元106接收到的控制信号来驱动光源101，例如，以调幅方式或调相方式。从光源101投射到对象200的光透射信号可以根据光源驱动单元102的驱动信号具有周期性的连续函数，该连续函数具有预定周期。例如，光透射信号可以具有被具体定义的波形，诸如正弦波、斜波、或方波，但是还可以是典型的、未定义的波形。
光调制器103根据光调制器驱动单元104的控制来调制由对象200反射的光。光调制器驱动单元104根据从控制单元106接收到的控制信号驱动光调制器103。例如，光调制器103可以根据由光调制器驱动单元104提供的具有预定波长的光调制信号通过变化反射光的增益来调制反射光的振幅。因此，光调制器103具有可变增益。光调制器103可以以约几十到数百MHz的相对较高的光调制速度操作，以便根据距离识别光的相位差或传播时间。例如，光调制器103可以是包括多通道板（MCP）的图像增强管、基于GaAs的固态调制器、或使用电光材料形成的薄型调制器。虽然在图1中示出了投射类型的光调制器103，但是还可以使用反射类型的光调制器。
捕获设备105根据控制单元106的控制通过检测由光调制器103调制的反射光来生成图像。当仅测量到对象200的预定点的距离时，例如，捕获设备105可以是单个光学传感器，诸如光电二极管或积分器。然而，当将在相同时间测量到对象200上的多个点的距离时，捕获设备105可以具有包括多个光电二极管或其他光学检测器的一维阵列或二维阵列。例如，捕获设备105可以是具有二维阵列的电荷耦合器件（CCD）图像传感器或互补金属氧化物半导体（CMOS）图像传感器（CIS）。
深度图像处理器107基于捕获设备105的输出根据深度图像生成算法生成深度图像。例如，深度图像处理器107可以是单独的集成电路（IC），或可以是安装在3D图像获取装置100中的软件。当深度图像处理器107是软件时，深度图像处理器107可以存储在分离的便携式存储介质中。
下文中，将简短地描述具有上述结构的3D图像获取装置100的操作。根据实施例，光源101的透射光或光透射信号是以具有预定周期的连续函数的形式，诸如正弦波或方波，并且具有不同相位。换句话说，根据控制单元106的控制信号控制透射光或光透射信号以具有相同波形但是不同相位。虽然已经如上描述了光源101的透射光被形成为具有四个不同相位，但是光源101的透射光还可以被形成为具有相同相位的透射光而且光调制器103的光调制信号被形成为具有四个不同相位。此外，四个不同相位的光透射信号按0度、180度、90度和270度的次序顺序地投射。本说明将集中在具有四个不同相位的光透射信号按0度、180度、90度和270度的次序顺序地投射。
光源101根据控制单元106和光源驱动单元102的控制向对象200顺序地投射具有预定周期和波形的透射光的四个不同光束。例如，透射光1（0度）被生成并且在时间段T1期间向对象200投射。然后，透射光2（180度）被生成并且在下一时间段T2期间向对象200投射。然后，透射光3（90度）被生成并且在下一时间段T3期间向对象200投射。然后，投射光4（270度）被生成并且在下一时间段T4期间向对象200投射。顺序地投射到对象200的透射光可以是以诸如正弦波的具有预定周期的连续函数的形式。
在投射到对象200的透射光在对象200的面上被反射之后，透射光入射到第一镜头108。对象200典型地具有多个面，该多个面距离3D图像获取装置100具有不同距离，即，不同深度。为了简化描述，图1中示出的对象200具有五个面P1到P5，该五个面P1到P5具有不同深度。因为透射光由具有不同深度的五个面P1到P5中的每一个反射，所以在时间上被不同地延迟（即，不同相位）的五个反射光束被分别地生成。例如，当透射光1在对象200的五个面P1到P5上被反射时，生成具有不同相位的反射光1的五个光束。当透射光2在对象200的五个面P1到P5上被反射时，生成具有不同相位的反射光2的五个光束。此外，透射光4被五个面P1到P5反射，生成了具有不同相位的反射光4的五个光束。由面P1（其距离3D图像获取装置100最远）反射的反射光被相位延迟ΦP1才到达第一镜头108。由面P5（其最接近3D图像获取装置100）反射的反射光被相位延迟比ΦP1小的ΦP5才到达第一镜头108。
第一镜头108将反射光聚焦在光调制器103的区域中。仅透射具有预定波长的光的滤波器109可以布置在第一镜头108和光调制器103之间以除去除了被使用的波长的光之外的背景光或杂光。例如，当光源101发出具有约850nm的NIR波长的光时，滤波器109可以是透射约850纳米的NIR波段的IR带通滤波器。因此，入射到光调制器103的光可以主要是从光源101发出并且由对象200反射的光。虽然滤波器109布置在第一镜头108和光调制器103之间，但是可以交换第一镜头108和滤波器109的位置。例如，已经首先透射通过滤波器109的NIR光可以通过第一镜头108而聚焦于光调制器103。
光调制器103将反射光调制为具有预定波长的光调制信号。光调制器103中的增益波形的周期可以与波形的周期相同。参照图1，光调制器103可以调制由对象200的五个面P1到P5分别反射的反射光1的五个光束，并且将其提供给捕获设备105。光调制器103还可以顺序地调制反射光2到5中的每一个的五个光束并且将其提供给捕获设备105。
其振幅使用光调制器103被调制的光穿过第二镜头110。这里，光的放大率被调整并且光被重新聚焦。然后，光到达捕获设备105。因此，已调制的光通过第二镜头110聚焦在捕获设备105的区域中。捕获设备105通过在曝光时间期间接收已调制的光来生成图像。例如，如图2A中指示的，捕获设备105接收反射光1的五个光束，该五个光束分别在对象200的五个面P1到P5上被反射，然后在曝光时间的预定周期期间被调制以生成图像1（CIS图像1）。接下来，如图2B中示出的，捕获设备205接收反射光2的五个光束，该五个光束分别地在对象200的五个面P1到P5上被反射然后在曝光时间的预定周期期间被调制以生成图像2（CIS图像2）。最终，通过重复以上操作，如图2C中示出的，捕获设备105接收反射光4的五个光束，该五个光束分别地在对象400的五个面P1到P5上被反射然后在曝光时间的预定周期期间被调制以生成图像4（CIS图像4）。用这样的方式，如图2D中所示，可以顺序地获得四个不同的图像。图像1到图像4可以每个是用于生成具有深度信息的帧的图像的子帧图像。例如，当假定深度信息的帧的周期是Td时，用于获得四个图像1到图像4的捕获设备105中的曝光时间可以约是Td/4。
参照图2A，在第一子帧中，从光源101投射到对象200的透射光1由对象200的五个面P1到P5反射以生成反射光1的五个光束。反射光1的五个光束使用光调制器103调制，然后到达捕获设备105。在图2中，为了描述方便起见，捕获设备105仅包括分别相应于五个面P1到P5的五个像素。因此，反射光1的五个光束可以分别地入射到相应的五个像素上。如图2A中示出的，分别在面P1到P5上反射的反射光1的五个波束根据从3D图像获取装置100到面P1到P5的距离而具有不同的相位延迟ΦP1到ΦP5。例如，捕获设备105可以通过在约Td/4的曝光时间期间捕获反射光1来生成图像1。以与上面描述的相同的方式，如图2B和图2C中示出的，从第二子帧到第四子帧，在具有不同深度的五个面P1到P5上生成不同的相位延迟ΦP1到ΦP5。
虽然在图2A到图2D中四个不同的光透射信号被透射到对象并且使用捕获设备生成四个不同的图像（子帧），但是可以在每个子帧中使用同样的透射光，并且光调制器103可以将反射光调制为用于子帧中的每一个的不同的增益波形。图3示出根据另一实施例的、在光调制器103中使用四个不同的光调制信号调制反射光之后生成四个不同的图像（子帧）的操作。参照图3，由对象200反射的反射光在每个子帧中具有相同波形和相位。如上所述，根据对象200的面P1到P5在每个子帧的反射光中存在不同的相位延迟ΦP1到ΦP5。如图3A到图3C中所示，在第一子帧中，光调制器103使用光调制信号1（0度）调制反射光。在第二子帧中，光调制器103使用具有与光调制信号1不同相位的光调制信号2（180度）调制反射光。虽然在图3A到图3D中未示出，但是在第三子帧中，光调制器103将反射光调制为具有另一不同相位的光调制信号3（90度）。在第四子帧中，光调制器103将反射光调制为另一光调制信号4（270度）。这里，光调制信号1到4是具有0度、180度、90和270度的不同相位的信号。此外，光调制信号1到4可以具有相同周期和波形。然后，如图3D中所示出，可以获得四个不同的图像1到4。在图2和图3中，虽然如上所述，调制图像被称为CIS图像1到CIS图像4，但是捕获设备105不局限于CIS。
通过如图2中所示投射具有不同相位（0、180、90和270度）的光透射信号、或通过如图3中所示使用具有不同相位（0，180，90和270度）的光调制信号1到4所获得的四个图像被发送到深度图像处理器107。深度图像处理器107基于该四个图像根据算法生成深度图像或深度信息。此外，根据另一实施例，为了有效地除去由对象的运动所致发生的运动模糊，深度图像处理器107执行用于确定运动模糊是否已经发生在该四个图像（相应于0度的第一图像、相应于180度的第二图像、相应于90度的第三图像、以及相应于270度的第四图像）中的算法。当运动模糊生成时，在深度图像处理器107中执行算法以用于恢复其中生成了运动模糊的图像或像素。
图4示出根据另一实施例的通过使用运动窗口方法生成深度图像的操作。
如图2和图3中示出的，在生成深度图像时，深度图像处理器107使用四个顺序捕获的强度图像1到4。四个捕获的图像关于光源具有0度、180度、90度和270度的不同相位并且被标记为CIS。图1中示出的捕获设备105（不限于CIS）基于四个强度图像1到4生成深度图像。
如图4中所示，使用运动窗口方法获得四个图像。为了捕获图像，以下面的等式1中示出的次序连续地获得图像。
[等式1]
换句话说，以0度、180度、90度和270度的次序捕获对象，以获得连续图像。如图4中所示，包括的四个图像被组合（400）从而两个新的图像被捕获并且两个较早的图像被顺序地除去。因此，如下面的等式2中表示的获得图像的组合：
[等式2]
或
其中p是任意数。
通过使用运动窗口方法获得的四个图像被划分成两个组，即，第一组U第二组V（410）。第一组U被划分为到并且第二组V被划分为和基于第一组U的图像和第二组V的图像之间的差来形成图4中示出的中间图像411和412。
使用等式2的图像的组合根据等式3计算深度图像。第一组U包括和并且第二组V包括和
[等式3]
如上面的等式3中表示的，通过使用四个图像当中两组的组合来生成深度图像，可以在用于获得两个图像的时间段中获得一个深度图像（即，在运动窗口方法中，从多个顺序获得的图像当中，两个图像被捕获并且两个先前捕获的图像被除去）。其益处在于，可以以比现有技术中在捕获四个图像之后才获得一个深度图像的示例更高的速度获得深度图像。
在上述实施例中，已经描述了通过使用以2D阵列排列的像素来提取图像。然而，根据另一实施例，实施例的使用范围不受像素是否以一维阵列排列或是否使用单个像素限制。例如，当测量单个像素的距离时，可以使用光电二极管或积分器而不是CIS。
下文中，将描述在能够生成基于TOF的深度图像的3D图像获取装置中除去运动模糊的方法。导致运动模糊的本质原因是在四个IR图像的IR图像捕获区域中的对象或面的亮度方面的突变。从而，将描述检测（确定）已经发生了运动模糊的像素（或图像）的方法。然后，将描述检测（确定）区域中对象不改变的部分的方法，以基于检测到的部分生成深度图像并且除去运动模糊所致的运算的发散。
图5示出根据另一实施例的光学处理的流程。图6A和图6B是用于说明根据另一实施例的光源和光调制器的输出波形的图。
参照图5、图6A和图6B，示出了3D图像获取装置100中的红外光的光学处理操作。已经透射通过IR滤波器的红外光（例如，中心波长850nm）到达光调制器103，并且被调制以到达在3D图像获取装置100的后部的捕获设备105。这一系列光学处理如下所述展开。
图6A是光输出波形的波形图，并且图6B是光调制器的驱动波形图。波形可以是各种周期性的波，诸如正弦波、方波或斜波。为了方便起见，将描述用于光输出波（光透射信号）是方波并且光调制器的驱动波形是正弦波的实施例的等式。此外，如下定义变量和符号：
第s个发射光的光学功率
θ(s)第s个发射光的相移
第s个接收光的光学功率
接收环境光
r目标面的光衰减
G快门增益
快门增益DC偏移
ω工作频率
φTOFTOF（飞行时间）所致的相位延迟
红外光输出（或光透射信号）是方波形式，并且可以在下面的等式4中定义：
[等式4]
换句话说，红外光输出是以方波形（AC分量）与输出光的DC偏移（它是DC分量）的组合的形式。根据本实施例，s是1到4并且红外光具有诸如0度、180度、90度和270度的不同相位。
在下面的等式5中表示已经透射通过IR滤波器的反射光：
[等式5]
反射光在对象的面上反射之后返回。从而，反射光是以反射率r的方括号（square）的形式，其中对象的面反射率、镜头大小等等被综合考虑，并且给出了TOF方法所致的相位差，并且还给出了类似于红外光的外界光。
在下面的等式6中表示光调制器（光学快门）的调制波形（增益）或光调制信号：
[等式6]
光调制信号是以正弦波（AC分量）和DC分量的组合的形式。
在下面的等式7中表示到达捕获设备的光信号：
[等式7]
s=1,2,...,4
从捕获设备发出的输出信号（或输出图像）是以通过积分等式7的光信号获得的形式，并且可以表示为下面的等式8：
[等式8]
基于等式8的四个连续捕获的图像被表示在下面的等式9到等式12中：
[等式9]
[等式10]
[等式11]
[等式12]
这里，A和B表示在下面的等式13中：
[等式13]
即使当光源的输出波形或光透射信号是正弦波而不是方波时，等式也可能类似于以上等式而获得。在此情景中，A具有不同的结果，如下面的等式14中表示的：
[等式14]
关于等式9到等式12的四个图像，当未知的符号r、A和B被除去以对于相位延迟（ΦTOF）解出等式时，深度所致的相位延迟可以如下面的等式15中所示计算：
[等式15]
在等式9到等式15中，假定静止图像。换句话说，等式9到等式15是在不变的对象和面反射率的假定下建立的等式。具体来说，等式9到等式12用于检测和恢复运动模糊。
图7A和图7B是用于说明根据另一实施例的、在通过使用捕获设备捕获的子帧中生成的运动模糊的类型的示意图。将参照图7A和图7B描述检测运动模糊像素（图像）的方法。
图7A示出当对象从目标A改变到目标B的时候生成运动模糊的示例。当3D图像获取装置100顺序地捕获四个图像时，运动模糊可以如图7B中所示被划分。当捕获相同目标（捕获目标A或目标B）的四个图像时（情况0和情况5），与静止图像相同的稳态深度图像可以被生成而没有运动模糊。然而，在四个图像中，当在预定时刻在目标中发生改变时（情况1到情况4），运动模糊发生。在运动模糊不发生的情况0和情况5中建立上面描述的等式9到等式11。从而，可以基于等式9到等式11确定运动模糊是否已经发生在预定像素（或图像）中。
下面的等式16可以从等式9和等式10中获得：
[等式16]
此外，下面的等式17可以从等式11和等式12获得：
[等式17]
当没有运动模糊生成时，等式16和等式17的结果将是同样的。从而，可以获得用于下面的等式18（没有运动模糊发生的示例）以及下面的等式19（运动模糊发生的示例）中的运动模糊像素（图像）的判别式。
[等式18]
[等式19]
|B1-B2|≥ε,
其中ε是可以根据三维（3D）图像获取装置或场景的噪声级别适当地确定的常数。
图8A和图8B是用于说明根据另一实施例的、通过使用图像处理器恢复运动模糊的操作的示意图。将参照图8A和图8B描述恢复运动模糊像素的方法。
下面的等式20可以从等式9和等式10中获得：
[等式20]
此外，下面的等式21可以从等式11和等式12获得：
[等式21]
下面的等式22可以从等式20和等式21中获得：
[等式22]
因此，下面的等式23可以从等式16、17以及22获得：
[等式23]
常数k指的是指示TOF系统的调制特性的解调对比度。常数k通过下面的等式24定义，并且可以通过红外线图像的变化值与DC偏移值之间的比率表示为系统常数。此变化值是通过在捕获之前的校准来测量的已知值。
[等式24]
k=A/B
如可以从等式9到等式12看出的，通过正弦函数和余弦函数表示相位延迟所致的红外线图像的大小。此外，通过将函数浮点化来读取AC值和DC偏移值以实验式地计算A和B以及在A与B之间的比率k。
因此，可以基于和已知系统常数k在下面的等式25和等式26中表示为：
[等式25]
[等式26]
相比之下，可以基于和已知系统常数k在下面的等式27和等式28中表示：
[等式27]
[等式28]
可以使用等式25到等式28使用恢复的像素（图像）来计算根据等式15的TOF所致的相位延迟。此外，等式26和等式28具有复杂的公式和大量计算。从而，还可以应用诸如下面的等式29和等式30的简化的近似公式：
[等式29]
[等式30]
将描述用于确定运动模糊是否发生在和（图8A中示出的情况1或情况2）或者在和（图8A中示出的情况3和情况4）中。换句话说，确定运动模糊已经发生在第一组（和）以及第二组（和）中的哪一个中，并且可以基于等式25恢复运动模糊被生成的组或像素（图像）。
当将被捕获的目标改变时，在红外线图像的亮度方面的变化很大。从而，在情况1到情况4的每个区域中，考虑到图像的亮度的变化基于下面的等式31和等式32确定其中生成了运动模糊的区域：
[等式31]
[等式32]
换句话说，如果满足等式31，则确定运动模糊已经发生在或中。如果满足等式32，则确定运动模糊已经发生在或中。
如图8B中示出的，在情况1或情况2（其中运动模糊发生在或中）中，丢弃和（图像）的测量值但是使用基于等式26恢复的值。换句话说，使用其中没有生成运动模糊的图像（和）来恢复包括运动模糊的图像。相反，在情况3和情况4中，因为运动模糊已经发生在或中，所以丢弃测量值但是使用基于等式28恢复的值。因此，如图8B中示出的，在捕获了四个图像的全部区域中，可以稳定地生成深度图像，就像仅正在捕获单个目标（目标1或目标2）一样。
图9是示出根据另一实施例的、在3D图像获取装置中生成深度图像的方法的流程图。
参照图9，在操作900中，在光源中生成的多个光透射信号被顺序地透射到对象。光透射信号可以具有不同的相位，诸如0度、180度、90度和270度或可以具有相同相位。
在操作902中，使用光调制信号调制由对象反射的光。当光透射信号具有不同相位时，光调制信号可以具有相同相位。如果光透射信号以相同相位投射，则使用相应于不同相位，即，0度、180度、90度和270度的光调制信号来调制反射光。
在操作904中，使用通过捕获已调制的反射光所获得的多个图像当中的两组图像的组合来计算相位延迟。在操作904中，使用来自已调制的光的相应于0度和180度的两个图像与相应于90度和270度的两个图像的组合来计算根据深度的相位延迟。
在操作906中，基于相位延迟生成深度图像。
图10是示出根据另一实施例的、在3D图像获取装置中生成深度图像的方法的流程图。
参照图10，在操作1000中，在光源中生成的多个光透射信号被顺序地投射到对象。在操作1002中，使用光调制信号调制由对象反射的光。来自光源的光透射信号或来自光调制器的光调制信号可以具有不同相位，诸如0度、180度、90度和270度，或者可以具有相同相位。
在操作S1004中，获得相应于已调制的反射光的相位（即，0度、180度、90度和270度）的第一图像到第四图像。此外，顺序地获得相应于0度的第一图像、相应于180度的第二图像、相应于90度的第三图像、以及相应于270度的第四图像。在这种情况下，四个图像被保持从而两个图像（例如，相应于90度和270度的图像）被捕获，并且两个先前捕获的图像（例如，相应于0度和180度的图像）被除去。
在操作1006中，确定包括第一图像和第二图像的第一组中的图像的总和与包括第三图像和第四图像的第二组中的图像的总和之间的差是否等于或大于第一临界值。第一临界值可以根据系统或场景的噪声级别可选地确定。在静止图像或当运动模糊被生成的情况下，第一组中的图像的总和与第二组中的图像的总和不同。从而，当第一组中的图像的总和与第二组中的图像的总和之间的差等于或大于第一临界值时，它指示存在运动模糊。如果不存在运动模糊（如果第一组中的图像的总和与第二组中的图像的总和相同），则方法进行到操作1014和操作1016以使用第一组和第二组的图像来计算相位延迟，以生成深度图像。
在操作1008和操作1010中，如果存在运动模糊，则确定运动模糊存在于第一组和第二组中的哪个中。在操作1008中，如果在第一图像到第四图像中存在运动模糊，则确定运动模糊存在于第一组和第二组中的哪个中。运动模糊的存在指示在图像的亮度方面的较大变化。因此，确定在具有亮度方面的较大变化的组中生成运动模糊。以上面参照等式31和等式32的方式确定亮度方面的变化。
在操作1012中，使用其他组的图像恢复具有运动模糊的组的图像。当通过包括具有运动模糊的组的图像来生成深度图像时，在结果图像中生成发散。从而，获得完全不同的结果。因此，在恢复具有运动模糊的图像之后生成相位延迟和深度图像。为了恢复运动模糊，使用不具有运动模糊的组的图像和上述系统变量k。可以在图像测试中测量和计算解调常数，它是上面等式24中的常数，或如上所述的系统变量k。通过正弦函数和余弦函数表示如等式9到等式12中的相位延迟所致的图像的大小，并且图像通过图形表示以读取图像的AC和DC偏移值，由此实验式地计算A和B以及A与B之间的比率k。
在操作1014和操作1016中，计算相位延迟并且生成深度图像。
将描述通过向实际图像应用根据当前实施例的除去运动模糊的方法来检查根据当前实施例的除去运动模糊的方法的结果。系统的解调常数k被测量，并且使用连续的红外线图像生成深度图像。分别地计算运动模糊被除去以及运动模糊不被除去的示例，由此比较深度图像的精确度以及深度图像是否聚集。
图11A和图11B是用于说明当捕获运动对象时生成的运动模糊的图像。参照图11A，示出了相应于0度、180度、90度和270度的图像，其中示出处于转动状态的条形目标。如可以从图11B的重叠的图像中看出的，边缘周围的图像模糊。
图12示出根据另一实施例的、为了确定运动模糊向图11A和图11B的图像应用等式19的结果。
图12示出向图11中示出的图像应用等式19中的用于确定运动模糊的判别式的结果。图像主要具有0值但是在其边缘部分具有相对较高值，由此精确地搜索运动模糊的部分。
图13A和图13B示出根据另一实施例的、运动模糊被生成的深度图像以及运动模糊被恢复的深度图像。
图13A示出在运动模糊被恢复之前的原始图像，并且图13B是根据实施例的运动模糊被恢复的图像。参照运动模糊已经发生的边缘部分，在应用运动模糊恢复算法之前深度图像被显著地发散。从而，给出意外的值（参见图13A）。然而，在应用算法之后，深度图像稳定并且给出物理上有意思的结果（参见图13B）。
根据实施例的3D图像获取装置，基于两组图像的组合生成深度图像，由此提高捕获深度图像的速率（rate）。
此外，按照根据另一实施例的3D图像获取装置，当使用TOF方法捕获运动目标时，在检测并恢复诸如边缘的部分中的不可避免的运动模糊之后生成深度图像。从而，可以避免运动模糊所致的深度图像的发散。此外，因为使用在现有技术中用于生成深度图像的光源、光调制器、或捕获设备，所以不需要用于额外设备的额外费用，并且可以降低额外的计算量。
此处描述的设备可以包含处理器、用于存储程序数据并运行它的存储器、诸如磁盘驱动器的永久存储器、用于处理与外部设备的通信的通信端口、以及包括显示器、键等等的用户接口设备。当包含软件模块时，这些软件模块可以在诸如只读存储器（ROM）、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储器设备之类的计算机可读介质上存储为可在处理器上运行的程序指令或计算机可读代码。计算机可读记录介质还可以分布在经网络耦合的计算机系统上，从而使计算机可读代码以分布式方式存储和运行。此介质可以由计算机读取、存储在存储器中、并且由处理器运行。
此处引用的包括出版物、专利申请和专利的所有引用通过参考相同范围被合并于此，就像每个参考被个别地和具体地指示以在此处通过参考合并并且全面阐明一样。
为了促进对示例性实施例的原理的理解的目的，已经对附图中示出的实施例作出参考，并且已经使用专用语言以描述这些实施例。然而，不打算通过此专用语言限制范围，并且示例性实施例将应解释为包含将对本领域普通技术人员通常发生的全部实施例。
可以按照功能块组件和各种处理步骤来描述示例性实施例。可以通过被配置成执行特定功能的许多硬件和/或软件组件实现这种功能块。例如，示例性实施例可以采用可以在一个或多个微处理器或其他控制设备的控制下实现各种功能的多种集成电路组件，例如，存储元件、处理元件、逻辑元件、查找表等等。类似地，其中使用软件编程或软件元件实现示例性实施例的元件，示例性实施例可以利用多种算法利用诸如C、C++、Java、汇编程序等等的任一编程或脚本语言实现，利用数据结构、对象、进程、例程或其他编程元件的任一组合实现该多种算法。可以在运行在一个或多个处理器上的算法中实现功能方面。此外，示例性实施例可以采用用于电子学配置、信号处理和/或控制、数据处理等等的许多现有技术。词“机制”和“元素”被概括地使用，并且不局限于机械或物理实施例，但是可以将软件例程和处理器等等一起包括。
此处示出和描述的特定实现是示例性实施例的说明的例子，并且不意欲以任何方式在其他方面限制该范围。为了简洁起见，可以不详细描述系统的传统的电子学、控制系统、软件开发及其他功能方面（以及系统的个体的操作组件的组件）。此外，在给出的多个图中示出的连接线或连接器是用来表示多种元件之间的示例性功能关系和/或物理或逻辑耦接。应该注意到，可以在实际的设备中存在许多替换或额外功能关系、物理连接或逻辑连接。此外，没有项或组件对本发明的实践必不可少，除非元件被具体地描述为“本质”或“关键的”。
在描述示例性实施例的上下文中（特别是在以下权利要求的上下文中）使用的术语“一”、“一个”、“该”以及类似引用将被解释为覆盖单数和复数两者。此外，此处值的范围的引用仅仅意欲用作个别地参考落入范围之内的每个单独的值的简写方法，除非此处另有陈述，每个单独的值被结合进说明书中，好像它在此处被个别地引用一样。最终，可以以任一适当的次序执行此处描述的全部方法的步骤，除非在此处另有陈述或通过上下文清楚地给出相反情况。此处提供的任一和全部示例或示例性语言（例如，“诸如”）的使用仅仅打算更好地阐明示例性实施例，并且不对范围做出限制，除非权利要求给出相反情况。各种修改和改进将对本领域技术人员非常明显而不脱离示例性实施例的精神和范围。
应当理解，此处描述的示例性实施例应从描述性的角度来理解，其并非出于限制的目的。每个实施例中描述的特征或方面一般应被看作可应用于其他实施例中的类似特征或方面。

Claims (24)

1.一种生成深度图像的方法，所述方法包括：
顺序地向对象投射从光源生成的光透射信号；
使用光调制信号调制由对象反射的反射光；
从已调制的反射光获得第二多个图像，该第二多个图像包括顺序获得的第一组图像和第二组图像，第一组图像包括第一多个顺序获得的图像并且第二组图像包括第一多个顺序获得的图像，第一组中顺序获得的图像和第二组中顺序获得的图像具有彼此不同的相位；
使用第一组中的第一多个顺序获得的图像的组合和第二组中的第一多个顺序获得的图像的组合来计算相位延迟；以及
基于相位延迟生成深度图像。
2.如权利要求1所述的方法，其中所述光透射信号具有不同相位，并且以0度、180度、90度和270度的次序被顺序地透射，以及
其中使用包括顺序获得的相应于0度的第一图像和相应于180度的第二图像的第一组以及包括顺序获得的相应于90度的第三图像和相应于270度的第四图像的第二组来计算所述相位延迟。
3.如权利要求1所述的方法，其中所述光调制信号具有不同相位，并且以0度、180度、90度和270度的次序被顺序地透射，以及
其中使用包括顺序获得的相应于0度的第一图像和相应于180度的第二图像的第一组以及包括顺序获得的相应于90度的第三图像和相应于270度的第四图像的第二组来计算所述相位延迟。
4.如权利要求1所述的方法，还包括当第一组中顺序获得的图像的第一总和与第二组中顺序获得的图像的第二总和之间的差大于或等于第一临界值时确定第二多个图像包括运动模糊图像，
其中以0度、180度、90度和270度的相位的次序捕获所述已调制的反射光，并且所述第二多个图像包括相应于0度的第一图像、相应于180度的第二图像、相应于90度的第三图像、以及相应于270度的第四图像。
5.如权利要求4所述的方法，还包括：
作为确定的结果，如果生成运动模糊图像，则从第一组和第二组当中确定生成运动模糊图像的组，
其中所述确定生成运动模糊图像的组包括：从第一组和第二组当中确定在图像的亮度方面的变化范围相对较大的组中生成运动模糊图像。
6.如权利要求5所述的方法，还包括：
恢复运动模糊图像，
其中所述恢复运动模糊图像包括使用另一组的图像来恢复所确定的包括运动模糊图像的组的图像。
7.如权利要求6所述的方法，其中所述恢复运动模糊图像包括使用另一组的图像以及解调常数来恢复运动模糊图像，所述解调常数是相位延迟所致的图像的AC变化和DC偏移值之间的比率。
8.如权利要求1所述的方法，其中所述两组中的第一多个顺序获得的图像的组合包括第一组和第二组，第一组包括顺序获得的相应于0度的第一图像和相应于180度的第二图像，并且第二组包括顺序获得的相应于90度的第三图像和相应于270度的第四图像。
9.如权利要求8所述的方法，其中相对于全部组的第二多个图像，通过计算相对于第一组和第二组的相位延迟来生成第一深度图像，以及通过计算相对于第二组和下一第一组的相位延迟来生成第二深度图像。
10.一种生成深度图像的方法，所述方法包括：
顺序地向对象投射在光源中生成的光透射信号；
使用光调制信号调制由对象反射的反射光；
获得相应于0度的第一图像、相应于180度的第二图像、相应于90度的第三图像、以及相应于270度的第四图像，其中0度、180度、90度、和270度是已调制的反射光的相位；
通过确定包括顺序获得的第一图像和第二图像的第一组中的图像的第一总和与包括顺序获得的第三图像和第四图像的第二组中的图像的第二总和之间的差是否等于或大于第一临界值来确定是否存在通过对象的运动生成的运动模糊图像，其中第一组图像和第二组图像是顺序获得的；
当存在运动模糊图像时，通过比较第一组中顺序获得的图像的差与第二组中顺序获得的图像的差来确定包括运动模糊图像的组，并且使用另一组的图像恢复包括运动模糊图像的组的图像；
使用所述另一组的顺序获得的图像的组合和被恢复组的顺序获得的图像的组合来计算相位延迟；以及
基于相位延迟生成深度图像。
11.一种三维(3D)图像获取装置，包括：
光源，被配置成顺序地向对象投射光透射信号；
光调制器，被配置成使用具有增益波形的光调制信号调制由对象反射的反射光；
捕获设备，被配置成捕获通过光调制器调制的已调制的反射光，以生成第二多个图像，该第二多个图像包括顺序获得的第一组图像和第二组图像，第一组图像包括第一多个顺序获得的图像并且第二组图像包括第一多个顺序获得的图像，第一组中顺序获得的图像和第二组中顺序获得的图像具有彼此不同的相位；以及
深度图像处理器，被配置成当第一组中顺序获得的图像的第一总和与第二组中顺序获得的图像的第二总和之间的差大于或等于第一临界值时确定第二多个图像包括运动模糊图像，使用第一组中的第一多个顺序获得的图像的组合和第二组中的第一多个顺序获得的图像的组合来计算相位延迟，以及基于相位延迟生成深度图像。
12.如权利要求11所述的3D图像获取装置，还包括：
光源驱动器，被配置成通过驱动光源来控制光透射信号的波形；
光调制器驱动器，被配置成通过驱动光调制器控制增益波形；以及
控制器，被配置成控制光源驱动器、光调制器驱动器和捕获设备的操作。
13.如权利要求12所述的3D图像获取装置，其中所述控制器被配置成控制光源驱动器以使得光透射信号具有不同相位，并且以0度、180度、90度和270度的次序顺序地投射，
其中所述深度图像处理器被配置成使用包括顺序获得的相应于0度的第一图像和相应于180度的第二图像的第一组以及包括顺序获得的相应于90度的第三图像和相应于270度的第四图像的第二组来计算所述相位延迟。
14.如权利要求12所述的3D图像获取装置，其中所述控制器被配置成控制光调制器驱动器以使得光调制信号具有不同相位，并且反射光以0度、180度、90度和270度的次序顺序地调制，以及
其中所述深度图像处理器被配置成使用包括顺序获得的相应于0度的第一图像和相应于180度的第二图像的第一组以及包括顺序获得的相应于90度的第三图像和相应于270度的第四图像的第二组来计算所述相位延迟。
15.如权利要求13所述的3D图像获取装置，其中所述深度图像处理器被配置成从所述第二多个图像当中确定组是否存在通过对象的运动生成的运动模糊图像，以及
其中所述深度图像处理器被配置成当包括顺序获得的第一图像和第二图像的第一组中的图像的第一总和与包括顺序获得的第三图像和第四图像的第二组中的图像的第二总和之间的差等于或大于第一临界值时，确定存在运动模糊图像。
16.如权利要求15所述的3D图像获取装置，其中所述深度图像处理器被配置成使用另一组的图像以及解调常数来恢复所确定的包括运动模糊图像的组的图像，所述解调常数是相位延迟所致的图像的AC变化和DC偏移值之间的比率。
17.如权利要求15所述的3D图像获取装置，其中所述深度图像处理器被配置成通过计算相对于第一组和第二组的相位延迟来生成第一深度图像，以及通过计算相对于第二组和下一第一组的相位延迟来生成第二深度图像。
18.如权利要求15所述的3D图像获取装置，还包括：
第一镜头，被配置成将反射光聚焦在光调制器的区域之内的光调制器的光入射面；
滤波器，被配置成在第一镜头和光调制器之间透射具有预定波长的光，以及被配置成除去除了预定波长之外的波长的光；以及
第二镜头，被配置成将光调制器和捕获设备之间的已调制的光聚焦在捕获设备的区域之内。
19.如权利要求15所述的3D图像获取装置，其中所述捕获设备包括包含一维阵列或二维阵列的电荷耦合器件(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器、光电二极管阵列以及光电二极管中的至少一个，以及
其中所述捕获设备被配置成测量到单个点的距离。
20.如权利要求15所述的3D图像获取装置，其中所述光源是固态发光设备中的一个，其包括红外线波段中的激光二极管(LD)和发光二极管(LED)。
21.一种恢复包括运动模糊的图像的方法，所述方法包括：
通过确定第一组中顺序获得的图像的第一总和与第二组中顺序获得的图像的第二总和之间的差是否等于或大于第一临界值来确定运动模糊图像是否发生在反射光信号中，其中第一组图像和第二组图像是顺序获得的；
响应于运动模糊图像发生在反射光信号中，通过比较第一组中顺序获得的图像的差与第二组中顺序获得的图像的差来确定包括运动模糊图像的组；以及
使用另一组的图像来恢复包括运动模糊图像的组的图像，所述另一组是不包括运动模糊图像的组，
其中所述第一组包括顺序获得的、反射光信号的第一图像和第二图像，并且所述第二组包括顺序获得的、反射光信号的第三图像和第四图像，以及其中所述第一图像、第二图像、第三图像和第四图像每个具有不同的相位。
22.如权利要求21所述的方法，其中所述第一图像相应于0度、第二图像相应于180度、第三相应于90度、以及第四图像相应于270度。
23.如权利要求21所述的方法，其中所述反射光已经通过光调制信号被调制。
24.如权利要求21所述的方法，其中所述反射光已经被对象反射。
CN201410138665.9A 2013-04-08 2014-04-08 三维图像获取装置以及生成深度图像的方法 Active CN104104941B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130038287A KR102040152B1 (ko) 2013-04-08 2013-04-08 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
KR10-2013-0038287 2013-04-08

Publications (2)

Publication Number Publication Date
CN104104941A CN104104941A (zh) 2014-10-15
CN104104941B true CN104104941B (zh) 2018-12-21

Family

ID=50442385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410138665.9A Active CN104104941B (zh) 2013-04-08 2014-04-08 三维图像获取装置以及生成深度图像的方法

Country Status (4)

Country Link
US (1) US9749613B2 (zh)
EP (1) EP2790034B1 (zh)
KR (1) KR102040152B1 (zh)
CN (1) CN104104941B (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8948497B2 (en) * 2012-09-04 2015-02-03 Digital Signal Corporation System and method for increasing resolution of images obtained from a three-dimensional measurement system
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
RU2014116610A (ru) * 2014-04-24 2015-10-27 ЭлЭсАй Корпорейшн Генерирование изображений глубины с использованием псевдокадров, каждый из которых содержит множество фазовых изображений
KR102194237B1 (ko) 2014-08-29 2020-12-22 삼성전자주식회사 깊이 영상 촬영 장치 및 깊이 정보 획득 방법
US9773155B2 (en) 2014-10-14 2017-09-26 Microsoft Technology Licensing, Llc Depth from time of flight camera
CN104301707B (zh) * 2014-10-22 2016-07-06 中国科学院合肥物质科学研究院 基于dmd扫描和积分相移测距的深度图像获取装置及方法
KR101693571B1 (ko) 2014-12-04 2017-01-09 김용기 버섯 재배 용기
US9519061B2 (en) * 2014-12-26 2016-12-13 Here Global B.V. Geometric fingerprinting for localization of a device
US10061029B2 (en) * 2015-01-06 2018-08-28 Samsung Electronics Co., Ltd. Correction of depth images from T-O-F 3D camera with electronic-rolling-shutter for light modulation changes taking place during light integration
US11002531B2 (en) 2015-04-20 2021-05-11 Samsung Electronics Co., Ltd. CMOS image sensor for RGB imaging and depth measurement with laser sheet scan
US10145678B2 (en) 2015-04-20 2018-12-04 Samsung Electronics Co., Ltd. CMOS image sensor for depth measurement using triangulation with point scan
US20160309135A1 (en) 2015-04-20 2016-10-20 Ilia Ovsiannikov Concurrent rgbz sensor and system
US11736832B2 (en) 2015-04-20 2023-08-22 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
KR102473740B1 (ko) * 2015-04-20 2022-12-05 삼성전자주식회사 동시 rgbz 센서 및 시스템
US10250833B2 (en) 2015-04-20 2019-04-02 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
JP2017050830A (ja) * 2015-09-04 2017-03-09 パナソニックＩｐマネジメント株式会社 照明装置、照明システム、及びプログラム
KR102475891B1 (ko) * 2015-10-08 2022-12-12 삼성전자주식회사 측면 발광 레이저 광원, 및 이를 포함한 3차원 영상 획득 장치
KR102523972B1 (ko) * 2015-10-27 2023-04-20 삼성전자주식회사 광 셔터를 포함하는 3차원 깊이 센서를 이용한 거리측정방법
KR102372087B1 (ko) * 2015-10-28 2022-03-08 삼성전자주식회사 깊이 영상 촬영장치 및 방법
KR102372088B1 (ko) * 2015-10-29 2022-03-08 삼성전자주식회사 영상 획득 장치 및 영상 획득 방법
KR102473735B1 (ko) * 2015-11-09 2022-12-05 삼성전자주식회사 이미징 장치의 동작 방법
EP3185053B1 (de) * 2015-12-21 2020-02-26 Sick Ag Optischer modulator
KR102610830B1 (ko) * 2015-12-24 2023-12-06 삼성전자주식회사 거리 정보를 획득하는 방법 및 디바이스
CN106997582A (zh) * 2016-01-22 2017-08-01 北京三星通信技术研究有限公司 飞行时间三维传感器的运动模糊消除方法和设备
US10229502B2 (en) * 2016-02-03 2019-03-12 Microsoft Technology Licensing, Llc Temporal time-of-flight
KR102373926B1 (ko) * 2016-02-05 2022-03-14 삼성전자주식회사 이동체 및 이동체의 위치 인식 방법
US20170244482A1 (en) * 2016-02-24 2017-08-24 Qualcomm Incorporated Light-based communication processing
KR102454228B1 (ko) * 2016-04-29 2022-10-14 엘지전자 주식회사 멀티 비전 장치
CN109313267B (zh) * 2016-06-08 2023-05-02 新唐科技日本株式会社 测距系统及测距方法
EP3865767B1 (en) * 2016-06-10 2024-03-13 Magic Leap, Inc. Integrated point source for texture projecting bulb
KR20180021509A (ko) 2016-08-22 2018-03-05 삼성전자주식회사 거리 정보를 획득하는 방법 및 디바이스
DE102016124594A1 (de) * 2016-12-16 2018-06-21 Jena-Optronik Gmbh Verfahren zur Erfassung einer 3D-Szene mittels eines LIDAR-Systems und LIDAR-System hierzu
KR102457891B1 (ko) * 2017-10-30 2022-10-25 삼성전자주식회사 이미치 처리 방법 및 장치
WO2019109091A1 (en) * 2017-12-03 2019-06-06 Munro Design & Technologies, Llc Digital image processing systems for three-dimensional imaging systems with image intensifiers and methods thereof
JP7324518B2 (ja) * 2018-04-01 2023-08-10 オプシス テック リミテッド 雑音適応型固体ライダシステム
KR102590900B1 (ko) * 2018-08-27 2023-10-19 엘지이노텍 주식회사 영상 처리 장치 및 영상 처리 방법
KR102553555B1 (ko) * 2018-09-21 2023-07-10 엘지이노텍 주식회사 카메라 모듈
KR102562360B1 (ko) * 2018-10-05 2023-08-02 엘지이노텍 주식회사 깊이 정보를 획득하는 방법 및 카메라 모듈
DE102018222518A1 (de) * 2018-12-20 2020-06-25 Zf Friedrichshafen Ag Kamerasystem mit hoher Updaterate
CN109521434B (zh) * 2018-12-27 2020-09-08 合肥泰禾光电科技股份有限公司 一种激光测量方法及控制处理器
KR102326952B1 (ko) * 2019-01-04 2021-11-16 엘지이노텍 주식회사 광학계 및 이를 포함하는 카메라 모듈
KR102274033B1 (ko) * 2020-03-04 2021-07-08 (주)미래컴퍼니 다중 주파수를 이용하여 모션 블러를 저감하는 깊이 영상 획득 장치
US11443447B2 (en) 2020-04-17 2022-09-13 Samsung Electronics Co., Ltd. Three-dimensional camera system
CN111798506B (zh) * 2020-06-30 2024-07-23 上海数迹智能科技有限公司 一种图像处理方法、终端及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102393515A (zh) * 2010-07-21 2012-03-28 微软公司 用于对飞行时间(tof)系统进行分层去混叠的方法和系统
CN102822693A (zh) * 2010-01-06 2012-12-12 美萨影像股份公司 具有分隔像素和存储阵列的解调传感器

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5081530A (en) 1987-06-26 1992-01-14 Antonio Medina Three dimensional camera and range finder
US4935616A (en) 1989-08-14 1990-06-19 The United States Of America As Represented By The Department Of Energy Range imaging laser radar
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
EP0835460B1 (en) 1995-06-22 2006-03-08 3DV Systems Ltd. Improved optical ranging camera
US6088086A (en) 1995-09-11 2000-07-11 Sandia Corporation Range determination for scannerless imaging
ES2194302T3 (es) 1998-02-08 2003-11-16 3Dv Systems Ltd Obturador optico de imagen de gran apertura.
JP3840341B2 (ja) 1998-10-15 2006-11-01 浜松ホトニクス株式会社 立体情報検出方法及び装置
US6118946A (en) 1999-06-29 2000-09-12 Eastman Kodak Company Method and apparatus for scannerless range image capture using photographic film
US6856355B1 (en) 1999-11-30 2005-02-15 Eastman Kodak Company Method and apparatus for a color scannerless range image system
US6794628B2 (en) 2000-01-03 2004-09-21 3Dv Systems, Ltd. Solid state optical shutter
US7095487B2 (en) 2003-10-09 2006-08-22 Honda Motor Co., Ltd. Systems and methods for determining depth using shuttered light pulses
JP4161910B2 (ja) 2004-01-28 2008-10-08 株式会社デンソー 距離画像データ生成装置及び生成方法，プログラム
US8203699B2 (en) * 2008-06-30 2012-06-19 Microsoft Corporation System architecture design for time-of-flight system having reduced differential pixel size, and time-of-flight systems so designed
US8619354B2 (en) 2008-12-24 2013-12-31 Samsung Electronics Co., Ltd. High speed optical shutter, method of operating the same and apparatus including the same
KR101520029B1 (ko) 2008-12-31 2015-05-15 삼성전자주식회사 고정세화 패턴을 갖는 광 변조기
KR101547327B1 (ko) 2009-01-15 2015-09-07 삼성전자주식회사 광 이미지 변조기와 이를 포함하는 광학장치와 광 이미지 변조기의 제조 및 구동방법
KR101603778B1 (ko) 2009-01-19 2016-03-25 삼성전자주식회사 광 이미지 셔터
KR101613133B1 (ko) * 2009-05-14 2016-04-18 삼성전자주식회사 3차원 영상 처리 장치 및 그 방법
US8988661B2 (en) 2009-05-29 2015-03-24 Microsoft Technology Licensing, Llc Method and system to maximize space-time resolution in a time-of-flight (TOF) system
KR101623960B1 (ko) 2009-06-04 2016-05-25 삼성전자주식회사 광전자 셔터, 이의 동작 방법 및 광전자 셔터를 채용한 광학 장치
KR101590767B1 (ko) 2009-06-09 2016-02-03 삼성전자주식회사 영상 처리 장치 및 방법
KR101638974B1 (ko) 2009-06-17 2016-07-13 삼성전자주식회사 광 변조기와 그 제조 및 동작방법과 광 변조기를 포함하는 광학장치
KR101706354B1 (ko) 2009-06-24 2017-02-13 삼성전자주식회사 고속 광 변조기 및 이를 이용한 광 변조방법
KR101675111B1 (ko) 2010-01-08 2016-11-11 삼성전자주식회사 광 이미지 셔터 및 그 제조 방법
KR101675112B1 (ko) * 2010-01-21 2016-11-22 삼성전자주식회사 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치
KR101638973B1 (ko) 2010-01-22 2016-07-12 삼성전자주식회사 광변조기 및 그 제조 방법
JP2012049773A (ja) 2010-08-26 2012-03-08 Sony Corp 撮像装置および方法、並びにプログラム
KR101753312B1 (ko) 2010-09-17 2017-07-03 삼성전자주식회사 뎁스 영상 생성 장치 및 방법
US9194953B2 (en) * 2010-10-21 2015-11-24 Sony Corporation 3D time-of-light camera and method
KR101598547B1 (ko) 2010-12-03 2016-03-02 삼성전자주식회사 광 이미지 변조기 및 그 제조 방법
KR101660408B1 (ko) 2010-12-20 2016-09-27 삼성전자주식회사 입사광의 입사각 보정기능을 갖는 광 이미지 변조기 및 이를 포함하는 광학장치
KR101722641B1 (ko) 2010-12-23 2017-04-04 삼성전자주식회사 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
KR20120075182A (ko) 2010-12-28 2012-07-06 삼성전자주식회사 다중 패브리-페로 공진 모드를 이용한 광변조기 및 상기 광변조기를 포함하는 3차원 영상 획득 장치
KR101669219B1 (ko) 2010-12-30 2016-10-26 삼성전자주식회사 광변조기 및 이를 채용한 광학장치
KR101788032B1 (ko) * 2011-03-24 2017-10-19 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 깊이 정보 에러 보상 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
KR20120111092A (ko) 2011-03-31 2012-10-10 삼성전자주식회사 촬상 장치
KR101799521B1 (ko) 2011-05-24 2017-11-20 삼성전자 주식회사 광결정형 광변조기 및 이를 구비하는 3차원 영상 획득 장치
US20140049767A1 (en) * 2012-08-15 2014-02-20 Microsoft Corporation Methods and systems for geometric phase unwrapping in time of flight systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102822693A (zh) * 2010-01-06 2012-12-12 美萨影像股份公司 具有分隔像素和存储阵列的解调传感器
CN102393515A (zh) * 2010-07-21 2012-03-28 微软公司 用于对飞行时间(tof)系统进行分层去混叠的方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Image Change Detection Algorithms：A systematic Survey;Richard J.Radke等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20050222;正文第4章 *

Also Published As

Publication number Publication date
EP2790034A1 (en) 2014-10-15
EP2790034B1 (en) 2018-06-13
KR20140121710A (ko) 2014-10-16
KR102040152B1 (ko) 2019-12-05
CN104104941A (zh) 2014-10-15
US20140300701A1 (en) 2014-10-09
US9749613B2 (en) 2017-08-29

Similar Documents

Publication Publication Date Title
CN104104941B (zh) 三维图像获取装置以及生成深度图像的方法
US11002856B2 (en) Doppler time-of-flight imaging
KR101854188B1 (ko) 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법
JP5739174B2 (ja) 距離情報抽出方法及び該方法を採用した光学装置
KR101652393B1 (ko) 3차원 영상 획득 장치 및 방법
EP3195042B1 (en) Linear mode computational sensing ladar
US10302424B2 (en) Motion contrast depth scanning
KR101955334B1 (ko) 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
US8780182B2 (en) Imaging system and method using partial-coherence speckle interference tomography
EP3775995B1 (en) Reduced power operation of time-of-flight camera
US9945936B2 (en) Reduction in camera to camera interference in depth measurements using spread spectrum
KR20120071970A (ko) 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
KR102194237B1 (ko) 깊이 영상 촬영 장치 및 깊이 정보 획득 방법
KR102194233B1 (ko) 깊이 영상 생성 장치 및 방법
EP2854103A1 (en) Method of decreasing noise of a depth image, image processing apparatus and image generating apparatus using thereof
KR20120030196A (ko) 뎁스 영상 생성 장치 및 방법
US20120162370A1 (en) Apparatus and method for generating depth image
WO2016097609A1 (fr) Système pour la prise de vue en trois dimensions au cours d'un déplacement
KR20220165678A (ko) 라이다 장치
Shin Computational imaging with small numbers of photons
KR20150133086A (ko) 깊이 영상 획득 방법 및 그 영상 획득 장치
EP3430472B1 (en) Method of producing video images that are independent of the background lighting
JP2018066655A (ja) 鏡面情報取得装置、鏡面測定方法及びコンピュータプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant