CN107018295A - 用于产生深度图像的方法和装置 - Google Patents

用于产生深度图像的方法和装置 Download PDF

Info

Publication number
CN107018295A
CN107018295A CN201610972498.7A CN201610972498A CN107018295A CN 107018295 A CN107018295 A CN 107018295A CN 201610972498 A CN201610972498 A CN 201610972498A CN 107018295 A CN107018295 A CN 107018295A
Authority
CN
China
Prior art keywords
optical shutter
light
light source
driving voltage
generating means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610972498.7A
Other languages
English (en)
Other versions
CN107018295B (zh
Inventor
全明帝
朴勇和
柳长雨
赵龙哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107018295A publication Critical patent/CN107018295A/zh
Application granted granted Critical
Publication of CN107018295B publication Critical patent/CN107018295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/749—Circuitry for compensating brightness variation in the scene by influencing the pick-up tube voltages

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Nonlinear Science (AREA)
  • Optics & Photonics (AREA)

Abstract

一种深度图像生成装置，包括：光源，配置该光源，以发射光；光学快门，该光学快门被设置于物体反射的光的路径上，并且配置该光学快门，以通过相对于反射光改变光学快门的透射率，来调制反射光的波形；驱动器，配置该驱动器，以对光源施加驱动电压并且对光学快门施加驱动电压；温度测量器，配置该温度测量器，以测量光学快门的温度；控制器，配置该控制器，以控制驱动电压；以及深度信息获取器，配置该深度信息获取器，以产生对应于通过光学快门的反射光的图像，提取光源对物体发射的光的相位与反射光的相位之间的相位差，并且基于该相位差，获取关于物体的深度信息。

Description

用于产生深度图像的方法和装置
有关专利申请的交叉引用
本专利申请要求2015年10月28日在韩国知识产权局提交的韩国专利申请No.10-2015-0150476的优先权，通过引用，将该韩国专利申请的整体公开内容合并于此。
技术领域
符合在此公开的示例性实施例的方法和装置涉及产生深度图像。
背景技术
近来，对于能够获得关于到特定物体的距离的信息的三维(3D)摄像机、运动传感器和激光雷达(LADAR)的研究有所增加。特别是，因为已经开发了能够显示深度图像的3D显示装置并且因此提高了要求，所以3D内容的重要性也已经升高。因此，已经研究了允许用户创建3D内容的各种3D图像生成装置。
利用采用两个摄像机的立体视觉技术或者采用结构光和摄像机的三角测量技术，可以获得关于物体的表面与3D图像生成装置之间的距离的深度信息。然而，随着到物体的距离的增大，利用这些技术获得的深度信息的精度迅速恶化。此外，由于这些技术依赖于物体的表面条件，所以难以获得精确的深度信息。
为了克服这些问题，引入了飞行时间(t ime-of-fl ight，TOF)技术。在TOF技术中，对物体发射光束，并且测量物体反射的和光接收单元收到的光束的飞行时间。TOF技术包含用于提取深度信息的一系列光处理操作，这些操作包含由包含发光二极管(LED)或者激光二极管(LD)的照明光学系统发射特定波长的光束(例如，具有850nm波长的近红外线)，在光接收机接收与发射光束具有相同波长并且被物体反射的反射光束，以及通过具有本技术领域内公知的增益波形的光学快门调制收到的光束。已经基于这些光处理操作，开发了各种TOF技术。
发明内容
示例性实施例提供了用于在飞行时间(TOF)技术中有效地控制光源和光学快门的操作的方法和装置。
根据示例性实施例的一个方案，提供了一种深度图像生成装置，包含：光源，配置该光源，以向物体发射光，使得该物体反射光；光学快门，该光学快门设置于物体反射的光的路径上，并且配置该光学快门，以通过相对于反射光改变光学快门的透射率，调制反射光的波形；驱动器，配置该驱动器，以对光源施加驱动电压并且对光学快门施加驱动电压；温度测量器，配置该温度测量器，以测量光学快门的温度；控制器，配置该控制器，以基于温度测量器测量的温度控制对驱动器施加的驱动电压；以及深度信息获取器，配置该深度信息获取器，以产生对应于通过光学快门的反射光的图像，提取光源对物体发射的光的相位与反射光的相位之间的相位差，并且基于相位差，获取关于物体的深度信息。
可以进一步配置该驱动器，以通过改变驱动器对光学快门施加的驱动电压，改变光学快门的透射率。
可以进一步配置驱动器，以使对光学快门施加的驱动电压围绕偏压振荡。
可以进一步配置该控制器，以基于温度测量器测量的温度控制偏压。
可以进一步配置该控制器，以基于温度测量器测量的温度，控制对光学快门施加的驱动电压的振幅。
可以进一步配置该驱动器，以通过改变对光源施加的驱动电压，改变向物体发射的光的波长和强度中的至少一个。
可以进一步配置该控制器，以根据深度信息获取器获取的关于物体的深度信息，控制驱动器，以改变对光源施加的驱动电压的大小。
该深度图像生成装置还可以包含查找表，该查找表包含用于控制驱动器的控制变量，该查找表嵌入控制器中。
可以基于光学快门的温度和物体与光源之间的距离，由多个抽样点确定控制变量。
控制变量可以包含对光学快门的驱动电压的偏压。
可以进一步配置该驱动器，以使对光学快门施加的驱动电压围绕偏压振荡。
控制变量可以包含对光学快门施加的驱动电压的振幅。
控制变量可以包含对光源施加的驱动电压的大小。
控制变量可以包含用于校正由深度信息获取器获取的关于物体的深度信息的校正值，基于光学快门的操作特性确定校正值，并且配置深度信息获取器，以基于校正值，校正关于物体的深度信息。
该深度图像生成装置还可以包含操作时间测量器，配置该操作时间测量器，以测量光学快门和光源的累计操作时间，并且控制变量可以对应于累计操作时间变化。
可以进一步配置光源，以以预定间隔对物体顺序发射多个光束，并且进一步配置深度信息获取器，以测量在多个光束被物体反射时形成的并且在反射光束通过光调制器时调制的反射光束的强度，并且提取光源发射的光的相位与反射光束的相位之差。
根据另一个示例性实施例的方案，提供了一种用于生成查找表的方法，该查找表用于根据深度图像生成装置的光学快门的温度和深度图像生成装置的光源与反射光源所发射的光的物体之间的距离来控制深度图像生成装置，该方法包含：确定对应于光学快门的温度和深度图像生成装置的光源与物体之间的距离的多个抽样点；并且通过对多个抽样点中的每个重复测量关于物体的深度信息，对将由深度图像生成装置执行的深度图像确定操作确定控制变量。
该控制变量可以包含对光学快门的驱动电压的偏压。
控制变量可以包含光学快门的驱动电压的振幅，并且驱动电压可以围绕偏压振荡。
控制变量可以包含对光源施加的驱动电压的大小。
确定该控制变量可以包含通过改变控制变量并且将对应于测量的深度信息的最小偏差的控制变量确定为将由深度图像生成装置执行的深度图像确定操作的控制变量，在每个抽样点重复测量关于物体的深度信息。
该方法还可以包含根据光学快门和光源的累计操作时间存储对应于相应抽样点的控制变量的变化值。
根据另一个示例性实施例的方案，提供了一种产生深度图像的方法，该方法包含：利用光源向物体发射光，使得物体反射光；通过利用光学快门改变反射光的透射率，来调制由物体反射的光的波形；测量光学快门的温度；基于光学快门的温度，控制对光学快门施加的驱动电压和对光源施加的驱动电压；通过测量穿过光学快门的反射光的强度，提取光源向物体发射的光的相位与反射光的相位之间的相位差；以及基于相位差，获取关于物体的深度信息。
该方法还可以包含利用驱动器使对光学快门施加的驱动电压围绕偏压振荡。
控制所述驱动电压可以包含基于温度测量器测量的光学快门的温度，控制偏压和驱动电压的振幅。
控制驱动电压可以包含根据深度信息控制驱动器，以改变对光源施加的驱动电压的大小。
控制驱动电压可以包含：从查找表调用控制变量，用于控制驱动电压；以及基于控制变量，控制驱动电压。
该方法还可以包含将控制变量存储于查找表中，并且基于光学快门的温度和物体与光源之间的距离，由多个抽样点确定控制变量。
该方法还可以包含测量光学快门和光源的累计操作时间，并且控制变量可以对应于累计操作时间变化。
向所述物体发射所述光可以包含以预定间隔对物体顺序发射多个光束，并且获取深度信息可以包含测量在多个光束被物体反射时形成的并且在反射光束通过光调制器时调制的反射光束的强度，并且基于测量的强度，提取光源发射的光的相位与反射光的相位之差。
附图说明
根据下面结合附图对示例性实施例所做的描述，上述和/或者其他方案变得显而易见并且更容易理解，在附图中：
图1是图示示出根据示例性实施例的深度图像生成装置的图；
图2是用于描述根据示例性实施例的深度图像生成装置的操作机构的图；
图3是示出图1所示光学快门的示例的图；
图4是示出图3所示光学快门的电特性的曲线图；
图5是示出驱动器对光学快门施加的驱动电压的示例的图；
图6是示出光学快门的透射率随入射到其上的光的波而长变化的曲线图；
图7是示出光学快门的最高透射率在不同温度下随波长变化的图；
图8是示出光学快门的透射率在不同温度下随对其施加的驱动电压的变化而变化的曲线图；
图9是示出光源发射的光的输出量随光源与物体之间的距离而变化的曲线图；
图10是示出控制器中的查找表的原理图；
图11是示出光学快门的透射率的实际变化的图；
图12是示出图10所示查找表的另一个示例的原理图；
图13是示出根据另一个示例性实施例的深度图像生成装置的图；
图14是产生图10所示查找表的处理的流程图；
图15是产生图12所示查找表的处理的流程图；
图16是示出产生查找表的上述处理的示意图；以及
图17是根据示例性实施例，利用深度图像生成装置产生物体的深度图像的方法的流程图。
具体实施方式
下面将参考附图详细描述本公开的示例性实施例。
此外，尽管可以从一般公知和使用的术语中选择在描述示例性实施例中使用的术语，但是示例性实施例的描述中提及的一些术语是申请人根据其判断而选择的，在本说明书的有关描述部分可能描述了其具体意义。此外，不应当仅根据在此实际使用的术语，还应当根据每个术语的意义和上下文来理解示例性实施例。
在整个说明书中，应当明白，当称一部分“连接”到另一部分时，该部分能够“直接连接到”另一部分，或者通过另一个元件“电连接到”另一部分。此外，还应当明白，在此使用的术语“包含”、“涵盖”、“包括”和“含括”指明存在陈述的特征或者部件，但是不排除操作或者附加一个或者多个其他特征或者部件。此外，本说明书中描述的“某某机”、“某某器”、“某某单元”和“模块”的术语可以指用于处理至少一个功能和操作的单元，并且能够由硬件部件、软件部件及其组合实现。
在对示例性实施例的描述中，不应当认为术语“涵盖”和“含括”需要包含在此描述的所有元素或者步骤，并且可以认为还包含附加元素或者步骤。
在此使用的含括诸如第一、第二等等的序数的术语能够用于描述各种元素，但是这些元素不应当受这些术语的限制。这些术语仅用于将一个元素与另一个元素区别开。
现在详细参考示例性实施例，示例性实施例的示例示于附图中，其中，在整个说明书中类似的参考编号指类似的元素。在这方面，本示例性实施例可以具有不同的型式并且不应当认为本示例性实施例局限于在此所做的描述。因此，为了解释方案，下面仅参考附图来描述示例性实施例。如在此使用的术语“和/或者”包含一个或者多个所列关联项中的任何一个或者所有组合。诸如“……中的至少一个”的表述当位于一系列元素之后时，修饰整个元素列表而非修饰列表中的单独的元素。
图1是图示示出根据示例性实施例的深度图像生成装置100的图。
参考图1，根据示例性实施例的深度图像生成装置100可以包含：光源120，该光源120对物体10发光；光学快门130，该光学快门130排列于物体10反射的反射光的传播路径上并且通过改变反射光的透射率，调制反射光的波长；以及驱动单元140(例如，驱动器)，该驱动单元140对光源120和光学快门130施加驱动电压。此外，深度图像生成装置100还可以包含深度信息获取单元160(例如，深度信息获取器)，该深度信息获取单元160产生通过光学快门130透射的反射光的图像，提取发射到物体10的光的相位与反射光的相位之间的差异，并且基于相位差，获取关于物体10的深度信息。
光源120可以对物体10发光。光源120可以发射在近红外线(NIR)域内波长从800nm到1000nm的光。通过发射这种波长的光，光源120发出的光可以对人的肉眼不可见。光源120可以包含发光二极管(LED)或者激光二极管(LD)。光源120可以连接到驱动单元140。通过对光源120施加驱动电压Vd1，驱动单元140可以使光源120运行。光源120发射的光的强度和波长可以随驱动单元140施加的驱动电压Vd1的大小改变。例如，如果对光源120施加的驱动电压Vd1的大小升高，则光源120发射的光的强度和波长可以升高。
此外，光源120发射(辐照)的光可以形成为具有特定波形的脉冲波。例如，光源120发射的光可以具有诸如正弦波、RAMP波、方波等等的波形。光源120发射的光可以被物体10反射。根据物体10与光源120之间的距离，光源120发射的光的相位与物体10反射的和入射到光学快门130的光的相位之差可以改变。
光学快门130可以改变物体10反射的反射光的透射率，从而调制反射光的波形。光学快门130调制的反射光的形状可以随入射到光学快门130的反射光的相位变化。换句话说，入射到光学快门130的反射光的相位随物体10与光源120之间的距离而变化，并且因此，光学快门130调制的反射光的波形可以变化。光学快门130的透射率可以随驱动单元140对光学快门130施加的驱动电压Vd2而变化。
深度信息获取单元160可以生成通过光学快门130透射的反射光的图像并且获取关于物体10的深度信息。深度信息获取单元160可以包含成像设备162和用于计算深度信息的计算模块164(例如，计算器)。成像设备162可以检测光学快门130调制的反射光。在仅测量到物体10上的一个点的距离的情况下，可以将成像设备162配置为单个光学传感器，例如，光电二极管或者积分器。然而，在同时测量到物体10上的多个点P1、P2、P3、P4和P5的相应距离的情况下，成像设备162可以包含多个光电二极管或者其他光学检测器的二维(2D)阵列或者一维(1D)阵列。例如，成像设备162可以是电荷耦合器件(CCD)图像传感器或者具有2D阵列的接触式图像传感器(CIS)。成像设备162可以测量通过光学快门130透射的反射光的强度。成像设备162测量的光的强度可以取决于反射光的调制波形。
计算模块164可以基于成像设备162检测到的图像信息计算关于物体10的深度信息。计算模块164可以利用成像设备162测量的反射光的强度计算反射光的相位与光源120发射的光的相位之差。此外，通过利用相位差计算光源120与物体10之间的距离，计算模块164可以获取关于物体10的深度信息。
图2是用于描述根据示例性实施例的深度图像生成装置的操作机构的图。
在图2中，图(a)是指出光源120发射的光的强度随历时而变化的曲线图。此外，在图2中，图(b)是指出入射到光学快门130的反射光的强度随历时而变化的图。此外，在图2中，图(c)是指出光学快门130的透射率随历时而变化的图。
参考图2，光源120可以对物体10顺序发射多个光束ILIT。可以以特定空闲时间间隔将多个发射光束ILIT发射到物体10上。此外，互相具有不同相位的多个发射光束ILIT可以由光源120发射。例如，如果光源120发射N个光束到物体10上，则光束ILIT中在相邻时间间隙发射的光束的相位差可以与将360度除以N获得的值相同。例如，如果N是4，则发射光束ILIT的相位是0度、90度、180度和270度。
当光源120以特定空闲时间间隔发射多个光束ILIT到物体10上时，通过发射光束ILIT的反射形成的反射光束RLIT中的每个可以独立地穿过光学快门130，并且入射到深度信息获取单元160。光学快门130的透射率可以随历时而变化，如图2的图(c)所示。因此，反射光束RLIT通过光学快门130透射时，可以调制反射光束RLIT的波形。调制反射光束RLIT的波形可以取决于反射光束RLIT的相位以及光学快门130的透射率随着历时的变化。深度信息获取单元160可以产生光学快门130调制的反射光束RLIT的图像并且提取反射光束RLIT与发射光束ILIT的相位差。
如上所述，反射光束RLIT的波形的变化取决于反射光束RLIT的相位，以及光学快门130的透射率随着历时的变化。因此，需要精确控制光学快门130的透射率并且对根据光学快门130的操作特性而获得的关于物体10的深度信息进行校正，从而获取精确深度信息。
图3是示出图1所示光学快门130的示例的图。
参考图3，光学快门130可以包含：第一电极131、第二电极132、第一导电型半导体层133、第二导电型半导体层134、至少一个垫片135、以及多量子阱136。然而，图3仅示出光学快门130的示例，并且深度图像生成装置100可以包含结构与图3所示光学快门130的结构不同的光学快门。
驱动单元140可以在第一电极131与第二电极132之间施加驱动电压Vd2。第一电极131可以是P型电极，并且第二电极132可以是n型电极。在这种情况下，第一导电型半导体层133可以是p型分布式布拉格整流器(DBR)，并且第二导电型半导体层134可以是n型DBR。例如，可以将第一导电型半导体层133和第二导电型半导体层134中的每个形成为具有Al0.31GaAs和Al0.84GaAs交替层叠的结构。垫片135排列于第一导电型半导体层133、第二导电型半导体层134和多量子阱136之间。垫片135可以由Al0.31GaAs形成。多量子阱136可以由GaAs和Al0.31GaAs形成。
第一导电型半导体层133和第二导电型半导体层134起一对谐振镜的作用，而多量子阱136吸收电场并且起谐振腔的作用。可以在第一电极131与第二电极132之间施加反向偏压(驱动电压Vd2)。光学快门130的透射率可以随反向偏压的大小而变化。
图4是示出图3所示光学快门130的电特性的曲线图。
参考图4，对光学快门130施加的驱动电压Vd2的范围可以包含在反向偏压的范围内。此外，驱动电压Vd2可以高于光学快门130的击穿电压。通过施加驱动电压Vd2使得驱动电压Vd2高于击穿电压，可以防止光学快门130击穿。此外，通过将驱动电压Vd2设定于反向偏压的范围内，光学快门130可以吸收光。光学快门130的透射率可以随入射到光学快门130的反射光的波长和对光学快门130施加的驱动电压Vd2的大小变化。
图5是示出驱动单元140对光学快门130施加的驱动电压Vd2的示例的图。
参考图5，驱动单元140可以对光学快门130施加负电压，即，反向偏压。驱动单元140可以对光学快门130施加驱动电压Vd2，使得驱动电压Vd2以特定振幅Vac围绕偏压Vbias振荡。因为驱动单元140使驱动电压Vd2振荡，所以可以周期性地改变光学快门130的透射率。
图6是示出光学快门130的透射率随入射到光学快门130的光的波长而变化的曲线图。
在图6中，曲线图S1指根据对光学快门130施加的驱动电压Vd2的变化的光学快门130的最低透射率。此外，曲线图S2指根据对光学快门130施加的驱动电压Vd2的变化的光学快门130的最高透射率。
参考图6，光学快门130的最高透射率与最低透射率之间的差可以随入射到光学快门130的光的波长变化。例如，如图6所示，光学快门130关于反射光束RLIT的透射率在特定波长(约850nm)可以最显著地随驱动电压Vd2的电平变化。因此，对于光学快门130的有效操作，光源120可以发射具有对应于光学快门130的透射率的最显著变化的波长的光。
图6的曲线图是在假定光学快门130的温度恒定的情况下获得的。然而，如果深度图像生成装置的运行时间延长，则可以改变光学快门130的温度。在这种情况下，可以改变光学快门130的操作特性，并且因此，可以改变图6所示光学快门130的透射特性。
图7是示出光学快门130的最高透射率在不同温度下随波长而变化的图。为了便于解释，图7仅示出根据驱动电压Vd2的变化的光学快门130的最高透射率。
参考图7，光学快门130的最高透射率可以随入射到光学快门130的光的波长而变化。然而，如果光学快门130的温度变化，则形成关于光学快门130的最高透射率的曲线图的峰值处的光的波长变化。例如，如图7所示，随着光学快门130的温度升高，对应于光学快门130的透射率的最显著变化的波长也可以升高。因此，需要光源120根据光学快门120的温度而发射不同波长的光。
图8是示出光学快门130的透射率在不同温度下随施加到光学快门130的驱动电压Vd2的变化而变化的曲线图。
参考图8，指出光学快门130的透射率随驱动电压Vd2变化的曲线可以随光学快门130的温度变化。例如，如果光学快门130的温度是50℃，则在驱动电压Vd2的大小在10V与18V之间变化时，光学快门130的透射率的变化显著。因此，如果光学快门130的温度是50℃，则当驱动电压Vd2围绕第一偏压Vbias1变化第一振幅Vac1时，可以有效改变光学快门130的透射率。相反，如果光学快门130的温度是40℃，则当驱动电压Vd2的大小在12V与20V之间变化时，光学快门130的透射率的变化可以显著。因此，如果光学快门130的温度是40℃，则当驱动电压Vd2围绕第二偏压Vbias2变化第二振幅Vac2时，可以有效改变光学快门130的透射率。
如上所述，光学快门130最有效操作的光的波长和对光学快门130施加的驱动电压Vd2可以随光学快门130的温度的变化而变化。
返回去参考图1，根据示例性实施例的深度图像生成装置可以包含温度测量单元150(例如，温度测量器)，该温度测量单元150测量光学快门130的温度；以及控制单元110，该控制单元110基于温度测量单元150测量的温度，控制驱动单元140的驱动电压Vd1和驱动电压Vd2。控制单元110可以控制驱动单元140，以考虑到如图7和8所示地光学快门130随着温度的变化的特性的变化，实现光学快门130的透射率的最有效的变化。
温度测量单元150可以测量光学快门130的温度。温度测量单元150可以接触也可以不接触光学快门130。温度测量单元150可以测量光学快门130的温度，并且实时地或者以等时间间隔将测量结果发送到控制单元110。
控制单元110可以根据温度测量单元150测量的光学快门130的温度控制驱动单元140对光源120施加的驱动电压Vd1。例如，如图7所示，当光学快门130的温度变化时，可以改变对应于光学快门130的透射率的最显著变化的波长。控制单元110可以根据光学快门130的温度，调节驱动单元140对光源120施加的驱动电压Vd1，使得具有最有效波长的反射光可以入射到光学快门130。
此外，控制单元110可以根据温度测量单元150测量的光学快门130的温度控制驱动单元140对光学快门130施加的驱动电压Vd2。例如，如图8所示，如果光学快门130的温度变化，则可以改变在其处光学快门130的透射率容易发生变化的驱动电压Vd2的范围。因此，控制单元110可以根据光学快门130的温度对驱动单元140施加到光学快门130的驱动电压Vd2进行调节，使得可以容易地改变光学快门130的透射率。
控制单元110可以基于温度测量单元150测量的光学快门130的温度控制偏压Vbias，如图5所示。此外，控制单元110可以基于温度测量单元150测量的光学快门130的温度，调节如图5所示的驱动电压Vd2变化的振幅Vac。
例如，参考图7和8，如果光学快门130的温度是50℃，则控制单元110可以控制驱动单元140施加的驱动电压Vd2来围绕第一偏压Vbias以第一振幅Vac1振荡。此外，如果光学快门130的温度是40℃，则控制单元110可以控制驱动单元140施加的驱动电压Vd2来围绕第二偏压Vbias2以第二振幅Vac2振荡。然而，温度和电压的这些值仅是示例，并且本公开的示例性实施例并不局限于此。例如，控制单元110可以调节驱动电压Vd2的振荡的两个端点。此外，即使在相同温度，控制单元110控制的驱动电压Vd2的变化范围仍可以基于设定变化。
通过控制对光源120施加的驱动电压Vd1，控制单元110还可以调节光源120发射的光的输出量。例如，当光源120与物体10之间的距离足够大时，光源120可以以高输出功率发射光。然而，当光源120与物体10之间的距离比特定距离小时，即使光源120以低输出功率发射光，深度信息获取单元160仍可以获取关于物体10的深度信息。因此，如果光源120与物体10之间的距离比特定距离小时，在功率消耗方面是有效的，以降低光源120发射的光的输出量。此外，通过控制光源120发射的光的输出量，可以防止深度信息获取单元160的成像设备162发生饱和。
图9是示出光源120发射的光的输出量随光源120与物体10之间的距离变化的曲线图。
参考图9，在光源120与物体10之间的距离比特定距离小的区域I中，光源120发射的光的输出量可以小于最大光输出量Imax。在区域I中，随着物体10与光源120之间的距离增大，光源120发射的光的输出量也可以升高。由于光源120发射的光的输出量适当变化，所以可以对深度信息获取单元160保持足够的光输出量，以获取深度信息。此外，当光源120足够靠近物体10时，可以减小光源120发射的光的输出量，从而减少功率消耗并且防止破坏成像设备162。此外，在光源120与物体10之间的距离大于特定距离的区域II中，光源120发射的光的输出量可以始终保持在最大光输出量Imax，从而提高入射到成像设备162的光量。
为了根据光源120与物体10之间的距离调节光源120发射的光的输出量，控制单元110可以控制驱动单元140对光源120施加的驱动电压Vd1的大小。例如，控制单元110可以从深度信息获取单元160接收关于物体10的深度信息。控制单元110可以从物体10的深度信息中获取物体10与光源120之间的距离。此外，控制单元110可以根据物体10与光源120之间的距离控制驱动单元140对光源120施加的驱动电压Vd1的大小。例如，如果控制单元110确定物体10与光源120之间的距离在图9所示的区域I中，则控制单元110可以控制驱动单元140，以根据物体10与光源120之间的距离的变化改变驱动电压Vd1。相反，如果控制单元110确定物体10与光源120之间的距离在图9所示的区域II中，则控制单元110可以控制驱动电压Vd1，使得光源120始终以最高输出功率Imax发射光。
如上所述，控制单元110可以根据光学快门130的温度和由深度信息获取单元160获取的关于物体10的深度信息来改变驱动器140施加的驱动电压Vd1和驱动电压Vd2。为了有效控制驱动器140，控制单元110内可以包含查找表。
例如，控制单元110可以从温度测量单元150接收关于光学快门130的温度的信息。此外，控制单元110可以从深度信息获取单元160接收关于物体10的深度信息。接着，控制单元110可以利用查找表调用对应于光学快门130的温度以及关于物体10的深度信息的控制变量。根据示例性实施例，控制变量指根据驱动电压Vd1和驱动电压Vd2的可控大小而变化的变量。控制单元110可以调用控制变量，并且将基于控制变量确定的控制指令发送到驱动器140。
图10是示出包含于控制单元110中的查找表的原理图。
参考图10，基于光学快门130的温度和物体10与光源120之间的距离，根据多个抽样点而确定的控制变量可以存储于查找表中。抽样点Rm,n可以是在对应于光学快门130的温度的轴和对应于物体10与光源120之间的距离的轴指出的虚拟2D空间中限定的点。例如，第m个抽样温度Tm和第n个距离dn的交叉点可以是基于温度tm和距离dn确定的抽样点Rm。
可以将分别对应于多个抽样点的控制变量存储于查找表中。控制变量可以包含用于控制对光源120施加的驱动电压Vd1和对光学快门130施加的驱动电压Vd2的变量。例如，控制变量可以包含对光学快门130施加的驱动电压Vd2的偏压Vbias。此外，控制变量可以包含对光学快门130施加的驱动电压Vd2的振幅Vac。然而，偏压和振幅仅是控制变量的示例，并且根据其他示例性实施例，控制变量并不局限于此。例如，控制变量可以包含驱动电压Vd2变化的区域的两个端电压。此外，控制变量可以包含对光源120施加的驱动电压Vd1。
当控制单元110分别从温度测量单元150和深度信息获取单元160收到关于光学快门130的温度的信息和关于物体10的深度信息时，控制单元110可以确定对应于收到的信息的抽样点。如果没有对应于收到的信息的精确抽样点，则控制单元110可以确定最接近的抽样点。接着，控制单元110可以从查找表调用对应于确定的抽样点的控制变量。接着，控制单元110可以根据控制变量控制驱动器140。
控制变量可以包含用于校正由深度信息获取单元160获取的关于物体10的深度信息的校正值K。可以考虑到光学快门130的操作特性设定校正值K。尽管图2所示的曲线图(c)示出光学快门130的透射率以似正弦波的形状变化的示例，但是这种示例代表理想情况。实际上，光学快门130的透射率难以以完美的似正弦波形状变化，并且光学快门130的透射率可以不规则地变化。
图11是示出光学快门130的透射率的实际变化的图。
参考图11，即使对光学快门130施加的驱动电压Vd2具有似正弦波波形，但是光学快门130的透射率随历时的变化可以不具有似正弦波形状。光学快门130的透射率的不规则变化的原因是，如图8所示，光学快门130的透射率不相对于驱动电压Vd2而线性变化。因此，为了控制光学快门130的透射率来以完美似正弦波形状变化，需要校正由深度信息获取单元160获取的关于物体10的深度信息。控制单元110可以将与关于物体10的深度信息有关的校正值K发送到深度信息获取单元160。深度信息获取单元160可以利用校正值K校正关于物体10的深度信息，从而校正基于光学快门130的操作特性的效果。根据示例性实施例，光学快门130的操作特性可以包含光学快门130的透射率的变化，如图11所示。
然而，参考图8，可以根据光学快门130的温度改变驱动电压Vd2与光学快门130的透射率之间的关系。因此，光学快门130的操作特性也可以根据光学快门130的温度改变。因此，为了根据光学快门130的温度校正光学快门130的操作特性，需要改变校正值K。对应于相应抽样点，查找表可以存储对应于抽样点分别指示的光学快门130的温度的校正值K。控制单元110可以确定对应于从温度测量单元150收到的光学快门130的温度的抽样点。接着，控制单元110可以查找表调用对应于确定的抽样点存储的校正值K，并且将该校正值K发送到深度信息获取单元160。接着，深度信息获取单元160可以利用适当的校正常数K根据光学快门130的温度校正关于物体10的深度信息。因此，可以改善深度信息获取单元160获取的关于物体10的深度信息的可靠性。
随着根据示例性实施例的深度图像生成装置100的累计操作时间的增加，深度图像生成装置100的部件可能会劣化。换句话说，随着包含于深度图像生成装置100中的光学快门130和光源120的累计操作时间的增加，光学快门130和光源120的性能可能会劣化。如果光学快门130的性能劣化，则指示光学快门130的透射率变化的曲线图可能会变化。因此，如果光学快门130的累计操作时间增加，则即使光学快门130的温度相同，光学快门130的最有效操作的驱动电压Vd2的范围仍可能发生变化。此外，如果光源120的性能劣化，则光源120以特定输出功率发射具有特定波长的光采用的驱动电压Vd1可能发生变化。
图12是示出图10所示查找表的另一个示例的原理图。
参考图12，可以设定存储于查找表中的控制变量，以对应于累计操作时间改变。换句话说，可以在查找表的相应抽样点存储对应于光学快门130和光源120的累计操作时间的不同控制变量。控制单元110可以根据光源120和光学快门130的累计操作时间调用相应控制变量，并且控制驱动单元140。因此，可以对因为光源120和光学快门130的累计操作时间引起的性能变化做补偿。
图13是示出根据示例性实施例的深度图像生成装置的图。
参考图13，根据另一个示例性实施例的深度图像生成装置还可以包含操作时间测量单元170(例如，操作时间测量器)，以用于测量光学快门130和光源120的累计操作时间。例如，操作时间测量单元170可以包含：第一操作时间测量单元170a，该第一操作时间测量单元170a用于测量光源120的累计操作时间；以及第二操作时间测量单元170b，该第二操作时间测量单元170b用于测量光学快门130的累计操作时间。然而，由于在大多数情况下光源120和光学快门130一起工作(并且因此，具有相同的运行时间)，所以在这种情况下，操作时间测量单元170可以仅包含或者使用第一操作时间测量单元170a和第二操作时间测量单元170b中的一个。
操作时间测量单元170可以测量光源120和光学快门130的累计操作时间，并且将测量结果发送到控制单元110。控制单元110可以从查找表调用对应于光源120和光学快门130的累计操作时间的控制变量。
图14是示出产生图10所示查找表的处理的流程图。
参考图14，根据示例性实施例产生深度图像生成装置100的查找表的方法包含：操作1110，该操作1110用于改变光学快门130的温度；操作1120，该操作1120用于改变光源120与物体10之间的距离；操作1130，该操作1130用于确定对应于光学快门130的温度和光源120与物体10之间的距离的多个抽样点；以及操作1140，该操作1140用于通过重复检测关于每个抽样点的深度信息来确定深度图像生成装置100的最有效操作的控制变量。
在操作1110，可以将光学快门130的温度改变为对应于图10和12所示查找表的抽样点中的任何一个抽样点的温度。此外，在操作1120，可以将光源120和物体10之间的距离改变为对应于图10和12所示查找表的抽样点中的任何一个抽样点的距离。
在操作1130，对应于在操作1110和1120分别改变的光学快门130的温度和光源120与物体10之间的距离来确定抽样点。通过在操作1110和1120中改变温度和距离，可以确定对应于不同温度和距离的多个抽样点。
在操作1140，可以利用深度图像生成装置100对每个抽样点重复测量关于物体10的深度信息。换句话说，通过改变控制变量在每个抽样点测量关于物体10的深度信息，可以确定深度图像生成装置100在每个抽样点最有效操作的控制变量。
如上所述，控制变量可以包含对光学快门130施加的驱动电压Vd2的偏压Vbias和驱动电压Vd2的振幅。此外，控制变量可以包含对光源120施加的驱动电压Vd1和用于校正由深度信息获取单元160获取的关于物体10的深度信息的校正值K。
可以以各种方式确定深度图像生成装置100在每个抽样点的最有效操作的控制变量。例如，通过对指示每个抽样点的如图6至8所示的光学快门130的透射率的变化的曲线图进行分析，可以确定控制变量。在另一个示例中，通过改变控制变量，可以在每个抽样点重复测量关于物体10的深度信息，并且可以将对应于测量的深度信息的最小偏差的控制变量确定为深度图像生成装置100的最有效操作的控制变量。根据示例性实施例，如果在相同的条件下测量深度信息，则深度信息的偏差指深度信息的变化范围。例如，即使通过利用相同的控制变量使驱动单元140运行对相同抽样点重复测量深度信息，测量的深度信息仍可能不一致。可以基于在相同条件下测量的深度信息之间的差异确定偏差。此外，可以将对应于最小偏差的控制变量确定为对应于抽样点的控制变量。
图15是示出产生图12所示查找表的处理的流程图。
参考图15，产生深度图像生成装置100的查找表的方法还可以包含操作1150，该操作1150用于根据光学快门130和光源120的累计操作时间存储对应于相应抽样点的控制变量的变化值。
在操作1150，通过改变光学快门130和光源120的累计操作时间，可以重复执行操作1110至1140，并且还可以将对应于累计操作时间的控制变量存储于查找表中。因此，如图12所示，在相应抽样点可以根据累计操作时间改变控制变量。
上面参考图14和15描述了产生深度图像生成装置100的查找表的方法。然而，在在相同处理条件下大量生产深度图像生成装置100的情况下，对所有产品重复图14或者图15所示的操作在成本和时间方面都效率低下。因此，在在相同处理条件下制造多个深度图像生成装置100的情况下，可以通过执行图14或者15所示的操作对一个产品产生查找表，并且对一个产品产生的查找表可以适用于其余产品。因此，可以简化产生查找表的处理。
图16是图示示出产生查找表的上述处理的图。
参考图16，对一个产品产生的查找表可以用作产生其他产品的查找表的基准查找表。例如，对第一产品产生的查找表可以用作基准查找表。接着，对于第二产品，可以仅对第一抽样点确定控制变量。在此，可以假定第二产品的控制变量可以不与基准查找表的控制变量显著不同。因此，通过在查找表的控制变量附近扫描第二产品的控制变量，可以确定第二产品的最有效操作的控制变量。
可以计算在第一抽样点确定的第二产品的控制变量与对应于第一抽样点的基准查找表的控制变量之间的差ΔV1、ΔV2、ΔV3和ΔK。接着，通过使对应于基准查找表的每个其他抽样点的控制变量分别偏移差ΔV1、ΔV2、ΔV3和ΔK，可以确定对应于第二产品的查找表的每个其他抽样点的控制变量。因此，可以简化当大量生产深度图像生成装置100时产生查找表的处理。
图17是根据示例性实施例利用深度图像生成装置100产生物体10的深度图像的方法的流程图。
参考图17，根据示例性实施例产生深度图像的方法可以包含：操作1210，该操作1210用于利用光源120发射光到物体10上；操作1220，该操作1220通过改变反射光的透射率来调制物体10反射的反射光的波形；操作1230，该操作1230用于测量光学快门130的温度；操作1240，该操作1240用于控制驱动单元140，该驱动单元140基于光学快门130的测量温度施加对光学快门130和光源120施加的驱动电压Vd1和驱动电压Vd2；以及操作1250，该操作1250用于提取光源120对物体10发射的光的相位与反射光的相位之间的差，并且基于该相位差获取关于物体10的深度信息。
在操作1210，光源120可以对物体10发射光。光源120发射的光可以具有近红外线(NIR)域中从800nm到1000nm的波长。光源120发射的光可以是具有特定波形的脉冲波。例如，光源120发射的光可以具有正弦波波形、RAMP波形、方波波形等等。
在操作1220，光学快门130可以通过改变反射光的透射率来调制反射光的波形。调制的反射光的波形可以取决于反射光的相位和光学快门130的透射率的变化。光学快门130的透射率的变化可以由对光学快门130施加的驱动电压Vd2的变化导致。驱动单元140可以施加对光学快门130施加的驱动电压Vd2，以围绕偏压Vbias振荡。
在操作1230，温度测量单元150可以测量光学快门130的温度。温度测量单元150可以将测量结果发送到控制单元110。
在操作1240，控制单元110可以基于光学快门130的温度控制驱动单元140的操作。控制单元110可以控制驱动单元140施加的驱动电压Vd1驱动电压Vd2。在操作1240，控制单元110可以进一步考虑深度信息获取单元160获取的深度信息，并且控制驱动单元140对光源120施加的驱动电压Vd1。
此外，在操作1240，控制单元110可以从查找表调用控制变量，用于控制驱动单元140。可以如图10和12所示产生查找表。
在操作1250，深度信息获取单元160可以产生穿过光学快门130的反射光的图像，并且提取反射光的相位与光源120发射的光的相位之差。然后，深度信息获取单元160可以从该相位差获取关于物体10的深度信息。
上面参考图1至17描述了根据特定示例性实施例的深度图像生成装置、产生深度图像的方法、以及产生用于深度图像生成装置的查用表的方法。根据上述示例性实施例，通过考虑到根据光学快门130的温度的变化的光学快门130的操作的变化而有效控制对光学快门130和光源120施加的驱动电压Vd1和驱动电压Vd2，从而可以改善获得的深度图像的可靠性。此外，根据光源120与物体10之间的距离，可以有效控制光源120的光输出量。
根据本公开的示例性实施例，对于光学快门的有效光调制，可以适当地控制对光学快门和光源施加的驱动电压。
此外，通过根据光源与物体之间的距离适当地控制光源的输出功率，可以降低功率消耗并且可以防止破坏部件。
在此根据特定示例性实施例描述的设备和结构部件可以包含：处理器；存储器，用于存储程序数据并且执行存储的程序数据；永久性存储单元，诸如，磁盘驱动器；通信端口，用于处理与外部设备的通信；以及用户接口设备，包含触摸板、键、按钮等等。当调用软件模块或者算法时，可以将这些软件模块作为在处理器上可执行的程序指令或者计算机可读代码而存储于计算机可读介质上。计算机可读记录介质的示例包含：磁储存介质(例如，ROM、软盘、硬盘等等)和光记录介质(例如，CD-ROM或者DVD)。计算机可读记录介质还能够分布于连接到计算机系统的网络上，使得以分布方式存储并且执行计算机可读代码。该介质能够被计算机读取、能够存储于存储器中、并且能够被处理器执行。
根据功能块部件和各种处理操作描述了示例性实施例。这些功能块可以由执行规定的功能的任何数量的硬件和/或者软件部件来实现。例如，示例性实施例可以采用各种集成电路(IC)部件，例如，存储器元件、处理元件、逻辑元件、查找表等等，各种集成电路(IC)部件在一个或者多个微处理器或者其他控制设备的控制下可以执行各种功能。类似地，在利用软件编程或者软件元件实现示例性实施例的元件的情况下，则可以利用任何编程语言或者脚本语言实现示例性实施例，所述编程语言或者脚本语言诸如，C、C++、Java、汇编程序等等，其中各种算法由数据结构、对象、进程、例程或者其他编程元素实现。可以以在一个或者多个处理器上执行的算法来实现功能方案。此外，示例性实施例可以将本技术领域内的技术人员理解的任何数量的技术应用于电子配置、信号处理和/或者控制处理、数据处理等等。广泛使用单词“机制”、“元件”、“装置”和“配置”，并且其不局限于机械或者物理示例性实施例，而且能够包含与处理器结合的软件例程，等等。
在此所示和所描述的特定实施是示例性实施例的说明性示例，并且不旨在以任何方式限制示例性实施例的范围。为了简洁起见，可以不详细描述传统的电子零件、控制系统、软件开发和系统的其他功能方案。此外，所示的各种图中所示的连线或者连接器旨在表示各种元件之间的示例性功能关系和/或者物理耦合或者逻辑耦合。应当注意，在实际设备中可以存在许多替换或者附加功能关系、物理连接或者逻辑连接。
可以将在描述示例性实施例的语境(特别是以下权利要求的语境)中使用的术语“一”和“一个”和“该”以及类似术语理解为既涵盖单个又涵盖多个。此外，在此陈述的值的范围仅旨在用作分别指落入该范围内的每个单独值的简化方法，除非在此另外指出，否则如同在此各自陈述一样，将每个单独值引入该说明书中。此外，能够以任何适当顺序执行在此描述的所有方法的操作(步骤)，除非在此另外指出或者除非上下文清楚地否定。示例性实施例并不局限于所描述的步骤顺序。在此提供的任何示例和全部示例或者示例性语言(例如，“诸如”)的使用仅旨在更好地说明示例性实施例而不对示例性实施例的范围施加限制，除非另外要求。本技术领域内的普通技术人员容易想到许多修改和适配，而不脱离示例性实施例的精神和范围。

Claims (30)

1.一种深度图像生成装置，包括：
光源，配置所述光源，以对物体发射光，使得所述物体反射所述光；
光学快门，所述光学快门被设置于所述物体反射的所述光的路径上，并且配置所述光学快门，以通过相对于所述反射光改变所述光学快门的透射率，调制所述反射光的波形；
驱动器，配置所述驱动器，以对所述光源施加驱动电压并且对所述光学快门施加驱动电压；
温度测量器，配置所述温度测量器，以测量所述光学快门的温度；
控制器，配置所述控制器，以基于所述温度测量器测量的所述温度控制对所述驱动器施加的驱动电压；以及
深度信息获取器，配置所述深度信息获取器，以产生对应于通过所述光学快门的所述反射光的图像，提取所述光源对所述物体发射的光的相位与所述反射光的相位之间的相位差，并且基于所述相位差，获取关于所述物体的深度信息。
2.根据权利要求1所述的深度图像生成装置，其中进一步配置所述驱动器，以通过改变所述驱动器对所述光学快门施加的所述驱动电压，改变所述光学快门的所述透射率。
3.根据权利要求2所述的深度图像生成装置，其中进一步配置所述驱动器，以使对所述光学快门施加的所述驱动电压围绕偏压振荡。
4.根据权利要求3所述的深度图像生成装置，其中进一步配置所述控制器，以基于由所述温度测量器测量的所述温度控制所述偏压。
5.根据权利要求4所述的深度图像生成装置，其中进一步配置所述控制器，以基于所述温度测量器测量的所述温度，控制对所述光学快门施加的所述驱动电压的振幅。
6.根据权利要求1所述的深度图像生成装置，其中进一步配置所述驱动器，以通过改变对所述光源施加的所述驱动电压，改变向所述物体发射的所述光的波长和强度中的至少一个。
7.根据权利要求6所述的深度图像生成装置，其中进一步配置所述控制器，以根据所述深度信息获取器获取的关于所述物体的所述深度信息，控制所述驱动器，以改变对所述光源施加的所述驱动电压的大小。
8.根据权利要求1所述的深度图像生成装置，还包括查找表，所述查找表包括用于控制所述驱动器的控制变量，所述查找表嵌入所述控制器中。
9.根据权利要求8所述的深度图像生成装置，其中基于所述光学快门的所述温度和所述物体与所述光源之间的所述距离，由多个抽样点确定所述控制变量。
10.根据权利要求9所述的深度图像生成装置，其中所述控制变量包括关于所述光学快门的所述驱动电压的偏压。
11.根据权利要求10所述的深度图像生成装置，其中进一步配置所述驱动器，以使对所述光学快门施加的所述驱动电压围绕所述偏压振荡。
12.根据权利要求11所述的深度图像生成装置，其中所述控制变量包括对所述光学快门施加的所述驱动电压的振幅。
13.根据权利要求9所述的深度图像生成装置，其中所述控制变量包括对所述光源施加的所述驱动电压的大小。
14.根据权利要求9所述的深度图像生成装置，其中所述控制变量包括用于校正所述深度信息获取器获取的关于所述物体的所述深度信息的校正值，基于所述光学快门的操作特性确定所述校正值，并且
配置所述深度信息获取器，以基于所述校正值，校正关于所述物体的所述深度信息。
15.根据权利要求9所述的深度图像生成装置，还包括操作时间测量器，配置所述操作时间测量器，以测量所述光学快门和所述光源的累计操作时间，
其中所述控制变量对应于所述累计操作时间而变化。
16.根据权利要求1所述的深度图像生成装置，其中进一步配置所述光源，以以预定间隔向所述物体顺序发射多个光束，并且
进一步配置所述深度信息获取器，以测量在所述多个光束被所述物体反射时形成的并且在所述反射光束通过光调制器时调制的反射光束的强度，并且提取所述光源发射的所述光的相位与所述反射光束的相位之差。
17.一种用于生成查找表的方法，所述查找表用于根据深度图像生成装置的光学快门的温度和所述深度图像生成装置的光源与反射所述光源发射的光的物体之间的距离来控制所述深度图像生成装置，所述方法包括：
确定对应于所述光学快门的温度和所述深度图像生成装置的所述光源与所述物体之间的所述距离的多个抽样点，并且
通过相对于所述多个抽样点中的每个重复测量关于所述物体的深度信息，对将由所述深度图像生成装置执行的深度图像确定操作确定控制变量。
18.根据权利要求17所述的方法，其中所述控制变量包括关于所述光学快门的驱动电压的偏压。
19.根据权利要求17所述的方法，其中所述控制变量包括所述光学快门的所述驱动电压的振幅，并且其中所述驱动电压围绕所述偏压振荡。
20.根据权利要求17所述的方法，其中所述控制变量包括对所述光源施加的所述驱动电压的大小。
21.根据权利要求17所述的方法，其中所述确定所述控制变量包括通过改变所述控制变量并且将对应于所述测量的深度信息的最小偏差的控制变量确定为将由所述深度图像生成装置执行的所述深度图像确定操作的所述控制变量，在每个所述抽样点重复测量关于所述物体的所述深度信息。
22.根据权利要求17所述的方法，还包括根据所述光学快门和所述光源的累计操作时间存储对应于相应抽样点的所述控制变量的变化值。
23.一种产生深度图像的方法，所述方法包括：
利用光源向物体发射光，使得所述物体反射所述光；
通过利用光学快门改变所述反射光的透射率，调制所述物体反射的所述光的波形；
测量所述光学快门的温度；
基于所述光学快门的所述温度，控制对所述光学快门施加的驱动电压和对所述光源施加的驱动电压；
通过测量穿过所述光学快门的所述反射光的强度，提取所述光源向所述物体发射的所述光的相位与所述反射光的相位之间的相位差；以及
基于所述相位差，获取关于所述物体的深度信息。
24.根据权利要求23所述的方法，还包括利用驱动器使对所述光学快门施加的所述驱动电压围绕偏压振荡。
25.根据权利要求24所述的方法，其中所述控制所述驱动电压包括基于温度测量器测量的所述光学快门的所述温度，控制所述偏压和所述驱动电压的振幅。
26.根据权利要求23所述的方法，其中所述控制所述驱动电压包括控制所述驱动器，以根据所述深度信息，改变对所述光源施加的所述驱动电压的大小。
27.根据权利要求23所述的方法，其中所述控制所述驱动电压包括：
从查找表调用控制变量，用于控制所述驱动电压；以及
基于所述控制变量，控制所述驱动电压。
28.根据权利要求27所述的方法，还包括将所述控制变量存储于所述查找表中，
其中基于所述光学快门的所述温度和所述物体与所述光源之间的距离，由多个抽样点确定所述控制变量。
29.根据权利要求27所述的方法，还包括测量所述光学快门和所述光源的累计操作时间，
其中所述控制变量对应于所述累计操作时间而变化。
30.根据权利要求25所述的方法，其中所述向所述物体发射所述光包括以预定间隔对所述物体顺序发射多个光束，以及
所述获取所述深度信息包括测量在所述多个光束被所述物体反射时形成的并且在所述反射光束通过光调制器时调制的反射光束的强度，并且基于所述测量的强度，提取所述光源发射的所述光与所述反射光的相位之差。
CN201610972498.7A 2015-10-28 2016-10-28 用于产生深度图像的方法和装置 Active CN107018295B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150150476A KR102372087B1 (ko) 2015-10-28 2015-10-28 깊이 영상 촬영장치 및 방법
KR10-2015-0150476 2015-10-28

Publications (2)

Publication Number Publication Date
CN107018295A true CN107018295A (zh) 2017-08-04
CN107018295B CN107018295B (zh) 2021-01-05

Family

ID=57256057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610972498.7A Active CN107018295B (zh) 2015-10-28 2016-10-28 用于产生深度图像的方法和装置

Country Status (4)

Country Link
US (1) US10264240B2 (zh)
EP (1) EP3163317B1 (zh)
KR (1) KR102372087B1 (zh)
CN (1) CN107018295B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107607957A (zh) * 2017-09-27 2018-01-19 维沃移动通信有限公司 一种深度信息获取系统及方法、摄像模组和电子设备
CN111522015A (zh) * 2019-02-01 2020-08-11 电装波动株式会社 距离图像测量装置
CN112363150A (zh) * 2018-08-22 2021-02-12 Oppo广东移动通信有限公司 标定方法、标定控制器、电子装置及标定系统
CN112823512A (zh) * 2018-10-05 2021-05-18 Lg伊诺特有限公司 获取深度信息的方法以及摄像头模块
CN113034564A (zh) * 2019-12-24 2021-06-25 奇景光电股份有限公司 结构光投射器和投射结构光的方法
CN113156458A (zh) * 2020-01-03 2021-07-23 华为技术有限公司 一种tof深度传感模组和图像生成方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102553487B1 (ko) * 2018-10-26 2023-07-07 엘지전자 주식회사 카메라, 및 이를 구비하는 단말기
CN112363181B (zh) * 2019-07-26 2024-04-05 现代摩比斯株式会社 车辆的激光雷达装置、激光雷达传感器控制装置及方法
US20220394221A1 (en) * 2021-06-08 2022-12-08 Himax Technologies Limited Structured-light scanning system with thermal compensation

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101103308A (zh) * 2004-08-25 2008-01-09 潘那维申影像股份有限公司 控制镜头的方法和设备以及含有其的相机模块
US20090116850A1 (en) * 2007-10-29 2009-05-07 Cubic Corporation Resonant quantum well modulator driver
CN101483482A (zh) * 2008-01-11 2009-07-15 冲电气工业株式会社 载波抑制光脉冲串生成装置和载波抑制光脉冲串生成方法
US20090220256A1 (en) * 2008-02-28 2009-09-03 Hiroyuki Suhara Electrostatic latent image measuring device
US20130021325A1 (en) * 2011-07-22 2013-01-24 Bo-Ram Kim Three-dimensional image display device and a driving method thereof
CN103491897A (zh) * 2010-12-21 2014-01-01 3形状股份有限公司 运动模糊补偿
US20140098192A1 (en) * 2012-10-10 2014-04-10 Samsung Electronics Co., Ltd. Imaging optical system and 3d image acquisition apparatus including the imaging optical system
CN104104941A (zh) * 2013-04-08 2014-10-15 三星电子株式会社 三维图像获取装置以及生成深度图像的方法
CN104395719A (zh) * 2012-04-20 2015-03-04 美敦力公司 感测医疗设备内的温度
CN104871093A (zh) * 2012-12-19 2015-08-26 佳能株式会社 电子照相用定影构件、定影设备和电子照相图像形成设备
CN105611193A (zh) * 2014-11-13 2016-05-25 三星电子株式会社 深度感测方法、三维图像传感器及其装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7603041B2 (en) 2005-06-09 2009-10-13 Cubic Corporation Temperature compensated dynamic optical tag modulator system and method
JP2008058882A (ja) 2006-09-04 2008-03-13 Citizen Holdings Co Ltd カメラモジュール
WO2008047640A1 (fr) 2006-10-18 2008-04-24 Panasonic Electric Works Co., Ltd. Dispositif de détection d'informations spatiales
US8681321B2 (en) 2009-01-04 2014-03-25 Microsoft International Holdings B.V. Gated 3D camera
KR101697519B1 (ko) 2010-09-08 2017-01-19 삼성전자주식회사 깊이 센싱 장치 및 방법
KR20120026204A (ko) 2010-09-09 2012-03-19 (주)세미솔루션 광 발생 장치 및 그의 제어 방법
JP2012120764A (ja) 2010-12-10 2012-06-28 Fujifilm Corp 内視鏡システム、光学装置、および波長可変素子の透過光の波長帯域のずれ補正方法
US9491441B2 (en) * 2011-08-30 2016-11-08 Microsoft Technology Licensing, Llc Method to extend laser depth map range
JP5477432B2 (ja) 2012-03-15 2014-04-23 カシオ計算機株式会社 撮像装置、撮像方法、及びプログラム
KR102056904B1 (ko) 2013-05-22 2019-12-18 삼성전자주식회사 3차원 영상 획득 장치 및 그 구동 방법
KR20130114032A (ko) 2013-08-30 2013-10-16 (주)세미솔루션 광 발생 장치 및 그의 제어 방법

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101103308A (zh) * 2004-08-25 2008-01-09 潘那维申影像股份有限公司 控制镜头的方法和设备以及含有其的相机模块
US20090116850A1 (en) * 2007-10-29 2009-05-07 Cubic Corporation Resonant quantum well modulator driver
CN101483482A (zh) * 2008-01-11 2009-07-15 冲电气工业株式会社 载波抑制光脉冲串生成装置和载波抑制光脉冲串生成方法
US20090220256A1 (en) * 2008-02-28 2009-09-03 Hiroyuki Suhara Electrostatic latent image measuring device
CN103491897A (zh) * 2010-12-21 2014-01-01 3形状股份有限公司 运动模糊补偿
US20130021325A1 (en) * 2011-07-22 2013-01-24 Bo-Ram Kim Three-dimensional image display device and a driving method thereof
CN104395719A (zh) * 2012-04-20 2015-03-04 美敦力公司 感测医疗设备内的温度
US20140098192A1 (en) * 2012-10-10 2014-04-10 Samsung Electronics Co., Ltd. Imaging optical system and 3d image acquisition apparatus including the imaging optical system
CN104871093A (zh) * 2012-12-19 2015-08-26 佳能株式会社 电子照相用定影构件、定影设备和电子照相图像形成设备
CN104104941A (zh) * 2013-04-08 2014-10-15 三星电子株式会社 三维图像获取装置以及生成深度图像的方法
CN105611193A (zh) * 2014-11-13 2016-05-25 三星电子株式会社 深度感测方法、三维图像传感器及其装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107607957A (zh) * 2017-09-27 2018-01-19 维沃移动通信有限公司 一种深度信息获取系统及方法、摄像模组和电子设备
WO2019062430A1 (zh) * 2017-09-27 2019-04-04 维沃移动通信有限公司 深度信息获取系统及方法、摄像模组和电子设备
US11644570B2 (en) 2017-09-27 2023-05-09 Vivo Mobile Communication Co., Ltd. Depth information acquisition system and method, camera module, and electronic device
CN112363150A (zh) * 2018-08-22 2021-02-12 Oppo广东移动通信有限公司 标定方法、标定控制器、电子装置及标定系统
CN112363150B (zh) * 2018-08-22 2024-05-28 Oppo广东移动通信有限公司 标定方法、标定控制器、电子装置及标定系统
CN112823512A (zh) * 2018-10-05 2021-05-18 Lg伊诺特有限公司 获取深度信息的方法以及摄像头模块
US11875525B2 (en) 2018-10-05 2024-01-16 Lg Innotek Co., Ltd. Method and camera module for acquiring depth information
CN112823512B (zh) * 2018-10-05 2024-01-16 Lg伊诺特有限公司 获取深度信息的方法以及摄像头模块
CN111522015A (zh) * 2019-02-01 2020-08-11 电装波动株式会社 距离图像测量装置
CN113034564A (zh) * 2019-12-24 2021-06-25 奇景光电股份有限公司 结构光投射器和投射结构光的方法
CN113034564B (zh) * 2019-12-24 2024-02-23 奇景光电股份有限公司 结构光投射器和投射结构光的方法
CN113156458A (zh) * 2020-01-03 2021-07-23 华为技术有限公司 一种tof深度传感模组和图像生成方法

Also Published As

Publication number Publication date
US10264240B2 (en) 2019-04-16
EP3163317A1 (en) 2017-05-03
KR102372087B1 (ko) 2022-03-08
CN107018295B (zh) 2021-01-05
KR20170049274A (ko) 2017-05-10
EP3163317B1 (en) 2021-11-17
US20170127047A1 (en) 2017-05-04

Similar Documents

Publication Publication Date Title
CN107018295A (zh) 用于产生深度图像的方法和装置
US8611610B2 (en) Method and apparatus for calculating a distance between an optical apparatus and an object
CN107765260B (zh) 用于获取距离信息的方法、设备及计算机可读记录介质
CN104104941B (zh) 三维图像获取装置以及生成深度图像的方法
US9894347B2 (en) 3D image acquisition apparatus and method of driving the same
EP3163316B1 (en) Apparatus and method for obtaining a depth image
US9123164B2 (en) 3D image acquisition apparatus and method of extracting depth information in 3D image acquisition apparatus
CN102346250A (zh) 飞行时间成像器
KR102194237B1 (ko) 깊이 영상 촬영 장치 및 깊이 정보 획득 방법
KR20120000299A (ko) 깊이 영상 생성 장치 및 그 방법
US20150334372A1 (en) Method and apparatus for generating depth image
CN110072065B (zh) 适用于卷帘曝光深度相机的投射器工作时间控制方法及其应用
US20210389459A1 (en) LiDAR DEVICE AND METHOD OF OPERATING THE SAME
US20170184722A1 (en) Method and device for acquiring distance information
US11483539B2 (en) Apparatus and method for generating three-dimensional image using optical system directing light in a dot pattern
WO2021004946A1 (en) Time-of-flight imaging apparatus and time-of-flight imaging method
US20210389465A1 (en) Electronic device, method and computer program
US9989642B2 (en) Method of acquiring depth image and image acquiring apparatus using thereof
CN116299341A (zh) 基于tof的双目深度信息获取系统及方法
EP3964857A1 (en) Method and apparatus for determining a reflectivity value indicating a reflectivity of an object
EP3943977A1 (en) Apparatus comprising a time-of-flight sensor and method for characterizing a time-of-flight sensor
US20220035004A1 (en) Method and apparatus for time-of-flight sensing
CN112462388A (zh) 三维成像装置、方法及电子设备
WO2021166523A1 (ja) 距離測定装置及び距離測定方法
CN113424072A (zh) 飞行时间装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant