CN113009494A - 深度检测装置和电子设备 - Google Patents

深度检测装置和电子设备 Download PDF

Info

Publication number
CN113009494A
CN113009494A CN202110197871.7A CN202110197871A CN113009494A CN 113009494 A CN113009494 A CN 113009494A CN 202110197871 A CN202110197871 A CN 202110197871A CN 113009494 A CN113009494 A CN 113009494A
Authority
CN
China
Prior art keywords
distortion
depth
lens
optical signal
speckle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110197871.7A
Other languages
English (en)
Inventor
蔡斐欣
张劭宇
葛丛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huiding Technology Private Ltd.
Original Assignee
Yaoxin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaoxin Technology Co ltd filed Critical Yaoxin Technology Co ltd
Priority to CN202110197871.7A priority Critical patent/CN113009494A/zh
Publication of CN113009494A publication Critical patent/CN113009494A/zh
Priority to US17/487,589 priority patent/US20220268571A1/en
Priority to EP21200042.6A priority patent/EP4047386B1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本申请提供一种深度检测装置和电子设备。所述深度检测装置包括发射模组，所述发射模组用于向检测目标发射散斑光信号，所述发射模组被配置为使得所述散斑光信号产生正畸变；成像镜头，所述成像镜头用于将所述散斑光信号照射到所述检测目标后返回的深度光信号成像至光电传感器，其中所述成像镜头被配置为使得所述深度光信号的成像产生负畸变；光电传感器，所述光电传感器用于将所述深度光信号转化为电信号,其中，所述负畸变与所述正畸变的畸变量的绝对值的差异不超过0.05，所述负畸变与所述正畸变分别为畸变量绝对值大于或等于0.03的畸变。本申请实施例能够有效改善镜头畸变问题，提高散斑利用率，提升镜头相对照度，提高系统深度分辨率。

Description

深度检测装置和电子设备
技术领域
本申请涉及深度检测技术领域，尤其涉及一种深度检测装置和电子设备。
背景技术
随着“人脸识别”、“体感游戏”和“模式识别”的兴起，三维深度检测已成为当前发展的热点。飞行时间(Time of flight,TOF)深度检测通过测量信号光在空间中的飞行时间来计算物体的距离。由于其具有精度高、测量范围大等优点被广泛应用于消费电子、无人架驶、增强现实或虚拟现实(AR/VR)等领域。
根据信号光在检测目标上的连续状态，飞行时间深度检测可以分为面光飞行时间深度检测(Flood TOF)和点光飞行时间深度检测(Spot TOF)，其中点光飞行时间深度检测具有量程大、精度高、功耗低的优点，但由于畸变的影响，部分光斑不能到达感光芯片，造成功耗损失，影响深度检测的效率。
发明内容
本申请实施例提供了一种深度检测装置和电子设备，能够改善畸变问题，提升深度检测的效率。
第一方面，提供了一种深度检测装置，包括：
发射模组，所述发射模组用于向检测目标发射散斑光信号，所述发射模组被配置为使得所述散斑光信号产生正畸变；
成像镜头，所述成像镜头用于将所述散斑光信号照射到所述检测目标后返回的深度光信号成像至光电传感器，其中所述成像镜头被配置为使得所述深度光信号的成像产生负畸变；
光电传感器，所述光电传感器用于将所述深度光信号转化为电信号，
其中，所述负畸变与所述正畸变的畸变量的绝对值的差异不超过0.05，所述负畸变与所述正畸变分别为畸变量的绝对值大于或等于0.03的畸变。
由于发射模组的物理非线性特征以及实际生产中不可避免的装配公差影响，照射至检测目标的散斑光信号不可避免会发生正畸变。通过配置产生负畸变的成像镜头，使得所述正畸变与所述负畸变互补，最终成像至光电传感器的深度光信号为畸变矫正后的深度光信号，能够有效改善畸变问题，提高散斑利用率，提升镜头的相对照度，从而降低系统的功耗、提升深度分辨率，提升深度误差的全局一致性，从而提高了深度检测的效率以及深度检测装置的成像质量。
在一种可能的实现方式中，所述发射模组包括多个透镜，所述多个透镜被配置为使得所述散斑光信号产生所述正畸变。
在一种可能的实现方式中，所述发射模组包括多个透镜和一个光信号复制元件，所述多个透镜和所述光信号复制元件被配置为使得所述散斑光信号产生所述正畸变。
在一个实施例中，所述成像镜头包括多个透镜沿光轴前后排列成透镜组。
当成像镜头中的至少一个透镜和/或至少一个光信号复制元件与发射模组中的至少一个透镜产生的正负畸变的畸变量的绝对值的差异不超过0.05时即可认为所述正负畸变互补，该互补效应能够进一步消除发射模组产生的正畸变，更大地提高边缘散斑利用率，降低系统的功耗，提升成像镜头的相对照度，提高深度分辨率，并极大地提高深度检测装置的成像质量。另一方面，由于畸变互补消除了发射模组产生的正畸变，能够省去一般深度检测装置中后续图像处理的步骤和部件，降低了深度检测装置的成本，提高了深度检测的效率。
在一种可能的实现方式中，所述负畸变的畸变曲线满足公式：
y＝A1*x+A2*x2+A3*x3+A4*x4+A5*x5
其中，y表示畸变量，x表示视场角角度的归一化数值，A1-A5为参数系数，0.123≤A1≤0.147，-0.702≤A2≤-0.686，1.708≤A3≤1.718，-1.967≤A4≤-1.961，0.679≤A5≤0.683。
在一种可能的实现方式中，所述负畸变的畸变曲线满足在视场角为40度时所述畸变量为-0.2；视场角为30度时所述畸变量为-0.1；视场角为0度时所述畸变量为0。
在一种可能的实现方式中，所述发射模组包括：
光源，所述光源用于发射多束光信号；
发射镜头，所述发射镜头用于将所述光信号转化为平行光信号。
在一种可能的实现方式中，所述发射模组还包括光信号复制元件，所述光信号复制元件用于将所述平行光信号复制以得到所述散斑光信号。
通过配置光信号复制元件，有助于对发射模组发出的散斑光信号进行空间调制，形成多种模式的结构光，扩大了深度检测装置的测量范围，提高了深度检测的测量精度。
在一种可能的实现方式中，所述光源为垂直腔面发射激光器。垂直腔面发射激光器具有体积小、功率大、光束发散角小、运行稳定的优势，配置垂直腔面发射激光器有助于提升深度检测装置的光斑质量。
在一种可能的实现方式中，所述发射模组还包括发射镜头，所述发射镜头用于将所述光信号转化为平行光信号。
在一种可能的实现方式中，所述发射镜头为准直镜，所述准直镜包括沿光轴方向前后排列的多个透镜。
在一种可能的实现方式中，所述成像镜头为塑胶材质。
第二方面，提供了一种电子设备，包括第一方面或第一方面的任意可能的实现方式中的深度检测的装置。
附图说明
图1是畸变的分类说明图。
图2是本申请施例提供的一种深度检测的装置的示意性结构图。
图3是本申请实施例的几种畸变曲线示意图。
图4是本申请实施例的一种发射模组镜头的畸变曲线示意图。
图5是本申请实施例的一种发射模组镜头对应的散斑成像效果图。
图6是本申请实施例的一种成像镜头的畸变曲线示意图。
图7是本申请实施例的一种成像镜头对理想散斑的成像效果图。
图8是本申请实施例的深度检测的装置的畸变曲线互补的示意图。
图9是本申请实施例的深度检测的装置的散斑的矫正效果图。
具体实施方式
为了使本申请实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，下面将结合附图，对本申请的技术方案进行清楚、完整地描述。
首先对本申请实施例涉及的术语进行简单介绍。
畸变是像差的一种，由于相机镜头的物理非线性特征，在成像过程中不可避免的会造成实物对应的形状在图像上的畸变。所有光学相机镜头都存在畸变的问题，畸变属于图像的几何失真，畸变的程度从画面中心至画面边缘依次递增，主要在画面边缘反映得较明显。畸变的存在不仅影响采集图像的视觉效果，当直接应用到工业近景测量时，畸变将会导致相机测量精度降低，对结果产生不利的影响。相机在元件的加工和镜头装配过程中还存在各种误差，也将加剧图像的畸变效果。按照畸变的方向可以将畸变分为正畸变和负畸变；按照图像失真的形状可以将畸变分为桶形畸变和枕形畸变；其中桶形畸变又可称为负畸变，枕形畸变又可称为正畸变，物像失真状态如图1所示。畸变可用于反映图像的失真程度，具体地，反映图像的像高偏离值与理想像高的比值，其中像高偏离值为真实像高与理想像高的差值，畸变量的计算过程如下式所示：
Figure BDA0002946516990000041
其中Dis表示畸变量，Hreal表示真实像高，Hideal表示理想像高，△H表示像高偏离值，故上式还可表达为：
Figure BDA0002946516990000042
视场角(Field of view,FOV)是用来表征镜头视野范围的物理量，在镜头尺寸相等的情况下，镜头的视场角越大，表示该镜头能获得更大区域的信息，同时较大的视场角会使得镜头的畸变程度也更大，比如鱼眼镜头视场角非常大但图像畸变也非常严重。
照度(Illuminance)是指单位面积上所接受可见光的能量，可理解为物体或被照射面上被光源照射所呈现的光亮程度；相对照度(Relative illuminance,RI)则是中心照度与外围照度的比值。相对照度过低时会导致色彩失真、图像出现中心较亮四周较暗的暗角现象，会直接影响深度检测的测量精度。
对于镜头产生的畸变，目前业内普遍采用对畸变图像进行标定矫正的方法，通过对镜头采集到的图像进行数字化处理，标定图像产生的畸变从而对畸变的图像进行矫正。这种方法可以从后期图像处理上矫正镜头产生的畸变，但对于需要直接使用从镜头处捕获的图像的应用场景显然后期的图像处理并不能改善镜头处产生的畸变。或者现有技术在设计镜头时，通过设计镜头的畸变曲线，尽可能减少图像的畸变量，但畸变的改善效果是有限的。
三维深度检测按照测量原理的不同一般分为：飞行时间法(Time of flight,TOF)、结构光法(Structure light,SL)和双目立体视觉法。其中飞行时间法采用主动光探测方式，通过探测发射光信号的飞行(往返)时间来获取目标物的距离，飞行时间相机一般由光源、光学部件、传感器、控制电路以及处理电路等单元组成。根据信号光在物平面的连续状态，飞行时间法可分为面光飞行时间深度检测(Flood TOF)和点光飞行时间深度检测(Spot TOF)。其中Flood TOF中的光源经光学元件后投射到达检测目标表面的信号光为较为均匀的面光，而Spot TOF中的光源经光学元件后到达检测目标表面的信号光为散斑光，即一系列光斑组成的阵列，或称为斑点光。
本申请实施例的技术方案应用于点光飞行时间深度检测(Spot TOF)。在Spot TOF中，光源发出的光经过光学元件最终形成散斑光。然而，由于光学元件的物理非线性特征以及实际生产中不可避免的装配公差影响，光学元件在转化光的同时，会导致散斑光产生正畸变。正畸变可能会导致边缘的散斑无法到达感光元件而成像，从而降低散斑利用率，影响深度检测的效率。
有鉴于此，本申请实施例提供了一种深度检测的装置，通过配置产生负畸变的成像镜头，实现镜头的畸变互补，从而改善畸变问题，提高深度检测的效率。
图2是本申请实施例的深度检测的装置200的一种示意性结构图。
在一个实施例中，如图2所示，深度检测的装置200可应用于Spot TOF深度检测，深度检测装置200包括发射模组210、成像镜头214及光电传感器215。
发射模组210用于向检测目标30发射散斑光信号20。发射模组210提供散斑光信号20至检测目标30表面及四周，至少部分散斑光信号20经检测目标30反射和/或散射后形成深度光信号40。检测目标30的不同位置的深度差异会使得深度光信号40产生光程差异，从而使得深度光信号40携带检测目标30的深度信息。
发射模组210被配置为使得散斑光信号20产生正畸变。例如，散斑光信号20可以为光源发射的光信号转化为平行光后再经过复制得到的散斑光信号。在这种情况下，光信号的发射、转化或复制的光学元件可能会导致散斑光信号20产生正畸变。例如，光学元件的物理非线性特征以及实际生产中不可避免的装配公差影响，导致照射至检测目标的散斑光信号不可避免地会产生正畸变。
成像镜头214用于将散斑光信号20照射到检测目标30后返回的深度光信号40成像至光电传感器215。深度光信号40被成像镜头214接收并成像至光电传感器215。光电传感器215用于将深度光信号40转化为电信号。
成像镜头214被配置为使得深度光信号214的成像产生负畸变。发射模组210产生的正畸变与成像镜头214产生的负畸变互补，即成像镜头214产生的负畸变可以抵消或部分抵消发射模组210产生的正畸变，从而改善畸变问题。本申请实施例所述的正畸变与负畸变均为畸变量的绝对值大于或等于0.03的畸变。
具体而言，成像镜头214带来的负畸变，一方面可以使得原本因正畸变而无法到达光电传感器215的边缘散斑由于负畸变的矫正而能够达到光电传感器215，提高了边缘散斑利用率，降低了功耗，提升了深度分辨率；另一方面负畸变使得散斑能够更靠近光电传感器215的中心，提升了成像镜头214的相对照度，降低了中心散斑与边缘散斑的能量差异，提升了深度误差的全局一致性。
因此，本申请实施例的深度检测的装置，通过配置产生负畸变的成像镜头，实现镜头的畸变互补，可以降低功耗，提升深度分辨率，提升深度误差的全局一致性，从而能够提高深度检测的效率。
可选地，在一个实施例中，发射模组210可以包括光源211、发射镜头212和光信号复制元件213。通过配置发射镜头和光信号复制元件可以将光源211发出的信号光进行准直与光斑复制，扩大深度检测装置的测量范围。
光源211用于发射光信号。可选地，在一个实施例中，光源211可以是垂直腔面发射激光器(Vertical cavity surface emitting laser,VCSEL)、边发射激光器(Edgeemitting laser,EEL)、发光二极管(Light emitting diodes,LED)等光源或多个上述光源组合成的阵列，用于发出信号光源。信号光源可以是经光学调制、处理或控制的携带空间光学图案的光信号，可以是经光学调制、处理或控制的分区域照明的光信号，也可以是经光学制、处理或控制的周期性照明的光信号，或上述光信号的组合。VCSEL是一种半导体二极管激光器，发射的激光束一般从顶表面并且以基本垂直的方式离开该器件，VCSEL光源具有体积小、功率大、光束发散角小、运行稳定等诸多优势，成深度检测系统光源的首选，本申请实施例以VCSEL为示例进行说明。具体的，光源可以是单芯片多点发光的VCSEL芯片，多个发光点呈二维矩阵排列，对应的发射出多束激光信号，形成矩阵式激光信号阵列。在利用飞行时间测量的深度检测装置中，可以优选将发光点设置为规则二维矩阵，而在利用结构光测量的3D检测装置(也可以认为是一种深度检测装置)中，可以将发光点设置为随机分布。
发射镜头212用于将光源211发射的光信号转化为平行光信号。可选地，在一个实施例中，发射镜头212(Collimator,TX LENs)可以为准直镜或任何能达到光束准直效果的光学元件。发射镜头212可以是玻璃或塑胶镜片。本实施例以准直镜为示例，通过配置准直镜，在调光系统中能够改变光束的直径和发散角，使光束变为准直平行光束，使光束能量更集中，从而获得细小的高功率密度光斑。但在实际应用过程中，受准直镜本身的误差以及准直镜与准直镜载体之间的装配误差等因素的影响，不可避免会产生畸变，很难得到完全理想的光斑。准直镜可以由多个透镜沿光轴前后排列成透镜组，相对于光源发射出来的激光信号阵列而言，经过准直镜和光信号复制元件后投射出去的散斑光信号产生了正畸变。
光信号复制元件213用于将平行光信号复制以得到散斑光信号。可选地，在一个实施例中，光信号复制元件213可以为光学衍射元件(Diffraction optical element,DOE)、微透镜阵列(Micro lens array,MLA)、光栅或者其他任何可以形成斑点的光学元件中的至少一个或多种光学元件的组合。本申请实施例以DOE为示例进行说明。DOE通常为玻璃或塑胶材质，用于将所述VCSEL光源发射的光束以一定的倍数复制后向外投射。可以向空间中投射稀疏以及密集的散斑图案，或者形成多种模式的结构光图案，以适用于多种应用。DOE的衍射能力决定了深度检测系统的测量范围。本实施例通过配置光信号复制元件213能够对散斑光信号进行空间调制，扩大了深度检测装置的测量范围，提高了深度检测的测量精度。
作为示例而非限定，当光源211中具有20个发光单元，能够发射20个光斑构成光信号，光信号经发射镜头212后转化为平行光信号，若光信号复制元件213是一个3x3的DOE，能够对光斑实现3x3的复制，最终将得到由180个光斑构成的散斑光信号投射至检测目标上。
在另一种可选的实施例中，发射模组可以不包括光信号复制元件，光源所发出的激光束阵列经过准直镜后形成散斑光信号，准直镜所包含的多个透镜使得散斑光信号产生正畸变。
可选地，在一个实施例中，成像镜头214(RX LENs)可以包括一个透镜或多个透镜组成的透镜组，多个透镜沿光轴前后排列成透镜组，将从检测目标30处反射和/或散射后形成的深度光信号成像至光电传感器。可选地，成像镜头214为塑胶材质。当然也可以是其他材质的光学镜头。在一个实施例中，成像镜头214中的多个透镜被配置成产生负畸变。成像镜头214产生的负畸变被配置为能够与发射模组210产生的正畸变互补，所述负畸变与所述正畸变均为畸变量大于或等于0.03的畸变。
可选地，在一个实施例中，所述负畸变与所述正畸变互补指所述正畸变与所述负畸变的畸变量相反且畸变量的绝对值的差异不超过0.05。
当成像镜头214产生的负畸变的畸变量的绝对值与发射模组210产生的正畸变的畸变量的绝对值的差异不超过0.05时，即可认为成像镜头214能够与发射模组210产生的正畸变互补。也就是说，在一个实施例中，可以用下式计算的畸变量的绝对值的差异：
Figure BDA0002946516990000081
其中，Dis(-)表示所述负畸变的畸变量，Dis(+)表示所述正畸变的畸变量。
根据发射模组210产生的正畸变设计成像镜头214的畸变曲线，使成像镜头214发生的负畸变能够与发射模组210产生的正畸变互补，该互补效应能够消除发射模组210产生的畸变，能够提高边缘散斑的利用率，降低功耗；提升成像镜头214的相对照度，提高深度分辨率，并提高并极大地提高深度检测装置的成像质量。该互补效应还有助于省去一般深度检测装置中后续图像处理的步骤和部件，降低了深度检测装置的成本，提高了深度检测的效率。
可选地，在一种可能的实现方式中，成像镜头214产生的负畸变的畸变曲线满足公式：
y＝A1*x+A2*x2+A3*x3+A4*x4+A5*x5
其中，y表示畸变量，x表示视场角角度的归一化数值，A1-A5为参数系数，0.123≤A1≤0.147，-0.774≤A2≤-0.686，1.708≤A3≤1.718，-1.967≤A4≤-1.961，0.679≤A5≤0.683。
上述公式拟合出的畸变曲线如图3所示，曲线1与曲线2为上述参数系数取极值时拟合出的边界曲线，曲线3为上述公式拟合出的一种畸变曲线，像镜头214产生的畸变所对应的畸变曲线如曲线4所示。
应理解，调整上述参数系数，使得镜头的畸变曲线落在边界曲线1和曲线2之间的成像镜头均属于本申请的保护的范围。
可选地，在一种可能的实现方式中，成像镜头214产生的负畸变的畸变曲线满足在视场角为40度时畸变量为-0.2；视场角为30度时畸变量为-0.1；视场角为0度时畸变量为0。
可选地，在一个实施例中，成像镜头214被配置为畸变可调的镜头系统，包含透镜组成的透镜组，其中多个透镜被配置为发生负畸变。多个透镜可发生畸变曲线相同或不同的负畸变。当发射模组210被配置为发生正畸变1时，调整成像镜头214中的一个发生负畸变的镜头在光路上的位置，使成像镜头214产生的负畸变1与所述正畸变1互补；当发射模组210被配置为发生正畸变2时，调整成像镜头214中的一个或多个发生负畸变的镜头在光路上的位置，使成像镜头214产生的负畸变2与所述正畸变2互补。
这样，深度检测装置能够根据发射模组210产生的正畸变灵活配置成像镜头214成像发生相应的负畸变，在镜头可调范围内都能够实现成像镜头214与发射模组210的畸变互补，提高了散斑利用率，降低了深度检测装置的功耗，提高了深度分辨率，进一步节省了一般深度检测装置中后续图像处理的步骤和部件，扩大了深度检测装置在直接使用从镜头处捕获的图像时的应用场景，提高了深度检测装置的灵活性。
可选地，在一个实施例中，光电传感器215可以是多个感光元件组成的阵列，感光元件可以是光电二极管(Photodiode,PD)、光电晶体管(Phototransistors,PT)或任何能将光信号转化为电信号的元件。光电传感器215可以是一些像素单元组成的阵列，像素单元可以是电荷耦合元件(CCD)、互补金属氧化物半导体(CMOS)、雪崩二极管(AD)、单光子雪崩二极管(SPAD)等。本实施例以PD为例，深度光信号40经被设计成发生负畸变的成像镜头214接收后成像至PD处，PD能够直接输出畸变矫正后的光信号。
可选地，在一个实施例中，可以根据发射模组210的畸变曲线配置成像镜头214的畸变曲线。
由于发射模组210中光学组件的非线性物理特性以及装配过程中不可避免的公差，发射模组210可能会产生的正畸变。例如，发射模组210可能会产生如图4所示的畸变曲线的正畸变，其中，畸变曲线的横轴(X轴)代表畸变量，纵轴(Y轴)代表视场角。在不特殊配置成像镜头的情况下，深度光信号40的散斑分布如图5所示。由于散斑阵列发生的正畸变，将导致原本可以到达感光元件的部分边缘散斑无法到达感光元件，边缘散斑无法利用，造成系统的功耗损失。
可选地，成像镜头214的畸变曲线可以根据发射模组210的畸变曲线配置得到。发射模组210的畸变曲线可以通过针对发射模组210的测量数据得到。例如，可以根据发射模组210产生的散斑图案确定发射模组210的畸变曲线。具体地，在发射模组210中设置一个发射具有理想散斑阵列的VCSEL光源211，发出理想散斑光信号(不发生畸变的散斑阵列)，理想散斑经发射模组210产生正畸变后的散斑阵列如图5所示，视场角为40度的视场中，一个边缘散斑的真实位置如点B所示，边缘散斑点B对应的理想散斑点的位置如点A所示，测量点A和点B的偏离值，根据畸变量的计算公式能够计算40度视场角对应视场的畸变量。同理，测量图5散斑阵列中其他散斑点与理想散斑光阵列中对应理想散斑点的偏离值，建立视场角与畸变量的映射关系，从而拟合出发射模组210的畸变曲线。在得到发射模组210的畸变曲线后，根据发射模组210的畸变曲线，给成像镜头214配置互补的畸变曲线。具体地，可以对计算得到的发射模组210的畸变曲线进行Y轴对称，得到成像镜头214的畸变曲线。
例如，针对图4所示的正畸变曲线，成像镜头214可以被配置成产生如图6所示畸变曲线对应的负畸变。当理想散斑光信号经过被配置成产生对应负畸变的成像镜头214后的深度光信号在光电传感器215上的散斑分布如图7所示。
可选地，成像镜头214的畸变曲线还可以根据光电传感器215上的成像图案得到。例如，可以通过仿真方式，调整成像镜头214的畸变曲线。具体地，测量得到发射模组210的畸变曲线a后，在仿真软件中模拟出发射模组210产生与畸变曲线a相同的正畸变；再不断在仿真软件中调整成像镜头214的视场角、畸变量及其映射关系等参数得到畸变曲线b，直至光电传感器215上的成像图案没有畸变或畸变量的绝对值的差异不超过0.05为止，此时仿真的成像镜头214的畸变曲线b作为最终配置的畸变曲线。
这样可以配置成像镜头214的畸变曲线与发射模组210的畸变曲线互补。
例如，深度检测装置200中发射模组210的畸变曲线1与成像镜头214的畸变曲线2如图8所示互补。发生正畸变的散斑光信号20经过检测目标30形成发生正畸变的深度光信号40，深度光信号40在经过发生负畸变的成像镜头214接收后，原本散斑阵列的正畸变被矫正，光电传感器215上最终捕获到的深度光信号40的散斑阵列如图9所示。
本申请实施例通过深度检测装置200中发射模组210与成像镜头214配合设计，设计特定的成像镜头214的畸变曲线，配置成像镜头214的畸变形态，能够使得原本因发生正畸变而无法到达光电传感器215的部分边缘散斑由于成像镜头214的负畸变矫正而能够达到光电传感器215处，提高了点光飞行时间深度检测系统中的边缘散斑利用率，降低了系统的功耗。另外，得益于成像镜头214的畸变设计，成像镜头214发生的负畸变使得原本因发生正畸变而只能到达光电传感器215边缘处的散斑能够在矫正后到达光电传感器215更靠近中心的位置，由此提高了成像镜头214的相对照度，降低了中心像素与边缘像素的能量差异，提升了系统的深度分辨率。
本申请实施例通过配置成像镜头与发射模组的畸变曲线，使其产生的畸变互补，该互补效应能够进一步消除发射模组产生的正畸变，更大地提高边缘散斑利用率，降低系统的功耗，提升成像镜头的相对照度，提高深度分辨率，并极大地提高深度检测装置的成像质量。另一方面，由于畸变互补消除了发射模组产生的正畸变，能够省去一般深度检测装置中后续图像处理的步骤和部件，降低了深度检测装置的成本，提高了深度检测的效率。
本申请实施例还提供一种电子设备，包括上述本申请各种实施例中的深度检测装置200和控制单元。
作为示例而非限定，本申请实施例中的电子设备可以包括能实现完整或部分功能的设备，例如智能手机、智能手表或智能眼镜等；也可以包括只专注于某一类应用功能，且需要和其它设备例如智能手机等配合使用的设备，例如各类进行体征监测的智能手环、智能首饰等。深度检测装置可以用于测量检测目标的深度信息，控制单元可以接收所述深度信息以对所述电子设备的至少一项功能进行操作控制，例如可以根据测得的人脸的深度信息进行基于距离的拍照辅助对焦，或者根据该深度信息对电子设备进行解锁，等等。
通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
需要说明的是，在不冲突的前提下，本申请描述的各个实施例和/或各个实施例中的技术特征可以任意的相互组合，组合之后得到的技术方案也应落入本申请的保护范围。
还需要说明的是，在本申请实施例和所附权利要求书中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。例如，在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“上述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应理解，本申请实施例中的具体的例子只是为了帮助本领域技术人员更好地理解本申请实施例，而非限制本申请实施例的范围，本领域技术人员可以在上述实施例的基础上进行各种改进和变形，而这些改进或者变形均落在本申请的保护范围内。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种深度检测装置，其特征在于，包括：
发射模组，所述发射模组用于向检测目标发射散斑光信号，所述发射模组被配置为使得所述散斑光信号产生正畸变；
成像镜头，所述成像镜头用于将所述散斑光信号照射到所述检测目标后返回的深度光信号成像至光电传感器，其中所述成像镜头被配置为使得所述深度光信号的成像产生负畸变；
光电传感器，所述光电传感器用于将所述深度光信号转化为电信号，
其中，所述负畸变与所述正畸变的畸变量的绝对值的差异不超过0.05，所述负畸变与所述正畸变分别为畸变量的绝对值大于或等于0.03的畸变。
2.根据权利要求1所述的装置，其特征在于，所述发射模组包括多个透镜，所述多个透镜被配置为使得所述散斑光信号产生所述正畸变。
3.根据权利要求1所述的装置，其特征在于，所述发射模组包括多个透镜和一个光信号复制元件，所述多个透镜和所述光信号复制元件被配置为使得所述散斑光信号产生所述正畸变。
4.根据权利要求1所述的装置，其特征在于，所述成像镜头包括沿光轴前后排列的多个透镜，所述多个透镜被配置使得所述深度光信号的成像产生所述负畸变。
5.根据权利要求1所述的装置，其特征在于，所述负畸变的畸变曲线满足公式：
y＝A1*x+A2*x2+A3*x3+A4*x4+A5*x5
其中，y表示畸变量，x表示视场角角度的归一化数值，A1-A5为参数系数，0.123≤A1≤0.147，-0.702≤A2≤-0.686，1.708≤A3≤1.718，-1.967≤A4≤-1.961，0.679≤A5≤0.683。
6.根据权利要求1中所述的装置，其特征在于，所述负畸变的畸变曲线满足在视场角为40度时所述畸变量为-0.2；视场角为30度时所述畸变量为-0.1；视场角为0度时所述畸变量为0。
7.根据权利要求1所述的装置，其特征在于，所述发射模组包括：
光源，所述光源用于发射多束光信号；
发射镜头，所述发射镜头用于将所述光信号转化为平行光信号。
8.根据权利要求7所述的装置，其特征在于，所述发射模组还包括光信号复制元件，所述光信号复制元件用于将所述平行光信号复制以得到所述散斑光信号。
9.根据权利要求7所述的装置，其特征在于，所述光源为垂直腔面发射激光器。
10.根据权利要求7所述的装置，其特征在于，所述发射镜头为准直镜。
11.根据权利要求10所述的装置，其特征在于，所述准直镜包括沿光轴方向前后排列的多个透镜。
12.根据权利要求1所述的装置，其特征在于，所述成像镜头为塑胶材质。
13.一种电子设备，其特征在于，包括：
如权利要求1至12中任一项所述的深度检测的装置，所述深度检测装置用于测量检测目标的深度信息；
控制单元，用于根据所述深度信息对所述电子设备的至少一项功能进行操作控制。
CN202110197871.7A 2021-02-22 2021-02-22 深度检测装置和电子设备 Pending CN113009494A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110197871.7A CN113009494A (zh) 2021-02-22 2021-02-22 深度检测装置和电子设备
US17/487,589 US20220268571A1 (en) 2021-02-22 2021-09-28 Depth detection apparatus and electronic device
EP21200042.6A EP4047386B1 (en) 2021-02-22 2021-09-30 Depth detection apparatus and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110197871.7A CN113009494A (zh) 2021-02-22 2021-02-22 深度检测装置和电子设备

Publications (1)

Publication Number Publication Date
CN113009494A true CN113009494A (zh) 2021-06-22

Family

ID=76406081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110197871.7A Pending CN113009494A (zh) 2021-02-22 2021-02-22 深度检测装置和电子设备

Country Status (3)

Country Link
US (1) US20220268571A1 (zh)
EP (1) EP4047386B1 (zh)
CN (1) CN113009494A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113466884A (zh) * 2021-06-30 2021-10-01 深圳市汇顶科技股份有限公司 飞行时间深度测量发射装置及电子设备
CN113489858A (zh) * 2021-07-07 2021-10-08 曜芯科技有限公司 成像系统以及相关成像方法
WO2024008454A1 (en) * 2022-07-04 2024-01-11 Ams-Osram Ag Time-of-flight camera system and distortion compensation method for a time-of-flight camera system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100296061A1 (en) * 2009-05-21 2010-11-25 Silverstein Barry D Projection with curved speckle reduction element surface
CN110596720A (zh) * 2019-08-19 2019-12-20 深圳奥锐达科技有限公司 距离测量系统
CN110908097A (zh) * 2019-12-24 2020-03-24 协益电子（苏州）有限公司 光学镜头、摄像光学装置及车载监控摄像头
CN111025321A (zh) * 2019-12-28 2020-04-17 深圳奥比中光科技有限公司 一种可变焦的深度测量装置及测量方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109143525B (zh) * 2018-10-31 2023-09-19 福建福光股份有限公司 一种宽光谱低畸变光学无热化镜头及其使用方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100296061A1 (en) * 2009-05-21 2010-11-25 Silverstein Barry D Projection with curved speckle reduction element surface
CN110596720A (zh) * 2019-08-19 2019-12-20 深圳奥锐达科技有限公司 距离测量系统
CN110908097A (zh) * 2019-12-24 2020-03-24 协益电子（苏州）有限公司 光学镜头、摄像光学装置及车载监控摄像头
CN111025321A (zh) * 2019-12-28 2020-04-17 深圳奥比中光科技有限公司 一种可变焦的深度测量装置及测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
匡定波: "《红外光电技术》", 31 March 2004, 中国科学技术出版社, pages: 445 - 446 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113466884A (zh) * 2021-06-30 2021-10-01 深圳市汇顶科技股份有限公司 飞行时间深度测量发射装置及电子设备
CN113489858A (zh) * 2021-07-07 2021-10-08 曜芯科技有限公司 成像系统以及相关成像方法
WO2024008454A1 (en) * 2022-07-04 2024-01-11 Ams-Osram Ag Time-of-flight camera system and distortion compensation method for a time-of-flight camera system

Also Published As

Publication number Publication date
US20220268571A1 (en) 2022-08-25
EP4047386A1 (en) 2022-08-24
EP4047386B1 (en) 2023-08-30

Similar Documents

Publication Publication Date Title
CN113009494A (zh) 深度检测装置和电子设备
JP6914158B2 (ja) 測距センサ
CN111025317B (zh) 一种可调的深度测量装置及测量方法
CN110596721B (zh) 双重共享tdc电路的飞行时间距离测量系统及测量方法
CN110596722B (zh) 直方图可调的飞行时间距离测量系统及测量方法
WO2022262332A1 (zh) 一种距离测量装置与相机融合系统的标定方法及装置
CN110596725B (zh) 基于插值的飞行时间测量方法及测量系统
EP2287629B1 (en) Time of flight camera with rectangular field of illumination
WO2021072802A1 (zh) 一种距离测量系统及方法
CN110596724B (zh) 动态直方图绘制飞行时间距离测量方法及测量系统
CN108171758B (zh) 基于最小光程原理和透明玻璃标定板的多相机标定方法
CN108718406B (zh) 一种可变焦3d深度相机及其成像方法
CN111123289B (zh) 一种深度测量装置及测量方法
US20200192206A1 (en) Structured light projector, three-dimensional camera module and terminal device
CN103477186A (zh) 立体摄像装置
CN110596723A (zh) 动态直方图绘制飞行时间距离测量方法及测量系统
CN111045029A (zh) 一种融合的深度测量装置及测量方法
US20230324516A1 (en) Time of flight-based three-dimensional sensing system
CN216901165U (zh) 一种光源模组、结构化光生成器以及深度相机
CN111427230A (zh) 基于时间飞行的成像方法及3d成像装置
CN212135134U (zh) 基于时间飞行的3d成像装置
CN111965658A (zh) 一种距离测量系统、方法及计算机可读存储介质
WO2022241778A1 (zh) 飞行时间深度检测的发射装置及电子设备
CN108803067A (zh) 一种光学深度相机及其信号光源处理方法
CN111965659A (zh) 一种距离测量系统、方法及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220113

Address after: 17-00, No. 16, Gore wharf, Raffles square, Singapore

Applicant after: Dick Innovation Technology Co.,Ltd.

Address before: 35th floor, No.66, Section 1, Zhongxiao West Road, Zhongzheng District, Taipei, China

Applicant before: Yaoxin Technology Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230717

Address after: 51 Science Park Road, Aries Tower # 04-22, Singapore

Applicant after: Huiding Technology Private Ltd.

Address before: 17-00, No. 16, Gore wharf, Raffles square, Singapore

Applicant before: Dick Innovation Technology Co.,Ltd.

TA01 Transfer of patent application right