CN111624580A - 飞行时间模组的校正方法、校正装置和校正系统 - Google Patents
飞行时间模组的校正方法、校正装置和校正系统 Download PDFInfo
- Publication number
- CN111624580A CN111624580A CN202010375906.7A CN202010375906A CN111624580A CN 111624580 A CN111624580 A CN 111624580A CN 202010375906 A CN202010375906 A CN 202010375906A CN 111624580 A CN111624580 A CN 111624580A
- Authority
- CN
- China
- Prior art keywords
- depth map
- calibrated
- current
- integration time
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 232
- 238000000034 method Methods 0.000 title claims abstract description 85
- 230000010354 integration Effects 0.000 claims abstract description 207
- 238000012360 testing method Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 5
- 230000005484 gravity Effects 0.000 description 3
- 101100443238 Caenorhabditis elegans dif-1 gene Proteins 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E40/00—Technologies for an efficient electrical power generation, transmission or distribution
- Y02E40/40—Arrangements for reducing harmonics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本申请公开了一种飞行时间模组的校正方法、飞行时间模组的校正装置和校正系统。校正方法包括：通过飞行时间模组实时获取当前原始深度图；根据获取当前原始深度图时的当前温度对应的当前温度补偿系数对当前原始深度图进行温度校正；判断获取当前原始深度图时的当前积分时间是否处于积分时间对应关系中；在当前积分时间处于积分时间对应关系中时，根据积分时间对应关系中与当前积分时间对应的当前固定图形误差函数和当前谐波误差函数，对当前原始深度图进行固定图形误差校正和谐波误差校正以得到当前校正深度图。本申请实现了对当前原始深度图的温度校正、积分时间校正、固定图形误差校正和谐波误差校正，校正后的当前校正深度图的准确度较高。
Description
技术领域
本申请涉及图像处理技术领域，更具体而言，涉及一种飞行时间模组的校正方法、飞行时间模组的校正装置和校正系统。
背景技术
飞行时间(Time of flight，TOF)模组通过连续发射光脉冲到被测物体上，然后接收从被测物体反射回去的光脉冲，通过探测光脉冲的往返飞行时间来计算被测物体离飞行时间模组的距离。相对于其他3D测量技术，飞行时间模组由于具有小巧紧凑、实时性高、抗背景光干扰、测距范围广等优势，已在物流、安防、无人驾驶等领域有较为广泛的应用，在消费级电子产品方面的应用近几年也正在兴起。然而，由于飞行时间模组的成像原理特性，其获取的原始深度图未经标定校正时，存在较大的误差。
发明内容
本申请实施方式提供一种飞行时间模组的校正方法、飞行时间模组的校正装置和校正系统。
本申请实施方式的飞行时间模组的校正方法包括：通过所述飞行时间模组实时获取当前原始深度图；根据获取所述当前原始深度图时的当前温度对应的当前温度补偿系数对所述当前原始深度图进行温度校正；判断获取所述当前原始深度图时的当前积分时间是否处于积分时间对应关系中；在所述当前积分时间处于所述积分时间对应关系中时，根据所述积分时间对应关系中与所述当前积分时间对应的当前固定图形误差函数和当前谐波误差函数，对所述当前原始深度图进行固定图形误差校正和谐波误差校正以得到当前校正深度图。
本申请实施方式的飞行时间模组的校正装置中，所述飞行时间模组用于实时获取当前原始深度图。所述校正装置包括一个或多个处理器，所述处理器用于：根据获取所述当前原始深度图时的当前温度对应的当前温度补偿系数对所述当前原始深度图进行温度校正；判断获取所述当前原始深度图时的当前积分时间是否处于积分时间对应关系中；在所述当前积分时间处于所述积分时间对应关系中时，根据所述积分时间对应关系中与所述当前积分时间对应的当前固定图形误差函数和当前谐波误差函数，对所述当前原始深度图进行固定图形误差校正和谐波误差校正以得到当前校正深度图。
本申请实施方式的校正系统包括飞行时间模组和校正装置，所述校正装置用于校正所述飞行时间模组获取的深度图。所述飞行时间模组用于实时获取当前原始深度图。所述校正装置包括一个或多个处理器，所述处理器用于：根据获取所述当前原始深度图时的当前温度对应的当前温度补偿系数对所述当前原始深度图进行温度校正；判断获取所述当前原始深度图时的当前积分时间是否处于积分时间对应关系中；在所述当前积分时间处于所述积分时间对应关系中时，根据所述积分时间对应关系中与所述当前积分时间对应的当前固定图形误差函数和当前谐波误差函数，对所述当前原始深度图进行固定图形误差校正和谐波误差校正以得到当前校正深度图。
本申请实施方式的飞行时间模组的校正方法、飞行时间模组的校正装置和校正系统根据当前温度对应的当前温度补偿系数对当前原始深度图进行温度校正，根据积分时间对应关系中与当前积分时间对应的当前固定图形误差函数和当前谐波误差函数对当前原始深度图进行固定图形误差校正和谐波误差校正，从而最终得到当前校正深度图，实现了对当前原始深度图的温度校正、积分时间校正、固定图形误差校正和谐波误差校正，校正后的当前校正深度图的准确度较高。
本申请的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施方式的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请某些实施方式的飞行时间模组的校正方法的流程示意图；
图2是本申请某些实施方式的校正系统的模块示意图；
图3是本申请某些实施方式的飞行时间模组的校正方法的原理示意图；
图4是本申请某些实施方式的飞行时间模组的校正方法的原理示意图；
图5是本申请某些实施方式的飞行时间模组的校正方法的原理示意图；
图6是本申请某些实施方式的飞行时间模组的校正方法的原理示意图；
图7是本申请某些实施方式的飞行时间模组的校正方法的原理示意图；
图8是本申请某些实施方式的飞行时间模组的校正方法的流程示意图；
图9是本申请某些实施方式的飞行时间模组的校正方法的流程示意图；
图10是本申请某些实施方式的飞行时间模组的校正方法的流程示意图；
图11是本申请某些实施方式的飞行时间模组的校正方法的流程示意图；
图12是本申请某些实施方式的飞行时间模组的校正方法的流程示意图；
图13是本申请某些实施方式的飞行时间模组的校正方法的流程示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。
请参阅图1和图2，本申请实施方式提供一种飞行时间模组10的校正方法。校正方法包括：
011：通过飞行时间模组10实时获取当前原始深度图；
012：根据获取当前原始深度图时的当前温度对应的当前温度补偿系数对当前原始深度图进行温度校正；
013：判断获取当前原始深度图时的当前积分时间是否处于积分时间对应关系中；
014：在当前积分时间处于积分时间对应关系中时，根据积分时间对应关系中与当前积分时间对应的当前固定图形误差函数和当前谐波误差函数，对当前原始深度图进行固定图形误差校正和谐波误差校正以得到当前校正深度图。
请参阅图2，本申请实施方式还提供一种飞行时间模组10的校正装置20。校正装置20包括一个或多个处理器21。本申请实施方式的飞行时间模组10的校正方法可应用于本申请实施方式的飞行时间模组10的校正装置20。例如，飞行时间模组10可用于执行011中的方法，处理器21可用于执行012、013和014中的方法。
也即是说，飞行时间模组10可以用于实时获取当前原始深度图。处理器21可以用于：根据获取当前原始深度图时的当前温度对应的当前温度补偿系数对当前原始深度图进行温度校正；判断获取当前原始深度图时的当前积分时间是否处于积分时间对应关系中；在当前积分时间处于积分时间对应关系中时，根据积分时间对应关系中与当前积分时间对应的当前固定图形误差函数和当前谐波误差函数，对当前原始深度图进行固定图形误差校正和谐波误差校正以得到当前校正深度图。
具体地，由于飞行时间模组10的成像原理特性，其获取的原始深度图未经标定校正时，会存在较大的系统误差。系统误差一般来源于飞行时间模组10本身，可通过标定预先进行校正，它主要包括谐波误差、固定图形误差、积分时间误差和温度误差。
谐波误差是指由谐波引起的随测量距离变化的误差(也称为“Wiggling error”)。理想情况下，飞行时间模组10发射与接收的信号是单频波形，但实际的信号并非完全标准的波形，而含有高频谐波，这会产生一个和测量值有关的偏差，即谐波误差。
固定图形误差是指由固定图形噪音(Fixed Pattern Noise，FPN)引起的误差。受限于设计生产的水平，飞行时间模组10的感光芯片中每个像素的响应并不能保证一致，这会引起固定图形误差。
积分时间误差是指由积分时间不同引起的误差。积分时间对于飞行时间模组10也称为“曝光时间”。积分时间不同，深度测量值也不同，极端情况下，积分时间过大会导致“过曝”，积分时间过小会导致“曝光不足”，这会造成很大的测量误差。
温度误差是指由温度变化引起的误差。温度变化导致飞行时间模组10深度测量产生误差的因素有两个，分别是芯片和光源。对于芯片，温度上升会导致测量的深度值变大；对于光源，光源的发射波长随着温度的升高会发生红移现象，这两个因素综合导致深度测量值一般随温度线性变化。
本申请实施方式的飞行时间模组10的校正方法和飞行时间模组10的校正装置20根据当前温度对应的当前温度补偿系数对当前原始深度图进行温度校正，根据积分时间对应关系中与当前积分时间对应的当前固定图形误差函数和当前谐波误差函数对当前原始深度图进行固定图形误差校正和谐波误差校正，从而最终得到当前校正深度图，实现了对当前原始深度图的温度校正、积分时间校正、固定图形误差校正和谐波误差校正，校正后的当前校正深度图的准确度较高，且步骤合理，方法便捷，可以适用于各类用途的飞行时间模组10。
首先，飞行时间模组10实时获取当前原始深度图。在飞行时间模组10实时获取当前原始深度图时，处理器21会记录获取当前原始深度图时的当前温度以及获取当前原始深度图时的当前积分时间。然后，请结合图3至图6，处理器21执行方法：①根据获取当前原始深度图时的当前温度对应的当前温度补偿系数对当前原始深度图进行温度校正；②判断获取当前原始深度图时的当前积分时间是否处于积分时间对应关系中，在当前积分时间处于积分时间对应关系中时，根据积分时间对应关系中与当前积分时间对应的当前固定图形误差函数和当前谐波误差函数，对当前原始深度图进行固定图形误差校正和谐波误差校正，执行方法①和②后，最终获得当前校正深度图。其中，处理器21执行方法①和②的顺序不作限制。也即是说，请参阅图3，处理器21可以先对当前原始深度图进行温度校正，再进行固定图形误差校正和谐波误差校正；请参阅图4，处理器21也可以先对当前原始深度图进行固定图形误差校正和谐波误差校正，再进行温度校正，以最终得到当前校正深度图。进一步地，请参阅图3和图4，在进行固定图形误差校正和谐波误差校正时，处理器21可以先进行固定图形误差校正，再进行谐波误差校正；请参阅图5和图6，处理器21也可以先进行谐波误差校正，再进行固定图形误差校正。
积分时间对应关系的具体形式可以是积分时间表(如下所示)。
积分时间表
| 积分时间 | 固定图形误差函数 | 谐波误差函数 |
| 积分时间t1 | 固定图形误差函数fpn1 | 谐波误差函数wig1 |
| 积分时间t2 | 固定图形误差函数fpn2 | 谐波误差函数wig2 |
| 积分时间t3 | 固定图形误差函数fpn3 | 谐波误差函数wig3 |
| …… | …… | …… |
在积分时间表中，每个积分时间均对应一个固定图形误差函数和一个谐波误差函数。不同的积分时间对应的固定图形误差函数和谐波误差函数一般是不同的，例如fpn1≠fpn2，wig1≠wig2。不同的积分时间对应的固定图形误差函数和谐波误差函数也可以是相同的，例如fpn1＝fpn2，wig1＝wig2。
以飞行时间模组10实时获取的当前原始深度图是c_raw为例，在飞行时间模组10实时获取当前原始深度图时，处理器21记录了获取当前原始深度图时的当前温度以及获取当前原始深度图时的当前积分时间T0。在一个例子中，处理器21根据当前温度对应的当前温度补偿系数对当前原始深度图c_raw进行温度校正，得到深度图c_tem。处理器21判断T0是否处于积分时间表中，若T0处于积分时间表中，例如T0＝t1，则处理器21根据积分时间表中与T0(即t1)对应的固定图形误差函数fpn1对深度图c_tem进行固定图形误差校正，得到深度图c_fpn。处理器21再根据积分时间表中与T0(即t1)对应的谐波误差函数wig1，对深度图c_fpn进行谐波误差校正，得到当前校正深度图c_wig，完成校正。
请参阅图1，在某些实施方式中，校正方法还包括：
015：在当前积分时间不处于积分时间对应关系中时，在积分时间对应关系中查找与当前积分时间相邻的第一积分时间和第二积分时间；
016：根据积分时间对应关系中与第一积分时间对应的第一固定图形误差函数和第一谐波误差函数，对当前原始深度图进行固定图形误差校正和谐波误差校正以得到第一当前校正深度图；
017：根据积分时间对应关系中与第二积分时间对应的第二固定图形误差函数和第二谐波误差函数，对当前原始深度图进行固定图形误差校正和谐波误差校正以得到第二当前校正深度图；
018：融合第一当前校正深度图和第二当前校正深度图以得到当前校正深度图。
请参阅图2，在某些实施方式中，处理器21可用于执行015、016、017和018中的方法。
也即是说，处理器21可以用于：在当前积分时间不处于积分时间对应关系中时，在积分时间对应关系中查找与当前积分时间相邻的第一积分时间和第二积分时间；根据积分时间对应关系中与第一积分时间对应的第一固定图形误差函数和第一谐波误差函数，对当前原始深度图进行固定图形误差校正和谐波误差校正以得到第一当前校正深度图；根据积分时间对应关系中与第二积分时间对应的第二固定图形误差函数和第二谐波误差函数，对当前原始深度图进行固定图形误差校正和谐波误差校正以得到第二当前校正深度图；融合第一当前校正深度图和第二当前校正深度图以得到当前校正深度图。
具体地，处理器21可将当前原始深度图复制为两份。然后，处理器21可先根据积分时间对应关系中与第一积分时间对应的第一固定图形误差函数和第一谐波误差函数，对当前原始深度图进行固定图形误差校正和谐波误差校正以得到第一当前校正深度图，再根据积分时间对应关系中与第二积分时间对应的第二固定图形误差函数和第二谐波误差函数，对当前原始深度图进行固定图形误差校正和谐波误差校正以得到第二当前校正深度图；或者，处理器21可以先根据积分时间对应关系中与第二积分时间对应的第二固定图形误差函数和第二谐波误差函数，对当前原始深度图进行固定图形误差校正和谐波误差校正以得到第二当前校正深度图，再根据积分时间对应关系中与第一积分时间对应的第一固定图形误差函数和第一谐波误差函数，对当前原始深度图进行固定图形误差校正和谐波误差校正以得到第一当前校正深度图；或者，处理器21可以同时根据积分时间对应关系中与第一积分时间对应的第一固定图形误差函数和第一谐波误差函数，对当前原始深度图进行固定图形误差校正和谐波误差校正以得到第一当前校正深度图，以及根据积分时间对应关系中与第二积分时间对应的第二固定图形误差函数和第二谐波误差函数，对当前原始深度图进行固定图形误差校正和谐波误差校正以得到第二当前校正深度图。
仍以当前原始深度图是c_raw为例，若T0不处于积分时间表中，例如t1＜T0＜t2(其中，积分时间表中t1、t2、t3……依次增大)，请结合图7，则处理器21在积分时间表中查找与T0相邻的第一积分时间t1和第二积分时间t2。一方面，处理器21根据积分时间表中与t1对应的第一固定图形误差函数fpn1对深度图c_tem进行固定图形误差校正，得到深度图c_fpn1。处理器21再根据积分时间表中与t1对应的第一谐波误差函数wig1对深度图c_fpn1进行谐波误差校正以得到第一当前校正深度图c_wig1。另一方面，处理器21根据积分时间表中与t2对应的第二固定图形误差函数fpn2对深度图c_tem进行固定图形误差校正，得到深度图c_fpn2。处理器21再根据积分时间表中与t2对应的第二谐波误差函数wig2对深度图c_fpn2进行谐波误差校正以得到第二当前校正深度图c_wig2。最后，处理器21再融合第一当前校正深度图c_wig1和第二当前校正深度图c_wig2以最终得到当前校正深度图c_wig，完成校正(当温度校正的方法在固定图形误差校正和谐波误差校正的方法之后执行时，处理器21融合第一当前校正深度图c_wig1和第二当前校正深度图c_wig2之后，还需要再进行温度校正以最终得到当前校正深度图c_wig)。
在融合第一当前校正深度图c_wig1和第二当前校正深度图c_wig2时，处理器21可依据T0、t1、t2的插值关系，对第一当前校正深度图c_wig1和第二当前校正深度图c_wig2进行线性组合。例如，当T0＝0.5*t1+0.5*t2时，则处理器21对第一当前校正深度图c_wig1和第二当前校正深度图c_wig2的比重各选取50％来进行线性组合(第一当前校正深度图c_wig1和第二当前校正深度图c_wig2进行像素值叠加时，像素值均乘以0.5)。当T0＝0.3*t1+0.7*t2时，则处理器21对第一当前校正深度图c_wig1的比重选取30％、对第二当前校正深度图c_wig2的比重选取70％来进行线性组合(第一当前校正深度图c_wig1和第二当前校正深度图c_wig2进行像素值叠加时，像素值分别乘以0.3、0.7)。如此，最终得到的当前校正深度图c_wig较为准确。
请参阅图2和图8，在某些实施方式中，校正方法还包括：
019：设定标定积分时间；
020：通过飞行时间模组10以标定积分时间获取标定原始深度图；
021：根据获取标定原始深度图时的标定温度对应的标定温度补偿系数对标定原始深度图进行温度校正；
022：对标定原始深度图进行固定图形误差校正和谐波误差校正以得到标定校正深度图；
024：根据标定校正深度图确定积分时间对应关系。
请参阅图2，在某些实施方式中，处理器21可用于执行019、021、022和024中的方法，飞行时间模组10可用于执行020中的方法。
也即是说，处理器21可以用于设定标定积分时间。飞行时间模组10可以用于以标定积分时间获取标定原始深度图。处理器21还可以用于：根据获取标定原始深度图时的标定温度对应的标定温度补偿系数对标定原始深度图进行温度校正；对标定原始深度图进行固定图形误差校正和谐波误差校正以得到标定校正深度图；根据标定校正深度图确定积分时间对应关系。
本申请实施方式的飞行时间模组10的校正方法和飞行时间模组10的校正装置20通过标定流程确定积分时间对应关系，以便在校正流程时，处理器21能够利用积分时间对应关系对当前原始深度图进行固定图形误差校正和谐波误差校正。
首先，处理器21设定标定积分时间，然后飞行时间模组10以标定积分时间获取标定原始深度图。在飞行时间模组10获取标定原始深度图时，处理器21会记录获取当前原始深度图时的当前温度。然后，处理器21执行方法：①根据获取标定原始深度图时的标定温度对应的标定温度补偿系数对标定原始深度图进行温度校正；②对标定原始深度图进行固定图形误差校正和谐波误差校正以得到标定校正深度图，执行方法①和②后，最终获得标定校正深度图。其中，处理器21执行方法①和②的顺序不作限制。也即是说，处理器21可以先根据获取标定原始深度图时的标定温度对应的标定温度补偿系数对标定原始深度图进行温度校正，再对标定原始深度图进行固定图形误差校正和谐波误差校正以得到标定校正深度图；处理器21也可以先对标定原始深度图进行固定图形误差校正和谐波误差校正以得到标定校正深度图，再根据获取标定原始深度图时的标定温度对应的标定温度补偿系数对标定原始深度图进行温度校正。进一步地，在进行固定图形误差校正和谐波误差校正时，处理器21可以先进行固定图形误差校正，再进行谐波误差校正；处理器21也可以先进行谐波误差校正，再进行固定图形误差校正。需要指出的是，在019～024中各类校正的先后顺序较佳地与011～014中各类校正的先后顺序保持一致，以使得在实际应用时得到的当前校正深度图较为准确。
此外，在对标定原始深度图进行各类校正前，处理器21也可以对飞行时间模组10进行类似普通2D相机的内外参、畸变系数标定，以使得当前校正深度图更为准确。
请参阅图2和图9，在某些实施方式中，校正方法还包括：
025：多次调节飞行时间模组10所处环境的测试温度并通过飞行时间模组10获取对应的深度测试值；
026：根据测试温度与对应的深度测试值确定温度补偿函数，其中，在温度补偿函数中，每个温度对应一个温度补偿系数。
请参阅图2，在某些实施方式中，处理器21和飞行时间模组10可用于执行025中的方法，处理器21可用于执行026中的方法。
也即是说，处理器21可以用于多次调节飞行时间模组10所处环境的测试温度，飞行时间模组10可以用于获取对应的深度测试值。处理器21还可以用于根据测试温度与对应的深度测试值确定温度补偿函数，其中，在温度补偿函数中，每个温度对应一个温度补偿系数。
具体地，在调节飞行时间模组10所处环境的测试温度时，首先可将飞行时间模组10置于恒温箱中，然后处理器21调节恒温箱的设定温度，以调节飞行时间模组10所处环境的测试温度。
在一个例子中，处理器21可从飞行时间模组10的最低工作温度开始调节，逐步增加测试温度，直到飞行时间模组10的最高工作温度。在每个测试温度下，飞行时间模组10获取对应的深度测试值，如此能够得到多个测试温度与对应的多个深度测试值。处理器21可对多个测试温度与对应的多个深度测试值进行线性拟合求得温度补偿函数。在温度补偿函数中，每个温度对应一个温度补偿系数。在处理器21根据获取当前原始深度图时的当前温度对应的当前温度补偿系数对当前原始深度图进行温度校正时，处理器21先根据当前温度和温度补偿函数确定与当前温度对应的当前温度补偿系数。类似地，在根据获取标定原始深度图时的标定温度对应的标定温度补偿系数对标定原始深度图进行温度校正时，处理器21先根据标定温度和温度补偿函数确定与标定温度对应的标定温度补偿系数。
请参阅图2和图10，在某些实施方式中，通过飞行时间模组10以标定积分时间获取标定原始深度图(即020)，包括：
0201：通过飞行时间模组10以标定积分时间获取用于标定固定图形误差的第一标定原始深度图；
0202：通过飞行时间模组10以标定积分时间获取用于标定谐波误差的第二标定原始深度图。
请参阅图2，在某些实施方式中，飞行时间模组10可用于执行0201和0202中的方法
也即是说，飞行时间模组10可以用于以标定积分时间获取用于标定固定图形误差的第一标定原始深度图。飞行时间模组10可以用于以标定积分时间获取用于标定谐波误差的第二标定原始深度图。
本申请实施方式的飞行时间模组10的校正方法和飞行时间模组10的校正装置20分别利用第一标定原始深度图标定固定图形误差、利用第二标定原始深度图标定谐波误差，能够使得确定的积分时间对应关系中的固定图形误差函数和谐波误差函数更为准确，从而固定图形误差校正和谐波误差校正的效果更好。
请参阅图2和图11，在某些实施方式中，通过飞行时间模组10以标定积分时间获取用于标定固定图形误差的第一标定原始深度图(即0201)，包括：
02011：通过飞行时间模组10以标定积分时间并保持飞行时间模组10与被摄目标之间的固定位姿多次获取第一标定初始深度图；
02012：对多次获取的第一标定初始深度图进行均值降噪处理得到第一标定原始深度图；
通过飞行时间模组10以标定积分时间获取用于标定谐波误差的第二标定原始深度图(即0202)，包括：
02021：通过飞行时间模组10以标定积分时间并改变飞行时间模组10与被摄目标之间的距离多次获取第二标定初始深度图；
02022：对多次获取的第二标定初始深度图进行均值降噪处理得到第二标定原始深度图。
请参阅图2，在某些实施方式中，飞行时间模组10可用于执行02011和02021中的方法，处理器21可用于执行02012和02022中的方法。
也即是说，飞行时间模组10可以用于以标定积分时间并保持飞行时间模组10与被摄目标之间的固定位姿多次获取第一标定初始深度图。处理器21可以用于对多次获取的第一标定初始深度图进行均值降噪处理得到第一标定原始深度图。飞行时间模组10还可以用于以标定积分时间并改变飞行时间模组10与被摄目标之间的距离多次获取第二标定初始深度图。处理器21还可以用于对多次获取的第二标定初始深度图进行均值降噪处理得到第二标定原始深度图。
具体地，以用于标定固定图形误差的第一标定原始深度图是a_raw、用于标定谐波误差的第二标定原始深度图是b_raw为例。
在一个例子中，对于第一标定原始深度图a_raw，一般采用一个白色被摄目标物平面，覆盖整个飞行时间模组10的视场角，被摄目标物平面与飞行时间模组10之间保持固定位姿，然后飞行时间模组10进行拍摄，一般可重复多次拍摄获取多个第一标定初始深度图，处理器21再对多个第一标定初始深度图取均值降噪得到第一标定原始深度图a_raw。
在一个例子中，对于第二标定原始深度图b_raw，一般通过拍摄不同距离的白色被摄目标物获得。具体实施时，飞行时间模组10可每次仅拍摄一个距离，飞行时间模组10或者被摄目标物移动后，拍摄多次，并对应获得多个第二标定初始深度图，处理器21再对多个第二标定初始深度图取均值降噪得到第二标定原始深度图b_raw。
当然，获取用于标定固定图形误差的第一标定原始深度图a_raw、用于标定谐波误差的第二标定原始深度图b_raw的方式并不限于此，在其他实施方式中，也可以采用其他方式获取第一标定原始深度图a_raw和第二标定原始深度图b_raw，在此不作限制。
请参阅图12，在某些实施方式中，对标定原始深度图进行固定图形误差校正和谐波误差校正以得到标定校正深度图(即022)，包括：
0221：将标定原始深度图与理想深度值相减得到第一差值图；
0222：对第一差值图进行固定图形误差拟合得到标定固定图形误差函数；
0223：根据标定固定图形误差函数对标定原始深度图进行固定图形误差校正得到标定中间深度图；
0224：将标定中间深度图与理想深度值相减得到第二差值图；
0225：对第二差值图进行谐波误差拟合得到标定谐波误差函数；
0226：根据标定谐波误差函数对标定中间深度图进行谐波误差校正得到标定校正深度图。
请参阅图2，在某些实施方式中，处理器21可用于执行0221、0222、0223、0224、0225和0226中的方法。
也即是说，处理器21可以用于：将标定原始深度图与理想深度值相减得到第一差值图；对第一差值图进行固定图形误差拟合得到标定固定图形误差函数；根据标定固定图形误差函数对标定原始深度图进行固定图形误差校正得到标定中间深度图；将标定中间深度图与理想深度值相减得到第二差值图；对第二差值图进行谐波误差拟合得到标定谐波误差函数；根据标定谐波误差函数对标定中间深度图进行谐波误差校正得到标定校正深度图。
具体地，以标定原始深度图包括前述第一标定原始深度图a_raw和第二标定原始深度图b_raw为例(后文简称标定原始深度图a_raw和标定原始深度图b_raw)。
首先，处理器21根据获取标定原始深度图a_raw时的标定温度对应的标定温度补偿系数对标定原始深度图a_raw进行温度校正得到深度图a_tem。处理器21根据获取标定原始深度图b_raw时的标定温度对应的标定温度补偿系数对标定原始深度图b_raw进行温度校正得到深度图b_tem(如前述所述，温度校正也可以在固定图形误差校正和谐波误差校正后执行，在此不再展开说明，后同)。其次，处理器21将深度图a_tem与理想深度值a_gt相减得到第一差值图a_dif1。针对第一差值图a_dif1，处理器21进行固定图形误差拟合(曲面拟合)，一般可使用二阶多项式，采用最小二乘法，得到标定固定图形误差函数(可以是插值表的形式)。然后，处理器21根据标定固定图形误差函数对深度图a_tem进行固定图形误差校正，得到标定中间深度图a_fpn。处理器21根据标定固定图形误差函数对深度图b_tem进行固定图形误差校正，得到标定中间深度图b_fpn。接着，处理器21将标定中间深度图b_fpn与理想值b_gt相减得到第二差值图b_dif。针对第二差值图b_dif，处理器21进行谐波误差拟合(曲线拟合)，一般可使用三次样条曲线或三角函数，采用最小二乘法，得到谐波误差函数(可以是插值表的形式)。再然后，处理器21根据标定谐波误差函数对标定中间深度图a_fpn进行谐波误差校正得到标定校正深度图a_wig。处理器21根据标定谐波误差函数对标定中间深度图b_fpn进行谐波误差校正得到标定校正深度图b_wig。最后，处理器21根据标定校正深度图a_wig、标定校正深度图b_wig确定积分时间对应关系。
需要指出的是，理想值可以是指飞行时间模组10与被摄目标之间的实际深度值，理想值可通过高精度三维测量设备获得，或者可以在被摄目标物表面印制可识别图标，结合飞行时间模组10获取的黑白强度图内外参标定结果，通过传统几何光学计算得到等，在此不作限制。
由于飞行时间模组10误差因素较多且相互耦合，目前的标定方法要么过程繁琐，要么标定结果准确度与精确度不高，难以满足工业生产需求。本申请实施方式的飞行时间模组10的校正方法和飞行时间模组10的校正装置20采用迭代进行优化，以解决固定图形误差和谐波误差存在耦合的问题，如此能够使得后续得到的当前校正深度图准确度与精确度都较高。
请参阅图2和图13，在某些实施方式中，对标定原始深度图进行固定图形误差校正和谐波误差校正以得到标定校正深度图(即022)，包括：
0227：根据飞行时间模组10获取的标定黑白强度图计算标定原始深度图中各个像素深度值的置信度，以确定各个像素的权重；
0228：将标定原始深度图与理想深度值相减得到第一差值图；
0229：根据权重对第一差值图进行固定图形误差拟合得到标定固定图形误差函数；
0230：根据标定固定图形误差函数对标定原始深度图进行固定图形误差校正得到标定中间深度图；
0231：将标定中间深度图与理想深度值相减得到第二差值图；
0232：根据权重对第二差值图进行谐波误差拟合得到标定谐波误差函数；
0233：根据标定谐波误差函数对标定中间深度图进行谐波误差校正得到标定校正深度图。
请参阅图2，在某些实施方式中，处理器21可用于执行0227、0228、0229、0230、0231、0232和0233中的方法。
也即是说，处理器21可以用于：根据飞行时间模组10获取的标定黑白强度图计算标定原始深度图中各个像素深度值的置信度，以确定各个像素的权重；将标定原始深度图与理想深度值相减得到第一差值图；根据权重对第一差值图进行固定图形误差拟合得到标定固定图形误差函数；根据标定固定图形误差函数对标定原始深度图进行固定图形误差校正得到标定中间深度图；将标定中间深度图与理想深度值相减得到第二差值图；根据权重对第二差值图进行谐波误差拟合得到标定谐波误差函数；根据标定谐波误差函数对标定中间深度图进行谐波误差校正得到标定校正深度图。
具体地，飞行时间模组10在拍摄时，除了能够得到深度图外，还能够得到与传统二维相机类似的黑白强度图。本申请实施方式中，处理器20根据标定黑白强度图计算标定原始深度图中各个像素深度值的置信度，以确定各个像素的权重。
相较于前一实施方式而言，本申请实施方式的飞行时间模组10的校正方法和飞行时间模组10的校正装置20根据各个像素的权重对第一差值图进行固定图形误差拟合(加权曲线拟合)得到标定固定图形误差函数，根据各个像素的权重对第二差值图进行谐波误差拟合(加权曲线拟合)得到标定谐波误差函数，得到的标定固定图形误差函数和标定谐波误差函数更为准确。本申请实施方式的其他步骤的具体说明可参照前一实施方式，在此不再赘述。
请参阅图12，在某些实施方式中，根据标定校正深度图确定积分时间对应关系(即024)，包括：
0241：将标定校正深度图与理想深度值相减得到残差图；
0242：判断残差图是否满足收敛条件；
0243：在残差图满足收敛条件时，判断是否需要重新设置标定积分时间；
在需要重新设置标定积分时间时，返回设定标定积分时间的步骤；
0244：在不需要重新设置标定积分时间时，根据标定积分时间、标定固定图形误差函数和标定谐波误差函数输出积分时间对应关系。
请参阅图2，在某些实施方式中，处理器21可用于执行0241、0242、0243和0242中的方法。
也即是说，处理器21可以用于：将标定校正深度图与理想深度值相减得到残差图；判断残差图是否满足收敛条件；在残差图满足收敛条件时，判断是否需要重新设置标定积分时间；在需要重新设置标定积分时间时，设定标定积分时间；在不需要重新设置标定积分时间时，根据标定积分时间、标定固定图形误差函数和标定谐波误差函数输出积分时间对应关系。
具体地，在得到标定校正深度图a_wig后，处理器21将标定校正深度图a_wig与理想值a_gt相减，得到残差图a_dif2。然后，处理器21判断残差图a_dif2是否满足收敛条件(例如判断残差图a_dif2的平均值是否小于设定值)，若残差图a_dif2满足收敛条件，则可以输出固定图形误差函数和谐波误差函数，该固定图形误差函数和谐波误差函数即是019中设定的标定积分时间对应的固定图形误差函数和谐波误差函数。进一步地，处理器21判断是否需要重新设置标定积分时间(例如积分时间对应关系中可能包括100个积分时间，则处理器21在已经获取到这100个积分时间对应的固定图形误差函数和谐波误差函数后，判断为不需要重新设置标定积分时间。而当处理器21还没有获取到这100个积分时间对应的固定图形误差函数和谐波误差函数时，判断为需要重新设置标定积分时间)。在需要重新设置标定积分时间时，处理器21返回执行019中的方法，并依次进行后续流程，直到不需要重新设置标定积分时间。在不需要重新设置标定积分时间时，处理器21根据标定积分时间、标定固定图形误差函数和标定谐波误差函数输出积分时间对应关系(例如根据这100个积分时间及对应的固定图形误差函数和谐波误差函数得到前述实施方式中的积分时间表)。
其中，在设置标定积分时间时，处理器21可从小到大、按照预设步长依次增加积分时间，直至达到最大积分时间，从而处理器21判断为不需要重新设置标定积分时间，进而输出积分时间对应关系。
当然，处理器21也可选择根据标定校正深度图b_wig执行0241～0244中的方法，在此不再展开说明。或者，处理器21也可以在根据标定校正深度图a_wig与理想深度值相减得到的残差图和根据标定校正深度图b_wig与理想深度值相减得到的残差图均满足收敛条件时，才判断为满足收敛条件。
请参阅图12，在某些实施方式中，校正方法还包括：
027：在残差图不满足收敛条件时，将标定校正深度图与残差图相加得到标定原始深度图，并返回对标定原始深度图进行固定图形误差校正和谐波误差校正以得到标定校正深度图的步骤。
请参阅图2，在某些实施方式中，处理器21可用于执行027中的方法。
也即是说，处理器21可以用于在残差图不满足收敛条件时，将标定校正深度图与残差图相加得到标定原始深度图，并对标定原始深度图进行固定图形误差校正和谐波误差校正以得到标定校正深度图。
具体地，当残差图a_dif2不满足收敛条件时，处理器21将残差图a_dif2与深度图a_tem相加得到新的标定校正深度图a_temd，然后代入到0221中。类似地，处理器21可将残差图b_dif2与深度图b_tem相加得到新的标定校正深度图b_temd，然后代入到0221中。处理器21再依次执行0221及后续流程，直到残差图满足收敛条件。
请参阅图2，本申请实施方式还提供一种校正系统100。校正系统100包括飞行时间模组10和上述任一实施方式的校正装置20，校正装置20用于校正飞行时间模组10获取的深度图。
本申请实施方式的校正系统100根据当前温度对应的当前温度补偿系数对当前原始深度图进行温度校正，根据积分时间对应关系中与当前积分时间对应的当前固定图形误差函数和当前谐波误差函数对当前原始深度图进行固定图形误差校正和谐波误差校正，从而最终得到当前校正深度图，实现了对当前原始深度图的温度校正、积分时间校正、固定图形误差校正和谐波误差校正，校正后的当前校正深度图的准确度较高。
在本说明书的描述中，参考术语“某些实施方式”、“一个例子中”、“示例地”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (21)
1.一种飞行时间模组的校正方法，其特征在于，所述校正方法包括：
通过所述飞行时间模组实时获取当前原始深度图；
根据获取所述当前原始深度图时的当前温度对应的当前温度补偿系数对所述当前原始深度图进行温度校正；
判断获取所述当前原始深度图时的当前积分时间是否处于积分时间对应关系中；
在所述当前积分时间处于所述积分时间对应关系中时，根据所述积分时间对应关系中与所述当前积分时间对应的当前固定图形误差函数和当前谐波误差函数，对所述当前原始深度图进行固定图形误差校正和谐波误差校正以得到当前校正深度图。
2.根据权利要求1所述的校正方法，其特征在于，所述校正方法还包括：
在所述当前积分时间不处于所述积分时间对应关系中时，在所述积分时间对应关系中查找与所述当前积分时间相邻的第一积分时间和第二积分时间；
根据所述积分时间对应关系中与所述第一积分时间对应的第一固定图形误差函数和第一谐波误差函数，对所述当前原始深度图进行固定图形误差校正和谐波误差校正以得到第一当前校正深度图；
根据所述积分时间对应关系中与所述第二积分时间对应的第二固定图形误差函数和第二谐波误差函数，对所述当前原始深度图进行固定图形误差校正和谐波误差校正以得到第二当前校正深度图；
融合所述第一当前校正深度图和所述第二当前校正深度图以得到所述当前校正深度图。
3.根据权利要求1所述的校正方法，其特征在于，所述校正方法还包括：
设定标定积分时间；
通过所述飞行时间模组以所述标定积分时间获取标定原始深度图；
根据获取所述标定原始深度图时的标定温度对应的标定温度补偿系数对所述标定原始深度图进行温度校正；
对所述标定原始深度图进行固定图形误差校正和谐波误差校正以得到标定校正深度图；
根据所述标定校正深度图确定所述积分时间对应关系。
4.根据权利要求1或3所述的校正方法，其特征在于，所述校正方法还包括：
多次调节所述飞行时间模组所处环境的测试温度并通过所述飞行时间模组获取对应的深度测试值；
根据所述测试温度与对应的所述深度测试值确定温度补偿函数，其中，在所述温度补偿函数中，每个温度对应一个温度补偿系数。
5.根据权利要求3所述的校正方法，其特征在于，所述通过所述飞行时间模组以所述标定积分时间获取标定原始深度图，包括：
通过所述飞行时间模组以所述标定积分时间获取用于标定固定图形误差的第一标定原始深度图；
通过所述飞行时间模组以所述标定积分时间获取用于标定谐波误差的第二标定原始深度图。
6.根据权利要求5所述的校正方法，其特征在于，所述通过所述飞行时间模组以所述标定积分时间获取用于标定固定图形误差的第一标定原始深度图，包括：
通过所述飞行时间模组以所述标定积分时间并保持所述飞行时间模组与被摄目标之间的固定位姿多次获取第一标定初始深度图；
对多次获取的所述第一标定初始深度图进行均值降噪处理得到所述第一标定原始深度图；
所述通过所述飞行时间模组以所述标定积分时间获取用于标定谐波误差的第二标定原始深度图，包括：
通过所述飞行时间模组以所述标定积分时间并改变所述飞行时间模组与被摄目标之间的距离多次获取第二标定初始深度图；
对多次获取的所述第二标定初始深度图进行均值降噪处理得到所述第二标定原始深度图。
7.根据权利要求3所述的校正方法，其特征在于，所述对所述标定原始深度图进行固定图形误差校正和谐波误差校正以得到标定校正深度图，包括：
将所述标定原始深度图与理想深度值相减得到第一差值图；
对所述第一差值图进行固定图形误差拟合得到标定固定图形误差函数；
根据所述标定固定图形误差函数对所述标定原始深度图进行固定图形误差校正得到标定中间深度图；
将所述标定中间深度图与理想深度值相减得到第二差值图；
对所述第二差值图进行谐波误差拟合得到标定谐波误差函数；
根据所述标定谐波误差函数对所述标定中间深度图进行谐波误差校正得到所述标定校正深度图。
8.根据权利要求3所述的校正方法，其特征在于，所述对所述标定原始深度图进行固定图形误差校正和谐波误差校正以得到标定校正深度图，包括：
根据所述飞行时间模组获取的标定黑白强度图计算所述标定原始深度图中各个像素深度值的置信度，以确定各个像素的权重；
将所述标定原始深度图与理想深度值相减得到第一差值图；
根据所述权重对所述第一差值图进行固定图形误差拟合得到标定固定图形误差函数；
根据所述标定固定图形误差函数对所述标定原始深度图进行固定图形误差校正得到标定中间深度图；
将所述标定中间深度图与理想深度值相减得到第二差值图；
根据所述权重对所述第二差值图进行谐波误差拟合得到标定谐波误差函数；
根据所述标定谐波误差函数对所述标定中间深度图进行谐波误差校正得到所述标定校正深度图。
9.根据权利要求7或8所述的校正方法，其特征在于，所述根据所述标定校正深度图确定所述积分时间对应关系，包括：
将所述标定校正深度图与理想深度值相减得到残差图；
判断所述残差图是否满足收敛条件；
在所述残差图满足所述收敛条件时，判断是否需要重新设置所述标定积分时间；
在需要重新设置所述标定积分时间时，返回所述设定标定积分时间的步骤；
在不需要重新设置所述标定积分时间时，根据所述标定积分时间、所述标定固定图形误差函数和所述标定谐波误差函数输出所述积分时间对应关系。
10.根据权利要求9所述的校正方法，其特征在于，所述校正方法还包括：
在所述残差图不满足所述收敛条件时，将所述标定校正深度图与所述残差图相加得到所述标定原始深度图，并返回所述对所述标定原始深度图进行固定图形误差校正和谐波误差校正以得到标定校正深度图的步骤。
11.一种飞行时间模组的校正装置，其特征在于，所述飞行时间模组用于实时获取当前原始深度图，所述校正装置包括一个或多个处理器，所述处理器用于：
根据获取所述当前原始深度图时的当前温度对应的当前温度补偿系数对所述当前原始深度图进行温度校正；
判断获取所述当前原始深度图时的当前积分时间是否处于积分时间对应关系中；
在所述当前积分时间处于所述积分时间对应关系中时，根据所述积分时间对应关系中与所述当前积分时间对应的当前固定图形误差函数和当前谐波误差函数，对所述当前原始深度图进行固定图形误差校正和谐波误差校正以得到当前校正深度图。
12.根据权利要求11所述的校正装置，其特征在于，所述处理器用于：
在所述当前积分时间不处于所述积分时间对应关系中时，在所述积分时间对应关系中查找与所述当前积分时间相邻的第一积分时间和第二积分时间；
根据所述积分时间对应关系中与所述第一积分时间对应的第一固定图形误差函数和第一谐波误差函数，对所述当前原始深度图进行固定图形误差校正和谐波误差校正以得到第一当前校正深度图；
根据所述积分时间对应关系中与所述第二积分时间对应的第二固定图形误差函数和第二谐波误差函数，对所述当前原始深度图进行固定图形误差校正和谐波误差校正以得到第二当前校正深度图；
融合所述第一当前校正深度图和所述第二当前校正深度图以得到所述当前校正深度图。
13.根据权利要求11所述的校正装置，其特征在于，所述处理器用于设定标定积分时间；
所述飞行时间模组用于以所述标定积分时间获取标定原始深度图；
所述处理器还用于：
根据获取所述标定原始深度图时的标定温度对应的标定温度补偿系数对所述标定原始深度图进行温度校正；
对所述标定原始深度图进行固定图形误差校正和谐波误差校正以得到标定校正深度图；
根据所述标定校正深度图确定所述积分时间对应关系。
14.根据权利要求11或13所述的校正装置，其特征在于，所述处理器用于多次调节所述飞行时间模组所处环境的测试温度，所述飞行时间模组用于获取对应的深度测试值；
所述处理器还用于根据所述测试温度与对应的所述深度测试值确定温度补偿函数，其中，在所述温度补偿函数中，每个温度对应一个温度补偿系数。
15.根据权利要求13所述的校正装置，其特征在于，
所述飞行时间模组用于以所述标定积分时间获取用于标定固定图形误差的第一标定原始深度图；
所述飞行时间模组用于以所述标定积分时间获取用于标定谐波误差的第二标定原始深度图。
16.根据权利要求15所述的校正装置，其特征在于，
所述飞行时间模组用于以所述标定积分时间并保持所述飞行时间模组与被摄目标之间的固定位姿多次获取第一标定初始深度图；
所述处理器用于对多次获取的所述第一标定初始深度图进行均值降噪处理得到所述第一标定原始深度图；
所述飞行时间模组还用于以所述标定积分时间并改变所述飞行时间模组与被摄目标之间的距离多次获取第二标定初始深度图；
所述处理器还用于对多次获取的所述第二标定初始深度图进行均值降噪处理得到所述第二标定原始深度图。
17.根据权利要求13所述的校正装置，其特征在于，所述处理器用于：
将所述标定原始深度图与理想深度值相减得到第一差值图；
对所述第一差值图进行固定图形误差拟合得到标定固定图形误差函数；
根据所述标定固定图形误差函数对所述标定原始深度图进行固定图形误差校正得到标定中间深度图；
将所述标定中间深度图与理想深度值相减得到第二差值图；
对所述第二差值图进行谐波误差拟合得到标定谐波误差函数；
根据所述标定谐波误差函数对所述标定中间深度图进行谐波误差校正得到所述标定校正深度图。
18.根据权利要求13所述的校正装置，其特征在于，所述处理器用于：
根据所述飞行时间模组获取的标定黑白强度图计算所述标定原始深度图中各个像素深度值的置信度，以确定各个像素的权重；
将所述标定原始深度图与理想深度值相减得到第一差值图；
根据所述权重对所述第一差值图进行固定图形误差拟合得到标定固定图形误差函数；
根据所述标定固定图形误差函数对所述标定原始深度图进行固定图形误差校正得到标定中间深度图；
将所述标定中间深度图与理想深度值相减得到第二差值图；
根据所述权重对所述第二差值图进行谐波误差拟合得到标定谐波误差函数；
根据所述标定谐波误差函数对所述标定中间深度图进行谐波误差校正得到所述标定校正深度图。
19.根据权利要求17或18所述的校正装置，其特征在于，所述处理器用于：
将所述标定校正深度图与理想深度值相减得到残差图；
判断所述残差图是否满足收敛条件；
在所述残差图满足所述收敛条件时，判断是否需要重新设置所述标定积分时间；
在需要重新设置所述标定积分时间时，设定所述标定积分时间；
在不需要重新设置所述标定积分时间时，根据所述标定积分时间、所述标定固定图形误差函数和所述标定谐波误差函数输出所述积分时间对应关系。
20.根据权利要求19所述的校正装置，其特征在于，所述处理器用于在所述残差图不满足所述收敛条件时，将所述标定校正深度图与所述残差图相加得到所述标定原始深度图，并对所述标定原始深度图进行固定图形误差校正和谐波误差校正以得到所述标定校正深度图。
21.一种校正系统，其特征在于，所述校正系统包括：
飞行时间模组；和
权利要求11至20任意一项所述的校正装置，所述校正装置用于校正所述飞行时间模组获取的深度图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010375906.7A CN111624580B (zh) | 2020-05-07 | 2020-05-07 | 飞行时间模组的校正方法、校正装置和校正系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010375906.7A CN111624580B (zh) | 2020-05-07 | 2020-05-07 | 飞行时间模组的校正方法、校正装置和校正系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111624580A true CN111624580A (zh) | 2020-09-04 |
| CN111624580B CN111624580B (zh) | 2023-08-18 |
Family
ID=72269833
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010375906.7A Active CN111624580B (zh) | 2020-05-07 | 2020-05-07 | 飞行时间模组的校正方法、校正装置和校正系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111624580B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114092570A (zh) * | 2022-01-21 | 2022-02-25 | 杭州蓝芯科技有限公司 | 一种深度相机温度标定方法及装置、电子设备、存储介质 |
| WO2024014393A1 (ja) * | 2022-07-15 | 2024-01-18 | ヌヴォトンテクノロジージャパン株式会社 | 測距装置、補正量生成装置、測距方法および補正量生成方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040051797A1 (en) * | 2002-09-13 | 2004-03-18 | Kelly Sean C. | Fixed pattern noise removal in CMOS imagers across various operational conditions |
| US20140368613A1 (en) * | 2013-06-14 | 2014-12-18 | Microsoft Corporation | Depth map correction using lookup tables |
| CN108627467A (zh) * | 2018-04-26 | 2018-10-09 | 深圳怡化电脑股份有限公司 | 一种图像传感器的线性度的检测方法及检测装置 |
| CN108917639A (zh) * | 2018-05-15 | 2018-11-30 | 深圳奥比中光科技有限公司 | 深度成像系统及其温度误差校正方法 |
| CN109816735A (zh) * | 2019-01-24 | 2019-05-28 | 哈工大机器人（合肥）国际创新研究院 | 一种快速标定及校正方法及其tof相机 |
| CN109903241A (zh) * | 2019-01-31 | 2019-06-18 | 武汉市聚芯微电子有限责任公司 | 一种tof相机系统的深度图像校准方法及系统 |
| EP3620821A1 (en) * | 2018-09-05 | 2020-03-11 | Infineon Technologies AG | Time of flight camera and method for calibrating a time of flight camera |
-
2020
- 2020-05-07 CN CN202010375906.7A patent/CN111624580B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040051797A1 (en) * | 2002-09-13 | 2004-03-18 | Kelly Sean C. | Fixed pattern noise removal in CMOS imagers across various operational conditions |
| US20140368613A1 (en) * | 2013-06-14 | 2014-12-18 | Microsoft Corporation | Depth map correction using lookup tables |
| CN108627467A (zh) * | 2018-04-26 | 2018-10-09 | 深圳怡化电脑股份有限公司 | 一种图像传感器的线性度的检测方法及检测装置 |
| CN108917639A (zh) * | 2018-05-15 | 2018-11-30 | 深圳奥比中光科技有限公司 | 深度成像系统及其温度误差校正方法 |
| EP3620821A1 (en) * | 2018-09-05 | 2020-03-11 | Infineon Technologies AG | Time of flight camera and method for calibrating a time of flight camera |
| CN109816735A (zh) * | 2019-01-24 | 2019-05-28 | 哈工大机器人（合肥）国际创新研究院 | 一种快速标定及校正方法及其tof相机 |
| CN109903241A (zh) * | 2019-01-31 | 2019-06-18 | 武汉市聚芯微电子有限责任公司 | 一种tof相机系统的深度图像校准方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 蒋彬等: ""改进的ＴＯＦ相机谐波和强度误差校正算法设计"", 《光学学报》, vol. 40, no. 1, pages 1 - 10 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114092570A (zh) * | 2022-01-21 | 2022-02-25 | 杭州蓝芯科技有限公司 | 一种深度相机温度标定方法及装置、电子设备、存储介质 |
| WO2024014393A1 (ja) * | 2022-07-15 | 2024-01-18 | ヌヴォトンテクノロジージャパン株式会社 | 測距装置、補正量生成装置、測距方法および補正量生成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111624580B (zh) | 2023-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109903241B (zh) | 一种tof相机系统的深度图像校准方法及系统 | |
| CN109729721B (zh) | 光学测距方法以及光学测距装置 | |
| CN109816735B (zh) | 一种快速标定及校正方法及其tof相机 | |
| Dorrington et al. | Separating true range measurements from multi-path and scattering interference in commercial range cameras | |
| JP6286677B2 (ja) | 測距システム、及び撮像センサ | |
| CN106815867B (zh) | Tof相机标定与校正系统及其设备与方法 | |
| CN110609299B (zh) | 一种基于tof的三维成像系统 | |
| US11536814B2 (en) | Distance measuring apparatus having distance correction function | |
| CN111624580A (zh) | 飞行时间模组的校正方法、校正装置和校正系统 | |
| KR20110052993A (ko) | 영상 보정 장치 및 영상 보정 방법 | |
| CN111508011A (zh) | 一种飞行时间相机的深度数据校准方法 | |
| CN110879398A (zh) | 飞行时间相机和用于校准飞行时间相机的方法 | |
| US20210173054A1 (en) | Optical range calculation apparatus and method of range calculation | |
| JP2012225807A (ja) | 距離画像カメラおよび距離画像合成方法 | |
| CN115423877A (zh) | 一种标定方法、标定系统、深度相机及可读存储介质 | |
| JPH11355813A (ja) | カメラの内部パラメータ決定装置 | |
| CN113748359A (zh) | 基于连续波测距的补偿方法、装置和激光雷达 | |
| CN112365546B (zh) | Tof相机标定方法、系统及标定箱体 | |
| RU2679547C1 (ru) | Способ компенсации геометрического шума матричного фотоприемника | |
| CN111819468B (zh) | 三维图像传感系统以及相关电子装置以及飞时测距方法 | |
| CN109756662B (zh) | 基于dll延迟锁相环的深度信息校正方法以及深度信息校正装置 | |
| CN115667989A (zh) | 深度图像处理方法及设备 | |
| JP7167708B2 (ja) | 距離情報生成装置 | |
| CN110673428B (zh) | 一种结构光补偿方法、装置及设备 | |
| US20220364849A1 (en) | Multi-sensor depth mapping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |