CN113009508A - 用于tof模组的多径干扰校正方法及其系统和电子设备 - Google Patents

用于tof模组的多径干扰校正方法及其系统和电子设备 Download PDF

Info

Publication number
CN113009508A
CN113009508A CN201911327889.3A CN201911327889A CN113009508A CN 113009508 A CN113009508 A CN 113009508A CN 201911327889 A CN201911327889 A CN 201911327889A CN 113009508 A CN113009508 A CN 113009508A
Authority
CN
China
Prior art keywords
tof
multipath interference
module
model
cross
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911327889.3A
Other languages
English (en)
Other versions
CN113009508B (zh
Inventor
汲梦宇
田文军
蒋坤君
胡增新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sunny Optical Zhejiang Research Institute Co Ltd
Original Assignee
Sunny Optical Zhejiang Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sunny Optical Zhejiang Research Institute Co Ltd filed Critical Sunny Optical Zhejiang Research Institute Co Ltd
Priority to CN201911327889.3A priority Critical patent/CN113009508B/zh
Publication of CN113009508A publication Critical patent/CN113009508A/zh
Application granted granted Critical
Publication of CN113009508B publication Critical patent/CN113009508B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

一种用于TOF模组的多径干扰校正方法及其系统和电子设备。该用于TOF模组的多径干扰校正方法包括步骤通过带有多径干扰的光信号传播仿真模型，合成带有多径干扰的TOF互相关图，以得到合成的带有多径干扰的TOF互相关图集合；构建与该带有多径干扰的TOF互相关图一一对应的不带多径干扰的TOF深度图，以得到真实的不带多径干扰的TOF深度图集合；基于该合成的带有多径干扰的TOF互相关图集合和该真实的不带多径干扰的TOF深度图集合，训练一多径干扰校正模型，以得到训练好的多径干扰校正模型；以及通过该训练好的多径干扰校正模型，校正经由TOF模组采集的TOF数据，以获得TOF校正深度图。

Description

用于TOF模组的多径干扰校正方法及其系统和电子设备
技术领域
本发明涉及TOF技术领域，尤其是涉及用于TOF模组的多径干扰校正方法及其系统和电子设备。
背景技术
TOF(Time of flight，飞行时间)技术是光学测量技术中表现较为突出的一种，可应用于机器人/无人机、体感娱乐、监控安防、智慧物流等领域，是近年的研究热点之一。TOF模组作为目前3D深度相机的主要成员之一，其原理是通过发射器连续发送光脉冲(一般为不可见光)到被测物体上，然后用传感器接收从被测物体反射回来的光脉冲，进而通过光脉冲的飞行(往返)时间来得到被测物体与相机的距离。由于TOF深度测量原理的前提是假设接收的光信号仅经过一次反射，但在实际场景中光信号通常会发生多次反射，这导致TOF模组接收的光信号是多个光信号的叠加，进而导致测量出的深度信息会出现偏差，因此为了获取更精准的深度信息，需要对因多径干扰而导致的测量误差进行校正。
目前，基于TOF模组的多径干扰校正通常存在两种解决方案：第一种方案是更改TOF模组的硬件，如添加结构光编码照明或添加更多的调制频率；第二种方案是调整TOF模组的软件，如建立光信号传播防震模型或诸如自编码器模型的深度学习框架。
然而，针对第一种方案，更改TOF模组的硬件将大幅地增加模组结构的复杂程度，提高模组的制造成本；特别是对于已出厂的TOF模组而言，更改模组硬件是不可实现的。针对第二种方案，如果通过建立光信号传播仿真模型直接求解测量偏差(误差)，以进行多径干扰的校正，则会因求解过程中计算量极大而导致耗时很长，进而造成这种方法无法满足TOF模组的实时应用需求；而如果建立自编码器模型，先通过编码器学习一组合适的基于表征被多径干扰的深度图的特征，再通过训练好的解码器从带有多径干扰的深度图中恢复出不带有多径干扰的深度图，则会因直接暴力地学习多径干扰的误差分布，导致恢复出的深度图并不能保留原有的结构信息。
发明内容
本发明的一优势在于提供一用于TOF模组的多径干扰校正方法及其系统和电子设备，其能够在不改变TOF模组硬件的情况下，确保校正深度图保留原有的结构信息。
本发明的另一优势在于提供一用于TOF模组的多径干扰校正方法及其系统和电子设备，其中，在本发明的一实施例中，所述多径干扰校正方法不仅从深层次解析了多径干扰的仿真模型，而且能够大幅地提高校正效率和校正精度，有助于满足后续应用的实时需求。
本发明的另一优势在于提供一用于TOF模组的多径干扰校正方法及其系统和电子设备，其中，在本发明的一实施例中，所述多径干扰校正方法能够在不更改TOF模组硬件的情况下，实时校正带有多径干扰的TOF数据以获得保留了几何、结构信息的校正深度图。
本发明的另一优势在于提供一用于TOF模组的多径干扰校正方法及其系统和电子设备，其中，在本发明的一实施例中，所述多径干扰校正方法不仅能够解决真实数据采集困难、不全面的问题，而且能够完美地适配各种TOF模组的特性，进而确保合成的带有多径干扰的TOF数据与真实的带有多径干扰的TOF数据之间保持较好的一致性。
本发明的另一优势在于提供一用于TOF模组的多径干扰校正方法及其系统和电子设备，其中，在本发明的一实施例中，所述多径干扰校正方法能够很好地学习多径干扰误差的特征分布，以较好地评估当前深度数据来自真实数据的概率，从而确保了所述校正深度图的几何、结构信息。
本发明的另一优势在于提供一用于TOF模组的多径干扰校正方法及其系统和电子设备，其中，在本发明的一实施例中，所述多径干扰校正方法能够采用最小二乘损失函数来代替cGAN损失函数的交叉熵，有助于解决cGAN损失函数训练不稳定、生成图像质量差、多样性不足的问题。
本发明的另一优势在于提供一用于TOF模组的多径干扰校正方法及其系统和电子设备，其中，在本发明的一实施例中，所述多径干扰校正方法能够对TOF模组进行系统误差的校正，以便消除TOF模组系统误差对真实数据的影响。
本发明的另一优势在于提供一用于TOF模组的多径干扰校正方法及其系统和电子设备，其中为了达到上述优势，在本发明中不需要采用复杂的结构和庞大的计算量，对软硬件要求低。因此，本发明成功和有效地提供一解决方案，不只提供一用于TOF模组的多径干扰校正方法及其系统和电子设备，同时还增加了所述用于TOF模组的多径干扰校正方法及其系统和电子设备的实用性和可靠性。
为了实现上述至少一优势或其他优势和目的，本发明提供了用于TOF模组的多径干扰校正方法，其特征在于，包括步骤：
通过带有多径干扰的光信号传播仿真模型，合成带有多径干扰的TOF互相关图，以得到合成的带有多径干扰的TOF互相关图集合；
构建与该带有多径干扰的TOF互相关图一一对应的不带多径干扰的TOF深度图，以得到真实的不带多径干扰的TOF深度图集合；
基于该合成的带有多径干扰的TOF互相关图集合和该真实的不带多径干扰的TOF深度图集合，训练一多径干扰校正模型，以得到训练好的多径干扰校正模型；以及
通过该训练好的多径干扰校正模型，校正经由TOF模组采集的TOF数据，以获得TOF校正深度图。
在本发明的一实施例中，所述通过带有多径干扰的光信号传播仿真模型，合成带有多径干扰的TOF互相关图，以得到合成的带有多径干扰的TOF互相关图集合的步骤，包括步骤：
建立该带有多径干扰的光信号传播仿真模型；
确定TOF模组的视角和参数；
通过基于光线跟踪的物理渲染系统，基于该TOF模组的视角和参数，跟踪渲染三维场景模型，以得到瞬态渲染数据；以及
基于该瞬态渲染数据，通过该带有多径干扰的光信号传播仿真模型生成该带有多径干扰的TOF互相关图。
在本发明的一实施例中，所述通过带有多径干扰的光信号传播仿真模型，合成带有多径干扰的TOF互相关图，以得到合成的带有多径干扰的TOF互相关图集合的步骤，进一步包括步骤：
对不同距离下该TOF模组的真实TOF互相关图进行预处理，以拟合出该TOF模组的噪声曲线；和
根据该TOF模组的该噪声曲线，在该合成的带有多径干扰的TOF互相关图上加入自适应噪声，以使该合成的带有多径干扰的TOF互相关图带有该TOF的噪声。
在本发明的一实施例中，在所述构建与该带有多径干扰的TOF互相关图一一对应的不带多径干扰的TOF深度图，以得到真实的不带多径干扰的TOF深度图集合的步骤中：
通过Blender工具，根据该TOF模组的视角和参数，生成与该带有多径干扰的TOF互相关图一一对应的该不带多径干扰的TOF深度图。
在本发明的一实施例中，所述基于该合成的带有多径干扰的TOF互相关图集合和该真实的不带多径干扰的TOF深度图集合，训练一多径干扰校正模型，以得到训练好的多径干扰校正模型的步骤，包括步骤：
搭建该多径干扰校正模型的深度学习框架，其中该多径干扰校正模型包括用于捕捉多径干扰误差特征分布的一生成模型和用于估计当前TOF深度图来自真实数据的概率的一判别模型；和
基于该合成的带有多径干扰的TOF互相关图集合和该真实的不带多径干扰的TOF深度图集合，通过反向传播算法和自适应矩估计算法来训练该多径干扰校正模型中的该生成模型和该判别模型。
在本发明的一实施例中，所述通过该训练好的多径干扰校正模型，校正经由TOF模组采集的TOF数据，以获得TOF校正深度图的步骤，包括步骤：
对经由该TOF模组采集的该TOF数据进行系统误差校正，以得到校正系统误差后的TOF数据；和
将该校正系统误差后的TOF数据输入该训练好的多径干扰模型中的该生成模型，以输出该TOF校正深度图。
在本发明的一实施例中，该TOF模组的系统误差包括由非标准波带来的周期性误差、由入射光强度不同引入的误差、由积分时间不同引起的误差以及由温度变化带来的误差中的一种或多种。
根据本发明的另一方面，本发明还提供了用于TOF模组的多径干扰校正系统，用于校正TOF模组的多径干扰误差，其中所述用于TOF模组的多径干扰校正系统包括依次可通信地连接的：
一数据合成模块，用于通过带有多径干扰的光信号传播仿真模型，合成带有多径干扰的TOF互相关图，以得到合成的带有多径干扰的TOF互相关图集合；
一数据构建模块，用于构建与该带有多径干扰的TOF互相关图一一对应的不带多径干扰的TOF深度图，以得到真实的不带多径干扰的TOF深度图集合；
一模型训练模块，用于基于该合成的带有多径干扰的TOF互相关图集合和该真实的不带多径干扰的TOF深度图集合，训练一多径干扰校正模型，以得到训练好的多径干扰校正模型；以及
一校正模块，用于通过该训练好的多径干扰校正模型，校正经由TOF模组采集的TOF数据，以获得TOF校正深度图。
在本发明的一实施例中，所述数据合成模块包括相互可通信地连接的一仿真模型建立模块、一确定模块、一渲染模块以及一生成模块，其中所述仿真模型建立模块用于建立该带有多径干扰的光信号传播仿真模型；其中所述确定模块用于确定TOF模组的视角和参数；其中所述渲染模块用于通过基于光线跟踪的物理渲染系统，基于该TOF模组的视角和参数，跟踪渲染三维场景模型，以得到瞬态渲染数据；其中所述生成模块用于基于该瞬态渲染数据，通过该带有多径干扰的光信号传播仿真模型生成该带有多径干扰的TOF互相关图。
在本发明的一实施例中，所述数据合成模块进一步包括相互可通信地连接的一预处理模块和一自适应调整模块，其中所述预处理模块用于对不同距离下该TOF模组的真实TOF互相关图进行预处理，以拟合出该TOF模组的噪声曲线；其中所述自适应调整模块用于根据该TOF模组的该噪声曲线，在该合成的带有多径干扰的TOF互相关图上加入自适应噪声，以使该合成的带有多径干扰的TOF互相关图带有该TOF的噪声。
在本发明的一实施例中，所述模型训练模块包括相互可通信地连接的一校正模型搭建模块和一校正模型训练模块，其中所述校正模型搭建模块用于搭建该多径干扰校正模型的深度学习框架，其中该多径干扰校正模型包括用于捕捉多径干扰误差特征分布的一生成模型和用于估计当前TOF深度图来自真实数据的概率的一判别模型；其中所述校正模型训练模块用于基于该合成的带有多径干扰的TOF互相关图集合和该真实的不带多径干扰的TOF深度图集合，通过反向传播算法和自适应矩估计算法来训练该多径干扰校正模型中的该生成模型和该判别模型。
在本发明的一实施例中，所述校正模块包括相互可通信地连接的一系统误差校正模块和一多径干扰校正模块，其中所述系统误差校正模块用于对经由该TOF模组采集的该TOF数据进行系统误差校正，以得到校正系统误差后的TOF数据；其中所述多径干扰校正模块用于将该校正系统误差后的TOF数据输入该训练好的多径干扰模型中的该生成模型，以输出该TOF校正深度图。
根据本发明的另一方面，本发明还提供了电子设备，包括：
至少一处理器，用于执行指令；和
与所述至少一处理器可通信地连接的存储器，其中，所述存储器具有至少一指令，其中，所述指令被所述至少一处理器执行，以使得所述至少一处理器执行用于TOF模组的多径干扰校正方法中的部分或全部步骤，其中所述用于TOF模组的多径干扰校正方法包括步骤：
通过带有多径干扰的光信号传播仿真模型，合成带有多径干扰的TOF互相关图，以得到合成的带有多径干扰的TOF互相关图集合；
构建与该带有多径干扰的TOF互相关图一一对应的不带多径干扰的TOF深度图，以得到真实的不带多径干扰的TOF深度图集合；
基于该合成的带有多径干扰的TOF互相关图集合和该真实的不带多径干扰的TOF深度图集合，训练一多径干扰校正模型，以得到训练好的多径干扰校正模型；以及
通过该训练好的多径干扰校正模型，校正经由TOF模组采集的TOF数据，以获得TOF校正深度图。
根据本发明的另一方面，本发明还提供了电子设备，包括：
一TOF模组，用于采集TOF数据；和
一用于TOF模组的多径干扰校正系统，其中所述用于TOF模组的多径干扰校正系统被配置于所述TOF模组主体，用于校正经由所述TOF模组采集的该TOF数据，以获得TOF校正深度图，其中所述用于TOF模组的多径干扰校正系统包括依次可通信地连接的：
一数据合成模块，用于通过带有多径干扰的光信号传播仿真模型，合成带有多径干扰的TOF互相关图，以得到合成的带有多径干扰的TOF互相关图集合；一数据构建模块，用于构建与该带有多径干扰的TOF互相关图一一对应的不带多径干扰的TOF深度图，以得到真实的不带多径干扰的TOF深度图集合；
一模型训练模块，用于基于该合成的带有多径干扰的TOF互相关图集合和该真实的不带多径干扰的TOF深度图集合，训练一多径干扰校正模型，以得到训练好的多径干扰校正模型；以及
一校正模块，用于通过该训练好的多径干扰校正模型，校正经由所述TOF模组采集的该TOF数据，以获得TOF校正深度图。
通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。
本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。
附图说明
图1是根据本发明的一实施例的用于TOF模组的多径干扰校正方法的流程示意图。
图2示出了根据本发明的上述实施例的所述用于TOF模组的多径干扰校正方法的步骤之一的流程示意图。
图3示出了根据本发明的上述实施例的所述用于TOF模组的多径干扰校正方法的步骤之二的流程示意图。
图4示出了根据本发明的上述实施例的所述用于TOF模组的多径干扰校正方法的步骤之三的流程示意图。
图5示出了根据本发明的上述实施例的所述用于TOF模组的多径干扰校正方法所采用的多径干扰校正模型的框架示意图。
图6示出了根据本发明的一实施例的用于TOF模组的多径干扰校正系统的框图示意图。
图7示出了根据本发明的一实施例的一电子设备的立体示意图。
图8示出了根据本发明的一实施例的另一电子设备的框图示意图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
在本发明中，权利要求和说明书中术语“一”应理解为“一个或多个”，即在一个实施例，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个。除非在本发明的揭露中明确示意该元件的数量只有一个，否则术语“一”并不能理解为唯一或单一，术语“一”不能理解为对数量的限制。
在本发明的描述中，需要理解的是，属于“第一”、“第二”等仅用于描述目的，而不能理解为指示或者暗示相对重要性。本发明的描述中，需要说明的是，除非另有明确的规定和限定，属于“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接或者一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以是通过媒介间接连结。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在TOF技术领域中，TOF模组深度测量原理的前提假设是接收光信号仅经过一次反射，然而实际场景中光信号通常会发生多次反射，这导致TOF模组接收的光信号是多个光信号的叠加，这一现象被称为多径干扰(MPI，Multipath Interference)，是TOF深度测量技术的主要挑战之一。而现有的TOF多径干扰误差校正方法利用了深度学习框架来校正多径干扰误差，即先用编码器学习一组合适的基于表征带有多径干扰的深度图的特征进行训练，再用于训练好的编码器来恢复不带有多径干扰的深度图。由于现有的TOF多径干扰误差校正方法直接利用带有多径干扰的深度图来训练深度学习框架，并没有深度探究多径干扰的原理模型，因此现有的TOF多径干扰误差校正方法直接暴力地学习多径干扰的误差分布，导致恢复出的不带有多径干扰的深度图并不能保留原有的结构信息。
而为了解决上述问题，本发明提出一种用于TOF模组的多径干扰校正方法及其系统和电子设备，其能够结合光信号传播仿真模型和深度学习框架来实现多径干扰的实时校正，这样在校正的过程中，输入的是经由TOF模组采集的TOF互相关图，而输出的是TOF校正深度图，以便在不更改TOF模组硬件的情况下，所述TOF校正深度图仍保留了几何、结构信息。
示意性方法
参考说明书附图之图1至图4所示，根据本发明的一实施例的一种用于TOF模组的多径干扰校正方法被阐明。具体地，如图1所示，所述用于TOF模组的多径干扰校正方法包括步骤：
S100：通过带有多径干扰的光信号传播仿真模型，合成带有多径干扰的TOF互相关图，以得到合成的带有多径干扰的TOF互相关图集合；
S200：构建与所述带有多径干扰的TOF互相关图一一对应的不带多径干扰的TOF深度图，以得到真实的不带多径干扰的TOF深度图集合；
S300：基于所述合成的带有多径干扰的TOF互相关图和所述真实的不带多径干扰的TOF深度图，训练多径干扰校正模型，以得到训练好的多径干扰校正模型；以及
S400：通过所述训练好的多径干扰校正模型，校正经由TOF模组采集的TOF数据，以获得TOF校正深度图。
值得注意的是，本发明的所述用于TOF模组的多径干扰校正方法能够在不更改TOF模组硬件的情况下，校正经由TOF模组采集的带有多径干扰误差的TOF数据，以在获得TOF校正深度图的同时，也能够保留所述TOF数据的原有几何和结构信息。这是因为本发明的所述带有多径干扰的光信号传播仿真模型是在深究多径干扰的原理模型之后，考虑了在现实状态下存在的多径干扰现象而建立的；而所述真实的不带多径干扰的TOF深度图又与所述合成的带有多径干扰的TOF互相关图一一对应起来，使得通过所述合成的带有多径干扰的TOF互相关图和所述真实的不带多径干扰的TOF深度图训练出的所述多径干扰校正模型，在校正经由TOF模组采集的带有多径干扰误差的TOF数据，以在获得TOF校正深度图的同时，也能够保留所述TOF数据的原有几何和结构信息。
此外，由于本发明的所述多径干扰校正模型是基于深度学习框架而构建的，而在实际应用中，可以先通过所述合成的带有多径干扰的TOF互相关图集合和所述真实的不带多径干扰的TOF深度图集合来训练所述多径干扰校正模型，然后再直接使用训练好的多径干扰校正模型来对TOF模组进行多径干扰误差的校正。因此虽然所述多径干扰校正模型的训练可能需要大量的计算量、耗费较长的时间，但是一旦所述多径干扰校正模型被训练好，则利用训练好的所述多径干扰校正模型就能够大幅地提高校正效率，达到后续应用的实时需求。
更具体地，在所述用于TOF模组的多径干扰校正方法的所述步骤S100中，根据所述带有多径干扰的光信号传播仿真模型，优选地借助瞬态渲染技术来合成所述合成的带有多径干扰的TOF互相关图。
示例性地，如图2所示，所述用于TOF模组的多径干扰校正方法的所述步骤S100，可以包括步骤：
S110：建立所述带有多径干扰的光信号传播仿真模型；
S120：确定所述TOF模组的视角和参数；
S130：通过基于光线跟踪的物理渲染系统，基于所述TOF模组的视角和参数，跟踪渲染三维场景模型，以得到瞬态渲染数据；以及
S140：基于所述瞬态渲染数据，通过所述带有多径干扰的光信号传播仿真模型生成所述合成的带有多径干扰的TOF互相关图。
值得注意的是，针对三维场景模型，给定发射信号为I(t)＝I0cos(wt)+I1，物体反射率为r，环境光为e0，光速为c，则待测距离
Figure BDA0002328846090000101
其中iw，ψ是TOF数据的原始互相关值,
Figure BDA0002328846090000102
在理想状态下，不存在多路径干扰现象，则所述TOF模组中传感器的接收信号为s(t)＝a0cos(wt-2wτ0)+a1，其中
Figure BDA0002328846090000103
τ0是飞行时间；进而，所述TOF模组的调制周期函数b0cos(wt-ψ)与所述接收信号s(t)在积分时间T内的互相关值iw，ψ(即理想的不带有多径干扰的TOF互相关图)，也就是说，理想的不带有多径干扰的光信号传播仿真模型可以被实施为：
Figure BDA0002328846090000104
而在现实状态下，则会存在多路径干扰现象，此时本发明将传感器接收信号表述为多个光信号的组合，即
Figure BDA0002328846090000105
进而所述TOF模组的调制周期函数b0cos(wt-ψ)与所述接收信号s(t)在积分时间T内的互相关值iw，ψ(即合成的不带有多径干扰的TOF互相关图)，也就是说，本发明的所述步骤S110中的所述带有多径干扰的光信号传播仿真模型可以被实施为：
Figure BDA0002328846090000111
接着，在建立所述不带有多径干扰的光信号传播仿真模型之后，就能够借助瞬态渲染技术，根据所述TOF模组的视角和参数，跟踪渲染三维场景模型来获得所述合成的带有多径干扰的TOF互相关图。
示例性地，本发明的所述用于TOF模组的多径干扰校正方法中所述基于光线跟踪的物理渲染系统可以但不限于被实施为基于物理的渲染工具包(英文：Physically basedrendering toolkit；简称PBRT)，以跟踪渲染三维场景模型。更详细地，给定一个三维场景模型，首先确定所述TOF模组的视角及参数(参考所用TOF模组的内参、分辨率、FOV等等之类的参数)，其次在
Figure BDA0002328846090000112
时刻范围内均匀采样，并记录下所有时刻下的瞬态渲染文件，这里dmax是所述TOF模组可测量的最远距离。可以理解的是，所述预定时间可以被实施为光信号传播至所述TOF模组的最远测量距离所需的时间。
值得注意的是，为了消除所述TOF模组的自身噪声形态对TOF互相关图造成的影响，本发明的所述用于TOF模组的多径干扰校正方法还会根据所述TOF模组的特性来自适应地调整所述合成的带有多径干扰的TOF互相关图。示例性地，如图2所示，所述用于TOF模组的多径干扰校正方法的所述步骤S100，可以进一步包括步骤：
S150：对不同距离下所述TOF模组的真实TOF互相关图进行预处理，以拟合出所述TOF模组的噪声曲线；和
S160：根据所述TOF模组的噪声曲线，在所述合成的带有多径干扰的TOF互相关图上加入自适应噪声，以使所述合成的带有多径干扰的TOF互相关图带有所述TOF模组的噪声。
此外，根据本发明的上述实施例，在所述步骤S200中：优选地通过Blender工具，根据所述TOF模组的视角和参数，生成所述真实的不带多径干扰的TOF深度图。示例性地，在本发明的一示例中，针对上述PBRT渲染的所述三维场景模型，首先将所述TOF模组的视角和参数导入所述Blender工具，再在z-buffer(Z缓冲区算法)的模式下渲染出所述真实的不带多径干扰的TOF深度图。
值得一提的是，在获得所述合成的带有多径干扰的TOF互相关图和所述真实的不带多径干扰的TOF深度图之后，本发明优选地选择了基于条件生成对抗网络(ConditionalGenerative Adversarial Nets，CGAN)来规划所述多径干扰校正模型的深度学习框架。相比于传统意义上的生成对抗网络(GAN)，本发明的所述多径干扰校正模型在生成模型和判别模型中额外引入了条件变量y，为生成对抗网络附加了约束条件，进而可指导性地生成数据。
具体地，如图3所示，所述用于TOF模组的多径干扰校正方法的所述步骤S300，可以包括步骤：
S310：搭建所述多径干扰校正模型的深度学习框架，其中所述多径干扰校正模型包括一生成模型G和一判别模型D，其中所述生成模型G用于捕捉多径干扰误差特征分布，其中所述判别模型D用于估计当前TOF深度图来自于真实数据的概率；和
S320：基于所述合成的带有多径干扰的TOF互相关图集合和所述真实的不带多径干扰的TOF深度图集合，通过反向传播算法和自适应矩估计算法来训练所述多径干扰校正模型中的所述生成模型G和所述判别模型D。
值得注意的是，在训练所述多径干扰校正模型的阶段，输入所述生成模型G的是所述合成的带有多径干扰的TOF互相关图，并且输出所述生成模型G的是合成的不带多径干扰的TOF深度图；而输入所述判别模型D的是所述合成的带有多径干扰的TOF互相关图和与其一一对应的未知类别的(即合成的或真实的)不带多径干扰的TOF深度图，并且输出所述判别模型D的是当前TOF深度图来自于真实数据的概率。
示例性地，如图5所示，在搭建成所述多径干扰校正模型的深度学习框架中，所述生成模型G中的：D1、D2、D4、D6是平坦卷积、实例正则化(Instance Normalization)、ReLU(Rectified Linear Units)的组合；D3、D5、D7是下卷积、实例正则化、ReLU的组合；R1-R12是12个残差块(ResNet block)；U1、U3、U5是上卷积、实例正则化、ReLU的组合；U2、U4、U6、U7、U8是平坦卷积、实例正则化、ReLU的组合；(D1,U5)、(D3,U3)、(D5,U1)是skip连接。所述判别模型D中的：F1是平坦卷积、实例正则化、ReLU的组合；F2-F5是下卷积、实例正则化、ReLU的组合。可以理解的是，在图3所示的标记(H,W,C)中：H表示当前高度，W表示当前宽度，C表示当前通道数。
在训练所述多径干扰校正模型的过程中，优选地交替训练所述生成模型G和所述判别模型D。例如，给定初始生成模型G0和初始判别模型D0，首先训练所述初始判别模型D0，其次固定所述初始判别模型D0，开始训练所述初始生成模型G0，以此类推，训练D1、G1，D2、G2，...；直至将所述多径干扰校正模型训练好为止。
特别地，为了解决所述基于条件生成对抗网络CGAN中原损失函数训练不稳定、生成图像质量差、多样性不足的问题，本发明采用最小二乘损失函数来替代CGAN损失函数的交叉熵，也就是说，本发明将所述基于条件生成对抗网络CGAN的损失函数定义为LSGAN(Least Squares Generative Adversarial Networks)损失函数：
Figure BDA0002328846090000131
另外，为了进一步定量估计合成的TOF深度图与真实的TOF深度图之间的差异，本发明采用L1损失函数来衡量G网络的性能：
Figure BDA0002328846090000132
优选地，所述多径干扰校正模型中的所述生成模型G的损失函数被实施为：L(G)＝λ1L1+λ2L2；所述判别模型D的损失函数被实施为：L(D)＝λ1L1。
值得一提的是，由于所述TOF模组的系统误差也会对经由TOF模组采集的TOF数据产生不利影像，因此本发明在将经由TOF模组采集的TOF数据导入通过所述训练好的多径干扰校正模型进行校正之前，先对经由TOF模组采集的TOF数据进行系统误差校正，以消除所述TOF模组的系统误差。可以理解的是，所述TOF模组的系统误差可以是由非标准波带来的周期性误差、由入射光强度不同引入的误差、由积分时间不同引起的误差以及由温度变化带来的误差等等。
具体地，如图4所示，本发明的所述用于TOF模组的多径干扰校正方法的所述步骤S400，可以包括步骤：
S410：对经由所述TOF模组采集的TOF数据进行系统误差校正，以得到校正系统误差后的TOF数据；和
S420：将所述校正系统误差后的TOF数据输入所述训练好的所述多径干扰校正模型中的所述生成模型G，以输出所述TOF校正深度图。
可以理解的是，由于经由所述TOF模组采集的TOF数据是真实的TOF互相关图，因此在使用所述多径干扰校正模型的阶段，输入所述生成模型G的是所述真实的TOF互相关图，而输出所述生成模型G的是不带多径干扰误差的TOF校正深度图。
综上所述，本发明创造性地提出了一种用于TOF模组的多径干扰误差实时校正方法，可以在不更改TOF模组硬件的情况下，实时地基于CGAN深度学习框架从带有多径干扰的TOF互相关图中恢复出不带有多径干扰的TOF校正深度图，同时确保TOF校正深度图的几何、结构信息。相较于其他方案，不仅从深层次解析了多径干扰的仿真模型，而且大大提高了校正效率，也为后续应用提供了精准的深度图。
示意性系统
参考说明书附图之图6所示，根据本发明的一实施例的一用于TOF模组的多径干扰校正系统被阐明，其中所述用于TOF模组的多径干扰校正系统用于校正经由TOF模组采集的TOF数据，以得到不带多径干扰的TOF校正深度图。具体地，如图6所示，所述用于TOF模组的多径干扰校正系统1可以包括相互可通信地连接的一数据合成模块10、一数据构建模块20、一模型训练模块30以及一校正模块40，其中所述数据合成模块10用于通过带有多径干扰的光信号传播仿真模型，合成带有多径干扰的TOF互相关图，以得到合成的带有多径干扰的TOF互相关图集合；其中所述数据构建模块20用于构建与所述合成的带有多径干扰的TOF互相关图一一对应的不带多径干扰的TOF深度图，以得到真实的不带多径干扰的TOF深度图集合；其中所述模型训练模块30用于基于所述合成的带有多径干扰的TOF互相关图集合和所述真实的不带多径干扰的TOF深度图集合，训练多径干扰校正模型，以得到训练好的多径干扰校正模型；其中所述校正模块40用于通过所述训练好的多径干扰校正模型，校正经由TOF模组采集的TOF数据，以获得TOF校正深度图。
值得注意的是，在本发明的一示例中，如图6所示，所述用于TOF模组的多径干扰校正系统1的所述数据合成模块10可以包括相互可通信地连接的一仿真模型建立模块11、一确定模块12、一渲染模块13以及一生成模块14，其中所述仿真模型建立模块11用于建立所述带有多径干扰的光信号传播仿真模型；其中所述确定模块12用于确定所述TOF模组的视角和参数；其中所述渲染模块13用于通过基于光线跟踪的物理渲染系统，基于所述TOF模组的视角和参数，跟踪渲染三维场景模型，以得到所述瞬态渲染数据；其中所述生成模块14用于基于所述瞬态渲染数据，通过所述带有多径干扰的光信号传播仿真模型生成所述合成的带有多径干扰的TOF互相关图。
进一步地，如图6所示，所述数据合成模块10还可以包括相互可通信地连接的一预处理模块15和一自适应调整模块16，其中所述预处理模块15用于对不同距离下所述TOF模组的真实TOF互相关图进行预处理，以拟合出所述TOF模组的噪声曲线；所述自适应调整模块16用于根据所述TOF模组的噪声曲线，在所述合成的带有多径干扰的TOF互相关图上加入自适应噪声，以使所述合成的带有多径干扰的TOF互相关图上含有自适应噪声。
在本发明的一示例中，如图6所示，所述用于TOF模组的多径干扰校正系统1的所述模型训练模块30可以包括相互可通信地连接的一校正模型搭建模块31和一校正模型训练模块32，其中所述校正模型搭建模块31用于搭建所述多径干扰校正模型的深度学习框架，其中所述多径干扰校正模型包括一生成模型G和一判别模型D，其中所述生成模型G用于捕捉多径干扰误差特征分布，其中所述判别模型D用于估计当前TOF深度图来自于真实数据的概率；其中所述校正模型训练模块32用于基于所述合成的带有多径干扰的TOF互相关图集合和所述真实的不带多径干扰的TOF深度图集合，通过反向传播算法和自适应矩估计算法来训练所述多径干扰校正模型。
此外，在本发明的一示例中，如图6所示，所述用于TOF模组的多径干扰校正系统1的所述校正模块40包括相互可通信地连接的一系统误差校正模块41和一多径干扰校正模块42，其中所述系统误差校正模块41用于对经由所述TOF模组采集的TOF数据进行系统误差校正，以得到校正系统误差后的TOF数据；其中所述多径干扰校正模块42用于将所述校正系统误差后的TOF数据输入所述训练好的所述多径干扰校正模型中的所述生成模型G，以输出所述TOF校正深度图。
根据本发明的另一方面，本发明进一步提供了诸如TOF相机或配置有TOF模组的智能手机和智能机器人等等之类的电子设备，其中所述电子设备配置有上述用于TOF模组的多径干扰校正系统，用于校正所采集的TOF数据。示例性地，如图7所示，所述电子设备包括一TOF模组600和所述用于TOF模组的多径干扰校正系统1。所述TOF模组600用于采集TOF数据。所述用于TOF模组的多径干扰校正系统被配置于所述TOF模组主体，用于校正经由所述TOF模组采集的该TOF数据，以获得TOF校正深度图。
示意性电子设备
下面，参考图8来描述根据本发明的一实施例的电子设备。如图8所示，电子设备90包括一个或多个处理器91和存储器92。
所述处理器91可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备90中的其他组件以执行期望的功能。换言之，所述处理器91包括被配置成执行指令的一个或多个物理设备。例如，所述处理器91可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个部件的状态、实现技术效果、或以其他方式得到期望结果。
所述处理器91可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，所述处理器91可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。所述处理器91的处理器可以是单核或多核，且在其上执行的指令可被配置为串行、并行和/或分布式处理。所述处理器91的各个组件可任选地分布在两个或更多单独设备上，这些设备可以位于远程和/或被配置成进行协同处理。所述处理器91的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
所述存储器92可以包括一个或多个计算程序产品，所述计算程序产品可以包括各种形式的计算可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算可读存储介质上可以存储一个或多个计算程序指令，所述处理器11可以运行所述程序指令，以实现上文所述的本发明的上述示意性方法中的部分或全部步骤，以及/或者其他期望的功能。
换言之，所述存储器92包括被配置成保存可由所述处理器91执行以实现此处所述的方法和过程的机器可读指令的一个或多个物理设备。在实现这些方法和过程时，可以变换所述存储器92的状态(例如，保存不同的数据)。所述存储器92可以包括可移动和/或内置设备。所述存储器92可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。所述存储器92可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
可以理解，所述存储器92包括一个或多个物理设备。然而，本文描述的指令的各方面可另选地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。所述处理器91和所述存储器92的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。
在一个示例中，如图8所示，所述电子设备90还可以包括输入装置93和输出装置94，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。例如，该输入装置93可以是例如用于采集图像数据或视频数据的摄像模组等等。又如，所述输入装置93可以包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，所述输入装置93可以包括所选择的自然用户输入(NUI)部件或与其对接。这种元件部分可以是集成的或外围的，并且输入动作的转导和/或处理可以在板上或板外被处理。示例NUI部件可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动和/或身体运动的电场感测部件；和/或任何其他合适的传感器。
该输出装置94可以向外部输出各种信息，包括分类结果等。该输出装置94可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，所述电子设备90还可以进一步包括所述通信装置，其中所述通信装置可被配置成将所述电子设备90与一个或多个其他计算机设备通信地耦合。所述通信装置可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，所述通信装置可允许所述电子设备90经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其它设备接收消息。
将会理解，此处描述的配置和/或方法本质是示例性的，这些具体实施例或示例不应被视为限制性的，因为许多变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
当然，为了简化，图8中仅示出了该电子设备90中与本发明有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备90还可以包括任何其他适当的组件。
示意性计算程序产品
除了上述方法和设备以外，本发明的实施例还可以是计算程序产品，其包括计算程序指令，所述计算程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本发明各种实施例的方法中的步骤。
所述计算程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本发明的实施例还可以是计算可读存储介质，其上存储有计算程序指令，所述计算程序指令在被处理器运行时使得所述处理器执行本说明书上述方法中的步骤。
所述计算可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，在本发明中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。
本发明中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本发明的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (14)

1.用于TOF模组的多径干扰校正方法，其特征在于，包括步骤：
通过带有多径干扰的光信号传播仿真模型，合成带有多径干扰的TOF互相关图，以得到合成的带有多径干扰的TOF互相关图集合；
构建与该带有多径干扰的TOF互相关图一一对应的不带多径干扰的TOF深度图，以得到真实的不带多径干扰的TOF深度图集合；
基于该合成的带有多径干扰的TOF互相关图集合和该真实的不带多径干扰的TOF深度图集合，训练一多径干扰校正模型，以得到训练好的多径干扰校正模型；以及
通过该训练好的多径干扰校正模型，校正经由TOF模组采集的TOF数据，以获得TOF校正深度图。
2.如权利要求1所述的用于TOF模组的多径干扰校正方法，其中，所述通过带有多径干扰的光信号传播仿真模型，合成带有多径干扰的TOF互相关图，以得到合成的带有多径干扰的TOF互相关图集合的步骤，包括步骤：
建立该带有多径干扰的光信号传播仿真模型；
确定TOF模组的视角和参数；
通过基于光线跟踪的物理渲染系统，基于该TOF模组的视角和参数，跟踪渲染三维场景模型，以得到瞬态渲染数据；以及
基于该瞬态渲染数据，通过该带有多径干扰的光信号传播仿真模型生成该带有多径干扰的TOF互相关图。
3.如权利要求2所述的用于TOF模组的多径干扰校正方法，其中，所述通过带有多径干扰的光信号传播仿真模型，合成带有多径干扰的TOF互相关图，以得到合成的带有多径干扰的TOF互相关图集合的步骤，进一步包括步骤：
对不同距离下该TOF模组的真实TOF互相关图进行预处理，以拟合出该TOF模组的噪声曲线；和
根据该TOF模组的该噪声曲线，在该合成的带有多径干扰的TOF互相关图上加入自适应噪声，以使该合成的带有多径干扰的TOF互相关图带有该TOF的噪声。
4.如权利要求1至3中任一所述的用于TOF模组的多径干扰校正方法，其中，在所述构建与该带有多径干扰的TOF互相关图一一对应的不带多径干扰的TOF深度图，以得到真实的不带多径干扰的TOF深度图集合的步骤中：
通过Blender工具，根据该TOF模组的视角和参数，生成与该带有多径干扰的TOF互相关图一一对应的该不带多径干扰的TOF深度图。
5.如权利要求4所述的用于TOF模组的多径干扰校正方法，其中，所述基于该合成的带有多径干扰的TOF互相关图集合和该真实的不带多径干扰的TOF深度图集合，训练一多径干扰校正模型，以得到训练好的多径干扰校正模型的步骤，包括步骤：
搭建该多径干扰校正模型的深度学习框架，其中该多径干扰校正模型包括用于捕捉多径干扰误差特征分布的一生成模型和用于估计当前TOF深度图来自真实数据的概率的一判别模型；和
基于该合成的带有多径干扰的TOF互相关图集合和该真实的不带多径干扰的TOF深度图集合，通过反向传播算法和自适应矩估计算法来训练该多径干扰校正模型中的该生成模型和该判别模型。
6.如权利要求5所述的用于TOF模组的多径干扰校正方法，其中，所述通过该训练好的多径干扰校正模型，校正经由TOF模组采集的TOF数据，以获得TOF校正深度图的步骤，包括步骤：
对经由该TOF模组采集的该TOF数据进行系统误差校正，以得到校正系统误差后的TOF数据；和
将该校正系统误差后的TOF数据输入该训练好的多径干扰模型中的该生成模型，以输出该TOF校正深度图。
7.如权利要求6所述的用于TOF模组的多径干扰校正方法，其中，该TOF模组的系统误差包括由非标准波带来的周期性误差、由入射光强度不同引入的误差、由积分时间不同引起的误差以及由温度变化带来的误差中的一种或多种。
8.用于TOF模组的多径干扰校正系统，用于校正TOF模组的多径干扰误差，其特征在于，其中所述用于TOF模组的多径干扰校正系统包括依次可通信地连接的：
一数据合成模块，用于通过带有多径干扰的光信号传播仿真模型，合成带有多径干扰的TOF互相关图，以得到合成的带有多径干扰的TOF互相关图集合；
一数据构建模块，用于构建与该带有多径干扰的TOF互相关图一一对应的不带多径干扰的TOF深度图，以得到真实的不带多径干扰的TOF深度图集合；
一模型训练模块，用于基于该合成的带有多径干扰的TOF互相关图集合和该真实的不带多径干扰的TOF深度图集合，训练一多径干扰校正模型，以得到训练好的多径干扰校正模型；以及
一校正模块，用于通过该训练好的多径干扰校正模型，校正经由TOF模组采集的TOF数据，以获得TOF校正深度图。
9.如权利要求8所述的用于TOF模组的多径干扰校正系统，其中，所述数据合成模块包括相互可通信地连接的一仿真模型建立模块、一确定模块、一渲染模块以及一生成模块，其中所述仿真模型建立模块用于建立该带有多径干扰的光信号传播仿真模型；其中所述确定模块用于确定TOF模组的视角和参数；其中所述渲染模块用于通过基于光线跟踪的物理渲染系统，基于该TOF模组的视角和参数，跟踪渲染三维场景模型，以得到瞬态渲染数据；其中所述生成模块用于基于该瞬态渲染数据，通过该带有多径干扰的光信号传播仿真模型生成该带有多径干扰的TOF互相关图。
10.如权利要求9所述的用于TOF模组的多径干扰校正系统，其中，所述数据合成模块进一步包括相互可通信地连接的一预处理模块和一自适应调整模块，其中所述预处理模块用于对不同距离下该TOF模组的真实TOF互相关图进行预处理，以拟合出该TOF模组的噪声曲线；其中所述自适应调整模块用于根据该TOF模组的该噪声曲线，在该合成的带有多径干扰的TOF互相关图上加入自适应噪声，以使该合成的带有多径干扰的TOF互相关图带有该TOF的噪声。
11.如权利要求8至10中任一所述的用于TOF模组的多径干扰校正系统，其中，所述模型训练模块包括相互可通信地连接的一校正模型搭建模块和一校正模型训练模块，其中所述校正模型搭建模块用于搭建该多径干扰校正模型的深度学习框架，其中该多径干扰校正模型包括用于捕捉多径干扰误差特征分布的一生成模型和用于估计当前TOF深度图来自真实数据的概率的一判别模型；其中所述校正模型训练模块用于基于该合成的带有多径干扰的TOF互相关图集合和该真实的不带多径干扰的TOF深度图集合，通过反向传播算法和自适应矩估计算法来训练该多径干扰校正模型中的该生成模型和该判别模型。
12.如权利要求11所述的用于TOF模组的多径干扰校正系统，其中，所述校正模块包括相互可通信地连接的一系统误差校正模块和一多径干扰校正模块，其中所述系统误差校正模块用于对经由该TOF模组采集的该TOF数据进行系统误差校正，以得到校正系统误差后的TOF数据；其中所述多径干扰校正模块用于将该校正系统误差后的TOF数据输入该训练好的多径干扰模型中的该生成模型，以输出该TOF校正深度图。
13.电子设备，其特征在于，包括：
至少一处理器，用于执行指令；和
与所述至少一处理器可通信地连接的存储器，其中，所述存储器具有至少一指令，其中，所述指令被所述至少一处理器执行，以使得所述至少一处理器执行用于TOF模组的多径干扰校正方法中的部分或全部步骤，其中所述用于TOF模组的多径干扰校正方法包括步骤：
通过带有多径干扰的光信号传播仿真模型，合成带有多径干扰的TOF互相关图，以得到合成的带有多径干扰的TOF互相关图集合；
构建与该带有多径干扰的TOF互相关图一一对应的不带多径干扰的TOF深度图，以得到真实的不带多径干扰的TOF深度图集合；
基于该合成的带有多径干扰的TOF互相关图集合和该真实的不带多径干扰的TOF深度图集合，训练一多径干扰校正模型，以得到训练好的多径干扰校正模型；以及
通过该训练好的多径干扰校正模型，校正经由TOF模组采集的TOF数据，以获得TOF校正深度图。
14.电子设备，其特征在于，包括：
一TOF模组，用于采集TOF数据；和
一用于TOF模组的多径干扰校正系统，其中所述用于TOF模组的多径干扰校正系统被配置于所述TOF模组主体，用于校正经由所述TOF模组采集的该TOF数据，以获得TOF校正深度图，其中所述用于TOF模组的多径干扰校正系统包括依次可通信地连接的：
一数据合成模块，用于通过带有多径干扰的光信号传播仿真模型，合成带有多径干扰的TOF互相关图，以得到合成的带有多径干扰的TOF互相关图集合；
一数据构建模块，用于构建与该带有多径干扰的TOF互相关图一一对应的不带多径干扰的TOF深度图，以得到真实的不带多径干扰的TOF深度图集合；
一模型训练模块，用于基于该合成的带有多径干扰的TOF互相关图集合和该真实的不带多径干扰的TOF深度图集合，训练一多径干扰校正模型，以得到训练好的多径干扰校正模型；以及
一校正模块，用于通过该训练好的多径干扰校正模型，校正经由所述TOF模组采集的该TOF数据，以获得该TOF校正深度图。
CN201911327889.3A 2019-12-20 2019-12-20 用于tof模组的多径干扰校正方法及其系统和电子设备 Active CN113009508B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911327889.3A CN113009508B (zh) 2019-12-20 2019-12-20 用于tof模组的多径干扰校正方法及其系统和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911327889.3A CN113009508B (zh) 2019-12-20 2019-12-20 用于tof模组的多径干扰校正方法及其系统和电子设备

Publications (2)

Publication Number Publication Date
CN113009508A true CN113009508A (zh) 2021-06-22
CN113009508B CN113009508B (zh) 2023-11-07

Family

ID=76381787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911327889.3A Active CN113009508B (zh) 2019-12-20 2019-12-20 用于tof模组的多径干扰校正方法及其系统和电子设备

Country Status (1)

Country Link
CN (1) CN113009508B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436245A (zh) * 2021-08-26 2021-09-24 武汉市聚芯微电子有限责任公司 图像处理方法、模型训练方法、相关装置及电子设备
CN114184583A (zh) * 2021-11-09 2022-03-15 天津大学 高深宽比微结构深度一致性的光学测量与评估方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120033045A1 (en) * 2010-07-23 2012-02-09 Mesa Imaging Ag Multi-Path Compensation Using Multiple Modulation Frequencies in Time of Flight Sensor
US20150193938A1 (en) * 2014-01-06 2015-07-09 Microsoft Corporation Fast general multipath correction in time-of-flight imaging
CN107743638A (zh) * 2015-04-01 2018-02-27 Iee国际电子工程股份公司 用于对tof传感器图像进行实时运动伪影处理和去噪的方法和系统
US20180129973A1 (en) * 2016-03-13 2018-05-10 Microsoft Technology Licensing, Llc Depth from time-of-flight using machine learning
CN108053373A (zh) * 2017-12-05 2018-05-18 长沙全度影像科技有限公司 一种基于深度学习模型鱼眼图像校正方法
CN108961184A (zh) * 2018-06-28 2018-12-07 北京邮电大学 一种深度图像的校正方法、装置及设备
WO2019032428A1 (en) * 2017-08-09 2019-02-14 SWFL, Inc., d/b/a "Filament" SYSTEMS AND METHODS FOR PHYSICAL DETECTION USING RADIO FREQUENCY NOISE FLOOR SIGNALS AND DEEP LEARNING TECHNIQUES
US20190132573A1 (en) * 2017-10-31 2019-05-02 Sony Corporation Generating 3d depth map using parallax
US10318890B1 (en) * 2018-05-23 2019-06-11 Cognitive Systems Corp. Training data for a motion detection system using data from a sensor device
CN110211189A (zh) * 2019-05-21 2019-09-06 清华大学 ToF相机深度误差建模校正方法及装置
CN110458778A (zh) * 2019-08-08 2019-11-15 深圳市灵明光子科技有限公司 一种深度图像去噪方法、装置及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120033045A1 (en) * 2010-07-23 2012-02-09 Mesa Imaging Ag Multi-Path Compensation Using Multiple Modulation Frequencies in Time of Flight Sensor
US20150193938A1 (en) * 2014-01-06 2015-07-09 Microsoft Corporation Fast general multipath correction in time-of-flight imaging
CN107743638A (zh) * 2015-04-01 2018-02-27 Iee国际电子工程股份公司 用于对tof传感器图像进行实时运动伪影处理和去噪的方法和系统
US20180129973A1 (en) * 2016-03-13 2018-05-10 Microsoft Technology Licensing, Llc Depth from time-of-flight using machine learning
CN108885701A (zh) * 2016-03-13 2018-11-23 微软技术许可有限责任公司 使用机器学习的根据飞行时间的深度
WO2019032428A1 (en) * 2017-08-09 2019-02-14 SWFL, Inc., d/b/a "Filament" SYSTEMS AND METHODS FOR PHYSICAL DETECTION USING RADIO FREQUENCY NOISE FLOOR SIGNALS AND DEEP LEARNING TECHNIQUES
US20190132573A1 (en) * 2017-10-31 2019-05-02 Sony Corporation Generating 3d depth map using parallax
CN108053373A (zh) * 2017-12-05 2018-05-18 长沙全度影像科技有限公司 一种基于深度学习模型鱼眼图像校正方法
US10318890B1 (en) * 2018-05-23 2019-06-11 Cognitive Systems Corp. Training data for a motion detection system using data from a sensor device
CN108961184A (zh) * 2018-06-28 2018-12-07 北京邮电大学 一种深度图像的校正方法、装置及设备
CN110211189A (zh) * 2019-05-21 2019-09-06 清华大学 ToF相机深度误差建模校正方法及装置
CN110458778A (zh) * 2019-08-08 2019-11-15 深圳市灵明光子科技有限公司 一种深度图像去噪方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王亮 等: "抑制多径干扰的UWB SAR成像研究", 《信号处理》, no. 03, pages 403 - 406 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436245A (zh) * 2021-08-26 2021-09-24 武汉市聚芯微电子有限责任公司 图像处理方法、模型训练方法、相关装置及电子设备
CN114184583A (zh) * 2021-11-09 2022-03-15 天津大学 高深宽比微结构深度一致性的光学测量与评估方法
CN114184583B (zh) * 2021-11-09 2024-01-16 天津大学 高深宽比微结构深度一致性的光学测量与评估方法

Also Published As

Publication number Publication date
CN113009508B (zh) 2023-11-07

Similar Documents

Publication Publication Date Title
US10861225B2 (en) Neural network processing for multi-object 3D modeling
US10832432B2 (en) Method for training convolutional neural network to reconstruct an image and system for depth map generation from an image
US8660362B2 (en) Combined depth filtering and super resolution
US9846960B2 (en) Automated camera array calibration
US11386293B2 (en) Training image signal processors using intermediate loss functions
US10860841B2 (en) Facial expression image processing method and apparatus
US20220138977A1 (en) Two-stage depth estimation machine learning algorithm and spherical warping layer for equi-rectangular projection stereo matching
US10795022B2 (en) 3D depth map
CN113610172B (zh) 神经网络模型训练方法和装置、传感数据融合方法和装置
US20220019900A1 (en) Method and system for learning perturbation sets in machine learning
JP7411114B2 (ja) 空間幾何情報推定モデルの生成方法及び装置
CN113009508A (zh) 用于tof模组的多径干扰校正方法及其系统和电子设备
CN111524216A (zh) 生成三维人脸数据的方法和装置
US20190259175A1 (en) Detecting object pose using autoencoders
EP3992909A1 (en) Two-stage depth estimation machine learning algorithm and spherical warping layer for equi-rectangular projection stereo matching
EP4002205A1 (en) Method and apparatus with image recognition
WO2023086398A1 (en) 3d rendering networks based on refractive neural radiance fields
CN115344113A (zh) 多视角人体运动捕捉方法、装置、系统、介质及终端
US10896333B2 (en) Method and device for aiding the navigation of a vehicle
KR102551467B1 (ko) 깊이 맵 이미지 생성 방법 및 그를 위한 컴퓨팅 장치
KR102536096B1 (ko) 학습 데이터 생성 방법 및 그를 위한 컴퓨팅 장치
CN111553286B (zh) 用于捕捉耳朵动画特征的方法、电子设备
US20220335643A1 (en) Method for determining the orientation of a physical object in space
US11882262B2 (en) System and method for stereoscopic image analysis
CN114299302A (zh) 基于稀疏点的平面提取方法及其系统和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210622

Assignee: Zhejiang Shunwei Technology Co.,Ltd.

Assignor: SUNNY OPTICAL (ZHEJIANG) RESEARCH INSTITUTE Co.,Ltd.

Contract record no.: X2024330000055

Denomination of invention: Multipath interference correction method and its system and electronic devices for TOF modules

Granted publication date: 20231107

License type: Common License

Record date: 20240515