CN111710024A - 一种基于多频率多光照消除ToF相机中多径干扰的方法 - Google Patents

一种基于多频率多光照消除ToF相机中多径干扰的方法 Download PDF

Info

Publication number
CN111710024A
CN111710024A CN202010209861.6A CN202010209861A CN111710024A CN 111710024 A CN111710024 A CN 111710024A CN 202010209861 A CN202010209861 A CN 202010209861A CN 111710024 A CN111710024 A CN 111710024A
Authority
CN
China
Prior art keywords
frequency
illumination
direct path
signal
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010209861.6A
Other languages
English (en)
Inventor
王俊
刘佩林
邹耀
应忍冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Data Miracle Intelligent Technology Co ltd
Original Assignee
Shanghai Data Miracle Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Data Miracle Intelligent Technology Co ltd filed Critical Shanghai Data Miracle Intelligent Technology Co ltd
Priority to CN202010209861.6A priority Critical patent/CN111710024A/zh
Publication of CN111710024A publication Critical patent/CN111710024A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于多频率多光照消除ToF相机中多径干扰的方法，包括如下步骤：S1：获取多频多光照的深度图像和幅值图像；S2：预处理，用复信号表示幅值和深度信号；S3：构建多样性信号的信号子空间和噪声子空间；S4：计算得到直达径对应的深度值；S5：基于最小二乘法计算得到直达径对应的幅值；本申请通过多频多光照获取多样性信号，利用特征子空间的方法分析这些信号的噪声子空间，根据MUSIC算法求解直达径信号，恢复真实深度，在有噪声的情况下具有高精度和高鲁棒性。

Description

一种基于多频率多光照消除ToF相机中多径干扰的方法
技术领域
本发明涉及3D成像技术技术领域，具体为一种基于多频率多光照消除ToF相机中多径干扰的方法。
背景技术
3D成像技术是近年来逐渐火热的研究方向之一，3D相机也在许多领域得到了应用，比如手势识别、机器人等。其中，ToF相机由于其工作原理简单、测量范围广等优点，在众多3D相机中脱颖而出。ToF相机的传感器发出调制后的红外光，接收来自物体的反射光，通过计算入射光与反射光的相位差得到目标物体的距离。理想情况下ToF假设来自物体的反射光仅仅是一次反射回来的。实际场景中，来自物体的反射光不仅由多路径信号组成，不仅包括一次反射光，还有来自场景中其他物体的反射光。多径信号会干扰ToF测得的相位值和幅值，导致深度测量误差。
目前已有的多径抑制方案中，有基于深度学习的方法，也有基于谱估计的方法，基于深度学习的方法是把多径抑制问题看做图像视觉任务，直接从图像表面特征处理。该方法依赖大量的训练数据和真值，训练数据量不够会导致过拟合。含有多径的训练数据和真值都很难获取。基于多频的方法则是根据获取的幅值和相位值构建模型。现有的多频方法要么是转成谱估计问题，要么是稀疏优化问题。但是都存在两个问题，频率数要足够多，并且在有噪声情况下效果不鲁棒。
发明内容
本发明的目的在于提供一种基于多频率多光照消除ToF相机中多径干扰的方法，该方法通过多频多光照获取多样性信号，利用特征子空间的方法分析这些信号的噪声子空间，根据MUSIC算法求解直达径信号，恢复真实深度，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于多频率多光照消除ToF相机中多径干扰的方法，包括如下步骤：
S1：获取多频多光照的深度图像和幅值图像；
S2：预处理，用复信号表示幅值和深度信号；
S3：构建多样性信号的信号子空间和噪声子空间；
S4：计算得到直达径对应的深度值；
S5：基于最小二乘法计算得到直达径对应的幅值。
优选的，步骤S1中，获取多频多光照的深度图像和幅值图像，包括以下子步骤：
S11：通过改变SDK中调制频率，获取多频率的深度图像和幅值图像，调制频率分别为f1,f2,f3；
S12：ToF相机中设定有四个固有的照明灯，通过随机选取任意数量的灯开启，获取不同光照模式下的深度图像和幅值图像。
优选的，步骤S2中，用复信号表示幅值和深度信号，包括以下子步骤：
S21：确定每帧图像的每一个像素点的两个属性，包括深度d属性和幅值a属性；
S22：根据ToF原理，确定每个像素点对应的相位，相位计算公式为：
Figure BDA0002422443660000021
其中f是调制频率，c是光速；
S23：根据步骤S22，将每一个像素点的两个属性值用一个复信号s表示，所述复信号s为：s＝aejkd；其中k是一个常系数；
S24：由于每一个像素点的信号都是由直达径、多径、环境噪声组成；根据步骤S23，将复信号s采用如下公式表述：
Figure BDA0002422443660000022
其中，ω1对应频率f1下直达径对应的相位，ω2对应频率f1下多径对应相位，n对应频率与f1的比值。
优选的，步骤S3中，构建多样性信号的信号子空间和噪声子空间，包括以下子步骤：
S31：根据步骤S2，确定多样性接收信号U，所述多样性接收信号U为：U＝[u1,u2,...,uK]；其中，K对应不同光照的数量；
S32：根据步骤S24，每一个接收信号分量包含3个频率的测量值，ui＝aiv(ω1)+biv(ω2)，
Figure BDA0002422443660000031
S33：根据步骤S31，计算得到多样性接收信号U的协方差矩阵R为：R＝U·UT；
S34：根据步骤S33，对协方差矩阵R做奇异值分解，得到特征值矩阵和特征向量矩阵，R表示为：R＝E·D·VT；
S35：对特征值矩阵D中的特征值按由大到小的顺序排列，最大的两个特征值对应的特征向量组成信号子空间，剩余特征向量组成噪声子空间。
优选的，步骤S4中，根据噪声子空间计算得到直达径的深度值，包括以下子步骤：
S41：根据噪声子空间的特征，直达径对应的信号向量和噪声子空间Q2平行；
S42：根据步骤S41，信号向量和噪声子空间对应的分量内积最大，即求解如下表达式
Figure BDA0002422443660000032
最小的两个ω分别对应直达径和多径；
S43：根据步骤S42和步骤S24，即恢复出直达径和多径对应的深度值。
优选的，步骤S5中，利用最小二乘法计算直达径和多径对应的幅值的方法为：根据步骤S4和步骤S3，ui＝aiv(ω1)+biv(ω2)，其中u,ω1,ω2已知，改写成矩阵形式，利用最小二乘法求解下列方程：
Figure BDA0002422443660000041
即可得出直达径对应的幅值。
与现有技术相比，本发明的有益效果是：
本发明提供一种基于多频率多光照消除ToF相机中多径干扰的方法，本申请利用多个频率的测量数据，通过改变光照模式获取多样信号，利用特征子空间的方法求解直达径信号，在有噪声的情况下具有高精度和高鲁棒性。相比较于基于深度学习的方法，本发明不依赖大量的训练数据和真值，对任意来源的多径都适用；而相比较于其他基于多频率的方法，本发明所需频率数更少，降低了硬件的实现难度，此外，其他方法在噪声场景下效果不够鲁棒，本发明提出的方法对噪声场景也适用。
附图说明
图1为本发明实施例流程框架结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：
一种基于多频率多光照消除ToF相机中多径干扰的方法，包括如下步骤：
S1：获取多频多光照的深度图像和幅值图像；
S2：预处理，用复信号表示幅值和深度信号；
S3：构建多样性信号的信号子空间和噪声子空间；
S4：计算得到直达径对应的深度值；
S5：基于最小二乘法计算得到直达径对应的幅值。
优选的，步骤S1中，获取多频多光照的深度图像和幅值图像，包括以下子步骤：
S11：通过改变SDK中调制频率，获取多频率的深度图像和幅值图像，调制频率分别为f1,f2,f3；
S12：ToF相机中设定有四个固有的照明灯，通过随机选取任意数量的灯开启，获取不同光照模式下的深度图像和幅值图像。
具体的：步骤S2中，用复信号表示幅值和深度信号，包括以下子步骤：
S21：确定每帧图像的每一个像素点的两个属性，包括深度d属性和幅值a属性；
S22：根据ToF原理，确定每个像素点对应的相位，相位计算公式为：
Figure BDA0002422443660000051
其中f是调制频率，c是光速；
S23：根据步骤S22，将每一个像素点的两个属性值用一个复信号s表示，所述复信号s为：s＝aejkd；其中k是一个常系数；
S24：由于每一个像素点的信号都是由直达径、多径、环境噪声组成；根据步骤S23，将复信号s采用如下公式表述：
Figure BDA0002422443660000052
其中，ω1对应频率f1下直达径对应的相位，ω2对应频率f1下多径对应相位，n对应频率与f1的比值。
步骤S3中，构建多样性信号的信号子空间和噪声子空间，包括以下子步骤：
S31：根据步骤S2，确定多样性接收信号U，所述多样性接收信号U为：U＝[u1,u2,...,uK]；其中，K对应不同光照的数量；
S32：根据步骤S24，每一个接收信号分量包含3个频率的测量值，ui＝aiv(ω1)+biv(ω2)，
Figure BDA0002422443660000061
S33：根据步骤S31，计算得到多样性接收信号U的协方差矩阵R为：R＝U·UT；
S34：根据步骤S33，对协方差矩阵R做奇异值分解，得到特征值矩阵和特征向量矩阵，R表示为：R＝E·D·VT；
S35：对特征值矩阵D中的特征值按由大到小的顺序排列，最大的两个特征值对应的特征向量组成信号子空间，剩余特征向量组成噪声子空间。
步骤S4中，根据噪声子空间计算得到直达径的深度值，包括以下子步骤：
S41：根据噪声子空间的特征，直达径对应的信号向量和噪声子空间Q2平行；
S42：根据步骤S41，信号向量和噪声子空间对应的分量内积最大，即求解如下表达式
Figure BDA0002422443660000062
最小的两个ω分别对应直达径和多径；
S43：根据步骤S42和步骤S24，即恢复出直达径和多径对应的深度值。
步骤S5中，利用最小二乘法计算直达径和多径对应的幅值的方法为：根据步骤S4和步骤S3，ui＝aiv(ω1)+biv(ω2)，其中u,ω1,ω2已知，改写成矩阵形式，利用最小二乘法求解下列方程：
Figure BDA0002422443660000071
即可得出直达径对应的幅值。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于多频率多光照消除ToF相机中多径干扰的方法，其特征在于：包括如下步骤：
S1：获取多频多光照的深度图像和幅值图像；
S2：预处理，用复信号表示幅值和深度信号；
S3：构建多样性信号的信号子空间和噪声子空间；
S4：计算得到直达径对应的深度值；
S5：基于最小二乘法计算得到直达径对应的幅值。
2.根据权利要求1所述的一种基于多频率多光照消除ToF相机中多径干扰的方法，其特征在于：步骤S1中，获取多频多光照的深度图像和幅值图像，包括以下子步骤：
S11：通过改变SDK中调制频率，获取多频率的深度图像和幅值图像，调制频率分别为f1,f2,f3；
S12：ToF相机中设定有四个固有的照明灯，通过随机选取任意数量的灯开启，获取不同光照模式下的深度图像和幅值图像。
3.根据权利要求1所述的一种基于多频率多光照消除ToF相机中多径干扰的方法，其特征在于：步骤S2中，用复信号表示幅值和深度信号，包括以下子步骤：
S21：确定每帧图像的每一个像素点的两个属性，包括深度d属性和幅值a属性；
S22：根据ToF原理，确定每个像素点对应的相位，相位计算公式为：
Figure RE-FDA0002635649570000011
其中f是调制频率，c是光速；
S23：根据步骤S22，将每一个像素点的两个属性值用一个复信号s表示，所述复信号s为：s＝aejkd；其中k是一个常系数；
S24：由于每一个像素点的信号都是由直达径、多径、环境噪声组成；根据步骤S23，将复信号s采用如下公式表述：
Figure RE-FDA0002635649570000021
其中，ω1对应频率f1下直达径对应的相位，ω2对应频率f1下多径对应相位，n对应频率与f1的比值。
4.根据权利要求3所述的一种基于多频率多光照消除ToF相机中多径干扰的方法，其特征在于：步骤S3中，构建多样性信号的信号子空间和噪声子空间，包括以下子步骤：
S31：根据步骤S2，确定多样性接收信号U，所述多样性接收信号U为：U＝[u1,u2,...,uK]；其中，K对应不同光照的数量；
S32：根据步骤S24，每一个接收信号分量包含3个频率的测量值，ui＝aiv(ω1)+biv(ω2)，
Figure RE-FDA0002635649570000022
S33：根据步骤S31，计算得到多样性接收信号U的协方差矩阵R为：R＝U·UT；
S34：根据步骤S33，对协方差矩阵R做奇异值分解，得到特征值矩阵和特征向量矩阵，R表示为：R＝E·D·VT；
S35：对特征值矩阵D中的特征值按由大到小的顺序排列，最大的两个特征值对应的特征向量组成信号子空间，剩余特征向量组成噪声子空间。
5.根据权利要求4所述的一种基于多频率多光照消除ToF相机中多径干扰的方法，其特征在于：步骤S4中，根据噪声子空间计算得到直达径的深度值，包括以下子步骤：
S41：根据噪声子空间的特征，直达径对应的信号向量和噪声子空间Q2平行；
S42：根据步骤S41，信号向量和噪声子空间对应的分量内积最大，即求解如下表达式
Figure RE-FDA0002635649570000031
最小的两个ω分别对应直达径和多径；
S43：根据步骤S42和步骤S24，即恢复出直达径和多径对应的深度值。
6.根据权利要求4所述的一种基于多频率多光照消除ToF相机中多径干扰的方法，其特征在于：步骤S5中，利用最小二乘法计算直达径和多径对应的幅值的方法为：根据步骤S4和步骤S3，ui＝aiv(ω1)+biv(ω2)，其中u,ω1,ω2已知，改写成矩阵形式，利用最小二乘法求解下列方程：
Figure RE-FDA0002635649570000032
即可得出直达径对应的幅值。
CN202010209861.6A 2020-03-23 2020-03-23 一种基于多频率多光照消除ToF相机中多径干扰的方法 Pending CN111710024A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010209861.6A CN111710024A (zh) 2020-03-23 2020-03-23 一种基于多频率多光照消除ToF相机中多径干扰的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010209861.6A CN111710024A (zh) 2020-03-23 2020-03-23 一种基于多频率多光照消除ToF相机中多径干扰的方法

Publications (1)

Publication Number Publication Date
CN111710024A true CN111710024A (zh) 2020-09-25

Family

ID=72536571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010209861.6A Pending CN111710024A (zh) 2020-03-23 2020-03-23 一种基于多频率多光照消除ToF相机中多径干扰的方法

Country Status (1)

Country Link
CN (1) CN111710024A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113945951A (zh) * 2021-10-21 2022-01-18 浙江大学 Tof深度解算中的多径干扰抑制方法、tof深度解算方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2487504A1 (en) * 2011-02-10 2012-08-15 Technische Universität München Method of enhanced depth image acquisition
US20140340569A1 (en) * 2013-05-17 2014-11-20 Massachusetts Institute Of Technology Methods and apparatus for multi-frequency camera
US20150193938A1 (en) * 2014-01-06 2015-07-09 Microsoft Corporation Fast general multipath correction in time-of-flight imaging
CN107743638A (zh) * 2015-04-01 2018-02-27 Iee国际电子工程股份公司 用于对tof传感器图像进行实时运动伪影处理和去噪的方法和系统
CN108519588A (zh) * 2018-04-12 2018-09-11 视缘(上海)智能科技有限公司 一种多频相位解缠方法及装置
CN110688763A (zh) * 2019-10-08 2020-01-14 北京工业大学 一种基于脉冲型ToF相机深度和光强图像的多径效应补偿方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2487504A1 (en) * 2011-02-10 2012-08-15 Technische Universität München Method of enhanced depth image acquisition
US20140340569A1 (en) * 2013-05-17 2014-11-20 Massachusetts Institute Of Technology Methods and apparatus for multi-frequency camera
US20150193938A1 (en) * 2014-01-06 2015-07-09 Microsoft Corporation Fast general multipath correction in time-of-flight imaging
CN107743638A (zh) * 2015-04-01 2018-02-27 Iee国际电子工程股份公司 用于对tof传感器图像进行实时运动伪影处理和去噪的方法和系统
CN108519588A (zh) * 2018-04-12 2018-09-11 视缘(上海)智能科技有限公司 一种多频相位解缠方法及装置
CN110688763A (zh) * 2019-10-08 2020-01-14 北京工业大学 一种基于脉冲型ToF相机深度和光强图像的多径效应补偿方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张君俊;杨洪耕;: "间谐波参数估计的TLS-ESPRIT算法" *
潘华东;王其聪;谢斌;许世芳;刘济林;: "飞行时间法三维成像摄像机数据处理方法研究" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113945951A (zh) * 2021-10-21 2022-01-18 浙江大学 Tof深度解算中的多径干扰抑制方法、tof深度解算方法及装置
CN113945951B (zh) * 2021-10-21 2022-07-08 浙江大学 Tof深度解算中的多径干扰抑制方法、tof深度解算方法及装置

Similar Documents

Publication Publication Date Title
US9805294B2 (en) Method for denoising time-of-flight range images
CN104200236B (zh) 基于dpm的快速目标检测方法
Nalpantidis et al. Stereo vision for robotic applications in the presence of non-ideal lighting conditions
Kusakunniran et al. Cross-view and multi-view gait recognitions based on view transformation model using multi-layer perceptron
CN106709943B (zh) 一种基于最优传输的点云配准方法
CN105205858A (zh) 一种基于单个深度视觉传感器的室内场景三维重建方法
CN108765476A (zh) 一种偏振图像配准方法
CN111222472B (zh) 一种基于结构光频域特征的人脸识别方法
CN110688763A (zh) 一种基于脉冲型ToF相机深度和光强图像的多径效应补偿方法
CN103295221B (zh) 模拟复眼视觉机制和偏振成像的水面目标运动检测方法
CN102866260A (zh) 非接触式河流表面流场成像量测方法
CN101295401A (zh) 基于线性pca的红外点目标检测方法
CN111710024A (zh) 一种基于多频率多光照消除ToF相机中多径干扰的方法
CN103364833A (zh) 一种高精度地层倾角估计方法
Fang et al. Study of the depth accuracy and entropy characteristics of a ToF camera with coupled noise
Parvatikar et al. Comparative study of different image fusion techniques
US20230273357A1 (en) Device and method for image processing
CN111965645A (zh) 一种顾及几何约束的多基线植被高度反演方法及装置
Stewart et al. Image-to-height domain translation for synthetic aperture sonar
Vaida et al. Automatic extrinsic calibration of LIDAR and monocular camera images
Sytnik et al. Technical vision model of the visual systems for industry application
CN107038706A (zh) 基于自适应网格的红外图像置信度评估装置及方法
Ricardez et al. Reflectance Estimation for Pre-grasping Distance Measurement using RGB and Proximity Sensing
Katsuyama et al. Deep learning based concealed object recognition in active millimeter wave imaging
US20230172466A1 (en) A Camera-Augmented FMCW Radar System for Cardiopulmonary System Monitoring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination