CN110686652B - 一种基于深度学习和结构光相结合的深度测量方法 - Google Patents

Abstract

本发明属于三维重建技术领域，公开了一种基于深度学习和结构光相结合的深度测量方法，包括：通过结构光视觉获得包裹形变相位；通过深度学习获得初始深度值；根据初始深度值获得第一相位补偿系数；根据包裹形变相位和第一相位补偿系数获得真实形变相位，对真实形变相位进行相位展开，获得测量深度值。本发明解决了现有技术中深度测量的精度较低的问题，能够有效提高测量精度。

Description

一种基于深度学习和结构光相结合的深度测量方法

技术领域

本发明涉及三维重建技术领域，尤其涉及一种基于深度学习和结构光相结合的深度测量方法。

背景技术

传统的二维成像技术已经不能满足现在人们的需要，由于图像是三维空间在光学系统的投影，仅仅实现图像层次的识别是不够的，计算机视觉的更高层次必然是准确的获得物体在三维空间中的形状、位置、姿态，通过三维重建技术实现物体在三维空间的检测、识别、追踪以及交互。现在，越来越多基于三维图像的技术不断涌现，为了获取真实的三维图像，通常要对场景或物体进行深度感知。

在一系列采集三维信息的技术中，结构光技术是一种理论完备且具有充分可行性深度感知技术，通常，结构光技术先将多个固定的正弦波模板对被测物体进行投影，该模板在物体表面会发生形变，再用相机采集形变图。最后通过计算模板在场景中显现出的形变或模板与图像上的点的对应关系，利用三角测量法精准地计算场景中深度。近年来，深度学习发展迅速，尤其在计算机视觉领域取得了很大进展，深度学习的方法也可以实现场景的深度估计，它通过设计复杂的多层卷积神经网络(CNN)结构，使用多样的网络结构以拟合图像和深度间的关系，通过完全的端到端的训练快速地实现对单幅图像的深度估计。

然而，上述两种深度感知技术都有他们的局限性。相位结构光技术存在相位包裹问题，其测量相位为真实相位除以2π取模的结果，而只有将包裹相位展开得到真实相位之后才能正确获得场景的深度值和三维信息。深度学习则面临着高效率的局部算法导致匹配效果较差的问题。

发明内容

本申请实施例通过提供一种基于深度学习和结构光相结合的深度测量方法，解决了现有技术中深度测量的精度较低的问题。

本申请实施例提供一种基于深度学习和结构光相结合的深度测量方法，包括：

通过结构光视觉获得包裹形变相位；

通过深度学习获得初始深度值；

根据所述初始深度值获得第一相位补偿系数；

根据所述包裹形变相位和所述第一相位补偿系数获得真实形变相位，对所述真实形变相位进行相位展开，获得测量深度值。

优选的，包括以下步骤：

S1、构建结构光系统，对所述结构光系统进行标定，获得参考相位

S2、将N幅同频等相位差的正弦光栅条纹图依次向被测物体投影，并通过相机采集，获得N幅形变图；

S3、根据N幅所述形变图，得到包裹相位

将所述包裹相位

与所述参考相位

进行比较，获得包裹形变相位

S4、基于步骤S2，对所述形变图进行正弦波影响消除处理，获得修正灰度图；

S5、基于步骤S4，通过卷积神经网络对所述修正灰度图进行深度估计，获得所述修正灰度图中每个像素点的初始深度值Z_(x,y)；

S6、基于步骤S5，根据所述初始深度值Z_(x,y)，获得第一相位补偿系数；

S7、基于步骤S3获得的所述包裹形变相位

以及步骤S6获得的所述第一相位补偿系数，计算得到真实形变相位

并根据所述真实形变相位

计算得到测量深度值。

优选的，步骤S1中，所述结构光系统包括：相机、投影仪、参考平面和被测物体；所述相机到所述投影仪之间的基线距离为d，所述相机到所述参考平面的深度为Z₀。

优选的，步骤S4中，所述正弦波影响消除处理具体为：将N幅所述形变图在同一像素位置的灰度值进行取均值处理。

优选的，步骤S5中，所述卷积神经网络具体采用自我监督单眼深度估计网络。

优选的，步骤S6的具体方式为：

S6.1、根据第一深度值Z₀和所述初始深度值Z_(x,y)，得到第二深度值ΔZ_(x,y)：

ΔZ_(x,y)＝Z₀-Z_(x,y) (1)

其中，所述第一深度值Z₀为所述结构光系统中的相机到参考平面的深度值，所述第二深度值ΔZ_(x,y)为深度网络初始估计的被测物体到参考平面的深度值；

S6.2、将所述第二深度值ΔZ_(x,y)作为引导，获得所述第一相位补偿系数；

其中，根据所述第一相位补偿系数计算出的被测物体到参考平面的深度值最接近所述第二深度值ΔZ_(x,y)。

优选的，步骤S6.2的具体计算方式为：

计算结果包括：L(m₀)＞L(m₁)＞L(m₂)＞…；

当L(m)取最小时，对应的m为所述第一相位补偿系数；

其中，h_(x,y)(m)为根据相位补偿系数m计算出的被测物体到参考平面的深度值，记为第三深度值；L(m)为所述第三深度值与所述第二深度值之间的误差值，L(m_i)为从大到小排序为第i+1位的误差值，f₀为正弦光栅条纹图的频率，d为所述结构光系统中的投影仪和相机之间的基线距离。

优选的，步骤S7中，所述真实形变相位

的具体计算方式为：

其中，公式(5)中的m为所述第一相位补偿系数。

优选的，步骤S7中，所述测量深度值的具体计算方式为：

其中，公式(6)中的h(x,y)为被测物体的表面一点p(x,y)相对于参考平面的测量深度值。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

在本申请实施例中，使用深度学习的方法进行深度估计，利用该深度值进一步引导求解最佳的相位补偿系数，解决相位解包裹的问题，最终测量得到准确的深度值。即本发明将结构光技术和深度学习相结合，由于用深度学习的方法预估出初始的深度值提供给相位解包裹，利用该预估的深度值进一步引导求解最佳的相位补偿系数，使深度测量结果更加准确。相对于现有的相位展开技术在测量精度和自动化程度等方面存在一定局限的问题；相对于现有的深度学习的深度估计方法存在的测量精度较低，特别是在被测物体边缘和有像素遮挡部分的情况下测量精度更低的问题，本发明能够有效提高测量精度。

附图说明

为了更清楚地说明本实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于深度学习和结构光相结合的深度测量方法的流程框图；

图2为本发明实施例提供的一种基于深度学习和结构光相结合的深度测量方法中三步相移正弦光栅条纹图；

图3为本发明实施例提供的一种基于深度学习和结构光相结合的深度测量方法中结构光系统的示意图。

具体实施方式

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

本实施例提供一种基于深度学习和结构光相结合的深度测量方法，使用两个分支分别处理，最后相互结合求解深度值，结构框图如图1所示。

具体的，包括分支一、分支二、结合部分。

分支一：对结构光系统进行标定得到参考相位，向被测物体投影多幅正弦光栅条纹图，并用相机采集，然后计算出包裹相位，并将包裹相位和参考相位进行比较，得到包裹形变相位。

分支二：使用深度估计网络对消除正弦波影响后的灰度图进行深度估计，得到每个像素点的初始深度值。

结合部分：对于每一个像素，利用估计的初始深度值进一步引导求解得到最佳的相位补偿系数m，即当计算的深度值与估计的初始深度值无限逼近时，m的取值即为求得的最佳的相位补偿系数，此时可准确地进行相位展开，解决相位解包裹的问题，最后根据真实的相位差值求解准确的深度值。

即本发明提供的一种基于深度学习和结构光相结合的深度测量方法，主要包括以下步骤：

S1、构建结构光系统，对所述结构光系统进行标定，获得参考相位

S2、将N幅同频等相位差的正弦光栅条纹图依次向被测物体投影，并通过相机进行采集，获得N幅形变图；

S3、根据N幅所述形变图，得到包裹相位

将所述包裹相位

与所述参考相位

进行比较，得到包裹形变相位

S4、基于步骤S2，对所述形变图进行正弦波影响消除处理，获得修正灰度图；

S5、基于步骤S4，通过卷积神经网络对所述修正灰度图进行深度估计，获得所述修正灰度图中每个像素点的初始深度值Z_(x,y)；

S6、基于步骤S5，根据所述初始深度值Z_(x,y)，获得第一相位补偿系数；

S7、基于步骤S3获得的所述包裹形变相位

以及步骤S6获得的所述第一相位补偿系数，计算得到真实形变相位

并根据所述真实形变相位

计算得到测量深度值。

本发明结合结构光测量技术以及深度学习深度估计的优势，同时互补两者的局限。对于现有的深度学习只能估计出物体大概的前后关系，是一个不太精准的深度值，本发明将该深度值作为引导信息来求解相位补偿系数，帮助完成相位解包裹，进而实现高精度的深度测量。

下面结合具体的实施例对本发明做进一步的说明。

参看图1-图3，本实施例提供一种基于深度学习和结构光相结合的深度测量方法，包括以下步骤：

(1)构建结构光系统，对所述结构光系统进行标定，得到参考相位

其中，所述结构光系统包括：相机、投影仪、参考平面和被量物体。其中，相机到投影仪之间的基线距离为d，相机到参考平面的深度为Z₀。对所述结构光系统进行标定采用现有技术即可，(例如采用张氏标定法)，参看图3。

(2)通过投影仪将三幅同频等相位差的正弦光栅条纹图向被测物体进行投影(正弦光栅条纹图如图2所示)，并通过相机进行采集，获得被测物体调制后的三幅形变图。

(3)使用三步相移法，计算得到包裹相位

所述包裹相位

在-π到π之间周期变化。将所述包裹相位

与所述参考相位

作减法运算，得到包裹形变相位

(4)基于(2)，针对同一像素位置，将采集到的三幅形变图在此像素位置的灰度值进行取均值处理，以消除正弦波的影响；每个像素点都类似操作后，获得修正灰度图，即得到一幅恢复的灰度图。

需要说明的是，除了上述提供的通过取均值来消除正弦波影响的方法外，还可以将形变图转换到频域滤波或使用卷积神经网络消除正弦波影响。

(5)基于(4)，卷积神经网络具体选用自我监督单眼深度估计网络(Self-Supervised Monocular Depth Estimation Net)对所述修正灰度图进行深度估计，得到所述修正灰度图中每个像素点的初始深度值Z_(x,y)。

(6)基于(5)，已知深度网络估计的初始深度值Z_(x,y)，且已知相机到参考平面的深度值Z₀(记为第一深度值)，则深度网络初始估计的被测物体到参考平面的深度值ΔZ_(x,y)(记为第二深度值)为：

ΔZ_(x,y)＝Z₀-Z_(x,y) (1)

将第二深度值ΔZ_(x,y)作为引导，求解第一相位补偿系数(即最佳的相位补偿系数m)。

即已知深度网络初始估计的被测物体到参考平面的深度值ΔZ_(x,y)，目标是求解相位补偿系数m取何值时计算出的深度值最接近第二深度值ΔZ_(x,y)。其数学描述为：

亦即，有如下结果：L(m₀)＞L(m₁)＞L(m₂)＞…

当L(m)取最小时，对应的m即为所求得的最佳的相位补偿系数，即第一相位补偿系数。

其中，h_(x,y)(m)为根据相位补偿系数m计算出的被测物体到参考平面的深度值，记为第三深度值；L(m)为所述第三深度值与所述第二深度值之间的误差值，L(m_i)为从大到小排序为第i+1位的误差值，f₀为正弦光栅条纹图的频率，d为结构光系统中投影仪和相机之间的基线距离。

(7)基于(3)(6)，已知每个像素点的包裹形变相位

以及第一相位补偿系数m，计算得到真实形变相位

为：

进而，计算真实形变相位

对应的深度值为：

此时，h(x,y)为被测物体的表面一点p(x,y)相对于参考平面的最终深度，即将公式(5)求得的最佳的相位补偿系数m带入深度计算公式求得的深度。

综上，本发明采用一种新的相位解包裹的方法，将求解相位补偿系数转化为一种回归问题。具体来说，通过深度神经网络对采集模板进行粗糙的深度值估计，该初始深度值进一步用于引导求解最佳的相位补偿系数，以准确地进行相位展开，解决相位解包裹的问题，最终测量得到准确的深度值。本发明结合了深度学习深度估计和结构光深度测量的优点，可大幅提升深度测量的精度和速度。

本发明实施例提供的一种基于深度学习和结构光相结合的深度测量方法至少包括如下技术效果：

(1)由于用深度学习的方法预估出粗略的深度值提供给相位解包裹，可降低相位解包裹的工作量，可提高测量精确度。

(2)结构光技术和深度学习相结合，利用该预估的深度值进一步引导求解最佳的相位补偿系数，使深度测量结果更加准确。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于深度学习和结构光相结合的深度测量方法，其特征在于，包括：

通过结构光视觉获得包裹形变相位；

通过深度学习获得初始深度值；

根据所述初始深度值获得第一相位补偿系数；

根据所述包裹形变相位和所述第一相位补偿系数获得真实形变相位，对所述真实形变相位进行相位展开，获得测量深度值；

包括以下步骤：

S1、构建结构光系统，对所述结构光系统进行标定，获得参考相位

S2、将N幅同频等相位差的正弦光栅条纹图依次向被测物体投影，并通过相机采集，获得N幅形变图；

S3、根据N幅所述形变图，得到包裹相位

将所述包裹相位

与所述参考相位

进行比较，获得包裹形变相位

S4、基于步骤S2，对所述形变图进行正弦波影响消除处理，获得修正灰度图；

S5、基于步骤S4，通过卷积神经网络对所述修正灰度图进行深度估计，获得所述修正灰度图中每个像素点的初始深度值Z_(x,y)；

S6、基于步骤S5，根据所述初始深度值Z_(x,y)，获得第一相位补偿系数；

S7、基于步骤S3获得的所述包裹形变相位

以及步骤S6获得的所述第一相位补偿系数，计算得到真实形变相位

并根据所述真实形变相位

计算得到测量深度值。

2.根据权利要求1所述的基于深度学习和结构光相结合的深度测量方法，其特征在于，步骤S1中，所述结构光系统包括：相机、投影仪、参考平面和被测物体；所述相机到所述投影仪之间的基线距离为d，所述相机到所述参考平面的深度为Z₀。

3.根据权利要求1所述的基于深度学习和结构光相结合的深度测量方法，其特征在于，步骤S4中，所述正弦波影响消除处理具体为：将N幅所述形变图在同一像素位置的灰度值进行取均值处理。

4.根据权利要求1所述的基于深度学习和结构光相结合的深度测量方法，其特征在于，步骤S5中，所述卷积神经网络具体采用自我监督单眼深度估计网络。

5.根据权利要求1所述的基于深度学习和结构光相结合的深度测量方法，其特征在于，步骤S6的具体方式为：

S6.1、根据第一深度值Z₀和所述初始深度值Z_(x,y)，得到第二深度值ΔZ_(x,y)：

ΔZ_(x,y)＝Z₀-Z_(x,y) (1)

其中，所述第一深度值Z₀为所述结构光系统中的相机到参考平面的深度值，所述第二深度值ΔZ_(x,y)为深度网络初始估计的被测物体到参考平面的深度值；

S6.2、将所述第二深度值ΔZ_(x,y)作为引导，获得所述第一相位补偿系数；

其中，根据所述第一相位补偿系数计算出的被测物体到参考平面的深度值最接近所述第二深度值ΔZ_(x,y)。

6.根据权利要求5所述的基于深度学习和结构光相结合的深度测量方法，其特征在于，步骤S6.2的具体计算方式为：

计算结果包括：L(m₀)＞L(m₁)＞L(m₂)＞…；

当L(m)取最小时，对应的m为所述第一相位补偿系数；

其中，h_(x,y)(m)为根据相位补偿系数m计算出的被测物体到参考平面的深度值，记为第三深度值；L(m)为所述第三深度值与所述第二深度值之间的误差值，L(m_i)为从大到小排序为第i+1位的误差值，f₀为正弦光栅条纹图的频率，d为所述结构光系统中的投影仪和相机之间的基线距离。

7.根据权利要求6所述的基于深度学习和结构光相结合的深度测量方法，其特征在于，步骤S7中，所述真实形变相位

的具体计算方式为：

其中，公式(5)中的m为所述第一相位补偿系数。

8.根据权利要求7所述的基于深度学习和结构光相结合的深度测量方法，其特征在于，步骤S7中，所述测量深度值的具体计算方式为：

其中，公式(6)中的h(x,y)为被测物体的表面一点p(x,y)相对于参考平面的测量深度值。

Images