CN109945802B - 一种结构光三维测量方法 - Google Patents

Abstract

本发明公开了一种结构光三维测量方法，属于计算机视觉技术领域；方法包括：步骤S1，采用深度预测模型对目标物体的表面形成的第一变化图像进行预测，得到目标物体的深度图像；步骤S2，根据不同相移的第二变化图像，计算每一点的主值相位，并利用深度图像，对第二变化图像中每一点的主值相位进行相位展开处理，以得到连续相位场的分布图；步骤S3，采用标定的系统参数对连续相位场的分布图进行处理，以得到得到目标物体的表面每一个三维点的坐标，从而实现对目标物体的三维测量。上述技术方案的有益效果是：能够减少投射图像的数量，提高空间编码的效率和质量，最终获得高精度的三维测量结果。

Description

一种结构光三维测量方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种结构光三维测量方法。

背景技术

结构光三维测量是一种主动式光学三维测量技术，其采用投影装置向被测物体投射经调制或者编码的光学图案(即结构光图案)，同时相机拍摄经被测物体表面调制而发生变形的结构光图案，随后从这些携带有被测物体表面三维信息的图像中计算出被测物体表面点的三维坐标。相比于双目视觉法以及飞行时间法(Time of Flight，ToF)等三维测量方法，结构光三维测量具有全场扫描、高测量速度、高分辨率和高精度等显著优势，可广泛应用在工业检测、3D打印、逆向工程、文物保护、医学、三维物体识别、虚拟穿戴、娱乐等在内的众多领域。得益于DLP(Digital Light Processing，DLP)技术的发展，使得结构光图案可以通过计算机编程灵活选择，最大限度的满足测量精度和测量速度的要求。因此，结构光三维测量方法逐渐成为物体三维测量的主流方式。

在结构光三维测量中，根据编码策略可以分为时间编码、空间编码和直接编码，而根据结构光图案类型又可以分为光栅条纹图案、二值编码图案、空间编码图案以及伪随机图案等测量方式。其中光栅条纹图案由于测量精度高以及速度快等优点，是目前普遍采用的结构光三维测量技术。

采用光栅条纹图案进行结构光三维测量的基本思想是投射具有周期性的光栅条纹，经目标表面形状调制而产生相应的相位变化，通过求取变形光栅条纹的相位并结合标定的系统参数从而求取物体表明的三维信息。代表性的计算方法有傅里叶轮廓术(FTP，Fourier Transform Profilometry)和相位轮廓术(Phase Measurement Profilometry，PMP)等方法。

其中，相位场的计算是PMP计算方法的关键，相移法是通过采集多帧有一定相移的光栅条纹图案来计算包含被测物体表面三维信息的相位场，在相移法中往往得到的是相位主值，与真实值还相差一个2kπ，因此需要解相位(Phase Unwrapping)从而得到快速连续的相位场分布。解相位是PMP中关键技术问题之一，直接影响着相移法测量的精度和速度。通常来说，直接在相位主值图上进行解相位是非常耗时的，其通过在相位主值图上检测2π跳变来解相位，但是这种解相位方法不能处理非常复杂或者是不连续的物理表面。与此相对应的是时间解相位方法，其通过投射不同的条纹图案来确定整个相位场中各像素所处的条纹级数，但是这种方法虽然对复杂物体表面的解相位效果较好，但是需要增加额外的投射图案，从而降低了处理速度。并且，常见的解相位方法是采用Gray二值编码图案，其缺点是解相位依赖于图像二值化的准确性。综上，提高解相位的速度和质量是提高相移法三维高精度测量的关键。

发明内容

根据现有技术中存在的上述区别技术特征，现提供一种结构光三维测量方法的技术方案，旨在减少投射图像的数量，提高空间编码的效率和质量，最终获得高精度的三维测量结果。

上述技术方案具体包括：

一种结构光三维测量方法，采用投影装置先后将伪随机图案和具有不同初始相位的标准余弦分布的光栅条纹图案投射到目标物体的表面，随后采用相机装置记录所述目标物体的表面经投射形成的图像；其中，会预先训练形成一深度预测模型，所述深度预测模型的输入数据为投射所述伪随机图像后在所述目标物体的表面形成的一第一变化图像，输出数据为预测得到的所述目标物体的深度图像；

所述光栅条纹图案投射到所述目标物体的表面并形成对应的第二变化图像；

所述结构光三维测量方法具体包括：

步骤S1，采用所述深度预测模型对所述目标物体的表面形成的所述第一变化图像进行预测，得到所述目标物体的所述深度图像；

步骤S2，根据不同相移的所述第二变化图像，计算每一点的主值相位，并利用所述深度图像，对所述第二变化图像中每一点的主值相位进行相位展开处理，以得到连续相位场的分布图；

步骤S3，采用标定的系统参数对所述连续相位场的分布图进行处理，以得到所述得到目标物体的表面每一个三维点的坐标，从而实现对所述目标物体的三维测量。

优选的，该结构光三维测量方法，其中，所述步骤S2具体包括：

步骤S21，根据所述第一变化图像中得到的每一点的初始点云坐标以及所述深度图像分别处理得到每一点的空间点坐标；

步骤S22，根据所述空间点坐标分别处理得到每一点的相位初值；

步骤S23，根据每一点的所述相位初值分别处理得到每一点的条纹级数；

步骤S24，根据每一点的条纹级数对每一点上根据所述第二变化图像计算得到的所述主值相位进行相位展开，以得到所述连续相位场的分布图。

优选的，该结构光三维测量方法，其中，所述步骤S21中，根据所述第一变化图像中每一点的所述初始点云坐标以及所述深度图像，采用双线性插值方法分别处理得到每一点的所述空间点坐标。

优选的，该结构光三维测量方法，其中，所述步骤S22具体包括：

步骤S221，根据所述空间点坐标得到对应点在在投影平面上的投影坐标系中的投影点坐标；

步骤S222，根据所述投影点坐标处理得到对应点的所述相位。

优选的，该结构光三维测量方法，其中，所述深度预测模型采用卷积神经网络结构实现。

优选的，该结构光三维测量方法，其中，所述深度预测模型采用Encode-Decode形的全卷积神经网络结构实现。

优选的，该结构光三维测量方法，其中，所述深度预测模型中的损失函数采用下述函数实现：

其中，

y_ij用于表示所述深度图像的真实值；

用于表示所述深度图像的预测值；

在每次梯度下降时，

优选的，该结构光三维测量方法，其中，在系统离线的状态下，分别生成用于训练形成所述深度预测模型的训练数据，以及训练形成所述深度预测模型。

上述技术方案的有益效果是：提供一种结构光三维测量方法，能够减少投射图像的数量，提高空间编码的效率和质量，最终获得高精度的三维测量结果。

附图说明

图1是结构光三维测量方法中，测量系统的几何模型示意图；

图2是本发明的较佳的实施例中，一种结构光三维测量方法的总体流程示意图；

图3是本发明的较佳的实施例中，于图2的基础上，处理得到连续相位场分布的流程示意图；

图4是本发明的较佳的实施例中，于图3的基础上，处理得到每一点的相位的流程示意图；

图5是本发明的一个实施例中，深度预测模型的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

基于现有技术中存在的上述问题，现提供一种结构光三维测量方法，该测量方法中，采用投影装置先后将伪随机图案和具有标准余弦分布的光栅条纹图案投射到目标物体的表面，随后利用相机装置记录目标物体的表面经投射形成的图像，其系统几何模型如图1中所示，其中照相装置的坐标系(也就是图像坐标系)为O_cx_cy_cz_c，成像平面为n*m的平面，世界坐标系为Oxyz，P点为世界坐标系中目标物体表面的某一点，P₁为点P在Oxyz坐标系中的X轴平面上的投影点，P₂为点P在Oxyz坐标系中的Y轴平面上的投影点。O_p为投影装置的投影中心，D₁为O_p在Oxyz坐标系的X轴平面上的投影点，D₂为O_p在Oxyz坐标系的Y轴平面上的投影点。

本发明的较佳的实施例中，上述结构光三维测量方法中，预先训练形成一深度预测模型，深度预测模型的输入数据为投射伪随机图像后在目标物体的表面形成的一第一变化图像，输出数据为预测得到的目标物体的深度图像。

光栅条纹图案投射到目标物体的表面并形成对应的第二变化图像。

则上述结构光三维测量方法具体如图2中所示，包括：

步骤S1，采用深度预测模型对目标物体的表面形成的第一变化图像进行预测，得到目标物体的深度图像；

步骤S2，根据不同相移的第二变化图像，计算每一点的主值相位，并利用深度图像，对第二变化图像中每一点的主值相位进行相位展开处理，以得到连续相位场的分布图；

步骤S3，采用标定的系统参数对连续相位场的分布图进行处理，以得到得到目标物体的表面每一个三维点的坐标，从而实现对目标物体的三维测量。

具体地，本实施例中，上述照相装置可以为摄像机。投影装置先后将伪随机图案和具有标准余弦分布形态的光栅条纹图案投射到目标物体表面后，经过目标物体表面的形状调制会形成具有一定相位变化的图像，该图像被照相装置(例如摄像机)捕获后进行处理，就能够从该图像中计算得到目标物体表面各个点的三维坐标，从而对目标物体进行三维测量和三维重建。

本实施例中，预先训练形成一个深度预测模型，该深度预测模型的输入为投射伪随机图像后在目标物体的表面形成的具有一定相位变化的第一变化图像，输出为每个第一变化图像所对应的目标物体的深度图像。具体地，该深度预测模型为一神经网络模型，在训练该深度预测模型时，训练数据中的每个训练数据对可以设置为包括某一个目标物体的表面经过投影后得到的第一变化图像，以及该目标物体表面的深度图像。最终输出的深度图像可以用来表示目标物体表面每一点的深度。

本实施例中，通过上述预先训练形成的深度预测模型，就可以根据目标物体表面形成的第一变化图像预测得到该目标物体表面的深度图像，从而得到目标物体表面每一点的初始预测深度。

本实施例中，根据不同相移的第二变化图像并利用深度图像计算每一点的主值相位。具体地，针对目标物体表面的每一点，采用该点在世界坐标系下的初始点云坐标和上述初始预测深度就可以得到该点的相位初值(下文中会详述)，并且根据相位初值对每一点上经由第二变化图像计算得到的主值相位进行相位展开(也即解相位)，从而得到连续相位场分布，也就是根据主值相位进行相位展开得到每一点的相位。

最后，采用预先标定的系统参数，根据解相位得到的连续相位场分布就能够得到目标物体表面各点的三维点坐标，从而实现对目标物体的三维测量。

以下对包含解相位处理的相移法进行解释：

由上文中可知，结构光三维测量过程中，投影装置投射至目标物体表面的理想状态是具有标准余弦分布形态的光栅条纹图案，则该图案的光强分布函数具体为：

I_i(x,y)＝I′(x,y)+I″(x,y)cos(φ(x,y)+δ_i),i＝1,2,L,N； (1)

其中，

I′(x,y)是第二变化图像上每一点的平均灰度，I″(x,y)为图像上每一点的灰度调制强度，φ(x,y)为图像上每一点的主值相位，其中包含了目标物体表面的形状信息，(x,y)用于表示该点在图像上的像素位置；

δ为相移。假设相移为在垂直于光栅条纹方向的一个周期内移动N次，即

i＝0,1,2,L,N-1，则通过这N幅相移图可以得到主值相位图，具体为：

由于atan函数的2π周期性，相位主值与真实相位之间还有一个2kπ的差值，其中k为整数，表示光栅条纹所在的周期数，相位展开就是求出相位所在的周期数k，即解相位(phase unwrapping)，从而得到连续的相位场，具体为：

Φ(x,y)＝φ(x,y)+2kπ； (3)

其中，Φ(x,y)即为连续相位场分布。

最后，根据预先标定的系统参数(下文中会详述)就可以得到目标物体的表面的各个点的三维点坐标。

本发明的较佳的实施例中，如图1中所示，上述点P在世界坐标系中的为(x,y,z)，其在摄像机的图像坐标系中的像素坐标为(u^c,v^c)，则有：

其中，f_u,f_v,γ,u₀,v₀均是相机的内参，组成内参矩阵，表示了从相机坐标系到图像坐标系的旋转、平移和尺度变换关系，r_ij,i＝1,2,3,j＝1,2,3,4是相机的外参，组成了外参矩阵，表示了从世界坐标系到相机坐标系的旋转和平移关系。

令：

则有：

s^c[u^c v^c 1]＝P^c[x y z 1]； (6)

同样地，投影装置本身也可以看成是一个虚拟的成像系统，上述空间点P在投影平面内的坐标满足类似上述公式(4)-(6)中的坐标变换关系，最终形成：

s^P[u^P v^P 1]＝P^P[x y z 1]； (7)

其中，空间点P在投影平面坐标系内的投影点坐标为(u^P,v^P)；

P^P的表达式为：

上述公式(6)和(7)中总共有两个未知量(s^c,s^P,x,y,z,u^P,v^P)，并且存在已知量(u^c,v^c)，此外对于该点P存在有相位信息：

根据上述公式(6)、(7)和(9)可以得到一组如下式所示的方程式：

采用预先标定的系统参数P^c和P^P对公式(10)进行求解，就能估计得到目标物体表面的空间点P的三维点坐标

本发明的较佳的实施例中，上述预先设定的系统参数P^c和P^P可以通过反复采样和计算来获得。例如：

准备坐标均已知的标定物，采样标定物上足够多的点的坐标(u^c,v^c)、(u^P,v^P)以及(x,y,z)，根据上述方程式组(9)就可以求得多组系统参数P^c和P^P，再采用最小二乘法估计得到最终的系统参数并预先标定在系统中。

本发明的较佳的实施例中，如图3中所示，上述步骤S2具体包括：

步骤S21，根据第一变化图像中得到的每一点的初始点云坐标以及深度图像分别处理得到每一点的空间点坐标；

步骤S22，根据空间点坐标分别处理得到每一点的相位初值；

步骤S23，根据每一点的相位初值分别处理得到每一点的条纹级数；

步骤S24，根据每一点的条纹级数对每一点上根据第二变化图像计算得到的主值相位进行相位展开，以得到连续相位场的分布图。

进一步地，如图4中所示，步骤S22具体包括：

步骤S221，根据空间点坐标得到对应点在在投影平面上的投影坐标系中的投影点坐标；

步骤S222，根据投影点坐标处理得到对应点的相位。

具体地，本实施例中，第一变化图像上每一点的初始点云坐标是已知的，例如对于图像中某一点的坐标可以被表示为(u^c,v^c)。由于初始点云坐标数据有可能与图像上的点没有一一对应，因此可以通过双线性插值的方式，并且依据深度图像和初始点云数据就能够处理得到所对应的空间点的坐标，计为(x,y,z)。

则根据初始点云坐标和空间点坐标就能得到该点在投影装置的投影坐标系下的坐标(u^p,v^p)，并进而根据下式获得该点对应的相位初值：

这样就可以确定对应点的条纹级数为：

最后根据条纹级数，对经由第二变化图像进行计算得到的主值相位进行相位展开，将周期数k代入上述公式(3)中就能得到连续相位场分布，进而根据预先给定的系统参数就能得到精确的目标物体表面的三维点云数据。

综上，本发明技术方案中，首先向目标物体先后投射伪随机图案和具有不同初始相位的标准余弦分布的光栅条纹图案至目标物体的表面，并采用相机装置分别记录伪随机图案在目标物体表面产生形变形成的第一变化图像，以及光栅条纹图案在目标物体表面产生形变形成的第二变化图像。随后，利将第一变化图像输入至预先训练好的深度预测模型中预测得到目标物体的深度图像，并依据第一变化图像和深度图像得到目标物体表面每一点的空间点坐标，并继而得到每一点的相位初值。

同时，利用第二变化图像计算得到每一点的主值相位，随后利用上述计算得到的相位初值对主值相位进行相位展开，得到连续相位场分布。

最后，对连续相位场分布进行处理，从而得到每一点的三维坐标，以完成目标物体表面的三维测量。

本发明的较佳的实施例中，深度预测模型采用卷积神经网络结构实现。具体地，空间编码结构光的三维重建技术基本原理是通过基于投影图像与编码图案对应点的匹配，然后利用三角关系获取目标的三维信息。但是投影图像与编码图案的匹配计算量大，特别是对于高分辨图像的匹配，逐点匹配不仅效率低，对噪声敏感，鲁棒性差。因此，在本申请技术方案中，通过预先训练得到深度预测模型，并利用深度预测模型来预测得到图像的深度图像的方式来解决上述问题。

进一步地，上述深度预测模型采用Encode-Decode形的全卷积神经网络结构实现，例如图5中所示的U-Net神经网络结构。当然，上述深度预测模型也可以由其他全卷积网络结构来实现，上述Encode-Decode形的全卷积神经网络结构仅是一个具体的示例。

本实施例中，上述深度预测模型的输入数据为照相装置拍摄的经过目标物体表面形状调制后产生相位变化的结构光图案，也即上文中的第一变化图像，输出数据为该目标物体表面的深度图，在进行模型训练时也需要按照上述输入输出的关系制作训练数据对。

本实施例中，上述深度预测模型的深度回归的损失函数采用Huber损失函数来实现，即：

其中，

y_ij用于表示深度图像的真实值；

用于表示深度图像的预测值；

在每次梯度下降时，

本发明的较佳的实施例中，在生成上述深度预测模型的训练数据时，采用的是仿真和实测结合的方式。具体而言，所谓仿真方式，是指通过建立目标物体表面的CAD模型来生成伪随机的采样图案和对应的深度图像；所谓实测方式，是指基于实际测量的数据，利用立体匹配方法(例如PatchMatch方法)来生成训练数据。最终形成的训练数据集合包括上述两种方式生成的训练数据，从而使得训练形成的深度预测模型的预测结果更加精确。

本发明的较佳的实施例中，在系统离线的状态下，分别生成用于训练形成深度预测模型的训练数据，以及训练形成深度预测模型。当深度预测模型训练完成后，既可以进行深度图像的在线预测。这种做法避免了高计算复杂度的立体匹配过程，并且能够增加对图像噪声的鲁棒性。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (8)

1.一种结构光三维测量方法，采用投影装置先后将伪随机图案和具有不同初始相位的标准余弦分布的光栅条纹图案投射到目标物体的表面，随后采用相机装置记录所述目标物体的表面经投射形成的图像；其特征在于，会预先训练形成一深度预测模型，所述深度预测模型的输入数据为投射所述伪随机图像后在所述目标物体的表面形成的一第一变化图像，输出数据为预测得到的所述目标物体的深度图像；

所述光栅条纹图案投射到所述目标物体的表面并形成对应的第二变化图像；

所述结构光三维测量方法具体包括：

步骤S1，采用所述深度预测模型对所述目标物体的表面形成的所述第一变化图像进行预测，得到所述目标物体的所述深度图像；

步骤S2，根据不同相移的所述第二变化图像，计算每一点的主值相位，并利用所述深度图像，对所述第二变化图像中每一点的主值相位进行相位展开处理，以得到连续相位场的分布图；

步骤S3，采用标定的系统参数对所述连续相位场的分布图进行处理，以得到所述得到目标物体的表面每一个三维点的坐标，从而实现对所述目标物体的三维测量；

所述步骤S2中，空间点P在世界坐标系中的坐标为(x，y，z)，其在摄像机的图像坐标系中的像素坐标为(u^c,v^c)，则有：

其中，f_u,f_v,γ,u₀,v₀均是相机的内参，组成内参矩阵，表示了从相机坐标系到所述图像坐标系的旋转、平移和尺度变换关系，r_ij,i＝1,2,3,j＝1,2,3,4是相机的外参，组成了外参矩阵，表示了从所述世界坐标系到所述相机坐标系的旋转和平移关系；令：

则有：

s^c[u^c v^c 1]＝P^c[x y z 1]； (6)

所述空间点P在投影平面内的坐标满足类似上述公式(4)-(6)中的坐标变换关系，最终形成：

s^P[u^P v^P 1]＝P^P[x y z 1]； (7)

其中，所述空间点P在投影平面坐标系内的投影点坐标为(u^P,v^P)；P^P的表达式为：

上述公式(6)和(7)中总共有三个未知量(x,y,z)，并且存在已知量(u^c,v^c)，此外对于该点P存在有相位信息：

根据上述公式(6)、(7)和(9)可以得到一组如下式所示的方程式：

所述步骤S3中，采用预先标定的所述系统参数P^c和P^P对公式(10)进行求解，得到目标物体表面的空间点P的三维点坐标。

2.如权利要求1所述的结构光三维测量方法，其特征在于，所述步骤S2具体包括：

步骤S21，根据所述第一变化图像中得到的每一点的初始点云坐标以及所述深度图像分别处理得到每一点的空间点坐标；

步骤S22，根据所述空间点坐标分别处理得到每一点的相位初值；

步骤S23，根据每一点的所述相位初值分别处理得到每一点的条纹级数；

步骤S24，根据每一点的条纹级数对每一点上根据所述第二变化图像计算得到的所述主值相位进行相位展开，以得到所述连续相位场的分布图。

3.如权利要求2所述的结构光三维测量方法，其特征在于，所述步骤S21中，根据所述第一变化图像中每一点的所述初始点云坐标以及所述深度图像，采用双线性插值方法分别处理得到每一点的所述空间点坐标。

4.如权利要求2所述的结构光三维测量方法，其特征在于，所述步骤S22具体包括：

步骤S221，根据所述空间点坐标得到对应点在在投影平面上的投影坐标系中的投影点坐标；

步骤S222，根据所述投影点坐标处理得到对应点的所述相位。

5.如权利要求1所述的结构光三维测量方法，其特征在于，所述深度预测模型采用卷积神经网络结构实现。

6.如权利要求5所述的结构光三维测量方法，其特征在于，所述深度预测模型采用Encode-Decode形的全卷积神经网络结构实现。

7.如权利要求5所述的结构光三维测量方法，其特征在于，所述深度预测模型中的损失函数采用下述函数实现：

其中，

y_ij用于表示所述深度图像的真实值；

用于表示所述深度图像的预测值；

在每次梯度下降时，

8.如权利要求1所述的结构光三维测量方法，其特征在于，在系统离线的状态下，分别生成用于训练形成所述深度预测模型的训练数据，以及训练形成所述深度预测模型。

Images