CN115164776A - 一种结构光解码与深度学习融合的三维测量方法及装置 - Google Patents

Abstract

本发明提出一种结构光解码与深度学习融合的三维测量方法及装置，属于三维测量领域。其中，所述方法包括：将待测对象置于结构光测量模块和多台相机构成的的公共测量视场中，利用多台相机同时拍摄结构光模块投影到待测对象表面的双频相移结构光编码图案序列；将每台相机拍摄的编码图案序列串联后输入预设的多视角三维重建网络，得到待测对象在指定的相机1坐标系下的预测深度图像；计算待测对象在相机1坐标系下的结构光解码深度图像以及面结构光解码有效性掩模，结合预测深度图像，以得到待测对象的三维测量结果。本发明利用深度学习多视角三维重建与结构光测量融合，实现对于复杂光学特性物体的完整准确三维测量，具有很高的应用价值。

Description

一种结构光解码与深度学习融合的三维测量方法及装置

技术领域

本发明属于三维测量领域，具体涉及一种结构光解码与深度学习融合的三维测量方法及装置。

背景技术

基于结构光的三维测量方法，具有非接触、结构简单、测量效率高、空间分辨率高等优点，在逆向工程、工业质量检测、机器人操作等领域具有广泛应用。透明、半透明、反光、高反差物体被统称为复杂光学特性物体。目前，基于解码的结构光三维测量方法通过解码计算深度图像，对复杂光学特性物体的测量结果中存在缺失。而深度学习多视角三维重建方法可以通过训练提高复杂光学特性物体测量结果的完整性，但其测量精度不及编码图案反射强度适中区域的基于解码的结构光三维测量结果。

发明内容

本发明的目的是克服现有技术中基于解码的结构光三维测量方法对于复杂光学特性物体测量结果中存在缺失以及深度学习多视角三维重建测量精度有限的不足，提出一种结构光解码与深度学习融合的三维测量方法及装置。本发明可实现复杂光学特性物体的完整准确三维测量，可适用于逆向工程，工业质量检测等领域，具有很高的应用价值。

本发明第一方面实施例提出一种结构光解码与深度学习融合的三维测量方法，包括：

将待测对象置于结构光测量模块和多台相机构成的的公共测量视场中，利用所述多台相机同时拍摄所述结构光模块投影到所述待测对象表面的双频相移结构光编码图案序列；其中，所述多台相机中包含设定的相机1；

将每台相机拍摄的所述编码图案序列串联后输入预设的多视角三维重建网络，所述网络输出所述待测对象在所述相机1坐标系下的预测深度图像；

根据所述相机1拍摄的所述编码图案序列，计算所述待测对象在所述相机1坐标系下的结构光解码深度图像；

对所述相机1拍摄的所述编码图案序列中每个像素进行解码有效性判定，生成面结构光解码有效性掩模；

根据所述预测深度图像、所述结构光解码深度图像和所述面结构光解码有效性掩模，计算所述待测对象的融合深度图像，以得到所述待测对象的三维测量结果。

在本发明的一个具体实施例中，所述待测对象为透明、半透明、反光或高反差物体中的任一种。

在本发明的一个具体实施例中，所述双频相移结构光编码图案序列，表达式如下：

式中，N_PSP为双频相移步数，I′,I″分别为双频相移结构光编码图案的灰度值均值与振幅；(u_p,v_p)为结构光投影模块投影的的任一图像像素坐标；

分别为(u_p,v_p)对应的多周期编码相位与单周期编码相位；

为第i张多周期双频相移结构光编码图案，i＝1,2,…,N_PSP；

为第i张单周期双频相移结构光编码图案，i＝1,2,…,N_PSP。

在本发明的一个具体实施例中，在所述将每台相机拍摄的所述编码图案序列串联后输入预设的多视角三维重建网络之前，还包括：

训练所述多视角三维重建网络；

所述训练所述多视角三维重建网络包括：

1)将选取的训练待测对象置于结构光测量模块和多台相机构成的的公共测量视场中，利用所述多台相机同时拍摄所述结构光模块投影到所述训练待测对象表面的双频相移结构光编码图案序列；

2)获取训练待测对象的三维形状点云，将所述三维形状点云转换到相机1坐标系下，得到训练待测对象在相机1坐标系下对应的深度图像；

3)将每台相机拍摄的训练待测对象表面反射的编码图案序列以及训练待测对象在相机1坐标系下对应的深度图像组成一个训练样本；

4)通过改变训练待测对象的位置或选择不同的训练待测对象，重复步骤1)-3)以获得对应的训练样本，将所有训练样本组成训练数据集；

5)构建多视角三维重建网络，所述网络包含依次连接的粗粒度深度预测子网络和深度迭代优化子网络；所述粗粒度深度预测子网络的输入为由每台相机拍摄的待测对象表面反射的的双频相移结构光编码图案序列组成的串联集合所构成的矩阵，其中，第j台相机对应的串联集合的表达式为

所述粗粒度深度预测子网络输出待测对象在相机1坐标系下的初始预测深度图像；将所述初始预测深度图像输入深度迭代优化子网络，通过迭代，得到待测对象在相机1坐标系下优化后的预测深度图像；

6)利用所述训练数据集训练所述多视角三维重建网络，得到训练完毕的所述多视角三维重建网络。

在本发明的一个具体实施例中，所述根据所述相机1拍摄的所述编码图案序列，计算所述待测对象在所述相机1坐标系下的结构光解码深度图像，包括：

利用相机1拍摄的编码图案序列

计算相机1成像平面下任一像素坐标(u_c,v_c)的多周期编码相位

与单周期编码相位

表达式如下：

式中，

为相机1拍摄的第i张双频相移结构光编码图案；

通过相位解包裹计算坐标(u_c,v_c)的绝对相位

式中，T_m,T_s分别为多周期编码图案与单周期编码图案的周期像素长度，[*]为就近取整运算符；

根据

相机1和结构光投影模块的内参矩阵、相机1与结构光投影模块之间的坐标转换矩阵，利用三角测量法计算得到待测对象在相机1坐标系下的结构光解码深度图像D_PSP。

在本发明的一个具体实施例中，所述对所述相机1拍摄的所述编码图案序列中每个像素进行解码有效性判定，生成面结构光解码有效性掩模，包括：

根据相机1拍摄的编码图案序列中每个像素的灰度值最大值和灰度值变化幅值，对每个像素的解码有效性进行判定，根据每个像素的判定结果，生成面结构光解码有效性掩模V；

其中，对于相机1成像平面的任一像素坐标(u_c,v_c)，判定表达式如下：

式中，V(u_c,v_c)为V在像素坐标(u_c,v_c)处的取值；I_max为过曝灰度值阈值，I_diff为欠曝灰度值阈值，I_max﹥I_diff。

在本发明的一个具体实施例中，所述根据所述预测深度图像、所述结构光解码深度图像和所述面结构光解码有效性掩模，计算所述待测对象的融合深度图像，表达式如下：

D_fusion＝VD_PSP+(1-V)D_MVS

式中，D_MVS为待测对象在相机1坐标系下的预测深度图像，D_fusion为待测对象对应的融合深度图像。

本发明第二方面实施例提出一种结构光解码与深度学习融合的三维测量装置，包括：

编码图案序列采集模块，用于将选取的训练待测对象置于结构光测量模块和多台相机构成的的公共测量视场中，利用所述多台相机同时拍摄所述结构光模块投影到所述训练待测对象表面的双频相移结构光编码图案序列；

深度图像预测模块，用于将每台相机拍摄的所述编码图案序列串联后输入预设的多视角三维重建网络，所述网络输出所述待测对象在所述相机1坐标系下的预测深度图像；

结构光解码深度图像计算模块，用于根据所述相机1拍摄的所述编码图案序列，计算所述待测对象在所述相机1坐标系下的结构光解码深度图像；

有效性掩模计算模块，用于对所述相机1拍摄的所述编码图案序列中每个像素进行解码有效性判定，生成面结构光解码有效性掩模；

三维测量结果生成模块，用于根据所述预测深度图像、所述结构光解码深度图像和所述面结构光解码有效性掩模，计算所述待测对象的融合深度图像，以得到所述待测对象的三维测量结果。

本发明第三方面实施例提出一种电子设备，包括：

至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述一种结构光解码与深度学习融合的三维测量方法。

本发明第四方面实施例提出一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述一种结构光解码与深度学习融合的三维测量方法。

本发明的特点及有益效果在于：

本发明重点在于解决基于解码的结构光测量方法对复杂光学特性物体的测量结果中存在缺失以及深度学习多视角三维重建测量精度有限的问题。本发明通过解码利用多相机结构光三维测量系统获取的相机图像序列以计算目标相机(即相机1)的结构光深度图像以及结构光解码有效性掩模，通过深度学习多视角三维重建计算预测深度图像，利用结构光解码有效性掩模将结构光深度图像与深度学习预测深度图像进行融合，可以实现复杂光学特性物体的完整准确三维测量，可推动相关技术的发展。

附图说明

图1是本发明实施例中一种结构光解码与深度学习融合的三维测量方法的整体流程图；

图2是本发明一个具体实施例中一种多相机结构光三维测量系统的组成示意图；

图3是本发明一个具体实施例中基于点云深度学习的多视角三维重建网络的结构示意图。

具体实施方式

本公开实施例提出一种结构光解码与深度学习融合的三维测量方法及装置，下面结合附图和具体实施例进一步详细说明如下：

本公开第一方面实施例提出一种结构光解码与深度学习融合的三维测量方法，包括：

将待测对象置于结构光测量模块和多台相机构成的的公共测量视场中，利用所述多台相机同时拍摄所述结构光模块投影到所述待测对象表面的双频相移结构光编码图案序列；其中，所述多台相机中包含设定的相机1；

将每台相机拍摄的所述编码图案序列串联后输入预设的多视角三维重建网络，所述网络输出所述待测对象在所述相机1坐标系下的预测深度图像；

根据所述相机1拍摄的所述编码图案序列，计算所述待测对象在所述相机1坐标系下的结构光解码深度图像；

对所述相机1拍摄的所述编码图案序列中每个像素进行解码有效性判定，生成面结构光解码有效性掩模；

根据所述预测深度图像、所述结构光解码深度图像和所述面结构光解码有效性掩模，计算所述待测对象的融合深度图像，以得到所述待测对象的三维测量结果。

在本发明的一个具体实施例中，所述一种结构光解码与深度学习融合的三维测量方法，整体流程如图1所示，包括以下步骤：

1)构建多相机结构光测量系统并进行标定。

本实施例中，构建如图2所示多结构光测量系统，所述多结构光测量系统包括：1个结构光投影模块和K个相机，使得待测对象可完全处于结构光投影模块和所有相机的公共视野中，所述公共视野即为所述多相机结构光测量系统的测量视场。所述结构光投影模块用于投影编码图案序列,所述相机用于拍摄所述结构光投影模块投影的编码图案序列。

需要说明的是，所述结构光投影模块和K个相机的摆放顺序没有特殊要求。本发明一个具体实施例中，结构光投影模块和相机之间位置关系要求保证存在体积不小于20cm×20cm×10cm的公共视野。

本实施例中，结构光投影模块和相机均可采用常规型号；需要说明的是，K个相机的型号不要求全部相同；结构光投影模块要求分辨率不低于480×640像素，本发明一个具体实施例中所采用的结构光投影模块型号为DLP Pro4500，分辨率为912×1140像素；相机要求分辨率不低于1000×1000像素，本发明一个具体实施例中所采用的相机型号为GO-5000C-USB，分辨率为2560×2048像素；K要求不小于2，本发明一个具体实施例中K＝3。

从K个相机中任意选定一台相机作为相机1；本发明一个具体实施例中，如图2所示，将位于最左侧的相机指定为相机1。

获得结构光投影模块和K个相机的内参数矩阵，以及结构光投影模块分别与K个相机之间的坐标转换矩阵。

2)生成双频相移编码图案序列；

本实施例中，令双频相移步数表示为N_PSP，N_PSP要求不小于3。本发明一个具体实施例中N_PSP＝6。

对于N_PSP步双频相移，结构光投影模块投影的任一图像像素坐标(u_p,v_p)在第i张多周期双频相移结构光编码图案

与第i张单周期双频相移结构光编码图案

中的灰度值可分别表示为：

式中，I′,I″分别为双频相移结构光编码图案的灰度值均值与振幅，对于单周期双频相移结构光编码图案和多周期双频相移结构光编码图案I′,I″取值相同。

分别为(u_p,v_p)所对应的多周期编码相位与单周期编码相位。

3)利用多相机结构光测量系统采集训练数据集；具体步骤如下：

3-1)任一选取一个复杂光学特性物体作为训练待测对象，将所述训练待测对象固定于多相机结构光测量系统的测量视场中。

本实施例中，透明、半透明、反光、高反差物体(本实施例中高反差物体指物体表面同时存在白色区域和黑色区域)被统称为复杂光学特性物体。

3-2)利用结构光投影模块对步骤3-1)的训练待测对象按顺序投影步骤2)生成的双频相移结构光编码图案序列，首先投影多周期双频相移结构光编码图案序列

然后投影单周期双频相移结构光编码图案序列

使用相机1，…,K同时拍摄训练待测对象表面反射的编码图案，得到每台相机拍摄的训练待测对象表面反射的双频相移结构光编码图案序列。其中，在投影过程中训练待测对象相对于测量系统保持静止。

其中，记相机j拍摄的第i张多周期双频相移结构光编码图案的图像为

相机j拍摄的第i张单周期双频相移结构光编码图案的图像为

3-3)获取训练待测对象在相机1坐标系下对应的深度图像；

本实施例中，所述获取训练待测对象在相机1坐标系下对应的深度图像的具体方法为：

利用另一独立的三维测量装置获取训练待测对象的三维形状点云；通过标定获取该独立三维测量装置与相机1之间的坐标系转换关系，然后根据所述坐标系转换关系，将所述三维形状点云转换到相机1坐标系下，生成该训练待测对象在相机1坐标系下对应的一张深度图像。

本实施例利用三维测量装置获取点云，要求所述三维测量装置的测量误差小于0.5mm，本发明一个具体实施例中采用海克斯康INFINITE2.0，测量误差0.1mm，

3-4)将相机1，…,K拍摄的训练待测对象表面反射的双频相移结构光编码图案序列以及该训练待测对象在相机1坐标系下对应的深度图像组成一个训练样本。

3-5)改变待测对象的位置或者选择一个不同的待测对象，重复步骤3-1)-3-4)以获得对应的训练样本，将所有训练样本构成训练数据集。本实施例中，所述训练数据集要求待测对象需要包含透明、半透明、反光和高反差四种不同类型的物体，且每个物体摆放不少于3个不同位置。本公开一个具体实施例中，训练数据集包含13个复杂光学特性物体，包括透明、半透明、反光、高反差四类物体，其中，透明物体3个，半透明物体3个，反光物体3个，高反差物体4个，每个物体10个位置，共组成130个训练样本。

4)利用步骤3)获取的训练数据集训练深度学习多视角三维重建网络，训练完毕的三维重建网络即可用于生成复杂光学特性物体的完整预测深度图像。

本公开一个具体实施例中，使用基于点云深度学习的多视角三维重建网络(参考文献：Point-Based Multi-View Stereo Network.Rui Chen,Songfang Han,Jing Xu,HaoSu；Proceedings of the IEEE/CVF International Conference on Computer Vision(ICCV),2019,pp.1538-1547)，包括一个粗粒度深度预测子网络和一个深度迭代优化子网络。该网络输入为由每台相机拍摄的待测对象表面反射的的双频相移结构光编码图案序列组成的串联集合所构成的矩阵，其中，第j台相机对应的串联集合的表达式为：

本实施例中串联具体方式为：将第j台相机所拍摄的多周期双频相移结构光编码图案序列

和单周期双频相移结构光编码图案序列

按图案采集顺序沿图像色彩通道维度进行串联。

本公开一个具体实施例中所述粗粒度深度预测子网络的参数如表1所示：

表1本公开一个具体实施例中粗粒度深度预测网络的参数表

本公开一个具体实施例中，所述深度迭代优化子网络的参数如表2所示：

表2本公开一个具体实施例中深度迭代优化子网络的参数表

名称	参数
		二维卷积层	神经元数目：8，核尺寸：3，步幅：1
二维卷积层	神经元数目：8，核尺寸：3，步幅：1
		二维卷积层	神经元数目：16，核尺寸：5，步幅：2
二维卷积层	神经元数目：16，核尺寸：3，步幅：1
		二维卷积层	神经元数目：16，核尺寸：3，步幅：1
二维卷积层	神经元数目：32，核尺寸：5，步幅：2
		二维卷积层	神经元数目：32，核尺寸：3，步幅：1
二维卷积层	神经元数目：32，核尺寸：3，步幅：1
		二维卷积层	神经元数目：64，核尺寸：5，步幅：2
二维卷积层	神经元数目：64，核尺寸：3，步幅：1
		二维卷积层	神经元数目：64，核尺寸：3，步幅：1
点云边卷积层	神经元数目：32
		点云边卷积层	神经元数目：32
点云边卷积层	神经元数目：64

该网络首先利用粗粒度深度预测子网络网络得到待测对象在相机1坐标系下的初始预测深度图像，将该初始预测深度图像输入深度迭代优化子网络，在第一次迭代优化中深度迭代优化子网络利用相机1的内参数矩阵将所述深度图像的初始预测结果反投影获得待测对象的初始预测点云并获得深度残差预测值，将深度残差预测值和深度图像的初始预测结果相加得到第一次迭代的预测深度图像，在之后的迭代优化过程中深度迭代优化子网络将上一次迭代的预测深度图像作为输入，最终输出待测对象在相机1坐标系下的优化后的预测深度图像。其中，深度迭代优化子网络的迭代优化次数可以根据计算机计算能力在1到正无穷之间进行选择，本公开一个具体实施例中为迭代优化1次。训练结束条件是损失函数收敛，本公开一个具体实施例中为训练120周期。

5)结构光解码与深度学习融合三维测量。

5-1)任意选取一个复杂光学特性物体作为待测对象，将该待测对象固定于多相机结构光测量系统的测量视场中。

5-2)利用结构光投影模块投影步骤2)生成的双频相移结构光编码图案序列，使用相机1，…,K同时拍摄物体表面反射的编码图案序列，在投影过程中物体相对于测量系统保持静止。

5-3)将步骤5-2)采集的相机1…,K拍摄的编码图案序列串联后输入步骤4)中训练完毕的多视角三维重建网络，该网络输出步骤5-1)的待测对象在相机1坐标系下的预测深度图像D_MVS。

5-4)计算结构光解码深度图像D_PSP。

利用相机1拍摄的编码图案序列

解码计算相机1成像平面下任一像素坐标(u_c,v_c)的多周期编码相位

与单周期编码相位

表达式如下：

通过相位解包裹计算坐标(u_c,v_c)的绝对相位

式中，T_m,T_s分别为多周期编码图案与单周期编码图案的周期像素长度，[*]为就近取整运算符。

根据

相机1和结构光投影模块的内参矩阵、相机1与结构光投影模块之间的坐标转换矩阵，可以利用三角测量法计算获得步骤5-1)的待测对象在相机1坐标系下的结构光解码深度图像D_PSP。

5-5)计算面结构光解码有效性掩模。

使用相机1拍摄的双频相移编码图案序列中每个像素的灰度值最大值和灰度值变化幅值来对每个像素的解码有效性进行独立判定，根据每个像素的判定结果，生成面结构光解码有效性掩模V。

其中，对于相机1成像平面的任一像素坐标(u_c,v_c)，判定表达式如下：

式中，V(u_c,v_c)为V在像素坐标(u_c,v_c)处的取值；I_max为过曝灰度值阈值，I_diff为欠曝灰度值阈值，I_max﹥I_diff。I_max取值范围为0-255，本公开一个具体实施例为250；I_diff取值范围为0-255，本公开一个具体实施例为20。对于相机1所拍摄多周期双频相移结构光编码图案序列

和单周期双频相移结构光编码图案序列

中的像素坐标(u_c,v_c)，如果满足以下条件中至少一个则该像素的面结构光解码有效性掩模V(u_c,v_c)的取值置为0，否则置为1：

(1)

的最大值大于I_max；

(2)

的最大值大于I_max；

(3)

中最大值与最小值的差小于I_diff；

(4)

中最大值与最小值的差小于I_diff。

利用每个像素对应的判定结果即可生成面结构光解码有效性掩模。

5-6)利用解码有效性掩模V对D_MVS和D_PSP进行结合，计算待测对象对应的融合深度图像D_fusion：

D_fusion＝VD_PSP+(1-V)D_MVS

D_fusion即为步骤5-1)选取的待测对象的三维测量结果。

为实现上述实施例，本发明第二方面实施例提出一种结构光解码与深度学习融合的三维测量装置，包括：

编码图案序列采集模块，用于将选取的训练待测对象置于结构光测量模块和多台相机构成的的公共测量视场中，利用所述多台相机同时拍摄所述结构光模块投影到所述训练待测对象表面的双频相移结构光编码图案序列；

深度图像预测模块，用于将每台相机拍摄的所述编码图案序列串联后输入预设的多视角三维重建网络，所述网络输出所述待测对象在所述相机1坐标系下的预测深度图像；

结构光解码深度图像计算模块，用于根据所述相机1拍摄的所述编码图案序列，计算所述待测对象在所述相机1坐标系下的结构光解码深度图像；

有效性掩模计算模块，用于对所述相机1拍摄的所述编码图案序列中每个像素进行解码有效性判定，生成面结构光解码有效性掩模；

三维测量结果生成模块，用于根据所述预测深度图像、所述结构光解码深度图像和所述面结构光解码有效性掩模，计算所述待测对象的融合深度图像，以得到所述待测对象的三维测量结果。

需要说明的是，前述对一种结构光解码与深度学习融合的三维测量方法的实施例解释说明也适用于本实施例的一种结构光解码与深度学习融合的三维测量装置，在此不再赘述。根据本发明实施例提出的一种结构光解码与深度学习融合的三维测量装置，通过将待测对象置于结构光测量模块和多台相机构成的的公共测量视场中，利用所述多台相机分别拍摄所述结构光模块投影到所述待测对象表面的双频相移结构光编码图案序列；其中，所述多台相机中包含设定的相机1；将每台相机拍摄的所述编码图案序列串联后输入预设的多视角三维重建网络，所述网络输出所述待测对象在所述相机1坐标系下的预测深度图像；根据所述相机1拍摄的所述编码图案序列，计算所述待测对象在所述相机1坐标系下的结构光解码深度图像；对所述相机1拍摄的所述编码图案序列中每个像素进行解码有效性判定，生成面结构光解码有效性掩模；根据所述预测深度图像、所述结构光解码深度图像和所述面结构光解码有效性掩模，计算所述待测对象的融合深度图像，以得到所述待测对象的三维测量结果。由此可实现复杂光学特性物体的完整准确三维测量，可适用于逆向工程，工业质量检测等领域，具有很高的应用价值。

为实现上述实施例，本发明第三方面实施例提出一种电子设备，包括：

至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述一种结构光解码与深度学习融合的三维测量方法。

为实现上述实施例，本发明第四方面实施例提出一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述一种结构光解码与深度学习融合的三维测量方法。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例的一种结构光解码与深度学习融合的三维测量方法。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种结构光解码与深度学习融合的三维测量方法，其特征在于，包括：

将待测对象置于结构光测量模块和多台相机构成的的公共测量视场中，利用所述多台相机同时拍摄所述结构光模块投影到所述待测对象表面的双频相移结构光编码图案序列；其中，所述多台相机中包含设定的相机1；

将每台相机拍摄的所述编码图案序列串联后输入预设的多视角三维重建网络，所述网络输出所述待测对象在所述相机1坐标系下的预测深度图像；

根据所述相机1拍摄的所述编码图案序列，计算所述待测对象在所述相机1坐标系下的结构光解码深度图像；

对所述相机1拍摄的所述编码图案序列中每个像素进行解码有效性判定，生成面结构光解码有效性掩模；

根据所述预测深度图像、所述结构光解码深度图像和所述面结构光解码有效性掩模，计算所述待测对象的融合深度图像，以得到所述待测对象的三维测量结果。

2.根据权利要求1所述的方法，其特征在于，所述待测对象为透明、半透明、反光或高反差物体中的任一种。

3.根据权利要求1所述的方法，其特征在于，所述双频相移结构光编码图案序列，表达式如下：

式中，N_PSP为双频相移步数，I′,I″分别为双频相移结构光编码图案的灰度值均值与振幅；(u_p,v_p)为结构光投影模块投影的的任一图像像素坐标；

分别为(u_p,v_p)对应的多周期编码相位与单周期编码相位；

为第i张多周期双频相移结构光编码图案，i＝1,2,…,N_PSP；

为第i张单周期双频相移结构光编码图案，i＝1,2,…,N_PSP。

4.根据权利要求3所述的方法，其特征在于，在所述将每台相机拍摄的所述编码图案序列串联后输入预设的多视角三维重建网络之前，还包括：

训练所述多视角三维重建网络；

所述训练所述多视角三维重建网络包括：

1)将选取的训练待测对象置于结构光测量模块和多台相机构成的的公共测量视场中，利用所述多台相机同时拍摄所述结构光模块投影到所述训练待测对象表面的双频相移结构光编码图案序列；

2)获取训练待测对象的三维形状点云，将所述三维形状点云转换到相机1坐标系下，得到训练待测对象在相机1坐标系下对应的深度图像；

3)将每台相机拍摄的训练待测对象表面反射的编码图案序列以及训练待测对象在相机1坐标系下对应的深度图像组成一个训练样本；

4)通过改变训练待测对象的位置或更换训练待测对象，重复步骤1)-3)，以获得对应的训练样本，将所有训练样本组成训练数据集；

5)构建多视角三维重建网络，所述网络包含依次连接的粗粒度深度预测子网络和深度迭代优化子网络；所述粗粒度深度预测子网络的输入为由每台相机拍摄的待测对象表面反射的的双频相移结构光编码图案序列组成的串联集合所构成的矩阵，其中，第j台相机对应的串联集合的表达式为

j＝1，...，K；所述粗粒度深度预测子网络输出待测对象在相机1坐标系下的初始预测深度图像；将所述初始预测深度图像输入深度迭代优化子网络，通过迭代，得到待测对象在相机1坐标系下优化后的预测深度图像；

6)利用所述训练数据集训练所述多视角三维重建网络，得到训练完毕的所述多视角三维重建网络。

5.根据权利要求3所述的方法，其特征在于，所述根据所述相机1拍摄的所述编码图案序列，计算所述待测对象在所述相机1坐标系下的结构光解码深度图像，包括：

利用相机1拍摄的编码图案序列

i＝1,2,…,N_PSP，计算相机1成像平面下任一像素坐标(u_c,v_c)的多周期编码相位

与单周期编码相位

表达式如下：

式中，

为相机1拍摄的第i张双频相移结构光编码图案；

通过相位解包裹计算坐标(u_c,v_c)的绝对相位

式中，T_m,T_s分别为多周期编码图案与单周期编码图案的周期像素长度，[*]为就近取整运算符；

根据

相机1和结构光投影模块的内参矩阵、相机1与结构光投影模块之间的坐标转换矩阵，利用三角测量法计算得到待测对象在相机1坐标系下的结构光解码深度图像D_PSP。

6.根据权利要求5所述的方法，其特征在于，所述对所述相机1拍摄的所述编码图案序列中每个像素进行解码有效性判定，生成面结构光解码有效性掩模，包括：

根据相机1拍摄的编码图案序列中每个像素的灰度值最大值和灰度值变化幅值，对每个像素的解码有效性进行判定，根据每个像素的判定结果，生成面结构光解码有效性掩模V；

其中，对于相机1成像平面的任一像素坐标(u_c,v_c)，判定表达式如下：

式中，V(u_c,v_c)为V在像素坐标(u_c,v_c)处的取值；I_max为过曝灰度值阈值，I_diff为欠曝灰度值阈值，I_max﹥I_diff。

7.根据权利要求6所述的方法，其特征在于，所述根据所述预测深度图像、所述结构光解码深度图像和所述面结构光解码有效性掩模，计算所述待测对象的融合深度图像，表达式如下：

D_fusion＝VD_PSP+(1-V)D_MVS

式中，D_MVS为待测对象在相机1坐标系下的预测深度图像，D_fusion为待测对象对应的融合深度图像。

8.一种结构光解码与深度学习融合的三维测量装置，其特征在于，包括：

编码图案序列采集模块，用于将选取的训练待测对象置于结构光测量模块和多台相机构成的的公共测量视场中，利用所述多台相机同时拍摄所述结构光模块投影到所述训练待测对象表面的双频相移结构光编码图案序列；

深度图像预测模块，用于将每台相机拍摄的所述编码图案序列串联后输入预设的多视角三维重建网络，所述网络输出所述待测对象在所述相机1坐标系下的预测深度图像；

结构光解码深度图像计算模块，用于根据所述相机1拍摄的所述编码图案序列，计算所述待测对象在所述相机1坐标系下的结构光解码深度图像；

有效性掩模计算模块，用于对所述相机1拍摄的所述编码图案序列中每个像素进行解码有效性判定，生成面结构光解码有效性掩模；

三维测量结果生成模块，用于根据所述预测深度图像、所述结构光解码深度图像和所述面结构光解码有效性掩模，计算所述待测对象的融合深度图像，以得到所述待测对象的三维测量结果。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1-7任一项所述的方法。

Images