CN112833818A - 一种单帧条纹投影三维面型测量方法 - Google Patents

Abstract

本发明提供一种单帧条纹投影三维面型测量方法，包括如下步骤：S1：构建深度卷积神经网络，所述深度卷积神经网络具有6条路径，定义该深度卷积神经网络为DL_net。本发明目首先利用深度学习方法，在大量数据的驱动下实现三个相机视角下单帧条纹图像的高质量相位信息提取，然后利用多视角间的标定空间极线关系，以包裹相位信息的相似度为度量实现鲁棒性的相位展开，进而恢复出被测物的高精度绝对深度信息，本发明结合了深度学习的强大特征提取优势与几何约束的高效相位展开优势，在单帧投影的前提下实现了高质量相位提取、鲁棒性相位展开和高精度绝对深度恢复。

Description

一种单帧条纹投影三维面型测量方法

技术领域

本发明涉及光学测量技术领域，具体为一种单帧条纹投影三维面型测量方法。

背景技术

条纹投影轮廓术(FPP)由于其高的测量精度、简单的硬件设施成为目前最广泛使用的三维光学测量技术之一。近年来，随着快速逆向工程、流水线质量控制、三维应力分析等应用中对快速场景下高质量3D信息获取的需求的增长，基于FPP的高速三维形貌测量技术变得尤为重要[J.Qian，S.Feng，T.Tao，Y.Hu，K.Liu，S.Wu，Q.Chen，and C.Zuo，“Highresolution real-time 360°3D model reconstruction of a handheld objectwith fringe projection profilometry,”Opt.Lett.44，5751–5754(2019).]。

为了实现对高速场景下的三维信息的测量，有必要提高三维测量效率，降低单次三维重构所需的条纹图像的数量。理想情况下，是从单帧条纹图像中恢复出物体的绝对深度，这也是FPP领域的物理极限。在FPP中，最为耗时、关键的一个步骤是相位展开。传统的相位展开法为时间相位展开法[C.Zuo，L.Huang，M.Zhang，Q.Chen，and A.Asundi，“Temporalphase unwrapping algorithms for fringe projection profilometry:A comparativereview,”Opt.Lasers Eng.85，84–103(2016).]，该方法通过不同时间轴上的光强分布来唯一确定逐像素的条纹级次。但是，由于该方法需投影额外的不同频率辅助条纹，这降低了相位展开效率，增加了相移法对物体运动的敏感程度，因此不适合对快速运动场景的测量。基于几何约束的立体相位展开法[T.Weise，B.Leibe，and L.Van Gool，“Fast 3D scanningwith automatic motion compensation,”in 2007IEEE Conference on Computer Visionand Pattern Recognition(IEEE，2007)，pp.1–8.]可以通过多台相机和一台投影机之间的空间位置关系解决相位模糊问题，而无需投影任何辅助图案。尽管需要比传统方法更多的相机(至少两个)，立体相位展开法的确使FPP的效率最大化。但是，由于立体相位展开法的稳定性取决于不同视角匹配点的相位信息相似性[T.Tao，Q.Chen，S.Feng，Y.Hu，M.Zhang，and C.Zuo，“High-precision real time 3D shape measurement based on a quad-camera system,”J.Opt.20，014009(2017).]，所以其对包裹相位的质量有很高的要求，因此立体相位展开法中的包裹相位通常是通过相移法[C.Zuo，S.Feng，L.Huang，T.Tao，W.Yin，and Q.Chen，“Phase shifting algorithms for fringe projectionprofilometry:A review,”Opt.Lasers Eng.109，23–59(2018).]获得的(相移法是一种多帧相位获取方法，具有高空间分辨率和高测量精度)。但是，使用多个条纹图像会降低立体相位展开法的测量效率。另一种常用的相位获取技术是具有单帧性质的傅立叶法[L.Huang，Q.Kemao，B.Pan，and A.K.Asundi，“Comparison of fourier transform，windowed fourier transform，and wavelet transform methods for phase extractionfrom a single fringe pattern in fringe projection profilometry,”Opt.LasersEng.48，141–148(2010).]，但是该方法的成像质量较差，不适合立体相位展开法的应用。

由上述分析可见，尽管基于几何约束的立体相位展开法能够最大化相位展开效率，但由于其对相位质量的高要求，依旧无法实现单帧的三维成像。

发明内容

本发明目的在于提供一种单帧条纹投影三维面型测量方法，将深度学习与几何约束相结合，这种物理模型驱动+数据驱动的混合体结合了深度学习的强大特征提取优势与几何约束的高效相位展开优势，在单帧投影的前提下实现了高质量相位提取、鲁棒性相位展开和高精度绝对深度恢复。相比于纯深度学习方法，本发明利用传统基于物理模型的方法代替部分条纹投影轮廓术的关键步骤，以保证所提出方法的稳定性与普适性；相比于传统的几何约束方法，本发明利用基于数据驱动的方法赋予几何约束单帧投影的特性，以保证所提出方法对动态场景测量的免疫性。

为达成上述目的，本发明提出如下技术方案：一种单帧条纹投影三维面型测量方法，基于深度学习与三目几何约束相结合，包括如下步骤：

S1：构建深度卷积神经网络，所述深度卷积神经网络具有6条路径，定义该深度卷积神经网络为DL_net；

S2：搭建三目条纹投影轮廓系统，所述三目条纹投影轮廓系统生成训练数据并训练DL_net，定义训练后DL_net为DL_model；

S3：利用训练完成的DL_model预测三个视角下的包裹相位；

S4：利用步骤三中预测的包裹相位，结合多相机间的标定空间关系实现相位展开，进而进行三维重构。

进一步的，在本发明中，步骤S1中，深度卷积神经网络的6条路径分别为处理路径1、处理路径2、处理路径3、处理路径4、处理路径5和处理路径6：

处理路径1，输入的数据经过第一卷积层、第一残差模块、第二卷积层，最后进入连接层；

处理路径2，输入数据经过第三卷积层、第一池化层、第二残差模块、第一上采样层、第四卷积层，最后进入连接层；

处理路径3，输入数据经过第五卷积层、第二池化层、第三残差模块、第二上采样层、第三上采样层、第六卷积层，最后进入连接层；

处理路径4，输入的数据依次经过第七卷积层、第三池化层、第四残差模块、第四上采样层、第五上采样层、第六上采样层、第八卷积层，最后进入连接层；

处理路径5，输入的数据依次经过第九卷积层、第四池化层、第五残差模块、第七上采样层、第八上采样层、第九上采样层、第十上采样层、第十卷积层，最后进入连接层；

处理路径6，输入的数据依次经过第十一卷积层、第五池化层、第六残差模块、第十一上采样层、第十二上采样层、第十三上采样层、第十四上采样层、第十五上采样层、第十二卷积层，最后进入连接层；

所述连接层将6路数据进行叠加，叠加后的数据经过第十三卷积层输出通道数为6的3D张量。

3.根据权利要求2所述的单帧条纹投影三维面型测量方法，其特征在于，步骤S2包括如下步骤：S21、S22、S23和S24，其中步骤S21：

其中步骤S21具体过程如下，搭建三目条纹投影轮廓系统，并对系统进行标定，搭建的三目条纹投影轮廓系统由一个投影仪和三个相机组成，三个相机分别为相机a、相机b和相机c，投影仪和3个相机之间用3根触发线相连接；

三个相机与投影仪间的摆放位置为：相机a与投影仪之间设置摆放一个相机的空隙，相机b置于相机a与投影仪之间并靠近相机a摆放，相机c与相机a关于投影仪对称摆放，然后将整个系统标定到统一世界坐标系下，得到3个相机与投影仪的内参和外参，并将这些参数转化为二维到三维的映射参数；

其中步骤S22具体过程如下，投影仪向物体投影12幅48周期的12步相移条纹图像，由三个相机同步采集所投影的条纹图像，并利用多步相移法生成训练DL_net所需的一组输入与输出数据；

步骤S22包括如下步骤：S221、S222、S223、S224、S225和S226；

其中步骤S221具体过程如下，使用投影仪向物体投影12幅48周期的12步相移条纹图像，由三个相机同步采集所投影的条纹图像，记相机a、相机b、相机c所采集的条纹图像分别表示为

其中下标表示相机编号，1对应相机a，2对应相机b，3对应相机c，上标表示12幅相移条纹图像中的哪一幅；

其中步骤S222具体过程如下，使用多步相移法获取三个相机视角下的包裹相位

下标表示相机编号：

式中n＝1,2,...,12，M和D分别表示反正切函数的分子项与分母项；

其中步骤S223具体过程如下，将上述计算所得的三个相机视角下的分子项和分母项，相机a的分子项和分母项为M₁和D₁，相机b的分子项和分母项为M₂和D₂，相机c的分子项和分母项为M₃和D₃，M₁、D₁、M₂、D₂、M₃和D₃作为DL_net的一组输出数据，将三个相机所采集的12幅图像中的第一幅图像，即I₁ ¹、

作为DL_net的一组输入数据；

其中步骤S223具体过程如下，重复S222的步骤，生成1000组训练数据；

其中步骤S224具体过程如下，训练DL_net，并生成训练模型DL_model，将

作为输入数据，M₁，D₁，M₂，D₂，M₃，D₃作为标准数据送入DL_net，利用均方误差作为损失函数，计算标准值与DL_net输出值之间的差异，结合反向传播法，反复迭代优化DL_net的内部参数，直到损失函数收敛，此时DL_net训练结束，其中在DL_net的训练过程中，除第十三卷积层，其余卷积层中使用的激活函数均为线性整流函数，迭代优化损失函数时，采用Adam算法寻找损失函数的最小值，记最终训练后的模型为DL_model。

进一步的，在本发明中，步骤S3包括S31和S32；

其中步骤S31具体过程如下，投影仪向物体投影1幅48周期的相移条纹图像，由三个相机同步采集所投影的条纹图像，记相机a、相机b、相机c所采集的条纹图像分别表示为I₁′、I₂′、I₃′，上标用于区分训练数据集；

其中步骤S32具体过程如下，利用训练完成的模型DL_model预测三个相机视角下的包裹相位，在训练完成后的DL_model中输入I₁′、I₂′、I₃′，输出用于计算三个相机视角下高精度包裹相位信息的分子项和分母项M₁′，D₁′，M₂′，D₂′，M₃′，D₃′，其中上标用于区分训练数据集，最后根据公式(A)、(B)和(C)求得三个相机视角下的高质量包裹相位信息

其中上标用于区分训练数据集。

进一步的，在本发明中，步骤S4包括步骤S41、S42、S43和S44；

其中步骤S41具体过程如下，寻找相机a中某个像素点对应的48个3D候选点，对于相机a中的任意一个像素点

都有48个可能的绝对相位，利用步骤S21中获得的二维到三维的映射参数可将这些可能的绝对相位重构出48个三维候选点，假设这48个三位候选点分别有一个序号，表示为k_i，其中i＝0,1,2....4；然后通过预先设定的深度约束范围[-200，200]可排除部分错误的、在深度约束范围之外的三维候选点；

其中步骤S42具体过程如下，寻找相机b中的2D候选点，假设排除后的三维候选点的数目为N₁(0＜N₁＜48)，再通过步骤S21中获得的三维到二维的映射参数，将N₁个三维候选点投影到相机b中获得N₁个对应的二维候选点，这些二维候选点中必有一个正确的匹配点，且该正确的匹配点与相机a中的

应有相似的包裹相位值，利用该特性可通过相位一致性检验来找出正确的匹配点，将包裹相位与

点的相位差在0.6rad以内的二维候选点保留，排除其他候选点；

其中步骤S43具体过程如下，寻找相机c中的2D候选点，确定相机a中某个像素点的相位级次，假设剩下的二维候选点的数量为N₂(0＜N₂＜N₁)，再通过步骤S21中获取的二维到二维的映射参数将这些二维候选点投影到相机c获得对应的N₂个二维候选点，将这些候选点再与第一相机a中的

点进行相位一致性检验，保留相位差在0.8rad以内的候选点，经过2轮的相位一致性检验，此时唯一正确的候选点可以被确认，该候选点对应的序号k_i即为

点的相位级次，最后可由下式获取相机a中

点的绝对相位

其中步骤S44具体过程如下，获取物体绝对相位及单个视角下的三维信息，在计算机GPU中并行地对相机a中的每个像素点执行上述操作即可获取相机a视角下的被测物的绝对相位，最后通过步骤S21中获得的标定参数可重构出物体单个视角下的高精度三维形貌信息。

有益效果，本申请的技术方案具备如下技术效果：

1、本发明目的在于提供一种基于深度学习与三目几何约束相结合单帧条纹投影三维面型测量方法，首先利用深度学习方法，在大量数据的驱动下实现三个相机视角下单帧条纹图像的高质量相位信息提取，然后利用多视角间的标定空间极线关系，以包裹相位信息的相似度为度量实现鲁棒性的相位展开，进而恢复出被测物的高精度绝对深度信息，本发明结合了深度学习的强大特征提取优势与几何约束的高效相位展开优势，在单帧投影的前提下实现了高质量相位提取、鲁棒性相位展开和高精度绝对深度恢复。

2、本发明与传统技术相比，其显著优点为：相比于纯深度学习方法，本发明利用传统基于物理模型的方法代替部分条纹投影轮廓术的关键步骤，以保证所提出方法的稳定性与普适性；相比于传统的几何约束方法，本发明利用基于数据驱动的方法赋予几何约束单帧投影的特性，以保证所提出方法对动态场景测量的免疫性。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1：本发明基于深度学习与三目几何约束相结合单帧条纹投影三维面型测量方法步骤流程示意图。

图2：DL_net的结构与原理图。

图3：传统立体相位展开法与本发明提出的基于深度学习与三目几何约束相结合单帧条纹投影三维面型测量方法对动态场景的测量结果。其中图3(a)-3(c)为传统方法的结果，图3(d)-3(f)为本发明方法的结果。

图中，各附图标记的含义如下：1、第一卷积层；2、第一残差模块；3、第二卷积层；4、连接层；5、第三卷积层；6、第一池化层；7、第二残差模块；8、第一上采样层；9、第四卷积层；10、第五卷积层；11、第二池化层；12、第三残差模块；13、第二上采样层；14、第三上采样层；15、第六卷积层；16、第七卷积层；17、第三池化层；18、第四残差模块；19、第四上采样层；20、第五上采样层；21、第六上采样层；22、第八卷积层；23、第九卷积层；24、第四池化层；25、第五残差模块；26、第七上采样层；27、第八上采样层；28、第九上采样层；29、第十上采样层；30、第十卷积层；31、第十一卷积层；32、第五池化层；33、第六残差模块；34、第十一上采样层；35、第十二上采样层；36、第十三上采样层；37、第十四上采样层；38、第十五上采样层；39、第十二卷积层；40、第十三卷积层。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

本发明基于深度学习与三目几何约束相结合单帧条纹投影三维面型测量方法，可在单帧投影的前提下实现了高质量相位提取、鲁棒性相位展开和高精度绝对深度恢复。本方法包括以下四个步骤：

S1：构建深度卷积神经网络，所述深度卷积神经网络具有6条路径，定义该深度卷积神经网络为DL_net。

S2：搭建三目条纹投影轮廓系统，所述三目条纹投影轮廓系统生成训练数据并训练DL_net，定义训练后DL_net为DL_model。

步骤三：利用训练完成的DL_model预测三个视角下的包裹相位。

步骤四：利用步骤三中预测的包裹相位，结合多相机间的标定空间关系实现相位展开，进而进行三维重构。

S1步骤具体如下，构建一个6路残差卷积神经网络，被称为DL_net。传统相位获取法为相移法和傅里叶法。前者相位计算精度高，但至少需三幅条纹图像，测量效率低，无法满足动态场景下的测量需求；后者可通过单帧图像提取相位信息，效率高，可用于动态场景的测量，但测量精度低。针对传统相位获取法在测量效率和测量精度方面的矛盾，本发明创新性的采用深度学习的方法进行条纹分析。具体如下：

首先构建一个深度神经网络，记作DL_net，构建的DL_net结构如图2所示，图中(H，W)代表所使用的图像的尺寸，C表示深度学习层的通道数。DL_net的输入和输出分别是一个具有3通道的3D张量和一个具有6通道的3D张量。所构建的DL_net由6个路径组成。处理路径1，输入的数据经过第一卷积层1、第一残差模块2、第二卷积层3，最后进入连接层4；

处理路径2，输入数据经过第三卷积层5、第一池化层6、第二残差模块7、第一上采样层8、第四卷积层9，最后进入连接层4；

处理路径3，输入数据经过第五卷积层10、第二池化层11、第三残差模块12、第二上采样层13、第三上采样层14、第六卷积层15，最后进入连接层4；

处理路径4，输入的数据依次经过第七卷积层16、第三池化层17、第四残差模块18、第四上采样层19、第五上采样层20、第六上采样层21、第八卷积层22，最后进入连接层4；

处理路径5，输入的数据依次经过第九卷积层23、第四池化层24、第五残差模块25、第七上采样层26、第八上采样层27、第九上采样层28、第十上采样层29、第十卷积层30，最后进入连接层4；

处理路径6，输入的数据依次经过第十一卷积层31、第五池化层32、第六残差模块33、第十一上采样层34、第十二上采样层35、第十三上采样层36、第十四上采样层37、第十五上采样层38、第十二卷积层39，最后进入连接层4；

所述连接层4将6路数据进行叠加，叠加后的数据经过第十三卷积层40输出通道数为6的3D张量。

每个残差模块具体的构建方法参考[K.He，X.Zhang，S.Ren，and J.Sun，“Deepresidual learning for image recognition,”in Proceedings of the IEEEconference on computer vision and pattern recognition(IEEE，2016)，pp.770–778.]。DL_net中的第一池化层6、第二池化层11、第三池化层17、第四池化层24和第五池化层32分别对数据进行1/2、1/4、1/8、1/16、1/32的降采样，以提高网络对特征的识别能力，同时保持通道数量保持不变。第一上采样层8至第十五上采样层38的作用是对数据进行分辨率的上采样，将数据的高度和宽度分别变为上一次的2倍，目的是恢复图像的原始分辨率。随后，连接层4将6路数据进行叠加。最后，经过第十三卷积层40，输出通道数为6的3D张量。

步骤S2包括如下步骤：S21、S22、S23和S24，其中步骤S21：

其中步骤S21具体过程如下，搭建三目条纹投影轮廓系统，并对系统进行标定。搭建的三目条纹投影轮廓系统由一个投影仪和三个相机组成。投影仪和3个相机之间用3根触发线相连接。相机与投影仪间的摆放位置为：相机a与投影仪之间设置摆放一个相机的空隙，相机b置于相机a与投影仪之间并靠近相机a摆放，相机c与相机a关于投影仪对称摆放；然后利用张正友标定算法[Z.Zhang，“A flexible new technique for cameracalibration.”IEEE Transactions on pattern analysis and machineintelligence.22(11)，1330-1334(2000).]，将整个系统标定到统一世界坐标系下，得到3个相机与投影仪的内参和外参，并将这些参数转化为二维到三维的映射参数[K.Liu，Y.Wang，D.L.Lau，et al，“Dual-frequency pattern scheme for high-speed 3-D shapemeasurement.”Optics express.18(5):5229-5244(2010).]。

其中步骤S22具体过程如下，投影仪向物体投影12幅48周期的12步相移条纹图像，由三个相机同步采集所投影的条纹图像，并利用多步相移法生成训练DL_net所需的一组输入与输出数据，步骤S22包括如下步骤：S221、S222、S223、S224、S225和S226；

其中步骤S221具体过程如下，使用投影仪向物体投影12幅48周期的12步相移条纹图像，由三个相机同步采集所投影的条纹图像，记相机a、相机b、相机c所采集的条纹图像分别表示为

其中下标表示相机编号，1对应相机a，2对应相机b，3对应相机c，上标表示12幅相移条纹图像中的哪一幅；

其中步骤S222具体过程如下，使用多步相移法获取三个相机视角下的包裹相位

下标表示相机编号：

式中n＝1,2,...,12，M和D分别表示反正切函数的分子项与分母项；

其中步骤S223具体过程如下，将上述计算所得的三个相机视角下的分子项和分母项，相机a的分子项和分母项为M₁和D₁，相机b的分子项和分母项为M₂和D₂，相机c的分子项和分母项为M₃和D₃，M₁、D₁、M₂、D₂、M₃和D₃作为DL_net的一组输出数据，将三个相机所采集的12幅图像中的第一幅图像，即

作为DL_net的一组输入数据；

其中步骤S223具体过程如下，重复S222的步骤，生成1000组训练数据。

其中步骤S224具体过程如下，训练DL_net，并生成训练模型DL_model，将

作为输入数据，M₁，D₁，M₂，D₂，M₃，D₃作为标准数据送入DL_net，利用均方误差作为损失函数，计算标准值与DL_net输出值之间的差异，结合反向传播法，反复迭代优化DL_net的内部参数，直到损失函数收敛，此时DL_net训练结束，其中在DL_net的训练过程中，除第十三卷积层40，其余卷积层中使用的激活函数均为线性整流函数，迭代优化损失函数时，采用Adam算法寻找损失函数的最小值，记最终训练后的模型为DL_model。

步骤S3包括S31和S32，步骤S3利用训练完成的DL_model实现对三个相机视角下的高质量相位恢复,具体如下：

其中步骤S31具体过程如下，投影仪向物体投影1幅48周期的相移条纹图像，由三个相机同步采集所投影的条纹图像，记相机a、相机b、相机c所采集的条纹图像分别表示为I₁′、I₂′、I₃′，上标用于区分训练数据集；

其中步骤S32具体过程如下，利用训练完成的模型DL_model预测三个相机视角下的包裹相位，在训练完成后的DL_model中输入I₁′、I₂′、I₃′，输出用于计算三个相机视角下高精度包裹相位信息的分子项和分母项M₁′，D₁′，M₂′，D₂′，M₃′，D₃′，其中上标用于区分训练数据集，最后根据公式(A)-(C)求得三个相机视角下的高质量包裹相位信息

其中上标用于区分训练数据集。

步骤S4包括步骤S41、S42、S43和S44，步骤S4结合多相机间的标定空间关系实现相位展开，进而进行三维重构，传统的相位展开法是时间相位展开法，该方法需投影额外的不同频率辅助条纹，这降低了相位展开效率，增加了相移法对物体运动的敏感程度。为提高相位展开效率，降低单次重构所用的条纹图数以降低相移法对运动的敏感程度，本发明采用基于几何约束的立体相位展开法，仅通过单个频率的条纹图像就可获取物体的绝对相位，具体如下：

其中步骤S41具体过程如下，寻找相机a中某个像素点对应的48个3D候选点，对于相机a中的任意一个像素点

都有48个可能的绝对相位，利用步骤一中获得的二维到三维的映射参数可将这些可能的绝对相位重构出48个三维候选点，假设这48个三位候选点分别有一个序号，表示为k_i，其中i＝0,1,2....47；然后通过预先设定的深度约束范围[-200,200]可排除部分错误的、在深度约束范围之外的三维候选点。

其中步骤S42具体过程如下，寻找相机b中的2D候选点，假设排除后的三维候选点的数目为N₁(0＜N₁＜48)，再通过步骤一中获得的三维到二维的映射参数，将N₁个三维候选点投影到相机b中获得N₁个对应的二维候选点。这些二维候选点中必有一个正确的匹配点，且该正确的匹配点与相机a中的

应有相似的包裹相位值，利用该特性可通过相位一致性检验来找出正确的匹配点。但是由于环境噪声和系统误差等因素的存在，上述假设可能不成立，一些错误候选点的包裹相位可能更接近于

的包裹相位。因此这里仅将包裹相位与

点的相位差在0.6rad以内的二维候选点保留，排除其他候选点。

其中步骤S43具体过程如下，寻找相机c中的2D候选点，确定相机a中某个像素点的相位级次，假设剩下的二维候选点的数量为N₂(0＜N₂＜N₁)，再通过步骤一中获取的二维到二维的映射参数将这些二维候选点投影到相机c获得对应的N₂个二维候选点，将这些候选点再与第一相机a中的

点进行相位一致性检验，保留相位差在0.8rad以内的候选点(考虑到由于相机a与相机c之间的距离相比相机a与相机b之间的更远，投影点的精度更差，因此设定更大的相位阈值)。经过2轮的相位一致性检验，此时唯一正确的候选点可以被确认，该候选点对应的序号k_i即为

点的相位级次；最后可由下式获取相机a中

点的绝对相位

其中步骤S44具体过程如下，获取物体绝对相位及单个视角下的三维信息，在计算机GPU中并行地对相机a中的每个像素点执行上述操作即可获取相机a视角下的被测物的绝对相位。最后通过步骤一中获得的标定参数可重构出物体单个视角下的高精度三维形貌信息[K.Liu，Y.Wang，D.L.Lau，et al，“Dual-frequency pattern scheme for high-speed3-D shape measurement.”Optics express.18(5):5229-5244(2010).]。

实施例：

为验证本发明所述方法的有效性，基于三台灰度相机(型号acA640-750um，Basler)，一台投影仪(型号LightCrafter 4500Pro，TI)构建了一套三目条纹投影轮廓系统用以采集彩色条纹图像。训练数据时，共采集了1000组数据，训练过程中将800组数据用于训练，200组数据用于验证。训练结束后，为证明本方法有效性，对一个在训练时未见过的动态场景作为测试。为了体现本方法的优点，将本方法与一种传统立体相位展开方法[T.Tao，Q.Chen，S.Feng，Y.Hu，M.Zhang，and C.Zuo，“High-precision real time 3D shapemeasurement based on a quad-camera system,”J.Opt.20，014009(2017).]进行了比较。图3展示了测量结果，其中图3(a)-3(c)为传统方法的测量结果，图3(d)-3(f)为本发明所提出方法的测量结果。从结果中可看出，由于传统方法使用了相移法，因此在测量运动场景时出现了明显的波纹状的运动误差；此外，由于传统立体相位展开法对包裹相位质量有较高的要求，因此运动导致的运动误差进而引起了严重的相位展开错误，导致重构的三维面型出现大量空缺。而本发明的方法在面对动态场景时依旧表现出出色的成像质量；同时需要指出的是，本发明仅仅利用了单帧的条纹投影，便实现了高质量的相位信息恢复、鲁棒性的相位展开以及高精度的三维重建。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (5)

1.一种单帧条纹投影三维面型测量方法，其特征在于，包括如下步骤：

S1：构建深度卷积神经网络，所述深度卷积神经网络具有6条路径，定义该深度卷积神经网络为DL_net；

S2：搭建三目条纹投影轮廓系统，所述三目条纹投影轮廓系统生成训练数据并训练DL_net，定义训练后DL_net为DL_model；

S3：利用训练完成的DL_model预测三个视角下的包裹相位；

S4：利用步骤三中预测的包裹相位，结合多相机间的标定空间关系实现相位展开，进而进行三维重构。

2.根据权利要求1所述的单帧条纹投影三维面型测量方法，其特征在于，步骤S1中，深度卷积神经网络的6条路径分别为处理路径1、处理路径2、处理路径3、处理路径4、处理路径5和处理路径6：

处理路径1，输入的数据经过第一卷积层(1)、第一残差模块(2)、第二卷积层(3)，最后进入连接层(4)；

处理路径2，输入数据经过第三卷积层(5)、第一池化层(6)、第二残差模块(7)、第一上采样层(8)、第四卷积层(9)，最后进入连接层(4)；

处理路径3，输入数据经过第五卷积层(10)、第二池化层(11)、第三残差模块(12)、第二上采样层(13)、第三上采样层(14)、第六卷积层(15)，最后进入连接层(4)；

处理路径4，输入的数据依次经过第七卷积层(16)、第三池化层(17)、第四残差模块(18)、第四上采样层(19)、第五上采样层(20)、第六上采样层(21)、第八卷积层(22)，最后进入连接层(4)；

处理路径5，输入的数据依次经过第九卷积层(23)、第四池化层(24)、第五残差模块(25)、第七上采样层(26)、第八上采样层(27)、第九上采样层(28)、第十上采样层(29)、第十卷积层(30)，最后进入连接层(4)；

处理路径6，输入的数据依次经过第十一卷积层(31)、第五池化层(32)、第六残差模块(33)、第十一上采样层(34)、第十二上采样层(35)、第十三上采样层(36)、第十四上采样层(37)、第十五上采样层(38)、第十二卷积层(39)，最后进入连接层(4)；

所述连接层(4)将6路数据进行叠加，叠加后的数据经过第十三卷积层(40)输出通道数为6的3D张量。

3.根据权利要求2所述的单帧条纹投影三维面型测量方法，其特征在于，步骤S2包括如下步骤：S21、S22、S23和S24，其中步骤S21：

其中步骤S21具体过程如下，搭建三目条纹投影轮廓系统，并对系统进行标定，搭建的三目条纹投影轮廓系统由一个投影仪和三个相机组成，三个相机分别为相机a、相机b和相机c，投影仪和3个相机之间用3根触发线相连接；

三个相机与投影仪间的摆放位置为：相机a与投影仪之间设置摆放一个相机的空隙，相机b置于相机a与投影仪之间并靠近相机a摆放，相机c与相机a关于投影仪对称摆放，然后将整个系统标定到统一世界坐标系下，得到3个相机与投影仪的内参和外参，并将这些参数转化为二维到三维的映射参数；

其中步骤S22具体过程如下，投影仪向物体投影12幅48周期的12步相移条纹图像，由三个相机同步采集所投影的条纹图像，并利用多步相移法生成训练DL_net所需的一组输入与输出数据；

步骤S22包括如下步骤：S221、S222、S223、S224、S225和S226；

其中步骤S221具体过程如下，使用投影仪向物体投影12幅48周期的12步相移条纹图像，由三个相机同步采集所投影的条纹图像，记相机a、相机b、相机c所采集的条纹图像分别表示为

其中下标表示相机编号，1对应相机a，2对应相机b，3对应相机c，上标表示12幅相移条纹图像中的哪一幅；

其中步骤S222具体过程如下，使用多步相移法获取三个相机视角下的包裹相位

下标表示相机编号：

式中n＝1,2,...,12，M和D分别表示反正切函数的分子项与分母项；

其中步骤S223具体过程如下，将上述计算所得的三个相机视角下的分子项和分母项，相机a的分子项和分母项为M₁和D₁，相机b的分子项和分母项为M₂和D₂，相机c的分子项和分母项为M₃和D₃M₁、D₁M₂、D₂M₃和D₃作为DL_net的一组输出数据，将三个相机所采集的12幅图像中的第一幅图像，即

作为DL_net的一组输入数据；

其中步骤S223具体过程如下，重复S222的步骤，生成1000组训练数据；

其中步骤S224具体过程如下，训练DL_net，并生成训练模型DL_model，将

作为输入数据，M₁，D₁，M₂，D₂，M₃，D₃作为标准数据送入DL_net，利用均方误差作为损失函数，计算标准值与DL_net输出值之间的差异，结合反向传播法，反复迭代优化DL_net的内部参数，直到损失函数收敛，此时DL_net训练结束，其中在DL_net的训练过程中，除第十三卷积层(40)，其余卷积层中使用的激活函数均为线性整流函数，迭代优化损失函数时，采用Adam算法寻找损失函数的最小值，记最终训练后的模型为DL_model。

4.根据权利要求3所述的单帧条纹投影三维面型测量方法，其特征在于，步骤S3包括S31和S32；

其中步骤S31具体过程如下，投影仪向物体投影1幅48周期的相移条纹图像，由三个相机同步采集所投影的条纹图像，记相机a、相机b、相机c所采集的条纹图像分别表示为I′₁、I′₂、I′₃，上标用于区分训练数据集；

其中步骤S32具体过程如下，利用训练完成的模型DL_model预测三个相机视角下的包裹相位，在训练完成后的DL_model中输入I′₁、I′₂、I′₃，输出用于计算三个相机视角下高精度包裹相位信息的分子项和分母项M′₁，D′₁，M′₂，D′₂，M′₃，D′₃，其中上标用于区分训练数据集，最后根据公式(A)、(B)和(C)求得三个相机视角下的高质量包裹相位信息

其中上标用于区分训练数据集。

5.根据权利要求1所述的单帧条纹投影三维面型测量方法，其特征在于，步骤S4包括步骤S41、S42、S43和S44；

其中步骤S41具体过程如下，寻找相机a中某个像素点对应的48个3D候选点，对于相机a中的任意一个像素点

都有48个可能的绝对相位，利用步骤S21中获得的二维到三维的映射参数可将这些可能的绝对相位重构出48个三维候选点，假设这48个三位候选点分别有一个序号，表示为k_i，其中i＝0,1,2....4；然后通过预先设定的深度约束范围[-200,200]可排除部分错误的、在深度约束范围之外的三维候选点；

其中步骤S42具体过程如下，寻找相机b中的2D候选点，假设排除后的三维候选点的数目为N₁(0＜N₁＜48)，再通过步骤S21中获得的三维到二维的映射参数，将N₁个三维候选点投影到相机b中获得N₁个对应的二维候选点，这些二维候选点中必有一个正确的匹配点，且该正确的匹配点与相机a中的

应有相似的包裹相位值，利用该特性可通过相位一致性检验来找出正确的匹配点，将包裹相位与

点的相位差在0.6rad以内的二维候选点保留，排除其他候选点；

其中步骤S43具体过程如下，寻找相机c中的2D候选点，确定相机a中某个像素点的相位级次，假设剩下的二维候选点的数量为N₂(0＜N₂＜N₁)，再通过步骤S21中获取的二维到二维的映射参数将这些二维候选点投影到相机c获得对应的N₂个二维候选点，将这些候选点再与第一相机a中的

点进行相位一致性检验，保留相位差在0.8rad以内的候选点，经过2轮的相位一致性检验，此时唯一正确的候选点可以被确认，该候选点对应的序号k_i即为

点的相位级次，最后可由下式获取相机a中

点的绝对相位

其中步骤S44具体过程如下，获取物体绝对相位及单个视角下的三维信息，在计算机GPU中并行地对相机a中的每个像素点执行上述操作即可获取相机a视角下的被测物的绝对相位，最后通过步骤S21中获得的标定参数可重构出物体单个视角下的高精度三维形貌信息。

Images