CN113551617A - 基于条纹投影的双目双频互补三维面型测量方法 - Google Patents

Abstract

本发明公开了一种基于条纹投影的双目双频互补三维面型测量方法，通过投影两组高低频率的条纹图像，基于双目立体相位展开法，以两种频率的相位相似性度量为指导实现低频相位无歧义展开，进而恢复被测物绝对深度；然后仅使用单种频率的条纹图像，以上一时刻所测量的深度信息为依据，迅速纠正离群点云，确保快速、准确、高质量三维形貌测量的进行。本发明无需投影额外的辅助条纹图像，可通过三幅图像实现稳定相位展开，成像效率提高2/3；本发明利用高低频互补特性，以更少的相机视角实现了对动态场景的高精度的三维信息测量。

Description

基于条纹投影的双目双频互补三维面型测量方法

技术领域

本发明属于光学测量技术领域，具体为一种基于条纹投影的双目双频互补三维面型测量方法。

背景技术

条纹投影轮廓术(FPP)是目前最为广泛使用的三维成像技术之一[J.Qian,S.Feng,T.Tao,Y.Hu,K.Liu,S.Wu,Q.Chen,and C.Zuo,“Highresolution real-time 360°3D model reconstruction ofa handheld object with fringe projectionprofilometry,”Opt.Lett.44,5751–5754(2019).]。随着快速逆向建模、在线质量检测、智能制造等应用对三维传感技术提出更高的速度要求，如何高速度高精度重构出物体的三维信息成为当下的研究和工程热点。

相位展开是条纹投影轮廓术中的关键步骤[J.Qian,T.Tao,S.Feng,Q.Chen,andC.Zuo,“Motion-artifact-free dynamic 3D shape measurement with hybrid fourier-transformphase-shifting profilometry,”Opt.Express 27,2713–2731(2019).]。传统的相位展开法为时间相位展开法[C.Zuo,L.Huang,M.Zhang,Q.Chen,and A.Asundi,“Temporal phase unwrapping algorithms for fringe projection profilometry:Acomparative review,”Opt.Lasers Eng.85,84–103(2016).]，该方法通过不同时间轴上的唯一的条纹图像光强分布来逐像素确定条纹级次。但是，由于该方法需投影额外的不同频率辅助条纹图像(通常需至少投影三种不同频率的9幅三步相移条纹图像)，这降低了相位展开效率，增加了三维重构算法对物体运动的敏感程度，因此不适合对快速运动场景的测量。基于几何约束的立体相位展开法[T.Weise,B.Leibe,and L.Van Gool,“Fast 3Dscanning with automatic motion compensation,”in 2007 IEEE Conference onComputerVision and Pattern Recognition(IEEE,2007),pp.1–8.]可以通过多台相机和一台投影机之间的空间位置关系解决相位模糊问题，而无需投影任何辅助图案。尽管需要比传统方法更多的相机(至少两个)，立体相位展开法的确使FPP的效率最大化。但是，传统立体相位展开法很难稳定展开包裹相位，这通常需要更多相机视角(4个)的辅助[T.Tao,Q.Chen,S.Feng,Y.Hu,M.Zhang,and C.Zuo,“High-precision real time 3D shapemeasurement based on a quad-camera system,”J.Opt.20,014009(2017).]，但这样的操作进一步增加了硬件成本。

发明内容

本发明目的在于提供一种基于条纹投影的双目双频互补三维面型测量方法。

实现本发明目的的技术方案为：一种基于条纹投影的双目双频互补三维面型测量方法，具体步骤为：

步骤1：搭建双目条纹投影轮廓系统，完成系统的标定；

步骤2：利用双目条纹投影轮廓系统投影6幅双频三步相移条纹图像，采用立体相位展开法进行低频相位无歧义展开，恢复出物体三维形貌；

步骤3：根据获取的深度信息，利用自适应深度约束通过单个频率的条纹图像实现相位无歧义展开，恢复物体的三维形貌。

优选地，所述双目条纹投影轮廓系统包括一个投影仪和两个相机，两相机关于投影仪对称摆放，投影仪和相机之间用2根触发线相连接；利用张正友标定算法将整个系统标定到统一世界坐标系下，得到2个相机与1个投影仪的内参和外参，并将内参和外参转化为三维到二维、三维到二维的映射参数。

优选地，利用双目条纹投影轮廓系统投影6幅双频三步相移条纹图像，采用立体相位展开法进行低频相位无歧义展开，恢复出物体三维形貌的具体方法为：

步骤2.1：使用投影仪分别向被测物投影三幅高频三步相移条纹图像和三幅低频三步相移条纹图像，由两相机同步采集所投影的条纹图像，根据采集到的图像，获取包裹相位；

步骤2.2：根据映射参数确定相机1中任意一个像素点对应的三维候选点；

步骤2.3：寻找相机2中的二维候选点，通过相位相似性度量获取相机2中的匹配点；

步骤2.4：根据候选点获取物体绝对相位；

步骤2.5：在计算机GPU中并行地对相机1中的每个像素点执行步骤2.1～步骤2.4获取相机1视角下的被测物的低频绝对相位，通过步骤1中获得的标定参数重构出物体的三维形貌信息。

优选地，获取包裹相位的具体公式为：

式中，

和

分别表示高频条纹图像和低频条纹图像的包裹相位，

表示相机1采集到的高频三步相移条纹图像中的第n幅，n∈[1,3]，上标中的c₁表示相机1，h表示高频频率，

表示相机1采集到的低频三步相移条纹图像中的第n幅，上标中的c₁表示相机1，l表示低频频率。

优选地，寻找相机2中的二维候选点，通过相位相似性度量获取相机2中的匹配点的具体方法为：

通过步骤1中获得的映射参数将步骤2.2确定的三维候选点投影到相机2中获得对应的二维候选点；

对低频包裹相位和高频包裹相位进行相位一致性检验，将高频和低频包裹相位相似性均高于设定阈值的二维候选点选为匹配点。

优选地，物体绝对相位的计算公式为：

式中，

为相机1中候选点的低频绝对相位，k_i为候选点对应的序号，

为

点的低频包裹相位。

优选地，根据获取的深度信息，利用自适应深度约束通过单个频率的条纹图像实现相位无歧义展开，恢复物体的三维形貌的具体方法为：

步骤3.1：使用投影仪向被测物投影3幅高频率或者低频率的3步相移条纹图像，两相机同步采集所投影的条纹图像，获取高频包裹相位；

步骤3.2：寻找相机1中任意像素点对应的3D候选点，利用自适应深度约束排除错误候选点；

步骤3.3：寻找相机2中的2D候选点，通过相位相似性度量获取相机2中的高频匹配点；

步骤3.4：根据候选点获取物体绝对相位；

步骤3.5：在计算机GPU中并行地对相机1中的每个像素点执行步骤3.1～步骤3.4获取相机1视角下的被测物的高频绝对相位，通过步骤1中获得的标定参数重构出物体的三维形貌信息。

优选地，寻找相机1中任意像素点对应的3D候选点，利用自适应深度约束排除错误候选点的具体方法为：

a.利用步骤1中获得的三维到二维的映射参数将相机1中的任意一个像素点

的高频包裹相位的h个可能的绝对相位重构出h个三维候选点；

b.利用步骤2获取的三维形貌信息，统计以每个像素点为中心的矩形框内的最大深度和最小深度，构成一个逐像素的深度约束范围；对于每个像素点，排除在像素点深度约束范围外的3D候选点。

本发明与现有技术相比，其显著优点为：本发明无需投影额外的辅助条纹图像，可通过三幅图像实现稳定相位展开，成像效率提高2/3；本发明利用高低频互补特性，在自适应深度约束的辅助下，以更少的相机视角实现了稳定的相位歧义性去除，进一步降低了立体相位展开法所需的硬件成像。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为本发明基于条纹投影的双目双频互补三维面型测量方法的步骤流程示意图。

图2为本发明对动态场景的三维测量结果示意图。

具体实施方式

一种基于条纹投影的双目双频互补三维面型测量方法，首先基于双目立体相位展开法，以两种频率的相位相似性度量为指导实现低频相位无歧义展开，进而恢复被测物绝对深度；然后仅使用单种(高或低)频率的条纹图像，以上一时刻所测量的深度信息为依据，迅速纠正离群点云，确保快速、准确、高质量三维形貌测量的进行。本发明可以以更少的视角信息、更少的投影图像实现对动态场景的高精度的三维信息测量，包括以下步骤：

步骤1：搭建双目条纹投影轮廓系统，完成系统的标定，具体如下：

所述双目条纹投影轮廓系统包括一个投影仪和两个相机，两相机(相机1与相机2)关于投影仪对称摆放，投影仪和相机之间用2根触发线相连接；然后利用张正友标定算法[Z.Zhang,“A flexible new technique for camera calibration.”IEEE Transactionson pattern analysis and machine intelligence.22(11),1330-1334(2000).]，将整个系统标定到统一世界坐标系下，得到2个相机与1个投影仪的内参和外参，并将这些参数转化为三维到二维的映射参数[K.Liu,Y.Wang,D.L.Lau,et al,“Dual-frequency patternscheme for high-speed 3-D shape measurement.”Optics express.18(5):5229-5244(2010).]。

步骤2：利用投影仪投影6幅双频三步相移条纹图像，采用立体相位展开法实现低频相位无歧义展开，进而恢复出物体三维形貌，所述物体三维形貌包括深度信息。具体如下：

步骤2.1：使用投影仪向被测物投影6幅2个频率的3步相移条纹图像，首先投影三幅高频三步相移条纹图像，然后投影三幅低频三步相移条纹图像，由两相机(相机1和相机2)同步采集所投影的条纹图像，根据采集到的图像获取包裹相位：

相机1采集到的条纹图像为：

其中，

表示相机1采集到的高频三步相移条纹图像中的第n幅，n∈[1,3]，上标中的c₁表示相机1，h表示高频的频率，

表示高频条纹图像的像素点坐标，

和

分别表示高频条纹图像的平均值和调制度，

表示高频相位；

表示相机1采集到的低频三步相移条纹图像中的第n幅，上标中的c₁表示相机1，l表示低频的频率，

表示低频条纹图像的像素点坐标，

和

分别表示低频条纹图像的平均值和调制度，

表示低频相位；

获取高频和低频的包裹相位，具体公式为：

式中，

和

分别表示高频和低频的包裹相位。

步骤2.2：根据映射参数确定相机1中任意一个像素点对应的三维候选点；

对于相机1中的任意一个像素点

其低频包裹相位都有l个可能的绝对相位，利用步骤1中获得的三维到二维的映射参数可将这些可能的绝对相位重构出l个三维候选点，假设这l个三位候选点分别有一个序号，表示为k_i，其中i＝0,1,2....l-1；然后通过预先设定的深度约束范围[-200,200]可排除部分错误的、在深度约束范围之外的三维候选点。

步骤2.3：寻找相机2中的二维候选点，通过相位相似性度量获取相机2中的匹配点；

相机1中一个像素点对应的剩余三维候选点的数目为L₁(0＜L₁＜l)，通过步骤1中获得的三维到二维的映射参数将L₁个三维候选点投影到相机2中获得对应的L₁个二维候选点。这些二维候选点中必有一个正确的匹配点，且该正确的匹配点与相机1中的

应有相似的低频包裹相位值，利用该特性可通过对低频相位进行相位一致性检验来找出正确的匹配点。但是由于环境噪声和系统误差等因素的存在，上述假设可能不成立，一些错误候选点的低频包裹相位可能更接近于

的低频包裹相位。因此再对高频包裹相位进行相位一致性检验，将高频和低频包裹相位相似性均高于0.6弧度的二维候选点选为匹配点。

步骤2.4：获取物体绝对相位及三维信息；

经过步骤2.3中的两轮相位一致性检验，此时唯一正确的候选点可以被确认，该候选点对应的序号k_i即为

点的相位级次；最后可由下式获取相机1中

点的低频绝对相位

在计算机GPU中并行地对相机1中的每个像素点执行上述操作即可获取相机1视角下的被测物的低频绝对相位。最后通过步骤1中获得的标定参数可重构出物体的三维形貌信息[K.Liu,Y.Wang,D.L.Lau,et al,“Dual-frequency pattern scheme for high-speed3-D shape measurement.”Optics express.18(5):5229-5244(2010).]。

相位展开是条纹投影轮廓术中的关键步骤，传统相位展开法是时间相位展开法，该方法需投影至少3个频率的9幅三步相移条纹图像，极大影响了相位展开效率。本发明采用基于几何约束的立体相位展开法，首次重构仅需2个频率的条纹图像，后续通过步骤3中的自适应深度约束可进一步将重构所需图像降低为1种频率的条纹图像，将相位展开效率提高2/3。

步骤3：根据获取的深度信息，利用自适应深度约束通过单个(高或低，下面以高频为例进行叙述)频率的条纹图像实现相位无歧义展开，进而恢复物体的三维形貌。具体如下：

步骤3.1：使用投影仪向被测物投影3幅高频率的3步相移条纹图像，由两相机(相机1和相机2)同步采集所投影的条纹图像，根据公式(3)由采集到的图像获取高频包裹相位；

步骤3.2：寻找相机1中任意像素点对应的h个3D候选点，利用自适应深度约束排除错误候选点：

a.对于相机1中的任意一个像素点

其高频包裹相位都有h个可能的绝对相位，利用步骤1中获得的三维到二维的映射参数可将这些可能的绝对相位重构出h个三维候选点；

b.利用步骤2获取的三维形貌信息，统计以每个像素点为中心的5×5的矩形框内的最大深度和最小深度，构成一个逐像素的深度约束范围；对于每个像素点，排除在该像素点深度约束范围外的3D候选点。

步骤3.3：寻找相机2中的2D候选点，通过相位相似性度量获取相机2中的高频匹配点；

剩余三维候选点的数目为H₁(0＜H₁＜h)，再通过步骤1中获得的三维到二维的映射参数将H₁个三维候选点投影到相机2中获得对应的H₁个二维候选点。这些二维候选点中必有一个正确的匹配点，且该正确的匹配点与相机1中的

应有相似的高频包裹相位值，利用该特性可通过对高频相位进行相位一致性检验来找出正确的匹配点。虽然此时环境噪声和系统误差等因素依然存在，但步骤3.2中的自适应深度约束可排除大部分不正确的候选点，因此这里通过一轮相位相似性检验即可获取相机2上正确的匹配点。

步骤3.4：获取物体绝对相位；

经过步骤3.3中的相位一致性检验，此时唯一正确的候选点可以被确认，该候选点对应的序号k_{i_3}即为

点的相位级次，其中下标3用于区分步骤2中通过6幅图像获取的一系列参数；最后可由下式获取相机1中

点的高频绝对相位

步骤3.5：在计算机GPU中并行地对相机1中的每个像素点执行上述操作即可获取相机1视角下的被测物的高频绝对相位。最后通过步骤1中获得的标定参数可重构出物体的三维形貌信息[K.Liu,Y.Wang,D.L.Lau,et al,“Dual-frequencypattern scheme forhigh-speed 3-D shape measurement.”Optics express.18(5):5229-5244(2010).]。

在实际运用中，可以通过投影仪循环播放3幅高频3步相移条纹图像和3幅低频3步相移条纹图像来进行步骤2和步骤3的计算，从而恢复出物体三维形貌。即在进行步骤3的时候，投影仪先后投影了3幅高频3步相移条纹图像和3幅低频3步相移条纹图像，本发明可以只针对3幅高频3步相移条纹图像或者只针对3幅低频3步相移条纹图像进行计算，恢复出三维图像，本质上是单种频率的基于条纹投影的三维重建方法。

本发明通过投影两组高低频率的条纹图像，首先基于双目立体相位展开法，以两种频率的相位相似性度量为指导实现高频相位无歧义展开，进而恢复被测物绝对深度；然后仅使用单种(高或低)频率的条纹图像，以上一时刻所测量的深度信息为依据，迅速纠正离群点云，确保快速、准确、高质量三维形貌测量的进行。本方法相比于传统基于条纹投影的多视角三维面型测量方法，可以以更少的视角信息、更少的投影图像实现对动态场景的高精度的三维信息测量。

实施例：

为验证本发明所述方法的有效性，基于2台灰度相机(型号acA640-750um,Basler)，一台投影仪(型号LightCrafter 4500,TI)构建了一套条纹投影轮廓系统。两相机(相机1与相机2)关于投影仪对称摆放，投影仪和相机之间用2根触发线相连接。利用本发明对一连续的动态过程进行测量，测量过程中，投影仪投影速度为100Hz，所使用的高频和低频频率分别为48和19。测量的三维结果如图2所，最终的三维成像速度为45Hz，可进行实时三维成像。从图2可见，本发明可高质量高速度恢复出动态场景的三维形貌。

Claims (8)

1.一种基于条纹投影的双目双频互补三维面型测量方法，其特征在于，具体步骤为：

步骤1：搭建双目条纹投影轮廓系统，完成系统的标定；

步骤2：利用双目条纹投影轮廓系统投影6幅双频三步相移条纹图像，采用立体相位展开法进行低频相位无歧义展开，恢复出物体三维形貌，所述三维形貌包括深度信息；

步骤3：根据获取的深度信息，利用自适应深度约束通过单个频率的条纹图像实现相位无歧义展开，恢复物体的三维形貌。

2.根据权利要求1所述的基于条纹投影的双目双频互补三维面型测量方法，其特征在于，所述双目条纹投影轮廓系统包括一个投影仪和两个相机，两相机关于投影仪对称摆放，投影仪和相机之间用2根触发线相连接；利用张正友标定算法将整个系统标定到统一世界坐标系下，得到2个相机与1个投影仪的内参和外参，并将内参和外参转化为三维到二维的映射参数。

3.根据权利要求1所述的基于条纹投影的双目双频互补三维面型测量方法，其特征在于，利用双目条纹投影轮廓系统投影6幅双频三步相移条纹图像，采用立体相位展开法进行低频相位无歧义展开，恢复出物体三维形貌的具体方法为：

步骤2.1：使用投影仪分别向被测物投影三幅高频三步相移条纹图像和三幅低频三步相移条纹图像，由两相机同步采集所投影的条纹图像，根据采集到的图像，获取包裹相位；

步骤2.2：根据映射参数确定相机1中任意一个像素点对应的三维候选点；

步骤2.3：寻找相机2中的二维候选点，通过相位相似性度量获取相机2中的匹配点；

步骤2.4：根据候选点获取物体绝对相位；

步骤2.5：在计算机GPU中并行地对相机1中的每个像素点执行步骤2.1～步骤2.4获取相机1视角下的被测物的低频绝对相位，通过步骤1中获得的标定参数重构出物体的三维形貌信息。

4.根据权利要求3所述的基于条纹投影的双目双频互补三维面型测量方法，其特征在于，获取包裹相位的具体公式为：

式中，

和

分别表示高频条纹图像和低频条纹图像的包裹相位，

表示相机1采集到的高频三步相移条纹图像中的第n幅，n∈[1,3]，上标中的c₁表示相机1，h表示高频频率，

表示相机1采集到的低频三步相移条纹图像中的第n幅，上标中的c₁表示相机1，l表示低频频率。

5.根据权利要求3所述的基于条纹投影的双目双频互补三维面型测量方法，其特征在于，寻找相机2中的二维候选点，通过相位相似性度量获取相机2中的匹配点的具体方法为：

通过步骤1中获得的映射参数将步骤2.2确定的三维候选点投影到相机2中获得对应的二维候选点；

对低频包裹相位和高频包裹相位进行相位一致性检验，将高频和低频包裹相位相似性均高于设定阈值的二维候选点选为匹配点。

6.根据权利要求3所述的基于条纹投影的双目双频互补三维面型测量方法，其特征在于，物体绝对相位的计算公式为：

式中，

为相机1中候选点的低频绝对相位，k_i为候选点对应的序号，

为

点的低频包裹相位。

7.根据权利要求1所述的基于条纹投影的双目双频互补三维面型测量方法，其特征在于，根据获取的深度信息，利用自适应深度约束通过单个频率的条纹图像实现相位无歧义展开，恢复物体的三维形貌的具体方法为：

步骤3.1：使用投影仪向被测物投影3幅高频率或者低频率的3步相移条纹图像，两相机同步采集所投影的条纹图像，获取高频包裹相位；

步骤3.2：寻找相机1中任意像素点对应的3D候选点，利用自适应深度约束排除错误候选点；

步骤3.3：寻找相机2中的2D候选点，通过相位相似性度量获取相机2中的高频匹配点；

步骤3.4：根据候选点获取物体绝对相位；

步骤3.5：在计算机GPU中并行地对相机1中的每个像素点执行步骤3.1～步骤3.4获取相机1视角下的被测物的高频绝对相位，通过步骤1中获得的标定参数重构出物体的三维形貌信息。

8.根据权利要求7所述的基于条纹投影的双目双频互补三维面型测量方法，其特征在于，寻找相机1中任意像素点对应的3D候选点，利用自适应深度约束排除错误候选点的具体方法为：

a.利用步骤1中获得的三维到二维的映射参数将相机1中的任意一个像素点

的高频包裹相位的h个可能的绝对相位重构出h个三维候选点；

b.利用步骤2获取的三维形貌信息，统计以每个像素点为中心的矩形框内的最大深度和最小深度，构成一个逐像素的深度约束范围；对于每个像素点，排除在像素点深度约束范围外的3D候选点。

Images