CN111473744A - 一种基于散斑嵌入相移条纹的三维形貌视觉测量方法及系统 - Google Patents

Abstract

本发明涉及一种基于散斑嵌入相移条纹的三维形貌视觉测量方法及系统，包括：光栅投射器和两个相机，光栅投射器和一个相机组成单目测量系统，另外一个相机用来辅助相位求解；设计散斑嵌入高频相移条纹；根据三步相移法求解包裹相位值；采用PatchMatch匹配框架获取匹配点，结合包裹相位值获取条纹阶次，进而求出绝对相位值；基于极线约束的方式去除相位求解错误的点；利用绝对相位值和测量系统的标定结果，获得被测物体的三维重建结果。本发明针对在过度倾斜和存在相互反射的凹槽等场景的三维形貌测量问题，可以用少至3幅图像获得被测物的绝对3D形状，可被广泛应用于高速实时三维测量环境中，尤其在过度倾斜和存在相互反射的凹槽等场景中获得较好的表面重建结果。

Description

一种基于散斑嵌入相移条纹的三维形貌视觉测量方法及系统

技术领域

本发明涉及三维测量技术领域，特别涉及一种基于散斑嵌入相移条纹的三维形貌视觉测量方法及系统。

背景技术

现代信息技术的快速发展促进了3D形状测量技术的逐渐成熟，这种技术已经渗透到几乎所有领域，包括：工业设计，智能制造，虚拟现实，文化遗产保护等领域。在众多3D形状测量技术中，由于非接触性，高精度，高效率和低成本的固有优势，基于结构光的条纹投影轮廓仪(FPP)已被证明是最有前途的技术之一。主流FPP技术一般可分为两种：傅立叶变换轮廓术(FTP)和相移轮廓术(PSP)，PSP对环境照明和变化的表面特性具有相当强的鲁棒性，并且可以以更高的分辨率和精度实现逐像素的相位测量结果，但通常需要多个条纹图案来重建对象的3D形状。此外，PSP和FTP都采用介于-π和π之间的反正切函数进行相位计算，这导致包裹相位图中具有2π相位跳变的相位模糊。因此，有必要进行相位展开以消除相位模糊性并将包裹的相位图转换成绝对相位图。通常，相位展开算法可分为三大类：空间相位展开，时间相位展开和立体相位展开。在测量突然的深度不连续的孤立对象或表面时，空间相位展开失败；但是时间相位展开方法需要图像较多，因此可通过立体相位展开方法来克服空间相位展开和时间相位展开的局限性。立体相位展开基于几何约束从多个角度获得的包裹相位图来检索绝对相位，而无需投影任何其他模式。本发明采用立体相位展开框架，并将附加散斑信息嵌入到原始条纹图案中，提供辅助信息以更鲁棒地辅助绝对相位恢复。但是在凹槽场景中表面过度倾斜的情况下，捕获的图像中散斑大小会发生很大变化，导致基于常规归一化互相关的匹配方法失败；此外凹槽上条纹会发生相互反射，容易引起相位求解错误。

发明内容

本发明技术解决问题：提供一种针对凹槽等场景中的三维形貌重建方法及系统，该基于散斑嵌入相移条纹的三维形貌视觉测量方法仅仅需要投射三张图片来完成对物体的一次三维测量，一定程度上解决过度倾斜和相互反射引起的解相错误问题。

为达到上述目的，本发明的技术方案是这样实现的：一种基于散斑嵌入相移条纹的三维形貌视觉测量方法，包括以下步骤：

a、生成散斑条纹和相移条纹，将二者融合在一起，生成散斑嵌入相移条纹，然后将散斑嵌入相移条纹烧入到光栅投射器中；

b、通过左右相机采集散斑嵌入相移条纹图像，根据三步相移法求解包裹相位值；

c、采用PatchMatch匹配框架对左右相机采集得到的散斑图像进行匹配，结合包裹相位值获取条纹的阶次，进而求解绝对相位值；

d、基于极线约束的方式去除相位求解错误的点；

e、根据绝对相位值和系统标定参数获得被测物体的表面点云信息。

所述步骤a生成的散斑嵌入相移条纹表示为，

其中，B(u,v)控制散斑的强度，Z(u,v)表示随机散斑信号的分布(u，v表示散斑图像坐标)；

表示正弦相移条纹，A代表正弦条纹信号的幅度，C代表DC偏移，N代表周期数，V是是条纹在竖直情况下的图案的垂直分辨率；B(u,v)表示为：

其中，B_max＝max_k＝1.2,3{F_k(u,v)},B_min＝min_k＝1.2.3{F_k(u,v)}；

所述步骤b中相机同步采集光栅投射器投射出的三幅图像，根据采集图像的光强计算得到的包裹相位表示为：

其中，I_i(x,y)(i＝1,2,3)表示相机采集得到的三幅图像的光强。

所述步骤c采用PatchMatch匹配框架，为获得精确的条纹阶次，进而求解绝对相位，绝对相位与条纹阶次的关系表述为：

φ_a(x,y)＝φ(x,y)+k(x,y)×2π，k(x,y)∈[0,N-1]

其中，φ_a(x,y)表示绝对相位，k(x,y)表示条纹阶次，N是周期数；通过使用嵌入的散斑信号来求解k(x,y)；

对于每个像素，存在N种可能性，所记录的相位可能源自光栅投射器图像中恰好N个不同的位置，因此可能来自N个可能的3D位置；对于每个像素p＝(x,y)，使用两个相机之间的立体匹配来求解条纹阶次k(p)；

通过轴向约束再次降低候选点的数量为m个；遍历左相机上的像点所处的条纹周期，分别得到相应周期的绝对相位，反投影到光栅投射器上求解出光栅投射器上的横坐标，结合标定参数得到该候选周期下对应的空间物点；如果候选周期对应的空间物点的轴向坐标超出轴向测量范围值，则为这个周期是错误的周期；如果该周期满足设定的轴向测量条件，就将该空间物点从三维空间反投影到右相机的像面上，得到右相机上可能正确的对应点；

如果在凹槽场景中存在高陡坡度的情况，通过结合包裹相位信息，采用基于PatchMatch的实时散斑图像匹配算法；使用Census变换作为代价函数，它以除强度值本身之外的像素强度的相对顺序对局部图像结构进行编码，因此能够承受由于辐射度变化和图像噪声引起的异常值；像素p及其候选对应关系q的相异性度量被定义为其位串Census(p)和Census(q)的汉明距离；将窗口中像素的灰度值与窗口的平均灰度值进行比较，因此像素p的Census变换计算如下：

其中，I(p,i)是以像素p为中心的窗口的第i个像素，u(p)是以像素p为中心的窗口的平均灰度值；

相应的点具有相似的包裹相位，因此包裹相位信息也用于散斑图像匹配；如果p_c和p_r是一对对应点，则它们应满足以下相位约束：

|φ(p_c)-φ(p_r)|＜T_φ

其中，T_φ表示相位φ处的阈值。

将左右相机中散斑图像中的每个图块一次映射使用等式的二进制表示，使用PatchMatch框架来计算对应匹配关系；获得对应关系之后，即得到左相机上像素点对应的条纹阶次，进而求解得到绝对相位。

所述步骤d基于极线约束的方式去除相位求解错误的点；根据给定一对对应的图像坐标，它们必须满足对极约束或满足等式，但是，对于无效点，包括遮挡或者相互反射等引起的相位错误点，由于检索相位存在误差，因此计算出的光栅投射器图像坐标也将偏离理论值，因此将无法满足极线约束；因此，基于对极约束定义一个失效准则，对于相机图像平面中的像素，将其相应光栅投射器图像坐标(x_p,y_p)与对极线l_p之间的距离定义为标准；根据点到线的距离公式，判据为

其中||l_p||是指向量l_p的长度。函数abs[x]计算x的绝对值；

有效点的d的值较小或接近于0，无效点的相应d通常较大；选择了阈值T之后，通过选择d大于T的所有像素来检测并消除无效点；针对连续的凹槽，去除无效点造成的空洞由图像修复方法填补。

所述步骤d根据绝对相位值和系统标定参数获得被测物体的表面点云信息；建立了世界坐标系中的一点到相机和光栅投射器像素平面的映射关系之后，根据透射投影变换模型，可得：

式中P_p(u_p)表示光栅投射器像面水平坐标，P_c(u_c,v_c)表示相机像面坐标，M_p，M_c分别为光栅投射器和相机内外参数，经过系统标定后M_p和M_c变为已知参数，即能够求出待测物的3D坐标P_w(X_w,Y_w,Z_w)，完成对物体的测量。

本发明还提出一种基于散斑嵌入相移条纹的三维形貌视觉测量系统，包括：计算机、两台工业相机、光栅投射器与待测物体，光栅投射器和其中一台相机组成单目测量系统，另外一个相机用来辅助相位求解；该测量系统的布置使得光栅投射器与两个工业相机具有公共视场，且被测物体的被测特征被该光栅投射器所投射的光栅所覆盖；标定该结构光测量系统，包括工业相机和光栅投射器内参和外参；测量系统生成散斑条纹和相移条纹，将二者融合在一起，生成散斑嵌入相移条纹，然后将散斑嵌入相移条纹烧入到光栅投射器中；通过左右相机采集散斑嵌入相移条纹图像，根据三步相移法求解包裹相位值；测量系统采用PatchMatch匹配框架对左右相机采集得到的散斑图像进行匹配，结合包裹相位值获取条纹的阶次，进而求解绝对相位值；基于极线约束的方式去除相位求解错误的点；根据绝对相位值和系统标定参数获得被测物体的表面点云信息。

本发明与现有技术相比的优点在于：

本发明采用基于散斑嵌入相移条纹的方法，可以充分利用相移条纹的冗余区域，使用少至3幅图像即可实现相位的展开；使用基于PatchMach的匹配框架可以对过度倾斜的凹槽等场景中的散斑图像进行准确匹配，解决在表面过度倾斜的情况下，捕获的图像中散斑大小会发生很大变化导致的匹配失败问题；采用投射高频的正弦条纹，结合基于极线约束的后处理，在一定程度上解决由于凹槽等场景中条纹的相互反射引起导致的相位求解的错误问题。

附图说明

图1为本发明系统的总体实现流程图；

图2为本发明的结构光测量系统；

图3为本发明采用的散斑融合相移条纹；

图4为部分凹槽场景(瓷碗和V型槽)；

图5为基于极线约束的相互反射去除示意图。

图6(a)为绝对相位图；

图6(b)为某一行的相位变化。

具体实施方式

以下结合附图及具体实施例对本发明再作进一步详细的说明。

图1为本发明一种基于散斑嵌入相移条纹的三维形貌视觉测量方法及系统的总体实现流程图，具体包括以下步骤：

步骤1：针对如图2所示的测量系统，由该计算机1生成散斑嵌入相移条纹。如图2所示的结构光测量系统，主要包括计算机1、工业相机2、光栅投射器3与待测物体4。该结构光测量系统的布置应尽量保证让光栅投射器3与两个工业相机1的公共视场足够大，且被测物体的被测特征应被该光栅投射器3所投射的光栅所覆盖。布置好硬件之后，标定该结构光测量系统，包括工业相机和光栅投射器内参和外参。

根据光栅投射器的分辨率生成对应长度和宽度的散斑嵌入相移条纹，相移条纹的生成遵循以下准则：选择单一的较高的频率竖直正弦光栅条纹；选择平均强度A与强度调制B相等，使得条纹图像覆盖整个灰度范围。通过在黑色背景上随机散射白点来生成散斑，遵循以下准则：(i)散斑大小：每个白点的规则大小为K×K像素，其中K由所使用的光栅投射器和相机的分辨率确定；(ii)散斑密度：在相当于3×3点的每个等效区域中，只有一个点是白色的；(iii)散斑分布：白点是随机散布的，在每个像素的8个邻域中没有两个点相邻。

例如在附图3，生成H＝1140pixel与W＝912pixel的包含64个条纹周期的竖直条纹光栅，其平均强度A＝0.5，强度调制B＝0.5。

步骤2：由该计算机1将步骤2中生成的3幅散斑嵌入相移光栅条纹通过该光栅投射器3依次投射到待测物体表面，同时由该两个工业相机2同步采集，采集得到调制后的光栅图像，图像被传输到该计算机1。

步骤3：根据采集得到的图像求解包裹相位值。采集得到的三幅调制后的散斑嵌入相移图像强度如下所示，

其中，

I_A(x,y)＝α(x,y)A

I_C(x,y)＝α(x,y)[B′(x,y)+C+β(x,y)]

这里(x,y)表示相机坐标。α(x,y)、β(x,y)和B′(x,y)代表每个点的反射率，环境照明和散斑强度，k为图像序号。

根据捕获的图像强度，采用如下计算公式计算得到包裹相位：

步骤4：根据得到的包裹相位值，求解条纹阶次。在GPU上，采用PatchMatch匹配左右相机中的散斑图案，结合包裹相位值获得左相机条纹图像对应精确的条纹阶次。

对于每个像素，存在N种可能性，所记录的相位可能源自光栅投射器图像中恰好N个不同的位置，因此可能来自N个可能的3D位置。对于每个像素p(x,y)，使用两个相机之间的立体匹配来求解条纹阶次k(p)。如果凹槽等场景中存在高陡坡度的情况，如下图4所示，则在捕获的图像中散斑大小会发生很大变化，如果采用传统的基于互相关归一化的匹配方法可能会导致误匹配。因此通过结合包裹相位信息，采用基于PatchMatch的实时散斑图像匹配算法。该框架的主要步骤包括初始化，传播和后处理。

1)初始化：每个像素采样五个随机视差，并行计算匹配代价，保留汉明距离最小的候选点。

2)传播：在从左到右，从上到下，从右到左和从下到上的四个方向上进行传播。对于每个传播方向，使用相位约束重新计算当前像素p的视差。在[d_pre-1，d_pre+1]的范围内(p_pre表示当前像素p的前一个像素，d_pre是p_pre的视差)，如果最小匹配代价低于当前代价p的代价，以[d_pre-1，d_pre+1]中的最佳视差更新p的视差。

3)后处理：使与大于汉明距离阈值的相关视差无效，并运行连接过程，进行最小区域检查以消除异常值；然后，运行仅对于没有有效视差的像素再次传播，如果最佳视差的代价大于汉明距离阈值，则停止传播；最后，在3×3图块上运行中值滤波器，以进一步减少噪声，同时保留边缘。

步骤5：根据步骤3求得的各像素点的包裹相位值φ(x,y)，和步骤4求得的各像素点条纹阶次k(x,y)，采用如下公式求出各像素点的绝对相位φ_a(x,y)：

φ_a(x,y)＝φ(x,y)+k(x,y)×2π

步骤6、基于极线约束的方式去除相位求解错误的点。对于由于相互反射等造成的无效点，无法满足极线约束。对于相机图像平面中的像素，将其相应光栅投射器图像坐标与对极线之间的距离定义为失效标准。有效点的d的值较小或接近于0，例如，与图5中的P_c1相反，无效点的相应d通常较大，图5中的P_c2，因为它不满足对极约束。因此，在选择了合适的阈值T之后，可以通过选择d大于T的所有像素来检测并消除无效点。

阈值T的选择：假设d小于标定误差的最大值，无法确定d是由标定误差还是由误差引起的。因此，选择阈值T时，必须大于最大标定误差值；此外，对于满足对极约束且d较小的无效点，由于大多数异常值是由随机噪声引起的，并且在图像中显示出随机分布，因此可以使用图像处理技术将其删除：首先获得带有指示无效点位置的二元映射图的初步结果，然后在该二值映射图上执行附加步骤“形态闭合操作”最终可以去除无效点。

特别地，针对类似图4的连续凹槽，为了重建去除无效点后的缺失相，使用了图像修复方法。假设缺失相位所在像素及其周围区域的相是连续的，则通过连续函数拟合来重建缺失相。逐行重建相位，关于y_i行的重建相位，相邻像素的相位由连续函数拟合(本发明使用傅里叶级数)，如下所示：

其中a₀,a₁,b₁,…,a_k,b_k,f是傅里叶级数的拟合参数。k表示傅里叶级数的阶数，并且设置为<3以获得最佳逼近。x_l和x_r分别在线y_i中的相位缺失区域的左边界和右边界，L是相邻像素的数目。利用这些拟合参数，可以将丢失的相位重建为

逐行处理相位缺失区域中缺少的相位，将φ_a和φ_esti组合为φ_ult，以获得一个完整的相位图。最终获得的相位图如图6(a)、(b)所示。

步骤7：结合步骤6求得的绝对相位值，根据相机和光栅投射器图像平面与一对一映射关系检索光栅投射器图像坐标。该对应关系如下式所示，

其中，根据透射投影变换模型，可得：

式中M_p，M_c分别为光栅投射器和相机内外参数，经过系统标定后M_p和M_c变为已知参数，即可求出待测物的3D坐标P_w(X_w,Y_w,Z_w)，完成对物体的测量。

综上所述，本发明提供的一种基于散斑嵌入相移条纹的结构光三维重建技术是通过生成三幅散斑相移光栅条纹图案投射到被测物体上，通过三步相移法进行包裹相位求解，通过PatchMatch实现图像匹配进而求解条纹阶次，根据包裹相位和条纹阶次求得绝对相位后，结合标定得到的系统参数获得待测物体表面的三维点云，从而实现对物体的三维形貌的测量。

以上所述，仅为本发明的较佳实施例而已，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明的保护范围。

Claims (7)

1.一种基于散斑嵌入相移条纹的三维形貌视觉测量方法，其特征在于：包括以下步骤：

a、生成散斑条纹和相移条纹，将二者融合在一起，生成散斑嵌入相移条纹，然后将散斑嵌入相移条纹烧入到光栅投射器中；

b、通过左右相机采集散斑嵌入相移条纹图像，根据三步相移法求解包裹相位值；

c、采用PatchMatch匹配框架对左右相机采集得到的散斑图像进行匹配，结合包裹相位值获取条纹的阶次，进而求解绝对相位值；

d、基于极线约束的方式去除相位求解错误的点；

e、根据绝对相位值和系统标定参数获得被测物体的表面点云信息。

2.根据权利要求1所述的一种基于散斑嵌入相移条纹的三维形貌视觉测量方法，其特征在于：所述步骤a生成的散斑嵌入相移条纹表示为，

其中，B(u,v)控制散斑的强度，Z(u,v)表示随机散斑信号的分布，u，v表示散斑图像坐标；

表示正弦相移条纹，A代表正弦条纹信号的幅度，C代表DC偏移，N代表周期数，V是是条纹在竖直情况下的图案的垂直分辨率；B(u,v)表示为：

其中，B_max＝max_k＝1.2,3{F_k(u,v)},B_min＝min_k＝1.2.3{F_k(u,v)}。

3.根据权利要求1所述的一种基于散斑嵌入相移条纹的三维形貌视觉测量方法，其特征在于：所述步骤b中相机同步采集光栅投射器投射出的三幅图像，根据采集图像的光强计算得到的包裹相位表示为：

其中，I_i(x,y)，i＝1,2,3表示相机采集得到的三幅图像的光强。

4.根据权利要求1所述的一种基于散斑嵌入相移条纹的三维形貌视觉测量方法，其特征在于：所述步骤c采用PatchMatch匹配框架，为获得精确的条纹阶次，进而求解绝对相位，绝对相位与条纹阶次的关系表述为：

φ_a(x,y)＝φ(x,y)+k(x,y)×2π，k(x,y)∈[0,N-1]

其中，φ_a(x,y)表示绝对相位，k(x,y)表示条纹阶次，N是周期数；通过使用嵌入的散斑信号来求解k(x,y)；

对于每个像素，存在N种可能性，所记录的相位可能源自光栅投射器图像中恰好N个不同的位置，因此可能来自N个可能的3D位置；对于每个像素p＝(x,y)，使用两个相机之间的立体匹配来求解条纹阶次k(p)；

通过轴向约束再次降低候选点的数量为m个；遍历左相机上的像点所处的条纹周期，分别得到相应周期的绝对相位，反投影到光栅投射器上求解出光栅投射器上的横坐标，结合标定参数得到该候选周期下对应的空间物点；如果候选周期对应的空间物点的轴向坐标超出轴向测量范围值，则为这个周期是错误的周期；如果该周期满足设定的轴向测量条件，就将该空间物点从三维空间反投影到右相机的像面上，得到右相机上可能正确的对应点；

如果在凹槽场景中存在高陡坡度的情况，通过结合包裹相位信息，采用基于PatchMatch的实时散斑图像匹配算法；使用Census变换作为代价函数，它以除强度值本身之外的像素强度的相对顺序对局部图像结构进行编码，因此能够承受由于辐射度变化和图像噪声引起的异常值；像素p及其候选对应关系q的相异性度量被定义为其位串Census(p)和Census(q)的汉明距离；将窗口中像素的灰度值与窗口的平均灰度值进行比较，因此像素p的Census变换计算如下：

其中，I(p,i)是以像素p为中心的窗口的第i个像素，u(p)是以像素p为中心的窗口的平均灰度值；

相应的点具有相似的包裹相位，因此包裹相位信息也用于散斑图像匹配；如果p_c和p_r是一对对应点，则它们应满足以下相位约束：

|φ(p_c)-φ(p_r)|＜T_φ

其中，T_φ表示相位φ处的阈值。

将左右相机中散斑图像中的每个图块一次映射使用等式的二进制表示，使用PatchMatch框架来计算对应匹配关系；获得对应关系之后，即得到左相机上像素点对应的条纹阶次，进而求解得到绝对相位。

5.根据权利要求1所述的一种基于散斑嵌入相移条纹的三维形貌视觉测量方法，其特征在于：所述步骤d基于极线约束的方式去除相位求解错误的点；根据给定一对对应的图像坐标，它们必须满足对极约束或满足等式，但是，对于无效点，包括遮挡或者相互反射等引起的相位错误点，由于检索相位存在误差，因此计算出的光栅投射器图像坐标也将偏离理论值，因此将无法满足极线约束；因此，基于对极约束定义一个失效准则，对于相机图像平面中的像素，将其相应光栅投射器图像坐标(x_p,y_p)与对极线l_p之间的距离定义为标准；根据点到线的距离公式，判据为

其中||l_p||是指向量l_p的长度。函数abs[x]计算x的绝对值；

选择了阈值T之后，通过选择d大于T的所有像素来检测并消除无效点；针对连续的凹槽，去除无效点造成的空洞由图像修复方法填补。

6.根据权利要求1所述的方法，其特征在于：所述步骤d根据绝对相位值和系统标定参数获得被测物体的表面点云信息；建立了世界坐标系中的一点到相机和光栅投射器像素平面的映射关系之后，根据透射投影变换模型，可得：

式中P_p(u_p)表示光栅投射器像面水平坐标，P_c(u_c,v_c)表示相机像面坐标，M_p，M_c分别为光栅投射器和相机内外参数，经过系统标定后M_p和M_c变为已知参数，即能够求出待测物的3D坐标P_w(X_w,Y_w,Z_w)，完成对物体的测量。

7.一种基于散斑嵌入相移条纹的三维形貌视觉测量系统，其特征在于：包括：计算机、两台工业相机、光栅投射器与待测物体，光栅投射器和其中一台相机组成单目测量系统，另外一个相机用来辅助相位求解；该测量系统的布置使得光栅投射器与两个工业相机具有公共视场，且被测物体的被测特征被该光栅投射器所投射的光栅所覆盖；标定该结构光测量系统，包括工业相机和光栅投射器内参和外参；测量系统生成散斑条纹和相移条纹，将二者融合在一起，生成散斑嵌入相移条纹，然后将散斑嵌入相移条纹烧入到光栅投射器中；通过左右相机采集散斑嵌入相移条纹图像，根据三步相移法求解包裹相位值；测量系统采用PatchMatch匹配框架对左右相机采集得到的散斑图像进行匹配，结合包裹相位值获取条纹的阶次，进而求解绝对相位值；基于极线约束的方式去除相位求解错误的点；根据绝对相位值和系统标定参数获得被测物体的表面点云信息。

Images