CN107798698B - 基于灰度修正与自适应阈值的结构光条纹中心提取方法 - Google Patents

Abstract

本发明公开了一种基于灰度修正与自适应阈值的结构光条纹中心提取方法，首先通过四步相移法得到条纹的包裹相位图，利用包裹相位差分实现多条纹的分割，并结合条纹灰度极值与相位的余弦信息实现条纹灰度分布的修正，从而消除了物体表面反射率对条纹灰度分布的影响，然后采用查找最小非对称度的方式确定最佳灰度阈值并进行灰度重心运算，实现了条纹中心的亚像素级图像坐标提取。本发明的方法由于避免了物体表面反射率和表面曲率对条纹灰度分布的影响，从而提高了条纹中心提取的精度，为复杂物体的高精度结构光三维形貌测量奠定了基础。

Description

基于灰度修正与自适应阈值的结构光条纹中心提取方法

技术领域

本发明属于计算机视觉测量技术领域，具体涉及一种基于灰度修正与自适应阈值的结构光条纹中心提取方法。

背景技术

投影结构光条纹的三维形貌检测技术具有非接触性、测量效率高和易于实现等特点，被广泛应用于产品快速成型、在线测量和故障检测等诸多领域。结构光三维测量技术利用投影仪向被测物体投射特定的结构光条，经物体表面调制后，由CCD相机拍摄变形光条图像，并利用三角测量原理来获得被测物体的三维几何信息。其中，快速准确的获取结构光条纹中心线的图像坐标是结构光三维测量的核心技术之一。

通常认为条纹中心在截面灰度最大值附近，因此常用的条纹中心提取算法有极值法、灰度重心法和Steger法等。这些方法的前提是条纹灰度在其横截面上基本服从高斯或者正弦分布，则中心提取的精度依赖于条纹灰度分布。而在复杂物体形貌测量中，由于物体表面反射率的影响，条纹灰度分布将发生畸变，此外，物体表面的曲率变化也会导致条纹灰度分布发生非对称退化，势必导致中心提取的精度降低(参见《应用于条纹中心提取的非对称条纹调整方法[J]》：李程辉，张英杰，韩江涛等，中国激光，2017(5):152-161))。因此，结构光条纹中心提取过程中考虑对灰度分布的修正，并解决非对称退化问题，有利于提高三维测量的精度。

目前，针对条纹灰度分布偏离理想高斯或正弦分布问题。刘振提出利用邻域条纹的相关性建立相关性系数来解决灰度分布退化的问题(参见《基于互相关算法的激光条纹中心提取[J]》:刘振，李声，冯常，中国激光，2013，40(5):197-202)，该方法局限于物体表面反射特征未发生突变的情况下，并且相关性系数计算复杂，中心提取效率较低。YIN提出一种基于自适应卷积模板的方法去修正条纹灰度畸变(参见《Laser stripe extractionmethod in industrial environments utilizing self-adaptive convolutiontechnique[J]》:Yin X-Q，Tao W，Feng Y-Y，et al.Applied Optics，2017，56(10):2653-2660)，该方法只能应用于单根条纹的中心提取，并且需要对感兴趣区域(ROI)做一次卷积运算。崔希君提出一种基于灰度幂运算的自适应迭代方法(参见《线性结构光心的自适应迭代提取法[J]》:崔希君，杨川，刘保华等，西安交通大学学报，2007，41(1):73-76)，该方法较好的解决了条纹非对称退化问题，但是无法解决反射率突变处引起的灰度重心偏移问题。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于灰度修正与自适应阈值的结构光条纹中心提取方法，解决由于物体表面反射率变化和表面曲率变化引起的条纹灰度分布畸变与非对称退化现象而导致的条纹中心坐标提取不准确的问题。

本发明采用以下技术方案：

基于灰度修正与自适应阈值的结构光条纹中心提取方法，通过投影正弦光栅图像到被测物体上并采用四步相移法得到包裹相位图，利用包裹相位差分实现多条纹的分割，利用条纹灰度极值与包裹相位的余弦信息对条纹灰度分布进行修正，然后采用查找最小非对称度的方式确定最佳灰度阈值并进行灰度重心运算，实现条纹中心的亚像素级图像坐标提取。

进一步的，包括以下步骤：

S1、投影仪投射四幅相移分别为

的竖直正弦光栅图像到被测物体上，并由CCD采集得到图像I₁(x,y),I₂(x,y),I₃(x,y),I₄(x,y)，然后采用四步相移法计算条纹图像的包裹相位图

并沿图像的列方向计算包裹相位差分矩阵

S2、令i表示图像的行坐标，并初始化为i＝1；

S3、取出步骤S1中包裹相位差分矩阵的第i行数据，从左到右依次查找相位差分绝对值大于π的点，并将其图像坐标记为P_l，l＝1,2,3...,L，令k作为条纹的编号，并初始化k＝1；

S4、对变形条纹图像I₁(x,y)，取其第i行中的P_k与P_k+1点之间的灰度数据作为该行第k根条纹横截上的原始灰度分布数据，令该条纹横截面上的灰度最大值的一半作为灰度幅值A_k，然后结合包裹相位图

中与第k根条纹横截面区域所对应的相位信息，进行条纹灰度分布的修正；

S5、对步骤S4中灰度修正后的条纹，初始化灰度阈值T为0.2A_k，并按灰度间隔为5逐渐增加阈值并计算相应的条纹非对称度D，令最小非对称度D_min所对应的灰度阈值为该条纹的最佳阈值T_opt，然后对该条纹横截面上灰度值大于T_opt的区域采用灰度重心法计算第i行第k根条纹的中心C_i,k；

S6、令k＝k+1，判断k是否小于该行相位突变点个数L，若判断结果为是，继续执行步骤S4，若判断结果为否，进入步骤S7；

S7、令i＝i+1，判断i是否小于或等于图像的行分辨率M，若判断结果为是，继续执行步骤S3，若判断结果为否，则完成整幅图像的条纹中心提取。

进一步的，步骤S1中，图像列方向的包裹相位差分矩阵

计算如下：

其中，y＝1,2,3,...,M，x＝1,2,3,...,N-1，M和N分别为图像的行和列分辨率。

进一步的，所述CCD相机采集的变形条纹图像可以表示为：

其中，n＝1,...,4，R(x,y)表示被测物体表面的不均匀反射率，A(x,y)表示环境光强度，B(x,y)/A(x,y)表示条纹的对比度，Φ(x,y)表示条纹的绝对相位。

进一步的，所述四步相移法计算条纹图像中的包裹相位如下：

进一步的，步骤S4中，灰度修正的具体方法如下：

以第k根条纹灰度最大值的一半A_k作为幅值，结合该条纹横截面的相位余弦实现灰度修正，计算公式为：

其中，I_new(i,j)表示修正后的灰度，j＝P_k,P_k+1,...P_k+1。

进一步的，步骤S5中，非对称度D的计算步骤如下：

S51、令灰度阈值的横截线与灰度分布曲线相交，得到左右两个交点分别为P_L与P_R；

S52、求出P_L与P_R的中点为P_M，并找到灰度曲线上灰度值最大的点P_MAX，连接P_M与P_MAX构成直线l；

S53、计算直线l与灰度阈值横截线的夹角α，且α∈(0，90°)；

S54、计算非对称度D＝90-α。

进一步的，得到最佳阈值T_opt后，设T_opt与条纹灰度分布曲线的交点的列坐标分别为p、q，对p、q截线之间的条纹采用灰度重心法计算条纹中心，则第i行上第k根条纹的中心C_i,k的计算公式为：

与现有技术相比，本发明至少具有以下有益效果：

本发明基于灰度修正与自适应阈值的结构光条纹中心提取方法，通过四步相移法得到条纹的包裹相位图，并结合条纹灰度极值与包裹相位的余弦信息实现条纹灰度分布的修正，从而消除了物体表面反射率对条纹灰度分布的影响，然后采用查找最小非对称度的方式确定最佳灰度阈值并进行灰度重心运算，实现了条纹中心的亚像素级图像坐标提取，本发明的方法由于避免了物体表面反射率和表面曲率对条纹灰度分布的影响，从而提高了条纹中心提取的精度，为复杂物体的高精度结构光三维形貌测量奠定了基础。

进一步的，采用计算包裹相位差分的方式进行条纹的分割，与传统的阈值分割方法相比，本方法不依赖图像的灰度分布，具有抗造性能好，条纹识别准确率高的特点。

进一步的，利用变形条纹图像的相位不受物体表面反射率影响的特点，提出采用相位余弦对条纹灰度分布进行修正，提高了图像的信噪比，解决了复杂物体测量中因为反射率突变导致的条纹灰度分布畸变问题。

进一步的，通过计算条纹非对称度的方式自适应确定灰度重心法的阈值，解决了因物体表面曲率变化引起的条纹非对称退化问题，提高了条纹中心提取的精度。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的工作流程图；

图2为本发明测量反射率非均匀的圆球时所得到的部分条纹图像以及该图像第110行处的包裹相位分布图，其中，(a)表明不同反射率区域内的条纹灰度差距，(b)表明图像中各条纹交界处会产生相位突变；

图3为在物体表面反射率突变处，条纹的原始灰度分布和经本发明灰度修正后的灰度分布图，其中，(a)为原始条纹与灰度分布，(b)为修正后的条纹与灰度分布；

图4为本发明所述的非对称度计算示意图；

图5为利用本发明方法对一个复杂面具模型的条纹图像的处理结果图，其中，(a)为CCD相机拍摄的原始图像，(b)为灰度修正后的条纹图像，(c)为提取的条纹中心线叠加在原图上的效果图，(d)为中心提取结果的一种局部放大图，(e)为中心提取结果的另一种局部放大图。

具体实施方式

本发明提供了一种基于灰度修正与自适应阈值的结构光条纹中心提取方法，通过四步相移法得到条纹的包裹相位图，利用包裹相位差分实现条纹的分割，并结合条纹灰度极值与包裹相位的余弦信息实现条纹灰度分布的修正，从而消除了物体表面反射率对条纹灰度分布的影响，然后采用查找最小非对称度的方式确定最佳灰度阈值并进行灰度重心运算，实现了条纹中心的亚像素级图像坐标提取。

本发明所使用的硬件系统和普通的结构光测量系统相同，具体包括：一个投影仪，一个CCD摄像机，一台计算机。

请参阅图1，本发明基于灰度修正与自适应阈值的结构光条纹中心提取方法，

S1、投影仪投射四幅相移分别为

的竖直正弦光栅图像到被测物体上，并由CCD采集得到图像I₁(x,y),I₂(x,y),I₃(x,y),I₄(x,y)，然后采用四步相移法计算条纹图像的包裹相位图

并沿图像的列方向计算包裹相位差分矩阵

投影的四幅竖直正弦光栅经物体调制后，由CCD相机获取的变形条纹图像可以表示为：

其中，R(x,y)表示被测物体表面的不均匀反射率，A(x,y)表示环境光强度，B(x,y)/A(x,y)表示条纹的对比度，Φ(x,y)表示条纹的绝对相位；

公式(1)说明物体表面反射率直接影响条纹的灰度分布，一旦反射率不均匀或者发生突变，就会引起该区域内条纹灰度的畸变，从而影响中心提取的精度。

利用四步相移法可以计算I₁(x,y)条纹图像中的包裹相位：

公式(2)表明条纹的相位与反射率无关，因此通过相移运算可以消除物体表面反射率的影响，即图像中各条纹之间会产生包裹相位突变。

请参阅图2，图中显示了测量表面反射率不均匀圆球所得到的部分变形条纹图像以及该图像中第110行上的包裹相位分布。其中，图2(a)表明不同反射率区域内的条纹灰度差距较大，尤其是反射率突变区域会产生灰度畸变现象；图2(b)表明了图像中各条纹交界处会产生相位突变，因此可以通过查找包裹相位的突变点实现单个条纹在图像中的定位。

由于投影的是竖直条纹，所以按图像的列方向计算相位差分，便于步骤S3查找突变点，计算公式为：

式中，y＝1,2,3,...,M，x＝1,2,3,...,N-1，M和N分别为图像的行和列分辨率；

S2、令i表示图像的行坐标，并初始化为i＝1；

S3、取出步骤S1中相位差分矩阵的第i行数据，从左到右依次查找相位差分绝对值大于π的点，并将其图像坐标记为P_l，l＝1,2,3...,L，令k作为条纹的编号，并初始化k＝1；

S4、对变形条纹图像I₁(x,y)，取其第i行中的P_k与P_k+1点之间的灰度数据作为该行第k根条纹横截上的原始灰度分布数据，令该条纹横截面上的灰度最大值的一半作为灰度幅值A_k，然后结合包裹相位图

中与第k根条纹横截面区域所对应的相位信息，进行条纹灰度分布的修正；

灰度修正的具体方法如下：

以第k根条纹灰度最大值的一半A_k作为幅值，结合该条纹横截面的相位余弦实现灰度修正，计算公式为：

其中，I_new(i,j)表示修正后的灰度。由于相位的余弦在区间(-1,1)内，而图像灰度不能为负值，需要对其进行加1处理，因此令条纹灰度最大值的一半作为灰度幅值A_k以保证修正后的灰度不会产生饱和现象。

请参阅图3，显示了在物体表面反射率突变处的条纹灰度分布以及经过修正后的灰度分布。图3(a)为原始条纹与灰度分布，表明条纹灰度最大值会向高反射率一侧偏移，无法准确计算条纹中心。图3(b)为修正后的条纹与灰度分布，结果表明灰度分布基本符合高斯分布，说明本发明的灰度修正方法有效的消除了条纹灰度畸变，有利于准确提取条纹中心。

S5、对步骤S4中灰度修正后的条纹，初始化灰度阈值T为0.2A_k，并按灰度间隔为5逐渐增加阈值并计算相应的条纹非对称度D，令最小非对称度D_min所对应的灰度阈值为该条纹的最佳阈值T_opt，然后对该条纹横截面上灰度值大于T_opt的区域采用灰度重心法计算第i行第k根条纹的中心C_i,k；

由于物体表面曲率的影响，特别是曲率变化较大的地方。条纹灰度分布的整体形状会产生非对称退化，而常用的灰度重心法采用固定的灰度阈值，将无法准确计算中心。

本发明通过计算非对称度查找最佳阈值实现自适应的中心提取，非对称度D的计算步骤如下：

S51、令灰度阈值的横截线与灰度分布曲线相交，得到左右两个交点分别为P_L与P_R；

S52、求出P_L与P_R的中点为P_M，并找到灰度曲线上灰度值最大的点P_MAX，连接P_M与P_MAX构成直线l；

S53、计算直线l与灰度阈值横截线的夹角α，且α∈(0，90°)；

S54、计算非对称度D＝90-α；

条纹中心的计算方法如下：

得到最佳阈值T_opt后，设T_opt与条纹灰度分布曲线的交点的列坐标分别为p、q，对p、q截线之间的条纹采用灰度重心法计算条纹中心。则第i行上第k根条纹的中心C_i,k的计算公式为：

请参阅图4，为当灰度阈值为16时，对某条纹计算非对称度的示例图，可以看出非对称度D描述的是条纹整体灰度分布相对条纹方向的偏离程度。非对称度越小，说明此时的条纹灰度分布关于灰度最大值的对称性越好，那么计算得到的中心与理想中心更加吻合。因此，对每个条纹以一定的灰度间隔设置阈值并计算非对称度，再利用最小非对称度实现自适应阈值的选取，有利于提高重心法中心提取的精度。

S6、令k＝k+1，判断k是否小于该行的相位突变点个数L，若判断结果为是，继续执行步骤S4，若判断结果为否，进入步骤S7；

S7、令i＝i+1，判断i是否小于或等于图像的行分辨率M，若判断结果为是，继续执行步骤S3，若判断结果为否，则完成整幅图像的条纹中心提取。

请参阅图5，图5(a)为投影仪投射相移为0的正弦光栅时，CCD相机拍摄的原始图像，图5(b)为灰度修正后的条纹图像，图5(c)是提取的条纹中心线叠加在原图上的效果图，图5(d)和图5(e)分别为中心提取结果的局部放大图。结果说明了本发明方法能基本消除反射率引起的条纹灰度畸变问题，使提取的条纹中心线与条纹延伸方向吻合，提高了非对称退化条纹的中心提取精度，同时保证了条纹中心数据的完整性和可靠性。

本发明给出一种客服现有方法缺陷的新方法，通过投影正弦光栅图像到被测物体上并计算包裹相位，利用包裹相位差分实现多条纹的分割，并利用条纹横截面的相位余弦对条纹的灰度分布进行修正，然后对修正后的条纹通过计算非对称度的方式实现自适应中心提取。本发明的方法可以用于复杂面型的三维测量，有效避免条纹图像灰度分布畸变和非对称退化引起的条纹中心偏移现象，同时通过投影多条纹结构光，有利于提高测量效率。

本发明方法主要修正了结构光变形条纹在其横截面的灰度分布，并提出一种新的自适应方法确定灰度重心法的阈值，以提高结构光条纹中心提取的精度，为复杂物体的高精度结构光三维形貌测量奠定了基础。

Claims (3)

1.基于灰度修正与自适应阈值的结构光条纹中心提取方法，其特征在于，通过投影正弦光栅图像到被测物体上并采用四步相移法得到包裹相位图，利用包裹相位差分实现多条纹的分割，利用条纹灰度极值与包裹相位的余弦信息对条纹灰度分布进行修正，然后采用查找最小非对称度的方式确定最佳灰度阈值并进行灰度重心运算，实现条纹中心的亚像素级图像坐标提取，包括以下步骤：

S1、投影仪投射四幅相移分别为0,

π,

的竖直正弦光栅图像到被测物体上，并由CCD采集得到图像I₁(x,y),I₂(x,y),I₃(x,y),I₄(x,y)，然后采用四步相移法计算条纹图像的包裹相位图

并沿图像的列方向计算包裹相位差分矩阵

图像列方向的包裹相位差分矩阵

计算如下：

其中，y＝1,2,3,...,M，x＝1,2,3,...,N-1，M和N分别为图像的行和列分辨率；所述CCD相机采集的变形条纹图像可以表示为：

其中，n＝1,...,4，R(x,y)表示被测物体表面的不均匀反射率，A(x,y)表示环境光强度，B(x,y)/A(x,y)表示条纹的对比度，Φ(x,y)表示条纹的绝对相位

S2、令i表示图像的行坐标，并初始化为i＝1；

S3、取出步骤S1中包裹相位差分矩阵的第i行数据，从左到右依次查找相位差分绝对值大于π的点，并将其图像坐标记为P_l，l＝1,2,3...,L，令k作为条纹的编号，并初始化k＝1；

S4、对变形条纹图像I₁(x,y)，取其第i行中的P_k与P_k+1点之间的灰度数据作为该行第k根条纹横截上的原始灰度分布数据，令该条纹横截面上的灰度最大值的一半作为灰度幅值A_k，然后结合包裹相位图

中与第k根条纹横截面区域所对应的相位信息，进行条纹灰度分布的修正；

S5、对步骤S4中灰度修正后的条纹，初始化灰度阈值T为0.2A_k，并按灰度间隔为5逐渐增加阈值并计算相应的条纹非对称度D，令最小非对称度D_min所对应的灰度阈值为该条纹的最佳阈值T_opt，然后对该条纹横截面上灰度值大于T_opt的区域采用灰度重心法计算第i行第k根条纹的中心C_i,k，非对称度D的计算步骤如下：

S51、令灰度阈值的横截线与灰度分布曲线相交，得到左右两个交点分别为P_L与P_R；

S52、求出P_L与P_R的中点为P_M，并找到灰度曲线上灰度值最大的点P_MAX，连接P_M与P_MAX构成直线l；

S53、计算直线l与灰度阈值横截线的夹角α，且α∈(0，90°)；

S54、计算非对称度D＝90-α；

得到最佳阈值T_opt后，设T_opt与条纹灰度分布曲线的交点的列坐标分别为p、q，对p、q截线之间的条纹采用灰度重心法计算条纹中心，则第i行上第k根条纹的中心C_i,k的计算公式为：

S6、令k＝k+1，判断k是否小于该行相位突变点个数L，若判断结果为是，继续执行步骤S4，若判断结果为否，进入步骤S7；

S7、令i＝i+1，判断i是否小于或等于图像的行分辨率M，若判断结果为是，继续执行步骤S3，若判断结果为否，则完成整幅图像的条纹中心提取。

2.根据权利要求1所述的一种基于灰度修正与自适应阈值的结构光条纹中心提取方法，其特征在于，所述四步相移法计算条纹图像中的包裹相位如下：

3.根据权利要求1所述的一种基于灰度修正与自适应阈值的结构光条纹中心提取方法，其特征在于，步骤S4中，灰度修正的具体方法如下：

以第k根条纹灰度最大值的一半A_k作为幅值，结合该条纹横截面的相位余弦实现灰度修正，计算公式为：

其中，I_new(i,j)表示修正后的灰度，j＝P_k,P_k+1,...P_k+1。

Images