CN103530889A - 一种基于骨架提取的测量棒编码标记点解码方法 - Google Patents

Abstract

本发明涉及基于骨架提取的测量棒编码标记点解码算法，所述方法包括步骤：自适应阈值法分割图像，提取前景区域，其中含非编码标记点区域；利用每个前景区域面积剔除噪声区域，获取待提取区域；对待提取区域在原图进行局部亚像素边缘提取，然后定位椭圆轮廓；椭圆轮廓点拟合椭圆，并提取编码标记点区域，截取其图像；将上述图像中椭圆逆仿射成圆，得到待解码图像；偏微分处理提取编码环区域骨架；编码标记点解码，对10位二进制编码循环右移，最小十进制值即为编码标记点解码值；根据左右图像中测量棒上确定的特征点编码一一对应即为匹配点对，其优点是，克服了传统算法立体匹配计算复杂的弊端，同时提高了匹配精度，在双目视觉立体测量领域有重要的应用价值。

Description

一种基于骨架提取的测量棒编码标记点解码方法

技术领域

本发明属于双目立体视觉测量技术领域，特别涉及一种基于骨架提取的测量棒编码标记点解码方法，可用于双目立体视觉深孔和隐藏点等难测点的测量。

背景技术

双目立体视觉是计算机视觉的一个重要分支，其原理是由不同位置的两台相机，或者一台经过移动相机对同一场景取景，计算空间物体在左右图像中的相对位移。基于双目立体视觉的被动测距技术是目前研究最多、应用最广的一种距离测量技术。

完整的立体视觉可以分成四个模块摄像机标定、图像获取、立体匹配以及三维信息恢复。而立体匹配是立体视觉中最重要、最困难的问题, 也是三维信息恢复的先决条件, 一直是立体视觉领域研究的焦点。立体匹配实质上是在基元相似性的条件下，运用匹配准则的最佳搜索问题，许多数学中的最优化技术都可应用于立体匹配。根据匹配基元的不同，现有的立体匹配方法可分为如下三类:区域匹配、特征匹配以及相位匹配。

区域匹配算法的实质是利用局部窗口之间灰度信息的相关程度来进行匹配。但该算法的匹配窗口大小难以选择，通常借助于窗口形状技术来改善视差不连续处的匹配;其次是计算量大、速度慢。

基于特征的匹配方法是有选择地匹配能表示景物自身特性的特征，通过更多地强调空间景物的结构信息来解决歧义性问题。可以得到比较精确的匹配，抗干扰性强，计算量小，速度快。但特征在图像中的稀疏性决定特征匹配只能得到稀疏的视差场;特征的撮和定位过程直接影响匹配结果的精确度。

相位匹配是近二十年才发展起来的一类匹配算法。相位作为匹配基元，本身反映信号的结构信息，对图像的高频噪声有很好的抑制作用，适合并行处理，能获得亚像素级精度的致密视差。但存在相位奇点和相位卷绕的问题，需加入自适应滤波器解决。

在一幅具有很高分辨率和较大视角的原始图像上，相似性的点太多，因此很难选取到两幅相关图像的对应点，即使能够提取，然其所需要花费的时间也是巨大的。在双目立体视觉系统中特征点匹配中引入编码标记点能大大的减少特征点的匹配时间。

所谓编码标记点就是带有编码值及中心位置信息的标记点。现有的编码标记点定位中心大多为一个圆点，不利于定位，利用同心圆的话能提高编码标记点的定位精度。而提取方法用基于编码带面积的解码方法，即利用拍摄图像中编码标记点编码带区域的面积与中心定位黑点的面积比来解码。另一种方法，利用编码带的区域的长度与编码带解码圆的周长比来确定编码值，在确定编码带解码圆时利用编码带外圈椭圆及内圈椭圆来确定解码椭圆参数。由于编码点都有其自身的几何特性，如果图像分辨率不高或光照不理想，编码信息可能会由于图像灰度值的变化而受损，影响编码识别的正确率。

双目立体视觉测量技术在工业零件生产制造中可以起到很好的辅助作用，此编码标记点解码方法足可以满足大量双目立体视觉领域的应用。

发明内容

本发明的目的是克服现有技术的上述不足，提出了一种基于骨架提取的测量棒编码标记点解码方法，该方法克服了在双目立体视觉中三维坐标恢复时复杂的特征点匹配的过程，直接通过编码点的一一对应实现特征点的精确匹配，并且本发明首次将骨架提取算法应用于测量棒编码标记点提取中。

 本发明是通过这样的技术方案实现的：一种基于骨架提取的测量棒编码标记点解码方法，其特征在于，在Windows系统下结合OPENCV实现编码标记点的解码，解码过程中使用骨架提取算法定位编码标记点编码带上解码圆，最后利用左右摄像机采集图像中测量棒上具有相同编码值的编码标记点，实现左右摄像机所采集图像的特征点的一一匹配；所述图像特征点指双目立体视觉测量系统待恢复点，实现所述方法包括下列步骤：

1)    利用自适应阈值分割算法对图像进行二值分割，通过连通域提取算法获取图像中前景区域，其中含有非编码标记点区域；

2)    计算二值图像中每个前景区域的面积，设编码标记点区域最小区域面积阈值T1、最大区域面积阈值T2，利用面积滤波剔除面积小于T1及大于T2的区域，获取待提取区域；

3)    对每个待提取区域在原图进行局部亚像素边缘提取，然后利用边缘轮廓的闭合度及圆形度去除非椭圆轮廓；

4)    椭圆轮廓点拟合椭圆，使用同心椭圆判定剔除待提取区域中非编码标记点区域，得到的区域就为编码标记点区域，其中同心椭圆中心点即为编码标记点定位中心点(x ₀,y ₀)，以定位中心作为中心点在原图像中截取编码标记点区域图像；

5)    将截取编码标记点区域图像中椭圆仿射成圆，即得到待解码图像；

6)    选取高阈值T _threshold 作为阈值二值化待解码图像，提取编码标记点编码带段区域骨架线，以中心定位圆环中心为圆心，以提取到的所有骨架线上的点到编码标记点定位中心的平均距离作为半径做圆；

7)    选取像素值由1到0的点作为解码起点，逆时针扫描圆上像素点像素值；

8)    根据0，1数据段的长度与数据段的长度的比值确定10位二进制编码；

9)    对10位二进制的编码进行最小十进制转换；

10)              利用左右摄像机采集图像中的测量棒上具有相同编码值的编码标记点，实现左右摄像机所采集图像的特征点的一一匹配。

本发明与现有技术相比较具有如下优点：1．本发明利用同心圆检测算法定位编码标记点位置。2．本发明将骨架提取算法应用到编码标记点解码中。3．本发明利用测量棒上确定的特征点编码一一对应即为匹配点对，避免了复杂的特征点匹配的过程，提高了匹配精度。双目立体视觉测量技术在工业零件生产制造中可以起到很好的辅助作用，此编码标记点解码方法足可以满足大量双目立体视觉领域的应用。

附图说明

图1：本发明测量棒结构Z轴方向投影图；

图2：本发明测量棒结构X轴方向投影图；

图3：本发明测量棒结构 Y轴方向投影图；

图4：编码标记区域图；

图5：编码标记区域尺寸图；

图6：变形编码标记区域图；

图7：编码标记区域图仿射变换校正图；

图8：编码标记区域校正图解码过程的编码带二值图；

图9：编码标记区域校正图解码过程的提取编码带区域骨架图；

图10：解码过程的解码圆图；

图11： 本发明测量棒立体图；

图12： 本发明的流程图。

图中：1.测量棒主体，1-1.第一编码标记点，1-2.第二编码标记点，1-3.第三编码标记点，1-4.第四编码标记点，1-5. 第五编码标记点，1-6.第六编码标记点，1-7. 第七编码标记点，1-8. 第八编码标记点 ，1-9. 第九编码标记点，1-10：第十编码标记点；

2. 中心定位圆环，，3.过渡区域，4. 编码带。

具体实施方式

为了更清楚的理解本发明，结合附图和实施例详细描述本发明：

如图1至图12所示，测量棒主体1为星形结构，包括十个编码标记区域，每个编码标记区域包括一个矩形塑料底座，在矩形塑料底座上涂绘编码带4，每个编码标记区域的中心为中心定位圆环2，中心定位圆环2反映编码标记点位置信息，在中心定位圆环2与编码带4之间为过渡区域3， 编码带反映编码标记点编码值。

由于测量棒上所有编码标记区域编码标记点处于同一平面，绘导致在使用测量棒进行三维测量过程中求解的测量棒姿态参数误差过大，影响双目立体视觉系统测量精度，因此为了使求解的测量棒姿态参数具有更高的精度，在测量棒上选取(任意选取)其中四个编码标记点，使其对应的矩形塑料底座的厚度比其它编码标记点对应的矩形塑料底座的厚度厚出5mm，即测量棒上选取的四个编码标记点的平面比其余编码标记点的平面高5mm。      

四个编码标记点的平面与其余编码标记点平面的高度差高度无硬性要求，但是高度差过大影响测量棒的美观。

本实施例中，第一编码标记点1-1、第二编码标记点1-2、第七编码标记点1-7和第八编码标记点1-8的塑料底座高度为5.5mm，其它编码标记点塑料底座高度为0.5mm。

本发明的流程图如图12所示，自适应阈值二值化分割图像，提取前景区域；面积滤波去除小前景区域；亚像素边缘提取亚像素边缘；圆形度及同心圆检测准确获取编码标记点区域；椭圆拟合提取编码点的定位中心点(x ₀ ,y ₀)；仿射变换校正编码点区域图像；偏微分处理提取编码带区域骨架；编码标记点解码。下面结合附图，对本发明技术方案的具体实施过程加以说明。

1.              自适应阈值二值化分割图像，提取前景区域

使用最大类间方差法提取图像的分割阈值，记                                                

为前景与背景的分割阈值，前景点数占图像比例为

，平均灰度为

；背景点数占图像比例为

，平均灰度为

。

设原始灰度图像的像素点数为

，有

个灰度级，灰度级为

的像素点数为

，那么

，直方图表示为概率密度分布。

     ， 

用阈值

将灰度级划分为两类：

和 

。

和

的出现概率及均值分别为：

 

其中 

类间方差为：

则阈值

可以通过求

的最大值而得到，即

使用阈值t对待识别编码标记点图像进行二值化处理，使用连通域提取算法提取二值图像连通域，顺序扫描二值图，如果像素灰度值为0，扫描下一个像素。若灰度值为1且未被标记，则依次扫描相邻像素的标记值，当全为零，说明当前像素是新连通域的起始点，以起始点为起点扫描其八领域，若其领域像素值为1，则作为连通域的像素点，继续扫描新加入像素点八领域，直到没有新的像素点加入连通域为止。

2.              面积滤波去除小前景区域

计算每一个连通域区域面积S，设编码标记点区域最小区域面积阈值T1、最大区域面积阈值T2，若S处于T1与T2之间，则连通域作为粗定位编码标记点区域。

3.              亚像素边缘提取亚像素边缘

对粗定位编码标记点区域图像使用亚像素边缘提取算法提取区域图像的亚像素边缘，亚像素边缘算法使用高斯曲线拟合算法提取图像亚像素边缘。在对原始图像求梯度后，由梯度值得到的离散的点必须将离散点拟合成一天连续的曲线，沿某一梯度方向灰度的一阶导数近似为高斯分布，并且高斯分布的中心即高斯分布的均值是在沿该梯度方向灰度变化最大的地方也就是边缘所在之处，因此只 要求出高斯分布的均值，就可以准确定位亚像素边缘坐标。

设高斯曲线的表达式为：

式中；u为均值(即位置参数)，δ为标准差。为了简化求解过程，对式两遍取对数得到：

把式看成形如y=ax+bx+c，式2转化为二次曲线形式，这样就能用取对数后的值来拟合抛物线，求出顶点坐标，使计算大大简化。由最小二乘原理求取参数a，b，c，使误差平方和F最小。

将F分别对a，b，c求偏微分，并分别令其偏微分等于0，求得

其中

进而求出u=-b/(2×a),即为亚像素边缘值。

4.              圆形度及同心圆检测准确获取编码标记点区域

计算提取到的亚像素边缘轮廓的周长L及轮廓面积S，设定圆形度阈值T，轮廓圆形度e可以表示为：

若e小于T则轮廓不为中心定位圆轮廓，若中心定位圆轮廓数大于2，设定轮廓中心点为(x ₀ ,y ₁), (x ₁ ,y ₁),…, (x _n ,y _n )。计算中心点之间的距离Dis，若距离Dis小于距离阈值Tdis，则轮廓为同心圆轮廓，并使用同心圆轮廓的周长比值去除杂质轮廓，精确获取到编码标记点的区域，即为待识别编码标记点区域图像。

5.              椭圆拟合提取编码点的定位中心点(x ₀ ,y ₀ )

使用椭圆拟合拟合待识别编码标记点区域中心定位圆的轮廓，设椭圆方程为：

这里(x ₀ ,y ₀)为椭圆中心坐标，a为长轴半径，b为短轴半径，θ为长轴与x轴的夹角，用曲线形式表示椭圆：

根据最小二乘法，只要求解

)

即可求取参数A，B，C，D，E，则椭圆中心坐标为(x ₀ ,y ₀)，长轴半径为a，短轴半径为b，长轴与x轴的夹角θ可表示为：

由公式获取到椭圆的参数以及后续仿射变换参数。

6.              仿射变换校正编码点区域图像

由于在成像过程中，编码标记点无法保证与成像平面平行，导致编码标记点成像发生形变，在解码之前需要把编码标记点图像中椭圆仿射变换成标准圆，设I ₁为变换前图像，I ₂为变换后图像，H为仿射矩阵，则：

即可得到仿射变换后图像,如图6所示。使用高阈值T _threshold 二值化仿射变换后区域图像，去除二值图像中非编码带区域白色区域，如图7所示。

7.              偏微分处理提取编码带区域骨架

使用偏微分算法提取编码标记点编码带骨架，利用偏微分方程理论进行图像分析的基本思想是：把待处理的图像作为初始条件，把图像的骨架提取看作偏微分方程的算子，利用偏微分方程把初始图像变形，从而将偏微分方程的解与图像处理结果联系起来，通过求解偏微分方程得到所需图像。

设I:R2→R 代表一幅灰度图像，其中I(x,y) 是像素点(x,y) 处的灰度值。引入时间参数t ，则图像演化过程可以表示为

其中u(x,y,t): R2×[0, τ)→R是演化图像，F:R→R 是针对不同的图像处理过程所给出的算子，原始图像I可看作初始条件。这样，此微分方程的解u(x,y,t)就是在时间参数t下处理后的图像，即得到编码带的骨架，如图8所示。

8.              编码标记点解码

计算骨架到中心点的平均距离AvDis，以中心点作为圆心，AvDis作为半径作圆，如图9所示解码圆，选取圆上任意点为起点，扫描圆像素点，以像素值由255到0的点作为解码起点，像素值为0时置0，像素值为255时置1。设N表示10位二进制编码连续0或1码段长度，L表示扫描连续像素值为0或255长度，Sum表示解码圆周长，则10位二进制编码解码公式为：

对10位二进制编码循环右移，最小十进制值即为编码标记点解码值。

根据上述说明，本发明与现有技术相比较具有如下优点：（1）本发明利用同心圆检测算法定位编码标记点位置。（2）本发明将骨架提取算法应用到编码标记点解码中。（3）      本发明利用测量棒上确定的特征点编码一一对应即为匹配点对，避免了复杂的特征点匹配的过程，提高了匹配精度。双目立体视觉测量技术在工业零件生产制造中可以起到很好的辅助作用，此编码标记点解码方法足可以满足大量双目立体视觉领域的应用。

Claims (6)

1.一种基于骨架提取的测量棒编码标记点解码方法，其特征在于，在Windows系统下结合OPENCV实现编码标记点的解码，解码过程中使用骨架提取算法定位编码标记点编码带上解码圆，最后利用左右摄像机采集图像中测量棒上具有相同编码值的编码标记点，实现左右摄像机所采集图像的特征点的一一匹配；所述图像特征点指双目立体视觉测量系统待恢复点，实现所述方法包括下列步骤：

利用自适应阈值分割算法对图像进行二值分割，通过连通域提取算法获取图像中前景区域，其中含有非编码标记点区域；

计算二值图像中每个前景区域的面积，设编码标记点区域最小区域面积阈值T1、最大区域面积阈值T2，利用面积滤波剔除面积小于T1及大于T2的区域，获取待提取区域；

对每个待提取区域在原图进行局部亚像素边缘提取，然后利用边缘轮廓的闭合度及圆形度去除非椭圆轮廓；

椭圆轮廓点拟合椭圆，使用同心椭圆判定剔除待提取区域中非编码标记点区域，得到的区域就为编码标记点区域，其中同心椭圆中心点即为编码标记点定位中心点(x ₀,y ₀)，以定位中心作为中心点在原图像中截取编码标记点区域图像；

将截取编码标记点区域图像中椭圆仿射成圆，即得到待解码图像；

选取高阈值T _threshold 作为阈值二值化待解码图像，提取编码标记点编码带段区域骨架线，以中心定位圆环中心为圆心，以提取到的所有骨架线上的点到编码标记点定位中心的平均距离作为半径做圆；

选取像素值由1到0的点作为解码起点，逆时针扫描圆上像素点像素值；

根据0，1数据段的长度与数据段的长度的比值确定10位二进制编码；

对10位二进制的编码进行最小十进制转换；

利用左右摄像机采集图像中的测量棒上具有相同编码值的编码标记点，实现左右摄像机所采集图像的特征点的一一匹配。

2.根据权利要求1所述的基于骨架提取的测量棒编码标记点解码算法，其特征在于，所述步骤1）中包括如下计算步骤：

记                                                

为前景与背景的分割阈值，前景点数占图像比例为，平均灰度为

；背景点数占图像比例为

，平均灰度为

；

设原始灰度图像的像素点数为

，有

个灰度级，灰度级为的像素点数为，那么

，直方图表示为概率密度分布；

  

用阈值将灰度级划分为两类：

和

和

的出现概率及均值分别为：

 其中

类间方差为：

则阈值

可以通过求

的最大值而得到，即

根据权利要求1所述的基于骨架提取的测量棒编码标记点解码算法，其特征在于，所述步骤3）中包括如下计算步骤：

利用高斯曲线拟合算法提取图像亚像素边缘，在对原始图像求梯度后，由梯度值得到的离散的点必须将离散点拟合成一天连续的曲线，沿某一梯度方向灰度的一阶导数近似为高斯分布，并且高斯分布的中心即高斯分布的均值是在沿该梯度方向灰度变化最大的地方也就是边缘所在之处，因此只 要求出高斯分布的均值，就可以准确定位亚像素边缘坐标；

设高斯曲线的表达式为：

式中；u为均值(即位置参数)，δ为标准差；为了简化求解过程，对式两遍取对数得到：

把式看成形如y=ax+bx+c，式2转化为二次曲线形式，这样就能用取对数后的值来拟合抛物线，求出顶点坐标，使计算大大简化；由最小二乘原理求取参数a，b，c，使误差平方和F最小；

将F分别对a，b，c求偏微分，并分别令其偏微分等于0，求得

其中

进而求出u=-b/(2×a),即为亚像素边缘值。

3.根据权利要求1所述的基于骨架提取的测量棒编码标记点解码算法，其特征在于，所述步骤3）中包括如下计算步骤：

轮廓圆形度计算公式为：

这里要求轮廓必须为闭合轮廓，式中S为轮廓的面积，L为轮廓的长度，设定圆形度阈值T，若e大于T则判定轮廓为圆形轮廓，否则判定为非圆形轮廓。

4.根据权利要求1所述的基于骨架提取的测量棒编码标记点解码算法，其特征在于，所述步骤4）中包括如下计算步骤：

采用最小二乘椭圆拟合方法，使用椭圆拟合拟合待识别编码标记点区域中心定位圆的轮廓，设椭圆方程为：

这里(x ₀ ,y ₀)为椭圆中心坐标，a为长轴半径，b为短轴半径，θ为长轴与x轴的夹角，用曲线形式表示椭圆：

根据最小二乘法，只要求解

)

根据权利要求1所述的基于骨架提取的测量棒编码标记点解码算法，其特征在于，

所述步骤3）中包括如下计算步骤：

仿射变换的形式为：

这里(x’,y’)为仿射变换后图像坐标，(x,y)为原始图像坐标，a ₀ ，a ₁ ，a ₂ ，a ₃ ，a ₄ ，a ₅ 为仿射变换系数，仿射变换系数由椭圆拟合椭圆参数决定。

5.根据权利要求1或权利要求3所述的基于骨架提取的测量棒编码标记点解码算法，其特征在于，步骤6）中的骨架提取算法的包括如下计算步骤：

利用偏微分方程理论进行图像分析的基本思想是：设I:R2→R 代表一幅灰度图像，其中I(x,y) 是像素点(x,y) 处的灰度值；引入时间参数t ，则图像演化过程可以表示为

其中u(x,y,t): R2×[0, τ)→R是演化图像，F:R→R 是针对不同的图像处理过程所给出的算子，原始图像I可看作初始条件，这样，此微分方程的解u(x,y,t) 就是在时间参数t下处理后的图像。

6.根据权利要求1所述的基于骨架提取的测量棒编码标记点解码算法，其特征在于，步骤7）中，10位二进制编码解码公式为：

这里N表示10位二进制编码连续0或1码段长度，L表示扫描连续像素值为0或255段长度，Sum表示解码圆周长。

Images