CN101178812A - 一种结构光光条中心线提取的混合图像处理方法 - Google Patents

Abstract

本发明属于机器视觉技术领域，将提供一种基于感兴趣区域的结构光光条中心线提取的混合图像处理方法。本发明结合图像的阈值化处理、连通分量提取、形状因子约束和膨胀算法，自动分割出结构光条区域作为光条提取的感兴趣区域，利用基于Hessian矩阵的条纹中心提取方法实现光条感兴趣区域的结构光光条中心线的亚像素图像坐标提取。该方法具有精度高、鲁棒性好和自动化程度高等特点，所提出的算法避免了对非光条区域的像素进行大模板高斯卷积运算，从而大大地减少了结构光光条提取的冗余计算，实现了光条中心线的快速高精度提取，为结构光视觉三维测量的实时应用奠定了基础。

Description

一种结构光光条中心线提取的混合图像处理方法

技术领域

本发明属于机器视觉技术领域，涉及一种结构光光条中心线提取的混合图像处理方法。

背景技术

结构光视觉三维测量具有非接触、动态响应快、系统柔性好等特点，广泛应用于产品快速设计和加工质量控制、逆向工程以及自动控制等诸多领域。结构光视觉三维测量技术通过向被测对象投射相应模式的结构光，由摄像机拍摄变形光条图像，基于光学三角原理获取物体表面三维信息，已成为解决物体表面形貌测量、空间位置测量、三维运动信息获取等许多在线测量的最有效途径。

在结构光视觉测量系统中，结构光光条经过被测物体表面的深度变化而受到调制，反映到图像中则发生了畸变，其畸变的程度包含了激光器、摄像机之间的相对位置信息以及被测物体表面的深度信息。要想获得这些信息，必须从包含光条的图像中获取光条中心线的图像坐标。因此，在结构光视觉三维测量中，获取结构光光条中心线的高精度图像坐标是结构光视觉传感器校准及获得被测物体三维轮廓的关键步骤。

常见的光条中心线提取方法有灰度阈值法、极值法、梯度阈值法等(于起峰，陆宏伟，刘肖琳，《基于图像的精密测量与运动测量》，北京：科学出版社，2002.)。这些方法实现简单，但精度不高。贺俊吉(贺俊吉，张广军，“结构光三维视觉检测中光条图像处理方法研究”，北京航空航天大学学报.2003，29(7)：593-597.)等在光条截面上进行高斯或抛物线拟合，再通过求其极值点来得到光条纹中心的亚像素位置，该方法只适合于图像中法线方向变化不大的直线光条纹。图像中的光条可以理解为曲线结构或有一定宽度的条纹。Steger(STEGER C，“An Unbiased Detector of Curvilinear Structures”，IEEE Transactions on PatternAnalysis and machine Intelligence.1998，20(2)：113-125.)提出基于Hessian矩阵的条纹中心提取方法，利用Hessian矩阵得到图像中的道路和血管等类似条纹的法线方向，然后求法线方向上的极值点得到条纹中心线的亚像素位置。基于Hessian矩阵的条纹中心提取方法具有精度高，鲁棒性好等优点，广泛应用于航拍图像和医学图像的自动分割。基于Hessian矩阵的条纹中心提取方法包含对整幅图像的至少5次大模板高斯卷积运算，因此计算量非常大，很难实现光条纹中心线的快速提取，难以满足实时性要求高的应用场合，如钢轨磨耗动态检测。

发明内容

本发明所要解决的技术问题是：提供一种结构光光条中心线提取的混合图像处理方法，避免了对非光条区域的像素进行大模板高斯卷积运算，大大减少结构光光条中心线提取的冗余计算，提高结构光光条中心线提取的处理速度，进一步提高结构光视觉测量应用的实时性。

本发明的技术解决方案是：一种结构光光条中心线提取的混合图像处理方法，其特征在于，

1、对结构光光条图像进行阈值化处理，获得二值图像，阈值可以选择在150～255之间的任意灰度值；

2、对步骤1获得的二值图像，采用基于条件膨胀的连通分量提取算法，获得光条在结构光光条图像中的连通分量区域；

3、对步骤2提取的每个连通分量区域，利用区域的形状因子选择包含结构光光条的候选区域，形状因子定义为 $S=F/\mathrm{\π}{d}_{\max }^2,$ F为区域的面积，定义为区域内像素的数目，d_max为该区域的中心到轮廓像素的最大距离，选择连通分量区域的形状因子S在0.01～0.2范围的区域为结构光光条的候选区域；

4、对步骤3获得的候选区域，利用膨胀算法，扩大包含光条的候选区域，获得光条感兴趣区域，膨胀的结构元可以取边长为5像素的正方形或者半径为5像素的圆；

5、利用步骤4获得的光条感兴趣区域，对原始结构光图像进行标记，保持光条感兴趣区域对应的像素点的灰度值不变，其余区域置0；

6、采用基于Hessian矩阵的结构光光条中心线提取方法提取步骤5标记后的结构光图像的光条中心线的亚像素图像坐标，直接跳过灰度值为0的像素点，只处理光条感兴趣区域对应的像素点；

7、对步骤6提取的光条中心点的亚像素图像坐标进行连接，获得光条中心线，保存到文件中，供测量或者标定使用。

本发明的优点是：本发明提出了一种基于感兴趣区域自动分割的结构光光条中心线提取的混合图像处理方法。该方法结合图像的阈值化处理、连通分量提取、形状因子约束和膨胀算法，自动分割出结构光光条在图像中的感兴趣区域，采用基于Hessian矩阵的条纹中心提取方法对感兴趣区域的光条中心线进行提取。和现有的结构光光条中心线提取的图像处理方法相比，本方法在保证结构光光条中心线提取精度的前提下，避免了对非光条区域内的像素进行大模板高斯卷积运算，大大地减少了结构光光条中心线提取的冗余计算，成倍地提高了结构光光条中心线提取的图像处理速度，因此大大地提高了结构光视觉测量的实时性，为其工程化实时应用奠定了基础。

附图说明

图1是本发明提出的结构光光条中心线提取的混合图像处理的流程图。

图2是对双线结构光光条中心线提取结果。图2a是原始结构光图像，图2b是自动分割的结构光光条感兴趣区域，图2c是提取的光条中心线。

图3是三种典型的结构光光条图像。图3a是单线结构光光条图像，图3b是十字结构光光条图像，图3c是三线结构光光条图像。

图4是对图3的三种典型结构光光条中心线提取结果。图4a是单线结构光光条中心线提取结果，图4b是十字结构光光条中心线提取结果，图4c是三线结构光光条中心线提取结果。

具体实施方式

下面对本发明做进一步详细说明。首先，简要介绍基于Hessian矩阵的条纹中心提取方法的基本原理。

基于Hessian矩阵的条纹中心提取算法的基本思路是：首先任取光条上的一点，计算该点的Hessian矩阵，选择Hessian矩阵的最大特征值对应的特征向量作为该点的法线方向，然后在其法线方向上利用泰勒展开求出条纹上中心像素点的亚像素坐标，并将属于同一条纹上的中心点连接成条纹中心线。

条纹的法线方向就是图像z(x，y)(其中x，y分别为图像的横、纵坐标)中二阶方向导数绝对值取极大值的方向，该方向可以通过计算Hessian矩阵的特征值和特征向量来确定。Hessian矩阵可以表示为：

$H(x,y)=\left(\begin{array}{cc}\frac{{\∂}^{2}g(x,y)}{\∂x^2}& \frac{{\∂}^{2}g(x,y)}{\∂x\∂y}\\ \frac{{\∂}^{2}g(x,y)}{\∂x\∂y}& \frac{{\∂}^{2}g(x,y)}{\∂y^2}\end{array}\right)*z(x,y)=\left(\begin{array}{cc}{r}_{\mathrm{xx}}& r_{\mathrm{xy}}\\ r_{\mathrm{xy}}& r_{\mathrm{yy}}\end{array}\right)---\left[1\right]$

其中g(x，y)为二维高斯函数，*表示卷积运算。点(x₀，y₀)的法线方向由图像z(x，y)在该点的Hessian矩阵最大特征值绝对值由对应的特征向量给出。

假设根据Hessian矩阵所求得的条纹法线方向的单位向量为(n_x，n_y)，以点(x₀，y₀)为基点，对条纹横截面上的灰度分布函数进行二阶泰勒展开，则条纹横截面上的点(x₀+tn_x，y₀+tn_y)的灰度可以表示为：

z(x₀+tn_x，y₀+tn_y)＝z(x₀，y₀)+N(r_x，r_y)^T+(NH(x，y)N^T)/2    [2]

其中N＝(tn_x，tn_y)，r_x，r_y由图像z(x，y)分别与相应微分形式的高斯核卷积得到，即

$\left\{\begin{array}{c}{r}_x=(\∂g(x,y)/\∂x)*z(x,y)\\ r_y=(\∂g(x,y)/\∂y)*z(x,y)\end{array}\right.---\left[3\right]$

由z/t＝0，根据式[2]得到：

$t=-(n_x{r}_x+n_y{r}_y)/(n_x^2{r}_{\mathrm{xx}}+2n_x{n}_y{r}_{\mathrm{xy}}+n_y^2{r}_{\mathrm{yy}})---\left[4\right]$

则条纹中心点的精确位置为(x₀+tn_x，y₀+tn_y)。

由上面的叙述可以看出，由于在求Hessian矩阵的过程中要对整幅图像的每点进行至少5次大模板的二维高斯卷积，这导致算法的运算量很大。在结构光光条图像中，结构光光条区域的灰度值明显高于背景像素，且光条区域占整幅图像的比例往往小于背景像素区域，对于非光条区域进行Hessian矩阵计算，实质上是冗余计算。因此，能够自动分割出背景区域和光条区域，将大大减少冗余计算，有利于提高光条中心线提取速度。

在以上叙述的基于Hessian矩阵的条纹中心提取算法的基础上，本发明提出了一种结构光光条中心线提取的混合图像处理方法，具体步骤如下：

1、对结构光光条图像进行阈值化处理，获得二值图像，阈值可以选择在150～255之间的任意灰度值。

阈值化处理的主要目的是获得表现为高灰度值的光条的初始区域。在结构光视觉三维测量中，表现有结构光光条的像素趋向于取最大灰度值，最大为255。相应的背景与光条图像的灰度值相差较大，在带有滤光片的结构光视觉系统更是如此，结构光光条图像的直方图，表现为明显的双峰态分布，背景与光条之间的波谷十分明显，因此阈值的选择范围较宽，可以选择150～255之间任何一个灰度值作为阈值，都能得到较好的阈值化分割。阈值化算法参见《数字图像处理》(第二版，Rafael C.Gonzalez，Richard E.Woods著，阮秋琦，阮宇智等译，电子工业出版社，2004年)。

2、对步骤1获得的二值图像，采用基于条件膨胀的连通分量提取算法，获得光条在结构光光条图像中的连通分量区域。连通分量提取算法参见《数字图像处理》(第二版，Rafael C.Gonzalez，Richard E.Woods著，阮秋琦，阮宇智等译，电子工业出版社，2004年)。条件膨胀算法为：

X_k＝(X_k-1B₁)∩C    k＝1，2，3...    [5]

其中X₀＝p是光条区域内的任意一点，如可以选择灰度值为255的点，B₁是一个3×3的方形结构元，当X_k＝X_k-1，算法收敛，其结果为提取出的连通分量。

3、对步骤2提取的每个连通分量区域，利用区域的形状因子选择包含结构光光条的候选区域，形状因子定义为 $S=F/d_{\max }^2,$ F为区域轮廓的面积，定义为区域内像素的数目，d_max为该区域的中心到轮廓像素的最大距离，选择连通分量区域的形状因子S在0.01～0.2范围的区域为结构光光条的候选区域。

4、对步骤3获得的候选区域，利用膨胀算法，扩大包含光条的候选区域，获得光条感兴趣区域，膨胀的结构元可以取边长为5像素的正方形或者半径为5像素的圆。膨胀算法参见《数字图像处理》(第二版，Rafael C.Gonzalez，RichardE.Woods著，阮秋琦，阮宇智等译，电子工业出版社，2004年)。

5、利用步骤4获得的光条感兴趣区域，对原始结构光图像进行标记，保持光条感兴趣区域对应的像素点的灰度值不变，其余区域置0。

6、采用基于Hessian矩阵的结构光光条中心线提取方法提取步骤5标记后的结构光图像的光条中心线的亚像素图像坐标，直接跳过灰度值为0的像素点，只处理光条感兴趣区域对应的像素点，光条中心提取算法参见Steger C.的文章“一种对称曲线结构探测器”[An Unbiased Detector of Curvilinear Structures]，IEEE期刊《模式分析及机器智能》，20(2)，第113～125页，1998年。[IEEE Transactionson Pattern Analysis and Machine Intelligence，20(2)，February 1998]。具体步骤如下：

第一步，求解Hessian矩阵的特征值和特征向量，得到线条的法线方向(n_x，n_y)；Hessian矩阵的表达式H(x，y)如式[1]所示，法线方向(n_x，n_y)由图像z(x，y)的Hessian矩阵最大特征值绝对值所对应的特征向量给出；

第二步，根据泰勒展开求解光条中心的亚像素坐标；以当前点(x₀，y₀)为基点，对结构光光条横截面上的灰度分布函数进行二阶泰勒展开，光条横截面上的点(x₀+tn_x，y₀+tn_y)的灰度表示如式[2]，由z/t＝0，根据式[2]得到：

$t=-(n_x{r}_x+n_y{r}_y)/(n_x^2{r}_{\mathrm{xx}}+{2n}_x{n}_y{r}_{\mathrm{xy}}+n_y^2{r}_{\mathrm{yy}})---\left[6\right]$

则光条中心点的精确位置为(x₀+tn_x，y₀+tn_y)。

7、对步骤6提取的光条中心点的亚像素图像坐标进行连接，获得光条中心线，保存到文件中，供测量或者标定使用。光条中心点连接算法参见Steger C.的文章“一种对称曲线结构探测器”[An Unbiased Detector of CurvilinearStructures]，IEEE期刊《模式分析及机器智能》，20(2)，第113～125页，1998年。[IEEE Transactions on Pattern Analysis and Machine Intelligence，20(2)，February 1998]。

结构光光条中心线提取的混合处理方法的流程如图1所示。图2(a)、图3(a)、3(b)和图3(c)分别为双线结构光光条图像、单线结构光光条图像、十字结构光光条图像和三线结构光光条图像，图像的分辨率为768×576像素。根据本发明提出的方法分别对包含单线结构光、双线结构光、十字结构光和三线结构光光条的图像进行了光条提取，光条中心线提取的高斯滤波系数为σ＝4，对应的模板大小为33×33，采用VC++编程实现，在PIV2.8G，内存1G的计算机上进行处理。采用两种方式对结构光光条图像进行了提取，一种方式是对整幅图像进行光条提取；另外一种方式是先自动分割光条感兴趣区域，然后只对光条感兴趣区域的图像进行光条提取。图2(b)是由图2(a)所示图像的分割的光条感兴趣区域，图2(c)是提取出的光条中心线。

表1是4幅图像两种方式花费时间的比较，处理时间包含了感兴趣区域自动分割的时间在内。

表1  4幅代表性图像的光条提取时间(单位：ms)

图像类型	感兴趣区域图像	整幅图像
			单光条	28.8	479
十字光条	30.9	477
			双光条	33.1	488
三光条	51.4	480

从表1的结果可以看出，本发明提出的基于感兴趣区域的结构光条中心线的混合图像处理方法相比于直接对整幅图像进行计算，有着显著的速度优势，速度至少提高了10倍左右，其根本原因在于基于感兴趣区域的混合图像处理方法大大地减少了非光条区域的冗余计算。另外一方面，对于光条所在的感兴趣区域的像素灰度值并未改变，因此光条提取的最终精度得到了保证，由此可知，基于感兴趣的结构光条中心线的混合图像处理方法将基于Hessian矩阵光条提取方法的精度、鲁棒性和感兴趣区域方法的速度优势有机地结合在一起，并实现了复杂背景图像中光条中心线的自动提取，也提高了结构光视觉三维测量中的光条图像分割的自动化程度。

Claims (1)

1.一种结构光光条中心线提取的混合图像处理方法，其特征在于，

1.1、对结构光光条图像进行阈值化处理，获得二值图像，阈值可以选择在150～255之间的任意灰度值；

1.2、对步骤1.1获得的二值图像，采用基于条件膨胀的连通分量提取算法，获得光条在结构光光条图像中的连通分量区域；

1.3、对步骤1.2提取的每个连通分量区域，利用区域的形状因子选择包含结构光光条的候选区域，形状因子定义为 $S=F/\mathrm{\π}{d}_{\max }^2,$ F为区域的面积，定义为区域内像素的数目，d_max为该区域的中心到轮廓像素的最大距离，选择连通分量区域的形状因子S在0.01～0.2范围的区域为结构光光条的候选区域；

1.4、对步骤1.3获得的候选区域，利用膨胀算法，扩大包含光条的候选区域，获得光条感兴趣区域，膨胀的结构元可以取边长为5像素的正方形或者半径为5像素的圆；

1.5、利用步骤1.4获得的光条感兴趣区域，对原始结构光图像进行标记，保持光条感兴趣区域对应的像素点的灰度值不变，其余区域置0；

1.6、采用基于Hessian矩阵的条纹中心提取方法提取步骤1.5标记后的结构光图像的光条中心线的亚像素图像坐标，直接跳过灰度值为0的像素点，只处理光条感兴趣区域对应的像素点；

1.7、对步骤1.6提取的光条中心点的亚像素图像坐标进行连接，获得光条中心线，保存到文件中，供测量或者标定使用。

Images