CN101178811A - 一种三步法结构光直线光条的图像特征提取方法 - Google Patents

Abstract

本发明属于机器视觉技术领域，将提供一种三步法直线光条的图像特征自动提取方法。本发明基于Hessian矩阵的条纹中心提取方法提取光条中心点的亚像素图像坐标，并将光条中心点连接成光条中心线；然后利用直线近似算法将光条中心线在拐点处拆分为近似直线；最后将满足角度约束和图像原点到近似直线的距离约束的共线中心点进行融合，对融合后的共线中心点进行直线拟合得到直线光条的参数方程。所提出的三步法实现了复杂背景中结构光直线光条的图像特征自动提取，消除了杂散干扰特征的影响，提高了直线光条的图像特征提取的自动化程度，充分利用了直线光条上所有的光条中心点，为提高结构光视觉系统的标定效率和标定精度以及现场操作的简便性奠定了基础。

Description

一种三步法结构光直线光条的图像特征提取方法

技术领域

本发明属于机器视觉技术领域，涉及一种三步法结构光直线光条的图像特征自动提取方法。

背景技术

线结构光视觉测量具有大量程、非接触、速度快、系统柔性好等优点，广泛应用于产品快速设计和加工质量控制、逆向工程以及自动控制等诸多领域。结构光视觉三维测量技术通过向被测对象投射相应模式的结构光，由摄像机拍摄变形光条图像，基于光学三角原理获取物体表面三维信息，已成为解决物体表面形貌测量、空间位置测量、三维运动信息获取等许多在线测量的有效途径。

线结构光传感器的模型参数的标定是线结构光视觉测量的关键和前提，现有的标定方法主要有基于立体靶标或者自由自动平面靶标两种方式，其中投射到立体靶标或者平面靶标上的直线光条图像特征的提取是结构光标定的重要环节。在线结构光视觉测量的工程应用中，往往需要现场在线标定，由于现场环境空间位置的限制以及光照的不确定性，获取的结构光光条图像表现为对比度不均匀、具有一定宽度的细长形状特征，同时图像中包含一些复杂的背景干扰图像特征。魏振忠(魏振忠，张广军，“结构光直光条中心线的鲁棒性自动提取方法”，仪器仪表学报，2004，25(2)：244～247.)等针对存在严重反射的结构光光条图像，提出了一种由腐蚀、细化和最小中值二乘法相结合的结构光直线光条提取方法，该方法只适合图像中无复杂背景的结构光图像。针对具有复杂背景的结构光图像，目前主要采用人工选取部分结构光条的感兴趣区域，结合结构光光条中心线提取和直线最小二乘拟合方法实现直线光条的提取，从而使得操作复杂、效率低，且难以充分利用图像中全部的有效结构光直线光条信息。因此，线结构光直线光条图像特征的自动提取对于简化结构光标定的操作过程，提高结构光视觉测量的现场应用的简便性，进一步拓宽结构光视觉三维测量的工程应用具有重要的意义。

发明内容

本发明所要解决的技术问题是：提供一种三步法直线光条的图像特征自动提取方法，利用光条中心点的位置连续性，结合直线近似拆分和共线点融合算法，自动提取出复杂背景中的直线光条，提高直线光条提取的自动化程度，充分利用直线光条上所有中心点，为简化线结构光视觉系统的标定过程，提高标定精度和结构光视觉现场应用的简便性奠定基础。

本发明的技术解决方案是：一种三步法直线光条的图像特征自动提取方法，其特征在于，所说的直线光条的图像特征是指直线光条在图像中的参数方程，具体步骤是：

1、采用基于Hessian矩阵的条纹中心提取方法提取图像中的光条中心点的亚像素图像坐标，将获得的光条中心点连接成光条中心线，光条中心线是由光条中心点构成的坐标序列，其长度定义为点的数量；保留长度大于T_l的光条中心线，T_l长度阈值，取值为20～50；用L_ci(i＝1...M_c)表示第i条光条中心线，M_c为光条中心线的数量；第i条光条中心线上的点用p_cj ⁱ(x，y)(j＝T_l...N_ci)表示，N_ci为中心线上点的数量；

2、采用直线近似算法，在光条中心线的拐点将步骤1提取出的光条中心线L_ci拆分为近似直线，近似直线是由光条中心点构成的坐标序列，其长度定义为点的数量；保留长度大于T_l的近似直线，T_l与步骤1相同；用L_si(i＝1...M_s)表示拆分后的近似直线，M_s为近似直线的数量；第i条近似直线上的中心点用p_sj ⁱ(x，y)(j＝T_l...N_si)表示，N_si为近似直线上点的数量；

3、采用最小二乘直线拟合算法，将步骤2获得的近似直线上的光条中心点拟合成直线，利用拟合直线的角度约束和图像原点到拟合直线的距离约束，进行共线光条中心点融合，图像原点定义为图像左上角；利用融合后的共线光条中心点进行直线拟合，得到直线光条的参数方程；

3.1、利用步骤2获得的L_si(i＝1...M_s)包含的点p_sj ⁱ(x，y)(j＝T_l...N_si)，采用最小二乘直线拟合算法分别拟合直线，得到M_s条直线的近似参数；由拟合直线的方向余弦，计算得到拟合直线相对于图像水平轴的角度，用β_si表示第i条拟合直线对应的角度；计算得到图像原点到拟合直线的距离，用d_si表示第i条拟合直线对应距离；

3.2、利用拟合直线的角度约束和图像原点到拟合直线之间的距离约束，融合拆分后的近似直线包含的光条中心点。对于拆分后的任意两条直线L_si和L_sk，定义角度约束Δβs_(i，k)＝|β_si-β_sk|≤T_β，T_β为角度差阈值，取值为0°～5°，精度要求越高，取值就越小；定义距离约束Δd_s(i，k)＝|d_si-d_sk|≤T_d，T_d为距离差阈值，取值为0～10像素，精度要求越高，取值就越小；

如果L_si和L_sk同时满足角度约束和距离约束，则将L_si和L_sk融合为一个新的直线，称为融合直线，融合直线由光条中心点构成的坐标序列，删除已经融合过的近似直线，对所有的直线融合后，再次对融合后的直线进行同样的融合过程，直到没有再满足角度约束和距离约束的直线，则融合停止。融合后的直线用L_mi(i＝1...M_m)表示，M_m为融合直线的数量，相应直线上的点用p_mj ⁱ(x，y)(j＝T_l...N_mi)表示，N_mi为融合直线上点的数量；

3.3、采用最小二乘直线拟合方法，将步骤3.2获得的融合直线L_mi(i＝1...M_m)上包含的点p_mj ⁱ(x，y)(j＝T_l...N_mi)，拟合成直线，从而得到直线光条的参数方程，直线方程由位于直线上的2个点的坐标和直线的方向矢量表示，将直线方程的系数保存到文件中。

本发明的优点是：本发明提出了一种三步法直线光条图像特征自动提取方法。该方法基于Hessian矩阵的条纹中心提取方法提取光条中心点的亚像素图像坐标，并连接成光条中心线，利用直线近似将光条中心线拆分为近似直线，最后将满足角度约束和距离约束的共线光条中心点进行融合，通过拟合融合后的共线光条中心点实现了复杂背景中结构光直线光条的图像特征自动提取，消除了杂散干扰特征的影响。同现有直线光条提取方法相比较，本发明提出的三步法直线光条提取方法具有自动化程度高、操作简便，同时能够充分利用有效直线光条的信息，为提高结构光视觉系统的标定效率和标定精度以及现场操作的简便性奠定了基础。

附图说明

图1是本发明提出的三步法直线光条的图像特征自动提取方法的流程图。

图2是光条中心线拆分示意图。

图3是共线光条中心点的融合示意图。

图4是两种典型的直线光条图像。图4a是单直线光条图像，图4b是十字直线光条图像。

图5是对图4的两种典型直线光条的图像特征提取结果。图5a是单直线光条的图像特征提取结果，图5b是十字直线光条的图像特征提取结果。

具体实施方式

下面对本发明做进一步详细说明。首先，简要介绍基于Hessian矩阵的条纹中心提取方法的基本原理。

基于Hessian矩阵的条纹中心提取算法的基本思路是：首先任取条纹上的一点，计算该点的Hessian矩阵，选择Hessian矩阵的最大特征值对应的特征向量作为该点的法线方向，然后在其法线方向上利用泰勒展开求出条纹上中心像素点的亚像素坐标，并将属于同一条纹上的中心点连接成条纹中心线。

条纹的法线方向就是图像z(x，y)(其中x，y分别为图像的横、纵坐标)中二阶方向导数绝对值取极大值的方向，该方向可以通过计算Hessian矩阵的特征值和特征向量来确定。Hessian矩阵可以表示为：

$H(x,y)=\left(\begin{array}{cc}\frac{{\∂}^{2}g(x,y)}{\∂x^2}& \frac{{\∂}^{2}g(x,y)}{\∂x\∂y}\\ \frac{{\∂}^{2}g(x,y)}{\∂x\∂y}& \frac{{\∂}^{2}g(x,y)}{\∂y^2}\end{array}\right)*z(x,y)=\left(\begin{array}{cc}{r}_{\mathrm{xx}}& r_{\mathrm{xy}}\\ r_{\mathrm{xy}}& r_{\mathrm{yy}}\end{array}\right)---\left[1\right]$

其中g(x，y)为二维高斯函数，*表示卷积运算。点(x₀，y₀)的法线方向由图像z(x，y)在该点的Hessian矩阵最大特征值绝对值由对应的特征向量给出。

假设根据Hessian矩阵所求得的条纹法线方向的单位向量为(n_x，n_y)，以点(x₀，y₀)为基点，对条纹横截面上的灰度分布函数进行二阶泰勒展开，则条纹横截面上的点(x₀+tn_x，y₀+tn_y)的灰度可以表示为：

z(x₀+tn_x，y₀+tn_y)＝z(x₀，y₀)+N(r_x，r_y)^T+(NH(x，y)N^T)/2    [2]

其中N＝(tn_x，tn_y)，r_x，r_y由图像z(x，y)分别与相应微分形式的高斯核卷积得到，即

$\left\{\begin{array}{c}{r}_x=(\∂g(x,y)/\∂x)*z(x,y)\\ r_y=(\∂g(x,y)/\∂y)*z(x,y)\end{array}\right.---\left[3\right]$

由z/t＝0，根据式[2]得到：

$t=-(n_x{r}_x+n_y{r}_y)/(n_x^2{r}_{\mathrm{xx}}+2n_x{n}_y{r}_{\mathrm{xy}}+n_y^2{r}_{\mathrm{yy}})---\left[4\right]$

则条纹中心点的精确位置为(x₀+tn_x，y₀+tn_y)。

在以上叙述的基于Hessian矩阵的条纹中心提取算法的基础上，结合直线近似和共线点融合算法，本发明提出了一种三步法结构光直线光条的图像特征自动提取方法，所说的直线光条的图像特征是指直线光条在图像中的参数方程，具体步骤如下：

1、采用基于Hessian矩阵的条纹中心提取方法提取图像中的光条中心点的亚像素图像坐标，并将光条中心点连接成光条中心线，保留满足长度约束的光条中心线。条纹中心提取及连接算法参见Steger C.的文章“一种对称曲线结构探测器”[An Unbiased Detector of Curvilinear Structures]，IEEE期刊《模式分析及机器智能》，20(2)，第113～125页，1998年。[IEEE Transactions on Pattern Analysisand Machine Intelligence，20(2)，February 1998]。具体步骤如下：

第一步，求解Hessian矩阵的特征值和特征向量，得到光条的法线方向(n_x，n_y)；Hessian矩阵的表达式H(x，y)如式[1]所示，法线方向(n_x，n_y)由图像z(x，y)的Hessian矩阵最大特征值绝对值所对应的特征向量给出；

第二步，根据泰勒展开求解光条中心点的亚像素坐标；以当前点(x₀，y₀)为基点，对结构光光条横截面上的灰度分布函数进行二阶泰勒展开，光条横截面上的点(x₀+tn_x，y₀+tn_y)的灰度表示如式[2]，由z/t＝0，根据式[2]得到：

$t=-(n_x{r}_x+n_y{r}_y)/(n_x^2{r}_{\mathrm{xx}}+2n_x{n}_y{r}_{\mathrm{xy}}+n_y^2{r}_{\mathrm{yy}})---\left[5\right]$

则光条中心点的精确位置为(x₀+tn_x，y₀+tn_y)。

第三步，提取的光条中心点用p_c(x，y)表示，利用光条中心点位置的连续性约束，将获得的光条中心点连接成光条中心线，光条中心线是由光条中心点构成的坐标序列，其长度定义为点的数量。

第四步，保留长度大于T_l的光条中心线，T_l长度阈值，取值为20～50；用L_ci(i＝1...M_c)表示第i条光条中心线，M_c为光条中心线的数量；第i条光条中心线上的点用p_cj ⁱ(x，y)(j＝T_l...N_ci)表示，N_ci为中心线上点的数量。

2、采用直线近似算法，在光条中心线的拐点将光条中心线拆分为近似直线，近似直线是由光条中心点构成的坐标序列，其长度定义为点的数量，保留满足长度约束的近似直线。具体步骤如下：

第一步，将一条包含多个光条中心点的中心线L_ci进行拆分，以便得到由近似共线中心点构成的近似直线，近似直线是由光条中心点构成的坐标序列。直线近似算法参见Hershberger，J.和J.Snoeyink的文章“提高Douglas-peucker直线简化算法的速度”(Speeding up the Douglas-Peucker line simplificationalgorithm)，第5届空间数据处理国际会议，134～143页，1992年(Proceedingsof the 5th International Symposium on Spatial Data Handling，134-143，1992)。基本计算过程如下：

给定点数组V，调用DP(V，i，j)算法简化从V_i到V_j的子链码。

DP(V，i，j)算法：搜索距离直线V_iV_j最远的中心线上的点作为拐点V_f，距离为d。如果d＞ε，ε为距离误差，取值为0～10像素，则调用DP(V，i，j)，在V_f处将中心线分开，对V_iV_f进行递归处理，调用DP(V，i，j)，对对V_fV_j进行递归处理进行递归处理。否则使用V_iV_j作为近似直线。

第二步，保留长度大于T_l的近似直线，T_l与步骤1相同；用L_si(i＝1...M_s)表示拆分后的近似直线，M_s为近似直线的数量；第i条近似直线上的中心点用p_sj ⁱ(x，y)(j＝T_l...N_si)表示，N_si为近似直线上点的数量。

如图2所示，V₁V₂由提取出的光条中心点构成的一条光条中心线，按照前面叙述的算法，到直线V₁V₂的最大距离在点V₃处，且超过距离误差，因此在点V₃处将中心线V₁V₂拆分为两条近似直线V₁V₃和V₃V₂，根据算法原理和定义的距离误差，V₁V₃和V₃V₂不可再分，表示了2条近似直线。

3、采用最小二乘直线拟合算法，将步骤2获得的近似直线上的光条中心点拟合成直线，利用拟合直线的角度约束和图像原点到拟合直线的距离约束，进行共线光条中心点融合，图像原点定义为图像左上角；利用融合后的共线光条中心点进行直线拟合，得到直线光条的参数方程。

3.1、利用步骤2获得的L_si(i＝1...M_s)包含的点p_sj ⁱ(x，y)(j＝T_l...N_si)，采用最小二乘直线拟合算法分别拟合直线，得到M_s条直线的近似参数；由拟合直线的方向余弦，计算得到拟合直线相对于图像水平轴的角度，用β_si表示第i条拟合直线对应的角度；计算得到图像原点到拟合直线的距离，用d_si表示第i条拟合直线对应距离。

利用步骤2中的第二步得到的L_si(i＝1...M_s)包含的点p_sj ⁱ(x，y)(j＝T_l...N_si)，采用最小二乘直线拟合方法分别拟合直线，得到M_s条直线的近似参数。

设拟合直线上点为x_i＝[x_i，y_i]^T，方向余弦为α_i＝[α_xi，α_yi]^T，则拟合直线的优化目标函数为

$J(x_i,{\mathrm{\α}}_i)=\min \mathrm{\Σ}{|{\mathrm{\α}}_i\×(x_i-p_{\mathrm{sj}}^i(x,y))|}^2---\left[6\right]$

最小化式[6]，便可以得到拟合直线的方向余弦。其解对应于矩阵 $A=\left[\begin{array}{cc}{p}_{\mathrm{sl}}^i\left(x\right)& p_{\mathrm{sl}}^i\left(y\right)\\ .& .\\ .& .\\ .& .\\ p_{\mathrm{sj}}^i\left(x\right)& p_{\mathrm{sj}}^i\left(y\right)\end{array}\right]$ 的最大特征值对应的特征矢量。

由拟合直线的方向余弦，计算得到直线相对于图像水平轴的角度，用β_si表示第i条拟合直线对应的角度；计算得到图像原点到拟合直线的距离，用d_si表示第i条拟合直线对应距离。

3.2、利用拟合直线的角度约束和图像原点到拟合直线之间的距离约束，融合拆分后的近似直线包含的光条中心点。对于拆分后的任意两条直线L_si和L_sk，定义角度约束Δβ_s(i，k)＝|β_si-β_sk|≤T_β，T_β为角度差阈值，取值为0°～5°，精度要求越高，取值就越小；定义距离约束Δd_s(i，k)＝|d_si-d_sk|≤T_d，T_d为距离差阈值，取值为0～10像素，精度要求越高，取值就越小；

如果L_si和L_sk同时满足角度约束和距离约束，则将L_si和L_sk融合为一个新的直线，称为融合直线，融合直线由光条中心点构成的坐标序列，删除已经融合过的近似直线，对所有的直线融合后，再次对融合后的直线进行同样的融合过程，直到没有再满足角度约束和距离约束的直线，则融合停止。融合后的直线用L_mi(i＝1...M_m)表示，M_m为融合直线的数量，相应直线上的点用p_mj ⁱ(x，y)(j＝T_l...N_mi)表示，N_mi为融合直线上点的数量。

如图3所示，按照以上叙述的共线光条中心点融合算法，图中的直线L_s1和L_s2同时满足融合的角度约束和距离约束，因此两条直线包含的中心点序列融合为一条新的直线L_m1，而L_s3和L_m1不满足距离约束条件，L_s4和L_m1不满足角度约束条件，L_s3和L_s4都不满足距离约束和角度约束条件，因此都不能进行融合。最终经过融合后，图像中包含L_m1、L_s3和L_s4三条直线。

3.3、采用最小二乘直线拟合方法，将步骤3.2获得的融合直线L_mi(i＝1...M_m)上包含的点p_mj ⁱ(x，y)(j＝T_l...N_mi)，拟合成直线，从而得到直线光条的参数方程，直线方程由位于直线上的2个点的坐标和直线的方向矢量表示，将直线方程的系数保存到文件中。

实施例

三步法直线光条的图像特征自动提取方法的流程如图1所示。以线结构光视觉传感器参数标定中的直线光条为例，进行了实验。由线结构光投射器投出的平面结构光，与标定靶标平面相交，形成直线光条，由于靶标平面包含其他物理特征，如圆孔、黑白方块等，由摄像机拍摄的结构光条图像，其特征表现复杂背景中的非完整直线光条。图4(a)和图4(b)分别为单直线光条图像和十字直线光条图像，图像分辨率为768×576像素。根据本发明提出的三步法直线光条提取方法分别对包含单直线光条图像和十字直线光条图像进行了直线提取，光条中心提取的高斯滤波系数为σ＝3，对应高斯卷积模板大小为25×25，采用VC++编程实现。

表1  2种典型直线光条的提取结果

直线光条类型		端点1	端点2	方向矢量
					单直线光条		(145.050，147.663)	(470.018，195.228)	(-0.145，0.991)
十字直线光条	竖直方向	(0.042，469.407)	(574.834，383.618)	(0.148，0.989)
					水平方向	(318.981，180.008)	(358.239，645.873)	(0.996，-0.084)

图5(a)和图5(b)分别为图4(a)和图4(b)所示的两幅图像提出的直线光条结果。提取出的直线光条的参数如表1所示。从实验结果可以看出，本发明提出的直线光条提取方法能够自动提取出复杂背景中的直线光条图像特征，同时消除了杂散光条特征的影响。同现有的依赖人工选定直线光条的感兴趣区域的光条提取方法相比，三步法具有自动化程度高、操作简便，同时能够充分利用直线光条的图像特征，为结构光视觉系统的现场标定奠定了基础。

Claims (1)

1.一种三步法直线光条的图像特征自动提取方法，其特征在于，所说的直线光条的图像特征是指直线光条在图像中的参数方程，具体步骤是：

1.1、采用基于Hessian矩阵的条纹中心提取方法提取图像中的光条中心点的亚像素图像坐标，将获得的光条中心点连接成光条中心线，光条中心线是由光条中心点构成的坐标序列，其长度定义为点的数量；保留长度大于T_l的光条中心线，T_l长度阈值，取值为20～50；用L_ci(i＝1...M_c)表示第i条光条中心线，M_c为光条中心线的数量；第i条光条中心线上的点用p_cj ⁱ(x，y)(j＝T_l...N_ci)表示，N_ci为中心线上点的数量；

1.2、采用直线近似算法，在光条中心线的拐点将步骤1.1提取出的光条中心线L_ci拆分为近似直线，近似直线是由光条中心点构成的坐标序列，其长度定义为点的数量；保留长度大于T_l的近似直线，T_l与步骤1.1相同；用L_si(i＝1...M_s)表示拆分后的近似直线，M_s为近似直线的数量；第i条近似直线上的中心点用p_sj ⁱ(x，y)(j＝T_l...N_si)表示，N_si为近似直线上点的数量；

1.3、采用最小二乘直线拟合算法，将步骤1.2获得的近似直线上的光条中心点拟合成直线，利用拟合直线的角度约束和图像原点到拟合直线的距离约束，进行共线光条中心点融合，图像原点定义为图像左上角；利用融合后的共线光条中心点进行直线拟合，得到直线光条的参数方程；

1.3.1、利用步骤1.2获得的L_si(i＝1...M_s)包含的点p_sj ⁱ(x，y)(j＝T_l...N_si)，采用最小二乘直线拟合算法分别拟合直线，得到M_s条直线的近似参数；由拟合直线的方向余弦，计算得到拟合直线相对于图像水平轴的角度，用β_si表示第i条拟合直线对应的角度；计算得到图像原点到拟合直线的距离，用d_si表示第i条拟合直线对应距离；

1.3.2、利用拟合直线的角度约束和图像原点到拟合直线之间的距离约束，融合拆分后的近似直线包含的光条中心点。对于拆分后的任意两条直线L_si和L_sk，定义角度约束Δβ_s(i，k)＝|β_si-β_sk|≤T_β，T_β为角度差阈值，取值为0°～5°，精度要求越高，取值就越小；定义距离约束Δd_s(i，k)＝|d_si-d_sk|≤T_d，T_d为距离差阈值，取值为0～10像素，精度要求越高，取值就越小；

如果L_si和L_sk同时满足角度约束和距离约束，则将L_si和L_sk融合为一个新的直线，称为融合直线，融合直线由光条中心点构成的坐标序列，删除已经融合过的近似直线，对所有的直线融合后，再次对融合后的直线进行同样的融合过程，直到没有再满足角度约束和距离约束的直线，则融合停止。融合后的直线用L_mi(i＝1...M_m)表示，M_m为融合直线的数量，相应直线上的点用p_mj ⁱ(x，y)(j＝T_l...N_mi)表示，N_mi为融合直线上点的数量；

1.3.3、采用最小二乘直线拟合方法，将步骤1.3.2获得的融合直线L_mi(i＝1...M_m)上包含的点p_mj ⁱ(x，y)(j＝T_l...N_mi)，拟合成直线，从而得到直线光条的参数方程，直线方程由位于直线上的2个点的坐标和直线的方向矢量表示，将直线方程的系数保存到文件中。

Images