CN105405147B - 一种基于融合lbp和灰度特征描述的直线段匹配方法 - Google Patents

Abstract

本发明公开了一种基于融合LBP和灰度特征描述的直线段匹配方法，首先进行图像采集，然后对得到的原始图像进行直线段检测，再对直线对进行合并，接着进行LBP特征值求解和灰度值获取，并进行融合，最后利用卡方距离公式进行直方图匹配确定图像中匹配的直线段对。本发明采用基于梯度生长的直线段检测方法，从而无需对图像进行边缘检测，避免了二值化阈值选取的影响。采用直线段合并的方法，避免了细碎短小直线段的干扰，同时降低了计算量。采用LBP特征值描述的方法，对弱纹理区域的直线段有较好的描述能力，且同时直线段匹配具有旋转不变性。

Description

一种基于融合LBP和灰度特征描述的直线段匹配方法

【技术领域】

本发明属于图像处理与计算机视觉领域，具体涉及一种基于融合LBP和灰度特征描述的直线段匹配方法。

【背景技术】

在图像特征匹配领域，目前基于特征点的匹配技术有很多的研究成果并得到了广泛的应用。在非合作目标抓捕场景中，帆板支架单杆成像后只能看到两侧边缘，这样的纹理结构特征很难检测出足够多的特征点，而且检测到的特征点也很难进行有效地特征描述(由于视角变化引起的遮挡，以及金属光滑材质和深空平滑背景上比较相似单一)，即使得到匹配的特征点也不能有效地反映场景结构的几何信息。而此时直线段特征较为明显稳定，且干扰较少，能够较好的反映出单杆的结构几何信息。为了能够实现实时、稳定、连续的视觉伺服效果，需要在连续帧中对检测到的有意义的直线段进行匹配跟踪。因此直线段匹配技术不可或缺。

与特征点匹配的广泛应用不同，直线匹配目前更多的还处于研究阶段。其主要原因在于存在以下诸多困难：

(1)边缘直线附近区域各点灰度、梯度相似，比较平滑，很难提取到有效、独特的信息用于描述和表征直线段；

(2)点匹配中在不同的图像中能够比较容易地选取到一个大小固定的区域描述子，而对于不同长度的直线段，具有不同大小的直线支撑区域，缺乏合适的区域归一化策略来计算直线支撑区域描述子；

(3)目前主流的直线段提取技术检测到的直线段往往端点定位不准，导致直线支撑区域所包含的结构信息不一致，而且检测得到的直线段存在不连续的问题，更加剧了描述直线的难度；

(4)在点匹配中，极线约束通常能够提供很强的全局约束，反之，极线几乎不能为直线匹配直接提供有效的位置约束，更增加了直线匹配时的搜索空间，同时也增大了直线误匹配的概率；

(5)直线的不连续性能够影响直线间拓扑结构的连通性，使得利用局部或全局拓扑约束进行直线匹配十分困难。

直线匹配采用的匹配特征通常可分为三种类型：直线段的几何属性、直线段周围的图像灰度属性、直线段几何属性和灰度属性相结合的特征。王志衡等人提出一种直线描述子来进行自动直线段匹配(王志衡,吴福朝.均值-标准差描述子与直线匹配[J].模式识别和人工智能,2009,22(1):32-39.)，首先定义直线段的平行邻域，把邻域分解为一系列的平行直线段，其次通过图像的灰度、梯度和梯度幅值特征建立平行邻域描述矩阵，最后计算描述矩阵列向量的均值和标准差来获得直线描述子，具有平行、旋转和线性光照不变性。但得到直线描述子的时间复杂度较高，遇到复杂纹理特征时，容易出现错误。傅丹提出了基于极线约束和RANSAC算法相结合的直线段匹配方法(傅丹.基于直线特征的空间目标三维结构重建和位姿测量方法研究[D].国防科学技术大学博士学位论文,2008.)。首先对直线段上的点运用基于极线约束的匹配方法在另一幅图像中进行点的同名匹配，再采用RANSAC算法建立直线模型，剔除野值，从而得到匹配直线段。该法能有效完成被部分遮挡直线段的匹配问题，并补齐遮挡直线段，适用于三维重建。但是该法并不适用于序列图像不同帧之间的直线段匹配。樊彬等提出了一种构建射影不变量进行直线匹配(Fan B,Wu F,Hu Z.Linematching leveraged by point correspondences[C].in Proc.IEEE Int’l Conf.onComputer Vision and Pattern Recognition.2010:390--397.；樊彬.图像特征匹配研究[D].中国科学院研究生院,2011.)，但是由于该方法基于的直线段局部邻域存在至少两个与其共面的特征点，因此当图像由于噪声的影响而出现大量孤立直线段时，算法的匹配精度将大大降低，同时由于算法需要迭代进行点匹配以确定直线段间的相似度量，因而计算代价较大。

张跃强等针对弱纹理目标直线匹配对应问题提出了一种基于局部梯度直方图特性和全局几何约束的直线匹配方法(张跃强,苏昂,朱遵尚,等.结合局部描述和拓扑约束的直线段匹配算法[J].国防科技大学学报,2014,(6):25-30.)。但是当图像对间存在较大的尺度变化时，算法的性能降低。算法对于640×480分辨率的图像对的处理时间需要2s左右，实时性方面仍需提升。

【发明内容】

本发明的目的在于弥补现有直线段匹配技术的不足，提供一种能够快速准确对弱纹理区域中直线段进行匹配的方法，该方法无需进行边缘检测，能够对图像中任意长度的直线段进行描述和匹配，且易于实现，计算效率优于现有算法。

为达到上述目的，本发明采用以下技术方案予以实现：

一种基于融合LBP和灰度特征描述的直线段匹配方法，包括以下步骤：

1)图像采集：利用相机对目标图像进行采集，得到初始图像I和待匹配图像I’；

2)直线段检测：利用基于梯度生长的直线段检测方法对图像I和I’进行直线段检测，检测出的直线段集合分别表示为I_L＝{o₁,o₂,…,o_m}和I’_L＝{o’₁,o’₂,…,o’_n}；组成每条直线段的各坐标点坐标也记录如下：对于直线段o₁，其上坐标点集表示为Po₁＝{(x₁,y₁)，(x₂,y₂)，…，(x_No1,y_No1)}；

3)直线段合并：对检测出的直线段集合中的任意两条求取端点距离和夹角，对符合条件的直线段进行合并，得到直线段集合I_l＝{p₁,p₂,…,p_M}和I’_l＝{q₁,q₂,…,q_N}；

4)LBP和灰度特征融合描述：对每条直线段支撑区域内的每个坐标点进行LBP特征值求解和灰度值获取并进行融合；

5)直方图变换及匹配：计算每条直线段的LBP特征值和灰度值的融合直方图，并利用卡方距离公式进行直方图匹配确定两幅图像中匹配的直线段对。

本发明进一步的改进在于：

所述步骤3)中，直线段合并的具体方法如下：

对I_L＝{o₁,o₂,…,o_m}中任意两条直线段{o_i,o_j}，两个端点分别为(x_i1,y_i1)和(x_i2,y_i2)、(x_j1,y_j1)和(x_j2,y_j2)，与x轴的夹角分别为θ₁和θ₂；计算(x_i1,y_i1)与(x_j1,y_j1)、(x_j2,y_j2)之间的欧氏距离d₁₁和d₁₂，(x_i2,y_i2)与(x_j1,y_j1)、(x_j2,y_j2)之间的欧氏距离为d₂₁和d₂₂；d_min为d₁₁、d₁₂、d₂₁以及d₂₂中的最小值，同时求出L_i和L_j之间的夹角θ_l2＝abs(θ₁-θ₂)；将d_min小于10个像素，θ_l2小于5度的直线段进行合并，全部处理后得到直线段集合{p₁,p₂,…,p_M}。

所述步骤4)中，LBP和灰度特征融合描述的具体方法如下：

对每条直线段支撑区域内各坐标点(x_i,y_i)计算LBP特征值M_L，结合该点灰度值M_G构成融合后的特征值F，F＝w₁*M_L+w₂*M_G；其中w₁、w₂为权重值，w₁∈[0,1]，w₂∈[0,1]且w₁+w₂＝1。

所述步骤5)中，直方图变换及匹配的具体方法为：

对每条直线段支撑区域内所有坐标点的融合特征值取整后的大小进行统计，采用256[0,255]级直方图记录该融合特征值大小分布；对于图像I，得到数组H[M,266]，对于图像I’得到H’[N,266]；然后计算矩阵H[M,266]和矩阵H’[N,266]之间的卡方距离C_s[M,N]，公式如下所述：

然后根据交叉匹配原则寻找矩阵C_s[M,N]中既是行最小值也是列最小值的元素，记录行号i和列号j及其距离数值C_s[i,j]；对C_s[i,j]进行判断，如果C_s[i,j]<阈值Thr，则图像I中直线段i和图像I’中直线段j是一对匹配直线段，否则不是，继续寻找。

与现有技术相比，本发明具有以下有益效果：

本发明采用基于梯度生长的直线段检测方法，从而无需对图像进行边缘检测，避免了二值化阈值选取的影响。采用直线段合并的方法，避免了细碎短小直线段的干扰，同时降低了计算量。采用LBP特征值描述的方法，对弱纹理区域的直线段有较好的描述能力，且同时直线段匹配具有旋转不变性。另外，本发明无需对图像进行边缘检测，并且适用于不同尺寸直线段的匹配；同时，本发明能够适用于多直线段场景中的快速匹配。最后，本发明在民用上可用于建筑、道路等匹配和三维重建等；军事上可用于特定目标的跟踪匹配，如机场跑道等；航空航天中可用于非合作目标感兴趣区域的末端匹配跟踪等。

【附图说明】

图1为本发明的算法总流程框图。

【具体实施方式】

下面结合附图对本发明做进一步详细描述：

参见图1，本发明包括以下步骤：

1、图像采集

利用相机对目标图像进行采集，得到初始图像I和待匹配图像I’；

2、直线段检测

利用基于梯度生长的直线段检测方法对图像I和I’进行直线段检测，检测出的直线段集合分别表示为I_L＝{o₁,o₂,…,o_m}和I’_L＝{o’₁,o’₂,…,o’_n}；组成每条直线段的各坐标点坐标也记录如下：对于直线段o₁，其上坐标点集表示为Po₁＝{(x₁,y₁)，(x₂,y₂)，…，(x_No1,y_No1)}。

其中关于上述步骤如何具体操作，为本领域公知技术，可参考文献2“覃勋辉，马戎，付维平，等.一种基于梯度的直线段检测算法[J].光子学报,2012,41(2),205-209.”，此处不再赘述。

3、直线段合并

对I_L＝{o₁,o₂,…,o_m}中任意两条直线段{o_i,o_j}，两个端点分别为(x_i1,y_i1)和(x_i2,y_i2)、(x_j1,y_j1)和(x_j2,y_j2)，与x轴的夹角分别为θ₁和θ₂；计算(x_i1,y_i1)与(x_j1,y_j1)、(x_j2,y_j2)之间的欧氏距离d₁₁和d₁₂，(x_i2,y_i2)与(x_j1,y_j1)、(x_j2,y_j2)之间的欧氏距离为d₂₁和d₂₂；d_min为d₁₁、d₁₂、d₂₁以及d₂₂中的最小值，同时求出L_i和L_j之间的夹角θ_l2＝abs(θ₁-θ₂)；将d_min小于10个像素，θ_l2小于5度的直线段进行合并，全部处理后得到直线段集合{p₁,p₂,…,p_M}。

以此对检测出的直线段集合中的任意两条求取端点距离和夹角，对符合条件的直线段进行合并，得到直线段集合I_l＝{p₁,p₂,…,p_M}和I’_l＝{q₁,q₂,…,q_N}。

4、LBP和灰度特征融合描述

对每条直线段支撑区域内各坐标点(x_i,y_i)计算LBP特征值M_L，结合该点灰度值M_G构成融合后的特征值F，F＝w₁*M_L+w₂*M_G。其中w₁、w₂为权重值，w₁∈[0,1]，w₂∈[0,1]且w₁+w₂＝1。

本发明实施例中w₁＝0.8，w₂＝0.2。

5、直方图变换及匹配

对每条直线段支撑区域内所有坐标点的融合特征值取整后的大小进行统计，采用256[0,255]级直方图记录该融合特征值大小分布。对于图像I，可以得到数组H[M,266]，对于图像I’可以得到H’[N,266]。然后计算矩阵H[M,266]和矩阵H’[N,266]之间的卡方距离C_s[M,N]，公式如下所述：

然后根据交叉匹配原则寻找矩阵C_s[M,N]中既是行最小值也是列最小值的元素，记录行号i和列号j及其距离数值C_s[i,j]。对C_s[i,j]进行判断，如果C_s[i,j]<阈值Thr，则图像I中直线段i和图像I’中直线段j是一对匹配直线段，否则不是，继续寻找。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (4)

1.一种基于融合LBP和灰度特征描述的直线段匹配方法，其特征在于，包括以下步骤：

1)图像采集：利用相机对目标图像进行采集，得到初始图像I和待匹配图像I’；

2)直线段检测：利用基于梯度生长的直线段检测方法对图像I和I’进行直线段检测，检测出的直线段集合分别表示为I_L＝{o₁,o₂,…,o_m}和I’_L＝{o’₁,o’₂,…,o’_n}；组成每条直线段的各坐标点坐标也记录如下：对于直线段o₁，其上坐标点集表示为Po₁＝{(x₁,y₁)，(x₂,y₂)，…，(x_No1,y_No1)}；

3)直线段合并：对检测出的直线段集合中的任意两条求取端点距离和夹角，对符合条件的直线段进行合并，得到直线段集合I_l＝{p₁,p₂,…,p_M}和I’_l＝{q₁,q₂,…,q_N}；

4)LBP和灰度特征融合描述：对每条直线段支撑区域内的每个坐标点进行LBP特征值求解和灰度值获取并进行融合；

5)直方图变换及匹配：计算每条直线段的LBP特征值和灰度值的融合直方图，并利用卡方距离公式进行直方图匹配确定两幅图像中匹配的直线段对。

2.根据权利要求1所述的基于融合LBP和灰度特征描述的直线段匹配方法，其特征在于，所述步骤3)中，直线段合并的具体方法如下：

对I_L＝{o₁,o₂,…,o_m}中任意两条直线段{L_i,L_j}，两个端点分别为(x_i1,y_i1)和(x_i2,y_i2)、(x_j1,y_j1)和(x_j2,y_j2)，与x轴的夹角分别为θ₁和θ₂；计算(x_i1,y_i1)与(x_j1,y_j1)、(x_j2,y_j2)之间的欧氏距离d₁₁和d₁₂，(x_i2,y_i2)与(x_j1,y_j1)、(x_j2,y_j2)之间的欧氏距离为d₂₁和d₂₂；d_min为d₁₁、d₁₂、d₂₁以及d₂₂中的最小值，同时求出L_i和L_j之间的夹角θ_l2＝abs(θ₁-θ₂)；将d_min小于10个像素，θ_l2小于5度的直线段进行合并，全部处理后得到直线段集合{p₁,p₂,…,p_M}。

3.根据权利要求1所述的基于融合LBP和灰度特征描述的直线段匹配方法，其特征在于，所述步骤4)中，LBP和灰度特征融合描述的具体方法如下：

对每条直线段支撑区域内各坐标点(x_i,y_i)计算LBP特征值M_L，结合该点灰度值M_G构成融合后的特征值F，F＝w₁*M_L+w₂*M_G；其中w₁、w₂为权重值，w₁∈[0,1]，w₂∈[0,1]且w₁+w₂＝1。

4.根据权利要求1所述的基于融合LBP和灰度特征描述的直线段匹配方法，其特征在于，所述步骤5)中，直方图变换及匹配的具体方法为：

对每条直线段支撑区域内所有坐标点的融合特征值取整后的大小进行统计，采用256[0,255]级直方图记录该融合特征值大小分布；对于图像I，得到数组H[M,266]，对于图像I’得到H’[N,266]；然后计算矩阵H[M,266]和矩阵H’[N,266]之间的卡方距离C_s[M,N]，公式如下所述：

然后根据交叉匹配原则寻找矩阵C_s[M,N]中既是行最小值也是列最小值的元素，记录行号i和列号j及其距离数值C_s[i,j]；对C_s[i,j]进行判断，如果C_s[i,j]<阈值Thr，则图像I中直线段i和图像I’中直线段j是一对匹配直线段，否则不是，继续寻找。