CN106023183A - 一种实时的直线段匹配方法 - Google Patents

Abstract

本发明公开了一种实时的直线段匹配方法，包括以下步骤：1)图像采集；2)直线段检测；3)直线段合并；4)直线段描述符构建；5)描述符匹配。本发明采用基于梯度生长的直线段检测方法，从而无需对图像进行边缘检测，避免了二值化阈值选取的影响。采用直线段合并的方法，避免了细碎短小直线段的干扰，同时降低了计算量。采用直线段之间的相对位置分布这一几何关系，对弱纹理区域的直线段有较好的描述能力，且具有旋转不变性，能够达到实时匹配。另外，本发明无需对图像进行边缘检测，并且适用于不同尺寸直线段的匹配；同时，本发明能够适用于多直线段场景中的快速匹配。最后，本发明在军事上可用于特定目标的跟踪匹配，如机场跑道等；航空航天中可用于非合作目标感兴趣区域的末端匹配跟踪等。

Description

一种实时的直线段匹配方法

【技术领域】

本发明属于图像处理与计算机视觉领域，具体涉及一种基于直线段间相对位置分布的直线段匹配方法。

【背景技术】

在非合作目标卫星抓捕场景中，当空间飞爪抓捕系统与非合作目标之间距离极短时，非合作目标星上的帆板支架单杆成像后只能看到其两侧边缘，这样的纹理结构特征很难检测出足够多的特征点，而且检测到的特征点也很难进行有效地特征描述(由于视角变化引起的遮挡，以及金属光滑材质和深空平滑背景上比较相似单一)，即使得到匹配的特征点也不能有效地反映场景结构的几何信息。而此时直线段特征较为明显稳定，且干扰较少，能够较好的反映出单杆的结构几何信息。为了能够实现实时、稳定地对直线段进行三维重建，需要对双目立体视觉左右相机中的直线段进行匹配。因此直线段匹配技术不可或缺。

与特征点匹配的广泛应用不同，直线匹配目前更多的还处于研究阶段。其主要原因在于存在以下诸多困难：

(1)边缘直线附近区域各点灰度、梯度相似，比较平滑，很难提取到有效、独特的信息用于描述和表征直线段；

(2)点匹配中在不同的图像中能够比较容易地选取到一个大小固定的区域描述子，而对于不同长度的直线段，具有不同大小的直线支撑区域，缺乏合适的区域归一化策略来计算直线支撑区域描述子；

(3)目前主流的直线段提取技术检测到的直线段往往端点定位不准，导致直线支撑区域所包含的结构信息不一致，而且检测得到的直线段存在不连续的问题，更加剧了描述直线的难度；

(4)在点匹配中，极线约束通常能够提供很强的全局约束，反之，极线几乎不能为直线匹配直接提供有效的位置约束，更增加了直线匹配时的搜索空间，同时也增大了直线误匹配的概率；

(5)直线的不连续性能够影响直线间拓扑结构的连通性，使得利用局部或全局拓扑约束进行直线匹配十分困难。

直线匹配采用的匹配特征通常可分为三种类型：直线段的几何属性、直线段周围的图像灰度属性、直线段几何属性和灰度属性相结合的特征。王志衡[1]等人提出一种直线描述子来进行自动直线段匹配，首先定义直线段的平行邻域，把邻域分解为一系列的平行直线段，其次通过图像的灰度、梯度和梯度幅值特征建立平行邻域描述矩阵，最后计算描述矩阵列向量的均值和标准差来获得直线描述子，具有平行、旋转和线性光照不变性。但得到直线描述子的时间复杂度较高，遇到复杂纹理特征时，容易出现错误。傅丹[2]提出了基于极线约束和RANSAC算法相结合的直线段匹配方法。首先对直线段上的点运用基于极线约束的匹配方法在另一幅图像中进行点的同名匹配，再采用RANSAC算法建立直线模型，剔除野值，从而得到匹配直线段。该法能有效完成被部分遮挡直线段的匹配问题，并补齐遮挡直线段，适用于三维重建。但是该法并不适用于序列图像不同帧之间的直线段匹配。樊彬等[3][4]提出了一种构建射影不变量进行直线匹配，但是由于该方法基于的直线段局部邻域存在至少两个与其共面的特征点，因此当图像由于噪声的影响而出现大量孤立直线段时，算法的匹配精度将大大降低，同时由于算法需要迭代进行点匹配以确定直线段间的相似度量，因而计算代价较大。张跃强等[5]针对弱纹理目标直线匹配对应问题提出了一种基于局部梯度直方图特性和全局几何约束的直线匹配方法。但是当图像对间存在较大的尺度变化时，算法的性能降低。算法对于640×480分辨率的图像对的处理时间需要2s左右，实时性方面仍需提升。

【发明内容】

本发明的目的在于克服上述现有技术的缺点，提供一种基于直线段间相对位置分布的直线段匹配方法，该方法无需进行边缘检测，能够对图像中任意长度的直线段进行描述和匹配，不依赖于传统的特征检测，且易于实现，计算效率优于现有算法。

为达到上述目的，本发明采用以下技术方案予以实现：

一种实时的直线段匹配方法，包括以下步骤：

1)图像采集：利用已标定且立体校正后的双目相机对目标图像进行采集，得到左图像I_l和右图像I_r；

2)直线段检测：利用基于梯度生长的直线段检测方法对图像I_l和I_r进行直线段检测，检测出的直线段集合分别表示为l_L＝{o₁,o₂,…,o_m}和l_R＝{o’₁,o’₂,…,o’_n}；组成每条直线段的各坐标点坐标也记录如下：对于直线段o₁，其上坐标点集表示为Po₁＝{(x₁,y₁)，(x₂,y₂)，…，(x_No1,y_No1)}；

3)直线段合并：对检测出的直线段集合中的任意两条求取端点距离和夹角，对符合条件的直线段进行合并，得到直线段集合l_L＝{p₁,p₂,…,p_M}和l_R＝{q₁,q₂,…,q_N}；

4)直线段描述符构建：对l_L和l_R中的每一条直线段，按照设计的方法求取其特征描述符；l_L＝{p₁,p₂,…,p_M}和l_R＝{q₁,q₂,…,q_N}中每条直线段的描述符表示为F_L＝{f₁,f₂,…,f_M}和F_R＝{f’₁,f’₂,…,f’_N}；

5)描述符匹配：计算直线段描述符之间的Hamming距离；对于F_L中的任一直线段，F_R中与其Hamming距离最小的直线段即为其最佳匹配。

本发明进一步的改进在于：

所述步骤3)中，直线段合并的具体方法如下：

对I_L＝{o₁,o₂,…,o_m}中任意两条直线段{o_i,o_j}，两个端点分别为(x_i1,y_i1)和(x_i2,y_i2)、(x_j1,y_j1)和(x_j2,y_j2)，与x轴的夹角分别为θ₁和θ₂；计算(x_i1,y_i1)与(x_j1,y_j1)、(x_j2,y_j2)之间的欧氏距离d₁₁和d₁₂，(x_i2,y_i2)与(x_j1,y_j1)、(x_j2,y_j2)之间的欧氏距离为d₂₁和d₂₂；d_min为d₁₁、d₁₂、d₂₁以及d₂₂中的最小值，同时求出L_i和L_j之间的夹角θ_l2＝abs(θ₁-θ₂)；将d_min小于10个像素，θ_l2小于5度的直线段进行合并，全部处理后得到直线段集合{p₁,p₂,…,p_M}。

所述步骤4)中，对于l_L＝{p₁,p₂,…,p_M}和l_R＝{q₁,q₂,…,q_N}中的任一直线段，以p_i为例，其上坐标点集表示为Pp_i＝{(x₁,y₁)，(x₂,y₂)，…，(x_pi,y_pi)}；对于每个坐标点(x_i,y_i)求取与相邻直线段位置分布关联的描述符；具体地，以点(x_i,y_i)为中心，首先构建半径分别是r和r/2的同心内圆C_i和外圆C_o；将C_i和C_o划分成均等的12个扇形；计算出p_i上点(x_i,y_i)处梯度方向，以该梯度线与圆周相交处逆时针第一个完整扇形定义为a和A，逆时针依次为12个扇形进行编号；C_i上扇形依次编号为a、b、c、d、e、f、g、h、i、j、k、l；C_o上扇形依次编号为A、B、C、D、E、F、G、H、I、J、K、L；统计所有直线段是否落在扇形圆弧上，如果扇形A圆弧上没有直线交点，则A的值记为0；扇形A圆弧上有一条直线段经过，则A的值记为1；扇形A圆弧上有两条直线段经过，则A的值记为2，以此类推；此处采用16进制编码，最多可统计15个直线段交点，如果超出此数值一律视为15个交点；最后将内圆外圆组成一个24位编码，即为直线段该点的描述符；一条直线段上所有点的描述符集合在一起构成了该条直线段的特征描述符F_L＝{f₁,f₂,…,f_M}和F_R＝{f’₁,f’₂,…,f’_N}。

所述步骤5)中，已立体校正的左右图像对中，空间上同一点在左右图像上的两个投影点纵坐标相同；对于l_L和l_R中的任意两条直线段，纵坐标相同两点则求取描述符之间的Hamming距离，并记录该距离；两条直线段长度不同时，一条上各点计算完毕则累计所有Hamming距离之和，记为两条直线段描述符之间的距离；对于l_L中的任一直线段，l_R中与其Hamming距离之和最小且小于阈值的直线段即为其最佳匹配。

与现有技术相比，本发明具有以下有益效果：

本发明采用基于梯度生长的直线段检测方法，从而无需对图像进行边缘检测，避免了二值化阈值选取的影响。采用直线段合并的方法，避免了细碎短小直线段的干扰，同时降低了计算量。采用直线段之间的相对位置分布这一几何关系，对弱纹理区域的直线段有较好的描述能力，且具有旋转不变性，能够达到实时匹配。另外，本发明无需对图像进行边缘检测，并且适用于不同尺寸直线段的匹配；同时，本发明能够适用于多直线段场景中的快速匹配。最后，本发明在军事上可用于特定目标的跟踪匹配，如机场跑道等；航空航天中可用于非合作目标感兴趣区域的末端匹配跟踪等。

【附图说明】

图1为本发明的描述符构建示意图。

【具体实施方式】

下面结合附图对本发明做进一步详细描述：

参见图1，本发明实时的直线段匹配方法，包括以下步骤：

1、图像采集

利用已标定好且进行过立体校正后的双目相机对目标图像进行采集，得到左图像I_l和右图像I_r；

其中立体标定和立体校正如何具体操作，为本领域公知技术，可参考文献1“Bradski G,Kaebler A.学习OpenCV[M].于仕琪,刘瑞祯,译.北京:清华大学出版社,2009:362-363.”，此处不再赘述。

2、直线段检测

利用基于梯度生长的直线段检测方法对图像I和I’进行直线段检测，检测出的直线段集合分别表示为I_L＝{o₁,o₂,…,o_m}和I’_L＝{o’₁,o’₂,…,o’_n}；组成每条直线段的各坐标点坐标也记录如下：对于直线段o₁，其上坐标点集表示为Po₁＝{(x₁,y₁)，(x₂,y₂)，…，(x_No1,y_No1)}。

其中关于上述步骤如何具体操作，为本领域公知技术，可参考文献2“覃勋辉，马戎，付维平，等.一种基于梯度的直线段检测算法[J].光子学报,2012,41(2),205-209.”，此处不再赘述。

3、直线段合并

对I_L＝{o₁,o₂,…,o_m}中任意两条直线段{o_i,o_j}，两个端点分别为(x_i1,y_i1)和(x_i2,y_i2)、(x_j1,y_j1)和(x_j2,y_j2)，与x轴的夹角分别为θ₁和θ₂；计算(x_i1,y_i1)与(x_j1,y_j1)、(x_j2,y_j2)之间的欧氏距离d₁₁和d₁₂，(x_i2,y_i2)与(x_j1,y_j1)、(x_j2,y_j2)之间的欧氏距离为d₂₁和d₂₂；d_min为d₁₁、d₁₂、d₂₁以及d₂₂中的最小值，同时求出L_i和L_j之间的夹角θ_l2＝abs(θ₁-θ₂)；将d_min小于10个像素，θ_l2小于5度的直线段进行合并，全部处理后得到直线段集合{p₁,p₂,…,p_M}。

以此对检测出的直线段集合中的任意两条求取端点距离和夹角，对符合条件的直线段进行合并，得到直线段集合l_L＝{p₁,p₂,…,p_M}和l_R＝{q₁,q₂,…,q_N}。

4、直线段描述符构建

对于l_L＝{p₁,p₂,…,p_M}和l_R＝{q₁,q₂,…,q_N}中的任一直线段，以p_i为例，其上坐标点集表示为Pp_i＝{(x₁,y₁)，(x₂,y₂)，…，(x_pi,y_pi)}。对于每个坐标点(x_i,y_i)求取与相邻直线段位置分布关联的描述符。具体地，以点(x_i,y_i)为中心，首先构建半径分别是r和r/2的同心内圆C_i和外圆C_o。将C_i和C_o划分成均等的12个扇形。计算出p_i上点(x_i,y_i)处梯度方向，以该梯度线与圆周相交处逆时针第一个完整扇形定义为a和A，逆时针依次为12个扇形进行编号。C_i上扇形依次编号为a、b、c、d、e、f、g、h、i、j、k、l；C_o上扇形依次编号为A、B、C、D、E、F、G、H、I、J、K、L。统计所有直线段是否落在扇形圆弧上，如果扇形A圆弧上没有直线交点，则A的值记为0；扇形A圆弧上有一条直线段经过，则A的值记为1；扇形A圆弧上有两条直线段经过，则A的值记为2，以此类推。此处采用16进制编码，最多可统计15个直线段交点，如果超出此数值一律视为15个交点。最后将内圆外圆组成一个24位编码，即为直线段该点的描述符。一条直线段上所有点的描述符集合在一起构成了该条直线段的特征描述符F_L＝{f₁,f₂,…,f_M}和F_R＝{f’₁,f’₂,…,f’_N}。

以图1所示为例，直线段l上p点处构建描述符的过程如图所示。可以看到l₁和l₂两条直线段位于l附近，且l₁与构建的外圆上A和J两个扇形圆弧相交；l₂与构建的外圆上D和I两个扇形圆弧相交，并且与内圆上d和h两个扇形圆弧相交。则24位描述符表示为100100001100000100010000(按照ABCDEFGHIJKLabcdefghijkl顺序排列)。

5、描述符匹配

已立体校正的左右图像对中，空间上同一点在左右图像上的两个投影点纵坐标相同。对于l_L和l_R中的任意两条直线段，纵坐标相同两点则求取描述符之间的Hamming距离，并记录该距离。两条直线段长度不同时，一条上各点计算完毕则累计所有Hamming距离之和，记为两条直线段描述符之间的距离。对于l_L中的任一直线段，l_R中与其Hamming距离之和最小且小于阈值的直线段即为其最佳匹配。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (4)

1.一种实时的直线段匹配方法，其特征在于，包括以下步骤：

1)图像采集：利用已标定且立体校正后的双目相机对目标图像进行采集，得到左图像I_l和右图像I_r；

2)直线段检测：利用基于梯度生长的直线段检测方法对图像I_l和I_r进行直线段检测，检测出的直线段集合分别表示为l_L＝{o₁,o₂,…,o_m}和l_R＝{o’₁,o’₂,…,o’_n}；组成每条直线段的各坐标点坐标也记录如下：对于直线段o₁，其上坐标点集表示为Po₁＝{(x₁,y₁)，(x₂,y₂)，…，(x_No1,y_No1)}；

3)直线段合并：对检测出的直线段集合中的任意两条求取端点距离和夹角，对符合条件的直线段进行合并，得到直线段集合l_L＝{p₁,p₂,…,p_M}和l_R＝{q₁,q₂,…,q_N}；

4)直线段描述符构建：对l_L和l_R中的每一条直线段，按照设计的方法求取其特征描述符；l_L＝{p₁,p₂,…,p_M}和l_R＝{q₁,q₂,…,q_N}中每条直线段的描述符表示为F_L＝{f₁,f₂,…,f_M}和F_R＝{f’₁,f’₂,…,f’_N}；

5)描述符匹配：计算直线段描述符之间的Hamming距离；对于F_L中的任一直线段，F_R中与其Hamming距离最小的直线段即为其最佳匹配。

2.根据权利要求1所述的实时的直线段匹配方法，其特征在于，所述步骤3)中，直线段合并的具体方法如下：

对I_L＝{o₁,o₂,…,o_m}中任意两条直线段{o_i,o_j}，两个端点分别为(x_i1,y_i1)和(x_i2,y_i2)、(x_j1,y_j1)和(x_j2,y_j2)，与x轴的夹角分别为θ₁和θ₂；计算(x_i1,y_i1)与(x_j1,y_j1)、(x_j2,y_j2)之间的欧氏距离d₁₁和d₁₂，(x_i2,y_i2)与(x_j1,y_j1)、(x_j2,y_j2)之间的欧氏距离为d₂₁和d₂₂；d_min为d₁₁、d₁₂、d₂₁以及d₂₂中的最小值，同时求出L_i和L_j之间的夹角θ_l2＝abs(θ₁-θ₂)；将d_min小于10个像素，θ_l2小于5度的直线段进行合并，全部处理后得到直线段集合{p₁,p₂,…,p_M}。

3.根据权利要求1所述的实时的直线段匹配方法，其特征在于，所述步骤4)中，对于l_L＝{p₁,p₂,…,p_M}和l_R＝{q₁,q₂,…,q_N}中的任一直线段，以p_i为例，其上坐标点集表示为Pp_i＝{(x₁,y₁)，(x₂,y₂)，…，(x_pi,y_pi)}；对于每个坐标点(x_i,y_i)求取与相邻直线段位置分布关联的描述符；具体地，以点(x_i,y_i)为中心，首先构建半径分别是r和r/2的同心内圆C_i和外圆C_o；将C_i和C_o划分成均等的12个扇形；计算出p_i上点(x_i,y_i)处梯度方向，以该梯度线与圆周相交处逆时针第一个完整扇形定义为a和A，逆时针依次为12个扇形进行编号；C_i上扇形依次编号为a、b、c、d、e、f、g、h、i、j、k、l；C_o上扇形依次编号为A、B、C、D、E、F、G、H、I、J、K、L；统计所有直线段是否落在扇形圆弧上，如果扇形A圆弧上没有直线交点，则A的值记为0；扇形A圆弧上有一条直线段经过，则A的值记为1；扇形A圆弧上有两条直线段经过，则A的值记为2，以此类推；此处采用16进制编码，最多可统计15个直线段交点，如果超出此数值一律视为15个交点；最后将内圆外圆组成一个24位编码，即为直线段该点的描述符；一条直线段上所有点的描述符集合在一起构成了该条直线段的特征描述符F_L＝{f₁,f₂,…,f_M}和F_R＝{f’₁,f’₂,…,f’_N}。

4.根据权利要求1所述的实时的直线段匹配方法，其特征在于，所述步骤5)中，已立体校正的左右图像对中，空间上同一点在左右图像上的两个投影点纵坐标相同；对于l_L和l_R中的任意两条直线段，纵坐标相同两点则求取描述符之间的Hamming距离，并记录该距离；两条直线段长度不同时，一条上各点计算完毕则累计所有Hamming距离之和，记为两条直线段描述符之间的距离；对于l_L中的任一直线段，l_R中与其Hamming距离之和最小且小于阈值的直线段即为其最佳匹配。