CN115512138A - 基于点线面融合的线特征匹配方法 - Google Patents

Abstract

本发明属于计算机视觉技术领域，尤其涉及一种基于点线面融合的线特征匹配方法，方法包括以下步骤：获取图像，通过梯度密度滤波器对图像进行预处理；对图像进行基于LSD算法的线特征提取，得到特征线段，并基于特征线段合并得到特征线段组；采用预设算法从图像中提取特征点，并对特征点使用RANSAC算法对初始的特征点匹配对进行误匹配剔除；根据特征线段组和特征点构造点线不变量；利用点线不变量进行特征线段的粗匹配；根据STING平面提取算法从图像中提取平面特征；根据粗匹配的线特征和平面特征进行关联，得到平面‑直线关联图；根据平关联图进行线特征匹配，得到线特征匹配结果。本发明对于室内低纹理环境等情况下的图像能够有效提高线匹配精度。

Description

基于点线面融合的线特征匹配方法

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种基于点线面融合的线特征匹配方法。

背景技术

线特征匹配是指在不同图片上寻找原属于同一条直线的对应关系，是许多计算机视觉应用的一部分，目前线特征匹配广泛应用于同步定位与建图(SLAM)、摄像机校准、三维重建、场景识别、运动跟踪等领域。尤其在弱纹理环境中，经常需要用线特征，所以线特征匹配的精度对位姿估计和视觉定位有重要意义。

现有的线特征匹配方法有基于线特征的外观和几何约束的线匹配方法、以点代线的线匹配方法。

现有技术的缺点主要有：线特征提取线段质量差、容易出现短线段导致误匹配、线匹配精度差、容易出现线匹配误差。在低纹理环境中，线特征匹配是视觉定位的关键，若是线特征匹配精度较差，会导致无法实现视觉定位。

对于现有的线特征匹配方法来说：基于线特征的外观和几何约束的线匹配方法，在尺度变化、视角和光照变化的情况下容易出现误匹配，且匹配时间较长；以点代线的线匹配方法，提取的短线段较多且密集时，容易出现误匹配，匹配的可靠性不高。

发明内容

本发明旨在解决现有的线特征匹配方法在尺度变化、视角、光照变化、短线段较多且密集的情况下存在的线特征误匹配问题。

为解决上述问题，本发明提供一种基于点线面融合的线特征匹配方法，包括以下步骤：

S1、获取用于线特征匹配的图像，通过梯度密度滤波器对所述图像进行预处理；

S2、对预处理后的所述图像进行基于LSD算法的线特征提取，得到特征线段，并基于所述特征线段进行合并，得到特征线段组；

S3、采用预设算法从所述图像中提取特征点，并对所述特征点进行旋转处理，使用RANSAC算法对初始的特征点匹配对进行误匹配剔除；

S4、根据所述特征线段组和所述特征点构造点线不变量；

S5、利用所述点线不变量进行所述特征线段的粗匹配，得到粗匹配线特征；

S6、根据STING平面提取算法从所述图像中提取平面特征；

S7、根据所述粗匹配线特征和所述平面特征进行关联，得到平面-直线关联图；

S8、根据所述平面-直线关联图进行线特征匹配，得到所述图像的线特征匹配结果。

更进一步地，步骤S1中，通过梯度密度滤波器对所述图像进行预处理的步骤，具体为：

利用局部像素梯度的预设密度值作为筛选准则，对于所述图像中的线特征大于所述预设密度值的区域，以轮廓检测替代完整的线特征检测。

更进一步地，所述预设密度值为0.75。

更进一步地，步骤S2包括以下子步骤：

线段分组，对LSD算法提取的所述特征线段根据长度进行降序排序，并针对每一条所述特征线段基于角度进行筛选，得到候选线段组，所述候选线段组中包含主线段；

线段排序，将所述候选线段组根据所述主线段的在所述图像中的位置进行分组，得到所述特征线段组。

更进一步地，步骤S3中的所述预设算法为FAST算法，步骤S3具体为：

使用所述FAST算法从所述图像中提取所述特征点，确定所述特征点的主方向并使所述主方向旋转到0度，计算所述图像中角点的BRIEF描述子，调用所述RANSAC算法对初始的所述特征点匹配对进行误匹配剔除。

更进一步地，步骤S5包括以下子步骤：

通过相邻帧间的所述特征点进行点匹配获得粗略的帧间旋转角；

利用所述帧间旋转角筛选待匹配的所述特征线段，其中：

对于符合预设旋转角限制的相邻帧之间的两条所述特征线段，计算所述特征线段之间的点线不变量的相似度，若相似度大于预设相似阈值，则将其视为所述粗匹配线特征。

更进一步地，所述预设相似阈值为0.95。

更进一步地，所述平面-直线关联图满足：

其中，ω表示两平面i、j之间的平行关系，

表示两平面i、j法向量之间的夹角，

表示两平面i、j之间的距离；I表示直线和平面的平行关系，

表示直线v_i与平面法向量n_j之间的夹角，

表示平面v_i与直线u_i之间的距离。

更进一步地，步骤S8具体为：

定义两个平面上所述粗匹配线特征的点的颜色相似度为S_π,col(v_πc,i,v_πr,m)：

其中，

表示两个平面上所述粗匹配线特征的点的RGB值分布的巴氏距离；

定义所述粗匹配线特征之间的几何相似度为s_L,geo(v_L,j,v_Lr,p)：

k∈{1,…,N_πc},l∈{1,…,N_πr}}；

|I_jp|为集合I_jp中元素的个数；

若所述粗匹配线特征的几何相似度s_L,geo(v_L,j,v_Lr,p)大于预设匹配阈值，则认为所述粗匹配线特征对应的两条所述线特征相互匹配。

更进一步地，所述预设匹配阈值为0.85。

本发明所达到的有益效果，由于采用了点线融合的粗匹配和线面融合的精匹配结合的方法，有效提高线匹配的精度；同时，对LSD提取的短线段合并成质量更高的长线段，有效避免线匹配的误匹配，在密集区域以轮廓检测代替线特征检测，剔除大量无效线特征，降低了匹配的计算量和误匹配率，从而使得对于室内低纹理环境等情况下的图像能够有效提高线匹配精度，为后续的位姿估计或者视觉定位提供更准确的信息。

附图说明

图1是本发明实施例提供的基于点线面融合的线特征匹配方法的步骤流程图；

图2是本发明实施例提供的线段组分组示意图；

图3是本发明实施例提供的点线不变量示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参照图1，图1是本发明实施例提供的基于点线面融合的线特征匹配方法的步骤流程图，包括以下步骤：

S1、获取用于线特征匹配的图像，通过梯度密度滤波器对所述图像进行预处理。

更进一步地，步骤S1中，通过梯度密度滤波器对所述图像进行预处理的步骤，具体为：

利用局部像素梯度的预设密度值作为筛选准则，对于所述图像中的线特征大于所述预设密度值的区域，以轮廓检测替代完整的线特征检测。

更进一步地，所述预设密度值为0.75。

具体的，在本发明实施例中，定义像素点(i,j)的梯度值为|G_ij|，其强度的定义如关系式(1)所示，当梯度值大于强度阈值时标记为1，否则为0。

区域的梯度密度ρ_ij定义为：以像素点(i,j)为中心的k*k区域内，梯度大于阈值G_s的像素点数所占的百分比，其满足关系式(2)：

以像素区域梯度密度阈值ρ_DENSE为衡量标准，ρ_DENSE取值0.75，将梯度密度ρ_ij大于ρ_DENSE的像素区域视为特征稠密区域，线段检测时视为无效区域。由此，线段检测有效区域标识定义为：

S2、对预处理后的所述图像进行基于LSD算法的线特征提取，得到特征线段，并基于所述特征线段进行合并，得到特征线段组。

更进一步地，步骤S2包括以下子步骤：

线段分组，对LSD算法提取的所述特征线段根据长度进行降序排序，并针对每一条所述特征线段基于角度进行筛选，得到候选线段组，所述候选线段组中包含主线段；

线段排序，将所述候选线段组根据所述主线段的在所述图像中的位置进行分组，得到所述特征线段组。

具体的，线段分组时，首先对LSD算法提取的线段根据长度进行降序排序，得到L＝{L₁,L₂,L₃,…,L_n}。

从最长的线段开始进行分组，直到线段长度小于设定的阈值L_min。针对每一条线段L_i，基于角度进行筛选得到候选线段组L_θ，通过这一步可以快速筛选掉大量不匹配的线段，降低后续的计算量，这个过程可以表示为关系式(4)：

(4)式中，L_j表示线段组L中长度比L_i短的线段，θ_i和θ_j分别为L_i及L_j与x轴的夹角，θ_th表示L_i及L_j之间的角度差阈值。

然后，计算L_j两端点到L_i所在直线的距离，设线段L_j起点坐标为p_s，终点坐标为p_e，线段L_i所在直线表示为l＝[l₁,l₂,l₃]^T，即直线方程为l₁x+l₂y+l₃＝0，则两端点到直线的距离d满足关系式(5)：

其中，d_s表示L_j起点到L_i所在直线的距离，d_e表示L_j终点到L_i所在直线的距离。

基于公式(5)计算得到距离d，筛选得到最终的候选线段组L_g，其满足关系式(6)：

其中，d_th表示端点到直线的距离阈值。

线段合并时，将线段根据主线段的位置分为两组，如图2所示，并对每一组都进行前缀和计算。前缀和计算时，每一组线段都要包含主线段，图2中的两个线段组的主线段为l₂。以线段组2为例，设前缀和计算结果为S_pre＝ [l_sum2,l_sum3,l_sum4]。

从距离主线段最远的线段开始，即图2中的l₄，计算主线段l₂起始端点s₂和线段l₄起始端点s₄的距离d，并与之前计算得到的前缀和中对应的线段总长度 l_sum4进行比较，如公式(7)所示：

其中，r_th为比例阈值。

若线段总长度占距离的比例大于阈值r_th，则认为从l₂到l₄之间的所有线段属于同一条长线段，连接l₂的起点和l₄的终点作为合并后的线段，否则将线段l₄释放回线段组L中，用于后续的处理，这是通过对线段进行是否使用的标记实现的，同时，继续判断次远的线段l₃。

S3、采用预设算法从所述图像中提取特征点，并对所述特征点进行旋转处理，使用RANSAC算法对初始的特征点匹配对进行误匹配剔除。

更进一步地，步骤S3中的所述预设算法为FAST算法，步骤S3具体为：

使用所述FAST算法从所述图像中提取所述特征点，确定所述特征点的主方向并使所述主方向旋转到0度，计算所述图像中角点的BRIEF描述子，调用所述RANSAC算法对初始的所述特征点匹配对进行误匹配剔除。

S4、根据所述特征线段组和所述特征点构造点线不变量。

示例性的，点线不变量由一条线段和与其相邻的2个特征点组成，线段与特征点位于同一平面上。如图3所示，假设空间点P₁和P₂以及空间线段L都在同一平面上，且P₁和P₂均不在L上；X₁、X₂、p和Y₁、Y₂、q为相机对空间点P₁、P₂和空间线段L拍摄的前后两帧的成像表示。

对于处在同一平面上的线段p和q，可以通过单应矩阵对其映射关系进行描述。假设该映射关系为H，线段p和q所在直线的系数向量为p和q，点X₁、X₂和Y₁、 Y₂对应的齐次坐标为X₁、X₂和Y₁、Y₂，均为三维向量，则特征点和特征线满足如下关系式(8)至(11)：

q＝sHp (8)；

Y_i＝HX_i,i＝1,2 (9)；

根据关系式(10)和(11)可以得到关系式(12)：

由关系式(12)可知特征点到特征线段距离的比值是仿射不变的，由此构造出点线不变量。

S5、利用所述点线不变量进行所述特征线段的粗匹配，得到粗匹配线特征。

更进一步地，步骤S5包括以下子步骤：

通过相邻帧间的所述特征点进行点匹配获得粗略的帧间旋转角；

利用所述帧间旋转角筛选待匹配的所述特征线段，其中：

对于符合预设旋转角限制的相邻帧之间的两条所述特征线段，计算所述特征线段之间的点线不变量的相似度，若相似度大于预设相似阈值，则将其视为所述粗匹配线特征。

更进一步地，所述预设相似阈值为0.95。

具体的，首先通过相邻帧间的点匹配获得粗略的帧间旋转角，假设该旋转角度为θ，然后利用帧间旋转角筛选待匹配线段。对于2条线段，可以计算出线段之间的旋转角，记为θ₁。设置旋转角误差阈值θ_t，如果|θ-θ₁|>θ_t，则认定 2条线段不匹配，无需进一步计算点线不变量，可加快匹配速度。

对于符合旋转角限制的线段，计算线段之间点线不变量的差异。从2帧图像中各取出1条待匹配线段p和q，其仿射不变量误差表示为关系式(13)：

其中，(X_i,X_j)是线段p支持域内的2个ORB特征点，(Y_i,Y_j)是线段q支持域内的2个ORB特征点，(X_i,Y_i)是一对匹配的ORB特征点，n表示匹配的特征点的对数。对于线段p和q，其最终的相似性Sim(p,q)为AffSim的最大值。当Sim(p,q)> 0.95时，线段匹配成功。

S6、根据STING平面提取算法从所述图像中提取平面特征。

具体的，使用基于STING的平面提取算法对深度图进行平面特征提取，提取的平面可表示为π＝[n^T,d]^T，其中n∈S²表示平面的单位法向量，S²表示三维欧氏空间R³中的单位球面，d表示相机坐标系原点到平面的距离。

S7、根据所述粗匹配线特征和所述平面特征进行关联，得到平面-直线关联图。

具体的，节点表示平面，节点之间则表示平面之间的几何关系。

更进一步地，所述平面-直线关联图满足：

其中，ω表示两平面i、j之间的平行关系，

表示两平面i、j法向量之间的夹角，

表示两平面i、j之间的距离；I表示直线和平面的平行关系，

表示直线v_i与平面法向量n_j之间的夹角，

表示平面v_i与直线u_i之间的距离。

进一步的，在本发明实施例中，上述参数还可以表示为：

S8、根据所述平面-直线关联图进行线特征匹配，得到所述图像的线特征匹配结果。

更进一步地，步骤S8具体为：

定义两个平面上所述粗匹配线特征的点的颜色相似度为S_π,col(v_πc,i,v_πr,m)：

其中，

表示两个平面上所述粗匹配线特征的点的RGB值分布的巴氏距离；

定义所述粗匹配线特征之间的几何相似度为s_L,geo(v_L,j,v_Lr,p)：

k∈{1,…,N_πc},l∈{1,…,N_πr}}；

|I_jp|为集合I_jp中元素的个数；

若所述粗匹配线特征的几何相似度s_L,geo(v_L,j,v_Lr,p)大于预设匹配阈值，则认为所述粗匹配线特征对应的两条所述线特征相互匹配。

更进一步地，所述预设匹配阈值为0.85。

本发明所达到的有益效果，由于采用了点线融合的粗匹配和线面融合的精匹配结合的方法，有效提高线匹配的精度；同时，对LSD提取的短线段合并成质量更高的长线段，有效避免线匹配的误匹配，在密集区域以轮廓检测代替线特征检测，剔除大量无效线特征，降低了匹配的计算量和误匹配率，从而使得对于室内低纹理环境等情况下的图像能够有效提高线匹配精度，为后续的位姿估计或者视觉定位提供更准确的信息。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机成型来指令相关的硬件来完成，所述的成型可存储于一计算机可读取存储介质中，该成型在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory， ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。例如，在一种可能的实施方式中，所述计算机可读存储介质上存储有计算机成型，该计算机成型被处理器执行时实现本发明实施例提供的基于点线面融合的线特征匹配方法中的各个过程及步骤，且能实现相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，所揭露的仅为本发明较佳实施例而已，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式用等同变化，均属于本发明的保护之内。

Claims (10)

1.一种基于点线面融合的线特征匹配方法，其特征在于，包括以下步骤：

S1、获取用于线特征匹配的图像，通过梯度密度滤波器对所述图像进行预处理；

S2、对预处理后的所述图像进行基于LSD算法的线特征提取，得到特征线段，并基于所述特征线段进行合并，得到特征线段组；

S3、采用预设算法从所述图像中提取特征点，并对所述特征点进行旋转处理，使用RANSAC算法对初始的特征点匹配对进行误匹配剔除；

S4、根据所述特征线段组和所述特征点构造点线不变量；

S5、利用所述点线不变量进行所述特征线段的粗匹配，得到粗匹配线特征；

S6、根据STING平面提取算法从所述图像中提取平面特征；

S7、根据所述粗匹配线特征和所述平面特征进行关联，得到平面-直线关联图；

S8、根据所述平面-直线关联图进行线特征匹配，得到所述图像的线特征匹配结果。

2.如权利要求1所述的基于点线面融合的线特征匹配方法，其特征在于，步骤S1中，通过梯度密度滤波器对所述图像进行预处理的步骤，具体为：

利用局部像素梯度的预设密度值作为筛选准则，对于所述图像中的线特征大于所述预设密度值的区域，以轮廓检测替代完整的线特征检测。

3.如权利要求2所述的基于点线面融合的线特征匹配方法，其特征在于，所述预设密度值为0.75。

4.如权利要求1所述的基于点线面融合的线特征匹配方法，其特征在于，步骤S2包括以下子步骤：

线段分组，对LSD算法提取的所述特征线段根据长度进行降序排序，并针对每一条所述特征线段基于角度进行筛选，得到候选线段组，所述候选线段组中包含主线段；

线段排序，将所述候选线段组根据所述主线段的在所述图像中的位置进行分组，得到所述特征线段组。

5.如权利要求1所述的基于点线面融合的线特征匹配方法，其特征在于，步骤S3中的所述预设算法为FAST算法，步骤S3具体为：

使用所述FAST算法从所述图像中提取所述特征点，确定所述特征点的主方向并使所述主方向旋转到0度，计算所述图像中角点的BRIEF描述子，调用所述RANSAC算法对初始的所述特征点匹配对进行误匹配剔除。

6.如权利要求1所述的基于点线面融合的线特征匹配方法，其特征在于，步骤S5包括以下子步骤：

通过相邻帧间的所述特征点进行点匹配获得粗略的帧间旋转角；

利用所述帧间旋转角筛选待匹配的所述特征线段，其中：

对于符合预设旋转角限制的相邻帧之间的两条所述特征线段，计算所述特征线段之间的点线不变量的相似度，若相似度大于预设相似阈值，则将其视为所述粗匹配线特征。

7.如权利要求6所述的基于点线面融合的线特征匹配方法，其特征在于，所述预设相似阈值为0.95。

8.如权利要求1所述的基于点线面融合的线特征匹配方法，其特征在于，所述平面-直线关联图满足：

其中，ω表示两平面i、j之间的平行关系，

表示两平面i、j法向量之间的夹角，

表示两平面i、j之间的距离；I表示直线和平面的平行关系，

表示直线v_i与平面法向量n_j之间的夹角，

表示平面v_i与直线u_i之间的距离。

9.如权利要求8所述的基于点线面融合的线特征匹配方法，其特征在于，步骤S8具体为：

定义两个平面上所述粗匹配线特征的点的颜色相似度为S_π,col(v_πc,i,v_πr,m)：

其中，

表示两个平面上所述粗匹配线特征的点的RGB值分布的巴氏距离；

定义所述粗匹配线特征之间的几何相似度为s_L,geo(v_L,j,v_Lr,p)：

k∈{1，…，N_πc}，l∈{1，…，N_πr}}；

|I_jp|为集合I_jp中元素的个数；

若所述粗匹配线特征的几何相似度s_L,geo(v_L,j,v_Lr,p)大于预设匹配阈值，则认为所述粗匹配线特征对应的两条所述线特征相互匹配。

10.如权利要求9所述的基于点线面融合的线特征匹配方法，其特征在于，所述预设匹配阈值为0.85。

Images