CN111461140A - 适用于slam系统的直线描述子构建和匹配方法 - Google Patents

Abstract

本发明公开了一种适用于SLAM系统的直线描述子构建和匹配方法，利用直线方向向量、直线长度和直线区域内所有像素点的灰度梯度向量构建直线描述子：将所有灰度梯度向量与直线主方向及法方向向量做点乘并对点乘结果进行分组；分别将主方向、法方向和所有灰度梯度向量扩充为三维向量，计算三者的叉乘并对叉乘向量第三维坐标进行分组；扩充直线区域，进行相同计算，求取各分组数据的和与方差并做归一化处理；利用归一化后的结果以及直线长度构建直线描述子，实现直线匹配。本发明直线描述子综合了直线区域像素的特点和SLAM系统直线帧间运动较小的特性，有效解决了SLAM系统中直线描述子匹配不准确的问题。

Description

适用于SLAM系统的直线描述子构建和匹配方法

技术领域

本发明涉及图像特征技术领域，更具体的说是涉及一种用于SLAM系统的直线特征描述子的构建和匹配方法。

背景技术

特征匹配是同时定位与建图技术(Simultaneous Localization and Mapping，SLAM)这一计算机视觉领域的核心课题之一，具有十分重要的意义和广泛的实用价值。它融合了图像处理、模式识别、目标跟踪以及计算机应用等相关领域的先进技术和研究成果。

近年来，随着视觉SLAM的快速发展，对于特征稳定性和匹配准确性的要求也在日益增高。现阶段视觉SLAM处理的场景越来越复杂，目标越来越广泛，传统的点特征已无法满足基于特征的SLAM算法。对于线特征而言，尺度不确定，姿态多变，在图像中所占像素多等特点使其没有很好的类似于ORB，SIFT这类点特征的描述子对直线进行描述。

因此，如何构建可靠的、匹配准确性高且计算快捷的直线描述子是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种适用于SLAM系统的直线描述子构建和匹配方法，解决了现有直线描述子无法对直线特征进行准确描述的问题。

为了实现上述目的，本发明采用如下技术方案：

适用于SLAM系统的直线描述子构建和匹配方法，包括以下步骤：

S1：将图像进行降采样得到缩放图像；

S2：计算缩放图像中所有像素的灰度梯度得到灰度梯度图像，以及基于缩放图像进行直线检测获取图像中直线信息；

S3：根据直线信息以及灰度梯度图像计算得到直线描述子；

S4：对直线描述子进行匹配。

进一步，直线信息包括直线长度、直线宽度和直线区域内所有像素的灰度梯度向量。

进一步，S3包括以下步骤：

S31：根据直线长度和直线宽度确定直线主方向向量和直线法方向向量；

S32：将直线区域内所有像素的灰度梯度向量分别与直线主方向向量和直线法方向向量做点乘，并对点乘结果分组；

S33：分别将直线区域内所有像素的灰度梯度向量、直线主方向向量和直线法方向向量扩充为三维向量，并计算三维灰度梯度向量分别与三维直线主方向向量和三维直线法方向向量的叉乘，对叉乘结果第三维坐标进行分组；

S34：对直线区域进行扩充，对扩充直线区域进行与S32和S33相同的计算；

S35：对分组后的结果进行求和与方差运算，并做归一化处理，与直线长度结合得到直线描述子。

进一步，S32具体为：

S321：每个像素的灰度梯度向量与直线主方向向量做点乘公式为：

g_L＝d_L·d(i,j) (1)

式中，d_L为直线主方向向量，d_L＝(-sinθ,cosθ)，d(i,j)为像素点(i,j)处的灰度梯度向量，d(i,j)＝(d_x,d_y)，i，j分别为像素点的横纵坐标，d_x为当前像素在x方向梯度，d_y为当前像素在y方向梯度，g_L为直线主方向与灰度梯度向量点乘结果；

每个像素的灰度梯度向量与直线法方向向量做点乘公式为：

g_⊥＝d_⊥·d(i,j) (2)

式中，d_⊥为直线法方向向量，d_⊥＝(cosθ,sinθ)，对直线长度和直线宽度确定的直线初始范围内所有像素点的灰度梯度进行求和、归一化后为(d'_x,d'_y)，其中d'_x＝cosθ，d'_y＝sinθ，从而确定出θ角，d(i,j)为像素点(i,j)处的灰度梯度向量，d(i,j)＝(d_x,d_y)，i，j分别为像素点的横纵坐标，d_x为当前像素在x方向梯度，d_y为当前像素在y方向梯度，g_⊥为直线法方向与灰度梯度向量点乘结果；

S322：将g_L>0的分为一组，g_L<0的分为一组；将g_⊥>0的分为一组，g_⊥<0的分为一组。

进一步，S33具体为：

S331：将灰度梯度向量、直线主方向向量和直线法方向向量扩充为三维向量，三维向量的前两维坐标为原向量的前两维坐标，三维向量的第三维坐标设为零，三维直线主方向向量和三维直线法方向向量分别为(d_L,0)，(d_⊥,0)，三维灰度梯度向量为(d(i,j),0)；

S332：三维灰度梯度向量与三维直线主方向向量做叉乘公式为：

三维灰度梯度向量与三维直线法方向向量做叉乘公式为：

式中，c_L，c_⊥为叉乘向量，C_L，C_⊥为叉乘向量的第三维坐标；

S333：将C_L>0的分为一组，将C_L<0的分为一组，将C_⊥>0的分为一组，将C_⊥<0的分为一组。

进一步，S34具体为：

S341：将原直线区域进行扩展，分别沿直线法方向和直线负法方向将直线区域扩大(n-1)/2倍，n为整数且为奇数，得到扩充直线区域，扩充直线区域包含n个子区域，大小为原直线区域的n倍；

S342：对每一个子区域进行与S32和S33相同的计算，并对结果进行分组。

进一步，S35具体为：

S351：对每个子区域分组后的点乘结果进行求和：

式中，i为直线子区域的编号，i＝1,2……n，n表示子区域的数目；

对每个子区域分组后的点乘结果求方差，得到

对每个子区域分组后的叉乘结果进行求和：

对每个子区域分组后的叉乘结果进行求方差，得到

S352：将各组子区域的和与方差整理为向量形式：

S353：归一化处理：

式中，i为直线子区域的编号，n为子区域的数目，|| ||表示计算向量的二范数，g'_i，C'_j，S'_i，SC'_i为归一化结果；

S354：直线长度结合归一化结果得到直线描述子：

dec'＝(g'₁,g'₂…g'_n,S'₁,S'₂…S'_n,C'₁,C'₂…C'_n,SC'₁,SC'₂…SC'_n,l) (14)

式中，l表示直线长度，dec'表示直线描述子。

进一步，S4具体匹配过程为：

计算两帧图像中不同直线描述子中直线长度的改变量占当前直线长度的百分比，并计算除直线长度外剩余描述子的曼哈顿距离；

若直线长度的改变量在当前直线长度的20％以内，当前直线与待匹配直线除直线长度外剩余描述子之间的曼哈顿为最短，并小于与其他直线的最短距离的80％时，则将这一对直线作为匹配的直线对。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种适用于SLAM系统的直线描述子构建和匹配方法，该直线描述子综合了直线区域像素的特点和SLAM系统直线帧间运动较小的特性，能有效解决SLAM系统中直线描述子匹配不准确的问题，有利于提高视觉SLAM系统中直线匹配的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的适用于SLAM系统的直线描述子构建和匹配方法流程图。

图2附图为实施例的直线子区域示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种适用于SLAM系统的直线描述子构建和匹配方法，如图1所示：

实施例1：

S1：将图像进行降采样，得到比例为0.8的缩放图像；

若原图像为彩色图，则将缩放图像转化为灰度图。

S2：(1)计算缩放图像中所有像素的灰度梯度，每一像素的灰度梯度用二维向量表示，得到灰度梯度图像；

具体为：图像在(i,j)的灰度梯度记为d(i,j)，i,j分别为像素的横纵坐标，d(i,j)＝(d_x,d_y)，其中d_x为当前像素在x方向梯度，d_y为当前像素在y方向梯度。

(2)对缩放图像进行直线检测，获取图像中的直线信息，包括直线长度、直线宽度和直线区域内所有像素。

S3：根据直线信息以及灰度梯度图像计算得到直线描述子；具体为：

S31：根据直线长度和直线宽度确定直线主方向向量和直线法方向向量，具体为：由直线长度和直线宽度确定的直线初始范围内所有像素点的灰度梯度d(i,j)＝(d_x,d_y)，并对灰度梯度进行求和、归一化后为(d'_x,d'_y)，其中d'_x＝cosθ，d'_y＝sinθ，从而确定出θ角；其中，直线主方向向量d_L＝(-sinθ,cosθ)，直线法方向向量d_⊥＝(cosθ,sinθ)。

S32：如图2所示，region2为初始直线区域，计算region2的每一像素点灰度梯度向量与直线主方向向量的点乘，点乘结果为g_L，g_L＝d_L·d(i,j)，根据g_L的正负，对g_L进行分组求和，分别记为

计算region2的每一像素点灰度梯度向量与直线法方向向量的点乘，点乘结果为g_⊥，g_⊥＝d_⊥·d(i,j)，根据g_⊥的正负，对g_⊥进行分组求和，分别记为

根据g_L,g_⊥的分组结果，计算各组的方差，分别为

将region2区域的和与方差整理为向量形式为

S33：将region2中的每一像素灰度梯度向量与直线主方向向量做叉乘，

得到一个垂直于图像平面的向量，该向量第三维坐标为C_L，根据C_L的正负，对C_L进行分组求和，分别记为

和

将region2中每一像素灰度梯度向量与直线法方向向量做叉乘，

得到另一个垂直于图像平面的向量，该向量坐标为C_⊥，根据C_⊥的正负，对C_⊥进行分组求和，分别记为

和

根据

计算各组叉乘向量第三维坐标的方差，记为

向量形式为

S34：直线区域扩展，具体为：

分别沿直线法方向与法方向的负方向进行扩展，如图2所示，图2中，region2为初始直线区域，扩张后为直线区域的子区域，region1和region3为扩展区域；

仿照S32，对region1进行计算，得到

整理为向量形式为

仿照S32，对region3进行计算，得到

整理为向量形式为

仿照S33，对region1进行计算，得到

向量形式为

仿照S33，对region3进行计算，得到

向量形式为

S35：最后将g₁,g₂,g₃进行归一化处理，得到g'₁,g'₂,g'₃，其中，

再依次S₁,S₂,S₃,C₁,C₂,C₃,SC₁,SC₂SC₃进行归一化，得到S'₁,S'₂,S'₃,C'₁,C'₂,C,SC'₁,SC'₂,SC'₃；

分别将每一个子区域的点乘结果与方差，叉乘的数值结果与叉乘数值结果的方差整理，结合直线长度，得到直线描述子为：

dec'＝(g'₁,g'₂,g'₃,S'₁,S'₂,S'₃,C'₁,C'₂,C'₃,SC'₁,SC'₂,SC'₃,l)。

S4：计算描述子长度部分变化百分比，直线描述子剩余部分距离计算采用曼哈顿距离，若直线长度的改变量在当前直线长度的20％以内，且除直线长度外剩余描述子之间的曼哈顿为最短，并小于与其他直线的最短距离的80％，则将这一对直线作为匹配的直线。

实施例2：

以下通过一个具体的场景对本发明进行说明。

将图像进行降采样，得到缩放图像。

本实施例中，无论是跟踪还是检测都起始于第一帧图像帧全局检测的直线特征，我们在第一帧图像帧中对所有检测到的直线特征都有相应的编号，后续帧中跟踪上的直线特征和检测匹配上的直线特征也都对应着这个编号，假设由第k帧图像帧通过计算直线描述子的差异，与第k+1帧图像帧的一些直线特征匹配，这些直线特征都有自己的编号(对应第一帧)，在计算k+1帧图像帧与k+2帧图像的匹配直线特征时，这些直线的特征编号不变，若没有匹配的已检测直线，则按自然数依次赋予新的编号。

以下直接对图像帧的处理进行说明：

(1)第一帧图像的直线检测；

①对第一帧图像进行降采样，得到尺度为0.8的缩放图像，若原图像为彩色图，则将缩放图像转化为灰度图。

②对缩放图像进行直线检测，直线检测采用方法为LSD(Line SegmentDetector),检测后，单个直线的信息包括：直线的宽度、长度和直线所包含像素的数目。

(2)计算缩放图像中所有像素的灰度梯度，设图像在(i,j)处的灰度梯度为d(i,j)，

d(i,j)＝(d_x,d_y)

式中，d_x为当前像素在x方向梯度，d_y为当前像素在y方向梯度。

(3)计算得到直线描述子,描述子记为dec'。

①计算直线主方向d_L的主方向向量与计算直线法方向向量d_⊥，

d_⊥＝(cosθ,sinθ)

d_L＝(-sinθ,cosθ)

②将直线区域扩展，分别沿直线法方向与法方向的负方向进行扩展，如图2所示，图2中，region2为初始直线区域，扩张后为直线区域的子区域，region1和region3为扩展区域；

③将region2的每一像素点的灰度梯度向量与直线主方向向量和直线法方向向量做点乘，点乘的结果为g_L，g_⊥，对g_L，g_⊥进行分组，进一步计算出g₂，S₂。其中，

g_L＝d(i,j)·d_L

g_⊥＝d(i,j)·d_⊥

式中，

S₂中各项为与g₂中各项对应各组的方差

④对region1，region3进行计算，得到g₁，S₁，g₃，S₃式中

⑤将region2中的像素灰度梯度与直线主方向向量做叉乘，得到一个垂直于图像平面的向量c_L,c_L的坐标形式及计算方法如下

c_L＝(0,0,C_L)

将region2中的像素灰度梯度与直线法方向向量做叉乘，得到另一个垂直于图像平面的向量c_⊥,c_⊥的坐标形式及计算方法如下

c_⊥＝(0,0,C_⊥)

分别根据C_L与C_⊥的正负对二者进行分组，计算出C₂，SC₂，其中

式中，

SC₂中各项为与C₂中各项对应各组的方差。

(4)将g₁,g₂,g₃进行归一化处理，得到g'₁,g'₂,g'₃，归一化方法如下

式中，g₁,g₂,g₃为四维行向量，|| ||为计算向量的二范数。再依次将S₁，S₂，S₂归一化，

再将C₁，C₂，C₃与SC₁，SC₂，SC₃分别归一化，得到C'₁,C'₂,C'₃,SC'₁,SC'₂,SC'₃。

与直线长度结合，直线描述子公式为：

dec'＝(g'₁,g'₂,g'₃,S'₁,S'₂,S'₃,C'₁,C'₂,C'₃,SC'₁,SC'₂,SC'₃,l)

式中l表示直线长度。

(5)对下一帧图像进行上述操作，得到相应直线特征及其描述子，进行直线特征匹配。

在本申请所提供的实施例中，应该理解到，以所描述的设备实施例仅仅是示意性的，例如，所述子区域的划分，仅仅为一种示意划分划分，实际实现时可以有另外的划分方式，如：更多个子区域的数目，或对不同子区域的计算结果进行加权设定等。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.适用于SLAM系统的直线描述子构建和匹配方法，其特征在于，包括以下步骤：

S1：将图像进行降采样得到缩放图像；

S2：计算缩放图像中所有像素的灰度梯度得到灰度梯度图像，以及基于缩放图像进行直线检测获取图像中直线信息；

S3：根据直线信息以及灰度梯度图像计算得到直线描述子；

S4：对直线描述子进行匹配。

2.根据权利要求1所述的适用于SLAM系统的直线描述子构建和匹配方法，其特征在于，直线信息包括直线长度、直线宽度和直线区域内所有像素的灰度梯度向量。

3.根据权利要求2所述的适用于SLAM系统的直线描述子构建和匹配方法，其特征在于，S3包括以下步骤：

S31：根据直线长度和直线宽度确定直线主方向向量和直线法方向向量；

S32：将直线区域内所有像素的灰度梯度向量分别与直线主方向向量和直线法方向向量做点乘，并对点乘结果分组；

S33：分别将直线区域内所有像素的灰度梯度向量、直线主方向向量和直线法方向向量扩充为三维向量，并计算三维灰度梯度向量分别与三维直线主方向向量和三维直线法方向向量的叉乘，对叉乘结果第三维坐标进行分组；

S34：对直线区域进行扩充，对扩充直线区域进行与S32和S33相同的计算；

S35：对分组后的结果进行求和与方差运算，并做归一化处理，与直线长度结合得到直线描述子。

4.根据权利要求3所述的适用于SLAM系统的直线描述子构建和匹配方法，其特征在于，S32具体为：

S321：每个像素的灰度梯度向量与直线主方向向量做点乘公式为：

g_L＝d_L·d(i,j) (1)

式中，d_L为直线主方向向量，d_L＝(-sinθ,cosθ)，对直线长度和直线宽度确定的直线初始范围内所有像素点的灰度梯度进行求和、归一化后为(d'_x,d'_y)，其中d'_x＝cosθ，d'_y＝sinθ，从而确定出θ角，d(i,j)为像素点(i,j)处的灰度梯度向量，d(i,j)＝(d_x,d_y)，i，j分别为像素点的横纵坐标，d_x为当前像素在x方向梯度，d_y为当前像素在y方向梯度，g_L为直线主方向向量与灰度梯度向量的点乘结果；

每个像素的灰度梯度向量与直线法方向向量做点乘公式为：

g_⊥＝d_⊥·d(i,j) (2)

式中，d_⊥为直线法方向向量，d_⊥＝(cosθ,sinθ)，d(i,j)为像素点(i,j)处的灰度梯度向量，d(i,j)＝(d_x,d_y)，i，j分别为像素点的横纵坐标，d_x为当前像素在x方向梯度，d_y为当前像素在y方向梯度，g_⊥为直线法方向与灰度梯度向量的点乘结果；

S322：将g_L>0的分为一组，g_L<0的分为一组；将g_⊥>0的分为一组，g_⊥<0的分为一组。

5.根据权利要求4所述的适用于SLAM系统的直线描述子构建和匹配方法，其特征在于，S33具体为：

S331：将灰度梯度向量、直线主方向向量和直线法方向向量均扩充为三维向量，三维向量的前两维坐标为原向量的前两维坐标，三维向量的第三维坐标设为零，三维直线主方向向量和三维直线法方向向量分别为(d_L,0)，(d_⊥,0)，三维灰度梯度向量为(d(i,j),0)；

S332：三维灰度梯度向量与三维直线主方向向量做叉乘公式为：

三维灰度梯度向量与三维直线法方向向量做叉乘公式为：

式中，c_L，c_⊥为叉乘向量，C_L，C_⊥为叉乘向量的第三维坐标；

S333：将C_L>0的分为一组，将C_L<0的分为一组，将C_⊥>0的分为一组，将C_⊥<0的分为一组。

6.根据权利要求5所述的适用于SLAM系统的直线描述子构建和匹配方法，其特征在于，S34具体为：

S341：将直线区域进行扩展，分别沿直线法方向和直线负法方向将直线区域扩大(n-1)/2倍，n为整数且为奇数，得到扩充直线区域，扩充直线区域包含n个子区域，大小为原直线区域的n倍；

S342：对每一个子区域进行与S32和S33相同的计算，并对结果进行分组。

7.根据权利要求6所述的适用于SLAM系统的直线描述子构建和匹配方法，其特征在于，S35具体为：

S351：对每个子区域分组后的点乘结果进行求和：

式中，i为直线子区域的编号，i＝1,2……n，n表示子区域的数目；

对每个子区域分组后的点乘结果求方差，得到

对每个子区域分组后的叉乘结果进行求和：

对每个子区域分组后的叉乘结果进行求方差，得到

S352：将各组子区域的和与方差整理为向量形式：

S353：归一化处理：

式中，i为直线子区域的编号，n为子区域的数目，|| ||表示计算向量的二范数，g'_i，C'_j，S'_i，SC'_i为归一化结果；

S354：直线长度结合归一化结果得到直线描述子：

dec'＝(g'₁,g'₂…g'_n,S'₁,S'₂…S'_n,C'₁,C'₂…C'_n,SC'₁,SC'₂…SC'_n,l) (14)

式中，l表示直线长度，dec'表示直线描述子。

8.根据权利要求7所述的适用于SLAM系统的直线描述子构建和匹配方法，其特征在于，S4具体匹配过程为：

计算两帧图像中不同直线描述子中直线长度的改变量占当前直线长度的百分比，并计算除直线长度外剩余描述子的曼哈顿距离；

若直线长度的改变量在当前直线长度的20％以内，当前直线与待匹配直线除直线长度外剩余描述子之间的曼哈顿为最短，并小于与其他直线的最短距离的80％时，则将这一对直线作为匹配的直线对。

Images