CN112907580A - 一种应用于弱纹理场景下的综合点线特征的图像特征提取和匹配算法 - Google Patents

Abstract

本发明公开了一种应用于弱纹理场景下的综合点线特征的图像特征提取和匹配算法，在不动产单元测量过程中，测量节点的频繁移动造成测量现场光线强度随视角动态变化，提出一种弱纹理场景下的改进点线特征的图像特征提取匹配方法。在图像特征提取读取过程中，首先提取两幅图像并构建K层高斯金字塔；设定局部自适应阈值，通过像素的分类提取，采用了FAST角点自适应阈值提取；提取角点后利用BRIEF算法计算特征点特征描述符；再对图像做LSD线特征提取，计算LBD描述子进行线匹配；计算两幅图像特征点的信息熵和二值互信息并基于二值互信息阈值对特征点使用KNM算法进行匹配。

Description

一种应用于弱纹理场景下的综合点线特征的图像特征提取和 匹配算法

所属领域

本发明属于测绘技术领域，具体涉及一种应用于弱纹理场景下的综合点线特征的图像特征提取和匹配算法。

背景技术

不动产测量中，在GPS信号丢失的特殊场景，由于惯性传感器不能进行长时间高精度的定位，可以采用惯性与视觉组合测量的方式进行测量定位。为了提高在光线变化场景下图像的特征追踪精度，本发明提出了一种应用于弱纹理场景下的图像特征提取与匹配算法。ORB特征算法采用FAST关键点和BRIEF描述子相结合，有效降低了计算量，是性能和质量之间很好的折中办法。但是在图像弱纹理场景下，传统的ORB特征提取方法会出现特征点的误提取，特征点匹配也会出现很多误匹配的情况。因此，研究一种应用于弱纹理场景下的综合点线特征的图像特征提取和匹配算法很有必要。

发明内容

本发明针对现有技术中的问题，提供了一种应用于弱纹理场景下的综合点线特征的图像特征提取和匹配算法，在不动产测量现场的光线强度随测量节点移动发生变化，视觉装置采集的图像纹理也会发生变化，可以有效提取图像的特征进行位姿追踪。

上述目的通过以下技术方案实现：

一种应用于弱纹理场景下的综合点线特征的图像特征提取和匹配算法，该算法包括以下步骤；

S1，读取两幅图片，并对每一幅图片构建K层高斯金字塔；

S2，设定图像自适应局部阈值并进行FAST角点自适应提取；

S3，计算特征点方向和BRIEF描述子；

S4，提取图像LSD线特征，计算线段LBD描述子并进行线匹配；

S5，计算特征点的信息熵并基于二值化互信息阈值进行KNM匹配；

进一步地，所述步骤S1中提取两幅图片，对每一幅图片进行高斯内核卷积，通过梯次下降采样构建K层高斯金字塔，按照尺度因子计算每层分配需要提取特征数。高斯内核计算公式如下：

式中，参数σ为正态分布标准差，实验中取固定值1.6。

进一步地，所述步骤S2在图片FAST角点检测过程中，给图像中每个像素设置不同的阈值。像素阈值λ的计算方法如下：

式中，I_max为待测角点圆周亮度最大的像素点，I_min为亮度最低像素点亮度，I_a为除去最大亮度和最小亮度后剩余的像素点亮度均值，δ为调整因子。角点亮度自适应阈值计算如下：

式中，I_p为待测角点的亮度，I_pn为第n个像素的亮度。通过检测待测特征点圆周上第1，5，9，13个像素点的亮度，当有3个像素同时属于dark或者bright类，则该像素点可能是角点，否则排除，连续有3个像素点为候选角点，检测3个像素包围环内剩余6个像素亮度，若剩余6个像素亮度均为dark或者bright类，则该点为正确的角点。然后使用灰度质心法来计算特征点的方向。首先在一块小的图像中定义图像块的矩如下：

通过矩可以找到图像块的质心：

连接图像的几何中心得到方向向量

特征点的方向计算如下：

θ＝arctan(m₀₁m₁₀)

进一步地，所述步骤S3中用BRIEF对特征点建立描述符。首先对图像进行高斯滤波。以特征点P为中心取邻域为S×S的窗口，在窗口内随机取N对满足高斯分布的点，并对2×N的点做高斯平滑。比较N对像素点的灰度值大小当p_x＜p_y，τ＝1，否则τ＝0。其中p_x，p_y分别为随机点的像素值。最后把N个二进制码串组成一个N维向量，灰度计算方法如下：

进一步地，所述步骤S4中计算图像像素梯度和水平线的角度，然后对图像梯度进行排序，利用区域增长算法合并像素形成线段支持域。通过对离散线段支持域进行矩形估计，使矩形域成为线段提取候选线段。计算矩形的的中心和主方向，对矩形域像素进行合并获取候选线段和LBD描述子。

进一步地，所述步骤S5中取在步骤S4和S3中计算得到的一对特征点、线的坐标信息，通过截取特征点的邻域计算特征点的互信息。设定互信息阈值

如果当前对特征点的阈值信息大于阈值

特征点保留，否则放入待匹配池，当特征点数量到达目标数量循环结束。如果数量不够，从匹配池里继续筛选大于阈值

的匹配点，其中n通过实验选取最优值。特征点互信息计算方法如下：

I(A,B)＝H(A)+H(B)-H(A|B)

式中，H(A)，H(B)是图像A和B的信息熵，H(A，B)是联合熵。图像信息熵可以由灰度分布计算得到，计算方法如下：

式中，x表示图像的灰度值x∈(0，1，2…255)，p(x)表示在灰度信息中灰度值为x的概率。在KNM匹配过程中选取K个互信息最相近的点，如果K个点之间的互信息值均值足够大，选取其中互信息最大的点做匹配点。

与现有技术相比，本发明的有益效果为：

(1)在不动产测量过程中光线变化导致测量装置采集的图像亮度变化时，通过设定局部自适应阈值和自适应阈值选取准则，可以更有效的提取ORB特征点；

(2)计算图像的信息熵得到图像的灰度分布统计，计算两幅图像相互包含的信息总量，可以有效减少图像中的噪声，以及光线变化导致的图像纹理变化的影响；二值化互信息阈值的动态调整，可以提高特征点的提取数量；

(3)综合图像点线特征提取方法，可以有效减少弱纹理场景下图像点特征提取不足导致的图像特征追踪误差，提高图像特征的召回率。

附图说明

图1为本发明的应用于弱纹理场景下的综合点线特征的图像特征提取和匹配算法流程图。

具体实施方式

如图1所示，本发明的应用于弱纹理场景下的综合点线特征的图像特征提取和匹配算法，具体步骤如下：

S1，提取两幅图片，对图片进行高斯内核卷积通过梯次下降采样构建K层高斯金字塔，并按照每层的尺度因子给每层分配待提取特征数。高斯内核计算函数：

其中参数σ为正态分布标准差，σ值越大，图像越模糊，实验中取固定值1.6。

S2，在图片FAST角点检测过程中使用自适应分割的思想，将图像中每个像素设置不同的阈值。像素阈值λ的计算：

其中I_max为圆周上亮度最大的像素点，I_min为亮度最低像素点亮度，I_a为除去最大亮度和最小亮度后剩余的像素点亮度均值，δ为调整因子。FAST关键点检测如下：

其中I_p为待测角点的亮度，I_pn为第n个像素的亮度。通过检测待测特征点圆周上第1，5，9，13个像素点的亮度，当有3个像素同时属于dark或者bright类，则该像素点可能是角点，否则排除，连续有3个像素点为候选角点，检测3个像素包围环内剩余6个像素亮度，若剩余6个像素亮度均为dark或者bright类，则该点为正确的角点。然后使用灰度质心法来计算特征点的方向。首先在一块小的图像中定义图像块的矩为：

其中p，q＝{0，1}，I(x，y)为对应像素的灰度值，x，y为对应像素的坐标。通过矩可以找到图像块的质心：

其中0阶矩(m₀₀)为图像块的质量，1阶矩(m₁₀，m₀₁)为图像的质心。连接图像的几何中心得到方向向量

特征点的方向计算如下：

θ＝arctan(m₀₁/m₁₀)

S3，用BRIEF对特征点建立描述符。首先对图像进行高斯滤波。以特征点P为中心取邻域为S×S的窗口，在窗口内随机取N对满足高斯分布的点，并对2×N的点做高斯平滑。比较N对像素点的灰度值大小当p_x＜p_y，τ＝1，否则τ＝0。其中p_x，p_y分别为随机点的像素值。最后把N个二进制码串组成一个N维向量，灰度函数：

S4，计算图像像素梯度和水平线的角度，然后对图像梯度进行排序，利用区域增长算法合并像素形成线段支持域。通过对离散线段支持域进行矩形估计，使矩形域成为线段提取候选线段。计算矩形的的中心和主方向，对矩形域像素进行合并获取候选线段和LBD描述子。

S5，取在步骤S3和S4中计算得到的一对特征点、线的坐标信息，通过截取特征点的邻域计算特征点的互信息。设定互信息阈值

如果当前对特征点的阈值信息大于阈值

特征点保留，否则放入待匹配池，当特征点数量到达目标数量循环结束。如果数量不够，从匹配池里继续筛选大于阈值

的匹配点，其中幂n通过实验选取最优值。特征点互信息计算方法如下：

I(A,B)＝H(A)+H(B)-H(A|B)

其中H(A)，H(B)是图像A和B的信息熵，H(A，B)是联合熵。图像信息熵可以由灰度分布计算得到，计算方法如下：

其中x表示图像的灰度值x∈(0，1，2…255)，p(x)表示在灰度信息中灰度值为x的概率。在KNM匹配过程中选取K个互信息最相近的点，如果K个点之间的互信息值均值足够大，选取其中互信息最大的点做匹配点。

为了验证本发明算法的有效性，在ubuntu16.04环境下，EUROC数据集的图片进行图像特征追踪实验。设置图像金子塔层数K为4，局部动态阈值调整因子δ值为0.6，互信息阈值为0.4，特征点互信息提取邻域为24。

上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。

Claims (6)

1.一种应用于弱纹理场景下的综合点线特征的图像特征提取和匹配算法，其特征在于：包括如下步骤：

S1，读取待匹配的两幅图片，并对每一幅图片构建K层高斯金字塔；

S2，设定图像自适应局部阈值并进行FAST角点自适应提取；

S3，计算特征点方向和BRIEF描述子；

S4，提取图像LSD线特征，计算线段LBD描述子并进行线匹配；

S5，计算特征点的信息熵并基于二值化互信息阈值进行KNM匹配。

2.如权利要求1所述的应用于弱纹理场景下的综合点线特征的图像特征提取和匹配算法，其特征在于：所述步骤S1中提取两幅图片，对每一幅图片进行高斯内核卷积，通过梯次下降采样构建K层高斯金字塔，按照尺度因子计算每层分配需要提取特征数。其中高斯内核计算公式如下：

式中，参数σ为正态分布标准差，实验中取固定值1.6。

3.如权利要求1所述的应用于弱纹理场景下的综合点线特征的图像特征提取和匹配算法，其特征在于：所述步骤S2中的图片在FAST角点检测过程中将图像中每个像素设置不同的阈值。其中像素阈值λ的计算方法如下：

式中，I_max为待测角点圆周亮度最大的像素点，I_min为亮度最低像素点亮度，I_a为除去最大亮度和最小亮度后剩余的像素点亮度均值，δ为调整因子。

角点亮度自适应阈值计算如下：

式中，I_p为待测角点的亮度，I_pn为第n个像素的亮度。通过检测待测特征点圆周上第1，5，9，13个像素点的亮度，当有3个像素同时属于dark或者bright类，则该像素点可能是角点，否则排除，连续有3个像素点为候选角点，检测3个像素包围环内剩余6个像素亮度，若剩余6个像素亮度均为dark或者bright类，则该点为正确的角点。然后使用灰度质心法来计算特征点的方向。首先在一块小的图像中定义图像块的矩为：

通过矩可以找到图像块的质心：

连接图像的几何中心得到方向向量

特征点的方向计算如下：

θ＝arctan(m₀₁/m₁₀)

4.如权利要求1所述的应用于弱纹理场景下的综合点线特征的图像特征提取和匹配算法，其特征在于：所述步骤S3中用BRIEF对特征点建立描述符包括以下步骤，首先对图像进行高斯滤波，以特征点P为中心取邻域为S×S的窗口，在窗口内随机取N对满足高斯分布的点，并对2×N的点做高斯平滑；比较N对像素点的灰度值大小当p_x＜p_y，τ＝1，否则τ＝0。其中p_x，p_y分别为随机点的像素值；最后把N个二进制码串组成一个N维向量，灰度计算方法如下：

5.如权利要求1所述的应用于弱纹理场景下的综合点线特征的图像特征提取和匹配算法，其特征在于：所述步骤S4中，计算图像像素梯度和水平线的角度，然后对图像梯度进行排序，利用区域增长算法合并像素形成线段支持域。通过对离散线段支持域进行矩形估计，使矩形域成为线段提取候选线段。计算矩形的的中心和主方向，对矩形域像素进行合并获取候选线段和LBD描述子。

6.如权利要求1所述的应用于弱纹理场景下的综合点线特征的图像特征提取和匹配算法，其特征在于：所述步骤S5中，取在步骤S3和S4中计算得到的一对特征点、线的坐标信息，通过截取特征点的邻域计算特征点、线的互信息。设定互信息阈值θ，如果当前对特征点的阈值信息大于阈值θ，特征点保留，否则放入待匹配池，当特征点数量到达目标数量循环结束。如果数量不够，从匹配池里继续筛选大于阈值

的匹配点，其中n通过实验选取最优值。特征点互信息计算方法如下：

I(A,B)＝H(A)+H(B)-H(A|B)

式中，H(A)，H(B)是图像A和B的信息熵，H(A，B)是联合熵。图像信息熵可以由灰度分布计算得到，计算方法如下：

H(A,B)＝-p(x,y)log(p(x,y))

式中，x表示图像的灰度值x∈(0，1，2…255)，p(x)表示在灰度信息中灰度值为x的概率。在KNM匹配过程中选取K个互信息最相近的点，如果K个点之间的互信息值均值足够大，选取其中互信息最大的点做匹配点。

Images