CN109101995A - 一种基于融合局部特征的快速无人机图像匹配方法 - Google Patents

Abstract

本发明公开了一种基于融合局部特征的快速无人机图像匹配方法，其整体步骤为：分别对基准影像和待匹配影像进行3*3格网分块，将一张影像分为9个子区域，并在子区域内进行不变特征的提取；利用特征描述符从不变特征区域提取特征向量；通过比较特征向量之间的相似性，判别初始同名特征，得到稳定的初始匹配；统计各个格网内的匹配点数量，对于格网内匹配点数量小于阈值的区域，进行区域MSERs特征匹配；利用马氏距离的仿射不变性删除误匹配点对。本发明通过融合多种互补不变特征的特征匹配方法，能提供更加稳定和数量更多的可靠的匹配点，从而使匹配精度和数量得到了进一步提高。

Description

一种基于融合局部特征的快速无人机图像匹配方法

技术领域

本发明涉及一种图像匹配方法，尤其涉及一种基于融合局部特征的快速无人机图像匹配方法。

背景技术

无人机航空和地面倾斜摄影数据处理的主要目标是恢复影像覆盖区域范围内的地物精细的三维模型。其中无人机航空多镜头倾斜摄影能够快速方便获取较大范围内的多视角航空影像数据及其相应的POS数据，是构建大区域三维建模的重要方法。同时，地面倾斜摄影可以灵活的对航空倾斜摄影遗漏和遮挡的地物进行补测处理，也是城市三维建模中一项重要的测量手段。然而，多视角影像匹配的理论与实践，一直是多视角摄影数据处理的重要研究内容，也是实现自动三维建模的关键。

由于视角变化幅度较大，使得影像之间存在遮挡和畸变等现象，导致多视角影像的匹配比一般影像的匹配困难的多。现有匹配技术中，多是基于单一局部特征的，首先在两幅图像中提取特征，然后对提取的特征进行特征描述，通过计算特征描述符之间的相似度(比如欧式距离)，判断同名点。然而，对于多视角影像来讲，现有技术的共同缺点是无法获得足够数量的影像同名点。因此，现有特征匹配技术条件下，工程应用中，针对无人机不同传感器获取的图像往往视角变化大、旋转大、畸变大等情况，已有算法存在匹配失败或者匹配效率非常低的状况。纵观国内外近年的多视角宽基线影像研究成果，多为在不变特征及其描述符的基础上，基于不同的影像类型和工程应用而提出针对性的改进算法。

发明内容

为了解决上述技术所存在的不足之处，本发明提供了一种基于融合局部特征的快速无人机图像匹配方法。

为了解决以上技术问题，本发明采用的技术方案是：一种基于融合局部特征的快速无人机图像匹配方法，其整体步骤为：

步骤一、分别对基准影像和待匹配影像进行3*3格网分块，将一张影像分为9个子区域，并在子区域内进行不变特征的提取；

步骤二、利用特征描述符从不变特征区域提取特征向量；

步骤三、通过比较特征向量之间的相似性，判别初始同名特征，得到稳定的初始匹配；

步骤四、统计各个格网内的匹配点数量，对于格网内匹配点数量小于阈值的区域，进行区域MSERs特征匹配；

步骤五、利用马氏距离的仿射不变性删除误匹配点对。

进一步地，步骤一的具体过程为：

a、通过仿射协变区域检测器Hessian-Affine对基准影像进行特征检测：

Hessian-Affine的初始特征点是由图像点x二阶微分Hessian矩阵H(L)及其行列DoH来判别得到；

式中，L_x(x)和L_y(x)表示对目标图像进行g(σ)的高斯平滑后，分别在x和y方向上的微分结果；和表示分别在x和y方向的二阶微分结果；σ为高斯尺度值；

b、通过SIFT检测器对待匹配影像进行特征检测：

对原始图像构造高斯图像和DoG高斯差分图像；在相邻尺度空间与二维图像中检测极值点；利用DOG函数进行曲线拟合进一步确定极值点的准确位置，并删除图像边缘的不稳定点，最后得到尺度不变特征点；DOG函数的表现公式为：

DoG(x，y，σ)＝L(x，y，σ)-L(x，y，σ)

其中，L(x，y，σ)表示高斯图像，x为图像横坐标，y为图像纵坐标，σ尺度坐标。

进一步地，步骤二的具体过程为：

对已检测到的不变特征利用SIFT描述符进行特征向量生成，实现特征点的匹配；对于一个特征点，首先将坐标轴旋转为特征点的方向，以确保旋转不变性；将所在尺度空间以特征点为中心点的16*16像素的范围，划分为4*4个子区域，对每个子区域计算梯度直方图；梯度直方图的范围是0～360°，其中每45度一个方向，总共8个方向；然后对4*4个子区域的8方向梯度直方图根据位置依次排列，形成一个128维的特征向量，用于增强算法的抗噪和容错能力；最后，将特征向量的长度归一化，去除光照变化的影响。

进一步地，步骤三的具体过程为：

由于使用128维的特征向量对特征点进行描述，特征点特征向量之间具有很大的差异性，因此，利用最近邻和次近邻特征点距离之比进行初始匹配，从而得到稳定的初始匹配。

进一步地，步骤四的具体过程为：

统计各个格网内的初始匹配点数量S，若数量S小于阈值T，则通过MSERs区域检测器进行区域特征MSERs匹配；

MSERs区域检测器的具体工作原理为：

MSERs是当使用不同的灰度阈值对图像进行二值化时得到的最稳定的区域；当灰度图像通过0～255的256个阈值时，记录从0开始的大于阈值的像素点，对于小于阈值的像素则忽略不计，记录下相邻的点形成的区域MSER+；使用同样的方法使灰度图像通过255～0的阈值，得到区域MSER-；但此时得到的MSER为不规则区域，为了方便处理，使用椭圆拟合并且放大MSER范围，并对MSERs提取的区域进行图像归一化处理，并利用步骤二生成特征向量。

进一步地，步骤五的具体过程为：

a、对于由n个点构成的样本空间Z＝{(x₁,y₁),…,(x_n,y_n)}，任意样本点z_i＝(x_i,y_i)到样本均值u＝(u_x,u_y)的马氏距离Md_i为：

其中，C表示协方差矩阵；C^-1表示C的逆矩阵；T为矩阵的转置；

样本均值u和协方差矩阵C定义如下：

b、然后利用马氏距离剔除粗匹配的特征点对，具体流程为：

首先，对于粗匹配点对Ps和Qs,分别计算P和Q图像上特征点s到各自点集的马氏距离PMd和QMd；然后计算两幅图像匹配点的差值d_i：

d_i＝PMd_i-QMd_i

c、根据d_i是否小于一个特定的阈值来确定是否删除该点对；删除规则算法如下：

①根据上式计算d_i；

②求d_i中的最大值dmax；

③删除d_i＞k*d_max的匹配点对，k为经验值，取0.04。

本发明通过融合多种互补不变特征的特征匹配方法，能提供更加稳定和数量更多的可靠的匹配点，从而使匹配精度和数量得到了进一步提高。

附图说明

图1为本发明的整体流程示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1所示的一种基于融合局部特征的快速无人机图像匹配方法，其整体步骤为：

步骤一、分别对基准影像和待匹配影像进行3*3格网分块，将一张影像分为9个子区域，并在子区域内进行不变特征的提取；具体过程为：

a、通过仿射协变区域检测器Hessian-Affine对基准影像进行特征检测：

Hessian-Affine的初始特征点是由图像点x二阶微分Hessian矩阵H(L)及其行列DoH来判别得到；

式中，L_x(x)和L_y(x)表示对目标图像进行g(σ)的高斯平滑后，分别在x和y方向上的微分结果；和表示分别在x和y方向的二阶微分结果；σ为高斯尺度值；

b、通过SIFT(Scale Invaraint Feature Transform，尺度不变特征变换)检测器对待匹配影像进行特征检测：

对原始图像构造高斯图像和高斯差分图像(DoG尺度空间)；在相邻尺度空间与二维图像中检测极值点；利用DOG函数进行曲线拟合进一步确定极值点的准确位置，并删除图像边缘的不稳定点，最后得到尺度不变特征点；DOG函数的表现公式为：

DOG(x，y，σ）＝L(x，y，σ)-L(x，y，σ)

其中，L(x，y，σ)表示高斯图像，x为图像横坐标，y为图像纵坐标，σ尺度坐标。

步骤二、利用特征描述符从不变特征区域提取特征向量，具体过程为：

对已检测到的不变特征利用SIFT描述符进行特征向量生成，实现特征点的匹配；对于一个特征点，首先将坐标轴旋转为特征点的方向，以确保旋转不变性；将所在尺度空间以特征点为中心点的16*16像素的范围，划分为4*4个子区域，对每个子区域计算梯度直方图；梯度直方图的范围是0～360°，其中每45度一个方向，总共8个方向；然后对4*4个子区域的8方向梯度直方图根据位置依次排列，形成一个128维的特征向量，用于增强算法的抗噪和容错能力；最后，将特征向量的长度归一化，去除光照变化的影响。

步骤三、通过比较特征向量之间的相似性，判别初始同名特征，得到稳定的初始匹配；由于使用128维的特征向量对特征点进行描述，特征点特征向量之间具有很大的差异性，因此，利用最近邻和次近邻特征点距离之比进行初始匹配，从而得到稳定的初始匹配。

步骤四、统计各个格网内的匹配点数量，对于格网内匹配点数量小于阈值的区域，进行区域MSERs特征匹配，具体为：

统计各个格网内的初始匹配点数量S，若数量S小于阈值T，则通过MSERs区域检测器进行区域特征MSERs匹配；

MSERs区域检测器的具体工作原理为：

MSERs是当使用不同的灰度阈值对图像进行二值化时得到的最稳定的区域；当灰度图像通过0～255的256个阈值时，记录从0开始的大于阈值的像素点，对于小于阈值的像素则忽略不计，记录下相邻的点形成的区域MSER+；使用同样的方法使灰度图像通过255～0的阈值，得到区域MSER-；但此时得到的MSER为不规则区域，为了方便处理，使用椭圆拟合并且放大MSER范围，并对MSERs提取的区域进行图像归一化处理，并利用步骤二生成特征向量。

步骤五、利用马氏距离的仿射不变性删除误匹配点对，具体过程为：

a、对于由n个点构成的样本空间Z＝{(x₁,y₁),…,(x_n,y_n)}，任意样本点z_i＝(x_i,y_i)到样本均值u＝(u_x,u_y)的马氏距离Md_i为：

其中，C表示协方差矩阵；C^-1表示C的逆矩阵；T为矩阵的转置；

样本均值u和协方差矩阵C定义如下：

b、然后利用马氏距离剔除粗匹配的特征点对，具体流程为：

首先，对于粗匹配点对Ps和Qs,分别计算P和Q图像上特征点s到各自点集的马氏距离PMd和QMd；然后计算两幅图像匹配点的差值d_i：

d_i＝PMd_i-QMd_i

c、根据d_i是否小于一个特定的阈值来确定是否删除该点对；删除规则算法如下：

①根据上式计算d_i；

②求d_i中的最大值d_max；

③删除d_i＞k*d_max的匹配点对，k为经验值，取0.04。

本发明通过融合多种点(SIFT，Hessian-Affine)、区域(MSER)互补不变特征，并且考虑到图像之间的几何畸变，可最大程度的检测出包含大量图像结构信息的兴趣点和兴趣区。SIFT特征具有对旋转、尺度亮度变化的不变性，Hessian-Affine具有良好的仿射不变性，MSER能够有效提取图像区域特性，因此有效融合几类互补的不变特征，增加不同类型的检测区域，使得匹配精度和数量进一步提高。

本发明通过多种图像互补局部特征进行融合，并进行GPU加速处理，可实现图像的高效精确匹配，能够解决现有特征匹配技术条件下，由于无人机不同传感器获取的图像往往视角变化大、旋转大、畸变大等情况而导致的算法匹配失败，或匹配效率非常低的状况。本发明已在多个航天地面系统上验证使用，可以满足图像匹配功能。

上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。

Claims (6)

1.一种基于融合局部特征的快速无人机图像匹配方法，其特征在于：所述方法的整体步骤为：

步骤一、分别对基准影像和待匹配影像进行3*3格网分块，将一张影像分为9个子区域，并在子区域内进行不变特征的提取；

步骤二、利用特征描述符从不变特征区域提取特征向量；

步骤三、通过比较特征向量之间的相似性，判别初始同名特征，得到稳定的初始匹配；

步骤四、统计各个格网内的匹配点数量，对于格网内匹配点数量小于阈值的区域，进行区域MSERs特征匹配；

步骤五、利用马氏距离的仿射不变性删除误匹配点对。

2.根据权利要求1所述的基于融合局部特征的快速无人机图像匹配方法，其特征在于：所述步骤一的具体过程为：

a、通过仿射协变区域检测器Hessian-Affine对基准影像进行特征检测：

Hessian-Affine的初始特征点是由图像点x二阶微分Hessian矩阵H(L)及其行列DoH来判别得到；

式中，L_x(x)和L_y(x)表示对目标图像进行g(σ)的高斯平滑后，分别在x和y方向上的微分结果；和表示分别在x和y方向的二阶微分结果；σ为高斯尺度值；

b、通过SIFT检测器对待匹配影像进行特征检测：

对原始图像构造高斯图像和DoG高斯差分图像；在相邻尺度空间与二维图像中检测极值点；利用DOG函数进行曲线拟合进一步确定极值点的准确位置，并删除图像边缘的不稳定点，最后得到尺度不变特征点；DOG函数的表现公式为：

DoG(x，y，σ)＝L(x，y，σ)-L(x，y，σ)

其中，L(x，y，σ)表示高斯图像，x为图像横坐标，y为图像纵坐标，σ尺度坐标。

3.根据权利要求2所述的基于融合局部特征的快速无人机图像匹配方法，其特征在于：所述步骤二的具体过程为：

对已检测到的不变特征利用SIFT描述符进行特征向量生成，实现特征点的匹配；对于一个特征点，首先将坐标轴旋转为特征点的方向，以确保旋转不变性；将所在尺度空间以特征点为中心点的16*16像素的范围，划分为4*4个子区域，对每个子区域计算梯度直方图；梯度直方图的范围是0～360°，其中每45度一个方向，总共8个方向；然后对4*4个子区域的8方向梯度直方图根据位置依次排列，形成一个128维的特征向量，用于增强算法的抗噪和容错能力；最后，将特征向量的长度归一化，去除光照变化的影响。

4.根据权利要求3所述的基于融合局部特征的快速无人机图像匹配方法，其特征在于：所述步骤三的具体过程为：

由于使用128维的特征向量对特征点进行描述，特征点特征向量之间具有很大的差异性，因此，利用最近邻和次近邻特征点距离之比进行初始匹配，从而得到稳定的初始匹配。

5.根据权利要求4所述的基于融合局部特征的快速无人机图像匹配方法，其特征在于：所述步骤四的具体过程为：

统计各个格网内的初始匹配点数量S，若数量S小于阈值T，则通过MSERs区域检测器进行区域特征MSERs匹配；

MSERs区域检测器的具体工作原理为：

MSERs是当使用不同的灰度阈值对图像进行二值化时得到的最稳定的区域；当灰度图像通过0～255的256个阈值时，记录从0开始的大于阈值的像素点，对于小于阈值的像素则忽略不计，记录下相邻的点形成的区域MSER+；使用同样的方法使灰度图像通过255～0的阈值，得到区域MSER-；但此时得到的MSER为不规则区域，为了方便处理，使用椭圆拟合并且放大MSER范围，并对MSERs提取的区域进行图像归一化处理，并利用步骤二生成特征向量。

6.根据权利要求5所述的基于融合局部特征的快速无人机图像匹配方法，其特征在于：所述步骤五的具体过程为：

a、对于由n个点构成的样本空间Z＝{(x₁,y₁),…,(x_n,y_n)}，任意样本点z_i＝(x_i,y_i)到样本均值u＝(u_x,u_y)的马氏距离Md_i为：

其中，C表示协方差矩阵；C^-1表示C的逆矩阵；T为矩阵的转置；

样本均值u和协方差矩阵C定义如下：

b、然后利用马氏距离剔除粗匹配的特征点对，具体流程为：

首先，对于粗匹配点对Ps和Qs,分别计算P和Q图像上特征点s到各自点集的马氏距离PMd和QMd；然后计算两幅图像匹配点的差值d_i：

d_i＝PMd_i-QMd_i

c、根据d_i是否小于一个特定的阈值来确定是否删除该点对；删除规则算法如下：

①根据上式计算d_i；

②求d_i中的最大值dmax；

③删除d_i＞k*d_max的匹配点对，k为经验值，取0.04。