CN113343747B - 多模态图像鲁棒匹配vns方法 - Google Patents

Abstract

本发明公开的一种多模态图像鲁棒匹配VNS的方法，匹配成功率高、适应性强。通过下述技术方案实现：采用奇对称滤波器对原始图像进行滤波，对获得的多个尺度和方向的边缘结构图进行叠加累积，构造累积结构特征图；通过多个尺度和方向的边缘结构图在图像水平和垂直方向的分量计算特征方向图；以特征点局部邻域内的累积结构特征图和特征方向图构造局部结构特征图方向场，以累积结构特征图和方向特征图构造特征描述子，用马氏距离替代欧式距离进行描述子向量归一化；以最近邻Hellinger距离作为匹配测度，通过双向匹配获得初始匹配结果；改进优化随机采样方法的收敛性能并兼顾精度，对初始匹配结果进行粗差剔除，获得正确率高的内点集合。

Description

多模态图像鲁棒匹配VNS方法

技术领域

本发明涉及广泛应用于无人机视觉导航、地面目标跟踪定位、遥感图像配准及卫星图像变化检测等领域,特别涉及一种面向无人机视觉辅助导航遥感图像处理的模态鲁棒图像匹配方法。

背景技术

目前主流无人机定位导航主要有惯性导航、全球卫星导航与无线电导航等。惯性导航系统(INS)自主性好,短时精度高,抗干扰性强，其主要缺点是定位误差随时间快速积累,而高精度的惯性导航系统不但重量、体积较大,且造价昂贵。全球卫星导航系统(GNSS,包括GPS,GLONASS,北斗和Galileo等)定位精度高,且误差不随时间积累,但自主性能差,容易受干扰,信息更新速率较低。由无线电测控系统或雷达系统组成的无线电定位系统可以通过发射机发射电磁波,接收机通过天线接收到信号,然后根据电磁波的速度及发射至回波间隔时间,测量出无人机相对地面站的距离,由测得的飞机方位角和高低角、飞行高度确定飞机的相对位置；它们的定位精度虽与时间关系不大,但易受干扰,而且必须依赖地面站。现有无人机大多采用组合导航系统，它是将短时精度很高并且可以提供连续实时全参数(位置、速度和姿态)导航信的INS作为主导航系统，而将其它导航定位误差不随时间积累的导航系统(如无线电导航、卫星导航和视觉导航等)作为辅助导航系统，以修正INS随工作时间积累而逐渐增大的导航定位误差。

无人机视觉辅助导航(VNS)是一种重要的自主导航技术，利用可见光相机、红外相机、合成径雷达(SAR)等载荷感知环境成像，通过实时图像与参考底图进行匹配获取控制点，再通过后方交会技术获得实时图像精确的位置和姿态信息，辅助INS进行组合导航，提高INS的导航精度。由于VNS的自主性、可视性及智能化等特点使其迅速成为导航领域的研究热点，可在GNSS失效或精度大幅下降等退化环境下为无人机长航时辅助INS导航提供新的方式和手段，对于提高无人机在复杂环境下的自主性和生存性具有重大意义。

视觉导航的核心实时图像和参考底图的匹配，主流思路分为特征点提取和特征点匹配两大步。在特征提取方面，大多数特征点提取方法(如HARRIS角点提取方法、特征点检测算法FAST(Features From Accelerated Segment Test)等)均是采用图像梯度或强度信息直接在原始图像上提取特征点，而多模态图像间显著的非线性辐射差异会产生大量非重复的特征点，不利于特征匹配。在特征匹配方面，主要采用基于区域的匹配方法(ABM)和基于特征的匹配方法(FBM)两大类。ABM以待匹配图像的局部强度信息为模板，在一定大小的搜索范围内遍历参考图像，寻找相似性测度最大的位置作为同名点，如相关系数匹配。这种方法对于图像强度反转或非线性变化缺乏抵抗性，且一般只能解决图像间的平移问题。FBM包括特征提取、特征匹描述和特征匹配三个阶段，核心是特征匹配，关键是构造具有辨识能力的特征描述子。FBM按照构造描述子的方法主要可分为基于梯度信息的方法(GBM)、基于强度顺序的方法(IOM)、二进制描述方法(BDM)、基于相位一致性的方法(PCM)等四类。GBM基于影像之间的梯度信息进行特征提取和描述，其中最具有代表性的为SIFT，也包括其改进算法如SURF、ASIFT、DAISY、PCA-SIFT等。GBM具有良好的几何不变性，能够处理平移、旋转、缩放、部分仿射等基本几何问题，对图像间的线性辐射畸变也具有一定的效果，但无法处理图像间显著的非线性辐射畸变。为了获得旋转不变性，大多数FBM需要以特征点为中心计算梯度方向直方图并以其峰值方向作为主方向，从而建立特征描述的局部坐标系。但是特征点主方向分配过程极容易引入误差。相关研究表明，当主方向分配误差超过20°时，将会产生错误匹配；因此，IOM试图从构造描述子的机制上使描述子具有旋转不变性，从而省略特征方向分配这一步骤。这种方法改变了GBM中梯度计算方式，采用一种旋转不变的梯度计算方法，在构造描述子的过程中，将特征点的局部邻域像素点进行排序，等分成多个间隔，计算每个间隔内的梯度加权值，从而构造具备局部旋转不变性的描述子，典型方法有多支撑域梯度顺序直方图、局部强度顺序模式、全局强度顺序模式等。由于IOM基于强度顺序和梯度信息构造描述子，对图像间的非线性差异非常敏感，且强度排序方式损失了空间几何信息，导致描述子的辨识能力下降。BDM方法主要依靠强度之间的关系产生二进制描述符，具有存储空间小、计算速度快等优势，但其描述子的辨识能力要明显低于传统FBM的方法(如SIFT)。上述三种类型的FBM均是基于梯度或强度顺序构造特征描述符，对于图像间非线性辐射差异缺乏足够的鲁棒性，因此，这些方法的适应能力天生不足。

最近几年，基于相位一致性模型的特征描述子对非线性辐射差异的抵抗性得到了充分的验证，如相位一致性方向直方图(HOPC)及其改进算法LHOPC，这类方法不受图像光照和对比度的影响，但其计算复杂度较高；且相位特征图上大部分特征值均为零，主要信息为图像的轮廓边缘和孤立特征点，极容易受到噪声的干扰，导致描述子的巨大差异，其鲁棒性有待提高。此外，传统方法采用特征点局部邻域的梯度方向直方图峰值方向作为主方向，而相关研究表明这种特征点主方向分配方式容易产生分配误差，从而影响匹配性能。

视觉导航所使用的参考底图一般采用卫星摄影或航空摄影所拍摄的可见光图像制作的正射影像。而主流无人机实时拍摄的图像主要包括可见光、红外和SAR图像，它们与参考底图之间可能存在分辨率、尺度、视角、地物分布等几何差异以及非线性辐射差异；另外，由于传感器技术体制限制，实时图像上还可能存在传感器噪声。诸多因素导致常规的匹配方法(如SIFT、SURF等)无法获得数量充足且分布均匀的匹配点，使得后续后方交会技术缺乏必要的数据输入，从而无法完成对平台位置的修正。因此，需要设计一种精确、鲁棒、适应性强、成功率高的多模态图像匹配方法，能够很好地抵抗实时图像和参考底图之间的几何和非线性辐射差异。考虑到无人机多类成像载荷，这种方法至少应适应于可见光-可见光、红外-可见光、SAR-可见光等三种多模态图像匹配，从而为无人机平台采用多类成像数据进行视觉导航建立技术基础，这对实用VNS系统的设计、实现和应用具有重要意义。

发明内容

为了能在飞行器自主导航系统中快速、精确、高成功率地完成不同模态的实时图像和参考底图之间的匹配，本发明旨在针对现有技术存在特征点重复性差、特征点主方向分配误差大、特征描述符不稳健等不足之处，提出一种匹配成功率高、适应性强的多模态图像匹配方法，用于支持无人机可见光、红外、SAR等实时图像与卫星或航空正射底图之间的景象匹配，补强无人机视觉辅助导航的关键技术环节。主要解决图像间存在的大角度旋转和非线性辐射差异的问题。

为了实现上述目的，本发明提供一种多模态图像鲁棒匹配VNS的方法，其特征在于包括如下步骤：

步骤1：依据输入图像，采用多尺度多方向的Log-Gabor奇对称滤波器对原始图像进行滤波，获得多个尺度和方向的边缘结构图，然后将多尺度多方向的边缘结构图进行叠加累积，构造原始图像的累积结构特征图，用于后续特征提取和描述；

步骤2：计算出上述多尺度多方向的边缘结构图在图像水平和垂直方向的累积分量，并逐像素计算出像素点的方向信息，获得特征方向图；

步骤3：在累积结构特征图上提取FAST特征点，以每个特征点为中心，提取该特征点局部邻域范围内的累积结构特征图和方向特征图，构造局部结构特征图方向场，并通过结构特征图方向场信息恢复特征点主方向，根据特征点主方向、累积结构特征图和方向特征图构造特征描述子，在同名特征点间获得高度相似的描述子向量，用马氏距离替代欧式距离进行描述子向量归一化；

步骤4：将特征匹配分为特征匹配阶段和粗差剔除阶段，在特征匹配阶段计算两两特征向量间的Hellinger距离，以最近邻距离衡量匹配测度，通过双向匹配获得初始匹配结果；

步骤5：在粗差剔除阶段，对优化随机采样方法的收敛性和精度进行改进，对初始匹配结果进行粗差剔除，最终获得高正确率的匹配内点集合。

本发明相比于现有技术，具有如下优点和有益效果：

(a)在特征点提取方面

本发明针对现有技术大多数特征点提取方法均是采用图像梯度或强度信息直接在原始图像上提取特征点，导致多模态图像间显著的非线性辐射差异会产生大量非重复的特征点，不利于特征匹配缺陷。采用直接在累积结构特征图上提取FAST特征点，保留的是利于特征提取和描述的结构信息，在特征点重复性和计算效率上达到较好的平衡，并且累积结构特征图消除了图像间的非线性辐射差异。提高了匹配速度和匹配准确率，具有较好的效果。

(b)在特征点主方向分配方面

本发明利用计算多尺度多方向的边缘结构图在图像水平和垂直方向的累积分量，逐像素计算出像素点的方向信息，获得特征方向图。通过累积结构特征图和特征方向图在特征点局部邻域内构造结构特征图方向场，并恢复特征点主方向，避免通过梯度直方图主方向分配方式造成的分配误差，提高了方法的鲁棒性。

(c)在描述子构建与特征匹配方面

本发明根据特征点主方向、累积结构特征图和特征方向图构造特征描述子；采用Hellinger距离测度和最近邻距离测度进行双向特征匹配，获得初始匹配结果；这种构建描述子的特征图采用的是累积结构特征图，累积结构特征图类似于图像梯度，可直接用来进行特征描述，由于其对图像的光照和对比度变化不敏感，故同名特征点间容易获得高度相似的描述子向量，描述子的辨识能力要明显优于常规方法。在构建描述子的过程中，用马氏距离替代欧式距离进行描述子向量归一化；在特征匹配阶段采用Hellinger距离和最近邻距离匹配测度进行双向匹配。与常规特征匹配方法采用梯度特征图进行描述以及采用欧式距离作为特征匹配测度相比，匹配鲁棒性进一步得到提升。

(d)在匹配点粗差剔除方面

本发明针对随机采样粗差剔除方法在大粗差率上收敛较慢的问题，对该方法的收敛条件进行了优化，在保证粗差剔除精度的同时，提高了迭代收敛性能，从而加快了视觉导航方法景象匹配流程，便于提高时效性。

就匹配效果而言，本发明方法相对常规特征匹配方法，具有匹配正确率高、匹配点数量多且分布均匀等特点，同时适用于可见光图像、红外图像、SAR图像、点云深度图以及Google线画地图之间的图像匹配任务，具有直接运用于无人机视觉辅助导航系统的巨大潜力。

附图说明

图1是本发明无人机视觉导航多模态图像鲁棒匹配特征向量构建流程示意图；

图2是本发明无人机视觉导航多模态图像鲁棒匹配特征匹配与粗差剔除流程图；

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

具体实施方式

参阅图1。根据本发明，采用如下步骤：依据输入图像，采用多尺度多方向的Log-Gabor奇对称滤波器对原始图像进行滤波，获得多个尺度和方向的边缘结构图，然后将多尺度多方向的边缘结构图进行叠加累积，构造原始图像的累积结构特征图，用于后续特征提取和描述；

步骤2：计算出上述多尺度多方向的边缘结构图在图像水平和垂直方向的累积分量，并逐像素计算出像素点的方向信息，获得特征方向图；

步骤3：在累积结构特征图上提取FAST特征点，以每个特征点为中心，提取该特征点局部邻域范围内的累积结构特征图和方向特征图，构造局部结构特征图方向场，并通过结构特征图方向场信息恢复特征点主方向，根据特征点主方向、累积结构特征图和方向特征图构造特征描述子，在同名特征点间获得高度相似的描述子向量，用马氏距离替代欧式距离进行描述子向量归一化；

步骤4：将特征匹配分为特征匹配阶段和粗差剔除阶段，在特征匹配阶段计算两两特征向量间的Hellinger距离，以最近邻距离衡量匹配测度，通过双向匹配获得初始匹配结果；

步骤5：在粗差剔除阶段，对优化随机采样方法粗差剔除方法的收敛性和精度进行改进，对初始匹配结果进行粗差剔除，最终获得高正确率的匹配内点集合。

具体可以包括以下步骤：

步骤1：依据输入图像，采用多尺度多方向的Log-Gabor奇对称滤波器对原始图像进行滤波，获得多个尺度和方向的边缘结构图。Log-Gabor滤波器与人类视觉系统的度量一致，可提取具有表达能力的图像纹理信息。一个频率域内二维极坐标Log-Gabor滤波器如公式(1)所所示：

其中，J表示Log-Gabor滤波器函数，(r，α)表示极坐标系下的坐标，分别为极径和极角，s为尺度索引，o为方向索引，r₀表示Log-Gabor滤波器的中心频率，β决定滤波器的带宽，α₀为滤波器在索引o下的方向角度，σ_α为高斯扩展函数在角度方向的标准差。

对Log-Gabor滤波器函数J进行逆傅里叶变换，得到Log-Gabor滤波器在空间域内的表达形式：

J(x,y,s,o)＝J_Even(x,y,s,o)+i·J_Odd(x,y,s,o)                        (2)

采用多个尺度、多个方向的Log-Gabor奇对称滤波器J_odd对原始图像

进行滤波，得到原始图像多个尺度和方向的边缘结构图：

其中，(x,y)表示空间域坐标；J_Ever和J_odd分别表示Log-Gabor滤波器的偶对称滤波器和奇对称滤波器，

为原始图像

的像素(x,y)经过第s个尺度、第o个方向的Log-Gabor奇对称滤波器滤波后的值。因此，整幅原始图像

的第s个尺度、第o个方向的Log-Gabor奇对称滤波器滤波结果，可以表示为

它主要包含边缘结构。由于图像间的非线性辐射差异主要体现在低频区域的反射特性上，而Log-Gabor奇对称滤波将图像的低频区域和部分孤立圆点进行过度平滑，只保留图像边缘等高频部分，从而有利于保持多模态图像间高重复性特征点描述子向量提取和描述。

步骤2：为用于后续特征提取和描述，将多尺度多方向的边缘结构图进行叠加累积，获得原始图像的累积结构特征图

计算公式为：

为了消除累积结构特征图

特征值绝对量的影响，采用

的最大特征值

和

的最小特征值

进行归一化：

即为归一化的结果图。由于通过了多个尺度和多个方向的边缘结构累积，

积累原始图像丰富的边缘结构信息，更有利于特征描述。

步骤3：计算多尺度多方向的边缘结构图在图像水平和垂直方向的累积分量，逐像素计算出像素点的方向信息，获得特征方向图。

类似于图像梯度图，为了采用梯度直方图的方式构造特征描述子向量，需要计算图像的特征方向图。这里采用原始图像在多个尺度核多个方向下的Log-Gabor奇函数滤波器滤波果图

计算图像水平累积分量图

和垂直方向的累积分量图

和特征方向图θ：

步骤4：在累积结构特征图上提取FAST特征点，以每个特征点为中心，提取该特征点局部邻域范围内的累积结构特征图和方向特征图，构造局部结构特征图方向场，并通过结构特征图方向场信息恢复特征点主方向。

本实施例通过局部结构特征图方向场恢复特征点主方向的子步骤如下：

子步骤1：在特征点W×W局部邻域内逐像素计算坐标点(x、y)处累积结构特征值

在图像水平X方向和Y垂直方向上的结构特征分量

和

如公式(7)所示：

子步骤2：构造如公式(8)所示的结构特征图方向场

其中，k表示局部邻域内的像素索引。

子步骤3：利用奇异值矩阵S、酉矩阵U和酉矩阵V对结构特征方向场

进行奇异值分解：

并根据酉矩阵V的第二列计算结构特征方向场

的主方向信息，计算主

方向：Λ_i＝atan2(V_2,2,V_1,2)                        (9)

其中，i表示特征点索引。

步骤4：根据特征点主方向、累积结构特征图和方向特征图，在同名特征点间获得高度相似的描述子向量，用马氏距离替代欧式距离进行描述子向量归一化。

以特征点为中心提取半径为20.5σ像素的矩形区域，将每个像素邻域旋转到特征点的主方向，再将邻域划分为6×6的格网，每个格网划分为8个方向，从而形成6×6×8的三维特征描述结构，上述σ为特征点尺度，默认为1；但当本发明方法与其他多尺度特征点提取方法相结合时，其值不为1，从而使算法具有尺度不变性。

采用高斯距离加权的方式计算每个格网8个方向的结构特征方向直方图h _i,j (n)：

连接每个格网的直方图，形成该特征点288维描述子向量：

H＝[h_0,0,h_0,1,…,h_0,5,h_1,0,h_1,1,…,h_1,5,h_5,0,h_5,1,…,h_5,5]，利用马氏距离对H进行归一化，得到最终的描述子向量：

其中，i，j分别表示格网在水平和垂直方向上的索引，n表示直方图柱的索引，r表示当前像素到特征点中心的距离，σ_g为高斯因子，θ₀为特征点主方向，

为特征点局部邻域。

步骤6：计算两两特征向量间的Hellinger距离，以最近邻距离衡量匹配测度，通过双向匹配获得初始匹配结果。

参阅图2。假设实时图像特征点P_s(m)的描述子向量

参考图像特征点P_r(n)的描述子向量为

则描述子向量

和

之间的Hellinger距离表示为：

其中，s、r分别指实时图像和参考图像；m指实时图像上第m个特征点；n指参考图像上第n个特征点。

通过参考图像获取离线特征点及其描述子，利用实时图像在线提取特征点及描述子，以最近邻距离判断特征点是否匹配，进行双向匹配，获得初始匹配点。

在双向匹配中，计算实时图像上特征点描述子与参考图像上特征点描述子的最近邻距离，完成正向匹配，获得实时图像上特征点在参考图像上的匹配点索引m(n#)表示为：

同时，计算参考图像上特征点描述子与实时图像上特征点描述子的最近邻距离，完成反向匹配，获得参考图像上特征点在实时图像上的匹配点索引n(m#)表示为：

当且仅当m＝n(m#)且n＝m(i#)，则认为实时图像特征点P_s(m)和参考图像特征点P_r(n)是一对正确匹配点。

步骤7：在粗差剔除阶段，在收敛性能和精度方面对优化随机采样方法进行改进，从而通过改进的优化随机采样方法进行粗差剔除，最终获得高正确率的匹配结果。

优化随机采样方法是基于对立推理理论对RANSAC方法的改进，其克服了RANSAC方法在大比例(如90％)粗差情况下无法获取正确同名点集合的缺陷，且其无需设置模型残差阈值参数。为使其粗差剔除过程在收敛速度和精度上保存平衡，本发明针对视觉导航景象匹配的具体应用模式，对优化随机采样方法进行了进一步改进，具体步骤如下：

在粗差剔除阶段，根据像素数目A，设置归一化系数α＝π/A；残差阈值ε_t(推荐设置5像素)；标记值：flag＝0；初始化虚警数NFA：NFA＝∞；随机抽取初始匹配点集中的3对匹配点，计算单应性模型和剩余匹配点的残差，并按照残差大小升序排列；将剩余匹配点按照残差从小到大加入到正确匹配点集合中，逐个计算虚警数NFA，为便于计算，采用log函数计算NFA：

若标记值flag＝1，则logNFA的计算方式为:

当logNFA的值首次小于0时，令标记值flag＝1；记录当前迭代次数i和logNFA的值logNFA(i)；

当logNFA再次小于0时，记录当前迭代次数i^-和logNFA的值logNFA(i^-)，

判断收敛条件，当满足以下条件时，迭代收敛：

其中，n表示初始匹配点数目；k为内点数；ε_k为剩余匹配点的模型误差按大小排序后第k对匹配点的误差，

为经验阈值，推荐值为1％；maxIter为最大迭代次数，设置为10000；p为阈值，推荐设置为5％～10％。公式(12)、公式(13)即为本发明针对优化随机采样方法的具体改进，分别考虑粗差剔除精度和收敛时效性。

本发明的改进即保留了优化随机采样方法在大粗差率条件下粗差剔除的鲁棒性，又保留了几何模型的估计精度，同时加快了收敛过程，更适合实际应用。

值得说明的是，在无人机视觉导航任务中，参考底图可按照图1所示进行离线特征点提取与描述，制备参考底图特征数据库，而对无人机视觉载荷实时图像则进行在线特征点提取和描述，从而达到节省计算资源的目的。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (7)

1.一种多模态图像鲁棒匹配VNS的方法，其特征在于包括如下步骤：

步骤1：依据输入图像，采用多尺度多方向的Log-Gabor奇对称滤波器对原始图像进行滤波，获得多个尺度和方向的边缘结构图，然后将多尺度多方向的边缘结构图进行叠加累积，构造用于后续特征提取和描述的原始图像的累积结构特征图I_acc(x,y)，且整幅原始图像I的第s个尺度、第o个方向的Log-Gabor奇对称滤波器滤波结果，表示为包含边缘结构的I_J(s,o)，Log-Gabor奇对称滤波器与人类视觉系统的度量一致；

原始图像的累积结构特征图I_acc(x,y)，计算公式为：

对Log-Gabor滤波器函数J进行逆傅里叶变换，得到Log-Gabor滤波器在空间域内的表达形式：J(x，y，s，o)＝J_Even(x，y，s，o)+i·J_Odd(x，y，s，o)；

采用多个尺度、多个方向的Log-Gabor奇对称滤波器J_odd对原始图像I进行滤波，得到原始图像多个尺度和方向的边缘结构图：

为了消除累积结构特征图I_acc特征值绝对量的影响，采用I_acc的最大特征值b＝max(I_acc)和I_acc的最小特征值a＝min(I_acc)进行归一化：

(x,y)表示空间域坐标；J_Ever和J_odd分别表示Log-Gabor滤波器的偶对称滤波器和奇对称滤波器，I_J(x,y,s,o)为原始图像I的像素(x,y)经过第s个尺度、第o个方向的Log-Gabor奇对称滤波器滤波后的值；

步骤2：计算出上述多尺度多方向的边缘结构图在图像水平和垂直方向的累积分量，并逐像素计算出像素点的方向信息，获得特征方向图；其中，采用原始图像在多个尺度和多个方向下的Log-Gabor奇函数滤波器滤波结果图I_J(s,o)，计算图像水平累积分量图

和垂直方向的累积分量图

和特征方向图θ：

式中，s为尺度索引，α₀为滤波器在方向索引o下的方向角度；

步骤3：在累积结构特征图上提取FAST特征点，以每个特征点为中心，提取该特征点局部邻域范围内的累积结构特征图和特征方向图，构造局部结构特征图方向场，并通过结构特征图方向场信息恢复特征点主方向，根据特征点主方向、累积结构特征图和特征方向图构造在同名特征点间获得高度相似的描述子向量H，利用马氏距离对描述子向量H进行归一化，得到最终的描述子向量：

其中，通过局部结构特征图方向场信息恢复特征点主方向的子步骤如下：

在特征点为中心的W×W局部邻域内逐像素计算坐标点(x、y)处累积结构特征值I_acc(x,y)在图像水平X方向和Y垂直方向上分别获取结构特征分量

和

构造结构特征图方向场F，利用奇异值矩阵S、酉矩阵U和酉矩阵V对结构特征方向场F进行奇异值分解：F＝USV^T，并根据酉矩阵V的第二列计算结构特征方向场F的主方向信息；

步骤4：将特征匹配分为特征匹配阶段和粗差剔除阶段，在特征匹配阶段计算两两特征向量间的Hellinger距离，以最近邻距离衡量匹配测度，通过双向匹配获得初始匹配结果；

步骤5：在粗差剔除阶段，对优化随机采样方法的收敛性和精度进行改进，对初始匹配结果进行粗差剔除，最终获得高正确率的匹配内点集合。

2.如权利要求1所述的多模态图像鲁棒匹配VNS的方法，其特征在于：在图像水平X方向和Y垂直方向上的结构特征分量

和

为：

构造的结构特征图方向场F为：

其中，θ为特征方向图，k表示局部邻域内的像素索引。

3.如权利要求1所述的多模态图像鲁棒匹配VNS的方法，其特征在于：步骤3中，利用奇异值矩阵S、酉矩阵U和酉矩阵V对结构特征方向场F：F＝USV^T进行奇异值分解，主方向信息，

计算结构特征方向场F的主方向：

Λ_i＝atan2(V_2,2,V_1,2)                                      (5)

其中，i表示特征点索引。

4.如权利要求1所述的多模态图像鲁棒匹配VNS的方法，其特征在于：以特征点为中心提取半径为20.5σ像素的矩形区域，将每个像素邻域旋转到特征点的主方向，再将邻域划分为6×6的格网，每个格网划分为8个方向，从而形成6×6×8的三维特征描述结构，上述σ为特征点尺度，默认为1。

5.如权利要求1所述的多模态图像鲁棒匹配VNS的方法，其特征在于：设实时图像特征点P_s(m)的描述子向量

参考图像特征点P_r(n)的描述子向量为

则描述子向量

和

之间的Hellinger距离表示为：

通过参考图像获取离线特征点及其描述子，利用实时图像在线提取特征点及描述子，以最近邻距离判断特征点是否匹配，进行双向匹配，获得初始匹配点，其中，s、r分别指实时图像和参考图像；m指实时图像上第m个特征点；n指参考图像上第n个特征点。

6.如权利要求1所述的多模态图像鲁棒匹配VNS的方法，其特征在于：步骤5中，在粗差剔除阶段，根据像素数目A，设置归一化系数α＝π/A；残差阈值ε_t；标记值：flag＝0；初始化虚警数NFA：NFA＝∞；随机抽取初始匹配点集中的3对匹配点，计算单应性模型和剩余匹配点的残差，并按照残差大小升序排列；将剩余匹配点按照残差从小到大加入到正确匹配点集合中，逐个计算虚警数NFA，为便于计算，采用log函数计算NFA：

若标记值flag＝1，则logNFA的计算方式为:

当logNFA的值首次小于0时，令标记值flag＝1；记录当前迭代次数i和logNFA的值logNFA(i)；

当logNFA再次小于0时，记录当前迭代次数i^-和logNFA的值logNFA(i^-)，判断收敛条件，当满足以下条件时，迭代收敛：

其中，n表示初始匹配点数目；k为内点数；ε_k为剩余匹配点的模型误差按大小排序后第k对匹配点的误差，

为经验阈值，值为1％；maxIter为最大迭代次数，p为阈值。

7.如权利要求4所述的多模态图像鲁棒匹配VNS的方法，其特征在于：采用高斯距离加权方式计算每个格网8个方向的结构特征方向直方图h_i,j(n)：

连接每个格网的直方图，形成该特征点288维描述子向量：

H＝[h_0,0,h_0,1,…,h_0,5,h_1,0,h_1,1,…,h_1,5,h_5,0,h_5,1,…,h_5,5]，其中，i，j分别表示格网在水平和垂直方向上的索引，n表示直方图柱的索引，r表示当前像素到特征点中心的距离，σ_g为高斯因子，θ₀为特征点主方向，A为特征点局部邻域。

Images