CN110569861B - 一种基于点特征和轮廓特征融合的图像匹配定位方法 - Google Patents

Abstract

本发明提供了一种基于点特征和轮廓特征融合的图像匹配定位方法，点特征检测之后，计算分割阈值，将图像二值化，通过轮廓边缘点查找后，轮廓近似拟合，使得点特征和轮廓特征融合，进行特征描述和特征匹配，通过映射矩阵点筛选，计算映射矩阵和匹配位置，将实时图中心坐标映射到基准图上，并根据飞行平台姿态信息补偿得到飞行平台当前地理位置信息。本发明点特征具有内在轮廓约束，通过轮廓特征能够快速有效的剔除误匹配点，避免了单一用点特征匹配带来的误匹配问题，提高了匹配正确性，通过点特征和轮廓特征融合实现了飞行平台拍摄实时图和卫星遥感图像基准图的异源图像匹配定位，相对于目前的匹配算法具有较高的正确性。

Description

一种基于点特征和轮廓特征融合的图像匹配定位方法

技术领域

本发明涉及视觉导航领域，提出了一种图像匹配定位方法，可用于飞行平台视觉导航定位，还可以用于各类飞行平台在航路飞行上的目标跟踪等领域。

背景技术

图像匹配是指对不同拍摄环境或拍摄设备下获取的两幅或多幅景象，建立图像间部分或者全部信息的映射关系。图像匹配技术在许多领域都有着广泛的应用，包括导弹的地形和地图匹配定位、视觉导航等。

在视觉导航领域，通过飞行平台的光电设备获取当前实时位置实时图，将实时图和带有地理信息的基准图比较匹配，如果完成实时图和基准图匹配，那么就能知道飞行平台当前地理位置，完成导航定位。

基准图为星载相机拍摄的高分辨率光学遥感图像，实时图为飞行平台的光电设备获取的光学图像，由于不同传感器的成像特性存在差别，成像机理差别较大，同一场景在两幅图像上可能呈现完全不同的表现，为了能够利用图像匹配进行视觉导航，需要一种可靠的异源图像匹配方法。

图像匹配主要有两类方法：基于灰度区域的方法和基于特征的方法。

基于灰度区域的方法通常直接利用整幅图像的灰度像素或梯度信息进行匹配，常用的方法有灰度相关方法、梯度相关方法等，这类方法主要缺点是对图像变形适应性较差，计算量大，对于成像差异较大的图像一般很难得到理想的结果。

基于特征的方法首先提取图像中一些显著性结构，即点、直线、曲线或曲面等，然后对这些特征进行匹配。由于特征是图像中像素一部分，比像素点要少，减少了匹配过程中计算量。常用的方法有Harris、SIFT(Scale Invariant Feature Transform)算法、SURF(Speed Up Robust Feature)、ORB(Oriented Brief)算法等。这些算法对于不同的异源图像匹配，匹配错误较多。

基于SURF的两幅异源图像匹配结果如图1所示，左图是无人机拍摄的实时图，右图是卫星遥感基准图像，通过匹配结果可以看出实时图的A区域错误的和基准图的A’、B’区域匹配，把不相关的区域建立匹配关系，如果根据错误的匹配结果进行定位就会得出错误结论，其它算法(如ORB、SIFT等)都存在类似问题。如何提升飞行平台拍摄的实时图和卫星遥感图像匹配正确性是视觉匹配导航定位的重要研究内容之一。

匹配错误较多的一个原因是缺少有效的误匹配点剔除方法，专利“石悦,付琨,孙显,等.一种多源传感器的遥感图像配准方法[P].中国：CN103020945B,2016”介绍了一种多源遥感图像配准方法，通过随机一致性抽样算法剔除误匹配点，专利“单小军,唐娉,郑柯,等.一种用于包含复杂地形遥感图像的误匹配点剔除方法[P].中国：CN10254265B,2014”介绍了一种有效剔除匹配过程中误匹配点方法，对飞行平台拍摄的实时图和卫星遥感图像匹配时，利用这些方法剔除误匹配点不能取得满意效果。

从目前公开的文献“王晓红,何志伟,邓仕雄,等.利用特征组合检测算法的无人机遥感影像匹配研究[J].测绘通报,2019(1):29-33.”、“邓仕雄,王晓红,刘继庚,等.基于SURF算法和极限约束的无人机影像匹配研究[J].贵州大学学报(自然科学版),2018,35(1):35-39.”、“王瑞瑞,冯伍法,张艳,等.一种结合相位相关法和AKAZE算法的纹理缺乏地区影像匹配技术[J].测绘通报,2017(4):49-52.”中看出，在遥感影像匹配中利用单一图像特征匹配比较困难，为了提高飞行平台拍摄的实时图和卫星遥感图像匹配正确性，需要利用图像的多种特征信息。

发明内容

为了克服现有技术的不足，本发明提供一种基于点特征和轮廓特征融合的图像匹配定位方法。为了解决背景技术中飞行平台拍摄的实时图和卫星遥感图像匹配困难的问题，利用轮廓特征约束点特征分布，让不具有关联关系的点特征之间建立轮廓特征约束，提高了匹配准确性，为飞行平台提供一种视觉导航定位方法。

本发明解决其技术问题所采用的技术方案的具体步骤如下：

1)点特征检测

采用Hessian局部极大值原理进行点特征检测，第i个像素的Hessian矩阵的计算公式为：

式中σ_i，norm为对应图像组中归一化尺度因子，L_xx和L_yy分别为二阶横向和纵向微分，L_xy为二阶交叉微分；

寻找极值点时候，每一个像素点和周围所有的相邻点进行比较，比较范围是当前尺度、上一尺度(当前尺度图像2倍降采样)和下一尺度(当前尺度图像2倍线性插值)上的3×3矩形窗口，当像素点大于所有相邻点时，则像素点是极值点，即搜索空间是一个边长3个像素单位的立方体，将当前像素点和同尺度8个相邻点，以及上下尺度相邻的18个点一一比较，确保在尺度空间和图像空间内都能检测到极值点；

2)分割阈值计算

采用类间方差最大方法实现自适应分割阈值计算，满足动态场景需求；

3)图像二值化

根据分割阈值，图像中像素的灰度值大于阈值的置为255，灰度值小于阈值的置为0，将图像进行二值化处理；

4)轮廓边缘点查找

对于二值化的图像f(x，y)，满足f(x，y)＝255，f(x，y-1)＝0的像素点(x，y)是轮廓外边界起始点，满足f(x，y)≥255，f(x，y+1)＝0的像素点(x，y)是轮廓孔边界起始点；

从图像f(x，y)左上角，即图像坐标系原点处，开始逐行对每一个像素点(x，y)进行扫描，遇到外边界和孔边界起点时终止扫描，扫描结束后，从起始点开始标记边界上像素，若为新发现的边界，分配唯一识别符，直至发现所有边界形成的最终轮廓；

5)轮廓近似拟合

针对每一个轮廓，设定一个门限值，对于轮廓上A、B两点连成的直线，找到AB之间点C，若C到AB的距离小于门限值，则认为AB和C属于一组，否则连接AC、CB，继续重复上述操作，直至处理完轮廓上所有点；

对轮廓进行近似拟合，处理所有轮廓，去掉噪点对轮廓边缘特征影响；

6)点特征和轮廓特征融合

对于一个轮廓，选取轮廓附近8个邻域区域，如果特征点在区域内，保留该特征点，否则删除该特征点；

7)特征描述

对于融合后的每一个特征点分别计算梯度方向和梯度幅值，像素点(x，y)的梯度值计算公式为：

像素点(x，y)的梯度方向计算公式为：

θ(x，y)＝tan^-1((f(x，y+1)-f(x，y-1))/(f(x+1，y)-f(x-1，y)))然后用高斯窗口进行加权，并插值计算每个梯度方向的累加值后，建立8个方向的梯度直方图；

分别对4×4个子区域的8个梯度信息根据位置依次排序，形成一个128维的特征向量描述；

8)特征匹配

根据欧式距离、最近/次近邻法则，从实时图和待匹配基准图像的特征点描述集中选出满足条件的匹配点；

9)映射矩阵点筛选

通过随机采样一致性算法(RANSC)消除错误匹配和不精确匹配，噪点剔除后的特征匹配对即映射矩阵点；

10)映射矩阵计算

实时图和基准图在正确匹配后，同名特征具有相同映射关系，映射关系表示为：

其中

为基准图，

为实时图，H为映射矩阵；

基于筛选的映射矩阵点，通过最小二乘得到实时图和基准图的映射矩阵H；

11)匹配位置计算

根据映射矩阵，将实时图中心坐标映射到基准图上，并根据飞行平台姿态信息补偿得到飞行平台当前地理位置信息。

步骤2)中所述类间方差最大方法计算步骤如下：

假定存在一个阈值K，将大小为M×N的图像像素分成两部分，第一部分像素的坐标

第二部分像素的坐标

第一部分像素数量占总像素数量比为P_a，第二部分像素数量占总像素数量比为P_b，第一部分像素的平均灰度值均值为

第二部分像素的平均灰度值均值为

则阈值K应满足：

通过图像迭代求出分割阈值。

本发明的有益效果在于将点特征和轮廓特征进行融合，让轮廓特征约束点特征，这样做的好处主要体现在：1)点特征具有内在轮廓约束，通过轮廓特征能够快速有效的剔除误匹配点，2)点特征和轮廓特征融合，避免了单一用点特征匹配带来的误匹配问题，提高了匹配正确性。通过点特征和轮廓特征融合实现了飞行平台拍摄实时图和卫星遥感图像基准图的异源图像匹配定位，相对于目前的匹配算法具有较高的正确性。

附图说明

图1为本发明的SURF匹配图。

图2为本发明的图像匹配流程图。

图3为本发明的实时图的点特征检测结果。

图4为本发明的实时图图像二值化结果。

图5为本发明的轮廓查找结果。

图6为本发明的轮廓近似拟合结果。

图7为本发明的点特征和轮廓特征融合结果。

图8为本发明的匹配结果。

图9为本发明的俯仰角补偿示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明利用点特征和轮廓特征融合进行图像匹配定位，参照图2，对图像分别进行点特征、轮廓特征提取(包括图像二值化、轮廓边缘近似拟合等步骤)，然后将点特征和轮廓特征进行融合，对融合的特征构造特征描述向量，通过匹配特征描述得到实时图和基准图的映射矩阵，最后利用映射矩阵将实时图光轴中心位置坐标映射到基准图中，通过查找映射到基准图中点的地理信息确定飞行平台当前位置，完成视觉导航定位。

现对照附图详细说明本发明的具体实施方式。具体实施步骤如下：

1)点特征检测

类似SURF算法，本发明的点特征是图像不同尺度归一化后的Hessian局部极大值点。第i个像素的Hessian矩阵的计算公式为

式中

为对应图像组中归一化尺度因子，L_xx和L_yy分别为二阶横向和纵向微分，L_xy为二阶交叉微分。

寻找极值点时候，每一个像素点和它附近所有的相邻点进行比较，比较范围是当前尺度、上一尺度和下一尺度上的3×3矩形窗口，当其大于所有相邻点时则认为是极值点。也就是说搜索空间是一个边长3个像素单位的立方体，将当前像素点和同尺度8个相邻点，以及上下尺度相邻的18个点一一比较，确保在尺度空间和图像空间内都能检测到极值点。实时图的点特征检测结果参照图3所示。

2)分割阈值计算

实际图像场景复杂多变，采用固定分割阈值效果不理想，本发明采用类间方差最大原则实现自适应分割阈值，根据实际图像情况进行阈值计算。类间方差最大方法计算步骤如下：

假定存在一个阈值K，将大小为M×N的图像像素分成两部分，第一部分像素的坐标

第二部分像素的坐标

第一部分像素数量占总像素数量比为P_a，第二部分像素数量占总像素数量比为P_b，第一部分像素的平均灰度值均值为

第二部分像素的平均灰度值均值为

那么阈值K应满足：

通过图像迭代就可以求出分割阈值。

3)图像二值化

根据第二步计算得到的分割阈值，图像中像素的灰度值大于阈值置为255，灰度值小于阈值置为0，实现图像二值化。图像二值化结果参照图4所示。

4)轮廓边缘点查找

对于二值化的图像f(x，y)，满足f(x，y)＝255，f(x，y-1)＝0的像素点(x，y)是轮廓外边界起始点，满足f(x，y)≥255，f(x，y+1)＝0的像素点(x，y)是轮廓孔边界起始点。

从图像f(x，y)左上角，即图像坐标系原点处，开始逐行对每一个像素点(x，y)进行扫描，遇到外边界和孔边界起点时终止扫描，扫描结束后从上述起始点开始标记边界上像素，若为新发现的边界，分配唯一识别符，直至发现所有边界形成的最终轮廓。查找完成的图像轮廓边界参照图5所示。

5)轮廓近似拟合

查找的轮廓点受噪声影响，存在不准确现象，为了后续更好的和点特征融合，需要对查找的轮廓进行近似拟合。

针对每一个轮廓，设定一个门限值，对于轮廓上A、B两点连成的直线，找到AB之间点C，若C到AB的距离小于阈值，则认为AB和C属于一组，否则连接AC、CB，继续重复上述操作，直至处理完轮廓上所有点。阈值越小，拟合的轮廓越接近曲线。

对于图像上的所有轮廓做同样处理，直至处理完所有轮廓。轮廓近似拟合结果参照图6所示。通过轮廓近似，有效的去除噪点对图像轮廓特征的影响。

6)点特征和轮廓特征融合

对于一个轮廓，选取轮廓附近8个邻域区域，如果特征点在区域内，保留该特征点，否则删除该特征点。通过轮廓特征约束点特征，让不具有关联性的点特征具有一定内在关联性，关联性就是轮廓边缘。点特征和轮廓特征融合结果参照图7所示，为了更好显示融合结果，图7中只画出点特征和轮廓特征。

7)特征描述

对于融合后的每一个特征点分别进行特征描述，首先以特征点为中心的邻域均匀地分成4×4的子区域，计算子区域内每个像素点的梯度方向和梯度幅值。

像素点(x，y)的梯度值计算公式为

像素点(x，y)的梯度方向计算公式为θ(x，y)＝tan^-1((f(x，y+1)-f(x，y-1))/(f(x+1，y)-f(x-1，y)))

然后用高斯窗口对其进行加权并插值计算每个梯度方向的累加值后建立8个方向的梯度直方图。

分别对4×4个子区域的8个梯度信息根据位置依次排序，形成一个128维的特征向量，该特征向量就是特征点的特征描述。

8)特征匹配

根据欧式距离、最近/次近邻法则，从实时图和待匹配基准图像的特征点描述集中选出满足条件的匹配点。

设定实时图和基准图特征集合分别为P_实时图＝{p₁，p₂，...，p_m}，P_基准固＝{P₁′，P₂′，...，P_n′}，在特征匹配过程中，对于每一个实时图特征点p_i，从基准图特征点中搜寻与其欧式距离为最近和次近的点，如果最近和次近距离比值小于设定阈值，则认为基准图中该点与实时图p_i相匹配，否则匹配失败。

9)映射矩阵点筛选

通过随机采样一致性算法(RANSC)消除错误匹配和不精确匹配，噪点剔除后的特征匹配对就是映射矩阵点。

10)映射矩阵计算

实时图和基准图在正确匹配后，理论上同名特征具有相同映射关系，其关系表示为：

其中

为基准图，

为实时图，H为映射矩阵，H＝[h₁ h₂ h₃]＝K[r₁ r₂ T]，由于r₁，r₂正交，矩阵H可以通过对所有特征点计算最小二乘解得到。

根据计算得到的映射矩阵将实时图所有像素映射到基准图上，得到实时图的映射区域，结果参照图8中四边形包围的区域所示。

11)匹配位置计算

如果拍摄实时图和基准图时姿态一致，映射区域应是理想的长方形，参照图8所示，实际中实时图的映射区域非理想长方形，说明飞行平台在拍摄实时图姿态和基准图不一致。

为了更好的计算当前飞行平台地理位置，选用镜头光轴中心，也就是实时图中心坐标(x，y)，如图8中左图上虚线标记所示，通过映射矩阵将实时图中心坐标映射到基准图中得到基准图坐标位置(x，Y)，如图8中右图上虚线标记所示。

基准图中的坐标位置仅仅是根据视觉匹配得到，利用飞行平台的姿态信息进行视觉匹配位置补偿，得到飞行平台当前地理实时位置。

位置补偿主要是飞行平台的俯仰、航向、横滚造成的。俯仰补偿参照图9所示，距离为L，俯仰角度为θ，俯仰角度影响的位置补偿大小为Lsinθ，航向、横滚补偿具有类似处理方式。

以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (2)

1.一种基于点特征和轮廓特征融合的图像匹配定位方法，其特征在于包括下述步骤：

1)点特征检测

采用Hessian局部极大值原理进行点特征检测，第i个像素的Hessian矩阵的计算公式为：

式中σ_i，norm为对应图像组中归一化尺度因子，L_xx和L_yy分别为二阶横向和纵向微分，L_xy为二阶交叉微分；

寻找极值点时候，每一个像素点和周围所有的相邻点进行比较，比较范围是当前尺度、上一尺度和下一尺度上的3×3矩形窗口，上一尺度为当前尺度图像2倍降采样，下一尺度为当前尺度图像2倍线性插值，当像素点大于所有相邻点时,则像素点是极值点，即搜索空间是一个边长3个像素单位的立方体，将当前像素点和同尺度8个相邻点，以及上下尺度相邻的18个点一一比较，确保在尺度空间和图像空间内都能检测到极值点；

2)分割阈值计算

采用类间方差最大方法实现自适应分割阈值计算，满足动态场景需求；

3)图像二值化

根据分割阈值，图像中像素的灰度值大于阈值的置为255，灰度值小于阈值的置为0，将图像进行二值化处理；

4)轮廓边缘点查找

对于二值化的图像f(x，y)，满足f(x，y)＝255，f(x，y-1)＝0的像素点(x，y)是轮廓外边界起始点，满足f(x，y)≥255，f(x，y+1)＝0的像素点(x，y)是轮廓孔边界起始点；

从图像f(x，y)左上角，即图像坐标系原点处，开始逐行对每一个像素点(x，y)进行扫描，遇到外边界和孔边界起点时终止扫描，扫描结束后，从起始点开始标记边界上像素，若为新发现的边界，分配唯一识别符，直至发现所有边界形成的最终轮廓；

5)轮廓近似拟合

针对每一个轮廓，设定一个门限值，对于轮廓上A、B两点连成的直线，找到AB之间点C，若C到AB的距离小于门限值，则认为AB和C属于一组，否则连接AC、CB，继续重复上述操作，直至处理完轮廓上所有点；

对轮廓进行近似拟合，处理所有轮廓，去掉噪点对轮廓边缘特征影响；

6)点特征和轮廓特征融合

对于一个轮廓，选取轮廓附近8个邻域区域，如果特征点在区域内，保留该特征点，否则删除该特征点；

7)特征描述

对于融合后的每一个特征点分别计算梯度方向和梯度幅值，像素点(x，y)的梯度值计算公式为：

像素点(x，y)的梯度方向计算公式为：

θ(x，y)＝tan^-1((f(x，y+1)-f(x，y-1))/(f(x+1，y)-f(x-1，y)))

然后用高斯窗口进行加权，并插值计算每个梯度方向的累加值后，建立8个方向的梯度直方图；

分别对4×4个子区域的8个梯度信息根据位置依次排序，形成一个128维的特征向量描述；

8)特征匹配

根据欧式距离、最近/次近邻法则，从实时图和待匹配基准图像的特征点描述集中选出满足条件的匹配点；

9)映射矩阵点筛选

通过随机采样一致性算法(RANSC)消除错误匹配和不精确匹配，噪点剔除后的特征匹配对即映射矩阵点；

10)映射矩阵计算

实时图和基准图在正确匹配后，同名特征具有相同映射关系，映射关系表示为：

其中

为基准图，

为实时图，H为映射矩阵；

基于筛选的映射矩阵点，通过最小二乘得到实时图和基准图的映射矩阵H；

11)匹配位置计算

根据映射矩阵，将实时图中心坐标映射到基准图上，并根据飞行平台姿态信息补偿得到飞行平台当前地理位置信息。

2.根据权利要求1所述的一种基于点特征和轮廓特征融合的图像匹配定位方法，其特征在于：

所述步骤2)中，类间方差最大方法计算步骤如下：

假定存在一个阈值K，将大小为M×N的图像像素分成两部分，第一部分像素的坐标

第二部分像素的坐标

第一部分像素数量占总像素数量比为P_a，第二部分像素数量占总像素数量比为P_b，第一部分像素的平均灰度值均值为

第二部分像素的平均灰度值均值为

则阈值K应满足：

通过图像迭代求出分割阈值。

Images