CN110288620B - 基于线段几何特征的图像匹配方法及飞行器导航方法 - Google Patents

Abstract

本发明提供一种基于线段几何特征的图像匹配方法及飞行器导航方法，利用提取边缘特征，提取图像中道路、房屋、桥梁等特征较为明显的直线段，利用线段及其延长线构建的三角几何关系作为基元进行匹配。本发明能够在一定程度上克服图像之间的几何形变，同时大大减少了冗余的特征点，提高了匹配的实时性，同时也提高了匹配的精度和鲁棒性；采用置信度进行匹配搜索，降低了误匹配率，同时也提高了匹配的效率。

Description

基于线段几何特征的图像匹配方法及飞行器导航方法

技术领域

本发明涉及图像导航技术领域，具体涉及一种基于线段几何特征的图像匹配方法及飞行器导航方法。

背景技术

图像导航技术是运载体利用传感器获取周围环境信息，对获取的图像进行图像处理、图像分析，通过对拍摄的景物进行识别以及与已有的地形知识进行匹配等手段来确定运载体的准确位置和姿态信息。可用作导航系统自主导航，或者将处理后的有用信息显示出来以提醒操纵人员。

传统的图像匹配导航方法主要由高精度数字地图、机载图像传感器、执行匹配算法的计算机等组成。通过实时图像与预存地图进行匹配，需要处理大量的图像运算和操作，在精度、实时性和鲁棒性方面均难以满足导航系统的要求，通常作为一种辅助手段，消除其他导航系统如惯导系统、GPS导航系统的导航误差。不同的拍摄环境、光照、传感器类型等成像条件也会导致实时图与参考图的成像差异，造成匹配困难。

基于特征的匹配算法首先提取图像中的特征,然后再建立两幅图像之间的特征的对应关系,其难点在于自动、稳定、一致的特征提取和匹配过程。基于特征的匹配算法常用的特征有边缘特征、区域特征、点特征以及高层模型等，其中点特征与边缘特征具有容易获取、易于表示和操作，同时也能反映图像的本质特征等优点，但匹配时情况较为复杂，简单的点线匹配准确度较差。

发明内容

针对上述现有技术的不足，本发明提供一种基于线段几何特征的图像匹配方法及飞行器导航方法，利用提取边缘特征，提取图像中道路、房屋、桥梁等特征较为明显的直线段，利用线段及其延长线构建的三角几何关系作为基元进行匹配，能有效提高图像匹配算法的匹配速度和匹配精度。

为实现上述目的，本发明采用如下技术方案：

一种基于线段几何特征的图像匹配方法，包括如下步骤：

步骤1：分别对图像a和图像b进行边缘检测得到边缘二值特征图像a₁、b₁；

步骤2：采用霍夫变换法分别提取图像a₁、b₁中的线段，利用特征线段两侧的像点坐标取平均值计算出各个线段中点坐标，再用反三角函数公式计算出线段的倾角，所述倾角是以图像的水平线为基准的相对角度；

步骤3：以线段中点为顶点构造Delaunay三角网，以Delaunay三角网的每一条边连接的顶点对应的直线段倾角之差为基本匹配元素构造三维的组合特征，即Delaunay特征三角形的内角。将Delaunay特征三角形的三个内角中最接近90°的内角作为最大特征元素Δ_fMax，反之即为最小特征元素Δ_fMin，最后剩下的元素标记为Δ_fMid，三个特征元素构成一个组合特征S_f。通过上述方法得到图像a₁和图像b₁的若干个组合特征；

步骤4：将图像a₁的组合特征与图像b₁的组合特征进行匹配，找到所有相匹配的组合特征，完成图像匹配。

优选的，步骤1中，边缘检测的方法为canny边缘检测法。

优选的，步骤1中分别对提取的边缘二值图像a₁、b₁进行细化处理，去除图像中的毛刺和孔洞或孤立值为1的点，得到边缘轮廓宽度为1的二值图像。

优选的，步骤2中点坐标和倾角的计算方法如下：

对于每一条线段取线段两端的点各d个，以线段l_i为例，其上各点坐标为：p_i1(x₁,y₁),p_i2(x₂,y₂)....p_{i m-1}(x_m-1,y_m-1),p_{i m}(x_m,y_m)，则其中点坐标为：

其中，2<d<m/2；

线段l_i上各点的倾角α_e计算方法如下：

计算出所有α_e之后取均值得到线段倾角α_i。

优选的，步骤4中将图像a₁的组合特征与图像b₁的组合特征进行匹配的步骤包括：

步骤4.1：对每一个组合特征S_f内存放的夹角信息进行排序，选出最接近90°的角作为最大特征元素Δ_fMax，即|90°-Δ_fMax|＝min{|90°-Δ_k|}，k＝1,2,3；并选出最接近0°或180°的角作为最小特征元素Δ_fMin,即|90°-Δ_fMin|＝max{|90°-Δ_k|}；最后剩下的元素标记为Δ_fMid；

步骤4.2：对每一个元素标记对应的置信度V^A _Max,V^A _Min,V^A _Mid,V^B _Max,V^B _Min,V^B _Mid，且V^A _Max>V^A _Min>V^A _Mid，V^B _Max>V^B _Min>V^B _Mid；

步骤4.3：遍历每一个组合特征S^A _f,S^B _g中的特征元素Δ^A _fMax，Δ^A _fMid，Δ^A _fMin，Δ^B _gMax，Δ^B _gMid，Δ^B _gMin，当|Δ^A _ft-Δ^B _gt|≤ε₁时，认定Δ^A _ft与Δ^B _gt相匹配，取两元素对应置信度的均值V_k＝(V^A _ft+V^B _gt)/2，其中ε₁为根据实验需求设定的阈值，t代表下标Max，Min,Mid中的任意一个，反之则不匹配；如果一个组合特征中的三个夹角都相匹配，那么累加三个置信度均值，若累加得到的总置信度大于设定阈值V₀，即若

则可认为组合特征相匹配。

基于上述图像匹配方法的飞行器导航方法，包括如下步骤：

步骤1：根据飞行器的惯导系统得到的位置信息，读取当地预存地图A；利用飞行器的成像传感器获取当前时刻的实时图像B；

步骤2：对预存地图A和实时图像B进行基于线段几何特征的图像匹配；

步骤3：记实时图像B中某匹配特征的一个特征点坐标为(x’,y’)，位置矩阵为P_P，预存地图A中对应点的位置矩阵为P_C,匹配到的对应特征坐标为(x,y)，则可以推导关系：P_P＝RP_C，其中，R为表示相对位移变化的矩阵，展开表示为

θ，x₀,y₀为待定参数，分别为特征的旋转角度与在横纵坐标下的相对平移量；

步骤4：根据实时图像B相对于预存图像A的位置推算出当前飞行器的位置，形成控制指令可对惯性导航系统的累积误差进行修正。

有益效果：本发明提出的组合特征匹配方法利用图像现有的边缘直线的几何关系构造组合特征进行匹配，能够在一定程度上克服图像之间的几何形变，同时大大减少了冗余的特征点，提高了匹配的实时性，同时也提高了匹配的精度和鲁棒性；采用置信度进行匹配搜索，降低了误匹配率，同时也提高了匹配的效率。

附图说明

图1是基于线段几何关系的组合特征匹配算法流程图；

图2是组合特征示意图；

图3是置信度匹配算法流程图；

图4是误差分析示意图；

图5是ε₂-Δ误差函数图像。

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

匹配对象是机载成像传感器拍摄的实时图与导航系统预存地图，通常情况下，实时图与预存地图之间存在一定灰度差异与旋转、尺度变化。

如图1所示，本发明提出基于线段几何关系的组合特征匹配方法包括如下步骤：

步骤1，根据飞行器的惯导系统得到的位置信息，得到飞行器的初始位置姿态信息，读取当地预存地图A；利用成像传感器获取当前时刻的实时图像B。

步骤2，分别对当前图像B与预存图像A进行灰度化处理、图像降噪与高斯模糊等预处理得到图像A₁、B₁，防止提取边缘结果过于细碎，特征过多从而降低匹配速度。具体步骤采用本领域常规的图像预处理方法，不做赘述；

步骤3，分别对待匹配图像A₁、B₁进行canny边缘检测，提取出图像轮廓，得到A₁、B₁图像的边缘二值特征图像A₂、B₂；

步骤4，分别对提取的边缘二值图像A₂、B₂进行细化处理，去除图像中的毛刺和孔洞或孤立值为1的点，得到边缘轮廓宽度为1的二值图像A₃、B₃；

步骤5，采用霍夫变换方法提取边缘二值图像A₃、B₃中存在的线段，并设定阈值剔除线段长度过小的线段，阈值应由具体匹配图像大小与特征分布情况决定，本专利中在尺寸为128×128的城市卫星雷达图像中取阈值为20。筛选得到线段l^A ₁,l^A ₂...l^A _m,l^B ₁,l^B ₂...l^B _n；依次提取出每条线段对应中点p^A ₁,p^A ₂...p^A _m，p^B ₁,p^B ₂...p^B _n，并计算出对应中点的坐标p^A ₁(x^A ₁,y^A ₁),p^A ₂(x^A ₂,y^A ₂)....p^B _n(x^B _m,y^B _m),p^B ₁(x^B ₁,y^B ₁),p^B ₂(x^B ₂,y^B ₂)....p^B _n(x^B _n,y^B _n)与倾角α^A ₁,α^A ₂...α^A _m,α^B ₁,α^B ₂...α^B _n，并记录在集合数组CENTER中。在程序中集合CENTER作为存储线段信息的数组，其结构体成员为：代表终点坐标的cv::point类二维整形数组pt(x,y),用于存储终点坐标信息p^A ₁(x^A ₁,y^A ₁),p^A ₂(x^A ₂,y^A ₂)....p^A _m(x^A _m,y^A _m),p^B ₁(x^B ₁,y^B ₁),p^B ₂(x^B ₂,y^B ₂)....p^B _n(x^B _n,y^B _n)；代表线段倾角的double型变量angle，用于存储倾角信息α^A ₁,α^A ₂...α^A _m,α^B ₁,α^B ₂...α^B _n。其中，线段倾角α^A _i，α^B _i是以图像的水平线为基准的相对角度大小。由于A₃、B₃中的计算方法相同，故计算方法的说明仅以A₃为例，B₃中的方法同理。下面介绍中点p^A _i的坐标与倾角α^A _i的具体计算方法。

中点p^A _i的坐标p^A _i(x^A _i,y^A _i)计算方法如下：

由于霍夫变换采用的是边缘点在极坐标系下的对应关系确定点线关系，整形数据在坐标计算过程中可能存在一定误差，为了减小计算误差，可选取线段两侧的若干点进行中点坐标与线段倾角的计算。本专利中对于每一条线段取线段两端的点各5个，以一条线段l_i为例，线段l_i上的各点坐标为：p_i1(x₁,y₁),p_i2(x₂,y₂)....p_{i m-1}(x_m-1,y_m-1),p_{i m}(x_m,y_m).由于最小线段长度阈值为20，所以不存在m-5≤5的情况，即选取用来计算的点分布在线段两侧。则线段l_i的中点坐标为：

线段l_i上各点的倾角α_e计算方法如下，

计算出所有α_e之后取均值得到线段倾角α_i。

步骤6，如图2，以各线段提取的中点为顶点构造Delaunay三角网，具体构造算法已较为成熟，此处不对已有构造方法做过多赘述。在构造三角网络时，根据图像尺寸与特征分布，选取一定的阈值，剔除间隔过小或过大的中点，即Delaunay三角网络的边不能过长或过短。以图像A₃中提取出的一个三角网为例，三角网的每一条边m^A ₁,m^A ₂,m^A ₃连接的顶点对应的线段倾角之差即为Delaunay三角网的一条边所连接的两条提取直线的夹角，定义为基本匹配元素Δ^A _k，如图2所示，

Δ^A ₁＝|α^A ₁-α^A ₃|

Δ^A ₂＝|α^A ₂-α^A ₁|

Δ^A ₃＝|α^A ₃-α^A ₂|

每一个Delaunay三角形都对应三个元素Δ^A _k(k＝1,2,3)，Δ^A ₁,Δ^A ₂,Δ^A ₃构成一个三维的组合特征S^A。按照此种方法遍历图像中提取的全部线段中点，得到若干组合特征S^A ₁,S^A ₂......S^A _a.

按照同样的方法，可以得到图像B2中的S^B ₁,S^B ₂......S^B _b.

步骤7，对每一个组合特征内存放的夹角信息进行排序，选出最接近90°的角作为最大特征元素Δ_Max，即|90°-Δ_Max|＝min{|90°-Δ_k|}，k＝1,2,3；并选出最接近0°或180°的角作为最小特征元素Δ_Min,即|90°-Δ_Min|＝max{|90°-Δ_k|}；最后剩下的元素标记为Δ_Mid。对每一个元素标记对应的置信度V^A _Max,V^A _Min,V^A _Mid,V^B _Max,V^B _Min,V^B _Mid，且V^A _Max>V^A _Min>V^A _Mid，V^B _Max>V^B _Min>V^B _Mid。接下来遍历每一个组合特征S^A _f,S^B _g中的特征元素Δ^A _fMax，Δ^A _fMid，Δ^A _fMin，Δ^B _gMax，Δ^B _gMid，Δ^B _gMin，当|Δ^A _ft-Δ^B _gt|≤ε₁时，认定Δ^A _ft与Δ^B _gt相匹配，取两元素对应置信度的均值V_k＝(V^A _ft+V^B _gt)/2。其中ε₁为根据实验需求设定的阈值，t代表下标Max，Min,Mid，中的任意一个，k＝1,2,3记录三次对比过程；反之则不匹配。如果一个组合特征中的三个夹角都相匹配，那么累加三个置信度均值，若累加得到的总置信度大于设定阈值V₀，即若

则可认为组合特征相匹配。本专利中设定ε₁＝1.5，V₀＝1，置信度/>

其中t代表下标Max，Min,Mid，中的任意一个。

步骤8，对于每一个匹配的组合特征，可以得到三组匹配线段，作为图像配准的元素；另外组合特征对应线段的延长线交点坐标p_t(x,y)，具体计算方法通过简单的几何计算可以得到，本文不做赘述。这些交点同样是配准所需的元素，并且每个坐标对应的置信度同其对应的夹角Δ_t,即

相同误差下，夹角Δ越接近90°，线段延长线的交点的位置误差ε₂越小，置信度越高，反之误差越大，置信度越小。因而相同匹配阈值下对Δ越大接近90°的特征，交点坐标匹配置信度就越高。证明如下。

如图4，设两条线段所在直线p,q相交于点P₁，夹角为Δ₁，由于线段提取存在误差，导致p相对于q存在误差倾角dξ，记旋转中心为O，Q为过O做直线p垂线的垂足，记OQ长度为s，OP，QP长度随误差角ξ的变化而变化，分别记为v，w。两直线实际相交于点P₂，夹角为Δ₂。由组合特征的几何关系可知，计算得到的直线夹角Δ取值范围为[0°,180°]，且

w＝s tanξ

由式上式可解得存在线段倾角误差dξ时的匹配元误差，线段交点P的偏移误差ε₂：

ε₂＝d(stanξ)＝s(secξ)²dξ＝-s[sec(90-Δ)]²dΔ

＝-s(cscΔ)²dΔ

由误差函数可以得出结论，线段交点的位置误差ε₂在

处取最小值，即，相同提取误差下，两条直线越接近垂直，交点的位置误差越小，置信度越高。

步骤9，记实时图像B中某匹配特征的一个特征点坐标为(x’,y’)，位置矩阵为P_P，预存图A中对应点的位置矩阵为P_C,匹配到的对应特征坐标为(x,y),则可以推导关系：P_P＝RP_C，其中，R为表示相对位移变化的矩阵。展开表示为

θ，x₀,y₀为待定参数，分别为特征的旋转角度与在横纵坐标下的相对平移量。根据实时图像相对于预存图像的位置推算出当前飞行器的位置，形成控制指令可对惯性导航系统的累积误差进行修正。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于线段几何特征的图像匹配方法，其特征在于，包括如下步骤：

步骤1：分别对图像a和图像b进行边缘检测得到边缘二值特征图像a₁、b₁；

步骤2：采用霍夫变换方法分别提取图像a₁、b₁中的线段，利用特征线段两侧的像点坐标取平均值计算出各个线段中点坐标，再用反三角函数公式计算出线段倾角，所述倾角是以图像的水平线为基准的相对角度；

步骤3：以线段中点为顶点构造Delaunay三角网，以Delaunay三角网的每一条边连接的顶点对应的直线段倾角之差为基本匹配元素构造三维的组合特征，即Delaunay特征三角形的内角；将Delaunay特征三角形的三个内角中最接近90°的内角作为最大特征元素Δ_fMax，反之即为最小特征元素Δ_fMin，最后剩下的元素标记为Δ_fMid，三个特征元素构成一个组合特征S_f；通过上述方法得到图像a₁和图像b₁的若干个组合特征；

步骤4：将图像a₁的组合特征与图像b₁的组合特征进行匹配，找到所有相匹配的组合特征，完成图像匹配。

2.根据权利要求1所述的一种基于线段几何特征的图像匹配方法，其特征在于，步骤1中，边缘检测的方法为canny边缘检测法。

3.根据权利要求1所述的一种基于线段几何特征的图像匹配方法，其特征在于，步骤1中分别对提取的边缘二值图像a₁、b₁进行细化处理，去除图像中的毛刺和孔洞或孤立值为1的点，得到边缘轮廓宽度为1的二值图像。

4.根据权利要求1所述的一种基于线段几何特征的图像匹配方法，其特征在于，步骤2中点坐标和倾角的计算方法如下：

对于每一条线段取线段两端的点各d个，以线段l_i为例，其上各点坐标为：p_i1(x₁,y₁),p_i2(x₂,y₂)....p_im-1(x_m-1,y_m-1),p_im(x_m,y_m)，则其中点坐标为：

其中，2<d<m/2；

线段l_i上各点的倾角α_e计算方法如下：

计算出所有α_e之后取均值得到线段倾角α_i。

5.根据权利要求1所述的一种基于线段几何特征的图像匹配方法，其特征在于，步骤4中将图像a₁的组合特征与图像b₁的组合特征进行匹配的步骤包括：

步骤4.1：对每一个组合特征S_f内存放的夹角信息进行排序，选出最接近90°的角作为最大特征元素Δ_fMax，即|90°-Δ_fMax|＝min{|90°-Δ_k|}，k＝1,2,3；并选出最接近0°或180°的角作为最小特征元素Δ_fMin,即|90°-Δ_fMin|＝max{|90°-Δ_k|}；最后剩下的元素标记为Δ_fMid；

步骤4.2：对每一个元素标记对应的置信度V^A _Max,V^A _Min,V^A _Mid,V^B _Max,V^B _Min,V^B _Mid，且V^A _Max>V^A _Min>V^A _Mid，V^B _Max>V^B _Min>V^B _Mid；

步骤4.3：遍历每一个组合特征S^A _f,S^B _g中的特征元素Δ^A _fMax，Δ^A _fMid，Δ^A _fMin，Δ^B _gMax，Δ^B _gMid，Δ^B _gMin，当|Δ^A _ft-Δ^B _gt|≤ε₁时，认定Δ^A _ft与Δ^B _gt相匹配，取两元素对应置信度的均值V_k＝(V^A _ft+V^B _gt)/2，其中ε₁为根据实验需求设定的阈值，t代表下标Max，Min,Mid中的任意一个，反之则不匹配；如果一个组合特征中的三个夹角都相匹配，那么累加三个置信度均值，若累加得到的总置信度大于设定阈值V₀，即若

则可认为组合特征相匹配。

6.基于权利要求1所述图像匹配方法的飞行器导航方法，其特征在于，包括如下步骤：

步骤1：根据飞行器的惯导系统得到的位置信息，读取当地预存地图A；利用飞行器的成像传感器获取当前时刻的实时图像B；

步骤2：对预存地图A和实时图像B进行基于线段几何特征的图像匹配；

步骤3：记实时图像B中某匹配特征的一个特征点坐标为(x’,y’)，位置矩阵为P_P，预存地图A中对应点的位置矩阵为P_C,匹配到的对应特征坐标为(x,y)，则可以推导关系：P_P＝RP_C，其中，R为表示相对位移变化的矩阵，展开表示为

θ，x₀,y₀为待定参数，分别为特征的旋转角度与在横纵坐标下的相对平移量；

步骤4：根据实时图像B相对于预存图像A的位置推算出当前飞行器的位置，形成控制指令可对惯性导航系统的累积误差进行修正。

Images