CN102426019B - 一种无人机景象匹配辅助导航方法及系统 - Google Patents

一种无人机景象匹配辅助导航方法及系统 Download PDF

Info

Publication number
CN102426019B
CN102426019B CN201110246861.4A CN201110246861A CN102426019B CN 102426019 B CN102426019 B CN 102426019B CN 201110246861 A CN201110246861 A CN 201110246861A CN 102426019 B CN102426019 B CN 102426019B
Authority
CN
China
Prior art keywords
image
benchmark
scene matching
reference map
navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110246861.4A
Other languages
English (en)
Other versions
CN102426019A (zh
Inventor
安山
王婷
王兵
张宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Space Star Technology Co Ltd
Original Assignee
Space Star Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Space Star Technology Co Ltd filed Critical Space Star Technology Co Ltd
Priority to CN201110246861.4A priority Critical patent/CN102426019B/zh
Publication of CN102426019A publication Critical patent/CN102426019A/zh
Application granted granted Critical
Publication of CN102426019B publication Critical patent/CN102426019B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种无人机景象匹配辅助导航方法及系统。本发明中所述的方法主要包括以下七个步骤:图像的获取与预处理、提取图像的局部特征、建立基准图词汇树模型、选择基准景象匹配区、实现景象匹配、去除错误匹配点以及修正导航误差。采用本发明可实现在大规模基准图像数据库中实时选择最佳基准图并完成精确匹配,用于高精度定位或辅助导航过程。本发明具有实时性好、精度高的优点,适于在无人机机载处理器上应用。

Description

一种无人机景象匹配辅助导航方法及系统
技术领域
本发明涉及导航技术领域,涉及一种无人机景象匹配辅助导航方法及系统。
背景技术
无人机导航技术是指无人机使用机载的导航设备和飞行控制系统进行定位和控制并完成飞行任务的技术。无人机导航中常用的方法包括遥控导航、惯性导航、卫星导航、组合导航等。
无人机特别是作战用小型无人机的应用电磁环境恶劣,遥控通信链路难以维持,GPS信号也易受干扰。在众多导航方法中,惯性导航和景象匹配导航能够提高无人机导航的适应性。
惯性导航系统是利用惯性元件感测载体运动中的角速度和加速度,通过积分计算,得出载体的速度、位置和姿态等导航信息,具有完全自主、全天候、不受外界环境干扰和无信号丢失等优点。然而,相对于无人机的体积和载荷来讲,高精度的惯性导航系统体积、重量和耗电量超出了无人机的能力范围。同时,惯性导航系统长时间工作时存在累积误差,不能完全满足实际应用需求。
景象匹配辅助导航(Scene Matching Aided Navigation)是利用机载视觉传感器在飞行过程中采集的实时景象图与预先制备的基准景象图进行实时匹配计算以获得精确定位信息的技术。这种技术具有很高的自主性和精确度,极好的保密性和抗干扰性,已经引起了国内外导航界的普遍关注。同时,视觉传感器具有轻便、低功耗、体积小等优点,非常适合无人机应用。
在景象匹配辅助导航中,选择景象匹配区是需要解决的首要问题。通过对指定景象区域的匹配定位性能进行评估、分析,从而确定该区域是否可作为合适的景象匹配区,保证飞行过程中机载传感器获取的实测图与基准图进行成功匹配。目前,匹配区的选择尚无成熟的解决方案,大部分由人工完成,通常很难满足实际应用的需求。本发明首次提出应用基于内容的图像检索方法选择景象匹配区,该方法可与后期的图像匹配工作无缝结合。
由于存在环境、设备、拍摄形态等因素的影响,实时景象图与基准景象图之间会存在平移、旋转、尺度、视角、光照、扭曲等变化,因此实现高效准确的图像匹配是提供高精度导航信息源的关键。本发明采用基于局部特征的图像匹配算法,得到亚像素的匹配精度。
本发明的优点在于:无人机在执行任务过程中,可以不依靠其他信息,在大规模基准图像数据库中实时的选择最佳基准图并完成精确匹配。本发明适于在机载处理器上应用,可结合机载导航设备实现高精度的导航。本发明也可用于导弹中低空下的组合导航中。除可见光景象匹配外,本发明同样适于红外景象匹配等其他形式的景象匹配中。
发明内容
为解决现有技术中的上述缺陷,本发明提出一种无人机景象匹配辅助导航方法及系统,用于实现精确的定位与导航。所述的方法利用机载视觉传感器在飞行过程中采集的实时景象图与预先制备的基准景象图进行实时匹配计算以获得精确定位信息。该方法还可用于修正其他机载导航设备的导航误差,并可作为一种备份导航手段。
本发明提出应用基于内容的图像检索方法进行无人机景象匹配导航的景象匹配区选择,很好的解决了图像区域适配性问题。所述的适配性问题是指通过对指定景象区域的匹配定位性能进行评估、分析,从而确定该区域是否可作为合适的景象匹配区,保证飞行过程中机载传感器获取的实测图与基准图进行成功匹配。本发明应用基于分层k均值聚类法的词汇树模型进行图像检索,可以选出最佳图像适配区域。由于检索时应用了局部特征描述图像,可以与之后的匹配过程无缝结合。采用的图像匹配算法可克服实时景象图与基准景象图之间存在的平移、旋转、尺度、视角、光照、扭曲等变化,实现高效准确的图像匹配。
本发明的实现步骤如下:
一种无人机景象匹配辅助导航方法,通过下列步骤来实现:
在无人机执行任务前,
获取基准图像并进行预处理:
对视觉传感器获取的基准图像进行灰度化处理得到灰度图像,并对灰度图像进行中值滤波,获得基准图像数据库;
提取灰度图像的图像特征:
检测基准图像数据库中灰度图像的兴趣点,利用兴趣点的邻域信息描述灰度图像,用局部信息和邻域信息的关系构造出具有旋转和尺度不变性的描述子,作为所述灰度图像的图像特征;
建立基准图词汇树模型:
提取基准图像数据库中所有灰度图像的图像特征,应用分层k均值聚类法量化所述图像特征,构建基准图词汇树;
在无人机执行任务时,
选择基准景象匹配区:
提取实测图像中的图像特征;从基准图词汇树的根节点开始到基准图词汇树的叶节点,将实测图像的图像特征与基准图词汇树的下一层的k个聚类中心比较,选择欧氏距离最近的聚类中心,进行相似度评分,构建基准景象匹配区;
实现景象匹配:
对实测图像和基准景象匹配区的图像进行匹配,应用最近邻搜索法进行特征点的匹配,通过比率测试比较特征点的最近邻和次近邻的距离对实测图像和基准景象匹配器进行匹配,实测图像与基准景象匹配器的匹配点;
应用几何一致性校验算法去除错误匹配点:
采用随机抽样一致性算法对通过比率测试的匹配点进行校验,并利用满足对极几何学约束的匹配点计算单应性矩阵;
修正导航误差:
利用获得的单应性矩阵计算无人机的位置信息,或将单应性矩阵与机载导航设备输出的高度和姿态信息相融合提高导航系统精度。
所述提取实测图像或基准图像特征的方法为:
通过SURF特征描述实测图像或基准图像,
使用Hessian矩阵行列式计算并搜索实测图像或基准图像中三维尺度空间极值得到具有旋转和尺度不变性的特征点;
对每个特征点周围的圆形区域定义一个特征方向,并根据特征点邻域内的灰度分布提取64维的描述子矢量,作为实测图像或基准图像的图像特征。
所述实现景象匹配的方法为:
对于实测图的描述子矢量q,将基准图中与q的欧氏距离最近的图像描述子矢量记为p1和p2,将矢量间的距离分别表示为:
d1=||q-p1||
d2=||q-p2||
其中d1≤d2,当满足d1/d2<r时,判定矢量q通过比率测试,其中0≤r≤1。
所述应用几何一致性校验算法对通过比率测试的匹配点进行校验的方法为:
采用RANSAC算法去除错误匹配点,确保两幅图像特征点的匹配能够满足物理可实现的变换;其中,RANSAC算法包括假设模型的生成和验证两个步骤。
一种应用于无人机景象匹配辅助导航的基准景象匹配区选择方法,其特征在于,通过下列步骤来实现:
在无人机执行任务前,提取基准图像数据库中所有基准图的图像特征,应用分层k均值聚类法构建基准图词汇树;
在无人机执行任务时,提取实测图像中的图像特征;从基准图词汇树的根节点开始到基准图词汇树的叶节点,将实测图像的图像特征与基准图词汇树的下一层的k个聚类中心比较,选择欧氏距离最近的聚类中心,进行相似度评分,并构建基准景象匹配区。
所述建立基准图词汇树的方法为:
对基准图的图像特征组成的集合进行基准图词汇树的无监督训练,将每个节点拥有的子节点个数定义聚类的分叉因子k;
采用k均值聚类方法将基准图的图像特征组成的集合分为k个描述子矢量组;
利用k均值聚类方法将描述子矢量组递归分为k个新的组,一层层决定树的结构,直到达到预定义的最大层数L。
所述选择基准景象匹配区的方法为:
将实测图的图像特征从基准图词汇树的根节点开始,与下一层的k个聚类中心比较,选取一个欧氏距离最近的聚类中心,层层向下传播,直到叶节点;同时使用一个整数来表示沿树向下传播的路径,采用TF-IDF模型进行图像的相似度评分;选择基准图数据库中与实测图相似性评分最高的图像作为景象匹配区。
一种无人机景象匹配辅助导航系统,包括:图像预处理模块、图像特征提取模块、基准图词汇树建立模块、景象匹配区选择模块、景象匹配模块、错误匹配去除模块、导航误差修正模块,其中:
图像预处理模块,用于对基准图像进行灰度化处理,对灰度图像进行应用中值滤波抑制图像噪声,获得基准图数据库;
图像特征提取模块,检测基准图像数据库中灰度图像的兴趣点,利用兴趣点的邻域信息描述灰度图像,用局部信息和邻域信息的关系构造出具有旋转和尺度不变性的描述子,作为所述灰度图像的图像特征;
基准图词汇树建立模块,在无人机执行任务前,提取基准图像数据库中所有灰度图像的图像特征,应用分层k均值聚类法量化所述图像特征,构建基准图词汇树;
景象匹配区选择模块,在无人机执行任务时,提取实测图像中的图像特征;从基准图词汇树的根节点开始到基准图词汇树的叶节点,将实测图像的图像特征与基准图词汇树的下一层的k个聚类中心比较,选择欧氏距离最近的聚类中心,进行相似度评分,构建基准景象匹配区;
景象匹配模块,在无人机执行任务时,对实测图像和基准景象匹配区的图像进行匹配,应用最近邻搜索法进行特征点的匹配,通过比率测试比较特征点的最近邻和次近邻的距离对实测图像和基准景象匹配器进行匹配,实测图像与基准景象匹配器的匹配点;
错误匹配去除模块,在无人机执行任务时,采用随机抽样一致性算法对通过比率测试的匹配点进行校验,并利用满足对极几何学约束的匹配点计算单应性矩阵;
导航误差修正模块,利用获得的单应性矩阵计算无人机的位置信息,或将单应性矩阵与机载导航设备输出的高度和姿态信息相融合提高导航系统精度。
本发明与现有技术相比具有如下优点:
(1)实时性高:采用高效的SURF特征进行特征点提取,提取时间约为金标准-SIFT算法的三分之一。对于640×480的图像,在包含一百万张图像的基准景象数据库中选择景象匹配区耗时约20毫秒。本方法的实时性能优于其他景象匹配方法。
(2)精度高:由于采用基于局部特征的图像匹配算法,通过线性插值精确定位特征点的x,y值以及尺度空间的精确坐标,达到亚像素精度,所得的匹配精度也为亚像素精度。
(3)低存储需求:采用词汇树进行图像表示,一百万张图像的数据库可存储在4GB的内存(RAM)中。
(4)适应性广:在单独应用时,只需要图像信息而不需要其他外部信息,理论上可在任何环境(包括水下、峡谷、地下、遮挡环境)中应用。在进行辅助导航时,可与其他机载导航设备输出的高度和姿态信息相融合,提高导航系统精度。
附图说明
图1为本发明一种无人机景象匹配辅助导航方法流程图;
图2为本发明一种无人机景象匹配辅助导航方法的步骤二中积分图方法示意图;
图3为本发明一种无人机景象匹配辅助导航方法的步骤二中方框滤波方法示意图;
图4为本发明一种无人机景象匹配辅助导航方法的步骤二中描述子提取示意图;
图5为本发明一种无人机景象匹配辅助导航方法的步骤三中分层k均值聚类法的空间分割图;
图6为本发明一种无人机景象匹配辅助导航系统流程图。
具体实施方式
下面结合附图对本发明的技术方案进行详细说明:
如图1和图6所示,分别为本发明的方法和系统模块流程图。在方法和模块中,分别包括相互对应的,获取基准图像并进行预处理的图像预处理模块、提取图像特征的图像特征提取模块、用于建立基准图词汇树的基准图词汇树建立模块、对景象匹配区进行选择的景象匹配区选择模块、用于实现景象匹配的景象匹配模块、去除错误匹配点的错误匹配去除模块和修正导航误差的导航误差修正模块。下面就分别就所述系统中模块的处理方法进行介绍。
1.获取图像并进行预处理:
对基准图和实测图进行预处理。针对无人机携带的视觉传感器不同,可获得的图像包括可见光图像和红外图像,其中红外图像为灰度图像。对原始的可见光图像进行灰度化处理:
Y=0.299R+0.596G+0.211B            (1)
将获取的彩色图像转化为灰度图像Y,式中R、G、B分别表示红、绿、蓝三种颜色分量。
接着对图像进行滤波处理,可将图像中的噪声近似为高斯白噪声,采用中值滤波进行滤波处理,对图像的噪声进行抑制。
2.提取图像的图像特征:
应用基于Hessian矩阵的尺度不变图像特征-SURF(Speeded Up RobustFeatures)特征对图像(实测图像或基准图像)进行描述。该特征的提取分为如下两个部分:
(1)检测兴趣点
SURF算法使用积分图(Integral images)进行计算,以提高图像特征的提取速度与匹配速度,如图2所示。通过搜索三维空间(x,y,σ)极值得到具有尺度不变的兴趣点。利用Hessian矩阵行列式的极值得到x,y方向的极值。对于灰度图像I(x)中的某个像素点X=(x,y),三维空间X=(x,y,σ)下的Hessian矩阵H(X,σ)可表示为:
H ( X , σ ) = L xx ( X , σ ) L xy ( X , σ ) L xy ( X , σ ) L yy ( X , σ ) - - - ( 2 )
其中Lxx(X,σ)是图像中像素点X=(x,y)与高斯二阶偏导
Figure BSA00000562818100082
的卷积,其中矩阵H(X,σ)中其他元素与其类似。
为了提高计算速度,采用9×9的方框滤波(box filters)近似二阶高斯滤波,与图像点做卷积得到图像函数的二阶偏导,如图3所示。其中二阶高斯导数的参数σ=1.2。使用Hessian矩阵行列式计算并搜索三维尺度空间的极值,从而找到兴趣点。
(2)提取描述子
SURF特征描述子的提取包括了两个步骤:第一步根据每个兴趣点周围的圆形区域定义一个特征方向,第二步根据兴趣点邻域内的灰度分布提取描述子。
首先计算x和y方向的Haar小波响应,计算的区域为以特征点为中心的圆形邻域,其半径为6s(s为当前尺度)。抽样步长设为s,小波的边长设为4s。以兴趣点为中心,角度为
Figure BSA00000562818100091
的扇形区域扫描整个圆形区域,计算扇形区域内Haar小波响应的向量和,选择值最大的向量为该兴趣点的主方向。
构建一个正方形区域,其中心为兴趣点,指向为兴趣点主方向,边长为20s。将这一区域分为4×4的正方形子区域,在每个子区域中,计算5×5抽样点的Haar小波响应。
接着计算每个子区域内x,y方向小波响应的和∑dx及∑dy。为了包含强度变化信息,同时提取了小波响应绝对值信息|dx|及|dy|的和。这样,每个子区域都可提取4维描述子矢量v=(∑dx,∑dy,∑|dx|,∑|dy|)。对于所有的4×4子区域,可提取出64维的描述子矢量,作为实测图像或基准图像的图像特征,如图4所示。
此处可使用不同的图像特征,如SIFT特征。SIFT特征是图像匹配中的金标准,但与SURF相比,运算量大,耗时约为SURF的3倍。也可应用不同的兴趣点检测算法,与SURF描述子相结合以提高效率。
3.建立词汇树模型
无人机执行任务前,提取基准图像数据库中所有基准图的图像特征并构建词汇树。采用分层k均值聚类法建立词汇树模型,如图5所示。首先使用大量描述子矢量组成的集合进行树的无监督训练,定义k为聚类的分叉因子,即每个节点拥有的子节点个数,采用k均值聚类算法将初始训练集分为k个聚类,接着将这一过程重复应用于每个描述子矢量组,将每个组递归分为k个新的组。这样一层层的决定树的结构,直到达到最大的层数L。
k均值聚类法是一种无监督实时聚类算法。该算法的工作流程如下:
(1)从n个描述子矢量中任意选择k个矢量作为初始聚类中心;
(2)对于其他矢量,根据它们到这些聚类中心的相似度(欧氏距离),分别将它们分配给与其最近的聚类;
(3)根据聚类均值计算新的聚类中心,聚类均值
Figure BSA00000562818100101
ni为属于聚类i的矢量个数,px为属于聚类i的矢量;
(4)如此循环,直到目标函数值满足终止条件,最终将数据分为k类。
采用误差平方和准则函数作为目标函数:
Figure BSA00000562818100102
其中xj为数据矢量,Si为xj所处的聚类,μi为聚类Si中点的平均值。
4.选择景象匹配区
无人机执行任务时,提取实测图的图像特征进行检索。将实测图的图像特征向量从词汇树的根节点开始,与下一层的k个聚类中心比较,选取一个欧氏距离最近的聚类中心,层层向下传播,直到叶节点。同时使用一个整数来表示沿树向下传播的路径,用于评分过程。
应用TF-IDF(Term Frequency Inverse Document Frequency)模型对图像的相似度进行评分。以下方法衡量实测图与基准图数据库中图像的相似度:给每个节点设定一个权值,然后对检索图像中经过同一节点的图像加上相应的分数。由于不同节点所含信息量不同,所以权值也有所不同。当两个向量接近叶节点时这两个向量更为相似,因而该节点的权值也较大,当接近于根节点时权值较小。将词汇树中节点i的权值根据信息熵设定为:
w i = ln N N i - - - ( 3 )
其中N为数据库中图像数,Ni为数据库中至少有一个描述子矢量通过节点i的图像数。接着根据这个权值定义待检索矢量和数据库矢量:
qi=niwi                    (4)
di=miwi
其中ni,mi分别为待检索图像与数据库图像中通过节点i的描述子矢量个数。两幅图像描述子矢量间的相似性评分为:
s ( q , d ) = | | q | | q | | - d | | d | | | | = | | q - d | | - - - ( 5 )
使用L2范数计算归一化后的差异,L2范数计算方法为:
| | q - d | | 2 = 2 - 2 Σ i | q i ≠ 0 , d i ≠ 0 q i d i - - - ( 6 )
选择与实测图相似性评分最高的基准图数据库中图像作为景象匹配区。
5.实现景象匹配
应用最近邻搜索法实现景象的匹配。对于实测图的描述子矢量q,将基准图中的特征与q的欧氏距离最近与次近的图像描述子矢量记为p1和p2,将矢量间的距离分别表示为:
d1=||q-p1||
(7)
d2=||q-p2||
其中d1≤d2。当以下条件满足时,判定矢量q通过比率测试:
d1/d2<r
(8)
其中0≤r≤1。由以上定义可知,通过比率测试的描述子矢量比其他描述子矢量更具有区别性。
6.应用几何一致性校验算法去除错误匹配点
采用随机抽样一致性算法(random sample consensus,RANSAC)进行几何一致性校验。RANSAC方法是计算机视觉领域常用算法,对错误率超过50%的数据仍能鲁棒处理。
匹配点集合中的数据可以分为两类:内点(inliers)和外点(outliers)。内点指可以被模型描述的数据,外点指不满足误差要求的错误点。由于外点的存在,将会影响正确估计模型,因而需用鲁棒的方法去除异常数据,这里的模型指图像变换的单应性矩阵。使用RANSAC来确保两幅图像特征点的匹配能够满足物理可实现的变换,将不符合几何变换模型的特征点作为外点消除掉。
RANSAC算法的具体步骤为:
(1)在匹配点集合S中随机选择一个包含s个数据点的抽样集,使用这个子集实例化模型;
(2)在这个模型的距离阈值t范围内确定数据点集合Si,集合Si是抽样的一致集,定义了S的内点。
(3)如果Si的大小(内点的数量)大于阈值T,使用Si中所有数据重新估计模型,并终止计算;
(4)如果Si的大小小于阈值T,选择一个新的子集并且重复以上步骤;
(5)进行N次试验后,可以选出最大一致性集合Si,接着采用子集Si中的所有数据点重新估计模型。
7.修正导航误差
可通过步骤六中解算出的单应性矩阵计算无人机的高精度位置信息,也可以将其与机载导航设备输出的高度和姿态信息相融合,提高导航系统精度。
无人机在某个区域获得的基准图和实测图可视为无人机机载摄像机对同一平面的两次观测,其对应的单应性矩阵与无人机机载摄像机之间的运动关系可由以下方程求出:
H=A×R1×(I一ωt1nT)×A-1            (9)
其中,H是实测图和基准图之间的单应性矩阵;A是摄像机的内参数矩阵;R1是两次观测的摄像机坐标之间的旋转矩阵;ω=1/z0,z0是第一次观测时摄像机镜头面与观测平面之间的距离;t1是两次观测的摄像机坐标之间的位置转换矩阵;n是摄像机第一次观测时,摄像机坐标下与观测平面之间的归一化矢量参数。可见,当H、A、ω已知时,可以通过奇异值分解求出R1和t1,从而得到两次观测摄像机的相对运动关系。同时,若求解出R1和t1,第二次观测时摄像机与观测平面之间的距离也可由以下方程求出:
z 1 = z 0 - t 1 T n - - - ( 10 )
摄像机的内参数矩阵A可近似认为一次标定后不再变化。z0可通过获取基准图的过程中,应用机载高度传感器(如气压高度表)进行测量获得。可见,在获得所述的单应性矩阵后,即可获得无人机相对基准图的运动关系,进而求出高精度位置信息。此外,可将其与机载导航设备输出的高度和姿态信息融合,用于提高导航系统精度。
以上通过优选实施例描述了本发明,应当理解的是,除本发明明确记载的以外,本领域技术人员能够预测的修改、替代也被认为落在本发明的保护范围以内。

Claims (5)

1.一种无人机景象匹配辅助导航方法,其特征在于,该方法通过下列步骤来实现:
在无人机执行任务前,
获取基准图像并进行预处理:
对视觉传感器获取的基准图像进行灰度化处理得到灰度图像,并对灰度图像进行中值滤波,获得基准图像数据库;
提取灰度图像的图像特征:
检测基准图像数据库中灰度图像的兴趣点,利用兴趣点的邻域信息描述灰度图像,用局部信息和邻域信息的关系构造出具有旋转和尺度不变性的描述子,作为所述灰度图像的图像特征;
建立基准图词汇树模型:
提取基准图像数据库中所有灰度图像的图像特征,应用分层k均值聚类法量化所述图像特征,构建基准图词汇树;
在无人机执行任务时,
选择基准景象匹配区:
提取实测图像中的图像特征;从基准图词汇树的根节点开始到基准图词汇树的叶节点,将实测图像的图像特征与基准图词汇树的下一层的k个聚类中心比较,选择欧氏距离最近的聚类中心,进行相似度评分,构建基准景象匹配区;
实现景象匹配:
对实测图像和基准景象匹配区的图像进行匹配,应用最近邻搜索法进行特征点的匹配,通过比率测试比较特征点的最近邻和次近邻的距离对实测图像和基准景象匹配器进行匹配,实测图像与基准景象匹配器的匹配点;
应用几何一致性校验算法去除错误匹配点:
采用随机抽样一致性算法对通过比率测试的匹配点进行校验,并利用满足对极几何学约束的匹配点计算单应性矩阵;
修正导航误差:
利用获得的单应性矩阵计算无人机的位置信息,或将单应性矩阵与机载导航设备输出的高度和姿态信息相融合提高导航系统精度;
所述提取实测图像或基准图像特征的方法为:
通过SURF特征描述实测图像或基准图像,
使用Hessian矩阵行列式计算并搜索实测图像或基准图像中三维尺度空间极值得到具有旋转和尺度不变性的特征点;
对每个特征点周围的圆形区域定义一个特征方向,并根据特征点邻域内的灰度分布提取64维的描述子矢量,作为实测图像或基准图像的图像特征;
所述实现景象匹配的方法为:
对于实测图的描述子矢量q,将基准图中与q的欧氏距离最近的图像描述子矢量记为p1和p2,将矢量间的距离分别表示为:
d1=||q-p1||
d2=||q-p2||
其中d1≤d2,当满足d1/d2<r时,判定矢量q通过比率测试,其中0≤r≤1;
所述应用几何一致性校验算法对通过比率测试的匹配点进行校验的方法为:
采用RANSAC算法去除错误匹配点,确保两幅图像特征点的匹配能够满足物理可实现的变换;其中,RANSAC算法包括假设模型的生成和验证两个步骤。
2.一种应用于如权利要求1所述的无人机景象匹配辅助导航方法的基准景象匹配区选择方法,其特征在于,通过下列步骤来实现:
在无人机执行任务前,提取基准图像数据库中所有基准图的图像特征,应用分层k均值聚类法构建基准图词汇树;
在无人机执行任务时,提取实测图像中的图像特征;从基准图词汇树的根节点开始到基准图词汇树的叶节点,将实测图像的图像特征与基准图词汇树的下一层的k个聚类中心比较,选择欧氏距离最近的聚类中心,进行相似度评分,并构建基准景象匹配区。
3.根据权利要求2所述的基准景象匹配区选择方法,其特征在于,所述建立基准图词汇树的方法为:
对基准图的图像特征组成的集合进行基准图词汇树的无监督训练,将每个节点拥有的子节点个数定义聚类的分叉因子k;
采用k均值聚类方法将基准图的图像特征组成的集合分为k个描述子矢量组;
利用k均值聚类方法将描述子矢量组递归分为k个新的组,一层层决定树的结构,直到达到预定义的最大层数L。
4.根据权利要求2所述的基准景象匹配区选择方法,其特征在于,所述选择基准景象匹配区的方法为:
将实测图的图像特征从基准图词汇树的根节点开始,与下一层的k个聚类中心比较,选取一个欧氏距离最近的聚类中心,层层向下传播,直到叶节点;同时使用一个整数来表示沿树向下传播的路径,采用TF-IDF模型进行图像的相似度评分;选择基准图数据库中与实测图相似性评分最高的图像作为景象匹配区。
5.一种无人机景象匹配辅助导航系统,其特征在于包括:图像预处理模块、图像特征提取模块、基准图词汇树建立模块、景象匹配区选择模块、景象匹配模块、错误匹配去除模块、导航误差修正模块,其中:
图像预处理模块,用于对基准图像进行灰度化处理,对灰度图像进行应用中值滤波抑制图像噪声,获得基准图数据库;
图像特征提取模块,检测基准图像数据库中灰度图像的兴趣点,利用兴趣点的邻域信息描述灰度图像,用局部信息和邻域信息的关系构造出具有旋转和尺度不变性的描述子,作为所述灰度图像的图像特征;
基准图词汇树建立模块,在无人机执行任务前,提取基准图像数据库中所有灰度图像的图像特征,应用分层k均值聚类法量化所述图像特征,构建基准图词汇树;
景象匹配区选择模块,在无人机执行任务时,提取实测图像中的图像特征;从基准图词汇树的根节点开始到基准图词汇树的叶节点,将实测图像的图像特征与基准图词汇树的下一层的k个聚类中心比较,选择欧氏距离最近的聚类中心,进行相似度评分,构建基准景象匹配区;
景象匹配模块,在无人机执行任务时,对实测图像和基准景象匹配区的图像进行匹配,应用最近邻搜索法进行特征点的匹配,通过比率测试比较特征点的最近邻和次近邻的距离对实测图像和基准景象匹配器进行匹配,实测图像与基准景象匹配器的匹配点;
错误匹配去除模块,在无人机执行任务时,采用随机抽样一致性算法对通过比率测试的匹配点进行校验,并利用满足对极几何学约束的匹配点计算单应性矩阵;
导航误差修正模块,利用获得的单应性矩阵计算无人机的位置信息,或将单应性矩阵与机载导航设备输出的高度和姿态信息相融合提高导航系统精度。
CN201110246861.4A 2011-08-25 2011-08-25 一种无人机景象匹配辅助导航方法及系统 Active CN102426019B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110246861.4A CN102426019B (zh) 2011-08-25 2011-08-25 一种无人机景象匹配辅助导航方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110246861.4A CN102426019B (zh) 2011-08-25 2011-08-25 一种无人机景象匹配辅助导航方法及系统

Publications (2)

Publication Number Publication Date
CN102426019A CN102426019A (zh) 2012-04-25
CN102426019B true CN102426019B (zh) 2014-07-02

Family

ID=45960025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110246861.4A Active CN102426019B (zh) 2011-08-25 2011-08-25 一种无人机景象匹配辅助导航方法及系统

Country Status (1)

Country Link
CN (1) CN102426019B (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102778684B (zh) * 2012-07-16 2014-02-12 西安电子科技大学 基于fpga的嵌入式单目被动目标跟踪定位系统及方法
CN102853835B (zh) * 2012-08-15 2014-12-31 西北工业大学 基于尺度不变特征变换的无人飞行器景象匹配定位方法
CN103810494B (zh) * 2012-11-14 2017-02-08 中国科学院沈阳自动化研究所 基于线状目标的高压输电塔定位方法
CN103196430B (zh) * 2013-04-27 2015-12-09 清华大学 基于无人机的飞行轨迹与视觉信息的映射导航方法及系统
CN103389074A (zh) * 2013-07-18 2013-11-13 河南科技大学 一种多尺度景象匹配区的选取方法
US9053365B2 (en) * 2013-09-16 2015-06-09 EyeVerify, Inc. Template update for biometric authentication
CN103679674B (zh) * 2013-11-29 2017-01-11 航天恒星科技有限公司 一种无人飞行器实时图像拼接方法及系统
CN103822635B (zh) * 2014-03-05 2016-12-07 北京航空航天大学 基于视觉信息的无人机飞行中空间位置实时计算方法
CN103852077B (zh) * 2014-03-19 2017-01-11 北京航空航天大学 链路失效时无人机定位信息防欺骗自主判断方法
CN112904892A (zh) 2014-10-31 2021-06-04 深圳市大疆创新科技有限公司 用于利用视觉标记进行监视的系统和方法
CN104457758B (zh) * 2014-12-19 2017-04-12 哈尔滨工业大学 基于视频采集的Visual Map数据库建立方法及利用该数据库的室内视觉定位方法
CN106325305B (zh) * 2015-06-29 2020-03-20 优利科技有限公司 对地定位或导航用相机、飞行器及其导航方法和系统
EP3276374A4 (en) 2015-06-29 2018-03-28 Yuneec Technology Co., Limited Aircraft and obstacle avoidance method and system thereof
CN105021190B (zh) * 2015-06-30 2018-01-09 中国兵器工业计算机应用技术研究所 反卫星导航欺诈的方法以及基于该方法的无人系统
CN105447853B (zh) * 2015-11-13 2018-07-13 深圳市道通智能航空技术有限公司 飞行装置、飞行控制系统及方法
CN105825517B (zh) * 2016-03-31 2018-09-07 湖北航天技术研究院总体设计所 一种导航高度误差的图像修正方法及系统
US11017610B2 (en) * 2016-05-18 2021-05-25 Google Llc System and method for fault detection and recovery for concurrent odometry and mapping
US10802147B2 (en) 2016-05-18 2020-10-13 Google Llc System and method for concurrent odometry and mapping
CN107543539B (zh) * 2016-06-29 2021-06-01 联芯科技有限公司 一种无人机的位置信息获取方法及无人机
CN106127180A (zh) * 2016-06-30 2016-11-16 广东电网有限责任公司电力科学研究院 一种机器人辅助定位方法及装置
CN106844726B (zh) * 2017-02-10 2020-11-10 成都弥知科技有限公司 一种基于词汇树检索与暴力匹配的图像识别方法
CN106844725A (zh) * 2017-02-10 2017-06-13 深圳前海大造科技有限公司 一种云端图像数据库生成及识别方法
CN106874445A (zh) * 2017-02-10 2017-06-20 深圳前海大造科技有限公司 基于词汇树检索与相似度验证的云端图像识别方法
CN107065929A (zh) * 2017-05-05 2017-08-18 成都通甲优博科技有限责任公司 一种无人机环绕飞行方法及系统
CN107270904B (zh) * 2017-06-23 2020-07-03 西北工业大学 基于图像配准的无人机辅助引导控制系统及方法
CN107345814A (zh) * 2017-07-11 2017-11-14 海安中科智能制造与信息感知应用研发中心 一种移动机器人视觉定位系统及定位方法
CN107491073B (zh) * 2017-09-05 2021-04-02 百度在线网络技术(北京)有限公司 无人驾驶车辆的数据训练方法和装置
CN107498559B (zh) * 2017-09-26 2020-12-29 珠海市一微半导体有限公司 基于视觉的机器人转向的检测方法和芯片
CN109238547A (zh) * 2018-08-28 2019-01-18 西北工业大学 一种飞机机载设备监测数据的边缘填充方法
CN109410330A (zh) * 2018-11-12 2019-03-01 中国十七冶集团有限公司 一种基于bim技术无人机航拍建模方法
CN109583484B (zh) * 2018-11-14 2022-04-05 西北工业大学 一种三类海域地标点自动选取方法
CN111220156B (zh) * 2018-11-25 2023-06-23 星际空间(天津)科技发展有限公司 一种基于城市实景的导航方法
CN109581441B (zh) * 2018-12-18 2019-11-08 武汉大学 基于站间相关性空间结构函数构建的gnss成像方法
CN109858361B (zh) * 2018-12-28 2023-04-18 南京航空航天大学 基于街景图像匹配重复结构建筑的定位方法
CN110458175B (zh) * 2019-07-08 2023-04-07 中国地质大学(武汉) 一种基于词汇树检索的无人机影像匹配对选择方法及系统
CN111256696B (zh) * 2020-02-24 2021-11-26 武汉大学 多特征多层次景象匹配的飞行器自主导航方法
CN114265427B (zh) * 2021-12-06 2024-02-02 江苏方天电力技术有限公司 一种基于红外图像匹配的巡检无人机辅助导航系统及方法
CN114264911B (zh) * 2022-03-03 2022-05-20 成都市克莱微波科技有限公司 一种功率放大器可靠性测试方法及测试系统
CN116434092B (zh) * 2023-06-14 2023-09-26 天之翼(苏州)科技有限公司 基于无人机航测的图像信息分析方法及ai服务器

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7705881B2 (en) * 2003-08-22 2010-04-27 Nippon Telegraph And Telepone Corporation Video quality assessing apparatus, video quality assessing method, and video quality assessing program
CN101464149B (zh) * 2008-12-31 2011-08-24 武汉大学 Pos辅助航空影像匹配方法
CN101915571B (zh) * 2010-07-20 2011-08-10 桂林理工大学 基于相位相关的影像匹配初始视差的全自动获取方法

Also Published As

Publication number Publication date
CN102426019A (zh) 2012-04-25

Similar Documents

Publication Publication Date Title
CN102426019B (zh) 一种无人机景象匹配辅助导航方法及系统
KR102338270B1 (ko) 전자 지도를 업데이트하기 위한 방법, 장치 및 컴퓨터 판독 가능한 저장 매체
CN113359810B (zh) 一种基于多传感器的无人机着陆区域识别方法
CN103679674B (zh) 一种无人飞行器实时图像拼接方法及系统
CN111862126B (zh) 深度学习与几何算法结合的非合作目标相对位姿估计方法
CN111693047B (zh) 一种高动态场景下的微小型无人机视觉导航方法
CN102435188B (zh) 一种用于室内环境的单目视觉/惯性全自主导航方法
CN103954283B (zh) 基于景象匹配/视觉里程的惯性组合导航方法
Cesetti et al. A vision-based guidance system for UAV navigation and safe landing using natural landmarks
CN106767791A (zh) 一种采用基于粒子群优化的ckf的惯性/视觉组合导航方法
CN106295613A (zh) 一种无人机目标定位方法及系统
CN109596121A (zh) 一种机动站自动目标检测与空间定位方法
CN112305559A (zh) 基于地面定点激光雷达扫描的输电线距离测量方法、装置、系统和电子设备
CN111862200B (zh) 一种煤棚内无人机定位方法
Jiang et al. Learned local features for structure from motion of uav images: A comparative evaluation
US10445611B1 (en) Method for detecting pseudo-3D bounding box to be used for military purpose, smart phone or virtual driving based-on CNN capable of converting modes according to conditions of objects and device using the same
CN110927765B (zh) 激光雷达与卫星导航融合的目标在线定位方法
CN114556425A (zh) 定位的方法、设备、无人机和存储介质
KR102130687B1 (ko) 다중 센서 플랫폼 간 정보 융합을 위한 시스템
Tsintotas et al. Visual place recognition for simultaneous localization and mapping
CN109117852B (zh) 基于稀疏表示的无人机图像适配区自动提取方法及系统
Curro et al. Automated aerial refueling position estimation using a scanning LiDAR
CN104679011A (zh) 基于稳定分支特征点的图像匹配导航方法
Bai et al. Application of unmanned aerial vehicle multi-vision image 3D modeling in geological disasters
Serrano et al. YOLO-Based Terrain Classification for UAV Safe Landing Zone Detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant