CN113239936A - 一种基于深度学习与特征点提取的无人机视觉导航方法 - Google Patents

一种基于深度学习与特征点提取的无人机视觉导航方法 Download PDF

Info

Publication number
CN113239936A
CN113239936A CN202110463827.6A CN202110463827A CN113239936A CN 113239936 A CN113239936 A CN 113239936A CN 202110463827 A CN202110463827 A CN 202110463827A CN 113239936 A CN113239936 A CN 113239936A
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
coordinate system
motion
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110463827.6A
Other languages
English (en)
Inventor
童博涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202110463827.6A priority Critical patent/CN113239936A/zh
Publication of CN113239936A publication Critical patent/CN113239936A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Abstract

一种基于深度学习与特征点提取的无人机视觉导航方法，属于无人机导航领域。首先，获取飞行区域参考图像数据集，预处理后进行图像特征提取网络模型训练；其次，提取无人机飞行过程中某一时刻图像特征，计算与参考图像相似度，得到当前无人机位置；随后，提取飞行过程中一对关键帧的尺度不变特征，计算出无人机的运动方向；最后，根据提取的图像特征计算无人机的运动距离。本发明将图像中尺度不变特征点与基于深度学习模型的特征点提取相结合，该方法的精度较高，运行速度快，能够减少随飞行时间延长所导致的累积误差，工程上易于实现。

Description

一种基于深度学习与特征点提取的无人机视觉导航方法
技术领域
本发明属于无人机导航领域，涉及一种基于深度学习与特征点提取的无人机视觉导航方法。
背景技术
在有些场合中，要求无人机在卫星导航系统(如GPS、北斗等)受干扰或失效的情况下，具有自主飞行、侦察感知与精确定位等能力。惯性导航系统安装在运载体内，工作时不依赖外界信息，也不向外界辐射能量，不易受到干扰，在自主导航中不可或缺。然而，高精度的惯性导航系统往往重量重、体积大、造价昂贵。近年来，小型高精度惯性导航系统得到发展，但其造价也变得更加昂贵。受到成本或体积限制，在微小型无人机中，惯性导航系统的短时精度高；而随着时间的推移，定位误差会快速积累，造成精度下降。
景象匹配导航是一种基于图像处理的导航技术，该技术使用飞行器上传感器获取的实时图像与预存储的电子地图进行匹配以获得飞行器的当前位置，修正惯性导航系统中加速度计误差和陀螺飘移造成的累计误差，从而实现无人机的自主导航。然而，根据现有文献报道，绝大多数的图像匹配方法仍采用单一的特征(如角点特征或斑点特征)进行提取、描述和匹配，致使有些视觉导航系统出现连续的景象匹配失败(参见文献：赵春晖,周昳慧,林钊,胡劲文,潘泉.无人机景象匹配视觉导航技术综述[J].中国科学:信息科学,2019,49(05):507-519)。
发明内容
本发明要解决的技术问题是提供一种无人机的视觉导航方法，以实现误差小、精确度高、实时性好的无人机视觉辅助导航。
为了达到上述目的，本发明采用的技术方案为：
一种基于深度学习与特征点提取的无人机视觉导航方法，所述无人机视觉导航方法，首先获取参考图像数据集图像并训练图像特征提取模型；其次，将无人机在运动过程中得到图像序列的首帧，输入图像特征提取模型中，获得该时刻无人机位置；再次，提取图像序列首帧和末帧中的特征点，进行匹配得到多组特征点匹配对，计算无人机运动状态；最后，通过特征点匹配对计算出无人机运动距离。具体包括以下步骤：
步骤1：获取飞行区域参考图像数据集，并训练参考图像数据集以得到图像特征提取网络模型；具体：
步骤1.1：通过无人机拍摄或卫星航拍方式，获取不同位置的飞行区域图像，对其进行预处理以消除环境噪声干扰并扩展数据集，并将拍摄时的位置信息写入图像的exif数据中，得到参考图像数据集。所述预处理包括直方图均衡、随机旋转、滤波等操作。
步骤1.2：对步骤1.1中参考图像数据集进行训练，并基于卷积神经网络得到图像特征提取网络模型。所述训练过程为：将参考图像数据集中每张图片依次输入预训练网络ResNet50中，提取网络最后一层输出的卷积特征，保存参考图像数据集中每一张图像的特征得到图像特征提取网络模型。
步骤2：将无人机运动过程中得到图像序列的首帧，输入步骤1中得到的图像特征提取模型中，获得当前无人机位置；具体：
对于无人机实际飞行过程中的图像序列，首先，取该序列中第一张图片作为关键帧，输入到步骤1中预训练网络中，提取网络最后一层输出的卷积特征，以获得无人机在执行运动指令前的图像特征。之后，计算上述关键帧的图像特征与步骤1中得到的图像特征提取网络模型中各参考图像特征之间的余弦距离，选择距离最小的参考图作为最佳匹配参考图，提取其exif数据中的位置信息，作为当前位置[xloc yloc]。
步骤3：提取步骤2中图像序列首帧和末帧中的SURF特征点，进行匹配，计算得到无人机运动状态；具体：
首先设以相机光心为原点的三维系为相机坐标系，以NED坐标系为世界坐标系。
步骤3.1：分别提取图像序列首帧It1和末帧It2中的SURF特征点及其描述向量，对两张图片中的特征点描述向量进行匹配，以获得多组匹配特征点对。
步骤3.2：根据步骤3.1中得到的多组匹配特征点对，以及单目视觉下的对极几何约束关系，采用八点法求解机载无人机运动的本质矩阵E。其中本质矩阵E满足：
E＝t×R#(1)
其中t为三维向量，表示无人机的平移向量，R为3×3矩阵，表示无人机的旋转矩阵。
步骤3.3：根据步骤3.2中得到的本质矩阵E，根据下式，对其作奇异值分解操作得到相机坐标系下的无人机运动参数{R，t}：
E＝U∑VT#(2)
其中，E表示本质矩阵；U、VT为正交阵；奇异值矩阵∑＝diag(1，1，0)。
对于任意的E，对其作奇异值分解后得到以下四个结果，分别对应可能的{R，t}：
{R1，t1}＝{UWVT，+u}#(3.1)
{R2，t2}＝{UWVT，-u}#(3.2)
{R3，t3}＝{UWTVT，+u}#(3.3)
{R4，t4}＝{UWTVT，-u}#(3.4)
其中，R为无人机运动的旋转矩阵，R1，R2，R3，R4分别表示对E作奇异值分解后可能的旋转矩阵；t为无人机运动的平移向量，t1，t2，t3，t4分别表示对E作奇异值分解后可能的平移向量；u＝U(0，0，1)T；
Figure BDA0003039142160000031
对步骤3.1中任意特征点对(αi，bi)，使用上述所有可能的{R，t}结果，分别检测特征点αi和bi在相机坐标系下的深度，选择深度为正的参数作为无人机运动参数，其中点ai为图像序列首帧It1中的某一特征点，点bi为图像末帧It2中与点ai对应的特征点。
步骤3.4：根据步骤3.3得到的无人机运动参数{R，t}，设旋转矩阵
Figure BDA0003039142160000032
根据下式计算相机在世界坐标系下的旋转角：
Figure BDA0003039142160000033
Figure BDA0003039142160000041
Figure BDA0003039142160000042
其中θx、θy、θz分别为无人机在世界坐标系下沿x、y、z轴的旋转角，且满足
Figure BDA0003039142160000043
随后，设置阈值ε，检测上述沿x、y、z轴方向上的旋转角，若在某一方向上旋转角大于该阈值，则无人机沿该方向做旋转运动；若在所有方向上旋转角小于阈值则无人机做平移运动。
步骤4：根据步骤3中的特征点匹配对计算出无人机运动距离；具体：
若步骤3中无人机的运动状态为旋转运动，则认为无人机在执行该运动指令时在世界坐标系中的运动距离为0；若无人机运动状态为平移运动，则需要准确计算出在世界坐标系中的运动距离，具体步骤如下：
步骤4.1：设步骤3所述首帧和末帧中任意一对匹配的特征点为(ai，bi)，可根据下式，将特征点ai在步骤3所述相机坐标系中的坐标转换到世界坐标系下：
Figure BDA0003039142160000044
其中等式左边为特征点ai在相机坐标系下的坐标，等式右边
Figure BDA0003039142160000045
为特征点ai在世界坐标系下的坐标，旋转矩阵R和平移向量t代表从世界坐标系到相机坐标系之间点的映射关系。令等式左边为0，以该特征点ai作为相机坐标系的原点，
Figure BDA0003039142160000046
表示ai在世界坐标系中的坐标。对点bi做同上处理，将得到的世界坐标系下坐标
Figure BDA0003039142160000047
与点ai在该坐标系下的坐标相减，取x、y方向分量得到该特征点平移运动的方向向量：
Figure BDA0003039142160000048
使用所有匹配的特征点对重复以上计算过程，取均值得到无人机在水平方向经平移运动的方向向量[ux uy]T。
步骤4.2：由于步骤3中的本质矩阵E具有尺度等价性，所以分解得到的t在任何尺度下都是等价的，需要计算当前世界坐标系下的尺度因子，来确定运动的真实距离。基于针孔相机模型和三角形相似关系，对步骤3所述世界坐标系和相机坐标系中的点建立映射关系。取步骤3.1中任意特征点对(ai，bi)，设点ai在相机坐标系下坐标为(xai，yai)，在世界坐标系下坐标为(x′ai，y′ai)，设点bi在相机坐标系下坐标为(xbi，ybi)，在世界坐标系下坐标为(x′bi，y′bi)，将上述世界坐标系下的坐标相减，得到点ai经平移运动的尺度因子为：
[exi eyi]＝[x′bi-x′ai y′bi-y′ai]#(7)
将步骤3.1中所有特征点对重复以上计算过程，取均值得到无人机平移运动的尺度因子为：
Figure BDA0003039142160000051
步骤4.3：将步骤4.1中得到的平移运动的方向向量和步骤4.2中得到的尺度因子相乘，得到执行运动指令前后无人机在水平方向平移的距离为：
[dx dy]＝[uxex uyey]#(9)
则无人机当前位置为：
[x′loc y′loc]＝[xloc+uxex yloc+uyey]#(10)
本发明具有如下有益效果：
(1)本发明提供的一种基于深度学习和特征点提取的无人机视觉导航方法，将图像中尺度不变特征点与基于深度学习模型的特征点提取相结合，能够提高图像匹配精度；
(2)本发明提供的一种基于深度学习和特征点提取的无人机视觉导航方法，充分利用了飞行图像序列关键帧之间的信息差，能够减少随飞行时间延长所导致的累积误差；
(3)本发明提供的一种基于深度学习和特征点提取的无人机视觉导航方法，基于针孔相机模型和对极几何约束关系，具有较低的计算成本和较好的实时性，工程上易于实现。
附图说明
图1是本发明的导航方法工作流程示意图。
图2是本发明中无人机运动状态计算流程示意图。
图3是本发明中使用的针孔相机模型示意图。
图4是本发明实施例在AirSim无人机仿真环境下的拼接地图。
图5是本发明实施例在AirSim无人机仿真环境下的上位机绘制飞行轨迹图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本发明提出一种基于深度学习和特征点提取的无人机视觉导航方法，用于无人机飞行过程中的定位，整体流程如图1所示，具体包括以下步骤：
步骤1：获取飞行区域参考图像数据集，并训练参考图像数据集以得到图像特征提取网络模型；具体：
步骤1.1：通过无人机拍摄或卫星航拍方式，获取不同位置的飞行区域图像，对其进行预处理以消除环境噪声干扰并扩展数据集，并将拍摄时的位置信息写入图像的exif数据中，得到参考图像数据集。所述预处理包括直方图均衡、随机旋转、滤波等操作。
步骤1.2：对步骤1.1中参考图像数据集进行训练，并基于卷积神经网络得到图像特征提取网络模型。所述训练过程为：将参考图像数据集中每张图片依次输入在ImageNet数据集上预训练网络ResNet50中，提取网络最后一层输出的卷积特征，保存参考图像数据集中每一张图像的特征得到图像特征提取网络模型(参见文献：Kaiming He,XiangyuZhang,Shaoqing Ren,Jian Sun.Deep Residual Learning for Image Recognition[C].Proceedings of the IEEE Conference on Computer Vision and PatternRecognition(CVPR),2016,pp.770-778)。
步骤2：将无人机运动过程中得到图像序列的首帧，输入步骤1中得到的图像特征提取模型中，获取当前无人机位置；具体：
对于无人机实际飞行过程中的图像序列，首先，取该序列中第一张图片作为关键帧，输入到步骤1中预训练网络中，提取网络最后一层输出的卷积特征，以获得无人机在执行运动指令前的图像特征。之后，计算上述关键帧图像特征与步骤1中得到的图像特征提取网络模型中各参考图像特征之间的余弦距离，选择距离最小的参考图作为最佳匹配参考图，提取其exif数据中的位置信息，作为当前位置[xloc yloc]。
步骤3：如图2所示，首先提取步骤2中图像序列首帧和末帧的SURF特征点，对两帧中的特征点进行匹配，得到多组匹配特征点对；其次，求解无人机运动的本质矩阵E；其次，计算无人机的运动参数{R，t}；最后，计算无人机在相机坐标系下的旋转角，通过设置阈值判断无人机运动状态；具体：
如图3所示，设以相机光心为原点的三维系为相机坐标系，以NED坐标系为世界坐标系；相机焦距为f；图像拍摄高度为h；R为无人机运动的旋转矩阵；t为无人机运动的平移向量；
Figure BDA0003039142160000071
为特征点ai在相机坐标系中的坐标。
步骤3.1：分别提取图像序列首帧It1和末帧It2中的SURF特征点及其描述向量(参见文献：Bay H，Ess A，Tuytelaars T，et al.Speeded-up robust features(SURF)[J].Computer vision and image understanding，2008，110(3)：346-359.)。使用暴力匹配的方法对两张图片中的特征点描述向量进行匹配，筛选前10％匹配比率最高的特征点对作为匹配结果。
步骤3.2：根据步骤3.1中得到的多组匹配特征点对，以及单目视觉下的对极几何约束关系，采用八点法求解机载无人机运动的本质矩阵E，其中本质矩阵E满足：
E＝t×R#(1)
其中t为三维向量，表示无人机的平移向量，R为3×3矩阵，表示无人机的旋转矩阵。
由于特征点对一般多于8组，因此在采用八点法求解时，使用随机采样一致性(RANSAC)剔除部分可能产生误匹配的特征点。
步骤3.3：根据步骤3.2中得到的本质矩阵E，根据下式，对其作奇异值分解操作得到无人机在相机坐标系下的运动参数：
E＝U∑VT#(2)
其中，E表示本质矩阵；U、VT为正交阵；奇异值矩阵∑＝diag(1，1，0)。
对于任意的E，有以下四个结果，分别对应可能的R、t：
{R1，t1}＝{UWVT，+u}#(3.1)
{R2，t2}＝{UWVT，-u}#(3.2)
{R3，t3}＝{UWTVT，+u}#(3.3)
{R4，t4}＝{UWTVT，-u}#(3.4)
其中，R为无人机运动的旋转矩阵，R1，R2，R3，R4分别表示对E作奇异值分解后可能的旋转矩阵；t为无人机运动的平移向量，t1，t2，t3，t4分别表示对E作奇异值分解后可能的平移向量；u＝U(0，0，1)T；
Figure BDA0003039142160000081
对步骤3.1中任意特征点对(αi，bi)，使用上述所有可能的{R，t}结果，分别检测特征点ai和bi在相机坐标系下的深度，选择深度为正的参数作为无人机运动参数，其中点ai为图像序列首帧It1中的某一特征点，点bi为图像末帧It2中与点ai对应的特征点。
步骤3.4：根据步骤3.3得到的无人机运动参数{R，t}，设旋转矩阵
Figure BDA0003039142160000082
根据下式计算无人机在相机坐标系下的旋转角：
Figure BDA0003039142160000083
Figure BDA0003039142160000084
Figure BDA0003039142160000085
其中θx、θy、θz分别为无人机在世界坐标系下沿x、y、z轴的旋转角，且满足
Figure BDA0003039142160000086
随后，设置阈值ε，检测上述沿x、y、z轴方向上的旋转角，若在某一方向上旋转角大于该阈值，则无人机沿该方向做旋转运动；若在所有方向上旋转角小于阈值则无人机做平移运动。
步骤4：根据步骤3中的特征点匹配关系计算出无人机运动距离；具体：
若步骤3中无人机的运动状态为旋转运动，则认为无人机在执行该运动指令时在世界坐标系中的运动距离为0；若无人机运动状态为平移运动，则需要准确计算出在世界坐标系中的运动距离，具体步骤如下：
步骤4.1：设步骤3.1所述图像序列首帧和末帧中任意匹配特征点对为(ai，bi)，可根据下式，将特征点ai在步骤3所述相机坐标系中的坐标转换到世界坐标系下：
Figure BDA0003039142160000091
其中等式左边为特征点ai在相机坐标系下的坐标，等式右边
Figure BDA0003039142160000092
为特征点ai在世界坐标系下的坐标，旋转矩阵R和平移向量t代表从世界坐标系到相机坐标系之间点的映射关系。令等式左边为0，以该特征点作为相机坐标系的原点，
Figure BDA0003039142160000093
表示特征点ai在世界坐标系中的坐标。对点bi做同上处理，将得到的世界坐标系下坐标
Figure BDA0003039142160000094
与点ai在该坐标系下的坐标相减，取x、y方向分量得到该特征点平移运动的方向向量：
Figure BDA0003039142160000095
使用所有匹配特征点对重复以上计算过程，取均值得到无人机在水平方向经平移运动的方向向量[ux uy]T。
步骤4.2：由于步骤3中的本质矩阵E具有尺度等价性，所以分解得到的t在任何尺度下都是等价的，需要计算当前世界坐标系下的尺度因子，来确定运动的真实距离。使用如图3所示的针孔相机模型和三角形相似关系，对步骤3所述世界坐标系和相机坐标系中的点建立映射关系。取步骤3.1中任意匹配特征点对(ai，bi)，设点ai在相机坐标系下坐标为(xai，yai)，在世界坐标系下坐标为(x′ai，y′ai)，设点bi在相机坐标系下坐标为(xbi，ybi)，在世界坐标系下坐标为(x′bi，y′bi)，根据下式计算出点ai在世界坐标系下的坐标a′i(x′ai，y′ai)：
Figure BDA0003039142160000096
Figure BDA0003039142160000097
Figure BDA0003039142160000098
其中
Figure BDA0003039142160000101
为|O″ai|与x轴正方向的夹角。使用以上方法同理可得特征点bi(xbi，ybi)在世界坐标系下的坐标b′i(x′bi，y′bi)，该特征点对(ai，bi)平移运动的尺度因子为：
[exi eyi]＝[x′bi-x′ai y′bi-y′ai]#(8)
将步骤3中所有特征点对重复以上计算过程，取均值得到无人机经平移运动的尺度因子为：
Figure BDA0003039142160000102
步骤4.3：将步骤4.1中得到的平移运动的方向向量和步骤4.2中得到的尺度因子相乘，得到执行运动指令前后无人机在水平方向平移的距离为：
[dx dy]＝[uxex uyey]#(10)
则无人机当前位置为：
[x′loc y′loc]＝[xloc+uxex yloc+uyey]#(11)
实施例：
在AirSim无人机仿真环境下拼接得到的全景地图如图4所示，使用本发明方法得到的飞行轨迹如图5所示，可见绘制的飞行路径点能较好地反映出无人机在执行运动指令时的运动方向及距离，在无法获取GPS定位信息的情况下能实现自主定位导航功能。
以上所述实施例仅表达本发明的实施方式，但并不能因此而理解为对本发明专利的范围的限制，应当指出，对于本领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些均属于本发明的保护范围。

Claims (3)

1.一种基于深度学习与特征点提取的无人机视觉导航方法，其特征在于，包括以下步骤：
步骤1：获取飞行区域参考图像数据集，并训练参考图像数据集以得到图像特征提取网络模型；具体：
步骤1.1：通过无人机拍摄或卫星航拍方式，获取不同位置的飞行区域图像，对其进行预处理以消除环境噪声干扰并扩展数据集，并将拍摄时的位置信息写入图像的exif数据中，得到参考图像数据集；
步骤1.2：对步骤1.1中参考图像数据集进行训练，并基于卷积神经网络得到图像特征提取网络模型；
步骤2：将无人机运动过程中得到图像序列的首帧，输入步骤1中得到的图像特征提取网络模型中，获得当前无人机位置；具体：
对于无人机实际飞行过程中的图像序列，首先，取该序列中第一张图片作为关键帧，输入到步骤1中预训练网络中，提取网络最后一层输出的卷积特征，以获得无人机在执行运动指令前的图像特征；之后，计算上述关键帧的图像特征与步骤1中得到的图像特征提取网络模型中各参考图像特征之间的余弦距离，选择距离最小的参考图像作为最佳匹配参考图像，提取其exif数据中的位置信息，作为当前位置[xloc，yloc]；
步骤3：提取步骤2中图像序列首帧和末帧中的SURF特征点，进行匹配，计算得到无人机运动状态；具体：
设以相机光心为原点的三维系为相机坐标系，以NED坐标系为世界坐标系；
步骤3.1：分别提取图像序列首帧和末帧中的SURF特征点及其描述向量，对两张图片中的特征点描述向量进行匹配，获得多组匹配特征点对；
步骤3.2：根据步骤3.1中得到的多组匹配特征点对，以及单目视觉下的对极几何约束关系，采用八点法求解机载无人机运动的本质矩阵E；其中本质矩阵E满足：
E＝t×R (1)
其中t为三维向量，表示相机的平移向量，R为3×3矩阵，表示相机的旋转矩阵；
步骤3.3：根据步骤3.2中得到的本质矩阵E，根据下式，对其作奇异值分解操作得到相机坐标系下的无人机运动参数{R，t}：
E＝U∑VT#(2)
其中，E表示本质矩阵；U、VT为正交阵；奇异值矩阵∑＝diag(1，1，0)；
对于任意的E，有以下四个结果，分别对应可能的{R，t}：
{R1，t1}＝{UWVT，+u}#(3.1)
{R2，t2}＝{UWVT，-u}#(3.2)
{R3，t3}＝{UWTVT，+u}#(3.3)
{R4，t4}＝{UWTVT，-u}#(3.4)
其中，R为无人机运动的旋转矩阵，R1，R2，R3，R4分别表示对E作奇异值分解后可能的旋转矩阵；t为无人机运动的平移向量，t1，t2，t3，t4分别表示对E作奇异值分解后可能的平移向量；u＝U(0，0，1)T；
Figure FDA0003039142150000021
对步骤3.1中任意特征点对(ai，bi)，使用上述所有可能的{R，t}结果，分别检测特征点ai和bi在相机坐标系下的深度，选择深度为正的参数作为无人机运动参数，其中点ai为图像序列首帧It1中的某一特征点，点bi为图像末帧It2中与点ai对应的特征点；
步骤3.4：根据步骤3.3得到的无人机运动参数{R，t}，设旋转矩阵
Figure FDA0003039142150000022
根据下式计算相机在世界坐标系下的旋转角：
Figure FDA0003039142150000023
Figure FDA0003039142150000024
Figure FDA0003039142150000025
其中θx、θy、θz分别为相机在世界坐标系下沿x、y、z轴的旋转角度，且满足
Figure FDA0003039142150000026
设置阈值ε，检测上述沿x、y、z轴方向上的旋转角，若在某一方向上旋转角大于该阈值，则无人机沿该方向做旋转运动；若在所有方向上旋转角小于阈值则无人机做平移运动；
步骤4：根据步骤3中的特征点匹配对计算出无人机运动距离；具体：
若步骤3中无人机的运动状态为旋转运动，则认为无人机在执行该运动指令时在世界坐标系中的运动距离为0；若无人机运动状态为平移运动，则需要准确计算出在世界坐标系中的运动距离，具体步骤如下：
步骤4.1：设步骤3所述首帧和末帧中任意一对匹配的特征点为(ai，bi)，可根据下式，将该特征点在步骤3所述相机坐标系中的坐标转换到世界坐标系下：
Figure FDA0003039142150000031
其中，等式左边为特征点ai在相机坐标系下的坐标，等式右边
Figure FDA0003039142150000032
为特征点ai在世界坐标系下的坐标，旋转矩阵R和平移向量t代表从世界坐标系到相机坐标系之间点的映射关系；
令等式左边为0，以该特征点ai作为相机坐标系的原点，
Figure FDA0003039142150000033
表示ai在世界坐标系中的坐标；对点bi做同上处理，将得到的世界坐标系下坐标
Figure FDA0003039142150000034
与点ai在该坐标系下的坐标相减，取x、y方向分量得到该特征点平移运动的方向向量：
Figure FDA0003039142150000035
使用所有匹配的特征点对重复以上计算过程，取均值得到无人机在水平方向经平移运动的方向向量[ux uy]T；
步骤4.2：由于步骤3中的本质矩阵E具有尺度等价性，所以分解得到的t在任何尺度下都是等价的，需要计算当前世界坐标系下的尺度因子，来确定运动的真实距离；基于针孔相机模型和三角形相似关系，对步骤3所述世界坐标系和相机坐标系中的点建立映射关系；取步骤3.1中任意特征点对(ai，bi)，设点ai在相机坐标系下坐标为(xai，yai)，在世界坐标系下坐标为(x′ai，y′ai)，设点bi在相机坐标系下坐标为(xbi，ybi)，在世界坐标系下坐标为(x′bi，y′bi)，将上述世界坐标系下的坐标相减，得到点ai经平移运动的尺度因子为：
[exi eyi]＝[x′bi-x′ai y′bi-y′ai]#(7)
将步骤3中所有特征点重复以上计算过程，取均值得到无人机平移运动的尺度因子为：
Figure FDA0003039142150000041
步骤4.3：将步骤4.1中得到的平移运动的方向向量和步骤4.2中得到的尺度因子相乘，得到执行运动指令前后无人机在水平方向平移的距离为：
[dx dy]＝[uxex uyey]#(9)
则无人机当前位置为：
[x′loc y′loc]＝[xloc+uxex yloc+uyey]#(10)。
2.根据权利要求1所述的一种基于深度学习与特征点提取的无人机视觉导航方法，其特征在于，所述步骤1.1中，预处理包括直方图均衡、随机旋转、滤波操作。
3.根据权利要求1所述的一种基于深度学习与特征点提取的无人机视觉导航方法，其特征在于，所述步骤1.2中训练过程为：将参考图像数据集中每张图片依次输入预训练网络ResNet50中，提取网络最后一层输出的卷积特征，保存参考图像数据集中每一张图像的特征得到图像特征提取网络模型。
CN202110463827.6A 2021-04-26 2021-04-26 一种基于深度学习与特征点提取的无人机视觉导航方法 Pending CN113239936A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110463827.6A CN113239936A (zh) 2021-04-26 2021-04-26 一种基于深度学习与特征点提取的无人机视觉导航方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110463827.6A CN113239936A (zh) 2021-04-26 2021-04-26 一种基于深度学习与特征点提取的无人机视觉导航方法

Publications (1)

Publication Number Publication Date
CN113239936A true CN113239936A (zh) 2021-08-10

Family

ID=77129567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110463827.6A Pending CN113239936A (zh) 2021-04-26 2021-04-26 一种基于深度学习与特征点提取的无人机视觉导航方法

Country Status (1)

Country Link
CN (1) CN113239936A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114859971A (zh) * 2022-05-07 2022-08-05 北京卓翼智能科技有限公司 用于风力涡轮机监测的智能无人机

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114859971A (zh) * 2022-05-07 2022-08-05 北京卓翼智能科技有限公司 用于风力涡轮机监测的智能无人机

Similar Documents

Publication Publication Date Title
CN108711166B (zh) 一种基于四旋翼无人机的单目相机尺度估计方法
CN110966991B (zh) 一种无控制点下的单幅无人机影像定位方法
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN103954283B (zh) 基于景象匹配/视觉里程的惯性组合导航方法
CN105021184B (zh) 一种用于移动平台下视觉着舰导航的位姿估计系统及方法
CN109029433A (zh) 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN106595659A (zh) 城市复杂环境下多无人机视觉slam的地图融合方法
CN111829532B (zh) 一种飞行器重定位系统和重定位方法
CN109214254B (zh) 一种确定机器人位移的方法及装置
CN114004977A (zh) 一种基于深度学习的航拍数据目标定位方法及系统
CN114693754A (zh) 一种基于单目视觉惯导融合的无人机自主定位方法与系统
Luo et al. Docking navigation method for UAV autonomous aerial refueling
CN117523461B (zh) 一种基于机载单目相机的运动目标跟踪与定位方法
CN113239936A (zh) 一种基于深度学习与特征点提取的无人机视觉导航方法
CN113295171A (zh) 一种基于单目视觉的旋转刚体航天器姿态估计方法
CN113129377A (zh) 一种三维激光雷达快速鲁棒slam方法和装置
Koizumi et al. Development of attitude sensor using deep learning
CN117073669A (zh) 一种飞行器定位方法
CN110634160A (zh) 二维图形中目标三维关键点提取模型构建及姿态识别方法
Zhang et al. An UAV navigation aided with computer vision
CN114638898A (zh) 一种小型飞行目标检测方法和装置
Yan et al. Horizontal velocity estimation via downward looking descent images for lunar landing
CN115131433A (zh) 一种非合作目标位姿的处理方法、装置及电子设备
CN114842224A (zh) 一种基于地理底图的单目无人机绝对视觉匹配定位方案
Yuan et al. A method of vision-based state estimation of an unmanned helicopter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination