CN117253029A - 基于深度学习的图像匹配定位方法及计算机设备 - Google Patents

基于深度学习的图像匹配定位方法及计算机设备 Download PDF

Info

Publication number
CN117253029A
CN117253029A CN202311153275.4A CN202311153275A CN117253029A CN 117253029 A CN117253029 A CN 117253029A CN 202311153275 A CN202311153275 A CN 202311153275A CN 117253029 A CN117253029 A CN 117253029A
Authority
CN
China
Prior art keywords
image
layer
coordinates
aerial
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311153275.4A
Other languages
English (en)
Other versions
CN117253029B (zh
Inventor
尚克军
赵亮
明丽
赵宇飞
焦浩
李至
王大元
李茜茜
张伟建
王洪枫
魏永树
刘崇亮
徐策
扈光锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Automation Control Equipment Institute BACEI
Original Assignee
Beijing Automation Control Equipment Institute BACEI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Automation Control Equipment Institute BACEI filed Critical Beijing Automation Control Equipment Institute BACEI
Priority to CN202311153275.4A priority Critical patent/CN117253029B/zh
Publication of CN117253029A publication Critical patent/CN117253029A/zh
Application granted granted Critical
Publication of CN117253029B publication Critical patent/CN117253029B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于深度学习的图像匹配定位方法及计算机设备，该定位方法包括：步骤一、基于捕获的无人机姿态信息对无人机航拍帧间图像进行正射矫正以转换为正射图像，并统一帧间图像的尺度；步骤二、将卫星地图库中的图像和步骤一所得图像共同作为网络输入，通过ResPoint残差点网络提取二者的关键点和描述子；步骤三、根据步骤二所得结果计算相应单应矩阵；步骤四、根据所述单应矩阵计算出航拍图像中心像素坐标对应的位置信息。本发明解决了传统图像匹配算法视觉定位精度低、鲁棒性较差的问题。

Description

基于深度学习的图像匹配定位方法及计算机设备
技术领域
本发明属于无人机定位技术领域，涉及一种基于深度学习的图像匹配定位方法及计算机设备。
背景技术
图像匹配是计算机视觉领域中重要的研究热点，广泛应用于航空航天、卫星测绘、图像检索、三维重建、目标跟踪等多个场合。在军事领域中，图像匹配是一种导弹末端制导技术，因此可以将其应用于无人机视觉定位当中。
将无人机拍摄的航拍图像与编码位置信息的卫星地图进行匹配，可得到航拍图像中心对应的位置信息，从而计算无人机的定位信息。其中，图像匹配算法提取的特征直接决定着无人机的定位精度。然而，传统图像匹配算法存在视觉定位精度低、鲁棒性较差的问题。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此，本发明提供了一种基于深度学习的图像匹配定位方法及计算机设备。
本发明的技术解决方案如下：
根据一方面，提供一种基于深度学习的图像匹配定位方法，该定位方法包括：
步骤一、基于捕获的无人机姿态信息对无人机航拍图像进行正射矫正以转换为正射图像，并统一航拍图像的尺度；
步骤二、将卫星地图库中的图像和步骤一所得图像共同作为网络输入，通过ResPoint残差点网络提取二者的关键点和描述子；
步骤三、根据步骤二所得结果计算相应单应矩阵；
步骤四、根据所述单应矩阵计算出航拍图像中心像素坐标对应的位置信息。
进一步地，步骤一中，将转换矩阵H乘以无人机拍摄的航拍图像坐标即得到正射图像，其中，转换矩阵H通过下式获得：
其中：
f为摄像机焦距，d为摄像机像元尺寸，[cx,cy]T是图像的主点；θ为俯仰角；γ为横滚角；为航向角。
进一步地，通过下述方式统一航拍图像的尺度：
将矩阵F乘以正射图像以统一航拍图像的尺度，其中，矩阵F通过下式获得：
其中，d为像元尺寸，f为相机焦距，h为无人机相对于地面的相对高度。
进一步地，所述ResPoint网络包括依次级联的两层卷积层、三层残差模块、一个卷积层、三个Inception模块和一个卷积结构，所述ResPoint网络还包括两个解码分支模块，分别与卷积结构连通，分别用于解码描述子和关键点。
进一步地，所述步骤二具体包括：
通过两层卷积层将图像编码为深度特征并输出至三层残差模块；
通过三层残差模块将深度特征传递到网络深层，其中，残差模块的第一层根据输入结果将浅层特征直接传入深层，第二和第三层对上一层的特征进行下采样，将特征信息编码到深度通道中；
通过一个卷积层根据三层残差模块的输入结果获取网络浅层的重要特征并输出结果至三个Inception模块；
通过三个Inception模块学习浅层特征和深度特征的多尺度信息，将不同尺度的深度特征进行融合并输出特征至一个卷积结构；
通过一个卷积结构进行下采样，将尺度特征编码到深度通道中；
最后通过两个分支分别解码关键点和描述子。
进一步地，步骤三中，采用RANSAC算法根据步骤二所得结果计算相应单应矩阵。
进一步地，所述根据所述单应矩阵计算出航拍图像中心像素坐标对应的位置信息，包括：
根据所述单应矩阵计算航拍图像主点在卫星地图上的映射坐标；
根据所述映射坐标解算航拍图像中心像素坐标对应的位置信息。
进一步地，通过下式根据所述单应矩阵计算航拍图像主点在卫星地图上的映射坐标：
其中，表示单应矩阵，ps表示航拍图像主点在卫星地图上的映射坐标，wd和hd为无人机航拍图像的宽和高。
进一步地，通过下式根据所述映射坐标解算航拍图像中心像素坐标对应的位置信息：
其中，为航拍图像主点对应的导航坐标，ws和hs分别是卫星地图的宽和高，hA是无人机航拍图像拍摄时刻的气压高，由卫星地图已知左上角的经纬度坐标(Lon0,Lat0)和右下角的经纬度坐标(Lon1,Lat1)。
根据另一方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
上述技术方案提出利用激光测距传感器和惯导捕获飞行高度和姿态信息的方式，解决航拍图像和卫星地图间尺度和旋转不一致问题，通过惯性/激光测距/图像信息的融合，实现航拍图像和卫星地图的尺度与旋转统一；其次通过构建ResPoint网络用来直接学习图像的关键点和描述子，解决传统算法定位精度低和鲁棒性差的问题；最后提出一种基于深度学习的图像匹配定位方法，采用RANSAC算法剔除误匹配对，获得图像间的单应关系，将航拍图像中心像素坐标转换为经纬度坐标，实现高精度的视觉定位。
附图说明
所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施例，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例像素坐标系；
图2是本发明实施例坐标系示意图；
(a)侧视图，(b)俯视图；
图3本发明实施例正射矫正示意图；
(a)拍摄图像、(b)正射图像；
图4是本发明实施例基于深度学习的图像匹配定位方法整体算法框架；
图5是本发明实施例ResPoint网络结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
如图4所示，在本发明的一个实施例中，提供一种基于深度学习的图像匹配定位方法，该定位方法包括：
步骤一、基于捕获的无人机姿态信息对无人机航拍图像进行正射矫正以转换为正射图像，并统一航拍图像的尺度；
步骤二、将卫星地图库中的图像和步骤一所得图像共同作为网络输入，通过ResPoint残差点网络提取二者的关键点和描述子；
步骤三、根据步骤二所得结果计算相应单应矩阵；
步骤四、根据所述单应矩阵计算出航拍图像中心像素坐标对应的位置信息。
也即，航拍图像与卫星地图之间存在着旋转和尺度变化，且这种差异较大，会降低匹配算法的匹配率，因此，本发明实施例将无人机航拍图像转化为正射图像，在此基础上进行图像匹配，提高匹配率。在此基础上，本发明通过ResPoint网络能够提取图像中旋转不变性和尺度不变性强的显著特征，并RANSAC筛选符合匹配约束的特征点，进而获取图像间的单应关系。
在上述实施例中，为了准确得到正射图像，步骤一中，将转换矩阵H乘以无人机低空拍摄的航拍图像坐标(即转换矩阵右乘拍摄的实时图像)即得到正射图像，其中，转换矩阵H通过下式获得：
其中：
f为摄像机焦距，d为摄像机像元尺寸，[cx,cy]T是图像的主点；θ为俯仰角；γ为横滚角；为航向角。
具体来说，对本实施例坐标系进行如下定义：
如图1-2所示，像素坐标系(u-v系)；图像的左上角为坐标原点Ou-v，u轴为水平向右，v为垂直向下。如图1所示：摄像机坐标系(c系)：以摄像机中心为坐标原点oc；xc轴平行于像素坐标系的横轴，向右为正；yc轴平行于像素坐标系的纵轴，向下为正；摄像机中心到图像平面的垂线称为摄像机的zc轴，并与xc轴和yc轴构成右手坐标系。
正射摄像机坐标系(系)：假设空中存在一个正射摄像机，该摄像机生成的图像不需经过校正即为正射图像，可知/>坐标系的三轴分别指向东、南、地。
惯导坐标系(b系)：惯导安装在无人机载体质心处，惯导坐标系与载体坐标系重合。坐标系原点Ob为惯导质心，Xb轴沿载体纵轴方向，向前为正；Yb轴与Xb轴垂直，向上为正；Zb沿载体横轴方向，向右为正。
地理坐标系(n系)：坐标系原点On取为无人机质心，Xn轴指东，Yn轴指北，Zn轴指天。
正射图像生成：
本发明实施例为增强拼接效果和精度，这里对无人机拍摄的航拍图像进行预处理，对图像进行正射矫正，统一航拍图像与卫星地图间的旋转关系。
根据针孔摄像机模型，空间点P从世界坐标系中的齐次坐标投影到图像坐标系中的齐次坐标/>的过程可以描述为
其中
公式中u与v分别为三维空间点P在像素坐标系中的列坐标值与行坐标值，Zc为该点在摄像机坐标系中的坐标的z分量，f为摄像机焦距，d为摄像机像元尺寸，[cx,cy]T是图像的主点。是一个旋转矩阵，描述了从世界坐标系向摄像机坐标系的旋转过程。/>是从世界坐标系向摄像机坐标系转换的平移向量。
假设有两个内参完全一致的摄像机，分别记作c与这两个摄像机在同一地点对地面成像，其中/>生成的图像为正射图像。根据针孔摄像机成像模型，世界坐标系中的空间点P在两个摄像机中所成的图像坐标分别为
位置转换矩阵可表示如下
其中为两个摄像机之间的旋转矩阵，代入/>成像方程可得
即仅需要相机内参K与转换矩阵即可将航拍图像转换为正射图像。其中，/>由惯导解算的俯仰角θ、横滚角γ、航向角/>计算：
其中：
正射相机坐标系为东、南、地坐标系，而惯导坐标系为北、天、东，因此在上式中，对应轴向的航向角与横滚角取负值。
将拍摄的图像经过矩阵变换后，便可得到正射图像，如图3所示。
在上述实施例中，通过下述方式统一航拍图像的尺度：
将矩阵F乘以正射图像(矩阵H左乘F)以统一航拍图像的尺度，其中，矩阵F通过下式获得：
其中，d为像元尺寸，f为相机焦距，h为无人机相对于地面的相对高度。
也即，为了提高航拍图像与卫星地图的匹配率，需将航拍图像与卫星地图都统一到同一个尺度下，都缩放为米/像素。利用激光测距机测量无人机上的相机到初始地面的相对高度来统一航拍图像的尺度，其中缩放系数由上述公式给出。
在上述实施例中，如图5所示，为了能够更好地提取图像中旋转不变性和尺度不变性强的显著特征，所述ResPoint网络包括依次级联的两层卷积层、三层残差模块、一个卷积层、三个Inception模块和一个卷积结构，所述ResPoint网络还包括两个解码分支模块，分别与卷积结构连通，分别用于解码描述子和关键点。
也即，所述步骤二具体包括：
通过两层卷积层将图像编码为深度特征并输出至三层残差模块；
通过三层残差模块将深度特征传递到网络深层，其中，残差模块的第一层根据输入结果将浅层特征直接传入深层，第二和第三层对上一层的特征进行下采样，将特征信息编码到深度通道中；
通过一个卷积层根据三层残差模块的输入结果获取网络浅层的重要特征并输出结果至三个Inception模块；
通过三个Inception模块学习浅层特征和深度特征的多尺度信息，将不同尺度的深度特征进行融合并输出结构至一个卷积结构；
通过一个卷积结构进行下采样，将尺度特征编码到深度通道中；
最后通过两个分支分别解码关键点和描述子。
具体来说，本发明实施例ResPoint网络先通过两层卷积层将图像编码为深度特征，再通过三层残差模块将深度特征传递到网络深层，其中残差模块的第一层将浅层特征直接传入深层，第二和第三层对上一层的特征进行下采样，将特征信息编码到深度通道中，再通过一个卷积层获取网络浅层的重要特征，接着通过三个Inception模块学习浅层特征和深度特征的多尺度信息，将不同尺度的深度特征进行融合，接着通过一个卷积结构进行下采样，将尺度特征编码到深度通道中，最后通过两个分支分别解码关键点和描述子。
较佳地，解码关键点分支有两个卷积层，最后一个卷积层的宽高为原图尺寸1/8，但深度通道为65，再通过softmax和reshape得到与原图尺寸一致的关键点置信度热图。
较佳地，解码描述子分支同样有两个卷积层，最后一个卷积层将深度通道编码为描述子的维度，默认为256，通过interpolate模块上采样和L2正则化，最终得到宽高与原图尺寸一致，但深度为256的描述子特征空间。
可见，本发明实施例关键点和描述子是通过网络训练过程直接学习到的，网络会学习图像中显著的角点和边缘点信息，图像的某个像素存在关键点的可能性越大，网络输出的关键点热图的置信度越接近于1；描述子是在确定关键点后，通过关键点附近的描述子信息进行“双三次插值”得到。通过该网络可实现端到端的提取图像中的特征，即关键点和描述子，为后续RANSAC筛选和图像匹配奠定基础。
根据本发明一种实施例，步骤三中，采用RANSAC算法根据步骤二所得结果计算相应单应矩阵。
具体来说，本发明实施例通过RANSAC算法删除错误特征点对，增强匹配精度。RANSAC算法主要步骤如下：
(1)随机选取四对特征点对计算单应矩阵。
(2)通过单应矩阵将第二帧图像的特征点坐标映射到第一帧图像的坐标空间。
(3)计算映射后的特征点对之间的距离，若距离小于某一阈值，则该特征点对为内点。
(4)迭代n次后，内点数量最多的集合为最终的特征点匹配对，并计算对应的单应矩阵。
在上述实施例中，所述根据所述单应矩阵计算出航拍图像中心像素坐标对应的位置信息，包括：
根据所述单应矩阵计算航拍图像主点在卫星地图上的映射坐标；
根据所述映射坐标解算航拍图像中心像素坐标对应的位置信息。
其中，通过下式根据所述单应矩阵计算航拍图像主点在卫星地图上的映射坐标：
其中，表示单应矩阵，ps表示航拍图像主点在卫星地图上的映射坐标，wd和hd为无人机航拍图像的宽和高。
通过下式根据所述映射坐标解算航拍图像中心像素坐标对应的位置信息：
其中，为航拍图像主点对应的导航坐标，ws和hs分别是卫星地图的宽和高，hA是无人机航拍图像拍摄时刻的气压高，由卫星地图已知左上角的经纬度坐标(Lon0,Lat0)和右下角的经纬度坐标(Lon1,Lat1)。
具体来说，基于航拍正射图像与卫星地图的匹配关系通过RANSAC算法计算得出两幅图像间的单应矩阵通过下述公式计算航拍图像主点在卫星地图上的映射坐标ps
其中，表示航拍图像映射到卫星地图的单应矩阵，pcenter表示航拍图像的主点，表示航拍图像映射到正射图像的单应矩阵，即正射矩阵H，wd和hd为无人机航拍图像的宽和高。
由于卫星地图已知左上角的经纬度坐标(Lon0,Lat0)和右下角的经纬度坐标(Lon1,Lat1)，通过下述公式计算得到航拍图像主点对应的导航坐标(导航坐标系是n系，定义为“东北天”坐标系，符合右手定则)：
其中，ws和hs是卫星地图的宽和高，hA是无人机航拍图像拍摄时刻的气压高。
根据另一实施例，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
综上，本发明针对GPS拒止条件下，传统图像匹配算法视觉定位精度低、鲁棒性较差的问题，开展基于深度学习的图像匹配定位技术研究。首先提出利用激光测距传感器和惯导捕获飞行高度和姿态信息的方式，解决航拍图像和卫星地图间尺度和旋转不一致问题，通过惯性/激光测距/图像信息的融合，实现航拍图像和卫星地图的尺度与旋转统一；其次通过构建ResPoint网络用来直接学习图像的关键点和描述子，解决传统算法定位精度低和鲁棒性差的问题；最后提出一种基于深度学习的图像匹配定位方法，采用RANSAC算法剔除误匹配对，获得图像间的单应关系，将航拍图像中心像素坐标转换为经纬度坐标，实现高精度的视觉定位。
如上针对一种实施例描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施例中使用，和/或与其它实施例中的特征相结合或替代其它实施例中的特征使用。
应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤、组件或其组合的存在或附加。
本发明以上的方法可以由硬件实现，也可以由硬件结合软件实现。本发明涉及这样的计算机可读程序，当该程序被逻辑部件所执行时，能够使该逻辑部件实现上文所述的装置或构成部件，或使该逻辑部件实现上文所述的各种方法或步骤。本发明还涉及用于存储以上程序的存储介质，如硬盘、磁盘、光盘、DVD、flash存储器等。
这些实施例的许多特征和优点根据该详细描述是清楚的，因此所附权利要求旨在覆盖这些实施例的落入其真实精神和范围内的所有这些特征和优点。此外，由于本领域的技术人员容易想到很多修改和改变，因此不是要将本发明的实施例限于所例示和描述的精确结构和操作，而是可以涵盖落入其范围内的所有合适修改和等同物。
本发明未详细说明部分为本领域技术人员公知技术。

Claims (10)

1.一种基于深度学习的图像匹配定位方法，其特征在于，所述定位方法包括：
步骤一、基于捕获的无人机姿态信息对无人机航拍图像进行正射矫正以转换为正射图像，并统一航拍图像的尺度；
步骤二、将卫星地图库中的图像和步骤一所得图像共同作为网络输入，通过ResPoint残差点网络提取二者的关键点和描述子；
步骤三、根据步骤二所得结果计算相应单应矩阵；
步骤四、根据所述单应矩阵计算出航拍图像中心像素坐标对应的位置信息。
2.根据权利要求1所述的一种基于深度学习的图像匹配定位方法，其特征在于，步骤一中，将转换矩阵H乘以无人机拍摄的航拍图像坐标即得到正射图像，其中，转换矩阵H通过下式获得：
其中：
f为摄像机焦距，d为摄像机像元尺寸，[cx,cy]T是图像的主点；θ为俯仰角；γ为横滚角；为航向角。
3.根据权利要求2所述的一种基于深度学习的图像匹配定位方法，其特征在于，通过下述方式统一航拍图像的尺度：
将矩阵F乘以正射图像以统一航拍图像的尺度，其中，矩阵F通过下式获得：
其中，d为像元尺寸，f为相机焦距，h为无人机相对于地面的相对高度。
4.根据权利要求1-3之一所述的一种基于深度学习的图像匹配定位方法，其特征在于，所述ResPoint网络包括依次级联的两层卷积层、三层残差模块、一个卷积层、三个Inception模块和一个卷积结构，所述ResPoint网络还包括两个解码分支模块，分别与卷积结构连通，分别用于解码描述子和关键点。
5.根据权利要求4所述的一种基于深度学习的图像匹配定位方法，其特征在于，所述步骤二具体包括：
通过两层卷积层将图像编码为深度特征并输出至三层残差模块；
通过三层残差模块将深度特征传递到网络深层，其中，残差模块的第一层根据输入结果将浅层特征直接传入深层，第二和第三层对上一层的特征进行下采样，将特征信息编码到深度通道中；
通过一个卷积层根据三层残差模块的输入结果获取网络浅层的重要特征并输出结果至三个Inception模块；
通过三个Inception模块学习浅层特征和深度特征的多尺度信息，将不同尺度的深度特征进行融合并输出特征至一个卷积结构；
通过一个卷积结构进行下采样，将尺度特征编码到深度通道中；
最后通过两个分支分别解码关键点和描述子。
6.根据权利要求1所述的一种基于深度学习的图像匹配定位方法，其特征在于，步骤三中，采用RANSAC算法根据步骤二所得结果计算相应单应矩阵。
7.根据权利要求5或6所述的一种基于深度学习的图像匹配定位方法，其特征在于，所述根据所述单应矩阵计算出航拍图像中心像素坐标对应的位置信息，包括：
根据所述单应矩阵计算航拍图像主点在卫星地图上的映射坐标；
根据所述映射坐标解算航拍图像中心像素坐标对应的位置信息。
8.根据权利要求7所述的一种基于深度学习的图像匹配定位方法，其特征在于，通过下式根据所述单应矩阵计算航拍图像主点在卫星地图上的映射坐标：
其中，表示单应矩阵，ps表示航拍图像主点在卫星地图上的映射坐标，，wd和hd为无人机航拍图像的宽和高。
9.根据权利要求8所述的一种基于深度学习的图像匹配定位方法，其特征在于，通过下式根据所述映射坐标解算航拍图像中心像素坐标对应的位置信息：
其中，为航拍图像主点对应的导航坐标，ws和hs分别是卫星地图的宽和高，hA是无人机航拍图像拍摄时刻的气压高，由卫星地图已知左上角的经纬度坐标(Lon0,Lat0)和右下角的经纬度坐标(Lon1,Lat1)。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-9所述的方法。
CN202311153275.4A 2023-09-07 2023-09-07 基于深度学习的图像匹配定位方法及计算机设备 Active CN117253029B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311153275.4A CN117253029B (zh) 2023-09-07 2023-09-07 基于深度学习的图像匹配定位方法及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311153275.4A CN117253029B (zh) 2023-09-07 2023-09-07 基于深度学习的图像匹配定位方法及计算机设备

Publications (2)

Publication Number Publication Date
CN117253029A true CN117253029A (zh) 2023-12-19
CN117253029B CN117253029B (zh) 2024-07-09

Family

ID=89127247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311153275.4A Active CN117253029B (zh) 2023-09-07 2023-09-07 基于深度学习的图像匹配定位方法及计算机设备

Country Status (1)

Country Link
CN (1) CN117253029B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117876723A (zh) * 2024-03-11 2024-04-12 湖南大学 一种拒止环境下无人机航拍图像全局检索定位方法
CN118053010A (zh) * 2024-04-15 2024-05-17 湖南大学 拒止环境下基于无人机图像和卫星地图的景象匹配方法
CN118196498A (zh) * 2024-03-20 2024-06-14 北京自动化控制设备研究所 基于深度学习的视觉导航品质因子分类方法及计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190051704A (ko) * 2017-11-07 2019-05-15 공간정보기술 주식회사 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
WO2021000225A1 (zh) * 2019-07-01 2021-01-07 深圳市大疆创新科技有限公司 可移动平台的控制方法、装置、设备及存储介质
CN112419374A (zh) * 2020-11-11 2021-02-26 北京航空航天大学 一种基于图像配准的无人机定位方法
CN115993616A (zh) * 2022-12-07 2023-04-21 武汉大学 一种基于异源影像匹配的无人机快速地理定位方法及装置
CN116109949A (zh) * 2022-12-16 2023-05-12 清华大学 无人机全局定位方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190051704A (ko) * 2017-11-07 2019-05-15 공간정보기술 주식회사 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
WO2021000225A1 (zh) * 2019-07-01 2021-01-07 深圳市大疆创新科技有限公司 可移动平台的控制方法、装置、设备及存储介质
CN112419374A (zh) * 2020-11-11 2021-02-26 北京航空航天大学 一种基于图像配准的无人机定位方法
CN115993616A (zh) * 2022-12-07 2023-04-21 武汉大学 一种基于异源影像匹配的无人机快速地理定位方法及装置
CN116109949A (zh) * 2022-12-16 2023-05-12 清华大学 无人机全局定位方法、装置、电子设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117876723A (zh) * 2024-03-11 2024-04-12 湖南大学 一种拒止环境下无人机航拍图像全局检索定位方法
CN117876723B (zh) * 2024-03-11 2024-05-31 湖南大学 一种拒止环境下无人机航拍图像全局检索定位方法
CN118196498A (zh) * 2024-03-20 2024-06-14 北京自动化控制设备研究所 基于深度学习的视觉导航品质因子分类方法及计算机设备
CN118053010A (zh) * 2024-04-15 2024-05-17 湖南大学 拒止环境下基于无人机图像和卫星地图的景象匹配方法

Also Published As

Publication number Publication date
CN117253029B (zh) 2024-07-09

Similar Documents

Publication Publication Date Title
CN108534782B (zh) 一种基于双目视觉系统的地标地图车辆即时定位方法
CN117253029B (zh) 基于深度学习的图像匹配定位方法及计算机设备
JP4685313B2 (ja) 任意の局面の受動的な体積画像の処理方法
CN102435188B (zh) 一种用于室内环境的单目视觉/惯性全自主导航方法
CN108801274B (zh) 一种融合双目视觉和差分卫星定位的地标地图生成方法
CN109708649B (zh) 一种遥感卫星的姿态确定方法及系统
CN104748728B (zh) 智能机姿态矩阵计算方法及其应用于摄影测量的方法
CN113850126A (zh) 一种基于无人机的目标检测和三维定位方法和系统
CN107560603B (zh) 一种无人机倾斜摄影测量系统及测量方法
CN113222820B (zh) 一种位姿信息辅助的航空遥感图像拼接方法
CN108917753B (zh) 基于从运动恢复结构的飞行器位置确定方法
CN111815765B (zh) 一种基于异构数据融合的图像三维重建方法
CN115423863B (zh) 相机位姿估计方法、装置及计算机可读存储介质
CN117036666B (zh) 基于帧间图像拼接的无人机低空定位方法
KR102249381B1 (ko) 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법
CN112785686A (zh) 一种基于大数据的林区地图构建方法及可读存储介质
Zhao et al. Digital Elevation Model‐Assisted Aerial Triangulation Method On An Unmanned Aerial Vehicle Sweeping Camera System
CN117073669A (zh) 一种飞行器定位方法
CN111964665A (zh) 基于车载环视图像的智能车定位方法、系统及存储介质
Wang et al. Automated mosaicking of UAV images based on SFM method
CN114199250B (zh) 一种基于卷积神经网络的景象匹配导航方法及装置
CN116309821A (zh) 一种基于异源图像配准的无人机定位方法
CN115993616A (zh) 一种基于异源影像匹配的无人机快速地理定位方法及装置
CN118348554B (zh) 水面无人艇绝对定位方法、设备及存储介质
CN111561949B (zh) 机载激光雷达和高光谱成像仪一体机的坐标匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant