CN117036666A - 基于帧间图像拼接的无人机低空定位方法 - Google Patents

基于帧间图像拼接的无人机低空定位方法 Download PDF

Info

Publication number
CN117036666A
CN117036666A CN202310708692.4A CN202310708692A CN117036666A CN 117036666 A CN117036666 A CN 117036666A CN 202310708692 A CN202310708692 A CN 202310708692A CN 117036666 A CN117036666 A CN 117036666A
Authority
CN
China
Prior art keywords
inter
image
aerial vehicle
unmanned aerial
spliced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310708692.4A
Other languages
English (en)
Other versions
CN117036666B (zh
Inventor
尚克军
赵亮
扈光锋
徐策
刘崇亮
明丽
李至
焦浩
王大元
李茜茜
张伟建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Automation Control Equipment Institute BACEI
Original Assignee
Beijing Automation Control Equipment Institute BACEI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Automation Control Equipment Institute BACEI filed Critical Beijing Automation Control Equipment Institute BACEI
Priority to CN202310708692.4A priority Critical patent/CN117036666B/zh
Publication of CN117036666A publication Critical patent/CN117036666A/zh
Application granted granted Critical
Publication of CN117036666B publication Critical patent/CN117036666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于帧间图像拼接的无人机低空定位方法，方法包括：步骤一、基于捕获的无人机姿态信息对无人机低空拍摄的帧间图像进行正射矫正以转换为正射图像，并统一帧间图像的尺度；步骤二、根据步骤一所得结果，进行帧间图像拼接，包括：2.1提取步骤一所得帧间图像的特征点，对特征点进行筛选以去除错误特征点，并计算得到待拼接图像对应的单应矩阵；2.2利用单应矩阵对相应待拼接图像进行处理，得到新的待拼接图像；2.3对新的待拼接图像进行对偶掩膜处理，得到掩膜矩阵，并基于掩膜矩阵将新的待拼接图像与拼接图像进行拼接；步骤三、利用步骤二所得拼接后的帧间图像进行无人机定位。解决了无人机低空视觉定位信息量少、定位精度差的问题。

Description

基于帧间图像拼接的无人机低空定位方法
技术领域
本发明属于无人机定位技术领域，涉及一种基于帧间图像拼接的无人机低空定位方法。
背景技术
目前无人机低空定位采用基于视觉技术的定位方法，然而，无人机低空拍摄的图像信息量不足，导致定位精度差。因此针对GPS拒止条件下，无人机低空视觉定位信息量少、定位精度差的问题，亟需开展新的无人机低空定位技术研究。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此，本发明提供了一种基于帧间图像拼接的无人机低空定位方法及计算机设备。
本发明的技术解决方案如下：
根据一方面，提供一种基于帧间图像拼接的无人机低空定位方法，该定位方法包括：
步骤一、基于捕获的无人机姿态信息对无人机低空拍摄的帧间图像进行正射矫正以转换为正射图像，并统一帧间图像的尺度；
步骤二、根据步骤一所得结果，进行帧间图像拼接，包括：
2.1提取步骤一所得帧间图像的特征点，对特征点进行筛选以去除错误特征点，并计算得到待拼接图像对应的单应矩阵；
2.2利用单应矩阵对相应待拼接图像进行处理，得到新的待拼接图像；
2.3对所述新的待拼接图像进行对偶掩膜处理，得到掩膜矩阵，并基于所述掩膜矩阵将新的待拼接图像与拼接图像进行拼接；
步骤三、利用步骤二所得拼接后的帧间图像进行无人机定位。
进一步地，步骤一中，将转换矩阵H乘以无人机低空拍摄的帧间图像坐标即得到正射图像，其中，转换矩阵H通过下式获得：
其中：
f为摄像机焦距，d为摄像机像元尺寸，[cx,cy]T是图像的主点；θ为俯仰角；γ为横滚角；为航向角。
进一步地，通过下述方式统一帧间图像的尺度：
将矩阵F乘以正射图像以统一帧间图像的尺度，其中，矩阵F通过下式获得：
其中，d为像元尺寸，f为相机焦距，h为无人机相对于地面的相对高度。
进一步地，步骤2.2中，将单应矩阵与对应待拼接图像相乘即得新的待拼接图像。
进一步地，通过下述方式对所述新的待拼接图像进行对偶掩膜处理，得到掩膜矩阵：
将新的待拼接图像的有效区域置1，无效区域置0，即得到掩膜矩阵mask，其中，无效区域指新的待拼接图像的黑色区域。
进一步地，通过下式基于掩膜矩阵将新的待拼接图像与拼接图像进行拼接：
待拼接区域＝mask*新的待拼接图像+～mask*拼接图像
其中，～mask为掩膜矩阵取反。
进一步地，依次通过KNN算法和RANSAC算法对特征点进行筛选以去除错误特征点，并计算得到待拼接图像对应的单应矩阵。
进一步地，所述步骤三具体包括：
利用拼接后的帧间图像获取对应卫星地图；
根据拼接后的帧间图像的最后一帧图像中心点与所述卫星地图计算出拼接后的帧间图像的匹配位置；
根据无人机与相机间的坐标关系以及所述匹配位置信息，再将匹配位置转换为定位位置，完成无人机定位。
进一步地，通过下式获取定位位置：
其中，
匹配位置信息为
为无人机质心A点处姿态阵的逆矩阵/>hA为A点处的高度；
Re为地球长半轴半径，e为第一偏心率，/>为A2点处的经度，/>为A2点处的纬度。
根据另一方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
上述技术方案提出基于帧间图像拼接的无人机定位策略，并首先提出利用捕获的飞行高度和姿态信息的方式获取正射图像，在正射图像基础上进行帧间图像拼接，能够解决帧间图像尺度和旋转不一致问题，通过惯性/激光测距/图像信息的融合，实现帧间图像的尺度与旋转统一，同时通过基于特征的图像掩膜处理拼接技术扩大航拍图像视野，大大提升帧间图像拼接精度；其次，提出一种基于帧间图像拼接的匹配定位方法，能够精确推算无人机的定位信息。
附图说明
所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施例，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例像素坐标系；
图2是本发明实施例坐标系示意图；
(a)侧视图，(b)俯视图；
图3本发明实施例正射矫正示意图；
(a)拍摄图像、(b)正射图像；
图4是本发明实施例帧间图像拼接整体算法框架；
图5是本发明实施例特征提取示意图；
图6本发明实施例RANSAC精匹配示意图；
图7本发明实施例多帧图像拼接示意图；
图8本发明实施例定位示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
在本发明的一个实施例中，根据一方面，提供一种基于帧间图像拼接的无人机低空定位方法，该定位方法包括：
步骤一、基于捕获的无人机姿态信息对无人机低空拍摄的帧间图像进行正射矫正以转换为正射图像，并统一帧间图像的尺度；
步骤二、根据步骤一所得结果，进行帧间图像拼接，包括：
2.1提取步骤一所得帧间图像的特征点，对特征点进行筛选以去除错误特征点，并计算得到待拼接图像对应的单应矩阵；
2.2利用单应矩阵对相应待拼接图像进行处理，得到新的待拼接图像；
2.3对所述新的待拼接图像进行对偶掩膜处理，得到掩膜矩阵，并基于所述掩膜矩阵将新的待拼接图像与拼接图像进行拼接；
步骤三、利用步骤二所得拼接后的帧间图像进行无人机定位。
也即，本发明实施例针对GPS拒止条件下，无人机低空视觉定位信息量少、定位精度差的问题，提出了基于帧间图像拼接的无人机定位技术，并且本发明进行帧间图像拼接时所采用的是正射图像，在此基础上进行图像拼接扩大航拍图像视野，提高了定位精度。
应用上述配置方式，提出基于帧间图像拼接的无人机定位策略，并首先提出利用捕获的飞行高度和姿态信息的方式获取正射图像，在正射图像基础上进行帧间图像拼接，能够解决帧间图像尺度和旋转不一致问题，通过惯性/激光测距/图像信息的融合，实现帧间图像的尺度与旋转统一，同时通过基于特征的图像掩膜处理拼接技术扩大航拍图像视野，大大提升帧间图像拼接精度；其次，提出一种基于帧间图像拼接的匹配定位方法，能够精确推算无人机的定位信息。
在上述实施例中，为了准确得到正射图像，步骤一中，将转换矩阵H乘以无人机低空拍摄的帧间图像坐标(即转换矩阵右乘拍摄的实时图像)即得到正射图像，其中，转换矩阵H通过下式获得：
其中：
f为摄像机焦距，d为摄像机像元尺寸，[cx,cy]T是图像的主点；θ为俯仰角；γ为横滚角；为航向角。
具体来说，对本实施例坐标系进行如下定义：
如图1-2所示，像素坐标系(u-v系)；图像的左上角为坐标原点Ou-v，u轴为水平向右，v为垂直向下。如图1所示：摄像机坐标系(c系)：以摄像机中心为坐标原点oc；xc轴平行于像素坐标系的横轴，向右为正；yc轴平行于像素坐标系的纵轴，向下为正；摄像机中心到图像平面的垂线称为摄像机的zc轴，并与xc轴和yc轴构成右手坐标系。
正射摄像机坐标系(系)：假设空中存在一个正射摄像机，该摄像机生成的图像不需经过校正即为正射图像，可知/>坐标系的三轴分别指向东、南、地。
惯导坐标系(b系)：惯导安装在无人机载体质心处，惯导坐标系与载体坐标系重合。坐标系原点Ob为惯导质心，Xb轴沿载体纵轴方向，向前为正；Yb轴与Xb轴垂直，向上为正；Zb沿载体横轴方向，向右为正。
地理坐标系(n系)：坐标系原点On取为无人机质心，Xn轴指东，Yn轴指北，Zn轴指天。
正射图像生成：
本发明实施例为增强拼接效果和精度，这里对无人机拍摄的帧间图像进行预处理，对图像进行正射矫正，统一帧间图像间的旋转关系。
根据针孔摄像机模型，空间点P从世界坐标系中的齐次坐标投影到图像坐标系中的齐次坐标/>的过程可以描述为
其中
公式中u与v分别为三维空间点P在像素坐标系中的列坐标值与行坐标值，Zc为该点在摄像机坐标系中的坐标的z分量，f为摄像机焦距，d为摄像机像元尺寸，[cx,cy]T是图像的主点。是一个旋转矩阵，描述了从世界坐标系向摄像机坐标系的旋转过程。/>是从世界坐标系向摄像机坐标系转换的平移向量。
假设有两个内参完全一致的摄像机，分别记作c与这两个摄像机在同一地点对地面成像，其中/>生成的图像为正射图像。根据针孔摄像机成像模型，世界坐标系中的空间点P在两个摄像机中所成的图像坐标分别为
位置转换矩阵可表示如下
其中为两个摄像机之间的旋转矩阵，代入/>成像方程可得
即仅需要相机内参K与转换矩阵即可将帧间图像转换为正射图像。其中，/>由惯导解算的俯仰角θ、横滚角γ、航向角/>计算：
其中：
正射相机坐标系为东、南、地坐标系，而惯导坐标系为北、天、东，因此在上式中，对应轴向的航向角与横滚角取负值。
将拍摄的图像经过矩阵变换后，便可得到正射图像，如图3所示。
在上述实施例中，通过下述方式统一帧间图像的尺度：
将矩阵F乘以正射图像(矩阵H左乘F)以统一帧间图像的尺度，其中，矩阵F通过下式获得：
其中，d为像元尺寸，f为相机焦距，h为无人机相对于地面的相对高度。
也即，为了计算帧间图像间的位移矢量，需将帧间图像都统一到同一个尺度下，都缩放为米/像素。利用激光测距机测量无人机上的相机到初始地面的相对高度来统一帧间图像的尺度，其中缩放系数由上述公式给出。
在上述实施例中，可依次通过KNN算法和RANSAC算法对特征点进行筛选以去除错误特征点，并计算得到待拼接图像对应的单应矩阵。
进一步地，如图4-8所示，对本实施例的帧间图像拼接的具体过程进行详细说明：
用于无人机定位的航拍图像是俯视的地理图像，拼接算法需提取图像中的显著地理特征，而ORB特征能很好地提取图像中的边缘和显著特征，且ORB特征的实时性很高，因此本实施例利用ORB特征来实现帧间图像拼接，进而输出帧间图像的位移矢量。整体算法框架如图4所示。其中：
1、特征提取：
提取正射后的帧间图像中的ORB特征，ORB特征提取主要步骤如下：
(1)基于FAST算法提取关键点；
(2)基于Harris算法筛选得分较高的关键点，即寻找在x、y两个方向上都有较大变化的点，当某点在x和y方向上的二次导数值较大时，则该点可以认为是特征点；
(3)对图像进行金字塔变换；
(4)计算关键点中心和角度方向；
(5)基于BRIEF算法计算关键点的二值描述子；
(6)基于贪心算法过滤低相关性的像素块。
ORB特征提取效果如图5所示。
2、特征匹配
从帧间图像提取的ORB特征中存在着一些错误的特征点对，需要去除错误特征点对，否则会影响拼接效果。本实施例利用KNN算法筛选出能够正确配对的特征对，主要步骤如下：
(1)计算任意两对特征点坐标的距离值；
(2)对距离值进行升序排序；
(3)判断距离值最小值d0和次小值d1是否满足d0≤0.7d1。若满足，则为特征点为一对正确匹配对；反之，则不匹配，删除对应特征点对。
3、RANSAC筛选
通过KNN粗筛选后的仍然存在部分错误匹配的特征点。通过RANSAC算法可以进一步删除错误特征点对，增强拼接精度。RANSAC算法主要步骤如下：
(1)随机选取四对特征点对计算单应矩阵；
(2)通过单应矩阵将第二帧图像的特征点坐标映射到第一帧图像的坐标空间；
(3)计算映射后的特征点对之间的距离，若距离小于某一阈值，则该特征点对为内点；
(4)迭代n次后，内点数量最多的集合为最终的特征点匹配对，并计算对应的单应矩阵。
利用RANSAC算法精筛选后，匹配结果如图6所示。
在上述实施例中，步骤2.2中，将单应矩阵与对应待拼接图像相乘即得新的待拼接图像。
p'＝H′p，其中，
其中，H′为单应矩阵，p为待拼接图像，p′为新的待拼接图像。
在上述实施例中，通过下述方式对所述新的待拼接图像进行对偶掩膜处理，得到掩膜矩阵：
将新的待拼接图像的有效区域置1，无效区域置0，即得到掩膜矩阵mask，其中，无效区域指新的待拼接图像的黑色区域。
具体来说，由于正射矫正后的图像含有黑色区域，采用直接拼接的方法会使得黑色区域覆盖上一张图像的地理信息区域，因此本实施例提出一种对偶掩膜的方法，新的待拼接图像的有效区域置1，无效区域置0(新的待拼接图像本身就是一矩阵，将矩阵中有效区域置1，无效区域置0)，即可得到掩膜矩阵。
本发明实施例中，通过下式基于掩膜矩阵将新的待拼接图像与拼接图像进行拼接：
待拼接区域＝mask*新的待拼接图像+～mask*拼接图像
其中，～mask为掩膜矩阵取反。
多帧图像拼接示意图如图7所示，本实施例帧间图像通过拼接后视野扩大，可用于无人机匹配定位。
在上述实施例中，为了获取无人机精确定位，所述步骤三具体包括：
利用拼接后的帧间图像获取对应卫星地图；
根据拼接后的帧间图像的最后一帧图像中心点与所述卫星地图计算出拼接后的帧间图像的匹配位置；
根据无人机与相机间的坐标关系以及所述匹配位置信息，再将匹配位置转换为定位位置，完成无人机定位。
具体来说，拼接后的多帧图像与卫星地图匹配的具体步骤如下：将拼接图与卫星地图库中的每一张图进行特征匹配，若匹配正确率大于某一阈值，则匹配成功；从匹配成功的图中选择匹配得分最高的卫星地图；根据拼接后的帧间图像的最后一帧图像中心点与所述卫星地图计算出拼接后的帧间图像的匹配位置(即匹配点)。
拼接图的匹配位置表示为：
A＝[λ L 0]T
在上述实施例中，通过下式获取定位位置：
其中，
匹配位置信息为
为无人机质心A点处姿态阵的逆矩阵/>hA为A点处的高度；
Re为地球长半轴半径，e为第一偏心率，/>为A2点处的经度，/>为A2点处的纬度。
具体来说，首先，假设已知无人机在地理坐标系下拼接图像主点经纬度坐标，再根据当前时刻无人机的姿态和高度建立定位数学模型，解算无人机正下方的经纬度位置。定位示意图如图8所示。
由于无人机姿态角导致相机主轴与地面相交与一点(匹配点A2)，与无人机正下方的定位点A1存在偏差，需将匹配点位置转换为定位点位置。载体坐标系与惯导坐标系重合，均为前上右坐标系，简称b系，计算导航坐标系n系下变化量
其中，为A点(无人机质心)处姿态阵的逆矩阵/>hA为A点处的高度。
A1点在地理坐标系中的坐标为：
根据另一实施例，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
综上，本发明针对GPS拒止条件下，无人机低空视觉定位信息量少、定位精度差的问题，开展基于帧间图像拼接的无人机定位技术研究，首先提出利用激光测距传感器和惯导捕获飞行高度和姿态信息的方式，解决帧间图像尺度和旋转不一致问题，通过惯性/激光测距/图像信息的融合，实现帧间图像的尺度与旋转统一；其次通过基于特征的图像拼接技术扩大航拍图像视野；最后提出一种基于帧间图像拼接的匹配定位方法，能够准确推算无人机的定位信息。
如上针对一种实施例描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施例中使用，和/或与其它实施例中的特征相结合或替代其它实施例中的特征使用。
应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤、组件或其组合的存在或附加。
本发明以上的方法可以由硬件实现，也可以由硬件结合软件实现。本发明涉及这样的计算机可读程序，当该程序被逻辑部件所执行时，能够使该逻辑部件实现上文所述的装置或构成部件，或使该逻辑部件实现上文所述的各种方法或步骤。本发明还涉及用于存储以上程序的存储介质，如硬盘、磁盘、光盘、DVD、flash存储器等。
这些实施例的许多特征和优点根据该详细描述是清楚的，因此所附权利要求旨在覆盖这些实施例的落入其真实精神和范围内的所有这些特征和优点。此外，由于本领域的技术人员容易想到很多修改和改变，因此不是要将本发明的实施例限于所例示和描述的精确结构和操作，而是可以涵盖落入其范围内的所有合适修改和等同物。
本发明未详细说明部分为本领域技术人员公知技术。

Claims (10)

1.一种基于帧间图像拼接的无人机低空定位方法，其特征在于，所述定位方法包括：
步骤一、基于捕获的无人机姿态信息对无人机低空拍摄的帧间图像进行正射矫正以转换为正射图像，并统一帧间图像的尺度；
步骤二、根据步骤一所得结果，进行帧间图像拼接，包括：
2.1提取步骤一所得帧间图像的特征点，对特征点进行筛选以去除错误特征点，并计算得到待拼接图像对应的单应矩阵；
2.2利用单应矩阵对相应待拼接图像进行处理，得到新的待拼接图像；
2.3对所述新的待拼接图像进行对偶掩膜处理，得到掩膜矩阵，并基于所述掩膜矩阵将新的待拼接图像与拼接图像进行拼接；
步骤三、利用步骤二所得拼接后的帧间图像进行无人机定位。
2.根据权利要求1所述的一种基于帧间图像拼接的无人机低空定位方法，其特征在于，步骤一中，将转换矩阵H乘以无人机低空拍摄的帧间图像坐标即得到正射图像，其中，转换矩阵H通过下式获得：
其中：
f为摄像机焦距，d为摄像机像元尺寸，[cx,cy]T是图像的主点；θ为俯仰角；γ为横滚角；为航向角。
3.根据权利要求2所述的一种基于帧间图像拼接的无人机低空定位方法，其特征在于，通过下述方式统一帧间图像的尺度：
将矩阵F乘以正射图像以统一帧间图像的尺度，其中，矩阵F通过下式获得：
其中，d为像元尺寸，f为相机焦距，h为无人机相对于地面的相对高度。
4.根据权利要求1-3之一所述的一种基于帧间图像拼接的无人机低空定位方法，其特征在于，步骤2.2中，将单应矩阵与对应待拼接图像相乘即得新的待拼接图像。
5.根据权利要求1或4所述的一种基于帧间图像拼接的无人机低空定位方法，其特征在于，通过下述方式对所述新的待拼接图像进行对偶掩膜处理，得到掩膜矩阵：
将新的待拼接图像的有效区域置1，无效区域置0，即得到掩膜矩阵mask，其中，无效区域指新的待拼接图像的黑色区域。
6.根据权利要求5所述的一种基于帧间图像拼接的无人机低空定位方法，其特征在于，通过下式基于掩膜矩阵将新的待拼接图像与拼接图像进行拼接：
待拼接区域＝mask*新的待拼接图像+～mask*拼接图像
其中，～mask为掩膜矩阵取反。
7.根据权利要求1所述的一种基于帧间图像拼接的无人机低空定位方法，其特征在于，依次通过KNN算法和RANSAC算法对特征点进行筛选以去除错误特征点，并计算得到待拼接图像对应的单应矩阵。
8.根据权利要求1或6所述的一种基于帧间图像拼接的无人机低空定位方法，其特征在于，所述步骤三具体包括：
利用拼接后的帧间图像获取对应卫星地图；
根据拼接后的帧间图像的最后一帧图像中心点与所述卫星地图计算出拼接后的帧间图像的匹配位置；
根据无人机与相机间的坐标关系以及所述匹配位置信息，再将匹配位置转换为定位位置，完成无人机定位。
9.根据权利要求8所述的一种基于帧间图像拼接的无人机低空定位方法，其特征在于，通过下式获取定位位置：
其中，
匹配位置信息为
为无人机质心A点处姿态阵的逆矩阵/>hA为A点处的高度；
Re为地球长半轴半径，e为第一偏心率，/>为A2点处的经度，/>为A2点处的纬度。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-9所述的方法。
CN202310708692.4A 2023-06-14 2023-06-14 基于帧间图像拼接的无人机低空定位方法 Active CN117036666B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310708692.4A CN117036666B (zh) 2023-06-14 2023-06-14 基于帧间图像拼接的无人机低空定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310708692.4A CN117036666B (zh) 2023-06-14 2023-06-14 基于帧间图像拼接的无人机低空定位方法

Publications (2)

Publication Number Publication Date
CN117036666A true CN117036666A (zh) 2023-11-10
CN117036666B CN117036666B (zh) 2024-05-07

Family

ID=88640088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310708692.4A Active CN117036666B (zh) 2023-06-14 2023-06-14 基于帧间图像拼接的无人机低空定位方法

Country Status (1)

Country Link
CN (1) CN117036666B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710467A (zh) * 2024-02-06 2024-03-15 天津云圣智能科技有限责任公司 无人机定位方法、设备及飞行器

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023086A (zh) * 2016-07-06 2016-10-12 中国电子科技集团公司第二十八研究所 一种基于orb特征匹配的航拍影像及地理数据拼接方法
CN107808362A (zh) * 2017-11-15 2018-03-16 北京工业大学 一种基于无人机pos信息与图像surf特征结合的图像拼接方法
CN110992263A (zh) * 2019-11-27 2020-04-10 国网山东省电力公司电力科学研究院 一种图像拼接方法及系统
CN111127318A (zh) * 2019-12-05 2020-05-08 南京莱斯电子设备有限公司 一种机场环境下的全景图像拼接方法
CN111461013A (zh) * 2020-04-01 2020-07-28 深圳市科卫泰实业发展有限公司 一种基于无人机的实时火场态势感知方法
CN111507901A (zh) * 2020-04-15 2020-08-07 中国电子科技集团公司第五十四研究所 基于航带gps及尺度不变约束的航拍图像拼接定位方法
CN111583110A (zh) * 2020-04-24 2020-08-25 华南理工大学 一种航拍图像的拼接方法
CN112750075A (zh) * 2019-10-31 2021-05-04 中国科学院长春光学精密机械与物理研究所 一种低空遥感影像拼接方法以及装置
CN112767245A (zh) * 2021-01-04 2021-05-07 航天时代飞鸿技术有限公司 基于多无人机实时视频图像的地图拼接构建的系统及方法
CN112862674A (zh) * 2020-12-07 2021-05-28 西安电子科技大学 一种基于AutoStitch算法的多图像自动拼接方法和系统
CN113096018A (zh) * 2021-04-20 2021-07-09 广东省智能机器人研究院 一种航拍图像拼接方法和系统
CN113222820A (zh) * 2021-05-20 2021-08-06 北京航空航天大学 一种位姿信息辅助的航空遥感图像拼接方法
CN113313659A (zh) * 2021-04-25 2021-08-27 中国人民解放军火箭军工程大学 一种多机协同约束下高精度图像拼接方法
CN114897676A (zh) * 2022-03-25 2022-08-12 北京瀚景锦河科技有限公司 一种无人机遥感多光谱图像拼接方法、设备及介质
CN114936971A (zh) * 2022-06-08 2022-08-23 浙江理工大学 一种面向水域的无人机遥感多光谱图像拼接方法及系统
CN115620181A (zh) * 2022-12-05 2023-01-17 海豚乐智科技(成都)有限责任公司 基于墨卡托坐标切片的航拍图像实时拼接方法
CN116228539A (zh) * 2023-03-10 2023-06-06 贵州师范大学 一种无人机遥感图像拼接的方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023086A (zh) * 2016-07-06 2016-10-12 中国电子科技集团公司第二十八研究所 一种基于orb特征匹配的航拍影像及地理数据拼接方法
CN107808362A (zh) * 2017-11-15 2018-03-16 北京工业大学 一种基于无人机pos信息与图像surf特征结合的图像拼接方法
CN112750075A (zh) * 2019-10-31 2021-05-04 中国科学院长春光学精密机械与物理研究所 一种低空遥感影像拼接方法以及装置
CN110992263A (zh) * 2019-11-27 2020-04-10 国网山东省电力公司电力科学研究院 一种图像拼接方法及系统
CN111127318A (zh) * 2019-12-05 2020-05-08 南京莱斯电子设备有限公司 一种机场环境下的全景图像拼接方法
CN111461013A (zh) * 2020-04-01 2020-07-28 深圳市科卫泰实业发展有限公司 一种基于无人机的实时火场态势感知方法
CN111507901A (zh) * 2020-04-15 2020-08-07 中国电子科技集团公司第五十四研究所 基于航带gps及尺度不变约束的航拍图像拼接定位方法
CN111583110A (zh) * 2020-04-24 2020-08-25 华南理工大学 一种航拍图像的拼接方法
CN112862674A (zh) * 2020-12-07 2021-05-28 西安电子科技大学 一种基于AutoStitch算法的多图像自动拼接方法和系统
CN112767245A (zh) * 2021-01-04 2021-05-07 航天时代飞鸿技术有限公司 基于多无人机实时视频图像的地图拼接构建的系统及方法
CN113096018A (zh) * 2021-04-20 2021-07-09 广东省智能机器人研究院 一种航拍图像拼接方法和系统
CN113313659A (zh) * 2021-04-25 2021-08-27 中国人民解放军火箭军工程大学 一种多机协同约束下高精度图像拼接方法
CN113222820A (zh) * 2021-05-20 2021-08-06 北京航空航天大学 一种位姿信息辅助的航空遥感图像拼接方法
CN114897676A (zh) * 2022-03-25 2022-08-12 北京瀚景锦河科技有限公司 一种无人机遥感多光谱图像拼接方法、设备及介质
CN114936971A (zh) * 2022-06-08 2022-08-23 浙江理工大学 一种面向水域的无人机遥感多光谱图像拼接方法及系统
CN115620181A (zh) * 2022-12-05 2023-01-17 海豚乐智科技(成都)有限责任公司 基于墨卡托坐标切片的航拍图像实时拼接方法
CN116228539A (zh) * 2023-03-10 2023-06-06 贵州师范大学 一种无人机遥感图像拼接的方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
WENXIAO CAI 等: "UAV image stitching by estimating orthograph with RGB cameras", 《ELSEVIER》, 29 April 2023 (2023-04-29) *
匡文元: "基于无人机低空遥感的航拍图像拼接方法", 《经纬天地》, no. 5, 31 October 2021 (2021-10-31) *
尚克军 等: "基于图像语义分割的无人机自主着陆导航方法", 《中国惯性技术学报》, vol. 28, no. 5, 31 October 2020 (2020-10-31) *
明丽 等: "无人机自主着陆视觉相对位姿测量误差分析方法", 《导航与控制》, vol. 22, no. 2, 30 April 2023 (2023-04-30) *
李彦妮: "无人机影像正射纠正与拼接技术的研究与应用", 《中国优秀硕士学位论文全文数据库基础科学辑》, no. 1, 15 January 2018 (2018-01-15) *
江智 等: "基于IB-SURF 算法的无人机图像拼接技术研究", 《计算机工程与应用》, 14 December 2022 (2022-12-14) *
王大元 等: "基于惯性／激光测距／视觉里程计组合的 高空场景尺度误差估计方法", 《导航定位与授时》, vol. 9, no. 4, 31 July 2022 (2022-07-31) *
王震 等: "基于图割法的无人机正射影像拼接", 《北京测绘》, vol. 34, no. 9, 30 September 2020 (2020-09-30) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710467A (zh) * 2024-02-06 2024-03-15 天津云圣智能科技有限责任公司 无人机定位方法、设备及飞行器

Also Published As

Publication number Publication date
CN117036666B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
CN109509230B (zh) 一种应用于多镜头组合式全景相机的slam方法
CN108648240B (zh) 基于点云特征地图配准的无重叠视场相机姿态标定方法
CN113554698B (zh) 车辆位姿信息生成方法、装置及电子设备、存储介质
CN112444242B (zh) 一种位姿优化方法及装置
CN108534782B (zh) 一种基于双目视觉系统的地标地图车辆即时定位方法
JP4685313B2 (ja) 任意の局面の受動的な体積画像の処理方法
CN107808362A (zh) 一种基于无人机pos信息与图像surf特征结合的图像拼接方法
CN113850126A (zh) 一种基于无人机的目标检测和三维定位方法和系统
CN107560603B (zh) 一种无人机倾斜摄影测量系统及测量方法
CN109596121B (zh) 一种机动站自动目标检测与空间定位方法
CN111830953A (zh) 车辆自定位方法、装置及系统
CN113222820B (zh) 一种位姿信息辅助的航空遥感图像拼接方法
CN117036666B (zh) 基于帧间图像拼接的无人机低空定位方法
Menozzi et al. Development of vision-aided navigation for a wearable outdoor augmented reality system
CN109883433B (zh) 基于360度全景视图的结构化环境中车辆定位方法
CN109214254B (zh) 一种确定机器人位移的方法及装置
CN111261016A (zh) 道路地图的构建方法、装置和电子设备
CN108537844A (zh) 一种融合几何信息的视觉slam回环检测方法
CN108801225B (zh) 一种无人机倾斜影像定位方法、系统、介质及设备
CN116523748A (zh) 图像拼接方法、设备、存储介质及无人机
US10445611B1 (en) Method for detecting pseudo-3D bounding box to be used for military purpose, smart phone or virtual driving based-on CNN capable of converting modes according to conditions of objects and device using the same
CN113034347B (zh) 倾斜摄影图像处理方法、装置、处理设备及存储介质
CN117253029A (zh) 基于深度学习的图像匹配定位方法及计算机设备
CN112785686A (zh) 一种基于大数据的林区地图构建方法及可读存储介质
CN111191596A (zh) 一种封闭区域制图方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant