CN116704037A - 一种基于图像处理技术的卫星失锁重定位方法及系统 - Google Patents

一种基于图像处理技术的卫星失锁重定位方法及系统 Download PDF

Info

Publication number
CN116704037A
CN116704037A CN202310988687.3A CN202310988687A CN116704037A CN 116704037 A CN116704037 A CN 116704037A CN 202310988687 A CN202310988687 A CN 202310988687A CN 116704037 A CN116704037 A CN 116704037A
Authority
CN
China
Prior art keywords
image
unmanned aerial
aerial vehicle
representing
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310988687.3A
Other languages
English (en)
Other versions
CN116704037B (zh
Inventor
于洪瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Yujian Information Technology Co ltd
Original Assignee
Nanjing Yujian Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Yujian Information Technology Co ltd filed Critical Nanjing Yujian Information Technology Co ltd
Priority to CN202310988687.3A priority Critical patent/CN116704037B/zh
Publication of CN116704037A publication Critical patent/CN116704037A/zh
Application granted granted Critical
Publication of CN116704037B publication Critical patent/CN116704037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及定位技术领域，尤其涉及一种基于图像处理技术的卫星失锁重定位方法及系统，当前，对卫星失锁后重定位的研究存在未能精确定位和定位时间长的问题，本发明提出以下方案，首先获取无人机航拍图像，对图像进行预处理操作，其次计算特征点，对特征点进行特征描述，得到特征匹配向量，最后对无人机路径上起点和终点连线位置的路径上的图像进行采集，根据特征匹配向量，通过最优匹配策略计算路径图像中的最佳匹配图像，以最佳匹配图像的位置作为卫星失锁的最终位置进行重新定位，实现快速、精确的无人机失锁后重定位。

Description

一种基于图像处理技术的卫星失锁重定位方法及系统
技术领域
本发明涉及定位技术领域，尤其涉及一种基于图像处理技术的卫星失锁重定位方法及系统。
背景技术
由于遮挡或者干扰，卫星导航接收机容易失锁，当多颗卫星信号被遮挡时，会造成接收机定位不连续，所以在具体的导航工作时，发生卫星失锁后的重定位时间是一项重要的指标，传统的失锁重定位方法通常是重捕获和伪距估算同步，但具有误差较大的缺点，无法适应失锁时间比较长的场景。近年来，无人机发展迅速，其操作简便，数据采集能力强，逐渐成为遥感图像采集的主要平台，无人机应用涉及许多领域，如摄影测量、农业和测绘，但目前无人机的定位导航主要依靠GPS、GNSS等定位系统，如何在没有定位系统帮助的情况下实现无人机的自主定位和导航是一项具有挑战性的任务，在缺少卫星信号的环境中，无人机可以通过实时拍摄图像与路径图像进行匹配，从而达到卫星失锁后快速重定位的目的。现有的技术中，由于无人机航拍图像与路径图像之间存在尺度差与旋转角度，且无人机航拍图像有大量的噪声，通过传统的图像匹配方法难以精准定位，同时由于无人机航拍图像的复杂性，处理图像过程较长，且特征向量往往会出现重复，难以满足卫星失锁后快速重定位的需求。
如授权公告号为CN11241937B的中国专利公开了一种基于图像配准的无人机定位方法，提出一种图像配准的无人机定位方法，包括(1)无人机拍摄图像预处理，从无人机搭载的高度传感器获取无人机的飞行高度，从搭载的航向传感器获取无人机的飞行方向，根据卫星地图图像的标记信息得到无人机拍摄图像与卫星地图的空间分辨率差异与方向差异，对拍摄图像进行旋转变换与尺度变换，使其与地图图像具有一致的方向和尺度；(2)无人机拍摄图像的关键点检测；(3)对无人机拍摄图像中检测出的关键点，提取其SIFT特征；(4)无人机拍摄图像与地图图像的特征匹配，得到两图像中关键点图像坐标的对应关系；(5)估计无人机拍摄图像到卫星地图图像的空间变换，结合地图的地理信息得到无人机拍摄图像中心点的经纬度作为无人机当前的经纬度坐标。
如申请公开号CN114399689A的中国专利公开了一种基于多视角无人机图像的缺少定位设备的无人机定位方法，将采集的无人机图像与卫星图像组成的数据集输入到神经网络中进行训练使其预测分类；将卫星图库中的各个卫星图像输入到神经网络的局部中，提取获得各个卫星图像的特征向量；在无人机实时飞行中，将无人机实时采集的无人机图像输入到神经网络的局部中，提取获得无人机图像的图像特征并进行融合处理获得无人机图像的特征向量；计算无人机图像的特征向量分别与各个卫星图像的特征向量之间的相似度，进行匹配实现定位。通过将无人机实时拍摄的不同角度不同高度图像的特征进行融合并与卫星图像进行匹配，实现无人机通过卫星图像的精准定位，实现了较高的定位精度。
以上专利均存在本背景技术提出的问题：未能缩减无人机航拍图像的尺度，没有考虑图像噪声对图像匹配的影响，无法做到高精度的图像匹配，暴力匹配每一张路径图像，造成定位时间的浪费，为了解决这些问题，本申请设计了一种基于图像处理技术的卫星失锁重定位方法及系统。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供了一种基于图像处理技术的卫星失锁重定位方法，首先获取无人机航拍图像，对图像进行预处理操作，其次计算特征点，对特征点进行特征描述，得到特征匹配向量，最后对无人机路径上起点和终点连线位置的路径上的图像进行采集，根据特征匹配向量，通过最优匹配策略计算路径图像中的最佳匹配图像，以最佳匹配图像的位置作为卫星失锁的最终位置进行重新定位，提供了基于图像处理技术的卫星失锁重定位系统，首先通过无人机获取航拍对象，并对图像裁剪、旋转至路径图像尺寸，对航拍图像去噪，然后计算图像显著中心，根据显著中心与周围邻域灰度值差之和阈值标准判断是否是特征点，如果符合特征点条件，计算特征描述子，得到最终航拍图像特征向量，对航拍图像进行粗定位，根据粗定位坐标减少待匹配路径图像数量，更快速、准确的获得最优匹配图像，实现卫星失锁重定位。
为实现上述目的，本发明提供如下技术方案：
一种基于图像处理技术的卫星失锁重定位方法，具体步骤包括：
S1：获取无人机航拍图像，对采集到的图像进行预处理，
S2：对无人机航拍图像进行特征点检测，取目标点与周围邻域像素点灰度值之差判断是否为特征点，并计算特征描述子，生成特征匹配向量，
S3：对无人机路径上起点和终点连线位置的路径上的图像进行采集，根据特征匹配向量，通过最优匹配策略计算路径图像中的最佳匹配图像，以最佳匹配图像的位置作为卫星失锁的最终位置进行重新定位；
具体的，步骤S1所述预处理包括无人机航拍图像裁剪和无人机航拍图像去噪，S1具体步骤如下：
S1.1：无人机获取航拍图像，传感器记录拍摄角度和无人机位置参数，
S1.2：对无人机航拍图像进行裁剪，对待匹配图像进行小波变换，进行适当层级的分解降低特征搜索空间，提高匹配算法的实时性和降低数据量，
S1.3：对无人机航拍图像去噪，无人机航拍图像噪声包括天气因素造成的图像高斯白噪声和无人机拍摄过程中的气动噪声，具体无人机航拍图像去噪计算公式为：
，
其中，代表去噪后的无人机航拍图像矩阵，/>代表天气因素噪声因子，代表去噪前无人机航拍图像矩阵，/>代表图像灰度矫正参数，/>代表无人机航拍过程中的气动噪声因子，/>代表无人机航拍图像拉普拉斯锐化变换；
具体的，所述步骤S2包括以下步骤：
S2.1：检测无人机航拍图像中特征点，获得图像中具有显著特征的区域，具体图像显著中心的计算公式为：
，
其中，表示无人机航拍图像显著中心的位置坐标，n为总像素，/>和/>分别是像素i的横坐标和纵坐标，/>是像素i的显著值，
S2.2：根据显著中心与周围邻域像素点灰度值之差判断显著中心是否为特征点，设定特征点差值阈值为P，计算显著中心与邻域各个像素点灰度值之差，将差值累加与差值阈值比较，如果显著中心与邻域各个像素点灰度值差值累加后的和大于P时，则显著中心为特征点，确定该特征点的方向，并对其进行空间加权优化，具体空间加权优化计算公式为：
，
其中，表示特征点加权优化，n表示特征点邻域矩数，W表示加权权重值，/>表示傅里叶变换，/>表示傅里叶因子，/>表示特征点与各个邻域像素点灰度值差值累加后的和，
S2.3：利用BRIEF描述子对特征点进行特征描述，计算该特征点的特征点描述子，利用MLP网络将特征点转化为高维数据，并与特征点描述子相加，生成特征匹配向量，具体特征匹配向量的计算公式为：
，
其中，i表示特征向量编号，表示高维特征向量，/>和/>分别表示第i个描述子和特征点，/>表示MLP网络层；
具体地，步骤S3所述最优匹配策略，具体包括以下步骤：
S301：利用嵌入式传感器中的无人机初始参数计算无人机航拍图像的粗定位，根据投影方程确定无人机图像中像素点的位置，具体无人机航拍图像粗定位的计算公式为：
，
其中，和/>表示无人机航拍图像粗定位坐标，/>、/>和/>分别表示无人机在x轴、y轴和z轴的初始位置，/>和/>表示投影方程偏移量，/>表示无人机图像的旋转矩阵，/>表示图像偏转角度，/>表示旋转矩阵权重值；
S302：根据无人机图像粗定位坐标，确认待匹配位置图像数据集，计算待匹配图像特征向量集合；
S303：对两图像中提取的特征向量集合进行匹配，通过注意力机制，利用自注意力机制和交叉注意力机制将特征点之间反复产生联系，得到匹配向量，构造代价函数，剔除错误匹配，产生一个得分匹配矩阵，输出最终的最佳匹配图像，以最佳匹配图像的位置作为卫星失锁的最终位置进行重新定位。
一种基于图像处理技术的卫星失锁重定位系统，其包括：
无人机传感器模块、无人机图像处理模块、无人机图像匹配模块以及无人机图像定位模块，
无人机传感器模块：用于获取无人机航拍图像，记录无人机运行数据，
无人机图像处理模块：用于对无人机航拍图像预处理，计算图像特征点和特征描述子，获取特征向量集合，
无人机图像匹配模块：用于无人机航拍图像与路径图像匹配，
无人机图像定位模块，用于根据最佳匹配图像的位置作为卫星失锁的最终位置进行重新定位；
具体的，所述无人机传感器模块包括：
无人机，用于获取航拍图像，
陀螺仪，用于检测无人机拍摄时角度的变化率，
惯性测量单元，用于指示无人机的方向和速度；
具体的，所述无人机图像处理模块包括：
图像预处理单元，用于对无人机航拍图像进行裁剪和去噪，
图像特征提取单元，用于定位无人机航拍图像特征点，计算特征描述子，获得特征向量集合；
具体的，所述无人机图像匹配模块包括：
无人机图像粗定位单元，用于获取无人机图像粗定位坐标，
路径图像特征提取单元，用于对粗定位坐标附近的路径图像进行特征提取，
无人机图像匹配单元，用于匹配最佳图像。
本发明的一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上述任一项所述的基于图像处理的卫星失锁重定位方法。
本发明的一种电子设备，包括处理器和上述的存储介质，所述处理器执行所述存储介质中的指令。
与现有技术相比，本发明的有益效果是：
1.本发明综合图像处理技术对卫星失锁重定位过程中的影响，改进卫星失锁重定位技术，改进后的技术整体具备所需实时性、易实现的优点，并且提高了卫星失锁后重定位的精度；
2.本发明对无人机航拍图像中的噪声进行去除，识别噪声中对特征点有可能产生的污染，在图像预处理过程中额外丢弃天气因素造成的图像高斯白噪声和无人机拍摄过程中的气动噪声冗余数据，提高图像匹配的全面性和效率性；
3.本发明考虑无人机航拍图像和路径图像之间的拍摄尺寸角度不同，进行图像裁剪和旋转，在图像匹配前进行航拍图像粗定位，减少匹配图像的数量，有效降低基于图像匹配的定位使用限制。
附图说明
通过阅读参照以下附图所作的对非限制性实施例的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例1中一种基于图像处理技术的卫星失锁重定位方法的流程示意图；
图2为本发明实施例1中所述去噪前的无人机航拍图像；
图3为本发明实施例1中所述去噪后的无人机航拍图像；
图4为本发明实施例1中所述特征向量提取方法流程示意图；
图5为本发明实施例1中所述关键点编码器示意图；
图6为本发明实施例2中一种基于图像处理技术的卫星失锁重定位系统模块图；
图7为本发明实施例4中一种基于图像处理技术的卫星失锁重定位电子设备图；
图8为本发明中所述基于图像处理技术的卫星失锁重定位流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。
实施例1
请参阅图1，本发明提供的一种实施例：一种基于图像处理技术的卫星失锁重定位方法，具体步骤包括：
S1：获取无人机航拍图像，对采集到的图像进行预处理，
S2：对无人机航拍图像进行特征点检测，取目标点与周围邻域像素点灰度值之差判断是否为特征点，并计算特征描述子，生成特征匹配向量，
S3：对无人机路径上起点和终点连线位置的路径上的图像进行采集，根据特征匹配向量，通过最优匹配策略计算路径图像中的最佳匹配图像，以最佳匹配图像的位置作为卫星失锁的最终位置进行重新定位；
具体的，步骤S1中预处理包括无人机航拍图像裁剪和无人机航拍图像去噪，S1具体步骤如下：
S1.1：无人机获取航拍图像，无人机内置传感器记录拍摄角度和无人机位置参数，
S1.2：对无人机航拍图像进行裁剪，对待匹配图像进行小波变换，设计低频子带分解规则和高频子带分解规则，将图像信号分离成低频部分和高频部分，进行适当层级的分解降低特征搜索空间，提高匹配算法的实时性和降低数据量，之后以目标为中心截取与待匹配路径图像相同尺寸的局部区域图像作为无人机航拍图像，
S1.3：清晰的航拍图像是后续匹配路径图像的基础，图像噪声往往造成图像信息缺失、细节特征模糊等问题，因此，为防止图像噪声对无人机图像匹配造成消极影响，必须先采用合理有效的去噪技术对无人机图像加以处理，无人机航拍图像噪声包括天气因素造成的图像高斯白噪声和无人机拍摄过程中的气动噪声，具体无人机航拍图像去噪计算公式为：
，
其中，代表去噪后的无人机航拍图像矩阵，/>代表天气因素噪声因子，代表去噪前无人机航拍图像矩阵，/>代表图像灰度矫正参数，/>代表无人机航拍过程中的气动噪声因子，/>代表无人机航拍图像拉普拉斯锐化变换；
请参阅图2，本发明实施例去噪前的无人机航拍图像，可以看出在航拍图像采集和实时传输过程中，会受到各种随机噪声的污染，导致图像质量不高，请参阅图3，本发明实施例去噪后的无人机航拍图像，可以看出去噪后的无人机航拍图像有明显效果；
请参阅图4，本发明实施例的特征向量提取方法流程示意图，首先根据原始无人机航拍图像计算图像的显著中心，依次判断显著中心是否为特征点，得到最终的无人机航拍图像显著图，然后根据无人机航拍图像显著图，对特征点加权优化，最后对特征点进行特征描述，计算特征匹配向量；
具体的，步骤S2包括以下步骤：
S2.1：检测无人机航拍图像中特征点，传统的特征点检测方法需要暴力检索图像中每一个像素点，不满足定位所需的时效性，因此可以预先判断图像的显著中心，首先获得图像中具有显著特征的区域，减少实际过程中的计算量，具体图像显著中心的计算公式为：
，
其中，表示无人机航拍图像显著中心的位置坐标，n为总像素，/>和/>分别是像素i的横坐标和纵坐标，/>是像素i的显著值，
S2.2：根据显著中心与周围邻域像素点灰度值之差判断是否为特征点，设定特征点差值阈值为P，计算显著中心与邻域各个像素点灰度值之差，将差值累加与差值阈值比较，大于P时，则为特征点，确定该特征点的方向，并对其进行空间加权优化，将特征点区分标识，具体空间加权优化计算公式为：
，
其中，表示特征点加权优化，n表示特征点邻域矩数，W表示加权权重值，/>表示傅里叶变换，/>表示傅里叶因子，/>表示特征点与各个邻域像素点灰度值差值累加后的和，
S2.3：利用BRIEF描述子对特征点进行特征描述，利用多层感知机网络将特征点转化为高维数据与特征点描述子相加，生成特征匹配向量，具体特征匹配向量的计算公式为：
，
其中，i表示特征向量编号，表示高维特征向量，/>和/>分别表示第i个描述子和特征点，/>表示MLP网络层；
请参阅图5，本发明实施例的关键点编码器示意图，用于将特征点进行升维，使特征点和特征描述子相加形成一个特征向量，每个特征点都结合了它的坐标和置信度，用多层感知机将特征点嵌入高维向量中，首先用五层全连接的感知机将特征点转化为256维数据，五层感知机的通道数分别是3、32、64、128和256；
具体地，步骤S3所述最优匹配策略，具体包括以下步骤：
S301：对无人机路径上起点和终点连线位置的路径上的图像进行采集，对所有路径图像进行特征匹配并不满足定位的时效性，本发明利用嵌入式传感器中的无人机初始参数计算无人机航拍图像的粗定位，根据投影方程确定无人机图像中像素点的位置，确定无人机航拍图像的大概地理位置，减少待匹配路径图像的数量，具体无人机航拍图像粗定位的计算公式为：
，
其中，和/>表示无人机航拍图像粗定位坐标，/>、/>和/>分别表示无人机在x轴、y轴和z轴的初始位置，/>和/>表示投影方程偏移量，/>表示无人机图像的旋转矩阵，/>表示图像偏转角度，/>表示旋转矩阵权重值；
S302：根据无人机图像粗定位坐标，确认待匹配位置图像数据集，计算待匹配图像特征向量集合；
S303：对两图像中提取的特征向量集合进行匹配，通过注意力机制，利用自注意力机制和交叉注意力机制将特征点之间反复产生联系，自注意力机制是图像内节点的更新，交叉注意力机制是图像间节点的更新，最终得到匹配向量，由于不能完全保证匹配的正确性，需要筛选剔除错误的匹配，根据无人机图像的特殊性，特征点的局部近邻信息不会在局部非刚性变形的情况下自由变化，因此可以通过LPM算法，区分描述符集合中的内点和外点，实现对错误匹配的剔除，具体步骤如下：
1、构造代价函数，图像特征点之间局部邻域结构不会自由变化的情况下，相邻点对的分布仍然是可以得到的，具体代价函数的构造计算公式如下：
，
其中，表示代价函数，S表示候选匹配，I是求解的内点集合，N表示点的邻域，K表示最近邻数量,/>表示损失参数，/>表示两点间距离，
进行拓扑约束，拓扑约束描述了两幅图像相邻特征点的空间位置关系，利用位移向量来描述该约束，然后通过比较n各不相邻的匹配特征之间的差异，具体的特征点间的拓扑约束计算公式为：
，
其中，表示向量的模，
3、多尺度邻域构造，在经过约束后，图像域中均匀分布的特征点已经构建邻域，但外点的比例随着不同的匹配集合会发生变化，因此需要构造多尺度的邻域解决K的取值问题，
经过上述特征向量错误匹配剔除后，产生一个得分匹配矩阵，输出最终的最佳匹配图像，以最佳匹配图像的位置作为卫星失锁的最终位置进行重新定位，具体的得分匹配矩阵计算公式如下：
，
其中，表示得分匹配矩阵，M和N分别表示无人机航拍图像和待匹配路径图像中的特征点的数量，/>表示无人机航拍图像，/>表示待匹配路径图像，最后使用Sinkhorn算法，先逐行做归一化，即将第一行的每一个元素除以第一行每个元素所得的值作和，得到新的一行，对每一行进行相同的操作，再逐列做归一化，最后得到分配矩阵的最大值，比较最大值，获取最优分配结果。
实施例2
请参阅图6，本发明提供一种实施例：一种基于图像处理技术的卫星失锁重定位系统，其包括：
无人机传感器模块、无人机图像处理模块、无人机图像匹配模块、无人机图像定位模块，
无人机传感器模块：用于获取无人机航拍图像，记录无人机运行数据和无人机航拍图像的拍摄角度，
无人机图像处理模块：用于对无人机航拍图像预处理，计算图像特征点和特征描述子，获取特征向量集合，
无人机图像匹配模块：用于无人机航拍图像与路径图像匹配，
无人机图像定位模块，用于根据最佳匹配图像的位置作为卫星失锁的最终位置进行重新定位；
具体的，无人机传感器模块包括：
无人机，用于获取航拍图像，
陀螺仪，用于检测无人机拍摄时角度的变化率，
惯性测量单元，用于指示无人机的方向和速度；
具体的，无人机图像处理模块包括：
图像预处理单元，用于对无人机航拍图像进行尺度变换和去噪，
图像特征提取单元，用于定位无人机航拍图像特征点，计算特征描述子，获得特征向量集合；
具体的，无人机图像匹配模块包括：
无人机图像粗定位单元，用于获取无人机图像粗定位坐标，
路径图像特征提取单元，用于对粗定位坐标附近的路径图像进行特征提取，
无人机图像匹配单元，用于匹配最佳图像。
实施例3
本发明实施例的一种存储介质，存储介质中存储有指令，当计算机读取指令时，使计算机执行上述任一项的基于图像处理技术的卫星失锁重定位方法。
实施例4
请参阅图7，本发明实施例的一种电子设备，包括无人机410、处理器420、存储介质430和卫星失锁重定位显示面板440，其中，电子设备可以选用电脑、手机等。
无人机410用于在卫星失锁后获取航拍图像，处理器420可以与电子设备中的原件电连接，并执行存储介质430中的各项指令，卫星失锁重定位显示面板440用于显示在卫星失锁后移动的方向和距离，便于对目前位置的重新定位。
所属技术领域的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。
因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件（包括固件、驻留软件、微代码等），还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是一一但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM),只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种基于图像处理技术的卫星失锁重定位方法，其特征在于，包括以下步骤：
S1：获取无人机航拍图像，对采集到的图像进行预处理；
S2：对无人机航拍图像进行特征点检测，取目标点与周围邻域像素点灰度值之差判断是否为特征点，并计算特征描述子，生成特征匹配向量；
S3：对无人机路径上起点和终点连线位置的路径上的图像进行采集，根据特征匹配向量，通过最优匹配策略计算路径图像中的最佳匹配图像，以最佳匹配图像的位置作为卫星失锁的最终位置进行重新定位。
2.根据权利要求1所述的一种基于图像处理技术的卫星失锁重定位方法，其特征在于，步骤S1所述预处理包括无人机航拍图像裁剪和无人机航拍图像去噪。
3.根据权利要求2所述的一种基于图像处理技术的卫星失锁重定位方法，其特征在于，无人机航拍图像噪声包括天气因素造成的图像高斯白噪声和无人机拍摄过程中的气动噪声，具体无人机航拍图像去噪计算公式为：
，
其中，代表去噪后的无人机航拍图像矩阵，/>代表天气因素噪声因子，/>代表去噪前无人机航拍图像矩阵，/>代表图像灰度矫正参数，/>代表无人机航拍过程中的气动噪声因子，/>代表无人机航拍图像拉普拉斯锐化变换。
4.根据权利要求1所述的一种基于图像处理技术的卫星失锁重定位方法，其特征在于，所述步骤S2包括以下步骤：
S201：检测无人机航拍图像中特征点，获得图像中具有显著特征的区域，具体图像显著中心的计算公式为：
，
其中，表示无人机航拍图像显著中心的位置坐标，n为总像素，/>和/>分别是像素i的横坐标和纵坐标，/>是像素i的显著值；
S202：根据显著中心与周围邻域像素点灰度值之差判断显著中心是否为特征点，设定特征点差值阈值为P，计算显著中心与邻域各个像素点灰度值之差，将差值累加与差值阈值比较，如果显著中心与邻域各个像素点灰度值差值累加后的和大于P，则显著中心为特征点，确定该特征点的方向，并对其进行空间加权优化，具体空间加权优化计算公式为：
，
其中，表示特征点加权优化，n表示特征点邻域矩数，W表示加权权重值，/>表示傅里叶变换，/>表示傅里叶因子，/>表示特征点与各个邻域像素点灰度值差值累加后的和；
S203：利用BRIEF描述子对特征点进行特征描述，计算该特征点的特征点描述子，利用MLP网络将特征点转化为高维数据，并与特征点描述子相加，生成特征匹配向量。
5.根据权利要求1所述的一种基于图像处理技术的卫星失锁重定位方法，其特征在于，步骤S3所述最优匹配策略，具体包括以下步骤：
S301：利用嵌入式传感器中的无人机初始参数计算无人机航拍图像的粗定位，根据投影方程确定无人机图像中像素点的位置，具体无人机航拍图像粗定位的计算公式为：
，
其中，和/>表示无人机航拍图像粗定位坐标，/>、/>和/>分别表示无人机在x轴、y轴和z轴的初始位置，/>和/>表示投影方程偏移量，/>表示无人机图像的旋转矩阵，/>表示图像偏转角度，/>表示旋转矩阵权重值；
S302：根据无人机图像粗定位坐标，确认待匹配位置图像数据集，计算待匹配图像特征向量集合；
S303：对两图像中提取的特征向量集合进行匹配，通过注意力机制得到匹配向量集，构造代价函数，剔除错误匹配，产生一个得分匹配矩阵，输出最终的最佳匹配图像，以最佳匹配图像的位置作为卫星失锁的最终位置进行重新定位。
6.根据权利要求5所述的一种基于图像处理技术的卫星失锁重定位方法，其特征在于，所述注意力机制包括自注意力机制和交叉注意力机制。
7.一种基于图像处理技术的卫星失锁重定位系统，其基于权利要求1-6中任一项所述的一种基于图像处理技术的卫星失锁重定位方法实现，其特征在于，无人机传感器模块、无人机图像处理模块、无人机图像匹配模块、无人机图像定位模块；
所述无人机传感器模块：用于获取无人机航拍图像，记录无人机运行数据；
所述无人机图像处理模块：用于对无人机航拍图像预处理，计算图像特征点和特征描述子，获取特征向量集合；
所述无人机图像匹配模块：用于无人机航拍图像与路径图像匹配；
所述无人机图像定位模块，用于根据最佳匹配图像的位置作为卫星失锁的最终位置进行重新定位。
8.根据权利要求7所述的一种基于图像处理技术的卫星失锁重定位系统，其特征在于，所述无人机传感器模块包括：
无人机，用于获取航拍图像；
陀螺仪，用于检测无人机拍摄时角度的变化率；
惯性测量单元，用于指示无人机的方向和速度。
9.根据权利要求7所述的一种基于图像处理技术的卫星失锁重定位系统，其特征在于，所述无人机图像处理模块包括：
图像预处理单元，用于对无人机航拍图像进行裁剪和去噪；
图像特征提取单元，用于定位无人机航拍图像特征点，计算特征描述子，获得特征向量集合。
10.根据权利要求7所述的一种基于图像处理技术的卫星失锁重定位系统，其特征在于，所述无人机图像匹配模块包括：
无人机图像粗定位单元，用于获取无人机图像粗定位坐标；
路径图像特征提取单元，用于对粗定位坐标附近的路径图像进行特征提取；
无人机图像匹配单元，用于匹配最佳图像。
11.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如权利要求1-6中任一项所述的一种基于图像处理技术的卫星失锁重定位方法。
12.一种电子设备，其特征在于，包括处理器和权利要求11所述的存储介质，所述处理器执行所述存储介质中的指令。
CN202310988687.3A 2023-08-08 2023-08-08 一种基于图像处理技术的卫星失锁重定位方法及系统 Active CN116704037B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310988687.3A CN116704037B (zh) 2023-08-08 2023-08-08 一种基于图像处理技术的卫星失锁重定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310988687.3A CN116704037B (zh) 2023-08-08 2023-08-08 一种基于图像处理技术的卫星失锁重定位方法及系统

Publications (2)

Publication Number Publication Date
CN116704037A true CN116704037A (zh) 2023-09-05
CN116704037B CN116704037B (zh) 2024-01-05

Family

ID=87837927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310988687.3A Active CN116704037B (zh) 2023-08-08 2023-08-08 一种基于图像处理技术的卫星失锁重定位方法及系统

Country Status (1)

Country Link
CN (1) CN116704037B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100269143A1 (en) * 2009-04-21 2010-10-21 Irving Rabowsky System and Method for Satellite Enhanced Command, Control, and Surveillance Services Between Network Management Centers and Unmanned Land and Aerial Devices
US20180239982A1 (en) * 2014-11-18 2018-08-23 Elwha Llc Satellite with machine vision
CN109900265A (zh) * 2019-03-15 2019-06-18 武汉大学 一种camera/mems辅助北斗的机器人定位算法
CN111382674A (zh) * 2020-02-24 2020-07-07 江苏大学 一种基于视觉显著性的攻击行为猪的识别方法
CN111750864A (zh) * 2020-06-30 2020-10-09 杭州海康机器人技术有限公司 一种基于视觉地图的重定位方法和装置
CN112269202A (zh) * 2020-10-15 2021-01-26 武汉大学 一种运动载体辅助的空间基准传递系统及方法
CN112462398A (zh) * 2020-11-18 2021-03-09 北京中捷时代航空科技有限公司 一种卫星信号失锁重定位方法及系统
US20210203608A1 (en) * 2019-12-31 2021-07-01 Hughes Network Systems, Llc Estimating terminal location in a satellite communication system
CN113406682A (zh) * 2021-06-22 2021-09-17 腾讯科技（深圳）有限公司 一种定位方法、装置、电子设备及存储介质
CN114549871A (zh) * 2022-02-22 2022-05-27 哈尔滨工业大学 一种无人机航拍图像与卫星影像匹配方法
CN115187798A (zh) * 2022-06-15 2022-10-14 中国人民解放军32146部队 一种多无人机高精度匹配定位方法
CN116205394A (zh) * 2023-05-05 2023-06-02 浙江茂源林业工程有限公司 一种基于无线电导航的森林资源调查监测方法及系统
CN116433845A (zh) * 2023-04-19 2023-07-14 东南大学 一种基于多无人机协同的陌生环境快速建模方法及系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100269143A1 (en) * 2009-04-21 2010-10-21 Irving Rabowsky System and Method for Satellite Enhanced Command, Control, and Surveillance Services Between Network Management Centers and Unmanned Land and Aerial Devices
US20180239982A1 (en) * 2014-11-18 2018-08-23 Elwha Llc Satellite with machine vision
CN109900265A (zh) * 2019-03-15 2019-06-18 武汉大学 一种camera/mems辅助北斗的机器人定位算法
US20210203608A1 (en) * 2019-12-31 2021-07-01 Hughes Network Systems, Llc Estimating terminal location in a satellite communication system
CN111382674A (zh) * 2020-02-24 2020-07-07 江苏大学 一种基于视觉显著性的攻击行为猪的识别方法
CN111750864A (zh) * 2020-06-30 2020-10-09 杭州海康机器人技术有限公司 一种基于视觉地图的重定位方法和装置
CN112269202A (zh) * 2020-10-15 2021-01-26 武汉大学 一种运动载体辅助的空间基准传递系统及方法
CN112462398A (zh) * 2020-11-18 2021-03-09 北京中捷时代航空科技有限公司 一种卫星信号失锁重定位方法及系统
CN113406682A (zh) * 2021-06-22 2021-09-17 腾讯科技（深圳）有限公司 一种定位方法、装置、电子设备及存储介质
CN114549871A (zh) * 2022-02-22 2022-05-27 哈尔滨工业大学 一种无人机航拍图像与卫星影像匹配方法
CN115187798A (zh) * 2022-06-15 2022-10-14 中国人民解放军32146部队 一种多无人机高精度匹配定位方法
CN116433845A (zh) * 2023-04-19 2023-07-14 东南大学 一种基于多无人机协同的陌生环境快速建模方法及系统
CN116205394A (zh) * 2023-05-05 2023-06-02 浙江茂源林业工程有限公司 一种基于无线电导航的森林资源调查监测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DAN ZENG等: "Neighborhood geometry based feature matching for geostationary satellite remote sensing image", 《NEUROCOMPUTING》, vol. 36, pages 65 - 72 *
MINHUCK PARK等: "Global Navigation Satellite System Signal Generation Method for Wide Area Protection Against Numerous Unintentional Drones", 《IEEE ACCESS》, vol. 9, pages 154752 - 154765, XP011889052, DOI: 10.1109/ACCESS.2021.3126806 *
陈德潘: "MIMU/CSAC/BDS/GPS组合导航微系统技术研究", 《中国优秀硕士学位论文全文数据库_信息科技辑》, pages 136 - 709 *

Also Published As

Publication number Publication date
CN116704037B (zh) 2024-01-05

Similar Documents

Publication Publication Date Title
JP7326720B2 (ja) 移動体位置推定システムおよび移動体位置推定方法
CN109059906B (zh) 车辆定位方法、装置、电子设备、存储介质
US20200401617A1 (en) Visual positioning system
WO2018142900A1 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
CN102426019B (zh) 一种无人机景象匹配辅助导航方法及系统
US9270891B2 (en) Estimation of panoramic camera orientation relative to a vehicle coordinate frame
KR101105795B1 (ko) 항공 화상의 자동 처리
CN107690840B (zh) 无人机视觉辅助导航方法及系统
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
WO2012086821A1 (ja) 測位装置、測位方法
US20210274358A1 (en) Method, apparatus and computer program for performing three dimensional radio model construction
WO2014070390A1 (en) Systems and methods of merging multiple maps for computer vision based tracking
CN109871739B (zh) 基于yolo-sioctl的机动站自动目标检测与空间定位方法
CN109596121A (zh) 一种机动站自动目标检测与空间定位方法
CN111798453A (zh) 用于无人驾驶辅助定位的点云配准方法及其系统
CN113012215A (zh) 一种空间定位的方法、系统及设备
CN110636248B (zh) 目标跟踪方法与装置
CN110927765B (zh) 激光雷达与卫星导航融合的目标在线定位方法
CN113432594A (zh) 一种基于地图与环境的无人机自动导航系统
CN114556425A (zh) 定位的方法、设备、无人机和存储介质
CN111948658A (zh) 水底地貌影像识别匹配的深水区定位方法
CN116704037B (zh) 一种基于图像处理技术的卫星失锁重定位方法及系统
CN115952248A (zh) 终端设备的位姿处理方法、装置、设备、介质及产品
CN115164900A (zh) 一种基于全向相机的城市环境下视觉辅助导航方法及系统
Zhang et al. A road extraction method based on high resolution remote sensing image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant