CN116485856B - 一种基于语义分割的无人机图像地理配准方法及相关设备 - Google Patents

一种基于语义分割的无人机图像地理配准方法及相关设备 Download PDF

Info

Publication number
CN116485856B
CN116485856B CN202310483317.4A CN202310483317A CN116485856B CN 116485856 B CN116485856 B CN 116485856B CN 202310483317 A CN202310483317 A CN 202310483317A CN 116485856 B CN116485856 B CN 116485856B
Authority
CN
China
Prior art keywords
image
aerial vehicle
unmanned aerial
point
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310483317.4A
Other languages
English (en)
Other versions
CN116485856A (zh
Inventor
胡金星
尚佩晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202310483317.4A priority Critical patent/CN116485856B/zh
Publication of CN116485856A publication Critical patent/CN116485856A/zh
Application granted granted Critical
Publication of CN116485856B publication Critical patent/CN116485856B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于语义分割的无人机图像地理配准方法及相关设备，本发明通过加入道路语义约束将特征提取的关注区域集中于道路区域，可以有效地减少冗余特征，提高特征匹配效率，在特征匹配阶段对匹配的特征点对进行筛选，可以有效地消除误匹配，有利于提高图像配准精度，利用特征匹配得到无人机图像与基准图的像素对应关系，结合基准图像素坐标与地理坐标的映射关系，最终可以求解出无人机图像的地理坐标，实现了高精度的无人机图像地理配准。

Description

一种基于语义分割的无人机图像地理配准方法及相关设备
技术领域
本发明涉及计算机软件应用技术领域，尤其涉及一种基于语义分割的无人机图像地理配准方法、系统、终端及计算机可读存储介质。
背景技术
目前公共空间的安全监测主要通过部署大量监控设备实现，这些监控设备大多高度有限、视角单一，虽然监控设备已经被广泛部署，但仍然存在很多死角，这些死角可能隐藏着大量的潜在危险。随着无人机制造技术的发展，无人机以其高效、灵活、影像覆盖范围广等优点弥补了固定监控设备的不足，在公共安全领域发挥着重要的作用。
无人机图像地理配准技术通过将无人机图像与已有的基准图(如遥感图、无人机遥感影像等)进行比对和校正，来获得无人机图像像素坐标与地理坐标的映射关系。该技术常用于地形测绘和制图、环境监测、城市规划和管理以及搜索与救援等领域，这些领域都需要高精度、高分辨率的遥感数据来支持决策和管理。同时，无人机图像地理配准技术还可用于公共安全领域中，发挥着定位突发事件的地理位置、反映现场人员位置分布情况的作用，方便指挥人员对事件现场情况进行分析，从而提高事件处置效率，有利于保障人民的生命财产安全。
随着计算机视觉技术的发展，基于特征匹配的无人机图像地理配准方法逐渐成为了主流方法。这种方法避免了无人机参数误差对配准精度的影响，在一定程度上提高了无人机图像地理配准的精度。该方法的基本思路是先从两张图像中提取有用的信息形成特征描述，然后根据这些特征描述利用相似性度量和各种约束条件计算出两张图像之间的变换关系，从而将它们对齐。由于一些特征描述可以融合多种信息，因此基于特征的图像地理配准方法对噪声、形变及遮挡等干扰有较好的鲁棒性。
常见的基于特征的图像地理配准方法分为基于线特征的方法和基于点特征的方法。线特征包括道路、建筑物边缘、目标轮廓线等，边缘检测算法是图像处理中的一种基本技术，用于提取图像中的边缘信息。例如通过更新变形的变换参数，迭代最小化目标函数来实现多传感器图像配准方法。在包含强度信息和边缘方向信息的3D联合直方图的基础上，提出了一个新的基于熵的目标函数。为了补充基于熵的目标函数，还通过使用边缘方向的重合度量引入了一个加权函数。
基于点特征的方法由于其计算速度快、对灰度、局部遮挡和噪声的适应性强，在图像地理配准中得到广泛应用。特征点检测、特征点匹配和图像变换是基于点特征的图像地理配准方法的三个主要步骤。近年来，众多学者对基于点特征的图像地理配准方法展开了研究，并取得了丰硕的研究成果。例如针对多源遥感影像配准精度及效率低的问题，通过引入基于匹配特征向量的相似度度量改进SIFT特征匹配算法，通过采用控制特征点数量及分布、仿射变换粗匹配、误匹配点剔除策略，提高匹配效率及匹配性能，取得了更优的配准精度。例如用多尺度DoG算子来提取图像的局部特征并匹配，然后利用基于互信息的优化算法来实现图像的配准。该算法为了考虑非线性差异因素，还引入了局部特征描述符和新的距离度量函数，从而提高了算法的鲁棒性和精度。例如提出的基于深度卷积神经网络的框架，用于提高航空影像的配准精度。该框架通过ORB算法对航空影像粗配准，使用U-Net的语义分割算法从粗配准影像中提取和匹配有意义的形状信息。该框架可以自适应地学习图像的特征，从而在不同的环境和场景下提供更准确的配准结果。例如提出的基于深度学习的遥感图像配准框架，使用深度残差网络对图像特征进行提取，可以有效地提取输入图像的特征信息；配准网络则通过在特征图上应用空间变换模块，实现了对输入图像的准确配准。例如通过重新划分像素区域并结合矢量相关系数来改进SIFT算法，引入随机样本一致性算法剔除误匹配特征点，最后结合改进的图像配准算法、基于卷积神经网络的单应性矩阵估计模型和视频传感器的构象方程，完成无人机视频的配准。
由上述实现方案可以看出，由于许多边缘检测算法都需要根据图像本身进行计算，所以并不能保证对所有类型的图像都能提取出较为理想的边缘，这就限制了线特征的提取。此外，如果参考图像和待配准图像的分辨率差别很大，可能会导致在一个图像上出现的边缘和轮廓在另一个图像中并不存在。因此，基于线特征的图像地理配准方法存在一定的局限性。基于特征匹配的无人机图像地理配准方法避免了无人机参数误差对配准精度的影响，在一定程度上提高了无人机图像地理配准的精度。然而无人机图像覆盖区域通常只是基准图中很小的一部分，从基准图上提取的特征数量会是无人机图像特征数量的成千上万倍，在进行特征匹配时基准图中冗余的特征容易导致特征误匹配，同时增加了特征匹配时间，还会造成计算资源的浪费。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种基于语义分割的无人机图像地理配准方法、系统、终端及计算机可读存储介质，旨在解决现有技术中图像地理配准方法局限性较大，特征匹配时间长，浪费计算资源的问题。
为实现上述目的，本发明提供一种基于语义分割的无人机图像地理配准方法，所述基于语义分割的无人机图像地理配准方法包括如下步骤：
获取无人机图像的POS信息，根据所述POS信息进行姿态解算得到正射图像；
将所述正射图像输入至已训练好的语义分割模型，基于所述语义分割模型根据所述正射图像输出道路分割结果；
对所述道路分割结果进行特征点提取，得到道路特征点；
获取基准图，对所述基准图进行裁剪和标注得到道路语义约束结果，对所述道路语义约束结果进行特征点提取，并将提取到的特征点存储在特征点数据库中；
将所述道路特征点与所述特征点数据库进行特征点匹配，输出所述无人机图像与所述基准图的特征匹配结果；
根据所述特征匹配结果得到无人机图像特征点坐标与基准图特征点坐标的匹配关系，根据无人机图像特征点坐标-基准图特征点坐标-基准图特征点坐标对应的地理坐标解算得到无人机图像的地理坐标，以得到带有地理坐标的无人机配准图像。
此外，为实现上述目的，本发明还提供一种基于语义分割的无人机图像地理配准系统，其中，所述基于语义分割的无人机图像地理配准系统包括：
姿态解算模块，用于获取无人机图像的POS信息，根据所述POS信息进行姿态解算得到正射图像；
语义分割模块，用于将所述正射图像输入至已训练好的语义分割模型，基于所述语义分割模型根据所述正射图像输出道路分割结果；
特征提取模块，用于对所述道路分割结果进行特征点提取，得到道路特征点；
语义约束模块，用于获取基准图，对所述基准图进行裁剪和标注得到道路语义约束结果，对所述道路语义约束结果进行特征点提取，并将提取到的特征点存储在特征点数据库中；
特征匹配模块，用于将所述道路特征点与所述特征点数据库进行特征点匹配，输出所述无人机图像与所述基准图的特征匹配结果；
坐标解算模块，用于根据所述特征匹配结果得到无人机图像特征点坐标与基准图特征点坐标的匹配关系，根据无人机图像特征点坐标-基准图特征点坐标-基准图特征点坐标对应的地理坐标解算得到无人机图像的地理坐标，以得到带有地理坐标的无人机配准图像。
此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于语义分割的无人机图像地理配准程序，所述基于语义分割的无人机图像地理配准程序被所述处理器执行时实现如上所述的基于语义分割的无人机图像地理配准方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于语义分割的无人机图像地理配准程序，所述基于语义分割的无人机图像地理配准程序被处理器执行时实现如上所述的基于语义分割的无人机图像地理配准方法的步骤。
本发明中，获取无人机图像的POS信息，根据所述POS信息进行姿态解算得到正射图像；将所述正射图像输入至已训练好的语义分割模型，基于所述语义分割模型根据所述正射图像输出道路分割结果；对所述道路分割结果进行特征点提取，得到道路特征点；获取基准图，对所述基准图进行裁剪和标注得到道路语义约束结果，对所述道路语义约束结果进行特征点提取，并将提取到的特征点存储在特征点数据库中；将所述道路特征点与所述特征点数据库进行特征点匹配，输出所述无人机图像与所述基准图的特征匹配结果；根据所述特征匹配结果得到无人机图像特征点坐标与基准图特征点坐标的匹配关系，根据无人机图像特征点坐标-基准图特征点坐标-基准图特征点坐标对应的地理坐标解算得到无人机图像的地理坐标，以得到带有地理坐标的无人机配准图像。本发明通过加入道路语义约束将特征提取的关注区域集中于道路区域，可以有效地减少冗余特征，提高特征匹配效率，在特征匹配阶段对匹配的特征点对进行筛选，可以有效地消除误匹配，有利于提高图像配准精度，利用特征匹配得到无人机图像与基准图的像素对应关系，结合基准图像素坐标与地理坐标的映射关系，最终可以求解出无人机图像的地理坐标，实现了高精度的无人机图像地理配准。
附图说明
图1是本发明基于语义分割的无人机图像地理配准方法的较佳实施例的流程图；
图2是本发明基于语义分割的无人机图像地理配准方法的较佳实施例中进行无人机图像的地理配准的流程示意图；
图3是本发明基于语义分割的无人机图像地理配准方法的较佳实施例中无人机图像的成像模型的示意图；
图4是本发明基于语义分割的无人机图像地理配准方法的较佳实施例中现有使用的语义分割模型(UNet网络)结构示意图；
图5是本发明基于语义分割的无人机图像地理配准方法的较佳实施例中改进后的语义分割模型(UNet网络)结构示意图；
图6是本发明基于语义分割的无人机图像地理配准方法的较佳实施例中检测局部尺度空间极值点的示意图；
图7是本发明基于语义分割的无人机图像地理配准方法的较佳实施例中主梯度方向的示意图；
图8是本发明基于语义分割的无人机图像地理配准方法的较佳实施例中关键点描述符生成的示意图；
图9是本发明基于语义分割的无人机图像地理配准系统的较佳实施例的原理示意图；
图10为本发明终端的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了更加高效地实现基于特征匹配的图像配准方法，针对无人机图像与基准图成像设备与拍摄时间等不同，选取特征变化较小、区域覆盖广泛且连通的道路区域作为特征匹配的重点关注区域，本发明提出了一种基于语义分割的无人机图像地理配准方法，将POS信息与特征匹配相结合，通过改进UNet语义分割网络及加入道路语义约束实现了高精度的无人机图像地理配准。
本发明较佳实施例所述的基于语义分割的无人机图像地理配准方法，如图1和图2所示，所述基于语义分割的无人机图像地理配准方法包括以下步骤：
步骤S10、获取无人机图像的POS信息，根据所述POS信息进行姿态解算得到正射图像。
具体地，在图像地理配准过程中，建立影像中像点(像素点)和地面点之间的空间对应关系是至关重要的。在航空影像获取瞬间，由于像点、摄影中心和对应地面点共面，满足空间共线条件，因此可以通过共线条件方程来构建像点与对应地面点之间的空间映射关系。无人机图像的成像模型如图3所示，像点像素坐标到地理坐标的转换过程通常涉及像平面坐标系、像空间坐标系、像空间辅助坐标系及地面测量坐标系间的转换。
若假设像点a在二维像平面坐标系下的坐标为(x，y)，以摄影中心S为原点，x'、y'轴分别平行于像平面坐标系的x、y轴，z'轴与光轴重合，建立像空间坐标系，则像点a在像空间坐标系中的像空间坐标为(x，y，-f)，其中，f表示焦距。
以摄影中心S为原点，建立一个与地面测量坐标系平行的像空间辅助坐标系，若像点a在像空间辅助坐标系中的像空间辅助坐标为(u，v，w)，则像点a由像空间坐标(x，y，-f)转换为像空间辅助坐标(u，v，w)的坐标转换关系表示为：
其中，R为旋转矩阵，由方向余弦ai、bi、ci(i＝1,2,3)组成，ai、bi、ci(i＝1,2,3)由影像外方位元素中的俯仰角翻滚角ω、航偏角κ的正余弦计算得到：
或者已知像点a的像空间辅助坐标(u，v，w)，则反算得到像空间坐标(x，y，-f)：
通常是已知像空间坐标(x，y，-f)计算得到像空间辅助坐标(u，v，w)。
地面测量坐标系是空间左手直角坐标系，其XY平面与大地测量中的高斯-克吕格投影的平面直角坐标相同，高程以我国黄海高程系统为基准。在地面测量坐标系中，像点a对应地面点A的坐标为(XA，YA，ZA)，摄影中心S的坐标为(XS，YS，ZS)，根据相似三角形原理，像点a的像空间辅助坐标(u，v，w)与像点a对应地面点A地面测量坐标(XA，YA，ZA)之间存在的转换关系为：
其中，λ为比例因子，满足
根据公式(3)和(4)得到像点、摄影中心和对应地面点的共线条件方程为：
根据公式(3)和(4)得到共线条件方程式的反算式为：
若已知相机焦距f及摄影中心S的坐标(XS，YS，ZS)、俯仰角翻滚角ω、航偏角κ，则通过共线条件方程(5)解算得到地面点在无人机图像中对应的像素坐标x、y的值；若已知无人机图像的长宽尺寸，利用共线条件方程的反算式(6)计算得到无人机影像四个角点对应地面点的空间坐标；从而初步确定图像覆盖区域粗定位，并为进一步对图像进行精准配准奠定基础。
步骤S20、将所述正射图像输入至已训练好的语义分割模型，基于所述语义分割模型根据所述正射图像输出道路分割结果。
具体地，本发明基于UNet网络实现道路区域的语义分割。UNet网络于2015年被提出，是一种卷积神经网络架构，通常用于计算机视觉中的图像分割任务，属于FCN的一种变体，它简单高效且可以从小数据集中训练，网络结构如图4所示。由UNet网络结构可以看出UNet是一个编码-解码器的结构。在编码器中，每一个下采样模块由两个3*3卷积层(ReLU)和一个2*2的最大池化层组成，多个下采样模块连接构成编码器；在解码器中，每一个上采样模块由一个上采样的卷积层、特征拼接和两个3*3的卷积层(ReLU)构成，多个上采样模块连接得到了解码器。UNet的独特之处在于在编码和解码过程中对相应层特征进行跳跃连接，使得网络可以将低阶特征与高阶特征相结合，使其能够捕获详细信息和整体上下文。
本发明在UNet网络特征提取模块即编码器中加入了ASPP模块和CA模块，ASPP模块可以帮助网络更好地处理尺度变化和不同尺度物体的分割问题，CA模块可以帮助网络更好地关注和利用对分割任务有意义的特征，从而在实际应用中提高网络的性能表现，使得分割结果更加准确和可靠。
空洞空间金字塔池化(Atrous Spatial Pyramid Pooling，ASPP)模块首先在DeepLabv2网络中引入，并广泛应用于许多先进的语义分割模型，该模块通常用作特征提取器，旨在通过使用具有不同速率的并行空洞卷积和全局池化层从输入图像(即正射图像)中提取多尺度上下文信息，然后用于生成图像中对象类的密集像素级预测，密集像素级预测是指在计算机视觉中的一种技术，它的目的是将输入图像分割成像素级别的不同区域，并为每个像素预测相应的标签或类别，这种技术通常应用于图像分割、语义分割和实例分割等任务中。
CoordAttention(Coordinate Attention，CA)是一种为轻量级网络设计的注意力机制，它进一步考虑了输入特征图(以图5为例，输入特征图为X4,0的输出)中的位置信息。具体来说，CoordAttention将通道注意力分解为两个方向不同的一维特征编码过程，一维特征编码过程可以捕捉长程依赖，另一维特征编码过程可以保留位置信息。因此，CoordAttention生成的两个特征图分别编码方向感知和位置敏感信息，它们可以互补地应用于输入特征图，以增强感兴趣目标的表示。
改进的UNet模型(即本发明所使用的语义分割模型)结构如图5所示，其中，A表示ASPP模块、C表示CA模块。
步骤S30、对所述道路分割结果进行特征点提取，得到道路特征点。
步骤S40、获取基准图，对所述基准图进行裁剪和标注得到道路语义约束结果，对所述道路语义约束结果进行特征点提取，并将提取到的特征点存储在特征点数据库中。
具体地，基准图通常为已有数据，对其进行预处理可以有效提高算法效率。基准图预处理分为以下两步：
(1)道路语义约束
由于基准图大多为卫星遥感图或无人机低空遥感图，分辨率较高且覆盖范围较广，本发明针对重点关注区域对基准图进行裁剪，使用图像标注工具(例如labelme)对裁剪后的区域基准图进行标注，得到基准图的道路语义约束结果。
(2)道路特征点预提取
基于上一步得到的道路语义约束结果，采用SIFT算法对基准图道路语义约束区域进行特征点提取，并将提取到的特征点存储在特征点数据库中，这样做的好处是只用对基准图进行一次特征点提取，通过步骤S10得到的图像覆盖区域粗定位，可以快速在特征点数据库中找出在该区域内的基准图特征点，有利于提高下一步的特征匹配效率。
步骤S50、将所述道路特征点与所述特征点数据库进行特征点匹配，输出所述无人机图像与所述基准图的特征匹配结果。
具体地，首先选取基准图与无人机图像的重点关注区域，由于道路区域在影像中属于特征变化较小，区域覆盖广泛且连通，因此本发明选取道路区域作为特征匹配的重点关注区域，采用语义约束的方式对基准图与无人机图像进行道路语义分割，进而对道路分割结果基于SIFT特征匹配算法输出无人机图像与基准图的特征匹配结果。
尺度不变特征变换(Scale-invariant feature transform，SIFT)算法是一种计算机视觉中用于关键点检测和描述的算法，该算法能够提取出图像的局部特征，具有尺度、旋转和光照不变性，因此在计算机视觉领域中得到了广泛的应用。
SIFT算法的主要实现步骤如下：
(1)尺度空间极值检测
在SIFT算法中，使用高斯差分金字塔来检测图像在不同尺度下的极值点，高斯差分金字塔是由高斯金字塔相邻两层相减得到的，因为高斯函数在不同尺度下具有不同的标准差，可以用来表示不同尺度下的图像特征。在每个尺度空间中，使用高斯核函数对图像进行滤波，生成高斯金字塔。然后，对每个尺度空间内的相邻高斯金字塔差分进行操作，生成高斯差分金字塔。接下来，在高斯差分金字塔中找到局部极值点，即局部最大值点或局部最小值点，极值点通常与边缘和角点相对应。如图6所示，通过在不同尺度层次上检测特定像素点及其周围像素的灰度值，并对它们进行比较，以确定是否存在局部极值点。
(2)关键点定位
对于检测到的局部极值点，使用尺度空间的高斯差分响应曲线进行更精确的定位，以确定它们的精确位置和尺度。一般来说，候选特征点周围的像素都有比较明显的梯度变化。因此，可以通过对候选点周围像素进行一定的插值操作，来提高关键点的精度。拟合高斯差分响应曲线表达式为：
对公式(7)进行求导并令等于零，求出局部极值点X：
局部极值点X对应的方程值D(X)为：
根据公式(8)和公式(9)求出D(X)值，该值在去除对比度低的和不稳定的关键点起重要作用，在实际应用中，通常删除|D(X)<0.03|的对比度低且不稳定的关键点。
(3)方向分配
为每个关键点分配主方向，以使该关键点的描述符具有旋转不变性。为了实现这一点，在关键点周围的区域内计算梯度方向直方图，并找到其峰值方向。具体来说，将关键点周围的像素分成若干个子区域，每个子区域内计算梯度的方向和大小，并将其投影到一个36维的梯度方向直方图中。然后，从该直方图中找到峰值方向，并将其作为关键点的主方向，如图7所示。
其中，关键点的梯度和方向的计算为：
设置辅方向以增强特征点的匹配效果，辅方向的选择依据是其峰值大于主方向峰值80％。这意味着在具有多个峰值的梯度中，同一位置和尺度可能会出现多个方向不同的关键点，这样可以提高特征点的鲁棒性和多样性，有助于更好地匹配图像。
(4)关键点描述
使用关键点的主方向和周围像素的梯度信息来生成其描述符。将关键点的周围区域分成若干个子区域，并计算每个子区域内的梯度方向直方图，然后将这些直方图连接起来，形成该关键点的描述符。具体来说，将关键点周围的像素分成若干个子区域，每个子区域内计算梯度的方向和大小，并将其投影到一个128维向量中，这个向量就是该关键点的描述符，该过程如图8所示。对生成的关键点描述符进行阈值处理，去除超过某个阈值的值，然后将其归一化为单位长度，以减少光照变化的影响并增加算法的鲁棒性。
(5)特征点匹配
通过比较两个图像中的关键点描述符，找到它们之间的最佳匹配。在这里，可以使用一些距离度量方法，例如欧氏距离或汉明距离等，来衡量两个特征点描述符之间的相似程度。找到每个特征点在另一幅图像中的最佳匹配后，可以使用一些鲁棒性更强的方法，例如RANSAC(Random Sample Consensus，随机抽样一致算法)算法，来进一步筛选出正确的匹配点对。
步骤S60、根据所述特征匹配结果得到无人机图像特征点坐标与基准图特征点坐标的匹配关系，根据无人机图像特征点坐标-基准图特征点坐标-基准图特征点坐标对应的地理坐标解算得到无人机图像的地理坐标，以得到带有地理坐标的无人机配准图像。
具体地，在本发明中，基准图为已知地理坐标的遥感图像，即已知基准图像素坐标与地理坐标间的对应关系，由特征匹配结果可以知道无人机图像特征点坐标与基准图特征点坐标的匹配关系，通过无人机图像特征点坐标-基准图特征点坐标-基准图特征点坐标对应的地理坐标可以进一步解算出无人机图像的地理坐标，实现无人机图像的地理配准。
由于现有无人机图像地理配准技术无法满足公共安全领域的应用，本发明提出了一种基于语义分割的无人机图像地理配准方法，该方法使用了无人机POS信息、图像语义分割、特征匹配等技术手段，通过加入道路语义约束使得本发明方法配准效率更快、配准精度更高，有利于无人机图像地理配准技术在公共安全领域发挥更大的作用。针对UNet网络在图像的清晰度和质量存在较大差异的无人机图像中分割表现较差的问题，本发明在UNet网络特征提取模块即编码器中加入了ASPP模块和CA模块，ASPP模块可以帮助网络更好地处理尺度变化和不同尺度物体的分割问题，CA模块可以帮助网络更好地关注和利用对分割任务有意义的特征，从而在实际应用中提高网络的性能表现，使得分割结果更加准确和可靠。
本发明的优势在于解决了现有无人机图像地理配准技术配准精度及效率低的问题。通过无人机POS信息、图像语义分割、特征匹配等技术手段相结合，克服了无人机POS信息测量误差与计算误差导致的配准精度低的问题；另外，针对无人机图像与基准图成像设备与拍摄时间等不同，选取特征变化较小、区域覆盖广泛且连通的道路区域作为特征匹配的重点关注区域，通过加入道路语义约束，克服了基于特征匹配的方法中特征点冗余导致的计算量大、配准效率低的不足。
本发明提出的基于语义分割的无人机图像地理配准方法，由改进的UNet语义分割网络及基于道路语义约束的特征匹配算法组成。改进的UNet语义分割网络通过加入ASPP模块和CA模块使得提取特征更加有效，提高了模型分割精度。通过加入道路语义约束将特征提取的关注区域集中于道路区域，该策略可以有效地减少冗余特征，提高特征匹配效率。在特征匹配阶段通过RANSAC算法对匹配的特征点对进行筛选，可以有效地消除误匹配，有利于提高图像配准精度。利用特征匹配得到无人机图像与基准图的像素对应关系，结合基准图像素坐标与地理坐标的映射关系，最终可以求解出无人机图像的地理坐标，实现无人机图像的地理配准。
进一步地，如图9所示，基于上述基于语义分割的无人机图像地理配准方法，本发明还相应提供了一种基于语义分割的无人机图像地理配准系统，其中，所述基于语义分割的无人机图像地理配准系统包括：
姿态解算模块51，用于获取无人机图像的POS信息，根据所述POS信息进行姿态解算得到正射图像；
语义分割模块52，用于将所述正射图像输入至已训练好的语义分割模型，基于所述语义分割模型根据所述正射图像输出道路分割结果；
特征提取模块53，用于对所述道路分割结果进行特征点提取，得到道路特征点；
语义约束模块54，用于获取基准图，对所述基准图进行裁剪和标注得到道路语义约束结果，对所述道路语义约束结果进行特征点提取，并将提取到的特征点存储在特征点数据库中；
特征匹配模块55，用于将所述道路特征点与所述特征点数据库进行特征点匹配，输出所述无人机图像与所述基准图的特征匹配结果；
坐标解算模块56，用于根据所述特征匹配结果得到无人机图像特征点坐标与基准图特征点坐标的匹配关系，根据无人机图像特征点坐标-基准图特征点坐标-基准图特征点坐标对应的地理坐标解算得到无人机图像的地理坐标，以得到带有地理坐标的无人机配准图像。
进一步地，如图10所示，基于上述基于语义分割的无人机图像地理配准方法和系统，本发明还相应提供了一种终端，所述终端包括处理器10、存储器20及显示器30。图10仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据，例如所述安装终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于语义分割的无人机图像地理配准程序40，该基于语义分割的无人机图像地理配准程序40可被处理器10所执行，从而实现本申请中基于语义分割的无人机图像地理配准方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述基于语义分割的无人机图像地理配准方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器30用于显示在所述终端的信息以及用于显示可视化的用户界面。所述终端的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中基于语义分割的无人机图像地理配准程序40时实现上述基于语义分割的无人机图像地理配准方法的步骤。
本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于语义分割的无人机图像地理配准程序，所述基于语义分割的无人机图像地理配准程序被处理器执行时实现如上所述的基于语义分割的无人机图像地理配准方法的步骤。
综上所述，本发明提供一种基于语义分割的无人机图像地理配准方法及相关设备，所述方法包括：获取无人机图像的POS信息，根据所述POS信息进行姿态解算得到正射图像；将所述正射图像输入至已训练好的语义分割模型，基于所述语义分割模型根据所述正射图像输出道路分割结果；对所述道路分割结果进行特征点提取，得到道路特征点；获取基准图，对所述基准图进行裁剪和标注得到道路语义约束结果，对所述道路语义约束结果进行特征点提取，并将提取到的特征点存储在特征点数据库中；将所述道路特征点与所述特征点数据库进行特征点匹配，输出所述无人机图像与所述基准图的特征匹配结果；根据所述特征匹配结果得到无人机图像特征点坐标与基准图特征点坐标的匹配关系，根据无人机图像特征点坐标-基准图特征点坐标-基准图特征点坐标对应的地理坐标解算得到无人机图像的地理坐标，以得到带有地理坐标的无人机配准图像。本发明通过加入道路语义约束将特征提取的关注区域集中于道路区域，可以有效地减少冗余特征，提高特征匹配效率，在特征匹配阶段对匹配的特征点对进行筛选，可以有效地消除误匹配，有利于提高图像配准精度，利用特征匹配得到无人机图像与基准图的像素对应关系，结合基准图像素坐标与地理坐标的映射关系，最终可以求解出无人机图像的地理坐标，实现了高精度的无人机图像地理配准。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的计算机可读存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (9)

1.一种基于语义分割的无人机图像地理配准方法，其特征在于，所述基于语义分割的无人机图像地理配准方法包括：
获取无人机图像的POS信息，根据所述POS信息进行姿态解算得到正射图像；
将所述正射图像输入至已训练好的语义分割模型，基于所述语义分割模型根据所述正射图像输出道路分割结果；
对所述道路分割结果进行特征点提取，得到道路特征点；
获取基准图，对所述基准图进行裁剪和标注得到道路语义约束结果，对所述道路语义约束结果进行特征点提取，并将提取到的特征点存储在特征点数据库中；
将所述道路特征点与所述特征点数据库进行特征点匹配，输出所述无人机图像与所述基准图的特征匹配结果；
根据所述特征匹配结果得到无人机图像特征点坐标与基准图特征点坐标的匹配关系，根据无人机图像特征点坐标-基准图特征点坐标-基准图特征点坐标对应的地理坐标解算得到无人机图像的地理坐标，以得到带有地理坐标的无人机配准图像；
所述将所述道路特征点与所述特征点数据库进行特征点匹配，输出所述无人机图像与所述基准图的特征匹配结果，具体包括：
在每个尺度空间中，使用高斯核函数对图像进行滤波，生成高斯金字塔，对每个尺度空间内的相邻高斯金字塔差分进行操作，生成高斯差分金字塔，在高斯差分金字塔中找到局部极值点，所述局部极值点包括局部最大值点或局部最小值点；
对于检测到的局部极值点，使用尺度空间的高斯差分响应曲线进行定位，以确定精确位置和尺度，对候选特征点周围像素进行一定的插值操作，拟合高斯差分响应曲线表达式为：
对公式(7)进行求导并令等于零，求出局部极值点X：
局部极值点X对应的方程值D(X)为：
根据公式(8)和公式(9)求出D(X)值，并删除|D(X)<0.03|的对比度低且不稳定的关键点；
将关键点周围的像素分成若干个子区域，每个子区域内计算梯度的方向和大小，并投影到一个36维的梯度方向直方图中，从直方图中找到峰值方向，并作为关键点的主方向，关键点的梯度和方向的计算为：
将关键点的周围区域分成若干个子区域，并计算每个子区域内的梯度方向直方图，将所有直方图连接起来，形成关键点的描述符，对生成的关键点的描述符进行阈值处理，去除超过预设阈值的值，并归一化为单位长度；
基于距离度量方法衡量两个特征点描述符之间的相似程度，找到每个特征点在另一幅图像中的最佳匹配后，筛选出正确的匹配点对。
2.根据权利要求1所述的基于语义分割的无人机图像地理配准方法，其特征在于，所述获取无人机图像的POS信息，根据所述POS信息进行姿态解算得到正射图像，具体包括：
若像点a在二维像平面坐标系下的坐标为(x，y)，以摄影中心S为原点，x'、y'轴分别平行于像平面坐标系的x、y轴，z'轴与光轴重合，建立像空间坐标系，则像点a在像空间坐标系中的像空间坐标为(x，y，-f)，其中，f表示焦距；
以摄影中心S为原点，建立一个与地面测量坐标系平行的像空间辅助坐标系，若像点a在像空间辅助坐标系中的像空间辅助坐标为(u，v，w)，则像点a由像空间坐标(x，y，-f)转换为像空间辅助坐标(u，v，w)的坐标转换关系表示为：
其中，R为旋转矩阵，由方向余弦ai、bi、ci(i＝1,2,3)组成，ai、bi、ci(i＝1,2,3)由影像外方位元素中的俯仰角翻滚角ω、航偏角κ的正余弦计算得到：
或者已知像点a的像空间辅助坐标(u，v，w)，则反算得到像空间坐标(x，y，-f)：
在地面测量坐标系中，像点a对应地面点A的坐标为(XA，YA，ZA)，摄影中心S的坐标为(XS，YS，ZS)，根据相似三角形原理，像点a的像空间辅助坐标(u，v，w)与像点a对应地面点A地面测量坐标(XA，YA，ZA)之间存在的转换关系为：
其中，λ为比例因子，满足
根据公式(3)和(4)得到像点、摄影中心和对应地面点的共线条件方程为：
根据公式(3)和(4)得到共线条件方程式的反算式为：
若已知相机焦距f及摄影中心S的坐标(XS，YS，ZS)、俯仰角翻滚角ω、航偏角κ，则通过共线条件方程(5)解算得到地面点在无人机图像中对应的像素坐标x、y的值；若已知无人机图像的长宽尺寸，利用共线条件方程的反算式(6)计算得到无人机影像四个角点对应地面点的空间坐标；以初步确定图像覆盖区域粗定位。
3.根据权利要求1所述的基于语义分割的无人机图像地理配准方法，其特征在于，所述语义分割模型包括编码器和解码器；
所述编码器中每一个下采样模块由两个3*3卷积层和一个2*2的最大池化层组成，多个下采样模块连接构成编码器；
所述解码器中每一个上采样模块由一个上采样的卷积层、特征拼接和两个3*3的卷积层构成，多个上采样模块连接构成解码器。
4.根据权利要求3所述的基于语义分割的无人机图像地理配准方法，其特征在于，所述基于语义分割的无人机图像地理配准方法还包括：
在所述编码器中加入ASPP模块和CA模块；
所述ASPP模块用于通过使用具有不同速率的并行空洞卷积和全局池化层从正射图像中提取多尺度上下文信息，并用于生成图像中对象类的密集像素级预测；
所述CA模块用于生成两个特征图，分别用来编码方向感知和位置敏感信息。
5.根据权利要求1所述的基于语义分割的无人机图像地理配准方法，其特征在于，所述获取基准图，对所述基准图进行裁剪和标注得到道路语义约束结果，对所述道路语义约束结果进行特征点提取，并将提取到的特征点存储在特征点数据库中，具体包括：
获取基准图，针对重点关注区域对所述基准图进行裁剪，使用图像标注工具对裁剪得到的基准图进行标注，得到道路语义约束结果；
基于所述道路语义约束结果，采用SIFT算法对所述道路语义约束结果进行特征点提取，并将提取到的特征点存储在特征点数据库中。
6.根据权利要求1所述的基于语义分割的无人机图像地理配准方法，其特征在于，采用RANSAC算法对匹配的特征点对进行筛选。
7.一种基于语义分割的无人机图像地理配准系统，其特征在于，所述基于语义分割的无人机图像地理配准系统包括：
姿态解算模块，用于获取无人机图像的POS信息，根据所述POS信息进行姿态解算得到正射图像；
语义分割模块，用于将所述正射图像输入至已训练好的语义分割模型，基于所述语义分割模型根据所述正射图像输出道路分割结果；
特征提取模块，用于对所述道路分割结果进行特征点提取，得到道路特征点；
语义约束模块，用于获取基准图，对所述基准图进行裁剪和标注得到道路语义约束结果，对所述道路语义约束结果进行特征点提取，并将提取到的特征点存储在特征点数据库中；
特征匹配模块，用于将所述道路特征点与所述特征点数据库进行特征点匹配，输出所述无人机图像与所述基准图的特征匹配结果；
坐标解算模块，用于根据所述特征匹配结果得到无人机图像特征点坐标与基准图特征点坐标的匹配关系，根据无人机图像特征点坐标-基准图特征点坐标-基准图特征点坐标对应的地理坐标解算得到无人机图像的地理坐标，以得到带有地理坐标的无人机配准图像；
所述将所述道路特征点与所述特征点数据库进行特征点匹配，输出所述无人机图像与所述基准图的特征匹配结果，具体包括：
在每个尺度空间中，使用高斯核函数对图像进行滤波，生成高斯金字塔，对每个尺度空间内的相邻高斯金字塔差分进行操作，生成高斯差分金字塔，在高斯差分金字塔中找到局部极值点，所述局部极值点包括局部最大值点或局部最小值点；
对于检测到的局部极值点，使用尺度空间的高斯差分响应曲线进行定位，以确定精确位置和尺度，对候选特征点周围像素进行一定的插值操作，拟合高斯差分响应曲线表达式为：
对公式(7)进行求导并令等于零，求出局部极值点X：
局部极值点X对应的方程值D(X)为：
根据公式(8)和公式(9)求出D(X)值，并删除|D(X)<0.03|的对比度低且不稳定的关键点；
将关键点周围的像素分成若干个子区域，每个子区域内计算梯度的方向和大小，并投影到一个36维的梯度方向直方图中，从直方图中找到峰值方向，并作为关键点的主方向，关键点的梯度和方向的计算为：
将关键点的周围区域分成若干个子区域，并计算每个子区域内的梯度方向直方图，将所有直方图连接起来，形成关键点的描述符，对生成的关键点的描述符进行阈值处理，去除超过预设阈值的值，并归一化为单位长度；
基于距离度量方法衡量两个特征点描述符之间的相似程度，找到每个特征点在另一幅图像中的最佳匹配后，筛选出正确的匹配点对。
8.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于语义分割的无人机图像地理配准程序，所述基于语义分割的无人机图像地理配准程序被所述处理器执行时实现如权利要求1-6任一项所述的基于语义分割的无人机图像地理配准方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有基于语义分割的无人机图像地理配准程序，所述基于语义分割的无人机图像地理配准程序被处理器执行时实现如权利要求1-6任一项所述的基于语义分割的无人机图像地理配准方法的步骤。
CN202310483317.4A 2023-04-28 2023-04-28 一种基于语义分割的无人机图像地理配准方法及相关设备 Active CN116485856B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310483317.4A CN116485856B (zh) 2023-04-28 2023-04-28 一种基于语义分割的无人机图像地理配准方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310483317.4A CN116485856B (zh) 2023-04-28 2023-04-28 一种基于语义分割的无人机图像地理配准方法及相关设备

Publications (2)

Publication Number Publication Date
CN116485856A CN116485856A (zh) 2023-07-25
CN116485856B true CN116485856B (zh) 2024-07-09

Family

ID=87219269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310483317.4A Active CN116485856B (zh) 2023-04-28 2023-04-28 一种基于语义分割的无人机图像地理配准方法及相关设备

Country Status (1)

Country Link
CN (1) CN116485856B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422746B (zh) * 2023-10-23 2024-06-21 武汉珈和科技有限公司 分区非线性地理配准方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527328A (zh) * 2017-09-01 2017-12-29 扆冰蕾 一种兼顾精度与速度的无人机影像几何处理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931684B (zh) * 2020-08-26 2021-04-06 北京建筑大学 一种基于视频卫星数据鉴别特征的弱小目标检测方法
CN112950508B (zh) * 2021-03-12 2022-02-11 中国矿业大学(北京) 一种基于计算机视觉的排水管道视频数据修复方法
CN114936971A (zh) * 2022-06-08 2022-08-23 浙江理工大学 一种面向水域的无人机遥感多光谱图像拼接方法及系统
CN115187798A (zh) * 2022-06-15 2022-10-14 中国人民解放军32146部队 一种多无人机高精度匹配定位方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527328A (zh) * 2017-09-01 2017-12-29 扆冰蕾 一种兼顾精度与速度的无人机影像几何处理方法

Also Published As

Publication number Publication date
CN116485856A (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
Alcantarilla et al. Street-view change detection with deconvolutional networks
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
Ma et al. A review of 3D reconstruction techniques in civil engineering and their applications
US20200401617A1 (en) Visual positioning system
Brilakis et al. Toward automated generation of parametric BIMs based on hybrid video and laser scanning data
Munawar et al. Mining multispectral aerial images for automatic detection of strategic bridge locations for disaster relief missions
CN109871739B (zh) 基于yolo-sioctl的机动站自动目标检测与空间定位方法
Xu et al. A 3D reconstruction method for buildings based on monocular vision
CN116485856B (zh) 一种基于语义分割的无人机图像地理配准方法及相关设备
CN110929782B (zh) 一种基于正射影像图对比的河道异常检测方法
Zhang et al. 3D urban buildings extraction based on airborne lidar and photogrammetric point cloud fusion according to U-Net deep learning model segmentation
CN116643291A (zh) 一种视觉与激光雷达联合剔除动态目标的slam方法
Jiang et al. Leveraging vocabulary tree for simultaneous match pair selection and guided feature matching of UAV images
Wei et al. 3D imaging in construction and infrastructure management: Technological assessment and future research directions
Zhu et al. Depth-enhanced feature pyramid network for occlusion-aware verification of buildings from oblique images
Han et al. Scan2drawing: use of deep learning for as-built model landscape architecture
CN115565072A (zh) 一种道路垃圾识别和定位方法、装置、电子设备及介质
Jiang et al. 3D reconstruction of spherical images based on incremental structure from motion
Shi et al. Building extraction from high-resolution remotely sensed imagery based on multi-subgraph matching
Mondal Development of Multimodal Fusion-Based Visual Data Analytics for Robotic Inspection and Condition Assessment
Stütz et al. Ground filtering of Co-registered mobile and stationary laser scans by using superpoints in Ransac Planes
Hu et al. Accurate fiducial mapping for pose estimation using manifold optimization
Persson et al. Fusion of aerial images and sensor data from a ground vehicle for improved semantic mapping
KR102249380B1 (ko) 기준 영상 정보를 이용한 cctv 장치의 공간 정보 생성 시스템
Jia et al. Towards accurate correspondence between BIM and construction using high-dimensional point cloud feature tensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant