CN117876723B - 一种拒止环境下无人机航拍图像全局检索定位方法 - Google Patents

Abstract

一种拒止环境下无人机航拍图像全局检索定位方法，包括：1、利用搭载云台相机的无人机采集航拍图像，并对航拍图像进行校正；2、运用尺度不变特征变换算法识别航拍图像的特征点，构建航拍图像的图像特征向量描述符；3、构建全局卫星地图信息库，并分割成指定数量的卫星地图，分别构建每个卫星地图的图像特征向量描述符；4、利用航拍图像分别与每个卫星地图进行匹配，得到匹配成功的卫星地图，得到航拍图像与卫星图像的变换关系，得到航拍目标的定位信息。本发明克服了无GPS信号时难以准确定位目标位置的问题，大大提高了无人机航拍图像的定位精度和可靠性，为各种应用场景提供了强大的支持。

Description

一种拒止环境下无人机航拍图像全局检索定位方法

技术领域

本发明涉及航拍图像匹配技术领域，特别涉及一种拒止环境下无人机航拍图像全局检索定位方法。

背景技术

无人机航拍技术的飞速发展和广泛应用已经改变了多个领域的工作方式和方法。无人机不仅在商业领域，如农业和土地测绘，提供了高效的数据收集工具，还在紧急救援、环境监测和基础设施管理等领域发挥着关键作用。这一技术的崛起正在重塑我们如何获取地理信息和进行空中观察。

然而，尽管无人机技术已经取得了巨大进展，但在复杂环境中实现准确的无人机定位和导航仍然是一个具有挑战性的问题。全球卫星定位系统（GPS）通常是无人机定位的主要依赖，但它并不总是可行的。在某些情况下，例如在城市峡谷、森林覆盖或高楼大厦密集的城市区域，GPS信号可能会受到阻碍或干扰，导致无人机难以获取准确的位置信息。

这一挑战不仅仅限于信号覆盖问题，还涉及到某些任务的高精度要求。在搜寻救援任务中，迅速而精确地定位目标可能是生命攸关的，而GPS信号的定位精度有时难以满足这些需求。同样，在制作精确的卫星地图或进行监测和检测时，高精度的定位信息至关重要，以确保数据的准确性和可靠性。

发明内容

本发明提供了一种拒止环境下无人机航拍图像全局检索定位方法，以解决现有无人机定位方法利用GPS信号的定位，GPS信号在偏远的地方信号会受到阻碍或干扰，导致无人机难以获取准确的位置信息的技术问题。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种拒止环境下无人机航拍图像全局检索定位方法，包括如下步骤：

S1、利用搭载云台相机的无人机采集航拍图像，结合无人机的姿态信息与云台相机内部参数对无人机采集的航拍图像进行校正，得到矫正后的航拍图像；

S2、运用尺度不变特征变换算法识别矫正后的航拍图像的特征点，并构建航拍图像的图像特征向量描述符；

S3、构建用于图像检索的全局卫星地图信息库，并将全局卫星地图信息库分割成指定数量的卫星地图，运用尺度不变特征变换算法识别每块卫星地图的特征点，并分别构建每个卫星地图的图像特征向量描述符；

S4、利用矫正后的航拍图像的图像特征向量描述符分别与每个卫星地图的图像特征向量描述符进行对比，得到匹配成功的卫星地图，并计算单应性矩阵，得到航拍图像与卫星图像的变换关系，通过航拍图像与卫星图像的变换关系可得到航拍目标的定位信息。

进一步地，所述S1具体包括如下步骤：

S11、利用搭载云台相机的无人机采集航拍图像，由于此刻无人机处于倾斜状态，所以采集的航拍图像为畸变图像；

S12、结合云台相机的内部参数以及无人机所处的海拔高度，计算畸变图像四个角点在地球参数系上的相对位置距离，并通过相对位置距离、旋转矩阵和平移矩阵对畸变图像进行矫正，得到矫正后的航拍图像。

进一步地，所述S12采用公式表示，具体如下：

(1)

式（1）中，u、v分别表示图像坐标系的像素坐标；、/>均为云台相机的内部参数；、/>均为平移向量；/>、/>分别表示世界坐标系到相机坐标系的旋转矩阵和平移矩阵；、/>和/>分别表示世界坐标系的三维真实坐标。

进一步地，所述S2具体包括如下步骤：

S21、利用高斯模糊函数获取多个不同的尺度空间，采用尺度不变特征变换算法在不同的尺度空间上对矫正后的航拍图像提取N个特征点，形成（N，128）的特征向量；

S22、利用K均值的聚类方法，把该图像所有的特征点按照最近邻算法分配到K个聚类中心上；

S23、对每个聚类中心做残差和，最后对该残差和做归一化，将归一化的结果进行拼接，得到图像特征向量描述符，即(K,128)维图像描述向量。

进一步地，所述S21中的高斯模糊函数具体如下：

(2)

式（2）中，为正态分布的标准差，/>越大图像越模糊、越平滑；/>为模糊半径，指模板元素到模板中心的距离。

进一步地，所述S22中的最近邻算法，在计算两个样本之间的距离时，使用欧式距离进行度量，欧式距离是指在n维空间中两个点之间的直线距离，计算公式为：

(3)

式（3）中，和/>分别为两个样本的特征向量，两个样本分别对应矫正后的航拍图像中的两个特征点，/>、/>分别表示n维空间中的两个坐标点。

进一步地，所述S23中的归一化，采用公式表示具体如下：

(4)

式（4）为一行特征向量的归一化过程，其中，为特征向量的长度；/>、/>分别表示n维空间中的第i个坐标点的x轴和y轴的数值。

进一步地，所述S3具体包括如下步骤：

S31、构建全局卫星地图信息库，全局卫星地图信息库用于图像检索，以寻得与矫正后的航拍图像匹配的底图；

S32、将全局卫星地图信息库分割成M个卫星地图；运用尺度不变特征变换算法分别识别M个卫星地图的特征点，并分别构建每个卫星地图的图像特征向量描述符，形成一个(M，K，128)的图像向量库，包含M个(K,128)图像向量。

进一步地，所述S4具体包括如下步骤：

S41、构建损失函数，将S23中航拍图像所形成的(K,128)维图像描述向量与S32中的图像向量库中的M个(K,128)图像向量进行分别对比，计算两张对比图像之间的损失值，最终得到多个损失值，对多个损失值进行大小排序，从损失值从小至大开始，每五张图像作为一组图像，取损失值最小的一组图像作为推荐的五张卫星地图；

S42、从推荐的五张卫星地图中依次选择一张卫星地图分别与矫正后的航拍图像进行匹配，分别对航拍图像、卫星地图采用尺度不变特征变换算法提取所选卫星地图的特征点，得到匹配对，再采用随机选取一致性方法进行错误匹配过滤，选取出正确的匹配对；

S43、如果正确的匹配对达到设定数量时，则图像匹配成功；如果从推荐的五张卫星地图中找到的正确的匹配对没有达到设定数量，则将S41中多组图像中的下一组图像作为推荐的五张卫星地图，并循环S42，直至航拍图像与卫星地图匹配成功；

S44、计算航拍图像与匹配成功的卫星地图之间的单应性矩阵，用于将航拍图像上的点与匹配成功的卫星图像上的点一一对应，得到航拍图像与卫星图像的变换关系，利用航拍图像与卫星图像的变换关系即可通过匹配成功的卫星地图的经纬度坐标得到航拍目标的定位信息。

进一步地，所述S42具体包括如下步骤：

S421、从推荐的五张卫星地图中依次选择一张卫星地图，取航拍图像的某个特征点，通过遍历找到所选卫星地图中的距离最近的两个特征点；

S422、如果近次距离除以最近距离小于某个阈值，则判定为一对正确的匹配对，利用随机抽样一致算法滤出错误匹配；

其中，近次距离指的是一个特征点的图像特征向量描述符与其在另一张图像中的最相似特征点的图像特征向量描述符之间的距离；

最近距离指的是在整个全局卫星地图信息库中找到的与当前图像特征向量描述符最相似的图像特征向量描述符的距离。

本发明的有益效果：

本发明将无人机的云台相机和计算能力充分利用，结合了多种技术，包括姿态信息、相机内部参数和图像特征提取，以建立一个高精度的定位系统。此技术还依赖全局卫星地图信息库，这使得无人机可以更好地识别其位置，并完成高精度的图像定位。因此，本发明为无人机在各种复杂环境下的应用提供了可行的解决方案，解决了GPS信号受限或丧失时无法准确定位目标位置的难题，提高了无人机定位的准确性和可靠性。

附图说明

图1为本发明的流程图；

图2为本发明中利用无人机的姿态信息与相机内部参数图像矫正示意图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳的实施例。但是，本发明可以通过许多其他不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

正如背景技术中所记载的，全球卫星定位系统（GPS）通常是无人机定位的主要依赖，但它并不总是可行的。在某些情况下，例如在城市峡谷、森林覆盖或高楼大厦密集的城市区域，GPS信号可能会受到阻碍或干扰，导致无人机难以获取准确的位置信息。

参照图1，为了解决上述问题，本申请实施例提供了一种拒止环境下无人机航拍图像全局检索定位方法，通过在图像处理领域引入这一创新技术，我们实现了无人机在航拍任务中的高精度定位，消除了传统依赖GPS信号的限制，从而使定位更为准确和可靠。

一种拒止环境下无人机航拍图像全局检索定位方法，包括如下步骤：

S1、利用搭载云台相机的无人机采集航拍图像，结合无人机的姿态信息与云台相机内部参数对无人机采集的航拍图像进行校正，得到矫正后的航拍图像；通过对航拍图像进行校正，确保了航拍图像的绝对准确性和出色的稳定性；这一步骤确保了所获得的航拍图像在后续处理中具备高质量的基础。

S2、运用尺度不变特征变换（SIFT）算法识别矫正后的航拍图像的特征点，并构建航拍图像的图像特征向量描述符；这些图像特征向量描述符以独特的方式标志着每幅图像的特征。这些特征将在后续的匹配过程中发挥关键作用。

S3、为了提高航拍图像定位的准确性，构建了用于图像检索的全局卫星地图信息库，其中存储了广泛的地理信息，即多张卫星图像，将全局卫星地图信息库分割成指定数量的卫星地图，运用尺度不变特征变换算法识别每块卫星地图的特征点，并分别构建每个卫星地图的图像特征向量描述符；这一步骤有助于迅速确定无人机航拍图像的大致位置，为下一步的精准定位奠定基础。

S4、利用矫正后的航拍图像的图像特征向量描述符分别与每个卫星地图的图像特征向量描述符进行对比，得到匹配成功的卫星地图，并计算单应性矩阵，得到航拍图像与卫星图像的变换关系，通过航拍图像与卫星图像的变换关系可得到航拍目标的定位信息。

在这一步骤中，通过精确的图像特征匹配，采用尺度不变特征变换以及欧氏距离度量等技术，从全局卫星地图信息库中筛选出与目标位置最相关的TOP5图像。这些图像的匹配经过严格的验证，通过RANSAC（随机抽样一致）算法进行错误匹配过滤，确保了定位结果的卓越准确性和可靠性。这一系列步骤，不论在何种复杂环境下，都能提供高度可信的无人机定位信息，为广泛应用和解决GPS信号不足的挑战提供了强有力的解决方案。

本发明将无人机的云台相机和计算能力充分利用，结合了多种技术，包括姿态信息、相机内部参数和图像特征提取，以建立一个高精度的定位系统。此技术还依赖全局卫星地图信息库，这使得无人机可以更好地识别其位置，并完成高精度的图像定位。因此，本发明为无人机在各种复杂环境下的应用提供了可行的解决方案，解决了GPS信号受限或丧失时无法准确定位目标位置的难题，提高了无人机定位的准确性和可靠性。

在一些实施例中，所述S1具体包括如下步骤：

S11、利用搭载云台相机的无人机采集航拍图像，由于此刻无人机处于倾斜状态，所以采集的航拍图像为畸变图像；

S12、结合云台相机的内部参数以及无人机所处的海拔高度，计算畸变图像四个角点在地球参数系上的相对位置距离，并通过相对位置距离、旋转矩阵和平移矩阵对畸变图像进行矫正，得到矫正后的航拍图像。

在一些实施例中，所述S12采用公式表示，具体如下：

(1)

式（1）中，u、v分别表示图像坐标系的像素坐标；、/>均为云台相机的内部参数；、/>均为平移向量；/>、/>分别表示世界坐标系到相机坐标系的旋转矩阵和平移矩阵；、/>和/>分别表示世界坐标系的三维真实坐标。

在一些实施例中，所述S2具体包括如下步骤：

S21、利用高斯模糊函数获取多个不同的尺度空间，采用尺度不变特征变换算法在不同的尺度空间上对矫正后的航拍图像提取N个特征点，形成（N，128）的特征向量；

S22、利用K均值（K-means）的聚类方法，把该图像所有的特征点按照最近邻算法分配到K个聚类中心上；

S23、对每个聚类中心做残差和，最后对该残差和做归一化，将归一化的结果进行拼接，得到图像特征向量描述符，即(K,128)维图像描述向量。

在一些实施例中，所述S21中的高斯模糊函数具体如下：

(2)

式（2）中，为正态分布的标准差，/>越大图像越模糊、越平滑；/>为模糊半径，指模板元素到模板中心的距离。

在一些实施例中，所述S22中的最近邻算法，在计算两个样本之间的距离时，使用欧式距离进行度量，欧式距离是指在n维空间中两个点之间的直线距离，计算公式为：

(3)

式（3）中，和/>分别为两个样本的特征向量，两个样本分别对应矫正后的航拍图像中的两个特征点，/>、/>分别表示n维空间中的两个坐标点。

在一些实施例中，所述S23中的归一化，采用公式表示具体如下：

(4)

式（4）为一行特征向量的归一化过程，其中，为特征向量的长度；/>、/>分别表示n维空间中的第i个坐标点的x轴和y轴的数值。

在一些实施例中，所述S3具体包括如下步骤：

S31、构建全局卫星地图信息库，全局卫星地图信息库用于图像检索，以快速寻得与矫正后的航拍图像匹配的底图；

S32、将全局卫星地图信息库分割成M个卫星地图；运用尺度不变特征变换算法分别识别M个卫星地图的特征点，并分别构建每个卫星地图的图像特征向量描述符，形成一个(M，K，128)的图像向量库，包含M个(K,128)图像向量。此步骤是无人机飞行前的准备工作，因此并不影响对无人机航拍图像定位的速度。

在一些实施例中，所述S4具体包括如下步骤：

S41、构建损失函数，将S23中航拍图像所形成的(K,128)维图像描述向量与S32中的图像向量库中的M个(K,128)图像向量进行分别对比，计算两张对比图像之间的损失值，最终得到多个损失值，对多个损失值进行大小排序，从损失值从小至大开始，每五张图像作为一组图像，取损失值最小的一组图像作为推荐的五张卫星地图；

S42、从推荐的五张卫星地图中依次选择一张卫星地图分别与矫正后的航拍图像进行匹配，分别对航拍图像、卫星地图采用尺度不变特征变换算法提取所选卫星地图的特征点，得到匹配对，再采用随机选取一致性方法进行错误匹配过滤，选取出正确的匹配对；

S43、如果正确的匹配对达到设定数量时，则图像匹配成功；如果从推荐的五张卫星地图中找到的正确的匹配对没有达到设定数量，则将S41中多组图像中的下一组图像作为推荐的五张卫星地图，并循环S42，直至航拍图像与卫星地图匹配成功；

S44、计算航拍图像与匹配成功的卫星地图之间的单应性矩阵，用于将航拍图像上的点与匹配成功的卫星图像上的点一一对应，得到航拍图像与卫星图像的变换关系，利用航拍图像与卫星图像的变换关系即可通过匹配成功的卫星地图的经纬度坐标得到航拍目标的定位信息。

在一些实施例中，所述S42具体包括如下步骤：

S421、从推荐的五张卫星地图中依次选择一张卫星地图，取航拍图像的某个特征点，通过遍历找到所选卫星地图中的距离最近的两个特征点；

S422、如果近次距离除以最近距离小于某个阈值，则判定为一对正确的匹配对，利用随机抽样一致算法滤出错误匹配；

其中，近次距离指的是一个特征点的图像特征向量描述符与其在另一张图像中的最相似特征点的图像特征向量描述符之间的距离；

最近距离指的是在整个全局卫星地图信息库中找到的与当前图像特征向量描述符最相似的图像特征向量描述符的距离。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。并且，本发明各个实施方式之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种拒止环境下无人机航拍图像全局检索定位方法，其特征在于，包括如下步骤：

S1、利用搭载云台相机的无人机采集航拍图像，结合无人机的姿态信息与云台相机内部参数对无人机采集的航拍图像进行校正，得到矫正后的航拍图像；

S2、运用尺度不变特征变换算法识别矫正后的航拍图像的特征点，并构建航拍图像的图像特征向量描述符；

所述S2具体包括如下步骤：

S21、利用高斯模糊函数获取多个不同的尺度空间，采用尺度不变特征变换算法在不同的尺度空间上对矫正后的航拍图像提取N个特征点，形成（N，128）的特征向量；

S22、利用K均值的聚类方法，把该图像所有的特征点按照最近邻算法分配到K个聚类中心上；

S23、对每个聚类中心做残差和，最后对该残差和做归一化，将归一化的结果进行拼接，得到图像特征向量描述符，即(K,128)维图像描述向量；

S3、构建用于图像检索的全局卫星地图信息库，全局卫星地图信息库包括多张卫星图像，并将多张卫星图像分割成指定数量的卫星地图，运用尺度不变特征变换算法识别每块卫星地图的特征点，并分别构建每个卫星地图的图像特征向量描述符；

所述S3具体包括如下步骤：

S31、构建全局卫星地图信息库，全局卫星地图信息库用于图像检索，以寻得与矫正后的航拍图像匹配的底图；

S32、将全局卫星地图信息库分割成M个卫星地图；运用尺度不变特征变换算法分别识别M个卫星地图的特征点，并分别构建每个卫星地图的图像特征向量描述符，形成一个(M，K，128)的图像向量库，包含M个(K,128)图像向量；

S4、利用航拍图像的图像特征向量描述符分别与每个卫星地图的图像特征向量描述符进行对比，得到匹配成功的卫星地图，并计算单应性矩阵，得到航拍图像与卫星图像的变换关系，通过航拍图像与卫星图像的变换关系可得到航拍目标的定位信息；

所述S4具体包括如下步骤：

S41、构建损失函数，将S23中航拍图像所形成的(K,128)维图像描述向量与S32中的图像向量库中的M个(K,128)图像向量进行分别对比，计算两张对比图像之间的损失值，最终得到多个损失值，对多个损失值进行大小排序，从损失值从小至大开始，每五张图像作为一组图像，取损失值最小的一组图像作为推荐的五张卫星地图；

S42、从推荐的五张卫星地图中依次选择一张卫星地图分别与矫正后的航拍图像进行匹配，分别对航拍图像、卫星地图采用尺度不变特征变换算法提取所选卫星地图的特征点，得到匹配对，再采用随机选取一致性方法进行错误匹配过滤，选取出正确的匹配对；

S43、如果正确的匹配对达到设定数量时，则图像匹配成功；如果从推荐的五张卫星地图中找到的正确的匹配对没有达到设定数量，则将S41中多组图像中的下一组图像作为推荐的五张卫星地图，并循环S42，直至航拍图像与卫星地图匹配成功；

S44、计算航拍图像与匹配成功的卫星地图之间的单应性矩阵，用于将航拍图像上的点与匹配成功的卫星图像上的点一一对应，得到航拍图像与卫星图像的变换关系，利用航拍图像与卫星图像的变换关系即可通过匹配成功的卫星地图的经纬度坐标得到航拍目标的定位信息。

2.根据权利要求1所述的拒止环境下无人机航拍图像全局检索定位方法，其特征在于，所述S1具体包括如下步骤：

S11、利用搭载云台相机的无人机采集航拍图像，由于此刻无人机处于倾斜状态，所以采集的航拍图像为畸变图像；

S12、结合云台相机的内部参数以及无人机所处的海拔高度，计算畸变图像四个角点在地球参数系上的相对位置距离，并通过相对位置距离、旋转矩阵和平移矩阵对畸变图像进行矫正，得到矫正后的航拍图像。

3.根据权利要求1所述的拒止环境下无人机航拍图像全局检索定位方法，其特征在于，所述S12采用公式表示，具体如下：

(1)

式（1）中，u、v分别表示图像坐标系的像素坐标；、/>均为云台相机的内部参数；/>、均为平移向量；/>、/>分别表示世界坐标系到相机坐标系的旋转矩阵和平移矩阵；/>、和/>分别表示世界坐标系的三维真实坐标。

4.根据权利要求1所述的拒止环境下无人机航拍图像全局检索定位方法，其特征在于，所述S21中的高斯模糊函数具体如下：

(2)

式（2）中，为正态分布的标准差，/>越大图像越模糊、越平滑；/>为模糊半径，指模板元素到模板中心的距离。

5.根据权利要求1所述的拒止环境下无人机航拍图像全局检索定位方法，其特征在于，所述S22中的最近邻算法，在计算两个样本之间的距离时，使用欧式距离进行度量，欧式距离是指在n维空间中两个坐标点之间的直线距离，计算公式为：

(3)

式（3）中，和/>分别为两个样本的特征向量，两个样本分别对应矫正后的航拍图像中的两个特征点，/>、/>分别表示n维空间中的两个坐标点。

6.根据权利要求1所述的拒止环境下无人机航拍图像全局检索定位方法，其特征在于，所述S23中的归一化，采用公式表示具体如下：

(4)

式（4）为一行特征向量的归一化过程，其中，为特征向量的长度；/>、/>分别表示n维空间中的第i个坐标点的x轴和y轴的数值。

7.根据权利要求1所述的拒止环境下无人机航拍图像全局检索定位方法，其特征在于，所述S42具体包括如下步骤：

S421、从推荐的五张卫星地图中依次选择一张卫星地图，取航拍图像的某个特征点，通过遍历找到所选卫星地图中的距离最近的两个特征点；

S422、如果近次距离除以最近距离小于某个阈值，则判定为一对正确的匹配对，利用随机抽样一致算法滤出错误匹配；

其中，近次距离指的是一个特征点的图像特征向量描述符与其在另一张图像中的最相似特征点的图像特征向量描述符之间的距离；

最近距离指的是在整个全局卫星地图信息库中找到的与当前图像特征向量描述符最相似的图像特征向量描述符的距离。