CN110966991B - 一种无控制点下的单幅无人机影像定位方法 - Google Patents

Abstract

本发明提供一种无控制点下的单幅无人机影像定位方法，包括两个阶段定位，第一阶段是基于摄影测量的无人机影像粗定位阶段，第二个阶段是基于建筑物语义特征的无人机影像精校准阶段。在第二阶段中，提取建筑物中的语义特征信息，更符合人类感知世界的方式，语义信息较手工不变性特征的鲁棒性更强。同时在第二阶段中提出的加权的各向异性尺度迭代最近点方法可以解决尺度不一致的问题，通过误匹配点剔除、加权迭代的方法改进改善了配准效果。本发明不需要控制点信息，减少人工作业时间。本发明提出的摄影测量粗定位‑基于建筑物语义特征精配准的两阶段定位方法，实现了无人机影像的秒级、地物级定位。

Description

一种无控制点下的单幅无人机影像定位方法

技术领域

本发明属于无人机影像定位技术领域，具体地，涉及一种基于无控制点下的单幅无人机影像定位方法。

背景技术

无人机起源于军事应用，20世纪四五十年代开始应用于军事侦查领域。我国1970年之后开始自主研制无人机用于情报收集、通讯联络、目标跟踪等任务，以无人机为代表的无人作战系统在军事上具有不可比拟的优势。2010年以后在民用航空摄影等领域也蓬勃发展，创造了极为客观的经济效益，工业界称2015年为“无人机元年”，无人机成为快速发展的消费类电子产品。

定位无人机拍摄的影像，是无人机多种典型应用的基础，既是无人机影像理解的内在任务，也是后续完成目标打击、目标跟踪等任务的关键。现有的无人机影像定位方法仍沿用传统的航空影像定位流程，大致如下：首先，在接到某区域的定位任务后，进行相机检校、资料收集工作，规划无人机作业航线，派出专业测绘人员在测绘区域人工布设控制点并精确的记录控制点参数；然后根据既定航线进行无人机航拍作业，获取无人机拍摄的影像及拍摄时的无人机位姿信息；完成测绘区域的外场作业后，根据产品需求统一对获取的影像数据和无人机位姿信息进行空三加密、影像校正、三维建模等后处理，得到符合产品规范的地理信息产品。

当前，无人机影像定位任务开始受到世界各国研究人员的关注，在该领域进行了一些卓有成效的研究，在针对于同一无人机拍摄的同源、序列无人机影像的快速处理和分析，取得了一些可喜的研究成果。但是，现阶段该领域研究的主导思想和影像定位流程仍沿用传统航空影像的定位流程，作业流程复杂、需要专业人员人工布设控制点和后处理才能得到定位产品，没有考虑无人机航拍影像姿态多变、位姿信息不准确、影像失真等问题导致单幅无人机影像的定位误差大。传统的影像定位处理流程背离了无人机快速灵活的获取信息这一优势，且定位要求严格，对单幅无人机影像的定位误差大，无法满足紧急情况下的无人机影像定位需求。

发明内容

针对现有技术存在的缺陷，本发明提供一种无控制点下的单幅无人机影像定位方法，通过该方法不需要人工布设控制点即不需要控制点信息且无需拍摄多幅无人机序列影像，在只有单幅无人机原始影像、相机内外参数的情况下就能够实现无人机影像的秒级、地物级定位，有效提高了仅利用摄影测量方法对单幅无人机影像的定位精度。

为实现上述技术目的，本发明采取的技术方案如下：

一种无控制点下的单幅无人机影像定位方法，包括：

(1)获取单幅原始无人机影像U、相机内参数I以及拍摄无人机影像U时的无人机位姿参数POS，解算无人机影像U在大地坐标系中的位置；

(2)将无人机影像U在大地坐标系中的坐标转换到Web Mercator投影坐标系下；从网络地图中爬取对应位置的卫星影像S；

(3)求解无人机影像U与卫星影像S在图像坐标系之间的位置变换关系T₁，将无人机影像U叠加在卫星影像S上显示，完成无人机影像U在卫星影像S的粗定位；

(4)基于训练好的卫星影像建筑物提取预训练模型和无人机影像建筑物提取预训练模型分别提取卫星影像S和无人机影像U中的建筑物，得到两幅二值图像；

(5)分别提取两幅二值图像中的所有建筑物对象，计算无人机影像U对应的二值图像中的建筑物对象与卫星影像S对应的二值图像中每个建筑物对象的相似度，确定候选建筑物匹配对象；

(6)获取各建筑物匹配对象在各自二值图中与其他建筑物对象的空间关系，保留满足设定空间关系条件的建筑物匹配对象；

(7)在满足设定空间关系条件的建筑物匹配对象中，提取无人机影像中的建筑物对象外轮廓组成源点集，提取卫星影像中的建筑物对象外轮廓组成目标点集，求解源点集与目标点集的点集变换矩阵T₂，并将其作为无人机影像U到卫星影像S的映射关系，校正步骤(3)中无人机影像U在卫星影像S中的位置。

本发明步骤(1)中，相机内参数I包括：相机焦距f、相机的像主点偏移量(x_offset，y_offset)；无人机位姿参数POS为无人机自身携带定位设备获取的位姿参数，包括经度Longitude、纬度Latitude、高度Altitude、航向倾角φ、旁向倾角ω、像片旋角κ六个参数。本发明步骤(1)中，解算无人机影像U在大地坐标系中的位置，方法如下：

(1.1)，根据相机内参数I纠正影像畸变和失真；

(1.2)，根据航向倾角φ、旁向倾角ω、像片旋角κ将无人机影像U中四个角的像点U_i(x_a，y_a，-f)转换到像空间辅助坐标系为

(1.3)，根据摄影测量理论中的共线方程，完成像空间辅助坐标系到物方坐标系的转换，解得物点S_i(X_A，Y_A，Z_A)。

本发明步骤(2)中，从网络地图中爬取对应位置的卫星影像S，方法如下：将步骤(1.3)解算出来的物点坐标S_i(X_A，Y_A，Z_A)转换到浏览器的网络地图Web Mercator投影坐标系下，从网络地图中爬取影像四个角点范围内的影像瓦片，组成对应的卫星影像S。

本发明步骤(3)，方法如下：根据无人机影像U其像点U_i在图像坐标系中的位置I_U(u_x，u_y)和卫星影像S其物点S_i在图像坐标系中的位置I_S(s_x，s_y)，计算3*3的变换矩阵T₁；将整幅无人机影像U按照T₁做透视变换得到粗定位的无人机影像U_coarse，并将其在卫星影像S上叠加显示，至此完成无人机影像U在卫星影像S的粗定位。

本发明步骤(5)中，提取二值图像中的所有建筑物对象的方法如下：提取二值图像的轮廓信息，求取连通域，以一个连通域为一个建筑物对象，其中相互接触的多栋建筑物在同一个连通域内，被认为同一个建筑物对象。

本发明步骤(5)中，计算无人机影像U对应的二值图像中的建筑物对象与卫星影像S对应的二值图像中每个建筑物对象的相似度，确定候选建筑物匹配对象，方法如下：

(5.a)对两幅二值图像中的每个建筑物对象进行简化描述。

对于无人机影像U对应的二值图像中的建筑物对象i，将建筑物对象i轮廓的最小矩形外包框的长轴长度l1_i、短轴长度l2_i、长宽比

建筑物对象i轮廓面积S_i、显著度Saliency_i、3*5的描述子矩阵和重心位置(x_i，y_i)作为建筑物对象i的简化描述。对于卫星影像S对应的二值图像中的建筑物对象j，将建筑物对象j轮廓的最小矩形外包框的长轴长度l1_j、短轴长度l2_j、长宽比

建筑物对象j轮廓面积S_j、显著度Saliency_j、3*5的描述子矩阵和重心位置(x_j，y_j)作为建筑物对象j的简化描述。

其中：3*5的描述子矩阵的获取方法如下：取建筑物对象的最小矩形外包框，按长轴五等分，短轴三等分划分为均匀的3*5个子块，计算每个子块的3*5描述子值，3*5个子块以及各子块对应的3*5描述子值构成3*5的描述子矩阵。每个子块的3*5描述子值即每个子块中建筑物的像素占全部子块像素的比例。

(5.b)计算无人机影像U对应的二值图像中的建筑物对象i与卫星影像S对应的二值图像中建筑物对象j的形状相似度Sim_ratio_ij、显著度相似度Sim_saliency_ij、描述子相似度Sim_descriptor_ij。

其中∑_uav S和∑_sat S分别表示无人机影像中的建筑物总面积以及卫星影像中的建筑物总面积。

Sim_descriptor_ij的计算方式如下：

f(u，v)表示无人机影像中子块(u，v)的3*5描述子值，g(u，v)表示卫星影像中子块(u，v)的3*5描述子值，则有l(u，v)表示描述子f(u，v)和g(u，v)的差异：

则描述子相似度表示为：

(5.c)确定候选建筑物匹配对象。

无人机影像U对应的二值图像中的建筑物对象i与卫星影像S对应的二值图像中建筑物对象j的相似度Sim_ij，方法如下：

Sim_ij＝A×Sim_descriptor_ij+B×Sim_ratio_ij+C×Sim_saliency_ij

其中A、B、C分别为描述子相似度Sim_descriptor_ij、形状相似度Sim_ratio_ij、显著度相似度Sim_saliency_ij的权重系数，A+B+C＝1。A、B、C的具体取值根据情况而定。如在某一具体实施例中A、B、C分别为0.4、0.3和0.3。

将无人机影像U对应的二值图像中的建筑物对象与卫星影像S对应的二值图像中每个建筑物对象组成的建筑物匹配对按照相似度Sim_ij从高到低重新排列，作为候选建筑物匹配对M_c(i，j)。

进一步地，本发明步骤(6)的实现方法如下：

(6.1)以无人机影像U对应的二值图像中的候选建筑物对象i的中心(x_i，y_i)为圆心，设定值(如250m)为半径，取该范围内的建筑物对象a₁，a₂...a_N；以卫星影像S对应的二值图像中的候选建筑物j的中心(x_j，y_j)为圆心，设定值(如250m)为半径，取该范围内的建筑物对象b₁，b₂...b_M。

(6.2)计算候选建筑物i的中心与建筑物对象a₁，a₂...a_N重心的距离差D_in以及候选建筑物i的中心与建筑物对象a₁，a₂...a_N重心之间的连线相对于水平方向的旋转角度θ_in；同样的，计算候选建筑物j的中心与建筑物对象b₁，b₂...b_M重心的距离差D_jm以及候选建筑物j的中心与建筑物对象b₁，b₂...b_M重心之间的连线相对于水平方向的旋转角度θ_jm。

(6.3)保留满足下列空间关系条件的建筑物匹配对象M₁(i，j)：

D_in-D_jm＜Δd

θ_in-θ_jm＜Δθ

且在候选范围内，仅有一幅影像中存在的建筑物对象不超过三分之一；其中，Δd和Δθ为设定的阈值。

进一步地，本发明步骤(7)中源点集与目标点集的点集变换矩阵T₂包括旋转矩阵R、尺度变换矩阵S、平移变换矩阵t，其获取方法如下：

(7.1)重心归一化，将源点集M_Ui和目标点集M_Sj的重心移动到(0，0)，归一化后的点集记为P＝{P_i}，i＝1，2…N_p，Q＝{Q_j}，j＝1，2…N_q。

(7.2)根据点集Q构建正向KD搜索树；根据点集P构建反向匹配的反向KD搜索树。

(7.3)根据欧氏距离定义最近邻条件，在正向KD搜索树中找到P_i的对应点，对应点最近点集记为PQ＝{PQ_i}，匹配点对间的距离为

在反向KD搜索树中计算PQ_i最近点Q_j，匹配点对间的距离

(7.4)匹配点对按照D_PQ从小到大重新排序，计算前

项的配准误差

(7.5)利用黄金搜索算法在[0.4，1]范围内搜索最佳的重叠率ξ，最佳重叠率为使得配准误差迅速增大的临界点。

(7.6)若ξ＞0.9，剔除不在前m项的匹配点对，迭代计算每轮的旋转矩阵R_k、尺度变换矩阵S_k、平移变换矩阵t_k。

(7.7)若ξ≤0.9，对前

项进行加权：

其中，max和min分别为所有匹配点对中

的最大值和最小值；

加权后迭代计算每轮的旋转矩阵R_k、尺度变换矩阵S_k、平移变换矩阵t_k，每轮迭代T_k＝S_kR_k+t_k。

(7.8)根据(7.6)、(7.7)中每轮迭代计算的旋转矩阵R_k、尺度变换矩阵S_k、平移变换矩阵t_k更新源点集，直到配准误差小于预设阈值或超过最大迭代次数，迭代停止，输出最终的变换矩阵T₂。

另一方面，本发明还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一种无控制点下的单幅无人机影像定位方法的步骤。

另一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种无控制点下的单幅无人机影像定位方法的步骤。

相对于现有技术，本发明的有益技术效果主要包括：

(1)现有的无人机影像定位方法仍沿用传统的航空影像定位流程，需要规划航线、人工布设控制点、外业成图、内业后处理等步骤，过程繁琐，时效性差。而本发明提出的无人机影像两阶段定位策略不需布设控制点，可以实现秒级定位。

(2)无人机携带的定位设备精度无法保证，低精度的定位设备导致获取的无人机的位姿参数精度低。现有技术通过布设控制点或同时获取多幅影像进行平差操作纠正误差，耗时长且需要专业知识背景。而本发明提出的无人机影像两阶段定位策略通过计算机视觉的方法提取、配准两幅影像中的建筑物语义特征，实现无控制点下的影像定位校准，将摄影测量定位方法的定位误差缩小90％以上，实现无控制点下单幅无人机影像的地物级定位。

(3)无人机影像在卫星影像上的定位，可以认为是异质影像间的图像匹配问题，有部分研究团队提取异质影像中的特征点、线特征进行特征匹配，试图找到特征点对匹配关系，求取变换矩阵实现无人机影像的定位；这种方法缺点在于：拍摄季节、拍摄角度、成像相机差异等因素导致异质影像的表观差异大，无法找到足够的同名点，也无法进一步求取变换矩阵，导致匹配失败。而本发明提出的无人机定位方法，提取异质影像中更高层级的语义信息，代替基于专家先验知识的特征点、线特征，更符合人类的理解方式，鲁棒性更强；建筑物分布广泛，保证了本发明提出的无人机定位策略有效性和鲁棒性。

综上所述，本发明针对无控制点下的单幅无人机影像定位任务，提出了摄影测量粗定位-基于建筑物语义特征的精配准定位的两阶段定位方法，将无人机影像定位问题转化为无人机影像与带地理位置卫星遥感影像的匹配问题，能够实现无控制点下单幅无人机影像的秒级、地物级定位。

附图说明

图1为无控制点下的单幅无人机影像两阶段定位示意图；

图2为基于摄影测量的无人机影像粗定位示意图；

图3为对于原始无人机影像00035的定位结果图，其中3(1)为仅对原始无人机影像00035进行基于摄影测量的无人机影像粗定位得到的定位结果图；3(2)为对原始无人机影像00035进行无控制点下的单幅无人机影像两阶段定位得到的定位结果图；

图4为对于原始无人机影像00161的定位结果图，其中4(1)为仅对原始无人机影像00161进行基于摄影测量的无人机影像粗定位得到的定位结果图；4(2)为对原始无人机影像00161进行无控制点下的单幅无人机影像两阶段定位得到的定位结果图；

图5为对于原始无人机影像00510的定位结果图，其中5(1)为仅对原始无人机影像00510进行基于摄影测量的无人机影像粗定位得到的定位结果图；5(2)为对原始无人机影像00510进行无控制点下的单幅无人机影像两阶段定位得到的定位结果图。

具体实施方式

为了便于本发明的实施，下面结合具体实例作进一步的说明。

参照图1，本发明提供一种无控制点下的单幅无人机影像定位方法，包括两个阶段定位，第一阶段是基于摄影测量的无人机影像粗定位阶段，第二个阶段是基于建筑物语义特征的无人机影像精配准阶段。在第二阶段中，提取建筑物中的语义特征信息，更符合人类感知世界的方式，语义信息较手工不变性特征的鲁棒性更强。同时在第二阶段中提出的加权的各向异性尺度迭代最近点方法可以解决尺度不一致的问题，通过误匹配点剔除、加权迭代的方法改进改善了配准效果。本发明不需要控制点信息，减少人工作业时间。本发明提出的摄影测量粗定位-基于建筑物语义特征精配准的两阶段定位方法，实现了无人机影像的秒级、地物级定位。

参照图2，基于摄影测量的无人机影像粗定位示意图，粗定位实现步骤具体如下：

(1)获取单幅原始无人机影像U、相机内参数I以及拍摄无人机影像U时的无人机位姿参数POS。利用成像时“相机摄影中心O-像点a-物点A”共线原理，根据摄影测量共线方程，粗略解算无人机影像U在大地坐标系中的位置。

相机内参数I包括：相机焦距f、相机的像主点偏移量(x_offset，y_offset)；无人机位姿参数POS为无人机自身携带定位设备获取的位姿参数，包括经度Longitude、纬度Latitude、高度Altitude、航向倾角φ、旁向倾角ω、像片旋角κ六个参数。

无人机影像U在大地坐标系中的位置，解算方法是：

首先，根据相机内参数纠正影像畸变和失真；

其次，根据航向倾角φ、旁向倾角ω、像片旋角κ将无人机影像U中四个角的像点U_i(x_a，y_a，-f)转换到像空间辅助坐标系为

像点U_i(x_a，y_a，-f)到像空间辅助坐标系为

的转换方法为：

其中，

第三，根据摄影测量理论中的共线方程，完成像空间辅助坐标系到物方坐标系的转换，解得物点S_i(X_A，Y_A，Z_A)。

像空间辅助坐标系到物方坐标系的转换方法如下：

则：

其中，摄影重心O的物方坐标为(X_O，Y_O，Z_O)。

(2)将无人机影像U在大地坐标系中的物点坐标S_i(X_A，Y_A，Z_A)转换到WebMercator投影坐标系下。从网络地图中爬取影像四个角点范围内的影像瓦片，组成对应的卫星影像S。

(3)求解无人机影像U与卫星影像S在图像坐标系之间的位置变换关系T₁，将无人机影像U叠加在卫星影像S上显示。

根据像点U_i在图像坐标系中的位置I_U(u_x，u_y)和物点S_i在图像坐标系中的位置I_S(s_x，s_y)，计算3*3的变换矩阵T₁；将整幅无人机影像按照T₁做透视变换得到粗定位的无人机影像U_coarse，在卫星影像上叠加显示。

至此，通过(1)、(2)和(3)完成无人机影像U在卫星影像S的粗定位。

下面进行精校准阶段，如下：

(4)基于训练好的卫星影像建筑物提取预训练模型和无人机影像建筑物提取预训练模型分别提取卫星影像S和无人机影像U中的建筑物，得到两幅二值图像。

卫星影像建筑物提取预训练模型的训练方法为：收集大量卫星影像及其建筑物标签制作卫星影像训练数据集，送入建筑物语义提取网络Unet训练，学习卫星影像训练数据集中建筑物的语义特征，保存卫星影像建筑物语义提取网络参数记作Unet-S，作为卫星影像建筑物提取预训练模型。具体地，卫星影像建筑物语义提取网络参数Unet-S的学习方法为：(1)准备卫星影像训练集：包括卫星影像和建筑物语义标签，其中建筑物语义标签为二值图像，可来源于网络地图矢量数据绘制、已有地理测绘数据或手工标注，影像中的建筑物像素在标签中表示为1，非建筑物像素在标签中表示为0；(2)训练数据预处理和数据集扩增：将卫星影像训练数据集的影像和标签裁剪成512*512大小，然后对训练数据进行随机的水平翻转、竖直翻转、对角线翻转、平移、尺度放缩、亮度变换、对比度变换，扩增卫星影像训练数据集；(3)将训练数据集中的影像和标签送入影像建筑物语义分割网络Unet中，设计损失函数使网络学习卫星影像训练数据集中建筑物的广义特征，保存网络训练的参数Unet-S作为卫星影像建筑物提取预训练模型。

无人机影像建筑物提取预训练模型的训练方法为：收集大量无人机影像及其建筑物标签制作无人机影像训练数据集，加载预训练模型的网络参数，将无人机影像训练数据集送入建筑物语义特征提取网络Unet训练，微调无人机影像训练数据集中建筑物的语义特征，保存无人机影像建筑物语义提取网络参数记作Unet-U，作为无人机影像建筑物提取预训练模型。具体地，人机影像建筑物语义提取网络参数Unet-U的学习方法为：(1)准备无人机影像训练数据集：包括原始无人机影像和建筑物语义标签，其中建筑物语义标签为二值图像，可来源于网络地图矢量数据绘制、已有地理测绘数据或手工标注，影像中的建筑物像素在标签中表示为1，非建筑物像素在标签中表示为0；(2)训练数据预处理和数据集扩增：将训练数据集的影像和标签裁剪成512*512大小，然后对训练数据进行随机的水平翻转、竖直翻转、对角线翻转、平移、尺度放缩、亮度变换、对比度变换，扩增无人机影像训练数据集；(3)加载Unet-S预训练模型，将无人机影像训练数据集中的影像和标签送入影像建筑物语义分割网络Unet中，使用与训练卫星影像建筑物提取预训练模型时相同的网络结构和损失函数，微调Unet-S中学习到的卫星影像中建筑物的广义特征，保存网络训练的参数为Unet-U。

提取卫星影像S中的建筑物，得到一幅二值图像，方法如下：首先，加载保存的卫星影像建筑物语义提取网络参数Unet-S，然后将待提取建筑物的卫星影像S裁剪为多幅512*512的子图像S_sub，送入卫星影像建筑物提取预训练模型，输出建筑物语义信息二值图

其中待提取建筑物的卫星影像S中有建筑物的位置表示为1，待提取建筑物的卫星影像S中非建筑物的位置表示为0，按照子图像的裁剪规则拼合回一幅与原始卫星影像S大小相同的建筑物语义二值图像Mask_S，裁剪时重叠的部分拼合时取平均值。

提取无人机影像U的建筑物，得到一幅二值图像，方法如下：首先，加载保存的无人机影像建筑物语义提取网络参数Unet-U，然后将待提取建筑物的无人机影像U裁剪为多幅512*512的子图像U_sub，送入无人机影像建筑物提取预训练模型，输出建筑物语义信息二值图

其中待提取建筑物的无人机影像U中有建筑物的位置表示为1，待提取建筑物的无人机影像U中非建筑物的位置表示为0，按照子图像的裁剪规则拼合回一幅与待提取建筑物的卫星影像S大小相同的建筑物语义二值图像Mask_U，裁剪时重叠的部分拼合时取平均值。

(5)分别提取两幅二值图像中的所有建筑物对象。计算无人机影像U对应的二值图像中的建筑物对象与卫星影像S对应的二值图像中每个建筑物对象的相似度，确定候选建筑物匹配对象。

提取二值图像中的建筑物对象的方法是：提取二值图像的轮廓信息，求取连通域，以一个连通域为一个建筑物对象，其中相互接触的多栋建筑物在同一个连通域内，被认为同一个建筑物对象。

(5.a)对两幅二值图像中的每个建筑物对象进行简化描述；

将两幅二值图像中每个建筑物对象轮廓的长轴长度、短轴长度、长宽比、轮廓面积、显著度、3*5的描述子矩阵和重心位置作为各建筑物对象的简化描述。其中对于无人机影像U对应的二值图像中的建筑物对象i，将建筑物对象i轮廓的最小矩形外包框的长轴长度l1_i、短轴长度l2_i、长宽比

建筑物对象i轮廓面积S_i、显著度Saliency_i、3*5的描述子矩阵和重心位置(x_i，y_i)作为建筑物对象i的简化描述。对于卫星影像S对应的二值图像中的建筑物对象j，将建筑物对象j轮廓的最小矩形外包框的长轴长度l1_j、短轴长度l2_j、长宽比

建筑物对象j轮廓面积S_j、显著度Saliency_j、3*5的描述子矩阵和重心位置(x_j，y_j)作为建筑物对象j的简化描述。

其中：3*5的描述子矩阵的获取方法如下：取建筑物对象的最小矩形外包框，按长轴五等分，短轴三等分划分为均匀的3*5个子块，计算每个子块的3*5描述子值，3*5个子块以及各子块对应的3*5描述子值构成3*5的描述子矩阵。每个子块的3*5描述子值即每个子块中建筑物的像素占全部子块像素的比例。

(5.b)计算无人机影像U对应的二值图像中的建筑物对象i与卫星影像S对应的二值图像中建筑物对象j的形状相似度Sim_ratio_ij、显著度相似度Sim_saliency_ij、描述子相似度Sim_descriptor_ij；

其中∑_uav S和∑_sat S分别表示无人机影像中的建筑物总面积以及卫星影像中的建筑物总面积。

Sim_descriptor_ij的计算方式如下：

3*5的描述子矩阵形式如下表所示，表格中的(u，v)表示的是每个子块位置索引，f(u，v)表示无人机影像中子块(u，v)的3*5描述子值，g(u，v)表示卫星影像中子块(u，v)的3*5描述子值。

(u-2，v-1)	(u-1，v-1)	(u，v-1)	(u+1，v-1)	(u+2，v-1)
					(u-2，v)	(u-1，v)	(u，v)	(u+1，v)	(u+2，v)
(u-2，v+1)	(u-1，v+1)	(u，v+1)	(u+1，v+1)	(u+2，v+1)

则有l(u，v)表示描述子f(u，v)和g(u，v)的差异：

则描述子相似度表示为：

(5.c)确定候选建筑物匹配对象。

无人机影像U对应的二值图像中的建筑物对象i与卫星影像S对应的二值图像中建筑物对象j的相似度Sim_ij，方法如下

Sim_ij＝0.4×Sim_descriptor_ij+0.3×Sim_ratio_ij+0.3×Sim_saliency_ij

将无人机影像U对应的二值图像中的建筑物对象与卫星影像S对应的二值图像中每个建筑物对象组成的建筑物匹配对按照相似度Sim_ij从高到低重新排列，作为候选建筑物匹配对M_c(i，j)。

(6)获取各建筑物匹配对象在各自二值图中与其他建筑物对象的空间关系，保留满足设定空间关系条件的建筑物匹配对象。

(6.1)以无人机影像U对应的二值图像中的候选建筑物对象i的中心(x_i，y_i)为圆心，设定值(如250m)为半径，取该范围内的建筑物对象a₁，a₂...a_N；以卫星影像S对应的二值图像中的候选建筑物j的中心(x_j，y_j)为圆心，设定值(如250m)为半径，取该范围内的建筑物对象b₁，b₂...b_M。

(6.2)计算候选建筑物i的中心与建筑物对象a₁，a₂...a_N重心的距离差D_in以及候选建筑物i的中心与建筑物对象a₁，a₂...a_N重心之间的连线相对于水平方向的旋转角度θ_in；同样的，计算候选建筑物j的中心与建筑物对象b₁，b₂...b_M重心的距离差D_jm以及候选建筑物j的中心与建筑物对象b₁，b₂...b_M重心之间的连线相对于水平方向的旋转角度θ_jm。

(6.3)保留满足下列空间关系条件的建筑物匹配对象M₁(i，j)：

D_in-D_jm＜Δd

θ_in-θ_jm＜Δθ

且在候选范围内，仅有一幅影像中存在的建筑物对象不超过三分之一；其中，Δd和Δθ为设定的阈值。Δd为根据无人机影像定位误差设定的值，本发明中Δd设置为步骤(6.1)中设定的250m；Δθ为根据无人机粗定位时最大偏移角度设定的值，根据经验取30度。

(7)在满足设定空间关系条件的建筑物匹配对象中，提取无人机影像中的建筑物对象外轮廓组成源点集，提取卫星影像中的建筑物对象外轮廓组成目标点集，求解源点集与目标点集的点集变换矩阵T₂，并将其作为无人机影像U到卫星影像S的映射关系，校正步骤(3)中无人机影像U在卫星影像S中的位置。

(7.1)重心归一化，将源点集M_Ui和目标点集M_Sj的重心移动到(0，0)，归一化后的点集记为P＝{P_i}，i＝1，2…N_p，Q＝{Q_j}，j＝1，2…N_q。

(7.2)根据点集Q构建正向KD搜索树；根据点集P构建反向匹配的反向KD搜索树。

(7.3)根据欧氏距离定义最近邻条件，在正向KD搜索树中找到P_i的对应点，对应点最近点集记为PQ＝{PQ_i}，匹配点对间的距离为

在反向KD搜索树中计算PQ_i最近点Q_j，匹配点对间的距离

(7.4)匹配点对按照D_PQ从小到大重新排序，计算前

项的配准误差

(7.5)利用黄金搜索算法在[0.4，1]范围内搜索最佳的重叠率ξ，最佳重叠率为使得配准误差迅速增大的临界点。

(7.6)若ξ＞0.9，剔除不在前m项的匹配点对，迭代计算每轮的旋转矩阵R_k、尺度变换矩阵S_k、平移变换矩阵t_k。

(7.7)若ξ≤0.9，对前

项进行加权：

其中，max和min分别为所有匹配点对中

的最大值和最小值；

加权后迭代计算每轮的旋转矩阵R_k、尺度变换矩阵S_k、平移变换矩阵t_k，每轮迭代T_k＝S_kR_k+t_k。

(7.8)根据(7.6)、(7.7)中每轮迭代计算的旋转矩阵R_k、尺度变换矩阵S_k、平移变换矩阵t_k更新源点集，直到配准误差小于预设阈值或超过最大迭代次数，迭代停止，输出最终的变换矩阵T₂。

将变换矩阵T₂作为原始无人机影像到卫星影像的映射关系，校正原始无人机影像U在卫星影像S中的位置。

申请人对本发明方法进行了实验论证，对于三幅原始无人机影像00035、00161和00510，图3至图5中给出了实验结果图。其中卫星影像分辨率1.07m/pixel，无人机影像分辨率0.08m/pixel。

图3为对于原始无人机影像00035的定位结果图，其中3(1)为仅对原始无人机影像00035进行基于摄影测量的无人机影像粗定位得到的定位结果图；3(2)为对原始无人机影像00035进行无控制点下的单幅无人机影像两阶段定位得到的定位结果图；

图4为对于原始无人机影像00161的定位结果图，其中4(1)为仅对原始无人机影像00161进行基于摄影测量的无人机影像粗定位得到的定位结果图；4(2)为对原始无人机影像00161进行无控制点下的单幅无人机影像两阶段定位得到的定位结果图；

图5为对于原始无人机影像00510的定位结果图，其中5(1)为仅对原始无人机影像00510进行基于摄影测量的无人机影像粗定位得到的定位结果图；5(2)为对原始无人机影像00510进行无控制点下的单幅无人机影像两阶段定位得到的定位结果图。

经实例论证，采用本发明方法，单幅无人机影像的定位效果好，不需要同时获取多幅无人机影像序列进行定位结果纠正，而且定位速度快，实现了无人机影像的秒级、地物级定位。本发明基于建筑物语义特征的配准方法在异质影像的匹配上棒性强，比特征点、线匹配方法更有效。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种无控制点下的单幅无人机影像定位方法，其特征在于，包括：

(1)获取单幅原始无人机影像U、相机内参数I以及拍摄无人机影像U时的无人机位姿参数POS，解算无人机影像U在大地坐标系中的位置；

(2)将无人机影像U在大地坐标系中的坐标转换到Web Mercator投影坐标系下；从网络地图中爬取对应位置的卫星影像S；

(3)求解无人机影像U与卫星影像S在图像坐标系之间的位置变换关系T₁，将无人机影像U叠加在卫星影像S上显示，完成无人机影像U在卫星影像S的粗定位；

(4)基于训练好的卫星影像建筑物提取预训练模型和无人机影像建筑物提取预训练模型分别提取卫星影像S和无人机影像U中的建筑物，得到两幅二值图像；

(5)分别提取两幅二值图像中的所有建筑物对象，计算无人机影像U对应的二值图像中的建筑物对象与卫星影像S对应的二值图像中每个建筑物对象的相似度，确定候选建筑物匹配对象；

(6)获取各建筑物匹配对象在各自二值图中与其他建筑物对象的空间关系，保留满足设定空间关系条件的建筑物匹配对象；

(7)在满足设定空间关系条件的建筑物匹配对象中，提取无人机影像中的建筑物对象外轮廓组成源点集，提取卫星影像中的建筑物对象外轮廓组成目标点集，求解源点集与目标点集的点集变换矩阵T₂，并将其作为无人机影像U到卫星影像S的映射关系，校正步骤(3)中无人机影像U在卫星影像S中的位置。

2.根据权利要求1所述的无控制点下的单幅无人机影像定位方法，其特征在于：步骤(1)中，相机内参数I包括：相机焦距f、相机的像主点偏移量(x_offset，y_offset)；无人机位姿参数POS为无人机自身携带定位设备获取的位姿参数，包括经度Longitude、纬度Latitude、高度Altitude、航向倾角φ、旁向倾角ω、像片旋角κ六个参数。

3.根据权利要求1所述的无控制点下的单幅无人机影像定位方法，其特征在于：步骤(1)中，解算无人机影像U在大地坐标系中的位置，方法如下：

(1.1)，根据相机内参数I纠正影像畸变和失真；

(1.2)，根据航向倾角φ、旁向倾角ω、像片旋角κ将无人机影像U中四个角的像点U_i(x_a，y_a，-f)转换到像空间辅助坐标系为

(1.3)，根据摄影测量理论中的共线方程，完成像空间辅助坐标系到物方坐标系的转换，解得物点S_i(X_A，Y_A，Z_A)。

4.根据权利要求1所述的无控制点下的单幅无人机影像定位方法，其特征在于：步骤(2)中，从网络地图中爬取对应位置的卫星影像S，方法如下：将步骤(1.3)解算出来的物点坐标S_i(X_A，Y_A，Z_A)转换到浏览器的网络地图Web Mercator投影坐标系下，从网络地图中爬取影像四个角点范围内的影像瓦片，组成对应的卫星影像S。

5.根据权利要求1所述的无控制点下的单幅无人机影像定位方法，其特征在于：步骤(3)，方法如下：根据无人机影像U其像点U_i在图像坐标系中的位置I_U(u_x，u_y)和卫星影像S其物点S_i在图像坐标系中的位置I_S(s_x，s_y)，计算3*3的变换矩阵T₁；将整幅无人机影像U按照T₁做透视变换得到粗定位的无人机影像U_coarse，并将其在卫星影像S上叠加显示，至此完成无人机影像U在卫星影像S的粗定位。

6.根据权利要求1所述的无控制点下的单幅无人机影像定位方法，其特征在于：步骤(4)中，卫星影像建筑物提取预训练模型的训练方法为：收集大量卫星影像及其建筑物标签制作卫星影像训练数据集，送入建筑物语义提取网络Unet训练，学习卫星影像训练数据集中建筑物的语义特征，保存卫星影像建筑物语义提取网络参数记作Unet-S，作为卫星影像建筑物提取预训练模型；

无人机影像建筑物提取预训练模型的训练方法为：收集大量无人机影像及其建筑物标签制作无人机影像训练数据集，加载预训练模型的网络参数，将无人机影像训练数据集送入建筑物语义特征提取网络Unet训练，微调无人机影像训练数据集中建筑物的语义特征，保存无人机影像建筑物语义提取网络参数记作Unet-U，作为无人机影像建筑物提取预训练模型。

7.根据权利要求6所述的无控制点下的单幅无人机影像定位方法，其特征在于：步骤(4)中，提取卫星影像S中的建筑物，得到一幅二值图像，方法如下：首先，加载保存的卫星影像建筑物语义提取网络参数Unet-S，然后将待提取建筑物的卫星影像S裁剪为多幅512*512的子图像S_sub，送入卫星影像建筑物提取预训练模型，输出建筑物语义信息二值图

其中待提取建筑物的卫星影像S中有建筑物的位置表示为1，待提取建筑物的卫星影像S中非建筑物的位置表示为0，按照子图像的裁剪规则拼合回一幅与原始卫星影像S大小相同的建筑物语义二值图像Mask_S，裁剪时重叠的部分拼合时取平均值。

8.根据权利要求7所述的无控制点下的单幅无人机影像定位方法，其特征在于：步骤(4)中，提取无人机影像U的建筑物，得到一幅二值图像，方法如下：首先，加载保存的无人机影像建筑物语义提取网络参数Unet-U，然后将待提取建筑物的无人机影像U裁剪为多幅512*512的子图像U_sub，送入无人机影像建筑物提取预训练模型，输出建筑物语义信息二值图

其中待提取建筑物的无人机影像U中有建筑物的位置表示为1，待提取建筑物的无人机影像U中非建筑物的位置表示为0，按照子图像的裁剪规则拼合回一幅与待提取建筑物的卫星影像S大小相同的建筑物语义二值图像Mask_U，裁剪时重叠的部分拼合时取平均值。

9.根据权利要求8所述的无控制点下的单幅无人机影像定位方法，其特征在于：步骤(5)中，提取二值图像中的所有建筑物对象的方法如下：提取二值图像的轮廓信息，求取连通域，以一个连通域为一个建筑物对象，其中相互接触的多栋建筑物在同一个连通域内，被认为同一个建筑物对象。

10.根据权利要求8所述的无控制点下的单幅无人机影像定位方法，其特征在于：步骤(5)中，计算无人机影像U对应的二值图像中的建筑物对象与卫星影像S对应的二值图像中每个建筑物对象的相似度，确定候选建筑物匹配对象，方法如下：

(5.a)对两幅二值图像中的每个建筑物对象进行简化描述；

对于无人机影像U对应的二值图像中的建筑物对象i，将建筑物对象i轮廓的最小矩形外包框的长轴长度l1_i、短轴长度l2_i、长宽比

建筑物对象i轮廓面积S_i、显著度Saliency_i、3*5的描述子矩阵和重心位置(x_i，y_i)作为建筑物对象i的简化描述；对于卫星影像S对应的二值图像中的建筑物对象j，将建筑物对象j轮廓的最小矩形外包框的长轴长度l1_j、短轴长度l2_j、长宽比

建筑物对象j轮廓面积S_j、显著度Saliency_j、3*5的描述子矩阵和重心位置(x_j，y_j)作为建筑物对象j的简化描述；其中3*5的描述子矩阵的获取方法如下：取建筑物对象的最小矩形外包框，按长轴五等分，短轴三等分划分为均匀的3*5个子块，计算每个子块的3*5描述子值，3*5个子块以及各子块对应的3*5描述子值构成3*5的描述子矩阵；每个子块的3*5描述子值即每个子块中建筑物的像素占全部子块像素的比例；

(5.b)计算无人机影像U对应的二值图像中的建筑物对象i与卫星影像S对应的二值图像中建筑物对象j的形状相似度Sim_ratio_ij、显著度相似度Sim_saliency_ij、描述子相似度Sim_descriptor_ij；

Sim_descriptor_ij的计算方式如下：

f(u，v)表示无人机影像中子块(u，v)的3*5描述子值，g(u，v)表示卫星影像中子块(u，v)的3*5描述子值，则有l(u，v)表示描述子f(u，v)和g(u，v)的差异：

则描述子相似度表示为：

(5.c)确定候选建筑物匹配对象；

无人机影像U对应的二值图像中的建筑物对象i与卫星影像S对应的二值图像中建筑物对象j的相似度Sim_ij，方法如下：

Sim_ij＝A×Sim_descriptor_ij+B×Sim_ratio_ij+C×Sim_saliency_ij

其中A、B、C分别为描述子相似度Sim_descriptor_ij、形状相似度Sim_ratio_ij、显著度相似度Sim_saliency_ij的权重系数，A+B+C＝1；

将无人机影像U对应的二值图像中的建筑物对象与卫星影像S对应的二值图像中每个建筑物对象组成的建筑物匹配对按照相似度Sim_ij从高到低重新排列，作为候选建筑物匹配对M_c(i，j)。

11.根据权利要求6所述的无控制点下的单幅无人机影像定位方法，其特征在于：步骤(6)的实现方法如下：

(6.1)以无人机影像U对应的二值图像中的候选建筑物对象i的中心(x_i，y_i)为圆心，设定值为半径，取该范围内的建筑物对象a₁，a₂...a_N；以卫星影像S对应的二值图像中的候选建筑物j的中心(x_j，y_j)为圆心，设定值为半径，取该范围内的建筑物对象b₁，b₂...b_M；

(6.2)计算候选建筑物i的中心与建筑物对象a₁，a₂...a_N重心的距离差D_in以及候选建筑物i的中心与建筑物对象a₁，a₂...a_N重心之间的连线相对于水平方向的旋转角度θ_in；同样的，计算候选建筑物j的中心与建筑物对象b₁，b₂...b_M重心的距离差D_jm以及候选建筑物j的中心与建筑物对象b₁，b₂...b_M重心之间的连线相对于水平方向的旋转角度θ_jm；

(6.3)保留满足下列空间关系条件的建筑物匹配对象M₁(i，j)：

D_in-D_jm＜Δd

θ_in-θ_jm＜Δθ

且在候选范围内，仅有一幅影像中存在的建筑物对象不超过三分之一；其中Δd和Δθ为设定的阈值。

12.根据权利要求6所述的无控制点下的单幅无人机影像定位方法，其特征在于：步骤(7)中源点集与目标点集的点集变换矩阵T₂包括旋转矩阵R、尺度变换矩阵S、平移变换矩阵t，其获取方法如下：

(7.1)重心归一化，将源点集M_Ui和目标点集M_Sj的重心移动到(0，0)，归一化后的点集记为P＝{P_i}，i＝1，2…N_p，Q＝{Q_j}，j＝1，2…N_q；

(7.2)根据点集Q构建正向KD搜索树；根据点集P构建反向匹配的反向KD搜索树；

(7.3)根据欧氏距离定义最近邻条件，在正向KD搜索树中找到P_i的对应点，对应点最近点集记为PQ＝{PQ_i}，匹配点对间的距离为

在反向KD搜索树中计算PQ_i最近点Q_j，匹配点对间的距离

(7.4)匹配点对按照D_PQ从小到大重新排序，计算前

项的配准误差

(7.5)利用黄金搜索算法在[0.4，1]范围内搜索最佳的重叠率ξ，最佳重叠率为使得配准误差迅速增大的临界点；

(7.6)若ξ＞0.9，剔除不在前m项的匹配点对，迭代计算每轮的旋转矩阵R_k、尺度变换矩阵S_k、平移变换矩阵t_k；

(7.7)若ξ≤0.9，对前

项进行加权：

其中，max和min分别为所有匹配点对中

的最大值和最小值；

加权后迭代计算每轮的旋转矩阵R_k、尺度变换矩阵S_k、平移变换矩阵t_k，每轮迭代T_k＝S_kR_k+t_k；

(7.8)根据(7.6)、(7.7)中每轮迭代计算的旋转矩阵R_k、尺度变换矩阵S_k、平移变换矩阵t_k更新源点集，直到配准误差小于预设阈值或超过最大迭代次数，迭代停止，输出最终的变换矩阵T₂。

13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至12中任一权利要求所述的无控制点下的单幅无人机影像定位方法的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述权利要求1至12中任一权利要求所述的无控制点下的单幅无人机影像定位方法的步骤。

Images