CN107192375B - 一种基于航拍姿态的无人机多帧图像自适应定位校正方法 - Google Patents

Abstract

本发明提出了一种基于航拍姿态的无人机多帧图像自适应定位校正方法，属于遥感图像处理技术领域。本发明的主要步骤为：(1)自适应初始化；针对多帧图像的不同来源，采取不同的初始化策略，针对不同飞行姿态选择不同初始值。(2)根据输入的图像帧数确定对应需要的同名点个数。(3)利用光束平差法建立多图像之间的约束条件建立误差方程，遍历各图像的各个同名点，建立法方程。(4)将改正数加到近似值上作为新的近似值进行迭代，直到改正数小于限值，输出改正数。本发明在无人机在线航拍过程中准确实时的对已获取的具有共同区域的多幅图像进行误差校正，并提高定位结果精准度。

Description

一种基于航拍姿态的无人机多帧图像自适应定位校正方法

技术领域

本发明属于遥感图像处理技术领域，具体涉及一种基于航拍姿态的无人机多帧图像自适应定位校正方法。

背景技术

随着无人机广泛应用于探测、监视、追踪等领域，对于无人机航拍图像对地目标定位技术的精准度的要求也变得更加严格。然而，无人机图像校正及对地目标定位的准确度由于诸多原因难以得到提升，如通过惯性导航系统等方式获得的无人机姿态信息，作为无人机定位算法的元数据往往存在一定的误差，直接影响校正定位的后续计算的精准度；并且无人机探测范围广的工作特点，使得具有较高定位精准度的基于地面控制点信息的定位算法无法广泛应用。

从具体操作方法上来说，国内外对提高无人机对地目标定位准确度的研究可分为以下几个方面：

(1)通过对无人机姿态等测量器件的误差计算补偿的方法，提高无人机对地目标定位的输入参数的准确性，从而提高定位精准度；

(2)通过增加测量器件，如增加激光测距仪或建立双目视觉系统等方式，提高数据的可靠性，从而提高定位精准度；

(3)通过增加目标的地理高度，减少因地势带来的误差，目标实际地理高度的获取可以通过数字高程模型或者三维重建技术；

(4)通过引入地理控制点，利用差分算法进行目标定位的误差补偿；

(5)通过多帧图像或多机协同的方法，减小系统误差带来的影响，从而提高目标定位精度。

目前被广泛应用的无人机目标定位的基本方法主要有：使用光束平差法的空中三角定位法，基于运动恢复结构的目标定位方法，以及即时定位与地图重构方法等。

由于无人机在航拍过程中，大量的航拍图像之间具有较高的重叠率，而单帧图像的校正和对地目标定位方法没有充分利用这些信息。而且，对于相同目标出现在多个单帧图像中的情况，不同航拍姿态下得到的航拍图像定位结果会出现一定区别，导致无法得到统一且最优的结果。

发明内容

为解决上述问题，针对具有共同区域的多帧航拍图像，结合局域网光束平差法，本发明提出了一种基于航拍姿态的无人机多帧图像自适应定位校正方法。

所述的基于航拍姿态的无人机多帧图像自适应定位方法，实现步骤包括：

第一步，自适应初始化；包括：

(1.1)判断航拍图像来源，若来源于连续帧间校正，执行(1.2)，否则执行(1.3)；

(1.2)选择帧间校正次数较小者，若帧间校正次数较小者存在多帧图像，则再选择光轴斜视角较小者的同名点坐标作为初始值；

(1.3)利用航拍位置和目标点近似坐标判断无人机与目标点的方位；

(1.4)判断多帧图像是否是无人机多方位获取，若是执行(1.5)，若不是执行(1.6)；

(1.5)求取各个航拍图像同名点坐标的平均值作为初始值；

(1.6)计算等效光轴斜视角，选取斜视角最小的图像，计算同名点的坐标作为初始值。

第二步，根据输入的图像帧数确定对应需要的同名点个数；

所述的输入的图像帧数为按照第一步自适应初始化的方法得到的若干帧图像的帧数，图像帧数范围为3～8帧。

第三步，利用光束平差法建立误差方程，遍历各图像的各同名点，建立法方程，求解各图像的遥测参数改正数以及目标点地理位置改正数。

第四步，判断改正数是否小于设定的限值，若是，将得到的改正数对应补偿到当前的各图像的遥测参数以及目标点地理坐标的近似值上，得到最终补偿后的各图像的遥测参数以及目标点地理位置；若改正数不满足限值，则将得到的改正数对应补偿到当前的各图像的遥测参数以及目标点地理坐标的近似值上，作为新的近似值，继续执行第三步。

本发明的优点及带来的有益效果在于：

(1)本发明基于航拍姿态的无人机多帧图像自适应定位校正方法，具备针对不同的应用场景、不同的数据来源，可自适应的选择不同的初始值的功能，可以得到更理想的误差补偿结果。

(2)本发明基于航拍姿态的无人机多帧图像自适应定位校正方法，能够针对来自多方位的图像，抵消部分的系统误差，弥补了简单的使用平均值作为初始值的不足，从而提高定位准确度。

(3)本发明基于航拍姿态的无人机多帧图像自适应定位校正方法，自适应初始化策略减少了迭代次数，同时也避免了最终结果陷入局部最优的情况。

(4)本发明基于航拍姿态的无人机多帧图像自适应定位校正方法，可以在无人机在目标点一侧以一条直线经过的航带中选取多幅图像的情形下，获得较高的定位精准度。

附图说明

图1是本发明基于航拍姿态的无人机多帧图像自适应定位校正方法流程图；

图2是本发明无人机对目标进行拍摄的两种飞行模式，其中(a)表示从多个不同的角度对目标进行拍摄，(b)表示从目标区域的同一侧拍摄；

图3是本发明提出的自适应初始化的流程图；

图4是多图像误差补偿过程单帧图像的误差随迭代次数的变化情况。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步的详细说明。

本发明提出了一种基于航拍姿态的无人机多帧图像自适应定位校正方法，该方法针对多帧图像的不同来源，采取不同的初始化策略，从而使得该方法不仅可以补偿从多方位获得的多帧图像的系统误差，还能够进一步提升连续多帧校正定位的参数精准度。该方法可在无人机在线航拍过程中，准确实时的对已获取的具有共同区域的多幅图像进行误差校正，并提高定位结果精准度。

本发明提供的基于航拍姿态的无人机多帧图像自适应定位校正方法，如图1所示，包括以下步骤：

第一步，自适应初始化。由于在进行光束平差法的过程中，其初始值的选择在很大程度上决定了最终结果的收敛范围，因此选择一个恰当的初始值会提高定位结果的准确度。

首先，判断多图像来源，若来源于连续帧间校正，则选择连续帧间校正次数较小者，若连续帧间校正次数较小者存在多帧图像，则再选择光轴斜视角较小者的同名点坐标作为初始值。

若多图像来源不是连续帧间校正，根据无人机对目标进行拍摄的两种飞行模式，自适应初始化的过程如下：

(1)针对绕飞情况下获得的不同方位的多帧图像，无人机分别从多个不同的角度对目标进行拍摄时，如图2中的(a)所示，计算各个航拍图像同名点的近似坐标，通过对多帧图像的同名点坐标求平均值的方法可以对定位过程中的随机误差和系统误差都能够达到较好的补偿结果，得到同名点坐标平均值作为初始值；

(2)针对在目标点一侧直线飞行获得的多帧图像，多帧图像都是位于目标区域的同一侧拍摄，如图2中的(b)所示，最终的定位误差也往往出现在目标点的同一侧。无论是单帧图像目标定位还是帧间校正定位，航拍图像的光轴斜视角越大则姿态的误差也越大，导致更大的定位误差。因此针对同侧的多帧图像，计算等效光轴斜视角，选择具有较小光轴斜视角的航拍图像，计算同名点的坐标作为初始值。

自适应初始化的流程如图3所示，具体如下：

(1.1)判断航拍图像来源，若自于连续帧间校正，则进入步骤(1.2)，否则进入步骤(1.3)；

(1.2)选择帧间校正次数较小者，若帧间校正次数较小者存在多帧图像，则再选择光轴斜视角较小者的同名点坐标作为初始值；

(1.3)利用航拍位置和目标点近似坐标判断无人机与目标点的方位；

(1.4)判断多帧图像是否满足多方位，若是则进入(1.5)步，若不是则进入(1.6)步；

(1.5)计算各个航拍图像同名点的近似坐标，求取同名点的平均值作为初始值；

(1.6)计算等效光轴斜视角，选取斜视角最小的图像，计算同名点的坐标作为初始值。

第二步，同名点个数初始化。根据输入的图像帧数确定对应需要的同名点个数。

输入的图像为按照第一步自适应初始化的方法得到的若干帧图像，可来自于不同的航迹，图像帧数范围为3～8帧。

由于多图像误差补偿算法的泰勒展开项较多，为了保证建立的法方程足够对各个待修正项求得确定解，因此有必要对输入的图像帧数及对应需要的同名点个数进行讨论。

设n_Pic为图像个数，为同名点个数，则根据局域网光束平差法建立总误差方程式。n_Pic帧图像对应有8*n_Pic个待修正的图像方位元素，个同名点对应有个待修正的地面坐标元素，因此共有个待定参数。另一方面，由于一个地面点对应v_x,v_y两个误差方程式，因此对于一帧拥有个同名点的图像，可以产生个误差方程式。则对于n_Pic帧拥有个同名点的图像一共可以产生个误差方程式。为了使方程有解，需要误差方程个数不少于待定参数个数，即

所以，当同名点个数确定时，需要使拥有这个同名点的图像个数满足

当确定图像个数时，要求同名点个数需满足

则可以知道，当n_Pic足够大时，表1给出了在图像个数较少时所需要的最少的同名点个数。

表1图像帧数与最小同名点个数的关系

第三步，利用光束平差法建立多图像之间的约束条件，并建立误差方程。

多图像误差补偿方法，是将利用无人机的遥测参数根据成像模型得到的同名点的地理坐标作为近似的地理控制点，再利用光束平差法建立多图像之间的约束条件，然后建立误差方程。因此，误差方程需要对地面点的地理坐标、无人机和平台的姿态信息以及无人机的位置坐标进行展开。初始各图像的遥测参数的近似值以及目标点地理坐标的近似值通过光学模型获得。

对该过程中所有的输入参数进行泰勒展开至一次项得到：

其中,x和y是图像内元素坐标值，(x)和(y)分别是x和y的近似值，成像平台在空间直角坐标系下的坐标为(X_s,Y_s,Z_s)，目标点的直角坐标为(X,Y,Z)，是平台高低角，γ是平台方位角，φ是飞机俯仰角，ω是飞机横滚角，κ是飞机航向角。dF表示参数F的改正数，公式(4)中，F＝X_s,Y_s,Z_s,γ,ω,φ,κ,X,Y,Z。dX_s,dY_s,dZ_s,dγ,dω,dφ,dκ为遥测参数的改正数，dX,dY,dZ为目标点地理位置的改正数。在保证共线条件的情况下，系数间存在如下关系：

按照“观测值+观测值改正数＝近似值+近似值改正数”的原则有：

其中，v_x、v_y分别表示图像内元素(x,y)在图像坐标系x轴、y轴方向上的成像误差；dx、dy分别是x、y的改正数。

若将(4)式各系数用a₁₁,...,a₂₃表示，则可得到误差方程式：

其中参数

将式(7)用矩阵形式表示为：

v＝At+BH-l (9)

其中

第四步，遍历多图像的各个同名点，建立法方程。

遍历所有图像的各个同名点，依据公式(9)和(10)，可建立每个图像中每个同名点的误差方程，设将遍历的第i个同名点建立的误差方程表示为v_i＝A_it+B_iH-l_i。

对于同一帧图像中的多个地面点，图像的方位元素是相同的，而地面点不同，这意味着如式(7)形式的各个误差方程式中A对应的t是相同的，而B对应的X不同，因此可以得到误差方程式的矩阵：

L为各同名点的参数l_i组成的矩阵。

对于不同图像中的同一地面点，图像对应的方位元素不同，即误差方程式(7)中A对应的t不同，而B对应的X相同，因此误差方程式的矩阵形式为：

综上所述，对于具有多个同名点的多帧图像使用局域网光束平差法得到的总误差方程V可表示为：

相应的法方程为

用新参数符号表示为

对于这种有两类未知数的法方程，为了计算方便，常消去一组未知数，得到改化法方程。

若消去地面点坐标改正数H，保留方位元素改正数，得到改化方程式对该式求解，可得到遥测参数的改正数dX_s,dY_s,dZ_s,dγ,dω,dφ,dκ。另一组改化方程式为用于求解目标点坐标改正数dX,dY,dZ。

第五步，将求得的改正数与设定的限值比较，若小于限值，则结束迭代，输出各图像的遥测参数的改正数以及目标点地理坐标的改正数，得到最终的补偿后的各图像的遥测参数以及共同的目标点地理坐标；若改正数不满足限值，则将各改正数加到对应的近似值上作为新的近似值，然后重复第三步与第四步的操作，直到改正数小于限值。

在多图像误差补偿过程中，误差随着迭代次数的增加，单帧图像的定位误差变化情况如图4所示。从图中可以看出，对着迭代次数的增加，定位误差逐渐减小。

针对具有共同区域的多帧航拍图像，本发明结合光束法局域网平差设计了更符合无人机实际应用场景的多图像误差补偿方法，并根据对无人机图像定位误差分析提出的自适应初始化策略，使得本发明方法具备针对不同的应用场景自适应地选择不同的初始值，得到较为理想的误差补偿结果。

Claims (3)

1.一种基于航拍姿态的无人机多帧图像自适应定位校正方法，其特征在于，包括以下步骤：

第一步，自适应初始化；包括：

(1.1)判断航拍图像来源，若来源于连续帧间校正，执行(1.2)，否则执行(1.3)；

(1.2)选择帧间校正次数较小者，若帧间校正次数较小者存在多帧图像，则再选择光轴斜视角较小者的同名点坐标作为初始值；

(1.3)利用航拍位置和目标点近似坐标判断无人机与目标点的方位；

(1.4)判断多帧图像是否是无人机多方位获取，若是执行(1.5)，若不是执行(1.6)；

(1.5)求取各个航拍图像同名点坐标的平均值作为初始值；

(1.6)计算等效光轴斜视角，选取斜视角最小的图像，计算同名点的坐标作为初始值；

第二步，根据输入的图像帧数确定对应需要的同名点个数；

所述的输入的图像帧数为按照第一步自适应初始化的方法得到的图像的帧数，图像帧数范围为3～8帧；

第三步，利用光束平差法建立误差方程，遍历各图像的各同名点，建立法方程，求解各图像的遥测参数改正数以及目标点地理位置改正数；

第四步，判断改正数是否小于设定的限值，若是，将得到的改正数对应补偿到当前的各图像的遥测参数以及目标点地理坐标的近似值上，得到最终补偿后的各图像的遥测参数以及目标点地理位置；若改正数不满足限值，则将得到的改正数对应补偿到当前的各图像的遥测参数以及目标点地理坐标的近似值上，作为新的近似值，继续执行第三步。

2.根据权利要求1所述的一种基于航拍姿态的无人机多帧图像自适应定位校正方法，其特征在于，所述的第二步中输入的图像帧数对应的同名点个数分别为：

若图像帧数为3，对应的最小同名点个数为8；图像帧数为4，对应的最小同名点个数为7；图像帧数为5，对应的最小同名点个数为6；图像帧数为6，对应的最小同名点个数为6；图像帧数为7，对应的最小同名点个数为6；图像帧数为8，对应的最小同名点个数为5。

3.根据权利要求1所述的一种基于航拍姿态的无人机多帧图像自适应定位校正方法，其特征在于，所述的第三步中，利用光束平差法建立误差方程，对所有的输入参数进行泰勒展开至一次项得到：

在保证共线条件的情况下，系数间存在如下关系：

将(1)式各系数用a₁₁,...,a₂₃表示，则得到误差方程式：

其中，x和y是图像内元素坐标值，(x)和(y)分别是x和y的近似值，成像平台在空间直角坐标系下的坐标为(X_s,Y_s,Z_s)，目标点的直角坐标为(X,Y,Z)，是平台高低角，γ是平台方位角，φ是飞机俯仰角，ω是飞机横滚角，κ是飞机航向角；dX_s,dY_s,dZ_s,dγ,dω,dφ,dκ为遥测参数的改正数，dX,dY,dZ为目标点地理位置的改正数；参数l_x＝x-(x)，l_y＝y-(y)；

遍历各图像的各同名点，L为各同名点的参数l_i组成的矩阵；使用局域网光束平差法得到的总误差方程V表示为：

其中，

相应的法方程为

用新参数符号表示为

若消去点地理坐标改正数H，得到改化方程式对该式求解，得到遥测参数的改正数dX_s,dY_s,dZ_s,dγ,dω,dφ,dκ；另一组消去遥测参数的改正数，改化方程式为求解得到目标点坐标改正数dX,dY,dZ。