CN107192376A - 基于帧间连续性的无人机多帧图像目标定位校正方法 - Google Patents

Abstract

本发明提供了一种基于帧间连续性的无人机多帧图像目标定位校正方法，属于遥感图像处理技术领域。本发明针对满足帧间重叠率要求的连续帧航拍图像，充分利用无人机提供的遥测参数，计算相邻帧图像的重叠率，当重叠率大于设定的最低门限值时，根据共同点在连续帧图像中对应的两条同名光线满足共面条件建立约束条件，将相对—绝对定位法与无人机遥测信息进行结合，实现对姿态信息误差的补偿。本发明将具有地面控制点的首幅图像的精准度维持到具有重叠区域的后续图像，使得后续不包含地面控制点的图像依然能够拥有较高的定位精准度，通过粗校正减少迭代次数，整合几何模型的确定与地理位置的计算减少计算量，实现了数据计算的实时性。

Description

基于帧间连续性的无人机多帧图像目标定位校正方法

技术领域

本发明属于遥感图像处理技术领域，具体涉及一种基于帧间连续性的无人机多帧图像目标定位校正方法。

背景技术

随着电子信息技术的不断发展，无人机在军用和民用等领域逐渐得到了广泛的应用。其中，重要一项就是利用无人机对地进行目标定位。然而，在多数情况下，由于一些客观方面的限值，比如安装误差、测量单元精度较低等原因，无人机的各个姿态信息往往含有一定的误差，导致目标定位精度不高，加之无人机的拍摄姿态的自由性，往往使得得到的航拍图像有一定的畸变。这不仅影响到直观上对探测区域的认知，也对后续相关图像处理等方面的操作造成了极大的影响。此外，无人机对地目标定位技术则是联系图像与实际空间位置的手段，无人机的许多飞行任务，如跟踪、监视等都是建立在无人机对地目标定位的基础上的。无人机对地目标定位精度直接限制了无人机的侦查、探测等一系列工作的精准度。因此，很有必要对如何提高无人机对地目标定位精准度展开研究。

现有的无人机对地目标定位方法主要都是基于成像原理的定位模型。基于成像原理的定位模型，利用针孔成像原理，通过多个旋转矩阵建立图像像素坐标与大地坐标之间关系，从而实现目标定位。参考文件1[何乔,赵泳,张保明,等.基于广义点的相对定向和绝对定向[J].海洋测绘,2006,26(4)]公开了一种基本的目标定位方法，该方法据共面条件利用解析法相对定向和绝对定向两步得到目标的空间位置信息。其中建立被摄物体的近似几何模型的过程被称为相对定向。将模型坐标转换为地面坐标，该过程称为绝对定向。然而，由于受到无人机位姿信息等输入数据的精准度限制，目标定位精准度较低。而且，如图1所示，对于无人机航拍过程中相邻帧具有重叠性的特点，以上方法没有很好的利用这一特性。

为了提高对地目标定位精准度，可以对目标定位过程中的误差进行分析并建立误差的预测补偿模型，从而对误差进行补偿，达到提高对地目标定位准确度的目的。另一方面，可利用无人机航拍图像高重叠率的特点，对多帧航拍图像进行分析，通过对多帧航拍图像公共点之间的相应关系以及系统误差的分布特征等方面入手，达到提高定位精准度的目标。

发明内容

针对满足帧间重叠率要求的连续帧航拍图像，本发明充分利用无人机提供的遥测参数，根据共同点在连续帧图像中对应的两条同名光线满足共面条件建立约束条件，将相对—绝对定位法与无人机遥测信息进行结合，实现对姿态信息误差的补偿，从而达到提高目标定位准确度的目的。

为了达到上述目的，本发明提出了一种基于帧间连续性的无人机多帧图像目标定位校正方法，实现步骤包括：

计算相邻帧图像的重叠率，所述重叠率是指在两帧图像的重叠区域中的同名点数量；

当重叠率大于设定的最低门限值时，执行下面过程(1)～(4)：

(1)先利用上一帧图像的姿态信息的改正数对当前帧图像的姿态信息进行粗校正，作为当前帧图像的姿态信息的近似值；

(2)将同名点在在当前帧图像和上一帧图像中的像素坐标转换为在各自东北天坐标系下的坐标，所述的东北天坐标系以各个航拍位置为原点；根据两个同名光线在同一平面的共面条件建立F方程；

无人机拍摄当前帧图像时摄像机光学中心在东北天坐标系下的坐标为[X_S2 Y_S2Z_S2]，拍摄上一帧图像时摄像机光学中心在东北天坐标系下的坐标为[X_S1Y_S1Z_S1]，则摄像机光学中心的位移矢量[B_x B_y B_z]＝[X_S2 Y_S2 Z_S2]-[X_S1 Y_S1 Z_S1]；

设同名点在当前帧图像中的像素坐标转换为东北天坐标系下的坐标为[x_N1 y_N1z_N1]^Τ，同名点在上一帧图像中像素坐标转换为东北天坐标系下的坐标为[x_N2 y_N2 z_N2]^Τ；

建立的F方程表示为：

(3)遍历所有同名点，对各同名点执行(2)，求解各个姿态的改正数；

(4)将得到的各姿态的改正数加到各姿态的近似值上，更新当前帧图像的姿态信息的近似值；判断得到的改正数是否低于设定的限值，若是，停止迭代，输出当前帧图像的姿态信息的改正数以及近似值；否则，继续利用新的近似值继续执行(2)。

所述基于帧间连续性的无人机多帧图像目标定位校正方法，选择一帧有已知地面控制点的航拍图像为起始图像，通过单帧图像的定位反向校正获取该航拍图像对应的姿态信息改正数，姿态信息包括：无人机的经纬高信息对应的大地坐标，平台高低角，平台方位角，飞机俯仰角，飞机横滚角，飞机航向角。

所述基于帧间连续性的无人机多帧图像目标定位校正方法，利用当前帧图像的姿态信息的近似值来确定F的初始值F₀。

所述基于帧间连续性的无人机多帧图像目标定位校正方法，建立F的误差方程，通过遍历所有同名点，建立法方程求解得到各个姿态的改正数。

本发明具有如下的优点：

(1)本方法能够充分利用连续帧间高重叠性且姿态变化连续的特点，将具有地面控制点的首幅图像的精准度维持到具有重叠区域的后续图像，使得后续不包含地面控制点的图像依然能够拥有较高的定位精准度。

(2)本方法根据各个坐标之间的变换关系和矢量的运算性质，利用无人机提供的遥测数据与共面条件相结合，将几何模型的确定与地理位置的计算整合到一步完成。

(3)本方法中的粗校正的初始化策略减少了迭代次数，同时也避免了最终结果陷入局部最优的情况。

(4)现有的基于共面条件的两步定位算法在计算过程中需要通过假设角元素为小值，因此该方法仅仅局限于小角度下，而本方法没有此限制。

(5)本方法通过粗校正减少迭代次数，通过F方程整合几何模型的确定与地理位置的计算减少计算量，从而实现数据计算的实时性，因此可应用于在线航拍过程中，实时性地修正后帧图像参数从而提高定位结果的精准度。

附图说明

图1是无人机航拍图像帧间连续性的示意图；

图2是本发明基于共面条件的帧间校正定位方法的流程图；

图3是本发明帧间校正过程中姿态误差粗估计流程图；

图4是各帧图像对应的东北天坐标系间关系示意图；

图5是斜视角增大时本发明提出的目标定位方法与基本目标定位的误差比较。

具体实施方式

下面结合附图，对本发明的具体实施方法作进一步的详细说明。

本发明提供的基于帧间连续性的无人机多帧图像目标定位方法，流程如图2所示，包括以下几个步骤：

第一步，起始图像初始化。

选择一帧有已知地面控制点的航拍图像为起始图像，通过单帧图像的定位反向校正获取该航拍图像对应的姿态信息改正数，得到准确的姿态信息。

具体为：

(1)根据遥测参数计算旋转矩阵

其中，是平台高低角，γ是平台方位角，ω是飞机横滚角，φ是飞机俯仰角，κ是飞机航向角。形如R_a(b)的矩阵表示b关于东北天坐标系的a轴的旋转矩阵。计算R的目的是为了求得图像中像素坐标与东北天坐标的转换关系。

(2)根据共线条件方程计算地面控制点在无人机的摄像机平台坐标系的近似值(x)(y)。

设地面控制点对应的大地坐标为(X,Y,Z)，无人机的经纬高信息对应的大地坐标为(X_s,Y_s,Z_s)，相机焦距为f。地面控制点对应在摄像平台坐标系下的像素坐标为(x,y)，该图像像素坐标(x,y)在东北天坐标系对应的坐标为(u,v,w)。

根据共线方程有：其中，λ是比例因子。

则写成矩阵形式为：

由于R为正交矩阵，则R^Τ＝R^-1，从而得到关系：

进而得到中心投影的构像方程，又称共线条件方程：

利用无人机的遥测参数作为初始值，带入共线条件方程得到控制点像点坐标的近似值(x)、(y)。

(3)根据共线方程得到误差方程。

由于无人机拍摄具有5个自由度，因此共线条件方程线性化需要对五个角度分别展开并取一次小值项：

其中，(x_c,y_c)表示目标成像元素的像素坐标。dX_s,dY_s,dZ_s,dγ,dω,dφ,dκ为目标坐标和五个角度的改正数。

则每个点的误差方程式为：

其中，v_x、v_y分别表示在图像坐标系的x轴、y轴方向上的成像误差。在计算过程中，将地面控制点的大地坐标(X,Y,Z)视为真值，并把相应的像素坐标(x,y)视为观测值。

若将上式各系数用a₁₁,...,a₂₈表示，则可写成：

其中中间参数

用矩阵形式表示为：

V＝AX-l (6)

式中

(4)计算各改正数的系数。

为书写方便，将共线方程中的分子、分母表示为如下：

则可以计算出系数：

由于

所以有

(5)逐个控制点计算，得到法方程，求解得改正数dX_s,dY_s,dZ_s,dγ,dω,dφ,dκ。

第二步，计算相邻帧图像的重叠率。

获取下一帧图像作为当前帧图像，每获取一帧图像均与上一帧图像计算重叠率，若在重叠区域中有足够多的同名点，则继续执行下面步骤，进行连续帧间校正定位。

第三步，误差粗估计。

通过对无人机各个姿态角误差的分析，可以得出结论，无人机的姿态角误差具有一定的连续性。而当无人机以高重叠率进行航拍的过程中，其各个姿态角必定都在进行缓慢平滑的变化。因此连续的两帧图像对应的姿态角的误差也应该成连续变化。因此，本发明提出了姿态信息误差的粗校正方法，如图3所示。

即对当前帧图像进行校正前，先利用上一帧图像的各个姿态信息的误差，即得到的改正数dX_s,dY_s,dZ_s,dγ,dω,dφ,dκ对该帧图像的姿态信息进行一次粗校正，进行粗校正后的姿态信息为近似值，再利用近似值进行后续的计算。同时，利用当前帧图像的姿态信息的近似值将粗校正误差进行更新，通过第一步中单帧图像的定位反向校正的方法，获取新的姿态信息改正数，以进行下面步骤。

通过加入姿态信息的粗校正，可以使得迭代次数明显减少，而且也很大程度上避免了在迭代过程中陷入局部最优的情况，从而提高了误差计算的准确度。

第四步，根据共面条件建立方程。

传统的基于共面条件的相对-绝对定位方法，根据共面条件建立方程需要两步。本发明改进了传统方法，不仅细化了姿态角，而且本发明根据各个坐标之间的变换关系和矢量的运算性质，利用无人机提供的遥测数据与共面条件相结合，将几何模型的确定与地理位置的计算整合到一步完成，使得F表达式里面的物理意义一步到位，计算出来的结果就是坐标真实值，而不用再进行绝对定位的计算。

由于以各个航拍位置为原点的东北天坐标系之间满足平移关系，东北天坐标系与空间直角坐标系之间满足平移和缩放变换，而共面条件下的矢量关系不会受到平移、缩放的影响，依然成立。因此本发明提出了将各矢量转化为航拍图像对应的东北天坐标系下，如图4所示，在一步中同时完成目标模型的建立和目标点在东北天坐标系下的求解。

从两个不同拍摄位置对同一目标进行航拍时，可以建立如图4所示的几何关系。其中M为同一目标点(同名点)，m₁、m₂为共同点M分别在两帧图像中的对应的像素点，则S₁m₁M与S₂m₂M表示两帧图像各自的摄像机光学中心S₁、S₂与共同点M之间的连线，又称为同名光线。此时，显然有两个同名光线在同一平面中，即两同名光线(S₁m₁M、S₂m₂M)与S₁S₂满足共面条件。这也意味着只要满足共面条件，就能使得同名光线对应相交。设S₂处为无人机拍摄当前帧图像时摄像机光学中心位置，S₁处为无人机拍摄上一帧图像时的摄像机光学中心位置。

在图4中，设

其中，[X_S2 Y_S2 Z_S2]和[X_S1 Y_S1 Z_S1]分别是拍摄两帧图像时摄像机光学中心在东北天坐标系下的坐标，[B_x B_y B_z]为摄像机光学中心的位移矢量。

[x_C1 y_C1 z_C1]^Τ与[x_C2 y_C2 z_C2]^Τ为同名点M在两帧图像中对应的像素坐标，其中的坐标z_C1＝z_C2＝-f。[x_N1 y_N1 z_N1]^Τ与[x_N2 y_N2 z_N2]^Τ为两像素坐标经过坐标系转换后在各自对应的东北天坐标系下的坐标。因此，可以改用坐标的形式表示共面条件：

F表示外积，两线共面，外积等于0。

由于引入了无人机航拍图像对应的具有较高准确度的位置信息，因此在帧间的校正定位过程中，需要校正的元素只有后帧图像对应的5个姿态角(平台高低角平台方位角γ，飞机俯仰角φ，飞机横滚角ω，飞机航向角κ)。因为式(14)为非线性函数，根据多元函数泰勒展开保留小值一次项得：

其中F₀为利用近似值根据式(14)计算求得的F值。

第五步，建立F的误差方程。

根据观测值+观测值改正数＝近似值+近似值改正数的原则建立误差方程式，如下：

其中，v_F为F的误差。

写作矩阵形式为：

v＝AX-l (17)

其中：

下面对误差方程式中的系数进行推导。

由式子(14)可知偏导数

其中，因为

所以

带入(19)式即可得到对应的偏导数。利用同样的方法可以计算出其余偏导数。

第六步，求解姿态信息的改正数。

遍历所有同名点得到法方程，求解得到改正数。

对各个同名点重复上述第四步和第五步的操作，得到法方程如下：

A^ΤAX＝A^ΤL (23)

公式(23)中，A，X如(18)中定义，L是公式(18)中多个l组成的矩阵。并根据

X＝(A^ΤA)^-1A^ΤL (24)

求解可以得到当前帧图像各个姿态的改正数。

第七步，将改正数加到当前帧图像的姿态信息的近似值上作为新的近似值，并判断得到的改正数是否低于设定的限值，若是，停止迭代，输出当前帧图像的姿态信息的近似值以及各姿态的改正数，以用于下一帧图像的计算中。否则，继续利用当前帧图像的姿态信息的新的近似值进行迭代，转第四步执行。

当光轴斜视角增大时，例如从40度到70度，本发明提出的基于帧间连续性的多帧图像目标定位校正方法与基本目标定位校正方法的误差比较如图5所示，可以看出本发明提出的方法具有更高的稳定性，定位误差更小，并提高了定位准确度。

Claims (6)

1.一种基于帧间连续性的无人机多帧图像目标定位方法，其特征在于，包括：

计算相邻帧图像的重叠率，所述重叠率是指在两帧图像的重叠区域中的同名点数量；

当重叠率大于设定的最低门限值时，执行下面过程(1)～(4)：

(1)先利用上一帧图像的姿态信息的改正数对当前帧图像的姿态信息进行粗校正，作为当前帧图像的姿态信息的近似值；

(2)将同名点在在当前帧图像和上一帧图像中的像素坐标转换为在各自东北天坐标系下的坐标，所述的东北天坐标系以各个航拍位置为原点；根据两个同名光线在同一平面的共面条件建立F方程；

无人机拍摄当前帧图像时摄像机光学中心在东北天坐标系下的坐标为[X_S2 Y_S2 Z_S2]，拍摄上一帧图像时摄像机光学中心在东北天坐标系下的坐标为[X_S1 Y_S1 Z_S1]，则摄像机光学中心的位移矢量[B_x B_y B_z]＝[X_S2 Y_S2 Z_S2]-[X_S1 Y_S1 Z_S1]；

设同名点在当前帧图像中的像素坐标转换为东北天坐标系下的坐标为[x_N1 y_N1 z_N1]^Τ，同名点在上一帧图像中像素坐标转换为东北天坐标系下的坐标为[x_N2 y_N2 z_N2]^Τ；

建立的F方程表示为：

(3)遍历所有同名点，对各同名点执行(2)，求解各个姿态的改正数；

(4)将得到的各姿态的改正数加到各姿态的近似值上，更新当前帧图像的姿态信息的近似值；判断得到的改正数是否低于设定的限值，若是，停止迭代，输出当前帧图像的姿态信息的改正数以及近似值；否则，继续利用新的近似值继续执行(2)。

2.根据权利要求1所述的无人机多帧图像目标定位方法，其特征在于，所述方法选择一帧有已知地面控制点的航拍图像作为起始图像，通过单帧图像的定位反向校正，获取该航拍图像对应的姿态信息改正数，姿态信息包括：无人机的经纬高信息对应的大地坐标，平台高低角，平台方位角，飞机俯仰角，飞机横滚角，飞机航向角。

3.根据权利要求1或2所述的无人机多帧图像目标定位方法，其特征在于，所述的粗校正是指利用上一帧图像的姿态信息改正数对当前帧图像进行校正。

4.根据权利要求1或2所述的无人机多帧图像目标定位方法，其特征在于，所述方法还利用当前帧图像的姿态信息的近似值，通过单帧图像的定位反向校正，更新图像对应的各个姿态信息的误差。

5.根据权利要求1所述的无人机多帧图像目标定位方法，其特征在于，所述方法利用当前帧图像的姿态信息的近似值来确定F的初始值F₀。

6.根据权利要求1或5所述的无人机多帧图像目标定位方法，其特征在于，所述方法通过遍历所有同名点，建立法方程A^ΤAX＝A^ΤL，求解得到各个姿态的改正数；其中，

矩阵 是平台高低角，γ是平台方位角，ω是飞机横滚角，φ是飞机俯仰角，κ是飞机航向角；

矩阵 dγ,dω,dφ,dκ分别为平台高低角、平台方位角、飞机横滚角、飞机俯仰角和飞机航向角的改正数；

L是由各同名点的参数l组成的矩阵，l＝0-F₀；F₀为F的初始值。