CN105424010A - 一种无人机视频地理空间信息注册方法 - Google Patents

Abstract

本发明涉及一种无人机视频地理空间信息注册方法，属于遥感地理信息技术领域。本发明首先将成像设备和POS系统搭载到无人机上，并对成像设备进行严密几何标定；然后根据无人机上的POS系统与成像设备之间的相对几何关系将POS系统得到的位置姿态数据进行空间基准转换和系统误差补偿，以转换为视频数据的外方位元素；结合成像设备几何标定参数和视频数据的外方位元素，赋予每一帧视频影像精确的内、外方位元素，以完成视频数据的地理空间信息注册。本发明将POS采集到的姿态信息和成像设备拍摄的视频数据进行融合，使视频序列成像的每帧画面在POS系统测量参数的标注下，转化为具有定量化地理空间信息标志的动态影像产品，满足了应急条件下测绘保障需求。

Description

一种无人机视频地理空间信息注册方法

技术领域

本发明涉及一种无人机视频地理空间信息注册方法，属于遥感地理信息技术领域。

背景技术

在传统的遥感测绘领域，各种类型的航空航天传感器获取的遥感影像均属于“静态”影像，对于时效性要求不高的领域可以满足其要求。而在一些应急响应的条件下，“静态”影像往往难以对用户所关系的态势进行实时连续的描述，例如，发生洪水时水位的实时监测、森林火灾中火势的蔓延情况。以上应用中用户不仅关心场景的态势变化，通常也需要获取场景的地理位置信息。目前有些机构利用无人机搭载摄像头航拍视频，并利用自驾仪内置的GPS和IMU进行目标定位，以得到目标的概略方位。但受限于GPS/IMU的精度较低、系统未进行集合标定、摄像头与GPS/IMU相对关系不稳定等因素，应用效果并不理想，所得到的场景地理位置信息不够准确。

发明内容

本发明的目的是提供一种无人机视频地理空间信息注册方法，以解决目前无人机视频信息所获取场景的地理位置信息不够准确的问题。

本发明为解决上述技术问题提供了一种无人机视频地理空间信息注册方法，该方法包括以下步骤：

1)将成像设备和POS系统搭载到无人机上，利用地面三维控制场对成像设备进行严密几何标定，包括内方位元素和镜头畸变参数；

2)根据无人机上的POS系统与成像设备之间的相对几何关系将POS系统得到的位置姿态数据进行空间基准转换和系统误差补偿，以转换为视频数据的外方位元素；

3)结合成像设备几何标定参数和视频数据的外方位元素，赋予每一帧视频影像精确的内、外方位元素，以实现视频数据的地理空间信息注册。

所述步骤1)中的内方位元素和畸变参数可描述为：

x＝x₀+Δx_r+Δx_d+Δx_m

y＝y₀+Δy_r+Δy_d+Δy_m

其中x、y表示像空间坐标，x₀、y₀表示像主点坐标，Δx_r、Δy_r分别表示径向畸变在x、y方向上的分量，Δx_d、Δy_d分别表示偏心畸变在x、y方向上的分量，Δx_m、Δy_m分别表示像平面畸变在x、y方向上的分量。

所述步骤2)中POS数据转换为视频数据的外方位元素包括线元素和角元素，线元素转换的目的是确定成像设备透视中心在物方坐标系m中的坐标(X_S,Y_S,Y_S)，角元素转换的目的是确定成像设备像空间坐标系在物方坐标系下的姿态信息。

所述的摄像机透视中心在物方坐标系m中的坐标(X_S,Y_S,Y_S)可表示为：

$\left[\begin{array}{c}{X}_S\\ Y_S\\ Z_S\end{array}\right]=R_E^m(\left[\begin{array}{c}{X}_{IMU}\\ Y_{IMU}\\ Z_{IMU}\end{array}\right]+R_n^E{R}_b^n(\mathrm{\Ψ},\mathrm{\Θ},\mathrm{\Φ}){\left[\begin{array}{c}{x}_l\\ y_l\\ z_l\end{array}\right]}^b-\left[\begin{array}{c}{X}_0\\ Y_0\\ Z_0\end{array}\right])$

其中(X_IMU,Y_IMU,Y_IMU)为POS系统中IMU的坐标，(x_l,y_l,z_l)表示成像设备投影中心相对于IMU本体坐标系的坐标，(X₀,Y₀,Y₀)表示切平面直角坐标系原点在地心地固坐标系下的坐标，Ψ表示IMU得到的侧滚角，Θ表示IMU得到的俯仰角，Φ表示IMU得到的偏航角，表示从地心直角坐标系(E系)到切平面直角坐标系(m系)的转换矩阵，表示从导航坐标系(n系)到地心直角坐标系(E系)的转换矩阵，表示从IMU本体坐标系(b系)到导航坐标系(n系)的转换矩阵。

所述摄像机像空间坐标系在物方坐标系下的姿态信息(ω,φ,κ)为：

其中，(e_x,e_y,e_z)表示IMU相对于摄像机的视轴偏心角，B、L分别为POS设备测量得到的经度和纬度数据，B₀、L₀分别表示测区原点的经度和纬度，ω、和κ表示影像外方位元素的角元素，表示从物方坐标系(m系)到摄像机坐标系(c系)的旋转矩阵，表示从摄像机像空系(c系)到IMU本体系(b系)的转换矩阵。

该注册方法还包括对成像设备采集到的图像和POS设备采集位置姿态数据进行时间同步的过程。

所述的时间同步是将每帧图像曝光瞬间的GPS时间记录下来，对POS数据在时间上内插以获取图像曝光瞬间的位置姿态数据，从而实现图像与POS设备采集位置姿态数据在时间上的同步。

所述内插采用全局化的分段插值方法-三次样条差值法。

本发明的有益效果是:本发明首先将成像设备和POS系统搭载到无人机上，利用地面三维控制场对成像设备进行严密几何标定，包括内方位元素和镜头畸变参数；然后根据无人机上的POS系统与成像设备之间的相对几何关系将POS系统得到的位置姿态数据进行空间基准转换和系统误差补偿，以转换为视频数据的外方位元素；结合成像设备几何标定参数和视频数据的外方位元素，赋予每一帧视频影像精确的内、外方位元素，以完成视频数据的地理空间信息注册。本发明将POS采集到的姿态信息和成像设备拍摄的视频数据进行融合，频序列成像的每帧画面在POS系统测量参数的标注下，转化为具有定量化地理空间信息标志的动态影像产品，比电视直播画面具有更加精细、量化的信息优势，满足了应急条件下测绘保障需求。

附图说明

图1是本发明无人机视频信息的应用示意图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步的说明。

如图1所示，本发明的无人机视频信息包括序列视频影像和POS输出的GPS/IMU数据，通过视频数据的地理空间信息注册，以得到具有高精度地理定位信息的高清(1080P)视频，视频数据的地理空间信息注册是赋予每帧影像精确的内外方位元素，使其具有地理属性，注册的过程主要包括空间和时间两个方面，具体的实施过程如下。

1.将成像设备和POS系统搭载到无人机上，利用地面三维控制场对成像设备进行严密几何标定，包括内方位元素和镜头畸变参数。

本实施例中采用起降方便、机动灵活的无人直升机平台来搭载高清成像设备、测量型定位测姿系统(POS，PositionandOrientationSystem)，以获取现场的高清视频数据及其位置姿态信息。其中POS系统是由惯性测量单元(InertialMeasurementUnit,IMU)与全球定位系统(GlobalNavigationSatelliteSystem,GNSS)构成的组合导航系统。IMU实时获取载体的角速度和加速度信息，通过解算可得载体的位置、速度和姿态等运动参数；GNSS可以提供载体的高精度位置信息，两者进行结合便可提供实时的位置姿态服务。

成像设备可选用高清摄像机，在实际使用中，，内方位元素也就是摄像机几何标定得到的内方位元素和畸变参数，可以用下面的公式表达：

x＝x₀+Δx_r+Δx_d+Δx_m

y＝y₀+Δy_r+Δy_d+Δy_m

x、y表示像空间坐标，x₀、y₀表示像主点坐标，Δx_r、Δy_r分别表示径向畸变在x、y方向上的分量，Δx_d、Δy_d分别表示偏心畸变在x、y方向上的分量，Δx_m、Δy_m表示像平面畸变在x、y方向上的分量。

2.根据无人机上的POS系统与成像设备之间的相对几何关系将POS系统得到的位置姿态数据进行空间基准转换和系统误差补偿，以转换为视频数据的外方位元素。

POS数据转换为外方位元素可以从线元素和角元素两个方面来展开。线元素转换的目的是确定摄像机透视中心在物方坐标系m中的坐标(X_s,Y_s,Z_s)。无人直升机上搭载的POS系统中的GPS和IMU数据联合结算时需考虑到GPS相对IMU的偏移，输出的位置数据是IMU中心的位置信息。但摄影测量需要的是摄像机投影中心的位置信息，用(x_l,y_l,z_l)表示摄像机投影中心相对于IMU本体坐标系的位置，影像外方位元素的表示如下：

$\left[\begin{array}{c}{X}_s\\ Y_s\\ Z_s\end{array}\right]=R_E^m(\left[\begin{array}{c}{X}_{IMU}\\ Y_{IMU}\\ Z_{IMU}\end{array}\right]+R_n^E{R}_b^n(\mathrm{\Ψ},\mathrm{\Θ},\mathrm{\Φ}){\left[\begin{array}{c}{x}_l\\ y_l\\ z_l\end{array}\right]}^b-\left[\begin{array}{c}{X}_0\\ Y_0\\ Z_0\end{array}\right])$

其中(X_IMU,Y_IMU,Y_IMU)为POS系统中IMU的坐标，(x_l,y_l,z_l)表示成像设备投影中心相对于IMU本体坐标系的坐标，(X₀,Y₀,Y₀)表示切平面直角坐标系原点在地心地固坐标系下的坐标，Ψ表示IMU得到的侧滚角，Θ表示IMU得到的俯仰角，Φ表示IMU得到的偏航角，表示从地心直角坐标系(E系)到切平面直角坐标系(m系)的转换矩阵，表示从导航坐标系(n系)到地心直角坐标系(E系)的转换矩阵，表示从IMU本体坐标系(b系)到导航坐标系(n系)的转换矩阵。

角元素转换的目的是确定成像设备像空间坐标系在物方坐标系下的姿态信息。IMU输出的POS数据中的角元素表示IMU本体坐标系像对导航坐标系的航偏、俯仰和侧滚角，而影像的外方位角元素(ω,φ,κ)则表示摄像机像空间坐标系在物方坐标系下的姿态信息。两者的差异既包含坐标系统的转换，又包含系统误差的补偿，具体的如下：

从摄像机空系(c系)到IMU本体系(b系)的转换，表示为(2)从IMU本体坐标系(b系)到导航坐标系(n系)的转换，表示为(3)从导航坐标系(n系)到地心直角坐标系(e系)的转换，相应矩阵表示为(4)由地心直角坐标系(e系)转换到切平面直角坐标系(m系)，转换矩阵记为综合上述步骤，可得物方坐标系(m系)到摄像机坐标系(c系)的旋转矩阵为：

其中，(e_x,e_y,e_z)表示IMU相对于摄像机的视轴偏心角，B、L分别为POS设备测量得到的经度和纬度数据，B₀、L₀分别表示测区原点的经度和纬度，ω、和κ表示影像外方位元素的角元素

3.结合成像设备几何标定参数和视频数据的外方位元素，赋予每一帧视频影像精确的内、外方位元素，以实现视频数据的地理空间信息注册。

上述视频数据的地理空间信息注册仅给出了空间上的注册，为了能够了解视频数据的实时演变，该注册方法还包括时间上的注册，即对成像设备采集到的图像和POS设备采集位置姿态数据进行时间同步的过程。由于目前视频传感器采集图像还无法与POS设备采集位置姿态数据在时间上进行严格同步，本实施例的时间同步是将每帧图像曝光瞬间的GPS时间记录下来，对POS数据在时间上内插以获取图像曝光瞬间的位置姿态数据，从而实现图像与POS设备采集位置姿态数据在时间上的同步。

为了提高分段埃尔米特插值函数在节点处的光滑性和克服Lagrange插值的不收敛性，本发明采用全局化的分段插值方法—三次样条值插值。设y＝f(x)在区间[a,b]上的节点值为f(x_i)，三次样条函数φ(x)满足下列条件。

a.φ(x)在每个子区间上都是次数不超过3的多项式；

b.φ(x_i)＝f(x_i)；

c.φ(x)在插值区间上有连续的二阶导数。

由于三次样条函数具有良好的收敛性和稳定性，又具有二阶光滑性，在POS数据内插中具有良好的效果。

本发明采用起降方便、机动灵活的无人直升机平台，搭载高清成像设备、测量型定位测姿系统POS，以获取现场的高清视频数据及其位置姿态信息，通过视频数据的地理空间信息注册，可得到具有高精度地理定位信息的高清(1080p)视频，满足了应急条件下测绘保障需求。本发明可应用到以下场合。

(1)在发生地震、泥石流、洪水等自然灾害时，利用本发明得到的动态地理影像可以快速准确计算出房屋倒塌的面积、泥石流破坏的面积、洪水的水位变化，为救援人员提供实时的参考数据；

(2)战场环境中，无人机可以飞抵“热点”目标上空悬停凝视，将本发明得到的动态的视频数据回传给指挥员，指挥员不但能够连续监测目标的变化情况，还能够确定其位置、几何尺寸等信息；

(3)利用本发明地理空间信息注册后的数据可以制作场景的三维模型、正射影像等产品，在一定程度上可以替代相机拍摄影像的功能，而且，视频数据具有连续观测，能记录更多细节信息，场景三维重建的效果更加精细、逼真。

Claims (8)

1.一种无人机视频地理空间信息注册方法，其特征在于，该方法包括以下步骤：

1)将成像设备和POS系统搭载到无人机上，利用地面三维控制场对成像设备进行严密几何标定，包括内方位元素和镜头畸变参数；

2)根据无人机上的POS系统与成像设备之间的相对几何关系将POS系统得到的位置姿态数据进行空间基准转换和系统误差补偿，以转换为视频数据的外方位元素；

3)结合成像设备几何标定参数和视频数据的外方位元素，赋予每一帧视频影像精确的内、外方位元素，以实现视频数据的地理空间信息注册。

2.根据权利要求1所述的无人机视频地理空间信息注册方法，其特征在于，所述步骤1)中的内方位元素和畸变参数可描述为：

x＝x₀+Δx_r+Δx_d+Δx_m

y＝y₀+Δy_r+Δy_d+Δy_m

其中x、y表示像空间坐标，x₀、y₀表示像主点坐标，Δx_r、Δy_r分别表示径向畸变在x、y方向上的分量，Δx_d、Δy_d分别表示偏心畸变在x、y方向上的分量，Δx_m、Δy_m分别表示像平面畸变在x、y方向上的分量。

3.根据权利要求2所述的无人机视频地理空间信息注册方法，其特征在于，所述步骤2)中POS数据转换为视频数据的外方位元素包括线元素和角元素，线元素转换的目的是确定成像设备透视中心在物方坐标系m中的坐标(X_S,Y_S,Y_S)，角元素转换的目的是确定成像设备像空间坐标系在物方坐标系下的姿态信息。

4.根据权利要求3所述的无人机视频地理空间信息注册方法，其特征在于，所述的摄像机透视中心在物方坐标系m中的坐标(X_S,Y_S,Y_S)可表示为：

$\left[\begin{array}{c}{X}_S\\ Y_S\\ Z_S\end{array}\right]=R_E^m(\left[\begin{array}{c}{X}_{IMU}\\ Y_{IMU}\\ Z_{IMU}\end{array}\right]+R_n^E{R}_b^n(\mathrm{\Ψ},\mathrm{\Θ},\mathrm{\Φ}){\left[\begin{array}{c}{x}_l\\ y_l\\ z_l\end{array}\right]}^b-\left[\begin{array}{c}{X}_0\\ Y_0\\ Z_0\end{array}\right])$

其中(X_IMU,Y_IMU,Y_IMU)为POS系统中IMU的坐标，(x_l,y_l,z_l)表示成像设备投影中心相对于IMU本体坐标系的坐标，(X₀,Y₀,Y₀)表示切平面直角坐标系原点在地心地固坐标系下的坐标，Ψ表示IMU得到的侧滚角，Θ表示IMU得到的俯仰角，Φ表示IMU得到的偏航角，表示从地心直角坐标系(E系)到切平面直角坐标系(m系)的转换矩阵，表示从导航坐标系(n系)到地心直角坐标系(E系)的转换矩阵，表示从IMU本体坐标系(b系)到导航坐标系(n系)的转换矩阵。

5.根据权利要求4所述的无人机视频地理空间信息注册方法，其特征在于，所述摄像机像空间坐标系在物方坐标系下的姿态信息(ω,φ,κ)为：

其中，(e_x,e_y,e_z)表示IMU相对于摄像机的视轴偏心角，B、L分别为POS设备测量得到的经度和纬度数据，B₀、L₀分别表示测区原点的经度和纬度，ω、和κ表示影像外方位元素的角元素，表示从物方坐标系(m系)到摄像机坐标系(c系)的旋转矩阵，表示从摄像机像空系(c系)到IMU本体系(b系)的转换矩阵。

6.根据权利要求1所述的无人机视频地理空间信息注册方法，其特征在于，该注册方法还包括对成像设备采集到的图像和POS设备采集位置姿态数据进行时间同步的过程。

7.根据权利要求6所述的无人机视频地理空间信息注册方法，其特征在于，所述的时间同步是将每帧图像曝光瞬间的GPS时间记录下来，对POS数据在时间上内插以获取图像曝光瞬间的位置姿态数据，从而实现图像与POS设备采集位置姿态数据在时间上的同步。

8.根据权利要求7所述的无人机视频地理空间信息注册方法，其特征在于，所述内插采用全局化的分段插值方法-三次样条差值法。