CN107656286B - 大倾斜远端观测环境下目标定位方法及系统 - Google Patents

Abstract

本发明提供一种大倾斜远端观测环境下目标定位方法及系统，融合视频影像与激光测距信息的实现目标定位，包括数据准备，利用激光测距信息进行目标粗定位作为约束条件，确定地面特征点坐标外推容限范围，修改地面特征点的坐标初值；以目标点作为虚拟控制点，进行带虚拟控制点约束的GPS辅助光束法平差；以目标粗定位结果作为初值，以获取的影像位置和姿态作为已知条件，进行前方交会目标定位的非线性迭代求解，再重复一次提高目标定位精度。本发明有效地融合光学传感器和激光装置在信息获取上的优势，即可以满足激光单一目标定位的需求，又可以满足光学视频影像多目标定位的需要，并且极大限度地提高目标定位精度。

Description

大倾斜远端观测环境下目标定位方法及系统

技术领域

本发明属于测绘科学与技术领域，涉及一种大倾斜远端观测环境下目标定位技术。

背景技术

利用视频影像跟踪和锁定感兴趣目标是时下研究热点之一。对于无人机影像来说，可以利用平台搭载的位置和姿态传感器(如全球定位系统GPS和惯性测量单元IMU传感器)辅以观测目标的自动匹配技术等进行目标定位。在测绘科学领域，为了获取高精度的目标位置，目前通常采用光束法平差修正观测平台的位置和姿态，从而利用前方交会方法求取目标位置。

在一些侦察平台中，一般搭载视频设备、惯性组合导航装置以及激光测距装置等，可进行无法达到区的观测侦察任务，具有观测距离远、视频成像视角小、大倾斜、目标观测有效范围小等观测特点。由于观测任务临时性、观测区域事先未知、观测区域无法达到等因素，因此无法获取观测区域的地面控制网，目标定位精度往往依靠平台设备本身的精度。在传统摄影测量领域，无地面控制信息的条件下通常采用GPS或者POS辅助光束法平差的方法获取影像曝光时刻的位置和姿态，该方法是一种非线性迭代求解的方法，未知数求解的精度与初始值的精度有关。在目标观测基线有限(短基线或窄基线)且观测距离过远的条件下，由于三角测量的几何构型差，通过前方交会方法确定地面点初值误差大，平差很可能收敛到局部最优。由传统摄影测量竖直摄影的经验表明，在窄基线条件下，采用GPS或POS辅助光束法平差可造成较大的高程误差。在大倾斜条件下，视线方向的误差可分解为直角坐标系下的高程误差和平面误差，因此，采用传统的GPS或者POS辅助光束平差很可能存在严重的平面误差和高程误差，从而求解的影像位置和姿态精度无法保证高精度目标定位的要求。究其原因是因为在远距离观测的条件下没有目标深度信息，无法提供很好的约束条件，光束法平差的精度不高。目前的侦察平台一般会同时安装激光测距装置，视频设备通常解决目标的可视问题(“看”的问题)，而激光装置解决测量功能(“量”的问题)，可通过激光测距方法或者基于扩展的卡尔曼滤波的激光测距方法进行目标的量测定位。通常激光测距一般只能实现所测距单一目标的定位，若同时存在跟踪过程中(如跟踪建筑物时)激光遗漏目标导致激光测距的非有效观测、目标点初值误差大、激光装置功率不高导致有效观测范围内观测信息不足等问题，利用激光测距方程获取的目标定位精度有限，另外，仅采用激光测距进行目标定位无法发挥视频影像多目标识别跟踪的优势。因此，无论是利用视频影像进行GPS或者POS辅助光束法平差后采用前方交会方法进行目标定位，还是直接利用激光测距方程进行目标定位，两种方法都存在信息提取上不足，并且相互间具有互补性，目标定位精度具有很大的提升空间。

发明内容

本发明的目的是提供一种大倾斜远端观测环境下目标定位方法的技术方案，它能够为传统摄影测量领域的GPS辅助光束法平差方法提供地面点的深度信息初值约束，有效地利用光学传感器和激光装置在信息获取上的优势，即可以满足激光单一目标跟踪定位的需求，又可以满足光学视频影像多目标跟踪定位的需要，并且极大限度地提高目标定位精度。

为达到上述目的，本发明提供的技术方案提供一种大倾斜远端观测环境下目标定位方法，间接融合视频影像与激光测距信息实现目标定位，包括以下步骤：

步骤1，数据准备，包括获取包含激光测距目标的视频影像，以及相应平台GPS观测值、IMU观测值和目标激光测距信息观测值；

步骤2，利用激光测距信息进行目标粗定位，包括以下子步骤，

步骤2.1，利用GPS观测值插值激光量测时的初始位置；

步骤2.2，建立激光测距的误差方程；

步骤2.3，根据步骤2.2所建立误差方程，给定目标点初值，利用带有界损失函数的LM方法迭代求解法方程；

步骤2.4，二次迭代求解目标定位结果，包括利用步骤2.3的定位结果作为目标新的初值，减小残差敏感度因子，按照步骤2.3重新迭代，直到收敛结束；

步骤3，以步骤2中目标粗定位结果作为约束条件，确定视频影像特征点对应地面点的三维坐标初值；

步骤3.1，确定地面特征点坐标外推容限范围；

步骤3.2，利用前方交会求取地面特征点的三维坐标初值；

步骤3.3，按照步骤3.1所确定的容限范围修改地面特征点的三维坐标初值；

步骤4，根据步骤3所得特征点的三维坐标初值，以IMU观测值作为影像角元素初值，并以步骤2中的目标点作为虚拟控制点，进行带虚拟控制点约束的GPS辅助光束法平差；

步骤5，以步骤2所得目标粗定位结果作为初值，以进行步骤4时获取的影像位置和姿态作为已知条件，进行前方交会目标定位的非线性迭代求解；

步骤6，以步骤5中获取的目标定位结果作为初值，再重复一次步骤2～步骤5，提高目标定位精度。

而且，步骤2.1中，激光测距装置初始位置插值采用以下方式实现，

首先，确定待插值激光位置的观测时间t₀并在GPS观测值中选择待插值的时间段[t_i t_j]及其相应的观测位置；

其次，获取GPS观测值时间的均值和GPS观测值的位置均值并进行时间中心化与位置中心化，即

其中，为GPS观测值时间的均值；为GPS观测值的位置均值；t_k为GPS插值时间段内某一观测值的时间；(X_k Y_k Z_k)^T为GPS插值时间段内某一具体观测值；

再次，选择插值方式，并利用GPS观测频率f对插值线性方程进行归一化，采用归一化插值方程求解获取更精确的插值位置。

而且，步骤2.2中，建立距离归一化的激光测距方程如下

其中，X,Y,Z表示激光装置按照时间插值的位置；X₀,Y₀,Z₀表示目标点的位置；D表示激光测距观测值；V表示归一化后的观测值残差。

而且，步骤2.3中，有界损失函数形式为，

其中，v为归一化后的观测值残差，δ为残差敏感度因子；

残差敏感性因子采用如下方式定义，

δ＝δ_d/_D

其中，δ_d为激光测距的先验精度；D为激光观测距离。

而且，步骤3.1中，确定地面特征点坐标外推容限范围实现方式如下，

由步骤2确定的目标定位高程作为基准高程，设定高程阈值δ_H，将特征点坐标按照影像外方位元素初值投影到最低高程和最高高程，获取地面点坐标，得到获取两组地面特征点的平面坐标，然后与目标点坐标做差值，获取该地面特征点到目标点的坐标差值范围，确定平面坐标初值外推容限范围ΔX_min,ΔY_min,ΔX_max,ΔY_max。

而且，步骤3.3中，按照所确定的容限范围修改地面特征点的坐标初值的实现方式如下，

设地面特征点的前方交会坐标初值为[X Y Z]^T，按照步骤2进行目标粗定位坐标为[X₀ Y₀ Z₀]^T，地面特征点最终初值为[X_T Y_T Z_T]^T，按下式确定，

其中，ΔH为高程阈值δ_H加上地形表面起伏的平均高程。

而且，当视频影像可多目标跟踪时，以步骤5获取的影像位置和姿态信息作为前方交会的已知值，辅以目标检测的坐标进行前方交会直接解。

本发明提供一种大倾斜远端观测环境目标定位系统，用于间接融合视频影像与激光测距信息实现目标定位，包含以下模块：

第一模块，用于数据准备，包括获取包含激光测距目标的视频影像，以及相应平台GPS观测值、IMU观测值和目标激光测距信息观测值；

第二模块，用于利用激光测距信息进行目标粗定位，包括以下子模块，

第一子模块，用于利用GPS观测值插值激光量测时的初始位置；

第二子模块，用于建立激光测距的误差方程；

第三子模块，用于根据第二子模块所建立误差方程，给定目标点初值，利用带有界损失函数的LM方法迭代求解法方程；

第四子模块，用于二次迭代求解目标定位结果，包括利用第三子模块的定位结果作为目标新的初值，减小残差敏感度因子，按照第三子模块的工作方式重新迭代，直到收敛结束；第三模块，用于以第二模块中目标粗定位结果作为约束条件，确定视频影像特征点对应地面点的三维坐标初值，包含以下子模块，

第一子模块，用于确定地面特征点坐标外推容限范围；

第二子模块，用于利用前方交会求取地面特征点的三维坐标初值；

第三子模块，用于按照第一子模块所确定的容限范围修改地面特征点的三维坐标初值；第四模块，用于根据第三模块所得特征点的三维坐标初值，以IMU观测值作为影像角元素初值，并以第二模块中的目标点作为虚拟控制点，进行带虚拟控制点约束的GPS辅助光束法平差；

第五模块，用于以第二模块中目标粗定位结果作为初值，以第四模块获取的影像位置和姿态作为已知条件，进行前方交会目标定位的非线性迭代求解；

第六模块，用于以第五模块中获取的目标定位结果作为初值，重新运行第二模块～第四模块，，提高目标定位精度。

而且，第二模块的第一子模块中，激光测距装置初始位置插值采用以下方式实现，

首先，确定待插值激光位置的观测时间t₀并在GPS观测值中选择待插值的时间段[t_i t_j]及其相应的观测位置；

其次，获取GPS观测值时间的均值和GPS观测值的位置均值并进行时间中心化与位置中心化，即

其中，为GPS观测值时间的均值；为GPS观测值的位置均值；t_k为GPS插值时间段内某一观测值的时间；(X_k Y_k Z_k)^T为GPS插值时间段内某一具体观测值；

再次，选择插值方式，并利用GPS观测频率f对插值线性方程进行归一化，采用归一化插值方程求解获取更精确的插值位置。

而且，第二模块的第二子模块中，建立距离归一化的激光测距方程如下

其中，X,Y,Z表示激光装置按照时间插值的位置；X₀,Y₀,Z₀表示目标点的位置；D表示激光测距观测值；V表示归一化后的观测值残差。

而且，第二模块的第三子模块中，有界损失函数形式为，

其中，v为归一化后的观测值残差，δ为残差敏感度因子；

残差敏感性因子采用如下方式定义，

δ＝δ_d/_D

其中，δ_d为激光测距的先验精度；D为激光观测距离。

而且，第三模块的第一子模块中，确定地面特征点坐标外推容限范围实现方式如下，

由第二模块确定的目标定位高程作为基准高程，设定高程阈值δ_H，将特征点坐标按照影像外方位元素初值投影到最低高程和最高高程，获取地面点坐标，得到获取两组地面特征点的平面坐标，然后与目标点坐标做差值，获取该地面特征点到目标点的坐标差值范围，确定平面坐标初值外推容限范围ΔX_min,ΔY_min,ΔX_max,ΔY_max。

而且，第三模块的第三子模块中，按照所确定的容限范围修改地面特征点的坐标初值的实现方式如下，

设地面特征点的前方交会坐标初值为[X Y Z]^T，第二模块所得目标粗定位坐标为[X₀ Y₀ Z₀]^T，地面特征点最终初值为[X_T Y_T Z_T]^T，按下式确定，

其中，ΔH为高程阈值δ_H加上地形表面起伏的平均高程。

而且，设置第七模块，当视频影像可多目标跟踪时，以第五模块获取的影像位置和姿态信息作为前方交会的已知值，辅以目标检测的坐标进行前方交会直接解。

本发明的方法首先利用激光装置和GPS装置的刚体结构(本发明中不考虑激光装置中心、GPS观测值中心、影像摄影中心的安置关系，它们之间可通过检校好的安置关系参数进行转换)，结合运动平台的飞行模式，内插激光测距装置的初始位置，并结合提出的归一化激光测距方程以及带有界损失函数的LM方法进行激光测距目标的概略定位。同时，以概略定位的结果作为视频影像地面特征点坐标初值的约束依据，有效地减少了大倾斜远距离观测条件下由于IMU观测值精度低造成地面特征点前方交会初值误差大而引起的精度衰减问题；另外，以激光测距目标的概略定位结果作为“虚拟”控制点进行GPS辅助平差，获取视频影像精确的外方位元素。最后将获取的影像外方位元素结合前方交会方法进行目标的精确定位。本发明主要适用于具有视频影像装置和激光测距装置的飞行平台，用于获取视频影像精确的外方位元素以及目标定位等。本发明技术方案具有如下特点：

1)采用归一化的激光测距方程以及带有界损失函数的LM求解方法，可以保证激光测距目标在很差初值的基础上都能够收敛到理想值，同时，可以剔除激光测距中少量“大”粗差的影响，大大提高了方法的适用性。

2)采用激光测距装置进行目标的概略定位，并将其结果作为地面特征点初值的参考依据，有效减小了前方交会时由于角度偏差引起地面特征点初值误差大的问题，降低了法方程病态的风险。同时，概略定位结果可以在无地面控制信息的条件下充当控制点的作用，参与平差解算，提高平差精度。

3)一定程度上结合了视频影像和激光测距装置的优势。由于激光测距装置可以提供深度信息，本方案将该信息转化为虚拟的地面控制信息，一定程度上能够提高传统无地面控制的GPS辅助光束法平差的精度。

4)由于结合了视频影像可多目标跟踪锁定的优势，可实现多目标同时定位，弥补了激光测距只能单一目标定位的不足，具有重要的市场价值。

附图说明

图1为本发明实施例中确定地面特征点坐标“外推”水平X方向容限范围示意图。

具体实施方式

以下根据附图和实施例对本发明的具体技术方案进行说明。

本发明提供一种大倾斜远端观测环境下目标定位方法。该方法适用于提供视频影像和激光测距装置的飞行平台，其中视频影像用于显示目标、激光装置用于测量目标到飞行平台的距离，主要应用于大倾斜远距离观测目标且无地面控制信息条件下的影像外方位元素获取与目标定位。研究发现，在大倾斜远距离观测目标时，仅采用视频影像按照传统GPS辅助光束法平差方法很难达到目标的高精度定位，究其原因是在无地面控制信息又无高精度定姿设备的条件下，GPS辅助光束法平差的精度取主要决于低精度定姿设备精度(如IMU，影响前方交会物方点初值)。另外，仅采用激光测距信息进行目标定位一般只能定位有激光测距的目标，无法发挥视频影像可以多目标定位的优势；同时，采用激光测距定位的精度仍然有上升空间。研究还发现，在弱三角交会测量的条件下，提供特征点的深度信息可以有效提高光束法平差的精度。而用激光对感兴趣目标进行锁定测距可以提供目标区域与摄影位置的深度信息，但是目标的激光脚印点无法反馈到视频影像上(即目标的激光成像点无法显式提取)，也就无法将目标激光测距方程直接融合到视频影像的GPS辅助光束法平差之中。

因此，本发明的方法将激光测距信息作为一种“软”约束融合到视频影像的GPS辅助平差之中。首先，利用激光测距信息进行激光测距目标的粗定位，然后利用粗略的目标定位结果外推视频影像特征点对应地面坐标的容限范围，约束前方交会的特征点物方初值，同时将粗定位的目标点作为“虚拟”控制点，进行带“软”控制约束的GPS辅助光束法平差，最后通过优化后的影像位置和姿态重新进行(多)目标的定位。输入数据为视频影像、目标激光测距观测值、GPS观测值、IMU观测值等各类观测数据。

实施例首先利用激光装置和GPS装置的刚体结构，结合运动平台的飞行模式，内插激光测距装置的初始位置，并结合提出的距离归一化激光测距方程以及带有界损失函数的LM方法进行激光测距目标的概略定位。同时，以概略定位的结果约束视频影像地面特征点坐标初值，有效地减少大倾斜远距离观测条件下由于低精度角度观测值造成地面特征点前方交会初值误差大而引起的精度衰减问题；并以激光测距目标的概略定位结果作为“虚拟”控制点进行GPS辅助光束法平差，获取视频影像精确的外方位元素。最后将获取的影像外方位元素作为已知值，结合目标的距离约束条件，进行前方交会的非线性迭代求解，精化目标定位结果。本发明有效地融合光学传感器和激光装置在信息获取上的优势，即可以满足激光单一目标定位的需求，又可以满足光学视频影像多目标定位的需要，并且极大限度地提高目标定位精度。

实施例所提供的具体流程包含以下步骤：步骤1，数据准备。获取视频影像信息，该视频影像中包含激光测距目标(可同时包含其他视频影像跟踪的目标)、激光测距目标的测距观测值、GPS观测值、IMU观测值。其它辅助数据包括视频影像的分辨率、GPS观测值先验精度(一般双频GPS的实时定位精度在米级以上)、IMU观测值的先验精度、激光测距观测值的先验精度、成像帧频、激光频率等，辅助数据通常作为阈值或参数的选择依据。

步骤2，利用激光测距进行目标粗定位。参考以下示例，GPS观测频率为25hz，实时定位精度1m；激光观测频率为5hz，测距精度5m，激光观测与GPS观测时间不同步，存在最大40ms的偏差；飞行平台高度6km，速度200m/s；大倾斜65°观测目标，最大观测角度30°。通过模拟实验，目标的平面精度能达到20m量级，高程精度能达到50m量级。同等条件下添加视频影像，影像大小640*512，影像平均分辨率0.6m，IMU航向精度0.02°，旁向精度0.08°，影像匹配精度0.5像素。通过经典的GPS/IMU辅助光束法平差系统iBundle-Frame(具体可参考已有技术)进行大量的GPS辅助光束法平差模拟实验，最终目标理想的平面精度为60～80m量级，高程精度能达到50m量级，但是参数及其不容易控制，不少模拟实验的平差收敛结果很差，甚至达到上百米的量级，究其原因是因为无地面控制信息、极差的IMU观测值造成地面点初值误差大，平差不容易收敛到最优位置。因此，可以先用激光测距进行目标的粗定位，一是约束光束法平差时地面物方点坐标初值，二是，可以将粗定位的结果作为一种低精度的控制点使用。包括以下子步骤：

步骤2.1，利用GPS观测值插值激光量测时的初始位置，用于后续解算：激光的初值位置由GPS观测值按照激光观测值的时间进行插值。

确定激光测距信号的初始位置：通常IMU信号装置、激光信号装置以及相机曝光均可以采用GPS装置的授时系统，一般而言，相机曝光时刻到处理成图是一个比较稳定的常数(该点得到了工业部门技术人员的验证)，即GPS观测值和影像之间的曝光时间差可进行常数补偿从而保证时间同步，但是激光测距由于其特殊的处理方式，其不可以保证时间同步，因此激光的初值位置由GPS观测值按照激光测距观测值的观测时间进行插值。

实施例实现如下：

首先，确定待插值激光位置的观测时间并在GPS观测值中选择待插值的时间段[t_it_j]和相应的观测位置；然后，获取GPS观测值时间的均值和GPS观测值的位置均值并进行时间中心化与位置中心化；再按照平台飞行模式选择插值方程，利用GPS观测频率f对插值线性方程进行归一化并求解插值系数；最后通过插值系数反求激光观测值的时间所对应的插值位置。

GPS观测值的时间中心化与位置中心化，主要用于消除计算中的“大数”效应(采用计算机实现时，“大数”效应会影响计算精度)，具体计算公式如下：

其中，为GPS观测值时间的均值；为GPS观测值的位置均值；t_k为GPS插值时间段内某一观测值的时间；(X_k Y_k Z_k)^T为GPS插值时间段内某一具体观测值。

按照飞行平台的一般飞行规律，本发明确定一种通用的激光测距观测装置的初始位置插值方法，用于在短时间内的插值计算。实施例由GPS装置和激光测距装置的频率以及平台飞行模式确定一种通用的插值模型，以平台飞行模式可知，主要有线性插值(匀速飞行模式)、二次插值(匀加速飞行模式)、三次插值(其它模式)三种变体；其通用插值方程，即具体插值计算方式如下：

其中，(X_c Y_c Z_c)^T为激光观测值所对应的插值坐标位置；为GPS各观测值坐标位置均值；t_c为激光测距待进行初始位置插值所对应的观测时间；为GPS各观测位置所对应的观测时间均值；a_x～d_z为插值系数。飞行平台的飞行模式与插值方式的选择关系如下，当a_x～b_z均为0且c_x～c_z有一个不为0时，飞行平台符合匀速飞行模式，激光测距观测装置的初始位置采用线性插值方式；当a_x～a_z均为0，且b_x～b_z有一个不为0时，飞行平台符合匀加速飞行模式，激光测距观测装置的初始位置采用二次插值方式；当a_x～a_z有一个不为0时，飞行平台符合变加速飞行模式，激光测距观测装置的初始位置采用三次方程进行拟合插值。

插值系数求解的计算方式(以三次方程为例)形式为，

[t³ t² t 1]X＝L

其中，t为中心化后的时间；X为插值系数；L为常数项；为了获取更精确的插值位置，利用GPS观测频率f对上式进行归一化，则插值系数求解方式如下：

[t³ f³ t² f² tf 1]X′＝L

X＝[¹/_f ^{3 1}/_f ^{2 1}/_f 1]X′

其中，t为中心化后的时间；X′为归一化后的线性方程组所求插值系数；X为插值系数；L为常数项；

步骤2.2，建立激光测距误差方程：采用观测距离归一化的激光测距方程作为误差方程式。由于直接采用激光测距误差方程进行法化求解会由于计算机中的“大数”效应造成求解奇异，因此采用观测距离归一化的激光测距方程作为误差方程式，其具体形式如下，

其中，X,Y,Z表示激光装置按照时间插值的位置；X₀,Y₀,Z₀表示目标点的位置；D表示激光测距观测值；V表示归一化后的观测值残差。

通过实验表明，采用归一化的激光测距方法具有更低的目标点位置初值依赖性，其收敛域明显大于常规的激光定位方法。

步骤2.3，根据步骤2.2所列误差方程，给定目标点初值，利用带有界损失函数的LM方法迭代求解法方程。迭代收敛后，进入步骤2.4。本步骤收敛的判断标准为平差次数达到最大迭代次数(如50)或者相邻两次迭代过程中未知数变量改正数变化小于1e-8。

在激光测距的过程中，特殊的观测角度变化有可能照射到目标之外，这种非有效观测可引起激光测距中混有严重的粗差，如上面的示例数据，一栋100m高的建筑物最大可造成约240m的激光测距误差，采用最小二乘平差时会严重影响求解精度。因此利用带有界损失函数的LM求解法方程并剔除这些少量非有效观测对平差求解的影响。

实施例利用带有界损失函数的LM方法(列文伯格-马夸尔特方法)迭代求解法方程；在激光测距的过程中，任何一个观测角度变化都有可能照射到非目标区域，这种非有效观测可引起激光测距中混有严重的粗差，因此利用带有界损失函数的LM求解法方程剔除这些少量非有效观测对平差求解的影响；LM方法为求解非线性系统的经典方法，这里不再累述；下面主要介绍激光测距粗定位过程中有界损失函数的使用；经典的LM方法或者最小二乘方法，要求观测值的累计残差平方和最小，即

其中，V表示观测值残差；i表示观测值序列编号，V_i表示相应的观测值残差；∑表示求和操作。

它具有两个特性，一是当观测值增多时，其累计残差平方和是上升的；二是平差收敛时，必须保证上式的值达到最小；但是，当存在少量的大粗差时，上式会急剧增大，从而并不能保证其整体值达到最小，求解的未知数偏差也越大；因此实施例设计的有界损失函数f(v)具体形式如下，

其中，v为观测值残差，本发明中指之前所得归一化后的观测值残差V；δ为残差敏感度因子。该损失函数能够保证观测值残差平方和呈上升趋势，同时当存在大粗差时，其不会使得观测值累计残差平方和急剧增大(即当v>>δ时，f(v)≈0)。

所采用的残差敏感性因子δ具体计算方式如下，

δ＝δ_d/_D

其中，δ_d为激光测距的先验精度；D为激光观测距离。

步骤2.4，二次迭代求解目标定位结果。利用步骤2.3的定位结果作为目标新的初值，减小残差敏感度因子，重新按照步骤2.3的方式执行迭代，直到收敛结束然后进入步骤3。实验表明，步骤2.4可以一定程度上提高目标定位精度，一般来说多次迭代可进一步提高精度，但需要很多的计算消耗，因此本发明采用二次迭代。收敛的判断标准同样为平差次数达到最大迭代次数(如50)或者相邻两次迭代过程中未知数变量改正数变化小于1e-8。

二次迭代时的残差敏感性因子按照经验阈值设置为步骤2.3的十分之一。通过模拟实验发现，步骤2.4能使目标定位结果进一步趋近于目标真值。由于通过步骤2.3的计算，步骤2.4具有更好的初值，因此采用更低的残差敏感性因子可进一步提供精度，同时保证快速收敛。步骤3，以步骤2中目标粗定位结果作为约束条件确定视频影像特征点对应地面点的三维坐标初值。

在传统摄影测量领域，目标地面坐标的确定可采用前方交会的方法获取，由此必须采用光束法平差方法(该方法前期涉及影像特征点提取与特征点匹配，具体可参考已有技术，不再累述)获取影像的外方位元素。光束法平差必须获取影像特征点的物方坐标初值，一般该初值采用初始POS进行前方交会获得。但是研究发现，在对目标区域进行大倾斜摄影且远距离观测时，若观测目标的有效观测范围很小，较小的有效基高比(摄影基线与摄影距离的比值)会产生不利的前方交会三角测量条件，因此地面特征点的初值受观测视线的影响非常大，极小的视线观测误差都会产生很大的初值误差，同时又由于缺乏有效的地面约束条件，极大的初值误差加剧了光束法平差法方程的病态性，从而无法获取高精度的影像位置和姿态改正值。通过工业部门的调研所知，工业部门能够将激光装置的光束中心和光学影像的摄影中心基本安置重合，保证跟踪的目标位于图像的中心区域，因此，可采用步骤2中目标的粗定位结果与地面特征点的位置“外推”其初值(这里的“外推”是指任意一张影像上的特征点所对应的物方点可以通过其与影像中心所对应的物方点的距离计算其大致位置，如某特征点到影像中心的距离为10个像素，当地面场景为近似平面时，则其物方点相对于中心点的距离为10个像素所对应的地面分辨单元)。该步骤的事实依据为，在大倾斜远端观测的条件下，采用POS初值(可视为影像外方位元素初值)进行前方交会获取的地面物方点坐标初值与目标点坐标的距离超过了按照“外推”的计算值，尤其是沿着视线方向在水平与垂直方向的分量。

具体实施包括以下子步骤：

步骤3.1，确定地面特征点坐标“外推”容限范围。由步骤2确定的目标定位高程作为基准高程，设定高程阈值δ_H(步骤2方法的高程精度)，将特征点坐标按照影像外方位元素初值投影到最低高程和最高高程，获取其地面点坐标，则可以获取两组地面特征点的平面坐标，然后与目标点坐标做差值，获取该地面特征点到目标点的坐标差值范围，确定平面坐标初值“外推”容限范围ΔX_min,ΔY_min,ΔX_max,ΔY_max。以水平方向为例，参加图1，O为目标点，P为任意地面特征点，P1，P2分别为P点的最大高程和最小高程投影点，δH为地面高程阈值容差，ΔX_min和ΔX_max分别为P1和P2到目标点O的距离。每帧影像的特征点进行如上计算，则可以得到最小和最大水平“外推”的阈值集合和其中i，i+1表示标号，以示区分。分别选取该集合中的最小值和最大值作为最终特征点P水平X方向的容差限，即与X水平垂直的Y方向类似，得到ΔY_min和ΔY_max。

步骤3.2，利用前方交会求取地面特征点P的三维坐标初值[X Y Z]^T，作为步骤3.3的输入。前方交会方法参照已有技术，本发明不予累述。

步骤3.3，按照步骤3.1确定的容限范围修改地面特征点P的坐标初值。注：高程的容差限为δ_H加上地表起伏物的平均高程；前者可以通过步骤2的蒙特卡罗模拟获取经验值，后者为经验值，可按照常理设定，如100m(大致相当于30层楼的建筑物高度)。

设地面特征点P的前方交会坐标初值为[X Y Z]^T，目标点O按照步骤2粗定位方法的坐标为[X₀ Y₀ Z₀]^T，则地面特征点P的最终初值为[X_T Y_T Z_T]^T，其确定方式为，

其中，ΔH为高程阈值δ_H加上地形表面起伏的平均高程。前者可通过蒙特卡罗模拟确定，后者为先验知识获取，另外，ΔH也可以按照目标区域实际情况的经验值确定。

步骤4，以步骤3确定的特征点物方初值，以IMU观测值作为影像角元素初值，并以步骤2中的目标点作为“虚拟”控制点(并非实地量测的控制点)，进行带“虚拟”控制点约束的GPS辅助光束法平差，平差方法参照已有技术。

研究发现，利用iBundle-Frame软件进行目标定位模拟实验，在平差收敛时很可能出现很大的物方偏移效应。将步骤2的目标粗定位结果作为“虚拟”控制点的原因是减弱区域网的整体偏移效应，在整个平差求解过程中起到弱控制约束的作用。

步骤5，以步骤2中目标粗定位结果作为初值，以步骤4中获取的影像位置和姿态作为已知条件，进行前方交会目标定位的非线性迭代求解，前方交会方法可参照已有技术，本发明不予赘述。与以往方法所不同的是在具体实施中，需要添加距离约束条件，即激光测距的目标与影像中心的距离必须小于一定的阈值T_D，该阈值的确定方式如下：

T_D＝λDΔω_max

其中，D为目标的激光测距观测值；Δω_max为目标到跟踪框边界的最大视差角，在大倾斜远端摄影的条件下，为小角度值；λ为常数项因子，为经验阈值，取大于1的值，如5。添加距离约束的作用是尽可能保证该目标点的深度测量信息，削弱由于步骤4中求解的影像外参数精度不足所造成的定位精度下降情况。

步骤6，以步骤5中获取的目标定位结果作为初值，再重复一次步骤2～步骤5，该步骤可快速收敛，并一定程度上提高目标定位精度。具体实施时，步骤2中的用于激光位置插值的GPS观测值采用步骤5中获取的影像外方位线元素。实验表明，进行迭代可以一定程度上提高目标定位精度，一般来说多次迭代可进一步提高精度，但需要很多的计算消耗，因此本发明采用二次迭代。

步骤7，该步骤为扩展功能，当视频影像可多目标跟踪时，以步骤5获取的影像位置和姿态信息作为前方交会的已知值，辅以目标检测的坐标进行前方交会直接解，具体实现方式参考已有资料，不再累述。

从理论上分析，本发明整个技术方案实施中，在大倾斜远端观测环境下结合视频影像与激光测距信息进行目标定位，不同于传统摄影测量前方交会的方法：其一，首先利用激光测距信息进行目标的概略定位，以其结果进行“外推”约束物方点前方交会的初值，同时将概略定位结果作为“虚拟”控制点纳入GPS辅助光束法平差的过程中，一定程度上减弱了大倾斜远端观测环境下无地面控制信息的GPS辅助光束法平差结果的大范围偏移效应(如iBundle-Frame平差软件模拟实验结果会产生的现象，原因是初值误差太大，平差无法收敛到最优值)，其本质上是利用了激光测距提供的深度测量信息，提高了平差精度；其二，采用改正后的影像位置和姿态，结合距离测量约束信息，迭代求解激光测距目标的物方位置，有效地利用了视频影像多余观测的优势(通常受功率所限，激光测距观测的频率要低于视频观测设备，即视频影像的观测量要多于激光测距观测量。理论上，多余观测数越多，定位精度更高。)；其三，视频影像可以捕捉跟踪多个目标，利于多目标定位。另外，本发明中还涉及了一种距离归一化的激光测距方程目标概略定位方法。相对于采用传统激光测距方程的最小二乘求解方法的不同之处，一是采用距离归一化的距离观测方程，无需进行激光视线方向的方位角与俯仰角的量测，可直接计算目标的概略位置，同时距离归一化的方法有效地避免了数值计算中“大数”的影响，具有更大的收敛域，即很差的目标初值仍然能收敛到理想结果；二是利用带有界损失函数的LM求解法方程，可以剔除少量距离“大粗差”观测值对于平差结果的影响，提高目标概略定位的精度，扩展其适应性。

具体实施时，本发明技术方案可基于计算机软件技术实现自动运行流程，也可采用模块化方式实现相应系统。本发明实施例提供一种大倾斜远端观测环境下目标定位系统，包括以下模块：

第一模块，用于数据准备，包括获取包含激光测距目标的视频影像，以及相应平台GPS观测值、IMU观测值和目标激光测距信息观测值；

第二模块，用于利用激光测距信息进行目标粗定位，包括以下子模块，

第一子模块，用于利用GPS观测值插值激光量测时的初始位置；

第二子模块，用于建立激光测距的误差方程；

第三子模块，用于根据第二子模块所建立误差方程，给定目标点初值，利用带有界损失函数的LM方法迭代求解法方程；

第四子模块，用于二次迭代求解目标定位结果，包括利用第三子模块的定位结果作为目标新的初值，减小残差敏感度因子，按照第三子模块的工作方式重新迭代，直到收敛结束；第三模块，用于以第二模块中目标粗定位结果作为约束条件，确定视频影像特征点对应地面点的三维坐标初值，包含以下子模块，

第一子模块，用于确定地面特征点坐标外推容限范围；

第二子模块，用于利用前方交会求取地面特征点的三维坐标初值；

第三子模块，用于按照第一子模块所确定的容限范围修改地面特征点的三维坐标初值；第四模块，用于根据第三模块所得特征点的三维坐标初值，以IMU观测值作为影像角元素初值，并以第二模块中的目标点作为虚拟控制点，进行带虚拟控制点约束的GPS辅助光束法平差；

第五模块，用于以第二模块中目标粗定位结果作为初值，以第四模块获取的影像位置和姿态作为已知条件，进行前方交会目标定位的非线性迭代求解；

第六模块，用于以第五模块中获取的目标定位结果作为初值，重新运行第二模块～第四模块，，提高目标定位精度。

进一步地，可以设置第七模块作为扩展功能模块，用于视频影像跟踪获取的其它目标(无激光测距值)的定位解算。以第四模块获取视频影像修正后的外方位元素作为已知值，辅以目标检测的像平面坐标直接进行前方交会线性解算目标的地面坐标。

各模块具体实现可参见相应步骤，本发明不予累述。

上述实施例描述仅对本发明的基本技术方案予以说明，且并不仅限于上述实施例。本发明所属领域的技术人员或团队可以对所描述的具体实施例进行任何简单地修改、补充、同等变化或修饰，但并不会偏离本发明的基本精神或超越权利要求书所定义的范围。

Claims (8)

1.一种大倾斜远端观测环境下目标定位方法，其特征在于，间接融合视频影像与激光测距信息实现目标定位，包括以下步骤：

步骤1，数据准备，包括获取包含激光测距目标的视频影像，以及相应平台GPS观测值、IMU观测值和目标激光测距信息观测值；

步骤2，利用激光测距信息进行目标粗定位，包括以下子步骤，

步骤2.1，利用GPS观测值插值激光量测时的初始位置；

步骤2.1中，激光测距装置初始位置插值采用以下方式实现，

首先，确定待插值激光位置的观测时间t₀并在GPS观测值中选择待插值的时间段[t_it_j]及其相应的观测位置；

其次，获取GPS观测值时间的均值和GPS观测值的位置均值并进行时间中心化与位置中心化，即

其中，为GPS观测值时间的均值；为GPS观测值的位置均值；t_k为GPS插值时间段内某一观测值的时间；(X_k Y_k Z_k)^T为GPS插值时间段内某一具体观测值；

再次，选择插值方式，并利用GPS观测频率f对插值线性方程进行归一化，采用归一化插值方程求解获取更精确的插值位置；

步骤2.2，建立激光测距的误差方程；

步骤2.2中，建立距离归一化的激光测距方程如下

其中，X,Y,Z表示激光装置按照时间插值的位置；X₀,Y₀,Z₀表示目标点的位置；D表示激光测距观测值；V表示归一化后的观测值残差；

步骤2.3，根据步骤2.2所建立误差方程，给定目标点初值，利用带有界损失函数的LM方法迭代求解法方程；

步骤2.3中，有界损失函数形式为，

其中，v为归一化后的观测值残差，δ为残差敏感度因子；

残差敏感性因子采用如下方式定义，

δ＝δ_d/D

其中，δ_d为激光测距的先验精度；D为激光观测距离；

步骤2.4，二次迭代求解目标定位结果，包括利用步骤2.3的定位结果作为目标新的初值，减小残差敏感度因子，按照步骤2.3重新迭代，直到收敛结束；

步骤3，以步骤2中目标粗定位结果作为约束条件，确定视频影像特征点对应地面点的三维坐标初值；

步骤3.1，确定地面特征点坐标外推容限范围；

步骤3.2，利用前方交会求取地面特征点的三维坐标初值；

步骤3.3，按照步骤3.1所确定的容限范围修改地面特征点的三维坐标初值；

步骤4，根据步骤3所得特征点的三维坐标初值，以IMU观测值作为影像角元素初值，并以步骤2中的目标点作为虚拟控制点，进行带虚拟控制点约束的GPS辅助光束法平差；

步骤5，以步骤2所得目标粗定位结果作为初值，以进行步骤4时获取的影像位置和姿态作为已知条件，进行前方交会目标定位的非线性迭代求解；

步骤6，以步骤5中获取的目标定位结果作为初值，再重复一次步骤2～步骤5，提高目标定位精度。

2.根据权利要求1所述的大倾斜远端观测环境目标定位方法，其特征在于：步骤3.1中，确定地面特征点坐标外推容限范围实现方式如下，

由步骤2确定的目标定位高程作为基准高程，设定高程阈值δ_H，将特征点坐标按照影像外方位元素初值投影到最低高程和最高高程，获取地面点坐标，得到获取两组地面特征点的平面坐标，然后与目标点坐标做差值，获取该地面特征点到目标点的坐标差值范围，确定平面坐标初值外推容限范围ΔX_min,ΔY_min,ΔX_max,ΔY_max。

3.根据权利要求1所述的大倾斜远端观测环境目标定位方法，其特征在于：步骤3.3中，按照所确定的容限范围修改地面特征点的坐标初值的实现方式如下，

设地面特征点的前方交会坐标初值为[X Y Z]^T，按照步骤2进行目标粗定位坐标为[X₀Y₀ Z₀]^T，地面特征点最终初值为[X_T Y_T Z_T]^T，按下式确定，

其中，ΔH为高程阈值δ_H加上地形表面起伏的平均高程。

4.根据权利要求1或2或3所述的大倾斜远端观测环境目标定位方法，其特征在于：当视频影像可多目标跟踪时，以步骤5获取的影像位置和姿态信息作为前方交会的已知值，辅以目标检测的坐标进行前方交会直接解。

5.一种大倾斜远端观测环境目标定位系统，其特征在于，用于间接融合视频影像与激光测距信息实现目标定位，包含以下模块：

第一模块，用于数据准备，包括获取包含激光测距目标的视频影像，以及相应平台GPS观测值、IMU观测值和目标激光测距信息观测值；

第二模块，用于利用激光测距信息进行目标粗定位，包括以下子模块，

第一子模块，用于利用GPS观测值插值激光量测时的初始位置；

第二模块的第一子模块中，激光测距装置初始位置插值采用以下方式实现，

首先，确定待插值激光位置的观测时间t₀并在GPS观测值中选择待插值的时间段[t_it_j]及其相应的观测位置；

其次，获取GPS观测值时间的均值和GPS观测值的位置均值并进行时间中心化与位置中心化，即

其中，为GPS观测值时间的均值；为GPS观测值的位置均值；t_k为GPS插值时间段内某一观测值的时间；(X_k Y_k Z_k)^T为GPS插值时间段内某一具体观测值；

再次，选择插值方式，并利用GPS观测频率f对插值线性方程进行归一化，采用归一化插值方程求解获取更精确的插值位置；

第二子模块，用于建立激光测距的误差方程；

第二模块的第二子模块中，建立距离归一化的激光测距方程如下

其中，X,Y,Z表示激光装置按照时间插值的位置；X₀,Y₀,Z₀表示目标点的位置；D表示激光测距观测值；V表示归一化后的观测值残差；

第三子模块，用于根据第二子模块所建立误差方程，给定目标点初值，利用带有界损失函数的LM方法迭代求解法方程；

第二模块的第三子模块中，有界损失函数形式为，

其中，v为归一化后的观测值残差，δ为残差敏感度因子；

残差敏感性因子采用如下方式定义，

δ＝δ_d/D

其中，δ_d为激光测距的先验精度；D为激光观测距离；

第四子模块，用于二次迭代求解目标定位结果，包括利用第三子模块的定位结果作为目标新的初值，减小残差敏感度因子，按照第三子模块的工作方式重新迭代，直到收敛结束；

第三模块，用于以第二模块中目标粗定位结果作为约束条件，确定视频影像特征点对应地面点的三维坐标初值，包含以下子模块，

第一子模块，用于确定地面特征点坐标外推容限范围；

第二子模块，用于利用前方交会求取地面特征点的三维坐标初值；

第三子模块，用于按照第一子模块所确定的容限范围修改地面特征点的三维坐标初值；

第四模块，用于根据第三模块所得特征点的三维坐标初值，以IMU观测值作为影像角元素初值，并以第二模块中的目标点作为虚拟控制点，进行带虚拟控制点约束的GPS辅助光束法平差；

第五模块，用于以第二模块中目标粗定位结果作为初值，以第四模块获取的影像位置和姿态作为已知条件，进行前方交会目标定位的非线性迭代求解；

第六模块，用于以第五模块中获取的目标定位结果作为初值，重新运行第二模块～第四模块，提高目标定位精度。

6.根据权利要求5所述的大倾斜远端观测环境目标定位系统，其特征在于：第三模块的第一子模块中，确定地面特征点坐标外推容限范围实现方式如下，

由第二模块确定的目标定位高程作为基准高程，设定高程阈值δ_H，将特征点坐标按照影像外方位元素初值投影到最低高程和最高高程，获取地面点坐标，得到获取两组地面特征点的平面坐标，然后与目标点坐标做差值，获取该地面特征点到目标点的坐标差值范围，确定平面坐标初值外推容限范围ΔX_min,ΔY_min,ΔX_max,ΔY_max。

7.根据权利要求5所述的大倾斜远端观测环境目标定位系统，其特征在于：第三模块的第三子模块中，按照所确定的容限范围修改地面特征点的坐标初值的实现方式如下，

设地面特征点的前方交会坐标初值为[X Y Z]^T，第二模块所得目标粗定位坐标为[X₀Y₀ Z₀]^T，地面特征点最终初值为[X_T Y_T Z_T]^T，按下式确定，

其中，ΔH为高程阈值δ_H加上地形表面起伏的平均高程。

8.根据权利要求5或6或7所述的大倾斜远端观测环境目标定位系统，其特征在于：设置第七模块，当视频影像可多目标跟踪时，以第五模块获取的影像位置和姿态信息作为前方交会的已知值，辅以目标检测的坐标进行前方交会直接解。