CN115187798A - 一种多无人机高精度匹配定位方法 - Google Patents

Abstract

本发明涉及一种多无人机高精度匹配定位方法，包括多无人机数据采集，基于POS数据的多航拍图像粗匹配，基于改进SIFT特征的多航拍图像精匹配及图像匹配定位等四个步骤。本发明综合应用了多无人机的POS数据和图像信息，基于POS数据共线解算实现多航拍图像校正和匹配底图裁剪，基于特征向量欧式距离、地理距离的二次匹配方法剔除SIFT误匹配点，实现多无人机航拍图像特征匹配、航拍融合图像与基准图像的匹配，从原理上克服了定位精度直接受制于导航系统姿态测量误差的问题，并可有效提高图像匹配概率和匹配精度。本发明可实现多无人机航拍图像多目标的精确定位，定位精度高、适应性好、易于工程实现。

Description

一种多无人机高精度匹配定位方法

技术领域

本发明涉及一种多无人机高精度匹配定位方法，属无人机遥感、测绘术领域。

背景技术

单一的无人机平台侦察探测，受着作用半径、续航时间、实用升限和任务载荷等性能局限，往往具有局部、不完全、不确定等特点，难以执行遮蔽、伪装、时敏、分散等复杂条件下目标侦察定位任务，不能满足高时效和高质量目标感知要求。多无人机平台运用能够拓展战场覆盖和延伸，实现信息共享和融合处理，增强完成多任务的概率和效能，提高对于战场应急情况的响应能力，提升战场生存能力。多无人机以多角度构型对多目标进行协同定位，能够获取更及时、更全面、更精确的战场区域态势。

当前多无人机协同定位研究，主要是应用无人机位置和姿态数据、光电云台姿态等定位定向(positioning and orientation,POS)数据进行空间解算，比如交叉定位、多点定位等方法，通过多机测量传感数据的解算抑制定位误差，实现了多机协同定位比单机定位精度的提升。然而，当前还缺乏综合运用多无人机的POS数据和图像信息的协同定位方法，将空间解算定位与匹配定位方法综合研究，可从原理上克服了定位精度直接受制于导航系统姿态测量误差的问题。

因此，针对以上分析，提出了一种多无人机匹配定位方法。结合多无人机获取的同区域航拍序列图像，应用图像匹配定位方法，实现多无人机序列图像匹配、序列航拍图像和基准图像的匹配，进而将融合图像依据位置信息引导至地理信息系统(geographicinformation system,GIS)，获取包含目标位置信息的区域战场图像。该方法有助于弱化对高精度硬件测量设备的依赖，有效实现多目标精确定位和目标态势感知。

因此针对这一现状，需要研究和开发一种多无人机高精度匹配定位方法，以满足应用需求。

发明内容

为了解决现有技术上的不足，本发明提供一种多无人机高精度匹配定位方法及方法。

一种多无人机高精度匹配定位方法，包括如下步骤：

S1，多无人机数据采集，首先，预先获取具有精确位置信息的数字卫星地图或预先拼接图像等基准匹配图像；而后，以实时采集或离线加载形式获取多无人机的视频帧图像和POS数据，POS数据主要包括无人机位置和姿态数据、光电云台姿态等；

S2，基于POS数据的多航拍图像粗匹配，首先结合多无人机的各自位置和姿态角、光电平台姿态角等POS参数，基于共线成像方程初步解算出图像中任意点位置数据，实现对各无人机提供的多航拍图像校正，获取多航拍图像的区域位置；而后基于多无人机图像的区域位置，确定基准图像的区域范围，裁剪基准卫星图或拼接图，获取包含多无人机侦察图像范围的小区域基准匹配底图，完成基于区域位置的基准图像裁剪处理作业；

S3，基于改进SIFT特征的多航拍图像精匹配，首先基于改进SIFT特征的匹配方法，实现对S2步骤校正后多航拍图像的匹配融合，获得的覆盖区域大于各无人机航拍图像覆盖区域的融合图像区域，并抑制S2步骤中残存的校正误差；然后基于改进SIFT特征的匹配方法，实现航拍融合图像和基准图像的匹配融合；

S4，图像匹配定位，依据融合图像的位置信息引导至地理信息系统(geographicinformation system,GIS)，进而获知航拍图像上任意点位置数据和区域态势信息。

进一步的，所述S1步骤中，数字卫星地图可通过测绘部门申请或资源下载等形式获得，预先拼接图像可应用预先侦察的航空相片或视频进行图像拼接。

进一步的，所述S2步骤中基于共线方程的图像位置解算时，按以下步骤进行：

第一步，坐标转换矩阵解算，计算无人机地理坐标系和像空间坐标系的转换矩阵，应用像空间坐标系、无人机机体坐标系、无人机地理坐标系、高斯平面直角坐标系等4个坐标系，各坐标系定义如下：

1)像空间坐标系s，原点O_s为投影中心，X_s、Y_s分别平行于成像面阵外框且与图像显示存储方向一致，Z_s依右手坐标系确定，相机光轴为Z_s轴；

2)无人机机体坐标系b，坐标原点O_b为飞机质心，X_b指右，Y_b指前，Z_b指上；

3)无人机地理坐标系e，坐标原点O_e为飞机质心，X_e指东，Y_e指北，Z_e指天；4)高斯平面直角坐标系g；

同时，设航空相机或摄像机云台的高低角为α，方位角为β，设无人机的航向角为ψ，俯仰角为θ，倾斜角为γ，根据坐标变换原理，得到不同坐标系之间的坐标变换矩阵，设目标在无人机地理坐标系e中的坐标为(x_e，y_e，z_e)，目标在像空间坐标系s中的坐标为(x_s，y_s，-f)，f为相机或摄像机焦距，则两者之间的坐标变换关系表示为：

第二步，解算共线成像方程，设目标在高斯平面直角坐标系g中的坐标为(x_g，y_g)，无人机在高斯平面直角坐标系g中的坐标为(x_a，y_a)，H为无人机与地面目标点的相对高度；则基于无人机姿态数据、航空相机或摄像机的姿态数据和内参数等遥测参数，根据成像模型的共线条件方程可得

第三步，坐标位置解算和图像校正，根据共线成像方程，可以求出航拍图像中任意像素点的高斯平面直角坐标。根据航拍图像的像素坐标、高斯平面直角坐标和坐标变换矩阵，应用最邻近插值重采样实现图像校正。正射校正图像可抑制图像畸变、减弱拍摄角度差异等，与基准卫星地图或预先拼接图像视角类似，从而有效提高图像匹配定位的成功率和精度。

进一步的，所述S2步骤中基于区域位置的基准图像裁剪按以下步骤进行：

第一步，坐标极值计算，由于数字卫星地图或预先拼接图像的区域范围，远大于航拍图像，缩小图像匹配区域、减小图像匹配时间，根据各个航拍图像的四角点位置裁剪基准地图，获取图像匹配的基准底图；其中在进行坐标值计算时，设共有n幅图像，第i幅航拍图像四角点位置分别为(x_i1,y_i1)、(x_i2,y_i2)、(x_i3,y_i3)、(x_i4,y_i4)，则各幅航拍图像的坐标极值(x_min,x_max,y_min,y_max)为

第二步，基准图像裁剪，根据裁剪图像坐标进行基准图像裁剪，获得小区域范围的基准底图，实现航拍图像的粗匹配；在进行航拍图像的粗匹配中，首先用共线定位方法求得的位置坐标存在定位误差；并设最大定位误差值为l，则可确定裁剪图像的左上角坐标为(x_max+l,y_min-l)、右下角坐标为(x_min-l,y_max+l)；然后图像裁剪时依据像素坐标进行，并进行位置坐标与像素坐标之间的坐标变换；

其中在进行位置坐标与像素坐标变换时，设基准图像左上角位置坐标(x₀,y₀)，裁剪图像左上角位置坐标(x_s,y_s)、像素坐标(r_s,c_s)，x方向上的图像像素分辨率t₁，y方向上的图像像素分辨率t₂，行旋转参数t₃，列旋转参数t₄，图像上方指北时旋转参数为0，置坐标与像素坐标变换关系表示为：

进一步的，所述S3步骤中所述基于改进SIFT特征的匹配方法，包括基于改进SIFT特征的匹配方法主要包括改进SIFT特征提取和描述、基于二次误匹配剔除的特征匹配两个环节。

进一步的，所述S3步骤中基于改进SIFT特征的匹配方法，在改进SIFT特征提取和描述环节，按以下步骤进行：

第一步，SIFT特征提取，提取航拍校正图像间、或是航拍校正图像和基准裁剪图像中的SIFT特征关键点；为了提高特征点匹配的稳定性，通过三维二次拟合函数精确确定关键点的位置和尺度；

其中，SIFT特征提取主要包括尺度空间构建、空间极值点检测两个步骤。尺度空间构建的基础是DOG金字塔，二维图像I(x,y)在不同尺度下的尺度空间表示为L(x,y,σ),可由图像I(x,y)与高斯核G(x,y,σ)的卷积得到：

其中，x,y分别表示像素点的横纵坐标，σ代表高斯正态分布的方差，尺度空间中某一个点在周围8个点以及上下层18个邻域点中是最大或最小值，就可确定该点是一个极值点，为了提高特征点匹配的稳定性，通过三维二次拟合函数精确确定关键点的位置和尺度；

第二步，改进SIFT特征描述，利用关键点邻域内所有像素点的梯度方向投影，确定关键点的主方向，在进行主方向确定时直接设特征主方向为0；同时使关键点保持旋转不变性，以关键点为中心选取16个4×4像素的小邻域，在每个小邻域形成8个方向的梯度直方图，最终得到一个128维的特征向量。

进一步的，所述S3步骤中基于改进SIFT特征的匹配方法，在基于二次误匹配剔除的特征匹配环节，按以下步骤进行：

第一步，应用暴力匹配方法，确定待匹配图像之间的初始匹配点对，采用匹配点对的特征向量欧式距离，初步滤除误差较大的匹配点对；

计算出待配准图像间匹配点对的欧式距离，求出所有匹配点对的最小和最大距离，若匹配点对距离小于设定阈值的最近和最远距离，则保留该匹配点对，否则舍弃该匹配点对；

式中，x_i,k为匹配图像中第i个特征点的特征向量的第k个元素，y_i,k为基准图像中第j个特征点的特征向量的第k个元素，n为特征向量的维数，d_i,j为航拍图像第i个特征点与基准图像第j个特征点的匹配点对欧式距离，d_max为匹配点对最大欧式距离，d_min为匹配点对最小欧式距离，α和β为设定阈值；

第二步，进一步剔除误匹配点对，利用POS数据计算匹配点对的位置坐标和地理距离，将最大定位误差值作为阈值剔除误匹配点，可适应不同类型的输入图像，提高匹配概率和匹配精度，其中定义基准图像中特征匹配点P_a的像素坐标(r_a,c_a)、高斯平面直角坐标(x_a,y_a)，匹配图像中P_b的像素坐标(r_b,c_b)、高斯平面直角坐标(x_b,y_b)。P_a和P_b的地理位置距离k为

若k<l，即匹配特征点对的地理距离k小于最大定位误差l，则接受该匹配点对，否则丢弃该匹配点对；

第三步，依据RANSAC(random sample consensus)算法，计算待匹配图像之间的变换矩阵，通过基于特征向量欧式距离、地理距离的二次匹配方法，有效滤除了误匹配点，减少了RANSAC的计算量，设匹配图像像素坐标为(r_i,c_i)，基准图像匹配控制点的像素坐标为(r_ri,c_ri)，变换矩阵H表示为

第四步，根据图像变换矩阵，实现待匹配图像的图像融合。

本发明较传统的定位方法，综合应用多无人机的POS数据和图像信息，应用POS数据辅助多无人机航拍图像的匹配定位，一方面基于POS数据共线解算实现多航拍图像校正和匹配底图裁剪，另一方面基于特征向量欧式距离、地理距离的二次匹配方法剔除SIFT误匹配点，分别实现多无人机航拍图像特征匹配、航拍融合图像与基准图像的匹配，从原理上克服了定位精度直接受制于导航系统姿态测量误差的问题，并可有效提高图像匹配概率和匹配精度。本发明可实现多无人机航拍图像多目标的精确定位，定位精度高、适应性好、易于工程实现。

附图说明

下面结合附图和具体实施方式来详细说明本发明；

图1为本发明定位方法流程示意图；

图2为本发明多无人机高精度匹配定位流程框图；

图3为本发明基于改进SIFT特征的匹配方法流程框图；

图4为本发明基准图像裁剪示意图；

图5为本发明多航拍图像匹配定位测试结果1；

图6为本发明多航拍图像匹配定位测试结果2.

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于施工，下面结合具体实施方式，进一步阐述本发明。

如图1—4所示，一种多无人机高精度匹配定位方法，包括如下步骤：

S1，多无人机数据采集，首先，预先获取具有精确位置信息的数字卫星地图或预先拼接图像等基准匹配图像；而后，以实时采集或离线加载形式获取多无人机的视频帧图像和POS数据，POS数据主要包括无人机位置和姿态数据、光电云台姿态等；

S2，基于POS数据的多航拍图像粗匹配，首先结合多无人机的各自位置和姿态角、光电平台姿态角等POS参数，基于共线成像方程初步解算出图像中任意点位置数据，实现对各无人机提供的多航拍图像校正，获取多航拍图像的区域位置；而后基于多无人机图像的区域位置，确定基准图像的区域范围，裁剪基准卫星图或拼接图，获取包含多无人机侦察图像范围的小区域基准匹配底图，完成基于区域位置的基准图像裁剪处理作业；

S3，基于改进SIFT特征的多航拍图像精匹配，首先基于改进SIFT特征的匹配方法，实现对S2步骤校正后多航拍图像的匹配融合，获得的覆盖区域大于各无人机航拍图像覆盖区域的融合图像区域，并抑制S2步骤中残存的校正误差；然后基于改进SIFT特征的匹配方法，实现航拍融合图像和基准图像的匹配融合；

通过融合图像区域范围更大，可有效实现抑制校正误差，易于实现与基准图像的匹配；

S4，图像匹配定位，依据融合图像的位置信息引导至地理信息系统(geographicinformation system,GIS)，进而获知航拍图像上任意点位置数据和区域态势信息。

进一步的，所述S1步骤中，数字卫星地图可通过测绘部门申请或资源下载等形式获得，预先拼接图像可应用预先侦察的航空相片或视频进行图像拼接。

进一步的，所述S2步骤中基于共线方程的图像位置解算时，按以下步骤进行：

第一步，坐标转换矩阵解算，计算无人机地理坐标系和像空间坐标系的转换矩阵，应用像空间坐标系、无人机机体坐标系、无人机地理坐标系、高斯平面直角坐标系等4个坐标系，各坐标系定义如下：

1)像空间坐标系s，原点O_s为投影中心，X_s、Y_s分别平行于成像面阵外框且与图像显示存储方向一致，Z_s依右手坐标系确定，相机光轴为Z_s轴；

2)无人机机体坐标系b，坐标原点O_b为飞机质心，X_b指右，Y_b指前，Z_b指上；

3)无人机地理坐标系e，坐标原点O_e为飞机质心，X_e指东，Y_e指北，Z_e指天；4)高斯平面直角坐标系g；

同时，设航空相机或摄像机云台的高低角为α，方位角为β，设无人机的航向角为ψ，俯仰角为θ，倾斜角为γ，根据坐标变换原理，得到不同坐标系之间的坐标变换矩阵，设目标在无人机地理坐标系e中的坐标为(x_e，y_e，z_e)，目标在像空间坐标系s中的坐标为(x_s，y_s，-f)，f为相机或摄像机焦距，则两者之间的坐标变换关系表示为：

第二步，解算共线成像方程，设目标在高斯平面直角坐标系g中的坐标为(x_g，y_g)，无人机在高斯平面直角坐标系g中的坐标为(x_a，y_a)，H为无人机与地面目标点的相对高度；则基于无人机姿态数据、航空相机或摄像机的姿态数据和内参数等遥测参数，根据成像模型的共线条件方程可得

第三步，坐标位置解算和图像校正，根据共线成像方程，可以求出航拍图像中任意像素点的高斯平面直角坐标。根据航拍图像的像素坐标、高斯平面直角坐标和坐标变换矩阵，应用最邻近插值重采样实现图像校正。正射校正图像可抑制图像畸变、减弱拍摄角度差异等，与基准卫星地图或预先拼接图像视角类似，从而有效提高图像匹配定位的成功率和精度。

进一步的，所述S2步骤中基于区域位置的基准图像裁剪按以下步骤进行：

第一步，坐标极值计算，由于数字卫星地图或预先拼接图像的区域范围，远大于航拍图像，缩小图像匹配区域、减小图像匹配时间，根据各个航拍图像的四角点位置裁剪基准地图，获取图像匹配的基准底图；其中在进行坐标值计算时，设共有n幅图像，第i幅航拍图像四角点位置分别为(x_i1,y_i1)、(x_i2,y_i2)、(x_i3,y_i3)、(x_i4,y_i4)，则各幅航拍图像的坐标极值(x_min,x_max,y_min,y_max)为

第二步，基准图像裁剪，根据裁剪图像坐标进行基准图像裁剪，获得小区域范围的基准底图，实现航拍图像的粗匹配；在进行航拍图像的粗匹配中，首先用共线定位方法求得的位置坐标存在定位误差；并设最大定位误差值为l，则可确定裁剪图像的左上角坐标为(x_max+l,y_min-l)、右下角坐标为(x_min-l,y_max+l)；然后图像裁剪时依据像素坐标进行，并进行位置坐标与像素坐标之间的坐标变换；

其中在进行位置坐标与像素坐标变换时，设基准图像左上角位置坐标(x₀,y₀)，裁剪图像左上角位置坐标(x_s,y_s)、像素坐标(r_s,c_s)，x方向上的图像像素分辨率t₁，y方向上的图像像素分辨率t₂，行旋转参数t₃，列旋转参数t₄，图像上方指北时旋转参数为0，置坐标与像素坐标变换关系表示为：

进一步的，所述S3步骤中所述基于改进SIFT特征的匹配方法，包括基于改进SIFT特征的匹配方法主要包括改进SIFT特征提取和描述、基于二次误匹配剔除的特征匹配两个环节。

进一步的，所述S3步骤中基于改进SIFT特征的匹配方法，在改进SIFT特征提取和描述环节，按以下步骤进行：

第一步，SIFT特征提取，提取航拍校正图像间、或是航拍校正图像和基准裁剪图像中的SIFT特征关键点；为了提高特征点匹配的稳定性，通过三维二次拟合函数精确确定关键点的位置和尺度；

其中，SIFT特征是一种图像尺度不变特征，利用高斯差分(Difference ofGaussian,DOG)算子提取关键点，精确确定关键点位置和主方向，生成关键点的局部邻域描述子。SIFT特征提取主要包括尺度空间构建、空间极值点检测两个步骤。尺度空间构建的基础是DOG金字塔，二维图像I(x,y)在不同尺度下的尺度空间表示为L(x,y,σ),可由图像I(x,y)与高斯核G(x,y,σ)的卷积得到：

其中，x,y分别表示像素点的横纵坐标，σ代表高斯正态分布的方差，尺度空间中某一个点在周围8个点以及上下层18个邻域点中是最大或最小值，就可确定该点是一个极值点，为了提高特征点匹配的稳定性，通过三维二次拟合函数精确确定关键点的位置和尺度；

第二步，改进SIFT特征描述，利用关键点邻域内所有像素点的梯度方向投影，确定关键点的主方向，在进行主方向确定时直接设特征主方向为0；同时使关键点保持旋转不变性，以关键点为中心选取16个4×4像素的小邻域，在每个小邻域形成8个方向的梯度直方图，最终得到一个128维的特征向量。

针对多无人机航拍图像特征匹配、航拍校正图像与基准图像匹配的应用场景，待匹配图像的视角类似，可忽略确定关键点主方向步骤，直接设特征主方向为0。省略关键点主方向判定，能够提高算法速度，获得更多匹配控制点，提高匹配成功率。

进一步的，所述S3步骤中基于改进SIFT特征的匹配方法，在基于二次误匹配剔除的特征匹配环节，设计了基于特征向量欧式距离、匹配点对地理距离的二次匹配方法；其中：

SIFT特征匹配点往往存在大量的错误匹配点对，将可能使无人机匹配定位精度降低，甚至导致匹配定位失败。传统SIFT特征匹配采用固定阈值的相似性度量，剔除错误特征匹配点，难以适应不同图像的差异性。设计了基于特征向量欧式距离、匹配点对地理距离的二次匹配方法，充分剔除误匹配点对，并结合RANSAC算法解算出图像变换矩阵。具体按以下步骤进行：

第一步，应用暴力匹配方法，确定待匹配图像之间的初始匹配点对，采用匹配点对的特征向量欧式距离，初步滤除误差较大的匹配点对；

计算出待配准图像间匹配点对的欧式距离，求出所有匹配点对的最小和最大距离，若匹配点对距离小于设定阈值的最近和最远距离，则保留该匹配点对，否则舍弃该匹配点对；

式中，x_i,k为匹配图像中第i个特征点的特征向量的第k个元素，y_i,k为基准图像中第j个特征点的特征向量的第k个元素，n为特征向量的维数，d_i,j为航拍图像第i个特征点与基准图像第j个特征点的匹配点对欧式距离，d_max为匹配点对最大欧式距离，d_min为匹配点对最小欧式距离，α和β为设定阈值；

第二步，进一步剔除误匹配点对，利用POS数据计算匹配点对的位置坐标和地理距离，将最大定位误差值作为阈值剔除误匹配点，可适应不同类型的输入图像，提高匹配概率和匹配精度，其中定义基准图像中特征匹配点P_a的像素坐标(r_a,c_a)、高斯平面直角坐标(x_a,y_a)，匹配图像中P_b的像素坐标(r_b,c_b)、高斯平面直角坐标(x_b,y_b)。P_a和P_b的地理位置距离k为

若k<l，即匹配特征点对的地理距离k小于最大定位误差l，则接受该匹配点对，否则丢弃该匹配点对；

第三步，依据RANSAC(random sample consensus)算法，计算待匹配图像之间的变换矩阵，通过基于特征向量欧式距离、地理距离的二次匹配方法，有效滤除了误匹配点，减少了RANSAC的计算量，设匹配图像像素坐标为(r_i,c_i)，基准图像匹配控制点的像素坐标为(r_ri,c_ri)，变换矩阵H表示为

第四步，图像匹配定位，根据图像变换矩阵，实现待匹配图像的图像融合。

依据融合图像的位置信息引导至地理信息系统，进而获知航拍图像上任意点位置数据和区域态势信息，行了多航拍图像的匹配定位测试。

如图5所示，基于无人机高精度匹配定位方法的匹配定位方法，设计了匹配定位测试软件，软件界面主要包括菜单栏、GIS显示区域、状态显示区域等。无人机任务载荷均为光电云台，采集了2幅航拍视频帧图像及其对应的POS数据，图像分辨率为1920*1080。在共线定位解算的基础上，实现航拍图像校正和基准地图裁剪，进行航拍图像的匹配融合，根据匹配图像位置数据引导至GIS系统，可获知任意点位置数据，匹配定位解算时间为19s。可以看出，航拍图像精确匹配至基准图像，匹配定位误差较小，定位误差均值为15米，具有较高的定位精度。

如图6所示，进行了多航拍图像的匹配定位测试。无人机任务载荷均为光电云台，采集了3幅航拍视频帧图像及其对应的POS数据，图像分辨率为1920*1080。在共线定位解算的基础上，实现航拍图像校正和基准地图裁剪，进行航拍图像的匹配融合，根据匹配图像位置数据引导至GIS系统，可获知任意点位置数据，匹配定位解算时间为30s。可以看出，航拍图像精确匹配至基准图像，匹配定位误差较小，定位误差均值为10米，具有较高的定位精度。

本发明较传统的定位方法，综合应用多无人机的POS数据和图像信息，应用POS数据辅助多无人机航拍图像的匹配定位，一方面基于POS数据共线解算实现多航拍图像校正和匹配底图裁剪，另一方面基于特征向量欧式距离、地理距离的二次匹配方法剔除SIFT误匹配点，分别实现多无人机航拍图像特征匹配、航拍融合图像与基准图像的匹配，从原理上克服了定位精度直接受制于导航系统姿态测量误差的问题，并可有效提高图像匹配概率和匹配精度。本发明可实现多无人机航拍图像多目标的精确定位，定位精度高、适应性好、易于工程实现。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种多无人机高精度匹配定位方法，其特征在于：所述的多无人机高精度匹配定位方法包括如下步骤：

S1，多无人机数据采集，首先，预先获取具有精确位置信息的数字卫星地图或预先拼接图像等基准匹配图像；而后，以实时采集或离线加载形式获取多无人机的视频帧图像和POS数据，POS数据主要包括无人机位置和姿态数据、光电云台姿态等；

S2，基于POS数据的多航拍图像粗匹配，首先结合多无人机的各自位置和姿态角、光电平台姿态角等POS参数，基于共线成像方程初步解算出图像中任意点位置数据，实现对各无人机提供的多航拍图像校正，获取多航拍图像的区域位置；而后基于多无人机图像的区域位置，确定基准图像的区域范围，裁剪基准卫星图或拼接图，获取包含多无人机侦察图像范围的小区域基准匹配底图，完成基于区域位置的基准图像裁剪处理作业；

S3，基于改进SIFT特征的多航拍图像精匹配，首先基于改进SIFT特征的匹配方法，实现对S2步骤校正后多航拍图像的匹配融合，获得的覆盖区域大于各无人机航拍图像覆盖区域的融合图像区域，并抑制S2步骤中残存的校正误差；然后基于改进SIFT特征的匹配方法，实现航拍融合图像和基准图像的匹配融合；

S4，图像匹配定位，依据融合图像的位置信息引导至地理信息系统(geographicinformation system,GIS)，进而获知航拍图像上任意点位置数据和区域态势信息。

2.根据权利要求1所述的一种多无人机高精度匹配定位方法，其特征在于，所述S1步骤中，数字卫星地图可通过测绘部门申请或资源下载等形式获得，预先拼接图像可应用预先侦察的航空相片或视频进行图像拼接。

3.根据权利要求1所述的一种多无人机高精度匹配定位方法，其特征在于，所述S2步骤中基于共线方程的图像位置解算时，按以下步骤进行：

第一步，坐标转换矩阵解算，计算无人机地理坐标系和像空间坐标系的转换矩阵，应用像空间坐标系、无人机机体坐标系、无人机地理坐标系、高斯平面直角坐标系等4个坐标系，各坐标系定义如下：

1)像空间坐标系s，原点O_s为投影中心，X_s、Y_s分别平行于成像面阵外框且与图像显示存储方向一致，Z_s依右手坐标系确定，相机光轴为Z_s轴；

2)无人机机体坐标系b，坐标原点O_b为飞机质心，X_b指右，Y_b指前，Z_b指上；

3)无人机地理坐标系e，坐标原点O_e为飞机质心，X_e指东，Y_e指北，Z_e指天；4)高斯平面直角坐标系g；

同时，设航空相机或摄像机云台的高低角为α，方位角为β，设无人机的航向角为ψ，俯仰角为θ，倾斜角为γ，根据坐标变换原理，得到不同坐标系之间的坐标变换矩阵，设目标在无人机地理坐标系e中的坐标为(x_e，y_e，z_e)，目标在像空间坐标系s中的坐标为(x_s，y_s，-f)，f为相机或摄像机焦距，则两者之间的坐标变换关系表示为：

第二步，解算共线成像方程，设目标在高斯平面直角坐标系g中的坐标为(x_g，y_g)，无人机在高斯平面直角坐标系g中的坐标为(x_a，y_a)，H为无人机与地面目标点的相对高度；则基于无人机姿态数据、航空相机或摄像机的姿态数据和内参数等遥测参数，根据成像模型的共线条件方程可得

第三步，坐标位置解算和图像校正，根据共线成像方程，可以求出航拍图像中任意像素点的高斯平面直角坐标。根据航拍图像的像素坐标、高斯平面直角坐标和坐标变换矩阵，应用最邻近插值重采样实现图像校正。正射校正图像可抑制图像畸变、减弱拍摄角度差异等，与基准卫星地图或预先拼接图像视角类似，从而有效提高图像匹配定位的成功率和精度。

4.根据权利要求1所述的一种多无人机高精度匹配定位方法，其特征在于，所述S2步骤中基于区域位置的基准图像裁剪按以下步骤进行：

第一步，坐标极值计算，根据各个航拍图像的四角点位置裁剪基准地图，获取图像匹配的基准底图；其中在进行坐标值计算时，设共有n幅图像，第i幅航拍图像四角点位置分别为(x_i1,y_i1)、(x_i2,y_i2)、(x_i3,y_i3)、(x_i4,y_i4)，则各幅航拍图像的坐标极值(x_min,x_max,y_min,y_max)为

第二步，基准图像裁剪，根据裁剪图像坐标进行基准图像裁剪，获得小区域范围的基准底图，实现航拍图像的粗匹配；在进行航拍图像的粗匹配中，首先用共线定位方法求得的位置坐标存在定位误差；并设最大定位误差值为l，则可确定裁剪图像的左上角坐标为(x_max+l,y_min-l)、右下角坐标为(x_min-l,y_max+l)；然后图像裁剪时依据像素坐标进行，并进行位置坐标与像素坐标之间的坐标变换；

其中在进行位置坐标与像素坐标变换时，设基准图像左上角位置坐标(x₀,y₀)，裁剪图像左上角位置坐标(x_s,y_s)、像素坐标(r_s,c_s)，x方向上的图像像素分辨率t₁，y方向上的图像像素分辨率t₂，行旋转参数t₃，列旋转参数t₄，图像上方指北时旋转参数为0，置坐标与像素坐标变换关系表示为：

5.根据权利要求1所述的一种多无人机高精度匹配定位方法，其特征在于，所述S3步骤中所述基于改进SIFT特征的匹配方法，包括基于改进SIFT特征的匹配方法主要包括改进SIFT特征提取和描述、基于二次误匹配剔除的特征匹配两个环节。

6.根据权利要求1或5述的一种多无人机高精度匹配定位方法，其特征在于，所述S3步骤中基于改进SIFT特征的匹配方法，在改进SIFT特征提取和描述环节，按以下步骤进行：

第一步，SIFT特征提取，提取航拍校正图像间、或是航拍校正图像和基准裁剪图像中的SIFT特征关键点；为了提高特征点匹配的稳定性，通过三维二次拟合函数精确确定关键点的位置和尺度；

其中，SIFT特征提取主要包括尺度空间构建、空间极值点检测两个步骤。尺度空间构建的基础是DOG金字塔，二维图像I(x,y)在不同尺度下的尺度空间表示为L(x,y,σ),可由图像I(x,y)与高斯核G(x,y,σ)的卷积得到：

其中，x,y分别表示像素点的横纵坐标，σ代表高斯正态分布的方差，尺度空间中某一个点在周围8个点以及上下层18个邻域点中是最大或最小值，就可确定该点是一个极值点，为了提高特征点匹配的稳定性，通过三维二次拟合函数精确确定关键点的位置和尺度；

第二步，改进SIFT特征描述，利用关键点邻域内所有像素点的梯度方向投影，确定关键点的主方向，在进行主方向确定时直接设特征主方向为0；同时使关键点保持旋转不变性，以关键点为中心选取16个4×4像素的小邻域，在每个小邻域形成8个方向的梯度直方图，最终得到一个128维的特征向量。

7.根据权利要求1或5所述的一种多无人机高精度匹配定位方法，其特征在于，所述S3步骤中基于改进SIFT特征的匹配方法，在基于二次误匹配剔除的特征匹配环节，按以下步骤进行：

第一步，应用暴力匹配方法，确定待匹配图像之间的初始匹配点对，采用匹配点对的特征向量欧式距离，初步滤除误差较大的匹配点对；

计算出待配准图像间匹配点对的欧式距离，求出所有匹配点对的最小和最大距离，若匹配点对距离小于设定阈值的最近和最远距离，则保留该匹配点对，否则舍弃该匹配点对；

d_i,j≤α*d_max,d_i,j≤β*d_min，

式中，x_i,k为匹配图像中第i个特征点的特征向量的第k个元素，y_i,k为基准图像中第j个特征点的特征向量的第k个元素，n为特征向量的维数，d_i,j为航拍图像第i个特征点与基准图像第j个特征点的匹配点对欧式距离，d_max为匹配点对最大欧式距离，d_min为匹配点对最小欧式距离，α和β为设定阈值；

第二步，进一步剔除误匹配点对，利用POS数据计算匹配点对的位置坐标和地理距离，将最大定位误差值作为阈值剔除误匹配点，可适应不同类型的输入图像，提高匹配概率和匹配精度，其中定义基准图像中特征匹配点P_a的像素坐标(r_a,c_a)、高斯平面直角坐标(x_a,y_a)，匹配图像中P_b的像素坐标(r_b,c_b)、高斯平面直角坐标(x_b,y_b)。P_a和P_b的地理位置距离k为

若k<l，即匹配特征点对的地理距离k小于最大定位误差l，则接受该匹配点对，否则丢弃该匹配点对；

第三步，依据RANSAC(random sample consensus)算法，计算待匹配图像之间的变换矩阵，通过基于特征向量欧式距离、地理距离的二次匹配方法，有效滤除了误匹配点，减少了RANSAC的计算量，设匹配图像像素坐标为(r_i,c_i)，基准图像匹配控制点的像素坐标为(r_ri,c_ri)，变换矩阵H表示为

第四步，根据图像变换矩阵，实现待匹配图像的图像融合。

Images