CN112184786B - 一种基于合成视觉的目标定位方法 - Google Patents

Abstract

本发明属于机载光电侦察、态势感知领域，公开了一种基于合成视觉的目标定位方法，包括：载机实时位姿传感器数据和瞄准线姿态数据获取；生成静态的三维场景；生成动态合成视觉；获取对应的传感器图像；进行光电图像与合成视觉图像的配准与映射；根据目标像素位置进行地理定位。本发明通过相关技术手段实现光电图像中任意目标的空间定位，提供给飞行员任意选择目标的地理位置；能够对光电图像中任意多个目标实时计算其空间位置，从而提供一种实时连续的多目标空间位置跟踪能力。

Description

一种基于合成视觉的目标定位方法

技术领域

本发明属于机载光电侦察、态势感知领域，涉及一种基于合成视觉的目标定位方法。

背景技术

传统机载目标定位技术根据是否采用激光测距设备，可分为有源定位(有激光测距辅助)和无源定位(无激光测距辅助)，总体而言，有源定位精度较高但硬件构成较为复杂，无源定位没有激光测距的辅助，定位精度相对较差。并且其定位精度会随着距离增加降低，且某个时间点只能对单个目标进行定位等等

地理信息系统具有优越的地理空间描述能力，生成的三维场景中任意目标都是已知的三维地理信息中的地理节点，它实际上结合了测绘领域与信息领域成果。光电系统图像与地理场景融合，将光电探测的区域映射到了地理空间。对目标的定位以及多个目标的定位，可以借助于地理信息系统强大的空间分析能力，快速实现定位。

发明内容

(一)发明目的

本发明的目的是：提供一种基于合成视觉的目标定位方法，将光电系统的图像与合成视觉图像进行配准融合之后，光电系统的图像中所有目标被映射到三维地理空间中，利用地理信息系统空间几何分析计算能力，快速的计算多个任意目标的地理空间位置，实现目标快速定位。

(二)技术方案

为实现将机载光电图像中的目标进行快速地理定位，本发明基于合成视觉的目标定位方法包括：括三维合成视觉生成，光电图像采集，光电图像与三维场景配准融合，图像内目标位置解算等主要步骤。三维合成视觉利用真实地形数据生成三维地形场景，该三维场景具备了三维空间地理信息系统的能力；光电图像采集包括了图像内容中每一帧以及对应该帧的载机位姿数据,基于该帧产生时的载机位姿数据，可计算出该帧图像对应的地理探测区域；光电图像与三维场景的配准融合，将光电图像中的视频帧与三维场景中该帧对应探测区域进行配准与融合，配准与融合的结果，确保了图像中所有目标都被映射到了三维场景中的地理信息空间。图像内目标位置解算，实际上根据配准到地理信息空间的图像内容，对其中的目标的地理位置进行解算。

合成视觉生成利用高程和卫星影像等地形数据，生成具有地理信息的三维场景。

光电图像与合成视觉图像融合配准对于光电图像和三维合成视觉场景中对应地理区域，进行异源图像的配准与融合。

目标地理位置解算利用已经映射到三维地理信息空间的图像，对其中的目标的地理位置根据空间几何关系进行解算。

(三)有益效果

上述技术方案所提供的基于合成视觉的目标定位方法，通过相关技术手段实现光电图像中任意目标的空间定位，提供给飞行员任意选择目标的地理位置；能够对光电图像中任意多个目标实时计算其空间位置，从而提供一种实时连续的多目标空间位置跟踪能力。

附图说明

图1是本发明中方法的流程组成示意图。

图2是本发明中三维场景生成效果图。

图3是实际光电图像效果图。

图4是光电探测区域的地理定位区域。

图5是光电图像与合成视觉图下个配准融合后的综合视觉效果图。

图6是在综合视觉效果图上进行目标地理位置计算的示意图。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

如图1所示，本发明实施例目标定位方法包括以下步骤：获取载机实时位姿传感器数据以及光电瞄准线实时数据，计算载机的空间位置转换矩阵和空间姿态转换矩阵；根据预置的地形数据生成三维静态场景；获取对应时空关系的光电图像；根据空间位置转换矩阵和空间姿态转换矩阵驱动三维静态场景动态的合成视觉图像；将光电图像与合成视觉图像进行配准融合，根据用户的操控数据选择目标进行目标位置解算。

下面对上述过程中的每个步骤进行详细描述：

S1：获取载机实时位姿传感器数据以及光电瞄准线实时数据，计算载机的空间位置转换矩阵和空间姿态转换矩阵

载机的位姿参数主要包括载机位置参数和姿态参数，位置参数包括经度、纬度、高度，分别记为L、B、H，位置数据以地理坐标系为基准，经度、纬度单位为度，姿态参数包括航向角、俯仰角、横滚角，分别记为a、p、r，单位为度，该角度以东北天坐标系为基准。光电瞄准线姿态数据包括瞄准线的俯仰角和方位角，分别记为a_los、p_los，该角度以载机坐标系为基准。

获取包括载机位置、姿态，瞄准线姿态在内的共8个数据，作为后续动态连续合成视觉图像生成步骤的输入。

空间位置转换矩阵记为M_pos，姿态矩阵M_pos采用如下计算过程：

其中，n,u,v是转换坐标系下的基向量，nx，ny，nz分别是向量n的x，y，z分量，ux、uy、uz分别是向量u的x，y，z分量，vx、vy、vz分别是向量v的x，y，z分量，其计算采用如下公式：

n＝(cosLcosB,sinLcosB,sinB)

vpx是地心坐标下的载机位置vp的x分量，vpy是地心坐标下的载机位置vp的y分量，vpz是地心坐标下的载机位置vp的z分量，计算采用如下公式：

vpx＝(N+H)cosBcosL

vpy＝(N+H)cosBsinL

vpz＝[(N(1-e²)+H]sinB

其中，L，B分别是上述步骤中采集得到的载机位置数据中每一帧的经度和纬度，N为卯酉圈半径，e²为第一偏心率，分别采用如下计算公式：

上式中，a，c分别为地球椭球体模型的长半径和短半径，

a＝6378137.0m

c＝6356752.3142m。

空间姿态转换矩阵记为M_atti

姿态矩阵M_atti采用如下计算过程，首先根据载机的姿态数据构建四元数，记为q:

其中，a，p，r分别为上述步骤中采集得到的载机的航向角、俯仰角、横滚角；

S2：静态三维场景生成

基于载机所在地理区域的地形数据，包含高程数据和卫星纹理影像数据，生成该区域的三维地理场景，主要步骤包括：

2.1单块规则高程地形数据可视化

高程数据的形式为规则网格高程数据文件形式，对规则网格高程数据文件进行解析，根据高程数据进行模型视点变换、透视投影变换、视口变换，生成单块规则高程地形数据的网格化三维模型。

2.2海量数据组织方法

海量地形数据由单块规则高程地形数据组成，以四叉树多分辨率方法对多块规则高程地形数据进行组织，生成大规模的三维地形场景模型。

2.3基于纹理的映射方法

以卫星影像为纹理，在大规模的三维地形场景表面映射卫星纹理，生成超大规模真实效果的三维地形场景。

该步骤生成的三维场景，其效果图如图2所示，记为SCENE_stategraph，作为后续动态连续合成视觉图像生成步骤的输入。

S3：实时光电图像获取

机载光电系统实时光电图像由光电转塔发送，不同的传感器有不同的帧率，根据帧率接收每一帧图像数据，记为f_eo(x,y,t)，作为后续配准融合步骤的输入。

实际的光电图像采集示例见图3。

S4：动态合成视觉图像生成

以步骤S1和步骤S2的输出，作为输入，即采集得到的载机位姿数据，瞄准线姿态驱动生成的三维静态场景，即可生成动态连续的合成视觉图像，具体方法包括：

4.1根据载机位姿数据构建空间变换矩阵，包括位置空间变换矩阵M_pos和姿态空间变换矩阵M_atti；

4.2根据瞄准线姿态数据构建瞄准线空间变换矩阵M_los；

4.3根据上述步骤构建复合空间变换矩阵M_composite，即M_composite＝M_los*M_atti*M_pos；

4.4以三维静态场景生成的场景节点树为对象SCENE_stategraph，应用上一步中构建的复合空间变换矩阵M_composite，即可生成动态连续的合成视觉图像，记为SVS_sequce。其中某一帧的图像记为f_svs(x,y,z,t)

本步骤中输出的合成视觉图像作为后续配准融合步骤的输入。

S5：光电图像与合成视觉图像进行配准融合：

以步骤S1、步骤S3和步骤S4输出的载机位姿数据M_pos、M_atti，和瞄准线姿态数据M_los、实时光电图像f_eo(x,y,t)和合成视觉图像为f_svs(x,y,z,t)输入，进行配准融合，主要包括以下处理流程：

5.1光电探测区域地理定位：根据载机位置和姿态数据以及瞄准线姿态数据，确定光电探测区域的地理位置，光电探测区域计算的效果图见图4所示，定位的地理区域记为Z_locat(x,y,z)。

5.2光电图像畸变校正：根据光电传感器实验室标定参数，对f_eo(x,y,t)进行切向畸变和径向畸变，得到的校正后的图像记为f_{corrected_eo}(x,y,t)；

5.3以光电探测区域地理定位结果Z_locat(x,y,z)和合成视觉图像f_svs(x,y,z,t)为输入，计算得到与光电图像对应时空关系的合成视觉二维投影图像，记为f_{eo_locate_svs}(x,y,t)，即f_{eo_locate_svs}(x,y,t)＝L(f_svs(x,y,z,t),Z_local(x,y,z))；

5.4以校正后的光电图像f_{corrected_eo}(x,y,t)为输入，以地理定位的合成视觉投影图像f_{eo_locate_svs}(x,y,t)为输入，进行配准融合，得到配准融合后的图像记为f_{regis_eo_svs}(x,y,t)，即f_{regis_eo_svs}(x,y,t)＝K(f_{corrected_eo}(x,y,t),f_{eo_locate_svs}(x,y,t))；

将本步骤配准融合后的图像记为综合视觉图像，该综合视觉图像效果见图5a和图5b，图5a为对应光电探测区域的合成视觉图像，图5b为在合成视觉图像上配准融合的光电视频图像，即本步骤中的综合视觉图像。该步骤输出的综合视觉图像f_{regis_eo_svs}(x,y,t)作为后续目标地理位置解算步骤的输入。

S6：任意目标选择以及地理位置解算

以步骤S5输出的综合视觉图像f_{regis_eo_svs}(x,y,t)为输入，在该图像内容中，选择目标后得到目标像素位置值，记为P_tar(x_tar,y_tar)，或者由其它程序计算出任意目标的像素值(比如由目标智能识别算法或者目标智能检索算法)，以该输入像素P_tar(x_tar,y_tar)，结合合成视觉图像生成的模型视点变换矩阵，透视投影矩阵，视口变换矩阵，以及该区域的地形数据，可快速计算出该目标对应的地理空间位置。具体步骤包括：

6.1获取合成视觉系统中虚拟相机的局部到世界转换矩阵，记为M_{camera_l2w}，该矩阵为已知固定值；

6.2获取合成视觉系统中虚拟相机的观察矩阵，记为M_{camera_view}，该矩阵为已知固定值；

6.3获取合成视觉系统中虚拟相机的投影变换矩阵，记为M_{camera_projection}，该矩阵为已知固定值，并获取投影变换矩阵的远近裁切面，记为(z_far,z_near)，z_far为远裁切面的Z值，z_near为近裁切面的Z值；

6.4获取合成视觉系统中虚拟相机的视口变换矩阵，记为M_{camera_viewport}，该矩阵为已知固定值；

6.5将像素位置P_tar(x_tar,y_tar)转化为虚拟相机系统中的归一化位置，得到的位置记为P_{normalize_tar}(x_tar,y_tar)；

6.6设置复合变换矩阵并计算，M_composit＝(M_{camera_l2w}*M_{camera_view}*M_{camera_projection}*M_{camera_viewport})^-1

6.7根据所选像素位置，设置虚拟相机归一化空间内的起点P_{normalize_tar_start}和终点位置P_{normalize_tar_end}，并计算对应到地理空间内的起点P_{geocentric_tar_start}和终点坐标P_{geocentric_tar_start}，

P_{geocentric_tar_start}(x_tar,y_tar,z_near)＝P_{normalize_tar_start}(x_tar,y_tar,z_near)*M_composit

P_{geocentric_tar_end}(x_tar,y_tar,z_near)＝P_{normalize_tar_end}(x_tar,y_tar,z_far)*M_composit

6.8以P_{geocentric_tar_start}和P_{geocentric_tar_start}为线段，与地面进行碰撞检测迭代算法，即可得到该线段与地形表面的交点，也就是目标最终的地理位置。

图6为某一帧的综合视觉环境中选定的目标的地理位置的解算结果。途中红色圈分辨圈中目标1和目标2，为光电图像中的两个汽车目标，根据上述方法，可以快速求出目标1的地理位置为东经109.038070，北纬34.129032，目标的地理位置为东经109.038216，北纬34.129022。

由上述技术方案可以看出，本发明利用地理信息系统对大规模三维场景的空间描述能力，将光电传感器图像与空间场景配准后，完成地理空间映射，因而能够对图像中的任意目标进行实时定位。该方法结合测绘领域以及信息融合处理的成果，以软件方式实现了一种新的多目标定位方法，对于机载航电系统有较强的工程应用意义，无须激光测距等硬件设备的支持，易于在以往航电系统改造升级中实现，可提高直升机的目标侦察能力和多目标侦察能力，其战术意义值得进一步挖掘，提升直升机的战场生存能力。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (1)

1.一种基于合成视觉的目标定位方法，其特征在于，包括以下步骤：

S1：获取载机实时位姿传感器数据以及光电瞄准线实时数据，计算载机的空间位置转换矩阵和空间姿态转换矩阵；

S2：静态三维场景生成；

S3：实时光电图像获取；

S4：动态合成视觉图像生成；

S5：光电图像与合成视觉图像进行配准融合；

S6：任意目标选择以及地理位置解算；

所述步骤S1中，载机的位姿参数包括载机位置参数和姿态参数，位置参数包括经度、纬度、高度，分别记为L、B、H，位置数据以地理坐标系为基准，经度、纬度单位为度，姿态参数包括航向角、俯仰角、横滚角，分别记为a、p、r，单位为度，该角度以东北天坐标系为基准；光电瞄准线姿态数据包括瞄准线的俯仰角和方位角，分别记为a_los、p_los，该角度以载机坐标系为基准；

所述步骤S1中，空间位置转换矩阵的计算过程为：

空间位置转换矩阵记为M_pos：

其中，n,u,v是转换坐标系下的基向量，nx，ny，nz分别是向量n的x，y，z分量，ux、uy、uz分别是向量u的x，y，z分量，vx、vy、vz分别是(向量v的x，y，z分量)，其计算采用如下公式：

n＝(cos L cos B,sin L cos B,sin B)

vpx是地心坐标下的载机位置vp的x分量，vpy是地心坐标下的载机位置vp的y分量，vpz是地心坐标下的载机位置vp的z分量，计算采用如下公式：

vpx＝(N+H)cos B cos L

vpy＝(N+H)cos B sin L

vpz＝[(N(1-e²)+H]sin B

其中，L，B分别是上述步骤中采集得到的载机位置数据中每一帧的经度和纬度，N为卯酉圈半径，e²为第一偏心率，分别采用如下计算公式：

上式中，a，c分别为地球椭球体模型的长半径和短半径，

a＝6378137.0m

c＝6356752.3142m；

所述步骤S1中，空间姿态转换矩阵记为M_atti，计算过程为：

首先根据载机的姿态数据构建四元数，记为q:

其中，a，p，r分别为上述步骤中采集得到的载机的航向角、俯仰角、横滚角；

所述步骤S2中，基于载机所在地理区域的地形数据，包含高程数据和卫星纹理影像数据，生成该区域的三维地理场景，步骤包括：

2.1单块规则高程地形数据可视化

高程数据的形式为规则网格高程数据文件形式，对规则网格高程数据文件进行解析，根据高程数据进行模型视点变换、透视投影变换、视口变换，生成单块规则高程地形数据的网格化三维模型；

2.2海量数据组织方法

海量地形数据由单块规则高程地形数据组成，以四叉树多分辨率方法对多块规则高程地形数据进行组织，生成大规模的三维地形场景模型；

2.3基于纹理的映射方法

以卫星影像为纹理，在大规模的三维地形场景表面映射卫星纹理，生成超大规模真实效果的三维地形场景，三维场景记为SCENE_stategraph；

所述步骤S3中，机载光电系统实时光电图像由光电转塔发送，不同的有不同的帧率，根据传感器帧率接收每一帧图像数据，记为f_eo(x,y,t)；

所述步骤S4中，根据采集得到的载机位姿数据、瞄准线姿态驱动生成的三维静态场景，生成动态连续的合成视觉图像，步骤包括：

4.1根据载机位姿数据构建空间变换矩阵，包括位置空间变换矩阵M_pos和姿态空间变换矩阵M_atti；

4.2根据瞄准线姿态数据构建瞄准线空间变换矩阵M_los；

4.3根据上述步骤构建复合空间变换矩阵M_composite，M_composite＝M_los*M_atti*M_pos；

4.4以三维静态场景生成的场景节点树为对象SCENE_stategraph，应用复合空间变换矩阵M_composite，生成动态连续的合成视觉图像，记为SVS_sequce，其中某一帧的图像记为f_svs(x,y,z,t)；

所述步骤S5中，基于步骤S1、步骤S3和步骤S4输出的位置空间变换矩阵M_pos、姿态空间变换矩阵M_atti和瞄准线空间变换矩阵M_los、实时光电图像f_eo(x,y,t)和合成视觉图像为f_svs(x,y,z,t)，进行配准融合，步骤包括：

5.1光电探测区域地理定位：根据载机位置和姿态数据以及瞄准线姿态数据，确定光电探测区域的地理位置，定位的地理区域记为Z_locat(x,y,z)；

5.2光电图像畸变校正：根据光电传感器实验室标定参数，对f_eo(x,y,t)进行切向畸变和径向畸变，得到的校正后的图像记为f_{corrected_eo}(x,y,t)；

5.3基于光电探测区域地理定位结果Z_locat(x,y,z)和合成视觉图像f_svs(x,y,z,t)，计算得到与光电图像对应时空关系的合成视觉二维投影图像，记为f_{eo_locate_svs}(x,y,t)，f_{eo_locate_svs}(x,y,t)＝L(f_svs(x,y,z,t),Z_local(x,y,z))；

5.4基于校正后的光电图像f_{corrected_eo}(x,y,t)和地理定位的合成视觉投影图像f_{eo_locate_svs}(x,y,t)，进行配准融合，得到配准融合后的图像记为f_{regis_eo_svs}(x,y,t)，即f_{regis_eo_svs}(x,y,t)＝K(f_{corrected_eo}(x,y,t),f_{eo_locate_svs}(x,y,t))；

配准融合后的图像记为综合视觉图像；

所述步骤S6中，基于综合视觉图像f_{regis_eo_svs}(x,y,t)，在该图像内容中，选择目标后得到目标像素位置值，记为P_tar(x_tar,y_tar)，结合合成视觉图像生成的模型视点变换矩阵、透视投影矩阵、视口变换矩阵、以及该区域的地形数据，计算出该目标对应的地理空间位置；

所述步骤S6中，地理空间位置的计算步骤包括：

6.1获取合成视觉系统中虚拟相机的局部到世界转换矩阵，记为M_{camera_l2w}，该矩阵为已知固定值；

6.2获取合成视觉系统中虚拟相机的观察矩阵，记为M_{camera_view}，该矩阵为已知固定值；

6.3获取合成视觉系统中虚拟相机的投影变换矩阵，记为M_{camera_projection}，该矩阵为已知固定值，并获取投影变换矩阵的远近裁切面，记为(z_far,z_near)，z_far为远裁切面的Z值，z_near为近裁切面的Z值；

6.4获取合成视觉系统中虚拟相机的视口变换矩阵，记为M_{camera_viewport}，该矩阵为已知固定值；

6.5将像素位置P_tar(x_tar,y_tar)转化为虚拟相机系统中的归一化位置，得到的位置记为P_{normalize_tar}(x_tar,y_tar)；

6.6设置复合变换矩阵并计算，M_composit＝(M_{camera_l2w}*M_{camera_view}*M_{camera_projection}*M_{camera_viewport})^-1；

6.7根据所选像素位置，设置虚拟相机归一化空间内的起点P_{normalize_tar_start}和终点位置P_{normalize_tar_end}，并计算对应到地理空间内的起点P_{geocentric_tar_start}和终点坐标P_{geocentric_tar_start}，

P_{geocentric_tar_start}(x_tar,y_tar,z_near)＝P_{normalize_tar_start}(x_tar,y_tar,z_near)*M_composit

P_{geocentric_tar_end}(x_tar,y_tar,z_near)＝P_{normalize_tar_end}(x_tar,y_tar,z_far)*M_composit

6.8以P_{geocentric_tar_start}和P_{geocentric_tar_start}为线段，与地面进行碰撞检测迭代算法，得到该线段与地形表面的交点，即为目标最终的地理位置。