CN112365591A - 一种基于合成视觉的空地协同综合态势生成方法 - Google Patents

Abstract

本发明属于光电侦察、态势感知领域，公开了一种基于合成视觉的空地协同综合态势生成方法，利用合成视觉生成三维地形场景，合成载机以及载机的探测视场和区域，将载机光电吊舱探测的实时图像配准融合至相应区域；空中载机对地面目标区域侦察时，计算空间几何关系并设置视点位置，确保载机、探测视场、地面侦察目标、地面探测区域在同一个画面中；多个邻近的空中载机联合机动时，计算其空间几何关系并设置视点位置，确保多个载机、各自探测视场、地面侦察目标、各自的地面探测区域呈现在同一个画面中；空中力量和地面力量针对侦察目标进行交接时，二者通过数据链或者类似的通信机制进行数据交换，从而实现实时或者近实时的视点同步。

Description

一种基于合成视觉的空地协同综合态势生成方法

技术领域

本发明属于光电侦察、态势感知技术领域，涉及一种基于合成视觉的空地协同综合态势生成方法。

背景技术

空地一体化的现代作战模式中，地面前线战斗控制员态势感知装备在不断增强，空中载机配置的机载光电设备也在不断改进，前线战场的态势获取能力得到了极大提升。然而，限于目前空地协同双方交接目标的方式(包括语音通话和低带宽的数据传输)，双方还不能非常高效精准的进行目标的关联和交接，典型的沟通方式是空中力量就图像内容与地面力量语音沟通确认侦察目标以及通过数据链交换部分数据。

由于采用的数据链带宽还不是很高，尚不能完全的进行地面和空中的视频数据交换。由于空中与地面的视角差异，导致双方观察同一区域得到的图像内容差异较大，同时不同的观察角度会受到不同的近地物的遮挡，会造成地物纹理结构信息丢失，对同一侦察目标往往很难在短时间内精准确认，经常出现空中力量由于无法确认侦察目标或者打击目标，需要来回往复在目标区域附近上空飞行，如果是执行打击任务，一来由于任务性质关键，需要更加严格的标准确认打击目标无误，二来一旦发生目标区域误判，引发的误伤和附带损伤可能会非常严重。空地双方目标攻击准确性和实时性还有一定的提升空间。

对于数据链能够提供的带宽能力，虽然目前不足以承担视频数据交换会对空地沟通有一定影响，但其实就算随着技术能力的提升，数据链能够支持视频数据交换，也未必能够基于此解决空地协同沟通的问题。目前空地双方沟通受限的关键是没有一个包含双方各自位置姿态和探测方向以及侦察目标的公共环境，来供双方进行各种信息的确认，当前协同方案中承担这个媒介功能的是语音通话和载机的视频，这种信息交换是不对称的，同时由于语音沟通方式的信息量极少，机载光电视频也只是单向的空中视角的地面影像，基于此，空中与地面的语音沟通背后仍然是不对称的信息。即便地面能够看到机载光电视频，从其中找到与地面视角图像中对应的目标也并不是个简单的问题，想要高效准确的进行空地目标的交接，还需要寻找新的机制和方法来解决该问题。

归根结底，空地双方没有一个综合的空地态势融合共享环境，同时供双方进行地理空间的沟通，交换数据的标识确认，侦察或打击目标的确认和交接。

发明内容

(一)发明目的

本发明的目的是：提供一种基于合成视觉的空地协同综合态势生成方法，以解决空地协同过程中空中力量与地面力量交接侦察目标效率不高的问题。

(二)技术方案

为了解决上述技术问题，本发明对当前沟通机制的分析，可以从几个方面考虑新的机制或方法，新的方法最好能够提供一个公共的包含双方各自地理信息以及姿态信息的公共环境，并且包含目标区域的位置，同时双方可以基于此公共环境交换确认对方信息，从信息的承载量来看，这个环境最好是直观的视觉环境，语音沟通方式可以作为辅助的协同方式。

为满足上述空地协同中双方对沟通环境的要求，本发明提出了一种基于合成视觉的空地协同综合态势生成方法，该方法利用合成视觉技术生成了三维地形场景，在该三维场景中合成载机以及载机的探测视场和区域，并将载机光电吊舱探测的实时图像配准融合至相应的区域，该场景能够接受空地双方各自位置姿态作为视点，从而实现以对方视角观察场景，也能够接受任意视点设置，实现以任意视点观察协同双方的综合态势环境；默认的视点会根据场景几何关系自动计算，确保场景中呈现空地协同的综合态势。

该过程包括以下主要步骤：载机实时位姿数据以及瞄准线数据获取、合成视觉图像生成、采集光电视频数据，配准融合光电视频与三维场景，获取地面力量位置以及探测方向数据，三维场景中标注地面力量信息，获取侦察目标地理信息，三维场景中标注侦察目标信息，根据综合态势空间关系计算视点，应用视点位置生成综合态势场景。

(三)有益效果

上述技术方案所提供的基于合成视觉的空地协同综合态势生成方法，整体技术效果体现在以下几个方面。

(一)本发明在设计通过相关技术手段实现将空地协同的整个综合态势呈现在一个画面中，包括三维地形场景、空中载机、载机探测视场、探测区域、探测区域的光电视频、以及地面力量地理标识、侦察目标区域标识等。提供给空地协同双方一个包含二者以及环境的综合态势的画面，提供给协同双方一个统一的、对称的、具有完整态势信息的三维地理信息空间。

(二)本发明生成的综合视觉环境能够让观察者始终保持以三维空间观察的优势，继承三维空间多视角观察特点，从不同视角观察实时综合态势信息。该技术特点能够让空地双方以任意视角观察整个协同的综合态势。

(三)本发明设计了视点同步机制，能够使空地协同双方约定主从关系，双方的视觉环境画面中，从节点根据主节点设计的视点视角关系生成综合态势。该技术能够保持空地协同双方生成完全一致的综合态势画面，作为沟通确认以及交接目标的参考视觉环境。

附图说明

图1是本发明中方法的流程组成示意图。

图2是某一帧实际光电图像。

图3是光电探测区域进行地理定位的效果图。

图4是在配准区域上进行光电视频映射后的效果示意图。

图5是视点重新计算后的综合态势图。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

如图1所示，本发明实施例如附图1所示，将该方法包括以下主要步骤：载机实时位姿数据以及瞄准线数据获取、合成视觉图像生成、采集光电视频数据、配准融合光电视频与三维场景、获取地面力量位置以及探测方向数据、三维场景中标注地面力量信息、获取侦察目标地理信息、三维场景中标注侦察目标信息、根据综合态势空间关系计算视点，以及应用视点位置生成综合态势场景。

下面对每个步骤的具体过程进行详细描述。

S1：载机实时位姿数据以及光电瞄准线姿态数据获取

载机实时位姿数据包括载机位置参数和姿态参数，载机位置参数包括经度、纬度、高度，分别记为L、B、H，载机位置参数以地理坐标系为基准，经度、纬度单位为度，姿态参数包括航向角、俯仰角、横滚角，分别记为a、p、r，单位为度，该角度以东北天坐标系为基准。光电瞄准线姿态数据包括瞄准线的俯仰角和方位角，分别记为a_los、p_los，该角度以载机坐标系为基准。

获取包括载机位置、姿态，光电瞄准线姿态在内的共8个数据，作为后续动态连续合成视觉图像生成步骤的输入。

S2：合成视觉图像生成

S21：基于载机所在地理区域的地形数据，包含高程数据和卫星纹理影像数据，生成该区域的三维地理场景，主要步骤包括：

21.1单块规则高程地形数据可视化；

对规则网格高程数据文件进行解析，根据高程数据进行模型视点变换、透视投影变换、视口变换，生成单块高程数据的网格化三维模型。

21.2海量数据组织方法；

海量地形数据由单块规则地形数据组成，以四叉树多分辨率方法对多块地形数据进行组织，生成大规模的三维地形场景模型。

21.3基于纹理的映射方法；

以卫星影像为纹理，在大规模的三维地形场景表面映射卫星纹理，生成超大规模真实效果的三维地形场景。

S22：基于载机位姿数据和瞄准线姿态数据，对上述步骤生成的三维地形场景矩阵变换，生成动态连续的合成视觉图像，具体方法包括：

22.1根据载机位姿数据构建空间变换矩阵，包括位置空间变换矩阵M_pos和姿态空间变换矩阵M_atti；

22.2根据瞄准线姿态数据构建瞄准线空间变换矩阵M_los；

22.3根据上述步骤构建复合空间变换矩阵M_composite，即M_composite＝M_los*M_atti*M_pos；

22.4以三维静态场景生成的场景节点树为对象SCENE_stategraph，应用上一步中构建的复合空间变换矩阵M_composite，即可生成动态连续的合成视觉图像，记为SVS_sequce；其中某一帧的图像记为f_svs(x,y,z,t)。

S3：光电视频数据采集

机载光电系统实时光电图像由光电转塔发送，不同的传感器有不同的帧率，根据帧率接收每一帧图像数据，记为f_eo(x,y,t)，作为后续配准融合步骤的输入。

实际的光电图像采集示例见图2。

S4：配准融合光电视频与三维场景

以步骤S1至S3输出的载机位姿数据、瞄准线姿态数据、实时光电图像f_eo(x,y,t)和合成视觉图像为f_svs(x,y,z,t)输入，进行配准融合，主要包括以下处理流程：

4.1光电探测区域地理定位：根据载机位置和姿态数据以及瞄准线姿态数据，确定光电探测区域的地理位置，光电探测区域计算的效果图见图3所示，定位的地理区域记为Z_locat(x,y,z)。

4.2光电图像畸变校正：根据光电传感器实验室标定参数，对f_eo(x,y,t)进行切向畸变和径向畸变，得到的校正后的图像记为f_{corrected_eo}(x,y,t)；

4.3以光电探测区域地理定位结果Z_locat(x,y,z)和合成视觉图像f_svs(x,y,z,t)为输入，计算得到与光电图像对应时空关系的合成视觉二维投影图像，记为f_{eo_locate_svs}(x,y,t)，即f_{eo_locate_svs}(x,y,t)＝L(f_svs(x,y,z,t),Z_local(x,y,z))；

4.4以校正后的光电图像f_{corrected_eo}(x,y,t)为输入，以地理定位的合成视觉投影图像f_{eo_locate_svs}(x,y,t)为输入，进行配准融合，得到配准融合后的图像记为f_{regis_eo_svs}(x,y,t)，即f_{regis_eo_svs}(x,y,t)＝K(f_{corrected_eo}(x,y,t),f_{eo_locate_svs}(x,y,t))；

将本步骤配准融合后的图像记为综合视觉图像，该综合视觉图像效果见图4，该步骤输出的综合视觉图像f_{regis_eo_svs}(x,y,t)作为后续目标地理位置解算步骤的输入。

S5：获取地面力量位置以及探测方向数据

通过数据链或者其它通信方式获取地面协同力量的位置信息和地面对侦察目标的探测方向，地面协同力量的位置数据记为p_{coop_groun}(x,y,z)，其探测方位数据记为o_{coop_groun}(α,β)。

S6：三维场景中标注地面力量信息

将协同的地面力量的位置p_{coop_groun}(x,y,z)在生成的合成视觉场景中以位置点的方式进行标注，同时将地面力量的探测方位o_{coop_groun}(α,β)在生成的合成视觉场景中以射线的方式进行可视化，可视化以后的空间方位随动于上传的方位数据。

S7：获取侦察目标地理信息

通过数据链或者其它通信方式获取侦察目标的位置信息，侦察目标的地理信息支持两种方式：点目标和区域目标，点目标的地理信息记为p_{inves_point}(x,y,z)，区域目标的地理信息包括四个角点的地理位置，记为p_lu(x,y,z),p_ld(x,y,z),p_ru(x,y,z),p_rd(x,y,z)。

S8：三维场景中标注侦察目标信息

将侦察目标的位置p_{coop_groun}(x,y,z)或者区域p_lu(x,y,z),p_ld(x,y,z),p_ru(x,y,z),p_rd(x,y,z)在生成的合成视觉场景中以位置点的方式进行标注，或以区域的方式进行标注。

S9：根据综合态势空间关系计算视点

分两种情况进行综合态势的呈现，一是在侦察目标距离载机不小于800米的时候，并不适合将侦察目标区域也在画面中呈现，而只是在画面包括载机以及探测视场和探测区域；二是侦察目标距离载机小于800米的时候，在第一种情况的基础上，将侦察目标区域也包括进来。针对第一种情况，视点位置计算采取如下步骤：

9.1获取载机实时位置；

9.2获取探测区域中心实时位置；

9.3求取以上两个步骤获取的两个位置的中心点，作为新的视点中心点

9.4视点方向设置方法为：以载机瞄准线的反方向为基准，将此方向旋转方位角-30度，旋转俯仰方向30度；

9.5视点距离设置方法为：从中心点到视点距离设置为4倍的瞄准线长度；

针对第二种情况，视点位置计算采取如下步骤：

9.10获取载机实时位置；

9.20获取探测区域中心实时位置；

9.30求取以上两个步骤获取的两个位置的中心点1；

9.40获取侦察目标区域中心位置；

9.50求取中心点1与侦察目标区域中心位置的的中心点2；

9.60以中心点2作为新的视点中心点；

9.70视点方向设置方法为：以载机瞄准线的反方向为新的视点方向；

9.80视点距离设置方法为：从中心点到视点距离设置为8倍的瞄准线长度；

S10：视点数据同步机制

建立通讯机制，能够接收视点位置数据，并保存到缓冲，供后续步骤使用；

S11：应用视点位置生成综合态势场景

以步骤S9中求出的视点位置或步骤S10中接收的视点位置数据作为输入，设置到综合态势生成场景的操纵器中，即可以生成同时呈现地面协同力量、地面探测区域、地面侦察目标、空中协同力量以及探测视场的综合态势画面，供空中和地面协同力量进行统一空间参考系下的目标信息确认沟通和交接。图5为重新计算视点后的效果图。

由上述技术方案可以看出，本发明方法包括静态与动态三维场景生成、光电图像与场景融合、视点空间位置计算和应用；三维场景生成中，根据载机以及光电传感器位置、姿态，利用合成视觉技术，生成三维地形场景；光电图像与场景融合时，对光电传感器图像与合成视觉图像进行配准融合，对合成视觉图像调整后融合光电传感器图像；视点计算和应用时，对空中载机及其探测视场和探测区域、地面协同力量位置、地面侦察目标区域的空间位置进行分析和计算，根据透视投影空间约束，计算出视点位置，并将视点位置应用至三维场景生成过程中，确保综合态势场景包含上述关键区域。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于合成视觉的空地协同综合态势生成方法，其特征在于，包括以下步骤：

S1：载机实时位姿数据以及瞄准线数据获取；

S2：合成视觉图像生成；

S3：采集光电视频数据；

S4：配准融合光电视频与三维场景；

S5：获取地面力量位置以及探测方向数据；

S6：三维场景中标注地面力量信息；

S7：获取侦察目标地理信息；

S8：三维场景中标注侦察目标信息；

S9：根据综合态势空间关系计算视点；

S10：建立视点数据同步机制；

S11：应用视点位置生成综合态势场景。

2.如权利要求1所述的基于合成视觉的空地协同综合态势生成方法，其特征在于，所述步骤S1中，载机实时位姿数据包括载机位置参数和姿态参数，载机位置参数包括经度、纬度、高度，分别记为L、B、H，载机位置参数以地理坐标系为基准，经度、纬度单位为度，姿态参数包括航向角、俯仰角、横滚角，分别记为a、p、r，单位为度，该角度以东北天坐标系为基准。光电瞄准线姿态数据包括瞄准线的俯仰角和方位角，分别记为a_los、p_los，该角度以载机坐标系为基准。

3.如权利要求2所述的基于合成视觉的空地协同综合态势生成方法，其特征在于，所述步骤S2中，合成视觉图像生成包括以下子步骤：

S21：基于载机所在地理区域的地形数据，包含高程数据和卫星纹理影像数据，生成该区域的三维地理场景，步骤包括：

21.1单块规则高程地形数据可视化

高程数据的形式为规则网格高程数据文件形式，对规则网格高程数据文件进行解析，根据高程数据进行模型视点变换、透视投影变换、视口变换，生成单块规则高程地形数据的网格化三维模型；

21.2海量数据组织方法；

海量地形数据由单块规则高程地形数据组成，以四叉树多分辨率方法对多块地形数据进行组织，生成大规模的三维地形场景模型；

21.3基于纹理的映射方法

以卫星影像为纹理，在大规模的三维地形场景表面映射卫星纹理，生成超大规模真实效果的三维地形场景；

S22：基于载机位姿数据和瞄准线姿态数据，对上述步骤生成的三维地形场景矩阵变换，生成动态连续的合成视觉图像，步骤包括：

22.1根据载机位姿数据构建空间变换矩阵，包括位置空间变换矩阵M_pos和姿态空间变换矩阵M_atti；

22.2根据瞄准线姿态数据构建瞄准线空间变换矩阵M_los；

22.3根据上述步骤构建复合空间变换矩阵M_composite，即M_composite＝M_los*M_atti*M_pos；

22.4以三维静态场景生成的场景节点树为对象SCENE_stategraph，应用上一步中构建的复合空间变换矩阵M_composite，生成动态连续的合成视觉图像，记为SVS_sequce；其中某一帧的图像记为f_svs(x,y,z,t)。

4.如权利要求3所述的基于合成视觉的空地协同综合态势生成方法，其特征在于，所述步骤S3中，光电视频数据采集的过称为：机载光电系统实时光电图像由光电转塔发送，光电传感器根据帧率接收每一帧图像数据，记为f_eo(x,y,t)，作为后续配准融合步骤的输入。

5.如权利要求4所述的基于合成视觉的空地协同综合态势生成方法，其特征在于，所述步骤S4中，以步骤S1至S3输出的载机位姿数据、瞄准线姿态数据、实时光电图像f_eo(x,y,t)和合成视觉图像为f_svs(x,y,z,t)输入，进行配准融合，步骤包括：

4.1光电探测区域地理定位：根据载机位置和姿态数据以及瞄准线姿态数据，确定光电探测区域的地理位置，定位的地理区域记为Z_locat(x,y,z)；

4.2光电图像畸变校正：根据光电传感器实验室标定参数，对f_eo(x,y,t)进行切向畸变和径向畸变，得到校正后的图像记为f_{corrected_eo}(x,y,t)；

4.3以光电探测区域地理定位结果Z_locat(x,y,z)和合成视觉图像f_svs(x,y,z,t)为输入，计算得到与光电图像对应时空关系的合成视觉二维投影图像，记为f_{eo_locate_svs}(x,y,t)，即f_{eo_locate_svs}(x,y,t)＝L(f_svs(x,y,z,t),Z_local(x,y,z))；

4.4以校正后的光电图像f_{corrected_eo}(x,y,t)为输入，以地理定位的合成视觉投影图像f_{eo_locate_svs}(x,y,t)为输入，进行配准融合，得到配准融合后的图像记为f_{regis_eo_svs}(x,y,t)，即f_{regis_eo_svs}(x,y,t)＝K(f_{corrected_eo}(x,y,t),f_{eo_locate_svs}(x,y,t))；

将本步骤配准融合后的图像记为综合视觉图像，该步骤输出的综合视觉图像f_{regis_eo_svs}(x,y,t)作为后续目标地理位置解算步骤的输入。

6.如权利要求5所述的基于合成视觉的空地协同综合态势生成方法，其特征在于，所述步骤S5中，通过数据链获取地面协同力量的位置信息和地面对侦察目标的探测方向，地面协同力量的位置数据记为p_{coop_groun}(x,y,z)，其探测方位数据记为o_{coop_groun}(α,β)；

所述步骤S6中，将协同的地面力量的位置p_{coop_groun}(x,y,z)在生成的合成视觉场景中以位置点的方式进行标注，同时将地面力量的探测方位o_{coop_groun}(α,β)在生成的合成视觉场景中以射线的方式进行可视化，可视化以后的空间方位随动于上传的方位数据。

7.如权利要求6所述的基于合成视觉的空地协同综合态势生成方法，其特征在于，所述步骤S7中，通过数据链获取侦察目标的位置信息，侦察目标的地理信息支持两种方式：点目标和区域目标，点目标的地理信息记为p_{inves_point}(x,y,z)，区域目标的地理信息包括四个角点的地理位置，记为p_lu(x,y,z),p_ld(x,y,z),p_ru(x,y,z),p_rd(x,y,z)。

8.如权利要求7所述的基于合成视觉的空地协同综合态势生成方法，其特征在于，所述步骤S8中，将侦察目标的位置p_{coop_groun}(x,y,z)或者区域p_lu(x,y,z),p_ld(x,y,z),p_ru(x,y,z),p_rd(x,y,z)在生成的合成视觉场景中以位置点的方式进行标注，或以区域的方式进行标注。

9.如权利要求8所述的基于合成视觉的空地协同综合态势生成方法，其特征在于，所述步骤S9中，根据综合态势空间关系计算视点有两种情况，一是侦察目标距离载机不小于800米时，侦察目标区域不在画面中呈现，画面包括载机以及探测视场和探测区域；二是侦察目标距离载机小于800米时，画面包括侦察目标区域、载机以及探测视场和探测区域；

第一种情况时，视点位置计算步骤包括：

9.1获取载机实时位置；

9.2获取探测区域中心实时位置；

9.3求取以上两个步骤获取的两个位置的中心点，作为新的视点中心点；

9.4视点方向设置方法为：以载机瞄准线的反方向为基准，将此方向旋转方位角-30度，旋转俯仰方向30度；

9.5视点距离设置方法为：从中心点到视点距离设置为4倍的瞄准线长度；

第二种情况时，视点位置计算步骤包括：

9.10获取载机实时位置；

9.20获取探测区域中心实时位置；

9.30求取以上两个步骤获取的两个位置的中心点1；

9.40获取侦察目标区域中心位置；

9.50求取中心点1与侦察目标区域中心位置的的中心点2；

9.60以中心点2作为新的视点中心点；

9.70视点方向设置方法为：以载机瞄准线的反方向为新的视点方向；

9.80视点距离设置方法为：从中心点到视点距离设置为8倍的瞄准线长度。

10.如权利要求9所述的基于合成视觉的空地协同综合态势生成方法，其特征在于，所述步骤S10中，建立通讯机制，接收视点位置数据，并保存到缓冲；

所述步骤S11中，基于步骤S9中求出的视点位置或步骤S10中接收的视点位置数据，生成同时呈现地面协同力量、地面探测区域、地面侦察目标、空中协同力量以及探测视场的综合态势画面，供空中和地面协同力量进行统一空间参考系下的目标信息确认沟通和交接。

Images