CN114202980A - 作战指挥方法、电子沙盘指挥系统及计算机可读存储介质 - Google Patents

Abstract

本发明公开一种作战指挥方法，属于军事作战指挥领域，包括步骤：获取目标区GIS地图、地形特征信息，基于GIS地图在三维军事沙盘上生成3D电子沙盘地图；获取单兵的定位信息在3D电子沙盘地图中标记，根据单兵位置以及单兵摄像头中敌方目标的图像，计算敌方目标的位置坐标，标记在3D电子沙盘地图；建立GNN模型，对标记的敌方目标图像分析识别，从多个图像中筛选组合对敌方目标进行3D重构建模、影像投放，并标注敌方目标的信息；分析计算战场获取的移动目标的多个图像，利用OpenCV跟踪移动目标，针对移动目标生成移动轨迹，投影在3D沙盘地图；在3D电子沙盘地图标记坐标点输入对应命令，发送至单兵端。

Description

作战指挥方法、电子沙盘指挥系统及计算机可读存储介质

技术领域

本发明提供一种作战指挥方法、电子沙盘指挥系统及计算机可读存储介质，属于军事作战指挥领域。

背景技术

军用电子沙盘系统是指挥员认识战场地形环境、替代或部分替代实地考察工作的有力工具。军用电子沙盘是根据军事要塞、机场、港口、山谷高地等军事地理目标的经纬坐标、土质地貌水文资料等真实地理参数 ,按一定的比例尺 ,结合现代的计算机技术、虚拟现实技术做成的显示战场环境的三维场景。电子沙盘系统还为军事指挥和训练提供了极大方便，它可以为各级作战指挥提供一个三维的、动态的、可交互的作战模拟地形环境，为训练人员和指挥人员提供可视化的交互式训练的虚拟环境，极大地提高了训练效果，同时还为地面指挥人员提供更直观的视觉效果。

目前的军用电子沙盘智能显示军事要塞、机场、港口、山谷高地等战场环境信息，不能做到综合显示战场态势信息、武器分布、兵力部署、目标移动等一些动态信息数据。

发明内容

为解决上述问题，本发明提供一种作战指挥方法，包括步骤：一种作战指挥方法，其特征在于，应用于三维军事沙盘与投影结合的电子沙盘指挥系统，电子沙盘系统由控制计算机控制，控制计算机与战场的单兵端通信连接，所述作战指挥方法包括步骤：

（1）获取目标区GIS地图、地形特征信息，基于GIS地图在三维军事沙盘上生成3D电子沙盘地图；

（2）获取单兵的定位信息在3D电子沙盘地图中标记，根据单兵位置以及单兵摄像头中敌方目标的图像，计算敌方目标的位置坐标，标记在3D电子沙盘地图；

（3）建立GNN模型，对标记的敌方目标图像分析识别，从多个图像中筛选组合对敌方目标进行3D重构建模、影像投放并标注敌方目标的信息；

（4）分析计算战场获取的移动目标的多个图像，利用OpenCV跟踪移动目标，针对移动目标生成移动轨迹，投影在3D沙盘地图上；

（5）在3D电子沙盘地图上标记坐标点输入对应命令，发送至单兵端。

优选的，步骤（3）建立GNN模型之后还对模型进行训练，训练步骤如下：

（a）对图片调整大小并筛选，获得针对GNN模型的图像训练集；

(b)将图像训练集数据输入GNN模型进行训练，初始学习率α=0.005，学习动量momentum=0.5，batch_size＝64；

（c）人工识别图像训练集，比对模型的识别率。

优选的，所述步骤（4）之后还包括步骤：

(d)根据敌方目标的移动轨迹，建立我方的警备保护；

(e)当有单兵与移动目标的距离或者可遇见时间小于预设值时，向此单兵发送危险警报，同时在3D电子沙盘地图中闪烁此单兵的位置点。

优选的，所述步骤（3）影像投放包括；

（f）对3D模型做投放前的处理；

（g）在控制计算机的交互屏幕单击标记的位置点，在地图上方投射位于该标注位置点目标的全息影像和标注信息；

（h）将敌方目标位置以及每个位置的标注信息传送战场单兵端。

本发明还提供一种电子沙盘指挥系统，包括控制计算机、与控制计算机连接的三维军事沙盘、投影装置、单兵端以及投射平台，所述三维军事沙盘位于投射平台上，所述控制计算机运行程序能实现如权利要求1-4任一所述的作战指挥方法。

优选的，所述单兵端包括控制单元，与控制单元连接的AR显示单元、摄像单元、通信单元、定位单元。

优选的，所述摄像单元包括设置于头盔上的微云台、微云上安装的摄像头。

优选的，所述投影装置包括设置于三维军事沙盘下方的投影仪与立体投影器，所述立体投影器包括设置于三维军事沙盘上方的投影屏幕和围绕三维军事沙盘的全息膜，所述三维军事沙盘采用半透明材料。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有作战指挥程序，所述作战指挥程序被处理器执行时实现如上述作战指挥方法。

附图说明：

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1是本发明一实施例控制计算机的结构示意图；

图2是本发明一实施例作战指挥方法步骤示意图；

图3是本发明一实施例作战指挥方法步骤（3）的模型训练步骤示意图；

图4是本发明一实施例作战指挥方法步骤（3）的影像投放步骤示意图；

图5是本发明一实施例作战指挥方法步骤（4）之后的流程示意图；

图6是本发明一实施例电子沙盘系统结构示意图；

图7是本发明一实施例电子沙盘系统信息传递流程图。

附图标记说明：10、控制计算机；20、单兵端；30三维军事沙盘；40、投射平台；50、投影装置；51、立体投影器；52、投影仪。

具体实施方式

参照图1，本发明实施例涉及的控制计算机包括处理器、存储模块、用户接口、网络接口。

网络接口可以包括标准的有线接口或者无线接口（例如wifi等），主要用于连接服务器获取网络数据。用户接口用于连接单兵端、投放装置和三维军事沙盘。存储模块储存作战指挥程序、操作系统。处理器执行作战指挥程序可以实现本发明实施例的作战指挥方法。

参照图2-5，作战指挥方法包括步骤：

（1）获取目标区GIS地图、地形特征信息，基于GIS地图在三维军事沙盘上生成3D电子沙盘地图，在3D电子沙盘地图中建立坐标系；

处理器可以通过网络接口连接从服务器网站或者内部后台服务器获取战场的地理信息，或者从存储模块中调取。需获取的地理信息包括战场在GIS地图上的位置坐标，山川的面积和高度，水流形状大小、方向，植被、建筑的覆盖情况等信息。在电子沙盘中基于在GIS地图的坐标和比例生成3D电子沙盘地图。

在获取目标地的具体信息后，在三维军事沙盘按照地理数据生成目标区域的3D模型，实现战场地势重现。三维军事沙盘采用半透明材料，让光可以透过三维军事沙盘的底部，用投影光来渲染战场的河流、植被等。

（2）获取单兵的定位信息在3D电子沙盘地图中标记，根据单兵位置以及单兵摄像头中敌方目标的图像，计算敌方目标的位置坐标，标记在3D电子沙盘地图；

单兵端有定位模块，向控制计算机发送位置信息，在3D电子沙盘地图中显示实时位置点。单兵头盔上安装有摄像头和测距仪，综合测的敌方目标与单兵的距离、敌方目标在单兵摄像头中的显示图像，控制计算机计算敌方目标的位置，标记在3D电子沙盘地图中，指挥官可以更直观的查看我方与敌方的距离和周边地势，以便部署进攻或防守方案。

在其他实施例中，除了单兵的摄像头和测距离获取的信息，也可以连接勘察飞行器，勘察飞行器在空中拍摄扫描敌方目标，数据更全面。

在此步骤需要说明的是，敌方目标的获取是基于图像或者测距工具或者两者的结合是计算的，战场会有大批数据传送至控制计算机。处理器在接收大批数据后首先要筛选出属于同一目标的图像，有可能是多个不同位置的单兵或者飞行器摄像头拍到的，多个单兵或者飞行器的位置是已知的，结合不同角度的图像和距离，便可计算出位置。在获取的一个敌方目标的数据比较全面可以达到预期精度时，处理器才会将此敌方目标位置并标记在坐标系中，也就是3D电子沙盘地图上。预期精度是可以设置的，比如根据计算可锁定目标在一个范围内，范围缩小到一个预期值就是达到预期精度。所以敌方的多个目标并不是全部显示在3D电子沙盘地图，而是一个一个或者一些一些出现的。

这里的地方目标可以是战车、战斗机、人，或者一个部队、一队战车、一队战队机等。

（3）建立GNN模型，对标记的敌方目标图像分析识别，从多个图像中筛选组合对敌方目标进行3D重构建模，并标注敌方目标的信息；

GNN模型创建之后要进行训练，具体训练步骤：（a）对图片调整大小并筛选，获得针对GNN模型的图像训练集；(b)将图像训练集数据输入GNN模型进行训练，初始学习率α=0.005，学习动量momentum=0.5，batch_size＝64；（c）人工识别图像训练集，比对模型的识别率。

GNN模型分类器类别设置为战场攻击武器、交通工具的名称及型号，具体可以设置有人、装甲车、战车、坦克、战斗机、步枪和狙击枪。分类器类别根据实际需求设定，本实施例只是举例列举，并不是对类型的限制。

输入训练参数，在一组训练结束后进行测试。人工做一遍图像训练集找到正确答案，比对GNN模型测试结果识别率达到期望值便可应用。

GNN模型训练后可以标记位置处敌方目标图像或视频进行识别分类，针对被标记敌方目标的图像辨认类别、型号，在服务器或者存储模块搜索该武器灵敏度、射程和杀伤力等信息。

步骤（3）对战场获取的敌方目标图像分析，对敌方目标进行识别，从多个图像中筛选组合对敌方目标进行3D重构建模，并标注敌方目标的信息之后可以进行以下操作；

（f）对3D模型做投放前的处理；

（g）在控制计算机的交互屏幕单击标记的位置点，在地图上方投射位于该标注位置点目标的全息影像和标注信息；

（h）将敌方目标位置以及每个位置的标注信息传送战场单兵端。

一个敌方目标会被多个单兵端获取不同角度的二维图像，GNN模型在战场传送过来的大量视频图像中找出关联点，将同一个敌方目标图像集合筛选，3D模型重构，投放影像。根据不同的投放方式，在影像投放前对3D模型进行相应的处理。

3D投射方式可以是激光立体投影（激光烧灼空气形成的3D影像），360度旋转全息屏（高速旋转的镜子）或者全息膜反射，具体原理在这里不做赘述。立体投影器安装在3D电子沙盘的上方，用数字全息处理技术将需投放敌方目标的重构模型进行处理和调整，使之可以在指定位置投射为3D影像。

例如全息反射投影成像，360度的全息反射成像一般是由一个投放屏和四面锥体全息膜组成，四面锥体的顶面位于立体投影器的中心，立体投影器需要显示模型前后左右四个视图。那么投放前就需要对3D重构模型提取视图排列到正确位置。

指挥官单击交互屏幕的坐标点，就会在3D电子沙盘地图上方投射该点敌方目标的3D模型，并在3D模型旁边标注信息，比如，“战车队，ZBD-05两栖战车4个”、“狙击手，L115A3远程狙击枪”。

将标注信息发送至单兵端，单兵通过个人终端接收到敌方目标的定位和标注信息，单兵可以依据地理位置、对方配置采取策略去进攻或者防守。

单兵端是一个具有显示、通信和定位功能的移动终端，与控制计算机通信连接，可以是手机、平板、AR头显或具有这些功能的其他设备。

（4）分析计算战场获取的移动目标的多个图像，利用OpenCV跟踪移动目标，针对移动目标生成移动轨迹，投影在3D电子沙盘地图上；基于上述步骤获取的图像信息，运用OpenCV自带的跟踪算法和线性模型，对多个目标进行跟踪并标画轨迹，例如opencv3.1版本，集成了多个跟踪算法的tracker。

将多个目标的移动轨迹投影在三维军事沙盘上，三维军事沙盘可以是采用半透明材料制作，将投影仪安装在沙盘下方，向上投射光影标记位置坐标点和移动轨迹。每个敌方目标有一个初始位置点，随着移动轨迹的生成会有一个当前位置坐标点，步骤（3）中指挥官单击3D电子沙盘地图上标记的坐标点，就会在地图上方投射该点敌方目标的3D模型，并在3D模型旁边标注信息，坐标点指的是当前位置坐标点。

步骤（4）之后还包括： (d)根据移动目标的移动轨迹，建立我方的警备保护；(e)当有单兵与移动目标的距离小于预设值时，向此单兵发送危险警报，同时在3D电子沙盘地图中闪烁此单兵的位置点。

获取敌方目标的运动轨迹，计算其移动速度。当有单兵与敌方目标的安全距离小于设定值时，系统向此单兵发出危险警告，提醒警备。

在3D电子沙盘地图中闪烁此单兵的位置点，以提示指挥人员。

（5）在3D电子沙盘地图上标记坐标点输入对应命令，发送至单兵端。

指挥官在3D电子沙盘地图中整体看到我方与敌方目标的位置以及敌方的军备配置，接下来就是下达任务指令。在交互屏幕的菜单栏有多个指示选项，代表不同的命令，例如三角形代表“退守”、正方形代表“埋伏”，指挥官选择三角形后双击3D电子沙盘地图的A点就代表是退守到A点，之后界面弹出是否指定部队，如果指定，长按我方部队位置标记处，就代表指定这个位置的队伍退守到A点；若不指定，就是所有人退守到A点。

本实施例中的位置坐标、移动轨迹以、标注信息以及命令信息都可以用形状或者颜色区分的。对应指令选择也可以是单击、双击、长按。例如我方位置坐标点用绿色圆形、敌方坐标点用红色圆形、敌方行动轨迹也标注红色线，单击位置坐标点是查看此处标注信息、双击我方位置坐标点是指定此处队伍执行命令、双击敌方位置坐标点是攻击此处敌方目标、再次选中上划是取消等。对于新建地点的任务可以采用上述方法用不同图形做标记，在地图上选新的位置。以上只是为方便解释而举例，并不是对本发明的限制。

在交互屏幕的选择，也会对应投影在3D电子沙盘地图中。在本实施例中，位置坐标、命令信息和移动轨迹是位于沙盘下方的投影仪投射，标注信息时是位于沙盘上方的投射器投放的立体影像。

在其他实施例中，对于山丘和河流也做了位置点，单击其位置点会出现标注信息，显示山丘的高度、河流的长宽。

单兵收到命令，在单兵端查看任务地点和内容。

本发明的作战指挥方法在定位我方人员的基础上，对我方人员摄像头获取的图像和视频代入训练过的图神经网络处理，在3D电子沙盘地图标记双方的位置信息、敌方移动轨迹；识别敌方武器的型号，调取型号数据；3D模型重构投放目标影像、标注信息。全面的重现了战场的动态态势，并且加上了大数据展示，便于指挥官更直观的了解战场形势，做出下一步部署。

参照图6、图7，一种电子沙盘指挥系统，包括控制计算机10、与控制计算机10连接的三维军事沙盘30、投影装置50、单兵端20以及投射平台40，所述三维军事沙盘30采用半透明材料制作，位于投射平台40上。控制计算机10执行程序能实现上述的作战指挥方法。

三维军事沙盘30是基于GIS地图和目标区域的地形、纹理数据生成的3D电子沙盘地图，按比例还原战场态势。

控制计算机10如图1所示，设置在投射平台40的一边，显示屏幕作为交互屏幕，采用触摸操控。指挥官触屏交互屏幕可以操作投影仪52和立体投影器51的投影、下达命令到单兵端20、查看敌方信息。投射平台40在控制计算机10的操控下可以升降。

投影装置50包括位于三维军事沙盘30下方的投影仪53和上方的立体投影器51。投影仪52可以是一个等同三维军事沙盘30大小的高清屏幕，投影一些较浅色彩渲染三维军事沙盘30的植被和水流，以深色标记位置坐标、移动轨迹；立体投影器51投放敌方目标的立体影像和标注信息。在控制计算机10的共同控制下，立体投影器51与投影仪52协同配合演示战场的动静态势。

立体投影器51用于向三维军事沙盘30上方投放敌方目标的3D影像。立体投影器51包括一个投放屏幕和四面锥体全息膜，投放屏幕图像通过全息膜的反射呈现立体影像，指挥官可以360度看到不同角度的立体影像。控制计算机10与投放屏幕通过局域网连接，控制和调整投放的影像。

在其他实施例中，立体投影器51也可以是3D激光投影仪，利用激光立体投影（激光烧灼空气形成的3D影像）、360度旋转全息屏（高速旋转的镜子）或者其他3D投影设备。而立体投影器51可投放的3D影像也不仅限于一个，例如，多个360度旋转全息屏可以同时投放不同影像。可实现在3D电子沙盘地图中，将多个目标的3D影像同时分别投放在对应位置坐标处。

在控制计算机10基于战场单兵端10的摄像头或者侦察无人机拍摄的画面信息，计算敌方目标的坐标点，重构立体模型，并识别敌方装备型号、数量等信息，将这些数据用投影仪52或立体投影器51标注在3D电子沙盘地图中，并发送到单兵端20，具体过程上述文中已说明，在此不做复述。

单兵端20包括控制单元，与控制单元连接的AR显示单元、摄像单元、通信单元、定位单元。通信单元无线连接控制计算机10的用户接口，可采用4G/5G、Zigbee等方式连接，与控制计算机10数据交互。摄像单元主要用户获取战场动态的信息，敌方目标的距离和方位，实时传送给控制计算机10进行计算和分析。计算机10将整理好的数据回传给单兵端20，同时模拟演示在3D电子沙盘地图中，即时汇报给指挥官，省略了单兵与指挥官之间传递情报，指挥作战效率更高。

摄像单元包括设置于头盔上的微云台、微云上安装的摄像头。摄像头安装在微云台，防止图像抖动，获取的图像更加清晰，在处理图像的时候识别更精确。

单兵端20的AR显示模块包括与控制模块连接的AR镜片，AR镜片可以是安装在眼镜上或者旋转连接在单兵头盔。在控制模块接收到控制计算机10的数据后与战场做简单的匹配识别，当有已被标记的敌方目标进入单兵视野，AR显示模块会显示此目标的数据信息。

单兵端20收到指挥官带有命令的标记坐标可以开启导航，用AR现实增强实景导航。导航路线是控制计算机10根据敌方的分布位置以及战场地形规划的，智能避开途中的敌人。

AR镜片在使用结束后可以关闭现实增强功能作为普通防护镜，不需要时将AR镜片旋转至头盔顶部摄像头前方。

本发明的电子沙盘指挥系统实现了单兵-单兵端-控制计算机-3D电子沙盘地图-指挥官的双向数据实时传递。在战场上，单兵不用再语音向指挥官汇报情况，指挥官也不用再询问战场的形势。指挥官在3D电子沙盘地图上更直观的全局观测到战场的动态变化，时刻监视到我方与敌方的位置和资源配置。3D电子沙盘地图可应用与多个指挥人员共同指挥作战，便于交流和共同决策，由一个操作员或指挥人员操控控制计算机10的交互屏幕即可。

本发明还提供一种计算机可读存储介质，存储有作战指挥程序，所述作战指挥程序被处理器执行时实现如上述作战指挥方法，具体实现过程和所需硬件参照上述作战指挥方法和电子沙盘指挥系统的实施例。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (9)

1.一种作战指挥方法，其特征在于，应用于三维军事沙盘与3D投影结合的电子沙盘指挥系统，电子沙盘系统由控制计算机控制，控制计算机与战场的单兵端通信连接，所述作战指挥方法包括步骤：

（1）获取目标区GIS地图、地形特征信息，基于GIS地图在三维军事沙盘上生成3D电子沙盘地图；

（2）获取单兵的定位信息在3D电子沙盘地图中标记，根据单兵位置以及单兵摄像头中敌方目标的图像，计算敌方目标的位置坐标，标记在3D电子沙盘地图；

（3）建立GNN模型，对标记的敌方目标图像分析识别，从多个图像中筛选组合对敌方目标进行3D重构建模、影像投放，并标注敌方目标的信息；

（4）分析计算战场获取的移动目标的多个图像，利用OpenCV跟踪移动目标，针对移动目标生成移动轨迹，投影在3D电子沙盘地图上；

（5）在3D电子沙盘地图上标记坐标点输入对应命令，发送至单兵端。

2.根据权利要求1所述的一种作战指挥方法，其特征在于，步骤（3）建立GNN模型之后还对模型进行训练，训练步骤如下：

（a）对图片调整大小并筛选，获得针对GNN模型的图像训练集；

(b)将图像训练集数据输入GNN模型进行训练，初始学习率α=0.005，学习动量momentum=0.5，batch_size＝64；

（c）人工识别图像训练集，比对模型的识别率。

3.根据权利要求1所述的一种作战指挥方法，其特征在于，所述步骤（4）之后还包括步骤：

(d)根据敌方目标的移动轨迹，建立我方的警备保护；

(e)当有单兵与敌方目标的距离或者可能遇见时间小于预设值时，向此单兵发送危险警报，同时在3D电子沙盘地图中闪烁此单兵的位置点。

4.根据权利要求1所述的一种作战指挥方法，其特征在于，所述步骤（3）中影像投放包括；

（f）对3D模型做投放前的处理；

（g）在控制计算机的交互屏幕单击标记的位置点，在地图上方投射位于该标注位置点目标的全息影像和标注信息；

（h）将敌方目标位置以及每个位置的标注信息传送战场单兵端。

5.一种电子沙盘指挥系统，其特征在于，包括控制计算机、与控制计算机连接的三维军事沙盘、投影装置、单兵端以及投射平台，所述三维军事沙盘位于投射平台上，所述控制计算机运行程序能实现如权利要求1-4任一所述的作战指挥方法。

6.根据权利要求5所述的一种电子沙盘指挥系统，其特征在于，所述单兵端包括控制单元，与控制单元连接的AR显示单元、摄像单元、通信单元、定位单元。

7.根据权利要求6所述的一种电子沙盘指挥系统，其特征在于，所述摄像单元包括设置于头盔上的微云台、微云上安装的摄像头。

8.根据权利要求5所述的一种电子沙盘指挥系统，其特征在于，所述投影装置包括设置于三维军事沙盘下方的投影仪与立体投影器，所述立体投影器包括设置于三维军事沙盘上方的投影屏幕和围绕三维军事沙盘的全息膜，所述三维军事沙盘采用半透明材料。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有作战指挥程序，所述作战指挥程序被处理器执行时实现如权利要求1-4中任一项所述的作战指挥方法的步骤。

Images