CN114884830B - 基于广域网的分布式并行仿真推演系统 - Google Patents

Abstract

本发明公开了基于广域网的分布式并行仿真推演系统，包括分布式调度中心、计算服务单元和数据综合单元，所述分布式调度中心根据预设的仿真场景以及用户操作数据，实时计算并生成各仿真单元的前置数据，按照DAG模型，分发给提供服务的各分布式计算节点，并收集各计算节点的计算结果，随后对各个计算节点的结果进行汇总计算，作用到仿真场景中的对象，并形成下一帧调度的前置数据，所述数据综合单元接收分布式调度中心分配的计算任务，并向不同的计算服务单元的发送统一的数据格式，接收计算服务单元反馈的数据，并按分布式调度中心要求格式编码后向分布式调度中心进行数据反馈。

Description

基于广域网的分布式并行仿真推演系统

技术领域

本发明涉及一种仿真推演系统，具体涉及基于广域网的分布式并行仿真推演系统。

背景技术

广域网环境通常跨接非常大的物理范围，超过了集线器所连接的距离，节点间的通信往往会经历复杂的路由。广域网环境的分布式计算任务通常包含网络边缘大量的数据的源点和汇点，前者产生持续的数据流入广域网，后者需要从广域网中获取所需数据。广域网的部分路由节点处部署着有一定计算能力的服务器或数据中心，负责处理和暂存数据。

当分布式系统的计算节点分散在广域网各处时，需要考虑如何将分布式计算任务合理地分配到各个计算节点上，以增加系统的可扩展性，降低计算和数据传输过程的延迟。该过程一般是动态的，即系统应综合考虑当前各个节点的负载和网络拥堵情况等因素，实时调整任务在这些节点上的分配。

传统的分配算法存在以下不足之处：传统的资源分配方法一般依托于数据中心。在这种场景下，各个计算节点之间高速互联，在这些节点间分配、迁移计算任务代价并不高。然而在基于广域网中的分布式计算系统中，计算节点之间的连接关系并不对称：路由距离较近的节点之间的数据传输速率更高，路由距离较远的节点之间数据传输有显著的延迟，靠近数据源的计算节点会更加适合执行这些计算任务。不考虑这一特性的资源分配方法会显著影响系统的执行效率。

传统的资源分配方法需要实时获取系统中各个计算节点的负载状况，并据此做出合理的任务分配。然而，广域网中的分布式计算系统的节点通信代价不可忽略，很难实时地将所有节点的状态汇聚到同一个中心节点。因此，中心化的资源分配算法很难对系统中的突发状况做出及时反应，如数据源的突发流量、计算节点的可用资源变化等。

在分布式系统的计算节点增加时，负责资源分配的专门节点容易成为系统的瓶颈。该节点需要与大量的计算节点通信，以获取它们的运行状态并发送调度信息；需要维护相应的数据结构，记录所有计算节点的各类属性；需要运行资源分配算法，将任务分配到合适的计算节点上。这些可扩展性问题在广域网中更加突出：各节点间的通信延迟更高、计算节点的异构性导致其属性更丰富、网络中可用的计算节点的数目更加庞大。

传统的分布式仿真系统集成方法包括基于HLA、DIS等局域网分布式仿 真系统集成方法和基于SOA的广域网分布式仿真系统集成方法。其中基于 HLA、DIS的分布式仿真系统集成方法，其底层协议多基于组播或广播协议， 此类协议对网络环境的配置要求较高，且存在网络安全、数据安全等问题， 因此基于HLA、DIS的分布式仿真系统集成方法的平台多限于局域网范围； 基于SOA的分布式仿真系统集成方法可以支持广域网仿真，但在SOA架构下 存在仿真模型间的通信协议与数据协议描述复杂、缺乏成熟的时间管理机 制、仿真系统的实时性方面难得以保证等问题，无法满足仿真模型间紧耦合 实时/超实时分布式仿真的需求。

因此，需要提供一种集成方法，以满足计算机仿真领域基于广域网环境的分布式仿真系统集成中跨网段、实时/超实时仿真运行等方面的要求。

发明内容

基于广域网的分布式并行仿真推演系统，包括分布式调度中心、计算服务单元和数据综合单元，所述分布式调度中心根据预设的仿真场景以及用户操作数据，实时计算并生成各仿真单元的前置数据，按照DAG模型，分发给提供服务的各分布式计算节点，并收集各计算节点的计算结果，随后对各个计算节点的结果进行汇总计算，作用到仿真场景中的对象，并形成下一帧调度的前置数据，所述数据综合单元接收分布式调度中心分配的计算任务，并向不同的计算服务单元的发送统一的数据格式，接收计算服务单元反馈的数据，并按分布式调度中心要求格式编码后向分布式调度中心进行数据反馈，所述计算服务单元有若干个，每个计算服务单元在收到数据综合单元发送的统一的数据后，根据计算服务单元的数据结构将接收的数据解析成所需的数据结构，进行计算，并将计算结果反馈至数据综合单元内。

基于有向无环图模型（DAG）与微服务体系架构实现分布式并行仿真推演引擎。

类似技术：以Hadoop为代表的MR模型，其分布式计算框架在业界广泛应用，计算任务包含分解到多个处理阶段，通过分布式文件系统提供同意访问接口进行数据交互，主要应对时间要求不高的超大规模数据处理，其复杂度较高。以Spark为代表的DAG模型，适合业务流程相对离散的流式数据处理，个计算节点之间不严格区分计算阶段，算法设计灵活 ，但要求各个节点之间数据具有较低的相关度。

本发明所要解决的技术问题是为了使推演仿真更符合真实环境，需要在仿真引擎中模拟大量的装备，每一个仿真的装备可能又由一系列子装备对象构成，在一个特定的仿真场景中，这些装备对象相互协作或相互干扰，而每个仿真装备对象参数与算法都是由不同的研究单位提供，同时仿真推演一般都需要实时给出仿真结果，这些都是仿真推演引擎面临的必须解决的难点，目的在于提供基于广域网的分布式并行仿真推演系统，解决上述的问题。

战场推演仿真系统是利用计算机仿真技术建立的一套集战场环境设置、战场任务规划及推演、运载平台运动模拟、运载平台挂载设备模拟数据发射、设备收集数据后仿真运算设备之间相互作用，以及效能综合评估等能力与一体的战场仿真系统。该系统可以通过设置不同的应用环境和配套平台，加载不同类型装备的工作参数，在同一环境中可以开展不同类型装备进行仿真测试工作，或者不同环境中对相同类型装备进行模拟仿真测试，达到提升对装备测评的效率的目的。由于该仿真系统所包含的功能众多，因此难以在一个硬件平台上通过一个软件实现，因此只能采用分布式计算形式，将战场规划及推演、运载平台行为仿真、设备能力模拟、综合识别算法环境以及效能评估分别在不同计算机平台上实现，并由分别承担上述功能的仿真成员通过网络消息传递机制协同工作，使得整个系统有机运行以实现预先设计目标。

从2000年开始，HLA已经成为目前分布交互仿真系统普遍采用的标准。目前基于HLA/RTI（Run Time Infrastructure，RTI）成为当前国内外分布式交互仿真领域的主要解决方案，HLA架构的核心本质就是为仿真对象建立一套抽象的数据结构，不同的仿真算法提供者将收到的抽象数据结构反射到自己具体数据结构进行仿真运算，运算结果再反射成抽象数据结构，并发布给订阅者。HLA 的优势在于提供了分布式仿真系统的互操作性和不同提供商之间仿真组件的可重用性。但是由于其抽象数据类型导致消息数据量激增，使得大规模分布式仿真系统与高实时仿真系统的应用中面临数据的实时性问题。

DDS 即数据分发服务（Data Distribution Service）是由 OMG 组织制定的一套API 与互操作性协议规范，定义了一种以数据为中心的发布/订阅架构，能够满足系统实时、高效的数据交互需求。因此在针对高实时性要求的仿真环境，特别是涉及半实物的仿真系统中，在HLA基础上，采用 DDS 技术的分布式仿真系统的设计成为了一个可靠的选择。

进一步地，所述数据综合单元根据计算服务单元配置的设备类型，调度设备提供商的计算服务，同一服务提供商内部各计算节点无相互依赖，设备提供商服务根据负载均衡策略调度各计算节点，有依赖关系的设备仿真，需要先调度其依赖设备服务，获得依赖数据后再调度其计算服务。

进一步地，所述计算服务单元采用微服务架构，每个微服务架构具有单一功能，将整体应用分解成一组服务，将数据粒度控制在单个计算范围。

进一步地，当某一组计算数据发生错漏时，错漏数据会被隔离在单个计算服务单元中，其他计算服务单元可通过备份、退化机制实现应用层面的容错，并基于前序数据继续进行计算。

进一步地，所述分布式调度中心和数据综合单元之间通讯采用集群化数据处理方式，集群化处理前数据计算节点之间均存在通信延迟。

本发明与现有技术相比，具有如下的优点和有益效果：

1、本发明基于广域网的分布式并行仿真推演系统，通过计算机模拟仿真，获得相关仿真设备的运行数据，推测其在真实世界的应用状态，并为改进其设备提供方向和依据，有效降低了研发这类设备的成本，并提升研发效率；

2、本发明基于广域网的分布式并行仿真推演系统，本发明定义了布式并行仿真推演引擎框架，服务提供商按照框架接口定义开发计算服务，并将服务节点注册到仿真引擎，即可参与仿真运算，仿真引擎实现一系列仿真对象及相关功能相应组件，实时接受用户输入，产生仿真数据。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明结构示意图；

图2为本发明实施例2四叉树示意图；

图3为本发明实施例2通信技术DDS通信模型图；

图4为本发明实施例2场景仿真运行图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例

如图1~4所示，本发明基于广域网的分布式并行仿真推演系统，包括分布式调度中心、计算服务单元和数据综合单元，所述分布式调度中心根据预设的仿真场景以及用户操作数据，实时计算并生成各仿真单元的前置数据，按照DAG模型，分发给提供服务的各分布式计算节点，并收集各计算节点的计算结果，随后对各个计算节点的结果进行汇总计算，作用到仿真场景中的对象，并形成下一帧调度的前置数据，所述数据综合单元接收分布式调度中心分配的计算任务，并向不同的计算服务单元的发送统一的数据格式，接收计算服务单元反馈的数据，并按分布式调度中心要求格式编码后向分布式调度中心进行数据反馈，所述计算服务单元有若干个，每个计算服务单元在收到数据综合单元发送的统一的数据后，根据计算服务单元的数据结构将接收的数据解析成所需的数据结构，进行计算，并将计算结果反馈至数据综合单元内。

本文从广域网整体出发，将接入系统的研发单位或部门的相关的计算、数据、网络资源看作是一个网格环境，一个单位提供的设备模拟算法，作为计算节点的计算服务单元，并根据需要，选取其中一个单位（通常是上级主管单位或协调部门）作为分布式计算调度中心。分布式计算调度中心根据编定的仿真场景以及用户的操作，实时计算并生成各仿真单元的前置数据，按照DAG模型，分发给提供服务的各分布式计算节点，并收集各计算节点的计算结果，再汇总计算，作用到仿真场景中的相关对象，并形成下一帧调度的前置数据。

将跨单位的系统集成以后，系统的整体规模也有极 大的增长， 微服务体系架构在复杂度控制、服务并发性、系统容错性以及扩展能力方面都具有一定的优势。每一个微服务只具有单一功能，它将一个庞大的整体应用分解成一组服务，将业务粒度控制 在单个服务范围内。当某一组业务功能发生故障时，故障会被隔离在单个服务中，其他服务可通过备份、退化等机制实现应用层面的容错。微服务体系 架构从线程、进程等多种粒度提供不同的多实例实现模式，能够覆盖本框架的并发设计需求。

调度中心根据设备类型，调度设备提供商的计算服务，同一服务提供商内部各计算节点无相互依赖，所以设备提供商服务可以根据负载均衡策略调度各计算节点。有依赖关系的设备仿真，需要先调度其依赖设备服务，获得依赖数据后再调度其计算服务。

跨单位的分布式系统之间通常是异构的，这意味着系统之间的接口标准、数据格式、通信协议都可 能有差异，并且系统之间的状态往往不是同步的，因此在调度中心需要按统一抽象的数据类型来调度各单位的计算服务，各单位收到统一抽象的数据后，再解析成本单位所需的数据结构，进行计算，并将计算结果按调度中心要求格式编码。

分布式仿真运算时序控制的战场环境中的每一个时刻，每一个实体都处于运动中，自己在发出电磁信号的同时，也随时在接收电磁信号，对信号进行分析处理，处理结果又是下一任务或决策的依据，并在此基础上进行仿真。在仿真系统中，保证严格时序就很有必要，在我们都设计方案中，对时序有严格控制管理，中心服务器上收集汇总各计算服务器的结果，并在收到所有计算服务器计算结果后，再根据定时器设定帧率，把场景最新信息根据四叉树结构同步必要信息到各计算服务器，进行新的一轮仿真运算。由于在广域网上网络延时各有不同，所以必须以中心结点的时序为准，保证各计算结点时序同步。同时为了保持尽可能的发挥分布式计算能力，中心服务器引入了大小节拍方式进行时序管理，在一个大节拍内，中心结点准备多个小节拍的场景数据，再在一个大节拍时序内发送到计算结点，计算结点一次完成多个小节拍的仿真，并回送给中心结点。

所述数据综合单元根据计算服务单元配置的设备类型，调度设备提供商的计算服务，同一服务提供商内部各计算节点无相互依赖，设备提供商服务根据负载均衡策略调度各计算节点，有依赖关系的设备仿真，需要先调度其依赖设备服务，获得依赖数据后再调度其计算服务。所述计算服务单元采用微服务架构，每个微服务架构具有单一功能，将整体应用分解成一组服务，将数据粒度控制在单个计算范围。当某一组计算数据发生错漏时，错漏数据会被隔离在单个计算服务单元中，其他计算服务单元可通过备份、退化机制实现应用层面的容错，并基于前序数据继续进行计算。所述分布式调度中心和数据综合单元之间通讯采用集群化数据处理方式，集群化处理前数据计算节点之间均存在通信延迟。本发明定义了布式并行仿真推演引擎框架，服务提供商按照框架接口定义开发计算服务，并将服务节点注册到仿真引擎，即可参与仿真运算，仿真引擎实现一系列仿真对象及相关功能相应组件，实时接受用户输入，产生仿真数据。

实施例2

本发明正是结合了HLA架构，DDS通信技术和基于四叉树的场景管理技术，模拟某一作战环境下大量运载平台及目标的战术行为，运载平台下各设备相互作用模拟，而每个仿真装备对象参数与算法可由不同的研究单位提供，并实时向前端推送仿真结果。

本发明通过下述技术方案实现：首先通过计算任务分配场景编辑，仿真场景是在GIS地球上编辑建立的，仿真实体实时位置无法明确限制到一个设定区域中，因此理论上仿真场景是整个地球，仿真实体可以出现在地球的任意区域，仿真实体仿真运算上，可能会依赖自身周围一定范围内的其他实体。本申请文件采用的原理基础为基于四叉树的场景管理，墨卡托投影（Mercator Projection），又称正轴等角圆柱投影，是一种等角的圆柱形地图投影法。在以此投影法绘制的地图上，经纬线于任何位置皆垂直相交，使世界地图可以绘制在一个长方形上。由于可显示任两点间的正确方位，航海用途的海图、航路图大都以此方式绘制。

一种数据结构，是一种每个节点最多有四个子树的数据结构。将地理空间递归等分成四个相等的子空间，每一个子空间都有一个四叉树节点与之关联，每个树节点按层级组织，最终形成一棵度为4的树。

如图3所示，通信技术DDS通信模型，从DDS规范可知，通过发布者发布后数据记录器记录，随后生成题目，在进行数据处理器处理后可以达到订阅者上，是一个以数据为中心的中间件协议和API标准，用户只关心自己想要的数据，数据通过Topic进行标识，这样发布者根据主题发布数据，订阅者根据自己感兴趣的主题订阅数据。这便是DDS的核心，以数据为中心的发布-订阅模型DCPS（Data-Centric Publish-Subscribe）。

分布式仿真引擎通信设计每一个加载完成的仿真场景作为一个Domain；场景按四叉树结构组织，Domain内管理场景root节点，根据仿真实体的密集程度，动态地递归的创建树节点，使得叶节点管理的实体数量限制在一个规定的范围内；四叉树内某一非根非叶节点管理的实体数量大于规定值时，则以此节点为根，将此子四叉树转到一个场景仿真进程上运行。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.基于广域网的分布式并行仿真推演系统，其特征在于，包括分布式调度中心、计算服务单元和数据综合单元，所述分布式调度中心和数据综合单元之间通讯采用集群化数据处理方式，集群化处理前数据计算节点之间均存在通信延迟；所述分布式调度中心根据预设的仿真场景以及用户操作数据，实时计算并生成各仿真单元的前置数据，按照DAG模型，分发给提供服务的各分布式计算节点，并收集各计算节点的计算结果，随后对各个计算节点的结果进行汇总计算，作用到仿真场景中的对象，并形成下一帧调度的前置数据，所述数据综合单元接收分布式调度中心分配的计算任务，并向不同的计算服务单元的发送统一的数据格式，接收计算服务单元反馈的数据，并按分布式调度中心要求格式编码后向分布式调度中心进行数据反馈，所述计算服务单元有若干个，计算服务单元通过大小节拍方式进行时序同步，每个计算服务单元在收到数据综合单元发送的统一的数据后，根据计算服务单元的数据结构将接收的数据解析成所需的数据结构，进行计算，并将计算结果反馈至数据综合单元内。

2.根据权利要求1所述的基于广域网的分布式并行仿真推演系统，其特征在于，所述数据综合单元根据计算服务单元配置的设备类型，调度设备提供商的计算服务，同一服务提供商内部各计算节点无相互依赖，设备提供商服务根据负载均衡策略调度各计算节点，有依赖关系的设备仿真，需要先调度其依赖设备服务，获得依赖数据后再调度其计算服务。

3.根据权利要求1所述的基于广域网的分布式并行仿真推演系统，其特征在于，所述计算服务单元采用微服务架构，每个微服务架构具有单一功能，将整体应用分解成一组服务，将数据粒度控制在单个计算范围。

4.根据权利要求3所述的基于广域网的分布式并行仿真推演系统，其特征在于，当某一组计算数据发生错漏时，错漏数据会被隔离在单个计算服务单元中，其他计算服务单元可通过备份、退化机制实现应用层面的容错，并基于前序数据继续进行计算。

5.根据权利要求1所述的基于广域网的分布式并行仿真推演系统，其特征在于，所述分布式调度中心和数据综合单元之间通讯采用集群化数据处理方式，集群化处理前数据计算节点之间均存在通信延迟。

Images