CN102664954A

CN102664954A - 基于hla的分布式仿真支撑平台及其实现方法

Info

Publication number: CN102664954A
Application number: CN2012101255174A
Authority: CN
Inventors: 范文慧; 岳英超; 肖田元
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2012-04-25
Filing date: 2012-04-25
Publication date: 2012-09-12
Anticipated expiration: 2032-04-25
Also published as: CN102664954B

Abstract

本发明公开一种基于HLA的分布式仿真支撑平台及其实现方法，为解决现有HLA分布式仿真系统在运行性能和通信流量上的不足而设计。本发明基于HLA的分布式仿真支撑平台包括高性能计算集群兼容RTI系统单元、反射内存网和联邦成员部署模块，为仿真模型提供基于HLA接口规范的服务。本发明基于HLA的分布式仿真支撑平台的实现方法为：接口函数库通过RTI大使进程向联邦成员提供服务请求，联邦成员进程通过RTI大使将请求提交给RTI；联邦成员在局域网内部互联、互操作，本地RTI服务器统一进行管理和通信。本发明协调推进整个仿真联邦各成员的状态，提高分布式仿真的效率；反射内存网加快了数据同步。

Description

基于HLA的分布式仿真支撑平台及其实现方法

技术领域

本发明涉及一种基于HLA的分布式仿真支撑平台及其实现方法。

背景技术

分布式仿真是传统仿真技术新的发展阶段，它主要研究若干互联节点上的仿真应用正确、协同、高效运行的问题。分布式仿真起源于上世纪80年代的SIMNET(SIMulator NETworking)计划，该计划旨在将分布在美国各地的作战仿真器通过网络连接起来进行大规模协同的作战仿真。之后，分布式仿真先后经历了不同的技术协议阶段：聚合级仿真协议ALSP(Aggregate Level SimulationProtocol)，分布交互仿真DIS(Distributed Interactive Simulation)，高层体系结构HLA(High Level Architecture)等。

HLA是由美国国防部(DoD，Department of Defense)最早于1995年提出，它是一个针对分布式仿真提出的通用体系结构，具有广泛应用范围。随着2000年，HLA成为IEEE1516标准，确立了HLA作为分布式仿真领域通用标准的地位(下文如无特殊说明，分布式仿真指基于HLA的分布式仿真)。作为HLA的具体实现，RTI提供了该框架的所有服务。

在基于HLA的分布式仿真系统中，联邦(Federation)指能够完成特定仿真任务的分布式系统，联邦成员即为各个分布节点上的仿真应用。这样，在HLA中就实现了仿真功能实现、仿真运行支撑管理和底层通讯的分离，支持各自相对独立的开发工作。HLA技术极大地促进了分布式仿真的发展。

随着仿真对象复杂程度和仿真模型逼真度的提高，仿真模型的时间和空间复杂度也越来越高，仿真模型之间数据交互的通信量也持续增大。这就需要从硬件和软件两个方面寻求突破。硬件方面，随着集群技术的快速发展，高性能计算集群因其节点的高运算能力和节点间的高速通信能力以及节点间的并行计算能力得到了越来越广泛的应用。反射内存也因为强大的通信能力和良好的技术继承性受到了关注；然而，在软件方面，传统RTI只能运行在个人计算机组成的网络中，而不能利用高性能计算集群等先进硬件的运算和通信能力。

在高性能计算集群与RTI集成领域，已有学者提出了HPC-RTI。它的体系结构如图1所示，HPC-RTI运行在计算机集群上，负责其上运行的七个联邦成员。在外部，通过统一的网关与HLA/RTI交互；在内部，有的联邦成员运行在单一节点上，有的运行在多个节点上。各个联邦成员通过HPC-RTI提供的分布仿真管理服务(Distributed Simulation Management Services，DSMS)进行互操作，并通过代理机制进行发布和订阅数据。

HPC-RTI所存在的不足之处：首先HPC-RTI只是一个类RTI，它在诸多方面并不符合HLA/RTI规范，如其订阅发布过程中的代理机制；仿真实例之间的通信不是通过RTI，而是DSMS(distributed simulation management service)。其次，它只能运行在计算机集群上，而在外部需要一个标准的HLA/RTI进行支撑，这使得分布式协同仿真支撑环境割裂为两个部分，缺乏统一的体系结构。再次，多结点公用一个网关(Gateway)易造成信号“堵塞”，降低信息的传输速度。

发明内容

为了克服上述的缺陷，本发明提供一种提高HLA分布式仿真系统运行性能和通信流量的基于HLA的分布式仿真支撑平台及其实现方法。

为达到上述目的，一方面，本发明一种基于HLA的分布式仿真支撑平台，所述平台包括高性能计算集群兼容RTI系统单元，所述RTI系统单元部署在高性能计算集群上；所述高性能计算集群兼容RTI系统单元支持高性能计算集群和个人电脑网络上的仿真模型互操作；在所述高性能计算集群上，联邦成员与集群运算节点是一对多的关系，所述一对多关系为一个联邦成员部署在一个运算节点，或对于运算开销大的联邦成员部署在多个运算节点上，利用高性能计算集群的并行计算能力，提高联邦成员和整个联邦运算效率；在所述个人电脑网络上，所述高性能计算集群兼容RTI具有RTI的功能，为仿真模型提供重用和互操作支持，并为仿真模型提供下述服务：

仿真联邦管理服务，完成创建、动态控制、修改和删除联邦执行；

仿真成员声明管理服务，虚拟实验要求每个参加联邦执行的成员向协同仿真运行互操作支撑系统声明其要求产生的数据内容，和/或接收的数据内容；

仿真对象管理服务，一组服务处理对象的登记、修改、删除和属性/交互的发送与接收，对象通过发送属性更新或交互来传送对象状态信息或事件；

仿真时间管理服务，提供控制各成员在仿真时间轴上的推进，令协同仿真运行互操作支撑系统能以设定的时间、方式和顺序将来自成员的事件转发给相应的成员；

所有权管理服务，负责联邦内成员间对象实例属性所有权的转移，所述转移用来支持联邦内对象实例的协作建模；

数据分发管理服务，实现联邦成员提供传输和接受无关数据的无谓消耗的减少；

以及运行支撑服务，集描述了参与联邦的成员能使用的包括名称与句柄的转换、多种开关的设置、操作域相关服务和RTI启动终止在内的服务。

特别是，部署在局域网环境上的仿真模型中设有反射内存网；所述反射内存网提供联邦成员间数据通信服务，以形成扩展的高性能计算集群兼容RTI；所述反射内存网由光纤网及部署在所述光纤网上的反射内存卡组成，所述反射内存卡对应连接联邦成员；按照Linux系统API重写RTI的本地驻留模块RTIa以屏蔽平台差异。

特别是，在集群层面利用RTI为分布式仿真提供支撑和通信服务，在多个节点组成的联邦成员层面利用集群操作系统作为总控中心以干预各个运算节点。

特别是，在高性能集群上部署与节点个数相同的RTI本地驻留程序。

另一方面，本发明提供一种基于HLA的分布式仿真支撑平台的实现方法，包括下述步骤：

开启RTIGateway进程，管理联邦的创建、销毁以及联邦执行过程中的数据交互；

每个联邦成员通过与RTIGateway的通信初始化，加入到相应的联邦中；

当一个联邦成员开始加入联邦，RTIAmb进程自动在后台启动，并自动监听来自成员程序和RTI服务器的请求；

libRTI通过RTIAmb向联邦成员提供HLA的各种服务请求，联邦成员进程通过本地套接字将请求提交给RTIAmb；

RTIGateway接收RTIAmb发来的请求，对其进行处理，然后将消息通知相应的联邦成员的RTIAmb，供该联邦成员进行仿真应用；

联邦成员通过本地RTI单元LRC在局域网内部互联、互操作，本地RTI服务器通过RTI网关统一进行管理和通信。

特别是，RTI提供创建联邦、加入联邦、订阅/发布、设置时间管理策略和时间推进的后台支持，反射内存网作为更新/反射对象类和属性/交互类服务的后台支持。

本发明基于HLA的分布式仿真支撑平台增加高性能计算集群兼容RTI，使RTI可以运行在高性能集群和个人电脑网络上，根据仿真模型的运算和不同仿真模型之间的信息交互频率和数据流量合理配置联邦成员的部署节点，达到整个仿真联邦各成员协调推进的状态，提高分布式仿真的效率。在集群之外，本发明将反射内存网引入到个人电脑网络中，在进行大数据量通信时提高流通量，降低数据交互的时间开销。

本发明基于HLA的分布式仿真支撑平台的实现方法使用反射内存网加快了数据同步，使写入某反射内存卡的数据会在400纳秒内迅速复制到网络中其他共享内存的相同地址上。

附图说明

图1为HPC-RTI体系结构示意图。

图2为TH-RTI体系结构示意图。

图3为光纤网中反射内存卡部署示意图。

图4为反射内存网与TH-RTI的集成。

图5为HPCC-RTI体系结构示意图。

图6为扩展HPCC-RTI体系结构示意图。

具体实施方式

下面结合说明书附图和实施例对本发明做详细描述。

优选实施例一：本发明基于HLA的分布式仿真支撑平台包括高性能计算集群兼容RTI系统单元，RTI系统单元部署在高性能计算集群上。该高性能计算集群兼容RTI系统单元支持高性能计算集群和个人电脑网络上的仿真模型互操作。

在高性能计算集群上，联邦成员与集群运算节点是一对多的关系。该一对多关系为一个联邦成员部署在一个运算节点，或对于运算开销大的联邦成员部署在多个运算节点上，利用高性能计算集群的并行计算能力，提高联邦成员和整个联邦运算效率。

在个人电脑网络上，高性能计算集群兼容RTI具有RTI的功能，为仿真模型提供重用和互操作支持，并为仿真模型提供下述服务：仿真联邦管理服务、仿真成员声明管理服务、仿真对象管理服务、仿真时间管理服务、所有权管理服务、数据分发管理服务、以及运行支撑服务。

本发明基于HLA的分布式仿真支撑平台适用于包括按照IEEE1516自主开发的TH_RTI在内的各RTI系统。

本优选实施例基于HLA的分布式仿真支撑平台增加高性能计算集群兼容RTI，使RTI可以运行在高性能集群和个人电脑网络上，根据仿真模型的运算和不同仿真模型之间的信息交互频率和数据流量合理配置联邦成员的部署节点，达到整个仿真联邦各成员协调推进的状态，提高分布式仿真的效率。

优选实施例二：TH_RTI的体系结构如图2所示。其中联邦成员按照层次化进行组织。局域网内部的联邦成员通过LRC(local RTI component，包括libRTI和RTIA)互联、互操作。在局域网的上层，本地RTI服务器(local RTI server)通过TH_RTI Gateway统一进行管理和通信。

在TH_RTI中，接口函数库libRTI为联邦成员的开发提供编译连接的接口，为成员开发者提供HLA接口规范定义的一系列服务。目前提供的是一个C++库。libRTI通过RTI大使进程(RTI::RTIAmbassador)向联邦成员提供HLA的各种服务请求，联邦成员进程通过本地套接字将请求提交给RTI的本地代理进程RTIA。RTIAmbassador封装了由RTI提供的服务(即定义和实现联邦成员所需要的与RTI通信的接口)，所有由联邦成员提出的对RTI的请求，都以调用RTIAmbassador类函数的方法来实现。

RTI的主要功能由分布于各仿真节点的RTI本地进程RTIA来完成。管理联邦成员的加入和退出，为联邦成员之间提供数据通信和协调运行的支持。每个联邦成员在本地都要通过一个RTIA进程与RTI服务器进行通信，当一个联邦成员开始加入联邦之初，RTIA进程会自动在后台启动，并自动监听来自成员程序和RTI服务器的请求。它实现了HLA接口规范中的联邦管理、声明管理、对象管理、所有权管理、时间管理和数据分发管理六类服务，对联邦成员的请求和交互数据进行处理和过滤。

本优选实施例通过增加高性能计算集群兼容RTI，使RTI可以运行在高性能集群和个人电脑网络上，根据仿真模型的运算和不同仿真模型之间的信息交互频率和数据流量合理配置联邦成员的部署节点，达到整个仿真联邦各成员协调推进的状态，提高分布式仿真的效率。

优选实施例三：反射内存卡是一种特殊的网卡，它是共享内存思想在局域网的体现。在通信功能上它与其他网卡相似，在数据传输机制上有自己的特点。发射内存卡部署在光纤专网上，共享同一组虚拟地址，实现快速的数据同步。如图3即为光纤网中反射内存卡部署示意图。写入某反射内存卡的数据会在400纳秒内迅速复制到网络中其他共享内存的相同地址上。

反射内存网与TH_RTI的集成示意图由图4给出，联邦成员的服务接口由TH_RTI统一提供，对于诸如创建联邦、加入联邦、订阅/发布、设置时间管理策略、时间推进等涉及小数据交互量，且调用频繁的，仍由TH_RTI提供后台支持；而对于更新/反射对象类属性/交互类这样有可能涉及大数据量交互的，在后台采用反射内存的数据传输方式。这样能够最大限度的利用反射内存网资源，提高RTI的数据通信效率。

现有HPC-RTI只是一个类RTI，它在诸多方面并不符合HLA/RTI规范，如其订阅发布过程中的代理机制；仿真实例之间的通信不是通过RTI，而是DSMS(distributed simulation management service)。而且，它只能运行在计算机集群上，而在外部需要一个标准的HLA/RTI进行支撑，这使得分布式协同仿真支撑环境割裂为两个部分，缺乏统一的体系结构。对于大容量信息的传输慢也是现有HPC-RTI的一个主要缺陷。基于此，本发明提出HPC兼容的RTI——HPCC-RTI的体系结构，如图5所示。每个联邦成员都有各自对应的网关(GW：Gateway)，实现了信息传输的提速。

HPCC-RTI延伸到高性能集群上，为仿真模型提供的服务包括：仿真联邦管理服务(Federation Management，FM)，仿真成员声明管理服务(DeclarationManagement，DM)，仿真对象管理服务(Object Management，OM)，仿真时间管理服务(Time Management，TM)，所有权管理服务(Ownership Management，OWM)，数据分发管理服务(Data Distribution Management，DDM)和运行支撑服务。

HPCC-RTI在高性能集群上实现的主要功能有协调RTI与计算机集群操作系统的关系、RTI的跨平台能力扩展和RTI在高性能集群上的部署配置。

协调RTI与计算机集群操作系统的关系：RTI是分布式仿真的支持者，它是一个服务中心，各仿真节点上的联邦成员具有自主性；而计算机集群中的操作系统作为一种调度管理机制，是一个总控中心，可以直接干预各个运算节点的行为。为解决该问题，在整个集群层面利用RTI提供支撑和通信服务，而在多个节点组成的联邦成员层面利用集群操作系统，采用并行处理机制，从而提高运算能力；

RTI的跨平台能力扩展。按照Linux系统API重写RTI的本地驻留模块RTIa，利用网络通信和系统对网络信息的解析规则屏蔽平台差异；

RTI在高性能集群上的部署配置。N个节点的高性能集群上部署M个RTI本地驻留程序。取M＝N，根据联邦成员映射情况决定激活相应程序。

对于HPCC-RTI，考虑通过其与反射内存网的集成，扩展HPCC-RTI，进一步提高HPCC-RTI支持下的仿真联邦在传统网络部分的通信效能，进而提高整个系统的仿真效率。扩展的HPCC-RTI体系结构如图6所示。

本优选实施例在集群之外，本发明将反射内存网引入到个人电脑网络中，在进行大数据量通信时提高流通量，降低数据交互的时间开销。

优选实施例四：基于HLA的分布式仿真支撑平台的实现方法包括下述步骤：

其中，RTI提供创建联邦、加入联邦、订阅/发布、设置时间管理策略和时间推进的后台支持，反射内存网作为更新/反射对象类和属性/交互类服务的后台支持。

本优选实施例基于HLA的分布式仿真支撑平台的实现方法使用反射内存网加快了数据同步，使写入某反射内存卡的数据会在400纳秒内迅速复制到网络中其他共享内存的相同地址上。

以上，仅为本发明的较佳实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求所界定的保护范围为准。

Claims

1.一种基于HLA的分布式仿真支撑平台，其特征在于，所述平台包括高性能计算集群兼容RTI系统单元，所述RTI系统单元部署在高性能计算集群上；所述高性能计算集群兼容RTI系统单元支持高性能计算集群和个人电脑网络上的仿真模型互操作；在所述高性能计算集群上，联邦成员与集群运算节点是一对多的关系，所述一对多关系为一个联邦成员部署在一个运算节点，或对于运算开销大的联邦成员部署在多个运算节点上，利用高性能计算集群的并行计算能力，提高联邦成员和整个联邦运算效率；在所述个人电脑网络上，所述高性能计算集群兼容RTI具有RTI的功能，为仿真模型提供重用和互操作支持，并为仿真模型提供下述服务：

数据分发管理服务，为联邦成员提供传输和接受无关数据无谓消耗的减少；

2.根据权利要求1所述的基于HLA的分布式仿真支撑平台，其特征在于：部署在局域网环境上的仿真模型中设有反射内存网；所述反射内存网提供联邦成员间数据通信服务，以形成扩展的高性能计算集群兼容RTI；所述反射内存网由光纤网及部署在所述光纤网上的反射内存卡组成，所述反射内存卡对应连接联邦成员；按照Linux系统API重写RTI的本地驻留模块RTIa以屏蔽平台差异。

3.根据权利要求1所述的基于HLA的分布式仿真支撑平台，其特征在于：在集群层面利用RTI为分布式仿真提供支撑和通信服务，在多个节点组成的联邦成员层面利用集群操作系统作为总控中心以干预各个运算节点。

4.根据权利要求1所述的基于HLA的分布式仿真支撑平台，其特征在于：在高性能集群上部署与节点个数相同的RTI本地驻留程序。

5.一种基于HLA的分布式仿真支撑平台的实现方法，其特征在于，包括下述步骤：

6.根据权利要求5所述的基于HLA的分布式仿真支撑平台的实现方法，其特征在于：RTI提供创建联邦、加入联邦、订阅/发布、设置时间管理策略和时间推进的后台支持，反射内存网作为更新/反射对象类和属性/交互类服务的后台支持。