CN111177892A - 一种分布式仿真系统 - Google Patents

Abstract

本发明是关于一种分布式仿真系统。该系统包括：仿真平台，用于对多个实体模型进行仿真；以及用于并行运行所述仿真平台的多个计算机，所述多个计算机中各计算机上安装的仿真平台上分布有所述多个实体模型中的至少一个实体模型，用于并行仿真所述多个实体模型，其中：所述各计算机，用于监控所述各计算机其自身上分布的实体模型的仿真状态，获取其自身的资源使用情况，并根据所述实体模型的仿真状态和/或所述其自身的资源使用情况，将实体模型在计算机之间进行迁移。通过本发明的技术方案，可在分布式仿真过程中实现动态负载均衡，从而显著提高仿真效率。

Description

一种分布式仿真系统

技术领域

本发明涉及仿真技术领域，尤其涉及分布式仿真系统。

背景技术

目前，随机计算机仿真技术自诞生，仿真技术受到了世界各国的广泛关注和高度重视，然而现在的仿真性能并不佳，尤其是当仿真模型较多或者实体模型过于复杂、计算量过大时，单台计算机性能有限，仿真速度不能满足要求，因而，如何提高仿真效率以有效提升仿真性能成为亟待解决的问题。

发明内容

本发明实施例提供了一种分布式仿真系统。所述技术方案如下：

仿真平台，用于对多个实体模型进行仿真；以及

用于并行运行所述仿真平台的多个计算机，所述多个计算机中各计算机上安装的仿真平台上分布有所述多个实体模型中的至少一个实体模型，用于并行仿真所述多个实体模型，其中：

所述各计算机，用于监控所述各计算机其自身上分布的实体模型的仿真状态，获取其自身的资源使用情况，并根据所述实体模型的仿真状态和/或所述其自身的资源使用情况，将实体模型在计算机之间进行迁移。

在一个实施例中，所述各计算机上运行有至少一个仿真进程；

所述各计算机上运行的仿真进程，用于监控所述各计算机上分布的实体模型的仿真状态以及所述各计算机其自身的资源使用情况。

在一个实施例中，所述各计算机中存在一个主控计算机，所述主控计算机上运行的仿真进程为仿真管理进程；

所述各计算机中的仿真进程，用于监控所述各计算机其自身上分布的实体模型的仿真状态，并将监控的实体模型的仿真状态发送至所述仿真管理进程；

所述仿真管理进程，用于接收所述各计算机的仿真进程监控的实体模型的仿真状态，并进行记录。

在一个实施例中，所述各计算机的仿真进程，还用于确定所述各计算机其自身上分布的所有实体模型分别对应的仿真步长中的当前最小步长，并将所述当前最小步长发送至所述仿真管理进程；

所述仿真管理进程，还用于根据所述各计算机的仿真进程发送的当前最小步长确定下一次仿真所述所有实体模型的最小时间步长，并将所述最小时间步长发送至所述各计算机。

在一个实施例中，所述各计算机中存在一个主控计算机，所述主控计算机上运行的仿真进程为仿真管理进程；

所述各计算机的仿真进程，用于将所述各计算机其自身的资源使用情况发送至所述仿真管理进程；

所述仿真管理进程，用于接收所述各计算机的仿真进程发送的其自身的资源使用情况，并根据所述其自身的资源使用情况确定所述各计算机上分布的实体模型的迁移方向，所述资源使用情况包括资源使用率，所述资源包括CPU和/或内存。

在一个实施例中，所述仿真管理进程，还用于根据所述各计算机的仿真进程发送的所述各计算机其自身的资源使用率，确定所述各计算机中资源使用率最高的第一目标计算机；

所述仿真管理进程在所述第一目标计算机的资源使用率高于第一使用率时，将所述第一目标计算机上的实体模型迁移到所述各计算机中除所述第一目标计算机之外的第二目标计算机。

在一个实施例中，所述仿真管理进程还用于：

确定所述第一目标计算机上资源使用率排名第i的实体模型，并计算所述排名第i的实体模型迁移至所述第二目标计算机后，所述第二目标计算机的预计资源使用率；

若所述第二目标计算机的预计资源使用率大于所述第一目标计算机迁移所述第i的实体模型之后的当前资源使用率，则计算所述第一目标计算机上资源使用率排名第i+1的实体模型迁移至所述第二目标计算机后，所述第二目标计算机的预计资源使用率，依次类推，直至所述第二目标计算机的预计资源使用率不大于所述第一目标计算机迁移第n实体模型之后的当前资源使用率时，确定将所述第一目标计算机上的第n实体模型迁移至所述第二目标计算机，所述第一目标计算机上共有N个实体模型，n大于i+1且小于N，资源使用率排名为资源使用率从高到低的排名，i为不小于2的正整数，N为正整数。

在一个实施例中，所述仿真管理进程，还用于在所述各计算机的资源使用率低于第二使用率时，确定所述多个仿真进程中第Pm个仿真进程上分布的各实体模型对所述多个仿真进程中第Pi个仿真进程上分布的实体模型的访问次数；

所述仿真管理进程基于所述第Pm个仿真进程上分布的各实体模型对所述第Pi个仿真进程上分布的实体模型的访问次数，计算所述第Pm个仿真进程上分布的各实体模型从所述第Pm个仿真进程迁移到对应访问次数最多的第Pmax个仿真进程上的迁移收益；

所述仿真管理进程进行迁移收益排名，将所述第Pm个仿真进程上迁移收益最大的实体模型迁移至所述第Pmax个仿真进程上，其中，所述多个仿真进程的编号为P0～Pn，Pm、Pi、Pmax为所述P0～Pn个仿真进程中的仿真进程。

在一个实施例中，所述仿真管理进程基于以下步骤计算将所述多个计算机中一个计算机上的实体模型迁移到另一个计算机上获得的迁移总收益；

设Wi为仿真进程Pi的负载比重，其计算公式如下：

其中U_c(i)、U_m(i)、U_d(i)、U_b(i)分别表示单位时间T内仿真进程Pi占用的CPU、内存、磁盘IO和网络带宽占用率，K_c、K_m、K_d、K_b分别表示CPU、内存、磁盘IO和网络带宽对计算机的预设影响因子，且K_c+K_m+K_d+K_b＝1；

设e为被迁移进程的计算机编号，f为迁移的目标计算机编号，e＝1,2,3,…,E，f＝1,2,3,…,F，Mie表示将仿真进程Pi上分布的实体模型从计算机e迁移到计算机f后计算机e的迁移收益：

Mif表示将仿真进程Pi迁移到计算机f后计算机f的迁移收益：

则仿真进程Pi上的实体模型从计算机e迁移到计算机f的总收益为Mi：

M_i＝M_ie+M_if

根据M_i的大小进行排序，M_i越大，迁移收益越高；

将总收益Mi最高的计算机e的仿真进程上分布的实体模型迁移至计算机f上。在一个实施例中，所述仿真管理进程还用于：

根据所述各计算机中的仿真进程发送的所述各计算机其自身上分布的实体模型的仿真状态，生成所述各计算机上的实体模型的当前仿真记录；

调用预先获取的实体模型在实际运行环境下的预设状态记录；

根据所述当前仿真记录和所述预设状态记录，生成至少一个实体模型仿真运行指令；

将所述至少一个实体模型仿真运行指令广播至所述各计算机中的仿真进程，以使所述各计算机中的仿真进程将所述至少一个实体模型仿真运行指令发送至所述各计算机其自身上分布的实体模型中对应的实体模型，从而控制所述对应的实体模型的仿真过程或者调节所述对应的实体模型的模型参数。

在一个实施例中，所述各计算机还用于：

采用通用建模工具对所述各计算机其自身上分布的实体模型(对应)的被仿真对象进行数学模型搭建，得到简易仿真模型；

采用专业建模工具对所述各计算机其自身上分布的实体模型(对应)的被仿真对象进行数学模型搭建，得到精细仿真模型；

以所述精细仿真模型为衡量标准，对所述简易仿真模型的模型结构和模型参数做初步验证，并对不符合第一预设要求的模型结构和模型参数进行修正；

利用所述被仿真对象的第一组实验数据对初步验证修正后的简易仿真模型做再次验证，并对所述修正后的简易仿真模型的模型参数做再次修正，直至在相同的输入下修正后的简易仿真模型的输出数据与所述被仿真对象对应的输出数据的一致性衡量指标满足预设接受值，获得根据所述第一组实验数据得到的简易仿真模型；

利用所述被仿真对象的第二组实验数据作为所述第一组实验数据得到的简易仿真模型的输入，经过所述简易仿真模型的仿真计算，得到所述第二组实验数据对应的输出数据；

计算所述第二组实验数据对应的输出数据与所述被仿真对象对应的输出数据的一致性衡量指标；

判断所述第二组实验数据的一致性衡量指标是否满足所述预设接受值；

如果是，则将所述第二组实验数据得到的简易仿真模型作为所述被仿真对象的实体模型。

本发明的实施例提供的技术方案可以包括以下有益效果：

各计算机上均安装有一个仿真平台，通过使用多个计算机并行运行仿真平台，并将仿真平台中所有实体模型分布在不同的计算机上可利用并行仿真方式加快仿真进度，提高仿真效率，具体地，各计算机可分别监控所述各计算机其自身上分布的实体模型的仿真状态，并获取各计算机自身的资源使用情况，然后根据实体模型的仿真状态和/或所述其自身的资源使用情况，将实体模型在计算机之间进行迁移，以在分布式仿真过程中实现动态负载均衡，从而显著提高仿真效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种分布式仿真系统的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

为了解决上述技术问题，本发明实施例提供了一种分布式仿真系统如图1所示，该系统包括：

仿真平台，所述仿真平台用于对多个实体模型进行仿真；以及

用于并行运行所述仿真平台的多个计算机，所述多个计算机中各计算机上安装的仿真平台上分布有所述多个实体模型中的至少一个实体模型，用于并行仿真所述多个实体模型，其中：

实体模型可以是实物在仿真平台中的虚拟对象表示，如飞机模型、卫星模型、车辆模型等。仿真平台可以是华如XSIM、神州普惠DWK等。

所述各计算机，用于监控所述各计算机其自身上分布的实体模型的仿真状态，获取其自身的资源使用情况，并根据所述实体模型的仿真状态和/或所述其自身的资源使用情况，将实体模型在计算机之间进行迁移。

各计算机上均安装有一个仿真平台，通过使用多个计算机并行运行仿真平台，并将仿真平台中所有实体模型分布在不同的计算机上(即各计算机分别负责所有需要仿真的实体模型中的一部分实体模型，也即上述多个实体仿真模型中的一部分实体模型)可利用并行仿真方式加快仿真进度，提高仿真效率，具体地，各计算机可分别监控所述各计算机其自身上分布的实体模型的仿真状态，并获取各计算机自身的资源使用情况，然后根据实体模型的仿真状态和/或所述其自身的资源使用情况，将实体模型在计算机之间进行迁移，以在分布式仿真过程中实现动态负载均衡，从而显著提高仿真效率。

在一个实施例中，所述各计算机上运行有至少一个仿真进程；各计算机上可分别运行一个或多个仿真进程，专门用于负责该计算机自身上分布的若干个实体模型的仿真过程。

所述各计算机上运行的仿真进程，用于监控所述各计算机上分布的实体模型的仿真状态以及所述各计算机其自身的资源使用情况。

仿真状态可以是实体模型在某时刻的状态，如车辆模型在某时刻的位置、行驶方向等，飞机模型在某时刻的飞行姿态等。

资源使用情况可以是CPU(central processing unit，中央处理器)、内存、硬盘等硬件或软件资源的当前使用率、剩余使用率等。

在一个实施例中，所述各计算机中存在一个主控计算机，所述主控计算机上运行的仿真进程为仿真管理进程；

所述各计算机中的仿真进程，用于监控所述各计算机其自身上分布的实体模型的仿真状态，并将监控的实体模型的仿真状态发送至所述仿真管理进程；其中，主控计算机自身的仿真进程也会采集主控计算机(安装的仿真平台上)分布的实体模型的仿真状态。

所述仿真管理进程，用于接收所述各计算机的仿真进程监控的实体模型的仿真状态，并进行记录。

仿真管理进程通过接收各计算机的仿真进程监控的实体模型的仿真状态，可对各实体模型的仿真状态进行详细统计，以便之后进行仿真评估，从而有利于准确、有效地进行仿真实验。

在一个实施例中，所述各计算机的仿真进程，还用于确定所述各计算机其自身上分布的所有实体模型分别对应的仿真步长中的当前最小步长，并将所述当前最小步长发送至所述仿真管理进程；

例如：各计算机的仿真进程的编号分别为P0～Pn时，任意管理进程Pm上分布的所有实体模型为B1～Bp，实体模型B1～Bp分别对应的仿真步长为T⁰～T^p，则若仿真步长T⁰～T^p中仿真步长最小的值为T^m，则T^m为管理进程Pm的当前最小步长。

计算机内部的仿真过程实际上是离散进行的并不是连续进行的，具体地是按照(仿真)步长进行的，且每个实体模型根据自身的仿真需求对应的仿真步长很可能不同，如飞机模型的仿真步长与卫星模型的仿真步长就不同。

所述仿真管理进程，还用于根据所述各计算机的仿真进程发送的当前最小步长确定下一次仿真所述所有实体模型的最小时间步长，并将所述最小时间步长发送至所述各计算机。

为了便于进行仿真管理使所有实体模型可使用相同的仿真步长，各计算机的仿真进程需要确定各计算机其自身上分布的所有实体模型各自对应的仿真步长中的当前最小步长，然后各计算机将当前最小步长发送至仿真管理进程，从而使得仿真管理进程可利用根据所述各计算机的仿真进程发送的当前最小步长准确确定下一次仿真所述所有实体模型的最小时间步长，并将所述最小时间步长发送至所述各计算机，从而使得各计算机上的实体模型按照该最小时间步长进行仿真操作，这样，既可以综合考虑所有实体模型的实际仿真时间要求，又可以准确确定适合所有实体模型的仿真时长。例如：各计算机的仿真进程的编号分别为P0～Pn时，若各计算机的访问进程返回的当前最小步长分别为t0～tn，且t0～tn中的最小值为tm，则仿真管理进程可将tm作为该最小时间步长。

在一个实施例中，所述各计算机中存在一个主控计算机，所述主控计算机上运行的仿真进程为仿真管理进程；

所述各计算机的仿真进程，用于将所述各计算机其自身的资源使用情况发送至所述仿真管理进程；

所述仿真管理进程，用于接收所述各计算机的仿真进程发送的其自身的资源使用情况，并根据所述其自身的资源使用情况确定所述各计算机上分布的实体模型的迁移方向，所述资源使用情况包括资源使用率，所述资源包括CPU和/或内存，某计算机其自身的资源使用情况可以为该计算机的资源使用率。

仿真管理进程通过接收各计算机的仿真进程发送的其自身的资源使用情况，可确定各计算机的动态负载情况，然后根据各计算机其自身的资源使用情况即可自动确定所述各计算机上(安装的仿真平台上)分布的实体模型的迁移方向，从而将负载负担重的计算机上的实体模型迁移到负载负担轻的计算机上，这样可在分布式并行仿真的基础上，通过负载动态均衡实现负载的平衡，从而有利于进一步缩短仿真时长、提高仿真效率。

在一个实施例中，所述仿真管理进程，还用于根据所述各计算机的仿真进程发送的所述各计算机其自身的资源使用率，确定所述各计算机中资源使用率最高的第一目标计算机；

所述仿真管理进程在所述第一目标计算机的资源使用率高于第一使用率时，将所述第一目标计算机上的实体模型迁移到所述各计算机中除所述第一目标计算机之外的第二目标计算机。

仿真管理进程在所述第一目标计算机的资源使用率高于第一使用率(可以是80％或者90％等)时，可确认第一目标计算机的负载太重，因而，可将第一目标计算机上的实体模型迁移到所述各计算机中除所述第一目标计算机之外的第二目标计算机，即将负载特别高的计算机的若干实体向负载特别低的计算机迁移，从而实现负载的动态平衡，进而有利于进一步缩短仿真时长、提高仿真效率。

在一个实施例中，所述仿真管理进程还用于：

确定所述第一目标计算机上资源使用率排名第i的实体模型，并计算所述排名第i的实体模型迁移至所述第二目标计算机后，所述第二目标计算机的预计资源使用率；

资源使用率排名为资源使用率从高到低的排名，通过确定第一目标计算机上所有实体模型各自所占用的资源使用率，即可进行资源使用率从高到低的排名。

若所述第二目标计算机的预计资源使用率大于所述第一目标计算机迁移所述第i的实体模型之后的当前资源使用率，则计算所述第一目标计算机上资源使用率排名第i+1的实体模型迁移至所述第二目标计算机后，所述第二目标计算机的预计资源使用率，依次类推，直至所述第二目标计算机的预计资源使用率不大于所述第一目标计算机迁移第n实体模型之后的当前资源使用率时，确定将所述第一目标计算机上的第n实体模型迁移至所述第二目标计算机，所述第一目标计算机上共有N个实体模型，n大于i+1且小于N，i为不小于2的正整数，N为正整数。

在进行实体迁移时，可计算将资源使用率排名第i的实体模型迁移至第二计算机后，第二目标计算机的预计资源使用率，进而若第二目标计算机的预计资源使用率的预计资源使用率大于所述第一目标计算机迁移所述第i的实体模型之后的当前资源使用率，则说明第一目标计算机上资源使用率排名第i的实体模型若迁移至第二目标计算机，第二目标计算机的负担会比较沉，不利于提高仿真效率，因而，可考虑第一目标计算机上资源使用率排名第i+1的实体模型迁移至所述第二目标计算机后，所述第二目标计算机的预计资源使用率，依次类推直至若第一目标计算机上的第n实体模型迁移至第二目标计算机后第二目标计算机的预计资源使用率不大于所述第一目标计算机迁移走该第n实体模型之后的当前资源使用率时，确定将所述第一目标计算机上的第n实体模型迁移至所述第二目标计算机，这样既减轻了第一目标计算机的负担，又避免给第二目标计算机增加过多负载负担，从而尽可能实现负载的合理均衡，有利于最大可能地提高仿真效率。

另外，由于将资源使用率排名第一的实体模型所占用的资源使用率本来就最高，因而，通过考虑将资源使用率排名第二以及靠后的实体模型进行迁移，而不是将资源使用率排名第一的实体模型进行迁移，可避免直接给第二目标计算机造成较大负载负担。

在一个实施例中，所述仿真管理进程，还用于在所述各计算机的资源使用率低于第二使用率(如可以是30％、50％等)时，确定所述多个仿真进程中第Pm个仿真进程上分布的各实体模型对所述多个仿真进程中第Pi个仿真进程上分布的实体模型的访问次数；

所述仿真管理进程基于所述第Pm个仿真进程上分布的各实体模型对所述第Pi个仿真进程上分布的实体模型的访问次数，计算所述第Pm个仿真进程上分布的各实体模型从所述第Pm个仿真进程迁移到对应访问次数最多的第Pmax个仿真进程上的迁移收益；

所述仿真管理进程进行迁移收益排名，将所述第Pm个仿真进程上迁移收益最大的实体模型迁移至所述第Pmax个仿真进程上，其中，所述多个仿真进程的编号为P0～Pn，Pm、Pi、Pmax为所述P0～Pn个仿真进程中的仿真进程。

在各计算机的资源使用率均低于第二使用率时，说明实体模型跨计算机互相访问的次数太多，导致各计算机都在等待，则需要减少跨计算机的实体模型之间的交互，因而，通过计算所述第Pm个仿真进程上分布的各实体模型从所述第Pm个仿真进程迁移到对应访问次数最多的第Pmax个仿真进程上的迁移收益并进行迁移收益排名，可自动地将所述第Pm个仿真进程上迁移收益最大的实体模型迁移至所述第Pmax个仿真进程上，从而可将任意仿真进程上分布的访问某其他仿真进程上的实体模型次数最多的实体模型迁移至该其他仿真进程上，如此可有效减少跨计算机的实体模型之间的交互，降低仿真交互成本。

例如：如果所有的CPU使用率都比较低，说明跨计算机访问太多，导致各计算机都在等待，则需要减少跨计算机的实体模型之间的交互。设共有进程P0到Pn，某实体模型B位于进程Pm，访问进程Pi中的实体模型的次数为Ai，则Amax＝max(A0,..,An)，其中不包含Am。此时将此实体模型B从Pm迁移到Pmax(Pmax为Amax对应的进程)的迁移收益为Amax-Am，进而将进程Pm上的所有实体的迁移收益排序，然后选择Pm上迁移收益最大的一个实体模型迁移至Pmax上。

在一个实施例中，所述仿真管理进程基于以下步骤计算将所述多个计算机中一个计算机上的实体模型迁移到另一个计算机上获得的迁移总收益；

设Wi为仿真进程Pi的负载比重，其计算公式如下：

其中U_c(i)、U_m(i)、U_d(i)、U_b(i)分别表示单位时间T内仿真进程Pi占用的CPU、内存、磁盘IO和网络带宽占用率，K_c、K_m、K_d、K_b分别表示CPU、内存、磁盘IO和网络带宽对计算机的预设影响因子，且K_c+K_m+K_d+K_b＝1；

设e为被迁移进程的计算机编号，f为迁移的目标计算机编号，e＝1,2,3,…,E，f＝1,2,3,…,F，Mie表示将仿真进程Pi上分布的实体模型从计算机e迁移到计算机f后计算机e的迁移收益：

Mif表示将仿真进程Pi迁移到计算机f后计算机f的迁移收益：

则仿真进程Pi上的实体模型从计算机e迁移到计算机f的总收益为Mi：

M_i＝M_ie+M_if

根据M_i的大小进行排序，M_i越大，迁移收益越高；

将总收益Mi最高的计算机e的仿真进程上分布的实体模型迁移至计算机f上。

从计算机e迁移进程上分布的实体模型到计算机f，则计算机e的实体模型数会减少，其他模型或进程可占用的资源变多，完成所有进程的时间会相应的缩短，而计算机f的模型或进程数会增加，计算机f的其他模型或进程可占用的资源变少，完成所有模型仿真的时间会相应增加，综合计算机ef所有进程最终完成时间与迁移之前的完成时间的差值即为迁移收益，然后将迁移收益最高的计算机上的实体模型进行迁移，如此可有效减少跨计算机的实体模型之间的交互，降低仿真交互成本。

在一个实施例中，所述仿真管理进程还用于：

根据所述各计算机中的仿真进程发送的所述各计算机其自身上分布的实体模型的仿真状态，生成所述各计算机上的实体模型的当前仿真记录；

调用预先获取的实体模型在实际运行环境下的预设状态记录；

根据所述当前仿真记录和所述预设状态记录，生成至少一个实体模型仿真运行指令；

将所述至少一个实体模型仿真运行指令广播至所述各计算机中的仿真进程，以使所述各计算机中的仿真进程将所述至少一个实体模型仿真运行指令发送至所述各计算机其自身上分布的实体模型中对应的实体模型，从而控制所述对应的实体模型的仿真过程或者调节所述对应的实体模型的模型参数。

通过生成述各计算机上的实体模型的当前仿真记录并调用预先获取的实体模型在实际运行环境下的预设状态记录，可根据当前仿真记录和所述预设状态记录(如进行记录比较)，生成一个或多个实体模型仿真运行指令，然后将这些指令广播至各计算机中的仿真进程，从而使得各计算机中的仿真进程能够将这些指令分发至对应的实体模型，以便于控制该对应的实体模型的仿真过程或者调节所述对应的实体模型的模型参数，以提高仿真效率和准确率，使得仿真效果尽可能贴近仿真模型对应的实物在真实的运行环境运行情况，或者使得实体模型更加准确。

在一个实施例中，所述各计算机还用于：

采用通用建模工具对所述各计算机其自身上分布的实体模型(对应)的被仿真对象进行数学模型搭建，得到简易仿真模型；

通用建模工具的作用为：既能够方便快捷地实现对被仿真对象的原理性建模，又能够支持模型自动代码的生成，从而可以将简易仿真模型下载到通用实时仿真计算机进行实时仿真，通过实时仿真计算机运行解算简易仿真模型，实现与外界相关实物设备的数据交互，发挥简易仿真模型的实际作用。

其中，通过对所述各计算机其自身上分布的实体模型行工作原理分析实现对通用建模工具的合理选择，从而简易仿真模型到实时仿真模型的快速过渡问题，使模型的验证过程都集中在对简易仿真模型的验证过程。

采用专业建模工具对所述各计算机其自身上分布的实体模型(对应)的被仿真对象进行数学模型搭建，得到精细仿真模型；实体模型(对应)的被仿真对象即实体模型对应的实物。

随着数字仿真对仿真模型的精确度要求越来越高，借助各专业建模工具，可以实现较为准确的物理对象建模，例如，利用Solidworks来实现机械系统的建模、利用AMESim来实现液压系统的建模等。

专业建模工具的特点是对被仿真对象进行精细建模，通过有限元计算、高阶微分方程组解算等，实现对被仿真对象的复杂精细计算。专业建模工具能够对被仿真对象进行全面的、细微特性的模拟解算，因此可以选择专业建模工具进行精细仿真模型。

以所述精细仿真模型为衡量标准，对所述简易仿真模型的模型结构和模型参数做初步验证，并对不符合第一预设要求的模型结构和模型参数进行修正；

第一预设要求为两个数字仿真模型一致的判定准则，可以包括：变化范围一致、变化趋势一致、在线性段斜率一致、若有非线性(如弧线)则拐点位置一致等。

利用所述被仿真对象的第一组实验数据对初步验证修正后的简易仿真模型做再次验证，并(通过预设验证方法)对所述修正后的简易仿真模型的模型参数做再次修正，直至在相同的输入下修正后的简易仿真模型的输出数据与所述被仿真对象对应的输出数据的一致性衡量指标满足预设接受值，获得根据所述第一组实验数据得到的简易仿真模型；

预设验证方法可以是秩和检验法、动态关联分析法、数理统计法等。

预设接受值指的是两个数据结果一致程度量化指标，例如若1为完全一致，0为完全不一致，则预设接受值可以为0.75。

利用所述被仿真对象的第二组实验数据作为所述第一组实验数据得到的简易仿真模型的输入，经过所述简易仿真模型的仿真计算，得到所述第二组实验数据对应的输出数据；

计算所述第二组实验数据对应的输出数据与所述被仿真对象对应的输出数据的一致性衡量指标；

判断所述第二组实验数据的一致性衡量指标是否满足所述预设接受值；

如果是，则将所述第二组实验数据得到的简易仿真模型作为被仿真对象的实体模型(即最终的实体模型)。

通过将模型验证方法和模型参数优化方法集成以实现对数字仿真模型(即简易仿真模型)的自动修正，相比通过建模人员对数字仿真模型修正而言，可减少人工修改模型的工作量，提高了对数字仿真模型的修正效率，以及获得的被仿真对象的实体模型的准确性。

下面将进一步详细说明本发明的技术方案：

多台计算机中的每台计算机负责仿真平台中的若干个实体模型。分散实体模型的代价主要来自实体模型之间的交互需要通过网络进行。

为减少网络交互，可以采取以下策略：

(1)把不需要交互的实体模型分离出去。

(2)把交互多的实体模型尽量放在同一台机器。

为解决计算量过大的问题，可以采取以下策略：

(1)把计算量大的实体模型分散到不同的机器上。

(2)整个仿真过程中不会受干扰的参数可以提前计算出来，不必按仿真时间进行计算。例如大多数卫星不会变轨，其轨迹可以提前算好。

(3)如果有计算特别大的模型，可以根据具体问题的特点，把一个模型的部分计算再分解到多台计算机上。

运行开始时按照一定的规则将实体模型分配到多台机器，运行过程中监视每台机器的CPU使用率和每个实体模型的运行成本和交互成本，必要时将实体模型从一台机器移动到另一台机器。

交互成本分成与本机实体模型交互和与其他计算机实体模型交互，将实体模型从机器M1移动到M2，可以减少与M2的交互成本，但是会增加与M1的交互成本。

交互成本最高的应该是碰撞检测一类的问题，每一个步长都要查询大量其他实体模型的位置。

初始分配规则

通常想定只有一个中心，离中心近的实体模型与其他实体模型交互比较多，离中心远的实体模型与其他实体模型交互比较少。因此可以按离中心的距离将实体模型分配到不同的计算机。

假设计算机数量为#M，实体模型数量为#E。从所有实体模型位置的质心开始，按离质心的距离排序，将实体模型队列分成#M份，分别分配到一台计算机上，每台机器负责#E/#M个实体模型。

实体模型迁移规则

按CPU使用率迁移

如果某计算机CPU使用率高，则需将部分实体模型迁移到CPU使用率低的机器。

按对外访问量迁移

把访问其他机器过多的实体模型迁移到访问最多的机器上。同时注意避免影响CPU使用率。如果目标机CPU使用率过高，本实体模型的CPU使用率也较高，则考虑迁移下一个实体模型。

实体模型迁移的成本

必须保证实体模型迁移后能继续正确运行。有可能实体模型的状态比较多，网络传输比较慢，迁移完成之前，仿真时间无法推进，所有机器被迫停下来等待。

实体模型分配

首先启动的进程ID为0，负责启动其他进程Px(x＝1,2，……)。P0和Px都加载完整想定，初始化所有实体模型。P0将实体模型分配到各个进程Px，每个实体模型有一个所属引擎的ID，由此确定当前引擎负责哪些实体模型的计算，去哪个引擎访问其他实体模型。

时间推进和时间同步

每台计算机上运行一个引擎进程，进程P0负责时间进度，将当前时间和步长发送给所有其他引擎进程Px，所有他引擎进程Px完成当前步长的计算之后，回复P0，P0再将下一个时间和步长发送给所有Px。

如果实体模型不需要与其他实体模型进行交互，则可以提前进行预计算。

P0将当前时间T和步长S发送到Px，Px遍历本进程负责的所有实体模型，如果T+S大于实体模型当前时间Te加当前步长Se，则计算此实体模型Te+Se时刻的状态。计算完成后，遍历本进程负责的所有实体模型，将其中的最小步长返回P0。P0取所有Px返回的最小步长为下一个步长。

每个实体模型的当前状态对应的时间都比引擎时间超前一点点，引擎或其他实体模型访问实体模型的属性时，实体模型必须返回引擎时间(Te+Se)的状态。

性能监视

运算过程中需要监视每台机器的CPU使用率，每个实体模型的CPU使用量，每个实体模型访问其他实体模型的次数。必须优化监视算法，降低监视成本。

实体模型迁移

Px将所在机器的CPU使用率发送给P0。P0将CPU使用率平滑以后，确定迁移方向。如果有的CPU使用率特别高，有的CPU使用率特别低，则从特别高的机器选择实体模型向特别低的机器迁移。首先考虑将CPU使用率最高的机器上计算成本第二的实体模型移到CPU使用率最低的机器，如果预计迁移后，目标机器的CPU使用率大于原机器的当前CPU使用率，则考虑排名第三的实体模型，依此类推。

如果所有的CPU使用率都比较低，说明跨机器访问太多，导致大家都在等待，则需要减少跨机器的实体模型交互。设共有进程P0到Pn，某实体模型位于进程Pm，访问进程Pi中的实体模型的次数为Ai，则Amax＝max(A0,..,An)，其中不包含Am。此时将此实体模型从Pm迁移到Pmax(Pmax为Pm上的所有实体模型各自对应的Amax中的最大值所对应的被访问进程)的迁移收益为Amax-Am。将所有实体模型的迁移收益排序，选择迁移收益最大的一个实体模型进行迁移。

实体模型之间的访问

如果目标实体模型与自己在同一个进程，则直接访问。如果不在一个进程，则通过网络访问。各进程之间一直保持TCP连接。

最后，需要明确的是：本领域技术人员可根据实际需求，将上述多个实施例进行自由组合。

对应本发明实施例提供的分布式仿真系统，本发明实施例还提供一种分布式仿真方法，该方法包括：

通过各计算机分别监控所述各计算机其自身上分布的实体模型的仿真状态；

获取所述各计算机其自身的资源使用情况；

根据所述实体模型的仿真状态和/或所述各计算机其自身的资源使用情况，将实体模型在计算机之间进行迁移，以实现分布式仿真，所述各计算机上安装有仿真平台，分别分布有至少一个实体模型，用于并行仿真所述至少一个实体模型。

在一个实施例中，所述各计算机上运行有至少一个仿真进程；

通过所述各计算机上运行的仿真进程监控所述各计算机上分布的实体模型的仿真状态以及所述各计算机其自身的资源使用情况。

在一个实施例中，所述各计算机中存在一个主控计算机，所述主控计算机上运行的仿真进程为仿真管理进程；

通过所述各计算机中的仿真进程监控所述各计算机其自身上分布的实体模型的仿真状态，并将监控的实体模型的仿真状态发送至所述仿真管理进程；

通过所述仿真管理进程接收所述各计算机的仿真进程监控的实体模型的仿真状态，并进行记录。

在一个实施例中，通过所述各计算机的仿真进程确定所述各计算机其自身上分布的所有实体模型分别对应的仿真步长中的当前最小步长，并将所述当前最小步长发送至所述仿真管理进程；

控制所述仿真管理进程根据所述各计算机的仿真进程发送的当前最小步长确定下一次仿真所述所有实体模型的最小时间步长，并将所述最小时间步长发送至所述各计算机。

在一个实施例中，所述各计算机中存在一个主控计算机，所述主控计算机上运行的仿真进程为仿真管理进程；

通过所述各计算机的仿真进程将所述各计算机其自身的资源使用情况发送至所述仿真管理进程；

通过所述仿真管理进程接收所述各计算机的仿真进程发送的其自身的资源使用情况，并根据所述其自身的资源使用情况确定所述各计算机上分布的实体模型的迁移方向，所述资源使用情况包括资源使用率，所述资源包括CPU和/或内存。

在一个实施例中，控制所述仿真管理进程根据所述各计算机的仿真进程发送的所述各计算机其自身的资源使用率，确定所述各计算机中资源使用率最高的第一目标计算机；

控制所述仿真管理进程在所述第一目标计算机的资源使用率高于第一使用率时，将所述第一目标计算机上的实体模型迁移到所述各计算机中除所述第一目标计算机之外的第二目标计算机。

在一个实施例中，控制所述仿真管理进程确定所述第一目标计算机上资源使用率排名第i的实体模型，并计算所述排名第i的实体模型迁移至所述第二目标计算机后，所述第二目标计算机的预计资源使用率；以及

若所述第二目标计算机的预计资源使用率大于所述第一目标计算机迁移所述第i的实体模型之后的当前资源使用率，则计算所述第一目标计算机上资源使用率排名第i+1的实体模型迁移至所述第二目标计算机后，所述第二目标计算机的预计资源使用率，依次类推，直至所述第二目标计算机的预计资源使用率不大于所述第一目标计算机迁移第n实体模型之后的当前资源使用率时，确定将所述第一目标计算机上的第n实体模型迁移至所述第二目标计算机，所述第一目标计算机上共有N个实体模型，n大于i+1且小于N，资源使用率排名为资源使用率从高到低的排名，i为不小于2的正整数，N为正整数。

在一个实施例中，控制所述仿真管理进程在所述各计算机的资源使用率低于第二使用率时，确定所述多个仿真进程中第Pm个仿真进程上分布的各实体模型对所述多个仿真进程中第Pi个仿真进程上分布的实体模型的访问次数；

控制所述仿真管理进程基于所述第Pm个仿真进程上分布的各实体模型对所述第Pi个仿真进程上分布的实体模型的访问次数，计算所述第Pm个仿真进程上分布的各实体模型从所述第Pm个仿真进程迁移到对应访问次数最多的第Pmax个仿真进程上的迁移收益；

控制所述仿真管理进程进行迁移收益排名，并将所述第Pm个仿真进程上迁移收益最大的实体模型迁移至所述第Pmax个仿真进程上，其中，所述多个仿真进程的编号为P0～Pn，Pm、Pi、Pmax为所述P0～Pn个仿真进程中的仿真进程。

在一个实施例中，所述仿真管理进程基于以下步骤计算将所述多个计算机中一个计算机上的实体模型迁移到另一个计算机上获得的迁移总收益；

设Wi为仿真进程Pi的负载比重，其计算公式如下：

其中U_c(i)、U_m(i)、U_d(i)、U_b(i)分别表示单位时间T内仿真进程Pi占用的CPU、内存、磁盘IO和网络带宽占用率，K_c、K_m、K_d、K_b分别表示CPU、内存、磁盘IO和网络带宽对计算机的预设影响因子，且K_c+K_m+K_d+K_b＝1；

设e为被迁移进程的计算机编号，f为迁移的目标计算机编号，e＝1,2,3,…,E，f＝1,2,3,…,F，Mie表示将仿真进程Pi上分布的实体模型从计算机e迁移到计算机f后计算机e的迁移收益：

Mif表示将仿真进程Pi迁移到计算机f后计算机f的迁移收益：

则仿真进程Pi上的实体模型从计算机e迁移到计算机f的总收益为Mi：

M_i＝M_ie+M_if

根据M_i的大小进行排序，M_i越大，迁移收益越高；

将总收益Mi最高的计算机e上的仿真进程上分布的实体模型迁移至计算机f上。

在一个实施例中，所述仿真管理进程还用于：

控制根据所述各计算机中的仿真进程发送的所述各计算机其自身上分布的实体模型的仿真状态，生成所述各计算机上的实体模型的当前仿真记录；

调用预先获取的实体模型在实际运行环境下的预设状态记录；

根据所述当前仿真记录和所述预设状态记录，生成至少一个实体模型仿真运行指令；

将所述至少一个实体模型仿真运行指令广播至所述各计算机中的仿真进程，以使所述各计算机中的仿真进程将所述至少一个实体模型仿真运行指令发送至所述各计算机其自身上分布的实体模型中对应的实体模型，从而控制所述对应的实体模型的仿真过程或者调节所述对应的实体模型的模型参数。

在一个实施例中，所述方法还包括：

采用通用建模工具对所述各计算机其自身上分布的实体模型进行数学模型搭建，得到简易仿真模型；

采用专业建模工具对所述各计算机其自身上分布的实体模型进行数学模型搭建，得到精细仿真模型；

以所述精细仿真模型为衡量标准，对所述简易仿真模型的模型结构和模型参数做初步验证，并对不符合第一预设要求的模型结构和模型参数进行修正；

利用所述各计算机其自身上分布的实体模型的第一组实验数据对初步验证修正后的简易仿真模型做再次验证，并对所述修正后的简易仿真模型的模型参数做再次修正，直至在相同的输入下修正后的简易仿真模型的输出数据与所述各计算机其自身上分布的实体模型对应的输出数据的一致性衡量指标满足预设接受值，获得根据所述第一组实验数据得到的简易仿真模型；

利用所述各计算机其自身上分布的实体模型的第二组实验数据作为所述第一组实验数据得到的简易仿真模型的输入，经过所述简易仿真模型的仿真计算，得到所述第二组实验数据对应的输出数据；

计算所述第二组实验数据对应的输出数据与所述各计算机其自身上分布的实体模型对应的输出数据的一致性衡量指标；

判断所述第二组实验数据的一致性衡量指标是否满足所述预设接受值；

如果是，则将所述第二组实验数据得到的简易仿真模型作为最终确定简易仿真模型。

本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种分布式仿真系统，其特征在于，包括：

仿真平台，用于对多个实体模型进行仿真；以及

用于并行运行所述仿真平台的多个计算机，所述多个计算机中各计算机上安装的仿真平台上分布有所述多个实体模型中的至少一个实体模型，用于并行仿真所述多个实体模型，其中：

所述各计算机，用于监控所述各计算机其自身上分布的实体模型的仿真状态，获取其自身的资源使用情况，并根据所述实体模型的仿真状态和/或所述其自身的资源使用情况，将实体模型在计算机之间进行迁移。

2.根据权利要求1所述的系统，其特征在于，

所述各计算机上运行有至少一个仿真进程；

所述各计算机上运行的仿真进程，用于监控所述各计算机上分布的实体模型的仿真状态以及所述各计算机其自身的资源使用情况；

所述各计算机中存在一个主控计算机，所述主控计算机上运行的仿真进程为仿真管理进程；

所述各计算机中的仿真进程，用于监控所述各计算机其自身上分布的实体模型的仿真状态，并将监控的实体模型的仿真状态发送至所述仿真管理进程；

所述仿真管理进程，用于接收所述各计算机的仿真进程监控的实体模型的仿真状态，并进行记录。

3.根据权利要求2所述的系统，其特征在于，

所述各计算机的仿真进程，还用于确定所述各计算机其自身上分布的所有实体模型分别对应的仿真步长中的当前最小步长，并将所述当前最小步长发送至所述仿真管理进程；

所述仿真管理进程，还用于根据所述各计算机的仿真进程发送的当前最小步长确定下一次仿真所述所有实体模型的最小时间步长，并将所述最小时间步长发送至所述各计算机。

4.根据权利要求2所述的系统，其特征在于，

所述各计算机中存在一个主控计算机，所述主控计算机上运行的仿真进程为仿真管理进程；

所述各计算机的仿真进程，用于将所述各计算机其自身的资源使用情况发送至所述仿真管理进程；

所述仿真管理进程，用于接收所述各计算机的仿真进程发送的其自身的资源使用情况，并根据所述其自身的资源使用情况确定所述各计算机上分布的实体模型的迁移方向，所述资源使用情况包括资源使用率，所述资源包括CPU和/或内存。

5.根据权利要求4所述的系统，其特征在于，

所述仿真管理进程，还用于根据所述各计算机的仿真进程发送的所述各计算机其自身的资源使用率，确定所述各计算机中资源使用率最高的第一目标计算机；

所述仿真管理进程在所述第一目标计算机的资源使用率高于第一使用率时，将所述第一目标计算机上的实体模型迁移到所述各计算机中除所述第一目标计算机之外的第二目标计算机。

6.根据权利要求5所述的系统，其特征在于，

所述仿真管理进程还用于：

确定所述第一目标计算机上资源使用率排名第i的实体模型，并计算所述排名第i的实体模型迁移至所述第二目标计算机后，所述第二目标计算机的预计资源使用率；

若所述第二目标计算机的预计资源使用率大于所述第一目标计算机迁移所述第i的实体模型之后的当前资源使用率，则计算所述第一目标计算机上资源使用率排名第i+1的实体模型迁移至所述第二目标计算机后，所述第二目标计算机的预计资源使用率，依次类推，直至所述第二目标计算机的预计资源使用率不大于所述第一目标计算机迁移第n实体模型之后的当前资源使用率时，确定将所述第一目标计算机上的第n实体模型迁移至所述第二目标计算机，所述第一目标计算机上共有N个实体模型，n大于i+1且小于N，资源使用率排名为资源使用率从高到低的排名，i为不小于2的正整数，N为正整数。

7.根据权利要求4所述的系统，其特征在于，

所述仿真管理进程，还用于在所述各计算机的资源使用率低于第二使用率时，确定所述多个仿真进程中第Pm个仿真进程上分布的各实体模型对所述多个仿真进程中第Pi个仿真进程上分布的实体模型的访问次数；

所述仿真管理进程基于所述第Pm个仿真进程上分布的各实体模型对所述第Pi个仿真进程上分布的实体模型的访问次数，计算所述第Pm个仿真进程上分布的各实体模型从所述第Pm个仿真进程迁移到对应访问次数最多的第Pmax个仿真进程上的迁移收益；

所述仿真管理进程进行迁移收益排名，将所述第Pm个仿真进程上迁移收益最大的实体模型迁移至所述第Pmax个仿真进程上，其中，所述多个仿真进程的编号为P0～Pn，Pm、Pi、Pmax为所述P0～Pn个仿真进程中的仿真进程。

8.根据权利要求4所述的系统，其特征在于，

所述仿真管理进程基于以下步骤计算将所述多个计算机中一个计算机上的实体模型迁移到另一个计算机上获得的迁移总收益；

设Wi为仿真进程Pi的负载比重，其计算公式如下：

其中U_c(i)、U_m(i)、U_d(i)、U_b(i)分别表示单位时间T内仿真进程Pi占用的CPU、内存、磁盘IO和网络带宽占用率，K_c、K_m、K_d、K_b分别表示CPU、内存、磁盘IO和网络带宽对计算机的预设影响因子，且K_c+K_m+K_d+K_b＝1；

设e为被迁移进程的计算机编号，f为迁移的目标计算机编号，e＝1,2,3,…,E，f＝1,2,3,…,F，Mie表示将仿真进程Pi上分布的实体模型从计算机e迁移到计算机f后计算机e的迁移收益：

Mif表示将仿真进程Pi迁移到计算机f后计算机f的迁移收益：

则仿真进程Pi上的实体模型从计算机e迁移到计算机f的总收益为Mi：

M_i＝M_ie+M_if

根据M_i的大小进行排序，M_i越大，迁移收益越高；

将总收益Mi最高的计算机e的仿真进程上分布的实体模型迁移至计算机f上。

9.根据权利要求2所述的系统，其特征在于，

所述仿真管理进程还用于：

根据所述各计算机中的仿真进程发送的所述各计算机其自身上分布的实体模型的仿真状态，生成所述各计算机上的实体模型的当前仿真记录；

调用预先获取的实体模型在实际运行环境下的预设状态记录；

根据所述当前仿真记录和所述预设状态记录，生成至少一个实体模型仿真运行指令；

将所述至少一个实体模型仿真运行指令广播至所述各计算机中的仿真进程，以使所述各计算机中的仿真进程将所述至少一个实体模型仿真运行指令发送至所述各计算机其自身上分布的实体模型中对应的实体模型，从而控制所述对应的实体模型的仿真过程或者调节所述对应的实体模型的模型参数。

10.根据权利要求1所述的系统，其特征在于，所述各计算机还用于：

采用通用建模工具对所述各计算机其自身上分布的实体模型对应的被仿真对象进行数学模型搭建，得到简易仿真模型；

采用专业建模工具对所述各计算机其自身上分布的实体模型对应的被仿真对象进行数学模型搭建，得到精细仿真模型；

以所述精细仿真模型为衡量标准，对所述简易仿真模型的模型结构和模型参数做初步验证，并对不符合第一预设要求的模型结构和模型参数进行修正；

利用所述被仿真对象的第一组实验数据对初步验证修正后的简易仿真模型做再次验证，并对所述修正后的简易仿真模型的模型参数做再次修正，直至在相同的输入下修正后的简易仿真模型的输出数据与所述被仿真对象对应的输出数据的一致性衡量指标满足预设接受值，获得根据所述第一组实验数据得到的简易仿真模型；

利用所述被仿真对象的第二组实验数据作为所述第一组实验数据得到的简易仿真模型的输入，经过所述简易仿真模型的仿真计算，得到所述第二组实验数据对应的输出数据；

计算所述第二组实验数据对应的输出数据与所述被仿真对象对应的输出数据的一致性衡量指标；

判断所述第二组实验数据的一致性衡量指标是否满足所述预设接受值；

如果是，则将所述第二组实验数据得到的简易仿真模型作为所述被仿真对象的实体模型。

Images