CN101980166A

CN101980166A - 一种用于机群系统并行模拟的时间序列控制方法

Info

Publication number: CN101980166A
Application number: CN 201010500868
Authority: CN
Inventors: 刘轶; 支予哲; 苏阳明; 张昕; 李鹤; 钱德沛
Original assignee: Beihang University
Current assignee: Beihang University
Priority date: 2010-10-09
Filing date: 2010-10-09
Publication date: 2011-02-23
Anticipated expiration: 2030-10-09
Also published as: CN101980166B

Abstract

本发明公开了一种用于机群系统并行模拟的时间序列控制方法，该时间序列控制方法根据从宿主系统中捕获到的模拟事件，对目标系统的所有进程建立一个逻辑时钟，依照目标系统中的模拟时间运行状态来维护和更新该逻辑时钟的状态，最终得到进程在目标系统中的运行时间。本发明依据宿主-目标映射关系MAP对时间-模拟事件集EVE进行扫描，得到目标系统中每一个目标节点的事件缓冲队列Q_i。本发明针对大规模并行系统模拟，在保证一定模拟精度的前提下有效提升了模拟器的效率。

Description

一种用于机群系统并行模拟的时间序列控制方法

技术领域

本发明涉及一种适用于机群系统的时间序列控制方法，更特别地说，是指一种用于机群系统并行模拟的时间序列控制方法。

背景技术

目前主流高性能计算机系统的运算速度已达到百万亿次，突破千万亿次的超级计算机系统也已经诞生。为了尽可能大的提高计算机系统的整体性能，在设计高性能计算机系统时需要考虑各方面的因素，因此计算机的系统结构、处理节点的组织方式都变的越来越复杂，研制并开发一个高性能计算机系统面临着巨大的挑战。对于一个项目，设计上的丝毫疏漏都会导致开发中人力物力的极大浪费。使用模拟器运行应用程序，对设计方案进行性能评价可以有效的规避设计开发过程中可能存在的风险。参见图1所示，图中表征了所述模拟器中的宿主系统与目标系统之间进程的映射关系。所述的模拟器中包括有计算节点模拟部件、存储模拟部件、网络模拟部件等。

时间序列控制是模拟器实现的核心部分，它根据模拟进程在宿主系统中的执行过程，得到该进程在目标系统中的执行过程。时间序列控制的目的是根据从模拟系统中捕获到的模拟事件，建立一个虚拟的逻辑时钟，根据目标系统中的模拟事件运行状态来维护更新该时钟的状态。

发明内容

本发明的目的是提出一种用于机群系统并行模拟的时间序列控制方法，该方法根据模拟进程在宿主系统中的执行过程，得到该模拟进程在目标系统中的执行过程，从而获得应用程序在目标系统中的执行结果。具体包括根据模拟器的配置，将宿主系统进程映射到各个目标节点；然后模拟目标节点中的进程调度机制，逐条处理事件记录；采用模拟器进行事件模拟，并根据返回结果完成目标系统的时间同步处理。

本发明的一种用于机群系统并行模拟的时间序列控制方法，是通过下列步骤得以实现：

第一步：将从宿主系统中各个节点捕获到的所有模拟事件按时间戳E_time先后进行排序，得到时间-模拟事件集EVE；

所述的模拟事件是应用程序在宿主系统中运行时发生的各种事件，具体包括进程调度事件ER、存储访问事件ES、网络通信事件EC和阻塞事件EB；后续的处理过程都必须按照时间戳E_time有序的进行处理，即同一进程原始的事件执行逻辑先后顺序不能改变，这样可以保证对目标系统的模拟在逻辑上合理；则有在目标系统中运行进程调度事件ER所需的模拟时间记为T_ER、运行存储访问事件ES所需的模拟时间记为T_ES、运行网络通信事件EC所需的模拟时间记为T_EC和运行阻塞事件EB所需的模拟时间记为T_EB；

第二步：依据宿主-目标映射关系MAP对时间-模拟事件集EVE进行扫描，得到目标系统中每一个目标节点的事件缓冲队列Q_i，其中，i表示任意一个目标节点；

第三步：为每一个逻辑进程建立一个时间轴AT_j，并记录进程当前时间TN_j，其中，j表示任意一个逻辑进程；

所述的每个逻辑进程时间轴的起始时间为零；

第四步：首先根据目标系统的配置依次轮流对事件缓冲队列Q_i中的事件进行模拟，每轮处理各事件缓冲队列Q_i中时间戳E_time最小的一个事件，从而得到事件模拟时间TS_i-j；然后采用时间轴更新策略更新进程当前时间TN_j；

所述的事件模拟时间TS_i-j中包括有调度时间T_ER、访问时间T_ES、通信时间T_EC和阻塞时间T_EB；

第五步：当所有事件缓冲队列Q_i中的事件都处理完成，即得到了进程在目标系统中的执行过程，各个逻辑进程的时间轴AT_j中模拟时间的最大值T_max即为应用程序在目标系统的运行时间。

所述的用于机群系统并行模拟的时间序列控制方法，其目标系统的配置包括有目标系统节点数、节点中CPU数及核数、网络拓扑结构、网络带宽、磁盘阵列参数等。

本发明的优点：

①处理过程中事件按时间戳有序排列，简化了事件处理过程，保证了处理后的所有事件发生顺序保持不变，进程间通信事件发生的顺序合乎逻辑。

②为每个目标节点建立一个事件缓冲队列分别缓存待处理的事件，使得在对事件的分析处理过程中不必考虑宿主机进程到逻辑进程的映射关系，提高了模拟的效率。

③采用本发明提出的时间轴更新策略，在保证事件发生的逻辑顺序合理的前提下模拟并记录了事件在目标系统中的发生过程，提高的模拟的准确性。

附图说明

图1是模拟器中宿主系统与目标系统之间进程的映射关系示意图。

图2是本发明时间序列的控制结构图。

图3A、图3B是本发明目标节点内访存事件同步前、后进程调度序列对比

图4是本发明通信事件处理流程图。

图5A、图5B是本发明目标节点内通信事件同步前、后进程调度序列对比。

图6A、图6B是本发明目标节点间通信事件同步前、后进程调度序列对比。

具体实施方式

下面将结合附图对本发明做进一步的详细说明。

本发明的一种用于机群系统并行模拟的时间序列控制方法，该时间序列控制方法根据从宿主系统中捕获到的模拟事件，对目标系统的所有进程建立一个逻辑时钟，依照目标系统中的模拟时间运行状态来维护和更新该逻辑时钟的状态，最终得到进程在目标系统中的运行时间。本发明依据宿主-目标映射关系MAP对时间-模拟事件集EVE进行扫描，得到目标系统中每一个目标节点的事件缓冲队列Q_i。

本发明的一种用于机群系统并行模拟的时间序列控制方法，通过下列步骤得以实现：

第一步：将从宿主系统中各个节点捕获到的所有模拟事件按时间戳E_time先后进行排序，得到按时间有序排列的模拟事件集EVE(简称为时间-模拟事件集EVE)；

所述的模拟事件是应用程序在宿主系统中运行时发生的各种事件，具体包括进程调度事件ER、存储访问事件ES、网络通信事件EC和阻塞事件EB；后续的处理过程都必须按照时间戳E_time有序的进行处理，即同一进程原始的事件执行逻辑先后顺序不能改变，这样可以保证对目标系统的模拟在逻辑上合理；则有在目标系统中运行进程调度事件ER所需的模拟时间记为T_ER、运行存储访问事件ES所需的模拟时间记为T_ES、运行网络通信事件EC所需的模拟时间记为T_EC和运行阻塞事件EB所需的模拟时间记为T_EB。

第二步：依据宿主-目标映射关系MAP对时间-模拟事件集EVE进行扫描，得到目标系统中每一个目标节点的事件缓冲队列Q_i(i表示任意一个目标节点)；

所述目标节点中的每一个CPU核由一个模拟进程来模拟，该模拟进程称为目标系统的一个逻辑进程，如图2所示；图中，每一个宿主节点有一个事件缓冲队列，每一个事件缓冲队列中包括有多个逻辑进程发生的事件。

在本发明中，由于宿主系统的一个节点能够模拟目标系统中的多个目标节点，则有宿主系统中各节点进程到目标系统中的各个目标节点的映射关系(简称为宿主-目标映射关系MAP，映射关系如图1所示)。

第三步：为每一个逻辑进程建立一个时间轴AT_j(j表示任意一个逻辑进程)，并记录已经处理完成的事件和逻辑进程当前处理到的时间TN_j(简称为进程当前时间TN_j)；在本发明中，每个逻辑进程时间轴的起始时间为零；

第四步：首先根据目标系统的配置依次轮流对事件缓冲队列Q_i中的事件进行模拟，每轮处理各事件缓冲队列Q_i中时间戳E_time最小的一个事件，从而得到相应事件在目标系统完成所需的模拟时间TS_i-j(简称为事件模拟时间TS_i-j)；然后采用时间轴更新策略更新进程当前时间TN_j；

在本发明中，事件模拟时间TS_i-j中包括有在目标系统中运行进程调度事件ER所需的模拟时间记为T_ER(即调度时间T_ER)、运行存储访问事件ES所需的模拟时间记为T_ES(即访问时间T_ES)、运行网络通信事件EC所需的模拟时间记为T_EC(即通信时间T_EC)和运行阻塞事件EB所需的模拟时间记为T_EB(即阻塞时间T_EB)，用数学表达为TS_i-j＝{T_ER，T_ES，T_EC，T_EB}；

在本发明中，目标系统的配置包括有目标系统节点数、节点中CPU数及核数、网络拓扑结构、网络带宽、磁盘阵列参数等。

在本发明中，第四步中对事件缓冲队列Q_i中的事件进行模拟采用了时间轴更新策略，但对不同的事件类型(进程调度事件ER、存储访问事件ES、网络通信事件EC和阻塞事件EB)依据的时间轴更新策略为如下说明：

(一)进程调度事件ER

在本发明中，若事件缓冲队列Q_i为进程调度事件ER，则调用计算节点模拟部件，得到该事件在目标节点的CPU上的运行时间T_ER，然后根据T_ER来推进对应的逻辑进程时间轴，累加得到进程当前时间TN_j。

(二)存储访问事件ES

在本发明中，若事件缓冲队列Q_i为存储访问事件ES，则调用存储模拟部件，得到该事件在目标系统磁盘阵列的访问时间T_ES，然后根据T_ES来推进对应的逻辑进程时间轴，累加得到进程当前时间TN_j。

为了详细说明运行存储访问事件ES所需的模拟时间即访存事件处理过程，如图3A和图3B表示出了一次访存事件处理前后进程调度的变化。c0，c1代表目标节点i的两个核，其中每个核上有两个逻辑进程。假设在时刻t0，进程p1执行了write读磁盘操作，对应图3A中进程p1的2号执行片段末尾，进程p1因此被换出处理器c1。在存储模拟部件中，事件在目标系统磁盘阵列的访问时间为Δt1，进行访存检查前，仅按照进程执行片段进行调度时，该操作据下一次被换入处理器c1的时间间隔为Δt0，由于Δt0＜Δt1，因此，需要调整进程p1再次被换入处理器c1的时间。根据调整后进程执行片段的时间序列，对该事件之后的其它片段重新执行进程调度，结果如图3B所示。在3A和图3B中，进程中发生的事件顺序不能改变，故采用1、2、3、4、……，按照数字先后顺序标记。

(三)网络通信事件EC

在本发明中，若事件缓冲队列Q_i为网络通信事件EC，则调用网络模拟部件，得到该事件在目标系统中网络时延T_EC，然后根据T_EC来推进对应的逻辑进程时间轴，累加得到进程当前时间TN_j。

在本发明中，网络通信事件EC处理时需要对每个目标节点单独建立通信事件缓冲队列，用来存储暂时没有匹配成对的通信事件。当一条网络通信事件到达时进行判断，如果执行的是send发送操作，那么直接根据相关信息更新目标节点逻辑进程的时间轴，如果执行的是recv接收操作，那么将该逻辑进程阻塞(即发生阻塞事件EB)，直到寻找到其对应的send发送操作事件并调用网络模拟部件进行处理后，才更新相关逻辑进程的当前时间TN_j，并解除阻塞(处理流程参见图4所示)，从阻塞开始到解除阻塞的时间记为T_EB。

网络通信事件EC又划分为两类：节点内通信和节点间通信。

在通信双方是节点内通信的情况下，当有一对网络通信时间发生匹配能够进行分析处理时，主要依据的是执行该事件的进程在目标系统中的时间戳。此时可能会出现如下两种情况：

第一种，send操作的时间戳小于recv操作的时间戳，这说明在目标系统中，此次send操作在recv操作之前，逻辑顺序正确。那么对于双方不需要进行额外的处理，直接用原始的事件记录来更新相关进程的时间轴并解除recv端的阻塞。

第二种，send操作的时间戳大于recv操作的事件戳，这说明映射到目标系统后，recv操作反而在send操作之前执行，此时需要让recv端进程一直阻塞，直到到达和send端相同的时间戳后才解除阻塞并更新时间轴。

对于第二种情况，图5A和图5B表示出了一次节点内通信同步处理前后进程调度的变化。c0，c1代表目标节点i的两个核，其中每个核上有两个逻辑进程。假设在时刻t3，进程p0执行recv接收操作，它需要接收来自进程p2的一条消息，因此被换出处理器c0；在时刻t4，进程p2执行了send发送操作，向进程p0发送一条消息。网络模拟部件根据两个事件的日志信息判断二者为一次完整通信，匹配成功。由于两个进程属于同一目标节点，在宿主系统中也属于同一台宿主节点，因此在将宿主节点实际测量的延迟时间Δt2作为目标节点中的延迟时间。实际测得进程p2执行完send操作后，经过Δt2的延迟时间后进程p0才能收到该消息而再次被换入处理器c0。因此，需要调整进程p0再次被换入处理器的时间，并根据调整后的时间序列，对该事件之后的其它执行片段重新执行进程调度并排序，结果如图5B所示。在5A和图5B中，进程中发生的事件顺序不能改变，故采用1、2、3、4、……，按照数字先后顺序标记。

对于通信双方是节点之间通信的情况，其与节点内通信的最大区别是，节点内通信模拟时不需要调用网络模拟部件来处理，只需要进行进程的同步处理，而节点间通信时要依据配置的目标节点间网络互连参数，通过网络模拟部件计算出通信的网络传输时间后再进行同步。这里需要在send发送操作时，根据相关信息进行网络模拟，得到本次send操作在目标节点间网络的传输时间，把该时间更新到目标系统进程的时间轴中。此时仍需要依据通信双方进程在目标系统中的时间戳进行同步，还是类似的和节点内通信一样处理两种情况，所不同的是使用的是更新了网络传输时间后的send操作时间戳。

图6A和图6B表示出了一次节点间通信同步处理前后进程调度的变化。假设选取目标节点中的第N0号目标节点和第N1号目标节点进行两个目标节点间的通信。当时刻t0，目标节点N0的进程p2执行了recv接收操作，需要接收来自目标节点N1中进程p6发送的消息，由于尚未收到，进程p2被换出处理器c0；当时刻t5，进程p6执行send发送操作。经判断，该消息与进程p2在t0时刻recv接收操作匹配成功。处理进程先从日志记录中读取通信相关信息，再以这些信息为参数来调用网络模拟部件，模拟返回本次传输的延迟时间为Δt3，进程p2至少在消息到达目标节点N0后，才可能被换出处理器c0。由图6A可知，进程p2至少在t7时刻才允许被重新换入处理器c0，当当前进程调度在t6时刻就将其换入处理器c1，因此，需要对节点N0在t6时刻之后的进程执行片段进行调整，结果如图6B所示。

(四)阻塞事件EB

若在网络通信事件EC中发生阻塞事件EB，则根据网络通信事件EC所述的阻塞时间T_EB来推进对应的逻辑进程时间轴，累加得到进程当前时间TN_j。

应用本发明所述的用于机群系统并行模拟的时间序列控制方法，发明人实现了机群系统并行模拟器，对不同规模的目标系统进行了模拟，模拟性能如下表：

注：模拟器减速比是指应用程序在模拟器中运行的时间与应用程序在真实目标系统中运行的时间的比值。

模拟规模为1024节点时减速比只有126.9，比同类并行模拟器的效率要高，例如模拟器BGLsim在模拟1024节点时的减速比为220。模拟器的运行结果表明，本发明提出的时间序列控制方法，在保证一定模拟精度的前提下有效提升了模拟系统的效率。

Claims

1.一种用于机群系统并行模拟的时间序列控制方法，其特征在于通过下列步骤得以实现：

所述的每个逻辑进程时间轴的起始时间为零；

2.根据权利要求1所述的用于机群系统并行模拟的时间序列控制方法，其特征在于：目标系统的配置包括有目标系统节点数、节点中CPU数及核数、网络拓扑结构、网络带宽、磁盘阵列参数等。

3.根据权利要求1所述的用于机群系统并行模拟的时间序列控制方法，其特征在于：所述事件缓冲队列Q_i中的进程调度事件ER采用的时间轴更新策略为：若事件缓冲队列Q_i为进程调度事件ER，则调用计算节点模拟部件，得到该事件在目标节点的CPU上的运行时间T_ER，然后根据T_ER来推进对应的逻辑进程时间轴，累加得到进程当前时间TN_j。

4.根据权利要求1所述的用于机群系统并行模拟的时间序列控制方法，其特征在于：所述事件缓冲队列Q_i中的存储访问事件ES采用的时间轴更新策略为：若事件缓冲队列Q_i为存储访问事件ES，则调用存储模拟部件，得到该事件在目标系统磁盘阵列的访问时间T_ES，然后根据T_ES来推进对应的逻辑进程时间轴，累加得到进程当前时间TN_j。

5.根据权利要求1所述的用于机群系统并行模拟的时间序列控制方法，其特征在于：所述事件缓冲队列Q_i中的网络通信事件EC采用的时间轴更新策略为：若事件缓冲队列Q_i为网络通信事件EC，则调用网络模拟部件，得到该事件在目标系统中网络时延T_EC，然后根据T_EC来推进对应的逻辑进程时间轴，累加得到进程当前时间TN_j。

6.根据权利要求5所述的用于机群系统并行模拟的时间序列控制方法，其特征在于：网络通信事件EC处理时需要对每个目标节点单独建立通信事件缓冲队列，用来存储暂时没有匹配成对的通信事件；当一条网络通信事件到达时进行判断，如果执行的是send发送操作，那么直接根据相关信息更新目标节点逻辑进程的时间轴，如果执行的是recv接收操作，那么将该逻辑进程阻塞(即发生阻塞事件EB)，直到寻找到其对应的send发送操作事件并调用网络模拟部件进行处理后，才更新相关逻辑进程的当前时间TN_j，并解除阻塞，从阻塞开始到解除阻塞的时间记为T_EB。

7.根据权利要求5所述的用于机群系统并行模拟的时间序列控制方法，其特征在于：网络通信事件EC包括有节点内通信和节点间通信；

其中，在通信双方是节点内通信的情况下，当有一对网络通信时间发生匹配能够进行分析处理时，主要依据的是执行该事件的进程在目标系统中的时间戳；此时可能会出现如下两种情况：

第一种，send操作的时间戳小于recv操作的时间戳，这说明在目标系统中，此次send操作在recv操作之前，逻辑顺序正确；那么对于双方不需要进行额外的处理，直接用原始的事件记录来更新相关进程的时间轴并解除recv端的阻塞；

第二种，send操作的时间戳大于recv操作的事件戳，这说明映射到目标系统后，recv操作反而在send操作之前执行，此时需要让recv端进程一直阻塞，直到到达和send端相同的时间戳后才解除阻塞并更新时间轴；

其中，对于通信双方是节点间通信的情况，其与节点内通信的最大区别是，节点内通信模拟时不需要调用网络模拟部件来处理，只需要进行进程的同步处理，而节点间通信时要依据配置的目标节点间网络互连参数，通过网络模拟部件计算出通信的网络传输时间后再进行同步；这里需要在send发送操作时，根据相关信息进行网络模拟，得到本次send操作在目标节点间网络的传输时间，把该时间更新到目标系统进程的时间轴中；此时仍需要依据通信双方进程在目标系统中的时间戳进行同步，还是类似的和节点内通信一样处理两种情况，所不同的是使用的是更新了网络传输时间后的send操作时间戳。

8.根据权利要求5所述的用于机群系统并行模拟的时间序列控制方法，其特征在于：所述事件缓冲队列Q_i中的阻塞事件EB采用的时间轴更新策略为：若在网络通信事件EC中发生阻塞事件EB，则根据网络通信事件EC所述的阻塞时间T_EB来推进对应的逻辑进程时间轴，累加得到进程当前时间TN_j。