CN107239352B - 一种动力学蒙特卡洛并行模拟的通信优化方法及其系统 - Google Patents

Abstract

本发明提供一种动力学蒙特卡洛并行模拟的通信优化方法及系统，其中，所述方法包括：构造通信数据结构；构建邻居进程的图状拓扑结构；开启进程外迭代；按照预设顺序从多个子区域中选择一个子区域；进程当前选择的子区域数据通过构造的所述通信数据结构与邻居进程通信；迭代结束。本发明还提供一种动力学蒙特卡洛并行模拟的通信优化系统。本发明提供的技术方案通过构建进程图状拓扑结构，使用邻居集合通信函数代替原有的点到点通信函数，进而降低了通信时间复杂度，通过优化程序流程，选取最优的子区域迭代顺序，合并相邻两次内迭代的部分通信操作，从而减少了部分通信冗余数据，减少了进程间的同步等待时间，使负载更加均衡。

Description

一种动力学蒙特卡洛并行模拟的通信优化方法及其系统

技术领域

本发明涉及并行区域分解的通信优化领域，尤其涉及一种基于SPPARKS并行框架的动力学蒙特卡洛并行模拟的通信优化方法及其系统。

背景技术

动力学蒙特卡洛(KMC，Kinetic Monte Carlo)方法是广泛应用的材料辐照损伤计算机模拟手段之一，其关键是通过建立一个随机过程或概率模型，计算近邻原子之间的相互作用势能的发生概率，可以模拟介观尺度下较大规模、较长时间的材料微观结构演化过程。动力学蒙特卡洛并行模拟是结合高性能计算机和动力学蒙特卡洛方法形成的并行模拟方法，能够进一步突破现有的时空尺度限制、内存容量限制，实现与实验相当的时间、空间尺度的介观尺度模拟，是材料领域高性能模拟最常用的方法之一。

由于动力学蒙特卡洛固有的串行性，并行模拟方法存在并行效率低、内存开销大，甚至难以保证模拟结果正确性等问题。有学者提出了一个适用于并行模拟的SL算法，并且还提出了以SL算法为基础开发了一个用于动力学蒙特卡洛并行模拟的C++通用框架SPPARKS，可以在损失部分精度的条件下实现三维大规模并行模拟。SPPARKS将每一个进程的数据区域进一步划分成子区域，并在进程内对子区域进行编号，每个进程并行处理对应于同一编号子区域的数据避免进程之间的数据冲突。在初始化阶段，初始化要模拟的晶格点的数据，建立进程拓扑并经过区域分解将数据均匀分配到相应进程。内迭代中，每个进程执行两次数据交换并进行计算直到达到给定的内迭代时间阈值。在每次外迭代中，总数8个子区域轮询执行计算。首先，一个进程就当前计算子区域的边界数据，使用点对点通信操作与邻居进程进行数据交换。接下来，进程在当前子区域随机地选择一个模拟事件执行，更新当前子区域受影响的格点信息。最后，进程使用当前子区域边界数据执行第二次点对点通信操作，进入下一个子区域的计算。第一次模拟内迭代结束后，无论下一次内迭代完成时是否达到给定的外迭代时间阈值，都会继续执行直到8次内迭代结束。

上述SPPARKS框架并行模拟时的特点是，8次内迭代大量使用点对点通信，通信函数MPI_Irecv()和MPI_Send()总执行时间占到总通信时间的90％以上，带来很大的通信开销。并且，同一进程当前计算子区域在内迭代开始后、结束前两次点对点通信过程中，有部分数据由于未发生更改，是不必进行交换的，这造成单次通信操作交换的数据量大于必要的数据量，增加了单次通信操作的时间。此外，对于KMC并行模拟时中心进程需要与周围多个邻居进程通信的进程拓扑，点对点通信提高了通信时间复杂度，降低了并行效率，使负载不均衡问题更加突出。

发明内容

有鉴于此，本发明的目的在于提供一种动力学蒙特卡洛并行模拟的通信优化方法及其系统，旨在解决现有KMC大规模并行算法中邻居进程间点到点通信引起的负载不均衡问题。

本发明提出一种动力学蒙特卡洛并行模拟的通信优化方法，其中，所述方法包括：

构造通信数据结构；

构建邻居进程的图状拓扑结构；

开启进程外迭代；

按照预设顺序从多个子区域中选择一个子区域；

进程当前选择的子区域数据通过构造的所述通信数据结构与邻居进程通信；

迭代结束。

优选的，所述通信数据结构包括Swap、SwapReverse以及COMBSwap。

优选的，所述方法还包括：

设定外迭代时间阈值T和内迭代时间阈值t。

优选的，所述进程当前选择的子区域数据通过构造的所述通信数据结构与邻居进程通信的步骤具体包括：

判断当前选择的子区域是否为第一个子区域；

如果是第一个子区域，则进程当前选择的子区域数据通过Swap与邻居进程通信，如果不是第一个子区域，则进程当前选择的子区域数据通过COMBSwap与邻居进程通信；

从当前子区域的相邻子区域中获取边界格点数据；

从所述边界格点数据中随机选择一个要执行的模拟事件，计算事件的模拟时间并累加到Δt；

执行事件，更新当前格点附近子区域的数据；

判断Δt是否大于或等于所述内迭代时间阈值t；

若Δt大于或等于所述内迭代时间阈值t，则将Δt累加到ΔT并继续执行事件；

判断ΔT是否大于或等于所述外迭代时间阈值T；

若ΔT大于或等于所述外迭代时间阈值T，则继续执行事件且进程当前选择的子区域数据通过SwapReverse与邻居进程通信。

优选的，所述进程当前选择的子区域数据通过构造的所述通信数据结构与邻居进程通信的步骤具体还包括：

若Δt小于所述内迭代时间阈值t，则从所述边界格点数据中随机选择另一个要执行的模拟事件，计算事件的模拟时间并累加到Δt。

优选的，所述进程当前选择的子区域数据通过构造的所述通信数据结构与邻居进程通信的步骤具体还包括：

若ΔT小于所述外迭代时间阈值T，则按照预设顺序从多个子区域中选择另一个子区域。

另一方面，本发明还提供一种动力学蒙特卡洛并行模拟的通信优化系统，其中，所述系统包括：

数据构造模块，用于构造通信数据结构；

进程构建模块，用于构建邻居进程的图状拓扑结构；

迭代开启模块，用于开启进程外迭代；

区域选择模块，用于按照预设顺序从多个子区域中选择一个子区域；

进程通信模块，用于进程当前选择的子区域数据通过构造的所述通信数据结构与邻居进程通信；

迭代结束模块，用于迭代结束。

优选的，所述通信数据结构包括Swap、SwapReverse以及COMBSwap，其中，所述系统还包括：

阈值设定模块，用于设定外迭代时间阈值T和内迭代时间阈值t。

优选的，所述进程通信模块具体用于：

判断当前选择的子区域是否为第一个子区域；

如果是第一个子区域，则进程当前选择的子区域数据通过Swap与邻居进程通信，如果不是第一个子区域，则进程当前选择的子区域数据通过COMBSwap与邻居进程通信；

从当前子区域的相邻子区域中获取边界格点数据；

从所述边界格点数据中随机选择一个要执行的模拟事件，计算事件的模拟时间并累加到Δt；

执行事件，更新当前格点附近子区域的数据；

判断Δt是否大于或等于所述内迭代时间阈值t；

若Δt大于或等于所述内迭代时间阈值t，则将Δt累加到ΔT并继续执行事件；

判断ΔT是否大于或等于所述外迭代时间阈值T；

若ΔT大于或等于所述外迭代时间阈值T，则继续执行事件且进程当前选择的子区域数据通过SwapReverse与邻居进程通信。

优选的，所述进程通信模块具体还用于：若Δt小于所述内迭代时间阈值t，则从所述边界格点数据中随机选择另一个要执行的模拟事件，计算事件的模拟时间并累加到Δt；

其中，所述进程通信模块具体还用于：若ΔT小于所述外迭代时间阈值T，则按照预设顺序从多个子区域中选择另一个子区域。

本发明提供的技术方案是基于SPPARKS框架的并行通信优化，通过邻居集合通信建立进程间通信拓扑关系，进行三维KMC大规模并行模拟的通信聚集优化，合并部分通信过程，减少通信开销，使通信负载更加均衡。

附图说明

图1为本发明一实施方式中动力学蒙特卡洛并行模拟的通信优化方法流程图；

图2为本发明一实施方式中通信数据结构Swap在二维情况下的示意图；

图3为本发明一实施方式中实现数据交换的函数perform_swap_graph_site()伪代码示意图；

图4为本发明一实施方式中构建邻居进程图状拓扑通信域伪代码的示意图；

图5为本发明一实施方式中通信聚集优化子区域关系示意图；

图6为本发明一实施方式中通信聚集优化通信模式建立的伪代码示意图；

图7为本发明一实施方式中动力学蒙特卡洛并行模拟的通信优化系统10的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下将对本发明所提供的一种动力学蒙特卡洛并行模拟的通信优化方法进行详细说明。

请参阅图1，为本发明一实施方式中动力学蒙特卡洛并行模拟的通信优化方法流程图。

在本实施方式中，该动力学蒙特卡洛并行模拟的通信优化方法主要是基于SPPARKS框架的并行通信优化方法。

在步骤S10中，构造通信数据结构。

在本实施方式中，构造的通信数据结构包括Swap、SwapReverse以及COMBSwap，其中，定义通信数据结构Swap、SwapReverse、COMBSwap如图2所示。

请参阅图2，为本发明一实施方式中通信数据结构Swap在二维情况下的示意图。其中，Send 1～3表示发送数据到3个邻居进程，Recv 1～3表示从3个邻居进程接收数据，1为进程当前计算的子区域，2为边界数据区域，3为发送的数据，4为接收的数据。

请参阅图3，为本发明一实施方式中实现数据交换的函数perform_swap_graph_site()伪代码示意图。其中，定义一个基于邻居集合通信方式的函数perform_swap_graph_site()替换SPPARKS中原有的点对点通信方式的函数perform_swap_site()，该函数使用邻居集合通信函数MPI_Neighbor_alltoallv()对KMC并行算法进行优化：首先把发送给各个邻居进程的数据打包到一个连续的地址空间内，然后确定发送和接收进程的顺序id和对应的发送和接收数据，通过打包后发送数据的偏移量将对应的数据发送到目的进程上，并从接收进程中接收对应的数据，最后将收到的数据进行解包操作，完成一次数据交换。

请继续参阅图1，在步骤S11中，构建邻居进程的图状拓扑结构。

在本实施方式中，使用函数MPI_Dist_graph_create_adjacent()构建邻居进程的图状拓扑关系，其伪代码如图4所示。

请参阅图4，为本发明一实施方式中构建邻居进程图状拓扑通信域伪代码的示意图。在模拟材料缺陷演化等方面应用时，其模拟晶格内部邻居原子个数不尽相同，因此原子所在进程与邻居原子所在进程的对应关系是不规则的，传统的笛卡尔2维或3维进程拓扑不适用于构建KMC邻居进程拓扑关系。本发明构建了邻居进程图状拓扑结构，使用邻居集合通信函数代替原有的点到点通信函数，降低了通信时间复杂度。

请继续参阅图1，在步骤S12中，设定外迭代时间阈值T和内迭代时间阈值t。

在步骤S13中，开启进程外迭代。

在步骤S14中，按照预设顺序从多个子区域中选择一个子区域。

在本实施方式中，进程当前选择的子区域数据通过构造的所述通信数据结构与邻居进程通信的步骤具体包括S15-S24。

在步骤S15中，判断当前选择的子区域是否为第一个子区域；

如果是第一个子区域，则在步骤S16中，进程当前选择的子区域数据通过Swap与邻居进程通信，如果不是第一个子区域，则在步骤S17中，进程当前选择的子区域数据通过COMBSwap与邻居进程通信。

在步骤S18中，从当前子区域的相邻子区域中获取边界格点数据。

在步骤S19中，从所述边界格点数据中随机选择一个要执行的模拟事件，计算事件的模拟时间并累加到Δt。

在步骤S20中，执行事件，更新当前格点附近子区域的数据。

在步骤S21中，判断Δt是否大于或等于所述内迭代时间阈值t。

若Δt大于或等于所述内迭代时间阈值t，则在步骤S22中，将Δt累加到ΔT并继续执行事件。

在步骤S23中，判断ΔT是否大于或等于所述外迭代时间阈值T。

若ΔT大于或等于所述外迭代时间阈值T，则在步骤S24中，继续执行事件且进程当前选择的子区域数据通过SwapReverse与邻居进程通信。

在本实施方式中，所述进程当前选择的子区域数据通过构造的所述通信数据结构与邻居进程通信的步骤具体还包括：

若Δt小于所述内迭代时间阈值t，则从所述边界格点数据中随机选择另一个要执行的模拟事件，计算事件的模拟时间并累加到Δt，如步骤S19所示，后续步骤顺序执行。

在本实施方式中，所述进程当前选择的子区域数据通过构造的所述通信数据结构与邻居进程通信的步骤具体还包括：

若ΔT小于所述外迭代时间阈值T，则按照预设顺序从多个子区域中选择另一个子区域，如步骤S14所示，后续步骤顺序执行。

在步骤S25中，迭代结束。

在本实施方式中，以当前进程数据区域包括8个子区域为例进行说明。

请参阅图5，为本发明一实施方式中通信聚集优化子区域关系示意图。其中，1～8为当前进程数据区域的8个子区域；9为面相邻关系，即两个子区域间需要通信的数据在一个面上，合并后将原有通信次数28减少到26；10为边相邻关系，即两个子区域间需要通信的数据在一条边上，合并后将原有通信次数28减少到22；11为角相邻关系，即两个子区域间需要通信的数据在一个角上，合并后将原有通信次数28减少到14。其中，确定内迭代8个子区域的迭代顺序为(1,8,2,7,4,5,3,6)，选取的原则是优先保证角相邻关系的次数，不引入面相邻关系，子区域相邻关系如图5所示。

在本实施方式中，在三维模拟情况下，8次内迭代过程中共执行224次通信操作。本发明通过优化程序流程，选取最优的子区域迭代顺序，合并相邻两次内迭代的部分通信操作，将8次内迭代中的通信操作数量减少到176次，从而减少了部分通信冗余数据，减少了进程间的同步等待时间，使负载更加均衡。在配备Intel E5-2680 V2至强处理器的中国科学院超级计算机“元”上，本发明提出的通信优化方法相比于原始方法提高了并行效率，在640个进程并行模拟时，总运行时间减少了17％，以20个进程为基准，640个进程的加速比达到24.32。

请参阅图6，为本发明一实施方式中通信聚集优化通信模式建立的伪代码示意图。其中，建立通信聚集优化通信模式，判别通信合并过程中数据重叠的三种不同情况，转换重叠数据的依赖关系，伪代码如图6所示。

本发明提供的一种动力学蒙特卡洛并行模拟的通信优化方法，通过邻居集合通信建立进程间通信拓扑关系，进行三维KMC大规模并行模拟的通信聚集优化，合并部分通信过程，减少通信开销，使通信负载更加均衡。

以下将对本发明所提供的一种动力学蒙特卡洛并行模拟的通信优化系统10进行详细说明。

请参阅图7，所示为本发明一实施方式中动力学蒙特卡洛并行模拟的通信优化系统10的结构示意图。

在本实施方式中，动力学蒙特卡洛并行模拟的通信优化系统10，主要包括数据构造模块11、进程构建模块12、阈值设定模块13、迭代开启模块14、区域选择模块15、进程通信模块16以及迭代结束模块17。

数据构造模块11，用于构造通信数据结构。其中，所述通信数据结构包括Swap、SwapReverse以及COMBSwap。

进程构建模块12，用于构建邻居进程的图状拓扑结构。

阈值设定模块13，用于设定外迭代时间阈值T和内迭代时间阈值t。

迭代开启模块14，用于开启进程外迭代。

区域选择模块15，用于按照预设顺序从多个子区域中选择一个子区域。

进程通信模块16，用于进程当前选择的子区域数据通过构造的所述通信数据结构与邻居进程通信。

迭代结束模块17，用于迭代结束。

在本实施方式中，所述进程通信模块16具体用于：

判断当前选择的子区域是否为第一个子区域；

如果是第一个子区域，则进程当前选择的子区域数据通过Swap与邻居进程通信，如果不是第一个子区域，则进程当前选择的子区域数据通过COMBSwap与邻居进程通信；

从当前子区域的相邻子区域中获取边界格点数据；

从所述边界格点数据中随机选择一个要执行的模拟事件，计算事件的模拟时间并累加到Δt；

执行事件，更新当前格点附近子区域的数据；

判断Δt是否大于或等于所述内迭代时间阈值t；

若Δt大于或等于所述内迭代时间阈值t，则将Δt累加到ΔT并继续执行事件；

判断ΔT是否大于或等于所述外迭代时间阈值T；

若ΔT大于或等于所述外迭代时间阈值T，则继续执行事件且进程当前选择的子区域数据通过SwapReverse与邻居进程通信。

在本实施方式中，所述进程通信模块16具体还用于：若Δt小于所述内迭代时间阈值t，则从所述边界格点数据中随机选择另一个要执行的模拟事件，计算事件的模拟时间并累加到Δt。

在本实施方式中，所述进程通信模块16具体还用于：若ΔT小于所述外迭代时间阈值T，则按照预设顺序从多个子区域中选择另一个子区域。

本发明提供的一种动力学蒙特卡洛并行模拟的通信优化系统10，通过邻居集合通信建立进程间通信拓扑关系，进行三维KMC大规模并行模拟的通信聚集优化，合并部分通信过程，减少通信开销，使通信负载更加均衡。

值得注意的是，上述实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种动力学蒙特卡洛并行模拟的通信优化方法，其特征在于，所述方法包括：

构造通信数据结构；

构建邻居进程的图状拓扑结构；

开启进程外迭代；

按照预设顺序从多个子区域中选择一个子区域；

进程当前选择的子区域数据通过构造的所述通信数据结构与邻居进程通信；

迭代结束；

其中，所述通信数据结构包括Swap、SwapReverse以及COMBSwap；

所述方法还包括：

设定外迭代时间阈值T和内迭代时间阈值t；

所述进程当前选择的子区域数据通过构造的所述通信数据结构与邻居进程通信的步骤具体包括：

判断当前选择的子区域是否为第一个子区域；

如果是第一个子区域，则进程当前选择的子区域数据通过Swap与邻居进程通信，如果不是第一个子区域，则进程当前选择的子区域数据通过COMBSwap与邻居进程通信；

从当前子区域的相邻子区域中获取边界格点数据；

从所述边界格点数据中随机选择一个要执行的模拟事件，计算事件的模拟时间并累加到Δt；

执行事件，更新当前格点附近子区域的数据；

判断Δt是否大于或等于所述内迭代时间阈值t；

若Δt大于或等于所述内迭代时间阈值t，则将Δt累加到ΔT并继续执行事件；

判断ΔT是否大于或等于所述外迭代时间阈值T；

若ΔT大于或等于所述外迭代时间阈值T，则继续执行事件且进程当前选择的子区域数据通过SwapReverse与邻居进程通信。

2.如权利要求1所述的动力学蒙特卡洛并行模拟的通信优化方法，其特征在于，所述进程当前选择的子区域数据通过构造的所述通信数据结构与邻居进程通信的步骤具体还包括：

若Δt小于所述内迭代时间阈值t，则从所述边界格点数据中随机选择另一个要执行的模拟事件，计算事件的模拟时间并累加到Δt。

3.如权利要求1所述的动力学蒙特卡洛并行模拟的通信优化方法，其特征在于，所述进程当前选择的子区域数据通过构造的所述通信数据结构与邻居进程通信的步骤具体还包括：

若ΔT小于所述外迭代时间阈值T，则按照预设顺序从多个子区域中选择另一个子区域。

4.一种动力学蒙特卡洛并行模拟的通信优化系统，其特征在于，所述系统包括：

数据构造模块，用于构造通信数据结构；

进程构建模块，用于构建邻居进程的图状拓扑结构；

迭代开启模块，用于开启进程外迭代；

区域选择模块，用于按照预设顺序从多个子区域中选择一个子区域；

进程通信模块，用于进程当前选择的子区域数据通过构造的所述通信数据结构与邻居进程通信；

迭代结束模块，用于迭代结束；

其中，所述通信数据结构包括Swap、SwapReverse以及COMBSwap，其中，所述系统还包括：

阈值设定模块，用于设定外迭代时间阈值T和内迭代时间阈值t；

所述进程通信模块具体用于：

判断当前选择的子区域是否为第一个子区域；

如果是第一个子区域，则进程当前选择的子区域数据通过Swap与邻居进程通信，如果不是第一个子区域，则进程当前选择的子区域数据通过COMBSwap与邻居进程通信；

从当前子区域的相邻子区域中获取边界格点数据；

从所述边界格点数据中随机选择一个要执行的模拟事件，计算事件的模拟时间并累加到Δt；

执行事件，更新当前格点附近子区域的数据；

判断Δt是否大于或等于所述内迭代时间阈值t；

若Δt大于或等于所述内迭代时间阈值t，则将Δt累加到ΔT并继续执行事件；

判断ΔT是否大于或等于所述外迭代时间阈值T；

若ΔT大于或等于所述外迭代时间阈值T，则继续执行事件且进程当前选择的子区域数据通过SwapReverse与邻居进程通信。

5.如权利要求4所述的动力学蒙特卡洛并行模拟的通信优化系统，其特征在于，所述进程通信模块具体还用于：若Δt小于所述内迭代时间阈值t，则从所述边界格点数据中随机选择另一个要执行的模拟事件，计算事件的模拟时间并累加到Δt；

其中，所述进程通信模块具体还用于：若ΔT小于所述外迭代时间阈值T，则按照预设顺序从多个子区域中选择另一个子区域。