CN117149706B - 一种地震模拟数据的大规模并行优化方法及系统 - Google Patents

Abstract

本公开提供了一种地震模拟数据的大规模并行优化方法及系统，涉及地震数据高性能计算技术领域，包括获取地震模拟中上一时间段输出的波场快照以及重启restart文件并进行LZ4压缩；判断上一时间段程序是否产生异常退出断点，下一时间段是否从最近断点重启；若是从最近断点重启，则解压上一时间段输出重启restart文件进行地震模拟，通过分组IO优化策略，获取输出的下一时间段的波场快照，并保存重启文件，分别再进行LZ4压缩后写入磁盘；若不是从最近断点重启，则重新进行地震模拟，并通过分组IO优化策略输出波场快照以及重启文件，分别再进行LZ4压缩后写入磁盘。本公开大大提高了大规模地震模拟时的IO效率。

Description

一种地震模拟数据的大规模并行优化方法及系统

技术领域

本公开涉及地震数据高性能计算技术领域，具体涉及一种地震模拟数据的大规模并行优化方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

完整的大规模复杂地震过程模拟工作流程十分复杂，并且地震发生地的地形区域地质结构极其复杂，基于高性能计算系统的典型地震应用模拟涉及海量数据的频繁读写、通信和计算等，对系统的性能和稳定均带来了严峻挑战。在震源算法和地震波模拟算法的基础上，需要进一步研发确保E级系统处理地震大数据的支撑模块，才能确保复杂过程地震模拟软件处理所需海量数据、复杂计算等的鲁棒性。

地震过程模拟的输出主要包括两个方面：波场快照和重启restart文件，为了将地震模拟结果动态展示出来，以及实时检测地震模拟结果正确性，需要将地震模拟结果每隔固定的迭代步输出到本地磁盘。这些结果是地震波在某个时刻的快照，是分析地震模拟结果或可视化的必要数据，而其输出文件的大小通常在几百GB到几十TB数量级。

一次大规模的地震模拟可能需要数十个小时甚至数天来完成，在这种情况下，能够用于保存和恢复断点的重启控制模块显得尤为重要，可以有效预防地震模拟程序由于出现不可恢复的错误而浪费大量机时。在地震波传播过程模拟计算时，定期将每个进程参与迭代计算的内部状态变量存储到硬盘中（断点），这样当程序异常退出时，地震模拟可从最近的断点启动以便继续模拟。而重启restart模块的输出文件比波场快照的输出文件更大，约几百TB。

在波场快照输出与重启restart模块中，IO是对性能影响最大的瓶颈。例如在30m分辨率下，每个重启检查点需输出的内部状态变量超过30多TB，这对新一代超算文件系统的IO带宽和存储容量都造成巨大挑战。因此为了提高地震模拟中的IO效率，减少IO开销，需要确保复杂过程地震模拟软件处理所需海量数据、复杂计算等的鲁棒性。

神威超算系统使用的文件系统是Lustre分布式文件系统，每一个节点均没有本地磁盘，而是访问共享文件系统。根据以往的经验，神威超算系统中每个目录的文件数量超过6,000的情况会不同程度地影响到此目录下的IO效率。在复杂地震模拟中，当600,000个进程同时发起IO请求时，第一种方案，假设仅设置1个IO代理进程，所有进程都将数据归约到这一个代理进程，这会使得该IO代理进程压力极大，整体上IO效率极低，同时输出文件大小可达几百TB数量级，会过分占用存储空间，本地磁盘空间严重不足，可以考虑对文件进行压缩处理，同时本情况下，仅使用一个进程进行压缩，显然效率低下；第二种方案，假设将每一个进程都设置为IO代理进程，600,000进程并行处理大量的IO请求，会导致系统压力很大，其IO效率仍然很低甚至有可能出现读写卡死的情况，另外，还需要专门写一个后处理程序将所有IO代理进程的输出文件进行合并，这会增加出错风险，使得整体IO开销大大增加。

发明内容

本公开为了解决上述问题，提出了一种地震模拟数据的大规模并行优化方法及系统，通过分组IO和LZ4压缩解决IO效率低和磁盘空间不足的问题。

根据一些实施例，本公开采用如下技术方案：

一种地震模拟数据的大规模并行优化方法，包括：

获取地震模拟中上一时间段输出的波场快照以及重启restart文件并进行LZ4压缩；

判断上一时间段程序是否产生异常退出断点，下一时间段是否从最近断点重启；

若是从最近断点重启，则解压上一时间段输出重启restart文件进行地震模拟，通过分组IO优化策略，获取输出的下一时间段的波场快照，并保存重启文件，分别再进行LZ4压缩后写入磁盘；

若不是从最近断点重启，则重新进行地震模拟，并通过分组IO优化策略输出波场快照以及重启文件，分别再进行LZ4压缩后写入磁盘。

作为一种实施例，所述压缩方式为实时压缩。

作为一种实施例，所述进行LZ4压缩是对地震模拟输出的波场快照和重启文件进行实时压缩，并且在不同时刻的文件压缩率为20%-90%。

作为一种实施例，所述分组IO优化策略为：当多个进程同时发起IO请求时，将多个进程分成若干组，并将IO请求分散到不同的文件系统目录。

作为一种实施例，所述分组IO优化的分组依据为：根据进程所在的坐标位置确立分组，设置IO代理进程，由代理程序输出局部数据。

作为一种实施例，每一组进程的IO请求被平均分散到不同的节点和IO代理。

作为一种实施例，所述波场快照以及重启文件每隔固定的迭代步输出到本地磁盘。

作为一种实施例，获取地震模拟中上一时间段输出的波场快照以及重启restart文件并进行LZ4压缩，包括：设置的是每隔a个迭代步输出一次波场快照，那么每隔a个迭代步，地震模拟软件都会通过分组IO策略输出并保存波场快照文件，由每个进程组的代理进程负责收集本进程组的所有数据，并通过LZ4压缩方法实时压缩数据并写入磁盘。

作为一种实施例，若设置的是每隔b，波场快照的输出频次通常是高于断点保存的频次的，即a通常是小于b个迭代步输出一次波场快照，那么每隔b个迭代步，地震模拟软件也都会通过分组IO策略输出并保存重启restart文件，由每个进程组的代理进程负责收集本进程组所有的数据，并通过LZ4压缩方法实时压缩数据并写入磁盘。

根据一些实施例，本公开采用如下技术方案：

一种地震模拟数据的大规模并行优化系统，包括：

数据获取模块，用于获取地震模拟中上一时间段输出的波场快照以及重启restart文件并进行LZ4压缩；

数据更新迭代模块，用于判断上一时间段程序是否产生异常退出断点，下一时间段是否从最近断点重启；

若是从最近断点重启，则解压上一时间段输出重启restart文件进行地震模拟，通过分组IO优化策略，获取输出的下一时间段的波场快照，并保存重启文件，分别再进行LZ4压缩后写入磁盘；

若不是从最近断点重启，则重新进行地震模拟，并通过分组IO优化策略输出波场快照以及重启文件，分别再进行LZ4压缩后写入磁盘。

与现有技术相比，本公开的有益效果为：

本公开的分组IO优化策略可以有效地降低文件系统代理的压力和调度开销，大大提高了大规模地震模拟时的IO效率。

本公开使用了LZ4压缩方法对地震模拟的输出包括波场快照和重启文件进行压缩，在不同时刻的文件压缩率为20%-90%，可以有效降低输出文件大小，减小存储开销，节约IO带宽和存储空间。

本公开分组IO优化和LZ4实时压缩使得地震模拟软件系统并行读写海量文件更快，实现了高效存取，从整体上提高了地震模拟效率，尽可能减少了计算资源的浪费，进一步提高基于国产E级系统的复杂地震模拟软件的性能，更加方便示范应用的开展以及推广。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例所述的方法流程示意图；

图2为本公开的分组IO和LZ4压缩示意图。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例1

本公开的一种实施例中提供了一种地震模拟数据的大规模并行优化方法，包括：

获取地震模拟中上一时间段输出的波场快照以及重启restart文件并进行LZ4压缩；

判断上一时间段程序是否产生异常退出断点，下一时间段是否从最近断点重启；

若是从最近断点重启，则解压上一时间段输出重启restart文件进行地震模拟，通过分组IO优化策略，获取输出的下一时间段的波场快照，并保存重启文件，分别再进行LZ4压缩后写入磁盘；

若不是从最近断点重启，则重新进行地震模拟，并通过分组IO优化策略输出波场快照以及重启文件，分别再进行LZ4压缩后写入磁盘。

如图1所示，整个对地震输出的数据进行并行优化的方法为：

首先整个地震模拟软件的运行需要先判断是否需要从最近的断点启动以便继续进行模拟。

如果需要，那么获取并解压最近一次的重启文件，地震模拟开始从这个断点启动继续进行地震模拟；如果不需要，那么重新开始进行地震模拟。

此时，即地震模拟软件运行时，假设程序设置的是每隔a（可调整）个迭代步输出一次波场快照，那么每隔a个迭代步，地震模拟软件都会通过分组IO策略输出并保存波场快照文件，具体表现为由每个进程组的代理进程负责收集本进程组的所有数据，并通过LZ4压缩方法实时压缩数据并写入磁盘。

假设程序设置的是每隔b（可调整，同时波场快照输出是为了将地震模拟结果动态展示出来，以及实时检测地震模拟结果正确性，所以波场快照的输出频次通常是高于断点保存的频次的，即a通常是小于b的，例如设置a=200，b=1000）个迭代步保存一次断点，那么每隔b个迭代步，地震模拟软件也都会通过分组IO策略输出并保存重启restart文件，具体表现为由每个进程组的代理进程负责收集本进程组所有的数据（每个进程参与迭代计算的内部状态变量），并通过LZ4压缩方法实时压缩数据并写入磁盘。

作为一种实施例，所述压缩方式为实时压缩。

作为一种实施例，所述分组IO优化策略为：当多个进程同时发起IO请求时，将多个进程分成若干组，并将IO请求分散到不同的文件系统目录。

分组的依据为：根据进程所在的坐标位置确立分组，设置IO代理进程，由代理程序输出局部数据。

具体的，当600,000进程同时发起IO请求时，把进程分成若干组，每组约5,000个进程，并将IO请求分散到不同的文件系统目录。在进行IO分组时，依据进程所在坐标位置确立分组，为了唯一标识每一个进程，通过进程ID区分每一个进程，用坐标系来更方便的计算进程ID，例如在图2，进程ID为5的坐标位置为y=0,z=5,即可通过y*10+z计算得到该进程的唯一标识ID号5。

关于根据坐标位置分组，当总共600,000进程，可设置120（可调整）个进程组，每个进程组约5000个进程，然后为了方便，可以设置0号到4999号这5000个进程作为第1个进程组，以此类推就完成了根据坐标位置分组工作；每组设置IO代理进程，（如yz平面的进程将数据归约到几个代理进程），代理进程负责将本进程组的所有数据收集起来并进行后面的压缩操作；由代理程序输出局部数据。每个进程组的所有数据需要归约到本进程组的代理进程，那这个代理进程所得到的数据相对于所有600,000个进程的数据来说就是局部数据。

在这种IO组织方式中，每一组进程的IO请求都被平均分散到不同的节点和IO代理，能有效避免IO代理间负载不均衡现象。分组IO可以有效地降低文件系统代理的压力和调度开销，大大提高了大规模地震模拟时的IO效率。

地震过程模拟的输出主要包括两个方面：波场快照和重启restart文件。将地震模拟结果每隔固定的迭代步输出到本地磁盘，具体的，使用了LZ4压缩方法对地震模拟的输出包括波场快照和重启文件进行压缩，在不同时刻的文件压缩率为20%-90%，可以有效降低输出文件大小，减少存储开销，节约IO带宽和存储空间。

如图2所示，假设复杂地震模拟软件的输出是大小为1000×1000×1000的三维数据，进程数目设置为10×10×10，其映射关系为一个进程处理100×100×100大小的数据，取一个yz平面作为本文优化方法的示意图背景，那么一个yz面的进程数目为10×10。我们的分组IO策略即将所有进程分成5（该数据不固定可调整）个进程一组，并设置组内进程号最大的那个进程为IO代理进程。如图1所示，0,1,2,3,4号进程被划分为一个进程组，其中4号进程被设置为IO代理进程，4号进程需要收集0,1,2,3号进程的数据并将其写入磁盘，分组IO策略有效缓解了IO压力；当IO代理进程（如：4号进程、9号进程、14号进程等等）将数据写入磁盘时，同时使用LZ4压缩方法对数据文件进行实时压缩，可有效降低文件大小，节约存储空间，同时多个IO代理进程并行压缩，提高了压缩效率。

实施例2

本公开的一种实施例中提供了一种地震模拟数据的大规模并行优化系统，包括：

数据获取模块，用于获取地震模拟中上一时间段输出的波场快照以及重启restart文件并进行LZ4压缩；

数据更新迭代模块，用于判断上一时间段程序是否产生异常退出断点，下一时间段是否从最近断点重启；

若是从最近断点重启，则解压上一时间段输出重启restart文件进行地震模拟，通过分组IO优化策略，获取输出的下一时间段的波场快照，并保存重启文件，分别再进行LZ4压缩后写入磁盘；

若不是从最近断点重启，则重新进行地震模拟，并通过分组IO优化策略输出波场快照以及重启文件，分别再进行LZ4压缩后写入磁盘。

其中，所述系统具体所执行的方法为：

获取地震模拟中上一时间段输出的波场快照以及重启restart文件并进行LZ4压缩；

判断上一时间段程序是否产生异常退出断点，下一时间段是否从最近断点重启；

若是从最近断点重启，则解压上一时间段输出重启restart文件进行地震模拟，通过分组IO优化策略，获取输出的下一时间段的波场快照，并保存重启文件，分别再进行LZ4压缩后写入磁盘；

若不是从最近断点重启，则重新进行地震模拟，并通过分组IO优化策略输出波场快照以及重启文件，分别再进行LZ4压缩后写入磁盘。

本公开是参照根据本公开实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (6)

1.一种地震模拟数据的大规模并行优化方法，其特征在于，包括：

获取地震模拟中上一时间段输出的波场快照以及重启restart文件并进行LZ4压缩；

获取地震模拟中上一时间段输出的波场快照以及重启restart文件并进行LZ4压缩，包括：设置的是每隔a个迭代步输出一次波场快照，那么每隔a个迭代步，地震模拟软件都会通过分组IO策略输出并保存波场快照文件，由每个进程组的代理进程负责收集本进程组的所有数据，并通过LZ4压缩方法实时压缩数据并写入磁盘；

若设置的是每隔b个迭代步，波场快照的输出频次高于断点保存的频次，即a是小于b个迭代步输出一次波场快照，那么每隔b个迭代步，地震模拟软件也都会通过分组IO策略输出并保存重启restart文件，由每个进程组的代理进程负责收集本进程组所有的数据，并通过LZ4压缩方法实时压缩数据并写入磁盘；

判断上一时间段程序是否产生异常退出断点，下一时间段是否从最近断点重启；

若是从最近断点重启，则解压上一时间段输出重启restart文件进行地震模拟，通过分组IO优化策略，获取输出的下一时间段的波场快照，并保存重启文件，分别再进行LZ4压缩后写入磁盘；

所述分组IO优化策略为：当多个进程同时发起IO请求时，将多个进程分成若干组，并将IO请求分散到不同的文件系统目录；

分组IO优化的分组依据为：根据进程所在的坐标位置确立分组，设置IO代理进程，由代理程序输出局部数据；

若不是从最近断点重启，则重新进行地震模拟，并通过分组IO优化策略输出波场快照以及重启文件，分别再进行LZ4压缩后写入磁盘。

2.如权利要求1所述的一种地震模拟数据的大规模并行优化方法，其特征在于，所述LZ4压缩为实时压缩。

3.如权利要求1所述的一种地震模拟数据的大规模并行优化方法，其特征在于，所述进行LZ4压缩是对地震模拟输出的波场快照和重启文件进行实时压缩，并且在不同时刻的文件压缩率为20%-90%。

4.如权利要求1所述的一种地震模拟数据的大规模并行优化方法，其特征在于，每一组进程的IO请求被平均分散到不同的节点和IO代理。

5.如权利要求1所述的一种地震模拟数据的大规模并行优化方法，其特征在于，所述波场快照以及重启文件每隔固定的迭代步输出到本地磁盘。

6.一种地震模拟数据的大规模并行优化系统，其特征在于，包括：

数据获取模块，用于获取地震模拟中上一时间段输出的波场快照以及重启restart文件并进行LZ4压缩；

获取地震模拟中上一时间段输出的波场快照以及重启restart文件并进行LZ4压缩，包括：设置的是每隔a个迭代步输出一次波场快照，那么每隔a个迭代步，地震模拟软件都会通过分组IO策略输出并保存波场快照文件，由每个进程组的代理进程负责收集本进程组的所有数据，并通过LZ4压缩方法实时压缩数据并写入磁盘；

若设置的是每隔b个迭代步，波场快照的输出频次高于断点保存的频次，即a是小于b个迭代步输出一次波场快照，那么每隔b个迭代步，地震模拟软件也都会通过分组IO策略输出并保存重启restart文件，由每个进程组的代理进程负责收集本进程组所有的数据，并通过LZ4压缩方法实时压缩数据并写入磁盘；

数据更新迭代模块，用于判断上一时间段程序是否产生异常退出断点，下一时间段是否从最近断点重启；

若是从最近断点重启，则解压上一时间段输出重启restart文件进行地震模拟，通过分组IO优化策略，获取输出的下一时间段的波场快照，并保存重启文件，分别再进行LZ4压缩后写入磁盘；

所述分组IO优化策略为：当多个进程同时发起IO请求时，将多个进程分成若干组，并将IO请求分散到不同的文件系统目录；

分组IO优化的分组依据为：根据进程所在的坐标位置确立分组，设置IO代理进程，由代理程序输出局部数据；

若不是从最近断点重启，则重新进行地震模拟，并通过分组IO优化策略输出波场快照以及重启文件，分别再进行LZ4压缩后写入磁盘。