CN104536938A - 一种地震叠前时间偏移的计算方法及系统 - Google Patents

Abstract

本发明公开了一种地震叠前时间偏移的计算方法及系统，涉及高性能计算、石油地震勘探领域。本发明方法包括：地震叠前时间偏移的计算系统中每个计算节点收集本计算节点内GPU配置信息；如果计算节点判断本计算节点内不包含GPU卡，则直接调用叠前时间偏移CPU版本函数计算地震叠前时间偏移；如果计算节点判断本计算节点内包含GPU卡，则在调用叠前时间偏移CPU版本函数的同时，根据本计算节点内包含的GPU卡的类型，调用对应的叠前时间偏移GPU版本函数，协同计算地震叠前时间偏移。本发明还公开了一种地震叠前时间偏移的计算系统。本申请技术方案采满足了石油地震勘探资料处理的需求，并提高了叠前时间偏移的计算性能，节省功耗。

Description

一种地震叠前时间偏移的计算方法及系统

技术领域

本发明涉及高性能计算、石油地震勘探领域，具体涉及一种基于CPU+GPU的地震叠前时间偏移方案。

背景技术

叠前时间偏移是复杂构造成像最有效的方法之一，能适应纵横向速度变化较大的情况，适用于大倾角的偏移成像。叠前时间偏移已进行了多年研究，上世纪九十年代初期开始初步应用，中后期在不少探区的地震勘探中发挥了重要作用，进入本世纪后开始了较为广泛的应用，目前部分处理公司和计算中心已把该技术作为常规软件加入到常规处理流程中，成为获取保幅信息实现属性分析、AVO/AVA/AVP反演和其它参数反演的重要步骤和依据。

叠前时间偏移每输出一个地震道，就是一次海量运算。以1毫秒采样，6秒数据为例，一个地震道的输出需要至少1000万道甚至更多(偏移孔径决定)的输入道，每一个点要做两次均方根运算以及两次加法运算，振幅补偿两次乘法运算。如此计算下来，实现一道偏移需要1000000×6000×2×(平方+加法+乘法)次数学运算，计算量和需要处理的数据量都极其巨大！目前，人们往往使用大规模的服务器集群来进行叠前偏移处理，其原理是将数据先分配到各个CPU核上，然后由各个CPU核单独进行计算，最后将结果汇总输出。这种做法消耗了大量的时间、电力和维护费用。而且，随着人们对石油勘探地震资料处理的周期要求越来越短，精度要求越来越高，服务器集群的规模越做越大，在系统构建成本、数据中心机房空间、内存和I/O带宽、功耗散热和电力限制、可管理性、编程简易性、扩展性、管理维护费用等方面都面临着巨大的挑战。

综上所述，亟待提出一种可以满足地震勘探资料处理需求的叠前时间偏移系统。

发明内容

本发明所要解决的技术问题是，提供一种地震叠前时间偏移的计算方法及系统，以解决地震叠前时间偏移的性能低的问题。

为了解决上述技术问题，本发明公开一种地震叠前时间偏移的计算方法，包括：

地震叠前时间偏移的计算系统中每个计算节点收集本计算节点内图形处理器GPU配置信息；

如果计算节点根据所收集的GPU配置信息判断本计算节点内不包含GPU卡，则直接调用叠前时间偏移中央处理器CPU版本函数计算地震叠前时间偏移；

如果计算节点根据所收集的GPU配置信息判断本计算节点内包含GPU卡，则在调用叠前时间偏移CPU版本函数的同时，根据本计算节点内包含的GPU卡的类型，调用对应的叠前时间偏移GPU版本函数，协同计算地震叠前时间偏移。

可选地，上述方法中，所述GPU卡的类型至少包括费米GPU和开普勒GPU。

可选地，上述方法中，计算节点内包含的GPU卡的类型为费米GPU时，调用对应的叠前时间偏移GPU版本函数为叠前时间偏移费米GPU版本函数。

可选地，上述方法中，计算节点内包含的GPU卡的类型为开普勒GPU时，调用对应的叠前时间偏移GPU版本函数为叠前时间偏移开普勒GPU版本函数。

可选地，上述方法中，所述对应的叠前时间偏移GPU函数，采用计算统一设备架构CUDA编程模型，对偏移计算部分进行GPU移植和优化，设计偏移计算GPU内核，调用快速傅里叶变换GPU库进行快速傅里叶变换FFT计算，计算完后，调用偏移计算GPU内核。

可选地，上述方法中，所述叠前时间偏移CPU函数采用多个CPU核心并行计算FFT，再计算核心并行偏移计算。

可选地，上述方法还包括：

所述地震叠前时间偏移的计算系统采用并行存储方式存储地震道数据，所有计算节点并行读地震道数据。

本发明还公开了一种地震叠前时间偏移的计算系统，至少包括：

下发单元，触发各计算节点收集本计算节点内图形处理器GPU配置信息；

计算节点，收集本计算节点内GPU配置信息，如果根据所收集的GPU配置信息判断本计算节点内不包含GPU卡，则直接调用叠前时间偏移中央处理器CPU版本函数，如果根据所收集的GPU配置信息判断本计算节点内包含GPU卡，则在调用叠前时间偏移CPU版本函数的同时，根据本计算节点内包含的GPU卡的类型，调用对应的叠前时间偏移GPU版本函数。

可选地，上述系统中，所述GPU卡的类型至少包括费米GPU和KeplerGPU。

可选地，上述系统中，计算节点内包含的GPU卡的类型为费米GPU时，调用对应的叠前时间偏移GPU版本函数为叠前时间偏移费米GPU版本函数。

可选地，上述系统中，计算节点内包含的GPU卡的类型为开普勒GPU时，调用对应的叠前时间偏移GPU版本函数为叠前时间偏移开普勒GPU版本函数。

可选地，上述系统中，所述对应的叠前时间偏移GPU函数，采用计算统一设备架构CUDA编程模型，对偏移计算部分进行GPU移植和优化，设计偏移计算GPU内核，调用快速傅里叶变换GPU库进行快速傅里叶变换FFT计算，计算完后，调用偏移计算GPU内核。

可选地，上述系统中，所述叠前时间偏移CPU函数采用多个CPU核心并行计算FFT，再计算核心并行偏移计算。

可选地，上述系统中，所述地震叠前时间偏移的计算系统采用并行存储方式存储地震道数据。

本申请技术方案采用软硬件一体化系统设计，满足了石油地震勘探资料处理的需求，一方面使叠前时间偏移能自适应原有系统，并且能自适应新增系统，使系统能扩容升级，并且不浪费原有系统资源；另一方面提高了叠前时间偏移的计算性能，并节省功耗，降低机房构建成本和管理、运行、维护费用。

附图说明

图1为本实施例硬件平台设计逻辑图；

图2为本实施例函数调用图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文将结合附图对本发明技术方案作进一步详细说明。需要说明的是，在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

实施例1

本实施例提供一种地震叠前时间偏移系统的实现方法，主要包括如下操作：

地震叠前时间偏移的计算系统中每个计算节点收集本计算节点内GPU配置信息；

如果计算节点根据所收集的GPU配置信息判断本计算节点内不包含GPU卡，则直接调用叠前时间偏移CPU版本函数计算地震叠前时间偏移；

如果计算节点根据所收集的GPU配置信息判断本计算节点内包含GPU卡，则在调用叠前时间偏移CPU版本函数的同时，根据本计算节点内包含的GPU卡的类型，调用对应的叠前时间偏移GPU版本函数，协同计算地震叠前时间偏移。

其中，本实施例所涉及的GPU卡的类型至少包括Fermi(费米)GPU和Kepler(开普勒)GPU。

例如，计算节点内包含的GPU卡的类型为Fermi GPU时，调用对应的叠前时间偏移GPU版本函数为叠前时间偏移Fermi GPU版本函数。同样的，计算节点内包含的GPU卡的类型为Kepler GPU时，调用对应的叠前时间偏移GPU版本函数则为叠前时间偏移Kepler GPU版本函数。

另外，本实施例中所涉及的地震叠前时间偏移的计算系统采用并行存储方式存储地震道数据，所有计算节点并行读地震道数据，再进行地震叠前时间偏移计算。

还要说明的是，在上述方法的基础上，还可以包括搭建叠前时间偏移硬件架构平台的操作。下面结合附图说明包括有搭建叠前时间偏移硬件架构平台的操作的优选方案的完整实现过程。该过程中搭建叠前时间偏移硬件架构平台的部分包括以下操作：

步骤100，搭建叠前时间偏移硬件架构平台；

其逻辑图如图1所示，具体包括：

系统架构设计，采用CPU+GPU异构架构的混合集群系统模式；

计算节点设计，一部分计算节点为纯CPU节点，一部分节点为GPU(Graphic Processing Unit，图形处理器)节点，GPU节点内插的GPU卡型号可能不同，如有的GPU节点为Fermi架构的GPU卡，有的GPU节点为Kelper架构的GPU卡。GPU节点内不仅含有GPU卡，还含有CPU芯片。

存储设计，采用并行存储；

网络设计，采用Mellanox公司的56Gb/s IB高速网络，即各计算节点与交换机的之间采用高速网络进行交互。

步骤200，设计CPU+GPU协同计算叠前时间偏移软件；

该步骤主要包括两个方面的设计：

第一方面，自适应性设计，叠前时间偏移应用程序可以自适应CPU节点和GPU节点，自适应不同架构型号的GPU卡。具体过程如下：

统计集群系统中计算节点数量，假如有N个节点，则启动N个进程；

每个进程收集节点内GPU配置信息，主要统计本节点内GPU卡的个数，即各计算节点内GPU配置信息，GPU卡的编号及其对应架构型号(即GPU类型)；每个进程根据GPU配置信息判断本节点是否有GPU卡，如果没有GPU卡，则调用叠前时间偏移CPU版本函数；如果有M块GPU卡，则在进程内启(M+1)个线程。其中第一个线程调用叠前时间偏移CPU版本函数；根据据GPU架构型号，第2至(M+1)号线程调用叠前时间偏移Fermi GPU版本函数或叠前时间偏移Kepler GPU版本函数。

第二方面，高性能设计，叠前时间偏移应用将运行此系统获得高性能，叠前时间偏移计算采用CPU与GPU协同计算，CPU与GPU计算实现动态负载均衡，实现整个系统的性能最佳；

具体实现过程如下：

设计叠前时间偏移CPU函数，采用CPU多核并行计算FFT，具体调用FFT高性能库计算，偏移计算也采用多核CPU进行并行计算；

设计叠前时间偏移Fermi GPU函数,采用Fermi架构型号的GPU众核并行计算FFT，具体调用针对Fermi GPU的FFT高性能库计算，偏移计算也采用Fermi GPU进行并行计算；

设计叠前时间偏移Kepler GPU函数,采用Kepler架构型号的GPU众核并行计算FFT，具体调用针对Kepler GPU的FFT高性能库计算，偏移计算也采用Kepler GPU进行并行计算；

设计动态负载均衡机制，叠前时间偏移CPU函数、叠前时间偏移FermiGPU函数、叠前时间偏移Kepler GPU函数同时被并行线程调用，谁先算完一批地震道数据，就取下一批次地震道数据，CPU与GPU设备完全实现动态负载均衡，系统整体性能大大提升。

下面结合图2说明搭建叠前时间偏移硬件架构平台后，计算地震叠前时间偏移的过程。

首先说明一下已搭建的叠前时间偏移硬件架构平台，其逻辑图如图1所示，具体包括：

系统架构设计。采用CPU+GPU异构架构的混合集群系统模式；此集群系统由三个子集群组成，具体包括：

2个节点的CPU子集群；

2个节点的Fermi GPU子集群；

2个节点的Kepler GPU子集群。

计算节点设计。CPU子集群中每个节点包括2块CPU，每个CPU有8个计算核心；Fermi GPU子集群中的每个节点含有1块Fermi型号的GPU卡，2块8核心的CPU；Kepler GPU子集群中的每个节点含有1块Kepler型号的GPU卡，2块8核心的CPU。

存储设计。采用并行Luster存储,存放地震道数据，每个计算节点从存储上并行读地震道数据；

网络设计，采用Mellanox公司的56Gb/s IB高速网络。

设计CPU+GPU协同计算叠前时间偏移软件，具体包括：

自适应性设计。叠前时间偏移应用程序可以自适应CPU节点和GPU节点，自适应不同架构型号的GPU卡。

具体地，计算地震叠前时间偏移的过程如下：

统计集群系统中计算节点数量，共6个节点，编号0,1,2，3,4,5号节点，每个节点启动一个进程，则CPU+GPU协同计算叠前时间偏移程序共启动6个进程处理，进程编号为0,1,2，3,4,5；其中0号进程对应0号节点，1号进程对应1号节点，如此类推。

每个进程调用GPU安装包自带的devicequery程序，收集节点内GPU配置信息，其中0号和1号进程统计到本节点内GPU卡的个数为0，2号和3号进程统计到本节点内GPU卡数量为1个，且为Fermi型号；4号和5号进程统计到本节点内GPU卡数量为1个，且为Kepler型号；

每个进程根据GPU配置信息判断本节点是否有GPU卡，0号和1号节点没有GPU卡，则调用叠前时间偏移CPU版本函数；2号和3号节点有1块GPU卡，则在2号和3号进程内分别启2个线程。其中第一个线程调用叠前时间偏移CPU版本函数，第二个线程调用叠前时间偏移Fermi GPU版本函数；4号和5号节点有1块GPU卡，则在4号和5号进程内分别启2个线程。其中第一个线程调用叠前时间偏移CPU版本函数，第二个线程调用叠前时间偏移Kepler GPU版本函数，其调用如图2所示；

高性能设计。叠前时间偏移应用将运行此系统获得高性能，叠前时间偏移计算采用CPU与GPU协同计算，CPU与GPU计算实现动态负载均衡，实现整个系统的性能最佳，具体过程如下：

设计叠前时间偏移CPU函数，每个节点有16个CPU计算核心，采用16个CPU核心并行计算FFT，具体调用Intel MKL内的FFT函数库计算，计算完后，采用16个CPU计算核心并行偏移计算；

设计叠前时间偏移Fermi GPU函数,针对Fermi GPU架构平台，采用CUDA(Compute Unified Device Architecture)编程模型，对偏移计算部分进行GPU移植和优化，设计偏移计算GPU内核。调用cuFFT库进行FFT计算，计算完后，调用偏移计算GPU内核；

设计叠前时间偏移Kepler GPU函数,针对Kepler GPU架构平台，采用CUDA编程模型，对偏移计算部分进行GPU移植和优化，设计偏移计算GPU内核。调用cuFFT库进行FFT计算，计算完后，调用偏移计算GPU内核；

设计动态负载均衡机制，在2、3号节点内，由于既有CPU，又有1块Fermi GPU，叠前时间偏移CPU函数、叠前时间偏移Fermi GPU函数同时被进程内0号和1号线程并行调用，随先算完一批地震道数据，就取下一批次地震道数据，CPU与GPU设备完全实现动态负载均衡，系统整体性能大大提升，同理4,5号节点也是如此。

实施例2

本实施例提供一种地震叠前时间偏移的计算系统，至少包括如下各部分。

下发单元，触发各计算节点收集本计算节点内GPU配置信息；

计算节点，收集本计算节点内GPU配置信息，如果根据所收集的GPU配置信息判断本计算节点内不包含GPU卡，则直接调用叠前时间偏移CPU版本函数，如果根据所收集的GPU配置信息判断本计算节点内包含GPU卡，则在调用叠前时间偏移CPU版本函数的同时，根据本计算节点内包含的GPU卡的类型，调用对应的叠前时间偏移GPU版本函数。

其中，GPU卡的类型至少包括Fermi GPU和Kepler GPU。

具体地，计算节点内包含的GPU卡的类型为Fermi GPU时，调用对应的叠前时间偏移GPU版本函数即为叠前时间偏移Fermi GPU版本函数。同样地，计算节点内包含的GPU卡的类型为Kepler GPU时，调用对应的叠前时间偏移GPU版本函数则为叠前时间偏移Kepler GPU版本函数。

实际应用中，对应的叠前时间偏移GPU函数，可以采用CUDA编程模型，对偏移计算部分进行GPU移植和优化，设计偏移计算GPU内核，调用cuFFT库进行FFT计算，计算完后，调用偏移计算GPU内核。

叠前时间偏移CPU函数则可以采用多个CPU核心并行计算FFT，再计算核心并行偏移计算。

还要说明的是，上述地震叠前时间偏移的计算系统可以采用并行存储方式存储地震道数据，这样，所有计算节点并行读地震道数据。

由于上述系统可以实现上述实施例1的方法，其该系统的其他详细操作可参见上述实施例1的相应内容，在此不再赘述。

从上述实施例可以看出，本申请技术方案具有高性能特点，采用软硬件一体化设计，针对叠前时间偏移应用，进行定制化硬件设计，并且基于CPU+GPU异构架构，原有CPU版本叠前时间偏移程序进行CUDA实现，采用GPU进行加速，使运行此硬件平台的叠前时间偏移应用获得高性能；该系统具有自适应特点，叠前时间偏移程序可以针对不同的节点和不同的GPU卡型号，进行自适应判断，从而运行于此系统中的不同计算平台，使整个系统的资源可以充分利用；该系统具有低成本特点，此系统比传统的基于CPU的地震叠前时间偏移系统在处理相同问题规模的功耗更低，并且由于系统具有自适应性，可以在保留原有CPU集群系统，避免了原有资源舍弃的成本浪费，在少量增加GPU节点的基础上，就可以实现扩容，并且降低机房构建成本和管理、运行、维护费用。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请不限制于任何特定形式的硬件和软件的结合。

以上所述，仅为本发明的较佳实例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种地震叠前时间偏移的计算方法，其特征在于，该方法包括：

地震叠前时间偏移的计算系统中每个计算节点收集本计算节点内图形处理器GPU配置信息；

如果计算节点根据所收集的GPU配置信息判断本计算节点内不包含GPU卡，则直接调用叠前时间偏移中央处理器CPU版本函数计算地震叠前时间偏移；

如果计算节点根据所收集的GPU配置信息判断本计算节点内包含GPU卡，则在调用叠前时间偏移CPU版本函数的同时，根据本计算节点内包含的GPU卡的类型，调用对应的叠前时间偏移GPU版本函数，协同计算地震叠前时间偏移。

2.如权利要求1所述的方法，其特征在于，

所述GPU卡的类型至少包括费米GPU和开普勒GPU。

3.如权利要求2所述的方法，其特征在于，计算节点内包含的GPU卡的类型为费米GPU时，调用对应的叠前时间偏移GPU版本函数为叠前时间偏移费米GPU版本函数。

4.如权利要求2所述的方法，其特征在于，计算节点内包含的GPU卡的类型为开普勒GPU时，调用对应的叠前时间偏移GPU版本函数为叠前时间偏移开普勒GPU版本函数。

5.如权利要求3或4所述的方法，其特征在于，

所述对应的叠前时间偏移GPU函数，采用计算统一设备架构CUDA编程模型，对偏移计算部分进行GPU移植和优化，设计偏移计算GPU内核，调用快速傅里叶变换GPU库进行快速傅里叶变换FFT计算，计算完后，调用偏移计算GPU内核。

6.如权利要求5所述的方法，其特征在于，

所述叠前时间偏移CPU函数采用多个CPU核心并行计算FFT，再计算核心并行偏移计算。

7.如权利要求6所述的方法，其特征在于，该方法还包括：

所述地震叠前时间偏移的计算系统采用并行存储方式存储地震道数据，所有计算节点并行读地震道数据。

8.一种地震叠前时间偏移的计算系统，其特征在于，至少包括：

下发单元，触发各计算节点收集本计算节点内图形处理器GPU配置信息；

计算节点，收集本计算节点内GPU配置信息，如果根据所收集的GPU配置信息判断本计算节点内不包含GPU卡，则直接调用叠前时间偏移中央处理器CPU版本函数，如果根据所收集的GPU配置信息判断本计算节点内包含GPU卡，则在调用叠前时间偏移CPU版本函数的同时，根据本计算节点内包含的GPU卡的类型，调用对应的叠前时间偏移GPU版本函数。

9.如权利要求8所述的系统，其特征在于，

所述GPU卡的类型至少包括费米GPU和Kepler GPU。

10.如权利要求9所述的系统，其特征在于，计算节点内包含的GPU卡的类型为费米GPU时，调用对应的叠前时间偏移GPU版本函数为叠前时间偏移费米GPU版本函数。

11.如权利要求9所述的系统，其特征在于，计算节点内包含的GPU卡的类型为开普勒GPU时，调用对应的叠前时间偏移GPU版本函数为叠前时间偏移开普勒GPU版本函数。

12.如权利要求10或11所述的系统，其特征在于，

所述对应的叠前时间偏移GPU函数，采用计算统一设备架构CUDA编程模型，对偏移计算部分进行GPU移植和优化，设计偏移计算GPU内核，调用快速傅里叶变换GPU库进行快速傅里叶变换FFT计算，计算完后，调用偏移计算GPU内核。

13.如权利要求12所述的系统，其特征在于，

所述叠前时间偏移CPU函数采用多个CPU核心并行计算FFT，再计算核心并行偏移计算。

14.如权利要求13所述的系统，其特征在于，

所述地震叠前时间偏移的计算系统采用并行存储方式存储地震道数据。