CN110320553A - 地震属性求取的分布式实现方法 - Google Patents
地震属性求取的分布式实现方法 Download PDFInfo
- Publication number
- CN110320553A CN110320553A CN201810278545.7A CN201810278545A CN110320553A CN 110320553 A CN110320553 A CN 110320553A CN 201810278545 A CN201810278545 A CN 201810278545A CN 110320553 A CN110320553 A CN 110320553A
- Authority
- CN
- China
- Prior art keywords
- sub
- server
- merger
- file
- block data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013507 mapping Methods 0.000 claims abstract description 108
- 238000003860 storage Methods 0.000 claims abstract description 72
- 238000004364 calculation method Methods 0.000 claims abstract description 32
- 230000005540 biological transmission Effects 0.000 claims abstract description 20
- 241001269238 Data Species 0.000 claims abstract description 12
- 230000000694 effects Effects 0.000 claims abstract description 8
- 238000007726 management method Methods 0.000 claims description 18
- 238000013500 data storage Methods 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims description 2
- 230000014759 maintenance of location Effects 0.000 claims 1
- 238000004458 analytical method Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 206010033799 Paralysis Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000003208 petroleum Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V1/00—Seismology; Seismic or acoustic prospecting or detecting
- G01V1/28—Processing seismic data, e.g. for interpretation or for event detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V1/00—Seismology; Seismic or acoustic prospecting or detecting
- G01V1/28—Processing seismic data, e.g. for interpretation or for event detection
- G01V1/36—Effecting static or dynamic corrections on records, e.g. correcting spread; Correlating seismic signals; Eliminating effects of unwanted energy
- G01V1/362—Effecting static or dynamic corrections; Stacking
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Acoustics & Sound (AREA)
- Environmental & Geological Engineering (AREA)
- Geology (AREA)
- General Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Geophysics (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
本发明公开了一种地震属性求取的分布式实现方法,包括步骤一:基于八叉树结构将源地震数据切分成多个子块数据文件,将所有子块数据文件平均传输到各个子块存储服务器中;步骤二:部署不少于一个的映射服务器和不少于一个的归并服务器;步骤三:确定地震属性任务及其作用的子块数据文件集;步骤四:将子块数据文件集中的子块数据文件对映射服务器和归并服务器分别进行分配;步骤五:映射服务器对子块数据文件进行计算,并将映射计算结果文件发送给归并服务器;步骤六:归并服务器依次对单个的映射计算结果文件进行归并,得到归并结果文件,并将其进行存储。本发明实现了地震数据的分布式存储,将大数据分成多个小数据进行计算,提高了计算效率。
Description
技术领域
本发明属于地震属性求取领域,具体涉及一种地震属性求取的分布式实现方法。
背景技术
地震资料解释尤其是三维地震资料解释技术的应用与发展促进了地震属性的出现、发展及其应用,地震属性分析技术在地层岩性解释、构造解释、储层评价、油藏特征描述以及油藏流体动态检测等方面得到了广泛应用,并且在油气勘探开发中起着越来越重要的作用,从而导致了地震属性分析技术已成为现代油气资源勘探和开发工作中不可或缺的常规技术。因此,对地震属性技术在储层预测中的应用的研究显得十分重要。地震属性分析就是以地震属性为载体从地震资料中提取隐含的信息,并结合地质、钻井资料,进行储层岩性及岩相、储层物性和含油气性分析。
在现有石油勘探领域中,在了满足大数据量地震数据的高效、高可靠性分布式存储前提下,需要形成配套的大数据分析技术来挖掘潜在的油气资源价值。目前较为主流的粗粒度并行处理应用框架是基于大型机的并行处理系统。基于大型机的并行处理系统在面向集群的大文件存取存在着对存储和执行环境要求高、网络互连设备昂贵、地理上连接距离有限、需要配备专业人员维护、访问速度瓶颈等问题;例如单个大文件I/O节点不仅因大量数据交换而变得很慢,还存在单点故障、容易造成集群瘫痪等实际问题。
因此现如今亟需一种数据交换快,不容易出现单点故障的地震属性求取的分布式实现方法。
发明内容
本发明所要解决的是现有的单机环境地震属性分析计算方法比较耗时、数据交换缓慢以及单点故障容易造成集群瘫痪的问题。
为了解决上述技术问题,本发明提供了一种地震属性求取的分布式实现方法,包括:
步骤一:基于八叉树结构将源地震数据切分成多个子块数据,每个所述子块数据存储于一个子块数据文件中,将所有所述子块数据文件平均传输到各个子块存储服务器中;
步骤二:部署不少于一个的映射服务器和不少于一个的归并服务器;
步骤三:确定地震属性任务及其作用的子块数据文件集;
步骤四:将所述子块数据文件集中的子块数据文件对所述映射服务器和所述归并服务器分别进行分配;
步骤五:所述映射服务器根据所述地震属性任务依次对分配的单个子块数据文件进行计算,得到对应的映射计算结果文件,并将所述映射计算结果文件发送到与其对应的子块数据文件分配的所述归并服务器中;
步骤六:所述归并服务器依次对单个的所述映射计算结果文件进行归并,得到归并结果文件,并将所述归并结果文件进行存储。
优选的是,在步骤一之前还包括步骤:
根据实际情况部署本地服务器、存储管理服务和多个子块存储服务,所述本地服务器用于存放源地震数据,所述存储管理服务器用于存放预设切分参数和所述子块存储服务器的服务器参数,所述子块存储服务器用于存放子块数据文件和源地震数据测网信息的索引文件。
优选的是,步骤一具体包括:
在本地服务器中根据用户输入的预设切分参数基于八叉树结构将源地震数据切分成多个子块数据,每个所述子块数据存储于一个所述子块数据文件中,将所有所述子块数据文件平均传输到各个子块存储服务器中,并将所述预设切分参数和所述子块存储服务的服务器参数传输到所述存储管理服务器中。
优选的是,步骤二具体包括:
根据实际情况部署任务管理服务器以及不少于一个的映射服务器和不少于一个的归并服务器,并对所述任务管理服务器、映射服务器和归并服务器的服务器参数进行配置;所述任务管理服务器用于管理所述映射服务器和所述归并服务器。
优选的是,所述服务器参数包括服务器的地址、端口、工作路径以及关系数据传输路径。
优选的是,所述地震属性任务包括待求取地震属性和待求取地震属性计算参数。
优选的是,所述子块数据文件集通过参数范围进行确定,子块数据文件集的参数范围包括主测线范围、联络线范围和深度范围。
优选的是,步骤四具体包括:
基于负载均衡策略将所述子块数据文件集中的子块数据文件对所述映射服务器和所述归并服务器分别进行分配。
优选的是,步骤五具体包括:
所述映射服务器读取一个分配的子块数据文件,并生成该子块数据文件所属的多个键值对;
根据所述地震属性任务依次对键值对进行计算,得到计算后的键值对;
当计算后的键值对达到预设的内存数量限制时,将计算后的键值对存储于对应的映射结果文件中,重复上述计算存储步骤,直到当前所述子块数据文件计算存储完毕后,得到一个存储有当前所述子块数据文件所有计算过的键值对的映射结果文件;
将所述映射计算结果文件发送到当前所述子块数据文件分配的所述归并服务器中;
依次读取下一个分配的所述子块数据文件,重复上述步骤,直到所有分配到当前所述映射服务器的所述子块数据文件完成映射计算。
优选的是,步骤六具体包括:
所述归并服务器接收一个所述映射结果文件,获取该映射结果文件中计算后的键值对数据,并对其进行归并;
当归并后的键值对达到设定的内存数量限制时,将归并后的键值对存储于对应的归并结果文件中,重复上述归并步骤,直到当前所述映射结果文件归并完毕后,得到一个存储有当前所述子块数据文件所有归并过的键值对的归并结果文件;
依次接收下一个所述映射结果文件,重复上述步骤,直到所有分配到当前所述归并服务器的所述子块数据文件完成归并计算,并将得到的所有所述归并结果文件存储到输出文件中。
与现有技术相比,上述方案中的一个或多个实施例可以具有如下优点或有益效果:
应用本发明实施例提供的地震属性求取的分布式实现方法,基于八叉树结构,将源地震数据切分成多个子块数据,并实现其分布式存储,将大数据分成多个小数据进行计算,减少了单机计算工作量,提高了计算效率。本申请还通过映射归并服务实现将多个子块数据在不同的机器上进行映射,最后再将计算结果根据约定的规则归并到一起,得到最终计算结果或分析结果。相比于传统方法,使用本申请地震属性求取的分布式实现方法完成地震属性分析相关计算用时明显减少,并且计算用时随着集群中节点数目的增加而减少。
本发明的其它特征和优点将在随后的说明书中阐述,并且部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例共同用于解释本发明,并不构成对本发明的限制。在附图中:
图1示出了本发明实施例一的地震属性分布式求取实现方法流程图;
图2示出了本发明实施一例的映射服务器的工作流程图;
图3示出了本发明实施一例的归并服务器的工作流程图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式,借此对本发明如何应用技术手段来解决技术问题,并达成技术效果的实现过程能充分理解并据以实施。需要说明的是,只要不构成冲突,本发明中的各个实施例以及各实施例中的各个特征可以相互结合,所形成的技术方案均在本发明的保护范围之内。
地震属性研究经过了40年左右的发展,迄今为止,已经提出了许多含义各异的地震属性。地震属性分析技术在地层岩性解释、构造解释、储层评价、油藏特征描述以及油藏流体动态检测等方面得到了广泛应用,并且在油气勘探开发中起着越来越重要的作用。地震属性技术能提取隐藏在地震资料中的有用信息,提高对储层有利区预测的准确度。因此,对地震属性技术在储层预测中的应用的研究显得十分重要。然而现有的较为主流的粗粒度并行处理应用框架是基于大型机的并行处理系统,该系统存在着对存储和执行环境要求高、网络互连设备昂贵、地理上连接距离有限、需要配备专业人员维护、访问速度瓶颈等问题;单个大文件I/O节点不仅因大量数据交换而变得很慢,还存在单点故障、容易造成集群瘫痪等实际问题。
实施例一
为解决现有技术中存在的上述技术问题,本发明实施例提供了一种地震属性求取的分布式实现方法。
如图1所示,图1示出了本发明实施例一的地震属性分布式求取实现方法流程图;参照图1,本发明地震属性求取的分布式实现方法包括如下步骤。
步骤一:根据实际情况部署本地服务器、存储管理服务和多个子块存储服务,本地服务器用于存放源地震数据,存储管理服务器用于存放预设切分参数和子块存储服务器的服务器参数,子块存储服务器用于存放子块数据文件和源地震数据测网信息的索引文件。
具体地,用户可将计算机配置为各服务器,为了更好的对本申请内容进行说明,以下所有的服务器均用计算机来配置。首先,用户对预设的或现有可用的计算机进行初步的分配。将其中的一台配置为本地服务器,一台配置为存储管理服务器,将其中的有限台配置为子块存储服务器;其中,本地服务器用于存放源地震数据,存储管理服务器用于存放预设切分参数和子块存储服务器的服务器参数,子块存储服务器用于存放子块数据文件和源地震数据测网信息的索引文件。同时分别对以上所有的服务器参数进行配置,服务器参数包括服务器的地址、端口、工作路径以及关系数据传输路径。其中,对服务器的关系数据传输路径的配置,实现了本地服务器分别与存储管理服务器和多台子块存储服务器的数据传输关系。
需要说明的是,一台计算机只能作为一个服务器,不能同时作为两个或两个以上的服务器。且上述服务器还可用其它可实现其功能的、或与其功能相同的硬件来代替。本申请发明不限于此。
步骤二:基于八叉树结构将源地震数据切分成多个子块数据,每个子块数据存储于一个子块数据文件中,将所有子块数据文件平均传输到各个子块存储服务器中。
具体地,八叉树结构是三维图像处理技术中广泛采用的数据结构,是三维空间划分的数据结构之一,能够加速三维图形、图像的空间查询与显示。八叉树结构具体将一个立方体分割为八个小立方体,然后每个小立方体再切分为八个小立方体,直到用户所设定的层级为止。现在将源地震数据看做一个三维的数据立方体,长宽高分别对应主测线,联络线和深度。通过配置预设子块数据的长宽高,和源地震数据的长宽高比较,得到源地震数据在三个方向上与子块数据三个方向上长度的比值,取比值最大的一个方向并计算满足大于此比值的最小的2的次幂,这个次幂数即为八叉树切分的层级数,同时八叉树切分的层级数也即为用户输入本地服务器的预设切分参数。
更具体地,用户在本地服务器中输入预设切分参数,本地服务器根据预设切分参数对源地震数据进行切分,生成多个子块数据,并将每个子块数据存储于一个子块数据文件中,将所有子块数据文件平均传输到各个子块存储服务器中,并将预设切分参数和子块存储服务的服务器参数传输到存储管理服务器中。将子块数据传输到不同的子块存储服务器中进行存储,实现地震数据的分布式存储。存储管理服务器和子块存储服务器具有运行数据存取服务程序的功能,其可以实现不同计算机之间的数据发送和接收功能,此服务程序基于RCF(Remote Call Framework,远程调用框架)的开源代码实现,此处不展开叙述。
需要说明的是,本发明基于八叉树结构对源地震数据进行切分,只将切分生成最终一级的子块,其它层级的子块并不进行切分生成。
步骤三:部署不少于一个的映射服务器和不少于一个的归并服务器。
具体地,用户根据预设的或现有可用的计算机实际情况,将其中的一台设置为任务管理服务器,将其中的有限个设置成映射服务器,并将其中的有限个设置为归并服务器。分别对上述各服务器的服务器参数进行配置,服务器参数包括服务器的地址、端口、工作路径以及关系数据传输路径。其中,对服务器的关系数据传输路径的配置,实现了任务管理服务器和本地服务器的数据传输关系,同时还实现了任务管理服务器分别与所有映射服务器和所有归并服务器的数据传输关系,以实现任务管理服务器对映射服务器和归并服务器的管理。同时,对各映射服务器、各子块存储服务器以及各归并服务器的关系数据传输路径的配置,实还实现了每个映射服务器与每个子块存储服务器的数据传输关系,以及每个映射服务器与每个归并服务器的数据传输关系。另外,还需要实现存储管理服务器与任务管理服务器的数据传输关系,以便于任务管理服务器根据存储管理服务器中的子块存储服务器的服务器参数控制映射服务器从子块存储服务器中下载子块存储文件。
步骤四:确定地震属性任务及其作用的子块数据文件集。
具体地,用户在本地服务器中输入待求取的地震属性,以及待求取地震属性作用的子块数据文件集的参数范围。地震属性任务包括待求取地震属性和待求取地震属性计算参数。子块数据文件集的参数范围包括子块数据文件集的主测线范围、联络线范围以及深度范围。不同的地震属性计算有各自特有的计算参数,如三角滤波属性的计算,包括滤波器参数,频率范围等配置,输出为4个地震数据体和6个地震数据切片。本申请中用对不同子块数据文件集采用不同的参数结构进行求取。
需要说明的是,最终的输出结果一方面要下载到本地,另一方面也会存放到子块存储服务器中,以便以后直接下载,用户需要在本地输入输出结果的分布式文件名称用来在所有子块存储服务器中生成分布式结果文件。用户建立分布式文件名后,存储管理服务器会建立这个分布式文件名对应的一整套参数,包括各个子块存储服务器所负责的子块,各个子块的文件名等。
步骤五:将子块数据文件集中的子块数据文件对映射服务器和归并服务器分别进行分配。
具体地,任务管理服务器获取到各个映射服务器和各个归并服务器的地址并初始化与他们连接的接口服务,之后任务管理服务器分别为映射服务器和归并服务器分配各自负责的子块数据文件。由于映射服务器和归并服务器分别包括多个,在对子块数据文件进行分配时,基于负载均衡策略进行分配。先获取所有映射服务器和归并服务器的工作路径所在硬盘的剩余空间,在平均分配子块数据文件的基础上,超出存储空间的不再继续分配子块。
需要说明的是,任务管理服务器是将子块数据文件集中的所有子块数据文件分配给映射服务器,同时还将子块数据文件集中的所有子块数据文件分配给归并服务器。即对子块数据文件集中的所有子块数据文件分别针对映射服务器和归并服务器进行了先后两次的分配。
步骤六:映射服务器根据地震属性任务依次对分配的单个子块数据文件进行计算,得到对应的映射计算结果文件,并将映射计算结果文件发送到与其对应的子块数据文件分配的归并服务器中。
映射服务器用于对子块数据文件进行映射处理,单个映射服务器通常被分配多个子块数据文件,映射服务器通常依次对子块数据文件进行计算,即映射服务器在每次对子块数据文件之前,遍历该映射服务器负责的各个子块数据文件,依次选取待处理的子块文件作为计算对象,对其进行计算。
为了更加详细的说明映射服务器对子块数据文件的计算过程,以下对一个映射服务器对其负责的一个子块数据文件的计算过程进行详细的说明。其中,图2示出了本发明实施一例的映射服务器工作流程图,参考图2。
步骤S601,映射服务器在对子块数据文件进行处理之前,首先本地服务器从任意一个子块存储服务器中读取源地震数据的索引文件,获取源地震数据的测网参数。之后根据源地震数据的测网参数和子块数据文件集的参数范围确定所有子块存储服务器针对本次任务需要输出的子块数据文件,即确定所有子块存储服务器中需要计算地震属性的子块数据文件的测网范围。并将该测网范围写成一个参数文件发送给对应的子块存储服务器中,发送过去的路径与向子块存储服务器传输子块数据文件的路径相同。
步骤S602,映射服务器遍历其负责的各个子块数据文件,从存储管理服务器中获取待处理的子块数据文件的子块存储服务器的服务器参数,并根据子块存储服务器的服务器参数从对应的子块存储服务器中下载子块存储服务器的测网范围内的一个子块数据文件,同时生成该子块数据文件所属的多个键值对。键值对是根据八叉树算法得到子块在源地震数据中的空间位置范围,得到子块的主测线号、联络线号、深度三个方向上的范围,形成一组键值对,每个键值对包括主测线号、联络线号,以及深度范围,主测线号、联络线号是子块在这两个方向上所包含的所有号。即每个键值对表示子块在深度方向上的一整条。然后初始化此子块的计算结果输出文件,即通过子块的名称,拼接”_result”后缀来表示输出文件名。
步骤S603:获取当前子块数据文件的键值对数据,即依次从子块数据文件中读取深度上的一整条数据,存放到键值对中。对于叠前地震数据,同样的主测线号、联络线号对应的是多条数据而不是一条数据,将它们都读取出来顺序放到键值对中,数据的条数可以从源地震数据测网信息中得到。然后依次对每个键值对进行属性求取,即通过输入的地震属性任务,运行地震属性算法,并将输出写回键值对中,此时键值对中存放的为输出结果。本方法中地震属性的输入输出数据量可能不同,例如三角滤波,输入一个地震数据,输出4个地震数据及6个切片,那么键值对中存放的格式为顺序存放4条计算结果,然后再存放6个计算结果。
步骤S604:当计算过的键值对达到设定的内存数量限制时,将所有计算后的键值对存储于对应的映射结果文件中,并清空内存,重复上述存储步骤,直到当前子块数据文件计算存储完毕后,得到一个存储有当前子块数据文件所有计算过的键值对的映射结果文件。
需要说明的是,在向映射结果文件中写入计算后的键值对时,是写入了整个键值对结构体,具体包括主测线号、联络线号、深度范围和计算结果。
步骤S605:将存储有子块数据文件所有计算过的键值对的映射计算结果文件发送到当前子块数据文件分配的归并服务器中。具体地,对于具体一个映射计算结果文件,其对应一个子块数据文件,因此其具有一个映射计算结果文件编号。在将映射计算结果文件发送到对应的归并服务器时,首先映射管理服务器向任务管理服务器获取各个归并服务所负责的子块编号,然后将这个子块数据文件对应的映射计算结果文件发送到负责它的归并服务器中。
步骤S606:之后依次读取下一个分配的子块数据文件,重复步骤602至步骤605,直到所有分配到当前映射服务器的子块数据文件完成映射计算,并将对应的映射计算结果文件发送完毕。
步骤七:归并服务器依次对单个的映射计算结果文件进行归并,得到归并结果文件,并将归并结果文件存储到输出文件中。
为了更加详细的说明归并服务器对子块数据文件的计算过程,图3示出了本发明实施一的归并服务器工作流程图,参考图3。
步骤S701:归并服务器对其中的输出文件进行初始化。其中,输出文件分为两种,一种为整体输出文件”reduceresult.afs”,其用于存储该归并服务器所有的归并结果文件,可用于本地下载并读取;另一种为与每个子块数据文件均有对应的一批子输出文件,子输出文件用于存放各个子块数据文件的归并结果文件,当归并服务器将所有接收到的映射结果文件归并完成后,归并服务器会将各子输出文件传输到各个子块存储服务器中,以实现结果的分布式存储。
步骤S702:归并服务器接收到一个映射结果文件后,获取该映射结果文件中计算后的键值对数据,并对其进行归并。具体地,归并服务器获取映射结果文件中计算后的键值对数据,其方法为直接读取对应的映射服务器过来的映射结果文件中的内容得到计算后的键值对数据。然后遍历这些键值对,进行归并。归并过程进一步为去掉计算后的键值对信息只保留数据部分,形成八叉树子块。
需要说明的是,对涉及到需要键值对间计算的部分,例如有些属性求取不能仅通过对单一的键值对数据计算得到结果,还需要周围键值对数据共同生成结果,即“面元”计算,则进行相应的处理,如3x3面元,则对每个键值对结合周围8个键值对共同生成结果。
步骤S703:当归并后的键值对达到设定的内存数量限制时,将归并后的键值对存储于对应的归并结果文件中,重复上述归并步骤,直到当前映射结果文件归并完毕后,得到一个存储有当前子块数据文件所有归并过的键值对的归并结果文件。
步骤S704:依次接收下一个映射结果文件,重复上述步骤S702和步骤S703,直到所有分配到当前归并服务器的子块数据文件完成归并计算,将得到的所有归并结果文件存储到输出文件中。需要说明的是,将归并结果文件存储到输出文件的过程中,对于整体输出文件“reduceresult.afs”来说需写入整个键值对结构体,包括主测线号、联络线号、深度范围和计算结果;对于子输出文件来说,只写入具体数据即可。
为了使得本发明中映射服务器与归并服务器的工作方式更加容易被理解,以下对其进行结合说明。
在进行映射归并之前,需要对任务进行切分以及调度策略的执行,根据当前分布式存储文件的子块存储服务器的服务器参数以及地震属性任务的实际计算要求,以最佳“负载均衡”策略安排映射服务器和归并服务器。映射归并的计算流程为:首先用户通过本地服务器将配置好的地震属性任务(即求取地震属性和待求取地震属性计算参数)发送给各个映射服务器和归并服务器,映射服务器从子块存储服务器按照测网范围获取子块数据文件,然后遍历子块数据文件中的数据,以键值对为单位进行计算。键值对是指地震数据体的空间位置范围以及范围对应的地震数据组成一对对应关系的结构体,对键值对中的数据进行属性求取,求取是由多线程并行框架执行,并将计算结果写到映射计算结果文件中,然后将映射计算结果文件传给归并服务器。在确认所有映射服务器完成中间分析结果后,异步消息激活映射计算结果文件发送到的归并服务器工作。归并服务器获取映射计算结果文件,遍历并根据约定的算法归并计算后的键值对数据,得到归并结果文件,并将归并结果文件存储于输出文件中。同样,归并的过程是基于多线程并行框架执行。
应用本发明实施例提供的地震属性求取的分布式实现方法,基于八叉树结构,将源地震数据切分成多个子块数据,并实现其分布式存储,将大数据分成多个小数据进行计算,减少了单机计算工作量,提高了计算效率。本申请还通过映射归并服务实现将多个子块数据在不同的机器上进行映射,最后再将计算结果根据约定的规则归并到一起,得到最终计算结果或分析结果。相比于传统方法,使用本申请地震属性求取的分布式实现方法完成地震属性分析相关计算用时明显减少,并且计算用时随着集群中节点数目的增加而减少。
虽然本发明所公开的实施方式如上,但所述的内容只是为了便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属技术领域内的技术人员,在不脱离本发明所公开的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,但本发明的保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (10)
1.一种地震属性求取的分布式实现方法,包括:
步骤一:基于八叉树结构将源地震数据切分成多个子块数据,每个所述子块数据存储于一个子块数据文件中,将所有所述子块数据文件平均传输到各个子块存储服务器中;
步骤二:部署不少于一个的映射服务器和不少于一个的归并服务器;
步骤三:确定地震属性任务及其作用的子块数据文件集;
步骤四:将所述子块数据文件集中的子块数据文件对所述映射服务器和所述归并服务器分别进行分配;
步骤五:所述映射服务器根据所述地震属性任务依次对分配的单个子块数据文件进行计算,得到对应的映射计算结果文件,并将所述映射计算结果文件发送到与其对应的子块数据文件分配的所述归并服务器中;
步骤六:所述归并服务器依次对单个的所述映射计算结果文件进行归并,得到归并结果文件,并将所述归并结果文件存储到输出文件中。
2.根据权利要求1所述的方法,其特征在于,在步骤一之前还包括步骤:
根据实际情况部署本地服务器、存储管理服务和多个子块存储服务,所述本地服务器用于存放源地震数据,所述存储管理服务器用于存放预设切分参数和所述子块存储服务器的服务器参数,所述子块存储服务器用于存放子块数据文件和源地震数据测网信息的索引文件。
3.根据权利要求2所述的方法,其特征在于,步骤一具体包括:
在本地服务器中根据用户输入的预设切分参数基于八叉树结构将源地震数据切分成多个子块数据,每个所述子块数据存储于一个所述子块数据文件中,将所有所述子块数据文件平均传输到各个子块存储服务器中,并将所述预设切分参数和所述子块存储服务的服务器参数传输到所述存储管理服务器中。
4.根据权利要求3所述的方法,其特征为,步骤二具体包括:
根据实际情况部署任务管理服务器以及不少于一个的映射服务器和不少于一个的归并服务器,并对所述任务管理服务器、映射服务器和归并服务器的服务器参数进行配置;所述任务管理服务器用于管理所述映射服务器和所述归并服务器。
5.根据权利要求4所述的方法,其特征为,所述服务器参数包括服务器的地址、端口、工作路径以及关系数据传输路径。
6.根据权利要求1所述的方法,其特征为,所述地震属性任务包括待求取地震属性和待求取地震属性计算参数。
7.根据权利要求1所述的方法,其特征为,所述子块数据文件集通过参数范围进行确定,所述子块数据文件集的参数范围包括主测线范围、联络线范围和深度范围。
8.根据权利要求1所述的方法,其特征为,步骤四具体包括:
基于负载均衡策略将所述子块数据文件集中的子块数据文件对所述映射服务器和所述归并服务器分别进行分配。
9.根据权利要求1所述的方法,其特征为,步骤五具体包括:
所述映射服务器读取一个分配的子块数据文件,并生成该子块数据文件所属的多个键值对;
根据所述地震属性任务依次对键值对进行计算,得到计算后的键值对;
当计算后的键值对达到预设的内存数量限制时,将计算后的键值对存储于对应的映射结果文件中,重复上述计算存储步骤,直到当前所述子块数据文件计算存储完毕后,得到一个存储有当前所述子块数据文件所有计算过的键值对的映射结果文件;
将所述映射计算结果文件发送到当前所述子块数据文件分配的所述归并服务器中;
依次读取下一个分配的所述子块数据文件,重复上述步骤,直到所有分配到当前所述映射服务器的所述子块数据文件完成映射计算。
10.根据权利要求1所述的方法,其特征为,步骤六具体包括:
所述归并服务器接收一个所述映射结果文件,获取该映射结果文件中计算后的键值对数据,并对其进行归并;
当归并后的键值对达到设定的内存数量限制时,将归并后的键值对存储于对应的归并结果文件中,重复上述归并步骤,直到当前所述映射结果文件归并完毕后,得到一个存储有当前所述子块数据文件所有归并过的键值对的归并结果文件;
依次接收下一个所述映射结果文件,重复上述步骤,直到所有分配到当前所述归并服务器的所述子块数据文件完成归并计算,将得到的所有所述归并结果文件存储到输出文件中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810278545.7A CN110320553A (zh) | 2018-03-30 | 2018-03-30 | 地震属性求取的分布式实现方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810278545.7A CN110320553A (zh) | 2018-03-30 | 2018-03-30 | 地震属性求取的分布式实现方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110320553A true CN110320553A (zh) | 2019-10-11 |
Family
ID=68111926
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810278545.7A Pending CN110320553A (zh) | 2018-03-30 | 2018-03-30 | 地震属性求取的分布式实现方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110320553A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102880658A (zh) * | 2012-08-31 | 2013-01-16 | 电子科技大学 | 基于地震数据处理的分布式文件管理系统 |
US20150024336A1 (en) * | 2013-07-18 | 2015-01-22 | A.Tron3D Gmbh | Combining depth-maps from different acquisition methods |
CN105378796A (zh) * | 2013-06-12 | 2016-03-02 | 微软技术许可有限责任公司 | 可伸缩体积3d重构 |
CN106291705A (zh) * | 2015-06-26 | 2017-01-04 | 中国石油化工股份有限公司 | 一种测井/地震数据显示系统及方法 |
CN107209957A (zh) * | 2015-01-30 | 2017-09-26 | 惠普发展公司有限责任合伙企业 | 从体素表示生成切片数据 |
-
2018
- 2018-03-30 CN CN201810278545.7A patent/CN110320553A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102880658A (zh) * | 2012-08-31 | 2013-01-16 | 电子科技大学 | 基于地震数据处理的分布式文件管理系统 |
CN105378796A (zh) * | 2013-06-12 | 2016-03-02 | 微软技术许可有限责任公司 | 可伸缩体积3d重构 |
US20150024336A1 (en) * | 2013-07-18 | 2015-01-22 | A.Tron3D Gmbh | Combining depth-maps from different acquisition methods |
CN107209957A (zh) * | 2015-01-30 | 2017-09-26 | 惠普发展公司有限责任合伙企业 | 从体素表示生成切片数据 |
CN106291705A (zh) * | 2015-06-26 | 2017-01-04 | 中国石油化工股份有限公司 | 一种测井/地震数据显示系统及方法 |
Non-Patent Citations (3)
Title |
---|
刘璇 等: "一种三维八叉树等级归并算法", 《现代制造工程》 * |
盛秀杰 等: "PetroV分布式数据存储与分析框架设计", 《石油地球物理勘探》 * |
盛秀杰 等: "PetroV软件架构设计中的一些思考与实现", 《石油地球物理勘探》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105933376B (zh) | 一种数据操作方法,服务器及存储系统 | |
CN105050130B (zh) | 一种多维干扰空间模型的构建方法 | |
CN104050042B (zh) | Etl作业的资源分配方法及装置 | |
CN103324533B (zh) | 分布式数据处理方法、装置及系统 | |
CN108804576B (zh) | 一种基于链接分析的域名层级结构探测方法 | |
CN110471900A (zh) | 数据处理方法及终端设备 | |
CN110392084A (zh) | 在分布式系统中管理地址的方法、设备和计算机程序产品 | |
CN108932257A (zh) | 多维度数据的查询方法及装置 | |
CN108804602A (zh) | 一种基于spark的分布式空间数据存储计算方法 | |
CN103970879B (zh) | 一种调整数据块存储位置的方法及系统 | |
CN108021333A (zh) | 随机读写数据的系统、装置及方法 | |
CN109408590A (zh) | 分布式数据库的扩容方法、装置、设备及存储介质 | |
CN107291539A (zh) | 基于资源重要程度的集群程序调度方法 | |
CN108153776A (zh) | 数据查询方法及装置 | |
CN106201673A (zh) | 一种地震数据处理方法及装置 | |
CN105867930B (zh) | 一种函数调用关系的显示方法、装置及终端 | |
CN104459781A (zh) | 三维叠前地震数据的随机噪声衰减方法 | |
CN103581317B (zh) | 一种网络资源共享的方法 | |
CN108563697A (zh) | 一种数据处理方法、装置和存储介质 | |
CN110399096A (zh) | 分布式文件系统元数据缓存重删的方法、装置以及设备 | |
US20150293971A1 (en) | Distributed queries over geometric objects | |
CN106462591A (zh) | 使用存储器中的智能索引的分区过滤 | |
CN107273527A (zh) | 一种Hadoop集群和分布式系统 | |
CN107426315A (zh) | 一种基于BP神经网络的分布式缓存系统Memcached的改进方法 | |
CN102685222B (zh) | 一种用于电力系统的云存储资源管理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191011 |