CN111025400A - 基于Hadoop的地震偏移成像作业续航方法及系统 - Google Patents

基于Hadoop的地震偏移成像作业续航方法及系统 Download PDF

Info

Publication number
CN111025400A
CN111025400A CN201811178417.1A CN201811178417A CN111025400A CN 111025400 A CN111025400 A CN 111025400A CN 201811178417 A CN201811178417 A CN 201811178417A CN 111025400 A CN111025400 A CN 111025400A
Authority
CN
China
Prior art keywords
calculation
temporary file
subtask
data
block data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811178417.1A
Other languages
English (en)
Inventor
杨祥森
亢永敢
庞世明
许自龙
杨尚琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Petroleum and Chemical Corp
Sinopec Geophysical Research Institute
Original Assignee
China Petroleum and Chemical Corp
Sinopec Geophysical Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Petroleum and Chemical Corp, Sinopec Geophysical Research Institute filed Critical China Petroleum and Chemical Corp
Priority to CN201811178417.1A priority Critical patent/CN111025400A/zh
Publication of CN111025400A publication Critical patent/CN111025400A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V1/00—Seismology; Seismic or acoustic prospecting or detecting
    • G01V1/28—Processing seismic data, e.g. for interpretation or for event detection
    • G01V1/36—Effecting static or dynamic corrections on records, e.g. correcting spread; Correlating seismic signals; Eliminating effects of unwanted energy
    • G01V1/362—Effecting static or dynamic corrections; Stacking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V1/00—Seismology; Seismic or acoustic prospecting or detecting
    • G01V1/28—Processing seismic data, e.g. for interpretation or for event detection
    • G01V1/30—Analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Environmental & Geological Engineering (AREA)
  • Geology (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Geophysics (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Studio Devices (AREA)

Abstract

公开了一种基于Hadoop的地震偏移成像作业续航方法及系统。该方法包括：将待计算的地震数据进行分块，获得多个分块数据；多个分块数据进行并行式任务计算，每个分块数据均进行如下步骤：创建临时文件目录；将分块数据的计算任务进行划分，获得多个子任务；依次对子任务进行计算，在每个子任务计算完成后，在临时文件目录下生成临时文件；将子任务的计算结果写入临时文件中；当所有子任务计算完成时，输出分块数据的计算结果，分块数据对应的计算任务完成。本发明对一个Mapper任务内的子成像空间偏移计算进行记录级断点保护，从计算断点恢复作业和继续计算，作业续航的计算结果与作业正常结束的结果无差异，且用时相当。

Description

基于Hadoop的地震偏移成像作业续航方法及系统
技术领域
本发明涉及油气勘探地球物理领域，更具体地，涉及一种基于Hadoop的地震偏移成像作业续航方法及系统。
背景技术
Hadoop是由Apache基金会发起开发，能对大量数据进行分布式处理的基础软件框架，其核心内容包括Hadoop分布式文件系统(简称：HDFS)和MapReduce并行计算编程模型等，其中HDFS为海量数据提供存储，则MapReduce(缩写：MR)为海量数据提供计算。HDFS将大数据集分割成小数据集存储在不同的计算机上，通过MapReduce编程模型尽可能的进行本地处理，从而实现并行化。
Hadoop以低廉硬件作为目标运行环境，其HDFS和MapReduce调度机制必然具有高容错性和高可靠性等特点，能动态迁移和恢复计算数据和任务，确保系统运行的稳定性和高效性。
从作业恢复粒度角度来看，当前存在三种不同级别的恢复机制，级别由低到高依次是作业级别、任务级别和记录级别，其中级别越低实现越简单，但造成的资源浪费也越严重。
地震数据处理属于传统的高性能计算，具有数据量大、计算量大、计算周期长等特点。这类并行计算软件一般采用MPI搭建一个非常复杂的并行计算框架，实现大规模异构集群的资源调度、负载均衡、高效运行。其断点续航是这类软件的必备功能，通常以最小计算单元为记录点，实现记录级别的作业续航。
而当前MapReduce的AppMaster采用任务级别的恢复机制，即以Task任务(包括Mapper和Reducer)为基本单位进行恢复，这种机制是基于事务型日志完成作业恢复的，它只关注两种任务：运行完成的任务和未完成的任务。作业执行过程中，如果某个Task计算进程失败或异常退出，MR-AppMaster会以日志的形式记录下该进程的状态，并迁移、重启该进程的任务，这将导致该进程已计算数据将重新计算。如果MR-AppMaster重启，虽然可从日志中恢复作业运行，但也会造成大量重复计算。这对于诸如大规模网页搜索一样的事务性事件处理并不会造成过多的机时浪费。而对于地震数据偏移成像处理，每个Map的计算任务包含多个子任务，即最小计算单元，如一个炮道集。每个计算单元的计算时间很长，任何重复计算都会造成很大的计算资源浪费。因此，有必要开发一种基于Hadoop的地震偏移成像作业续航方法及系统。
公开于本发明背景技术部分的信息仅仅旨在加深对本发明的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
发明内容
本发明提出了一种基于Hadoop的地震偏移成像作业续航方法及系统，其能够对一个Mapper任务内的子成像空间偏移计算进行记录级断点保护，运行过程中，可以从系统软硬件故障导致的计算断点恢复作业和继续计算，作业续航的计算结果与作业正常结束的结果无差异，且用时相当。
根据本发明的一方面，提出了一种基于Hadoop的地震偏移成像作业续航方法。所述方法可以包括：将待计算的地震数据进行分块，获得多个分块数据；多个分块数据进行并行式任务计算，每个分块数据的偏移计算为一个计算任务，均进行如下步骤：针对所述分块数据，创建临时文件目录；将所述分块数据的计算任务进行划分，获得多个子任务；依次对所述子任务进行计算，在每个子任务计算完成后，均在所述临时文件目录下生成所述子任务对应的临时文件，其中，所述临时文件包括偏移数据临时文件和完成标识临时文件；将所述子任务的计算结果写入所述偏移数据临时文件中；当所有子任务计算完成时，输出所述分块数据的计算结果，并删除对应的所有偏移数据临时文件，所述分块数据对应的计算任务完成。
优选地，还包括：当作业中断或所述分块数据的计算任务中断后进行续航时，依次检查所述子任务是否完成，若是，则检查下一个子任务，若否，则从所述子任务开始继续进行计算，直至所有子任务计算完成。
优选地，根据所述子任务对应的完成标识临时文件判断所述子任务是否完成。
优选地，若所述子任务对应的临时文件里包含完成标识临时文件，则所述子任务已完成；若所述子任务对应的临时文件里不包含完成标识临时文件，则所述子任务未完成。
优选地，还包括：当所有的分块数据对应的计算任务均完成，并输出最终偏移数据后，删除所有临时文件目录以及该目录下的完成标识临时文件，则所述地震数据的偏移计算作业完成。
根据本发明的另一方面，提出了一种基于Hadoop的地震偏移成像作业续航系统，其特征在于，该系统包括：存储器，存储有计算机可执行指令；处理器，所述处理器运行所述存储器中的计算机可执行指令，执行以下步骤：将待计算的地震数据进行分块，获得多个分块数据；多个分块数据进行并行式任务计算，每个分块数据的偏移计算为一个计算任务，均进行如下步骤：针对所述分块数据，创建临时文件目录；将所述分块数据的计算任务进行划分，获得多个子任务；依次对所述子任务进行计算，在每个子任务计算完成后，均在所述临时文件目录下生成所述子任务对应的临时文件，其中，所述临时文件包括偏移数据临时文件和完成标识临时文件；将所述子任务的计算结果写入所述偏移数据临时文件中；当所有子任务计算完成时，输出所述分块数据的计算结果，并删除对应的所有偏移数据临时文件，所述分块数据对应的计算任务完成。
优选地，还包括：当作业中断或所述分块数据的计算任务中断后进行续航时，依次检查所述子任务是否完成，若是，则检查下一个子任务，若否，则从所述子任务开始继续进行计算，直至所有子任务计算完成。
优选地，根据所述子任务对应的完成标识临时文件判断所述子任务是否完成。
优选地，若所述子任务对应的临时文件里包含完成标识临时文件，则所述子任务已完成；若所述子任务对应的临时文件里不包含完成标识临时文件，则所述子任务未完成。
优选地，还包括：当所有的分块数据对应的计算任务均完成，并输出最终偏移数据后，删除所有临时文件目录以及该目录下的完成标识临时文件，则所述地震数据的偏移计算作业完成。
本发明的方法和装置具有其它的特性和优点，这些特性和优点从并入本文中的附图和随后的具体实施方式中将是显而易见的，或者将在并入本文中的附图和随后的具体实施方式中进行详细陈述，这些附图和具体实施方式共同用于解释本发明的特定原理。
附图说明
通过结合附图对本发明示例性实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施例中，相同的参考标号通常代表相同部件。
图1示出了根据本发明的基于Hadoop的地震偏移成像作业续航方法的步骤的流程图。
图2示出了根据本发明的一个实施例的Kirchhoff叠前深度偏移结果的示意图。
具体实施方式
下面将参照附图更详细地描述本发明。虽然附图中显示了本发明的优选实施例，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。
图1示出了根据本发明的基于Hadoop的地震偏移成像作业续航方法的步骤的流程图。
在该实施例中，根据本发明的基于Hadoop的地震偏移成像作业续航方法可以包括：将待计算的地震数据进行分块，获得多个分块数据；多个分块数据进行并行式任务计算，每个分块数据的偏移计算为一个计算任务，均进行如下步骤：针对分块数据，创建临时文件目录；将分块数据的计算任务进行划分，获得多个子任务；依次对子任务进行计算，在每个子任务计算完成后，均在临时文件目录下生成子任务对应的临时文件，其中，临时文件包括偏移数据临时文件和完成标识临时文件；将子任务的计算结果写入偏移数据临时文件中；当所有子任务计算完成时，输出分块数据的计算结果，并删除对应的所有偏移数据临时文件，分块数据对应的计算任务完成。
在一个示例中，还包括：当作业中断或分块数据的计算任务中断后进行续航时，依次检查子任务是否完成，若是，则检查下一个子任务，若否，则从子任务开始继续进行计算，直至所有子任务计算完成。
在一个示例中，根据子任务对应的完成标识临时文件判断子任务是否完成。
在一个示例中，若子任务对应的临时文件里包含完成标识临时文件，则子任务已完成；若子任务对应的临时文件里不包含完成标识临时文件，则子任务未完成。
在一个示例中，还包括：当所有的分块数据对应的计算任务均完成，并输出最终偏移数据后，删除所有临时文件目录以及该目录下的完成标识临时文件，则地震数据的偏移计算作业完成。
具体地，根据本发明的基于Hadoop的地震偏移成像作业续航方法可以包括：
将待计算的地震数据进行分块，获得多个分块数据；多个分块数据进行并行式任务计算，每个分块数据的计算均进行如下步骤：
分块数据对应的任务进程创建临时文件目录，临时文件目录在作业第一次运行时创建，路径名可以由用户参数给定，并以作业名作为上一级目录名。该目录用于存放各个Mapper进程的子任务完成标识临时文件和偏移数据临时文件。同时规定：只有作业运行成功后，该临时文件目录才被清空；而作业失败并不对临时文件目录进行处理，以便作业重启时从断点恢复作业。并且，作业重新启动时必须指定使用上一次运行时使用的临时文件路径，以便找到上次运行时的完成标识临时文件和中间偏移数据临时文件，从断点进行恢复和续航。
将分块数据的计算任务按照最小计算单元进行进行二次划分，获得多个子任务，基于MapReduce编程模型实现地震数据偏移成像计算时，Map阶段对地震数据进行偏移成像计算，Reduce阶段对偏移数据进行叠加或归并处理。由于偏移成像时间长，所以只对Mapper进程进行断点续航功能扩展。MapReduce的并行计算是以数据块驱动并行的，一个数据块的处理一般包含多个计算互相独立的最小计算单元。因此，以最小计算单元为记录点进行断点续航。比如一个数据块包含若干个炮集，炮域波动方程偏移(包括逆时偏移和单程波偏移)通常以单炮偏移为最小计算单元，所以，可以将一个炮集的偏移计算划分为一个子任务，作为一个记录点，每计算完一炮则记录一次计算进度。也可以以两个炮集偏移计算作为一个子任务，依次类推。对于Kirchhoff类偏移成像方法，可以按照“输入道观点”，以输入地震数据的单道或多道偏移计算作为一个子任务，也可以按照“输出道观点”，以输出成像空间的一条线或多条线作为一个子任务。但必须一个子任务对应一个记录点实现进度记录和断点续航。子任务划分的大小可以由用户给定。
依次对子任务进行计算，子任务完成后在临时文件目录下生成对应的临时文件，包括保存计算结果的偏移数据临时文件和记录计算进度的完成标识临时文件，其中完成标识临时文件记录了分块数据对应的任务编号及其已完成子任务编号。
将子任务的计算结果写入偏移数据临时文件中；当所有子任务计算完成时，输出分块数据的计算结果，并删除对应的所有偏移数据临时文件，当前分块数据对应的任务完成。
子任务完成标识临时文件和偏移数据临时文件保存于临时文件目录下。Mapper进程每完成一个子任务，就记录一次计算进度，并将中间结果写出。当作业重启或Task任务重启时，先查找完成标识临时文件看当前任务中哪些子任务已经完成。如果当前子任务已经完成，则跳到下一个子任务。如果当前Mapper所有子任务已经完成，则当前Mapper提前结束，把资源归还给AppMaster分配其他Mapper。如果没有任何完成标识临时文件，说明作业是新提交的，则作业从头计算。所有Mapper完成后，进入shuffle阶段，对所有中间数据进行整理并输出到Hadoop中间数据存储位置，供Reducer进程进行数据规约处理。
当作业中断或分块数据的任务中断后进行续航时，依次检查子任务是否完成，若是，则检查下一个子任务，若否，则从子任务开始继续进行计算，直至所有子任务计算完成。
其中，根据子任务对应的临时文件判断子任务是否完成，若子任务对应的临时文件里包含完成标识临时文件，则子任务已完成；若子任务对应的临时文件里不包含完成标识临时文件，则子任务未完成。若所有子任务全部完成，该分块数据对应的计算任务才完成。
当所有的分块数据对应的任务均完成，并输出最终偏移数据后，删除所有临时文件目录以及该目录下的完成标识临时文件，则地震数据偏移计算作业完成。
本方法对一个Mapper任务内的子成像空间偏移计算进行记录级断点保护，运行过程中，可以从系统软硬件故障导致的计算断点恢复作业和继续计算，作业续航的计算结果与作业正常结束的结果无差异，且用时相当。
应用示例
为便于理解本发明实施例的方案及其效果，以下给出一个具体应用示例。本领域技术人员应理解，该示例仅为了便于理解本发明，其任何具体细节并非意在以任何方式限制本发明。
根据本发明的基于Hadoop的地震偏移成像作业续航方法可以包括：
将待计算的地震数据进行分块，获得多个分块数据；多个分块数据进行并行式任务计算，每个分块数据的计算均进行如下步骤：
分块数据对应的任务进程创建临时文件目录；将分块数据进行划分，获得多个子任务，对于Kirchhoff类偏移成像方法，按照“输出道观点”，以输出成像空间一条测线的偏移计算作为一个子任务。
依次对子任务进行计算，各子任务完成后在临时文件目录下生成对应的临时文件，包括保存计算结果的偏移数据临时文件和记录计算进度的完成标识临时文件，其中完成标识临时文件记录了分块数据对应的任务编号及其已完成子任务编号；将子任务的计算结果写入偏移数据临时文件中；当所有子任务计算完成时，输出分块数据的计算结果，并删除对应的所有偏移数据临时文件，当前分块数据对应的计算任务完成。。
当作业中断或分块数据的计算任务中断后进行续航时，依次检查子任务是否完成，若是，则检查下一个子任务，若否，则从子任务开始继续进行计算，直至所有子任务计算完成。
其中，根据子任务对应的临时文件判断子任务是否完成，若子任务对应的临时文件里包含完成标识临时文件，则子任务已完成；若子任务对应的临时文件里不包含完成标识临时文件，则子任务未完成。
图2示出了根据本发明的一个实施例的Kirchhoff叠前深度偏移结果的示意图。
当所有的分块数据对应的任务均完成，并输出最终偏移数据后，删除所有临时文件目录以及该目录下的完成标识临时文件，则所述地震数据偏移计算作业完成。获得Kirchhoff叠前深度偏移结果，如图2所示。
综上所述，本发明对一个Mapper任务内的子成像空间偏移计算进行记录级断点保护，运行过程中，可以从系统软硬件故障导致的计算断点恢复作业和继续计算，作业续航的计算结果与作业正常结束的结果无差异，且用时相当。
本领域技术人员应理解，上面对本发明的实施例的描述的目的仅为了示例性地说明本发明的实施例的有益效果，并不意在将本发明的实施例限制于所给出的任何示例。
根据本发明的实施例，提供了一种基于Hadoop的地震偏移成像作业续航系统，其特征在于，该系统包括：存储器，存储有计算机可执行指令；处理器，所述处理器运行所述存储器中的计算机可执行指令，执行以下步骤：将待计算的地震数据进行分块，获得多个分块数据；多个分块数据进行并行式任务计算，每个分块数据的偏移计算为一个计算任务，均进行如下步骤：针对分块数据，创建临时文件目录；将分块数据的计算任务进行划分，获得多个子任务；依次对子任务进行计算，在每个子任务计算完成后，均在临时文件目录下生成子任务对应的临时文件，其中，临时文件包括偏移数据临时文件和完成标识临时文件；将子任务的计算结果写入偏移数据临时文件中；当所有子任务计算完成时，输出分块数据的计算结果，并删除对应的所有偏移数据临时文件，分块数据对应的计算任务完成。
在一个示例中，还包括：当作业中断或分块数据的计算任务中断后进行续航时，依次检查子任务是否完成，若是，则检查下一个子任务，若否，则从子任务开始继续进行计算，直至所有子任务计算完成。
在一个示例中，根据子任务对应的完成标识临时文件判断子任务是否完成。
在一个示例中，若子任务对应的临时文件里包含完成标识临时文件，则子任务已完成；若子任务对应的临时文件里不包含完成标识临时文件，则子任务未完成。
在一个示例中，还包括：当所有的分块数据对应的计算任务均完成，并输出最终偏移数据后，删除所有临时文件目录以及该目录下的完成标识临时文件，则地震数据的偏移计算作业完成。
本系统对一个Mapper任务内的子成像空间偏移计算进行记录级断点保护，运行过程中，可以从系统软硬件故障导致的计算断点恢复作业和继续计算，作业续航的计算结果与作业正常结束的结果无差异，且用时相当。
本领域技术人员应理解，上面对本发明的实施例的描述的目的仅为了示例性地说明本发明的实施例的有益效果，并不意在将本发明的实施例限制于所给出的任何示例。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。

Claims (10)

1.一种基于Hadoop的地震偏移成像作业续航方法，其特征在于，包括：
将待计算的地震数据进行分块，获得多个分块数据；
多个分块数据进行并行式任务计算，每个分块数据的偏移计算为一个计算任务，均进行如下步骤：
针对所述分块数据，创建临时文件目录；
将所述分块数据的计算任务进行划分，获得多个子任务；
依次对所述子任务进行计算，在每个子任务计算完成后，均在所述临时文件目录下生成所述子任务对应的临时文件，其中，所述临时文件包括偏移数据临时文件和完成标识临时文件；
将所述子任务的计算结果写入所述偏移数据临时文件中；
当所有子任务计算完成时，输出所述分块数据的计算结果，并删除对应的所有偏移数据临时文件，所述分块数据对应的计算任务完成。
2.根据权利要求1所述的基于Hadoop的地震偏移成像作业续航方法，其中，还包括：
当作业中断或所述分块数据的计算任务中断后进行续航时，依次检查所述子任务是否完成，若是，则检查下一个子任务，若否，则从所述子任务开始继续进行计算，直至所有子任务计算完成。
3.根据权利要求2所述的基于Hadoop的地震偏移成像作业续航方法，其中，根据所述子任务对应的完成标识临时文件判断所述子任务是否完成。
4.根据权利要求3所述的基于Hadoop的地震偏移成像作业续航方法，其中，若所述子任务对应的临时文件里包含完成标识临时文件，则所述子任务已完成；若所述子任务对应的临时文件里不包含完成标识临时文件，则所述子任务未完成。
5.根据权利要求1所述的基于Hadoop的地震偏移成像作业续航方法，其中，还包括：
当所有的分块数据对应的计算任务均完成，并输出最终偏移数据后，删除所有临时文件目录以及该目录下的完成标识临时文件，则所述地震数据的偏移计算作业完成。
6.一种基于Hadoop的地震偏移成像作业续航系统，其特征在于，该系统包括：
存储器，存储有计算机可执行指令；
处理器，所述处理器运行所述存储器中的计算机可执行指令，执行以下步骤：
将待计算的地震数据进行分块，获得多个分块数据；
多个分块数据进行并行式任务计算，每个分块数据的偏移计算为一个计算任务，均进行如下步骤：
针对所述分块数据，创建临时文件目录；
将所述分块数据的计算任务进行划分，获得多个子任务；
依次对所述子任务进行计算，在每个子任务计算完成后，均在所述临时文件目录下生成所述子任务对应的临时文件，其中，所述临时文件包括偏移数据临时文件和完成标识临时文件；
将所述子任务的计算结果写入所述偏移数据临时文件中；
当所有子任务计算完成时，输出所述分块数据的计算结果，并删除对应的所有偏移数据临时文件，所述分块数据对应的计算任务完成。
7.根据权利要求6所述的基于Hadoop的地震偏移成像作业续航系统，其中，还包括：
当作业中断或所述分块数据的计算任务中断后进行续航时，依次检查所述子任务是否完成，若是，则检查下一个子任务，若否，则从所述子任务开始继续进行计算，直至所有子任务计算完成。
8.根据权利要求7所述的基于Hadoop的地震偏移成像作业续航系统，其中，根据所述子任务对应的完成标识临时文件判断所述子任务是否完成。
9.根据权利要求8所述的基于Hadoop的地震偏移成像作业续航系统，其中，若所述子任务对应的临时文件里包含完成标识临时文件，则所述子任务已完成；若所述子任务对应的临时文件里不包含完成标识临时文件，则所述子任务未完成。
10.根据权利要求6所述的基于Hadoop的地震偏移成像作业续航系统，其中，还包括：
当所有的分块数据对应的计算任务均完成，并输出最终偏移数据后，删除所有临时文件目录以及该目录下的完成标识临时文件，则所述地震数据的偏移计算作业完成。
CN201811178417.1A 2018-10-10 2018-10-10 基于Hadoop的地震偏移成像作业续航方法及系统 Pending CN111025400A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811178417.1A CN111025400A (zh) 2018-10-10 2018-10-10 基于Hadoop的地震偏移成像作业续航方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811178417.1A CN111025400A (zh) 2018-10-10 2018-10-10 基于Hadoop的地震偏移成像作业续航方法及系统

Publications (1)

Publication Number Publication Date
CN111025400A true CN111025400A (zh) 2020-04-17

Family

ID=70191638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811178417.1A Pending CN111025400A (zh) 2018-10-10 2018-10-10 基于Hadoop的地震偏移成像作业续航方法及系统

Country Status (1)

Country Link
CN (1) CN111025400A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111965699A (zh) * 2020-09-09 2020-11-20 中国海洋石油集团有限公司 一种克西霍夫叠前深度偏移地震数据处理方法和系统
CN114443883A (zh) * 2022-02-10 2022-05-06 北京永利信达科技有限公司 一种基于大数据和云计算的数据处理方法、系统及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101021567A (zh) * 2007-02-07 2007-08-22 徐兆涛 地震资料处理的炮道集波动方程叠前深度偏移并行计算方法
CN105445792A (zh) * 2015-11-26 2016-03-30 中国科学院地质与地球物理研究所 一种叠前多次波逆时偏移地震数据处理方法及系统
CN106250101A (zh) * 2015-06-12 2016-12-21 中国石油化工股份有限公司 基于MapReduce的叠前偏移并行处理方法和装置
CN106570572A (zh) * 2015-10-12 2017-04-19 中国石油化工股份有限公司 基于MapReduce的旅行时计算方法和装置
CN107704473A (zh) * 2016-08-09 2018-02-16 中国移动通信集团四川有限公司 一种数据处理方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101021567A (zh) * 2007-02-07 2007-08-22 徐兆涛 地震资料处理的炮道集波动方程叠前深度偏移并行计算方法
CN106250101A (zh) * 2015-06-12 2016-12-21 中国石油化工股份有限公司 基于MapReduce的叠前偏移并行处理方法和装置
CN106570572A (zh) * 2015-10-12 2017-04-19 中国石油化工股份有限公司 基于MapReduce的旅行时计算方法和装置
CN105445792A (zh) * 2015-11-26 2016-03-30 中国科学院地质与地球物理研究所 一种叠前多次波逆时偏移地震数据处理方法及系统
CN107704473A (zh) * 2016-08-09 2018-02-16 中国移动通信集团四川有限公司 一种数据处理方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
亢永敢 等: "基于Hadoop的Kirchhoff叠前时间偏移并行算法", 《石油地球物理勘探》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111965699A (zh) * 2020-09-09 2020-11-20 中国海洋石油集团有限公司 一种克西霍夫叠前深度偏移地震数据处理方法和系统
CN114443883A (zh) * 2022-02-10 2022-05-06 北京永利信达科技有限公司 一种基于大数据和云计算的数据处理方法、系统及介质

Similar Documents

Publication Publication Date Title
EP3797385B1 (en) Highly performant pipeline parallel deep neural network training
Quiané-Ruiz et al. RAFTing MapReduce: Fast recovery on the RAFT
US10152499B1 (en) Database replication scaling
US8887165B2 (en) Real time system task configuration optimization system for multi-core processors, and method and program
CN107665219B (zh) 一种日志管理方法及装置
CN109657197B (zh) 一种叠前深度偏移计算方法及系统
Wang et al. Improving mapreduce performance with partial speculative execution
CN106126731B (zh) 一种获取Elasticsearch分页数据的方法及装置
CN104952032A (zh) 图的处理方法、装置以及栅格化表示及存储方法
US8458710B2 (en) Scheduling jobs for execution on a computer system
KR102325047B1 (ko) 그래프 데이터 처리 방법 및 그래프 데이터 처리 장치
CN103856548A (zh) 动态资源调度方法和动态资源调度器
CN111025400A (zh) 基于Hadoop的地震偏移成像作业续航方法及系统
US9921951B2 (en) Optimizations for regression tracking and triaging in software testing
KR20130097972A (ko) 하드웨어 가속화를 통한 대규모 데이터의 분산 처리 장치 및 방법
Simsa et al. Scalable dynamic partial order reduction
Ruan et al. Hymr: a hybrid mapreduce workflow system
US20110239217A1 (en) Performing a wait operation to wait for one or more tasks to complete
US20210149746A1 (en) Method, System, Computer Readable Medium, and Device for Scheduling Computational Operation Based on Graph Data
US20220075637A1 (en) Techniques for Concurrently Supporting Virtual NUMA and CPU/Memory Hot-Add in a Virtual Machine
Poyraz et al. Application-specific I/O optimizations on petascale supercomputers
Tiwari et al. A PREDICTION BASED MULTI-PHASES LIVE MIGRATION APPROACH TO MINIMIZE THE NUMBER OF TRANSFERRED PAGES, IN CLOUD COMPUTING ENVIRONMENT
Duro et al. Evaluating data caching techniques in DMCF workflows using Hercules
CN113535349A (zh) 数据批量处理方法、装置和存储介质
Chen et al. Ftpipehd: A fault-tolerant pipeline-parallel distributed training framework for heterogeneous edge devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200417

RJ01 Rejection of invention patent application after publication