CN101839997B - 一种地震数据并行存储系统 - Google Patents

Abstract

本发明涉及一种存储地震采集数据的地震数据并行存储系统；由两类部件构成：一类是处理部件，另一类是存储部件，处理部件包括：一级存储引擎、二级存储引擎、三级存储引擎和存储调度器；存储部件包括：一级存储部件、二级存储部件和三级存储部件；一级存储引擎提供存储接口与地震数据采集线程连接，等待地震数据到达；二级存储引擎等待一级存储引擎通知；三级存储引擎等待二级存储引擎通知；存储调度器对地震数据的并行存储过程进行调度；本发明针对地震数据实时存储的需求特点而产生，采用多级缓冲处理、并行存储数据，在保证可靠性的基础上，提高地震数据采集过程中的数据存储效率。

Description

一种地震数据并行存储系统

技术领域

本发明涉及一种存储地震采集数据的地震数据并行存储系统。

背景技术

目前，国际上的地震数据采集系统如法国Sercel公司的408UL地震数据采集系统、美国IO公司的Scorpion地震数据采集系统，均支持多种存储介质的数据保存，如磁盘、磁带机、NAS盘等，数据存储可靠、高效。但是作为商用系统，其整体数据存储技术保密。国内地震领域地震数据采集系统相关存储方法一般采用直接存储、环形缓冲存储或并行存储等方法，而本发明所涉及的基于多级缓冲机制的地震数据并行存储系统首次在我国地震数据采集系统中使用，在国内属于首创。

发明内容

本发明的目的是针对地震数据实时存储的需求特点设计一种基于多级缓冲机制的具有高可靠性和实时性的地震数据并行存储系统。该存储系统在多核/多处理器体系结构基础上，利用线程级并行处理技术，针对地震数据采集过程中所可能使用的特性各异的多种存储介质，采用多级缓冲处理，并行存储数据，在保证可靠性的基础上，提高地震数据采集过程中的数据存储效率。

本地震数据并行存储系统主要由两类部件构成：一类是处理部件，另一类是存储部件。处理部件包括：一级存储引擎、二级存储引擎、三级存储引擎以及存储调度器。存储部件包括：一级存储部件(内存缓冲区)、二级存储部件(内存映射文件)以及三级存储部件(磁带机、NAS盘等目标存储设备)。

在每次地震数据采集的过程中，数据源源不断到达，地震数据采集系统中的地震数据采集线程(是本地震数据并行存储系统的直接交互者，但不属于本发明内容)持续地接收地震数据并存入存储系统(可以理解为一帧一帧地接收数据，一帧一帧地写入存储系统)。由于目标存储设备的写入速度较慢，如果等目标存储设备写入完成一帧后再进行下一帧的接收，那么会严重影响数据的接收，造成数据的丢失。因此，通过提供多级缓冲处理机制，在目标存储设备(三级存储部件)之上提供速度更快的一级存储部件(内存缓冲区)，地震数据采集线程在通过一级存储引擎将数据写入一级存储部件之后即可以立刻开始接收下一帧数据，从而大大提高了数据的接收和存储效率。此外，在地震采集过程中，为了提高施工效率，有时需要连续快速放炮。目标存储设备(三级存储部件)的写入速度较慢，如果要等每炮的数据完全写入目标存储设备后才能开始下一炮的采集，则无法实现连续的快速放炮。而一级存储部件使用的是内存缓冲区，容量有限，只靠一级存储部件和二级存储部件也无法实现连续的快速放炮。因此设立了基于内存映射文件的二级存储部件，既可以提供比目标存储设备更高的写入速度，又可以提供足够的容量，从而可以更好的支持连续的快速放炮。

1)一级存储引擎

一级存储引擎的主要功能是将按时间顺序到来的地震数据流进行一定的处理后及时存入一级存储部件。所做的处理工作包括时序道序转换等。

一级存储引擎提供了存储接口。在地震数据采集过程中，地震数据采集线程通过一级存储引擎所提供的存储接口将地震数据存入一级存储部件。由于此过程速度较快，因此地震数据采集线程可以迅速进行后续工作。

2)一级存储部件

一级存储部件的主要功能是按照道序存储地震数据。一级存储部件采用的存储介质是内存，具有较快的读写速度，但容量相对较小，且属于易失性介质。

3)二级存储引擎

二级存储引擎的主要功能是将一级存储部件所存储的道序地震数据取出，按照目标文件格式(SEG-Y、SEG-D等)整理之后，写入二级存储部件。二级存储引擎运行于独立的线程中。

4)二级存储部件

二级存储部件的主要功能是按照目标文件格式存储地震数据。二级存储部件采用的存储介质是硬盘，其读写速度比内存慢，但比目标存储设备快，容量相对较大，数据存储持久。

二级存储部件采用了内存映射文件的方式，将硬盘文件映射到一段内存区域。对内存区域的读写，就相当于对文件的读写，这就大幅提高了二级存储引擎向二级存储部件的写入速度。二级存储引擎写入完成后，可以进行其它后续工作。二级存储部件则利用内存映射文件机制，将内存中的数据交换到硬盘文件。

另外，二级存储部件采用了RAID技术，从硬件层面保证了硬盘数据文件存储的可靠性。

5)三级存储引擎

三级存储引擎的主要功能是将二级存储部件所存储的标准格式数据文件中的数据取出，按照目标存储设备的存储要求进行必要处理后，写入三级存储部件(目标存储设备)。三级存储引擎运行于独立的线程中。

6)三级存储部件

三级存储部件的主要功能是按照目标文件格式存储地震数据。三级存储部件即目标存储设备，通常是磁带机或NAS盘。其读写速度慢，容量很大，数据存储持久。

7)存储调度器

存储调度器的主要功能是对地震数据的并行存储过程进行调度。调度发生在两个方面：一方面是对硬件计算设备资源的分配与调度，另一方面是对各存储引擎的工作调度。

本地震数据并行存储系统所采用的硬件计算设备为多CPU/多核架构的计算设备。存储调度器为各级存储引擎分配硬件计算设备资源。比如：在硬件计算设备资源充足的情况下，为二级存储引擎和三级存储引擎都分配独立的硬件线程(某个CPU内核或某个CPU内核中的某个超线程)，这样它们都可以不受限制地获得计算资源。

存储调度器还对各存储引擎的工作进行调度。由于各级存储部件的读写速度差异较大，而各级存储引擎的工作又是异步进行、相对独立，因此读写速度快的部件所存的数据会逐渐积累。数据积累过多的话，一旦系统出现问题，会造成大量数据无法写入目标存储设备。存储调度器会根据一定的策略，对各级存储引擎间的工作步调进行协调，既保持一定程度的异步处理，从而提高系统的存储效率，又能在数据积累较多时进行协调，从而降低因数据积累过多而产生的数据丢失危险。此外，当硬件计算设备资源有限时，各级存储引擎可能运行在同一个硬件线程内。这种情况下，同一时刻只能有一个存储引擎工作。这就需要存储调度器按照数据存储的紧迫性对各级存储引擎的工作进行调度。数据存储的紧迫性按照一级存储引擎、二级存储引擎、三级存储引擎的顺序依次降低。

发明的效果

本发明针对地震数据实时存储的需求特点而产生，采用多级缓冲处理、并行存储数据，在保证可靠性的基础上，提高地震数据采集过程中的数据存储效率，在国内属于首创。目前，本发明已在我国自主研发的地震数据采集系统中使用，从目前的应用效果看，很好地满足了我国自主研发的地震数据采集系统的需求。

附图说明

图1：基本框架结构

图2：一级存储引擎典型工作流程

图3：二级存储引擎典型工作流程

图4：三级存储引擎典型工作流程

具体实施方式

本地震数据并行存储系统主要由两类部件构成：一类是处理部件，另一类是存储部件。处理部件包括：一级存储引擎、二级存储引擎、三级存储引擎以及存储调度器。存储部件包括：一级存储部件(内存缓冲区)、二级存储部件(内存映射文件)以及三级存储部件(磁带机、NAS盘等目标存储设备)。

在地震数据采集过程中，本地震数据并行存储系统的典型工作流程可抽象为以下几组步骤。

1)一级存储引擎典型工作流程

1.1)一级存储引擎等待地震数据到达。

1.2)地震数据按时间顺序到达，地震采集线程通过一级存储引擎提供的存储接口将时序地震数据传给一级存储引擎。

1.3)一级存储引擎对时序地震数据进行一定的处理(时序转道序等)。

1.4)一级存储引擎将处理后的地震数据及时存入一级存储部件。在一级存储部件内，按照道序存储地震数据。

1.5)一级存储引擎通知二级存储引擎，一级存储部件中已有新数据准备好。

1.6)回到1.1)。

2)二级存储引擎典型工作流程

2.1)二级存储引擎等待一级存储引擎通知。

2.2)二级存储引擎收到一级存储引擎的通知，知道一级存储部件中已有新数据准备好。

2.3)二级存储引擎从一级存储部件中取出一定量的道序地震数据。

2.4)二级存储引擎按照目标文件格式(SEG-Y、SEG-D等)整理所取出的地震数据

2.5)二级存储引擎将整理后的地震数据写入二级存储部件。在二级存储部件内，按照目标文件格式存储地震数据。

2.6)二级存储引擎通知三级存储引擎，二级存储部件中已有新数据准备好。

2.7)回到2.1)。

3)三级存储引擎典型工作流程

3.1)三级存储引擎等待二级存储引擎通知。

3.2)三级存储引擎收到二级存储引擎的通知，知道二级存储部件中已有新数据准备好。

3.3)三级存储引擎从二级存储部件中取出一定量的标准格式数据文件中的数据。

3.4)三级存储引擎对取出的地震数据按照目标存储设备的存储要求进行必要处理。

3.5)三级存储引擎将处理后的地震数据写入三级存储部件(目标存储设备)。在三级存储部件内，按照目标文件格式存储地震数据。

3.6)回到3.1)。

Claims (1)

1.一种地震数据并行存储方法，由两类部件构成：一类是处理部件，另一类是存储部件，其特征在于：处理部件包括：一级存储引擎、二级存储引擎、三级存储引擎和存储调度器；存储部件包括：一级存储部件、二级存储部件和三级存储部件；

(1)所述的一级存储引擎工作流程如下：

1.1)一级存储引擎等待地震数据到达；

1.2)当地震数据按时间顺序到达，地震采集线程通过一级存储引擎提供的存储接口将时序地震数据传给一级存储引擎；

1.3)一级存储引擎对时序地震数据进行时序转道序处理；

1.4)一级存储引擎将处理后的地震数据及时存入一级存储部件内存缓冲区，在一级存储部件内，按照道序存储地震数据；

1.5)一级存储引擎通知二级存储引擎，一级存储部件中已有新数据准备好；

1.6)一级存储引擎回到1.1)等待地震数据到达；

一级存储部件采用的存储介质是内存；

(2)所述的二级存储引擎工作流程如下：

2.1)二级存储引擎等待一级存储引擎通知；

2.2)二级存储引擎收到一级存储引擎的通知，知道一级存储部件中已有新数据准备好；

2.3)二级存储引擎从一级存储部件中取出一定量的道序地震数据；

2.4)二级存储引擎按照目标文件格式SEG-Y或SEG-D整理所取出的地震数据；

2.5)二级存储引擎将整理后的地震数据写入二级存储部件；在二级存储部件内，按照目标文件格式存储地震数据；

2.6)二级存储引擎通知三级存储引擎，二级存储部件中已有新数据准备好；

2.7)二级存储引擎回到2.1)等待一级存储引擎通知；

(3)所述的三级存储引擎工作流程如下：

3.1)三级存储引擎等待二级存储引擎通知；

3.2)三级存储引擎收到二级存储引擎的通知，知道二级存储部件中已有新数据准备好；

3.3)三级存储引擎从二级存储部件中取出一定量的标准格式数据文件中的数据；

3.4)三级存储引擎对取出的地震数据按照目标存储设备的存储要求进行必要处理；

3.5)三级存储引擎将处理后的地震数据写入三级存储部件的目标存储设备；在三级存储部件内，按照目标文件格式存储地震数据；

3.6)三级存储引擎回到3.1)等待二级存储引擎通知；三级存储部件是磁带机；

(4)存储调度器

存储调度器对地震数据的并行存储过程进行调度；调度发生在两个方面：一方面是对硬件计算设备资源的分配与调度，在硬件计算设备资源充足的情况下，为二级存储引擎和三级存储引擎都分配独立的硬件线程；另一方面是对各存储引擎的工作调度，既保持一定程度的异步处理，从而提高系统的存储效率，又能在数据积累较多时进行协调，从而降低因数据积累过多而产生的数据丢失危险；当硬件计算设备资源有限时，各级存储引擎有运行在同一个硬件线程内的可能性，这种情况下，需要存储调度器按照数据存储的紧迫性对各级存储引擎的工作进行调度，数据存储的紧迫性按照一级存储引擎、二级存储引擎、三级存储引擎的顺序依次降低。

Images