CN109508242B - 地球科学多源传感器数据软件管线流处理技术 - Google Patents

Abstract

地球科学多源传感器数据软件管线流处理技术包括节点和管线，节点在流水线技术中代表数据处理所需的逻辑单元，管线为节点之间的数据流交换和事信号通讯机制，事件信号通讯机制包括点对点模式和广播模式，此外，还包括融合地球科学多源传感器数据的数表结构模型，即包括传感器描述信息的树结构，也包括传感器测量信号的表结构，采用树表结构模型融合多源传感器数据，通过在树表数据结构中添加时间标识、节点标识等描述信息，使之能够追溯管线数据流的整个处理过程，利用数据流和事件信号通讯机制建立管线流拓扑结构，经管线流拓扑结构的各个节点的先后协同处理，实现地球科学数据流水线化处理，并能够实现地球科学多源传感器数据采集和处理一体化。

Description

地球科学多源传感器数据软件管线流处理技术

技术领域

本发明涉及地球科学数据分析软件的处理技术，具体而言，一种以软件管线流技术实现地球科学多原传感器数据处理的方法与设计。

背景技术

地球科学多源传感器数据是指地球科学的大多数基础原始数据需要不同类型的传感器技术来获得，例如：地球弹性波场、重力场、地电磁场等信号采集涉及多种传感器技术采集原始数据。先进、快速和高质量的地球科学数据处理软件将使得大量基础测量数据迅速输出各种模式结果，转变为科研人员和各类工程技术人员迫切需要的产品，从而发现和创造出应有的科学意义和使用价值。传统的地球科学数据处理方法是基于命令式或动作响应式的处理模式，在这个模式中，地球科学数据的每一步处理过程需要科研人员和工程技术人员频繁输入各种命令参数或点击各种动作按钮人机交互等来完成，其数据处理就是用户动作命令的操作过程，故也称为过程式方法。现有的地球科学数据处理方法及数据处理装置不能有效的表达静态或动态地球科学数据流特征，使用效率较低。

地球科学数据种类日益繁多、体量庞大，过程式数据处理方法不能解决大数据时代地球科学数据的实时处理问题，无法满足科研人员或工程技术人员实际业务需求。此外，由于地球科学涉及的不同的分支领域，当前可用于地球科学不同分支领域数据可视化处理的通用软件包并不多见。

在计算机软件设计领域， 管道和过滤器（Pipes and Filters）体系架构是为处理数据流提供的一种模式。它由过滤器和管道组成的，每个处理步骤都被封装在一个过滤器组件中，数据通过相邻过滤器之间的管道进行传输，最后输出需要的结果。但是，至今还没有公开文献涉及利用软件管线流技术解决地球科学数据处理技术方法，找到一种合理有效的面向多源地球科学数据流和变化传播的处理方法和模型是本领域技术人员亟待解决的技术问题。

发明内容

本发明实施例提供一种地球科学多源传感器数据软件管线流处理模式的技术方案，同时，该技术方案能够方便地表征地球科学静态或动态的数据流。

为了实现上述目的，本发明采用的技术方案包括节点（Node）和管线（Pipe）。节点在流水线技术中代表处理数据所需的逻辑单元，每一个节点代表一个高层次的处理概念：如读取文件、选择、合并或融合、统计分析、计算、层析成像、数据挖掘和结果输出等；通过节点也可以实现人机可视化交互功能，如开始、停止、暂停和恢复等动作；每个节点可以有多个输入或输出，即节点能够接收不同来源的数据集，也可以发送相同或不同的数据集到不同的分支（branch），使数据沿不同的路线流转；管线是指节点之间的数据流交换和信号通讯机制，利用管线将节点输出的数据传递到后续的节点，作为后续节点的输入数据。

除了节点之间传输的数据流之外，管线还存在通讯机制，通讯机制采用发射事件信号和事件监听器技术实现，发射信号可以点对点模式，也可以广播模式。点对点发射事件信号模式是指某个节点向特定节点发送事件信号的模式，利用点对点发射事件模式可以有序的把处理后的数据集通过管道发送至后续节点，后续节点将更新处理参数信号反馈至前置传送的节点；广播发射事件信号模式无特定接收节点对象，节点采用监听方式接收任意节点特定的广播事件信号，根据广播信号执行特定的动作，广播事件信号可以来自管线流拓扑结构任意节点，也可以来自软件处理系统。

可选的，所述方法还包括可以表征多源地球传感器测量信息的树表数据结构模型，即包括描述信息的树结构，也包括传感器测量信号的表结构。

在本发明所述的管线流处理过程中，通过在树表数据结构中添加时间标识、节点标识等描述信息，使之能够追溯管线数据流的处理流程等。

此外，本发明还提供了一种构建地球科学多源传感器数据处理管线流拓扑结构和数据处理流程的方法，包括如下基本步骤。

1、数据加载：节点仅仅简单加载原始数据任务，原始数据即可以直接从传感器实时采集获得，也可以从原始数据文件或数据库中读取获得。

2、格式转换：原始多源传感器数据不利于管线流处理流程的数据效检索或交换，通过对原始数据进行格式转换，将其转换为便于管线流检索、交换和人机交互的数据格式，如本发明所述的树表数据结构模型，或本发明后续所述的扩展JSON数据格式。

3、数据加工：对格式转换后的数据进行筛选、融合、计算等处理加工、挖掘有用信息。数据加工可以由多个节点协同完成，甚至包括人工干预等。

4、结果输出：输出数据加工后的结果，例如将结果存储文件、数据库和打印机等终端。

构建好流水线拓扑结构后可以执行数据处理过程，数据处理过程包括实时响应处理和人机交互处理。实时响应处理过程指当流水线中的数据集或操作参数发生改变时，管线流的相应节点立即响应执行管线流数据处理过程；人机交互处理是数据集或操作参数发生改变时，需要人工执行“开始”、“暂停”等动作按钮，流水线中的各节点依次响应动作按钮从而实现对管道传输的数据流相应处理。

本发明实施例的有益效果如下：采用树表结构模型融合多源传感器信息，利用数据流和事件信号通讯机制实现地球科学数据处理流水线化处理加工，它以一种“链式模型”来串接不同的程序或者不同的组件，不同模块组件具有“高内聚，低耦合”的特征，经过各个节点的先后协同处理，实现地球科学多源传感器数据采集和处理一体化，并可以得到多种形式的输出。

附图说明

图1示出了典型地球科学多源传感器数据处理软件流水线拓扑结构。

图2示出了地球科学数据处理软件流水线节点的C++语言接口类。

图3示出了多源地球传感器测量信息的树表数据结构模型。

图4示出了树表数据结构的JSON文件格式示意图。

图5示出了树表数据结构的JSON文件格式的数据实施例示意图。

图6示出了地球科学数据处理处理的流水线实施例示意图。

具体实施方式

为了能够更清楚地理解本发明的目的、特征和优点，下面结合附图和具体实施方式对本发明进一步的详细描述。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其他方式来实施。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合，本发明的保护范围并不受下面公开的具体实施例的限制。

如图1示出了典型地球科学多源传感器数据处理软件流水线拓扑结构，其中节点1、节点2为传感器信息源，即可以实时从传感器获取数据，也可以读取已经记录的原始数据文件；节点3、节点4为数据转换节点，将传感器原始信息或数据文件转换为本发明所述的树表结构模型或树表数据结构JSON格式文件；节点5把多源传感器数据融合为统一的树表结构模型；节点11从数据库中获取历史数据；节点16、节点17为结果输出，如写入数据库、打印等；其他节点执行数据处理加工操作，如节点14进行地质解译并将数据发送至不同的节点，节点13利用机器学习历史经验，节点15对地质解译结果进行信息挖掘等。

将不同的节点按数据处理逻辑流程依次连接起来，实现构建多源数据处理流水线拓扑结构，通过连接两个节点建立数据流管线和点对点通讯模式，如图1中连接节点1 与节点3就建立了节点1与节点3之间的数据流管道，节点1数据流输出连接节点3的数据流输入，同时也建立了节点1与节点3之间的点对点通信模式。采用点对点通讯模式实现管线传输的数据流依次有序的处理，如图1中节点3 完成了工作任务后输出处理后的数据流，并发送完成事件信号至节点5，节点5接收了节点3发送的事件完成信号后读取节点3输出的数据流，同样道理，节点5接收了节点4发送的完成事件信号后读取节点4输出的数据流，节点5处理完成数据流后，发送完成事件信号和数据流至后续节点，依此模式实现软件流水线拓扑结构各个节点的数据处理任务。

数据处理软件流水线拓扑结构的某个节点数据或处理参数发生改变时，该节点件发送更新信号至前置节点请求更新数据，前置节点接收的更新信号后，再发送更新信号至该节点的前置节点，由此，该节点所有关联的前置节点都接收了更新信号，重新执行数据读取和数据处理任务。如图1中节点6发生滤波参数的变化，那么该节点将发送更新信号至节点5，节点5发送更新信号至节点4和节点3，节点4和节点3分别发送更新信号至节点2和节点1，节点1和节点2接收了更新信号后重新执行数据读取任务并发送完成事件信号至节点3和节点4，以此实现节点6更新处理参数后的数据流水线处理流程。

广播模式通常发送特定事件信号，而无特点的对象节点，任意节点通过设置监听特定的事件信号，当节点接收到特定的信号便执行相应的处理动作。如对流水线拓扑结构以广播模式发送“暂停”事件信号，那么所有设置了监听“暂停”广播信号的节点接收了信号后同步执行相应的“暂停”动作；再比如：当系统广播的形式发送“开始”事件信号时，那么所有节点同步执行“开始”处理操作动作等。

以C++语言实现的节点的基础类如图2所示，该基础类定义了该节点发送的5个基本的信号类型，以及定义添加和删除监听其他节点发送信号的虚函数。节点可以设置发送广播形式的信号，即没有特定接收该信号的对象节点。

地球科学多源传感器数据种类繁多，数据格式各异，为了便于融合不同传感器的数据，本发明所述的可以表征多源传感器测量信息的树表数据结构模型如图3所示，树表结构有树信息和表信息组成。树表结构的树信息用于描述传感器基本信息，例如位置、型号、采集参数等传感器的描述信息；树表结构的表信息用于表征传感器采集的信号，如采集的弹性波场、电场等物理场信号。共有的基本信息等可以在树表结构的根项目的树信息中描述，不同传感器的树表结构作为根项目的子项。

图4为树表数据结构的JSON文件格式示意图，本发明命名为的GPJSON文件格式，其中GlobalInfo键对应的对象相当于图3所述的根项描述信息，Aggregation键对应的对象数组相当于不同传感器的描述信息和采集信息的集合体，其中info键的对象为传感器的描述信息，collection键的对象为传感器的采集信息。此外，描述信息的ID键对应的值为该传感器在树表数据结构模型中独一无二的识别信息。

本发明所述的树表数据结构的也可以采用xml或html等其他文件格式。

图5示出了本发明的所述的GPJSON 文件格式的地球科学中瞬变电磁测量数据示意图。其中GlobalInfo键对应的根项描述信息给出了测量区域和采用的坐标系统等公共信息，Aggregation键对应的对象数组给出了不同测量点的描述信息和采集信息等，测量点的描述信息给出了测量点的坐标位置，采集信息给出了采集的时间序列的测量值，其中BCDTime数组对应的采集的时间序列，Values0、Values1给出了采集的电磁物理场信息等，通过解析GPJSON数据格式到本发明所述的树表数据结构模型，然后采用不同视图进行人机交互和数据处理等。

图6示出了瞬变电磁测量数据处理软件流水线处理示意图，根据瞬变电磁的数据处理逻辑流程连接不同节点，建立节点之间的管线流，包括节点之间的数据流和点对点通讯模式，实现构建瞬变电磁数据处理的拓扑结构的目的，不同的节点分别完成数据读取、信息融合、数据处理和加工、结果输出等功能，从而实现瞬变电磁数据的管线流处理。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，例如各实施例之间技术特征的相互结合，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.地球科学多源传感器数据软件管线流处理方法，其特征在于，所述方法属于计算机软件设计领域，以软件管线流技术实现地球科学多源传感器数据处理；包括：节点和管线，节点在流水线技术中代表处理数据所需的逻辑单元，节点之间的数据流交换和信号通讯机制称之为管线，利用管线将节点输出的数据传递到后续的节点，作为后续节点的输入数据，每个节点可以有多个输入或多个输出，即利用管线技术，节点能够接收不同来源的数据集，也可以发送数据集到不同的节点；

数据处理软件流水线拓扑结构的某个节点数据或处理参数发生改变时，该节点件发送更新信号至前置节点请求更新数据，前置节点接收的更新信号后，再发送更新信号至该节点的前置节点，由此，该节点所有关联的前置节点都接收了更新信号，重新执行数据读取和数据处理任务；

该数据处理软件包括可以表征多源地球传感器测量信息的树表数据结构模型，即包括描述信息的树结构，也包括传感器测量信号的表结构，树表数据结构能够方便地表达静态或动态的地球科学传感器数据流。

2.根据权利要求 1 所述的数据软件管线流处理方法，其特征在于，节点之间的除了数据流之外，节点之间还存在通讯机制，通讯机制采用发射事件信号和事件监听器实现，发射信号可以点对点模式，也可以广播模式，点对点发射事件信号模式是指某个节点向特定节点发送事件信号的模式，广播发射事件信号模式无特定接收节点。

3.根据权利要求 1 所述的数据软件管线流处理方法，其特征在于，利用点对点发射事件信号模式可以有序的把节点处理后的数据流通过管道传递给后续节点，节点也将更新处理参数的信号依次反馈至前置节点。

4.根据权利要求 1 所述的数据软件管线流处理方法，其特征在于，节点采用监听方式接收特定的广播事件信号，根据广播信号执行特定的动作，广播事件信号可以来自管线流拓扑结构任意节点，也可以来自软件处理系统。

5.根据权利要求 1 所述的数据软件管线流处理方法，其特征在于，地球科学传感器数据流在管线处理过程中，通过在树表数据结构中的描述信息添加时间标识、节点标识，使之能够追溯管线数据流的整个处理过程。