CN109063111A - 一种大数据处理方法及系统 - Google Patents

Abstract

本发明公开了一种大数据处理方法及系统，包括计算机系统的处理器，所述处理包括：注册表示数据收集路径的多个数据场；生成并存储根据由注册数据场提供的数据的分层结构划分为多个数据单元的数据场，并指示用于访问每个单元数据的指针；生成和登记条件规范；生成和注册动作规范；通过混合条件规范和动作规范来生成和存储数据提供规范；当满足数据提供规范的条件规范中定义的条件时，获取相应的动作规范；和根据获取的动作规范中定义的操作处理从相应的动作规范中包含的数据场收集的数据。

Description

一种大数据处理方法及系统

技术领域

本发明涉及大数据处理技术领域，具体而言，涉及一种大数据处理方法及系统。更具体地，其可以分析在网络上分发的各种大数据并且仅选择用户期望提供的数据。

背景技术

现有技术公开用户很难在互联网上无限制作的大数据中找到所谓的信息，以达到被称为信息泛滥的程度。实际上，分析师正在对大数据进行分析，并且需要花费大量的成本和时间。

因此，迫切需要开发一种技术，该技术使得作为信息的最终消费者的一般用户能够直接选择他们想要提供的数据。

发明内容

本发明提出了一种大数据处理方法，包括计算机系统的处理器，所述处理包括：

注册表示数据收集路径的多个数据场；

生成并存储根据由注册数据场提供的数据的分层结构划分为多个数据单元的数据场，并指示用于访问每个单元数据的指针；

生成和登记条件规范，该条件规范包括属于在条件规范注册过程中选择的至少一个数据集的数据场；

生成和注册动作规范，该动作规范包括属于在动作规范注册过程中选择的至少一个数据群的数据场；

通过混合条件规范和动作规范来生成和存储数据提供规范；

当满足数据提供规范的条件规范中定义的条件时，获取相应的动作规范；和

根据获取的动作规范中定义的操作处理从相应的动作规范中包含的数据场收集的数据，

其中条件规范和动作规范中的至少一个包括对应于不同数据场的数据场。

所述的大数据处理方法，其中，所述条件规范的生成和注册包括：

显示在条件规范注册过程中选择的所选数据集和与其对应的数据场；

将与根据输入条件选择的数据场相关联的条件和条件规范登记处理中的选择结果添加到正在创建的条件规范中；和

分析添加到条件规范中的条件，将条件转换为自然语言，然后在屏幕上输出自然语言作为提示。

所述的大数据处理方法，其中，所述条件规范的生成和注册包括：

提供一个接口，通过该接口可以获取和修改在条件规范注册过程中选择的数据集的先前注册的条件规范；和

注册根据通过接口的输入修改的条件规范作为用户的条件规范。

所述的大数据处理方法，其中，生成和注册动作规范包括：

提供一个接口，通过该接口可以获取和修改在动作规范注册过程中选择的数据集的先前注册的条件规范；和

注册根据通过接口的输入修改的动作规范作为用户的动作规范。

所述的大数据处理方法，其中，数据的处理包括：

在预定时段执行条件规范，并在满足条件时传送根据相应的动作规范处理的数据。

所述的大数据处理方法，其中，数据的处理包括：

执行条件规范并提供开放的应用程序编程接口(API)地址，当满足条件规范时，能够从外部系统获取根据相应的动作规范处理的数据。

一种计算机系统，包括处理器，存储器和网络适配器，

其中处理器：

在存储器中登记表示通过网络适配器的数据收集路径的多个数据场；

根据注册数据场提供的数据的层次结构将数据划分为多个数据单元，生成表示用于访问每个单元数据的指针的数据场，并将数据场存储在存储器中；

生成条件规范，该条件规范包括属于在条件规范注册过程中选择的至少一个数据集的数据场，并将条件规范登记在存储器中；

生成动作规范，该动作规范包括属于在动作规范注册过程中选择的至少一个数据群的数据场，并将动作规范登记在存储器中；

通过混合条件规范和动作规范来生成数据提供规范，并将数据提供规范存储在存储器中；

当满足数据提供规范的条件规范中定义的条件时，从存储器中取出相应的动作规范；和

根据在获取的动作规范中定义的操作，处理从动作规范中包含的数据场收集的数据

条件规范和动作规范中的至少一个包括与不同数据场相对应的数据场。

附图说明

从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在图中，在不同的视图中，相同的附图标记指定对应的部分。

图1是本发明的大数据处理方法的示意图。

具体实施方式

为了使得本发明的目的、技术方案及优点更加清楚明白，以下结合其实施例，对本发明进行进一步详细说明；应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。对于本领域技术人员而言，在查阅以下详细描述之后，本实施例的其它系统、方法和/或特征将变得显而易见。旨在所有此类附加的系统、方法、特征和优点都包括在本说明书内、包括在本发明的范围内，并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征，并且这些特征根据以下将详细描述将是显而易见的。

实施例一：

图1是本发明的大数据处理方法的示意图。包括计算机系统的处理器，所述处理包括：

注册表示数据收集路径的多个数据场；

生成并存储根据由注册数据场提供的数据的分层结构划分为多个数据单元的数据场，并指示用于访问每个单元数据的指针；

生成和登记条件规范，该条件规范包括属于在条件规范注册过程中选择的至少一个数据集的数据场；

生成和注册动作规范，该动作规范包括属于在动作规范注册过程中选择的至少一个数据群的数据场；

通过混合条件规范和动作规范来生成和存储数据提供规范；

当满足数据提供规范的条件规范中定义的条件时，获取相应的动作规范；和

根据获取的动作规范中定义的操作处理从相应的动作规范中包含的数据场收集的数据，

其中条件规范和动作规范中的至少一个包括对应于不同数据场的数据场。

所述的大数据处理方法，其中，所述条件规范的生成和注册包括：

显示在条件规范注册过程中选择的所选数据集和与其对应的数据场；

将与根据输入条件选择的数据场相关联的条件和条件规范登记处理中的选择结果添加到正在创建的条件规范中；和

分析添加到条件规范中的条件，将条件转换为自然语言，然后在屏幕上输出自然语言作为提示。

所述的大数据处理方法，其中，所述条件规范的生成和注册包括：

提供一个接口，通过该接口可以获取和修改在条件规范注册过程中选择的数据集的先前注册的条件规范；和

注册根据通过接口的输入修改的条件规范作为用户的条件规范。

所述的大数据处理方法，其中，生成和注册动作规范包括：

提供一个接口，通过该接口可以获取和修改在动作规范注册过程中选择的数据集的先前注册的条件规范；和

注册根据通过接口的输入修改的动作规范作为用户的动作规范。

所述的大数据处理方法，其中，数据的处理包括：

在预定时段执行条件规范，并在满足条件时传送根据相应的动作规范处理的数据。

所述的大数据处理方法，其中，数据的处理包括：

执行条件规范并提供开放的应用程序编程接口(API)地址，当满足条件规范时，能够从外部系统获取根据相应的动作规范处理的数据。

实施例二：

一种计算机系统，包括处理器，存储器和网络适配器，

其中处理器：

在存储器中登记表示通过网络适配器的数据收集路径的多个数据场；

根据注册数据场提供的数据的层次结构将数据划分为多个数据单元，生成表示用于访问每个单元数据的指针的数据场，并将数据场存储在存储器中；

生成条件规范，该条件规范包括属于在条件规范注册过程中选择的至少一个数据集的数据场，并将条件规范登记在存储器中；

生成动作规范，该动作规范包括属于在动作规范注册过程中选择的至少一个数据群的数据场，并将动作规范登记在存储器中；

通过混合条件规范和动作规范来生成数据提供规范，并将数据提供规范存储在存储器中；

当满足数据提供规范的条件规范中定义的条件时，从存储器中取出相应的动作规范；和

根据在获取的动作规范中定义的操作，处理从动作规范中包含的数据场收集的数据条件规范和动作规范中的至少一个包括与不同数据场相对应的数据场。

所述的大数据处理方法，其中，所述条件规范的生成和注册包括：

显示在条件规范注册过程中选择的所选数据集和与其对应的数据场；

将与根据输入条件选择的数据场相关联的条件和条件规范登记处理中的选择结果添加到正在创建的条件规范中；和

分析添加到条件规范中的条件，将条件转换为自然语言，然后在屏幕上输出自然语言作为提示。

所述的大数据处理系统，其中，所述条件规范的生成和注册包括：

提供一个接口，通过该接口可以获取和修改在条件规范注册过程中选择的数据集的先前注册的条件规范；和

注册根据通过接口的输入修改的条件规范作为用户的条件规范。

所述的大数据处理系统，其中，生成和注册动作规范包括：

提供一个接口，通过该接口可以获取和修改在动作规范注册过程中选择的数据集的先前注册的条件规范；和

注册根据通过接口的输入修改的动作规范作为用户的动作规范。

所述的大数据处理系统，其中，数据的处理包括：

在预定时段执行条件规范，并在满足条件时传送根据相应的动作规范处理的数据。

所述的大数据处理系统，其中，数据的处理包括：

执行条件规范并提供开放的应用程序编程接口(API)地址，当满足条件规范时，能够从外部系统获取根据相应的动作规范处理的数据。

虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。也就是说上面讨论的方法，系统或设备等均是示例。各种配置可以适当地省略，替换或添加各种过程或组件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行方法，和/或可以添加，省略和/或组合各种阶段。而且，关于某些配置描述的特征可以以各种其他配置组合。可以以类似的方式组合配置的不同方面和元素。此外，随着技术的发展许多元素仅是示例而不限制本公开或权利要求的范围。

在说明书中给出了具体细节以提供对包括实现的示例性配置的透彻理解。然而，可以在没有这些具体细节的情况下实践配置例如，已经示出了众所周知的电路、过程、算法、结构和技术而没有不必要的细节，以避免模糊配置。该描述仅提供示例配置，并且不限制权利要求的范围，适用性或配置。相反，前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置进行各种改变。

此外，尽管每个操作可以将操作描述为顺序过程，但是许多操作可以并行或同时执行。另外，可以重新排列操作的顺序。一个过程可能有其他步骤。此外，可以通过硬件、软件、固件、中间件、代码、硬件描述语言或其任何组合来实现方法的示例。当在软件、固件、中间件或代码中实现时，用于执行必要任务的程序代码或代码段可以存储在诸如存储介质的非暂时性计算机可读介质中，并通过处理器执行所描述的任务。

综上，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，所述权利要求(包括所有等同物)旨在限定本发明的精神和范围。以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (7)

1.一种大数据处理方法，其特征在于，包括计算机系统的处理器，所述处理器包括：

注册表示数据收集路径的多个数据场；

生成并存储根据由注册数据场提供的数据的分层结构划分为多个数据单元的数据场，并指示用于访问每个单元数据的指针；

生成和登记条件规范，该条件规范包括属于在条件规范注册过程中选择的至少一个数据集的数据场；

生成和注册动作规范，该动作规范包括属于在动作规范注册过程中选择的至少一个数据群的数据场；

通过混合条件规范和动作规范来生成和存储数据提供规范；

当满足数据提供规范的条件规范中定义的条件时，获取相应的动作规范；和

根据获取的动作规范中定义的操作处理从相应的动作规范中包含的数据场收集的数据，其中条件规范和动作规范中的至少一个包括对应于不同数据场的数据场。

2.如权利要求1所述的大数据处理方法，其特征在于，所述条件规范的生成和注册包括：

显示在条件规范注册过程中选择的所选数据集和与其对应的数据场；

将与根据输入条件选择的数据场相关联的条件和条件规范登记处理中的选择结果添加到正在创建的条件规范中；和

分析添加到条件规范中的条件，将条件转换为自然语言，然后在屏幕上输出自然语言作为提示。

3.如权利要求1所述的大数据处理方法，其特征在于，所述条件规范的生成和注册包括：

提供一个接口，通过该接口可以获取和修改在条件规范注册过程中选择的数据集的先前注册的条件规范；和

注册根据通过接口的输入修改的条件规范作为用户的条件规范。

4.如权利要求1所述的大数据处理方法，其特征在于，生成和注册动作规范包括：

提供一个接口，通过该接口可以获取和修改在动作规范注册过程中选择的数据集的先前注册的条件规范；和

注册根据通过接口的输入修改的动作规范作为用户的动作规范。

5.如权利要求1所述的大数据处理方法，其特征在于，数据的处理包括：

在预定时段执行条件规范，并在满足条件时传送根据相应的动作规范处理的数据。

6.如权利要求1所述的大数据处理方法，其特征在于，数据的处理包括：

执行条件规范并提供开放的应用程序编程接口(API)地址，当满足条件规范时，能够从外部系统获取根据相应的动作规范处理的数据。

7.一种计算机系统，其特征在于，包括处理器，存储器和网络适配器，

其中处理器：

在存储器中登记表示通过网络适配器的数据收集路径的多个数据场；

根据注册数据场提供的数据的层次结构将数据划分为多个数据单元，生成表示用于访问每个单元数据的指针的数据场，并将数据场存储在存储器中；

生成条件规范，该条件规范包括属于在条件规范注册过程中选择的至少一个数据集的数据场，并将条件规范登记在存储器中；

生成动作规范，该动作规范包括属于在动作规范注册过程中选择的至少一个数据群的数据场，并将动作规范登记在存储器中；

通过混合条件规范和动作规范来生成数据提供规范，并将数据提供规范存储在存储器中；

当满足数据提供规范的条件规范中定义的条件时，从存储器中取出相应的动作规范；和

根据在获取的动作规范中定义的操作，处理从动作规范中包含的数据场收集的数据条件规范和动作规范中的至少一个包括与不同数据场相对应的数据场。