CN109710641A - 一种海量数据的查询处理方法及系统 - Google Patents

Abstract

本发明公开了一种海量数据的查询处理方法，包括以下步骤：根据接口配置服务得到由不同的业务数据转化而成的对应的规则信息；将规则信息保存到查询数据主体中；根据接口配置服务获取需要的规则唯一标识；根据规则唯一标识获取查询数据主体中对应的规则信息；将规则信息拆分为若干个步骤，根据步骤信息得到最终的结果数据。本发明提供的一种海量数据的查询处理方法及系统，能够通过规则唯一标识获取查询主体中对应的规则信息，并将规则信息进行拆分，能够准确查找到业务需要的数据信息并进行数据的处理，能够根据业务需求进行动态的数据分析，从而能够有效地提高数据查询处理的准确性和灵活性。

Description

一种海量数据的查询处理方法及系统

技术领域

本发明涉及数据分析技术领域，尤其涉及一种海量数据的查询处理方法及系统。

背景技术

随着大数据时代的来临，面对日益增长的海量数据，如何更好的处理大数据，满足用户对大数据查询的高效、准确及个性化需求，已经逐渐引起人们的关注。

目前，现有技术中对数据进行查询处理，无法对产生的中间数据集进行动态的数据查询处理，也无法根据业务需求进行动态的数据查询处理。

发明内容

本发明提供的一种海量数据的查询处理方法及系统，能够将海量数据的结果集保存在中间结果集中，以被下一个或者第N个步骤引用，进行数据的二次查询处理；还能够根据业务需求进行动态的数据分析，有效地提高了数据查询处理的准确性和灵活性。

为实现上述目的，一方面，本发明的第一实施例提供了一种海量数据的查询处理方法，包括以下步骤：

根据接口配置服务得到由不同的业务数据转化而成的对应的规则信息；

将所述规则信息保存到查询数据主体中；

根据接口配置服务获取需要的规则唯一标识；

根据所述规则唯一标识获取所述查询数据主体中对应的规则信息；

将所述规则信息拆分为若干个步骤，根据所述步骤信息得到最终的结果数据。

进一步地，所述根据接口配置服务得到由不同的业务数据转化而成的对应的规则信息，具体为：

根据接口配置服务将不同的业务数据配置对应的规则信息，通过外部调用接口配置服务查询得到所述不同的业务数据对应的规则信息。

进一步地，所述规则信息包括规则名称、备注、步骤数量和规则步骤信息集合。

进一步地，所述将所述规则信息拆分为若干个步骤，根据所述步骤信息得到最终的结果数据，具体为：

根据规则信息解析模块将所述规则信息拆分为若干个步骤，将经过第N个所述步骤得到的数据结果集保存在中间数据结果集中，用于被第N+n个步骤引用进行查询或者分析，得到最终的结果数据集，其中，N和n均为大于1的正整数。

另一方面，本发明的第二实施例提供了一种海量数据的查询处理系统，所述系统包括第一规则信息获取模块、规则信息存储模块、规则唯一标识获取模块、第二规则信息获取模块和数据查询处理模块；

所述第一规则信息获取模块，用于根据接口配置服务得到由不同的业务数据转化而成的对应的规则信息；

所述规则信息存储模块，用于将所述规则信息保存到查询数据主体中；

所述规则唯一标识获取模块，用于根据接口配置服务获取需要的规则唯一标识；

所述第二规则信息获取模块，用于根据所述规则唯一标识获取所述查询数据主体中对应的规则信息；

所述数据查询处理模块，用于将所述规则信息拆分为若干个步骤，根据所述步骤信息得到最终的结果数据。

进一步地，所述第一规则信息获取模块具体用于：

根据接口配置服务将不同的业务数据配置对应的规则信息，通过外部调用接口配置服务查询得到所述不同的业务数据对应的规则信息。

进一步地，所述规则信息包括规则名称、备注、步骤数量和规则步骤信息集合。

进一步地，所述数据查询处理模块具体用于：

根据规则信息解析模块将所述规则信息拆分为若干个步骤，将经过第N个所述步骤得到的数据结果集保存在中间数据结果集中，用于被第N+n个步骤引用进行查询或者分析，得到最终的结果数据集，其中，N和n均为大于1的正整数。

本发明实施例提供的一种海量数据的查询处理方法及系统，能够将海量数据的结果集保存在中间结果集中，以被下一个或者第N个步骤进行引用，进行数据的查询处理；还能够根据业务需求进行动态的数据分析，有效地提高了数据查询处理的准确性和灵活性。

附图说明

图1是本发明提供的一种海量数据的查询处理方法的流程示意图；

图2是本发明提供的一种海量数据的查询处理系统的结构示意图；

图3是本发明提供的一种海量数据的查询处理系统的另一结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明的第一实施例提供了一种海量数据的查询处理方法，包括以下步骤：

S1、根据接口配置服务得到由不同的业务数据转化而成的对应的规则信息；

S2、将规则信息保存到查询数据主体中；

S3、根据接口配置服务获取需要的规则唯一标识；

S4、根据规则唯一标识获取查询数据主体中对应的规则信息；

S5、将规则信息拆分为若干个步骤，根据步骤信息得到最终的结果数据。

在本发明实施例中，优选地，本发明提供的海量数据的查询处理方法通过对不同数据源的数据进行分步骤式的数据查询处理，将一个查询主体拆分的结果转换成一个或者多个步骤式的数据操作方式,并将产生的结果集进行临时存储，方便被下n个步骤进行引用，在某个步骤中根据业务需要对已经生成的结果集数据进行二次计算，形成新的结果集。这样则不限制只能查询操作运算已有的数据，可以根据已有的数据或者对应的算法生成/模拟业务需要的数据。并对外提供公共统一的数据查询接口，在查询的过程中分成若干个步骤对数据进行查询处理，在第N步查询过程中将不同数据源的数据进行处理得到新的数据结果集，在N+n步骤可以引用第N个步骤的数据进行数据的查询处理，最终形成业务需求需要的数据结果集。

作为本发明实施例的一种具体实施方式，根据接口配置服务得到由不同的业务数据转化而成的对应的规则信息，具体为：

根据接口配置服务将不同的业务数据配置对应的规则信息，通过外部调用接口配置服务查询得到不同的业务数据对应的规则信息。

在本发明实施例中，通过接口配置服务能够将不同的业务数据转化为对应的规则信息，对得到的规则信息进行查询处理，能够实现根据业务需求进行动态的数据查询处理。

作为本发明实施例的一种具体实施方式，规则信息包括规则名称、备注、步骤数量和规则步骤信息集合。

在本发明实施例中，步骤信息集合包括当前步骤标识[0,1,2,3...N]、步骤名称、步骤查询数据源、步骤查询数据主体、步骤执行算法、步骤过滤信息、步骤返回结果信息。

作为本发明实施例的一种具体实施方式，将规则信息拆分为若干个步骤，根据步骤信息得到最终的结果数据，具体为：

根据规则信息解析模块将规则信息拆分为若干个步骤，将经过第N个步骤得到的数据结果集保存在中间数据结果集中，用于被第N+n个步骤引用进行查询或者分析，得到最终的数据结果集，其中，N和n均为大于1的正整数。

在本发明实施例中，通过将经过第N个步骤得到的数据结果集保存在中间数据结果集中，用于被第N+n个步骤引用进行查询或者分析，能够实现对产生的中间数据集进行动态的分析，动态的分析包括对数据的二次查询和二次处理，从而能够得到新的数据结果集，这样则不限制只能查询操作运算已有的数据，可以根据已有的数据或者对应的算法生成/模拟业务需要的数据。

请参阅图2，本发明的第二实施例提供了一种海量数据的查询处理系统，系统包括第一规则信息获取模块201、规则信息存储模块201、规则唯一标识获取模块203、第二规则信息获取模块204和数据查询处理模块205；

第一规则信息获取模块201，用于根据接口配置服务得到由不同的业务数据转化而成的对应的规则信息；

规则信息存储模块201，用于将规则信息保存到查询数据主体中；

规则唯一标识获取模块203，用于根据接口配置服务获取需要的规则唯一标识；

第二规则信息获取模块204，用于根据规则唯一标识获取查询数据主体中对应的规则信息；

数据查询处理模块205，用于将规则信息拆分为若干个步骤，根据步骤信息得到最终的结果数据。

在本发明实施例中，优选地，本发明提供的海量数据的查询处理方法通过对不同数据源的数据进行分步骤式的数据查询处理，将一个查询主体拆分的结果转换成一个或者多个步骤式的数据操作方式,并将产生的结果集进行临时存储，方便被下n个步骤进行引用，在某个步骤中根据业务需要对已经生成的结果集数据进行二次计算，形成新的结果集。这样则不限制只能查询操作运算已有的数据，可以根据已有的数据或者对应的算法生成/模拟业务需要的数据。并对外提供公共统一的数据查询接口，在查询的过程中分成若干个步骤对数据进行查询处理，在第N步查询过程中将不同数据源的数据进行处理得到新的数据结果集，在N+n步骤可以引用第N个步骤的数据进行数据的查询处理，最终形成业务需求需要的数据结果集。请参阅图3，为本发明提供的一种海量数据的查询处理系统的另一结构示意图。

作为本发明实施例的一种具体实施方式，第一规则信息获取模块201具体用于：

根据接口配置服务将不同的业务数据配置对应的规则信息，通过外部调用接口配置服务查询得到不同的业务数据对应的规则信息。

在本发明实施例中，通过接口配置服务能够将不同的业务数据转化为对应的规则信息，对得到的规则信息进行查询处理，能够实现根据业务需求进行动态的数据查询处理。

作为本发明实施例的一种具体实施方式，规则信息包括规则名称、备注、步骤数量和规则步骤信息集合。

在本发明实施例中，步骤信息集合包括当前步骤标识[0,1,2,3...N]、步骤名称、步骤查询数据源、步骤查询数据主体、步骤执行算法、步骤过滤信息、步骤返回结果信息。

作为本发明实施例的一种具体实施方式，数据查询处理模块205具体用于：

根据规则信息解析模块将规则信息拆分为若干个步骤，将经过第N个步骤得到的数据结果集保存在中间数据结果集中，用于被第N+n个步骤引用进行查询或者分析，得到最终的结果数据集，其中，N和n均为大于1的正整数。

在本发明实施例中，通过将经过第N个步骤得到的数据结果集保存在中间数据结果集中，能够对数据结果集进行下一步的操作，用于被第N+n个步骤引用进行查询或者分析，能够实现对产生的中间数据集进行动态的分析，动态的分析包括对数据的二次查询和二次处理，从而能够得到新的数据结果集，这样则不限制只能查询操作运算已有的数据，可以根据已有的数据或者对应的算法生成/模拟业务需要的数据。

实施本发明实施例，具有如下有益效果：

本发明提供的一种海量数据的查询处理方法及系统，能够通过规则唯一标识获取查询主体中对应的规则信息，并将规则信息进行拆分，能够准确查找到业务需要的数据信息并进行数据的处理，能够根据业务需求进行动态的数据分析，从而能够有效地提高数据查询处理的准确性和灵活性。

以上是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (8)

1.一种海量数据的查询处理方法，其特征在于，包括以下步骤：

根据接口配置服务得到由不同的业务数据转化而成的对应的规则信息；

将所述规则信息保存到查询数据主体中；

根据接口配置服务获取需要的规则唯一标识；

根据所述规则唯一标识获取所述查询数据主体中对应的规则信息；

将所述规则信息拆分为若干个步骤，根据所述步骤信息得到最终的结果数据。

2.如权利要求1所述的海量数据的查询处理方法，其特征在于，所述根据接口配置服务得到由不同的业务数据转化而成的对应的规则信息，具体为：

根据接口配置服务将不同的业务数据配置对应的规则信息，通过外部调用接口配置服务查询得到所述不同的业务数据对应的规则信息。

3.如权利要求1所述的海量数据的查询处理方法，其特征在于，所述规则信息包括规则名称、备注、步骤数量和规则步骤信息集合。

4.如权利要求1所述的海量数据的查询处理方法，其特征在于，所述将所述规则信息拆分为若干个步骤，根据所述步骤信息得到最终的结果数据，具体为：

根据规则信息解析模块将所述规则信息拆分为若干个步骤，将经过第N个所述步骤得到的数据结果集保存在中间数据结果集中，用于被第N+n个步骤引用进行查询或者分析，得到最终的结果数据集，其中，N和n均为大于1的正整数。

5.一种海量数据的查询处理系统，其特征在于，所述系统包括第一规则信息获取模块、规则信息存储模块、规则唯一标识获取模块、第二规则信息获取模块和数据查询处理模块；

所述第一规则信息获取模块，用于根据接口配置服务得到由不同的业务数据转化而成的对应的规则信息；

所述规则信息存储模块，用于将所述规则信息保存到查询数据主体中；

所述规则唯一标识获取模块，用于根据接口配置服务获取需要的规则唯一标识；

所述第二规则信息获取模块，用于根据所述规则唯一标识获取所述查询数据主体中对应的规则信息；

所述数据查询处理模块，用于将所述规则信息拆分为若干个步骤，根据所述步骤信息得到最终的结果数据。

6.如权利要求5所述的海量数据的查询处理系统，其特征在于，所述第一规则信息获取模块具体用于：

根据接口配置服务将不同的业务数据配置对应的规则信息，通过外部调用接口配置服务查询得到所述不同的业务数据对应的规则信息。

7.如权利要求5所述的海量数据的查询处理系统，其特征在于，所述规则信息包括规则名称、备注、步骤数量和规则步骤信息集合。

8.如权利要求5所述的海量数据的查询处理系统，其特征在于，所述数据查询处理模块具体用于：

根据规则信息解析模块将所述规则信息拆分为若干个步骤，将经过第N个所述步骤得到的数据结果集保存在中间数据结果集中，用于被第N+n个步骤引用进行查询或者分析，得到最终的结果数据集，其中，N和n均为大于1的正整数。