CN110909010A

CN110909010A - 一种数据智能分析配置管理方法、装置、设备及存储介质

Info

Publication number: CN110909010A
Application number: CN201911167860.3A
Authority: CN
Inventors: 郑顺利; 潘红平; 汤家兴; 岳猛
Original assignee: Hangzhou Transinfo Tech Co Ltd
Current assignee: Hangzhou Transinfo Tech Co Ltd
Priority date: 2019-11-25
Filing date: 2019-11-25
Publication date: 2020-03-24
Anticipated expiration: 2039-11-25
Also published as: CN110909010B

Abstract

本申请公开了一种数据智能分析配置管理方法、装置、设备及存储介质，包括：依次读取并解析相关配置信息；配置信息包括业务配置信息、维度粒度配置信息、统计规则配置信息；从解析结果中获取业务数据类型、维度和粒度组合信息、统计分析任务及自定义的统计规则，生成或更新统计数据分析表；接收待分析的业务数据后，自动化执行统计分析任务，根据统计规则生成对应的各个维度的统计数据并存储至统计数据分析表；接收查询请求后，结合统计规则解析AQL表达式并转换为查询语言，执行查询操作，得到统计分析结果。该方法通过配置化的管理方式实现统计数据生成，并使用查询语音实现各个业务场景下的统计分析，响度速度快，自由度高，且使用方便。

Description

一种数据智能分析配置管理方法、装置、设备及存储介质

技术领域

本发明涉及数据分析领域，特别是涉及一种数据智能分析配置管理方法、装置、设备及存储介质。

背景技术

传统的数据统计方式是根据不同类型数据和统计需求通过编写静态SQL语句生成统计数据。这种方式存在响应慢、容错率低、用户使用自由度不高等问题。

因此，为了可以快速响应数据统计分析需求、给予用户高自由度的定制分析任务、使用户可以更快捷地查询分析结果，需要开发一套统一标准、使用方便、快速响应的关于数据统计分析与查询管理的方法。

发明内容

有鉴于此，本发明的目的在于提供一种数据智能分析配置管理方法、装置、设备及存储介质，能够实现各个维度的统计数据生成且可进行不同业务场景下的数据分析，使用方便，响应快捷。其具体方案如下：

一种数据智能分析配置管理方法，包括：

依次读取并解析相关配置信息；所述配置信息包括业务配置信息、维度粒度配置信息、统计规则配置信息；

从解析结果中获取业务数据类型、维度和粒度组合信息、统计分析任务及自定义的统计规则，生成或更新统计数据分析表；

接收待分析的业务数据后，自动化执行所述统计分析任务，根据所述统计规则生成对应的各个维度的统计数据并存储至所述统计数据分析表；

接收查询请求后，结合所述统计规则对AQL表达式进行解析并转换为数据存储引擎可识别的查询语言，通过所述查询语言执行查询操作，得到统计分析结果。

优选地，在本发明实施例提供的上述数据智能分析配置管理方法中，在依次读取并解析相关配置信息之前，具体包括：

根据不同场景的业务数据，分别定制对应的统计分析任务以构建业务配置信息；

根据业务数据的不同属性，定制不同的维度和粒度组合信息以构建维度粒度配置信息；

根据用户需求，自定义定制统计规则以构建统计规则配置信息。

优选地，在本发明实施例提供的上述数据智能分析配置管理方法中，在接收待分析的业务数据之后，在自动化执行所述统计分析任务之前，还包括：

通过数据接入配置将接收到的所述业务数据通过数据转换逻辑转换成表格结构数据。

优选地，在本发明实施例提供的上述数据智能分析配置管理方法中，自动化执行所述统计分析任务，根据所述统计规则生成对应的各个维度的统计数据并存储至所述统计数据分析表，具体包括：

根据所述业务配置信息，选择存储到本地或立即执行的所述统计分析任务；

触发所述统计分析任务后，根据所述统计规则将转换后的所述表格结构数据中的源数据按照各维度和粒度进行统计组合，转换成对应的各个维度的统计数据并存储在所述统计数据分析表中。

优选地，在本发明实施例提供的上述数据智能分析配置管理方法中，接收查询请求后，结合所述统计规则对AQL表达式进行解析并转换为数据存储引擎可识别的查询语言，通过所述查询语言执行查询操作，得到统计分析结果，具体包括：

接收查询请求后，对收到的AQL表达式进行语法和有效性检验；

通过所述AQL表达式和所述统计规则筛选并确定效率最高的所述统计数据分析表；

将所述AQL表达式通过转换逻辑转换成数据存储引擎可识别的查询语言；

通过所述查询语音在确定出的所述统计数据分析表中执行查询后得到统计分析结果。

优选地，在本发明实施例提供的上述数据智能分析配置管理方法中，通过所述AQL表达式和所述统计规则筛选并确定效率最高的所述统计数据分析表，具体包括：

读取待查询的业务数据类型，根据所述统计规则找到所述业务数据类型下所有的所述统计数据分析表；

根据所述AQL表达式中的查询数据属性列表和维度粒度组合列表，筛选出符合查询条件的所述统计数据分析表；

对筛选出的所述统计数据分析表，通过对数据量、维度粒度级别、关联数量进行综合对比，确定效率最高的所述统计数据分析表。

优选地，在本发明实施例提供的上述数据智能分析配置管理方法中，还包括：

对得到的统计分析结果进行组合，并按照所述统计规则转换成各维度组合形式的数据结构后返回至用户。

本发明实施例还提供了一种数据智能分析配置管理装置，包括：

配置信息解析模块，用于依次读取并解析相关配置信息；所述配置信息包括业务配置信息、维度粒度配置信息、统计规则配置信息；

分析表生成模块，用于从解析结果中获取业务数据类型、维度和粒度组合信息、统计分析任务及自定义的统计规则，生成或更新统计数据分析表；

统计数据生成模块，用于接收待分析的业务数据后，自动化执行所述统计分析任务，根据所述统计规则生成对应的各个维度的统计数据并存储至所述统计数据分析表；

语言查询模块，用于接收查询请求后，结合所述统计规则对AQL表达式进行解析并转换为数据存储引擎可识别的查询语言，通过所述查询语言执行查询操作，得到统计分析结果。

本发明实施例还提供了一种数据智能分析配置管理设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如本发明实施例提供的上述数据智能分析配置管理方法。

本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述数据智能分析配置管理方法。

从上述技术方案可以看出，本发明所提供的一种数据智能分析配置管理方法、装置、设备及存储介质，该方法包括：依次读取并解析相关配置信息；配置信息包括业务配置信息、维度粒度配置信息、统计规则配置信息；从解析结果中获取业务数据类型、维度和粒度组合信息、统计分析任务及自定义的统计规则，生成或更新统计数据分析表；接收待分析的业务数据后，自动化执行统计分析任务，根据统计规则生成对应的各个维度的统计数据并存储至统计数据分析表；接收查询请求后，结合统计规则对AQL表达式进行解析并转换为数据存储引擎可识别的查询语言，通过查询语言执行查询操作，得到统计分析结果。

本发明提供的上述数据智能分析配置管理方法支持用户自定义配置数据源、选择业务类型、定制统计规则，通过配置化的管理方式实现数据的各个维度的统计数据生成，并通过统一查询标准使用查询语音实现各个业务场景下业务数据的统计分析，这样对数据的统计分析和查询管理过程响度速度快，自由度高，且使用方便。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的数据智能分析配置管理方法的流程图；

图2为本发明实施例提供的数据智能分析配置管理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种数据智能分析配置管理方法，如图1所示，包括以下步骤：

S101、依次读取并解析相关配置信息；配置信息包括业务配置信息、维度粒度配置信息、统计规则配置信息；

在实际应用中，此处的业务配置信息可指定接入的数据在所处场景下对应哪种统计分析任务；维度粒度配置信息可指定接入的数据按照哪种维度和粒度统计，指定的维度和粒度信息必须存在于数据属性列表中，如姓名、职务、军衔可用于统计维度，班长、队长等职务信息可用于统计粒度，或，时间、事件类型、关联人员等用于统计维度，时间/天、时间/小时、时间/季度、人员/姓名、人员/职务等用于统计粒度，或，时间维度表中包含年、月、日、小时属性，时间用于统计维度，年、月、日、小时都是时间维度下的粒度，通过该维度粒度配置信息可实现不同维度和粒度组合下的统计数据生成；统计规则配置信息是用户自定义配置的，可指定需统计的业务数据类型、需统计的数据维度和粒度的转换规则、各类需统计的数据和维度粒度组合关联信息、需统计的数据统计时机和规模信息等；

S102、从解析结果中获取业务数据类型、维度和粒度组合信息、统计分析任务及自定义的统计规则，生成或更新统计数据分析表；

需要说明的是，通过业务数据类型可得知具体的源数据信息，所有该类型的统计分析都是基于源数据转换生成；通过自定义的统计规则可以指定维度和粒度组合信息是按照何种规则进行统计分析，如士兵执勤数据中，包含时间、人员、哨位等属性，可以指定通过时间/年、人员/军衔或者通过时间/天、哨位/名称进行统计；这样随意组合各种维度粒度信息，用于快速响应各种不同的分析场景；具体地，步骤S102中在读取规则所属业务数据类型后，可以准备创建统计数据分析表，然后遍历所有维度粒度组合信息，每种组合表示一种统计项，遍历完成后确认统计数据分析表结构，按照配置生成的表结构创建统计数据分析表，并关联维度粒度信息；

S103、接收待分析的业务数据后，自动化执行统计分析任务，根据统计规则生成对应的各个维度的统计数据并存储至统计数据分析表；

可理解的是，根据不同业务数据的维度和粒度信息，自由组合各个统计场景，可产生各种不同的统计数据；在此，通过读取统计规则，对接入的数据进行自动化分析，在配置统计维度和粒度信息时，可以指定每种维度和粒度的转换规则，生成符合转换规则的统计数据；

S104、接收查询请求后，结合统计规则对AQL表达式进行解析并转换为数据存储引擎可识别的查询语言，通过查询语言执行查询操作，得到统计分析结果；

需要说明的是，本发明定义了单独用于对统计数据进行分析查询的查询语音，用户可以遵循查询语言的统计规则，查询各种业务数据的统计分析结果，进行各种业务场景下的数据分析。这里的统计规则至少需要指定查询数据类型、查询的维度粒度组合列表。

在本发明实施例提供的上述数据智能分析配置管理方法中，通过上述步骤S101至S104，可知本发明由统计配置和统计查询语言两部分组成，可以通过配置化的方式实现各个维度的统计数据生成，又可以通过查询语言支持各个业务场景下的统计分析功能，这样对数据的统计分析和查询管理过程响度速度快，自由度高，且使用方便。

在具体实施时，在本发明实施例提供的上述数据智能分析配置管理方法中，在执行步骤S101依次读取并解析相关配置信息之前，具体可以包括以下步骤：根据不同场景的业务数据，分别定制对应的统计分析任务以构建业务配置信息；根据业务数据的不同属性，定制不同的维度和粒度组合信息以构建维度粒度配置信息；根据用户需求，自定义定制统计规则以构建统计规则配置信息。

具体地，通过用户自定义定制统计数据的统计规则，可自动化生成统计数据，在统计数据生成时读取源数据信息，在数据分析时生成各个维度和粒度组合数据，在数据分析时对数据类型和维度数据进行关联存储。

在具体实施时，在本发明实施例提供的上述数据智能分析配置管理方法中，执行步骤S103时，在接收待分析的业务数据之后，在自动化执行统计分析任务之前，还可以包括：通过数据接入配置将接收到的业务数据通过数据转换逻辑转换成表格结构数据。

需要注意的是，在本发明中，数据接入支持接入任意可转换成表达形式的数据，如：数据库、excel表格、Http协议等各种类型数据。获取业务数据的源数据后可通过转换逻辑将源数据结构转换成表格形式，表头为各类数据的属性值，每一行表示一条源数据；所有的统计分析功能都是基于该表格形式的数据进行。另外，数据接入需指定数据接入配置，对文件存储的数据需指定文件所在目录；对数据库存储的数据需指定数据库连接配置；对Http协议需指定Http协议地址等。

进一步地，在具体实施时，在本发明实施例提供的上述数据智能分析配置管理方法中，步骤S103自动化执行统计分析任务，根据统计规则生成对应的各个维度的统计数据并存储至统计数据分析表，具体可以包括：首先根据业务配置信息，选择存储到本地或立即执行的统计分析任务；然后触发统计分析任务后，根据统计规则将转换后的表格结构数据中的源数据按照各维度和粒度进行统计组合，转换成对应的各个维度的统计数据并存储在统计数据分析表中。

需要了解的是，为了可以更自由更灵活的应对不同的业务场景，在生成统计数据时，可以通过自定义转换函数将源数据转换成不同业务含义的统计数据；转换函数支持所有数据库内置函数和自定义函数。另外，除了指定统计数据生成的统计规则外，还可以通过一些配置的统计数据生成参数指定统计数据生成时机、数据统计阈值等；该统计数据生成参数主要包括自动化统计间隔时间，最小单位分钟，可以指定该参数值配置每次该类型数据统计时间间隔。当业务数据量较大时，查询可能会比较迟缓，通过统计规则可以自动化生成索引，通过遍历所有配置索引编号的维度信息，生成索引。除此之外，统计规则可指定当该类型数据接入规模超过一定阈值时，强制触发统计分析任务，避免一段时间接入数据量过大，阻塞数据统计生成。

在具体实施时，在本发明实施例提供的上述数据智能分析配置管理方法中，步骤S104接收查询请求后，结合统计规则对AQL表达式进行解析并转换为数据存储引擎可识别的查询语言，通过查询语言执行查询操作，得到统计分析结果，具体可以包括：首先接收查询请求后，对收到的AQL表达式进行语法和有效性检验；然后通过AQL表达式和统计规则筛选并确定效率最高的统计数据分析表；之后将AQL表达式通过转换逻辑转换成数据存储引擎可识别的查询语言；最后通过查询语音在确定出的统计数据分析表中执行查询后得到统计分析结果。

在实际应用中，接收查询请求后需解析统计分析任务，转换成数据存储支持的语法命令，从数据存储查询分析结果。AQL表达式结合上述统计规则配置信息中的语法规则，可快速响应各个业务场景下统计数据分析查询。经转换后的数据存储引擎可识别的查询语言可以包括：需查询的业务数据类型，通过该业务数据类型找到统计规则配置信息和存储该业务数据类型的统计数据分析表；需查询的数据属性列表，该属性列表包含各个需要查询的维度和粒度组合信息，该信息必须存在于统计规则配置信息中；统计属性筛选列表，根据不同业务场景进行统计数据筛选，筛选规则支持所有数据库内置函数和自定义函数，筛选属性必须也存在于统计规则配置信息中；统计组合方式，指定不同维度组合方式，组合属性必须也存在于统计规则配置信息中。

进一步地，在具体实施时，在本发明实施例提供的上述数据智能分析配置管理方法中，通过AQL表达式和统计规则筛选并确定效率最高的统计数据分析表，具体可以包括：读取待查询的业务数据类型，根据统计规则找到业务数据类型下所有的统计数据分析表；根据AQL表达式中的查询数据属性列表和维度粒度组合列表，筛选出符合查询条件的统计数据分析表；对筛选出的统计数据分析表，通过对数据量、维度粒度级别、关联数量进行综合对比，确定效率最高的统计数据分析表。

需要强调的是，查询的业务数据类型必须存在于统计规则配置信息中，可以获取该类型的统计规则；统计分析属性必须为所查询的数据类型维度粒度组合；数据属性列表可查询和筛选支持数学函数、过滤函数、表函数等及任意组合。

在具体实施时，在本发明实施例提供的上述数据智能分析配置管理方法中，还可以包括：对得到的统计分析结果进行组合，并按照统计规则转换成各维度组合形式的数据结构后返回至用户。

基于同一发明构思，本发明实施例还提供了一种数据智能分析配置管理装置，由于该装置解决问题的原理与前述一种数据智能分析配置管理方法相似，因此该装置的实施可以参见数据智能分析配置管理方法的实施，重复之处不再赘述。

在具体实施时，本发明实施例提供的数据智能分析配置管理装置，如图2所示，包括：

配置信息解析模块11，用于依次读取并解析相关配置信息；配置信息包括业务配置信息、维度粒度配置信息、统计规则配置信息；

分析表生成模块12，用于从解析结果中获取业务数据类型、维度和粒度组合信息、统计分析任务及自定义的统计规则，生成或更新统计数据分析表；

统计数据生成模块13，用于接收待分析的业务数据后，自动化执行统计分析任务，根据统计规则生成对应的各个维度的统计数据并存储至统计数据分析表；

语言查询模块14，用于接收查询请求后，结合统计规则对AQL表达式进行解析并转换为数据存储引擎可识别的查询语言，通过查询语言执行查询操作，得到统计分析结果。

在本发明实施例提供的上述数据智能分析配置管理装置中，通过上述四个模块的相互作用，通过配置化的管理方式实现各个维度的统计数据生成，并通过统一查询标准使用查询语音实现各个业务场景下业务数据的统计分析，这样对数据的统计分析和查询管理过程响度速度快，自由度高，且使用方便。

关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。

相应的，本发明实施例还公开了一种数据智能分析配置管理设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现前述实施例公开的数据智能分析配置管理方法。

关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

进一步的，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的数据智能分析配置管理方法。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本发明实施例提供的一种数据智能分析配置管理方法、装置、设备及存储介质，包括：依次读取并解析相关配置信息；配置信息包括业务配置信息、维度粒度配置信息、统计规则配置信息；从解析结果中获取业务数据类型、维度和粒度组合信息、统计分析任务及自定义的统计规则，生成或更新统计数据分析表；接收待分析的业务数据后，自动化执行统计分析任务，根据统计规则生成对应的各个维度的统计数据并存储至统计数据分析表；接收查询请求后，结合统计规则对AQL表达式进行解析并转换为数据存储引擎可识别的查询语言，通过查询语言执行查询操作，得到统计分析结果。该方法支持用户自定义配置数据源、选择业务类型、定制统计规则，通过配置化的管理方式实现数据的各个维度的统计数据生成，并通过统一查询标准使用查询语音实现各个业务场景下业务数据的统计分析，这样对数据的统计分析和查询管理过程响度速度快，自由度高，且使用方便。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的数据智能分析配置管理方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种数据智能分析配置管理方法，其特征在于，包括：

2.根据权利要求1所述的数据智能分析配置管理方法，其特征在于，在依次读取并解析相关配置信息之前，具体包括：

3.根据权利要求2所述的数据智能分析配置管理方法，其特征在于，在接收待分析的业务数据之后，在自动化执行所述统计分析任务之前，还包括：

4.根据权利要求3所述的数据智能分析配置管理方法，其特征在于，自动化执行所述统计分析任务，根据所述统计规则生成对应的各个维度的统计数据并存储至所述统计数据分析表，具体包括：

5.根据权利要求4所述的数据智能分析配置管理方法，其特征在于，接收查询请求后，结合所述统计规则对AQL表达式进行解析并转换为数据存储引擎可识别的查询语言，通过所述查询语言执行查询操作，得到统计分析结果，具体包括：

6.根据权利要求5所述的数据智能分析配置管理方法，其特征在于，通过所述AQL表达式和所述统计规则筛选并确定效率最高的所述统计数据分析表，具体包括：

7.根据权利要求6所述的数据智能分析配置管理方法，其特征在于，还包括：

8.一种数据智能分析配置管理装置，其特征在于，包括：

9.一种数据智能分析配置管理设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至7任一项所述的数据智能分析配置管理方法。

10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据智能分析配置管理方法。