CN105404608B

CN105404608B - 一种基于公式解析的复杂指标集计算方法和系统

Info

Publication number: CN105404608B
Application number: CN201510704509.9A
Authority: CN
Inventors: 魏晟坤; 任伟; 陈军; 王秀英
Original assignee: CHINACCS INFORMATION INDUSTRY Co Ltd
Current assignee: CHINACCS INFORMATION INDUSTRY Co Ltd
Priority date: 2015-10-27
Filing date: 2015-10-27
Publication date: 2018-07-20
Anticipated expiration: 2035-10-27
Also published as: CN105404608A

Abstract

本发明实施例提出了一种基于公式解析的复杂指标集计算方法和系统，其中计算方法包括：确定数据标准化模型的参数，参数包括数据集中数据的维度、度量值、衍生值；确定数据集中的基础数据；确定数据集中的非基础数据，对非基础数据进行表示，以将非基础数据表示为至少一个或多个子数据的四则运算；将每一非基础数据表示为树形结构，树形结构的端点为用于生成非基础数据的四则运算符，且树形结构的每一分支为用于生成非基础数据的子数据；对生成的所有非基础数据对应的公式进行排序，以使每一非基础数据所引用的子数据对应的公式排在该非基础数据对应的公式之前；然后根据排序后的公式生成可执行语句；导入基础数据，然后按照顺序执行可执行语句。

Description

一种基于公式解析的复杂指标集计算方法和系统

技术领域

本发明涉及数据信息化技术领域，特别涉及一种基于公式解析的复杂指标集计算方法和系统。

背景技术

随着企业规模逐渐扩大，企业中各类数据、衍生数据的数量也会随之增加，数据间的关系会越来越复杂，这些关系包括衍生关系、父子关系等。现有的数据处理技术领域中将数据分为基础数据、衍生数据、父数据。其中不依赖于其他数据的数据称为基础数据，基础数据可以直接获得或通过底层数据统计获得；而衍生数据是指通过其他数据得到的，而通过多个基础数据或衍生数据结合形成的数据称为父数据。

现有技术中很多企业都通过EXCEL表来管理这些数据形成的数据集，并在数据库中用公式描述数据间的各种关系。在录入数据时需要先将基础数据录入，才能够根据这些基础数据和公式来获取衍生数据。但是在针对拥有大量数据和复杂数据关系的数据集进行统计时，会导致持续计算量呈指数级别增加；特别是当新增数据类型和新增/修改公式时，其工作量更是难以接受的。在随着公式量的不断增加和公式不断改变，维护人员不得不面对Excel中大量的没有明确含义的单元格名，并需要在不同的sheet页中寻找需要的数据位置，会导致工作量增加且很容易出错。

发明内容

为解决现有技术中的问题，本发明实施例提供了一种基于公式解析的复杂指标集计算方法和系统，能够自动处理以应对大量数据和复杂数据关系的数据集。

为达到上述目的，本发明实施例提出了一种基于公式解析的复杂指标集计算方法，包括：

确定数据标准化模型的参数，所述参数包括数据集中数据的维度、度量值、衍生值；

确定数据集中的基础数据Data_x，并将所述基础数据表示为Data_x={ Name_b，Value_b}，其中Name_b为该基础数据的名称，Value_b为该基础数据的数据值；

确定数据集中的非基础数据Data_y，对所述非基础数据进行表示，以将所述非基础数据表示为至少一个或多个子数据的四则运算；即将所述非基础数据Data_y表示为：Data_y=f{Data₁，Data₂……Data_n}；其中 Data₁，Data₂……Data_n为用于计算该非基础数据的子数据的数值其中所述子数据为基础数据或非基础数据；

将每一非基础数据表示为树形结构，所述树形结构的端点为用于生成所述非基础数据的四则运算符，且所述树形结构的每一分支为用于生成所述非基础数据的子数据；

对生成的所有非基础数据对应的公式进行排序，以使每一非基础数据所引用的子数据对应的公式排在该非基础数据对应的公式之前；

然后根据排序后的公式生成可执行语句；

导入基础数据，然后按照顺序执行所述可执行语句。

其中，所述数据的维度是数据的外部特性；所述度量值为数据在特定维度组合下的取值结果；所述衍生值是数据本身通过计算得到的有相对意义的度量值。

其中，所述树形结构是通过LR语法规则解析出来的。

其中，对生成的所有非基础数据对应的公式进行排序，以使每一非基础数据所引用的子数据对应的公式排在该非基础数据对应的公式之前，具体包括：

步骤S501、将所述基础数据标示为true并将所有非基础数据标示为false；

步骤S502、遍历所有标示为flase的指标，以判断是否还有被标示为false的数据，如果否则步骤结束；

步骤S503、对依赖的指标标示求交集，如果求交集结果为true则将该非基础数据的标示置为true，将公式添加到计算队列，并返回步骤S502，如果求交集结果为false则返回步骤S502。

其中，所述方法还包括：当更改公式或新增公式时，重新对公式进行排序。

同时，本发明实施例还提出了一种基于公式解析的复杂指标集计算系统，包括：

参数确定单元，用于确定数据标准化模型的参数，所述参数包括数据集中数据的维度、度量值、衍生值；

基础数据标示单元，用于确定数据集中的基础数据Data_x，并将所述基础数据表示为Data_x={Name_b，Value_b}，其中Name_b为该基础数据的名称，Value_b为该基础数据的数据值；

非基础数据标示单元，用于确定数据集中的非基础数据Data_y，对所述非基础数据进行表示，以将所述非基础数据表示为至少两个子数据；即将所述非基础数据Data_y表示为：Data_y=f{Data₁，Data₂……Data_n}；其中 Data₁，Data₂……Data_n为用于计算该非基础数据的子数据；其中所述子数据为基础数据或非基础数据；

解析单元，用于将每一非基础数据表示为树形结构，所述树形结构的端点为用于生成所述非基础数据的四则运算符，且所述树形结构的每一分支为用于生成所述非基础数据的子数据；

排序单元，用于对生成的所有非基础数据对应的公式进行排序，以使每一非基础数据所引用的子数据对应的公式排在该非基础数据对应的公式之前；

生成单元，用于根据排序后的生成可执行语句；

执行单元，用于导入基础数据，然后按照顺序执行所述可执行语句。

其中，所述树形结构是通过LR语法规则解析出来的。

其中，所述排序单元采用以下方式进行排序：

本发明的有益效果如下：本发明实施例设计了一种基于公式解析的复杂指标集计算方法和系统，可以自动数据进行解析并采用统一的公式进行表述，这样就可以自动将许多原先需要由人工处理的工作交给了计算机来完成，解决了人工处理时低效、低可读性、易出错、难扩展的种种问题，并且能够实现数据集计算的完全自动化，以及提供了更强大的数据维度和度量的扩展能力。

附图说明

图1为本发明实施例的流程示意图；

图2为基于公式解析的复杂数据集计算系统数据流图；

图3为基于公式解析的复杂数据集计算方法流程图；

图4为数据计算公式的新增和变更流程图；

图5为语法树的示意图；

图6为数据计算语句排序流程图。

具体实施方式

本发明的核心思想是：通过一种人和计算机都能识别的数据公式描述语言，配合解析装置，实现比传统方法更好的可读性、维护性和扩展性，并且能够支持自动化的批量运算，使得在处理拥有数千甚至上万条数据的复杂数据集时，仍然能够保持很高的执行效率。

本发明实施例提出了一种基于公式解析的复杂指标集计算方法，包括：

然后根据排序后的公式生成可执行语句；

导入基础数据，然后按照顺序执行所述可执行语句。

其中，所述树形结构是通过LR语法规则解析出来的。

生成单元，用于根据排序后的生成可执行语句；

其中，所述树形结构是通过LR语法规则解析出来的。

其中，所述排序单元采用以下方式进行排序：

为使本发明的目的、技术方案和优点更加清楚明白，以下通过一个具体的实例对本发明实施例进行进一步说明：

如图2所示的为本发明的该实施例的流程结构图。如图3所示的，本发明实施例的方法首先需要生成一个数据标准化模型。

以互联网公司为例，该模型为一多维度向量，其参数可以表示为下表：

按照这个向量模型，本发明实施例可以根据不同类的业务，按天统计各地域各用户类型的新增用户数和收入，以及它们的环比、同比、月累计情况。这样可以得到一系列的基础数据，如：免费邮箱新增用户数、VIP邮箱新增用户数、公有云收入、私有云收入等等。本发明实施例可以把这些基础数据按标准模型保存下来。同时根据该标准模型计算多个衍生数据和父数据，包括：邮箱的总新增用户数、免费邮箱新增用户数占比、VIP邮箱新增用户数占比、云服务的总收入、收入贡献率等。在本发明实施例中，可以通过以下方式描述数据间的关系Data_x={Name_b，Value_b}，比如：

l 父数据，邮箱总新增用户数={免费邮箱新增用户数，新增用户数}+{VIP邮箱新增用户数，新增用户数}

l 父数据，云服务的总收入={公有云收入，收入}+{私有云收入，收入}

l 衍生数据，私有云收入贡献率={私有云收入，收入}/{云服务的总收入，收入}*100%

在前述的实施例中用大括号区分一个数据，并且在一个数据中用逗号区分数据名称和所使用的度量。同时数据之间用四则运算符号连接以完成对公式的描述，以实现数据和公式的自描述。

然后用公式分析装置来对数据和公式进行分析，具体的可以采用如下所列举的LR语法来进行分析。然后利用antlr.jar编译工具，按照语法规则，把配置好的数据公式描述，解析为可以处理的语法树。

这样就可以将每一数据、公式都解析为如图5所示的树形结构，在树形结构的顶部为四则运算符号，而树形结构的每一个分支则为一个数据。由于该数据是表示为f(Data)={Data₁，Value₁}，{Data₂，Value₂}，……{Data_n，Value_n}结构的，因此就可以将其按照如图5所示的结构解析后添加到树形结构内。如图5所示的就是解析出的“云服务的总收入={公有云收入,收入}+{私有云收入, 收入}”这一公式。

由于各个指标之间存在依赖或衍生关系，因此需要对公式进行排序以防止在先的公式引用在后公式的结果。例如私有云收入贡献率这个数据需要依赖云服务总收入数据才能计算出来，因此必须把计算云服务总收入的公式放在计算私有云收入贡献率的公式之前才能保证在运行时不会报错。本发明实施例采用递归算法，通过遍历数据集的方式来确保公式的顺序。具体流程如图6所示的，包括：

在按照前述的步骤将公式一一进行排序后就可以获得最终的公式库，而每次执行时需要按照公式库中公式的顺序进行执行以确保计算结果的有效性。同时采用本发明实施例的方法可以根据这些公式生成可执行语句，并获得数据集的计算结果，该结果不仅仅是一个值，而是这个数据在各个维度组合下（在本例中是每天、每个地方、每个用户类型的组合）的所有度量值（在本例中是收入、用户数、以及其环比、同比、累计值），这就使得数据的维度和度量有着充分的自由度和扩展性，这是用Excel难以完成的。

数据公式的变更也很方便，在需要新增数据公式时，如图4所示的，可以将新的公式通过如前所述的步骤进行解析以形成树形结构，然后将新的公式增加到公式列表并重新排序；在需要修改数据公式时，把数据公式描述按照实际需求修改，再调用解析装置和计算语句生成装置获得最新的计算语句列表即可，非常方便，这一点也是Excel难以比拟的，因为在Excel中需要四处寻找数据所对应的单元格编号，这在复杂数据集中是很难完成的任务。

本发明实施例的方法尤其适合那些拥有大量数据和复杂数据关系的数据集的统计。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种基于公式解析的复杂指标集计算方法，其特征在于，包括：

然后根据排序后的公式生成可执行语句；

导入基础数据，然后按照顺序执行所述可执行语句；

2.根据权利要求1所述的基于公式解析的复杂指标集计算方法，其特征在于，所述数据的维度是数据的外部特性；所述度量值为数据在特定维度组合下的取值结果；所述衍生值是数据本身通过计算得到的有相对意义的度量值。

3.根据权利要求1所述的基于公式解析的复杂指标集计算方法，其特征在于，其中，所述树形结构是通过LR语法规则解析出来的。

4.根据权利要求1所述的基于公式解析的复杂指标集计算方法，其特征在于，所述方法还包括：当更改公式或新增公式时，重新对公式进行排序。

5.一种基于公式解析的复杂指标集计算系统，其特征在于，包括：

生成单元，用于根据排序后的生成可执行语句；

执行单元，用于导入基础数据，然后按照顺序执行所述可执行语句；

其中，所述排序单元采用以下方式进行排序：

6.根据权利要求5所述的基于公式解析的复杂指标集计算系统，其特征在于，所述数据的维度是数据的外部特性；所述度量值为数据在特定维度组合下的取值结果；所述衍生值是数据本身通过计算得到的有相对意义的度量值。

7.根据权利要求6所述的基于公式解析的复杂指标集计算系统，其特征在于，所述树形结构是通过LR语法规则解析出来的。

8.根据权利要求5所述的基于公式解析的复杂指标集计算系统，其特征在于，所述系统还包括：当更改公式或新增公式时，重新对公式进行排序。