CN101980188A - 数据指标存储、解析方法与装置 - Google Patents

Abstract

本发明公开了一种数据指标存储方法与装置，用以解决现有技术提供的数据指标管理方案不能满足用户获知数据指标属性信息的需求的问题。其中，该方法包括步骤：采集原始数据指标，并确定原始数据指标的属性信息；以及对原始数据指标与确定的所述属性信息进行对应存储。本发明实施例还提供一种数据指标解析方法与装置。

Description

数据指标存储、解析方法与装置

技术领域

本发明涉及数据指标处理领域，尤其涉及一种数据指标存储、解析方法与装置。

背景技术

在数据指标处理领域中，长久以来，统计分析过程中的数据指标应用呈现“金字塔”现象：即底层的数据指标维度多、度量多、可观察角度多，然而随着应用层次的上升数据指标进一步聚合，数据指标维度、度量均减少，尤其是位于“金字塔”最上层的数据指标，其往往只有简单的一个维度和几个度量而已。

当用户在针对“金字塔”的中上层数据指标做应用时(比如利用数据指标制作报表等)，在某些场景下，需要关注该些中上层数据指标的“原始数据指标含义”以及“原始数据指标来源”，此外，若中上层数据指标为由原始数据指标计算得到的复合数据指标，则还会关注“复合数据指标是由哪些原始数据指标计算出来的，是通过怎样的计算规则计算出的”等属性信息。然而，现有技术中的数据指标管理方案还不能满足用户获知上述属性信息的需求。

发明内容

本发明提供一种数据指标存储方法与装置，用以解决现有技术提供的数据指标管理方案不能满足用户获知数据指标属性信息的需求的问题。

本发明实施例还提供一种数据指标解析方法与装置。

本发明实施例采用以下技术方案：

一种数据指标存储方法，包括：

采集原始数据指标，并确定原始数据指标的属性信息；以及对原始数据指标与确定的所述属性信息进行对应存储。

较佳地，所述方法还包括：通过对欲计算的复合数据指标的属性信息进行解析，确定用于计算所述复合数据指标的计算规则和原始数据指标；利用所述确定的原始数据指标，按照所述计算规则计算得到复合数据指标；以及对所述复合数据指标以及所述复合数据指标的属性信息进行对应存储。

较佳地，所述方法还包括：确定与所述确定的原始数据指标对应存储的属性信息；以及对应于所述复合数据指标以及所述复合数据指标的属性信息对应存储的对应关系，进一步对应存储确定的原始数据指标、所述确定的原始数据指标的属性信息以及所述计算规则。

较佳地于，所述原始数据指标的属性信息包括：所述原始数据指标的来源信息；和/或所述原始数据指标的含义信息；和/或所述原始数据指标的单位信息；和/或所述原始数据指标的采集规则信息。

一种数据指标解析方法，包括：获得用户输入的数据指标；根据所述数据指标，确定与所述数据指标进行预先对应存储的至少包含所述数据指标的属性信息在内的数据指标相关信息；并将确定的所述相关信息中的至少一项信息提供给用户。

较佳地，当所述数据指标为复合数据指标时，所述相关信息包括复合数据指标的属性信息、用于计算复合数据指标的原始数据指标、用于计算复合数据指标的原始数据指标的属性信息以及用于计算复合数据指标的计算规则。

较佳地，根据所述输入的数据指标，确定与所述输入的数据指标进行预先对应存储的所述相关信息前，还包括：将所述输入的数据指标的格式转换为指定格式。

一种数据指标存储装置，包括：采集单元，用于采集原始数据指标；属性信息确定单元，用于确定采集单元采集到的原始数据指标的属性信息；第一存储单元，用于对采集单元采集到的原始数据指标与确定单元确定的属性信息进行对应存储。

一种数据指标解析装置，包括：获得单元，用于获得用户输入的数据指标；信息确定单元，用于根据获得单元获得的数据指标，确定与所述数据指标进行预先对应存储的至少包含所述数据指标的属性信息在内的数据指标相关信息；提供单元，将信息确定单元确定的所述相关信息中的至少一项信息提供给用户。

本发明实施例提供的方案的有益效果如下：本发明实施例提供的方案通过在获取原始数据指标的同时，确定原始数据指标的属性信息，并对原始数据指标与其属性信息进行对应存储，由于与只会对具体的数据指标进行存储而不会对用户提供数据指标的属性信息等内容进行存储的现有技术方案相比，本发明实施例提供的方案能够将原始数据指标及其属性信息进行对应存储，用户在获知原始数据指标的同时，能够通过原始数据指标与属性信息的对应关系而获知到相应的属性信息，因此能够满足用户获知数据指标属性信息的需求。

附图说明

图1为本发明实施例提供的一种数据指标存储方法的具体流程示意图；

图2为本发明实施例提供的一种数据指标存储装置的具体结构示意图；

图3为本发明实施例提供的数据指标解析方法的具体流程示意图；

图4为本发明实施例提供的数据指标解析装置的具体结构示意图；

图5为本发明实施例中设置的三个模块在数据指标处理系统中的具体结构示意图。

具体实施方式

为了解决现有技术提供的数据指标管理方案不能满足用户获知数据指标属性信息需求的问题，本发明实施例对现有技术提供的数据指标管理方案进行了分析，发现现有技术中的方案往往只会对具体的数据指标进行存储，而不会对用户提供数据指标的属性信息等内容进行存储，或者，在对数据指标进行存储的同时，虽然也会对数据指标的属性信息进行存储，但由于数据指标与数据指标的属性信息是分别存储在不同的存储空间中且彼此之间没有任何联系，因此不能满足用户获知与数据指标对应的属性信息的需求。通过上述分析，本发明实施例首先提供一种数据指标存储方法，用以对数据指标及其属性信息进行对应存储，从而通过在存储过程中实现数据指标及其属性信息之间的关联，可以使得用户能够从存储内容中获知数据指标的同时，能够获知相应的属性信息。具体地，本发明实施例提供的该方法的具体流程示意图如图1所示，包括以下步骤：

步骤11，采集原始数据指标，并确定原始数据指标的属性信息，其中，原始数据指标的属性信息可以但不限于为原始数据指标的来源信息(比如原始数据指标是从什么样的数据提供系统中采集得到的)和/或原始数据指标的含义信息(比如原始数据指标代表的实际中的意义：人数、人名、性别等等)和/或原始数据指标的单位信息(比如当原始数据指标的含义为人数时，其单位为“个”)和/或原始数据指标的采集规则信息(比如原始数据的采集周期)等等，这些属性信息就是用户可能会需求到的一些属性信息，除了本发明实施例列举的上述信息外，根据实际需求，原始数据指标的属性信息还可以包含其他的信息，本发明实施例对此不做限定；

步骤12，对原始数据指标与确定的属性信息进行对应存储。通过对原始数据指标及其属性信息的对应存储，本发明实施例提供的该方案实际上是建立起了原始数据指标及其属性信息的关联，可以实现用户针对原始数据指标，通过该关联就能获知相应的属性信息，从而解决了现有技术只会对具体的数据指标进行存储，而不会对用户提供数据指标的属性信息等内容进行存储而导致的不能满足用户获知数据指标属性信息的需求的问题。

在本发明背景技术部分已提到，通过利用原始数据指标进行计算，得到的是被称为复合数据指标的数据指标，比如，上文所提到的中上层数据指标一般即为复合数据指标。本发明实施例中，可以进一步对复合数据指标及其属性信息进行对应存储，具体地，可以先通过对欲计算的复合数据指标的属性信息进行解析，确定用于计算复合数据指标的计算规则和原始数据指标，比如，假设欲计算的复合数据指标的属性信息为从所有系统中采集到的人数的总和，则可以确定用于计算该复合数据指标的计算规则为“加法”，若假设系统包括A系统和B系统，则可以确定用于计算该复合数据指标的原始数据指标应为从A系统中采集到的人数“100”以及从B系统中采集到的人数“300”；

其次，利用确定的原始数据指标，按照确定的计算规则计算得到复合数据指标，仍然以上述复合数据指标的属性信息为从所有系统中采集到的人数的总和为例，利用确定的原始数据指标“100”以及“200”以及计算规则，就能够计算出该复合数据指标为100+200＝300；

最后，对复合数据指标与复合数据指标的属性信息进行对应存储。

由于复合数据指标是通过对原始数据指标进行一次或多次计算而得到的，一般地，在经过一次或多次计算后，很难再对用于计算复合数据指标的原始数据指标的属性信息进行追溯。然而，考虑到在实际应用中，针对复合数据指标，在很多情况下，用户也是需要获知用于计算复合数据指标的原始数据指标的属性信息等，为此，本发明实施例中在对复合数据指标与复合数据指标的属性信息进行对应存储时，对应于复合数据指标以及复合数据指标的属性信息对应存储的对应关系，还可以进一步对应存储确定的原始数据指标、确定的原始数据指标的属性信息以及计算规则。

通过对复合数据指标、复合数据指标的属性信息、确定的原始数据指标、确定的原始数据指标的属性信息以及计算规则进行对应存储可知，通过建立起了复合数据指标以及与其相关的上述信息的关联，可以实现用户通过该关联就能获知与复合数据指标相应的属性信息、用于计算复合数据指标的原始数据指标、原始数据指标的属性信息等信息，从而实现对与复合数据指标相应的原始数据指标的属性信息的追溯。

对应于本发明实施例提供的上述数据指标存储方法，本发明实施例还提供一种数据指标存储装置，该装置的具体结构示意图如图2所示，包括以下功能单元：

采集单元21，用于采集原始数据指标；属性信息确定单元22，用于确定采集单元21采集到的原始数据指标的属性信息，这里的属性信息可以是原始数据指标的来源信息和/或原始数据指标的含义信息和/或原始数据指标的单位信息和/或原始数据指标的采集规则信息；第一存储单元23，用于对采集单元21采集到的原始数据指标与属性信息确定单元22确定的属性信息对应存储。

此外，本发明实施例提供的该装置还可以实现对复合数据指标的计算与存储，具体地，本发明实施例提供的该装置还可以进一步包括解析单元24，用于通过对欲计算的复合数据指标的属性信息进行解析，从采集单元21采集到的原始数据指标中确定用于计算复合数据指标的原始数据指标，并确定用于计算复合数据指标的计算规则；计算单元25，用于利用解析单元24确定的原始数据指标，按照解析单元24确定的计算规则计算得到复合数据指标；第二存储单元26，用于对计算单元25计算得到的复合数据指标以及复合数据指标的属性信息进行对应存储。

本发明实施例提供的该装置还可以进一步包括用于从第一存储单元23存储的属性信息中确定与解析单元24确定的原始数据指标对应存储的属性信息的确定单元，进一步地，第二存储单元26具体可以用于对应于复合数据指标以及复合数据指标的属性信息对应存储的对应关系，进一步对应存储解析单元24确定的原始数据指标、计算规则以及该确定单元确定的原始数据指标的属性信息。

相应于本发明实施例提供的上述数据指标存储方案，本发明实施例还提供一种数据指标解析方法，用以对用户输入的数据指标进行解析，以确定数据指标的属性信息等相关信息。具体地，本发明实施例提供的该数据指标解析方法的流程示意图如图3所示，包括以下步骤：

步骤31，获得用户输入的数据指标；

步骤32，根据用户输入的该数据指标，确定与输入的数据指标进行预先对应存储的至少包含数据指标的属性信息在内的数据指标相关信息；

步骤33，将确定的数据指标相关信息中的至少一项信息提供给用户。

在本发明实施例中，当用户输入的数据指标为原始数据指标时，确定出的数据指标相关信息一般就只包含原始数据指标的属性信息；而当用户输入的数据指标为复合数据指标时，确定出的上述数据指标相关信息就可以包括复合数据指标的属性信息、用于计算复合数据指标的原始数据指标、用于计算复合数据指标的原始数据指标的属性信息以及用于计算复合数据指标的计算规则等等。

需要说明的是，在本发明实施例中，用户输入的数据指标可能是的无法直接识别的格式，针对这样的情况，为了对用户输入的数据指标进行识别，可以在根据输入的数据指标，确定与输入的数据指标进行预先对应存储的相关信息前，还可以包括将输入的数据指标的格式转换为指定格式的步骤，以实现对用户输入的数据指标的识别。

对应于本发明实施例提供的上述数据指标解析方法，本发明实施例还提供一种数据指标解析装置，该装置的具体结构示意图如图4所示，包括以下功能单元：

获得单元41，用于获得用户输入的数据指标；

信息确定单元42，用于根据获得单元41获得的数据指标，确定与该数据指标进行预先对应存储的至少包含该数据指标的属性信息在内的数据指标相关信息；

提供单元43，将信息确定单元42确定的相关信息中的至少一项信息提供给用户。在本发明实施例中，当获得单元41获得的数据指标为复合数据指标时，信息确定单元42确定的相关信息往往会包括复合数据指标的属性信息、用于计算复合数据指标的原始数据指标、用于计算复合数据指标的原始数据指标的属性信息以及用于计算复合数据指标的计算规则这些内容，提供单元43可以将信息确定单元42确定的所有相关信息都提供给用户，也可以从相关信息中选取一些提供给用户。

以下以本发明实施例提供的上述方案在实际中的应用为例，详细说明上述方案的应用流程。

在本发明实施例中，可以设置三个模块共同完成对复合数据指标的计算与存储。该三个模块在数据指标处理系统中的具体结构示意图如图5所示，以下重点对该三个模块的功能进行描述，由于图5中包含的比如采集触发器、数据采集器等与现有技术中的数据指标处理系统中包含的采集触发器、数据采集器功能类似，后续不再赘述。

需要说明的是，如图5所示的该数据指标处理系统目前主要应用于运营系统交易指标监控和数据汇报过程，该系统每日会从各个运行系统中抽取得到原始数据指标(各个运行系统中的数据也可以称为如图所示的外部数据或者外部文件)，根据抽取得到的原始数据指标，可以计算得到用户需监控和汇报的复合数据指标。其中，复合数据指标的计算规则可以是几个简单的原始数据指标的加减乘除，如，当复合数据指标为每日系统处理量时，则用于计算该每日数据指标处理系统处理量的原始数据为A系统处理量和B系统处理量，而计算规则则为“每日数据指标处理系统的处理量＝A系统处理量+B系统处理量”，复合数据指标的计算规则还可以包括“数日净增处理量＝今日统处理量-昨日处理量”、“交易量环比增长＝(今日交易量-昨日交易量)/昨日交易量”等等。此外，计算规则还可以是多个原始数据指标间的交叉影响值，比如“同时注册A、B系统用户＝注册A系统用户∩注册B系统用户”等等。

本发明实施例中重点介绍的第一个功能模块为数据指标定义器，其包括原始数据指标定义器和复合数据指标定义器，其分别用于对原始数据指标和复合数据指标执行“定义”操作，该定义过程包括确定原始数据指标和复合数据指标的属性信息，比如，可以确定原始数据指标的来源信息、含义信息、单位信息和采集规则信息等。

针对原始数据指标，原始数据指标定义器所执行的定义操作可以包括对原始数据指标进行主题描述、时间维度标示、各个维度定义及描述等等。通过对原始数据指标的定义，可以实现对原始数据指标形象的“360度”定义，被定义后的原始数据指标将做为数据指标系统的“数据源”，为系统提供基础数据指标，并为计算复合数据指标提供计算基础。在对原始数据指标的定义执行完毕后，原始数据指标定义器将定义后的原始数据指标以及定义后的原始数据指标的属性信息等发送到如图5中所示的指标元存储器进行对应存储。

而针对复合数据指标，复合数据指标定义器所执行的定义操作也可以包括对复合数据指标进行主题描述、时间维度标示、度量定义及其描述等等。进一步地，该定义操作还可以对计算复合数据指标的计算规则进行定义。在本发明实施例中，计算规则可以包括加、减、乘、除、括弧等5个二维运算符，还可以包括交易、并集、补集、去重、计数、累计、平均、最大、最小等9个集合运算符，以及包括由数据指标和常量所组成的运算公式等等。

在复合数据指标定义器实现对复合数据指标的定义后，本发明实施例重点介绍另一模块，即复合数据指标抽取器，该复合数据指标抽取器的作用在于，根据待计算的复合数据指标，确定用于计算该复合数据指标的原始数据指标。

而另一重点介绍的模块为指标计算器，该计算器的作用在于，根据待计算的复合数据指标，确定用于计算该复合数据指标的计算规则，并利用确定的计算规则以及复合数据指标抽取器抽取的原始数据指标，对该复合数据指标进行计算。在指标计算器计算完毕后，将计算得到的计算结果反馈给复合数据指标抽取器，由复合数据指标抽取器将复合数据指标、复合数据指标的属性信息、复合数据指标的计算规则、用于计算复合数据指标的原始数据指标和该些原始数据指标的属性信息对应存储到指标二维数据存储器或多维cube文件存储器中。指标元存储器、指标二维数据存储器、多维cube文件存储器也可统称为数据指标池。

需要说明的是，在复合数据指标抽取器对数据指标进行抽取时，可以分为value模式和cube模式。在value模式下，每次抽取的结果为一个值，即一个数据指标，而在cube模式下，每次的抽取的结果一般为由多个数据指标构成的一个集合。对应于value模式，一般地，会将上述复合数据指标、复合数据指标的属性信息、复合数据指标的计算规则、用于计算复合数据指标的原始数据指标和该些原始数据指标的属性信息对应存储到指标二维数据存储器中；而对应于cube模式，则会将该对应关系存储到多维cube文件存储器中。

进一步地，如图5所示的系统中，还可以包括指标解析器，该指标解析器的功能主要在于获得用户输入的数据指标(指标短语)，并对其进行解析，从而确定出与该输入的数据指标对应存储的至少包含数据指标的属性信息在内的数据指标相关信息，并将确定的相关信息中的至少一项信息提供给用户。比如，当用户向指标解析器中输入复合数据指标“24000”时，可以通过指标解析器翻译对该“24000”的解析，最终向用户输出该复合数据指标数据的数据指标相关信息，包括：

原始数据指标的来源信息，比如，其来源可以为“A系统用户交互信息、B系统用户交互信息”；

计算规则信息，比如，假设规则为“A系统用户数据与B系统用户数据做合集，再按照用户ID进行去重处理”；

复合数据指标的含义信息，比如，A、B系统汇总活跃用户数；

复合数据指标的单位信息：人。

本发明实施例提供的上述方案所能达到的有益效果如下：

在现有技术中，利用原始数据指标对复合数据指标进行计算后，从复合数据指标中难以追溯到原始数据指标的来源、抽取规则等属性信息。而在采用本发明实施例提供的上述方案后，由于对数据指标及其属性信息进行了对应存储，因此，针对用户提供的复合数据指标，能通过对该复合数据指标的解析，确定出用于计算该复合数据指标的原始数据指标的属性信息，从而实现了对原始数据指标属性信息的追溯。简单来说，采用本发明实施例提供的该方案，用户可以随时通过指标解析器将数据指标进行解析，以获得其真正的含义。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种数据指标存储方法，其特征在于，包括：

采集原始数据指标，并确定原始数据指标的属性信息；以及

对原始数据指标与确定的所述属性信息进行对应存储。

2.如权利要求1所述的方法，其特征在于，还包括：

通过对欲计算的复合数据指标的属性信息进行解析，确定用于计算所述复合数据指标的计算规则和原始数据指标；

利用所述确定的原始数据指标，按照所述计算规则计算得到复合数据指标；以及

对所述复合数据指标以及所述复合数据指标的属性信息进行对应存储。

3.如权利要求2所述的方法，其特征在于，还包括：

确定与所述确定的原始数据指标对应存储的属性信息；以及

对应于所述复合数据指标以及所述复合数据指标的属性信息对应存储的对应关系，进一步对应存储确定的原始数据指标、所述确定的原始数据指标的属性信息以及所述计算规则。

4.如权利要求1～3任一所述的方法，其特征在于，所述原始数据指标的属性信息包括：

所述原始数据指标的来源信息；和/或

所述原始数据指标的含义信息；和/或

所述原始数据指标的单位信息；和/或

所述原始数据指标的采集规则信息。

5.一种数据指标解析方法，其特征在于，包括：

获得用户输入的数据指标；

根据所述数据指标，确定与所述数据指标进行预先对应存储的至少包含所述数据指标的属性信息在内的数据指标相关信息；并

将确定的所述相关信息中的至少一项信息提供给用户。

6.如权利要求5所述的方法，其特征在于，当所述数据指标为复合数据指标时，所述相关信息包括复合数据指标的属性信息、用于计算复合数据指标的原始数据指标、用于计算复合数据指标的原始数据指标的属性信息以及用于计算复合数据指标的计算规则。

7.如权利要求5或6所述的方法，其特征在于，根据所述输入的数据指标，确定与所述输入的数据指标进行预先对应存储的所述相关信息前，还包括：

将所述输入的数据指标的格式转换为指定格式。

8.一种数据指标存储装置，其特征在于，包括：

采集单元，用于采集原始数据指标；

属性信息确定单元，用于确定采集单元采集到的原始数据指标的属性信息；

第一存储单元，用于对采集单元采集到的原始数据指标与确定单元确定的属性信息进行对应存储。

9.如权利要求8所述的装置，其特征在于，还包括：

解析单元，用于通过对欲计算的复合数据指标的属性信息进行解析，从采集单元采集到的原始数据指标中确定用于计算所述复合数据指标的原始数据指标，并确定用于计算所述复合数据指标的计算规则；

计算单元，用于利用解析单元确定的原始数据指标，按照所述计算规则计算得到复合数据指标；以及

第二存储单元，用于对计算单元计算得到的复合数据指标以及所述复合数据指标的属性信息进行对应存储。

10.如权利要求9所述的装置，其特征在于，还包括：

确定单元，用于从第一存储单元存储的属性信息中，确定与解析单元确定的原始数据指标对应存储的属性信息；以及

所述第二存储单元具体用于对应于所述复合数据指标以及所述复合数据指标的属性信息对应存储的对应关系，进一步对应存储解析单元确定的原始数据指标、所述计算规则和确定单元确定的原始数据指标的属性信息。

11.如权利要求8～10任一所述的装置，其特征在于，所述原始数据指标的属性信息包括：

所述原始数据指标的来源信息；和/或

所述原始数据指标的含义信息；和/或

所述原始数据指标的单位信息；和/或

所述原始数据指标的采集规则信息。

12.一种数据指标解析装置，其特征在于，包括：

获得单元，用于获得用户输入的数据指标；

信息确定单元，用于根据获得单元获得的数据指标，确定与所述数据指标进行预先对应存储的至少包含所述数据指标的属性信息在内的数据指标相关信息；

提供单元，将信息确定单元确定的所述相关信息中的至少一项信息提供给用户。

Images