CN112651594A - 指标管理系统、方法及相应设备和存储介质 - Google Patents

Abstract

本申请公开了指标管理系统、方法及相应设备和存储介质，其中所述系统包括：数据源获取模块，用于获取数据源；解析模块，用于解析所述数据源所包含的元数据及其类型；统计属性确定模块，用于根据元数据类型将相应元数据字段确定为维度列、度量列或日期列；基础指标生成模块，用于根据维度列与度量列的一种或多种组合分别生成一个或多个对应的基础指标，其中，每一基础指标是至少一个维度列与一个度量列的组合；保存模块，用于保存基础指标与相应维度列和度量列的对应关系及基础指标数据集SQL。本发明使能从多种数据源快速抽取数据建立指标体系，用于指标计算和应用，进而高效挖掘指标价值和数据价值。

Description

指标管理系统、方法及相应设备和存储介质

技术领域

本申请涉及电数字数据处理领域，尤其涉及指标管理系统、方法及相应设备和存储介质。

背景技术

在企业里，各种管理指标很多。大型企业多则有成千上万个管理指标，小企业也有上百个管理指标。比如，财务类指标、成本类指标、经营指标、绩效指标、人力指标、库存指标等。人们进行指标管理的方法五花八门，包括：手动记录、excel管理、ETL工具、或者直接放任自流。指标的管理太松散，效率低下，不便于指标的数据价值发挥，不便于指标体系的建立和优化。

另外，指标分为基础指标和复合指标。例如，数据库中的数值型字段是基础指标，复合指标是在基础指标的基础上通过运算得来的，这些运算并不止简单的六则运算，他可以包括复杂的公式。

在企业中，像成本费用利润率这种需要对基础指标进行复杂计算的复合指标比比皆是，指标和指标之间的关系也纷繁复杂。指标的这种复杂性给企业指标管理带来很多问题,例如：1)系统庞大，承建厂商众多，指标体系复杂；2)分散于各系统的数据，其口径和定义方法各成一派，无法统一；3)指标的建设和维护常常依赖于技术人员，出现人员瓶颈；4)难以挖掘指标价值。

发明内容

为了克服现有技术中存在的不足，本发明提供一种指标管理系统、方法及相应设备和存储介质，其能够从多种数据源快速抽取数据建立指标体系，用于指标计算和应用，挖掘指标价值和数据价值。

在本发明的第一方面，提供一种指标管理系统，包括：

数据源获取模块，用于获取数据源；

解析模块，用于解析所述数据源所包含的元数据及其类型；

统计属性确定模块，用于根据元数据类型将相应元数据字段确定为维度列、度量列或日期列；

基础指标生成模块，用于根据维度列与度量列的一种或多种组合分别生成一个或多个对应的基础指标，其中，每一基础指标是至少一个维度列与一个度量列的组合；

保存模块，用于保存基础指标与相应维度列和度量列的对应关系及基础指标数据集SQL。

在实施例中，所述系统还包括：显示模块，用于显示所有已生成的指标作为备选指标；选择模块，用于从备选指标选择建立分析模型所需的指标；输入模块，用于输入主题表名称；校验模块，用于确定所选指标之间是否存在共同维度；主题表生成模块，用于响应于所选指标之间存在共同维度，生成主题表并保存主题表元数据及数据集SQL。

在实施例中，所述系统还包括：指标权限设置模块，用于设置指标对应的数据权限。

在实施例中，所述系统还包括：指标检索模块，用于检索系统中的指标及查看检索结果。

在本发明的第二方面，提供一种指标管理方法，包括：

获取数据源；

解析所述数据源所包含的元数据及其类型；

根据元数据类型将相应元数据字段确定为维度列、度量列或日期列；

根据维度列与度量列的一种或多种组合分别生成一个或多个对应的基础指标，其中，每一基础指标是至少一个维度列与一个度量列的组合；

保存基础指标与相应维度列和度量列的对应关系及基础指标数据集SQL。

在本发明的第三方面，提供一种计算机设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中所述处理器执行所述计算机程序时实现根据本发明的第二方面的方法的步骤。

根据本发明的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据本发明的第二方面的方法的步骤。

按照本发明，对指标能够集中统计管理，支持多种指标定义方式，能够快速采集和生成各种业务指标，专门的指标建模模块能够快速，灵活的进行指标建模生成分析模型，提升指标管理和应用的效率，加快指标体系的建立。此外，对于数据源分散在不同地方的指标数据，系统也支持通过指标元数据自动化的归集计算和输出，减少独立的数据采集配置和工作。

结合附图阅读本发明实施方式的详细描述后，本发明的其它特点和优点将变得更加清楚。

附图说明

图1为根据本发明系统的一实施例的框图；

图2为根据本发明方法的一实施例的流程图。

为清晰起见，这些附图均为示意性及简化的图，它们只给出了对于理解本发明所必要的细节，而省略其他细节。

具体实施方式

下面参照附图对本发明的实施方式和实施例进行详细说明。

通过下面给出的详细描述，本发明的适用范围将显而易见。然而，应当理解，在详细描述和具体例子表明本发明优选实施例的同时，它们仅为说明目的给出。

图1示出了根据本发明的指标管理系统的一优选实施例的框图，该系统包括：

数据源获取模块102，用于获取数据源。系统可以支持链接各种类型数据源，包括但不限于：Oracle、SQLserver、mySQL、DB2、GreenPlum、Hive、Hbase、MongoDB、Sybase、Intersystems Cache、MariaDB、KingbaseES等。

解析模块104，用于根据数据源的数据库表或主题表等解析数据源所包含的元数据及其类型。在获取数据的来源后，后台拼装成SELECT的SQL语句，表达相应的数据集，解析该数据集有那些字段和字段类型。字段类型例如为字符型、数值型、日期型等。

统计属性确定模块106，用于根据元数据类型将相应元数据字段确定为维度列、度量列或日期列。默认数值型对应度量列，字符型对应维度列，日期型对应日期列。日期列实际上是一种特殊的维度列，对应的是时间维度，也是大部分指标衡量的维度之一。

在实施例中，还可以编辑、设置维度字段关联的维度表。

基础指标生成模块108，用于根据维度列与度量列的一种或多种例如全部组合分别生成一个或多个对应的基础指标。每一基础指标是至少一个维度列(也称为约束维度)与一个度量列的组合。

例如，一数据集包括维度1、维度2、维度3及度量1、度量2和其它信息字段如备注，一般从不同的维度去统计指标。分别将维度1、维度2和维度3中的一个、两个和全部与度量1和度量2中的一个进行组合，可得到14个基础指标。例如，指标1(维度1、维度2、维度3、度量1)，指标2(维度1、维度2、度量1)，指标3(维度1、度量2)，依此类推。

保存模块110，用于保存基础指标与相应维度列和度量列的对应关系及基础指标数据集SQL。数据集SQL指SELECT的SQL语句，其执行出来就是一个数据集。指标创建的多种方式都是后台拼装成SQL语句，然后解析SQL语句中的列为日期、其他维度和度量，然后生成指标。

在此结合从不同数据源建立基础指标的几个例子说明以多种方式和可视化配置能力快速生成基础指标。

通过SQL语句创建基础指标：本发明系统可提供可视化的界面展示数据库中的表，通过拖拽或者双击选中数据库表到指标定义区域(一块SQL编辑区)，触发后端请求事件，后端识别表名、返回元数据(表结构数据)到前端，前端展示表的所有字段及根据字段类型生成的每一字段的统计属性即维度列、度量列或日期列，如上面提及的，数值型字段对应度量列，字符型字段对应维度列，日期型字段对应日期列。界面上还可以修改字段的统计属性、标记维度字段对应的维度表，调整或者增减拟进行组合的维度、度量，设置度量的聚合函数、度量的标题。一个SELECT语句，就是一个数据集，其中包括维度字段。例如，科室收入SELECT语句执行结果数据集，其中有哪一个月哪个科室的收入是多少，科室就是这个数据集的一个维度字段，这个维度字段的取值源自科室字典表，科室字典表就是科室这个维度列对应的维度表。聚合函数一般包括常用的汇总函数、平均函数、最大值函数、最小值函数等。例如，科室收入数据集(包含哪个月哪个科室的收入)，解析出时间维度、科室维度、收入度量，可以根据业务需求设置按照时间维度汇总的收入指标，此时应该删减科室维度，然后设置收入度量为汇总函数。

界面上还可以删减度量、增加度量。之后，后端根据维度设置和标记，批量生成一个或者多个指标，生成各个指标对应的数据集SQL，并保存指标对应的基本信息(如指标名称、指标创建时间、更新时间、指标创建人、指标的说明等)、维度和指标数据集SQL。

通过主题表创建基础指标：提供可视化的界面展示出系统上的主题表(维度+度量)，并提供检索功能，选择对应的主题表触发后台解析事件，将主题表中的字段解析为维度和度量后返回前端。前端可以编辑、删减维度、度量，设置维度字段关联的维度表，维护度量聚合函数和度量标题。后端根据设置生成指标，保存指标基本信息、维度和指标数据集SQL。

通过BI主题表创建基础指标：可以通过配置数据源连接BI的分析库(选择BI主题相关的连接池)，从库中读取表信息，提供可视化的界面展示出BI展示库中的分析主题表，选择对应的主题表(每次指标创建只能选择一张主题表)触发后台解析事件，将主题表中的字段解析为维度和度量后返回前端，前端可以编辑、删减维度、度量，设置维度字段关联的维度表，维护度量聚合函数和度量标题。然后，后端根据设置生成指标，保存指标基本信息、维度和指标数据集SQL。

通过数据库表创建基础指标：读取并展示任何一个业务系统库中的业务表，选择任意一个或者多个库表设置表连接关系，组织批量指标定义数据集。后端根据库表连接信息生成SQL语句数据集，并将SQL数据集解析成维度、度量信息返回给前端，在前端可以编辑、设置维度字段关联的维度表，维护度量聚合函数和度量标题。然后，后端根据设置生成指标，保存指标基本信息、维度和指标数据集SQL。

在实施例中，本发明系统还可包括复合指标创建模块，可从系统中已经存在的指标(包含基础指标和/或复合指标)定义出新的复合指标。可提供可视化界面提供基本的计算器符号(比如，加、减、乘、除)并展示已存在的指标，可以选择任意指标和计算符号，来定义新的复合指标，点击保存，后台根据前端定义解析出基础指标的维度信息，进行校验，判断参与计算的基础指标之间是否具有一致的约束维度或者基础指标之间的约束维度是否是包含关系。如果约束维度一致，则保存基础指标识别码和复合指标计算公式，数据集SQL。如果指标之间的约束维度是包含关系，则对细粒度的基础指标先进行汇总，保持基础指标约束维度完全一致，再保存基础指标识别码和复合指标计算公式，数据集SQL。如果约束维度有部分一致，则参与计算的所有基础指标按照共同约束维度汇总处理后，再保存复合指标基本信息、共同维度信息和数据集SQL。如果基础指标之间没有任何共同的维度，则不能进行基本运算生成复合指标，返回给前端提示配置错误，不能生成复合指标的信息。

例如，科室收入指标包含的约束维度为科室、年度，年度支出指标包含的约束维度为年度，则科室收入指标和年度支出指标有一个公共的约束维度即年度。如果这两个指标需要组合生成主题表，那么科室收入必须按照年度先汇总，变成只有年度维度的指标，然后年度收入和年度支出这两个指标具有完全一样的约束维度(年度)，因而可以组合生成年度收入支出主题表。

在实施例中，根据分析模型和业务分析需要，往往需要将两个以上指标一起分析，比如对比等。为此，本发明系统还可包括：

显示模块，用于显示系统中所有已生成的指标(包含基础指标和/或复合指标)作为备选指标；

选择模块，用于从备选指标选择建立分析模型所需的指标。例如，选中指标，点击穿梭按钮，备选指标穿梭进入主题表选中的度量栏和维度栏(此动作触发事件，请求后端解析指标的维度、度量信息返回前端展示)，根据选中的度量和维度展示并且可以编辑。

输入模块，用于输入主题表名称，还可输入描述性信息；

校验模块，输入模块的保存触发保存事件，请求到后端，后端先校验，判断选择的指标是否存在共同维度，如果存在共同维度，再继续判断选中的维度是否是所选指标的共同维度，如果是则可以继续生成主题表，快速定义出数据分析模型。否则，如果所选指标之间不存在共同维度或者选中的维度不是所选指标之间的共同维度，则不允许生成主题表，并且从业务场景上也是不可能生成的。

主题表生成模块，用于基于选中的共同维度及所选指标的度量，生成主题表(事实表)，保存主题表元数据及数据集SQL，同时创建物理主题表。主题表元数据例如包含主题表名称、字段编码、字段名称、字段类型、字段长度、精度等。主题表元数据是描叙主题表详细结构的信息的数据，其实际上只是描叙信息，我们根据描叙信息创建一张物理表，这个表就是物理主题表，数据实际上是保存在物理表中的。

例如，如果所选指标为：指标1(维度1、维度2、维度3、度量1)、指标2(维度1、维度2、维度3、度量2)，且维度1-3均被选中，则可生成事实表(维度1、维度2、维度3、度量1、度量2)。又例如，如果所选指标为：指标1(维度1、维度2、维度3、度量1)、指标2(维度1、维度2、度量2)，且维度1-3均被选中，则可生成事实表(维度1、维度2、度量1、度量2)。再例如，如果所选指标为：指标1(维度1、维度2、度量1)、指标2(维度3、维度4、度量2)，无论哪一或哪些维度被选中，均不能生成事实表。

在所选指标之间不存在共同维度时，还可包括提示子模块，用于显示配置错误提示信息。

在实施例中，本发明系统还可包括指标权限设置模块，用于设置指标对应的数据权限，指标的查看、检索、使用通过数据权限控制。

在实施例中，本发明系统还可包括指标检索模块，用于根据数据权限、指标是否公开的属性，可以检索系统中自己想要的指标，包括指标定义信息和指标数据。

在实施例中，本发明系统还可包括指标计算模块。指标建模生成的数据分析模型/事实表(主题表)，事实表数据来源于不同的指标，经过计算模块生成事实表的数据。根据业务场景不同和运维需要，可以有以下几种计算方式。

全量计算：对全量指标数据进行计算和汇总，不需要区分和过滤任何维度(一般是时间维)。

增量计算：从前面某个时间点到当前时间点的指标数据进行计算。

周期计算：定义一个计算周期和频率，到了固定时间点自动触发计算周期内的指标数据到事实表。

手动计算：手动执行，计算指标数据到事实表，可以选择任意一个时间段参数。

计算支持同一数据源中计算，一般是数据仓库，计算结果也同样生成到对应的事实表中，事实表也在数据仓库中。

对于各种指标数据分散到不同数据源的情况，系统采用内存和中间库方式计算后将结果写入事实表中。系统可以针对事实表设置参数，设置来源于多个不同数据源的指标的数据汇聚方式是存储在内存中计算还是持久化到普通数据库中计算。一般针对数据量不大、要求快速计算的场景，可以设置在内存数据库中汇聚。对于数据量比较大且批量定期计算的场景，可以设置指标数据在普通数据库中汇聚。

图2示出了根据本发明的指标管理方法的一优选实施例的流程图，该方法包括：

在步骤S202，获取数据源；

在步骤S204，解析所述数据源所包含的元数据及其类型；

在步骤S206，根据元数据类型将相应元数据字段确定为维度列、度量列或日期列；

在步骤S208，根据维度列与度量列的一种或多种组合分别生成一个或多个对应的基础指标，其中，每一基础指标是至少一个维度列与一个度量列的组合；

在步骤S210，保存基础指标与相应维度列和度量列的对应关系及基础指标数据集SQL。

在实施例中，图2所示的方法还可包括步骤：显示所有已生成的指标作为备选指标；从备选指标选择建立分析模型所需的指标；输入主题表名称；确定所选指标之间是否存在共同维度；响应于所选指标之间存在共同维度，生成主题表并保存主题表元数据及数据集SQL。

在另一实施例中，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现结合图2所示和所述的方法实施例或其它相应方法实施例的步骤，在此不再赘述。

在另一实施例中，本发明提供一种计算机设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中所述处理器执行所述计算机程序时实现结合图2所示和所述的方法实施例或其它相应方法实施例的步骤，在此不再赘述。

在此所述的多个不同实施方式或者其特定特征、结构或特性可在本发明的一个或多个实施方式中适当组合。另外，在某些情形下，只要适当，流程图中和/或流水处理描述的步骤顺序可修改，并不必须精确按照所描述的顺序执行。另外，本发明的多个不同方面可使用软件、硬件、固件或者其组合和/或执行所述功能的其它计算机实施的模块或装置进行实施。本发明的软件实施可包括保存在计算机可读介质中并由一个或多个处理器执行的可执行代码。计算机可读介质可包括计算机硬盘驱动器、ROM、RAM、闪存、便携计算机存储介质如CD-ROM、DVD-ROM、闪盘驱动器和/或具有通用串行总线(USB)接口的其它装置，和/或任何其它适当的有形或非短暂计算机可读介质或可执行代码可保存于其上并由处理器执行的计算机存储器。本发明可结合任何适当的操作系统使用。

除非明确指出，在此所用的单数形式“一”、“该”均包括复数含义(即具有“至少一”的意思)。应当进一步理解，说明书中使用的术语“具有”、“包括”和/或“包含”表明存在所述的特征、步骤、操作、元件和/或部件，但不排除存在或增加一个或多个其他特征、步骤、操作、元件、部件和/或其组合。如在此所用的术语“和/或”包括一个或多个列举的相关项目的任何及所有组合。

前面说明了本发明的一些优选实施例，但是应当强调的是，本发明不局限于这些实施例，而是可以本发明主题范围内的其它方式实现。本领域技术人员可以在本发明技术构思的启发和不脱离本发明内容的基础上对本发明做出各种变型和修改，这些变型或修改仍落入本发明的保护范围之内。

Claims (10)

1.一种指标管理系统，其特征在于，所述系统包括：

数据源获取模块，用于获取数据源；

解析模块，用于解析所述数据源所包含的元数据及其类型；

统计属性确定模块，用于根据元数据类型将相应元数据字段确定为维度列、度量列或日期列；

基础指标生成模块，用于根据维度列与度量列的一种或多种组合分别生成一个或多个对应的基础指标，其中，每一基础指标是至少一个维度列与一个度量列的组合；

保存模块，用于保存基础指标与相应维度列和度量列的对应关系及基础指标数据集SQL。

2.根据权利要求1所述的系统，其特征在于，所述系统还包括：

显示模块，用于显示所有已生成的指标作为备选指标；

选择模块，用于从备选指标选择建立分析模型所需的指标；

输入模块，用于输入主题表名称；

校验模块，用于确定所选指标之间是否存在共同维度；

主题表生成模块，用于响应于所选指标之间存在共同维度，生成主题表并保存主题表元数据及数据集SQL。

3.根据权利要求2所述的系统，其特征在于，所述系统还包括：

提示子模块，用于响应于所选指标之间不存在共同维度，显示配置错误提示信息。

4.根据权利要求1或2所述的系统，其特征在于，所述系统还包括：

指标权限设置模块，用于设置指标对应的数据权限。

5.根据权利要求1或2所述的系统，其特征在于，所述系统还包括：

指标检索模块，用于检索系统中的指标及查看检索结果。

6.根据权利要求1或2所述的系统，其特征在于，所述系统还包括：

计算模块，用于根据指定的计算方式计算指标数据到事实表，其中所述计算方式包括全量计算、增量计算和周期计算。

7.一种指标管理方法，其特征在于，所述方法包括：

获取数据源；

解析所述数据源所包含的元数据及其类型；

根据元数据类型将相应元数据字段确定为维度列、度量列或日期列；

根据维度列与度量列的一种或多种组合分别生成一个或多个对应的基础指标，其中，每一基础指标是至少一个维度列与一个度量列的组合；

保存基础指标与相应维度列和度量列的对应关系及基础指标数据集SQL。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

显示所有已生成的指标作为备选指标；

从备选指标选择建立分析模型所需的指标；

输入主题表名称；

确定所选指标之间是否存在共同维度；

响应于所选指标之间存在共同维度，生成主题表并保存主题表元数据及数据集SQL。

9.一种计算机设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中所述处理器执行所述计算机程序时实现根据权利要求7或8所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求7或8所述的方法的步骤。

Images