CN106776834A - 一种基于指标的数据分析自取数方法及系统 - Google Patents

Abstract

本发明涉及数据分析技术领域，特别涉及一种基于指标的数据分析自取数方法及系统，包括首先将需要用于分析查询使用的业务指标通过标准指标定义方法定义并产生指标结果数据，指标数据结果构成自助取数的基础数据来源；在用户取数界面提供各类已定义指标及可用于指标分析的维度信息，用户在自由选择配置所需指标与查询维度后，系统根据用户指标、维度选取情况，通过SQL构造装置构造数据查询语句，运行并产生最终数据结果，展示给用户。本发明的有益效果是：实现了对数据内容、展示结构的自由组合，为用户数据分析提供了更加便捷、灵活的数据多维分析手段。

Description

一种基于指标的数据分析自取数方法及系统

技术领域

本发明涉及数据分析技术领域，特别涉及一种基于指标的数据分析自取数方法及系统。

背景技术

随着企业信息化的不断发展，数据分析已经在各企业中占据了重要的地位，对企业中各类生产、经营、资产等数据的分析，可以帮助用户从多维度方面来观察企业的状态，了解企业的变化，并指导企业经营决策。

大多数企业会通过建立各类业务分析系统，来进行业务数据分析与数据获取。一般而言，系统都是通过报表、或图表等展现形式来为用提供预制的业务分析结果。然而不同时期、不同岗位、不同人员对业务分析内容的诉求是不尽相同的，用户总是希望系统能够在系统中获取自己想要的结果，在这种情况下，系统只能通过不断开发新的业务分析来满足用户的需要，从而提升了开发、维护成本，也使得系统变的日益臃肿与难以使用。

另外，如果系统中的各类统计指标没有统一的数据口径约束，就会在很大程度上产生统计数据结果不一致情况，这样会严重影响数据质量准确性，及增加数据比对所产生的系统维护成本。

因此，需要一种数据口径统一的、用户可自主定制的自助分析方法。

发明内容

为了解决上述发明问题，本发明提供了一种基于指标的数据分析自取数方法，

步骤一，建立指标体系数据模型，根据指标体系数据模型建立指标数据库；

步骤二，在指标数据库中，根据选择的指标信息，通过指标配置映射锁定查询用到的指标数据表；

步骤三，在指标数据表中，根据选择的维度信息，将各指标数据表中相同维度规约到同一维度列下，合并产生指标与维度组合的查询基础结果集；

步骤四，将基础结果集中需要在行信息上展示的维度列，以各维度列为外键，依次与相应的维度字典表进行左关联，形成查询语句的数据源集合；

步骤五，根据对维度属性的展示位置配置信息，生成查询列、分组列、限定条件定义，形成最终查询语句，执行并将查询结果反馈用户。

优选为，所述步骤一中的指标体系数据模型的建立方法为：

步骤s1，定义各类指标属性、数据口径、查询维度信息；

步骤s2，依据指标体系中对各个指标的统计口径定义，按指标数据周期生成指标结果数据；

步骤s3，为每个维度建立维度字典表，用户能够基于字典表定义的数据值域进行条件选择；

步骤s4，建立用以提供查询语句构造器构造查询语句使用的维度定义元数据。

优选为，所述步骤三包括：

匹配各指标的查询维度列定义，交由指标结果集规范化模块进行维度列的规整，形成最优指标结果集查询条件；

当只有一个查询指标时，指标结果集唯一，维度列无二义性，指标结果集即为当前指标结果表；

当有多个查询指标，且各指标结果表中对所需查询维度的列名定义都相同时，指标结果集即为当前各指标结果表；

当有多个查询指标，且各指标结果表中对某一查询维度的列名定义不同时，通过CASE条件判断语句进行维度规整，返回统一维度列结果集。

优选为，所述步骤五包括：

获取选择的行维度配置，构造SELECT子句和GROUP BY子句所需的列信息；

获取选择的列维度配置，及对列维度上的值域选择，对维度的每个属性值，通过CASE条件判断语句限定统计列条件，生成查询列表达式，向SELECT子句追加查询列；

获取选择的指标、维度查询条件，构造WHERE子句限定条件内容；

将生成的SELECT、FORM、WHERE、GROUP BY子句拼装，生成可执行的SQL语句进行数据查询。

优选为，所述指标体系具体包括：

基础指标定义，主要包含：基础指标ID、基础指标名称、度量单位、基础统计口径，用以刻画某一类指标的最基础属性描述，并统一约束指标的基础口径；

应用指标定义，主要包含：应用指标ID、应用指标名称、所属基础指标、数据周期类型、限定条件、统计维度等，用以提供业务查询的指标数据支撑。

优选为，所述维度元数据具体包括：

维度信息元数据，主要包含：维度的名称、维度字典表名、维表主键列名，用以在SQL语句构造时，生成指标表与相关维表之间的JOIN子句；

维度属性信息元数据，主要包含：维度属性名称、维表中所属列名、维度属性的键值列名、父维度属性列名，用以在SQL语句构造时，生成相关维度列表达式，以及用户在页面中设置存在层级关系的维度属性条件选择时，对其子维度值域的过滤。

一种基于指标的数据分析自取数系统，包括指标管理模块、自助查询模块及查询语句构造模块，

指标管理模块，对各类模型关系进行定义，并生成指标数据；

自助查询模块，提供指标、维度的拖拽式自由组合查询内容操作界面，及呈现定制的查询结果；

查询语句构造模块，用以将自助查询模块提供的的查询内容转换为可执行的数据查询语句；

自助查询模块通过指标管理模块进行查询内容的配置，将查询内容配置的结果传输给查询语句构造模块，查询语句构造模块根据查询内容构造成sql语句并通过指标管理模块查询出结果反馈给自助查询模块展示出来。

优选为，所述指标管理模块包括，维度管理模块、指标管理模块及指标数据生成模块；

维度管理模块，用于管理维度元数据，对维度信息，维度属性信息的定义管理，涉及维度信息的增、删、改、查、排序管理，及维度属性信息的增、删、改、查、排序管理，以及维度属性值域的排序管理；

指标管理模块，用于管理指标元数据，对基础指标、应用指标属性定的增、删、改、查管理；

指标数据生成模块，用于按照指标的数据周期，定时生成当前数据周期的指标数据信息。

优选为，所述自助查询模块包括，指标拖拽选择生成模块、维度属性展示模块、查询结果展示模块及查询结果数据导出模块；

维度属性展示模块，用于在用户选择了某个维度属性后，在查询页面中构造该维度属性元素，以使用户能够进行该维度属性值的选择处理，以及展示区域的调整。

优选为，所述查询语句构造模块包括，指标维度规范化模块、维度关联模块、维度解析模块及查询语句生成模块；

指标维度规范化模块，用于对不同指标间同一查询维度的列信息规整，并提供最优的规整后指标维度数据查询语句表达式；

维度关联模块，用于获取用户选择的行展示维度，并依次生成维度与规范化指标维度结果集的外关联语句表达式；

维度解析模块，用于获取用户选择的查询维度，并依次生成维度的查询选择表达式、查询条件表达式及查询分组表达式；

查询语句生成模块，用于根据维度关联模块、维度解析模块中产生的查询表达式片段，按预制的处理逻辑进行组装，产生最终可执行的SQL语句。

附图说明

图1为本发明实施例的方法流程图。

图2为本发明实施例的查询生成装置的示意图。

图3为本发明实施例的查询语句生成流程图。

图4为本发明实施例的数据分析自取数系统原理模块图。

具体实施方式

实施例1

参见图1至图4，本发明提供一种基于指标的数据分析自取数方法与系统。

本发明原理将分析数据的构成要素抽象化为指标与维度，通过构建指标与维度体系，标准化了数据统计口径与分析元数据结构，并将指标与查询维度开放给用户自由组合，实现用户对数据分析的灵活自主定制。

一种基于指标的数据分析自取数方法，包括：

步骤1、根据用户选择的指标信息，通过指标配置映射锁定查询用到的指标数据表。

步骤2、根据用户选择的维度信息，将各指标数据表中相同维度规约到同一维度列下，合并产生指标与维度组合的查询基础结果集。

步骤3、将基础结果集中需要在行信息上展示的维度列，以各维度列为外键，依次与相应的维度字典表进行左关联，形成查询语句的数据源集合。

步骤4、根据用户对维度属性的展示位置配置信息，生成查询列、分组列、限定条件定义，形成最终查询语句，执行并将查询结果反馈用户。

其中，所述方法还包括：

建立指标体系，定义各类指标属性、数据口径、查询维度等信息；

依据指标体系中对各个指标的统计口径定义，按指标数据周期生成指标结果数据；

为每个维度建立维度字典表，以使用户能够基于字典表定义的数据值域进行条件选择。

建立维度定义元数据，用以提供查询语句构造器构造查询语句使用。

其中，所述步骤2具体包括：

匹配各指标的查询维度列定义，交由指标结果集规范化模块进行维度列的规整，形成最优指标结果集查询条件；

当只有一个查询指标时，指标结果集唯一，维度列无二义性，无需维度规整，指标结果集即为当前指标结果表；

当有多个查询指标，且各指标结果表中对所需查询维度的列名定义都相同时，无需维度规整，指标结果集即为当前各指标结果表；

当有多个查询指标，且各指标结果表中对某一查询维度的列名定义不同时，通过CASE条件判断语句进行维度规整，返回统一维度列结果集。

其中，所述步骤4具体包括：

获取用户选择的行维度配置，构造SELECT子句和GROUP BY子句所需的列信息；

获取用户选择的列维度配置，及用户对列维度上的值域选择，对维度的每个属性值，通过CASE条件判断语句限定统计列条件，生成查询列表达式，向SELECT子句追加查询列；

获取用户选择的指标、维度查询条件，构造WHERE子句限定条件内容；

将生成的SELECT、FORM、WHERE、GROUP BY子句拼装，生成可执行的SQL语句进行数据查询。

其中，所述指标体系具体包括：

基础指标定义，主要包含：基础指标ID、基础指标名称、度量单位、基础统计口径，用以刻画某一类指标的最基础属性描述，并统一约束指标的基础口径；

应用指标定义，主要包含：应用指标ID、应用指标名称、所属基础指标、数据周期类型、限定条件、统计维度等，用以提供业务查询的指标数据支撑。

其中，所述维度元数据具体包括：

维度信息元数据，主要包含：维度的名称、维度字典表名、维表主键列名，用以在SQL语句构造时，生成指标表与相关维表之间的JOIN子句；

维度属性信息元数据，主要包含：维度属性名称、维表中所属列名、维度属性的键值列名、父维度属性列名，用以在SQL语句构造时，生成相关维度列表达式，以及用户在页面中设置存在层级关系的维度属性条件选择时，对其子维度值域的过滤。

进一步的，本发明实施例还提出了一种基于指标的数据分析自助取数系统，包括：

维度管理模块，用于管理维度元数据，对维度信息，维度属性信息的定义管理，涉及维度信息的增、删、改、查、排序管理，及维度属性信息的增、删、改、查、排序管理，以及维度属性值域的排序管理；

指标管理模块，用于管理指标元数据，对基础指标、应用指标属性定的增、删、改、查管理；

自助查询模块，为用户提供指标、维度的拖拽式自由组合查询操作界面，及呈现用户定制的查询结果；

查询语句构造模块，用以将用户在界面配置的查询内容转换为可执行的数据查询语句。

其中，所述系统还包括：

指标数据生成模块，用于按照指标的数据周期，定时生成当前数据周期的指标数据信息。

其中，所述系统还包括：

维度属性展示模块，用于当用户选择了某个维度属性后，在查询页面中构造该维度属性元素，以使用户能够进行该维度属性值的选择处理，以及展示区域的调整。

其中，所述系统还包括：

指标维度规范化模块，用于对不同指标间同一查询维度的列信息规整，并提供最优的规整后指标维度数据查询语句表达式。

其中，所述系统还包括：

维度关联模块，用于获取用户选择的行展示维度，并依次生成维度与规范化指标维度结果集的外关联语句表达式；

维度解析模块，用于获取用户选择的查询维度，并依次生成维度的查询选择表达式、查询条件表达式及查询分组表达式。

其中，所述系统还包括：

查询语句生成模块，用于根据维度关联模块、维度解析模块中产生的查询表达式片段，按预制的处理逻辑进行组装，产生最终可执行的SQL语句。

为使本发明的目的、技术方案和优点更加清楚明白，以下通过一个具体的实例对本发明实施例进行进一步说明：

假设用户在自助查询页面中配置了两个查询指标IND1、IND2；1个行维度DIM1；一个列维度DIM2，维度属值域为DIM2_1、DIM2_2；一个过滤条件维度DIM3，所选维度属性值域限定条件为DIM3_1、DIM3_2。

采用上述本发明实施例中所采用的方法，可以通过如下的方式来处理：

接收并解析用户页面配置内容，分别获取指标、行维度、列维度、过滤条件维度信息。

读取指标元数据配置信息，获取查询指标对应的指标结果表名、所需维度在指标结果表中的存放列名。

在此假定指标IND1的结果表名为TAB1，维度DIM1在指标结果表中存放列名为COL1，维度DIM2在指标结果表中存放列名为COL2，维度DIM3在指标结果表中存放列名为COL3；指标IND2的结果表名为TAB2，维度DIM1在指标结果表中存放列名为COL1，维度DIM2在指标结果表中存放列名为COL2，维度DIM3在指标结果表中存放列名为COL4。

读取维度属性配置信息，获取每个维度的数据字典码表，以及维度属性在码表中的列名、键值列名映射。

在此假定维度DIM1的数据字典表名为DIM_TAB1，主键列名为DIM1_PK，属性列为DIM1_NAME。

循环所有维度，给每个维度起一个别名。产生的别名结果即为：DIM1->dim1；DIM2->dim2；DIM3->dim3。

循环所有指标，生成指标结果表与指标映射关系。产生的表映射关系结果即为：TAB1->IND1；TAB2->IND2。

在指标维度规约装置中进行维度规约，形成基础指标数据规约查询语句，规约后的子句已经包含对条件过滤维度的条件限定。根据前面的假定条件，即可产生规约后的查询语句片段为：

select ind_id,value,COL1 dim1,COL2 dim2, COL3 dim3 from TAB1 where ind_id=’IND1’ and COL3 in (DIM3_1,DIM3_2)

union all

select ind_id,value,COL1 dim1,COL2 dim2, COL4 dim3 from TAB2 where ind_id=’IND2’ and COL4 in (DIM3_1,DIM3_2)

将规约后的查询语句结果作为数据查询基表，依次循环行维度配置，进行维度字典表左关联，这样，即可完成查询条件的from子句拼装：

from (

select ind_id,value,COL1 dim1,COL2 dim2, COL3 dim3 from TAB1 where ind_id=’IND1’ and COL3 in (DIM3_1,DIM3_2)

union all

select ind_id,value,COL1 dim1,COL2 dim2, COL4 dim3 from TAB2 where ind_id=’IND2’ and COL4 in (DIM3_1,DIM3_2)

) ind

left join DIM1 dim1 on dim1. DIM1_PK = ind. dim1

依次循环行维度配置，生成查询列选择与分组列选择子句片段，即可产生如下结果：

查询列片段：select dim1. DIM1_NAME

分组列片段：group by dim1. DIM1_NAME

依次循环列维度配置信息，追加生成列维度的查询列选择子句，即可产生如下查询子句：

select dim1. DIM1_NAME,

sum(case when ind. ind_id=’IND1’ and ind.dim2=’ DIM2_1’ then value end)COL1_1,

sum(case when ind. ind_id=’IND1’ and ind.dim2=’ DIM2_2’ then value end)COL1_2,

sum(case when ind. ind_id=’IND2’ and ind.dim2=’ DIM2_1’ then value end)COL2_1,

sum(case when ind. ind_id=’IND2’ and ind.dim2=’ DIM2_2’ then value end)COL2_2

在此假设实例下，各查询子句片段即生成完毕，将生成的SELECT、FROM、GROUP子句进行拼装，生成最终执行语句：

select dim1. DIM1_NAME,

sum(case when ind. ind_id=’IND1’ and ind.dim2=’ DIM2_1’ then value end)COL1_1,

sum(case when ind. ind_id=’IND1’ and ind.dim2=’ DIM2_2’ then value end)COL1_2,

sum(case when ind. ind_id=’IND2’ and ind.dim2=’ DIM2_1’ then value end)COL2_1,

sum(case when ind. ind_id=’IND2’ and ind.dim2=’ DIM2_2’ then value end)COL2_2

from (

select ind_id,value,COL1 dim1,COL2 dim2, COL3 dim3 from TAB1 where ind_id=’IND1’ and COL3 in (DIM3_1,DIM3_2)

union all

select ind_id,value,COL1 dim1,COL2 dim2, COL4 dim3 from TAB2 where ind_id=’IND2’ and COL4 in (DIM3_1,DIM3_2)

) ind

left join DIM1 dim1 on dim1. DIM1_PK = ind. dim1

group by dim1. DIM1_NAME

执行并向用户返回最终查询结果，即可完成用户自定制查询内容的数据展现。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于指标的数据分析自取数方法，其特征在于：

步骤一，建立指标体系数据模型，根据指标体系数据模型建立指标数据库；

步骤二，在指标数据库中，根据选择的指标信息，通过指标配置映射锁定查询用到的指标数据表；

步骤三，在指标数据表中，根据选择的维度信息，将各指标数据表中相同维度规约到同一维度列下，合并产生指标与维度组合的查询基础结果集；

步骤四，将基础结果集中需要在行信息上展示的维度列，以各维度列为外键，依次与相应的维度字典表进行左关联，形成查询语句的数据源集合；

步骤五，根据对维度属性的展示位置配置信息，生成查询列、分组列、限定条件定义，形成最终查询语句，执行并将查询结果反馈用户。

2.根据权利要求1所述的一种基于指标的数据分析自取数方法，其特征在于，所述步骤一中的指标体系数据模型的建立方法为：

步骤s1，定义各类指标属性、数据口径、查询维度信息；

步骤s2，依据指标体系中对各个指标的统计口径定义，按指标数据周期生成指标结果数据；

步骤s3，为每个维度建立维度字典表；

步骤s4，建立用以提供查询语句构造器构造查询语句使用的维度定义元数据。

3.根据权利要求1所述的一种基于指标的数据分析自取数方法，其特征在于，所述步骤三包括：

匹配各指标的查询维度列定义，交由指标结果集规范化模块进行维度列的规整，形成最优指标结果集查询条件；

当只有一个查询指标时，指标结果集唯一，维度列无二义性，指标结果集即为当前指标结果表；

当有多个查询指标，且各指标结果表中对所需查询维度的列名定义都相同时，指标结果集即为当前各指标结果表；

当有多个查询指标，且各指标结果表中对某一查询维度的列名定义不同时，通过CASE条件判断语句进行维度规整，返回统一维度列结果集。

4.根据权利要求1所述的一种基于指标的数据分析自取数方法，其特征在于，所述步骤五包括：

获取选择的行维度配置，构造SELECT子句和GROUP BY子句所需的列信息；

获取选择的列维度配置，及对列维度上的值域选择，对维度的每个属性值，通过CASE条件判断语句限定统计列条件，生成查询列表达式，向SELECT子句追加查询列；

获取选择的指标、维度查询条件，构造WHERE子句限定条件内容；

将生成的SELECT、FORM、WHERE、GROUP BY子句拼装，生成可执行的SQL语句进行数据查询。

5.根据权利要求2所述的一种基于指标的数据分析自取数方法，其特征在于，所述指标体系具体包括：

基础指标定义，主要包含：基础指标ID、基础指标名称、度量单位、基础统计口径，用以刻画某一类指标的最基础属性描述，并统一约束指标的基础口径；

应用指标定义，主要包含：应用指标ID、应用指标名称、所属基础指标、数据周期类型、限定条件、统计维度等，用以提供业务查询的指标数据支撑。

6.根据权利要求2所述的一种基于指标的数据分析自取数方法，其特征在于，所述维度元数据包括：

维度信息元数据，主要包含：维度的名称、维度字典表名、维表主键列名，用以在SQL语句构造时，生成指标表与相关维表之间的JOIN子句；

维度属性信息元数据，主要包含：维度属性名称、维表中所属列名、维度属性的键值列名、父维度属性列名，用以在SQL语句构造时，生成相关维度列表达式，以及用户在页面中设置存在层级关系的维度属性条件选择时，对其子维度值域的过滤。

7.一种基于指标的数据分析自取数系统，其特征在于，包括指标管理模块、自助查询模块及查询语句构造模块，

指标管理模块，对各类模型关系进行定义，并生成指标数据；

自助查询模块，提供指标、维度的拖拽式自由组合查询内容操作界面，及呈现定制的查询结果；

查询语句构造模块，用以将自助查询模块提供的的查询内容转换为可执行的数据查询语句；

自助查询模块通过指标管理模块进行查询内容的配置，将查询内容配置的结果传输给查询语句构造模块，查询语句构造模块根据查询内容构造成sql语句并通过指标管理模块查询出结果反馈给自助查询模块展示出来。

8.根据权利要求7所述的基于指标的自助取数系统，其特征在于，所述指标管理模块包括，维度管理模块、指标管理模块及指标数据生成模块；

维度管理模块，用于管理维度元数据，对维度信息，维度属性信息的定义管理，涉及维度信息的增、删、改、查、排序管理，及维度属性信息的增、删、改、查、排序管理，以及维度属性值域的排序管理；

指标管理模块，用于管理指标元数据，对基础指标、应用指标属性定的增、删、改、查管理；

指标数据生成模块，用于按照指标的数据周期，定时生成当前数据周期的指标数据信息。

9.根据权利要求7所述的基于指标的自助取数系统，其特征在于，所述自助查询模块包括，指标拖拽选择生成模块、维度属性展示模块、查询结果展示模块及查询结果数据导出模块；

维度属性展示模块，用于在用户选择了某个维度属性后，在查询页面中构造该维度属性元素，以使用户能够进行该维度属性值的选择处理，以及展示区域的调整。

10.根据权利要求7所述的基于指标的自助取数系统，其特征在于，所述查询语句构造模块包括，指标维度规范化模块、维度关联模块、维度解析模块及查询语句生成模块；

指标维度规范化模块，用于对不同指标间同一查询维度的列信息规整，并提供最优的规整后指标维度数据查询语句表达式；

维度关联模块，用于获取用户选择的行展示维度，并依次生成维度与规范化指标维度结果集的外关联语句表达式；

维度解析模块，用于获取用户选择的查询维度，并依次生成维度的查询选择表达式、查询条件表达式及查询分组表达式；

查询语句生成模块，用于根据维度关联模块、维度解析模块中产生的查询表达式片段，按预制的处理逻辑进行组装，产生最终可执行的SQL语句。