CN104021156A - 一种基于sql语句快速汇总多层事实数据的方法 - Google Patents

Abstract

本发明涉及一种基于SQL语句快速汇总多层事实数据的方法，包括在维度表中增加描述维度层次的字段，在维度表中增加记录上层维度数据的字段，根据汇总的要求，对事实表中的数据依据维度表中描述层次的字段、记录上层维度数据的字段，编写数据汇总SQL语句，实现数据汇总。本发明实现了快速地跨层次数据汇总，能够将下层事实数据一次汇总到目标层次，而不是传统多层事实数据汇总的逐层汇总方法。

Description

一种基于SQL语句快速汇总多层事实数据的方法

技术领域

本发明涉及计算机领域，具体而言，涉及一种基于SQL语句快速汇总多层事实数据的方法。 

背景技术

事实数据是对现实世界中的事实，进行记录和描述的结果。事实表是用来保存事实数据的数据表。为清晰地记录事实数据，通常会采用各种具有层次结构的维度数据来描述事实数据，比如时间维度、地区维度、以及不同行业中的分类维度信息。因为关联到事实数据的这些维度具有层次结构，并且不同层次之间的维度有上下层的关系，因此构成的事实数据可称之为多层事实数据。比如企业基本信息数据中，包括了地区、行业类型、注册登记类型等维度信息。 

事实数据只是用来记录现实世界中的事实。事实数据的往往是具体的，零散的。管理人员在使用数据的时候，更重要的是从大量事实数据中提炼出宏观的信息。对事实数据依据各种维度进行汇总，产生了大量有价值的信息，这些信息能够为管理人员提供有效的决策支持依据，能够反映出比事实数据更宏观的信息。所以数据汇总已成为现在信息化建设中的重点方向。 

在对多层事实数据进行数据汇总操作的时候，传统的方式是采用一种自下而上，逐层向上的汇总方式。具体而言是指首先汇总最下层的数据，然后往上一层汇总，然后再往上一层汇总，最终汇总到最上层为 止。这种逐层汇总的方法，虽然可以解决多层事实数据汇总的需要，可是存在运算量大，占用计算机资源过多，功能实现复杂等缺点。在这样的背景下，需要发明一种更加快速高效的数据汇总方式来解决上述的问题。 

发明内容

本发明的目的是设计一种简单、实用、高效的多层事实数据汇总方法，能够对事实表中多层事实数据进行数据汇总。通过本发明专利的数据汇总方法，能够实现一次性将某维度层次的事实数据汇总到更高的维度层次中，从而实现了快速的数据汇总。 

本发明一种基于SQL语句快速汇总多层事实数据的方法，其具体步骤如下： 

1.在多层维度表中，增加描述维度层次的字段； 

所述的多层维度表是一种树形数据结构，层次字段记录了维度数据在维度表树形结构中所在的层次。例如下表中表示了一个5层地区维度数据。其中“层次”能够清晰地定义不同维度数据的层次。 

所述的层次字段的数据类型为整型。 

所述的层次字段在维度表中有且只有一个。 

所述的层次字段的赋值规则是：根据维度树形结构中层次从上至下，层次依次增大。根节点的层次为1，往下层为2，依次直至到最下层 叶子节点。上表示例就是按此规则确定了层次的值。 

2.在维度表中，增加记录上层维度数据的字段。 

通过增加记录上层维度数据的字段，可清晰地分析出在维度表中，每一个维度数据的上一层维度数据、上二层维度数据，直至最上层维度数据。 

维度代码	上一层维度代码	上二层维度代码
			A
0	A
			01	0	A
02	0	A
			03	0	A
1	A
			04	1	A
05	1	A
			06	1	A

上表描述了一个多层维度表： 

“02”的上一层维度是“0”，“02”上二层维度是“A”。 

“0”的上一层是“A”，“0”没有上二层维度。 

“06”的上一层维度是“1”，上二层维度是“A”。 

通过这样的关系描述，可快速地分析出不同层次维度之间的上下层关系，通过这个关系可快速地将关联到某层维度的事实数据汇总到目标层次。 

维度表中记录上层维度数据字段的数量可以是多个。这种字段的数量等于维度最大层数减去1。例如某维度表的最大层数为3层，那么增加用来记录上层维度数据的字段数量为2个。 

记录上层维度字段的数据类型必须与维度代码字段的数据类型、数据精度完全一致。 

增加记录上层维度数据字段的命名采用一种有规律的方式。本发明 中，记录上一层维度数据的字段，命名为p_1，增加记录上二层维度数据的字段，命名为p_2，以此为例类推，直至增加记录最上层维度数据的字段，命名为p_n。 

3.编写数据汇总的SQL语句并执行。 

确定数据汇总的起始层次和目标层次。 

根据起始层次和目标层次，结合维度表中的层次字段和上层维度数据字段，编写数据汇总的SQL语句并执行，将起始层次的事实数据汇总到目标层次。 

编写并执行的SQL语句如下： 

本发明的优点如下： 

1、计算量减少，减轻计算机的资源占用，提高汇总执行的效率。本发明专利中汇总方法与传统逐层汇总方法最显著的区别在于，本方法中的数据汇总不需要采用循环的机制来运行。因为本方法中可以直接将下层的事实数据直接汇总到上层，而不需要逐层进行汇总。比如在汇总省级的数据的时候，可直接将区县级的数据汇总到省级，而不是从区县汇总到市州，再汇总到省这样复杂的步骤。通过这种灵活的跨层汇总方式，可减少程序执行的中间环节，从而降低了计算机资源 的占用，同时又大大提高了数据汇总的效率。 

2.纯SQL语句的方式实现，减少程序实现复杂度。 

通过SQL语句的方式，能够改变传统数据汇总实现中，编写大量循环代码的麻烦，减少程序员的工作量，又能减少代码的出错几率。在功能实现的过程中，只需要将核心的汇总SQL语句封装成存储过程，然后调用执行存储过程即可。 

3.充分利用数据库机制。 

通过SQL语句的方式，不仅大大减少了程序代码的编写，同时还减轻了客户端运行的压力。传统的逐层汇总方式，需要在客户端执行大量复杂的循环代码，才能得到汇总结果。而且在执行循环汇总的过程中，每汇总一个层次的数据，都需要将从数据库获取的数据反馈给客户端，处理后再向服务器发送请求，这样增加了服务器和客户端的I/O交互压力和网络流量的压力。 

通过本发明专利的汇总方法，将执行汇总的SQL语句封装到存储过程以后，客户端只用向存储过程提交参数，然后提出汇总的请求，服务器即可完成数据汇总的执行功能。这样做充分利用了服务器的高性能，减少客户端的压力，提高了数据汇总操作的效能。通过存储过程的执行，只需一次性接受服务器反馈的汇总结果，而无需频繁地产生服务器与客户端之间的数据交互，不会对网络流量产生压力。 

附图说明

图1为本发明一种基于SQL语句快速汇总多层事实数据的方法的数据汇总流程图。 

图2为图1中步骤3详细流程图。 

具体实施方式

下面通过具体的实例，来讲解一下本发明专利的具体实施方法。此处描述的例子用于解释本发明专利的实施步骤。 

1.名词解释 

首先介绍几个本发明中用到的专业名词，通过这些名词的解释能够更加清楚地了解本专利。 

维度：以一种参数作为描述和表达变量的度量尺度。例如地区维度，可用来记录度量数据描述的地区属性。 

度量：用于描述一种事实数据的表示方法，也可称为指标。度量有具体的计量单位，通过维度能够对度量数据进行进一步的分类描述。 

维度表：在关系数据库中，用来保存维度数据的数据表。一般维度表的数据结构包括维度代码和维度名称两个字段。其中维度代码是具有唯一性的字符，可以采用字母、数字等多种方式进行描述。计算机通过对维度代码的识别，可以很好的构建事实表。本发明专利中，对维度表进行了改造，在原有维度代码和维度名称的基础上，增加了维度层次字段和记录上层维度数据的字段，更加清晰明了地描述了维度之间的关联关系。 

事实表：在关系数据库中用来保存事实数据的数据表。事实表的数据由两部分组成，一部分是维度字段，采用维度来对事实数据进行分类的描述。另一部分是度量，用来保存事实数据的 内容。只有将维度和度量结合在一起，才能够说明客观世界中某一存在的事实。比如将维度“武汉市”与度量“人口数”进行结合才有实际的意义，表示保存了武汉市人口数的数据。如果只单纯的提“武汉市”或者“人口数”，这样的说法是没有实际意义的。 

2.实施用例背景介绍 

本发明实施用例的内容是汇总湖北省、湖南省的企业营业收入数据，如表1。具体分析汇总的需求，就是对事实表中的income字段，按照地区维度area_id进行汇总，得到湖北省、湖南省的营业收入总数。 

首先介绍实施用例中的事实表和相关的维度表。 

存储的事实数据表如表1。 

area_id	enterprise_name	income
			420100	企业01	103
420105	企业02	43
			420503	企业03	50
430321	企业15	76
			420506	企业04	40
420103	企业05	20
			430382	企业14	90
420103	企业06	19
			420506	企业07	35
430103	企业16	21
			430102	企业17	22
420105	企业10	27
			430100	企业11	98
420103	企业09	39
			430304	企业12	43
430102	企业13	54
			420503	企业08	45

表1：企业营业收入事实数据表t_101 

与表1中事实数据关联的未经改造的地区维度表area如表2。 

area_id	area_name
		420000	湖北省
420100	武汉市
		420102	江岸区
420103	江汉区
		420105	汉阳区
420500	宜昌市
		420502	西陵区
420503	伍家岗区
		420506	夷陵区
430000	湖南省
		430100	长沙市
430102	芙蓉区
		430103	天心区
430300	湘潭市
		430304	岳塘区
430321	湘潭县
		430382	韶山市

表2：地区维度表area 

在如表1的事实数据中，描述了企业的营业收入数据。事实表t_101中area_id是维度字段，记录了各企业归属于地区的代码。enterprise_name记录了企业名称，income记录了企业的营业收入，是数值型字段。由表1可见事实表中的数据是一种没有汇总过的基础数据。在事实数据表的基础上，可按照表2所示的地区维度进行数据汇总，得到湖北省、湖南省营业收入汇总数据。 

表2是地区维度表area，其意义是描述了一个地区维度。本例中所举出的地区维度表只是一个样例，其中的数据只为本实施用例解释所用，不表示实际的地区维度只包括表格所示的数据项。表2所示的地区维度包括了3个层次，即：“省级-市州级-区县级”。表1所示的事实数据表中的area_id值取自于地区维度表area表中的area_id，area_id表示了地区维度的代码。 

如表3所示的数据，表明了企业所属的地区。 

表3：多层事实数据 

举例说明，“企业02”是湖北省武汉市汉阳区的企业，那么按照省级进行数据汇总的时候，“企业02”的营业收入income应汇总到湖北省。“企业11”是湖南省长沙市的企业，那么“企业11”的营业收入income应该汇总到湖南省。 

举例说明，“企业02”是湖北省武汉市汉阳区的企业，那么按照湖北省进行汇总时“企业02”的数据也都需要汇总进来。如果按照武汉市或汉阳区来汇总的时候，“企业02”的数据也都需要汇总进来。 

“企业01”是湖北省武汉市的企业，那么湖北省进行汇总时，“企业01”的数据需要汇总进来。如果按照武汉市进行汇总时“企业01”也需要汇总进来。如果按照区县级汇总时，“企业01”因为是武汉市的直属企业，所以不能汇总到武汉市下属的各个区内。 

3.数据汇总的实施步骤 

步骤1：在维度表中，建立维度的层次字段和记录上层维度数据的字段。 

首先在维度表中增加描述维度层次的字段。该字段数据类型为整型， 命名为：degree。每个维度数据的层次从最上层开始至最下层，degree值依次从1开始，直至该维度实际的最大层数。如表2所示的地区维度表中实际有3层地区维度信息，那么最上层省级维度数据的degree值为1，最下层区县级维度数据的degree值为3。 

然后在维度表中，增加记录上层维度数据的字段。这个字段记录了当前维度数据的上一层维度数据、上二层维度数据，直至记录最上层维度数据为止。 

记录上层维度字段的命名规则：描述上一层数据的字段为“p_1”，描述上二层数据的字段为“p_2”，依次类推，直至到描述最上层数据的字段为“p_n”，其中n的值是维度表中degree的最大值减1。 

根据以上的操作，对如表2所示的地区维度表增加本发明专利需要的字段后，地区维度表如表4所示。 

area_id	area_name	degree	p_1	p_2
					420000	湖北省	1
420100	武汉市	2	420000
					420102	江岸区	3	420100	420000
420103	江汉区	3	420100	420000
					420105	汉阳区	3	420100	420000
420500	宜昌市	2	420000
					420502	西陵区	3	420500	420000
420503	伍家岗区	3	420500	420000
					420506	夷陵区	3	420500	420000
430000	湖南省	1
					430100	长沙市	2	430000
430102	芙蓉区	3	430100	430000
					430103	天心区	3	430100	430000
430300	湘潭市	2	430000
					430304	岳塘区	3	430300	430000
430321	湘潭县	3	430300	430000
					430382	韶山市	3	430300	430000

表4：增加字段后的地区维度表 

比较表2和表4所示的地区维度表，发现增加字段后的地区维度表增加了degree、p_1和p_2三个字段。通过增加的这三个字段，能够详细地描述维度数据的层次，以及记录维度的上一层维度数据和 上二层维度数据。新增的这三个字段对实现本发明中的数据汇总方法起到至关重要的核心作用。 

步骤2：编制数据汇总的SQL语句并执行，获得汇总结果。 

下面详细的介绍本实施用例中，编制并执行SQL语句来实现不同层次的数据汇总。 

汇总省级的数据，是针对事实表数据，根据事实数据中的维度，按照地区维度表中的层次进行数据汇总，得到省级的汇总数据。由于在地区维度表中，省级维度的degree为1，该层下面还有degree为3的区县级数据和degree为2的市州级数据，那么本步骤的数据汇总分为几步：。 

第一、编写汇总degree为1层数据的SQL语句。 

第二、编写将degree为2层的数据汇总到degree为1层的SQL语句。 

第三、编写将degree为3层的数据汇总到degree为1层的SQL语句。 

第四、将前三步的SQL语句通过UNION进行连接。 

第五、将第四步生成的SQL语句再增加汇总求和的SQL语句，得到最终的数据汇总SQL语句。 

第六、执行第五步中得到的SQL语句，获得最终的省级汇总数据。 

根据以上步骤生成的SQL语句如下： 

通过以上过程，完成了本实施用例中多层事实数据按地区维度汇总到 省级的数据汇总操作。如将上述SQL语句执行的结果保存在一张数据表，那么汇总表1所示的事实数据最终获得的结果如表5所示，“420000”是湖北省营业收入的汇总结果，“430000”是湖南省营业收入的汇总结果。 

area_id	income_sum
		420000	421
430000	404

表5：汇总结果。 

Claims (1)

1.一种基于SQL语句快速汇总多层事实数据的方法，其特征在于：其步骤如下：

（1）在维度表中增加描述维度层次的字段；

这个字段用来描述每个维度数据在维度表中的层次，数据类型为整型；层次的定义规则：最上层维度数据的层次为1，每增加一层，维度层次加1，直至最下层维度数据的层次为n；

（2）在维度表中增加记录上层维度数据的字段；

增加记录上一层维度数据的字段，命名为p_1；增加记录上二层维度数据的字段，命名为p_2；以此类推循环，直至记录最上层维度数据的字段，命名为p_n；

（3）根据数据汇总层次的需求，对事实表中的数据，依据维度表中新增的描述维度层次的字段、记录上层维度数据的字段，编制汇总事实数据的SQL语句并执行，得到多层事实数据的汇总结果；

①确定数据汇总的起始层次和目标层次，目标层次必须高于起始层次；

②根据起始层次和目标层次，结合维度表中的层次字段和上层维度数据字段，编写数据汇总的SQL语句并执行，将起始层次的事实数据汇总到目标层次。