CN101183986A - 节约存储、营造“绿色”数据仓库的方法 - Google Patents

Abstract

本发明涉及一种节约存储、营造“绿色”数据仓库的方法。本发明的具体方法步骤如下：(1)对于基础层采取数据压缩方法来节约存储；(2)对于汇总层采取用户级-细粒度级-粗粒度级的分粒度存储方式来节约存储；并且对于超出存储周期的业务数据，建立自动化、可配置和定时清理数据机制；(3)对于应用层根据应用分析的生命周期，调整存储周期；并且对于超出存储周期的业务数据，建立自动化、可配置和定时清理数据机制。本发明的有益效果是能够大大节约存储，并且能够及时自动清理数据“垃圾”，从而实现营造干净、整洁的“绿色”数据仓库。

Description

节约存储、营造“绿色”数据仓库的方法

技术领域

本发明涉及一种节约存储、营造“绿色”数据仓库的方法，适用于电信行业。

背景技术

数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，支持管理决策制定。电信运营商建设的数据仓库，一般包括的客户、账户、话单、客服、网管等多个主题域的数据。通过ETL过程，从BOSS、CALLCENTER以及网管系统中将生产数据抽取到数据仓库系统，经过转换，加载到数据仓库中。然后，通过自动调度机制，将数据分层、分粒度，进行汇总，将数据形成数据集市或应用汇总层，然后根据应用的不同，形成各自的星形结构或雪花结构的应用层数据，再进一步通过OLAP服务器或者报表服务器，以及前端展示页面形成多维分析、报表和展示页面等方式，在portal中进行展示。

为保证数据仓库的处理性能，无论是IBM、NCR等厂商的数据仓库构架中，数据仓库的存储永远是重点考虑的问题之一，存储的增加，必然带来数据仓库、cpu、内存的增加，也就是节点的增加。所谓数据“垃圾”，是指数据仓库中存储的数据，不再使用或者使用率相当低的数据。这部分数据需要进行清理，而进一步讲，营造“绿色”数据仓库，其本质将就是想办法在满足应用的前提下，减少数据仓库的存储占用，其中数据“垃圾”清理只是其中手段之一。

在数据仓库建设、应用分析过程中，数据的存储基本上分为三层，最底层可以称之为基础层，是数据仓库的核心，其次是在基础层上，为满足应用分析的需求，形成的汇总层，然后，用于前端展示使用的应用层。

基础层是按照主题、业务流程进行组织的；是从业务系统中抽取有用的数据，进行清洗转换后形成的；且一般按照三范式的原则进行存储，其特点就是减少数据冗余。该层数据占用存储较大的主要是话单等清单类数据，这类数据要求一定的存储周期，且为满足业务需要轻易不会变化。

另外，在基础层之上，形成的分层、分粒度的汇总层。其来源于业务需求和数据驱动两个方面的因素。其本质为构建适合于应用分析使用的中间汇总层数据。其存储的占用主要取决于存储粒度和存储周期。存储粒度小，存储周期长，占用的存储周期就大。反之，占用存储空间就小。

汇总层之上是用于分析展示的事实表一层，即应用层。该部分数据的存储占用，主要取决于存储周期，且该部分数据的存储周期是随着应用分析的生命周期变化而变化的。例如，针对某阶段的市场变化，某个促销活动成为目前阶段的主要关注对象。为形成该营销活动的跟踪分析，形成针对该营销活动的应用层。随着市场的发展该营销活动的生命周期走向衰退期，该应用分析的生命周期也进入衰退期。随着其应用层数据就转变为数据“垃圾”。

目前，电信行业的数据仓库，随着业务的发展，数据源的扩充，应用分析的增多，不可避免的产生各种各样的数据“垃圾”和各种形式的存储上的浪费。这些“垃圾”数据和存储的浪费对数据仓库带来的污染，等同于有害气体排放对自然环境的污染。

发明内容

本发明所要解决的技术问题是提供一种能够自动清理数据“垃圾”和减少存储浪费的节约存储、营造“绿色”数据仓库的方法。

本发明解决其技术问题所采用的技术方案：

对于数据存储分为基础层、汇总层、应用层三层的数据仓库，分别采取数据压缩和自动化清理机制的方法进行处理，其具体方法步骤如下：

(一)基础层：

对于具备压缩存储条件的业务数据，采取数据压缩方法来节约存储；

(二)汇总层：

对于采用分层、分粒度存储的汇总层，按照日-周-月时间粒度上的分层汇总，即采取用户级-细粒度级-粗粒度级的分粒度存储方式来节约存储；并且对于超出存储周期的业务数据，建立自动化、可配置和定时清理数据机制；

(三)应用层：

根据应用分析的生命周期，调整存储周期；并且对于超出存储周期的业务数据，建立自动化、可配置和定时清理数据机制。

所述的数据压缩方法的具体步骤如下：

(1)压缩值选取：

按下表内容确定压缩值：

字段类型	值域范围	压缩值选择
			char	0~255	全部值域值作为压缩值
char	＞255	选择频繁出现数值作为压缩值
			integer	0~最大值	选取频繁出现数值且不超过255个压缩值
decimal	0~最大值	选取频繁出现数值且不超过255个压缩值

(2)压缩执行：

a、新建压缩表：

根据上一步骤确定的每一个字段的压缩值，定义压缩表的表结构；

b、导入数据执行压缩：

将原表业务数据插入新建压缩表中，在导入的过程中数据仓库自动执行压缩；

c、压缩结果测试：

压缩完成后，对比前后结果，检查压缩效果；

d、原表替换：

将压缩表替换为原表；完成该表压缩操作。

所述的汇总层的按照日-周-月时间粒度上分层汇总的具体方法为：

将每天的业务数据按照用户级别，将各种业务数据类型一致的记录汇总为一条记录；生成日明细汇总表；然后将日明细汇总表累计到月明细汇总表中；日汇总表存储一周，用于统计分析；在日汇总表之上，生成去除用户的日粗粒度汇总；保留一个月。

所述汇总层的定时清理数据机制如下：针对上述汇总层的业务数据日明细表、日汇总表、月汇总表，分别定义存储表类型和存储周期，并生成配置文件，然后利用编写程序读取上述配置文件，通过操作类型、日期字段信息生成相应的drop和delete语句，在数据仓库中实施清理操作，并生成相应的操作日志，该程序是通过ETL的调度工具定期调度，完成自动清理。

所述的应用层的定时清理数据机制如下：

在日明细汇总表之上的应用层，生成日业务量分析事实表，用于前端多维分析展示；且定义存储周期为30天，该表按照总表分日期字段形式存储；另外，对于日明细汇总表和日粗粒度汇总表，分别定义存储周期为一周或一月；且两个表均为按日分表形式进行存储；并生成配置文件；然后利用编写程序读取上述配置文件信息，通过操作类型、日期字段信息生成相应的drop和delete语句，在数据仓库中实施清理操作，并生成相应操作日志，该程序是通过ETL的调度工具定期调度，完成自动清理。

本发明的有益效果是能够大大节约存储，并且能够及时自动清理数据“垃圾”，从而实现营造干净、整洁的“绿色”数据仓库。

附图说明

图1为自动化清理数据机制操作流程图。

具体实施方式

实施例：

电信业数据仓库中用户的通话记录是主要数据之一，其数据量大，且业务含义重大。本实施例以通话记录为例，说明本发明的具体实施方法：

1、基础层：

通话记录一般要保留半年左右。通过分析，其中的字段，如：主被叫、长途漫游、本方归属地、对方归属地、结算方等字段均为枚举型字段。采用数据仓库的数据压缩技术，可以极大的节省数据存储。具体步骤如下：

1)压缩值选取：

当字段类型为CHAR型，字段值所占字节平均长度较为均匀，值域范围不超过255个的时候，可以把值域全部做为压缩值进行压缩，达到有效的压缩效果。

当字段类型为CHAR型，字段数据所占最大字节与平均长度及最小长度差异较大，值域范围超过255的时候，可以选择频繁数值进行压缩。

当字段类型为INTEGER的时候，不论其分布情况，对频繁出现的数据进行压缩，但取值范围不可超过255个压缩值。

当字段类型为DECIMAL的时候，不仅根据其数据最大值变更长度，还需要对频繁出现的数据进行压缩。

字段类型	值域范围	压缩值选择
			char	0~255	全部值域值作为压缩值
char	＞255	选择频繁出现数值作为压缩值
			integer	0~最大值	选取频繁出现数值且不超过255个压缩值
decimal	0~最大值	选取频繁出现数值且不超过255个压缩值

按照上述原则分析话单中每个字段，确定压缩值。

2)压缩执行：

a)新建压缩表：

根据前一步骤确定的每一个字段的压缩值，定义压缩表的表结构。举例如下：

原表：

CREATE SET TABLE TB_CDR_GSM_HOME

(

    SUBS_NO VARCHAR(13)TITLE’用户号’NOT NULL，

    CDR_TYPE_ID CHAR(6)TITLE’话单类型_ID’NOT NULL，

    CDR_TYPE CHAR(3)TITLE’话单类型’NOT NULL，

    ROAM_TYPE CHAR(5)TITLE’漫游类型’NOT NULL，

    CALL_TYPE CHAR(5)TITLE’呼叫类型’NOT NULL，

    SELF_PHONE_NO VARCHAR(22)TITLE’本方电话号码’NOT NULL，

    VREGION CHAR(12)  NOT NULL，

    SELF_HOME_AREA CHAR(12)TITLE’本方归属地区’NOT NULL

。。。。。。

)PRIMARY INDEX(SUBS_NO)；

压缩表：

    CREATE SET TABLE TB_CDR_GSM_HOME_CMPRS

    (

        SUBS_NO VARCHAR(13)TITLE’用户号’NOT NULL，

    CDR_TYPE_ID CHAR(6)TITLE’话单类型_ID’NOT NULL

COMPRESS’7’，

   CDR_TYPE CHAR(3)TITLE’话单类型’NOT NULL COMPRESS

(’C ’，’O ’，’T  ’)，

   ROAM_TYPE CHAR(5)TITLE’漫游类型’NOT NULL COMPRESS

(’0’，’00 ’，’02 ’，’1’，’22 ’，’321’，’323’，’324’)，

   CALL_TYPE CHAR(5)TITLE’呼叫类型’NOT NULL COMPRESS

(’11 ’，’21 ’，’22 ’，’231’，’232’，’233’，’234’)，

   SELF_PHONE_NO VARCHAR(22)TITLE’本方电话号码’NOT

NULL，

   VREGION CHAR(12) NOT NULL COMPRESS

(’10’，’20’，’21’，’ 22’，’24’，’28’，’29’，’310’，’311’，’312’，’313

’，’314’，’316’，’317’，’318’，’319’，’335’，’350’，’351’，’353’，’3

54’，’355’，’371’，’372’，’429’，’510’，’512’，’531’，’532’，’533’，

’534’，’535’，’536’，’539’，’543’，’571’，’635’)，

   SELF_HOME_AREA CHAR(12)TITLE’本方归属地区’NOT NULL

COMPRESS

(’310’，’311’，’312’，’313’，’314’，’315’，’316’，’317’，’318’，’31

9’，’335’)

。。。。。。

)PRIMARY INDEX(SUBS_NO)；

b)导入数据执行压缩：

将原表数据插入的新建压缩表中，在导入的过程中数据仓库自动执行压缩。

INSERT INTO TB_CDR_GSM_HOME_CMPRS

SELECT*FROM TB_CDR_GSM_HOME；

c)压缩结果测试：

压缩完成后，对比前后结果，检查压缩效果(具体操作见附表1和附表2)。

d)原表替换：

将压缩表替换为原表。完成该表压缩操作。

2、汇总层

数据在汇总层采取分层、分粒度存储是为节省存储，另一方面是为了方便统计分析。

具体实施方法：对于每天的通话记录，通过分层、分粒度存储。将每天的通话记录按照用户级别，将各种通话类型一致的记录汇总为一条记录。生成日明细汇总表。然后将目明细汇总表累计到月明细汇总表中。日汇总表存储一周，用于统计分析。在日汇总表之上，生成去除用户的日粗粒度汇总。保留一个月。通过不同粒度和时间层次上的汇总，即满足了分析需求，又减少了用户级别的大数据量存储。

汇总结果详见附表3。

汇总层清理机制，针对上述GSM语音话单、GSM日汇总、GSM月汇总三个表，分别定义存储表形式和存储周期，并生成配置文件如附表4。

然后编写程序读取上述配置信息，通过操作类型、日期字段等信息生成相应的drop和delete语句，在数据仓库中实施清理操作，并生成相应操作日志备查。操作流程见图1。

3、应用层：

在日明细汇总表之上的应用层，生成目业务量分析事实表，用于前端多维分析展示。且定义存储周期为30天，该表按照总表分日期字段形式存储。另外，对于日明细汇总表和日粗粒度汇总表，分别定义存储周期为一周或月。因此，且两个表均为按日分表形式进行存储。因此，对生成配置文件示意如附表5。

然后编写程序读取上述配置信息，通过操作类型、日期字段等信息生成相应的drop和delete语句，在数据仓库中实施清理操作，并生成相应操作日志备查。操作流程如图1。

附表1：

	测试语句	测试结果(记录数)	数据是否一致
				原表	select count(*)from TB_CDR_GSM_HOME	4465611	一致

压缩表

select count(*)from TB_CDR_GSM_HOME_COMPRS

4465611

附表2：

	测试结果(空间，Byte)	压缩比
			原表	1，992，342，016	40.97％
压缩表	1，176，107，008

附表3：

附表4

数据库名	表名	表描述	存储类型	日期字段	存储周期	操作类型
							Pcd	tb_gsm_detail_yyyymmdd	GSM话单明细	D		90天	DROP
Pcdr	tb_gsm_day_yyyymmdd	GSM话单日汇总	D		180天	DROP
							Pcdr	tb_gsm_mon_yyyymm	GSM话单月汇总	M		12月	DROP

附表5

数据库名	表名	表描述	存储类型	日期字段	存储周期	操作类型
							pmart	tb_opr_day_detail_yyyymmdd	话单日明细汇总	D		7天	DROP

pmart	tb_opr_day_yyyymmdd	话单日粗粒度汇总	D		30天	DROP
							pmart	tb_opr_day_sum_yyyynm	话单日累计汇总	D		30天	DROP
Pmart	Tb_opr_mon	话单月汇总	M	Date_stamp	3个月	DROP
							Pmart	Tb_opr_analysis	日业务量分析	D	Date_stamp	30天	Delete

Claims (5)

1.节约存储、营造“绿色”数据仓库的方法，其特征在于对于数据存储分为基础层、汇总层、应用层三层的数据仓库，分别采取数据压缩和自动化清理机制的方法进行处理，其具体方法步骤如下：

(一)基础层：

对于具备压缩存储条件的业务数据，采取数据压缩方法来节约存储；

(二)汇总层：

对于采用分层、分粒度存储的汇总层，按照日-周-月时间粒度上的分层汇总，即采取用户级-细粒度级-粗粒度级的分粒度存储方式来节约存储；并且对于超出存储周期的业务数据，建立自动化、可配置和定时清理数据机制；

(三)应用层：

根据应用分析的生命周期，调整存储周期；并且对于超出存储周期的业务数据，建立自动化、可配置和定时清理数据机制。

2.根据权利要求1所述的节约存储、营造“绿色”数据仓库的方法，其特征在于所述的数据压缩方法的具体步骤如下：

(1)压缩值选取：

按下表内容确定压缩值：

    字段类型   值域范围 压缩值选择     char   0~255 全部值域值作为压缩值     char   ＞255 选择频繁出现数值作为压缩值     integer   0~最大值 选取频繁出现数值且不超过255个压缩值     decimal   0~最大值 选取频繁出现数值且不超过255个压缩值

(2)压缩执行：

a、新建压缩表：

根据上一步骤确定的每一个字段的压缩值，定义压缩表的表结构；

b、导入数据执行压缩：

将原表业务数据插入新建压缩表中，在导入的过程中数据仓库自动执行压缩；

c、压缩结果测试：

压缩完成后，对比前后结果，检查压缩效果；

d、原表替换：

将压缩表替换为原表；完成该表压缩操作。

3.根据权利要求2所述的节约存储、营造“绿色”数据仓库的方法，其特征在于所述的汇总层的按照日-周-月时间粒度上分层汇总的具体方法为：

将每天的业务数据按照用户级别，将各种业务数据类型一致的记录汇总为一条记录；生成日明细汇总表；然后将日明细汇总表累计到月明细汇总表中；日汇总表存储一周，用于统计分析；在日汇总表之上，生成去除用户的日粗粒度汇总；保留一个月。

4.根据权利要求3所述的节约存储、营造“绿色”数据仓库的方法，其特征在于所述汇总层的定时清理数据机制如下：针对上述汇总层的业务数据日明细表、日汇总表、月汇总表，分别定义存储表类型和存储周期，并生成配置文件，然后利用编写程序读取上述配置文件，通过操作类型、日期字段信息生成相应的drop和delete语句，在数据仓库中实施清理操作，并生成相应的操作日志，该程序是通过ETL的调度工具定期调度，完成自动清理。

5.根据权利要求4所述的节约存储、营造“绿色”数据仓库的方法，其特征在于所述的应用层的定时清理数据机制如下：

在日明细汇总表之上的应用层，生成日业务量分析事实表，用于前端多维分析展示；且定义存储周期为30天，该表按照总表分日期字段形式存储；另外，对于日明细汇总表和日粗粒度汇总表，分别定义存储周期为一周或一月；且两个表均为按日分表形式进行存储；并生成配置文件；然后利用编写程序读取上述配置文件信息，通过操作类型、日期字段信息生成相应的drop和delete语句，在数据仓库中实施清理操作，并生成相应操作日志，该程序是通过ETL的调度工具定期调度，完成自动清理。