CN101043353A

CN101043353A - 一种提高网管系统数据处理效率的方法

Info

Publication number: CN101043353A
Application number: CN 200610060072
Authority: CN
Inventors: 袁虎
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2006-03-25
Filing date: 2006-03-25
Publication date: 2007-09-26
Anticipated expiration: 2026-03-25
Also published as: CN100544277C

Abstract

本发明公开了一种提高网管系统数据处理效率的方法，包括对数据库数据压缩的步骤，其特征在于，所述数据压缩的步骤又包括：步骤一，把数据库表的字段分为可压缩字段和非可压缩字段；步骤二，调整所述可压缩字段和所述非可压缩字段的顺序；步骤三，拼接所述可压缩字段生成拼接字段，并取代所述可压缩字段；及步骤四，对所述拼接字段进行压缩处理生成新字段，并取代所述拼接字段。采用本发明提出的把数据库表的可压缩字段先拼接后压缩的方法，能够节省数据库空间，大大减少资源耗费，有效提高查询和修改速度，且不影响数据库数据的检索。

Description

一种提高网管系统数据处理效率的方法

技术领域

本发明涉及大数据量数据处理技术，特别是涉及在网管领域中一种提高网管系统数据处理效率的方法。

背景技术

在网管系统中，经常出现历史数据占用空间过大的情况。例如对于一个DWDM(Dense Wave Division Multiplexing，密集波分复用)网管系统，网元的每块单板每隔15分钟就产生一次15分钟历史性能上报网管，即使按照工程最低要求数据库中保留3个月的历史性能数据，在32波满配和100个网元的情况下的历史性能也有8G左右。

数据量大导致的问题是通讯带宽、CPU处理时间、存储容量等均被占用，网管系统的管理效率大大降低。

为此，亟待提出了一种解决方案，以有效降低历史性能的数据库空间的占用。

发明内容

本发明所要解决的技术问题在于提供一种提高网管系统数据处理效率的方法，用于解决现有技术中大数据量数据库表数据占用空间过大，资源耗费严重，查询/修改速度都很慢的问题。

为了实现上述目的，本发明提供了一种提高网管系统数据处理效率的方法，包括数据库数据压缩的步骤，其特征在于，所述数据压缩的步骤又包括：

步骤一，把数据库表的字段分为可压缩字段和非可压缩字段；

步骤二，调整所述可压缩字段和所述非可压缩字段的顺序；

步骤三，拼接所述可压缩字段生成拼接字段，并取代所述可压缩字段；

步骤四，对所述拼接字段进行压缩处理生成新字段，并取代所述拼接字段。

所述的提高网管系统数据处理效率的方法，其中，所述步骤一中，作为所述可压缩字段的数据库表的字段不作为查询限制条件、排序条件、计算条件、分组条件和所述数据库表之外的表的外键。

所述的提高网管系统数据处理效率的方法，其中，所述步骤二中，所述调整顺序为：所有所述可压缩字段连续起来并排在所有所述非可压缩字段的后面。

所述的提高网管系统数据处理效率的方法，其中，所述步骤三中，当所述可压缩字段包含变长字段的个数不同时，拼接所述可压缩字段的方法可采用如下拼接方式之一，包括：

方式一，当所述可压缩字段中没有变长字段时，直接拼接；或

方式二，当所述可压缩字段中只有一个变长字段时，调整所述可压缩字段的顺序，把该变长字段放到所述可压所字段的最后，然后拼接；或

方式三，当所述可压缩字段中有两个或多个变长字段时，对该变长字段编码后再拼接。

所述的提高网管系统数据处理效率的方法，其中，通过在该变长字段前面加上一个或多个记录该变长字段的长度的字节对该变长字段进行编码。

所述的提高网管系统数据处理效率的方法，其中，所述步骤四中，所述新字段的字段类型根据对所述拼接字段进行压缩处理时采用的压缩算法确定。

所述的提高网管系统数据处理效率的方法，其中，所述新字段的字段类型为是varbinary。

所述的提高网管系统数据处理效率的方法，其中，所述步骤四中，还包括一采用RFC1952压缩算法对所述拼接字段进行压缩处理的步骤。

所述的提高网管系统数据处理效率的方法，其中，所述网管系统适用于密集波分复用网管系统。

本发明的技术效果在于：

使用本发明方法可以有效减少数据的数据库空间占用。例如，表的总字段长度为A，可压缩字段的总长度为B，而压缩后的由可压缩字段拼接成的字段的长度是C，在A、B、C都是常数的情况下，节省数据库空间占用的百分比为：

((B-C)/A)*100％

从上述公式可以得出，在数据库表数据容量过大，而且不作为检索条件的字段的数据容量占表数据总容量比例较高时，且这些字段的可压缩率比较高时，采用本发明方法具有如下优点：

(1)，节省数据库空间；节省比例与可压缩字段空间占总字段空间比例和可压缩字段可压缩比率有关；

(2)，不影响检索；所有用来检索的字段保持不变，不影响原来的检索功能。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1为本发明调整数据库表的可压缩字段和非可压缩字段顺序后的表设置示意图；

图2为本发明对数据库表的可压缩字段拼接后的表设置示意图；

图3为本发明对数据库表的拼接字段压缩后的最终表设置示意图；

图4为本发明对数据库表的可压缩字段先拼接后压缩的方法流程图；

图5为图1的一个历史性能数据方面的实施例；

图6为图2的一个历史性能数据方面的实施例；

图7为图3的一个历史性能数据方面的实施例。

其中，主要附图标记如下：

非可压缩字段 1

可压缩字段 2

可压缩字段拼接成的字段 3

被拼接字段压缩后的字段 4

非可压缩字段1的个数 n1

可压缩字段2的个数 n2

1001，1002，...10n1是非可压缩字段1，非可压缩字段2，...，非可压缩字段n1

2001，2002，...20n2是可压缩字段1，可压缩字段2，...，可压缩字段n2

具体实施方式

图1所示为本发明调整数据库表的可压缩字段和非可压缩字段顺序后的表设置示意图。

对数据库表进行重新设置，调整所有字段的顺序，使所有的可压缩字段2连续起来并排在所有的非可压缩字段1的后面，即表字段顺序设置为“非可压缩字段1(1001)，非可压缩字段2(1002)，...，非可压缩字段n1(10n1)，可压缩字段1(2001)，可压缩字段2(2002)，...，可压缩字段n2(20n2)”，其中n1是非可压缩字段1的个数，n2是可压缩字段2的个数。

图2所示为本发明对数据库表的可压缩字段拼接后的表设置示意图，并结合图1所示。

将图1所示的可压缩字段2拼接成一个字段3，并取代可压缩字段2；将可压缩字段1(2001)，可压缩字段2(2002)，...，可压缩字段n2(20n2)拼接成一个字段3，并取代所有的可压缩字段2，其中n2是可压缩字段2的个数，也即是，数据库表可压缩字段拼接处理后，其表字段设置为“非可压缩字段1(1001)，非可压缩字段2(1002)，...，非可压缩字段n1(10n1)，可压缩字段拼接成的一个字段3”，其中n1是非可压缩字段1的个数。

图3所示为本发明对数据库表的拼接字段压缩后的最终表设置示意图；并结合图2所示。

将图2所示对拼接后的字段3采用压缩算法进行压缩处理，并将压缩生成的新字段4取代拼接后的字段3；数据库表最终设置为“非可压缩字段1(1001)，非可压缩字段2(1002)，...，非可压缩字段n1(10n1)，拼接字段压缩后生成的新字段4”，其中n1是非可压缩字段1的个数。

新字段4的字段类型与压缩算法有关，一般是varbinary。

图4所示为对数据库表的可压缩字段先拼接后压缩的方法流程图。并结合图1、2、3，该方法流程具体包括如下步骤：

步骤401，把数据库表的所有字段分为可压缩字段2和非可压缩字段1两种。

数据库表字段可以分为两种字段：所有表索引所在字段组成的索引字段；及索引字段以外的其他字段组成的非索引字段。

索引字段通常是查询表所用的字段。把索引字段加上非索引字段中需要用来查询的字段一起作为非可压缩字段1；非可压缩字段1以外的剩下的字段称为可压缩字段2。作为可压缩字段2必须满足如下条件：

(1)，不作为查询限制条件(不出现在WHERE和HAVING子句里)；

(2)，不作为排序条件(不出现在ORDER BY子句里)；

(3)，不作为计算条件(不出现在COMPUTE子句里)；

(4)，不作为分组条件(不出现在GROUP BY子句里)；及

(5)，不作为其他表的外键(不出现在其他表的REFERENCE限制中)。

上述WHERE和HAVING子句、ORDER BY子句、COMPUTE子句、GROUP BY子句、REFERENCE均为SQL(Structured Query Language，结构化查询语言)。

比如，网管系统的历史性能数据，DWDM网管系统的历史15分钟性能数据大小常常在4G字节以上。如果历史15分钟表的字段定义如下：

时间 INT

网元ID INT

槽位 SMALLINT

性能号 SMALLINT

性能1 INT

性能2 INT

性能3 INT

性能4 INT

则可以把时间、网元ID、槽位和性能号这四个字段作为非可压缩字段1，而性能1、性能2、性能3、性能4四个性能值字段不作为检索条件，并且符合可压缩字段的条件时，可以作为可压缩字段2。

步骤402，调整非可压缩字段1和可压缩字段2的顺序；

该步骤具体为：对数据库表进行重新设置，调整所有字段的顺序，使所有的可压缩字段2连续起来并排在所有的非可压缩字段1的后面，表字段顺序设置如图1所示。

对于如上所述DWDM网管系统的历史15分钟性能数据的表，经过步骤402的设置处理后，四个性能值字段作为可压缩字段2，它们连续并且排在非可压缩字段1的后面。

步骤403，将可压缩字段2拼接成一个字段3，并取代可压缩字段2；

表字段经过再经过该步骤处理后，表设置如图2所示；并且针对可压缩字段2中包含变长字段/变长的字段个数的不同拼接的方式也分为下面三种情况：

情况一，若可压缩字段2中没有变长的字段(varchar，varbinary，text，image)，则直接拼接。这样做的目的是拼接字段以后经过压缩，解压时可压缩字段2可以按照各字段的字节长度对齐。

情况二，若可压缩字段2中只有一个变长的字段(varchar，varbinary，text，image)，则调整字段的顺序，把变长的字段放到可压缩字段2的最后，然后拼接。这样做的目的是拼接字段以后经过压缩，解压时可压缩字段2的前面定长的字段可以按照各字段的字节长度对齐，剩下的内容是变长字段的内容。

情况三，若可压缩字段2中有两个或两个以上的变长的字段(varchar，varbinary，text，image)，则需要对变长的字段编码，如在该变长的字段前面加上一个或几个字节记录本字段的长度，然后拼接。这样做的目的是以后拼接字段经过压缩，解压时可压缩字段2中的定长的字段可以按照各字段的字节长度对齐，变长字段按照编码规则对齐自己的内容。

对于如上所述的DWDM网管系统的历史15分钟性能数据的表，经过步骤402和步骤403的设置处理后，四个性能值字段作为可压缩字段2，因性能值都是固定4个字节，所以可以直接拼接成一个字段。拼接示例如下：

如果性能1的值为0x00000000，性能2的值为0x11111111，性能3的值为0x22222222，性能4的值为0x33333333，则直接拼接生成的字段的内容是0x00000000111111112222222233333333。

步骤404，将拼接字段3压缩，生成新字段4，并取代拼接字段3。

其中，对拼接后的字段3采用压缩算法压缩，压缩生成的新字段4的字段类型与压缩算法有关，一般是varbinary，并使用压缩生成的新字段4取代拼接后的字段3。表最终设置如图3所示。

对于如上所述的DWDM网管系统的历史15分钟性能数据的表，经过步骤401至步骤404设置处理后，拼接性能是固定16个字节，实验证明：性能类数据采用RFC(Request For Comments，请求注解)1952(gzip format)压缩算法的可压缩比在10∶1以上，拼接性能压缩在4个字节内应该没有问题，压缩后的性能字段可以设置为“VARBINARY(4)^*”。新的表设置可以为：

时间 INT

网元ID INT

槽位 SMALLINT

性能号 SMALLINT

压缩性能 VARBINARY(4)^*

其中“*”表示VARBINARY(4)中的4表示字段长度是4个字节。

通过步骤401至步骤404处理后，实现改进前后的数据空间比例是7∶4以上，即最少节约了42％的空间。

图5所示为图1的一个历史性能数据方面的实施例。结合图1、4所示。

对于图1中的DWDM网管系统的历史15分钟性能数据的表，经过图4所示的步骤402的设置处理后，四个性能值字段作为可压缩字段2，它们连续并且排在非可压缩字段1的后面。

图6所示为图2的一个历史性能数据方面的实施例。结合图2、4所示。

对于图2中的DWDM网管系统的历史15分钟性能数据的表，经过图4所示的步骤403的设置处理后，四个性能值字段作为可压缩字段2，因性能值都是固定4个字节，可以直接拼接成一个字段，成为拼接字段。

图7所示为图3的一个历史性能数据方面的实施例。结合图3、4所示。

对于图3中的DWDM网管系统的历史15分钟性能数据的表，经过图4所示的步骤404的设置处理后，对拼接字段进行压缩处理，生成新字段，取代拼接字段作为压缩后的字段。

采用本发明提出的把数据库表的可压缩字段先拼接后压缩的方法，能够节省数据库空间，大大减少资源耗费，有效提高查询和修改速度，且不影响数据库数据的检索。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims

1、一种提高网管系统数据处理效率的方法，包括数据库数据压缩的步骤，其特征在于，所述数据压缩的步骤又包括：

步骤二，调整所述可压缩字段和所述非可压缩字段的顺序；

2、根据权利要求1所述的提高网管系统数据处理效率的方法，其特征在于，所述步骤一中，作为所述可压缩字段的数据库表的字段不作为查询限制条件、排序条件、计算条件、分组条件和所述数据库表之外的表的外键。

3、根据权利要求1所述的提高网管系统数据处理效率的方法，其特征在于，所述步骤二中，所述调整顺序为：所有所述可压缩字段连续起来并排在所有所述非可压缩字段的后面。

4、根据权利要求1、2或3所述的提高网管系统数据处理效率的方法，其特征在于，所述步骤三中，当所述可压缩字段包含变长字段的个数不同时，拼接所述可压缩字段的方法可采用如下拼接方式之一，包括：

5、根据权利要求4所述的提高网管系统数据处理效率的方法，其特征在于，通过在该变长字段前面加上一个或多个记录该变长字段的长度的字节对该变长字段进行编码。

6、根据权利要求1、2、3或5所述的提高网管系统数据处理效率的方法，其特征在于，所述步骤四中，所述新字段的字段类型根据对所述拼接字段进行压缩处理时采用的压缩算法确定。

7、根据权利要求6所述的提高网管系统数据处理效率的方法，其特征在于，所述新字段的字段类型为是varbinary。

8、根据权利要求1、2、3或5所述的提高网管系统数据处理效率的方法，其特征在于，所述步骤四中，还包括一采用RFC1952压缩算法对所述拼接字段进行压缩处理的步骤。

9、根据权利要求1、2、3或5所述的提高网管系统数据处理效率的方法，其特征在于，所述网管系统适用于密集波分复用网管系统。