CN101043353A - 一种提高网管系统数据处理效率的方法 - Google Patents
一种提高网管系统数据处理效率的方法 Download PDFInfo
- Publication number
- CN101043353A CN101043353A CN 200610060072 CN200610060072A CN101043353A CN 101043353 A CN101043353 A CN 101043353A CN 200610060072 CN200610060072 CN 200610060072 CN 200610060072 A CN200610060072 A CN 200610060072A CN 101043353 A CN101043353 A CN 101043353A
- Authority
- CN
- China
- Prior art keywords
- field
- compressible
- management system
- network management
- splicing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种提高网管系统数据处理效率的方法，包括对数据库数据压缩的步骤，其特征在于，所述数据压缩的步骤又包括：步骤一，把数据库表的字段分为可压缩字段和非可压缩字段；步骤二，调整所述可压缩字段和所述非可压缩字段的顺序；步骤三，拼接所述可压缩字段生成拼接字段，并取代所述可压缩字段；及步骤四，对所述拼接字段进行压缩处理生成新字段，并取代所述拼接字段。采用本发明提出的把数据库表的可压缩字段先拼接后压缩的方法，能够节省数据库空间，大大减少资源耗费，有效提高查询和修改速度，且不影响数据库数据的检索。
Description
技术领域
本发明涉及大数据量数据处理技术，特别是涉及在网管领域中一种提高网管系统数据处理效率的方法。
背景技术
在网管系统中，经常出现历史数据占用空间过大的情况。例如对于一个DWDM(Dense Wave Division Multiplexing，密集波分复用)网管系统，网元的每块单板每隔15分钟就产生一次15分钟历史性能上报网管，即使按照工程最低要求数据库中保留3个月的历史性能数据，在32波满配和100个网元的情况下的历史性能也有8G左右。
数据量大导致的问题是通讯带宽、CPU处理时间、存储容量等均被占用，网管系统的管理效率大大降低。
为此，亟待提出了一种解决方案，以有效降低历史性能的数据库空间的占用。
发明内容
本发明所要解决的技术问题在于提供一种提高网管系统数据处理效率的方法，用于解决现有技术中大数据量数据库表数据占用空间过大，资源耗费严重，查询/修改速度都很慢的问题。
为了实现上述目的，本发明提供了一种提高网管系统数据处理效率的方法，包括数据库数据压缩的步骤，其特征在于，所述数据压缩的步骤又包括：
步骤一，把数据库表的字段分为可压缩字段和非可压缩字段；
步骤二，调整所述可压缩字段和所述非可压缩字段的顺序；
步骤三，拼接所述可压缩字段生成拼接字段，并取代所述可压缩字段；
步骤四，对所述拼接字段进行压缩处理生成新字段，并取代所述拼接字段。
所述的提高网管系统数据处理效率的方法，其中，所述步骤一中，作为所述可压缩字段的数据库表的字段不作为查询限制条件、排序条件、计算条件、分组条件和所述数据库表之外的表的外键。
所述的提高网管系统数据处理效率的方法，其中，所述步骤二中，所述调整顺序为：所有所述可压缩字段连续起来并排在所有所述非可压缩字段的后面。
所述的提高网管系统数据处理效率的方法，其中，所述步骤三中，当所述可压缩字段包含变长字段的个数不同时，拼接所述可压缩字段的方法可采用如下拼接方式之一，包括：
方式一，当所述可压缩字段中没有变长字段时，直接拼接；或
方式二，当所述可压缩字段中只有一个变长字段时，调整所述可压缩字段的顺序，把该变长字段放到所述可压所字段的最后，然后拼接；或
方式三，当所述可压缩字段中有两个或多个变长字段时，对该变长字段编码后再拼接。
所述的提高网管系统数据处理效率的方法，其中，通过在该变长字段前面加上一个或多个记录该变长字段的长度的字节对该变长字段进行编码。
所述的提高网管系统数据处理效率的方法，其中，所述步骤四中，所述新字段的字段类型根据对所述拼接字段进行压缩处理时采用的压缩算法确定。
所述的提高网管系统数据处理效率的方法，其中，所述新字段的字段类型为是varbinary。
所述的提高网管系统数据处理效率的方法，其中，所述步骤四中，还包括一采用RFC1952压缩算法对所述拼接字段进行压缩处理的步骤。
所述的提高网管系统数据处理效率的方法，其中，所述网管系统适用于密集波分复用网管系统。
本发明的技术效果在于：
使用本发明方法可以有效减少数据的数据库空间占用。例如，表的总字段长度为A，可压缩字段的总长度为B，而压缩后的由可压缩字段拼接成的字段的长度是C，在A、B、C都是常数的情况下，节省数据库空间占用的百分比为：
((B-C)/A)*100％
从上述公式可以得出，在数据库表数据容量过大，而且不作为检索条件的字段的数据容量占表数据总容量比例较高时，且这些字段的可压缩率比较高时，采用本发明方法具有如下优点：
(1)，节省数据库空间；节省比例与可压缩字段空间占总字段空间比例和可压缩字段可压缩比率有关；
(2)，不影响检索；所有用来检索的字段保持不变，不影响原来的检索功能。
以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
附图说明
图1为本发明调整数据库表的可压缩字段和非可压缩字段顺序后的表设置示意图；
图2为本发明对数据库表的可压缩字段拼接后的表设置示意图；
图3为本发明对数据库表的拼接字段压缩后的最终表设置示意图；
图4为本发明对数据库表的可压缩字段先拼接后压缩的方法流程图；
图5为图1的一个历史性能数据方面的实施例；
图6为图2的一个历史性能数据方面的实施例；
图7为图3的一个历史性能数据方面的实施例。
其中，主要附图标记如下：
非可压缩字段 1
可压缩字段 2
可压缩字段拼接成的字段 3
被拼接字段压缩后的字段 4
非可压缩字段1的个数 n1
可压缩字段2的个数 n2
1001，1002，...10n1是非可压缩字段1，非可压缩字段2，...，非可压缩字段n1
2001，2002，...20n2是可压缩字段1，可压缩字段2，...，可压缩字段n2
具体实施方式
图1所示为本发明调整数据库表的可压缩字段和非可压缩字段顺序后的表设置示意图。
对数据库表进行重新设置，调整所有字段的顺序，使所有的可压缩字段2连续起来并排在所有的非可压缩字段1的后面，即表字段顺序设置为“非可压缩字段1(1001)，非可压缩字段2(1002)，...，非可压缩字段n1(10n1)，可压缩字段1(2001)，可压缩字段2(2002)，...，可压缩字段n2(20n2)”，其中n1是非可压缩字段1的个数，n2是可压缩字段2的个数。
图2所示为本发明对数据库表的可压缩字段拼接后的表设置示意图，并结合图1所示。
将图1所示的可压缩字段2拼接成一个字段3，并取代可压缩字段2；将可压缩字段1(2001)，可压缩字段2(2002)，...，可压缩字段n2(20n2)拼接成一个字段3，并取代所有的可压缩字段2，其中n2是可压缩字段2的个数，也即是，数据库表可压缩字段拼接处理后，其表字段设置为“非可压缩字段1(1001)，非可压缩字段2(1002)，...，非可压缩字段n1(10n1)，可压缩字段拼接成的一个字段3”，其中n1是非可压缩字段1的个数。
图3所示为本发明对数据库表的拼接字段压缩后的最终表设置示意图；并结合图2所示。
将图2所示对拼接后的字段3采用压缩算法进行压缩处理，并将压缩生成的新字段4取代拼接后的字段3；数据库表最终设置为“非可压缩字段1(1001)，非可压缩字段2(1002)，...，非可压缩字段n1(10n1)，拼接字段压缩后生成的新字段4”，其中n1是非可压缩字段1的个数。
新字段4的字段类型与压缩算法有关，一般是varbinary。
图4所示为对数据库表的可压缩字段先拼接后压缩的方法流程图。并结合图1、2、3，该方法流程具体包括如下步骤：
步骤401，把数据库表的所有字段分为可压缩字段2和非可压缩字段1两种。
数据库表字段可以分为两种字段：所有表索引所在字段组成的索引字段；及索引字段以外的其他字段组成的非索引字段。
索引字段通常是查询表所用的字段。把索引字段加上非索引字段中需要用来查询的字段一起作为非可压缩字段1；非可压缩字段1以外的剩下的字段称为可压缩字段2。作为可压缩字段2必须满足如下条件：
(1)，不作为查询限制条件(不出现在WHERE和HAVING子句里)；
(2)，不作为排序条件(不出现在ORDER BY子句里)；
(3)，不作为计算条件(不出现在COMPUTE子句里)；
(4)，不作为分组条件(不出现在GROUP BY子句里)；及
(5)，不作为其他表的外键(不出现在其他表的REFERENCE限制中)。
上述WHERE和HAVING子句、ORDER BY子句、COMPUTE子句、GROUP BY子句、REFERENCE均为SQL(Structured Query Language，结构化查询语言)。
比如，网管系统的历史性能数据，DWDM网管系统的历史15分钟性能数据大小常常在4G字节以上。如果历史15分钟表的字段定义如下：
时间 INT
网元ID INT
槽位 SMALLINT
性能号 SMALLINT
性能1 INT
性能2 INT
性能3 INT
性能4 INT
则可以把时间、网元ID、槽位和性能号这四个字段作为非可压缩字段1，而性能1、性能2、性能3、性能4四个性能值字段不作为检索条件，并且符合可压缩字段的条件时，可以作为可压缩字段2。
步骤402，调整非可压缩字段1和可压缩字段2的顺序；
该步骤具体为：对数据库表进行重新设置，调整所有字段的顺序，使所有的可压缩字段2连续起来并排在所有的非可压缩字段1的后面，表字段顺序设置如图1所示。
对于如上所述DWDM网管系统的历史15分钟性能数据的表，经过步骤402的设置处理后，四个性能值字段作为可压缩字段2，它们连续并且排在非可压缩字段1的后面。
步骤403，将可压缩字段2拼接成一个字段3，并取代可压缩字段2；
表字段经过再经过该步骤处理后，表设置如图2所示；并且针对可压缩字段2中包含变长字段/变长的字段个数的不同拼接的方式也分为下面三种情况：
情况一，若可压缩字段2中没有变长的字段(varchar，varbinary，text，image)，则直接拼接。这样做的目的是拼接字段以后经过压缩，解压时可压缩字段2可以按照各字段的字节长度对齐。
情况二，若可压缩字段2中只有一个变长的字段(varchar，varbinary，text，image)，则调整字段的顺序，把变长的字段放到可压缩字段2的最后，然后拼接。这样做的目的是拼接字段以后经过压缩，解压时可压缩字段2的前面定长的字段可以按照各字段的字节长度对齐，剩下的内容是变长字段的内容。
情况三，若可压缩字段2中有两个或两个以上的变长的字段(varchar，varbinary，text，image)，则需要对变长的字段编码，如在该变长的字段前面加上一个或几个字节记录本字段的长度，然后拼接。这样做的目的是以后拼接字段经过压缩，解压时可压缩字段2中的定长的字段可以按照各字段的字节长度对齐，变长字段按照编码规则对齐自己的内容。
对于如上所述的DWDM网管系统的历史15分钟性能数据的表，经过步骤402和步骤403的设置处理后，四个性能值字段作为可压缩字段2，因性能值都是固定4个字节，所以可以直接拼接成一个字段。拼接示例如下：
如果性能1的值为0x00000000，性能2的值为0x11111111，性能3的值为0x22222222，性能4的值为0x33333333，则直接拼接生成的字段的内容是0x00000000111111112222222233333333。
步骤404，将拼接字段3压缩，生成新字段4，并取代拼接字段3。
其中，对拼接后的字段3采用压缩算法压缩，压缩生成的新字段4的字段类型与压缩算法有关，一般是varbinary，并使用压缩生成的新字段4取代拼接后的字段3。表最终设置如图3所示。
对于如上所述的DWDM网管系统的历史15分钟性能数据的表，经过步骤401至步骤404设置处理后，拼接性能是固定16个字节，实验证明：性能类数据采用RFC(Request For Comments，请求注解)1952(gzip format)压缩算法的可压缩比在10∶1以上，拼接性能压缩在4个字节内应该没有问题，压缩后的性能字段可以设置为“VARBINARY(4)*”。新的表设置可以为：
时间 INT
网元ID INT
槽位 SMALLINT
性能号 SMALLINT
压缩性能 VARBINARY(4)*
其中“*”表示VARBINARY(4)中的4表示字段长度是4个字节。
通过步骤401至步骤404处理后，实现改进前后的数据空间比例是7∶4以上，即最少节约了42％的空间。
图5所示为图1的一个历史性能数据方面的实施例。结合图1、4所示。
对于图1中的DWDM网管系统的历史15分钟性能数据的表，经过图4所示的步骤402的设置处理后，四个性能值字段作为可压缩字段2，它们连续并且排在非可压缩字段1的后面。
图6所示为图2的一个历史性能数据方面的实施例。结合图2、4所示。
对于图2中的DWDM网管系统的历史15分钟性能数据的表，经过图4所示的步骤403的设置处理后，四个性能值字段作为可压缩字段2，因性能值都是固定4个字节，可以直接拼接成一个字段，成为拼接字段。
图7所示为图3的一个历史性能数据方面的实施例。结合图3、4所示。
对于图3中的DWDM网管系统的历史15分钟性能数据的表，经过图4所示的步骤404的设置处理后，对拼接字段进行压缩处理，生成新字段，取代拼接字段作为压缩后的字段。
采用本发明提出的把数据库表的可压缩字段先拼接后压缩的方法，能够节省数据库空间，大大减少资源耗费，有效提高查询和修改速度，且不影响数据库数据的检索。
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (9)
1、一种提高网管系统数据处理效率的方法，包括数据库数据压缩的步骤，其特征在于，所述数据压缩的步骤又包括：
步骤一，把数据库表的字段分为可压缩字段和非可压缩字段；
步骤二，调整所述可压缩字段和所述非可压缩字段的顺序；
步骤三，拼接所述可压缩字段生成拼接字段，并取代所述可压缩字段；
步骤四，对所述拼接字段进行压缩处理生成新字段，并取代所述拼接字段。
2、根据权利要求1所述的提高网管系统数据处理效率的方法，其特征在于，所述步骤一中，作为所述可压缩字段的数据库表的字段不作为查询限制条件、排序条件、计算条件、分组条件和所述数据库表之外的表的外键。
3、根据权利要求1所述的提高网管系统数据处理效率的方法，其特征在于，所述步骤二中，所述调整顺序为：所有所述可压缩字段连续起来并排在所有所述非可压缩字段的后面。
4、根据权利要求1、2或3所述的提高网管系统数据处理效率的方法，其特征在于，所述步骤三中，当所述可压缩字段包含变长字段的个数不同时，拼接所述可压缩字段的方法可采用如下拼接方式之一，包括：
方式一，当所述可压缩字段中没有变长字段时，直接拼接；或
方式二，当所述可压缩字段中只有一个变长字段时，调整所述可压缩字段的顺序，把该变长字段放到所述可压所字段的最后，然后拼接；或
方式三，当所述可压缩字段中有两个或多个变长字段时，对该变长字段编码后再拼接。
5、根据权利要求4所述的提高网管系统数据处理效率的方法，其特征在于，通过在该变长字段前面加上一个或多个记录该变长字段的长度的字节对该变长字段进行编码。
6、根据权利要求1、2、3或5所述的提高网管系统数据处理效率的方法，其特征在于，所述步骤四中，所述新字段的字段类型根据对所述拼接字段进行压缩处理时采用的压缩算法确定。
7、根据权利要求6所述的提高网管系统数据处理效率的方法，其特征在于，所述新字段的字段类型为是varbinary。
8、根据权利要求1、2、3或5所述的提高网管系统数据处理效率的方法，其特征在于，所述步骤四中，还包括一采用RFC1952压缩算法对所述拼接字段进行压缩处理的步骤。
9、根据权利要求1、2、3或5所述的提高网管系统数据处理效率的方法，其特征在于，所述网管系统适用于密集波分复用网管系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2006100600720A CN100544277C (zh) | 2006-03-25 | 2006-03-25 | 一种提高网管系统数据处理效率的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2006100600720A CN100544277C (zh) | 2006-03-25 | 2006-03-25 | 一种提高网管系统数据处理效率的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101043353A true CN101043353A (zh) | 2007-09-26 |
| CN100544277C CN100544277C (zh) | 2009-09-23 |
Family
ID=38808584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2006100600720A Expired - Fee Related CN100544277C (zh) | 2006-03-25 | 2006-03-25 | 一种提高网管系统数据处理效率的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN100544277C (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102298634A (zh) * | 2011-09-09 | 2011-12-28 | 厦门市美亚柏科信息股份有限公司 | 一种Sqlite删除记录结构重组方法 |
| CN102456110A (zh) * | 2010-10-26 | 2012-05-16 | 镇江精英软件科技有限公司 | 把字段信息合并加密存储在特定字段中实现信息安全保存的方法 |
| CN103218364A (zh) * | 2012-01-19 | 2013-07-24 | 阿里巴巴集团控股有限公司 | 一种搜索方法和系统 |
| CN103379136A (zh) * | 2012-04-17 | 2013-10-30 | 中国移动通信集团公司 | 一种日志采集数据压缩方法、解压缩方法及装置 |
| CN105812094A (zh) * | 2016-03-07 | 2016-07-27 | 电信科学技术研究院 | 一种数据处理的方法、装置、终端及接入设备 |
| CN107832345A (zh) * | 2017-10-16 | 2018-03-23 | 千寻位置网络有限公司 | 基站数据唯一数字化标识的方法 |
-
2006
- 2006-03-25 CN CNB2006100600720A patent/CN100544277C/zh not_active Expired - Fee Related
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102456110A (zh) * | 2010-10-26 | 2012-05-16 | 镇江精英软件科技有限公司 | 把字段信息合并加密存储在特定字段中实现信息安全保存的方法 |
| CN102298634A (zh) * | 2011-09-09 | 2011-12-28 | 厦门市美亚柏科信息股份有限公司 | 一种Sqlite删除记录结构重组方法 |
| CN103218364A (zh) * | 2012-01-19 | 2013-07-24 | 阿里巴巴集团控股有限公司 | 一种搜索方法和系统 |
| CN103218364B (zh) * | 2012-01-19 | 2016-05-04 | 阿里巴巴集团控股有限公司 | 一种搜索方法和系统 |
| CN103379136A (zh) * | 2012-04-17 | 2013-10-30 | 中国移动通信集团公司 | 一种日志采集数据压缩方法、解压缩方法及装置 |
| CN103379136B (zh) * | 2012-04-17 | 2017-02-22 | 中国移动通信集团公司 | 一种日志采集数据压缩方法、解压缩方法及装置 |
| CN105812094A (zh) * | 2016-03-07 | 2016-07-27 | 电信科学技术研究院 | 一种数据处理的方法、装置、终端及接入设备 |
| CN105812094B (zh) * | 2016-03-07 | 2019-08-02 | 电信科学技术研究院 | 一种数据处理的方法、装置、终端及接入设备 |
| CN107832345A (zh) * | 2017-10-16 | 2018-03-23 | 千寻位置网络有限公司 | 基站数据唯一数字化标识的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN100544277C (zh) | 2009-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101043353A (zh) | 一种提高网管系统数据处理效率的方法 | |
| CN1949670A (zh) | 一种数据压缩及解压缩方法 | |
| US8791843B2 (en) | Optimized bitstream encoding for compression | |
| CN110518917B (zh) | 基于Huffman编码的LZW数据压缩方法及系统 | |
| CN101040444A (zh) | 自适应压缩方案 | |
| CN1731364A (zh) | 数据库备份数据的压缩和检索方法 | |
| CN1928850A (zh) | 基于数据字典的数据压缩方法、装置 | |
| CN101060338A (zh) | 一种卷积码速率匹配的方法和装置 | |
| US6919826B1 (en) | Systems and methods for efficient and compact encoding | |
| CN101061473A (zh) | 低复杂度非线性滤波器 | |
| CN1859174A (zh) | 通信网络中远程设备的升级方法及其系统 | |
| CN101079890A (zh) | 一种生成特征码确定状态机的方法和装置 | |
| CN1748369A (zh) | 用于文本数据压缩的方法和设备 | |
| CN1951017A (zh) | 一种顺序压缩/解压缩数据的方法及装置 | |
| CN1639971A (zh) | 表面声波器件 | |
| CN103731154A (zh) | 一种基于语义分析的数据压缩算法 | |
| CN1904835A (zh) | 一种计算机软件更新的方法 | |
| CN1129232C (zh) | 一种对数据库中的数据进行压缩与解压缩的方法 | |
| CN1492359A (zh) | 一种多关键字自动状态机查找匹配方法 | |
| CN101042691A (zh) | 用以处理一整数转换的系统、装置、方法及计算机可读取媒体 | |
| CN1645750A (zh) | 一种变长码的编码和解码方法 | |
| CN1845535A (zh) | 一种消息匹配的方法及系统 | |
| CN1115782C (zh) | 一种适用于宽字符集文档的压缩方法 | |
| CN101075308A (zh) | 一种编辑电子邮件的方法 | |
| CN1859268A (zh) | 一种后台进行正反向解析报文的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090923 Termination date: 20150325 |
|
| EXPY | Termination of patent right or utility model |