CN101790257A - 一种存储数据的方法和网管系统 - Google Patents
一种存储数据的方法和网管系统 Download PDFInfo
- Publication number
- CN101790257A CN101790257A CN200910077827A CN200910077827A CN101790257A CN 101790257 A CN101790257 A CN 101790257A CN 200910077827 A CN200910077827 A CN 200910077827A CN 200910077827 A CN200910077827 A CN 200910077827A CN 101790257 A CN101790257 A CN 101790257A
- Authority
- CN
- China
- Prior art keywords
- performance
- index
- database
- data
- acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种存储数据的方法和网管系统,所述方法包括以下步骤:性能数据库根据不同的采集粒度建立与所述采集粒度对应的性能表,并建立索引;性能服务器从网元采集性能数据,并将所述性能数据存储到所述性能表对应位置,并生成索引;当客户端请求查看性能报表或性能数据时,所述性能服务器对所述性能表进行查询,并将查询结果发送给所述客户端。本发明中,通过在性能数据库中建立不同采集粒度的性能表,并建立索引,去掉不必要的字段和冗余信息,从而节省了存储空间,对海量的性能数据进行存储时,减少了高速存储空间的使用,提高了速度,节约了存储资源和CPU资源。
Description
技术领域
本发明涉及信息技术领域,特别是涉及一种存储数据的方法和网管系统。
背景技术
随着通讯技术的迅速发展,电信网络也日益复杂,为了随时掌握电信网络的运行状况,及时发现电信网络的问题,不断优化电信网络的性能和服务,从而产生了网管系统。性能管理是网管系统为电信网和电信业务提供的主要管理功能,为了监视网络的性能,网管系统的性能管理需要从所管理的设备侧(即网元)采集性能数据,然后存入性能数据库中,供后续的查询和统计分析使用。网管系统中,需要将网管系统所管理网元的性能数据保存起来,并保存3个月,对于3个月之前保存的数据,还需要保存在磁带等低速设备上。随着通信技术的发展,特别是TD-SCDMA(Time Division-SynchronizedCDMA,时分同步码分多址接入)技术的发展,网元性能数据和性能指标越来越多,即需要存储大量的数据。
现有技术中,通过在性能数据库中建立性能表,并创建索引,网管系统将从网元采集的性能数据保存到性能数据库中的性能表中,并生成索引。其中,性能表中的字段包括管理对象标识、采集开始时间、采集结束时间和若干性能指标,索引字段包括管理对象标识、采集开始时间、采集结束时间。例如,表1所示的某小区的性能表。
表1
DN | BEGIN_TIME | END_TIME | R002_256 | R002_257 | R002_258 |
RAN=18,rRnc=18,rNodeB=6,rCell=16 | 2008-09-0905:00:00 | 2008-09-0905:15:00 | 8 | 8 | 8 |
在性能数据库存储如表1所示的性能表,从表1中可以看出,性能数据库存储了如下性能数据:
管理对象:RAN(Radio Access Network,无线接入网)=18,rRnc(RadioNetwork Controller,无线网络控制器)=18,rNodeB(基站)=6,rCell(小区)=16,表明管理对象是小区16(属于Rnc 18),时间范围具体为2008-09-0905:00:00至2008-09-0905:15:00;性能指标具体为R002_256(性能指标选项)的值为8、R002_257(性能指标选项)的值为8、R002_258(性能指标选项)的值为8;即表示小区16(属于Rnc 18)在2008-09-0905:00:00至2008-09-0905:15:00这15分钟内,R002_256的值为8、R002_257的值为8、R002_258的值为8。
通过DN来标识网元管理对象,一个小区,使用BEGIN_TIME(开始时间)和END_TIME(结束时间)来标识一条性能数据对应的时间范围,其他字段(R002_256、R002_257、R002_258)都表示具体的性能指标,用来存储性能指标的数值。其中,DN是网管领域通用的对象标识方式。例如,表1所示的DN为RAN=18,rRnc=18,rNodeB=6,rCell=16,编号为18的rnc下,编号为6的基站下,编号为16的小区。
基于上面的分析,目前使用性能数据库存储数据时存在如下缺点:存储性能指标时消耗的空间很大,而性能数据的插入和性能数据的查询,均涉及大量磁盘I/O,使得速度相应降低,对CPU资源的销耗也随之增大。
发明内容
本发明提供一种存储数据的方法和网管系统,以节省网管系统的存储空间。
为了达到上述目的,本发明提出了一种存储数据的方法,应用于包括性能数据库、性能服务器、客户端的网管系统中,所述方法包括以下步骤:
所述性能数据库根据不同的采集粒度建立与所述采集粒度对应的性能表,并建立索引;
所述性能服务器从网元采集性能数据,并将所述性能数据存储到所述性能表对应位置,并生成索引;
当所述客户端请求查看性能报表或性能数据时,所述性能服务器对所述性能表进行查询,并将查询结果发送给所述客户端。
优选的,所述性能表包括:管理对象定位字段、时间字段、性能指标字段;
所述索引为复合索引,包括:时间字段、管理对象定位字段。
优选的,所述时间字段包括开始时间或结束时间。
优选的,所述性能数据库根据不同的采集粒度建立与所述采集粒度对应的性能表,并建立索引包括:
在所述性能数据库中建立采集粒度为1分钟的性能表;和在所述性能数据库中建立采集粒度为5分钟的性能表;和在所述性能数据库中建立采集粒度为15分钟的性能表;和在所述性能数据库中建立采集粒度为30分钟的性能表;和在所述性能数据库中建立采集粒度为60分钟的性能表;
并为每个性能表建立复合索引,所述复合索引的字段包括:时间字段、管理对象定位字段。
优选的,所述性能数据库根据不同的采集粒度建立与所述采集粒度对应的性能表,并建立索引之后,还包括:
所述性能服务器在所述性能数据库中设置内存变量;
所述性能服务器利用所述内存变量记录所述性能表是否为空表;
当所述性能表是空表时,所述性能服务器在对所述性能数据库进行性能统计时对所述空表不进行访问。
本发明提出了一种网管系统,包括:性能数据库、性能服务器、客户端,其中:
所述性能数据库,用于根据不同的采集粒度建立与所述采集粒度对应的性能表,并建立索引;
所述性能服务器,用于从网元采集性能数据,并将所述性能数据存储到所述性能数据库中性能表对应位置,并生成索引;在所述客户端请求查看性能报表或性能数据时,对所述性能表进行查询,并将查询结果发送给所述客户端;
所述客户端,用于对所述性能服务器发出查看性能报表或性能数据的请求。
优选的,所述性能表包括:管理对象定位字段、时间字段、性能指标字段;
所述索引为复合索引,包括:时间字段、管理对象定位字段;
所述时间字段包括开始时间或结束时间。
优选的,所述性能数据库包括:
建立模块,用于在所述性能数据库中建立采集粒度为1分钟的性能表;和在所述性能数据库中建立采集粒度为5分钟的性能表;和在所述性能数据库中建立采集粒度为15分钟的性能表;和在所述性能数据库中建立采集粒度为30分钟的性能表;和在所述性能数据库中建立采集粒度为60分钟的性能表;
并用于为每个性能表建立复合索引,所述复合索引的字段包括:时间字段、管理对象定位字段。
优选的,所述性能服务器包括:
采集模块,用于从网元采集性能数据,并将所述性能数据存储到所述性能表对应位置,并生成索引;
业务处理模块,用于当所述客户端请求查看性能报表或性能数据时,对所述性能表进行查询时,并将查询结果发送给所述客户端。
优选的,所述性能服务器还包括:
设置模块,用于在所述性能数据库中设置内存变量;
记录模块,用于利用所述设置模块设置的内存变量记录所述性能表是否为空表;
所述业务处理模块还用于当所述记录模块记录的性能表是空表时,在对所述性能数据库进行性能统计时对所述空表不进行访问。
与现有技术相比,本发明具有以下优点:本发明中,通过在性能数据库中建立不同采集粒度的性能表和索引,去掉不必要的字段和冗余信息,从而节省了存储空间,对海量的性能数据进行存储时,减少了高速存储空间的使用,并相应减少了高速磁盘读写的处理时间,提高了速度,节约了存储资源和CPU资源。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对本发明或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些附图,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提出的一种存储数据的方法流程图;
图2为本发明提出的另一种存储数据的方法流程图;
图3为本发明提出的一种网管系统的结构图。
具体实施方式
下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的仅仅是本发明一部分,而不是全部的。基于本发明,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他发明,都属于本发明保护的范围。
现有技术的性能数据库在存储性能表和索引时,对于每条性能数据,同时保存BEGIN_TIME(开始时间)和END_TIME(结束时间),而没有充分挖掘性能表和索引中BEGIN_TIME和END_TIME之间的关系,其中,对于每一条记录,BEGIN_TIME和END_TIME之间是存在关系的,即两个时间的时间差只能是1分钟、5分钟、15分钟、30分钟、1小时,除此之外,不可能为其它的数值。通过使用BEGIN_TIME和END_TIME之间的关系,在性能表和索引中只保存其中的一项就可以了,从而节省大量的存储空间。
现有技术中采用DN标识性能数据对应的管理对象时,DN信息很丰富,占用空间也很大,而其中大部分信息对于性能数据是冗余的,在设置存储性能表和索引时,通过使用管理对象定位字段来标识管理对象,代替现有技术中的DN标识,而该管理对象定位字段是剔除了冗余信息的标识方式,通过减少甚至删除冗余信息,从而节省大量的存储空间。例如,对于DN,RAN=18,rRnc=18,rNodeB=6,rCell=16,其中的“rCell”表明这是个小区,但小区性能数据都是保存在专门的小区性能表中的,即CellPerf表中保存的都是小区性能数据,CarrierPerf表中保存的都是载频性能数据,在DN中保存rCell信息,是冗余了;同样的,在TD-SCDMA系统中,RAN与Rnc有着一一对应关系的,RAN为冗余信息;一个Rnc控制多个基站,每个基站对应的控制多个小区,当获取到Rnc标识和小区的标识后(小区标识在一个rnc内是唯一的),便可以知道基站的标识,此时,基站的信息是冗余信息。通过删除上述的冗余信息,从而节省大量的存储空间。同样的,对于其它类型的网元(例如路由器),现有技术的DN标识中也存在大量的冗余信息,通过使用删除了冗余信息的管理对象定位字段代替DN标识,从而节省了大量的存储空间。
本发明提出的一种存储数据的方法,应用于包括性能数据库、性能服务器、客户端的网管系统中,如图1所示,所述方法包括以下步骤:
步骤S101,所述性能数据库根据不同的采集粒度建立与所述采集粒度对应的性能表,并建立索引;
步骤S102,所述性能服务器从网元采集性能数据,并将所述性能数据存储到所述性能表对应位置,并生成索引;
步骤S 103,当所述客户端请求查看性能报表或性能数据时,所述性能服务器对所述性能表进行查询,并将查询结果发送给所述客户端。
本发明提出的另一种存储数据的方法,如图2所示,包括以下步骤:
步骤S201,在性能数据库中根据不同的采集粒度分别建立性能表。其中,为每种类性的性能数据分别建立5中不同采集粒度的性能表,并根据管理对象类型和采集粒度对性能表进行命名。
在TD-SCDMA系统中,只支持5种性能指标采集粒度,即1分钟、5分钟、15分钟、30分钟、1小时5种采集粒度,根据上述的5个采集粒度,为每类性能数据分别建立5张性能表,每张性能表中保存的是指定采集粒度的性能指标。在每张性能表中,均需建立管理对象定位字段、时间字段、性能指标字段,该时间字段为选择开始时间和结束时间中的一种,当时间字段为开始时间时,通过使用性能表的采集粒度,可以获取到结束时间(开始时间与采集粒度的和),而当时间字段为结束时间时,通过使用性能表的采集粒度,也可以获取到开始时间(结束时间与采集粒度的差),即在使用时间字段时只需要使用开始时间或结束时间中的一种,而采集粒度可以从表名知道。例如,某个表存储的性能数据均是采集粒度为15分钟的性能数据,当时间字段为始时间时,即BEGIN_TIME=“2008-09-0905:00:00”,可根据表名和BEGIN_TIME,推理得END_TIME=“2008-09-0905:15:00”,此时不需要在数据库中保存END_TIME字段,同样的,当时间字段为结束时间时,即END_TIME=“2008-09-0905:15:00”,可根据表名和END_TIME,推理得BEGIN_TIME=“2008-09-0905:00:00”,此时不需要在数据库中保存BEGIN_TIME字段。本发明中,均以时间字段为开始时间为例进行说明。
例如,表CellPerf_5、表CellPerf_15、表CarrierPerf_30分别为采集粒度为5分钟、15分钟、30分钟的性能表。同样的,在性能数据库中还将设置采集粒度为1分钟和60分钟的性能表,设置的字段与上述的表CellPerf_5、表CellPerf_15、表CarrierPerf_30相同,在此不再赘述。
表CellPerf_5
Rncid | cellid | BEGIN_TIME | R002_256 | R002_257 | R002_258 |
18 | 16 | 2008-09-0904:50:00 | 5 | 5 | 5 |
18 | 16 | 2008-09-0904:55:00 | 5 | 5 | 5 |
表CellPerf_15
Rncid | cellid | BEGIN_TIME | R002_256 | R002_257 | R002_258 |
18 | 16 | 2008-09-0905:00:00 | 5 | 5 | 5 |
18 | 16 | 2008-09-0905:15:00 | 5 | 5 | 5 |
表CarrierPerf_30
Rncid | Cellid | Carrierid | BEGIN_TIME | R008_001 | R008_002 | R008_003 |
18 | 16 | 16 | 2008-09-0905:30:00 | 5 | 5 | 5 |
18 | 16 | 16 | 2008-09-0906:00:00 | 5 | 5 | 5 |
其中,表CellPerf_5和表CellPerf_15中保存的是小区性能数据,表CarrierPerf_30中保存的是载频性能数据。其中,rncid为网元标识,cellid为小区标识,carrierid为载频标识,rncid和cellid构成小区的管理对象定位字段,rncid、cellid、carrierid构成载频的管理对象定位字段,BEGIN_TIME为时间字段,R002_256、R002_257、R002_258、R008_001、R008_002、R008_003为性能指标字段,本发明中,以网管系统存储从网元Rnc采集到的性能数据为例进行说明,性能数据包括但不限于小区和载频,在网管系统中,需要根据管理对象类型和采集粒度分别建立性能表,即为小区和载频分别建立性能表。
步骤S202,在性能数据库中根据上述的性能表建立索引。
其中,该索引为复合索引,复合索引字段包括:时间字段、管理对象定位字段,该时间字段为开始时间或结束时间中的一种。
步骤S203,性能服务器从网元采集性能数据和性能指标。
其中,网元是网络单元,是能独立完成一种或几种功能的设备,包括但不限交换机、路由器、Rnc等,本发明中,以该网元为Rnc为例。网元获取该网元的性能数据和相应性能指标,并将上述的信息发送给网管系统中的性能服务器。将该信息发送给网管系统的方式包括但不限于:将性能数据和相应性能指标写入到文件中,并通过文件的方式发送给网管系统;或将性能数据和相应性能指标写入到消息中,通过消息的方式发送给网管系统。
步骤S204,性能服务器将性能数据和相应性能指标写入到性能数据库的性能表对应位置处,并生成索引。
在网管系统的预定位置处,设置一缓冲区,从网元发送的性能数据和相应性能指标均需存储在该缓冲区中,在适当的条件下,将缓冲区中的性能数据和相应性能指标信息写入到性能表对应位置、生成索引,并清空该缓冲区,继续接收来自网元的数据。其中,该适当的条件为:在预设的时间内,缓冲区中存储的数据量到达预设的阈值,则需要将数据存储到性能数据库中;或,缓冲区中存储的数据量没有到达预设的阈值,但到达了预设的时间,此时,也需要将数据存储到性能数据库中。
S205,客户端请求查看性能报表或者性能数据时,性能服务器查询性能表,并将查询结果发送给客户端。其中,将查询结果发送给客户端的方式包括但不限于:通过将查询结果写入到文件中,并通过文件的方式发送给客户端;或通过将查询结果写入到消息中,并通过消息的方式发送给客户端。
其中,由于本发明中只使用开始时间和结束时间中的一种,现有的查询方式也发生了变化,例如:对于现有技术的如下查询方式:
Select DN,SUM(R002_256),SUM(R002_257)from perf
where begin_time>to_date(′2008-09-0105:00:00′,′yyyy-mm-dd hh24:mi:ss′)
and end_time<to_date(′2008-10-0105:00:00′,′yyyy-mm-dd hh24:mi:ss′)
group by DN
即查询2008-09-0105:00:00到2008-10-0105:00:00之间的性能指标,这些指标可能包括5分钟、15分钟等多个粒度。(一般的实施方法:一个管理对象在任意时间段内都只会上报一个粒度的性能数据。例如,如果上报了2008-09-0105:00:00~2008-09-0105:15:00这一条15分钟粒度的性能数据,则不可能再上报2008-09-0105:00:00~2008-09-0105:05:00这条5分钟粒度的性能数据,以便减轻流量压力,网管可以进行组合,例如,将3个连续5分钟粒度的性能数据组合成一个15分钟粒度的性能数据)。
本发明中的查询方式为对上述的查询方式进行修改,具体调整为如下的5个sql,并合并结果。其中,sql 1是采集粒度为60分钟的性能数据的查询方式,sql 2是采集粒度为30分钟的性能数据的查询方式,sql 3是采集粒度为15分钟的性能数据的查询方式,sql 4是采集粒度为5分钟的性能数据的查询方式,sql 5是采集粒度为1分钟的性能数据的查询方式。
sql 1
Select rncid,cellid,SUM(R002_256),SUM(R002_257)from perf_60
where begin_time>to_date(′2008-09-0105:00:00′,′yyyy-mm-dd hh24:mi:ss′)
and begin_time<to_date(′2008-10-0104:00:00′,′yyyy-mm-dd hh24:mi:ss′)
group by rncid,cellid
sql 2
Select rncid,cellid,SUM(R002_256),SUM(R002_257)from perf_30
where begin_time>to_date(′2008-09-0105:00:00′,′yyyy-mm-dd hh24:mi:ss′)
and begin_time<to_date(′2008-10-0104:30:00′,′yyyy-mm-dd hh24:mi:ss′)
group by rncid,cellid
sql 3
Select rncid,cellid,SUM(R002_256),SUM(R002_257)from perf_15
where begin_time>to_date(′2008-09-0105:00:00′,′yyyy-mm-dd hh24:mi:ss′)
and begin_time<to_date(′2008-10-0104:45:00′,′yyyy-mm-dd hh24:mi:ss′)
group by rncid,cellid
sql 4
Select rncid,cellid,SUM(R002_256),SUM(R002_257)from perf_5
where begin_time>to_date(′2008-09-0105:00:00′,′yyyy-mm-dd hh24:mi:ss′)
and begin_time<to_date(′2008-10-0104:55:00′,′yyyy-mm-dd hh24:mi:ss′)
group by rncid,cellid
sql 5
Select rncid,cellid,SUM(R002_256),SUM(R002_257)from perf_1
where begin_time>to_date(′2008-09-0105:00:00′,′yyyy-mm-dd hh24:mi:ss′)
and begin_time<to_date(′2008-10-0104:59:00′,′yyyy-mm-dd hh24:mi:ss′)
group by rncid,cellid
在网管系统中,支持采集粒度为1分钟、5分钟、15分钟、30分钟、1小时等5种采集粒度,在实际应用中,一般采集的都是15分钟粒度的性能数据,当采集粒度太小,会影响主设备性能,当采集粒度太大,则不能确切了解主设备某段短时间的性能,当性能下降时,不利于问题的定位,使得采集粒度一般设置为15分钟,而不会采集粒度为1分钟、5分钟、30分钟、60分钟的性能数据,只有在定位某些问题或者其他特殊情况下,才对某些性能指标采集的采集粒度进行修改,修改为非15分钟的采集粒度。正因为大多数情况下,采集的都是15分钟粒度的性能数据,对于非15分钟的采集粒度的表,有的是空表,(即表中没有任何数据库记录,可能是一直没有插入过记录,或者是曾经插入过数据库记录,但因为时间太久,失去保存价值,而已经全部被删除了)。通过在性能数据库中设置内存变量,记录各表是否为空表,当是空表时,则性能服务器在进行性能统计时则不需要访问空表,其中,该内存变量需要根据性能数据库记录的插入或删除操作而进行更新。
仍以上面的例子为例,如果性能服务器发现1分钟、5分钟、30分钟、1小时的采集粒度对应的表都为空表,则实际查询时只需要运行sql 3(对应15分钟粒度)即可,sql 1、sql 2、sql 4、sql 5不需要运行。
如表3所示,为现有技术的性能表,与表3相对应的,表4、表5、表6为本发明的性能表,表4为采集粒度为5分钟的性能表,表5为采集粒度为15分钟的性能表,表6为采集粒度为30分钟的性能表。
表Cellperf(表3)
DN | BEGIN_TIME | END_TIME | R002_256 | R002_257 | R002_258 |
RAN=18,rRnc=18,rNodeB=6,rCell=16 | 2008-09-0905:00:00 | 2008-09-0905:05:00 | 5 | 5 | 5 |
RAN=18,rRnc=18,rNodeB=6,rCell=16 | 2008-09-0905:05:00 | 2008-09-0905:10:00 | 5 | 5 | 5 |
RAN=18,rRnc=18,rNodeB=6,rCell=16 | 2008-09-0905:10:00 | 2008-09-0905:15:00 | 5 | 5 | 5 |
RAN=18,rRnc=18,rNodeB=6,rCell=16 | 2008-09-0905:15:00 | 2008-09-0905:30:00 | 15 | 15 | 15 |
RAN=18,rRnc=18,rNodeB=6,rCell=16 | 2008-09-0905:30:00 | 2008-09-0906:00:00 | 30 | 30 | 30 |
表CellPerf_5(表4)
Rncid | Cellid | BEGIN_TIME | R002_256 | R002_257 | R002_258 |
18 | 16 | 2008-09-0905:00:00 | 5 | 5 | 5 |
Rncid | Cellid | BEGIN_TIME | R002_256 | R002_257 | R002_258 |
18 | 16 | 2008-09-0905:05:00 | 5 | 5 | 5 |
18 | 16 | 2008-09-0905:10:00 | 5 | 5 | 5 |
表CellPerf_15(表5)
Rncid | Cellid | BEGIN_TIME | R002_256 | R002_257 | R002_258 |
18 | 16 | 2008-09-0905:15:00 | 15 | 15 | 15 |
表CellPerf_30(表6)
Rncid | Cellid | BEGIN_TIME | R002_256 | R002_257 | R002_258 |
18 | 16 | 2008-09-0905:30:00 | 30 | 30 | 30 |
通过采用本发明所示的性能表对性能指标进行存储时,将节省大量的存储空间。例如,在某市中,共有20个Rnc(网元),8000小区(性能数据类型),2.4万个载频(性能数据类型),8000个基站(性能数据类型)。一般情况下,20个Rnc在15分钟内产生20条性能数据,对应20条性能数据库记录。8000个小区,每个小区在15分钟内产生一条性能数据,而小区的性能指标很多,一个表放不下,一般根据业务需要将其放在多个表中,假定将小区的性能指标放在7个表中,以此为例,则对应8000×7=56000条性能数据库记录。2.4万个载频,每个载频在15分钟内产生一条性能数据,对应一条数据库记录,则为2.4万条数据库记录。8000个基站,每个基站在15分钟内产生1条性能数据,对应一条数据库记录,则为0.8万条数据库记录。将上述数据累加,则得到8.8万数据库记录(5.6万小区记录+2.4万载频记录+0.8万基站记录=8.8万),即15分钟产生8.8万条数据库记录。1小时产生8.8×4万条记录,3个月(以90天计)内则产生76032万条记录(8.8万×4×24×90=76032万)。而在Oracle数据库中,一个Date类型用7个字节储存,此时采用本发明的方法可以节省空间:76032万*7=5.3G。假定在oracle数据库中使用B-Tree索引,对于索引也会节省相当的空间,即共节省的存储空间约为:5.3G×2=10.6G。
上述节省的存储空间为没有使用结束时间字段引起的,而对于DN项的简化,其节省的存储空间具体为:现有技术中,RAN=18,rRnc=18,rNodeB=6,rCell=16,Oracle存储这个字符串时需要32个字节,而本发明中,通过采用2个int类型字段来标识,则存储RAN=18,rRnc=18,rNodeB=6,rCell=16只需要4个字节就可以了,即Rncid的值18,占2个字节,cellid的值16,占2个字节,共4个字节。即共节省28个字节,而每条记录都节省28个字节时,则共可以节省76032万*28=21.3G。同样假定在oracle数据库中使用B-Tree索引,则对于索引节省的空间也约为21.3G。
综上所述,采用本发明的方法,可以节省的空间约为53.2G(10.6+21.3+21.3)高速存储空间,同时也意味着每3个月少进行53G以上的数据读取和写入,将带来可观的资源节省(包括CPU、内存和磁盘)。
本发明还提出的一种网管系统,如图3所示,包括:性能数据库31、性能服务器32和客户端33,其中:
该性能数据库31用于根据不同的采集粒度建立与该采集粒度对应的性能表,并建立索引。
其中,性能表包括:管理对象定位字段、时间字段、性能指标字段;索引为复合索引,包括:时间字段、管理对象定位字段;时间字段包括开始时间或结束时间。
其中,该性能数据库31包括:
建立模块311,用于在性能数据库31中建立采集粒度为1分钟的性能表;和在性能数据库31中建立采集粒度为5分钟的性能表;和在性能数据库31建立中采集粒度为15分钟的性能表;和在性能数据库31中建立采集粒度为30分钟的性能表;和在性能数据库31中建立采集粒度为60分钟的性能表;
并用于根据性能表建立复合索引,复合索引的字段包括:时间字段、管理对象定位字段。
该性能服务器32用于从网元采集性能数据,并将性能数据存储到性能数据库31中性能表的对应位置,并生成索引;在客户端33请求查看性能报表或性能数据时,对性能表进行查询,并将查询结果发送给客户端。
其中,该性能服务器32包括:
设置模块321,用于在性能数据库中设置内存变量。
记录模块322,用于利用设置模块321设置的内存变量记录性能表是否为空表。
采集模块323,用于从网元采集性能数据,并将性能数据存储到性能表对应位置,并生成索引。
业务处理模块324,用于当客户端请求查看性能报表或性能数据时,对性能表进行查询,并将查询结果发送给客户端。
其中,业务处理模块324还用于当记录模块322记录的性能表是空表时,在对性能数据库进行性能统计时对空表不进行访问。
该客户端33用于对性能服务器32发出查看性能报表或性能数据的请求。
其中,本发明装置的各个模块可以集成于一体,也可以分离部署。上述模块可以合并为一个模块,也可以进一步拆分成多个子模块。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可以通过硬件实现,也可以可借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明的方法。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视本发明的保护范围。
Claims (10)
1.一种存储数据的方法,应用于包括性能数据库、性能服务器、客户端的网管系统中,其特征在于,所述方法包括以下步骤:
所述性能数据库根据不同的采集粒度建立与所述采集粒度对应的性能表,并建立索引;
所述性能服务器从网元采集性能数据,并将所述性能数据存储到所述性能表对应位置,并生成索引;
当所述客户端请求查看性能报表或性能数据时,所述性能服务器对所述性能表进行查询,并将查询结果发送给所述客户端。
2.如权利要求1所述的方法,其特征在于,所述性能表包括:管理对象定位字段、时间字段、性能指标字段;
所述索引为复合索引,包括:时间字段、管理对象定位字段。
3.如权利要求2所述的方法,其特征在于,所述时间字段包括开始时间或结束时间。
4.如权利要求1-3任一项所述的方法,其特征在于,所述性能数据库根据不同的采集粒度建立与所述采集粒度对应的性能表,并建立索引包括:
在所述性能数据库中建立采集粒度为1分钟的性能表;和在所述性能数据库中建立采集粒度为5分钟的性能表;和在所述性能数据库中建立采集粒度为15分钟的性能表;和在所述性能数据库中建立采集粒度为30分钟的性能表;和在所述性能数据库中建立采集粒度为60分钟的性能表;
并为每个性能表建立复合索引,所述复合索引的字段包括:时间字段、管理对象定位字段。
5.如权利要求4所述的方法,其特征在于,所述性能数据库根据不同的采集粒度建立与所述采集粒度对应的性能表,并建立索引之后,还包括:
所述性能服务器在所述性能数据库中设置内存变量;
所述性能服务器利用所述内存变量记录所述性能表是否为空表;
当所述性能表是空表时,所述性能服务器在对所述性能数据库进行性能统计时对所述空表不进行访问。
6.一种网管系统,其特征在于,包括:性能数据库、性能服务器、客户端,其中:
所述性能数据库,用于根据不同的采集粒度建立与所述采集粒度对应的性能表,并建立索引;
所述性能服务器,用于从网元采集性能数据,并将所述性能数据存储到所述性能数据库中性能表对应位置,并生成索引;在所述客户端请求查看性能报表或性能数据时,对所述性能表进行查询,并将查询结果发送给所述客户端;
所述客户端,用于对所述性能服务器发出查看性能报表或性能数据的请求。
7.如权利要求6所述的网管系统,其特征在于,所述性能表包括:管理对象定位字段、时间字段、性能指标字段;
所述索引为复合索引,包括:时间字段、管理对象定位字段;
所述时间字段包括开始时间或结束时间。
8.如权利要求6所述的网管系统,其特征在于,所述性能数据库包括:
建立模块,用于在所述性能数据库中建立采集粒度为1分钟的性能表;和在所述性能数据库中建立采集粒度为5分钟的性能表;和在所述性能数据库中建立采集粒度为15分钟的性能表;和在所述性能数据库中建立采集粒度为30分钟的性能表;和在所述中性能数据库建立采集粒度为60分钟的性能表;
并用于为每个性能表建立复合索引,所述复合索引的字段包括:时间字段、管理对象定位字段。
9.如权利要求6所述的网管系统,其特征在于,所述性能服务器包括:
采集模块,用于从网元采集性能数据,并将所述性能数据存储到所述性能表对应位置,并生成索引;
业务处理模块,用于当所述客户端请求查看性能报表或性能数据时,对所述性能表进行查询,并将查询结果发送给所述客户端。
10.如权利要求9所述的网管系统,其特征在于,所述性能服务器还包括:
设置模块,用于在所述性能数据库中设置内存变量;
记录模块,用于利用所述设置模块设置的内存变量记录所述性能表是否为空表;
所述业务处理模块还用于当所述记录模块记录的性能表是空表时,在对所述性能数据库进行性能统计时对所述空表不进行访问。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200910077827A CN101790257A (zh) | 2009-01-22 | 2009-01-22 | 一种存储数据的方法和网管系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200910077827A CN101790257A (zh) | 2009-01-22 | 2009-01-22 | 一种存储数据的方法和网管系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101790257A true CN101790257A (zh) | 2010-07-28 |
Family
ID=42533232
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200910077827A Pending CN101790257A (zh) | 2009-01-22 | 2009-01-22 | 一种存储数据的方法和网管系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101790257A (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101990224A (zh) * | 2010-11-05 | 2011-03-23 | 中兴通讯股份有限公司 | 更新性能指标的方法及系统 |
CN102222099A (zh) * | 2011-06-21 | 2011-10-19 | 中兴通讯股份有限公司 | 一种数据存储、查找方法及装置 |
CN102289452A (zh) * | 2011-06-20 | 2011-12-21 | 中兴通讯股份有限公司 | 一种电信网管性能数据输出的方法及装置 |
CN102377580A (zh) * | 2010-08-06 | 2012-03-14 | 大唐移动通信设备有限公司 | 性能数据的上传方法和设备 |
CN104462434A (zh) * | 2014-12-15 | 2015-03-25 | 北京国双科技有限公司 | 数据查询方法及装置 |
WO2015131579A1 (zh) * | 2014-10-15 | 2015-09-11 | 中兴通讯股份有限公司 | 数据存储方法、装置及系统 |
CN105162622A (zh) * | 2015-08-03 | 2015-12-16 | 瑞斯康达科技发展股份有限公司 | 一种存储方法和系统 |
WO2016095492A1 (zh) * | 2014-12-16 | 2016-06-23 | 中兴通讯股份有限公司 | 一种数据的采集方法、装置及网管管理通信设备 |
WO2016165386A1 (zh) * | 2015-08-19 | 2016-10-20 | 中兴通讯股份有限公司 | 一种网管系统、数据管理方法及存储介质 |
WO2017128701A1 (zh) * | 2016-01-29 | 2017-08-03 | 华为技术有限公司 | 存储数据的方法和装置 |
CN107071809A (zh) * | 2017-02-17 | 2017-08-18 | 山东浪潮商用系统有限公司 | 一种移动通信网管数据时效提升方法 |
CN107103003A (zh) * | 2016-02-23 | 2017-08-29 | 阿里巴巴集团控股有限公司 | 获取链路中数据的方法、获取设备、处理设备和系统 |
CN109753227A (zh) * | 2017-11-08 | 2019-05-14 | 北京嘀嘀无限科技发展有限公司 | 存储方法、装置、移动终端、服务器和可读存储介质 |
CN115858458A (zh) * | 2023-02-22 | 2023-03-28 | 华中科技大学同济医学院附属同济医院 | 一种基于数据统计的财会数据归档系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101159603A (zh) * | 2007-10-30 | 2008-04-09 | 中兴通讯股份有限公司 | 一种无线网络海量数据存储方法 |
CN101247271A (zh) * | 2008-03-24 | 2008-08-20 | 中兴通讯股份有限公司 | 性能数据的存储方法和装置 |
-
2009
- 2009-01-22 CN CN200910077827A patent/CN101790257A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101159603A (zh) * | 2007-10-30 | 2008-04-09 | 中兴通讯股份有限公司 | 一种无线网络海量数据存储方法 |
CN101247271A (zh) * | 2008-03-24 | 2008-08-20 | 中兴通讯股份有限公司 | 性能数据的存储方法和装置 |
Non-Patent Citations (1)
Title |
---|
尤淑辉: "电信管理网中一种性能数据采集的实现方法", 《计算机应用》 * |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102377580A (zh) * | 2010-08-06 | 2012-03-14 | 大唐移动通信设备有限公司 | 性能数据的上传方法和设备 |
CN102377580B (zh) * | 2010-08-06 | 2015-08-12 | 大唐移动通信设备有限公司 | 性能数据的上传方法和设备 |
CN101990224B (zh) * | 2010-11-05 | 2014-07-02 | 中兴通讯股份有限公司 | 更新性能指标的方法及系统 |
CN101990224A (zh) * | 2010-11-05 | 2011-03-23 | 中兴通讯股份有限公司 | 更新性能指标的方法及系统 |
CN102289452A (zh) * | 2011-06-20 | 2011-12-21 | 中兴通讯股份有限公司 | 一种电信网管性能数据输出的方法及装置 |
WO2012174882A1 (zh) * | 2011-06-20 | 2012-12-27 | 中兴通讯股份有限公司 | 一种电信网管性能数据输出的方法及装置 |
CN102222099A (zh) * | 2011-06-21 | 2011-10-19 | 中兴通讯股份有限公司 | 一种数据存储、查找方法及装置 |
WO2012174906A1 (zh) * | 2011-06-21 | 2012-12-27 | 中兴通讯股份有限公司 | 一种数据存储、查找方法及装置 |
CN105574027A (zh) * | 2014-10-15 | 2016-05-11 | 中兴通讯股份有限公司 | 基于oltp/olap混合应用下多维度性能数据存储方法、装置及系统 |
CN105574027B (zh) * | 2014-10-15 | 2020-04-24 | 中兴通讯股份有限公司 | 基于oltp/olap混合应用下多维度性能数据存储方法、装置及系统 |
WO2015131579A1 (zh) * | 2014-10-15 | 2015-09-11 | 中兴通讯股份有限公司 | 数据存储方法、装置及系统 |
CN104462434B (zh) * | 2014-12-15 | 2018-11-06 | 北京国双科技有限公司 | 数据查询方法及装置 |
CN104462434A (zh) * | 2014-12-15 | 2015-03-25 | 北京国双科技有限公司 | 数据查询方法及装置 |
WO2016095492A1 (zh) * | 2014-12-16 | 2016-06-23 | 中兴通讯股份有限公司 | 一种数据的采集方法、装置及网管管理通信设备 |
CN105763352A (zh) * | 2014-12-16 | 2016-07-13 | 中兴通讯股份有限公司 | 一种数据的采集方法、装置及网管管理通信设备 |
CN105162622A (zh) * | 2015-08-03 | 2015-12-16 | 瑞斯康达科技发展股份有限公司 | 一种存储方法和系统 |
CN105162622B (zh) * | 2015-08-03 | 2019-02-12 | 瑞斯康达科技发展股份有限公司 | 一种存储方法和系统 |
WO2016165386A1 (zh) * | 2015-08-19 | 2016-10-20 | 中兴通讯股份有限公司 | 一种网管系统、数据管理方法及存储介质 |
WO2017128701A1 (zh) * | 2016-01-29 | 2017-08-03 | 华为技术有限公司 | 存储数据的方法和装置 |
US11030178B2 (en) | 2016-01-29 | 2021-06-08 | Huawei Technologies Co., Ltd. | Data storage method and apparatus |
CN107103003A (zh) * | 2016-02-23 | 2017-08-29 | 阿里巴巴集团控股有限公司 | 获取链路中数据的方法、获取设备、处理设备和系统 |
CN107103003B (zh) * | 2016-02-23 | 2021-03-26 | 创新先进技术有限公司 | 获取链路中数据的方法、获取设备、处理设备和系统 |
CN107071809A (zh) * | 2017-02-17 | 2017-08-18 | 山东浪潮商用系统有限公司 | 一种移动通信网管数据时效提升方法 |
CN109753227A (zh) * | 2017-11-08 | 2019-05-14 | 北京嘀嘀无限科技发展有限公司 | 存储方法、装置、移动终端、服务器和可读存储介质 |
CN115858458A (zh) * | 2023-02-22 | 2023-03-28 | 华中科技大学同济医学院附属同济医院 | 一种基于数据统计的财会数据归档系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101790257A (zh) | 一种存储数据的方法和网管系统 | |
US9971796B2 (en) | Object storage using multiple dimensions of object information | |
CN104090889B (zh) | 数据处理方法及系统 | |
CN102725755B (zh) | 文件访问方法及系统 | |
US20080183777A1 (en) | File system for a storage device, methods of allocating storage, searching data and optimising performance of a storage device file system | |
CN103488687A (zh) | 用于大数据的搜索系统和搜索方法 | |
CN105303456A (zh) | 电力传输设备监控数据处理方法 | |
CN104239377A (zh) | 跨平台的数据检索方法及装置 | |
CN110727406B (zh) | 一种数据存储调度方法及装置 | |
CN108021717B (zh) | 一种轻量级嵌入式文件系统的实现方法 | |
US8380663B2 (en) | Data integrity in a database environment through background synchronization | |
CN104536904A (zh) | 一种数据管理的方法、设备与系统 | |
CN110532123B (zh) | HBase系统的故障转移方法及装置 | |
CN109885642B (zh) | 面向全文检索的分级存储方法及装置 | |
CN104657435A (zh) | 一种应用数据的存储管理方法和网络管理系统 | |
CN105205167A (zh) | 一种日志数据系统 | |
CN109150964B (zh) | 一种可迁移的数据管理方法及服务迁移方法 | |
CN108304142B (zh) | 一种数据管理方法和装置 | |
CN105573918A (zh) | 一种轻量级闪存系统和方法 | |
KR101666440B1 (ko) | 환형큐 기반의 인-메모리 데이터베이스 시스템에서의 데이터 처리방법 | |
CN103631838A (zh) | 用于以存储高效的方式存储表格数据的方法和系统 | |
CN101241469B (zh) | 一种在嵌入式系统中存储、读取数据的方法及装置 | |
CN101901173A (zh) | 一种灾备系统及灾备方法 | |
CN112711606A (zh) | 数据库访问方法、装置、计算机设备和存储介质 | |
CN104461736A (zh) | 资源分配与搜索方法、资源分配与搜索系统和云服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C57 | Notification of unclear or unknown address | ||
DD01 | Delivery of document by public notice |
Addressee: Wu Guoxin Document name: Notification of Passing Preliminary Examination of the Application for Invention |
|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20100728 |