CN100484017C - 网元管理系统中海量性能数据的统计方法 - Google Patents
网元管理系统中海量性能数据的统计方法 Download PDFInfo
- Publication number
- CN100484017C CN100484017C CNB2004100738943A CN200410073894A CN100484017C CN 100484017 C CN100484017 C CN 100484017C CN B2004100738943 A CNB2004100738943 A CN B2004100738943A CN 200410073894 A CN200410073894 A CN 200410073894A CN 100484017 C CN100484017 C CN 100484017C
- Authority
- CN
- China
- Prior art keywords
- performance
- merger
- data
- granularity
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title abstract description 14
- 238000013500 data storage Methods 0.000 claims description 47
- 238000007726 management method Methods 0.000 claims description 38
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 claims description 27
- 238000007619 statistical method Methods 0.000 claims description 13
- 239000002245 particle Substances 0.000 claims description 8
- 238000012986 modification Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 235000019580 granularity Nutrition 0.000 description 62
- 241001269238 Data Species 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013517 stratification Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Debugging And Monitoring (AREA)
Abstract
一种网元管理系统中海量性能数据的统计方法，所述网元管理系统包括数据库服务器和应用服务器，所述数据库服务器上设置有性能上报表，用于保存上报的性能数据，包括：(1)在所述数据库服务器上设置不同时间粒度的数据存储表，所述粒度表示性能数据上报时间，所述粒度与粒度之间存在包含关系；(2)所述应用服务器将上报性能数据周期地按照每一时间粒度的要求归并后，存入对应粒度数据存储表；(3)当对所述网元管理系统的海量性能数据进行性能统计时，所述应用服务器根据统计要求的粒度检索对应粒度的数据存储表，获得所述性能的统计结果。利用上述方法进行性能统计时，无需增加额外硬件成本，并且提高了统计的效率。
Description
技术领域
本发明涉及无线通信领域，尤其涉及网元管理系统中海量性能数据的统计方法。
背景技术
网元管理系统通常先获得被管理网络中的各个网元的性能数据，由于性能数据的数据量很大，甚至可以达到亿万以上的数据记录，由此一般称之为海量性能数据；然后对该些海量性能数据数据进行性能统计，最后依据统计结果进行监视和控制整个被管理网络中的每一个网元。
请参阅图1，其为OMC-R(无线接入网操作维护中心)的一个结构简图。OMC-R是网元管理系统的一个应用实例。它使用的应用服务器为OMC-R服务器11，还包括：数据库服务器12、局域网(LAN)13、网内OMC-R控制台14、网元协议网关15、路由器16、网管接口17、省级网管18、远端OMC-R控制台19及RNC系统(无线网络子系统)20。
该系统可以在LAN13上设置若干网元协议网关15(在图中绘示的个数为1个)，而每一网元协议网关15通过SNMP协议(简单网管协议)接收本网关的各个RNS系统20的上报网元性能数据，随后，网元协议网关15将收集到的网元性能数据定时上传至OMC-R服务器11，OMC-R服务器11实时的将上报的性能文件解析到数据库服务器12中，省级网管18能够通过标准的网管接口17进行性能数据的统计与查询等操作。
另外，操作人员不仅可以通过设置在局限网13内的OMC-R控制台14登陆到OMC-R系统中进行操作，而且也可以通过远端OMC-R控制台19远程登录至OMC-R系统中进行操作。
在目前的网元管理系统中，由于可管理网元数量的不断增加，从而导致上报的网元性能数据也不断增加。假如一个网元管理系统管理15个RNS系统，则可能存在进行性能数据上报的网元高达到48000个，而这些个网元中的每个网元都带有不同数目的计数器，计数器的个数少则10个，多则可以带有80多个计数器，由此可以计算出每次上报的数据量；而系统还会按照预先设定的时间周期(比如5分钟)将采集的数据进行上报；并且，3gpp组织在性能规范中要求性能采样数据能够保存一定时间，根据上述规范要求结合OMC-R的需求，需确定保存3个月的性能数据，根据上述分析可以获知网元管理系统中需要保存的性能数据量之大，因此对该海量性能数据进行统计并非是易事。
现有技术中主要采用以下二种方式来统计网元管理系统中的海量性能数据。
第一种方法是在数据库服务器中设置一张性能上报表，该性能上报表保存海量性能数据，并且新获得的性能数据也不断地添加至该性能上报表中，该性能上报表通过网元信息、性能信息等字段建立多种索引来统计网元性能。虽然该方法实现比较简单，OMC-R服务器不用进行任何处理就能直接到性能上报表中执行查询与统计，但这种方法的执行效率非常差。由于该性能上报表中的数据量实在太大，在性能上报表中进行性能统计时，统计的速度非常慢，当数据量达到某个阕值时，数据库服务器甚至无法响应其查询请求。
如若预提高统计速度，需依靠硬件系统的提升，譬如在数据库服务器中使用磁盘阵列，通过使用磁盘阵列对性能上报表进行物理上的划分，同时增加CPU的数目以提高数据库执行统计的并行性，但是通过增加额外的硬件来提高统计速度，大大增加了统计的成本。
第二种方法是在数据库服务器上以小表的方式保存该些海量性能数据，比如：
a：按照性能数据的上报时间，周期性建立上报表，譬如按照月为单位建立每月性能上报表，则一张性能上报表就被分割成复数个月性能上报表，性能统计时通过对每月性能上报表的统计达到统计整个海量性能数据的目的。
(2)按照不同的网元或网元类型建立网元性能上报表，譬如网元类型为N种，则建立N个对应网元性能上报表，同时一张性能上报表就被分割成N张网元性能上报表，性能统计时通过对不同的网元性能上报表达到统计整个海量性能数据的目的。
第二种方法减少单张表中的性能数据，因此在统计跨度正好属于某单张表内时，检索的数据量就会减少，这样就能提高统计的执行速度，但这样做也有比较明显的缺点，首先，按照目前如此大的数据量，即便将性能上报数据表按照这样上述方式划分成多个小表，每个小表里的数据量仍非常大，在进行性能统计时，速度还有待提高，最重要的是，如果查询统计需要跨越多张表，统计效率会比仅采用第一种方法中的一张性能上报表还要差。还有，随着统计的时间跨度的增长，统计的性能急速下降，常常到了数据库器无法响应的程度。
由此，现有技术在网元管理系统的海量性能数据的统计过程中主要存在海量性能数据的统计非常耗费时间，即统计效率差等问题。并且，随着统计的时间跨度的增长，统计的性能急速下降，常常使得数据库服务器无法响应的程度。
发明内容
本发明目的在于提供一种网元管理系统中不增加硬件成本且提高统计效率的海量性能数据的统计方法，以解决现有技术中存在海量性能数据的统计非常耗费时间，统计效率差的技术问题。
为解决上述问题，本发明公开了一种网元管理系统中海量性能数据的统计方法，所述网元管理系统包括数据库服务器和应用服务器，所述数据库服务器上设置有性能上报表，用于保存上报的性能数据，包括：
(1)在所述数据库服务器上设置不同时间粒度的数据存储表，所述时间粒度表示性能数据的上报时间，所述粒度与粒度之间存在包含关系；
(2)所述应用服务器将上报性能数据周期地按照每一时间粒度的要求归并后，存入对应粒度数据存储表；
(3)当对所述网元管理系统的海量性能数据进行性能统计时，所述应用服务器根据统计要求的粒度检索对应粒度的数据存储表，获得所述性能的统计结果。
步骤(2)具体包括：
(21)所述应用服务器将满足最小时间粒度要求的未归并的性能数据归并后，保存至最小时间粒度对应数据存储表，所述性能数据为所述性能上报表中的性能数据；
(22)所述应用服务器将满足其它每一时间粒度要求的未归并的性能数据归并后，保存至对应粒度数据存储表中，所述性能数据为小于本粒度值中最大粒度对应的数据存储表中的性能数据。
步骤(1)还包括在所述数据库服务器上还设置一张性能时间戳表，以保存每一时间粒度数据存储表最后一次归并的时间；
步骤(1)和步骤(2)之间还包括当所述网元管理系统的系统时间与所述最后一次归并时间之差至少大于等于一预先设定的时间值时，进行步骤(2)。所述预先设定的时间值为1天。
步骤(1)还包括：(11)在数据库中设置一后台任务，所述后台任务定时进行各粒度数据存储表之间性能数据的归并；(12)在数据库中设置一触发器；
步骤(2)还包括：当数据库重新启动时，激活所述触发器，修改后台任务中开始统计时间，以使所述后台任务能够连续归并。。
步骤(2)还包括：将每一时间粒度数据存储表中的性能数据按照不同的时间范围进行分区保存。
所述步骤(3)具体包括：
(a)分别计算统计开始时间、统计结束时间的粒度值，并找到其中最小的粒度；
(b)取出性能时间戳表中最大粒度；
(c)将步骤(a)中最小的粒度和步骤(b)中最大粒度进行比较，找到粒度值小的粒度做为本统计所使用的粒度；
(d)根据步骤(c)中本统计所使用粒度，确定采用对应的数据存储表进行统计，获得统计结果。
步骤(1)中设置的所述时间粒度包括小时、天数、月、年。所述步骤(2)具体包括：(A)若系统当前时间比性能时间戳表中的最后一次归并的小时大于一天或系统当前时间到了整点，将对所述性能上报表中未归并的性能数据以小时为单位进行归并后，保存到对应的小时数据存储表中，并设置性能时间戳表的最后归并的时间endDate；(B)判断endDate的天数是否大于所述性能时间戳表中的最后一次归并的天数，若是进行步骤(C)，否则进行步骤(A)；(C)将对所述小时数据存储表中未归并的性能数据以天为单位进行归并后，保存到对应的天数据存储表中，并设置性能时间戳表的最后归并时间D；(D)判断D中的月是否大于所述性能时间戳表中的最后一次归并的月数，若是进行步骤(E)，否则进行步骤(A)；(E)将对所述天数据存储表中未归并的性能数据以月为单位进行归并后，保存到对应的月数据存储表中，并设置性能时间戳表的最后归并时间M；(F)判断M中的年是否大于所述性能时间戳表中的最后一次归并的年数，若是进行步骤(K)，否则进行步骤(A)；(K)将对所述月数据存储表中未归并的性能数据以年为单位进行归并后，保存到对应的年数据存储表中，并设置性能时间戳表的最后归并时间Y。
与现有技术相比，本发明具有以下优点：本发明周期地按照不同的时间粒度归并上报的海量性能数据，存储至对应的粒度数据存储表中，当进行海量性能数据的性能统计时，根据具体统计的要求，选择对应的粒度数据存储表进行性能统计，由于粒度数据存储表中预先已对已上报的性能数据进行归并，比如小时表中的每一记录是统计的一个小时的性能，因此表中的数据成数量级的减少，既提高了统计的效率，又无需增加额外硬件。
在本发明中，考虑到统计的精确性，将上报的性能数据保存至一预先设定的时间后，才进行归并处理，防止数据滞后带来统计不准确的情况发生。在本实施例中，预定的时间为一天。
在本发明中，设置一触发器在数据库不稳定发生重启的情况下，通过修改统计初始时间来达到上报数据出现连续归并的效果。
附图说明
图1是网元管理系统的一个应用实例OMC-R的一个结构简图；
图2是为本发明的网元管理系统中海量性能数据的统计流程图；
图3是本发明中实现性能数据归并存储的实施示意图；
图4是本发明中统计过程的实施流程图。
具体实施方式
以下结合附图，具体说明本发明。
请参阅图2，其为本发明的网元管理系统中海量性能数据的统计流程图。该网元管理系统包括数据库服务器和应用服务器，所述数据库服务器上设置有用于保存上报的性能数据的上报性能表，包括以下步骤：
S110：在数据库服务器上设置不同时间粒度的数据存储表，粒度表示性能数据上报时间的精度，粒度与粒度之间存在包含关系；时间粒度比如分、时、天、月、年，而在网元管理系统中通过以分为单位进行数据上报，由此可以建立如时数据存储表、天数据存储表、月数据存储表和年数据存储表。譬如考虑到统计性能时通常是以一个周的性能数据为参考时，可以建立周数据存储表、月数据存储表和年数据存储表等，设置时间粒度的种类可以根据具体的性能统计情况具体设置。很显然，每一粒度之间都有包含关系，以设置的粒度为分、时、天、月、年为例，一年包含12个月、一个月包含固定的天数，即粒度之间存在确定的包含关系；
S120：所述应用服务器将上报性能数据周期地按照每一时间粒度的要求归并后，存入对应粒度数据存储表；上报至数据库服务器的网元性能数据是动态，即随着时间的推移，性能上报表中的网元性能数据是增加且动态变化的，比如一天有24个小时，将性能上报表的性能数据归并成24条性能数据存储在小时数据存储表中，即将一个小时中的所有性能数据统计成一条数据记录，当然归并的条件可以根据性能统计的要求进行设置，比如每两个小时将性能上报表中新增的数据归并成一条性能数据存储在小时数据存储表中。在归并时，系统可以将所述的粒度数据存储表以性能上报表为归并的基础进行归并，但考虑到归并的效率，主要采用以下方法进行归并：
(21)应用服务器将满足最小时间粒度要求的未归并的性能数据归并后，保存至最小时间粒度对应数据存储表，所述性能数据为所述性能上报表中的性能数据；
(21)所述应用服务器将满足其它每一时间粒度要求的未归并的性能数据归并后，保存至对应粒度数据存储表中，所述性能数据是小于本粒度值中最大的粒度对应的数据存储表中的性能数据。
比如：本系统设置的粒度为时、天、月，则：
首先，应用服务器将性能上报表中的未归并的性能数据以小时为单位进行归并，如将上报时间位于同一小时内的所有性能数据统计成一条小时数据记录，并存储在小时数据存储表；
然后，应用服务器将小时数据存储表中未归并的小时数据记录以天为单位归并为天数据记录，如将小时数据存储表中未归并的且位于同一天内的数据记录统计成一条天数据记录，保存在天数据存储表中；
随后，应用服务器将天数据存储表中未归并的天数据记录以月为单位归并为月数据记录，保存在月数据存储表中，如天数据存储表中未归并的且位于同一月内的天数据记录统计成一条月数据记录，保存在月数据存储表中；
最后，应用服务器将月数据存储表中未归并的月数据记录以年为单元归并成年数据记录，如月数据存储表中未归并的且位于同一年内的天数据记录统计成一条年数据记录，保存在年数据存储表中。
130：当对所述网元管理系统的海量性能数据进行性能统计时，所述应用服务器根据统计要求的粒度检索对应粒度的数据存储表，获得所述性能的统计结果。比如针对7月海量性能数据统计系统的某一性能，则只需要统计7月的天数据存储表查询对应性能并对其进行统计即可，相比较于现有技术中将该些海量性能数据保存在一张或几张性能数据表，本发明的性能统计时需要查询的数据量非常少，大大提高了统计的效率。
以下结合图1的网元管理系统的结构实例图，以时、天、月、年的时间粒度为例，具体说明本发明。
首先设置不同时间粒度的数据存储表：小时数据存储表(下简称小时表)、天数据存储表(下简称天表)、月数据存储表(下简称月表)和年性数据存储表(下简称年表)。
网元管理系统的网元协议网关15周期性地将被管理的网元性能数据通过LAN13上传至OMC-R服务器11，OMC-R服务器11实时的将上报的性能文件解析到数据库服务器12中，数据库服务器12将性能数据保存在性能上报表中。该周期通常是以分为单位进行上报的。
由于性能上报表的精确度到了分钟，而且包含了当前最新的性能数据。该表中的字段除了性能数据和网元数据，最重要是时间字段，该时间字段明确表示了上报性能数据的采集时间(它精确到分钟)。通过这样一张性能上报表，再派生出与之结构完全相同的四张表(小时表、天表、月表和年表)，但这些表中的上报时间字段的精确度分别到小时、天、月、年。小时表，天表等表的字段与原始数据表都是相同的，只是时间粒度不同，因此，这些表与原始数据表一样，都表示所有网元所有性能的数据)。它们与性能上报表的区别在于他们是历史数据表，同时他们的时间粒度与性能上报表不同。
举例来说，假设性能上报数据从2003/09/27 12:00开始进行上报，每5分钟上报一次，这样每次上报来的数据间隔为5分钟，他们被保存在性能上报表中，数据就这样不断上报，当上报到一定程度以后，系统将2003/09/2712:00到2003/09/27 13:00的数据进行自动统计，生成这一个小时的统计数据(称之为一条天数据记录)，将产生的统计数据保存到小时表中，当小时表的数据到达了一定程度以后，将2003/09/27 00:00到2003/09/28 00:00的数据保存到天表中，以此类推，依次向上生成数据，直到年表。
数据归并的方向是从性能上报表(perfdata)归并到性能上报小时表(perfhourtab)，再从小时表归并到天表(perfdatetab)，再从天表归并到月表(perfmonthtab)，最后再由月表归并到年表(perfyeartab)。每个表中的数据量是按照一数量级进行递减的。假设性能数据上报表中有37681950条性能上报记录，那么性能小时表中的记录数只有它的1/12左右，到达3140162条记录，天表中的记录将只有1/24的小时表记录数，为130840条，依次类推，月表，年表的记录数也按照这样的数量级减少。由于保存的数据量少，减少统计时查询的次数，进而提高了统计的速度。
将网关协议网关15收集到的性能数据上报至数据库服务器12时，很可能存在数据滞后的情况，由此带来性能统计准确性降低。为了避免由于数据滞后而带来性能统计的准确性降低的问题，本发明采用将接收的性能数据保留一预先设定的时间后，再进行归并。本实施例采用的预先设定的时间为一天。以下具体介绍如何实现性能数据的归并存储的。
请参阅图3，其为本发明中实现性能数据归并存储的实施示意图。
步骤S210：在系统初始运行的时候，预先设计一张性能时间戳表，该表用来记录最后一次归并的小时，最后一次归并的天，最后一次归并的月，最后一次归并的年，譬如，假设系统初始安装的时候，当前时间为2003/09/1012:30，那么性能时间戳表中的四个字段的数值分别为：2003/09/10 12:00(最后归并的小时)，2003/09/10 00:00(最后归并的天)，2003/09/01 00:00(最后归并的月)，2003/01/01 00:00(最后归并的年)。而归并设置的开始时间为当前系统时间的后一天的整点，对于本例来说，归并初始运行的时间为2003/09/11 13:00。之所以要延后一天，是为了保证延迟的上报数据可以被处理，被归并。
步骤S220：若系统当前时间比性能时间戳表中的最后一次归并的小时大于一天或系统当前时间到了整点，将对所述性能上报表中未归并的性能数据以小时为单位进行归并后，保存到对应的小时数据存储表中，并设置性能时间戳表的最后归并的时间endDate。
正常情况下，只要数据库始终运行着，每次归并发生的时刻都会与当前的时间间隔一天，但在数据库发生异常被关闭的情况，数据库重新启动后，当前时间与最后一次归并时间会超过一天，再这种情况下，可以不用每过一个小时进行归并，将所有未归并的性能数据以小时为单位直接归并。
步骤S230：判断endDate的天数是否大于所述性能时间戳表中的最后一次归并的天数，若是进行步骤S240，否则进行步骤S220；
步骤S240：将对所述小时表中未归并的性能数据以天为单位进行归并后，保存到对应的天数据存储表中，并设置性能时间戳表的最后归并时间D；
步骤S250：判断D中的月是否大于所述性能时间戳表中的最后一次归并的月数，若是进行步骤S260，否则进行步骤S220；
步骤S260：将对所述天数据存储表中未归并的性能数据以月为单位进行归并后，保存到对应的月数据存储表中，并设置性能时间戳表的最后归并时间M；
步骤S270：判断M中的年是否大于所述性能时间戳表中的最后一次归并的年数，若是进行步骤S280，否则进行步骤S220；
步骤S280：将对所述月数据存储表中未归并的性能数据以年为单位进行归并后，保存到对应的年数据存储表中，并设置性能时间戳表的最后归并时间Y。
为了保证在数据库发生异常错误重启以后，系统在数据库中设置一后台任务，所述后台任务定时进行各粒度数据存储表之间性能数据的归并，并且还在数据库中设置一触发器；
当数据库重新启动时，激活所述触发器，修改后台任务中开始统计时间，以使所述后台任务还能继续按照预定的时间进行归并，该触发器会修改归并的初始运行时间，本实施例是将该统计时间调整为当前时间的后一天的整点，如果不那样做，重启后的系统会在下一个5分钟马上运行，这下一个5分钟可能并不是在整点开始的，而且，数据库重启以前的那些还未处理的性能上报数据，将来不及进行上报，这样发生的归并将毫无意义。
另外，对于性能上报表，天表，月表，年表，都按照时间进行分区，具体的每个分区跨越的时间范围，用户可以自己进行设置，对这些表采用分区，降低了从性能上报表导入数据到小时表，以及从小时表导入数据到天表，以次类推。因为在物理文件上来看，这些表又都被按照时间划分成了多个块，这样有效的加快了各层次表之间归并数据的速度。同时，对这些表进行分区的另一个作用，在于结合了现有的技术，上面提及的现有技术的根本原理是对数据进行分表存储，本发明通过使用分区表达到了同样的目的，在性能查询统计过程中，如果查询统计的时间跨度正好落在某个分区内，执行速度将比不建分区要快许多。
针对上述已按照不同的时间粒度进行归类存储对应性能数据后，系统是按照如下方法进行海量性能数据的性能统计的。
在进行性能统计时，由于存在四个表，必须要通过软件来明确该使用哪种类型的表来完成统计，如果进行统计的数据包括当前数据或者性能统计的精确度需要到分钟，必须在性能上报表中进行统计，对于这种类型的统计，使用本方法并不能带来性能的增益，但当性能统计统计的是历史数据并且统计精度在分以上时，统计的速度就将大大加快。而在现实系统中，统计的最小粒度很少达到分，并且多数的统计都将是历史统计。统计的程序流程如下(请参阅图4)：
S310：分别计算统计开始时间、统计结束时间的粒度值，并找到其中最小的粒度；
S320：取出性能时间戳表中最大粒度；
S330：将步骤S310中最小的粒度和步骤S320中最大粒度进行比较，找到粒度值小的粒度做为本统计所使用的粒度；
S340：根据步骤S330中本统计所使用粒度，确定采用对应的数据存储表进行统计，获得统计结果。
以上公开的仅为本发明的几个具体实施例，但本发明并非局限于此，任何本领域的技术人员能思之的变化，都应落入本发明的保护范围。
Claims (9)
1、一种网元管理系统中海量性能数据的统计方法，所述网元管理系统包括数据库服务器和应用服务器，所述数据库服务器上设置有性能上报表，用于保存上报的性能数据，其特征在于，包括：
(1)在所述数据库服务器上设置不同时间粒度的数据存储表，所述时间粒度表示性能数据的上报时间，所述粒度与粒度之间存在包含关系；
(2)所述应用服务器将上报性能数据周期地按照每一时间粒度的要求归并后，存入对应粒度数据存储表；
(3)当对所述网元管理系统的海量性能数据进行性能统计时，所述应用服务器根据统计要求的粒度检索对应粒度的数据存储表，获得所述性能的统计结果。
2、如权利要求1所述的一种网元管理系统中海量性能数据的统计方法，其特征在于，步骤(2)具体包括：
(21)所述应用服务器将满足最小时间粒度要求的未归并的性能数据归并后，保存至最小时间粒度对应数据存储表，
步骤(21)当中所述未归并的性能数据为所述性能上报表中的性能数据；
(22)所述应用服务器将满足其它每一时间粒度要求的需要归并的性能数据归并后，保存至对应粒度数据存储表中，
步骤(22)当中所述的需要归并的性能数据为，小于本时间粒度值的各个粒度值当中的，最大时间粒度值所对应的性能数据存储表中的性能数据。
3、如权利要求1或2所述的一种网元管理系统中海量性能数据的统计方法，其特征在于，
步骤(1)还包括在所述数据库服务器上还设置一张性能时间戳表，以保存每一时间粒度数据存储表最后一次归并的时间；
步骤(1)和步骤(2)之间还包括当所述网元管理系统的系统时间与所述最后一次归并时间之差至少大于等于一预先设定的时间值时，进行步骤(2)。
4、如权利要求3所述的一种网元管理系统中海量性能数据的统计方法，其特征在于，所述预先设定的时间值为1天。
5、如权利要求1或2所述的一种网元管理系统中海量性能数据的统计方法，其特征在于，
步骤(1)还包括：
(11)在数据库中设置一后台任务，所述后台任务定时进行各粒度数据存储表之间性能数据的归并；
(12)在数据库中设置一触发器；
步骤(2)还包括：当数据库重新启动时，激活所述触发器，修改后台任务中开始统计时间，以使所述后台任务能够连续归并。
6、如权利要求1或2所述的一种网元管理系统中海量性能数据的统计方法，其特征在于，
步骤(2)还包括：将每一时间粒度数据存储表中的性能数据按照不同的时间范围进行分区保存。
7、如权利要求3所述的一种网元管理系统中海量性能数据的统计方法，其特征在于，所述步骤(3)具体包括：
(a)分别计算统计开始时间、统计结束时间的粒度值，并找到其中最小的粒度；
(b)取出性能时间戳表中最大粒度；
(c)将步骤(a)中最小的粒度和步骤(b)中最大粒度进行比较，找到粒度值小的粒度做为本统计所使用的粒度；
(d)根据步骤(c)中本统计所使用粒度，确定采用对应的数据存储表进行统计，获得统计结果。
8、如权利要求3所述的一种网元管理系统中海量性能数据的统计方法，其特征在于，步骤(1)中设置的所述时间粒度包括小时、天数、月、年。
9、如权利要求8所述的一种网元管理系统中海量性能数据的统计方法，其特征在于，所述步骤(2)具体包括：
(A)若系统当前时间比性能时间戳表中的最后一次归并的小时大于一天或系统当前时间到了整点，将对所述性能上报表中未归并的性能数据以小时为单位进行归并后，保存到对应的小时数据存储表中，并设置性能时间戳表的最后归并的时间endDate；
(B)判断endDate的天数是否大于所述性能时间戳表中的最后一次归并的天数，若是进行步骤(C)，否则进行步骤(A)；
(C)将对所述小时数据存储表中未归并的性能数据以天为单位进行归并后，保存到对应的天数据存储表中，并设置性能时间戳表的最后归并时间D；
(D)判断D中的月是否大于所述性能时间戳表中的最后一次归并的月数，若是进行步骤(E)，否则进行步骤(A)；
(E)将对所述天数据存储表中未归并的性能数据以月为单位进行归并后，保存到对应的月数据存储表中，并设置性能时间戳表的最后归并时间M；
(F)判断M中的年是否大于所述性能时间戳表中的最后一次归并的年数，若是进行步骤(K)，否则进行步骤(A)；
(K)将对所述月数据存储表中未归并的性能数据以年为单位进行归并后，保存到对应的年数据存储表中，并设置性能时间戳表的最后归并时间Y。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2004100738943A CN100484017C (zh) | 2004-09-08 | 2004-09-08 | 网元管理系统中海量性能数据的统计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2004100738943A CN100484017C (zh) | 2004-09-08 | 2004-09-08 | 网元管理系统中海量性能数据的统计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1747398A CN1747398A (zh) | 2006-03-15 |
| CN100484017C true CN100484017C (zh) | 2009-04-29 |
Family
ID=36166735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2004100738943A Active CN100484017C (zh) | 2004-09-08 | 2004-09-08 | 网元管理系统中海量性能数据的统计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN100484017C (zh) |
Families Citing this family (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101155380B (zh) * | 2006-09-29 | 2010-09-08 | 中国移动通信集团北京有限公司 | 无线网络测试数据的整合系统及方法 |
| CN101202656B (zh) * | 2006-12-15 | 2011-12-07 | 中兴通讯股份有限公司 | 资源监控方法和装置 |
| CN101197712B (zh) * | 2007-10-19 | 2010-06-09 | 中兴通讯股份有限公司 | 在电信网管系统中性能对象数据的采集方法 |
| CN101404590B (zh) * | 2008-11-19 | 2011-04-13 | 杭州华三通信技术有限公司 | 下级网管向上级网管上报数据的方法和网管设备 |
| CN101997701B (zh) * | 2009-08-10 | 2014-12-17 | 中兴通讯股份有限公司 | 数据处理方法及装置 |
| CN102104950B (zh) * | 2009-12-17 | 2015-06-03 | 中兴通讯股份有限公司 | 采集性能数据的管理方法及基站 |
| CN101819586A (zh) * | 2010-03-31 | 2010-09-01 | 中兴通讯股份有限公司 | 一种智能分拣服务器及统计数据的方法和系统 |
| CN101866361A (zh) * | 2010-06-30 | 2010-10-20 | 山东中创软件工程股份有限公司 | 一种异构数据集成方法及装置 |
| CN102045203B (zh) * | 2010-12-30 | 2013-01-30 | 华为技术有限公司 | 网络管理的方法、装置及网络管理系统 |
| CN102291269A (zh) * | 2011-09-29 | 2011-12-21 | 迈普通信技术股份有限公司 | 一种数据归并处理方法 |
| CN103095516B (zh) * | 2011-11-03 | 2015-11-25 | 中国移动通信集团福建有限公司 | 一种网元测量指标延时上传的监测方法和设备 |
| CN102413498B (zh) * | 2011-11-22 | 2014-04-02 | 大唐移动通信设备有限公司 | 一种上报、获得性能数据文件的方法及装置 |
| CN103139807B (zh) * | 2011-11-24 | 2017-11-10 | 中兴通讯股份有限公司 | 网络对象在服率的统计方法及装置 |
| CN103678402B (zh) * | 2012-09-21 | 2018-10-16 | 厦门雅迅网络股份有限公司 | 一种海量数据下数据实时统计的方法 |
| CN103051472B (zh) * | 2012-12-17 | 2016-09-07 | 中兴通讯股份有限公司 | 网络关键性能指标的分析方法及装置 |
| CN103258009B (zh) * | 2013-04-16 | 2016-05-18 | 北京京东尚科信息技术有限公司 | 获取和分析方法性能数据的方法和系统 |
| CN103473271B (zh) * | 2013-08-20 | 2017-09-26 | 苏州迈科网络安全技术股份有限公司 | 一种针对大量数据的优化储存方法 |
| CN104424236B (zh) * | 2013-08-26 | 2018-12-07 | 腾讯科技（深圳）有限公司 | 数据采集中的存储方法及装置 |
| CN103490949A (zh) * | 2013-09-06 | 2014-01-01 | 京信通信系统（中国）有限公司 | 一种数据信息采集、数据信息异常检测的方法和设备 |
| CN103560921B (zh) * | 2013-11-19 | 2017-01-18 | 中国科学院计算机网络信息中心 | 一种网络流数据的归并方法 |
| CN103942287B (zh) * | 2014-04-10 | 2017-06-06 | 大唐移动通信设备有限公司 | 海量数据处理方法、数据库服务器及应用服务器 |
| CN103955508B (zh) * | 2014-04-29 | 2017-04-12 | 安徽中科大国祯信息科技有限责任公司 | 一种工控系统曲线图的数据分层存储查询方法 |
| CN104462166A (zh) * | 2014-08-28 | 2015-03-25 | 大唐移动通信设备有限公司 | 一种报表生成方法和系统 |
| CN104199945A (zh) * | 2014-09-10 | 2014-12-10 | 北京国双科技有限公司 | 数据存储方法和装置 |
| CN107644033B (zh) * | 2016-07-21 | 2021-08-17 | 阿里巴巴集团控股有限公司 | 一种在非关系型数据库中进行数据查询的方法与设备 |
| CN108228685A (zh) * | 2017-06-12 | 2018-06-29 | 深圳市创梦天地科技股份有限公司 | 获取数据的统计状态的方法及装置 |
| CN109274545A (zh) * | 2017-07-17 | 2019-01-25 | 北京航空航天大学 | 一种基于混合云的循环存储方法 |
| CN107516199A (zh) * | 2017-08-01 | 2017-12-26 | 携程旅游信息技术（上海）有限公司 | 云平台的容器计费方法、装置及系统、设备、存储介质 |
| TWI672666B (zh) * | 2017-08-09 | 2019-09-21 | 宏碁股份有限公司 | 圖像資料處理的方法及其裝置 |
| CN107729412A (zh) * | 2017-09-26 | 2018-02-23 | 郑州云海信息技术有限公司 | 一种基于外带通信的历史性能统计的方法及系统 |
| CN107885791B (zh) * | 2017-10-19 | 2021-04-16 | 北京工业大数据创新中心有限公司 | 一种传感器数据层次化存储装置与方法 |
| CN108733839A (zh) * | 2018-05-25 | 2018-11-02 | 北京神州绿盟信息安全科技股份有限公司 | 一种海量数据的统计方法及装置 |
| CN108959442A (zh) * | 2018-06-13 | 2018-12-07 | 福建天晴数码有限公司 | 基于预定义计算规则的流式实时计算方法、存储介质 |
| CN109492008A (zh) * | 2018-11-13 | 2019-03-19 | 上海理想信息产业（集团）有限公司 | 一种基于HBase的网络大数据模型设计方法及系统 |
| CN110489477B (zh) * | 2019-08-27 | 2023-03-28 | 浪潮通用软件有限公司 | 一种可配置数据源与多家不同上级系统自动对接的方法 |
| CN110515952A (zh) * | 2019-08-28 | 2019-11-29 | 广州高谱技术有限公司 | 一种电力数据的存储方法 |
| CN111241087A (zh) * | 2020-03-10 | 2020-06-05 | 天津市普迅电力信息技术有限公司 | 一种基于分布式计算的能源数据自动化处理方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1995013582A1 (en) * | 1993-11-12 | 1995-05-18 | E-Systems, Inc. | Mass data storage library |
| CN1407438A (zh) * | 2001-09-07 | 2003-04-02 | 深圳市中兴通讯股份有限公司上海第二研究所 | 海量数据处理方法和系统 |
-
2004
- 2004-09-08 CN CNB2004100738943A patent/CN100484017C/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1995013582A1 (en) * | 1993-11-12 | 1995-05-18 | E-Systems, Inc. | Mass data storage library |
| CN1407438A (zh) * | 2001-09-07 | 2003-04-02 | 深圳市中兴通讯股份有限公司上海第二研究所 | 海量数据处理方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1747398A (zh) | 2006-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100484017C (zh) | 网元管理系统中海量性能数据的统计方法 | |
| CN108683720B (zh) | 一种容器集群服务配置方法及装置 | |
| AU2010336363B2 (en) | Managing queries | |
| US20110153603A1 (en) | Time series storage for large-scale monitoring system | |
| WO2020134609A1 (zh) | 数据存储的方法及装置 | |
| CN109271435A (zh) | 一种支持断点续传的数据抽取方法及系统 | |
| CN110555012B (zh) | 数据迁移方法及装置 | |
| CN105069134A (zh) | 一种Oracle统计信息自动收集方法 | |
| CN104778188A (zh) | 一种分布式设备日志采集方法 | |
| CN102779138B (zh) | 实时数据的硬盘存取方法 | |
| CN101937474A (zh) | 海量数据查询方法及设备 | |
| CN110058940B (zh) | 一种多线程环境下的数据处理方法及装置 | |
| CN102063490A (zh) | 一种数据库分区方法和分区装置 | |
| CN110297746A (zh) | 一种数据处理方法及系统 | |
| US9606886B2 (en) | Method and device for measuring system performance in real time | |
| CN110647542B (zh) | 一种数据获取方法和装置 | |
| CN106383668A (zh) | 一种信息存储方法、存储管理设备及客户端 | |
| CN102098170B (zh) | 一种数据采集优化方法及系统 | |
| CN111552664A (zh) | 存储系统冷热智能调度的方法、存储介质 | |
| CN101001174A (zh) | 一种在网元管理系统中实现集中调度的方法及系统 | |
| CN112181498A (zh) | 并发控制方法、装置和设备 | |
| CN110502543A (zh) | 设备性能数据存储方法、装置、设备和存储介质 | |
| CN111026527A (zh) | 一种处理海量定时任务的分发执行系统 | |
| CN110825732A (zh) | 数据查询方法、装置、计算机设备和可读存储介质 | |
| CN112003900B (zh) | 实现分布式系统中高负载场景下服务高可用的方法、系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| ASS | Succession or assignment of patent right |
Owner name: INST OF TELECOMMUNICATION SCIENCE AND TECHNOLGOY Free format text: FORMER OWNER: DATANG MOBILE COMMUNICATION EQUIPMENT CO., LTD. Effective date: 20110509 Free format text: FORMER OWNER: DATANG MOBILE COMMUNICATION EQUIPMENT CO., LTD., SHANGHAI |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20110509 Address after: 100083 No. 40, Haidian District, Beijing, Xueyuan Road Patentee after: CHINA ACADEMY OF TELECOMMUNICATIONS TECHNOLOGY Address before: 100083 No. 40, Haidian District, Beijing, Xueyuan Road Co-patentee before: SHANGHAI DATANG MOBILE COMMUNICATIONS EQUIPMENT Co.,Ltd. Patentee before: DATANG MOBILE COMMUNICATIONS EQUIPMENT Co.,Ltd. |
|
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20060315 Assignee: TENTH INSTITUTE OF TELECOMMUNICATIONS TECHNOLOGY Assignor: CHINA ACADEMY OF TELECOMMUNICATIONS TECHNOLOGY Contract record no.: 2015990000346 Denomination of invention: Mass performance data statistical method in network element management system Granted publication date: 20090429 License type: Exclusive License Record date: 20150520 |
|
| LICC | Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 100083 No. 40, Haidian District, Beijing, Xueyuan Road Patentee after: CHINA ACADEMY OF TELECOMMUNICATIONS TECHNOLOGY Address before: 100083 No. 40, Haidian District, Beijing, Xueyuan Road Patentee before: CHINA ACADEMY OF TELECOMMUNICATIONS TECHNOLOGY |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210607 Address after: 100085 1st floor, building 1, yard 5, Shangdi East Road, Haidian District, Beijing Patentee after: DATANG MOBILE COMMUNICATIONS EQUIPMENT Co.,Ltd. Address before: 100083 No. 40, Haidian District, Beijing, Xueyuan Road Patentee before: CHINA ACADEMY OF TELECOMMUNICATIONS TECHNOLOGY |