CN102739439B - 网络通信管理系统及其数据传输处理方法和网管服务器 - Google Patents
网络通信管理系统及其数据传输处理方法和网管服务器 Download PDFInfo
- Publication number
- CN102739439B CN102739439B CN201210136811.5A CN201210136811A CN102739439B CN 102739439 B CN102739439 B CN 102739439B CN 201210136811 A CN201210136811 A CN 201210136811A CN 102739439 B CN102739439 B CN 102739439B
- Authority
- CN
- China
- Prior art keywords
- data transmission
- server
- performance data
- strategy
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种网络通信管理系统及其数据传输处理方法和网管服务器,所述系统包括:若干个网元设备,还包括:文件服务器,用于接收和存储各网元设备定期发送的性能数据;网管服务器用于定时监测CPU使用率、内存使用率以及待处理的告警数据的数量;若根据监测结果确定的数据传输处理策略为暂停性能数据传输处理策略,则网管服务器暂停向所述文件服务器发送访问请求获取性能数据。网管服务器对系统性能、待处理的告警数据进行监测,以判定系统的处理能力是否不足,并根据监测结果自适应调整数据传输处理策略,在处理能力严重不足时采取暂停性能数据传输处理策略,从而及时处理告警数据,保证网管系统性能的稳定或尽快恢复稳定。
Description
技术领域
本发明涉及通信领域技术,尤其涉及一种网络通信管理系统及其数据传输处理方法和网管服务器。
背景技术
网络通信管理系统通常分为网管侧和网元侧两部分。其中,网管侧的网管服务器往往管理成百上千个网元,分析网元的性能数据,处理网元上报的告警数据。网元侧有多个网元,各个网元直接或者若干网元组成一组通过网元代理的方式,将网元产生的告警数据发送给网管侧的网管服务器。网管服务器接收并处理这些告警数据,一个网管服务器可能对应多个网元或网元代理。由于网元或网元代理只是不同组网方式下的概念,其功能是相同的,因此以下将网元以及网元代理统称为网元设备。网管服务器主要是通过传输和处理网元设备的网元数据来管理网元设备,网元设备的网元数据包括四类数据:心跳数据、配置数据、告警数据、性能数据。
一般来说,网元设备针对每个发生的告警生成相应的告警数据发送给网管服务器,网管服务器将接收到的每条告警数据进行缓存,并依次处理每条告警数据。网管侧的告警接收和处理能力能够应对这种正常情况的网元告警。但是在一些特殊情况下会产生告警风暴,导致网元侧的告警发送与网管侧的告警接收和处理会严重不对称。例如,网元侧由于某些原因出现大面积的故障,导致告警数量急剧增加,网元设备发送的告警数据也随之大量增加。这就很容易导致网路的堵塞、告警的丢失,以及网管侧缓存中积累的告警数据量过大,从而影响了告警处理的及时性。再比如,网管侧部分设备出现故障,告警数据接收和处理的任务转移到尚能正常运行的网管设备上,导致网管侧的某些网管服务器处理任务大大增加,众多的告警数据拥堵在网路上,或者已接收待处理的告警数据积累和排列过多,也会导致告警处理的及时性得不到保证。
本发明的发明人进行分析发现:网元向网管传输的数据中,其中性能数据的数据量较大。网管服务器对网元设备进行性能管理是非常重要的一个部分,其主要功能在于收集系统内各网元上传的性能数据,对其进行查询分析,以掌握各网元的运行状态,给用户提供整个网络运行状态的报告和性能告警的提示。网管服务器要分析网络性能数据,就需要定期采集网络上所有网元设备的性能数据。网管服务器采集各网元的性能数据的方式通常有两种。一种是网元设备在性能管理的每个周期内主动向网管服务器上传性能数据;另一种是网管服务器定时向网元设备发送查询命令,网元设备根据查询命令上传性能数据。然而,当告警风暴发生时,网管服务器的处理能力严重不足,此时接收和处理性能数据就更加导致网络通信管理系统(简称网管系统)性能下降。而且,由于性能数据的数据量非常大,传输时间的跨度大,在此期间网管服务器无法及时处理告警数据,从而更进一步使网管系统性能急剧下降。
发明内容
本发明实施例提供了一种网络通信管理系统及其数据传输处理方法和网管服务器,用以根据网管服务器的系统性能情况,自适应调整数据传输处理策略,以保证告警数据处理的及时性,从而保证网管系统性能的稳定或尽快恢复稳定。
根据本发明的一个方面,提供了一种网络通信管理系统,包括至少一个网元设备,还包括:
文件服务器,用于接收和存储各网元设备定期发送的性能数据;
网管服务器,用于获取、处理各网元设备的网元数据:从所述文件服务器获取各网元设备的性能数据并进行处理,从各相应网元设备分别获取各网元设备的其它网元数据并进行处理;
所述网管服务器还用于定时监测CPU使用率、内存使用率以及待处理的告警数据的数量;根据监测结果确定数据传输处理策略,若确定的数据传输处理策略为暂停性能数据传输处理策略,则网管服务器暂停向所述文件服务器发送访问请求获取性能数据。
其中,所述网管服务器根据监测结果确定数据传输处理策略具体包括:
所述网管服务器在所述监测结果满足第一条件时,确定所述数据传输处理策略为暂停性能数据传输处理策略;
所述第一条件为:所述CPU使用率超过设定的第一阈值,或者所述内存使用率超过设定的第二阈值,或者所述数量超过设定的第三阈值。
进一步,所述网管服务器根据监测结果确定数据传输处理策略具体还包括:
所述网管服务器在所述监测结果不满足第一条件时,确定所述数据传输处理策略为正常数据传输处理策略;以及,
所述网管服务器还用于若确定的数据传输处理策略为正常数据传输处理策略,则网管服务器恢复向所述文件服务器定期发送访问请求获取性能数据进行处理。
或者,所述网管服务器根据监测结果确定数据传输处理策略具体还包括:
所述网管服务器在所述监测结果不满足第一条件,但是满足第二条件时,确定所述数据传输处理策略为正常数据传输处理策略;以及,
所述网管服务器还用于若确定的数据传输处理策略为正常数据传输处理策略,则网管服务器恢复向所述文件服务器定期发送访问请求获取性能数据进行处理,并且设置性能数据获取周期等于设定的标准周期,所述性能数据获取周期为所述网管服务器定期发送访问请求的周期;
其中,所述第二条件为:所述CPU使用率不超过设定的第四阈值,并且所述内存使用率不超过设定的第五阈值,并且所述数量不超过设定的第六阈值;
其中,第四阈值小于第一阈值;第五阈值小于第二阈值第六阈值小于第三阈值。
进一步,所述网管服务器根据监测结果确定数据传输处理策略具体还包括:
所述网管服务器在所述监测结果不满足第一条件,也不满足第二条件时,确定所述数据传输处理策略为延缓性能数据传输处理策略;以及,
所述网管服务器还用于若确定的数据传输处理策略为延缓性能数据传输处理策略,则增大所述性能数据获取周期,并根据增大后的性能数据获取周期向所述文件服务器定期发送访问请求获取性能数据进行处理。
根据本发明的另一个方面,还提供了一种数据传输处理方法,包括:
网管服务器定时监测CPU使用率、内存使用率以及待处理的告警数据的数量,并根据监测结果确定数据传输处理策略;
若确定的数据传输处理策略为暂停性能数据传输处理策略,所述网管服务器暂停向文件服务器或各网元设备发送访问请求获取性能数据。
其中,所述根据监测结果确定数据传输处理策略具体包括:
若所述监测结果满足第一条件,则确定所述数据传输处理策略为暂停性能数据传输处理策略;
所述第一条件为:所述CPU使用率超过设定的第一阈值,或者所述内存使用率超过设定的第二阈值,或者所述数量超过设定的第三阈值。
进一步,所述根据监测结果确定数据传输处理策略具体还包括:
若所述监测结果不满足第一条件,则确定所述数据传输处理策略为正常数据传输处理策略;以及所述方法还包括:
若确定的数据传输处理策略为正常数据传输处理策略,则网管服务器恢复向所述文件服务器定期发送访问请求获取性能数据进行处理。
或者,所述根据监测结果确定数据传输处理策略具体还包括:
若所述监测结果不满足第一条件,但是满足第二条件,则确定所述数据传输处理策略为正常数据传输处理策略;以及所述方法还包括:
若确定的数据传输处理策略为正常数据传输处理策略,则网管服务器恢复向所述文件服务器定期发送访问请求获取性能数据进行处理,并且设置性能数据获取周期等于设定的标准周期,所述性能数据获取周期为所述网管服务器定期发送访问请求的周期;
其中,所述第二条件为:所述CPU使用率不超过设定的第四阈值,并且所述内存使用率不超过设定的第五阈值,并且所述数量不超过设定的第六阈值;
其中,第四阈值小于第一阈值;第五阈值小于第二阈值第六阈值小于第三阈值。
进一步,所述根据监测结果确定数据传输处理策略具体还包括:
若所述监测结果既不满足第一条件,也不满足第二条件,则确定所述数据传输处理策略为延缓性能数据传输处理策略;以及所述方法还包括:
若确定的数据传输处理策略为延缓性能数据传输处理策略,则增大所述性能数据获取周期,并根据增大后的性能数据获取周期向所述文件服务器定期发送访问请求获取性能数据进行处理。
根据本发明的另一个方面,还提供了一种网管服务器,包括:
监测模块,用于定时监测CPU使用率、内存使用率以及待处理的告警数据的数量,获得监测结果;
策略确定模块,用于根据所述监测结果确定数据传输处理策略;
策略执行模块,用于若所述策略确定模块确定的数据传输处理策略为暂停性能数据传输处理策略,则暂停向文件服务器或各网元设备发送访问请求获取性能数据。
其中,所述策略确定模块具体用于在所述监测结果满足第一条件时,确定所述数据传输处理策略为暂停性能数据传输处理策略;其中,第一条件为:所述CPU使用率超过设定的第一阈值,或者所述内存使用率超过设定的第二阈值,或者所述数量超过设定的第三阈值。
进一步,所述策略确定模块还用于若所述监测结果不满足第一条件,则确定所述数据传输处理策略为正常数据传输处理策略;以及
所述策略执行模块还用于若所述策略确定模块确定的数据传输处理策略为正常数据传输处理策略,则网管服务器恢复向所述文件服务器定期发送访问请求获取性能数据进行处理。
或者,所述策略确定模块还用于若所述监测结果不满足第一条件,但是满足第二条件,则确定所述数据传输处理策略为正常数据传输处理策略;其中,第二条件为:所述CPU使用率不超过设定的第四阈值,并且所述内存使用率不超过设定的第五阈值,并且所述数量不超过设定的第六阈值;其中,第四阈值小于第一阈值;第五阈值小于第二阈值第六阈值小于第三阈值;以及
所述策略执行模块还用于若所述策略确定模块确定的数据传输处理策略为正常数据传输处理策略,则网管服务器恢复向所述文件服务器定期发送访问请求获取性能数据进行处理,并且设置性能数据获取周期等于设定的标准周期,所述性能数据获取周期为所述网管服务器定期发送访问请求的周期。
进一步,所述策略确定模块还用于若所述监测结果既不满足第一条件,也不满足第二条件,则确定所述数据传输处理策略为延缓性能数据传输处理策略;
所述策略执行模块还用于若确定的数据传输处理策略为延缓性能数据传输处理策略,则增大所述性能数据获取周期,并根据增大后的性能数据获取周期向所述文件服务器定期发送访问请求获取性能数据进行处理。
本发明实施例的网管服务器对系统性能、需要尽快处理的任务,如待处理的告警数据进行监测,以判定系统的处理能力是否不足,并根据监测结果自适应调整数据传输处理策略,在处理能力严重不足时采取暂停性能数据传输处理策略,从而及时处理告警数据,保证网管系统性能的稳定或尽快恢复稳定。
附图说明
图1为本发明一个实施例的网络通信管理系统示意图;
图2为本发明另一个实施例的网络通信管理系统示意图;
图3a为本发明实施例的网管服务器与网元设备之间数据传输处理方法流程图;
图3b为本发明实施例的延缓性能数据传输处理策略中网管服务器操作步骤示意图;
图4为本发明实施例的网管服务器的内部结构框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下参照附图并举出优选实施例,对本发明进一步详细说明。然而,需要说明的是,说明书中列出的许多细节仅仅是为了使读者对本发明的一个或多个方面有一个透彻的理解,即便没有这些特定的细节也可以实现本发明的这些方面。
本申请使用的“模块”、“系统”等术语旨在包括与计算机相关的实体,例如但不限于硬件、固件、软硬件组合、软件或者执行中的软件。例如,模块可以是,但并不仅限于:处理器上运行的进程、处理器、对象、可执行程序、执行的线程、程序和/或计算机。举例来说,计算设备上运行的应用程序和此计算设备都可以是模块。一个或多个模块可以位于执行中的一个进程和/或线程内,一个模块也可以位于一台计算机上和/或分布于两台或更多台计算机之间。
本发明中,网管侧的网管服务器对自身的系统性能情况进行监测,根据监测结果决定数据传输处理策略。网管服务器根据自适应调整数据传输处理策略,进行不同的数据传输处理操作,以保证告警数据处理的及时性,从而保证网管系统性能的稳定或尽快恢复稳定。当根据监测结果确定出网管服务器处于处理能力不足状态下,网管服务器可以采取暂停性能数据传输处理策略,以暂停定时获取、处理性能数据的操作;或者,网管服务器可以采取延缓性能数据传输处理策略,以延缓定时获取、处理性能数据的操作。若根据监测结果确定出网管服务器恢复到正常处理能力状态后,网管服务器将采取正常数据传输处理策略,恢复对性能数据的定时获取与处理。
下面结合附图详细说明本发明实施例的技术方案。此处先介绍一下两种不同结构的网管系统中,网管服务器在正常处理能力状态下采取正常数据传输处理策略时,获取、处理各网元设备的网元数据的方式。
在如图1所示的网管系统中,包括:至少一个网元设备以及管理各网元设备的网管服务器。网管服务器用于获取、处理各网元设备的网元数据以实现对网元设备的管理。网管服务器在正常处理能力状态下可以定时地直接从各网元设备获取性能数据并进行处理。
在如图2所示的网管系统中,包括:文件服务器、至少一个网元设备以及管理各网元设备的网管服务器。网管服务器根据正常数据传输处理策略定时地从文件服务器获取性能数据并进行处理。文件服务器中的性能数据为各网元设备定期上传的。也就是说,各网元设备在采集了性能数据后先定期发送到文件服务器,文件服务器对各网元设备的性能数据进行接收和存储。网管服务器正常数据传输处理策略定期访问文件服务器,从文件服务器中获取各相应网元设备的性能数据。这样,网管服务器获取、处理各网元设备的网元数据的方式具体为:网管服务器从文件服务器获取各网元设备的性能数据并进行处理,从各网元设备分别获取各网元设备的其它网元数据(如心跳数据、配置数据、告警数据)并进行处理。网管服务器从文件服务器获取各网元设备的性能数据,避免了与各网元设备进行交互获取性能数据,节约了网管服务器获取性能数据所耗时间,提高了网管服务器获取性能数据的效率,提高了整个网管系统的性能稳定性。
进一步,网元设备定期采集的性能数据可以存储为CSV格式的文件中。存储在CSV格式文件中的性能数据如下所示,这种格式的优点是:数据可读性强,可以批量传输、读取和存储。
machine_code,ne_id,param_name,param_value,chk_tm
100,100,VOD_COUNT,600,1318435200000
100,100,VOD_COUNT,600,1318435215000
100,100,VOD_COUNT,600,1318435230000
100,100,VOD_COUNT,600,1318435245000
100,100,VOD_COUNT,600,1318435260000
100,100,VOD_COUNT,600,1318435275000
……
100,100,VOD_COUNT,600,1318435375000
100,100,VOD_COUNT,600,1318435375000
网元设备将一段时间内采集的性能数据存储到一个CSV格式的文件中,并将CSV格式的文件定期向文件服务器发送。这样性能数据的传输就是一个单独的通道,数据量再大也不会影响到网元设备的心跳数据、配置数据、告警数据向网管服务器的传输。
不论是图1所示的网管系统,还是图2所示的网管系统,其网管服务器都可以采用如下所述的自适应调整数据传输处理策略的数据传输处理方法,以保证告警数据处理的及时性,从而保证网管系统性能的稳定或尽快恢复稳定。
如图3所示,在步骤S301,网管服务器定时监测本服务器的系统情况,得到监测结果。
网管服务器根据设定的监测周期,定时监测本服务器的系统情况。通过对网管系统的分析可知,告警数据的及时处理对于保证整个网管系统的性能稳定非常重要。因此,网管服务器定时监测的系统情况中,除包括直接反映网管服务器处理能力的CPU使用率与内存使用率外,还监测网管服务器从网元设备处接收的、待处理的告警数据的数量。如果网管服务器中待处理的告警数据的数量急剧增加,则表明网管服务器将有大量的告警数据需要尽快处理。在此情况下,网管服务器不适宜在后续的时间段内花费过多时间进行其它网元数据,如性能数据的传输与处理。
网管服务器定时监测本服务器的CPU使用率、内存使用率以及待处理的告警数据的数量,得到监测结果。本领域技术人员可以根据实际情况来设定监测周期,例如可以设定监测周期为5分钟。
在步骤S302,网管服务器根据监测结果,确定相应的数据传输处理策略。
网管服务器根据监测结果,可以判定出下个监测周期内网管服务器自身的处理能力状态。根据判定出的处理能力状态,可以确定出相应的数据传输处理策略。
例如,监测结果中若CPU使用率超过设定的第一阈值(假设为80%),说明网管服务器CPU使用率非常高,处理的任务非常多,网管服务器的处理能力可能严重不足。本领域技术人员可以根据实际情况来设定第一阈值。
再如,监测结果中若内存使用率超过设定的第二阈值(假设为80%),说明网管服务器内存使用率非常高,处理的任务中占有的内存多,剩余可使用的内存少,导致网管服务器的处理能力严重不足。本领域技术人员可以根据实际情况来设定第二阈值。
再如,监测结果中若待处理的告警数据的数量超过设定的第三阈值(假设为300),说明网管服务器需要尽快处理大量的告警数据,这会导致后续的处理能力紧张,因此,网管服务器的处理能力也会处于严重不足的状态。
因此,根据对CPU使用率、内存使用率以及待处理的告警数据的数量进行监测的监测结果,可以判定出网管服务器的处理能力状态。也就是说,根据监测结果可以判定出下个监测周期内网管服务器自身的处理能力状态。
一种根据监测结果确定相应的数据传输处理策略的方案可以是:
先将网管服务器的处理能力状态分为:处理能力正常状态和处理能力严重不足状态。在处理能力正常状态下,确定数据传输处理策略为正常数据传输处理策略;在处理能力严重不足状态下,确定数据传输处理策略为暂停性能数据传输处理策略。
根据本发明,网管服务器的处理能力状态可以分为处理能力正常状态和处理能力严重不足状态。在这种情况下,根据监测结果是否满足第一条件来确定网管服务器的处理能力,以及相应的数据传输处理策略。具体地,若监测结果满足第一条件,则判定网管服务器的处理能力状态为处理能力严重不足状态,相应地确定数据传输处理策略为暂停性能数据传输处理策略。其中,第一条件为:CPU使用率超过设定的第一阈值,或者内存使用率超过设定的第二阈值,或者待处理的告警数据的数量超过设定的第三阈值。
若监测结果不满足上述第一条件,则判定网管服务器的处理能力状态为处理能力正常状态,相应地确定数据传输处理策略为正常数据传输处理策略。
根据本发明,网管服务器的处理能力还可以分为处理能力正常状态、处理能力不足状态和处理能力严重不足状态。在处理能力正常状态下,确定数据传输处理策略为正常数据传输处理策略;在处理能力不足状态下,确定数据传输处理策略为延缓性能数据传输处理策略;在处理能力严重不足状态下,确定数据传输处理策略为暂停性能数据传输处理策略。
在网管服务器的处理能力分为处理能力正常状态、处理能力不足状态和处理能力严重不足状态情况下,根据监测结果是否满足第一条件和第二条件来确定网管服务器的处理能力,以及相应的数据传输处理策略。具体地,若监测结果满足上述第一条件,则判定网管服务器的处理能力状态为处理能力严重不足状态,也就相应确定了数据传输处理策略为暂停性能数据传输处理策略。
若监测结果不满足上述第一条件,但是满足第二条件,则判定网管服务器的处理能力状态为处理能力正常状态,也就相应确定了数据传输处理策略为正常数据传输处理策略。第二条件为:CPU使用率不超过设定的第四阈值,并且内存使用率不超过设定的第五阈值,并且待处理的告警数据的数量不超过设定的第六阈值。其中,第四阈值小于第一阈值;第五阈值小于第二阈值;第六阈值小于第三阈值。本领域技术人员可以根据实际情况设置第四阈值、第五阈值、第六阈值。
若监测结果既不满足上述第一条件也不满足上述第二条件,则判定网管服务器的处理能力状态为处理能力不足状态,也就相应确定了数据传输处理策略为延缓性能数据传输处理策略。
显然,本领域技术人员可以根据本发明实施例公开的内容,可以根据监测结果将网管服务器的处理能力状态划分为其它更多种类的状态,并相应确定其它更多的传输处理策略,而不脱离本发明的原理。
在步骤S303,网管服务器根据确定的数据传输处理策略,进行相应的数据传输处理操作。
如果确定的数据传输处理策略为正常数据传输处理策略,网管服务器定时地获取性能数据并进行处理。具体地,对于图1所示的网管系统,若确定的数据传输处理策略为正常数据传输处理策略,网管服务器定期从各网元设备获取性能数据并进行处理。对于图2所示的网管系统,若确定的数据传输处理策略为正常数据传输处理策略,网管服务器定期从文件服务器获取性能数据并进行处理。较佳地,本发明提供了网管服务器定时地获取性能数据并进行处理的一种方式。具体地,网管服务器中设置有一个性能数据获取和处理的线程,并且为所述线程设置有一性能数据获取定时器。该性能数据获取定时器进行计时,当计时达到预先设置的性能数据获取周期时,触发性能数据获取和处理的线程:网管服务器向文件服务器或各网元设备发送访问请求,并获取其上的性能数据,进行性能数据批量的读取和入库处理。在处理能力正常的情况下,网管服务器采用正常数据传输处理策略,可以正常地进行网元数据的获取与处理,其中包括对性能数据的定期获取与处理。
如果确定的数据传输处理策略为暂停性能数据传输处理策略,则网管服务器在所述获取、处理各网元设备的网元数据过程中暂停发送访问请求获取性能数据。具体地,对于图1所示的网管系统,在确定数据传输处理策略为暂停性能数据传输处理策略后,网管服务器在所述获取、处理各网元设备的网元数据过程中暂停向各网元设备发送访问请求获取性能数据。对于图2所示的网管系统,在确定数据传输处理策略为暂停性能数据传输处理策略后,网管服务器在所述获取、处理各网元设备的网元数据过程中暂停向文件服务器发送访问请求获取性能数据。较佳地,根据本发明,网管服务器暂停发送访问请求获取性能数据的一种方式为:网管服务器停止性能数据获取定时器以及性能数据获取和处理的线程,性能数据获取定时器将不进行计时,也就不再触发性能数据获取和处理的线程,网管服务器也就不再向文件服务器或各网元设备发送访问请求,获取性能数据进行读取和处理。网管服务器采用暂停性能数据传输处理策略后,在处理能力严重不足的情况下,可以及时处理告警数据,从而保证网管系统性能的稳定或尽快恢复稳定。
对于数据传输处理策略中具有延缓性能数据传输处理策略的方案,性能数据获取周期的值可以根据不同的数据传输处理策略而进行改变。例如,正常数据传输处理策略中网管服务器设置性能数据获取周期等于设定的标准周期(如1分钟),延缓性能数据传输处理策略中性能数据获取周期则取值为较大周期值(如3分钟),以使得网管服务器可以从性能数据传输处理中转移出更多的资源或处理能力用于其它更为迫切需要处理的任务,如告警消息的处理。如果确定的数据传输处理策略为延缓性能数据传输处理策略,网管服务器的操作步骤如图3b所示,包括:步骤S311网管服务器增大性能数据获取周期,即将性能数据获取周期取值为较大值;之后执行步骤S312根据增大后的性能数据获取周期向所述文件服务器或各网元设备定期发送访问请求获取性能数据进行处理。在处理能力不足的情况下,网管服务器采用延缓性能数据传输处理策略后,可以将更多的资源和处理能力从性能数据获取与处理中移出,用于及时处理告警数据或其它事务,从而保证网管系统性能的稳定或尽快恢复稳定。若网管服务器的处理能力恢复正常,当根据监测结果确定的数据传输处理策略恢复为正常数据传输处理策略后,网管服务器将性能数据获取周期恢复设置为标准周期,并在所述获取、处理各网元设备的网元数据过程中,根据等于标准周期的性能数据获取周期向文件服务器或各网元设备定期发送访问请求获取性能数据进行处理,以继续对性能数据进行处理。
本发明实施例提供的网管服务器的一种内部结构如图4所示,包括:监测模块401、策略确定模块402、策略执行模块403。
监测模块401用于定时监测CPU使用率、内存使用率以及待处理的告警数据的数量,获得监测结果。在所述监测结果满足第一条件时,监测模块401确定所述数据传输处理策略为暂停性能数据传输处理策略;其中,第一条件为:所述CPU使用率超过设定的第一阈值,或者所述内存使用率超过设定的第二阈值,或者所述数量超过设定的第三阈值。
策略确定模块402用于根据监测模块401获得的监测结果确定数据传输处理策略;策略执行模块403用于若策略确定模块402确定的数据传输处理策略为暂停性能数据传输处理策略,则暂停向文件服务器或各网元设备发送访问请求获取性能数据。
进一步,策略确定模块402还用于若监测模块401获得的监测结果不满足第一条件,则确定所述数据传输处理策略为正常数据传输处理策略;相应地,策略执行模块403在策略确定模块402确定出数据传输处理策略为正常数据传输处理策略后,恢复向所述文件服务器定期发送访问请求获取性能数据进行处理。
或者,策略确定模块402还用于若所述监测结果既不满足第一条件,但是满足第二条件,则确定所述数据传输处理策略为正常数据传输处理策略;其中,第二条件为:所述CPU使用率不超过设定的第四阈值,并且所述内存使用率不超过设定的第五阈值,并且所述数量不超过设定的第六阈值;其中,第四阈值小于第一阈值;第五阈值小于第二阈值第六阈值小于第三阈值。
相应地,策略执行模块403在策略确定模块402确定的数据传输处理策略为正常数据传输处理策略之后,恢复向所述文件服务器定期发送访问请求获取性能数据进行处理,并且设置性能数据获取周期等于设定的标准周期,所述性能数据获取周期为所述网管服务器定期发送访问请求的周期。
策略确定模块402还用于若所述监测结果既不满足第一条件,也不满足第二条件,则确定所述数据传输处理策略为延缓性能数据传输处理策略;相应地,策略执行模块403在策略确定模块402确定的数据传输处理策略为延缓性能数据传输处理策略后,增大所述性能数据获取周期,并根据增大后的性能数据获取周期向所述文件服务器定期发送访问请求获取性能数据进行处理。
本发明实施例的网管服务器中的各模块所涉及的具体工作过程,可以参考上述图3所示的网管服务器的数据传输处理方法所公开的相关内容,此处不再赘述。
本发明实施例的网管服务器对系统性能、需要尽快处理的任务,如待处理的告警数据进行监测,以判定系统的处理能力是否不足,并根据监测结果自适应调整数据传输处理策略,在处理能力严重不足时采取暂停性能数据传输处理策略,从而及时处理告警数据,保证网管系统性能的稳定或尽快恢复稳定。
进一步,对于处理能力不足,但还没达到严重不足的情况,网管服务器根据监测结果自适应调整数据传输处理策略为延缓性能数据传输处理策略,以将更多的资源和处理能力从性能数据获取与处理中移出,用于及时处理告警数据或其它事务,从而保证网管系统性能的稳定。
进一步,在处理能力恢复正常后,网管服务器根据监测结果自适应调整数据传输处理策略为正常数据传输处理策略,继续对性能数据进行处理。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述程序可以存储于一计算机可读取存储介质中,如:ROM/RAM、磁碟、光盘等。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.一种网络通信管理系统,包括至少一个网元设备,还包括:
文件服务器,用于接收和存储各网元设备定期发送的性能数据;
网管服务器,用于获取、处理各网元设备的网元数据:从所述文件服务器获取各网元设备的性能数据并进行处理,从各网元设备分别获取各相应网元设备的其它网元数据并进行处理;
所述网管服务器还用于定时监测CPU使用率、内存使用率以及待处理的告警数据的数量;根据监测结果确定数据传输处理策略,所述网管服务器在监测结果满足第一条件时,确定数据传输处理策略为暂停性能数据传输处理策略;若确定的数据传输处理策略为暂停性能数据传输处理策略,则网管服务器暂停向所述文件服务器发送访问请求获取性能数据;其中,所述第一条件为:所述CPU使用率超过设定的第一阈值,或者所述内存使用率超过设定的第二阈值,或者所述数量超过设定的第三阈值;
所述网管服务器在所述监测结果不满足第一条件,但是满足第二条件时,确定所述数据传输处理策略为正常数据传输处理策略;所述网管服务器还用于若确定的数据传输处理策略为正常数据传输处理策略,则网管服务器恢复向所述文件服务器定期发送访问请求获取性能数据进行处理,并且设置性能数据获取周期等于设定的标准周期,所述性能数据获取周期为所述网管服务器定期发送访问请求的周期;其中,所述第二条件为:所述CPU使用率不超过设定的第四阈值,并且所述内存使用率不超过设定的第五阈值,并且所述数量不超过设定的第六阈值;第四阈值小于第一阈值,第五阈值小于第二阈值,第六阈值小于第三阈值。
2.如权利要求1所述的系统,其特征在于,所述网管服务器根据监测结果确定数据传输处理策略具体还包括:
所述网管服务器在所述监测结果既不满足第一条件,也不满足第二条件时,确定所述数据传输处理策略为延缓性能数据传输处理策略;以及,
所述网管服务器还用于若确定的数据传输处理策略为延缓性能数据传输处理策略,则增大所述性能数据获取周期,并根据增大后的性能数据获取周期向所述文件服务器定期发送访问请求获取性能数据进行处理。
3.一种数据传输处理方法,包括:
网管服务器定时监测CPU使用率、内存使用率以及待处理的告警数据的数量,并根据监测结果确定数据传输处理策略,若所述监测结果满足第一条件,则确定所述数据传输处理策略为暂停性能数据传输处理策略;
若确定的数据传输处理策略为暂停性能数据传输处理策略,所述网管服务器暂停向文件服务器或各网元设备发送访问请求获取性能数据;其中,所述第一条件为:所述CPU使用率超过设定的第一阈值,或者所述内存使用率超过设定的第二阈值,或者所述数量超过设定的第三阈值;
若所述监测结果不满足第一条件,但是满足第二条件,则确定所述数据传输处理策略为正常数据传输处理策略;
若确定的数据传输处理策略为正常数据传输处理策略,则网管服务器恢复向所述文件服务器定期发送访问请求获取性能数据进行处理,并且设置性能数据获取周期等于设定的标准周期,所述性能数据获取周期为所述网管服务器定期发送访问请求的周期;其中,所述第二条件为:所述CPU使用率不超过设定的第四阈值,并且所述内存使用率不超过设定的第五阈值,并且所述数量不超过设定的第六阈值;第四阈值小于第一阈值,第五阈值小于第二阈值,第六阈值小于第三阈值。
4.如权利要求3所述的方法,其特征在于,所述根据监测结果确定数据传输处理策略具体还包括:
若所述监测结果既不满足第一条件,也不满足第二条件,则确定所述数据传输处理策略为延缓性能数据传输处理策略;以及所述方法还包括:
若确定的数据传输处理策略为延缓性能数据传输处理策略,则增大所述性能数据获取周期,并根据增大后的性能数据获取周期向所述文件服务器定期发送访问请求获取性能数据进行处理。
5.一种网管服务器,包括:
监测模块,用于定时监测CPU使用率、内存使用率以及待处理的告警数据的数量,获得监测结果;
策略确定模块,用于根据所述监测结果确定数据传输处理策略,在所述监测结果满足第一条件时,确定所述数据传输处理策略为暂停性能数据传输处理策略;其中,第一条件为:所述CPU使用率超过设定的第一阈值,或者所述内存使用率超过设定的第二阈值,或者所述数量超过设定的第三阈值;
策略执行模块,用于若所述策略确定模块确定的数据传输处理策略为暂停性能数据传输处理策略,则暂停向文件服务器或各网元设备发送访问请求获取性能数据;
所述策略确定模块还用于若所述监测结果不满足第一条件,但是满足第二条件,则确定所述数据传输处理策略为正常数据传输处理策略;其中,第二条件为:所述CPU使用率不超过设定的第四阈值,并且所述内存使用率不超过设定的第五阈值,并且所述数量不超过设定的第六阈值;第四阈值小于第一阈值,第五阈值小于第二阈值,第六阈值小于第三阈值;
所述策略执行模块还用于若所述策略确定模块确定的数据传输处理策略为正常数据传输处理策略,则网管服务器恢复向所述文件服务器定期发送访问请求获取性能数据进行处理,并且设置性能数据获取周期等于设定的标准周期,所述性能数据获取周期为所述网管服务器定期发送访问请求的周期。
6.如权利要求5所述的服务器,其特征在于,
所述策略确定模块还用于若所述监测结果既不满足第一条件,也不满足第二条件,则确定所述数据传输处理策略为延缓性能数据传输处理策略;
所述策略执行模块还用于若确定的数据传输处理策略为延缓性能数据传输处理策略,则增大所述性能数据获取周期,并根据增大后的性能数据获取周期向所述文件服务器定期发送访问请求获取性能数据进行处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210136811.5A CN102739439B (zh) | 2012-05-04 | 2012-05-04 | 网络通信管理系统及其数据传输处理方法和网管服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210136811.5A CN102739439B (zh) | 2012-05-04 | 2012-05-04 | 网络通信管理系统及其数据传输处理方法和网管服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102739439A CN102739439A (zh) | 2012-10-17 |
CN102739439B true CN102739439B (zh) | 2015-02-04 |
Family
ID=46994269
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210136811.5A Active CN102739439B (zh) | 2012-05-04 | 2012-05-04 | 网络通信管理系统及其数据传输处理方法和网管服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102739439B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105471636B (zh) * | 2015-11-20 | 2018-10-12 | 上海斐讯数据通信技术有限公司 | 一种读取网络设备的信息的方法及系统 |
CN106210098A (zh) * | 2016-07-20 | 2016-12-07 | 努比亚技术有限公司 | 一种监控方法、监控装置和推送服务器 |
CN107124318A (zh) * | 2017-06-02 | 2017-09-01 | 郑州云海信息技术有限公司 | 一种告警转发方法和装置 |
CN110309225B (zh) * | 2018-03-19 | 2023-05-16 | 华为云计算技术有限公司 | 数据处理方法及系统 |
CN112799856A (zh) * | 2019-11-14 | 2021-05-14 | 华为技术有限公司 | 一种用于获取数据的方法及装置 |
CN112215733A (zh) * | 2020-10-22 | 2021-01-12 | 江苏欧帝电子科技有限公司 | 一种基于黑板的校园信息化系统及处理方法 |
CN113626300A (zh) * | 2021-08-03 | 2021-11-09 | 上海上讯信息技术股份有限公司 | 一种日志管理方法及设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101146034A (zh) * | 2007-04-18 | 2008-03-19 | 中兴通讯股份有限公司 | 一种smn报文控制方法 |
CN101242298A (zh) * | 2007-02-07 | 2008-08-13 | 中兴通讯股份有限公司 | 一种网管性能管理的接口方法及系统 |
CN101316187A (zh) * | 2007-06-01 | 2008-12-03 | 杭州华三通信技术有限公司 | 网络管理方法和网络管理系统 |
CN102075348A (zh) * | 2010-12-14 | 2011-05-25 | 深圳市金宏威实业发展有限公司 | 一种远端网络监控方法、系统及交换机 |
-
2012
- 2012-05-04 CN CN201210136811.5A patent/CN102739439B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101242298A (zh) * | 2007-02-07 | 2008-08-13 | 中兴通讯股份有限公司 | 一种网管性能管理的接口方法及系统 |
CN101146034A (zh) * | 2007-04-18 | 2008-03-19 | 中兴通讯股份有限公司 | 一种smn报文控制方法 |
CN101316187A (zh) * | 2007-06-01 | 2008-12-03 | 杭州华三通信技术有限公司 | 网络管理方法和网络管理系统 |
CN102075348A (zh) * | 2010-12-14 | 2011-05-25 | 深圳市金宏威实业发展有限公司 | 一种远端网络监控方法、系统及交换机 |
Also Published As
Publication number | Publication date |
---|---|
CN102739439A (zh) | 2012-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102739439B (zh) | 网络通信管理系统及其数据传输处理方法和网管服务器 | |
Lu et al. | Log-based abnormal task detection and root cause analysis for spark | |
EP2685380B1 (en) | Operations management unit, operations management method, and program | |
Zhang et al. | A hybrid approach to high availability in stream processing systems | |
US8381219B2 (en) | Monitoring performance on workload scheduling systems | |
CN101976217A (zh) | 网络处理器异常检测方法及系统 | |
CN104025549A (zh) | 与服务器事务延迟信息相关的技术 | |
CN101662495B (zh) | 备份方法、主服务器、备份服务器以及备份系统 | |
CN104113585A (zh) | 用于产生指示负载平衡状态的硬件级中断的方法和设备 | |
CN103095492A (zh) | 一种数据采集方法及装置 | |
CN108809760A (zh) | 数据采样系统中采样周期的控制方法和装置 | |
CN103020004B (zh) | 高速缓存非对称一致性内存访问系统的访问方法和装置 | |
CN102231673A (zh) | 用于监控业务服务器的系统和方法 | |
CN103491165A (zh) | 自动检测屏蔽的通用分布式爬虫系统 | |
US11329890B2 (en) | Network-aware workload management using artificial intelligence and exploitation of asymmetric link for allocating network resources | |
CN104407958A (zh) | 一种高可靠性的系统监测方法和系统 | |
CN109062753A (zh) | 一种硬盘监控系统以及监控方法 | |
CN102404386A (zh) | 一种保证分布式文件系统元数据服务器组的服务高可靠的方法 | |
CN104486147A (zh) | 一种设备监控系统更新监控数据的方法和装置 | |
JP2015069384A (ja) | 情報処理システム、情報処理システムの制御方法及び情報処理装置の制御プログラム | |
CN104679623A (zh) | 一种服务器硬盘的维护方法、系统及服务器监控设备 | |
CN102981939A (zh) | 磁盘监控方法 | |
CN105357026B (zh) | 一种资源信息收集方法和计算节点 | |
CN104038364A (zh) | 分布式流处理系统的容错方法、节点及系统 | |
CN109614292A (zh) | 基于shell的主机运行数据自动采集监控系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20170119 Address after: 266100 Shandong Province, Qingdao city Laoshan District Songling Road No. 399 Patentee after: Poly Polytron Technologies Inc Address before: 266061 Laoshan, Qingdao province Hongkong District No. East Road, room 248, room 131 Patentee before: Hisense Media Networks Co., Ltd. |