CN103209093B - 网元异常时的数据采集方法及系统 - Google Patents

Abstract

本发明公开了一种网元异常时的数据采集方法和系统。根据本发明，网元启动后根据预设的时间周期性地采集网元所在服务器的性能参数；网元在处理接收到的请求时发生异常，触发告警并获取已采集到的性能参数；网元将已采集到的性能参数添加时间戳及告警标识后保存。采用本发明的方法及系统，能够对服务器的关键参数进行有效地采集，同时不会损害系统的性能，提高系统的可维护性。

Description

网元异常时的数据采集方法及系统

技术领域

本发明涉及网络资源监控领域，特别涉及一种网元异常时的数据采集方法及系统。

背景技术

现有的智能电视的门户系统中，用户可通过客户端访问系统的各门户网元，通过门户网元与后台服务器网元间的交互，获得其所需的数据和/或信息。

而现有的智能电视的门户系统中，各门户网元在高并发或者后台服务网元异常时，门户网元和后台服务网元间会出现通信异常或者通信超时的情况，进而使得客户端无法通过门户网元获取其所需的数据和/或信息。在这种情况下，若不及时保存发生异常的网元所在服务器的关键参数，则会使得运维人员无法跟着定位发生异常的网元，因此，现有的智能电视的门户系统中用以监控门户网元和后台服务网元的工作状态的网元在系统中的网元发生异常时，不仅发出告警信息并且采集发生异常的网元所在服务器的关键参数，以方便运维人员定位发生异常的网元，从而更快的解决问题。

但是，现有的智能电视的门户系统中用以监控门户网元和后台服务网元的工作状态的网元在采集发生异常的网元所在服务器的关键参数，本身是一个耗费网元所在服务器性能的动作，即需要增加用以监控门户网元和后台服务网元的工作状态的网元的负载压力，而目前的参数采集和异常处理是同步进行的，换句话说，在系统中的网元发生连续异常时，就会持续触发数据采集的动作，导致系统的性能更加恶化，严重影响系统的性能，同时会存在未能有效采集服务器的关键参数而导致无法定位异常网元的可能性。

发明内容

本发明提供了一种网元异常时的数据采集方法及系统，用以使得的项目或应用得以实现。

根据本发明的一个方面，提供了一种网元异常时的数据采集方法，该方法能够提高系统性能，对服务器的关键参数进行有效地采集。

根据本发明的一个方面，提供了一种网元异常时的数据采集系统，该系统能够提高系统性能，对服务器的关键参数进行有效地采集。

本发明的目的是通过下述技术方案实现的：

本发明提供了一种网元异常时的数据采集方法，该方法包括：

A、网元启动后，根据预设的时间周期性地采集网元所在服务器的性能参数；

B、网元在处理接收到的请求时发生异常，触发告警并获取已采集到的性能参数；

C、网元将所述已采集到的性能参数添加时间戳及告警标识后保存。

上述方法中，所述网元为门户网元或后台服务网元。

上述方法中，所述性能参数至少包含：表示CPU利用率的第一参数、表示内存状态的第二参数及表示I/O状态的第三参数。

较佳地，所述步骤C之后还包括：

网元将添加了时间戳及告警标识的所述已采集到的性能参数发送至告警服务器。

上述方法中，所述步骤A包括：

A1、网元启动后创建第一线程；

A2、第一线程采集网元所在服务器的性能参数并暂存；

A3、第一线程启动计时；

A4、第一线程判断是否达到预设的时间，如果是，执行步骤A2，否则执行步骤A4。

上述方法中，步骤B所述触发告警并获取已采集到的性能参数包括：

B1、网元生成告警消息以触发告警；

B2、第二线程接收到告警消息后，从第一线程获取暂存的所述性能参数。

上述方法中，所述步骤C包括：

C1、第二线程将网元发生异常的时刻作为时间戳，将网元所在的服务器的身份标识作为告警标识；

C2、第二线程将所述时间戳及所述告警标识添加至所述已采集到的性能参数；

C3、第二线程将添加了所述时间戳及所述告警标识的性能参数保存在网元所在服务器的预设存储空间内。

本发明提供了一种网元异常时的数据采集系统，该系统装设于一网元上，包含：数据采集模块、告警模块及存储模块；

所述数据采集模块在网元启动后，被触发根据预设的时间周期性地采集网元所在服务器的性能参数并暂存；

所述告警模块在所述网元发生异常时触发告警，从所述数据采集模块获取已采集到的性能参数，将所述已采集到的性能参数添加时间戳及告警标识后保存至所述存储模块。

上述系统中，所述性能参数至少包含：表示CPU使用情况的第一参数、表示内存使用情况的第二参数及表示I/O状态的第三参数。

较佳地，所述告警模块还将添加了时间戳及告警标识的所述已采集到的性能参数发送至告警服务器。

较佳地，该系统还包含计时器；

所述数据采集模块启动计时器，根据计时器反馈的信号采集网元所在服务器的性能参数并暂存；

所述计时器在所述数据采集模块的控制下开始计时，在达到预设的时间时输出信号至所述数据采集模块。

上述系统中，所述数据采集模块为网元启动后创建的第一线程；所述告警模块为接收所述网元发生异常时输出的告警消息的第二线程。

上述系统中，所述时间戳为所述网元发生异常的时刻；

所述告警标识为发生异常的网元所在的服务器的身份标识。

由上述的技术方案可见，本发明的网元异常时的数据采集方法及系统，在网元启动后即触发周期性采集服务器的性能参数的操作，并对每次采集的性能参数进行暂存，在网元发生异常时，直接从读取暂存的性能参数，避免异常发生时频繁的采集数据和保存数据的操作而加重服务器的负担，能够对服务器的关键参数进行有效地采集，同时不会损害系统的性能，提高系统的可维护性，有效地采集服务器的性能参数使得异常发生后能快速准确地进行定位，提高了工作效率。

附图说明

图1为本发明网元异常时的数据采集方法实施例一的流程图；

图2为本发明网元异常时的数据采集方法实施例二的流程图；

图3为本发明网元异常时的数据采集系统的结构示意图。

具体实施方式

由于现有技术的网元发生异常时，需要保存网元所在服务器的性能参数，采集网元所在的服务器的性能参数也是一个耗费服务器性能的动作，并且现有的网元的采集参数和异常处理操作是同步进行的，在系统发生连续异常时，就会持续触发数据采集的动作，导致系统的性能更加恶化；本发明的网元异常时的数据采集方法通过时间窗口，对网元发生异常时的服务器关键参数的采样频率进行控制，既保证了在网元偶尔发生异常时能够及时发出告警并保存异常发生的时间段内服务器的性能参数，又能够在网元长时间连续异常时控制采集服务器的性能参数的频率,防止因为采集动作使网元的服务能力进一步恶化。

为了表述清楚，先对本发明的网元进行说明，本发明的网元指代的是网络中的元素或设备，比如：门户网元、后台服务网元等；其中，门户网元为智能电视的门户系统中的门户服务器，后台服务网元为智能电视的门户系统中的后台服务器。当然，本发明的网元异常时的数据采集方法和系统不局限于智能电视的门户系统，也可应用于除智能电视的门户系统外的利用网络进行数据和/或信息传输的系统中，在此不再对应用于其它系统中的实例进行赘述，同时，本发明的下述实施例中也不再对不同类型网元发生异常时的具体处理流程进行赘述。

另外，本发明提及的性能参数指代的是网元所在服务器的性能参数，即服务器的关键参数，性能参数至少包含表示CPU利用率的第一参数、表示内存状态的第二参数及表示I/O状态的第三参数；当然，还可根据实际情况及网元所在的服务器的特性，增加需要采集和保存的性能参数的种类，在此不再对其他参数进行逐一列举。

图1为本发明网络异常时的数据采集方法实施例一的流程图。现结合图1，对实施例一的网络异常时的数据采集方法进行说明，具体如下：

步骤101：网元启动后，根据预设的时间周期性地采集性能参数；

该步骤包括：网元启动后采集网元所在服务器的性能参数并暂存；网元启动计时；网元判断是否达到预设的时间，如果是，则执行采集网元所在服务器的性能参数并暂存的步骤，否则执行判断是否达到预设的时间的步骤。

上述步骤中，网元暂存已采集到的性能参数为网元将已采集到的性能参数保存在内存中或内存中的全局变量中，每一个周期采集到的性能参数都会替换全局变量中已写入的性能参数，以对暂存的性能参数进行实时更新，实现与网元所在服务器的状态的同步。

该步骤中的预设的时间可根据网元所在网络所处理请求的状况以及网元所在服务器的性能进行设置，比如可将其设置为30秒至180秒之间的任意时长，当然，也可根据需要延长或缩短上述时长，在此不再逐一赘述。

步骤102：网元在处理接收到的请求时发生异常，触发告警并获取已采集到的性能参数；

该步骤包括：网元接收外部发送的请求并处理；网元发生异常时产生告警消息；网元根据告警消息触发告警，从内存中获取已采集到的性能参数。

上述步骤中，网元上装设有用以监控工作是否正常的程序，若网元工作过程中产生异常则自动生成一个告警消息，以触发告警。其中，告警消息可为一条UDP消息，也可为其他预设的用以触发告警的消息，在此不在赘述。

步骤103：网元将已采集到的性能参数添加时间戳及告警标识后保存。

该步骤包括：网元将发生异常的时刻作为时间戳，将所在的服务器的身份标识作为告警标识；网元将时间戳及告警标识添加至已采集到的性能参数；网元将添加了时间戳及告警标识的性能参数保存在网元所在服务器的预设存储空间内。

上述步骤中，网元所在服务器的预设存储空间可为网元所在服务器的预设磁盘的某一文件。

优选地，为了便于运维人员定位和迅速排查异常的网元，本发明的步骤103之后还可包括：网元将保存的添加了时间戳及告警标识的性能参数发送至告警服务器。其中，告警服务器为系统中专门接收和处理网元异常时告警信息的服务器；告警信息为异常网元发送的添加了时间戳及告警标识的已采集到的性能参数。

图2为本发明网元异常时的数据采集方法是实施例二的流程图。现结合图2，对实施例二的网元异常时的数据采集方法进行说明，具体如下：

实施例二的方法与实施例一的方法不同之处在于，实施例二中进行告警和采集等相关操作的为网元所在服务器上所创建的线程。

步骤201：网元启动后创建第一线程；

该步骤中，网元创建的第一线程是本发明专用于采集性能参数的独立的线程，具体创建线程的方法可采用现有的方法进行创建，在此不再赘述。

步骤202：第一线程根据预设的时间周期性地采集性能参数；

该步骤包括：第一线程采集网元所在服务器的性能参数并暂存；第一线程启动计时；第一线程判断是否达到预设的时间，如果是，执行采集网元所在服务器的性能参数并暂存的步骤，否则执行判断是否达到预设的时间的步骤。

上述步骤中，第一线程暂存已采集到的性能参数为第一线程将已采集到的性能参数保存在网元所在服务器的内存中或内存中的全局变量中，每一个周期采集到的性能参数都会替换全局变量中已写入的性能参数，以对暂存的性能参数进行实时更新，实现与网元所在服务器的状态的同步。

该步骤中的预设的时间可根据网元所在网络所处理请求的状况以及网元所在服务器的性能进行设置，比如可将其设置为30秒至180秒之间的任意时长，当然，也可根据需要延长或缩短上述时长，在此不再逐一赘述。

步骤203：网元在处理接收到的请求时发生异常，生成告警消息；

该步骤中，网元中可设置一个监控工作状态的线程，该线程在网元处理请求时进行监控，在网元发生异常时则生成告警消息。其中，告警消息可为一条UDP消息，也可为其他预设的用以触发告警的消息，在此不在赘述。

步骤204：第二线程根据告警消息从第一线程获取已采集到的性能参数；

该步骤包括：第二线程接收告警消息，从第一线程的暂存性能参数的存储空间中读取已采集到的性能参数。

步骤205：第二线程将已采集到的性能参数添加时间戳及告警标识后保存。

该步骤包括：第二线程将发生异常的时刻作为时间戳，将所在的服务器的身份标识作为告警标识；第二线程将时间戳及告警标识添加至已采集到的性能参数；第二线程将添加了时间戳及告警标识的性能参数保存在网元所在服务器的预设存储空间内。

上述步骤中，网元所在服务器的预设存储空间可为网元所在服务器的预设磁盘的某一文件。

优选地，为了便于运维人员定位和迅速排查异常的网元，本发明的步骤205之后还可包括：第二线程将保存的添加了时间戳及告警标识的性能参数发送至告警服务器。其中，告警服务器为系统中专门接收和处理网元异常时告警信息的服务器；告警信息为异常网元发送的添加了时间戳及告警标识的已采集到的性能参数。

图3为本发明网元异常时的数据采集系统的结构示意图。现结合图3，对本发明网元异常时的数据采集系统的结构进行说明，具体如下：

本发明的网元异常时的数据采集系统装设于一网元30上，包含：数据采集模块301、告警模块302及存储模块303。

数据采集模块301在网元30启动后，被触发根据预设的时间周期性地采集性能参数并暂存。其中，预设的时间可根据网元所在网络所处理请求的状况以及网元所在服务器的性能进行设置，比如可将其设置为30秒至180秒之间的任意时长，当然，也可根据需要延长或缩短上述时长，在此不再逐一赘述。

告警模块302在网元30发生异常时触发告警，从数据采集模块301获取已采集到的性能参数，将已采集到的性能参数添加时间戳及告警标识后保存至存储模块303。

优选地，为了便于运维人员定位和迅速排查异常的网元，告警模块302还将添加了时间戳及告警标识的性能参数发送至告警服务器。具体地，告警模块302可以从存储模块303中读取某一时间戳对应的性能参数，并将读取的添加了时间戳及告警标识的性能采集发送至告警服务器。

优选地，该系统还包含计时器304，该计时器304加载有预设的时间。

数据采集模块301在被触发后启动计时器304，根据计时器304反馈的信号采集网元30所在服务器的性能参数并暂存；计时器304在数据采集模块301的控制下开始计时，在达到预设的时间时输出信号至数据采集模块301。

在一个具体实施例中，数据采集模块301可为网元启动后创建的独立采集性能参数的第一线程，告警模块302为网元创建的接收网元发生异常时输出的告警消息以触发告警的第二线程。

本发明的上述较佳实施例中，通过创建一个独立的线程以及配置最小采集保存间隔时间，避免出现频繁数据采集动作；当出现异常时，其它线程直接调用第一线程所保存的性能参数，从而避免由于数据的采集和保存操作而加重服务器的负担，换句话说，本发明的网元通过时间窗口对服务器性能参数的采集进行频次控制，大大减小由于性能参数采集对网元服务性能带来的影响，增加系统的可维护性和可运营性。另外，本发明在发出网元性能异常告警的同时还携带了运维人员定位问题的必要参数，大大缩短了定位时间。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读取存储介质中，如：ROM/RAM、磁碟、光盘等。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种网元异常时的数据采集方法，其特征在于，该方法包括：

A、网元启动后，根据预设的时间周期性地采集网元所在服务器的性能参数；所述网元启动后，根据预设的时间周期性地采集网元所在服务器的性能参数包括：

A1、网元启动后创建第一线程；

A2、第一线程采集网元所在服务器的性能参数并暂存；

A3、第一线程启动计时；

A4、第一线程判断是否达到预设的时间，如果是，执行步骤A2，否则执行步骤A4；

B、网元在处理接收到的请求时发生异常，触发告警并获取已采集到的性能参数；

C、网元将所述已采集到的性能参数添加时间戳及告警标识后保存。

2.根据权利要求1所述的方法，其特征在于，所述网元为门户网元或后台服务网元。

3.根据权利要求1所述的方法，其特征在于，所述性能参数至少包含：表示CPU利用率的第一参数、表示内存状态的第二参数及表示I/O状态的第三参数。

4.根据权利要求1所述的方法，其特征在于，所述网元将所述已采集到的性能参数添加时间戳及告警标识后保存之后还包括：

网元将添加了时间戳及告警标识的所述已采集到的性能参数发送至告警服务器。

5.根据权利要求1或4所述的方法，其特征在于，步骤B中的所述触发告警并获取已采集到的性能参数包括：

B1、网元生成告警消息以触发告警；

B2、第二线程接收到告警消息后，从第一线程获取暂存的所述性能参数。

6.根据权利要求1或4所述的方法，其特征在于，所述网元将所述已采集到的性能参数添加时间戳及告警标识后保存包括：

C1、第二线程将网元发生异常的时刻作为时间戳，将网元所在的服务器的身份标识作为告警标识；

C2、第二线程将所述时间戳及所述告警标识添加至所述已采集到的性能参数；

C3、第二线程将添加了所述时间戳及所述告警标识的性能参数保存在网元所在服务器的预设存储空间内。

7.一种网元异常时的数据采集系统，其特征在于，该系统装设于一网元上，包含：数据采集模块、告警模块及存储模块；

所述数据采集模块在网元启动后，被触发根据预设的时间周期性地采集网元所在服务器的性能参数并暂存；

所述告警模块在所述网元发生异常时触发告警，从所述数据采集模块获取已采集到的性能参数，将所述已采集到的性能参数添加时间戳及告警标识后保存至所述存储模块；

所述系统还包含计时器；

所述数据采集模块启动计时器，根据计时器反馈的信号采集网元所在服务器的性能参数并暂存；

所述计时器在所述数据采集模块的控制下开始计时，在达到预设的时间时输出信号至所述数据采集模块。

8.根据权利要求7所述的系统，其特征在于，所述性能参数至少包含：表示CPU使用情况的第一参数、表示内存使用情况的第二参数及表示I/O状态的第三参数。

9.根据权利要求7所述的系统，其特征在于，所述告警模块还将添加了时间戳及告警标识的所述已采集到的性能参数发送至告警服务器。

10.根据权利要求7或9所述的系统，其特征在于，所述数据采集模块为网元启动后创建的第一线程；

所述告警模块为接收所述网元发生异常时输出的告警消息的第二线程。

11.根据权利要求7或9所述的系统，其特征在于，

所述时间戳为所述网元发生异常的时刻；

所述告警标识为发生异常的网元所在的服务器的身份标识。