CN103188714A - 实时数据采集方法、系统和采集网元 - Google Patents

Abstract

本发明提供一种采集网元，当所述采集网元整体重启后，网元管理模块向网管系统服务端发送任务同步请求，接收网管系统服务端返回的任务同步应答，下发任务请求至数据采集代理模块；数据采集代理模块执行任务请求中的任务，进行数据采集和上报。本发明还提供一种实时数据采集方法，包括：采集网元整体重启后，向网管系统服务端请求同步任务，接收所述网管系统服务端返回的任务应答，如果所述任务应答中包括所述采集网元的任务，则执行该任务，进行数据采集和上报。本发明还提供一种实时数据采集系统。本发明能够自动的恢复用户设置的任务，保证了实时任务采集数据的不丢失。

Description

实时数据采集方法、系统和采集网元

技术领域

本发明涉及通信网管系统，具体涉及网管系统中一种实时数据采集方法和系统，以及采集网元。

背景技术

随着通信技术的飞速发展，基站设备的维护成为了运营商一项不可或缺的任务。如何通过网管系统获取当前设备运行的实时信息成为了网管系统面临的一个通用问题。

当前传统的通信网管系统实时数据采集具有以下两种形式：一种是通过长效任务定制，由网管系统定制一个任务采集类型和任务采集时间段下发到基站。基站通过网元定制的任务周期上报数据。该类型的数据采集任务具有一次定制长期有效的特征，当基站设备重启的时候基站无法保存采集的任务，此时就会导致实时数据丢失。另外一种是实时任务定制，由网管系统定制一个任务采集类型下发到基站，基站通过任务解析进行数据上报。用户可以根据自己的需求随时的进行任务的启动和停止。当基站掉电的时候用户只需要再重新启动一次任务即解决了数据丢失的问题，但是该种类型的数据采集需要人为的参与，增加了运营商的人力成本投入，并且由于人的参与提高了采集事件的不确定性。其他网元，比如核心网和传输设备(交换机等)的数据采集存在同样问题。

发明内容

本发明要解决的技术问题是提供一种实时数据采集方法和系统、采集网元，减少人为的参与，并保证实时采集数据的不丢失。

为了解决上述问题，本发明提供了一种采集网元，包括：网元管理模块和数据采集代理模块，其中：

所述网元管理模块用于：当所述采集网元整体重启后，向网管系统服务端发送任务同步请求，接收所述网管系统服务端返回的任务同步应答，如果所述任务同步应答中包括所述采集网元的任务，则下发任务请求至所述数据采集代理模块；

所述数据采集代理模块用于：接收到所述网元管理模块下发的任务请求后，如果该任务请求中存在本数据采集代理模块的任务，则执行所述任务，进行数据采集和上报。

进一步的，上述采集网元还可具有以下特点：

所述网元管理模块向网管系统服务端请求同步任务包括：周期性向所述网管系统服务端发送任务同步请求，并在接收到所述网管系统服务端发送的所述任务同步应答后，停止向所述网管系统服务端发送任务同步请求。

进一步的，上述采集网元还可具有以下特点：

所述数据采集代理模块还用于：在本模块重启且所述网元管理模块工作正常时，向所述网元管理模块发送任务同步请求；并在接收到所述网元管理模块的任务同步应答后，如果所述任务同步应答中包括该数据采集代理模块的任务，则执行所述任务，进行数据采集和上报；

所述网元管理模块还用于：接收到所述数据采集代理模块发送的任务同步请求后，获取本地存储的任务请求信息，发送任务同步应答至所述数据采集代理模块。

进一步的，上述采集网元还可具有以下特点：

所述数据采集代理模块向所述网元管理模块发送任务同步请求包括：

周期性向所述网元管理模块发送任务同步请求，并在接收到所述网元管理模块发送的所述任务同步应答后，停止向所述网元管理模块发送任务同步请求。

本发明还提供一种实时数据采集系统，包括，一个或多个上述采集网元，还包括：网管系统服务端，所述网管系统服务端包括任务逻辑管理模块，所述任务逻辑管理模块包括逻辑处理单元和任务池，其中：

所述逻辑处理单元用于：将各采集网元的任务存储在任务池中；以及，接收到采集网元发送的任务同步请求后，返回任务同步应答至所述采集网元；如果任务池中保存有该采集网元的任务，则所述任务同步应答中携带所述采集网元的任务；

所述任务池用于：保存各采集网元的任务。

进一步的，上述系统还可具有以下特点：

所述逻辑处理单元还用于：如果本地没有该采集网元的任务时，在所述任务同步中携带空帧。

本发明还提供一种实时数据采集方法，包括：

采集网元整体重启后，向网管系统服务端请求同步任务，接收所述网管系统服务端返回的任务应答，如果所述任务应答中包括所述采集网元的任务，则执行该任务，进行数据采集和上报。

进一步的，上述方法还可具有以下特点：

所述采集网元向所述网管系统服务端请求同步任务包括：

所述采集网元周期性向所述网管系统服务端请求同步任务，并在接收到所述网管系统服务端发送的所述任务应答后，停止向所述网管系统服务端请求同步任务。

进一步的，上述方法还可具有以下特点，所述方法还包括：所述采集网元判断任务应答中没有该采集网元的任务时，丢弃该任务应答。

进一步的，上述方法还可具有以下特点，所述方法还包括：

当所述采集网元的数据采集代理模块重启且网元管理模块正常时，所述数据采集代理模块向所述网元管理模块发送任务同步请求；并在接收到所述网元管理模块的任务同步应答后，如果所述任务同步应答中包括该数据采集代理模块的任务，则执行所述任务，进行数据采集和上报。

本发明还提供一种实时数据采集方法，包括：

网管系统服务端保存下发给各采集网元的任务，以及，接收到采集网元的任务同步请求后，返回任务同步应答至所述采集网元；其中，如果本地保存有该采集网元的任务，则所述任务同步应答中携带所述采集网元的任务。

进一步的，上述方法还可具有以下特点，所述方法还包括：如果本地没有该采集网元的任务时，在所述任务同步中携带空帧。

本发明与原有的实时数据采集系统相比增加了任务智能恢复的功能，当采集网元侧出现异常的时候能够自动的恢复用户设置的任务，保证了实时任务采集数据的不丢失。

附图说明

图1是本发明实施例数据采集系统的结构示意图；

图2是本发明实施例任务池管理单元图；

图3是本发明实施例基站侧整体重启的任务智能恢复处理流程图；

图4是本发明实施例基站侧部分重启的任务智能恢复处理流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

本发明中将网管系统中基站、核心网和传输设备等需要进行数据采集的网元称为采集网元。

本发明实施例所述实时数据采集系统包括：网管系统服务端、一个或多个采集网元，网管系统服务端进一步包括：任务逻辑管理模块，用于完成数据采集任务管理及任务智能恢复。采集网元包括网元管理模块和数据采集代理模块。任务逻辑管理模块收到用户交互模块的任务请求后，以采集网元为单位在任务池中存储采集任务的信息并向对应的采集网元同步任务，网元管理模块收到任务请求后解析任务并通知对应的数据采集代理模块进行数据采集上报。

任务逻辑管理模块包括任务池和逻辑处理单元，其中：

所述逻辑处理单元用于：将各采集网元的任务存储在任务池中；以及，接收到采集网元发送的任务同步请求后，返回任务同步应答至所述采集网元；如果任务池中保存有该采集网元的任务，则所述任务同步应答中携带所述采集网元的任务；

所述任务池用于：保存各采集网元的任务。

所述逻辑处理单元还用于：如果本地没有该采集网元的任务时，在所述任务同步中携带空帧。

进一步的，一个网元管理模块可以和一个或多个数据采集代理模块相连，其中：

网元管理模块用于：用于完成采集任务的派发以及上报数据的转发；当所述采集网元整体重启后，向网管系统服务端发送任务同步请求，接收所述网管系统服务端返回的任务同步应答，如果所述任务同步应答中包括所述采集网元的任务，则下发任务请求至所述数据采集代理模块；如果所述任务同步应答中没有所述采集网元的任务，则丢弃该任务同步应答；

数据采集代理模块，用于接收到所述网元管理模块下发的任务请求后，如果该任务请求中存在本数据采集代理模块的任务，则执行所述任务，进行数据采集和上报。

其中，所述网元管理模块向网管系统服务端请求同步任务包括：周期性向所述网管系统服务端发送任务同步请求，并在接收到所述网管系统服务端发送的所述任务同步应答后，停止向所述网管系统服务端发送任务同步请求。

所述数据采集代理模块还用于：在本模块重启且所述网元管理模块工作正常时，向所述网元管理模块发送任务同步请求；并在接收到所述网元管理模块的任务同步应答后，如果所述任务同步应答中包括该数据采集代理模块的任务，则执行所述任务，进行数据采集和上报；

所述网元管理模块还用于：接收到所述数据采集代理模块发送的任务同步请求后，获取本地存储的任务请求信息，发送任务同步应答至所述数据采集代理模块。

其中，所述数据采集代理模块向所述网元管理模块发送任务同步请求包括：

周期性向所述网元管理模块发送任务同步请求，并在接收到所述网元管理模块发送的所述任务同步应答后，停止向所述网元管理模块发送任务同步请求。

其中，网管系统服务端还可包括用户交互模块，用于提供图形用户界面供用户直接操作，以及，显示相关信息，供用户查看。

另外，网管系统服务端与客户端，以及服务端与采集网元之间存在数据通信接口，用于完成网管系统中各模块的数据交互。

本发明实施例还提供一种实时数据采集方法，包括：

采集网元整体重启后，向网管系统服务端请求同步任务，接收所述网管系统服务端返回的任务应答，如果所述任务应答中包括所述采集网元的任务，则执行该任务，进行数据采集和上报。

其中，所述采集网元向所述网管系统服务端请求同步任务包括：

所述采集网元周期性向所述网管系统服务端请求同步任务，并在接收到所述网管系统服务端发送的所述任务应答后，停止向所述网管系统服务端请求同步任务。

其中，所述方法还包括：

当所述采集网元的数据采集代理模块重启且网元管理模块正常时，所述数据采集代理模块向所述网元管理模块发送任务同步请求；并在接收到所述网元管理模块的任务同步应答后，如果所述任务同步应答中包括该数据采集代理模块的任务，则执行所述任务，进行数据采集和上报。

其中，所述方法还包括：所述采集网元判断任务应答中没有该采集网元的任务时，丢弃该任务应答。

本发明实施例还提供一种实时数据采集方法，网管系统服务端执行：：

网管系统服务端保存下发给各采集网元的任务，以及，接收到采集网元的任务同步请求后，返回任务同步应答至所述采集网元；其中，如果本地保存有该采集网元的任务，则所述任务同步应答中携带所述采集网元的任务。

其中，如果本地没有该采集网元的任务时，在所述任务同步中携带空帧。

本发明实施例提供的实时数据采集方法包括以下步骤：

步骤A.用户在图形用户界面定制采集任务并通过客户端数据通信接口将任务请求数据包发送到服务端；

当然，也可以不用用户定制任务，由网管系统自己根据需要自动生成任务请求；

步骤B.任务逻辑管理模块收到任务请求数据包后解析数据包并以采集网元为关键字将任务信息存储在任务池中；

步骤C.当任务池里的任务发生变化的时候通过服务端数据通信接口向采集网元同步任务；

步骤D.网元管理模块收到任务请求数据包后向所有的数据采集代理模块广播任务启动请求；

步骤E.数据采集代理模块收到任务启动请求后解析对应的任务请求数据包，如果存在本代理的任务则启动任务采集定时器实时的进行数据采集和上报，否则维持原状；

步骤F.如果采集网元发生整体重启(数据采集代理模块和网元管理模块均重启)，跳转到步骤G；如果采集网元发生部分重启(指数据采集代理模块重启，网元管理模块不重启)则跳转到步骤J；

步骤G.当采集网元重新上电后网元管理模块通过服务端数据通信接口，周期性向网管系统服务端进行任务同步请求；

步骤H.网管系统服务端收到网元管理模块的任务同步请求后在任务池查找该采集网元的任务，并发送任务同步应答至网元管理模块，其中，如果存在该采集网元的任务，则任务同步应答中包括该采集网元的任务，否则，包含空帧；

步骤I.网元管理模块收到任务同步应答后，停止发送任务同步请求至网管系统服务端，如果任务同步应答中包括该采集网元的任务，则执行步骤D，否则，丢弃该空帧，结束；

步骤J.数据采集代理模块上电后向周期性向网元管理模块发送任务同步请求；

步骤H.网元管理模块收到任务同步请求后，在本地查询是否存储有任务，如果有，则发送相应的任务请求至数据采集代理模块，数据采集代理模块收到任务请求后，则启动任务采集定时器实时的进行数据采集和上报。如果没有，则发送空帧至数据采集代理模块，数据采集代理模块丢弃该空帧，结束。发送空帧只是一种方式，也可以通过发送指示信息告知数据采集代理模块没有任务。

下面结合附图对本发明如何进行实时数据采集进行说明。下述实施例中，采集网元为基站，采集网元为其他设备时实现方法类似，此处不再赘述。

如图1所示，本发明的实时数据采集系统结构示意图，该系统主要由网管侧和采集网元两部分组成。其中网管侧包括用户交互模块101、任务逻辑管理模块102及数据通信接口107；采集网元包括网元管理模块105、数据采集代理模块106及数据通信接口108。其中，任务逻辑管理模块102进一步包括逻辑处理单元103和任务池104。

该系统的具体工作流程如下：

用户操作某用户交互模块101，用户交互模块101按照数据通信接口107约定的组帧格式组装任务请求数据帧，并通过数据通信接口107发送任务启动请求到任务逻辑管理模块102；

任务逻辑管理模块102收到任务启动请求后交给逻辑处理单元103进行数据解析。逻辑处理单元103首先获取用户交互模块101操作的基站信息，然后遍历任务池中是否存在该基站对应的任务，如果不存在该基站的任务则按照基站保存该基站对应的任务。如果存在该基站的信息则获取该基站对应的任务队列，并将新请求的任务添加到该基站的任务队列中。任务池的管理单元组成可以参见图2；

当任务池104检查到任务池中基站的任务发生变化时，通过数据通信接口108发送任务变化请求到网元管理模块105；

网元管理模块105收到任务变化请求后，广播给该基站上的所有数据采集代理模块106；

数据采集代理模块106解析对应的任务，如果存在该数据采集代理模块的任务则启动任务采集定时器进行数据采集和上报，否则维持现状不变。

网元管理模块105收到采集数据上报后，通过数据通信接口108上报到任务逻辑管理模块102；

逻辑处理单元103在任务池104中遍历所有的管理单元，获取用户请求的信息并通过数据通信接口107上报到用户交互模块101供用户查看。比如，用户请求查看某些基站的任务信息，则显示相关任务信息供用户查看，以及，显示相关基站上报的数据。

如图3所示，描述了当基站侧整体重启的时候网元管理模块和数据采集代理模块如何智能恢复任务的流程。

步骤301，网元管理模块重启上电的时候周期性通过数据通信接口108向逻辑处理单元发起上电任务请求；

步骤302，逻辑处理单元收到基站侧的上电任务请求后解析上电任务请求数据帧获取对应的基站信息；

步骤303，逻辑处理单元遍历任务池中的所有任务管理单元；

步骤304，判断当前的任务管理单元中是否存在该基站的任务，如果存在，执行步骤305，否则，执行步骤309；

步骤305，逻辑处理单元组装任务请求数据帧发往网元管理模块；

步骤306，网元管理模块收到任务请求数据帧后停止上电任务请求，并向所有的数据采集代理模块广播任务请求消息；

步骤307，数据采集代理模块收到任务请求消息后解析；

步骤308，数据采集代理模块收启动任务采集定时器进行数据采集和上报，任务智能恢复流程结束；

步骤309，逻辑处理单元组空帧发往网元管理模块；

步骤310，网元管理模块停止上电请求并丢弃空帧；任务智能恢复流程结束。

如图4所示，描述了当基站侧部分重启的时候数据采集代理模块如何智能恢复任务的流程。

步骤401，数据采集代理模块周期性发起上电任务请求至网元管理模块；

步骤402，网元管理模块收到上电任务请求后获取存储的任务请求信息并向数据采集代理模块发送上电任务请求应答；

其中，如果存在该数据采集代理模块的任务请求，则在所述上电任务请求应答中携带相应的任务请求；如果不存在该数据采集代理模块的任务请求，则该上电任务请求应答中携带空帧；

步骤403，数据采集代理模块收到上电任务请求应答后停止发送上电任务请求，解析上电任务请求应答中的任务请求数据帧，如果存在该数据采集代理模块的任务请求，则执行步骤404，否则结束；

步骤404，根据解析的任务请求数据帧信息，启动任务采集定时器进行数据采集和上报；任务智能恢复流程结束。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

Claims (12)

1.一种采集网元，包括：网元管理模块和数据采集代理模块，其中：

所述网元管理模块用于：当所述采集网元整体重启后，向网管系统服务端发送任务同步请求，接收所述网管系统服务端返回的任务同步应答，如果所述任务同步应答中包括所述采集网元的任务，则下发任务请求至所述数据采集代理模块；

所述数据采集代理模块用于：接收到所述网元管理模块下发的任务请求后，如果该任务请求中存在本数据采集代理模块的任务，则执行所述任务，进行数据采集和上报。

2.如权利要求1所述的采集网元，其特征在于，

所述网元管理模块向网管系统服务端请求同步任务包括：周期性向所述网管系统服务端发送任务同步请求，并在接收到所述网管系统服务端发送的所述任务同步应答后，停止向所述网管系统服务端发送任务同步请求。

3.如权利要求1所述的采集网元，其特征在于，

所述数据采集代理模块还用于：在本模块重启且所述网元管理模块工作正常时，向所述网元管理模块发送任务同步请求；并在接收到所述网元管理模块的任务同步应答后，如果所述任务同步应答中包括该数据采集代理模块的任务，则执行所述任务，进行数据采集和上报；

所述网元管理模块还用于：接收到所述数据采集代理模块发送的任务同步请求后，获取本地存储的任务请求信息，发送任务同步应答至所述数据采集代理模块。

4.如权利要求3所述的采集网元，其特征在于，所述数据采集代理模块向所述网元管理模块发送任务同步请求包括：

周期性向所述网元管理模块发送任务同步请求，并在接收到所述网元管理模块发送的所述任务同步应答后，停止向所述网元管理模块发送任务同步请求。

5.一种实时数据采集系统，包括，一个或多个如权利要求1至4任一所述的采集网元，还包括：网管系统服务端，所述网管系统服务端包括任务逻辑管理模块，所述任务逻辑管理模块包括逻辑处理单元和任务池，其中：

所述逻辑处理单元用于：将各采集网元的任务存储在任务池中；以及，接收到采集网元发送的任务同步请求后，返回任务同步应答至所述采集网元；如果任务池中保存有该采集网元的任务，则所述任务同步应答中携带所述采集网元的任务；

所述任务池用于：保存各采集网元的任务。

6.如权利要求5所述的系统，其特征在于，所述逻辑处理单元还用于：如果本地没有该采集网元的任务时，在所述任务同步中携带空帧。

7.一种实时数据采集方法，其特征在于，包括：

采集网元整体重启后，向网管系统服务端请求同步任务，接收所述网管系统服务端返回的任务应答，如果所述任务应答中包括所述采集网元的任务，则执行该任务，进行数据采集和上报。

8.如权利要求7所述的方法，其特征在于，所述采集网元向所述网管系统服务端请求同步任务包括：

所述采集网元周期性向所述网管系统服务端请求同步任务，并在接收到所述网管系统服务端发送的所述任务应答后，停止向所述网管系统服务端请求同步任务。

9.如权利要求7或8所述的方法，其特征在于，所述方法还包括：所述采集网元判断任务应答中没有该采集网元的任务时，丢弃该任务应答。

10.如权利要求7所述的方法，其特征在于，所述方法还包括：

当所述采集网元的数据采集代理模块重启且网元管理模块正常时，所述数据采集代理模块向所述网元管理模块发送任务同步请求；并在接收到所述网元管理模块的任务同步应答后，如果所述任务同步应答中包括该数据采集代理模块的任务，则执行所述任务，进行数据采集和上报。

11.一种实时数据采集方法，其特征在于，包括：

网管系统服务端保存下发给各采集网元的任务，以及，接收到采集网元的任务同步请求后，返回任务同步应答至所述采集网元；其中，如果本地保存有该采集网元的任务，则所述任务同步应答中携带所述采集网元的任务。

12.如权利要求11所述的方法，其特征在于，所述方法还包括：如果本地没有该采集网元的任务时，在所述任务同步中携带空帧。

Images