CN102013996B - 数据采集管理方法、采集管理系统及电信网络管理系统 - Google Patents

Abstract

本发明公开一种数据采集管理方法、采集管理系统及电信网络管理系统，该数据采集管理方法包括设置数据库，根据接收到的用户订单在所述数据库中查找对应数据；如果数据库不满足用户订单需求，则判断各用户订单需要采集的数据，将各用户订单需要采集的数据取并集而生成第一集合，采集所述第一集合中包括的数据；将采集到的数据更新到数据库，本发明通过以上技术方案，解决了同一网络设备的同一数据接收到多模块和多系统的大量重复访问的问题。

Description

数据采集管理方法、采集管理系统及电信网络管理系统

技术领域

本发明涉及通讯领域，尤其涉及一种数据采集管理方法、采集管理系统及电信网络管理系统。

背景技术

按照TMN(Telecommunications Management Network，电信管理网)的规范，电信网络管理系统主要由配置管理、故障管理、性能管理、拓扑管理和安全管理这五个功能模块组成，拓扑管理的基础就是资源数据的采集和汇总，而性能管理更是直接使用从设备采集而来的性能数据进行展现和分析，因此，数据采集对TMN规定的管理功能至关重要。

现在的电信网络管理系统，对设备的数据采集多采用即时采集方式，网元管理系统EMS是管理特定类型的一个或多个电信网络单元NE的系统，网元管理系统EMS中多个使用性能数据、资源数据的模块直接访问网络设备进行获取，这种使用模式在多EMS情况下更为普遍，通常容易造成如下问题：同一网络设备的同一数据接收到多模块和多系统的大量重复访问，网络设备由于其嵌入系统的处理能力有限，在大量重复访问下，极其容易造成反馈不及时和延误，同时，重复的大量访问造成了网络流量的迅速增加，在洪峰期间容易造成网络拥塞，影响数据获取速度的同时，也影响了用户的其他网络业务，另外，目前的数据采集系统不够完善，通常是单个用户根据自己的需求控制数据的离散采集，这增加了业务处理的复杂度，同时也导致了同一网络设备的同一数据接收到多模块和多系统的大量重复访问。

发明内容

本发明提供一种数据采集管理方法、采集管理系统及电信网络管理系统，解决了同一网络设备的同一数据接收到多模块和多系统的大量重复访问的问题。

为解决上述技术问题，本发明采用以下技术方案：

一种数据采集管理方法，包括：

设置数据库，根据接收到的用户订单在所述数据库中查找对应数据；

如果数据库不满足用户订单需求，则判断各用户订单需要采集的数据，将各用户订单需要采集的数据取并集而生成第一集合，采集所述第一集合中包括的数据；

将采集到的数据更新到数据库。

还包括对数据库进行变步长更新，具体包括：

获取数据库中每条数据的访问频率及每条数据的最后更新时间；

根据所述访问频率确定每条数据的更新步长，根据所述最后更新时间确定每条数据的更新优先级；

根据所述每条数据的更新步长和更新优先级判断数据库中需要变步长更新的数据，生成变步长更新采集任务；

将采集到的数据更新到数据库。

将所述数据库中需要变步长更新的数据与所述第一集合取并集而生成第二集合，生成合并采集任务，采集所述第二集合中包括的数据，将采集到的数据更新到数据库。

根据每条数据的访问频率确定更新步长的方法包括：数据访问频率高于系统预先配置的基准访问频率的数据时，其更新步长设置为低于系统预先配置的基准步长。

所述更新步长等于所述系统基准步长与所述系统基准访问频率的乘积除以所述访问频率。

根据每条数据的最后更新时间确定更新优先级的方法包括：由所述每条数据的最后更新时间得到每条数据的更新时长，如果所述更新时长大于系统预先配置的基准更新时长，则其更新优先级设置为高于系统预先设置的标准优先级。

所述更新优先级等于所述系统基准优先级与所述更新时长的乘积除以所述系统基准更新时长。

还包括将满足用户订单需求的数据反馈给用户。

所述用户订单的内容包括数据标识和实时门限。

一种数据采集管理系统，包括：数据查找模块、任务管理模块、数据采集模块、数据更新模块和数据库，其中，

所述数据查找模块用于根据接收到的用户订单在所述数据库中查找对应数据；

所述任务管理模块用于在所述数据库不满足用户订单需求的条件下，判断各用户订单需要采集的数据，将各用户订单需要采集的数据取并集而生成第一集合，生成订单采集任务；

所述数据采集模块用于采集所述第一集合中包括的数据；

所述数据更新模块用于将数据采集模块采集到的数据更新到数据库。

所述任务管理模块还用于获取数据库中每条数据的访问频率及每条数据的最后更新时间，并根据所述访问频率确定每条数据的更新步长，根据所述最后更新时间确定每条数据的更新优先级，根据所述每条数据的更新步长和更新优先级判断所述数据库中需要变步长更新的数据，生成变步长更新采集任务；所述数据采集模块还用于根据所述变步长更新采集任务采集数据；所述数据更新模块还用于将数据采集模块采集到的数据更新到数据库。

所述任务管理模块用于将所述数据库中需要变步长更新的数据与所述第一集合取并集而生成第二集合，生成合并采集任务；所述数据采集模块用于采集所述第二集合中包括的数据；所述数据更新模块用于将数据采集模块采集到的数据更新到数据库。

一种电信网络管理系统，包括用于执行用户业务的数据使用模块，还包括如权利要求10至12任一项所述的数据采集管理系统，其中，

所述数据使用模块还用于将用户订单发送给所述数据采集管理系统；

所述数据采集管理系统用于根据所述用户订单提供数据。

所述数据使用模块还用于在向所述数据采集管理系统成功发送用户订单之后，断开与所述数据采集管理系统的连接，保持与所述数据采集管理系统的离线状态，直到所述数据采集管理系统完成了用户订单数据的获取之后，所述数据使用模块重新建立与所述数据采集管理系统的连接，从所述数据采集管理系统获取用户订单数据。

本发明提供一种数据采集管理方法、采集管理系统及电信网络管理系统，在数据采集管理系统在数据库不满足用户的订单需求时，判断各用户订单需要采集的数据，将各用户订单需要采集的数据取并集而生成第一集合，采集该第一集合中包括的数据，将采集到的数据更新到数据库，解决了现有技术中，针对每一个用户订单单独采集数据造成同一网络设备的同一数据接收到多模块和多系统的大量重复访问的问题，同时，将每次采集到的数据更新到数据库，以便随时为各种用户订单提供最快速的数据获取方式，也实现了对数据库中已有数据的重复使用。

附图说明

图1为本发明实施例电信网络管理系统的框架图；

图2为本发明实施例电信网络管理方法的流程图；

图3为本发明实施例数据采集管理方法的流程图；

图4为本发明实施例数据采集管理方法中数据库变步长更新方法的流程图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。

实施例一：

图1为本发明实施例电信网络管理系统的框架图，请参考图1：

电信网络管理系统包括用于执行用户业务的数据使用模块和数据采集管理系统，数据采集管理系统是与数据使用模块独立的进程，数据使用模块向数据采集管理系统发送用户订单，由数据采集管理系统完成网络设备数据的统一采集、统一维护和统一数据提供；数据采集管理系统包括数据查找模块、任务管理模块、数据采集模块、数据更新模块和预先设置的数据库，数据查找模块用于根据接收到的用户订单在数据库中查找对应数据，任务管理模块用于在数据库不满足用户订单需求的条件下，判断各用户订单需要采集的数据，将各用户订单需要采集的数据取并集而生成第一集合，生成订单采集任务，数据采集模块用于根据订单采集任务在电信网络管理系统外接的多个网络设备中采集数据，多个网络设备指图1中的网络设备1、网络设备2......网络设备n，数据更新模块用于将数据采集模块采集到的数据更新到数据库。

基于这种数据采集管理系统独立于数据使用模块的电信网络管理系统，在订单数据的获取过程中，用户不需要一直与数据采集管理系统保持连线状态：在提交给数据采集管理系统用户订单后，用户即可与数据采集管理系统离线，而无需一直保持和数据采集管理系统或者网络设备的网络连接和访问，在数据采集管理系统获取订单数据完成之后，用户可以随时连线到数据采集管理系统，批量下载订单所需的数据，而用户在与数据采集管理系统离线的状态中，可以通过数据使用模块正常进行其他数据业务的处理。

图2为本发明实施例电信网络管理方法的流程图，请参考图2：

101、数据使用模块发送用户订单给数据采集管理系统，订单中包括用户所需数据的数据标识和用户要求的实时门限；

102、数据使用模块断开和数据采集管理系统的连接，数据采集管理系统进入与用户的离线状态，用户处理数据使用模块内部的其他数据业务；

103、数据使用模块向数据采集管理系统查询用户订单的状态得之数据就绪；

104、数据使用模块建立和数据采集管理系统的连接，从数据采集管理系统批量下载订单数据。

本实施例实现了电信网络管理系统中用户订单数据的离线下载，而不影响用户其他数据业务的处理。

实施例二：

图3为本发明实施例数据采集管理方法的流程图，请参考图3：

201、数据查找模块根据接收到的用户订单在数据库中查找所需数据，本实施例用户订单中包括用户所需数据的数据标识和用户要求的实时门限，还包括用户的异步消息通知邮箱，用户所需数据的数据标识为数据名称，用户要求的实时门限为数据更新时长的门限；

202、判断数据库是否满足用户的订单需求，如果满足，则执行步骤203，如果不满足，则执行步骤204；

步骤202的具体判断过程如下：

21、通过数据标识X，比如数据名称，查找数据X是否在数据库中存在；

22、如果在数据库中不存在，直接返回未命中；

23、如果在数据库中存在，执行步骤24；；

24、在数据库中获取数据X最后的更新时间，利用数据X最后的更新时间计算数据X的更新时长，数据X的更新时长＝系统当前时间-数据X最后的更新时间；

25、根据数据X更新时长和用户订单中数据X要求的实时门限判断其命中性；

26、如果数据X更新时长大于订单中数据X要求的实时门限，返回未命中；

27、如果数据X更新时长小于等于订单中数据X要求的实时门限，返回命中。

203、直接将满足用户订单需求的数据反馈给用户；

204、判断各用户订单需要采集的数据，将各用户订单需要采集的数据取并集而生成第一集合，，生成订单采集任务，下发给数据采集模块；

步骤204中，例如用户订单需要的数据是{X0..Xn}，数据库有{Xa..Xz}的数据，根据用户订单中的实时门限要求数据库中满足门限的数据是{Xaa..Xzz}＜＝{Xa..Xz}，那么对于这个用户订单，需要采集的数据就是{X0..Xn}-{Xaa..Xzz}的部分，这样可以复用数据库中已有的数据{Xaa..Xzz}；将各个用户订单需要采集的数据进行汇总，取其交集，生成一个订单数据采集任务，下发给数据采集模块；

205、数据采集模块根据具体的订单采集任务从多个网络设备上进行采集，网络设备1......网络设备n，例如，每个网络设备允许并发访问的进程数目分别是T1..Tn，那么在数据采集模块中就开放TH1..THn个线程，满足TH1＜＝T1，...，THn＜＝Tn，进行数据采集，使设备处理能力刚好达到最佳；

206、数据采集模块将采集到的数据上传到数据更新模块，数据更新模块将数据更新到数据库；

207、数据更新模块记录每条数据的最后更新时间；

208、通过用户订单中的异步消息通知邮箱，向用户发送数据就绪的消息通知；

209、用户接到该消息通知后，使用订单号批量从数据采集管理系统下载数据；

210、数据更新模块更新每条数据的访问频率。

本实施例通过将各个用户订单需要采集的数据进行汇总，取其并集而生成第一集合，生成订单采集任务，采集该第一集合中包括的数据，有效减少了同一网络设备的同一数据接收到多模块和多系统的重复访问的次数，同时也实现了对数据库中已有数据的重复使用。

实施例三：

图4为本发明实施例数据采集管理方法中数据库变步长更新方法的流程图，请参考图4：

301、任务管理模块从数据更新模块中获取每条数据的访问频率和每条数据的最后更新时间；

302、任务管理模块根据访问频率确定更新步长，根据最后更新时间确定更新优先级；

步骤302的具体方法如下：

31、如果数据访问频率高于系统预先配置的基准频率，则更新步长设置为低于系统预先配置的基准步长，可以使用数据更新步长＝系统基准步长*系统基准访问频率/访问频率进行计算，但不局限于此公式举例，只要保证越频繁访问的数据更新步长越短的原则即可

32、根据数据最后更新时间计算数据更新时长：数据更新时长＝系统当前时间-数据最后更新时间；

如果数据更新时长大于系统预先配置的基准更新时长，则其更新优先级设置为高于系统预先设置的标准优先级，可以使用数据更新优先级＝系统基准优先级*更新时长/系统基准更新时长进行计算，数据更新时长越大，更新优先级越高，但不局限于此公式举例，只要保证最后更新时间越早更新优先级越高的原则即可；

303、任务管理模块根据每条数据的更新步长和更新优先级判断数据库中需要变步长更新的数据，生成变步长更新采集任务，并将生成的变步长更新采集任务发送给数据采集模块；

304、数据采集模块根据具体的变步长更新采集任务从多个网络设备上进行采集；

305、数据采集模块将采集来的数据上传到数据更新模块，数据更新模块更新数据库；

306、数据更新模块记录每条数据的最后更新时间。

本发明实施例实现了数据库的自动维护，具体采用了对每条数据的变步长更新方式，针对每条数据的访问频率及最后更新时间，对每条数据进行变步长更新，保证数据库中的数据处于高可用状态。

实施例二和实施例三可以互相独立进行，也可以合并进行，合并进行时请参考实施例四。

实施例四：

将实施例二中各用户订单需要采集的数据及实施例三中数据库中需要变步长更新的数据进行汇总，取并集而生成第二集合，生成合并采集任务，采集该第二集合中包括的数据，例如：

41、搜集所有用户订单数据，用户订单A需要采集的数据是集合{a，b，c，d，e}，用户订单B需要采集的数据是集合{a，e，f}，数据库中需要变步长更新的数据集合是{a，e}；

42、初始化一个空的集合Set，例如{}；

43、将每个订单需要采集的数据名称放入集合Set中：如果需要放入的数据名称在集合Set中没有，则将其放入，如果需要放入的数据名称在集合Set中有，则将其丢弃；

44、最终在集合Set中的数据即是合并后需要采集的数据，那么合并后的需要采集的数据集合是{a，b，c，d，e，f}；

将数据库中需要变步长更新的数据与第一集合取并集而生成第二集合，生成合并采集任务，采集所述第二集合中包括的数据，包括了先将各用户订单需要采集的数据取并集得第一集合，再将第一集合与数据库中需要变步长更新的数据取并集得第二集合的方式，也包括将各用户订单需要采集的数据与数据库中需要变步长更新的数据一次性取并集的方式，例如，取集合{a，b，c，d，e}、{a，e，f}和{a，e}的并集，得到合并后的需要采集的数据集合{a，b，c，d，e，f}，

相比将实施例二和实施例三独立进行，本实施例进一步减少了同一网络设备的同一数据接收到多模块和多系统的重复访问的次数，同时也保证了数据库中的数据处于高可用状态。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种数据采集管理方法，其特征在于，包括：

设置数据库，根据接收到的用户订单在所述数据库中查找对应数据；

如果数据库不满足用户订单需求，则判断各用户订单需要采集的数据，将各用户订单需要采集的数据取并集而生成第一集合，采集所述第一集合中包括的数据；

将采集到的数据更新到数据库；

还包括对数据库进行变步长更新，具体包括：

获取数据库中每条数据的访问频率及每条数据的最后更新时间；

根据所述访问频率确定每条数据的更新步长，根据所述最后更新时间确定每条数据的更新优先级；所述根据每条数据的访问频率确定更新步长的方法包括：数据访问频率高于系统预先配置的基准访问频率的数据时，其更新步长设置为低于系统预先配置的基准步长；所述根据每条数据的最后更新时间确定更新优先级的方法包括：由所述每条数据的最后更新时间得到每条数据的更新时长，如果所述更新时长大于系统预先配置的基准更新时长，则其更新优先级设置为高于系统预先设置的标准优先级；

根据所述每条数据的更新步长和更新优先级判断数据库中需要变步长更新的数据，生成变步长更新采集任务；

将采集到的数据更新到数据库。

2.如权利要求1所述的方法，其特征在于，将所述数据库中需要变步长更新的数据与所述第一集合取并集而生成第二集合，生成合并采集任务，采集所述第二集合中包括的数据，将采集到的数据更新到数据库。

3.如权利要求1所述的方法，其特征在于，所述更新步长等于所述系统基准步长与所述系统基准访问频率的乘积除以所述访问频率。

4.如权利要求1所述的方法，其特征在于，所述更新优先级等于所述系统基准优先级与所述更新时长的乘积除以所述系统基准更新时长。

5.如权利要求1至4任一项所述的方法，其特征在于，还包括将满足用户订单需求的数据反馈给用户。

6.如权利要求1至4任一项所述的方法，其特征在于，所述用户订单的内容包括数据标识和实时门限。

7.一种数据采集管理系统，其特征在于，包括：数据查找模块、任务管理模块、数据采集模块、数据更新模块和数据库，其中，

所述数据查找模块用于根据接收到的用户订单在所述数据库中查找对应数据；

所述任务管理模块用于在所述数据库不满足用户订单需求的条件下，判断各用户订单需要采集的数据，将各用户订单需要采集的数据取并集而生成第一集合，生成订单采集任务；

所述数据采集模块用于采集所述第一集合中包括的数据；

所述数据更新模块用于将数据采集模块采集到的数据更新到数据库；

所述任务管理模块还用于获取数据库中每条数据的访问频率及每条数据的最后更新时间，并采用如下方式根据所述访问频率确定每条数据的更新步长：当数据访问频率高于系统预先配置的基准访问频率的数据时，将其更新步长设置为低于系统预先配置的基准步长；所述任务管理模块还用于采用如下方式根据所述最后更新时间确定每条数据的更新优先级：由所述每条数据的最后更新时间得到每条数据的更新时长，如果所述更新时长大于系统预先配置的基准更新时长，则其更新优先级设置为高于系统预先设置的标准优先级；所述任务管理模块还用于根据所述每条数据的更新步长和更新优先级判断所述数据库中需要变步长更新的数据，生成变步长更新采集任务；所述数据采集模块还用于根据所述变步长更新采集任务采集数据；所述数据更新模块还用于将数据采集模块采集到的数据更新到数据库。

8.如权利要求7所述的数据采集管理系统，其特征在于，所述任务管理模块用于将所述数据库中需要变步长更新的数据与所述第一集合取并集而生成第二集合，生成合并采集任务；所述数据采集模块用于采集所述第二集合中包括的数据；所述数据更新模块用于将数据采集模块采集到的数据更新到数据库。

9.一种电信网络管理系统，其特征在于，包括用于执行用户业务的数据使用模块，还包括如权利要求7或8所述的数据采集管理系统，其中，

所述数据使用模块还用于将用户订单发送给所述数据采集管理系统；

所述数据采集管理系统用于根据所述用户订单提供数据。

10.如权利要求9所述的电信网络管理系统，其特征在于，所述数据使用模块还用于在向所述数据采集管理系统成功发送用户订单之后，断开与所述数据采集管理系统的连接，保持与所述数据采集管理系统的离线状态，直到所述数据采集管理系统完成了用户订单数据的获取之后，所述数据使用模块重新建立与所述数据采集管理系统的连接，从所述数据采集管理系统获取用户订单数据。