CN101018150A - 一种电信设备性能数据采集的方法及系统 - Google Patents
一种电信设备性能数据采集的方法及系统 Download PDFInfo
- Publication number
- CN101018150A CN101018150A CN 200610011314 CN200610011314A CN101018150A CN 101018150 A CN101018150 A CN 101018150A CN 200610011314 CN200610011314 CN 200610011314 CN 200610011314 A CN200610011314 A CN 200610011314A CN 101018150 A CN101018150 A CN 101018150A
- Authority
- CN
- China
- Prior art keywords
- module
- acquisition
- command
- performance
- order
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种电信设备性能数据采集的方法及系统,该方法包括:用户向电信设备下发历史性能采集命令;命令分发模块根据采集命令要下发到的设备类型来调用相应设备的命令解析模块,命令解析模块将采集命令解析成统一的格式;采集命令输入给命令调度模块,命令调度模块综合所有的采集命令进行优化调度,以保证高效的采集;命令调度模块调度采集命令,采集命令根据设备类型执行相应的数据采集模块;数据采集模块将采集到的历史性能数据发送到数据存储模块进行数据存储。本发明充分的考虑了同时管理多种类通讯设备的情况下,如何提高历史性能数据采集效率的问题,非常有利于历史性能管理系统的设备类型扩展和维护。
Description
技术领域
本发明属于电信网络管理系统下的历史性能管理子系统,涉及到电信管理网(TMN)中关于电信设备历史性能数据采集的一种实现方法和系统。
背景技术
在电信网络管理系统中,性能管理系统是非常重要的一部分。性能管理主要包括实时性能管理子系统,历史性能管理子系统。其中,历史性能管理子系统是其中的一个难点。一个电信网络往往需要管理上百个设备,要想分析网络性能数据,必须定期的采集网络中所有设备上的性能测量对象,这就需要定期大批量的采集性能数据,采集效率问题,大批量数据存储问题,都是该系统要解决的难点问题。
目前,每种电信设备的历史性能管理子系统都是各自实现的,图1就是一种常见的实现方式。这种方式的实现流程如下:
1.定时器向历史性能数据采集模块请求采集设备A的性能数据
2.设备A的命令分析模块分析命令
3.设备A的数据采集模块采集数据
4.设备A的数据存储模块把采集到的数据存储到持久介质
这样的一种系统和方法在只管理一款设备的时候是没有任何问题的,但是当历史性能管理系统同时管理多种设备的性能采集是,就有以下的一些问题:1)每种设备都开发出各自性能数据采集方式,这些方式由于没有总体的统筹规划,互相可能制约和影响,影响整个历史性能管理系统的采集效率。2)多种设备的历史性能采集方式不一致,导致整个历史性能管理系统维护起来比较困难。
发明内容
本发明所要解决的技术问题是提供一种电信设备性能数据采集的方法及系统,解决现有技术在管理多种类通讯设备的情况下,存在的历史性能数据采集效率较低的问题。
为达到上述目的,本发明提供了一种电信设备性能数据采集的方法,其特点在于,包括:
步骤一,下发电信设备的历史性能采集命令;
步骤二,命令分发模块根据所述采集命令要下发到的设备类型来调用相应设备的命令解析模块,所述命令解析模块将所述采集命令解析成统一的格式;
步骤三,所述统一格式的采集命令输入给命令调度模块,所述命令调度模块综合所有的所述统一格式的采集命令进行优化调度;
步骤四,所述命令调度模块调度所述采集命令,所述采集命令根据设备类型执行设备相应的数据采集模块;
步骤五,所述数据采集模块将采集到的历史性能数据发送到数据存储模块进行数据存储。
上述的方法,其特点在于,所述步骤三中的优化调度包括:按设备ID创建命令队列,发往同一设备的性能采集命令被串行化;所有的命令队列并发执行命令,执行过的采集命令从队列中移除。
上述的方法,其特点在于,所述步骤三中的优化调度还包括:即时生成所述命令队列,且最大命令队列的个数不超过一设定值,从而使内存的占用得到控制。
上述的方法,其特点在于,所述设定值为100。
上述的方法,其特点在于,所述步骤三中的优化调度还包括:所述命令队列一旦被创建,如果在预定时间之内所述命令队列都是空的,该命令队列将被销毁,从而及时回收内存,以做到缓存资源、提高时间效率;
上述的方法,其特点在于,所述预定时间为五分钟。
上述的方法,其特点在于,所述统一格式的采集命令包括如下属性:设备ID、设备类型、采集任务ID、一组待测量的性能对象。
上述的方法,其特点在于,在所述步骤五中,所述数据存储模块存储的历史性能数据具有通用的数据结构,所述数据结构包括以下属性:设备ID、设备类型、采集任务ID、一组待测量的性能对象和待测量的性能对象的采集值。
为了更好的实现本发明的目的,本发明还提供了一种电信设备性能数据采集的系统,其特点在于,包括:命令分发模块、各种设备的命令分析模块、各种设备的性能数据采集模块、采集命令调度模块和性能数据存储模块;所述命令分发模块连接所述各种设备的命令分析模块,所述各种设备的命令分析模块通过所述采集命令调度模块对应连接所述各种设备的性能数据采集模块,所述各种设备的性能数据采集模块连接所述性能数据存储模块;所述命令分发模块根据用户向电信设备下发的历史性能采集命令要下发到的设备类型,来调用相应设备的命令解析模块,所述命令解析模块将所述采集命令解析成统一的格式;所述统一格式的采集命令输入给命令调度模块,所述命令调度模块综合所有的所述统一格式的采集命令进行优化调度,以保证高效的采集;所述命令调度模块调度所述采集命令,所述采集命令根据设备类型执行设备相应的数据采集模块;所述数据采集模块将采集到的历史性能数据发送到数据存储模块进行数据存储。
上述的系统,其特点在于,所述采集命令调度模块包括命令执行调度器,用于按设备ID创建命令队列,把发往同一设备的性能采集命令串行化,并发执行所有的命令队列,且把执行过的采集命令从队列中移除。
本发明的技术效果在于:
本发明实现了一种全新的历史性能管理系统,这种系统架构充分的考虑了同时管理多种类通讯设备的情况下,如何提高历史性能数据采集效率的问题,这种架构定义的功能模块,数据模型,以及软硬件交互模式,也非常有利于历史性能管理系统的设备类型扩展和维护。
附图说明
图1为现有技术中历史性能管理系统结构示意图;
图2为本发明中历史性能管理系统示意图;
图3为本发明中历史性能管理系统中命令调度模块的结构图;
图4为本发明的一个实施例示意图。
具体实施方式
下面结合附图对技术方案的实施作进一步的详细描述:
本发明提供一种新的历史性能管理系统和方法。这样的一个历史性能管理系统包括命令分发模块210,各种设备的命令分析模块220,各种设备的性能数据采集模块240,一个采集命令调度模块230,一个性能数据存储模块250,以及被管理的电信设备。
下面是各个模块的功能描述:
命令分发模块210。命令分发模块根据命令要发往的设备类型将命令发往不同的命令分析模块。
命令分析模块220。命令分析模块主要用于分析发往各种设备的批量性能采集命令,该模块的工作包括:将不同的历史性能采集命令适配成统一的历史性能采集命令,输入到命令调度模块中;将性能采集命令分成必须串行执行的命令,和可以并发执行的命令,输入到命令调度模块中。
命令调度模块230。本模块是处理大量历史性能采集命令的核心模块。命令分析模块将大量的单条性能采集命令通过进程内通讯送到该模块,该模块通过各种优化策略,做到尽可能高效的执行命令,尽可能的利用可以重复使用的资源,尽快的回收不用的资源,监护系统的资源使用情况,防止系统的崩溃。该模块可以根据历史性能管理系统的硬件配置情况,调整进程并发数,缓存资源的数目,资源回收的时间间隔等。命令调度模块为每一个命令启动一个线程,各个命令负责根据设备类型执行数据采集模块。
性能数据采集模块240。根据历史性能采集命令的指示,负责采集设备上的性能数据,将采集到的数据发送给性能数据存储模块。性能数据采集模块和设备之间采取TCP/IP方式进行通讯。性能数据采集模块在命令执行时动态生成,在命令执行结束后释放。
性能数据存储模块250。它负责将性能数据采集模块采集到的历史性能数据存储入各种永久介质,比如数据库或者文件。它可以通过并发存储等方式进行效率优化。
下面说明本发明的具体实现方法。
第一步,用户向历史性能管理系统下发性能采集命令。
第二步,命令分发模块根据设备类型调用相应命令分析模块。
命令分发模块根据请求消息中指定的设备类型加载该设备的命令分析模块,命令分析模块将历史性能采集命令适配成统一的历史性能采集命令发往命令调度模块。统一的历史性能采集命令的主要属性如下:
1)设备ID
2)设备类型
3)采集任务ID
4)一组待测量的性能对象
第三步,命令调度模块根据策略调度命令,命令调度模块是处理大量历史性能采集命令的核心模块,可以采用各种策略对采集效率进行优化,本实施例中该模块的结构图如图3所示。
在本实施例中使用了多个命令队列231对命令执行进行管理。每个命令队列231中的命令都是严格串行执行的,而多个命令队列之间的命令则是可以并发执行。命令调度器232将根据配置的原则管理命令队列,执行命令。本实施例中,配置的原则有:
1)按设备ID创建命令队列,发往同一设备的性能采集命令必须被串行化;
2)所有的命令队列并发执行命令,执行过的命令从队列中移除;
3)命令队列不事先创建,而是即时生成,且最大命令队列个数不超过100个,这样内存占用得到控制;
4)命令队列一旦被创建,5分钟之内如果队列都是空的,该命令队列将被销毁,这样不仅可以及时回收内存,并尽可能做到缓存资源,提高时间效率;
第四步,命令被调度模块调度到,开始执行,命令根据命令中的设备类型,加载设备相关的数据采集模块进行数据采集。
第五步,性能数据采集模块针对指定的设备ID,通过TCP/IP通讯,从设备采集历史性能数据,性能数据采集模块采集到数据以后,将数据通过进程内通讯发往性能数据存储模块。
第六步,性能数据存储模块将数据持久化到文件中或者数据库中。被存储的历史性能数据具有通用的数据结构,主要包括以下属性:
1)设备ID
2)设备类型
3)采集任务ID
4)一组待测量的性能对象
5)待测量的性能对象的采集值
本实施例是将采集的数据持久化到了文件中,为了提高效率,采用多个文件同时存储数据的方式。
图4为本发明的一个实施例示意图。该实施例中包含了两种被管设备:非对称数字接入设备(DSLAM)401和综合接入设备(UAS)402,分别通过DDN和ATM/IP网络403传递管理信息。电信网络管理系统包括客户端404和服务器405,本发明中的历史性能管理系统运行在网管服务器上,该历史性能管理系统中运行有命令分发模块、命令调度模块,数据存储模块以及DSLAM设备命令分析模块,数据采集模块,UAS设备命令分析模块,数据采集模块。
以上所述仅为本发明的较佳实施例,并非用来限定本发明的实施范围;凡是依本发明所作的等效变化与修改,都被本发明的专利范围所涵盖。
Claims (10)
1、一种电信设备性能数据采集的方法,其特征在于,包括:
步骤一,下发电信设备的历史性能采集命令;
步骤二,命令分发模块根据所述采集命令要下发到的设备类型来调用相应设备的命令解析模块,所述命令解析模块将所述采集命令解析成统一的格式;
步骤三,所述统一格式的采集命令输入给命令调度模块,所述命令调度模块综合所有的所述统一格式的采集命令进行优化调度;
步骤四,所述命令调度模块调度所述采集命令,所述采集命令根据设备类型执行设备相应的数据采集模块;
步骤五,所述数据采集模块将采集到的历史性能数据发送到数据存储模块进行数据存储。
2、根据权利要求1所述的方法,其特征在于,所述步骤三中的优化调度包括:按设备ID创建命令队列,发往同一设备的性能采集命令被串行化;所有的命令队列并发执行命令,执行过的采集命令从队列中移除。
3、根据权利要求2所述的方法,其特征在于,所述步骤三中的优化调度还包括:即时生成所述命令队列,且最大命令队列的个数不超过一设定值,从而使内存的占用得到控制。
4、根据权利要求3所述的方法,其特征在于,所述设定值为100。
5、根据权利要求3所述的方法,其特征在于,所述步骤三中的优化调度还包括:所述命令队列一旦被创建,如果在预定时间之内所述命令队列都是空的,该命令队列将被销毁。
6、根据权利要求5所述的方法,其特征在于,所述预定时间为五分钟。
7、根据权利要求1至6中任意一项权利要求所述的方法,其特征在于,所述统一格式的采集命令包括如下属性:设备ID、设备类型、采集任务ID、一组待测量的性能对象。
8、根据权利要求7所述的方法,其特征在于,在所述步骤五中,所述数据存储模块存储的历史性能数据具有通用的数据结构,所述数据结构包括以下属性:设备ID、设备类型、采集任务ID、一组待测量的性能对象和待测量的性能对象的采集值。
9、一种电信设备性能数据采集的系统,其特征在于,包括:命令分发模块、各种设备的命令分析模块、各种设备的性能数据采集模块、采集命令调度模块和性能数据存储模块;
所述命令分发模块连接所述各种设备的命令分析模块,所述各种设备的命令分析模块通过所述采集命令调度模块对应连接所述各种设备的性能数据采集模块,所述各种设备的性能数据采集模块连接所述性能数据存储模块;
所述命令分发模块根据用户向电信设备下发的历史性能采集命令要下发到的设备类型,来调用相应设备的命令解析模块,所述命令解析模块将所述采集命令解析成统一的格式;所述统一格式的采集命令输入给命令调度模块,所述命令调度模块综合所有的所述统一格式的采集命令进行优化调度,以保证高效的采集;所述命令调度模块调度所述采集命令,所述采集命令根据设备类型执行设备相应的数据采集模块;所述数据采集模块将采集到的历史性能数据发送到数据存储模块进行数据存储。
10、根据权利要求9所述的系统,其特征在于,所述采集命令调度模块包括命令执行调度器,用于按设备ID创建命令队列,把发往同一设备的性能采集命令串行化,并发执行所有的命令队列,且把执行过的采集命令从队列中移除。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200610011314 CN101018150A (zh) | 2006-02-09 | 2006-02-09 | 一种电信设备性能数据采集的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200610011314 CN101018150A (zh) | 2006-02-09 | 2006-02-09 | 一种电信设备性能数据采集的方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101018150A true CN101018150A (zh) | 2007-08-15 |
Family
ID=38726918
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200610011314 Pending CN101018150A (zh) | 2006-02-09 | 2006-02-09 | 一种电信设备性能数据采集的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101018150A (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101894163A (zh) * | 2010-07-23 | 2010-11-24 | 中兴通讯股份有限公司 | 一种针对性能数据采集系统的数据库操作调度方法及装置 |
CN101895428A (zh) * | 2010-07-27 | 2010-11-24 | 中兴通讯股份有限公司 | 一种采集系统及采集点分配方法 |
CN101227330B (zh) * | 2008-02-19 | 2011-04-27 | Ut斯达康通讯有限公司 | 一种历史性能数据采集方法和系统 |
CN102045402A (zh) * | 2010-12-28 | 2011-05-04 | 云海创想信息技术(北京)有限公司 | 一种分布式文件系统的数据采集方法和数据采集系统 |
CN102279579A (zh) * | 2010-06-12 | 2011-12-14 | 中国移动通信集团浙江有限公司 | 一种设备性能采集装置和采集系统 |
CN102375837A (zh) * | 2010-08-19 | 2012-03-14 | 中国移动通信集团公司 | 数据采集系统和方法 |
CN102647294A (zh) * | 2012-03-31 | 2012-08-22 | 航天恒星科技有限公司 | 一种远端串口监控系统 |
CN102662866A (zh) * | 2012-04-09 | 2012-09-12 | 华为软件技术有限公司 | 一种文件cache管理方法及内存管理系统 |
WO2013182128A1 (zh) * | 2012-09-21 | 2013-12-12 | 中兴通讯股份有限公司 | 业务处理方法及装置 |
CN103765411A (zh) * | 2011-05-10 | 2014-04-30 | 泰雷兹加拿大公司 | 数据分析系统 |
CN104202181A (zh) * | 2014-08-20 | 2014-12-10 | 烽火通信科技股份有限公司 | 基于命令行的网络设备性能管理装置及方法 |
CN104301130A (zh) * | 2013-07-17 | 2015-01-21 | 腾讯科技(深圳)有限公司 | 监控数据采集方法和系统及任务分发服务器和采集装置 |
CN104679894A (zh) * | 2015-03-17 | 2015-06-03 | 浪潮集团有限公司 | 一种erp系统中海量运维数据的采集方法 |
CN112235326A (zh) * | 2020-12-15 | 2021-01-15 | 长沙树根互联技术有限公司 | 物联网设备数据的解析方法、装置和电子设备 |
-
2006
- 2006-02-09 CN CN 200610011314 patent/CN101018150A/zh active Pending
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101227330B (zh) * | 2008-02-19 | 2011-04-27 | Ut斯达康通讯有限公司 | 一种历史性能数据采集方法和系统 |
CN102279579A (zh) * | 2010-06-12 | 2011-12-14 | 中国移动通信集团浙江有限公司 | 一种设备性能采集装置和采集系统 |
CN102279579B (zh) * | 2010-06-12 | 2013-01-02 | 中国移动通信集团浙江有限公司 | 一种设备性能采集装置和采集系统 |
CN101894163A (zh) * | 2010-07-23 | 2010-11-24 | 中兴通讯股份有限公司 | 一种针对性能数据采集系统的数据库操作调度方法及装置 |
CN101894163B (zh) * | 2010-07-23 | 2013-06-12 | 中兴通讯股份有限公司 | 一种针对性能数据采集系统的数据库操作调度方法及装置 |
CN101895428A (zh) * | 2010-07-27 | 2010-11-24 | 中兴通讯股份有限公司 | 一种采集系统及采集点分配方法 |
CN102375837A (zh) * | 2010-08-19 | 2012-03-14 | 中国移动通信集团公司 | 数据采集系统和方法 |
CN102375837B (zh) * | 2010-08-19 | 2014-12-31 | 中国移动通信集团公司 | 数据采集系统和方法 |
CN102045402A (zh) * | 2010-12-28 | 2011-05-04 | 云海创想信息技术(北京)有限公司 | 一种分布式文件系统的数据采集方法和数据采集系统 |
CN103765411A (zh) * | 2011-05-10 | 2014-04-30 | 泰雷兹加拿大公司 | 数据分析系统 |
US9405914B2 (en) | 2011-05-10 | 2016-08-02 | Thales Canada Inc. | Data analysis system |
CN102647294A (zh) * | 2012-03-31 | 2012-08-22 | 航天恒星科技有限公司 | 一种远端串口监控系统 |
CN102647294B (zh) * | 2012-03-31 | 2015-04-22 | 航天恒星科技有限公司 | 一种远端串口监控系统 |
CN102662866B (zh) * | 2012-04-09 | 2015-03-25 | 华为软件技术有限公司 | 一种文件cache管理方法及内存管理系统 |
CN102662866A (zh) * | 2012-04-09 | 2012-09-12 | 华为软件技术有限公司 | 一种文件cache管理方法及内存管理系统 |
JP2015537277A (ja) * | 2012-09-21 | 2015-12-24 | ゼットティーイー コーポレーションZte Corporation | サービス処理方法及び装置 |
WO2013182128A1 (zh) * | 2012-09-21 | 2013-12-12 | 中兴通讯股份有限公司 | 业务处理方法及装置 |
KR20150052262A (ko) * | 2012-09-21 | 2015-05-13 | 지티이 코포레이션 | 서비스 처리 방법 및 장치 |
CN103685419A (zh) * | 2012-09-21 | 2014-03-26 | 中兴通讯股份有限公司 | 业务处理方法及装置 |
KR101706876B1 (ko) * | 2012-09-21 | 2017-02-14 | 지티이 코포레이션 | 서비스 처리 방법 및 장치 |
WO2015007172A1 (en) * | 2013-07-17 | 2015-01-22 | Tencent Technology (Shenzhen) Company Limited | Method for acquiring monitoring data and system thereof, task distribution server and agent |
CN104301130A (zh) * | 2013-07-17 | 2015-01-21 | 腾讯科技(深圳)有限公司 | 监控数据采集方法和系统及任务分发服务器和采集装置 |
US10313210B2 (en) | 2013-07-17 | 2019-06-04 | Tencent Technology (Shenzhen) Company Limited | Method for acquiring monitoring data and system thereof, task distribution server and agent |
CN104202181A (zh) * | 2014-08-20 | 2014-12-10 | 烽火通信科技股份有限公司 | 基于命令行的网络设备性能管理装置及方法 |
CN104202181B (zh) * | 2014-08-20 | 2018-01-02 | 烽火通信科技股份有限公司 | 基于命令行的网络设备性能管理装置及方法 |
CN104679894A (zh) * | 2015-03-17 | 2015-06-03 | 浪潮集团有限公司 | 一种erp系统中海量运维数据的采集方法 |
CN112235326A (zh) * | 2020-12-15 | 2021-01-15 | 长沙树根互联技术有限公司 | 物联网设备数据的解析方法、装置和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101018150A (zh) | 一种电信设备性能数据采集的方法及系统 | |
CN103092698B (zh) | 云计算应用自动部署系统及方法 | |
CN105912401B (zh) | 一种分布式数据批处理系统和方法 | |
CN108846076A (zh) | 支持接口适配的海量多源异构数据etl方法及系统 | |
CN104639374B (zh) | 一种应用程序部署管理系统 | |
CN103152393B (zh) | 一种云计算的计费方法和计费系统 | |
CN108829509A (zh) | 基于国产cpu和操作系统的分布式容器集群框架资源管理方法 | |
CN103399496B (zh) | 智能电网海量实时数据负载仿真测试云平台及其测试方法 | |
CN109214704A (zh) | 一种分布式智能化运维平台、方法、装置及可读存储介质 | |
CN104298550B (zh) | 一种面向Hadoop的动态调度方法 | |
CN107038162A (zh) | 基于数据库日志的实时数据查询方法和系统 | |
CN109829125A (zh) | 展示电网调度运行数据的用户管理平台 | |
CN100481783C (zh) | 网格服务容器的控制系统 | |
CN106549829A (zh) | 大数据计算平台监控系统及方法 | |
CN110532078A (zh) | 一种边缘计算调度优化方法及系统 | |
CN103491190A (zh) | 一种面向大规模实时并发的充电机监控数据处理方法 | |
CN101882161A (zh) | 应用级异步任务调度系统和方法 | |
CN108009258A (zh) | 一种可在线配置的数据采集与分析平台 | |
CN101894163B (zh) | 一种针对性能数据采集系统的数据库操作调度方法及装置 | |
CN110209646A (zh) | 一种基于实时流式计算的数据平台系统 | |
CN101374077A (zh) | 一种网管系统中告警前转实现方法及系统 | |
CN108243012A (zh) | 在线计费系统ocs中计费应用处理系统、方法及装置 | |
CN106130065B (zh) | 一种分布式光伏集群系统 | |
CN108988495A (zh) | 一种基于区块链的微电网电力调度方法及系统 | |
CN109361576A (zh) | 一种pim监控数据处理方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |