CN101772051A - 一种通信性能网管系统汇总数据的异步处理方法 - Google Patents
一种通信性能网管系统汇总数据的异步处理方法 Download PDFInfo
- Publication number
- CN101772051A CN101772051A CN201010011649A CN201010011649A CN101772051A CN 101772051 A CN101772051 A CN 101772051A CN 201010011649 A CN201010011649 A CN 201010011649A CN 201010011649 A CN201010011649 A CN 201010011649A CN 101772051 A CN101772051 A CN 101772051A
- Authority
- CN
- China
- Prior art keywords
- data
- message
- module
- sends
- network management
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 title claims abstract description 12
- 238000003672 processing method Methods 0.000 title claims abstract description 4
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 19
- 230000007246 mechanism Effects 0.000 claims abstract description 10
- 238000012544 monitoring process Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 2
- 238000005538 encapsulation Methods 0.000 claims description 2
- 230000008520 organization Effects 0.000 claims description 2
- 238000002203 pretreatment Methods 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 abstract description 7
- 230000003111 delayed effect Effects 0.000 abstract 1
- 238000005192 partition Methods 0.000 abstract 1
- 230000000737 periodic effect Effects 0.000 abstract 1
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
一种通信性能网管系统汇总数据的异步处理方法，通过消息发送、派遣、接收、再发送的机制实现通信性能网管系统中数据的异步运行处理，它解决了网管数据经过若干处理过程后，造成数据呈现的大幅度延迟的问题。常用的数据处理方式，是周期性的启动相应模块，对指定范围内的数据进行处理，这种处理当数据处理环节增多时，数据的延时将成倍增加。本发明中介绍的新方法，基于消息机制，各处理模块借助消息的发送和接收，自然串联起来，没有周期性等待的时间，将输入从采集到呈现的延时将到最小，大幅度的提高了系统的可用性。同时，因为网络切割等问题造成的数据延迟到达等原方法难以处理的问题，在新的方法下也迎刃而解。网络维护人员可以在最短的时间内得到所及时信息，为通信网络的安全、可靠运行提供有力的支持与保障。
Description
技术领域
本发明涉及通信性能网管系统，并可推广至其它通信领域的数据处理中。
背景技术
在移动通信中，性能网管系统从网络设备中采集性能数据，经过解析将数据格式化为统一的形式输出至数据库中，并对数据进行公式映射、汇总后变成网络维护人员进行网络维护所依赖的KPI数据。基于这些数据维护人员可以进行网络性能分析、网络优化、性能告警、性能监控和性能预测，为通信网络的安全、可靠运行提供支持与保障。数据从网络设备中采集到通过界面呈现给网络人员，不可避免的存在着数据延时。在最差的情况下，这种延时随着数据处理环节的增多而成倍增加，因此在保证提供各种网络维护的数据和处理功能的前提下，最大限度的减少延时，为网络维护人员提供及时或准实时数据是性能网管系统成功的关键因素之一。最小的数据延时也使得性能告警和性能监控在最早的时间内得到网络运行的数据。
目前，常用的处理方式是周期性的调用各数据处理模块，分别对数据在不同的环节进行相应处理，直至最后呈现给用户。此时数据延时不可控制，最好的情况下，在一个数据周期左右将数据处理完毕；最差的情况下，将叠加各个数据处理周期。这种机制的缺点是不言而喻的。
本方法利用消息机制，通过消息的传递将各处理环节有机串联起来，一个处理过程的结束后会在很短的时间内启动下一个处理过程，这样就把总体数据延时控制在一个数据周期上，将数据及时呈现给网络维护人员。
另一方面，因为网络扩容、切割或设备本身故障问题，某些网元的性能数据可能会在几个小时或者几天后产生，为了将这些迟到的数据整合到系统中，可能会启动附加的补采、补入等手段来单独处理这些数据，此时会出现更大的数据延时和系统消耗。
本方法由消息控制模块自动对后到的数据进行同步，驱动每一个处理环节，能自动适应性能数据延迟上报的问题，将这些迟到的数据自动地、及时地同步到系统，展现给网络维护人员。
发明内容
本发明所要解决的问题是提供一种方法，保证在完成各数据处理环节的前提下，将性能数据在最短的时间内呈现给网络维护人员。
本发明技术方案是按以下方式实现的：内容包括：
1.1设计网管系统中各核心模块，如采集、解析、入库、数据映射、数据汇总、性能告警、性能监控为相互独立运行、无耦合的模块；
1.2定义消息池，各模块操作完毕后，将每条数据的时间点，数据类型封装成消息，发送到消息池；
1.3各模块获取到消息后，启动自己相应的处理过程，针对从消息中获取到的数据集合，完成相应的数据操作，然后，
1.4又将经过自己处理过的数据封装成消息，发送到消息池；
1.5基于这种消息发送、派遣、接收、再发送的机制，使得各数据处理模块异步地运行。
1.6不同的网元的采集时间粒度可能有所不相同，系统通过消息控制模块将其同步，对后到的网元自动进行数据同步。
与目前常用方式比较，本发明所用方法，有两个突出的优点：
优点一.整个处理数据周期时间短。可以实现在一个数据周期内完成整个的数据处理流程，各模块之间异步地、并行地运行，在最短的时间内，数据及时或准实时地将数据呈现给使用人员，使得用户尽早发现网络问题，尽早得到关心的数据。
优点二.对延迟到达的数据进行自动同步。不需要有单独的模块来处理延迟到达的数据，延迟到达的数据与按时到达的数据采用同样的流程进行处理，由消息控制模块对所有数据自动进行同步。
附图说明：
图1是现有技术的通信性能网管系统数据处理示意图；
图2是本发明方法的通信性能网管系统数据处理示意图；
图3是模块内部的处理流程图。
具体实施方式：
下面将参照附图，对本发明的方法作以下详细描述。
将网管系统中的数据处理，划分为数据采集模块、解析模块、入库模块、数据映射模块、数据汇总模块、性能告警模块、性能监控模块，如图1所示，各模块相互独立，基于消息机制串联在一起。
消息体的结构定义如下，消息编号，消息类型，数据集名称，数据标识，数据日期，数据时刻，数据周期，发送时间，消息状态。消息存储在数据库中的表中，即使用表定义消息池，各模块操作完毕后，将当前处理的数据封装成消息体，发送到消息池中；
某数据处理模块首先根据获得的消息，针对从消息体中获取到的数据集合，
完成自己相应的数据操作，然后，又将经过自己处理过的数据封装成新的消息体，发送到消息池；
基于这种消息发送、派遣、接收、再发送的机制，使得各数据处理模块异步地运行。如图1，图2.
消息控制模块实现了对延迟到达数据的自动同步，无论是按时到达的还是延迟到达的数据，系统都基于消息控制模块对它们进行统一处理，统一将数据消息派遣到各模块，实现了数据的同步。
Claims (3)
1.一种通信性能网管系统汇总数据的异步处理方法，其特征在于，通过消息发送、派遣、接收、再发送的机制实现通信性能网管系统中数据的异步运行处理，包括以下内容：
1)设计网管系统中各核心模块，划分为数据采集模块、解析模块、入库模块、数据映射模块、数据汇总模块、性能告警模块、性能监控模块，各模块相互独立，基于消息机制串联在一起；
2)消息体的结构定义如下，消息编号，消息类型，数据集名称，数据标识，数据日期，数据时刻，数据周期，发送时间，消息状态，消息存储在数据库中的表中，即使用表定义消息池，各模块操作完毕后，将当前处理的数据封装成消息体，发送到消息池中；
3)某数据处理模块首先根据获得的消息，针对从消息体中获取到的数据集合，完成自己相应的数据操作，然后，又将经过自己处理过的数据封装成新的消息体，发送到消息池；
4)基于这种消息发送、派遣、接收、再发送的机制，使得各数据处理模块异步地运行；
5)不同网元的采集时间粒度有所不相同，系统通过消息控制模块将其同步，对延迟到达的网元自动进行数据同步。
2.根据权利要求1所述的方法，其特征在于，消息池定义：是存放各模块发送的消息以及为后继模块提供消息来源的数据存储空间。
3.根据权利要求1所述的方法，其特征在于，异步处理是在各模块内部获取消息及从消息中得到要处理的数据集合进行相应处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010011649.5A CN101772051B (zh) | 2010-01-21 | 2010-01-21 | 一种通信性能网管系统汇总数据的异步处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010011649.5A CN101772051B (zh) | 2010-01-21 | 2010-01-21 | 一种通信性能网管系统汇总数据的异步处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101772051A true CN101772051A (zh) | 2010-07-07 |
| CN101772051B CN101772051B (zh) | 2014-03-12 |
Family
ID=42504565
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201010011649.5A Active CN101772051B (zh) | 2010-01-21 | 2010-01-21 | 一种通信性能网管系统汇总数据的异步处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101772051B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102045197A (zh) * | 2010-12-14 | 2011-05-04 | 中兴通讯股份有限公司 | 一种告警数据的同步方法及网管系统 |
| CN104125100A (zh) * | 2014-08-11 | 2014-10-29 | 浪潮通信信息系统有限公司 | 一种通信网管中dashboard实时监控的方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100377528C (zh) * | 2004-06-28 | 2008-03-26 | 华为技术有限公司 | 一种网管系统安全管理方法 |
| CN100433650C (zh) * | 2005-12-14 | 2008-11-12 | 中兴通讯股份有限公司 | 网络优化系统中的网管数据同步方法及网管数据同步系统 |
-
2010
- 2010-01-21 CN CN201010011649.5A patent/CN101772051B/zh active Active
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102045197A (zh) * | 2010-12-14 | 2011-05-04 | 中兴通讯股份有限公司 | 一种告警数据的同步方法及网管系统 |
| CN102045197B (zh) * | 2010-12-14 | 2014-12-10 | 中兴通讯股份有限公司 | 一种告警数据的同步方法及网管系统 |
| CN104125100A (zh) * | 2014-08-11 | 2014-10-29 | 浪潮通信信息系统有限公司 | 一种通信网管中dashboard实时监控的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101772051B (zh) | 2014-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107483135B (zh) | 一种高同步的时间触发以太网装置及方法 | |
| CN102255803B (zh) | 一种适用于时间触发交换式网络的周期调度时刻表构建方法 | |
| CN103729806A (zh) | 一种变电站告警图形网关最小化系统及其实现方法 | |
| CN102916407A (zh) | 一种地区电网继电保护及故障信息管理系统 | |
| CN103345435A (zh) | 数据备份、恢复的方法以及用于备份的目的服务器系统 | |
| CN108712351A (zh) | 基于双平面的时间触发以太网交换机及分组交换方法 | |
| CN110414871A (zh) | 基于边缘计算的变电站二次设备故障监测系统及监测方法 | |
| CN102324788A (zh) | 电力调度一体化防误模拟综合管理平台 | |
| CN104504483B (zh) | 一种用于实现防误操作票省地一体化的方法 | |
| CN106452854B (zh) | 一种基于多连接主备冗余的地铁综合监控系统同步通讯方法 | |
| CN106375480A (zh) | 一种基于分布式系统的电能数据实时采集系统及方法 | |
| CN108924007A (zh) | 通信运营信息的大数据采集及存储系统和方法 | |
| CN101772051A (zh) | 一种通信性能网管系统汇总数据的异步处理方法 | |
| CN112613790A (zh) | 应用于多站融合环境下的协同数据处理方法、设备及介质 | |
| CN103973489A (zh) | 一种异构设备集中监控系统 | |
| CN107943829A (zh) | 一种跨安全区数据库同步方法 | |
| CN105471540A (zh) | 一种基于风电变流器的北斗gps时钟同步系统 | |
| CN105763384A (zh) | 银行卡交换中心的运营保障系统 | |
| CN105338107A (zh) | 一种据点运营同步管理系统及方法 | |
| CN110705721A (zh) | 一种基于dicp系统的机器人自动化巡检方法 | |
| CN103685248A (zh) | 一种过程层三网合一报文传输实时调度方法 | |
| CN109587161A (zh) | 智能电网遥控命令传送全过程信息的监测方法 | |
| CN101561795A (zh) | 一种分布式系统中的数据同步方法及装置 | |
| CN102752148A (zh) | 基于网元适配子系统的管理系统及方法 | |
| CN106971272A (zh) | 一种调度自动化主备系统间操作同步的系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 250100 Ji'nan high tech Zone, Shandong, No. 1036 wave road Patentee after: Beijing MetarNet Technology Co.,Ltd. Address before: 250014 No. 224 mountain road, Lixia District, Shandong, Ji'nan Patentee before: INSPUR COMMUNICATION AND INFORMATION SYSTEM Co.,Ltd. |
|
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 250100 S06 tower, 1036, Chao Lu Road, hi tech Zone, Ji'nan, Shandong. Patentee after: INSPUR COMMUNICATION AND INFORMATION SYSTEM Co.,Ltd. Address before: No. 1036, Shandong high tech Zone wave road, Ji'nan, Shandong Patentee before: Beijing MetarNet Technology Co.,Ltd. |
|
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Cui Hongzhi Inventor after: Zheng Guosheng Inventor before: Zheng Guosheng |