CN105991322B

CN105991322B - 一种采集适配器管理系统的处理方法和装置

Info

Publication number: CN105991322B
Application number: CN201510066608.9A
Authority: CN
Inventors: 张清; 李进
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2015-02-09
Filing date: 2015-02-09
Publication date: 2020-01-31
Anticipated expiration: 2035-02-09
Also published as: CN105991322A; WO2016127483A1

Abstract

本发明公开了一种采集适配器管理系统的处理方法和装置。本发明的处理方法包括：在所述采集适配器管理系统运行数据的过程中，录制获取的网元管理系统的原始数据，并保存录制数据；在需要模拟数据播放时，对保存的录制数据进行播放；应用本发明的处理方法可以实现在非真实运行环境中对依赖于EMS实时数据的NMS故障进行重现、分析定位和修复验证的技术问题。

Description

一种采集适配器管理系统的处理方法和装置

技术领域

本发明涉及电信网管集中网管领域，尤其一种采集适配器管理系统(CollectionAgent Management Subsystem，CAMS)的处理方法和装置。

背景技术

随着运营商电信网络日趋复杂，为了提高运维效率、保证网络服务质量，在多个厂商多种专业网的网元管理系统(Element Management System，EMS)基础上建立上层集中网管即综合网管系统(Network Management System，NMS)，实现全网集中、统一的网络监控和管理的需求非常迫切。在运营商要求下，目前不同厂商不同专业网的EMS网管系统基本都为NMS访问数据提供北向接口(NorthBound Interface，NBI)，但由于各种原因，NBI遵循的标准(3GPP、TMF、移动、联通规范等)、网络协议(Corba、Snmp、TL1等)、数据格式均有差异，这些差异甚至存在于同一厂商同一专业网的被管系统的不同版本。因此，NMS通常需要针对特定的被管系统北向接口配置专有的适配模块和相应的数据模型，对这些采集适配模块(Collection Agent,CAgent)进行管理的系统称为采集适配器管理系统(CollectionAgent Management Subsystem，CAMS)。

现有的CAMS设计和实现方案，出发点为NMS到EMS实时或定时获取配置、性能、告警等数据，主要考虑NBI连接建立和数据解析适配等功能的实现，但很少考虑NMS与EMS数据不一致或其它依赖于EMS实时消息数据的NMS故障的快速重现、分析以及修复验证方法。而综合网管产品需要面对多家运营商、多个设备商的多种被管系统，不可能在实验室里搭建所有的EMS测试环境或模拟测试环境，当NMS出现依赖于EMS实时消息数据(比如实时告警消息)的故障需要分析时，往往只能依靠后台打印日志和代码的分析，当故障修复进行验证时，只能借助运营商的TestBed测试环境或正式商用环境。

因此，如何实现在非真实运行环境中对依赖于EMS实时数据的NMS故障进行重现、分析定位和故障修复验证，成为技术人员需要考虑的问题。

发明内容

本发明要解决的主要技术问题是，提供一种采集适配器管理系统的处理方法和装置，能够解决如何实现在非真实运行环境中对依赖于EMS实时数据的NMS故障进行重现、分析定位和修复验证的技术问题。

为解决上述技术问题，本发明提供一种采集适配器管理系统的处理方法,包括如下步骤:

在所述采集适配器管理系统运行数据的过程中，录制获取的网元管理系统的原始数据，并保存录制数据；

在需要模拟数据播放时，对保存的录制数据进行播放。

进一步地，所述录制获取的网元管理系统的原始数据的步骤包括：

当获取的所述原始数据为FTP文件时，直接录制所述原始数据；

当获取的所述原始数据不为FTP文件时，将所述原始数据转换为统一格式化的中间数据，录制所述中间数据。

进一步地，当获取的所述原始数据不为FTP文件时，所述保存录制数据的步骤包括：

将录制的中间数据以文件流的方式写入文件，并保存所述文件；

所述对保存的录制数据进行播放的步骤包括:

加载和启动采集适配器，基于真实的所述采集适配器实例构造模拟采集适配器；

通过所述模拟采集适配器加载保存的文件；

对所述文件中的录制数据进行数据播放。

进一步地，所述对所述文件中的录制数据进行数据重放的步骤包括：

当所述文件为FTP文件时，直接调用所述采集适配器的处理流程对FTP文件进行播放；

当所述文件为中间数据文件时，从所述文件中读取录制的中间数据；

确定播放该中间数据的时间点，

当所述时间点到达时，调用真实的采集适配器实例将读取的原始数据解析为综合网管系统可识别的业务数据；

将所述业务数据提交给所述采集适配器管理系统的处理流程进行播放。

进一步地，在保存所述文件之前，所述方法还包括：添加录制的中间数据的写入时间至所述文件中；

当所述文件为中间数据文件时，在确定播放该中间数据的时间点之前，所述方法还包括：从所述文件中读取所述录制的中间数据对应的写入时间；

所述确定播放该中间数据的时间点的步骤包括：

根据所述写入时间、时间偏移和预设播放速度确定播放该中间数据的时间点。

进一步地，所述方法还包括：

在北向接口出现异常时，调用对应的采集适配器对该北向接口进行异常检测；

将异常检测结果呈现给用户。

进一步地，所述调用对应的采集适配器对该北向接口进行异常检测的步骤包括：

调用对应的采集适配器对该北向接口进行多个步骤的异常检测；

所述将异常检测结果呈现给用户的步骤包括：

将每个步骤的异常检测结果汇集后呈现给用户，所述异常检测结果包括：检测项名称信息、检测目标信息、检测手段信息、检测结果信息、异常影响范围信息和异常处理建议信息。

同样为了解决上述的技术问题，本发明还提供了一种采集适配器管理系统的处理装置，包括：录制模块和播放模块；

所述录制模块，用于在所述采集适配器管理系统运行数据的过程中，录制获取的网元管理系统的原始数据，并保存录制数据；

所述播放模块，用于在需要模拟数据播放时，对保存的录制数据进行播放。

进一步地，所述录制模块，用于：

当获取的所述原始数据不为FTP文件时，将所述原始数据转换为统一格式化的中间数据，录制所述中间数据，将录制的中间数据以文件流的方式写入文件，并保存所述文件；

所述播放模块，用于：

通过所述模拟采集适配器加载保存的文件；

确定播放该中间数据的时间点，

进一步地，所述装置还包括：异常检测模块和呈现模块；

所述异常检测模块，用于在北向接口出现异常时，调用对应的采集适配器对该北向接口进行异常检测；

所述呈现模块，用于将异常检测结果呈现给用户。

本发明的有益效果是：

本发明提供了一种采集适配器管理系统的处理方法和装置，能够实现在让开发人员可以在模拟环境中对NMS的故障进行重现、调试、分析、定位和修复验证；本发明的采集适配器管理系统的处理方法包括：在所述采集适配器管理系统运行数据的过程中，录制获取的网元管理系统的原始数据，并保存录制数据；在需要模拟数据播放时，对保存的录制数据进行播放；本发明的方法可在采集适配器管理系统运行数据的过程中预先录制EMS的原始数据并进行保存，为模拟数据播放做准备；之后，可以利用保存的EMS的录制数据进行数据重放从而模拟在真实运行环境中数据播放，使得开发人员可在该模拟环境中对依赖于EMS实时数据的NMS的故障进行重现、调试、分析、定位和修复验证。

附图说明

图1为本发明实施例一提供一种采集适配器管理系统的处理方法的流程示意图；

图2为本发明实施例一提供的一种采集适配器管理系统的处理方法中异常检测的流程示意图；

图3为本发明实施例二提供的一种系统架构示意图；

图4为本发明实施例二提供的一种采集适配器的功能架构示意图；

图5为本发明实施例二提供的一种EMS北向数据采集处理过程的流程示意图；

图6为本发明实施例二提供的一种模拟CAgent的数据播放流程示意图；

图7为本发明实施例三提供的一种采集适配器管理系统的处理装置的结构示意图；

图8为本发明实施例三提供的另一种采集适配器管理系统的处理装置的结构示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。

实施例一：

考虑到如何在非真实运行环境中对依赖于EMS实时数据的NMS故障进行重现、分析定位和修复验证的技术问题，本实施例提供了一种采集适配器管理系统的处理方法，如图1所示，包括如下步骤：

步骤101：在所述采集适配器管理系统运行数据的过程中，录制获取的网元管理系统的原始数据，并保存录制数据。

具体地，可以在采集适配器管理系统采集数据的过程中，录制从北向接口获取对应的网元管理系统的原始数据，并保存录制数据。

本实施例中原始数据可以包括：告警消息、配置消息、性能数据中的一种或者多种，当然，本实施例原始数据还可以包括其他EMS的原始数据。

本实施例中从北向接口获取原始数据的过程可以包括以下两种情况：

一种情况为，CAMS调用CAgent从EMS北向接口采集EMS原始数据。

例如，CAMS在接收到NMS的数据获取指令时调用对应的CAgent利用数据采集接口从EMS北向接口采集EMS原始数。

另一种情况为：EMS通过北向接口主动上报原始数据给CAMS，例如上报实时告警消息给CAMS。

优先地，在本实施例中录制原始数据的过程可以包括：

当获取的原始数据为FTP(File Transfer Protocal，文件传输协议)文件时，直接将保存该原始数据；例如对原始数据进行拷贝，然后保存拷贝的原始数据；

当获取的原始数据不为FTP文件时，例如是基于Corba、SNMP等通信协议的数据时，为能够进行数据录制和模拟环境播放，本实施例方法需要将所述原始数据转换为统一格式化的中间数据，然后录制所述中间数据。

优选地，当获取的原始数据不为FTP文件时，保存录制数据的方式为：在录制所述中间数据(例如键值对集合)后，将录制的中间数据以文件流的方式写入文件(优选地，一条数据对应文件的一行)，并保存所述文件。例如，在将录制的中间数据以文件流的方式写入文件后(为便于阅读，一般为CSV格式文件)，将文件保存到录制文件存放目录。

在本实施例中录制文件的存放目录一般按EMS、数据种类和日期时间进行组织。

为了便于录制数据读取和录制数据播放时间点的确定，在获取的原始数据不为FTP的情况下，本实施例方法还可以添加录制的中间数据的写入时间至所述文件中，例如可以将录制的中间数据写入文件时CAMS系统时间作为写入时间添加至文件中。

步骤102：在需要模拟数据播放时，对保存的录制数据进行播放。

例如，在出现依赖于EMS实时数据的NMS故障时，为了能够对故障进行重现、调试、分析、定位和修复验证；此时需要模拟之前在真实环境下的数据播放，本实施例方法由于事先录制且存储了在真实环境下播放的数据，因此，可以对录制数据进行播放从而模拟出真实环境下的数据播放，开发人员可以在模拟数据播放环境下进行故障重现、分析、定位和修复验证等。

在模拟数据播放环境中，本实施例方法可以直接用基于CAgent实例构造统一的模拟CAgent_Mock(模拟采集适配器)进行替代，在获取EMS数据时，直接访问本地存放的录制文件获取录制数据，然后对录制数据播放，因此，本步骤中对保存的录制数据进行播放的过程可以包括：

通过所述模拟采集适配器加载保存的文件；

对所述文件中的录制数据进行数据播放。

在本实施例中保存的录制文件有两种形式，一种是FTP文件、一种是中间数据文件；因此，在对存放的文件中的录制数据进行数据播放的情况也包括两种：

1、当所述文件为FTP文件时，直接调用所述采集适配器的处理流程对FTP文件进行播放；

2、当所述文件为中间数据文件时，从所述文件中读取录制的中间数据；

确定播放该中间数据的时间点，

在录制文件包括录制数据的写入时间时，本实施例方法在所述文件为中间数据文件时，在确定播放该中间数据的时间点之前，还包括：从所述文件中读取所述录制的中间数据对应的写入时间；

然后，根据所述写入时间、时间偏移和预设播放速度确定播放该中间数据的时间点。

本实施例的方法可在采集适配器管理系统运行数据的过程中预先录制EMS的原始数据并进行保存，为模拟数据播放做准备；之后，可以利用保存的EMS的录制数据进行数据重放从而模拟在真实运行环境中数据播放，使得开发人员可在该模拟环境中对依赖于EMS实时数据的NMS的故障进行重现、调试、分析、定位和修复验证。进而提高对NMS中异常进行分析定位以及故障验证的效率。

在上述介绍的方法基础上，为能够方便CAMS运行时进行采集适配器的异常检测定位，如图2所示，本实施例方法还可以包括：

步骤201：在北向接口出现异常时，调用对应的采集适配器对该北向接口进行异常检测。

优选地，调用对应的采集适配器对该北向接口进行多个步骤的异常检测。例如当维护人员发现CAMS与EMS北向接口出现异常时，可以通过界面触发采集适配器管理系统调用CAgent的NBI检测接口，CAgent按EMS北向接口通信协议进行多个步骤的北向接口检测，包括IP连接检测、EMS端口检测、甚至各种数据格式检测等(具体要进行哪些检测步骤，如何检测都由CAgent自主实现)。

步骤202：将异常检测结果呈现给用户。

在进行多个步骤检测情况下，每个步骤的检测结果(包括检测项名称、检测目标、检测手段、检测结果、异常影响范围、处理建议等信息)汇集后，返回给采集适配器管理系统，采集适配器管理系统再通过用户界面进行可视化呈现。维护人员就可以初步判断网络通信、服务器还是被管系统出现问题，然后进行针对性的解决。

该功能的实现，将很大程度提高综合网管产品的现场维护的工作效率，80％与EMS网络通信的故障可以由系统维护人员现场分析解决，减少对NMS专业技术人员的依赖和交互。

实施例二：

本实施例介绍实施例一描述的方法的具体应用情况：

如图3所示，为一种包括NMS、CAMS、EMS系统架构，其中，CAMS作为NMS访问EMS的中间层，可以作为独立系统或独立进程运行，并具有可视化的用户界面。每个EMS都有对应的采集适配器CAgent，CAMS负责所有CAgent的管理(启动、停止、检测)，同时提供NMS访问接口CAMS_NBI，响应NMS的操作指令，通过消息或同步访问提供业务数据。

采集适配器管理框架制定所有EMS采集适配器CAgent必须遵循的统一接口，接口包括两个部分：NBI检测接口和数据采集接口；

NBI检测接口：规范CAgent与EMS北向接口的检测触发机制和检测结果。采集适配器CAgent在实现NBI检测接口时，针对具体的被管系统北向接口的网络地址、通讯协议、端口等进行网络连接进行多个步骤的检测。

数据采集接口：规范CAgent通过EMS北向接口采集配置、告警、性能等多种原始数据，并进行格式化和数据解析。每种数据采集都由独立的接口定义，同时每种数据的采集都在接口层面分解为原始数据获取、原始数据格式化统一中间格式数据、中间格式数据解析为NMS业务数据三个步骤。

如图4所示，CAMS框架中每一个采集适配器CAgent都需要实现的功能，包括EMS北向接口检测，EMS北向连接基础管理，同步获取活动告警，实时告警消息监听，同步获取配置数据，实时配置消息监听，性能数据采集等。其中采集适配器CAgent利用NBI检测接口进行北向接口检测，利用数据采集接口采集EMS的多种原始数据。

在本实施例中采集适配器管理框架通过如下步骤完成数据的采集和录制：

1)CAMS框架调用CAgent的数据采集接口实现从EMS北向接口采集到EMS原始数据；

2)如果原始数据不为FTP文件时，CAMS框架调用格式化接口，将原始数据转换为统一格式化的中间数据，如果打开录制选项，将中间数据以流的方式录制到文件中保存；如果原始数据为FTP文件，直接拷贝原始数据进行保存

3)CAMS框架调用解析接口将中间数据转换为NMS可识别的业务数据；

4)通过CAMS与NMS的接口将业务数据转发给NMS。

如图5所示，本实施例中CAMS框架中EMS北向数据采集处理的过程包括：

步骤501：调用CAgent的数据采集接口从EMS北向接口获取EMS原始数据，或者接收EMS通过实时消息上报的原始数据。

步骤502：判断原始数据是否为FTP文件，若是，执行步骤503，若否，则执行步骤506。

步骤503：判断录制开关是否打开，若是，则执行步骤504，若否，则执行步骤505。

步骤504：录制原始数据，将录制数据保存到数据录制存放目录中。

步骤505：将原始数据解析为NMS可识别的业务数据，转步骤510。

步骤506：将原始数据转换为统一格式的中间数据；

步骤507：判断录制开关是否打开，若是，则执行步骤508，若否，则执行步骤509；

步骤508：录制中间数据，将录制的中间数据以文件流的方式写入文件，且保存文件至数据录制存放目录中。

具体地，一条数据对应文件的一行，同时加入数据写入时间，例如系统时间等信息

步骤509：将中间数据解析为NMS可识别的业务数据。

步骤510：通过CAMS_NBI接口将业务数据提供给NMS。

如图6所示，在保存录制数据之后，模拟CAgent的数据播放的过程包括如下步骤：

步骤601：CAMS启动，加载CAgent。

步骤602：判断是否配置CAgent在数据播放的模拟状态，若是，则执行603，若否，则执行步骤611。

步骤603：基于真实CAgent实例构造统一的模拟器CAgent_Mock。

步骤604：启动模拟器CAgent_Mock播放线程。

步骤605：从文件系统加载CAgent所有的录制文件。

具体地，可以按时间顺序加载录制文件，读取记录行

步骤606：判断录制文件为FTP文件还是中间数据文件，若是FTP文件，则执行步骤607，若是中间数据文件，则执行步骤608；

步骤607：直接调用CAgent的处理流程对FTP文件进行播放。

步骤608：从录制文件中读取记录行，将记录行读取为中间数据。

步骤609：按照偏移时间及播放速度，调用真实CAgent的数据解析获得NMS可识别的业务数据，将业务数据按同步访问或消息的形式提交给CAMS管理框架处理流程。

本步骤具体处理过程可以包括：

1)在读取文件中的数据行，构造为统一格式的中间数据后，读取该数据行的原始写入时间

2)根据原始写入时间、时间偏移量、播放速度，确定该条数据播放的时间点

3)当时间点到达时，调用CAgent的业务数据解析将中间数据转NMS业务数据

4)将业务数据按同步访问或消息的形式提交给CAMS管理框架处理流程；

步骤610：判断CAgent是否停止，若否，返回步骤608，若是，则线程结束。

步骤611：加载真实CAgent实例，进行真实数据采集处理流程。

在本实施例中用户可以通过CAMS用户界面执行某个EMS北向接口检测功能，CAMS通过管理框架将检测命令下达到对应CAgent，CAgent按EMS北向接口通信协议进行多个步骤多种策略的检测，包括IP连接检测、EMS端口检测、甚至各种数据格式检测等(具体要进行哪些检测步骤，如何检测都由CAgent自主实现)，每个检查步骤完成后，都将形成统一格式的检测结果DetectResult，所有步骤完成后，管理框架将所有的DetectResult形成集合，在CAMS用户界面上以表格的形式进行呈现，如下表所示。用户可以根据检测结果中的异常描述信息和处理建议进行针对处理

实施例三：

如图7所示，本实施例提供了一种采集适配器管理系统的处理装置，包括：录制模块和播放模块；

优选地，所述录制模块，用于：

所述播放模块，用于：

通过所述模拟采集适配器加载保存的文件；

确定播放该中间数据的时间点，

优选地，如图8所示，本实施例的处理装置还包括：异常检测模块和呈现模块；

所述呈现模块，用于将异常检测结果呈现给用户。

本实施例的处理装置可在采集适配器管理系统运行数据的过程中预先录制EMS的原始数据并进行保存，为模拟数据播放做准备；之后，可以利用保存的EMS的录制数据进行数据重放从而模拟在真实运行环境中数据播放，使得开发人员可在该模拟环境中对依赖于EMS实时数据的NMS的故障进行重现、调试、分析、定位和修复验证。进而提高对NMS中异常进行分析定位以及故障验证的效率。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims

1.一种采集适配器管理系统的处理方法，其特征在于，包括如下步骤：

在所述采集适配器管理系统运行数据的过程中，获取的网元管理系统的原始数据，

当获取的所述原始数据为FTP文件时，直接录制所述原始数据，并保存录制数据；

当获取的所述原始数据不为FTP文件时，将所述原始数据转换为统一格式化的中间数据，录制所述中间数据，并保存录制数据；

在需要模拟数据播放时，对保存的录制数据进行播放。

2.如权利要求1所述的处理方法，其特征在于，当获取的所述原始数据不为FTP文件时，所述保存录制数据的步骤包括：

所述对保存的录制数据进行播放的步骤包括:

通过所述模拟采集适配器加载保存的文件；

对所述文件中的录制数据进行数据播放。

3.如权利要求2所述的处理方法，其特征在于，所述对所述文件中的录制数据进行数据重放的步骤包括：

确定播放该中间数据的时间点，

4.如权利要求3所述的处理方法，其特征在于，在保存所述文件之前，所述方法还包括：添加录制的中间数据的写入时间至所述文件中；

所述确定播放该中间数据的时间点的步骤包括：

5.如权利要求1-4任一项所述的处理方法，特征在于，所述方法还包括：

将异常检测结果呈现给用户。

6.如权利要求5所述的处理方法，其特征在于，所述调用对应的采集适配器对该北向接口进行异常检测的步骤包括：

所述将异常检测结果呈现给用户的步骤包括：

7.一种采集适配器管理系统的处理装置，其特征在于，包括：录制模块和播放模块；

所述录制模块，用于在所述采集适配器管理系统运行数据的过程中，获取的网元管理系统的原始数据，当获取的所述原始数据为FTP文件时，直接录制所述原始数据，并保存录制数据；当获取的所述原始数据不为FTP文件时，将所述原始数据转换为统一格式化的中间数据，录制所述中间数据，并保存录制数据；

8.如权利要求7所述的装置，其特征在于，所述播放模块，用于：

通过所述模拟采集适配器加载保存的文件；

确定播放该中间数据的时间点，

9.如权利要求8所述的装置，其特征在于，还包括：异常检测模块和呈现模块；

所述呈现模块，用于将异常检测结果呈现给用户。