CN108306993A - 一种融合北向接口与设备直连模式的标准化通信设备数据采集方法 - Google Patents

Abstract

本发明公开了一种融合北向接口与设备直连模式的标准化通信设备数据采集方法，包括以下步骤：(1)封装协议栈，在协议栈封装过程中，以非阻塞通信模式，采用异步处理方式进行数据的发送和接收；(2)对采集模式进行自适应识别，根据采集内容，选用采集方式；(3)以北向接口功能为基础，结合设备直连采集数据，做到功能互补；(4)对通过北向接口和设备直连两种模式采集的数据进行智能化匹配以及双纬度数据验证。本发明通过两种采集模式的融合互补，提高了现有电力通信设备采集数据的全面性和准确性；通过两种采集模式间的智能切换，提高了数据采集过程的稳定性，为上层综合网管进行设备监视、数据分析提供了坚实的数据基础，能够显著提升电力通信网运维管理效率。

Description

一种融合北向接口与设备直连模式的标准化通信设备数据采 集方法

技术领域

本发明涉及一种融合北向接口与设备直连模式的标准化通信设备数据采集方法，属于电力通信技术领域。

背景技术

电力通信网是支撑电网安全稳定运行的重要支撑设施，在通信的稳定性、可靠性等方面有极高要求。因此，对电力通信网进行实时的状态监测是电力通信网管理乃至电网生产运行的重要技术环节。目前在电力通信网实时监测方面，主要依靠通信设备的设备网管、专业网管以及综合网管等通信设备监控软件系统，目前综合网管实时监测方面，主要通过北向接口采集和设备直连采集来获取设备告警、资源及运行状态数据，但两种方式各有缺陷，主要体现在：北向接口采集的数据受设备网管限制，采集的数据完整性不足；设备直连方式采集的设备数量庞大，导致采集数据的连接会话数大，处理复杂，并且原始数据解析的难度更大。

总体来看，传统单一模式的数据采集，无论是北向接口还是设备直连，均在不同程度上存在着采集数据完整性、准确性、及时性以及稳定性上的不足。

发明内容

针对现有技术存在的不足，本发明目的是提供一种融合北向接口与设备直连模式的标准化通信设备数据采集方法，提高了数据采集的完整性、准确性、及时性以及稳定性。

为了实现上述目的，本发明是通过如下的技术方案来实现：

本发明的一种融合北向接口与设备直连模式的标准化通信设备数据采集方法，包括以下几个步骤：

(1)封装协议栈，在协议栈封装过程中，以非阻塞通信模式，采用异步处理方式进行数据的发送和接收；

(2)对采集模式进行自适应识别，根据采集内容，选用采集方式；

(3)以北向接口功能为基础，结合设备直连采集数据，做到功能互补，用于提高采集数据的完整性、及时性；

(4)对通过北向接口和设备直连两种模式采集的数据进行智能化匹配以及双纬度数据验证。

步骤(1)中，所述协议栈具体的封装方法如下：

以协议为单位，定义两个通用接口，分别为协议栈管理接口与协议栈执行接口，规范每个协议栈实现的方法；所述协议栈管理接口向上层管理模块提供该协议栈需要的参数信息，并实例化协议栈执行接口；所述协议栈执行接口负责提供远端北向接口或者设备的连接方式，并提供数据交互方法。

步骤(2)中，支持人工选择采集模式，根据采集内容自适应选择采集模式，在采集中断的情况下智能化进行北向接口或者设备直连采集模式切换，对采集模式进行自适应识别。

上述人工选择采集模式具体方法如下：设计两个配置页面，一个是北向接口采集配置界面，即选定采集模式为通过北向接口采集，配置需要的参数，启动采集任务；另一个是设备直连采集配置界面，即选定采集模式为通过设备直连采集，配置需要的参数，启动采集任务；人工判定需求，选择设定的采集模式。

上述自适应选择采集模式具体方法如下：将北向接口采集模式与设备直连采集模式的融合，即提供了采集模式自适应选择，对于两种模式都支持采集的数据，优先选择北向接口方式采集，对于仅支持设备直连方式采集的数据，则自动选择设备直连方式采集。

上述智能化采集模式切换具体方法如下：北向接口和设备直连模式均支持采集的指标项，提供采集模式智能切换功能，即当使用北向接口模式采集设定项数据时，北向接口突然中断且重连失败，系统会自动切换至设备直连模式进行数据采集；同样，若使用设备直连采集模式采集设定项数据时，出现设备连接中断，系统会自动切换至北向接口模式采集，用于保证数据采集的稳定性。

步骤(3)中，所述功能互补的方法如下：

基于传统电力通信数据采集技术，对北向接口和设备直连两种采集模式的功能进行定义和划分，并分析各自的优缺点；在传统的单模式数据采集下，北向接口采集的告警、资源、性能数据，经过设备网管的解析处理，使得采集到的数据变得清晰易懂；因此，在北向接口具备功能的情况下,优先从北向接口采集经过规范化处理的数据,减少解析的工作量,而北向接口不具备的数据，则采用设备直连进行数据采集,用于提高采集数据的完整性。

步骤(4)中，数据智能化匹配的方法如下：

以设备IP地址为标识，使北向接口和设备智联模式下采集的同一对象的指标数据进行关联匹配，以达到数据定位资源的目标。

步骤(4)中，双纬度数据验证的方法如下：

北向接口和设备直连模式均支持采集的指标项，提供双通道采集，经过数据模型转换，将数据格式保持一致；然后，通过IP地址匹配，对两种模式下采集到的同一个资源对象的数据进行匹配，对两种数据进行互相验证，对于不匹配的数据进行错误提示，方便运维人员分析排错，用于提高数据的全面性以及准确性。

本专利提出的一种融合北向接口与设备直连模式的标准化通信设备数据采集技术，通过两种采集模式的融合互补，极大地提高了现有电力通信设备采集数据的全面性和准确性；通过两种采集模式间的智能切换，提高了数据采集过程的稳定性，为上层综合网管进行设备监视、数据分析提供了坚实的数据基础，能够显著提升电力通信网运维管理效率，具有良好的应用前景。

附图说明

图1是融合北向接口与设备直连模式采集平台功能设计图；

图2是采集模式智能切换流程图；

图3是双纬度数据采集匹配图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

本发明的总体方法是：首先采用协议栈一体化设计，将北向接口连接以及设备直连涉及到的协议栈连接处理方法进行统一封装，智能调配；然后对采集模式进行自适应识别，根据采集内容，智能化选用更合适的采集方式；通过结合北向接口和设备直连两种模式的数据采集，做到个性化功能互补，提高数据采集的完整性；最后，对通过北向接口和设备直连两种模式采集的数据进行智能化匹配以及双纬度数据验证。

1、协议栈一体化设计

协议栈(protocol stack)对于常用的协议栈进行封装，统一接口调用，简化协议程序编码复杂度，让协议转换开发人员不用纠结协议栈的实现细节。采集控制层对协议栈的依赖是需要获取协议栈需要配置哪些通信参数。采集控制层对协议栈依赖是需要根据协议参数通过协议栈与下层网管或设备进行通信。协议栈一体化设计，以具体协议为单位(如SNMP、TL1等)，针对北向接口和设备直连的不同点，在满足连接、数据互通等基本功能的基础上，全部采用异步通信的方式进行数据发送和接收，并且基于非阻塞通信的原理进行数据处理。

1)协议栈封装

定义两个通用接口，分别为协议栈管理接口与协议栈执行接口，规范每个协议栈实现的方法；

协议栈管理接口向上层管理模块提供该协议栈需要的参数信息，并实例化协议栈执行接口；

协议栈执行接口负责提供远端北向接口或者设备的连接方式，并提供数据交互方法；

2)异步处理方式和非阻塞通信

在协议栈封装过程中，所有的数据交互方式均采用异步接口，以应对在设备直连方式下，设备数量过多而造成线程阻塞，影响程序执行效率。

在实际运用过程中，通过北向接口进行数据采集时，北向接口的数量较少，通常由一个线程控制一个连接，以同步方式获取数据，多个连接之间不会互相影响。而在运用设备直连方式进行数据采集时，因设备数量大，通常会共用线程去处理任务，若采用同步方式，一旦遭遇连接不通或任务阻塞，将会影响其余连接，影响程序处理效率。

为了避免线程阻塞，充分融合北向接口与设备直连两种数据采集模式，在进行协议栈一体化设计过程中，以非阻塞通信模式为核心思想，统一采用异步接口进行数据发送和接收。

2、采集模式自适应识别

本发明提出融合北向接口与设备直连模式进行数据采集,。支持人工选择采集模式、自适应选择采集模式、智能化采集模式切换等功能：

1)人工选择采集模式

本发明设计提供两个配置页面，一个是北向接口采集配置界面，即选定采集模式为通过北向接口采集，配置需要的参数，启动采集任务；另一个是设备直连采集配置界面，即选定采集模式为通过设备直连采集，配置需要的参数，启动采集任务。人工判定需求，选择特定的采集模式。

2)自适应选择采集模式

本发明强调北向接口采集模式与设备直连采集模式的融合，提供了采集模式自适应选择，由于北向接口提供的数据已经过设备网管解析整理，因为北向接口方式取得的数据简单清晰容易解析，对于两种模式都支持采集的数据，优先选择北向接口方式采集，对于仅支持设备直连方式采集的数据，则自动选择设备直连方式采集。

3)智能化采集模式切换

针对北向接口和设备直连模式均支持采集的指标项，提供采集模式智能切换功能，即当使用北向接口模式采集某项数据时，北向接口突然中断且重连失败，系统会自动切换至设备直连模式进行数据采集；同样，若使用设备直连采集模式采集某项数据时，出现设备连接中断，系统会自动切换至北向接口模式采集，保证了数据采集的稳定性。

3、个性化功能互补

本发明基于传统电力通信数据采集技术，对北向接口和设备直连两种采集模式的功能进行定义和划分，并分析各自的优缺点。在传统的单模式数据采集下，北向接口采集的告警、资源、性能等数据，经过设备网管的解析处理，使得采集到的数据变得清晰易懂，上层网管解析数据更为方便简洁；但是由于设备网管的功能限制，使得北向接口能采集的内容局限于设备网管能提供的数据，因此大部分设备数据无法通过北向接口采集，并且数据的及时性也无法高于设备网管；而设备直连采集，由于设备数量巨大，导致采集数据的连接会话数大，处理复杂，并且原始数据解析的难度更大，但优势在于，摆脱了设备网管的限制，可以采集设备的全量数据。

基于以上两种采集模式各自的特性，本发明提出了以北向接口功能为基础，结合设备直连采集特有数据，做到个性化功能互补，提高采集数据的完整性、及时性。

4、数据智能化匹配

针对同一个采集对象，采用北向接口和设备直连两种模式采集数据，必然需要对数据关联。在传统电力通信数据采集中，以设备网管分配的逻辑ID作为唯一标识定位资源，但是在设备直连模式下，无法获取该逻辑ID，基于该问题，本发明提出以设备的IP地址作为标识进行数据匹配。

无论是北向接口采集的数据还是设备直连采集的数据，资源对象的IP地址稳定不变，鉴于此，以设备IP地址为标识，可以使不同模式下采集的同一对象的指标数据进行关联匹配，以达到数据定位资源的目标。

5、双纬度数据验证

本发明提出双纬度数据验证方法，针对北向接口和设备直连模式均支持采集的指标项，提供双通道采集，经过特定的模型转换，将数据格式保持一致，然后通过IP地址匹配，对两种模式下采集到的同一个资源对象的数据进行匹配验证排错，提高了数据的全面性以及准确性。

本发明公开了一种融合北向接口与设备直连模式的标准化通信设备数据采集技术，如图1，采集平台融合了北向接口与设备直连两种采集模式。

下面以采集电力无线专网设备数据为典型实例说明本发明的应用实施方式。

对无线专网设备采集告警数据，一般采用SNMP协议，对SNMP协议进行封装，覆盖所有连接、发送数据等功能。

在采集过程中，若北向接口采集告警中断，则自动切换至直连设备采集，同样的，若直连方式采集告警中断，则自动切换至北向接口采集模式，如图2所示。

在采集过程中，通过北向接口采集网元资源信息，通过设备直连模式采集网元在线离线状态，达到功能互补的目的，如图3所示，例如通过设备直连模式检测到网元2离线，通过IP地址192.168.1.2，匹配资源数据，在上层网管中即可显示网元2为离线状态。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种融合北向接口与设备直连模式的标准化通信设备数据采集方法，其特征在于，包括以下几个步骤：

(1)封装协议栈，在协议栈封装过程中，以非阻塞通信模式，采用异步处理方式进行数据的发送和接收；

(2)对采集模式进行自适应识别，根据采集内容，选用采集方式；

(3)以北向接口功能为基础，结合设备直连采集数据，做到功能互补，用于提高采集数据的完整性、及时性；

(4)对通过北向接口和设备直连两种模式采集的数据进行智能化匹配以及双纬度数据验证。

2.根据权利要求1所述的融合北向接口与设备直连模式的标准化通信设备数据采集方法，其特征在于，步骤(1)中，所述协议栈具体的封装方法如下：

以协议为单位，定义两个通用接口，分别为协议栈管理接口与协议栈执行接口，规范每个协议栈实现的方法；所述协议栈管理接口向上层管理模块提供该协议栈需要的参数信息，并实例化协议栈执行接口；所述协议栈执行接口负责提供远端北向接口或者设备的连接方式，并提供数据交互方法。

3.根据权利要求1所述的融合北向接口与设备直连模式的标准化通信设备数据采集方法，其特征在于，步骤(2)中，支持人工选择采集模式，根据采集内容自适应选择采集模式，在采集中断的情况下智能化进行北向接口或者设备直连采集模式切换，对采集模式进行自适应识别。

4.根据权利要求3所述的融合北向接口与设备直连模式的标准化通信设备数据采集方法，其特征在于，所述人工选择采集模式具体方法如下：设计两个配置页面，一个是北向接口采集配置界面，即选定采集模式为通过北向接口采集，配置需要的参数，启动采集任务；另一个是设备直连采集配置界面，即选定采集模式为通过设备直连采集，配置需要的参数，启动采集任务；人工判定需求，选择设定的采集模式。

5.根据权利要求3所述的融合北向接口与设备直连模式的标准化通信设备数据采集方法，其特征在于，所述自适应选择采集模式具体方法如下：将北向接口采集模式与设备直连采集模式的融合，即提供了采集模式自适应选择，对于两种模式都支持采集的数据，优先选择北向接口方式采集，对于仅支持设备直连方式采集的数据，则自动选择设备直连方式采集。

6.根据权利要求3所述的融合北向接口与设备直连模式的标准化通信设备数据采集方法，其特征在于，所述智能化采集模式切换具体方法如下：北向接口和设备直连模式均支持采集的指标项，提供采集模式智能切换功能，即当使用北向接口模式采集设定项数据时，北向接口突然中断且重连失败，系统会自动切换至设备直连模式进行数据采集；同样，若使用设备直连采集模式采集设定项数据时，出现设备连接中断，系统会自动切换至北向接口模式采集，用于保证数据采集的稳定性。

7.根据权利要求1所述的融合北向接口与设备直连模式的标准化通信设备数据采集方法，其特征在于，步骤(3)中，所述功能互补的方法如下：

基于传统电力通信数据采集技术，对北向接口和设备直连两种采集模式的功能进行定义和划分，并分析各自的优缺点；在传统的单模式数据采集下，北向接口采集的告警、资源、性能数据，经过设备网管的解析处理，使得采集到的数据变得清晰易懂；因此，在北向接口具备功能的情况下,优先从北向接口采集经过规范化处理的数据,减少解析的工作量,而北向接口不具备的数据，则采用设备直连进行数据采集,用于提高采集数据的完整性。

8.根据权利要求1所述的融合北向接口与设备直连模式的标准化通信设备数据采集方法，其特征在于，步骤(4)中，数据智能化匹配的方法如下：

以设备IP地址为标识，使北向接口和设备智联模式下采集的同一对象的指标数据进行关联匹配，以达到数据定位资源的目标。

9.根据权利要求1所述的融合北向接口与设备直连模式的标准化通信设备数据采集方法，其特征在于，步骤(4)中，双纬度数据验证的方法如下：

北向接口和设备直连模式均支持采集的指标项，提供双通道采集，经过数据模型转换，将数据格式保持一致；

然后，通过IP地址匹配，对两种模式下采集到的同一个资源对象的数据进行匹配，对两种数据进行互相验证，对于不匹配的数据进行错误提示，方便运维人员分析排错，用于提高数据的全面性以及准确性。