CN107888409B - 一种具有自愈能力的通信网络配置数据自动同步方法 - Google Patents

一种具有自愈能力的通信网络配置数据自动同步方法 Download PDF

Info

Publication number
CN107888409B
CN107888409B CN201710990425.5A CN201710990425A CN107888409B CN 107888409 B CN107888409 B CN 107888409B CN 201710990425 A CN201710990425 A CN 201710990425A CN 107888409 B CN107888409 B CN 107888409B
Authority
CN
China
Prior art keywords
data
configuration
message
error
communication network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710990425.5A
Other languages
English (en)
Other versions
CN107888409A (zh
Inventor
吴德胜
巢玉坚
胡游君
张春平
吴选章
吕顺利
陆涛
王宏
查凡
丁雍
马远东
丁传文
蔡新忠
夏云
魏训虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING NANRUI GROUP CO
Nari Information and Communication Technology Co
Original Assignee
NANJING NANRUI GROUP CO
Nari Information and Communication Technology Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING NANRUI GROUP CO, Nari Information and Communication Technology Co filed Critical NANJING NANRUI GROUP CO
Priority to CN201710990425.5A priority Critical patent/CN107888409B/zh
Publication of CN107888409A publication Critical patent/CN107888409A/zh
Application granted granted Critical
Publication of CN107888409B publication Critical patent/CN107888409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/069Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0654Management of faults, events, alarms or notifications using network fault recovery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/0813Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/082Configuration setting characterised by the conditions triggering a change of settings the condition being updates or upgrades of network functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/084Configuration by using pre-existing information, e.g. using templates or copying from other elements
    • H04L41/0846Configuration by using pre-existing information, e.g. using templates or copying from other elements based on copy from other elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种具有自愈能力的通信网络配置数据自动同步方法,包括:设计通信网配置同步软件系统组件架构,全面处理配置数据的接收、比对、排错、入库过程;面向通信网各类网络设备设计数据采集与同步报文规范;建立通信网络配置数据采集与同步报文处理标准化流程,实现配置数据从报文传输到数据库存储的自动化处理;建立异常处理机制,对每一个运行时异常进行记录和错误报文备份;建立闭环配置同步错误数据自愈机制。本发明能够提高通信综合网管的数据更新自动化和数据质量,显著的提升了通信综合网管类软件系统的实用性,对于支撑通信运营企业和部门的核心业务工作具有重要意义。

Description

一种具有自愈能力的通信网络配置数据自动同步方法
技术领域
本发明涉及一种具有自愈能力的通信网络配置数据自动同步方法,属于通信网络技术领域。
背景技术
通信综合网管是用于监控通信设备、通信线缆和各类逻辑对象的重要软件工具,对于公网电信运营商或大型企业专网运维单位而言,通信综合网管是开展网络监控、运行维护乃至决策分析等重要工作的核心支撑系统。通信综合网管能否实用的关键在于其所存储、管理的通信网数据的完整性、准确性以及更新的及时性。通信网数据主要包括配置、告警、性能三类,其中配置数据是各类数据的基础,但由于结构复杂、数据量大而难于维护。通常情况下采用设备网管厂家提供的北向接口完成配置数据采集并导入综合网管,但目前行业内外普遍难以解决由于设备网管北向接口不稳定、网络异常、数据耦合紧密而导致的数据导入极易出错、错误数据难以纠正甚至引发整个系统数据崩溃的问题。
针对上述问题,目前业界普遍采用的折中方案是在数据采集和入库之间增加人工校核与确认环节,但此方案的弊端一是由于配置同步数据量巨大,动辄上万条,人工检查难以避免出现错漏,一旦疏漏必然造成难以挽回的数据错误;二是在采集和入库两个自动化环节之间增加人工校验环节,降低了数据处理的自动化和及时性,由于实用性低,久而久之造成数据更新周期越来越长,最终数据过期、难以使用和维护,导致通信综合网管整体实用性严重下降。总体来看,目前业界的折中方案是采用管理手段弥补技术缺陷,并未从根本上解决该环节核心技术问题。
发明内容
本发明的目的在于克服现有技术中的不足,提供一种具有自愈能力的通信网络配置数据自动同步方法,解决现有技术中通信网络配置数据需要人工校验存在工作量大、错误率高、数据更新不及时,导致通信综合网管整体实用性严重下降的技术问题。
为解决上述技术问题,本发明所采用的技术方案是:一种具有自愈能力的通信网络配置数据自动同步方法,包括如下步骤:
设计通信网配置同步软件系统组件架构,全面处理配置数据的接收、比对、排错、入库过程;
面向通信网各类网络设备设计数据采集与同步报文规范;
建立通信网络配置数据采集与同步报文处理标准化流程,实现配置数据从报文传输到数据库存储的自动化处理;
建立异常处理机制,对每一个运行时异常进行记录和错误报文备份;
建立闭环配置同步错误数据自愈机制。
所述通信网配置同步软件系统组件架构包括:配置后台服务、配置前端应用、配置用于存放报文的目录以及配置如下软件系统组件:
配置更新事件管理组件、通道计算组件、配置更新日志管理组件、配置更新任务管理组件、配置管理辅助工具。
所述通信网配置同步软件系统组件架构的原则包括:报文交换原则、异常分类分级原则、日志原则、配置数据状态化原则。
通信网配置同步过程中不存储通道路由信息、不处理机柜信息;所述通道路由信息通过交叉、配线等连接信息动态计算,不依赖配置采集,也不做持久化存储。
数据采集与同步报文规范具体为:数据采集与同步报文根据实时处理情况动态的在latest、new、error三个目录中进行转移;
latest目录为最后一次同步报文目录,new目录为最新配置信息报文目录,error目录为存在错误的报文目录。
数据采集与同步报文根据实时处理情况动态的在latest、new、error三个目录中进行转移的具体方法如下:
将最新采集得到的报文以独立目录的方式存入约定的new目录中;
对报文进行合法性检查,一旦出现不合法的情况,则定义为“ERROR”异常,处理流程将中止,随后把错误报文移入error目录,并记录详细异常日志,最后删除new中的报文;
完成合法性检查后,报文与latest中的同名目录进行对比,如果两个目录中的文件内容相同,则认为不存在配置变更,直接从new中删除目录并中止程序;如果不相同,则认为可能存在配置数据的变更,将目录从new中读取到缓存中;
报文在缓存中,对报文进行分组、排序,然后开始遍历;在遍历过程中,如无问题则直接更新数据库,如果遇到数据完整性问题,则将之定义为“WARN”异常,将相关报文移入error目录并记录详细异常日志,但并不中止程序执行,继续遍历报文;
将已经完成入库操作的配置文件移入latest目录。
建立通信网络配置数据采集与同步报文处理标准化流程具体方法如下:
(1)报文更新检查:将new目录中最新的配置报文与latest目录中上次同步成功的报文文件进行对比,当对比结果至少满足下列条件之一时认为配置报文发生了变化:i)报文文件数量不一致;ii)存在名称不同的文件,文件命名可包含该文件内容的哈希值作为唯一标识;
(2)配置更新检查:将报文中的数据与数据库中的数据进行对比,找出新增、更改、删除的配置数据;
新增的配置数据是指在报文中存在,而数据库中并不存在的配置数据,此时需要进行数据增加;
删除的配置数据是指在数据库中存在,但在报文中已无对应节点的记录,此时需要进行数据删除;
更改的配置数据是指在报文中和数据库中能够找到对应记录,且属性字段有更改的,此时需要进行数据更改;
(3)配置数据更新:对于新增入库的数据,其状态为normal,最后更新时间为入库时间;对于删除的数据将状态改为delete,保留其与其他资源的关联关系;对于修改的数据只更改对应的字段值,而不改变状态;
(4)通道计算:按照通信网络的逻辑连接关系、设备内部的交叉关系进行自动递归计算,完成通信通道端到端全路由节点的寻找和排序,从而获得网络通道信息的过程。
所述异常处理机制包括:错误和警告。
闭环配置同步错误数据自愈机制是指在当前通信网络配置数据同步无法避免错误发生的情况下,通过一次正确的配置同步过程,自动修复以往产生的错误数据。
闭环配置同步错误数据自愈机制包括如下内容:
1、错误影响可控
配置同步错误数据主要包括错误新增、错误删除和错误变更三类:对于错误新增数据,不与现有数据产生关联,不对系统造成实质影响;对于错误删除数据,由于采用数据状态化管理,使得错误删除行为并不会造成数据被物理删除;对于错误变更的数据,将可能发生错误的数据字段限制在少量非关键描述性字段;
2、处理过程无误
对处理过程中的各类异常情况进行穷举、归纳和标准化,并在处理过程中进行分级、分类;
3、从源头修复数据
以设备网管北向接口提供的原始数据报文为源头,针对已发生的错误数据,评借日志记录和异常说明指导专业人员对设备网管中的错误纠正,从源头完成数据的矫正;配置同步一旦获取到正确的源头数据,就自动完成通信综合网管系统中错误数据的修复,即数据自愈。
与现有技术相比,本发明所达到的有益效果:
能够普遍适用于各类通信综合网管、专业网管通过设备网管北向接口进行配置采集和同步的过程。能够有效解决因设备网管北向接口报送数据不稳定所造成的通信综合网管数据同步困难、数据准确性差、难于维护的问题,能够提高通信综合网管的数据更新自动化和数据质量,显著的提升了通信综合网管类软件系统的实用性,对于支撑通信运营企业和部门的核心业务工作具有重要意义,具有良好的应用前景。
附图说明
图1为通信网络配置同步管理软件系统组件结构图;
图2为配置同步数据报文的动态处理流程图;
图3为通信网络配置数据自动同步流程图。
具体实施方式
本发明提出一种具有自愈能力的通信网络配置数据自动同步方法,实现普遍适用于各类通信设备的配置数据同步,在配置数据采集和入库之间消除人工干预环节,实现全自动化数据比对和入库、错误数据自愈,杜绝了错误数据对系统其他相关数据的损害,显著提高了通信配置数据同步的自动化和实用性,对于提升通信综合网管系统的实用性意义重大。
本发明方法普遍适用于光传输网(SDH、MSTP、DWDM、ASON、OTN)、PCM、数据网、交换网、接入网(EPON、工业以太网、电力线载波PLC、无线TD-LTE)等。具体对象如下表:
Figure BDA0001441363870000061
下面结合附图对本发明作进一步描述。
本发明方法具体包括如下步骤:
设计一套完整的通信网配置同步软件系统组件架构,全面处理配置数据的接收、比对、排错、入库等全过程;
如图1所示,为通信网络配置同步管理软件系统组件结构图,包括后台服务、前端应用以及一组用于存放报文的目录。软件后台服务以接口(可以为RPC、RESTful等形式)的方式为前端应用和其他外部程序提供服务。前端应用通过调用后台服务访问数据库,提供用户交互。
软件系统组件主要包括:配置更新事件管理、通道计算、配置更新日志管理、配置更新任务管理、配置管理辅助工具。
(1)软件系统组件功能要点:
配置更新事件管理:配置更新事件是指单一网络系统所发生的网络和设备配置变化。不同的网络系统在配置变更时会产生不同的事件。配置更新事件管理提供配置更新事件的发现、分析、处理和通知。是配置同步的核心部分。配置更新事件管理主要在服务器端程序实现,并以日志的形式记录。
通道计算:指在设备和网络基础配置更新入库之后,根据设备内部和设备之间的逻辑连接关系,计算得出系统内、跨系统、全网的通道信息。
配置更新日志管理:配置更新日志是对每一个配置更新事件的发现、分析过程、处理结果、异常信息进行详细记录,在配置事件处理的过程中产生并存储并在前端应用呈现。
配置更新任务管理:提供一个主动、灵活设定配置采集与同步的机制。可以添加定时的、周期性的、全局的、局部的配置更新任务。配置更新任务管理前端应用主要实现配置更新任务的设定与执行情况跟踪等功能,在后台服务实现任务的处理、与采集服务的交互,并提供接口供外部程序(如通信电子运维)调用。
配置更新参数管理:提供常用的采集、同步设定的方法。
配置管理辅助工具:主要包括资源唯一标识管理、数据清理等。
(2)软件研制原则
报文交换原则:配置比对和同步处理的数据源是采集得到的报文,软件本身不直接与设备网管北向接口交互,北向接口采集不在本专利的论述范围内;
异常分类分级原则:在报文解析、分析计算、数据入库的各个环节捕获异常,并对异常进行分类分级;
日志原则:所有的异常都应日志存储;
配置数据状态化原则:所有配置数据,均以状态字段表征其数据更新状态,包括:正常、已删除。配置更新以及系统中数据变更时,不执行数据的物理删除操作,仅仅改变其状态值;数据状态化不仅为数据回滚提供可能,也为后续的数据自愈提供可能。
配置同步过程中不存储通道路由信息:通道路由信息通过交叉、配线等连接信息动态计算,不依赖配置采集,也不做持久化存储。这一设计是将难以避免的错误数据的影响限制在简单网络和设备对象范围内的关键。
配置同步过程中不处理空间(机柜)信息:从通信资源的划分来看,机柜属于空间资源,且通常通信设备厂家网管北向接口提供的机柜数据为虚拟数据,不具备参考性。这一设计能够将配置同步的网络设备数据与人工维护的空间数据完全解耦,从而进一步降低错误数据对通信综合网管系统的影响。为后续的数据自愈提供了条件。
面向通信网各类网络设备设计采集与同步报文规范,从而达到技术的通用性;
在整个处理过程中,配置报文将根据实时处理情况动态的在latest、new、error三个目录中进行转移。latest目录为最后一次同步报文目录,new目录为最新配置信息报文目录,error目录为存在错误的报文目录。
建立通信网络配置数据采集与同步报文处理标准化流程,实现配置数据从报文传输到数据库存储的自动化处理;
通过设备网管北向接口采集得到的配置数据报文是进行分析和同步的数据源。本发明通过对配置数据报文的动态管理和流程化处理完成配置数据的分析比对和同步入库过程。
配置同步过程中报文的动态处理流程,如图2所示,具体流程说明如下:
(1)最初将最新采集得到的报文以独立目录的方式存入约定的new目录中;
(2)报文在new目录中,首先要经过合法性检查,一旦出现不合法的情况,则定义为“ERROR”异常,处理流程将中止,随后把错误报文移入error目录,并记录详细异常日志,最后删除new中的报文;
(3)报文在new目录中,完成合法性检查后,应与latest中的同名目录进行对比,如果两个目录中的文件内容相同,则认为不存在配置变更,直接从new中删除目录并中止程序。如果不相同,则认为可能存在配置数据的变更,将目录从new中读取到缓存中,准备开始详细的报文解析和数据库比对;
(4)报文在缓存中,首先对报文进行分组、排序,然后开始遍历。在遍历过程中,如无问题则直接更新数据库,如果遇到数据完整性问题,则将之定义为“WARN”异常,将相关报文移入error目录并记录详细异常日志,但并不中止程序执行,继续遍历报文。
(5)流程最后,将已经完成入库操作的配置文件移入latest目录。
如图3所示,为通信网络配置数据自动同步流程图,主要流程环节详细处理方法如下:
(1)报文更新检查:将new目录中最新的配置报文与latest目录中上次同步成功的报文文件进行对比,当对比结果至少满足下列条件之一时才认为配置报文发生了变化:i)报文文件数量不一致;ii)存在名称不同的文件,文件命名可包含该文件内容的哈希值作为唯一标识,从而能够在文件名不同时判定报文内容不同。
(2)配置更新检查:将报文中的数据与数据库中的数据进行对比,找出新增、更改、删除的配置数据。报文与数据库之间的唯一标识是对象的EMS_NAME,对特殊的时隙交叉则按照A、Z端进行标识。其中:i)新增是指在报文中存在,而数据库中并不存在的节点,此时需要进行数据增加;ii)删除是指在数据库中存在,但在报文中已无对应节点的记录,此时需要进行数据删除;iii)更改是指在报文中和数据库中能够找到对应记录,且属性字段有更改的,此时需要进行数据更改。
(3)配置数据更新:包括新增、删除、修改三类操作。软件系统中资源数据统一使用数据状态(data_state)字段来存储和表征资源数据的更新状态,用最后更新时间(last_update_time)来存储和表征最后一次数据更新的时间。数据的更新状态包含正常(normal)和删除(delete)两种。通过配置同步、手工维护或工单流程新增入库的资源数据,其状态为normal,最后更新时间为入库时间。删除的资源并不从数据库中删除记录,而是将状态改为delete,其与其他资源的关联关系也保留。修改的资源只更改对应的字段值,而不改变状态。
(4)通道计算:通道计算是按照通信网络的逻辑连接关系、设备内部的交叉关系等进行自动递归计算,完成通信通道端到端全路由节点的寻找和排序,从而获得网络通道信息的过程。将通道计算分为单系统计算、增量计算、跨系统计算三类。单系统计算是针对一个系统,在该系统的配置数据范围内计算系统内的通道,可在完成对一个系统的配置同步初始化之后,用于完成通道信息的初始化;增量计算是在一次配置同步事件完成之后,根据发生变化的配置信息进行小范围的通道计算,新增、删除或调整已有的通道,可在通信网的常规维护阶段进行增量计算以提高效率;跨系统计算是对跨系统的通道进行计算,这需要完成跨系统光路、传输段的数据维护后才可进行。
建立异常处理机制,对每一个运行时异常进行详细的记录和错误报文备份,为问题的排查提供依据;
在上述配置数据同步全过程中,至关重要的是建立一套严谨的运行时异常处理机制,在配置数据报文的校验、配置数据的校验等环节往往会遇到大量类别不同的异常状况,运行时异常处理机制能够有效的捕获异常并分级处理,从而确保了配置同步过程中的错误可控、从机制上杜绝数据错误在整个系统蔓延的可能。
(1)异常分类
本发明将配置同步过程中的运行时异常分为错误和警告两大类。错误是指对一次配置事件处理的全局逻辑造成严重影响的异常,如不处理会造成同步失败或程序报错等情况,一旦发生错误则当次配置事件处理中止;警告是指仅对当前分析对象(报文或节点)的数据完整性造成影响的异常,不会对全局逻辑造成影响,发生警告时,仅跳过存在异常的报文或数据对象,不中止处理流程。
(2)异常规则表
本发明详细梳理、归纳配置同步过程中可能出现的主要错误和警告,详见下表:
i)错误列表
Figure BDA0001441363870000101
Figure BDA0001441363870000111
ii)警告列表
Figure BDA0001441363870000112
建立一个闭环的配置同步错误数据自愈机制,确保错误的数据更新不会导致全局数据的混乱,并能够在解决数据源问题后自动修复错误数据。
闭环的配置同步错误数据自愈机制是指在当前通信网络配置数据同步无法避免错误发生的情况下,通过一次正确的配置同步过程,自动修复以往产生的错误数据,从而确保通信综合网管系统当前数据的正确性。自愈能力是本发明所提出的通信网配置同步技术之所以能够取消人工干预、完全自动化处理的重要原因。
配置同步错误数据自愈基于上述技术描述,其技术要点可总结如下:
(1)错误影响可控:配置同步错误数据之所以能够完成自愈,其首要前提是做到错误影响可控。配置同步错误数据主要包括错误新增、错误删除和错误变更三类。对于错误新增数据,由于数据模型的解耦,使得新增的无用数据并不与现有数据产生关联,并且不参与通道计算等复杂处理过程,始终处于“闲置”状态;对于错误删除数据,由于采用数据状态化管理,使得错误的删除行为并不会造成数据被物理删除,仅仅是设置其状态为“delete”,为数据的回滚和修复提供了条件;对于错误变更的数据,由于对变更字段的严格控制,可能发生错误的数据字段仅为少量非关键描述性字段,不会对系统内部数据关联和分析造成影响。
(2)处理过程无误:在当前由于客观因素无法完全避免通过设备网管北向接口采集到错误数据、无法确保原始数据源准确的情况下,首先做到配置同步的过程能够严谨无误的执行。这就需要对处理过程中可能出现的各类异常情况进行穷举、归纳和标准化,并在处理过程中进行分级、分类的合理处置。凭借运行时异常处理机制,能够对处理过程中发现的异常有效控制,确保配置同步过程严格执行的同时,对异常进行记录以备后续分析处理。
(3)从源头修复数据:配置数据自愈以设备网管北向接口提供的原始数据报文为源头,针对已经发生的错误数据,评价详细的日志记录和异常说明,能够有效的指导专业人员对设备网管中的错误纠正,从源头完成数据的矫正。配置同步一旦获取到正确的源头数据,就能够自动完成通信综合网管系统中错误数据的修复,即数据自愈。
下面以最为常见的SDH光传输通信系统为例,具体说明本发明的应用实施方式。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
SDH光传输系统在逻辑上主要由系统、网元、拓扑构成,其设备的主要物理组件包括机框、插槽、板卡、端口,设备内部的逻辑关系主要为时隙交叉。以上为SDH光传输网络配置同步的主要对象。
通常情况下,通信综合网管或专业网管软件(统一称为上级网管)通过SDH设备网管的北向接口采集网络的配置数据。根据上级网管定义的配置数据采集同步报文规范,将采集到的数据流转换为文本文件进行暂存和传递。报文文本文件一般采用通用的XML或JSON格式,前者可读性强、便于阅读分析,后者体积小巧,在大量数据处理时具有更高的效率。
根据本发明提出的方法开发的配置同步软件在获取到配置数据报文后,将自动完成报文的便利检查、报文的迁移,并在内存中完成与上级网管现有数据的比对,在比对的同时直接完成数据的增、删、改入库。在此过程中发现的所有异常将被记录并可在同步日志中详细查询,错误的报文将被备份以便排查分析。通过日志的查询和错误报文分析,能够直观的定位导致数据错误的原因,此时可将日志记录和错误报文作为依据提交设备网管专业维护人员,由维护人员检查并排除设备网管问题,从源头纠正错误。随后,可采用自动化或人工的方式再次执行配置同步过程,在此过程中,配置同步软件以正确的配置数据报文为准,保留原有正确的数据,删除错误新增的数据、恢复错误删除的数据并修改错误变更的数据,从而实现网络配置数据的自动修复。
按照上述实施方式,利用本发明的技术,能够完全自动化的完成通信网络配置数据的同步更新,并凭借其自愈能力有效的保障了数据质量,提高了上级网管的数据质量和实用性,对通信网络运维管理意义重大。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.一种具有自愈能力的通信网络配置数据自动同步方法,其特征在于,包括如下步骤:
设计通信网配置同步软件系统组件架构,全面处理配置数据的接收、比对、排错、入库过程;
面向通信网各类网络设备设计数据采集与同步报文规范;
建立通信网络配置数据采集与同步报文处理标准化流程,实现配置数据从报文传输到数据库存储的自动化处理;
建立异常处理机制,对每一个运行时异常进行记录和错误报文备份;
建立闭环配置同步错误数据自愈机制;
数据采集与同步报文规范具体为:数据采集与同步报文根据实时处理情况动态的在latest、new、error三个目录中进行转移;
latest目录为最后一次同步报文目录,new目录为最新配置信息报文目录,error目录为存在错误的报文目录;
数据采集与同步报文根据实时处理情况动态的在latest、new、error三个目录中进行转移的具体方法如下:
将最新采集得到的报文以独立目录的方式存入约定的new目录中;
对报文进行合法性检查,一旦出现不合法的情况,则定义为“ERROR”异常,处理流程将中止,随后把错误报文移入error目录,并记录详细异常日志,最后删除new中的报文;
完成合法性检查后,报文与latest中的同名目录进行对比,如果两个目录中的文件内容相同,则认为不存在配置变更,直接从new中删除目录并中止程序;如果不相同,则认为可能存在配置数据的变更,将目录从new中读取到缓存中;
报文在缓存中,对报文进行分组、排序,然后开始遍历;在遍历过程中,如无问题则直接更新数据库,如果遇到数据完整性问题,则将之定义为“WARN”异常,将相关报文移入error目录并记录详细异常日志,但并不中止程序执行,继续遍历报文;
将已经完成入库操作的配置文件移入latest目录。
2.根据权利要求1所述的具有自愈能力的通信网络配置数据自动同步方法,其特征在于,所述通信网配置同步软件系统组件架构包括:配置后台服务、配置前端应用、配置用于存放报文的目录以及配置如下软件系统组件:
配置更新事件管理组件、通道计算组件、配置更新日志管理组件、配置更新任务管理组件、配置管理辅助工具。
3.根据权利要求1所述的具有自愈能力的通信网络配置数据自动同步方法,其特征在于,所述通信网配置同步软件系统组件架构的原则包括:报文交换原则、异常分类分级原则、日志原则、配置数据状态化原则。
4.根据权利要求1所述的具有自愈能力的通信网络配置数据自动同步方法,其特征在于,通信网配置同步过程中不存储通道路由信息、不处理机柜信息;所述通道路由信息通过交叉、配线动态计算,不依赖配置采集,也不做持久化存储。
5.根据权利要求1所述的具有自愈能力的通信网络配置数据自动同步方法,其特征在于,建立通信网络配置数据采集与同步报文处理标准化流程具体方法如下:
(1)报文更新检查:将new目录中最新的配置报文与latest目录中上次同步成功的报文文件进行对比,当对比结果至少满足下列条件之一时认为配置报文发生了变化:i)报文文件数量不一致;ii)存在名称不同的文件,文件命名可包含该文件内容的哈希值作为唯一标识;
(2)配置更新检查:将报文中的数据与数据库中的数据进行对比,找出新增、更改、删除的配置数据;
新增的配置数据是指在报文中存在,而数据库中并不存在的配置数据,此时需要进行数据增加;
删除的配置数据是指在数据库中存在,但在报文中已无对应节点的记录,此时需要进行数据删除;
更改的配置数据是指在报文中和数据库中能够找到对应记录,且属性字段有更改的,此时需要进行数据更改;
(3)配置数据更新:对于新增入库的数据,其状态为normal,最后更新时间为入库时间;对于删除的数据将状态改为delete,保留其与其他资源的关联关系;对于修改的数据只更改对应的字段值,而不改变状态;
(4)通道计算:按照通信网络的逻辑连接关系、设备内部的交叉关系进行自动递归计算,完成通信通道端到端全路由节点的寻找和排序,从而获得网络通道信息的过程。
6.根据权利要求1所述的具有自愈能力的通信网络配置数据自动同步方法,其特征在于,所述异常处理机制包括:错误和警告。
7.根据权利要求1所述的具有自愈能力的通信网络配置数据自动同步方法,其特征在于,闭环配置同步错误数据自愈机制是指在当前通信网络配置数据同步无法避免错误发生的情况下,通过一次正确的配置同步过程,自动修复以往产生的错误数据。
8.根据权利要求7所述的具有自愈能力的通信网络配置数据自动同步方法,其特征在于,闭环配置同步错误数据自愈机制包括如下内容:
1、错误影响可控
配置同步错误数据主要包括错误新增、错误删除和错误变更三类:对于错误新增数据,不与现有数据产生关联,不对系统造成实质影响;对于错误删除数据,由于采用数据状态化管理,使得错误删除行为并不会造成数据被物理删除;对于错误变更的数据,将可能发生错误的数据字段限制在少量非关键描述性字段;
2、处理过程无误
对处理过程中的各类异常情况进行穷举、归纳和标准化,并在处理过程中进行分级、分类;
3、从源头修复数据
以设备网管北向接口提供的原始数据报文为源头,针对已发生的错误数据,评借日志记录和异常说明指导专业人员对设备网管中的错误纠正,从源头完成数据的矫正;配置同步一旦获取到正确的源头数据,就自动完成通信综合网管系统中错误数据的修复,即数据自愈。
CN201710990425.5A 2017-10-23 2017-10-23 一种具有自愈能力的通信网络配置数据自动同步方法 Active CN107888409B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710990425.5A CN107888409B (zh) 2017-10-23 2017-10-23 一种具有自愈能力的通信网络配置数据自动同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710990425.5A CN107888409B (zh) 2017-10-23 2017-10-23 一种具有自愈能力的通信网络配置数据自动同步方法

Publications (2)

Publication Number Publication Date
CN107888409A CN107888409A (zh) 2018-04-06
CN107888409B true CN107888409B (zh) 2020-08-25

Family

ID=61782002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710990425.5A Active CN107888409B (zh) 2017-10-23 2017-10-23 一种具有自愈能力的通信网络配置数据自动同步方法

Country Status (1)

Country Link
CN (1) CN107888409B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309790A (zh) * 2018-11-27 2020-06-19 千寻位置网络有限公司 基于maxcomputer数据库的自动ETL配置方法及装置、控制系统
CN112702207A (zh) * 2020-12-25 2021-04-23 深圳市高德信通信股份有限公司 一种网络数据配置的方法
CN112667747B (zh) * 2020-12-31 2021-09-21 北京赛思信安技术股份有限公司 支持自定义插件的动态配置多数据库分布式持久化方法
CN112994846B (zh) * 2021-03-02 2023-01-31 广州汇通国信科技有限公司 一种应用于电力数据同步校验的治理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103560495A (zh) * 2013-11-05 2014-02-05 北京四方继保自动化股份有限公司 智能配电网半闭环自愈控制方法
CN105721395A (zh) * 2014-12-03 2016-06-29 华为数字技术(苏州)有限公司 数据同步配置方法、设备及系统
CN106451384A (zh) * 2016-11-09 2017-02-22 贵州电网有限责任公司兴义供电局 基于调度应急预案的电网自愈决策支持系统
CN106571940A (zh) * 2015-10-08 2017-04-19 中国移动通信集团广东有限公司 一种融合网管数据与资源数据的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103560495A (zh) * 2013-11-05 2014-02-05 北京四方继保自动化股份有限公司 智能配电网半闭环自愈控制方法
CN105721395A (zh) * 2014-12-03 2016-06-29 华为数字技术(苏州)有限公司 数据同步配置方法、设备及系统
CN106571940A (zh) * 2015-10-08 2017-04-19 中国移动通信集团广东有限公司 一种融合网管数据与资源数据的方法和装置
CN106451384A (zh) * 2016-11-09 2017-02-22 贵州电网有限责任公司兴义供电局 基于调度应急预案的电网自愈决策支持系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
mSwitch5.x核心网—网络管理系统中配置管理的研发;耿嘉琪;《中国优秀硕士学位论文全文数据库信息科技辑(月刊)》;20081115;I136-423 *

Also Published As

Publication number Publication date
CN107888409A (zh) 2018-04-06

Similar Documents

Publication Publication Date Title
CN107888409B (zh) 一种具有自愈能力的通信网络配置数据自动同步方法
US11249728B2 (en) System and method for generating an application structure for an application in a computerized organization
US7523184B2 (en) System and method for synchronizing the configuration of distributed network management applications
US20130117226A1 (en) Method and A System for Synchronizing Data
US20160072688A1 (en) Fault monitoring in multi-domain networks
EP1704672A1 (en) Automatic update system and method for using a meta mib
US20080208958A1 (en) Risk assessment program for a directory service
US8868527B1 (en) Tracking switch transactions in a communications-networking environment
CN111782345A (zh) 容器云平台日志收集及分析告警方法
CN110161930B (zh) 一种数据监控系统及其数据监控方法
CN104836686A (zh) 一种生成服务器的配置文件的方法及装置
CN109150596B (zh) 一种scada系统实时数据转储方法和装置
CN109116818B (zh) 一种scada系统升级时的实时数据转储方法和装置
CN105978715A (zh) 一种基于实时数据中心的数据接入接口统一管理方法
CN113821412A (zh) 一种设备运维管理方法及装置
CN115686921A (zh) 一种多路径异常检测修复方法、装置、设备及介质
CN113836223A (zh) 一种异构数据库数据同步的方法
CN110675283B (zh) 一种配电设备同步管理系统及方法
CA2995561A1 (en) Systems and methods for managing network health
CN114500230B (zh) 一种基于时间轴的光传输故障录播方法及系统
CN116192937B (zh) 一种Kubernetes集群系统中Service实现方法、系统、介质及设备
US11140224B2 (en) Moving storage volumes across network boundaries
WO2017124726A1 (zh) 一种北向文件生成的方法、装置及系统
CN113268891B (zh) 一种运维系统的建模方法和装置
CN112436993B (zh) 一种基于配置文件分析的vpn专线发现的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant