CN106571940A - 一种融合网管数据与资源数据的方法和装置 - Google Patents

Abstract

本发明实施例提供一种融合网管数据与资源数据的方法和装置，方法包括：对网管数据和资源数据进行比对运算，得到比对运算的结果；根据比对运算的结果、数据定义安全策略对网管数据和资源数据执行数据映射和同步更新，将网管数据和资源数据融合为一个数据实体，以及采用异常容错处理机制对出现的异常事件进行标记；对标记过的异常事件进行异常处理。根据比对运算的结果、数据定义安全策略对网管数据和资源数据执行数据映射，实现两种数据之间的有效融合，数据处理过程中出现意外情况导致中止事务时，采用容错处理机制能够保护好已经处理成功的部分，在下次启动数据处理事务时能及时在断点处开始整个事务，提升管理网管数据和资源数据的能力。

Description

一种融合网管数据与资源数据的方法和装置

技术领域

本发明涉及传输网技术，特别是指一种融合网管数据与资源数据的方法和装置。

背景技术

随着网管资源与资源数据越来越大，现有基于EXCEL的管理方式保证不了数据的一致性和准确性。其弊端包括：

耗时长，处理一条电路数据的记录要跟踪电路数据的各个流程节点，对复杂数据的处理以天、周甚至月计算。

工作量大，数据的处理包括采集、梳理、登记、录入、检查和审核等步骤，非常繁琐。

易出错，在调度数据的过程中会产生不可避免的失误。

资源数据共享性差，由于采用EXCEL管理资源数据，同一时间只一个用户能查看数据文件，不能同时共享。

数据之间存在复杂的关联关系，在使用的过程中当关联关系发生变化，数据的准确性不能得到保障。

现有技术存在如下问题：尚无能够保证网管数据与资源数据之间一致准确，且将两者有效、实时融合的技术，即，对网管数据与资源数据这两套资源系统的数据质量缺乏有效的监控与处理，导致数据准确性低，调度电路耗时长、效率低、易出错、工作量大等。

发明内容

本发明要解决的技术问题是提供一种融合网管数据与资源数据的方法和装置，解决现有技术中，网管数据与资源数据不能够有效融合的缺陷。

为解决上述技术问题，本发明的实施例提供一种融合网管数据与资源数据的方法，方法包括：对网管数据和资源数据进行比对运算，得到比对运算的结果；根据比对运算的结果、数据定义安全策略对所述网管数据和资源数据执行数据映射和同步更新，将网管数据和资源数据融合为一个数据实体，以及采用异常容错处理机制对出现的异常事件进行标记；对标记过的所述异常事件进行异常处理。

所述的方法中，对网管数据和资源数据进行比对运算具体包括：清洗网管数据得到网管实体数据，清洗资源数据得到资源实体数据；对网管实体数据和资源实体数据进行比对运算，得出对网管实体数据和/或资源实体数据需要执行增加、删除、更新的处理结果。

所述的方法中，对网管实体数据和资源实体数据进行比对运算，得出对网管实体数据和/或资源实体数据需要执行增加、删除或更新的处理结果包括：针对网管实体数据进行再次解析，解析到各个子对象表，以及子对象表的记录、字段；运用数据快速融合比对算法对解析后的网管实体数据和资源实体数据进行比对运算，得出对资源实体数据需要执行增加、删除、更新的处理结果。

所述的方法中，运用数据快速融合比对算法对解析后的网管实体数据和资源实体数据进行比对运算，得出对资源实体数据需要执行增加、删除、更新的处理结果包括：比对运算过程中，以网管数据为基准，第一次比对过程中，比对出并标记出需要执行增加、删除、更新的资源实体数据；第二次比对过程中，针对已经确定需要做更新的资源实体数据的记录，对该记录的字段内容进行更新比对。

所述的方法中，对该记录的字段内容进行更新比对包括：比对字段之间的差异时，禁止采用常规的字段一对一的比对方式，以及，根据字段比对规模动态确定是否使用字段信息组合比对方式进行比对。

所述的方法中，对网管数据和资源数据进行比对运算之前还包括：网管数据和资源数据入库前，先备份数据库中表的所有索引，然后再删除索引，网管数据和资源数据入库完成后重建索引；针对数据量大的单个资源数据，将资源数据使用直接路径直接插入到数据库表中的高水线之后，以减少寻找空闲空间的时间。

所述的方法中，还包括：监控与整理同步更新后的数据实体的一致性、完整性和准确性。

一种融合网管数据与资源数据的装置，包括：比对单元，用于对网管数据和资源数据进行比对运算，得到比对运算的结果；数据同步单元，用于根据比对运算的结果、数据定义安全策略对所述网管数据和资源数据执行数据映射和同步更新，将网管数据和资源数据融合为一个数据实体，以及采用异常容错处理机制对出现的异常事件进行标记；异常处理单元，用于对标记过的所述异常事件进行异常处理。

所述的装置中，比对运算单元包括：第一清洗模块，用于清洗网管数据得到网管实体数据；第二清洗模块，用于清洗资源数据得到资源实体数据；比对模块，用于运用数据快速融合比对算法对网管实体数据和资源实体数据进行比对运算，得出对资源实体数据需要执行增加、删除或更新的处理结果。

所述的装置中，比对模块包括：解析模块，用于针对网管实体数据进行再次解析，解析到各个子对象表，以及子对象表的记录、字段；融合比对算法模块，用于运用数据快速融合比对算法对解析后的网管实体数据和资源实体数据进行比对运算，得出对资源实体数据需要执行增加、删除、更新的处理结果。

本发明的上述技术方案的有益效果如下：根据比对运算的结果、数据定义安全策略对网管数据和资源数据执行数据映射，实现两种数据之间的有效融合，以及建立异常容错处理机制，数据处理过程中出现意外情况导致中止事务时，这一容错处理机制能够保护好已经处理成功的部分，在下次启动数据处理事务时能及时在断点处开始整个事务，提升管理网管数据和资源数据的能力。

附图说明

图1表示PTNINTER数据处理中心整体框架示意图；

图2表示一种融合网管数据与资源数据的方法流程示意图；

图3表示端口数据的融合过程的示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

以网管二层链路数据作为基础调度数据，结合企业服务总线(ESB，Enterprise Service Bus)、分组传送网(PTN，Packet Transport Network)设计并实现子网、传输环、环内段、传输段、对阶段、网元、槽、板卡、端口、PW、Tunnel的网管数据与资源数据的紧密联合，实现准确、图形化的资源调度。

如图1所示，建立PTNINTER数据处理中心，PTNINTER数据处理中心包括：网管数据单元、资源数据单元和中间资源通用结果存储单元。获取的网管数据、资源管理数据(简称：资源数据)分别存放在网管数据单元和资源数据单元中。对网管数据、资源数据进行重构以及分类，为数据清洗做准备。

网管数据携带的基本数据信息包括：

网管系统(EMS)：GZ_U2000-1-P；

网元唯一标识(Managed Element):3153369；

网元端口唯一标识(PTP)：/rack＝1/shelf＝1/slot＝22/domain＝ptn/type＝physical/port＝1。

资源数据携带的基本数据信息包括：

网管系统的端口唯一标识(OUTID)：3159486/rack＝1/shelf＝1/slot＝3/domain＝ptn/type＝physical/port＝8；

数据需要删除的标识(Flagdel):0；

资源数据库的端口唯一标识(RECID):470842A89BC846949D31D7F84BF2FEDC。

数据映射，通常是指给定两个数据模型，在数据模型之间建立起数据元素的对应关系，将这一过程称为数据映射。

本发明实施例提供一种融合网管数据与资源数据的方法，如图2所示，包括：

步骤201，对网管数据和资源数据进行(数据快速融合)比对运算，得到比对运算的结果；

步骤202，根据比对运算的结果、数据定义安全策略对所述网管数据和资源数据执行数据映射(Data Mapping)和同步更新，将网管数据和资源数据融合为一个数据实体，以及采用异常容错处理机制对融合过程中出现的异常事件进行标记；

步骤203，对标记过的所述异常事件进行异常处理。

应用所提供的技术，根据比对运算的结果、数据定义安全策略对网管数据和资源数据执行数据映射，实现两种数据之间的有效融合，以及建立异常容错处理机制，数据处理过程中出现意外情况导致中止事务时，这一容错处理机制能够保护好已经处理成功的部分，在下次启动数据处理事务时能及时在断点处开始整个事务，提升管理网管数据和资源数据的能力。

其中，数据实体是本发明实施例对网管数据、资源数据按照比对运算的结果和数据定义安全策略进行处理后得到的一种数据对象，这种数据对象中包含的所有数据均来自网管数据和资源数据。数据定义安全策略至少应当满足确保网管数据和资源数据不会发生增加、修改、丢失和泄露等，换言之，在数据映射和同步更新过程中，数据定义安全策略应当至少保证网管数据和资源数据都不会被篡改。

在一个优选实施例中，对网管数据和资源数据进行(数据快速融合)比对运算，得到比对运算的结果包括：清洗网管数据得到第一中间数据，清洗资源数据得到第二中间数据，以第一中间数据为基准，对第一中间数据和第二中间数据进行比对运算，得出对第一中间数据和/或第二中间数据需要执行增加、删除或更新的处理结果。这一过程具体包括：

步骤A，对网管数据进行清洗以获取有效的网管实体数据，本发明中又将网管实体数据称为第一中间数据，第一中间数据存放在中间结果存储单元。

步骤B，针对第一中间数据进行再次解析，解析到各个子对象表，以及子对象表的记录、字段。

步骤C，对资源数据进行清洗以获取有效的资源实体数据，本发明中又将有效的资源实体数据称为第二中间数据，第二中间数据存放在中间结果存储单元。

在时间顺序上，步骤A、步骤B和步骤C应当发生在执行具体的对比运算之前。

步骤D，运用数据快速融合比对算法对第一中间数据和第二中间数据进行比对运算，得出对第一中间数据和/或第二中间数据需要执行增加、删除、更新的处理结果。比对运算过程中，以网管数据为基准，将网管数据与资源数据进行比对，包括：

第一次比对过程中，比对出并标记出需要执行增加、删除或更新的第二中间数据；

第二次比对过程中，针对已经确定需要做更新的第二中间数据的记录，对该记录的字段内容再进行更新比对。

资源数据由业务电路产生，每种资源数据的量都比较大，例如：端口、时隙都是百万级和千万级数据量。针对大数据量的资源数据，在一个优选实施例中，清洗资源数据的策略包括：将各种基本的资源数据分开来进行清洗，去伪存真。针对这些种基本的资源数据清洗完一个就提交一个用于比对，减少事务日志和数据缓冲。

在一个优选实施例中，步骤D中，运用数据快速融合比对算法对第一中间数据和第二中间数据进行比对运算还包括步骤D1～步骤D5：

步骤D1，针对数据量大的单种资源数据，将单种资源数据割接成多个事务再进行比对运算。

步骤D2，正常情况下，在数据发生变化时，数据库都会将数据的变更记录在日志中，而记录日志会消耗数据库的系统资源和时间，大数据量变化时消耗则会更大，因此批量处理时关闭日志和触发器，这包括：在数据入库过程中需要动态关闭和开启数据库系统日志和触发器(“alter table A表nologging”)指令，减少日志耗用时间。换言之，数据库在数据发生变化时自身会自动建立日志跟踪，建立日志跟踪会产生消耗，在进行小部分数据更新时不会影响数据库的性能，但进行海量数据更新时，数据库性能会受到很大影响甚至假死，因此关闭数据库的自动日志跟踪功能。

步骤D3，网管数据和资源数据入库前，先备份数据库中表的所有索引，具体是指在将数据插入到数据库前先备份原数据库表对象的索引，然后再删除索引，数据入库完成后重建索引。

索引能够提高使用数据过程中的检索速度，但插入、更新或删除数据会同时对索引进行相应的调整，因此会增加一定的消耗。在数据处理过程中屏蔽掉建立索引的操作，在数据同步完成后一次并发创建索引。

步骤D4，针对数据量大的单个资源数据，使用insert/*+append parallel(A表，2)*/into指令进行(资源)数据入(数据)库，以避免大批量的数据更新。

/*+append*/表示使用新的块(BLOCK)，而不使用FREELIST中的块。hint是指一种append的提交大批量数据的方法，可以将资源数据直接插入到数据库表中的高水线之后，免去寻找空闲空间的时间。使用hint可以将数据使用直接路径插入到表的高水线之后，由于是连续的没有使用的空间，所以插入速度快，减少了搜索块的时间。parallel表示启用服务器多CPU并行处理，同样是为了加快运算处理速度。

在时间顺序上，步骤D1、步骤D2、步骤D3和步骤D4应当发生在执行具体的对比运算之前。

步骤D5，在比对字段之间的差异时，根据字段比对规模动态确定是否使用字段信息组合比对方式进行比对，不再采用常规的字段一对一的比对方式。

在一个优选实施例中，根据比对运算的结果、数据定义安全策略对所述网管数据和资源数据执行数据映射(Data Mapping)和同步更新，以及采用异常容错处理机制对出现的异常事件进行标记包括：建立异常容错处理机制，数据处理过程中由于意外情况导致中止事务时，能够保护好已经处理成功的部分，记录事务断点，这样，当执行步骤203时，对标记过的所述异常事件进行异常处理包括：在再次启动数据处理事务时能够及时在事务断点处开始整个事务。例如，整个事务需要处理设备、板卡、端口、时隙等一系列的数据，在处理到端口时数据发生了异常，整套事务中止退出。待端口的异常数据处理完成后，下次再启动这套事务后，系统会自动从原有的端口数据处开始处理事务，不用重新开始，减轻异常事件对有效资源实体数据的准确性的负面影响和干扰。

在一个优选实施例中，步骤202，实现网管数据和资源数据之间的融合包括：以网管数据为基础，将资源数据补充到网管数据中，具体地，将资源数据涉及到的附带信息与网管数据涉及到的附带信息，融合在一起形成同一个附带信息。

同步更新完成后，监控与整理数据完整性、准确性。在一个优选实施例中，步骤203之后还包括：监控与整理同步更新后的数据的一致性、完整性和准确性。对表示同一个含义的不同变量、字段，统一为标准化的变量、字段，实现数据的一致性；将出现了缺失的变量、字段补充完整；以及，对融合后的数据进行准确性校验。

为清楚说明本发明实施例的技术方案，在一个应用场景中，包括数据存储结构实体单元和(实例)数据两部分，这里只列出了相互具有关联关系的关键交互数据，为了更好的说明专利所描述的算法原理，仅列出核心部分的数据模型，冗余的其他数据未全部列出，实际应用系统中还会涉及其他扩展信息。由于涉及多个数据库，通过资源数据库中的包和存储过程，扩展存储过程将网管数据移植到资源数据库。如图3所示，只列举了端口数据的融合，如网元、机框、插槽、插板等，数据融合采用相同存储单元结构：

网管原始网元数据采用存储结构b_Hw_Ptn_Managedelement，网管原始网元数据是通过CORBA接口获取的网管资源(实例)数据。

网管端口、时隙数据采用存储结构b_hw_ptn_terminationpoint。端口和时隙都会引用网元的实例数据，即每个端口和时隙数据中都包含有他所属的网元ID，能够通过ID找到对应的网元信息。

网管原始网元数据是通过CORBA接口获取的网管资源实例数据，获取过程是：

将存储结构b_hw_ptn_terminationpoint中存放的网管端口、时隙数据清洗到存储结构ptn_mid_devport中，清洗的核心是用命令insert/*+appendparallel(ptn_mid_devport，2)*/into和alter table ptn_mid_devport nologging指令块进行数据快速入库。得到第一中间数据。

对于资源数据，ptn_old_devport中是端口数据。将资源管理库中的存储结构tr_devport中的数据清洗到ptn_old_devport存储对象表中，清洗后的资源数据携带的重点属性有端口主键portid，网管系统中端口主键outresid。得到第二中间数据。存储结构也可以说成是数据结构，或者是数据容器。

以网管系统中端口主键outresid为关联字段，将ptn_mid_devport网管存储对象中数据和ptn_old_devport资源管理系统中的数据进行比对，比对出以及标记好要新增、删除和更新比对的资源管理端口数据。这一过程包括两次比对：

第一次比对出需要新增、删除和更新比对的数据

序号	网管数据(主键)	资源数据(主键)	结果
				1	A	A	需要做更新比对
2		B	需删除

3	C	C	需要做更新比对
				4		D	需删除
5	E	E	需要做更新比对
				6		F	需删除
7	H		需要新增
				8	I		需要新增

第二次针对已经确定需要做更新比对的记录进行字段内容更新比对：将一行数据的上所有字段合并起来，使用dbms_utility.get_hash_value对合并后的中间值取hash value，再将所有这些从各行所获得的hash value进行累加，若下表的hash value的累加值相等，则判定两个表的数据一致。

资源管理表tr_devport存储的是资源管理库中的端口数据。通过资源管理库中的比对过程，将数据处理中心已标记好待新增的端口数据迁移到tr_devport中，再将标记好要删除的端口数据从资源管理表tr_devport中删除。

根据数据结构中的关联关系，启动异常数据监控查询处理数据。启动异常数据比对机制，以网管数据为基准，判断资源数据是否与网管数据有差异性，如果两者之间存在差异性，资源数据中缺乏的数据的需要作对应的增加处理，多出来的资源数据需要删除，进行字段内容更新比对后发现有差异的需要作更新处理。

应用实施例提供的技术，可以定期、快速的实现将海量基础资源数据与网管资源数据进行比对更新，并保障处理过程的数据安全、措施可靠和异常处理，支持数据共享、并行操作，减少操作失误，易追索错误原因，使用数据更加灵活与开放，并节省大量数据运算的时间成本。解决了现有PTN电路调度周期长、易出错、容错差、工作量大和数据共享难等弊端，提高电路调度能力和电路调度质量。

本发明实施例提供一种网管数据与资源数据融合的装置，包括：

比对单元，用于对网管数据和资源数据进行比对运算，得到比对运算的结果；

数据同步单元，用于根据比对运算的结果、数据定义安全策略对所述网管数据和资源数据执行数据映射和同步更新，将网管数据和资源数据融合为一个数据实体，以及采用异常容错处理机制对出现的异常事件进行标记；

异常处理单元，用于对标记过的所述异常事件进行异常处理。

在一个优选实施例中，比对运算单元包括：

第一清洗模块，用于清洗网管数据得到网管实体数据；

第二清洗模块，用于清洗资源数据得到资源实体数据；

比对模块，用于运用数据快速融合比对算法对网管实体数据和资源实体数据进行比对运算，得出对资源实体数据需要执行增加、删除、更新的处理结果。

在一个优选实施例中，比对模块包括：

解析模块，用于针对网管实体数据进行再次解析，解析到各个子对象表，以及子对象表的记录、字段；

融合比对算法模块，用于运用数据快速融合比对算法对解析后的网管实体数据和资源实体数据进行比对运算，得出对资源实体数据需要执行增加、删除、更新的处理结果。

异常处理单元的功能具体在于：根据比对运算的结果、数据定义安全策略对所述网管数据和资源数据执行数据映射(Data Mapping)和同步更新，以及采用异常容错处理机制对出现的异常事件进行标记包括：建立异常容错处理机制，数据处理过程中由于意外情况导致中止事务时，能够保护好已经处理成功的部分，在下次启动数据处理事务时能够及时在断点处开始整个事务。

采用本方案之后的优势是：所有资源数据都通过一套统一的模型进行架构并存储，采用基于大型数据为平台的系统提供并行操作，避免了原始EXCEL表方式的弊端。数据采集、清洗与同步系统可自动完成，资源数据不需要人工进行更新。系统基础数据和关联关系通过ORACLE数据库存储和描述。可以定期、快速的实现将海量基础资源数据与网管资源数据进行比对更新，并保障处理过程的数据安全、措施可靠和异常处理，支持数据共享、并行操作，减少操作失误，易追索错误原因，使用数据更加灵活与开放，并节省大量数据运算的时间成本。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种融合网管数据与资源数据的方法，其特征在于，方法包括：

对网管数据和资源数据进行比对运算，得到比对运算的结果；

根据比对运算的结果、数据定义安全策略对所述网管数据和资源数据执行数据映射和同步更新，将网管数据和资源数据融合为一个数据实体，以及采用异常容错处理机制对出现的异常事件进行标记；

对标记过的所述异常事件进行异常处理。

2.根据权利要求1所述的方法，其特征在于，对网管数据和资源数据进行比对运算具体包括：

清洗网管数据得到网管实体数据，清洗资源数据得到资源实体数据；

对网管实体数据和资源实体数据进行比对运算，得出对网管实体数据和/或资源实体数据需要执行增加、删除、更新的处理结果。

3.根据权利要求2所述的方法，其特征在于，对网管实体数据和资源实体数据进行比对运算，得出对网管实体数据和/或资源实体数据需要执行增加、删除、更新的处理结果包括：

针对网管实体数据进行再次解析，解析到各个子对象表，以及子对象表的记录、字段；

运用数据快速融合比对算法对解析后的网管实体数据和资源实体数据进行比对运算，得出对资源实体数据需要执行增加、删除或更新的处理结果。

4.根据权利要求3所述的方法，其特征在于，运用数据快速融合比对算法对解析后的网管实体数据和资源实体数据进行比对运算，得出对资源实体数据需要执行增加、删除或更新的处理结果包括：

比对运算过程中，以网管数据为基准，第一次比对过程中，比对出并标记出需要执行增加、删除或更新的资源实体数据；

第二次比对过程中，针对已经确定需要做更新的资源实体数据的记录，对该记录的字段内容进行更新比对。

5.根据权利要求4所述的方法，其特征在于，对该记录的字段内容进行更新比对包括：

比对字段之间的差异时，禁止采用常规的字段一对一的比对方式，以及，根据字段比对规模动态确定是否使用字段信息组合比对方式进行比对。

6.根据权利要求1所述的方法，其特征在于，对网管数据和资源数据进行比对运算之前还包括：

网管数据和资源数据入库前，先备份数据库中表的所有索引，然后再删除索引，网管数据和资源数据入库完成后重建索引；

针对数据量大的单个资源数据，将资源数据使用直接路径直接插入到数据库表中的高水线之后，以减少寻找空闲空间的时间。

7.根据权利要求1所述的方法，其特征在于，还包括：

监控与整理同步更新后的数据实体的一致性、完整性和准确性。

8.一种融合网管数据与资源数据的装置，其特征在于，包括：

比对单元，用于对网管数据和资源数据进行比对运算，得到比对运算的结果；

数据同步单元，用于根据比对运算的结果、数据定义安全策略对所述网管数据和资源数据执行数据映射和同步更新，将网管数据和资源数据融合为一个数据实体，以及采用异常容错处理机制对出现的异常事件进行标记；

异常处理单元，用于对标记过的所述异常事件进行异常处理。

9.根据权利要求8所述的装置，其特征在于，比对运算单元包括：

第一清洗模块，用于清洗网管数据得到网管实体数据；

第二清洗模块，用于清洗资源数据得到资源实体数据；

比对模块，用于运用数据快速融合比对算法对网管实体数据和资源实体数据进行比对运算，得出对资源实体数据需要执行增加、删除、更新的处理结果。

10.根据权利要求9所述的装置，其特征在于，比对模块包括：

解析模块，用于针对网管实体数据进行再次解析，解析到各个子对象表，以及子对象表的记录、字段；

融合比对算法模块，用于运用数据快速融合比对算法对解析后的网管实体数据和资源实体数据进行比对运算，得出对资源实体数据需要执行增加、删除、更新的处理结果。