CN101355448B - 上载比较方法和装置 - Google Patents

Abstract

本发明公开了一种上载比较方法和装置，该方法包括：对第一系统的每个数据项生成散列值，根据散列值和相应数据项之间的映射关系生成第一映射关系表；并且对第二系统的每个数据项生成散列值，根据第二系统的散列值和相应数据项之间的映射关系生成第二映射关系表；将第一映射关系表和第二映射关系表进行比较，根据比较结果生成执行信息。通过上述技术方案，统一简化了处理上载以及上载比较的流程，能够降低上载比较次数、提高上载比较效率。

Description

上载比较方法和装置

技术领域

本发明涉及通信领域，并且特别地，涉及一种上载比较方法和装置。

背景技术

网络管理系统(Network Management System，简称为NMS)或网元管理系统(Element management system，简称为EMS)都具有分层管理的特点，即，存在上下层系统的关系，为了同步上下层系统之间的数据，需要对下层系统数据进行上载以及上载比较，在上载或上载比较过程中，需要对上层系统数据和下层系统数据进行比较，而这些需要比较的数据是复杂类型的数据结构，并且，有的数据结构还存在嵌套，一个数据结构的比较实际上是对数据结构内的多个数据项进行了多次比较。从而导致在比较两个数据结构时比较次数非常多。

另外，上载比较的流程上存在效率低的问题，例如，假如上层系统数据的数量为M，下层系统数据的数量为N，由于数据项不是简单类型，不能排序，因此要完成比较，最坏的情况下需要的比较次数为M*N，平均比较次数为M*N/2，因此，当M和N的值比较大时，数据项比较次数就非常多，严重影响了上载的时间效率。

发明内容

考虑到在下层系统向上层系统上载或上载比较时比较次数多并且上载效率低的问题而做出本发明，为此，本发明的主要目的在于提供一种上载比较方法和装置，以解决相关技术中存在的上述问题。

根据本发明的一个方面，提供了一种上载比较方法，用于将第一系统的数据上载到第二系统。

根据本发明的上载比较方法包括：对第一系统的每个数据项生成散列值，根据散列值和相应数据项之间的映射关系生成第一映射关系表；并且对第二系统的每个数据项生成散列值，根据第二系统的散列值和相应数据项之间的映射关系生成第二映射关系表；将第一映射关系表和第二映射关系表进行比较，根据比较结果生成执行信息。

其中，对上述第一系统和第二系统的每个数据项生成散列值的处理具体包括：对于第一系统和第二系统的每个数据项，根据数据项的关键字生成第一散列值，根据数据项的非关键字产生第二散列值，并将第一散列值和第二散列值作为与数据项对应的散列值保存在该数据项中。

其中，上述第一映射关系表或第二映射关系表中的映射关系是指每个数据项与该数据项的第一散列值之间的对应关系。

此外，对上述第二系统的每个数据项生成散列值之前，进一步包括：将第一系统的每个数据项的数据格式转换为第二系统数据项的格式以用于生成第二映射关系表。

此外，将上述第一映射关系表和第二映射关系表进行比较之前，进一步包括：根据第一映射关系表和第二映射关系表向第一系统填充第一系统的每个数据项经过转换得到的第二系统数据项格式的数据。

其中，向上述第一系统进行填充的具体为：如果第二系统存在需要向第一系统填充的数据，则使用第二系统的数据值对第一系统转换后的数据项进行填充，如果第二系统不存在需要向第一系统填充的数据，则使用第二系统的默认值对第一系统转换后的数据项进行填充。

其中，将上述第一映射关系表和第二映射关系表进行比较，根据比较结果生成执行信息具体为：在比较结果为第一映射关系表中存在的数据不存在于第二映射关系表中的情况下，生成的执行信息为新增信息；在比较结果为第二映射关系表中存在的数据不存在于第一映射关系表中的情况下，生成的执行信息为删除信息；在比较结果为第一映射关系表与第二映射关系表中均存在的数据在第一映射关系表与第二映射关系表中对应的值不相同的情况下，生成的执行信息为修改信息。

根据本发明的另一方面，提供了一种上载比较装置，用于将第一系统的数据上载到第二系统。

根据本发明的上载比较装置包括：第一散列值处理模块，用于对第一系统的每个数据项生成散列值，根据散列值和相应数据项之间的映射关系生成第一映射关系表；第二散列值处理模块，用于对第二系统的每个数据项生成散列值，根据第二系统的散列值和相应数据项之间的映射关系生成第二映射关系表；比较模块，用于将第一映射关系表和第二映射关系表进行比较；执行信息设置模块，用于根据比较模块的比较结果设置执行信息。

此外，上述装置进一步包括：转化模块，用于将第一系统的每个数据项的数据格式转换为第二系统数据项的格式以用于生成第一映射关系表。

此外，上述执行信息设置模块进一步包括：第一执行信息设置模块，用于在比较结果为第一映射关系表中存在的数据不存在于第二映射关系表中的情况下，设置执行信息为新增信息；第二执行信息设置模块，用于在比较结果为第二映射关系表中存在的数据不存在于第一映射关系表中的情况下，设置执行信息为删除信息；第三执行信息设置模块，用于在比较结果为第一映射关系表与第二映射关系表中均存在的数据在第一映射关系表与第二映射关系表中对应的值不相同的情况下，设置执行信息为修改信息。

借助于本发明的技术方案，通过对上层系统和下层系统生成散列值以及设置散列值和数据项的映射关系，统一简化了处理上载以及上载比较的流程，能够降低比较次数、提高比较效率。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是相关技术中下层系统向上层系统进行上载的示意图；

图2是根据本发明实施例的上载比较方法的流程图；

图3是根据本发明实施例的上载比较方法的详细处理的流程图；

图4是根据本发明实施例的上载比较装置的框图。

具体实施方式

功能概述

目前，在上下层的系统进行上载以及上载比较时，由于上下层系统的数据的结构和类型不一致，从而导致在下层系统向上层系统进行上载以及上载比较时，出现了上载比较次数多、上载比较效率低的问题，图1是相关技术中处理上载的示意图，如图1所示，假设网管侧数据项为M条，网元侧数据项为N条，数据项包含关键字段数量为J，非关键字段为K，如图1所示，首先上载网元数据Qx报文，并将网元Qx口报文转换为F口报文，随后，进行网元数据的填充(在这个过程中，需要进行M*N*J/2次的上载比较)，最后，进行网元数据和网管数据的比较，获取需要增、删、改的数据项(在这个过程中，需要进行M*N*(J+K)/2次的上载比较)。

从上述过程可以看出，在对大数据量数据进行比较的时候，以下两点显得特别重要：1、降低比较对象的复杂度，也就是比较的对象不是复杂类型的数据结构，最好能是一个内部数据，例如整型数据，因此，需要把待比较的数据项转变为简单数据类型(例如，整型数据)；2、减少数据项之间的比较次数。因此，本发明重点就是将复杂类型数据转换为简单类型比较，并且减少数据间的比较次数。

本发明的技术方案如下：首先，将下层系统的数据项的格式转化为上层系统的数据格式，再对上层系统和下层系统产生散列值，并根据散列值和对应的数据项生成映射关系，根据上下层系统的映射关系的比较结果，生成相应的执行信息，以便后续的操作。

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

方法实施例

根据本发明的实施例，提供了一种上载比较方法，用于将第一系统的数据上载到第二系统。图2是根据本发明实施例的上载比较方法的流程图，如图2所示，包括以下处理：

步骤S202，对第一系统的每个数据项生成散列值，根据散列值和相应数据项之间的映射关系生成第一映射关系表(mapup)。

在步骤S202中，对上述第一系统的每个数据项生成散列值的处理具体包括：对于第一系统的每个数据项，根据数据项的关键字生成第一散列值(key)，根据数据项的非关键字产生第二散列值(attribute)，并将key和attribute作为与数据项对应的散列值保存在该数据项中。其中，步骤S202中的映射关系是指每个数据项与该数据项的第一散列值之间的对应关系。

步骤S204，对第二系统的每个数据项生成散列值，根据第二系统的散列值和相应数据项之间的映射关系生成第二映射关系表(mapdown)。

在执行步骤S204之前，由于上下层系统之间的差别，往往需要比较的数据格式是不同的，两侧的数据包含的字段不会一一对应，因此需要把下层系统的数据转换为上层系统数据格式。因此，需要将第一系统的每个数据项的数据格式转换为第二系统数据项的格式以用于生成第一映射关系表。

此外，在步骤S204中，对上述第二系统的每个数据项生成散列值的处理具体包括：对于第二系统的每个数据项根据数据项的关键字生成第一散列值(key)，根据数据项的非关键字产生第二散列值(attribute)，并将key和attribute作为与数据项对应的散列值保存在该数据项中，其中，步骤S204中的映射关系是指每个数据项与该数据项的第一散列值之间的对应关系。

在执行步骤S204之后，由于存在把下层系统的数据转换为上层系统格式的数据，而两者之间的字段不对应，因此需要根据第一映射关系表和第二映射关系表向第一系统填充第一系统的每个数据项经过转换得到的第二系统数据项格式的数据，而填充数据的时候需要区分该项数据是否存在于上层系统中，因为存在和不存在于上层系统是需要采取不同的填充规则。

其规则具体为：如果第二系统存在需要向第一系统填充的数据，则使用第二系统的数据值对第一系统转换后的数据项进行填充，如果第二系统不存在需要向第一系统填充的数据，则使用第二系统的默认值对第一系统转换后的数据项进行填充。

步骤S206，由于mapUp和mapDown中的键即对应着上下层系统的数据项，因此可以将第一映射关系表和第二映射关系表进行比较，并根据比较结果生成执行信息。

在步骤S206中，根据比较结果生成执行信息具体处理为：在比较结果为第一映射关系表中存在的数据不存在于第二映射关系表中的情况下，生成的执行信息为新增信息；在比较结果为第二映射关系表中存在的数据不存在于第一映射关系表中的情况下，生成的执行信息为删除信息；在比较结果为第一映射关系表与第二映射关系表中均存在的数据在第一映射关系表与第二映射关系表中对应的值不相同的情况下，生成的执行信息为修改信息。

从上述的处理可以看出，本发明提供了完整的数据上载和上载比较的技术方案，并且具有以下优点：

1、使得上载即上载比较的处理流程得到统一，而且简化。

2、在上层系统数据和下层系统进行比较时，由于将比较对象转换为对整型值的比较，因此降低了比较的次数，提高了比较的效率。

3、通过将数据的增、删、改信息转换为两个映射表之间的键值比较，从而提高了获取速度，避免了再此对数据的排序及比较操作，提高了效率。

4、由于对原来的数据上载框架没有影响，并遵循原来的处理流程，只是在原有的基础上转换了比较对象，在此基础上简化了流程，使操作变得简单高效。

下面，结合附图，对本发明的上述处理过程进行详细的说明。

在本实例中，上述的第二系统(上层系统)为网元管理系统(Element management system，简称为EMS)，简称为网管侧，上述的第一系统(下层系统)为网元(NE)，简称为网元侧，上载的数据为时隙交叉的上载，如图3所示，包括以下处理：

第一步，准备工作。

使用现有的上载及上载比较处理框架，获取到网管侧时隙交叉数据和网元侧的时隙交叉数据。网管侧的时隙交叉数据为F口报文格式CrossConnection-T，网元侧时隙交叉数据为Qx口报文格式，其Qx报文格式随不同的网元有不同的报文格式，最后都需要转换成F口报文格式CrossConnection-T。

第二步，对网管数据库的数据项CrossConnection-T生成散列值。

步骤1，将网管侧的数据CrossConnection-T的关键字段aEndTPs和zEndTPs的值合并成一个值，作为散列函数的关键字，由此产生的散列值作为该数据项的关键字段散列值，命名为key，然后再将CrossConnection-T的其余非关键字段值合并成一个值(需要先把各个字段值转换成字符串)，作为散列函数的关键字，由此产生的散列值作为该数据项的非关键字段散列值，命名为attribute，最后，将key和attribute存放于CrossConnection-T的additionalInfo字段中保存。

步骤2，使用在步骤1中生成的key值和其所属数据项CrossConnection-T建立映射mapUp<key值，key值对应的数据项指针>。

第三步，对网元的数据项CrossConnection-T生成散列值。

步骤1，将网元侧时隙数据从Qx口报文转换成F口报文。此处不同的网元有不同的Qx报文，但都需要必须转换成相同的F口报文CrossConnection-T。

步骤2，对步骤1中转换得到的F口报文CrossConnection-T进行散列值的产生，与产生网管侧散列值一样的方法，使用CrossConnection-T的关键字段aEndTPs和zEndTPs的合并值产生关键字段散列值key，使用其余的非关键字段产生非关键字段散列值attribute，也同样使用名值对方式存放于additionalInfo字段。

步骤3，使用产生的key值和key值所属数据项CrossConnection-T建立映射mapDown<key值，key值对应的数据项指针>。

第四步，填充从网元侧数据转换得到的网管侧格式数据。

步骤1，填充从QX口转换得到的F口报文。注意此处的填充规则是如果在网元侧存在该项数据，则用网管侧的数据值填充。如果网管侧不存在该项数据，则用F口报文默认值填充。并且，此处的网管侧数据和网元侧数据的比较就是在mapUp和mapDown之间关键值的比较，它们的比较对象是整型值，而且是有序存储的，可以使用高效的查找方法，效率非常高。如果是按照原来的方式，此处的比较方式需要使用顺序比较方式，而且每项数据的比较字段会是多个，字段类型也是多种类型的，效率没有比较整型值高。此处是提高效率的关键点之一。

第五步，根据网管侧和网元侧的映射表之间的关系生成创建、删除、和修改数据项信息，用于入库。

步骤1，根据网管侧数据映射mapUp和网元侧数据映射mapDown中的信息即可得到数据的增、删、改信息。其判断依据是：如果关键字段的散列值在网管侧不存在的就是新增的信息、如果网管侧的关键字段散列值在网元侧不存在的则是删除的信息，如果网管和网元两边关键字段散列值相同而非关键字段散列值不同的，则是修改的信息。以此归类在增、删、改队列中，以供后继进行数据库操作。

在原来的处理流程中，在执行此步操作时，还要进行网管侧数据和网元侧数据的比较，比较方式也还是数据项中的每个字段，数据间的比较方式也是顺序比较。因此效率非常低。而现在的处理方式就是进行两列有序整数间的查找操作，特别是大数据量时候，效率提高非常明显。

装置实施例

根据本发明的实施例，提供了一种上载比较装置，用于将第一系统的数据上载到第二系统。图4是根据本发明实施例的上载比较装置的框图，如图4所示，包括第一散列值处理模块40、第二散列值处理模块42、比较模块44、执行信息设置模块46，下面，对本发明实施例的上述模块进行详细的说明。

第一散列值处理模块40，用于对第一系统的每个数据项生成散列值，根据散列值和相应数据项之间的映射关系生成第一映射关系表；其中第一散列值处理模块40根据散列值和相应数据项之间的映射关系生成第一映射关系表的具体处理包括：对于第一系统的每个数据项，根据数据项的关键字生成第一散列值，根据数据项的非关键字产生第二散列值，并将第一散列值和第二散列值作为与数据项对应的散列值保存在该数据项中。其中，上述第一映射关系表或第二映射关系表中的映射关系是指每个数据项与该数据项的第一散列值之间的对应关系。

第二散列值处理模块42，用于对第二系统的每个数据项生成散列值，根据第二系统的散列值和相应数据项之间的映射关系生成第二映射关系表；其中，第二散列值处理模块42根据第二系统的散列值和相应数据项之间的映射关系生成第二映射关系表的具体处理为：对于第二系统的每个数据项，根据数据项的关键字生成第一散列值，根据数据项的非关键字产生第二散列值，并将第一散列值和第二散列值作为与数据项对应的散列值保存在该数据项中。其中，上述第二映射关系表中的映射关系是指每个数据项与该数据项的第一散列值之间的对应关系。

此外，上述装置进一步包括转化模块，该模块用于在第二散列值处理模块42进行处理前，将第一系统的每个数据项的数据格式转换为第二系统数据项的格式以用于第二散列值处理模块42生成第二映射关系表。

并且，上述装置还可以进一步包括填充模块，该模块用于根据第一映射关系表和第二映射关系表向第一系统填充第一系统的每个数据项经过转换得到的第二系统数据项格式的数据。其填充规则为：如果第二系统存在需要向第一系统填充的数据，则使用第二系统的数据值对第一系统转换后的数据项进行填充，如果第二系统不存在需要向第一系统填充的数据，则使用第二系统的默认值对第一系统转换后的数据项进行填充。

比较模块44，连接至第一散列值处理模块40和第二散列值处理模块42，用于将第一映射关系表和第二映射关系表进行比较。

执行信息设置模块46，连接至比较模块44，用于根据比较模块44的比较结果设置执行信息。

执行信息设置模块46进一步包括：

第一执行信息设置模块，用于在比较结果为第一映射关系表中存在的数据不存在于第二映射关系表中的情况下，设置执行信息为新增信息。

第二执行信息设置模块，用于在比较结果为第二映射关系表中存在的数据不存在于第一映射关系表中的情况下，设置执行信息为删除信息；具体地，

第三执行信息设置模块，用于在比较结果为第一映射关系表与第二映射关系表中均存在的数据在第一映射关系表与第二映射关系表中对应的值不相同的情况下，设置执行信息为修改信息。

在实际的应用中，上述第一执行信息设置模块、第二执行信息设置模块、第三执行信息设置模块可以合一设置。

综上所述，借助于本发明的技术方案，通过对上层系统和下层系统设置散列值和数据项的映射关系，使得处理上载以及上载比较的流程统一、简化，并且降低了比较次数、提高了比较效率。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种上载比较方法，用于将第一系统的数据上载到第二系统，其特征在于，所述方法包括：

将所述第一系统的每个数据项的数据格式转换为所述第二系统数据项的格式以用于生成第一映射关系表；

对所述第一系统的每个数据项生成散列值，根据所述散列值和相应数据项之间的映射关系生成所述第一映射关系表；并且对所述第二系统的每个数据项生成散列值，根据所述第二系统的散列值和相应数据项之间的映射关系生成第二映射关系表；

将所述第一映射关系表和所述第二映射关系表进行比较，根据比较结果生成执行信息。

2.权利要求1所述的方法，其特征在于，对所述第一系统和所述第二系统的每个数据项生成散列值的处理具体包括：

对于所述第一系统和所述第二系统的每个数据项，根据所述数据项的关键字生成第一散列值，根据所述数据项的非关键字产生第二散列值，并将所述第一散列值和所述第二散列值作为与所述数据项对应的散列值保存在该数据项中。

3.根据权利要求2所述的方法，其特征在于，所述第一映射关系表或所述第二映射关系表中的映射关系是指每个数据项与该数据项的第一散列值之间的对应关系。

4.根据权利要求1所述的方法，其特征在于，将所述第一映射关系表和所述第二映射关系表进行比较之前，进一步包括：

根据所述第一映射关系表和所述第二映射关系表向所述第一系统填充所述第一系统的每个数据项经过转换得到的所述第二系统数据项格式的数据。

5.根据权利要求4所述的方法，其特征在于，向所述第一系统进行填充的具体为：

如果所述第二系统存在需要向所述第一系统填充的数据，则使用所述第二系统的数据值对所述第一系统转换后的数据项进行填充，如果所述第二系统不存在需要向所述第一系统填充的数据，则使用所述第二系统的默认值对所述第一系统转换后的数据项进行填充。

6.根据权利要求1所述的方法，其特征在于，将所述第一映射关系表和所述第二映射关系表进行比较，根据比较结果生成执行信息具体为：

在所述比较结果为所述第一映射关系表中存在的数据不存在于所述第二映射关系表中的情况下，生成的所述执行信息为新增信息；

在所述比较结果为所述第二映射关系表中存在的数据不存在于所述第一映射关系表中的情况下，生成的所述执行信息为删除信息；

在所述比较结果为所述第一映射关系表与所述第二映射关系表中均存在的数据在所述第一映射关系表与所述第二映射关系表中对应的值不相同的情况下，生成的所述执行信息为修改信息。

7.一种上载比较装置，用于将第一系统的数据上载到第二系统，其特征在于，所述装置包括：

转化模块，用于将所述第一系统的每个数据项的数据格式转换为所述第二系统数据项的格式以用于生成第一映射关系表；

第一散列值处理模块，用于对所述第一系统的每个数据项生成散列值，根据所述散列值和相应数据项之间的映射关系生成所述第一映射关系表；

第二散列值处理模块，用于对所述第二系统的每个数据项生成散列值，根据所述第二系统的散列值和相应数据项之间的映射关系生成第二映射关系表；

比较模块，用于将所述第一映射关系表和所述第二映射关系表进行比较；

执行信息设置模块，用于根据所述比较模块的比较结果设置执行信息。

8.根据权利要求7所述的装置，其特征在于，所述执行信息设置模块进一步包括：

第一执行信息设置模块，用于在所述比较结果为所述第一映射关系表中存在的数据不存在于所述第二映射关系表中的情况下，设置所述执行信息为新增信息；

第二执行信息设置模块，用于在所述比较结果为所述第二映射关系表中存在的数据不存在于所述第一映射关系表中的情况下，设置所述执行信息为删除信息；

第三执行信息设置模块，用于在所述比较结果为所述第一映射关系表与所述第二映射关系表中均存在的数据在所述第一映射关系表与所述第二映射关系表中对应的值不相同的情况下，设置所述执行信息为修改信息。

Images