CN100343846C

CN100343846C - 一种数据间差异性的分析比较方法

Info

Publication number: CN100343846C
Application number: CNB031264816A
Authority: CN
Inventors: 龚雪皓
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2003-09-28
Filing date: 2003-09-28
Publication date: 2007-10-17
Anticipated expiration: 2023-09-28
Also published as: CN1601515A

Abstract

本发明有关一种数据间差异性的分析比较方法，适用于随时间变化的数据，该方法包括步骤：A)数据管理系统判断数据源每条数据的类型是新增数据、删除数据或修改数据；B)对不同类型的数据分别进行增量存储，生成对应记录，在每一记录中设置时间戳和类型标志；C)根据步骤B)中各记录的时间戳，对任意两个指定时刻间的新增数据、删除数据和/或修改数据进行分析比较。本发明对由时间引起的数据间差异性能进行直观、灵活的比较和分析，且有效解决备份数据量大的问题。

Description

一种数据间差异性的分析比较方法

技术领域

本发明涉及数据存储及管理领域，尤指一种随时间发生变化的数据的差异性分析比较方法。

背景技术

涉及数据存储及管理的领域非常广泛，今以数据量比较大的电信管理网系统为例。

在电信管理网(TMN)系统中，为了保证系统的正常、稳定、安全地运营，需要对配置、性能、故障、统计、安全等几个功能模块的数据进行管理。

为了保证系统的正常运营、或是出于对系统进行优化的目的，系统管理人员需要查看系统当前的最新数据，同时也需要查看历史上某一时刻的数据。在很多情况下，系统管理人员会产生将当前数据和某一时刻的历史数据(或是某两个时刻的历史数据之间)进行比较的需求。例如，希望查看自某一时刻以后配置数据所发生的变化，希望比较当年和前一年同一时期的统计(计费)数据，等等。

但是，目前的网管系统，或是只显示最新数据，或是只能查询某一时刻的历史数据。这种现状不仅给电信管理网的管理及操作人员对数据的分析、掌控上带来了的很大不便，也给系统优化的具体实现增大了难度。

现有技术方案一：在电信管理网(TMN)系统中，对于配置数据，较为常见的做法是仅显示系统当前的最新数据。在某些系统中，可能还会提供定时备份数据的功能，如每日凌晨3点对所有配置数据进行一次备份，以便于系统故障时的紧急恢复。

上述方案的缺点是系统管理或操作人员只能查看某一时刻的数据，或是当前的最新数据，或是某一时刻的历史数据。一方面，这给操作人员带来不便，更重要的是，不利于对数据的分析，造成对运营数据正确性验证上的很大难度。

例如，管理或操作人员经常产生类似这样的需求：查看自某一时刻以后配置数据所发生的变化，以验证修改的正确性，或是用于发生故障之后的问题定位。显然，对于这类需求，现有的技术方案一无法实现。

现有技术方案二：在电信管理网(TMN)系统中，对于配置数据，少数网管系统实现了对不同时刻数据间差异性的比较。常见的实现方法是备份多个时刻的配置数据，当选择对不同时刻数据比较时，显示两份数据之间的差异。

这种数据备份实现机制的缺点在于：实现上的不灵活性和数据存储量的巨大。首先，备份多个时刻的数据，其备份时间点是相对固定的，如每天凌晨3点，或每隔一个小时等；其次，不论数据是否做了改动，或者数据的改动量有多大，系统都将整份配置数据备份起来，最终造成了数据存储量的巨大。

发明内容

本发明提供一种数据间差异性的分析比较方法，对由时间引起的数据间差异性进行直观、灵活的比较和分析，且有效解决备份数据量大的问题。

本发明的数据间差异性的分析比较方法，包括下列步骤：

A)数据管理系统判断数据源每条数据的类型是新增数据、删除数据或修改数据；

B)对不同类型的数据分别进行增量存储，生成对应记录，在每一记录中设置时间戳和类型标志；

C)根据步骤B)中各记录的时间戳，对任意两个指定时刻间的新增数据、删除数据和/或修改数据进行分析比较。

所述步骤A)包括：

对于实时数据更新系统：数据源会将数据更新的类型以及更新内容通过其更新上报接口/广播上报给数据管理系统，数据管理系统根据该上报内容可获取数据类型信息；

对于非实时数据更新系统：数据管理系统将其数据库中的现有数据与数据源最新数据进行比较，根据数据唯一性标识来确定数据源每条数据的类型。

所述根据数据唯一性标识来确定数据源每条数据的类型，包括：

A1)当数据源中存在唯一性标识为A、而数据管理系统数据库中无唯一性标识为A的数据或与当前时间最接近的唯一性标识为A的数据类型为删除时，当前获取的数据源数据类型为新增数据；

A2)当数据管理系统数据库中存在唯一性标识为A的数据、且与当前时间最接近的唯一性标识为A的数据类型为修改或新增时，而数据源中不存在唯一性标识为A的数据时，数据管理系统中该条数据类型为删除数据；

A3)当数据源中存在唯一性标识为A的数据，数据管理系统数据库中也存在唯一性标识为A的数据、且与当前时间最接近的唯一性标识为A的数据类型为修改或新增时，则比较两数据除唯一性标识之外的其他数据内容，如果数据源中数据内容与数据管理系统中的数据内容一致，该条数据无需处理，否则当前获取的数据源数据类型为修改数据。

所述步骤B)包括：

如果是新增数据，则执行下列步骤：

B1)给每一个需要进行比较的最小单元数据源分配一个唯一标识符；

B2)给每一个需要进行比较的最小单元数据源新增一条记录，该记录包括下列字段：该条新增数据的数据唯一标识、数据内容、上一步骤中分配的唯一标识符、数据到达时刻的时间戳和新增标志；

如果是删除数据，则执行下列步骤：

B3)根据被删除数据的数据唯一性标识，在数据管理系统数据库中查找出与该唯一性标识相同的前一记录，得到每个最小单元数据源被分配的唯一标识符；

B4)给每一个需要进行比较的最小单元数据源新增一条记录，该记录包括下列字段：该条被删除数据的数据唯一标识、数据内容、上一步骤中查找到的唯一标识符、数据删除时刻的时间戳和删除标志；

如果是修改数据，则执行下列步骤：

B5)根据被修改数据的数据唯一性标识，在数据管理系统数据库中查找出与该唯一性标识相同的前一记录，得到每个最小单元数据源被分配的唯一标识符；

B6)给每一个需要进行比较的最小单元数据源新增一条记录，该记录包括下列字段：该条被修改数据的数据唯一标识、数据内容、上一步骤中查找到的唯一标识符、数据修改时刻的时间戳和修改标志。

所述最小单元数据源是在对数据管理系统存储方案、数据模型进行设计时确定。

所述步骤C)包括：

当需要比较时刻A与时刻B的新增数据时，执行下列步骤：

C1)查找出数据管理系统数据库中所有时间戳范围为大于时刻A小于等于时刻B的记录；

C2)对分配有相同唯一标识符的记录分组；在同一组中，如果时间最小的记录的标志位为新增标志且时间最大的记录标志位不为删除标志，则该组的记录为新增数据，显示时间为最大的记录的数据内容；

当需要比较时刻A与时刻B的删除数据时，执行下列步骤：

C3)查找出数据管理系统数据库中所有时间戳范围为大于时刻A小于等于时刻B的记录；

C4)对分配有相同唯一标识符的记录分组；在同一组中，如果时间最小的记录的标志位不为新增标志且时间最大的记录标志位为删除标志，则该组的记录为删除数据，显示时间为最大的记录的数据内容；

当需要比较时刻A与时刻B的修改数据时，执行下列步骤：

C5)查找出数据管理系统数据库中所有时间戳范围为大于时刻A小于等于时刻B的记录；

C6)对分配有相同唯一标识符的记录分组；在同一组中，如果时间最小的记录的标志位不为新增标志且时间最大的记录标志位不为删除标志，则该组的记录为修改数据，将被作为修改数据显示。

对于修改数据，可显示和比较修改前后数据；所述修改前的数据为：数据库中具体相同唯一标识符且时间小于等于且最接近A时刻的记录；所述修改后的数据为：同一组中时间最大的记录的数据。

对于修改数据，可以对指定数据内容进行过滤，按照需要显示和比较某类数据的修改前后内容。

本发明方法能够对当前数据及某一时刻历史数据进行比较、分析；对指定的两个时刻间的历史数据进行比较、分析；采用增量存储的方法对数据进行保存，解决了现有技术中的数据备份实现机制对备份、比较时间点选择上的不灵活性以及数据存储量巨大的问题，从而为系统管理者提供了一种对数据正确性进行验证、对数据间差异性进行分析比较、系统优化参考等方面的方法和手段。

附图说明

图1为本发明方法实施的网络环境示意图。

具体实施方式

本发明针对目前在电信管理网(TMN)系统中，对由时间引起的数据间差异性不能直接、直观、灵活地进行比较分析的现状，提出一种采用增量存储的方法对数据进行保存，并进一步对数据间差异进行比较和分析的方法。

在介绍本发明的具体技术方案之前，对本发明实现的前提、环境作一些说明，参见图1：

1、本发明的发明目的是为了解决和改善电信管理网对数据间差异性处理的问题和现状，但本发明不限于用于电信管理网系统中，即本发明不受具体数据管理系统的限制。为了描述的方便，今以网管中心为例对本发明方法加以具体说明。

2、对于需要分析的数据，需要预先就其存储格式、数据间层级关系作出设计，可采用设计系统表、建立信息模型等方式。本发明不受数据的具体设计方式的限制。

3、对于原始数据的来源，数据源可能是电信管理网中的交换机、路由器等。本发明不受具体数据源的限制。

4、对于原始数据，数据源有保证唯一标识数据的手段，可能是几个域相结合来唯一标识某个对象，如数据库(或命令行)中的表格名称(或命令行名称)、记录索引号、字段(属性)名称；也可能是通过单一的一串数字来唯一标识，如SNMP中的管理对象的客体标识符(Object Identifier)。本发明不受具体数据源管理数据方式的限制，不受数据对象具体标识方式的限制。

5、对于网管中心(或其他数据管理系统)，数据存储的方式可以是数据库、也可以是文件，等等。本发明不受具体数据存储方式的限制。为了描述的方便，今以数据库存储方式进行介绍。

6、本发明适用于实时数据更新系统、非实时数据更新系统。

本发明的具体实现步骤包括：

1、从数据源获取原始数据，根据数据源提供的数据性唯一标识(下文将这个/组唯一标识称为OriTag)，判断当前获取数据的类型，可能的类型有新增数据、删除数据、修改数据。

其中数据类型的判断方法因数据源数据更新机制而异：

A)对于实时数据更新系统：该数据源有数据更新上报接口/广播，当数据有任何更新时，数据源会将数据更新的类型(新增、修改、删除)以及更新内容上报给网管中心，这样，网管中心直接就可以针对每次上报内容作相应的处理；

B)对于非实时数据更新系统：数据源本身不会主动上报数据更新的内容和更新类型，网管中心需要主动查询当前数据源中的数据内容以保持两者的数据同步。每次与数据源进行数据同步时，网管中心会将网管中心数据库中现有数据与数据源最新数据进行比较，根据数据唯一标识OriTag来确定数据源每条数据的类型，具体方式为：

I、当数据源中存在唯一标识OriTag为A，而网管中心数据库中无唯一标识OriTag为A的数据(或与当前时间最接近的唯一标识OriTag为A的数据类型为删除)时，当前获取的数据源数据类型为新增数据；

II、当网管中心数据库中存在唯一标识OriTag为A的数据、且与当前时间最接近的唯一标识OriTag为A的数据类型为修改或新增时，而数据源中不存在唯一标识OriTag为A的数据时，该条网管中心数据类型为删除数据；

III、当数据源中存在唯一标识OriTag为A，而网管中心数据库中存在唯一标识OriTag为A的数据、且与当前时间最接近的唯一标识OriTag为A的数据类型为修改或新增时，比较除唯一标识OriTag之外的其他数据内容，如数据源中数据内容与网管中心数据内容一致，该条数据无需处理，否则当前获取的数据源数据类型为修改数据。

2、对于每一条新增数据，给每一个需要进行比较的最小单元数据源分配一个唯一标识符(下文将这里分配的唯一标识符称为ObjID)。最小单元数据源的含义是：当该粒度的数据源中任何内容发生变化时，将作为数据间的差异。最小单元数据源应在对网管中心存储方案、数据模型进行设计时确定。

例如，当采用表格、记录、字段这样的格式来建立信息模型时：

1)如果将表格作为最小单元数据源时，那么当某表格内任何记录中的任何字段内容发生变化时，该表格的全部内容就作为差异被显示和比较。

2)如果将记录作为最小单元数据源时，那么当某张表格中某条记录中的任何字段内容发生变化时，该记录的全部内容就作为差异被显示和比较。此时，该记录所属表格中其他没有发生改变的记录将不作为差异被显示。

3)如果将字段作为最小单元数据源时，那么只有当某张表格中某条记录中的某个字段的内容发生变化时，该字段内容就作为差异被显示和比较。此时，该字段所属记录中其他没有发生改变的字段将不作为差异被显示；该字段所属记录所属表格中其他没有发生改变的记录将不作为差异被显示。

3、按照网管中心所设计的数据存储模式，为每个单元数据源新增一条记录，该记录内容包括：新增数据的OriTag、数据内容、分配的ObjID、新增数据到达网管中心的时间戳、以及新增标志。

4、对于删除数据中的每个单元数据源，根据被删除数据的OriTag，在网管中心数据库中查找到与该OriTag一致的前一次记录的ObjID。

5、按照网管中心所设计的数据存储模式，为每个单元数据源新增一条记录，该记录内容包括：被删除数据的OriTag、数据内容、上一步查找到的ObjID、数据被删除时刻的时间戳、以及被删除标志。

6、对于修改数据中的每个单元数据源，根据被修改数据的OriTag，在网管中心数据库中查找到与该OriTag一致的前一次记录的ObjID。

7、按照网管中心所设计的数据存储模式，为每个单元数据源新增一条记录，该记录内容包括：被修改数据的OriTag、修改后的数据内容、上一步查找到的ObjID、数据被修改的时刻的时间戳、以及修改标志。

上面三处的时间戳都是指网管中心在对原始数据进行处理的时间，也就是程序运行当前的系统时间。

以上1-7步是当数据源发生数据改变时，网管中心对原始数据所做的处理和存储。下面将介绍当网管中心客户端发起数据比较分析请求时的实现步骤：

8、在网管中心客户端发起比较时刻A和时刻B(时刻B大于时刻A，即相对于时刻B来说，时刻A为历史时刻，如时刻A为2003年4月1日00:00，时刻B为2003年5月1日00:00)间(也可以是当前最新数据和某个历史时刻之间的比较)的差异的请求。对于比较结果的显示的处理可分为对新增数据、删除数据、修改数据三种类型的处理，但客户端可根据需要选择数据比较后的显示方式(仅显示新增数据、仅显示删除数据、仅显示修改数据前后比较结果、或任意组合的形式)。

9、对于新增数据的处理：查找网管中心数据库中所有时间戳范围为(A，B]的记录，即时刻A之后(不含时刻A)与时刻B(含时刻B)之前的记录，对具有相同ObjID的记录分组，在同一个ObjID组中，如果时间最小的记录的标志位为新增标志且时间最大的记录标志位不为删除标志，则该ObjID的记录为新增数据，将被作为新增数据显示，该数据最终显示内容是在该ObjID组中的时间最大记录的数据内容。

10、对于删除数据的处理：查找网管中心数据库中所有时间戳范围为(A，B]的记录，即时刻A之后(不含时刻A)与时刻B(含时刻B)之前的记录。对具有相同ObjID的记录分组，在同一个ObjID组中，如果时间最小的记录的标志位不为新增标志且时间最大的记录标志位为删除标志，则该ObjID的记录为删除数据，将被作为删除数据显示，该数据最终显示内容是在该ObjID组中的时间最大记录的数据内容。

11、对于修改数据的处理：查找网管中心数据库中所有时间戳范围为(A，B]的记录，即时刻A之后(不含时刻A)与时刻B(含时刻B)之前的记录。对具有相同ObjID的记录分组，在同一个ObjID组中，如果时间最小的记录的标志位不为新增标志且时间最大的记录标志位不为删除标志，则该ObjID的记录为修改数据，将被作为修改数据显示。对于修改数据，需要显示和比较修改前后数据。该ObjID组中的时间最大记录的数据内容显示为修改后的数据内容。修改前数据内容的查找方法为：查找数据库中具体相同ObjID，时间小于等于且最接近A时刻的记录。该记录的数据显示为修改前的数据内容，和修改后数据进行比较。

12、对于修改数据，可以对指定数据内容进行过滤，按照需要比较某类数据的修改前后内容。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims

1、一种数据间差异性的分析比较方法，适用于随时间变化的数据，该方法包括下列步骤：

2、如权利要求1所述的数据间差异性的分析比较方法，其特征在于：所述步骤A)包括：

3、如权利要求2所述的数据间差异性的分析比较方法，其特征在于：所述根据数据唯一性标识来确定数据源每条数据的类型，包括：

4、如权利要求1所述的数据间差异性的分析比较方法，其特征在于：所述步骤B)包括：

如果是新增数据，则执行下列步骤：

如果是删除数据，则执行下列步骤：

如果是修改数据，则执行下列步骤：

5、如权利要求4所述的数据间差异性的分析比较方法，其特征在于：所述最小单元数据源是在对数据管理系统存储方案、数据模型进行设计时确定。

6、如权利要求1、2、3、4或5所述的数据间差异性的分析比较方法，其特征在于：所述步骤C)包括：

当需要比较时刻A与时刻B的新增数据时，执行下列步骤：

当需要比较时刻A与时刻B的删除数据时，执行下列步骤：

当需要比较时刻A与时刻B的修改数据时，执行下列步骤：

7、如权利要求6所述的数据间差异性的分析比较方法，其特征在于：对于修改数据，可显示和比较修改前后数据；所述修改前的数据为：数据库中具体相同唯一标识符且时间小于等于且最接近A时刻的记录；所述修改后的数据为：同一组中时间最大的记录的数据。

8、如权利要求7所述的数据间差异性的分析比较方法，其特征在于：对于修改数据，可以对指定数据内容进行过滤，按照需要显示和比较某类数据的修改前后内容。