CN103399888B - 电网模型数据的差分同步方法及系统 - Google Patents

Abstract

本发明提供一种电网模型数据的差分同步方法及系统，所述方法包括以下步骤：对各数据源系统的电网模型数据进行解析，生成CIM XML文件并保存在与该数据源系统对应的临时文件夹中；将所述临时文件夹中的文件与比较目标数据文件夹中的文件进行差分比较，得到差分数据信息，所述差分数据信息包括：新增数据信息、更新数据信息、删除数据信息；根据所述差分数据信息更新相应的电网模型数据到目标数据中心；清理所述比较目标数据文件夹中的文件，将所述临时文件夹中的文件剪切到所述比较目标数据文件夹中。本发明提高了数据同步的效率，有效保证了数据质量。

Description

电网模型数据的差分同步方法及系统

技术领域

本发明涉及电力系统领域，特别是涉及一种电网模型数据的差分同步方法以及一种电网模型数据的差分同步系统。

背景技术

电网模型是电力企业的各类信息化、自动化系统进行电网相关信息管理的基础。随着电力系统信息化的不断发展，电网模型数据在不同系统间的交互越来越频繁，基于多个系统数据的综合数据平台也越来越多的被应用。同时基于CIM（common information model，公共信息模型）的XML（Extensible MarkupLanguage，可扩展标记语言）文件在数据交互操作中已被广泛使用，大部分电网系统都支持将电网模型数据导出基于CIM的XML文件。

目前，随着电网模型数据的日益增大，数据的更新越来越频繁。传统的电网模型数据同步方法中，各个系统模型数据采用全部更新的方式同步到目标数据中心。然而，采用全部源数据更新到目标数据中心的方式，无论数据是否变化，重复数据均被覆盖，原来不存在的数据会被创建，原来存在但当前不存在的数据不会被删除，即传统方法中只能做到增加与更新数据而不能做到数据删除，导致错误数据会越来越多，数据质量存在严重问题；并且，将全部数据都更新一次，会影响数据同步的速度，导致数据同步效率比较低。

发明内容

基于此，有必要针对上述数据质量及数据同步效率较低的问题，提供一种电网模型数据的差分同步方法及系统。

为实现上述目的，本发明采用如下的技术方案：

一种电网模型数据的差分同步方法，包括以下步骤：

对各数据源系统的电网模型数据进行解析，生成CIM XML文件并保存在与该数据源系统对应的临时文件夹中；

将所述临时文件夹中的文件与比较目标数据文件夹中的文件进行差分比较，得到差分数据信息，所述差分数据信息包括：新增数据信息、更新数据信息、删除数据信息；

根据所述差分数据信息更新相应的电网模型数据到目标数据中心；

清理所述比较目标数据文件夹中的文件，将所述临时文件夹中的文件剪切到所述比较目标数据文件夹中。

一种电网模型数据的差分同步系统，包括：

文件生成模块，用于对各数据源系统的电网模型数据进行解析，生成CIMXML文件并保存在与该数据源系统对应的临时文件夹中；

差分比较模块，用于将所述临时文件夹中的文件与比较目标数据文件夹中的文件进行差分比较，得到差分数据信息，所述差分数据信息包括：新增数据信息、更新数据信息、删除数据信息；

数据更新模块，用于根据所述差分数据信息更新相应的电网模型数据到目标数据中心；

文件替换模块，用于清理所述比较目标数据文件夹中的文件，将所述临时文件夹中的文件剪切到所述比较目标数据文件夹中。

由以上方案可以看出，本发明的一种电网模型数据的差分同步方法及系统，各个源系统数据同步过程中采用临时文件进行存储，并作为下一次差分比较的对象，从而保证了各个源系统数据差分的独立性，不影响目标数据中心数据的人工修改及数据交叉问题；并且，本发明采用文件记录电网模型数据同步的所有信息，以文件为基础进行数据比较，全部过程都不依赖目标数据中心的服务器进行操作，最后只将差分数据导入到服务器而不是全部源数据，因此减少了不必要的同步更新，极大的提高了数据同步的效率；最后，本发明通过记录删除数据信息能够准确识别出电网模型数据的删除，因此有效保证了数据质量。

附图说明

图1为本发明实施例中一种电网模型数据的差分同步方法的流程示意图；

图2为本发明实施例中一种电网模型数据的差分同步系统的结构示意图。

具体实施方式

下面结合附图以及具体的实施方式，对本发明的技术方案作进一步的描述。

参见图1所示，一种电网模型数据的差分同步方法，包括以下步骤：

步骤S101，对各数据源系统的电网模型数据进行解析，生成CIM XML文件并保存在与该数据源系统对应的临时文件夹（本实施例中记为：data_temp）中，然后进入步骤S102。

作为一个较好的实施例，所述对各数据源系统的电网模型数据进行解析的过程具体可以包括如下步骤：滤除所述源系统模型数据中不能识别的、冗余和错误的数据，并将格式与目标数据中心不符合的数据进行格式转换，生成与目标数据中心模式一致的CIM XML文件。需要说明的是，本实施例中生成的文件可以是一个或多个，例如按变电站和线路分块导出。

步骤S102，将所述临时文件夹中的文件与比较目标数据文件夹（本实施例中记为：data_back）中的文件进行差分比较，得到差分数据信息，所述差分数据信息包括：新增数据信息、更新数据信息、删除数据信息，然后进入步骤S103。

本发明实施例中会保留当前全电网模型数据以作为下次差分的比较数据，因此，所述比较目标数据文件夹中的所有文件实际上即为上次差分的临时文件夹中的文件（详情参见步骤S104）。作为一个较好的实施例，将所述临时文件夹中的文件与比较目标数据文件夹中的文件进行差分比较的过程具体可以包括如下步骤：

步骤S1021，遍历所述临时文件夹（即data_temp）中的文件，判断在比较目标数据文件夹（即data_back）中是否存在相同名称的文件，如顺德站.rdf；若是则进入步骤S1022；否则进入步骤S1023；

步骤S1022，若存在相同名称的文件，如data_temp与data_back中均存在顺德站.rdf，则将两个相同名称的文件进行差分比较，通过差分比较即可以得知是否新增了数据、是否更新了数据、是否删除了数据；并对差分比较的结果进行记录，即可以得到所述新增数据信息（新增了哪些数据）、更新数据信息（更新了哪些数据）、删除数据信息（删除了哪些数据）；

步骤S1023，若不存在相同名称的文件，如data_temp中存在顺德站.rdf，但data_back中不存在顺德站.rdf，则将所述比较目标数据文件夹中不存在的文件（如顺德站.rdf）的数据作为新增数据，并记录到所述新增数据信息中。

另外，作为一个较好的实施例，在上述临时文件夹中的所有文件均遍历完成后，还可以包括如下步骤：

步骤S1024，遍历所述比较目标数据文件夹（data_back）中的文件，判断所述data_back中是否有不存在于所述临时文件夹（data_temp）中的文件；若是则进入步骤S1025；否则继续遍历，直到data_back中的所有文件均遍历完成；

步骤S1025，若所述比较目标数据文件夹中有不存在于所述临时文件夹中的文件，说明同步更新后这个文件不再需要，是要删除的厂站或线路，因此可将该不存在于data_temp中的文件的全部数据作为删除数据，并记录到所述删除数据信息中。

步骤S103，通过新增数据信息可以知道本次同步更新中新增了哪些数据、通过更新数据信息可以知道本次同步更新中更新了哪些数据以及通过删除数据信息可以知道本次同步更新中需要删除哪些数据。因此，本步骤中根据这些差分数据信息更新相应的电网模型数据到目标数据中心（更新的动作包括了新增数据、更新数据、删除数据），然后进入步骤S104。

作为一个较好的实施例，数据更新时可以通过所述目标数据中心的数据写入接口将电网模型数据更新到所述目标数据中心。

步骤S104，完成数据的同步更新后，清理所述比较目标数据文件夹中的文件，将所述临时文件夹中的文件剪切到所述比较目标数据文件夹中，即将本次更新使用的全电网模型数据作为下一次比较的目标数据。

需要说明的是，本发明实施例中在data_temp文件夹及data_back文件夹中，记录的是某个数据源系统导出给目标数据中心的本次数据版本与上次数据版本的差异。假设有多个数据源系统将数据导入目标数据中心中，每个数据源系统的data_temp文件夹及data_back文件夹是独立的，本发明实施例会对每个数据源系统相应的data_temp文件夹内容及data_back文件夹内容进行差分，即差分是针对每个不同的数据源系统单独进行的。这样，由于对每个数据源系统的data_temp及data_back是独立的，且差分过程和结果是独立的，因此这个数据源系统的差分过程和结果不会影响其它数据源系统的差分过程和结果，同时其结果也不会受其它数据源变化的影响。

如果我们把人工修改也看成一个数据源的话，本发明实施例所述方法对某个数据源的差分过程和结果不会影响人工修改的过程和结果，同时其结果也不会受其它数据源变化的影响，因此可以说本发明还解决了人工修改数据可能又会被其它数据源的差分过程和结果影响和覆盖的问题。下面通过举例来进行详细说明：

假设经过一段时间的差分同步，本数据中心中存在数据A、B、C，源系统数据每天更新一次，按本发明实施例所述方法进行差分同步，假设：

周一：源系统数据为A、B、C，差分过程判断无增加、删除、修改，本数据中心还是为A、B、C；

周二：源系统数据还是为A、B、C，数据中心维护人员自己人工对数据C进行了修改（为区别前后两个数据，将修改前的记为C1，修改后的记为C2）；

周三：源系统数据变为A、B、C1、D（相当于源系统昨天的数据A、B、C增加了D），由于C2在数据中心中而不是在data_back中，因此差分时并不会发现C发生了变化，差分结果只会得出增加了D（因为是“A、B、C1”与“A、B、C1、D”相比较），因此差分结果上传数据中心后C2并不会被替换为C1，数据中心会变为预想中的A、B、C2、D。

但是，假设周三时，按照传统的同步方法，源系统数据A、B、C1、D直接和数据中心的A、B、C2比较，则差分结果除了增加了D之外还将由C1替代C2，数据中心的结果变成A、B、C1、D，可见人工修改的数据C2就被覆盖了。

可见，按传统的方法，人工的修改数据总会被下一次数据源的同步更新结果覆盖掉，人工修改无法正常地起作用。而按照本发明实施例的方法，人工修改数据并不会受源系统数据差分导入的影响，人工修改会达到预想的结果。并且按照上面的分析可知，某个源系统的差分导入过程不仅不会影响人工修改，也不会影响其它源系统的差分导入（假设有多个源系统的情况下）。

与上述一种电网模型数据的差分同步方法相同，本发明还提供一种电网模型数据的差分同步系统，如图2所示，包括：

文件生成模块101，用于对各数据源系统的电网模型数据进行解析，生成CIM XML文件并保存在与该数据源系统对应的临时文件夹中；

差分比较模块102，用于将所述临时文件夹中的文件与比较目标数据文件夹中的文件进行差分比较，得到差分数据信息，所述差分数据信息包括：新增数据信息、更新数据信息、删除数据信息；

数据更新模块103，用于根据所述差分数据信息更新相应的电网模型数据到目标数据中心；

文件替换模块104，用于清理所述比较目标数据文件夹中的文件，将所述临时文件夹中的文件剪切到所述比较目标数据文件夹中。

作为一个较好的实施例，所述文件生成模块中可以包括：

数据预处理模块，用于滤除所述源系统模型数据中不能识别的、冗余和错误的数据，并将格式与目标数据中心不符合的数据进行格式转换，生成与目标数据中心模式一致的CIM XML文件。

作为一个较好的实施例，所述差分比较模块中可以包括：

第一判断子模块，用于遍历所述临时文件夹中的文件，判断在比较目标数据文件夹中是否存在相同名称的文件；

第一记录子模块，用于在所述第一判断模块的判断结果为是的情况下，将两个相同名称的文件进行差分比较，并对差分比较的结果进行记录，得到所述新增数据信息、更新数据信息、删除数据信息；

第二纪录子模块，用于在所述第一判断模块的判断结果为否的情况下，则将所述比较目标数据文件夹中不存在的文件的数据作为新增数据，并记录到所述新增数据信息中。

作为一个较好的实施例，所述差分比较模块中还可以包括：

第二判断模块，用于在所述临时文件夹中的文件均遍历完成后，遍历所述比较目标数据文件夹中的文件，判断所述比较目标数据文件夹中是否有不存在于所述临时文件夹中的文件；

第三纪录子模块，用于在所述第二判断模块的判断结果为是的情况下，将该不存在于所述临时文件夹中的文件的数据作为删除数据，并记录到所述删除数据信息中。

作为一个较好的实施例，所述数据更新模块可以通过所述目标数据中心的数据写入接口将电网模型数据更新到所述目标数据中心。

上述一种电网模型数据的差分同步系统的其它技术特征与本发明的电网模型数据的差分同步方法相同，此处不予赘述。

通过以上方案可以看出，本发明的一种电网模型数据的差分同步方法及系统，各个源系统数据同步过程中采用临时文件进行存储，并作为下一次差分比较的对象，从而保证了各个源系统数据差分的独立性，不影响目标数据中心数据的人工修改及数据交叉问题；并且，本发明采用文件记录电网模型数据同步的所有信息，以文件为基础进行数据比较，全部过程都不依赖目标数据中心的服务器进行操作，最后只将差分数据导入到服务器而不是全部源数据，因此减少了不必要的同步更新，极大的提高了数据同步的效率；最后，本发明通过记录删除数据信息能够准确识别出电网模型数据的删除，因此有效保证了数据质量。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (4)

1.一种电网模型数据的差分同步方法，其特征在于，包括以下步骤：

对各数据源系统的电网模型数据进行解析，生成CIM XML文件并保存在与该数据源系统对应的临时文件夹中；

将所述临时文件夹中的文件与比较目标数据文件夹中的文件进行差分比较，得到差分数据信息，所述差分数据信息包括：新增数据信息、更新数据信息、删除数据信息；

根据所述差分数据信息更新相应的电网模型数据到目标数据中心；

清理所述比较目标数据文件夹中的文件，将所述临时文件夹中的文件剪切到所述比较目标数据文件夹中；

将所述临时文件夹中的文件与比较目标数据文件夹中的文件进行差分比较的过程包括：

遍历所述临时文件夹中的文件，判断在比较目标数据文件夹中是否存在相同名称的文件；

若是，则将两个相同名称的文件进行差分比较，并对差分比较的结果进行记录，得到所述新增数据信息、更新数据信息、删除数据信息；

若否，则将所述比较目标数据文件夹中不存在的文件的数据作为新增数据，并记录到所述新增数据信息中；

所述对各数据源系统的电网模型数据进行解析的过程包括：滤除所述各数据源系统的电网模型数据中不能识别的、冗余和错误的数据，并将格式与目标数据中心不符合的数据进行格式转换，生成与目标数据中心模式一致的CIMXML文件；

在所述临时文件夹中的文件均遍历完成后，还包括步骤：

遍历所述比较目标数据文件夹中的文件，判断所述比较目标数据文件夹中是否有不存在于所述临时文件夹中的文件；

若是，则将该不存在于所述临时文件夹中的文件的数据作为删除数据，并记录到所述删除数据信息中。

2.根据权利要求1所述的电网模型数据的差分同步方法，其特征在于，所述更新电网模型数据到目标数据中心的过程包括：通过所述目标数据中心的数据写入接口将电网模型数据更新到所述目标数据中心。

3.一种电网模型数据的差分同步系统，其特征在于，包括：

文件生成模块，用于对各数据源系统的电网模型数据进行解析，生成CIMXML文件并保存在与该数据源系统对应的临时文件夹中；

差分比较模块，用于将所述临时文件夹中的文件与比较目标数据文件夹中的文件进行差分比较，得到差分数据信息，所述差分数据信息包括：新增数据信息、更新数据信息、删除数据信息；

数据更新模块，用于根据所述差分数据信息更新相应的电网模型数据到目标数据中心；

文件替换模块，用于清理所述比较目标数据文件夹中的文件，将所述临时文件夹中的文件剪切到所述比较目标数据文件夹中；

所述差分比较模块中包括：

第一判断子模块，用于遍历所述临时文件夹中的文件，判断在比较目标数据文件夹中是否存在相同名称的文件；

第一记录子模块，用于在所述第一判断子模块的判断结果为是的情况下，将两个相同名称的文件进行差分比较，并对差分比较的结果进行记录，得到所述新增数据信息、更新数据信息、删除数据信息；

第二记录子模块，用于在所述第一判断子模块的判断结果为否的情况下，则将所述比较目标数据文件夹中不存在的文件的数据作为新增数据，并记录到所述新增数据信息中；

所述文件生成模块中包括：

数据预处理模块，用于滤除所述各数据源系统的电网模型数据中不能识别的、冗余和错误的数据，并将格式与目标数据中心不符合的数据进行格式转换，生成与目标数据中心模式一致的CIM XML文件；

所述差分比较模块中还包括：

第二判断模块，用于在所述临时文件夹中的文件均遍历完成后，遍历所述比较目标数据文件夹中的文件，判断所述比较目标数据文件夹中是否有不存在于所述临时文件夹中的文件；

第三纪录子模块，用于在所述第二判断模块的判断结果为是的情况下，将该不存在于所述临时文件夹中的文件的数据作为删除数据，并记录到所述删除数据信息中。

4.根据权利要求3所述的电网模型数据的差分同步系统，其特征在于，所述数据更新模块通过所述目标数据中心的数据写入接口将电网模型数据更新到所述目标数据中心。