CN112632183A - 一种基于电网网络分区数据表准实时同步方法及系统 - Google Patents

Abstract

本发明公开了一种基于电网网络分区数据表准实时同步方法及系统，包括，根据源数据库需要同步的表构建物化视图，生成数据同步文件；在所述源数据库中建立存储过程，当执行操作语句并产生日志时，生成对应的SQL数据同步文件并保存到数据文件记录表；创建定时任务，定期执行存所述储过程；利用文件处理模块定期扫描未处理文件记录，把本地的所述SQL数据文件解析还原成SQL语句，执行语句，完成数据入库。本发明可以整合多源异构的数据，把处于不同区的、不同表结构的数据库数据，以统一的标准格式整合存储，系统适用于电网分区网络，通过按需同步已经整合完成的统一格式数据，方便应用的调用。

Description

一种基于电网网络分区数据表准实时同步方法及系统

技术领域

本发明涉及电网网络分区数据实时同步的技术领域，尤其涉及一种基于电网网络分区数据表准实时同步方法及系统。

背景技术

近年来，随着电网系统发展日益庞大，数据的时效性要求对系统的同步能力要求也越来越高，在电网运行环境中，网络物理上划分为生产控制大区和管理信息大区，分区之间进行物理隔断，无法进行网络通信。

当电网信息系统需要在分区之间进行数据交互，一般的解决方案是系统对数据进行文本转换和加密，通过正反向隔离装置设备进行数据的加密文本传送，两端部署程序进行发送和接收，但是，当在业务逻辑层面不足以满足全部数据的传送，需要在数据库层面进行数据交互时，传统的传输方式就难以实现；本发明在数据库的归档操作日志数据同步方案基础上，研究满足正反向隔离装置传输原理的方案，实现数据库层面从生产区准实施传输数据到信息管理区。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明提供了一种基于电网网络分区数据表准实时同步方法及系统，能够解决现有方案数据传输效率低下、耗费系统资源、部分数据场景难以满足的问题。

为解决上述技术问题，本发明提供如下技术方案：包括，根据源数据库需要同步的表构建物化视图，生成数据同步文件；在所述源数据库中建立存储过程，当执行操作语句并产生日志时，生成对应的SQL数据同步文件并保存到数据文件记录表；创建定时任务，定期执行存所述储过程；利用文件处理模块定期扫描未处理文件记录，把本地的所述SQL数据文件解析还原成SQL语句，执行语句，完成数据入库。

作为本发明所述的基于电网网络分区数据表准实时同步方法的一种优选方案，其中：创建所述定时任务包括，利用任务调度模块定期检索数据文件记录表，取得未发送的数据文件记录，调用文件发送模块；所述文件发送模块对文件MD5值进行校验，将文件信息封装成报文，发送至文件接收模块；所述文件接收模块对接收到的所述报文进行缓存，在本地保存副本，并校验文件一致性，若校验一致时，则将文件记录保存到所述源数据库中。

作为本发明所述的基于电网网络分区数据表准实时同步方法的一种优选方案，其中：构建所述物化视图包括，根据所述源数据库需要同步的表，对多个不同版本和字符集的源数据库中的数据进行一致性处理，利用所述物化视图将源数据库子系统中的数据规整化为统一版本和字符集格式的数据。

作为本发明所述的基于电网网络分区数据表准实时同步方法的一种优选方案，其中：所述数据同步文件包括，将数据表中的数据导出为EXCEL数据表xls文件，并保存到本地。

作为本发明所述的基于电网网络分区数据表准实时同步方法的一种优选方案，其中：生成所述SQL数据同步文件包括，当执行INSERT、UPDATE、DELETE操作语句并产生日志log时，生成对应的所述SQL数据同步文件data file，并保存到所述数据文件记录表。

作为本发明所述的基于电网网络分区数据表准实时同步方法的一种优选方案，其中：解析还原所述SQL语句包括，利用数据库管理软件，进入数据库命令行，通过数据库命令，获取数据文件所在路径，并进行还原。

作为本发明所述的基于电网网络分区数据表准实时同步方法的一种优选方案，其中：完成所述数据入库包括，通过还原得到的SQL语句，执行INSERT语句，将数据插入到表中，完成数据入库。

作为本发明所述的基于电网网络分区数据表准实时同步系统的一种优选方案，其中：包括，文件处理模块、任务调度模块、文件发送模块和文件接收模块；所述文件处理模块，用于定期扫描未处理文件记录，把本地的SQL数据文件解析还原成SQL语句，执行语句，完成数据入库；所述任务调度模块连接于所述文件处理模块的上表面，其用于定期检索数据文件记录表，取得未发送的数据文件记录，调用所述文件发送模块；所述文件发送模块与所述任务调度模块相连接，其用于对文件MD5值进行校验，将文件信息封装成报文，发送至所述文件接收模块；所述文件接收模块设置在所述文件发送模块的下表面，其用于对接收到的报文进行缓存，在本地保存副本，并校验文件一致性，若校验一致时，将文件记录保存到数据库。

作为本发明所述的基于电网网络分区数据表准实时同步系统的一种优选方案，其中：还包括，隔离装置与所述文件发送模块和所述文件接收模块并行连接，其用于在网络物理隔离条件下将数据集中存储，并按需同步，实现分区间的数据库同步更新，保持数据一致。

本发明的有益效果：本发明可以整合多源异构的数据，把处于不同区的、不同表结构的数据库数据，以统一的标准格式整合存储，系统适用于电网分区网络，通过按需同步已经整合完成的统一格式数据，方便应用的调用；系统服务器可动态伸缩；数据分发系统中的任务调度模块、文件发送模块、文件接收模块机制、文件处理模块采用云计算的分布式集群架构，实现系统服务器的动态扩展和收缩，可根据不同情况运行不同的服务器配置；系统具有数据检验功能，系统设置了固定周期，定期检查同步的数据是否一致，通过MD5校验方法来确保源数据库和目的数据库的准确同步。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明第一个实施例所述的基于电网网络分区数据表准实时同步方法的流程示意图；

图2为本发明第一个实施例所述的基于电网网络分区数据表准实时同步方法的实验对比曲线输出示意图；

图3为本发明第二个实施例所述的基于电网网络分区数据表准实时同步系统的整体流程示意图；

图4为本发明第二个实施例所述的基于电网网络分区数据表准实时同步系统的整体架构示意图；

图5为本发明第二个实施例所述的基于电网网络分区数据表准实时同步系统的模块结构分布示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

安全分区是电力二次系统安全防护体系的结构基础，电网企业内部基于计算机和网络技术的应用系统，原则上划分为生产控制大区和管理信息大区，当电网信息系统需要在分区之间进行数据交互，一般的解决方案是系统对数据进行文本转换和加密，通过正反向隔离装置设备进行数据的加密文本传送，两端部署程序进行发送和接收，一般系统应用架构上分为数据层、业务层和展示层，而目前电网分区数据传输交互的方案中，大部分通过系统的业务层进行数据的加解密和传输。

参照图1和图2，为本发明的第一个实施例，提供了一种基于电网网络分区数据表准实时同步方法，包括：

S1：根据源数据库需要同步的表构建物化视图，生成数据同步文件。其中需要说明的是：

根据源数据库需要同步的表，对多个不同版本和字符集的源数据库中的数据进行一致性处理，利用物化视图将源数据库子系统中的数据规整化为统一版本和字符集格式的数据；

将数据表中的数据导出为EXCEL数据表xls文件，并保存到本地。

S2：在源数据库中建立存储过程，当执行操作语句并产生日志时，生成对应的SQL数据同步文件并保存到数据文件记录表。本步骤需要说明的是，生成SQL数据同步文件包括：

当执行INSERT、UPDATE、DELETE操作语句并产生日志log时，生成对应的SQL数据同步文件data file，并保存到数据文件记录表。

S3：创建定时任务，定期执行存储过程。其中还需要说明的是：

利用任务调度模块定期检索数据文件记录表，取得未发送的数据文件记录，调用文件发送模块；

文件发送模块对文件MD5值进行校验，将文件信息封装成报文，发送至文件接收模块；

文件接收模块对接收到的报文进行缓存，在本地保存副本，并校验文件一致性，若校验一致时，则将文件记录保存到源数据库中。

S4：利用文件处理模块定期扫描未处理文件记录，把本地的SQL数据文件解析还原成SQL语句，执行语句，完成数据入库。本步骤还需要说明的是，解析还原SQL语句包括：

利用数据库管理软件，进入数据库命令行，通过数据库命令，获取数据文件所在路径，并进行还原；

通过还原得到的SQL语句，执行INSERT语句，将数据插入到表中，完成数据入库。部分实现代码如下：

需要说明的是，现有电网网络分区数据表准同步方法的数据传输效率低下，分区之间数据文件内容加密，往往是根据业务逻辑进行单条信息的加密和传输，每次交互都需先通过程序转换后才能进行发送和接收，当面临数据量较大的数据业务时，数据处理和传输周期就零碎化，效率较低，甚至出现堵塞现状；耗费系统资源，由于数据处理时，传输阶段需要业务层进行数据的加解密和传输处理，接收阶段需要校验数据的完整性，因此耗费业务层的资源，容易影响系统其他业务运行；部分数据场景难以满足，业务层的数据处理需要知道数据的处理范围，当遇到多条数据关联性的变化时，处理逻辑将非常复杂，同时，监控数据的变化的技术方案也较为缺失。

为了对本发明方法中采用的技术效果加以验证说明，本实施例选择以传统的电网网络分区数据表准同步方法与本发明方法进行对比测试，以科学论证的手段对比试验结果，验证本发明方法所具有的真实效果。

传统的电网网络分区数据表准同步方法实时性、效率性较低，为验证本发明方法相对于传统方法具有较高的实时性和效率性，本实施例中将采用传统方法与本发明方法分别对仿真电网网络数据库的实时同步进行测量对比。

测试环境：(1)物化视图训练次数设定为5000次、学习率为0.005、MiniBatchSize设置为150、MaxEpochs设置为200；

(2)目标函数为MSE、隐含层激活函数默认为Rule函数，并采用Adam求解器；

(3)开启自动化测试设备，并运用MATLB仿真模拟。

参照图2，为试验对比的最终结果输出曲线示意图，其中，实线为本发明输出的曲线，虚线为传统方法输出的曲线，根据图2的示意，能够直观的看出实线与虚线随着时间的增长，逐渐拉开了距离，虚线一直呈现不稳定的波动趋势，且一直低于实线的安全性增长，虽然实线也略有波动，但是基本趋于稳定，更一直保持在虚线的上升位置，由此，说明了本发明方法的效率性远远大于传统方法的效率性，验证了本发明方法所具有的真实效果。

实施例2

参照图3、图4和图5，为本发明的第二个实施例，该实施例不同于第一个实施例的是，提供了一种基于电网网络分区数据表准实时同步系统，包括，文件处理模块100、任务调度模块200、文件发送模块300、文件接收模块400和隔离装置500。

参照图5，文件处理模块100，用于定期扫描未处理文件记录，把本地的SQL数据文件解析还原成SQL语句，执行语句，完成数据入库；任务调度模块200连接于文件处理模块100的上表面，其用于定期检索数据文件记录表，取得未发送的数据文件记录，调用文件发送模块300；文件发送模块300与任务调度模块200相连接，其用于对文件MD5值进行校验，将文件信息封装成报文，发送至文件接收模块400；文件接收模块400设置在文件发送模块300的下表面，其用于对接收到的报文进行缓存，在本地保存副本，并校验文件一致性，若校验一致时，将文件记录保存到数据库；隔离装置500与文件发送模块300和文件接收模块400并行连接，其用于在网络物理隔离条件下将数据集中存储，并按需同步，实现分区间的数据库同步更新，保持数据一致。

参照图3，本实施例根据源区数据库需要同步的表，当执行操作语句并产生日志时，生成对应的SQL数据同步文件，并保存到数据文件记录表，对文件MD5值进行校验通过后，将文件信息封装成报文，经过隔离装置500发送至目标区，目标区对接收到的报文进行缓存，在本地保存副本，将文件记录保存到数据库，执行处理把本地的SQL数据文件解析还原成SQL语句，执行语句，完成数据入库。

较佳的是，本发明整合多源异构的数据，把处于不同区的、不同表结构的数据库数据，以统一的标准格式整合存储，且本发明适用于电网分区网络，通过按需同步已经整合完成的统一格式数据，方便应用的调用；本实施例中的任务调度模块200、文件发送模块300、文件接收模块400、文件处理模块100采用云计算的分布式集群架构，实现系统服务器的动态扩展和收缩，可根据不同情况运行不同的服务器配置；且本发明设置了固定周期，定期检查同步的数据是否一致，通过MD5校验方法来确保源数据库和目的数据库的准确同步。

优选的，本发明实现了不同区存在隔离装置的情况下，先将源数据库的数据同步到目标数据库，再按需调用给不同的应用，系统采用了云计算的分布式集群架构，根据业务数据量的大小、响应时间等的不同，可以弹性扩展和动态收缩，从而提高系统的容错率、可用性。

本发明在校验数据时，解析并生成数据文件，通过MD5校验方法来确保源数据库和目标数据库的准确同步；设置定时任务，按需分配数据表的调用间隔，错峰分发，避免数据量过大时的网络堵塞；采用云计算的分布式架构，保障系统的高可用性、高容错性和高资源利用率，系统在数据库中存有数据文件记录，可通过对比数据量的一致性来反映同步率，从而提高运维效率。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于电网网络分区数据表准实时同步方法，其特征在于：包括，

根据源数据库需要同步的表构建物化视图，生成数据同步文件；

在所述源数据库中建立存储过程，当执行操作语句并产生日志时，生成对应的SQL数据同步文件并保存到数据文件记录表；

创建定时任务，定期执行存所述储过程；

利用文件处理模块定期扫描未处理文件记录，把本地的所述SQL数据文件解析还原成SQL语句，执行语句，完成数据入库。

2.根据权利要求1所述的基于电网网络分区数据表准实时同步方法，其特征在于：创建所述定时任务包括，

利用任务调度模块定期检索数据文件记录表，取得未发送的数据文件记录，调用文件发送模块；

所述文件发送模块对文件MD5值进行校验，将文件信息封装成报文，发送至文件接收模块；

所述文件接收模块对接收到的所述报文进行缓存，在本地保存副本，并校验文件一致性，若校验一致时，则将文件记录保存到所述源数据库中。

3.根据权利要求1或2所述的基于电网网络分区数据表准实时同步方法，其特征在于：构建所述物化视图包括，根据所述源数据库需要同步的表，对多个不同版本和字符集的源数据库中的数据进行一致性处理，利用所述物化视图将源数据库子系统中的数据规整化为统一版本和字符集格式的数据。

4.根据权利要求3所述的基于电网网络分区数据表准实时同步方法，其特征在于：所述数据同步文件包括，将数据表中的数据导出为EXCEL数据表xls文件，并保存到本地。

5.根据权利要求4所述的基于电网网络分区数据表准实时同步方法，其特征在于：生成所述SQL数据同步文件包括，当执行INSERT、UPDATE、DELETE操作语句并产生日志log时，生成对应的所述SQL数据同步文件data file，并保存到所述数据文件记录表。

6.根据权利要求5所述的基于电网网络分区数据表准实时同步方法，其特征在于：解析还原所述SQL语句包括，利用数据库管理软件，进入数据库命令行，通过数据库命令，获取数据文件所在路径，并进行还原。

7.根据权利要求6所述的基于电网网络分区数据表准实时同步方法，其特征在于：完成所述数据入库包括，通过还原得到的SQL语句，执行INSERT语句，将数据插入到表中，完成数据入库。

8.一种基于电网网络分区数据表准实时同步系统，其特征在于：包括，文件处理模块(100)、任务调度模块(200)、文件发送模块(300)和文件接收模块(400)；

所述文件处理模块(100)，用于定期扫描未处理文件记录，把本地的SQL数据文件解析还原成SQL语句，执行语句，完成数据入库；

所述任务调度模块(200)连接于所述文件处理模块(100)的上表面，其用于定期检索数据文件记录表，取得未发送的数据文件记录，调用所述文件发送模块(300)；

所述文件发送模块(300)与所述任务调度模块(200)相连接，其用于对文件MD5值进行校验，将文件信息封装成报文，发送至所述文件接收模块(400)；

所述文件接收模块(400)设置在所述文件发送模块(300)的下表面，其用于对接收到的报文进行缓存，在本地保存副本，并校验文件一致性，若校验一致时，将文件记录保存到数据库。

9.根据权利要求8所述的基于电网网络分区数据表准实时同步系统，其特征在于：还包括，

隔离装置(500)与所述文件发送模块(300)和所述文件接收模块(400)并行连接，其用于在网络物理隔离条件下将数据集中存储，并按需同步，实现分区间的数据库同步更新，保持数据一致。

Images