CN113239005A

CN113239005A - 一种电力监控系统i、iv区数据同步方法及装置

Info

Publication number: CN113239005A
Application number: CN202110611667.5A
Authority: CN
Inventors: 王嘉劼; 王志轩; 尹海发; 杨明伟; 周昊; 马梦冬; 郑天齐; 王世奇; 赵德基; 邬军军; 高玉宝; 李建; 张漪�; 陈鹏; 黄保莉; 沈永良
Original assignee: SHANGHAI XJ ELECTRIC CO Ltd; State Grid Corp of China SGCC; Xuji Group Co Ltd
Current assignee: SHANGHAI XJ ELECTRIC CO Ltd; State Grid Corp of China SGCC; Xuji Group Co Ltd
Priority date: 2021-06-02
Filing date: 2021-06-02
Publication date: 2021-08-10
Anticipated expiration: 2041-06-02
Also published as: CN113239005B

Abstract

本发明公开了一种电力监控系统I、IV区数据同步方法及装置，方法包括：对I区和IV区的隔离装置进行配置，开放数据端口以供数据传输文件传输；通过I区shell脚本文件获取I区数据库中的数据文件，并对数据文件进行数据处理，得到数据传输文件，其中，数据文件包含I区数据库的数据变化记录；通过数据端口将数据传输文件传输至IV区；通过IV区shell脚本文件读取数据传输文件以得到数据文件，并将数据文件同步至IV区的数据库。通过I区shell脚本文件实时获取I区数据库中包含数据变化记录的数据文件并通过I区和IV区隔离装置的数据端口传输至IV区以进行数据同步，解决了数据同步的实时性需求问题，提高了系统数据同步的实时性，满足了系统要求。

Description

一种电力监控系统I、IV区数据同步方法及装置

技术领域

本发明涉及电力系统数据传输技术领域，特别涉及一种电力监控系统I、IV区数据同步方法及装置。

背景技术

目前，监控系统安全防护遵循GB/T 36572《电力监控系统网络安全防护导则》的规定，分I、II、IV区建设。I、II区横向采用防火墙，I、IV区采用正反向隔离装置进行分区。I、IV区隔离后，数据的同步成了急需解决的问题，本文提供了一种可以通过隔离装置进行I、IV区数据同步的方法。

之前解决隔离装置数据同步的方案是在同步发起端通过程序定时将需要同步的数据库表中的数据存成txt格式的文件放入隔离装置配置的传送文件夹中，在同步接收端读取隔离装置发送过来的txt文件中的数据，通过程序组装成sql语句写入接收端的数据库中。上述技术存在如下不足：一是只支持关系型数据库，过去的同步需求针对于不同的关系型数据库，因此程序中只读取关系型数据库中的某些表，而为了解决不同关系型数据库的sql语句差异，将数据库表中的数据存为txt自定义的格式，再由接收端程序根据数据库的sql格式重新组装sql语句写入接收端数据库；二是做不到实时同步，新一代的监控系统要求I、IV区数据实时同步，过去的解决方案是在程序中写了定时函数进行一日一读写满足不了最新的实时数据同步的要求。三是无法管理，由于读写都是由程序直接控制无法通过操作系统进行服务管理，如果需要修改则要进行代码改动不利于适应不同场景的修改需求。

发明内容

本发明实施例的目的是提供一种电力监控系统I、IV区数据同步方法及装置，通过I区shell脚本文件实时获取I区数据库中包含数据变化记录的数据文件并通过I区和IV区隔离装置的数据端口传输至IV区以进行数据同步，解决了数据同步的实时性需求问题，并解决了现有方案仅支持关系型数据库同步的问题，提高了系统数据同步的实时性，满足了系统要求。

为解决上述技术问题，本发明实施例的第一方面提供了一种电力监控系统I、IV区数据同步方法，包括如下步骤：

对I区和IV区的隔离装置进行配置，开放数据端口以供数据传输文件传输；

通过I区shell脚本文件获取所述I区数据库中的数据文件，并对所述数据文件进行数据处理，得到所述数据传输文件，其中，所述数据文件包含I区数据库的数据变化记录；

通过所述数据端口将所述数据传输文件传输至所述IV区；

通过IV区shell脚本文件读取所述数据传输文件以得到数据文件，并将所述数据文件同步至所述IV区的数据库。

进一步地，所述通过I区shell脚本文件获取所述I区数据库中的数据文件，包括：

通过第一shell脚本文件获取所述I区的Mysql数据库中包含数据变化记录的所述sql文件；和/或，

通过第二shell脚本文件获取所述I区的redis数据库中包含数据变化记录的所述aof文件。

进一步地，所述通过IV区shell脚本文件读取所述数据传输文件以得到数据文件，包括：

通过第三shell脚本文件读取所述数据传输文件以得到包含数据变化记录的所述sql文件；和/或

通过所述第三shell脚本文件读取所述数据传输文件以得到包含数据变化记录的所述aof文件。

进一步地，所述通过I区shell脚本文件获取所述I区数据库中的数据文件之前，还包括：

修改所述I区shell脚本文件，以适应实际使用场景的同步要求。

相应地，本发明实施例的第二方面提供了一种电力监控系统I、IV区数据同步装置，包括：

端口配置模块，其用于对I区和IV区的隔离装置进行配置，开放数据端口以供数据传输文件传输；

数据处理模块，其用于通过I区shell脚本文件获取所述I区数据库中的数据文件，并对所述数据文件进行数据处理，得到所述数据传输文件，其中，所述数据文件包含I区数据库的数据变化记录；

数据传输模块，其用于通过所述数据端口将所述数据传输文件传输至所述IV区；

数据恢复模块，其用于通过IV区shell脚本文件读取所述数据传输文件以得到数据文件，并将所述数据文件同步至所述IV区的数据库。

进一步地，所述数据处理模块包括：

第一数据获取单元，其用于通过第一shell脚本文件获取所述I区的Mysql数据库中包含数据变化记录的所述sql文件；

第二数据获取单元，其用于通过第二shell脚本文件获取所述I区的redis数据库中包含数据变化记录的所述aof文件。

进一步地，所述数据恢复模块包括：

第一数据恢复单元，其用于通过第三shell脚本文件读取所述数据传输文件以得到包含数据变化记录的所述sql文件；

第二数据恢复单元，其用于通过所述第三shell脚本文件读取所述数据传输文件以得到包含数据变化记录的所述aof文件。

进一步地，所述电力监控系统I、IV区数据同步装置还包括：

脚本修改模块，其用于修改所述I区shell脚本文件，以适应实际使用场景的同步要求。

相应地，本发明实施例的第三方面提供了一种电子设备包括：至少一个处理器；以及与所述至少一个处理器连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述一个处理器执行，以使所述至少一个处理器执行上述电力监控系统I、IV区数据同步方法。

相应地，本发明实施例的第四方面提供了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述电力监控系统I、IV区数据同步方法。

本发明实施例的上述技术方案具有如下有益的技术效果：

通过I区shell脚本文件实时获取I区数据库中包含数据变化记录的数据文件并通过I区和IV区隔离装置的数据端口传输至IV区以进行数据同步，解决了数据同步的实时性需求问题，并解决了现有方案仅支持关系型数据库同步的问题，提高了系统数据同步的实时性，满足了系统要求。

附图说明

图1是本发明实施例提供的电力监控系统I、IV区数据同步方法流程图；

图2是本发明实施例提供的电力监控系统I、IV区数据同步装置模块框图；

图3是本发明实施例提供的数据处理模块框图；

图4是本发明实施例提供的数据恢复模块框图。

附图标记：

1、端口配置模块，2、数据处理模块，21、第一数据获取单元，22、第二数据获取单元，3、数据传输模块，4、数据恢复模块，41、第一数据恢复单元，42、第二数据恢复单元，5、脚本修改模块。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

图1是本发明实施例提供的电力监控系统I、IV区数据同步方法流程图。

请参照图1，本发明实施例的第一方面提供了一种电力监控系统I、IV区数据同步方法，包括如下步骤：

S200，对I区和IV区的隔离装置进行配置，开放数据端口以供数据传输文件传输。

通过对I区、IV区中的隔离装置进行配置，开放端口以供记载了数据格式的文件传输。

S400，通过I区shell脚本文件获取I区数据库中的数据文件，并对数据文件进行数据处理，得到数据传输文件，其中，数据文件包含I区数据库的数据变化记录。

传输的文件包括了分别记录Mysql数据变化和redis数据变化的sql文件及aof文件，由I区发送并由IV区接收。

具体的，步骤S400中，通过I区shell脚本文件获取I区数据库中的数据文件，包括：

S410，通过第一shell脚本文件获取I区的Mysql数据库中包含数据变化记录的sql文件。

监测Mysql数据库发生变化是通过binlog文件，Mysql数据库自带有binlog就是binary log，二进制日志文件，这个文件记录了MySQL所有的DML操作。通过binlog日志，可以做数据恢复、增量备份、主主复制和主从复制等操作。

binlog记录的所有操作实际上都有对应的事件类型，Mysql binlog有三种工作模式：一是Row level，会记录每一行数据被修改的情况，使用这种方法能清楚地记录每一行数据修改的细节；二是Statement level是Mysql默认的模式，它记录的是每一条被修改数据的sql，但有些语句可能不支持；三是Mixed是混合模式，结合了上面两种模式的优点，但是binlog文件结构会更加复杂不方便进行解析。

读取binlog日志需要用到binlog2sql，这个软件可以解析binlog日志，从binlog中生成标准sql，使用binlog2sql需要mysql开启以下配置：

[mysqld]

server_id＝1

log_bin＝/var/log/mysql/mysql-bin.log

max_binlog_size＝1G

binlog_format＝row

binlog_row_image＝full。

S420，通过第二shell脚本文件获取I区的redis数据库中包含数据变化记录的aof文件。

此外，监测Redis数据库的数据变化可通过Redis自身提供的rdb和aof两种持久化机制：rdb将数据库的快照(snapshot)以二进制的方式保存到磁盘中。aof则以协议文本的方式，将所有对数据库进行过写入的命令(及其参数)记录到AOF文件，以此达到记录数据库状态的目的，本技术方案采用获取aof文件的方式来对redis数据库进行同步。

S600，通过数据端口将数据传输文件传输至IV区。

S800，通过IV区shell脚本文件读取数据传输文件以得到数据文件，并将数据文件同步至IV区的数据库。

具体的，步骤S800中，通过IV区shell脚本文件读取数据传输文件以得到数据文件，包括：

S810，通过第三shell脚本文件读取数据传输文件以得到包含数据变化记录的sql文件。和/或

S820，通过第三shell脚本文件读取数据传输文件以得到包含数据变化记录的aof文件。

在IV区通过编写shell脚本还原传输过来的sql及aof文件，脚本首先配置了Mysql及Redis的参数，编写了函数分别输出还原文件需要的时间、还原sql文件及还原aof文件。

上述电力监控系统I、IV区数据同步方法通过I区shell脚本文件实时获取I区数据库中包含数据变化记录的数据文件并通过I区和IV区隔离装置的数据端口传输至IV区以进行数据同步，解决了数据同步的实时性需求问题，并解决了现有方案仅支持关系型数据库同步的问题，提高了系统数据同步的实时性，满足了系统要求。

进一步地，步骤S400中，通过I区shell脚本文件获取I区数据库中的数据文件之前，还包括步骤：

S300，修改I区shell脚本文件，以适应实际使用场景的同步要求。

关于I、IV区服务脚本编写，系统自带的systemctl命令将服务运行在后台，在systemctl命令管理的文件夹下编写启动脚本，I区编写mysql、redis监测导出服务，IV区编写数据还原服务。

图2是本发明实施例提供的电力监控系统I、IV区数据同步装置模块框图。

相应地，请参照图2，本发明实施例的第二方面提供了一种电力监控系统I、IV区数据同步装置，包括：端口配置模块1、数据处理模块2、数据传输模块3和数据恢复模块4。其中，端口配置模块1用于对I区和IV区的隔离装置进行配置，开放数据端口以供数据传输文件传输。数据处理模块2用于通过I区shell脚本文件获取I区数据库中的数据文件，并对数据文件进行数据处理，得到数据传输文件，其中，数据文件包含I区数据库的数据变化记录。数据传输模块3用于通过数据端口将数据传输文件传输至IV区。数据恢复模块4用于通过IV区shell脚本文件读取数据传输文件以得到数据文件，并将数据文件同步至IV区的数据库。

图3是本发明实施例提供的数据处理模块框图。

具体的，请参照图3，数据处理模块2包括：第一数据获取单元21和第二数据获取单元22。其中，第一数据获取单元21用于通过第一shell脚本文件获取I区的Mysql数据库中包含数据变化记录的sql文件。第二数据获取单元22用于通过第二shell脚本文件获取I区的redis数据库中包含数据变化记录的aof文件。

图4是本发明实施例提供的数据恢复模块框图。

具体的，请参照图4，数据恢复模块4包括：第一数据恢复单元41和第二数据恢复单元42。第一数据恢复单元41用于通过第三shell脚本文件读取数据传输文件以得到包含数据变化记录的sql文件。第二数据恢复单元42用于通过第三shell脚本文件读取数据传输文件以得到包含数据变化记录的aof文件。

进一步地，I、IV区数据同步装置还包括：脚本修改模块5。脚本修改模块5用于修改I区shell脚本文件，以适应实际使用场景的同步要求。

上述电力监控系统I、IV区数据同步装置通过I区shell脚本文件实时获取I区数据库中包含数据变化记录的数据文件并通过I区和IV区隔离装置的数据端口传输至IV区以进行数据同步，解决了数据同步的实时性需求问题，并解决了现有方案仅支持关系型数据库同步的问题，提高了系统数据同步的实时性，满足了系统要求。

相应地，本发明实施例的第三方面提供了一种电子设备包括：至少一个处理器；以及与至少一个处理器连接的存储器；其中，存储器存储有可被一个处理器执行的指令，指令被一个处理器执行，以使至少一个处理器执行上述电力监控系统I、IV区数据同步方法。

本发明实施例旨在保护一种电力监控系统I、IV区数据同步方法及装置，其中方法包括如下步骤：对I区和IV区的隔离装置进行配置，开放数据端口以供数据传输文件传输；通过I区shell脚本文件获取I区数据库中的数据文件，并对数据文件进行数据处理，得到数据传输文件，其中，数据文件包含I区数据库的数据变化记录；通过数据端口将数据传输文件传输至IV区；通过IV区shell脚本文件读取数据传输文件以得到数据文件，并将数据文件同步至IV区的数据库。上述技术方案具备如下效果：

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims

1.一种电力监控系统I、IV区数据同步方法，其特征在于，包括如下步骤：

通过所述数据端口将所述数据传输文件传输至所述IV区；

2.根据权利要求1所述的电力监控系统I、IV区数据同步方法，其特征在于，所述通过I区shell脚本文件获取所述I区数据库中的数据文件，包括：

3.根据权利要求1所述的电力监控系统I、IV区数据同步方法，其特征在于，所述通过IV区shell脚本文件读取所述数据传输文件以得到数据文件，包括：

4.根据权利要求1所述的电力监控系统I、IV区数据同步方法，其特征在于，所述通过I区shell脚本文件获取所述I区数据库中的数据文件之前，还包括：

5.一种电力监控系统I、IV区数据同步装置，其特征在于，包括：

6.根据权利要求5所述的电力监控系统I、IV区数据同步装置，其特征在于，所述数据处理模块包括：

7.根据权利要求5所述的电力监控系统I、IV区数据同步装置，其特征在于，所述数据恢复模块包括：

8.根据权利要求5所述的电力监控系统I、IV区数据同步装置，其特征在于，还包括：

9.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述一个处理器执行，以使所述至少一个处理器执行上述电力监控系统I、IV区数据同步方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机指令，该指令被处理器执行时实现上述电力监控系统I、IV区数据同步方法。