CN110727733A - 一种主备服务器系统及数据同步方法 - Google Patents

Abstract

本发明涉及一种主备服务器系统及数据同步方法，属于计算机软件技术领域。本发明通过在主、备服务器中增加临时数据表，主服务器历史存储服务将所存历史数据存入本地相应历史数据表，同时将数据写入本地临时数据表，监控备服务器周期检索主服务器临时数据表，将数据同步到本地历史数据表，完成主、备服务器间的历史数据同步。通过上述过程，本发明能够有效解决网络异常、主备切换时二者数据不一致的问题，提高了主备服务器数据存储的可靠性，保证了主备服务器的正常运行。

Description

一种主备服务器系统及数据同步方法

技术领域

本发明涉及一种主备服务器系统及数据同步方法，属于计算机软件技术领域。

背景技术

110kV及以上电压等级变电站监控系统服务器采用双重化配置，以一主一备的方式运行，主服务器进行数据计算、存储、产生告警事件，备服务器以热备用的方式运行，仅进行数据采集，不进行业务处理。当主服务器发生异常时，备服务器发生主备切换，升级为主服务器进行业务数据处理，即通过双重化冗余配置来提高监控系统功能的可靠性。双重化配置运行时，仅主服务器存储历史数据，备服务器采用数据同步机制保证历史数据的一致性。实际运行过程中，当主、备服务器发生异常或产生主备切换事件时，由于数据同步机制不完善，极易发生信号丢失事件，主、备服务器历史数据不一致，历史数据可靠性降低，从而影响变电站监控系统的安全稳定运行。因此，需要对主备服务器进行数据同步，申请公布号为CN104239476A的中国专利申请文件公开了一种数据库同步的方法、装置及系统，该方案设置有一个独立于主数据库和备数据库的同步装置，通过同步装置的同步请求，主数据库根据同步请求将数据库的同步日志发送给同步装置，由同步装置解析并捕获主数据库的数据变化信息，同步装置将捕获的数据变化信息传送给备数据库，以实现主备数据的同步。上述方案虽然能够实现主备的数据同步，但是需要额外的同步装置，且同步过程中需要判别数据是否发生变化，导致同步过程复杂。

发明内容

本发明的目的是提供一种主备服务器系统及数据同步方法，以解决目前主备服务器数据同步过程中需要增加额外同步装置，且同步过程复杂。

本发明为解决上述技术问题而提供一种主备服务器的数据同步方法，该数据同步方法包括以下步骤：

1)主服务器将接收到的数据加入事件处理队列，并将队列中的数据写入到主服务器的历史数据表和临时数据表中；

2)备服务器检索主服务器的临时数据表，将其中的数据同步到的备服务器的历史数据表，并将主服务器的临时数据表中已同步的数据清除；

3)备服务器检查是否存在未处理的事件处理队列，若存在，则将该事件处理队列中数据写入到备服务器的历史数据表和临时数据表中，备服务器的临时数据表供主服务器检索和更新，主服务器将备服务器的临时数据表中已同步的数据清除。

本发明通过在主、备服务器中增加临时数据表，主服务器历史存储服务将所存历史数据存入本地相应历史数据表，同时将数据写入本地临时数据表，监控备服务器周期检索主服务器临时数据表，将数据同步到本地历史数据表，完成主、备服务器间的历史数据同步。通过上述过程，本发明能够有效解决网络异常、主备切换时二者数据不一致的问题，提高了主备服务器数据存储的可靠性，保证了主备服务器的正常运行。

进一步地，为了保证数据能够可靠写入临时数据表，主服务器在将数据写入到主服务器临时数据表之前，需判断主服务器的临时数据表中的记录数否达到上限，若达到，则需将该临时数据表中的数据转存为本地数据缓存文件，并清空该临时数据表，再将新的数据写入该临时数据表。

进一步地，为了及时将本地数据缓存文件及时同步到备服务器上，当主服务器在检查到存在本地数据缓存文件时，主服务器判断备服务器数据库服务是否可用，若可用，且主服务器临时数据表为空，则将本地数据缓存文件存入主服务器临时数据表，供备服务器检索、同步。

进一步地，当主、备服务器发生切换时，切换后的主服务器启动数据接收，并按照步骤1)进行处理。

进一步地，为了保证主备切换后，原主服务器中未被同步到原备服务器的本地数据缓存能够及时得到同步更新，该方法还包括备服务器判断是否存在本地数据缓存文件，若存在，则将缓存文件存放到备服务器的临时数据表中，主服务器检索备服务器的临时数据表，将其中的数据同步到的主服务器的本地历史数据表，并将备服务器的临时数据表中已同步的数据清除。

进一步地，当主、备服务器之间通信断开时，主、备服务器以双主模式运行，主、备服务器各自更新本地历史数据表和临时数据表，并在通信恢复时进行相互同步。

进一步地，主服务器将接收到的数据加入事件处理队列之前，先将接收到的数据进行结构化处理。

进一步地，所述主、备服务器中设置的历史数据表和临时数据表采用的数据库技术为MYSQL、SQL Server或PG。

本发明还提供了一种主备服务器系统，包括主服务器和备服务器，所述的主服务器和备服务器中均设置有历史数据表和临时数据表，并执行有上述数据同步方法。

本发明通过在主、备服务器中增加临时数据表，主服务器历史存储服务将所存历史数据存入本地历史数据表，同时将数据写入本地临时数据表，监控备服务器周期检索主服务器临时数据表，将数据同步到本地历史数据表，完成主、备服务器间的历史数据同步。通过上述过程，本发明能够有效解决网络异常、主备切换时二者数据不一致的问题，提高了主备服务器数据存储的可靠性，保证了主备服务器的正常运行。

附图说明

图1是本发明实施例中主、备服务器间的数据同步示意图；

图2是本发明实施例中主服务器数据预处理流程图；

图3是本发明实施例中主服务器数据处理流程图；

图4是本发明实施例中主服务器数据转存文件处理流程图；

图5是本发明实施例中主服务器临时数据表处理流程图；

图6是本发明实施例中备服务器数据处理流程图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步地说明。

数据同步方法实施例

本发明针对主、备服务器间的数据同步提出了一种主备服务器数据同步方法，该方法可以适用于变电站主、备监控服务器间的数据同步，也可以适用于其他主、备服务器之间的数据同步。下面以变电站主、备监控服务器为例对本发明数据同步方法进行详细说明。

如图1所示，监控系统主服务器和监控系统备服务器在创建历史数据库时，除了历史数据表外，均额外创建一张临时数据表，作为历史数据同步的介质。监控系统主服务器将监控系统的告警事件、遥测采样、电度量、操作事件等各类系统运行过程中产生的历史数据存入本地历史数据库表中，同时将所存数据写入本地临时数据表。监控系统备服务器以热备用方式运行，不进行业务数据处理，监控备服务器的历史存储服务不进行业务数据存储，通过周期检索，更新主服务器临时数据表记录的方式实现备服务器的历史数据存储，即通过数据同步来保证两台服务器的历史数据一致性。具体的数据同步过程如下。

1.在监控系统主、备服务器中创建历史数据库，历史数据库中均设置有对应的历史数据表和临时数据表tmpsqltable，临时数据表作为双套服务器历史数据同步的介质，临时数据表的存储结构如表1所示。

表1

序号	字段名称	数据类型	说明
				1	ID	int	记录索引号
2	SQLSTR	varchar	SQL语句
				3	DATETIME	double	时间

2.监控主服务器的处理流程如下。

1)监控主服务器历史存储服务将事件告警、遥测采样、操作控制等系统运行信息进行预处理，将各类运行信息组织为结构化数据后加入历史存储服务数据处理队列，如图2所示。

2)监控主服务器周期性地从数据队列中批量取出数据，并存入本地历史数据库，由于监控主服务器接收到的数据类型多样，为方便后期管理，在存储时根据数据类型的不同存储不同的历史数据表中，完成本地历史数据存储。同时将取出的数据存入本地临时数据表中，一般临时数据表的大小都有限制，本地临时数据表的大小根据需要设定，为保证取出的数据能够顺利的存入临时数据表中，在存之前需要对临时数据表tmpsqltable中存储情况进行判断，判断临时数据表中记录数是否超过预设限值(预设限值默认为1万，可配置修改)，如不超过，则将上述历史数据组织为SQL语句，写入临时数据表tmpsqltable表，供备服务器同步使用，若超过，则认为备服务器此时数据处理能力不足或处于异常状态，为防止因临时数据表tmpsqltable表条目数过多而导致备服务器处理时产生系统瓶颈，如长时间高频占用磁盘导致操作系统卡顿等，此时将tmpsqltalbe表中记录转存为本地数据文件，并清空tmpsqltable表，再将新的历史数据写入tmpsqltalbe表，如图3所示。

3)主服务器周期检查备服务器数据库服务是否可用，如备服务器数据库服务可用，则检查是否存在本地数据缓存文件，如果有本地数据缓存文件，则检测此时本地临时数据表是否为空，当为空时，将一个本地数据缓存文件更新到临时数据表中，供备服务器同步。

4)主服务器周期检索备服务器临时数据表中是否有数据，如有数据则说明有数据需同步，则将备服务器临时数据表中的数据更新到本地历史数据表中，并删除备服务器临时数据表中已更新的数据。

3.备服务器的工作过程。

1)备服务器周期检索主服务器临时数据表中是否有数据，如果有数据，则将其中的数据更新到备服务器本地历史数据表中，并删除主服务器临时数据表中已更新的数据，从而完成主、备服务器的历史数据同步，如图6所示。

2)由于备服务器可能是之前的主服务器切换而来，备服务器(原主服务器)中可能存在有未存入本地历史数据表和临时数据表中的数据处理队列，因此备服务器需要周期检索数据处理队列，判断是否存在未处理数据，如存在则进行写操作，即将队列中的数据写入本地历史数据表和临时数据表中，过程如图3所示。

同时备服务器(原主服务器)中可能存在有本地数据缓存文件，因此备服务器需要检索本地数据缓存文件，若有，且备服务器的临时数据表为空，则将本地数据缓存文件存入备服务器临时数据表中，供主服务器进行同步使用。

当主、备服务器发生主备角色切换时，新的主服务器按照步骤3的工作流程进行处理，新的备服务器则按照步骤3的流程进行处理，新的备服务器数据队列中为完成的数据时，继续按照图4所示的流程处理。

当主、备服务器之间发生网络断开时，此时以主、备服务器以双主模式运行，各自更信息本地历史数据表和临时数据表，并在网络恢复后，按照图5、图6所示的流程进行互相同步，以保证两台服务器数据的一致性。

主备服务器系统的实施例

本发明的主备服务器系统包括主服务器和备服务器，主服务器和备服务器中均设置有历史数据表和临时数据表，主服务器和备服务器基于临时数据表实现数据同步，同步过程已在数据同步方法的实施例中进行了详细说明，这里不再赘述。

Claims (9)

1.一种主备服务器的数据同步方法，其特征在于，主、备服务器中均设置有历史数据表和临时数据表，该数据同步方法包括以下步骤：

1)主服务器将接收到的数据加入事件处理队列，并将队列中的数据写入到主服务器的历史数据表和临时数据表中；

2)备服务器检索主服务器的临时数据表，将其中的数据同步到的备服务器的历史数据表，并将主服务器的临时数据表中已同步的数据清除；

3)备服务器检查是否存在未处理的事件处理队列，若存在，则将该事件处理队列中数据写入到备服务器的历史数据表和临时数据表中，备服务器的临时数据表供主服务器检索和更新，主服务器将备服务器的临时数据表中已同步的数据清除。

2.根据权利要求1所述的主备服务器的数据同步方法，其特征在于，主服务器在将数据写入到主服务器临时数据表之前，需判断主服务器的临时数据表中的记录数否达到上限，若达到，则需将该临时数据表中的数据转存为本地数据缓存文件，并清空该临时数据表，再将新的数据写入该临时数据表。

3.根据权利要求2所述的主备服务器的数据同步方法，其特征在于，当主服务器在检查到存在本地数据缓存文件时，主服务器判断备服务器数据库服务是否可用，若可用，且主服务器临时数据表为空，则将本地数据缓存文件存入主服务器临时数据表，供备服务器检索、同步。

4.根据权利要求1-3中任一项所述的主备服务器的数据同步方法，其特征在于，当主、备服务器发生切换时，切换后的主服务器启动数据接收，并按照步骤1)进行处理。

5.根据权利要求4所述的主备服务器的数据同步方法，其特征在于，该方法还包括备服务器判断是否存在本地数据缓存文件，若存在，则将缓存文件存放到备服务器的临时数据表中，主服务器检索备服务器的临时数据表，将其中的数据同步到的主服务器的本地历史数据表，并将备服务器的临时数据表中已同步的数据清除。

6.根据权利要求1-3中任一项所述的主备服务器的数据同步方法，其特征在于，当主、备服务器之间通信断开时，主、备服务器以双主模式运行，主、备服务器各自更新本地历史数据表和临时数据表，并在通信恢复时进行相互同步。

7.根据权利要求1所述的主备服务器的数据同步方法，其特征在于，主服务器将接收到的数据加入事件处理队列之前，先将接收到的数据进行结构化处理。

8.根据权利要求1所述的主备服务器的数据同步方法，其特征在于，所述主、备服务器中设置的历史数据表和临时数据表采用的数据库技术为MYSQL、SQL Server或PG。

9.一种主备服务器系统，包括主服务器和备服务器，其特征在于，所述的主服务器和备服务器中均设置有历史数据表和临时数据表，并执行有如权利要求1-8中任一项所述的数据同步方法。

Images