CN110727733B - 一种主备服务器系统及数据同步方法 - Google Patents
一种主备服务器系统及数据同步方法 Download PDFInfo
- Publication number
- CN110727733B CN110727733B CN201910912400.2A CN201910912400A CN110727733B CN 110727733 B CN110727733 B CN 110727733B CN 201910912400 A CN201910912400 A CN 201910912400A CN 110727733 B CN110727733 B CN 110727733B
- Authority
- CN
- China
- Prior art keywords
- server
- data
- data table
- local
- primary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Hardware Redundancy (AREA)
Abstract
本发明涉及一种主备服务器系统及数据同步方法,属于计算机软件技术领域。本发明通过在主、备服务器中增加临时数据表,主服务器历史存储服务将所存历史数据存入本地相应历史数据表,同时将数据写入本地临时数据表,监控备服务器周期检索主服务器临时数据表,将数据同步到本地历史数据表,完成主、备服务器间的历史数据同步。通过上述过程,本发明能够有效解决网络异常、主备切换时二者数据不一致的问题,提高了主备服务器数据存储的可靠性,保证了主备服务器的正常运行。
Description
技术领域
本发明涉及一种主备服务器系统及数据同步方法,属于计算机软件技术领域。
背景技术
110kV及以上电压等级变电站监控系统服务器采用双重化配置,以一主一备的方式运行,主服务器进行数据计算、存储、产生告警事件,备服务器以热备用的方式运行,仅进行数据采集,不进行业务处理。当主服务器发生异常时,备服务器发生主备切换,升级为主服务器进行业务数据处理,即通过双重化冗余配置来提高监控系统功能的可靠性。双重化配置运行时,仅主服务器存储历史数据,备服务器采用数据同步机制保证历史数据的一致性。实际运行过程中,当主、备服务器发生异常或产生主备切换事件时,由于数据同步机制不完善,极易发生信号丢失事件,主、备服务器历史数据不一致,历史数据可靠性降低,从而影响变电站监控系统的安全稳定运行。因此,需要对主备服务器进行数据同步,申请公布号为CN104239476A的中国专利申请文件公开了一种数据库同步的方法、装置及系统,该方案设置有一个独立于主数据库和备数据库的同步装置,通过同步装置的同步请求,主数据库根据同步请求将数据库的同步日志发送给同步装置,由同步装置解析并捕获主数据库的数据变化信息,同步装置将捕获的数据变化信息传送给备数据库,以实现主备数据的同步。上述方案虽然能够实现主备的数据同步,但是需要额外的同步装置,且同步过程中需要判别数据是否发生变化,导致同步过程复杂。
发明内容
本发明的目的是提供一种主备服务器系统及数据同步方法,以解决目前主备服务器数据同步过程中需要增加额外同步装置,且同步过程复杂。
本发明为解决上述技术问题而提供一种主备服务器的数据同步方法,该数据同步方法包括以下步骤:
1)主服务器将接收到的数据加入事件处理队列,并将队列中的数据写入到主服务器的历史数据表和临时数据表中;
2)备服务器检索主服务器的临时数据表,将其中的数据同步到的备服务器的历史数据表,并将主服务器的临时数据表中已同步的数据清除;
3)备服务器检查是否存在未处理的事件处理队列,若存在,则将该事件处理队列中数据写入到备服务器的历史数据表和临时数据表中,备服务器的临时数据表供主服务器检索和更新,主服务器将备服务器的临时数据表中已同步的数据清除。
本发明通过在主、备服务器中增加临时数据表,主服务器历史存储服务将所存历史数据存入本地相应历史数据表,同时将数据写入本地临时数据表,监控备服务器周期检索主服务器临时数据表,将数据同步到本地历史数据表,完成主、备服务器间的历史数据同步。通过上述过程,本发明能够有效解决网络异常、主备切换时二者数据不一致的问题,提高了主备服务器数据存储的可靠性,保证了主备服务器的正常运行。
进一步地,为了保证数据能够可靠写入临时数据表,主服务器在将数据写入到主服务器临时数据表之前,需判断主服务器的临时数据表中的记录数否达到上限,若达到,则需将该临时数据表中的数据转存为本地数据缓存文件,并清空该临时数据表,再将新的数据写入该临时数据表。
进一步地,为了及时将本地数据缓存文件及时同步到备服务器上,当主服务器在检查到存在本地数据缓存文件时,主服务器判断备服务器数据库服务是否可用,若可用,且主服务器临时数据表为空,则将本地数据缓存文件存入主服务器临时数据表,供备服务器检索、同步。
进一步地,当主、备服务器发生切换时,切换后的主服务器启动数据接收,并按照步骤1)进行处理。
进一步地,为了保证主备切换后,原主服务器中未被同步到原备服务器的本地数据缓存能够及时得到同步更新,该方法还包括备服务器判断是否存在本地数据缓存文件,若存在,则将缓存文件存放到备服务器的临时数据表中,主服务器检索备服务器的临时数据表,将其中的数据同步到的主服务器的本地历史数据表,并将备服务器的临时数据表中已同步的数据清除。
进一步地,当主、备服务器之间通信断开时,主、备服务器以双主模式运行,主、备服务器各自更新本地历史数据表和临时数据表,并在通信恢复时进行相互同步。
进一步地,主服务器将接收到的数据加入事件处理队列之前,先将接收到的数据进行结构化处理。
进一步地,所述主、备服务器中设置的历史数据表和临时数据表采用的数据库技术为MYSQL、SQL Server或PG。
本发明还提供了一种主备服务器系统,包括主服务器和备服务器,所述的主服务器和备服务器中均设置有历史数据表和临时数据表,并执行有上述数据同步方法。
本发明通过在主、备服务器中增加临时数据表,主服务器历史存储服务将所存历史数据存入本地历史数据表,同时将数据写入本地临时数据表,监控备服务器周期检索主服务器临时数据表,将数据同步到本地历史数据表,完成主、备服务器间的历史数据同步。通过上述过程,本发明能够有效解决网络异常、主备切换时二者数据不一致的问题,提高了主备服务器数据存储的可靠性,保证了主备服务器的正常运行。
附图说明
图1是本发明实施例中主、备服务器间的数据同步示意图;
图2是本发明实施例中主服务器数据预处理流程图;
图3是本发明实施例中主服务器数据处理流程图;
图4是本发明实施例中主服务器数据转存文件处理流程图;
图5是本发明实施例中主服务器临时数据表处理流程图;
图6是本发明实施例中备服务器数据处理流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步地说明。
数据同步方法实施例
本发明针对主、备服务器间的数据同步提出了一种主备服务器数据同步方法,该方法可以适用于变电站主、备监控服务器间的数据同步,也可以适用于其他主、备服务器之间的数据同步。下面以变电站主、备监控服务器为例对本发明数据同步方法进行详细说明。
如图1所示,监控系统主服务器和监控系统备服务器在创建历史数据库时,除了历史数据表外,均额外创建一张临时数据表,作为历史数据同步的介质。监控系统主服务器将监控系统的告警事件、遥测采样、电度量、操作事件等各类系统运行过程中产生的历史数据存入本地历史数据库表中,同时将所存数据写入本地临时数据表。监控系统备服务器以热备用方式运行,不进行业务数据处理,监控备服务器的历史存储服务不进行业务数据存储,通过周期检索,更新主服务器临时数据表记录的方式实现备服务器的历史数据存储,即通过数据同步来保证两台服务器的历史数据一致性。具体的数据同步过程如下。
1.在监控系统主、备服务器中创建历史数据库,历史数据库中均设置有对应的历史数据表和临时数据表tmpsqltable,临时数据表作为双套服务器历史数据同步的介质,临时数据表的存储结构如表1所示。
表1
序号 | 字段名称 | 数据类型 | 说明 |
1 | ID | int | 记录索引号 |
2 | SQLSTR | varchar | SQL语句 |
3 | DATETIME | double | 时间 |
2.监控主服务器的处理流程如下。
1)监控主服务器历史存储服务将事件告警、遥测采样、操作控制等系统运行信息进行预处理,将各类运行信息组织为结构化数据后加入历史存储服务数据处理队列,如图2所示。
2)监控主服务器周期性地从数据队列中批量取出数据,并存入本地历史数据库,由于监控主服务器接收到的数据类型多样,为方便后期管理,在存储时根据数据类型的不同存储不同的历史数据表中,完成本地历史数据存储。同时将取出的数据存入本地临时数据表中,一般临时数据表的大小都有限制,本地临时数据表的大小根据需要设定,为保证取出的数据能够顺利的存入临时数据表中,在存之前需要对临时数据表tmpsqltable中存储情况进行判断,判断临时数据表中记录数是否超过预设限值(预设限值默认为1万,可配置修改),如不超过,则将上述历史数据组织为SQL语句,写入临时数据表tmpsqltable表,供备服务器同步使用,若超过,则认为备服务器此时数据处理能力不足或处于异常状态,为防止因临时数据表tmpsqltable表条目数过多而导致备服务器处理时产生系统瓶颈,如长时间高频占用磁盘导致操作系统卡顿等,此时将tmpsqltalbe表中记录转存为本地数据文件,并清空tmpsqltable表,再将新的历史数据写入tmpsqltalbe表,如图3所示。
3)主服务器周期检查备服务器数据库服务是否可用,如备服务器数据库服务可用,则检查是否存在本地数据缓存文件,如果有本地数据缓存文件,则检测此时本地临时数据表是否为空,当为空时,将一个本地数据缓存文件更新到临时数据表中,供备服务器同步。
4)主服务器周期检索备服务器临时数据表中是否有数据,如有数据则说明有数据需同步,则将备服务器临时数据表中的数据更新到本地历史数据表中,并删除备服务器临时数据表中已更新的数据。
3.备服务器的工作过程。
1)备服务器周期检索主服务器临时数据表中是否有数据,如果有数据,则将其中的数据更新到备服务器本地历史数据表中,并删除主服务器临时数据表中已更新的数据,从而完成主、备服务器的历史数据同步,如图6所示。
2)由于备服务器可能是之前的主服务器切换而来,备服务器(原主服务器)中可能存在有未存入本地历史数据表和临时数据表中的数据处理队列,因此备服务器需要周期检索数据处理队列,判断是否存在未处理数据,如存在则进行写操作,即将队列中的数据写入本地历史数据表和临时数据表中,过程如图3所示。
同时备服务器(原主服务器)中可能存在有本地数据缓存文件,因此备服务器需要检索本地数据缓存文件,若有,且备服务器的临时数据表为空,则将本地数据缓存文件存入备服务器临时数据表中,供主服务器进行同步使用。
当主、备服务器发生主备角色切换时,新的主服务器按照步骤3的工作流程进行处理,新的备服务器则按照步骤3的流程进行处理,新的备服务器数据队列中为完成的数据时,继续按照图4所示的流程处理。
当主、备服务器之间发生网络断开时,此时以主、备服务器以双主模式运行,各自更信息本地历史数据表和临时数据表,并在网络恢复后,按照图5、图6所示的流程进行互相同步,以保证两台服务器数据的一致性。
主备服务器系统的实施例
本发明的主备服务器系统包括主服务器和备服务器,主服务器和备服务器中均设置有历史数据表和临时数据表,主服务器和备服务器基于临时数据表实现数据同步,同步过程已在数据同步方法的实施例中进行了详细说明,这里不再赘述。
Claims (9)
1.一种主备服务器的数据同步方法,其特征在于,主、备服务器中均设置有本地历史数据表和本地临时数据表,该数据同步方法包括以下步骤:
1)主服务器将接收到的数据加入事件处理队列,并将队列中的数据写入到主服务器的本地历史数据表和本地临时数据表中;
2)备服务器检索主服务器的本地临时数据表,将其中的数据同步到备服务器的本地历史数据表,并将主服务器的本地临时数据表中已同步的数据清除;
3)备服务器检查是否存在未处理的事件处理队列,若存在,则将该事件处理队列中数据写入到备服务器的本地历史数据表和本地临时数据表中,备服务器的本地临时数据表供主服务器检索和更新,主服务器将备服务器的本地临时数据表中已同步的数据清除;
当主、备服务器发生切换时,切换后的新的备服务器按照步骤3)进行处理。
2.根据权利要求1所述的主备服务器的数据同步方法,其特征在于,主服务器在将数据写入到主服务器本地临时数据表之前,需判断主服务器的本地临时数据表中的记录数是否达到上限,若达到,则需将该本地临时数据表中的数据转存为本地数据缓存文件,并清空该本地临时数据表,再将新的数据写入该本地临时数据表。
3.根据权利要求2所述的主备服务器的数据同步方法,其特征在于,当主服务器在检查到存在本地数据缓存文件时,主服务器判断备服务器数据库服务是否可用,若可用,且主服务器本地临时数据表为空,则将本地数据缓存文件存入主服务器本地临时数据表,供备服务器检索、同步。
4.根据权利要求1-3中任一项所述的主备服务器的数据同步方法,其特征在于,当主、备服务器发生切换时,切换后的主服务器启动数据接收,并按照步骤1)进行处理。
5.根据权利要求4所述的主备服务器的数据同步方法,其特征在于,该方法还包括备服务器判断是否存在本地数据缓存文件,若存在,则将缓存文件存放到备服务器的本地临时数据表中,主服务器检索备服务器的本地临时数据表,将其中的数据同步到主服务器的本地历史数据表,并将备服务器的本地临时数据表中已同步的数据清除。
6.根据权利要求1-3中任一项所述的主备服务器的数据同步方法,其特征在于,当主、备服务器之间通信断开时,主、备服务器以双主模式运行,主、备服务器各自更新本地历史数据表和本地临时数据表,并在通信恢复时进行相互同步。
7.根据权利要求1所述的主备服务器的数据同步方法,其特征在于,主服务器将接收到的数据加入事件处理队列之前,先将接收到的数据进行结构化处理。
8. 根据权利要求1所述的主备服务器的数据同步方法,其特征在于,所述主、备服务器中设置的本地历史数据表和本地临时数据表采用的数据库技术为MYSQL、SQL Server或PG。
9.一种主备服务器系统,包括主服务器和备服务器,其特征在于,所述的主服务器和备服务器中均设置有本地历史数据表和本地临时数据表,并执行有如权利要求1-8中任一项所述的数据同步方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910912400.2A CN110727733B (zh) | 2019-09-25 | 2019-09-25 | 一种主备服务器系统及数据同步方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910912400.2A CN110727733B (zh) | 2019-09-25 | 2019-09-25 | 一种主备服务器系统及数据同步方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110727733A CN110727733A (zh) | 2020-01-24 |
CN110727733B true CN110727733B (zh) | 2023-07-14 |
Family
ID=69219447
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910912400.2A Active CN110727733B (zh) | 2019-09-25 | 2019-09-25 | 一种主备服务器系统及数据同步方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110727733B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111897880B (zh) * | 2020-09-30 | 2020-12-29 | 腾讯科技(深圳)有限公司 | 数据库同步方法、装置、终端设备以及存储介质 |
CN112132304A (zh) * | 2020-10-28 | 2020-12-25 | 上海八彦图信息科技有限公司 | 用于会议签到的信息处理方法及装置 |
CN112783972A (zh) * | 2020-12-31 | 2021-05-11 | 武汉工程大学 | 图像特征值数据的同步方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103618788A (zh) * | 2013-11-26 | 2014-03-05 | 曙光信息产业股份有限公司 | 一种支持b/s结构系统高可用的方法 |
CN109547532A (zh) * | 2018-10-25 | 2019-03-29 | 交控科技股份有限公司 | 一种多服务器冗余系统中各服务器间的数据同步方法 |
CN110149382A (zh) * | 2019-05-08 | 2019-08-20 | 拉扎斯网络科技(上海)有限公司 | 数据同步的方法、系统、主服务器、同步客户端及介质 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4699091B2 (ja) * | 2005-05-31 | 2011-06-08 | 株式会社日立製作所 | ディザスタリカバリ方法およびシステム |
CN100390747C (zh) * | 2006-02-20 | 2008-05-28 | 南京联创科技股份有限公司 | 全程化实时系统中基于内存数据库的软双机备份方法 |
US8332353B2 (en) * | 2007-01-31 | 2012-12-11 | International Business Machines Corporation | Synchronization of dissimilar databases |
CN100449548C (zh) * | 2007-04-11 | 2009-01-07 | 华为技术有限公司 | 数据库同步方法及系统 |
CN101706795B (zh) * | 2009-11-30 | 2012-05-09 | 上海世范软件技术有限公司 | 主备服务器上数据库数据同步方法 |
CN103684839B (zh) * | 2012-09-26 | 2018-05-18 | 中国移动通信集团四川有限公司 | 一种用于双机热备的数据传输方法、系统及服务器 |
CN103744901B (zh) * | 2013-12-25 | 2017-07-25 | 长园深瑞继保自动化有限公司 | 智能变电站双机同步存储历史数据的系统和装置 |
CN103761166A (zh) * | 2014-01-22 | 2014-04-30 | 上海交通大学 | 一种虚拟化环境下针对网络服务的双机热备份容灾系统及其方法 |
CN107819605A (zh) * | 2016-09-14 | 2018-03-20 | 北京百度网讯科技有限公司 | 用于在服务器集群中切换服务器的方法和装置 |
CN110032478B (zh) * | 2018-01-11 | 2022-05-13 | 中兴通讯股份有限公司 | 一种主备中心数据实时同步方法、装置、系统及存储介质 |
-
2019
- 2019-09-25 CN CN201910912400.2A patent/CN110727733B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103618788A (zh) * | 2013-11-26 | 2014-03-05 | 曙光信息产业股份有限公司 | 一种支持b/s结构系统高可用的方法 |
CN109547532A (zh) * | 2018-10-25 | 2019-03-29 | 交控科技股份有限公司 | 一种多服务器冗余系统中各服务器间的数据同步方法 |
CN110149382A (zh) * | 2019-05-08 | 2019-08-20 | 拉扎斯网络科技(上海)有限公司 | 数据同步的方法、系统、主服务器、同步客户端及介质 |
Non-Patent Citations (2)
Title |
---|
.一个服务级双机热备系统设计;郭丽等;硅谷;全文 * |
Research and Implementation of Dual-Server Hot-Standby of Configuration Software;Chongquan Zhong et al;2006 6th World Congress on Intelligent Control and Automation;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110727733A (zh) | 2020-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110727733B (zh) | 一种主备服务器系统及数据同步方法 | |
CN108287835B (zh) | 一种数据清理方法及装置 | |
US6934877B2 (en) | Data backup/recovery system | |
CN107885758B (zh) | 一种虚拟节点的数据迁移方法和虚拟节点 | |
CN101334797B (zh) | 一种分布式文件系统及其数据块一致性管理的方法 | |
CN101809558B (zh) | 远程异步数据复制系统和方法 | |
US5832518A (en) | Log file optimization in a client/server computering system | |
CN102891849B (zh) | 业务数据同步方法、恢复方法及装置和网络设备 | |
US9588703B1 (en) | Method and apparatus for replicating the punch command | |
US6941327B2 (en) | Apparatus and method for database synchronization in a duplex system | |
US7428657B2 (en) | Method for rolling back from snapshot with log | |
US7882286B1 (en) | Synchronizing volumes for replication | |
US7797358B1 (en) | Methods and apparatus for continuous data protection system having journal compression | |
US6301643B1 (en) | Multi-environment data consistency | |
CN104077380B (zh) | 一种重复数据删除方法、装置及系统 | |
US20120173919A1 (en) | System and method for creating and maintaining secondary server sites | |
CN101094154B (zh) | 一种多主控模式的数据备份异地保护系统以及保护方法 | |
CN103116661A (zh) | 一种数据库的数据处理方法 | |
JP2004334574A (ja) | ストレージの運用管理プログラム、運用管理方法及び管理計算機 | |
CN111078667B (zh) | 一种数据迁移的方法以及相关装置 | |
CN103377100B (zh) | 一种数据备份方法、网络节点及系统 | |
CN102402600A (zh) | 一种维护数据库复本一致性的异步归集方法 | |
EP1209569A1 (en) | Data backup/recovery system | |
CN104516795A (zh) | 一种数据存取方法及系统 | |
CN103544081B (zh) | 双元数据服务器的管理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |