CN108897641B - 一种数据库主备环境下的日志分析服务实时同步系统 - Google Patents

一种数据库主备环境下的日志分析服务实时同步系统 Download PDF

Info

Publication number
CN108897641B
CN108897641B CN201810645833.1A CN201810645833A CN108897641B CN 108897641 B CN108897641 B CN 108897641B CN 201810645833 A CN201810645833 A CN 201810645833A CN 108897641 B CN108897641 B CN 108897641B
Authority
CN
China
Prior art keywords
database
log analysis
analysis service
host
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810645833.1A
Other languages
English (en)
Other versions
CN108897641A (zh
Inventor
付铨
孙峰
陈艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Dream Database Co ltd
Original Assignee
Wuhan Dameng Database Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Dameng Database Co Ltd filed Critical Wuhan Dameng Database Co Ltd
Priority to CN201810645833.1A priority Critical patent/CN108897641B/zh
Publication of CN108897641A publication Critical patent/CN108897641A/zh
Application granted granted Critical
Publication of CN108897641B publication Critical patent/CN108897641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1466Management of the backup or restore process to make the backup process non-disruptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明公开了一种数据库主备环境下的日志分析服务实时同步系统,包括:源端数据库主机和备机分别作为数据库实时同步系统中的数据库源端,源端日志分析服务主机和备机分别作为日志分析服务的主机和备机,目的端数据库实时同步管理服务用于根据源端数据库主机、源端数据库备机、源端日志分析服务主机和源端日志分析服务备机的故障状态和当前日志分析服务优先级确定当前日志服务主机,所述目的端数据库用于从当前日志服务主机中进行数据映射及事务的目的端数据库执行。本发明能在数据库主备机发生单一故障、或数据库实时同步系统日志分析服务发生单一故障后,数据库实时同步系统仍能够提供不间断的数据实时同步服务,无需重新搭建或重启。

Description

一种数据库主备环境下的日志分析服务实时同步系统
技术领域
本发明属于数据库同步技术领域,更具体地,涉及一种数据库主备环境下的日志分析服务实时同步系统。
背景技术
随着“互联网+”及“大数据”的广泛应用,作为其载体的信息系统已不仅仅是企业运作的关键,它在人们的工作生活、社会秩序、国家安全等各个方面都起着不容忽视的作用。现代的信息系统已渗透到人们生活工作的各个领域,多样化的需求导致了信息系统中的数据量增加快速且种类繁多,如何安全有效的管理数据给it企业提供了新的挑战。
数据的存储与管理作为信息系统的一大基础,其安全性及分布的灵活性可以通过数据同步来实现。目前主要的数据库同步方式分为数据库主备系统和基于日志分析的数据库实时同步系统,两种方式各有其优缺点。
数据库主备系统和数据库实时同步系统中主要涉及到的数据库日志分为在线日志和归档日志:
1.Online Redo Log:联机在线重做日志,简称在线日志。指在数据库中添加、删除、修改对象,或者改变数据,数据库管理系统都会按照特定的格式,将这些操作执行的结果写入到当前的在线日志文件中。由于在线日志容量有限,数据库管理系统会根据设置的容量大小清空一部分在线日志。
2.Archived Redo Log:归档重做日志,简称归档日志。数据库可以在归档模式和非归档模式下运行。只有当数据库处于归档模式下,才将在线日志文件中的内容保存到硬盘中,形成归档日志文件。归档日志延长了重做日志的保存时间,有利于一定时间内的数据恢复。
主备数据库为了保护主备数据库之间的数据一致性,主数据库上的事务在提交之前必须确认重做日志已经传递到备数据库上。备数据库收到重做日志后将此任务加入日志重演任务系统,马上反馈消息给主数据库;当主数据库收到备数据库的反馈消息时,才开始提交事务,事务提交成功后再写入在线日志。
基于日志分析的数据实时同步系统通过解析源数据库在线日志或归档日志获得数据的增删改变化,再将这些变化转换为特定的数据格式存放在本地队列或远端队列中,最后推送到目的端数据库执行,从而实现了源数据库到目的端数据库的秒级同步。通过秒级数据实时同步,可以有效避免传统备份系统导致的无法完全满足企业对于信息系统不中断服务的问题;通过变化日志捕捉可以有效降低传统ETL工具因创建触发器、影子表等对业务系统带来的性能影响;通过可读写的备机数据库系统可以解决传统备机系统仅作为后备而无法对外提供数据服务的问题。
数据库主备稳定性高、支持所有对象、配置维护简单,但主机与备机的数据库不可异构、只能支持一对一或一对多的单一拓扑结构。基于日志分析的数据库实时同步系统则配置更加灵活,同步的最小粒度可达到列,并且支持数据的过滤、清洗、转换;支持跨平台的数据库同步,可以是不同版本或异构的数据库管理系统;支持多种分布方式,可实现一对一、一对多、多对一、双向复制等多种拓扑结构。但是,数据库实时同步系统也有它的劣势,其稳定性及配置维护的简易性不如数据库主备系统。为了有效的利用数据库主备和数据实时同步系统,可以将两种方案应用在一起,即将主备数据库系统作为源,搭建数据实时同步系统。
由于主机将重做日志发送给备机后才进行事务提交,所以备机的日志更新可能快于主机;一般的主备系统中,备机不承担业务,或者仅承担只读业务,及只提供查询功能,所以主机的压力远远大于备机。基于以上两个因素,目前数据库实时同步系统与主备数据库的组合一般采用如图1所示的方案,即主备数据库中的备机作为源。
以上方案虽然实现了主备数据库,同时也实现了数据库的实时同步,但是当备机故障时,数据库实时同步系统则无法正常工作;但,此时的主机仍在正常对外提供服务,而数据库实时同步系统的源数据库损坏,目的端数据库由于无法保障与主机数据库的一致性,所以不得不中断服务。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种数据库主备环境下日志分析服务主备自动切换的实现方法,在源为主备数据库的数据库实时同步系统中,源端数据库备机故障后导致日志分析服务主机无法继续读取日志时,数据库实时同步系统将源自动切换到主机数据库,获取主机数据库中正确的日志,从而提供不间断的数据库实时同步服务,确保了数据库实时同步系统的稳定性。
为实现上述目的,本发明提供了一种数据库主备环境下的日志分析服务实时同步系统,包括:
源端数据库主机和源端数据库备机、源端日志分析服务主机和源端日志分析服务备机、目的端数据库实时同步管理服务以及目的端数据库,其中:源端数据库主机和源端数据库备机分别作为数据库实时同步系统中的数据库源端,源端日志分析服务主机和源端日志分析服务备机分别作为日志分析服务的主机和备机,目的端数据库实时同步管理服务用于根据源端数据库主机、源端数据库备机、源端日志分析服务主机和源端日志分析服务备机的故障状态和当前日志分析服务优先级确定当前日志分析服务主机,所述目的端数据库实时同步管理服务用于接收当前日志分析服务主机捕获到的数据并进行映射及事务的目的端数据库执行,所述源端数据库主机和源端数据库备机中各保存有一部离线字典副本,所述源端日志分析服务主机或源端日志分析服务备机中的字典信息与对应的源端数据库主机或源端数据库备机中的字典信息保持一致。
本发明的一个实施例中,在系统初始状态下:
优先选择源端数据库备机对应的日志分析服务作为主机,即源端日志分析服务主机对应源端数据库备机,源端日志分析服务备机对应源端数据库主机,设源端数据库主机和源端数据库备机的日志分析服务优先级分别为p1、p2,当数据库发生故障时日志分析服务优先级为p0,则目的端数据库实时同步管理服务按如下优先级顺序选择当前日志服务主机:p2>p1>p0
本发明的一个实施例中,当实时同步系统从初始状态开始运行时:
源端数据库主机对应日志分析服务向目的端数据库提出注册申请的时候,源端数据库备机对应日志分析服务也向目的端数据库实时同步管理服务提出注册申请,此时数据库为主机的源端日志分析服务获取本机数据库状态为主机,优先级置为p1;数据库为备机的源端日志分析服务获取本机数据库状态为备机,优先级置为p2;由于p2>p1,目的端数据库实时同步管理服务选择数据库为备机的源端日志分析服务作为日志分析服务主机,返回拒绝响应消息给数据库为主机的源端日志分析服务,即将数据库为主机的源端日志分析服务设置为日志分析服务备机。
本发明的一个实施例中,当源端数据库主机对应日志分析服务为备机,源端数据库备机对应日志分析为主机且正常运行时,源端数据库备机发生故障,此时源端日志分析服务主机获取其对应源端数据库备机状态为故障,将其优先级置为p0;源端日志分析服务备机获取其对应的源端数据库主机状态为主机或非备机,将其优先级置为p1;由于p1>p0,目的端数据库实时同步管理服务选择源端数据库主机对应日志分析服务为日志分析服务的主机,返回拒绝响应消息给源端数据库备机对应的日志分析服务,即源端数据库备机对应日志分析服务切换为日志分析服务备机。
本发明的一个实施例中,当源端数据库主机对应日志分析服务为日志分析服务备机,源端数据库备机对应日志分析服务为日志分析服务主机且正常运行时,源端日志分析服务主机发生故障,此时源端日志分析服务主机因故障无法连接或无法继续发送数据,目的端数据库实时同步管理服务关闭与源端数据库备机对应日志分析服务的连接;源端日志分析服务备机循环给目的端数据库实时同步管理服务发出注册申请,当目的端数据库对应实时同步管理服务中注册信息为空时,接受源端数据库主机对应日志分析服务备机的注册申请,即源端日志分析服务备机切换为日志分析服务主机。
本发明的一个实施例中,当源端数据库主机对应日志分析服务为备机,源端数据库备机对应日志分析服务为主机且正常运行时,源端日志分析服务备机发生故障,此时源端日志分析服务备机不再向目的端数据库发送注册申请,源端日志分析服务备机恢复后优先级不变,对目的端数据库实时同步管理服务与源端数据库备机对应日志分析服务的连接无影响。
本发明的一个实施例中,当源端数据库主机对应日志分析服务为备机,源端数据库备机对应日志分析服务为主机且正常运行时,源端数据库主机发生故障,此时源端数据库备机变为源端数据库主机,导致源端日志分析服务主机优先级由原先的p2变为p1;源端数据库主机故障,源端日志分析服务备机优先级由原来的p1变为p0;源端数据库备机对应日志分析服务仍为日志分析服务主机,不发生日志分析服务的故障切换。
本发明的一个实施例中,当源端数据库主机对应日志分析服务为备机,源端数据库备机对应日志分析服务为主机且正常运行时,源端数据库主机与源端数据库备机对应的日志分析服务都故障,此时无法进行数据同步。
本发明的一个实施例中,所述实时同步系统的日志服务切换需遵循以下原则:
规则1:日志分析服务主备切换只能由目的端决定,源端的日志分析服务主备机只能向目的端发送注册申请;
规则2:日志分析服务主备机的初始状态均处于备机状态,只有在目的端指示下才能进入主机状态;
规则3:在源端日志分析服务已进入一主一备的状态下,在进行日志分析服务主备切换时,目的端必须先指示日志分析服务主机进入备机状态,并且确定已经成功之后,才能指示另一个日志分析服务进入主机状态;目的端指示主机状态,采用三次握手协议:目的端先向需要转换为主机的源端发送转换主机的预备命令,源端返回一个响应消息表示已经做好准备,此时目的端进行设置相应的操作,然后再次向源端发送正式命令,如果源端没有收到正式命令,不切换主机状态;
规则4:数据库状态由源端向目的端报告。
本发明的一个实施例中,所述实时同步系统运行的前置条件是:
(1)源端数据库和目的端数据库正常启动并运行,针对源端数据库主备机、目的端数据库部署数据实时同步系统,源端数据库主备机分别做源;源端数据库主机、源端数据库备机、目的端数据库上分别启动数据库实时同步系统管理服务,另外在目的端上启动日志执行服务,用于进行数据映射及事务的目的端数据库执行;
(2)在源端数据库主机,初始化日志开始分析的日志起始位置,完成离线字典、初始数据库数据的转载;同时离线字典被装入本机数据库系统,并同步至其对应的源端数据库备机;
(3)启动源端数据库主机、源端数据库备机日志分析服务,两个日志分析服务获取各自对应数据库状态后,分别向目的端数据库实时同步管理服务发出注册申请,目的端数据库根据优先级确定日志分析服务主、备机;
(4)日志分析服务主备机一经确定后,日志分析服务主机进行日志的抽取、分析以及发送工作,日志每隔一段时间就向目的端发出注册申请,当日志分析服务优先级变化或者日志分析服务故障时,目的端数据库实时同步管理服务则进行日志分析服务切换。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,具有如下有益效果:本发明针对数据库主备切换后,数据库实时同步系统无法适应这种情况,导致的需要重新搭建问题,提供了数据库实时同步系统支持源为主备数据库的方案,能做到数据库主备机发生单一故障、或数据库实时同步系统日志分析服务发生单一故障后,数据库实时同步系统仍能够提供不间断的数据实时同步服务,无需重新搭建或重启;日志分析服务准备切换性能主要体现为切换时间,而其切换时间主要依赖于主备数据库的切换时间,不会给整个系统带来额外的资源消耗。由此可见,该方法能够充分保障数据库实时同步系统的业务连续性。
附图说明
图1是本发明实施例中传统主备数据库+数据库实时同步的系统结构示意图;
图2是本发明实施例中日志分析服务主备切换情况分类示意图;
图3是本发明实施例中目的端数据库指示日志服务主机状态示意图;
图4是本发明实施例中日志分析服务主备机结构示意图;
图5是3是本发明实施例中数据库主备环境下日志分析服务主备的部署结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明所要解决的技术问题是源为主备数据库的数据库实时同步系统中,源端数据库备机故障时目的端数据库必须重新搭建并启动数据库实时同步系统。为了克服此缺陷,提供一种数据库主备环境下日志分析服务主备自动切换的实现方法,在源为主备数据库的数据库实时同步系统中,源端数据库备机故障后导致日志分析服务主机无法继续读取日志时,数据库实时同步系统将源自动切换到主机数据库,获取主机数据库中正确的日志,从而提供不间断的数据库实时同步服务,确保了数据库实时同步系统的稳定性。
本发明提供了一种数据库主备环境下的日志分析服务实时同步系统,包括:源端数据库主机和源端数据库备机、源端日志分析服务主机和源端日志分析服务备机、目的端数据库实时同步管理服务以及目的端数据库,其中:
源端数据库主机和源端数据库备机分别作为数据库实时同步系统中的数据库源端,源端日志分析服务主机和源端日志分析服务备机分别作为日志分析服务的主机和备机,目的端数据库实时同步管理服务用于根据源端数据库主机、源端数据库备机、源端日志分析服务主机和源端日志分析服务备机的故障状态和当前日志分析服务优先级确定当前日志分析服务主机,所述目的端数据库实时同步管理服务用于接收当前日志分析服务主机捕获到的数据并进行映射及事务的目的端数据库执行,所述源端数据库主机和源端数据库备机中各保存有一部离线字典副本,所述源端日志分析服务主机或源端日志分析服务备机中的字典信息与对应的源端数据库主机或源端数据库备机中的字典信息保持一致。
按照本发明提供的主备环境下日志分析服务方法,在主备数据库进行多次计划/故障切换或备机故障后,数据库实时同步系统正常运行,日志分析主备机自动切换,无需中断服务。该方法包括:
(1)数据库主备系统中的源端数据库主机、源端数据库备机分别作为数据库实时同步系统中的源端,一个作为数据库实时同步系统的日志分析服务主机,另一个则作为日志分析服务备机。
日志分析服务主备中的主机、备机不同于数据库主备系统中的主、备机,日志分析服务中的主备机对应于数据库实时同步系统中的日志分析功能。目的端实时同步数据库数据的源端,即为日志分析服务主机。
(2)数据库实时同步系统的字典信息分别在数据库主备机各存一份,保障日志分析服务所需离线字典的一致性。
离线字典是数据库实时同步系统进行日志分析的基础,也是实现离线分析的基础,当一个表的离线字典不存在时,源数据库中该表的所有操作都会被过滤掉。本发明依靠数据库的主备机来保证字典信息的可靠性,字典信息分别以副本的形式保存在主备机的数据库中,以及数据库实时同步系统所在机器的本地文件中。如果本地文件的大小比数据库存放的字典信息大小要大,以本地为准;否则从数据库中下载字典信息,覆盖本地文件。
(3)源端日志分析服务主备机同时向目的端发送连接请求,由目的端数据库实时同步系统管理服务决定由谁作为日志分析服务主机。
源端的日志分析主备机向目的端数据库实时同步管理服务提出注册请求,注册成功后才允许连接到目的端。日志分析服务的主备机只允许一个日志分析服务连接目的端,源端日志分析服务主机连接上目的端,会将源端日志分析服务备机的连接断掉。
数据库主备机在一般情况下,备机较主机更为空闲,且备机的日志较主机更早写入联机日志或是归档日志中。基于以上因素,目的端在选择源端的日志分析服务时,应该优先选择源端数据库备机对应的日志分析服务,作为主机。在此,本发明给出日志分析服务优先级的概念,假设数据库主、备机的优先级分别为p1、p2,当数据库故障时优先级为p0,则目的端在选择日志分析服务时有如下顺序:p2>p1>p0
注:为了提高不同数据库之间的兼容性,在数据库正常运行时,查询数据库运行主备状态,如果不是备机状态,其日志分析服务的优先级也可设置为p1
如图2所示,日志分析服务的主备切换适需适应如下几种情况:
假设源端日志分析主备机分别为A,B,目的端为C。在不进行特别申明的情况下,以下主机指数据库实时同步系统中日志分析服务的主机,备机则指数据库实时同步系统中日志分析服务的备机。
情况1:A向C注册的时候,B也向C注册。源端数据库主机对应的日志分析服务向目的端数据库实时同步管理服务发出注册请求,源端数据库备机对应的日志分析服务也向目的端发出注册请求。此时A日志分析服务获取A数据库状态为主机,优先级置为p1;B日志分析服务获取B数据库状态为备机,优先级置为p2;由于p2>p1,C选择B作为日志分析服务主机,返回拒绝响应消息给A,即A为备机。
情况2:A作为日志分析服务备机,B作为日志分析主机正常运行时,B对应的源端数据库备机故障。此时B日志分析服务获取其对应数据库状态为故障,优先级置为p0;A日志分析服务获取A数据库状态为主机或非备机,优先级置为p1;由于p1>p0,C选择A作为日志分析服务主机,返回拒绝响应消息给B,即B为备机。
情况3:A作为日志分析服务备机,B作为日志分析主机正常运行时,B对应的日志分析服务主机故障。此时B日志分析服务故障无法连接或无法继续发送数据,C关闭与B的连接;A日志分析服务循环给C发出注册申请,当C中注册信息为空时,接受A的注册申请,即A为主机。
情况4:A作为日志分析服务备机,B作为日志分析主机正常运行时,A对应的日志分析服务备机故障。此时A日志分析服务不再向C发送注册申请,A日志分析服务恢复后优先级不变,对C与B的连接无影响,不考虑此情况。
情况5:A作为日志分析服务备机,B作为日志分析主机正常运行时,A对应的源端数据库主机故障。此时B数据库变为源端数据库主机,导致B日志分析服务优先级由原先的p2变为p1;A数据库故障,A日志分析服务优先级由原来的p1变为p0;B仍为日志分析服务主机。
情况6:A作为日志分析服务备机,B作为日志分析主机正常运行时,A与B对应的日志分析服务都故障。此时无法进行数据同步,不考虑此情况。
日志分析主备机的切换需要遵循一定的流程,从而避免出现数据不一致的现象。此流程应能适应“图2”中应考虑的情况,规则如下:
规则1:日志分析服务主备切换只能由目的端决定,源端的日志分析服务主备机只能向目的端发送注册申请。
规则2:日志分析服务主备机的初始状态均处于备机状态,只有在目的端指示下才能进入主机状态。
规则3:在源端日志分析服务已进入一主一备的状态下,在进行日志分析服务主备切换时,目的端必须先指示日志分析服务主机进入备机状态,并且确定已经成功之后,才能指示另一个日志分析服务进入主机状态。
目的端指示主机状态,采用三次握手协议,如图3所示。
目的端先向需要转换为主机的源端发送转换主机的预备命令,源端返回一个响应消息表示已经做好准备。此时目的端进行设置相应的操作,然后再次向源端发送正式命令,如果源端没有收到正式命令,不切换主机状态。
规则4:数据库状态要由源端向目的端报告。
本发明针对数据库主备切换后,数据库实时同步系统无法适应这种情况,导致的需要重新搭建问题。提供了数据库实时同步系统支持源为主备数据库的方案,能做到数据库主备机发生单一故障、或数据库实时同步系统日志分析服务发生单一故障后,数据库实时同步系统仍能够提供不间断的数据实时同步服务,无需重新搭建或重启。
日志分析服务准备切换性能主要体现为切换时间,而其切换时间主要依赖于主备数据库的切换时间,不会给整个系统带来额外的资源消耗。由此可见,该方法能够充分保障数据库实时同步系统的业务连续性。
如图5所示,为本发明实施例中日志分析服务主备机结构示意图。图中实线部分是日志分析服务主机的消息走向。日志分析服务备机不间断的向目的端发出送注册申请消息,图中用虚箭头线表示。两个源端数据库构成一个数据库主备机系统,两个源端数据库实时同步系统的日志分析服务与之对应。当备机优先级高与已连接的主机,且目的端未进行数据库数据接收时,目的端关闭当前主机连接,指示当前主机为备机,在将原备机指示为主机。
图5是数据库主备环境下日志分析服务主备的部署结构图。实施此方法的前置条件是:源端、目的端数据库系统正常启动并运行,针对源端数据库主备机、目的端数据库部署数据实时同步系统,数据库主、备机分别做源。
(1)源端数据库主机、源端数据库备机、目的端上分别启动数据库实时同步系统管理服务。另外,在目的端上启动日志执行服务,用于进行数据映射及事务的入库(目的端数据库)执行。
(2)在源端数据库主机,初始化日志开始分析的日志起始位置,完成离线字典、初始数据库数据的转载;同时,离线字典被装入本机数据库系统,并同步至其对应的源端数据库备机。
(3)启动源端数据库主机、源端数据库备机日志分析服务,两个日志分析服务获取各自对应数据库状态后,分别向目的端数据库实时同步管理服务发出注册申请,目的端数据库根据优先级确定日志分析服务主、备机。
(4)日志分析服务主备机一经确定后,日志分析服务主机进行日志的抽取、分析以及发送工作,日志每隔一段时间就向目的端发出注册申请。当日志分析服务优先级变化或者日志分析服务故障时,目的端数据库实时同步管理服务则进行日志分析服务切换。
本发明方案可集成于数据库实时同步系统软件,应用于源端为主备数据库的实时同步系统。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据库主备环境下的日志分析服务实时同步系统,其特征在于,包括:源端数据库主机和源端数据库备机、源端日志分析服务主机和源端日志分析服务备机、目的端数据库实时同步管理服务以及目的端数据库,其中:
源端数据库主机和源端数据库备机分别作为数据库实时同步系统中的源端日志分析服务备机和源端日志分析服务主机的数据库源端,源端日志分析服务主机和源端日志分析服务备机分别作为日志分析服务的主机和备机,目的端数据库实时同步管理服务用于根据源端数据库主机、源端数据库备机、源端日志分析服务主机和源端日志分析服务备机的故障状态和当前日志分析服务优先级确定当前日志分析服务主机,所述目的端数据库实时同步管理服务用于接收当前日志分析服务主机捕获到的数据并进行映射及事务的目的端数据库执行,所述源端数据库主机和源端数据库备机中各保存有一部离线字典副本,所述源端日志分析服务主机或源端日志分析服务备机中的字典信息与对应的源端数据库主机或源端数据库备机中的字典信息保持一致。
2.如权利要求1所述的数据库主备环境下的日志分析服务实时同步系统,其特征在于,在系统初始状态下:
优先选择源端数据库备机对应的日志分析服务作为主机,即源端日志分析服务主机对应源端数据库备机,源端日志分析服务备机对应源端数据库主机,设源端数据库主机和源端数据库备机的日志分析服务优先级分别为p1、p2,当数据库发生故障时日志分析服务优先级为p0,则目的端数据库实时同步管理服务按如下优先级顺序选择当前日志服务主机:p2>p1>p0
3.如权利要求2所述的数据库主备环境下的日志分析服务实时同步系统,其特征在于,当实时同步系统从初始状态开始运行时:
源端数据库主机对应的日志分析服务向目的端数据库提出注册申请的时候,源端数据库备机对应的日志分析服务也向目的端数据库实时同步管理服务提出注册申请,此时数据库为主机的源端日志分析服务获取本机数据库状态为主机,优先级置为p1;数据库为备机的源端日志分析服务获取本机数据库状态为备机,优先级置为p2;由于p2>p1,目的端数据库实时同步管理服务选择数据库为备机的源端日志分析服务作为日志分析服务主机,返回拒绝响应消息给数据库为主机的源端日志分析服务,即将数据库为主机的源端日志分析服务设置为日志分析服务备机。
4.如权利要求2所述的数据库主备环境下的日志分析服务实时同步系统,其特征在于,
当源端数据库主机对应的日志分析服务为备机,源端数据库备机对应的日志分析服务为主机且正常运行时,源端数据库备机发生故障,此时源端日志分析服务主机获取其对应源端数据库备机状态为故障,将其优先级置为p0;源端日志分析服务备机获取其对应的源端数据库主机状态为主机或非备机,将其优先级置为p1;由于p1>p0,目的端数据库实时同步管理服务选择源端数据库主机对应日志分析服务为日志分析服务的主机,返回拒绝响应消息给源端数据库备机对应的日志分析服务,即源端数据库备机对应日志分析服务切换为日志分析服务备机。
5.如权利要求2所述的数据库主备环境下的日志分析服务实时同步系统,其特征在于,
当源端数据库主机对应的日志分析服务为日志分析服务备机,源端数据库备机对应的日志分析服务为日志分析服务主机且正常运行时,源端日志分析服务主机发生故障,此时源端日志分析服务主机因故障无法连接或无法继续发送数据,目的端数据库实时同步管理服务关闭与源端数据库备机对应日志分析服务的连接;源端日志分析服务备机循环给目的端数据库实时同步管理服务发出注册申请,当目的端数据库对应实时同步管理服务中注册信息为空时,接受源端数据库主机对应日志分析服务备机的注册申请,即源端日志分析服务备机切换为日志分析服务主机。
6.如权利要求2所述的数据库主备环境下的日志分析服务实时同步系统,其特征在于,
当源端数据库主机对应的日志分析服务为备机,源端数据库备机对应的日志分析服务为主机且正常运行时,源端日志分析服务备机发生故障,此时源端日志分析服务备机不再向目的端数据库发送注册申请,源端日志分析服务备机恢复后优先级不变,对目的端数据库实时同步管理服务与源端数据库备机对应日志分析服务的连接无影响。
7.如权利要求2所述的数据库主备环境下的日志分析服务实时同步系统,其特征在于,
当源端数据库主机对应的日志分析服务为备机,源端数据库备机对应的日志分析服务为主机且正常运行时,源端数据库主机发生故障,此时源端数据库备机变为源端数据库主机,导致源端日志分析服务主机优先级由原先的p2变为p1;源端数据库主机故障,源端日志分析服务备机优先级由原来的p1变为p0;源端数据库备机对应日志分析服务仍为日志分析服务主机,不发生日志分析服务的故障切换。
8.如权利要求2所述的数据库主备环境下的日志分析服务实时同步系统,其特征在于,
当源端数据库主机对应的日志分析服务为备机,源端数据库备机对应的日志分析服务为主机且正常运行时,源端数据库主机与源端数据库备机对应的日志分析服务都故障,此时无法进行数据同步。
9.如权利要求1所述的数据库主备环境下的日志分析服务实时同步系统,其特征在于,所述实时同步系统的日志服务切换需遵循以下原则:
规则1:日志分析服务主备切换只能由目的端决定,源端的日志分析服务主备机只能向目的端发送注册申请;
规则2:日志分析服务主备机的初始状态均处于备机状态,只有在目的端指示下才能进入主机状态;
规则3:在源端日志分析服务已进入一主一备的状态下,在进行日志分析服务主备切换时,目的端必须先指示日志分析服务主机进入备机状态,并且确定已经成功之后,才能指示另一个日志分析服务进入主机状态;目的端指示主机状态,采用三次握手协议:目的端先向需要转换为主机的源端发送转换主机的预备命令,源端返回一个响应消息表示已经做好准备,此时目的端进行设置相应的操作,然后再次向源端发送正式命令,如果源端没有收到正式命令,不切换主机状态;
规则4:数据库状态由源端向目的端报告。
10.如权利要求2所述的数据库主备环境下的日志分析服务实时同步系统,其特征在于,所述实时同步系统运行的前置条件是:
(1)源端数据库和目的端数据库正常启动并运行,针对源端数据库主备机、目的端数据库部署数据实时同步系统,源端数据库主备机分别做源;源端数据库主机、源端数据库备机、目的端数据库上分别启动数据库实时同步系统管理服务,另外在目的端上启动日志执行服务,用于进行数据映射及事务的目的端数据库执行;
(2)在源端数据库主机,初始化日志开始分析的日志起始位置,完成离线字典、初始数据库数据的转载;同时离线字典被装入本机数据库系统,并同步至其对应的源端数据库备机;
(3)启动源端数据库主机、源端数据库备机日志分析服务,两个日志分析服务获取各自对应数据库状态后,分别向目的端数据库实时同步管理服务发出注册申请,目的端数据库根据优先级确定日志分析服务主、备机;
(4)日志分析服务主备机一经确定后,日志分析服务主机进行日志的抽取、分析以及发送工作,日志每隔一段时间就向目的端发出注册申请,当日志分析服务优先级变化或者日志分析服务故障时,目的端数据库实时同步管理服务则进行日志分析服务切换。
CN201810645833.1A 2018-06-21 2018-06-21 一种数据库主备环境下的日志分析服务实时同步系统 Active CN108897641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810645833.1A CN108897641B (zh) 2018-06-21 2018-06-21 一种数据库主备环境下的日志分析服务实时同步系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810645833.1A CN108897641B (zh) 2018-06-21 2018-06-21 一种数据库主备环境下的日志分析服务实时同步系统

Publications (2)

Publication Number Publication Date
CN108897641A CN108897641A (zh) 2018-11-27
CN108897641B true CN108897641B (zh) 2020-08-18

Family

ID=64345361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810645833.1A Active CN108897641B (zh) 2018-06-21 2018-06-21 一种数据库主备环境下的日志分析服务实时同步系统

Country Status (1)

Country Link
CN (1) CN108897641B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188142A (zh) * 2019-06-04 2019-08-30 成都鼎桥通信技术有限公司 异地容灾数据同步方法、装置、服务器以及存储介质
CN111723066B (zh) * 2020-05-08 2023-06-13 武汉达梦数据库股份有限公司 基于日志解析同步的数据库切换方法和数据库切换系统
CN111796970A (zh) * 2020-06-23 2020-10-20 浙江大华技术股份有限公司 一种主备切换和数据同步方法、装置、设备及存储介质
CN111797167B (zh) * 2020-07-02 2023-05-16 中国联合网络通信集团有限公司 数据同步系统及方法、数据处理中心
CN113722396B (zh) * 2021-08-25 2023-12-22 武汉达梦数据库股份有限公司 一种数据同步接收端服务主备切换的方法及设备
CN113836230B (zh) * 2021-09-23 2024-07-26 武汉达梦数据库股份有限公司 一种数据库主备环境下的日志解析服务切换的方法及设备
CN113836231B (zh) * 2021-09-23 2022-10-21 武汉达梦数据库股份有限公司 一种数据库主备环境下的日志解析服务切换的方法及设备
CN118193504B (zh) * 2024-05-20 2024-08-27 高速铁路建造技术国家工程研究中心 基于emd和gru的桥梁传感器时序缺失数据重构方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103067206A (zh) * 2012-12-28 2013-04-24 无锡博欧节能科技有限公司 物联网跨机房分布式全自动热备用服务器切换系统
CN104809202A (zh) * 2015-04-24 2015-07-29 联动优势科技有限公司 一种数据库同步的方法和装置
CN107291787A (zh) * 2016-04-13 2017-10-24 中兴通讯股份有限公司 主备数据库切换方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7587434B2 (en) * 2002-10-01 2009-09-08 Acs State & Local Solutions, Inc. Method and system for managing a distributed transaction process
EP2306319B1 (en) * 2009-09-14 2012-06-06 Software AG Database server, replication server and method for replicating data of a database server by at least one replication server
US9946740B2 (en) * 2014-10-20 2018-04-17 Unisys Corporation Handling server and client operations uninterruptedly during pack and audit processes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103067206A (zh) * 2012-12-28 2013-04-24 无锡博欧节能科技有限公司 物联网跨机房分布式全自动热备用服务器切换系统
CN104809202A (zh) * 2015-04-24 2015-07-29 联动优势科技有限公司 一种数据库同步的方法和装置
CN107291787A (zh) * 2016-04-13 2017-10-24 中兴通讯股份有限公司 主备数据库切换方法和装置

Also Published As

Publication number Publication date
CN108897641A (zh) 2018-11-27

Similar Documents

Publication Publication Date Title
CN108897641B (zh) 一种数据库主备环境下的日志分析服务实时同步系统
AU2019236685B2 (en) Distributed file system using consensus nodes
US8396830B2 (en) Data control method for duplicating data between computer systems
KR101904786B1 (ko) 소스 데이터베이스 관리시스템에서 변경되는 데이터를 실시간으로 목표 데이터베이스 관리시스템에 복제하는 장치 및 그 방법
US8103635B2 (en) Reinstatement of database system in an automatic failover configuration
US11841781B2 (en) Methods and systems for a non-disruptive planned failover from a primary copy of data at a primary storage system to a mirror copy of the data at a cross-site secondary storage system
US7428657B2 (en) Method for rolling back from snapshot with log
US8060478B2 (en) Storage system and method of changing monitoring condition thereof
EP2790112B1 (en) Method and system for data synchronization and data access apparatus
CN106776121B (zh) 一种数据灾备装置、系统及方法
US9424272B2 (en) Distributed file system using consensus nodes
WO2016070375A1 (zh) 一种分布式存储复制系统和方法
US20070124347A1 (en) Database system configured for automatic failover with no data loss
WO2022037359A1 (zh) 配置数据访问方法、装置、设备、配置中心及存储介质
CN102368222A (zh) 一种多副本存储系统在线修复的方法
US11892982B2 (en) Facilitating immediate performance of volume resynchronization with the use of passive cache entries
CN103336728A (zh) 一种磁盘数据恢复方法
US20220050809A1 (en) Distributed metadata management consistency assurance method, device, system and application
CN115794499B (zh) 一种用于分布式块存储集群间双活复制数据的方法和系统
CN105323271B (zh) 一种云计算系统以及云计算系统的处理方法和装置
US20210240351A1 (en) Remote copy system and remote copy management method
WO2021082925A1 (zh) 一种交易处理的方法及装置
CN112667440A (zh) 一种高可用MySQL的异地灾备方法
JP2005339411A (ja) 分散データ等価方法とシステム、およびプログラム
US20240338125A1 (en) Methods and systems for negotiating a primary bias state in a distributed storage system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Fu Quan

Inventor after: Sun Feng

Inventor after: Chen Yan

Inventor before: Fu Quan

Inventor before: Sun Feng

Inventor before: Chen Yan

Inventor before: Yang Chun

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 430000 High-tech Avenue 999, Donghu New Technology Development Zone, Wuhan City, Hubei Province

Patentee after: Wuhan dream database Co.,Ltd.

Address before: 430000 High-tech Avenue 999, Donghu New Technology Development Zone, Wuhan City, Hubei Province

Patentee before: WUHAN DAMENG DATABASE Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220908

Address after: 430073 16-19 / F, building C3, future science and technology building, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province

Patentee after: Wuhan dream database Co.,Ltd.

Patentee after: HUAZHONG University OF SCIENCE AND TECHNOLOGY

Address before: 430000 16-19 / F, building C3, future technology building, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan, Hubei Province

Patentee before: Wuhan dream database Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230726

Address after: 16-19/F, Building C3, Future Science and Technology Building, No. 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430206

Patentee after: Wuhan dream database Co.,Ltd.

Address before: 430073 16-19 / F, building C3, future science and technology building, 999 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province

Patentee before: Wuhan dream database Co.,Ltd.

Patentee before: HUAZHONG University OF SCIENCE AND TECHNOLOGY