CN109753511B - 一种大数据平台的跨地域实时同步方法及系统 - Google Patents

一种大数据平台的跨地域实时同步方法及系统 Download PDF

Info

Publication number
CN109753511B
CN109753511B CN201811626088.2A CN201811626088A CN109753511B CN 109753511 B CN109753511 B CN 109753511B CN 201811626088 A CN201811626088 A CN 201811626088A CN 109753511 B CN109753511 B CN 109753511B
Authority
CN
China
Prior art keywords
metadata
data platform
file
coordination
master
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811626088.2A
Other languages
English (en)
Other versions
CN109753511A (zh
Inventor
刘垚
康金怀
王小玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Business Intelligence Of Oriental Nations Corp ltd
Original Assignee
Business Intelligence Of Oriental Nations Corp ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Business Intelligence Of Oriental Nations Corp ltd filed Critical Business Intelligence Of Oriental Nations Corp ltd
Priority to CN201811626088.2A priority Critical patent/CN109753511B/zh
Publication of CN109753511A publication Critical patent/CN109753511A/zh
Application granted granted Critical
Publication of CN109753511B publication Critical patent/CN109753511B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

一种大数据平台的跨地域实时同步方法及系统,用户连接大数据平台下发操作请求,通过总协调端生成操作指令发送给分数据平台的从动端;生成元数据的版本信息,根据元数据的版本信息创建元数据文件并写入对应的元数据,将执行的操作实时发送给从动端;从动端完成对应执行的操作,创建对应版本信息的版本号文件并标记为预更新数据库状态,从动端反馈预更新数据库成功信息给总协调端;当总协调端收到全部从动端反馈预更新数据库成功信息后,通过总协调端修改对应版本文件并向从动端下发更新数据库指令,从动端根据总协调端更新对应版本文件并标记为已更新数据库状态。避免单点宕机造成元数据丢失、节点堵塞,读取速度快,保证同步一致性。

Description

一种大数据平台的跨地域实时同步方法及系统
技术领域
本发明实施例涉及数据处理技术领域,具体涉及一种大数据平台的跨地域实时同步方法及系统。
背景技术
周知的,二阶段提交是指,在计算机网络以及数据库领域内,为了使基于分布式系统架构下的所有节点在进行事务提交时保持一致性而设计的一种算法。通常,二阶段提交也被称为是一种协议,具体第一阶段:准备阶段(投票阶段)和第二阶段:提交阶段(执行阶段)。在分布式系统中,每个节点虽然可以知晓自己操作时的成功或者失败,却无法知道其他节点操作的成功或失败。当一个事务跨越多个节点时,为了保持事务的ACID(指数据库事务正确执行的四个基本要素的缩写)特性,需要引入一个作为协调者的组件来统一掌控所有节点(称作参与者)的操作结果,并最终指示这些节点是否要把操作结果进行真正的提交(比如将更新后的数据写入磁盘等等)。二阶段提交的思路可以概括为:参与者将操作成败通知协调者,再由协调者根据所有参与者的反馈情报决定各参与者是否要提交操作还是中止操作。
现有技术中,在对数据进行二阶段提交时存在以下缺陷:
第一、单点故障。由于协调者的重要性,一旦协调者发生故障,参与者会一直阻塞下去。尤其在第二阶段,协调者发生故障,那么所有的参与者还都处于锁定事务资源的状态中,而无法继续完成事务操作。如果是协调者出现问题,可以重新选举一个协调者,但是无法解决因为协调者宕机导致的参与者处于阻塞状态的问题。
第二、数据不一致。在二阶段提交的阶段二中,当协调者向参与者发送提交请求之后,如果发生局部网络异常或者在发送提交请求过程中协调者发生了故障,这会导致只有一部分参与者接受到了提交请求。而在这部分参与者接到提交请求之后就会执行提交操作。但是其他部分未接到提交请求的机器则无法执行事务提交,导致整个分布式系统数据不一致。
第三、当协调者再发出提交消息之后宕机,而唯一接收到这条消息的参与者同时也出现宕机。那么即使协调者通过选举协议产生了新的协调者,这条事务的状态也是不确定的,没人知道事务是否被已经提交。
第四、二阶段无法在读取元数据时减少跨地域的网络访问,并读取最新版本的元数据。
发明内容
为此,本发明实施例提供一种大数据平台的跨地域实时同步方法及系统,避免单点宕机造成元数据丢失,不会出现一直阻塞等待现象,保证元数据的修改和同步的原子性、外部访问一致性、隔离性、持久性。
为了实现上述目的,本发明的实施方式提供如下技术方案:一种大数据平台的跨地域实时同步方法,包括:
对总数据平台与分布在异地的分数据平台建立网络连接,将所述总数据平台的一个总平台节点作为总协调端,将所述分数据平台的分平台节点作为从动端;
通过所述总协调端生成操作指令,并将生成的操作指令通过总数据平台发送给分数据平台的从动端;
通过所述总协调端生成元数据的版本信息,总协调端根据所述元数据的版本信息创建元数据文件,在所述元数据文件中写入对应的元数据,总协调端将执行的操作实时发送给所述从动端;
所述总协调端等待所述从动端完成对应执行的操作,总协调端向所述从动端下发预更新数据库指令;所述从动端创建对应所述版本信息的版本号文件并标记为预更新数据库状态,从动端反馈预更新数据库成功信息给所述总协调端;
当所述总协调端收到全部从动端反馈预更新数据库成功信息后,通过总协调端修改对应版本文件并向所述从动端下发更新数据库指令,所述从动端接收到所述总协调端下发的更新数据库指令后,从动端根据所述总协调端更新对应版本文件并标记为已更新数据库状态。
作为大数据平台的跨地域实时同步方法的优选方案,通过分布式协调服务组件定期对所述总协调端的状态进行更新,当所述总协调端出现无响应状态时,通过所述分布式协调服务组件选取另外一个总平台节点通知所述分平台节点进行数据恢复操作。
作为大数据平台的跨地域实时同步方法的优选方案,当所述总协调端出现无响应状态时,对所述从动端进行操作失败通知,所述从动端接收到操作失败通知后进行数据恢复操作;当所述总协调端完成修改对应版本文件时,操作成功。
作为大数据平台的跨地域实时同步方法的优选方案,所述总协调端利用分布式协调服务组件生成元数据的版本信息,将所述元数据的版本信息作为版本号对所述元数据文件进行命名。
作为大数据平台的跨地域实时同步方法的优选方案,当通过总数据平台访问元数据时,从所述元数据文件的名称中获取版本信息;当查找不到对应版本号元数据文件时对查找用户进行提示。
作为大数据平台的跨地域实时同步方法的优选方案,当通过分数据平台访问元数据时,从所述元数据文件的名称中获取版本信息和元数据的状态;
当查找不到对应版本号元数据文件时对查找用户进行提示;
当对应版本号元数据文件为预更新数据库状态时,从所述总数据平台获取最新的版本信息,根据最新的版本信息从所述分数据平台读取对应的元数据;
当对应版本号元数据文件为已更新数据库状态时,直接从所述分数据平台读取对应的元数据。
本发明实施例还提供一种大数据平台的跨地域实时同步系统,包括:
网络搭建模块,用于对总数据平台与分布在异地的分数据平台建立网络连接,并将总数据平台的一个总平台节点作为总协调端,将分数据平台的分平台节点作为从动端;
操作指令生成模块,用于总协调端生成操作指令,并将生成的操作指令通过总数据平台发送给分数据平台的从动端;
版本信息生成模块,用于总协调端生成元数据的版本信息;
元数据文件创建模块,用于总协调端根据元数据的版本信息创建元数据文件;
元数据写入模块,用于在元数据文件中写入对应的元数据;
第一状态更新模块,用于从动端创建对应版本信息的版本号文件并标记为预更新数据库状态;
反馈模块,用于从动端反馈预更新数据库成功信息给总协调端;
指令下发模块,用于当总协调端收到全部从动端反馈预更新数据库成功信息后,通过总协调端修改对应版本文件并向从动端下发更新数据库指令;
第二状态更新模块,用于从动端接收到总协调端下发的更新数据库指令后,从动端根据总协调端更新对应版本文件并标记为已更新数据库状态。
作为大数据平台的跨地域实时同步系统的优选方案,还包括异常监测模块,用于监测总协调端的响应状态,当总协调端出现无响应状态时,通过分布式协调服务组件选取某个总平台节点通知分平台节点进行数据恢复操作。
作为大数据平台的跨地域实时同步系统的优选方案,还包括第一通知模块、第二通知模块和数据恢复模块;
所述第一通知模块用于当总协调端出现无响应状态时,对从动端进行操作失败通知;
所述第二通知模块用于当查找不到对应版本号元数据文件时对查找用户进行提示;
所述数据恢复模块用于总协调端出现无响应状态时分平台节点进行数据恢复操作。
作为大数据平台的跨地域实时同步系统的优选方案,还包括查找模块,用于通过版本信息查找对应版本号元数据文件。
本发明的实施方式具有如下优点:创建或修改元数据时,分数据平台的元数据大部分情况下都是已提交同步状态,可以直接读取,极少数情况下,才需要从总部获取最新的可读的版本号,减少了网络沟通的次数,读取元数据的速度快;
利用分布式文件系统备份机制,避免单点宕机造成元数据丢失,保证元数据读取的一致性,无论从总数据平台还是分数据平台,读取的元数据是一致的;设有总协调端的节点宕机机制,有监督节点,当出现宕机等问题时能够进行数据恢复,不会造成分数据平台一直阻塞等待。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例中提供的一种大数据平台的跨地域实时同步方法流程图;
图2为本发明实施例中提供的一种大数据平台的跨地域实时同步系统示意图;
图中:1、网络搭建模块;2、操作指令生成模块;3、版本信息生成模块;4、元数据文件创建模块;5、元数据写入模块;6、查找模块;7、第一状态更新模块;8、反馈模块;9、指令下发模块;10、第二状态更新模块;11、异常监测模块;12、第一通知模块;13、第二通知模块;14、数据恢复模块。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本实施例中,元数据是存储在HDFS(Hadoop Data File System)上的,充分利用HDFS的备份机制,出现宕机,也不回丢失元数据。存储形式一种是版本号文件,版本号信息等,在HDFS上修改文件名是一个原子操作,总部元数据的版本号文件名是Version*,总部需要记录提交状态。省份元数据的版本号文件的文件名是Version*-commit。另一种是元数据文件,该文件里面存储元数据的内容信息。文件名是meta.Version*。其中“*”表示的是版本号的具体数字。
参见图1,提供一种大数据平台的跨地域实时同步方法,包括以下步骤:
S1:对总数据平台与分布在异地的分数据平台建立网络连接,将所述总数据平台的一个总平台节点作为总协调端,将所述分数据平台的分平台节点作为从动端;
S2:通过所述总协调端生成操作指令,并将生成的操作指令通过总数据平台发送给分数据平台的从动端;
S3:通过所述总协调端生成元数据的版本信息,总协调端根据所述元数据的版本信息创建元数据文件,在所述元数据文件中写入对应的元数据,总协调端将执行的操作实时发送给所述从动端;
S4:所述从动端完成对应执行的操作,创建对应所述版本信息的版本号文件并标记为预更新数据库状态,从动端反馈预更新数据库成功信息给所述总协调端;
S5:当所述总协调端收到全部从动端反馈预更新数据库成功信息后,通过总协调端修改对应版本文件并向所述从动端下发更新数据库指令,所述从动端接收到所述总协调端下发的更新数据库指令后,从动端根据所述总协调端更新对应版本文件并标记为已更新数据库状态。
大数据平台的跨地域实时同步方法的一个实施例中,通过分布式协调服务组件定期对所述总协调端的状态进行更新,当所述总协调端出现无响应状态时,通过所述分布式协调服务组件选取另外一个总平台节点通知所述分平台节点进行数据恢复操作。当所述总协调端出现无响应状态时,对所述从动端进行操作失败通知,所述从动端接收到操作失败通知后进行数据恢复操作;当所述总协调端完成修改对应版本文件时,操作成功。
具体的,分布式协调服务组件采用ZooKeeper,ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件,能够提供配置维护、域名服务、分布式同步、组服务等。ZooKeeper是以Fast Paxos算法为基础的。对于每条DDL指令,总数据平台和分数据平台分别有且只有一个节点参与执行,用户连接的总数据平台的节点,就是总协调端。
总协调端定期在ZooKeeper上更新自己的状态,总数据平台不断监控总协调端的状态,如果总协调端宕机,则总数据平台会通过ZooKeeper选取一个总平台节点,通知分数据平台进行数据恢复。
具体的,总协调端不需要等待所有从动端完成数据更新,操作是否成功以总协调端是否进行数据更新操作为准,总协调端执行数据更新操作,表示操作成功;反之操作失败。如果总数据平台检测到发生异常(网路断开、宕机、超时等问题),则总数据平台回报用户“操作失败”,然后通知分数据平台进行数据恢复使回到操作前的状态,清理操作失败前的元数据,整个流程终止,如果总协调端修改版本号文件名时出错,“操作失败”,整个流程终止,通知分数据平台进行数据恢复使回到操作前的状态。
大数据平台的跨地域实时同步方法的一个实施例中,所述总协调端利用分布式协调服务组件生成元数据的版本信息,将所述元数据的版本信息作为版本号对所述元数据文件进行命名。当通过总数据平台访问元数据时,从所述元数据文件的名称中获取版本信息;当查找不到对应版本号元数据文件时对查找用户进行提示。
具体的,从总数据平台访问元数据时,先读取版本号文件的名字,从名字中获取版本号比如Version2,直接用版本号拼出元数据文件的名字Meta.Version2;如果找不到版本号文件,则提示用户出错,例如:“表不存在”、“分区不存在”等。
大数据平台的跨地域实时同步方法的一个实施例中,当通过分数据平台访问元数据时,从所述元数据文件的名称中获取版本信息和元数据的状态;
当查找不到对应版本号元数据文件时对查找用户进行提示;
当对应版本号元数据文件为预更新数据库状态时,从所述总数据平台获取最新的版本信息,根据最新的版本信息从所述分数据平台读取对应的元数据;
当对应版本号元数据文件为已更新数据库状态时,直接从所述分数据平台读取对应的元数据。
具体的,当从省数据平台访问元数据时,先读取版本号文件的名字,从名字中获取版本号Version2和元数据状态。
a)如果没找到版本号文件,则提示用户出错,例如“表不存在”等;
b)如果状态是预更新数据库状态,则从总数据平台获取最新的、可以读的版本号(例如获取到的是Version1),然后从分数据平台读取该版本号对应的元数据;
c)如果状态是已更新数据库状态,则读取Version2对应的元数据文件;如果没有版本号文件,则提示用户出错,例如“表不存在”等。
参见图2,本发明实施例还提供一种大数据平台的跨地域实时同步系统,包括:
网络搭建模块1,用于对总数据平台与分布在异地的分数据平台建立网络连接,并将总数据平台的一个总平台节点作为总协调端,将分数据平台的分平台节点作为从动端;
操作指令生成模块2,用于总协调端生成操作指令,并将生成的操作指令通过总数据平台发送给分数据平台的从动端;
版本信息生成模块3,用于总协调端生成元数据的版本信息;
元数据文件创建模块4,用于总协调端根据元数据的版本信息创建元数据文件;
元数据写入模块5,用于在元数据文件中写入对应的元数据;
第一状态更新模块7,用于从动端创建对应版本信息的版本号文件并标记为预更新数据库状态;
反馈模块8,用于从动端反馈预更新数据库成功信息给总协调端;
指令下发模块9,用于当总协调端收到全部从动端反馈预更新数据库成功信息后,通过总协调端修改对应版本文件并向从动端下发更新数据库指令;
第二状态更新模块10,用于从动端接收到总协调端下发的更新数据库指令后,从动端根据总协调端更新对应版本文件并标记为已更新数据库状态。
大数据平台的跨地域实时同步系统的一个实施例中,还包括异常监测模块11,用于监测总协调端的响应状态,当总协调端出现无响应状态时,通过分布式协调服务组件选取某个总平台节点通知分平台节点进行数据恢复操作。
大数据平台的跨地域实时同步系统的一个实施例中,还包括第一通知模块12、第二通知模块13和数据恢复模块14;
所述第一通知模块12用于当总协调端出现无响应状态时,对从动端进行操作失败通知;
所述第二通知模块13用于当查找不到对应版本号元数据文件时对查找用户进行提示;
所述数据恢复模块14用于总协调端出现无响应状态时分平台节点进行数据恢复操作。
大数据平台的跨地域实时同步系统的一个实施例中,还包括查找模块6,用于通过版本信息查找对应版本号元数据文件。
具体的,在大数据平台的跨地域实时同步的实践过程中,比如,总部用户在总数据平台建了一张表,需要实时的将表的元数据信息同步到所有省的分数据平台,保证省份的分数据平台的用户,也能够看到这张表的元数据信息,比如这张表有多少个列,列名是什么,数类型是什么。整个过程中,总部用户将操作的指令发给分数据平台,将总部用户连接的节点,作为总协调端,总协调端负责指挥分数据平台进行相应的操作。总协调端定期在Zookeeper上更新自己的状态,总数据平台会不断监控总协调端的状态,如果总协调端宕机,则总数据平台通过Zookeeper选取一个新的节点,通知分数据平台做数据恢复。建立从总数据平台到所有省份的分数据平台的网络连接,连接的省份分数据平台的节点作为从动端。
总部的总数据平台的总协调端产生一个元数据的版本号Version2,该版本号是单调递增的,利用Zookeeper来产生。在总部总数据平台的总协调端创建元数据文件,文件名是Meta.Vesion2,并写入元数据。再将上述操作实时发送给所有省的分数据平台的从动端。
省的分数据平台的从动端完成所有操作后,创建版本号文件,文件名是Version2_precommit,相当于省份将自己的状态改为预更新数据库状态,并记录版本号Version2,然后回报给总部进入预更新数据库状态成功。
总部的总数据平台的总协调端收到全部省份的从动端都回报进入预更新数据库状态成功,则继续执行下面的操作。总部的总数据平台的总协调端修改版本号文件,文件名改为Version2,相当于记录版本号Version2,然后通知所有省的分数据平台的从动端执行更新数据库。
总部的总数据平台的总协调端提示用户操作成功,此处不需要等待所有省全部更新数据库完成,操作是否成功以总部是否执行更新数据库操作为准,总部执行更新数据库操作,表示操作成功;反之操作失败。所有省的分数据平台收到更新数据库指令后,修改版本号文件,文件名改为Version2_commit,相当于将自己的状态改为更新数据库状态,并记录版本号Version2。本发明的实施方式在创建或修改元数据时,分数据平台的元数据大部分情况下都是已提交同步状态,可以直接读取,极少数情况下,才需要从总部获取最新的可读的版本号,读取元数据的速度快;利用分布式文件系统备份机制,避免单点宕机造成元数据丢失,保证元数据读取的一致性,无论从总数据平台还是分数据平台,读取的元数据是一致的;设有总协调端的节点宕机机制,有监督节点,当出现宕机等问题时能够进行数据恢复,不会造成分数据平台一直阻塞等待。
虽然,上文中已经用一般性说明及具体实施例对本发明作了详尽的描述,但在本发明基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本发明精神的基础上所做的这些修改或改进,均属于本发明要求保护的范围。

Claims (8)

1.一种大数据平台的跨地域实时同步方法,其特征在于,包括:
对总数据平台与分布在异地的分数据平台建立网络连接,将所述总数据平台的一个总平台节点作为总协调端,将所述分数据平台的分平台节点作为从动端;
通过所述总协调端生成操作指令,并将生成的操作指令通过总数据平台发送给分数据平台的从动端;
通过所述总协调端生成元数据的版本信息,总协调端根据所述元数据的版本信息创建元数据文件,在所述元数据文件中写入对应的元数据,总协调端将执行的操作实时发送给所述从动端;
所述从动端完成对应执行的操作,从动端创建对应所述版本信息的版本号文件并标记为预更新数据库状态,从动端反馈预更新数据库成功信息给所述总协调端;
当所述总协调端收到全部从动端反馈预更新数据库成功信息后,通过总协调端修改对应版本文件并向所述从动端下发更新数据库指令,所述从动端接收到所述总协调端下发的更新数据库指令后,从动端根据所述总协调端更新对应版本文件并标记为已更新数据库状态;
通过分布式协调服务组件定期对所述总协调端的状态进行更新,当所述总协调端出现无响应状态时,通过所述分布式协调服务组件选取另外一个总平台节点通知所述分平台节点进行数据恢复操作;
总协调端不需要等待所有从动端完成数据更新,操作是否成功以总协调端是否进行数据更新操作为准,总协调端执行数据更新操作,表示操作成功;反之操作失败;
如果总数据平台检测到发生异常,总数据平台回报用户“操作失败”,然后通知分数据平台进行数据恢复使回到操作前的状态,清理操作失败前的元数据,整个流程终止,如果总协调端修改版本号文件名时出错,“操作失败”,整个流程终止,通知分数据平台进行数据恢复使回到操作前的状态;
当通过分数据平台访问元数据时,从所述元数据文件的名称中获取版本信息和元数据的状态;
当查找不到对应版本号元数据文件时对查找用户进行提示;
当对应版本号元数据文件为预更新数据库状态时,从所述总数据平台获取对应版本号元数据文件的状态,如果是已更新状态,从所述分数据平台读取对应的元数据,否则对用户进行提示;
当对应版本号元数据文件为已更新数据库状态时,直接从所述分数据平台读取对应的元数据。
2.根据权利要求1所述的一种大数据平台的跨地域实时同步方法,其特征在于,当所述总协调端出现无响应状态时,对所述从动端进行操作失败通知,所述从动端接收到操作失败通知后进行数据恢复操作;当所述总协调端完成修改对应版本文件时,操作成功。
3.根据权利要求1所述的一种大数据平台的跨地域实时同步方法,其特征在于,所述总协调端利用分布式协调服务组件生成元数据的版本信息,将所述元数据的版本信息作为版本号对所述元数据文件进行命名。
4.根据权利要求1所述的一种大数据平台的跨地域实时同步方法,其特征在于,当通过总数据平台访问元数据时,从所述元数据文件的名称中获取版本信息;当查找不到对应版本号元数据文件时对查找用户进行提示。
5.一种大数据平台的跨地域实时同步系统,其特征在于,包括:
网络搭建模块,用于对总数据平台与分布在异地的分数据平台建立网络连接,并将总数据平台的一个总平台节点作为总协调端,将分数据平台的分平台节点作为从动端;
操作指令生成模块,用于总协调端生成操作指令,并将生成的操作指令通过总数据平台发送给分数据平台的从动端;
版本信息生成模块,用于总协调端生成元数据的版本信息;
元数据文件创建模块,用于总协调端根据元数据的版本信息创建元数据文件;
元数据写入模块,用于在元数据文件中写入对应的元数据;
第一状态更新模块,用于从动端创建对应版本信息的版本号文件并标记为预更新数据库状态;
反馈模块,用于从动端反馈预更新数据库成功信息给总协调端;
指令下发模块,用于当总协调端收到全部从动端反馈预更新数据库成功信息后,通过总协调端修改对应版本文件并向从动端下发更新数据库指令;
第二状态更新模块,用于从动端接收到总协调端下发的更新数据库指令后,从动端根据总协调端更新对应版本文件并标记为已更新数据库状态;
所述大数据平台的跨地域实时同步系统通过分布式协调服务组件定期对所述总协调端的状态进行更新,当所述总协调端出现无响应状态时,通过所述分布式协调服务组件选取另外一个总平台节点通知所述分平台节点进行数据恢复操作;
总协调端不需要等待所有从动端完成数据更新,操作是否成功以总协调端是否进行数据更新操作为准,总协调端执行数据更新操作,表示操作成功;反之操作失败;
如果总数据平台检测到发生异常,总数据平台回报用户“操作失败”,然后通知分数据平台进行数据恢复使回到操作前的状态,清理操作失败前的元数据,整个流程终止,如果总协调端修改版本号文件名时出错,“操作失败”,整个流程终止,通知分数据平台进行数据恢复使回到操作前的状态;
当通过分数据平台访问元数据时,从所述元数据文件的名称中获取版本信息和元数据的状态;
当查找不到对应版本号元数据文件时对查找用户进行提示;
当对应版本号元数据文件为预更新数据库状态时,从所述总数据平台获取对应版本号元数据文件的状态,如果是已更新状态,从所述分数据平台读取对应的元数据,否则对用户进行提示;
当对应版本号元数据文件为已更新数据库状态时,直接从所述分数据平台读取对应的元数据。
6.根据权利要求5所述的一种大数据平台的跨地域实时同步系统,其特征在于,还包括异常监测模块,用于监测总协调端的响应状态,当总协调端出现无响应状态时,通过分布式协调服务组件选取某个总平台节点通知分平台节点进行数据恢复操作。
7.根据权利要求5所述的一种大数据平台的跨地域实时同步系统,其特征在于,还包括第一通知模块、第二通知模块和数据恢复模块;
所述第一通知模块用于当总协调端出现无响应状态时,对从动端进行操作失败通知;
所述第二通知模块用于当查找不到对应版本号元数据文件时对查找用户进行提示;
所述数据恢复模块用于总协调端出现无响应状态时分平台节点进行数据恢复操作。
8.根据权利要求5所述的一种大数据平台的跨地域实时同步系统,其特征在于,还包括查找模块,用于通过版本信息查找对应版本号元数据文件。
CN201811626088.2A 2018-12-28 2018-12-28 一种大数据平台的跨地域实时同步方法及系统 Active CN109753511B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811626088.2A CN109753511B (zh) 2018-12-28 2018-12-28 一种大数据平台的跨地域实时同步方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811626088.2A CN109753511B (zh) 2018-12-28 2018-12-28 一种大数据平台的跨地域实时同步方法及系统

Publications (2)

Publication Number Publication Date
CN109753511A CN109753511A (zh) 2019-05-14
CN109753511B true CN109753511B (zh) 2020-12-04

Family

ID=66404176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811626088.2A Active CN109753511B (zh) 2018-12-28 2018-12-28 一种大数据平台的跨地域实时同步方法及系统

Country Status (1)

Country Link
CN (1) CN109753511B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110535907A (zh) * 2019-07-26 2019-12-03 济南浪潮数据技术有限公司 一种元数据同步方法和系统
CN110517493B (zh) * 2019-08-30 2022-03-25 公安部交通管理科学研究所 一种跨区域机动车综合信息获取方法及系统
CN112835885B (zh) * 2019-11-22 2023-09-01 北京金山云网络技术有限公司 一种分布式表格存储的处理方法、装置及系统
CN113535391B (zh) * 2021-06-28 2024-04-16 北京东方国信科技股份有限公司 跨域大数据平台的分布式集群状态信息管理方法及系统
CN113392074B (zh) * 2021-07-13 2022-07-05 山东大学 一种采用内存文档的物联网设备安全管理方法
CN113448978B (zh) * 2021-07-14 2024-04-16 中国银行股份有限公司 同名影像文件替换操作中保证数据一致性的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105472024A (zh) * 2015-12-28 2016-04-06 北京赛思信安技术股份有限公司 一种基于消息推送模式的跨地域数据同步方法
CN105491106A (zh) * 2015-11-18 2016-04-13 中国石油天然气集团公司 一种石油测井主从数据库系统实时同步系统和方法
CN106776121A (zh) * 2016-11-23 2017-05-31 中国工商银行股份有限公司 一种数据灾备装置、系统及方法
CN108776670A (zh) * 2018-05-11 2018-11-09 阿里巴巴集团控股有限公司 一种异地容灾方法、系统和电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104462192B (zh) * 2011-12-01 2017-09-01 中国核工业二三建设有限公司 基于核电施工多项目管理数据同步技术装置的方法
US10545993B2 (en) * 2015-03-19 2020-01-28 Russell Sullivan Methods and systems of CRDT arrays in a datanet
CN105468727A (zh) * 2015-11-20 2016-04-06 国家电网公司 基于zookeeper实现MySQL强一致性复制方法
CN106980625B (zh) * 2016-01-18 2020-08-04 阿里巴巴集团控股有限公司 一种数据同步方法、装置及系统
CN106250514B (zh) * 2016-08-04 2019-10-15 上海摩库数据技术有限公司 基于Mysql数据库和SQL日志的跨国数据同步方法
CN106874341B (zh) * 2016-12-23 2022-04-05 中科星图股份有限公司 一种数据库同步方法
CN108121804B (zh) * 2017-12-22 2020-06-05 百度在线网络技术(北京)有限公司 跨地域分布式存储数据的方法、装置、终端及存储介质
CN108763234A (zh) * 2018-02-01 2018-11-06 宝付网络科技(上海)有限公司 一种数据实时同步方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105491106A (zh) * 2015-11-18 2016-04-13 中国石油天然气集团公司 一种石油测井主从数据库系统实时同步系统和方法
CN105472024A (zh) * 2015-12-28 2016-04-06 北京赛思信安技术股份有限公司 一种基于消息推送模式的跨地域数据同步方法
CN106776121A (zh) * 2016-11-23 2017-05-31 中国工商银行股份有限公司 一种数据灾备装置、系统及方法
CN108776670A (zh) * 2018-05-11 2018-11-09 阿里巴巴集团控股有限公司 一种异地容灾方法、系统和电子设备

Also Published As

Publication number Publication date
CN109753511A (zh) 2019-05-14

Similar Documents

Publication Publication Date Title
CN109753511B (zh) 一种大数据平台的跨地域实时同步方法及系统
US9984140B1 (en) Lease based leader election system
US10747745B2 (en) Transaction execution commitment without updating of data row transaction status
CN113396407A (zh) 用于利用区块链技术扩充数据库应用的系统和方法
US9513894B2 (en) Database software upgrade using specify-validate-execute protocol
JP6220851B2 (ja) 2フェーズコミットコールの厳密な順序付けに基づいたトランザクションリカバリをサポートするためのシステムおよび方法
US20130117226A1 (en) Method and A System for Synchronizing Data
US20120271795A1 (en) Scalable row-store with consensus-based replication
US20120221605A1 (en) Linking framework for information technology management
EP3391244B1 (en) Replication control among redundant data centers
CN103345502B (zh) 分布式数据库的事务处理方法和系统
WO2000075813A1 (en) Bidirectional database replication scheme for controlling ping-ponging
JP2022013854A (ja) 2フェーズコミット分散トランザクションを使用することによってデータベースを更新するための方法および装置
CN113987064A (zh) 数据处理方法、系统及设备
CN101933014A (zh) 用于复制和同步的系统和方法
EP3026574B1 (en) Affair processing method and device
CN112579613B (zh) 数据库集群差异比对与数据同步的方法、系统及介质
CN102317913A (zh) 一种事务恢复方法和事务恢复装置
CN114238495A (zh) 数据库主备集群切换方法、装置、计算机设备及存储介质
US20140250326A1 (en) Method and system for load balancing a distributed database providing object-level management and recovery
CN103780433B (zh) 自愈式虚拟资源配置管理数据架构
JPH08235043A (ja) 協調型分散システム
CN111444281B (zh) 一种数据库参数同步的方法及系统
CN110928532B (zh) 一种高一致性微服务架构及其数据更新方法
CN112749156A (zh) 数据处理方法、数据库管理系统和数据处理设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant