CN112000735A - 一种数据处理方法、装置、系统 - Google Patents

一种数据处理方法、装置、系统 Download PDF

Info

Publication number
CN112000735A
CN112000735A CN202010778531.9A CN202010778531A CN112000735A CN 112000735 A CN112000735 A CN 112000735A CN 202010778531 A CN202010778531 A CN 202010778531A CN 112000735 A CN112000735 A CN 112000735A
Authority
CN
China
Prior art keywords
node
cluster
data
available
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010778531.9A
Other languages
English (en)
Inventor
张兰英
曹兴旺
王真
师龙华
邓伟
王建增
高建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Postal Savings Bank of China Ltd
Original Assignee
Postal Savings Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Postal Savings Bank of China Ltd filed Critical Postal Savings Bank of China Ltd
Priority to CN202010778531.9A priority Critical patent/CN112000735A/zh
Publication of CN112000735A publication Critical patent/CN112000735A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275Synchronous replication

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Hardware Redundancy (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开一种数据处理方法、装置、系统,方法包括:当接收到事务处理请求时,获取与事务处理请求相对应的处理规则;根据处理规则,确定主集群和备用集群;在主集群中查询与事务处理请求相对应的节点的状态;当主集群中的节点可用时,对节点进行与事务处理请求相对应的数据操作;当主集群中的节点不可用时,按照处理规则在备用集群中查询对应的节点的状态直至获取到可用节点,对可用节点进行与事务处理请求相对应的数据操作。本申请可以使得商业数据库Oracle支持分布式集群部署,当数据库实例、任一集群、节点等故障时,可以实现节点的无感知切换,保证系统连续稳定的对外提供服务,外界的访问不受影响。

Description

一种数据处理方法、装置、系统
技术领域
本发明属于计算机技术领域,尤其涉及一种数据处理方法、装置、系统。
背景技术
目前的商业关系型数据库Oracle,通常采用单集群部署数据库、多集群部署数据库但仅一个集群能对外提供服务。在数据库实例、集群、或者节点等故障时,对于单集群部署数据库来说恢复需要一定时间,对于多集群部署数据库来说需要一定的时间进行切换。如此,使得系统的响应速度变慢,影响了服务质量。
发明内容
为了解决现有技术的问题,本发明提出了一种数据处理方法、装置、系统,本方法解决了现有的商业关系型数据库Oracle无法支持分布式集群部署的缺陷,提高了系统的响应时间,进而提高了系统的可用性。
本发明实施例提供的具体技术方案如下:
第一方面,本发明提供一种数据处理方法,所述方法包括:
当接收到事务处理请求时,获取与所述事务处理请求相对应的处理规则;
根据所述处理规则,确定主集群和备用集群;
在所述主集群中查询与所述事务处理请求相对应的节点的状态;
当所述主集群中的节点可用时,对所述节点进行与所述事务处理请求相对应的数据操作;
当所述主集群中的节点不可用时,按照所述处理规则在备用集群中查询对应的节点的状态直至获取到可用节点,对所述可用节点进行与所述事务处理请求相对应的数据操作;
其中,所述处理规则用于限定集群的访问顺序。
优选的,当所述事务处理请求为数据写入请求时,所述当所述主集群中的节点可用时,对所述节点进行与所述事务处理请求相对应的数据操作具体包括:
当所述主集群中的节点可用时,将由所述数据写入请求而产生的变化数据同步至所述主集群中对应的节点中;
所述方法还包括:
当所述变化数据同步至主集群中对应的节点后,将所述变化数据同步至其余备份集群中对应的节点中,同时将所述变化数据同步至持久化数据库中。
优选的,所述方法还包括:
当所述变化数据在任一备用集群中对应的节点上同步失败时,生成失败日志;
定时查询未同步成功的备用集群中对应的节点的状态,当未同步成功的备用集群中对应的节点可用时,根据所述失败日志将所述变化数据同步至所述未同步成功的备用集群中对应的节点上。
优选的,所述方法还包括:
当所述变化数据在所述持久化数据库中同步失败时,生成失败日志;
按照预设定的定时任务,根据所述失败日志将所述变化数据同步至所述持久化数据库中。
优选的,所述方法还包括:
当所述主集群中查询不到与所述数据写入请求相对应的节点时,将由所述数据写入请求而产生的变化数据同步至所述主集群的任一可用的节点中。
优选的,当所述事务处理请求为数据写入请求时,所述当所述主集群中的节点不可用时,按照所述处理规则在备用集群中查询对应的节点的状态直至获取到可用节点,对所述可用节点进行与所述事务处理请求相对应的数据操作具体包括:
当所述主集群中的节点不可用时,按照所述处理规则在备用集群中查询对应的节点的状态直至获取到可用节点,将由所述数据写入请求而产生的变化数据同步至所述可用节点中;
所述方法还包括:
当所述变化数据同步至备用集群中的可用节点后,获取其余未进行数据同步的备用集群中的对应节点的状态;
当其余未进行数据同步的备用集群中的对应节点可用时,将所述变化数据同步至所述其余未进行数据同步的备用集群中的对应节点中,同时将所述变化数据同步至持久化数据库中。
优选的,所述方法还包括:
定时获取各个集群中节点的状态;
当集群中的节点故障时,将故障节点的状态设置为不可用。
优选的,所述主集群数量为一个,所述备用集群的数量为三个。
第二方面,本发明提供一种数据处理装置,所述装置包括:
获取模块,用于当接收到事务处理请求时,获取与所述事务处理请求相对应的处理规则;根据所述处理规则,确定主集群和备用集群;
查询模块,用于在所述主集群中查询与所述事务处理请求相对应的节点的状态;
操作模块,用于当所述主集群中的节点可用时,对所述节点进行与所述事务处理请求相对应的数据操作;
当所述主集群中的节点不可用时,按照所述处理规则在备用集群中查询对应的节点的状态直至获取到可用节点,对所述可用节点进行与所述事务处理请求相对应的数据操作;
其中,所述处理规则用于限定集群的访问顺序。
优选的,当所述事务处理请求为数据写入请求时,所述操作模块具体包括第一同步模块,用于:
当所述主集群中的节点可用时,将由所述数据写入请求而产生的变化数据同步至所述主集群中对应的节点中;
所述第一同步模块还用于:当所述变化数据同步至主集群中对应的节点后,将所述变化数据同步至其余备份集群中对应的节点中,同时将所述变化数据同步至持久化数据库中。
优选的,所述装置还包括:
第一生成模块,用于当所述变化数据在任一备用集群中对应的节点上同步失败时,生成失败日志;
第一定时任务模块,用于定时查询未同步成功的备用集群中对应的节点的状态;
所述第一同步模块还用于当未同步成功的备用集群中对应的节点可用时,根据所述失败日志将所述变化数据同步至所述未同步成功的备用集群中对应的节点上。
优选的,所述装置还包括:
第二生成模块,用于当所述变化数据在所述持久化数据库中同步失败时,生成失败日志;
第二定时任务模块,用于按照预设定的定时任务,根据所述失败日志将所述变化数据同步至所述持久化数据库中。
优选的,所述第一同步模块还用于:
当所述主集群中查询不到与所述数据写入请求相对应的节点时,将由所述数据写入请求而产生的变化数据同步至所述主集群的任一可用的节点中。
优选的,当所述事务处理请求为数据写入请求时,所述装置还包括第二同步模块,用于:
当所述主集群中的节点不可用时,按照所述处理规则在备用集群中查询对应的节点的状态直至获取到可用节点,将由所述数据写入请求而产生的变化数据同步至所述可用节点中;
所述第二同步模块还用于:当所述变化数据同步至备用集群中的可用节点后,获取其余未进行数据同步的备用集群中的对应节点的状态;
当其余未进行数据同步的备用集群中的对应节点可用时,将所述变化数据同步至所述其余未进行数据同步的备用集群中的对应节点中,同时将所述变化数据同步至持久化数据库中。
优选的,所述装置还包括:
第三生成模块,用于当所述变化数据在任一其余未进行数据同步的备用集群中的对应节点上同步失败时,生成失败日志;
第三定时任务模块,用于当所述变化数据在任一其余未进行数据同步的备用集群中的对应节点上同步失败后,定时查询未同步成功的备用集群中的对应节点的状态;
所述第二同步模块还用于当未同步成功的备用集群中的对应节点可用时,根据所述失败日志将所述变化数据同步至所述未同步成功的备用集群中的对应节点上。
优选的,所述装置还包括:
检测模块,用于定时获取各个集群中节点的状态;
当集群中的节点故障时,将故障节点的状态设置为不可用。
优选的,所述主集群数量为一个,所述备用集群的数量为三个。
第三方面,本发明提供一种计算机系统,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
当接收到事务处理请求时,获取与所述事务处理请求相对应的处理规则;
根据所述处理规则,确定主集群和备用集群;
在所述主集群中查询与所述事务处理请求相对应的节点的状态;
当所述主集群中的节点可用时,对所述节点进行与所述事务处理请求相对应的数据操作;
当所述主集群中的节点不可用时,按照所述处理规则在备用集群中查询对应的节点的状态直至获取到可用节点,对所述可用节点进行与所述事务处理请求相对应的数据操作;
其中,所述处理规则用于限定集群的访问顺序。
本发明实施例具有如下有益效果:
本方案可以使得商业数据库Oracle支持分布式集群部署,当数据库实例、任一集群、节点等故障时,可以实现节点的无感知切换,保证系统连续稳定的对外提供服务,外界的访问不受影响,同时,提高了系统的响应速度、降低了交易耗时,使用了自主可控的技术降低了对当前使用的商业数据库Oracle的依赖。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的本方案的系统架构示意图;
图2是本申请实施例一提供的数据处理方法的流程图;
图3、图4是本申请实施例一提供的数据处理方法的应用环境示意图;
图5是本申请实施例三提供的计算机系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
如背景技术中所述,商业关系型数据库Oracle由于采用单集群部署数据库或者多集群部署数据库但仅一个集群能对外提供服务,因此在数据库实例、集群、或者节点等故障时,恢复时间慢,影响了系统的服务质量,基于此,本申请提供了一种数据处理方法,使得商业数据库Oracle支持分布式集群部署,当数据库实例、任一集群、节点等故障时,可以实现节点的无感知切换,提高了系统的响应速度,进而提高了系统的可用性,保证系统连续稳定的对外提供服务。
如图1所示,为本申请的数据处理方法的应用环境的系统架构图。
本申请中,系统架构设计为四层,具体包括:
1、服务接口层:实现接口技术协议和报文格式的转换操作。
2、业务逻辑层:业务处理步骤按照数据处理流程由一个或多个内存数据集合操作对象组成。
3、数据操作层:内存数据库操作函数封装了对分布式内存数据库系统的基本操作,连接管理对象实现分布式多节点连接管理,索引处理对象实现对内存数据批量查询操作,内存数据集合操作对象封装对内存数据集合操作的所有方法,可通过工具直接生成。
4、数据存储层:实现系统数据存储,包括内存数据、持久化数据及逻辑操作日志文件等。
本方案中,对数据存储层进行了改进,改进之处在于:
将内存数据库设计成多集群、多借点分布式部署。
其中,每个集群的节点对应一个数据同步进程,实现内存数据集群同步和持久化操作,并具备节点监控、数据备份及恢复功能等。
基于上述系统架构,提出了一种数据处理方法,如图2所示,包括:
S1、当接收到事务处理请求时,获取与事务处理请求相对应的处理规则。
其中,事务处理请求包括数据写入请求、数据读取请求;处理规则用于限定集群的访问顺序。与事务处理请求相对应的处理规则包括:数据写入处理规则、数据读取处理规则。
示例性的,若当前集群的数量为四个(分别为A集群、B集群、C集群、D集群),数据写入处理规则限定的集群的访问顺序为:A集群->B集群->C集群->D集群,数据读取处理规则限定的集群的访问顺序为:C集群->B集群->A集群->D集群。
S2、根据处理规则,确定主集群和备用集群。
其中,访问顺序为首位的为主集群,非首位的为备用集群。结合上述示例可知,数据写入处理规则限定的主集群为A集群,B集群、C集群和D集群为备用集群;数据读取处理规则限定的主集群为C集群,A集群、B集群和D集群为备用集群。
S3、在主集群中查询与事务处理请求相对应的节点的状态。
本方案中,可通过一个服务(进程)来探测各个集群中节点的状态,具体方法如下:
1、定时获取各个集群中节点的状态;
2、当集群中的节点故障时,将故障节点的状态设置为不可用。
S4、当主集群中的节点可用时,对节点进行与事务处理请求相对应的数据操作。
当事务处理请求为数据写入请求时,上述步骤S4具体为:
当主集群中的节点可用时,将由数据写入请求而产生的变化数据同步至主集群中对应的节点中。
在主集群的节点同步完成后,还包括如下步骤:
1、当变化数据同步至主集群中对应的节点后,将变化数据同步至其余备份集群中对应的节点中,同时将变化数据同步至持久化数据库中;
本方案中,持久化数据库即为商业关系型数据库Oracle。
2、当变化数据在任一备用集群中对应的节点上同步失败时,生成第一失败日志;
3、定时查询未同步成功的备用集群中对应的节点的状态,当未同步成功的备用集群中对应的节点可用时,根据第一失败日志将变化数据同步至未同步成功的备用集群中对应的节点上;
4、当变化数据在持久化数据库中同步失败时,生成第二失败日志;
5、按照预设定的定时任务,根据第二失败日志将变化数据同步至持久化数据库中。
此外,若在主集群中查询不到与数据写入请求相对应的节点时,本方案还可以包括:
将变化数据同步至主集群的任一可用的节点中。
当事务处理请求为数据读取请求时,上述步骤S4具体为:
当主集群中的节点可用时,在主集群中对应的节点上读取数据读取请求所需的数据。
S5、当主集群中的节点不可用时,按照处理规则在备用集群中查询对应的节点的状态直至获取到可用节点,对可用节点进行与事务处理请求相对应的数据操作。
若当事务处理请求为数据写入请求,与数据写入请求对应的数据写入处理规则限定的主集群为A集群,B集群、C集群和D集群为备用集群,则上述步骤S5具体为:
当A集群中的节点不可用时,按照数据写入规则在B集群中查询对应的节点的状态,若B集群中对应的节点可用,则将数据写入请求产生的变化数据同步至B集群中对应的节点中,若B集群中对应的节点不可用,则按照写入规则查询其他集群中的可用节点,并将数据写入请求产生的变化数据同步至可用节点中。
上述步骤完成后,本方案还包括:
1、当变化数据同步至备用集群中的可用节点后,获取其余未进行数据同步的备用集群中的对应节点的状态;
2、当其余未进行数据同步的备用集群中的对应节点可用时,将变化数据同步至其余未进行数据同步的备用集群中的对应节点中,同时将变化数据同步至持久化数据库中;
3、当变化数据在任一其余未进行数据同步的备用集群中对应的节点上同步失败时,生成第三失败日志;
4、定时查询未同步成功的备用集群中的对应节点的状态,当未同步成功的备用集群中对应的节点可用时,根据第三失败日志将变化数据同步至未同步成功的备用集群中对应的节点上;
5、当变化数据在持久化数据库中同步失败时,生成第四失败日志;
6、按照预设定的定时任务,根据第四失败日志将变化数据同步至持久化数据库中。
此外,当事务处理请求为数据读取请求时,上述步骤S5具体为:
当所述主集群中的节点不可用时,按照处理规则在备用集群中查询对应的节点的状态直至获取到可用节点,在可用节点上读取数据读取请求所需的数据。
本方法可应用于一系统中,如图3、4所示,该系统中部署有两个中心,分别为:生产中心、备灾中心,每一个中心有主、副两个集群,每个集群中有N个节点。
在使用本方案提供的数据处理方法后,当前系统可以实现从备灾中心的主集群的节点2->备灾中心的副集群的节点2->生产中心的主集群的节点2->生产中心的副集群的节点2的访问顺序(1’->2’->3’->4’)来实现数据写入操作,此外,还可以实现从生产中心的主集群的节点1->生产中心的副集群的节点1的访问顺序(1->2)来实现数据读取操作。
如此,当前系统便能做到在内存数据库实例、集群、中心等各级故障的情况下,故障内存数据库节点无感知切换到备用数据库对应集群节点上,保证系统连续稳定的对外提供服务。
实施例二
与实施例一对应,本申请还提供一种数据处理装置,包括:
获取模块,用于当接收到事务处理请求时,获取与事务处理请求相对应的处理规则;根据处理规则,确定主集群和备用集群;
查询模块,用于在主集群中查询与所述事务处理请求相对应的节点的状态;
操作模块,用于当主集群中的节点可用时,对节点进行与事务处理请求相对应的数据操作;
当主集群中的节点不可用时,按照处理规则在备用集群中查询对应的节点的状态直至获取到可用节点,对可用节点进行与事务处理请求相对应的数据操作;
其中,上述处理规则用于限定集群的访问顺序。
优选的,当事务处理请求为数据写入请求时,上述操作模块具体包括第一同步模块,用于:
当主集群中的节点可用时,将由数据写入请求而产生的变化数据同步至主集群中对应的节点中;
上述第一同步模块还用于:当变化数据同步至主集群中对应的节点后,将变化数据同步至其余备份集群中对应的节点中,同时将变化数据同步至持久化数据库中。
优选的,上述装置还包括:
第一生成模块,用于当变化数据在任一备用集群中对应的节点上同步失败时,生成失败日志;
第一定时任务模块,用于定时查询未同步成功的备用集群中对应的节点的状态;
上述第一同步模块还用于当未同步成功的备用集群中对应的节点可用时,根据失败日志将变化数据同步至未同步成功的备用集群中对应的节点上。
优选的,上述装置还包括:
第二生成模块,用于当变化数据在持久化数据库中同步失败时,生成失败日志;
第二定时任务模块,用于按照预设定的定时任务,根据失败日志将变化数据同步至持久化数据库中。
优选的,上述第一同步模块还用于:
当主集群中查询不到与数据写入请求相对应的节点时,将变化数据同步至主集群的任一可用的节点中。
优选的,当事务处理请求为数据写入请求时,上述装置还包括第二同步模块,用于:
当主集群中的节点不可用时,按照处理规则在备用集群中查询对应的节点的状态直至获取到可用节点,将由数据写入请求而产生的变化数据同步至可用节点中;
上述第二同步模块还用于:当变化数据同步至备用集群中的可用节点后,获取其余未进行数据同步的备用集群中的对应节点的状态;
当其余未进行数据同步的备用集群中的对应节点可用时,将变化数据同步至其余未进行数据同步的备用集群中的对应节点中,同时将变化数据同步至持久化数据库中。
优选的,上述装置还包括:
第三生成模块,用于当变化数据在任一其余未进行数据同步的备用集群中的对应节点上同步失败时,生成失败日志;
第三定时任务模块,用于当变化数据在任一其余未进行数据同步的备用集群中的对应节点上同步失败后,定时查询未同步成功的备用集群中的对应节点的状态;
上述第二同步模块还用于当未同步成功的备用集群中的对应节点可用时,根据失败日志将变化数据同步至未同步成功的备用集群中的对应节点上。
优选的,上述装置还包括:
检测模块,用于定时获取各个集群中节点的状态;
当集群中的节点故障时,将故障节点的状态设置为不可用。
优选的,上述主集群数量为一个,所述备用集群的数量为三个。
实施例三
本申请还提供一种计算机系统,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
当接收到事务处理请求时,获取与事务处理请求相对应的处理规则;
根据处理规则,确定主集群和备用集群;
在主集群中查询与事务处理请求相对应的节点的状态;
当主集群中的节点可用时,对节点进行与事务处理请求相对应的数据操作;
当主集群中的节点不可用时,按照处理规则在备用集群中查询对应的节点的状态直至获取到可用节点,对可用节点进行与事务处理请求相对应的数据操作;
其中,上述处理规则用于限定集群的访问顺序。
其中,图5示例性的展示出了计算机系统的架构,具体可以包括处理器32,视频显示适配器34,磁盘驱动器36,输入/输出接口38,网络接口310,以及存储器312。上述处理器32、视频显示适配器34、磁盘驱动器36、输入/输出接口38、网络接口310,与存储器312之间可以通过通信总线314进行通信连接。
其中,处理器32可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本申请所提供的技术方案。
存储器312可以采用ROM(Read Only Memory,只读存储器)、RAM(RandomAccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器312可以存储用于控制计算机系统30运行的操作系统316,用于控制计算机系统的低级别操作的基本输入输出系统(BIOS)318。另外,还可以存储网页浏览器320,数据存储管理系统322等等。总之,在通过软件或者固件来实现本申请所提供的技术方案时,相关的程序代码保存在存储器312中,并由处理器32来调用执行。
输入/输出接口38用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
网络接口310用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
通信总线314包括一通路,在设备的各个组件(例如处理器32、视频显示适配器34、磁盘驱动器36、输入/输出接口38、网络接口310,与存储器312之间传输信息。
另外,该计算机系统还可以从虚拟资源对象领取条件信息数据库中获得具体领取条件的信息,以用于进行条件判断,等等。
需要说明的是,尽管上述设备仅示出了处理器32、视频显示适配器34、磁盘驱动器36、输入/输出接口38、网络接口310,存储器312,通信总线314等,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,云服务端,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
尽管已描述了本发明实施例中的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例中范围的所有变更和修改。另外,上述实施例提供的计算机系统、数据处理装置与数据处理方法属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种数据处理方法,其特征在于,所述方法还包括:
当接收到事务处理请求时,获取与所述事务处理请求相对应的处理规则;
根据所述处理规则,确定主集群和备用集群;
在所述主集群中查询与所述事务处理请求相对应的节点的状态;
当所述主集群中的节点可用时,对所述节点进行与所述事务处理请求相对应的数据操作;
当所述主集群中的节点不可用时,按照所述处理规则在备用集群中查询对应的节点的状态直至获取到可用节点,对所述可用节点进行与所述事务处理请求相对应的数据操作;
其中,所述处理规则用于限定集群的访问顺序。
2.根据权利要求1所述的方法,其特征在于,当所述事务处理请求为数据写入请求时,所述当所述主集群中的节点可用时,对所述节点进行与所述事务处理请求相对应的数据操作具体包括:
当所述主集群中的节点可用时,将由所述数据写入请求而产生的变化数据同步至所述主集群中对应的节点中;
所述方法还包括:
当所述变化数据同步至主集群中对应的节点后,将所述变化数据同步至其余备份集群中对应的节点中,同时将所述变化数据同步至持久化数据库中。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
当所述变化数据在任一备用集群中对应的节点上同步失败时,生成失败日志;
定时查询未同步成功的备用集群中对应的节点的状态,当未同步成功的备用集群中对应的节点可用时,根据所述失败日志将所述变化数据同步至所述未同步成功的备用集群中对应的节点上。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
当所述变化数据在所述持久化数据库中同步失败时,生成失败日志;
按照预设定的定时任务,根据所述失败日志将所述变化数据同步至所述持久化数据库中。
5.根据权利要求2所述的方法,其特征在于,所述方法还包括:
当所述主集群中查询不到与所述数据写入请求相对应的节点时,将由所述数据写入请求而产生的变化数据同步至所述主集群的任一可用的节点中。
6.根据权利要求1所述的方法,其特征在于,当所述事务处理请求为数据写入请求时,所述当所述主集群中的节点不可用时,按照所述处理规则在备用集群中查询对应的节点的状态直至获取到可用节点,对所述可用节点进行与所述事务处理请求相对应的数据操作具体包括:
当所述主集群中的节点不可用时,按照所述处理规则在备用集群中查询对应的节点的状态直至获取到可用节点,将由所述数据写入请求而产生的变化数据同步至所述可用节点中;
所述方法还包括:
当所述变化数据同步至备用集群中的可用节点后,获取其余未进行数据同步的备用集群中的对应节点的状态;
当其余未进行数据同步的备用集群中的对应节点可用时,将所述变化数据同步至所述其余未进行数据同步的备用集群中的对应节点中,同时将所述变化数据同步至持久化数据库中。
7.根据权利要求1~6任意一项所述的方法,其特征在于,所述方法还包括:
定时获取各个集群中节点的状态;
当集群中的节点故障时,将故障节点的状态设置为不可用。
8.根据权利要求1~6任意一项所述的方法,其特征在于,所述主集群数量为一个,所述备用集群的数量为三个。
9.一种数据处理装置,其特征在于,所述装置包括:
获取模块,用于当接收到事务处理请求时,获取与所述事务处理请求相对应的处理规则;根据所述处理规则,确定主集群和备用集群;
查询模块,用于在所述主集群中查询与所述事务处理请求相对应的节点的状态;
操作模块,用于当所述主集群中的节点可用时,对所述节点进行与所述事务处理请求相对应的数据操作;
当所述主集群中的节点不可用时,按照所述处理规则在备用集群中查询对应的节点的状态直至获取到可用节点,对所述可用节点进行与所述事务处理请求相对应的数据操作;
其中,所述处理规则用于限定集群的访问顺序。
10.一种计算机系统,其特征在于,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
当接收到事务处理请求时,获取与所述事务处理请求相对应的处理规则;
根据所述处理规则,确定主集群和备用集群;
在所述主集群中查询与所述事务处理请求相对应的节点的状态;
当所述主集群中的节点可用时,对所述节点进行与所述事务处理请求相对应的数据操作;
当所述主集群中的节点不可用时,按照所述处理规则在备用集群中查询对应的节点的状态直至获取到可用节点,对所述可用节点进行与所述事务处理请求相对应的数据操作;
其中,所述处理规则用于限定集群的访问顺序。
CN202010778531.9A 2020-08-05 2020-08-05 一种数据处理方法、装置、系统 Pending CN112000735A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010778531.9A CN112000735A (zh) 2020-08-05 2020-08-05 一种数据处理方法、装置、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010778531.9A CN112000735A (zh) 2020-08-05 2020-08-05 一种数据处理方法、装置、系统

Publications (1)

Publication Number Publication Date
CN112000735A true CN112000735A (zh) 2020-11-27

Family

ID=73463489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010778531.9A Pending CN112000735A (zh) 2020-08-05 2020-08-05 一种数据处理方法、装置、系统

Country Status (1)

Country Link
CN (1) CN112000735A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112190924A (zh) * 2020-12-04 2021-01-08 腾讯科技(深圳)有限公司 一种数据容灾方法、装置及计算机可读介质
CN113076212A (zh) * 2021-03-29 2021-07-06 青岛特来电新能源科技有限公司 一种集群的管理方法、装置、设备及计算机可读存储介质
CN113590709A (zh) * 2021-06-18 2021-11-02 浙江中控技术股份有限公司 工业数据库集群系统及其数据访问方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425645A (zh) * 2012-05-14 2013-12-04 阿里巴巴集团控股有限公司 数据库集群单点故障的监控系统及方法
US20140258224A1 (en) * 2013-03-11 2014-09-11 Oracle International Corporation Automatic recovery of a failed standby database in a cluster
CN105493474A (zh) * 2013-08-29 2016-04-13 甲骨文国际公司 用于支持用于同步分布式数据网格中的数据的分区级别日志的系统及方法
CN105871987A (zh) * 2015-12-14 2016-08-17 乐视云计算有限公司 数据写入的高可用系统及方法
CN106789362A (zh) * 2017-02-20 2017-05-31 京信通信技术(广州)有限公司 一种设备管理方法及网管系统
CN108123976A (zh) * 2016-11-30 2018-06-05 阿里巴巴集团控股有限公司 集群间的数据备份方法、装置及系统
CN109802986A (zh) * 2017-11-17 2019-05-24 华为技术有限公司 设备管理方法、系统、装置及服务器
CN110309215A (zh) * 2019-04-24 2019-10-08 厦门网宿有限公司 一种数据处理方法、系统及元数据更新方法、系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425645A (zh) * 2012-05-14 2013-12-04 阿里巴巴集团控股有限公司 数据库集群单点故障的监控系统及方法
US20140258224A1 (en) * 2013-03-11 2014-09-11 Oracle International Corporation Automatic recovery of a failed standby database in a cluster
CN105493474A (zh) * 2013-08-29 2016-04-13 甲骨文国际公司 用于支持用于同步分布式数据网格中的数据的分区级别日志的系统及方法
CN105871987A (zh) * 2015-12-14 2016-08-17 乐视云计算有限公司 数据写入的高可用系统及方法
CN108123976A (zh) * 2016-11-30 2018-06-05 阿里巴巴集团控股有限公司 集群间的数据备份方法、装置及系统
CN106789362A (zh) * 2017-02-20 2017-05-31 京信通信技术(广州)有限公司 一种设备管理方法及网管系统
CN109802986A (zh) * 2017-11-17 2019-05-24 华为技术有限公司 设备管理方法、系统、装置及服务器
CN110309215A (zh) * 2019-04-24 2019-10-08 厦门网宿有限公司 一种数据处理方法、系统及元数据更新方法、系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112190924A (zh) * 2020-12-04 2021-01-08 腾讯科技(深圳)有限公司 一种数据容灾方法、装置及计算机可读介质
CN113076212A (zh) * 2021-03-29 2021-07-06 青岛特来电新能源科技有限公司 一种集群的管理方法、装置、设备及计算机可读存储介质
CN113590709A (zh) * 2021-06-18 2021-11-02 浙江中控技术股份有限公司 工业数据库集群系统及其数据访问方法
WO2022262169A1 (zh) * 2021-06-18 2022-12-22 浙江中控技术股份有限公司 工业数据库集群系统及其数据访问方法
CN113590709B (zh) * 2021-06-18 2023-11-14 浙江中控技术股份有限公司 工业数据库集群系统及其数据访问方法

Similar Documents

Publication Publication Date Title
CN109951331B (zh) 用于发送信息的方法、装置和计算集群
CN112000735A (zh) 一种数据处理方法、装置、系统
US9240937B2 (en) Fault detection and recovery as a service
CN110795503A (zh) 分布式存储系统的多集群数据同步方法及相关装置
CN104965850A (zh) 一种基于开源技术的数据库高可用实现方法
CN104679604A (zh) 一种主节点和备节点切换的方法和装置
CN105786405A (zh) 一种在线升级方法、装置及系统
CN111651275A (zh) 一种MySQL集群自动化部署系统及方法
US11748215B2 (en) Log management method, server, and database system
CN110196680B (zh) 数据处理方法、装置及存储介质
CN107861691B (zh) 一种多控存储系统的负载均衡方法和装置
US11102284B2 (en) Service processing methods and systems based on a consortium blockchain network
CN111198662A (zh) 一种数据存储方法、装置和计算机可读存储介质
CN110633046A (zh) 一种分布式系统的存储方法、装置、存储设备及存储介质
CN115562911A (zh) 虚拟机数据备份方法及装置、系统、电子设备、存储介质
CN111240822A (zh) 任务调度方法、装置、系统及存储介质
CN113297173B (zh) 分布式数据库集群管理方法及装置、电子设备
CN112181724B (zh) 大数据容灾方法、装置和电子设备
CN112600690B (zh) 一种配置数据同步方法、装置、设备及存储介质
CN117435569A (zh) 缓存系统动态扩容方法、装置、设备、介质和程序产品
CN112417043A (zh) 数据处理系统及方法
CN112243030A (zh) 分布式存储系统的数据同步方法、装置、设备及介质
CN111488247A (zh) 一种管控节点多次容错的高可用方法及设备
CN115167971A (zh) 一种基于云平台的高可用MySQL部署方法及系统
EP4170519A1 (en) Data synchronization method and device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination