CN109101364A - 双中心双活数据处理系统和方法 - Google Patents
双中心双活数据处理系统和方法 Download PDFInfo
- Publication number
- CN109101364A CN109101364A CN201810805685.5A CN201810805685A CN109101364A CN 109101364 A CN109101364 A CN 109101364A CN 201810805685 A CN201810805685 A CN 201810805685A CN 109101364 A CN109101364 A CN 109101364A
- Authority
- CN
- China
- Prior art keywords
- data
- data center
- center
- dual
- double
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1466—Management of the backup or restore process to make the backup process non-disruptive
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Hardware Redundancy (AREA)
Abstract
本发明公开了一种双中心双活数据处理系统和方法。其中,该方法包括:判断第一数据中心的运行状态是否满足预设业务数据处理条件;在判断结果为否的情况下,将第一数据中心所辖范围内的业务数据切换至第二数据中心进行处理;其中,第一数据中心所处的区域与第二数据中心所处的区域不同,且第一数据中心和第二数据中心互相同步所辖范围内的业务数据。本发明解决了由于现有技术由于同城双活的局限性以及灾备中心的资源利用率低,导致的冷备模式单中心故障的风险的技术问题。
Description
技术领域
本发明涉及互联网技术应用领域,具体而言,涉及一种双中心双活数据处理系统和方法。
背景技术
随着近年大范围自然灾害对数据系统带来的危害,特别是由于自然因素对银行业务系统带来的影响,银行业务领域逐渐意识到数据集中带来的业务连续性问题,因此开启了以同城或异地灾备、多活为核心内容的阶段建设。
现有技术中出于灾备的目的,一般都会建设2个或多个数据中心。一个是主数据中心用于承担用户的业务,一个是备份数据中心用于备份主数据中心的数据、配置、业务等。主备数据中心之间一般有热备、冷备、双活三种备份方式,具体如下:
1)热备的情况下,只有主数据中心承担用户的业务,此时备数据中心对主数据中心进行实时备份,当主数据中心挂掉以后,备数据中心可以自动接管主数据中心的业务,用户的业务不会中断,所以也感觉不到数据中心的切换。
2)冷备的情况下,也只是有主数据中心承担业务,但是备用数据中心不会对主数据中心进行实时备份,这时可能是周期性的备份或者不进行备份,如果主数据中心挂掉,用户的业务就会中断。
3)双活的情况下,备用数据中心做备份使用效率太孤单一,所以让主备两个数据中心同时承担用户的业务,此时主备两个数据中心互为备份,并且进行实时备份。
现有技术中的同城双活双数据中心灾备描述如下:
1)同城双活是整合距离相对较近的两个数据中心的计算、存储和网络资源,实现高度灵活的负载分配,结合数据中心内部的高可用机制,为业务连续性提供最高级别保障。
2)异地灾备正常情况下只有主数据中心投入运行,备数据中心处于待命状态。发生灾难时,灾备数据中心可以短时间内恢复业务并投入运行,减轻灾难带来的损失。
3)双活数据中心是两个数据中心的应用都处于活动状态,都有业务对外提供服务且互为备份。但出于技术成熟度、成本等因素考虑,数据库采用的是主备方式部署,多采用数据库实时应用集群Oracle RAC实现跨站点部署。数据库读写操作只在主中心运行,灾备中心进行数据同步。
由上述可知,现有技术中同城双活对于距离存在限制性,并在灾备中心建设过程中需要巨大的投资且运维成本高昂,正常情况下灾备中心不对外服务,在系统资源利用率上造成了巨大的浪费,以及冷备方式在主数据中心挂掉的情况下引发业务中断的风险。
针对上述由于现有技术由于同城双活的局限性以及灾备中心的资源利用率低,导致的冷备模式单中心故障的风险的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种双中心双活数据处理系统和方法,以至少解决由于现有技术由于同城双活的局限性以及灾备中心的资源利用率低,导致的冷备模式单中心故障的风险的技术问题。
根据本发明实施例的一个方面,提供了一种双中心双活数据处理系统,包括:第一客户端模块、第二客户端模块、第一数据中心和第二数据中心,其中,第一客户端模块分别与第一数据中心和第二数据中心连接,其中,第一客户端模块与第一数据中心位于同一区域,用于与第一数据中心进行业务数据交互,并通过与第二数据中心建立的链路为备用链路;第二客户端模块分别与第一数据中心和第二数据中心连接,其中,第二客户端模块与第二数据中心位于同一区域,用于与第二数据中心进行业务数据交互,并通过与第一数据中心建立的链路为备用链路;其中,第一数据中心所处的区域与第二数据中心所处的区域不同,且第一数据中心和第二数据中心互相同步所辖范围内的业务数据。
可选的,第一客户端模块和第二客户端模块分别包括:授权中心授权端和网点授权申请端,其中,第一客户端模块的授权中心授权端和网点授权申请端分别与第一数据中心和第二数据中心通过预设方式连接;第二客户端模块的授权中心授权端和网点授权申请端分别与第一数据中心和第二数据中心通过预设方式连接;其中,预设方式包括:双链路长链接方式。
可选的,第一数据中心和第二数据中心分别包括:日间数据同步模块、日终模块、监控模块和切换模块,其中,日间数据同步模块,用于对第一数据中心和第二数据中心之间进行业务数据之间的同步;日终模块,用于校对和补充日间数据同步模块同步的业务数据;监控模块,用于监控第一数据中心和第二数据中心的运行状态;切换模块,用于在监控模块监测到第一数据中心发生故障的情况下,将第一数据中心所辖范围内的业务数据切换至第二数据中心;或,在监控模块监测到第二数据中心发生故障的情况下,将第二数据中心所辖范围内的业务数据切换至第一数据中心。
进一步地,可选的,日间数据同步模块包括:数据获取单元,用于采用定时器触发方式,获取需要执行的同步任务,多线程并发执行抽取,采集本地数据中心变动的交易数据;登记单元,用于对采集结果进行数据分批处理,登记批次信息到同步库;同步单元,用于进行报文组装,通过Socket发送至目标数据中心;接收单元,用于接收目标数据中心返回的批次信息;应答单元,用于返回应答报文至目标数据中心,并更新批次处理状态;以使得目标数据中心根据接收到的应答报文生成文件备份,并通过多线程并发进行数据存储;其中,目标数据中心包括:第一数据中心或第二数据中心。
可选的,日终模块包括:校对单元,用于对日间数据同步模块同步的数据进行校对和补充,采用将数据通过文件的形式上传到数据共享系统,各数据中心根据通知消息从数据共享系统下载文件并将数据核对入库的流程。
根据本发明实施例的另一个方面,提供了一种双中心双活数据处理方法,包括:判断第一数据中心的运行状态是否满足预设业务数据处理条件;在判断结果为否的情况下,将第一数据中心所辖范围内的业务数据切换至第二数据中心进行处理;其中,第一数据中心所处的区域与第二数据中心所处的区域不同,且第一数据中心和第二数据中心互相同步所辖范围内的业务数据。
可选的,在判断第一数据中心的运行状态是否满足预设业务数据处理条件之前,该方法还包括:在第一数据中心所辖范围内包括第一客户端模块的情况下,将第一客户端的授权中心授权端和网点授权申请端分别与第一数据中心和第二数据中心通过预设方式连接;将第一数据中心中变动的交易数据与第二数据中心进行同步。
进一步地,可选的,将第一客户端的授权中心授权端和网点授权申请端分别与第一数据中心和第二数据中心通过预设方式连接包括:配置第一客户端模块与第一数据中心之间的链路为主链路,并配置第一客户端模块与第二数据中心之间的链路为备链路。
可选的,将第一数据中心中变动的交易数据与第二数据中心进行同步包括:采用定时器触发方式,获取需要执行的同步任务,多线程并发执行抽取,采集第一数据中心变动的交易数据;对采集结果进行数据分批处理,登记批次信息到同步库;对采集结果进行报文组装,通过Socket发送至第二数据中心;接收第二数据中心返回的批次信息;返回应答报文至第二数据中心,并更新批次处理状态;以使得第二数据中心根据接收到的应答报文生成文件备份,并通过多线程并发进行数据存储。
进一步地,可选的,在更新批次处理状态之后,该方法还包括:对同步的数据进行校对和补充,将数据通过文件的形式上传到数据共享系统,以使得各数据中心根据通知消息从数据共享系统下载文件并将数据核对入库的流程。
可选的,同步的数据包括:日间实时同步数据、日间准实时同步数据、日终同步数据或日终数据量核对数据,其中,日间准实时同步数据包括:及时入库数据和非及时入库数据;日终同步数据包括:增量同步数据和全量同步数据。
根据本发明实施例的又一个方面,提供了一种存储介质,存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行上述双中心双活数据处理方法。
根据本发明实施例的再一个方面,提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述双中心双活数据处理方法。
根据本发明另一实施例的一个方面,提供了一种终端,包括:处理器;以及存储器,与处理器连接,用于为处理器提供处理以下处理步骤的指令:判断第一数据中心的运行状态是否满足预设业务数据处理条件;在判断结果为否的情况下,将第一数据中心所辖范围内的业务数据切换至第二数据中心进行处理;其中,第一数据中心所处的区域与第二数据中心所处的区域不同,且第一数据中心和第二数据中心互相同步所辖范围内的业务数据。
在本发明实施例中,通过第一客户端模块、第二客户端模块、第一数据中心和第二数据中心,其中,第一客户端模块分别与第一数据中心和第二数据中心连接,其中,第一客户端模块与第一数据中心位于同一区域,用于与第一数据中心进行业务数据交互,并通过与第二数据中心建立的链路为备用链路;第二客户端模块分别与第一数据中心和第二数据中心连接,其中,第二客户端模块与第二数据中心位于同一区域,用于与第二数据中心进行业务数据交互,并通过与第一数据中心建立的链路为备用链路;其中,第一数据中心所处的区域与第二数据中心所处的区域不同,且第一数据中心和第二数据中心互相同步所辖范围内的业务数据,达到了双中心数据远程互备的目的,从而实现了业务连续性和稳定性的技术效果,进而解决了由于现有技术由于同城双活的局限性以及灾备中心的资源利用率低,导致的冷备模式单中心故障的风险的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种双中心双活数据处理系统的结构示意图;
图2是根据本发明实施例的另一种双中心双活数据处理系统的结构示意图;
图3是根据本发明实施例的另一种双中心双活数据处理系统中第一客户端模块和第二客户端模块的结构示意图;
图4是根据本发明实施例的另一种双中心双活数据处理系统中第一数据中心切换至第二数据中心的示意图;
图5是根据本发明实施例的另一种双中心双活数据处理系统中数据同步的示意图;
图6是根据本发明实施例的另一种双中心双活数据处理系统中日终同步功能的示意图;
图7是根据本发明实施例的双中心双活数据处理方法的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
根据本发明实施例,提供了一种双中心双活数据处理系统实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种双中心双活数据处理系统的结构示意图,如图1所示,该双中心双活数据处理系统包括:
第一客户端模块12、第二客户端模块14、第一数据中心16和第二数据中心18,其中,第一客户端模块12分别与第一数据中心16和第二数据中心18连接,其中,第一客户端模块12与第一数据中心16位于同一区域,用于与第一数据中心16进行业务数据交互,并通过与第二数据中心18建立的链路为备用链路;第二客户端模块14分别与第一数据中心16和第二数据中心18连接,其中,第二客户端模块14与第二数据中心18位于同一区域,用于与第二数据中心18进行业务数据交互,并通过与第一数据中心16建立的链路为备用链路;其中,第一数据中心16所处的区域与第二数据中心18所处的区域不同,且第一数据中心16和第二数据中心18互相同步所辖范围内的业务数据。
具体的,本申请提供的双中心双活数据处理系统具体可以用于银行业,其中,针对同城双活的局限性、提高灾备中心的资源利用率及解决冷备模式单中心故障的风险,本申请提供的双中心双活数据处理系统实现了基于应用的远程异地双中心双活。
这里双中心完全独立,可分别对外提供服务。每个中心配置有独立的联机数据库,登记重要信息,并实现双中心间数据双向准实时同步。如图2所示,图2是根据本发明实施例的另一种双中心双活数据处理系统的结构示意图,其中,双中心双活数据处理系统结构具体如图2所示。
在本发明实施例中,通过第一客户端模块、第二客户端模块、第一数据中心和第二数据中心,其中,第一客户端模块分别与第一数据中心和第二数据中心连接,其中,第一客户端模块与第一数据中心位于同一区域,用于与第一数据中心进行业务数据交互,并通过与第二数据中心建立的链路为备用链路;第二客户端模块分别与第一数据中心和第二数据中心连接,其中,第二客户端模块与第二数据中心位于同一区域,用于与第二数据中心进行业务数据交互,并通过与第一数据中心建立的链路为备用链路;其中,第一数据中心所处的区域与第二数据中心所处的区域不同,且第一数据中心和第二数据中心互相同步所辖范围内的业务数据,达到了双中心数据远程互备的目的,从而实现了业务连续性和稳定性的技术效果,进而解决了由于现有技术由于同城双活的局限性以及灾备中心的资源利用率低,导致的冷备模式单中心故障的风险的技术问题。
可选的,第一客户端模块12和第二客户端模块14分别包括:授权中心授权端和网点授权申请端,其中,第一客户端模块12的授权中心授权端和网点授权申请端分别与第一数据中心16和第二数据中心18通过预设方式连接;第二客户端模块14的授权中心授权端和网点授权申请端分别与第一数据中心16和第二数据中心18通过预设方式连接;其中,预设方式包括:双链路长链接方式。、
具体的,如图3所示,图3是根据本发明实施例的另一种双中心双活数据处理系统中第一客户端模块和第二客户端模块的结构示意图。其中,第一客户端模块12在图3中可以表示为北方省的省内A授权中心(即,本申请提供的授权中心授权端)和省内A组网点(即,本申请提供的网点授权申请端),第二客户端模块14在图3中可以表示为南方省的省内B授权中心(即,本申请提供的授权中心授权端)和省内B组网点(即,本申请提供的网点授权申请端)。
第一数据中心16可以表示为网点授权集中系统(亦庄数据中心),第二数据中心18可以表示为网点授权集中系统(合肥数据中心),第一客户端模块12和第二客户端模块14中的授权中心授权端分别通过长链接以主备链路的形式分别与第一数据中心16和第二数据中心18连接,同理,网点授权申请端也以同样的方式分别与第一数据中心16和第二数据中心18连接。
这里如图3所示,第一客户端模块12和第二客户端模块14(包括授权中心授权端和网点授权申请端)分别和第一数据中心16和第二数据中心18建立链接,且全国划分为两个区域,分别接入两个数据中心,并且互相作为备用中心,并以省为单位建立长连接,同一省的申请端和授权端链接同一个数据中心,根据省别与中心对应关系决定交易应该发往的数据中心,切换时也是以省为单位切换到另一个数据中心。
切换流程见图4,图4是根据本发明实施例的另一种双中心双活数据处理系统中第一数据中心切换至第二数据中心的示意图,如图4所示,任何一个数据中出现系统故障时,监控人员立即发送切换标志;将故障数据中心的所有授权端、申请端、外系统连接、任务调度均切换到另一未故障数据中心,保障交易继续进行。
可选的,第一数据中心16和第二数据中心18分别包括:日间数据同步模块、日终模块、监控模块和切换模块,其中,日间数据同步模块,用于对第一数据中心16和第二数据中心18之间进行业务数据之间的同步;日终模块,用于校对和补充日间数据同步模块同步的业务数据;监控模块,用于监控第一数据中心16和第二数据中心18的运行状态;切换模块,用于在监控模块监测到第一数据中心16发生故障的情况下,将第一数据中心16所辖范围内的业务数据切换至第二数据中心18;或,在监控模块监测到第二数据中心18发生故障的情况下,将第二数据中心18所辖范围内的业务数据切换至第一数据中心16。
具体的,在本申请中数据同步负责双中心之间数据同步,包括日间实时同步、日间准实时同步(及时入库和非及时入库)、日终数据同步(增量同步和全量同步)、日终数据量核对机制,还可通过WEB页面进行手工同步、同步服务维护和同步失败记录查询。
其中,监控模块和切换模块中,监控模块,用于监控服务负责监控系统运行情况,当发现一个中心故障,需要在目标中心发起切换操作。
切换模块,用于从监控系统灾备切换平台发起切换指令,切换启动时需更高层级系统用户复核切换信息后正式启动,切换步骤实现可配置化管理,启动程序逐步或并发启动切换步骤。切换步骤包括客户端长链接切换、内部子系统互联切换及关联系统的切换。其中,切换处理进度可实时监控,如果在切换过程中个别步骤出现异常,可通过单个步骤重新执行。
首先双中心同步服务建立Socket长链接;通过配置管理需要同步的表和关键信息,自动创建同步任务。
进一步地,可选的,日间数据同步模块包括:数据获取单元,用于采用定时器触发方式,获取需要执行的同步任务,多线程并发执行抽取,采集本地数据中心变动的交易数据;登记单元,用于对采集结果进行数据分批处理,登记批次信息到同步库;同步单元,用于进行报文组装,通过Socket发送至目标数据中心;接收单元,用于接收目标数据中心返回的批次信息;应答单元,用于返回应答报文至目标数据中心,并更新批次处理状态;以使得目标数据中心根据接收到的应答报文生成文件备份,并通过多线程并发进行数据存储;其中,目标数据中心包括:第一数据中心或第二数据中心。
具体的,图5是根据本发明实施例的另一种双中心双活数据处理系统中数据同步的示意图,如图5所示:
1,采用定时器触发方式,获取需要执行的同步任务,多线程并发执行抽取,采集本中心变动的交易数据;
2,对采集结果进行数据分批处理,登记批次信息到同步库;
3,进行报文组装,通过Socket发送至目标数据中心;
4,接收方记录接收批次信息;
5,返回接收应答至发送方,同时发送方更新批次处理状态;
6,将接收报文落地生成文件备份;
7,多线程并发进行数据存储,实现数据的远程互备;
8,日终进行增量同步、全量同步和数据量核对,确保双中心数据完整。
可选的,日终模块包括:校对单元,用于对日间数据同步模块同步的数据进行校对和补充,采用将数据通过文件的形式上传到数据共享系统,各数据中心根据通知消息从数据共享系统下载文件并将数据核对入库的流程。
具体的,图6是根据本发明实施例的另一种双中心双活数据处理系统中日终同步功能的示意图,如图6所示,本申请提供的双中心日终同步是对日间数据同步的校对和补充,采用将数据通过文件的形式上传到数据共享系统,对方中心根据通知消息从数据共享系统下载文件并将数据核对入库的流程,更全面的对标数和双中心的业务数据、报表数据等进行日终增量、全量同步,同时对数据量进行核对,保障了双中心核心数据的完整性。当一个中心发生故障切换到另一个中心时,日终同步功能为保证业务的正常开展和延续打下更坚实基础。
本申请提供的双中心双活数据处理系统解决同城双活对于距离的限制性;提高了资源利用率,因现有技术中灾备中心建设的投资巨大且运维成本高昂,正常情况下灾备中心不对外服务,避免了巨大浪费;并且,避免了冷备方式在主数据中心挂掉的情况下引发业务中断的风险;解决单中心故障造成系统宕机的灾难性后果的缺陷;同时采用负载均衡、数据同步等技术手段,实现了异地双中心双活,实现双中心有效均衡、互备,分散单中心系统运行压力与风险;实现了跨数据中心的无缝切换,确保了任何一个数据中心发生故障时,可以灵活有效地将故障中心承担的工作平稳切换至另一中心,保障业务开展的连续性和实时性。
需要说明的是本申请提供的双中心双活数据处理系统中双中心无缝切换,避免了单中心故障造成系统宕机,有效解决面向中心级的应用系统故障所带来的灾难性后果,提高系统的可靠性;并保障了业务连续性和稳定性,故障无感知,提高用户服务体验度。
实施例二
根据本发明实施例的另一个方面,提供了一种双中心双活数据处理方法,图7是根据本发明实施例的双中心双活数据处理方法的流程示意图,如图7所示,包括:
步骤S702,判断第一数据中心的运行状态是否满足预设业务数据处理条件;
步骤S704,在判断结果为否的情况下,将第一数据中心所辖范围内的业务数据切换至第二数据中心进行处理;
其中,第一数据中心所处的区域与第二数据中心所处的区域不同,且第一数据中心和第二数据中心互相同步所辖范围内的业务数据。
具体的,本申请提供的双中心双活数据处理方法对应于实施例1提供的双中心双活数据处理系统,可以用于银行业,其中,针对同城双活的局限性、提高灾备中心的资源利用率及解决冷备模式单中心故障的风险,本申请提供的双中心双活数据处理系统实现了基于应用的远程异地双中心双活。
这里双中心完全独立,可分别对外提供服务。每个中心配置有独立的联机数据库,登记重要信息,并实现双中心间数据双向准实时同步。
在本发明实施例中,通过判断第一数据中心的运行状态是否满足预设业务数据处理条件;在判断结果为否的情况下,将第一数据中心所辖范围内的业务数据切换至第二数据中心进行处理;其中,第一数据中心所处的区域与第二数据中心所处的区域不同,且第一数据中心和第二数据中心互相同步所辖范围内的业务数据,达到了双中心数据远程互备的目的,从而实现了业务连续性和稳定性的技术效果,进而解决了由于现有技术由于同城双活的局限性以及灾备中心的资源利用率低,导致的冷备模式单中心故障的风险的技术问题。
可选的,在步骤S702中判断第一数据中心的运行状态是否满足预设业务数据处理条件之前,本申请提供的双中心双活数据处理方法还包括:
步骤S700,在第一数据中心所辖范围内包括第一客户端模块的情况下,将第一客户端的授权中心授权端和网点授权申请端分别与第一数据中心和第二数据中心通过预设方式连接;
步骤S701,将第一数据中心中变动的交易数据与第二数据中心进行同步。
进一步地,可选的,步骤S700中将第一客户端的授权中心授权端和网点授权申请端分别与第一数据中心和第二数据中心通过预设方式连接包括:
Step1,配置第一客户端模块与第一数据中心之间的链路为主链路,并配置第一客户端模块与第二数据中心之间的链路为备链路。
可选的,步骤S701中将第一数据中心中变动的交易数据与第二数据中心进行同步包括:
Step1,采用定时器触发方式,获取需要执行的同步任务,多线程并发执行抽取,采集第一数据中心变动的交易数据;
Step2,对采集结果进行数据分批处理,登记批次信息到同步库;
Step3,对采集结果进行报文组装,通过Socket发送至第二数据中心;
Step4,接收第二数据中心返回的批次信息;
Step5,返回应答报文至第二数据中心,并更新批次处理状态;以使得第二数据中心根据接收到的应答报文生成文件备份,并通过多线程并发进行数据存储。
进一步地,可选的,在步骤S701中Step5中的更新批次处理状态之后,本申请提供的双中心双活数据处理方法还包括:
Step6,对同步的数据进行校对和补充,将数据通过文件的形式上传到数据共享系统,以使得各数据中心根据通知消息从数据共享系统下载文件并将数据核对入库的流程。
可选的,同步的数据包括:日间实时同步数据、日间准实时同步数据、日终同步数据或日终数据量核对数据,其中,日间准实时同步数据包括:及时入库数据和非及时入库数据;日终同步数据包括:增量同步数据和全量同步数据。
实施例三
根据本发明实施例的又一个方面,提供了一种存储介质,存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行上述实施例二中的双中心双活数据处理方法。
实施例四
根据本发明实施例的再一个方面,提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述实施例二中的双中心双活数据处理方法。
实施例五
根据本发明另一实施例的一个方面,提供了一种终端,包括:处理器;以及存储器,与处理器连接,用于为处理器提供处理以下处理步骤的指令:判断第一数据中心的运行状态是否满足预设业务数据处理条件;在判断结果为否的情况下,将第一数据中心所辖范围内的业务数据切换至第二数据中心进行处理;其中,第一数据中心所处的区域与第二数据中心所处的区域不同,且第一数据中心和第二数据中心互相同步所辖范围内的业务数据。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种双中心双活数据处理系统,其特征在于,包括:
第一客户端模块、第二客户端模块、第一数据中心和第二数据中心,其中,
所述第一客户端模块分别与所述第一数据中心和所述第二数据中心连接,其中,所述第一客户端模块与所述第一数据中心位于同一区域,用于与所述第一数据中心进行业务数据交互,并通过与所述第二数据中心建立的链路为备用链路;
所述第二客户端模块分别与所述第一数据中心和所述第二数据中心连接,其中,所述第二客户端模块与所述第二数据中心位于同一区域,用于与所述第二数据中心进行业务数据交互,并通过与所述第一数据中心建立的链路为备用链路;
其中,所述第一数据中心所处的区域与所述第二数据中心所处的区域不同,且所述第一数据中心和所述第二数据中心互相同步所辖范围内的业务数据。
2.根据权利要求1所述的双中心双活数据处理系统,其特征在于,所述第一客户端模块和所述第二客户端模块分别包括:授权中心授权端和网点授权申请端,其中,
所述第一客户端模块的授权中心授权端和网点授权申请端分别与所述第一数据中心和所述第二数据中心通过预设方式连接;
所述第二客户端模块的授权中心授权端和网点授权申请端分别与所述第一数据中心和所述第二数据中心通过预设方式连接;
其中,所述预设方式包括:双链路长链接方式。
3.根据权利要求1所述的双中心双活数据处理系统,其特征在于,所述第一数据中心和第二数据中心分别包括:日间数据同步模块、日终模块、监控模块和切换模块,其中,
所述日间数据同步模块,用于对所述第一数据中心和所述第二数据中心之间进行业务数据之间的同步;
所述日终模块,用于校对和补充所述日间数据同步模块同步的业务数据;
所述监控模块,用于监控所述第一数据中心和所述第二数据中心的运行状态;
所述切换模块,用于在所述监控模块监测到所述第一数据中心发生故障的情况下,将所述第一数据中心所辖范围内的业务数据切换至所述第二数据中心;或,在所述监控模块监测到所述第二数据中心发生故障的情况下,将所述第二数据中心所辖范围内的业务数据切换至所述第一数据中心。
4.根据权利要求3所述的双中心双活数据处理系统,其特征在于,所述日间数据同步模块包括:
数据获取单元,用于采用定时器触发方式,获取需要执行的同步任务,多线程并发执行抽取,采集本地数据中心变动的交易数据;
登记单元,用于对采集结果进行数据分批处理,登记批次信息到同步库;
同步单元,用于进行报文组装,通过Socket发送至目标数据中心;
接收单元,用于接收所述目标数据中心返回的批次信息;
应答单元,用于返回应答报文至所述目标数据中心,并更新批次处理状态;以使得所述目标数据中心根据接收到的应答报文生成文件备份,并通过多线程并发进行数据存储;
其中,所述目标数据中心包括:所述第一数据中心或所述第二数据中心。
5.根据权利要求3所述的双中心双活数据处理系统,其特征在于,所述所述日终模块包括:
校对单元,用于对所述日间数据同步模块同步的数据进行校对和补充,采用将数据通过文件的形式上传到数据共享系统,各数据中心根据通知消息从所述数据共享系统下载文件并将数据核对入库的流程。
6.一种双中心双活数据处理方法,其特征在于,包括:
判断第一数据中心的运行状态是否满足预设业务数据处理条件;
在判断结果为否的情况下,将所述第一数据中心所辖范围内的业务数据切换至第二数据中心进行处理;
其中,所述第一数据中心所处的区域与所述第二数据中心所处的区域不同,且所述第一数据中心和所述第二数据中心互相同步所辖范围内的业务数据。
7.根据权利要求6所述的双中心双活数据处理方法,其特征在于,在所述判断第一数据中心的运行状态是否满足预设业务数据处理条件之前,所述方法还包括:
在所述第一数据中心所辖范围内包括第一客户端模块的情况下,将所述第一客户端的授权中心授权端和网点授权申请端分别与所述第一数据中心和所述第二数据中心通过预设方式连接;
将所述第一数据中心中变动的交易数据与所述第二数据中心进行同步。
8.根据权利要求7所述的双中心双活数据处理方法,其特征在于,所述将所述第一客户端的授权中心授权端和网点授权申请端分别与所述第一数据中心和所述第二数据中心通过预设方式连接包括:
配置所述第一客户端模块与所述第一数据中心之间的链路为主链路,并配置所述第一客户端模块与所述第二数据中心之间的链路为备链路。
9.根据权利要求7所述的双中心双活数据处理方法,其特征在于,所述将所述第一数据中心中变动的交易数据与所述第二数据中心进行同步包括:
采用定时器触发方式,获取需要执行的同步任务,多线程并发执行抽取,采集所述第一数据中心变动的交易数据;
对采集结果进行数据分批处理,登记批次信息到同步库;
对所述采集结果进行报文组装,通过Socket发送至所述第二数据中心;
接收所述第二数据中心返回的批次信息;
返回应答报文至所述第二数据中心,并更新批次处理状态;以使得所述第二数据中心根据接收到的应答报文生成文件备份,并通过多线程并发进行数据存储。
10.根据权利要求9所述的双中心双活数据处理方法,其特征在于,在所述更新批次处理状态之后,所述方法还包括:
对同步的数据进行校对和补充,将所述数据通过文件的形式上传到数据共享系统,以使得各数据中心根据通知消息从所述数据共享系统下载文件并将数据核对入库的流程。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810805685.5A CN109101364B (zh) | 2018-07-20 | 2018-07-20 | 双中心双活数据处理系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810805685.5A CN109101364B (zh) | 2018-07-20 | 2018-07-20 | 双中心双活数据处理系统和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109101364A true CN109101364A (zh) | 2018-12-28 |
CN109101364B CN109101364B (zh) | 2022-02-15 |
Family
ID=64847010
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810805685.5A Active CN109101364B (zh) | 2018-07-20 | 2018-07-20 | 双中心双活数据处理系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109101364B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109901949A (zh) * | 2019-02-25 | 2019-06-18 | 中国工商银行股份有限公司 | 双活数据中心的应用灾备系统及方法 |
CN110166524A (zh) * | 2019-04-12 | 2019-08-23 | 陆金所(上海)科技服务有限公司 | 数据中心的切换方法、装置、设备及存储介质 |
CN110795280A (zh) * | 2019-09-11 | 2020-02-14 | 杭州衣科信息技术有限公司 | 一种基于mysql异步双向的异地双活容灾系统 |
CN111178911A (zh) * | 2019-12-26 | 2020-05-19 | 朗新科技集团股份有限公司 | 一种基于双活技术的客服工单处理方法及系统 |
CN111371535A (zh) * | 2020-02-27 | 2020-07-03 | 广东南粤银行股份有限公司 | 一种异地主备数据中心灾备系统及切换方法 |
CN111767151A (zh) * | 2020-07-08 | 2020-10-13 | 中国工商银行股份有限公司 | 批量负载处理方法、批量系统、计算机系统和介质 |
CN114253620A (zh) * | 2021-12-27 | 2022-03-29 | 中国建设银行股份有限公司 | 主机系统切换方法、装置、电子设备及计算机存储介质 |
WO2022116828A1 (en) * | 2020-12-03 | 2022-06-09 | International Business Machines Corporation | Batch job performance improvement in active-active architecture |
CN115396296A (zh) * | 2022-08-18 | 2022-11-25 | 中电金信软件有限公司 | 业务处理方法、装置、电子设备及计算机可读存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104331254A (zh) * | 2014-11-05 | 2015-02-04 | 浪潮电子信息产业股份有限公司 | 一种基于双活逻辑卷的存储双活系统设计方法 |
CN105988894A (zh) * | 2015-02-10 | 2016-10-05 | 北京中科同向信息技术有限公司 | 一种双活模式的容灾技术 |
WO2017034596A1 (en) * | 2015-08-21 | 2017-03-02 | Hewlett Packard Enterprise Development Lp | Virtual machine storage management |
CN106487486A (zh) * | 2016-10-18 | 2017-03-08 | 泰康保险集团股份有限公司 | 业务处理方法和数据中心系统 |
CN106506588A (zh) * | 2016-09-23 | 2017-03-15 | 北京许继电气有限公司 | 多地多中心的数据中心双活方法和系统 |
CN107659661A (zh) * | 2017-10-24 | 2018-02-02 | 宁波森浦信息技术有限公司 | 一种金融实时总线系统及其控制方法 |
CN107766175A (zh) * | 2017-09-07 | 2018-03-06 | 中国光大银行股份有限公司信用卡中心 | 一种用于银行的数据处理系统 |
CN108116456A (zh) * | 2017-12-18 | 2018-06-05 | 湖南中车时代通信信号有限公司 | 用于异地备份列车运行监控装置数据的存储系统 |
-
2018
- 2018-07-20 CN CN201810805685.5A patent/CN109101364B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104331254A (zh) * | 2014-11-05 | 2015-02-04 | 浪潮电子信息产业股份有限公司 | 一种基于双活逻辑卷的存储双活系统设计方法 |
CN105988894A (zh) * | 2015-02-10 | 2016-10-05 | 北京中科同向信息技术有限公司 | 一种双活模式的容灾技术 |
WO2017034596A1 (en) * | 2015-08-21 | 2017-03-02 | Hewlett Packard Enterprise Development Lp | Virtual machine storage management |
CN106506588A (zh) * | 2016-09-23 | 2017-03-15 | 北京许继电气有限公司 | 多地多中心的数据中心双活方法和系统 |
CN106487486A (zh) * | 2016-10-18 | 2017-03-08 | 泰康保险集团股份有限公司 | 业务处理方法和数据中心系统 |
CN107766175A (zh) * | 2017-09-07 | 2018-03-06 | 中国光大银行股份有限公司信用卡中心 | 一种用于银行的数据处理系统 |
CN107659661A (zh) * | 2017-10-24 | 2018-02-02 | 宁波森浦信息技术有限公司 | 一种金融实时总线系统及其控制方法 |
CN108116456A (zh) * | 2017-12-18 | 2018-06-05 | 湖南中车时代通信信号有限公司 | 用于异地备份列车运行监控装置数据的存储系统 |
Non-Patent Citations (2)
Title |
---|
YU JUN;YANG LIHONG: "The Cloud Technology Double Live Data Center Information System Research and Design Based on Disaster Recovery Platform", 《PROCEDIA ENGINEERING》 * |
吴礼乐: "基于双活容灾存储技术的云计算数据中心的设计及应用", 《电子设计工程》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109901949A (zh) * | 2019-02-25 | 2019-06-18 | 中国工商银行股份有限公司 | 双活数据中心的应用灾备系统及方法 |
CN110166524A (zh) * | 2019-04-12 | 2019-08-23 | 陆金所(上海)科技服务有限公司 | 数据中心的切换方法、装置、设备及存储介质 |
CN110795280A (zh) * | 2019-09-11 | 2020-02-14 | 杭州衣科信息技术有限公司 | 一种基于mysql异步双向的异地双活容灾系统 |
CN111178911A (zh) * | 2019-12-26 | 2020-05-19 | 朗新科技集团股份有限公司 | 一种基于双活技术的客服工单处理方法及系统 |
CN111371535A (zh) * | 2020-02-27 | 2020-07-03 | 广东南粤银行股份有限公司 | 一种异地主备数据中心灾备系统及切换方法 |
CN111767151A (zh) * | 2020-07-08 | 2020-10-13 | 中国工商银行股份有限公司 | 批量负载处理方法、批量系统、计算机系统和介质 |
CN111767151B (zh) * | 2020-07-08 | 2023-09-15 | 中国工商银行股份有限公司 | 批量负载处理方法、批量系统、计算机系统和介质 |
WO2022116828A1 (en) * | 2020-12-03 | 2022-06-09 | International Business Machines Corporation | Batch job performance improvement in active-active architecture |
US11461315B2 (en) | 2020-12-03 | 2022-10-04 | International Business Machines Corporation | Batch job performance improvement in active-active architecture |
GB2617015A (en) * | 2020-12-03 | 2023-09-27 | Ibm | Batch job performance immprovement in active-active architecture |
CN114253620A (zh) * | 2021-12-27 | 2022-03-29 | 中国建设银行股份有限公司 | 主机系统切换方法、装置、电子设备及计算机存储介质 |
CN115396296A (zh) * | 2022-08-18 | 2022-11-25 | 中电金信软件有限公司 | 业务处理方法、装置、电子设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109101364B (zh) | 2022-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109101364A (zh) | 双中心双活数据处理系统和方法 | |
CN102685237B (zh) | 一种集群环境下请求会话保持与调度的方法 | |
CN109507866A (zh) | 一种基于网络地址漂移技术的双机冗余系统及方法 | |
CN100426751C (zh) | 保证集群系统中配置信息一致的方法 | |
CN102724313B (zh) | 基于云计算的集群式桥梁运营安全监控系统 | |
CN103036719A (zh) | 一种基于主备集群服务器的跨地区服务容灾方法及装置 | |
CN106383770B (zh) | 一种服务器监控管理的方法及服务器 | |
CN105406980A (zh) | 一种多节点备份方法及装置 | |
CN109474465A (zh) | 一种基于服务器集群的可动态流转的高可用性的实现方法和系统 | |
CN105306605B (zh) | 一种双主机服务器系统 | |
CN107766502A (zh) | 一种Oracle RAC数据库容灾切换演练方法 | |
CN110221938A (zh) | 电子装置、区块链共识的方法及存储介质 | |
CN105516292A (zh) | 一种智能变电站云平台的热备方法 | |
CN113535391B (zh) | 跨域大数据平台的分布式集群状态信息管理方法及系统 | |
CN109445809A (zh) | 列车自动监控ats子系统软件自动升级方法及系统 | |
CN104618255A (zh) | 一种前置采集服务系统及数据处理方法 | |
CN109194514A (zh) | 一种双机监测方法、装置、服务器及存储介质 | |
CN107147529A (zh) | 一种数据容灾系统及方法 | |
CN105988894A (zh) | 一种双活模式的容灾技术 | |
CN107979651A (zh) | 一种基于云平台的新型城市轨道交通自动售检票系统 | |
CN109656753A (zh) | 一种应用于轨道交通综合监控系统的冗余热备系统 | |
CN104767794A (zh) | 一种分布式系统中的节点选举方法及节点 | |
CN101957783A (zh) | 数据库异地备份系统及方法 | |
CN101996282B (zh) | 基于潮流匹配与计算模型拼接的多模式dts互联方法 | |
CN1331294C (zh) | 建立电网监控灾难后备系统的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |