CN117290447A - 数据同步系统的检查方法、装置、存储介质及电子设备 - Google Patents
数据同步系统的检查方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN117290447A CN117290447A CN202311270625.5A CN202311270625A CN117290447A CN 117290447 A CN117290447 A CN 117290447A CN 202311270625 A CN202311270625 A CN 202311270625A CN 117290447 A CN117290447 A CN 117290447A
- Authority
- CN
- China
- Prior art keywords
- checking
- data synchronization
- address space
- data
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 157
- 238000007689 inspection Methods 0.000 title claims description 43
- 230000008569 process Effects 0.000 claims abstract description 90
- 230000005540 biological transmission Effects 0.000 claims abstract description 75
- 230000002441 reversible effect Effects 0.000 claims abstract description 54
- 230000002159 abnormal effect Effects 0.000 claims abstract description 44
- 230000003213 activating effect Effects 0.000 claims abstract description 18
- 238000013500 data storage Methods 0.000 claims abstract description 15
- 230000004913 activation Effects 0.000 claims description 17
- 238000007726 management method Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 abstract description 12
- 238000001994 activation Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 230000010076 replication Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1461—Backup scheduling policy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Hardware Redundancy (AREA)
Abstract
本申请公开了一种数据同步系统的检查方法、装置、存储介质及电子设备。涉及大数据领域。该方法包括:获取数据同步系统中主站点进行反向数据同步操作时的业务执行流程,其中,反向数据同步操作是指:在主站点异常的情况下,主站点获取备用站点中的数据的操作;模拟执行反向数据同步操作,并对业务执行流程中的每个执行步骤的执行结果进行检查,得到多个检查结果,其中,执行步骤至少包括以下之一:启动进程的地址空间、启动数据传输通道、激活数据存储表;根据多个检查结果确定主站点的运行状态。通过本申请,解决了相关技术中由于无法保证反向数据同步操作能够正常运行,导致在进行主备站点切换的时候可能无法正常的进行数据同步的问题。
Description
技术领域
本申请涉及大数据领域,具体而言,涉及一种数据同步系统的检查方法、装置、存储介质及电子设备。
背景技术
随着金融科技的快速发展,客户对于银行业务连续性、稳定性运行要求越来越高,越来越多的商业银行建立了双活甚至多活系统来保障系统的稳定运行,其中,双活架构中包括主站点和备用站点。
在建立双活的高可用架构的时候,可基于QREP(Q Replication,Q复制)数据复制技术进行架构建立,在主站点发生故障的场景下,可快速切换运行双活架构中的备用站点,通过备用站点对外提供服务。因此QREP复制流程的稳定运行对于双活架构来说至关重要。
QREP数据复制技术中包括的地址空间主要分为正向地址空间和反向地址空间,常态下通过正向地址空间将主站点的数据同步至备用站点,反向地址空间不启动。在主站点故障下,可快速的切换到备用站点,此时原来的正向地址空间会下宕,切换后备用站点对外提供服务,同时需要立即启动反向地址空间,将备用站点的数据同步到主站点,保证切换后双活架构依然有效,随时可切换。
但是,在主站点长时间未出现异常的情况下,由于无法保证反向数据同步操作是否能够正常运行,因此可能会在主站点和备用站点进行切换的时候造成数据无法进行反向同步的现象,进而导致主站点中的数据出现异常。
针对相关技术中由于无法保证反向数据同步操作能够正常运行,导致在进行主备站点切换的时候可能无法正常的进行数据同步的问题,目前尚未提出有效的解决方案。
发明内容
本申请提供一种数据同步系统的检查方法、装置、存储介质及电子设备,以解决相关技术中由于无法保证反向数据同步操作能够正常运行,导致在进行主备站点切换的时候可能无法正常的进行数据同步的问题。
根据本申请的一个方面,提供了一种数据同步系统的检查方法。该方法包括:获取数据同步系统中主站点进行反向数据同步操作时的业务执行流程,其中,反向数据同步操作是指:在主站点异常的情况下,主站点获取备用站点中的数据的操作;模拟执行反向数据同步操作,并对业务执行流程中的每个执行步骤的执行结果进行检查,得到多个检查结果,其中,执行步骤至少包括以下之一:启动进程的地址空间、启动数据传输通道、激活数据存储表;根据多个检查结果确定主站点的运行状态。
可选地,执行步骤中包括启动数据传输通道,对业务执行流程中的每个执行步骤的执行结果进行检查,得到多个检查结果包括:初始化第一检查次数,并启动主站点中的预设进程的数据传输通道,其中,预设进程包括读进程和写进程;在数据同步系统的任务管理模块中获取运行信息清单,并判断数据传输通道是否存在于运行信息清单中;在数据传输通道存在于运行信息清单中的情况下,确定检查结果为正常;在数据传输通道不存在于运行信息清单中的情况下,更新第一检查次数,并计算更新后的第一检查次数是否达到预设检查次数;在更新后的第一检查次数未达到预设检查次数的情况下,重新执行在数据同步系统的任务管理模块中获取运行信息清单,并判断数据传输通道是否存在于运行信息清单中的步骤;在更新后的第一检查次数达到预设检查次数的情况下,确定检查结果为异常。
可选地,执行步骤中包括启动进程的地址空间,对业务执行流程中的每个执行步骤的执行结果进行检查,得到多个检查结果包括:初始化第二检查次数,并启动主站点中的每个数据传输通道的第一地址空间;判断第一地址空间的名称是否存在于运行信息清单中;在第一地址空间的名称存在于运行信息清单中的情况下,确定检查结果为正常;在第一地址空间的名称不存在于运行信息清单中的情况下,将第二检查次数加1,并计算第二检查次数与第一检查时长的乘积是否大于第一预设时长,其中,第一检查时长为对启动进程的地址空间的步骤的执行结果进行检查所需的时长;在乘积小于等于第一预设时长的情况下,重新执行判断第一地址空间的名称是否存在于运行信息清单中的步骤;在乘积大于第一预设时长的情况下,确定检查结果为异常。
可选地,在启动主站点中的进程的地址空间之后,该方法还包括:在地址空间存在于运行信息清单中的情况下,判断地址空间中是否存在历史数据;在地址空间中存在历史数据的情况下,确定检查结果为异常。
可选地,执行步骤中包括激活数据存储表,对业务执行流程中的每个执行步骤的执行结果进行检查,得到多个检查结果包括:获取业务执行流程的业务场景,并根据业务场景确定待激活表,并激活待激活表;在主站点中的写进程中获取已激活的表个数,得到激活数量,并判断激活数量与待激活表的数量是否相同;在激活数量与待激活表的数量相同的情况下,确定检查结果为正常;在激活数量与待激活表的数量不相同的情况下,确定检查结果为异常。
可选地,根据多个检查结果确定主站点的运行状态包括:在多个检查结果中存在至少一个异常结果的情况下,确定主站点的运行状态为异常;在多个检查结果均为正常结果的情况下,确定主站点的运行状态为正常。
可选地,得到多个检查结果之后,该方法还包括:关闭进程的地址空间和数据传输通道,并删除地址空间与数据传输通道中的数据。
根据本申请的另一方面,提供了一种数据同步系统的检查装置。该装置包括:获取单元,用于获取数据同步系统中主站点进行反向数据同步操作时的业务执行流程,其中,反向数据同步操作是指:在主站点异常的情况下,主站点获取备用站点中的数据的操作;检查单元,用于模拟执行反向数据同步操作,并对业务执行流程中的每个执行步骤的执行结果进行检查,得到多个检查结果,其中,执行步骤至少包括以下之一:启动进程的地址空间、启动数据传输通道、激活数据存储表;第一确定单元,用于根据多个检查结果确定主站点的运行状态。
根据本发明的另一方面,还提供了一种计算机存储介质,计算机存储介质用于存储程序,其中,程序运行时控制计算机存储介质所在的设备执行一种数据同步系统的检查方法。
根据本发明的另一方面,还提供了一种电子设备,包含一个或多个处理器和存储器;存储器中存储有计算机可读指令,处理器用于运行计算机可读指令,其中,计算机可读指令运行时执行一种数据同步系统的检查方法。
通过本申请,采用以下步骤:获取数据同步系统中主站点进行反向数据同步操作时的业务执行流程,其中,反向数据同步操作是指:在主站点异常的情况下,主站点获取备用站点中的数据的操作;模拟执行反向数据同步操作,并对业务执行流程中的每个执行步骤的执行结果进行检查,得到多个检查结果,其中,执行步骤至少包括以下之一:启动进程的地址空间、启动数据传输通道、激活数据存储表;根据多个检查结果确定主站点的运行状态。解决了相关技术中由于无法保证反向数据同步操作能够正常运行,导致在进行主备站点切换的时候可能无法正常的进行数据同步的问题。通过获取进行反向数据同步操作时的业务执行流程,并对业务执行流程进行模拟执行,得到每个执行步骤的执行结果,进而通过执行结果确定检查结果,并通过检查结果确定主站点能否正常的执行反向数据同步操作,进行进而达到了在主站点未异常的情况下,准确便捷的对主站点的反向数据同步功能进行检查的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的数据同步系统的检查方法的流程图;
图2是根据本申请实施例提供的数据传输通道启动结果的检查方法的流程图;
图3是根据本申请实施例提供的地址空间启动结果的检查方法的流程图;
图4是根据本申请实施例提供的数据同步系统的检查装置的示意图;
图5为根据本申请实施例提供的一种电子设备的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。例如,本系统和相关用户或机构间设置有接口,在获取相关信息之前,需要通过接口向前述的用户或机构发送获取请求,并在接收到前述的用户或机构反馈的同意信息后,获取相关信息。
需要说明的是,本公开所确定的数据同步系统的检查方法、装置、存储介质及电子设备可用于大数据领域,也可用于除大数据领域之外的任意领域,本公开所确定的数据同步系统的检查方法、装置、存储介质及电子设备的应用领域不做限定。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关规定和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
为了便于描述,以下对本申请实施例涉及的部分名词或术语进行说明:
Q Capture进程:可以读取备用节点发送的源数据,并将源数据进行解析后写入消息队列中。
Q Apply进程:可以从消息队列中获取解析后的数据,并将解析后的数据存储至数据存储表中。
通道:用于消息数据从一个队列管理器移动至另一个队列管理器。
根据本申请的实施例,提供了一种数据同步系统的检查方法。
图1是根据本申请实施例提供的数据同步系统的检查方法的流程图。如图1所示,该方法包括以下步骤:
步骤S102,获取数据同步系统中主站点进行反向数据同步操作时的业务执行流程,其中,反向数据同步操作是指:在主站点异常的情况下,主站点获取备用站点中的数据的操作。
具体的,在检查数据同步系统中的数据同步操作能否正常执行的时候,首先需要确定主站点在执行数据同步操作的时候的业务执行流程,例如,第一步,启动A进程,第二步,启动B进程,从而可以对每个步骤的执行结果进行检查。
需要说明的是,在获取了业务执行流程后,可以将业务执行流程中的多个步骤按照步骤执行顺序添加至自动化触发装置中,例如TWS(tivoli workload scheduler,一种在大型机中使用的主流批量任务排程调度工具),从而可以利用自动化触发装置的排程,固定检查操作的前后项关系,进而在对数据同步操作进行检查的时候,每次触发只需要提交一个触发作业或是触发指令,即可使得完成排程的作业根据制定的前后项自动化运行,进而达到自动对业务执行流程中的步骤进行执行和检查的效果。
步骤S104,模拟执行反向数据同步操作,并对业务执行流程中的每个执行步骤的执行结果进行检查,得到多个检查结果,其中,执行步骤至少包括以下之一:启动进程的地址空间、启动数据传输通道、激活数据存储表。
具体的,在对每个执行步骤进行检查的时候,由于存在多个执行步骤,因此,需要对每个执行步骤进行检查,从而得到每个步骤的检查结果。
步骤S106,根据多个检查结果确定主站点的运行状态。
具体的,在得到多个检查结果后,即可根据多个检查结果确定主站点在执行反向数据同步的时候是否会存在异常。需要说明的是,上述业务执行流程中的多个步骤按照步骤执行顺序添加至自动化触发装置中自动运行作业,同时自动化触发装置还可以监控检查结果,对于检查结果错误产生的报错现象,自动化触发装置会报警推送运维人员及时处理,同时检查收口作业是否结束,结束通知运维人员流程已正常结束,数据同步操作不存在异常。
本申请实施例提供的数据同步系统的检查方法,通过获取数据同步系统中主站点进行反向数据同步操作时的业务执行流程,其中,反向数据同步操作是指:在主站点异常的情况下,主站点获取备用站点中的数据的操作;模拟执行反向数据同步操作,并对业务执行流程中的每个执行步骤的执行结果进行检查,得到多个检查结果,其中,执行步骤至少包括以下之一:启动进程的地址空间、启动数据传输通道、激活数据存储表;根据多个检查结果确定主站点的运行状态。解决了相关技术中由于无法保证反向数据同步操作能够正常运行,导致在进行主备站点切换的时候可能无法正常的进行数据同步的问题。通过获取进行反向数据同步操作时的业务执行流程,并对业务执行流程进行模拟执行,得到每个执行步骤的执行结果,进而通过执行结果确定检查结果,并通过检查结果确定主站点能否正常的执行反向数据同步操作,进行进而达到了在主站点未异常的情况下,准确便捷的对主站点的反向数据同步功能进行检查的效果。
可选地,在本申请实施例提供的数据同步系统的检查方法中,执行步骤中包括启动数据传输通道,对业务执行流程中的每个执行步骤的执行结果进行检查,得到多个检查结果包括:初始化第一检查次数,并启动主站点中的预设进程的数据传输通道,其中,预设进程包括读进程和写进程;在数据同步系统的任务管理模块中获取运行信息清单,并判断数据传输通道是否存在于运行信息清单中;在数据传输通道存在于运行信息清单中的情况下,确定检查结果为正常;在数据传输通道不存在于运行信息清单中的情况下,更新第一检查次数,并计算更新后的第一检查次数是否达到预设检查次数;在更新后的第一检查次数未达到预设检查次数的情况下,重新执行在数据同步系统的任务管理模块中获取运行信息清单,并判断数据传输通道是否存在于运行信息清单中的步骤;在更新后的第一检查次数达到预设检查次数的情况下,确定检查结果为异常。
具体的,由于主站点中包括Q Capture进程和Q Apply进程,也即读进程和写进程,因此,执行步骤中包括两个进程的传输通道的启动。需要说明的是,由于传输通道为消息队列的传输通道,因此读进程和写进程分别对应各自的MQ(message Queue,消息队列)通道,从而通过通道完成数据传输。
进一步的,在对启动数据传输通道的执行步骤进行检测的时候,首先需要初始化第一检查次数,也即将第一检查次数归零,并启动主站点中的预设进程的数据传输通道,其中,预设进程可以为读进程或写进程,读进程和写进程的启动数据传输通道步骤的检查方法相同,因此使用预设进程进行代替。
在启动预设进程后,由于主站点位于数据同步系统中,因此,可以从数据同步系统的任务管理模块中获取运行信息清单,并在清单中确定是否存在数据传输通道,也即,由于运行信息清单中包含的对象均为已经成功启动的对象,因此,在数据传输通道的信息位于运行信息清单的情况下,表征运行信息清单已正常启动。
进一步的,在数据传输通道不存在于运行信息清单中的情况下,可能是启动需要加载时间,或是启动出现延时导致未能快速响应启动指令,此时,可以更新第一检查次数,例如将第一检查次数加1,此时的第一检查次数由0变为1,并重新执行获取运行信息清单的操作,此时也即将运行信息清单进行刷新,得到最新的运行信息清单,并根据最新的运行信息清单判断数据传输通道是否存在于运行信息清单中,在仍不存在于运行信息清单中的情况下,再次将第一检查次数加1,此时第一检查次数由1变为2,直至数据传输通道存在于运行信息清单中,或是第一检查次数达到预设检查次数,此时,由于在较长的情况下数据传输通道仍为存在于运行信息清单中,因此表征数据传输通道未能正常启动,则检查结果为异常,并产生报警信息。
图2是根据本申请实施例提供的数据传输通道启动结果的检查方法的流程图,如图2所示,首先确定预设进程的通道个数CHN,并输入预设检查次数A,发命令获取运行信息清单,并检查每个数据传输通道是否均存在于运行信息清单中(数据传输通道的数量可以为一个或多个),在检查的过程中,可通过获取数据传输通道中包含的关键词,以及关键词的个数B,并确定CHN与B是否相同的方式,判断每个数据传输通道是否均存在于运行信息清单中,在CHN与B不相同的情况下,将第一检查次数C由0变为1,并重新进行检查操作,直至每个数据传输通道均存在于运行信息清单中,或是第一检查次数C与预设检查次数A相同,在第一检查次数C与预设检查次数A相同的情况下,确定存在未正常启动的数据传输通道,则进行报警操作,从而达到检查数据传输通道是否正常启动的效果。
可选地,在本申请实施例提供的数据同步系统的检查方法中,执行步骤中包括启动进程的地址空间,对业务执行流程中的每个执行步骤的执行结果进行检查,得到多个检查结果包括:初始化第二检查次数,并启动主站点中的每个数据传输通道的第一地址空间;判断第一地址空间的名称是否存在于运行信息清单中;在第一地址空间的名称存在于运行信息清单中的情况下,确定检查结果为正常;在第一地址空间的名称不存在于运行信息清单中的情况下,将第二检查次数加1,并计算第二检查次数与第一检查时长的乘积是否大于第一预设时长,其中,第一检查时长为对启动进程的地址空间的步骤的执行结果进行检查所需的时长;在乘积小于等于第一预设时长的情况下,重新执行判断第一地址空间的名称是否存在于运行信息清单中的步骤;在乘积大于第一预设时长的情况下,确定检查结果为异常。
具体的,由于主站点中包括Q Capture进程和Q Apply进程,也即读进程和写进程,因此,在完成通道启动的同时,还需要启动读进程和写进程的MQ(消息队列)地址空间,从而在地址空间中存储需要传输的数据。
在启动地址空间的时候,初始化第二检查次数,并判断第一地址空间的名称是否存在于运行信息清单中,在存在于运行信息清单中的情况下,表征地址空间正常启动,则检查结果为正常,在不存在于运行信息清单的情况下,将第二检查次数加1,并计算第二检查次数与第一检查时长的乘积是否大于第一预设时长,其中,第一检查时长为对启动进程的地址空间的步骤的执行结果进行检查所需的时长,第二检查次数与第一检查时长的乘积即为已经进行检查的持续时间,判断该持续时间是否大于第一预设时长,在大于的情况下,表征持续时间过长,并且地址空间仍不存在于运行信息清单中,此时,表征检查结果为异常。
需要说明的是,在乘积小于等于第一预设时长的情况下,表征虽然当前时刻仍未启动,但是可能是由于其他原因造成的未启动,可以刷新运行信息清单,并重新进行确认,从而保证不会由于其他异常情况导致对地址空间的启动结果的错误检查。
图3是根据本申请实施例提供的地址空间启动结果的检查方法的流程图,如图3所示,确定地址空间的名称Name,以及检查的总时长T1,单次检查时长T2,以及初始检查次数D,获取运行信息清单,并判断D是否位于运行信息清单中,在位于的情况下,确定地址空间正常启动,在未位于的情况下,D=D+1,并计算T2*C是否小于T1,在小于的情况下,重新执行获取运行信息清单的步骤重新确认地址空间是否已开启,在大于的情况下,表征地址空间异常启动,则进行报错处理。
可选地,在本申请实施例提供的数据同步系统的检查方法中,在启动主站点中的进程的地址空间之后,该方法还包括:在地址空间存在于运行信息清单中的情况下,判断地址空间中是否存在历史数据;在地址空间中存在历史数据的情况下,确定检查结果为异常。
具体的,在启动地址空间后,需要确定地址空间中的信息是否为0,也即,地址空间是否为空,在存在历史数据的情况下,表征地址空间中的信息不为0,则表征地址空间存在异常,因此需要将检查结果设置为异常。
可选地,在本申请实施例提供的数据同步系统的检查方法中,执行步骤中包括激活数据存储表,对业务执行流程中的每个执行步骤的执行结果进行检查,得到多个检查结果包括:获取业务执行流程的业务场景,并根据业务场景确定待激活表,并激活待激活表;在主站点中的写进程中获取已激活的表个数,得到激活数量,并判断激活数量与待激活表的数量是否相同;在激活数量与待激活表的数量相同的情况下,确定检查结果为正常;在激活数量与待激活表的数量不相同的情况下,确定检查结果为异常。
具体的,在执行步骤中,还包括激活表,首先,需要根据业务场景的不同,确定待激活表,在确定待激活表的时候,可以根据业务场景选择配置部分表,或者配置全量表,从而达到激活部分表或是激活全部表。
例如,在基本服务场景下,可选择激活部分表,Q CAPTURE进程提交语句:updateibmqrep_subs set state=N,sub_id=null where subname=‘部分表清单’。Q APPLY进程提交语句:update ibmqrep_targets set state=I,sub_id=NULLL。
在部分服务场景下,可选择全量表激活,Q CAPTURE进程提交语句:updateibmqrep_subs set state=N,sub_id=null。Q APPLY进程提交语句:update ibmqrep_targets set state=I,sub_id=NULLL,从而完成表的激活。
进一步的,在表激活后,在主站点中的写进程中获取已激活的表个数,得到激活数量,并判断激活数量与待激活表的数量是否相同,例如,在激活部分表的情况下,Q APPLY进程提交语句:select count(*)from ibmqrep_targets where state=‘a’(a为激活的表的数量),从而完成表个数统计,并判断是否等于配置的表个数,如果不等于,则报错,如果等于,则正常。
需要说明的是,如果是全量表激活场景,则Q APPLY进程提交语句:select*fromibmqrep_targets where state<>‘a’(“<>”为不等于,a为激活的表的数量),如果有输出结果,则作业报错,如果没有输出结果,则正常。从而确定表是否能够被正常激活。
需要说明的是,由于此次为模拟运行,目的为对执行步骤进行检查,因此,为了防止在激活表后,主站点向表中写入数据,导致表中的数据存在异常,因此,需要对主站点的写进程的地址空间的权限进行更新,从而保证写进程不会真正的更新表中的数据,从而保证了表中的数据的准确性。
可选地,在本申请实施例提供的数据同步系统的检查方法中,根据多个检查结果确定主站点的运行状态包括:在多个检查结果中存在至少一个异常结果的情况下,确定主站点的运行状态为异常;在多个检查结果均为正常结果的情况下,确定主站点的运行状态为正常。
具体的,在对多个执行步骤进行检查后,只要存在一个检查结果为异常,则确定主站点在进行反向数据同步操作的运行状态为异常,只有全部检查结果均为正常的情况下,在表征主站点在进行反向数据同步操作的时候的运行状态为正常,从而达到对反向数据同步操作的检查的效果。
可选地,在本申请实施例提供的数据同步系统的检查方法中,得到多个检查结果之后,该方法还包括:关闭进程的地址空间和数据传输通道,并删除地址空间与数据传输通道中的数据。
需要说明的是,由于进行检查的操作为模拟检查,因此,在将地址空间和数据传输通道开启,并且完成检查后,还需要采用相同的方法,将地址空间、数据传输通道和激活的表进行关闭,并采用相同的检查方法判断是否正常关闭,从而保证在将开启的地址空间和数据传输通道以及激活的表进行关闭后,能够使主站点恢复到检查前的状态,进而保证主站点能够正常的运行当前事项。
例如,在开启MQ地址空间的时候,采用的方法为:启动主站点CAPTURE端的MQ地址空间,启动后等待10秒,调用地址空间状态检查装置检查地址空间是否启动,没有启动报错。启动主站点的MQ地址空间,启动后等待10秒,调用地址空间状态检查装置检查地址空间是否启动,没有启动报错,则在关闭地址空间的时候,采用的方法为:下宕主站点CAPTURE端的MQ地址空间,下宕后等待10秒,调用地址空间状态检查装置检查地址空间是否下宕,没有下宕则报错。下宕主站点APPLY端的MQ地址空间,下宕后等待10秒,调用地址空间状态检查装置检查地址空间是否下宕,没有下宕则报错。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种数据同步系统的检查装置,需要说明的是,本申请实施例的数据同步系统的检查装置可以用于执行本申请实施例所提供的用于数据同步系统的检查方法。以下对本申请实施例提供的数据同步系统的检查装置进行介绍。
图4是根据本申请实施例提供的数据同步系统的检查装置的示意图。如图4所示,该装置包括:获取单元41,检查单元42,第一确定单元43。
获取单元41,用于获取数据同步系统中主站点进行反向数据同步操作时的业务执行流程,其中,反向数据同步操作是指:在主站点异常的情况下,主站点获取备用站点中的数据的操作。
检查单元42,用于模拟执行反向数据同步操作,并对业务执行流程中的每个执行步骤的执行结果进行检查,得到多个检查结果,其中,执行步骤至少包括以下之一:启动进程的地址空间、启动数据传输通道、激活数据存储表。
第一确定单元43,用于根据多个检查结果确定主站点的运行状态。
本申请实施例提供的数据同步系统的检查装置,通过获取单元41获取数据同步系统中主站点进行反向数据同步操作时的业务执行流程,其中,反向数据同步操作是指:在主站点异常的情况下,主站点获取备用站点中的数据的操作;检查单元42模拟执行反向数据同步操作,并对业务执行流程中的每个执行步骤的执行结果进行检查,得到多个检查结果,其中,执行步骤至少包括以下之一:启动进程的地址空间、启动数据传输通道、激活数据存储表;第一确定单元43根据多个检查结果确定主站点的运行状态。解决了相关技术中由于无法保证反向数据同步操作能够正常运行,导致在进行主备站点切换的时候可能无法正常的进行数据同步的问题。通过获取进行反向数据同步操作时的业务执行流程,并对业务执行流程进行模拟执行,得到每个执行步骤的执行结果,进而通过执行结果确定检查结果,并通过检查结果确定主站点能否正常的执行反向数据同步操作,进行进而达到了在主站点未异常的情况下,准确便捷的对主站点的反向数据同步功能进行检查的效果。
可选地,在本申请实施例提供的数据同步系统的检查装置中,执行步骤中包括启动数据传输通道,检查单元42包括:第一启动模块,用于初始化第一检查次数,并启动主站点中的预设进程的数据传输通道,其中,预设进程包括读进程和写进程;第一判断模块,用于在数据同步系统的任务管理模块中获取运行信息清单,并判断数据传输通道是否存在于运行信息清单中;第一确定模块,用于在数据传输通道存在于运行信息清单中的情况下,确定检查结果为正常;第一更新模块,用于在数据传输通道不存在于运行信息清单中的情况下,更新第一检查次数,并计算更新后的第一检查次数是否达到预设检查次数;第一执行模块,用于在更新后的第一检查次数未达到预设检查次数的情况下,重新执行在数据同步系统的任务管理模块中获取运行信息清单,并判断数据传输通道是否存在于运行信息清单中的步骤;第二确定模块,用于在更新后的第一检查次数达到预设检查次数的情况下,确定检查结果为异常。
可选地,在本申请实施例提供的数据同步系统的检查装置中,执行步骤中包括启动进程的地址空间,检查单元42包括:第二启动模块,用于初始化第二检查次数,并启动主站点中的每个数据传输通道的第一地址空间;第二判断模块,用于判断第一地址空间的名称是否存在于运行信息清单中;第三确定模块,用于在第一地址空间的名称存在于运行信息清单中的情况下,确定检查结果为正常;第二更新模块,用于在第一地址空间的名称不存在于运行信息清单中的情况下,将第二检查次数加1,并计算第二检查次数与第一检查时长的乘积是否大于第一预设时长,其中,第一检查时长为对启动进程的地址空间的步骤的执行结果进行检查所需的时长;第二执行模块,用于在乘积小于等于第一预设时长的情况下,重新执行判断第一地址空间的名称是否存在于运行信息清单中的步骤;第四确定模块,用于在乘积大于第一预设时长的情况下,确定检查结果为异常。
可选地,在本申请实施例提供的数据同步系统的检查装置中,该装置还包括:判断单元,用于在地址空间存在于运行信息清单中的情况下,判断地址空间中是否存在历史数据;第二确定单元,用于在地址空间中存在历史数据的情况下,确定检查结果为异常。
可选地,在本申请实施例提供的数据同步系统的检查装置中,执行步骤中包括激活数据存储表,检查单元42包括:第一获取模块,用于获取业务执行流程的业务场景,并根据业务场景确定待激活表,并激活待激活表;第二获取模块,用于在主站点中的写进程中获取已激活的表个数,得到激活数量,并判断激活数量与待激活表的数量是否相同;第五确定模块,用于在激活数量与待激活表的数量相同的情况下,确定检查结果为正常;第六确定模块,用于在激活数量与待激活表的数量不相同的情况下,确定检查结果为异常。
可选地,在本申请实施例提供的数据同步系统的检查装置中,第一确定单元43包括:第七确定模块,用于在多个检查结果中存在至少一个异常结果的情况下,确定主站点的运行状态为异常;第八确定模块,用于在多个检查结果均为正常结果的情况下,确定主站点的运行状态为正常。
可选地,在本申请实施例提供的数据同步系统的检查装置中,得到多个检查结果之后,该装置还包括:删除单元,用于关闭进程的地址空间和数据传输通道,并删除地址空间与数据传输通道中的数据。
上述数据同步系统的检查装置包括处理器和存储器,上述获取单元41,检查单元42,第一确定单元43等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来解决了相关技术中由于无法保证反向数据同步操作能够正常运行,导致在进行主备站点切换的时候可能无法正常的进行数据同步的问题。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现所述数据同步系统的检查方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述数据同步系统的检查方法。
图5为根据本申请实施例提供的一种电子设备的示意图,如图5所示,本发明实施例提供了一种电子设备,电子设备50包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现上述数据同步系统的检查的步骤。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有上述数据同步系统的检查的步骤的程序。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种数据同步系统的检查方法,其特征在于,包括:
获取数据同步系统中主站点进行反向数据同步操作时的业务执行流程,其中,所述反向数据同步操作是指:在所述主站点异常的情况下,所述主站点获取备用站点中的数据的操作;
模拟执行所述反向数据同步操作,并对所述业务执行流程中的每个执行步骤的执行结果进行检查,得到多个检查结果,其中,所述执行步骤至少包括以下之一:启动进程的地址空间、启动数据传输通道、激活数据存储表;
根据所述多个检查结果确定所述主站点的运行状态。
2.根据权利要求1所述的方法,其特征在于,所述执行步骤中包括所述启动数据传输通道,对所述业务执行流程中的每个执行步骤的执行结果进行检查,得到多个检查结果包括:
初始化第一检查次数,并启动所述主站点中的预设进程的数据传输通道,其中,所述预设进程包括读进程和写进程;
在所述数据同步系统的任务管理模块中获取运行信息清单,并判断所述数据传输通道是否存在于所述运行信息清单中;
在所述数据传输通道存在于所述运行信息清单中的情况下,确定所述检查结果为正常;
在所述数据传输通道不存在于所述运行信息清单中的情况下,更新第一检查次数,并计算更新后的第一检查次数是否达到预设检查次数;
在所述更新后的第一检查次数未达到所述预设检查次数的情况下,重新执行所述在所述数据同步系统的任务管理模块中获取运行信息清单,并判断所述数据传输通道是否存在于所述运行信息清单中的步骤;
在所述更新后的第一检查次数达到预设检查次数的情况下,确定所述检查结果为异常。
3.根据权利要求2所述的方法,其特征在于,所述执行步骤中包括所述启动进程的地址空间,对所述业务执行流程中的每个执行步骤的执行结果进行检查,得到多个检查结果包括:
初始化第二检查次数,并启动所述主站点中的每个数据传输通道的第一地址空间;
判断所述第一地址空间的名称是否存在于所述运行信息清单中;
在所述第一地址空间的名称存在于所述运行信息清单中的情况下,确定所述检查结果为正常;
在所述第一地址空间的名称不存在于所述运行信息清单中的情况下,将第二检查次数加1,并计算所述第二检查次数与第一检查时长的乘积是否大于第一预设时长,其中,所述第一检查时长为对所述启动进程的地址空间的步骤的执行结果进行检查所需的时长;
在所述乘积小于等于所述第一预设时长的情况下,重新执行所述判断所述第一地址空间的名称是否存在于所述运行信息清单中的步骤;
在所述乘积大于所述第一预设时长的情况下,确定所述检查结果为异常。
4.根据权利要求3所述的方法,其特征在于,在启动所述主站点中的进程的地址空间之后,所述方法还包括:
在所述地址空间存在于所述运行信息清单中的情况下,判断所述地址空间中是否存在历史数据;
在所述地址空间中存在所述历史数据的情况下,确定所述检查结果为异常。
5.根据权利要求1所述的方法,其特征在于,所述执行步骤中包括所述激活数据存储表,对所述业务执行流程中的每个执行步骤的执行结果进行检查,得到多个检查结果包括:
获取所述业务执行流程的业务场景,并根据所述业务场景确定待激活表,并激活所述待激活表;
在所述主站点中的写进程中获取已激活的表个数,得到激活数量,并判断所述激活数量与所述待激活表的数量是否相同;
在所述激活数量与所述待激活表的数量相同的情况下,确定所述检查结果为正常;
在所述激活数量与所述待激活表的数量不相同的情况下,确定所述检查结果为异常。
6.根据权利要求1所述的方法,其特征在于,根据所述多个检查结果确定所述主站点的运行状态包括:
在所述多个检查结果中存在至少一个异常结果的情况下,确定所述主站点的运行状态为异常;
在所述多个检查结果均为正常结果的情况下,确定所述主站点的运行状态为正常。
7.根据权利要求1所述的方法,其特征在于,得到多个检查结果之后,所述方法还包括:
关闭所述进程的地址空间和所述数据传输通道,并删除所述地址空间与所述数据传输通道中的数据。
8.一种数据同步系统的检查装置,其特征在于,包括:
获取单元,用于获取数据同步系统中主站点进行反向数据同步操作时的业务执行流程,其中,所述反向数据同步操作是指:在所述主站点异常的情况下,所述主站点获取备用站点中的数据的操作;
检查单元,用于模拟执行所述反向数据同步操作,并对所述业务执行流程中的每个执行步骤的执行结果进行检查,得到多个检查结果,其中,所述执行步骤至少包括以下之一:启动进程的地址空间、启动数据传输通道、激活数据存储表;
第一确定单元,用于根据所述多个检查结果确定所述主站点的运行状态。
9.一种计算机存储介质,其特征在于,所述计算机存储介质用于存储程序,其中,所述程序运行时控制所述计算机存储介质所在的设备执行权利要求1至7中任意一项所述的数据同步系统的检查方法。
10.一种电子设备,其特征在于,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至7中任意一项所述的数据同步系统的检查方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311270625.5A CN117290447A (zh) | 2023-09-27 | 2023-09-27 | 数据同步系统的检查方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311270625.5A CN117290447A (zh) | 2023-09-27 | 2023-09-27 | 数据同步系统的检查方法、装置、存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117290447A true CN117290447A (zh) | 2023-12-26 |
Family
ID=89256774
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311270625.5A Pending CN117290447A (zh) | 2023-09-27 | 2023-09-27 | 数据同步系统的检查方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117290447A (zh) |
-
2023
- 2023-09-27 CN CN202311270625.5A patent/CN117290447A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10509585B2 (en) | Data synchronization method, apparatus, and system | |
CN110187914B (zh) | 应用开发方法、系统及装置 | |
US9189348B2 (en) | High availability database management system and database management method using same | |
CN110650036A (zh) | 告警处理方法、装置及电子设备 | |
JP2017514218A (ja) | サードパーティアプリケーションの実行 | |
US10635575B2 (en) | Testing of enterprise resource planning systems | |
US11169910B2 (en) | Probabilistic software testing via dynamic graphs | |
US10394793B1 (en) | Method and system for governed replay for compliance applications | |
CN106649000B (zh) | 实时处理引擎的故障恢复方法及相应的服务器 | |
CN111309570A (zh) | 压力测试方法、介质、装置和计算设备 | |
CN116842298A (zh) | 数据读写管理方法、装置、存储介质以及电子设备 | |
CN116414914A (zh) | 数据的同步方法、装置、处理器及电子设备 | |
CN117290447A (zh) | 数据同步系统的检查方法、装置、存储介质及电子设备 | |
CN112905449B (zh) | 目标测试方法、装置、设备和存储介质 | |
CN115080309A (zh) | 数据备份系统、方法、存储介质以及电子设备 | |
CN113421109A (zh) | 一种业务核对方法、装置、电子设备和存储介质 | |
KR20130067959A (ko) | 어플리케이션 오류 처리 방법 및 장치 | |
CN107797915B (zh) | 故障的修复方法、装置及系统 | |
US20120124558A1 (en) | Scenario testing composability across multiple components | |
CN117389765A (zh) | 数据处理方法、装置、存储介质以及电子设备 | |
CN107291613B (zh) | 一种功能节点异常模拟方法及装置 | |
CN114116483A (zh) | 软件版本的测试方法及装置、存储介质和处理器 | |
CN118093392A (zh) | 测试方法、装置、电子设备及存储介质 | |
CN117271474A (zh) | 数据迁移方法、装置、存储介质以及电子设备 | |
CN117785902A (zh) | 数据变更方法、系统、存储介质以及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |