CN110908838B - 一种数据处理方法、装置及电子设备和存储介质 - Google Patents

一种数据处理方法、装置及电子设备和存储介质 Download PDF

Info

Publication number
CN110908838B
CN110908838B CN201911134572.8A CN201911134572A CN110908838B CN 110908838 B CN110908838 B CN 110908838B CN 201911134572 A CN201911134572 A CN 201911134572A CN 110908838 B CN110908838 B CN 110908838B
Authority
CN
China
Prior art keywords
data
service
processing request
business
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911134572.8A
Other languages
English (en)
Other versions
CN110908838A (zh
Inventor
王瑾
范渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DBAPPSecurity Co Ltd
Original Assignee
DBAPPSecurity Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DBAPPSecurity Co Ltd filed Critical DBAPPSecurity Co Ltd
Priority to CN201911134572.8A priority Critical patent/CN110908838B/zh
Publication of CN110908838A publication Critical patent/CN110908838A/zh
Application granted granted Critical
Publication of CN110908838B publication Critical patent/CN110908838B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1415Saving, restoring, recovering or retrying at system level

Abstract

本申请公开了一种数据处理方法、装置及设备和介质,包括:在当前中间业务系统发生异常之后,停止接收外围业务系统发送的业务处理请求;对当前中间业务系统异常期间的业务处理请求进行记录,将业务处理请求写入外围业务系统的预设文件中;在当前中间业务系统恢复正常后,确定预设文件中记录的增量业务数据;将增量业务数据按照业务处理请求的业务逻辑写入对应的数据库表中,并在写入完成后恢复接收外围业务系统发送的业务处理请求。本申请仅在将预设文件中记录的增量业务数据写入对应的数据库表,完成数据的恢复和同步之后,启动对于后续业务处理请求的接收,实现了在不影响后续交易的基础上恢复所有异常期间的数据,保证了数据的完整性和准确性。

Description

一种数据处理方法、装置及电子设备和存储介质
技术领域
本申请涉及数据恢复技术领域,更具体地说,涉及一种数据处理方法、装置及一种电子设备和一种计算机可读存储介质。
背景技术
如今,互联网产品越来越注重可靠性,尤其是在生产环境中使用的系统,对高可用性都有一定的要求。
熔断类似电力系统中的保险丝,当负载过大、或电路发生故障或异常时,电流会不断升高,为防止升高的电流有可能损坏电路中的某些重要器件或贵重器件,烧毁电路甚至造成火灾,保险丝会在电流异常升高到一定的高度和热度的时候,自身熔断切断电流,从而起到保护电路安全运行的作用。
同样,在分布式系统中,如果调用的远程服务或者资源由于某种原因无法使用时,假如没有这种过载保护,就会导致请求的资源阻塞在服务器上等待从而耗尽系统或者服务器资源。刚开始可能仅仅是系统出现了局部的、小规模的故障,然而由于种种原因,故障影响的范围越来越大,最终可能会导致全局性的后果。而这种过载保护就是俗称的熔断。
熔断机制在高可用场景中应用较多。为了保证中间系统的高可用,会在该系统服务不可用时,启用熔断机制,此时,发送到该系统的业务数据,会被切断。通常系统的高可用设计中,在所有服务不可用时,对中断期间的交易数据,仅采用记录机制。如何实现系统恢复后,在不影响后续交易的基础上恢复所有数据是本领域技术人员亟待解决的问题。
发明内容
本申请的目的在于提供一种数据处理方法、装置及一种电子设备和一种计算机可读存储介质,实现了在不影响后续交易的基础上恢复所有异常期间的数据,保证了数据的完整性和准确性。
为实现上述目的,本申请提供了一种数据处理方法,包括:
在当前中间业务系统发生异常之后,停止接收外围业务系统发送的业务处理请求;
对所述当前中间业务系统异常期间的所述业务处理请求进行记录,将所述业务处理请求写入所述外围业务系统中的预设文件中;
在所述当前中间业务系统恢复正常之后,确定所述预设文件中记录的增量业务数据;
将所述增量业务数据按照所述业务处理请求的业务逻辑写入对应的数据库表中,并在写入完成后恢复接收所述外围业务系统发送的业务处理请求。
可选的,所述确定所述预设文件中记录的增量业务数据,包括:
获取所述预设文件中记录的所述业务处理请求的第一时间;
获取所述数据库表中最后一次更新的第二时间;
通过对比所述第一时间和所述第二时间,得到所述第一时间中比所述第二时间新的目标业务处理请求;
将所述目标业务处理请求的数据确定为所述增量业务数据。
可选的,所述确定所述预设文件中记录的增量业务数据之前,还包括:
关闭缓存同步开关,禁止将缓存中的过期数据同步至所述数据库表中。
可选的,在所述将所述增量业务数据按照所述业务处理请求的业务逻辑写入对应的数据库表中之后,还包括:
对所述缓存进行清空操作,并在清空后将所述数据库表中保存的数据装载至所述缓存中;
开启所述缓存同步开关,以便后续将所述缓存中的数据实时同步至对应的所述数据库表中。
可选的,所述确定所述预设文件中记录的增量业务数据之后,还包括:
若所述预设文件中不存在所述增量业务数据,则直接启动对所述缓存进行清空操作的步骤。
可选的,还包括:
实时监测所述当前中间业务系统的故障次数;
若所述故障次数大于预设阈值,则判定所述当前中间业务系统发生异常。
为实现上述目的,本申请提供了一种数据处理装置,包括:
接收停止模块,用于在当前中间业务系统发生异常之后,停止接收外围业务系统发送的业务处理请求;
请求记录模块,用于对所述当前中间业务系统异常期间的所述业务处理请求进行记录,将所述业务处理请求写入所述外围业务系统中的预设文件中;
增量确定模块,用于在所述当前中间业务系统恢复正常之后,确定所述预设文件中记录的增量业务数据;
数据写入模块,用于将所述增量业务数据按照所述业务处理请求的业务逻辑写入对应的数据库表中,并在写入完成后恢复接收所述外围业务系统发送的业务处理请求。
可选的,还包括:
开关关闭模块,用于在确定所述预设文件中记录的增量业务数据之前关闭缓存同步开关,禁止将缓存中的过期数据同步至所述数据库表中;
缓存清空模块,用于在将所述增量业务数据按照所述业务处理请求的业务逻辑写入对应的数据库表中之后,对所述缓存进行清空操作,并在清空后将所述数据库表中保存的数据装载至所述缓存中;
开关开启模块,用于开启所述缓存同步开关,以便后续将所述缓存中的数据实时同步至对应的所述数据库表中。
为实现上述目的,本申请提供了一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现前述公开的任一种数据处理方法的步骤。
为实现上述目的,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现前述公开的任一种数据处理方法的步骤。
通过以上方案可知,本申请提供的一种数据处理方法,包括:在当前中间业务系统发生异常之后,停止接收外围业务系统发送的业务处理请求;对所述当前中间业务系统异常期间的所述业务处理请求进行记录,将所述业务处理请求写入所述外围业务系统中的预设文件中;在所述当前中间业务系统恢复正常之后,确定所述预设文件中记录的增量业务数据;将所述增量业务数据按照所述业务处理请求的业务逻辑写入对应的数据库表中,并在写入完成后恢复接收所述外围业务系统发送的业务处理请求。由上可知,本申请在系统异常后,将不再接收业务处理请求,将异常期间的业务处理请求记录在外围业务系统的预设文件。在系统恢复正常后,仍然停止接收后续业务处理请求,仅在将预设文件中记录的增量业务数据写入对应的数据库表,完成数据的恢复和同步之后,启动对于后续外围业务系统发送的业务处理请求的接收,从而实现了在不影响后续交易的基础上恢复所有异常期间的数据,保证了数据的完整性和准确性。
本申请还公开了一种数据处理装置及一种电子设备和一种计算机可读存储介质,同样能实现上述技术效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种数据处理方法的流程图;
图2为本申请实施例公开的另一种数据处理方法的流程图;
图3为本申请实施例公开的一种数据记录过程的示意图;
图4为本申请实施例公开的一种具体的数据处理方法的流程图;
图5为本申请实施例公开的一种数据处理装置的结构图;
图6为本申请实施例公开的一种电子设备的结构图;
图7为本申请实施例公开的另一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在现有技术中,为了保证中间系统的高可用,会在该系统服务不可用时,启用熔断机制,此时发送到该系统的业务数据会被切断。通常在所有服务不可用时,对中断期间的交易数据,仅采用记录机制。如何实现系统恢复后,在不影响后续交易的基础上恢复所有数据是本领域技术人员亟待解决的问题。
因此,本申请实施例公开了一种数据处理方法,实现了在不影响后续交易的基础上恢复所有异常期间的数据,保证了数据的完整性和准确性。
参见图1所示,本申请实施例公开的一种数据处理方法包括:
S101:在当前中间业务系统发生异常之后,停止接收外围业务系统发送的业务处理请求;
本申请实施例中,若中间业务系统发生异常,则不再接收外围业务系统发送的业务处理请求。具体可以在当前中间业务系统中提供交易开关,该交易开关用于控制是否接收外围业务系统发送的业务处理请求。也即,若当前中间业务系统发生异常之后,可以通过关闭上述交易开关以实现停止接收业务处理请求的目的。
在具体实施中,本申请实施例可以对当前中间业务系统进行实时监测,并统计其故障次数;若故障次数大于预设阈值,则判定当前中间业务系统发生了异常。当然,还可采用其他实施方式来判断中间业务系统是否发生异常,在此不对其进行限定。
S102:对所述当前中间业务系统异常期间的所述业务处理请求进行记录,将所述业务处理请求写入所述外围业务系统中的预设文件中;
可以理解的是,在当前中间业务系统异常期间,本申请实施例将对于未能成功发送到中间业务系统的业务处理请求进行记录,具体可以采用特定格式将上述业务处理请求写入外围业务系统的预设文件中。记录的信息可以包括但不限于业务请求发起的时间、业务请求的具体内容、业务请求对应的发起者等信息。
S103:在所述当前中间业务系统恢复正常之后,确定所述预设文件中记录的增量业务数据;
在本步骤中,当排除故障,当前中间业务系统恢复正常之后,将在预设文件中确定增量业务数据,即中间业务系统异常期间的业务请求数据。
作为一种可行的实施方式,上述确定所述预设文件中记录的增量业务数据的过程可以具体为:获取预设文件中记录的业务处理请求的第一时间;获取数据库表中最后一次更新的第二时间;通过对比第一时间和第二时间,得到第一时间中比第二时间新的目标业务处理请求;将该目标业务处理请求的数据确定为增量业务数据。
S104:将所述增量业务数据按照所述业务处理请求的业务逻辑写入对应的数据库表中,并在写入完成后恢复接收所述外围业务系统发送的业务处理请求。
需要说明的是,本申请实施例在确定增量业务数据之后,将按照对应业务处理请求的业务逻辑读取上述增量业务数据并写入到对应的数据库表中。在数据写入完成,即实现数据恢复之后,恢复接收后续外围业务系统发送的业务处理请求,继续进行业务处理过程。
本申请提供的一种数据处理方法,包括:在当前中间业务系统发生异常之后,停止接收外围业务系统发送的业务处理请求;对所述当前中间业务系统异常期间的所述业务处理请求进行记录,将所述业务处理请求写入所述外围业务系统中的预设文件中;在所述当前中间业务系统恢复正常之后,确定所述预设文件中记录的增量业务数据;将所述增量业务数据按照所述业务处理请求的业务逻辑写入对应的数据库表中,并在写入完成后恢复接收所述外围业务系统发送的业务处理请求。由上可知,本申请在系统异常后,将不再接收业务处理请求,将异常期间的业务处理请求记录在外围业务系统的预设文件。在系统恢复正常后,仍然停止接收后续业务处理请求,仅在将预设文件中记录的增量业务数据写入对应的数据库表,完成数据的恢复和同步之后,启动对于后续外围业务系统发送的业务处理请求的接收,从而实现了在不影响后续交易的基础上恢复所有异常期间的数据,保证了数据的完整性和准确性。
本申请实施例公开了另一种数据处理方法,相对于上一实施例,本实施例对技术方案作了进一步的说明和优化。参见图2所示,具体的:
S201:在当前中间业务系统发生异常之后,停止接收外围业务系统发送的业务处理请求;
S202:对所述当前中间业务系统异常期间的所述业务处理请求进行记录,将所述业务处理请求写入所述外围业务系统中的预设文件中;
S203:在所述当前中间业务系统恢复正常之后,关闭缓存同步开关,禁止将缓存中的过期数据同步至所述数据库表中;
S204:确定所述预设文件中记录的增量业务数据;
S205:将所述增量业务数据按照所述业务处理请求的业务逻辑写入对应的数据库表中;
S206:对所述缓存进行清空操作,并在清空后将所述数据库表中保存的数据装载至所述缓存中;
S207:开启所述缓存同步开关,以便后续将所述缓存中的数据实时同步至对应的所述数据库表中;
S208:恢复接收所述外围业务系统发送的业务处理请求。
本申请实施例中,在系统正常使用过程中,将会采用数据库和缓存进行数据记录,业务处理数据会先记录到缓存中,每隔一段时间或每达到一定数据量之后,将会启动自动同步服务将缓存中的数据同步至数据库中。
相应的,在当前中间业务系统恢复正常之后,确定预设文件中记录的增量业务数据并同步之前,本申请实施例将首先关闭缓存同步开关,缓存中的数据将不再同步到数据库中。这是由于系统故障导致缓存中存储的数据可能会存在过期数据,如果将其同步到数据库表中将会导致数据记录错误。在确定增量业务数据,并将增量业务数据按照业务逻辑写入对应的数据库表之后,本申请实施例将清空缓存,保证缓存中不存在过期或无效的错误数据。缓存清空后,将数据库表中保存的数据装载至缓存中,后续业务处理即可使用缓存中正确的最新数据。进一步地,开启上述缓存同步开关,后续过程中每次触发数据同步条件,都会将缓存中的数据实时同步至对应的数据库表中。
可以理解的是,本申请实施例在确定预设文件中记录的增量业务数据的步骤之后,若发现预设文件中并不存在增量业务数据,即在系统异常期间并未有待处理的业务处理请求,则可直接启动对缓存进行清空操作的步骤。
下面通过具体场景下的实施例对本申请提供的数据处理方法进行介绍。具体地,业务处理请求可以具体为交易请求。参见图3所示,在系统正常运行过程中,采用的数据记录方式是传统关系型数据库和Redis缓存。交易数据先记录到Redis缓存中,每隔一段时间,自动同步服务会自动同步Redis缓存中数据到关系型数据库中。
参见图4所示,当对接系统交易发送到中间业务系统的异常次数达到设置的阈值时,会自动触发熔断机制。此时,将系统交易开关设置为关闭。交易开关关闭后,将不再接收外围业务系统发送的交易,而此期间的交易均可采用特定的格式记录在外围业务系统或服务器某个路径下的文件中,
在排查异常原因,系统恢复正常之后,将执行交易数据追捕流程。具体步骤如下:首先关闭同步开关,保证Redis缓存中的数据不会同步到数据库中;执行数据追捕:数据追捕服务先读取文件中记录的交易数据,并对比数据库对应表中最后一次的更新时间,将文件中比数据库对应表中时间更新的数据追捕录入到数据库对应表中。进而清空Redis缓存中的历史数据记录,并将数据库表中的数据装载到Redis缓存中。开启同步开关,以及交易开关,即可正常执行后续的数据同步和交易接收步骤。
下面对本申请实施例提供的一种数据处理装置进行介绍,下文描述的一种数据处理装置与上文描述的一种数据处理方法可以相互参照。
参见图5所示,本申请实施例提供的一种数据处理装置包括:
接收停止模块301,用于在当前中间业务系统发生异常之后,停止接收外围业务系统发送的业务处理请求;
请求记录模块302,用于对所述当前中间业务系统异常期间的所述业务处理请求进行记录,将所述业务处理请求写入所述外围业务系统中的预设文件中;
增量确定模块303,用于在所述当前中间业务系统恢复正常之后,确定所述预设文件中记录的增量业务数据;
数据写入模块304,用于将所述增量业务数据按照所述业务处理请求的业务逻辑写入对应的数据库表中,并在写入完成后恢复接收所述外围业务系统发送的业务处理请求。
关于上述模块301至304的具体实施过程可参考前述实施例公开的相应内容,在此不再进行赘述。
在上述实施例的基础上,作为一种优选实施方式,本申请实施例提供的数据处理装置还可以进一步包括:
开关关闭模块,用于在确定所述预设文件中记录的增量业务数据之前关闭缓存同步开关,禁止将缓存中的过期数据同步至所述数据库表中;
缓存清空模块,用于在将所述增量业务数据按照所述业务处理请求的业务逻辑写入对应的数据库表中之后,对所述缓存进行清空操作,并在清空后将所述数据库表中保存的数据装载至所述缓存中;
开关开启模块,用于开启所述缓存同步开关,以便后续将所述缓存中的数据实时同步至对应的所述数据库表中。
在上述实施例的基础上,作为一种优选实施方式,所述增量确定模块303可以具体包括:
第一获取单元,用于获取所述预设文件中记录的所述业务处理请求的第一时间;
第二获取单元,用于获取所述数据库表中最后一次更新的第二时间;
时间对比单元,用于通过对比所述第一时间和所述第二时间,得到所述第一时间中比所述第二时间新的目标业务处理请求;
数据确定单元,用于将所述目标业务处理请求的数据确定为所述增量业务数据。
在上述实施例的基础上,作为一种优选实施方式,本申请实施例提供的数据处理装置还可以进一步包括:
故障监测模块,用于实时监测所述当前中间业务系统的故障次数;
异常判定模块,用于若所述故障次数大于预设阈值,则判定所述当前中间业务系统发生异常。
本申请还提供了一种电子设备,参见图6所示,本申请实施例提供的一种电子设备包括:
存储器100,用于存储计算机程序;
处理器200,用于执行所述计算机程序时可以实现上述实施例所提供的步骤。
具体的,存储器100包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读指令,该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。处理器200在一些实施例中可以是一中央处理器(CentralProcessing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片,为电子设备提供计算和控制能力,执行所述存储器100中保存的计算机程序时,可以实现前述任一种实施例公开的数据处理方法的步骤。
在上述实施例的基础上,作为优选实施方式,参见图7所示,所述电子设备还包括:
输入接口300,与处理器200相连,用于获取外部导入的计算机程序、参数和指令,经处理器200控制保存至存储器100中。该输入接口300可以与输入装置相连,接收用户手动输入的参数或指令。该输入装置可以是显示屏上覆盖的触摸层,也可以是终端外壳上设置的按键、轨迹球或触控板,也可以是键盘、触控板或鼠标等。
显示单元400,与处理器200相连,用于显示处理器200处理的数据以及用于显示可视化的用户界面。该显示单元400可以为LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。
网络端口500,与处理器200相连,用于与外部各终端设备进行通信连接。该通信连接所采用的通信技术可以为有线通信技术或无线通信技术,如移动高清链接技术(MHL)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术等。
图7仅示出了具有组件100-500的电子设备,本领域技术人员可以理解的是,图7示出的结构并不构成对电子设备的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
本申请还提供了一种计算机可读存储介质,该存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。该存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现前述任一种实施例公开的数据处理方法的步骤。
本申请在系统异常后,将不再接收业务处理请求,将异常期间的业务处理请求记录在外围业务系统的预设文件。在系统恢复正常后,仍然停止接收后续业务处理请求,仅在将预设文件中记录的增量业务数据写入对应的数据库表,完成数据的恢复和同步之后,启动对于后续外围业务系统发送的业务处理请求的接收,从而实现了在不影响后续交易的基础上恢复所有异常期间的数据,保证了数据的完整性和准确性。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (7)

1.一种数据处理方法,其特征在于,包括:
在当前中间业务系统发生异常之后,停止接收外围业务系统发送的业务处理请求;
对所述当前中间业务系统异常期间的所述业务处理请求进行记录,将所述业务处理请求写入所述外围业务系统中的预设文件中;
在所述当前中间业务系统恢复正常之后,确定所述预设文件中记录的增量业务数据;
将所述增量业务数据按照所述业务处理请求的业务逻辑写入对应的数据库表中,并在写入完成后恢复接收所述外围业务系统发送的业务处理请求;
所述确定所述预设文件中记录的增量业务数据之前,还包括:
关闭缓存同步开关,禁止将缓存中的过期数据同步至所述数据库表中;
在所述将所述增量业务数据按照所述业务处理请求的业务逻辑写入对应的数据库表中之后,还包括:
对所述缓存进行清空操作,并在清空后将所述数据库表中保存的数据装载至所述缓存中;
开启所述缓存同步开关,以便后续将所述缓存中的数据实时同步至对应的所述数据库表中。
2.根据权利要求1所述的数据处理方法,其特征在于,所述确定所述预设文件中记录的增量业务数据,包括:
获取所述预设文件中记录的所述业务处理请求的第一时间;
获取所述数据库表中最后一次更新的第二时间;
通过对比所述第一时间和所述第二时间,得到所述第一时间中比所述第二时间新的目标业务处理请求;
将所述目标业务处理请求的数据确定为所述增量业务数据。
3.根据权利要求1所述的数据处理方法,其特征在于,所述确定所述预设文件中记录的增量业务数据之后,还包括:
若所述预设文件中不存在所述增量业务数据,则直接启动对所述缓存进行清空操作的步骤。
4.根据权利要求1至3任一项所述的数据处理方法,其特征在于,还包括:
实时监测所述当前中间业务系统的故障次数;
若所述故障次数大于预设阈值,则判定所述当前中间业务系统发生异常。
5.一种数据处理装置,其特征在于,包括:
接收停止模块,用于在当前中间业务系统发生异常之后,停止接收外围业务系统发送的业务处理请求;
请求记录模块,用于对所述当前中间业务系统异常期间的所述业务处理请求进行记录,将所述业务处理请求写入所述外围业务系统中的预设文件中;
增量确定模块,用于在所述当前中间业务系统恢复正常之后,确定所述预设文件中记录的增量业务数据;
数据写入模块,用于将所述增量业务数据按照所述业务处理请求的业务逻辑写入对应的数据库表中,并在写入完成后恢复接收所述外围业务系统发送的业务处理请求;
开关关闭模块,用于在确定所述预设文件中记录的增量业务数据之前关闭缓存同步开关,禁止将缓存中的过期数据同步至所述数据库表中;
缓存清空模块,用于在将所述增量业务数据按照所述业务处理请求的业务逻辑写入对应的数据库表中之后,对所述缓存进行清空操作,并在清空后将所述数据库表中保存的数据装载至所述缓存中;
开关开启模块,用于开启所述缓存同步开关,以便后续将所述缓存中的数据实时同步至对应的所述数据库表中。
6.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至4任一项所述数据处理方法的步骤。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述数据处理方法的步骤。
CN201911134572.8A 2019-11-19 2019-11-19 一种数据处理方法、装置及电子设备和存储介质 Active CN110908838B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911134572.8A CN110908838B (zh) 2019-11-19 2019-11-19 一种数据处理方法、装置及电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911134572.8A CN110908838B (zh) 2019-11-19 2019-11-19 一种数据处理方法、装置及电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN110908838A CN110908838A (zh) 2020-03-24
CN110908838B true CN110908838B (zh) 2022-09-02

Family

ID=69818072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911134572.8A Active CN110908838B (zh) 2019-11-19 2019-11-19 一种数据处理方法、装置及电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN110908838B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111447272A (zh) * 2020-03-26 2020-07-24 支付宝(杭州)信息技术有限公司 负载均衡方法及装置
CN112650623B (zh) * 2020-12-25 2023-11-03 中国工商银行股份有限公司 业务系统切换过程中的数据处理方法及装置
CN112799884B (zh) * 2021-04-14 2021-08-03 北京八角科技有限责任公司 网络数据处理系统异常退出后的自动恢复方法、装置和存储介质
CN113157497B (zh) * 2021-04-30 2023-04-07 重庆紫光华山智安科技有限公司 数据存储方法、装置、设备及介质
CN113704254B (zh) * 2021-07-30 2023-06-16 北京奇艺世纪科技有限公司 一种数据库的业务处理方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609337A (zh) * 2012-01-19 2012-07-25 北京神州数码思特奇信息技术股份有限公司 一种内存数据库快速数据恢复方法
CN103970834A (zh) * 2014-04-02 2014-08-06 浙江大学 一种异构数据库同步系统中增量数据同步故障的恢复方法
CN106021335A (zh) * 2016-05-06 2016-10-12 北京奇虎科技有限公司 访问数据库的方法及装置
CN106921712A (zh) * 2015-12-28 2017-07-04 阿里巴巴集团控股有限公司 一种业务处理方法及装置
CN109407980A (zh) * 2018-09-29 2019-03-01 武汉极意网络科技有限公司 基于Redis集群的数据存储系统
CN110392100A (zh) * 2019-07-12 2019-10-29 辽宁途隆科技有限公司 高并发事件的处理方法及装置、存储介质、计算机设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810092B2 (en) * 2018-04-23 2020-10-20 Sap Se Checkpoints for document store

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609337A (zh) * 2012-01-19 2012-07-25 北京神州数码思特奇信息技术股份有限公司 一种内存数据库快速数据恢复方法
CN103970834A (zh) * 2014-04-02 2014-08-06 浙江大学 一种异构数据库同步系统中增量数据同步故障的恢复方法
CN106921712A (zh) * 2015-12-28 2017-07-04 阿里巴巴集团控股有限公司 一种业务处理方法及装置
CN106021335A (zh) * 2016-05-06 2016-10-12 北京奇虎科技有限公司 访问数据库的方法及装置
CN109407980A (zh) * 2018-09-29 2019-03-01 武汉极意网络科技有限公司 基于Redis集群的数据存储系统
CN110392100A (zh) * 2019-07-12 2019-10-29 辽宁途隆科技有限公司 高并发事件的处理方法及装置、存储介质、计算机设备

Also Published As

Publication number Publication date
CN110908838A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
CN110908838B (zh) 一种数据处理方法、装置及电子设备和存储介质
EP3202123A1 (en) Semi-automatic failover
CN107577471B (zh) 一种应用控制方法及移动终端
CN108510287B (zh) 客户回访的判断方法、电子装置及计算机可读存储介质
CN110413432B (zh) 一种信息处理方法、电子设备及存储介质
CN113744064B (zh) 在区块链节点中执行交易的方法及装置
US10089162B2 (en) Method for maintaining file system of computer system
CN114138838A (zh) 数据处理方法及装置、设备和介质
CN110825509A (zh) 应用管理方法、装置、设备及可读存储介质
CN111078418B (zh) 操作同步方法、装置、电子设备及计算机可读存储介质
CN109634782B (zh) 一种系统健壮性的检测方法、装置、存储介质及终端
CN111130856A (zh) 一种服务器配置方法、系统、设备及计算机可读存储介质
CN113434354B (zh) 一种总线异常处置方法、装置、电子设备及可读存储介质
CN111026458A (zh) 一种应用程序退出时间设置方法及装置
CN111639007B (zh) 一种数据处理方法、装置、终端及计算机可读存储介质
CN113467662B (zh) 应用程序中回退误操作的控制方法及装置
WO2024000535A1 (zh) 分区表更新方法、装置、电子设备及存储介质
US20230086852A1 (en) Method, electronic device, and program product for failure handling
WO2023082332A1 (zh) 一种故障恢复方法、装置、设备及计算机可读存储介质
CN109213627B (zh) 容错操作方法与使用此方法的电子装置
CN117992305A (zh) 虚拟机监测方法、装置、电子设备及存储介质
JP6121928B2 (ja) 通信装置、及び、データ管理方法
CN115729844A (zh) 一种内存数据同步方法及系统
US20170068570A1 (en) System for managing asset manager lifetimes
CN114625395A (zh) 数据处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant