CN117708177A - 一种数据处理系统、方法、装置、电子设备及存储介质 - Google Patents
一种数据处理系统、方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117708177A CN117708177A CN202311757420.XA CN202311757420A CN117708177A CN 117708177 A CN117708177 A CN 117708177A CN 202311757420 A CN202311757420 A CN 202311757420A CN 117708177 A CN117708177 A CN 117708177A
- Authority
- CN
- China
- Prior art keywords
- request
- target
- data
- data processing
- target device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 177
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000003672 processing method Methods 0.000 claims description 16
- 238000012795 verification Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 description 21
- 238000004590 computer program Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000003993 interaction Effects 0.000 description 5
- 238000005192 partition Methods 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种数据处理系统、方法、装置、电子设备及存储介质,该数据处理系统中第一目标设备按照目标请求执行完对应的数据处理任务后,将请求相关数据存储至对应的数据库,第二目标设备在执行完对应的数据处理任务后也将请求的相关数据存储至对应的数据库,一致性校验模块通过在数据库中查询第一目标设备与第二目标设备存储的请求相关数据是否同时存在即可确定第一目标设备与第二目标设备数据是否具备最终一致性,由于参与数据处理的设备仅需将请求相关数据进行存储,一致性校验模块仅需执行两个数据库查询操作已确定设备的最终一致性,与强一致性架构相比,需要处理的数据较少,实现较为便利,进而降低了非强一致性的业务的运维成本。
Description
技术领域
本发明涉及大数据技术领域,尤其涉及一种数据处理系统、方法、装置、电子设备及存储介质。
背景技术
分布式系统(distributed system)是建立在网络之上的软件系统,通常由多部设备构成,上述设备可以是计算机、服务器等,各设备之间通过网络相互连接。各设备也被称为是分布式系统中的节点,各节点均包含处理器以及内存,具有独立的数据处理功能。
随着分布式技术的发展,大多企业会基于分布式架构设置应用程序,并将应用程序的不同功能分布在不同的节点进行执行,同时应用程序的一种功能可能也需要多个不同节点执行。示例性的,执行扫码支付功能时,需要图像解析、调用相应银行卡接口以及转账能功能节点参与该流程。由于多个节点参与功能实现,保证各参与计算的各节点的数据一致性显得十分重要。
相关技术中,通常使用TCC(try、confirm、cancel,预提交,确定提交,取消提交)架构、2PC(Two-Phase Commit,二阶段提交)架构等来保证各节点的强一致性。强一致性指的是当更新操作完成后,在任何适合时刻所有的用户或进程查询到的都是最近一次成功更新的数据。强一致性通常需要较高的运维成本,对于非强一致性的应用场景,如仅要求最终一致性(在一段时间后,节点间的数据会最终达到一致状态)的应用场景,显得运维成本过高。
发明内容
有鉴于此,本发明实施例提供了一种数据处理系统、方法、装置、电子设备及存储介质,以降低业务的运维成本。
根据本发明的一方面,提供了一种数据处理系统,所述系统包括:第一目标设备、第二目标设备以及一致性校验模块;
所述第一目标设备,用于接收目标请求,按照所述目标请求执行所述第一目标设备对应的第一数据处理任务;按照所述目标请求向所述第二目标设备发送调用请求;将第一请求数据记录至预设第一数据库;所述第一请求数据与所述目标请求对应;
所述第二目标设备,用于按照所述调用请求执行所述第二目标设备对应的第二数据处理任务;将第二请求数据记录至预设第二数据库;所述第二请求数据与所述调用请求对应;
所述一致性校验模块,用于在从所述预设第一数据库中查找到所述第一请求数据的情况下,在所述预设第二数据库中查找所述第二请求数据;在未查找到所述第二请求数据的情况下,重新调用所述第二目标设备执行所述第二数据处理任务。
在一种可能的实施例中,所述一致性校验模块,用于在查找到所述第二请求数据的情况下,确定所述第一目标设备与所述第二目标设备数据一致。
根据本发明的另一方面,提供了一种数据处理方法,应用于数据处理系统中的第一目标设备,所述数据处理系统中还包括第二目标设备以及一致性校验模块,所述方法包括:
接收目标请求;
按照所述目标请求执行所述第一目标设备对应的第一数据处理任务;
按照所述目标请求向所述第二目标设备发送调用请求;以使所述第二目标设备按照所述调用请求执行所述第二目标设备对应的第二数据处理任务,并将第二请求数据记录至预设第二数据库;所述第二请求数据与所述调用请求对应;
将第一请求数据记录至预设第一数据库,所述第一请求数据与所述目标请求对应;以使所述一致性校验模块在从所述预设第一数据库中查找到所述第一请求数据的情况下,在所述预设第二数据库中查找所述第二请求数据,在未查找到所述第二请求数据的情况下,重新调用所述第二目标设备执行所述第二数据处理任务。
根据本发明的另一方面,提供了一种数据处理方法,应用于数据处理系统中的第二目标设备,所述数据处理系统中还包括第一目标设备以及一致性校验模块,所述方法包括:
接收调用请求;所述调用请求为所述第一目标设备发送至所述第二目标设备的;
按照所述调用请求执行所述第二目标设备对应的第二数据处理任务;
将第二请求数据记录至预设第二数据库,所述第二请求数据与所述调用请求对应;以使所述一致性校验模块在从预设第一数据库中查找到第一请求数据的情况下,在所述预设第二数据库中查找所述第二请求数据,在未查找到所述第二请求数据的情况下,重新调用所述第二目标设备执行所述第二数据处理任务;所述第一请求数据为所述第一目标设备接收目标请求,按照所述目标请求执行所述第一目标设备对应的第一数据处理任务后存储至所述预设第一数据库中的数据,所述第一请求数据与所述目标请求对应。
在一种可能的实施例中,所述方法还包括:
在接收到所述一致性校验模块发送的调用信息的情况下,重新执行所述第二数据处理任务。
根据本发明的另一方面,提供了一种数据处理方法,应用于数据处理系统中的一致性校验模块,所述数据处理系统中还包括第一目标设备以及第二目标设备,所述方法包括:
在从预设第一数据库中查找到第一请求数据的情况下,在预设第二数据库中查找第二请求数据;所述第一请求数据为所述第一目标设备接收目标请求,按照所述目标请求执行所述第一目标设备对应的第一数据处理任务后存储至所述预设第一数据库中的数据,所述第一请求数据与所述目标请求对应;所述第二请求数据为所述第二目标设备按照调用请求执行所述第二目标设备对应的第二数据处理任务后存储至所述预设第二数据库中的,所述调用请求为所述第一目标设备发送至所述第二目标设备的;
在未查找到所述第二请求数据的情况下,重新调用所述第二目标设备执行所述第二数据处理任务。
根据本发明的另一方面,提供了一种数据处理装置,应用于数据处理系统中的第一目标设备,所述数据处理系统中还包括第二目标设备以及一致性校验模块,所述装置包括:
第一接收模块,用于接收目标请求;
第一执行模块,用于按照所述目标请求执行所述第一目标设备对应的第一数据处理任务;
发送模块,用于按照所述目标请求向所述第二目标设备发送调用请求;以使所述第二目标设备按照所述调用请求执行所述第二目标设备对应的第二数据处理任务,并将第二请求数据记录至预设第二数据库;所述第二请求数据与所述调用请求对应;
第一存储模块,用于将第一请求数据记录至预设第一数据库,所述第一请求数据与所述目标请求对应;以使所述一致性校验模块在从所述预设第一数据库中查找到所述第一请求数据的情况下,在所述预设第二数据库中查找所述第二请求数据,在未查找到所述第二请求数据的情况下,重新调用所述第二目标设备执行所述第二数据处理任务。
根据本发明的另一方面,提供了一种数据处理装置,应用于数据处理系统中的第二目标设备,所述数据处理系统中还包括第一目标设备以及一致性校验模块,所述装置包括:
第二接收模块,用于接收调用请求;所述调用请求为所述第一目标设备发送至所述第二目标设备的;
第二执行模块,用于按照所述调用请求执行所述第二目标设备对应的第二数据处理任务;
第二存储模块,用于将第二请求数据记录至预设第二数据库,所述第二请求数据与所述调用请求对应;以使所述一致性校验模块在从预设第一数据库中查找到第一请求数据的情况下,在所述预设第二数据库中查找所述第二请求数据,在未查找到所述第二请求数据的情况下,重新调用所述第二目标设备执行所述第二数据处理任务;所述第一请求数据为所述第一目标设备接收目标请求,按照所述目标请求执行所述第一目标设备对应的第一数据处理任务后存储至所述预设第一数据库中的数据,所述第一请求数据与所述目标请求对应。
根据本发明的另一方面,提供了一种数据处理装置,应用于数据处理系统中的一致性校验模块,所述数据处理系统中还包括第一目标设备以及第二目标设备,所述装置包括:
查找模块,用于在从预设第一数据库中查找到第一请求数据的情况下,在预设第二数据库中查找第二请求数据;所述第一请求数据为所述第一目标设备接收目标请求,按照所述目标请求执行所述第一目标设备对应的第一数据处理任务后存储至所述预设第一数据库中的数据,所述第一请求数据与所述目标请求对应;所述第二请求数据为所述第二目标设备按照调用请求执行所述第二目标设备对应的第二数据处理任务后存储至所述预设第二数据库中的,所述调用请求为所述第一目标设备发送至所述第二目标设备的;
调用模块,用于在未查找到所述第二请求数据的情况下,重新调用所述第二目标设备执行所述第二数据处理任务。
根据本发明的另一方面,提供了一种电子设备,包括:
处理器;以及
存储程序的存储器,
其中,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行上述任一项所述的数据处理方法。
根据本发明的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使计算机执行上述任一项所述的数据处理方法。
本发明实施例中提供的一个或多个技术方案,第一目标设备按照目标请求执行完其对应的数据处理任务后,将该次请求的相关数据存储至对应的数据库,第二目标设备在执行完其对应的数据处理任务后将该次请求的相关数据存储至对应的数据库,一致性校验模块通过在数据库中查询第一目标设备与第二目标设备存储的请求相关数据是否同时存在即可确定第一目标设备与第二目标设备数据是否具备最终一致性,由于参与数据处理的设备仅需将请求相关数据进行存储,一致性校验模块仅需执行两个数据库查询操作即可确定设备的数据是否具备最终一致性,与强一致性架构相比,需要处理的数据较少,实现较为便利,进而降低了非强一致性的业务的运维成本。
附图说明
在下面结合附图对于示例性实施例的描述中,本发明的更多细节、特征和优点被公开,在附图中:
图1为本发明实施例提供的数据处理系统的一种结构示意图;
图2为本发明实施例提供的数据处理系统的一种交互示意图;
图3为本发明实施例提供的应用于第一目标设备的数据处理方法的一种流程示意图;
图4为本发明实施例提供的应用于第二目标设备的数据处理方法的一种流程示意图;
图5为本发明实施例提供的应用于一致性校验模块的数据处理方法的一种流程示意图;
图6为本发明实施例提供的应用于第一目标设备的数据处理装置的一种结构示意图;
图7为本发明实施例提供的应用于第二目标设备的数据处理装置的一种结构示意图;
图8为本发明实施例提供的应用于一致性校验模块的数据处理装置的一种结构示意图;
图9示出了能够用于实现本发明的实施例的示例性电子设备的结构框图。
具体实施方式
下面将参照附图更详细地描述本发明的实施例。虽然附图中显示了本发明的某些实施例,然而应当理解的是,本发明可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本发明。应当理解的是,本发明的附图及实施例仅用于示例性作用,并非用于限制本发明的保护范围。
应当理解,本发明的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意,本发明中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本发明实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
为了降低服务的运维成本,本发明实施例提供了一种数据处理系统、方法、装置、电子设备及存储介质。本发明实施例提供的数据处理系统可以应用于任何具有数据处理功能的电子设备中,上述电子设备可以是服务器、计算机或者移动终端等等,以下参照附图描述本发明的方案:
图1为本发明实施例提供的数据处理系统的一种结构示意图,该数据处理系统100可以包括第一目标设备101、第二目标设备102以及一致性校验模块103,其中,
所述第一目标设备101,用于接收目标请求,按照所述目标请求执行所述第一目标设备对应的第一数据处理任务;按照所述目标请求向所述第二目标设备发送调用请求;将第一请求数据记录至预设第一数据库;所述第一请求数据与所述目标请求对应;
所述第二目标设备102,用于按照所述调用请求执行所述第二目标设备对应的第二数据处理任务;将第二请求数据记录至预设第二数据库;所述第二请求数据与所述调用请求对应;
所述一致性校验模块103,用于在从所述预设第一数据库中查找到所述第一请求数据的情况下,在所述预设第二数据库中查找所述第二请求数据;在未查找到所述第二请求数据的情况下,重新调用所述第二目标设备执行所述第二数据处理任务。
应用本发明实施例,第一目标设备按照目标请求执行完其对应的数据处理任务后,将该次请求的相关数据存储至对应的数据库,第二目标设备在执行完其对应的数据处理任务后将该次请求的相关数据存储至对应的数据库,一致性校验模块通过在数据库中查询第一目标设备与第二目标设备存储的请求相关数据是否同时存在即可确定第一目标设备与第二目标设备数据是否具备最终一致性,由于参与数据处理的设备仅需将请求相关数据进行存储,一致性校验模块仅需执行两个数据库查询操作即可确定设备的数据是否具备最终一致性,与强一致性架构相比,需要处理的数据较少,实现较为便利,进而降低了非强一致性的业务的运维成本。
下面对本发明提供的数据处理系统进行示例性说明:
微服务部署的业务环境中,不同功能模块部署在分布式系统中不同的节点上,模块和模块之间可以直接调用,节点和节点也可以直接调用。上述第一目标设备可以是分布式系统中任意的节点,也可以是分布式系统中可以调用其他节点的节点,本发明中对此不作具体限定。
上述目标请求可以是应用层发送至第一目标设备中的,该目标请求中可以包括业务标识、请求时间、请求类型以及请求参数等。上述业务标识可以是业务名称、业务编码等,上述请求类型标识所需实现的功能,如可以包括支付请求、贷款请求等等,上述请求参数可以根据具体的请求类型确定。作为一种可能的实施方式,在上述请求为支付请求的情况下,上述请求参数可以包括付款用户标识、收款用户标识、支付金额等。
在一种可能的实施例中,可以预先针对各请求类型设置节点的调用顺序,示例性的,可以设置处理支付请求的节点顺序为节点A-节点B-节点C。在上述目标请求为支付请求的情况下,节点A即为第一目标设备。
第一目标设备接收到目标请求后,即可按照目标请求中包括的请求参数实现相应的功能。
在一种可能的实施例中,节点中可能包括多个可以实现的功能,如节点A可以实现的功能包括功能1、功能2以及功能3,每个功能均预设对应的接口,如上述功能1、功能2以及功能3分别对应于节点A中的接口1、接口2以及接口3,节点通过将请求参数传入相应接口即可实现相应的功能。在一种可能的实施例中,可以针对各请求类型预设节点调用顺序以及节点中调用的接口,示例性的,针对支付请求可以设置调用的节点顺序为节点A的接口1-节点B的接口3-节点C的接口1。
第一目标设备接收到上述目标请求后可以按照目标请求中包含的请求类型确定需要调用的接口,并将目标请求中包含的请求参数传入该接口,以通过该接口执行对应的功能。
第一目标设备执行完成对应的数据处理任务后,需要将数据处理结果持久化至业务数据库,即按照数据处理结果对业务数据库进行变更。该业务数据库中存储业务相关数据,如对于某金融业务来说,其业务数据库中可以包括各用户的基本信息以及账户信息等,上述用户基本信息可以包括用户ID、年龄等,上述账户信息可以包括账户余额、贷款额度等。
示例性的,在第一目标设备执行的数据处理任务为从用户账户中扣款的情况下,需要对数据库中的账户余额进行变更。上述执行完成指的是第一目标设备在运行程序处理数据处理任务的过程中未发生任何异常,程序返回执行成功信息。
在一种可能的实施例中,第一目标设备将数据处理结果持久化至数据库之前可以将该次请求的信息记录至预设第一数据库中,该上述第一数据库可以是MySQL、PostgreSQL等等,第一数据库设置在分布式系统内部,可以接受多个节点的查询请求。为了便于叙述,本发明中将第一目标设备记录的请求的信息称为第一请求数据,该第一请求数据与目标请求对应,可以包括业务标识、请求类型、请求时间、请求参数以及数据处理结果等等。
如上所述,目标请求通常需要多个设备执行完成,第一目标设备在执行完成其对应的数据处理任务后,可以调用其他设备执行相应的数据处理任务。为便于叙述,本发明实施例中将接收第一目标设备调用的其他设备称为第二目标设备,第二目标设备可以有一个或多个,具体可以根据实际需要设置,本发明对此不作具体限定。
在一种可能的实施例中,第一目标设备可以向第二目标设备发送调用请求,该调用请求中可以包括与目标请求中一致的信息,如可以包括业务标识、请求时间、请求类型以及请求参数等。第二目标设备接收到该调用请求后,可以按照业务标识以及请求类型确定其对应的数据处理任务,并执行。本发明实施例中对第一目标设备发送调用请求与执行第一数据处理任务的顺序不作具体限定。
在一种可能的实施例中,第一目标设备可以对目标请求进行拆解,即第一目标设备可以基于目标请求的请求类型、该请求类型对应的预设节点调用顺序以及节点的接口,从目标请求中确定待第二目标设备执行的第二数据处理任务。相应的,第一目标设备发送给第二目标设备的调用请求中可以包括业务标识、数据处理任务标识、接口标识以及请求参数等等。第二目标设备接收到调用请求后,可以按照接口标识将请求参数传入相应接口,以执行对应的第二数据处理任务。
示例性的,在上述目标请求为支付请求的情况下,第一目标设备完成从发起支付的用户的账户中扣除相应金额的任务,并从目标请求中拆解需要第二目标设备完成的第二数据处理任务,如向收款用户的账户中增加相应金额,并将该数据处理任务对应的接口标识以及收款账户标识等信息添加至调用请求中,发送至第二目标设备。
第二目标设备执行完成对应的第二数据处理任务后,将数据处理结果持久化至业务数据库之前,可以将该调用请求相关数据记录至第二数据库中,为便于叙述,本发明中将第二设备记录的调用请求相关数据成为第二请求数据,第二请求数据中可以包括调用请求中的数据以及第二目标设备对第二数据处理任务的处理结果等。上述第二数据库可以是MySQL、PostgreSQL等等,该第二数据库设置在分布式系统存储层中,可以接受多个设备的查询请求。
第一数据库与第二数据库可以是相同的数据库,也可以是不同的数据库,具体可以根据实际需要设置,本发明对此不作具体限定。
作为一种可能的实施方式,可以在同一数据库中分表分区存储不同设备的请求数据。分表/分区存储指的将数据按照一定规则划分为不同的表/区进行存储,本实施例中,可以针对分布式系统中的各设备在数据库中设置不同的表/分区,同一设备的请求数据存储至相同的表/分区中。
一致性校验模块可以按照预设周期查询分布式系统内各节点的数据一致性,示例性的,一致性校验模块可以间隔一分钟、五分钟查询节点的数据一致性。
在一种可能的实施例中,一致性校验模块中存储各设备与数据库的对应关系,一致性校验模块可以按照预设周期查询某一设备的数据库中存储请求数据,并针对各请求数据查询执行相应请求的其他设备对应的数据库中是否存储相应的请求数据。
作为一种可能的实施方式,上述预设周期为五分钟的情况下,一致性校验模块可以每隔五分钟查询第一数据库中五分钟内收到的第一请求数据,并针对每个第一请求数据,确定该第一请求数据对应的请求类型,进而确定执行该请求类型的其他第二目标设备,并从第二目标设备对应的第二数据库中查询是否存在第二请求数据。
若同时查询到第一请求数据与第二请求数据,则说明第一目标设备与第二目标设备均执行完成相应数据处理任务,两目标设备具备最终一致性。若仅查询到第一目标设备,未查询到第二目标设备,则说明第一目标设备执行完成第一数据处理任务,但第二目标设备未执行完成第二数据处理任务,可能由于网络异常、节点故障或调用超时等原因导致第一目标设备对第二目标设备调用失败。一致性校验模块可以向第二目标设备重新发送调用请求,以使第二目标设备重新处理数据处理任务,进而保证各目标设备数据的最终一致性。
图2为本发明实施例提供的数据处理系统的一种交互示意图,该系统交互流程具体可以包括以下步骤:
步骤1、分布式系统节点A接收目标请求,并在A节点本地处理目标请求中A节点对应的数据处理任务。该节点A即为第一目标设备。
步骤2、分布式系统节点A处理完成其对应的数据处理任务后,将该次请求数据记录至数据库A中。
上述请求数据可以包括请求时间、业务标识、数据处理任务等等。
步骤3、分布式系统节点A向分布式系统节点B发送调用请求。节点B为第二目标设备。
上述调用请求中可以包括业务标识、待完成的数据处理任务等等。
步骤4、分布式系统节点B本地处理该目标请求。
步骤5、分布式系统节点B在完成其对应的数据处理任务后,将该调用请求数据记录至数据库B中。
步骤6、一致性校验模块基于目标请求标识在数据库A中查询目标请求,同时在数据库B中查询目标请求,在均查询到的情况下,确定节点数据一致,在未在数据库B中查询到目标请求的情况下,则重试,即重新调用分布式系统节点B完成上述目标请求。
基于相同的发明构思,本发明还提供了一种数据处理方法,应用于数据处理系统中的第一目标设备,所述数据处理系统中还包括第二目标设备以及一致性校验模块,如图3所示,该方法可以包括:
S301、接收目标请求;
S302、按照所述目标请求执行所述第一目标设备对应的第一数据处理任务;
S303、按照所述目标请求向所述第二目标设备发送调用请求;以使所述第二目标设备按照所述调用请求执行所述第二目标设备对应的第二数据处理任务,并将第二请求数据记录至预设第二数据库;所述第二请求数据与所述调用请求对应;
S304、将第一请求数据记录至预设第一数据库,所述第一请求数据与所述目标请求对应;以使所述一致性校验模块在从所述预设第一数据库中查找到所述第一请求数据的情况下,在所述预设第二数据库中查找所述第二请求数据,在未查找到所述第二请求数据的情况下,重新调用所述第二目标设备执行所述第二数据处理任务。
基于相同的发明构思,本发明还提供了一种数据处理方法,应用于数据处理系统中的第二目标设备,所述数据处理系统中还包括第一目标设备以及一致性校验模块,如图4所示,该方法可以包括:
S401、接收调用请求;所述调用请求为所述第一目标设备发送至所述第二目标设备的;
S402、按照所述调用请求执行所述第二目标设备对应的第二数据处理任务;
S403、将第二请求数据记录至预设第二数据库,所述第二请求数据与所述调用请求对应;以使所述一致性校验模块在从预设第一数据库中查找到第一请求数据的情况下,在所述预设第二数据库中查找所述第二请求数据,在未查找到所述第二请求数据的情况下,重新调用所述第二目标设备执行所述第二数据处理任务;所述第一请求数据为所述第一目标设备接收目标请求,按照所述目标请求执行所述第一目标设备对应的第一数据处理任务后存储至所述预设第一数据库中的数据,所述第一请求数据与所述目标请求对应。
在一种可能的实施例中,所述方法还可以包括:
在接收到所述一致性校验模块发送的调用信息的情况下,重新执行所述第二数据处理任务。
基于相同的发明构思,本发明还提供了一种数据处理方法,应用于数据处理系统中的一致性校验模块,所述数据处理系统中还包括第一目标设备以及第二目标设备,所述方法包括:
S501、在从预设第一数据库中查找到第一请求数据的情况下,在预设第二数据库中查找第二请求数据;所述第一请求数据为所述第一目标设备接收目标请求,按照所述目标请求执行所述第一目标设备对应的第一数据处理任务后存储至所述预设第一数据库中的数据,所述第一请求数据与所述目标请求对应;所述第二请求数据为所述第二目标设备按照调用请求执行所述第二目标设备对应的第二数据处理任务后存储至所述预设第二数据库中的,所述调用请求为所述第一目标设备发送至所述第二目标设备的;
S502、在未查找到所述第二请求数据的情况下,重新调用所述第二目标设备执行所述第二数据处理任务。
基于相同的发明构思,本发明还提供了一种数据处理装置,应用于数据处理系统中的第一目标设备,所述数据处理系统中还包括第二目标设备以及一致性校验模块,如图6所示,该装置600可以包括:
第一接收模块601,用于接收目标请求;
第一执行模块602,用于按照所述目标请求执行所述第一目标设备对应的第一数据处理任务;
发送模块603,用于按照所述目标请求向所述第二目标设备发送调用请求;以使所述第二目标设备按照所述调用请求执行所述第二目标设备对应的第二数据处理任务,并将第二请求数据记录至预设第二数据库;所述第二请求数据与所述调用请求对应;
第一存储模块604,用于将第一请求数据记录至预设第一数据库,所述第一请求数据与所述目标请求对应;以使所述一致性校验模块在从所述预设第一数据库中查找到所述第一请求数据的情况下,在所述预设第二数据库中查找所述第二请求数据,在未查找到所述第二请求数据的情况下,重新调用所述第二目标设备执行所述第二数据处理任务。
基于相同的发明构思,本发明还提供了一种数据处理装置,应用于数据处理系统中的第二目标设备,所述数据处理系统中还包括第一目标设备以及一致性校验模块,如图7所示,装置700可以包括:
第二接收模块701,用于接收调用请求;所述调用请求为所述第一目标设备发送至所述第二目标设备的;
第二执行模块702,用于按照所述调用请求执行所述第二目标设备对应的第二数据处理任务;
第二存储模块703,用于将第二请求数据记录至预设第二数据库,所述第二请求数据与所述调用请求对应;以使所述一致性校验模块在从预设第一数据库中查找到第一请求数据的情况下,在所述预设第二数据库中查找所述第二请求数据,在未查找到所述第二请求数据的情况下,重新调用所述第二目标设备执行所述第二数据处理任务;所述第一请求数据为所述第一目标设备接收目标请求,按照所述目标请求执行所述第一目标设备对应的第一数据处理任务后存储至所述预设第一数据库中的数据,所述第一请求数据与所述目标请求对应。
基于相同的发明构思,本发明还提供了一种数据处理装置,应用于数据处理系统中的一致性校验模块,所述数据处理系统中还包括第一目标设备以及第二目标设备,如图8所示,该装置800可以包括:
查找模块801,用于在从预设第一数据库中查找到第一请求数据的情况下,在预设第二数据库中查找第二请求数据;所述第一请求数据为所述第一目标设备接收目标请求,按照所述目标请求执行所述第一目标设备对应的第一数据处理任务后存储至所述预设第一数据库中的数据,所述第一请求数据与所述目标请求对应;所述第二请求数据为所述第二目标设备按照调用请求执行所述第二目标设备对应的第二数据处理任务后存储至所述预设第二数据库中的,所述调用请求为所述第一目标设备发送至所述第二目标设备的;
调用模块802,用于在未查找到所述第二请求数据的情况下,重新调用所述第二目标设备执行所述第二数据处理任务。
其中,在本发明中所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
本发明示例性实施例还提供一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器。所述存储器存储有能够被所述至少一个处理器执行的计算机程序,所述计算机程序在被所述至少一个处理器执行时用于使所述电子设备执行根据本发明实施例的方法。
本发明示例性实施例还提供一种存储有计算机程序的非瞬时计算机可读存储介质,其中,所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本发明实施例的方法。
本发明示例性实施例还提供一种计算机程序产品,包括计算机程序,其中,所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本发明实施例的方法。
参考图9,现将描述可以作为本发明的服务器或客户端的电子设备900的结构框图,其是可以应用于本发明的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图9所示,电子设备900包括计算单元901,其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序,来执行各种适当的动作和处理。在RAM 903中,还可存储电子设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
电子设备900中的多个部件连接至I/O接口905,包括:输入单元906、输出单元907、存储单元908以及通信单元909。输入单元906可以是能向电子设备900输入信息的任何类型的设备,输入单元906可以接收输入的数字或字符信息,以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元907可以是能呈现信息的任何类型的设备,并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元908可以包括但不限于磁盘、光盘。通信单元909允许电子设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据,并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组,例如蓝牙TM设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理。例如,在一些实施例中,数据处理方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元908。在一些实施例中,计算机程序的部分或者全部可以经由ROM902和/或通信单元909而被载入和/或安装到电子设备900上。在一些实施例中,计算单元901可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行上述数据处理方法。
用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
如本发明使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
Claims (11)
1.一种数据处理系统,其特征在于,所述系统包括:第一目标设备、第二目标设备以及一致性校验模块;
所述第一目标设备,用于接收目标请求,按照所述目标请求执行所述第一目标设备对应的第一数据处理任务;按照所述目标请求向所述第二目标设备发送调用请求;将第一请求数据记录至预设第一数据库;所述第一请求数据与所述目标请求对应;
所述第二目标设备,用于按照所述调用请求执行所述第二目标设备对应的第二数据处理任务;将第二请求数据记录至预设第二数据库;所述第二请求数据与所述调用请求对应;
所述一致性校验模块,用于在从所述预设第一数据库中查找到所述第一请求数据的情况下,在所述预设第二数据库中查找所述第二请求数据;在未查找到所述第二请求数据的情况下,重新调用所述第二目标设备执行所述第二数据处理任务。
2.根据权利要求1所述的系统,其特征在于,所述一致性校验模块,用于在查找到所述第二请求数据的情况下,确定所述第一目标设备与所述第二目标设备数据一致。
3.一种数据处理方法,其特征在于,应用于数据处理系统中的第一目标设备,所述数据处理系统中还包括第二目标设备以及一致性校验模块,所述方法包括:
接收目标请求;
按照所述目标请求执行所述第一目标设备对应的第一数据处理任务;
按照所述目标请求向所述第二目标设备发送调用请求;以使所述第二目标设备按照所述调用请求执行所述第二目标设备对应的第二数据处理任务,并将第二请求数据记录至预设第二数据库;所述第二请求数据与所述调用请求对应;
将第一请求数据记录至预设第一数据库,所述第一请求数据与所述目标请求对应;以使所述一致性校验模块在从所述预设第一数据库中查找到所述第一请求数据的情况下,在所述预设第二数据库中查找所述第二请求数据,在未查找到所述第二请求数据的情况下,重新调用所述第二目标设备执行所述第二数据处理任务。
4.一种数据处理方法,其特征在于,应用于数据处理系统中的第二目标设备,所述数据处理系统中还包括第一目标设备以及一致性校验模块,所述方法包括:
接收调用请求;所述调用请求为所述第一目标设备发送至所述第二目标设备的;
按照所述调用请求执行所述第二目标设备对应的第二数据处理任务;
将第二请求数据记录至预设第二数据库,所述第二请求数据与所述调用请求对应;以使所述一致性校验模块在从预设第一数据库中查找到第一请求数据的情况下,在所述预设第二数据库中查找所述第二请求数据,在未查找到所述第二请求数据的情况下,重新调用所述第二目标设备执行所述第二数据处理任务;所述第一请求数据为所述第一目标设备接收目标请求,按照所述目标请求执行所述第一目标设备对应的第一数据处理任务后存储至所述预设第一数据库中的数据,所述第一请求数据与所述目标请求对应。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
在接收到所述一致性校验模块发送的调用信息的情况下,重新执行所述第二数据处理任务。
6.一种数据处理方法,其特征在于,应用于数据处理系统中的一致性校验模块,所述数据处理系统中还包括第一目标设备以及第二目标设备,所述方法包括:
在从预设第一数据库中查找到第一请求数据的情况下,在预设第二数据库中查找第二请求数据;所述第一请求数据为所述第一目标设备接收目标请求,按照所述目标请求执行所述第一目标设备对应的第一数据处理任务后存储至所述预设第一数据库中的数据,所述第一请求数据与所述目标请求对应;所述第二请求数据为所述第二目标设备按照调用请求执行所述第二目标设备对应的第二数据处理任务后,存储至所述预设第二数据库中的,所述调用请求为所述第一目标设备发送至所述第二目标设备的;
在未查找到所述第二请求数据的情况下,重新调用所述第二目标设备执行所述第二数据处理任务。
7.一种数据处理装置,其特征在于,应用于数据处理系统中的第一目标设备,所述数据处理系统中还包括第二目标设备以及一致性校验模块,所述装置包括:
第一接收模块,用于接收目标请求;
第一执行模块,用于按照所述目标请求执行所述第一目标设备对应的第一数据处理任务;
发送模块,用于按照所述目标请求向所述第二目标设备发送调用请求;以使所述第二目标设备按照所述调用请求执行所述第二目标设备对应的第二数据处理任务,并将第二请求数据记录至预设第二数据库;所述第二请求数据与所述调用请求对应;
第一存储模块,用于将第一请求数据记录至预设第一数据库,所述第一请求数据与所述目标请求对应;以使所述一致性校验模块在从所述预设第一数据库中查找到所述第一请求数据的情况下,在所述预设第二数据库中查找所述第二请求数据,在未查找到所述第二请求数据的情况下,重新调用所述第二目标设备执行所述第二数据处理任务。
8.一种数据处理装置,其特征在于,应用于数据处理系统中的第二目标设备,所述数据处理系统中还包括第一目标设备以及一致性校验模块,所述装置包括:
第二接收模块,用于接收调用请求;所述调用请求为所述第一目标设备发送至所述第二目标设备的;
第二执行模块,用于按照所述调用请求执行所述第二目标设备对应的第二数据处理任务;
第二存储模块,用于将第二请求数据记录至预设第二数据库,所述第二请求数据与所述调用请求对应;以使所述一致性校验模块在从预设第一数据库中查找到第一请求数据的情况下,在所述预设第二数据库中查找所述第二请求数据,在未查找到所述第二请求数据的情况下,重新调用所述第二目标设备执行所述第二数据处理任务;所述第一请求数据为所述第一目标设备接收目标请求,按照所述目标请求执行所述第一目标设备对应的第一数据处理任务后存储至所述预设第一数据库中的数据,所述第一请求数据与所述目标请求对应。
9.一种数据处理装置,其特征在于,应用于数据处理系统中的一致性校验模块,所述数据处理系统中还包括第一目标设备以及第二目标设备,所述装置包括:
查找模块,用于在从预设第一数据库中查找到第一请求数据的情况下,在预设第二数据库中查找第二请求数据;所述第一请求数据为所述第一目标设备接收目标请求,按照所述目标请求执行所述第一目标设备对应的第一数据处理任务后存储至所述预设第一数据库中的数据,所述第一请求数据与所述目标请求对应;所述第二请求数据为所述第二目标设备按照调用请求执行所述第二目标设备对应的第二数据处理任务后存储至所述预设第二数据库中的,所述调用请求为所述第一目标设备发送至所述第二目标设备的;
调用模块,用于在未查找到所述第二请求数据的情况下,重新调用所述第二目标设备执行所述第二数据处理任务。
10.一种电子设备,包括:
处理器;以及
存储程序的存储器,
其中,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行根据权利要求3或4-5或6中任一项所述的方法。
11.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使计算机执行根据权利要求3或4-5或6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311757420.XA CN117708177A (zh) | 2023-12-19 | 2023-12-19 | 一种数据处理系统、方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311757420.XA CN117708177A (zh) | 2023-12-19 | 2023-12-19 | 一种数据处理系统、方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117708177A true CN117708177A (zh) | 2024-03-15 |
Family
ID=90149486
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311757420.XA Pending CN117708177A (zh) | 2023-12-19 | 2023-12-19 | 一种数据处理系统、方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117708177A (zh) |
-
2023
- 2023-12-19 CN CN202311757420.XA patent/CN117708177A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110990182B (zh) | 事务处理方法、装置、设备及存储介质 | |
CN109951331B (zh) | 用于发送信息的方法、装置和计算集群 | |
CN107133309B (zh) | 流程实例的存储、查询方法及装置、存储介质及电子设备 | |
CN109063027A (zh) | 一种业务处理方法和装置 | |
CN112261135A (zh) | 基于一致性协议的节点选举方法、系统、装置及设备 | |
CN111427971B (zh) | 用于计算机系统的业务建模方法、装置、系统和介质 | |
US20200310928A1 (en) | Enhanced disaster recovery procedure of applications in a cloud environment | |
CN114328132A (zh) | 外部数据源的状态监控方法、装置、设备和介质 | |
CN114827280A (zh) | 请求处理方法、装置、设备、介质 | |
CN111125240A (zh) | 一种分布式事务实现方法、装置、电子设备及存储介质 | |
CN117708177A (zh) | 一种数据处理系统、方法、装置、电子设备及存储介质 | |
CN113360689B (zh) | 图像检索系统、方法、相关装置及计算机程序产品 | |
CN110609707A (zh) | 在线数据处理系统生成方法、装置及设备 | |
CN115221060A (zh) | 基于关联字段的用例生成方法、装置、设备及存储介质 | |
CN114374703A (zh) | 云手机信息的获取方法、装置、设备以及存储介质 | |
CN114490526A (zh) | 选课索引文件更新方法、课程搜索方法及装置 | |
CN114091909A (zh) | 一种协同开发的方法、系统、装置及电子设备 | |
CN108459940A (zh) | 应用性能管理系统的配置信息修改方法、装置及电子设备 | |
CN113609145B (zh) | 数据库处理方法、装置、电子设备、存储介质及产品 | |
US20240104069A1 (en) | Systems and methods of managing state machine systems with compacting distributed log storage | |
CN114546705B (zh) | 操作响应方法、操作响应装置、电子设备以及存储介质 | |
CN115086408B (zh) | 数据处理方法、系统、装置、电子设备和存储介质 | |
CN109460288B (zh) | 一种事务处理方法、管理服务器、事务处理系统和存储介质 | |
US11468026B2 (en) | Information processing apparatus, information processing method, and recording medium recording information processing program | |
CN110889040B (zh) | 用于推送信息的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |