CN113191767A - 分布式系统的数据处理方法及相关设备 - Google Patents
分布式系统的数据处理方法及相关设备 Download PDFInfo
- Publication number
- CN113191767A CN113191767A CN202110503930.9A CN202110503930A CN113191767A CN 113191767 A CN113191767 A CN 113191767A CN 202110503930 A CN202110503930 A CN 202110503930A CN 113191767 A CN113191767 A CN 113191767A
- Authority
- CN
- China
- Prior art keywords
- participating
- service number
- stage information
- queue
- participating system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000002159 abnormal effect Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 abstract description 8
- 238000012545 processing Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/38—Payment protocols; Details thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/02—Banking, e.g. interest calculation or account maintenance
Landscapes
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- Technology Law (AREA)
- Development Economics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本公开的实施方式提供了分布式系统的数据处理方法及装置、计算机可读存储介质和电子设备，属于计算机和通信技术领域。所述方法包括：调用第一参与系统并向所述第一参与系统发送业务编号，以使所述第一参与系统根据所述业务编号对所述第一参与系统的资源执行操作；读取队列系统的内容，所述队列系统包括所述业务编号和所述第一阶段信息时，根据所述业务编号和所述第一阶段信息对所述第一参与系统的资源以及调用所述第一参与系统之前的所有的被调用的参与系统的资源进行释放。本公开的方法可以实现数据的一致性。
Description
技术领域
本公开涉及计算机和通信技术领域，具体而言，涉及分布式系统的数据处理方法及装置、计算机可读存储介质和电子设备。
背景技术
随着越来越多微服务等的出现，分布式系统中事务，尤其是数据一致性的问题日益明显。典型场景如：银行转账，A扣钱成功，B加钱失败；扣减库存成功，下单失败；下单成功，用户积分增加失败。遇到复杂业务的长链路调用时，问题会加倍放大。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开实施例提供分布式系统的数据处理方法及装置、计算机可读存储介质和电子设备，能够实现分布式系统的数据处理。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的一个方面，提供一种分布式系统的数据处理方法，包括：
调用第一参与系统并向所述第一参与系统发送业务编号，以使所述第一参与系统根据所述业务编号对所述第一参与系统的资源执行操作；
获取所述第一参与系统的执行结果；
在所述第一参与系统的执行结果为成功时，将所述业务编号、第一阶段信息和第一时间存入缓存；
在所述第一参与系统的执行结果为失败或出现异常情况时，将所述业务编号和所述第一阶段信息发送至队列系统；
读取所述队列系统的内容，所述队列系统包括所述业务编号和所述第一阶段信息时，根据所述业务编号和所述第一阶段信息对所述第一参与系统的资源以及调用所述第一参与系统之前的所有的被调用的参与系统的资源进行释放。
在一个实施例中，方法还包括：
对所述缓存进行扫描以获取所述第一时间；
在所述第一时间与当前扫描时间的时间差超过第一时间段时，将所述业务编号和更新后的所述第一阶段信息发送至所述队列系统。
在一个实施例中，方法还包括：
在所述第一阶段信息为表示所述第一参与系统被调用的顺序编号时，更新后的所述第一阶段信息为所述第一参与系统被调用的顺序编号加1。
在一个实施例中，读取所述队列系统的内容，所述队列系统包括所述业务编号和所述第一阶段信息时，根据所述业务编号和所述第一阶段信息对所述第一参与系统的资源以及调用所述第一参与系统之前的所有的被调用的参与系统的资源进行释放包括：
读取所述队列系统的内容，所述队列系统内包括所述业务编号和更新后的所述第一阶段信息时，根据所述业务编号和更新后的所述第一阶段信息，对所述第一参与系统的资源、调用所述第一参与系统之后的按顺序需被调用的一个参与系统的资源，以及调用所述第一参与系统之前的所有的被调用的参与系统的资源进行释放。
在一个实施例中，方法还包括：
在所述第一参与系统的执行结果为成功时，调用第二参与系统并向所述第二参与系统发送所述业务编号，以使所述第二参与系统根据所述业务编号对所述第二参与系统的资源执行操作；
获取所述第二参与系统的执行结果；
在所述第二参与系统的执行结果为成功时，将所述业务编号、第二阶段信息和第二时间存入所述缓存，在所述第二参与系统的执行结果为失败或出现异常情况时，将所述业务编号和所述第二阶段信息发送至所述队列系统；
读取所述队列系统的内容，所述队列系统包括所述业务编号和所述第二阶段信息时，对所述第一参与系统的资源、所述第二参与系统的资源以及调用所述第一参与系统之前的所有的被调用的参与系统的资源进行释放。
在一个实施例中，方法还包括：
对所述缓存进行扫描以获取所述第二时间；
在所述第二时间与当前扫描时间的时间差超过第一时间段时，将所述业务编号和更新后的所述第二阶段信息发送至所述队列系统。
在一个实施例中，方法还包括：
创建或获取所述业务编号。
根据本公开的一个方面，提供一种终端轨迹的获取装置，包括：
调用模块，配置为调用第一参与系统并向所述第一参与系统发送业务编号，以使所述第一参与系统根据所述业务编号对所述第一参与系统的资源执行操作；
获取模块，配置为获取所述第一参与系统的执行结果；
第一存储模块，配置为在所述第一参与系统的执行结果为成功时，将所述业务编号、第一阶段信息和第一时间存入缓存；
发送模块，配置为在所述第一参与系统的执行结果为失败或出现异常情况时，将所述业务编号和所述第一阶段信息发送至队列系统；
释放模块，配置为读取所述队列系统的内容，所述队列系统包括所述业务编号和所述第一阶段信息时，根据所述业务编号和所述第一阶段信息对所述第一参与系统的资源以及调用所述第一参与系统之前的所有的被调用的参与系统的资源进行释放。
根据本公开的一个方面，提供一种电子设备，包括：
一个或多个处理器；
存储装置，配置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上实施例中任一项所述的方法。
根据本公开的一个方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上实施例中任一项所述的方法。
本申请的分布式系统的数据处理方法在参与系统调用操作成功时将阶段信息存储至缓存，在参与系统调用操作失败或者出现意外情况(传输失败或者存储失败等意外情况)时将阶段信息发送至队列系统，并定时对缓存进行扫描，对于超过特定时间段的阶段信息发送至队列系统，可以有效实现数据的一致性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
以下附图描述了本发明的某些说明性实施方式，其中相同的附图标记表示相同的元件。这些描述的实施方式将是本公开的示例性实施方式，而不是以任何方式进行限制。
图1示出了可以应用本公开实施方式的分布式系统的数据处理方法的示例性系统架构的示意图；
图2示出了适于用来实现本公开实施方式的电子设备的计算机系统的结构示意图；
图3示意性示出了根据本公开的一实施方式的分布式系统的数据处理方法的流程图；
图4是本公开一个实施例的下单链路的示意图；
图5为本申请一个实施例的分布式系统的数据处理流程示意图；
图6示意性示出了根据本公开的一实施方式的分布式系统的数据处理装置的方框图；
图7示意性示出了根据本发明的另一个实施方式的分布式系统的数据处理装置的方框图；
图8示意性示出了根据本发明的另一个实施方式的分布式系统的数据处理装置的方框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
图1示出了可以应用本公开实施方式的分布式系统的数据处理方法的示例性系统架构100的示意图。
如图1所示，系统架构100可以包括终端101、102、103中的一种或多种，网络104和服务器105。网络104是用以在终端101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
应该理解，图1中的终端、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
工作人员或用户可以使用终端101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端101、102、103可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机和台式计算机、数字电影放映机等等。
服务器105可以是提供各种服务的服务器。例如工作人员或用户携带终端103(也可以是终端101或102)进行业务操作(例如进行下单操作)时，服务器105可以调用第一参与系统并向所述第一参与系统发送业务编号，以使所述第一参与系统根据所述业务编号对所述第一参与系统的资源执行操作；获取所述第一参与系统的执行结果；在所述第一参与系统的执行结果为成功时，将所述业务编号、第一阶段信息和第一时间存入缓存；在所述第一参与系统的执行结果为失败或出现异常情况时，将所述业务编号和所述第一阶段信息发送至队列系统；读取所述队列系统的内容，所述队列系统包括所述业务编号和所述第一阶段信息时，根据所述业务编号和所述第一阶段信息对所述第一参与系统的资源以及调用所述第一参与系统之前的所有的被调用的参与系统的资源进行释放。服务器105可以将所述第一参与系统的执行结果显示于终端103或其他终端，进而工作人员或其他人员(例如，用户)可以基于终端上显示的内容查看业务操作的结果。
又如终端103(也可以是终端101或102)可以是智能电视、VR(Virtual Reality，虚拟现实)/AR(Augmented Reality，增强现实)头盔显示器、或者其上安装有导航、网约车、即时通讯、视频应用程序(application，APP)等的移动终端例如智能手机、平板电脑等，工作人员或用户可以通过该智能电视、VR/AR头盔显示器或者该导航、网约车、即时通讯、视频APP进行业务操作，服务器105可以调用第一参与系统进行相应操作。服务器105可以将所述第一参与系统的执行结果返回给该或其他智能电视、VR/AR头盔显示器或者该导航、网约车、即时通讯、视频APP，进而通过该智能电视、VR/AR头盔显示器或者该导航、网约车、即时通讯、视频APP，将所述第一参与系统的执行结果进行显示。
图2示出了适于用来实现本公开实施方式的电子设备的计算机系统的结构示意图。
需要说明的是，图2示出的电子设备的计算机系统200仅是一个示例，不应对本公开实施方式的功能和使用范围带来任何限制。
如图2所示，计算机系统200包括中央处理单元(CPU，Central Processing Unit)201，其可以根据存储在只读存储器(ROM，Read-Only Memory)202中的程序或者从储存部分208加载到随机访问存储器(RAM，Random Access Memory)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU 201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。
以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT，Cathode Ray Tube)、液晶显示器(LCD，Liquid Crystal Display)等以及扬声器等的输出部分207；包括硬盘等的储存部分208；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入储存部分208。
特别地，根据本公开的实施方式，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的方法和/或装置中限定的各种功能。
需要说明的是，本公开所示的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM(Erasable Programmable Read Only Memory，可擦除可编程只读存储器)或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF(RadioFrequency，射频)等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施方式的方法、装置和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所框选的功能也可以以不同于附图中所框选的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施方式中所涉及到的模块和/或单元和/或子单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的模块和/或单元和/或子单元也可以设置在处理器中。其中，这些模块和/或单元和/或子单元的名称在某种情况下并不构成对该模块和/或单元和/或子单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施方式中所述的方法。例如，所述的电子设备可以实现如图3各个步骤。
相关技术中，例如可以采用机器学习方法、深度学习方法等进行分布式系统的数据处理，不同方法适用的范围不同。
图3示意性示出了根据本公开的一实施方式的分布式系统的数据处理方法的流程图。本公开实施方式的方法步骤可以由服务器或服务器集群执行，例如，可以由上述图1中的服务器105执行，但本公开并不限定于此。
在步骤S310中，调用第一参与系统并向所述第一参与系统发送业务编号，以使所述第一参与系统根据所述业务编号对所述第一参与系统的资源执行操作。
在该步骤中，服务器调用第一参与系统并向所述第一参与系统发送业务编号，以使所述第一参与系统根据所述业务编号对所述第一参与系统的资源执行操作。在一个实施例中，用户下单之后，服务器可以调用第一参与系统(例如库存系统或优惠券系统)，并向第一参与系统发送业务编号(例如订单号)，以使所述第一参与系统根据所述业务编号对所述第一参与系统的资源(例如商品库存或某类商品优惠活动的优惠券)执行操作。在一个实施例中，第一参与系统在被调用并且对资源进行操作后，会记录对应该业务编号的操作，在后续的资源释放步骤中，可以根据相应业务编号对资源进行释放。
本公开实施方式中，终端可以以各种形式来实施。例如，本公开中描述的终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(personal digitalassistant，PDA)、便捷式媒体播放器(portable media player，PMP)、分布式系统的数据处理装置、可穿戴设备、智能手环、计步器、机器人、无人驾驶车等移动终端，以及诸如数字TV(television，电视机)、台式计算机等固定终端。
在步骤S320中，获取所述第一参与系统的执行结果。
在该步骤中，服务器获取所述第一参与系统的执行结果。在一个实施例中，所述第一参与系统根据所述业务编号对所述第一参与系统的资源执行操作后，可以将执行结果返回至服务器以使服务器进行后续操作。
在步骤S330中，在所述第一参与系统的执行结果为成功时，将所述业务编号、第一阶段信息和第一时间存入缓存。
在该步骤中，服务器在所述第一参与系统的执行结果为成功时，将所述业务编号、第一阶段信息和第一时间存入缓存。在一个实施例中，第一阶段信息例如为第一参与系统被调用的顺序编号，如果第一参与系统是第一个被调用的参与系统，则所述第一参与系统的第一阶段信息可以为1；如果第一参与系统是第三个被调用的系统，则所述第一参与系统的第一阶段信息可以为3。在一个实施中，服务器还可以把所述第一参与系统的执行结果(成功)存入缓存。
在步骤S340中，在所述第一参与系统的执行结果为失败或出现异常情况时，将所述业务编号和所述第一阶段信息发送至队列系统。
在该步骤中，服务器在所述第一参与系统的执行结果为失败或出现异常情况时，将所述业务编号和所述第一阶段信息发送至队列系统(MQ，Message Queue系统)。在一个实施例中，异常情况例如为信息发送失败或存储失败等。
在步骤S350中，读取所述队列系统的内容，所述队列系统包括所述业务编号和所述第一阶段信息时，根据所述业务编号和所述第一阶段信息对所述第一参与系统的资源以及调用所述第一参与系统之前的所有的被调用的参与系统的资源进行释放。
在该步骤中，服务器读取所述队列系统的内容，在所述队列系统包括所述业务编号和所述第一阶段信息时，服务器根据所述业务编号和所述第一阶段信息对所述第一参与系统的资源以及调用所述第一参与系统之前的所有的被调用的参与系统的资源进行释放。在一个实施例中，所述队列系统包括所述业务编号例如为X订单号，所述第一阶段信息例如为3，则服务器可以将包括该所述第一参与系统的共三个被调用的参与系统的资源根据X订单号进行释放。在一个实施例中，步骤S350的执行服务器可以与步骤S310至步骤S340的执行服务器不同，例如，步骤S310至步骤S340的执行服务器为服务器A，则步骤S350的执行服务器可以是服务器B。
在一个实施例中，分布式系统的数据处理方法还包括：
对所述缓存进行扫描以获取所述第一时间；
在所述第一时间与当前扫描时间的时间差超过第一时间段时，将所述业务编号和更新后的所述第一阶段信息发送至所述队列系统。
其中，第一时间例如是所述第一参与系统对资源执行操作完成的时间或者是服务器获取所述第一参与系统的执行结果的时间；第一时间段例如是5秒。
在一个实施例中，分布式系统的数据处理方法还包括：
在所述第一阶段信息为表示所述第一参与系统被调用的顺序编号时，更新后的所述第一阶段信息为所述第一参与系统被调用的顺序编号加1。
其中，例如所述第一参与系统被调用的顺序编号为3，则更新后的所述第一阶段信息为4。
在一个实施例中，读取所述队列系统的内容，所述队列系统包括所述业务编号和所述第一阶段信息时，根据所述业务编号和所述第一阶段信息对所述第一参与系统的资源以及调用所述第一参与系统之前的所有的被调用的参与系统的资源进行释放包括：
读取所述队列系统的内容，所述队列系统内包括所述业务编号和更新后的所述第一阶段信息时，根据所述业务编号和更新后的所述第一阶段信息，对所述第一参与系统的资源、调用所述第一参与系统之后的按顺序需被调用的一个参与系统的资源，以及调用所述第一参与系统之前的所有的被调用的参与系统的资源进行释放。
例如，调用所述第一参与系统之后的按顺序需被调用的一个参与系统的资源例如为所述第二参与系统，则对所述第一参与系统的资源、所述第二参与系统的资源以及调用所述第一参与系统之前的所有的被调用的参与系统的资源进行释放。
在一个实施例中，分布式系统的数据处理方法还包括：
在所述第一参与系统的执行结果为成功时，调用第二参与系统并向所述第二参与系统发送所述业务编号，以使所述第二参与系统根据所述业务编号对所述第二参与系统的资源执行操作；
获取所述第二参与系统的执行结果；
在所述第二参与系统的执行结果为成功时，将所述业务编号、第二阶段信息和第二时间存入所述缓存，在所述第二参与系统的执行结果为失败或出现异常情况时，将所述业务编号和所述第二阶段信息发送至所述队列系统；
读取所述队列系统的内容，所述队列系统包括所述业务编号和所述第二阶段信息时，对所述第一参与系统的资源、所述第二参与系统的资源以及调用所述第一参与系统之前的所有的被调用的参与系统的资源进行释放。
在一个实施例中，分布式系统的数据处理方法还包括：
对所述缓存进行扫描以获取所述第二时间；
在所述第二时间与当前扫描时间的时间差超过第一时间段时，将所述业务编号和更新后的所述第二阶段信息发送至所述队列系统。
其中，第二时间例如是所述第二参与系统对资源执行操作完成的时间或者是服务器获取所述第二参与系统的执行结果的时间；第一时间段例如是5秒。
在一个实施例中，分布式系统的数据处理方法还包括：
创建或获取所述业务编号。
本申请的分布式系统的数据处理方法在参与系统调用操作成功时将阶段信息存储至缓存，在参与系统调用操作失败或者出现意外情况(传输失败或者存储失败等意外情况)时将阶段信息发送至队列系统，并定时对缓存进行扫描，对于超过特定时间段的阶段信息发送至队列系统，可以有效实现数据的一致性。本申请的正向和逆向代码可以完全隔离，简单明了易开发维护。
图4是本公开一个实施例的下单链路的示意图。图4中，1至4阶段任一阶段发生异常，都会导致数据不一致。
分布式系统的数据处理中，每次请求，必然对应某个业务编号，如下单的订单号，转账的流水号。业务编号随着分布式调用贯穿整个链路。正向操作里，每个参与系统都根据该业务编号，执行自己的操作。同样的逆向流程，参与系统也应该根据该业务编号，进行回滚以及资源的释放。如预占库存的时候，库存系统根据订单号进行预占/锁定库存，遇到超时未支付或主动取消订单等场景，库存系统也可根据订单号，将其预占的库存进行释放。
如图4的下单调用链路图例，我们将1，2，3各阶段调用后的结果，和最后更新时间做个标识，如订单编号XXX:{“最大阶段”：2；“最后更新时间”：“2021-11-11 00:00:00”}。
正常流程下，下单成功后删除该标识即可。如果系统调用失败，或其他异常。则将订单号和最大阶段标识发到MQ消息系统，由逆向业务，根据当前阶段执行异步的资源释放，保证数据一致性。同时，开启定时任务，扫描缓存里的标记，对于最后更新时间，距离当前时间超过5秒的数据/订单。将订单号和最大阶段标识+1(因为此时的最大阶段是不可信的)发送到MQ消息系统，完成异步的资源释放。
图5为本申请一个实施例的分布式系统的数据处理流程示意图。
参照图5，流程图如下：
具体方案：
1)协调系统(即业务发起系统，参与系统之外的所有系统可以称为协调系统)创建业务编号(图5中的X1等)，用于贯穿全链路，每次调用参与系统都携带该业务编号；
2)参与系统根据该业务编号执行操作，并保存业务编号和资源的关系，如根据订单号预占库存，且做一个出库记录，记录订单X预占库存N件，然后将结果回复协调系统；
3)协调系统获取结果：
如结果为成功，则标记该业务编号在当前阶段结果为SUCCESS，连同当前时间存入缓存介质，然后执行下一步操作或调用。
如结果为失败，或者发生异常，则将业务编号和当前阶段发送给MQ消息系统；
4)如流程正常则继续重复执行2)-3)，更新最大阶段和时间；
如流程失败，则由逆向业务订阅MQ消息系统，根据消息里的订单号和最大阶段，调用该阶段以及之前阶段的各参与系统，来释放资源；
5)针对服务意外情况，请求意外中断等情况，通过定时任务，动态时间间隔(如基本无异常无报警的情况下任务间隔时间可延长，有异常则缩短任务间隔时间)的扫描缓存，对于业务数据更新时间，距离当前时间(第一时间段)超过N秒(例如5秒)的，将业务编号和最大阶段+1发送到MQ消息系统，调用该阶段以及之前阶段的各参与系统，来释放资源；
各参与系统，根据业务编号和本地的业务编号-资源的关系，执行释放资源，由MQ不断重试保证一定执行成功。
图6示意性示出了根据本公开的一实施方式的分布式系统的数据处理装置的框图。本公开实施方式提供的分布式系统的数据处理装置600可以设置在服务器端上，或者部分设置在终端上，部分设置在服务器端上，例如，可以设置在图1中的服务器105，但本公开并不限定于此。
本公开实施方式提供的分布式系统的数据处理装置600可以包括调用模块610、获取模块620、第一存储模块630、发送模块630和释放模块640。
其中，调用模块，配置为调用第一参与系统并向所述第一参与系统发送业务编号，以使所述第一参与系统根据所述业务编号对所述第一参与系统的资源执行操作；
获取模块，配置为获取所述第一参与系统的执行结果；
第一存储模块，配置为在所述第一参与系统的执行结果为成功时，将所述业务编号、第一阶段信息和第一时间存入缓存；
发送模块，配置为在所述第一参与系统的执行结果为失败或出现异常情况时，将所述业务编号和所述第一阶段信息发送至队列系统；
释放模块，配置为读取所述队列系统的内容，所述队列系统包括所述业务编号和所述第一阶段信息时，根据所述业务编号和所述第一阶段信息对所述第一参与系统的资源以及调用所述第一参与系统之前的所有的被调用的参与系统的资源进行释放。
根据本公开的实施方式，上述分布式系统的数据处理装置600可以在参与系统调用操作成功时将阶段信息存储至缓存，在在参与系统调用操作失败或者出现意外情况(传输失败或者存储失败等意外情况)时将阶段信息发送至队列系统，并定时对缓存进行扫描，对于超过特定时间段的阶段信息发送至队列系统，可以有效实现数据的一致性。
图7示意性示出了根据本发明的另一个实施方式的分布式系统的数据处理装置700的方框图。
如图7所示，除了图6实施方式描述的调用模块610、获取模块620、第一存储模块630、发送模块630和释放模块640之外，该分布式系统的数据处理装置700还包括显示模块710。
具体地，显示模块710在获取模块620获取所述第一参与系统的执行结果后，向客户或工作人员显示所述第一参与系统的执行结果。
在该分布式系统的数据处理装置700中，通过显示模块710可以显示参与系统的执行结果。
图8示意性示出了根据本发明的另一个实施方式的分布式系统的数据处理装置800的方框图。
如图8所示，除了图6实施方式描述的调用模块610、获取模块620、第一存储模块630、发送模块630和释放模块640之外，分布式系统的数据处理装置800还包括第二存储模块810。
具体地，第二存储模块810用于对分布式系统的数据处理过程中的数据进行存储，以方便后续调用和参考。
可以理解的是调用模块610、获取模块620、第一存储模块630、发送模块630、释放模块640、显示模块710和第二存储模块810可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施方式，调用模块610、获取模块620、第一存储模块630、发送模块630、释放模块640、显示模块710和第二存储模块810的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式的适当组合来实现。或者，调用模块610、获取模块620、第一存储模块630、发送模块630、释放模块640、显示模块710和第二存储模块810的至少一个可以至少被部分地实现为计算机程序模块，当该程序被计算机运行时，可以执行相应模块的功能。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块、单元和子单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块、单元和子单元的特征和功能可以在一个模块、单元和子单元中具体化。反之，上文描述的一个模块、单元和子单元的特征和功能可以进一步划分为由多个模块、单元和子单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种分布式系统的数据处理方法，其特征在于，包括：
调用第一参与系统并向所述第一参与系统发送业务编号，以使所述第一参与系统根据所述业务编号对所述第一参与系统的资源执行操作；
获取所述第一参与系统的执行结果；
在所述第一参与系统的执行结果为成功时，将所述业务编号、第一阶段信息和第一时间存入缓存；
在所述第一参与系统的执行结果为失败或出现异常情况时，将所述业务编号和所述第一阶段信息发送至队列系统；
读取所述队列系统的内容，所述队列系统包括所述业务编号和所述第一阶段信息时，根据所述业务编号和所述第一阶段信息对所述第一参与系统的资源以及调用所述第一参与系统之前的所有的被调用的参与系统的资源进行释放。
2.根据权利要求1所述的方法，其特征在于，还包括：
对所述缓存进行扫描以获取所述第一时间；
在所述第一时间与当前扫描时间的时间差超过第一时间段时，将所述业务编号和更新后的所述第一阶段信息发送至所述队列系统。
3.根据权利要求2所述的方法，其特征在于，还包括：
在所述第一阶段信息为表示所述第一参与系统被调用的顺序编号时，更新后的所述第一阶段信息为所述第一参与系统被调用的顺序编号加1。
4.根据权利要求3所述的方法，其特征在于，读取所述队列系统的内容，所述队列系统包括所述业务编号和所述第一阶段信息时，根据所述业务编号和所述第一阶段信息对所述第一参与系统的资源以及调用所述第一参与系统之前的所有的被调用的参与系统的资源进行释放包括：
读取所述队列系统的内容，所述队列系统内包括所述业务编号和更新后的所述第一阶段信息时，根据所述业务编号和更新后的所述第一阶段信息，对所述第一参与系统的资源、调用所述第一参与系统之后的按顺序需被调用的一个参与系统的资源，以及调用所述第一参与系统之前的所有的被调用的参与系统的资源进行释放。
5.根据权利要求1所述的方法，其特征在于，还包括：
在所述第一参与系统的执行结果为成功时，调用第二参与系统并向所述第二参与系统发送所述业务编号，以使所述第二参与系统根据所述业务编号对所述第二参与系统的资源执行操作；
获取所述第二参与系统的执行结果；
在所述第二参与系统的执行结果为成功时，将所述业务编号、第二阶段信息和第二时间存入所述缓存，在所述第二参与系统的执行结果为失败或出现异常情况时，将所述业务编号和所述第二阶段信息发送至所述队列系统；
读取所述队列系统的内容，所述队列系统包括所述业务编号和所述第二阶段信息时，对所述第一参与系统的资源、所述第二参与系统的资源以及调用所述第一参与系统之前的所有的被调用的参与系统的资源进行释放。
6.根据权利要求5所述的方法，其特征在于，还包括：
对所述缓存进行扫描以获取所述第二时间；
在所述第二时间与当前扫描时间的时间差超过第一时间段时，将所述业务编号和更新后的所述第二阶段信息发送至所述队列系统。
7.根据权利要求1所述的方法，其特征在于，还包括：
创建或获取所述业务编号。
8.一种终端轨迹的获取装置，其特征在于，包括：
调用模块，配置为调用第一参与系统并向所述第一参与系统发送业务编号，以使所述第一参与系统根据所述业务编号对所述第一参与系统的资源执行操作；
获取模块，配置为获取所述第一参与系统的执行结果；
第一存储模块，配置为在所述第一参与系统的执行结果为成功时，将所述业务编号、第一阶段信息和第一时间存入缓存；
发送模块，配置为在所述第一参与系统的执行结果为失败或出现异常情况时，将所述业务编号和所述第一阶段信息发送至队列系统；
释放模块，配置为读取所述队列系统的内容，所述队列系统包括所述业务编号和所述第一阶段信息时，根据所述业务编号和所述第一阶段信息对所述第一参与系统的资源以及调用所述第一参与系统之前的所有的被调用的参与系统的资源进行释放。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，配置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110503930.9A CN113191767A (zh) | 2021-05-10 | 2021-05-10 | 分布式系统的数据处理方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110503930.9A CN113191767A (zh) | 2021-05-10 | 2021-05-10 | 分布式系统的数据处理方法及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113191767A true CN113191767A (zh) | 2021-07-30 |
Family
ID=76988712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110503930.9A Pending CN113191767A (zh) | 2021-05-10 | 2021-05-10 | 分布式系统的数据处理方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113191767A (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040199926A1 (en) * | 2003-04-01 | 2004-10-07 | International Business Machines Corporation | Enhanced staged event-driven architecture |
| US20060212759A1 (en) * | 2005-03-18 | 2006-09-21 | Microsoft Corporation | Conformance testing of multi-threaded and distributed software systems |
| US20120246651A1 (en) * | 2011-03-25 | 2012-09-27 | Oracle International Corporation | System and method for supporting batch job management in a distributed transaction system |
| CN103345423A (zh) * | 2013-07-03 | 2013-10-09 | 北京京东尚科信息技术有限公司 | 一种处理异步任务的方法和系统 |
| CN106777026A (zh) * | 2016-12-08 | 2017-05-31 | 用友网络科技股份有限公司 | 支持微服务架构事务最终一致性的方法、装置及系统 |
| CN107133302A (zh) * | 2017-04-28 | 2017-09-05 | 努比亚技术有限公司 | 实现数据一致性的方法、系统、终端及计算机可读存储介质 |
| CN107577717A (zh) * | 2017-08-09 | 2018-01-12 | 阿里巴巴集团控股有限公司 | 一种保障数据一致性的处理方法、装置及服务器 |
| CN107766205A (zh) * | 2017-10-10 | 2018-03-06 | 武汉大学 | 一种面向微服务调用过程跟踪的监控系统及方法 |
| CN108845867A (zh) * | 2018-07-16 | 2018-11-20 | 郑州云海信息技术有限公司 | 一种分布式事务管理方法、装置、系统及存储介质 |
| CN111143041A (zh) * | 2019-12-31 | 2020-05-12 | 中国银行股份有限公司 | 一种数据一致性方法、分布式协调器及中央协调器 |
| CN112579620A (zh) * | 2020-12-23 | 2021-03-30 | 上海上实龙创智能科技股份有限公司 | 一种基于消息队列的分布式系统数据最终一致性方法 |
| US20210117242A1 (en) * | 2020-10-03 | 2021-04-22 | Intel Corporation | Infrastructure processing unit |
-
2021
- 2021-05-10 CN CN202110503930.9A patent/CN113191767A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040199926A1 (en) * | 2003-04-01 | 2004-10-07 | International Business Machines Corporation | Enhanced staged event-driven architecture |
| US20060212759A1 (en) * | 2005-03-18 | 2006-09-21 | Microsoft Corporation | Conformance testing of multi-threaded and distributed software systems |
| US20120246651A1 (en) * | 2011-03-25 | 2012-09-27 | Oracle International Corporation | System and method for supporting batch job management in a distributed transaction system |
| CN103345423A (zh) * | 2013-07-03 | 2013-10-09 | 北京京东尚科信息技术有限公司 | 一种处理异步任务的方法和系统 |
| CN106777026A (zh) * | 2016-12-08 | 2017-05-31 | 用友网络科技股份有限公司 | 支持微服务架构事务最终一致性的方法、装置及系统 |
| CN107133302A (zh) * | 2017-04-28 | 2017-09-05 | 努比亚技术有限公司 | 实现数据一致性的方法、系统、终端及计算机可读存储介质 |
| CN107577717A (zh) * | 2017-08-09 | 2018-01-12 | 阿里巴巴集团控股有限公司 | 一种保障数据一致性的处理方法、装置及服务器 |
| CN107766205A (zh) * | 2017-10-10 | 2018-03-06 | 武汉大学 | 一种面向微服务调用过程跟踪的监控系统及方法 |
| CN108845867A (zh) * | 2018-07-16 | 2018-11-20 | 郑州云海信息技术有限公司 | 一种分布式事务管理方法、装置、系统及存储介质 |
| CN111143041A (zh) * | 2019-12-31 | 2020-05-12 | 中国银行股份有限公司 | 一种数据一致性方法、分布式协调器及中央协调器 |
| US20210117242A1 (en) * | 2020-10-03 | 2021-04-22 | Intel Corporation | Infrastructure processing unit |
| CN112579620A (zh) * | 2020-12-23 | 2021-03-30 | 上海上实龙创智能科技股份有限公司 | 一种基于消息队列的分布式系统数据最终一致性方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110098998B (zh) | 用于处理信息的方法和设备 | |
| CN115037709B (zh) | 信息处理方法、装置、电子设备和存储介质 | |
| CN112329049A (zh) | 业务数据管理方法、装置、电子设备和介质 | |
| CN114971786A (zh) | 订单信息管理方法、装置、系统、电子设备和存储介质 | |
| CN115357761A (zh) | 链路追踪方法、装置、电子设备及存储介质 | |
| CN112367241A (zh) | 消息生成和消息发送方法、装置、设备和计算机可读介质 | |
| CN114064172A (zh) | 数据渲染方法及装置 | |
| CN112732547B (zh) | 业务测试方法、装置、存储介质及电子设备 | |
| CN111078636A (zh) | 营销数据处理方法、系统及相关设备 | |
| CN111626802A (zh) | 用于处理信息的方法和装置 | |
| CN111679892A (zh) | 分布式事务的处理方法、装置、设备及介质 | |
| CN108959102B (zh) | 用于生成测试数据、测试待测试应用的方法和装置 | |
| CN111192643A (zh) | 病历数据处理方法及相关设备 | |
| CN113194109A (zh) | 用于推送信息的方法和装置 | |
| CN113191767A (zh) | 分布式系统的数据处理方法及相关设备 | |
| CN108804442B (zh) | 序列号生成方法和装置 | |
| CN110619101A (zh) | 用于处理信息的方法和装置 | |
| CN111338621B (zh) | 显示数据方法、装置、电子设备和计算机可读介质 | |
| CN112182400B (zh) | 消息处理方法、消息处理装置、电子设备及存储介质 | |
| CN114327794A (zh) | 事务管理方法、装置、设备、介质和程序产品 | |
| CN113592646A (zh) | 智能合约的执行方法、装置和系统 | |
| CN113919310A (zh) | 短信内容确定方法、装置、电子设备及存储介质 | |
| CN109741069B (zh) | 交易数据的处理方法、装置、电子设备及可读存储介质 | |
| EP4160498A1 (en) | Product management method and related device | |
| CN113835790A (zh) | 基于Android的分页页面显示方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant after: Jingdong Technology Holding Co.,Ltd. Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant before: Jingdong Digital Technology Holding Co., Ltd |
|
| CB02 | Change of applicant information |