CN113961639A - 一种分布式事务处理方法、终端及计算机可读存储介质 - Google Patents

一种分布式事务处理方法、终端及计算机可读存储介质 Download PDF

Info

Publication number
CN113961639A
CN113961639A CN202010576647.4A CN202010576647A CN113961639A CN 113961639 A CN113961639 A CN 113961639A CN 202010576647 A CN202010576647 A CN 202010576647A CN 113961639 A CN113961639 A CN 113961639A
Authority
CN
China
Prior art keywords
distributed transaction
identification information
operated
data
unique identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010576647.4A
Other languages
English (en)
Inventor
随建
卢勤元
景雯雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinzhuan Xinke Co Ltd
Original Assignee
Jinzhuan Xinke Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinzhuan Xinke Co Ltd filed Critical Jinzhuan Xinke Co Ltd
Priority to CN202010576647.4A priority Critical patent/CN113961639A/zh
Priority to JP2022579071A priority patent/JP7458512B2/ja
Priority to PCT/CN2021/101470 priority patent/WO2021259240A1/zh
Priority to EP21828134.3A priority patent/EP4170518A1/en
Publication of CN113961639A publication Critical patent/CN113961639A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Abstract

本发明实施例提供一种分布式事务处理方法，全局事务管理主节点将分布式事务唯一标识信息的增量消息同步给所有计算节点，所述分布式事务唯一标识信息由全局事务管理主节点设置；所述计算节点从存储节点获取待操作数据的分布式事务唯一标识信息，并进行待操作数据的校验；根据校验结果，处理待操作数据；本发明还公开了一种终端及计算机可读存储介质，通过存储上述功能的程序并让处理器实施上述方案，在某些实施过程中减少分布式数据库中计算节点与全局事务管理主节点的交互次数，从而减轻了计算节点的网络流量压力。

Description

一种分布式事务处理方法、终端及计算机可读存储介质
技术领域
本发明实施例涉及但不限于分布式事务处理领域，具体而言，涉及但不限于一种分布式事务处理方法、终端及存储介质。
背景技术
市场上分布式数据库产品越来越多，各产品之间的竞争也非常激烈，高性能的分布式事务并发处理方案是核心竞争力。而在相关技术中，计算节点需要反复向全局事务管理主节点确认当前处理的事务是否活跃，使得计算节点与全局事务管理主节点之间的网络流量压力大，同时计算节点还需要重复向存储节点获取待操作数据，因此如何减少分布式数据库中计算节点与全局事务管理主节点的交互次数，缩短分布式事务处理时长，提高计算节点并发能力，以及如何节省计算节点的CPU使用率，从而有效的提升分布式事务处理性能成为亟待解决的问题。
发明内容
本发明实施例提供的一种布式事务处理方法、终端及存储介质，主要解决的技术问题是如何减少分布式数据库中计算节点与全局事务管理主节点的交互次数，减轻计算节点的网络流量压力。
为解决上述技术问题，本发明实施例提供一种分布式事务处理方法，包括：
全局事务管理主节点将分布式事务唯一标识信息的增量消息同步给所有计算节点，所述分布式事务唯一标识信息由全局事务管理主节点设置；
所述计算节点从存储节点获取待操作数据的分布式事务唯一标识信息，并进行待操作数据的校验；
根据校验结果，处理待操作数据。
进一步地，本发明还提供一种终端，所述终端包括处理器、存储器及通信总线；
所述通信总线用于实现处理器和存储器之间的连接通信；
所述处理器用于执行存储器中存储的一个或者多个计算机程序，以实现上述的分布式事务处理方法的步骤。
进一步地，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个计算机程序，所述一个或者多个计算机程序可被一个或者多个处理器执行，以实现如上述的分布式事务处理方法的步骤。
本发明的有益效果是：
根据本发明实施例提供的一种分布式事务处理方法、终端以及计算机可读存储介质，通过全局事务管理主节点将分布式事务唯一标识信息的增量消息同步给所有计算节点，所述分布式事务唯一标识信息由全局事务管理主节点设置；所述计算节点从存储节点获取待操作数据的分布式事务唯一标识信息，并进行待操作数据的校验；根据校验结果，处理待操作数据，在某些实施过程中减少分布式数据库中计算节点与全局事务管理主节点的交互次数。
本发明其他特征和相应的有益效果在说明书的后面部分进行阐述说明，且应当理解，至少部分有益效果从本发明说明书中的记载变的显而易见。
附图说明
图1为本发明实施例一提供的一种分布式事务处理方法的基本流程图；
图2为本发明实施例一提供的全局事务管理主节点同时向所有计算节点和备节点同步增量消息的结构示意图；
图3为本发明实施例一提供的分布式事务处理过程中各个节点的交互示意图；
图4为本发明实施例二提供的一种分布式事务处理方法的流程图；
图5为本发明第三实施例提供的终端的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本发明实施例作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例一：
为了减少分布式数据库中计算节点与全局事务管理主节点的交互次数，本发明实施例提供了一种分布式事务处理方法。图3为本发明实施例一提供的分布式事务处理过程中各个节点的交互示意图；图1为本发明实施例提供的一种分布式事务处理方法的基本流程图，该方法包括：
S101：全局事务管理主节点将分布式事务唯一标识信息的增量消息同步给所有计算节点，所述分布式事务唯一标识信息由全局事务管理主节点设置。
应当理解的是所有分布式事务的唯一标识信息都在全局事务管理主节点产生，用以标识不同的事务。所述分布式事务唯一标识信息的增量消息包括：分布式事务唯一标识信息新增消息，分布式事务唯一标识信息释放消息。当计算节点本地同步得到分布式事务唯一标识信息释放消息时，则表示该事务处于非活跃状态了，即计算节点可以直接进行操作处理。
进一步的，如图2所示，图2为全局事务管理主节点同时向所有计算节点和备节点同步增量消息的结构示意图；即所述全局事务管理主节点实时将所述分布式事务唯一标识信息的增量消息同步给所有计算节点的同时，所述全局事务管理主节点还将所述分布式事务唯一标识信息的增量消息实时同步给备节点。
在某些实施方式中，全局事务管理节点具有高可用性。本方法可以应用于一个主节点多个备节点模式；也可以是多个主节点多个备节点模式；而计算节点仅从全局事务管理主节点同步分布式事务唯一标识信息，不作为备节点使用。
S102：所述计算节点从存储节点获取待操作数据的分布式事务唯一标识信息，并进行待操作数据的校验。
所述进行待操作数据的校验包括：所述计算节点根据本地同步到的分布式事务唯一标识信息的增量消息，获得活跃的分布式事务唯一标识信息列表；判断所述待操作数据的分布式事务唯一标识信息是否在所述活跃的分布式事务唯一标识信息列表中。
S103：根据校验结果，处理待操作数据。
具体校验过程包括：所述计算节点根据本地同步到的分布式事务唯一标识信息的增量消息，获得活跃的分布式事务唯一标识信息列表；判断所述待操作数据的分布式事务唯一标识信息是否在所述活跃的分布式事务唯一标识信息列表中。
当所述待操作数据的分布式事务唯一标识信息不在所述活跃的分布式事务唯一标识信息列表中时，所述计算节点直接操作所述待操作数据或直接将所述待操作数据返回给客户端。
当所述待操作数据的分布式事务唯一标识信息在所述活跃的分布式事务唯一标识信息列表中时，所述计算节点将所述待操作数据对应的事务挂起。
设置时间阈值t,所述计算节点将所述待操作数据对应的事务挂起后，在时间阈值t内，若收到全局事务管理主节点同步的所述待操作数据的分布式事务唯一标识信息释放消息，则表示所述待操作数据的分布式事务唯一标识信息不在所述活跃的分布式事务唯一标识信息列表中时，则接操作所述待操作数据或直接将所述待操作数据返回给客户端。
所述计算节点将所述待操作数据对应的事务挂起后，在时间阈值t内，若未收到全局事务管理主节点同步的所述待操作数据的分布式事务唯一标识信息释放消息，则返回超时错误消息给客户端。
本发明实施例提供的一种分布式事务处理方法，通过全局事务管理主节点将分布式事务唯一标识信息的增量消息实时同步给所有计算节点，所述分布式事务唯一标识信息由全局事务管理主节点设置；所述计算节点从存储节点获取待操作数据的分布式事务唯一标识信息，并根据计算节点本地存储的分布式事务唯一标识信息列表，进行待操作数据的校验；根据校验结果，处理待操作数据；在某些实施过程中减少分布式数据库中计算节点与全局事务管理主节点的交互次数；其中，通过全局事务管理主节点将分布式事务唯一标识信息的增量消息同步给所有计算节点，使得计算节点不需要反复像全局事务管理主节点反复获取待操作数据的唯一标识信息，解决了计算节点因反复查询活跃事务唯一标识增加事务时延的问题，业务并发性能有明显提升，大大减少了计算节点与全局事务管理主节点之间的网络流量压力，即减轻了计算节点的网络流量压力；当校验到待操作数据的分布式事务唯一标识信息在所述活跃的分布式事务唯一标识信息列表中时，所述计算节点将所述待操作数据对应的事务挂起，使得计算节点也无需向存储节点反复获取数据。
实施例二：
现以客户端向计算节点发送update语句为例进行说明；如图4所示，在本实施例中，分布式事务处理方法包括以下步骤：
全局事务管理主节点将分布式事务唯一标识信息的增量消息同步给所有计算节点，所述分布式事务唯一标识信息由全局事务管理主节点设置。计算节点根据分布式事务唯一标识信息的增量消息获得分布式事务唯一标识活跃列表。
步骤①：客户端向计算节点发送update语句(delete、select同理)；
步骤②：计算节点根据update的where条件，生成一条同where条件的select...for update语句，该select语句主要是查询出存储节点上待update行对应的分布式事务唯一标识值。然后将唯一标识值与本地的分布式事务唯一标识活跃列表进行校验比对，如果校验到存储节点上待update行对应的事务唯一标识处于活跃状态，然后就将update操作挂起，即本事务暂停执行，直到接收到全局事务管理主节点同步的该活跃状态的事务唯一标识的释放信号。
步骤③：当计算节点判断存储节点待update行对应的事务唯一标识不在活跃或接收到该活跃事务唯一标识的释放信号时，继续执行update语句修改存储节点上的数据。
本发明实施例提供的一种分布式事务处理方法，通过全局事务管理主节点将分布式事务唯一标识信息的增量消息实时同步给所有计算节点，所述分布式事务唯一标识信息由全局事务管理主节点设置；所述计算节点从存储节点获取待操作数据的分布式事务唯一标识信息，并根据计算节点本地存储的分布式事务唯一标识信息列表，进行待操作数据的校验；根据校验结果，处理待操作数据；在某些实施过程中减少分布式数据库中计算节点与全局事务管理主节点的交互次数；其中，通过全局事务管理主节点将分布式事务唯一标识信息的增量消息同步给所有计算节点，使得计算节点不需要反复像全局事务管理主节点反复获取待操作数据的唯一标识信息，解决了计算节点因反复查询活跃事务唯一标识增加事务时延的问题，业务并发性能有明显提升，大大减少了计算节点与全局事务管理主节点之间的网络流量压力，即减轻了计算节点的网络流量压力；当校验到待操作数据的分布式事务唯一标识信息在所述活跃的分布式事务唯一标识信息列表中时，所述计算节点将所述待操作数据对应的事务挂起，使得同时计算节点也无需向存储节点反复获取数据。
实施例三：
本实施例还提供了一种终端，参见图5所示，其包括处理器51、存储器52及通信总线53，其中：
通信总线53用于实现处理器51和存储器52之间的连接通信；
处理器51用于执行存储器52中存储的一个或者多个计算机程序，以实现上述实施例一和实施例二中的分布式事务处理方法中的至少一个步骤。
本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、计算机程序模块或其他数据)的任何方法或技术中实施的易失性或非易失性、可移除或不可移除的介质。计算机可读存储介质包括但不限于RAM(Random Access Memory，随机存取存储器),ROM(Read-OnlyMemory，只读存储器),EEPROM(Electrically Erasable Programmable read only memory，带电可擦可编程只读存储器)、闪存或其他存储器技术、CD-ROM(Compact Disc Read-Only Memory，光盘只读存储器)，数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。
本实施例中的计算机可读存储介质可用于存储一个或者多个计算机程序，其存储的一个或者多个计算机程序可被处理器执行，以实现上述实施例一和实施例二中的分布式事务处理方法的至少一个步骤。
可见，本领域的技术人员应该明白，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件(可以用计算装置可执行的计算机程序代码来实现)、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。
此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、计算机程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。所以，本发明不限制于任何特定的硬件和软件结合。
以上内容是结合具体的实施方式对本发明实施例所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种分布式事务处理方法，包括：
全局事务管理主节点将分布式事务唯一标识信息的增量消息同步给所有计算节点，所述分布式事务唯一标识信息由全局事务管理主节点设置；
所述计算节点从存储节点获取待操作数据的分布式事务唯一标识信息，并进行待操作数据的校验；
根据校验结果，处理待操作数据。
2.如权利要求1所述的分布式事务处理方法，其特征在于，所述分布式事务唯一标识信息的增量消息包括：分布式事务唯一标识信息新增消息，分布式事务唯一标识信息释放消息。
3.如权利要求1所述的分布式事务处理方法，其特征在于，所述全局事务管理主节点将所述分布式事务唯一标识信息的增量消息同步给所有计算节点的同时，所述全局事务管理主节点还将所述分布式事务唯一标识信息的增量消息同步给备节点。
4.如权利要求1-3任一项所述的分布式事务处理方法，其特征在于，所述进行待操作数据的校验包括：
所述计算节点根据本地同步到的分布式事务唯一标识信息的增量消息，获得活跃的分布式事务唯一标识信息列表；
判断所述待操作数据的分布式事务唯一标识信息是否在所述活跃的分布式事务唯一标识信息列表中。
5.如权利要求4所述的分布式事务处理方法，其特征在于，所述根据校验结果，处理待操作数据包括：
当所述待操作数据的分布式事务唯一标识信息不在所述活跃的分布式事务唯一标识信息列表中时，所述计算节点直接操作所述待操作数据或直接将所述待操作数据返回给客户端。
6.如权利要求4所述的分布式事务处理方法，其特征在于，所述根据校验结果，处理待操作数据包括：
当所述待操作数据的分布式事务唯一标识信息在所述活跃的分布式事务唯一标识信息列表中时，所述计算节点将所述待操作数据对应的事务挂起。
7.如权利要求6所述的分布式事务处理方法，其特征在于，所述计算节点将所述待操作数据对应的事务挂起后，在时间阈值内，若收到全局事务管理主节点同步的所述待操作数据的分布式事务唯一标识信息释放消息，则接操作所述待操作数据或直接将所述待操作数据返回给客户端。
8.如权利要求6所述的分布式事务处理方法，其特征在于，所述计算节点将所述待操作数据对应的事务挂起后，在时间阈值内，若未收到全局事务管理主节点同步的所述待操作数据的分布式事务唯一标识信息释放消息，则返回超时错误消息给客户端。
9.一种终端，所述终端包括处理器、存储器及通信总线；
所述通信总线用于实现处理器和存储器之间的连接通信；
所述处理器用于执行存储器中存储的一个或者多个计算机程序，以实现如权利要求1至8中任一项所述的分布式事务处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个计算机程序，所述一个或者多个计算机程序可被一个或者多个处理器执行，以实现如权利要求1至8中任一项所述的分布式事务处理方法的步骤。
CN202010576647.4A 2020-06-22 2020-06-22 一种分布式事务处理方法、终端及计算机可读存储介质 Pending CN113961639A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010576647.4A CN113961639A (zh) 2020-06-22 2020-06-22 一种分布式事务处理方法、终端及计算机可读存储介质
JP2022579071A JP7458512B2 (ja) 2020-06-22 2021-06-22 分散トランザクション処理方法、端末およびコンピュータ読み取り可能な記憶媒体
PCT/CN2021/101470 WO2021259240A1 (zh) 2020-06-22 2021-06-22 分布式事务处理方法、终端及计算机可读存储介质
EP21828134.3A EP4170518A1 (en) 2020-06-22 2021-06-22 Distributed transaction processing method, terminal and computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010576647.4A CN113961639A (zh) 2020-06-22 2020-06-22 一种分布式事务处理方法、终端及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113961639A true CN113961639A (zh) 2022-01-21

Family

ID=79281969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010576647.4A Pending CN113961639A (zh) 2020-06-22 2020-06-22 一种分布式事务处理方法、终端及计算机可读存储介质

Country Status (4)

Country Link
EP (1) EP4170518A1 (zh)
JP (1) JP7458512B2 (zh)
CN (1) CN113961639A (zh)
WO (1) WO2021259240A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3995580B2 (ja) 2002-11-05 2007-10-24 富士通株式会社 負荷分散処理システム
JP5625450B2 (ja) 2010-03-31 2014-11-19 富士通株式会社 分散処理装置、分散処理プログラムおよび分散処理方法
US10296371B2 (en) * 2014-03-17 2019-05-21 International Business Machines Corporation Passive two-phase commit system for high-performance distributed transaction execution
JP6442996B2 (ja) 2014-11-13 2018-12-26 日本電気株式会社 トランザクション処理装置、トラザクション処理方法、及びプログラム
JP6293709B2 (ja) 2015-07-22 2018-03-14 株式会社東芝 ストレージシステムおよびストレージシステム用プログラム
CN105183544B (zh) * 2015-09-17 2018-08-31 中国科学院计算技术研究所 一种非阻塞式容错的分布式事务提交方法及系统
CN106874076B (zh) * 2017-01-21 2019-08-30 浙江沛宏网络科技有限公司 分布式事务处理方法
US10581968B2 (en) * 2017-04-01 2020-03-03 Intel Corporation Multi-node storage operation
CN110968586B (zh) * 2018-09-30 2023-08-25 北京国双科技有限公司 分布式事务处理方法及装置

Also Published As

Publication number Publication date
WO2021259240A1 (zh) 2021-12-30
JP2023531227A (ja) 2023-07-21
EP4170518A1 (en) 2023-04-26
JP7458512B2 (ja) 2024-03-29

Similar Documents

Publication Publication Date Title
EP3399692B1 (en) Method and apparatus for upgrading distributed storage system
CN112650576B (zh) 资源调度方法、装置、设备、存储介质及计算机程序产品
CN106844014B (zh) 分布式事务防悬挂的实现方法和装置
CN110888893A (zh) 一种基于微服务电商系统的订单处理方法
CN107016016B (zh) 一种数据处理的方法及装置
CN109241186A (zh) 分布式事务的管理方法、系统、计算机设备及存储介质
CN111277639A (zh) 一种保持数据一致性的方法和装置
CN111225012A (zh) 事务处理方法、装置和设备
CN110673933A (zh) 基于ZooKeeper的分布式异步队列实现方法、装置、设备及介质
CN115544044A (zh) 一种数据一致性保持方法、装置、设备和存储介质
CN112598529B (zh) 数据处理方法及装置、计算机可读存储介质、电子设备
CN113946427A (zh) 用于多操作系统的任务处理方法、处理器及存储介质
CN109308219B (zh) 任务处理方法、装置及分布式计算机系统
CN113961639A (zh) 一种分布式事务处理方法、终端及计算机可读存储介质
CN115208834A (zh) 一种基于数据库存储过程设计的服务流量限制方法
CN112162988A (zh) 一种分布式事务的处理方法、装置和电子设备
CN112860746B (zh) 一种基于缓存削减的方法、设备及系统
CN111639089B (zh) 事务处理方法、装置、电子设备和计算机可读存储介质
CN117632443B (zh) 业务流程的流转控制方法及装置、设备、介质
CN114546705B (zh) 操作响应方法、操作响应装置、电子设备以及存储介质
CN115756768B (zh) 基于saga的分布式事务处理方法、装置、设备及介质
CN115098281A (zh) 区块链跨链任务处理方法、装置、服务器及介质
CN115314458A (zh) 一种消息推送方法、装置、电子设备和存储介质
CN115390998A (zh) 分布式事务处理方法、装置及电子设备
CN113554498A (zh) 一种针对用户账务请求的处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination