CN110955719B - 一种数据存取处理设备、系统和方法 - Google Patents

一种数据存取处理设备、系统和方法 Download PDF

Info

Publication number
CN110955719B
CN110955719B CN201811133156.1A CN201811133156A CN110955719B CN 110955719 B CN110955719 B CN 110955719B CN 201811133156 A CN201811133156 A CN 201811133156A CN 110955719 B CN110955719 B CN 110955719B
Authority
CN
China
Prior art keywords
data
storage device
transaction
processing
data storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811133156.1A
Other languages
English (en)
Other versions
CN110955719A (zh
Inventor
黄大鹏
张露
吴翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Cloud Computing Ltd
Original Assignee
Alibaba Cloud Computing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Cloud Computing Ltd filed Critical Alibaba Cloud Computing Ltd
Priority to CN201811133156.1A priority Critical patent/CN110955719B/zh
Publication of CN110955719A publication Critical patent/CN110955719A/zh
Application granted granted Critical
Publication of CN110955719B publication Critical patent/CN110955719B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据存取处理方法。该方法包括获取数据操作事务的步骤,其中数据操作事务包括至少一条数据读/写操作。该方法还包括步骤:将数据操作事务中、第一条数据写操作之前的各条数据读操作发送到从数据存储设备进行处理;以及将数据操作事务中的第一条数据写操作及其后的所有数据读/写操作发送到主数据存储设备进行处理。本发明还公开了一种相应的数据存取处理设备和系统。

Description

一种数据存取处理设备、系统和方法
技术领域
本发明涉及数据处理技术领域,尤其涉及针对具有主从分布的数据存储设备进行高性能数据存取的数据处理技术领域。
背景技术
随着互联网的发展,越来越多的数据存储在数据存储设备如数据库中。这些数据存储设备可以通过网络来访问。一般来说,用户会利用各种网络应用来访问数据存储设备。数据存储设备中存储的数据越来越多,为了提供高效和可靠的数据存取服务,数据存储设备通常会进行扩容,形成包括主数据存储设备和从数据存储设备的数据存储系统。数据分布到数据存储系统的多个数据存储设备中,为了保证数据存取的一致性,一般采取一种读写分离的数据存取方式,即将数据读取操作发送到从数据存储设备进行处理,而将数据写操作(包括数据更新、插入和删除等操作)发送到主数据存储设备进行设备。主从数据存储设备进行数据同步操作,保证主从数据的一致性。
数据操作事务是数据存储系统执行过程中的一个逻辑单位,包括多个数据存取操作,并满足ACID特性,即保证事务处理的原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)和持久性(Durability)。数据操作事务由于ACID特性,在数据管理领域具有广泛的应用。
现有的这种读写分离的数据存取方式在应对数据操作事务时,存在明显的缺陷。即,为保持事务的特性,所有事务内的所有数据存取请求都需要发送到主数据存储设备进行处理,导致很多情况下读写分离效果不佳。
另外,在现有的网络应用中,通常在一次会话中会发生多次数据存取操作,这些数据存取操作中的一些构成数据操作事务,有些就是简单的数据读/写操作。由于会话中的业务处理速度较快,利用现有的读写分离方式,有可能存在另一种缺陷。即,数据写操作发送到主数据存储设备进行处理之后,主数据存储设备还未及时将数据同步到从数据存储设备,同一个会话中的后续数据读操作就已经发送到从数据存储设备进行处理。这样就会导致在从数据存储设备读取不到最新的数据,对于同一个会话来说,就不能保证因果读特征。
现有的一种保证同一个会话中因果读的方式是:在进行数据读操作之前,先获取主从数据存储设备的最新数据版本信息,然后进行比较,并且仅仅在从数据存储设备的数据版本状态为最新时,才将数据读操作发送个从数据存储设备进行处理。这种方式,因为获取最新从数据存储设备的版本信息很难及时,会有很多误判。另一方面由于每次进行读操作之前还需要进行版本信息比较,会降低数据读操作的性能。
综上,需要一种新的数据存取处理方案,可以在主-从架构的数据存储系统中、特别是对于网络应用的实际场景,提供高性能的数据存储方式。
发明内容
为此,本发明提供了一种新的数据存取处理方案,以力图解决或者至少缓解上面存在的至少一个问题。
根据本发明的一个方面,提供了一种数据存取处理方法。该方法包括获取数据操作事务的步骤,其中数据操作事务包括至少一条数据读/写操作。该方法还包括步骤:将数据操作事务中、第一条数据写操作之前的各条数据读操作发送到从数据存储设备进行处理;以及将数据操作事务中的第一条数据写操作及其后的所有数据读/写操作发送到主数据存储设备进行处理。
可选的,根据本发明的处理方法还包括步骤,将数据操作事务中的第一条数据写操作及其后的所有数据读/写操作发送到主数据存储设备进行处理之后,接收主数据存储设备返回的全局事务标志。
可选的,根据本发明的处理方法还包括步骤:获取同一个会话中、在数据操作事务之后并要发送给从数据存储设备进行处理的一条或者多条数据读操作;在一条或者多条数据读操作中添加全局事务标志,以便从数据存储设备与主数据存储设备同步了全局事务标志之后进行数据读操作的处理。
可选的,数据操作事务包括事务启动操作,根据本发明的处理方法还包括将事务启动操作发送到主数据存储设备进行处理的步骤。
可选的,根据本发明的处理方法还包括将操作事务中的启动和完成操作发送到主数据存储设备进行处理的步骤。
可选地,数据写操作包括数据写入操作、数据更新操作和数据删除操作中的一项或者多项。
根据本发明的另一方面,提供了一种数据存取处理设备。该处理设备包括数据操作接口。数据操作接口适于获取数据操作事务,而数据操作事务包括至少一条数据读/写操作。该处理设备,还包括数据操作单元。数据操作单元耦接到数据操作接口,并适于将数据操作事务中、第一条数据写操作之前的各条数据读操作发送到从数据存储设备进行处理;以及将数据操作事务中的第一条数据写操作及其后的所有数据读/写操作发送到主数据存储设备进行处理。
根据本发明的另一个方面,还提供了一种数据处理系统。该数据处理系统包括上述数据存取处理设备、主数据存储设备和一个或者多个从数据存储设备。
根据本发明的还有一个方面,还提供了一种计算设备。该计算设备包括至少一个处理器和存储有程序指令的存储器,其中,程序指令被配置为适于由至少一个处理器执行并包括用于执行上述数据存取处理方法的指令。
根据本发明的还有另一个方面,还提供了一种存储有程序指令的可读存储介质,当该程序指令被计算设备读取并执行时,使得计算设备执行上述数据存取处理方法。
根据本发明的数据存取处理方案。首先对数据操作事务中的数据读/写操作进行拆分,仅仅在数据写操作发生时,才将数据写操作及其后续操作发送到主数据存储设备进行处理,可以显著提高数据读写分离的效果,从而提高数据存取操作的性能。
另一方面,将在数据写操作时获取的、在主数据存储设备出的最新全局事务标志在数据读操作时发送给从数据存储设备。由从数据存储设备来执行全局事务标志的比较,即在从存储设备处进行版本信息比较。这种方式特别适于在会话中使用,可以在确保因果读的同时,显著提高会话处理的速度。
附图说明
为了实现上述以及相关目的,本文结合下面的描述和附图来描述某些说明性方面,这些方面指示了可以实践本文所公开的原理的各种方式,并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述,本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开,相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明一个实施例的数据处理系统100的环境示意图;
图2示出了根据本发明一个实施例的计算设备200的示意图;
图3示出了根据本发明一个实施例的数据存取处理方法300的流程图;
图4示出了根据本发明另一个实施例的数据存取处理方法400的处理流程示意图;
图5示出了根据本发明还有一个实施例的数据处理方法500的处理流程的示意图;以及
图6示出了根据本发明一个实施例的数据存取处理设备600的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的数据处理系统100的环境示意图。如图1所示,数据处理系统100包括客户端110、数据存取处理设备600和数据存储系统120。数据存储系统120一般为主-从架构,即包括主数据存储设备122和从数据存储设备124。数据处理系统100中的部件一般通过互联网络进行通信。数据存取处理设备600和数据存储系统120通常通过高速互联网络进行连接,甚至可以部署在同一个局域网络内部,从而实现二者之间的高速数据通信。在数据存储系统120中,主数据存储设备122一般为一台设备,从数据存储设备124通常有一台到多台。当然随着数据存储技术的发展和存储容量的要求,主数据存储设备122也可以扩展到多台设备上,本发明不受限于主从数据存储设备的数量,所有才有主-从架构的数据存储系统都在本发明的保护范围之内。为了保证主-从数据存储设备之间进行高速的数据同步,通常还会在这些设备之间建立另外专门的链接。
数据存取处理设备600接收来自用户经由客户端110的访问请求。这些访问请求通常涉及对数据存储系统120的数据存取操作。数据存取操作包括数据读/写操作。例如,数据读操作可以包括仅仅读取一条数据记录的操作、通过检索获取满足检索条件的一条或者多条数据记录的操作等;数据写操作可以包括数据写入操作、数据更新操作和数据删除操作等。数据读操作可以是任何针对数据存储系统120中存储的数据进行操作,但是不改变数据内容的数据操作,而数据写操作可以是会改变数据内容的任何数据操作。对于主-从架构的数据存储系统120来说,数据写操作一般发送给主数据存储设备122进行处理,并由主设备122在进行数据更新之后,和从设备124进行同步,从而保持数据在主设备122和从设备124之间的一致性。数据读操作可以发送到从设备124进行处理。当从设备124有多台时,可以并行处理多条数据读操作,从而提高了数据处理的性能。
可选的,用户的访问请求和设备600对这些访问请求的响应构成会话。一些应用的处理逻辑变得日益复杂,通常一次会话中会包括多次数据存取操作。这些数据存取操作中的一些因为处理逻辑的需要,即要求数据操作满足ACID需求而构成数据操作事务。在会话中的数据操作通常要满足因果读,即在同一会话的生命周期中,在后的数据读取操作读取到的数据版本应该比在先的数据读取操作要新。
数据存取处理设备600对来自客户端的数据处理请求进行分析,根据解析结果将一部分数据操作请求发送到主设备122进行处理,并且将另一部分数据操作请求发送到从设备124进行处理。在下文结合图3-6的描述中,会对数据存取处理设备600的结构和数据处理方法进行详细说明。
主数据存储设备122和从数据存储设备124构成主-从架构的数据存储系统120。主设备122和从设备124进行数据同步,通过心跳协议等方式保证二者之间的连通性,并根据预定规则进行主-从角色的切换等。本发明不受限于主-从设备之间进行数据同步和设备管理的任何方案,所有这些方案都在本发明的保护范围之内。
根据本发明的实施方式,数据存取处理设备600、主数据存储设备122和从数据存储设备124均可以通过如下所述的计算设备200来实现。图2示出了根据本发明一个实施例的计算设备200的示意图。
如图2所示,在基本的配置202中,计算设备200典型地包括系统存储器206和一个或者多个处理器204。存储器总线208可以用于在处理器204和系统存储器206之间的通信。
取决于期望的配置,处理器204可以是任何类型的处理,包括但不限于:微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器204可以包括诸如一级高速缓存210和二级高速缓存212之类的一个或者多个级别的高速缓存、处理器核心214和寄存器216。示例的处理器核心214可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器218可以与处理器204一起使用,或者在一些实现中,存储器控制器218可以是处理器204的一个内部部分。
取决于期望的配置,系统存储器206可以是任意类型的存储器,包括但不限于:易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器206可以包括操作系统220、一个或者多个应用222以及程序数据224。在一些实施方式中,应用222可以布置为在操作系统上由一个或多个处理器204利用程序数据224执行指令。
计算设备200还可以包括有助于从各种接口设备(例如,输出设备242、外设接口244和通信设备246)到基本配置202经由总线/接口控制器230的通信的接口总线240。示例的输出设备242包括图形处理单元248和音频处理单元250。它们可以被配置为有助于经由一个或者多个A/V端口252与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口244可以包括串行接口控制器254和并行接口控制器256,它们可以被配置为有助于经由一个或者多个I/O端口258和诸如输入设备(例如,键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备246可以包括网络控制器260,其可以被布置为便于经由一个或者多个通信端口264与一个或者多个其他计算设备262通过网络通信链路的通信。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块,并且可以包括任何信息递送介质。“调制数据信号”可以是这样的信号,它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例,通信介质可以包括诸如有线网络或者专线网络之类的有线介质,以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。
计算设备200可以实现为服务器,例如数据库服务器、应用程序服务器和WEB服务器等,也可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。当然,计算设备200也可以实现为小尺寸便携(或者移动)电子设备的一部分。在根据本发明的实施例中,计算设备200被实现为数据存取处理设备600,并被配置为执行根据本发明的数据存取处理方法300。其中,计算设备200的应用222中包含执行根据本发明的数据存取处理方法300的多条程序指令,而程序数据224还可以存储数据存储系统130的配置信息等。
图3示出了根据本发明一个实施例的数据存取处理方法300的流程图。方法300在上述数据存取处理设备100中执行,如图3所示,调度方法300始于步骤S310。
在步骤S310中,获取要发送到数据存储系统130进行处理的数据操作事务。如上参考图1所述,本发明通常用于网络应用。一般网络应用和客户端的交互构成会话。每次会话会包含多条数据操作,其中的一条或者多条数据读/写操作因为业务逻辑的要求而构成一个数据操作事务。在本发明的方法300中,首先获取一整个数据操作事务进行处理。
随后,在步骤S320中,对步骤S310所获取的数据操作事务进行分析,确定事务拆分点,即该数据操作事务中的第一条数据写操作。
接下来,在步骤S330中,将步骤S320所确定的事务拆分点之前的各条数据读操作发送到从数据存储设备124进行处理。而在步骤S340中,将事务拆分点及其之后的所有数据读/写操作发送到主数据存储设备122进行处理。
在方法300中,对数据操作事务进行拆分,将第一次写操作之前的数据操作发送给从设备124进行处理,而在第一次写操作及其后的所有操作发送到主设备122进行处理。由于大多数网络应用的事务隔离级别都为READ COMMITTED,在该隔离级别下,将事务中更新操作前的所有读操作发往从库是不违背该隔离级别的定义的,因此这种拆分在满足事务隔离级别的同时,提高了数据存取的性能。
方法300的执行涉及到数据处理系统100中的各个部件,为此,在图4中示出了根据本发明另一个实施例的数据存取处理方法400的处理流程示意图。图4所示的方法400是图3所示方法的进一步扩展说明,并且为了便于理解,以数据处理系统100中的各种部件的交互方式进行了描述。
在图4中,与图3所示的方法步骤相同的步骤用相同的标号进行指示,并且不再进行赘述。如图4所示,处理方法400还包括步骤S410,即数据存取处理设备600在获取数据操作事务之前,还接收来自客户端110的访问请求。根据业务逻辑,这些访问请求可以包括多个数据存取操作,其中的一些数据存取操作可以构成数据操作事务。数据操作事务还包括事务启动操作和事务完成操作。以SQL语句为例,事务启动操作为BEGIN TRANS语句,而事务完成操作为COMMIT语句。
在处理方法400中,可选地,在数据存取处理方法300所描述的各个步骤之前,还包括步骤S420,其中将事务启动操作发送到主数据存储设备122进行处理。并且在数据存取处理方法300所描述的各个步骤之后,还包括步骤S430,其中将事务完成操作发送到主数据存储设备122进行处理。这样,主数据存储设备122收到了包括事务启动操作、数据写操作和后续多个数据读/写操作和事务完成操作在内的多个数据操作,这些数据操作构成了一个完整的数据操作事务。主数据存储设备122可以任何针对数据操作事务的处理方式对该数据操作事务进行处理,而不用进行任何修改。本发明不受限于任何对数据操作事务进行处理的数据处理方式,所有的数据处理方式都在本发明的保护范围之内。
另外,图4中还示出了从数据存储设备124响应于步骤S330而返回数据读操作的处理结果的步骤S440,以及主数据存储设备122在处理完成数据操作事务之后返回处理结果的步骤S450。步骤S440和S450并不由数据存取处理设备600执行。
图5示出了根据本发明还有一个实施例的数据处理方法500的处理流程的示意图。图5所示的方法500是图3和4所示的方法300和400的进一步扩展。与图3和4所示的方法步骤相同的步骤用相同的标号进行指示,并且不再进行赘述。
在数据存储系统120中,为了保证对数据操作事务的成功处理,会为每个操作事务分配一个在整个系统内唯一的事务编号,即GTID,也称为全局事务标志。全局事务标志在每个数据存储设备上是唯一的。在数据存储系统120中,如步骤S510所示,在主数据存储设备122处理了数据操作事务之后,需要将该数据操作事务的GTID和相应的更新数据同步到从数据存储设备124。
如图5所示,在步骤S450中,主数据存储设备122将数据操作事务的成功处理结果返回给数据存取处理设备600时,会将该数据操作事务的GTID添加到返回结果中。这样,处理设备600可以保持该GTID值。
随后,对于在步骤S410获得的会话,如果在步骤S450处确定对数据操作事务的处理已经完成了之后,会话中还有要进行处理的数据读取操作,则在步骤S520中,将GTID值与数据读取操作请求一起发送给从数据存储设备124。
随后,在步骤S530中,从数据存储设备124会比较步骤S520获得的GTID值和本身存储的GTID值。如果本身存储的GTID值已经是最新的值了,则对该数据读取操作进行处理,并在步骤S540中返回数据读取结果。
相应的,如果本身存储的GTID值不是最新的值,则从存储设备124会等待在步骤S510中通过数据同步获得来自主存储设备122的最新GTID值,并且暂停对步骤S530处获得的数据读取操作的处理。
利用这种方式,可以确保数据存取处理设备600每次发送的数据读取操作可以获得最新的数据,这样,在处理会话中的多个数据读取操作时,即能够保证因果读,又可以减少设备600的性能开销。
图6示出了根据本发明一个实施例的数据存取处理设备600的示意图。应当注意的是,图2描述一种可以实现数据存取处理设备600的计算设备200。计算设备200是以硬件划分的方式对数据存取处理设备600进行了描述,而图6是以功能模块划分的方式对数据存取处理设备600进行了描述。
如图6所示,数据存取处理设备600包括数据操作接口610和数据操作单元620。数据操作接口610适于获取数据操作事务,并对数据操作事务进行分析,以便查找到事务拆分点。数据操作接口610所执行的处理与上面参考图3-5中描述的方法中的步骤S310和S320的内容相同,这里不再进行赘述。
数据操作单元620耦接到数据操作接口610,根据数据操作接口610对数据操作事务的分析结果,分别将不同的数据操作指令分别发送给主存储设备122和从存储设备124进行处理。具体而言,如上面参考图3-5所描述的方法步骤S330和S340那样,适于将数据操作事务中、第一条数据写操作之前的各条数据读操作发送到从数据存储设备123进行处理;以及将数据操作事务中的第一条数据写操作及其后的所有数据读/写操作发送到主数据存储设备122进行处理。
数据操作单元620还适于执行上面参考图4和5描述的步骤S420、S430和S520等,这里不再进行赘述。
应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中,或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
此外,所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此,具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外,装置实施例的在此所述的元素是如下装置的例子:该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样,除非另行规定,使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例,并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。此外,应当注意,本说明书中使用的语言主要是为了可读性和教导的目的而选择的,而不是为了解释或者限定本发明的主题而选择的。因此,在不偏离所附权利要求书的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围,对本发明所做的公开是说明性的,而非限制性的,本发明的范围由所附权利要求书限定。

Claims (12)

1.一种数据存取处理方法,包括步骤:
获取数据操作事务,所述数据操作事务包括至少一条数据读/写操作;
将所述数据操作事务中、第一条数据写操作之前的各条数据读操作发送到从数据存储设备进行处理;
将所述数据操作事务中的第一条数据写操作及其后的所有数据读/写操作发送到主数据存储设备进行处理;接收主数据存储设备返回的全局事务标志;
获取同一个会话中、在所述数据操作事务之后并要发送给从数据存储设备进行处理的一条或者多条数据读操作;
在所述一条或者多条数据读操作中添加所述全局事务标志,以便所述从数据存储设备与所述主数据存储设备同步了所述全局事务标志并进行了主从设备数据同步之后进行数据读操作的处理。
2.如权利要求1所述的方法,所述方法还包括:
将事务操作中的启动操作或完成操作发送到主数据存储设备进行处理。
3.如权利要求1-2中任一项所述的方法,其中所述数据写操作包括数据写入操作、数据更新操作和数据删除操作中的至少一项。
4.一种数据存取处理设备,包括:
数据操作接口,适于获取数据操作事务,所述数据操作事务包括一条或者多条数据读/写操作;以及
数据操作单元,耦接到所述数据操作接口,适于将所述数据操作事务中、第一条数据写操作之前的各条数据读操作发送到从数据存储设备进行处理;以及将所述数据操作事务中的第一条数据写操作及其后的所有数据读/写操作发送到主数据存储设备进行处理,接收主数据存储设备返回的全局事务标志,获取同一个会话中、在所述数据操作事务之后并要发送给从数据存储设备进行处理的一条或者多条数据读操作;以及在所述一条或者多条数据读操作中添加所述全局事务标志,以便所述从数据存储设备与所述主数据存储设备同步了所述全局事务标志并进行了主从设备数据同步之后进行数据读操作的处理。
5.如权利要求4所述的数据存取处理设备,其中,所述数据操作单元还适于将事务操作中的启动操作或完成操作发送到主数据存储设备进行处理。
6.如权利要求4-5中任一项所述的数据存取处理设备,其中所述数据写操作包括数据写入操作、数据更新操作和数据删除操作中的一项或者多项。
7.一种数据处理系统,包括:
如权利要求4-6中任一项所述的数据存取处理设备;
主数据存储设备;以及
一个或者多个从数据存储设备。
8.如权利要求7所述的数据处理系统,其中所述主数据存储设备适于:
接收来自所述数据存取处理设备的数据写操作;
对所述数据写操作进行处理;以及
在所述数据写操作的处理完成之后,在返回到所述数据存取处理设备的操作结果中加入全局事务标志。
9.如权利要求7所述的数据处理系统,其中所述主数据存储设备还适于:
接收来自所述数据存取处理设备的事务启动操作和事务结束操作,以便以事务处理的方式对来自所述数据存取设备的、在所述事务启动操作和事务结束操作之间的一条或者多条数据读/写操作进行处理。
10.如权利要求7所述的数据处理系统,其中所述从数据存储设备具有本地存储的全局事务标志,并适于:
接收来自所述数据存取处理设备的数据读操作;
从所述数据读操作中获取全局事务标志;
接收来自所述主数据存储设备的同步请求,进行数据同步并更新本地存储的全局事务标志;
比较从所述数据读操作中获取的全局事务标志和本地存储的全局事务标志;以及
在比较结果指示从数据存储设备上的数据已经更新了之后,对所述数据读操作进行处理。
11.一种计算设备,包括:
至少一个处理器;和
存储有程序指令的存储器,其中,所述程序指令被配置为适于由所述至少一个处理器执行,所述程序指令包括用于执行如权利要求1-3中任一项所述方法的指令。
12.一种存储有程序指令的可读存储介质,当所述程序指令被计算设备读取并执行时,使得所述计算设备执行如权利要求1-3中任一项所述的方法。
CN201811133156.1A 2018-09-27 2018-09-27 一种数据存取处理设备、系统和方法 Active CN110955719B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811133156.1A CN110955719B (zh) 2018-09-27 2018-09-27 一种数据存取处理设备、系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811133156.1A CN110955719B (zh) 2018-09-27 2018-09-27 一种数据存取处理设备、系统和方法

Publications (2)

Publication Number Publication Date
CN110955719A CN110955719A (zh) 2020-04-03
CN110955719B true CN110955719B (zh) 2023-08-01

Family

ID=69968788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811133156.1A Active CN110955719B (zh) 2018-09-27 2018-09-27 一种数据存取处理设备、系统和方法

Country Status (1)

Country Link
CN (1) CN110955719B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188114B (zh) * 2019-05-27 2021-09-10 上海达梦数据库有限公司 一种数据操作的优化方法、装置、系统、设备和存储介质
CN112286947B (zh) * 2020-09-29 2022-10-04 阿里云计算有限公司 保持不同存储系统的数据一致的方法以及装置
CN113094431A (zh) * 2021-03-30 2021-07-09 北京达佳互联信息技术有限公司 读写分离方法、装置及服务器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990069922A (ko) * 1998-02-14 1999-09-06 이계철 데이터베이스관리시스템에서트랜잭션고립단계의확장방법
CN107301250A (zh) * 2017-07-27 2017-10-27 南京南瑞集团公司 一种多源数据库协同备份方法
CN107623703A (zh) * 2016-07-13 2018-01-23 中兴通讯股份有限公司 全局事务标识gtid的同步方法、装置及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013033345A (ja) * 2011-08-01 2013-02-14 Internatl Business Mach Corp <Ibm> トランザクション処理システム、方法及びプログラム
US9779128B2 (en) * 2014-04-10 2017-10-03 Futurewei Technologies, Inc. System and method for massively parallel processing database
CN104391873A (zh) * 2014-10-29 2015-03-04 上海达梦数据库有限公司 数据库操作分离方法和系统
US10078680B2 (en) * 2014-12-17 2018-09-18 Codership Oy Method for streaming transactions in database cluster
CN106383755A (zh) * 2016-09-23 2017-02-08 北京奇虎科技有限公司 在主从式数据库系统中恢复从库的方法、装置和系统
CN108090056B (zh) * 2016-11-21 2021-06-15 中兴通讯股份有限公司 数据查询方法、装置及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990069922A (ko) * 1998-02-14 1999-09-06 이계철 데이터베이스관리시스템에서트랜잭션고립단계의확장방법
CN107623703A (zh) * 2016-07-13 2018-01-23 中兴通讯股份有限公司 全局事务标识gtid的同步方法、装置及系统
CN107301250A (zh) * 2017-07-27 2017-10-27 南京南瑞集团公司 一种多源数据库协同备份方法

Also Published As

Publication number Publication date
CN110955719A (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
JP6553822B2 (ja) 分散システムにおける範囲の分割および移動
CN102402596B (zh) 一种主从分离数据库的读写方法和系统
US10572361B2 (en) Concurrent production use of a production enterprise system and testing of a modified enterprise system
US9218405B2 (en) Batch processing and data synchronization in cloud-based systems
US8078628B2 (en) Streaming faceted search
CN105740048A (zh) 一种镜像管理方法、装置及系统
JP2023546249A (ja) トランザクション処理方法、装置、コンピュータ機器及びコンピュータプログラム
CN110955719B (zh) 一种数据存取处理设备、系统和方法
CN108920698A (zh) 一种数据同步方法、装置、系统、介质及电子设备
US11449470B2 (en) Patching JSON documents that contain arrays undergoing concurrent modification
CN111475483B (zh) 数据库迁移方法、装置及计算设备
CN111881223B (zh) 数据管理方法、设备、系统及存储介质
CN101184106A (zh) 一种移动数据库的关联事务处理方法
CN109656999A (zh) 大数据量的数据同步方法、设备、存储介质及装置
CN112988916B (zh) 针对Clickhouse的全量和增量同步方法、设备和存储介质
US8600960B2 (en) Processing proposed changes to data
CN112925954A (zh) 用于在图数据库中查询数据的方法和装置
CN112905618A (zh) 数据处理方法以及装置
CN112970011A (zh) 记录查询优化中的谱系
US8874682B2 (en) Composite graph cache management
US11789971B1 (en) Adding replicas to a multi-leader replica group for a data set
CN114925078A (zh) 数据更新方法、系统、电子设备及存储介质
CN113297231A (zh) 数据库处理方法及装置
US20100030802A1 (en) System and method tha allows relational data to be modeled efficiently and synchronized without creating dangling references
CN113377791A (zh) 一种数据处理方法、系统及计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210909

Address after: Room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Alibaba (China) Co.,Ltd.

Address before: The big Cayman capital building, a four - story mailbox 847

Applicant before: ALIBABA GROUP HOLDING Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211119

Address after: 310000 No. 12, Zhuantang science and technology economic block, Xihu District, Hangzhou City, Zhejiang Province

Applicant after: Aliyun Computing Co.,Ltd.

Address before: 310052 room 508, 5th floor, building 4, No. 699 Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant before: Alibaba (China) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant