发明内容
为此,本发明提供了一种新的数据存取处理方案,以力图解决或者至少缓解上面存在的至少一个问题。
根据本发明的一个方面,提供了一种数据存取处理方法。该方法包括获取数据操作事务的步骤,其中数据操作事务包括至少一条数据读/写操作。该方法还包括步骤:将数据操作事务中、第一条数据写操作之前的各条数据读操作发送到从数据存储设备进行处理;以及将数据操作事务中的第一条数据写操作及其后的所有数据读/写操作发送到主数据存储设备进行处理。
可选的,根据本发明的处理方法还包括步骤,将数据操作事务中的第一条数据写操作及其后的所有数据读/写操作发送到主数据存储设备进行处理之后,接收主数据存储设备返回的全局事务标志。
可选的,根据本发明的处理方法还包括步骤:获取同一个会话中、在数据操作事务之后并要发送给从数据存储设备进行处理的一条或者多条数据读操作;在一条或者多条数据读操作中添加全局事务标志,以便从数据存储设备与主数据存储设备同步了全局事务标志之后进行数据读操作的处理。
可选的,数据操作事务包括事务启动操作,根据本发明的处理方法还包括将事务启动操作发送到主数据存储设备进行处理的步骤。
可选的,根据本发明的处理方法还包括将操作事务中的启动和完成操作发送到主数据存储设备进行处理的步骤。
可选地,数据写操作包括数据写入操作、数据更新操作和数据删除操作中的一项或者多项。
根据本发明的另一方面,提供了一种数据存取处理设备。该处理设备包括数据操作接口。数据操作接口适于获取数据操作事务,而数据操作事务包括至少一条数据读/写操作。该处理设备,还包括数据操作单元。数据操作单元耦接到数据操作接口,并适于将数据操作事务中、第一条数据写操作之前的各条数据读操作发送到从数据存储设备进行处理;以及将数据操作事务中的第一条数据写操作及其后的所有数据读/写操作发送到主数据存储设备进行处理。
根据本发明的另一个方面,还提供了一种数据处理系统。该数据处理系统包括上述数据存取处理设备、主数据存储设备和一个或者多个从数据存储设备。
根据本发明的还有一个方面,还提供了一种计算设备。该计算设备包括至少一个处理器和存储有程序指令的存储器,其中,程序指令被配置为适于由至少一个处理器执行并包括用于执行上述数据存取处理方法的指令。
根据本发明的还有另一个方面,还提供了一种存储有程序指令的可读存储介质,当该程序指令被计算设备读取并执行时,使得计算设备执行上述数据存取处理方法。
根据本发明的数据存取处理方案。首先对数据操作事务中的数据读/写操作进行拆分,仅仅在数据写操作发生时,才将数据写操作及其后续操作发送到主数据存储设备进行处理,可以显著提高数据读写分离的效果,从而提高数据存取操作的性能。
另一方面,将在数据写操作时获取的、在主数据存储设备出的最新全局事务标志在数据读操作时发送给从数据存储设备。由从数据存储设备来执行全局事务标志的比较,即在从存储设备处进行版本信息比较。这种方式特别适于在会话中使用,可以在确保因果读的同时,显著提高会话处理的速度。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的数据处理系统100的环境示意图。如图1所示,数据处理系统100包括客户端110、数据存取处理设备600和数据存储系统120。数据存储系统120一般为主-从架构,即包括主数据存储设备122和从数据存储设备124。数据处理系统100中的部件一般通过互联网络进行通信。数据存取处理设备600和数据存储系统120通常通过高速互联网络进行连接,甚至可以部署在同一个局域网络内部,从而实现二者之间的高速数据通信。在数据存储系统120中,主数据存储设备122一般为一台设备,从数据存储设备124通常有一台到多台。当然随着数据存储技术的发展和存储容量的要求,主数据存储设备122也可以扩展到多台设备上,本发明不受限于主从数据存储设备的数量,所有才有主-从架构的数据存储系统都在本发明的保护范围之内。为了保证主-从数据存储设备之间进行高速的数据同步,通常还会在这些设备之间建立另外专门的链接。
数据存取处理设备600接收来自用户经由客户端110的访问请求。这些访问请求通常涉及对数据存储系统120的数据存取操作。数据存取操作包括数据读/写操作。例如,数据读操作可以包括仅仅读取一条数据记录的操作、通过检索获取满足检索条件的一条或者多条数据记录的操作等;数据写操作可以包括数据写入操作、数据更新操作和数据删除操作等。数据读操作可以是任何针对数据存储系统120中存储的数据进行操作,但是不改变数据内容的数据操作,而数据写操作可以是会改变数据内容的任何数据操作。对于主-从架构的数据存储系统120来说,数据写操作一般发送给主数据存储设备122进行处理,并由主设备122在进行数据更新之后,和从设备124进行同步,从而保持数据在主设备122和从设备124之间的一致性。数据读操作可以发送到从设备124进行处理。当从设备124有多台时,可以并行处理多条数据读操作,从而提高了数据处理的性能。
可选的,用户的访问请求和设备600对这些访问请求的响应构成会话。一些应用的处理逻辑变得日益复杂,通常一次会话中会包括多次数据存取操作。这些数据存取操作中的一些因为处理逻辑的需要,即要求数据操作满足ACID需求而构成数据操作事务。在会话中的数据操作通常要满足因果读,即在同一会话的生命周期中,在后的数据读取操作读取到的数据版本应该比在先的数据读取操作要新。
数据存取处理设备600对来自客户端的数据处理请求进行分析,根据解析结果将一部分数据操作请求发送到主设备122进行处理,并且将另一部分数据操作请求发送到从设备124进行处理。在下文结合图3-6的描述中,会对数据存取处理设备600的结构和数据处理方法进行详细说明。
主数据存储设备122和从数据存储设备124构成主-从架构的数据存储系统120。主设备122和从设备124进行数据同步,通过心跳协议等方式保证二者之间的连通性,并根据预定规则进行主-从角色的切换等。本发明不受限于主-从设备之间进行数据同步和设备管理的任何方案,所有这些方案都在本发明的保护范围之内。
根据本发明的实施方式,数据存取处理设备600、主数据存储设备122和从数据存储设备124均可以通过如下所述的计算设备200来实现。图2示出了根据本发明一个实施例的计算设备200的示意图。
如图2所示,在基本的配置202中,计算设备200典型地包括系统存储器206和一个或者多个处理器204。存储器总线208可以用于在处理器204和系统存储器206之间的通信。
取决于期望的配置,处理器204可以是任何类型的处理,包括但不限于:微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器204可以包括诸如一级高速缓存210和二级高速缓存212之类的一个或者多个级别的高速缓存、处理器核心214和寄存器216。示例的处理器核心214可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器218可以与处理器204一起使用,或者在一些实现中,存储器控制器218可以是处理器204的一个内部部分。
取决于期望的配置,系统存储器206可以是任意类型的存储器,包括但不限于:易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器206可以包括操作系统220、一个或者多个应用222以及程序数据224。在一些实施方式中,应用222可以布置为在操作系统上由一个或多个处理器204利用程序数据224执行指令。
计算设备200还可以包括有助于从各种接口设备(例如,输出设备242、外设接口244和通信设备246)到基本配置202经由总线/接口控制器230的通信的接口总线240。示例的输出设备242包括图形处理单元248和音频处理单元250。它们可以被配置为有助于经由一个或者多个A/V端口252与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口244可以包括串行接口控制器254和并行接口控制器256,它们可以被配置为有助于经由一个或者多个I/O端口258和诸如输入设备(例如,键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备246可以包括网络控制器260,其可以被布置为便于经由一个或者多个通信端口264与一个或者多个其他计算设备262通过网络通信链路的通信。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块,并且可以包括任何信息递送介质。“调制数据信号”可以是这样的信号,它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例,通信介质可以包括诸如有线网络或者专线网络之类的有线介质,以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。
计算设备200可以实现为服务器,例如数据库服务器、应用程序服务器和WEB服务器等,也可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。当然,计算设备200也可以实现为小尺寸便携(或者移动)电子设备的一部分。在根据本发明的实施例中,计算设备200被实现为数据存取处理设备600,并被配置为执行根据本发明的数据存取处理方法300。其中,计算设备200的应用222中包含执行根据本发明的数据存取处理方法300的多条程序指令,而程序数据224还可以存储数据存储系统130的配置信息等。
图3示出了根据本发明一个实施例的数据存取处理方法300的流程图。方法300在上述数据存取处理设备100中执行,如图3所示,调度方法300始于步骤S310。
在步骤S310中,获取要发送到数据存储系统130进行处理的数据操作事务。如上参考图1所述,本发明通常用于网络应用。一般网络应用和客户端的交互构成会话。每次会话会包含多条数据操作,其中的一条或者多条数据读/写操作因为业务逻辑的要求而构成一个数据操作事务。在本发明的方法300中,首先获取一整个数据操作事务进行处理。
随后,在步骤S320中,对步骤S310所获取的数据操作事务进行分析,确定事务拆分点,即该数据操作事务中的第一条数据写操作。
接下来,在步骤S330中,将步骤S320所确定的事务拆分点之前的各条数据读操作发送到从数据存储设备124进行处理。而在步骤S340中,将事务拆分点及其之后的所有数据读/写操作发送到主数据存储设备122进行处理。
在方法300中,对数据操作事务进行拆分,将第一次写操作之前的数据操作发送给从设备124进行处理,而在第一次写操作及其后的所有操作发送到主设备122进行处理。由于大多数网络应用的事务隔离级别都为READ COMMITTED,在该隔离级别下,将事务中更新操作前的所有读操作发往从库是不违背该隔离级别的定义的,因此这种拆分在满足事务隔离级别的同时,提高了数据存取的性能。
方法300的执行涉及到数据处理系统100中的各个部件,为此,在图4中示出了根据本发明另一个实施例的数据存取处理方法400的处理流程示意图。图4所示的方法400是图3所示方法的进一步扩展说明,并且为了便于理解,以数据处理系统100中的各种部件的交互方式进行了描述。
在图4中,与图3所示的方法步骤相同的步骤用相同的标号进行指示,并且不再进行赘述。如图4所示,处理方法400还包括步骤S410,即数据存取处理设备600在获取数据操作事务之前,还接收来自客户端110的访问请求。根据业务逻辑,这些访问请求可以包括多个数据存取操作,其中的一些数据存取操作可以构成数据操作事务。数据操作事务还包括事务启动操作和事务完成操作。以SQL语句为例,事务启动操作为BEGIN TRANS语句,而事务完成操作为COMMIT语句。
在处理方法400中,可选地,在数据存取处理方法300所描述的各个步骤之前,还包括步骤S420,其中将事务启动操作发送到主数据存储设备122进行处理。并且在数据存取处理方法300所描述的各个步骤之后,还包括步骤S430,其中将事务完成操作发送到主数据存储设备122进行处理。这样,主数据存储设备122收到了包括事务启动操作、数据写操作和后续多个数据读/写操作和事务完成操作在内的多个数据操作,这些数据操作构成了一个完整的数据操作事务。主数据存储设备122可以任何针对数据操作事务的处理方式对该数据操作事务进行处理,而不用进行任何修改。本发明不受限于任何对数据操作事务进行处理的数据处理方式,所有的数据处理方式都在本发明的保护范围之内。
另外,图4中还示出了从数据存储设备124响应于步骤S330而返回数据读操作的处理结果的步骤S440,以及主数据存储设备122在处理完成数据操作事务之后返回处理结果的步骤S450。步骤S440和S450并不由数据存取处理设备600执行。
图5示出了根据本发明还有一个实施例的数据处理方法500的处理流程的示意图。图5所示的方法500是图3和4所示的方法300和400的进一步扩展。与图3和4所示的方法步骤相同的步骤用相同的标号进行指示,并且不再进行赘述。
在数据存储系统120中,为了保证对数据操作事务的成功处理,会为每个操作事务分配一个在整个系统内唯一的事务编号,即GTID,也称为全局事务标志。全局事务标志在每个数据存储设备上是唯一的。在数据存储系统120中,如步骤S510所示,在主数据存储设备122处理了数据操作事务之后,需要将该数据操作事务的GTID和相应的更新数据同步到从数据存储设备124。
如图5所示,在步骤S450中,主数据存储设备122将数据操作事务的成功处理结果返回给数据存取处理设备600时,会将该数据操作事务的GTID添加到返回结果中。这样,处理设备600可以保持该GTID值。
随后,对于在步骤S410获得的会话,如果在步骤S450处确定对数据操作事务的处理已经完成了之后,会话中还有要进行处理的数据读取操作,则在步骤S520中,将GTID值与数据读取操作请求一起发送给从数据存储设备124。
随后,在步骤S530中,从数据存储设备124会比较步骤S520获得的GTID值和本身存储的GTID值。如果本身存储的GTID值已经是最新的值了,则对该数据读取操作进行处理,并在步骤S540中返回数据读取结果。
相应的,如果本身存储的GTID值不是最新的值,则从存储设备124会等待在步骤S510中通过数据同步获得来自主存储设备122的最新GTID值,并且暂停对步骤S530处获得的数据读取操作的处理。
利用这种方式,可以确保数据存取处理设备600每次发送的数据读取操作可以获得最新的数据,这样,在处理会话中的多个数据读取操作时,即能够保证因果读,又可以减少设备600的性能开销。
图6示出了根据本发明一个实施例的数据存取处理设备600的示意图。应当注意的是,图2描述一种可以实现数据存取处理设备600的计算设备200。计算设备200是以硬件划分的方式对数据存取处理设备600进行了描述,而图6是以功能模块划分的方式对数据存取处理设备600进行了描述。
如图6所示,数据存取处理设备600包括数据操作接口610和数据操作单元620。数据操作接口610适于获取数据操作事务,并对数据操作事务进行分析,以便查找到事务拆分点。数据操作接口610所执行的处理与上面参考图3-5中描述的方法中的步骤S310和S320的内容相同,这里不再进行赘述。
数据操作单元620耦接到数据操作接口610,根据数据操作接口610对数据操作事务的分析结果,分别将不同的数据操作指令分别发送给主存储设备122和从存储设备124进行处理。具体而言,如上面参考图3-5所描述的方法步骤S330和S340那样,适于将数据操作事务中、第一条数据写操作之前的各条数据读操作发送到从数据存储设备123进行处理;以及将数据操作事务中的第一条数据写操作及其后的所有数据读/写操作发送到主数据存储设备122进行处理。
数据操作单元620还适于执行上面参考图4和5描述的步骤S420、S430和S520等,这里不再进行赘述。
应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中,或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
此外,所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此,具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外,装置实施例的在此所述的元素是如下装置的例子:该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样,除非另行规定,使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例,并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。此外,应当注意,本说明书中使用的语言主要是为了可读性和教导的目的而选择的,而不是为了解释或者限定本发明的主题而选择的。因此,在不偏离所附权利要求书的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围,对本发明所做的公开是说明性的,而非限制性的,本发明的范围由所附权利要求书限定。