CN109582734A - 分布式数据库的一致性解决方法 - Google Patents

Abstract

本发明提供了分布式数据库的一致性解决方法。这种分布式的多层次结构能够方便统一管理、调度，整个数据库的结构设计层次要充分考虑到SuperMap IS.NET的平台特点，Sql Servewr 2005的数据库层次，使得分布式数据库的一致性得到保障本发明的实施例包括用于通过从不同观点在分布式数据库系统中分层维护事务一致性来控制数据库事务同时性的系统和方法。分层维护事务一致性保证了在分布式数据库系统中的数据库事务的可串行性，并提高了从分布式数据库系统的客户端的观点的整体性能(例如，响应时间)。

Description

分布式数据库的一致性解决方法

技术领域

本发明属于数据库管理技术领域，具体涉及一种分布式数据库的一致性解决方法。

背景技术

分布式数据库是一种不是所有的存储装置都被连接到共同的中央处理单元(CPU)的数据库。分布式数据库可以被存储在位于同一物理位置的多台计算机中，或可以分散在处于多个物理位置的互连的计算机网络。分布式系统的位置或场所可能分布在大的区域(如美国或世界)，或在一个小的区域(如建筑物或校园)。在分布式数据库中的数据集合也可以分布在多个物理位置。

通常情况下，分布式数据库系统的目的是让很多用户(客户端或应用)在相同时间的数据集合中的相同信息的使用，同时使它看起来好像每个用户独占访问整个数据集合。分布式数据库系统应以性能的损失最小(潜伏期)和最大事务吞吐量来提供这项服务。也就是说，在位置A的用户必须能够访问(也许更新)在位置B的数据。如果用户更新信息，该更新必须被整个传播分布式数据库系统的资源以维护在分布式数据库系统中的一致性。

更常见的数据库是异步数据库。异步数据库是分布式数据库技术的一种形式，其中复制数据的副本被存放在不同的节点(或资源)，以使得局部服务器可以访问数据，而无需伸至整个网络。使用异步技术，在整个远程数据库的传播数据更新中会有一些延迟，所以一定程度上，至少暂时不一致是被容许的。异步技术往往有比同步技术更好的响应时间，因为某些更新可能会感知地出现以及数据副本可以以跨越网络的预定时间间隔进行同步。但是，同步副本和串行化的数据库事务以维护同时性是艰巨的任务。

发明内容

本发明的目的是提供一种分布式数据库的一致性解决方法，解决了解决现有技术存在的分布式数据库难以进行数据同步的问题。

本发明分布式数据库的一致性解决方法，所述方法包括：

建立分布式数据库管理系统，建立中心服务器和数据服务器；中心服务器存储与其他服务器的逻辑联系，获取数据源，并最终发布地图服务，建立中心数据库，存储用户权限信息以及整个系统的工作空间，其中又包含了与其他跨区域数据库的链接信息，然后由SuperMap IS.NET进行GIS处理分析最终由Web服务器发布，用户客户端通过桌面浏览器接收数据库中的表单包含了空间数据和属性数据，其中属性数据除了地理属性数据外还包含了分布式数据库管理系统的用户表单；基于多个数据库，查询在数据库管理系统识别多个事务序列，其中每个数据库查询指示由在所述分布式数据库中的多个客户端之一上运行的应用所启动的一个或多个数据库事务；在数据库管理系统选择所述多个事务序列的子集；以及在数据库管理系统生成中间共享事务序列以连续地维护在所述多个事务序列的所述子集之间的事务的一致性，其中在所述中间共享事务序列中维护的中间共享事务随后被用于，经由对于遍及所述分布式数据库的多个资源进行复制的全局事务序列来实现全局事务一致性。

对于遍及所述分布式数据库的所述多个资源，复制所述全局事务序列；所述应用之一的所述观点指示数据库事务的因果历史；中间共享事务序列，其中维护所述中间共享事务序列包含异步地协调所述多个事务序列的所述子集到所述中间共享事务序列；每个数据库事务包括一个或多个断言，以及协调所述多个事务序列的所述子集到所述中间共享事务序列包括确定所述每个断言的有效性；从源事务一贯地移动到原因事务，直到每个断言被验证；中间共享事务序列代表如从在所述多个客户端的两个或更多的客户端上操作的两个或更多的应用所感知的观点共享点。

多个事务序列的所述子集的一个或多个事务序列，系基于由一个或多个事务序列启动的所述应用而被选择；多个事务序列的所述子集的一个或多个事务序列，系基于与所述一个或多个事务序列相关联的一个或多个客户端的地理位置而被选择；多个事务序列的所述子集的一个或多个事务序列，系基于与所述一个或多个事务序列相关联的一个或多个客户端的属性而被选择。

提交在所述中间共享事务序列中的所述共享事务以维护所述全局事务序列，其中提交所述共享事务到所述全局事务序列包括用在所述分布式数据库中的其他数据库事务，协调在所述中间共享事务序列中的一个或多个的所述共享事务。

每个数据库事务包括一个或多个断言，以及协调包括达成在关于所述每个断言的有效性的多个数据库资源之间的共识；从源数据库事务一贯地移动到原因数据库事务，直到每个断言被验证；在提交所述共享事务到所述全局事务序列之前，通知所述应用之一所述相关联的数据库查询被完成。

提交所述多个数据库事务的其他未提交的数据库事务到所述全局事务序列，其中所述其他未提交的数据库事务不在所述中间共享事务序列之中；多个事务序列的所述子集，系基于第一应用的所述用户之间的关系而被选择；每个用户具有与所述第一应用相关联的用户配置文件，并且其中所述多个事务序列的所述子集，系基于所述用户配置文件之间的关系而被选择。

本发明与现有技术相比，具有如下优点和有益效果：

本发明提出分布式数据库的一致性解决方法，这种层次结构能够方便统一管理、调度，但是中心服务器如果发生故障整个系统将会瘫痪，整个数据库的结构设计层次要充分考虑到SuperMap IS.NET的平台特点，Sql Servewr 2005的数据库层次，使得分布式数据库的一致性得到保障。

具体实施方式

下面结合具体实施方式对本发明进行详细说明。

本发明分布式数据库的一致性解决方法，所述方法包括：

建立分布式数据库管理系统，建立中心服务器和数据服务器；中心服务器存储与其他服务器的逻辑联系，获取数据源，并最终发布地图服务，建立中心数据库，存储用户权限信息以及整个系统的工作空间，其中又包含了与其他跨区域数据库的链接信息，然后由SuperMap IS.NET进行GIS处理分析最终由Web服务器发布，用户客户端通过桌面浏览器接收数据库中的表单包含了空间数据和属性数据，其中属性数据除了地理属性数据外还包含了分布式数据库管理系统的用户表单；基于多个数据库，查询在数据库管理系统识别多个事务序列，其中每个数据库查询指示由在所述分布式数据库中的多个客户端之一上运行的应用所启动的一个或多个数据库事务；在数据库管理系统选择所述多个事务序列的子集；以及在数据库管理系统生成中间共享事务序列以连续地维护在所述多个事务序列的所述子集之间的事务的一致性，其中在所述中间共享事务序列中维护的中间共享事务随后被用于，经由对于遍及所述分布式数据库的多个资源进行复制的全局事务序列来实现全局事务一致性。

对于遍及所述分布式数据库的所述多个资源，复制所述全局事务序列；所述应用之一的所述观点指示数据库事务的因果历史；中间共享事务序列，其中维护所述中间共享事务序列包含异步地协调所述多个事务序列的所述子集到所述中间共享事务序列；每个数据库事务包括一个或多个断言，以及协调所述多个事务序列的所述子集到所述中间共享事务序列包括确定所述每个断言的有效性；从源事务一贯地移动到原因事务，直到每个断言被验证；中间共享事务序列代表如从在所述多个客户端的两个或更多的客户端上操作的两个或更多的应用所感知的观点共享点。

多个事务序列的所述子集的一个或多个事务序列，系基于由一个或多个事务序列启动的所述应用而被选择；多个事务序列的所述子集的一个或多个事务序列，系基于与所述一个或多个事务序列相关联的一个或多个客户端的地理位置而被选择；多个事务序列的所述子集的一个或多个事务序列，系基于与所述一个或多个事务序列相关联的一个或多个客户端的属性而被选择。

提交在所述中间共享事务序列中的所述共享事务以维护所述全局事务序列，其中提交所述共享事务到所述全局事务序列包括用在所述分布式数据库中的其他数据库事务，协调在所述中间共享事务序列中的一个或多个的所述共享事务。

每个数据库事务包括一个或多个断言，以及协调包括达成在关于所述每个断言的有效性的多个数据库资源之间的共识；从源数据库事务一贯地移动到原因数据库事务，直到每个断言被验证；在提交所述共享事务到所述全局事务序列之前，通知所述应用之一所述相关联的数据库查询被完成。

提交所述多个数据库事务的其他未提交的数据库事务到所述全局事务序列，其中所述其他未提交的数据库事务不在所述中间共享事务序列之中；多个事务序列的所述子集，系基于第一应用的所述用户之间的关系而被选择；每个用户具有与所述第一应用相关联的用户配置文件，并且其中所述多个事务序列的所述子集，系基于所述用户配置文件之间的关系而被选择。

公开的系统和方法提供通过从各种观点分层地维护在分布式数据库系统中的事务一致性控制数据库事务的同时性。分层维事务一致性确保在分布式数据库系统中的数据库事务的可串行化并从分布式数据库系统的客户端的观点提高了整体性能(如响应时间)。

本文所描述的分布式数据库系统可以由多个资源或节点组成。在一些实施例中，每个资源或节点有一个系统钟。现有技术的机制通常使用时钟和基于锁定机制控制来自资源的操作或数据库事务的交错。然而，在此描述的分布式数据库资源不依赖于他们的系统时钟，以为了串行化请求的顺序。相反，本发明的目的是基于数据库事务所依赖的潜在断言通过交错数据库事务来提高同时性。如在此所述，每个假设由断言进行控制，该断言可以用来代替锁，以允许操作的交错和增加并行性。在不同的分层观点的数据库事务的交错(或协调)增加了从分布式数据库系统的用户感知到的响应时间。

在一个实施例中，因果关系图形生成模块320生成用于指示每个数据库事务所依赖的一个或多个断言的因果关系图。例如，在一些实施例中，同时控制机制通过在事实之后检测无效使用来控制同时性。这些同时控制可分割事务的存在为读取、验证和发布阶段。在读取阶段，该机制从一个或多个关于事务所依赖的假设的潜在价值的分布式数据库资源获取假设，而不考虑那些假设的冲突或有效性。该事务序列本身和/或数据库事务历史模块可能表明一组资源和/或依赖于事务序列中的每个数据库事务的假设。在一些实施例中，断言可以是，例如，数据库键值；虽然替代配置是可能的。

数据库管理系统350的一个实施例包括断言识别/提取模块325。断言识别/提取模块325可以是能够识别和/或提取与一个或多个数据库事务相关联的断言的软件代理和/或硬件组件的任何组合。例如，断言识别/提取模块325可以处理数据库事务、事务序列，和/或数据库查询以识别和/或提取数据库事务所依赖的潜在断言。

在一个实施例中，每个数据库事务用一组数据库事务所依赖的假设进行操作。如本文中所述，假设被用断言进行控制，断言可以用来代替锁，以允许操作的交错和增加并行性。断言可以使用各种机制，例如，如本文中所描述的多版本同时控制(MVCC)机制执行一致性。数据库管理系统350的一个实施例包括共享事务序列模块330。共享事务序列模块330可以是能够维护在由数据库管理系统接收的多个事务序列的子集之间的事务一致性的软件代理和/或硬件组件的任意组合。在该示例中，共享事务序列模块330包括选择引擎332、生成引擎334、共识引擎336和调节引擎338。

在一个实施例中，选择引擎332被配置为选择多个事务序列的子集，要为其生成中间共享事务序列以连续地和异步地维护事务一致性。选择引擎332可以基于任意数量的因素选择多个事务序列的子集。例如，基于启动一个或多个事务序列的应用程序，多个事务序列的子集的一个或多个事务序列可以被选择。类似地，基于与一个或多个事务序列相关联的一个或多个客户端的地理位置，多个事务序列的子集的一个或多个事务序列可以被选择。同样地，基于与一个或多个事务序列相关联的一个或多个的多个客户端的属性，多个事务序列的子集的一个或多个事务序列可以被选择。

可替换地或另外地，基于应用程序的用户或应用程序本身之间的关系或关联，多个事务序列的子集的一个或多个事务序列可以被选择。例如，每个用户可以具有与在客户端系统上运行的应用程序相关联的用户配置文件。多个事务序列的子集可以基于用户配置文件之间的关系被选择。另外，在一些实施例中，配置文件之间的关系可基于经由应用程序的用户配置文件之间的相互作用。例如，如果线上互动游戏的两个玩家正参与在联盟中且第三用户未参与在联盟中，则与联盟中的这两个用户相关联的事务序列可以被选则。可替代地或另外地，多个事务序列的子集的一个或多个事务序列可以基于应用程序本身之间的关系或关联被选择。一个或多个事务序列可以基于用户或玩家所使用的应用程序的类型被选择。例如，如果两个用户参与在网上互动游戏中而第三用户没有参与相同在线互动游戏或第三用户参与不同的互动游戏，那么与参与互动游戏的两个用户相关联的事务序列可以被选择用于多个事务序列的子集。可选或另外地，多个事务序列的子集的一个或多个事务序列可以基于在多用户在线互动游戏的社会等级被选择。

在一个实施例中，生成引擎334被配置为生成共享事务序列，以连续地和异步地维护事务一致性。

在一个实施例中，共识引擎336被配置为获得关于每个断言的有效性的多个数据库资源之间的共识。例如，本文描述的系统和方法可以根据该CAP定理，也被称为布鲁尔定理进行操作。CAP理论指出，分布式计算机系统同时保证一致性、可用性和分区容忍性是不可能的。一致性保证了分布式数据库的所有节点在同一时间看到同一数据。可用性保证每个请求收到有关请求是否成功或失败的响应。分区容忍性保证系统继续操作，尽管任意消息丢失。根据CAP定理，分布式系统可以同时满足以上保证的任意两个，但不是所有的三个保证。

数据库系统上的某些限制维护分布式可扩展的状态，由于，至少部分的，不可靠的处理器。一个解决方案是允许共识。共识是商定一组参与者(或资源)之间的单个结果的过程。共识协议是分布式计算的状态机方法的基础。状态机方法是用于转换算法为容错的，分布式实施的技术。每一个潜在的故障必须有一种方法来处理，以及特设技术常常会留下未解决故障的重大情况。

在一些实施例中，在此描述的系统和方法使用共识协议，如，例如，Paxos算法。Paxos算法描述了用于解决不可靠处理器的网络中的共识的协议。当参加者或他们的通信媒介体验故障时，这个问题变得困难。Paxos方法提供了一种技术以确保所有的情况下被安全地处理。然而，这些情况可能仍然需要被单独编码。

Paxos协议定义了许多角色，并通过他们在协议中的角色(客户端、接受者、申请者、学习者、和领导者)描述了过程的动作。在典型的实施例中，单个处理器可以同时扮演一个或多个角色。这并不影响协议的正确性，它通常联合角色以改善在协议中的消息的延时和/或数量。Paxos协议包括处理器数量之间的权衡的频谱，在学习约定价值之前消息延迟的数量，个体参与者的活动水平，发送的消息的数量和故障的类型。然而，没有容错共识协议可以保证进展。

客户端发出请求至分布式系统，并等待响应。例如，在分布式文件服务器中的文件上的写入请求。接受者：接受者充当协议的容错“记忆”的角色。接受者被集合到称为Quorums的组。发送到接受者的任何消息必须被发送到接受者的Quorums，并且从接受者接收到的任何消息被忽略，除非副本是从Quorums中的每个接受者收到的。申请者：申请者倡导客户端请求，试图说服接受者同意，并充当调节器的角色以当发生冲突时向前推进协议。学习者：学习者充当协议的复制因子的角色。一旦客户端请求已由接受者同意，学习者可采取行动(即，执行请求同时送响应至客户端)。为了提高处理的可用性，额外的学习者可以被加入。领导者：领导者是被要求取得进步的杰出的申请者。许多过程可能会认为他们是领导者，但协议只保证进度，如果他们中的一个被最终选择。如果两个过程相信他们是领导者，可能通过不断提出冲突更新来搪塞协议。无论如何安全性能被保存。

机器或计算机可读介质的其它例子包括但不限于可记录型介质，诸如易失性和非易失性存储器设备，软盘和其它可移动磁盘，硬盘驱动器，光盘(例如，压缩盘只读只读存储器(CD ROMS)，数字多功能盘(DVD)等)，等等，以及传输型介质，诸如数字和模拟通信链路。除非上下文清楚地要求，否则遍及说明书和权利要求书，词语“包括”，“包含”等将被解释为包含的意义，而不是排他或详尽的意义，也就是就是说，在这个意义上“包括，但不限于”。如本文所用，术语“连接”，“耦合”或其任何变体，是指任何连接或耦合，无论是直接的还是间接的，两个或更多元件之间的；元件之间的连接的连接可以是物理的，逻辑的，或它们的组合。此外，“在本文中，、”单词“以上”，“以下”，以及类似含义的词语，在本申请中使用时，应指本申请的整体而非本申请的任何特定部分。如文义许可，在上述详细说明使用单数或复数的话也可以包括复数或单数分别。词语“或”，在提及的两个或多个项目的列表，包括了所有的单词的以下解释：任何在列表中的项目，所有的在列表中的项目，以及该项目的任何组合中列表。

实施例的以上详细描述并不是为了穷举或者限制本教导为以上公开的精确形式。然而，本公开的上述具体实施例和示例是用于说明的目的，各种等同修改是可能的公开内容的范围之内，因为那些相关领域技术人员将认识。例如，尽管处理或模块以给定的顺序呈现，替代实施例可以具有以下步骤执行例程或采用具有系统块，以不同的顺序，并且一些处理或模块可以被删除，移动，添加，细分，组合和/或修改，以提供替代性或子组合。这些处理或模块的每一个可以以多种不同的方式来实现。此外，尽管过程或块有时示为被串联执行，这些过程或块可以改为并行执行，或可以在不同的时间执行。进一步，本文指出的任何特定数字仅仅是示例：替代性实施方式可以采用不同的值或范围。

的公开内容的教导可以应用于其它系统，而不一定是上述系统。上面描述的各种实施例的元素和动作可以被组合以提供进一步的实施例。

任何专利和申请以及上面提到的其他参考文献，包括任何可能被列在随附的申请文件，通过引用并入本文。本公开的方面可以修改，如果需要的话，采用本系统，功能和上述参考文献的概念提供本公开的再进一步的实施例。

它的变化可根据上述详细说明被作出。虽然上述说明描述了本发明的某些实施例，并且描述所考虑的最佳模式，上述出现在文本中的无论多么详尽，本教导可以以多种方式实施。系统的细节可以在其实施细节上产生相当的变化，同时仍然包含在在此所公开的主题之中。如上所述，当描述本发明的某些特征或方面时使用的特定术语不应被认为暗示该术语在此被重新定义以被限制为任何特定特性，特征，或者与该术语相关联的本发明的方面。在一般情况下，在以下权利要求中使用的术语不应当被解释为限制本公开为在说明书中公开的具体实施例，除非上述详细说明部分明确定义了此种术语。因此，本发明的实际范围不仅包括所公开的实施例，还包括在权利要求下实现或实施的所有等同的方式。

Claims (6)

1.分布式数据库的一致性解决方法，所述方法包括：

建立分布式数据库管理系统，建立中心服务器和数据服务器；中心服务器存储与其他服务器的逻辑联系，获取数据源，并最终发布地图服务，建立中心数据库，存储用户权限信息以及整个系统的工作空间，其中又包含了与其他跨区域数据库的链接信息，然后由SuperMap IS.NET进行GIS处理分析最终由Web服务器发布，用户客户端通过桌面浏览器接收数据库中的表单包含了空间数据和属性数据，其中属性数据除了地理属性数据外还包含了分布式数据库管理系统的用户表单；基于多个数据库，查询在数据库管理系统识别多个事务序列，其中每个数据库查询指示由在所述分布式数据库中的多个客户端之一上运行的应用所启动的一个或多个数据库事务；在数据库管理系统选择所述多个事务序列的子集；以及在数据库管理系统生成中间共享事务序列以连续地维护在所述多个事务序列的所述子集之间的事务的一致性，其中在所述中间共享事务序列中维护的中间共享事务随后被用于，经由对于遍及所述分布式数据库的多个资源进行复制的全局事务序列来实现全局事务一致性。

2.如权利要求1所述的分布式数据库的一致性解决方法，进一步包括：对于遍及所述分布式数据库的所述多个资源，复制所述全局事务序列；所述应用之一的所述观点指示数据库事务的因果历史；中间共享事务序列，其中维护所述中间共享事务序列包含异步地协调所述多个事务序列的所述子集到所述中间共享事务序列；每个数据库事务包括一个或多个断言，以及协调所述多个事务序列的所述子集到所述中间共享事务序列包括确定所述每个断言的有效性；从源事务一贯地移动到原因事务，直到每个断言被验证；中间共享事务序列代表如从在所述多个客户端的两个或更多的客户端上操作的两个或更多的应用所感知的观点共享点。

3.如权利要求1所述的分布式数据库的一致性解决方法，其中所述多个事务序列的所述子集的一个或多个事务序列，系基于由一个或多个事务序列启动的所述应用而被选择；多个事务序列的所述子集的一个或多个事务序列，系基于与所述一个或多个事务序列相关联的一个或多个客户端的地理位置而被选择；多个事务序列的所述子集的一个或多个事务序列，系基于与所述一个或多个事务序列相关联的一个或多个客户端的属性而被选择。

4.如权利要求1所述的分布式数据库的一致性解决方法，进一步包括：

提交在所述中间共享事务序列中的所述共享事务以维护所述全局事务序列，其中提交所述共享事务到所述全局事务序列包括用在所述分布式数据库中的其他数据库事务，协调在所述中间共享事务序列中的一个或多个的所述共享事务。

5.如权利要求1所述的分布式数据库的一致性解决方法，其中，每个数据库事务包括一个或多个断言，以及协调包括达成在关于所述每个断言的有效性的多个数据库资源之间的共识；从源数据库事务一贯地移动到原因数据库事务，直到每个断言被验证；在提交所述共享事务到所述全局事务序列之前，通知所述应用之一所述相关联的数据库查询被完成。

6.如权利要求1所述的分布式数据库的一致性解决方法，进一步包括：

提交所述多个数据库事务的其他未提交的数据库事务到所述全局事务序列，其中所述其他未提交的数据库事务不在所述中间共享事务序列之中；多个事务序列的所述子集，系基于第一应用的所述用户之间的关系而被选择；每个用户具有与所述第一应用相关联的用户配置文件，并且其中所述多个事务序列的所述子集，系基于所述用户配置文件之间的关系而被选择。