CN110807039A - 一种云计算环境下数据一致性维护系统及方法 - Google Patents

Abstract

本发明涉及一种云计算环境下数据一致性维护系统及方法。本发明的云计算环境下数据一致性维护系统及方法，通过数据复制子系统将数据拷贝成多个数据副本，然后再通过数据库子系统将多个数据副本储存在不同的存储节点，一旦某单个存储节点出现宕机时，可以从其他存储节点调取数据副本以响应用户的请求，确保了数据的可用性和系统的可靠性，并且通过一致性维护子系统对整个集群系统数据的一致性进行维护管理，确保了所有的数据副本之间的一致性，从而可以快速地响应用户的访问请求。

Description

一种云计算环境下数据一致性维护系统及方法

技术领域

本发明涉及云计算技术领域，尤其涉及一种云计算环境下数据一致性维护系统及方法。

背景技术

云计算技术中包含了当前互联网技术中的很多技术，其核心技术是虚拟化技术，以互联网为基础，将互联网中的各种资源虚拟化到一个虚拟资源共享池中，对用户提供按需服务。云计算是对海量数据和资源的处理，对大规模的数据及多样化的用户提供多样化的应用服务。

但是，现有的云计算资源调度方法大多是面向虚拟机这一层级上的调度，而对云存储系统中副本资源调度的研究却相对较少，并且云存储系统中副本数量的增加同时也对副本一致性的维护带来了挑战，如何更快速地响应文件的请求和提高系统的整体的服务质量，是数据一致性维护必须要考虑的问题。

发明内容

本发明所要解决的技术问题在于，提供一种云计算环境下数据一致性维护系统及方法，以更快速地响应文件的请求，提高系统的整体服务质量。

为了解决上述技术问题，本发明提供一种云计算环境下数据一致性维护系统，包括：

数据复制子系统，用于将数据拷贝成多个相同的数据副本；

数据库子系统，用于将所述数据复制子系统拷贝的多个数据副本存储在不同的节点；

一致性管理子系统，用于对整个集群系统数据的一致性进行维护管理；

分发器模块，用于在通过网络传输数据副本时负责选取合适的网络接口传输数据副本以响应用户的访问请求；

所述数据库子系统分别与所述数据复制子系统和所述一致性管理子系统连接，所述分发器模块与所述一致性管理子系统连接。

其中，所述数据复制子系统采用同步复制模式或异步复制模式来对数据进行复制。

其中，所述数据库子系统包括：

数据库，用于保存数据副本；

数据变化日志模块，用于在数据副本发生写操作时以日志的方式进行记录。

其中，所述数据库包括多个存储节点，每个存储节点均可用于存储数据副本，每个所述存储节点均设置了本地数据库、数据发送管理单元和数据接收管理单元，所述数据接收管理单元负责接收来自其他存储节点的同步数据并更新本地数据库中存储的文件内容，本地数据库将需要复制到别的储存节点的数据发送至所述数据发送管理单元，由所述数据发送管理单元将数据同步传输至其它存储节点。

其中，所述一致性管理子系统包括：

副本监控模块，用于对存储的数据副本的状态进行监控，当数据副本发生读写操作时，监控所述数据副本的状态；

一致性维护模块，用于在所述数据副本发生写操作之后对整个集群系统数据的一致性进行维护管理；

事务日志模块，用于以日志的方式记录所述副本监控模块监测到的数据副本的状态和所述一致性维护模块进行维护管理的过程。

其中，所述数据复制子系统还用于在每个存储节点管理数据副本的过程中定义副本的访问队列及访问等待队列，并初始化访问队列的长度，每当有访问请求则将请求加入访问队列，当请求访问结束之后将该访问移除；当某个数据副本的访问队列被访问请求占满时，新来的访问请求则被添加到访问等待队列中，当访问等待队列中的访问请求时间超过了设定的时间阈值后对该数据副本创建新的副本，并通过转发访问等待队列中的访问请求至新建的数据副本来分担本节点接收到的对该文件的请求。

其中，所述数据复制子系统还根据其最大并发数、事务频率、增长率以及可用性要求来决定数据副本的创建数量。

其中，所述一致性维护模块首先根据时间戳标签确定两个数据副本的版本是否相同，若两个数据副本的版本不同，则对两个数据副本的文件块按照约定的大小进行划分并计算强弱校验和，再通过比较两个数据副本的文件块的强弱校验和来判断出两个数据副本的差异数据，针对差异数据进行同步更新操作。

本发明还提供一种云计算环境下数据一致性维护方法，采用如所述的云计算环境下数据一致性维护系统，所述云计算环境下数据一致性维护方法包括以下步骤：

步骤S1：将数据拷贝成多个相同的数据副本；

步骤S2：将拷贝的多个副本储存在不同的存储节点；

步骤S3：对整个集群系统数据的一致性进行维护管理；

步骤S4：选取合适的网络接口传输数据副本以响应用户的访问请求。

其中，所述步骤S3具体包括以下步骤：

步骤S31：根据时间戳标签确定两个数据副本的版本是否相同，若两个数据副本的版本不同则转入下一步骤；

步骤S32：对两个数据副本的文件块按照约定的大小进行划分并计算强弱校验和；

步骤S33：比较两个数据副本的文件块的强弱校验和以判断出两个数据副本的差异数据；

步骤S34：对差异数据进行同步更新。

本发明实施例的有益效果在于，通过数据复制子系统将数据拷贝成多个数据副本，然后再通过数据库子系统将多个数据副本储存在不同的存储节点，一旦某单个存储节点出现宕机时，可以从其他存储节点调取数据副本以响应用户的请求，确保了数据的可用性和系统的可靠性，并且通过一致性维护子系统对整个集群系统数据的一致性进行维护管理，确保了所有的数据副本之间的一致性，从而可以快速地响应用户的访问请求。

另外，还通过比对强弱校验和的方式查找出两个数据副本之间的差异数据，然后只针对差异数据进行同步更新操作，既能节约副本同步过程中网络带宽的占用，同时减少了文件同步传输的时间，更快速地响应文件的请求，提高系统的整体的服务质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一一种云计算环境下数据一致性维护系统的模块连接结构示意图。

图2是本发明实施例一中的数据库子系统的模块结构示意图。

图3是本发明实施例一中的数据库包含的每个存储节点的模块结构示意图。

图4是本发明实施例一中的一致性管理子系统的模块结构示意图。

图5是本发明实施例二一种云计算环境下数据一致性维护方法的流程示意图。

图6是本发明实施例二中的步骤S3的子流程示意图。

具体实施方式

以下各实施例的说明是参考附图，用以示例本发明可以用以实施的特定实施例。

请参照图1所示，本发明实施例一提供一种云计算环境下数据一致性维护系统，用于对数据副本的一致性进行维护，所述云计算环境下数据一致性维护系统包括：

数据复制子系统11：用于将数据拷贝成多个相同的数据副本，数据复制子系统11将数据副本存储多份能够保证系统的可靠性，同时对于数据修复也有一定的帮助，一旦有存储节点发生宕机，其他存储了该数据的节点可以提供服务，而且因为宕机对文件造成了损坏，还可以从其他的节点恢复数据。

数据库子系统12：用于将所述数据复制子系统11拷贝的多个数据副本存储在不同的节点，如图2所示，所述数据库子系统12包括数据库121和数据变化日志模块122，所述数据库121用于保存数据副本，所述数据变化日志模块122用于在数据副本发生写操作时以日志的方式进行记录。另外，所述数据库121包括多个存储节点1211，每个存储节点1211均可用于存储数据副本，具体地，如图3所示，每个所述存储节点1211均设置了必备的本地数据库1214，另外还包含一个数据发送管理单元1212和数据接收管理单元1213，所述数据接收管理单元1213负责接收来自其他节点的同步数据并更新本地数据库1214中存储的文件内容，本地数据库1214会将需要复制到别的储存节点1211的数据发送至所述数据发送管理单元1212，由所述数据发送管理单元1212将数据同步传输至其它存储节点1211。

一致性管理子系统13：用于对整个集群系统数据的一致性进行维护管理，如图4所示，所述一致性管理子系统13包括副本监控模块131、事务日志模块132、一致性维护模块133，所述副本监控模块131用于对存储的数据副本的状态进行监控，当数据副本发生读写操作时，由所述副本监控模块131时刻监控着数据副本的状态，保证数据的可用性，所述一致性维护模块133用于在数据副本发生写操作之后对整个集群系统数据的一致性进行维护管理，所述事务日志模块132用于以日志的方式记录所述副本监控模块131监测到的数据副本的状态和数据副本发生写操作之后对整个集群系统数据的一致性进行维护管理的过程。其中，所述一致性维护模块133采用校验值计算的方法来判断副本的差异数据，通过同步差异数据来完成数据副本的一致性维护。

分发器模块14：用于在通过网络传输数据副本时负责选取合适的网络接口传输数据副本以响应用户的访问请求。

其中，所述数据复制子系统11可以采用同步复制模式或异步复制模式来对数据进行复制。其中，同步复制模式是指在原始数据发生变化之后，需要同时在系统中对所有的数据副本做同步更新操作，这样的复制模式能够保证数据副本的强一致性，但需要各存储节点之间频繁的通信来保证副本能在第一时间做出更新操作，因为所有的副本更新是同时进行的，所以一旦出现外界因素诸如断电、断网等因素，事务的操作是不可逆的，将会对数据副本造成不可违背的操作。虽然这样的复制模式能够很好的保证数据副本的强一致性，但是当出现故障时带来的写操作的阻塞也使得系统可用性得不到满足，从而降低了系统的服务性能。而异步复制模式对数据同步的强一致性要求没有那么高，可以允许数据在一定时间内完成同步操作，这样对节点间的通信频率要求就降低了很多，异步复制模式的弊端也是很明显的，对于同样的文件请求，系统做出的报告有可能因为是在数据同步前后而导致结果完全不一致。所以在需要同步数据副本时，系统不得不停止向用户提供服务，从增加了系统响应用户请求的时间。本实施例优选采用异步复制模式。

可以理解，所述数据库子系统12可以采用静态副本管理方法、动态副本管理方法、集中式副本管理方法和分布式副本管理方法中的任一种对拷贝的数据副本进行管理。其中，所述静态副本管理方法在文件存入系统开始就对文件按照配置的方法放置在系统中的存储节点，一旦存储完毕，副本的位置就一直存储在该存储节点。其他节点服务的用户需要访问该数据时需要把请求转发到该存储节点，不会对文件进行复制到本地的操作，这样虽然对副本的管理带来了便利，但是也很大的限制了系统的高可用性。所述动态副本管理方法是指在文件存入系统初期，先是按照固定的副本放置方法将文件存储在系统中之后，随着用户访问量的不断变化，文件的受欢迎程度也在不断的变化着，副本的放置位置会根据系统中用户请求的变化而改变存储位置，这样能更好的适应用户的各类请求，并不是盲目的改变文件存储的位置，既要保证文件的可用性和可靠性，还要利用合理的副本放置方法来减少因为复制副本带来的网络带宽的占用，以此来提高系统的性能。所述集中式副本管理方法采用的是索引节点方法，将数据副本的元数据信息固定的放置一个节点上，用户请求访问数据时限通过查找元数据信息，确定数据副本放置在哪些节点上，然后选取合适的节点发起访问请求。这样的管理方法的优点是对系统中存储的所有数据都完整的掌控，知晓系统中所有副本的信息，能快速的对系统中文件位置进行定位，相对应的缺点也是很突出，系统中存储的文件越来越多，中心节点因为存储了所有文件的元数据信息而负载越来越大，并且单点故障问题也是不可避免的，对系统的性能有一定的限制。所述分布式副本管理方法是比较分散的管理模式，是一种无中心节点的架构体系，系统中的各个节点独自管理所存储的副本，节点之间通过通信来完成信息的共享，维护各自的信息表来查找其他节点存储的文件。这样的模式对系统性能没有限制，但是节点之间通过频繁的通信以维护整个系统中的副本管理会带来很多的通信代价的消耗，分布式副本管理方法将存储服务的管理任务都分发到各个存储节点，同时也需要很多的计算资源。

可以理解，作为优选的，所述数据复制子系统11还用于在每个存储节点1211管理数据副本的过程中定义副本的访问队列及访问等待队列。初始化访问队列的长度，每当有访问请求则将请求加入访问队列，当请求访问结束之后将该访问移除。当某个数据副本的访问队列被访问请求占满时，新来的访问请求则被添加到访问等待队列中。访问等待队列中的访问请求不会一直等待该数据副本的访问队列中某个在服务的请求结束，一旦超过了设定的时间阈值T后决定需要对该数据副本创建新的副本，通过转发访问等待队列中的访问请求至新建的数据副本来分担本节点接收到的对该文件的请求。这样就不会导致系统出现访问请求在等待队列中一直等待到被响应为止。另外，所述数据复制子系统11还根据其最大并发数、事务频率、增长率以及可用性要求来决定数据副本的创建数量，其中，对于任何数据副本至少创建一份副本，这样当副本节点不可用时可以将用户故障转移到该副本节点来提供服务。另外，为了保证数据的高可用性，创建多个数据副本是必要的，针对不同的数据创建不同的副本个数，重要的数据创建多个副本来提高可用性，不重要的数据创建少数个副本来减少资源的占用。

可以理解，所述一致性维护模块1123可以有效的降低网络带宽的占用的同时减少数据副本响应等待时间。当用户访问之后对数据副本执行了写操作后需要将该副本向其他所有存储了该数据副本的节点进行副本同步操作，其它的存储节点1211会对数据副本添加时间戳标签用来区分数据副本的不同版本，其它的存储节点1211在接收到来自其他存储节点1211的数据同步请求消息之后，对比被同步的数据副本的版本信息后确定是否需要进行同步操作。具体地，所述一致性维护模块1123首先根据时间戳标签确定两个数据副本的版本是否相同，若两个数据副本的版本不同，则对两个数据副本的文件块按照约定的大小进行划分并计算强弱校验和，再通过比较两个数据副本的文件块的强弱校验和来判断出两个数据副本的差异数据，同步过程中只需要将差异部分进行同步操作。这样的同步方式既能节约副本同步过程中网络带宽的占用，同时减少了文件同步传输的时间，更快速的响应文件的请求，提高系统的整体的服务质量。假设存储节点A向存储节点B发送数据同步更新请求，两个节点分别存储了数据副本的不同版本。假设节点A存储的副本内容为abcdefgabcdefg，节点B存储的副本内容为gfabcdegfabcde。文件同步的流程如下：存储节点A先对文件按照约定大小分割之后计算Adler32弱校验和，然后再计算MD5强校验和的结果；计算完毕之后存储节点A将结果发送至存储节点B，存储节点B同样计算文件块的强校验和与弱校验和，对比两个文件块的强弱校验和从而得出两个存储节点存储的副本之间的差异数据。存储节点B将差异数据发送至存储节点A，存储节点A再将差异数据在文件中的索引信息发送至存储节点B完成副本之间的同步。

另外，本发明人还尝试采用基于分布式锁的数据副本一致性方案，能够很好的保证副本的强一致性，但是，由于其以分布锁机制为基础，这样的方式会占用大量网络带宽，在写概率发生率比较高的情况下网络带宽占用更多，系统性能降低比较明显。本发明人还尝试采用基于懒拷贝的协议的数据一致性方案，其是副本在用户访问该副本时才会做更新操作，虽然可以节省网络带宽，但是带来了访问延迟的问题。基于快拷贝的协议能保证数据副本发生变化即向所有的副本发出更新操作，能时刻保证系统中所有的数据副本都是一致的，很好的保证了副本的一致性，但是会浪费很多的网络带宽。本发明通过采用比对强弱校验和的方式查找出两个数据副本之间的差异数据，然后只针对差异数据进行同步更新操作，既能节约副本同步过程中网络带宽的占用，同时减少了文件同步传输的时间，更快速的响应文件的请求，提高系统的整体的服务质量，从而弥补了所述数据复制子系统11由于采用异步更新模式带来的增加系统响应用户请求的时间的缺点。

另外，如图5所示，本发明实施例二还提供一种云计算环境下数据一致性维护方法，其优选采用如本发明实施例一的云计算环境下数据一致性维护系统，所述云计算环境下数据一致性维护方法包括以下步骤：

步骤S1：将数据拷贝成多个相同的数据副本；

步骤S2：将拷贝的多个副本储存在不同的存储节点；

步骤S3：对整个集群系统数据的一致性进行维护管理；

步骤S4：选取合适的网络接口传输数据副本以响应用户的访问请求。

其中，所述步骤S1中可以采用同步复制模式或者异步复制模式，优选采用异步复制模式。

可以理解，所述步骤S2采用静态副本管理方法、动态副本管理方法、集中式副本管理方法和分布式副本管理方法中的任一种对拷贝的数据副本进行管理。

其中，如图6所示，所述步骤S3具体包括以下步骤：

步骤S31：根据时间戳标签确定两个数据副本的版本是否相同，若两个数据副本的版本不同则转入下一步骤；

步骤S32：对两个数据副本的文件块按照约定的大小进行划分并计算强弱校验和；

步骤S33：比较两个数据副本的文件块的强弱校验和以判断出两个数据副本的差异数据；

步骤S34：对差异数据进行同步更新。

通过上述说明可知，本发明实施例的有益效果在于，通过数据复制子系统将数据拷贝成多个数据副本，然后再通过数据库子系统将多个数据副本储存在不同的存储节点，一旦某单个存储节点出现宕机时，可以从其他存储节点调取数据副本以响应用户的请求，确保了数据的可用性和系统的可靠性，并且通过一致性维护子系统对整个集群系统数据的一致性进行维护管理，确保了所有的数据副本之间的一致性，从而可以快速地响应用户的访问请求。

另外，还通过比对强弱校验和的方式查找出两个数据副本之间的差异数据，然后只针对差异数据进行同步更新操作，既能节约副本同步过程中网络带宽的占用，同时减少了文件同步传输的时间，更快速地响应文件的请求，提高系统的整体的服务质量。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种云计算环境下数据一致性维护系统，其特征在于，包括：

数据复制子系统，用于将数据拷贝成多个相同的数据副本；

数据库子系统，用于将所述数据复制子系统拷贝的多个数据副本存储在不同的节点；

一致性管理子系统，用于对整个集群系统数据的一致性进行维护管理；

分发器模块，用于在通过网络传输数据副本时负责选取合适的网络接口传输数据副本以响应用户的访问请求；

所述数据库子系统分别与所述数据复制子系统和所述一致性管理子系统连接，所述分发器模块与所述一致性管理子系统连接。

2.根据权利要求1所述的云计算环境下数据一致性维护系统，其特征在于，所述数据复制子系统采用同步复制模式或异步复制模式来对数据进行复制。

3.根据权利要求1所述的云计算环境下数据一致性维护系统，其特征在于，所述数据库子系统包括：

数据库，用于保存数据副本；

数据变化日志模块，用于在数据副本发生写操作时以日志的方式进行记录。

4.根据权利要求3所述的云计算环境下数据一致性维护系统，其特征在于，所述数据库包括多个存储节点，每个存储节点均可用于存储数据副本，每个所述存储节点均设置了本地数据库、数据发送管理单元和数据接收管理单元，所述数据接收管理单元负责接收来自其他存储节点的同步数据并更新本地数据库中存储的文件内容，本地数据库将需要复制到别的储存节点的数据发送至所述数据发送管理单元，由所述数据发送管理单元将数据同步传输至其它存储节点。

5.根据权利要求1所述的云计算环境下数据一致性维护系统，其特征在于，所述一致性管理子系统包括：

副本监控模块，用于对存储的数据副本的状态进行监控，当数据副本发生读写操作时，监控所述数据副本的状态；

一致性维护模块，用于在所述数据副本发生写操作之后对整个集群系统数据的一致性进行维护管理；

事务日志模块，用于以日志的方式记录所述副本监控模块监测到的数据副本的状态和所述一致性维护模块进行维护管理的过程。

6.根据权利要求4所述的云计算环境下数据一致性维护系统，其特征在于，所述数据复制子系统还用于在每个存储节点管理数据副本的过程中定义副本的访问队列及访问等待队列，并初始化访问队列的长度，每当有访问请求则将请求加入访问队列，当请求访问结束之后将该访问移除；当某个数据副本的访问队列被访问请求占满时，新来的访问请求则被添加到访问等待队列中，当访问等待队列中的访问请求时间超过了设定的时间阈值后对该数据副本创建新的副本，并通过转发访问等待队列中的访问请求至新建的数据副本来分担本节点接收到的对该文件的请求。

7.根据权利要求6所述的云计算环境下数据一致性维护系统，其特征在于，所述数据复制子系统还根据其最大并发数、事务频率、增长率以及可用性要求来决定数据副本的创建数量。

8.根据权利要求5所述的云计算环境下数据一致性维护系统，其特征在于，所述一致性维护模块首先根据时间戳标签确定两个数据副本的版本是否相同，若两个数据副本的版本不同，则对两个数据副本的文件块按照约定的大小进行划分并计算强弱校验和，再通过比较两个数据副本的文件块的强弱校验和来判断出两个数据副本的差异数据，针对差异数据进行同步更新操作。

9.一种云计算环境下数据一致性维护方法，采用如权利要求1～8任一项所述的云计算环境下数据一致性维护系统，其特征在于，所述云计算环境下数据一致性维护方法包括以下步骤：

步骤S1：将数据拷贝成多个相同的数据副本；

步骤S2：将拷贝的多个副本储存在不同的存储节点；

步骤S3：对整个集群系统数据的一致性进行维护管理；

步骤S4：选取合适的网络接口传输数据副本以响应用户的访问请求。

10.根据权利要求9所述的云计算环境下数据一致性维护方法，其特征在于，所述步骤S3具体包括以下步骤：

步骤S31：根据时间戳标签确定两个数据副本的版本是否相同，若两个数据副本的版本不同则转入下一步骤；

步骤S32：对两个数据副本的文件块按照约定的大小进行划分并计算强弱校验和；

步骤S33：比较两个数据副本的文件块的强弱校验和以判断出两个数据副本的差异数据；

步骤S34：对差异数据进行同步更新。

Images