CN109582658A - 一种分布式文件系统实现数据一致性的方法及装置 - Google Patents

Abstract

本发明公开了一种分布式文件系统实现数据一致性的方法，应用于客户端，能响应对目标数据的操作请求，获取目标数据的一致性模式，获取目标数据的锁，再将目标数据拷贝到非易失性内存，并根据上层应用对目标数据的编辑操作生成操作日志，以便于根据操作日志更新分布式文件系统中目标数据。可见，该方法利用非易失性内存作为客户端的缓存，不需要等待数据写回数据存储设备，降低了数据访问延时，还能实现按照字节对数据进行读写，设置粒度为字节级的锁，允许客户端修改单个或多个字节的数据，提升了数据一致性的执行效率。此外，本发明还提供了一种分布式文件系统实现数据一致性的装置、客户端及分布式文件系统，其作用与上述方法相对应。

Description

一种分布式文件系统实现数据一致性的方法及装置

技术领域

本发明涉及存储领域，特别涉及一种分布式文件系统实现数据一致性的方法、装置、客户端及分布式文件系统。

背景技术

分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统一般由数据存储设备、元数据服务器、以及客户端组成。

目前，一方面，随着处理器和存储器之间性能差距越来越大，特别是处理器和外存之间的巨大差距使得I/O瓶颈问题日益突出，例如当前客户端一般将动态随机存取存储器作为缓存，由于该存储器具有易失性的特点，因此需要在上层应用结束前将修改的数据写入数据存储设备，才能保证数据的一致性，这使得数据访问延时较高，甚至存在丢失数据的可能。

另一方面，当客户端访问数据存储设备上的文件时，由于动态随机存取存储器是按块对数据进行访问，因此即便客户端需要修改的只是文件中的单个字节，也需要获取整个数据块，降低了数据修改、更新的速度。另外，这种情况下，当多个客户端都请求修改某个文件，但是修改的是该文件中不同的字节，也需要逐个处理各个客户端的修改请求，导致分布式文件系统实现数据一致性的效率非常低。

可见，由于传统的分布式文件系统中的客户端缓存具有易失性和按块访问数据的特点，导致分布式文件系统实现数据一致性的执行效率和可靠性均比较低。

发明内容

本发明的目的是提供一种分布式文件系统实现数据一致性的方法、装置、客户端及分布式文件系统，用以解决传统的分布式文件系统中的客户端缓存具有易失性和按块访问数据的特点，导致分布式文件系统实现数据一致性的执行效率和可靠性均比较低的问题。

为解决上述技术问题，本发明提供了一种分布式文件系统实现数据一致性的方法，应用于客户端，所述方法包括：

响应于对分布式文件系统中的目标数据的操作请求，获取所述目标数据的一致性模式；

获取并占有所述目标数据的锁，其中，所述锁与所述目标数据的一致性模式相对应，所述锁的锁粒度为文件级或字节级；

将所述分布式文件系统中的目标数据拷贝到非易失性内存，并根据上层应用对所述目标数据的编辑操作，在所述非易失性内存中生成操作日志，以便于所述分布式文件系统根据所述操作日志对所述分布式文件系统中的目标数据进行更新。

可选的，所述获取并占有所述目标数据的锁，其中，所述锁与所述目标数据的一致性模式相对应，包括：

当所述目标数据的一致性模式为强一致性模式，获取并占有所述目标数据的互斥锁；

当所述目标数据的一致性模式为弱一致性模式，获取并占有所述目标数据的非互斥锁。

可选的，在所述当所述目标数据的一致性模式为强一致性模式，获取并占有所述目标数据的互斥锁之后，还包括：

若所述目标数据的一致性模式由强一致性模式变更为弱一致性模式，销毁已占有的互斥锁，重新获取并占有所述目标数据的非互斥锁。

可选的，所述分布式文件系统包括元数据服务器和数据存储设备；

所述将所述分布式文件系统中的目标数据拷贝到非易失性内存，包括：

从所述元数据服务器获取所述目标数据的元数据；

根据所述元数据确定所述目标数据在所述数据存储设备中的地址信息，并将所述目标数据从所述数据存储设备拷贝到所述非易失性内存。

可选的，所述编辑操作包括以下任意一项或多项：删除操作、修改操作、写入操作。

相应的，本发明还提供了一种分布式文件系统实现数据一致性的装置，应用于客户端，所述装置包括：

一致性模式获取模块：用于响应于对分布式文件系统中的目标数据的操作请求，获取所述目标数据的一致性模式；

锁获取模块：用于获取并占有所述目标数据的锁，其中，所述锁与所述目标数据的一致性模式相对应，所述锁的锁粒度为文件级或字节级；

操作日志生成模块：用于将所述分布式文件系统中的目标数据拷贝到非易失性内存，并根据上层应用对所述目标数据的编辑操作，在所述非易失性内存中生成操作日志，以便于所述分布式文件系统根据所述操作日志对所述分布式文件系统中的目标数据进行更新。

可选的，所述锁获取模块包括：

第一锁获取单元：用于当所述目标数据的一致性模式为强一致性模式，获取并占有所述目标数据的互斥锁；

第二锁获取单元：用于当所述目标数据的一致性模式为弱一致性模式，获取并占有所述目标数据的非互斥锁。

可选的，所述装置还包括：

模式变更模块：用于若所述目标数据的一致性模式由强一致性模式变更为弱一致性模式，销毁已占有的互斥锁，重新获取并占有所述目标数据的非互斥锁。

此外，本发明还提供了一种客户端，应用于分布式文件系统，所述客户端包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序，以实现如上所述的一种分布式文件系统实现数据一致性的方法的步骤。

最后，本发明还提供了一种分布式文件系统，包括元数据服务器、数据存储设备，还包括多个如上所述的一种客户端。

本发明所提供的一种分布式文件系统实现数据一致性的方法，应用于客户端，能够响应于对分布式文件系统中的目标数据的操作请求，获取目标数据的一致性模式，然后获取并占有目标数据的锁，再将目标数据拷贝到非易失性内存，并根据上层应用对目标数据的编辑操作，在非易失性内存中生成操作日志，以便于后续根据操作日志更新分布式文件系统中的目标数据。可见，该方法利用非易失性内存作为客户端的缓存，因此上层应用不需要等待数据写回数据存储设备，降低了数据访问延时，避免了丢失数据的问题，此外能够实现按照字节对数据进行读写，并设置粒度为字节级的锁，允许客户端修改单个或多个字节的数据，提升了分布式文件系统中数据一致性的执行效率。

此外，本发明还提供了一种分布式文件系统实现数据一致性的装置、客户端及分布式文件系统，其作用与上述方法相对应，这里不再赘述。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的一种分布式文件系统实现数据一致性的方法实施例一的实现流程图；

图2为本发明所提供的一种分布式文件系统实现数据一致性的方法实施例一中的访问过程示意图；

图3为本发明所提供的一种分布式文件系统实现数据一致性的装置实施例的功能框图；

图4为本发明所提供的一种客户端实施例的结构框图；

图5为本发明所提供的一种分布式文件系统实施例的结构示意图。

具体实施方式

本发明的核心是提供一种分布式文件系统实现数据一致性的方法、装置、客户端及分布式文件系统，降低了数据访问延时，提升了分布式文件系统中数据一致性的可靠性和执行效率。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面对本发明提供的一种分布式文件系统实现数据一致性的方法实施例一进行介绍，参见图1，实施例一包括：

步骤S101：响应于对分布式文件系统中的目标数据的操作请求，获取所述目标数据的一致性模式。

如图2所示，分布式文件系统主要由数据存储设备、元数据服务器、以及客户端组成，其中，数据存储设备用于存储数据，元数据服务器用于存储上述数据存储设备中数据的属性信息，客户端用于对数据存储设备上的数据进行读写。具体的，客户端中存在用于访问分布式文件系统中的数据的访问接口，客户端中的上层应用可以通过该访问接口来访问分布式文件系统中的数据。

上述操作请求是指客户端发出的用于请求访问或修改分布式文件系统中的目标数据的请求，上述目标数据指的是被请求的数据，目标数据的大小可能是一整个文件，也可能是一个或多个字节。

本实施例中，目标数据的一致性模式包括但不限于强一致性模式和弱一致性模式，具体的，当目标数据为强一致性模式，则表明该目标数据在同一时间最多允许一个客户端进行访问，当目标数据为弱一致模式，则表明该目标数据在同一时间允许多个客户端同时进行访问。

步骤S102：获取并占有所述目标数据的锁，其中，所述锁与所述目标数据的一致性模式相对应，所述锁的锁粒度为文件级或字节级。

上述锁即分布式锁，采用分布式锁可以实现分布式文件系统的数据一致性，其原理主要为：在对目标数据进行编辑操作之前需要先获取操作许可，也就是上述锁，只有持有锁的客户端才能够对目标数据执行编辑操作。

上述锁的粒度大小与上述目标数据的大小相对应，如上所述，上述目标数据可以为一整个文件，还可以为一个或多个字节，本实施例中，为文件大小的数据设置的锁被称为文件锁，为单个字节大小的数据设置的锁被称为字节锁，为多个字节大小的数据设置的锁被称为范围锁。

作为一种可选的实施方式，在本实施例中，锁可以分为以下两类：互斥锁和非互斥锁。具体的，对于一致性模式为强一致性模式的目标数据，预先为其设置互斥锁，当客户端需要访问该目标数据时，需要先获取并占有该目标数据的互斥锁；相应的，对于一致性模式为弱一致性模式的目标数据，预先为其设置非互斥锁，当客户端需要访问该目标数据，则需要获取并占有该目标数据的非互斥锁。这里需要说明的是，一般情况下，对于同一文件下各个字节的锁类型需要保持相同。

步骤S103：将所述分布式文件系统中的目标数据拷贝到非易失性内存，并根据上层应用对所述目标数据的编辑操作，在所述非易失性内存中生成操作日志，以便于所述分布式文件系统根据所述操作日志对所述分布式文件系统中的目标数据进行更新。

具体的，如图2所示，当客户端请求访问目标数据，首先需要先向元数据服务器发送请求，从元数据服务器获取所述目标数据的元数据，然后根据元数据确定目标数据在数据存储设备中的地址信息，再向数据存储设备发送请求，最终将目标数据从数据存储设备拷贝到客户端。

上述非易失性内存具备非易失性、读写速度快、支持字节访问和修改的特点，具体可以为PCM、FRAM、MRAM等。上述编辑操作包括以下任意一项或多项：删除操作、修改操作、写入操作。

如上所述，由于非易失性内存具备非易失性的特点，因此，当客户端根据上层应用对目标数据的编辑操作生成操作日志之后，上层应用就可以结束，后续分布式文件系统可以调用写回线程在合适的时机将非易失性内存中的数据写回数据存储设备，也就是根据操作日志修改数据存储设备上的数据。

另外，目标数据的一致性模式并非固定不变的，在客户端对数据进行访问的过程中，数据的一致性模式可能会发生变化。具体的，若目标数据的一致性模式由强一致性模式变更为弱一致性模式，那么，客户端可以销毁已占有的互斥锁，然后重新获取并占有目标数据的非互斥锁；若目标数据的一致性模式由弱一致性模式变更为强一致性模式，那么，客户端可以销毁已占有的非互斥锁，然后重新获取并占有目标数据的互斥锁。

经过步骤S103之后，需要释放分布式锁，需要注意的是，对不同一致性模式的数据进行操作的客户端释放锁的时间不相同，具体在何时释放锁，下面会进行介绍，这里不再详细描述。

本实施例所提供一种分布式文件系统实现数据一致性的方法，应用于客户端，能够响应于对分布式文件系统中的目标数据的操作请求，获取目标数据的一致性模式，然后获取并占有目标数据的锁，再将目标数据拷贝到非易失性内存，并根据上层应用对目标数据的编辑操作，在非易失性内存中生成操作日志，以便于后续根据操作日志更新分布式文件系统中的目标数据。可见，该方法利用非易失性内存作为客户端的缓存，因此上层应用不需要等待数据写回数据存储设备，降低了数据访问延时，避免了丢失数据的问题，此外能够实现按照字节对数据进行读写，并设置粒度为字节级的锁，提升了分布式文件系统中数据一致性的执行效率。

需要说明的是，在客户端访问数据存储设备上的数据之前，需要进行一些配置工作：例如，预先设置各个文件的一致性模式，然后，需要为该文件分配锁，具体可以为整个文件分配一个文件锁，也可以为该文件中的某些字节分配字节锁或范围锁等等。

下面对配置后的操作请求的处理过程进行详尽的描述：

如上所述，数据一致性可以根据实际需求来进行选择，能够选择强一致性和弱一致性两种不同的一致性方法，并且可以实现两种一致性方法的切换。选择强一致性时，客户端对数据进行修改后，要保证操作日志落盘，元数据同步修改，此外如果该数据存在多个副本，要保证各个副本都写入后才能返回，也就是，要保证各个副本均写入修改后的数据，才能够释放互斥锁。如果选择弱一致性，客户端收到写操作或者修改操作后，根据操作生成操作日志，修改后的数据写入缓冲区，如果该数据存在多个副本，则将写或者修改请求由发送给存储其他副本的数据服务器，此时不需要等待其他副本落盘，只需写入缓冲区，且前述两步完成后就可以返回，不需要等待所有副本的完整写入信息，即可释放非互斥锁。

对于弱一致性数据的读操作：当数据读操作到来时，查找管理该数据元数据的元数据服务器，只要找到一个缓存了该数据元数据的元数据服务器，就可以将该元数据服务器缓存的元数据返回给用户，该元数据信息包含了数据的属性信息。客户端获取到元数据信息后，查找允许的操作，如果允许读，则计算出数据的位置，然后获取数据信息。该数据可以是多个副本中的任意一个，而且不需要多个副本数据保持一直的状态。

需要说明的是，弱一致性的情况下，允许不同用户将同一份数据的请求发送到不同的元数据服务器，允许获取到不同的元数据信息，然后允许多个用户读到多个版本的数据。

对于弱一致性数据的数据同步过程：多数据副本的每个副本的数据修改在数据落盘后都会同步元数据信息，在修改元数据信息的过程中，元数据服务器会根据时间戳来判断哪份数据是最后的数据，保存最后修改的数据，然后将最终版本的数据同步到不同步的数据节点上去，此时不影响数据的读操作。如果遇到写操作，会允许用户写缓存后返回，在同步元数据信息时，真正同步数据的最终版本。

如上所述，本实施例中的锁粒度可选：如果选择文件锁，数据一致性更新时按照整个文件的更新时间来确定最终版本；如果选择字节锁或者范围锁，则根据该粒度最后的更新时间来更新该字节活范围，而不是更新整个文件。

此外，实施例二能够实现强弱一致性转换，具体的，如果一开始配置的是强一致性，那么数据多副本间是一致的，当动态修改成弱一致性时，自动转换成弱一致性的方式，无需再进行数据同步与落盘操作；如果一开始配置的是弱一致性，动态转换成强一致性时，在弱一致性的数据被操作时，才执行强一致性同步，需要将所有的数据副本修改信息同步到元数据服务器，然后元数据服务器来将副本间新型同步，同步完成后才能提供服务。但是同一集群内的数据同步时间很快，对用户的相应时间不超过2秒，所以用户基本无感知。

下面对本发明实施例提供的一种分布式文件系统实现数据一致性的装置实施例进行介绍，下文描述的一种分布式文件系统实现数据一致性的装置与上文描述的一种分布式文件系统实现数据一致性的方法可相互对应参照。

该装置实施例应用于客户端，如图3所示，该装置包括：

一致性模式获取模块301：用于响应于对分布式文件系统中的目标数据的操作请求，获取所述目标数据的一致性模式。

锁获取模块302：用于获取并占有所述目标数据的锁，其中，所述锁与所述目标数据的一致性模式相对应，所述锁的锁粒度为文件级或字节级。

操作日志生成模块303：用于将所述分布式文件系统中的目标数据拷贝到非易失性内存，并根据上层应用对所述目标数据的编辑操作，在所述非易失性内存中生成操作日志，以便于所述分布式文件系统根据所述操作日志对所述分布式文件系统中的目标数据进行更新。

作为一种可选的实施方式，所述锁获取模块302包括：

第一锁获取单元3021：用于当所述目标数据的一致性模式为强一致性模式，获取并占有所述目标数据的互斥锁；

第二锁获取单元3022：用于当所述目标数据的一致性模式为弱一致性模式，获取并占有所述目标数据的非互斥锁。

作为一种可选的实施方式，所述装置还包括：

模式变更模块304：用于若所述目标数据的一致性模式由强一致性模式变更为弱一致性模式，销毁已占有的互斥锁，重新获取并占有所述目标数据的非互斥锁。

本实施例的一种分布式文件系统实现数据一致性的装置用于实现前述的一种分布式文件系统实现数据一致性的方法，因此该装置中的具体实施方式可见前文中的一种分布式文件系统实现数据一致性的方法的实施例部分，例如，一致性模式获取模块301、锁获取模块302、操作日志生成模块303，分别用于实现上述一种分布式文件系统实现数据一致性的方法中步骤S101，S102，S103。所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。

另外，由于本实施例的一种分布式文件系统实现数据一致性的装置用于实现前述的一种分布式文件系统实现数据一致性的方法，因此其作用与上述方法的作用相对应，这里不再赘述。

此外，本发明还提供了一种客户端，应用于分布式文件系统，如图4所示，所述客户端包括：

存储器401：用于存储计算机程序；

处理器402：用于执行所述计算机程序，以实现如上所述的一种分布式文件系统实现数据一致性的方法的步骤。

最后，本发明还提供了一种分布式文件系统，如图5所示，包括元数据服务器501、数据存储设备502，还包括多个如上所述的一种客户端503。

本实施例的一种客户端及分布式文件系统用于实现前述的一种分布式文件系统实现数据一致性的方法，因此该客户端及分布式文件系统的具体实施方式可见前文中的一种分布式文件系统实现数据一致性的方法的实施例部分，且作用与前文中方法实施例的作用相对应，这里不再赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种分布式文件系统实现数据一致性的方法、装置、客户端及分布式文件系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种分布式文件系统实现数据一致性的方法，应用于客户端，其特征在于，所述方法包括：

响应于对分布式文件系统中的目标数据的操作请求，获取所述目标数据的一致性模式；

获取并占有所述目标数据的锁，其中，所述锁与所述目标数据的一致性模式相对应，所述锁的锁粒度为文件级或字节级；

将所述分布式文件系统中的目标数据拷贝到非易失性内存，并根据上层应用对所述目标数据的编辑操作，在所述非易失性内存中生成操作日志，以便于所述分布式文件系统根据所述操作日志对所述分布式文件系统中的目标数据进行更新。

2.如权利要求1所述的方法，其特征在于，所述获取并占有所述目标数据的锁，其中，所述锁与所述目标数据的一致性模式相对应，包括：

当所述目标数据的一致性模式为强一致性模式，获取并占有所述目标数据的互斥锁；

当所述目标数据的一致性模式为弱一致性模式，获取并占有所述目标数据的非互斥锁。

3.如权利要求2所述的方法，其特征在于，在所述当所述目标数据的一致性模式为强一致性模式，获取并占有所述目标数据的互斥锁之后，还包括：

若所述目标数据的一致性模式由强一致性模式变更为弱一致性模式，销毁已占有的互斥锁，重新获取并占有所述目标数据的非互斥锁。

4.如权利要求2所述的方法，其特征在于，所述分布式文件系统包括元数据服务器和数据存储设备；

所述将所述分布式文件系统中的目标数据拷贝到非易失性内存，包括：

从所述元数据服务器获取所述目标数据的元数据；

根据所述元数据确定所述目标数据在所述数据存储设备中的地址信息，并将所述目标数据从所述数据存储设备拷贝到所述非易失性内存。

5.如权利要求1所述的方法，其特征在于，所述编辑操作包括以下任意一项或多项：删除操作、修改操作、写入操作。

6.一种分布式文件系统实现数据一致性的装置，应用于客户端，其特征在于，所述装置包括：

一致性模式获取模块：用于响应于对分布式文件系统中的目标数据的操作请求，获取所述目标数据的一致性模式；

锁获取模块：用于获取并占有所述目标数据的锁，其中，所述锁与所述目标数据的一致性模式相对应，所述锁的锁粒度为文件级或字节级；

操作日志生成模块：用于将所述分布式文件系统中的目标数据拷贝到非易失性内存，并根据上层应用对所述目标数据的编辑操作，在所述非易失性内存中生成操作日志，以便于所述分布式文件系统根据所述操作日志对所述分布式文件系统中的目标数据进行更新。

7.如权利要求6所述的装置，其特征在于，所述锁获取模块包括：

第一锁获取单元：用于当所述目标数据的一致性模式为强一致性模式，获取并占有所述目标数据的互斥锁；

第二锁获取单元：用于当所述目标数据的一致性模式为弱一致性模式，获取并占有所述目标数据的非互斥锁。

8.如权利要求7所述的方法，其特征在于，所述装置还包括：

模式变更模块：用于若所述目标数据的一致性模式由强一致性模式变更为弱一致性模式，销毁已占有的互斥锁，重新获取并占有所述目标数据的非互斥锁。

9.一种客户端，应用于分布式文件系统，其特征在于，所述客户端包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序，以实现如权利要求1-5任意一项所述的一种分布式文件系统实现数据一致性的方法的步骤。

10.一种分布式文件系统，其特征在于，包括元数据服务器、数据存储设备，还包括多个如权利要求9所述的一种客户端。