CN108848180A

CN108848180A - 一种元数据同步方法、装置、设备及可读存储介质

Info

Publication number: CN108848180A
Application number: CN201810679037.XA
Authority: CN
Inventors: 张露露
Original assignee: Zhengzhou Yunhai Information Technology Co Ltd
Current assignee: Zhengzhou Yunhai Information Technology Co Ltd
Priority date: 2018-06-27
Filing date: 2018-06-27
Publication date: 2018-11-20

Abstract

本发明公开了一种元数据同步方法，应用于NFS客户端，包括：向用户空间NFS文件服务器发送对象属性的赋值请求；接收用户空间NFS文件服务器返回的与赋值请求对应的赋值结果；利用赋值结果，对引索节点中的元数据信息进行修改；利用引索节点与元数据存储系统的对应关系，将修改后的元数据信息同步至元数据存储系统。可将赋值结果对应的元数据信息同步至元数据存储系统中，保障了客户端与元数据存储系统的元数据信息同步，进而保障了用户空间NFS文件服务器正常工作。本发明还公开了一种元数据同步装置、设备及可读存储介质，具有相应的技术效果。

Description

一种元数据同步方法、装置、设备及可读存储介质

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种元数据同步方法、装置、设备及可读存储介质。

背景技术

分布式存储系统中的文件存储需要支持NFS和CIFS两种文件系统协议，用于支持linux和windows两种客户端的挂载。而其中NFS协议的支持主要通过用户空间NFS文件服务器(ganesha)实现。它支持NFSv3、NFSv4.0、NFSv4.1和pNFS等协议。NFS-Ganesha通过FSAL(File System Abstraction Layer)同时支持多种文件系统，也可以同时支持多种协议。

目前，在NFS客户端发出对象属性的赋值请求(即setattr请求)时，ganesha会将请求的结果发送到分布式文件系统(libicfsfs)，同时也会缓存到客户端，并向客户端回复请求成功的信息。由于对象属性的赋值的结果并没有同步到元数据存储系统(MDS)，这会在客户端进行同步刷新后，造成客户端的对象属性赋值(即setattr)丢失，由于setattr的丢失造成客户端和MDS端的元数据信息不一致，进而造成用户空间NFS文件服务器崩溃。

综上所述，如何有效地解决元数据同步等问题，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种元数据同步方法、装置、设备及可读存储介质，对对象属性进行赋值，并将赋值结果同步至元数据存储系统中，以保障用户空间NFS文件服务器的正常运行。

为解决上述技术问题，本发明提供如下技术方案：

一种元数据同步方法，应用于NFS客户端，包括：

向用户空间NFS文件服务器发送对象属性的赋值请求；

接收所述用户空间NFS文件服务器返回的与所述赋值请求对应的赋值结果；

利用所述赋值结果，对引索节点中的元数据信息进行修改；

利用所述引索节点与元数据存储系统的对应关系，将修改后的元数据信息同步至元数据存储系统。

优选地，所述利用所述引索节点与元数据存储系统的对应关系，将修改后的元数据信息同步至元数据存储系统，包括：

接收分布式文件系统发送的将所述赋值结果同步至元数据存储系统的同步请求；

利用所述引索节点与元数据存储系统的对应关系，将同步请求对应的元数据信息同步至元数据存储系统。

调用所述引索节点与元数据存储系统的同步函数并利用所述引索节点与元数据存储系统的对应关系，将修改后的元数据信息同步至元数据存储系统中。

优选地，还包括：

利用所述元数据存储系统中存储的元数据信息，进行同步刷新。

一种元数据同步装置，应用于NFS客户端，包括：

赋值请求发送模块，用于向用户空间NFS文件服务器发送对象属性的赋值请求；

赋值结果接收模块，用于接收所述用户空间NFS文件服务器返回的与所述赋值请求对应的赋值结果；

元数据信息修改模块，用于利用所述赋值结果，对引索节点中的元数据信息进行修改；

元数据信息同步模块，用于利用所述引索节点与元数据存储系统的对应关系，将修改后的元数据信息同步至元数据存储系统。

优选地，所述元数据信息同步模块，包括：

同步请求接收单元，用于接收分布式文件系统发送的将所述赋值结果同步至元数据存储系统的同步请求；

元数据信息同步单元，用于利用所述引索节点与元数据存储系统的对应关系，将同步请求对应的元数据信息同步至元数据存储系统。

优选地，所述元数据信息同步模块，具体用于调用所述引索节点与元数据存储系统的同步函数并利用所述引索节点与元数据存储系统的对应关系，将修改后的元数据信息同步至元数据存储系统中。

优选地，还包括：

同步刷新模块，用于利用所述元数据存储系统中存储的对象属性值，进行同步刷新。

一种元数据同步设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述元数据同步方法的步骤。

一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述元数据同步方法的步骤。

应用本发明实施例所提供的方法，NFS客户端向用户空间NFS文件服务器发送对象属性的赋值请求；接收用户空间NFS文件服务器返回的与赋值请求对应的赋值结果。若对对象属性进行赋值之后，未将赋值结果同步至元数据存储系统，即元数据存储系统中的元数据信息未对应修改，会在同步刷新后造成用户空间NFS文件服务器崩塌。然而，又因为元数据存储系统无法访问客户端的对象属性的文件句柄(fh)。提出利用引索节点与元数据存储系统的对应关系，进一步将赋值结果同步至元数据存储系统中。即，利用赋值结果，对引索节点中的元数据信息进行修改；利用引索节点与元数据存储系统的对应关系，将修改后的元数据信息同步至元数据存储系统。如此，便可将赋值结果对应的元数据信息同步至元数据存储系统中，保障了客户端与元数据存储系统的元数据信息同步，进而保障了用户空间NFS文件服务器正常工作。

相应地，本发明实施例还提供了与上述元数据同步方法相对应的元数据同步装置、设备和可读存储介质，具有上述技术效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种元数据同步方法的实施流程图；

图2为本发明实施例中一种元数据同步装置的结构示意图；

图3为本发明实施例中一种元数据同步设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

请参考图1，图1为本发明实施例中一种元数据同步方法的流程图，该方法可用于于NFS客户端，包括以下步骤：

S101、向用户空间NFS文件服务器发送对象属性的赋值请求。

在本发明实施例中，对象属性中的对象指文件，该赋值请求具体可以为指定一个文件名的字符串表达式，可包括目录或文件夹、以及驱动器。例如，将某文件的设置为只读文件。需要说明的是，本发明实施例所涉及到的文件可以包括图片格式、音频格式、word格式、视频格式等常见文件格式的文件，即，本发明实施例中对文件格式并不做限定，对文件本身内容也不做限定。

当用户需要调整某文件的属性值时，对客户端进行操作后，客户端可基于用户的操作，向用户空间NFS文件服务器发送对象属性的赋值请求。用户空间NFS文件服务器接收到赋值请求之后，对该赋值请求进行处理，并将处理结果返回给客户端和分布式文件存储系统。

S102、接收用户空间NFS文件服务器返回的与赋值请求对应的赋值结果。

接收用户空间NFS文件服务器返回的赋值结果。具体的，该赋值结果可以为包括对象属性值的信息，也可以为赋值成功与否的通知消息。

S103、利用赋值结果，对引索节点中的元数据信息进行修改。

索引节点指在许多类Unix文件系统中的一种数据结构。每个索引节点保存了文件系统中的一个文件系统对象的元信息数据。当赋值结果为对象属性值的信息时，直接将引索节点中的元数据信息进行替换；当赋值结果为成功赋值消息，则参照赋值请求对应的对象属性值在引索节点中的元数据信息中进行修改或赋值。当然，当赋值结果为赋值失败时，则可以无需操作。

S104、利用引索节点与元数据存储系统的对应关系，将修改后的元数据信息同步至元数据存储系统。

由于，每个索引节点保存了文件系统中的一个文件系统对象的元信息数据。即引索节点与元数据存储系统具有对应关系，基于该对应关系，可将修改后的元数据信息同步至元数据存储系统中。

需要说明的是，基于上述实施例一，本发明实施例还提供了相应的改进方案。在后续实施例中涉及与上述实施例一中相同步骤或相应步骤之间可相互参考，相应的有益效果也可相互参照，在下文的改进实施例中不再一一赘述。

优选地，为了保障元数据存储系统与分布式文件系统以及客户端的元数据信息的一致性，可以在分布式文件系统接收到赋值结果之后，再令客户端将修改后的信息同步至元数据存储系统中。具体的，利用引索节点与元数据存储系统的对应关系，将修改后的元数据信息同步至元数据存储系统，即上述实施例一中的步骤S104，可以包括：

步骤一、接收分布式文件系统发送的将赋值结果同步至元数据存储系统的同步请求；

步骤二、利用引索节点与元数据存储系统的对应关系，将同步请求对应的元数据信息同步至元数据存储系统。

为了便于描述，下面将上述两个步骤结合起来进行说明。

当分布式文件系统接收到用户空间NFS文件服务器发送的赋值结果之后，其中赋值结果为赋值信息。可以在基于该赋值结果进行处理之后，向客户端发出将赋值结果同步至元数据存储系统的同步请求。具体的，该同步请求可以具体为一个同步触发条件，也可以为通知客户端进行同步的一个通知消息。

客户端接收到同步请求之后，可以利用利用引索节点与元数据存储系统的对应关系，将同步请求对应的元数据信息同步至元数据存储系统。其中，具体的同步过程中的同步对象可仅为同步请求对应的元数据信息，以减少通信代价。

优选地，为了更好的完成客户端与元数据存储系统中的同步操作，可以预先在客户端创建一个同步函数，该同步函数具体为将修改后的元数据信息同步至元数据存储系统的函数。即在执行利用引索节点与元数据存储系统的对应关系，将修改后的元数据信息同步至元数据存储系统步骤的操作时，具体为调用引索节点与元数据存储系统的同步函数并利用引索节点与元数据存储系统的对应关系，将修改后的元数据信息同步至元数据存储系统中。

在完成元数据同步之后，在实际应用中，还可以执行同步刷新操作，具体的，利用元数据存储系统中存储的元数据信息，进行同步刷新。需要说明的是，由于客户端中每一次赋值均将相应的元数据信息同步至元数存储系统，因而，在进行同步刷新操作时，客户端不会与元数据存储系统中的数据不一致，而导致对象赋值丢失。

实施例二：

为了便与本领域技术人员理解和实现本发明实施例所提供的技术方案，下面结合具体的应用场景和相关代码对本发明实施例所提供的技术方案进行详细描述。

目前，在NFS客户发出setattr请求时，ganesha会将请求的结果发送到分布式存储系统的文件系统libicfsfs中，请求的结果会缓存到客户端，而没有发送到MDS，ganesha回复客户端：请求成功。这会造成在同步刷新后，setattr丢失，由于setattr的丢失，造成客户端和MDS端的attr不一致，进而造成ganesha崩溃。而用户需要的是setattr是持久。正确的解决方法是允许client将setattr的结果传递给MDS。因为在libicfsfs的代码中已经实现对于setattr的支持，只需实现将setattr的修改传递给MDS即可。

由于无法访问setattr的文件句柄(fh)，因此通过inode来进行同步元数据信息。具体的，为实现本发明实施例所提供的元数据同步方法，首先在客户端增加同步inode到MDS的函数，分别在Client.h和Client.cc文件中作出相应的修改。具体包括以下4点改动：

1、在Client.h增加该用于同步inode的函数的定义，代码如下：

int ll_sync_inode(Inode*in,bool syncdataonly)；

2、在Client.cc文件中增加一个成员函数ll_sync_inode，用于同步客户端和MDS的元数据，代码如下：

int Client::ll_sync_inode(Inode*in,bool syncdataonly)

{

Mutex::Locker lock(client_lock)；

ldout(cct,3)<<"ll_sync_inode"<<*in<<""<<dendl；

tout(cct)<<"ll_sync_inode"<<std::endl；

tout(cct)<<(unsigned long)in<<std::endl；

if(unmounting)

return-ENOTCONN；

return_fsync(in,syncdataonly)；

}

由于在NFS客户发出setattr请求时，ganesha会将请求的结果发送到分布式存储系统的文件系统libicfsfs中，所以在libicfsfs.h和libicfsfs.cc文件中也要添加相应的同步inode到MDS的函数。

3、在libicfsfs.h中添加该用于同步客户端端MDS元数据的函数的定义，代码如下：

int icfs_ll_sync_inode(struct icfs_mount_info*cmount,struct Inode*in,int syncdataonly)；

4、在libicfsfs.cc中添加该函数的实现，代码如下：

上文中代码的逻辑可参照本发明实施例所描述的实现步骤，关于代码本身应用到的代码的具体单词或词组为常用代码，因而对代码本身不再赘述。

完成代码改动之后，便可在元数据同步时，即可完成客户端和元数据存储系统的元数据信息同步。通过增加一种同步inode的方式同步setattr的修改到MDS中，避免NFS客户端在进行setattr请求时，ganesha出现崩溃的问题。

相应于上面的方法实施例，本发明实施例还提供了一种元数据同步装置，下文描述的可应用于NFS客户端的元数据同步装置与上文描述的元数据同步方法可相互对应参照。

参见图2所示，该装置包括以下模块：

赋值请求发送模块101，用于向用户空间NFS文件服务器发送对象属性的赋值请求；

赋值结果接收模块102，用于接收用户空间NFS文件服务器返回的与赋值请求对应的赋值结果；

元数据信息修改模块103，用于利用赋值结果，对引索节点中的元数据信息进行修改；

元数据信息同步模块104，用于利用引索节点与元数据存储系统的对应关系，将修改后的元数据信息同步至元数据存储系统。

应用本发明实施例所提供的装置，NFS客户端向用户空间NFS文件服务器发送对象属性的赋值请求；接收用户空间NFS文件服务器返回的与赋值请求对应的赋值结果。若对对象属性进行赋值之后，未将赋值结果同步至元数据存储系统，即元数据存储系统中的元数据信息未对应修改，会在同步刷新后造成用户空间NFS文件服务器崩塌。然而，有因为元数据存储系统无法访问客户端的对象属性的文件句柄(fh)。提出利用引索节点与元数据存储系统的对应关系，进一步将赋值结果同步至元数据存储系统中。即，利用赋值结果，对引索节点中的元数据信息进行修改；利用引索节点与元数据存储系统的对应关系，将修改后的元数据信息同步至元数据存储系统。如此，便可将赋值结果对应的元数据信息同步至元数据存储系统中，保障了客户端与元数据存储系统的元数据信息同步，进而保障了用户空间NFS文件服务器正常工作。

在本发明的一种具体实施方式中，元数据信息同步模块104，包括：

同步请求接收单元，用于接收分布式文件系统发送的将赋值结果同步至元数据存储系统的同步请求；

元数据信息同步单元，用于利用引索节点与元数据存储系统的对应关系，将同步请求对应的元数据信息同步至元数据存储系统。

在本发明的一种具体实施方式中，元数据信息同步模块104，具体用于调用引索节点与元数据存储系统的同步函数并利用引索节点与元数据存储系统的对应关系，将修改后的元数据信息同步至元数据存储系统中。

在本发明的一种具体实施方式中，还包括：

同步刷新模块，用于利用元数据存储系统中存储的对象属性值，进行同步刷新。

相应于上面的方法实施例，本发明实施例还提供了一种元数据同步设备，下文描述的一种元数据同步设备与上文描述的一种元数据同步方法可相互对应参照。

参见图3所示，该元数据同步设备包括：

存储器D1，用于存储计算机程序；

处理器D2，用于执行计算机程序时实现上述方法实施例的元数据同步方法的步骤。

相应于上面的方法实施例，本发明实施例还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种元数据同步方法可相互对应参照。

一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的元数据同步方法的步骤。

该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims

1.一种元数据同步方法，其特征在于，应用于NFS客户端，包括：

向用户空间NFS文件服务器发送对象属性的赋值请求；

利用所述赋值结果，对引索节点中的元数据信息进行修改；

2.根据权利要求1所述的元数据同步方法，其特征在于，所述利用所述引索节点与元数据存储系统的对应关系，将修改后的元数据信息同步至元数据存储系统，包括：

3.根据权利要求1所述的元数据同步方法，其特征在于，所述利用所述引索节点与元数据存储系统的对应关系，将修改后的元数据信息同步至元数据存储系统，包括：

4.根据权利要求1至3任一项所述的元数据同步方法，其特征在于，还包括：

5.一种元数据同步装置，其特征在于，应用于NFS客户端，包括：

6.根据权利要求5所述的元数据同步装置，其特征在于，所述元数据信息同步模块，包括：

7.根据权利要求5所述的元数据同步装置，其特征在于，所述元数据信息同步模块，具体用于调用所述引索节点与元数据存储系统的同步函数并利用所述引索节点与元数据存储系统的对应关系，将修改后的元数据信息同步至元数据存储系统中。

8.根据权利要求5至7任一项所述的元数据同步装置，其特征在于，还包括：

9.一种元数据同步设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述元数据同步方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述元数据同步方法的步骤。