CN103020257A - 数据操作的实现方法和装置 - Google Patents

Abstract

本发明公开了一种数据操作的实现方法和装置，该方法包括：系统客户端接收操作请求；系统客户端将接收到的操作请求划分成多个文件操作；系统客户端确定多个文件操作对应的操作，并将确定的操作并行通知给服务端，以便对服务端的分布式文件系统的元数据和/或数据进行操作。本发明通过系统客户端将其接收到的操作请求划分成多个文件操作，确定多个文件操作对应的操作，并将确定的操作并行通知给服务端，以便对服务端的分布式文件系统的元数据和/或数据进行操作，能够改善系统客户端文件操作的性能，提高可靠性，并且降低系统客户端的开发难度。

Description

数据操作的实现方法和装置

技术领域

本发明涉及计算机领域，具体地，涉及一种数据操作的实现方法和装置。

背景技术

分布式文件系统作为一种集中存储，能够集中管理数据，同时由于分布式文件系统将数据服务和元数据服务分离，并分布到不同的节点上，提高了文件系统服务的性能和可靠性。文件系统客户端作为客户端使用并行文件系统服务的手段，将分布式文件系统导出到客户端本地。因此，对于已有方案，分布式文件系统中客户端的开发和性能，直接决定了并行文件系统的作用、性能和结果。

由于客户端需要和并行文件系统的服务端进行信息的交互，需要实现复杂的协议处理和控制。而大部分分布式文件系统的客户端都位于操作系统中的文件系统接口(如Linux的虚拟文件系统(Virtual File System，简称为VFS)层)之下，提供可移植操作系统接口(Portable Operating System Interface，简称为POSIX)，典型的系统包括Lustre、Ceph、PVFS、GPFS等。由于文件系统客户端通常位于操作系统的驱动空间，所以系统客户端的开发调试难度较大，开发周期较长。

现有的用户态客户端(例如，网盘客户端等)，一般通过截获系统中读写特定目录和文件的系统来调用实现，记录需要同步的数据，定期和服务端更新。网盘系统能够实现文件到客户端的访问和共享，但是不能够及时并且正确地反映其他客户端对数据所作的修改。

为了提供标准的文件系统语义，同时降低客户端的开发难度，出现了很多用户态文件系统，例如，Linux下的FUSE，Windows的Dokan系统，这些用户态文件系统分为两个模块：(1)内核态驱动模块，常驻在操作系统中间，将内核发出的文件系统操作封装成消息，将消息重定向到用户态进程。(2)用户态服务，用户态服务进程接收内核态驱动模块传送过来的文件访问消息进行处理，并将结果返回给内核态驱动模块。内核态驱动模块和用户态服务之间的所有消息交互一般采用拷贝的方式，首先将数据拷贝到封装的消息中间，消息接收方再将封装消息中重点的数据拷贝到目标地址中间。由用户态进行处理，然后将结果返回，内核态模块和用户态客户端之间进行数据传输。

全内核态的文件系统客户端能够实现和本地文件系统相同的功能，但是由于所有的代码都需要在内核态实现，开发调试难度较大，同时由于操作系统的升级需要同步升级内核态文件系统客户端，因此，维护难度也较大。

现有的用户态文件系统客户端能够实现非及时性的客户端和服务器之间的数据同步，但是全用户态客户端的实现不能够及时的反映服务器端的数据交互，同时在多个客户端同时修改本地文件的时候，文件操作中的冲突较难解决。

而用户态文件系统如Linux系统下的FUSE和Windows系统下的Dokan系统，客户端能够看到和本地文件系统相同的接口。但是这些系统的用户态和内核态模块之间的消息交互使用拷贝方式实现，虽然能够满足一般的普通文件系统客户端的需求，但是中间存在大量的数据交互，如超大目录的查询操作，大文件的读写操作，这种拷贝方式极大的降低了文件系统的访问性能，需要一个更加高效的文件系统客户端来实现。同时其在操作的可靠性，安全方面也存在着潜在的问题。

针对相关技术中分布式系统客户端的性能差、可靠性低的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中分布式系统客户端的性能差、可靠性低、开发难度大的问题，本发明提出一种数据操作的实现方法和装置，能够改善系统客户端文件操作的性能，提高可靠性。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种数据操作的实现方法，该处理方法包括：

系统客户端接收操作请求；

系统客户端将接收到的操作请求划分成多个文件操作；

系统客户端确定多个文件操作对应的操作，并将确定的操作并行通知给服务端，以便对服务端的分布式文件系统的元数据和/或数据进行操作。

其中，系统客户端确定多个文件操作对应的操作包括：

对于每个文件操作，将该文件操作与预先设置的处理线程池中的线程进行比较，提取与该文件操作相对应的线程，将提取的线程对应的操作通知给服务端。

该处理方法进一步包括：

系统客户端对元数据和/或数据进行缓存。

该处理方法还进一步包括：

如果系统客户端接收的操作请求为访问请求，且系统客户端中缓存了该访问请求所对应的访问对象，则优先返回缓存的访问对象操作对象。

而且，对于系统客户端中缓存的预定时间段内没有被访问的元数据，如果系统客户端被占用的缓存超过阈值，则将该元数据从系统客户端的缓存中删除。

此外，对于系统客户端中缓存的数据，系统客户端以预定周期将该缓存的数据写入到服务端。

根据本发明的另一个方面，提供了一种数据操作的实现装置，该实现装置包括：

操作系统文件访问接口模块，设置于系统客户端，用于接收操作请求，将该操作请求发送给用户态协议处理模块；

用户态协议处理模块，设置于系统客户端，用于接收来自操作系统文件访问接口模块的操作请求，将接收到的操作请求划分成多个文件操作，以及用于确定多个文件操作对应的操作，并将确定的操作并行通知给服务端，以便服务端的分布式文件系统根据系统客户端的对元数据和/或数据进行操作。

用户态协议处理模块设置有处理线程池，处理线程池用于保存多个线程；

其中，用户态协议处理模块用于对每个文件操作，将该文件操作与预先设置的处理线程池中的线程进行比较，提取与该文件操作相对应的线程，将提取的线程对应的操作通知给服务端。

并且，操作系统文件访问接口模块还用于预先对待发送至用户态协议处理模块的文件进行分类并对每一类文件进行打包；

其中，操作系统文件访问接口模块对待发送至用户态协议处理模块的文件划分的类别包括：

用于控制文件系统的控制类消息；

包含数据操作的数据类消息。

而且，操作系统文件访问接口模块通过以下方式将操作请求发送至用户态协议处理模块：

操作系统文件访问接口模块用于将操作请求携带在消息中发送给用户态协议处理模块；

操作系统文件访问接口模块将操作请求存储在内存中对应于用户态协议处理模块的存储空间，由用户态协议处理模块从该存储空间获取操作请求。

本发明通过系统客户端将其接收到的操作请求划分成多个文件操作，确定多个文件操作对应的操作，并将确定的操作并行通知给服务端，以便对服务端的分布式文件系统的元数据和/或数据进行操作，能够改善系统客户端文件操作的性能，提高可靠性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的数据操作的实现方法的流程图；

图2是根据本发明实施例的数据操作的实现方法中智能数据切片机制的流程图；

图3是根据本发明实施例的数据操作的实现装置的框图；

图4是根据本发明实施例的数据操作的实现装置中操作系统文件访问接口模块和用户态协议处理模块的流程图；

图5A是根据本发明实施例的数据操作的实现装置中自适应文件访问操作打包机制的流程图；

图5B是根据本发明实施例的数据操作的实现装置中自适应文件访问操作打包机制的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的一个实施例，提供了一种数据操作的实现方法。

如图1所示，根据本发明实施例的数据操作的实现方法包括：

步骤S101，系统客户端接收操作请求；

步骤S103，系统客户端将接收到的操作请求划分成多个文件操作；

步骤S105，系统客户端确定多个文件操作对应的操作，并将确定的操作并行通知给服务端，以便对服务端的分布式文件系统的元数据和/或数据进行操作。

系统客户端将接收到的操作请求划分成多个文件操作，并确定多个文件操作对应的操作并行通知给服务端，这一过程按照智能数据切片机制进行。如图2所示，将系统内核态文件访问接口发送来的进行读写操作的数据(图中大数据)，根据该数据的长度自动将数据进行切片(例如，图2中的切片1、切片2、切片3)，划分成多个数据操作，并行的与分布式文件系统的服务器(该服务器分布在图中的文件系统服务端中)进行交互。该分片机制能够充分利用分布式文件系统提供的带宽，并提高数据操作的可靠性。

其中，系统客户端确定多个文件操作对应的操作包括：

对于每个文件操作，将该文件操作与预先设置的处理线程池中的线程进行比较，提取与该文件操作相对应的线程，将提取的线程对应的操作通知给服务端。

该处理方法进一步包括：

系统客户端对元数据和/或数据进行缓存。

该处理方法还进一步包括：

如果系统客户端接收的操作请求为访问请求，且系统客户端中缓存了该访问请求所对应的访问对象，则优先返回缓存的访问对象操作对象。

而且，对于系统客户端中缓存的预定时间段内没有被访问的元数据，如果系统客户端被占用的缓存超过阈值，则将该元数据从系统客户端的缓存中删除。

此外，对于系统客户端中缓存的数据，系统客户端以预定周期将该缓存的数据写入到服务端。

根据本发明的一个实施例，提供了一种数据操作的实现装置。

如图3所示，根据本发明实施例的数据操作的实现装置包括：

操作系统文件访问接口模块31，设置于系统客户端，用于接收操作请求，将该操作请求发送给用户态协议处理模块；

用户态协议处理模块32，设置于系统客户端，用于接收来自操作系统文件访问接口模块31的操作请求，将接收到的操作请求划分成多个文件操作，以及用于确定多个文件操作对应的操作，并将确定的操作并行通知给服务端，以便服务端的分布式文件系统根据系统客户端的对元数据和/或数据进行操作。

操作系统文件访问接口模块31实现在操作系统的内核空间，实现操作系统文件访问所需要的所有接口，如Linux的VFS(Virtual File System，即虚拟文件系统)文件系统操作接口，Windows的IRP(I/O request packets，即输入输出请求包)解析和处理。具体操作分为如下几类：

(1)文件系统操作，包括驱动初始化，卸载，文件系统的挂载，卸载操作；

(2)元数据访问操作，包括目录的访问，文件的打开，关闭操作。文件信息的访问和设置等；

(3)数据访问，数据的读写操作。

操作系统文件访问接口模块31负责将这些操作截获，并进行打包，提交给用户模块，根据用户模块的返回结果，通知操作系统该文件操作的执行结果。

用户态协议处理模块32实现在用户态，如图4所示，用户态协议处理模块32负责接收来自操作系统文件访问接口模块31打包的请求，分布式文件系统服务端的协议交互，实现实际的文件系统操作语义，并根据操作结果返回给操作系统文件访问接口模块31。由于操作系统文件访问接口模块31只实现基本的操作截获和消息打包，结果处理。

在用户态协议处理模块32中还包括智能数据切片机制，根据文件系统操作数据的大小，该机制能智能的将一个数据操作切片，分成多个数据操作，发往服务端进行处理。

操作系统文件访问接口模块31和用户态协议处理模块32之间通过消息传递和通知机制进行：两个模块之间通过环形共享缓冲区或者系统调用的方式进行消息交互，通知机制采用系统提供的机制，如Windows的事件和Linux的等待队列等。本系统中存在两个缓冲区，命令消息缓冲区和结果消息缓冲区。用户态协议处理模块32采用定期睡眠和等待的方式检查环形缓冲区上是否存在消息，如果不存在消息，则进行可唤醒睡眠。当操作系统文件访问接口模块31接收到文件访问命令之后，将消息打包，拷贝到环形缓冲区的对应地址，唤醒用户态协议处理模块32进行消息的处理。

同样系统中的内核模块也等待在结果缓冲区上，等待用户态协议处理模块32返回的结果。当用户态协议处理模块32处理完毕消息之后，将结果打包放入结果缓冲区，唤醒内核模块处理。内核模块在被唤醒之后，进行消息结果处理，返回给操作系统。

为了保证模块之间的消息传递的可靠性和完整性，对每一个消息的内容在打包时填充MAGIC，并计算循环冗余校验(Cyclic Redundancy Check，简称为CRC)码值，消息接收方在接收到消息时，首先检查MAGIC，并校验CRC值，如果校验错误，则认为该消息错误，直接丢弃。

为了保证文件系统操作在用户态处理的性能，在用户态协议处理模块32中设置有处理线程池，处理线程池用于保存多个线程；

其中，用户态协议处理模块32用于对每个文件操作，将该文件操作与预先设置的处理线程池中的线程进行比较，线程池中的线程互斥的从命令队列中获取文件操作命令，与分布式文件系统的元数据和数据服务器进行交互，提取与该文件操作相对应的线程，完成文件操作，将提取的线程对应的操作通知给服务端，并将操作结果返回给操作系统文件访问接口模块31。

并且，操作系统文件访问接口模块31还用于预先对待发送至用户态协议处理模块32的文件进行分类并对每一类文件进行打包；

其中，操作系统文件访问接口模块31对待发送至用户态协议处理模块32的文件划分的类别包括：

第一类为用于控制文件系统的控制类消息，该类命令控制文件系统的行为，如文件系统的操作，文件的打开、关闭操作等，该类命令中间携带的参数和数据较少，返回的结果值也较少，可以直接将命令按照固定格式打包，在操作系统文件访问接口模块31和用户态协议处理模块32之间进行消息传递；

第二类为包含数据操作的数据类消息，该类消息中间存在数据操作，包括文件的读写操作，目录的查询操作等。

优选地，操作系统文件访问接口模块31按照自适应文件访问操作打包机制进行。例如，可以根据文件系统访问的消息类型智能决定消息打包机制。

在操作系统文件访问接口模块31向用户态协议处理模块32发送操作请求的情况下，通过以下方式完成发送：

操作系统文件访问接口模块31将操作请求携带在消息中发送给用户态协议处理模块32；优选地，对于数据量小于或等于预定门限值的操作请求，可以采用该方式进行传输；

操作系统文件访问接口模块31将操作请求存储在内存中对应于用户态协议处理模块32的存储空间，由用户态协议处理模块32从该存储空间获取操作请求；优选地，对于数据量大于预定门限值的操作请求，可以采用该方式进行传输。

也就是说，对于小消息，可以直接将传输数据附加到消息末尾；对于大消息，则可以采用内存映射的方式，将消息缓冲区映射到目标方模块的地址空间，由目标方直接操作。消息大小阈值由具体系统和硬件环境决定。在本发明中该机制的控制下，操作系统文件访问模块31将文件操作打包发给用户态协议处理模块32，用户态协议处理模块32在处理完成之后将结果返回给操作系统文件访问模块31。

如图5A所示，根据传递数据的大小进行智能处理，对于数据量较小的操作(图5A中所示的小数据)，发送方(例如，操作系统文件访问接口模块31)直接将数据附加到消息内部，进行拷贝方式的消息传递，接收方(例如，用户态协议处理模块32)直接接收拷贝的数据；如图5B所示，对于大量的数据操作(图5B中所示的大数据)，为了提高效率，采用映射的方式传递数据，首先数据源，并且准备好数据缓冲区，将数据缓冲区映射到目标地址空间，由目标模块直接进行操作。该方式能够减少用户态协议处理模块32和内核模块之间的数据拷贝开销，进而提高文件系统的操作性能。

优选地，为了提高分布式文件系统的元数据访问效率，降低和服务器网络通信的开销，在用户态协议处理模块32实现一个元数据缓存，当内核模块发来元数据访问信息时，首先在缓存中间查找是否存在相应的元数据项，如果存在，则直接返回；如果不存在相应元数据项，则从元数据服务器中获取该元数据项作为结果，并将该结果插入缓存以返回结果，从而完成元数据的访问。此外，为了保证缓存的性能，可以进一步实现高效元数据无效机制。具体地，在该机制下，如果发现元数据在长时间内未被访问，并且元数据缓存超过限定阈值，则将该缓存项从元数据缓存中删除。元数据缓存的正确性由分布式锁协议保证。

此外，优选地，为了保证数据访问的性能，在用户态协议处理模块32实现数据缓存。数据写支持两种模式：写直通模式和写回模式。写直通模式不经过数据缓存，直接将数据写到数据服务器中；写回模式将数据写入用户态数据缓存，则认为成功，由用户态数据缓存定期将数据回写到数据服务器中。对于数据读操作，首先在用户态数据缓存中查找需要读取的数据，如果在缓存中没找到需要读取的数据，则从数据服务器(即，上述服务端)获取数据，将读取的数据插入到缓存中，然后返回给内核模块(用户态协议处理模块32)，从而完成了数据的读取。如果在缓存中找到需要读取的数据，则直接返回该数据，完成数据的读取。对于元数据，同样可以采取这种方式完成数据的读取等操作。

通过在用户态协议处理模块实现元数据缓存和/或数据缓存，能够有效提高数据操作的执行效率，减少系统客户端与服务端之间的信息交互量，加快元数据/数据访问的反应速度。

综上所述，借助于本发明的上述技术方案，通过系统客户端将其接收到的操作请求划分成多个文件操作，确定多个文件操作对应的操作，并将确定的操作并行通知给服务端，以便对服务端的分布式文件系统的元数据和/或数据进行操作。本发明的客户端包括功能精简的操作系统文件访问接口模块31，该模块的功能为实现文件操作的截获，消息打包和返回结果处理；用户态协议处理模块32，该模块的功能为实现和分布式文件系统服务器之间的协议交互，网络消息收发。操作系统文件访问接口模块31和用户态协议处理模块32之间采用了共享缓冲区或者系统调用的方式实现高效的消息交互机制保证双方消息交互的性能，消息发送方在完成消息打包和交互之后，采用高效通知机制通知消息接收方处理消息，通过自适应消息打包机制保证了模块之间数据传输的性能，实现智能数据切片机制利用分布式文件系统服务器的整体带宽，通过使用消息处理线程池，元数据缓存和数据缓存保证了客户端文件访问的性能，进一步提高了客户端的文件系统操作性能，而绝大部分客户端的功能实现，如分布式文件系统服务的协议交互，网络通信都在用户态实现，降低了系统开发难度，同时为系统维护和升级带来了便利。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据操作的实现方法，其特征在于，所述实现方法包括：

系统客户端接收操作请求；

所述系统客户端将接收到的所述操作请求划分成多个文件操作；

所述系统客户端确定所述多个文件操作对应的操作，并将确定的所述操作并行通知给服务端，以便对所述服务端的分布式文件系统的元数据和/或数据进行操作。

2.根据权利要求1所述的实现方法，其特征在于，所述系统客户端确定所述多个文件操作对应的操作包括：

对于每个文件操作，将该文件操作与预先设置的处理线程池中的线程进行比较，提取与该文件操作相对应的线程，将提取的所述线程对应的操作通知给所述服务端。

3.根据权利要求1所述的实现方法，其特征在于，进一步包括：

所述系统客户端对元数据和/或数据进行缓存。

4.根据权利要求3所述的实现方法，其特征在于，进一步包括：

如果所述系统客户端接收的操作请求为访问请求，且所述系统客户端中缓存了该访问请求所对应的访问对象，则优先返回缓存的访问对象操作对象。

5.根据权利要求4所述的实现方法，其特征在于，

对于所述系统客户端中缓存的预定时间段内没有被访问的元数据，如果所述系统客户端被占用的缓存超过阈值，则将该元数据从所述系统客户端的缓存中删除。

6.根据权利要求4所述的实现方法，其特征在于，对于所述系统客户端中缓存的数据，所述系统客户端以预定周期将该缓存的数据写入到所述服务端。

7.一种数据操作的实现装置，其特征在于，所述实现装置包括：

操作系统文件访问接口模块，设置于系统客户端，用于接收操作请求，将该操作请求发送给用户态协议处理模块；

所述用户态协议处理模块，设置于所述系统客户端，用于接收来自所述操作系统文件访问接口模块的操作请求，将接收到的所述操作请求划分成多个文件操作，以及用于确定所述多个文件操作对应的操作，并将确定的所述操作并行通知给服务端，以便所述服务端的分布式文件系统根据所述系统客户端的对元数据和/或数据进行操作。

8.根据权利要求7所述的实现装置，其特征在于，所述用户态协议处理模块设置有处理线程池，所述处理线程池用于保存多个线程；

其中，用户态协议处理模块用于对每个文件操作，将该文件操作与预先设置的处理线程池中的线程进行比较，提取与该文件操作相对应的线程，将提取的所述线程对应的操作通知给所述服务端。

9.根据权利要求8所述的实现装置，其特征在于，所述操作系统文件访问接口模块还用于预先对待发送至所述用户态协议处理模块的文件进行分类并对每一类文件进行打包；

其中，所述操作系统文件访问接口模块对待发送至所述用户态协议处理模块的文件划分的类别包括：

用于控制文件系统的控制类消息；

包含数据操作的数据类消息。

10.根据权利要求8所述的实现装置，其特征在于，所述操作系统文件访问接口模块通过以下方式将操作请求发送至所述用户态协议处理模块：

所述操作系统文件访问接口模块用于将操作请求携带在消息中发送给所述用户态协议处理模块；

所述操作系统文件访问接口模块将操作请求存储在内存中对应于所述用户态协议处理模块的存储空间，由所述用户态协议处理模块从该存储空间获取操作请求。

Images