CN101789976B - 嵌入式网络存储系统及其方法 - Google Patents

Abstract

一种网络应用技术领域的嵌入式网络存储系统及其方法，系统包括：NFS客户端和NFS服务器端，其中：NFS服务器端包括：接收请求模块、处理请求模块、FCB管理模块和RPC服务模块；方法包括：NFS服务器端在处理读写请求时，使用FCB管理模块来缓存已打开文件的状态信息，包括文件描述符等，有效减少了服务器本地文件系统打开和关闭文件的次数，并通过预分配文件空间的方法来为文件获取连续的磁盘空间，消除了数据读写过程中的额外的磁头移动，从而减少了NFS服务器端的CPU开销，提高了读写性能。

Description

嵌入式网络存储系统及其方法

技术领域

本发明涉及的是一种网络应用技术领域的系统及其方法，具体是一种嵌入式网络存储系统及其方法。

背景技术

随着嵌入式系统功能的不断增强，对基于开放标准、多个节点能够共享并可以实现数据交换的存储系统提出了迫切需求，嵌入式网络存储系统应运而生。基于该系统，其它设备可以通过数据传输网络将数据写入到嵌入式网络存储系统，也可以从嵌入式网络存储系统中读取数据，从而有效地解决嵌入式系统中数据的存储和交换问题。嵌入式网络存储系统的设计面临特殊的需求和限制。在嵌入式系统中，由于功耗、体积等限制，CPU工作频率低，计算能力相对较弱，内存也更小，但对性能，如吞吐量和实时性，却有更高要求。网络文件系统(Network File System，NFS)是一种基于网络附加存储(Network Attached Storage，NAS)架构的广泛使用的文件共享协议。它提供了透明的通过网络访问远程共享文件的服务；通过使用外部数据表示(eXternal Data Representation，XDR，机器独立数据结构标准)解决数据的编码问题，并通过远程过程调用(Remote Procedure Call，RPC)实现节点之间的交互。基于NFS协议，NFS客户端可以将嵌入式网络存储系统(也称为服务器)共享的文件目录挂载到本地，然后可以像读写位于本地磁盘的文件一样来访问位于服务器上的文件。NFS是使用远程过程调用(Remote Procedure Call，RPC)来实现的。客户机通过向NFS服务器发送RPC请求来访问其上的文件。当NFS服务器收到一个客户请求时，它将这个请求传递给本地文件访问例程，后者访问服务器主机上的一个本地的磁盘文件。

经文献检索发现，《Managing NFS and NIS，2nd Edition(管理NFS和NIS，第2版)》第7章中介绍分析了NFS的协议和实现机制。其给出了NFS的客户端和服务器端的总体框架。NFS服务器端主要包含两类进程，一个守护进程负责接收NFS客户端的请求，还有多个负责处理请求并与本地文件系统交互。由于NFS服务器提供的是无状态的文件访问服务。所谓“无状态”，就是指NFS服务器端不保持和记录各个NFS操作之间的关系，而由NFS客户端保持所有的信息，也就是说NFS服务器端响应完一个请求后就不再保存有关这个请求的任何信息。这么一来每个读或写的过程调用，首先要把NFS文件句柄转换成服务器本地文件系统的文件名，然后调用open()打开文件，再根据请求中的文件位置参数调用lseek()移动文件读写位置，循环执行读或写操作，最后关闭文件，向NFS客户端发送过程调用的响应。可以发现NFS客户端的每一个读写请求，实际在服务器上都要调用open()和close()，由于这些函数中需要进行复杂的处理，因此会导致NFS服务器端CPU开销的显著增加和系统吞吐量的下降。

另一方面，现代计算机系统基本使用磁盘做存储介质，磁盘的性能从物理层面上决定了存储系统的性能。在影响磁盘性能的因素中，最主要的因素是寻道时间和旋转等待时间，因为这两个时间都是由磁头移动决定的，属于物理机械过程，所以耗时最多。寻道时间是磁头移动到所需磁道花费的时间，旋转等待时间是所需磁盘扇区旋转到磁头位置花费的时间，如果存储的数据在磁盘的不连续位置，那么大量的时间将被消耗在寻道和旋转等待上，极大影响存储系统的性能。

经文献检索发现，《网络存储原理与技术》中提到，在已有系统的NFSv3协议实现中，写一个文件时，NFS服务器端的磁盘也将面临一般磁盘上的性能问题，即前面所说的物理过程耗时问题；如果一个文件的数据存放在磁盘的不连续位置，则服务器磁盘性能将会影响整个嵌入式网络存储系统的读写性能。

发明内容

本发明的目的在于克服现有技术中存在的上述不足，提供一种嵌入式网络存储系统及其方法。本发明通过状态缓存机制来提高处理读写请求时的性能，同时采用预分配文件空间的方法来获得连续的磁盘空间，从而优化写磁盘时的性能。

本发明是通过以下技术方案实现的：

本发明涉及的嵌入式网络存储系统包括：NFS客户端和NFS服务器端，其中：NFS客户端和NFS服务器端相连传输网络报文信息和请求信息。

所述的NFS客户端包括：NFS模块和RPC客户模块，其中：NFS模块与RPC客户模块相连传输用户的读写文件请求信息，RPC客户模块与NFS服务器端相连传输RPC请求报文信息。

所述的NFS服务器端包括：接收请求模块、处理请求模块、FCB管理模块和RPC服务模块，其中：RPC服务模块与NFS客户端相连传输RPC请求报文信息，RPC服务模块与接收请求模块相连传输NFS请求报文信息，接收请求模块与处理请求模块相连传输NFS请求报文信息，处理请求模块与FCB管理模块相连传输文件信息，处理请求模块与RPC服务模块相连传输RPC应答报文信息。

本发明涉及的上述嵌入式网络存储系统的存储方法，包括以下步骤：

第一步，NFS服务器端根据已知的文件名F，为文件F分配N1大小的连续空间，并向文件F写入N1个空字符“NULL”。

第二步，NFS服务器端进入只写不读的应用情景，启动NFS服务，输出共享目录D，此时NFS服务器端的接收请求模块和RPC服务模块处于运行状态，监听NFS客户端的请求。

第三步，当NFS客户端向NFS服务器端发送RPC请求，请求挂载NFS服务器端输出的共享目录D至本地文件系统，NFS服务器端的接收请求模块将该请求放入请求队列，而NFS服务器端的处理请求模块从请求队列中取出该请求并进行处理。

第四步，NFS客户端挂载共享目录D成功后，再次向NFS服务器端发送RPC请求，请求写该目录中的文件F，NFS服务器端的接收请求模块将该请求放入请求队列，而NFS服务器端的处理请求模块从请求队列中取出该请求，从而完成NFS服务器端处理写文件的请求，NFS客户端收到NFS服务器端的写文件的应答报文。

所述的NFS服务器端处理写文件的请求，具体步骤为：

1)处理请求模块调用FCB管理模块根据文件句柄查找FCB数组，当找到FCB结构后，执行3)；否则执行2)；

2)处理请求模块将文件句柄转换为文件名，并调用FCB管理模块创建一个该文件的FCB结构，放入FCB数组中；

3)处理请求模块调用FCB管理模块打开FCB，若文件未打开过，进行本地系统调用open()打开文件，并将文件描述符存放到FCB中，若文件已打开，直接获取其文件描述符；

4)处理请求模块根据文件描述符对该文件进行写操作，若写入文件大小超过第一步中预分配的文件范围，使用文件系统自动为其分配的空间，写完后不关闭文件，调用RPC服务模块将结果封装成RPC应答报文返回给NFS客户端。

第五步，NFS服务器端进入只读不写的应用情景，用户在NFS服务器端获取文件真实大小后，进行本地系统调用执行ftruncate操作对文件重新设置大小。

所述的获取文件真实大小，具体步骤为：

1)设定置信长度N2，并设定一个低端L和高端H用于限定查找范围，L的初始值为文件头，即第1个字节，H的初始值为文件尾，即第N1个字节；

2)判断N1与置信长度N2的大小，当N1小于N2时，从文件末尾起向前扫描文件直到第一个非“NULL”字符作为文件真实大小的末端；当N1大于N2时，找到(L，H)的中间字符，即第(N1+1)/2个字节或第N1/2个字符；

3)判断该字符是否是“NULL”；

4)当该字符为非“NULL”，则将L置为该字符之后的一个字节，找到(L，H)的中间字符，返回3)；当字符为“NULL”，则从该字符起向前扫描，统计前面的连续“NULL”字符的数量N3，若N3达到置信长度N2，停止统计；

5)判断N3与置信长度N2的大小，当N3等于置信长度N2，则将H置为该字符之前的一个字节，找到(L，H)的中间字符，返回3)；当N3小于置信长度N2，则从该字符起向后扫描，统计后面的连续“NULL”字符的数量N4，若N3+N4达到置信长度N2，停止统计；

6)判断N3+N4与置信长度N2的大小，当N3+N4小于置信长度N2，则将L置为该字符之后的一个字节，找到(L，H)的中间字符，返回3)；当N3+N4等于置信长度N2，则从该字符起向前扫描文件直到第一个非“NULL”字符作为文件真实大小的末端。

第六步，NFS客户端向NFS服务器端发送RPC请求，请求读目录D中的文件F，NFS服务器端的接收请求模块将该请求放入请求队列，NFS服务器端的处理请求模块从请求队列中取出该请求并进行处理，从而完成NFS服务器端处理读文件的请求，NFS客户端收到NFS服务器端的读文件的应答报文。

所述的NFS服务器端处理读文件的请求，具体步骤为：

1)处理请求模块调用FCB管理模块根据文件句柄查找FCB数组，当找到FCB结构时，执行3)；当没有找到FCB结构时，执行2)；

2)处理请求模块将文件句柄转换为文件名，并调用FCB管理模块创建一个该文件的FCB结构，放入FCB数组中；

3)处理请求模块调用FCB管理模块打开FCB，若该文件未打开过，进行本地系统调用open()打开文件，并将文件描述符存放到FCB中；若文件已打开，直接获取其文件描述符；

4)处理请求模块根据文件描述符对该文件进行读操作，读完后不关闭文件，调用RPC服务模块将结果封装成RPC应答报文返回给NFS客户端。

与现有技术相比，本发明的有益效果是：NFS服务器端在处理读写文件请求时减少了打开和关闭文件的次数，同时有效减少了磁盘寻道时间和旋转等待时间，降低了嵌入式网络存储系统的CPU开销，提高了NFS系统的吞吐量。

附图说明

图1为本发明的系统组成示意图。

具体实施方式

以下结合附图对本发明的方法进一步描述：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

如图1所示，本实施例涉及的嵌入式网络存储系统包括：NFS客户端和NFS服务器端，其中：NFS客户端和NFS服务器端相连传输网络报文信息和请求信息。

所述的NFS客户端包括：NFS模块和RPC客户模块，其中：NFS模块与RPC客户模块相连传输用户的读写文件请求信息，RPC客户模块与NFS服务器端相连传输RPC请求报文信息。

所述的NFS服务器端包括：接收请求模块、处理请求模块、FCB管理模块和RPC服务模块，其中：RPC服务模块与RPC客户模块相连传输RPC请求报文信息，RPC服务模块与接收请求模块相连传输NFS请求报文信息，接收请求模块与处理请求模块相连传输NFS请求报文信息，处理请求模块与FCB管理模块相连传输文件信息，处理请求模块与RPC服务模块相连传输RPC应答报文信息。

本实施例涉及的上述嵌入式网络存储系统的存储方法，包括以下步骤：

第一步，NFS服务器端根据已知的文件名foo，为文件foo分配20480字节大小的连续空间，并向文件foo写入20480个空字符“NULL”。

第二步，NFS服务器端进入只写不读的应用情景，启动NFS服务，输出共享目录bar，此时NFS服务器端的接收请求模块和RPC服务模块处于运行状态，监听NFS客户端的请求。

第三步，当NFS客户端向NFS服务器端发送RPC请求，请求挂载NFS服务器端输出的共享目录bar至本地文件系统，NFS服务器端的接收请求模块将该请求放入请求队列，而NFS服务器端的处理请求模块从请求队列中取出该请求并进行处理。

第四步，NFS客户端挂载共享目录bar成功后，再次向NFS服务器端发送RPC请求，请求向该目录中的文件foo的开头写入10240个字节，NFS服务器端的接收请求模块将该请求放入请求队列，而NFS服务器端的处理请求模块从请求队列中取出该请求，从而完成NFS服务器端处理写文件的请求，NFS客户端收到NFS服务器端的写文件的应答报文。

所述的NFS服务器端处理写文件的请求，具体步骤为：

1)由于这是一个写文件请求，处理请求模块调用FCB管理模块根据文件句柄查找FCB数组，由于这是第一个写文件请求，FCB数组目前为空，找不到对应的FCB结构；

2)处理请求模块将文件句柄转换为文件名，并调用FCB管理模块创建一个文件foo的FCB结构，放入FCB数组中；

3)处理请求模块调用FCB管理模块打开FCB，文件foo未打开过，进行本地系统调用open()打开文件，并将文件描述符存放到FCB中；

4)处理请求模块根据文件foo的文件描述符对该文件进行写操作，向该文件写入10240字节大小的数据，写完后不关闭文件，调用RPC服务模块将结果封装成RPC应答报文返回给NFS客户端。

第五步，NFS服务器端进入只读不写的应用情景，用户在NFS服务器端获取文件foo真实大小后，进行本地系统调用执行ftruncate操作对文件重新设置大小。

所述的获取文件foo真实大小，具体步骤为：

1)设定置信长度4096字节大小，并设定一个低端L和高端H用于限定查找范围，L的初始值为文件头，即第1个字节，H的初始值为文件尾，即第20480个字节；

2)判断foo文件大小20480字节与置信长度4096字节的大小，foo文件大于置信长度，找到(1，20480)的中间字符，即第10240个字节；

3)判断该字符是否是“NULL”；

4)该字符为非“NULL”，则将L置为10241，找到(10241，20480)的中间字符，即第15360个字符，该字符为“NULL”，则从该字符起向前扫描，统计前面的连续“NULL”字符的数量，一共是2560个；

5)由于2560小于4096，从该字符起向后扫描，统计后面的连续“NULL”字符，统计到1536个为止，这样前后一共统计了4096个“NULL”字符；

6)由于4096等于置信长度，则从该字符起向前扫描文件直到第一个非“NULL”字符，即第10240个字节，作为文件有效范围的末端，文件的真实大小就是10240字节，获取文件真实大小之后，进行本地系统调用执行ftruncate操作对文件重新设置大小为10240字节。

第六步，NFS客户端向NFS服务器端发送RPC请求，请求读目录bar中的文件foo开头起2560个字节，NFS服务器端的接收请求模块将该请求放入请求队列，NFS服务器端的处理请求模块从请求队列中取出该请求并进行处理，从而完成NFS服务器端的读文件请求，NFS客户端收到NFS服务器端的读文件的应答报文。

所述的NFS服务器端处理读文件的请求，具体步骤为：

1)由于这是一个读文件请求，处理请求模块调用FCB管理模块根据文件句柄查找FCB数组，找到FCB结构；

2)处理请求模块调用FCB管理模块打开FCB，由于foo文件已打开，直接获取其文件描述符；

3)处理请求模块根据文件foo的文件描述符对该文件进行读操作，读完后不关闭文件，调用RPC服务模块将结果封装成RPC应答报文返回给NFS客户端，NFS客户端收到NFS服务器端的应答报文。

采用本实施例方法和现有技术从NFS客户端向NFS服务器端拷贝一个大小为120MB的文件，所花时间以及写文件速度的对比数值如表1所示，从表1中可以发现，本实施例方法大大提高了NFS服务器端读写文件的性能。

表1

	现有技术	本实施例方法
			写用时(s)	783.43	128.79
读用时(s)	174.09	31.48
			写性能(KB/s)	156.85	954.11
读性能(KB/s)	705.84	3903.43

Claims (4)

1.一种嵌入式网络存储系统的存储方法，其特征在于，该存储方法包括以下步骤：

第一步，NFS服务器端根据己知的文件名F，为文件F分配N1字节大小的连续空间，并向文件F写入N1个空字符“NULL”；

第二步，NFS服务器端进入只写不读的应用情景，启动入NFS服务，输出共享目录D，此时NFS服务器端的接收请求模块和RPC服务模块处于运行状态，监听NFS客户端的请求；

第三步，当NFS客户端向NFS服务器端发送RPC请求，请求挂载NFS服务器端输出的共享目录D至本地文件系统，NFS服务器端的接收请求模块将该请求放入请求队列，而NFS服务器端的处理请求模块从请求队列中取出该请求并进行处理；

第四步，NFS客户端挂载共享目录D成功后，再次向NFS服务器端发送RPC请求，请求写该目录中的文件F,NFS服务器端的接收请求模块将该请求放入请求队列，而NFS服务器端的处理请求模块从请求队列中取出该请求，从而完成NSF服务器端处理写文件的请求，NFS客户端收到NFS服务器端的写文件的应答报文；

第五步，NFS服务器端进入只读不写的应用情景，用户在NFS服务器端获取文件真实大小后，进行本地系统调用执行ftruncate操作对文件重新设置大小；

第六步，NFS客户端向NFS服务器端发送RPC请求，请求读目录D中的文件F,NFS服务器端的接收请求模块将该请求放入请求队列，NFS服务器端的处理请求模块从请求队列中取出该请求并进行处理，从而完成NFS服务器端处理读文件的请求，NFS客户端收到NFS服务器端的读文件的应答报文。

2.根据权利要求1所述的嵌入式网络存储系统的存储方法，其特征是，所述的NFS服务器端处理写文件的请求，具体步骤为：

1）处理请求模块调用FCB管理模块根据文件句柄查找FCB数组，当找到FCB结构后，执行3)；否则执行2)；

2）处理请求模块将文件句柄转换为文件名，并调用FCR管理模块创建一个该文件的FCB结构，放入FCB数组中；

3）处理请求模块调用FCB管理模块打开FCB，若文件未打开过，进行本地系统调用open(）打开文件，并将文件描述符存放到FCB中，若文件已打开，直接获取其文件描述符；

4）处理请求模块根据文件描述符对该文件进行写操作，若写入文件大小超过第一步中预分配的文件范围，使用文件系统自动为其分配的空间，写完后不关闭文件，调用RPC服务模块将结果封装成RPC应答报文返回给NFS客户端。

3.根据权利要求1所述的嵌入式网络存储系统的存储方法，其特征是，所述的获取文件真实大小，具体步骤为：

1）设定置信长度N2，并设定一个低端L和高端H用于限定查找范围，L的初始值为文件头，即第1个字节，H的初始值为文件尾，即第N1个字节；

2）判断N1与置信长度N2的大小，当N1小于N2时，从文件末尾起向前扫描文件直到第一个非“NULL”字符作为文件真实大小的末端；当N1大于N2时，找到（L,H）的中间字符，即第（N1+1)/2个字节或第N1/2个字符；

3）判断该字符是否是“NULL”；

4）当该字符为非“NULL”，则将L置为该字符之后的一个字节，找到（L,H）的中间字符，返回3)；当字符为“NULL”，则从该字符起向前扫描，统计前面的连续“NULL”字符的数量N3，若N3达到置信长度N2，停止统计；

5）判断N3与置信长度N2的大小，当N3等于置信长度N2，则将H置为该字符之前的一个字节，找到（L,H）的中间字符，返回3)；当N3小于置信长度N2，则从该字符起向后扫描，统计后面的连续“NULL”字符的数量N4，若N3+N4达到置信长度N2，停止统计；

6）判断N3+N4与置信长度N2的大小，当N3+N4小于置信长度N2，则将L置为该字符之后的一个字节，找到（L,H）的中间字符，返回3)；当N3+N4等于置信长度N2，则从该字符起向前扫描文件直到第一个非“NULL”字符作为文件真实大小的末端。

4.根据权利要求1所述的嵌入式网络存储系统的存储方法，其特征是，所述的NFS服务器端处理读文件的请求，具体步骤为：

l）处理请求模块调用FCB管理模块根据文件句柄查找FCB数组，当找到FCB结构时，执行3)；当没有找到FCB结构时，执行2)；

2）处理请求模块将文件句柄转换为文件名，并调用FCB管理模块创建一个该文件的FCB结构，放入FCB数组中；

3）处理请求模块调用FCB管理模块打开FCB，若该文件未打开过，进行本地系统调用open(）打开文件，并将文件描述符存放到FCB中；若文件己打开，直接获取其文件描述符；

4）处理请求模块根据文件描述符对该文件进行读操作，读完后不关闭文件，调用RPC服务模块将结果封装成RPC应答报文返回给NFS客户端。

Images