CN107577578A - 统计nfs操作字时延的方法、装置、设备以及存储介质 - Google Patents

Abstract

本发明公开了一种统计NFS操作字时延的方法、装置、设备以及存储介质，通过预先建立用户态NFS网络文件系统与D‑Bus进程之间的通信连接；在用户态NFS网络文件系统通过所述通信连接对信号进行发送和获取的过程中对文件进行加锁，并基于D‑Bus统计各操作字的时延信息；输出统计得到的操作字时延结果。本申请解决了现有技术中对文件操作过程监测不足的问题，提出一种高效、易于管理维护的操作字时延信息，有助于提高优化存储服务文件系统I/O性能，弥补了目前对文件系统操作字统计时延技术上的空白，对网络文件系统优化性能提供了强有力的实时监测诊断工具。

Description

统计NFS操作字时延的方法、装置、设备以及存储介质

技术领域

本发明涉及网络文件系统技术领域，特别是涉及一种统计NFS操作字时延的方法、装置、设备以及可读存储介质。

背景技术

随着大数据、云计算、海量存储在企业信息系统中的广泛应用和深入发展，用户的核心存储应用数量越来越多，其中通过网络进行文件数据交互，是人们普遍采用的方式。随着企业数据越来越庞大，用户对数据的传输性能和稳定性要求越来越高，存储服务器快速响应用户发送的操作字请求将成为一个难题。因此，如何提供一个快速、可靠、易于实施和维护、实时监测网络文件系统用户发送的操作字请求的时延显得尤为重要，统计网络文件系统的操作字时延是监测存储服务器文件系统I/O性能的重要方法。

为了弥补目前对文件系统操作字统计时延技术上的空白，如何对NFS操作字时延进行统计是本领域亟待解决的技术问题。

发明内容

本发明的目的是提供一种统计NFS操作字时延的方法、装置、设备以及可读存储介质，以解决现有对文件系统操作字时延监测不足的问题。

为解决上述技术问题，本发明提供一种统计NFS操作字时延的方法，包括：

预先建立用户态NFS网络文件系统与D-Bus进程之间的通信连接；

在用户态NFS网络文件系统通过所述通信连接对信号进行发送和获取的过程中对文件进行加锁，并基于D-Bus统计各操作字的时延信息；

输出统计得到的操作字时延结果。

可选地，所述预先建立用户态NFS网络文件系统与D-Bus进程之间的通信连接包括：

预先建立用户态NFS网络文件系统与System D-Bus daemon系统进程间通信守护进程或者Session D-Bus daemon会话进程间通信守护进程之间的连接。

可选地，在所述预先建立用户态NFS网络文件系统与D-Bus进程之间的通信连接之后还包括：

通过守护进程为所述通信连接设置唯一标识信息。

可选地，所述用户态NFS网络文件系统通过所述通信连接对信号进行发送和获取包括：

根据发送信号的接口名、信号名信息，将所述发送信号通过所述通信连接发送至希望接受的进程，在发送后释放相对应的分配内存；

通过所述通信连接获取信号，创建包含接口名以及信号名信息的返回消息，发送所述返回消息，并释放相对应的分配内存。

可选地，所述操作字时延结果包括下述任意一个或任意组合：接收的请求个数、处理的请求个数、操作字请求所消耗的平均时延、操作字请求所消耗的最大时延、操作字请求所消耗的最小时延、队列等待平均时延、队列等待最大时延、队列等待最小时延。

可选地，在所述输出统计得到的操作字时延结果之后还包括：

将得到的所述操作字时延结果与预设时延阈值进行比较，当所述操作字时延结果超过所述预设时延阈值时，生成对应操作字时延结果存在异常的提示信息。

可选地，在所述输出统计得到的操作字时延结果之后还包括：

在显示器上通过可视化界面对所述操作字时延结果进行显示。

本发明还提供了一种统计NFS操作字时延的方法，包括：

预建立模块，用于预先建立用户态NFS网络文件系统与D-Bus进程之间的通信连接；

统计模块，用于在用户态NFS网络文件系统通过所述通信连接对信号进行发送和获取的过程中对文件进行加锁，并基于D-Bus统计各操作字的时延信息；

输出模块，用于输出统计得到的操作字时延结果。

本发明还提供了一种统计NFS操作字时延的设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现上述任一种所述统计NFS操作字时延的方法的步骤。

本发明还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种所述统计NFS操作字时延的方法的步骤。

本发明所提供的统计NFS操作字时延的方法、装置、设备以及存储介质，通过预先建立用户态NFS网络文件系统与D-Bus进程之间的通信连接；在用户态NFS网络文件系统通过所述通信连接对信号进行发送和获取的过程中对文件进行加锁，并基于D-Bus统计各操作字的时延信息；输出统计得到的操作字时延结果。本申请解决了现有技术中对文件操作过程监测不足的问题，提出一种高效、易于管理维护的操作字时延信息，有助于提高优化存储服务文件系统I/O性能，弥补了目前对文件系统操作字统计时延技术上的空白，对网络文件系统优化性能提供了强有力的实时监测诊断工具。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的统计NFS操作字时延的方法的一种具体实施方式的流程图；

图2为本发明所提供的统计NFS操作字时延的方法的另一种具体实施方式的流程图；

图3为本发明实施例提供的统计NFS操作字时延的装置的结构框图；

图4为本发明所提供的统计NFS操作字时延的设备的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明所提供的统计NFS操作字时延的方法的一种具体实施方式的流程图如图1所示，该方法包括：

步骤S101：预先建立用户态NFS网络文件系统与D-Bus进程之间的通信连接；

需要指出的是，Linux作为多任务系统，能够同时运行多个进程。当一个进程生成的数据传输到另一个进程时、数据由多个进程共享时、进程必须彼此等待时、需要协调资源的使用时，应用程序必须彼此通信。D-Bus(message bus system，消息总线系统)为一种高级的进程间通信机制，是一个为应用程序间通信的消息总线系统，用于进程之间的通信。D-Bus的主要概念为总线，注册后的进程可通过总线接收或传递消息，进程也可注册后等待内核事件响应，例如等待网络状态的转变或者计算机发出关机指令。DBUS总线分为系统总线与会话总线两类，两者之前不能互相通信，所以任何应用程序不会发生欺骗系统事件，安全性很好。

NFS(network file system，网络文件系统)是FreeBSD支持的文件系统中的一种，它允许网络中的计算机之间通过TCP/IP网络共享资源。在NFS的应用中，本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件，就像访问本地文件一样。NFS-Ganesha是用户态NFS网络文件系统，在故障场景下，相比于内核态NFS具有较好管理性和可维护性，并且用户态NFS-Ganesha易于实施和维护，因此，目前，大数据海量分布式对象存储NFS-Ganesha应用非常广泛。

具体地，本申请实施例中可以预先建立用户态NFS网络文件系统(NFS-Ganesha)与System D-Bus daemon系统进程间通信守护进程或者Session D-Bus daemon会话进程间通信守护进程之间的连接。

进一步地，在所述预先建立用户态NFS网络文件系统与D-Bus进程之间的通信连接之后还包括：通过守护进程为所述通信连接设置唯一标识信息。

步骤S102：在用户态NFS网络文件系统通过所述通信连接对信号进行发送和获取的过程中对文件进行加锁，并基于D-Bus统计各操作字的时延信息；

文件系统统计操作字时延是指通过对请求操作字起始时间和结束时间进行统计，得出每一次进行操作文件时的时间，是衡量存储服务系统I/O性能的重要指标，也是优化存储性能的重要依据。

文件系统操作字是指操作文件的一系列方法，linux系统的思想本质上是一切皆文件，文件不能只存储信息，必须容许操作其中的信息。从用户的角度来看，文件操作由标准库的函数执行。这些函数指示内核执行系统调用，然后系统调用执行所需的操作，各个文件系统实现的接口可能不同，文件系统操作字主要包括读写(read，write)，删除(remove)，创建(create)，打开(open)，读取目录内容(readdir)，重命名(rename)等。

linux内核都是围绕着同步在运转，在多进程和多线程编程中，锁起着极其重要的作用。使用文件锁目的是达到同步的作用，使共享资源在同一时间内，只有能有一个进程或者线程对该文件进行操作。

本实施例中用户态NFS网络文件系统通过所述通信连接对信号进行发送和获取的过程可以具体包括：

根据发送信号的接口名、信号名信息，将所述发送信号通过所述通信连接发送至希望接受的进程，在发送后释放相对应的分配内存；

通过所述通信连接获取信号，创建包含接口名以及信号名信息的返回消息，发送所述返回消息，并释放相对应的分配内存。

步骤S103：输出统计得到的操作字时延结果。

作为一种具体实施方式，本实施例中操作字时延结果可以包括下述任意一个或任意组合：接收的请求个数、处理的请求个数、操作字请求所消耗的平均时延、操作字请求所消耗的最大时延、操作字请求所消耗的最小时延、队列等待平均时延、队列等待最大时延、队列等待最小时延。

本发明所提供的统计NFS操作字时延的方法，通过预先建立用户态NFS网络文件系统与D-Bus进程之间的通信连接；在用户态NFS网络文件系统通过所述通信连接对信号进行发送和获取的过程中对文件进行加锁，并基于D-Bus统计各操作字的时延信息；输出统计得到的操作字时延结果。本申请解决了现有技术中对文件操作过程监测不足的问题，提出一种高效、易于管理维护的操作字时延信息，有助于提高优化存储服务文件系统I/O性能，弥补了目前对文件系统操作字统计时延技术上的空白，对网络文件系统优化性能提供了强有力的实时监测诊断工具。

在上述任一实施例的基础上，本发明所提供的统计NFS操作字时延的方法在所述输出统计得到的操作字时延结果之后还包括：将得到的所述操作字时延结果与预设时延阈值进行比较，当所述操作字时延结果超过所述预设时延阈值时，生成对应操作字时延结果存在异常的提示信息。

需要指出的是，预设时延阈值可以由用户根据实际情况自行进行设置，也可以为默认设置的值。作为一种具体实施方式，预设时延阈值可以选为100毫秒。即当统计出的操作字时延结果大于该预设时延阈值，例如100毫秒时，说明当前的操作存在异常。通过这样的设置，可以将监测得到的操作字时延结果用于异常判断，便于用户及时发现异常，提升了使用体验。

进一步地，在输出统计得到的操作字时延结果之后还可以包括：在显示器上通过可视化界面对所述操作字时延结果进行显示。

通过可视化显示，用户可以方便地获知当前的操作字情况。

参照图2，下面结合具体实施场景对本发明所提供的统计NFS操作字时延的方法的另一种具体实施方式进行进一步详细阐述。

步骤S201：预先将NFS-Ganesha用户态网络文件系统和D-Bus进程间通信后台建立连接；

步骤S202：daemon守护进程给建立的连接进行命名；

其中，命名的名字在system系统或者session会话的生命周期是唯一的，即uniqueconnectionname。

具体的，建立一个dbus连接dbus_bus_get()，为这个dbus连接(DbusConnection)命名dbus_bus_request_name()，这个名字将会成为在后续进行远程调用的时候的服务名，然后进入监听循环dbus_connection_read_write()。在循环中，从总线上取出消息dbus_connection_pop_message()，并通过比对消息中的方法接口名和方法名dbus_message_is_method_call()，如果一致，那么跳转到相应的处理中去。在相应的处理中，会从消息中取出远程调用的参数。并且建立起回传结果的通路reply_to_method_call()。回传动作本身等同于一次不需要等待结果的远程调用。

步骤S203：NFS-Ganesha服务发送信号，设计给出这个信号的路径(即可以指向对象)、接口以及信号名，创建一个消息；

这里的信号是指广播的消息，不需要响应，接收方向daemon守护进程注册匹配的条件，包括发送方和信号名，bus守护只将信号发送给希望接受的进程。

具体的，在建立通道的函数中，需要填写该信号的接口名和信号名dbus_message_new_signal()，然后把信号对应的相关参数压进去dbus_message_iter_init_append()；dbus_message_iter_append_basic()。

步骤S204：将信号从连接中发送，释放相关的分配内存；

具体的，启动发送dbus_connection_send()；dbus_connection_flush进行信号发送，最后调用dbus_message_unref(msg)释放内存。

步骤S205：NFS-Ganesha服务获取信号的Message的具体内容；

具体的，通过dbus_message_iter_append_basic()函数获取Message的具体内容。

步骤S206：创建返回消息reply，在返回消息中填入两个参数，与信号加入参数的方式相同，发送返回消息，释放相关的分配内存；

步骤S207：NFS—Ganesha对操作字进行文件加锁统计每一个操作字的时延信息，输出D-Bus统计NFS-Ganesha操作字时延结果。

文件加锁是指互斥锁，保证共享数据操作的完整性，每个对象都对应于一个可称为“互斥锁”的标记，这个标记用来保证在任一时刻，只能有一个线程访问该对象。

具体的，NFS-Ganesha操作字包括:getattr,setattr,lookup,access,readlink,read,write,create,mkdir,symlink,mknod,remove,rmdir,rename,link,readdir,readdirplus,fsstat,fainfo,pathconf,commit,nfs3proc_mount。

本申请解决了现有技术中对文件操作过程监测不足的问题，提出一种高效、易于管理维护的操作字时延信息，有助于提高优化存储服务文件系统I/O性能，弥补了目前对文件系统操作字统计时延技术上的空白，对网络文件系统优化性能提供了强有力的实时监测诊断工具。

下面对本发明实施例提供的统计NFS操作字时延的装置进行介绍，下文描述的统计NFS操作字时延的装置与上文描述的统计NFS操作字时延的方法可相互对应参照。

图3为本发明实施例提供的统计NFS操作字时延的装置的结构框图，参照图3统计NFS操作字时延的装置可以包括：

预建立模块100，用于预先建立用户态NFS网络文件系统与D-Bus进程之间的通信连接；

统计模块200，用于在用户态NFS网络文件系统通过所述通信连接对信号进行发送和获取的过程中对文件进行加锁，并基于D-Bus统计各操作字的时延信息；

输出模块300，用于输出统计得到的操作字时延结果。

本实施例的统计NFS操作字时延的装置用于实现前述的统计NFS操作字时延的方法，因此统计NFS操作字时延的装置中的具体实施方式可见前文中的统计NFS操作字时延的方法的实施例部分，例如，预建立模块模块100，统计模块200，输出模块，分别用于实现上述统计NFS操作字时延的方法中步骤S101，S102，S103，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

本发明所提供的统计NFS操作字时延的装置，通过预先建立用户态NFS网络文件系统与D-Bus进程之间的通信连接；在用户态NFS网络文件系统通过所述通信连接对信号进行发送和获取的过程中对文件进行加锁，并基于D-Bus统计各操作字的时延信息；输出统计得到的操作字时延结果。本申请解决了现有技术中对文件操作过程监测不足的问题，提出一种高效、易于管理维护的操作字时延信息，有助于提高优化存储服务文件系统I/O性能，弥补了目前对文件系统操作字统计时延技术上的空白，对网络文件系统优化性能提供了强有力的实时监测诊断工具。

参照图4本发明所提供的统计NFS操作字时延的设备的结构框图所示，该设备具体包括：

存储器1，用于存储计算机程序；

处理器2，用于执行所述计算机程序以上述统计NFS操作字时延的方法的步骤。

此外，本发明还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述统计NFS操作字时延的方法的步骤。

本发明所提供的统计NFS操作字时延的设备以及可读存储介质的具体实施过程可以有益效果参照上述方法的描述，在此不再赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的统计NFS操作字时延的方法、装置、设备以及可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种统计NFS操作字时延的方法，其特征在于，包括：

预先建立用户态NFS网络文件系统与D-Bus进程之间的通信连接；

在用户态NFS网络文件系统通过所述通信连接对信号进行发送和获取的过程中对文件进行加锁，并基于D-Bus统计各操作字的时延信息；

输出统计得到的操作字时延结果。

2.如权利要求1所述的统计NFS操作字时延的方法，其特征在于，所述预先建立用户态NFS网络文件系统与D-Bus进程之间的通信连接包括：

预先建立用户态NFS网络文件系统与System D-Bus daemon系统进程间通信守护进程或者Session D-Bus daemon会话进程间通信守护进程之间的连接。

3.如权利要求2所述的统计NFS操作字时延的方法，其特征在于，在所述预先建立用户态NFS网络文件系统与D-Bus进程之间的通信连接之后还包括：

通过守护进程为所述通信连接设置唯一标识信息。

4.如权利要求1至3任一项所述的统计NFS操作字时延的方法，其特征在于，所述用户态NFS网络文件系统通过所述通信连接对信号进行发送和获取包括：

根据发送信号的接口名、信号名信息，将所述发送信号通过所述通信连接发送至希望接受的进程，在发送后释放相对应的分配内存；

通过所述通信连接获取信号，创建包含接口名以及信号名信息的返回消息，发送所述返回消息，并释放相对应的分配内存。

5.如权利要求1至3任一项所述的统计NFS操作字时延的方法，其特征在于，所述操作字时延结果包括下述任意一个或任意组合：接收的请求个数、处理的请求个数、操作字请求所消耗的平均时延、操作字请求所消耗的最大时延、操作字请求所消耗的最小时延、队列等待平均时延、队列等待最大时延、队列等待最小时延。

6.如权利要求1至3任一项所述的统计NFS操作字时延的方法，其特征在于，在所述输出统计得到的操作字时延结果之后还包括：

将得到的所述操作字时延结果与预设时延阈值进行比较，当所述操作字时延结果超过所述预设时延阈值时，生成对应操作字时延结果存在异常的提示信息。

7.如权利要求6所述的统计NFS操作字时延的方法，其特征在于，在所述输出统计得到的操作字时延结果之后还包括：

在显示器上通过可视化界面对所述操作字时延结果进行显示。

8.一种统计NFS操作字时延的方法，其特征在于，包括：

预建立模块，用于预先建立用户态NFS网络文件系统与D-Bus进程之间的通信连接；

统计模块，用于在用户态NFS网络文件系统通过所述通信连接对信号进行发送和获取的过程中对文件进行加锁，并基于D-Bus统计各操作字的时延信息；

输出模块，用于输出统计得到的操作字时延结果。

9.一种统计NFS操作字时延的设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现如权利要求1至7任一项所述统计NFS操作字时延的方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述统计NFS操作字时延的方法的步骤。