CN102387048B - 一种用于分布式文件系统的监控方法及分布式文件系统 - Google Patents

Abstract

本发明公开了一种用于分布式文件系统的监控方法及分布式文件系统，通过实时监控模块在外部应用进程发送操作文件请求给文件访问客户端时，获取该请求中包括的所请求操作文件的文件信息；并在文件访问客户端接收到文件定位服务器反馈的位置信息后，获取文件访问客户端接收到的位置信息；即本发明中通过实时监控模块实时的记录了文件操作过程中，该文件的文件信息以及与该文件相对应的位置信息，因此方发生故障时，该记录可提供更详细的文件信息以及相关的位置信息，不需要多个模块之间协调定位即可直接获取相应的位置信息，从而排查出故障产生的位置，实现简单，排查周期短，可提高故障排查以及问题修复的效率。

Description

一种用于分布式文件系统的监控方法及分布式文件系统

技术领域

本发明涉及通信领域，具体涉及一种用于分布式文件系统的监控方法及分布式文件系统。

背景技术

分布式文件系统广泛的应用于云存储、IPTV、流媒体服务器等业务场合。例如用于IPTV系统存储IPTV系统的片源，在对TPTV系统进行读写时，由于分布式文件系统是多个独立模块间的协作运行，难免会出现读写异常情况，而对于存储IPTV的片源的分布式文件系统，最重要的就是保证读写流程正常通畅的进行，读写流程的异常将直接影响整个分布式文件系统的正常运作。但目前的分布式文件系统只是提供简单的读写出错异常的日志，因此会存在以下问题：

由于读写出错异常日志只有在读写出错异常情况下才提供，且提供的记录内容非常简单，并较好的反映读写过程，由于分布式系统是多个独立模块之间的协作工作，当其中一个模块出现异常操作时，根据简单的读写出错异常日志排查故障比较难实现，且往往还需要多个模块之间协调定位，过程繁杂，排查周期长，还不一定能查找到故障产生的位置，很难从根本上说明或解决问题。

发明内容

本发明要解决的主要技术问题是，提供一种用于分布式文件系统的监控方法及分布式文件系统，可实时记录分布式文件系统中对文件操作的流程，为分布式文件系统提供详细的记录，便于故障的及时排查和问题的及时解决。

为解决上述技术问题，本发明提供一种用于分布式文件系统的监控方法，包括：

外部应用进程发送操作文件请求给文件访问客户端，所述操作文件请求包括所请求操作文件的文件信息；

实时监控模块获取所述文件信息；

文件访问客户端根据所述操作文件请求向文件定位服务器发送位置查询请求，并根据文件定位服务器反馈的位置信息对所述文件进行操作；

实时监控模块获取所述文件访问客户端接收到的所述位置信息。

在本发明的一种实施例中，所述位置信息包括操作设备块信息，所述操作设备块信息包括挂载路径、设备号以及设备块号。

在本发明的一种实施例中，所述位置信息还包括所述文件的文件节点信息和操作页面信息。

在本发明的一种实施例中，所述实时监控模块包括APP日志模块，所述APP日志模块获取所述文件信息的同时，还包括获取所述操作的偏移量和当前位移。

在本发明的一种实施例中，所述实时监控模块包括FAC日志模块，所述FAC日志模块获取所述文件访问客户端接收到的所述位置信息。

在本发明的一种实施例中，所述操作文件请求包括读文件请求和写文件请求。

在本发明的一种实施例中，所述实时监控模块获取所述文件信息之前，还包括判断当前文件的读写是否正常，如否，开启实时监控模块，获取所述文件信息。

本发明还提供了一种分布式文件系统，包括：依次连接的文件定位服务器、文件访问客户端、以及存储模块，还包括与所述文件访问客户端连接的实时监控模块；

所述文件访问客户端用于向外部应用进程提供接口调用；根据外部应用进程发送的操作文件请求向文件定位服务器发送位置查询请求，所述操作文件请求包括所请求操作文件的文件信息；根据文件定位服务器反馈的位置信息在所述存储模块的相应位置对所述文件进行操作；

所述文件定位服务器用于存储所述分布式文件系统的文件的元数据信息；并根据文件访问客户端发送的位置查询请求，反馈相应的位置信息给所述文件访问客户端；

所述实时监控模块用于在所述文件访问客户端接收到所述操作文件请求时，获取所述文件信息；并用于获取所述文件定位服务器反馈给所述文件访问客户端的所述位置信息。

在本发明的一种实施例中，所述实时监控模块包括APP日志模块，所述APP日志模块用于在所述文件访问客户端接收到所述操作文件请求时，获取所述文件信息，并获取所述操作的偏移量和当前位移。

在本发明的一种实施例中，所述实时监控模块包括FAC日志模块，所述FAC日志模块用于获取所述文件定位服务器反馈给所述文件访问客户端的所述位置信息。

本发明的有益效果是：本发明提供的用于分布式文件系统的监控方法，通过实时监控模块在外部应用进程发送操作文件请求给文件访问客户端时，获取该请求中包括的所请求操作文件的文件信息；并在文件访问客户端接收到文件定位服务器反馈的位置信息后，获取文件访问客户端接收到的位置信息；即本发明中通过实时监控模块实时的对分布式文件系统中进行的文件操作流程做了详细的记录，具体记录了对文件操作过程中，该文件的文件信息以及与该文件相对应的位置信息，因此方发生故障时，该记录可提供更详细的文件信息以及相关的位置信息，不需要多个模块之间协调定位即可直接获取相应的位置信息，从而排查出故障产生的位置，实现简单，排查周期短，可提高故障排查以及问题修复的效率。

附图说明

图1为本发明一种实施例的分布式文件系统的系统框图；

图2为本发明一种实施例的读操作流程示意图；

图3为本发明一种实施例的写操作流程示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。

请参见图1，本例中的分布式文件系统包括依次连接的文件定位服务器、文件访问客户端、以及存储模块，还包括与文件访问客户端连接的实时监控模块；本例中的连接可为通信连接，其中：

文件访问客户端用于为外部应用进程提供接口调用服务；接收外部应用进程发送的操作文件请求，该操作文件请求包括所请求操作文件的文件信息，具体可包括文件名、文件大小等；文件访问客户端还根据外部应用进程发送的操作文件请求向文件定位服务器发送位置查询请求，并根据文件定位服务器反馈的位置信息在所述存储模块的相应位置对所述文件进行操作，具体可包括读操作和写操作，例如从存储模块的相应位置读取数据并通过相应的接口返回给外部应用程序，或向存储模块的相应位置写入相应的数据等；

文件定位服务器用于存储分布式文件系统中所有文件的元数据信息，具体可包括文件名、设备块信息等；并根据文件访问客户端发送的位置查询请求，反馈相应的位置信息给所述文件访问客户端，即向文件访问客户端提供元数据写入和查询等操作；

实时监控模块用于在文件访问客户端接收到操作文件请求时，获取该操作文件请求中包括的文件信息；并用于获取文件定位服务器反馈给文件访问客户端的位置信息。本例中文件定位服务器反馈给文件访问客户端的位置信息包括操作设备块信息，该操作设备块信息可包括挂载路径、设备号以及设备块号，还可包括请求操作文件的文件节点信息和操作页面信息。

本例中的存储模块可为SCIC磁盘或SATA磁盘等存储介质。

本例中，外部应用进程发送操作文件请求给文件访问客户端时，实时监控模块获取该操作文件请求中包括的文件信息；

文件访问客户端接收到该操作文件请求后向文件定位服务器发送位置查询请求，并根据文件定位服务器反馈的位置信息对所请求操作的文件进行相应的操作；

实时监控模块获取文件访问客户端接收到的所述位置信息。

因此本例中通过实时监控模块实时的对分布式文件系统中进行的文件操作流程做了详细的记录，具体记录请求操作文件的文件信息以及与该文件相对应的位置信息等，因此方发生故障时，通过该记录可提供更详细的文件信息以及相关的位置信息，不需要多个模块之间协调定位即可直接获取相应的位置信息，从而排查出故障产生的位置，实现简单，排查周期短，可提高故障排查以及问题修复的效率。

本例中的实时监控模块包括APP日志模块和FAC日志模块，其中，APP日志模块获取请求操作文件的文件信息同时，还包括从文件系统的文件访问客户端获取该操作的偏移量以及当前位移；FAC日志模块则获取文件访问客户端接收文件定位服务器反馈的上述位置信息。

本例中，实时监控模块在获取上述文件信息之前，还包括判断当前文件的操作流程是否正常的步骤，如不正常，才通知实时监控模块的开关模块开启实时监控模块，获取所述文件信息。当然，本例中还可分别针对APP日志模块和FAC日志模块设置对应的开关，以使实时监控模块根据实际需要选择开启不同的日志模块记录相关信息，例如，可设置APP日志模块的开关，并默认APP日志模块的开关在任何情况下都是开启状态；设置FAC日志模块开关，并设定只有在检测到操作流程不正常时才开启。

本例中实时监控模块的开关模块的设置，只在当前操作流程不正常时，才开启实时监控模块进行监控、记录，可确保系统不被无止境的正确读写日志流程干扰而影响整个文件系统的系能，从而保证分布式文件系统的高效性。

本例中的操作包括读操作和写操作，相应的本例中的操作文件请求包括读文件请求和写文件请求；操作设备块相应的包括读设备块和写设备块。当外部应用进程发送给文件访问客户端的请求为读文件请求时，该请求包括请求读的文件的文件名、文件大小等文件信息，此时文件定位服务器反馈给文件访问客户端的位置信息则包括读设备块信息，读设备块信息具体可包括挂载路径、设备号以及设备块号，还可包括请求读文件的文件节点信息和读页面信息。当外部应用进程发送给文件访问客户端的请求为写文件请求时，该请求包括请求写的文件的文件名、文件大小等文件信息，此时文件定位服务器反馈给文件访问客户端的位置信息则包括写设备块信息，写设备块信息具体可包括挂载路径、设备号以及设备块号，还可包括请求写文件的文件节点信息和写页面信息。

为了更好的理解本发明，下面分别以读操作和写操作的流程为例对本发明做进一步说明：

请参见图2，外部应用进程发送读文件请求给文件访问客户端，该读文件请求中包括请求读的文件的大小及文件名；例如可通过调用文件访问客户端提供的读文件接口，并传入需要读取的文件的文件名以及大小等；

实时数据控制模块判断开关是否开启，如判断开关开启时，启动APP日志模块获取上述读文件请求中包括的文件名以及大小，并获取当前读的偏移量和位移；

文件访问客户端接收到该读文件请求后，根据该读文件请求向文件定位服务器发送位置查询请求，查询将要读取文件的相关位置信息；

文件定位服务器根据文件访问客户端发送的位置查询请求，进行查询读设备块信息、读页面信息、以及文件的文件节点信息等位置信息，并将查询到的位置信息反馈给文件访问客户端；

文件客户端根据文件定位服务器反馈的位置信息，从存储模块上读取相应的数据并通过读文件接口反馈给外部应用进程；

实时数据控制模块启动FAC日志模块，获取文件定位服务器反馈给文件访问客户端的位置信息，具体包括获取记录读设备的挂载路径、设备号、设备块号、和读操作的读页面信息以及读的文件的文件节点信息等；外部应用进程返回读操作是否成功的操作码。

值得注意的是，本例中，FAC日志模块获取、记录上述位置信息与文件访问客户端根据接收到的位置信息进行读操作的步骤并无严格意义上的时间先后关系。

请参见图3，该图为写操作的流程示意图，具体如下：

外部应用进程发送写文件请求给文件访问客户端，该写文件请求中包括请求写的文件的大小及文件名；例如可通过调用文件访问客户端提供的写文件接口，并传入需要写取的文件的文件名以及大小等；

实时数据控制模块判断开关是否开启，如判断开关开启时，启动APP日志模块获取需要写的文件的大小以及文件名，并获取当前写的偏移量和位移；

文件访问客户端接收到该写文件请求后，根据该写文件请求向文件定位服务器发送位置查询请求，查询将要写的文件的相关位置信息；

文件定位服务器根据文件访问客户端发送的位置查询请求，进行查询写设备块信息、写页面信息、以及文件的文件节点信息等位置信息，并将查询到的位置信息反馈给文件访问客户端；其中，查询写设备块信息具体为：文件定位访问服务器根据文件系统的分配设备号规则分配相应的设备号，并按照规则将分配到的设备号按照未用的设备块顺序分配。

文件客户端根据文件定位服务器反馈的位置信息，将相应的数据写到存储模块的相应位置；

实时数据控制模块启动FAC日志模块，获取文件定位服务器反馈给文件访问客户端的位置信息，具体包括获取记录写设备的挂载路径、设备号、设备块号、和写操作的写页面信息以及写的文件的文件节点信息等；

外部应用进程返回写操作是否成功的操作码。

值得注意的是，本例中，FAC日志模块获取、记录上述位置信息与文件访问客户端根据接收到的位置信息进行写操作的步骤并无严格意义上的时间先后关系。

由上述过程可知，本例中的实时监控模块记录了读或写操作流程整个过程中的相关数据信息，因此在读或写过程中出错时，不需要多个模块之间协调定位即可直接获取相应的位置信息，即可根据该记录更有效、快捷的排查故障，进而找出问题的所在，提高处理效率。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (7)

1.一种用于分布式文件系统的监控方法，其特征在于包括：

外部应用进程发送操作文件请求给文件访问客户端，所述操作文件请求包括所请求操作文件的文件信息；

实时监控模块获取所述文件信息；

文件访问客户端根据所述操作文件请求向文件定位服务器发送位置查询请求，并根据文件定位服务器反馈的位置信息对所述文件进行操作；

实时监控模块获取所述文件访问客户端接收到的所述位置信息；

所述实时监控模块包括APP日志模块，所述APP日志模块获取所述文件信息的同时，还包括获取所述操作的偏移量和当前位移；

所述实时监控模块获取所述文件信息之前，还包括判断当前文件的读写是否正常，如否，开启实时监控模块，获取所述文件信息。

2.如权利要求1的方法，其特征在于，所述位置信息包括操作设备块信息，所述操作设备块信息包括挂载路径、设备号以及设备块号。

3.如权利要求2的方法，其特征在于，所述位置信息还包括所述文件的文件节点信息和操作页面信息。

4.如权利要求1-3任一项的方法，其特征在于，所述实时监控模块包括FAC日志模块，所述FAC日志模块获取所述文件访问客户端接收到的所述位置信息。

5.如权利要求4所述方法，其特征在于，所述操作文件请求包括读文件请求和写文件请求。

6.一种分布式文件系统，其特征在于包括：依次连接的文件定位服务器、文件访问客户端、以及存储模块，还包括与所述文件访问客户端连接的实时监控模块；

所述文件访问客户端用于向外部应用进程提供接口调用；根据外部应用进程发送的操作文件请求向文件定位服务器发送位置查询请求，所述操作文件请求包括所请求操作文件的文件信息；根据文件定位服务器反馈的位置信息在所述存储模块的相应位置对所述文件进行操作；

所述文件定位服务器用于存储所述分布式文件系统的文件的元数据信息；并根据文件访问客户端发送的位置查询请求，反馈相应的位置信息给所述文件访问客户端；

所述实时监控模块用于在所述文件访问客户端接收到所述操作文件请求时，获取所述文件信息；并用于获取所述文件定位服务器反馈给所述文件访问客户端的所述位置信息；

所述实时监控模块包括APP日志模块，所述APP日志模块用于在所述文件访问客户端接收到所述操作文件请求时，获取所述文件信息，并获取所述操作的偏移量和当前位移；

所述实时监控模块获取所述文件信息之前，还用于判断当前文件的读写是否正常，如否，开启实时监控模块，获取所述文件信息。

7.如权利要求6所述的系统，其特征在于，所述实时监控模块包括FAC日志模块，所述FAC日志模块用于获取所述文件定位服务器反馈给所述文件访问客户端的所述位置信息。