CN102546776A - 一种san共享文件系统中实现离线读文件的方法 - Google Patents

Abstract

本发明涉及一种SAN共享文件系统中实现离线读文件的方法，所述方法的步骤：打开文件的步骤；获取元数据的步骤；读取文件的步骤；文件读取结束的步骤。所述的“获取元数据的步骤”包括：检测是否有原始记录的子步骤；检测元数据有效性的子步骤；开辟存储空间的子步骤；选择处理的子步骤；获取全部元数据的子步骤。本发明利用客户端也在本地保留一份元数据的备份，并通过同步方法保证该元数据的一致和有效性，这样在元数据服务器或LAN网络出现故障时，客户端服务器可以根据本地的元数据备份继续正常进行文件读取工作本发明可实现在元数据服务器停止工作后，客户端服务器根据本地的备份元数据继续读取SAN共享文件的功能。

Description

一种SAN共享文件系统中实现离线读文件的方法

技术领域

本发明涉及一种SAN共享文件系统中实现离线读文件的方法，是一种网络系统读取视频文件的方法，是一种适用于广电应用领域的SAN共享文件系统下的文件离线读取方法。

背景技术

目前，通用的SAN共享文件系统由元数据服务器（MDS）、共享存储和多客户端通过LAN网络和SAN网络组成，元数据服务器和客户端都可以通过FC或ISCSI协议直接访问共享存储，分别为FC-SAN和IP-SAN架构。SAN网络由于是光纤传输，带宽、容量大、速度快，常用来传输数据量巨大的文件，如：视频文件。

SAN共享文件系统中的元数据是描述数据组织方法的数据结构，元数据主要记录了SAN共享文件系统中该文件在块设备上的划分方法、存放位置以及文件的一些相关属性等。SAN共享文件系统通过元数据将连续的块设备存储组织成文件结构，元数据的大小与文件数据相比很小，所以不需要很高的传输带宽，所以用LAN网络传输。SAN共享文件系统上的元数据信息由元数据服务器统一管理。客户端在LAN网络下通过tcp/ip协议与元数据服务器相连并通讯，客户端要进行SAN共享文件系统中的文件读写操作时，首先需通过LAN网络向元数据服务器发起该文件的元数据请求，元数据服务器将该文件的元数据信息返回给客户端，客户端依据所获得的元数据对共享存储进行读写访问，完成文件读写功能。这种通用的SAN共享文件系统虽然具有效率高、适用性广的特点，但元数据服务器是其中的瓶颈和单点故障点，一旦元数据服务器出现问题，整个SAN网络就会瘫痪无法工作；同样，如果LAN网络出现问题导致客户端无法与元数据服务器通讯，也会导致SAN网络的瘫痪。

发明内容

为克服现有技术的问题，本发明的目的是提出一种SAN共享文件系统中实现离线读文件的方法。所述的方法可以在元数据服务出现文件是元数据的读写中断的时候，或者LAN网络出现问题导致客户端无法与元数据服务器通讯时，客户端仍能继续进行SAN网络中的文件读取工作。

本发明的目的是这样实现的：一种SAN共享文件系统中实现离线读文件的方法，所述的方法所使用的硬件系统包括：多个客户端通过传输视频文件的SAN网络与元数据服务器和磁盘列阵连接，所述的多个客户端通过传输元数据的LAN网络与元数据服务器连接，所述方法的步骤如下：

打开文件的步骤：用于客户端向元数据服务器发出请求，要求打开一个磁盘阵列中的文件；

获取元数据的步骤：用于元数据服务器根据客户端待读取文件的内容，发出与待读取文件所对应的元数据至客户端，客户端获取并存储待读取文件的全部元数据，同时客户端接受分配给自己的机会锁；

读取文件的步骤：用于客户端获取元数据段，并根据所获得的元数据段，对磁盘阵列发起待读取文件的块数据请求，以完成该元数据段对应块数据读取，循环的读取元数据段和读取元数据段对应的块数据，直至完成整个待读取文件的读取；

文件读取结束的步骤：用于客户端向元数据服务器发出要求，关闭已打开的待读取文件句柄，完成本次文件读取；

所述的“获取元数据的步骤”中客户端获取元数据包括以下子步骤：

检测是否有原始记录的子步骤：用于客户端在本地内存或硬盘中检查是否有待读取文件的元数据，如果“否”则进入“开辟存储空间的子步骤”，如果“是”则进入下一子步骤；

检测元数据有效性的子步骤：用于客户端检测本地内存或硬盘中的待读取文件的元数据是否有效，如果“否”则进入“读取文件的步骤”，如果“是”则进入下一子步骤；

开辟存储空间的子步骤：用于客户端在本地内存或硬盘中开辟用于存储待读取文件的元数据的存储空间；

选择处理的子步骤：用于客户端对元数据存入请求选择是放在后台队列等待还是实时处理，如果是后台等待则将元数据存入请求放入元数据请求队列中等待，如果是实时处理则进入下一子步骤；

获取全部元数据的子步骤：用于客户端根据通讯规则循环向元数据服务器请求获取待读取文件的整个元数据，作为元数据备份，按照客户端自定义的数据结构保存在已开辟的存储空间中。

本发明产生的有益效果是：本发明利用客户端服务器在读取文件流程中，向元数据服务器获取元数据时，提供特定的元数据预获取方法、缓存方法，使得在标准读写流程正常进行的同时，客户端也在本地保留一份元数据的备份，并通过同步方法保证该元数据的一致和有效性，这样在元数据服务器或LAN网络出现故障时，客户端服务器可以根据本地的元数据备份继续正常进行文件读取工作本发明可实现在元数据服务器停止工作后，客户端服务器根据本地的备份元数据继续读取SAN共享文件的功能。当检查到元数据服务器有数据改变时，客户端服务器自动更新备份元数据，以保证元数据的正确性。本发明有效地提高SAN共享系统的文件读取效率，保证了文件读取的连续性、容错性和抗干扰性，提高了SAN共享文件系统的安全性。由于在广播电视行业的文件管理中，存在大量一次性写入、反复读取、基本不修改的大数据视音频文件，这种文件非常适用本发明的文件离线读取方法。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是本发明实施例一所述的方法所使用的系统结构示意图；

图2是本发明实施例一所述方法的流程图；

图3是本发明实施例二所述方法的流程图；

图4是本发明实施例三所述方法的流程图。

具体实施方式

实施例一：

本实施例是一种SAN共享文件系统中实现离线读文件的方法。所述的方法所使用的硬件系统，如图1所示。图中的粗实线表示的是SAN网络，细实线表示的是LAN网络。本实施例包括：多个客户端通过传输视频文件的SAN网络与元数据服务器和磁盘列阵连接，所述的多个客户端通过传输元数据的LAN网络与元数据服务器连接。其中客户端可以是普通的PC机工作站，也可以是服务器，具有连接SAN网络的能力，并可以处理大型的文件，例如高清晰度视频文件。本实施例所述的SAN网络是由光纤交换机和光缆组成的光纤网，是带宽超过1G的宽带网络，可以传输高清晰度的视频文件，也可以用千M或万M的高速以太网构成SAN网络。本实施例所述的LAN网络是由以太交换机组成并使用TCP/IP为通讯协议的以太网，具有数百K的带宽，可以快速的传输几百K的元数据文件。在通常情况下可以为了避免元数据服务器出现问题而影响整个SAN系统的正常运行，可增加一台备用的元数据服务器，即两台元数据服务器，使其互为备份，在同步数据的基础上实现元数据服务器冗余。系统中的存储设备通常使用磁盘阵列，磁盘阵列通过SAN网络与客户端与元数据服务器相连，客户端和元数据服务器可以通过fc协议或iscsi协议对其进行访问。

本实施例的基本思路是：将待读取文件所需要的元数据全部存储在客户端备用，可以实现文件离线读取。通过元数据在客户端的备份当SAN系统中的元数据服务器或LAN网络出现问题时，客户端仍能离线读取文件系统中的文件数据，保证正常的读写业务在故障发生时不陷入瘫痪和继续进行。本实施例所述方法可表述为：客户端服务器在读取文件流程中，向元数据服务器获取元数据时，提供特定的元数据预获取方法、缓存方法，使得在标准读写流程正常进行的同时，客户端也在本地保留一份元数据的备份，并通过特定的同步方法保证该元数据的一致和有效性，这样在元数据服务器或LAN网络出现故障时，客户端服务器可以根据本地的元数据备份继续正常进行文件读取工作。在通常的SAN系统文件读取过程中，一个文件的元数据文件并不是一次全部读取的，而是一段一段的读取。客户端读取一段元数据后，即开始读取该段元数据对应的文件块，当该文件块读完后，在读取下一段的元数据，之后读取下一个文件块，如此循环读取全部文件。而本实施例则在文件读取之前，将所有元数据客户端的元数据全部获取，并在客户端开辟存储区，存储这些元数据，之后在文件读取过程中，或直接读取本地存储的一段元数据，或作为备份而读取元数据服务器中的一段元数据。总之，在正常情况下，本实施例还是采取一段一段的读取方式，变化仅在于这一段段的元数据可能来自于元数据服务器，也可能来自于本地存储的元数据。以此可有效地提高SAN共享系统的文件读取效率，保证了文件读取的连续性、容错性和抗干扰性，提高了SAN共享文件系统的安全性。

本实施例所述方法的具体过程步骤如下，流程见图2：

1、打开文件的步骤：用于客户端向元数据服务器发出请求，要求打开一个磁盘阵列中的待读取文件。本步骤是基本步骤，当用户需要读取一个待读取文件的时候，用户在客户端打开待读取文件的句柄，客户端根据该文件的句柄和待读取文件的数据偏移，向元数据服务器发出请求。在客户端服务器与一个元数据服务器建立连接时，创建对应的处理线程，该线程用来后台处理离线读取相关的功能，如果不在后台运行，可能会影响标准读取流程的效率。

2、获取元数据的步骤：用于元数据服务器根据客户端待读取文件的内容，发出与待读取文件所对应的元数据至客户端，客户端获取并存储待读取文件的全部元数据，同时客户端接受分配给自己的机会锁。

本步骤与传统SAN共享文件的读取的差别在于：传统的读取只在于读取一定数量的元数据（元数据段），接着就读取磁盘阵列中与该元数据段对应的待读取文件块，而本步骤则读取待读取文件的完整元数据，并在本地开辟存储区域存贮这些元数据。因此，本步骤所述的客户端获取元数据还包括以下子步骤：

（1）检测是否有原始记录的子步骤：用于客户端在本地内存或硬盘中检查是否有待读取文件的元数据，如果“否”则进入“开辟存储空间的子步骤”，如果“是”则进入下一子步骤。

本子步骤是一个检测并判断的步骤，判断本地硬盘或内存中是否已经存在待读取文件所使用的元数据。有元数据存在的情况一般是待读取文件已经在本客户端使用过，或者由于在以前的读取过程中某种原因而中断读取等等，在这种情况下可以进入下一子步骤：检测该元数据是否有效。如果没有找到相应的元数据，则需要启动获取元数据的过程。

（2）检测元数据有效性的子步骤：用于客户端检测本地内存或硬盘中的待读取文件的元数据是否有效，如果“否”则进入“读取文件的步骤”，如果“是”则进入下一子步骤。

本实施例在离线读取文件时，因为已与元数据服务器断开通讯，所以需要一套机制来保证元数据的有效性（即数据一致性），对于元数据的有效性检查包括实时和非实时两方面，通过以下两点来保证：

a. 在文件关闭时，客户端与服务器不能实时同步元数据信息，所以这段时间如果元数据发生改变，要通过非实时的方法来保证有效性。可采用如下办法：在保存文件元数据时，同时记录文件的修改时间。下次打开时，如果发现该文件的修改时间与元数据备份中记录的相同，则说明元数据没被修改过，元数据备份有效，否则则需要删除原备份创建新的记录。

b．在文件打开进行数据读取时，通过机会锁机制来实时保证元数据未被修改。机会锁由服务器控制，描述了本客户端与其他客户端对同一文件的共享情况，在本客户端有机会锁的情况下，说明其他客户端不会修改文件，文件的元数据也不会发生改变，则可以使用离线元数据功能；如果有其他客户端要修改文件，则服务器会主动剥夺本客户端的机会锁，此时元数据可能会发生改变，所以客户端在无机会锁的状态下不能使用离线元数据功能。不过由于在广播电视行业的文件管理中，存在大量一次性写入、反复读取、基本不修改的大数据视音频文件，所以本实施例尤其适用于广电和视音频处理领域。

满足以上条件，在读取过程中元数据服务器出现故障时，可以使用本地离线元数据的备份而不会出现数据一致性问题，否则就要退出读取。

（3）开辟存储空间的子步骤：用于客户端在本地内存或硬盘中开辟用于存储待读取文件的元数据的存储空间。

根据需要可以在硬盘或内存中开辟存储空间，如果多次反复使用待读取文件，则可以在硬盘中开辟存储空间，如果是临时使用则可以在内存中开辟存储空间。

（4）选择处理的子步骤：用于客户端对元数据存入请求选择是放在后台队列等待还是实时处理，如果是后台等待则将元数据存入请求放入元数据请求队列中等待，如果是实时处理则进入下一子步骤。

处理文件的读取，在客户端可以同时进行多个，为了提高效率可以开辟多个文件读取线程，这样就会有多个线程的运行队列，需要处理是就可以从队列中取出，进行处理。如果是后台运行，将后面的步骤加入请求队列，交由先前创建的处理线程处理；如果不是后台运行，直接在本线程中处理。

（5）获取全部元数据的子步骤：用于客户端根据通讯规则循环向元数据服务器请求获取待读取文件的整个元数据，作为元数据备份，按照客户端自定义的数据结构保存在已开辟的存储空间中。

获取一个文件的全部元数据与文件读取过程是一样的，只是在读取一段元数据之后不是读取文件的块数据，而是继续请求读取元数据，这样读一段元数据，请求一次，再读一段，如此循环将整个元数据读完，并存储在客户端的本地硬盘或内存中。至本子步骤，整个“获取元数据的步骤”结束。

3、读取文件的步骤：用于客户端获取一定量的元数据，称为元数据段，并根据所获得的元数据段，对磁盘阵列发起待读取文件的块数据请求，以完成该元数据段对应块数据读取，循环的读取元数据段和读取元数据段对应的块数据，直至完成整个待读取文件的读取。

本步骤可以有种选择：一种是如果从元数据服务器获取元数据的路径畅通，则可以按照常规的方式从元数据服务器获取元数据，即从元数据服务器获取一段元数据，然后从磁盘阵列中读取一段待读取文件的块数据，再从元数据服务器读取一段元数据，再从磁盘阵列中读取一段待读取文件的块数据，如此循环，如果从元数据服务器获取元数据的路径阻断，则使用本地内存或硬盘中的元数据。另一种方式是：直接使用本地硬盘中的元数据，如果出现问题再检测与元数据服务器的通讯是否畅通，如果畅通则使用元数据服务器的元数据，如果不畅通则退出文件读取。

4、文件读取结束的步骤：用于客户端向元数据服务器发出要求，关闭已打开的待读取文件句柄，完成本次文件读取。

实施例二：

本实施例是实施例一的改进，是实施例一关于读取文件的步骤的细化，如图3所示。本实施例是客户端本地内存或硬盘存储了元数据的情况下进行。虽然本地内存或硬盘中存有元数据，但本实施例还是按照传统的方式进行元数据的获取，本地存储的元数据只是在客户端与元数据服务器的通讯不畅通的情况下在使用。本实施例所述的读取文件的步骤中的子步骤如下：

1a、从元数据服务器获取元数据段的子步骤：用于客户端向元数据服务器获取元数据段，如果成功则进入“对磁盘阵列发起待读取文件的块数据请求，以完成该元数据段对应块数据读取，循环的读取元数据段和读取元数据段对应的块数据，直至完成整个待读取文件的读取”，如果失败则进入下一步骤。

本子步骤为选择过程，条件是客户端与元数据服务器的通讯是否畅通，如果畅通则使用元数据服务器中的元数据，如果不畅通则使用本地存储的元数据。

2a、检测客户端是否有元数据备份的子步骤：用于客户端对本地的内存或硬盘进行检查，是否有待读取文件的元数据备份，如果没有则退出文件读取，如果有则进入下一子步骤。

本子步骤是为了检测本地是否存储元数据，以此防止在某种情况下，已经存储的元数据意外丢失，从而导致系统运行意外中断。

3a、客户端检测备份元数据备份是否有效的子步骤：用于客户端检测本地内存或硬盘中的待读取文件的元数据是否有效，如果“否”则退出文件读取，如果“是”则进入“对磁盘阵列发起待读取文件的块数据请求，以完成该元数据段对应块数据读取，循环的读取元数据段和读取元数据段对应的块数据，直至完成整个待读取文件的读取”。

本子步骤所进行的判断可以包括两项内容：实时有效性和非实时有效性，即包括元数据存储的停留时间长度和机会锁的有效性。两项要求均得到满足时，才能进行文件块数据的读取。

实施例三：

本实施例是实施例一的改进，是实施例一关于读取文件的步骤的细化，如图4所示。本实施例是客户端本地内存或硬盘存储了元数据的情况下进行。因为本地已经存储了元数据，可以直接使用本地的元数据。如果从本地获取元数据失败再从元数据服务器获取元数据。本实施例所述的读取文件的步骤中的子步骤如下：

1b、从本地内存或硬盘中获取元数据段的子步骤：用于客户端从本地内存或硬盘中获取元数据段，如果成功则进入“对磁盘阵列发起待读取文件的块数据请求，以完成该元数据段对应块数据读取，循环的读取元数据段和读取元数据段对应的块数据，直至完成整个待读取文件的读取”，如果失败则进入下一步骤。

本子步骤首先使用本地存储的元数据，如果失败再使用元数据服务器存储的元数据。

2b、客户端检测与元数据服务器的连接是否畅通的子步骤：用于客户端检测与元数据服务器的连接是否畅通，如果“否”则退出文件读取，如果“是”进入下一子步骤。

3b、从元数据服务器获取元数据段的子步骤：用于客户端从元数据服务器获取元数据，之后对磁盘阵列发起待读取文件的块数据请求，以完成该元数据段对应块数据读取，循环的读取元数据段和读取元数据段对应的块数据，直至完成整个待读取文件的读取。

最后应说明的是，以上仅用以说明本发明的技术方案而非限制，尽管参照较佳布置方案对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案（比如各个步骤的前后顺序、元数据在客户端存储的位置等）进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。 

Claims (3)

1.一种SAN共享文件系统中实现离线读文件的方法，所述的方法所使用的硬件系统包括：多个客户端通过传输视频文件的SAN网络与元数据服务器和磁盘列阵连接，所述的多个客户端通过传输元数据的LAN网络与元数据服务器连接，所述方法的步骤如下：

打开文件的步骤：用于客户端向元数据服务器发出请求，要求打开一个磁盘阵列中的文件；

获取元数据的步骤：用于元数据服务器根据客户端待读取文件的内容，发出与待读取文件所对应的元数据至客户端，客户端获取并存储待读取文件的全部元数据，同时客户端接受分配给自己的机会锁；

读取文件的步骤：用于客户端获取元数据段，并根据所获得的元数据段，对磁盘阵列发起待读取文件的块数据请求，以完成该元数据段对应块数据读取，循环的读取元数据段和读取元数据段对应的块数据，直至完成整个待读取文件的读取；

文件读取结束的步骤：用于客户端向元数据服务器发出要求，关闭已打开的待读取文件句柄，完成本次文件读取；

其特征在于：

所述的“获取元数据的步骤”中客户端获取元数据包括以下子步骤：

检测是否有原始记录的子步骤：用于客户端在本地内存或硬盘中检查是否有待读取文件的元数据，如果“否”则进入“开辟存储空间的子步骤”，如果“是”则进入下一子步骤；

检测元数据有效性的子步骤：用于客户端检测本地内存或硬盘中的待读取文件的元数据是否有效，如果“否”则进入“读取文件的步骤”，如果“是”则进入下一子步骤；

开辟存储空间的子步骤：用于客户端在本地内存或硬盘中开辟用于存储待读取文件的元数据的存储空间；

选择处理的子步骤：用于客户端对元数据存入请求选择是放在后台队列等待还是实时处理，如果是后台等待则将元数据存入请求放入元数据请求队列中等待，如果是实时处理则进入下一子步骤；

获取全部元数据的子步骤：用于客户端根据通讯规则循环向元数据服务器请求获取待读取文件的整个元数据，作为元数据备份，按照客户端自定义的数据结构保存在已开辟的存储空间中。

2.根据权利要求1所述的方法，其特征在于，所述的读取文件的步骤中的子步骤：

从元数据服务器获取元数据段的子步骤：用于客户端向元数据服务器获取元数据段，如果成功则进入“对磁盘阵列发起待读取文件的块数据请求，以完成该元数据段对应块数据读取，循环的读取元数据段和读取元数据段对应的块数据，直至完成整个待读取文件的读取”，如果失败则进入下一步骤；

检测客户端是否有元数据备份的子步骤：用于客户端对本地的内存或硬盘进行检查，是否有待读取文件的元数据备份，如果没有则退出文件读取，如果有则进入下一子步骤；

客户端检测备份元数据备份是否有效的子步骤：用于客户端检测本地内存或硬盘中的待读取文件的元数据是否有效，如果“否”则退出文件读取，如果“是”则进入“对磁盘阵列发起待读取文件的块数据请求，以完成该元数据段对应块数据读取，循环的读取元数据段和读取元数据段对应的块数据，直至完成整个待读取文件的读取”。

3.根据权利要求1所述的方法，其特征在于，所述的读取文件的步骤中的子步骤：

从本地内存或硬盘中获取元数据段的子步骤：用于客户端从本地内存或硬盘中获取元数据段，如果成功则进入“对磁盘阵列发起待读取文件的块数据请求，以完成该元数据段对应块数据读取，循环的读取元数据段和读取元数据段对应的块数据，直至完成整个待读取文件的读取”，如果失败则进入下一步骤；

客户端检测与元数据服务器的连接是否畅通的子步骤：用于客户端检测与元数据服务器的连接是否畅通，如果“否”则退出文件读取，如果“是”进入下一子步骤；

从元数据服务器获取元数据段的子步骤：用于客户端从元数据服务器获取元数据，之后对磁盘阵列发起待读取文件的块数据请求，以完成该元数据段对应块数据读取，循环的读取元数据段和读取元数据段对应的块数据，直至完成整个待读取文件的读取。

Images