CN101699443A - 一种管理网络文件的方法和装置 - Google Patents

Abstract

本发明公开了一种管理网络文件的方法和装置，属于广播电视领域。所述方法包括：将网络文件系统中的所有网络硬盘作为统一的存储设备，将所述存储设备中的所有磁盘格式化成不同的磁盘块；采用预创建文件的方式，将文件划分为文件块，所述文件块的大小小于或等于所述磁盘块的大小；将所述文件块分配到不同磁盘的磁盘块；将所述文件块写入对应的磁盘块；其中，所述文件块对应时码的信息，通过时码的信息定位文件块的位置。本发明提供的方法提高了系统的整体读写速度，使单个磁盘的读写速度得以完全发挥；本发明还提供了根据时码来快速定位文件块，使系统能够快速及时的定位，提高了用户体验。

Description

一种管理网络文件的方法和装置

技术领域

本发明涉及广播电视领域，特别涉及一种管理网络文件的方法和装置。

背景技术

随着经济的发展，广电行业中的VOD(Video On Demand，视频点播)受到广大用户的欢迎。每个用户的VOD视频都是由播出服务器下发，由于每个播出服务器可支持的用户量有限，系统要想支持一定的用户量就需要多个播出服务器，而每个播出服务器都需要相应的片源文件。VOD系统的片源文件很大、数量也很巨大，如果给每个播出服务器配备完整的片源文件，则要求的存储设备太多，增加了系统成本。另一方面，由于VOD系统大并发量及视频播出跳转特性的需要，要求硬盘的读写速度要快、根据时码查找位置速度要快。为了满足海量存储及读写、调度速度的需求，目前市场上通常使用分布式网络文件系统，它对各个播出服务器的磁盘组进行管理，每个磁盘组作为一个存储单元存储文件。其中，广电行业中对网络文件系统的管理主要包括：网络文件的存储、文件数据的读取及文件的跳转。

当前的网络文件的存储主要采用本地存储的方式，将网络文件存储在每个播出服务器所对应的本地，在给文件分配块资源时只是分配本地块资源，每一个播出服务器本地作为一个整体的存储单元存储文件数据。当前对文件的跳转主要通过快进或快退的时间，来大概获得跳转后文件的物理位置，来读取文件。

发明人在实现本发明的过程中发现，现有技术至少存在以下缺点：

当多个用户需要同时读取同一磁盘上不同位置上的数据时，由于单个磁盘的读取速度是有限制的，磁盘读取速度跟不上，数据读不上来，就会造成电视视频卡的现象；当用户快进、快退或跳转时，不能及时精确的定位某一文件的某一块的位置，从文件读取一一对比势必会给磁盘读写造成压力，同时，非常影响用户的跳转速度。如果多个用户同时跳转，而对应视频节目的文件又在同一磁盘上，速度就会变得更慢，给用户体验造成不良影响。

发明内容

为了能够提高系统磁盘的整体读取速度，使单个磁盘的读写速度得以完全发挥，使系统能够快速及时的定位文件的位置，提高用户体验，本发明实施例提供了一种管理网络文件的方法和装置，所述技术方案如下：

一方面，本发明实施例提供了一种管理网络文件的方法，所述方法包括：

将网络文件系统中的所有网络硬盘作为统一的存储设备，将所述存储设备中的所有磁盘格式化成不同的磁盘块；

将文件划分为文件块，所述文件块的大小小于或等于所述磁盘块的大小；

将所述文件块分配到不同磁盘的磁盘块；

将所述文件块写入对应的磁盘块；

其中，所述文件块对应时码的信息，通过时码的信息来定位文件块的位置。

当用户读取所述文件块时，所述方法还包括：

根据所述文件块所对应的所述磁盘块，获取到所述文件块的存储位置，根据所述获取到的所述存储位置，实现读取数据。

所述通过时码的信息来定位文件块的位置具体包括：建立所述时码和所述文件块的对应关系。

所述方法还包括：根据用户的时码和所述时码和所述文件块的对应关系获取跳转后对应的所述文件块，根据所述文件块所对应的所述磁盘块，获取到所述文件块的存储位置，根据所述获取到的所述存储位置，实现读取数据。

再一方面，本发明实施例提供了一种管理网络文件的装置，所述装置包括：构建模块、格式化模块、划分模块、分配模块、写入模块；

所述构建模块，用于将网络文件系统中的所有网络硬盘作为统一的存储设备；

所述格式化模块，用于将所述存储设备中的所有磁盘格式化成不同的磁盘块；

所述划分模块，用于采用预创建文件的方式，根据文件的大小和所述磁盘块的大小，将文件划分为文件块；

所述分配模块，用于将所述文件块分配到不同磁盘的磁盘块；

所述写入模块，用于将所述文件块写入对应的磁盘块。

当用户读取所述文件块时，所述装置还包括：读取模块，

所述读取模块，用于根据所述文件块所对应的所述磁盘块，获取到所述文件块的存储位置，根据所述获取到的所述存储位置，实现读取数据。

所述装置还包括：建立模块，所述建立模块，用于建立所述时码和所述文件块的对应关系。

所述装置还包括：根据用户的时码和所述建立模块建立的所述时码和所述文件块的对应关系获取跳转后对应的所述文件块，根据所述文件块所对应的所述磁盘块，获取到所述文件块的存储位置，根据所述获取到的所述存储位置，实现读取数据。

本发明实施例提供的技术方案的有益效果是：

通过将文件划分为文件块，将文件块分配到不同磁盘的磁盘块，并将文件块写入对应的磁盘块，当用户读取数据时，通过文件块就可以找到相应的磁盘块，对文件块进行读取，通过上述方法，提高了系统磁盘的整体读写速度，使单个磁盘的读写速度得以完全发挥；本发明实施例还提供了根据时码来快速精确的定位文件块，对文件块进行读取，提高了用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例1提供的一种管理网络文件的方法的流程图；

图2是本发明实施例1提供的文件管理系统的示意图；

图3是本发明实施例1提供的网络磁盘组分块示意图；

图4是本发明实施例1提供的磁盘的分块示意图；

图5是本发明实施例1提供的文件块分配的示意图；

图6是本发明实施例2提供的一种管理网络文件的装置的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例1

为了能够提高磁盘的读取速度，使单个磁盘的读写速度得以完全发挥，使系统能够快速及时的定位，提高用户体验，参见图1，本发明实施例提供了一种管理网络文件的方法，具体内容如下：

步骤101：将网络文件系统中的所有网络硬盘统一为存储设备。

通常，网络文件系统包括多个播出服务器，如服务器1、服务器2、服务器3等，将播出服务器的所有网络硬盘作为一组完整的存储设备，由文件管理系统进行统一的管理，网络磁盘中包括网络磁盘组，参见图2，文件管理系统管理磁盘组1、磁盘组2、磁盘组3到磁盘组N。

步骤102：将存储设备中的所有磁盘格式化成不同的磁盘块。

其中，参见图3，存储设备包括多个网络磁盘组，每个网络磁盘组都拥有自己的网络磁盘组ID，每个网络磁盘组又分为多个磁盘，每个磁盘拥有自己的磁盘ID。其中，参见图4，每个磁盘又被格式化成多个磁盘块，每个磁盘块又有磁盘块索引，例如，磁盘1分为1-50块，索引为0-49。其中，磁盘块的大小可以采用默认值，也可以自行设置，具体实现时，本发明实施例对此不做限制。

步骤103：设置网络文件系统的块ID。

其中，网络文件系统的块ID具体是由网络磁盘组ID、磁盘ID、磁盘块索引所决定，使得根据块ID就可以知道网络磁盘组ID、磁盘ID、磁盘块索引，可以实现快速的查找。例如：网络磁盘组ID为1、磁盘ID为1、磁盘块索引为1，则这时的网络文件系统的块ID为111，也可以采取其他的设置方式，只需保证每一个块ID对应着唯一的存储位置即可，此处只是举例进行说明，具体实现时本发明实施例对此不做限制。

步骤104：将文件划分为文件块。

其中，划分原则为：采用预创建文件的方式，根据文件的大小和磁盘块的大小划分文件块，文件块的大小小于等于磁盘块的大小，其中，文件块中对应时码信息，可以根据时码信息快速定位文件块的位置。

步骤105：将文件块分配到不同磁盘的磁盘块，将网络文件系统的块ID分配给文件块。

其中，将文件块分配到不同磁盘中的磁盘块，是将文件块尽量分配到不同磁盘组中的不同磁盘的磁盘块，本发明实施例以分配到不同磁盘组中不同的磁盘中的磁盘块进行说明。参见图5，将文件块分布在不同的磁盘上，尽量避免大文件更新和读取时落在同一块硬盘上造成的读写压力，提高系统读写速度。以图5为例进行说明，即，文件1块1存储在网络磁盘组1中的磁盘1、文件1块2存储在网络磁盘组2中的磁盘1、文件1块M存储在网络磁盘组M中的磁盘1。

将网络文件系统的块ID分配给文件块，使得文件块ID和网络文件系统的块ID一致，使得通过文件块ID即可获知文件块所存放的位置，有利于快速查找。例如：由网络磁盘组1中的磁盘1中的磁盘块索引0确定的网络文件系统的块ID为110、由网络磁盘组2中的磁盘1中的磁盘块索引0确定的网络文件系统的块ID为210、由网络磁盘组3中的磁盘1中的磁盘块索引0确定的网络文件系统的块ID为310，文件1共分为3块，分别为文件1块1、文件1块2、文件1块3，则，将文件1块1放在网络磁盘组1中的磁盘1中的磁盘块的索引0中，文件1块1获取的文件块ID为110、文件1块2放在网络磁盘组2中的磁盘1中的磁盘块索引0中，文件1块2获取的文件块I D为210、同理文件1块3放在网络磁盘组3中的磁盘1的磁盘块索引0中，文件1块3获取的文件块ID为310。此处只是举例进行说明，具体实现时本发明实施例对此不做限制。

步骤106：将文件块写入对应的磁盘块中。

即，例如文件块的ID为110，由于存在对应关系，则将文件块写入磁盘组1中的磁盘1中的磁盘块0，至此，通过上述步骤完成了对网络文件的管理。此处只是举例进行说明，具体实现时本发明实施例对此不做限制。

当用户读取文件时，由于文件块和磁盘块之间存在的对应关系，即，根据文件块，可以获取到文件块具体的存储位置，根据获取到的存储位置，实现了快速读取数据。例如：当读取一个文件块时，文件块的ID为110，则知道文件块的存储位置为磁盘组1中的磁盘1中的磁盘块0，通过对存储位置的确定，就可以在磁盘组1中的磁盘1中的磁盘块0中读取到文件块110。此处只是举例进行说明，具体实现时本发明实施例对此不做限制。

其中，当文件是按照顺序读取时，网络文件系统可以通过预锁一块的方式来提高系统的性能，由于文件块中包含文件块信息，文件块信息中包含本文件块的ID、下一文件块的ID以及上一文件块的ID，即当用户读取当前块的数据时，系统已经将下一块的数据准备好，提高了系统读取数据的速度。

其中，为了适应视频文件的需求，本发明实施例还提供了可以根据时码来实现快速跳转，从而达到用户操作的高效性，包括：建立时码和文件块的对应关系。

其中，建立时码和文件块的对应关系具体为：建立时码与文件块ID对应的链表序列。

文件块中对应时码信息，时码是用来表示当前文件播放时间的，通过时码建立一个链表，把当前文件中的所有的文件块ID链接起来，这样就可以根据时码找到相应的文件块，例如：参见表1，表1中给出了时码和文件块ID的对应关系。

表1时码和文件块ID的对应关系

时码	文件块ID
		5分钟	110
10分钟	210
		15分钟	310

即，可以确定时码跳转后对应的文件块的位置，根据获取到的存储位置，读取数据。例如：当前的视频播放时间为5分钟，播放的是文件块110，若想看第15分钟的视频，通过对应关系，可以获得视频15分钟时的文件块ID为310，根据文件块ID310就可以获知文件块310存储在网络磁盘组3中的磁盘1中的磁盘块0，找到存放的位置，读取数据。此处只是举例进行说明，具体实现时本发明实施例对此不做限制。

综上所述，通过将文件划分为文件块，将文件块分配到不同磁盘的磁盘块，并将文件块写入对应的磁盘块，当用户读取数据时，通过文件块就可以找到相应的磁盘块，对文件块进行读取，通过上述的方法，提高了系统磁盘的整体读写速度，使单个磁盘的读写速度得以完全发挥，根据时码跳转时系统能够快速及时的定位，节省了时间。

实施例2

本发明实施例还提供了一种管理网络文件的装置，参见图6，该装置包括：构建模块201、格式化模块202、获取模块203、划分模块204、分配模块205、写入模块206；

构建模块201，用于将网络文件系统中的所有网络硬盘作为统一的存储设备。

格式化模块202，用于将存储设备中的所有磁盘格式化成不同的磁盘块。

获取模块203，用于获取网络文件系统的块ID。

其中，获取模块具体包括：根据网络磁盘组ID、磁盘ID、磁盘块索引获取所述网络文件系统的块ID。

划分模块204，用于采用预创建文件的方式，根据文件的大小和磁盘块的大小，将文件划分为文件块。

分配模块205，用于将文件块分配到不同磁盘的磁盘块中。

写入模块206，用于将文件块写入对应的磁盘块。

当用户读取文件块时，装置还包括：读取模块，

读取模块，用于根据文件块所对应的磁盘块，获取到文件块的存储位置，根据获取到的存储位置，实现读取数据。

装置还包括：建立模块，

建立模块，用于建立时码和文件块的对应关系，具体为：建立时码与文件块ID对应的链表序列，根据链表序列查找跳转后对应的文件块ID，根据文件块ID所对应的网络文件系统的块ID，获取到文件块的存储位置，根据获取到的存储位置，实现读取数据。

综上所述，本发明实施例提供了一种管理网络文件的装置，通过将文件划分为文件块，将文件块分配到不同磁盘的磁盘块，并将文件块写入对应的磁盘块，当用户读取数据时，通过文件块就可以找到相应的磁盘块，对文件块进行读取，提高了系统磁盘的整体读写速度，使单个磁盘的读写速度得以完全发挥，根据时码跳转时系统能够快速及时的定位，节省了时间。

以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种管理网络文件的方法，其特征在于，所述方法包括：

将网络文件系统中的所有网络硬盘作为统一的存储设备，将所述存储设备中的所有磁盘格式化成不同的磁盘块；

将文件划分为文件块，所述文件块的大小小于或等于所述磁盘块的大小；

将所述文件块分配到不同磁盘的磁盘块；

将所述文件块写入对应的磁盘块；

其中，所述文件块对应时码的信息，通过时码的信息来定位文件块的位置。

2.如权利要求1所述的方法，其特征在于，当用户读取所述文件块时，所述方法还包括：

根据所述文件块所对应的所述磁盘块，获取到所述文件块的存储位置，根据所述获取到的所述存储位置，实现读取数据。

3.如权利要求1所述的方法，其特征在于，所述通过时码的信息来定位文件块的位置具体包括：建立所述时码和所述文件块的对应关系。

4.如权利要求3所述的方法，其特征在于，所述方法还包括：根据用户的时码和所述时码和所述文件块的对应关系获取跳转后对应的所述文件块，根据所述文件块所对应的所述磁盘块，获取到所述文件块的存储位置，根据所述获取到的所述存储位置，实现读取数据。

5.一种管理网络文件的装置，其特征在于，所述装置包括：构建模块、格式化模块、划分模块、分配模块、写入模块；

所述构建模块，用于将网络文件系统中的所有网络硬盘作为统一的存储设备；

所述格式化模块，用于将所述存储设备中的所有磁盘格式化成不同的磁盘块；

所述划分模块，用于采用预创建文件的方式，根据文件的大小和所述磁盘块的大小，将文件划分为文件块；

所述分配模块，用于将所述文件块分配到不同磁盘的磁盘块；

所述写入模块，用于将所述文件块写入对应的磁盘块。

6.如权利要求5所述的装置，其特征在于，当用户读取所述文件块时，所述装置还包括：读取模块，

所述读取模块，用于根据所述文件块所对应的所述磁盘块，获取到所述文件块的存储位置，根据所述获取到的所述存储位置，实现读取数据。

7.如权利要求5所述的装置，其特征在于，所述装置还包括：建立模块，所述建立模块，用于建立所述时码和所述文件块的对应关系。

8.如权利要求5所述的装置，其特征在于，所述装置还包括：根据用户的时码和所述建立模块建立的所述时码和所述文件块的对应关系获取跳转后对应的所述文件块，根据所述文件块所对应的所述磁盘块，获取到所述文件块的存储位置，根据所述获取到的所述存储位置，实现读取数据。

Images