CN105516548A - 一种文件预读方法及装置 - Google Patents

Abstract

本申请提供了一种文件预读方法及装置，包括：确定需要读取的文件；所述文件由若干分条数据组成，每个分条包括N份原始数据和M份校验数据；向数据服务器发送读取当前分条的N+M份数据的请求；待收到最快响应的N份数据后，将剩余的M份置为超时；根据获取到的N份数据重构所述分条数据，将所述分条数据放入缓存。本申请所提供的文件预读方法及装置，在读取文件时同时读取N+M份数据，在收到最快响应的N份数据后，根据所述N份数据重构得到所述分条数据，按照响应最快的N份作为读数据时长，相比现有技术缩短了读数据时长，提高了文件读取速度。

Description

一种文件预读方法及装置

技术领域

本申请涉及电视台文件化后期制作技术领域，尤其涉及一种文件预读方法及装置。

背景技术

在电视台文件化后期制作系统中，非线性编辑软件在编辑过程中需要通过以太网络从核心存储系统中读取节目视音频文件，对于较为复杂的节目(如环绕声节目)，需要并发读取8个甚至更多的音频文件并做出快速响应。现有技术中顺序读取数据可以用预读方式，在真正读数据之前，先读出即将要读的数据放入缓存中，真正读数据时从缓存中读取，这样可以比直接从磁盘中读取数据要快很多。

以环绕声节目为例，电视台非线性编辑软件在编辑播放视音频文件时，通常提前1秒预先读取8路音频文件，在切换时首先读取2M来播放，以提高数据读取速度。然而，如果1秒内不能把8个音频的2M数据读取到，在播放过程中就会出现音频卡顿现象。

现有技术不足在于：

目前部分核心存储系统存在小数据读取效率瓶颈，导致在非编软件中编辑播放节目时出现声音卡顿的现象。

发明内容

本申请实施例提出了一种文件预读方法及装置，以解决现有技术中非编软件通过核心存储系统编辑播放节目时出现声音卡顿现象的技术问题。

本申请实施例提供了一种文件预读方法，包括如下步骤：

步骤101、确定需要读取的文件；所述文件由若干分条数据组成，每个分条包括N份原始数据和M份校验数据；

步骤102、向数据服务器发送读取当前分条的N+M份数据的请求；

步骤103、待收到最快响应的N份数据后，将剩余的M份置为超时；

步骤104、根据获取到的N份数据重构所述分条数据，将所述分条数据放入缓存。

本申请实施例提供了一种文件预读装置，包括：

文件确定模块，用于确定需要读取的文件；所述文件由若干分条数据组成，每个分条包括N份原始数据和M份校验数据；

发送模块，用于向数据服务器发送读取当前分条的N+M份数据的请求；

处理模块，用于待收到最快响应的N份数据后，将剩余的M份置为超时；

缓存模块，用于根据获取到的N份数据重构所述分条数据，将所述分条数据放入缓存。

有益效果如下：

本申请实施例所提供的文件预读方法及装置，确定需要读取的文件，向数据服务器发送读取当前分条的N+M份数据的请求；待收到最快响应的N份数据后，将剩余的M份置为超时；根据获取到的N份数据重构所述分条数据，将所述分条数据放入缓存。由于本申请实施例在读取文件时同时读取N+M份数据，在收到最快响应的N份数据后，根据所述N份数据重构得到所述分条数据，按照响应最快的N份作为读数据时长，相比现有技术缩短了读数据时长，提高了文件读取速度，从而解决了现有技术中通过核心存储系统编辑播放节目时出现声音卡顿现象的技术问题。

附图说明

下面将参照附图描述本申请的具体实施例，其中：

图1示出了本申请实施例中文件预读方法实施的流程示意图；

图2示出了本申请实施例中预读与正常读并发的流程示意图；

图3示出了本申请实施例中异步预读数据时的流程示意图；

图4示出了本申请实施例中文件预读的完整流程示意图；

图5示出了本申请实施例中文件预读装置的结构示意图。

具体实施方式

为了使本申请的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。并且在不冲突的情况下，本说明中的实施例及实施例中的特征可以互相结合。

发明人在发明过程中注意到：

现有技术中，顺序读数据采用的预读方法具体为，在读每一个分条后，如果该分条不是第一个分条且为顺序读，则本次启动预读。每次缓存固定n个分条，在读的位置与已经预读位置相差大于n/2个分条，则停止预读，直至读的位置与已经预读位置相差小于n/2个分条，继续启动预读。

上述预读方式对于小文件数据的读取并不起作用，主要为由于以下两个原因：

第一，512K一个分条的情况，4个分条就可以覆盖一个2M的小文件，读第一个分条时还不能启动预读，读完第二个分条才能开始预读，前两个分条都需要到磁盘中读取，多占用了一部分时间；

第二，读N份数据，按照N份中最慢的那份数据计算，只要有一份数据的磁盘回应慢，那么总时长就会很长，从而出现开始真正读数据时预读还没完成，导致预读失效的情况。

综上，现有预读方式来读取小文件数据，速度较慢，无法实现预读的目的。

针对上述不足，本申请实施例提出了一种文件预读方法及装置，针对快速读取小文件数据进行改进，缩短读数据时间以更好地满足及时性需求，下面进行说明。

图1示出了本申请实施例中文件预读方法实施的流程示意图，如图所示，所述文件预读方法可以包括如下步骤：

步骤101、确定需要读取的文件；所述文件由若干分条数据组成，每个分条包括N份原始数据和M份校验数据；

步骤102、向数据服务器发送读取当前分条的N+M份数据的请求；

步骤103、待收到最快响应的N份数据后，将剩余的M份置为超时；

步骤104、根据获取到的N份数据重构所述分条数据，将所述分条数据放入缓存。

本申请实施例中，数据存储可以是分条带的，数据读取或写入时可以充分利用不同节点上的多块硬盘，以获得更高的读写读取。具体实施中，文件可以由若干分条数据组成，每个分条又包括N+M份数据，其中N为原始数据的份数，通常根据集群数据量设置，数值可以为6、8、10、12等；M为校验数据的份数，数值可以为2。

例如：假设音频文件大小为2M(2兆)，由16个分条组成，每个条带的数据量大小为128K，每个分条又可以进一步分为10份原始数据，每个分条还包括2份校验数据。

在确定需要读取的文件之后，可以向数据服务器发送读取当前分条的N+M份数据的请求，在收到最快响应的N份数据之后，可以将剩余的M份置为超时，直接利用获取到的最快相应的N份数据重构所述分条数据。

具体实施时，可以根据现有的纠删码(EC，ErasureCoding)算法重构所述分条数据。

所述纠删码算法的基本思想是将一份数据划分为N块原始数据，基于N块原始数据冗余计算获得M块冗余校验数据，对于这N+M块数据，其中任意M块数据出错时，存储系统均可以通过重构算法恢复出原来的N块数据。

本申请实施例所提供的文件预读方法及装置，在读取文件时同时读取N+M份数据，在收到最快响应的N份数据后，根据所述N份数据重构得到所述分条数据，按照响应最快的N份数据的时长作为读数据时长，避免等待原始数据份数中最慢的那份数据，相比现有技术缩短了读数据时长，提高了文件读取速度，提高缓存命中率。

实施中，在步骤102之前，所述方法可以进一步包括：

判断所要读取的数据是否为第一个分条；

如果为第一个分条，将从第二个分条开始的预设数量的分条加入异步预读队列；

所述读取所述第一个分条与异步预读从第二个分条开始的预设数量的分条并发进行。

在本申请实施例中，可以在读第一个分条时启动异步预读操作，将读取第一个分条和异步预读后续分条这两个操作并发执行，避免现有技术中读完第二个分条才能开始预读导致占用时间较长、预读失效等问题，提高了文件读取速度。

实施中，所述异步预读从第二个分条开始的预设数量的分条，具体可以为：

判断分条索引是否小于预设分条个数变量p；其中，p为整数；

如果所述分条索引小于p，则执行步骤102至步骤104。

具体实施中，所述分条个数变量p可以根据实际业务场景进行设置，可以按照以下公式进行计算：

p＝文件数据量大小/(原始数据份数ODC*每个条带的数据量大小)。

本申请实施例中，通过预先设置分条个数变量来做优化开关，根据分条索引与所述预设分条个数变量来决定启动何种预读方式，对于前p个分条可以采用N+M份数据预读方式，以进一步提高读取速度。

实施中，如果所述分条索引大于p，则向所述数据服务器发送读取当前分条的N份数据的请求，收到N份数据响应后，将所述分条数据放入缓存。

具体实施时，如果所述分条索引大于p，即对于p个分条之后的分条，则可以读取当前分条的N份数据，不再需要读取N+M份。

实施中，所述文件可以为数据量小于2M(即2兆)的文件。

具体实施中，所述文件可以为小文件，即数据量较小的文件，具体可以为数据量小于2M的文件。对于这样的小文件来说，可以通过分条、异步预读、按份读取等来提高读取的速度，避免现有技术中出现的卡顿现象。

在具体实施时，如果文件数据量较大，每次读取N+M份数据的话，可能会增加磁盘压力，进而可能会降低读写数据速度；而对于小文件来说，由于文件本身数据量较小，N+M份数据的数据量也较小，不会影响磁盘读写速度。

为了便于本申请的实施，下面以实例进行说明。

假设读数据开始，首先读取分条数据时，判断此次读取的分条数据是否为第一个分条数据，如果是第一个分条数据，则设置预读参数，从第二个分条数据开始加入异步预读队列；

此时，系统从数据服务器中读取第一个分条数据、放入缓存并填充数据的同时，启动异步预读，从数据服务器中读取第2个至第Q个分条数据至缓存中，等待下次读取。

图2示出了本申请实施例中预读与正常读并发的流程示意图，如图所示，可以包括如下步骤：

步骤201、读分条数据；

步骤202、判断是否为第一个分条：

如果是，则执行步骤203；

如果不是，则读取当前分条，执行步骤207；

步骤203、设置预读参数，从第二个分条开始；

步骤204、加入异步预读队列；

步骤205、启动异步预读，并行执行步骤206、步骤207；

步骤206、读取第一个分条；

步骤207、读取第二个至第Q个分条；

步骤208、从数据服务器读数据；

步骤209、放入缓存并填充数据。

本申请实施例可以在读取第一个分条数据时，同时启动异步预读，使得预读和正常读并发，可以将读取文件的前几个分条数据并发读，待真正播放读数据时就可以读缓存中的分条数据，大大节省了时间。

在异步预读分条数据时，可以设置一个分条个数变量p，在文件的前p个分条数据设置优化开关，判断分条索引是否小于p：

如果分条索引大于p，则可以发送N份数据的读取请求，待响应达到N份时，即可填充读取的数据；

如果小于p，则说明是读文件的前p个分条，此时，可以同时发送N+M份数据的读取请求；判断响应数量是否达到N份，当最快的N份分条数据响应时，可以将剩余的M份分条数据设置为超时，即，按照最快的N份来计算时长。那么，如果N+M份有小于M份的分条数据的读盘响应慢，也不会影响总体的读数据时长。

其中，分条个数变量p可以按照业务场景进行设置，例如：读取的数据均为小于2M的文件，原始数据份数ODC为4，条带大小为128K，那么p值可以为：p＝2M/(4*128k)＝4。

图3示出了本申请实施例中异步预读数据时的流程示意图，如图所示，可以包括如下步骤：

步骤301、读一个分条数据；

步骤302、判断分条索引是否小于p：

如果分条索引小于p，则执行步骤303；

如果分条索引大于p，则执行步骤306；

步骤303、发送N+M份数据，直至收到N份响应；

步骤304、将剩余M份置为超时；

步骤305、用纠删码(EC，ErasureCoding)重构数据页；

步骤306、发送N份数据，直至收到N份响应；

步骤307、填充读取数据。

图4示出了本申请实施例中文件预读的完整流程示意图，如图所示，可以包括如下步骤：

步骤401、读分条数据；

步骤402、判断是否为第一个分条：

如果是，执行步骤403；

如果不是，读取当前分条，执行步骤408；

步骤403、设置预读参数，从第二个分条开始；

步骤404、加入异步预读队列；

步骤405、启动异步预读，并行执行步骤406、步骤407；

步骤406、读取第一个分条；

步骤407、读取2至Q个分条；

步骤408、判断分条索引是否小于p：

如果小于p，则执行步骤409；

如果大于p，则执行步骤410；

步骤409、发送N+M份数据；

步骤410、发送N份数据；

步骤411、待收到N份响应后，将剩余M份置为超时；

步骤412、用EC重构数据页；

步骤413、填充读取数据。

本申请实施例所提供的文件预读方法可以包括决定是否启动预读、以及预读时下盘读是读N份还是N+M份，使小文件读数据性能方面有很大提升。

本申请实施例在读小文件数据场景，相比现有技术更有效，主要有以下两个原因：

第一，本申请实施例采用预读和正常读并发方式；

第二，读小文件时同时读N+M份数据，按照最快的N份作为读数据时长。

在电视台播放音频文件时，现有方案在整个系统的带宽为800M时经常出现卡顿，而本申请实施例在整个系统带宽在1.1G、播放软件没有背景业务的情况下不卡顿，比现有方案提升1.375倍；本申请实施例在整个系统带宽在1G、播放软件由200M背景业务的情况下不卡顿，比现有方案提升1.25倍，并且可以做到有背景业务的情况下依旧不卡顿。

基于同一发明构思，本申请实施例中还提供了一种文件预读装置，由于这些设备解决问题的原理与一种文件预读方法相似，因此这些设备的实施可以参见方法的实施，重复之处不再赘述。

图5示出了本申请实施例中文件预读装置的结构示意图，如图所示，所述文件预读装置可以包括：

文件确定模块501，用于确定需要读取的文件；所述文件由若干分条数据组成，每个分条包括N份原始数据和M份校验数据；

发送模块502，用于向数据服务器发送读取当前分条的N+M份数据的请求；

处理模块503，用于待收到最快响应的N份数据后，将剩余的M份置为超时；

缓存模块504，用于根据获取到的N份数据重构所述分条数据，将所述分条数据放入缓存。

实施中，所述装置可以进一步包括：

判断模块505，用于在所述向数据服务器发送读取当前分条的N+M份数据的请求之前，判断所要读取的数据是否为第一个分条；

异步预读模块506，用于如果为第一个分条，将从第二个分条开始的预设数量的分条加入异步预读队列；所述读取所述第一个分条与异步预读从第二个分条开始的预设数量的分条并发进行。

实施中，所述异步预读模块具体可以用于判断分条索引是否小于预设分条个数变量p；其中，p为整数；如果小于p，则依次触发所述发送模块、处理模块和缓存模块。

实施中，所述发送模块可以进一步用于如果所述分条索引大于p，向所述数据服务器发送读取当前分条的N份数据的请求；所述缓存模块可以进一步用于收到N份数据响应后，将所述分条数据放入缓存。

实施中，所述文件可以为数据量小于2M的文件。

为了描述的方便，以上所述装置的各部分以功能分为各种模块或单元分别描述。当然，在实施本申请时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

Claims (10)

1.一种文件预读方法，其特征在于，包括如下步骤：

步骤101、确定需要读取的文件；所述文件由若干分条数据组成，每个分条包括N份原始数据和M份校验数据；

步骤102、向数据服务器发送读取当前分条的N+M份数据的请求；

步骤103、待收到最快响应的N份数据后，将剩余的M份置为超时；

步骤104、根据获取到的N份数据重构所述分条数据，将所述分条数据放入缓存。

2.如权利要求1所述的方法，其特征在于，在步骤102之前，进一步包括：

判断所要读取的数据是否为第一个分条；

如果为第一个分条，将从第二个分条开始的预设数量的分条加入异步预读队列；

所述读取所述第一个分条与异步预读从第二个分条开始的预设数量的分条并发进行。

3.如权利要求2所述的方法，其特征在于，所述异步预读从第二个分条开始的预设数量的分条，具体为：

判断分条索引是否小于预设分条个数变量p；其中，p为整数；

如果所述分条索引小于p，则执行步骤102至步骤104。

4.如权利要求3所述的方法，其特征在于，如果所述分条索引大于p，则向所述数据服务器发送读取当前分条的N份数据的请求，收到N份数据响应后，将所述分条数据放入缓存。

5.如权利要求1所述的方法，其特征在于，所述文件为数据量小于2M的文件。

6.一种文件预读装置，其特征在于，包括：

文件确定模块，用于确定需要读取的文件；所述文件由若干分条数据组成，每个分条包括N份原始数据和M份校验数据；

发送模块，用于向数据服务器发送读取当前分条的N+M份数据的请求；

处理模块，用于待收到最快响应的N份数据后，将剩余的M份置为超时；

缓存模块，用于根据获取到的N份数据重构所述分条数据，将所述分条数据放入缓存。

7.如权利要求6所述的装置，其特征在于，进一步包括：

判断模块，用于在所述向数据服务器发送读取当前分条的N+M份数据的请求之前，判断所要读取的数据是否为第一个分条；

异步预读模块，用于如果为第一个分条，将从第二个分条开始的预设数量的分条加入异步预读队列；所述读取所述第一个分条与异步预读从第二个分条开始的预设数量的分条并发进行。

8.如权利要求7所述的装置，其特征在于，所述异步预读模块具体用于判断分条索引是否小于预设分条个数变量p；其中，p为整数；如果小于p，则依次触发所述发送模块、处理模块和缓存模块。

9.如权利要求8所述的装置，其特征在于，所述发送模块进一步用于如果所述分条索引大于p，向所述数据服务器发送读取当前分条的N份数据的请求；所述缓存模块进一步用于收到N份数据响应后，将所述分条数据放入缓存。

10.如权利要求6所述的装置，其特征在于，所述文件为数据量小于2M的文件。