CN107370726B - 一种用于分布式媒体文件转码系统的虚拟切片方法及系统 - Google Patents

Abstract

本发明涉及多媒体处理技术领域，具体来说是一种用于分布式媒体文件转码系统的虚拟切片方法及系统，本发明是利用媒体文件视频数据中关键帧的特点，通过预设切割点的方式，查找视频的实际关键帧切割点，将视频切分的处理数据限定在两个关键帧之间，同时，切分点的位置信息记录在虚拟切片索引文件中，从而高效地完成媒体文件的转码工作。

Description

一种用于分布式媒体文件转码系统的虚拟切片方法及系统

技术领域

本发明涉及多媒体处理技术领域，具体来说是一种用于分布式媒体文件转码系统的虚拟切片方法及系统。

背景技术

伴随着互联网技术的发展，特别是移动终端的智能化，音视频在生产和生活中起着越来越重要的作用，为迎合不同的使用需求并应用于不同设备上，针对音视频的处理，出现了多种编码技术及不同的音视频文件格式。为了高效的利用多媒体资源，适应移动平台的观看需求，需要将各种编码格式转化为压缩效率更高的H.264等标准，多媒体的转码技术已成为了互联网技术中的迫切需求。

多媒体转码是将一种码流转换为另一种码流的过程，本质上是先解码，后编码。传统的多媒体转码方式是不对文件进行切片，就直接对源文件进行转码，但是一个转码任务的效率是有限的，特别是针对需要快速发布的音视频文件，低效率的转码过程并不能满足发布的要求，并且，这种问题随着音视频媒体文件时长和码率的增加更加明显。因此，出现了改进的分片转码方法，改进的方法是先对文件进行切片，如图1中的物理切片，然后对切片后的每一段视频进行分段转码，最后将转码后的多个视频片段合并作为一个文件，从而获得了最终的转码文件。

但是，使用NAS存储媒体文件时，当采用上述的改进后的切片方法进行音视频转码处理时，会出现如下几个问题：

(1)物理切片方法是从NAS文件系统中读出所有数据，查找切割点，然后将数据切分成小文件写入NAS存储中，在该过程中，源文件读出和写入均访问NAS存储，大量转码任务并行则会导致NAS存储负载高，同时占用了局域网内大量的带宽，写入被阻塞，导致IO错误，从而导致转码任务终止；

(2)在处理高清视频时，切分过程在整个转码过程中占用的时长比例很大，且随着音视频码率和音视频文件时长的递增同步递增，特别是大文件处理缓慢；

(3)因为视频数据量大，输出的切片文件经过切分后会再次写入NAS存储，切片文件占用了与源文件相同大小的存储空间，浪费NAS存储空间。

发明内容

本发明是为解决上述的现有技术中存在的问题，设计一种用于分布式媒体文件转码系统的虚拟切片方法及系统，有效减少媒体文件切分过程的IO操作及IO出错率，减少存储占用，降低转码过程中视频切分的时间耗费，构建了更加高效的分布式文件转码系统。

为了解决上述技术问题，本发明采用了如下的技术方案：

一种用于分布式媒体文件转码系统的虚拟切片方法，所述的虚拟切片方法的具体步骤如下：

S1a)：获取媒体源文件，读取用户设置的切片参数，将切片开始位置设置为t₀＝0，定义参数n,将n的初始值设置为1；

S1b)：根据用户设置的切片参数，依次查找到用户设置的切片时长间隔后的关键帧结束，将关键帧的位置定义为t_n，该段切片查找结束，记录该段切片的开始至结束的切片数据为[t_n-1,t_n)，判断是否达到媒体源文件的结尾，如果媒体源文件结束，则跳到步骤S1d；

S1c)：将步骤s1b中查找出的关键帧的结束位置作为下一段切片的开始位置，即t_n-1＝t_n，同时设置n＝n+1，重新进入步骤s1b中生成下一段关键帧开始至结束的切片数据；

S1d)：整个媒体源文件切片结束，将切片数据生成切片索引列表文件。进一步地，所述的媒体源文件在切片后进行转码合并，具体步骤为：

S2a):读取用户设置的转码参数，初始化编码器；

S2b)：转码模块从切片索引列表文件中读取切片数据作为转码任务；

S2c):根据获取的转码任务，从媒体源文件中获取视频数据，视频数据解码后再次送入编码器进行编码，生成该段切片转码后的视频片段；

S2d)根据转码任务从媒体源文件中获取与视频数据相对应的音频数据，对音频数据解码后送入编码器进行编码，生成该段切片转码后的音频数据；

S2e)合并模块读取用户配置的初始化合并模块，根据切片索引列表文件生成合并任务；

S2f)读取转码后的视频片段，在视频片段中加入转码后的音频数据，将所有的音视频文件写入到一个目标文件中，完成合并。

进一步地，所述的切片数据按切片的先后顺序保存在切片索引列表文件中。

进一步地，所述的切片索引列表文件以文本的形式进行存储。

进一步地，在切片过程中，每段切片的第一帧为关键帧。

进一步地，在媒体源文件的切片过程中，除最后一段的切片数据以外，其余每段切片数据的时长相等。

本发明还提供一种分布式媒体文件转码系统的虚拟切片系统，所述的切片系统包括切分模块、转码模块、合并模块，

所述的切分模块用于对媒体源文件进行切片，并将切片数据生成切片索引列表文件；

所述的转码模块用于对音视频数据进行转码，根据切片索引列表文件，从媒体源文件中读取需要转码的音视频数据；

所述的合并模块用于将转码得到的各段音视频数据文件合并为目标文件。

进一步地，所述的切分模块查找媒体源文件中关键帧的开始位置及结束位置，对应将媒体源文件切分成N个片段，并将各个片段的数据在切片索引列表文件中依次保存。

进一步地，所述的转码模块根据切片索引列表文件获取转码任务，从媒体源文件中分别获取视频数据及音频数据，进行解码后再次送入编码器进行编码，生成转码后的视频片段及音频数据。

进一步地，所述的合并模块根据切片信息生成合并任务，将转码后的视频片段依次连接起来，同时加入转码生成的音频数据，生成目标文件，完成合并。

本发明由于采用以上技术方案，使之与现有技术相比，具有以下的优点和积极效果：

1.不需要读取整个媒体源文件，只需要按照切片参数处理切分位置两个关键帧之间的内容，处理数据量显著降低；

2.切片时不用实际切分出物理切片，只需记录媒体文件的切分位置，即使当有大文件或大量需处理时，也能同时进行时切分、转码，显著加快了视频切片的速度；

3.利用切片索引列表文件用作后续的转码、合并处理，切片索引列表文件以文本的形式记录到NAS存储中，避免了系统大量的IO操作，节约了NAS存储空间，降低了转码内部系统的网络负载；

4.转码模块将视频数据及音频数据分离，进行并行转码，加快了转码速度，大大提高了媒体文件的转码效率，实现了媒体文件的快速转码。

附图说明

图1是本发明与物理切片的对比示意图；

图2是切片示例图；

图3是本发明的切片流程示意图；

图4是本发明转码合并流程示意图；

图5是本发明的系统结构图。

具体实施方式

以下结合附图和具体实施例对本发明提出的技术方案进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比率，仅用于方便、明晰地辅助说明本发明实施例的目的。

本发明是利用媒体文件视频中关键帧(I帧)的特点，通过预设切分点方式，查找视频的实际关键帧切分点，将视频切分的处理数据限定在两个关键帧之间，同时，切分点的位置信息记录在虚拟的切片索引文件中，从而高效地完成媒体文件的转码工作。本发明与现有的物理切片的对比示意图参见图1，从图1中可以看出，传统的物理切片的处理过程是先读入原媒体文件，然后写入到临时文件中，达到切割点时写入下一个文件，直到文件结束。该方法是从NAS存储读入整个媒体文件，然后输出物理切片放到NAS存储中，读写处理过程有大量的IO操作，在NAS存储的文件系统中，占用系统大量带宽，会导致IO阻塞和错误，并且输出切片占用与源媒体文件相同大小的NAS存储空间。而在本发明的虚拟切片过程中，每一个切片处理，仅读入参数位置点到下一个I帧之间的数据，同时仅用切片索引列表文件的文本形式保存切割位置，避免了系统大量的IO操作。如图2中所示，传统物理切片方法需要读出并写入[t_n-1,t_n]的所有数据到NAS存储，本发明的切片方法仅需要读入[t'_n,t_n]的数据，仅写入切片索引列表文件的文本到NAS存储。

实施例1

本发明中的切片方法主要是是对媒体源文件进行打点处理，记录需转码的视频中关键帧的位置，以列表的形式进行保存，从而完成虚拟化切片。现结合附图对本发明中的切分方法进行具体说明。参见图2，需转码的每个媒体源文件中都会存在关键帧(I帧)，关键帧可独立解码，且后续的P帧，B帧都参考之前的I帧，I帧决定了到下一个关键帧之前的所有图像解码是否正确，因此，本发明中的切分方法不能按照绝对的时长切分文件。为了保证媒体源文件的切分正确性，媒体源文件的切分点必须满足：每一个分段的第一帧必须是关键帧。

切分方法的具体流程可参见图3，具体步骤为：

1.首先，获取媒体源文件，读取用户设置的切片参数，切片参数可根据需要自定义，一般预设的切片参数包括切片时长、间隔、切片个数、切片后每段媒体文件的码率等，将切片开始位置设置为t₀＝0，定义一个参数n, 参数用来记录切片片段的个数，将n的初始值设置为1；

2.根据用户设置的切片参数，依次查找到用户设置的切片时长间隔后的关键帧结束，将关键帧的位置定义为t_n，例如，第一个关键帧的位置为t₁，依次类推，该段切片查找结束，记录该段切片的开始至结束的切片数据为 [t_n-1,t_n)，判断是否达到媒体源文件的结尾，如果媒体源文件结束，则跳到步骤4；

3.将步骤2中查找出的关键帧的结束位置作为下一段切片的开始位置，即 t_n-1＝t_n，同时设置n＝n+1，重新进入步骤2中生成下一段关键帧开始至结束的切片数据；

4.整个媒体源文件切片结束，切片数据按切片的先后顺序保存在切片索引列表文件中，切片索引列表文件可用作后续的转码、合并处理，其是以文本的形式记录到NAS存储中，使得后续转码过程中避免了系统大量的IO 操作。

整个媒体源文件的切片过程为一个循环过程，直到媒体源文件结束，生成切片索引列表文件为止。当虚拟切片后，再有后续的转码模块、合并模块对切分成N个小段的音视频进行转码、合并，该过程的流程示意图可参见图4，步骤如下：

1.读取用户设置的转码参数，初始化编码器；

2.转码模块从切片索引列表文件中读取切片数据作为转码任务；

3.根据获取的转码任务，从媒体源文件中获取视频数据，视频数据解码后再次送入编码器进行编码，生成该段切片转码后的视频片段；

4.根据转码任务从媒体源文件中获取与视频数据相对应的音频数据，对音频数据解码后送入编码器进行编码，生成该段切片转码后的音频数据，如音频码流等；

转码过程结束，需注意的是，本发明中的转码过程包括音频转码和视频转码，为加快转码速度，可将音频转码和视频转码当作并行转码任务，音频数据与视频数据分离转码。最后，合并模块将转码后的视频片段进行合并，并且加入音频数据，生成目标文件，该过程具体如下：

1.合并模块读取用户配置的初始化合并模块，根据切片索引列表文件生成合并任务；

2.读取转码后的视频片段，在视频片段中加入转码后的音频数据，将所有的音视频文件写入到一个目标文件中，完成合并。

至此，一个媒体源文件的切片、转码、合并过程结束，完成媒体文件的快速转码。在实际的媒体文件转码的切片处理中，本发明不需要读取整个媒体源文件，只需要处理切分位置两个关键帧之间的内容，处理数据量显著降低，显著加快了视频切片的速度，避免了系统大量的IO操作，节约了NAS存储空间，降低了分布式转码内部系统的网络负载。

实施例2

本发明还提供一种分布式媒体文件转码系统的虚拟切片系统，切片系统包括切分模块、转码模块、合并模块，其结构示意图见图5，其中，切分模块用于对媒体源文件进行切片，并将切片数据生成切片索引列表文件；转码模块用于对音视频数据进行转码，根据切片索引列表文件，从媒体源文件中读取需要转码的音视频数据；合并模块用于将转码得到的各段音视频数据文件合并为目标文件。

切分模块按照实施例1中的切分方法查找媒体源文件中关键帧的开始位置及结束位置，将媒体源文件进行切分，并将各个片段的数据在切片索引列表文件中依次保存。转码模块根据切片索引列表文件获取转码任务，从媒体源文件中分别获取视频数据及音频数据，进行解码后再次送入编码器进行编码，生成转码后的视频片段及音频数据。合并模块则根据切片信息生成合并任务，将转码后的视频片段依次连接起来，同时加入转码生成的音频数据，生成目标文件，完成合并。

切分模块将媒体源文件切分成N个小段，转码模块根据虚拟切片的结果，同时将N个片段的转码，调度到系统中不同的节点上，本系统对N个片段同时并行转码，合并模块在转码完成的基础上，将转码生成的视频片段连接起来，同时加入转码生成的音频流，生成目标文件。

实施例3

现根据上述实施例的描述进行举例说明，参见图2至图5：

假设媒体源文件时长为T，目标切片时长为T_m，则切片的第1段起始点为 t₀＝0，当间隔目标切片时长后读入媒体源文件，依次向后查找到第一个关键帧结束，检测到的第一个关键帧位置t₁，第一段查找结束，将切片的第1段表示为[t₀,t₁)；第二段从t₁开始，跳过T_m时间...依次类推，第N段则表示为[t_n-1,t_n)；当切片完成后，切片位置按切片的先后顺序保存在同一个文件中，至此，虚拟切片完成，整个视频文件被虚拟切分为

段，除最后一段时间小于T_m外，其余切片片段时长基本相等。

下表为采用本发明中的系统及切片方法与物理切片的数据对比：

从表中可以看出，当使用本发明中的发明及系统时，一部3.8GB大小的高清电影，切分耗时51.872s，NAS存储网络流量共计0.12GB，占用NAS存储空间 2.4KB，相对于传统物理切片方法，切分节约时间173.622s，NAS存储网络流量节约了7.48GB，NAS存储空间占用节约3.8GB，上述数据是NAS系统进行单个任务切分的数据，当有大量转码任务同时进行时，本发明中的虚拟切片方法的优势将会更加明显。

显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (5)

1.一种用于分布式媒体文件转码系统的虚拟切片方法，其特征在于，所述的虚拟切片方法的具体步骤如下：

S1a)：获取媒体源文件，读取用户设置的切片参数，将切片开始位置设置为t₀＝0，定义参数n,将n的初始值设置为1；

S1b)：根据用户设置的切片参数，依次查找到用户设置的切片时长间隔后的关键帧结束，将关键帧的位置定义为t_n，该段切片查找结束，记录该段切片的开始至结束的切片数据为[t_n-1，t_n)，判断是否达到媒体源文件的结尾，如果媒体源文件结束，则跳到步骤S1d；

S1c)：将步骤s1b中查找出的关键帧的结束位置作为下一段切片的开始位置，即t_n-1＝t_n，同时设置n＝n+1，重新进入步骤s1b中生成下一段关键帧开始至结束的切片数据；

S1d)：整个媒体源文件切片结束，将切片数据生成切片索引列表文件；

所述的媒体源文件在切片后进行转码合并，具体步骤为：

S2a):读取用户设置的转码参数，初始化编码器；

S2b)：转码模块从切片索引列表文件中读取切片数据作为转码任务；

S2c):根据获取的转码任务，从媒体源文件中获取视频数据，视频数据解码后再次送入编码器进行编码，生成该段切片转码后的视频片段；

其中，所述转码模块根据虚拟切片的结果，同时将N个片段的转码，调度到不同的节点上，对N个片段同时并行转码；

S2d)根据转码任务从媒体源文件中获取与视频数据相对应的音频数据，对音频数据解码后送入编码器进行编码，生成该段切片转码后的音频数据；

S2e)合并模块读取用户配置的初始化合并模块，根据切片索引列表文件生成合并任务；

S2f)读取转码后的视频片段，在视频片段中加入转码后的音频数据，将所有的音视频文件写入到一个目标文件中，完成合并。

2.根据权利要求1所述的一种用于分布式媒体文件转码系统的虚拟切片方法，其特征在于，所述的切片数据按切片的先后顺序保存在切片索引列表文件中。

3.根据权利要求1所述的一种用于分布式媒体文件转码系统的虚拟切片方法，其特征在于，所述的切片索引列表文件以文本的形式进行存储。

4.根据权利要求1所述的一种用于分布式媒体文件转码系统的虚拟切片方法，其特征在于，在所述的切片过程中，每段切片的第一帧为关键帧。

5.一种分布式媒体文件转码系统的虚拟切片系统，其特征在于，所述的切片系统包括切分模块、转码模块、合并模块；

所述的切分模块用于对媒体源文件进行切片，并将切片数据生成切片索引列表文件，并具体包括：获取媒体源文件，读取用户设置的切片参数，将切片开始位置设置为t₀＝0，定义参数n,将n的初始值设置为1；根据用户设置的切片参数，依次查找到用户设置的切片时长间隔后的关键帧结束，将关键帧的位置定义为t_n，该段切片查找结束，记录该段切片的开始至结束的切片数据为[t_n-1，t_n)，判断是否达到媒体源文件的结尾，如果媒体源文件结束，则整个媒体源文件切片结束，将切片数据生成索引列表文件；如果媒体源文件未结束，将关键帧的结束位置作为下一段切片的开始位置，即t_n-1＝t_n，同时设置n＝n+1，重新执行上述步骤生成下一段关键帧开始至结束的切片数据，直至整个媒体源文件切片结束；

所述的转码模块用于对音视频数据进行转码，根据切片索引列表文件，从媒体源文件中读取需要转码的音视频数据，并具体包括：读取用户设置的转码参数，初始化编码器；转码模块从切片索引列表文件中读取切片数据作为转码任务；根据获取的转码任务，从媒体源文件中获取视频数据，视频数据解码后再次送入编码器进行编码，生成该段切片转码后的视频片段，其中，所述转码模块根据虚拟切片的结果，同时将N个片段的转码，调度到不同的节点上，对N个片段同时并行转码；根据转码任务从媒体源文件中获取与视频数据相对应的音频数据，对音频数据解码后送入编码器进行编码，生成该段切片转码后的音频数据；

所述的合并模块用于将转码得到的各段音视频数据文件合并为目标文件，并具体包括：读取用户配置的初始化合并模块，根据切片索引列表文件生成合并任务；读取转码后的视频片段，在视频片段中加入转码后的音频数据，将所有的音视频文件写入到一个目标文件中，完成合并。

Images