CN103297807A

CN103297807A - 一种基于hadoop平台的提高视频转码效率的方法

Info

Publication number: CN103297807A
Application number: CN2013102499645A
Authority: CN
Inventors: 何震宇; 葛百根; 史梦龙; 胡文毅; 薛鸿杰
Original assignee: Shenzhen Graduate School Harbin Institute of Technology
Current assignee: Shenzhen Graduate School Harbin Institute of Technology
Priority date: 2013-06-21
Filing date: 2013-06-21
Publication date: 2013-09-11

Abstract

本发明提供了一种基于hadoop平台的提高视频转码效率的方法，一种基于hadoop平台提高视频自适应技术效率的技术，通过hadoop平台对视频文件进行存储分割处理，然后对分割产生的视频片段进行FFmpeg转码，再把转码结果交付给HDFS进行视频片段合并，至此高效率的完成大宗视频数据的转码任务。本发明基于hadoop平台的视频自适应技术之高效视频转码，视频转码速度快，网络带宽流量消耗低，负载平衡处理得当，转码耗时减少明显。

Description

一种基于hadoop平台的提高视频转码效率的方法

技术领域

本发明涉及一种提高视频自适应效率的技术，尤其涉及一种基于hadoop（分布式系统基础架构）平台的视频转码的技术。

背景技术

视频服务作为一种典型的网络服务，具有广阔的市场发展规模和极大的发展潜力。但是视频处理要求的计算能力比较高，视频的编解码、实时处理等都需要大量的空域频域的变换，本身又要求的时效性比较强，对计算能力提出了很大的挑战。互联网和手机网络的不断发展以及多媒体平台的增多，对内容格式的要求也不尽相同，对视频的编码格式、编码规格、帧率、分辨率等要求迥异，因此对视频文件的转码变得必不可少。

传统的视频转码大多是在单机服务器或者采用分布式转码方案。这些方法虽然也能达到视频转码的目的，但是随着网络视频的爆炸性增长，这些方法变得捉襟见肘，传统的单机服务器式的转码方法由于自身性能的好坏而限制了转码时间，并且在高并发转码任务面前显得力不从心；当前大多采用的分布式转码方案，虽说解决了单机转码的高并发瓶颈，但是这类转码方案的实现十分复杂，视频分段的同步问题和视频分段后的合并问题十分显著，很难把握。

在对视频进行转码的时候，虽然采用分布式转码能承受高并发转码任务，但是负载不平衡、分段同步和视频合并问题突出，一些分布式转码策略试图解决这个问题，使它能有较高较好的转码效果，但是在网络带宽流量方面花费很大；在转码数据的分配方面造成负载失衡，出现了热点问题。

基于此，本发明在继续采用分布式转码策略的同时，基于hadoop平台，在HDFS（分布式文件系统）文件系统上解决分段同步和视频合并的难题，在减少带宽流量的同时大幅减少转码耗费的时间。

hadoop是一个开发和运行处理大规模数据的软件平台,实现在大量计算机组成的集群中对海量数据进行分布式计算。其最核心设计就是：HDFS和MapReduce。HDFS提供了海量数据的存储,MapReduce提供了对数据的计算。

发明内容

本发明解决的技术问题是：构建一种提高视频自适应技术的效率的方法，克服现有视频转码方面的高并发、视频分段同步、视频合并、网络带宽流量耗费大、负载失衡的问题。

一种基于hadoop平台的提高视频转码效率的方法，包括如下步骤：

步骤100：视频作业配置模块处理用户输入的视频处理配置信息，将视频处理任务打包成作业对象发送给作业队列管理模块，然后视频作业配置模块通知视频分割模块将原始视频进行分割；

步骤200：视频分割模块分割好视频后，将分割结果送给视频传输模块；

步骤300：视频传输模块将分割好的文件上传到分布式文件系统HDFS；

步骤400：作业队列管理模块监控作业队列，从作业队列中取出作业对象，构造出和作业对象对应的并行框架作业，上传到计算框架MapReduce(分布式数据处理编程模型，用于大规模数据集的并行运算)；

步骤500：计算框架MapReduce根据框架作业对上传到HDFS上的视频分片进行转码操作和合并操作；

步骤600：一个视频作业完成后，MapReduce通知作业队列管理模块，将作业对象从作业队列中删除；

步骤700：作业队列管理模块将视频转码后的视频的信息存入数据库。

作为本发明的进一步改进，视频分割时，通过文件总帧数和分割片段的个数来估算文件的大致的截断位置，然后遍历文件的时间标签，查找截断点的精确位置。

作为本发明的进一步改进，视频分割时，增加或者删除前一个或者后一个gop的一些帧。

作为本发明的进一步改进，视频转码时，以流的形式打开视频，除了视频流外还有音频流，然后通过视频文件流的特定标志将视频画面的信息包取出，当包可以组成一个视频帧的时候，获取视频流及其格式信息，取得相应的解码器进行解码，再取得目标格式的编码器将解码后的视频帧重新编码，循环此过程到所有的视频帧处理完毕。

作为本发明的进一步改进，在压缩视频帧解码后，调用多个视频解码器对解码后的视频帧进行编码。在处理视频帧时，不对每种要转换的目标格式进行视频解码，而是在压缩视频帧解码后，调用多个视频编码器，对解码后的视频帧进行编码。

作为本发明的进一步改进，步骤500中，hadoop平台调用map()[映射函数：对一些独立元素组成的概念上的列表的每一个元素进行指定的高度并行的操作]和转码功能，对视频片段进行转码，生成的视频片段转码结果交付给reduce()[化简函数：对一个列表的元素进行适当的高度并行的合并操作]进行合并操作，然后把合并后的视频上传到HDFS文件系统。

作为本发明的进一步改进，视频转码的工作在map()函数完成，map()函数的工作流程如下：map()函数接收到键值对<视频文件名,文分片位置>，并从中解析出视频分片在HDFS上的存储位置，然后将视频分片下载到本地，调用转码功能，在本地完成转码工作；然后，map()函数输出的键值对<视频文件名，转码后视频分片位置>。

作为本发明的进一步改进，reduce()函数接收map()函数传递过来的转码视频分片位置信息，获取键值对，从目标节点将转码视频分片下载到本地文件夹，调用Mencoder方法对转码后的视频片段进行合并，然后将结果上传至HDFS，转码后的视频信息存储在数据库中。

作为本发明的进一步改进，步骤700中作业队列管理模块将视频转码后的视频的格式、位置信息存入数据库。

作为本发明的进一步改进，在转码之前首先进行分割，转码任务由map()函数调用转码命令行进行，并行分配转码任务，并把任务本地化。

本发明大幅度减小了现有的在单机转码的时间耗费量和不能承受高并发转码任务，降低了现有的分布式转码的复杂度，把分段同步和断后合并的问题交给了系统视频处理模块处理；

视频文件均匀的分配在集群的各个节点上；实现负载平衡，防止热点的出现；

视频计算任务分配在数据块所在的TaskTracker[任务跟踪：负责某一个map或者reduce任务]节点上，减少了网络带宽流量。

本发明基于hadoop平台的视频自适应效率提高技术，通过hadoop平台，在HDFS框架下进行视频转码，包括视频的传输、视频的分割、视频转码以及视频合并。本发明基于hadoop平台的提高视频自适应效率的技术，视频转码快速、存储廉价、可扩展、高容错，数据密集型任务，在hadoop平台下充分利用计算资源，是的视频自适应技术的效率得到大幅提升。

附图说明

图1为本发明的流程图；

图2为本发明视频分割处理流程图；

图3为本发明的视频转码示意图；

图4为本发明的视频处理示意图；

图5为本发明使用的map处理流程；

图6为本发明使用的reduce处理流程。

文中的部分英文解释如下：

FFmpeg项目的名称来自MPEG视频编码标准，前面的"FF"代表"FastForward"，MPEG的全名为[Moving Pictures Experts Group]，中文译名是动态图像专家组；

GOP（Group of Pictures）画面组；

Mencoder(media encoder)一款视频处理软件；

具体实施方式

下面结合附图对本发明做进一步说明。

如图1所示，一种基于hadoop平台的提高视频转码效率的方法，包括如下步骤：

步骤100：视频作业配置模块处理用户输入的视频处理配置信息，将视频处理任务打包成作业对象发送给作业队列管理模块，然后视频作业配置模块通知视频分割模块将原始视频进行分割。

步骤200：视频分割模块分割好视频后，将分割结果送给视频传输模块。

步骤300：视频传输模块将分割好的文件上传到分布式文件系统HDFS。

步骤400：作业队列管理模块监控作业队列，从作业队列中取出作业对象，构造出和作业对象对应的并行框架作业，上传到计算框架MapReduce。

步骤500：MapReduce计算框架根据框架作业对上传到HDFS上的视频分片进行转码操作和合并操作。

步骤600：一个视频作业完成后，MapReduce通知作业队列管理模块，将作业对象从作业队列中删除。

步骤700：作业队列管理模块将视频转码后的视频的格式位置等信息存入数据库。

视频转码系统主要处理的事务可以分3类：视频处理、文件传输和分布式计算。视频处理包括视频分割、视频转码、视频合并；文件传输包括本地文件到分布式文件系统的上传与下载和Hadoop集群各个节点之间的文件传输；分布式计算实现分布式转码功能。

如图2所示，本发明的视频分割具体实施过程如下：常见的基于时间的分割就是遍历文件依次读取音视频帧，然后再对比时间标签，截取某一时间段的所有视频帧。但是遍历文件是一个比较耗时的过程，又因为遍历的目的就是为了取得时间标签，时间标签在文件中又是线性的分布，因此本发明通过文件总帧数和分割片段的个数来估算大致的截断位置，再去遍历时间标签，精确截断位置。视频的编码顺序和显示顺序不一致，并且在视频编码的各个帧之间也存在着依赖关系，在视频分割的时候就要考虑增删前一个或者后一个gop的一些帧。

如图3所示，本发明的视频转码具体实施过程如下：以流的形式打开视频，除了视频流外还有音频流等其他信息流。然后通过视频文件流的特定标志将视频画面的信息包取出，当包可以组成一个视频帧的时候，获取视频流及其格式信息，取得相应的解码器进行解码，再取得目标格式的编码器将解码后的视频帧重新编码，循环此过程到所有的视频帧处理完毕。

本发明在处理视频帧这个环节中不对每种要转换的目标格式进行视频解码，而是在压缩视频帧解码后，调用多个视频编码器，对解码后的视频帧进行编码。达到一次解码，多次编码的目的，这样本发明就提高了视频转码系统的利用效率，节约了转码时间。

如图4所示，本发明的视频处理具体实施过程如下：原始视频提交给本地系统服务器后，由本地系统调用分割功能进行分割操作，生成的视频片段再上传给hadoop平台的HDFS文件系统，hadoop平台调用map和转码功能，对视频片段进行转码，生成的视频片段转码结果交付给reduce进行合并操作，然后把合并后的视频上传到HDFS文件系统。视频转码的工作在map()函数完成，map()函数的工作流程如图5所示，由于视频片段在HDFS上存储，转码前需要把视频片段下载到本地，map()函数通过键值对解析出视频片段的存储位置后下载到本地，在本地完成转码任务，这就要涉及到图3的流程处理。

视频片段转码结束后会得到转码后的视频片段，这些视频转码后的片段就会交付给reduce()函数进行处理，reduce()函数主要完成视频的合并工作。它接收map()函数传递过来的转码视频片段位置信息，然后从目标节点把转码视频片段下载到本地文件夹，然后调用视频合并方法对视频进行合并，并把结果上传到HDFS。

在视频分割和转码的过程中，视频的PTS[Presentation Time Stamp:解码时间戳,主要用于度量解码后的视频帧什么时候被显示出来]和DTS[Decode Time Stamp:显示时间戳,主要是标识读入内存中的比特流在什么时候开始送入解码器中进行解码]信息一直保持没变，这就给视频的合并工作带来了方便，使得视频合并变得简单，只需要顺序读取视频片段文件追加成一个文件就行。在视频分割的时候已经考虑到各个视频的片段中可能出现的多余和丢失帧的情况，所以合并的时候可以做到重复帧和跳帧的情况。

至此，就完成了视频后处理方面的工作，视频数据流就可以传输给终端播放器。

本发明的优选实施方式中，视频上传到hadoop平台的HDFS文件系统中，在转码之前首先进行分割，转码任务由map()函数调用转码命令行进行，并行分配转码任务，并把任务本地化。

图5：本发明的视频转码开发是基于本地文件系统的，视频分片是存储在HDFS上的，因此本发明在转码工作进行前需要将视频分片文件从HDFS上下载到本地。如图5，map()函数接收到键值对<视频文件名,文分片位置>，并从中解析出视频分片在HDFS上的存储位置，然后将视频分片下载到本地，调用转码功能，在本地完成转码工作。然后，map()函数输出的键值对<视频文件名，转码后视频分片位置>。为了减少系统开销，本发明中不把转码后的视频分片作为中间键值对，而是将其位置作为中间键值对。

图6：因为视频在分割和转码的过程中都没有改变视频的PTS和DTS信息，所以视频合并的工作比较简单，顺序读取视频分片文件，追加成一个文件即可。如图6所示，reduce()函数接收map()函数传递过来的转码视频分片位置信息，获取键值对，从目标节点将转码视频分片下载到本地文件夹，调用Mencoder方法对转码后的视频片段进行合并，然后将结果上传至HDFS。转码后的视频信息存储在数据库中。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims

1.一种基于hadoop平台的提高视频转码效率的方法，其特征在于：

包括如下步骤：

步骤400：作业队列管理模块监控作业队列，从作业队列中取出作业对象，构造出和作业对象对应的并行框架作业，上传到计算框架MapReduce；

2.根据权利要求1所述的一种基于hadoop平台的提高视频转码效率的方法，其特征在于：视频分割时，通过文件总帧数和分割片段的个数来估算文件的大致的截断位置，然后遍历文件的时间标签，查找截断点的精确位置。

3.根据权利要求2所述的一种基于hadoop平台的提高视频转码效率的方法，其特征在于：视频分割时，增加或者删除前一个或者后一个gop的一些帧。

4.根据权利要求1所述的一种基于hadoop平台的提高视频转码效率的方法，其特征在于：视频转码时，以流的形式打开视频，除了视频流外还有音频流，然后通过视频文件流的特定标志将视频画面的信息包取出，当包可以组成一个视频帧的时候，获取视频流及其格式信息，取得相应的解码器进行解码，再取得目标格式的编码器将解码后的视频帧重新编码，循环此过程到所有的视频帧处理完毕。

5.根据权利要求4所述的一种基于hadoop平台的提高视频转码效率的方法，其特征在于：在压缩视频帧解码后，调用多个视频解码器对解码后的视频帧进行编码。

6.根据权利要求1所述的一种基于hadoop平台的提高视频转码效率的方法，其特征在于：步骤500中，hadoop平台调用map()和转码功能，对视频片段进行转码，生成的视频片段转码结果交付给reduce()进行合并操作，然后把合并后的视频上传到HDFS文件系统。

7.根据权利要求6所述的一种基于hadoop平台的提高视频转码效率的方法，其特征在于：视频转码的工作在map()函数完成，map()函数的工作流程如下：map()函数接收到键值对<视频文件名,文分片位置>，并从中解析出视频分片在HDFS上的存储位置，然后将视频分片下载到本地，调用转码功能，在本地完成转码工作；然后，map()函数输出的键值对<视频文件名，转码后视频分片位置>。

8.根据权利要求7所述的一种基于hadoop平台的提高视频转码效率的方法，其特征在于：reduce()函数接收map()函数传递过来的转码视频分片位置信息，获取键值对，从目标节点将转码视频分片下载到本地文件夹，调用Mencoder方法对转码后的视频片段进行合并，然后将结果上传至HDFS，转码后的视频信息存储在数据库中。

9.根据权利要求1所述的一种基于hadoop平台的提高视频转码效率的方法，其特征在于：步骤700中作业队列管理模块将视频转码后的视频的格式、位置信息存入数据库。

10.根据权利要求1所述的一种基于hadoop平台的提高视频转码效率的方法，其特征在于：在转码之前首先进行分割，转码任务由map()函数调用转码命令行进行，并行分配转码任务，并把任务本地化。