CN104159126A - 基于Map-Reduce的视频转码任务调度方法 - Google Patents

Abstract

本发明为一种基于Map-Reduce的视频转码任务调度方法，构建基于宏块的MPEG-4视频解码时耗模型和基于图像帧的H.264/AVC视频编码时耗模型，以预测基于Map-Reduce的视频转码任务中的视频分片的转码时耗；以预测的转码时耗为依据，构建视频分片转码预期任务耗时矩阵ETC；以视频分片转码预期任务耗时矩阵为依据，构建转码节点预期任务完成时间矩阵ETF；以转码节点预期任务完成时间矩阵和转码时耗差异阈值β为依据，将视频转码任务分配到视频转码集群之上。

Description

基于Map-Reduce的视频转码任务调度方法

技术领域

本发明涉及一种视频转码时耗分析方法，用于估计基于Map-Reduce的视频转码任务的工作负载，并在此基础上提出一种基于转码时耗差异的任务调度算法。

背景技术

随着互联网规模的持续扩张以及网络用户的高速增长，视频点播服务已经成为当前网络应用中的热点之一。移动终端类型的多样性以及异构的网络接入方式通常会产生对不同视频格式的需求，其中包括了不同的码率、空间分辨率、时间分辨率和编码格式等参数，因此视频的高效转码技术变得必不可少。经申请人查新，基于云平台视频转码的专利有一下3篇，他们分别是：

1.一种基于hadoop平台的提高视频转码效率的方法(申请号：201310249964.5)

2.一种云环境中基于独立视频帧的视频转码方法(申请号：201110319321.4)

3.云端的视频转码方法和云服务器(申请号：201210541400.4)

上述现有专利共同存在的问题是：在对于视频进行切分时根据视频时间进行均分，而视频时长代表不了转码任务的执行时间，将导致整个视频转码时间过长；未考虑各个转码计算节点的性能的差异性，不同转码分片在不同计算节点执行的时间将不一样。

发明内容

本发明目的是降低单个视频文件转码时间的问题，以Map-Reduce并行计算框架中单个作业的任务调度为手段，提出一种视频转码时耗分析方法，用于估计视频在给定节点上的转码时间作为相应任务工作负载的基础；提出了基于转码时耗差异的任务调度算法，提高了单个视频文件的转码速率。

为达到以上目的，本发明是采取如下技术方案予以实现的：

一种基于Map-Reduce的视频转码任务调度方法，包括：

构建基于宏块的MPEG-4视频解码时耗模型和基于图像帧的H.264/AVC视频编码时耗模型，以预测基于Map-Reduce的视频转码任务中的视频分片的转码时耗；

以预测的转码时耗为依据，构建视频分片转码预期任务耗时矩阵ETC；

以视频分片转码预期任务耗时矩阵ETC为依据，构建转码节点预期任务完成时间矩阵ETF′；

以转码节点预期任务完成时间矩阵ETF′和转码时耗差异阈值β为依据，将视频转码任务分配到视频转码集群之上。

所述构建基于宏块的MPEG-4视频解码时耗模型的具体步骤是：

Step1：利用公式 $c=f(p_1,p_2,...,p_n,...p_L)=n_1\·a_1,n_2\·a_2,...,n_l\·a_l,...n_L\·a_L\≅\tilde{c}$ 估计MPEG-4视频宏块级解码时耗，其中c为估计解码时耗，p_n为解码当前输入数据的模块序列，n＝1...L，f为作用于解码模块序列的一种准确度足够的近似函数，n_l为视频码流中与模块l相关的宏块头信息，分别是宏块头信息的长度n_{header_length}和宏块中非零DCT系数的数量n_coef，a_l为模块l的解码模型参数，为实际解码时耗；

Step2：假设已知输入视频数据码流宏块头信息向量n，利用公式 $\left.\begin{array}{c}{\tilde{c}}_1=n_{\mathrm{1,1}}\·a_1,n_{\mathrm{1,2}}\·a_2,...,n_{1,l}\·a_l,...n_{1,L}\·a_L\\ {\tilde{c}}_2=n_{\mathrm{2,1}}\·a_1,n_{\mathrm{2,2}}\·a_2,...,n_{2,l}\·a_l,...n_{2,L}\·a_L\\ ...=...\\ {\tilde{c}}_H=n_{K,1}\·a_1,n_{K,2}\·a_2,...,n_{H,l}\·a_l,...n_{H,L}\·a_L\end{array}\right\}\⇒{\tilde{C}}_{\mathrm{decode}}=N\·A,$ 其中为H个宏块样本的实际解码时耗矩阵，为H×1阶，N为H个宏块样本的L个模块信息矩阵，为H×L阶，A为模型参数向量，通过一个应用于包含H个所选平台上测试H个样本实际解码时耗集合的线性回归方法求得A，

所述模块序列为可变长解码模块(Variable Length Decoding,VLD)、反量化模块(Inverse Quantization,IQ)、反离散余弦变换模块(Inverse DCT,IDCT)和动态补偿模块(Motion Compensation,MC)。

所述构建基于图像帧的H.264/AVC视频编码时耗模型的具体步骤是：

Step1：利用公式C_encode＝C_dependent+C_independent＝K×Length+C_independent估计H.264/AVC视频图像帧级编码时耗，其中C_dependent为与源码流中图像帧长相关的部分，C_independent为与帧长不相关的部分，C_encode为图像帧编码计算复杂度，K为图像帧个数、C_independent为编码时耗模型参数，Length为解码前图像帧长度；

Step2：记录解码前码流中K个图像帧长度Length_k以及编码时耗其中k＝1,...,K，利用公式 $\begin{array}{c}{C}_{\mathrm{encode}}=K\×\mathrm{Length}+C_{\mathrm{independent}}\\ \⇒\left\{\begin{array}{c}K=({(\mathrm{Length}\×C_{\mathrm{encode}})}_{\mathrm{avr}}-{\mathrm{Length}}_{\mathrm{avr}}\×C_{{\mathrm{encode}}_{\mathrm{avr}}})/({\left({\mathrm{Length}}^2\right)}_{\mathrm{avr}}-{\left({\mathrm{Length}}_{\mathrm{avr}}\right)}^2)\\ C_{\mathrm{independent}}=C_{{\mathrm{encoe}}_{\mathrm{avr}}}=K\×{\mathrm{Length}}_{\mathrm{avr}}\end{array}\right.\end{array},$ 其中为K个图像帧编码时耗的算术平均，Length_avr为K个图像帧长度的算术平均，通过最小平方法计算K、C_independent的最佳拟合值。

所述预测基于Map-Reduce的视频转码任务中的视频分片的转码时耗的具体步骤是：

Step1：采集测试视频序列样本中不同类型宏块头信息中的n_coef和n_{header_length}以及不同类型帧的长度，针对具体不同的类型记录宏块级的解码时耗和图像帧级的编码时耗；

Step2：构建宏块样本实际时耗矩阵和宏块头信息矩阵N，使用矩阵形式的最小二乘法最小化表达式计算解码时耗模型参数向量A；

Step3：构建图像帧编码时耗集合C_encode和图像帧帧长集合Length，使用最小平方法拟合最佳编码时耗模型参数K、C_independent；

Step4：分析输入视频序列中当前图像帧的帧长及所包含的的全部宏块头信息，根据模型参数分别计算当前图像帧的估计解码和编码时耗，循环计算直至得到视频序列中所有图像帧的解码和编码时耗，求和得到输入视频序列的转码时耗。

所述构建视频分片转码预期任务耗时矩阵ETC利用如下公式进行计算：ETC(i,j)＝c_i/p_j+t_overhead+S_i/BW_ij

设分片数为n个，转码节点为m个，其中ETC(i,j)为第i个分片在第j节点上转码的预期任务耗时，i＝1...n，j＝1...m，c_i为第i个分片的转码时耗，即，第i个分片在m个转码节点中所选的某个节点上转码的预期转码时间，p_j为第j个节点的转码能力，通过转码历史记录归一化得到，将同一视频分别在m个节点上执行转码操作，在保证软件环境相同的情况下记录每个节点上的转码时间，记确定c_i过程中所选节点的转码能力为1，则其他节点的转码能力表示为所选节点转码时间与相应节点转码时间的比值，t_overhead为Map任务的启动延迟，S_i为第i个分片的文件大小，BW_ij为第i个分片的存储节点与计算节点j之间的通信带宽；

所述构建转码节点预期任务完成时间矩阵ETF′利用如下公式进行计算： 含义为第j节点上分片集合θ_j的预期任务完成时间。

所述以转码节点预期任务完成时间矩阵ETF′和转码时耗差异阈值β为依据，将视频转码任务分配到视频转码集群之上，具体步骤如下：

Step1：初始化参数：转码时耗差异阈值β＝5；

Step2：利用公式φ_cur＝C_max/C_min计算未分配视频分片转码时耗差异φ_cur，其中C_max为当前未分配任务中视频转码时耗的最高值，C_min为当前未分配任务中视频转码时耗的最低值；

Step3：如果φ_cur≥β，则跳至Step4；否则跳至Step7；

Step4：针对未进行转码任务的视频分片集合U，计算最小视频分片转码预期任务耗时集合Min＝{min_o≤j＜m(ETC(i,j))},i∈U；

Step5：按照Min中视频分片和转码节点的映射关系，独立计算各视频分片分配给其最小转码预期任务耗时节点后各节点的预期任务完成时间0≤j＜m，选取最大的节点所对应的视频分片按照Min中映射关系完成本次任务分配；

Step6：将新分配的视频分片从U中移除，如果U为空，则跳至结束；否则跳至Step2；

Step7：针对未进行转码任务的视频分片集合U，计算最小视频分片转码预期任务耗时集合Min＝{min_o≤j＜m(ETC(i,j))},i∈U；

Step8：按照Min中视频分片和转码节点的映射关系，独立计算各视频分片分配给其最小转码预期任务耗时节点后各节点的预期任务完成时间0≤j＜m，选取最小的节点所对应的视频分片按照Min中映射关系完成本次任务分配；

Step9：将新分配的视频分片从U中移除，如果U为空，则结束；否则跳至Step7。

与现有技术相比，本发明的优点是：

1、构建基于宏块的MPEG-4视频解码时耗模型和基于图像帧的H.264/AVC视频编码时耗模型，以预测基于Map-Reduce的视频转码任务中的视频分片的转码时耗。目的是实现每个视频分片的转码时耗相同。

2、以预测的转码时耗为依据，构建视频分片转码预期任务耗时矩阵ETC；以视频分片转码预期任务耗时矩阵为依据，构建转码节点预期任务完成时间矩阵ETF。考虑不同转码节点的性能对于同一视频切片转码时间的不同。

3、提出了基于转码时耗差异的任务调度算法，提高了单个视频文件的转码速率。

附图说明

图1是基于Map-Reduce的视频转码系统架构图。

图2是基于宏块的MPEG-4视频解码时耗模型。

具体实施方式

下面结合附图及具体实施方式对本发明的内容作进一步详细说明。

本发明系统架构参考图1所示，视频转码系统主要包括4类组件：视频处理类、视频作业调度类、视频传输类及信息管理类。视频处理类组件实现视频分割、视频转码时耗分析、视频转码和视频合并功能；视频作业调度类实现作业队列管理及作业中任务调度功能；视频传输类包括本地文件系统和Hadoop文件系统的数据传输以及Hadoop集群节点间的数据传输；信息管理类用于记录原始视频和转码后视频的相关信息。视频转码作业提交给系统后，通知视频分割模块分割视频并进行转码时耗分析，之后将视频分片上传至HDFS；视频作业队列管理模块负责监控作业队列，从作业队列中取出作业对象，视频作业调度模块监控任务队列，从任务队列中选取任务对象，交由Map-Reduce并行计算框架处理；视频转码和合并模块完成视频分片的转码和合并操作，完成视频转码作业。

本发明任务调度方法，先构建基于宏块的MPEG-4视频解码时耗模型和基于图像帧的H.264/AVC视频编码时耗模型，以预测基于Map-Reduce的视频转码任务中的视频分片的转码时耗；然后以预测的转码时耗为依据，构建视频分片转码预期任务耗时矩阵ETC；再以视频分片转码预期任务耗时矩阵ETC为依据，构建转码节点预期任务完成时间矩阵ETF′；最后以转码节点预期任务完成时间矩阵ETF′和转码时耗差异阈值β为依据，将视频转码任务分配到视频转码集群之上。

本发明转码耗时模型参考图2所示：

构建基于宏块的MPEG-4视频解码时耗模型的具体步骤是：

Step1：利用公式 $c=f(p_1,p_2,...,p_n,...p_L)=n_1\·a_1,n_2\·a_2,...,n_l\·a_l,...n_L\·a_L\≅\tilde{c}$ 估计MPEG-4视频宏块级解码时耗，其中c为估计解码时耗，p_n为解码当前输入模块序列，f为作用于解码模块序列的一种准确度足够的近似函数，n_l为视频码流中与模块l相关的宏块头信息，分别是宏块头信息的长度n_{header_length}和宏块中非零DCT系数的数量n_coef，a_l为模块l的解码模型参数，为实际解码时耗；

Step2：假设已知输入视频数据码流宏块头信息向量n，利用公式 $\left.\begin{array}{c}{\tilde{c}}_1=n_{\mathrm{1,1}}\·a_1,n_{\mathrm{1,2}}\·a_2,...,n_{1,l}\·a_l,...n_{1,L}\·a_L\\ {\tilde{c}}_2=n_{\mathrm{2,1}}\·a_1,n_{\mathrm{2,2}}\·a_2,...,n_{2,l}\·a_l,...n_{2,L}\·a_L\\ ...=...\\ {\tilde{c}}_H=n_{K,1}\·a_1,n_{K,2}\·a_2,...,n_{H,l}\·a_l,...n_{H,L}\·a_L\end{array}\right\}\⇒{\tilde{C}}_{\mathrm{decode}}=N\·A,$ 其中为H个宏块样本的实际解码时耗矩阵，为H×1阶，N为H个宏块样本的L个模块信息矩阵，为H×L阶，A为模型参数向量，通过一个应用于包含H个所选平台上测试H个样本实际解码时耗集合的线性回归方法求得A，

构建基于图像帧的H.264/AVC视频编码时耗模型的具体步骤是：

Step1：利用公式C_encode＝C_dependent+C_independent＝K×Length+C_independent估计H.264/AVC视频图像帧级编码时耗，其中C_dependent为与源码流中图像帧长相关的部分，C_independent为与帧长不相关的部分，C_encode为图像帧编码计算复杂度，K为图像帧个数、C_independent为编码时耗模型参数，Length为解码前图像帧长度；

Step2：记录解码前码流中K个图像帧长度Length_k以及编码时耗其中k＝1,...,K，利用公式 $\begin{array}{c}{C}_{\mathrm{encode}}=K\×\mathrm{Length}+C_{\mathrm{independent}}\\ \⇒\left\{\begin{array}{c}K=({(\mathrm{Length}\×C_{\mathrm{encode}})}_{\mathrm{avr}}-{\mathrm{Length}}_{\mathrm{avr}}\×C_{{\mathrm{encode}}_{\mathrm{avr}}})/({\left({\mathrm{Length}}^2\right)}_{\mathrm{avr}}-{\left({\mathrm{Length}}_{\mathrm{avr}}\right)}^2)\\ C_{\mathrm{independent}}=C_{{\mathrm{encoe}}_{\mathrm{avr}}}=K\×{\mathrm{Length}}_{\mathrm{avr}}\end{array}\right.\end{array},$ 其中为K个图像帧编码时耗的算术平均，Length_avr为K个图像帧长度的算术平均，通过最小平方法计算K、C_independent的最佳拟合值。

视频转码时耗分析方法简单来说，在逻辑上合理地被分为解码部分和编码阶段时耗两部分，在特定平台和编解码器的条件下，首先通过测试视频序列样本训练模型参数，然后根据输入视频序列的相关信息估计其解码和编码阶段时耗，两部分之和即为该视频序列的转码时耗。具体的过程如下：

Step1：采集测试视频序列样本中不同类型宏块头信息中的n_coef和n_{header_length}以及不同类型帧的长度，针对具体不同的类型记录宏块级的解码时耗和图像帧级的编码时耗；

Step2：构建宏块样本实际时耗矩阵和宏块头信息矩阵N，使用矩阵形式的最小二乘法最小化表达式计算解码时耗模型参数矩阵A；

Step3：构建图像帧编码时耗集合C_encode和图像帧帧长集合Length，使用最小平方法拟合最佳编码时耗模型参数K、C_independent；

Step4：分析输入视频序列中当前图像帧的帧长及所包含的的全部宏块头信息，根据模型参数分别计算当前图像帧的估计解码和编码时耗，循环计算直至得到视频序列中所有图像帧的解码和编码时耗，求和即可得到输入视频序列的转码时耗。

然后，基于Map-Reduce的视频转码任务调度方法建模。构建视频分片转码预期任务耗时矩阵ETC和转码节点预期任务完成时间矩阵ETF′。

其中，ETC利用如下公式进行计算：ETC(i,j)＝c_i/p_j+t_overhead+S_i/BW_ij

设分片数为n个，转码节点为m个，其中ETC(i,j)为第i个分片在第j节点上转码的预期任务耗时，i＝1...n,j＝1...m，c_i、p_j分别为第i个分片的转码时耗以及第j个节点的转码能力，t_overhead为Map任务的启动延迟，S_i为第i个分片的文件大小，BW_ij为第i个分片的存储节点与计算节点j之间的通信带宽。

这里c_i为第i个分片在m个转码节点中所选的某个节点上转码的预期转码时间；p_j则需要通过转码历史记录归一化得到，将同一视频分别在m个节点上执行转码操作，在保证软件环境相同的情况下记录每个节点上的转码时间，记确定c_i过程中所选节点的转码能力为1，则其他节点的转码能力可以表示为所选节点转码时间与相应节点转码时间的比值。

ETF′利用如下公式进行计算：其中为第j节点上分片集合θ_j的预期任务完成时间。

任务调度策略可以表示为F＝{θ₁,θ₂,...,θ_m}，第i个分片转码任务的相应表示为A(i):J→F。基于Map-Reduce的视频转码任务调度策略其目标是使得整个集群的预期任务完成时间最短，而这受到所有节点中预期任务完成时间最长的那个节点的限制，所以问题可以被形式化的表示为：

${\mathrm{\α}}_0=\underset{F}{\min }\underset{{\mathrm{\θ}}_j\∈F}{\max }{\mathrm{ETF}}_{{\mathrm{\θ}}_j}$

s.t.F＝{θ₁,θ₂,...,θ_m}

$\underset{{\mathrm{\θ}}_j\∈F}{\∪}{\mathrm{\θ}}_j=J,$ θ_j∈F,

最终，通过基于转码时耗差异的任务调度算法，将视频转码任务分配到视频转码集群之上。

基于转码时耗差异的任务调度使用一种在所有解构成的解空间中寻找次优解的启发式算法——TCDS算法。

TCDS算法主要分为两个阶段：MaxMin和MinMin。在MaxMin阶段中算法将转码时耗较高的视频分片分配给转码能力较强的节点，之后的MinMin阶段以均衡各节点预期任务完成时间为目标完成剩余视频分片的分配，从而最小化集群的预期任务完成时间。

算法首先计算未分配视频分片转码时耗差异φ_cur＝C_max/C_min，然后判断转码时耗差异φ_cur与阈值β的关系，若φ_cur≥β进入MaxMin阶段，否则φ_cur＜β进入MinMin阶段。

MaxMin阶段具体步骤如下所述：

Step1：首先针对未进行转码任务的视频分片集合U，计算最小视频分片转码预期任务耗时集合Min＝{min_o≤j＜m(ETC(i,j))},i∈U；

Step2：其次，按照Min中视频分片和转码节点的映射关系，独立计算各视频分片分配给其最小转码预期任务耗时节点后各节点的预期任务完成时间0≤j＜m，选取最大的节点所对应的视频分片按照Min中映射关系完成本次任务分配；

Step3：最后，将新分配的视频分片从U中移除，重新计算未分配视频分片转码时耗差异φ_cur，重复执行上述过程直到φ_cur＜β。

MinMin阶段与MaxMin十分类似，其具体步骤如下：

Step1：首先针对未进行转码任务的视频分片集合U，计算最小视频分片转码预期任务耗时集合Min；

Step2：其次，按照Min中视频分片和转码节点的映射关系，独立计算各视频分片分配给其最小转码预期任务耗时节点后各节点的预期任务完成时间选取最小的节点所对应的视频分片按照Min中映射关系完成本次任务分配；

Step3：最后，将新分配的视频分片从U中移除，重复执行上述过程直到所有视频分片均完成分配。

MaxMin阶段试图尽量减少执行时间较长的任务对整体性能的影响。假设现有一些需要分配的短任务以及个别极长任务，将长任务优先分配给它们对应的最优节点能够使其与剩余任务(短任务)并行执行。在类似情况下MaxMin对这种长短任务之间的并行能力的支持优于MinMin，MinMin优先执行短任务后才去执行长任务，这期间会有一些节点处于空载状态。因此，在基于Map-Reduce的视频转码任务分配问题中，MaxMin能够给出一种既保证较短的集群预期任务完成时间又兼顾各节点负载均衡的分配方式。

MinMin阶段则按照选择所有分配中节点状态改变量最小的方式进行任务分配。考虑一种极端情况，若所有转码节点均未分配任务，按照MinMin分配的第一个视频分片使所分配节点的预期任务完成时间最短，同时也保证了该节点是使这个视频分片预期转码耗时最短的节点。对第一个视频分片之后的所有分片来说，MinMin对各节点预期任务完成时间的改变幅度总是最小的。因此，MinMin相较于MaxMin来说更有可能将视频分片分配给其预期转码耗时最短的节点。如果任务分配既能保证节点预期完成时间最短同时又能保证分片预期转码耗时最短，那么将很有可能获得一个较小的集群预期任务完成时间。

Claims (8)

1.一种基于Map-Reduce的视频转码任务调度方法，其特征在于，包括：

构建基于宏块的MPEG-4视频解码时耗模型和基于图像帧的H.264/AVC视频编码时耗模型，以预测基于Map-Reduce的视频转码任务中的视频分片的转码时耗；

以预测的转码时耗为依据，构建视频分片转码预期任务耗时矩阵ETC；

以视频分片转码预期任务耗时矩阵ETC为依据，构建转码节点预期任务完成时间矩阵ETF′；

以转码节点预期任务完成时间矩阵ETF′和转码时耗差异阈值β为依据，将视频转码任务分配到视频转码集群之上。

2.根据权利要求1所述基于Map-Reduce的视频转码任务调度方法，其特征在于，所述构建基于宏块的MPEG-4视频解码时耗模型的具体步骤是：

Step1：利用公式 $c=f(p_1,p_2,...,p_n,...p_L)=n_1\·a_1,n_2\·a_2,...,n_l\·a_l,...n_L\·a_L\≅\tilde{c}$ 估计MPEG-4视频宏块级解码时耗，其中c为估计解码时耗，p_n为解码当前输入数据的模块序列，n＝1...L，f为作用于解码模块序列的一种准确度足够的近似函数，n_l为视频码流中与模块l相关的宏块头信息，分别是宏块头信息的长度n_{header_length}和宏块中非零DCT系数的数量n_coef，a_l为模块l的解码模型参数，为实际解码时耗；

Step2：假设已知输入视频数据码流宏块头信息向量n，利用公式 $\left.\begin{array}{c}{\tilde{c}}_1=n_{\mathrm{1,1}}\·a_1,n_{\mathrm{1,2}}\·a_2,...,n_{1,l}\·a_l,...n_{1,L}\·a_L\\ {\tilde{c}}_2=n_{\mathrm{2,1}}\·a_1,n_{\mathrm{2,2}}\·a_2,...,n_{2,l}\·a_l,...n_{2,L}\·a_L\\ ...=...\\ {\tilde{c}}_H=n_{K,1}\·a_1,n_{K,2}\·a_2,...,n_{H,l}\·a_l,...n_{H,L}\·a_L\end{array}\right\}\⇒{\tilde{C}}_{\mathrm{decode}}=N\·A,$ 其中为H个宏块样本的实际解码时耗矩阵，为H×1阶，N为H个宏块样本的L个模块信息矩阵，为H×L阶，A为模型参数向量，通过一个应用于包含H个所选平台上测试H个样本实际解码时耗集合的线性回归方法求得A，

3.根据权利要求2所述基于Map-Reduce的视频转码任务调度方法，其特征在于，所述模块序列为可变长解码模块(Variable Length Decoding,VLD)、反量化模块(Inverse Quantization,IQ)、反离散余弦变换模块(Inverse DCT,IDCT)和动态补偿模块(Motion Compensation,MC)。

4.根据权利要求2所述基于Map-Reduce的视频转码任务调度方法，其特征在于，所述构建基于图像帧的H.264/AVC视频编码时耗模型的具体步骤是：

Step1：利用公式C_encode＝C_dependent+C_independent＝K×Length+C_independent估计H.264/AVC视频图像帧级编码时耗，其中C_dependent为与源码流中图像帧长相关的部分，C_independent为与帧长不相关的部分，C_encode为图像帧编码计算复杂度，K为图像帧个数、C_independent为编码时耗模型参数，Length为解码前图像帧长度；

Step2：记录解码前码流中K个图像帧长度Length_k以及编码时耗其中k＝1,...,K，利用公式 $\begin{array}{c}{C}_{\mathrm{encode}}=K\×\mathrm{Length}+C_{\mathrm{independent}}\\ \⇒\left\{\begin{array}{c}K=({(\mathrm{Length}\×C_{\mathrm{encode}})}_{\mathrm{avr}}-{\mathrm{Length}}_{\mathrm{avr}}\×C_{{\mathrm{encode}}_{\mathrm{avr}}})/({\left({\mathrm{Length}}^2\right)}_{\mathrm{avr}}-{\left({\mathrm{Length}}_{\mathrm{avr}}\right)}^2)\\ C_{\mathrm{independent}}=C_{{\mathrm{encoe}}_{\mathrm{avr}}}=K\×{\mathrm{Length}}_{\mathrm{avr}}\end{array}\right.\end{array},$ 其中为K个图像帧编码时耗的算术平均，Length_avr为K个图像帧长度的算术平均，通过最小平方法计算K、C_independent的最佳拟合值。

5.根据权利要求4所述基于Map-Reduce的视频转码任务调度方法，其特征在于，所述预测基于Map-Reduce的视频转码任务中的视频分片的转码时耗的具体步骤是：

Step1：采集测试视频序列样本中不同类型宏块头信息中的n_coef和n_{header_length}以及不同类型帧的长度，针对具体不同的类型记录宏块级的解码时耗和图像帧级的编码时耗；

Step2：构建宏块样本实际时耗矩阵和宏块头信息矩阵N，使用矩阵形式的最小二乘法最小化表达式计算解码时耗模型参数向量A；

Step3：构建图像帧编码时耗集合C_encode和图像帧帧长集合Length，使用最小平方法拟合最佳编码时耗模型参数K、C_independent；

Step4：分析输入视频序列中当前图像帧的帧长及所包含的的全部宏块头信息，根据模型参数分别计算当前图像帧的估计解码和编码时耗，循环计算直至得到视频序列中所有图像帧的解码和编码时耗，求和得到输入视频序列的转码时耗。

6.根据权利要求4所述基于Map-Reduce的视频转码任务调度方法，其特征在于，所述构建视频分片转码预期任务耗时矩阵ETC利用如下公式进行计算：ETC(i,j)＝c_i/p_j+t_overhead+S_i/BW_ij

设分片数为n个，转码节点为m个，其中ETC(i,j)为第i个分片在第j节点上转码的预期任务耗时，i＝1...n，j＝1...m，c_i为第i个分片的转码时耗，即，第i个分片在m个转码节点中所选的某个节点上转码的预期转码时间，p_j为第j个节点的转码能力，通过转码历史记录归一化得到，将同一视频分别在m个节点上执行转码操作，在保证软件环境相同的情况下记录每个节点上的转码时间，记确定c_i过程中所选节点的转码能力为1，则其他节点的转码能力表示为所选节点转码时间与相应节点转码时间的比值，t_overhead为Map任务的启动延迟，S_i为第i个分片的文件大小，BW_ij为第i个分片的存储节点与计算节点j之间的通信带宽。

7.根据权利要求6所述基于Map-Reduce的视频转码任务调度方法，其特征在于，所述构建转码节点预期任务完成时间矩阵ETF′利用如下公式进行计算： 含义为第j节点上分片集合θ_j的预期任务完成时间。

8.根据权利要求1所述基于Map-Reduce的视频转码任务调度方法，其特征在于，所述以转码节点预期任务完成时间矩阵ETF′和转码时耗差异阈值β为依据，将视频转码任务分配到视频转码集群之上，具体步骤如下：

Step1：初始化参数：转码时耗差异阈值β＝5；

Step2：利用公式φ_cur＝C_max/C_min计算未分配视频分片转码时耗差异φ_cur，其中C_max为当前未分配任务中视频转码时耗的最高值，C_min为当前未分配任务中视频转码时耗的最低值；

Step3：如果φ_cur≥β，则跳至Step4；否则跳至Step7；

Step4：针对未进行转码任务的视频分片集合U，计算最小视频分片转码预期任务耗时集合Min＝{min_o≤j＜m(ETC(i,j))},i∈U；

Step5：按照Min中视频分片和转码节点的映射关系，独立计算各视频分片分配给其最小转码预期任务耗时节点后各节点的预期任务完成时间0≤j＜m，选取最大的节点所对应的视频分片按照Min中映射关系完成本次任务分配；

Step6：将新分配的视频分片从U中移除，如果U为空，则跳至结束；否则跳至Step2；

Step7：针对未进行转码任务的视频分片集合U，计算最小视频分片转码预期任务耗时集合Min＝{min_o≤j＜m(ETC(i,j))},i∈U；

Step8：按照Min中视频分片和转码节点的映射关系，独立计算各视频分片分配给其最小转码预期任务耗时节点后各节点的预期任务完成时间0≤j＜m，选取最小的节点所对应的视频分片按照Min中映射关系完成本次任务分配；

Step9：将新分配的视频分片从U中移除，如果U为空，则结束；否则跳至Step7。