CN105828105A - 一种基于分布式环境的视频转码系统及视频转码方法 - Google Patents

Abstract

本发明公开了一种基于分布式环境的视频转码系统，其包括有管理服务器、分布式转码服务器、元数据服务器、流媒体服务器和存储有视频文件的视频源服务器，所述管理服务器用于实现视频转码系统内部的调度管理；所述分布式转码服务器用于执行具体转码任务；所述元数据服务器用于收集整个转码过程中产生的元数据，对视频文件、转码参数、视频的分片、分片存放位置和各个分片的传输转码时间进行收集和管理；所述流媒体服务器用于对转码之后的视频文件生成视频流。本发明具有转码效率高、质量更好、扩展性更强、配置更简单、转码成本更低等有益效果。

Description

一种基于分布式环境的视频转码系统及视频转码方法

技术领域

本发明涉及视频转码技术领域，尤其涉及一种基于分布式环境的视频转码系统及视频转码方法。

背景技术

云计算是一种商业计算模型,它将计算任务分布在大量计算机构成的资源池上,使用户能够按需获取计算能力、存储空间和信息服务。”云计算并不是一种新技术,而是并行计算、分布式计算和网格计算的继承与发展,或者说是这些科学概念的一种商业实现,同时也是效用计算、网络存储、虚拟化、负载均衡等传统计算机与网络技术发展融合的产物。云计算从技术上解决了大规模海量数据分布式存储、海量数据实时备份、并行计算和应用高度集成等问题,并凭借其高度安全可靠的特点以及个性化的应用深受企业和用户欢迎。

现有技术中，通常使用单一的转码服务器对视频进行转码，转码完成后，再将转好码的视频传输到视频的ftp服务器，这种方式优点是实现起非常简单，其缺点在于转码速度慢，效率低，费时费力，且承受不了高并发或者大量的转码任务。

现有技术中的另一种转码方法，是利用当前比较成熟的分布式技术，采用多台转码服务器同时并行的对一个视频文件进行转码工作。它的工作原理是将切割好的视频分段分别传输到不同的转码服务器上，调用各个转码服务器上的转码程序进行转码工作，转码完成后，将各个视频分段传输到合并服务器，合并成一个完整视频文件，将这个完整的视频返回给用户。这种方式的优点是可以并行转码，转码所需要的时间短，扩展性强，可以扩展到很大的规模来应付海量的视频转码任务，其缺点在于实现复杂，需要考虑视频分段和合并，当视频量大的时候还需要考虑转码任务的调度、异常处理等问题。

发明内容

本发明要解决的技术问题在于，针对现有技术所存在的海量视频数据转码效率低、延迟大、质量差等不足，提供一种基于分布式环境的视频转码系统及视频转码方法，用以取得转码效率高、质量更好、扩展性更强、配置更简单、转码成本更低等有益效果。

为解决上述技术问题，本发明采用如下技术方案。

一种基于分布式环境的视频转码系统，其包括有管理服务器、分布式转码服务器、元数据服务器、流媒体服务器和存储有视频文件的视频源服务器，其中：所述管理服务器用于实现视频转码系统内部的调度管理，并在接收转码请求后从视频源服务器下载视频文件，将视频文件进行分割后提交到分布式转码服务器，并调度各slave节点进行分布式转码；所述分布式转码服务器用于执行具体转码任务，对管理服务器提交的分割后的视频分块进行分片，将分片元数据信息提交到元数据服务器，并根据调度指令进行转码工作；所述元数据服务器用于收集整个转码过程中产生的元数据，对视频文件、转码参数、视频的分片、分片存放位置和各个分片的传输转码时间进行收集和管理，以供转码系统进行分析；所述流媒体服务器用于对转码之后的视频文件生成视频流，当用户点击视频文件的时，提供HTTP视频流供用户在客户端点播和观看。

一种基于分布式环境的视频转码方法，该方法包括如下步骤：步骤S1，获取转码任务，该任务指定了视频源服务器、转码后的格式、分辨率及码率信息；

步骤S2，节点选择，选择低负载slave节点进行转码任务；步骤S3，从视频源服务器下载待转码文件，调用mkvmerg按照GOP分段和128M块大小对视频进行分割，同时将分割后的文件上传到各slave中；步骤S4，元数据服务器记录源视频文件所分割成的视频分块，记录每个视频分块所存储的slave节点；步骤S5，提交转码任务而进行分布式转码，并在提交任务时配置转码参数，各slave节点根据参数对本地存储的视频分块进行配置转码；步骤S6，slave节点接收到转码任务后，调用本地库FFmpeg进行转码，若转码成功，元数据服务器记录转码文件元数据，否则，Master节点调度其他存储该视频分块的slave节点重启该转码任务；步骤S7，元数据服务器记录转码后的元数据信息，包括：码率、文件格式、文件分块数量、文件次序和存储位置。

优选地，执行转码任务时，包括如下步骤：步骤S50，初始化状态队列，包括节点可接收的任务总量taskSum、当前运行任务数量currentTaskSum、当前所需转码时间currentTimeSum、可用存储容量；步骤S51，接收一个转码任务，将任务加入节点工作队列，当前任务数量加上视频文件的大小，当前所需转码时间加上任务所需转码时长；步骤S52，完成一个视频任务，当前任务数量减去对应视频文件的大小，当前转码时长减去对应转码时长，并将该任务从工作队列移除；步骤S53，转码节点的选择，读取各节点状态队列并计算任务状态，对于每一个节点选择值最低的节点。

优选地，视频的分割过程包括：步骤S30，获取待分割视频文件总帧数和并计算分割块数量；步骤S31，遍历时间标签，估算分割点位置，要切分的文件时间＝文件时长/文件块数；步骤S32，在分割时间标签点查找最近的GOP分组；

步骤S33，调用mkvmerge对视频进行分割。

优选地，slave节点内的转码任务调度包括如下步骤：步骤S10：slave定期向master节点发送心跳包，当负载空闲时，向master请求任务；步骤S11：master节点返回该slave节点中任务队列指向的转码任务；步骤S12：slave每完成一个转码任务，任务队列中的指针后移一个位置，并删除队列中完成的任务，同时指向下一个转码任务，当任务为最后一个转码任务时，将指针指向第一个作业；步骤S13：每新接受一个转码任务，将该任务插入任务指针所指向的队列之后。

优选地，slave节点间的任务调度包括如下步骤：步骤S20，master接收slave节点包含负载信息的心跳包，如果有空闲任务位，则进入步骤S21，如果没有，结束过程；步骤S21，slave节点有转码任务运行且有n个空闲的任务位；步骤S22，选择slave节点对应的任务队列，判断队列有任务存在，按照节点内任务调度算法分配一个任务，否则，转到以下步骤；步骤S23，是否分配了n个任务，若是，转到步骤S24，若不是，转到步骤S22；步骤S24，返回这n个任务给slave节点；步骤S25，选择集群内的每一个slave节点，判断该节点负载，选择负载较高节点；步骤S26，从该节点中选择一个任务；步骤S27，返回分配的任务给slave节点。

本发明提供的视频转码系统及视频转码方法，其提供了更大的网络吞吐量，可同时使用集群内的所有处理器并行处理多数目的视频文件，针对较大的视频文件，能够以最大的处理速度来保证视频质量，对于高清视频的转码能更好的保证视频质量，采用云计算的技术提供的转码服务，扩展性更强、配置更简单、转码成本更低。

附图说明

图1为本发明基于分布式环境的视频转码系统的组成框图。

图2为分布式转码过程的流程图。

图3为节点间的任务调度流程图。

具体实施方式

下面结合附图和实施例对本发明作更加详细的描述。

本发明公开了一种基于分布式环境的视频转码系统，如图1所示，其包括有管理服务器1、分布式转码服务器2、元数据服务器3、流媒体服务器4和存储有视频文件的视频源服务器5，其中：

所述管理服务器1用于实现视频转码系统内部的调度管理，并在接收转码请求后从视频源服务器5下载视频文件，将视频文件进行分割后提交到分布式转码服务器2，并调度各slave节点20进行分布式转码；

所述分布式转码服务器2用于执行具体转码任务，对管理服务器1提交的分割后的视频分块进行分片，将分片元数据信息提交到元数据服务器，并根据调度指令进行转码工作；

所述元数据服务器3用于收集整个转码过程中产生的元数据，对视频文件、转码参数、视频的分片、分片存放位置和各个分片的传输转码时间进行收集和管理，以供转码系统进行分析；

所述流媒体服务器4用于对转码之后的视频文件生成视频流，当用户点击视频文件的时，提供HTTP视频流供用户在客户端点播和观看。

在现有的云转码或分布式转码方案中，主要是从hadoop、mapReduce、MPI等多个角度构建并行转码系统，采用Hadoop的构建分布式云转码平台，利用HDFS存储视频片段，将存储与转码集成一体，然而系统的设计的目的是并行转码，若想观看到转码的效果必须等待所有的片段转码完成，很难满足边播放边转码的需求，本发明在提供以上功能的同时，更注重转码的实时性和文件的可用性，通过流媒体服务器对转码之后的视频文件产生视频流，可以提供HTTP视频流供用户在客户端点播并观看。

结合图1至图3所示，基于分布式环境的视频转码方法，该方法包括如下步骤：

步骤S1，获取转码任务，该任务指定了视频源服务器、转码后的格式、分辨率及码率信息；

步骤S2，节点选择，选择低负载slave节点进行转码任务；

步骤S3，从视频源服务器下载待转码文件，调用mkvmerg按照GOP分段和128M块大小对视频进行分割，同时将分割后的文件上传到各slave中；

步骤S4，元数据服务器记录源视频文件所分割成的视频分块，记录每个视频分块所存储的slave节点；

步骤S5，提交转码任务而进行分布式转码，并在提交任务时配置转码参数，各slave节点根据参数对本地存储的视频分块进行配置转码；

步骤S6，slave节点接收到转码任务后，调用本地库FFmpeg进行转码，若转码成功，元数据服务器记录转码文件元数据，否则，Master节点调度其他存储该视频分块的slave节点重启该转码任务；

步骤S7，元数据服务器记录转码后的元数据信息，包括：码率、文件格式、文件分块数量、文件次序和存储位置。

进一步地，执行转码任务时，首先判断各slave节点的负载均衡，包括存储负载和计算负载，本实施例设计了节点负载状态队列，管理节点内的任务，具体包括如下步骤：

步骤S50，初始化状态队列，包括节点可接收的任务总量taskSum、当前运行任务数量currentTaskSum、当前所需转码时间currentTimeSum、可用存储容量；

步骤S51，接收一个转码任务，将任务加入节点工作队列，当前任务数量加上视频文件的大小，当前所需转码时间加上任务所需转码时长；

步骤S52，完成一个视频任务，当前任务数量减去对应视频文件的大小，当前转码时长减去对应转码时长，并将该任务从工作队列移除；

步骤S53，转码节点的选择，读取各节点状态队列并计算任务状态，对于每一个节点选择值最低的节点。

作为一种优选方式，由于视频文件往往较大，如不分割会对单点造成负载压力过大，因此必须对视频文件进行分割，视频的分割过程中，本实施例通过mkvmerge将源视频文件分割成独立视频段，不改变视频PTS和DTS信息，具体包括：

步骤S30，获取待分割视频文件总帧数和并计算分割块数量，即文件大小/128M；

步骤S31，遍历时间标签，估算分割点位置，要切分的文件时间＝文件时长/文件块数；

步骤S32，在分割时间标签点查找最近的GOP分组；

步骤S33，调用mkvmerge对视频进行分割。

进一步地，slave节点内的转码任务调度过程中，按照接收转码任务的先后顺序依次循环执行，每新增一个转码请求，就将该任务插入任务队列尾部，转码任务完成后，删除任务队列中指向该任务的记录，具体包括如下步骤：

步骤S10：slave定期向master节点发送心跳包，当负载空闲时，向master请求任务；

步骤S11：master节点返回该slave节点中任务队列指向的转码任务；

步骤S12：slave每完成一个转码任务，任务队列中的指针后移一个位置，并删除队列中完成的任务，同时指向下一个转码任务，当任务为最后一个转码任务时，将指针指向第一个作业；

步骤S13：每新接受一个转码任务，将该任务插入任务指针所指向的队列之后。

优选地，slave节点间的任务调度过程中，首先完成slave本地任务，然后选择集群内负载较重的slave节点，当该节点后续任务分配给0负载或有空闲位的节点进行具体任务分配，具体包括如下步骤：

步骤S20，master接收slave节点包含负载信息的心跳包，如果有空闲任务位，则进入步骤S21，如果没有，结束过程；

步骤S21，slave节点有转码任务运行且有n个空闲的任务位；

步骤S22，选择slave节点对应的任务队列，判断队列有任务存在，按照节点内任务调度算法分配一个任务，否则，转到以下步骤；

步骤S23，是否分配了n个任务，若是，转到步骤S24，若不是，转到步骤S22；

步骤S24，返回这n个任务给slave节点；

步骤S25，选择集群内的每一个slave节点，判断该节点负载，选择负载较高节点；

步骤S26，从该节点中选择一个任务；

步骤S27，返回分配的任务给slave节点。

本发明提供的视频转码系统及视频转码方法，其提供了更大的网络吞吐量，可同时使用集群内的所有处理器并行处理多数目的视频文件，针对较大的视频文件，能够以最大的处理速度来保证视频质量，对于高清视频的转码能更好的保证视频质量，采用云计算的技术提供的转码服务，扩展性更强、配置更简单、转码成本更低。

以上所述只是本发明较佳的实施例，并不用于限制本发明，凡在本发明的技术范围内所做的修改、等同替换或者改进等，均应包含在本发明所保护的范围内。

Claims (6)

1.一种基于分布式环境的视频转码系统，其特征在于，包括有管理服务器、分布式转码服务器、元数据服务器、流媒体服务器和存储有视频文件的视频源服务器，其中：

所述管理服务器用于实现视频转码系统内部的调度管理，并在接收转码请求后从视频源服务器下载视频文件，将视频文件进行分割后提交到分布式转码服务器，并调度各slave节点进行分布式转码；

所述分布式转码服务器用于执行具体转码任务，对管理服务器提交的分割后的视频分块进行分片，将分片元数据信息提交到元数据服务器，并根据调度指令进行转码工作；

所述元数据服务器用于收集整个转码过程中产生的元数据，对视频文件、转码参数、视频的分片、分片存放位置和各个分片的传输转码时间进行收集和管理，以供转码系统进行分析；

所述流媒体服务器用于对转码之后的视频文件生成视频流，当用户点击视频文件的时，提供HTTP视频流供用户在客户端点播和观看。

2.一种基于分布式环境的视频转码方法，其特征在于，该方法包括如下步骤：

步骤S1，获取转码任务，该任务指定了视频源服务器、转码后的格式、分辨率及码率信息；

步骤S2，节点选择，选择低负载slave节点进行转码任务；

步骤S3，从视频源服务器下载待转码文件，调用mkvmerg按照GOP分段和128M块大小对视频进行分割，同时将分割后的文件上传到各slave中；

步骤S4，元数据服务器记录源视频文件所分割成的视频分块，记录每个视频分块所存储的slave节点；

步骤S5，提交转码任务而进行分布式转码，并在提交任务时配置转码参数，各slave节点根据参数对本地存储的视频分块进行配置转码；

步骤S6，slave节点接收到转码任务后，调用本地库FFmpeg进行转码，若转码成功，元数据服务器记录转码文件元数据，否则，Master节点调度其他存储该视频分块的slave节点重启该转码任务；

步骤S7，元数据服务器记录转码后的元数据信息，包括：码率、文件格式、文件分块数量、文件次序和存储位置。

3.如权利要求2所述的基于分布式环境的视频转码方法，其特征在于，执行转码任务时，包括如下步骤：

步骤S50，初始化状态队列，包括节点可接收的任务总量taskSum、当前运行任务数量currentTaskSum、当前所需转码时间currentTimeSum、可用存储容量；

步骤S51，接收一个转码任务，将任务加入节点工作队列，当前任务数量加上视频文件的大小，当前所需转码时间加上任务所需转码时长；

步骤S52，完成一个视频任务，当前任务数量减去对应视频文件的大小，当前转码时长减去对应转码时长，并将该任务从工作队列移除；

步骤S53，转码节点的选择，读取各节点状态队列并计算任务状态，对于 选择值最低的节点。

4.如权利要求2所述的基于分布式环境的视频转码方法，其特征在于，视频的分割过程包括：

步骤S30，获取待分割视频文件总帧数和并计算分割块数量；

步骤S31，遍历时间标签，估算分割点位置，要切分的文件时间＝文件时长/文件块数；

步骤S32，在分割时间标签点查找最近的GOP分组；

步骤S33，调用mkvmerge对视频进行分割。

5.如权利要求2所述的基于分布式环境的视频转码方法，其特征在于，slave节点内的转码任务调度包括如下步骤：

步骤S10：slave定期向master节点发送心跳包，当负载空闲时，向master请求任务；

步骤S11：master节点返回该slave节点中任务队列指向的转码任务；

步骤S12：slave每完成一个转码任务，任务队列中的指针后移一个位置，并删除队列中完成的任务，同时指向下一个转码任务，当任务为最后一个转码任务时，将指针指向第一个作业；

步骤S13：每新接受一个转码任务，将该任务插入任务指针所指向的队列之后。

6.如权利要求2所述的基于分布式环境的视频转码方法，其特征在于，slave节点间的任务调度包括如下步骤：

步骤S20，master接收slave节点包含负载信息的心跳包，如果有空闲任务位，则进入步骤S21，如果没有，结束过程；

步骤S21，slave节点有转码任务运行且有n个空闲的任务位；

步骤S22，选择slave节点对应的任务队列，判断队列有任务存在，按照节点内任务调度算法分配一个任务，否则，转到以下步骤；

步骤S23，是否分配了n个任务，若是，转到步骤S24，若不是，转到步骤S22；

步骤S24，返回这n个任务给slave节点；

步骤S25，选择集群内的每一个slave节点，判断该节点负载，选择负载较高节点；

步骤S26，从该节点中选择一个任务；

步骤S27，返回分配的任务给slave节点。