CN101459848A - 一种分布式多格式数字视频转码结构设计方法 - Google Patents

Abstract

本发明公开了一种分布式多格式数字视频转码结构设计方法，该方法对源视频文件解复用后将视频进行快速无缝分割，通过动态调度程序，将视频片段以及音频文件发送到各个转码PC上进行快速多格式的转码，在输入某一种格式的视频后只需解码一次，便能输出多种格式的码流，并且能对输出码流进行很好的码率控制，最后收集转码后的视频片段进行无缝拼接并与转码后的音频文件复用。本发明改善了像素域级联转码器的转码效率，增强了视频转码后的质量。

Description

一种分布式多格式数字视频转码结构设计方法

技术领域

本发明属于分布式视频编解码及转码领域。具体涉及到分布式级联的全解全编的多格式数字视频转码结构设计方法。

背景技术

数字视频转码技术是从一种视频编码流到另一种编码流的转换，这种转换包括了很多种操作，如改变视频的码率、帧率、分辨率和编码格式的操作等等。转码主要目的是把输入的压缩视频流转换成符合接收端多样性要求的视频码流。

数字视频的压缩标准有很多种，包括MPEG和H.26x系列等，不同视频格式之间的转换需求促使了视频转码研究的展开。在数字电视广播领域和IPTV系统中，为了使不同带宽不同接收终端的用户能够收看众多的点播节目，在视频服务器端，将现有的大量MPEG-2格式的视频，转换成MPEG系列和H.26x系列的视频。最基本的转码器是像素域级联转码器，是由解码器和编码器串联而成的。它先对MPEG-2视频进行完全解码，然后按照新的要求进行MPEG系列或者H.26x系列的完全编码。这种级联转码器缺点是需要重新进行运动估计，计算复杂度高，转码时间长，但是转码后的视频有很好的视频质量。另一种转码结构是在级联转码结构的基础上，进行一些优化，例如，在编码环节利用解码时所产生的一些信息如运动矢量和编码模式等等。这种转码器不用重新进行运动估计，计算复杂度较小，转码时间短，但是转码后的视频质量较差，这不能满足高清晰度节目的要求。另外，一般转码器的功能是在同一个时间内只能将一种格式转码为另一种格式，不能同时自适应的转码多种视频格式，这往往不能满足给不同终端提供不同码流的状况，增加了许多额外的转码工作量。

发明内容

为了克服上述现有技术不足，本发明的目的在于提供一种分布式多格式数字视频转码结构设计方法，该方法能够对未转码视频文件采用分布式处理，提高转码速率，并实现MPEG系列和H.26X系列视频之间的分布式转码。在输入一种格式的视频时，只需解码一次，就能够输出多种格式的码流，并能够控制码率在很小范围内波动。

对未转码的文件进行解复用，获得音频文件与视频文件，对视频文件进行快速无缝分割，然后将音频文件与视频片段分发到Server自身与各个Transcoder上，进行音视频独立转码。转码完成后，将转码音频文件与转码视频片段文件收集起来，首先进行转码视频片段的无缝快速合并，然后进行转码音视频文件的复用，最后对复用的转码文件进行附加操作，以便网络传输。分布式数字视频多格式转码系统提高了转码速率，拓展了视频的应用环境。

本发明采用的解决方案是：

1)采用人机交互界面，对分布式转码的参数进行设置，设置好的转码参数由界面传递给主控机Server的后台程序；

2)在主控机Server的后台程序收到转码参数后，通知分割进程，分割进程利用快速无缝分割技术找到分割点，之后将视频源文件分成可独立解码的视频片段；

3)在分割任务完成后，主控机Server的动态调度程序将转码指令发送给各个PC，并对分割的视频片段以及音频文件作任务调度，调度程序通过NFS将文件发送给各个PC；

4)在各个PC收到转码指令和文件后，使用分布式级联转码器进行转码操作，转码完成后利用NFS将转码后的文件传回主控机Server，由主控机Server对转码后的文件进行合并与复用。

所述人机交互界面，是用于分布式环境的配置，即在这里将分布式网络环境配置好。具体包括Transcoder的数目，Transcoder的登录用户名，IP参数等。另外，用人机交互界面进行视频源文件的转码参数设置，即在这里将转码所需要的参数由用户根据所提供的选项来进行选定，包括视频文件的路径，视频码率、帧率、分辨率和编码格式。通过SDL库实现的预览界面允许用户实时查看各个Transcoder的转码情况，包括每个Transcoder的转码进度和当前所转码视频画面的预览。

所述的视频快速无缝分割是，先预读取视频源文件，获取文件的播放总时间，通过总时长和分割片段数来初步查找分割点的大致位置，定位到初步分割点后，在初步分割点附近根据分割时标进行查找精确分割点并分割，从而达到快速分割的目的。另外分割的时候考虑开放图像组Open-Gop的情况，分割点后的Gop是Open-Gop的时候，向前多截取一个Gop使分割点后的片段独立解码，重新编码的时候将此多截取的Gop丢弃，从而使合并能够无缝。

所述视频分布式转码动态调度是，结合Linux操作系统的网络特性和转码的具体情况，采用动态调度算法，进行转码任务的分发，使分布式转码的总时间达到最小，为了充分利用各个PC的资源，提出一种自适应的视频分割方法。这种方法是对所有PC进行评估，评估操作是一个训练的过程，在这个过程中评估每一个PC的转码速率和网络带宽。训练的内容是，Server的调度进程给所有PC发送同一个视频片段进行分布式转码，通过这个测试，统计各个PC的转码性能和网络带宽情况，并且进行多种格式视频的测试，最终统计结果是各个PC综合性能的一个百分比。对未转码的视频文件进行大小自适应的分割，根据PC综合性能的不同，分割的视频片段大小也不同，发送到各个PC的片段大小与PC自身的综合性能是成正比的。另外当Server空闲时，调度进程增加Transcoder数量，或者分配一个视频转码任务给Server，当有Transcoder空闲时，自动减少Transcoder的数量，以便减少各个PC的空闲时间，相反，没有PC空闲时，将系统中所有未运转的PC加入到转码任务中，从而达到了转码PC数量的自适应变化。

所述分布式级联转码是，将解码器与编码器级联来进行转码。系统能够自动识别转码目标文件的编码格式，并根据目标文件的编码格式采取不同的方案进行转码，并能同时进行MPEG系列和H.26x系列多种编码格式的同构和异构转码。转码器具有单路输入多路输出功能，能够在只解码输入视频一次的情况下，同时编码出多种格式的视频文件，包括编码不同码率、不同分辨率、不同帧率和不同编码格式的码流。同时进行转码码率控制，转码后的码流由于图像内容的不同以及编码参数选择的不同，其码率会产生波动。为保证输出码流的稳定性，需要对输出码流进行控制，使其维持在一定的范围内。

本发明提出一种分布式数字视频多格式转码系统，通过视频快速分割与动态调度提高视频转码的速率，并使用多格式互转码技术和转码码率控制技术增强转码视频适应不同终端需求的能力。

附图说明

图1是本发明分布式多格式转码系统图；

图2是本发明分布式转码网络架构图；

图3是本发明MPEG-2到MPEG-4的分布式转码图；

图4是本发明MPEG-2到H.264的分布式转码图；

图5是本发明Transcoder的多格式转码框架图；

图6是本发明快速无缝分割的示意图；

图7是本发明人机交互界面；

图8是本发明转码码率控制框架图。

下面结合附图对本发明的内容作进一步详细说明。

具体实施方式

参照图1所示，在分布式多格式视频转码系统中，采用Server-Transcoder模型。Server是分布式转码系统的主控机，起协调控制的作用兼有转码功能，而Transcoder是转码机，主要进行转码操作，Server和Transcoder都是PC机。未转码的视频源文件存放在磁盘中，Server的分割器对视频源文件进行分割，分割后的未转码视频片段由发送进程发送到各个Transcoder上。在收到视频片段与转码参数后Transcoder进行转码，转码工作完成后，在Server协调下，Transcoder将转码后的视频片段传输到指定位置，由Server的合并器对其进行拼接，形成一个完整的视频文件并且写入磁盘。

在本分布式多格式视频转码系统中采用多线程技术，进行并行转码。有一台Server，多台Transcoder，Transcoder的数量根据用户的需求进行调整，本系统中Transcoder的数量为4台。

Server上有六个进程，分别是调度、分割、合并、视频发送、视频接收和转码进程。调度进程主要是控制整个分布式多格式转码系统的工作，并协调控制各个Transcoder的工作。调度进程先调用分割进程，将未转码文件的音视频进行解复用，音频文件送入音频转码器，视频文件分割成片段放入等待队列。之后进行视频片段的发送，同时将转码参数传递给各个Transcoder，在收到视频片段与转码参数后，Transcoders开始进行转码工作。同时Server进行音频的转码工作，必要时Server也进行视频转码工作。在视频转码完成后，Transcoder将转码后的视频片段传回Server，Server将视频片段进行拼接，再与转码后的音频文件复用。

分割进程的功能有两个，第一个功能是把未转码文件的音视频解复用，音频文件使用TS容器包装，视频文件同样使用TS包装。第二个功能是将视频文件进行分割，为确保两个视频片段能够独立转码，要保证在截断点附近实现整GOP分割，从而确保GOP结构的完整性。分割后对原始的视频片段进行编号以便转码任务分配及视频片段合并。

合并进程的功能也有两个，第一个功能是将Transcoder传回的转码视频片段根据编号进行排列，之后进行合并，形成一个完整的视频文件。第二个功能是将合并后的视频文件与转码后的音频文件进行复用，形成最终的音视频文件。

转码器的功能主要是对解复用后的音频文件进行转码，在Server空闲时，也进行视频片段的转码。

Server端发送进程与接收进程主要是在Server与Transcoder之间进行视频片段的传递。

Transcoder上有三个进程，分别是转码、接收与发送进程。

转码进程的主要职责是将从Server上取来的视频片段根据传递的参数进行转码。为使合并进程能够正确无缝地拼接转码视频片段，转码进程会处理好片段的时标问题并且按照一定规则对其编号，转码片段传回Server后，合并进程根据编号进行合并，以保证视频播放顺序正确。

接收进程与发送进程的功能与Server上的一样，主要是实现两个模块之间视频文件的传递。

参照图2所示，Transcoder接收Server中的视频片段以及Transcoder向Server发送转码片段都是建立在网络文件系统NFS技术基础上的。未转码的视频文件与中间过程的视频片段都存放在NFS目录下。Server传递给Transcoder的调度命令和转码参数都是通过安全命令行解释器SSH来实现的。

参照图3所示，未转码的标清视频，是TS包装的MPEG-2格式的文件。首先在Server上进行音视频的解复用，将音频文件保存在TS容器中，视频文件也保存在TS容器中。音频文件的转码，是根据用户的要求来进行的，默认采用的是AAC编码格式，转码后的音频文件由AAC容器包装。

解复用的TS包装的视频文件，送入分割进程进行分割。主要流程是：先计算出视频文件播放的总时间T，然后按照时间坐标将文件分成所需要的小块视频片段。如果要分成n份视频片段，则每个视频片段的播放时间t＝T/n，第一段视频是从0秒到T/n秒，第二段视频是从T/n秒到2T/n秒，依此类推。每个视频片段都由TS容器包装。

每个视频片段送到Transcoder后，进行MPEG-2到MPEG-4的转码，转码后的视频片段由M4V容器包装并且给每个片段进行编号，然后送回Server端。在Server端，合并进程将多个M4V视频片段根据编号进行合并，以保证视频播放顺序的正确性。

最后合并进程将转码后的AAC音频文件和M4V容器包装的视频文件进行复用，生成以MP4容器包装的MPEG-4格式的标清视频。

参照图4所示，未转码的是高清视频，是TS包装的MPEG-2格式的视频文件。整个分布式转码的流程与标清是类似的。区别是在Transcoder端进行视频片段转码的时候，转码输出的视频片段不是M4V包装的，而是由H264容器包装。最终AAC的转码音频与H.264的转码视频由TS容器包装。

参照图5所示，每个Transcoder中有多个视频解码器与多个视频编码器，将视频片段解码后，送入编码器，改变其编码格式。在片段转码的过程中，以帧为单位，每解码一帧后，在像素域对数据进行操作如降低分辨率，之后将数据送入编码模块，由编码器根据转码参数重新进行编码。以帧为单位的转码结构有很大的灵活性。它在解码一帧后方便地进行数字水印添加，而且在每转码一帧后就进行传输操作。在Transcoder中，包括MPEG系列和H.26x系列的编解码器。

参照图6所示，为保证图中Open-Gop的独立解码，分割时，分割点后面的视频片段要包含分割点前的一个Gop，从而使B14帧参考I13帧和分割点之前的P11帧进行解码。

分割视频比较常见的方法是基于时间的分割：遍历文件，依次读取音视频帧，对比时间标签，截取某一时间段的所有帧，但遍历文件是一个比较耗时的过程。鉴于遍历是为获得用于判断的标志即时间标签，而时标在文件中其实是一个线性的分布，就是说只在截断点附近的遍历才是有效的。因而通过文件总帧数和分割片段的个数来估计文件的大致截断位置，然后遍历文件的时间标签，查找截断点的精确位置。

参照图7所示，本实施例的分布式转码平台是在Ubuntu7.04下搭建的，为了满足用户的需求，转码界面考虑两方面的功能。其一，基本参数设置功能。用户可通过友好的图形用户界面来对转码视频的参数进行设置，以满足同构转码和异构转码。其二，预览功能。用户可根据自己的需求对分布式转码时Transcoder的工作状态进行监控，这里状态包括转码的进度以及转码视频的内容预览。基本参数设置功能界面，使用GTK2.0库来完成设计，图中显示了各个Transcoder的详细信息，包括IP地址和登陆用户名等。预览功能界面，使用SDL库来完成设计，图中给出四个Transcoders各自转码时的视频预览以及各自转码的进度。

参照图8所示，码率控制是数字视频转码中关键技术之一。本实施例的码率控制策略是，在解码器端经过可变长解码、反量化及反离散余弦变换后，通过运动补偿回路，输入码流被解到像素域。在此过程中，转码系统从输入码流中获取量化矩阵、量化步长以及编码模式等信息，然后转码系统根据这些编码参数以及用户要求的码率算出最优的重量化参数。之后，各个视频帧被送入编码器进行重新编码。在编码器端，首先通过运动补偿回路得到视频帧对应的运动估计残差，然后对残差进行离散余弦变换，得到变换系数。转码码率控制模块对变换系数的量化进行控制，通过使用最优重量化参数，在给定的码率下，使重量化操作引起的视频质量损失最小。而且，转码码率控制算法能使每帧的码率趋于平稳，这样解码缓冲区不容易出现上溢或下溢的情况。这主要是重量化参数值更能反映输出码流变换系数的分布特性，从而使得到的码率信源模型更加准确，准确的码率信源模型能获得更符合实际情况的量化参数，以利于对码率的控制实施。加入转码码率控制算法后，目标比特率的准确度，同原有的码率控制算法相比有所提高，特别是码流变化得比较缓和，这有利于编码后的视频码流满足解码终端对恒定码率的要求。

Claims (6)

1、一种具有视频自适应分割及转码任务动态调度的分布式多格式转码系统，其特征在于，

1)采用人机交互界面，对分布式转码的参数进行设置，设置好的转码参数由界面传递给主控机Server的后台程序；

2)在主控机Server的后台程序收到转码参数后，通知分割进程，分割进程利用快速无缝分割技术找到分割点，之后将视频源文件分成可独立解码的视频片段；

3)在分割任务完成后，主控机Server的动态调度程序将转码指令发送给各个PC，并对分割的视频片段以及音频文件作任务调度，调度进程通过NFS将文件发送给各个PC；

4)在各个PC收到转码指令和文件后，使用分布式级联转码器进行转码操作，转码完成后利用NFS将转码后的文件传回主控机Server，由主控机Server对转码后的文件进行合并与复用。

2、根据权利要求1所述的具有视频自适应分割及转码任务动态调度的分布式多格式转码系统，其特征在于，所述的人机交互界面是，使用GTK2.0库实现了设置基本参数的界面，在界面中对应的参数框中输入转码参数，使用SDL库实现转码预览界面，在预览界面中查看各个PC的转码进度和正在转码的视频画面。

3、根据权利要求1所述的具有视频自适应分割及转码任务动态调度的分布式多格式转码系统，其特征在于，所述的快速无缝分割是，先根据输入文件的总帧数作分割点的大致定位，再根据线性时标精确查找分割点，在分割点处作开放图像组Open-Gop的无缝处理，从而使分割片段独立解码，并在转码后与其它视频片断无缝拼接，另外分割时视频片段的大小根据各个PC的总体性能自适应变化。

4、根据权利要求1所述的具有视频自适应分割及转码任务动态调度的分布式多格式转码系统，其特征在于，所述的分布式转码动态调度是，根据各个PC的空闲状况，动态地增加或减少转码机Transcoder的数量。

5、根据权利要求1所述的具有视频自适应分割及转码任务动态调度的分布式多格式转码系统，其特征在于，所述的分布式级联转码是，各个PC上的转码器为多格式级联转码器，转码器是解码器与编码器级联组成的，转码以帧为单位，在MPEG系列与H.26x系列之间进行多种编码格式文件的互转码，对转码输出的标清视频采用MPEG-4格式编码，MP4容器包装，高清视频采用H.264格式编码，TS容器包装，另外在输入一种码流输出多种码流的情况下，进行转码码率控制。

6、根据权利要求5所述的具有视频自适应分割及转码任务动态调度的分布式多格式转码系统，其特征在于，在输入一种码流输出多种码流的情况下进行转码码率控制是，输入一种源视频文件，将其解码一次后重新编码输出多种分辨率、帧率、码率或者编码格式的文件，在重新编码的过程中提取输入文件的量化表、量化步长及编码模式信息，确定最优的重量化参数，进行转码码率控制。

Images