CN103152607B - 视频超快速粗编方法 - Google Patents

Abstract

本发明提供了视频超快速粗编方法。该方法包括用于媒体文件拼接的方法以及用于媒体文件拆分的方法。

Description

视频超快速粗编方法

技术领域

本发明涉及视频粗编方法，尤其涉及视频超快速粗编方法。

背景技术

一般而言，针对高清影片，在不改变原文件ES码流及图面质量的情况下，对影片的音视频合并及拆分可包括例如：添加新内容、删除部分影片数据等。然而，对不同媒体文件的拼接和拆分依然存在诸多挑战，存在对媒体文件的无缝拼接和拆分的需求。

发明内容

提供本发明内容是为了以精简的形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。

本发明提供了视频超快速粗编方法。该方法包括用于媒体文件拼接的方法和用于媒体文件拆分的方法。其中，用于媒体文件拼接的方法包括，以媒体文件中指定时间附近的最近关键帧为切入或切出点，对多个片段（segment）进行系统层拼接，并将拼接后的文件输出到指定目录。其中，片段可来自于不同文件，但是只有文件属性相同的文件才能够拼接，否则编辑模块会把错误上报。

本发明支持以下系统层的拼接，但并不局限于此：传输系统（Transport System,TS）、Mpeg4系统（MP4）、节目系统（Program System，PS）。并且，本发明支持以下的文件格式：MPEG-2/TS、MPEG-4Parts1,14&15、3GPP、MOV、ASF、GXF、MXF，支持以下的视频格式：MPEG-2、MPEG-4AVC（H.264）、VC-1/WMV9、Mpeg-4Part2、H.263，并支持以下的音频格式；MPEG-1、MPEG-2、MPEG-2AAC,AAC-Plus(MPEG-4AAC)、HE-AAC,PCM、WMA、AC3、Dolby E。

用于媒体文件拆分的方法包括，将一个完整的媒体文件（例如，音视频文件）按照给定的时间点拆分为一个一个的片段，并将各个片段输出到指定目录。

附图说明

图1描述了根据本发明的实施例的用于拼接媒体文件的方法的流程图100。

图2描述了根据本发明的实施例的用于创建TS流的方法200。

图3描述了根据本发明的实施例的用于创建MP4流的方法300。

图4描述了根据本发明的实施例的用于创建PS流的方法400。

图5描述了用于实现本发明的各实施例的系统框架500。

具体实施方式

各实施例涉及视频超快速粗编方法。根据该方法，依据设定的片段的时间点信息，从媒体文件中抽取出相关的视频ES数据和音频ES数据，然后再使用这些视频ES数据和音频ES数据创建出媒体流。创建出来的媒体流能够在个人电脑和机顶盒中的媒体播放器中正常播放，并且相邻两个片段的接头处过渡流畅，没有马赛克。同时，创建出来的媒体流满足系统层的一般标准。例如，针对TS的标准为国际标准ISO&IEC13818-1、ETR290，针对MP4的标准为（N4270-1）ISO媒体文件格式规范，针对PS的标准为国际标准ISO&IEC13818-1。

以下参考图1，图1描述了用于拼接媒体文件的方法的流程图100。在步骤102，根据设定的时间点来定位一个或多个媒体文件中的片段。

在本发明中，媒体文件的类型可包括但不限于，TS文件、MP4文件和PS文件。以下简要描述下对上述几种类型的媒体文件的一般要求，以下要求仅为示例性而非限制。

对TS文件的要求

1、传输流（Transport Stream）的要求：

i.传输流只能传输一个节目，即：仅支持单路传输流SPTS，不支持多路传输流MPTS。

ii传输流必须由长度为188字节的包组成。

iii.传输流必须由一个完整传输包开始，并且包含整数个传输包。

iv.传输流中的内容不能被加密或者被加扰。

v.仅支持节目关联表（PAT）包含在一个传输包中，不支持PAT跨多个传输包；仅支持节目映射表（PMT）包含在一个传输包中，不支持PMT跨多个传输包。

vi.在传输流中，节目关联表PAT必须出现在任何该节目的节目映射表PMT之前。

vii.在传输流中，节目映射表PMT必须位于任何该节目的数据或视频包之前。

viii.节目映射表PMT必须标识该节目所需要的所有PID（分包标识符）。

ix.一个节目可以包含一个视频流和不多于四个（≤4）的音频流，不能包含字幕流。

x.节目参考时钟（PCR）的PID必须与节目视频流的PID一致。

xi.传输流中的时间戳必须正确。如果传输流中的时间戳有问题，不修正时间戳信息。

2.基本流（Elementary Stream）的要求

i.支持的视频编译码器和音频编译码器为：

●视频编译码器：Mpeg-2Video和H.264。其中，H.264：

√B帧图像不能被I帧和P帧图像参考，只能被其他B帧图像参考。

√比特流中需包含有access_unit_delimiter_rbsp()。

●音频编译码器：Mpeg-1音频层II和Dolby AC-3。

ii节目中的每个流必须由完整的访问单元边界（access unit boundary）开始并且包含整数个访问单元。

iii.节目中的视频流和音频流必须符合T-STD缓冲模型。

iv.对视频流的要求：

●一个传输包只能包含来自一个打包基本流（PES）的数据。

●每个PES包只能且必须包含一个完整的视频帧，或者是一个完整的视频域。

v.对音频流的要求：

●一个传输包只能包含来自一个打包基本流（PES）的数据。

●每个PES包只能且必须包含一个或者多个完整的音频帧。

二、对MP4文件的要求

1、支持的视频编译码器和音频编译码器为：

●视频编译码器：Mpeg-4Video和H.264。其中，H.264：

·B帧图像不能被I帧和P帧图像参考，只能被其他B帧图像参考。

·比特流中需包含有access_unit_delimiter_rbsp()。

●音频编译码器：Mpeg-1音频层II和AAC。

三、对PS文件的要求

1、支持的视频编译码器和音频编译码器为：

●视频编译码器：Mpeg-2Video和H.264。其中，H.264：

·B帧图像不能被I帧和P帧图像参考，只能被其他B帧图像参考。

·比特流中需包含有access_unit_delimiter_rbsp()。

●音频编译码器：Mpeg-1音频层II和Dolby AC-3。

在步骤104，从所定位的片段中提取视频ES数据和音频ES数据。在粗编时，一般以视频GOP（画面组）为基本的处理单元，一个片段中包含整数个GOP。在一个实施例中，可以使用有限状态机来从媒体流中提取视频ES数据和音频ES数据。根据一实施例，由于通常人们对图像的敏感度高于对声音的敏感度，因此两个片段过渡处的视频DTS（Decoding Time-Stamp，解码时间戳）需要保持连续。针对一个片段而言，在找到起始视频数据后，才开始寻找音频数据，并且在找到尾部视频数据后，才停止寻找音频数据，使得视频数据的持续时间大于等于音频数据的持续时间。并且，后一个片段的起始音频数据的时间戳需要大于等于前一个片段的尾部音频数据的时间戳和尾部音频数据的持续时间之和。根据一实施例，如果所提取的ES数据是H.264ES数据，那么还需修正H.264ES数据，使得修正后的H.264ES数据能够满足ISO&IEC14496-10标准的约束。

在步骤106，将所提取的视频ES数据和音频ES数据存储在数据列表中。根据一实施例，所提取的ES数据被存储在编译码器缓冲器（Codec Buffer）中。并且，数据列表中的每一条记录对应于一帧的视频ES/音频ES数据。

在步骤108，判断是否还有需要处理的片段。如果有，则循环到步骤102，如果无，则继续到步骤110。

在步骤110，使用所提取的视频ES数据和音频ES数据来创建出媒体流。

根据一实施例，在一个或多个媒体文件是TS文件的情况下，所创建出的媒体流为TS流。图2描述了用于由视频ES数据和音频ES数据创建TS流的方法200。在202，根据所提取的视频ES数据和音频ES数据，分别创建出视频TS包和音频TS包。接着，以视频TS包为主体，执行步骤204-208。在204，按照设定的时间间隔将PAT表和PTM表插入到视频TS包中。在206，按照设定的时间间隔（例如：20毫秒）将具有PCR的TS包插入到视频TS包中。在一个实施例中，PCR=((output_data_size*8)+88)*27000000/ts_bitrate。其中，output_data_size为PCR字段所在的TS包前（不包括PCR字段所在的TS包）已经输出的实际TS流的尺寸，以字节为单元；ts_bitrate为TS流的码率。在208，当当前音频TS包的DTS减去当前PCR的值约等于常量（例如，1000毫秒）时，插入音频TS包，如此不会出现音频缓冲器的溢出问题。接着可选地，在210，插入空包（Null Packet）。在一实施例中，每放入一个视频TS包后，都需要判断是否需要放入空包。具体判断方式如下：

首先，计算“目标TS流的尺寸”与“实际TS流的尺寸”间的差异delta：delta=(ts_bitrate*video_packet_dts)-output_data_size。其中，ts_bitrate是TS流的码率，video_packet_dts是当前视频TS包的解码时间，output_data_size是当前TS包前（不包括当前TS包）已经输出的实际TS流的尺寸。

其次，根据delta来判断是否需要放入空包：

其中，null_packet_last_cnsert_pos为最后一个放入Null_packet（空包）的位置。综上，上述Null包的放入算法使得：（1）空包的放入有一定的间隔，而非连续的；（2）依据“目标TS流的尺寸”与“实际TS流的尺寸”间的差异来判定是否需要放入空包。

在上述方法200中，PCR从0开始计算，“起始视频TS包的DTS”和“起始音频TS包的DTS”两者相差约为1000ms，甚至更多一些。这样处理，可以满足：（1）PCR小于DTS；（2）由于“起始视频TS包的DTS”和“对应的PCR”相差1000ms，甚至更多一些，因此抗视频码率波动的能力较强。由此，通过以上方式创建的TS流具有极低的码率波动，能够通过码流分析仪的ETR290测试。

在多个TS媒体文件进行合并时，该多个TS媒体文件以及所创建的TS流满足以下相关要求：

i.TS文件中的下述信息必须一样：

●传输速率的类型，或者都为恒定传输速率、或者都可变传输速率。

●视频流的编译码器类型。

●音频流的数量，各个音频流的编译码器类型。

ii获取并保存第一个InputFile（输入文件）中的节目关联表PAT和节目映射表PMT，该PAT和PMT将被放置到创建出来的TS流中。

iii.为了快速获得节目信息，节目关联表PAT和节目映射表PMT的发送速率为每秒10次。

iv.节目关联表PAT和节目映射表PMT中不足188字节的剩余数据，使用0xFF填充。

v.视频流携带节目参考时钟PCR，PCR精度在±500ns之内，PCR发送间隔≤40ms。

vi.创建出来的TS流的传输速率，精确到kbps。

vii.创建出来的TS流的第一个PCR应将传输流不连续标记

（discontinuity_indicator)的值设置为“1”。Null Packet的PID值为0xlFFF(8191)，其中，184字节的data_byte需赋值为0xFF。

viii.下述传输包，需使用adaptation_field()中的stuffng_byte字段填充传输包中的剩余数据：

●仅包含有adaptation_field()，没有payload（有效载荷）数据的传输包。

●payload数据不足的传输包，例如：包含一个完整的视频帧的PES_packet()的尾部数据，其中，stuffing_byte需赋值为0xFF。

ix.粗编时片段精确到视频关键帧，需丢弃片段的起始视频关键帧后的所有B帧图像。

以上涉及的字段均在ISO/IEC在2007年10月15日公布的《ISO/IEC13818-1(第三版)》中定义。

根据一实施例，在一个或多个媒体文件是MP4文件的情况下，所创建出的媒体流为MP4流。图3描绘了用于由视频ES数据和音频ES数据创建MP4流的方法300。MP4文件的逻辑结构为Sample（样本）→Chunk（块）→Track（音轨）。在本发明中，输出MP4文件中的音频数据、视频数据采用交错方式存放，即，输出MP4文件采用“音频块、视频块、音频块、视频块、.......”这一交错方式组织媒体数据，这是因为流媒体服务器读取采用交错方式存放的MP4文件的效率较高。在一实施例中，可以设定交错存放的音频数据、视频数据的尺寸。在302，首先依据设定的Chunk尺寸，对所有的视频样本和音频样本进行拆分处理，形成音频块序列、视频块序列，其中一个块中由一个或者若干个样本组成，在304，对音频块序列、视频块序列进行交错处理，形成“音频块、视频块、音频块、视频块、.......”这一媒体序列信息。在306，依据在304交错好的“音频块、视频块、音频块、视频块、.......”媒体块序列信息，生成Hint（指示）信息（Hint信息中并不包含媒体数据，而是包含了将媒体数据打包成流媒体的指示信息）。相关的规范为RFC3016、RFC3640和RFC3984。在308，依据在304交错好的“音频块、视频块、音频块、视频块、.......”媒体块序列信息、Hint信息来生成MP4流。在一个实施例中，首先基于在304交错好的“音频块、视频块、音频块、视频块、.......”媒体块序列信息、Hint信息来生成mdat atom（该atom用于放置具体的媒体数据，包括音频数据、视频数据、Hint数据），然后生成moov atom（该atom用于放置媒体数据的索引信息），最后添加ftypatom（该atom为MP4流的标识符）。ftyp atom、moov atom和mdat atom构成了一个完整的MP4流。

在多个MP4媒体文件进行合并时，要求MP4文件中的下述信息必须一样：

●视频流的编译码器类型。

●音频流的数量，各个音频流的编译码器类型。

根据一实施例，在一个或多个媒体文件是PS文件的情况下，所创建出的媒体流为PS流。图4描述了用于由视频ES数据和音频ES数据创建PS流的方法400。在402，按照设定的时间间隔定期创建PS规范中规定的pack_header()。其中，pack_header()中有SCR字段，SCR字段用于控制PS流的传输速度。在一个实施例中，可以按照以下算法产生SCR字段，使得PS流能够平稳传输，码率波动低：

$\mathrm{SCR}=(\mathrm{video}\_\mathrm{pes}\_\mathrm{packet}\_\mathrm{dts}\_\mathrm{current}-1000)+$

$\frac{(\mathrm{video}\_\mathrm{pes}\_\mathrm{packet}\_\mathrm{dts}\_\mathrm{next}-\mathrm{video}\_\mathrm{pes}\_\mathrm{packet}\_\mathrm{dts}\_\mathrm{current})*\mathrm{video}\_\mathrm{pes}\_\mathrm{packet}\_\mathrm{output}\_\mathrm{size}\_\mathrm{current}}{\mathrm{video}\_\mathrm{pes}\_\mathrm{packet}\_\mathrm{total}\_\mathrm{size}\_\mathrm{current}}$ 。

其中，video_pes_packet_dts_current为当前视频ES帧所在的PES_Packet()的DTS,以毫秒为单位。video_pes_packet_dts_next为下一视频ES帧所在的PES_Packet()的DTS，以毫秒为单位。video_pes_packet_output_size_current为当前视频ES帧所在的PES_Packet()的已经放置到PS流的数据尺寸，以字节为单位。video_pes_packet_total_size_current为当前视频ES帧所在的PES_Packet()的数据尺寸，以字节为单位。在本发明中，一帧视频图像进行压缩处理后得到的压缩数据，称为一个视频ES帧。采用了“一个完整的视频ES帧放置在TS规范规定的PES_Packet()中，一个PES_Packet()中仅包含一个视频ES帧”这一工作模式，即视频ES帧和PES_Packet()间存在一对一关系。

在404，根据pack_header()中SCR字段值，由视频ES数据和音频ES数据创建出PES_packet()，其中一个pack_header()对应一个PES_packet()。在一个实施例中，创建后的一个PES_packet()中包含一帧视频ES数据、或者包含一到多帧音频ES数据。在406，生成pack()序列。其中，一个pack_header()加上一个PES_packet()，加上4字节的pack_start_code，即构成一个完整的pack()。由于pack()是PS流的基本组成单元，因此生成的pack()序列即为PS流。

在多个PS媒体文件进行合并时，要求PS文件中的下述信息必须一样：

●视频流的编译码器类型。

●音频流的数量，各个音频流的编译码器类型。

可以理解，在以上提到的处理过程中，如果是多个来自同一个或者多个媒体文件的片段，合并成一个输出的媒体流，即为媒体流拼接。如果这些片段相互独立，一个片段对应一个输出的媒体流，即为媒体流拆分。

在步骤112，将所得到的媒体流输出到指定目录。

图5描述了用于实现本发明的各实施例的系统框架500。存储器502用于存储本文所描述的各种媒体文件。存储在存储器502中的一个或多个本地媒体文件被编辑器504进行如上文描述的粗编操作，例如媒体流拼接和/或媒体流拆分操作，并将所得到的经拼接或拆分后的单个文件存储在另一存储器506中。其中，本发明采用http协议+xml模式将编辑器504和内容管理系统508或其它外部系统进行对接，以方便内容管理系统508或其它外部系统对媒体文件的编辑。以下简要描述接口规范以及接口参数。

接口规范

返回命令参数代码

接口参数

●HTTP控制：通过HTTP协议向粗编发送命令

●XML模式：脚本方式接收及返回粗编的数据

发送命令

●参数说明：

■file-name:待编辑文件名，文件的绝对路径及文件名，可以包含中文字符，不能为空。linux系统采用“/opt/testfile/1.mp4”的绝对路径。

■begin-time:编辑片段的起始时间点，格式为时：分：秒：毫秒（00:00:00:000）

■3.end-time:编辑片段的结束时间点，值为-1时表示待编辑文件结束时间

■4.output-file-name:编辑生成的文件名

■5.type：1：视频分拆2：视频合并3：音频提取分拆、4：音频提取合并

命令返回

●参数说明

command-code：该命令执行的结果。“0”表示任务成功；“1”表示任务失败。

根据测试，视频超快速粗编系统的性能如下述表格所示：

注：标清TS文件的性能为35:1，表示35分钟影片只需1分钟即完成拼接工作。

以上参考根据本发明的实施例的方法、系统的框图和/或操作说明描述了各实施例。框中所注明的各功能/动作可按不同于任何框图所示的次序出现。例如，取决于所涉及的功能/动作，连续示出的两个框实际上可基本同时执行，或者这些框有时可按相反的次序执行。

尽管已描述了特定实施例，但也可能存在其他实施例。此外，虽然各实施例被描述为与存储在存储器和其他存储介质中的数据相关联，但是数据还可被存储在其他类型的计算机可读介质上或从其读取，诸如辅助存储设备（像硬盘、软盘、或CD-ROM）、来自因特网的载波、或其他形式的RAM或ROM。此外，所公开的例程的各操作可以任何方式修改，包括通过对各操作重新排序和/或插入或删除操作，而不背离本发明。

对本领域的技术人员而言，显然可对本发明作出各个修改或变化，而不背离本发明的范围或精神。在考虑说明书和实现此处公开的本发明之后，本发明的其他实施例对本领域的技术人员而言将是显而易见的。

Claims (11)

1.一种用于拼接媒体文件的方法，所述方法包括：

根据设定的时间点来定位一个或多个媒体文件中的多个片段；

从所定位的多个片段中分别提取视频ES数据和音频ES数据，其中从所定位的多个片段中分别提取视频ES数据和音频ES数据进一步包括，对于每一个片段，在找到起始视频数据后，才开始寻找音频数据，并且在找到尾部视频数据后，才停止寻找音频数据，使得视频数据的持续时间大于等于音频数据的持续时间；

使用所提取的视频ES数据和音频ES数据来创建出单个媒体流。

2.如权利要求1所述的方法，其特征在于，从所定位的多个片段中分别提取视频ES数据和音频ES数据进一步包括，后一个片段的起始音频数据的时间戳大于等于前一个片段的尾部音频数据的时间戳和尾部音频数据的持续时间之和。

3.如权利要求1所述的方法，其特征在于，进一步包括将所提取的视频ES数据和音频ES数据存储在数据列表中。

4.如权利要求1所述的方法，其特征在于，在一个或多个媒体文件是TS文件的情况下，使用所提取的视频ES数据和音频ES数据来创建出单个媒体流进一步包括通过以下步骤来创建单个TS流：

根据所提取的视频ES数据和音频ES数据，分别创建出视频TS包和音频TS包；

以视频TS包为主体，执行以下步骤：

按照设定的时间间隔将节目关联表(PAT)和节目映射表(PTM)定期插入到视频TS包中；

按照设定的时间间隔将具有节目参考时钟(PCR)的TS包定期插入到视频TS包中；

当当前音频TS包的解码时间(DTS)减去当前PCR的值约等于一常量时，插入音频TS包。

5.如权利要求4所述的方法，其特征在于，所述常量为1000毫秒。

6.如权利要求4所述的方法，其特征在于，进一步包括基于目标TS流的尺寸和实际TS流的尺寸之间的差异来判断是否插入空包。

7.如权利要求1所述的方法，其特征在于，在一个或多个媒体文件是MP4文件的情况下，使用所提取的视频ES数据和音频ES数据来创建出单个媒体流进一步包括通过以下步骤来创建单个MP4流：

依据设定的块尺寸，对所有的视频样本和音频样本进行拆分处理，形成音频块序列、视频块序列，其中一个块由一个或者若干个样本组成；

对所形成的音频块序列、视频块序列进行交错处理，形成“音频块、视频块、音频块、视频块、.......”这一媒体块序列信息；

依据所述媒体块序列信息，生成指示将媒体数据打包成流媒体的指示信息；

依据所述媒体块序列信息、所述指示信息，生成MP4流。

8.如权利要求7所述的方法，其特征在于，依据所述媒体块序列信息、所述指示信息，生成MP4流进一步包括：

基于所述媒体块序列信息、所述指示信息来生成mdat atom，所述mdat atom用于放置具体的媒体数据，包括音频数据、视频数据、指示数据；

生成moov atom，所述moov atom用于放置媒体数据的索引信息；

添加ftyp atom，所述ftyp atom为MP4流的标识符；

其中所述ftyp atom、所述moov atom和所述mdat atom构成了一个完整的MP4流。

9.如权利要求1所述的方法，其特征在于，在一个或多个媒体文件是PS文件的情况下，使用所提取的视频ES数据和音频ES数据来创建出单个媒体流进一步包括通过以下步骤来创建单个PS流：

按照设定的时间间隔定期创建pack_header()；

根据pack_header()中的SCR字段值，由视频ES数据和音频ES数据创建出PES_packet()，其中一个pack_header()对应一个PES_packet()；

生成pack()序列。

10.如权利要求1所述的方法，其特征在于，所述方法是由编辑器执行的，内容管理系统经由http协议和xml模式与所述编辑器进行对接，其中所述内容管理系统通过http协议对所述编辑器发送对媒体文件进行粗编的命令，并且所述编辑器用xml模式返回经编辑的数据。

11.一种用于拆分媒体文件的方法，所述方法包括：

根据设定的时间点来定位一个或多个媒体文件中的多个片段；

针对所定位的多个片段中的各个片段，分别提取视频ES数据和音频ES数据,其中分别提取视频ES数据和音频ES数据进一步包括，对于每一个片段，在找到起始视频数据后，才开始寻找音频数据，并且在找到尾部视频数据后，才停止寻找音频数据，使得视频数据的持续时间大于等于音频数据的持续时间；

使用各个片段中所提取的视频ES数据和音频ES数据来创建出对应于各个片段的单个媒体流。