CN102447949A - 一种高效的精确到帧的ts流拼接方法 - Google Patents

Abstract

本发明公开一种高效的精确到帧的TS流拼接方法，包括：解复用，对要播出的MPEG-TS格式的音视频文件进行解复用操作，将TS包解包成PES包，再将PES包解包为ES包，最终得到视频ES包、音频ES包和同步信息，同步信息包括每个音频/视频ES包的PTS/DTS信息和来源标志；基本流ES拼接，对不同来源的ES包根据同步信息统一重新产生PTS/DTS，对不同来源拼接处的视频ES包按拼接算法进行处理，输出的同步信息为重新产生的PTS/DTS；单节目传输流TS复用，并通过插入空包使单节目传输流的码率保持恒定；多节目流复用，采用专用的复用设备将多路单节目传输流复用成多节目传输流。本发明实现对硬盘文件的精确到帧的无缝拼接，提高了输出质量，可应用于对图像质量要求高的场合。

Description

一种高效的精确到帧的TS流拼接方法

技术领域

本发明涉及视频处理，特别视频拼接方法。

背景技术

随着数字电视时代的到来，电视节目的摄制、制作、播出及存储都将实现数字化、网络化，流播出服务器在广电行业已得到广泛应用。流播出服务器的主要功能包括有：1)按节目单播出硬盘文件；2)支持多编码格式的硬盘文件播出；3)实现播控、节目单编制以及节目迁移控制等相关功能。

目前市场上的流播出服务器多为国外的产品，比较典型的是市场占有率很高的恩讯公司的数字视频服务器，其基本特性有：

·完全符合DVB标准的多路广播服务器；

·多路实时媒体编码；

·兼容SDTV和HDTV；

·独一无二的位流编接、解复用和再复用技术；

·数字式界面与MPEG-2编辑系统直接接口；

·2个或更多服务器通过SAN存储；

·多语言DVB辅助控制软件，实现数字式播出；

·直接ASI连接到QAM/QPSK调制器或其它通讯接口；

·通过LAN直接进行数据插入：新闻、股票、电子杂志等；

·实时的传输流捕获、解复用和存储；

·可选冗余TS切换器，保证系统更可靠的运行。

但是国外的产品存在价格较高，本土化不够，后期维护吃力，由于这些产品的封闭性，碰到问题往往无法解决。

在使用恩讯公司的数字视频服务器的过程中，发现它对音视频文件的拼接存在一定的问题，在节目切换时，有时会出现黑场和马赛克现象，影响观看质量，不适用于对画面要求很高的应用场合。

发明内容

本发明的目的提供一种高效的精确到帧的TS流拼接方法。

本发明的技术方案包括：

一种TS流拼接方法，包括以下步骤：

步骤一，解复用，对要播出的MPEG-TS格式的音视频文件进行解复用操作，将TS包解包成PES包，再将PES包解包为ES包，最终得到视频ES包、音频ES包和同步信息，同步信息包括每个音频/视频ES包的PTS/DTS信息和来源标志；

步骤二，基本流ES拼接，对不同来源的ES包根据同步信息统一重新产生PTS/DTS，对不同来源拼接处的视频ES包按拼接算法进行处理，输出的同步信息为重新产生的PTS/DTS；

步骤三，单节目传输流TS复用，并通过插入空包使单节目传输流的码率保持恒定；

步骤四，多节目流复用，采用专用的复用设备将多路单节目传输流复用成多节目传输流。

其中，步骤二中对视频ES包拼接包括：

1)对头输入流中包含切出帧的图像组之前的图像组，拼接后将保留在输出流中；

2)对头输入流中包含切出帧的图像组，经过相应的处理后得到一个完整的图像组，并输出到输出流中，对包含切出帧的图像组的处理包括帧截取、局部重编码等；

3)对尾输入流中包含切入帧的图像组，经过相应的处理后得到一个完整的图像组，并输出到输出流中，对包含切入帧的图像组的处理包括去掉多余帧、重编码；

4)对尾输入流中包含切入帧的图像组之后的图像组，拼接后将保留在输出流中。

其中，步骤二中对音频ES包的拼接处理为：对头输入流，保留PTS小于或等于切出帧PTS的音频ES包而去除PTS大于切出帧PTS的音频ES包，对尾输入流，去除PTS小于切入帧PTS的音频ES包，保留PTS大于或等于切入帧PTS的音频ES包。

其中，步骤二中对所有音频/视频ES包要进行PTS/DTS调整，具体为：在切入尾输入流的ES包时，首先要计算一个PTS/DTS调整量，调整量为输出流的下一个视频包PTS值减去尾输入流切入帧的PTS值，然后对所有来自尾输入流的视频ES包/音频ES包的PTS/DTS值都要加上这个调整量后，作为输出流中ES包的PTS/DTS值。

其中，步骤三单节目传输流TS复用中，根据同步信息将单路视频ES包、音频ES包按MPEG-TS格式进行复用产生符合标准的传输流TS，同时通过插入空包使单节目传输流的码率保持恒定。

本发明的积极进步效果在于：实现对硬盘文件的精确到帧的无缝拼接，使播出实现无马塞克、无黑场，提高了输出质量，可应用于对图像质量要求高的场合。

附图说明

图1是本发明的实施例的流程示意图。

图2是用于说明本发明的帧结构示意图。

图3是本发明适用的系统的示意图。

具体实施方式

以下结合附图所示实施例对本发明作详细说明。

如图1所示，从硬盘音视频文件到多节目传输流的大致过程如下：

步骤100，解复用。对要播出的MPEG-TS格式的音视频文件进行解复用操作，将TS包解包成PES包，再将PES包解包为ES包，最终得到视频ES包、音频ES包和同步信息，同步信息包括每个音频/视频ES包的PTS/DTS信息和来源标志；

步骤200，基本流ES拼接。在ES层对音频/视频进行拼接操作，对不同来源的ES包根据同步信息统一重新产生PTS/DTS，对不同来源拼接处的视频ES包按拼接算法进行处理以保证最终输出的视频无黑场无马赛克，输出的同步信息为重新产生的PTS/DTS；

步骤300，单节目传输流TS复用。根据同步信息将单路视频ES包、音频ES包按MPEG-TS格式进行复用产生符合标准的传输流TS，同时通过插入空包使单节目传输流的码率保持恒定；

步骤400，多节目流复用。采用专用的复用设备将多路单节目传输流复用成多节目传输流，可根据需要产生ASI信号或直接连接QPSK/QAM调制器产生机顶盒的输入信号。

步骤200中，视频ES包的拼接如图2所示，头输入流和尾输入流为要进行拼接的视频ES包，来自两个不同的文件，图中每个格子代表一个图像组GOP，每个GOP包含多个视频帧，H_n为包含切出帧的GOP，T₀为包含切入帧的GOP。拼接操作的过程如下：

1)对头输入流中H_n之前的不包含切出帧的GOP(H_n-2 H_n-1等)，拼接后将保留在输出流中；

2)对头输入流中包含切出帧的H_n，经过相应的处理后得到一个完整的图像组F_h(H_n)，并输出到输出流中，对H_n的处理包括帧截取、局部重编码等；

3)对尾输入流中包含切入帧的T₀，经过相应的处理后得到一个完整的图像组F_t(T₀)，并输出到输出流中，对T₀的处理包括去掉多余帧、重编码等；

4)对尾输入流中T₀之后的不包含切入帧的GOP(T₁ T₂等)，拼接后将保留在输出流中。

对H_n和T₀的处理若只包含帧截取操作，在由某些帧切出或切入的情况下会导致输出视频中出现黑场或马赛克，不能达到精确到帧无缝拼接。假设图像组H_n和T₀的编码顺序为I₂ B₀ B₁ P₅ B₃ B₄ P₈ B₆ B₇ P₁₁ B₉ B₁₀，其对应的显示顺序为B₀ B₁ I₂ B₃ B₄ P₅ B₆ B₇ P₈ B₉ B₁₀ P₁₁，可以看出，图像组H_n的切出点必须在I或P帧前面才能实现无黑场或马赛克，若从B帧前面截断，会造成显示时某些帧丢失并导致黑场，比如从B₄帧前面截断后，码流为I₂ B₀ B₁ P₅ B₃，而显示时为B₀ B₁ I₂ B_3-4 P₅，原来该显示B₄帧的时刻无帧可以显示造成黑场。对图像组T₀的切入点必须从I帧前面切入，此时由于B₀ B₁参考了前一个GOP中的帧，会出现马赛克，而从I帧后面切入时，由于该GOP中的所有帧都直接或是间接以I帧为参考帧，没有I帧导致解码不正确图像出现马赛克。

为了达到精确到帧的无缝拼接，对H_n和T₀的处理除了帧截取操作外，在某些情况下还要采取去掉多余帧、局部重编码等方法，同时还要考虑到切入/切出图像组为Open-GOP和Close-GOP的情况。Open-GOP表示该GOP中存在B帧是以前一个GOP中的帧为参考帧，Close-GOP表示该GOP中所有帧都是本GOP中的其它帧为参考帧。具体的处理分以下几种情况：

表1

情况1：头输入流切出GOP为Open-GOP时，如上表所示，带’的帧为重新编码后得到的帧。在切到I帧或P帧时，仅需要进行帧截取操作，所有帧不需要重编码；在切到显示顺序在I帧前面的B帧时，要对B帧重新编码为I帧或P帧；在切到显示顺序在I帧后面的B帧时，要对一些B帧重新编码为P帧，同时重新编码的B帧之前的帧不需要重新编码，可以最大程度的保持图像质量。

表2

情况2：头输入流切出GOP为Close-GOP时，各种情况如上表所示，带’的帧为重新编码后得到的帧。在切到I帧或P帧时，仅需要进行帧截取操作，所有帧不需要重编码；在切到B帧时，要对一些B帧重新编码为P帧，同时重新编码的B帧之前的帧不需要重新编码，可以最大程度的保持图像质量。

表3

情况3：尾输入流切入GOP为Open-GOP时，各种情况如上表所示，带’的帧为重新编码后得到的帧。在从I帧切入时，要去掉GOP中的特殊B帧(以前一个GOP中的帧为参考帧)以保证不会出现马赛克，对其它帧进行截取操作，所有帧不需要重编码，不会损失图像质量；在从非I帧切入时，要对GOP中从切入帧开始的所有帧进行重编码，实现帧精度切入。

表4

情况4：尾输入流切入GOP为Close-GOP时，各种情况如上表所示，带’的帧为重新编码后得到的帧。在从I帧切入时，仅需进行截取操作，所有帧不需要重编码，不会损失图像质量；在从非I帧切入时，要对GOP中从切入帧开始的所有帧进行重编码，实现帧精度切入。

步骤200中，要对音频ES包进行拼接处理。解复用后得到的每个ES包都有对应的PTS/DTS值，来自同一文件的视频ES包和音频ES包的PTS值反映了视频和音频的同步关系，在进行音频ES包拼接时，要根据视频ES包的拼接情况来作处理。具体的处理方法为：

1)对头输入流，假设视频拼接操作是切到图像组H_n的某帧，其对应的PTS值为PTS_out，则对音频的处理为，保留PTS小于等于PTS_out的音频ES包，去除大于PTS_out的音频ES包；

2)对尾输入流，假设视频拼接操作是从图像组T₀中某帧切入，其对应的PTS值为PTS_in，则对音频的处理为，去除小于PTS_in的音频ES包，保留PTS大于等于PTS_in的音频ES包。

步骤200中，要对所有音频视频ES包的PTS/DTS进行调整。由于来自不同文件的ES包的PTS/DTS是不相关的，在进行拼接时若不作修改，会造成拼接后输出流的ES包的PTS/DTS发生突变导致播放器无法播放，因此必须对不同来源的音频/视频ES包的PTS/DTS值进行调整。具体方法为：在切入尾输入流的ES包时，首先要计算一个PTS/DTS调整量，调整量为输出流的下一个视频包PTS值减去尾输入流切入帧的PTS值(来自源文件)，然后对所有来自尾输入流的视频ES包/音频ES包的PTS/DTS值都要加上这个调整量后，作为输出流中ES包的PTS/DTS值，这样保证了输出流中PTS/DTS值连续且符合标准。

步骤300中，要对基本流ES拼接后产生的音频/视频ES包，根据同步信息按MPEG2标准进行单节目复用产生符合标准的传输流TS，具体的处理包括自动产生SDT/PAT/PMT、将ES包重组成TS包、单节目传输流的码率控制。

MPEG-2标准规定传输流中每隔100ms(DVB标准为40ms)要包含节目特殊信息PSI包，PSI记录了关于信道、传输流和节目的基本信息，类型有节目关联表PAT、节目映射表PMT、网络信息表NIT和条件接收表CAT。在单节目传输流TS复用时，将每隔500ms自动产生服务描述表SDT，每隔100ms产生一次节目关联表PAT和节目映射表PMT。

对视频/音频ES包，首先要打包成PES包，然后再分拆为TS包，最终形成传输流。视频TS包和音频TS包分别对应不同的包标识PID，来自不同文件的视频ES包打包后对应一个固定的视频PID，同样来自不同文件的音频ES包打包后对应一个固定的音频PID，这样保证了输出TS流中PID的一致性，提高了输出流的兼容性。

为了更好的兼容多节目流复用设备，一般要求单节目传输流输出的码率保持稳定，而且设定的输出码率一般略大于视频TS包和音频TS包的码率之和，具体的实现方法如下：

1)要按码率计算TS包的PCR值，并且每隔20ms记录在TS包中，并输出到单节目传输流中；

2)若视频TS包和音频TS包的总数据量不足以保持设定的输出码率，则要插入适当数量的空TS包，以增加数据量保持输出码率不会降低；

3)根据PCR值，将产生的单节目输出流以恒定的码率进行输出，如通过IP网络组播输出。

该方法所适用的系统如图3所示，播出服务器具有以下一些技术特点：

支持双机备份，单机Raid机制，单机双电源，确保安全播出；支持灵活的播出机制；支持TS OVER IP组播输出；支持MPEG-2/H.264/MPEG4；支持系统资源报警；支持实时日志记录。

播控服务器具有如下技术特点：根据串联单对即将播出的节目检查其存在性以及有效性；根据策略读取播出串联单信息；根据串联单进行正常的播出控制；播出节目信息监控；紧急节目单编辑、控播功能；紧急情况垫片自动播放机制。

采用计算机网络、数据库、MPEG-2视频编解码技术等技术，搭建起一套虚拟频道播控管理平台。整个平台包括内容播控子系统、播出子系统、节目迁移控制子系统以及节目编单子系统，其功能满足了虚拟频道播出与管理的要求；

达到广播级播出，输出TS码流完全符合MPEG-2标准，PCR精度达到±50ns(MPEG-2标准为±500ns)，PCR间隔误差在±2ms内，自动产生SDT，PAT，PMT等程序特殊信息(PSI)表，间隔误差在±2ms内，通过插入空包达到输出TS码率恒定；

对播放文件可以实现了精确到帧的无缝拼接，通过拼接处局部重编码等技术，使播出TS流真正实现无马塞克、无黑场，精确到帧，解码缓冲器无上溢/下溢。

尽管本发明依照其优选实施方式描述，但是存在落入本发明范围内的改变、置换和各种替代等同物。这里提供的示例仅是说明性的，而不是对本发明的限制。

为了简明，本说明书省略了对公知技术的描述。

Claims (6)

1.一种高效的精确到帧的TS流拼接方法，包括以下步骤：

步骤一，解复用，对要播出的MPEG-TS格式的音视频文件进行解复用操作，将TS包解包成PES包，再将PES包解包为ES包，最终得到视频ES包、音频ES包和同步信息，同步信息包括每个音频/视频ES包的PTS/DTS信息和来源标志；

步骤二，基本流ES拼接，对不同来源的ES包根据同步信息统一重新产生PTS/DTS，对不同来源拼接处的视频ES包按拼接算法进行处理，输出的同步信息为重新产生的PTS/DTS；

步骤三，单节目传输流TS复用，并通过插入空包使单节目传输流的码率保持恒定；

步骤四，多节目流复用，采用专用的复用设备将多路单节目传输流复用成多节目传输流。

2.根据权利要求1所述的TS流拼接方法，其特征在于，步骤二中对视频ES包的拼接处理包括：

1)对头输入流中包含切出帧的图像组之前的图像组，拼接后将保留在输出流中；

2)对头输入流中包含切出帧的图像组，经过相应的处理后得到一个完整的图像组，并输出到输出流中，对包含切出帧的图像组的处理包括帧截取、局部重编码；

3)对尾输入流中包含切入帧的图像组，经过相应的处理后得到一个完整的图像组，并输出到输出流中，对包含切入帧的图像组的处理包括去掉多余帧、重编码；

4)对尾输入流中包含切入帧的图像组之后的图像组，拼接后将保留在输出流中。

3.根据权利要求2所述的视频ES包拼接处理，其特征在于，对头输入流的包含切出帧的图像组和尾输入流的包含切入帧的图像组，采取帧截取、去掉多余帧、重编码部分帧并替换等方法，使输出流中视频画面无黑场无马赛克，实现精确到帧的无缝拼接。

4.根据权利要求1所述的TS流拼接方法，其特征在于，步骤二中对音频ES包的拼接处理为：对头输入流，保留PTS小于或等于切出帧PTS的音频ES包而去除PTS大于切出帧PTS的音频ES包，对尾输入流去除PTS小于切入帧PTS的音频ES包，保留PTS大于或等于切入帧PTS的音频ES包。

5.根据权利要求1所述的TS流拼接方法，其特征在于，步骤二中对所有ES包的PTS/DTS要进行调整，在切入尾输入流的ES包时，首先要计算一个PTS/DTS调整量，调整量为输出流的下一个视频包PTS值减去尾输入流切入帧的PTS值，然后对所有来自尾输入流的视频ES包/音频ES包的PTS/DTS值都要加上这个调整量后，作为输出流中ES包的PTS/DTS值。

6.根据权利要求1所述的TS流拼接方法，其特征在于，步骤三单节目传输流TS复用中，根据同步信息将单路视频ES包、音频ES包按MPEG-TS格式进行复用产生符合标准的传输流TS，同时通过插入空包使单节目传输流的码率保持恒定。

Images