CN102065319B - 用于多路复用h.264基本流的方法和装置 - Google Patents

Abstract

本发明涉及用于多路复用H.264基本流的方法和装置。本发明的实施例多路复用不具有编码的定时信息的基本流来创建传输流。在一些实施例中，构造“n”个接入单元（AU）并将其一个接一个地推入到列表中。每个接入单元能够进行前瞻以获得关于下一接入单元的定时的信息。通过由列表的最顶部接入单元计算定时信息来构造报头。将所述报头写入到传输流中，并且用来自所述基本流的数据填充传输流的剩余字节。由此，构造出传输流。

Description

用于多路复用H.264基本流的方法和装置

技术领域

本发明总体上涉及图像处理。更具体地，本发明涉及AVC（高级视频编解码器）基本流的多路复用。

背景技术

数字广播工业当前采用了多种高级技术，包括高清晰度、网际协议电视（IPTV）以及移动视频。这些技术的关键促成者是压缩效率，以及因此对H.264/AVC（高级视频编解码器/MPEG-4，部分10）视频编解码器的较低带宽需求。MPEG-2（“活动图像专家组”）和“H.264”（这二者是活动图像编码过程的国际标准）已定义了作为压缩单元的图像帧或图像场，被称为“图片”。每个“图片”被用作编码过程和解码过程中的接入单元（AU）。

为了将H.264/AVC作为附加基本流（ES）类型合并到MPEG-2传输流（TS）中，MPEG-2标准的扩展已使得它可以是广播电台和网络运营商容易取得的并且对他们具有吸引力。

基本流（ES）基本上是一个音频或视频信号的原始压缩表示。基本流的格式取决于编解码器或流中所携带的数据，并且在将该流分组成分组的基本流时，其携带公共报头。

在MPEG-2系统中，视频基本流被组装成分组的基本流（PES）。在分组的基本流的报头中携带呈现时间戳（PTS）。当启用双向预测编码时，还在I-或P-图片的PES报头中携带解码时间戳（DTS）。

当以延迟的模式多路复用时，H.264视频基本流通常被存储为文件。H.264视频基本流包括网络抽象层（NAL）单元语法结构序列。NAL单元被分类成视频编码层（VCL）和非VCL NAL单元。VCL NAL单元包含表示视频图片的数据；非VCL NAL单元包含附加信息，例如应用于大量VCL NAL单元的序列参数集（SPS）和图片参数集（PPS）。序列参数集（SPS）中的参数包括对帧数目、图片顺序计数（POC）和流的帧速率的标识符限制。SEI NAL单元也被编码以增强可用性，然而，对于解码VCL NAL单元不是必要的。

典型地，在解码切片报头和切片数据之前，一个或多个序列参数集和图片参数集被发送到解码器。编码的切片报头涉及图片参数集并且这激活了特定图片参数集。被激活的图片参数集然后保持有效直到在另一个切片报头中涉及不同的图片参数集而使该不同的图片参数集被激活为止。类似地，图片参数集涉及激活序列参数集的标识符。被激活的SPS保持有效直到不同的序列参数集被激活为止。

H.264视频基本流可以被看作编码的视频序列。编码的视频序列包括一个或多个接入单元。每个接入单元（AU）是总是精确地包含一个基本编码图片的NAL单元集合。除了基本编码图片之外，AU还可以包含一个或多个冗余编码图片或者不包含编码图片的切片或切片数据分区（partition）的其它NAL单元。AU的解码总是产生解码的图片。在图1中示出传统接入单元的一般结构。

分组的基本流（PES）：对于实际用途，需要将携带来自压缩器的音频或视频的无限连续基本流分成PES分组。这些分组被包含时间戳（PTS和DTS）的报头标识以用于同步。PES分组可以被用来创建程序流或传输流。在压缩之后，因为双向编码，图片将会被失序发送。它们需要可变数量的数据并且因为多路复用和传输而经历可变的延迟。为了保持音频和视频锁定在一起，时间戳被周期性地合并到每个图片中。

时间戳是一个33位数字，其是由90kHz时钟驱动的计数器的采样。通过将27MHz程序时钟除以300来获得该时钟。因为呈现时间是均匀间隔的，所以没必要在每个呈现单元中包括时间戳。而是，时间戳可以由解码器插值，但是在程序流或传输流中它们不得分开多于700ms。

时间戳指示特定接入单元在时间上属于何处。通过将时间戳合并到视频和音频PES分组二者中的报头中来获得口型同步（Lip sync）。当解码器接收到所选择的PES分组时，它解码每个接入单元并且将其缓存到RAM中。当时间线计数达到时间戳的值时，RAM被读出。该操作具有两个期望的结果。首先，在每个基本流中获得有效时间基础校正。其次，可以使视频和音频基本流一起同步来制成程序。

PES分组被分成固定的188字节TS分组。传输流（TS）分组总是以报头开始。分组的剩余部分携带被称为有效载荷的数据。每个PES分组形成TS分组的有效载荷。TS报头相对较小，但是对于特定用途（例如为了携带PCR），该报头可以被扩展。在这种情况下，有效载荷会变得更小以使得TS分组的总大小不被改变。

图2描绘将音频和视频流多路复用成单个传输流的传统方法。分组器202a和202b分别从视频编码器201a和音频编码器201b接收视频流和音频流。这些流在TS多路复用器203中被多路复用以在输出端处获得单个传输流。每个接入单元包含基本编码图片。该基本编码图片可以是I切片（在IDR的情况下为内部切片，切片包含整数个宏块），P切片（预测切片），或B-切片（可以使用内部预测来解码的切片）。通过解码切片报头的切片_类型（slice_type)来获得所携带的图片类型。当基本流包含具有B-帧的接入单元时，连续编码的B-帧的数目是可变的和未绑定的。比特流中编码帧的顺序（也被称为编码顺序）是解码器重构它们的顺序。重构帧在解码过程输出处的顺序（也被称为显示顺序）不总与编解码器顺序相同。在PES报头中编码呈现时间戳和解码时间戳，其确定图片的解码和显示顺序。

序列参数集还包含视频可用性信息（VUI）。通过视频可用信息来用信号通知HRD（假设参考解码器）参数。HRD参数包含比特率信息以及编码图片缓冲器和解码图片缓冲器的值。HRD被用来检查比特流和解码器的一致性。而且，HRD参数连同可选的SEI消息（当其存在时）一起帮助计算流中编码的图片的PTS和DTS值。参见H.264标准的附录C以得到更多信息。

当在编码的视频可用性信息（VUI）中H.264视频基本流不具有HRD参数时，参考参数列表列表0和列表1的数目可以被用于预测。然而，这可能是个麻烦的过程。

因此，需求一种消除对构造（如在标准中所描述的）参考列表列表0和列表1来获得对于不具有编码的定时信息的那些基本流的定时信息的需要的方法。

发明内容

本发明的目的是提供一种机制，其可以应用于不具有编码的定时参数的高清晰度视频基本流的延迟时间多路复用中。

本发明的另一目的是提供一种用于生成视频基本流的有效多路复用以生成传输流（TS）的方法。

相应地，本发明的实施例提供一种在没有编码的定时信息的情况下多路复用基本流的装置和方法。

在一些实施例中，构造“n”个接入单元（AU）并将其一个接一个地推入到列表中。每个接入单元能够前瞻（looking ahead）以获得关于下一接入单元的定时的信息。通过由列表的最顶部接入单元计算定时信息来构造报头。将所述报头写入到TS中，并且用来自所述基本流的数据填充TS的剩余字节。由此，构造出传输流。

在一些实施例中，迭代地检查每一个接入单元中编码的基本图片类型，并且相应地计算包括对于每个接入单元的呈现时间戳（PTS）和解码时间戳（DTS）的定时信息。而且，对于基本流推导出可变帧速率（tc）。

如果编码的基本图片类型是B帧，则如下计算dts和pts：

dts(n)=dts(n-1)+tc，以及

pts(n)=dts(n)；

在B帧的pts和dts之间不包括任何偏移的情况下，解码所述B帧并同时呈现。

对于P和I类型的图片帧，如下计算dts和pts：

dts(n)=dts(n-1)+tc，以及

pts(n)=dts(n)+pts_offset*tc；

接下来，对于在下一I帧或P帧出现之前的B帧的数目（pts_offset）检查接入单元。

从附图以及下面的详细描述，本发明的其它特征将变得显而易见。

附图说明

将参考本发明的实施例，可以在附图中说明其示例。这些图旨在是说明性的而非限制性的。尽管在这些实施例的背景中大致描述了本发明，但是应该理解它不打算将本发明的范围限制为这些特定实施例。

图1说明传统接入单元的一般结构。

图2描绘用于将音频和视频多路复用成单个传输流的传统方法。

图3描绘根据本发明的实施例的前瞻方法（look-ahead method）的流程图。

图4描绘根据本发明的实施例将高清晰度视频基本流多路复用成传输流的方法。

图5描绘根据本发明的实施例的多路复用装置的框图。

具体实施方式

本文所描述的是用于多路复用不具有编码的定时信息的高清晰度视频基本流来创建传输流（TS）的装置和各种方法。在一些实施例中，构造“n”个接入单元（AU）并将其一个接一个地推入到列表中。每个接入单元能够前瞻以获得关于下一接入单元的定时的信息。通过由列表的最顶部接入单元计算定时信息来构造报头。将所述报头写入到TS中，并且用来自所述基本流的数据填充TS的剩余字节。由此，构造出传输流。

如上文所解释的那样，本发明的实施例目的在于提供一种机制，其可以应用于不具有编码的定时参数的高清晰度视频基本流的延迟时间多路复用中。

为此，下文描述一种前瞻方法，并且还在图3中示出该前瞻方法。该前瞻方法是一种在不构造（如在标准中所描述的）参考列表列表0和列表1的情况下在解码过程中进行帧重新排序的方式。当视频序列不包含B-帧时，编码的顺序总是与显示顺序相同。B-切片的出现意味着视频帧的编码顺序将不同于显示顺序。当编码的帧被多路复用时，其顺序不应该改变，这意味着与它们相关联的PTS值将向上和向下跳一个比特。

计算时间戳的前瞻方法：

图3描绘根据本发明的实施例的前瞻方法的流程图。该前瞻方法保持“n”个接入单元的列表，即被用于多路复用的有效AU列表。在步骤301中并且在开始时，该列表是空的。当将基本流转换成分组的基本流时，记下开始点（start point）。在步骤302中，从开始读取基本流直到它形成单个接入单元为止。还在步骤302中记下结束点（end point）。

一个接入单元是表示小的数据逻辑单元的基本流的一个段。通常，接入单元可以被直接使用，而不用参考基本流的其它部分。例如，当单个视频帧被解码时，其可以是接入单元，或者是代表32ms时间段的文件的一部分。

在一些实施例中，在每一个接入单元中编码的基本图片类型被迭代地检查，并且相应地计算包括对于每个接入单元的呈现时间戳（PTS）和解码时间戳（DTS）的定时信息。而且，对于基本流推导出可变帧速率（tc）。在步骤303中，针对B-类型基本图片类型检查每个AU以便可以在接下来的步骤中计算PTS和DTS值。

为了计算PTS和DTS值，最初如下推导出变量tc（或帧速率/场速率，这视情况而定）并且所述变量tc被称为时钟计时单元（clock tick）。

tc = num_units_in_tick / time_scale,

n = 0,

dts(n-1) = 0,

pts(n-1) = 0，因为activeAUlist（有效AU列表）是空的。

num_units_in_tick和time_scale是有效序列参数集的视频可用性信息的一部分。

当序列参数集变成有效时（这取决于在有效图片参数集中编码的标识符），值tc可以改变并且在整个流中它将不会保持固定。

在单个接入单元被形成之后，将其推到activeAUlist。根据在被推到列表的接入单元中编码的图片，判定是否查找在该流中出现的下一帧。如上文在步骤303中所提到的那样，针对B-类型基本图片类型检查每个AU。如果在所形成的AU中编码的基本图片是B帧，则在步骤305中，如下计算DTS和PTS：dts(n)=dts(n-1)+tc，以及pts(n)=dts(n)。解码所述B帧并同时呈现。在B帧的pts和dts之间不存在偏移。

在步骤304中，记下AU的结束并且PTS偏移被设置为零。对于其他帧I或P，在步骤306中，构造接下来的接入单元，并且在步骤307中，对于在下一I帧或P帧出现之前的B帧的数目（pts_offset）检查接下来的AU。一旦该信息可用，在步骤308中，如下计算DTS和PTS：dts(n)=dts(n-1)+tc，以及pts(n)=dts(n)+pts_offset*tc。

现在，文件指针被存储回到接入单元（n）的结束，在步骤309中其被推到activeAUlist。这是形成接入单元的一个迭代。对于后续的迭代，在步骤310中“n”的值被增加1并且重复步骤301到309。

对于不将HRD参数作为它们的SPS的VUI语法元素的一部分的流遵循该前瞻方法。对于携带HRD信息作为它们的SPS的一部分的流，SEI信息和HRD参数（Nal hrd或vcl hrd，不管哪个被编码）被用来计算定时信息。对于计算接入单元的定时的等式请参见用于一般视听服务的ITU－T H.264高级视频编码的附录C。

使用前瞻方法形成的该activeAUlist被用于多路复用。图4描绘根据本发明的实施例将H.264基本流多路复用成传输流的方法。

现在参考图4，在步骤401中，列表的顶部元素包含要被写入到传输流的接入单元（AU）。在步骤402中，AU的开始被检查。在步骤403中，当AU在TS分组中开始时，payload_unit_start_indicator（有效载荷_单元_开始_指示符）被标记为真，并且在步骤404中，TS报头被写入到TS分组。这指示TS有效载荷包含PES开始。因此，在步骤405中再次检查AU的开始。当发现AU的开始为真时，在步骤406中将PES报头写入到TS分组中，因为TS有效载荷的第一字节应该包含PES报头的值开始字节。然后，在步骤407中，AU的开始被设置为假，在这种情况下TS有效载荷的大小将减少一个字节。因此在步骤408中如下计算Readbytes（读取字节）：Readbytes = 188-TS报头大小-PES报头大小。在步骤409中，将Readbytes从文件写入到TS分组。利用来自activeAUlist的顶部元素的PTS和DTS值来构造PES报头。该PES报头被包括在TS有效载荷中。然后，用H.264接入单元填充TS有效载荷的剩余字节。因此，在步骤410中检查最顶部AU的结束，并且如果发现最顶部AU的结束为真，则在步骤411中AU的开始被设置为假以结束TS构造的一个迭代。对于后续迭代，在步骤411中“n”的值增加1，并且重复步骤401到410。

图5示出根据本发明的实施例的多路复用装置的框图。装置501包括电路502，其用于多路复用不具有编码的定时信息的高清晰度视频基本流来创建传输流（TS）。该电路502能够在列表中构造“n”个接入单元（AU）。可以构造每个AU以使得它能够前瞻以获得关于下一AU的定时的信息。所述电路502还能够启用指针来指示来自列表的AU的开始；迭代地检查来自列表的AU的开始；通过由列表的最顶部AU计算定时信息来构造报头；将所述报头写入到TS中；以及用来自所述基本流的数据填充TS的剩余字节。

装置501的电路502使得最顶部AU的开始能够被检查并且将payload_unit_start_indicator标记为真。电路502还使得TS报头能够被写入到TS分组中。这指示TS有效载荷包含PES开始。因此，电路502再次检查AU的开始。当发现AU的开始为真时，将PES报头写入到TS分组中，因为TS有效载荷的第一字节应该包含PES报头的开始字节值。然后，电路502将AU的开始设置为假。在这种情况下，TS有效载荷的大小将减少一个字节。因此，如下计算Readbytes：Readbytes=188-TS报头大小-PES报头大小。电路502还使得Readbytes能够从文件写入到TS分组中。利用来自activeAUlist的顶部元素的PTS和DTS来构造PES报头。该PES报头被包括在TS有效载荷中。然后用H.264接入单元填充TS有效载荷的剩余字节。因此，最顶部AU的结束被检查，并且如果发现最顶部AU的结束为真，则该装置的电路502将AU的开始设置为假以结束TS构造的一次迭代。对于后续迭代以及TS构造，“n”的值增加1。

本发明的应用：

本文所述的各种实施例可以被用来生成H.264视频基本流的有效多路复用以生成MPEG-2传输流（TS）。它们可以被应用于不具有编码的NAL/VCL-HRD参数（作为序列参数集的VUI信息的一部分）或补充增强信息（SEI）的H.264视频基本流的延迟的时间多路复用。H.264基本流的每个接入单元（AU）可以前瞻关于文件中下一接入单元的图片类型的信息。该图片类型信息可以被用于计算分组的基本流（PES）的PTS和DTS值。于是，每个AU可以被分组成PES分组并且然后被分成TS分组的流。

为了更好地理解，使用了具体的示例性细节来解释本文所述的发明。然而，在不使用这些具体细节的情况下，所公开的发明可以由本领域技术人员做出。本发明可以以硬件和软件来实施。在框图中示出的结构和设备说明了本发明的示例性实施例并且旨在避免模糊本发明。而且，在各种元件之间的连接没必要是直接的并且其间的数据传递可以经受编码、重新格式化或修改。

在说明书中，对“一个实施例”或“实施例”的引用意味着结合实施例所述的特定特征、结构、特性或功能被包括在本发明的至少一个实施例中。在说明书中的各种场合出现的短语“在一个实施例中”没必要全都指代相同的实施例。

为了清楚和理解的目的已描述了本发明的前述描述。它并不旨在将本发明限制成所公开的精确形式。

Claims (16)

1.一种用于多路复用不具有编码的定时信息的高清晰度视频基本流来创建传输流TS的方法，该方法包括下述步骤：

在列表中构造“n”个接入单元AU，每个AU能够前瞻以获得关于下一AU的定时的信息，其中“n”是非负整数；

启用指针来指示来自列表的AU的开始；

迭代地检查来自列表的AU的开始；

通过由列表的最顶部AU计算定时信息来构造报头；

将所述报头写入到TS中；以及

用来自所述基本流的数据填充TS的剩余字节。

2.根据权利要求1所述的方法，其中构造“n”个接入单元的步骤包括下述步骤：

在将基本流转换成分组的基本流PES时从所述开始读取基本流直到其形成单个AU为止并记下其起点和终点；

将刚形成的单个AU推入到所述列表中；

检查在被推入到所述列表中的AU中编码的基本图片类型；

计算包括呈现时间戳pts和解码时间戳dts的定时信息，并且对于基本流推导出可变帧速率tc；

如果编码的基本图片类型是B帧，则计算：

dts(n)=dts(n-1)+tc，以及

pts(n)=dts(n)，以及

在B帧的pts和dts之间不包括任何偏移的情况下，解码所述B帧并同时呈现；

如果编码的基本图片类型是I或P帧，则计算：

dts(n)=dts(n-1)+tc，以及

pts(n)=dts(n)+pts_offset*tc，并对于在下一I帧或P帧出现之前的B帧的数目pts_offset检查接下来的接入单元；以及

构造下一AU并且将所述下一AU推入到列表中以重复计算定时信息的各步骤。

3.根据权利要求1所述的方法，其中所述高清晰度基本流是H.264/AVC视频基本流。

4.根据权利要求1所述的方法，其中TS是MPEG-2 TS。

5.根据权利要求1所述的方法，其中所述多路复用是不具有作为序列参数集的VUI信息的一部分的编码的NAL-HRD/VCL-HRD参数，或补充增强信息SEI的H.264视频基本流的延迟时间多路复用。

6.根据权利要求2所述的方法，其中图片类型B、P或I信息被用来计算分组的基本流PES的pts和dts值。

7.根据权利要求2所述的方法，其中变量tc是帧速率或场速率并且被推导为tc = num_units_in_tick / time_scale, 其中“num_units_in_tick”表示每个时钟计时单元中帧或场的数目，以及“time_scale”表示时间标度。

8.根据权利要求2所述的方法，其中PES分组被分成固定的188字节TS分组。

9.一种用于多路复用不具有编码的定时信息的高清晰度视频基本流来创建传输流TS的装置，所述装置包括：

用于在列表中构造“n”个接入单元AU的部件，每个AU进行前瞻以获得关于下一AU的定时的信息，其中“n”是非负整数；

用于启用指针来指示来自列表的AU的开始的部件；

用于迭代地检查来自列表的AU的开始的部件；

用于通过由列表的最顶部AU计算定时信息来构造报头的部件；

用于将所述报头写入到TS中的部件；以及

用于用来自所述基本流的数据填充TS的剩余字节的部件。

10.根据权利要求9所述的装置，其中所述装置还包括：

用于在将基本流转换成分组的基本流PES时从所述开始读取基本流直到其形成单个AU为止并记下其起点和终点的部件；

用于将刚形成的单个AU推入到所述列表中的部件；

用于检查在被推入到所述列表中的AU中编码的基本图片类型的部件；

用于计算包括呈现时间戳pts和解码时间戳dts的定时信息，并且对于基本流推导出可变帧速率tc的部件；

用于在编码的基本图片类型是B帧时，进行如下计算的部件：

dts(n)=dts(n-1)+tc，以及

pts(n)=dts(n)，以及

用于在B帧的pts和dts之间不包括任何偏移的情况下，解码所述B帧并同时呈现的部件；

用于在编码的基本图片类型是I或P帧时，进行如下计算的部件：

dts(n)=dts(n-1)+tc，以及

pts(n)=dts(n)+pts_offset*tc，并对于在下一I帧或P帧出现之前的B帧的数目pts_offset检查接下来的接入单元；以及

用于构造下一AU并且将所述下一AU推入到列表中的部件。

11.根据权利要求9所述的装置，其中所述高清晰度基本流是H.264/AVC视频基本流。

12.根据权利要求9所述的装置，其中TS是MPEG-2 TS。

13.根据权利要求9所述的装置，其中所述多路复用是不具有作为序列参数集的VUI信息的一部分的编码的NAL-HRD/VCL-HRD参数，或补充增强信息SEI的H.264视频基本流的延迟时间多路复用。

14.根据权利要求10所述的装置，其中图片类型B、P或I信息被用来计算分组的基本流PES的pts和dts值。

15.根据权利要求10所述的装置，其中变量tc是帧速率或场速率并且被推导为tc = num_units_in_tick / time_scale。

16.根据权利要求10所述的装置，其中PES分组被分成固定的188字节TS分组。