CN101375535B

CN101375535B - 用于流传输的系统和方法

Info

Publication number: CN101375535B
Application number: CN2006800516771A
Authority: CN
Inventors: M·汉努卡塞拉; M·雷扎伊
Original assignee: Nokia Oyj
Current assignee: Nokia Technologies Oy
Priority date: 2005-12-29
Filing date: 2006-11-24
Publication date: 2010-09-08
Anticipated expiration: 2026-11-24
Also published as: US7826536B2; EP1966915A2; EP1966915A4; US20070153914A1; WO2007074361A3; CN101375535A; WO2007074361A2

Abstract

如果在每个MPE-FEC帧中IDR图像是按照解码顺序的第一图像，则最小化直到媒体解码器被刷新以便产生正确的输出采样为止的时间。描述了一种使调谐延迟最小化的系统。所述系统的方面包括内容编码器，用于接收包括第一和第二比特流的源信号以及用于对所述第一和第二比特流进行编码，所编码的第一比特流包括解码器刷新比特流并且所编码的第二比特流包括媒体比特流。服务器接收所编码的第一和第二比特流并且将所编码的第一和第二比特流封装到分组中。封装器然后接收所述分组并且通过替换来自所编码的第二比特流的可拼接图像来组成时间分片的多协议封装(MPE)流。

Description

用于流传输的系统和方法

技术领域

本发明一般涉及广播通信传输。更具体而言，本发明涉及用于在诸如手持数字视频广播DVB-H协议系统这样的系统上的网际协议(IP)数据广播的系统和方法。

背景技术

在对于扩展其所提供的服务的范围的工作中，数字视频广播(DVB)组织指定了协议来广播与常规数字电视(DTV)内容复用在一起的数据。将对于数据的这种广播称为数据广播。基于使用数据广播的不同应用的要求，指定了六(6)种简档。将这些简档标识为数据管道(data piping)、数据流、多协议封装、数据轮播(data carousel)、对象轮播(object carousel)以及基于异步数据流的较高层协议。

对于基于IP的服务的日益增长的需求来说，需要处理在因特网的IP体系结构与DVB组织的广播协议体系结构之间的不兼容性的中间层。该中间层被包括作为在数据广播规范中的简档之一，如多协议封装简档。在多协议封装简档中，根据DVB组织的私有数据数字存储媒体-命令和控制(digital storage media-command and control)(DSM-CC)规范，将OSI层3数据报封装到多协议封装(MPE)区段(section)。然后将MPE区段映射到188字节MPEG-2系统层传送流(TS)分组的流上。

DVB物理层协议根据在其上传送服务的物理信道而不同。因此，指定了不同协议用于卫星(DVB-S)、线缆(DVB-C)和地面(DVB-T)。此外，发现DVB-T(其主要被开发用于利用屋顶定向天线的固定接收)对移动数据服务有效，而对于小型手持、低功率电池操作的终端并不十分有效。手持移动终端需要来自服务于其的传输系统的特定特征。这些特征包括延长的接收机电池寿命、用于移动单天线接收的改进的RF性能、在不利传输环境中反而高级别的噪声，以及有效的切换。

DVB-H增强了DVB-T规范，通过将跨MPE区段有效载荷所计算的任选的Reed Solomon前向纠错(RS-FEC)(称为MPE-FEC)以及MPE和MPE-FEC区段的时间分片包括进来，合并了上述特征。

在手持数字视频广播(DVB-H)协议上的网际协议(IP)数据广播中，对于具有Reed Solomon前向纠错(MPE-FEC)的多协议封装帧的封装发生在IP封装器内，并且因此在内容编码器的控制之外。由于系统体系结构，内容编码器和IP封装器缺少实时反馈链路，该链路允许IP封装器管理在编码比特流中的即时解码刷新(IDR)(instantaneous decoding refresh)图像的准确位置。

调谐延迟(tune-in delay)指的是在开始接收广播信号与开始媒体呈递之间的时间。调谐延迟中的一个因素是直到媒体解码器被刷新以便产生正确的输出采样为止的时间。

发明内容

提供了本发明内容来通过简化形式介绍将进一步在下面的详细说明中进行描述的概念的选择。本发明内容并不旨在标识所要求保护的主题的关键特征或重要特征，也不旨在用来限制所要求保护的主题的范围。

如果在每个MPE-FEC帧中IDR图像是按照解码顺序的第一图像，则最小化直到媒体解码器被刷新以便产生正确的输出采样为止的时间。本发明提出了一种使得调谐延迟最小化的系统。

依照本发明的一个实施例，本发明构想了一种用于将时间分片的多协议封装流传送至接收机的系统和方法。该系统可以包括内容编码器，其用于接收包括第一和第二比特流的源信号，以及用于对所述第一和第二比特流进行编码，所编码的第一比特流包括解码器刷新比特流，并且所编码的第二比特流包括媒体比特流。服务器接收所编码的第一和第二比特流，并将所编码的第一和第二比特流封装到分组中。封装器然后接收所述分组，并且通过替换来自所编码的第二比特流的可拼接(spliceable)图像来组成时间分片的多协议封装(MPE)流。

本发明的另一方面提供了一种内容编码系统，其包括多个内容编码器，用于接收未压缩信号以及用于基于控制参数来将所述未压缩信号的内容编码为主要流。编码器速率控制器接收编码目标数据以及来自所述多个内容编码器的信号，并输出编码元数据和对所述多个内容编码器的控制参数。服务器接收所述主要流，将所述主要流封装到分组中，接收所述编码元数据，以及基于所述编码元数据来输出封装的目标数据。封装器速率控制器接收封装目标数据，并输出速率控制命令和补充增强信息(SEI)消息参数。封装器从所述服务器接收所述主要流，从所述封装器速率控制器接收所述速率控制命令和SEI消息参数，将信号输出至所述封装器速率控制器，并且组成拼接流。

附图说明

当结合附图阅读时，本发明的前述概要以及下面对说明性实施例的详细描述将更易于理解，通过例子的方式而不是通过对所要求保护的本发明的限制的方式来包括附图，其中：

图1依照本发明的至少一个方面，说明了在DVB-H协议上的IP数据广播系统的示例框图；

图2依照本发明的至少一个方面，说明了在DVB-H协议上的IP数据广播系统的另一示例框图；

图3依照本发明的至少一个方面，说明了速率控制系统的示例框图；

图4依照本发明的至少一个方面，说明了编码器速率控制系统的示例框图；

图5依照本发明的至少一个方面，说明了封装器速率控制器的示例框图；以及

图6依照本发明的至少一个方面，说明了语言变量(linguistic variable)“块额外帧(block extra frames)”和“块缓冲器充满程度(block bufferfullness)”的模糊隶属函数(fuzzy membership function)的例子。

具体实施方式

在下面对各个实施例的描述中，参照形成了其一部分的附图，并且其中通过图示的方式示出可以在其中实施本发明的各种实施例。应该理解，可以利用其它的实施例，并且可以在不背离本发明的范围的情况下进行结构和功能的修改。

图1依照本发明的至少一个方面，说明了在DVB-H协议上的IP数据广播系统100的示例框图。如所示，内容编码器101接收按照模拟格式、未压缩数字格式、压缩数字格式或这些格式的任何组合的源信号。内容编码器101将源信号编码成编码媒体比特流。内容编码器101可以能够对超过一种的媒体类型进行编码，例如音频和视频。另外，可能需要超过一个的内容编码器101来对不同媒体类型的源信号进行编码。在某些实施例中，内容编码器101还可以接收合成产生的输入，例如图形和/或文本。而在其它的实施例中，内容编码器101可以能够产生合成媒体(synthetic media)的编码比特流。在下面的示例图中，在描述中说明了对一种媒体类型的一个编码媒体比特流的处理。然而，本领域的技术人员应当理解，实时广播服务可以包括若干流，例如音频、视频和文本子标题流，并且本发明并不这样限于文中所提供的说明性例子。本发明的其它方面可以包括很多内容编码器，然而出于描述的目的，下面的图和描述考虑了一个内容编码器。

回到图1，将编码媒体比特流传递至服务器103。在传输中所使用的格式的例子包括基本的自包含比特流格式、分组流格式，或者封装到容器文件中的一个或多个编码媒体比特流。内容编码器101和服务器103可以驻留于相同的物理设备中，或者可以被包括在分离的设备中。内容编码器101和服务器103可以在现场实时内容的情况下操作，在这种情况下，编码媒体比特流可以不被永久地存储，而是在内容编码器101中和/或在服务器103中按小的时段被缓冲，以便消除在处理延迟、传送延迟以及编码媒体比特率中的变化。内容编码器101还可以在比从服务器103传送比特流的时间早得多的时候进行操作。在这种情况下，系统可以包括内容数据库(未示出)，其可以驻留于分离的设备中或在与内容编码器101和/或服务器103相同的设备中。

服务器103可以是在实时传送协议(RTP)上使用实时媒体传送的IP多播服务器。服务器103被配置以便根据RTP有效载荷格式将编码媒体比特流封装到RTP分组中。在一个实施例中，每个媒体类型均具有专用RTP有效载荷格式。虽然在该图中未示出，然而系统100可以含有超过一个的服务器103。

服务器103连接至诸如多协议封装器的IP封装器105。在服务器103与IP网络之间的连接可以是固定线路专用网。IP封装器105将IP分组分组化到多协议封装(MPE)区段，其进一步被封装到MPEG-2传送流分组。在至少一个实施例中，IP封装器105可以使用下面描述的MPE-FEC差错保护。

MPE-FEC差错保护基于Reed-Solomon(RS)码，并且其被包括在DVB-H规范中来对抗高级别的传输差错。将RS数据组装(pack)到特定的MPE区段，从而使得对MPE-FEC未知(MPE-FEC-ignorant)的接收机可以简单忽略MPE-FEC区段。

将MPE-FEC帧排列为具有255列和可变行数的矩阵。矩阵中的每个位置容纳一信息字节。将前191列专用于OSI层3数据报(下文称为数据报)和可能的填塞(padding)。将MPE-FEC帧的这些列称为应用数据表(ADT)。为RS奇偶信息预留MPE-FEC帧的接下来的64列，并且将它们称为RS数据表(RSDT)。可以利用数据报完全或部分地填充ADT。当部分地填充ADT时，利用零字节来填塞剩余的列，并将其称为填塞列。当MPE-FEC帧中没有剩下任何更多的空间来填充接下来的完整数据报时，也使用填塞。使用RS(255，191)跨ADT的每行来计算RSDT。不需要计算RSDT的全部64列，并且可以完全丢弃RSDT的最右边的列中的某些列。将这样的过程称为打孔。在传输信道上并不发送填塞字节和被打孔的列。

对全带宽DVB-T信号的接收、解调和解码的过程将要求相当大的功率，并且小型手持电池操作的设备无法随意支配这样的功率。为了减少在手持终端中的功率消耗，在将服务数据发送到信道中之前，通常由IP封装器105对服务数据进行时间分片。当使用时间分片时，将时间分片服务的数据作为突发发送到信道中，从而使得当没有接收到突发时，使用控制信号的接收机107保持非激活。这降低了在接收机终端107中的功率消耗。在相当高的比特率下发送突发，并且计算时间分片间的持续时间(inter-time-slice period)，从而使得在相同服务上的所有时间分片突发的平均比特率与使用常规比特率管理时是一样的。为了DVB-H与DVB-T之间的后向兼容性，可以将时间分片的突发与非时间分片的服务一起传送。

如本领域技术人员已知的，在DVB-H中的时间分片使用delta-t方法来用信号传送下一突发的开始。使用delta-t方法传递的定时信息是相对的，并且是当前时间与下一突发的开始之间的差值。使用delta-t方法消除了在发送机与接收机107之间连续同步的需要。delta-t方法进一步提供了大的灵活性，因为在基本流之间以及在基本流内的突发之间，诸如突发大小、突发持续时间、突发带宽和断开次数(off-times)这样的参数可以自由变化。

依照本发明的各方面，在DVB-H系统上的IP数据广播系统可以进一步包括无线电发送机，其被配置以便在无线电接入网络上调制和传送MPEG-2传送流信号。可以将本发明的方面用于任何无线的或固定的接入网络。最后，依照本发明的各方面，该系统可以包括一个或多个接收方，其可以被配置以便接收、解调、解封装(de-capsulate)、解码和/或呈递所传送的信号，从而形成一个或多个未压缩媒体流。举例来说，依照本发明的各方面的接收机107可以实现接收和解调，并且然后将所得到的MPEG-2传送流转发至实现操作链的剩余部分的另一设备。

调谐延迟指的是在开始接收广播信号与开始媒体呈递之间的时间。可以将广播/多播中的调谐延迟概括为包括以下部分：

●直到接收到FEC块的第一分组为止的延迟。在DVB-H中，这与直到携带所希望的流会话(即，视听服务(audio-visual service))的下一MPE-FEC帧到达为止的延迟有关。

●完整FEC块(在DVB-H上的IPDC中的MPE-FEC帧)的接收持续时间。

●补偿FEC块内所希望的流会话的大小变化的延迟。

●补偿流会话的关联流(例如，音频和视频)之间的同步的延迟。在DVB-H上的IPDC中，假设多播服务器以同步方式传送音频和视频，并且IP封装器被配置以便构造这样的MPE-FEC帧，即其含有所有关联流的大致相等的回放范围。在媒体流内的交错(对应于解码顺序的传送和对应于输出顺序的解码这二者)使操作变得复杂。

●直到媒体解码器被刷新以便产生正确的输出采样为止的延迟。为了避免对接收方的累积缓冲要求，两个连续FEC块的接收间隔近似等于第一FEC块的媒体回放持续时间。因此，当解码和回放从第一FEC块开始时，应当对该块的所有媒体采样进行解码以获得不间断的回放。然而，如果按照解码顺序在第一FEC块的开始处存在这样的媒体采样，即其不能在没有对较早的FEC块中的媒体采样的参考的情况下被解码，则跳过其解码并且相应地延迟呈递过程的开始。否则，如果解码和呈递从可随机访问的媒体采样立即开始，则将导致回放中的间隙在收到第二FEC块之前。因而，为了实现最快的调谐时间(tune-in time)，MPE-FEC帧内按照解码顺序的第一数据段应当可被随机访问，即应当能够对其进行正确解码。举例来说，H.264/AVC视频的即时解码刷新(IDR)图像是可随机访问的。

将对于在DVB-H上的IP数据广播的频道转换(zapping)支持指定为草案电子服务指南(ESG)规范的一部分。ESG规范提供了所传送的服务的简短描述和其它辅助信息。ESG规范还提供了服务的IP地址信息。通过将该信息与DVB SI表信息组合，终端能够分析在何处以及利用什么参数来传送所选择的服务。当用户切换频道(例如，视听服务或流会话)时，在终端和接收机中使用该信息。

在DVB-H上的IP数据广播服务中，通过关联的频道转换支持可以补充任何的常规流式服务。可以通过两个选项，即动态频道转换和静态频道转换，向用户提供频道转换支持。动态频道转换出现在这样的情况下，即在该情况下，并不提供频道转换支持作为ESG数据的一部分，从而使得频道转换支持可以动态改变。提供动态频道转换支持作为流，其含有支持频道转换的内容，例如具有降低的质量的音频/视频内容的拷贝、示出了当前视频之外的最新快照的静止图像、和/或诸如子标题的动态文本。静态频道转换出现在这样的情况下，即在该情况下，随ESG一起联机提供频道转换支持。联机数据含有支持频道转换的内容，例如给出了当前A/V服务的印象的静止图像、图形和/或简单文本。

依照本发明的一个方面，可以利用编码视频。本发明的各方面进一步涉及用另一组编码图像替换比特流中的编码图像。H.264/AVC编码标准包括用于被称为SI和SP图像的无差错图像切换的方式。

图2依照本发明的至少一个方面，说明了在DVB-H协议上的IP数据广播系统200的另一示例框图。内容编码器201对来自相同源图像信号的两个比特流进行编码。第一流被称为解码器刷新比特流，其仅含有帧内(intra)或IDR图像。对于常规编码标准，解码器刷新流还可以含有序列和图像组(Group of Pictures)(GOP)头部。对于H.264/AVC标准和诸如可伸缩性视频编码(Scalable Video Coding)(SVC)这样的派生物，如果在系统中使用带内参数集，则解码器刷新流还可以含有序列和图像参数集。内容编码器201进一步被配置以便对第二流(即编码媒体流)进行编码。源自相同源图像信号的图像在两个流中具有相似的质量。从相同原始未压缩的源图像信号对解码器刷新流进行编码，作为具有相似图像质量和相同或子采样图像速率的实际媒体流。将帧间预测(inter prediction)的参考图像限制用于编码媒体流中可拼接的图像，例如与帧内/IDR流中的图像相对应的图像。

现代视频编码方案(例如具有任选的增强参考图像选择模式的H.264/AVC和H.263)启用对帧间预测的多参考图像(又称为运动估计和补偿)的使用。对于每编码块，选择将在预测过程中使用的参考图像，并且将其用信号传送。为了从特殊编码图像开始解码并产生正确的解码图像，在预测过程中有必要在特殊编码图像之前不使用任何图像。因此，按照解码顺序，在可拼接图像处或在其之后，在任何参考图像的帧间预测过程中不涉及按照解码顺序在可拼接图像之前的任何图像。非参考图像是这样的图像，即不将其用作任何其它图像的预测参考。通常在视频编码中使用按照输出顺序从先前的图像或多个图像以及随后的图像所预测的非参考图像，以便改善压缩效率。为了维持与可随机访问的帧内图像相关联的良好压缩性能，通常从随后的可随机访问的帧内图像预测非参考图像。类似地，按照解码顺序在可拼接图像之后的非参考图像可以涉及早于按照解码顺序的可拼接图像的图像。如果解码过程从可拼接图像开始，则这些非参考图像可能不被正确解码，但是当它们不被用作任何其它图像的参考时，可以忽略这些非参考图像。

将编码媒体比特流和解码器刷新比特流传递至服务器203。服务器203可以是在实时传送协议(RTP)上使用实时媒体传送的IP多播服务器。服务器203被配置以便根据RTP有效载荷格式，将编码媒体比特流和解码器刷新比特流封装到RTP分组中。在RTSP上使用SDP，服务器203可以向IP封装器205公告可用媒体流，这与上述内容类似。为了使在RTP分组流中和在解码器刷新流中更加直接地发现对应的采样，服务器203可以将RTP时间戳初始化为对两个流而言相等的偏置。(也就是说，根据RTP规范，在RTP会话的开始处将RTP时间戳初始化为随机值。周期性传送的RTCP发送方报告含有关于RTP时间戳和发送方的挂钟时间(wallclocktime)的关系的信息。如果不使用相等的偏置，那么IP封装器必须根据RTCP发送方报告将分组映射到相同的时间线，而不是直接使用RTP时间戳来发现RTP分组流的各个帧和解码器刷新RTP分组流的关系。)解码器刷新RTP分组流和RTP分组流都被从服务器203传送至IP封装器205。IP封装器205组成MPE-FEC帧，其中按照解码顺序的第一图像是来自分离的解码器刷新分组流的帧内/IDR图像，而图像的剩余部分来自RTP分组流。由帧内/IDR图像所替换的可拼接图像不被包括在MPE-FEC帧中用于传送至接收机207。将时间分片的MPE-FEC帧流传送至接收机207，而不传送帧内/IDR流。由于按照解码顺序，在MPE-FEC帧的开始处存在帧内/IDR图像，因此最小化了用于新加入的接收方的调谐时间。

当解码器刷新比特流和编码媒体比特流都被传递至服务器203时，可以将它们封装成相同的文件。在这样的情况下，在该文件中可以指示这二者之间的关系。举例来说，可以使用从ISO基本媒体文件格式导出的文件格式，其中比特流被封装到轨迹(track)中，在用于两个比特流的轨迹头部盒(track header box)中的alternate_group的值可以是一样的，其指示轨迹具有相同来源并且每次仅应当播放它们其中之一，并且可以将轨迹头部盒中的新的标志sync_sample_track指定用于解码器刷新流，指示其仅含有解码器刷新点，其在ISO基本媒体文件格式术语中被称为sync采样。

当借助于相同的传送协议传送比特流时，可以通过关联的信令协议来指示它们的关系。在一个例子中，每个编码格式均具有特定RTP有效载荷格式，其指定用于那个编码格式的内容的RTP有效载荷的结构。在用于H.264/AVC视频的RFC 3984中、在用于MPEG-4可视和音频的RFC 3016中，以及在用于H.263视频的RFC 2429中，指定了RTP有效载荷格式的例子。举例来说，如果在RTP(如在RFC 3550和RFC 3551中所指定的)上传送这些流，并将RTSP(如在RFC 2326中所指定的)用作控制协议，则如在RFC 2327中所指定的，使用会话描述协议(SDP)来公告RTP流的特性。服务器可以使用被称为“媒体行的成组(grouping of media lines)”的SDP扩展(如在RFC 3388中所指定的)来将两个RTP流关联在一起。可以指定新的组属性值，类似于唇同步(LS，lip synchronization)和流标识(FID，flow identification)。

依照本发明的各方面，可以将新属性称为随机访问点拼接(RAPS)。“a＝group”行中在RAPS标识标签之后的第一值指示可以将附加的随机访问点插入到其中的媒体流。剩余的值指示这样的含有随机访问点的媒体流，即通过用随机访问帧替换在第一流中的对应帧而可以将其插入到第一流。下面提供了会话描述协议(SDP)描述的说明性例子。行“a＝group:RAPS12”指示具有标识符“a＝mid:1”和“a＝mid:2”的RTP流具有相同的来源，并且具有“a＝mid:2”的流含有用于第一流的随机访问点。所提供的SDP描述的其余部分通常用于流式会话。

v＝0

o＝Laura 289083124 289083124 IN IP4 one.example.com

t＝0 0

c＝IN IP 4224.2.17.12/127

a＝group:RAPS 1 2

m＝video 30000 RTP/AVP 98

a＝rtpmap:98 H264/90000

a＝fmtp:98 profile-level-id＝42A01E；packetization-mode＝0；

sprop-parameter-sets＝ZOIACpZTBYmI，aMljiA＝＝

a＝mid:1

m＝video 30002 RTP/AVP 99

a＝rtpmap:99 H264/90000

a＝fmtp:99 profile-level-id＝42A01E；packetization-mode＝0；

sprop-parameter-sets＝ZOIACpZTBYmI，aMlj iA＝＝

i＝This media stream contains the decoder refresh stream

a＝mid:2

m＝audio 30004 RTP/AVP 0

a＝mid:3

存在多个选项用于安排内容编码器201和服务器203的操作。内容编码器201和服务器203可以驻留于相同的物理设备中，或者可以被包括在分离的设备中。内容编码器201和服务器203可以在现场实时内容的情况下操作，在这种情况下，编码媒体比特流和/或解码器刷新流可以不被永久地存储，而是在内容编码器201中和/或在服务器203中按小的时段被缓冲，以便消除在处理延迟、传送延迟以及编码媒体比特率中的变化。内容编码器201还可以在比从服务器203传送比特流的时间早得多的时候进行操作。在这种情况下，系统200可以包括内容数据库(未示出)，其可以驻留于分离的设备中或在与内容编码器201和/或服务器203相同的设备中。

IP封装器205将IP分组分组化到多协议封装(MPE)区段，多协议封装(MPE)区段被进一步封装到MPEG-2传送流分组。依照至少一个实施例，IP封装器205可以使用如上所述的MPE-FEC差错保护。当为MPE-FEC帧创建应用数据时，IP封装器205利用来自解码刷新流的对应帧来替换MPE-FEC帧中的第一可拼接帧。类似地，如果未使用MPE-FEC保护，则IP封装器205利用来自解码刷新流的对应帧来替换时间分片的第一帧。并不将解码刷新流从IP封装器205如此转发至接收机207。

可拼接图像的解码采样值中的至少一些和解码器刷新流中的对应帧内/IDR图像可能并不正好相等。因而，当来自解码器刷新流的帧内/IDR图像替换了可拼接图像时，解码器的参考图像缓冲器的内容可以不同于用于编码媒体比特流的编码器的参考图像缓冲器的内容。由于帧间预测，一个参考图像中的不匹配可以传播至在相同帧间预测链中的任何帧间图像，直到下一帧内或IDR图像启动新的帧间预测链。然而，可以使用SI/SP图像编码技术来完全避免该不匹配。SI/SP编码技术使得同样的解码图像能够源自不同的编码图像，即使用于那些编码图像的参考图像不同。SI/SP图像被包括在H.264/AVC编码标准中，并被涵盖于学术出版物中。因而本领域的技术人员应该理解它们。将可拼接图像编码为SP图像，并且在解码器刷新流中的图像是SI图像。内容编码器201确保可拼接的SP图像和对应的SI图像的解码采样值是相等的。

假设按照字节和分辨率的图像大小是适当的，还可以将解码器刷新流用作动态频道转换流的源。IP封装器205可以转发解码器刷新流的任何子集(包括完全流)作为视频动态频道转换流。在另一实施例中，IP封装器205可以根本不将来自解码器刷新流的图像插入到时间分片的MPE封装流。IP封装器205而是提供了动态频道转换流，其含有与每个时间分片中的第一可拼接图像相对应的图像。使用来自动态频道转换流的图像作为对应的媒体流中解码器刷新点的概率被指示给接收机207。例如，可以通过在频道转换支持分类方案(其在用于在DVB-H协议上的IP数据广播的ESG规范中被指定)中的新属性来实现该指示。通过对动态频道转换中的图像(其在MPE封装媒体流中是最早的)进行解码，并且从来自按照解码顺序在那之后的分组的MPE封装媒体流继续进行解码，接收机207然后可以开始解码媒体流。

在DVB-H协议上的IP数据广播(IPDC)系统中，可以按照无人监督的方式对帧内/IDR图像进行编码，通常作为对情景改变的响应或以恒定的帧内/IDR速率周期地进行。在前一情形中，所期望的调谐延迟可以根据情景改变频率进行变化。举例来说，如果平均情景持续时间是5秒，那么在调谐处所期望的解码器刷新花费大约2.5秒。在后一情形中，可以选择帧内/IDR图像频率以便在调谐处所期望的解码器刷新延迟与压缩效率之间进行适当的折衷。典型的帧内/IDR图像是处于这样的量级，即就字节而言，对应于被编码为具有相似质量的帧间/P图像的相同原始图像，其要大五倍。在常规数字电视中，其中通常使用范围在2Mbps的比特率，通常每0.5秒便插入帧内图像。因此，在DVB-H协议上的IPDC中的帧内/IDR图像频率较低，例如，在0.25到1Hz的范围中。如此，相比于在DVB-H协议上的常规IPDC系统，所期望的调谐延迟被削减0.5到2.5秒。

依照视频编码标准，当假设的参考解码器可以解码比特流时，将该比特流定义为应允的(compliant)，其中该假设的参考解码器在概念上连接至编码器的输出，并且至少包括预编码器缓冲器、解码器和输出/显示单元。在H.263和H.264中将该虚拟解码器称为假设的参考解码器(HRD)，并且在MPEG-4Visual(可视)中为视频缓冲检验器(VBV，video bufferingverifier)。3GPP分组交换流式服务标准(3GPP TS 26.234)的附件G(AnnexG)指定了还可以被考虑为HRD的服务器缓冲检验器，其具有这样的不同：它在概念上连接至流式服务器的输出。在文中将诸如虚拟解码器和缓冲检验器的技术共同称为假设的参考解码器(HRD)。如果HRD可以将其解码而无缓冲器上溢或下溢，则该比特流是应允的。如果当缓冲器已满时将更多比特放置到该缓冲器中，则发生缓冲器上溢。如果缓冲器在要从该缓冲器取回比特用于解码/回放时是空的，则发生缓冲器下溢。

可以使用HRD参数来对图像的编码大小加以限制，以及辅助决定所需要的缓冲器大小和启动延迟。在PSS附件G和H.264之前更早的HRD规范中，仅指定了预解码缓冲器的操作。在H.264中通常将该缓冲器称为编码图像缓冲器(CPB)。在PSS附件G中的HRD和H.264HRD还指定了后解码器缓冲器(在H.264中的解码图像缓冲器(DBP))的操作。此外，早先的HRD规范仅启用一个HRD操作点，而在PSS附件G中的HRD和H.264HRD允许多个HRD操作点。每个HRD操作点对应于一组HRD参数值。

可以使用H.264HRD来检验比特流符合H.264/AVC标准并作为用于测试解码器实现是否符合H.264/AVC标准的参考。H.264HRD包括用于缓冲编码数据的编码图像缓冲器(CPB)和用于缓冲解码图像的解码图像缓冲器(DPB)。用于帧间预测的参考图像和将被重新排序用于输出的图像都被存储在DPB中。可以指定用于CPB和DPB的初始延迟来允许视频比特率变化。AVC HRD允许两种输入模式，恒定比特率模式(cbr_flag＝1)和“漏桶(leaky bucket)”模式(cbr_flag＝0)。可以通过指定用于简档和级别的最大输入比特率、最大宏块(macroblock)处理速率和最小压缩比率来限制解码过程中所需要的计算中的峰值。视频解码器实现不一定严格遵循HRD/VBV，而是更确切地说，当视频解码器能够实时解码所有应允的比特流时，该视频解码器是应允的。

H.264/AVC补充增强信息(SEI)消息协助与解码、显示和其它目的相关的过程。然而，并不要求SEI消息通过解码过程构造luma或chroma采样。不要求符合H.264/AVC标准的解码器处理SEI消息用于输出顺序一致性。SEI消息被包括在H.264/AVC标准中，以便用正好相同的方式允许系统规范(例如所针对的3GPP多媒体规范、ISMA规范和DVB规范)解释补充信息并因此互操作。当编码器创建SEI消息时，要求这些编码器遵循H.264/AVC标准。系统规范可以要求在编码结束时和在解码结束时均使用特殊的SEI消息。不管授权使用任何SEI消息，比特流都仍然保持与H.264/AVC标准兼容。

在H.264/AVC标准中存在与HRD的操作相关的两种SEI消息。对HRD进行初始化，如缓冲周期SEI消息所指定的，其尤其包括初始CPB缓冲延迟。在图像定时SEI消息中指定了来自CPB的访问单元的移除定时和来自DPB的输出定时。

为了最小化传播差错以及考虑HRD应允的拼接流，利用类似的量化参数以及利用高相对质量来对包括帧内/IDR(解码器刷新流)和帧间/P流(编码媒体比特流)的主要流进行编码。对于HRD应允性，可以控制拼接流(即在IP封装器305的输出处的视频比特流)的比特率。利用相等的量化参数，帧内/IDR帧可以消耗比对应的可拼接P帧多5到15倍的比特预算。因此，在两个主要流中用于可拼接帧以及用于对应的帧内/IDR帧的相等量化参数意味着对于仅其中一个流的比特率的控制是可能的。此外，量化参数可以在编码期间变化，并且对于拼接来说，IDR和P帧的很多不同的组合都是可能的。

当实现对相等量化参数的这些动作时，控制流速率和维持拼接流的HRD应允性可能是困难的。控制速率控制包括在内容编码器级别和服务器级别的操作。考虑在拼接流中IDR帧的频率的平均数，也可以维持在内容编码器级别的拼接流的HRD应允性。此外，封装器速率控制器可以使用元数据来提供在缓冲SEI消息中使用的缓冲信息，以及提供在拼接流的比特率上的更多控制。

在内容编码器级别，两个编码器对内容进行编码以便提供两个主要流。可以使用公用速率控制系统来控制编码器，以便为拼接流的目标比特率提供IDR拼接帧的周期或频率的典型平均数。可以根据控制参数和编码结果来提供元数据。

图3依照本发明的至少一个方面，说明了速率控制系统300的示例框图。考虑通用联机应用，其中没有关于视频内容的现有信息可用，并且不存在从服务器303到内容编码器301的反馈链路。在联机应用中，两个编码器301对输入未压缩视频进行编码，以便提供包括帧间/P-流和帧内/IDR-流的主要流。服务器303将主要流传递至IP封装器305以便形成拼接流。

编码器速率控制器302根据编码目标数据来控制主要流的比特率，该编码目标数据可以由用户和/或根据由未压缩和压缩的视频输入所提取的若干信号来设置。编码目标数据包括拼接流的目标比特率以及拼接流的IDR频率。编码元数据是补充信息，其可以在编码开始处被发送至IP封装器305。封装器速率控制器306根据编码元数据、封装目标数据，以及从主要流提取的若干信号来控制拼接流的速率。可以在编码结束处发送其它元数据，例如，用于脱机应用的元数据。

此外，由封装器速率控制器306提供与缓冲拼接流相关的SEI消息参数。包括拼接流的目标比特率和拼接流的IDR频率的封装目标数据可以与编码目标数据是同类的。举例来说，在脱机应用中，有可能使拼接流具有这样的IDR频率，其不同于在编码器301处对主要流的速率控制所使用的IDR频率。

编码目标数据包括用于编码器速率控制器302的用户定义的参数。用户定义的参数可以包括在编码器301处的拼接流的目标比特率和在编码器301处的拼接流的IDR频率。封装目标数据包括用于封装器速率控制器306的服务器303定义的参数。服务器303定义的参数可以包括在IP封装器305处的实际拼接流的目标比特率和在IP封装器305处的实际拼接流的IDR频率。(可以不产生在编码器处的拼接流，但是可以考虑将用于所需拼接流的某些规范用来控制主要流的比特率。这些规范可以类似于在联机应用中的实际拼接流的规范，或者它们在脱机应用中可以不同。)本领域的技术人员应当理解，在脱机应用中，编码目标数据和封装目标数据可以具有不同的值。

编码元数据包括已经被用于或将被用于主要流的速率控制的参数。这些参数包括在编码器301处的拼接流的目标比特率、在编码器301处的拼接流的IDR频率、编码器速率控制器302的虚拟缓冲器大小，以及主要流的平均比特率。

缓冲SEI消息参数包括HRD编码图像缓冲器大小、初始编码图像缓冲器移除延迟，以及在IP封装器305处的实际拼接流的目标比特率。

控制参数包括量化参数。取决于编码器速率控制器302，可以使用其它的编码参数。

编码器速率控制器302的输入信号取决于编码器速率控制器302。可以对编码器301使用不同的编码器速率控制器302，并且每个编码器速率控制器302均使用其自己的输入信号。

封装器速率控制器306包括速率控制命令，以便从MPE-FEC帧丢弃多个帧，以及将多个附加的IDR帧插入到MPE-FEC帧。

封装器速率控制器306的输入信号可以在当前MPE-FEC帧中包括IDR和P帧的大小：I_i和P_i，以及主要流的平均比特率。此外，正操作于封装器速率控制器306上的HRD为封装器速率控制器306提供另一信号，包括HRD编码图像缓冲器充满程度。又进一步地，另一虚拟缓冲器(即“虚拟块缓冲器”)正操作在IP封装器305处，并且其根据虚拟块缓冲器充满程度用信号通知速率控制器。

图4依照本发明的至少一方面，说明了在内容编码器级别的编码器速率控制系统400的示例框图。编码器速率控制系统400被配置以便通过控制主要流的速率来提供对拼接流的速率上的控制，并且其最小化编码参数的改变，从而为编码视频提供高视觉质量。所说明的例子描述了实时应用，其中两个分离的编码器411和413对未压缩视频进行编码，以便提供主要的帧间/P和帧内/IDR流。两个编码器块(即在图4中的411和413)对应于图3中的块301。图4的块412、421、422和431对应于图3中的块302。

如所示出的，第一编码器411对IDR流进行编码，并且第二编码器413对P流进行编码。将第二编码器413的输出(P主要流)移至第二虚拟缓冲器422，并且将第一编码器411的输出通过第一虚拟缓冲器421移至第二虚拟缓冲器422。考虑到IDR频率的平均值，第一虚拟缓冲器421装载(charged with)在IDR频率的位置处的一个IDR帧，并且在整个IDR期间(即，MPE-FEC帧期间)逐渐卸载(discharge)第一虚拟缓冲器421。利用拼接流的恒定目标速率来卸载第二虚拟缓冲器422。基于第二虚拟缓冲器422的充满程度以及基于两个编码流的比特率，速率控制器412为两个编码器411和413提供相等的量化标度。目标速率估计块(TRE)431根据拼接流的目标比特率和IDR主要流的比特率来估计P主要流的目标比特率。对于每IDR周期(即，MPE FEC帧)，对P主要流的目标比特率进行一次更新。速率控制器412可以是具有缓冲器限制的可变比特率(VBR)类型视频速率控制器。虽然此时可能不产生任何拼接流，但是可以将所需拼接流的规范用于主要流的速率控制。可以由封装器接着产生拼接流。

第一虚拟缓冲器421被配置以便防止在IDR频率位置处对于相对大的IDR帧而言在第二虚拟缓冲器422结果中的高波动，并且其进一步被配置以防止在编码参数中的波动，从而提供高视频质量。在IDR频率位置处，可以将编码IDR帧和对应的P帧的差立即插入到第一虚拟缓冲器421，并且然后该差可以在整个IDR周期期间逐渐移至第二虚拟缓冲器422。在对每个被替换的IDR帧进行编码之后，可以将第一虚拟缓冲器421的占用更新为：

VBF 1 (i + 1) = VBF 1 (i) + I_{j} - P_{j} - \frac{I_{j} - P_{j}}{F_{1}},

并且在对位于IDR频率位置处的两个被替换的IDR帧之间的每个P帧进行编码之后，可以更新该占用为：

VBF 1 (i + 1) = VBF 1 (i) - \frac{I_{j} - P_{j}}{F_{1}},

其中VBF1表示第一虚拟缓冲器421的充满程度，并且I_j和P_j分别示出了在j的IDR频率位置处用于对IDR帧和P帧进行编码的比特预算。F₁对应于每隔多久IDR帧被P帧替换一次。

取决于速率控制器412的类型，可以使用用于第二虚拟缓冲器422的两个模型，发送方缓冲器和接收方缓冲器。在发送方缓冲器的情况下，第二虚拟缓冲器422装载第二编码器413和第一虚拟缓冲器421的输出，并且在拼接流的目标速率的情况下卸载第二虚拟缓冲器422，如：

VBF 2 (i + 1) = VBF 2 (i) + P_{i} + \frac{I_{j} - P_{j}}{F_{1}} - \frac{T R_{1}}{FR}

在接收方缓冲器的情况下，按照拼接流的目标速率装载第二虚拟缓冲器422，并且随第二编码器413和第一虚拟缓冲器421的输出卸载第二虚拟缓冲器422，如：

VBF 2 (i + 1) = VBF 2 (i) - P_{i} - \frac{I_{j} - P_{j}}{F_{1}} + \frac{T R_{1}}{FR}

其中VBF2表示第二虚拟缓冲器422的充满程度。TR₁和FR分别对应于在编码器级别处的拼接流的帧速率和目标速率。

所有视频速率控制算法均使用目标比特率作为用户定义的输入参数。依照本发明的各方面，可以使用目标速率作为受控参数，其在编码期间可以变化。这样的结构并不需要在速率控制算法上的任何修改，并且可以使用具有缓冲器限制的任何可变速率控制器(例如速率控制器412)而不需要进行任何修改。目标速率估计器(TRE)431调节目标速率。TRE 431被配置以便根据拼接流的目标比特率和主要流的比特率来估计P主要流的目标比特率。可以每个IDR周期更新一次P主要流的目标比特率为：

{TR}_{P} = {TR}_{1} - {\tilde{R}}_{I - P},

{\tilde{R}}_{I - P} (z) = H (z) {\times R}_{I - P} (z),

R_{I - P} = FR \times \frac{I_{j} - P_{j}}{F_{1}},

其中TR_P和TR₁分别对应于P主要流和拼接流的目标速率。R_I-P对应于用第j个IDR帧替换的第j个P帧的附加比特率结果，并且是R_I-P的低通滤波版本。H(z)的低通滤波器平滑了P主要流的目标速率的变化。低通滤波器最小化编码参数的变化，从而最大化拼接流的视觉质量。

当在主要流中在帧内/IDR和帧间/P帧的比特预算之间存在较大差异时，作为速率控制的解决方案，如图3中所示的IP封装器305可以丢弃大量帧来提供HRD标准应允比特流。可以一起利用图3和图4中所示出的速率控制系统300和400来为标准应允比特流提供最小数目的丢弃帧及高视觉视频质量。

依照本发明的另一实施例，防止了导致HRD不应允的“盲”拼接操作，例如上溢或下溢。本发明的各方面提供了一种用于IP封装器检验拼接流的HRD应允性、控制拼接流的比特率以及导出用于拼接流的HRD缓冲参数的方法。

在IP封装器处，可以在IDR频率(甚至是不同于对编码器级别处的速率控制所使用的IDR频率的变量)中拼接主要流。该差异造成拼接流的目标比特率的漂移(drift)。这样的漂移可以降低拼接流的HRD应允性。为了保持拼接流的HRD应允性，可以由封装器处的模糊速率控制来补偿该漂移。根据模糊控制器的输出，更多可拼接的P帧可以由MPE-FEC帧中对应的IDR帧来替换以增加比特率，或者可以从拼接流中丢弃多个P帧以降低比特率。模糊控制器被配置以便最小化不必要的IDR帧以及丢弃的帧的数目，与此同时其提供了用于拼接流的目标比特率和HRD应允性。

图5依照本发明的至少一个方面，说明了封装器速率控制器501的示例框图。如所示出的，封装器速率控制器501包括模糊控制器535、假设的参考解码器(HRD)533和虚拟块缓冲器(VBB)531。可以根据下面描述的输入来定义HRD 533和VBB 531的特性以及封装器速率控制器501的输出。

尽管未示出，然而HRD编码图像缓冲器(CPB)却可以操作于封装器速率控制器501中。CPB模拟了在接收机侧对拼接流的缓冲。将CPB用于计算SEI消息缓冲参数。可以由视频编码标准(例如，H.264/AVC标准的附件A)指定HRD CPB的大小。在H.264/AVC的最低级别中，HRDCPB大小对应于按照所使用级别的最大比特率大约2.5秒的数据。此外，所提供的模型表示在编码器速率控制器501所使用的虚拟缓冲器和HRDCPB的大小之间的下列关系：

BS_Spliced＝BS_P+mean(I_i-P_i)+α×Variance(I_i-P_i)，

其中BS_Spliced表示HRD CPB大小，并且BS_P是操作于编码器速率控制器中的虚拟缓冲器的大小，即第二虚拟缓冲器的大小，例如图4中所说明的第二虚拟缓冲器422。P_i表示由第i个IDR帧或I_i替换的第i个P帧。α是恒定的内容相关的系数。

在其中可获得(I_i-P_i)的均值和方差的脱机应用中，并考虑在[2，10]的范围中α的典型值，可以将HRD CPB的大小计算为：

CPBS＝min(Stan dard_Limit，BS_Spliced).

在其中不可获得任何现有统计信息的联机应用中，可以将HRD CPB的大小设置在标准范围中。然后，对(I_i-P_i)的均值和方差使用如下典型值，可以计算编码器虚拟缓冲器的大小。

首先，将HRD CPB的大小设置在标准范围中，如：

CPBS＝Δ×TR，Δ≤3

其中TR是拼接流的目标比特率，并且根据所提供的模型：

BS_P＝CPBS-mean(I_i-P_i)-α×Variance(I_i-P_i).

在多数视频序列中，IDR帧需要比利用相等量化标度编码的P帧多大约5到10倍的比特预算。因此，

mean(I_i-P_i)＝Ω×mean(P_i)，Typically：Ω∈[4_9].

基于假设：

α×Variance(I_i-P_i)＝mean(P_i)，

那么，

BS_P＝CPBS-Ω×mean(P_i)，Typically：Ω∈[5_10]，

或者近似地，

{BS}_{P} \approx Δ \times TR - Ω \times \frac{TR}{FR}, Ω &Element; [5_10], Δ \leq 3 .

那么可以总结出，

{BS}_{P} \approx (Δ - \frac{Ω}{FR}) \times TR, Ω &Element; [5_10], Δ \leq 3 .

作为例子，如果Δ＝3并且Ω＝7.5并且FR＝15，那么BS_P＝2.5×TR。

用于SEI消息的HRD CPB大小具有操作于封装器速率控制器501中的HRD CPB的相同大小。

可以基于操作于封装器中的HRD CPB的充满程度来计算用于SEI消息的初始移除延迟为：

Initial_CPB_Removal_Delay＝在移除IDR帧之前的HRD_CPB充满程度 /目标速率

要注意，可以以秒来计算文中所使用的“Initial_CPB_Removal_Delay”(“初始_CPB_移除_延迟”)，而在标准文档中所使用的“initial_cpb_removal_delay”的值已经被标度了。

如果在编码器速率控制器中所使用的IDR频率等于封装器所使用的IDR频率，则在封装器处的拼接流的目标速率与在编码器处的拼接流的目标速率相似。否则，可以将其计算为：

{TR}_{2} = {TR}_{1} \cdot \frac{F_{1}}{F_{2}} \cdot \frac{R_{P} (F_{2} - 1) + R_{IDR}}{R_{P} (F_{1} - 1) + R_{IDR}},

其中TR₁和TR₂分别表示在编码器和封装器处的拼接流的目标比特率。F₁和F₂提供了“目标帧速率”与“IDR帧速率”的比率，并分别对应于每隔多久由编码器速率控制和封装器插入一次IDR帧。R_P和R_IDR表示P主要流和IDR流的平均比特率。对于联机应用，其中R_P和R_IDR不可获得，可以假设：

R_IDR /R_P＝I_j/P_j＝n，

那么，

{TR}_{2} = {TR}_{1} \cdot \frac{F_{1}}{F_{2}} \cdot \frac{(F_{2} - 1) + n}{(F_{1} - 1) + n},

其中n的典型数是9。

封装器速率控制器501通过控制帧速率和帧的类型来控制比特率。控制器501可以从MPE-FEC帧丢弃多个P帧，或者其可以通过IDR帧来替换一个或多个P帧。可以通过三个步骤来实现该控制：1)在模糊控制之前丢弃帧；2)通过模糊控制丢弃\替换帧；以及3)在模糊控制之后替换帧。

基于MPE-FEC帧而操作的模糊控制器535和虚拟块缓冲器531被用来实现上面的控制步骤。在第一步骤中，如果接收方缓冲器接近下溢条件，则基于IDR帧的大小以及HRD-CPB或虚拟缓冲器的充满程度，从MPE-FEC帧的始端丢弃多个视频帧，P或者IDR。可以通过IP封装器处的两个可用缓冲器之一来确定接收方缓冲器充满程度。在第二步骤中，基于模糊控制器535的输出，实现丢弃帧(P或IDR)或替换帧(用IDR帧替换P帧)。模糊控制器535的输出可以是整数。正数示出从MPE-FEC帧的末端丢弃的帧的数目，并且负数示出多个附加的IDR帧可用于插入到或替换MPE-FEC帧的中部，且沿MPE-FEC帧呈均匀分布。在最后的步骤中，如果接收方缓冲器接近上溢，则根据MPE-FEC帧中剩余视频帧的大小以及虚拟缓冲器531充满程度，可以通过IDR帧来替换一个P帧。

如所描述的，模糊控制器535的输出可以是整数值，其示出了应当从当前块(MPE-FEC帧)中丢弃的帧的数目，或者在当前块中应当通过IDR帧替换的P帧的数目。模糊控制器535可以被配置以便利用基于MPE-FEC帧而不是视频帧而在操作的虚拟缓冲器531。模糊控制器535可以使用以下信号作为输入：

INPUT 1 = BB \times \frac{FR}{{TR}_{2}} - F_{2},

INPUT 2 = \frac{BBF - f (I_{i} - P_{i})}{BBS},

其中BB(Block_Bits)表示在包括丢弃或替换帧在内的任何过程之前，当前MPE-FEC帧所消耗的比特的总数。BBF和BBS分别表示块缓冲器充满程度和块缓冲器大小。FR表示目标帧速率。f(I_i-P_i)是在(I_i-P_i)上实现的低通滤波器的输出，即：

F (z) = H (z) \times (I_{i} - P_{i}), H (z) = \frac{m}{m + 1 - z^{- 1}},

其中H(z)表示低通滤波器的冲激响应。

在表1中概括了IF_THEN模糊规则。

表1的内容指定了控制器的输出。举例来说：

IF(输入1是VH并且输入2是ML)THEN(输出是MH).

字母H、L、M、V、X和S对应于描述模糊参数的高、低、中、很、非常以及超级的语言规范。

在图6中示出了模糊隶属函数(MSF)的分布。在表2中示出了对应于表1的模糊系统的输出的期望中心值。尽管上面的MSF和期望值提供了好的结果，然而视频序列的大数据库可能进行更多优化。

表1：模糊控制器的语言规则

表2：模糊控制器的输出的中心期望值

具有使用乘积推理引擎(product inference engine)的两个输入、单个模糊化器以及中心平均解模糊化器(defuzzifier)的模糊系统为：

f (x_{1}, x_{2}) = \frac{Σ_{i_{1} = 1}^{N_{1}} Σ_{i_{2} = 1}^{N_{2}} {\overset{&OverBar;}{y}}^{i_{1} i_{2}} μ_{A_{1}^{i_{1}}} (x_{1}) \cdot μ_{A_{2}^{i_{2}}} (x_{2})}{Σ_{i_{1} = 1}^{N_{1}} Σ_{i_{2} = 1}^{N_{2}} μ_{A_{1}^{i_{1}}} (x_{1}) \cdot μ_{A_{2}^{i_{2}}} (x_{2})},

其中f(x₁，x₂)是近似的输出，并且

是模糊集合，且

和

为输入x₁和x₂所定义的隶属函数可以被使用。使用管理经验，可以选择输出模糊集合

的中心(用

表示)作为输出期望值。模糊控制器535的输出可以是非整数，因此可以将其四舍五入到最近的整数。正的输出说明应当将多个视频帧从当前MPE-FEC帧中丢弃，并且负的输出说明在当前MPE-FEC帧中应当由对应的IDR帧替换多个P帧。

虚拟块缓冲器531可以是这样的虚拟缓冲器，即其基于MPE-FEC帧而不是视频帧操作于封装器速率控制器501中。虚拟块缓冲器531具有可以作为HRD CPB的简化版本的模型。虚拟块缓冲器531的大小可以等于正操作在封装器处的HRD CPB的大小。可以由模糊控制器535使用虚拟块缓冲器531。尽管虚拟块缓冲器531和HRD CPB的上溢和下溢条件可能不会正好相互匹配，然而可以由它们二者来检查上溢和下溢条件。在每个MPE-FEC帧的封装之后，可以对虚拟块缓冲器531的缓冲器占用更新一次为：

BBF (i + 1) = BBF (i) - CBB (i) + \frac{{TR}_{2} \times F_{2}}{FR},

其中i表示MPE-FEC帧和CBB(编码块比特)的标号，对应于在封装的MPE-FEC帧中视频帧所消耗的比特的总量。在速率控制过程期间，可以根据丢弃的和替换的帧来更新缓冲器占用为：

BBF (i + 1) = BBF (i + 1) + \overset{Dropped}{Σ} P_{n} + \overset{Dropped}{Σ} I_{m} - \overset{Re placed}{Σ} (I_{j} - P_{j}) .

如所描述的，封装器速率控制器501通过丢弃或替换帧来控制拼接流的速率。可以按照三个步骤来实现丢弃和替换。根据模糊控制器535的输出，在第二步骤中提供了主要控制，并且在下溢或上溢条件中实现了第一和第三步骤中的控制。

在步骤一中，如果HRD CPB接近下溢条件，为了防止在低占用缓冲器条件下的下溢，则可以从MPE-FEC帧的始端丢弃多个视频帧：

其中IDX是在主要流中进行拼接的标号或者在两个IDR帧或可拼接的P帧之间的最小距离。当丢弃了第一可拼接帧时，移除随后的P帧直到下一可拼接P帧，并且利用对应的IDR帧来替换首个下一可拼接P帧。

可以通过HRD 533的早先模拟或通过虚拟块缓冲器531来检查下溢条件。在使用虚拟块缓冲器531的情况下，可以使用简单条件，如：

如果

其中Δ₁是裕量(margin)。

在使用HRD 533的情况下，应当从缓冲器533取消执行检查操作。可以在步骤三之后实现在HRD 533上的主要模拟。

在步骤二中，可以基于模糊控制器535的输出来实现对帧的丢弃或替换。模糊控制器531的输出可以是整数。

在步骤三中，如果HRD CPB接近上溢，则可以通过对应的IDR帧来替换一个P帧以防止上溢条件：

可以通过HRD 533的早先模拟或通过虚拟块缓冲器531来检查上溢条件。在使用虚拟块缓冲器531的情况下：

如果

其中Δ₂是裕量。

在使用HRD 533的情况下，应当在最终模拟之前从缓冲器取消执行检查操作。

虽然示出了如文中所述体现了本发明的各个方面的说明性系统和方法，但是本领域的技术人员应该理解，本发明并不限于这些实施例。本领域的技术人员可以进行修改，特别是根据前述教导。举例来说，可以单独或者结合或二次结合其它实施例的元件来利用前述实施例的各个元件。还可以认识并理解，可以在不背离本发明的真实精神和范围的情况下进行修改。因而本说明书被认为是说明性的而不是对本发明的限制。

Claims

1.一种用于比特流传输的系统，其包括：

编码子系统，其被配置以便接收源信号并且基于所述源信号对第一和第二比特流进行编码，所编码的第一比特流包括解码器刷新比特流，并且所编码的第二比特流包括媒体比特流；以及

封装器，其在操作上连接至所述编码子系统，所述封装器被配置以便接收所编码的第一比特流和所编码的第二比特流，从而从所编码的第二比特流替换可拼接图像，并且组成时间分片流。

2.根据权利要求1的系统，其中所述编码子系统包括：

内容编码器，其被配置以便接收所述源信号并且基于所述源信号对所述第一比特流和所述第二比特流进行编码；以及

服务器，其在操作上耦合于所述内容编码器，所述服务器被配置以便接收所编码的第一比特流和所编码的第二比特流，以及将所编码的第一和第二比特流封装到分组中，

其中所述封装器在操作上耦合于所述服务器，并且被配置以便从所述服务器接收所述分组。

3.根据权利要求1的系统，其中所述时间分片流包括多协议封装(MPE)流。

4.根据权利要求1的系统，其中所述解码器刷新比特流包括帧内图像和即时解码刷新(IDR)图像中的至少一项。

5.根据权利要求1的系统，其中所述解码器刷新比特流包括序列和图像组(GOP)头部。

6.根据权利要求1的系统，其中所述解码器刷新比特流包括序列和图像参数集。

7.根据权利要求2的系统，其中所述服务器包括网际协议(IP)多播服务器。

8.根据权利要求2的系统，其中所述服务器被进一步配置以便基于有效载荷格式，将所编码的第一和第二比特流封装到分组中。

9.根据权利要求1的系统，其中所述可拼接图像是在所述时间分片流中的时间分片的第一图像。

10.根据权利要求1的系统，其中所述封装器利用来自所编码的第一比特流的图像来替换所述可拼接图像。

11.根据权利要求10的系统，其中来自所编码的第一比特流的图像是帧内图像和即时解码刷新(IDR)图像的其中之一。

12.根据权利要求10的系统，其中来自所编码的第一比特流的图像被编码为SI图像。

13.根据权利要求1的系统，其中所述可拼接图像被编码为SP图像。

14.根据权利要求2的系统，其中所述分组包括实时传送协议(RTP)分组。

15.根据权利要求1的系统，其中所述封装器被进一步配置以便将时间分片MPE流封装到运动图像专家组-2(MPEG-2)传送流分组中。

16.根据权利要求2的系统，其中所述内容编码器和所述服务器在物理上驻留于单个设备内。

17.根据权利要求1的系统，其中所述编码子系统被进一步配置以便对所述解码器刷新比特流和所述媒体比特流中的至少一个进行缓冲。

18.根据权利要求1的系统，其中所述封装器被进一步配置以便将时间分片MPE流组成MPE前向纠错(MPE-FEC)帧。

19.根据权利要求18的系统，其中所述封装器被进一步配置以便利用来自所编码的第一比特流的对应帧来替换来自所述MPE-FEC帧的第一可拼接帧。

20.根据权利要求1的系统，其中所述封装器被进一步配置以便输出所述解码器刷新比特流的至少一个子集作为视频动态频道转换流。

21.一种组成时间分片流的方法，所述方法包括以下步骤：

接收包括第一和第二比特流的源信号；

对所述第一和第二比特流进行编码，所编码的第一比特流包括解码器刷新比特流，并且所编码的第二比特流包括媒体比特流；

将所编码的第一和第二比特流封装到分组中；

利用来自经封装的所编码的第一比特流的图像来替换来自经封装的所编码的第二比特流的可拼接图像；以及

组成时间分片流，其包括来自经封装的所编码的第一比特流的图像。

22.根据权利要求21的方法，其中所述组成步骤包括：组成时间分片的多协议封装(MPE)流。

23.根据权利要求21的方法，其中所述解码器刷新比特流包括帧内图像和即时解码刷新(IDR)图像中的至少一项。

24.根据权利要求21的方法，其中所述可拼接图像是所编码的第二比特流中的第一图像。

25.根据权利要求24的方法，其进一步包括步骤：利用来自所编码的第一比特流的图像来替换所述可拼接图像。

26.根据权利要求25的方法，其中来自所编码的第一比特流的图像是帧内图像和即时解码刷新(IDR)图像的其中之一。

27.根据权利要求26的方法，其中来自所编码的第一比特流的图像被编码为SI图像。

28.根据权利要求22的方法，其进一步包括步骤：将所述MPE流组成MPE前向纠错(MPE-FEC)帧。

29.根据权利要求21的方法，其进一步包括步骤：输出所述解码器刷新比特流的至少一个子集作为视频动态频道转换流。

30.一种内容编码系统，其包括：

编码子系统，其包括：

第一内容编码器，其被配置以便接收未压缩信号，并且基于控制参数将所述未压缩信号的第一内容编码为第一主要流，

第二内容编码器，其被配置以便接收所述未压缩信号，并且基于所述控制参数将所述未压缩信号的第二内容编码为第二主要流，以及

编码器速率控制器，其在操作上连接至所述第一和第二内容编码器，所述编码器速率控制器被配置以便接收编码目标数据以及来自所述第一和第二内容编码器的第一输入信号，以及将所述控制参数输出至所述第一和第二内容编码器并且输出编码元数据，

封装器速率控制器，其在操作上连接至所述编码子系统，所述封装器速率控制器被配置以便接收第二输入信号和封装目标数据，以及输出速率控制命令和补充增强信息(SEI)消息参数；以及

封装器，其在操作上连接至所述编码子系统和所述封装器速率控制器，所述封装器被配置以便从所述编码子系统接收所述第一和第二主要信号，从所述封装器速率控制器接收所述速率控制命令和SEI消息参数，将所述第二输入信号输出至所述封装器速率控制器，以及组成拼接流。

31.根据权利要求30的内容编码系统，其中所述编码子系统进一步包括服务器，其在操作上连接至所述第一和第二内容编码器以及所述编码器速率控制器，所述服务器被配置以便接收所述第一和第二主要流，将所述第一和第二主要流封装到分组中，以及接收所述编码元数据并且基于所述编码元数据输出所封装的目标数据，并且

其中所述封装器速率控制器和所述封装器在操作上连接至所述服务器。

32.根据权利要求30的内容编码系统，其中所述第一输入信号是从所述未压缩信号提取的。

33.根据权利要求30的内容编码系统，其中所述第一和第二主要流包括以下中的至少一项：帧间流、P流、帧内流，以及即时解码刷新(IDR)流。

34.根据权利要求30的内容编码系统，其中所述编码器速率控制器被进一步配置以便依照所述编码目标数据来控制所述第一和第二主要流的比特率。

35.根据权利要求34的内容编码系统，其中所述编码目标数据对应于用户定义的数据。

36.根据权利要求34的内容编码系统，其中所述编码目标数据基于所述第一输入信号。

37.根据权利要求30的内容编码系统，其中所述编码目标数据包括所述拼接流的目标比特率和所述拼接流的即时解码刷新(IDR)频率。

38.根据权利要求37的内容编码系统，其中所封装的目标数据与所述编码目标数据是同类的。

39.根据权利要求30的内容编码系统，其中所述封装器速率控制器被进一步配置以便基于所封装的目标数据来控制所述拼接流的比特率。

40.根据权利要求39的内容编码系统，其中所述封装器速率控制器被进一步配置以便基于所述第二输入信号来控制所述拼接流的比特率。

41.根据权利要求40的内容编码系统，其中所述第二输入信号对应于从所述第一和第二主要流提取的信号。

42.根据权利要求30的内容编码系统，其中所述SEI消息参数对应于对所述拼接流的缓冲。

43.根据权利要求30的内容编码系统，其中所述编码元数据包括参数，所述参数包括以下中的至少一项：所述拼接流的目标比特率、所述拼接流的即时解码刷新频率、所述编码器速率控制器的虚拟缓冲器大小，以及所述第一和第二主要流的平均比特率。

44.根据权利要求30的内容编码系统，其中所述SEI消息参数包括以下中的至少一项：假设的参考解码器编码图像缓冲器大小、初始编码图像缓冲器移除延迟，以及所述拼接流的目标比特率。

45.根据权利要求30的内容编码系统，其中所述控制参数包括量化参数。

46.根据权利要求30的内容编码系统，其中所述拼接流包括所述第一和第二主要流的部分。

47.根据权利要求46的内容编码系统，其中所述速率控制命令包括将即时解码刷新(IDR)帧插入到所述拼接流中的命令。

48.根据权利要求47的内容编码系统，其中所述速率控制命令包括从所述第一和第二主要流中丢弃多个帧的一个或多个命令。

49.一种组成拼接流的方法，所述方法包括以下步骤：

接收未压缩信号；

基于控制参数将所述未压缩信号的第一内容编码为第一主要流；

基于所述控制参数将所述未压缩信号的第二内容编码为第二主要流；

将所述第一和第二主要流封装到分组中；

基于编码元数据来输出封装目标数据；

基于所述封装目标数据，输出速率控制命令和补充增强信息(SEI)消息参数；以及

基于所述速率控制命令和SEI消息参数，从所述第一和第二主要流组成拼接流。

50.根据权利要求49的方法，其进一步包括步骤：从所述未压缩信号提取用于编码器速率控制器的输入信号。

51.根据权利要求49的方法，其中所述第一和第二主要流包括以下中的至少一项：帧间流、P流、帧内流，以及即时解码刷新(IDR)流。

52.根据权利要求49的方法，其进一步包括步骤：依照编码目标数据来控制所述第一和第二主要流的比特率。

53.根据权利要求52的方法，其中所述编码目标数据对应于用户定义的数据。

54.根据权利要求49的方法，其中所述SEI消息参数对应于所述拼接流的缓冲。

55.根据权利要求49的方法，其中所述编码元数据包括参数，所述参数包括以下中的至少一项：所述拼接流的目标比特率、所述拼接流的即时解码刷新频率、所述编码器速率控制器的虚拟缓冲器大小，以及所述第一和第二主要流的平均比特率。

56.根据权利要求49的方法，其中所述SEI消息参数包括以下中的至少一项：假设的参考解码器编码图像缓冲器大小、初始编码图像缓冲器移除延迟，以及所述拼接流的目标比特率。

57.一种内容编码系统，其包括：

第一编码器，其被配置以便接收未压缩信号并且将所述未压缩信号的第一内容编码为即时解码刷新(IDR)主要流；

第二内容编码器，其被配置以便接收所述未压缩信号并且将所述未压缩信号的第二内容编码为P主要流；

速率控制器，其在操作上连接至所述第一和第二编码器，所述速率控制器被配置以便将相等的量化标度输出至所述第一和第二编码器；

第一虚拟缓冲器，其在操作上连接至所述第一编码器，所述第一虚拟缓冲器被配置以便接收所述IDR主要流以及输出所述IDR主要流；

第二虚拟缓冲器，其在操作上连接至所述第二编码器和所述第一虚拟缓冲器，所述第二虚拟缓冲器被配置以便接收所述IDR主要流和所述P主要流，以及输出表示所述第二虚拟缓冲器的充满程度的数据；以及

目标速率估计块，其在操作上连接至所述第一和第二编码器、所述第二虚拟缓冲器以及所述速率控制器，所述目标速率估计块被配置以便基于拼接流的目标比特率和所述IDR主要流的比特率来估计所述P主要流的目标速率。

58.根据权利要求57的内容编码系统，其中所述P主要流的目标比特率在每个IDR周期被更新。

59.根据权利要求57的内容编码系统，其中所述速率控制器是具有缓冲器限制的可变比特率(VBR)类型视频速率控制器。

60.根据权利要求57的内容编码系统，其中所述第一虚拟缓冲器被进一步配置以便在IDR频率的位置处被装载一个IDR帧以及在IDR周期期间被卸载。

61.根据权利要求60的内容编码系统，其中所述第二虚拟缓冲器被进一步配置以便在所述拼接流的恒定目标速率的情况下被卸载。

62.根据权利要求58的内容编码系统，其中在所述IDR主要流中的IDR频率位置处，所述第一虚拟缓冲器被进一步配置以便接收整个编码的IDR帧，以及在IDR周期期间，逐渐将所述编码的IDR帧输出至所述第二虚拟缓冲器。

63.一种用于封装器的速率控制的系统，所述系统被配置以便接收第一和第二主要信号，其中所述第一主要信号包括解码器刷新比特流，并且所述第二主要信号包括媒体比特流，并且所述解码器刷新比特流和所述媒体比特流都源自相同的原始信号，所述系统被配置以便控制拼接流的比特率，其中所述系统被配置以便通过由所述第一主要信号的一部分来替换所述第二主要信号的至少一部分，基于所述第二主要信号来形成拼接流。

64.根据权利要求63的系统，其进一步包括编码图像缓冲器(CPB)。

65.根据权利要求64的系统，其中所述CPB被配置以便在接收机处模拟对所述拼接流的缓冲。

66.根据权利要求65的系统，其中所述系统被进一步配置以便基于所述CPB来计算补充增强信息(SEI)消息参数。

67.根据权利要求63的系统，其中所述系统被进一步配置以便输出控制命令，从而从多协议封装-前向纠错(MPE-FEC)帧丢弃至少一个P帧。

68.根据权利要求63的系统，其进一步包括虚拟块缓冲器(VBB)。

69.根据权利要求68的系统，其中所述输出控制命令基于所述VBB的充满程度。

70.根据权利要求67的系统，其进一步包括编码图像缓冲器(CPB)，其中所述输出控制命令基于所述CPB的充满程度。

71.根据权利要求67的系统，其中所述输出控制命令基于即时解码刷新(IDR)帧的大小。

72.根据权利要求63的系统，其中所述系统被进一步配置以便通过即时解码刷新(IDR)帧来替换多协议封装-前向纠错(MPE-FEC)帧的至少一个P帧。

73.根据权利要求63的系统，其进一步包括被配置以便输出数字的模糊控制器。

74.根据权利要求73的系统，其中所述数字是正数，表示要从所述MPE-FEC帧丢弃的多个P帧。

75.根据权利要求73的系统，其中所述数字是负数，表示要在所述MPE-FEC帧中利用即时解码刷新(IDR)帧替换的多个P帧。