CN101536523A

CN101536523A - 用于信道切换的系统及方法

Info

Publication number: CN101536523A
Application number: CNA2007800418453A
Authority: CN
Inventors: 石方; 克里斯托弗·约翰·贝内特; 塞拉菲姆·S·小劳卡斯; 布莱恩·威廉·奥尔; 维贾雅拉克希米·R·拉温德朗; 斯科特·T·斯韦泽伊; 安蒙·西尔贝格; 陈安梅; 萨迪·纳加拉杰; 戈登·肯特·沃克; 戴维·布拉克曼; 刘芳; 苏米特·塞西; 拉姆库马尔·桑帕特库马尔
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2006-11-14
Filing date: 2007-11-14
Publication date: 2009-09-16
Anticipated expiration: 2027-11-14
Also published as: JP5701790B2; EP2095641A2; JP2012135027A; US20080170564A1; CN103024444A; AU2011200446B2; JP5378227B2; RU2419245C2; CA2668670A1; BRPI0718629A2; MX2009005086A; KR101141086B1; AU2011200446A1; CA2783599C; JP2010509896A; KR101089072B1; CN101536523B; IL198419A0; RU2009122491A; EP2129129B1

Abstract

本发明提供用于对信道切换帧(CSF)进行视频编码及解码以在保持压缩效率的同时实现视频流采集和同步/再同步的技术。呈现用以处理多媒体数据从而实现信道切换的系统及方法。所述系统产生具有一个或一个以上网络提取层(NAL)单元的CSF作为随机接入点(RAP)帧。传输包含所述CSF和非RAP帧的背靠背帧，每一所述背靠背帧具有相同的帧ID编号。

Description

用于信道切换的系统及方法

相关申请案的交叉参考

本专利申请案主张2006年11月14日申请的标题为“用于信道切换的系统及方法”(＂SYSTEMS AND METHODS FOR CHANNEL SWITCHING＂)的第60/865,822号共同转让的临时申请案的优先权权益。此临时专利申请案在此以引用的方式并入本文中。

此申请案出于所有目的而以引用的方式将2006年9月25日申请的第11/527,306号及2006年9月26日申请的第11/528,303号共同转让的美国专利申请案完整地并入本文中。

技术领域

本发明是针对多媒体信号处理且更确切地说是针对用于视频编码及解码信道切换帧(CSF)以实现在保持压缩效率的同时采集和同步/再同步视频流的技术。

背景技术

多媒体处理系统(例如视频编码器)可使用基于国际标准的编码方法来编码多媒体数据，所述国际标准例如是移动图片专家组(MPEG)-1、-2及-4标准、国际电信联盟(ITU)-T H.263标准及ITU-T H.264标准及其对应标准、ISO/IEC MPEG-4第10部分(即高级视频编码(AVC))，以上标准中的每一者均出于所有目的而以引用的方式全文并入本文中。此类编码方法通常是针对压缩多媒体数据以供传输和/或存储。压缩可宽泛地理解为从多媒体数据中去除冗余的过程。

可关于图片序列描述视频信号，所述图片序列包含帧(整个图片)或字段(例如，交错的视频流包括图片的交替的奇数线或偶数线的字段)。在本文中使用时，术语“帧”是指图片、帧或字段。视频编码方法通过使用无损或有损压缩算法来压缩每一帧而压缩视频信号。帧内编码(本文中也称为帧内编码)是指仅使用一帧来编码所述帧。帧间编码(本文中也称为帧间编码)是指基于其它“参考”帧来编码一帧。举例来说，视频信号通常显现出时间冗余，其中在帧的时间序列中彼此靠近的帧具有至少若干匹配或至少部分地彼此匹配的部分。

多媒体处理器(例如视频编码器)可通过将一帧划分成多个例如16×16像素的块或“宏块”来编码所述帧。编码器可进一步将每一宏块划分成多个子块。每一子块可进一步包括多个额外的子块。举例来说，一宏块的子块可包含16×8及8×16个子块。8×16个子块的子块可包含8×8个子块，其可包含4×4个子块，依此类推。在本文中使用时，术语“块”是指宏块或子块。

编码器使用基于帧间编码运动补偿的算法来利用序列帧之间的时间冗余。运动补偿算法识别一个或一个以上参考帧的至少部分地与一块匹配的部分。所述块可在帧中相对于参考帧的匹配部分而移位。此移位通过一个或一个以上运动向量而表征。块与参考帧的部分匹配部分之间的任何差异可关于一个或一个以上残余而表征。编码器可将帧编码成包括用于帧的特定划分的运动向量和残余中的一者或一者以上的数据。可通过近似地最小化一成本函数来选择用于编码帧的块的特定分区，所述成本函数例如使编码大小与对得自编码的帧的内容的失真或感知到的失真平衡。

帧间编码实现的压缩效率大于帧内编码。然而，当参考数据(例如，参考帧或参考字段)因信道错误及类似原因而丢失时，帧间编码可产生问题。除了因错误而丢失参考数据之外，参考数据也可能因为在帧间编码的帧处对视频信号的初始采集或重新采集而不可用。在这些情况下，帧间编码数据的解码可能无法实现，或可能会导致不合意的错误及错误传播。这些情形可能导致视频流丢失同步。

可独立解码的帧内编码帧是实现对视频信号的同步/再同步的最常见形式的帧。MPEG-x及H.26x标准使用所谓的图片组(GOP)，其包括帧内编码帧(也称为I帧)及时间预测的P帧或双向预测的B帧，其参考GOP内的I帧及/或其它P帧及/或B帧。较长的GOP对于提高压缩率是合意的，但较短的GOP会实现较快的采集及同步/再同步。增加I帧的数目将准许较快的采集及同步/再同步，但代价是压缩度较低。

因此需要用于视频编码及解码信道切换帧(CSF)以在保持压缩效率的同时实现对视频流的采集及同步/再同步的技术。

发明内容

本发明提供用于视频编码及解码信道切换帧(CSF)以在保持压缩效率的同时实现对视频流的采集及同步/再同步的技术。在一个方面中，提供一种装置，其包括一处理器，所述处理器操作以从一个或一个以上网络提取层(NAL)单元产生信道切换帧(CSF)以在编码位流中实现随机接入点。

另一方面包含一种计算机程序产品，其包含计算机可读媒体，其具有用于致使计算机从一个或一个以上网络提取层(NAL)单元产生信道切换帧(CSF)以在编码位流中实现随机接入点的指令。

又一方面包含一种装置，其包括一处理器，所述处理器操作以解码一个或一个以上背靠背帧(back-to-backframe)，其每一者具有相同的帧ID编号，其中所述背靠背帧中的第一帧是随机接入点(RAP)帧且第二帧是非RAP帧。

通过详细描述特别是当与随附图式一起阅读时将更容易明白额外的方面。

附图说明

图1说明根据特定配置的示范性多媒体通信系统的方框图。

图2A说明可用于图1的系统的示范性编码器装置的方框图。

图2B说明可用于图1的系统的示范性解码器装置的方框图。

图3说明同步层消息与输出到FLO网络中的装置的实时媒体流/由所述装置输出的实时媒体流之间的示范性关系。

图4说明用于FLO网络内的实时服务的示范性协议层。

图5A到图5B说明同步层包与媒体帧之间的替代示范性关系。

图6说明用于针对装置中的个别流处理同步层的示范性状态机。

图7说明示范性信道切换帧(CSF)。

图8说明示范性3-NAL CSF。

图9说明信道切换帧产生器。

图10说明用于解码带有CSF的位流的过程。

图11说明产生同步标头的同步标头产生器。

图12A说明同步标头产生器的额外字段产生器。

图12B说明同步标头产生器的适配型产生器。

图13A说明共同媒体标头汇编器。

图13B说明媒体特定标头汇编器。

图14说明视频同步层目录汇编器。

图15说明VSL记录汇编器。

图16说明装置处的同步层到媒体层处理的过程的流程图。

图17说明由网络产生的带有背靠背相同帧识别编号的位流的实例。

附图中的各图出于说明目的而被简化，且并未按比例描绘。为了便于理解，凡可能之处均使用相同的参考数字来指代各图中共同的相同元件，只不过在适当时可能添加后缀以区分此类元件。

附图说明本发明的示范性配置，且由此不应被认为是限制本发明的范围，本发明的范围可承认其它同等有效的配置。应了解，可将一种配置的特征或块有利地并入其它配置中而不作进一步的叙述。

具体实施方式

缩写

以下缩写适用于下文中提供的描述：

FLO：仅前向链路

IDR：瞬时解码刷新

IEC：国际电子技术协会

IETF：因特网工程设计任务组

ISO：国际标准化组织

ITU：国际电信联盟

ITU-T：ITU电信标准化部门

NAL：网络提取层

RBSP：原始字节序列有效负载

TIA：电信工业协会

TM3：陆地移动多媒体多播

UINT：不带符号的整数

RAP：随机接入点

PTS：呈现时戳

本文中使用“示范性”一词来意味着“充当实例、例子或说明”。本文中描述为“示范性”的任何配置或设计未必要理解为比其它配置或设计优选或有利，且“核心”、“引擎”、“机器”、“处理器”及“处理单元”的术语可互换使用。

本文中描述的技术可用于无线通信、计算、个人电子器件等。下文中描述所述技术在无线通信方面的示范性使用。

以下详细描述是针对本发明的特定样本配置。然而，本发明可用权利要求书定义及涵盖的大量不同方式实施。在本描述中参考图式，其中始终用相同数字来指示相同部分。

视频信号可关于一系列图片、帧及/或字段来表征，图片、帧及/或字段中的任一者可进一步包含一个或一个以上切片。在本文中使用时，术语“帧”是一个宽泛的术语，其可涵盖帧、字段、图片及/或切片中的一者或一者以上。

配置包含便于多媒体传输系统中的信道切换的系统及方法。多媒体数据可包含运动视频、音频、静态图像、文本或任何其它合适类型的视听数据中的一者或一者以上。

图1说明根据特定配置的示范性多媒体通信系统100的方框图。系统100包含经由网络140与解码器装置150通信的编码器装置110。在一个实例中，编码器装置110从外部源102接收多媒体信号，并将所述信号编码以供在网络140上传输。

在此实例中，编码器装置110包括耦合到存储器114和收发器116的处理器112。处理器112编码来自多媒体数据源的数据，并将其提供到收发器116以供经由网络140通信。

在此实例中，解码器装置150包括耦合到存储器154及收发器156的处理器152。虽然解码器装置150可具有既用以发射又用以接收的收发器156，但解码器装置150只需要接收器，例如接收器158。处理器152可包含通用处理器及/或数字信号处理器中的一者或一者以上。存储器154可包含固态存储装置或基于磁盘的存储装置中的一者或一者以上。收发器156经配置而经由网络140接收多媒体数据，并将其提供到处理器152以供解码。在一个实例中，收发器156包含一无线收发器。网络140可包括以下中的一者或一者以上：有线或无线通信系统，其中包含以太网、电话(例如，POTS)、电缆、电力线及光纤系统中的一者或一者以上；及/或无线系统，其包括码分多址(CDMA或CDMA2000)通信系统、频分多址(FDMA)系统、正交频分多址(OFDMA)系统、时分多址(TDMA)系统(例如GSM/GPRS(通用分组无线电业务)/EDGE(增强数据GSM环境))、TETRA(陆地干线无线电)移动电话系统、宽带码分多址(WCDMA)系统、高数据速率(1xEV-DO或1xEV-DO黄金多播)系统、IEEE 802.11系统、媒体FLO系统、DMB系统、DVB-H系统及类似系统中的一者或一者以上。

图2A说明根据特定配置可用于图1的系统100的示范性编码器装置110的方框图。在此配置中，编码器装置110包括帧间编码编码器元件118、帧内编码编码器元件120、参考数据产生器元件122及发射器元件124。帧间编码编码器元件118编码视频的参考视频数据的位于其它时间帧中的其它部分来用时间方式预测(例如，使用运动补偿预测)的帧间编码部分。帧内编码编码器元件120编码视频的可无需参考其它时间定位视频数据而独立解码的帧间编码部分。在一些配置中，帧内编码编码器元件120可使用空间预测以利用位于同一时间帧中的其它视频数据中的冗余。

在一个方面中，参考数据产生器122产生数据，所述数据指示分别由编码器元件120及118产生的帧内编码视频数据及帧间编码视频数据位于何处。举例来说，参考数据可包含由解码器用来定位帧内的一位置的子块及/或宏块的识别符。参考数据也可包含用来定位视频帧序列内的一帧的帧序列编号。

发射器124经由网络(例如图1的网络140)传输帧间编码数据、帧内编码数据且在一些配置中传输参考数据。所述数据可经由一个或一个以上通信链路传输。通信链路这个术语是在普遍意义上使用，且可包含任何通信信道，其中包含但不限于有线或无线网络、虚拟信道、光学链路及类似信道。在一些配置中，帧内编码数据是在基本层通信链路上传输，而帧间编码数据是经由增强层通信链路传输。在一些配置中，帧内编码数据和帧间编码数据是经由同一通信链路传输。在一些配置中，帧间编码数据、帧内编码数据和参考数据中的一者或一者以上可经由旁带通信链路传输。举例来说，可使用一旁带通信链路，例如H.264的辅助增强信息(SEI)消息或MPEG-2的用户数据消息。在一些配置中，帧内编码数据、帧间编码数据和参考数据中的一者或一者以上是经由虚拟信道传输。虚拟信道可包括数据包，其含有可识别的包标头，所述标头将数据包识别为属于虚拟信道。其它识别虚拟信道的形式在此项技术中是已知的，例如频分、时分、扩码等。

图2B说明根据特定配置的可由图1的系统100使用的示范性解码器装置150的方框图。在此配置中，解码器150包括接收器元件158、选择性解码器元件160、参考数据确定器元件162及一个或一个以上参考数据可用性检测器，例如信道切换检测器元件164及错误检测器元件166。

接收器158接收编码的视频数据(例如，由图1和图2A的编码器装置110编码的数据)。接收器158可经由有线或无线网络(例如图1的网络140)接收编码数据。可经由一个或一个以上通信链路接收所述数据。在一些配置中，帧内编码数据是在基本层通信链路上接收，而帧间编码数据是经由增强层通信链路接收。在一些配置中，帧内编码数据和帧间编码数据是经由相同通信链路接收。在一些配置中，帧间编码数据、帧内编码数据和参考数据中的一者或一者以上可经由旁带通信链路接收。举例来说，可使用一旁带通信链路，例如H.264的辅助增强信息(SEI)消息或MPEG-2的用户数据消息。在一些配置中，帧内编码数据、帧间编码数据和参考数据中的一者或一者以上是经由虚拟信道接收。虚拟信道可包括数据包，其含有可识别的包标头，所述标头将数据包识别为属于虚拟信道。其它识别虚拟信道的形式在此项技术中是已知的。

选择性解码器160解码接收到的帧间编码视频数据和帧内编码视频数据。在一些配置中，接收到的数据包括视频数据的一部分的帧间编码版本和视频数据的所述部分的帧内编码版本。帧间编码数据可在其被预测时所基于的参考数据被解码之后解码。举例来说，使用运动补偿预测编码的数据包括运动向量和识别参考数据的位置的帧识别符。如果帧的由帧间编码版本的运动向量和帧识别符识别的部分可用(例如，已被解码)，那么选择性解码器160可解码帧间编码版本。然而，如果参考数据不可用，那么选择性解码器160可解码帧内编码版本。

在一个方面中，参考数据确定器162识别接收到的参考数据，其指示接收到的编码视频数据中的帧内编码视频数据和帧间编码视频数据位于何处。举例来说，参考数据可包含由选择性解码器160用来定位帧内的一位置的子块及/或宏块的识别符。参考数据也可包含用来定位视频帧序列内的一帧的帧序列编号。使用此接收到的参考数据使得解码器能够确定帧间编码数据所依据的参考数据是否可用。

参考数据可用性可受到用户切换多信道通信系统的信道的影响。举例来说，多个视频广播可使用一个或一个以上通信链路而可供接收器158使用。如果用户命令接收器158改变到一不同的广播信道，那么用于新信道上的帧间编码数据的参考数据可能不能立刻可用。信道切换检测器164检测到信道切换命令已发出且发信号通知选择性解码器160。选择性解码器160可随后使用从参考数据确定器获得的信息来识别帧间编码版本的参考数据是否不可用，且随后识别最近的帧内编码版本的位置并选择性地解码所识别的帧内编码版本。

参考数据可用性也可受到接收到的视频数据中的错误的影响。错误检测器166可利用错误检测技术(例如，前向错误校正)来识别位流中的无法校正的错误。如果在帧间编码版本所依据的参考数据中存在无法校正的错误，那么错误检测器166可发信号通知选择性解码器160，识别所述错误影响了哪些视频数据。选择性解码器160可随后确定是解码帧间编码版本(例如，如果参考数据可用)还是解码帧内编码版本(例如，如果参考数据不可用)。

在特定配置中，图2A的编码器装置110的元件中的一者或一者以上可重新排列和/或组合。所述元件可通过硬件、软件、固件、中间件、微码或其任何组合来实施。在特定配置中，图2B的解码器150的元件中的一者或一者以上可重新排列和/或组合。所述元件可通过硬件、软件、固件、中间件、微码或其任何组合来实施。

视频

本文中描述的特定配置可使用MediaFLO^TM视频编码来实施，以用于使用FLO空中接口规范“陆地移动多媒体多播的仅前向链路(FLO)空中接口规范”(＂Forward LinkOnly(FLO)Air Interface Specification for Terrestrial Mobile Multimedia Multicast＂，公布为技术标准TIA-1099，其全文出于所有目的而以引用的方式并入本文中)在TM3系统中传递实时视频服务。特定配置定义位流语法和语义及用于经由FLO空中接口层412传递这些服务的解码过程。

本文中提供的描述至少部分地形成用于FLO多媒体多播系统的兼容性标准，且便于顺应性FLO装置304通过任何符合此标准的FLO网络302(图3)获得服务。

规范参考

ITU-T推荐H.264及/或ISO/IEC国际标准ISO/IEC 14496-10高级视频编码(本文中称为“H.264/AVC标准”)的全文出于所有目的而以引用的方式并入本文中，且可部分地在本文中特定参考。

H.264/AVC标准的第3条中的定义也适用于本文中描述的配置。此外，将符合本文中描述的示范性配置的信道切换帧(CSF)定义为编码图片，其包括序列参数集及/或图片参数集及/或瞬时解码刷新(IDR)图片。信道切换帧(CSF)可囊封在独立的传送协议包中，以实现编码位流中的随机接入点或便于错误恢复。本文在下文中指定信道切换帧(CSF)。

本文中用于算子、范围符号、数学函数、变量、语法元素、表及过程的惯例如在H.264/AVC标准的第5条中指定。

本文中描述的特定配置包含：对范围的描述、规范参考、术语定义、缩写及揭示内容的组织；以及对位流语法、语义和解码过程的描述。

用于多媒体广播的低复杂性位流格式和解码

本文中提供的描述尤其描述了一种示范性位流格式和提供对多媒体广播的低复杂性扩展的解码过程。符合本说明书描述的低复杂性扩展的位流符合H.264/AVC标准的A.2中的简介，且带有以下额外约束和扩展：1)序列参数集可具有等于66或88的profile_idc；2)序列参数集可具有等于0的constraint_set0_flag；3)序列参数集可具有等于1的constraint_set1_flag；4)序列参数集可具有等于0的constraint_set2_flag；5)可存在B切片类型；且/或6)B图片的切片可具有等于0的nal_ref_idc。(idc表示简介索引。)

在配置的另一方面中，符合本说明书描述的低复杂性扩展的位流符合H.264/AVC标准的A.2中的简介，且带有以下约束和扩展：1)序列参数集可具有等于66或88的profile_idc；2)序列参数集可具有等于1的constraint_set0_flag；3)序列参数集可具有等于0的constraint_set1_flag；4)序列参数集可具有等于1的constraint_set2_flag；5)可存在B切片类型；且/或6)B图片的切片可具有等于0的nal_ref_idc。

信道切换帖

图7说明示范性信道切换帧(CSF)700。为了实现MediaFLO^TM环境内的信道改变且便于错误恢复，根据特定配置的编码器元件120可插入信道切换帧(CSF)。信道切换帧(CSF)700可包括多达3个或更多NAL单元NAL₁...NAL_X，其由参考数字702和704表示。X可为2或大于2。无论如何，CSF 700可仅具有一个NAL单元。

图8说明示范性3-NAL CSF 800。在此实例中，CSF 800包括3个NAL单元802、804和806。如果在特定情形中使用3个NAL单元，其如果存在则可用以下次序存在于位流中：序列参数集(SPS)812、图片参数集(PPS)814和瞬时解码刷新(IDR)816。IDR NAL单元可为低质量NAL IDR单元。

表1中展示此CSF布置。表1识别正对CSF 800使用哪些NAL单元类型。在示范性配置中，NAL单元类型包含类型编号7、8和5。无论如何，在其它情况下，IDRNAL类型5可用I帧(编码切片)NAL类型1替换。RBSP代表原始字节序列有效负载，且在标题为RBSP语法结构的列中表示。列nal_单元_类型表示本文中对CSF使用的NAL单元类型编号。列C表示其它所支持的结构。举例来说，编号2、3和4表示数据分区A、B和C。编号1还表示编码切片NAL单元1。编号0未指定。

表1：用于信道切换帧的NAL单元和RBSP语法

NAL单元的内容	RBSP语法结构	nal_单元类型	C
NAL单元的内容	RBSP语法结构	nal_单元类型	C	序列参数集	seq_parameter_set_rbsp()	7	0
图片参数集	pic_paramete_set_rbsp()	8	1	序列参数集	seq_parameter_set_rbsp()	7	0
图片参数集	pic_paramete_set_rbsp()	8	1	IDR图片的编码切片	slice_layer_without_partitioning_rbsp()	5	2，3
编码切片	slice_layer_with_partitioning_rbsp()	1	2，3，4	IDR图片的编码切片	slice_layer_without_partitioning_rbsp()	5	2，3

用于这些NAL单元的语法、语义和解码过程如在H.264/AVC标准中指定。

信道切换帧参数的规范

信道切换帧(CSF)位流的语义对于若干语法元素、变量和函数有不同于H.264/AVC标准的那些的要求。

图9说明信道切换帧(CSF)产生器900。CSF产生器900包含SPS产生器902、PPS产生器904、IDR产生器906和I帧产生器908。以下要求不同于H.264/AVC标准。SPS产生器902允许CSF 800的所得序列参数集(SPS)NAL具有等于0的pic_order_cnt_type。此外，SPS产生器902允许CSF 800的所得序列参数集(SPS)NAL具有等于0的gaps_in_frm_num_value_allowed_flag。

PPS产生器产生所得PPS NAL单元。I帧产生器908产生I帧NAL单元。IDR产生器906产生所得IDR NAL单元，使得用于IDR图片的语法元素pic_order_cnt_lsb可为非零。IDR图片PicOrderCnt()等于对应的P切片PicOrderCnt()。此外，IDR图片的语法元素frame_num可为非零。IDR图片frame_num等于对应的P切片frame_num。以下图片frame_num可等于(frame_num+1)％MaxFrameNum。

因此，IDR产生器包含IDR图片次序计数(POC)编号计算器910，其将IDR NAL的POC编号设置成等于P切片POC编号。IDR产生器还包含IDR图片帧编号计算器912，其将图片帧编号设置成等于P切片图片帧编号。IDR产生器还在一些实例中确保图片帧编号及POC编号为非零。编码器装置110在方框916处追踪帧编号，其中图片frame_num可等于(frame_num+1)％MaxFrameNum。

编码器装置110可追踪变量PrevRefFrameNum，使得其可被设置成等于CSFframe_num减去1的值。

信道切换帧解码

图10说明用于解码带有CSF的位流的过程1000。按H.264/AVC标准第8条中指定的用于I切片的解码过程1000可用于在IDR NAL单元被由I帧产生器908产生的I切片NAL单元(NAL类型1的编码切片)替换的情况下解码信道切换帧(CSF)。所请求的信道中输出次序(显示)在信道切换帧(CSF)之前的图片可被丢弃。对未来图片(在输出次序的意义上)的解码不存在变化。CSF之后的未来图片无法将任何输出次序在CSF之前的图片用作参考帧。

在以下各种配置中，以所描绘的次序执行流程图方框，或者可同时地、并行地或以不同次序来执行这些方框或其部分。

因此，解码过程1000以方框1002开始，其中解码带有图片的位流。方框1002之后是方框1004，其中确定是否检测到CSF。如果确定结果为“否”，那么方框1004循环回到方框1002，其中发生对位流的进一步解码。

然而，如果方框1004处的确定结果为“是”，那么根据I切片及/或NAL单元类型协议来解码CSF。方框1006之后是方框1008，其中确定是否存在所请求的信道的在输出次序上位于CSF之前的任何图片。如果确定结果为“是”，那么在方框1010处将所述图片丢弃。方框1010之后是方框1012。然而，如果方框1008处的确定结果为“否”，那么方框1008之后是方框1012。在方框1012处，确定是否存在所请求的信道的在输出次序上位于CSF之后的任何图片。如果确定结果为“是”，那么在方框1014处将输出次序在CSF之前的图片设置为非参考帧。方框1010之后是方框1012。然而，如果确定结果为“否”，那么方框1012循环回到方框1002。方框1014也循环回到方框1002，其中发生正常解码。非参考帧可通过冲洗帧或通过迫使帧成为非参考帧来设置。

同步层

MediaFLO^TM系统可传递至少三种类型的内容：实时、非实时和IP数据播送(例如，多播、单播等)。图4中展示用于传递实时服务的多播装置网络接口(MDNI)。

图3说明同步层消息与输出到FLO网络302中的装置304的实时媒体流/由所述装置输出的实时媒体流之间的示范性关系。示范性FLO网络302可支持将串流内容连续实时传递到装置304。每一流可作为单独的流传递，且相关流可通过使用系统信息而被识别为属于一共同服务或一组服务。网络302另外可提供允许装置使实时媒体流彼此同步且与内容的呈现定时要求同步的数据。用于将媒体流与同步数据组合的层称为同步层406。

存取实时服务所要求的装置304使用系统信息来定位服务。在处理与所述服务(例如服务上当前可用的呈现的标题和等级)相关的元数据之后，装置304可选择适当的流并播放接收到的流。对这些流的呈现的定时和同步可受本文中的协议的控制。

协议结构

图4说明用于FLO网络302内的实时服务的示范性协议层400。所述实时服务可利用本文中描述的成帧层408和同样在本文中描述的流加密/解密层410的服务。其可由至少两个子层组成：媒体编解码器层404和同步层406。在协议层400的较高层区段中展示实时应用程序层402。

媒体编解码器层404支持在本配置范围之外的媒体特定的编解码器。媒体编解码器将媒体帧的序列供应到网络中的同步层406。每一媒体帧可由大体上指定待呈现帧的时间的呈现时戳(PTS)及相关联的帧ID来识别，所述帧ID识别帧在带有超帧的帧序列中的相对位置。视频源编解码器可在超帧内产生具有相同PTS及帧ID的多个媒体帧。

对于特定媒体类型(特别是视频)，网络302中的媒体编解码器层404还将元数据供应到同步层406，装置304中的同步层406可使用所述元数据来辅助采集和恢复待传递到装置304中的媒体编解码器层404的媒体帧序列。

同步层406负责根据媒体类型按需要适配媒体帧，并用于提供媒体同步和呈现定时。同步层406传送同步层包的序列。同步层包如下文所述传送媒体帧或适配帧。通过将同步标头(SH)添加到媒体帧来形成传送媒体帧的同步层包。如下文进一步详细描述，同步标头(SH)由媒体类型、共同媒体标头和媒体特定标头组成。

此外，同步层406可传送每一媒体类型特有的特定元数据。此元数据以两种方式传送。首先，如所述的，媒体特定扩展可包含在同步层包的同步标头中。其次，同步层包可用于传送适配帧，所述适配帧在同步层406内产生，且在同一流中传送媒体帧的同步层包之间交错。不同类型的适配帧是通过用于应用程序帧的同步标头中的应用程序ID来识别。

图5A和图5B说明根据特定配置的同步层包与媒体帧之间的替代性示范性关系。图5A说明由编码器装置110编码的第一示范性同步层包500。举例来说，同步层包500包括具有可变长度的多个媒体帧504、506和510。每一媒体帧504、506和510之前存在对应的同步标头(SH)502。同步标头(SH)502包含三个组件。所述三个组件包含媒体类型(MT)520、共同媒体标头(CMH)522和媒体特定标头(MSH)524，其全部在下文中详细描述。

在图5A的实例中，适配帧508插入在媒体帧506与510之间。适配帧508之前是具有两个组件的同步标头(SH)512。同步标头(SH)512的两个组件包含媒体类型(MT)530和适配类型(AT)532。

图5B说明由编码器装置110编码的第二示范性同步层包550。举例来说，同步层包550包括具有可变长度的多个媒体帧564、570和580。每一媒体帧564、570和580之前存在对应的同步标头(SH)560和适配标头(AH)562。在图5B的实例中，适配帧574插入在媒体帧570与580之间。适配帧574之前是同步标头(SH)572。

实时流配置选项

对于提供实时数据的流，流配置选项可如下配置：1)FASB_ALLOWED指示为未选定；2)CHECKSUM_ACTIVE指示为可配置；及3)STREAM_ENCRYPTION_ACTIVE指示为可配置。

媒体编解码器和成帧层接口

实时服务可由一种以上类型的串流组份组成，例如，视频、音频和用于解说或关闭的字幕的文本，其可能在多个语言流乃至其多个组合中。可在单独流中传送每一串流组份，或可在单个流中传送多个串流组份。

相对于图3，适当地编码和格式化每一类型的内容。支持三种类型的串流内容，然而，所属领域的技术人员将明白本文中呈现的概念的可扩展性：视频(例如，H.264)；音频(例如，HE-AAC版本2)；及/或定时数据(例如，3GPP PSS定时文本)。

传送与流相关联的元数据的适配帧508或574被视为第四种内容类型。

网络302中的媒体编解码器接口将媒体帧504、506、510、564、570和580的序列供应到同步层406。在装置304中，同步层406将媒体帧(例如，504、506和510)的序列供应到媒体编解码器。当经过装置304及网络302两者中的同步层406与媒体编解码器层404之间的接口时，媒体帧(例如，504、506和510)可与字节边界对准。

网络302中的同步层406将同步层标头(例如，502)添加到媒体帧(例如，504、506和510)以形成同步包，将其与传递适配帧508的同步包交错，且将所得的同步包传递到成帧层408以供传输。按视频媒体编解码器层404的指定，带有视频媒体帧的同步包可在基本层调制组件或增强层调制组件中传输。其它同步包可在基本层组件中传输。

装置304中的同步层406以每一超帧中的帧ID的升序将媒体帧(例如，504、506和510)传递到媒体编解码器层404。在存在具有相同帧ID的一个以上视频媒体帧的情况下，视频媒体帧的传递次序服从于特定额外约束。

媒体帧(例如，504、506和510)的最大尺寸不能超过PMAX_RT字节，其中PMAX_RT是可配置的FLO系统参数，且由此可经配置以便于多种媒体帧尺寸。

以下描述指定针对每一媒体类型由媒体编解码器提供的服务包的适配以用于经由同步层406传送，以及同步层406与成帧层408的媒体特定的相互作用。

视频内容

网络媒体编解码器接口

视频帧可用下文表8中指定的任一标称速率产生。标称帧速率可在超帧内改变，例如因为来自不同源的内容是以不同的速率提供到网络。对于每一超帧，媒体编解码器层404可向同步层406指示其希望向用户呈现的媒体帧的数目。视频帧由整数数目的字节组成。因此，不必为传送视频帧的媒体帧提供字节对准。

媒体编解码器层404可用解码次序向同步层406呈现视频帧。媒体编解码器层404可将以下元数据与每一视频帧一起提供到同步层406：1)PTS及帧ID；2)与帧相关联的帧速率，其识别向用户呈现视频帧的瞬时速率；3)帧是否为随机接入点(RAP)，装置304可使用其来采集视频流；4)帧是否为参考帧；5)帧是否含有主要视频信息或额外视频信息；及/或6)帧是既定用于在基本层组件还是在增强层组件中传输。将视频信息确定为主要还是额外所使用的标准是由媒体编解码器层404确定。

对于超帧中的第一视频帧，可将帧ID的值设置成零。其可对呈现给同步层406的每一后续视频帧递增或保持相同，直到且包含待由装置304呈现的媒体帧的数目。

跨接口对具有相同帧ID的帧的传递受到一些限制。第一限制是，如果媒体编解码器层404产生具有相同帧ID的一个或一个以上RAP帧和一个或一个以上交替帧，则其可在交替帧之前将RAP帧呈现给同步层406。第二限制是如果媒体编解码器层404对相同帧ID产生两个帧(其仅在视频质量级别方面不同)，则低质量帧可在基本层组件中传输，而高质量帧可在增强层组件中传输。

网络成帧层接口

同步层406可根据传送视频帧的同步包是在基本层组件中还是在增强层组件中传输而将所述同步包分组。每一组可单独处理。

同步层406可用帧ID的升序将用于每一组的同步包提供到成帧层408。可将相同组件中具有相同帧ID的两个同步包以其从媒体编解码器层404接收的次序提供到成帧层408。

装置成帧层接口

装置304可恢复从基本层组件和增强层组件传输的同步包，且可通过将其一起处理来恢复其将跨装置媒体编解码器接口传递的次序。

装置媒体编解码器接口

装置304中的同步层406可将视频媒体帧(例如，504、506和510)以解码次序呈现给媒体编解码器层404，所述次序是根据帧ID确定，且服从于额外推荐(其中的全部或一些可针对交替配置而被消除)。第一推荐是如果同步层406检测到具有RAP旗标集的视频媒体帧(“RAP帧”)和具有相同帧ID的一个或一个以上非RAP帧，那么两个条件中的一者被进一步评估。第一条件(对于第一推荐)是，如果同步层406尚未采集到视频流，则其可跨媒体编解码器接口(MCI)传递RAP帧，且可丢弃非RAP帧。否则(第二条件)，同步层406可在适当时丢弃RAP帧，且可跨媒体编解码器接口(MCI)传递非RAP帧。所述RAP帧可为CSF。

第二推荐是，如果同步层406检测到具有相同同步层标头(SH)的两个视频媒体帧，则其可将在增强层中接收到的帧传递到媒体编解码器层404，且丢弃在基本层中接收到的帧。

第三推荐是，如果同步层406检测到具有主要视频信息的视频媒体帧和具有相同帧ID和额外视频信息的第二视频媒体帧。考虑两个额外条件。在第三推荐的第一条件中，如果媒体编解码器层404不支持对额外视频信息的处理，则同步层406可丢弃所述视频媒体帧，且将具有主要视频信息的视频媒体帧传递到媒体编解码器层404。在第三推荐的第二条件中，如果未满足第一条件，则同步层406可将所述两个视频媒体帧传递到媒体编解码器层404。

图16说明装置304处的同步层406到媒体编解码器层404处理的过程1600的流程图。过程1600以方框1602开始，其中基于帧ID编号以解码次序将视频媒体帧从同步层406呈现给媒体编解码器层404。方框1602之后是方框1604，其中确定是否存在具有相同帧ID编号的两个背靠背帧，且哪个帧是RAP帧(例如CSF)而另一个是非RAP帧。如果确定结果为“否”，则方框1604循环回到方框1602。然而，如果确定结果为“是”，那么方框1604之后是方框1606，其中确定同步层406是否已采集到视频流。如果确定结果为“是”，那么方框1606之后是方框1608，其中在适当时将RAP帧丢弃，而将非RAP帧传递到MCI。如果确定结果为“否”，那么方框1606之后是方框1610，其中将RAP帧发送到MCI且将非RAP帧丢弃。

图17说明由网络302产生的具有背靠背相同帧识别编号的位流1700的实例。位流1700类似于关于图5A所展示及描述的位流。举例来说，媒体帧1704包含用于由CH-CNN表示的信道的P帧(1)。媒体帧1704包含同步标头(SH)1702。同步标头(SH)1702类似于先前描述的同步标头(SH)502。

在此实例中，假设CSF已被插入以例如对CH-ESPN实行信道变化。CSF由媒体帧1708表示，且包含同步标头(SH)1706。CSF是RAP帧，且将具有带有一帧识别编号的CMH1720。出于说明目的，在CSF(媒体帧1708)之后展示具有其对应SH的适配帧。媒体帧1712被指定为非RAP帧，且其之前是同步标头(SH)1710。在此位流1700中，媒体帧1708和1712是背靠背的。CSF既定将信道例如切换到信道CH-ESPN。为了实行信道变化，媒体帧1712是P帧(2)，且在同步标头1710中具有CHM，其帧识别编号与用于CSF(媒体帧1708)的同步标头(SH)1706中的帧识别编号相同。

媒体帧1712之后是具有同步标头1714的媒体帧1716。媒体帧1716可为B帧。在输出次序上，B帧在P帧之前。因此，B帧被丢弃或舍弃(见图10)。

关于图10中提供的描述，媒体帧1704需要被指定为非参考帧。由于存在信道变化，所以帧1704无法充当用于另一信道中的视频帧的参考帧。媒体帧1704可被设置成非参考帧或被从缓冲器冲洗。无论如何，可使用其它使媒体帧不充当参考帧的方式。

音频内容

网络媒体编解码器接口

音频帧是根据正使用的音频编解码器的类型而以固定速率产生。然而，音频帧速率可能不是超帧速率的整数倍。对于每一超帧，媒体编解码器层404可向同步层406指示其希望呈现的媒体帧的数目。

帧ID可与向同步层406呈现的每一音频帧相关联。帧ID可由媒体编解码器层404或同步层406指派。对于超帧中的第一音频帧，可将帧ID的值设置成零。所述值可针对向同步层406呈现的每一后续音频帧而递增，直到且包含待由装置304呈现的媒体帧的数目。

网络302中的媒体编解码器层404可以音频帧产生的次序向同步层406呈现音频帧。音频帧可由非整数数目的字节组成。媒体编解码器层404可根据针对正使用的音频编解码器的类型指定的方式实现字节对准。

媒体编解码器层404可向同步层406提供与每一音频帧相关联的元数据。所述元数据包含帧ID，前提是其由媒体编解码器层404指派。

帧是否为_RAP帧

帧是含有主要音频信息还是额外音频信息。音频信息被确定为主要或额外所凭借的标准是由媒体编解码器层404确定。

网络成帧层接口

含有音频帧的同步包可在受媒体编解码器层404指导的调制组件中传输。在每一调制组件内接收的音频帧可以其产生次序呈现给成帧层408。

装置成帧层接口

装置304中的同步层406可以跨成帧层接口接收同步包的次序处理所述同步包。

装置媒体编解码器接口

装置304中的同步层406可以从同步包中提取音频帧的次序将音频帧呈现给媒体编解码器层404。

定时数据内容

网络媒体编解码器接口

定时数据帧是以可变速率产生。通常(但非必然)在定时数据流中每超帧存在至多一个定时数据帧，这在图3中可最清楚地看出。

帧ID可与向同步层406呈现的每一定时数据帧相关联。帧ID可由媒体编解码器层404或同步层406指派。对于超帧中的第一定时数据帧，可将帧ID的值设置成零。所述值可针对向同步层呈现的每一后续定时数据帧而递增，直到且包含待由装置呈现的媒体帧的数目。

网络中的媒体编解码器层404可以定时数据帧产生的次序向同步层406呈现所述定时数据帧。定时数据帧可由非整数数目的字节组成。可根据针对正使用的定时数据的类型指定的方式实现字节对准。由媒体编解码器404提供到同步层406的与每一定时数据帧相关联的元数据(如果存在的话)取决于数据类型。

网络成帧层接口

含有定时数据帧的同步包可在由媒体编解码器层404指导的调制组件中传输。在每一调制组件内接收的定时数据帧可以其产生次序呈现给成帧层。

装置成帧层接口

装置中的同步层406可以跨成帧层接口接收同步包的次序处理所述同步包。

装置媒体编解码器接口

装置中的同步层406可以从同步包中提取定时数据帧的次序将定时数据帧呈现给媒体编解码器层404。

同步层采集

图6说明根据特定配置用于针对装置中的个别流处理同步层406的示范性状态机600。状态机600说明在每一状态与每一状态下采取的处理之间的转变。

采集状态

装置304可在任一以下情形下进入采集状态606：1)采集FLO信号，由602指示；2)从成帧层408接收到流ID已改变的指示，由612指示；3)当在采集状态614中时FLO信号丢失，由610指示；4)当在采集状态614中时检测到带有错误的媒体帧，也由610指示；5)错误可由成帧层408发信号通知，或通过循环冗余检验(CRC)检测，前提是CRC处理经配置。此外，当接收到非RAP帧(由604指示)时，可进入采集状态606。

在视频的情况下，装置304可使用由视频同步层目录提供的信息(如果可用的话)来确定受到错误影响的媒体帧的性质。装置304可能无需重新进入采集状态614便能够确定错误恢复程序是可能的。

已采集状态

在接收到无错误的RAP帧(由608指示)后，装置304可进入已采集状态614。当在已采集状态614中时未检测到帧错误(由616指示)时进入已采集状态。

当在采集状态614中时，装置304可处理由成帧层408提供的媒体帧。可将有效媒体帧传递到媒体编解码器层404。

同步标头(SH)

图11说明产生同步标头1100的同步标头产生器1110。同步标头产生器1110包含媒体字段类型产生器1130，其产生媒体类型代码。媒体类型代码被提取以用于插入在同步标头1100的格式中，且包含：00，用于视频，方框1132处；01，用于音频，1134；10，用于定时数据，方框1136处；及11，用于适配，方框1140处。同步标头产生器1110还包含额外字段产生器1150。同步标头产生器1110还通过图12B所示的适配类型产生器1160如图5A所示产生适配类型(AT)。

同步标头1100由媒体类型字段1102和之后的额外字段1104组成，额外字段1104的格式取决于由媒体字段类型产生器1130产生的媒体类型字段的值。图12A中展示额外字段产生器1150。

表2中展示同步标头1100的一般格式。所述表包含字段名称、字段类型及字段存在。字段存在将指示字段是否是强制性的、条件性的等。字段类型指示字段是否是UINT、变量、位等。

表2：同步层标头的一般格式

字段名称字段类型字段存在

媒体类型(1102) UINT(2) 强制性

额外字段(1104) 变量强制性

媒体类型

媒体类型字段1102识别由同步层包载送的媒体帧的类型或识别同步层包正在载送适配帧。表3中列举媒体类型的定义值：

表3：媒体类型的定义值

名称值

视频 00

音频 01

定时数据 10

适配 11

额外字段

图12A说明同步标头产生器1110的额外字段产生器1150。额外字段产生器1150包含共同媒体标头汇编器1200及媒体特定标头汇编器1202。

额外字段1104的格式取决于媒体类型字段1102的值。共同媒体标头汇编器1200根据表4中的细节汇编CMH(图5A)。媒体特定标头汇编器1202根据表4中的细节汇编MSH(图5A)。表4中展示用于传送视频、音频或定时数据媒体帧的同步包的标头字段的一般格式。

表4：媒体帧的同步层标头的额外字段的一般格式

字段名称字段类型字段存在

共同媒体标头位(22) 强制性

媒体特定标头变量条件性

表5中展示传送适配帧的同步包的标头字段的一般格式。图12B说明同步标头产生器1110的适配类型产生器1160。

表5：适配帧的同步层标头的额外字段的一般格式

字段名称字段类型字段存在

适配类型 UINT(6) 强制性

共同媒体标头

图13A说明媒体共同标头汇编器1200。CMH汇编器1200包含PTS产生器1302、帧_id产生器1304、信息_级别_旗标_产生器1306和RAP_旗标产生器1308。表6中展示用于载送媒体帧的同步层包的共同媒体标头(CMH)的格式。共同媒体标头(CMH)提供各种信息。CMH信息包含：1)时戳和媒体帧ID信息；2)连续数据流中的随机接入点。这支持对音频、视频和定时文本流的快速采集。CMH信息还包含3)非参考帧指示。这些允许在特定情形下(例如，快进)不加处理地舍弃媒体帧。CMH信息还包含4)质量级别指示符。

表6中展示由共同媒体标头汇编器1200产生的共同媒体标头的格式。

表6：共同媒体标头的格式

字段名称字段类型字段存在

PTS UINT(14) 强制性

帧ID UINT(6) 强制性

信息_级别_旗标位(1) 强制性

RAP_旗标位(1) 强制性

CMH的个别字段定义如下。

PTS

PTS字段是媒体帧的呈现时戳，且由PTS产生器1302产生。此字段以毫秒为单位指定。将PTS字段添加到超帧时间以获得将呈现媒体帧的实际时间。

帧_ID

帧_ID是超帧内的媒体帧的编号，且由帧_id产生器1304产生。所述编号对于超帧内的第一媒体帧设置为0，且对每一后续媒体帧(其具有不同的PTS的值)递增。

信息_级别_旗标

信息_级别_旗标是指示媒体帧是传送用于媒体帧的主要信息还是可与主要信息组合的额外信息的位。信息_级别_旗标由信息_级别_旗标产生器1306产生。产生器1306将根据以下条件产生信息_级别_旗标。如果媒体帧传送主要信息(条件1)，则可将信息_级别_旗标设置成0。如果媒体帧传送额外质量(条件2)，则可将信息_级别_旗标设置成1。如果媒体编解码器不支持额外信息级别(条件3)，则可将信息_级别_旗标设置成0，且装置可忽略所述字段。

RAP_旗标

RAP_旗标发信号通知媒体帧是否为随机接入点，且是由RAP_旗标产生器1308产生。装置304可在重新采集或信道切换期间使用RAP_旗标来确定其是否可开始存取具有此媒体帧的媒体流。RAP_旗标产生器1308将根据各种条件产生RAP_旗标。如果(对于条件1)媒体_类型设置成视频或音频，且如果媒体帧是随机接入点，则可将RAP_旗标设置成1。如果(对于条件2)媒体_类型设置成视频或音频，且如果媒体帧不是随机接入点，则可将RAP_旗标设置成0。如果(对于条件3)媒体_类型设置成定时数据，则可在所有媒体帧上将RAP_旗标设置成1。

媒休特定标头

图13B说明媒体特定标头汇编器1202。媒体特定标头(MSH)汇编器1202根据媒体类型汇编用于载送媒体帧的同步层包的媒体特定标头(图5A)的格式。媒体类型为音频、视频、定时数据和适配。MSH汇编器1202包含帧速率产生器1322、非参考_帧_旗标产生器1324和用于对视频指定的媒体类型的保留字段产生器1326。

视频

用于载送视频媒体帧的同步层包的媒体特定标头(MSH)是视频媒体标头。表7中指定视频媒体标头的格式。

表7：视频媒体标头

字段名称字段类型字段存在

帧_速率 UINT(3) 强制性

非参考_帧_旗标位(1) 强制性

保留 UINT(4) 强制性

视频媒体标头的各个字段定义如下。

帧_速率

帧_速率字段表示由网络产生视频帧的速率，且是由帧速率产生器1322根据表8中的值产生。表8中展示帧_速率的定义值。

表8：帧_速率的定义值

帧速率(帧每秒) 值

24000/1001(23.976) 000

24 001

25 010

30000/1001(29.97) 011

30 100

50 101

60000/1001(59.94) 110

60 111

帧_速率速率是在接收到完整视频流的情况下以每秒帧数为单位的标称显示速率。举例来说，如果使用基本层和增强层两者发送视频流，则帧_速率是在所述两个数据流完全解码后的速率。实际显示速率可不同。举例来说，仅接收传输的基本层的装置可用较低速率显示帧。

非参考_帧_旗标

非参考_帧_旗标是指示是否将媒体帧用作在重建其它媒体帧时的参考的位，且是由非参考_帧_旗标产生器1324产生。产生器1324基于以下条件产生非参考_帧_旗标。如果媒体帧是参考帧(条件1)，则可将非参考_帧_旗标设置成0。如果媒体帧不是参考帧(条件2)，则可将非参考_帧_旗标设置成1。

保留

所有保留位的值均可设置成0，且在必要时由保留字段产生器1326产生。

音频

媒体特定标头汇编器1202不为载送音频媒体帧的同步层包产生媒体特定标头。无论如何，可修改媒体特定标头汇编器1202以为音频提供此MSH。

定时数据

媒体特定标头汇编器1202包含定时_数据_类型产生器1332。用于载送定时数据媒体帧的同步层包的媒体特定标头是定时数据媒体标头。表9中展示由定时_数据_类型产生器1332产生的定时数据媒体标头的格式。

表9：定时数据媒体标头的格式

字段名称字段类型字段存在

定时数据类型 UINT(8) 强制性

定时_数据_类型

定时_数据_类型字段识别定时数据媒体帧中的数据的特定类型，且由定时_数据_类型产生器1332产生。表10中给出定时_数据_类型的定义值。

表10：定时_数据_类型的定义值

名称值

字符文本 0

值1到256被保留。

适配_类型

图12B说明同步标头产生器1110的适配类型产生器1160。适配类型产生器1160包含视频_同步_层目录汇编器1220。应用_类型字段指定适配帧中的适配数据的类型。

表11中指定应用_类型字段的定义值。

表11：适配_类型的定义值

名称值

视频_同步_层_目录 1

其它所有值保留

适配帧

适配帧(例如，508)的主体的结构取决于适配类型。在表11中指定且在下文中描述来自每一适配类型的适配帧的主体。

视频同步层(VSL)目录

视频_同步_层目录汇编器1220产生视频同步层目录，其是任选的适配帧且可由装置中的同步层406用来辅助视频编解码器进行错误恢复。举例来说，其可允许同步层406确定丢失或被破坏的帧是否既定作为参考帧。此知识可准许视频编解码器确定是应处理还是应丢弃直到下一参考帧的后续帧。

图14中说明的视频_同步_层目录汇编器1160包含VSL_记录模块1402、RAP_旗标_位模块1412、U_帧_旗标_位模块1422和保留模块1432以产生和汇编视频_同步_层目录。视频_同步_层目录如果存在则可作为同步层适配帧在传送其应用于的视频流的流的基本层组件中传送。其应每超帧传输至少一次。表12中指定视频_同步_层目录的格式。

表12：视频同步层(VSL)目录

字段名称字段类型字段存在

VSL_记录 VSL_记录_类型强制性

RAP_旗标_位位(60) 强制性

U_帧_旗标_位位(60) 强制性

保留位(变量) 条件性

VSL_记录

图15说明VSL记录模块1402。VSL记录模块1402包含更多_VSL_记录模块1502、帧_速率模块1504、num_帧模块1506、第一_帧_PTS模块1508和最后_帧_PTS模块1510。

更多_VSL_记录模块1502可产生和汇编一个或一个以上用于目录的VSL_记录。表13中指定VSL_记录的格式。

表13：VSL_记录的格式

字段名称字段类型字段存在

更多_VSL_记录位(1) 强制性

帧_速率 UINT(3) 强制性

NUM_帧 UINT(6) 强制性

第一_帧_PTS UINT(14) 强制性

最后_帧_PTS UINT(14) 强制性

更多_VSL_记录

更多_VSL_记录模块1502产生更多_VSL_记录旗标，其在当前VSL_记录是视频同步层目录中的最后一个的情况下可设置成0。

更多_VSL_记录模块1502产生更多_VSL_记录旗标，其在当前VSL_记录不是视频同步层目录中的最后一个的情况下可设置成1。

视频同步层目录中的VSL_记录的数目可比超帧中的标称视频帧速率的变化数目大1。

帧_速率

帧_速率模块1504产生和汇编帧_速率字段，其提供可应用于VSL_记录的帧速率信息。表8指定帧_速率字段的定义值。

NUM_帧

NUM_帧模块1506以在超帧内的第一_帧_PTS处开始的连续视频媒体帧的块中的帧_速率字段指定的帧速率产生NUM_帧字段，其指示具有不同帧ID值的视频媒体帧的数目。

第一_帧_PTS

第一_帧_PTS模块1508产生第一_帧_PTS，其是具有由帧_速率指定的帧速率的连续视频媒体帧的块的第一视频媒体帧的PTS。

最后_帧_PTS

最后_帧_PTS模块1510产生并汇编最后_帧_PTS，其是在第一_帧_PTS处开始的具有由帧_速率指定的帧速率的连续视频媒体帧的块的最后视频媒体帧的PTS。

RAP_旗标_位

RAP_旗标位模块1412产生RAP_旗标_位。视频同步层目录含有60个RAP_旗标_位，其对应于超帧中的60个视频媒体帧的最大值。RAP_旗标_位字段的每一位对应于由帧ID识别的一特定视频媒体帧，直到超帧中的不同视频媒体帧的数目。最低有效位对应于由第一VSL_记录涵盖的第一视频媒体帧。由第一VSL_记录涵盖的RAP_旗标_位之后是由传输次序为第二和随后VSL_记录(如果存在的话)涵盖的RAP_旗标_位。

如果对应视频媒体帧是随机接入点且未伴随具有相同帧ID的非RAP帧，则可将视频同步层目录的RAP_旗标_位字段位中的每一位设置成1。否则，将位设置成0。可将RAP_旗标_位中对应于超帧中的最后传输的视频媒体帧的位之后的位设置成0。

U_帧_旗标_位

U_帧_旗标_位模块1422产生一消息，所述消息含有60个U_帧_旗标_位，其对应于超帧中的60个视频媒体帧的最大值。U_帧_旗标_位字段的每一位对应于由帧ID识别的一特定视频媒体帧，直到超帧中的不同视频媒体帧的数目。最低有效位对应于由第一VSL_记录涵盖的第一视频媒体帧。由第一VSL_记录涵盖的U_帧_旗标_位之后是由传输次序为第二和随后VSL_记录(如果存在的话)涵盖的U_帧_旗标_位。

如果对应视频帧是非参考帧，则可将视频同步层目录的U_帧_旗标_位字段中的每一位设置成1。否则，将位设置成0。可将U_帧_旗标_位中对应于超帧中的最后传输的帧的位之后的位设置成0。

保留

U_帧_旗_标位字段之后是由保留模块1432产生的使视频同步目录的最终字节与字节边界对准所必要的保留位的最小数目。网络可将视频同步目录中的保留位设置成0。

所属领域的技术人员将了解，可使用各种不同技术和技法中的任一者来表示信息和信号。举例来说，可通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任一组合来表示在整个上文描述中可能提及的数据、指令、命令、信息、信号、位、符号和码片。

所属领域的技术人员将进一步了解，配合本文中揭示的实例描述的各种说明性逻辑块、模块和算法步骤可实施为电子硬件、固件、计算机软件、中间件、微码或其组合。为了清楚地说明硬件与软件的这种可互换性，上文已关于各种说明性组件、块、模块、电路和步骤的功能性大体上对其进行说明。所述功能性是实施为硬件还是软件取决于特定应用和强加于整体系统的设计约束。所属领域的技术人员可针对每一特定应用以不同的方式实施所述的功能性，但此实施决定不应解释为导致偏离所揭示的方法的范围。

配合本文中揭示的实例描述的各种说明性逻辑块、组件、模块和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文中描述的功能的任何组合来实施或执行。通用处理器可为微处理器，但作为替代，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器也可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器的组合、一个或一个以上微处理器与DSP核心的联合或任何其它此配置。

配合本文中揭示的实例描述的方法或算法的块可直接实施在硬件中、由一个或一个以上处理元件执行的一个或一个以上软件模块中或两者的组合中。软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬磁盘、可装卸磁盘、CD-ROM或此项技术中已知的存储媒体的任何其它形式或组合。实例存储媒体耦合到处理器，使得处理器可从存储媒体读取信息和将信息写入到存储媒体。在替代方案中，存储媒体可与处理器成一体。处理器和存储媒体可驻留在专用集成电路(ASIC)中。ASIC可驻留在无线调制解调器中。在替代方案中，处理器和存储媒体可作为离散组件驻留在无线调制解调器中。

在一个或一个以上示范性配置中，所描述的功能可实施在硬件、软件、固件或其任意组合中。如果实施在软件中，则所述功能可存储在计算机可读媒体上，或作为计算机可读媒体上的一个或一个以上指令或代码而传输。计算机可读媒体包含计算机存储媒体和通信媒体两者，其包含任何便于将计算机程序从一个位置传递到另一位置的媒体。存储媒体可为任何可由计算机存取的可用媒体。举例来说，且不作为限制，此计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或任何其它可用于以指令或数据结构的形式载送或存储所要程序代码且可由计算机存取的媒体。此外，任何连接均适当地称为计算机可读媒体。举例来说，如果软件使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术而从网站、服务器或其它远程源传输，那么同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。本文中使用的磁盘和光盘包含压缩光盘(CD)、激光盘、光盘、数字通用光盘(DVD)、软磁盘和蓝光盘，其中磁盘通常是以磁性方式再现数据，而光盘是用激光以光学方式再现数据。以上的组合也应包含在计算机可读媒体的范围内。

提供对所揭示的实例的前述描述以使得任何所属领域的技术人员能够制作或使用所揭示的方法和设备。所属领域的技术人员将容易明白对这些实例的各种修改，且本文中定义的原理可应用于其它实例且可添加额外元件。

Claims

1.一种装置，其包括：

处理器，其操作以从一个或一个以上网络提取层(NAL)单元产生信道切换帧(CSF)以实现编码位流中的随机接入点。

2.根据权利要求1所述的装置，其中所述处理器操作以产生具有低质量瞬时解码刷新(IDR)NAL单元的所述CSF，所述NAL单元具有非零帧编号和非零图片次序计数(POC)编号。

3.根据权利要求2所述的装置，其中所述处理器操作以产生具有至少两个额外NAL单元的所述CSF，所述至少两个额外NAL单元包括设置参数集(SPS)NAL单元和图片参数集(PPS)NAL单元。

4.根据权利要求1所述的装置，其中所述处理器操作以产生具有一个NAL单元的所述CSF，且所述一个NAL单元包括瞬时解码刷新(IDR)NAL单元。

5.根据权利要求1所述的装置，其中所述CSF包含I帧NAL单元。

6.根据权利要求1所述的装置，其进一步包括发射器，所述发射器用以将所述CSF作为随机接入点(RAP)帧广播。

7.根据权利要求1所述的装置，其中所述CSF操作以致使从一个信道切换到另一信道或促进错误恢复。

8.一种集成电路，其包括：

9.根据权利要求8所述的集成电路，其中所述处理器操作以产生具有低质量瞬时解码刷新(IDR)NAL单元的所述CSF，所述NAL单元具有非零帧编号和非零图片次序计数(POC)编号。

10.根据权利要求9所述的集成电路，其中所述处理器操作以产生具有至少两个额外NAL单元的所述CSF，所述至少两个额外NAL单元包括设置参数集(SPS)NAL单元和图片参数集(PPS)NAL单元。

11.根据权利要求8所述的集成电路，其中所述处理器操作以产生具有一个NAL单元的所述CSF，且所述一个NAL单元包括瞬时解码刷新(IDR)NAL单元。

12.根据权利要求8所述的集成电路，其中所述CSF包含I帧NAL单元。

13.根据权利要求8所述的集成电路，其进一步包括发射器，所述发射器用以将所述CSF作为随机接入点(RAP)帧广播。

14.根据权利要求8所述的集成电路，其中所述CSF操作以致使从一个信道切换到另一信道或促进错误恢复。

15.一种计算机程序产品，其包含计算机可读媒体，所述计算机可读媒体具有用于致使计算机执行以下操作的指令：

从一个或一个以上网络提取层(NAL)单元产生信道切换帧(CSF)以实现编码位流中的随机接入点，以致使从一个信道切换到另一信道或促进错误恢复。

16.根据权利要求15所述的计算机程序产品，其中所述用以产生所述CSF的指令包含用以产生具有低质量瞬时解码刷新(IDR)NAL单元的所述CSF的指令，所述NAL单元具有非零帧编号和非零图片次序计数(POC)编号。

17.根据权利要求16所述的计算机程序产品，其中所述用以产生所述CSF的指令包含用以产生具有至少两个额外NAL单元的所述CSF的指令，所述至少两个额外NAL单元包括设置参数集(SPS)NAL单元和图片参数集(PPS)NAL单元。

18.根据权利要求15所述的计算机程序产品，其中所述用以产生所述CSF的指令包含用以产生具有一个NAL单元的所述CSF的指令，且所述一个NAL单元包括瞬时解码刷新(IDR)NAL单元。

19.根据权利要求15所述的计算机程序产品，其中所述用以产生所述CSF的指令包含用以产生I帧NAL单元的指令。

20.一种装置，其包括：

处理器，其操作以解码背靠背帧中的一者或一者以上，每一所述背靠背帧具有相同的帧ID编号，其中所述背靠背帧中的第一帧是随机接入点(RAP)帧且第二帧是非RAP帧。

21.根据权利要求20所述的装置，其中所述处理器操作以解码所述背靠背帧中的仅一者。

22.根据权利要求20所述的装置，其中所述处理器操作以解码所述RAP帧且舍弃输出次序在所述RAP帧之前的帧。

23.根据权利要求22所述的装置，其中所述处理器操作以通过解码包括一个或一个以上网络提取层(NAL)单元的信道切换帧来解码所述RAP帧。

24.一种计算机程序产品，其包含计算机可读媒体，所述计算机可读媒体具有用于致使计算机执行以下操作的指令：

解码背靠背帧中的一者或一者以上，每一所述背靠背帧具有相同的帧ID编号，其中所述背靠背帧中的第一帧是随机接入点(RAP)帧且第二帧是非RAP帧。

25.根据权利要求24所述的计算机程序产品，其中所述用以解码的指令包含用以解码所述背靠背帧中的仅一者的指令。

26.根据权利要求24所述的计算机程序产品，其中所述用以解码的指令包含用以解码所述RAP帧且舍弃输出次序在所述RAP帧之前的帧的指令。

27.根据权利要求26所述的计算机程序产品，其中所述用以解码所述RAP帧的指令包含用以解码包括一个或一个以上网络提取层(NAL)单元的信道切换帧的指令。

28.一种方法，其包括以下步骤：

29.根据权利要求28所述的方法，其中所述解码步骤包含解码所述背靠背帧中的仅一者。

30.根据权利要求29所述的方法，其进一步包括将所述两个背靠背帧提供到解码器的步骤。

31.根据权利要求28所述的方法，其中所述解码步骤包含解码所述RAP帧；以及舍弃输出次序在所述RAP帧之前的帧。

32.根据权利要求31所述的方法，其中所述解码所述RAP帧包含解码包括一个或一个以上网络提取层(NAL)单元的信道切换帧。

33.一种方法，其包括以下步骤：

编码背靠背帧中的一者或一者以上，每一所述背靠背帧具有相同的帧ID编号，其中所述背靠背帧中的第一帧是随机接入点(RAP)帧且第二帧是非RAP帧。

34.一种系统，其包括：

编码器，其操作以编码背靠背帧中的一者或一者以上，每一所述背靠背帧具有相同的帧ID编号，其中所述背靠背帧中的第一帧是随机接入点(RAP)帧且第二帧是非RAP帧；以及

解码器，其操作以解码背靠背帧中的一者或一者以上以切换信道或促进错误恢复。

35.一种系统，其包括：

编码器，其操作以从一个或一个以上网络提取层(NAL)单元产生且广播信道切换帧(CSF)以实现编码位流中的随机接入点；以及

解码器，其操作以解码所述CSF以致使从一个信道切换到另一信道或促进错误恢复。

36.一种方法，其包括以下步骤：

从一个或一个以上网络提取层(NAL)单元产生信道切换帧(CSF)以实现编码位流中的随机接入点。

37.根据权利要求36所述的方法，其中所述产生步骤包含产生具有低质量瞬时解码刷新(IDR)NAL单元的所述CSF，所述NAL单元具有非零帧编号和非零图片次序计数(POC)编号。

38.根据权利要求37所述的方法，其中所述产生步骤进一步包含产生具有至少两个额外NAL单元的所述CSF，所述至少两个额外NAL单元包括设置参数集(SPS)NAL单元和图片参数集(PPS)NAL单元。

39.根据权利要求36所述的方法，其中所述产生步骤包括产生具有一个NAL单元的所述CSF，且所述一个NAL单元包括瞬时解码刷新(IDR)NAL单元。

40.根据权利要求36所述的方法，其中所述产生步骤包含产生具有I帧NAL单元的所述CSF。

41.根据权利要求36所述的方法，其进一步包括将所述CSF作为随机接入点(RAP)帧广播以实行信道切换的步骤。

42.根据权利要求41所述的方法，其进一步包括接收所述CSF；以及响应于所述接收到的CSF而从一个信道切换到另一信道。

43.根据权利要求41所述的方法，其进一步包括接收所述CSF；以及响应于所述接收到的CSF而从所述编码位流中的错误恢复。