CN104412611A - 告知针对具有相同纵横比不同图像分辨率的连续编码视频序列的信息 - Google Patents

Abstract

在一个实施例中，在视频流接收和处理(VSRP)设备处接收与视频流相对应的辅助信息，该辅助信息与空间跨度相对应；在通过给定的频道进行传输期间，在VSRP设备处接收视频流，该视频流包括压缩图像的具有第一图像分辨率格式的第一部分和具有第二图像分辨率格式的第二部分，其中，压缩图像的第二部分中的第一个压缩图像为视频流中在压缩图像的第一部分中的最后一个压缩图像之后的第一个压缩图像；以及对视频流的第一部分和第二部分进行解码，并根据所接收的辅助信息对来自第二视频流的解码图像数据进行缩放，并且输出视频流的第一解码部分和第二解码部分，以使得来自第二视频流的解码图像数据的空间跨度与第一视频流的解码图像数据的空间跨度相同。

Description

告知针对具有相同纵横比不同图像分辨率的连续编码视频序列的信息

技术领域

本公开总体涉及对视频信号进行处理，更具体地涉及对压缩形式的视频信号进行处理。

背景技术

在提供视频节目(例如，订户电视网络、互联网或数字视频播放器)的系统中，能够提供视频服务或视频回放的设备包括输入并处理数字视频信号以向具有各种等级的可用性和/或功能的终端用户提供数字视频回放所需的硬件和软件。该设备包括以下能力：接收或输入压缩格式的数字视频信号(其中，这样的压缩可以根据视频编码规范来进行)；对所接收或所输入的数字视频信号进行解压缩；以及输出解压缩过的视频信号。压缩形式的数字视频信号在本文中被称为比特流，该比特流包含连续编码视频序列。多个视频应用需要对比特流的支持，在这些比特流中，一个编码视频序列到下一编码视频序列的图像分辨率可能改变，同时连续编码视频序列的输出图像的2D大小保持恒定。

附图说明

可以参照以下附图更好地理解本公开的许多方面。附图中的要素不一定用来度量、强调，而是用来清楚地说明本公开的原理。而且，在附图中，相同的参考标号在全部若干视图中表示相应的部分。

图1是示出示例环境的框图，在该示例环境中可以实现视频处理(VP)系统和方法。

图2A是包括VP系统实施例的视频流接收和处理(VSRP)设备的示例实施例的框图。

图2B是VSRP设备的显示和输出逻辑的示例实施例的框图。

图3是示出基于辅助信息来处理视频的一个示例VP方法实施例的流程图。

具体实施方式

概述

在一个方法实施例中，接收和处理(VSRP)设备可以接收连续编码图像和辅助信息的比特流，这些连续编码图像和辅助信息分别与该比特流的连续编码图像的相应的连续部分相对应。与比特流的第一部分相对应的第一辅助信息与第一部分中连续编码图像的第一隐含空间跨度相对应。与比特流的第二部分相对应的第二辅助信息与第二部分中连续编码图像的第二隐含空间跨度相对应。比特流的连续编码图像的第二部分的第一个编码图像是在比特流的连续编码图像的第一部分的最后一个编码图像之后比特流中的第一个编码图像。VSRP根据与第一辅助信息相对应的第一隐含空间跨度对所接收的第一部分的连续编码图像进行解码，并且输出解码过的图像。VSRP根据与第二辅助信息相对应的第二隐含空间跨度对所接收的第二部分的连续编码图像进行解码，并且输出解码过的图像，以使得第一隐含空间跨度和第二隐含空间跨度相等，并且其中，与比特流的第一部分相对应的解码过的图像的各自的图像分辨率不同于与比特流的第二部分相对应的解码过的图像的各自的图像分辨率，并且其中，与比特流的第一部分相对应的解码过的图像的各自的样本纵横比(sample aspect ratio，SAR)等于与比特流的第二部分相对应的解码过的图像的各自的SAR。

具体实施方式

本文所公开的是视频处理(VP)系统和方法(本文也统称为一个VP系统或多个VP系统)的各种示例实施例，这些VP系统和方法传递和处理比特流中所递送的、与比特流相对应或相关联的辅助信息。在一个实施例中，辅助信息向视频流接收和处理(VSRP)设备告知针对各自相应的编码视频序列(CVS)的图像分辨率、SAR以及样本缩放因子(samplescale factor，SSF)。更具体地，图像分辨率与各自相应的CVS的连续图像中的每个图像中的多个水平亮度样本和多个垂直亮度样本相对应，并且SAR与“样本宽度”和“样本高度”相对应，其中，“样本宽度”和“样本高度”与各自相应的CVS的连续图像中的每个图像中的每个亮度样本或亮度像素的形状相对应。图像分辨率、SAR和SSF在一个CVS的所有连续图像中保持恒定。与图像中诸如色度样本之类的其他要素相对应的可应用的图像分辨率和SAR取决于与相应要素相对应的推导(derivation)。例如，对于4∶2∶0色度采样，CVS的每个图像的两个色度要素中的每个色度要素将具有一半数目的水平样本和一半数目的垂直样本，但是具有与亮度样本相同数目的SAR。

在一个实施例中，辅助信息中单独提供SAR和SSF。在可替代的实施例中，SSF没有被单独提供，而是经由辅助信息中所提供的SAR来隐含提供。与SAR相对应的样本宽度和样本高度均被作乘来向SSF暗示VSRP能够推导。

当辅助信息中单独提供SAF和SSF时，如果SAR与“样本宽度”和“样本高度”相对应，则CVS的图像的隐含空间跨度的宽度与以下内容相对应：水平亮度样本的数目乘以SSF、乘以样本宽度并除以样本高度，并且CVS的图像的隐含空间跨度的高度与SSF乘以垂直亮度样本的数目相对应。

当辅助信息中单独提供SAF和SSF时，如果SSF等于1，并且SAR与“样本宽度”和“样本高度”相对应，则CVS的图像的隐含空间跨度的宽度与以下内容相对应：水平亮度样本的数目乘以样本宽度并除以样本高度，并且CVS的图像的隐含空间跨度的高度与垂直亮度样本的数目相对应。

当辅助信息中单独提供SAF和SSF时，如果SAR与样本宽度相对应，并且样本宽度等于样本高度，则CVS的图像的隐含空间跨度的宽度与以下内容相对应：SSF乘以水平亮度样本的数目，并且CVS的图像的隐含空间跨度的高度与SSF乘以垂直亮度样本的数目相对应。

辅助信息作为VSRP设备根据隐含的空间跨度来缩放CVS的编码图像的解码过的图像版本以进行输出或显示的基础。当具体通过提供与第二CVS相对应的不同的SSR使得从比特流的第一CVS到比特流的后续CVS或第二CVS的图像分辨率改变而SAR不更改时，辅助信息还用来输出或显示与恒定隐含空间跨度相应的图像。

当在两个连续的CVS中的第二个CVS的图像分辨率改变而SAR不更改时，辅助信息用来告知不同的SSF。也就是说，从比特流的第一CVS的最后一个编码图像至紧随第一CVS的第二CVS中的第一个编码图像中，存在图像分辨率更改而不存在SAR更改。

在一些实施例中，辅助信息可以作为标记被提供，该标记指示VSRP设备处接收的两个连续编码视频序列(CVS)的辅助信息中的更改。如一示例，该标记可以基于根据大多数CVS正在使用的主要图像大小或时间跨度(例如，电视服务或视频节目的主要图像分辨率)被包括在比特流中。在一些实施例中，辅助信息包括在视频服务或视频节目的多个预期图像分辨率中的主要图像分辨率。可替代的图像分辨率可以被插入或被提供在电视服务或广播网络馈送的比特流的指定分段或以信号告知的划分分段中。例如，广告分段可以被插入网络设备(例如，用本地广告或区域广告来代替指定分段或划分分段的拼接设备)处。

例如当本地广告被提供在或被拼接进比特流的一个或多个部分中时，比特流中图像分辨率的变更可以在传输的电视服务期间(例如，在单个广播节目的间隔期间)(一次或多次)发生。

多个视频应用需要由比特流中连续CVS的输出图像所隐含的空间跨度的2D大小和纵横比保持恒定。如一示例，当广告被插入进广播应用中时，在图像分辨率更改的情况下，期望从广告中显示的输出图像的空间跨度与来自广播应用的输出图像的空间跨度相同。而且，为避免物理视频输出信号中的失真以及减小空白输出图像的数目，驱动接收器或视频播放器的输出级或者驱动VSRP的物理时钟从一个CVS到下一CVS不能改变。

在一个实施例中，辅助信息可以通过比特流来提供，以使得VSRP设备能够检测到与后续CVS相对应的辅助信息中的更改。如一示例，当比特流中的两个连续CVS中的第二个CVS中的图像分辨率和SAR均更改时，可以以纵横比idc(aspect_ratio_idc)值的形式提供辅助信息，从而告知VSRP设备根据相应CVS的辅助信息来对设备进行缩放。可以选择纵横比idc值，以使得第二CVS的输出图像所隐含的空间跨度的2D大小和纵横比等于与两个连续的CVS中的第一个CVS相对应的隐含空间跨度。所告知的与两个连续CVS相对应的相应纵横比idc值可以是不同的，以指示两个CVS的SAR中的区别。然而，在一些情形中，在两个连续CVS中的第二个CVS中的图像分辨率可能更改，而SAR保持不变。在这样的情形中，输出图像的水平分辨率和垂直分辨率均更改。例如，比特流可以具有连续的CVS，这些连续的CVS的图像分辨率在1280×720和1920×1080之间更改，反之亦然，但SAR保持方形。在这样的情形中，辅助信息可以通过纵横比idc值向一些CVS的输出图像进行告知，该纵横比idc值可以与具有不等于一的样本缩放因子的方形像素相对应。如一示例，对于期望1920×1080图像分辨率为主要(或主导)图像分辨率的比特流，具有1920×1080分辨率的所有CVS可以具有与方形像素相对应的纵横比idc值，从而SAR具有相等的样本宽度和样本高度。也就是说，纵横比idc值可以告知SAR等于1∶1(即为方形像素)。然而，具有1280×720分辨率的CVS可以具有与方形像素相对应的纵横比idc值以及与等于三的样本宽度和等于二的样本高度相对应的样本缩放因子(即，SAR＝3∶2)，以使得输出图像的隐含空间跨度在这些连续的CVS中以1920×1080保持恒定。对于这些CVS，所告知的纵横比idc值隐含“1.5∶1.5”的方形像素，或者SSF等于1.5的方形样本。

对于1280×720图像分辨率为主导图像分辨率或主要图像分辨率的视频节目的比特流，具有1920×1080分辨率的CVS可以利用与方形像素对应的纵横比idc值和与等于二的样本宽度和等于三的样本高度(即，SAR＝2∶3)相对应的样本缩放因子来告知。在该情形中，具有1280×720分辨率的CVS可以具有被告知的与方形像素相对应的纵横比idc值和为1的样本缩放因子。所有CVS的输出图像的隐含空间跨度为1280×720。

在一些实施例中，比特流可以包含具有四分之一大小的图像的CVS，这些四分之一大小的图像具有与其他CVS中完整大小的图像相同的SAR。例如，比特流可以包含1920×1080CVS，该1920×1080CVS之后为960×540CVS，这两个CVS均具有方形样本。在这样的情形中，被告知的第二CVS的纵横比idc值可以与SSF等于2的方形像素(即，2∶2方形样本)相对应，以针对输出图像隐含1920×1080的空间跨度。

在一些实施例中，VSRP设备可以被配置为使用与CVS相对应的辅助信息中接收到的纵横比idc值来确定隐含的SSF。如一示例，VSRP设备可以被预配置为对纵横比idc值进行解释以与SAR和SSF相对应。在另一示例中，VSRP设备可以被配置为在表中执行查找操作来确定从辅助数据中恢复的SSF。在一个示例中，表的部分可以对应于通过比特流来提供的具有隐含SSF的纵横比idc值。在可替代的实施例中，VSRP设备根据提供辅助信息的语法和语义的规范知道先验SSF表。以下给出表中该部分的示例：

表1——样本纵横比指示符的语义

在一个实施例中，可以在如下CVS处进入比特流：该CVS不包含主导图像分辨率(即，主导比特流是比特流中所期望的最常用的图像分辨率)，但具有与包含主导图像分辨率的CVS的SAR相同的SAR。在这样的场景中，不等于一的样本缩放因子被告知，以设置与主导图像分辨率相对应的隐含空间跨度。样本缩放因子可以经由隐含了所需要的样本缩放因子的纵横比idc值被告知或者单独经由本文所描述的替代方法被告知。

在一些实施例中，纵横比idc可以发送任何预定义的纵横比idc值，并且样本缩放因子可以被单独告知。如一示例，等于一的样本缩放因子标记可以指示存在不等于一的样本缩放因子。当样本缩放因子标记等于一时，该样本缩放因子标记可以指示存在样本缩放因子索引。样本缩放因子索引可以(例如，作为2比特、3比特或4比特无符号整数字段)紧随样本缩放因子标记，例如，在相应CVS的序列参数集(SPS)的视频可用性信息(VUI)部分中。样本缩放因子索引可以提供可用作对样本缩放因子表(例如，下面给出的表2)条目的索引的值。样本缩放因子表可以包含被认为与商业广告插入应用有关的预定样本缩放因子(例如，0.6667、1.5、2.0以及0.5)。表的一些条目可以是供未来使用的预留值，以便发送不等于一的附加样本缩放因子。

在可替代的实施例中，比特流中的辅助信息可以经由样本缩放因子标记来提供SSF。比特流中存在样本缩放因子标记可以向VSRP提供推导出比特流的第二CVS的隐含空间跨度并相应地处理其输出图像的指示。如一示例，等于1(一)的样本缩放因子标记可以指示存在样本缩放因子索引，并且等于0(零)的样本缩放因子标记可以指示不存在样本缩放因子索引。在该替代的实施例中，样本缩放因子表的条目可以与等于1.0的样本缩放因子相对应。因此，当样本缩放因子标记等于1时，样本缩放因子标记可以提供或者可以不提供不等于一的样本缩放因子。

表2——样本缩放因子表

样本缩放因子索引	样本缩放因子
		0	1.5(3/2)
1	0.667(2/3)
		2	2.0
3	0.5
		4-7	预留

表3——相关VUI参数语法

VUI参数(){	描述符
		纵横比信息存在标记	u(1)
如果(纵横比信息存在标记){

则纵横比idc	u(8)
		如果(纵横比idc＝＝扩展SAR){
则样本宽度	u(16)
		样本高度	u(16)
}
		样本缩放因子标记	u(1)
如果(样本缩放因子标记)
		则样本缩放因子索引	u(3)
}
		}
…

在可替代的实施例中，VUI参数中的样本缩放因子标记告知存在不等于一的样本缩放因子的信号，并且VSRP设备可以推导出SSF。

在一个实施例中，为使得比特流中两个连续的CVS(CVSa和CVSb，它们具有方形SAR但具有与(sar_x_a：sar_y_a)和(sar_x_b：sar_y_b)相对应的不同的SSF，并且它们各自的图像分辨率为：(width_x_a：height_y_a)和(width_x_b：height_y_b))的输出图像所隐含的空间跨度的2D大小和纵横比维持恒定，针对隐含空间跨度在全部连续的CVS中均保持以下方程式：

(sar_x_a)*(width_x_a)＝(sar_x_b)*(width_x_b)…(1)

(sar_y_a)*(height_y_a)＝(sar_y_b)*(height_y_b)…(2)

方程式(1)和方程式(2)可以满足维护恒定的隐含空间跨度的要求。方程式(1)和方程式(2)还在如下情况发生时满足该要求：与两个连续CVS相对应的两个相应的辅助信息中的SAR具有两个相应的纵横比idc，并且这两个相应纵横比idc中的至少一个纵横比idc与隐含了不等于一的SSF的SAR相对应，例如，当：

sar_x_a不等于sar_x_b，并且sar_y_a不等于sar_y_b，但：(sar_x_a/sar_y_a)＝(sar_x_b/sar_y_b)…(3)时。

在一些实施例中，样本缩放因子的存在(例如，缩放因子b)通过与CVS(例如，CVSb)相对应的SPS的VUI中的标记被告知，并且样本缩放因子还在与该CVS相对应的SPS的VUI中被提供。可替代地，样本缩放因子可以通过与该CVS相对应的SEI(补充增强信息)消息来提供。在一个实施例中，可以经由表示对样本缩放因子表的索引的值来提供样本缩放因子。

在另一实施例中，(在与CVS相对应的SPS中的)VUI参数中的样本缩放因子标记可以告知存在不等于一的样本缩放因子，并且sar_x和sar_y通过纵横比idc值被显式提供，该纵横比idc值告知存在要被读取的两个显式值，其中，所读取的值分别与sar_x和sar_y相对应。sar_x和sar_y这两个值均被同样地缩放以隐含不等于一的样本缩放因子。

在又一实施例中，可以通过提供纵横比idc值来在与CVS相对应的SPS的VUI中提供样本缩放因子，其中，纵横比idc值告知存在要被读取的两个显式值，所读取的值分别与sar_x和sar_y相对应。sar_x和sar_y这两个值均被同样地缩放以隐含不等于一的样本缩放因子。

在一个实施例中，对于图像分辨率转换之间不频发的时间或长的时间，辅助信息的周期性可以不同(例如，更长)。例如，对于视频服务中每天单次调度或双次调度的图像格式转换，在比特流中相应的图像格式转换发生之前，可以在视频服务中复制并提供或发送辅助信息。例如，可以在传输层或者比编码视频层更高的层处周期性地提供辅助信息。

这些特征和实施例和/或其他特征和实施例在下文示例订户电视系统环境的上下文中进行描述，应当理解，其他多媒体(例如，视频、图形、音频和/或数据)环境(包括互联网电视(IPTV)网络环境、蜂窝电话环境和/或这些网络和/或其他网络的混合)也可以从VP系统和方法的某些实施例中获益，因而被考虑为处于本公开的范围之内。本领域技术人员应当理解，尽管本文公开了一个或多个实施例的细节，但是所描述的这些细节不一定是每个实施例的一部分。

图1是描绘示例环境的高等级框图，在该示例环境中实现VP系统的一个或多个实施例。具体地，图1是描绘示例订户电视系统(STS)100的框图。在该示例中，STS 100包括头端110和一个或多个视频流接收和处理(VSRP)设备200。在一些实施例中，VSRP设备200之一可以不被装备有处理传递图像分辨率信息、SAR以及SSF的辅助信息(例如，与主要图像分辨率的隐含空间跨度或多个参与图像格式之一和/或想要的输出图像分辨率相对应的辅助信息)的功能。VSRP设备200和头端110经由网络130进行耦合。头端110和VSRP设备200进行协作以将电视服务(例如包括，广播电视节目节目、互动节目指南(IPG)服务、视频点播(VOD)以及按次付费，还有诸如音乐、互联网访问、商业(例如，家庭购物)、IP语音(VOIP)和/或其他电话服务或数据服务之类的其他数字服务)提供给用户。

VSRP设备200通常处于用户住所或营业场所，并且可以是独立单元或者可以被集成到另一设备(例如，显示设备140、个人计算机、个人数字助理(PDA)、移动电话以及其他设备)中。换言之，VSRP设备200(本文也被称为数字接收器或处理设备或数字家庭通信终端(DHCT))可以包括许多设备之一或设备的组合(例如，机顶盒、具有通信能力的电视、蜂窝电话、个人数字助理(PDA)或其他计算机或基于计算机的设备或系统(例如，膝上计算机、个人计算机、DVD/CD记录器等))。如上所述，VSRP设备200可以被耦合至显示设备140(例如，计算机监控器、电视机等)，或者在一些实施例中，VSRP设备200可以包括(具有或不具有集成音频部件的)集成显示器。

VSRP设备200通过网络130从头端110接收信号(视频、音频和/或其他数据)(例如包括，(例如，对载波信号进行CVS调制和/或对载波信号进行模拟信息调制等的)数字化视频信号的压缩表示的数字视频信号)，并且通过网络130向头端110提供逆向信息。按照下面进一步地解释，VSRP设备200包括(除了其他部件)视频解码器以及水平缩放器和垂直缩放器，在一个实施例中，在获取或启动视频源(例如，分别当更改频道或启动VOD会话时)时，水平缩放器和垂直缩放器被重新配置，并且这样的重新配置是根据与输出图像的隐含空间跨度相对应的视频流中的辅助信息进行的。当在比特流中接收到图像分辨率方面的更改时，VSRP设备200根据接收到的与比特流的两个连续CVS中的第二CVS相对应的辅助信息进一步重新配置图像大小，其中，图像分辨率方面的更改由与第二CVS相对应的辅助信息被告知。

电视服务经由相应的显示设备140来呈现，每个显示设备通常包括电视机。然而，显示设备140还可以是能够显示视频信号的图像序列的任意其他设备(例如包括，计算机监控器、移动电话、游戏设备等)。在一种实现方式中，显示设备140被配置有音频部件(例如，扬声器)，而在一些实现方式中，音频功能可以由与显示设备140和/或VSRP设备200分离但在通信上耦合于显示设备140和/或VSRP设备200的设备来提供。尽管示出了VSRP设备200与显示设备140进行通信，但是VSRP设备200可以与具有以下能力的其他设备进行通信：接收、存储和/处理来自VSRP设备200的比特流，或者向VSRP设备200提供或发送比特流或未压缩的视频信号。

网络130可以包括单个网络或者网络(例如，局域网和/或广域网)的组合。而且，网络130的通信介质可以包括有线连接或无线连接(例如，卫星网络、地面网络、无线LAN等)，或者两者的组合。在有线实现方式的情形中，网络130可以包括混合式光纤同轴(HFC)介质、同轴介质、光学介质、双绞线等。可以将其他网络考虑在本发明的范围内，包括使用通过MPEG-2传输或其他传输层或传输协议进行合并的分组的网络和/或与MPEG-2传输或其他传输层或传输协议兼容的网络。

头端110可以包括一个或多个服务设备(未示出)，用于向客户端设备(例如，VSRP设备200)提供视频、音频和其他类型的媒体或数据。头端110可以经由有线连接和/或无线连接(例如，卫星网络或地面网络)从头端110或STS 100的外部的源(例如，从内容提供商)接收内容，并且在一些实施例中，头端110可以利用本地节目(例如，包括本地广告)来接收封装选择的国家内容或区域内容以递送至订户。头端110还包括一个或多个编码器(编码设备或压缩引擎)111(示出一个)和被具体化为一个或多个拼接器112(示出一个)的一个或多个视频处理设备，其中，一个或多个拼接器112被耦合于编码器111。在一些实施例中，编码器111和拼接器112可以共同位于相同的设备和/或相同的场所(例如，均在头端110中或其他地方)中，而在一些实施例中，编码器111和拼接器112可以被分布于STS 100内的不同位置之间。例如，尽管编码器111和拼接器112被示出为驻留在头端110处，但在一些实施例中编码器111和/或拼接器112可以驻留在诸如集线器或节点之类的其他位置处。编码器111和拼接器112通过适当的信令进行耦合或被配设以响应视频服务中要插入商业广告的部分的信令。

尽管编码器111和拼接器112二者均接收涉及拼接或数字节目插入的信号或提示(cue)，但编码器111(例如，在传输流中)向拼接器112提供压缩比特流。在一些实施例中，编码器111不接收这些信号或提示。在一个实施例中，编码器111和/或拼接器112还被配置为提供与比特流中的相应CVS相对应的辅助信息，这些辅助信息向VSRP设备200传递与先前所描述的输出图像的隐含空间跨度相对应的指令。

拼接器112根据一个或多个适当的拼接点将一个或多个CVS拼接进由编码器111提供的比特流的指定部分中，和/或在一些实施例中，利用其它CVS来代替编码器111所提供的CVS中的一个或多个CVS。而且，拼接器112可以将编码器111所提供的辅助信息经修改或不经修改地传递至VSRP设备200，或者编码器111可以(绕开拼接器112)直接向VSRP设备200提供辅助信息。拼接器112的比特流输出包括第一CVS，其后为第二CVS，其中，第一CVS具有由编码器111提供的第一图像分辨率，第二CVS具有由拼接器112提供的第二图像分辨率。在一个实施例中，由拼接器112提供的针对第一拼接操作的第二图像分辨率等于第一图像分辨率并且用于第二拼接操作，拼接器112提供用于比特流中的第三CVS的第三图像分辨率，第三图像分辨率不同于编码器111在与网络馈送相对应的比特流的指定拼接部分中所提供的第一图像分辨率。

上面所描述的各个实施例中的辅助信息可以被复制或者被具体化为表(例如，节目映射表(PMT))中的描述符，或者被复制或具体化到传输层中。该特征使得VSRP设备200无需询问视频编码层(VCL)便能够建立解码逻辑和显示管线以获取所需信息，从而缩短频道更改时间。

STS 100可以包括IPTV网络、有线电视网络、卫星电视网络或这些网络或者其他网络中的两个或多个网络的组合。而且，网络PVR和交换数字视频也被考虑到本公开的范围之内。尽管在视频处理的上下文中进行描述，但是应当理解，本文所描述的VP系统的某些实施例还包括用于处理诸如压缩音频流之类的其他媒体内容的功能。

本领域技术人员应当理解，STS 100包括未示出的附加部件和/或设施。例如，STS 100可以包括处理并向订户递送和/或转发(例如，路由)各种数字服务的一个或多个附加服务器(互联网服务提供商(ISP)设施服务器、专用服务器、按需服务器、频道更改服务器、多媒体消息发送服务器、节目指南服务器)、调制器(例如，QAM、QPSK等)、路由器、网桥、网关、复用器、发送器和/或交换机(例如，位于网络边缘等位置)。

在一个实施例中，VP系统包括头端110和VSRP设备200中的一个或多个VSRP设备200。在一些实施例中，VP系统包括这些部件中每个部件的多个部分，或者在一些实施例中，VP系统包括这些部件之一或者其子集。在一些实施例中，上面所描述的未在图1中示出的一个或多个附加部件可以被合并在VP系统中，这应当被本领域技术人员在本公开的上下文中所理解。

图2A是VSRP设备200的选择部件的示例实施例。本领域技术人员应当理解图2A中示出的VSRP设备200只是说明性的，并且不应当被解释为隐含对本公开的范围的任何限制。在一个实施例中，VP系统可以包括图2A的VSRP设备200中示出的或与其关联描述的所有部件。在一些实施例中，VP系统可以包括较少部件(例如，被限于促进并实现对与比特流中的编码图像的解码版本相对应的压缩比特流和/或输出图像进行解码的那些部件)。在一些实施例中，VP系统的功能可以被分布于VSRP设备200和上面提到的一个或多个附加设备之间。

VSRP设备200包括通信接口202(例如，根据实现方式，适于耦合至互联网、同轴电缆网络、HFC网络、卫星网络、地面网络、蜂窝网络等)，在一个实施例中，通信接口202被耦合于调谐器系统203。调谐器系统203包括一个或多个调谐器，该一个或多个调谐器用于接收所下载的(或所发送的)媒体内容。调谐器系统203能够从由STS 100(图1)提供的多个传输信号中进行选择。调谐器系统203使得VSRP设备200能够调谐下行媒体和数据传输，从而允许用户经由STS 100接收数字媒体内容。在一种实现方式中，调谐器系统203包括用于双向数据通信的带外调谐器和用于接收电视信号的一个或多个(带内)调谐器。在一些实施例(例如，经IPTV配置的VSRP设备)中，可以省略调谐器系统。

调谐器系统203被耦合于解复用/解调系统204(此处，为了简洁仅有解复用器204)。解复用器204可以包括MPEG-2传输解复用能力。当解谐承载数字传输信号的载波频率时，解复用器204使得与所需CVS相对应的数据分组被分离以供进一步处理。同时，解复用器204阻止对无关的或不需要的复用传输流中的分组(例如，与其他比特流相对应的数据分组)进行进一步处理。解复用器204的解析能力允许VSRP设备200吸取比特流中所承载的节目相关联信息。解复用器204被配置为识别并提取比特流中促进对编码图像进行识别、提取和处理的信息。这样的信息包括节目专用信息(PSI)(例如，PMT、节目关联表(PAT)等)以及传输流(包括打包基本流(packetized elementary stream，PES)分组信息)的参数或语法要素(例如，节目时钟参考(PCR)、时间戳信息、负载单元起点指示符等)。

在一个实施例中，由解复用器204提取的附加信息包括前面提及的涉及比特流的CVS的辅助信息，该辅助信息帮助解码逻辑(与处理器216进行合作，其中，处理器216运行VP逻辑228的代码以解释所提取的辅助信息)推导出与要输出的图像相对应的隐含空间跨度，并且在一些实施例中，该辅助信息还在处理用于显示和/输出的重新构建的图像方面帮助显示和输出逻辑230(与处理器216进行合作，其中，处理器216运行VP逻辑228的代码)。

解复用器204被耦合于总线205和媒体引擎206。在一个实施例中，媒体引擎206包括解码逻辑，该解码逻辑包括相应的音频解码器208和视频解码器210中的一个或多个。媒体引擎206还被耦合于总线205和媒体存储器212，在一个实施例中，媒体存储器212包括一个或多个相应的缓冲器，这些缓冲器用于临时存储压缩图像(压缩图像缓冲器或比特缓冲器，未示出)和/或重新构建的图像(解码图像缓冲器或DPB 213)。在一些实施例中，媒体存储器212的缓冲器中的一个或多个缓冲器可以驻留在其他存储器(例如，下面进行解释的存储器222)或部件中。

VSRP设备200还包括被耦合于总线205(尽管作为单个总线被示出，但一个或多个总线被考虑到实施例的范围内)的附加部件。例如，VSRP设备200还包括接收器214(例如，红外(IR)、射频(RF)等)、一个或多个处理器(示出一个)216以及时钟电路218。接收器214被配置为(例如，通过直接物理连接或经由键盘、远程控制、语音激活等的无线连接)接收传递用户的请求或命令(例如，用于节目选择、诸如快进、倒回、暂停、频道更改之类的流操作)的用户输入；一个或多个处理器216用于控制VSRP设备200的操作；时钟电路218包括用来从比特流中接收到的节目时钟参考或PCR锁入系统时间时钟(STC)的锁相环/锁频环电路，其中，节目时钟参考或PCR用来促进解码或输出操作。尽管在硬件电路的上下文中进行描述，但是时钟电路218的一些实施例可以被配置为软件(例如，虚拟时钟)或硬件和软件的组合。而且，在一些实施例中，时钟电路218是可编程的。

VSRP设备200还可以包括存储设备220(和相关联的控制电路，以及存储器222中的一个或多个驱动器)，存储设备220用来临时存储所缓冲的媒体内容和/或较永久地存储所记录的媒体内容。存储设备220可以经由合适的接口(未示出)被耦合于总线205，这应当被本领域技术人员所理解。

VSRP设备200中的存储器222包括易失性存储器和/或非易失性存储器，并且存储器222被配置为存储与操作系统(O/S)224和其他应用相关联的可执行指令或代码以及一个或多个应用226(例如，互动节目指南(IPG)、视频点播(VOD)、个人视频记录(PVR)、观看电视(与广播网络电视相关联)以及未示出的其他应用(例如，按次付费、音乐、驱动软件等))。

在一个实施例中，存储器222中还包括视频处理(VP)逻辑228，在一个实施例中，VP逻辑228被配置于软件中。在一些实施例中，VP逻辑228可以被配置在硬件或者硬件和软件的组合中。VP逻辑228(与处理器216进行合作)负责解释辅助信息，并且为VSRP设备200的显示和输出系统230提供合适的设置。在一些实施例中，VP逻辑228的功能可以驻留在存储器222内部或外部的另一部件中，或者在一些实施例中VP逻辑228的功能可以被分布在VSRP设备200的多个部件之间。

如上所述，VSRP设备200还被配置有显示和输出逻辑230，显示和输出逻辑230包括水平和垂直缩放器232、线缓冲器231以及一个或多个输出系统(例如，被配置为HDMI、DENC或本领域技术人员所熟知的其他系统)233，输出系统233用来处理解码图像并提供在显示设备140上进行呈现(例如，显示)。图2B示出显示和输出逻辑230的一个实施例的框图。本领域技术人员应当理解，图2B中所示的显示和输出逻辑230只是说明性的，并且不应当被解释为隐含对本发明的范围的任何限制。例如，在一些实施例中，显示和输出逻辑230可以包括对所示的部件和/或未示出的附加部件(包括附加存储器、处理器、交换机、时钟电路、过滤器和/或采样器、图形管线以及本领域技术人员在本公开的上下文中应当理解的其他部件)进行的不同安排。进一步，尽管在图2A中显示和输出逻辑230作为与媒体引擎206分开的实体被概念性地示出，但显示和输出逻辑230的功能中的一个或多个功能可以被合并到媒体引擎206中(例如，在单个芯片上)或者在一些实施例中被合并到其他部件中。如上面所解释的，在一个实施例中，显示和输出逻辑230包括缩放器232和一个或多个输出系统233，其中，一个或多个输出系统233耦合于缩放器232和显示设备140。缩放器232包括显示管线，该显示管线包括水平图像缩放电路(HPSC)240和垂直图像缩放电路(VPSC)242，其中，HPSC 240被配置为执行水平缩放，VPSC 242被配置为执行垂直缩放。在一个实施例中，VPSC 242的输出被耦合至与一个或多个线缓冲器231相对应的内部存储器，其中，一个或多个线缓冲器231被连接至HPSC 240的输出。线缓冲器231作为临时仓库存储器来作用于缩放操作。

在一个实施例中，在同步视频时序和使用内部FIFO(未示出)的情况下，重新构建的图像可以从DPB进行读取，并且可以以光栅扫描的顺序被提供、通过缩放器232被馈送来实现一个实施例中的辅助信息所命令的水平和/或垂直缩放，并且所缩放的图像根据驱动输出系统233的(例如，时钟电路218中或其他的)物理时钟的时序(例如，在一些实施例中，通过诸如位于媒体存储器212中的显示缓冲器之类的中介)被提供至输出端口233。在一些实施例中，垂直缩小可以通过忽略读取和显示所选择的视频图像线来代替VPSC 242进行处理来实现。在一些实施例中，当图像格式的垂直分辨率更改时，通过处理每个图像相应的多个线的集合并且将其转换为输出图像的相对应的输出线，可以对例如使用整数抽样因子(例如，2∶1)的所有情形实现垂直缩小。在一些实施例中，针对二次采样，可以(例如，在一个实施例中，使用采样率转换器，该采样率转换器需要使用与驱动输出系统233来产生一个或多个输出线的物理输出时钟进行合作的多个线缓冲器)使用非整数抽样因子。应当注意，经由输出系统233的图像分辨率输出可能与(编码之前的)原始图像分辨率或隐含空间跨度(即，在相对应的辅助信息中发送的想要的CVS的输出图像分辨率)不同。

再次参照图2A，通信端口234(或者多个端口)也被包括在VSRP设备200中，这些端口用于从其他设备接收信息并且将信息发送至其他设备。例如，通信端口234可以起到USB(通用串行总线)、以太网、IEEE-1394、串行端口和/或并行端口等的作用。VSRP设备200还可以包括用于接收和/或发送模拟视频信号的一个或多个模拟视频输入端口。

本领域技术人员应当理解，VSRP设备200可以包括其他未示出的部件(包括解密器、采样器、数字转换器(例如，模拟至数字转换器)、复用器、条件访问处理器和/或应用软件、驱动软件、互联网浏览器等)。而且，尽管VP逻辑228被示出为驻留在存储器222中，但应当理解，这样的逻辑228的所有部分或一部分可以被合并或被分布在媒体引擎206、显示和输出系统230或其他部件中。类似地，在一些实施例中，可以将图2A中示出的或图2A相关描述的部件中的一个或多个部件的功能与另一部件组合到单个集成部件或设备中。

如上所述，VSRP设备200包括通信接口202和调谐器系统203，通信接口202和调谐器系统203被配置为接收作为比特流的连续CVS进行递送的A/V节目(例如，点播节目或广播节目)，其中，每个CVS包括连续编码图像，并且每个CVS分别具有与CVS中图像的隐含空间跨度相对应的相应辅助信息。对下面流程图的讨论进行如下假设：(例如，在用户或系统促使的频道更改事件之后，)从比特流中的第一CVS至第二CVS的过渡与使得从头端110发送比特流和涉及图像分辨率、SAR和SSF的辅助信息并且由VSRP设备200进行接收相对应，这样的辅助信息分别与比特流的每个连续CVS相对应。VSRP设备200在随机访问点(RAP)处开始解码比特流。比特流中的每个CVS的第一图像与RAP图像相对应。

在提供CVS的第一图像之前提供与相应的CVS相对应的辅助信息。当与CVS相对应的辅助信息引入针对先前CVS在图像分辨率、SAR或SSF方面的更改时，VSRP设备200能够在对该CVS的第一图像进行解码之前确定该更改。

此外，辅助信息还可以存在于传输流中。在一些实施例中，辅助信息可以驻留在分组头部中，对于该分组头部，VSRP设备200中的IPTV应用软件被配置以进行接收和处理。

VP系统(例如，编码器111、拼接器112、解码逻辑(例如，媒体引擎206)和/或显示和输出逻辑230)可以被实现在硬件、软件、固件或其组合中。对于被实现在软件或固件(例如，包括VP逻辑228)中的VP系统的扩展的某些实施例或其一部分，用于执行VP系统的一个或多个任务的可执行指令被存储在存储器或任意其他适当的计算机可读介质中，并且由适当的指令运行系统来运行。在本文件的上下文中，计算机可读介质是电介质、磁介质、光介质或者能够包含或存储由计算机相关的系统或方法使用或结合计算机相关的系统或方法进行使用的计算机程序的其他物理设备或方式。

对于被实现在硬件中的VP系统的扩展的某些实施例或其一部分，可以利用本领域所熟知的以下技术中的任意技术或组合来实现VP系统：具有用于在数据信号上实现逻辑功能的逻辑门的(一个或多个)分立逻辑电路；具有合适的组合逻辑门的专用集成电路(ASIC)；可编程硬件(例如，(一个或多个)可编程门阵列(PGA)、现场可编程门阵列(FPGA)等)。

重述上面的描述，一般地，辅助信息被周期性地传递。而且，一些实施例在每个频道中提供辅助信息。在一些实施例中，辅助信息只在可用频道的子集中进行传输，或者针对给定频道或时间帧进行的辅助信息的配设是可选的。

已经解决了对比特流的编码图像进行解码的VP系统的某些实施例，注意力针对使用辅助信息(或者在一些实施例中，为分离的且不同的辅助信息)来帮助处理重新构建的图像。驻留在VSRP设备200中的输出时钟(例如，驻留在时钟电路218或其他部件中的时钟)(例如，利用被配置为HDMI或DENC或其他已知的输出系统的输出系统233)驱动重新构建的图像的输出。显示和输出逻辑230可以以多种模式之一进行操作。在一种模式(通常被称为通过模式)中，VSRP设备200智能地做出行动，从而提供与在获取或启动视频服务时(例如，在频道更改时)联合显示设备140和用户偏好的格式能力所确定的图像格式相对应的输出图像格式。在固定模式(或者本文中也被称为非通过模式)中，输出图像格式由用户输入固定或自动基于显示设备140所支持(例如，基于机顶盒对显示设备图像格式能力的解调)的格式来固定。缺少辅助信息可能产生一个问题：图像格式的更改(例如，在1280×720和1920×1088之间)通常涉及物理输出时钟的消除(例如，重新配置)，从而引发将视频方面的失真呈现给观看者。此外，如果插入的广告具有与电视服务的隐含空间跨度(即，想要的图像格式)不同的图像格式，则输出级可能交换若干次，产生电视观看方面的失真，并且可能扰乱订户的观看体验。

在一个实施例中，拼接器112和/或编码器111递送由显示和输出逻辑230接收并处理的辅助信息，该辅助信息根据隐含空间跨度向显示和输出逻辑230传递想要的输出图像的图像分辨率，并且该辅助信息与进一步向显示和输出逻辑230传递保持恒定的隐含空间跨度的每个连续CVS相对应。辅助信息向VSRP设备200传递隐含空间跨度，以使得输出图像相应地被实现，放大或缩小由显示和输出逻辑230来实现以获得恒定的输出图像分辨率。换言之，基于该辅助信息，显示和输出逻辑230被配置为对解码图像的输出进行合适的缩放。

在一些实施例中，可以根据不同的机制或者经由不同的频道或介质来提供辅助信息的一部分。例如，可以经由与图像分辨率和SAR不同的机制或者经由不同的频道或介质来提供SSF。

如使用辅助信息来传递与隐含空间跨度相对应的输出图像的实现方式中的一个示例，将1920×1080的图像分辨率作为视频节目的主要图像分辨率，并且替代图像分辨率与1280×720相对应。辅助信息可以命令解码逻辑针对两个解码图像分辨率当其各自被接收时输出相同的隐含空间跨度(例如，将解码的替代图像分辨率放大至1920×1080，并且解码的1920×1080图像与主要图像分辨率相对应)。在一个实施例中，1280×720编码图像被解码，并且被放大为以1920×1080进行显示。也就是说，在一个实施例中，当接收到包含连续1280×720编码图像的CVS时，解码逻辑根据辅助信息并基于1280×720图像分辨率(例如，1280×720图像分辨率是在SPS中进行发送的辅助信息的一部分)来处理这些编码图像以产生它们各自的解码图像版本，显示和输出逻辑230从媒体存储器212中访问解码图像，并且基于来自辅助信息的指令(通过显示管线的缩放器232)在无需消除时钟(例如，像素输出时钟)的情况下将这些解码图像放大至1920×1080。

当在VSRP设备200处接收到1920×1080压缩图像时，同样对这些1920×1080压缩图像(例如，SPS中所提供的信息)进行解码，并且基于辅助信息由显示和输出逻辑230对这些1920×1080压缩图像进行处理以供也以1920×1080进行呈现。换言之，对于给定视频节目，不管对比特流如何进行解码，根据辅助信息所提供的图像分辨率、SAR和SSF对缩放器232和输出系统233进行配置，从而为相应的输出图像提供恒定的隐含空间跨度。

应当注意，本文所公开的VP系统的某些实施例的优点不限于订户电视系统100的客户端侧。例如，考虑头端110处的商业广告和广告插入技术。在有线网络中，提供诸如FOX新闻、ESPN等国内馈送。本地商人可以购买这些馈送中的时间来使得能够插入本地广告。如果FOX新闻频道以1280×720被发送，并且ESPN以1920×1080被发送，则在传统系统中需要考虑的一个决定是：以两种格式提供该商业广告，还是在折中一种格式的呈现质量的同时选择另一种格式来提供该商业广告。对于将与相关联的比特流相对应的图像格式或主要图像格式作为想要的图像输出格式进行传递的辅助信息而言，一个优点在于可以以一种图像格式而不是两种图像格式来维持(例如，与上行拼接器112相关联)商业广告。

已经对VP系统的各个实施例进行了描述，应当理解，在VSRP设备200处实现的并且在图3中示出的一种VP方法实施例300能够被宽泛地描述为：由视频流接收和处理(VSRP)设备接收第一CVS，第一CVS与第一图像分辨率相对应(402)；由VSRP设备对第一CVS进行解码以产生具有第一空间跨度的第一图像数据(404)；由VSRP设备接收第二CVS，第二CVS与第二图像分辨率相对应(406)；由VSRP设备对第二CVS进行解码以产生具有第二空间跨度的第二图像数据(408)；由VSRP设备确定从第二CVS解码得到的第二图像数据的缩放因子(410)；以及由VSRP处理第二图像数据，其中，处理包括由确定的SSF来对第二图像数据进行缩放以产生具有第三空间跨度的第三图像数据，其中，第三空间跨度与第一空间跨度相同(412)。

在另一实施例中，当视频节目(例如，与电视商业广告相对应的视频节目)具有与网络馈送的样本纵横比相同的样本纵横比而不管网络馈送的图像分辨率(网络馈送的图像分辨率可能与商业广告的图像分辨率相等或者可能与其不相等)时，无需更改其图像分辨率便插入该视频节目。如果该图像分辨率与网络馈送不同，而样本纵横比相等，则在与商业广告相对应的比特流中对该样本纵横比的信令进行修改以隐含不同的样本缩放因子。在要插入的商业广告或视频节目的比特流(即，视频流)中的每个SPS(序列参数集)实例中执行该修改。如果图像分辨率和样本纵横比均相同，则不需要修改。

执行数字节目插入(DPI)的拼接器或商业广告插入设备(例如，作为有线电视网络或其他订户电视网络中的商业广告插入设备或DPI设备进行操作的视频处理设备)维护和/或访问与要插入的商业广告相对应的单副本比特流，并且替换与电视服务或广播服务(例如，ESPN)相对应的视频节目的一部分。视频节目包括至少一个相应的视频流和音频流。在本文中我们将服务的视频节目称为网络馈送。

网络馈送的视频流中要被替换的部分通常由先验的并且指示相应“出点”和“入点”的相应信号进行划分。出点发送视频节目的视频流(和相应的音频流)中的位置以开始插入另一视频节目(例如，电视商业广告)。入点发送视频流(和相应的音频流)中的位置以返回至网络馈送的视频节目。所插入的视频节目将在入点之前终止，之后继续网络馈送的视频节目。

分别与两个视频节目相对应的从一个视频流至另一视频流的所有过渡在CVS的起点处发生。CVS的起点是RAP图像(例如，IDR图像或其他内编码图像)。CVS的起点具有不同于先前CVS的相应序列参数集(SPS)。每个SPS包含相对应的CVS的样本纵横比信息。在可替代的实施例中，每个SPS还包含相对应的CVS的相对应的样本缩放因子。

包含与商业广告相对应的视频节目的服务器被耦合至DPI设备。DPI设备访问与商业广告相对应的视频节目并将其插入在网络馈送的视频节目的一部分(该部分由相应的出点信号和入点信号来指定)。

当分别与要插入的第一商业广告的视频节目相对应的CVS以及第一网络馈送的视频节目具有不同的图像分辨率但具有相同的样本纵横比时(例如，当两个CVS各自的样本纵横比与方形样本相对应时)，与第一商业广告的视频节目相对应的CVS中的SPS(或SPS的VUI)被更改为：隐含不同的样本缩放因子，并且使得与连续CVS的输出图像相对应的隐含空间跨度的2D大小和纵横比维持恒定。假设第一网络馈送具有主导图像分辨率或者主要图像分辨率。与第一商业广告相对应的每个SPS实例被修改为隐含相同的纵横比，但隐含服从输出图像中相同的两个空间跨度的不同的样本缩放因子。

第一商业广告还在不同时间被插入到第二网络馈送中，第二网络馈送具有与第一商业广告相同的纵横比和相同的图像分辨率。第一商业广告的隐含的样本缩放因子不被修改。因此，与第一商业广告相对应的一个或多个SPS不被修改。

在可替代的实施例中，第一商业广告同时被插入到第一网络馈送和第二网络馈送中。与第一商业广告相对应的视频节目的隐含样本缩放因子不被修改以插入到第二网络馈送中，但与第一商业广告相对应的视频节目的每个SPS中的隐含样本缩放因子被修改以插入到第一网络馈送中。

在一个实施例中，隐含的样本缩放因子通过不同的纵横比idc值来被告知，其中，该不同的纵横比idc值对应于与上面VUI语法和表1所描述的相同的样本纵横比但不同的样本缩放因子。

在另一实施例中，样本缩放因子通过等于扩展的SAR的纵横比idc值来被告知，以在SPS中提供与样本宽度(sar_width)和样本高度(sar_height)相对应的两个显式值，这两个值提供与第一网络馈送中相同的样本纵横比，但与第一网络馈送中的样本缩放因子不同的样本缩放因子。例如，第一网络馈送的样本纵横比可以利用样本缩放因子1(即，纵横比idc＝1并且隐含的样本纵横比为1∶1)成为方形的，而这两个值将相等但不等于1(例如，当sar_width＝sar_height＝2时)。

在可替代的实施例中，样本缩放因子通过在SPS中的VUI参数中存在样本缩放因子标记以及相对应的样本缩放因子索引来被告知，该样本缩放因子索引传递表中不同的样本缩放因子，如下面VUI语法和样本缩放因子表所示。

VUI参数中的样本缩放因子标记发送存在样本缩放因子的信号。如下所示，当纵横比信息存在标记等于1时，样本缩放因子标记存在。

鉴于上面的描述，应当理解，对其他VP方法和/或系统实施例进行考虑。例如，一个VP方法实施例可以在VSRP设备的上游(例如，在头端110处)被实现。在这样的实施例中，编码器111或拼接器112可以实现以下步骤：提供包括比特流的传输流；以及将用于处理第一图像序列和第二图像序列的辅助信息包括在传输流中。其中，比特流包括用于第一CVS的第一图像格式和用于第二CVS的第二图像格式，第一图像格式不同于第二图像格式，并且其中，辅助信息向下游设备传递由解码图像缓存器分配的定量的图像。其他实施例也被考虑。

流程图或流程示意图中的任何处理描述应该被理解为表示代码的模块、分段或部分，该代码包括用于实现处理中的特定逻辑功能或步骤的一个或多个可执行指令，并且可替代的实现方式可以被包括在本公开的范围之内，在这些可替代的实现方式中，可以按照本领域技术人员将理解的根据所涉及的功能以与所示的或所讨论的顺序不同的顺序(包括实质上并发的顺序或相反的顺序)来执行功能。在一些实施例中，可以将图3中所标识的使用分隔框的处理步骤进行组合。而且，结合本公开所示出的流程图中的各个步骤不限于与上面(在特定模块或逻辑中现实或者由特定模块或逻辑来实现的)流程图的描述相关联的上述架构，也不限于说明书中所描述的和与本公开的附图相关联的示例实施例的步骤。在一些实施例中，可以将一个或多个步骤添加至图3中所描述的方法中(在开始步骤处、结束步骤处和/或中间步骤处)，并且在一些实施例中，可以实现较少的步骤。

应当强调，本公开的上述实施例只是实现方式中可能的示例，只是为了对VP系统和方法的原理进行清楚的理解而提出的。在实质上不背离本公开的精神和原理的情况下，可以对上述(一个或多个)实施例做出许多变更和修改。尽管所有的这样的修改和变更均旨在被包括在本公开的范围和所附权利要求所保护的范围之内，但所附权利要求不一定限于本说明书中提出的具体实施例。

在一个实施例中，编码图像的比特流中的可解码的首位图像在随机访问点(RAP)图像处进入该比特流之后被识别。当图像按照解码顺序跟随RAP图像并且按照输出顺序领先于相同的RAP图像时，该图像被识别为可解码的首位图像；并且该图像不能从按照解码顺序领先于RAP图像的图像中进行内部预测。可解码的首位图像由相应的NAL单元类型进行识别。

具体实施方式

在以下描述中，出于解释和不限制的目的，对细节和描述进行陈述以提供对本发明的透彻理解。然而，本发明可以被实施于背离这些细节和说明的其他实施例中，这对于本领域技术人员而言是显而易见的。

如上所述，先进的视频编码(H.264/AVC)标准被称为ITU-T建议H.264和ISO/IEC国际标准14496-10，也被称为MPEG-4部分10先进的视频编码(AVC)。已经存在多个H.264/AVC标准的版本，每个版本将新的特征集成到该规范中。视频编码器的输入为一系列图像，并且视频解码器的输出也为一系列图像。图像可以是帧或者是字段。帧包括诸如亮度样本和相对应的色度样本的矩阵之类的一个或多个部件。字段是一组可替代的帧样本行，并且当源信号被交织时，可以将字段作为编码器输入来使用。编码单元可以是多种亮度样本大小(例如，64×64、32×32或16×16的亮度样本块和相对应的色度样本块)之一。图像可以被分割为一个或多个切片。切片包括整数个以光栅扫描的顺序进行连续排序的编码树单元。在一个实施例中，每个编码图像作为单个切片被编码。

视频编码器输出与输入图像序列相对应的编码图像的比特流。该编码图像的比特流是视频解码器的输入。

比特流中的每个网络抽象层(NAL)单元具有包括NAL单元类型的NAL单元头部。比特流中的每个编码图像与包括一个或多个NAL单元的访问单元相对应。

起点编码识别包括NAL单元类型的NAL单元头部的起点。NAL单元能够利用其NAL单元类型来识别各自相对应的数据类型(例如，序列参数集(SPS)、图像参数集(PPS)、SEI(补充增强信息)或包含其后跟随切片数据(即编码图像数据)的切片头部的切片)。编码图像包括对图像进行解码所需的NAL单元。

与编码图像数据相对应的NAL单元类型经由其特定的NAL单元类型值来识别编码图像的一个或多个相应属性。与编码图像数据相对应的NAL单元由切片NAL单元来提供。因此，首位图像能通过其相应的NAL单元类型被识别为非可解码的或可解码的。

当图像序列被编码以配设随机访问(例如，用于进入与电视频道相对应的编码图像的比特流)时，按解码顺序在RAP图像之后的首位图像中的一些首位图像可以是可解码的，因为这些首位图像是仅从RAP图像或RAP之后的其他可解码图像后向预测的。当利用新的内容来替换比特流的现有部分时，一些应用产生这样的后向预测图像，以在进行具有合理的缓冲器恒定比特率(CBR)延时的操作的同时管理CPB比特流发射。在另一实施例中，一些比特流利用分层内部预测结构进行编码，这些分层内部预测结构由每对连续内部图像来固定，每对连续内部图像之间具有大量编码图像。利用与“可解码图像”相对应的标识来传递RAP图像之后的可解码的后向预测图像。

比特流中按照解码顺序跟随RAP图像并且按照输出顺序领先于RAP图像的编码图像被称为该RAP图像的首位图像。尽管当在RAP图像处开始解码时有可能将该RAP图像之后的首位图像关联为非可解码，但存在应用从知道该RAP图像之后的图像何时为可解码中获益，尽管这些图像的输出时间在该RAP图像的输出时间之前。

存在两种首位图像：可解码的和非可解码的。可解码的首位图像是这样的图像：当解码从RAP图像开始时，它们能被正确解码。换言之，可解码的首位图像只使用RAP图像或按照解码顺序在该RAP图像之后的图像作为内部预测中的参考图像。非可解码的首位图像是这样的图像：当解码从RAP图像开始时，它们不能被正确解码。换言之，非可解码的首位图像使用按照解码顺序在RAP图像之前的图像作为用于内部预测的参考图像。

当利用新的内容来替换现有的编码视频序列时，一些应用产生后向预测图像，以在进行具有合理的缓冲器恒定比特率(CBR)延时的操作的同时管理CPB比特流发射。一些比特流利用分层内部预测结构进行编码，这些分层内部预测结构由比特流中的每对连续内部图像来固定，每对连续内部图像之间具有大量编码图像。因此，在一些实施例中，大量的非可解码的首位图像可以被识别。然而，拼接器或DPI设备可以通过使用视频处理方法将非可解码的首位图像中的一个或多个转换为后向预测图像。

首位图像由两种NAL单元类型之一识别为可解码首位图像或非可解码首位图像。由此，服务器/网络节点能根据需要并且当解码器在RAP图像处进入比特流时丢弃首位图像。这样的首位图像已被称为TFD(“被标记为丢弃的”)图像。这些首位图像中的一些首位图像能仅从RAP图像或按照解码顺序在RAP之后的可解码图像中被后向预测。

在一个实施例中，可解码首位图像可以与非可解码首位图像不同。如一示例，后向预测的可解码图像在RAP图像之后被发送并且输出时间在RAP图像之前，这样的可解码图像可以不同于与给定的RAP图像相关联的不是可解码的非可解码首位图像，因为它们确实取决于按照解码顺序领先于RAP图像的参考图像。

在一个实施例中，能被解码的可解码首位图像(即，RAP图像之后的后向预测图像)可以不被标记为TFD(“被标记为丢弃”)图像。对TFD图像的新的定义随着识别首位图像的另一种NAL单元一起被提出，其中，所述首位图像是从相关联的RAP和/或该RAP之后的其他可解码图像中后向预测得到的并且是可解码的。TFD图像是直接或间接取决于领先于RAP图像的图像或信息的图像。

被标记为丢弃(TFD)图像：每个切片具有与非可解码首位图像的标识相对应的NAL单元类型的编码图像。当在特定RAP处开始对比特流进行解码时，按照解码顺序跟随该RAP图像并且按照输出顺序领先于相同RAP图像的图像如果既不是从按照解码顺序和输出顺序二者领先于该RAP图像内部预测得到的，也不是从另一TFD图像内部预测得到的，则该图像被认为是TFD图像。在这样的情形中，TFD图像是非可解码的。

具有优先输出的可解码(decodable with prior output，DWPO)访问单元：编码图像是DWPO图像的访问单元。具有优先输出的可解码(DWPO)图像：每个切片具有与可解码首位图像的标识相对应的NAL单元类型的编码图像。当在特定RAP处开始对比特流进行解码时，按照解码顺序跟随该RAP图像并且按照输出顺序领先于相同RAP图像的图像如果不是TFD图像，则该图像被考虑为DWPO图像。在这样的情形中，DWPO图像是完全可解码的。下面的表指示NAL单元类型中针对所提出的更改而进行的更改。

表1——NAL单元类型代码和NAL单元类型种类

对于对图像进行解码，AU包含可选的SPS、PPS、SEI NAL单元，强制图像头部NAL单元和若干slice_layer_rbsp NAL单元跟随在这些NAL单元之后。

参照图2，示出了示例性视频系统的简化框图，本公开的实施例可以被实现在该示例性视频系统中。编码器(101)能够产生包括编码图像的比特流(102)，该编码图像具有例如允许临时缩放性的模式。比特流(102)被描绘为粗线来指示该比特流具有某—比特率。比特流(102)能够经由网络链路被转发至媒体意识网络元件(MANE)(103)。MANE(103)的功能可以是(例如，通过选择性地移除对用户感知视觉质量具有最小影响的那些图像)将比特流“修剪(prune)”至第二网络链路所提供的某一比特率。这通过细线针对被从MANE(103)发送至解码器(105)的比特流(104)来示出。解码器(105)能够从MANE(103)接收到所修剪的比特流(104)，并且对其进行解码和呈现。

图3示出视频编码层(VCL)和网络抽象层(NAL)的概念性结构。如图3所示，诸如H.264/AVC之类的视频编码规范由VCL(201)和NAL(202)组成，其中，VCL(201)对运动图像进行编码，NAL(202)将VCL连接至较低层系统(203)以传输并存储所编码的信息。独立于由VCL(201)生成的比特流，存在用于每个图像的时序信息、随机访问信息等的序列参数集(SPS)、图像参数集(PPS)以及补充增强信息(SEI)。

已对视频编码的各个实施例进行了描述，应当理解，在编码器101处实现的并且在图2中示出的一种编码方法实施例300能够被宽泛地描述为：识别非可解码首位图像，其中，当图像按照解码顺序跟随随机访问点(RAP)并且按照输出顺序领先于相同RAP，并且该图像从按照解码顺序和输出顺序二者均领先于RAP的图像中内部预测得到时，该图像被识别为非可解码首位图像(302)；将该非可解码首位图像作为第一类网络抽象层(NAL)单元进行编码(304)；以及在比特流中提供访问单元，其中，这些访问单元包括第一类NAL单元(306)。

在编码器101处实现的并且在图2中示出的另一编码方法实施例400能够被宽泛地描述为：识别具有优先输出的可解码(DPWO)图像，其中，当图像按照解码顺序跟随随机访问点(RAP)并且按照输出顺序领先于相同RAP，并且该图像不是非可解码首位图像时，该图像被识别为DPWO图像(402)；将该DPWO图像作为第二类网络抽象层(NAL)单元进行编码(404)；以及在比特流中提供DPWO访问单元，其中，这些DPWO访问单元包括第二类NAL单元(406)。

流程图或流程示意图中的任何处理描述或框应当被理解为表示代码的模块、分段或部分，该代码包括用于实现处理中的特定逻辑功能或步骤的一个或多个可执行指令，并且可替代的实现方式可以被包括在本公开的范围之内，在这些可替代的实现方式中，可以按照本领域技术人员将理解的根据所涉及的功能以与所示的或所讨论的顺序不同的顺序(包括实质上并发的顺序或相反的顺序)来执行功能。在一些实施例中，可以将图3中所标识的使用分隔框的处理步骤进行组合。而且，结合本公开所示出的流程图中的各个步骤不限于与上面(在特定模块或逻辑中现实或者由特定模块或逻辑来实现的)流程图的描述相关联的上述架构，也不限于说明书中所描述的和与本公开的附图相关联的示例实施例的步骤。在一些实施例中，可以将一个或多个步骤添加至图3中所描述的方法中(在开始步骤处、结束步骤处和/或中间步骤处)，并且在一些实施例中，可以实现较少的步骤。

应当强调，本公开的上述实施例只是实现方式中可能的示例，只是为了对视频编码和解码的系统和方法的原理进行清楚的理解而提出的。在实质上不背离本公开的精神和原理的情况下，可以对上述(一个或多个)实施例做出许多变更和修改。尽管所有这样的修改和变更均旨在被包括在本公开的范围和所附权利要求所保护的范围之内，但所附权利要求不一定限于本说明书中提出的具体实施例。

Claims (20)

1.一种方法，包括：

由视频流接收和处理(VSRP)设备对第一视频流进行解码以产生第一图像数据，所述第一视频流与第一图像分辨率格式(PRF)相对应，所述第一视频流包括采用所述第一PRF的第一视频服务，所述第一图像数据具有第一空间跨度；

由所述VSRP设备对第二视频流进行解码以产生第二图像数据，所述第二视频流与第二PRF相对应，所述第二视频流包括采用所述第二PRF的第二视频服务，所述第二图像数据具有第二空间跨度；

由所述VSRP设备确定所述第二视频流的缩放因子；以及

由所述VSRP处理所述第二图像数据，其中，所述处理包括由所确定的缩放因子对所述第二图像数据进行缩放以产生具有第三空间跨度的第三图像数据，其中，所述第三空间跨度与所述第一空间跨度相同。

2.如权利要求1所述的方法，其中，确定所述缩放因子包括：

接收指示存在与所述缩放因子相对应的标记的辅助信息；以及

处理所述辅助信息以确定所述缩放因子。

3.如权利要求1所述的方法，其中，确定所述缩放因子包括：

接收指示存在与所述缩放因子相对应的标记的辅助信息；

处理所述辅助信息以确定缩放因子索引；以及

在缩放因子表中执行查找操作来确定与所述缩放因子索引相对应的缩放因子。

4.如权利要求1所述的方法，其中，由所述VSRP设备确定所述第二视频流的所述缩放因子包括：确定所述第二图像数据的垂直缩放因子和水平缩放因子。

5.如权利要求1所述的方法，其中，由所述VSRP设备确定所述第二视频流的所述缩放因子包括：确定不等于一的缩放因子。

6.如权利要求1所述的方法，其中，由所述VSRP设备对所述第一视频流进行解码以产生具有所述第一空间跨度的所述第一图像数据包括：对所述第一视频流进行解码以产生具有所述第一空间跨度的所述第一图像数据，其中，所述第一空间跨度等于显示设备被配置为显示所解码的第一图像数据的空间跨度。

7.如权利要求1所述的方法，其中，由所述VSRP设备对所述第一视频流进行解码以产生具有所述第一空间跨度的所述第一图像数据包括：对所述第一视频流进行解码以产生具有所述第一空间跨度的所述第一图像数据，其中，所述第一空间跨度等于显示设备被配置为显示所解码的第一图像数据的标准空间跨度。

8.如权利要求1所述的方法，其中，由所述VSRP设备对所述第一视频流进行解码以产生具有所述第一空间跨度的所述第一图像数据包括：对所述第一视频流进行解码以产生具有所述第一空间跨度的所述第一图像数据，其中，所述第一空间跨度为所述第一视频流的隐含空间跨度。

9.如权利要求1所述的方法，其中，由所述VSRP设备对所述第一视频流进行解码以产生具有所述第一空间跨度的所述第一图像数据包括：对所述第一视频流进行解码以产生具有第一纵横比的所述第一图像数据，其中，由所述VSRP设备对所述第二视频流进行解码以产生具有所述第二空间跨度的所述第二图像数据包括：对所述第二视频流进行解码以产生具有第二纵横比的所述第二图像数据，其中，所述第二纵横比不同于所述第一纵横比。

10.如权利要求9所述的方法，还包括接收具有纵横比标记的辅助信息，其中，所述纵横比标记指示存在所述第二图像数据的缩放因子。

11.如权利要求1所述的方法，其中，由所述VSRP设备确定所述第二视频流的缩放因子包括：通过由所述第二空间跨度除以所述第一空间跨度来确定所述缩放因子。

12.一种包括处理器的网络设备，所述处理器被配置为具有以下逻辑：

由视频流接收和处理(VSRP)设备对第一视频流进行解码以产生第一图像数据，所述第一视频流与第一图像分辨率格式(PRF)相对应，所述第一视频流包括采用所述第一PRF的第一视频服务，所述第一图像数据具有第一空间跨度；

由所述VSRP设备对第二视频流进行解码以产生第二图像数据，所述第二视频流与第二PRF相对应，所述第二视频流包括采用所述第二PRF的第二视频服务，所述第二图像数据具有第二空间跨度；

由所述VSRP设备接收辅助信息；

处理所接收的辅助信息以确定所述第二视频流的缩放因子；以及

由所述VSRP处理所述第二图像数据，其中，所述处理包括由所确定的缩放因子对所述第二图像数据进行缩放以产生具有第三空间跨度的第三图像数据，其中，所述第三空间跨度与所述第一空间跨度相同。

13.如权利要求12所述的网络设备，其中，所述处理器还被配置为具有以下逻辑：接收所述辅助信息作为视频可用性信息(VUI)。

14.如权利要求12所述的网络设备，其中，所述处理器还被配置为具有以下逻辑：确定所述第二图像数据的垂直缩放因子和水平缩放因子。

15.如权利要求12所述的网络设备，其中，由所述VSRP设备确定所述第二视频流的缩放因子包括：确定不等于一的缩放因子。

16.如权利要求12所述的网络设备，其中，接收具有纵横比标记的辅助信息，其中，所述纵横比标记指示存在所述第二图像数据的缩放因子。

17.如权利要求12所述的网络设备，其中，所述处理器还被配置为接收纵横比标记，其中，所述纵横比标记指示存在所述第二图像数据的缩放因子。

18.一种方法，包括：

在通过给定的频道进行传输期间，在视频流接收和处理(VSRP)设备处接收视频流，所述视频流包括压缩图像的具有第一图像格式的第一部分和具有第二图像格式的第二部分，其中，压缩图像的所述第二部分的第一个压缩图像为所述视频流中在压缩图像的所述第一部分的最后一个压缩图像之后的第一个压缩图像；以及

对所述视频流的所述第一部分进行解码以产生具有第一空间跨度的第一图像数据；

对所述视频流的所述第二部分进行解码以产生具有第二空间跨度的第二图像数据；

在所述VSRP设备处接收与所述视频流相对应的辅助信息，所述辅助信息与对所述第二空间跨度进行调整大小的指示相对应；

确定缩放因子；

由所述VSRP对所述第二图像数据进行后置处理，其中，所述后置处理包括：由所确定的缩放因子对所述第二图像数据进行缩放以产生具有第三空间跨度的第三图像数据，其中，所述第三空间跨度与所述第一空间跨度相同。

19.如权利要求18所述的方法，其中，由所述VSRP设备接收所述辅助信息包括：接收所述辅助信息作为视频可用性信息(VUI)。

20.如权利要求18所述的方法，其中，由所述VSRP设备确定所述第二视频流的缩放因子包括：确定所述第二图像数据的垂直缩放因子和水平缩放因子。