CN110933437A - 混合向后兼容的信号编码和解码 - Google Patents

Abstract

本申请涉及混合向后兼容的信号编码和解码的方法和系统。计算机处理器硬件：将数据流解析为编码数据的第一部分和编码数据的第二部分；实现第一解码器以将编码数据的第一部分解码为信号的第一再现；实现第二解码器以将编码数据的第二部分解码为重构数据，该重构数据指定如何修改信号的第一再现；以及对信号的第一再现应用该重构数据，以产生信号的第二再现。

Description

混合向后兼容的信号编码和解码

本分案申请是2014年4月14日递交的题为“混合向后兼容的信号编码和解码”的中国专利申请NO.201480029033.7的分案申请。

背景技术

在本领域中，对于处理多维信号或者沿时间演化的信号的压缩和解压，许多技术是已知的。这是音频信号、视频信号以及就像在科学和医学领域中使用的体积信号的其它多维信号的情况。为了实现高压缩比，那些技术采用信号内的空间和时间相关。常规方法识别参照并且尝试确定信号的当前位置与给定参照之间的差异。这在空间域和时间域中都进行，在空间域中，参照是已经接收并解码的空间平面的一部分(例如，块或“宏块”)，在时间域中，信号时间当中的单个时刻(例如，一序列帧当中的视频帧)被作为用于某个持续时间的参照。这是例如MPEG系列压缩算法的情况，其中之前解码的宏块被作为空间域中的参照并且I帧和P帧被用作时间域中后续P帧的参照。

已知的技术以许多途径采用空间相关和时间相关，为了识别、简化、编码和发送差异而采用几种不同的技术。在常规方法中，为了充分利用块中残差的空间相关，执行域变换(例如，变换到频率域)，接着执行变换后的信息的有损删除和量化，这通常引入某种程度的块假象。相反，在时间域中，常规方法发送当前样本与运动补偿的参照样本之间的量化差异。为了最大化样本之间的相似性，编码器尝试估计沿时间发生的相对于(vs.)参照信号的修改。在常规编码方法中(例如，MPEG系列技术、VP8、VP9等)，这被称为运动估计和补偿。

在已知的领域中，除了一些尝试，编码方法通常忽略质量可扩展性需求。可扩展的编码方法将编码压缩信号的单个版本并且使得能够交付到不同的质量水平、带宽可用性和解码器复杂性。可扩展性在已知方法中已经被考虑，就像MPEG-SVC和JPEG2000，由于计算复杂性并且，一般而言，其与不可扩展技术的相似性，到目前为止具有相对差的采用。

由于基于MPEG的技术(例如，MPEG2、MPEG4、H.264、H.265)是国际标准，因此开发出了几种专用硬件芯片，以便用专用硬件块执行信号解码。因此，由于缺少解码设备生态系统，不同的编码技术难以得到采用。

在视频传输的其它情况下，诸如像经由(诸如HDMI或DisplayPort的)传输方法到显示设备的电缆传输，视频内容到解码/显示设备的传输受传输电缆的容量限制。由于传输电缆的限制，这使得不可能发送高于给定质量水平(或者分辨率或者帧速率)的视频内容。由于要发送的数据量随着时间的推移变得越来越大(由于商用显示设备所支持的分辨率和帧速率的不断增加)，因此由连接电缆带来的约束正变成是相关的问题，常常迫使解码/显示设备为了弥补传输电缆的能力不足而执行各种类型的插值(例如，从60Hz到240Hz的帧速率插值)，以便应付它们将能够显示的质量水平。

在视频传输的其它情况下，诸如像视频会议，大部分安装的解码器设备只能够解码传统(legacy)SD和/或HD视频内容，而较新且较强大的远程呈现系统可以高质量地解码处于更高的分辨率的视频内容。目前的方法使得不可能利用单个编码数据流(即，没有编码/转码成多个不同的视频流)来服务传统(legacy)解码器设备和较新的解码器设备两者。

在视频分发的其它情况下，诸如像蓝光盘，设备的大生态系统只能够解码传统HD视频编码格式，而新的解码设备能够解码和显示UltraHD视频。目前的方法使得不可能分发可作为HD视频被广泛安装的传统设备读取并且作为UltraHD视频被新解码设备读取的单个与传统兼容的蓝光盘。

发明内容

与常规技术相对照，本文的方法和实施例代表一种创新方法，其实现高效的位(bit)流和可扩展性、并同时维持与为已知解码方法设计的解码和/或显示硬件的向后兼容性。

本文所说明的方法和实施例还包括产生向后兼容的流的途径，这种流被生成使得被传统解码器解码到至多第一质量水平并且被专门使能的解码器解码到至多一个或多个不同的(更高的)质量水平。

除了实现具有向后兼容性的可扩展性的目的，为了更高的质量水平而使用不同的编码/解码技术还可以对整个位流实现更高的效率。

本文的实施例关于常规的系统和方法有所偏离，从而提供解码信号的新颖方法，其充分利用传统解码方法用于解码至多给定的质量水平，并充分利用新颖解码方法来基于处于给定质量水平的解码信号来重构处于最终(更高)质量水平的信号重现。

根据其最广泛的方面，本发明是利用至多给定分辨率和/或帧速率(第一质量水平)的现有解码硬件、并接着借由计算简单但有效的方法重构一个或多个附加质量水平的方法。不能被更新从而执行高于第一水平的质量水平的解码的传统解码设备将只解码处于第一质量水平的信号并且忽略附加的增强数据，即，将仍然能够解码信号的再现。

为了简化，本文说明的非限制性实施例将信号称为样本的序列(即，二维图像、视频帧、视频场等)。在描述中，术语“图像”、“画面”或“平面”(意为“超平面”的最广泛含义，即，具有任何数量的维度和给定采样网格的元素的阵列)将常常被用来标识沿样本序列的信号的样本的数字再现，其中每个平面都具有用于其每个维度(例如，X和Y)的给定分辨率，并且包括一组平面元素(或“元素”、或“pel”，或显示元素，对于二维图像常常被称为“像素”，对于体积图像常常被称为“体素”，等等)，该组平面元素由一个或多个“值”或“设置”(例如，作为非限制性例子，合适的颜色空间中的颜色设置、指示密度水平的设置、指示温度水平的设置、指示音频音调的设置、指示振幅的设置，等等)表征。每个平面元素由合适的一组坐标识别，从而指示所述元素在图像的采样网格中的整数位置。信号维度可以只包括空间维度(例如，在图像的情况下)或者还包括时间维度(例如，在信号随时间演进的情况下)。

作为非限制性例子，信号可以是图像、音频信号、多声道音频信号、视频信号、多视点视频信号(例如，3D视频)、体积信号(例如，医学成像、科学成像、全息成像，等等)、体积视频信号、或者甚至具有多于四个维度的信号。

为了简化，本文所说明的非限制性实施例常常提到作为设置的2D平面(例如，在合适颜色空间中的2D图像)显示的信号，诸如像视频信号。术语“帧”或“场”将与术语“图像”可互换地使用，从而指示视频信号的时间中的样本：为由帧组成的视频信号(逐行视频信号)所说明的任何概念和方法都可以容易地也适用于由场组成的视频信号(隔行视频信号)，反之亦然。尽管本文所说明的实施例的重点在视频信号，但是本领域技术人员可以容易地理解，相同的概念和方法也适用于任何其它类型的多维信号(例如，体积信号、视频信号、3D视频信号、全光信号，等等)。

在本文所描述的非限制性实施例中，信号处理器被配置为接收数据流并将其分成两个或更多个子流。第一子流借由第一解码方法被解码，从而产生处于第一质量水平的信号再现。第二子流借由第二解码方法被解码，从而产生残差。基于处于第一质量水平的信号，信号处理器产生处于第二(更高)质量水平的信号的预测再现。信号处理器组合处于第二质量水平的信号的预测(或“初步”)再现与残差，从而产生处于第二质量水平的信号再现。

在本文所描述的其它非限制性实施例中，位于另一计算机设备中的信号处理器接收数据流并且不被配置为解码第二子流。信号处理器忽略第二子流并且仅仅解码第一子流，从而产生处于第一质量水平的信号再现。以这种方式，在数据流中包括数据的第二订户流有效地与未配置为解码第二子流的解码器向后兼容，因为传统解码器就是忽略第二订户流并且产生处于第一质量水平的信号再现，而不是处于第二质量水平的信号再现。

在非限制性实施例中，该方法是在被设计为根据基于MPEG的方法进行解码的硬件的固件上实现的，并且第一子流是根据所述基于MPEG的方法解码的。

在本文所描述的其它非限制性实施例中，第二子流包括与由信号处理器执行以基于处于第一质量水平的信号产生处于第二质量水平的信号的预测或初步再现的操作相对应的参数。在非限制性实施例中，所述参数包括用来上采样处于第一质量水平的信号再现的上采样内核(kernel)的系数。

在本文所描述的其它非限制性实施例中，解码的残差包括处于第一质量水平的第一残差集合和处于第二质量水平的第二残差集合。

在本文所描述的其它非限制性实施例中，产生处于第二质量水平的信号的预测再现包括：将处于第一质量水平的信号的再现与第一残差集合组合；借由对应于接收到的参数的上采样操作来上采样处于第一质量水平的信号的再现。

在本文所描述的其它非限制性实施例中，解码残差集合包括：解码变换后的量化残差；对变换后的量化残差求和并与自身和/或与合适的参数相减，从而产生量化残差；反量化量化残差，从而产生残差。

在非限制性实施例中，所述合适的参数包括通过计算处于第一质量水平的信号再现的元素的值与处于第二质量水平的信号的预测再现的对应元素的平均值之差所获得的参数。

在本文所描述的其它非限制性实施例中，解码残差集合包括：解码量化的变换后的残差；反量化经量化的变换后的残差，从而产生变换后的残差；对变换后的量化残差求和并与自身和/或与合适的参数相减，从而产生残差。

在一种非限制性实施例中，所述合适的参数包括通过计算处于第一质量水平的信号再现的元素的值与处于第二质量水平的信号的预测再现的对应元素的平均值之差所获得的参数。

在非限制性实施例中，反量化操作是通过根据给定参数识别每个量化范围内的位置来执行的。

在非限制性实施例中，反量化操作是借由统计抖动、通过根据给定的概率分布计算包括在量化范围中的随机值来执行的。

在其它非限制性实施例中，解码量化的变换后的残差包括接收熵编码数据并且根据合适的熵解码方法来解码它。在非限制性实施例中，所述熵解码方法是霍夫曼解码和运行长度(“RLE”)解码的组合。在其它非限制性实施例中，所述熵解码方法包括静态算术编码器。在其它非限制性实施例中，熵解码器接收对应于要解码的符号的概率分布的参数。

根据进一步的非限制性实施例，用于同一序列的后续图像的残差是从同一公共参照(支持缓冲区)解码的，以便有效地充分利用多个后续图像之间的相关性。

根据进一步的非限制性实施例，用于同一序列的后续图像的一个或多个残差是基于之前图像的对应残差来解码的，以便有效地充分利用多个后续图像之间的相关性。

在本文所描述的其它非限制性实施例中，信号处理器被配置为接收数据流并把它分成三个或更多个子流。第一子流是借由第一解码方法解码的，从而产生处于第一质量水平的信号再现。第二子流是借由第二解码方法解码的，从而产生增强数据，该增强数据允许解码器基于处于第一质量水平的信号再现产生处于第二(更高)质量水平的信号再现。第三子流是借由第三解码方法解码的，从而产生增强数据，该增强数据允许解码器基于处于第二质量水平的信号再现产生处于第三(更高)质量水平的信号再现。

根据进一步的非限制性实施例，数据流被组织为MPEG传送流，并且(对应于不同质量水平的)不同子流的数据包具有不同的数据包标识符(PID)，指示它们属于不同的基本子流。如本文中所讨论的，用第一PID标记数据指示数据的部分由第一解码器解码；用第二PID标记数据指示数据的部分由第二解码器解码；用第三PID标记数据指示数据的部分由第三解码器解码；等等。在一种实施例中，用于增强子流(允许重构更高的质量水平)的PID被选择，使得它们被传统解码器忽略。

根据进一步的非限制性实施例，数据流被组织为HDMI数据传输，其中，对应于第一质量水平的子流是未压缩的视频(根据HDMI格式发送)并且增强子流数据作为元数据被发送。在一些非限制性实施例中，第二质量水平比第一质量水平具有更高的帧速率。在其它非限制性实施例中，第二质量水平比第一质量水平具有更高的空间分辨率。在非限制性实施例中，增强数据在消隐期内被发送(用于每个水平消隐期的孤岛数据包的最大数据为448字节，留下总共大约480Mbps用于另外的数据；音频数据也使用消隐期，但是消隐期的显著部分可用于增强数据)。在其它非限制性实施例中，增强数据的传输经由特定于销售商的信息帧(VSI)充分利用元数据传输。

根据进一步的非限制性实施例，数据流被组织为DisplayPort传输，其中对应于第一质量水平的子流是未压缩的视频(根据DisplayPort格式发送)并且增强子流数据作为元数据被发送。

根据进一步的非限制性实施例，数据流被组织为蓝光盘文件，其中对应于第一质量水平的子流被编码为常规蓝光盘视频并且增强子流数据作为元数据被包括在蓝光盘中。

第一实施例的不同排列

根据其它实施例，计算机处理器硬件接收数据流。计算机处理器硬件将接收到的数据流解析为编码数据的第一部分和编码数据的第二部分。计算机处理器硬件实现第一解码器以将编码数据的第一部分解码为信号的第一再现。计算机处理器硬件实现第二解码器以将编码数据的第二部分解码为重构数据。该重构数据指定如何修改信号的第一再现。计算机处理器硬件对信号的第一再现应用该重构数据，以产生信号的第二再现。

以上第一示例实施例可以与以下一个或多个特征当中任何特征一起实现，以产生以下进一步的实施例：

例如，在一种实施例中，编码数据的第一部分是根据MPEG(运动图像专家组)或基于MPEG的格式(诸如作为非限制性例子的MPEG2、h.264、VC1、VP8、VP9或h.265)解码的(经由计算机处理器硬件的第一解码器)。从编码数据的第二部分得出的重构数据是根据分层编码格式解码的(经由计算机处理器硬件的第二解码器)。

根据还有进一步的实施例，编码数据的第一部分包括未压缩的视频数据；重构数据是从编码数据的第二部分得出的并且是根据分层编码格式解码的。应当指出的是，编码数据的第二部分可以是压缩数据。实现第二解码器可以包括对压缩数据应用上采样操作，以产生重构数据，所应用的上采样操作将较低分辨率显示元素设置转换成较高分辨率显示元素设置。

在更进一步的实施例中，计算机处理器硬件是第一计算机处理器硬件。该系统可以包括第二计算机处理器硬件(诸如包括第一解码器但不包括第二解码器的传统解码器)。第二计算机处理器硬件也接收数据流。第二计算机处理器硬件启动对数据流中接收到的编码数据的仅第一部分到信号的另一第一再现的解码；并且启动信号的该另一第一再现在显示屏上的显示。

作为另一个例子，编码数据的第一部分可以根据与传统解码器计算机处理器硬件兼容的解码方法被解码(使用第一类型的解码器)，并且数据流被组织为使得编码数据的第二部分不被传统解码器计算机处理器硬件使用(和/或被忽略)。传统解码器计算机处理器硬件：i)启动编码数据的仅第一部分的解码，以及ii)启动信号的第一再现在相应显示屏上的显示。

由计算机处理器硬件接收的数据流可以是HDMI(高清晰度多媒体接口)信号，其中编码数据的第一部分(如由第一解码器处理的)是未压缩的视频数据并且编码数据的第二部分(如由第二解码器处理的)是压缩数据。另选地，由计算机处理器硬件接收的数据流可以经DisplayPort接口接收，其中编码数据的第一部分是未压缩的视频数据并且编码数据的第二部分是压缩数据。

作为进一步的非限制性示例实施例，数据流可以是包括数据的第一部分(诸如MPEG编码数据)和数据的第二部分的MPEG(运动图像专家组)传送流，其中第一部分和第二部分由不同的数据包标识符(PID)号表征。

作为进一步的非限制性示例实施例，数据流可以是被组织为存储在蓝光盘上并且由蓝光盘解码器设备解码的文件。数据的第一部分以蓝光格式作为常规的HD视频数据被包括并且利用第一编码方法(例如，用于HD视频数据的常规蓝光编解码器，诸如h.264或VC1)被编码，而数据的第二部分以蓝光格式作为被传统的HD蓝光盘解码器设备忽略的元数据被包括，并且是根据第二编码方法编码的。

在一种实施例中，(由数据流中的编码数据的接收部分捕获的)信号包括多个显示元素；并且信号的第二再现具有比信号的第一再现更高的质量水平。

在还有进一步的实施例中，信号的第二再现可以具有与信号的第一再现相同的显示元素分辨率。实现第二解码器以解码编码数据的第二部分可以包括：解码由编码数据的第二部分指定的处于第一质量水平的第一残差数据集合；利用第一残差数据集合修改信号的第一再现并且产生信号的第二再现；至少部分地基于信号的第二再现产生信号的第三再现，信号的第三再现具有比信号的第二再现的分辨率更高的分辨率(在一些实施例中，是空间分辨率；在其它实施例中，是时间分辨率；在还有其它实施例中，是空间和时间分辨率二者)；如由编码数据的第二部分指定的那样解码处于第二质量水平的第二残差数据集合；以及利用第二残差数据集合修改信号的第三再现并且产生信号的第四再现。

此外，计算机处理器硬件可以被配置为执行以下操作：基于信号的第四再现产生信号的第五再现，信号的第五再现具有比信号的第四再现的分辨率更高的分辨率(再次，根据具体的非限制性实施例，空间的和/或时间的)；如由编码数据的第二部分指定的那样解码处于第三质量水平的第三残差数据集合；以及利用第三残差数据集合修改信号的第五再现并且产生信号的第六再现。信号的第一再现可以是隔行视频信号；信号的第六再现可以是逐行视频信号。

在其它非限制性实施例中，所接收的数据流包括编码数据的多于两个的不同部分，由多于两个解码器根据多于两种不同的解码方法进行解码。在非限制性实施例中，所接收的数据流包括编码数据的三个部分。编码数据的第一部分由第一解码器解码，从而产生信号的第一再现。信号的第二再现与信号的第一再现具有相同的显示元素分辨率。实现第二解码器以解码编码数据的第二部分包括：如由编码数据的第二部分指定的那样解码处于第一质量水平的第一残差数据集合；利用第一残差数据集合修改信号的第一再现并且产生信号的第二再现；至少部分地基于信号的第二再现，产生信号的第三再现，信号的第三再现具有比信号的第二再现的分辨率更高的分辨率；如由编码数据的第二部分指定的那样解码处于第二质量水平的第二残差数据集合；以及利用第二残差数据集合修改信号的第三再现并且产生信号的第四再现。此外，计算机处理器硬件被配置为执行以下动作：如由编码数据的第三部分指定的来解码第三残差数据集合；利用第三残差数据集合修改信号的第四再现并且产生信号的第五再现；基于信号的第五再现，产生信号的第六再现，信号的第六再现具有比信号的第五再现的分辨率更高的分辨率；如由编码数据的第三部分指定的来解码处于第四质量水平的第四残差数据集合；利用第四残差数据集合修改信号的第六再现并且产生信号的第七再现；基于信号的第七再现，产生信号的第八再现，信号的第八再现具有比信号的第七再现的分辨率更高的分辨率；如由编码数据的第三部分指定的来解码处于第五质量水平的第五残差数据集合；利用第五残差数据集合修改信号的第八再现并且产生信号的第九再现。在非限制性实施例中，信号的第一再现是隔行SD视频信号；信号的第四再现是隔行HD视频信号；信号的第九再现是逐行UltraHD视频信号。

实现第二解码器以解码编码数据的第二部分还可以包括以下操作：识别如由编码数据的第二部分指定的上采样操作；以及对信号的第二再现应用该上采样操作，以产生信号的第三再现，信号的第三再现具有比信号的第二再现的显示元素分辨率高得多的显示元素分辨率。在一些非限制性实施例中，更高的显示元素分辨率是对于视频信号的每个场或帧的更高的空间分辨率(垂直，水平、或者垂直和水平)；在其它非限制性实施例中，更高的显示元素分辨率是更高的时间分辨率(即，处于更高帧速率的视频信号)；在还有其它非限制性实施例中，更高的显示元素分辨率是信号中更高的空间和更高的时间分辨率二者。

根据进一步的实施例，识别如由编码数据的第二部分指定的上采样操作包括：解码对应于上采样内核的特定系数的参数；至少部分地基于被解码的参数，产生对应于信号的第三再现的一部分的上采样内核；以及对信号的第二再现的一部分应用该上采样内核，以便产生信号的第三再现的所述一部分。在一种实施例中，信号的第三再现是处于高得多的显示元素分辨率的信号的初步(或预测)再现。实现第二解码器还可以包括：利用重构数据来修改处于高得多的显示元素分辨率的信号的初步再现，修改后的信号的初步再现与信号的初步再现具有相同的分辨率，但是具有更高的质量水平。因此，如由编码数据的第一部分指定的接收到的编码数据可以根据传统解码方法(诸如MPEG-2、MPEG-4、DivX、AVC/h.264、SVC、HEVC/h.265、VC1、VP8、VP9等等，为了简化成称为“MPEG数据”)来解码，或者在其它非限制性实施例中，甚至可以作为未压缩的视频数据被解码(例如，根据HDMI、DisplayPort或DVI传输格式)。数据流中的增强数据(诸如编码数据的第二部分)可以被解码并用来将从MPEG数据得出的信号再现转换为更高质量水平的重放信号。如本文中所讨论的，增强数据是根据非MPEG编码格式编码的。

根据更进一步的实施例，从接收到的数据流中的编码数据的第二部分，第二解码器产生根据分层格式编码的重构数据。从编码数据的第二部分获得或得出的重构数据可以包括残差数据。例如，在一种实施例中，重构数据包括至少第一残差数据集合和第二残差数据集合；第一残差数据集合指定如何修改处于第一显示元素分辨率的信号再现，第二残差数据集合指定如何修改处于第二显示元素分辨率的信号再现。第二显示元素分辨率大于第一显示元素分辨率。在非限制性实施例中，第二残差数据集合是至少部分地基于第一残差数据集合被解码的。

计算机处理器硬件可以被配置为执行进一步的操作：利用第一残差数据集合修改信号的第一再现并且产生信号的第二再现；基于信号的第二再现，产生信号的第三再现，信号的第三再现是处于第二显示元素分辨率的信号的初步再现；利用第二残差数据集合修改信号的第三再现并且产生处于第二显示元素分辨率的信号的第四再现。

计算机处理器硬件可以被配置为从变换后的残差数据产生第二残差数据集合。在一种实施例中，计算机处理器硬件还执行操作：将编码数据的第二部分解码为量化的变换后的残差数据；对量化的残差数据反量化，以产生变换后的残差数据；处理变换后的残差数据、信号的第二再现和信号的第三再现，以重现第二残差数据集合；以及对信号的第三再现应用重现的第二残差数据集合，以产生信号的第四再现。

在一些非限制性实施例中，量化的变换后的残差数据是从编码数据的第二部分根据静态范围熵解码方法、根据由编码数据的第二部分指定的符号概率分布被解码的。在其它非限制性实施例中，根据静态范围熵解码方法解码的量化的变换后的残差数据与从由第一残差数据集合指定的较低质量水平信号继承来的符号相组合。在还有其它非限制性实施例中，量化的变换后的残差数据是从编码数据的第二部分根据霍夫曼熵解码方法结合运行长度(RLE)解码方法被解码的。

在进一步的实施例中，由计算机处理器硬件和相应的解码重现的信号是视频信号。残差数据集合可以根据跨信号的多个图像(场或帧)的时间继承来产生，即，用于给定图像的一个或多个残差可以如由为不同图像解码的残差数据所指定的那样来解码。在这种情况下，计算机处理器硬件还执行操作：至少部分地基于为不同的场/帧解码的残差数据来解码用于场/帧的残差数据。

编码数据的第一部分可以在数据流中在编码数据的第二部分当中交错。将数据流解析为编码数据的第一部分和编码数据的第二部分可以包括：利用数据流中的标记(诸如一个或多个PID或数据包标识符)识别数据的第一部分和数据的第二部分。数据流可以被组织为MPEG传送流，在MPEG传送流中编码数据的第一部分(诸如利用可由传统解码器设备解码的MPEG编解码器编码的数据)被分配第一数据包标识符(PID)并且编码数据的第二部分(诸如利用基于层的分层方法编码的编码数据)被分配第二数据包标识符(PID)。如先前所讨论的，计算机处理器硬件实现第一解码器以将编码数据的第一部分解码为信号的第一再现。计算机处理器硬件实现第二解码器以将编码数据的第二部分解码为重构数据。

编码数据的第一部分可以以任何合适的格式被编码，即，利用任何合适的编解码器。作为非限制性示例实施例，编码数据的第一部分可以根据MPEG(运动图像专家组)h.264编码格式被编码；编码数据的第一部分可以根据MPEG2(运动图象专家组2)编码格式被编码；等等。

根据一些非限制性实施例，编码和重现的信号是包括多帧(或者对于隔行视频信号是场)显示元素的视频信号。为了简化，术语“帧”和“场”将可互换使用，以指示视频信号的时间样本。

根据一些非限制性实施例，为了呈现信号，计算机处理器硬件可以被配置为还执行操作：识别编码数据的第一部分与编码数据的第二部分之间的定时关联，该定时关联指示重构数据与信号的第一再现中的显示元素的多个帧中的哪一帧有关。对信号的第一再现应用重构数据以产生信号的第二再现可以包括：根据定时关联，利用重构数据将信号的第一再现时间上采样为信号的第二再现，该信号的第二再现包括比信号的第一再现更多的显示元素帧。因此，定时关联使计算机处理器硬件能够识别编码数据的第一部分与编码数据的第二部分之间的关系，从而进一步使数据流能够利用数据流中编码数据的第二部分将得自编码数据的第一部分的信号的再现转换为更高质量水平的信号。

根据还有进一步的实施例，信号是视频信号，其中信号的第一再现具有第一帧速率；信号的第二再现具有第二帧速率，第二帧速率大于第一帧速率。计算机处理器硬件还执行操作：基于处于第一帧速率的信号的第一再现并且如由重构数据指定的，产生处于第二帧速率的信号的初步再现；产生如由重构数据指定的残差数据集合；以及对处于第二帧速率的信号的初步再现应用该残差数据集合，以产生信号的第二再现。

在进一步的实施例中，应用重构数据包括：如由重构数据所指定的，将信号的第二再现空间上采样为信号的第三再现，信号的第三再现具有比信号的第二再现更高的显示元素分辨率。

在还有进一步的实施例中，重构数据包括根据多个显示元素分辨率编码的残差数据的层次结构。第二解码器对编码数据的第二部分应用上采样操作，以重现残差数据的层次结构。残差数据的层次结构是对被用来得出更高质量水平的信号的数据进行压缩的独特方式。

如前面所讨论的，信号可以是视频信号。残差数据的层次结构可以根据跨信号中显示元素的多个帧的残差的时间继承来产生。在残差数据的层次结构的给定水平，计算机处理器硬件至少部分地基于为第二帧/场解码的残差数据来解码用于第一帧/场的残差数据。第二帧/场对应于与第一帧/场相关的时间点不同的时间点。

在进一步的非限制性实施例中，残差数据的层次结构是根据信号中显示元素的给定帧/场中的残差的空间继承来产生的。在残差数据的层次结构的给定水平，计算机处理器硬件仅仅基于为残差数据的层次结构中的较低质量水平解码的重构数据来解码用于给定帧/场的一部分的残差数据。

在进一步的非限制性实施例中，残差数据的层次结构是根据信号中显示元素的给定帧/场中的残差的空间继承以及跨不同帧/场的残差数据的时间继承这两者来产生的。在残差数据的层次结构的给定水平，计算机处理器硬件仅基于为残差数据的层次结构中较低质量水平解码的重构数据并且基于参照残差数据集合来解码用于给定帧/场的一部分的残差数据。

在更进一步的实施例中，计算机处理器硬件还执行操作：从基础残差数据集合得出第一残差数据集合；从基础残差数据集合得出第二残差数据集合，第一残差数据集合与第二残差数据集合不同；对信号的第一再现的第一时间样本应用第一残差数据集合，以产生信号的第二再现中对应的第一时间样本；以及对信号的第一再现的第二时间样本应用第二残差数据集合，以产生信号的第二再现中对应的第二时间样本。基于信号的第二再现，计算机处理器硬件产生信号的第三再现，信号的第三再现是处于高得多的显示元素分辨率的信号的初步再现。计算机处理器硬件还：解码第二基础残差数据集合；从第二基础残差数据集合得出第三残差数据集合；从第二基础残差数据集合得出第四残差数据集合，第三残差数据集合与第四残差数据集合不同；对信号的第三再现的第一时间样本应用第三残差数据集合，以产生信号的第四再现中对应的第一时间样本；以及对信号的第三再现的第二时间样本应用第四残差数据集合，以产生信号的第四再现中对应的第二时间样本。

根据还有附加的实施例，计算机处理器硬件：将编码数据的第二部分解码为变换后的残差数据；处理变换后的残差数据，以产生量化的残差数据；对量化的残差数据反量化，以重现残差数据；以及对信号的第一再现应用重现的残差数据，以产生信号的第二再现。

进一步作为非限制性例子，计算机处理器硬件可以被配置为：将编码数据的第二部分解码为处于第一质量水平的残差数据；基于处于第一质量水平的残差数据，产生处于第二质量水平的残差数据的初步再现，第二质量水平高于第一质量水平；将编码数据的第二部分解码为量化的变换后的残差数据；反量化经量化的变换后的残差数据，以产生变换后的残差数据；处理变换后的残差数据、处于第一质量水平的残差数据和处于第二质量水平的残差数据的初步再现的组合，以重现处于第二质量水平的残差数据；以及对信号的第一再现应用重现的处于第二质量水平的残差数据，以产生信号的第二再现。

此外，计算机处理器硬件可以被配置为：基于信号的第二再现，产生信号的第三再现，信号的第三再现是处于高得多的显示元素分辨率的信号的初步再现；将编码数据的第二部分解码为新的变换后的残差数据集合；处理该新的变换后的残差数据集合、信号的第二再现和信号的第三再现的组合，以产生新的残差数据集合；以及对信号的第三再现应用该新的残差数据集合，以产生信号的第四再现。

在进一步的实施例中，计算机处理器的硬件可以被配置为：对信号的第二再现应用上采样操作，以产生信号的第三再现，信号的第三再现具有比信号的第二再现高得多的显示元素分辨率。上采样操作的应用可以包括基于用于信号的第二再现中多个显示元素的设置得出用于信号的第三再现中的显示元素的设置。

在一种实施例中，如前面所讨论的，重构数据包括残差数据。计算机处理器硬件对信号的第三再现中的多个显示元素应用该残差数据，以产生信号的第四再现。所应用的残差数据修改信号的第三再现中这多个显示元素的设置，以产生用于信号的第四再现中的对应显示元素的设置。此外，当实现第二解码器以将编码数据的第二部分解码为残差数据时，第二解码器通过将结果与根据给定概率分布生成的基本随机的数组合来解码残差数据中的至少一个残差。

根据更进一步的实施例，计算机处理器硬件经由霍夫曼熵解码和/或运行长度(RLE)解码方法来解码编码数据的第二部分中的至少一些。

在还有进一步的实施例中，计算机处理器硬件根据在重构数据中指定的符号概率分布经由静态范围熵解码器解码编码数据。根据另一种实施例，计算机处理器硬件根据在重构数据中指定的符号概率分布经由静态算术熵解码器解码编码数据。

第二实施例的不同排列

根据进一步的实施例，计算机处理器硬件接收数据流。计算机处理器硬件将数据流解析为编码数据的第一部分、编码数据的第二部分和编码数据的第三部分。计算机处理器硬件实现第一解码器以将编码数据的第一部分解码为处于第一质量水平的信号的第一再现。计算机处理器硬件实现第二解码器以将编码数据的第二部分解码为第一重构数据，该第一重构数据指定如何将信号的第一再现修改为处于第二质量水平的信号的第二再现，第二质量水平高于第一质量水平。计算机处理器硬件处理第一重构数据和信号的第一再现，以产生处于第二质量水平的信号的第二再现。计算机处理器硬件实现第三解码器以将编码数据的第三部分解码为第二重构数据。第二重构数据指定如何将信号的第二再现修改为处于第三质量水平的信号的第三再现。第三质量水平高于第二质量水平。计算机处理器硬件处理第二重构数据和信号的第二再现，以产生处于第三质量水平的信号的第三再现。

这种第二示例实施例可以与以下一个或多个特征当中任何特征一起实现，以产生以下进一步的实施例或者如本文所描述的其它实施例。

例如，在一种非限制性实施例中，编码数据的第一部分可以根据MPEG(运动图像专家组)格式(诸如MPEG2、h.264、VC1或h.265)被解码。计算机处理器硬件从编码数据的第二部分得出第一重构数据。计算机处理器硬件从编码数据的第三部分得出第二重构数据。编码数据的第二部分和编码数据的第三部分都可以是根据一种或多种分层编码格式编码的压缩视频数据。

第三实施例的不同排列

根据进一步的实施例，计算机处理器硬件接收数据流。计算机处理器硬件将接收到的数据流解析为已解码的数据和未解码的编码数据部分。解码数据指定与信号的第一再现关联的设置。在一种实施例中，计算机处理器硬件利用解码数据(诸如未压缩的数据)产生信号的第一再现。计算机处理器硬件实现解码器以将编码数据(诸如压缩数据)解码为重构数据。重构数据指定如何修改信号的第一再现。计算机处理器硬件对信号的第一再现应用重构数据，以产生信号的第二再现。

这种示例实施例可以与以下一个或多个特征当中任何特征一起实现，以产生以下进一步的非限制性实施例。

例如，根据其它实施例，数据流中的编码数据可以根据分层编码格式进行编码，其中数据是根据相应压缩层次结构中的不同分辨率被编码的。计算机处理器硬件应用上采样操作，以在层次结构中的更高层次产生残差数据。在一种实施例中，上采样操作将较低分辨率显示元素设置转换为随后被用来修改信号的初步再现的较高分辨率显示元素设置。在一种实施例中，被上采样的元素设置(即，处于较高质量水平的初步残差数据集合)与从重构数据解码的相对残差数据相结合，以便产生随后被用来修改信号的初步再现的更高分辨率的残差数据。

根据进一步的实施例：信号是指定用于多个显示元素的设置的视频信号；信号的第二再现具有比信号的第一再现更高的质量水平；并且信号的第二再现具有与信号的第一再现相同的显示元素分辨率。

实现解码器以解码编码数据可以包括：识别如由编码数据指定的上采样操作；并且对信号的第二再现应用高上采样操作，以产生信号的第三再现，信号的第三再现具有比信号的第二再现高得多的显示元素分辨率(时间的和/或空间的)。在一些非限制性实施例中，信号的第三再现与信号的第二再现具有相同的时间显示元素分辨率和高得多的空间显示元素分辨率。在其它非限制性实施例中，信号的第三再现具有比信号的第二再现高得多的时间显示元素分辨率(即，具有更高的帧速率)和相同的空间显示元素分辨率。在还有其它非限制性实施例这，信号的第三再现具有比信号的第二再现高得多的时间和空间显示元素分辨率。

根据更进一步的实施例，信号的第三再现可以是处于高得多的显示元素分辨率的信号的初步再现。实现解码器还可以包括：利用重构数据修改处于高得多的显示元素分辨率的信号的初步再现，修改后的信号的初步再现比信号的初步再现具有更高的质量水平。

应当指出的是，本文的实施例可以在软件或硬件中实现，或者可以利用软件和硬件的组合实现，并且可以包括一个或多个计算机化的设备、路由器、网络、工作站、手持或膝上型计算机、平板计算机、移动电话、游戏控制台、机顶盒、视频会议装备、视频播放器等的配置，以执行和/或支持本文所公开的任何或全部方法操作。换句话说，一个或多个计算机化的设备或处理器可以被编程和/或配置为如本文解释的那样来操作，以执行不同的实施例。

除了如上讨论的技术，本文还有其它实施例包括软件程序来执行以上概述并在下面详细公开的步骤和操作。一种这样的实施例包括计算机可读的硬件存储资源(即，非临时性计算机可读介质)，包括在其上编码的计算机程序逻辑、指令等，当程序逻辑和指令在具有处理器和对应存储器的计算机化的设备上执行时，编程和/或使处理器执行本文公开的任何操作。这种布置可以作为在计算机可读介质上布置或编码的软件、代码和/或其它数据(例如，数据结构)被提供，其中的计算机可读介质诸如光学介质(例如，CD-ROM、DVD-ROM或BLU-RAY)、闪速存储器卡、软盘或硬盘或者任何其它能够存储(诸如一个或多个ROM或RAM或PROM芯片中的固件或微代码的)计算机可读指令的介质，或者可以作为专用集成电路(ASIC)被提供。软件或固件或其它此类配置可以被安装到计算机化的设备上，以使计算机化的设备执行本文所解释的技术。

因此，本公开内容的一种特定实施例针对计算机程序产品，该计算机程序产品包括其上存储有用于支持信号处理操作的指令的计算机可读硬件存储介质。当指令被计算机处理器硬件执行时，使系统的计算机处理器硬件：将数据流解析为编码数据的第一部分和编码数据的第二部分；实现第一解码器以将编码数据的第一部分解码为信号的第一再现；实现第二解码器以将编码数据的第二部分解码为重构数据，该重构数据指定如何修改信号的第一再现；以及对信号的第一再现应用该重构数据，以产生信号的第二再现。

本公开内容的另一种实施例针对一种计算机程序产品，该计算机程序产品包括其上存储有用于支持信号处理操作的指令的计算机可读硬件存储介质。当指令被计算机处理器硬件执行时，使系统的计算机处理器硬件：将数据流解析为编码数据的第一部分、编码数据的第二部分和编码数据的第三部分；实现第一解码器以将编码数据的第一部分解码为处于第一质量水平的信号的第一再现；实现第二解码器以将编码数据的第二部分解码为第一重构数据，该第一重构数据指定如何将信号的第一再现修改为处于第二质量水平的信号的第二再现，第二质量水平高于第一质量水平；处理第一重构数据和信号的第一再现，以产生处于第二质量水平的信号的第二再现；实现第三解码器以将编码数据的第三部分解码为第二重构数据，第二重构数据指定如何将信号的第二再现修改为处于第三质量水平的信号的第三再现，第三质量水平高于第二质量水平；以及处理第二重构数据和信号的第二再现，以产生处于第三质量水平的信号的第三再现。

本公开内容的另一种实施例针对计算机程序产品，该计算机程序产品包括其上存储有用于支持信号处理操作的指令的计算机可读硬件存储介质。当指令被计算机处理器硬件执行时，使系统的计算机处理器硬件：将接收到的数据流解析为解码数据和编码数据，解码数据指定与信号的第一再现关联的设置；利用解码数据产生信号的第一再现；实现解码器以将编码数据解码为重构数据，该重构数据指定如何修改信号的第一再现；以及对信号的第一再现应用重构数据，以产生信号的第二再现。

为清楚起见，添加了步骤的排序。这些步骤可以以任何合适的次序执行。

本公开内容的其它实施例包括软件程序、固件和/或各自的硬件，以执行以上概述和以下详细公开的任何方法实施例步骤和操作。

而且，应当理解的是，如本文所讨论的，系统、方法、装置、计算机可读存储介质上的指令等等可以严格地体现为软件程序，体现为软件、固件和/或硬件的混合，或者体现为单独的硬件(诸如在处理器内、或操作系统内或软件应用内)，等等。

如以上所讨论的，本文的技术非常适合在处理信号并产生编码数据位流或者处理编码数据位流并产生信号的再现的软件、固件和/或硬件应用中使用。但是，应当指出的是，本文的实施例不限于在这种应用中使用并且本文所讨论的技术也非常适用于其它应用。

此外，应当指出的是，虽然本文每个不同的特征、技术、配置等可能在本公开内容的不同地方进行讨论，但是意欲每个概念都可彼此独立地或者彼此组合地执行。因此，如本文所描述的一个或多个本发明、实施例等可以以许多不同的途径被体现和看待。

而且，应当指出的是，本文实施例的这个初步讨论没有指定本公开内容或要求保护的发明的每种实施例和/或递增新颖方面。相反，这个简短的描述只给出了一般的实施例以及优于常规技术的对应新颖点。对于发明的附加细节和/或可能观点(排列)，读者被指引到如下面进一步讨论的本公开内容的具体实施方式部分和对应附图。

附图说明

本发明的以上及其它目标、特征和优点将从以下对本文优选实施例的更特定描述变得明晰，如在附图中所示出的，其中相同的标号贯穿不同的视图指相同的部分。附图不一定是按比例的，相反，重点放在说明实施例、原理、概念等上。

图1A、1B、1C、1D、1E、1F、1G和1H是示出根据本文实施例的解码系统和方法的示例图。

图1E是示出根据本文实施例的、处理相应数据流的计算机处理器硬件的示例图。

图1F是示出根据本文实施例的、处理相应数据流的计算机处理器硬件的示例图。

图2是示出根据本文实施例的解码系统和方法的示例图。

图3A、3B和3C是示出根据本文实施例的解码系统和方法的示例图。

图4是示出根据本文实施例的解码系统和方法的示例图。

图5A、5B和5C是示出根据本文实施例的残差解码系统和方法的示例图。

图6A和6B是示出根据本文实施例的变换后的残差解码系统和方法的示例图。

图7A、7B和7C是示出根据本文实施例的变换后的残差数据的使用的示例图。

图8是示出根据本文实施例的支持数据处理的计算机系统的示例框图。

图9、10和11是示出根据本文实施例的解码的示例流程图。

图12A和12B是示出根据本文实施例的编码的示例框图。

具体实施方式

本文所说明的方法适用于任何类型的多维信号，包括但不限于声音信号、多声道声音信号、画面、二维图像、视频信号、多视点视频信号、3D视频信号、体积信号、体积视频信号、医学成像信号、具有多于四维的信号，等等。

为了简化，沿着描述，所说明的实施例通常采用编码和解码视频序列的用例，视频序列即由2D图像(通常称为“帧”，或在隔行视频信号的情况下称为“场”，这些术语在本申请中基本上可互换地使用)序列组成的基于时间的信号，其中每个元素(在这种非限制性的示例情况下，通常称为“像素”)由合适的颜色空间(例如，YUV、RGB、HSV等)中的一组颜色设置来表征。不同的颜色平面(例如，亮度-Y平面和两个色度–U和V–平面)常常是单独编码的，并且常常具有不同的分辨率(由于人眼对色度信息的较低灵敏度)，但是U和V平面通常充分利用为Y平面计算的运动补偿信息。

本文说明的方法和实施例可以彼此结合地和/或与其它方法结合使用。本文说明的许多优选实施例描述以实现多尺度(multiscale)解码(例如，作为非限制性例子，在单个数据流中包括同一TV(电视)信道的SD(标准清晰度)和HD(高清晰度)版本)和高效压缩(即，以最小数量的位来编码信号的合适再现)为目标的技术和算法。这也是非限制性例子：其它非限制性实施例实现不同的目的，诸如处理功耗的降低、能量效率、CPU发热减少、并行处理体系架构的使用，等等。

图1A是示出根据本文实施例的编码和解码系统的非限制性示例图。

编码器110接收信号100并将其编码到数据流115中。解码器120接收数据流115并产生重构信号150。在非限制性实施例中，信号100和信号150是视频信号，每个都包括相应的图像序列100-1、100-2、...、100-n和150-1、150-2、...、150-n。信号150的每个图像150-i是信号100的相应原始图像100-i的重构再现。例如，图像150-1是图像100-1的重构；图像150-2是原始图像100-2的重构；等等。

图1B是示出根据本文实施例的多尺度编码和解码系统的非限制性示例图。

在这种示例实施例中，计算机处理器硬件106包括解码器120和传统(legacy)解码器130。

编码器110接收信号100并将其编码到混合多尺度数据流115中。传统解码器130接收数据流115并产生重构的处于第一质量水平的SD信号140。解码器120接收数据流115并在第二质量水平产生重构的HD信号150，第二质量水平高于第一质量水平。

在非限制性实施例中，第二质量水平信号150具有比第一质量水平更高的分辨率(空间和/或时间)。在另一非限制性实施例中，传统解码器130充分利用基于MPEG的解码技术(例如，MPEG2、h.264，等等)，以便解码数据流115的一部分。在另一非限制性实施例中，解码器120产生重构的SD信号140作为基线，来产生重构的HD信号150。换句话说，计算机处理器硬件106可以被配置为使用重构的SD信号140作为基线来产生重构的HD信号150。

在一种实施例中，数据流115包括被传统解码器130忽略并且被解码器120解码的信息，从而允许解码器120基于重构的SD信号140产生重构的HD信号150。在非限制性实施例中，第二质量水平的信号150具有通过利用给定的缩放因子上采样处于第一质量水平的信号140的一个或多个空间维度所获得的分辨率。

在非限制性示例实施例中，TV机顶盒的解码信号处理器被编程，以便实现如图1B中所示的方法，其中数据流115对应于形式为MPEG传送流的被接收的广播信号。如先前所讨论并且如下面进一步讨论的，数据流115包括用于由传统解码器130解码以产生重构的SD信号140的编码数据的第一部分以及用于被解码器120解码的编码数据的第二部分(增强数据)。在一种实施例中，增强数据对应于被解码器120用来基于重构的SD信号140产生重构的HD信号150的信息。在一种实施例中，数据流115中被用来产生重构的HD信号150的数据由传送流数据包标识符(PID)表征，该PID与对应于重构的SD信号140的主要基本流的PID不同。换句话说，在一种实施例中，由传统解码器130解码以重现信号140的编码数据的第一部分利用第一独有标识符值(诸如第一个PID)标记；要由解码器120解码并产生信号150的编码数据的第二部分利用第二独有标识符值(诸如第二个PID)标记。

多种不同类型的解码器设备(例如，作为非限制性例子，机顶盒)可以被配置为接收数据流115。网络环境中的第一组一个或多个解码器设备可以只包括传统解码器130。在这种情况下，接收数据流115的解码器设备能够解码编码数据的仅第一部分，以产生重构的SD信号140，用于在相应的显示屏上显示。对应的计算机处理器硬件对将数据流中接收到的编码数据的仅第一部分解码为信号的第一再现进行启动。换句话说，编码数据的第二部分没有被传统解码器130使用。计算机处理器硬件(例如，机顶盒)接着启动信号的第一再现在显示屏上的显示。因此，传统解码器能够接收数据流115并且仍然显示该信号的再现，尽管是以较低质量水平(诸如SD)而不是更高质量水平的HD。

升级后的、包括解码器120的解码器设备具有解码数据流115中编码数据的第一部分以及编码数据的第二部分的能力，以重现重构的HD信号150。以这种方式，传统的机顶盒和相应的解码器接收相同的数据流115，但就是忽略增强数据(编码数据的第二部分)并把信号解码到至多第一质量水平(诸如重构的SD信号140)。根据其它非限制性实施例，包括编码数据的第一部分和编码数据的第二部分的混合多尺度数据流根据合适的蓝光视频格式存储在蓝光盘上，其中编码数据的第二部分(增强数据)作为元数据被包括。传统蓝光解码器忽略增强数据，将编码数据的第一部分解码为处于第一质量水平(诸如全HD)的视频信号。升级后的UltraHD蓝光解码器利用处于第一质量水平的视频信号作为基线来解码编码数据的第一部分和编码数据的第二部分二者，以在第二(更高)质量水平(诸如UltraHD)解码视频信号。

图1C是示出根据本文实施例的、具有多个增强层的多尺度编码和解码系统的非限制性示例图。

如图所示，计算机处理器硬件106的这种示例实现包括解码器130、解码器120和解码器125。

在这种非限制性示例实施例中，编码器110接收处于最高的质量水平(诸如UltraHDp60)的原始信号100并将其编码到多尺度数据流115中。传统解码器130接收数据流115并产生处于第一质量水平(诸如隔行SD576i60)的重构的SD信号140。解码器120接收数据流115并产生处于第二质量水平(诸如隔行全HD1080i60)的重构的HD信号150，第二质量水平比第一质量水平高。解码器125接收数据流115并产生处于第三质量水平(诸如逐行UltraHDp60)的重构的UltraHD信号160，第三质量水平比第二质量水平高。

在进一步的非限制性实施例中，传统解码器130充分利用基于MPEG的解码技术(例如，MPEG2、h.264，等等)，以便解码数据流115。在另一种非限制性实施例中，解码器130产生重构的SD信号140，解码器120使用信号140作为基线来产生重构的HD信号150；接着，解码器125使用重构的HD信号150作为基线，来产生重构的UltraHD信号160。

数据流115包括被传统解码器130忽略并且被解码器120解码的信息，从而允许解码器120基于重构的SD信号140产生重构的HD信号150。数据流115还包括被解码器120忽略并且被解码器125解码的信息，从而允许解码器125基于重构的HD信号150产生重构的UltraHD信号160。

以这种方式，所接收的数据流115中的编码数据的不同部分被用来将重构的较低质量水平的信号转换为重构的较高质量水平的信号。

更具体而言，计算机处理器硬件106利用数据流115中编码数据的第一部分产生重构的SD信号140。解码器120解码数据流115中编码数据的第二部分。计算机处理器硬件106利用编码数据的经解码的第二部分将重构的SD信号140转换为重构的HD信号150。更进一步，解码器125解码数据流115中编码数据的第三部分。计算机处理器硬件106利用编码数据的经解码的第三部分将重构的HD信号150转换为重构的UltraHD信号160。

根据一些非限制性实施例，数据流115中编码数据的第二部分由计算机处理器硬件106至少部分地基于重构的SD信号140来解码，并且数据流115中编码数据的第三部分由计算机处理器硬件106至少部分地基于重构的HD信号150来解码。

在非限制性实施例中，解码器125通过以下来产生第三质量水平：首先组合重构的HD信号150与第一残差集合，接着按二或其它合适值的垂直因子上采样信号(将隔行HD变为逐行HD)，接着将生成的信号与第二残差集合组合，接着对于两个空间维度以二为缩放因子上采样(产生处于第三质量水平的信号的预测——或初步——再现)，并且最后组合处于第三质量水平的信号的预测再现与第三残差集合。

在非限制性示例实施例中，TV机顶盒的解码信号处理器被编程，使得实现如图1C中所示的解码方法，其中数据流115对应于形式为根据ISO/IEC 13818-1和ETSI EN 50083-9的MPEG传送流的被接收的广播信号。与被解码器120和被解码器125用来基于重构的SD信号140产生重构的HD信号150和重构的UltraHD 160的信息对应的增强数据(诸如编码数据的第二部分和编码数据的第三部分，等等)分别由与被用来产生重构的SD信号140的主要基本流(编码数据的第一部分，诸如MPEG编码数据)的传送流数据包标识符(PID)不同的独有的PID表征。以这种方式，传统机顶盒解码器(只包括传统解码器130，以解码利用传统MPEG格式编码的数据)接收同一数据流115，但就是忽略增强数据并将信号解码到至多第一质量水平(SD质量水平)。

根据图1C中的还有附加实施例，经由标记，计算机处理器硬件106将数据流115解析为编码数据的第一部分(用第一标记值标记的数据)、编码数据的第二部分(用第二标记值标记的数据)和编码数据的第三部分(用第三标记值标记的数据)。

计算机处理器硬件106实现将编码数据的第一部分解码为处于第一质量水平的信号的第一再现(诸如重构的SD信号140)的第一解码器130。计算机处理器硬件106实现将编码数据的第二部分解码为第一重构数据的第二解码器120。第一重构数据指定如何将信号的第一再现140修改为处于第二质量水平的信号的第二再现150。第二质量水平大于第一质量水平。换句话说，第二质量水平信号更接近从其得出信号的再现的原始信号。计算机处理器硬件106处理第一重构数据和信号的第一再现140，以产生处于第二(更高)质量水平的信号的第二再现150。

在一种实施例中，计算机处理器硬件106实现将数据流115中编码数据的第三部分解码为第二重构数据的第三解码器125。第二重构数据指定如何将信号的第二再现150修改为处于第三质量水平的信号的第三再现160。第三质量水平大于第二质量水平。计算机处理器硬件106处理第二重构数据和信号的第二再现150，以产生处于第三质量水平的信号的第三再现160。

作为进一步的非限制性例子，编码数据的第一部分可以根据MPEG(运动图像专家组)格式被解码。第一重构数据可以从数据流115中编码数据的第二部分中得出。第二重构数据可以从数据流115中编码数据的第三部分中得出。数据流115中编码数据的第二部分和编码数据的第三部分都可以根据不同的编码格式(诸如作为非限制性例子，分层的、压缩数据编码格式)被解码为相应的重构数据。

图1D是示出根据本文实施例的、具有增强元数据的到显示设备的多尺度向后兼容传输的非限制性示例图。

在这种示例实施例中，计算机处理器硬件106包括被使能的(enabled)解码器和显示设备121以及传统解码器和显示设备131。

发射器设备111接收处于最高质量水平(诸如UltraHDp120)的原始信号100并根据给定的传输格式(诸如作为非限制性例子，用于经诸如HDMI电缆的链路传输的HDMI格式)产生多尺度数据流115。传统解码器和显示设备131接收数据流115并产生处于第一质量水平(诸如UltraHDp60)的重构信号141。被使能的解码器和显示设备121接收数据流115并产生处于第二质量水平(诸如UltraHDp120)的重构信号151，第二质量水平高于第一质量水平。

在非限制性实施例中，根据与传统设备兼容的标准传输格式(诸如HDMI、DisplayPort或DVI)，第一质量水平的数据(诸如未压缩的数据)在数据流116中作为未压缩的视频数据被发送。增强数据(诸如在数据流116中发送的压缩数据)作为编码的元数据被发送，并且被被使能的解码器和显示设备121解码，以便基于处于第一质量水平的重构信号141产生处于第二质量水平的重构信号151。

在非限制性示例实施例中，电视机的解码信号处理器被编程，以便实现如图1D中所示的方法，其中数据流116对应于接收到的HDMI信号。流116中的增强数据(诸如压缩数据)是被解码器121用来利用重构信号141作为基线来产生重构信号151的信息。在非限制性实施例中，增强数据在HDMI传输的水平消隐期内作为孤岛数据包(Island Packet)被发送(音频数据也使用消隐期，但消隐期的相当一部分可用于增强数据)。在其它非限制性实施例中，增强数据(数据流116中附加的压缩数据，以将重构信号141转换为重构信号151)的传输经由特定于供应商的信息帧(VSI)充分利用HDMI元数据传输。在其它非限制性实施例中，传输充分利用DisplayPort电缆，并且增强数据在DisplayPort格式中作为元数据被发送。

通过发送增强数据(诸如分层的、压缩增强数据)作为编码的元数据，不能解释元数据的传统显示设备接收相同的数据流116，但就是忽略增强数据并且显示处于第一质量水平的信号141。以这种方式，例如，采用该方法的游戏控制台可以经由HDMI(或DisplayPort)发送处于比通过仅仅采用重现信号141(包括图像141-1、图像141-2、...)所需的常规(未压缩)传输格式而将可行的更高分辨率和/或更高帧速率的视频信号。接收方未被使能的显示设备只解码并显示处于第一质量水平的信号141，而被使能的显示设备和解码器还能够解码附加的增强数据(压缩数据)，重构处于一个或多个更高质量水平的信号再现。

图1E是示出根据本文实施例的、处理相应数据流的计算机处理器硬件的示例图。

如图所示，数据流115包括编码数据的第一部分181(第一压缩数据)和编码数据的第二部分182(第二压缩数据)。在一种实施例中，数据流115作为MPEG(运动图像专家组)传送流被接收，该传送流包括用第一数据包标识符(PID#1)标记的数据的第一部分181和用第二数据包标识符(PID#2)标记的数据的第二部分182。

如图所示，编码数据的第一部分181在数据流115中的编码数据的第二部分182当中交错。

编码数据的多个第一部分181包括编码数据的第一部分181-1、编码数据的第一部分181-2，等等。如先前讨论的，编码数据的第一部分181中的每一个都用指示此类数据要由解码器130解码的对应的第一独有标记值(诸如传送流中的PID号)来标记。

编码数据的第二部分182包括编码数据的第二部分182-1、编码数据的第二部分182-2，等等。编码数据的第二部分182中的每一个都用指示此类数据要由解码器120解码的对应的第二独有标记值来标记。

计算机处理器硬件106包括解析器逻辑176。正如其名称所暗示的，解析器逻辑176将接收到的数据流115解析为要被解码器130解码的数据部分(诸如压缩的MPEG数据)和要被解码器120解码的数据部分(诸如压缩的分层编码数据)。在一种实施例中，解析器逻辑176利用数据流115中的标记来识别数据的第一部分181和数据的第二部分182。

根据进一步的实施例，数据流115包括指示编码数据的第一部分与编码数据的第二部分之间的对应重放定时关联的定时信息。在这种示例实施例中，数据流115中的定时信息指示编码数据的部分181-1与编码数据的部分182-1之间的定时关联183-1；数据流115中的定时信息指示编码数据的部分181-2与编码数据的部分182-2之间的定时关联183-2；等等。

按照进一步的非限制性示例实施例，计算机处理器硬件106识别编码数据的第一部分181与编码数据的第二部分182之间的定时关联。定时关联和信息指示重构数据184(诸如残差数据)与信号的第一再现146-1中的显示元素的多个帧或图像中的哪一帧或图像有关。

计算机处理硬件106实现将编码数据的第一部分181解码为信号的第一再现146-1的第一解码器130。

如进一步示出的，计算机处理器硬件106实现将编码数据的第二部分182解码为相应重构数据184的第二解码器120。根据非限制性实施例，重构数据184的一部分也至少部分地基于信号的第一再现146-1从编码数据192被解码。计算机处理器硬件106还包括修改逻辑178-1、上采样逻辑179-1、修改逻辑178-2等等，以关于编码数据的第二部分182执行进一步的解码操作。因此，修改逻辑178-1、上采样逻辑179-1、修改逻辑178-2等等都可以被认为是第二解码器120的一部分。由修改逻辑178-1、上采样逻辑179-1、修改逻辑170-2等等执行的功能在下面进一步讨论。

一般而言，重构数据184指定如何将信号的第一再现146-1(诸如包括多个帧或场的视频信号)修改为(具有相同或不同分辨率的)更高质量水平的信号。

在一种实施例中，解码器130根据MPEG(运动图像专家组)解码方法解码编码数据的第一部分181。解码器120根据分层编码格式解码(解压)编码数据的第二部分182，以产生重构数据184。

进一步作为非限制性例子，信号的再现146-1可以是从编码数据的第一部分181得出的标准清晰度SD信号。如本文所描述的，计算机处理器硬件106对信号的第一再现146-1应用重构数据184，以产生信号的第二再现(具有相同或不同分辨率的更高质量水平)。如前面所讨论的，重构信号可以包括多个图像或视频帧，其每个都包括多个显示元素。

计算机处理器硬件106实现修改逻辑178-1，以将信号的再现146-1转换为(具有更高质量水平的)信号的再现146-2。在一种实施例中，修改逻辑178-1利用重构数据184的一部分来产生处于更高质量水平的信号的再现146-2。重构数据184(诸如残差数据)指示为了产生信号的再现146-2而要对信号的再现146-1中的一个或多个显示元素或图像所作的修改(诸如校正)。如所提到的，信号的第二再现146-2可以与信号的第一再现146-1具有相同的显示元素分辨率(诸如相同的空间分辨率和相同的帧速率)。

进一步作为非限制性示例实施例，为了产生信号的第二再现146-2而对信号的第一再现146-1(诸如信号的初步再现)应用重构数据可以包括：根据如以上讨论的识别出的定时关联，利用重构数据184将信号的第一再现时间上采样为信号的第二再现146-2，信号的第二再现比信号的第一再现包括更多数量的显示元素帧。

作为进一步的例子，信号的第一再现146-1可以包括每秒60帧样本，信号的第二再现146-2可以包括每秒120帧；信号的第一再现146-1可以包括每秒120帧，信号的第二再现146-2可以包括每秒240帧；等等。在这种实施例中，为了实现时间上采样，计算机处理器硬件可以被配置为：基于信号的第一再现146-1(诸如处于第一帧速率)并且如重构数据184所指定的，产生处于第二帧速率的信号的初步再现；产生如重构数据184所指定的残差数据集合；以及对处于第二帧速率的信号的初步再现应用该残差数据集合，以产生信号的第二再现146-2。因此，修改逻辑178-1可以被配置为利用残差数据以及时间上采样操作来执行校正(以将信号增加至更高帧速率)，如重构数据184所指定的。

根据进一步的实施例，应当指出的是，信号的再现146-2可以具有与信号的再现146-1中的每秒帧数相同的每秒帧数。例如，信号的第一再现146-1可以包括每秒60帧，由修改逻辑178-1产生的信号的第二再现146-2可以具有更高质量水平并且也包括每秒60帧；信号的第一再现146-1可以包括每秒120帧，信号的第二再现146-2可以具有更高质量水平并且包括每秒120帧；等等。

计算机处理硬件106还包括上采样逻辑179-1。根据重构数据184所指定的设置，上采样逻辑179-1执行将信号146-2上采样为信号的再现146-3。在一种实施例中，由上采样逻辑179-1执行的上采样操作包括信号的再现146-2到信号的更高分辨率再现146-3的转换。换句话说，信号的再现146-2可以是SD信号。由上采样逻辑179-1应用的上采样操作可以被配置为将信号146-2中较低的分辨率显示元素设置转换为信号146-3中对应的更高分辨率显示元素设置。这在下面更详细地讨论。

根据进一步的实施例，实现第二解码器120和相关逻辑以解码编码数据的第二部分182可以包括利用重构数据184来识别上采样操作；并且经由上采样逻辑179-1，对信号的第二再现146-2应用识别出的上采样操作，以产生信号的第三再现146-3，信号的第三再现146-3具有比信号的第二再现146-2的显示元素分辨率高得多的显示元素分辨率。如由(被用来产生重构数据184的)编码数据的第二部分182指定的上采样操作的识别可以包括解码对应于上采样内核的特定系数的参数；至少部分地基于被解码的参数，产生对应于信号的第三再现146-3的一部分的上采样内核；以及对信号的第二再现146-2的一部分应用该上采样内核，以便产生信号的第三再现146-3的该部分。

信号的再现146-3可能是需要校正的初步HD信号。

计算机处理器硬件106还包括修改逻辑178-2。在一种实施例中，修改逻辑178-2利用重构数据184的一部分来产生信号的再现146-4。例如，重构数据184指示为了产生信号的再现146-4而要对信号的再现146-3中的一个或多个显示元素所作的修改(诸如校正)。修改逻辑178-2对信号146-3应用重构数据184，以校正适当的显示元素设置。以与先前论述的类似的方式，修改逻辑178也可以被配置为执行时间上采样。因此，信号146-4可以比信号146-3包括每单位时间更高数量的重放帧图像。

上采样(空间上和/或时间上)以及接着修改的这个过程可以以任意数量的水平重复。因此，用于诸如HD信号的信号140的再现可以被上采样并校正成对应的UltraHD信号，用于在相应的显示屏上重放。

根据更进一步的实施例，计算机处理器硬件106实现第二解码器120和相关组件，以解码编码数据的第二部分182。这可以包括：以如由编码数据的第二部分182所指定的第一质量水平解码第一残差数据集合；利用第一残差数据集合(重构数据184的一部分)修改信号的第一再现146-1并产生信号的第二再现146-2；至少部分地基于信号的第二再现146-2，产生信号的第三再现146-3，信号的第三再现146-3具有比信号的第二再现146-2的分辨率(SD分辨率)更高的分辨率(诸如HD分辨率)；以如由编码数据的第二部分182指定的第二质量水平解码第二残差数据集合(重构数据184)；利用第二残差数据集合修改信号的第三再现146-3并产生信号的第四再现146-4。如果进一步期望，则计算机处理器的硬件可以被配置为：基于信号的第四再现146-4，产生信号的第五再现，信号的第五再现具有比信号的第四再现146-4的分辨率更高的分辨率(诸如逐行全HD分辨率、UltraHD分辨率，等等)；以如由编码数据的第二部分182指定的第三质量水平解码第三残差数据集合(重构数据184)；以及利用第三残差数据集合修改信号的第五再现并产生信号的第六再现(诸如校正的UltraHD分辨率信号)。在一种实施例中，信号的第一再现是隔行视频信号，并且信号的第六再现是逐行视频信号。如已经提到的，基于具体的非限制性实施例，修改为更高质量水平、上采样为信号的初步上采样再现、以及接着修改为处于下一个更高质量水平的信号的再现的过程可以重复任意次数。

如前面关于图1D所讨论的，发送器设备111可以被配置为向对应的计算机处理器硬件107发送相应的数据流116。图1F是示出根据本文实施例的、处理相应的数据流116的计算机处理器硬件107的示例图。

如图所示，数据流116包括解码数据191的多个段(解码数据191-1、解码数据191-2、...)。数据流116还包括编码数据192的多个段(编码数据192-1、编码数据192-2、...)。

在一种非限制性实施例中，解码数据191是未压缩的数据。编码数据192是压缩数据(诸如根据分层编码格式压缩的数据)。数据流116可以是HDMI信号，其中编码数据192是压缩的视频数据；解码数据是未压缩的视频数据。根据另一种实施例，数据流116是DisplayPort接口，其中编码数据192是压缩的视频数据；解码数据是未压缩的视频数据。

如进一步示出的，计算机处理硬件107包括解析器逻辑196。如其名字所暗示的，解析器逻辑196将数据流160中接收到的数据解析为解码数据191和编码数据192。解码数据(诸如根据HDMI传输格式被格式化的数据)指定重构信号的第一再现146-1的设置。经由解码数据191，计算机处理器硬件107产生信号的第一再现146-1。在一种实施例中，信号是指定用于多个显示元素的设置的视频信号。

计算机处理器硬件107包括解码器120。计算机处理器硬件107包括附加的逻辑，诸如修改逻辑198-1、上采样逻辑199-1、修改逻辑198-2，等等，所有这些都可以被认为是解码器120的部分或与其相关联。

计算机处理器硬件107实现将编码数据192解码为相应的重构数据184的解码器120-1。根据非限制性实施例，重构数据184的一部分是也至少部分地基于信号的第一再现146-1从编码数据192解码的。重构数据184指定如何修改信号的第一再现146-1。在一种实施例中，计算机处理器硬件107经由根据分层编码格式进行解码来将编码数据192解码为重构数据184。如本文进一步描述的，编码数据192可以根据分层编码格式来编码，其中数据根据层次结构中的不同分辨率(空间的和/或时间的)被编码。本文的实施例还可以包括应用一个或多个上采样操作，以产生重构数据184中的残差数据。上采样操作将较低分辨率显示元素设置转换为较高分辨率显示元素设置。

经由修改逻辑198-1，计算机处理器硬件107对信号的第一再现146-1应用重构数据184的一部分(诸如残差数据的一部分)，以产生信号的第二再现146-2。信号的第二再现146-2比信号的第一再现146-1具有更高的质量水平。在一种实施例中，信号的第二再现146-2与信号的第一再现146-1具有相同的显示元素分辨率(诸如SD)。进一步作为非限制性例子，利用重构数据184，修改逻辑198-1校正信号的再现146-1中显示元素的某些设置，以产生信号的再现146-2。

如先前所讨论的，计算机处理器硬件107还包括上采样逻辑199-1。计算机处理器硬件107识别如由(从编码数据192得出的)重构数据184指定的一个或多个上采样操作。上采样逻辑199-1对信号的第二再现146-2应用识别出的上采样操作，以产生信号的第三再现146-3。在一种实施例中，信号的第三再现146-3比信号的第二再现146-2具有高得多的显示元素分辨率。作为例子，信号的第二再现146-2可以是SD分辨率的视频信号；信号的第三再现146-3可以是初步HD分辨率的视频信号。

根据进一步的实施例，信号的第三再现146-3是比信号的再现146-2处于高得多的显示元素分辨率的信号的初步再现。计算机处理器硬件还包括修改逻辑198-2。如图所示，修改逻辑198-2利用重构数据184的一部分(诸如残差数据)将信号的初步再现146-3修改为信号的再现146-4。信号的再现146-4(修改后的信号的初步再现146-3)具有比处于HD分辨率的信号的初步再现146-3更高的质量水平。以与先前所论述的类似的方式，计算机处理器硬件107可以重复上采样和修改到任何期望的分辨率水平(空间的和/或时间的)的过程。

根据其它非限制性实施例，信号的第四再现比信号的第一再现具有更高的帧速率，并且上采样操作包括合适的时间上采样操作。

图1G是示出根据本文实施例的处理的示例图。

如图所示，计算机处理器硬件106利用编码数据的第一部分181产生信号的再现146-1，包括图像或帧FR1、FR2、FR3，等等。计算机处理器硬件106实现解码器120，以从编码数据的第二部分182产生残差数据184-1、184-2，等等。

经由残差数据184-1对信号的第一再现146-1中的帧FR1、FR2、FR3等等的应用，计算机处理器硬件106产生信号的初步再现(处于第二帧速率)，包括图像或帧FR1’、FR1.5’、FR2’、FR2.5’、FR3’，等等。如图所示，信号的这种初步再现包括比信号的再现146-1所包括的更多的帧。在其它非限制性实施例中，初步再现包括与信号的再现146-1所包括的相同数量的帧。

计算机处理器硬件106还使用残差数据184-2将包括帧FR1’、FR1.5’、FR2’、FR2.5’、FR3’等等的信号的初步再现修改为包括帧FR1”、FR1.5”、FR2”、FR2.5”、FR3”等等的信号的再现146-2。信号的再现146-2具有比包括帧FR1’、FR1.5’、FR2’、FR2.5’、FR3’等等的信号的初步再现更高的质量水平。

在一种实施例中，相应的残差数据集合是根据跨信号的多个帧的时间继承来产生的。例如，计算机处理器硬件可以被配置为至少部分地基于为不同帧解码的残差数据(诸如用来将帧FR1转换为帧FR1’的残差数据)解码用于信号的给定帧的残差数据(诸如用于由帧FR2产生帧FR2’的残差数据)。根据一些非限制性实施例，时间继承是通过如下解码用于给定帧的残差数据来实现的(图1F中时间继承的“方法1”)：解码用于给定帧的初步残差数据；对于该残差数据的一部分(如由重构数据184所指示的)，组合用于给定帧的初步残差数据与参照帧的残差数据，从而产生用于该给定帧的残差数据。根据其它非限制性实施例，时间继承是通过如下解码用于给定帧的残差数据来实现的(图1F中时间继承的“方法2”)：解码用于一系列帧的第一基础残差数据；组合该基础残差数据与相对残差数据，从而产生用于给定帧的残差数据。在一些实施例中，第一基础残差数据也是通过组合相对残差数据与处于更高聚合水平的第二基础残差数据而产生的。

图1H是示出根据本文实施例的处理的示例图。

如图所示，计算机处理器硬件106利用编码数据的第一部分181产生信号的再现146-1，包括图像或帧FR1、FR2、FR3、FR4等等。计算机处理器硬件106实现解码器120，以从编码数据的第二部分182产生第一基础残差数据集合184-B1、184-B2，等等。

在一种实施例中，重构数据184包括根据多个显示元素分辨率编码的残差数据的层次结构。第二解码器120(或其它合适的资源)对编码数据的第二部分(或重构数据184)应用上采样操作，以重现从基础残差数据184-B1(重现用于在多个时间样本应用的残差数据的根数据)得出的残差数据的层次结构167-1。换句话说，重构数据184可以是或者包括根据多个元素分辨率编码的残差数据的层次结构167-1(层次结构167-1中较低层次的空间和/或时间分辨率较低，层次结构167-1中的较高层次具有较高的空间和/或时间分辨率)。在一种实施例中，第二解码器120对编码数据的第二部分182应用上采样操作，以重现残差数据的层次结构167-1。

根据进一步的实施例，计算机处理器硬件根据跨信号中的多帧显示元素的残差的时间继承来产生层次结构167-1。如图所示，在残差数据的层次结构的给定较高层次，计算机处理器硬件至少部分地基于基础残差数据集合(诸如层次结构167-1中较低的残差数据)解码用于第一帧的残差数据(诸如残差数据185-1)，该基础残差数据集合充当基线来重现用于信号的多个时间样本的残差数据。该基础残差数据集合被时间上采样，并接着与(如由重构数据184指定的那样被重现的)相对残差数据组合，以便产生处于更高时间分辨率的残差数据。当时间继承对于基础残差数据的给定部分被指定时(诸如用合适的时间继承符号)，该基础残差数据集合的对应部分被扩展为用于信号的多个时间样本的残差数据，而不将它与任何附加的残差数据组合(即，不从重构数据184解码任何附加信息)。换句话说，基础重构数据的一部分184-B1跨时间扩展，以产生用于信号的多个时间样本(诸如图像或帧)的相应残差数据的一部分185-1、185-2，等等。

作为对时间继承的附加或另选，残差数据185的层次结构可以根据信号中给定帧的显示元素内残差的空间继承来产生。在这种情况下，利用如下的操作序列，用于给定图像或帧的残差数据作为处于不同空间分辨率的残差数据的层次结构被编码：解码处于层次结构中给定质量水平的残差数据，上采样该残差数据从而产生处于下一更高分辨率的初步残差数据，对该下一更高分辨率解码相对残差数据，对初步残差数据应用相对残差数据，从而产生处于层次结构中下一更高质量水平的残差数据。相对残差数据可以对于信号的每个时间样本独立解码或者根据聚合层次的时间层次结构来解码。在残差数据的层次结构中给定的质量水平，计算机处理器硬件仅基于为残差数据的层次结构中较低质量水平解码的重构数据来解码用于给定帧的一部分的残差数据。换句话说，对于残差数据的一部分，重构数据184指定在低(空间)质量水平的信息连同空间继承符号，并且解码器能够在更高的质量水平重构残差数据的对应部分，而不用来自重构数据的任何附加信息。根据其它非限制性实施例，对于残差数据的一部分，重构数据184指定在低(空间)质量水平的信息连同时间继承符号，并且解码器利用参照残差数据集合作为基线来重构处于更高质量水平的残差数据的对应部分。

计算机处理器硬件106利用第一基础残差数据集合184-B1来重现残差数据185-1(对于时间样本#1)、残差数据185-2(对于时间样本#2)、残差数据185-3(对于时间样本#3)，等等。

如进一步示出的，计算机处理器硬件利用第一残差数据集合185-1修改帧FR1并将其转换为帧FR1’；计算机处理器硬件利用第二残差数据集合185-2修改帧FR2并将其转换为帧FR2’；计算机处理器硬件利用第三残差数据集合185-3修改帧FR3并将其转换为帧FR3’；等等。在这种示例实施例中，信号的再现146-2(分辨率#1)包括从信号的再现146-1(分辨率#1)得出的帧FR1’、FR2’、FR3’、FR4’等。

计算机处理器硬件106执行如由重构数据184指定的上采样操作，以将信号的再现146-2上采样为信号的再现146-3。例如，上采样逻辑188-1将帧FR1’中的显示元素空间上采样为帧FR1”；上采样逻辑188-2将帧FR2’中的显示元素空间上采样为帧FR2”；上采样逻辑188-3将帧FR3’中的显示元素空间上采样为帧FR3”；等等。上采样可以包括将信号的较低分辨率再现146-2转换为信号的更高分辨率再现146-3。

因此，本文的实施例包括对信号的第三再现146-3中的多个显示元素应用残差数据186，以产生信号的第四再现146-4，所应用的残差数据186修改信号的第三再现146-3中多个显示元素的设置，以产生在信号的第四再现146-4中用于对应显示元素的设置。在这种示例实施例中，信号的再现146-3(分辨率#2)包括帧FR1”、FR2”、FR3”、FR4”等。

如进一步示出的，计算机处理器硬件106实现解码器120或相关的逻辑，以从编码数据的第二部分182产生第二基础残差数据集合184-B2。以与计算机处理器硬件106经由层次结构167-2中的上采样从基础残差数据184-B1得出残差数据集185类似的方式，计算机处理器硬件106利用第二基础残差数据集合184-B2来重现残差数据186-1(对于时间样本#1)、残差数据186-2(对于时间样本#2)、残差数据186-3(对于时间样本#3)，等等。

如图所示，计算机处理器硬件利用分层得出的第一残差数据集合186-1将帧FR1”转换为帧FR1”’；计算机处理器硬件利用第二残差数据集合186-2将帧FR2”转换为帧FR2”’；计算机处理器硬件利用第三残差数据集合186-3将帧FR3”转换为帧FR3”’；等等。在这种示例实施例中，信号的再现146-4(分辨率#2)包括从信号的再现146-3(分辨率#2)得出的帧FR1”’、FR2”’、FR3”’、FR4”’等等。

图2是示出根据本文实施例的解码系统的非限制性示例图。

数据流115被框200接收并被分离，从而产生传统SD数据210和附加数据220。传统SD数据通过框230从传统SD数据解码SD而被解码，从而产生SD LOQ(质量水平)140-1，处于第一质量水平(SD质量水平)的信号的再现。SD LOQ 140-1被框270上采样，从而产生初步HDLOQ 280，处于第二(较高)质量水平(HD质量水平)的信号的预测再现。

增强数据220通过框240解码HD残差而被解码，从而产生HD残差260。

初步HD LOQ 280和HD残差260组合，从而产生最终的HD LOQ，即重构的HD信号150-1。

在非限制性实施例中，SD LOQ 140-1是处于第一质量水平的元素的二维平面，而初步HD LOQ 280、HD残差260和重构的HD信号150-1是处于第二(更高)质量水平的元素的二维平面。

在非限制性实施例中，框230充分利用时间解码方法(例如，MPEG2、H.264、VP8等)，使得SD LOQ 140-2(由框230产生的，为了可视表示的简化而未在图2中示出)至少部分地依赖于先前的解码信号140-1。在其它非限制性实施例中，框240也实现时间解码方法：在非限制性实施例中，由框240解码以产生信号150-2的HD残差至少部分地基于为了产生信号150-1而被解码的HD残差；在另一非限制性实施例中，为了产生信号150-2而被解码的HD残差至少部分地基于也被框240用来解码为产生信号150-1而应用的HD残差的共同支持平面。

在非限制性实施例中，增强数据220包括被框270处理以修正并上采样SD LOQ140-1的信息。

在非限制性实施例中，通过充分利用被某些传统解码器忽略的数据包识别符，数据流115包括增强数据220，使得所述解码器可以接收并解码数据流115，并且通过就是忽略增强数据220并解码传统数据210来产生SD LOQ 140-1。

在非限制性实施例中，解码器120实现如由编码数据的第二部分指定的抖动。在实施例中，这是由通过应用根据给定概率分布生成的基本随机的数来解码残差数据260中的至少一个残差而实现的。

图3A是描述与图2中所描述类似的解码系统的非限制性示例图，其中数据流115包括对应于增强数据310的信息。框320组合SD LOQ 140-1与修正层(SD残差数据)，接着对其上采样，从而产生预测的HD LOQ 280。

在非限制性实施例中，修正层是根据基于层的分层解码方法被解码的。

在非限制性实施例中，被用来产生预测的HD LOQ 280的上采样和图像处理操作如由增强数据310所指示的那样被实现。

在其它非限制性实施例中，增强数据310包括用于由框320使用的上采样操作的内核系数。在非限制性实施例中，上采样操作使用由增强数据310指示的4×4内核(处于较低质量水平的16个元素的加权平均——借由16个系数——以便产生更高质量水平的每个画面元素，或者在用于两个空间维度的因子为二的上采样的非限制情况下用于处于较高质量水平的每个2×2画面元素块的64个系数)。在非限制性实施例中，增强数据310包括对应于被框320用来将SD LOQ140-1上采样为预测的HD LOQ 280的内核系数平面的信息。在非限制性实施例中，被框320使用的上采样和图像处理操作包括非线性操作。在非限制性实施例中，色度分量(例如，YUV颜色空间中的U和V)的上采样在为亮度(Y)分量产生最终的HD LOQ150-1之后执行，并且至少部分地基于最终的HD LOQ 150-1的重构Y平面(在非限制性实施例中，借由双边滤波方法)。

在非限制性实施例中，由框320执行的操作包括图像处理操作(例如，反锐化遮蔽、边缘重构滤波器、抖动等)。在另一非限制性实施例中，由框240执行的操作包括将解码的残差与根据给定概率分布计算出的随机值组合。

图3B是描述与图2和图3A中所描述类似的解码系统的非限制性示例图，其中数据流116包括对应于传统较低帧速率数据330、运动补偿增强数据311和附加增强数据312的信息。框321基于低帧速率信号332产生预测的高帧速率信号360。在非限制性实施例中，为产生信号360相对于(vs.)信号332的附加帧/场所执行的操作包括时间上采样操作和/或运动补偿操作。

框340处理附加增强数据312并解码用于附加帧/场的残差350。接着，残差350与新创建的信号360的帧/场组合，从而产生最终重构的高帧速率信号151-1。

在非限制性实施例中，数据流116经由HDMI电缆根据HDMI标准传输指南被发送，并且传统较低帧速率数据330包含根据HDMI标准传输指南的未压缩的视频数据；增强数据311和312作为被传统HDMI设备(这些设备仅解码和显示信号332)忽略的元数据被发送，同时它们被适当使能的设备(这些设备解码和显示信号151)处理和解码。

图3C是进一步示出与图3B中所描述类似的解码系统的非限制性示例图，描述了生成附加帧以便基于处于较低帧速率(即，关于时间分辨率的较低质量水平)的视频信号并且基于增强信息来产生处于更高帧速率(即，关于时间分辨率的更高质量水平)的视频信号的过程。

其它非限制性实施例处理增强数据，使得基于处于较低质量水平的信号来产生由更高空间分辨率和更高帧速率二者表征的视频信号。

图4是示出根据本文实施例的、与图2和图3中所描述系统类似的解码系统的非限制性示例图，其中数据流115包括对应于传统SD数据210、编码数据410、上采样编码数据415和编码数据420的信息。编码数据410通过框430解码SD残差来处理，从而产生处于第一质量水平(在非限制性实施例中，SD分辨率)的残差435的平面。在非限制性实施例中，由框430执行的操作包括熵解码编码数据410和反量化通过熵解码产生的符号，从而生成残差435。在另一非限制性实施例中，由框430执行的操作包括熵解码编码数据410，变换通过熵解码产生的符号并且反量化变换后的符号，从而产生残差435。在另一非限制性实施例中，由框430执行的操作包括熵解码编码数据410，反量化通过熵解码产生的符号，将反量化的符号变换为残差435。在非限制性实施例中，反量化操作接收量化的符号并且根据给定的概率分布生成包括在对应量化间隔中的值。在其它非限制性实施例中，由框430执行的操作包括根据基于层的分层解码方法解码残差平面。在一种实施例中，该方法包括：以第一(较低)质量水平解码残差平面；基于处于第一质量水平的残差平面，产生处于第二(较高)质量水平的残差预测平面；组合处于第二质量水平的残差预测平面与解码数据，从而产生处于第二质量水平的残差平面。

残差435与SD LOQ 140-1组合，从而生成修正的SD LOQ 460。通过充分利用对应于上采样编码数据415的上采样操作，修正的SD LOQ 460被框480上取样，从而产生预测的HDLOQ 280。

编码数据420被框440解码，从而生成变换后的残差470。变换后的残差470、修正的SD LOQ 460和预测的HD LOQ 280被框490“变换及求和”处理，从而产生重构的HD信号150-1。

在非限制性实施例中，重构的HD信号150-1是视频序列的单独图像(例如，帧或场)。在非限制性实施例中，编码数据410、上采样编码数据415和/或编码数据420包括被用来产生用于图像150-1的增强数据(例如，SD残差、上采样信息和/或HD变换残差)和用于视频序列中其它图像(例如，帧或场)的增强数据这二者的信息。在非限制性实施例中，所述信息包括被用来重构变换后的残差470(例如，作为非限制性例子，通过将从编码数据420解码的、对应于图像150-1的相对残差求和)和用于视频序列中其它图像的变换后的残差(例如，通过将对应于视频序列中其它图像的相对残差求和)的“支持缓冲器”残差平面。在另一种非限制性实施例中，用于序列中图像的增强数据的一部分至少部分地基于用于序列中另一图像的增强数据的对应部分被解码。

图5A是描述根据本文实施例的残差解码的非限制性示例图。

编码数据410被霍夫曼解码500(实现霍夫曼熵解码方法)、接着被RLE解码510(实现运行长度编码解码方法)、接着被反量化520(实现合适的反量化方法)处理，从而产生残差435。

在其它非限制性实施例中，框520的输入在反量化之前被变换(即，处理)。在非限制性实施例中，框520首先反量化接收到的符号，接着根据合适的变换方法(例如，DCT、Hadamard、定向分解变换，等等)将结果变换为残差435。

在一种实施例中，经由解码器430或其它合适的资源，(计算机处理器硬件107的)计算机处理器硬件106将编码数据的第二部分182(诸如图5A中的编码数据410)解码为变换后的残差数据；处理变换后的残差数据，以产生量化的残差数据；对量化的残差数据反量化，以重现残差数据；以及对信号的第一再现应用重现的残差数据，以产生信号的第二再现。应当指出的是，处理可以以任何方式发生。根据另一种实施例，一个或多个残差数据集合中的任何残差数据都可以从变换后的残差数据产生。例如，计算机处理器硬件可以被配置为：将编码数据的第二部分182解码为量化的变换后的残差数据；对量化的残差数据反量化，以产生变换后的残差数据；处理变换后的残差数据、信号的相应的一个或多个再现(图7A)，以重现残差数据；以及对信号的再现应用重现的残差数据。

图5B是描述根据本文实施例的、根据基于层的分层解码方法的残差解码的非限制性示例图。

编码数据410被分成多个编码数据子集，每个子集对应于残差435平面的给定质量水平。

对应于残差数据的最低(底)质量水平的编码数据子集410-B由残差解码器530+B处理，从而产生残差平面Y^BOTTOM 560+B。平面560+B由预测计算器570+B处理，从而产生预测再现U^B+1 580+B+1。在非限制性实施例中，为产生预测再现U^B+1而执行的操作包括上采样操作。

通过对后续的(逐渐提高的)质量水平解码编码数据子集并且通过组合从所述子集解码的残差数据与基于之前(较低)质量水平的对应预测再现U，框430继续。

例如，编码数据子集410-1至少部分地基于继承信息532-1被残差解码器531处理，从而产生中间数据541。在非限制性实施例中，继承信息532-1指定直接从较低质量水平继承的中间数据541的部分，而无需子集410-1指定关于它们的任何信息。中间数据541和预测再现U^-1581被重构器551处理并组合，从而产生残差平面Y^-1561。平面561被预测计算器571处理，从而产生预测再现U⁰ 580。

编码数据子集410-0至少部分地基于继承信息532-0被残差解码器530处理，从而产生中间数据540。中间数据540和预测再现U⁰580被重构器550处理并组合，从而产生对应于残差435的残差平面Y⁰ 560。

在非限制性实施例中，预测计算器570、571、...、570+B根据在由框430接收的编码数据的对应子集中指定的参数实现上采样操作和/或图像处理操作。

在其它非限制性实施例中，残差解码器530、531、...、530+B也基于参照数据产生中间数据，以便高效地将跨视频序列中多个图像的时间相关性列入考虑。在一些非限制性实施例中，参照数据是与在视频序列中多个图像的对应编码数据子集中指定的数据组合的一个或多个支持平面。在其它非限制性实施例中，参照数据是用于视频序列中的参照图像的对应残差数据；在一些所述实施例中，继承信息532-0、...、532-B包括指示中间数据540+N的元素要通过组合解码数据与用于视频序列中的参照图像的对应元素Y^-N来计算的信息(即，关于平面Y的哪些元素必须基于参照图像的信息沿分层的层次结构被继承，从而允许高效地辨别——例如，为图像的大部分在低质量水平指定和“最后确定”继承——可得益于时间相关性的元素)；在一些非限制性实施例中，对应元素Y^-N是根据运动补偿方法、通过处理由框430接收的关于运动的合适信息来计算的。

图5C是示出根据本文实施例的、图5B的残差解码器531的实现的非限制性示例图。

编码数据子集410-1由概率估计器580-1处理，以便产生符号概率581。在非限制性实施例中，概率估计器580-1至少部分地基于在编码数据子集410-1中指定的参数对熵编码到编码数据子集410-1中的符号重构概率分布，使得允许高效的静态熵解码。

接着，编码数据子集410-1和符号概率581由静态范围解码器580-2处理，从而产生解码符号582。在一些非限制性实施例中，框580-1产生多组符号概率581(每个要解码的连续符号块一组符号概率)，使得允许框580-2实现解码符号582的并行熵解码。在其它非限制性实施例中，框580-2实现不同的静态熵解码方法，诸如算术解码。

解码符号582被反量化器580-3处理，从而产生反量化符号583。

反量化符号583、继承信息532-1和参照信息584由组合器580-3处理，从而产生中间数据541和继承信息530-1两者。在非限制性实施例中，继承信息532-1指定中间数据541中直接从较低质量水平继承的部分，而无需编码数据子集410-1指定关于它们的任何信息。这允许数据传输的更高效率，因为编码数据不需要指定关于可以被解码器借由解码器已经拥有的信息有效预测的元素的任何信息。在非限制性实施例中，继承信息530-1还指定中间数据541的哪个部分必须至少部分地基于参照信息584来产生。

因此，编码数据可以经由静态范围熵解码器根据在重构数据中指定的符号概率分布来解码。根据更进一步的实施例，编码数据可以经由静态算术熵解码器根据在重构数据中指定的符号概率分布来解码。

图6A和6B是示出根据本文实施例的变换后的残差解码的非限制性示例图。

图6A描述了在非限制性实施例中使用的操作序列以便产生变换后的残差的四个SD平面(即，处于SD分辨率的四个平面)：A变换后的残差640-1、B变换后的残差640-2、C变换后的残差640-3、D变换后的残差640-4。如图所示，编码数据420的不同部分根据霍夫曼熵解码(霍夫曼解码器610)和运行长度(RLE)解码方法(RLE解码器620)的组合被解码。在非限制性实施例中，反量化块630-1、630-2、630-3、630-4充分利用不同的反量化方法和/或参数(对应于不同的变换后的残差集合由编码器根据不同的量化参数量化的事实)。

图6B描述了非限制性实施例，其中A残差640-1和D残差640-4根据解码器侧已知的缺省平面被重构(例如，在非限制性实施例中，被初始化为零的元素的平面)，而不是借由解码包括在编码数据420中的信息。

其它非限制性实施例(在图6A和6B中未示出)根据与图5C中所示方法类似的静态熵解码方法解码编码数据集420-1、...、420-4，其中熵解码器根据从在编码数据中指示的一个或多个参数外推的符号概率分布来实现静态熵解码方法。

图7A、7B和7C是示出变换后的残差的使用的非限制性示例图，示出了由框490的非限制性实施例执行的操作。

图7A示出了框490如何根据本文实施例基于初步HD LOQ 280、修正后的SD LOQ460和变换后的残差640来重构最终的HD LOQ150-1。

最终HD LOQ 150-1的每个2×2块的元素150-1-i(图7A示出了150-1-1，但类似的操作对图像的其它2×2块实现)是通过处理初步HD LOQ 280的对应块280-i、修正后的SDLOQ 460的对应元素460-i(例如，在非限制性实施例中，在图像中与280-i和150-1-i共同定位的元素，也被定义为280-i和150-1-i的“父元素”)以及四个对应的变换后的残差640-1-i、640-2-i、640-3-i和640-4-i来生成的。

更具体而言，对于所示出的2×2块的元素150-1-1的情况，四个元素280-1连同修正后的SD LOQ 460中的它们对应的父元素460-1被块生成器PA 700处理，从而生成值PA730-1。

B残差640-2-1或者被加到块280-1的每个值或者被减去，例如，在非限制性实施例中，加到2×2块的左边的元素并且从2×2块的右边的元素减去。

残差640-3-1或者被加到块280-1的每个值或者被减去，例如，在非限制性实施例中，加到2×2块的上部的元素并且从2×2块的下部的元素减去。

D残差640-4-1或者被加到块280-1的每个值或者被减去，例如，在非限制性实施例中，加到2×2块的左上和右下的元素并且从2×2块的右上和左下的元素减去。

所有这些组合的结果是最终HD LOQ 150-1的2×2块的元素150-1-1。

接着，该过程对最终HD LOQ 150-1的所有2×2块重复。在非限制性实施例中，如果最终HD LOQ 150-1的维度之一具有奇数个元素，则解码器首先重构具有附加的行或列的图像，并接着丢弃这种附加的行或列。

换句话说，所描述的非限制性实施例如下重构最终HD LOQ150-1：基于信号的第二再现(修正后的SD LOQ 460)，产生信号的第三再现(初步HD LOQ 280)，信号的第三再现是处于高得多的显示元素分辨率的信号的初步再现；将编码数据的第二部分解码为变换后的残差数据集合(A残差、B残差、C残差和D残差640)；处理该变换后的残差数据集合、信号的第二再现(修正后的SD LOQ 460)和信号的第三再现(初步HD LOQ 280)的组合，以产生新的残差数据集合(在图中未示出，因为直接应用到初步HD LOQ 280)；以及对信号的第三再现应用该新的残差数据集合，以产生信号的第四再现。

图7B示出了框700的非限制性实施例，其中PA的SD平面730的每个值730-i是通过计算元素460-i(例如，y_h,k)与2×2块280-i的对应四个元素(例如，p_i,j、p_i,j+1、p_i+1,j、p_i+1,j+1)的值的平均值之差而生成的。值730-1与A残差640-1-1组合，并且结果产生的值被加到块280-1的四个元素中的每一个。

图7C示出了根据分层方法在残差数据(诸如为了将信号的第一再现修改为信号的第二再现而要应用的残差数据)的重构中使用变换后的残差的非限制性实施例。

根据该实施例，残差数据根据以下序列以逐渐升高的质量水平被重构：处于较低质量水平的残差数据的重构；产生(诸如经由上采样操作)处于下一更高质量水平的残差数据的初步再现；解码变换后的残差；在如由变换后的残差指定的下一更高质量水平产生相对残差数据；通过应用该相对残差数据修改处于该下一更高质量水平的残差数据的初步再现，产生处于下一更高质量水平的残差数据。接着，处于残差数据层次结构中最高质量水平的残差数据被应用到信号的第一再现，以便产生该信号的第二再现。

换句话说，该实施例如下处理编码数据：将编码数据的第二部分解码为处于第一质量水平的残差数据；基于处于第一质量水平的残差数据产生处于第二质量水平的残差数据的初步再现，第二质量水平高于第一质量水平；将编码数据的第二部分解码为量化的变换后的残差数据；反量化经量化的变换后的残差数据，以产生变换后的残差数据；处理变换后的残差数据、处于第一质量水平的残差数据和处于第二质量水平的残差数据的初步再现的组合，以重现处于第二质量水平的残差数据(诸如通过组合处于第二质量水平的残差数据的初步再现与相对残差数据集合，如图7C中所描述的)；以及对信号的第一再现应用重现的处于第二质量水平的残差数据，以产生信号的第二再现。

非限制性实施例还包括：基于信号的第二再现，产生信号的第三再现，信号的第三再现是处于高得多的显示元素分辨率的信号的初步再现；将编码数据的第二部分解码为新的变换后的残差数据集合；处理该新的变换后的残差数据集合、信号的第二再现和信号的第三再现的组合，以产生新的残差数据集合；以及对信号的第三再现应用该新的残差数据集合，以产生信号的第四再现。

图8是示出根据本文实施例的在其中执行任何功能的示例计算机体系架构的图。任何一种或多种不同的处理技术都可经由软件代码在计算机处理器硬件上的执行来实现。

在非限制性实施例中，计算机系统850位于机顶盒或其它合适的资源中。本文的实施例使计算机系统850能够以一个或多个不同的更高质量水平中的任何一个来解码编码数据并重构信号，如本文所描述的。作为非限制性例子，计算机系统850中的计算机处理器硬件可以被配置为通过处理与其它传统机顶盒只在第一质量水平进行解码(例如，产生SD视频)的相同数据流来产生第二质量水平(例如，HD视频)。

例如，如更具体地示出的，本例的计算机系统850(例如，计算机处理器硬件)可以包括耦合其中可以存储并检索数字信息的计算机可读存储介质812(诸如非临时类型介质(即，任何类型的硬件存储介质))的互连811。计算机系统850还可以包括处理器813(即，计算机处理器硬件106、107等，诸如一个或多个共同定位的处理器或者位置完全不同的处理器设备)、I/O接口814、通信接口817等。

计算机处理器硬件(即，处理器813)可以位于单个位置中，或者可以分布在多个位置之中。

正如其名字所暗示的，I/O接口814提供到诸如存储库880、控制设备(诸如控制器892)、一个或多个显示屏等资源的连接。

计算机可读存储介质812可以是存储数据的任何硬件存储设备，诸如存储器、光学储存器、硬驱动器、软盘等。在一种实施例中，计算机可读存储介质812存储指令和/或数据。

通信接口817使计算机系统850和处理器资源813能够经诸如任何网络190的资源通信。I/O接口814使处理器资源813能够从本地或远程位置访问数据、控制相应的显示屏、接收输入，等等。

如图所示，计算机可读存储介质812可以用由处理器813执行的解码器应用840-1(例如，软件、固件等)编码。解码器应用840-1可以被配置为包括实现如本文所讨论的任何操作的指令。

在一种实施例的操作期间，处理器813经由互连811的使用来访问计算机可读存储介质812，以便启动、运行、执行、解释或以其它方式执行存储在计算机可读存储介质812上的解码器应用840-1中的指令。

解码器应用840-1的执行在处理器资源813中产生处理功能，诸如解码器过程840-2。换句话说，与处理器资源813关联的解码器过程840-2代表在计算机系统850的处理器资源813中或其上执行解码器应用840-1的一个或多个方面。

本领域技术人员将理解，计算机系统850可以包括其它过程和/或软件及硬件组件，诸如控制硬件资源的分配和使用以执行解码器应用840-1的操作系统。

根据不同的实施例，应当指出的是，计算机系统可以是任何的各种类型的设备，包括但不限于机顶盒、接入点、移动计算机、个人计算机系统、无线设备、基站、电话设备、台式计算机、膝上型计算机、笔记本电脑、上网本计算机、大型计算机系统、手持式计算机、工作站、网络计算机、应用服务器、存储设备，诸如相机、摄像机、机顶盒、移动设备、视频游戏控制台、手持式视频游戏设备的消费电子设备，诸如交换机、调制解调器、路由器的外围设备等等，或者一般而言任何类型的计算或电子设备。

计算机系统850可以驻留在网络环境中的任一位置或多个位置。计算机系统850可以包括在网络环境中的任何合适资源中，以实现如本文所讨论的功能。

现在将经由图9、10和11的流程图来讨论由不同资源支持的功能。应当指出的是，下面流程图中的步骤可以以任何合适的次序执行。

图9是示出根据实施例的示例方法的流程图900。应当指出的是，关于如上讨论的概念，将有一些重叠。

在处理框910中，计算机处理器硬件将数据流解析为编码数据的第一部分181和编码数据的第二部分182。

在处理框920中，计算机处理器硬件实现第一解码器130以将编码数据的第一部分181解码为信号的第一再现。

在处理框930中，计算机处理器硬件实现第二解码器120以将编码数据的第二部分182解码为重构数据184，重构数据184指定如何修改信号的第一再现。

在处理框940中，计算机处理器硬件对信号的第一再现应用重构数据184，以产生信号的第二再现。

图10是示出根据实施例的示例方法的流程图1000。应当指出的是，关于如上讨论的概念，将有一些重叠。

在处理框1010中，计算机处理器硬件将数据流解析为编码数据的第一部分、编码数据的第二部分和编码数据的第三部分。

在处理框1020中，计算机处理器硬件实现第一解码器以将编码数据的第一部分解码为处于第一质量水平的信号的第一再现。

在处理框1030中，计算机处理器硬件实现第二解码器以将编码数据的第二部分解码为第一重构数据，第一重构数据指定如何将信号的第一再现修改为处于第二质量水平的信号的第二再现，第二质量水平大于第一质量水平。

在处理框1040中，计算机处理器硬件处理第一重构数据和信号的第一再现，以产生处于第二质量水平的信号的第二再现。

在处理框1050中，计算机处理器硬件实现第三解码器以将编码数据的第三部分解码为第二重构数据，第二重构数据指定如何将信号的第二再现修改为处于第三质量水平的信号的第三再现，第三质量水平大于第二质量水平。

在处理框1060中，计算机处理器硬件处理第二重构数据和信号的第二再现，以产生处于第三质量水平的信号的第三再现。

图11是示出根据实施例的示例方法的流程图1100。应当指出的是，关于如上讨论的概念，将有一些重叠。

在处理框1110中，计算机处理器硬件将接收到的数据流解析为解码数据和编码数据，解码数据指定与信号的第一再现关联的设置。

在处理框1120中，计算机处理器硬件利用解码数据来产生信号的第一再现。

在处理框1130中，计算机处理器硬件实现解码器以将编码数据解码为重构数据，该重构数据指定如何修改信号的第一再现。

在处理框1140中，计算机处理器硬件对信号的第一再现应用重构数据，以产生信号的第二再现。

图12A示出了根据本文实施例的非限制性示例编码方法。

原始视频信号100由下转换器1200处理，从而产生下转换信号1220。在非限制性实施例中，下转换信号1220是处于较低显示元素分辨率的信号。

传统编码器1240处理下转换信号1220，从而产生编码数据1250。在非限制性实施例中，传统编码器1240根据MPEG(运动图像专家组)编码方法编码下转换信号。

重构数据发生器1230处理原始信号100和由传统编码器1240编码的信号的重构再现(或者通过从传统编码器1240接收重构再现或者——如图12A所示——通过接收和解码编码数据1250而获得)，从而产生编码数据1260(诸如编码的增强数据)。

组合器1270接收编码数据1250(编码数据的第一部分)和编码数据1260(编码数据的第二部分)，并将它们组合到数据流115中。在非限制性实施例中，数据流115被组织为MPEG-2传送流，其中编码数据的第二部分关联到与编码数据的第一部分不同的数据包标识符(PID)。

图12B示出了根据本文实施例的非限制性示例编码方法。

原始视频信号100(诸如UltraHD视频信号)由下转换器1200处理，从而产生下转换信号1220(诸如原始视频信号的SD再现)和下转换信号1225(诸如原始视频信号的HD再现)。

传统编码器1240处理下转换信号1220，从而产生编码数据1250。在非限制性实施例中，传统编码器1240根据MPEG(运动图像专家组)编码方法编码下转换信号。

HD重构数据发生器1230处理信号的下转换HD再现1225和由传统编码器1240编码的信号的重构再现(或者通过从传统编码器1240接收重构再现或者——如图12B所示——通过接收和解码编码数据1250而获得)，从而产生编码数据1260(诸如编码的HD增强数据)。

UltraHD重构数据发生器1237处理原始信号100和从1230接收的HD信号的重构再现1235，从而产生编码数据1265(诸如编码的UltraHD增强数据)。

组合器1271接收编码数据1250(编码数据的第一部分)、编码数据1260(编码数据的第二部分)和编码数据1265(编码数据的第三部分)，并将它们组合成数据流115。在非限制性实施例中，数据流115被组织为MPEG-2传送流，其中编码数据的第二部分和编码数据的第三部分关联到与编码数据的第一部分不同的特定数据包标识符(PID)。

再次应当指出的是，本文的技术非常适用于编码和解码接收到的数据。但是，应该指出的是，本文的实施例不限于在此类应用中使用，并且本文所讨论的技术也非常适用于其它应用。

基于本文所阐述的描述，已经阐述了许多具体细节，以提供对要求保护的主题的透彻理解。但是，本领域技术人员将理解，要求保护的主题没有这些具体细节也可以实践。在其它情况下，普通技术人员已知的方法、装置、系统等没有详细描述，以便不模糊要求保护的主题。具体描述中的一些部分已经关于对存储在计算机系统存储器(诸如计算机存储器)中的数据位或二进制数字信号的操作的符号表示或算法给出。这些算法描述或表示是数据处理领域的普通技术人员用来向本领域其他技术人员传达其工作实质的技术的例子。如本文所描述的算法一般而言被认为是导致期望结果的操作或类似处理的自一致序列。在这种语境下，操作或处理涉及对物理量的物理操纵。通常，但不是必需，这些量可以采取能够被存储、传送、组合、比较或以其它方式被操纵的电或磁信号的形式。主要是出于普遍使用的原因，有时候将这些信号称为位、数据、值、元素、符号、字符、项、数字、数值等等是方便的。但是，应当理解的是，所有这些和类似的术语应当与适当的物理量关联并且仅仅是方便的记号。除非特别另外声明，否则如从以下讨论中显而易见的，应当认识到，贯穿整个说明书使用诸如“处理”、“运算”、“计算”、“确定”等术语指的是计算平台(诸如计算机或类似的电子计算设备)的动作或处理，该计算平台操纵或变换被表示为存储器、寄存器或其它信息存储设备、传输设备或计算平台的显示设备内的物理电子或磁量的数据。

虽然本发明已经参照其优选实施例具体地示出并进行了描述，但是本领域技术人员应当理解，在不背离如由权利要求定义的本申请的精神和范围的情况下，可以对其进行形式和细节的各种改变。这种变化旨在被本申请的范围覆盖。照此，前面对本申请实施例的描述并不旨在限制。相反，对本发明的任何限制在权利要求中给出。

Claims (15)

1.一种方法，包括：

经由计算机处理器硬件：

将接收的数据流解析为解码数据和编码数据，所述解码数据指定与信号的第一再现相关联的设置；

利用解码数据来产生信号的第一再现；

实现解码器以将编码数据解码为重构数据，所述重构数据指定如何修改信号的第一再现；以及

对信号的第一再现应用所述重构数据，以产生信号的第二再现。

2.如权利要求1所述的方法，其中编码数据是根据分层编码格式编码的，在所述分层编码格式中数据是根据层次结构中的不同分辨率编码的。

3.如权利要求2所述的方法，还包括：

应用上采样操作以产生重构数据，所述上采样操作将较低分辨率显示元素设置转换为较高分辨率显示元素设置。

4.如权利要求1所述的方法，

其中所述信号是指定用于多个显示元素的设置的视频信号；

其中信号的第二再现具有比信号的第一再现更高的质量水平；以及

其中信号的第二再现具有与信号的第一再现相同的显示元素分辨率。

5.如权利要求1所述的方法，其中实现解码器以解码编码数据包括：

识别由编码数据指定的上采样操作；以及

对信号的第二再现应用上采样操作，以产生信号的第三再现，信号的第三再现具有比信号的第二再现高得多的显示元素分辨率。

6.如权利要求5所述的方法，其中信号的第三再现是处于高得多的显示元素分辨率的信号的初步再现，其中实现解码器还包括：

利用重构数据修改处于高得多的显示元素分辨率的信号的初步再现，修改后的信号的初步再现与信号的初步再现相比具有更高的质量水平。

7.如权利要求1所述的方法，其中编码数据是根据MPEG(运动图像专家组)格式解码的。

8.如权利要求1所述的方法，其中编码数据包括未压缩的视频数据。

9.如权利要求1所述的方法，其中编码数据是根据霍夫曼熵解码和运行长度(RLE)解码方法的组合解码的。

10.如权利要求1所述的方法，其中编码数据是根据在重构数据中指定的符号概率分布经由静态范围熵解码器或经由静态算术熵解码器解码的。

11.如权利要求1所述的方法，其中产生处于第二质量水平的信号的再现包括：

将处于第一质量水平的信号的再现与第一残差集合组合；

借由上采样操作来上采样处于第一质量水平的信号的再现。

12.如权利要求1所述的方法，其中根据跨信号的多个帧的时间继承来产生残差数据集合，所述方法包括至少部分地基于为不同帧解码的残差数据来解码用于帧的残差数据。

13.如权利要求1所述的方法，其中所述重构数据至少包括第一残差数据集合和第二残差数据集合，第一残差数据集合指定如何修改处于第一显示元素分辨率的信号的再现，第二残差数据集合指定如何修改处于第二显示元素分辨率的信号的再现，第二显示元素分辨率大于第一显示元素分辨率。

14.如权利要求13所述的方法，所述方法还包括：

利用第一残差数据集合修改信号的第一再现并且产生信号的第二再现；

基于信号的第二再现，产生信号的第三再现，信号的第三再现是处于第二显示元素分辨率的信号的初步再现；

利用第二残差数据集合修改信号的第三再现并且产生处于第二显示元素分辨率的信号的第四再现。

15.如权利要求14所述的方法，其中第二残差数据集合是从变换后的残差数据产生的，所述方法包括：

将编码数据解码为量化的变换后的残差数据；

对量化的残差数据反量化，以产生变换后的残差数据；

处理变换后的残差数据、信号的第二再现和信号的第三再现，以重现残差数据；以及

对信号的第三再现应用重现的残差数据，以产生信号的第四再现。

Images