CN103931181B - 用于空间可扩展视频编码的自适应上采样 - Google Patents

Abstract

信号处理器从第一质量水平下的信号呈现中选择元素，以便将其上采样成第二（更高）质量水平下的信号呈现的多个元素。信号处理器基于第一质量水平下的信号呈现中的所选元素附近的元素的设定产生量度。所述量度定义所选元素附近的第一元素集合与所选元素附近的第二元素集合之间的边界。信号处理器利用所生成的量度来计算第二质量水平下的信号中的所述多个元素的设定。所述边界相对于所选元素的位置和取向取决于所选元素附近的元素的设定。

Description

用于空间可扩展视频编码的自适应上采样

背景技术

在信号的编码和解码二者的过程中，CPU（中央处理单元）效率都很重要。最新一代的处理器正变得越来越并行化，其中在每一块单个芯片上有高达数以百计的简单核心。

不幸的是，传统的MPEG（运动画面专家组）族编解码器在结构上不是并行的。这是因为以下事实：所述MPEG族编解码器是基于块的，并且每一个图像块必须被顺序地编码和解码，这是由于为了实现高效的压缩，必须使得所有块以某种方式彼此相关。通过把所谓的“切片”（其基本上是被独立于彼此处理的图像的各个片段，就好像它们是被彼此挨着放置的分开的视频一样）引入到MPEG编码中，H.264标准允许并行地处理几个线程（典型地，2或3个线程）。诸如去块效应（即“平滑”各块之间的过渡以便产生更加均匀的图像的滤波器）之类的重要算法元素通常是充满条件指令的全局操作，其不适合于包括并行CPU的应用。

当今的CPU和GPU（图形处理单元）通常非常强大；单一GPU可以包括用于执行并行信息处理的几百个计算核心。在使用当前的技术时，图像的一些较大部分可以被存储在处理器高速缓存中以供处理。对把图像分段成多个小块的需要不再适用于现今的CPU和GPU，而这种需要在创建MPEG时是一种驱动因素，这是因为当时的处理器每次只能处理非常小的视频数据组块，并且于是仅仅顺序地进行处理。因此，在实施类似于MPEG类型的编码/解码时可能有一大部分可用处理能力未被使用，其中不必要地将块效应（blocking artifact）引入到信号中。

此外，与开发MPEG时的当时情况相比，现今的应用通常需要清晰度高很多的视频编码以及高很多的总体重放质量。在高清晰度（HD）、高质量视频中，在具有低细节（可能甚至失焦）的区域与具有非常精细的细节的区域之间所存在的差异要大得多。这就使得诸如用在MPEG中的那些的频域变换的使用甚至更加不适用于图像处理和重放，这是因为相关频率的范围正变得宽的多。

此外，更高分辨率的图像包括更高数量的摄影机噪声和/或胶片颗粒，即，对于观看来说可能相当无关并且需要许多比特来进行编码的非常详细的高频像素过渡。

最后，传统的编解码器不适合于在3D或体积成像的情况下高效地执行，这在诸如医疗成像、科学成像等的领域内正变得越来越重要。

当今的大多数目标器件支持不同的重放分辨率和质量。所谓的SVC（可扩展视频编码）、即针对可扩展性的当前MPEG标准尚未被行业顺利地接受并且表现出很少的至几乎没有的采用，这是因为其被认为是过于复杂并且在一定程度上导致带宽低效的方式。

此外，存在大量已编码视频；也就是说内容提供商通常没有时间定制编码器参数并且对于每一个特定视频流进行实验。当前，内容提供商不喜欢必须人工调整（每次执行编码以及检查结果的质量时）许多编码参数以便成功地编码视频。

作为用于编码/解码的MPEG标准的替换，已将所谓的图像金字塔用于编码/解码目的。举例来说，通过利用拉普拉斯金字塔，传统的系统利用高斯滤波器创建了较低分辨率的图像，并且随后建立通过利用严格编程的解码器从较低分辨率水平回到原始水平进行上采样而获得的各图像之间的差异的金字塔。

对于传统的拉普拉斯金字塔编码的使用已经被放弃。这样的变换的一种缺陷在于，作者总是试图避免下采样图像中的失真/伪像，因此他们通常使用高斯滤波，因为这是不添加其自身的任何信息的唯一滤波器类型。但是高斯滤波的不可逾越的问题在于其引入了模糊效应，使得在向上扩展回到更高分辨率时，需要过量的图像校正信息来再现原始图像。换句话说，利用传统滤波器的上采样在重建的图像中导致锯齿边缘或模糊边缘。需要利用大量残留数据来校正锯齿边缘或模糊边缘，从而使得这样的编码技术对于使用在较高分辨率的应用中来说是不合期望的。

发明内容

本文中的实施例相对于传统的系统和方法而偏离，以在从信号的较低分辨率呈现进行上采样时减少以足够的精度重建信号所需的残留数据的量。举例来说，本文中的实施例是针对在上采样过程中利用一个或多个不同的上采样操作来锐化以及“去混合（deblend）”所识别出的过渡区域的独特方式。所提出的上采样技术的特定配置减少了在分层结构中的相继更高的质量水平下解码信号时重建信号所需的数据量，这是因为上采样操作实现更高质量水平的更加精确的重建。

更具体来说，本文中的一个实施例包括被配置成在分层结构中的更高质量水平下重建信号的信号处理器。举例来说，所述信号处理器从第一质量水平下的信号呈现中选择一元素，以将其上采样成第二（更高）质量水平下的信号呈现的多个元素。在一个实施例中，信号处理器基于第一质量水平下的信号呈现中的所选元素附近的元素的设定，对信号的每一个元素产生量度。所述量度定义所选元素附近的第一元素集合与所选元素附近的第二元素集合之间的边界。所述边界相对于所选元素的位置和取向取决于所选元素附近的元素的设定。信号处理器利用所生成的量度（其定义边界）来计算第二质量水平下的信号中的多个元素的设定。相应地，所选元素附近的元素的设定指示如何把所选元素上采样成所述多个元素。

取决于实施例，由所述量度定义的边界可以是线、平面表面等等。被上采样的信号可以是二维图像（例如图片、视频帧、2D运动图等等）、三维图像（例如3D/体积图像、全息图像、CAT扫描、医疗/科学图像、3D运动图等等）、以多于三维为特征的信号、基于时间的信号（例如音频信号、视频信号等等），等等。被指派给特定信号元素的设定可以表示不同颜色平面（例如RGB、YUV、HSV等等）的颜色、属性（例如密度、放射性、组织类型、地形类型、温度、定义图像属性的参数等等）、运动矢量（例如用笛卡尔坐标、极坐标等表示）等等。为了简单起见，本文中所说明的实施例常常涉及被显示为设定的2D平面的图像（例如适当颜色空间内的2D图像），诸如例如图片。

在一个实施例中，信号处理器响应于检测到所选元素的设定落在由将被上采样的所选元素附近的元素定义的范围内而产生所述量度。落在所述范围内表明所选元素落在过渡区域或边缘上。根据这样的实施例，并且为了测试所选元素是否落在过渡区域上，信号处理器基于所选元素附近的第一元素集合中的至少一个元素的设定生成第一数值。信号处理器基于所选元素附近的第二元素集合中的至少两个元素的设定生成第二数值。信号处理器随后产生如下范围，在该范围中所述两个数值当中的较大数值定义该范围的上限，而另一个数值定义该范围的下限。如前所述，如果所选元素的设定落在所述范围内，则信号处理器认为所选元素位于过渡区域或边缘上。

根据其他实施例，信号处理器利用所述量度作为将所选元素上采样成多个元素的基础。举例来说，信号处理器识别出所述多个元素（即下一更高质量水平下的上采样元素）中的第一元素，其中由所述量度定义的边界与第一元素相交。对于第一元素，信号处理器利用所述量度来计算该第一元素的设定。信号处理器把第一元素的数值设定在被指派给第一元素集合的设定与被指派给第二元素集合的设定之间。

此外，信号处理器识别出所述多个元素中的第二元素，其中由所述量度定义的边界不与第二元素相交。对于该第二元素：响应于检测到第二元素的全部都位于由所述量度定义的边界与第一元素集合（例如定义所述范围极限的元素）之间，信号处理器把第二元素设定到与被指派给第一元素集合的设定基本上相等的数值。

按照类似的方式，信号处理器识别出所述多个元素（即下一更高质量水平下的上采样元素）中的其余元素，从而利用所述量度计算每个元素的设定。

在其他实施例中，信号处理器对第一质量水平下的信号呈现中的多个相应元素中的每一个应用测试，以确定要使用相应的量度来对元素进行上采样还是要使用替换的上采样选项来对该元素进行上采样。举例来说，信号处理器可以被配置成向相应的元素指派第一种类型的上采样操作（例如使用本文中所讨论的量度的上采样操作），或者向相应的元素指派第二种类型的上采样操作（例如不使用所生成的量度的上采样操作）。如上所述，确定要使用所生成的量度还是替换的上采样操作来进行上采样的测试可以包括：确定所选的相应元素的设定是否落在由所选的相应元素附近的相应的第一元素集合的设定和所选的相应元素附近的相应的第二元素集合的设定所定义的范围内。

在一个实施例中，信号处理器指派第一种类型的上采样操作以用于上采样相应的元素，其中被测试的所选元素的相应设定落在针对该相应元素所产生的范围内。信号处理器指派第二种类型的上采样操作以用于上采样相应的元素，其中被测试的所选元素的相应设定落在针对该相应元素所产生的范围之外。

下面更加详细地讨论这些和其他实施例变型。

如上所述，注意，本文中的实施例可以包括用来实施和/或支持本文中所公开的任何或所有方法操作的一个或多个计算机化器件、路由器、网络、工作站、手持式或膝上型计算机等等的配置。换句话说，一个或多个计算机化器件或处理器可以被编程和/或配置成按照本文中所解释的那样进行操作，以便实施不同的实施例。

除了如上面所讨论的上采样之外，本文中的其他实施例还包括用来执行上面所概述并且在下面详细公开的步骤和操作的软件程序。一个这样的实施例包括其上编码有计算机程序逻辑、指令等等的计算机可读的硬件存储资源（即非瞬时计算机可读介质），当在具有处理器和相应的存储器的计算机化器件中被执行时，所述计算机程序逻辑、指令等对所述处理器进行编程并且/或者使得所述处理器执行本文中所公开的任何操作。这样的布置可以被提供为被布置或编码在计算机可读介质上的软件、代码和/或其他数据（例如数据结构），所述计算机可读介质诸如光学介质（例如CD-ROM）、软盘或硬盘，或者诸如一个或多个ROM或RAM或PROM芯片中的固件或微代码之类的其他介质，或者作为专用集成电路（ASIC）。所述软件或固件或其他此类配置可以被安装到计算机化器件上，以使得所述计算机化器件执行本文中所解释的技术。

相应地，本公开的一个特定实施例是针对一种包括计算机可读硬件存储介质的计算机程序产品，其中所述计算机可读硬件存储介质在其上存储有指令以用于支持信号处理操作。举例来说，在一个实施例中，在由相应的计算机器件的处理器执行时，所述指令使得所述处理器：从第一质量水平下的信号呈现中选择元素，以将其上采样成第二更高质量水平下的信号呈现的多个元素；基于第一质量水平下的信号呈现中的所选元素附近的元素的设定产生量度，所述量度定义所选元素附近的第一元素集合与所选元素附近的第二元素集合之间的边界；以及利用所述量度来计算第二质量水平下的信号中的多个元素的设定。

为了清楚起见添加了各个步骤的排序。可以按照任何适当的顺序来执行这些步骤。

本公开的其他实施例包括用来执行上面所概述并且在下面详细公开的任何方法实施例步骤和操作的软件程序、固件和/或相应的硬件。

此外应当理解的是，本文中所讨论的系统、方法、设备、计算机可读存储介质上的指令等等可以被严格地实现为诸如处理器内或者操作系统内或软件应用内等的软件程序，软件、固件和/或硬件的混合，或者单独的硬件。

如上面所讨论的那样，本文中的技术很适合用在编码信号的软件、固件和/或硬件应用中。但是应当注意，本文中的实施例不限于使用在这样的应用中，并且本文中所讨论的技术同样非常适合于其他应用。

此外，注意，虽然本文中的每个不同特征、技术、配置等等可能在本公开的不同地方被讨论，但是意图是，每个概念可以被彼此独立地执行或者彼此相组合地执行。相应地，可以按照许多不同方式来实现及审视本文中所描述的一个或多个本发明、实施例等等。

此外注意，本文中对于各个实施例的初步讨论并没有规定本公开或者所要求保护的发明的每一个实施例和/或增量新颖方面。相反，本简要描述部分仅仅给出了一般性的实施例以及与传统技术相比的对应的新颖点。关于发明的附加的细节和/或可能的角度（置换），读者被引导向下面进一步讨论的本公开的具体实施方式部分和相应的附图。

附图说明

通过下面对于附图中所示出的本文中的优选实施例的更加具体的描述，本发明的前述和其他目的、特征和优点将变得显而易见，在附图中，相同的附图标记贯穿不同视图指代相同的部件。附图不一定是按比例绘制的，相反重点在于说明实施例、原理、概念等等。

图1是示出了根据本文中的实施例的利用量度把所选元素上采样成多个元素的示例图。

图2是示出了根据本文中的实施例的利用针对第一质量水平下的所选元素生成的量度来计算用于把所选元素上采样为下一更高质量水平下的多个元素的设定的示例图。

图3是示出了根据本文中的实施例的利用替换的上采样选项将所选元素上采样成多个元素的示例图。

图4是示出了根据本文中的实施例的选择第一质量水平下的信号的多个元素中的每个元素并且将其上采样成第二质量水平下的信号的多个元素的操作的示例图。所述操作可以被迭代地执行或者在并行处理中被执行。

图5是示出了根据本文中的实施例的指派并使用不同类型的上采样操作来把信号呈现上采样到更高质量水平的示例图。

图6是示出了根据本文中的实施例的指派并使用不同类型的上采样操作来把信号呈现上采样到更高质量水平的示例图。

图7是示出了根据本文中的实施例的用于生成量度的不同配置的示例图。

图8是示出了根据本文中的实施例的生成针对第一配置的量度的示例图。

图9是示出了根据本文中的实施例的生成针对第二配置的量度的示例图。

图10是示出了根据本文中的实施例的使用所生成的量度对信号的元素进行上采样的结果的示例图。

图11是示出了根据本文中的实施例的用于执行计算机代码、固件、软件、应用程序、逻辑等等的示例性计算机架构的图示。

图12是示出了根据本文中的实施例的生成并利用量度上采样的方法的示例性流程图。

具体实施方式

图1是示出了根据本文中的实施例的利用量度将所选元素上采样成多个元素的示例图。

如图所示，质量水平#1下的信号呈现115-1包括多个元素，所述多个元素包括元素X1、B1、C1、A1、G1、Y3、K1、Y1、Y2等等。信号呈现115-1中的每个元素被指派指示相应的元素的设定的数值。

在该示例中，信号呈现115-1表示原始信号的较低质量水平呈现。信号处理器140把质量水平#1下的诸如G1的所选元素上采样成质量水平#2（例如更高的质量水平）下的信号呈现中的多个元素，诸如U1、U2、U3和U4。信号呈现115-1中的每个元素可以被上采样成包括多个元素的相应集合。

在一个实施例中，信号呈现115-1类似于已被下采样到较低质量水平的原始信号的缩略图表示。较低质量水平下的信号呈现115-1捕获原始信号的粗略属性，而没有原始信号的更加详细、更加精细的属性。所述详细的、更加精细的属性出现在更高质量水平下的信号呈现中。

注意，与信号呈现115-1相关联的数值可以表示任何适当类型的数据信息。作为非限制性的示例，信号115可以是指示相应图像中的多个信号元素（例如面素/平面元素、像素/画面元素、体素/体积画面元素等等）中的每一个的设定的图像数据、符号等等。所述图像可以是二维的（例如图片、视频帧、2D运动图等等）、三维的（例如3D/体积图像、全息图像、CAT扫描、医疗/科学图像、3D运动图等等）或者甚至以多于三维为特征。根据这样的实施例，信号元素的设定指示如何重建原始信号以便在装置上重放。

信号中的每一个元素可以定义诸如颜色的设定。根据这样的实施例，信号数据中的元素的颜色分量根据诸如YUV、RGB、HSV等的适当的颜色空间标准被编码。

在其他实施例中，与X1、B1、C1、A1、G1、Y3、K1、Y1、Y2等相关联的设定的组合定义第一质量水平下的图像（例如多维图像）的一部分。信号处理器140被配置成把质量水平#1（例如较低质量水平）下的信号呈现115-1上采样成质量水平#2（例如更高质量水平）下的相应信号呈现。

在该示例中，假设信号处理器140选择元素G1以用于上采样成更高质量水平下的多个元素。如所提到的那样，根据这样的实施例，信号处理器140把信号呈现115-1中的所选元素G1上采样成第二质量水平下的多个元素U1、U2、U3和U4。如下面所讨论的那样，在适当情况下，可以利用所生成的量度125实现上采样。如果认为不适合使用量度125来上采样所选元素，则信号处理器140可以被配置成利用替换的采样选项来上采样所选元素。

如图所示，为了促进上采样到下一更高质量水平（例如更高分辨率的图像），本文中的一个实施例包括生成用于所选元素G1到多个元素U1、U2、U3和U4的量度125。取决于实施例和信号的维度，量度125可以是定义被测试的所选元素附近的图像元素之间的边界的线、表面等等。

当信号呈现115-1是二维图像时，由量度125定义的边界基本上是覆盖在信号的所述部分上的线。如本文中将进一步讨论的那样，信号处理器140使用这条线（例如边界）作为用来计算下一个更高质量水平下的信号呈现中的诸如元素U1、U2、U3和U4的多个图像元素的设定（例如量值）的基础。

如上所述，用以对所选元素进行上采样的量度125的生成和使用可以是有条件的。举例来说，在以合理的确定性知道正被上采样的所选元素位于正被上采样的信号呈现内的过渡区域处或其附近的情况下，可以使用本文中所讨论的生成并使用量度125的方法。

所选元素和/或位于被测试的所选元素附近的元素的设定可以提供关于相应的元素是否位于边界区域上或其附近的指示。也就是说，如果被测试的所选元素附近的元素的设定表明所选元素位于过渡区域上或其附近，则信号处理器140使用所生成的量度125来计算被上采样的信号呈现的设定。如果附近元素的设定表明将被上采样的所选元素并不位于过渡区域或其附近，则信号处理器140可以使用替换的上采样技术（例如除了使用所生成的量度125之外的其他技术）从一个质量水平上采样到下一个质量水平。

用于确定是否可以生成并使用量度125来把所选元素有利地上采样成下一个更高质量水平下的多个元素的测试可以是基于：相对于与所选元素附近的其他元素相关联的设定的量值的与所选元素相关联的设定的量值。

根据一个实施例，信号处理器140响应于检测到所测试的所选元素具有处于一定范围内的设定而产生相应的量度125。所述范围的下限可以由所选元素附近的第一元素集合的设定来定义。所述范围的上限可以由所选元素附近的第二元素集合的设定来定义。

因此，一般来说，如果与所选元素相关联的设定落在由所选元素附近的其他元素的设定所定义的范围内，则信号处理器140可以被配置成生成并使用量度125来上采样所选元素。

根据一个实施例，为了产生用于测试及识别边缘的范围，信号处理器140初始地分析所选元素附近的元素的设定，以至少识别出第一元素集合和第二元素集合。所选元素附近的第一元素集合和第二元素集合可以关于被布置在第一集合与第二集合之间的所选元素被布置为彼此相对、成对角线等等。每一个所述集合可以包括一个或多个元素。

信号处理器140基于所选元素附近的第一元素集合中的至少一个元素的设定生成第一数值。信号处理器140基于所选元素附近的第二元素集合中的至少两个元素的设定生成第二数值。信号处理器140产生一范围，其中所述两个数值当中的较大数值定义该范围的上限，而另一个数值定义该范围的下限。如果所选元素的设定落在附近元素的所述范围内，则所选元素可能落在边缘或过渡区域上。

注意，信号处理器140可以测试所选元素附近的一个或多个附近元素的不同分组（还将它们与附近元素的可能配置集合进行比较），以确定布置在被测试分组之间的所选元素是否位于过渡区域内。如上所述，元素分组的特定选择可能会提供所选元素不位于过渡区域内的指示。在这样的实施例中，不可使用量度来进行上采样。如上所述，如果附近元素的设定使测试对可能配置集合当中的至少一种配置（在适当的置信度阈值内）满意并且所选元素的设定落在由附近元素的设定所定义的范围内，则信号处理器140可以被配置成认为所选元素落在过渡区域内。

作为更加具体的示例，响应于检测到所选元素G1的量值（例如设定、数值等等）落在由邻居元素的多个分组的候选集合所定义的范围内，信号处理器140认为所选元素位于过渡区域附近，并且因此基于作为定义所述过渡的基础的附近元素的相应设定产生量度125。如所述并且如下面更加详细地讨论的，所述量度可以充当用于识别将被指派给元素U1、U2、U3和U4的设定的基础。

在该示例中，假设由所选元素附近的一个或多个元素（例如元素X1）构成的第一集合中的每一个元素被设定到近似为100的数值（例如假设元素X1=100），并且由所选元素附近的一个或多个元素（例如元素Y1、Y2和Y3）构成的第二集合中的每一个元素被设定到近似为0的数值（例如假设元素Y1=0.1，Y2=0，并且Y3=0.3）。在这种情况下，信号处理器140把所述范围的下限设定到0，并且把所述范围的上限设定到100。在该示例中还假设所选元素G1具有为37的被指派数值。由于所选元素G1的数值落在范围极限0到100之间，因此信号处理器140认为所选元素G1位于过渡区域上或其附近，并且可以通过使用相应的量度125来对所选元素进行上采样。在这种情况下，相应的量度125可以被有益地用来把元素G1上采样成第二质量水平下的元素U1、U2、U3和U4。

信号处理器140基于附近元素的设定产生量度125。量度125定义边界。如后面将在本说明书中更加详细地讨论的那样，所述边界相对于所选元素的位置和取向取决于所选元素附近的元素的设定的量值。在一个实施例中，可以使用线性内插技术（或者任何其他适当的测量技术）来识别定义相应的边界的量度125的位置和取向。后面在本说明书中将更加详细地讨论使用线性内插的附加细节。

如前面所讨论的那样，再次注意，本文中的实施例可以被扩展到对表示体积的信号的处理。根据这样实施例，所选元素、所选元素附近的第一元素集合以及所选元素附近的第二元素集合的设定的组合定义第一质量水平下的体积图像的一部分。在这种情况下，量度125定义第一质量水平下的所述体积图像部分中的表面边界。信号处理器140（按照如上所述的类似式）使用量度125来计算第二质量水平下的信号中的多个体积图像元素的设定。信号处理器140可以响应于检测到所选元素的量值落在一定范围内而产生量度125（例如表面边界），其中所述范围的下限由所选元素附近的第一元素集合的设定来定义，所述范围的上限由所述体积中的所选元素附近的第二元素集合的设定来定义。

以如上面针对二维情况所讨论的类似方式，信号处理器140可以被配置成测试（所述体积中的）附近元素的不同分组，以便识别出所选元素是否落在所述体积中的过渡区域内。

不管维度的数目如何，还应当注意的是，信号处理器140可以针对多个更高质量水平中的每一个更高质量水平下的信号呈现中的元素重复生成量度，以便上采样并且再现另外更高质量水平下的信号呈现。举例来说，在适当的情况下，信号处理器140可以利用针对质量水平#2下的所选元素生成的量度把该所选元素上采样成质量水平#3下的多个元素；信号处理器140可以利用针对质量水平#3下的所选元素生成的量度把该所选元素上采样成质量水平#4下的多个元素；以此类推。

在一个实施例中，信号处理器140在相继更高的质量水平下重复上采样，以便在最高质量水平下重建原始信号的呈现。所产生的信号呈现可以具有与原始信号相同的分辨率，并且与原始信号完全相同或接近完全相同。

在其中可以使用本文中所讨论的技术的编码器系统的示例中，信号处理器140可以被配置成测试并确定哪一种上采样选项（例如使用量度/去混合滤波器或者使用替换的上采样选项）适合于每个质量水平下的每个元素。

在多尺度、基于继承性的编码环路中，在分层结构中把信号相继地下采样到第一质量水平下的信号呈现。量度125（“去混合滤波器”）在所述多尺度编码环路中的可用上采样操作中的实现方式可以减少基于分层结构中的较低质量水平下的信号呈现重建更高质量水平下的信号呈现所需的残留数据的量。

在其中可以使用本文中所讨论的利用量度或替换的上采样选项的上采样技术的解码器系统的示例中，信号处理器140可以被配置成测试并确定将被用来对每一个质量水平下的每一个元素进行上采样的适当的上采样操作（例如使用量度/去混合滤波器或者替换的上采样选项）。在另一个实施例中，在编码地点处做出的决定可以被发送到解码器并且由解码器复制，从而以略微更高的传送带宽为代价实现降低的解码复杂度。

解码器可以被配置成实施以下步骤：选择信号呈现115-1中的元素，（在适当的情况下）产生量度125，并且基于较低质量水平下的信号呈现利用多尺度解码器环路来重建更高质量水平下的信号呈现。取代替换的上采样操作，生成和使用量度可以减少或改变为了重建第二质量水平下的信号呈现在上采样之后所需的残留数据的量。

图2是示出了根据本文中的实施例的利用针对第一质量水平下的所选元素生成的量度来计算用于把该所选元素上采样到下一个更高质量水平下的多个元素的设定的示例图。

根据如前面所讨论的一个实施例，信号处理器140使用所述量度把元素G1上采样成元素U1、U2、U3和U4。注意，仅仅通过非限制性示例的方式示出了把元素G1上采样成下一更高质量水平下的四个元素（例如基于2x2的扩展因数），并且上采样可以包括从一个质量水平到下一更高质量水平的任何适当的向上扩展。

在该示例中，假设信号处理器140针对附近元素的第一集合（例如假设元素X1=100）和第二集合（例如假设元素Y1=0.1，Y2=0，并且Y3=0.3）的设定范围极限分别是0和100。在这种情况下，所述范围的下限是0，且所述范围的上限是100。在该示例中，假设所选元素G1的被指派数值是37。

信号处理器140基于量度125生成用于元素U1、U2、U3和U4的数值。举例来说，为了基于量度125产生用于U1、U2、U3和U4当中的每一个的设定，信号处理器140首先识别出元素U1、U2、U3和U4当中的哪一个与量度125相交。

在该示例中，信号处理器140识别出量度125与（元素U1、U2、U3和U4当中的）元素U1、U2和U3相交。对于元素U1、U2和U3当中的每一个，响应于检测到相交，信号处理器140利用量度125来计算相应的设定。信号处理器140把用于这些元素U1、U2和U3当中的每一个的数值设定在被指派给第一元素集合（例如X）的设定（例如100）与被指派给第二元素集合（例如Y）的设定（例如0）之间。

在该示例中，信号处理器140识别出量度125不与（元素U1、U2、U3和U4当中的）元素U4相交。响应于检测到元素U4的全部都位于由量度125定义的边界与第一元素集合（例如Y元素）之间，信号处理器140把元素U4设定到基本上等于0的数值。这是被指派给第二元素集合的设定。

注意，如果信号处理器140检测到另一个特定元素位于由量度125定义的边界与第一元素集合（例如X元素）之间，则信号处理器140将把该特定元素设定到与被指派给第一元素集合的设定基本上相等的数值（例如100）。但是注意，这在本示例的情况中不会发生，但是对于所测试的其他元素可能会发生。

回想到，信号处理器140检测到由量度125定义的边界与第二质量水平下的信号的元素U1、U2和U3当中的每一个相交。根据如图2中所示的另外的实施例，对于每一个元素，信号处理器计算：i）指示相应元素的多少位于由量度125定义的边界与第一元素集合（例如X元素）之间的第一数值；以及ii）指示相应元素的多少位于由量度125定义的边界与第二元素集合（例如Y元素）之间的第二数值。信号处理器基于所述范围（例如0到100）以及第一数值与第二数值的比例或加权来计算用于每一个相应的相交元素的设定。

回想到，所述范围（例如0到100）的下限由第二元素集合的设定来定义，并且所述范围（例如0到100）的上限由第一元素集合的设定来定义。在该示例中，假设与元素U1相关联的区域的83%位于由量度125定义的边界与第二元素集合Y之间。另外假设与元素U1相关联的区域的17%位于由量度125定义的边界与第一元素集合X之间。基于这些数值，信号处理器140把元素U1设定到数值83。举例来说，信号处理器140利用下面的等式来产生该数值：

U(i)=范围上限-PV1(i)*(范围上限-范围下限)，

其中，PV1(i)=上采样元素i（例如元素U1、U2和U3的其中之一）落在边界与下限之间的百分比；或者

U(i)=范围下限+PV2(i)*(范围上限-范围下限)

其中，PV2(i)=上采样元素i落在边界与上限之间的百分比。

利用上面的等式以及如上面所讨论的加权，信号处理器140设定元素U2=6。举例来说，假设与元素U2相关联的区域的6%位于由量度125定义的边界与第一元素集合X之间。另外假设与元素U2相关联的区域的94%位于由量度125定义的边界与第二元素集合Y之间。基于这些数值和上面的等式，信号处理器140把元素U2设定到数值6。

利用上面的等式，信号处理器140设定元素U3=23。举例来说，假设与元素U3相关联的区域的23%位于由量度125定义的边界与第一元素集合X之间。另外假设与元素U3相关联的区域的77%位于由量度125定义的边界与第二元素集合Y之间。基于这些数值和上面的等式，信号处理器140把元素U3设定到数值23。

与元素U4相关联的区域的全部都位于由量度125定义的边界与第二元素集合之间。在这种情况下，信号处理器为元素U4指派基本上等于与Y元素（例如第二元素集合）相关联的设定的数值。也就是说，信号处理器140设定U4=0。

如前面所述的那样，信号呈现可以表示元素的体积。根据这样的实施例，信号处理器140对于体积元素执行如上面所讨论的相同步骤。

举例来说，信号处理器140可以被配置成检测由量度125定义的表面边界与第二质量水平下的体积图像中的多个图像元素当中的特定体积元素相交。对于该特定体积元素，信号处理器140计算：i）指示该特定体积元素的多少位于表面边界与第一元素集合之间的第一数值；以及ii）指示该特定体积元素的多少位于表面边界与第二元素集合之间的第二数值。信号处理器140随后在基于第一数值和第二数值的量值的范围内计算用于该特定体积元素的设定。

图3是示出了根据本文中的实施例的利用替换的上采样选项将所选元素上采样成多个元素的示例图。在该示例中，假设信号处理器140无法生成相应的量度以把所选元素Y3上采样到更高质量水平下的多个元素。

更具体来说，假设所选元素Y3没有被指派落在由所选元素附近的两个或多个附近元素集合定义的范围内的设定。信号处理器140在测试并且穷尽了附近元素分组的不同的可能轴向相对集合之后识别出这一状况。响应于检测到这一状况，信号处理器140假定所选元素并未落在明确定义的边界或过渡区域附近，并且因此使用替换的上采样选项来把元素Y3上采样到多个元素V1、V2、V3和V4。

图4是示出了根据本文中的实施例的把第一质量水平下的信号的多个元素当中的每一个上采样成第二质量水平下的信号的元素的操作的示例图。如图所示，信号处理器140测试质量水平#1下的信号呈现115-1中的多个元素当中的每一个，以便识别出使用所生成的量度来为相应的元素执行上采样是否将是适当的。信号处理器140基于第一质量水平下的信号呈现中的下一个所选元素附近的元素的设定有条件地产生相应的量度。

作为示例，信号处理器140对第一质量水平下的信号呈现中的多个相应元素当中的每一个应用测试，以便确定是向该相应元素指派第一种类型的上采样操作（例如使用所生成的量度的上采样操作）还是向该相应元素指派替换的第二种类型的上采样操作（例如不利用量度的上采样操作）以进行解码。

对于每一个元素的测试可以包括确定所选的相应元素的设定是否落在一定范围内，如上面所讨论的那样。信号处理器140指派第一种类型的上采样操作以用于上采样该相应元素，其中相应元素的相应设定落在针对该相应元素所产生的范围内。信号处理器140指派第二种类型的上采样操作以用于上采样该相应元素，其中该相应元素的相应设定落在针对该相应元素所产生的范围之外。相应地，可以为给定质量水平的信号中的不同元素指派不同的上采样操作。

图5是示出了根据本文中的实施例的指派并使用不同类型的上采样操作来把信号呈现上采样到更高质量水平的示例图。注意，元素G1、Y3和B2已在映射图510中被加标签，以便表明映射图510中的各元素如何对应于信号呈现115-1中的各元素。

如前面所讨论的那样，信号处理器140可以被配置成测试有益的做法是基于针对所选元素的相应量度125来进行上采样还是使用替换的上采样操作（例如使用其他上采样和图像处理方法，诸如双三次滤波器和/或反锐化掩模滤波器）。基于所述测试的结果，映射图510中的各元素指示将利用所生成的量度（例如加有标签M）还是替换的方法（例如加有标签O）来把质量水平#1下的信号呈现115-1中的对应元素从质量水平#1上采样到质量水平#2。

作为非限制性示例，映射图510中的利用字母M标记的区域可以指示在相应的图像中过渡或边缘发生在哪里。其属性指示较低质量水平下的相应图像的粗略属性（例如略图）。

图6是示出了根据本文中的实施例的指派并使用不同类型的上采样操作来把信号呈现上采样到更高质量水平的示例图。注意，元素U1、U2、U3、U4、V1、V2、V3和V4已在映射图510中被加标签，以便指示映射图610中的各元素如何对应于第二质量水平下的信号呈现中的各元素。

如前面所讨论的那样，信号处理器140可以被配置成测试适当的做法是基于针对所选元素的相应量度来进行上采样还是使用替换的上采样操作（例如使用其他上采样和图像处理方法，诸如双三次滤波器和/或反锐化掩模滤波器）。基于所述测试的结果，映射图610中的各元素指示将利用所生成的量度（例如加有标签M）还是替换的方法（例如未加标签）来把相应元素从质量水平#2上采样到质量水平#3。

作为非限制性示例，映射图610中的利用字母M标记的各区域可以指示在相应的图像中过渡发生在哪里。所述过渡指示较低质量水平下的相应图像的粗略属性（例如略图）。在该示例中，信号呈现115-1表示包括至少一个垂直对象的更加详细的图像。在所述图像的新区域中已检测到一定的过渡（被加有标签M）。新的过渡可以指示现在在更高分辨率图像中是可检测的附加对象的存在。

边缘重建滤波器（例如去混合上采样滤波器）

图7是示出了根据本文中的实施例的用于产生量度的两种不同配置的示例图。注意，这两种配置是以非限制性示例的方式被示出的，并且可以使用任何数目的配置以作为把特定元素从一个质量水平上采样到下一个质量水平的模型。

如上面所讨论的那样，当解码器上采样回到更高质量水平时，常常希望利用“智能”滤波器来重建原始信号，以便减少为了把信号从一个质量水平上采样到另一个质量水平编码器必须创建的残留数据的平均信息量（entropy）。

考虑到视频数据（例如具有各帧的运动画面）中的一大部分图像包括非常尖锐的边界/过渡或者非常渐变/模糊的过渡。为了在对较低分辨率信号中的直边或尖锐边界/过渡进行上采样时避免锯齿状的或模糊的重建，本文中的实施例可以包括使用至少两种类型的图像处理和上采样操作，包括反锐化掩模（其不生成量度并且不进行上采样）和去混合滤波器（其确实生成量度以进行上采样）。

反锐化掩模滤波器

反锐化掩模是增强过渡的流行滤波技术。其不具有在上采样之后重新产生尖锐过渡的能力。但是在应用反锐化掩模时，其使得过渡更加陡峭。这可能会将伪像引入信号呈现中，特别在所述过渡本来就不尖锐的情况下尤其是这样。因此，通常只在阈值以上才使用反锐化掩模滤波器。举例来说，对于阈值以下的非常渐变的过渡不使用所述滤波器。

根据本文中的一个实施例，可以由编码器对于每一个质量水平决定是否要使用反锐化掩模滤波器的阈值。为了在全局最小化残留数据的量，对于所选的受控图像区可以不顾使用所述滤波器的决定。

去混合滤波器

本文中讨论的所谓的去混合滤波器是用以在信号中以不同质量水平复原（例如上采样）边缘的定制滤波器。去混合滤波器可以包括对于正被上采样的一个或多个元素当中的每一个使用所生成的量度125，正如前面所讨论的那样。

在一个实施例中，在上采样之前使用去混合滤波器，并且将其使用在较低水平图像实例的相对较小的部分（诸如在二维信号的非限制性情况中是3乘3的元素区域）上。但是注意，该实施例仅仅是作为非限制性示例而示出的，并且本文中所讨论的概念可以被应用于信号的任何尺寸的部分（例如4x4、5x5等等）。

此外，正如前面所讨论的那样，一个实施例包括从质量水平n-1上采样到质量水平n。使用所述量度是基于以下假设：在所选部分中通常仅有两个不同的元素数值并且可以利用诸如直线、曲线、平面表面等的适当边界来近似它们之间的过渡/边界。

当对特定元素无法应用所述算法和相应的量度以实现上采样时，本文中的实施例包括：对于该信号元素的更高分辨率呈现使用通过利用其他默认的上采样操作/滤波器（例如双三次滤波器操作加上反锐化掩模滤波器）进行上采样而获得的多个元素。

注意，用以从一个质量水平上采样到下一质量水平的算法（以及本文中所讨论的量度的生成）通常被使用在被上采样的信号中的相当低百分比（例如10%）的元素上。正如前面所提到的那样，信号的较低质量水平中的信号元素通常包含“粗略”图像信息。其中可以使用量度来上采样到下一个质量水平的元素通常是非常重要的元素，因为信号中的尖锐边界上的伪像往往是非常不合期望的。它们也是如下这样的区域，在该区域中，如果根据传统的方法和滤波器进行上采样，那么在重建更高质量水平时将需要大量残留数据以便校正所上采样的较低质量水平的呈现。如所提到的，利用量度125的上采样减少了残留数据的量，这是因为所述操作智能地将信号呈现从一个质量水平上采样到下一质量水平。

本文中的一个实施例认识到：基于表示边缘的理想边界的角度，存在至少两种主要模型情况，其中可以有利地使用所述量度来确定所测试的区域是否包括过渡或边缘。可以旋转或翻转所测试的区域以产生总共八种不同的模型情况（每一种取向两种模型情况），以用于检查所选元素和相应的相邻元素是否定义其中可以使用所述量度从一个质量水平上采样到下一个质量水平的过渡或边缘。对所测试的所选元素附近的元素的不同组合的测试确保在恰好有过渡存在的情况下可以将其识别出来。

如图7中所示，如果将所测试部分中的被标记为X和Y的元素的两个可能的设定识别为处在针对给定质量水平的给定范围/阈值内（例如存在被设定为接近相同的第一数值的一组元素X，并且存在被设定为接近相同的第二数值的一组元素Y），则本文中的实施例包括如前面所讨论的那样生成并且利用量度125来对元素进行上采样。否则，使用替换的上采样操作。下面将描述这两种情况。

图8是示出了根据本文中的实施例额生成第一配置的量度的示例图（用以检查的具体条件是两个范围极值的其中之一（例如Y）在其中一角（例如右下角）处出现至少三次，并且另一极值在对角处出现至少一次）。如所提到的，测试被标记有X和Y的元素的数值，以便确保它们落在一定阈值范围内。其他元素将可能包含作为X与Y的混合的数值，这是因为它们可能来自于把充满具有数值X的元素的区域与充满具有数值Y的元素的区域分开的尖锐边界的下采样滤波。如上所述，根据一个实施例，每一个元素的具体数值可以取决于其区域的多少处在我们想要识别的理想直线的左侧或右侧。具体来说，我们能够识别出所述直线的方式是通过计算两个参数：α和β。

在这种配置中，我们可以假设α≥1/2并且0≤β≤1（已将每一个元素的尺寸归一化到1x1单位）。如果不是这种情况，我们可以简单地翻转或旋转所测试的3x3元素块。

如我们可以从图8中的所测试元素看到的那样，我们希望重建的线的角度会影响我们将在(B+C)中、(D+E)中和(G+H)中找到的数值。在任何情况下，它们的数值都将处于2X到2Y之间的某处，但是取决于所述线的位置及其斜率，它们可以更接近2X或者更接近2Y。假设所述3x3块中的元素的数值来自于具有某种线性滤波的下采样，则我们可以利用被称作“线性内插”（或“LERP”）的操作。所述操作非常高效并且如下那样工作：

在实践中，所述操作可以被用来获得(B+C)的数值，就好像我们处在被上采样的水平（高得多的分辨率）中：我们将利用梯形的高度作为参数m，利用数值2Y（两个元素都是白色）对数值2X（两个元素都是灰色，如果我们假设X是在上面的图像中示出的灰色的阴影的话）进行线性内插。在(B+C)的情况中，由于面素具有为1的一侧，因此很容易明白m等于(1+α-β)。

因此，我们具有两个线性等式，我们可以对其求解所述两个变量α和β（请注意，元素数值A、B、C、D、E、F、G、H、I和范围极值X、Y都是已知的量）：

因此，本文中的实施例包括通过求解上面的等式来计算/估计α和β的数值。通过所述数值，我们将在被上采样的水平中复制的理想直线可以被用来在从一个质量水平上采样到下一个质量水平时避免生成不合意的模糊阶梯效应。为了改进所述估计，并且特别当β较大时，如果需要本文中的实施例可以包括用于(D+G)的附加等式。

图9是示出了根据本文中的实施例的生成针对第二配置的量度的示例图（用以检查的具体条件是两个范围极值的其中之一（例如Y）在包括一角的其中一侧（例如包括右下角的右侧）出现至少两次，并且另一极值在包括对角的相对侧出现至少两次）。

根据这种配置，假设α≥1/2并且0≤β≤1（同样地，如果不是这种情况，则可以翻转或旋转所述3x3块）。同样地我们具有三个等式，它们可以帮助我们估计α和β的数值，从而重建所述直线：

同样地，这里我们具有有两个未知量的三个等式，它们可以帮助我们进一步细化对于α和β的估计。

如前面所讨论的那样，可以对所述去混合滤波器上采样算法进行扩展以便用在具有多于2个维度的信号上（例如3D图像、全息图像等等）。

图10是示出了根据本文中的实施例的利用量度1025把信号的元素上采样到更高质量水平的结果的示例图。如图所示，信号处理器140按照如前面讨论的方式利用步骤A中的算法来产生量度1025。基于量度1025，信号处理器140把信号呈现1010-1上采样成信号呈现1010-2。注意，量度1025的使用如何在上采样期间保持量度1025定义的边界的完整性。

图11是根据本文中的实施例的提供计算机处理的计算机系统800的示例框图。

计算机系统800可以是或者包括计算机化器件，诸如运行作为交换机、路由器、服务器、客户端等的个人计算机、处理电路、电视、重放器件、编码器件、工作站、便携式计算装置、控制台、网络终端、处理器件、网络装置。

注意，下面的讨论提供了表明如何实施与如前所述的信号处理器140相关联的功能的基本实施例。但是应当注意的是，用于实施本文中所描述的操作的实际配置可以根据相应的应用而不同。

如图所示，本示例的计算机系统800包括互连811，所述互连811耦合可以在其中存储及检索数字信息的计算机可读存储介质812，诸如非瞬时类型的介质、计算机可读硬件存储介质等等。计算机系统800还可以包括处理器813、I/O接口814和通信接口817。

I/O接口814提供到储存库180并且如果存在的话还到显示屏、诸如键盘、计算机鼠标等的外围设备816的连接性。

计算机可读存储介质812（例如硬件存储介质）可以是任何适当的器件和/或硬件，诸如存储器、光学存储装置、硬盘驱动器、软盘等等。所述计算机可读存储介质可以是用以存储与信号处理器140相关联的指令的非瞬时存储介质。所述指令由诸如信号处理器140的相应资源执行，以便执行本文中所讨论的任何操作。

通信接口817使计算机系统800能够通过网络190进行通信以便从远程源获取信息以及与其他计算机、交换机、客户端、服务器等进行通信。I/O接口814还使得处理器813能够从储存库180获取或者尝试获取所存储的信息。

如图所示，可以利用由处理器813作为信号处理器进程440-2执行的信号处理器应用140-1对计算机可读存储介质812进行编码。

注意，计算机系统800或编码器140还可以被具体实现为包括计算机可读存储介质812（例如硬件存储介质、非瞬时存储介质等等）以用于存储数据和/或逻辑指令。

计算机系统800可以包括处理器813以便执行这样的指令以及实施如本文中所讨论的操作。相应地，当被执行时，与信号处理器应用140-1相关联的代码可以支持如本文中所讨论的处理功能。如所提到的那样，信号处理器140可以被配置成支持编码和/或解码。

在一个实施例的操作期间，处理器813通过使用互连811访问计算机可读存储介质812，以便启动、运行、执行、解释或者以其他方式执行存储在计算机可读存储介质812中的信号处理器应用140-1的指令。信号处理器应用140-1的执行产生处理器813中的处理功能。换句话说，与处理器813相关联的编码器进程440-2代表在计算机系统800中的处理器813内或其上执行信号处理器应用140-1的一个或多个方面。

本领域技术人员将理解的是，计算机系统800可以包括其他进程和/或软件和硬件组件，诸如控制硬件处理资源的分配和使用以便执行信号处理器应用140-1的操作系统。

根据不同的实施例，注意，计算机系统可以是多种类型的器件当中的任一种，其包括（但不限于）个人计算机系统、台式计算机、膝上型计算机、笔记本、上网本计算机、大型计算机系统、手持式计算机、工作站、网络计算机、应用服务器、存储器件、消费电子器件（诸如摄影机、摄录一体机、机顶盒、移动器件、视频游戏控制台、手持式视频游戏器件）、外围设备（诸如交换机、调制解调器、路由器）或者一般来说是任何类型的计算或电子器件。

图12是示出了根据本文中的实施例的生成并利用量度上采样的方法的示例性流程图1200。

在步骤1210中，信号处理器140从第一质量水平下的信号呈现115-1当中选择元素，以便上采样成第二更高质量水平下的信号呈现115-1的多个元素。

在步骤1220中，信号处理器140基于第一质量水平下的信号呈现中的所选元素附近的元素的设定产生量度125。量度125定义所选元素附近的第一元素集合与所选元素附近的第二元素集合之间的边界。

在步骤1230中，信号处理器140利用量度125来计算第二质量水平下的信号中的多个元素的设定。

在子步骤1240中，信号处理器140检测到由所述量度定义的边界与第二质量水平下的信号中的多个图像元素当中的特定元素相交。

在子步骤1250中，对于该特定元素，信号处理器140计算：i）指示该特定元素的多少位于所述边界与第一元素集合之间的第一数值；以及ii）指示该特定元素的多少位于所述边界与第二元素集合之间的第二数值。

在子步骤1260中，信号处理器140基于第一数值和第二数值计算所述特定元素的设定。

同样注意，本文中的技术非常适用于用在处理及重建信号中。但是应当注意的是，本文中的实施例不限于使用在这样的应用中，并且本文中所讨论的技术也非常适合于其他应用。

基于本文中所给出的描述，已阐述了许多具体细节以便提供对于所要求保护的主题内容的透彻理解。但是本领域技术人员将理解的是，可以在没有这些具体细节的情况下实践所要求保护的主题内容。此外，并没有详细描述对于本领域普通技术人员将是已知的方法、设备、系统等等，以免模糊所要求保护的主题内容。本文中的详细描述的一些部分是就对存储在诸如计算机存储器的计算机系统存储器内的数据比特或二进制数字信号的操作的符号表示或算法而给出的。这些算法描述或表示是由数据处理领域的技术人员使用来向本领域的其他技术人员传达其工作实质的技术的示例。如本文中所述的、且通常地“算法”被视为导致期望的结果的自相一致的操作序列或类似处理。在本上下文中，操作或处理涉及对物理量的物理操纵。通常地但非必要地，这样的量可以采取能够被存储、传输、组合、比较或者按照其他方式被操纵的电信号或磁信号的形式。主要出于通常使用的原因，已经证明有时把这样的信号称作比特、数据、数值、元素、符号、字符、项、数字、数码等等是便利的。但是应当理解的是，所有这些和类似的术语都将与适当的物理量相关联，并且仅仅是便利的标签。除非明确地另行声明，否则如从下面的讨论中明显看出的那样，应当认识到贯穿本说明书的讨论利用诸如“处理”、“计算”、“确定”等术语来指代诸如计算机或类似电子计算器件的计算平台的动作和处理，所述计算平台对被表示为所述计算平台的存储器、寄存器或者其他信息存储器件、传送器件或显示器件内的物理、电子或磁性量的数据进行操纵和变换。

虽然已经参照本发明的优选实施例特别示出并描述了本发明，但是本领域技术人员将理解的是，在不背离如所附权利要求限定的本申请的精神和范围的情况下，可以在其中的形式和细节方面做出许多改变。这样的变型意图被本申请的范围所涵盖。因此，前面对于本申请的实施例的描述不意图是限制性的。相反，对本发明的任何限制都在下面的权利要求中给出。

Claims (20)

1.一种在分层结构中的更高质量水平下解码信号的方法，每个处于给定质量水平下的信号呈现包括多个元素，每个元素对应于给定位置处的信号采样，并且每个元素由至少一个设定来表征，所述方法包括：

解码第一质量水平下的信号呈现；

从第一质量水平下的信号呈现中选择元素，以将其上采样成第二质量水平下的信号呈现的多个元素，第二质量水平高于第一质量水平；

基于第一质量水平下的信号呈现中的所选元素附近的元素的设定产生量度，所述量度定义所选元素附近的第一元素集合与所选元素附近的第二元素集合之间的边界；

利用所述量度来计算第二质量水平下的第一信号呈现中的所述多个元素的设定；以及

将第二质量水平下的第一信号呈现与残留数据相组合，从而产生第二质量水平下的第二信号呈现，

其中利用所述量度包括：

检测到由所述量度定义的边界与第二质量水平下的信号中的所述多个图像元素中的特定元素相交。

2.如权利要求1所述的方法，还包括：

响应于检测到所选元素的设定落在一定范围内而产生所述量度，所述范围的下限由第一元素集合的设定来定义，所述范围的上限由第二元素集合的设定来定义。

3.如权利要求1所述的方法，其中，利用所述量度来计算第二质量水平下的信号中的所述多个元素的设定包括：

识别出所述多个元素中的第一元素，其中由所述量度定义的边界与第一元素相交；

对于第一元素：

利用所述量度来计算第一元素的设定，所述设定是处于被指派给第一元素集合的设定与被指派给第二元素集合的设定之间的数值；

识别出所述多个元素中的第二元素，其中由所述量度定义的边界不与第二元素相交；以及

对于第二元素：

响应于检测到第二元素的全部都位于由所述量度定义的边界与第一元素集合之间，把第二元素设定到与被指派给第一元素集合的设定基本上相等的数值；以及

响应于检测到第二元素的全部都位于由所述量度定义的边界与第二元素集合之间，把第二相应元素设定到与被指派给第二元素集合的设定基本上相等的数值。

4.如权利要求1所述的方法，其中，所选元素、第一元素集合和第二元素集合定义第一质量水平下的图像的一部分；并且

其中，所述边界对应于覆盖在第一质量水平下的图像的所述部分上的线边界，所述线边界被用来计算第二质量水平下的信号中的多个图像元素的设定。

5.如权利要求4所述的方法，还包括：

响应于检测到所选元素的设定落在一定范围内而产生所述量度，所述范围的下限由第一元素集合的设定来定义，所述范围的上限由第二元素集合的设定来定义。

6.如权利要求1所述的方法，其中，利用所述量度还包括：

对于所述特定元素，计算i）对应于位于所述边界与第一元素集合之间的所述特定元素的百分比的第一数值，以及ii）对应于位于所述边界与第二元素集合之间的所述特定元素的百分比的第二数值；以及

在基于第一数值和第二数值的范围内计算所述特定元素的设定，所述范围的下限由第一元素集合的设定来定义，所述范围的上限由第二元素集合的设定来定义。

7.如权利要求1所述的方法，其中，所选元素、第一元素集合和第二元素集合定义第一质量水平下的体积图像的一部分；并且

其中，所述量度定义第一质量水平下的体积图像的所述部分中的表面边界，所述量度被用来计算第二质量水平下的信号中的多个体积图像元素的设定。

8.如权利要求7所述的方法，还包括：

响应于检测到所选元素的设定落在一定范围内而产生所述量度，所述范围的下限由第一元素集合的设定来定义，所述范围的上限由第二元素集合的设定来定义。

9.如权利要求8所述的方法，其中，利用所述量度包括：

检测到由所述量度定义的表面边界与第二质量水平下的体积图像中的所述多个图像元素中的特定体积元素相交；

对于所述特定体积元素，计算i）对应于位于所述表面边界与第一元素集合之间的所述特定体积元素的百分比的第一数值，以及ii）对应于位于所述表面边界与第二元素集合之间的所述特定体积元素的百分比的第二数值；以及

在基于所述第一数量和所述第二数量的设定的范围内计算所述特定体积元素的设定。

10.如权利要求1所述的方法，还包括：

对于第一质量水平下的信号呈现中的多个元素中的每一个重复以下步骤：

从第一质量水平下的信号呈现中选择下一个元素以进行上采样；

基于第一质量水平下的信号呈现中的所述下一个所选元素附近的元素的设定有条件地产生相应的量度，所述相应的量度指示所述下一个所选元素附近的第一元素集合与所述下一个所选元素附近的第二元素集合之间的边界。

11.如权利要求1所述的方法，还包括：

分析所选元素附近的元素的设定以选择第一元素集合和第二元素集合；

基于所选元素附近的第一元素集合中的至少一个元素的设定生成第一数值；

基于所选元素附近的第二元素集合中的至少两个元素的设定生成第二数值；

产生一个范围，其中第一数值定义所述范围的上限，并且第二数值定义所述范围的下限；以及

利用所述量度和范围产生第二质量水平下的信号中的所述多个图像元素的设定。

12.如权利要求11所述的方法，其中，产生所述量度是响应于检测到所选元素的设定落在所述范围内而发生的。

13.如权利要求1所述的方法，还包括：

在多尺度编码环路中迭代地实施所述选择、产生和利用的步骤，在所述多尺度编码环路中在分层结构中将信号相继地下采样到第一质量水平下的信号呈现，所述多尺度编码环路中的各个步骤的迭代实施被用来测试上采样操作选项以及减少把分层结构中的较低质量水平下的信号呈现上采样到更高质量水平下的信号呈现所需的残留数据的量。

14.如权利要求1所述的方法，其还包括：

在多尺度解码器环路中实施所述选择、产生和利用的步骤，在所述多尺度解码器环路中把较低质量水平下的信号呈现上采样成更高质量水平下的信号呈现，取代替换的上采样操作而实施所述步骤，以便减少或改变为了重建第二质量水平下的信号呈现在上采样之后需要的残留数据的量。

15.如权利要求1所述的方法，其中，作为第一种类型的上采样操作实施选择、产生和利用的步骤，所述方法还包括：

对第一质量水平下的信号呈现中的多个相应元素中的每一个应用测试，以便确定要向所述相应元素指派第一种类型的上采样操作还是要向所述相应元素指派第二种类型的上采样操作以进行解码，所述测试包括确定所选相应元素的设定是否落在由所选相应元素附近的相应的第一元素集合的设定和所选相应元素附近的相应的第二元素集合的设定所定义的范围内，其中所述相应的所选元素被布置在所述相应的第一元素集合与所述相应的第二元素集合之间；以及

指派第一种类型的上采样操作以用于上采样所述相应元素，其中所述相应元素的相应设定落在针对所述相应元素产生的所述范围内；以及

指派第二种类型的上采样操作以用于上采样所述相应元素，其中所述相应元素的相应设定落在针对所述相应元素产生的所述范围之外。

16.如权利要求1所述的方法，其中，所述边界相对于所选元素的位置和取向取决于所选元素附近的元素的设定。

17.如权利要求1所述的方法，其中所述给定位置是给定空间和/或时间部分，所述设定是给定形式的数值，并且所述所选元素附近表示在给定坐标系中的距离范围内。

18.一种重建分层结构中的相继更高的质量水平下的信号的方法，所述方法包括：

对第一数据集合进行解码；

利用已解码的第一数据集合根据第一质量水平重建所述信号；

对第一质量水平下的重建信号应用上采样操作以便重建第二质量水平下的第一信号呈现，第二质量水平高于第一质量水平，其中应用所述上采样操作还包括：

对第一质量水平下的信号呈现中的多个相应元素中的每一个应用测试，以便确定要向所述相应元素指派第一种类型的上采样操作还是要向所述相应元素指派第二种类型的上采样操作，其中第一种类型的上采样操作包括识别出第一质量水平下的信号的一部分中的边界并且根据所识别出的边界产生第二质量水平下的经过上采样的元素数值；

对第二数据集合进行解码；

利用已解码的第二数据集合重建残留数据；以及

把第二质量水平下的第一信号呈现与残留数据相组合，从而产生第二质量水平下的第二信号呈现；

其中根据所识别出的边界产生第二质量水平下的经过上采样的元素数值包括：

检测到所述边界与第二质量水平下的信号中的多个图像元素中的特定元素相交。

19.一种在分层结构中的更高质量水平下解码信号的设备，包括：

用于从第一质量水平下的信号呈现中选择元素以便将其上采样成第二质量水平下的信号呈现的多个元素的装置，第二质量水平高于第一质量水平；

用于基于第一质量水平下的信号呈现中的所选元素附近的元素的设定产生量度的装置，所述量度定义所选元素附近的第一元素集合与所选元素附近的第二元素集合之间的边界；

用于利用所述量度来计算第二质量水平下的第一信号呈现中的所述多个元素的设定的装置；以及

用于把第二质量水平下的第一信号呈现与残留数据相组合从而产生第二质量水平下的第二信号呈现的装置，

其中利用所述量度包括：

检测到由所述量度定义的边界与第二质量水平下的信号中的所述多个图像元素中的特定元素相交。

20.一种计算机系统，包括：

处理器；

存储与由处理器执行的应用相关联的指令的存储器单元；以及

耦合处理器与存储器单元的互连，从而使得所述计算机系统能够执行所述应用并且执行以下操作：

从第一质量水平下的信号呈现中选择元素，以便将其上采样成第二质量水平下的信号呈现的多个元素，第二质量水平高于第一质量水平；

基于第一质量水平下的信号呈现中的所选元素附近的元素的设定产生量度，所述量度定义所选元素附近的第一元素集合与所选元素附近的第二元素集合之间的边界；

利用所述量度来计算第二质量水平下的第一信号呈现中的所述多个元素的设定；以及

把第二质量水平下的第一信号呈现与残留数据相组合，从而产生第二质量水平下的第二信号呈现；

其中利用所述量度包括：

检测到由所述量度定义的边界与第二质量水平下的信号中的所述多个图像元素中的特定元素相交。