CN102047287A - 利用稀疏变换的图像/视频质量增强和超分辨率 - Google Patents

Abstract

这里公开一种用于质量增强/超分辨率技术的方法和设备。在一个实施例中，所述方法包括接收第一分辨率的第一版本的媒体，和利用至少一种变换和自适应阈值化来创建第二分辨率的第二版本的媒体，所述第二分辨率高于或等于第一分辨率。

Description

利用稀疏变换的图像/视频质量增强和超分辨率

技术领域

本发明总体上涉及图像/视频信号处理。更具体地说，本发明涉及增强图像/视频信号的质量，和/或提高图像/视频信号的空间分辨率。

背景技术

目前，图像和视频信号处理广泛用在许多应用中。常常需要特定分辨率的图像或视频，然而只能获得较低分辨率的图像或视频。在这种情况下，使用多种方法来利用较低分辨率版本的图像创建较高分辨率的图像。这些现有方法包括对较低分辨率图像或视频应用线性或简单的非线性插值滤波器。

使用线性或非线性插值滤波器的例子包括比如在Gonzalez &Woods，“Digital Image Processing”(Pearson Education(第二版))中说明的双线性插值滤波器；在ITU-T Recommendation H.264 & ISO/IEC14496-10(MPEG-4)AVC，“Advanced Video Coding for Generic Audiovisual Services”，版本3：2005年中说明的线性插值滤波器；和在Vatis & Ostermann，“Locally Adaptive Non-Separable Interpolation Filter for H.264/AVC”，IEEE ICIP，2006年10月中说明的不可分插值滤波器。不过，这三种技术中的每一个可适用于具有平滑变化的像素值的图像/视频帧。这是因为这三种技术是利用平滑图像模型得到的，并且滤波器一般局限于低通滤波器。从而，它们并不适用于许多类型的区域，比如倾斜边缘、纹理等。此外，至少就ITU-T Recommendation H.264及Vatis & Ostermann来说，这两种技术只适用于其中使用被移动小部分像素的先前的一帧或多帧来预测当前帧的视频压缩应用。

另外，存在非常简单的基于变换的方法，用于提高图像/视频的分辨率，不过需要大量的迭代。在Guleryuz，“Predicting Wavelet Coefficients Over Edges Using Estimates Based on Nonlinear Approximants”，Proc.Data Compression Conference，2004年4月中说明了一个这样的例子。

不过，这种技术局限于并不适用于倾斜边缘和纹理的具有各种简化的块变化，并且涉及基本方法的多次迭代以获得良好的质量，从而复杂性惊人地昂贵。

发明内容

这里公开一种用于质量增强/超分辨率技术的方法和设备。在一个实施例中，所述方法包括接收第一分辨率的第一版本的媒体，和利用至少一种变换和自适应阈值化，创建第二分辨率的第二版本的媒体，所述第二分辨率高于或等于第一分辨率。

附图说明

根据下面给出的详细说明，以及根据本发明的各个实施例的附图，将更充分地理解本发明，不过，所述各个实施例不应被理解成把本发明局限于具体实施例，相反只是为了说明和理解。

图1A是进行媒体的质量增强/超分辨率的处理的一个实施例的流程图。

图1B是系统的方框图，图解说明质量增强/超分辨率技术的一个实施例对于压缩视频的应用情形。

图1C是系统的方框图，图解说明质量增强/超分辨率技术的一个实施例对于非压缩视频的应用情形。

图2是增强质量和/或提高分辨率的处理的一个实施例的流程图。

图3是上采样处理的一个实施例的流程图。

图4A-4M图解说明与子帧类型库对应的遮罩(mask)的例子。

图5表示当按光栅扫描顺序对像素编号时在像素I处的例证子帧z_i。

图6是子帧选择处理的一个实施例的流程图。

图7是子帧的变换选择处理的一个实施例的流程图。

图8是阈值化变换系数的阈值化处理的一个实施例的流程图。

图9图解说明单调递减的阶梯函数。

图10是组合子帧以形成帧的处理的一个实施例的流程图。

图11是数据一致性操作的一个实施例的数据流图。

图12是例证的计算机系统的方框图。

图13A-E图解说明所选像素的样本子集。

具体实施方式

说明增强视频和/或图像的质量的增强技术。在一个实施例中，该技术还起分别产生与低分辨率输入图像和/或视频对应的高分辨率图像和/或视频的超分辨率技术的作用。在一个实施例中，这是通过对低分辨率和/或视频中的每个像素位置增加多个像素位置来实现的。为了本文的目的，增加的像素位置已知为插值位置，来自低分辨率图像的位置已知为原始位置。

在下面的说明中，陈述了众多的细节，以更彻底地说明本发明。不过，对本领域的技术人员来说，显然可在没有这些具体细节的情况下实践本发明。在其它情况下，以方框图的形式而非详细地表示了公知的结构和设备，以避免模糊本发明。下面的详细说明的一些部分是按照对于计算机存储器内的数据比特的算法和运算的符号表示给出的。这些算法说明和表示是数据处理领域内的技术人员用于向本领域的其他技术人员最有效地传达其工作的实质的手段。算法在这里并且通常被认为是产生希望结果的自相一致的一系列步骤。所述步骤是要求物理量的物理处理的步骤。这些物理量通常(不过并非必须)表现为能够被保存、传送、组合、比较和以其它方式操纵的电信号或磁信号的形式。已表明有时便利的是把这些信号称为比特、值、元素、符号、字符、项、数字等，主要是因为常用。不过，应记住所有这些和类似术语都与适当的物理量关联，并且仅仅是应用于这些物理量的便利标记。除非另有明确说明，像根据下面的论述显然的那样，否则要认识到在整个说明中，利用诸如“处理”或“计算”或“运算”或“确定”或“显示”之类术语的论述指的是操纵并把表示成计算机系统的寄存器和存储器内的物理(电子)量的数据变换成类似地表示成计算机系统存储器或寄存器或者其它这样的信息存储设备、传输或显示设备内的物理量的其它数据的计算机系统，或类似的电子计算设备的动作和处理。

本发明还涉及执行这里的操作的设备。该设备可以是为所需用途专门构成的，或者它可包括由保存在计算机中的计算机程序有选择地启动或重新配置的通用计算机。这样的计算机程序可被保存在计算机可读存储介质中，比如(但不限于)任何种类的磁盘，包括软盘、光盘、CD-ROM和磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡，或者适合于保存电子指令的任何种类的介质，并且每种都与计算机系统总线耦接。

这里给出的算法和显示并不固有地涉及任何特殊的计算机或其它设备。各种通用系统可以和按照这里的教的程序一起使用，或者可证明便利的是构成更专门的设备来执行所需要的方法步骤。各种各样的这些系统的所需结构将从下面的说明中显现出来。另外，并未参照任何特殊的编程语言说明本发明。要认识到可以使用各种编程语言来实现这里说明的本发明的教导。

机器可读介质包括以机器(例如，计算机)可读的形式保存或传送信息的任何机构。例如，机器可读介质包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光学存储介质；闪速存储设备；电、光、声或其它形式的传播信号(例如，载波、红外信号、数字信号等)；等等。

概述

公开了媒体(例如，图像、视频等)的快速和高性能质量增强和/或超分辨率技术。这些技术允许由低质量、低分辨率的图像和视频呈现高质量和高分辨率(如果需要的话)的媒体(例如，图像、视频等)。在一个实施例中，这些技术使得能够实现视频序列的高质量超分辨率重构(缩放)。

在一个实施例中，作为一种超分辨率技术，利用翘曲变换和自适应阈值化，产生更高分辨率的媒体。对翘曲变换来说，变换被翘曲，以对准边缘，导致对方向性边缘和角落的稀疏表示。与现有技术相比，翘曲变换的使用导致沿方向性边缘和角落的锐度增大。在一个实施例中，根据局部边缘方向，选择翘曲变换，以呈现最高质量的输出视频。可在每个像素独立地，或者对于像素的块一起，发生这种选择。例证的块大小为2×2、3×3、4×4、2×4、4×2等。

空间自适应阈值的使用使得能够按照局部信号统计量实现阈值的调制，这允许借助仅两次迭代，就获得很高的质量。与需要10次迭代来获得相似质量的某些现有技术相比，迭代次数要少得多。

图1A是进行媒体的质量增强/超分辨率重构的处理的一个实施例的流程图。该处理由处理逻辑执行，所述处理逻辑包括硬件(电路、专用逻辑等)，软件(比如运行于通用计算机系统或专用机器上的软件)，或者硬件和软件的组合。

参见图1A，通过处理逻辑接收第一分辨率的第一版本的媒体(例如，图像、视频等)，开始所述处理(处理方框130)。在接收第一版本的媒体之后，处理逻辑利用至少一次翘曲变换和自适应阈值化，创建第二分辨率的第二版本的媒体，所述第二分辨率高于或等于第一分辨率(处理方框131)。

在一个实施例中，作为迭代处理的结果创建第二版本的媒体。在一个实施例中，所述迭代处理只经过两次迭代。

在一个实施例中，通过对子帧应用所述至少一次翘曲变换(例如，2D可分离DCT)以创建变换系数，进行第二版本的媒体的创建。在一个实施例中，所述方法包括在通过上采样第一版本的媒体而产生的图像中自适应地选择子帧，以致对子帧应用翘曲变换以产生变换系数包括对图像中的每个所选子帧应用变换。在一个实施例中，在图像中的每个像素处自适应地选择子帧。在一个实施例中，自适应阈值化包括空间自适应阈值的应用，创建第二版本的媒体包括计算自适应阈值，并利用自适应阈值，阈值化变换系数。

在一个实施例中，超分辨率技术包括选择2-D滤波器，并利用2-D滤波器上采样输入的图像/视频帧；选择起始于上采样帧的任意像素处的子帧，和在上采样帧中的每个像素处，形成子帧并对该子帧应用像素自适应翘曲变换；得到每个子帧的细节保持自适应阈值，利用硬阈值化(例如，如果变换系数的量值小于阈值，那么设为0)或者诸如软阈值化之类的其它方法，阈值化该子帧的变换系数，和对阈值化的变换系数应用逆变换以形成处理后的子帧；对处理后的子帧进行组合操作，以获得上采样帧的更好估计；和可选地对上采样帧进行校正操作，以实现上采样帧和输入帧之间的数据一致性。这些操作构成一次迭代，并产生超分辨率估计。在一个实施例中，重复从子帧选择到校正的操作，以进一步改进超分辨率估计。

在一个实施例中，质量增强技术包括选择起始于输入图像/视频帧的任意像素处的子帧，在输入帧中的每个像素处，形成子帧并对该子帧应用像素自适应翘曲变换；得到每个子帧的细节保持自适应阈值，利用硬阈值化(例如，如果变换系数的量值小于阈值，那么设为0)或者诸如软阈值化之类的其它方法，阈值化该子帧的变换系数，和对阈值化的变换系数应用逆变换，以形成处理后的子帧；对处理后的子帧进行组合操作，以获得增强质量版本的输入帧。这些操作构成一次迭代，并产生增强质量估计。在一个实施例中，重复整个处理，以进一步提高质量。

在一个实施例中，这里说明的技术使分辨率提高任意倍数。即，超分辨率技术的使用并不局限于分辨率的整数倍(例如2X，3X等)提高。超分辨率技术可把分辨率提高任意倍数(例如，1.2X，1.5X，2.6X等)。在一个实施例中，在借助或不借助边信息(side information)的帮助下，这里说明的技术被应用于压缩/非压缩图像/视频信号。图1B是系统的方框图，图解说明这里说明的技术的一个实施例对于压缩视频的应用情形。每个方框可包括硬件(电路、专用逻辑等)，软件(比如运行于通用计算机系统或专用机器上的软件)，或者硬件和软件的组合。参见图1B，低分辨率(LR)照相机101捕获低分辨率图像/视频，所述低分辨率图像/视频被发给视频/图像编码器102，以便压缩。利用通信平台103在空间和/或时间中传送编码视频，并且编码视频被发给视频/图像解码器104，以便解压缩。解码的视频113被发给超分辨率发生器和/或视频质量增强器105，以便进行这里说明的处理。超分辨率发生器和/或视频质量增强器105的输出被发给诸如LR显示器106或高分辨率(HR)显示器107之类的显示器。在一个实施例中，LR照相机101和编码器102发送照相机边信息110和编码器边信息111(表示成虚线)，照相机边信息110和编码器边信息111被组合以形成可被超分辨率发生器和/或视频质量增强器105使用的边信息112。边信息可由任意的参数(例如，关于LR照相机101的信息(例如，透镜种类)，量化步长等)，或者对于质量增强和超分辨率技术的选择/模式决定组成。例如，某一边信息可帮助确定应使用哪种插值技术。边信息可包括默认设置。按照这种方式，边信息允许这里说明的技术被定义成不同的设置。在一个实施例中，边信息是代表不同选择的值的向量。用信号通知边信息的一种简单方式如下：令OP表示代表边信息的向量。利用该向量中的两个元素用信号通知每种选择。对第n种选择来说，

OP(2*n)＝代表选择的值。OP(2*n)需要被设定，并且只有当OP(2*n-1)＝1才被使用。

图1C是系统的方框图，图解说明对于非压缩视频的这里说明的技术的一个实施例的应用情形。每个方框可包括硬件(电路、专用逻辑等)，软件(比如运行于通用计算机系统或专用机器上的软件)，或者硬件和软件的组合。参见图1C，LR照相机101捕获低分辨率图像/视频，所述低分辨率图像/视频被发给超分辨率发生器和/或视频质量增强器105，以便进行这里说明的处理。超分辨率发生器和/或视频质量增强器105的输出被发给诸如LR显示器106或HR显示器107之类的显示器。在一个实施例中，LR照相机101发送可被超分辨率发生器和/或视频质量增强器105使用的边信息121(表示成虚线)。如上所述，边信息可由任意的参数(例如，关于LR照相机101的信息)，或者对于质量增强和超分辨率技术的选择/模式决定组成。如上所述，边信息允许质量增强和超分辨率技术被定制成不同的设置。

质量增强/超分辨率技术的一个实施例

图2是进行质量增强和提高分辨率的处理的一个实施例的流程图。该处理由处理逻辑执行，所述处理逻辑可包括硬件(电路、专用逻辑等)，软件(比如运行于通用计算机系统或专用机器上的软件)，或者硬件和软件的组合。

参见图2，x表示低分辨率(LR)的输入图像/视频帧。在一个实施例中，通过按光栅扫描顺序排列像素，把所有图像/视频帧表示成向量。另一方面，数据可被表示和/或保存为向量、矩阵或者任何其它格式。

首先，处理逻辑对输入帧x进行上采样，以获得上采样帧y(处理方框201)。通过利用被选择以得到输入帧x的上采样帧(y)的上采样2-D滤波器，可进行所述上采样。图3图解说明上采样处理的一个例子，并将在下面更详细地说明。注意当把这里说明的技术用于质量增强时，该操作是可选择的。当不执行该操作时，帧y被设定成等于帧x。

在上采样输入帧x以获得上采样帧y之后，对于每个像素i＝1∶N，处理逻辑选择以像素i为中心点(pivot)的子帧z_i(处理方框202)。N代表y中的像素的数目。在这个实施例中，对于图像中的每个像素形成和处理子帧。不过，在另一个实施例中，可以只对选择的像素子集，而不是对图像中的所有像素进行处理。子集可以是预定的，或者作为边信息的一部分被用信号通知。图13A-E图解说明这种子集的例子；其它子集可以和这里说明的教导一起使用。

在选择以像素i为中心点的子帧z_i之后，处理逻辑选择变换H_i，并通过对子帧z_i应用变换H_i，计算系数d_i(处理方框203)。在一个实施例中，所述变换是2-D DCT。在另一个实施例中，所述变换是2-D Hadamard变换。主阈值是可用于选择变换的输入。

在产生系数d_i之后，处理逻辑把主阈值

应用于系数d_i以获得

计算自适应阈值

并把自适应阈值应用于系数d_i以自适应地对系数d_i阈值化，从而获得(处理方框204)。处理逻辑随后对阈值化系数

应用逆变换

以获得处理后的子帧

(处理方框205)。随后，处理逻辑按照加权的方式组合与所有像素对应的所有处理后的子帧

从而形成帧

(处理方框206)。随后，处理逻辑对帧

执行数据一致性步骤，以获得帧y′(处理方框207)。数据一致性步骤被定义为：

$y^1=\hat{y}+\tilde{y}$

处理逻辑计算

以致y′的下采样给出输入帧x。注意当把这里说明的技术用于质量增强时，该操作是可选的。当不执行该操作时，帧y′被设定成等于帧

之后，处理逻辑确定是否需要更多的迭代(处理方框208)。在一个实施例中，迭代的次数为2。可以作为边信息的一部分，用信号通知迭代的实际次数。如果需要更多的迭代，那么处理转移到处理方框220，在处理方框220，处理逻辑计算新的主阈值

并把帧y设定成等于y′(处理方框211)，之后处理转移到处理方框202。如果处理逻辑确定不需要更多的迭代，那么处理转移到处理方框209，在处理方框209，处理逻辑输出帧y′，并且处理结束。注意在一个实施例中，处理方框201的线性插值操作和处理方框206的数据一致性操作是可选的。如果不进行线性插值操作(例如，通过禁用线性插值模块)，那么视频/图像的输出分辨率与输入分辨率相同。从而，按照这个实施例，图像/视频的质量被提高，但是不存在超分辨率。

上采样处理

可按照各种方式选择上采样滤波器，以反转由下采样操作或者由于输入设备的物理限制造成的低通滤波。在输入设备是照相机的情况下，这些物理限制可包括(但不限于)自然分辨率、光学聚焦和快门速度。在一个实施例中，这种低通滤波被模拟成任意有限抽头滤波器或者模拟成小波滤波器的LL频带，比如Daubechies或Le Gall小波。在一个实施例中，低通滤波器被模拟成Daubechies 7/9小波，对应的逆小波滤波器被用于获得帧y。注意本发明的实施例并不局限于利用这些方法得到的上采样滤波器。可以使用能够提高图像/视频的分辨率的模块，包括(但不限于)任何上采样滤波器，比如双线性、双三次和H.264插值滤波器。

定义低通滤波器和/或上采样滤波器的参数可被包括在边信息(例如边信息112，边信息121等)中。

在一个实施例中，当低通滤波器被模拟成小波滤波器(LL频带)时，上采样滤波器是逆小波滤波器，当低通滤波器被模拟成任意有限抽头滤波器时，上采样滤波器是就原始帧和通过使原始帧连续通过低通滤波器和上采样滤波器而获得的帧之间的MSE来说最佳的维纳(Wiener)滤波器。在一个实施例中，最佳的滤波器取决于原始帧，并且是利用边信息，对每个像素独立地用信号通知的。

在一个实施例中，利用逆小波滤波器或者像素自适应维纳滤波器对输入帧x进行上采样和滤波，从而获得帧y。图3是上采样处理的一个实施例的流程图。该处理由处理逻辑执行，所述处理逻辑可包括硬件(电路、专用逻辑等)，软件(比如运行于通用计算机系统或专用机器上的软件)，或者硬件和软件的组合。

参见图3，通过利用低通滤波器的参数，处理逻辑确定低通滤波器是否被模拟成小波滤波器的LL频带(处理方框301)。这使处理逻辑可以把低通滤波器分类成小波滤波器，或者不分类成小波滤波器。如果处理逻辑确定低通滤波器是小波滤波器，那么处理逻辑用上采样器311对输入帧x进行上采样，并对输入帧x应用逆小波滤波器，从而获得帧y(处理方框303)。如果处理逻辑确定低通滤波器不是小波滤波器，那么处理逻辑用上采样器310对输入帧x进行上采样，并对输入帧x应用像素自适应维纳滤波器，以获得帧y(处理方框302)。

子帧选择处理

在完成上采样处理并且获得帧y之后，开始图2的处理方框202的子帧选择处理。子帧类型S被定义成M²×1整数值向量。为了本文的目的，M可以是大于0的任意整数。{S¹，S²，S³，...}是子帧类型库。对于其中像素按光栅扫描顺序被编号的帧y中的每个所选像素i来说，从所述子帧类型库中选择子帧类型s_i，并将向量p_i形成为

其中

是所有元素都等于1的M²×1向量。在一个实施例中，对未被选择的像素来说，p_i是零向量。称为子帧的M²×1向量z_i是用在与p_i的元素对应的位置处的帧y的像素值形成的。像素i被称为子帧z_i的中心点。图5表示当按光栅扫描顺序对像素编号时，在像素i处的例证子帧z_i。参见图5，通过按照光栅扫描顺序从“1”开始对像素编号，发生像素的光栅扫描排序。子帧被表示成以像素i为中心点。子帧被组织成称为翘曲行的M个向量。第一翘曲行具有按1～M的顺序的子帧元素1～M；第二翘曲行具有元素(M+1)～2M；等等。在一个实施例中，M等于4，子帧类型库对应于在图4A-4M中图解说明的一组遮罩(mask)。参见图4A-4M，就该子帧库来说，遮罩对应于如用箭头所示的不同方向。这里，把图4A中的遮罩称为规则遮罩，因为它对应于规则的水平或垂直方向。其它遮罩被称为方向性遮罩，因为它们对应于非平凡(non-trivial)方向。遮罩中的像素(′a′～′p′)的差分位置(Ω)被定义为Ω＝C_C+W×C_R，其中W是帧y的宽度。C_C是为了到达关心的当前像素的列，需要从像素′a′的列开始向右水平移动的列数。C_R是为了到达关心的当前像素的行，需要从像素′a′的行开始向下垂直移动的行数。例如，就图4H中的遮罩来说，像素′c′具有C_C＝-1，和C_R＝2。与遮罩对应的子帧类型是包含该遮罩中从′a′排序到′p′的像素的差分位置的向量。

在一个实施例中，通过选择总是对应于规则遮罩的子帧类型，进行像素的子帧类型的选择。在另一个实施例中，对于每个选择的像素，(1)通过关于每个子帧类型，估计在形成的子帧内的2-D DCT，(2)通过关于给定的阈值T，选择使量值大于T的非零变换系数的数目最小化的子帧类型，进行像素的子帧类型的选择。在又一个实施例中，通过关于每个选择的像素，选择使在所有翘曲行内平均的像素值的翘曲行方差最小化的子帧类型，进行像素的子帧类型的选择。在再一个实施例中，通过对于K×L像素的块，使每个像素对子帧类型进行投票(根据使在所有翘曲行内平均的像素值的翘曲行方差最小化的子帧类型)，并选择对于K×L块中的所有像素而言具有最多票数的子帧类型，进行像素的子帧类型的选择，其中K和L可以是大于0的整数。在一个实施例中，K和L都被设定为4。在再一个实施例中，通过对于每个像素形成K×L像素的块，并通过对该像素块使用前述投票方案选择子帧类型，进行像素的子帧类型的选择。在每种情况下，选择的子帧类型被用于当前像素。从而，通过把这些测量的统计量之一用于每个遮罩，进行子帧的选择。

注意，可以使用除图4A-4M中的遮罩之外的遮罩。

图6是子帧选择处理的一个实施例的流程图。该处理由处理逻辑执行，所述处理逻辑可包括硬件(电路、专用逻辑等)，软件(比如运行于通用计算机系统或专用机器上的软件)，或者硬件和软件的组合。

参见图6，通过处理逻辑接收帧y并确定子帧是否是像素自适应的，开始该处理(处理方框601)。如果子帧不是像素自适应的，那么处理逻辑为所有像素选择规则子帧类型(处理方框602)。如果子帧y的子帧是像素自适应的，那么对于每个像素，处理逻辑标记使翘曲行方差最小化的子帧类型(处理方框603)。这是利用如上所述的子帧类型库(620)实现的。从而，对于每个像素，标记子帧类型库之中的使翘曲行方差最小化的子帧类型。

随后，处理逻辑确定选择是否是基于块的(处理方框604)。如果处理逻辑确定选择是基于块的，那么处理逻辑计数每个块中的标记每种子帧类型的像素的数目(处理方框606)，并且对于块中的所有像素，处理逻辑选择由该块中的最多像素标记的子帧类型(处理方框607)。换句话说，如果选择是基于块的，那么对于该块中的所有像素，选择由块中的最多像素标记的子帧类型。如果处理逻辑确定选择不是基于块的，那么对于每个像素，处理逻辑选择由该像素标记的子帧类型(处理方框605)。换句话说，每个像素选择它自己标记的子帧类型。

每个像素的子帧类型的选择可以是边信息的一部分。

变换选择和应用

在选择子帧z_i之后，利用像素自适应翘曲变换H_i，子帧z_i被变换成d_i。这里该变换被称为“翘曲”变换，因为变换基的支持物(support)已被翘曲，以匹配子帧类型。由于除了子帧类型的选择可因像素而异之外，以不同像素为中心点的子帧可使用不同的变换，因此该变换被认为是像素自适应的。在一个实施例中，从变换库(例如可分离2-D Hadamard，可分离DCT，不可分DCT，2-D Gabor小波，可操纵金字塔，2-D方向小波，曲波和轮廓波)中选择变换H_i。应注意在被翘曲之后，可分离变换变成不可分离。选择可以是事先固定的，或者可以自适应于以不同像素为中心点的不同子帧。在一个实施例中，在自适应的情况下，选择的变换是绝对值大于主阈值

的系数的数目最少的一种变换。在一个实施例中，变换的选择是边信息的一部分。图7中图解说明了子帧的变换选择处理的一个实施例的流程图。

参见图7，该处理由处理逻辑执行，所述处理逻辑可包括硬件(电路、专用逻辑等)，软件(比如运行于通用计算机系统或专用机器上的软件)，或者硬件和软件的组合。通过处理逻辑测试变换是否是像素自适应的，开始该处理(处理方框701)。可通过查阅列表，进行所述测试。在一个实施例中，所述列表可以是变换是非自适应变换的列表。在另一个实施例中，可以将所述列表作为边信息的一部分用信号通知。如果处理逻辑确定变换是非像素自适应的，那么处理逻辑选择2-D标准正交可分离DCT用作所述变换，并通过把该变换应用于子帧z_i，产生变换系数d_i(处理方框702)。如果处理逻辑确定变换是像素自适应的，那么对于变换库{H¹，H²，....}中的每种变换H^j(处理方框703)，处理逻辑利用下面的公式计算变换系数d^j：

d^j＝H^j×z_i。

变换系数d^j对应于变换H^j。

随后，对于每个j，处理逻辑计数d^j中的绝对值大于主阈值

的系数的数目(处理方框705)，并从变换库中选择具有最小计数H^k的变换，把变换H_i设定成等于对应于最小计数(H^k)的变换，随后把系数d_i设定成等于变换系数d^k(处理方框706)。

阈值化

作为在选择变换之后发生的阈值化处理的一部分，在一个实施例中，对变换系数d_i应用细节保持自适应阈值

以获得

这里把阈值

称为细节保持，因为其值是适应的，以致图像/视频帧中的高频细节被保持。通过利用主阈值变换系数d_i也被阈值化，以获得

可按照各种方式进行阈值化操作。在一个实施例中，利用硬阈值化，进行阈值化操作。在另一个实施例中，利用软阈值化，进行阈值化操作。硬阈值化操作被定义为

其中T是使用的阈值。类似地，以T作为阈值的软阈值化操作被定义为

阈值化的结果可与损失的能量进行比较。如果失去过多的信号能量，那么对该特定区域来说，阈值可能过高，从而必须被降低。

在备选实施例中，按照下述方式之一计算阈值

${\hat{T}}_i=\stackrel{\‾}{T}$

其中f()代表函数。

其中f()代表函数。

函数f()是如图9中图解说明的单调递减阶梯函数。在一个实施例中，使用的函数是查寻表，所述查寻表可以是边信息的一部分。参见图9，表示了在自适应阈值化处理中使用的单调递减阶梯函数的形状。参数(f₁，f₂，...，f_n)和(E₁，E₂，...，E_n)完全定义该函数。根据训练集调整函数(f₁，f₂，...，f_n和E₁，E₂，...，E_n)的步进位置，从而在重构的图像/视频质量方面达到局部最佳。

对

的可能值进行搜索，以使

中的非零元素的数目最小化以致

其中与整个图像相对照，local指的是图像的局部部分。E_local可以是边信息的一部分，或者可以使用默认值。这可被看作对于算法的设置。在一个实施例中，通过根据训练集进行调整，并选择在重构的图像/视频质量方面达到局部最佳的值，可获得默认值。

对

的可能值进行联合搜索以使对所有k∈{1，2，...，N}求和的中的非零元素的总数最小化，以致

其中global指的是整个图像。E_global可以是边信息的一部分，或者可以使用默认值。这可被看作对于算法的设置。在一个实施例中，通过根据训练集进行调整，并选择在重构的图像/视频质量方面达到局部最佳的值，可获得默认值。

在一个实施例中，使用选项硬阈值化被用于阈值化操作。阈值化处理中的不同参数可以是边信息的一部分。

图8是对于阈值化变换系数d_i的阈值化处理的一个实施例的流程图。该处理由处理逻辑执行，所述处理逻辑可包括硬件(电路、专用逻辑等)，软件(比如运行于通用计算机系统或专用机器上的软件)，或者硬件和软件的组合。

参见图8，通过利用主阈值和系数d_i作为输入，并且对于每个元素d_ij∈d_i，处理逻辑按照下面的等式计算对应的元素

开始该处理(处理方框801)：

${\stackrel{\&OverBar;}{d}}_{\mathrm{ij}}=\left\{\begin{array}{c}{d}_{\mathrm{ij}},\left|d_{\mathrm{ij}}\right|\&GreaterEqual;\stackrel{\&OverBar;}{T}\\ 0,\left|d_{\mathrm{ij}}\right|<\stackrel{\&OverBar;}{T}\end{array}\right..$

按照这种方式，处理逻辑把绝对值小于主阈值的所有系数设为0，这些系数被保存为

随后，处理逻辑确定阈值是否是自适应的(处理方框802)。可通过查阅列表执行该测试。在一个实施例中，列表可以是阈值是非自适应阈值的列表。在另一个实施例中，将所述列表作为边信息的一部分用信号通知。如果处理逻辑确定未使用自适应阈值，那么处理逻辑直接从

复制输出系数

(处理方框803)。如果处理逻辑确定使用自适应阈值，那么处理逻辑如下所示，将自适应阈值

计算为主阈值

和绝对值

(d_i和之间的L-2范数)的单调递减函数的乘积(处理方框804)：

${\hat{T}}_i=\stackrel{\&OverBar;}{T}\&times;f\left({\left|\right|d_i-{\stackrel{\&OverBar;}{d}}_i\left|\right|}^2\right).$

随后对于每个元素，处理逻辑按照下面的公式计算对应元素d_ij∈d_i(处理方框805)：

${\hat{d}}_{\mathrm{ij}}=\left\{\begin{array}{c}{d}_{\mathrm{ij}},\left|d_{\mathrm{ij}}\right|\&GreaterEqual;{\hat{T}}_1\\ 0,\left|d_{\mathrm{ij}}\right|<{\hat{T}}_1\end{array}\right..$

从而，按照这种方式，绝对值小于

的所有系数d_ij被设为0，并被保存为

组合子帧

在对阈值化的系数应用逆变换之后，按照加权的方式组合所有处理后的子帧，以形成帧

在一个实施例中，对于每个处理后的子帧

计算权重w_i。在备选实施例中，这是按照下述方式之一计算的：

其中f()代表函数。这种函数的一个例子是

其中f()代表函数。

MSE选项：

其中e_min是常数。

L-p范数选项(p≥0)：其中n_min是常数。

其中p≥0，函数g()是与在图9中图解说明的函数f()类似的单调递减阶梯函数。根据训练集调整函数(f₁，f₂，...，f_n和E₁，E₂，...，E_n)的步进位置，从而在重构的图像/视频质量方面达到局部最佳。

其中p≥0，函数g()是与在图9中图解说明的函数f()类似的单调递减阶梯函数。根据训练集调整函数(f₁，f₃，...，f_n和E₁，E₂，...，E_n)的步进位置，从而在重构的图像/视频质量方面达到局部最佳。

计算的权重w_i可以是边信息的一部分。

处理后的子帧

(对应于所有像素)被组合在一起，从而以加权的方式形成

关于

说明该处理的一个实施例，

是第j个像素的值。

设并且n_j＝0，其中n_j是第j个像素的归一化系数。

对每个处理后的子帧

如果像素j是p_i的一部分

那么k＝p_i中的像素j的索引。

其中

是处理后的子帧

中的像素j的值。

n_j＝n_j+w_i

${\hat{y}}_j=\frac{{\hat{y}}_j}{n_j}$

图10是组合所有处理后的子帧以形成帧

的处理的一个实施例的流程图。该处理由处理逻辑执行，所述处理逻辑可包括硬件(电路、专用逻辑等)，软件(比如运行于通用计算机系统或专用机器上的软件)，或者硬件和软件的组合。

参见图10，通过对于帧y中的每个像素m＝1∶N，把其值

和其归一化因子n_m设为0，开始该处理(处理方框1001)。随后，处理逻辑把像素索引j和子帧索引i初始化为1(处理方框1002)。

在初始化之后，处理逻辑确定是否像素j∈p_i(处理方框1003)。如果是，那么处理转移到处理方框1004。如果否，那么处理转移到处理方框1005。

在处理方框1004，在一个实施例中，处理逻辑通过利用

中的像素j的值)，并使用利用d_i和

计算的加权因子w_i，更新

和n_j。在一个实施例中，加权因子是按照下式计算的：

$w_i=\left\{\begin{array}{cc}\frac{1}{{\left|\right|d_i-{\hat{d}}_i\left|\right|}^2},& {\left|\right|d_i-{\hat{d}}_i\left|\right|}^2>e_{\min }\\ \frac{1}{e_{\min }},& {\left|\right|d_i-{\hat{d}}_i\left|\right|}^2\&le;e_{\min }\end{array}\right.$

在处理方框1004中，k等于p_i中的像素j的索引。在一个实施例中，处理逻辑根据下面的等式，更新

和n_j：

${\hat{y}}_j={\hat{y}}_j+w_i\&times;{\hat{z}}_{\mathrm{ik}}$

n_j＝n_j+w_i

在处理逻辑更新

和n_j之后，处理转移到处理方框1005。

在处理方框1005，处理逻辑检查是否索引i＝N，N是帧中的像素的总数。如果是，那么处理转移到处理方框1007。如果否，那么处理转移到处理方框1006。在处理方框1006，索引被加1，处理转移到处理方框1003。在处理方框1007，处理逻辑按照下面的等式更新

${\hat{y}}_j=\frac{{\hat{y}}_j}{n_j}.$

在更新

之后，处理逻辑把索引i设成等于1(处理方框1008)，并检查索引j是否等于N(处理方框1009)。如果是，那么处理结束。如果否，那么处理转移到处理方框1010，在处理方框1010，索引j被加1。在把索引j加1之后，处理转移到处理方框1003。

就视频来说，在一个实施例中，组合操作还包括基于前一帧的估计，以模仿自回归处理。这确保在具有许多高频细节的区域中的平滑视频重放。在数学上，这被表示成：

$\hat{y}=\mathrm{\&alpha;}{\hat{y}}_{\mathrm{prev}}+(1-\mathrm{\&alpha;})\hat{y},$

其中α代表自回归系数。在一个实施例中，α＝0.5。在另一个实施例中，α可以是边信息的一部分，是对于当前帧和前一帧之间的场景运动而校正的前一帧的估计。

数据一致性操作

数据一致性操作保持相关的信号内容，以致可从高分辨率图像/视频恢复原始的低分辨率图像/视频。从而，由超分辨率技术产生的高分辨率图像/视频的数据与低分辨率图像/视频一致。

在一个实施例中，帧y′被设定成等于帧

y′被视为增强质量估计或超分辨率估计(如果不使用数据一致性步骤的话)。

在另一个实施例中，通过输出y′的数据一致性步骤处理帧

y′被视为超分辨率估计。这种操作确保利用模拟的低通滤波器的y′的下采样得到输入图像/视频帧x。

在一个实施例中，模拟的低通滤波器被用于对

下采样，以获得

利用下式计算差分帧

${\tilde{y}}_d=x-{\hat{y}}_d.$

利用从x产生y的相同处理，形成上采样版本

以下述形式形成超分辨率估计

$y^{\&prime;}=\hat{y}+\tilde{y}.$

图11是数据一致性操作的一个实施例的数据流图。图11中的方框及它们的相关操作可包括硬件(电路，专用逻辑等)，软件(比如运行于通用计算机系统或专用机器上的软件)，或者硬件和软件的组合。参见图11，模拟的低通滤波器1101对组合帧滤波，下采样器1102对滤波输出下采样，以形成

减法器1103从输入帧x中减去

以形成低分辨率的差分帧

上采样器1104利用图3中所示的处理，对差分帧

上采样，以获得上采样版本

加法器1105相加上采样版本

和以形成超分辨率估计y′。

迭代

通过对如图2中图解说明的整个处理进行迭代，能够进一步改进增强质量/超分辨率估计帧y′。迭代的次数(N₁)可以是大于0的任意整数。主阈值

被更新，帧y′被复制成帧y。主阈值可以是任意的正实值，可按任意下述方式被更新：

线性选项：

其中Δ是事先选择的常数。

MSE选项：

其中f()代表函数。

在一个实施例中，迭代的次数(N₁)和每次迭代的主阈值被包括为边信息的一部分。

在一个实施例中，迭代的次数(N₁)是介于1和4之间的整数，对第一次迭代来说，主阈值被设定为100，并且

例如，如果N₁等于2，那么所述两次迭代的主阈值为100和50。从而，在一个实施例中，阈值的数目为两个，在第二次迭代中，主阈值被减小。

应用

在图像和/或视频的处理、编码和显示方面，质量增强和超分辨率技术具有各种各样的应用。通常，这些技术可用于把低质量、低分辨率图像和/或视频增强为高质量、低/高分辨率。

更具体地说，就广播视频来说，针对具有只处理低分辨率视频的显示器的设备(例如，移动电话机)的广播节目也能够用在诸如电视机之类高分辨率显示器可用的固定环境中。另外对于具有高分辨率显示器的电话机来说，以低分辨率可用的内容，例如，用于具有只处理低分辨率视频的显示器的移动电话机的内容可被处理，以匹配所述电话机的高分辨率显示器的更高分辨率。在一个实施例中，向一个或多个移动电话机广播低分辨率视频信号，所述一个或多个移动电话机显示低分辨率视频信号。移动电话机包括这里说明的功能，以把低分辨率视频转换成高分辨率视频，并自己显示高分辨率视频和/或把高分辨率视频发给高分辨率显示器，比如电视机。在一个实施例中，移动电话机利用局部无线传输，把高分辨率视频传给电视机。在另一个实施例中，蜂窝电话机把低分辨率视频发给停放站(docking station)，停放站使用这里说明的技术以把低分辨率视频转换成高分辨率视频，并把高分辨率视频传给高分辨率显示器。

这里说明的技术的另一种应用是用于网络中的视频质量增强。例如，移动电话机照相机捕获的视频是低质量和低分辨率的。可在网络中使用所说明的技术，以把这些视频增强为高质量和高分辨率。捕获的视频可通过网络上传给服务器或其它基于处理器的系统，以便利用这里公开的技术进行增强(例如，减少压缩失真，提高分辨率等)，之后，用户能够从网络下载增强的视频。

另一种应用是视频编码中的小部分像素的运动补偿，它带来压缩效率的显著提高。为了进行小部分像素运动补偿，输入图像/视频应被插值，以获得在分数像素位置的强度值。超分辨率技术可被用于进行所述插值。

类似地，由移动电话机捕获并通过网络共享的图像通常质量不好。当共享时，通过网络发送低质量、低分辨率的图像，与发送更高质量和/或分辨率级别的这种图像相比，带宽利用率被降低。从而，在传输之后，可利用这里说明的技术改善这些图像的质量，以获得“打印”质量或者更好，尤其是在用户希望打印一张这样的图像的情况下。另外，通过利用这里说明的技术，能够改善视频会议的质量。更具体地说，用于作为视频会议参与者之一进行通信的终端能够配备这里说明的功能，从而能够以更高的缩放级别和/或改善的质量显示会议视频。

视频质量增强技术还可被用作视频解码器中的环路滤波器，以提高压缩效率。

优点的例子

与现有技术相比，本发明的实施例获得高质量的性能。本发明的实施例适用于在所有方向具有平滑区域、纹理和边缘的各种各样图像/视频内容。本发明的实施例并不局限于具有水平或垂直边缘的区域。本发明的实施例根据局部像素统计量修改其参数。每当可能时，本发明的实施例可以使用来自图像/视频源的边信息。本发明的实施例需要较少的迭代，从而计算复杂性较低。

计算机系统的例子

图12是可执行这里说明的一个或多个操作的例证计算机系统的方框图。参见图12，计算机系统1200可包括例证的客户端或服务器计算机系统。计算机系统1200包括用于传递信息的通信机构或总线1211，和与总线1211耦接以处理信息的处理器1212。处理器1212包括微处理器(但不限于微处理器)，比如Pentium^TM，PowerPC^TM，Alpha^TM等等。

系统1200还包括与总线1211耦接用于保存信息和将由处理器1212执行的指令的随机存取存储器(RAM)，或者其它动态存储设备1204(参见主存储器)。主存储器1204还可用于保存处理器1212执行指令期间的临时变量或其它中间信息。

计算机系统1200还包括用于为处理器1212保存静态信息和指令的与总线1211耦接的只读存储器(ROM)和/或其它静态存储设备1206，以及数据存储设备1207，比如磁盘或光盘及其对应磁盘驱动器。数据存储设备1207与总线1211耦接，用于保存信息和指令。

计算机系统1200还可与显示设备1221，比如阴极射线管(CRT)或液晶显示器(LCD)耦接，显示设备1221与总线1211耦接，用于向计算机用户显示信息。包括字母数字键和其它按键的字母数字输入设备1222也可与总线1211耦接，用于向处理器1212传送信息和命令选择。另外的用户输入设备是与总线1211耦接的光标控制装置1223，比如鼠标、跟踪球、轨迹板、铁笔或光标方向键，用于向处理器1212传送方向信息和命令选择，和控制显示器1221上的光标移动。

可与总线1211耦接的另一个设备是硬拷贝设备1224，硬拷贝设备1224可用于把信息标记在介质上，比如纸张、胶片或者类似种类的介质。可与总线1211耦接的另一个设备是与电话机或手持掌上设备通信的有线/无线通信设备1225。

注意在本发明中可以使用系统1200和相关硬件的任意或者全部组件。不过，可认识到计算机系统的其它配置可包括一些或全部的设备。本发明并不局限于个人计算机和膝上型计算机。本发明适用于移动电话机，智能电话机，PDA，便携式播放器等。

鉴于在阅读上面的说明之后，对本领域的普通技术人员来说，本发明的许多变更和修改无疑将变得显而易见，因此要明白举例表示和说明的任何特定实施例决不意图限制本发明。于是，对各个实施例的细节的引用并不意图限制权利要求的范围，权利要求本身只列举本发明的必要技术特征。

Claims (57)

1.一种方法，包括：

接收第一分辨率的第一版本的媒体；和

利用至少一种变换和自适应阈值化，创建第二分辨率的第二版本的媒体，所述第二分辨率高于或等于第一分辨率。

2.按照权利要求1所述的方法，其中创建第二版本的媒体包括：

对子帧应用至少一种翘曲变换，以创建变换系数。

3.按照权利要求2所述的方法，其中所述至少一种翘曲变换包括2-D可分离DCT或2-D Hadamard变换。

4.按照权利要求2所述的方法，还包括在通过上采样第一版本的媒体而创建的图像中自适应地选择子帧，并且其中对子帧应用所述至少一种翘曲变换以创建变换系数包括对图像中的每个所选子帧应用变换。

5.按照权利要求4所述的方法，其中子帧是在图像中的每个像素处自适应选择的。

6.按照权利要求4所述的方法，其中所述至少一种翘曲变换包括2-D可分离DCT或2-D Hadamard变换。

7.按照权利要求1所述的方法，其中所述至少一种变换包括2-D可分离DCT或2-D Hadamard变换。

8.按照权利要求1所述的方法，其中自适应阈值化包括空间自适应阈值的应用。

9.按照权利要求1所述的方法，其中创建第二版本的媒体包括：

计算自适应阈值；和

利用所述自适应阈值，使变换系数阈值化。

10.按照权利要求1所述的方法，其中创建第二版本的媒体包括：

上采样第一版本的媒体，以创建上采样图像；

利用用于每个子帧的变换，变换上采样图像中的子帧；

利用自适应阈值，使用于每个变换子帧的变换系数阈值化；

逆变换阈值化的变换系数，以在像素域中形成处理后的子帧；

组合处理后的子帧，以创建新帧；和

对新帧应用数据一致性操作。

11.按照权利要求10所述的方法，其中所述变换包括2-D可分离DCT或2-D Hadamard变换。

12.按照权利要求11所述的方法，还包括在每个像素处把子帧设定成是规则的。

13.按照权利要求10所述的方法，还包括在每个像素处把子帧设定成是规则的。

14.按照权利要求10所述的方法，还包括自适应选择用于每个子帧的变换。

15.按照权利要求10所述的方法，还包括在上采样图像中的每个像素处自适应地选择子帧。

16.按照权利要求15所述的方法，其中变换上采样图像中的子帧包括对所选子帧应用变换，其中所述变换包括2-D可分离DCT或2-DHadamard变换。

17.按照权利要求10所述的方法，还包括计算一个或多个自适应阈值，其中利用自适应阈值使用于每个变换子帧的变换系数阈值化包括用所述一个或多个自适应阈值之一使用于每个变换子帧的变换系数阈值化。

18.按照权利要求17所述的方法，还包括自适应地选择在每个像素处选择的子帧的变换。

19.按照权利要求10所述的方法，还包括自适应地选择在每个像素处选择的子帧的变换。

20.按照权利要求10所述的方法，还包括发送边信息。

21.按照权利要求1所述的方法，还包括迭代地重复用于创建第二版本的媒体的操作，以便创建第三版本的媒体。

22.按照权利要求1所述的方法，其中创建第二版本的媒体包括：

上采样第一版本的媒体；

对上采样图像中的每个像素，自适应选择子帧；

利用变换，变换每个选择的子帧，其中所述变换包括2-D可分离DCT或2-D Hadamard变换；

阈值化变换系数；

逆变换阈值化的变换系数，以在像素域中形成处理后的子帧；

组合处理后的子帧，以创建新帧；和

对新帧应用数据一致性操作，以致创建分辨率比第一版本的媒体高的第二版本的媒体。

23.按照权利要求22所述的方法，其中第一版本的媒体是由照相机产生的。

24.按照权利要求22所述的方法，其中所述变换是翘曲变换。

25.按照权利要求1所述的方法，其中在视频解码器中产生第一分辨率的第一版本的媒体，作为视频解码器中的后处理操作的一部分，执行第二版本的媒体的创建。

26.按照权利要求1所述的方法，其中在视频解码器中产生第一分辨率的第一版本的媒体，第二版本的媒体的创建部分地由视频解码器中的环路滤波器执行。

27.按照权利要求1所述的方法，其中响应在无线通信系统中传送第一版本的媒体，所述第一版本的媒体被移动设备接收，还包括把第二版本的媒体发给高分辨率显示器，以便在所述高分辨率显示器上显示。

28.按照权利要求27所述的方法，其中移动设备创建第二版本的媒体，并把第二版本的媒体发给高分辨率显示器。

29.按照权利要求27所述的方法，其中移动设备把第一版本的媒体发给停放站，所述停放站创建第二版本的媒体，并把第二版本的媒体发给高分辨率显示器。

30.按照权利要求1所述的方法，其中第一版本的媒体是终端通过网络接收的视频，所述终端创建第二版本的媒体，以便在所述终端上显示。

31.一种方法，包括：

利用用于每个子帧的变换，变换图像中的子帧；

用自适应阈值，使用于每个变换子帧的变换系数阈值化；

逆变换阈值化的变换系数，以在像素域中形成处理后的子帧；

组合处理后的子帧，以创建新帧。

32.按照权利要求31所述的方法，其中所述变换是翘曲变换。

33.按照权利要求31所述的方法，还包括：

上采样第一分辨率的第一版本的媒体，以创建图像。

34.按照权利要求33所述的方法，还包括：

对新帧应用数据一致性操作。

35.按照权利要求31所述的方法，还包括在每个像素处把子帧设定成规则的。

36.按照权利要求31所述的方法，还包括自适应地选择用于每个子帧的变换。

37.按照权利要求31所述的方法，还包括在上采样图像中的每个像素处自适应地选择子帧。

38.按照权利要求37所述的方法，其中变换上采样图像中的子帧包括对所选子帧应用2-D可分离DCT或2-D Hadamard变换。

39.按照权利要求31所述的方法，还包括计算一个或多个自适应阈值，其中利用自适应阈值使用于每个变换子帧的变换系数阈值化包括用所述一个或多个自适应阈值之一使用于每个变换子帧的变换系数阈值化。

40.按照权利要求39所述的方法，还包括自适应地选择用于每个像素处选择的子帧的变换。

41.按照权利要求31所述的方法，还包括自适应地选择用于每个像素处选择的子帧的变换。

42.按照权利要求31所述的方法，还包括发送边信息。

43.一种方法，包括：

利用变换，变换每个所选子帧，其中所述变换包括2-D可分离DCT或2-D Hadamard变换；

利用非自适应阈值，使变换系数阈值化；

逆变换阈值化的变换系数，以在像素域中形成处理后的子帧；

组合处理后的子帧，以创建新帧。

44.按照权利要求43所述的方法，还包括：

上采样第一版本的媒体；和

对上采样图像中的每个像素，自适应地选择子帧。

45.按照权利要求43所述的方法，还包括：

对新帧应用数据一致性操作。

46.按照权利要求43所述的方法，其中在视频解码器中产生所述每个所选子帧，作为视频解码器中的后处理操作的一部分，执行新帧的创建。

47.按照权利要求43所述的方法，其中在视频解码器中产生所述每个所选子帧，新帧的创建部分地由视频解码器中的环路滤波器执行。

48.按照权利要求43所述的方法，其中响应在无线通信系统中传送所述每个所选子帧，所述每个所选子帧被移动设备接收，还包括把新帧发给高分辨率显示器，以便在所述高分辨率显示器上显示。

49.按照权利要求48所述的方法，其中移动设备创建新帧，并把新帧发给高分辨率显示器。

50.按照权利要求48所述的方法，其中移动设备把所述每个所选子帧发给停放站，停放站创建新帧，并把新帧发给高分辨率显示器。

51.按照权利要求43所述的方法，其中所述每个所选子帧是终端通过网络接收的视频的一部分，所述终端创建新帧，以便在所述终端上显示。

52.一种具有其中保存指令的一个或多个计算机可读存储介质的制造产品，当被系统执行时，所述指令使系统执行包括下述步骤的方法：

接收第一分辨率的第一版本的媒体；和

利用至少一种变换和自适应阈值化，创建第二分辨率的第二版本的媒体，所述第二分辨率高于或等于第一分辨率。

53.按照权利要求52所述的制造产品，其中创建第二版本的媒体包括对子帧应用变换，以创建变换系数，其中所述变换包括2-D可分离DCT或2-D Hadamard变换。

54.按照权利要求53所述的制造产品，其中所述方法还包括在通过上采样第一版本的媒体而创建的图像中，自适应地选择子帧，并且其中对子帧应用至少一种翘曲变换以创建变换系数包括对图像中的每个所选子帧应用变换，其中所述变换包括2-D可分离DCT或2-D Hadamard变换。

55.按照权利要求54所述的制造产品，其中所述子帧是在图像中的每个像素处自适应选择的。

56.按照权利要求52所述的制造产品，其中自适应阈值包括空间自适应阈值。

57.按照权利要求52所述的制造产品，其中创建第二版本的媒体包括：

计算自适应阈值；和

利用所述自适应阈值，使变换系数阈值化。

Images