CN101933330B - 使用空间和时间处理减少视频序列中的噪声和/或闪烁 - Google Patents

Abstract

在此公开了一种方法和装置，用于减少视频序列中的闪烁或噪声二者中的至少一个。在一个实施例中，所述方法包括：接收输入视频；以及使用空间和时间处理执行操作以减少所述输入视频中的噪声和闪烁中的一个或两者。

Description

使用空间和时间处理减少视频序列中的噪声和/或闪烁

优先权 

本专利申请要求于2008年2月5日提交的题为“FlickerReduction in Video Sequences Using Temporal Processing”的对应临时专利申请序列号61/026,453的优先权，并且通过引用而将其合并。 

相关申请 

本申请涉及于2008年6月17日提交的、美国专利申请序列号12/140,829的、转让给本发明的法人受让人的、题为“Image/VideoQuality Enhancement and Super-Resolution Using SparseTransformations”的共同未决申请。 

技术领域

本发明通常涉及视频序列的处理，更具体地说，本发明涉及减少视频序列的噪声和/或闪烁。 

背景技术

蚊式噪声和时间闪烁由于相机限制而在获取期间产生。视频处理途径中的模块(例如压缩、下采样和上采样)导致成块伪像、混叠、振铃现象和时间闪烁。图像和视频信号处理如今广泛用在多种应用中。这些技术中的某些已经用于减少噪声和时间闪烁。 

发明内容

在此公开了一种方法和装置，用于减少视频序列中的闪烁和噪声二者中的至少一个。在一个实施例中，所述方法包括：接收输入视频；以及使用空间和时间处理执行操作以减少所述输入视频中的噪声和闪烁中的一个或两者。 

附图说明

从以下给出的详细描述以及从本发明的各个实施例的附图将更充分地理解本发明，然而，这些不应看作将本发明限制为具体实施例，而是仅用于解释和理解。 

图1A-图1B示出用于减少输入视频中的噪声和/或闪烁的噪声和闪烁减少模块的一个实施例。 

图2示出用于对视频序列执行图像处理的处理的一个实施例的流程图。 

图3A-图3M示出对应于子帧类型库的掩模的示例。 

图4示出当像素是按光栅扫描顺序的编号时在像素i处的示例子帧。 

图5是子帧类型选择处理的一个实施例的流程图。 

图6是从过去输出帧起的子帧形成处理的一个实施例的流程图。 

图7是空间变换选择处理的一个实施例的流程图。 

图8是时间变换选择处理的一个实施例的流程图。 

图9是用于阈值化变换系数的阈值化处理的一个实施例的流程图。 

图10是用于组合子帧以创建帧的处理的一个实施例的流程图。 

图11示出单调递减阶梯函数。 

图12是示出用于对视频序列执行图像处理的处理的另一实施例的流程图。 

图13A-图13E示出所选像素的示例子集。 

图14是计算机系统的一个实施例的框图。 

具体实施方式

描述了一种用于压缩/未压缩视频序列中的噪声和/或闪烁减少的方法和装置。为此，视频序列由有序放置的、在此称为帧的多幅图像 构成。 

在一个实施例中，在此所公开的技术包括但不限于：从输入视频的当前帧选择在特定像素处的子帧，并且从满足准则的输出视频的过去帧找到另一子帧；选择像素自适应扭曲(warped)空间变换，并且将子帧变换到空间变换域；得到保留细节的自适应阈值，并且使用硬阈值化(如果变换系数的量值小于阈值，则设置为零)或其它阈值化技术(例如软阈值化)阈值化来自当前帧和过去帧的子帧的变换系数；使用时间变换进一步变换空间变换系数，并且阈值化时间变换系数的所选子集；首先在时间上然后在空间上逆变换时间变换系数，以得到属于当前帧和过去帧二者的处理的子帧；以及组合属于来自输入视频的当前帧的处理的子帧，以获得用于输出视频的当前帧。这些操作可以对于输入视频的所有帧重复。 

在以下描述中，阐述大量细节来提供本发明的更透彻的解释。然而，本领域技术人员应理解，可以在没有这些具体细节的情况下实施本发明。在其它情况下，公知结构和设备以框图形式而并非详细地示出，以免模糊本发明。 

以下的详细描述的某些部分是关于计算机存储器内对数据比特的操作的算法和符号表示而提出的。这些算法描述和表示是数据处理领域技术人员用于将它们的工作的内容最有效地传达给本领域其它技术人员的手段。算法在此通常被认为是带来期望结果的自身一致的步骤序列。各步骤是要求物理量的物理操控的步骤。通常，虽然并非必需的，但这些量采用的形式是能够被存储、传递、组合、比较并且另外受操控的电信号或磁信号。通常已经证明方便的是，原则上出于共用的原因，将这些信号指代为比特、值、元素、符号、字符、项、数字等。 

然而，应注意，所有这些术语及相似的术语关联于适当的物理量，并且仅仅是应用于这些量的方便的标记。除非关于以下讨论而明显地另外具体声明，否则应理解，在整个说明书中，利用例如“处理”或“计算”或“运算”或“确定”或“显示”等的术语的讨论指的是计 算机系统或相似的电子计算设备的动作或处理，所述计算机系统或相似的电子计算设备操控计算机系统寄存器和存储器内的物理(电子)量所表示的数据，并且将其变换为计算机系统存储器或寄存器或其它这种信息存储、传输或显示设备内的物理量所相似表示的其它数据。 

本发明还涉及用于执行在此的操作的装置。该装置可以因所需的目的而得以具体地构建，或者其可以包括由计算机中存储的计算机程序有选择地激活或者重新配置的通用计算机。所述计算机程序可以存储于计算机可读存储介质中，例如但不限于任何类型的盘(包括软盘、光盘、CD-ROM和磁光盘)、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光学卡、或适合于存储电子指令的任何类型的介质并且均耦合到计算机系统总线。 

在此提出的算法和显示并非固有地涉及任何特定计算机或其它装置。可以通过根据在此的教导的程序来使用各种通用系统，或者可能证明方便的是，构建更专用的装置来执行所需的方法步骤。各种所述系统所需的结构将据以下描述而明显。此外，本发明并非是参照任何特定编程语言而描述的。应理解，各种计算机编程语言可以用于实现在此描述的本发明的教导。 

机器可读介质包括用于以机器(例如计算机)可读的形式存储或者发送信息的任何机构。例如，机器可读介质包括只读存储器(“ROM”)；随机存取存储器(“RAM”)；磁盘存储介质；光存储介质；闪存设备；电、光、声或其它形式的传播信号(例如载波、红外信号、数字信号等)；等等。 

概述 

图1A示出用于减少输入视频中的噪声和/或闪烁的噪声和闪烁减少模块的一个实施例。参照图1A，噪声和闪烁减少块101接收输入视频100。输入视频100包括噪声和/或闪烁。噪声和闪烁减少块101还接收可选参数的矢量(在此称为OP)、以及阈值参数 

响应于这些输入，噪声和闪烁减少块101生成具有减少了的噪声和闪烁的输出视频102。 

图1B示出用于对视频序列执行图像处理的处理的一个实施例的流程图。处理由处理逻辑执行，处理逻辑可以包括硬件(电路、专用逻辑等)、软件(例如运行在通用计算机系统或专用机器上)、或二者的组合。 

参照图1B，处理开始于处理逻辑接收输入视频(处理块111)。 

响应于接收输入视频，处理逻辑执行操作，以使用空间和时间处理减少输入视频中的噪声和闪烁中的一个或二者(处理块112)。在一个实施例中，这些操作包括：通过系数的自适应阈值化来应用空间变换和时间变换。在一个实施例中，应用空间变换和时间变换包括：将至少一个扭曲变换应用于子帧，以创建变换系数。 

图2示出用于对视频序列执行图像处理的处理的一个实施例的更详细的流程图。处理由处理逻辑执行，处理逻辑可以包括硬件(电路、专用逻辑等)、软件(例如运行在通用计算机系统或专用机器上)、或二者的组合。 

在以下描述的处理中，x表示来自受在此所描述的各技术所处理的输入视频的当前帧， 

表示在使用在此描述的各技术之后输出的过去帧， 

表示图像处理过程所使用的阈值参数。此外，可以提供包含其它可选参数的由OP所表示的矢量。用户或算法可以使用主观/客观质量的优化，使用基于模型的技术或者使用其它方法来确定最期望的参数。也可以使用校准算法。这些算法也可以利用对于视频处理管道或输入视频或者它们二者的部分/完整知识。在一个实施例中，通过按光栅扫描顺序布置像素来将所有视频帧表示为矢量，并且N表示每个视频帧中的像素的数量。 

在已经获得帧x之后，图2的处理块202的子帧选择处理开始。子帧类型S定义为M²×1整数值矢量。为此，M可以是大于零的任何整数。{S¹，S²，S³，...}是子帧类型库。对于其中像素按光栅扫描顺序被编号的来自帧x的所选像素的集合中的每个像素i，子帧类型s_i选自所述库，矢量p_i形成为 其中， 是M²×1矢量，其中所有元素等于1。在一个实施例中，对于未选的像素，p_i是零矢量。所选像素的集合在 矢量OP内可以是预定的或信号通知(signaled)的。在该实施例中，子帧被形成并且被处理，以用于图像中的每个像素。也就是说，所选像素的集合是帧中的像素的整个集合。然而，在另一实施例中，可以仅对像素的所选集合而不对图像中的所有像素执行处理。该子集可以是预定的或作为边信息的一部分而被信号通知的。图13A-E示出这些子集的示例；可以通过在此描述的各种教导来使用其它子集。称为子帧的M²×1矢量z_i是以在与p_i的各元素对应的各位置处的帧x的像素值形成的。像素i称为子帧z_i的主元(pivot)。图4示出当像素按光栅扫描顺序被编号时在像素i处的示例子帧z_i。参照图4，通过从“1”开始以此顺序对像素进行编号来产生像素的光栅扫描排序。子帧示出为以像素i为主元。子帧被组织为M个矢量，称为扭曲行。第一扭曲行按顺序具有子帧元素1至M；第二扭曲行具有元素(M+1)至2M；以此类推。 

在一个实施例中，M等于4，子帧类型库对应于图3A-3M所示的掩模的集合。参照图3A-图3M，通过该子帧库，掩模对应于箭头所示的不同方向。图3A中的掩模在此称为常规掩模，因为其对应于常规的水平或垂直方向。其它掩模称为方向性掩模，因为它们对应于非常规的方向。掩模中的像素(“a”至“p”)的差分位置Ω定义为Ω＝C_C+W×C_R，其中，W是帧y的宽度。C_C是从像素“a”的列开始向右水平移动以得到感兴趣的当前像素的列所需的列的数量。C_R是从像素“a”的行开始向下垂直移动以得到感兴趣的当前像素的行所需的行的数量。例如，在图3H中的掩模的情况下，像素“c”具有C_C＝-1和C_R＝2。与掩模对应的子帧类型是包含从“a”到“p”排序的该掩模中的像素的差分位置的矢量。 

在一个实施例中，通过总是选取与常规掩模对应的子帧类型来进行用于像素的子帧类型的选取。在另一实施例中，对于每个所选像素，通过以下操作进行用于像素的子帧类型的选取：(1)对于每个子帧类型，在所形成的子帧上评估2-D DCT，以及(2)对于给定阈值T，选取使得量值大于T的非零变换系数的数量最小化的子帧类型。在又一 实施例中，通过对于每个所选像素选取使得在所有扭曲行上平均化的像素值的扭曲行方差最小化的子帧类型来进行用于像素的子帧类型的选取。在又一实施例中，通过对于K×L像素的块具有用于子帧类型的每个像素投票(基于使得在所有扭曲行上平均化的像素值的扭曲行方差最小化的子帧类型)并且选取具有对于K×L(其中，K和L可以是大于0的任何整数)块中的所有像素的最多投票的子帧类型，来进行用于像素的子帧类型的选取。在一个实施例中，K和L皆设置为4。在又一实施例中，通过对于每个像素形成K×L像素的块并且使用该块中的在先投票方案选取子帧类型来进行用于像素的子帧类型的选取。在每种情况下，所选取的子帧类型用于当前像素。因此，通过使用每个掩模的这些所测量的统计之一，执行子帧的选择。 

注意，可以使用除了图3A-图3M中的掩模之外的掩模。 

图5是子帧选择处理的一个实施例的流程图。处理由处理逻辑执行，处理逻辑可以包括硬件(电路、专用逻辑等)、软件(例如运行在通用计算机系统或专用机器上)、或二者的组合。 

参照图5，处理开始于处理逻辑接收帧x并且确定子帧是否为像素自适应的(处理块501)。如果子帧并非像素自适应的，则处理逻辑选取用于所有像素的常规子帧类型(处理块502)。如果帧x的子帧是像素自适应的，则处理逻辑对于每个像素标记使得扭曲行方差最小的子帧类型(处理块503)。使用上述子帧类型库(510)来完成该操作。因此，对于每个像素，标记使得子帧类型库当中扭曲行方差最小的子帧类型。 

接下来，处理逻辑确定选取是否为基于块的(处理块504)。如果处理逻辑确定选取是基于块的，则处理逻辑对每个块中的标记的每个子帧类型的像素的数量进行计数(处理块506)，并且对于在块中的所有像素，处理逻辑选取该块中的最多像素所标记的子帧类型(处理块507)。换句话说，如果选取是基于块的，则对于该块中的所有像素选取块中的最多像素所标记的子帧类型。如果处理逻辑确定选取不是基于块的，则处理逻辑对于每个像素选取该像素所标记的子帧类型(处 理块505)。换句话说，每个像素选取自身所标记的子帧类型。 

对于每个像素的子帧类型的选取可以在矢量OP内被信号通知。 

子帧类型s_i用于形成矢量 

其中，m_i是整数，并且 是其中所有元素等于1的M²×1矢量。处理逻辑还在与 

的元素对应的位置处形成由具有过去输出帧的像素值 

的 

(也是子帧)所表示的M²×1矢量(处理块203)。 

m_i的选取可以是以多种不同方式进行的。在替换实施例中，m_i的选取是通过以下方式之一而得以执行的： 

i.m_i＝i 

ii.从所有可能值选取m_i，从而z_i与 

之间的p-范数 

最小化。 

iii.基于以上的“ii”选取m_i，但将搜索集合限制为{j：j＝i+j_h+W×j_v}，其中，W是帧 的宽度，并且j_h，j_v∈{-J，-(J-1)，...，-1，0，1，...，J-1，J}。J是大于或等于零的任何整数。在一个实施例中，当使用选项“iii”时，J的值被设置为2，并且使用2-范数。 

iv.基于以上的“iii”计算m_i，将值k＝k_h+W×k_v加到m_i，其中，W是帧 

的宽度，并且k_h，k_v是从集合{-K，-(K-1)，...，-1，0，1，...，K-1，K}随机生成的值。K是大于或等于零的任何整数。 

m_i的选取可以在矢量OP内被信号通知。 

在另一实施例中，在已经使用例如但不限于强度补偿和非线性预测过滤的各种技术来处理过去输出帧 

以补偿例如亮度改变和场景渐变的问题之后，形成子帧 

图6是从过去输出帧起的子帧形成处理的一个实施例的流程图。处理由处理逻辑执行，处理逻辑可以包括硬件(电路、专用逻辑等)、软件(例如运行在通用计算机系统或专用机器上)、或二者的组合。 

参照图6，处理开始于处理逻辑使用搜索集合{m¹，m²，...}，并且对于每个值m^j，根据以下公式计算 

${\stackrel{\‾}{p}}_i^j=s_i+m^j\×\stackrel{\‾}{1}$

(处理块601)。 

接下来，处理逻辑使用 

从帧 

形成子帧 

(处理块602)。然后，对于每个j，处理逻辑计算p-范数 

${\left|\right|z_i-{\stackrel{\‾}{z}}_i^j\left|\right|}_p$

(处理块603)。 

在计算p-范数之后，处理逻辑选择m^k，从而其给出最小p-范数；将m_i设置为等于m^k，根据以下公式设置 

${\stackrel{\‾}{p}}_i=s_i+m_i\×\stackrel{\‾}{1}$

并且使用 形成子帧 

(处理块604)。 

空间变换选择和应用 

作为图2的处理块204，处理逻辑还执行空间变换选择和应用。更具体地说，处理逻辑使用像素自适应扭曲空间变换H_i分别将子帧z_i和 

变换为e_i和 

该变换称为“扭曲”，因为变换基础的支持已经扭曲，以匹配子帧形状。该变换称为像素自适应的，因为在不同像素处的主元化的子帧可以使用不同的变换，还有这样的事实：子帧类型的选取可以根据像素而变化。可以从变换库(例如可分离DCT、非可分离DCT、2-D Gabor小波、Steerable pyramids、2-D方向小波、Curvelets和Contourlets)选取H_i。在一个实施例中，所使用的空间变换是非自适应方式的正交可分离2D-DCT。在另一实施例中，所使用的空间变换是非自适应方式的正交可分离2D-Hadamard变换。 

应注意，可分离变换在其受扭曲之后变为不可分离的。变换的选取可以是事前固定的，或者可以对于在不同像素处主元化的不同子帧是自适应的。在自适应的情况下，所选取的变换是具有最少数量的绝对值大于主阈值 

的e_i中的系数的变换。 

图7示出用于子帧的空间变换选择处理的一个实施例的流程图。处理由处理逻辑执行，处理逻辑可以包括硬件(电路、专用逻辑等)、软件(例如运行在通用计算机系统或专用机器上)、或二者的组合。 

参照图7，处理开始于处理逻辑测试变换是否为像素自适应的(处理块701)。这种测试可以通过参照列表而得以执行。在一个实施例中，列表可以使得变换为非自适应的。在另一实施例，列表可以在矢量OP 内被信号通知。如果处理逻辑确定变换为非自适应的，则处理逻辑选择2-D正交可分离DCT，以用作变换H_i，通过将变换应用于子帧z_i而生成变换系数e_i，并且通过将变换应用于子帧 

而生成变换系数 (处理块702)。 

如果处理逻辑确定变换是像素自适应的，则对于变换库{H¹，H²，....}中的每个变换H^j(处理块704)，处理逻辑使用公式计算变换系数e^j： 

e^j＝H^j×z_i

(处理块703)。 

变换系数e^j对应于变换H^j。 

接下来，对于每个j，处理逻辑对具有大于阈值 

的绝对值的e^j中的系数的数量进行计数(处理块705)，并且从具有最少计数的变换的库选取变换H^k，将变换H_i设置为与最少计数对应的变换(H^k)相等，然后设置系数e_i等于变换系数e^k，并且通过将变换H_i应用于子帧 

而生成变换系数 

(处理块706)。 

空间变换的选取可以在矢量OP内被信号通知。 

阈值化 

作为图2的处理块204的一部分，处理逻辑还执行阈值化。更具体地说，处理逻辑对e_i的所选元素应用自适应阈值 

以得到a_i。在一个实施例则，选择e_i的所有元素。在另一实施例中，选择除了第一元素(通常是DC元素)之外的所有元素。在又一实施例中，不选择元素。还使用主阈值 

来阈值化变换系数e_i，以得到 

可以通过各种方式(例如硬阈值化和软阈值化)来完成阈值化操作。硬阈值化操作定义为 其中，T是所使用的阈值。相似地，具有T作为阈值的软阈值化操作定义为 

在替换实施例中，按以下方式之一计算阈值 

· ${\hat{T}}_{i1}=0$

· ${\hat{T}}_{i1}={\stackrel{\‾}{T}}_{S1}$

· ${\hat{T}}_{i1}=f({\stackrel{\‾}{T}}_{S1},\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|e_j-{\hat{e}}_j\left|\right|}^2)$ 其中，f()表示函数。 

· ${\hat{T}}_{i1}=f({\stackrel{\‾}{T}}_{S1},{\left|\right|e_i-{\hat{e}}_i\left|\right|}^2)$ 其中，f()表示函数。 

· 

函数f()是图11所示的单调递减阶梯函数。在一个实施例中，函数(f₁，f₂，...，f_n和E₁，E₂，...，E_n)的阶梯位置在训练集合上被调谐，从而实现重构图像/视频质量的局部优化。在一个实施例中，以硬阈值化来使用该阈值计算。 

·对 的可能值执行搜索，以使得a_i中的非零元素的数量最小化，从而||e_i-a_i||²＜E_local。E_local可以是边信息的一部分，或者可以使用默认值。这可以看作对于算法的设置。在一个实施例中，可以通过在训练集合上调谐并且选取实现重构图像/视频质量的局部优化的值来获得默认值。 

·对 的可能值执行联合搜索以使得在所有k∈{1，2，...，N}上求和的a_k中的非零元素的总数量最小化，从而 

E_global可以是边信息的一部分，或者可以使用默认值。这可以看作对于算法的设置。在一个实施例中，可以通过在训练集合上调谐并且选取实现重构图像/视频质量的局部优化的值来获得默认值。 

的值可以在矢量OP内被信号通知。在另一实施例中，用于计算 

的选项的选取可以在矢量OP内被信号通知。 

自适应阈值 

应用于 

的所选元素，以得到 在一个实施例中，选择 

的所有元素。在另一实施例中，选择除了第一元素(通常是DC元素)之外的所有元素。在又一实施例中，不选择元素。还使用主阈值 

来阈值化变换系数 以得到 

可以通过各种方式(例如上述硬阈值化和软阈值化)来完成阈值化操作。 

在替换实施例中，按以下方式之一计算阈值 

· ${\hat{T}}_{i2}=0$

· ${\hat{T}}_{i2}={\stackrel{\‾}{T}}_{S2}$

· ${\hat{T}}_{i2}=f({\stackrel{\‾}{T}}_{S2},\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|{\stackrel{\‾}{e}}_j-{\tilde{e}}_j\left|\right|}^2)$ 其中，f()表示函数。 

· ${\hat{T}}_{i2}=f({\stackrel{\‾}{T}}_{S2},{\left|\right|{\stackrel{\‾}{e}}_i-{\tilde{e}}_i\left|\right|}^2)$ 其中，f()表示函数。 

· 

函数f()是图11所示的单调递减阶梯函数。函数(f₁，f₂，...，f_n和E₁，E₂，...，E_n)的阶梯位置在训练集合上被调谐，从而实现局部优化。在一个实施例中，使用该阈值计算，并且硬阈值化用于阈值化操作。 

·对 

的可能值执行搜索，以使得 

中的非零元素的数量最小化，从而 

E_local可以是边信息的一部分，或者可以使用默认值。这可以看作对于算法的设置。在一个实施例中，可以通过在训练集合上调谐并且选取实现重构图像/视频质量的局部优化的值来获得默认值。 

·对 

的可能值执行联合搜索以使得在所有k∈{1，2，...，N}上求和的 

中的非零元素的总数量最小化，从而 

E_global可以是边信息的一部分，或者可以使用默认值。这可以看作对于算法的设置。在一个实施例中，可以通过在训练集合上调谐并且选取实现重构图像/视频质量的局部优化的值来获得默认值。 

在一个实施例中， 

的值在矢量OP内被信号通知。在另一实施例中，用于计算 

的选项的选取在矢量OP内被信号通知。 

时间变换选择和应用 

处理块205中的处理逻辑使用阈值化的结果(即矢量a_i和 

)来形成M²×2矩阵 

在此，函数h()可以是单位函数或 

的所有元素的简单线性比量以用于匹配亮度改变，或者是更通用的函数，用于捕获更复杂的场景特征，例如渐变。处理逻辑使用像素自适应时间变换G_i将 

变换为b_i； 

变换G_i可以是从变换库选取的。变换称为像素自适应的，因为在不同像素处主元化的子帧可以使用不同变换。在自适应的情况下，所选取的变换是具有最少数量的绝对值大 于主阈值 

的b_i中的系数的变换。 

图8是时间变换选择处理的一个实施例的流程图。处理由处理逻辑执行，处理逻辑可以包括硬件(电路、专用逻辑等)、软件(例如运行在通用计算机系统或专用机器上)、或二者的组合。 

参照图8，处理开始于处理逻辑测试变换是否为像素自适应的(处理块801)。这种测试可以通过参照列表而得以执行。在一个实施例中，列表可以使得变换为非自适应的。在另一实施例，列表可以在矢量OP内信号通知。如果处理逻辑确定变换不是像素自适应的，则处理逻辑基于默认时间变换选择变换G_i，并且通过将变换G_i应用于矩阵 而生成变换系数b_i(处理块802)。在一个实施例中，所使用的默认时间变换是Haar变换，即： 时间变换的选取可以在矢量OP内信号通知。 

如果处理逻辑确定变换是像素自适应的，则对于变换库{G¹，G²，...}中的每个变换G^j(处理块804)，处理逻辑使用如下公式计算变换系数b^j： 

$b^j={\tilde{a}}_i\×G^j$

(处理块803)。 

变换系数b^j对应于变换G^j。 

接下来，对于每个j，处理逻辑对具有大于主阈值 

的绝对值的b^j中的系数的数量计算计数(处理块805)，然后从具有最小计数的变换库选取变换G^k，设置变换G_i等于与最小计数对应的变换(G^k)，然后设置系数b_i等于变换系数b^k(处理块806)。 

在时间变换之后的阈值化 

在生成变换系数b_i之后，使用 

阈值化变换系数b_i，以得到c_i(图2的处理块206)。可以通过各种方式(例如上述硬阈值化和软阈值化)来完成阈值化操作。阈值化的选取可以在矢量OP内被信号通知。 

在一个实施例中，如图9所示使用硬阈值化。参照图9，硬阈值 化是由处理逻辑执行的，处理逻辑可以包括硬件(电路、专用逻辑等)、软件(例如运行在通用计算机系统或专用机器上)、或二者的组合。硬阈值化开始于使用主阈值 和系数b_i作为输入，并且处理逻辑对于每个元素b_ij∈b_i根据以下等式计算对应元素c_ij∈c_i： 

$c_{\mathrm{ij}}=\left\{\begin{array}{c}{b}_{\mathrm{ij}},\left|b_{\mathrm{ij}}\right|\&GreaterEqual;\stackrel{\&OverBar;}{T}\\ 0,\left|b_{\mathrm{ij}}\right|<\stackrel{\&OverBar;}{T}\end{array}\right.$

(处理块901)。以此方式，处理逻辑将绝对值小于主阈值 的所有系数设置为零，并且这些系数存储为c_i。 

在一个实施例中，事先选择的b_i的某些元素没有被阈值化并且直接被拷贝到c_i中它们的相应位置。在特定实施例中，b_i的第一列的元素未被阈值化。未被阈值化的元素的集合的选取可以在矢量OP内被信号通知。 

在一个实施例中，元素c_ij∈c_i是通过使用等式c_ij＝c_ij*α_j0+α_j1而被可选地增强的，其中，参数α_j0、α_j1在训练集合上被调谐，从而实现重构图像/视频质量的局部优化。注意，这种操作出现在图2中的处理块206之后。在一个实施例，参数可以在矢量OP内被信号通知。 

逆变换 

在阈值化之后，处理逻辑使用 

对系数进行逆变换(通过时间变换)，以获得 

(处理块207)。处理逻辑还对d_i应用逆变换(空间) 

以获得处理的子帧 

(处理块208)。 

在一个实施例中，在不使用通过先前迭代而输出的过去帧的情况下处理当前帧。在该实施例中，不计算矢量 

和矩阵 

c_i、 

矢量d_i作为d_i＝a_i被获得，并且逆变换(空间) 

应用于d_i，以获得处理的子帧 

在另一实施例中，可以使用作为图像处理的结果而输出的过去帧的集合 

而不是仅使用紧接着的过去输出帧 

设N_PF表示集合中过去帧的数量。在此情况下，集合中的每个过去帧以相同方式贡献于 

的一列，如上所述。输出帧 

以 

的形式贡献于第二列，输出帧 

以 

的形式贡献于第三列，以此类推。在一个实施例中， 

b_i、c_i和d_i的大小是M²×(N_PF+1)，而G_i的大小是(N_PF+1)×(N_PF+1)。 

组合子帧 

在将逆变换应用于阈值系数之后，以加权方式组合所有处理的子帧，以形成帧y。在一个实施例中，对于每个处理的子帧 

计算权重w_i。 

在替换实施例中，按以下方式之一计算基于e_i和a_i的权重： 

·w_i＝1 

·w_i＝f(e_i，a_i)其中，f()表示函数。 

·MSE选项1： 

其中，e_min是常数。 

·L-p范数(p≥0)选项1： 

其中，n_min是常数。 

·调谐权重选项1：w_i＝f_t(||a_i||₀)其中，f_t()表示从集合{1，2，...，M²}(||a_i||₀的可能值的集合)到[0，1]的映射。f_t()是使用优化算法(例如模拟退火(simulated annealing))而被调谐的，以得到关于训练视频集合的最佳性能(使用例如PSNR的矩阵或使用主观得分而测量的)。 

·在其它实施例中，可以按以下方式之一计算用于基于b_i和c_i进行加权的权重： 

·w_i＝f(b_i，c_i)其中，f()表示函数。 

·MSE选项2： 

其中，e_min是常数。 

·L-p范数(p≥0)选项2： 

其中，n_min是常数。 

·调谐权重选项2：w_i＝f_t(||c_i||₀)其中，f_t()表示从集合{1，2，...，2M²}(||c_i||₀的可能值的集合)到[0，1]的映射。f_i()是使用优化算法 (例如模拟退火)而被调谐的，以得到关于训练视频集合的最佳性能(使用例如PSNR的矩阵或使用主观得分而测量的)。 

映射f_t()和/或计算的权重可以在矢量OP内被信号通知。 

处理的子帧 

(对应于所有像素)组合在一起，以通过加权方式形成y。对于y_j(其为第j像素的值)描述该处理的一个实施例。 

1.设置y_j＝0和n_j＝0，其中，n_j是第j像素的归一化系数。 

2.对于每个处理的子帧 

a.如果像素j是p_i的一部分，则 

i.k＝p_i中的像素j的位标。 

ii. 

其中， 

是处理的子帧 

中的像素j的值。 

iii.n_j＝n_j+w_i

3. $y_j=\frac{y_j}{n_j}$

图10是用于组合所有处理的子帧以形成帧y的处理的一个实施例的流程图。处理由处理逻辑执行，处理逻辑可以包括硬件(电路、专用逻辑等)、软件(例如运行在通用计算机系统或专用机器上)、或二者的组合。 

参照图10，处理开始于，对于帧y中的每个像素m＝1∶N将其值y_m及其归一化因子n_m设置为零(处理块1001)。接下来，处理逻辑将像素位标j和子帧位标i归一化为1(处理块1002)。 

在初始化之后，处理逻辑确定是否像素j∈p_i(处理块1003)。如果是，则处理过渡到处理块1004。如果否，则处理过渡到处理块1005。 

在处理块1004，在一个实施例中，处理逻辑使用 

中像素j的值 

并且使用上述权重w_i来更新y_j和n_j。在一个实施例中，根据以下计算权重： 

$w_i=\left\{\begin{array}{cc}\frac{1}{{\left|\right|e_i-a_i\left|\right|}^2},& {\left|\right|e_i-a_i\left|\right|}^2>e_{\min }\\ \frac{1}{e_{\min }},& {\left|\right|e_i-a_i\left|\right|}^2\&le;e_{\min }\end{array}\right.$

在处理块1004，k等于p_i中的像素j的位标。在一个实施例中， 处理逻辑基于以下等式更新y_j和n_j： 

$y_j=y_j+w_i\&times;{\hat{z}}_{\mathrm{ik}}$

n_j＝n_j+w_i

在处理逻辑更新y_j和n_j之后，处理过渡到处理块1005。 

在处理块1005，处理逻辑检查是否位标i＝N，帧中的像素的总数。如果是，则处理过渡到处理块1007。如果否，则处理过渡到处理块1006。在处理块1006，位标增加1，处理过渡到处理块1003。 

在处理块1007之后，处理逻辑根据以下等式更新y_j： 

$y_j=\frac{y_j}{n_j}.$

在更新y_j之后，处理逻辑设置位标i等于1(处理块1008)，并且检查位标j是否等于N(处理块1009)。如果是，则处理结束。如果否，则处理过渡到处理块1010，此时，位标j增加1。在将位标j增加1之后，处理过渡到处理块1003。 

帧y是与当前输入帧x对应的输出。如果存在更多的帧待处理，则处理逻辑更新当前输入帧x，将y拷贝成 并且重复图2所示的处理(处理块212)。 

在一个实施例中，帧y在像素域或变换域经历进一步的图像/视频处理。在一个实施例中，对帧y执行非锐化掩模，以增强高频细节。在另一实施例中，从帧y形成多个大小P×P像素的块，其中，P是整数，并且每个P×P块f经历块变换，例如2-D DCT、2-D Hadamard等，以产生另一P×P块h。P×P块h的元素h(i，j)，0≤i，j≤P-1受处理，以形成增强的P×P块 

从而h(i，j)＝h(i，j)*α(i，j)。在替换实施例中，可以按以下方式之一计算增强因子α(i，j)： 

a.α(i，j)＝α₀*(i+j)^β+α₁

b.α(i，j)＝α₀*i^β*j^δ+α₁

其中，参数(α₀、α₁、β和δ)在训练集合上调谐，从而实现重构图像/视频质量的局部优化。在一个实施例，参数可以在矢量OP内被信号通知。注意，上述操作出现在图2的处理块210之后。增强的P×P 块被逆变换并且组合，以形成帧y的增强版本。 

替换图像处理实施例。 

在替换实施例中，图2描述的处理可以修改为得到更低复杂度的算法，下文中称为更低复杂度技术。图12中的流程图示出更低复杂度技术。在该实施例中，帧y是与当前输入帧x对应的更低复杂度技术的输出，如果存在更多的帧待处理，则我们更新当前输入帧x，将y拷贝成 

并且重复图12所示的处理。 

参照图12，处理开始于处理逻辑使用当前输入帧x和过去输出帧 

形成帧 从而 

$\tilde{y}\left(j\right)=w_z*x\left(j\right)-w_y*\stackrel{\&OverBar;}{y}(j+m)j\&Element;Z,1\&le;j\&le;H*W,$

其中，w_z、w_y是实数，m是整数(处理块1201)。为此，记号(j)表示感兴趣的帧中的像素j的值(按光栅扫描顺序而编号的)。例如， 

表示帧 

的第5像素的值。在一个实施例中，w_z＝0.5并且w_y＝0.5。在一个实施例，值w_z和w_y在矢量OP内被信号通知。 

在替换实施例中，可以按以下方式之一进行m的选取： 

i.m＝0 

ii.从所有可能值选取m，从而 

的p-范数(p≥0) 最小化。 

iii.基于以上”ii”选取m，但将搜索集合限制为{j：j＝j_h+W×j_v}，其中，W是帧x的宽度，并且j_h，j_v∈{-J，-(J-1)，...，-1，0，1，...，J-1，J}。J是大于或等于零的任何整数。 

在一个实施例，m的选取可以在矢量OP内被信号通知。 

在另一实施例中，使用 

的处理版本而非 

来形成帧 

以补偿例如亮度改变和场景渐变的问题，其中，处理包括例如但不限于强度补偿和非线性预测过滤的各技术。 

处理逻辑在与p_i的元素对应的位置处形成具有帧x的像素值的、称为子帧的M²×1矢量z_j。像素i称为子帧z_i的主元(处理块1202)。 

(也是子帧)所表示的M²×1矢量是在与p_i的元素对应的位置处以帧 的像素值形成的(处理块1202)。 

处理逻辑选择空间变换H_i，并且将空间变换应用于子帧z_i和 

以分别得到矢量e_i和 (处理块1203)。 

处理逻辑使用上述相同处理从 计算自适应阈值 并且将自适应阈值 

应用于e_i的所选元素，以得到a_i(处理块1203)。在一个实施例则，选择e_i的所有元素。在另一实施例中，选择除了第一元素(通常是DC元素)之外的所有元素。可以通过各种方式(例如上述硬阈值化和软阈值化)来完成阈值化操作。 

在将自适应阈值 

应用于e_i的所选元素之后，处理逻辑使用a_i、e_i、 

并且使用阈值 

形成矢量d_i(处理块1204)。设a_ij、e_ij、 和d_ij分别表示矢量a_i、e_i、 

和d_i中的第j元素，其中，j∈{1，2，...，M²}。在替换实施例中，按以下方式之一计算值d_ij： 

$i.d_{\mathrm{ij}}=\left\{\begin{array}{cc}\frac{w_y^2*e_{\mathrm{ij}}+w_z*(w_z*e_{\mathrm{ij}}-{\stackrel{\&OverBar;}{e}}_{\mathrm{ij}})}{(w_x+w_y)w_y}& a_{\mathrm{ij}}\&NotEqual;0,\left|{\stackrel{\&OverBar;}{e}}_{\mathrm{ij}}\right|<\stackrel{\&OverBar;}{T}\\ e_{\mathrm{ij}}& a_{\mathrm{ij}}\&NotEqual;0,\left|{\stackrel{\&OverBar;}{e}}_{\mathrm{ij}}\right|\&GreaterEqual;\stackrel{\&OverBar;}{T}\\ 0& a_{\mathrm{ij}}=0\end{array}\right.$

$\mathrm{ii}.d_{\mathrm{ij}}=\left\{\begin{array}{cc}\frac{w_y^2*e_{\mathrm{ij}}+w_z*(w_z*e_{\mathrm{ij}}-{\stackrel{\&OverBar;}{e}}_{\mathrm{ij}})}{(w_x+w_y)w_y}& \left|{\stackrel{\&OverBar;}{e}}_{\mathrm{ij}}\right|<\stackrel{\&OverBar;}{T}\\ a_{\mathrm{ij}}& \left|{\stackrel{\&OverBar;}{e}}_{\mathrm{ij}}\right|\&GreaterEqual;\stackrel{\&OverBar;}{T}\end{array}\right.$

iii.d_ij＝e_ij

在一个实施例中，用于计算d_ij的选项的选取在矢量OP内信号通知。 

然后，处理逻辑将逆空间变换应用于矢量d_i以产生子帧 

(处理块1205)，其余处理块1206、1207、1208和1209如图2中它们各自的对等部分209、210、211和212那样操作，以完成处理。 

对于上述实施例，可选参数矢量OP或其部分可以通过包括但不限于编解码器、相机、超级分辨率处理器等的任何模块而被信号通知。用于构建参数矢量OP的一种简单方式如下：使用矢量中的两个元素来信号通知每个选取。对于第n选取， 

和OP(2*n)＝表示所述选取的值。OP(2*n)需要被设置，并且仅当OP(2*n-1)＝1时 被使用。 

在此描述的技术可以用于以任何色彩表示方式(包括，但不限于RGB、YUV、YCbCr、YCoCg和CMYK)来处理视频序列。各技术可以应用于色彩表示方式中的色彩信道的任何子集(包括空集合或所有信道集合)。在一个实施例中，仅YUV色彩表示方式中的“Y”信道是使用在此描述的技术而被处理的。使用2-D低通滤波器(例如LeGall 5/3小波的LL带滤波器)对U和V信道进行滤波。 

在此描述的技术可以用于仅处理视频序列中的预先选定的帧集合。在一个实施例中，其它帧被处理。在另一实施例中，属于视频序列的一个或多个部分的所有帧被处理。为处理所选择的帧的集合可以在OP内被信号通知。 

除了将在此描述的各技术应用于压缩/未压缩视频序列之外，各技术还可以应用于经受了例如非线性去噪滤波的后处理的压缩视频序列。此外，各技术可以应用于通过对低分辨率压缩/未压缩视频序列进行超级分辨而获得的视频序列。各技术也可以应用于帧率转换模块已经处理或将要处理的视频序列。 

计算机系统的示例 

图14是示例性计算机系统的框图，其可以执行在此描述的一个或多个操作。参照图14，计算机系统1400可以包括示例性客户机或服务器计算机系统。计算机系统1400包括用于传递信息的通信机构或总线1411、以及用于处理信息的与总线1411耦合的处理器1412。处理器1412包括微处理器，但不限于微处理器，例如Pentium^TM、PowerPC^TM、Alpha^TM等。 

系统1400还包括耦合到总线1411的随机存取存储器(RAM)或其它动态存储设备1404(称为主存储器)，用于存储信息以及待由处理器1412执行的指令。主存储器1404还可以用于在处理器1412执行指令期间存储临时变量或其它中间信息。 

计算机系统1400还包括：耦合到总线1411的只读存储器(ROM)和/或其它静态存储设备1406，用于存储静态信息和用于处理器1412的指令；以及数据存储设备1407，例如磁盘或光盘及其对应盘驱动器。数据存储设备1407耦合到总线1411，用于存储信息和指令。 

计算机系统1400也可以耦合到显示设备1421(例如阴极射线管(CRT)或液晶显示器(LCD))，所述显示设备1421耦合到总线1411，用于将信息显示给计算机用户。字母数字输入设备1422包括字母数字和其它键，它也可以耦合到总线1411，用于将信息和命令选择传递给处理器1412。附加用户输入设备是光标控制器1423(例如鼠标，轨迹球、轨迹板、指示笔或光标方向键)，光标控制器1423耦合到总线1411，用于将方向信息和命令选择传递给处理器1412，并且用于控制显示1421上的光标移动。 

可以耦合到总线1411的另一设备是硬拷贝设备1424，其可以用于在介质(例如纸张、膜或相似类型的介质)上标记信息。可以耦合到总线1411的另一设备是有线/无线通信能力，用于到电话或手持掌上设备的通信。可耦合到总线1411的还有外部网络接口1420。 

注意，系统1400的任何或所有组件以及关联硬件可以用在本发明中。然而，可以理解，计算机系统的其它配置可以包括所述设备中的某些或全部。 

虽然在已经阅读前面的描述之后本发明的很多改动和修改对于本领域技术人员将毫无疑问地变得清楚，但应理解，通过说明的方式的示出和描述的任何特定实施例绝非意图被看作是限制性的。因此，对于各个实施例的细节的参考并非意图限制权利要求的范围，权利要求本身仅记载了被看作对于本发明必要的那些特征。 

Claims (36)

1.一种用于减小输入视频中的噪声和闪烁中的一个或两个的方法，包括：

接收输入视频；以及

通过系数的自适应阈值化而应用空间变换和时间变换，使用空间和时间处理执行操作以减少输入视频中的噪声和闪烁中的一个或两个，其中，所述操作包括：

从输入视频的当前帧选择在特定像素处的子帧；

选择扭曲空间变换，用于将子帧变换到空间变换域；

得到自适应阈值并且对来自当前帧的子帧的空间变换系数进行阈值化；

对空间变换系数进行逆变换，以获得处理后的子帧；以及

将处理后的子帧与属于当前帧的先前处理的子帧进行组合，以创建输出视频的新的帧。

2.权利要求中1定义的方法，其中，应用空间变换和时间变换包括：将至少一个扭曲变换应用于子帧，以创建变换系数。

3.权利要求2中定义的方法，其中，所述至少一个扭曲变换包括2-D能分离DCT或2-D Hadamard变换。

4.权利要求1中定义的方法，其中，所述自适应阈值化包括：应用空间自适应阈值。

5.权利要求1中定义的方法，还包括：计算自适应阈值，并且其中，执行自适应阈值化包括：通过自适应阈值来对变换系数进行阈值化。

6.权利要求1中定义的方法，其中，使用空间和时间处理执行操作以减少输入视频中的噪声和闪烁中的一个或二者包括：

对于每个子帧使用空间变换来变换当前帧和过去帧的子帧；

通过自适应阈值对于每个变换的子帧的空间变换系数进行阈值化；

使用时间变换来变换阈值化的空间变换的系数；

通过阈值对于每个变换的子帧的时间变换系数进行阈值化，以创建阈值化的时间变换的系数；

在像素域对阈值化的时间变换系数进行逆变换，以形成处理的子帧；

组合处理的子帧，以创建新的帧。

7.权利要求6中定义的方法，其中，所述空间变换是扭曲变换。

8.权利要求6中定义的方法，其中，通过自适应阈值对于每个变换的子帧的空间变换系数进行阈值化包括：

使用第一阈值对从当前帧的子帧生成的系数执行阈值化；

使用第二阈值对从过去帧的子帧生成的系数执行阈值化，所述第二阈值是独立于所述第一阈值而计算的。

9.权利要求6中定义的方法，还包括：计算一个或多个自适应阈值，并且其中，通过自适应阈值对于每个变换的子帧的变换系数进行阈值化包括：通过所述一个或多个自适应阈值之一对于每个变换的子帧的变换系数进行阈值化。

10.权利要求6中定义的方法，还包括：

在变换域中将至少一个前向变换应用于所述新的帧，以将所述新的帧的数据转换为系数；

对所述系数执行至少一个数据处理操作；以及

在数据处理之后将至少一个逆变换应用于所述系数。

11.权利要求10中定义的方法，其中，所述至少一个数据处理操作包括包含对所述系数进行非锐化掩模和对所述系数应用增强因子的组中的一个或多个操作。

12.权利要求1中定义的方法，其中，所述操作包括：

从输入视频的当前帧选择在特定像素处的子帧，用于从输出视频的过去帧找到另一子帧；

选择扭曲空间变换，用于将子帧变换到空间变换域；

得到自适应阈值并且对来自当前帧和过去帧的子帧的空间变换系数进行阈值化；

将时间变换应用于阈值化的空间变换系数，并且对时间变换系数的所选子集进行阈值化；

首先在时间上并然后在空间上对时间变换系数进行逆变换，以获得处理的子帧；以及

将处理的子帧与属于当前帧的先前处理的子帧进行组合，以创建输出视频的新的帧。

13.权利要求12中定义的方法，其中，扭曲空间变换是像素自适应的，以及自适应阈值是保留细节的。

14.权利要求12中定义的方法，其中，过去帧的子帧是基于满足准则而被定位的。

15.权利要求14中定义的方法，其中，所述准则是基于包括以下项的组中的一个的：像素数量；当前帧的所选子帧与过去帧的所选子帧之间的p-范数的所有值当中的最小值；受过去帧的宽度以及水平和垂直偏移而限定的范围内的、当前帧的所选子帧与过去帧的所选子帧之间的p-范数的各值当中的最小值；受过去帧的宽度与随机选取的水平和垂直偏移而限定的范围内的、当前帧的所选子帧以及过去帧的所选子帧之间的p-范数的各值当中的最小值。

16.权利要求12中定义的方法，其中，得到自适应阈值并且对来自当前帧和过去帧的子帧的空间变换系数进行阈值化包括：使用硬阈值化，在硬阈值化中，如果变换系数的量值小于阈值，则将系数设置为零。

17.权利要求12中定义的方法，其中，得到自适应阈值并且对来自当前帧和过去帧的子帧的空间变换系数进行阈值化包括：使用软阈值化。

18.权利要求12中定义的方法，还包括：

选择最佳匹配于来自输入视频的另一帧的输出视频的输出视频帧；以及

使用所述输出视频帧作为过去帧来执行操作。

19.权利要求12中定义的方法，还包括：将子帧设置为在每个像素处是常规的。

20.权利要求12中定义的方法，还包括：对于每个子帧自适应地选择变换。

21.权利要求12中定义的方法，还包括：在每个像素处自适应地选择子帧。

22.权利要求12中定义的方法，还包括：计算一个或多个自适应阈值，并且其中，通过自适应阈值对于每个变换的子帧的变换系数进行阈值化包括：通过所述一个或多个自适应阈值之一对于每个变换的子帧的变换系数进行阈值化。

23.权利要求22中定义的方法，还包括：对于在每个像素处选择的子帧自适应地选择变换。

24.权利要求12中定义的方法，还包括：发送操作参数的矢量。

25.权利要求12中定义的方法，其中，将时间变换应用于空间变换系数并且对时间变换系数的所选子集进行阈值化包括：

从来自当前帧和过去帧的子帧的阈值化的空间变换系数形成第一矩阵/矢量，以及

将阈值化应用于所述第一矩阵/矢量中的系数的所选子集，以创建第二矩阵/矢量；

另外其中，首先在时间上并然后在空间上对时间变换系数进行逆变换以获得处理的子帧包括：

将逆时间变换应用于所述第二矩阵/矢量，以生成第三矩阵/矢量，以及

将逆空间变换应用于第三矩阵/矢量，以产生处理的子帧。

26.权利要求1中定义的方法，其中，使用空间和时间处理执行操作以减少输入视频中的噪声和闪烁中的一个或二者包括：

对于每个子帧使用空间变换来变换当前帧和过去帧的子帧；

使用时间变换来变换空间变换的系数；

通过阈值对于每个变换的子帧的时间变换系数进行阈值化，以创建阈值化的时间变换的系数；

在像素域对阈值化的时间变换系数进行逆变换，以形成处理的子帧；

组合处理的子帧，以创建新的帧。

27.权利要求1中定义的方法，其中，所述操作包括：

从输入视频的当前帧和输出视频的过去帧形成新的帧；

通过以下操作处理所述新的帧和所述当前帧的子帧：

基于每个像素的子帧类型分别使用从第一子帧和第二子帧中的每个像素形成的矢量，分别使用来自当前帧和新的帧的像素生成第一子帧和第二子帧；

选择扭曲空间变换，用于将所述第一子帧和所述第二子帧变换到空间变换域；

得到自适应阈值，并且对所述第一子帧的变换系数进行阈值化；

使用阈值化的变换系数和从所述第二子帧生成的系数生成矩阵/矢量；

对所述矩阵/矢量中的系数进行逆变换，以产生处理的子帧；以及

将处理的子帧与属于当前帧的先前处理的子帧进行组合，以创建输出视频的新的帧。

28.权利要求27中定义的方法，其中，所述当前帧和所述过去帧包括仅用于多维色彩表示方式的所有信道的子集的帧的信道信息。

29.一种用于减小输入视频中的噪声和闪烁中的一个或两个的系统，包括：

用于接收输入视频的装置；以及

用于通过系数的自适应阈值化来应用空间变换和时间变换，使用空间和时间处理执行操作以减少输入视频中的噪声和闪烁中的一个或两个的装置，其中，该装置包括：

用于从输入视频的当前帧选择在特定像素处的子帧的装置；

用于选择扭曲空间变换，用于将子帧变换到空间变换域的装置；

用于得到自适应阈值并且对来自当前帧的子帧的空间变换系数进行阈值化的装置；

用于对空间变换系数进行逆变换，以获得处理后的子帧的装置；以及

用于将处理后的子帧与属于当前帧的先前处理的子帧进行组合，以创建输出视频的新的帧的装置。

30.权利要求中29定义的系统，其中，用于应用空间变换和时间变换的装置包括：用于将至少一个扭曲变换应用于子帧，以创建变换系数的装置。

31.权利要求30中定义的系统，其中，所述至少一个扭曲变换包括2-D能分离DCT或2-D Hadamard变换。

32.权利要求29中定义的系统，其中，用于使用空间和时间处理执行操作以减少输入视频中的噪声和闪烁中的一个或二者的装置包括：

用于对于每个子帧使用空间变换来变换当前帧和过去帧的子帧的装置；

用于通过自适应阈值对于每个变换的子帧的空间变换系数进行阈值化的装置；

用于使用时间变换来变换阈值化的空间变换的系数的装置；

用于通过阈值对于每个变换的子帧的时间变换系数进行阈值化，以创建阈值化的时间变换的系数的装置；

用于在像素域对阈值化的时间变换系数进行逆变换，以形成处理的子帧的装置；

用于组合处理的子帧，以创建新的帧的装置。

33.权利要求32中定义的系统，其中，所述空间变换是扭曲变换。

34.权利要求32中定义的系统，其中，用于通过自适应阈值对于每个变换的子帧的空间变换系数进行阈值化的装置包括：

用于使用第一阈值对从当前帧的子帧生成的系数执行阈值化的装置；

用于使用第二阈值对从过去帧的子帧生成的系数执行阈值化的装置，所述第二阈值是独立于所述第一阈值而计算的。

35.权利要求29中定义的系统，其中，用于通过系数的自适应阈值化来应用空间变换和时间变换，使用空间和时间处理执行操作以减少输入视频中的噪声和闪烁中的一个或二者的装置包括：

用于从输入视频的当前帧选择在特定像素处的子帧，以及从输出视频的过去帧找到另一子帧的装置；

用于选择扭曲空间变换，并将子帧变换到空间变换域的装置；

用于得到自适应阈值并且对来自当前帧和过去帧的子帧的空间变换系数进行阈值化的装置；

用于将时间变换应用于空间变换系数，并且对时间变换系数的所选子集进行阈值化的装置；

用于首先在时间上并然后在空间上对时间变换系数进行逆变换，以获得属于当前帧和过去帧二者的处理的子帧的装置；以及

用于对属于当前帧的处理的子帧进行组合，以创建输出视频的新的帧的装置。

36.权利要求35中定义的系统，其中，扭曲空间变换是像素自适应的，以及自适应阈值是保留细节的。

Images