CN102378978B - 变换的快速和存储有效实现的方法 - Google Patents

Abstract

本发明的实施例包括用于实现图像/视频帧的正向权重自适应超完备变换、图像/视频帧的逆向权重自适应超完备变换和用于同时执行正向权重自适应超完备变换、处理变换域中的系数以及执行逆向权重自适应超完备变换的快速和低存储处理的一组处理和系统。

Description

变换的快速和存储有效实现的方法

优先权

本专利申请要求在2008年2月5日提交的名称为“FlickerReduction in Video Sequences Using Temporal Processing”的临时申请序列No.61/026453的优先权并且通过引用并入它。

技术领域

本发明的实施例涉及图像和视频的信号处理的领域，该信号处理包括将像素域图像/视频转换成变换域、在变换域中处理和将处理的变换域图像/视频转换回像素域。特别地，本发明涉及对输入帧执行正向权重自适应超完备变换(forward weight-adaptive over-completetransform)、对变换系数执行信号处理和对于经处理的变换系数应用逆向权重自适应超完备变换以产生输出数据(例如，输出帧)。

背景技术

在利用变换的超分辨率、质量增强、降噪、闪烁减少和图像/视频序列的压缩方面存在大量的公知应用。这些处理的琐细实现没有有效地在计算机系统中利用计算和存储资源。因此，需要执行包括变换(例如，超完备变换)的这些处理的存储和计算有效方式。

发明内容

本发明的实施例包括用于实现图像/视频帧的正向权重自适应超完备变换、图像/视频帧的逆向权重自适应超完备变换和用于同时执行正向权重自适应超完备变换、处理变换域中的系数以及执行逆向权重自适应超完备变换的快速和低存储处理的一组处理和系统。

附图说明

在附图中以示例而不是限制方式示出本发明，在这些附图中，类似的附图标记表示类似的要素。应当注意，在本公开中提到的“一个”或“一种”实施例未必是同一实施例，并且，这种提到意味着“至少一个”。

图1是用于执行正向和逆向权重自适应超完备变换的系统的一个实施例的示图。

图2A是用于执行正向权重自适应超完备变换并且任选地应用信号处理以获得经处理的变换系数的处理的一个实施例的流程图。

图2B是输入的图像/视频帧和缓冲器的实施例的示图。

图2C是在图2A中的块220中执行的操作的一个实施例的示图。

图2D是在图2A中的块230中执行的操作的一个实施例的示图。

图3A是用于执行逆向权重自适应超完备变换的处理的一个实施例的流程图。

图3B是在图3A中的块335中执行的操作的一个实施例的示图。

图3C是在图3A中的块340中执行的操作的一个实施例的示图。

图3D是在图3A中的块350中执行的操作的一个实施例的示图。

图4是用于同时地执行正向权重自适应超完备变换、在变换域中的处理以及执行逆向权重自适应超完备变换的系统的一个实施例的示图。

图5是执行这里描述的操作中的一个或更多个的示例性系统的一个实施例的示图。

图6是用于获得降噪的视频帧的处理的一个实施例的流程图；

图7是用于通过使用多个变换获得降噪的视频帧的处理的一个实施例的框图；

图8是用于增强质量和/或增加分辨率的处理的一个实施例的流程图。

图9是上采样(upsampling)处理的一个实施例的流程图。

图10A～10M示出与子帧类型的库对应的遮罩(mask)的例子。

图11表示以光栅扫描次序给像素编号时在像素i处的示例性子帧Z_i。

图12是子帧选择处理的一个实施例的流程图。

图13是子帧的变换选择处理的一个实施例的流程图。

图14是用于将变换系数阈值化的阈值化处理的一个实施例的流程图。

图15示出单调减小的阶梯函数。

图16是用于组合子帧以形成帧的处理的一个实施例的流程图。

图17是数据一致性操作的一个实施例的数据流示图。

图18示出用于对视频序列执行图像处理的处理的一个实施例的流程图。

图19是子帧型选择处理的一个实施例的流程图。

图20是从过去输出帧的子帧形成处理的一个实施例的流程图。

图21是空间变换选择处理的一个实施例的流程图。

图22是时间变换选择处理的一个实施例的流程图。

图23是用于将变换系统阈值化的阈值化处理的一个实施例的流程图。

图24是用于组合子帧以产生帧的处理的一个实施例的流程图。

图25是用于对于视频序列执行图像处理的处理的另一实施例的流程图。

图26A～E示出选择的像素的示例性子帧。

具体实施方式

描述用于执行图像处理的方法和装置。在变换域中执行图像处理。在一个实施例中，在存储和计算方面以有效的方式执行正向和逆向变换。

在本发明的实施例的以下的详细描述中，参照附图，在这些附图中，类似的附图标记表示类似的要素并且以例证方式示出可实践本发明的特定实施例。这些实施例充分详细地被描述，以使得本领域技术人员能够实现本发明，并且，可以理解，在不背离本发明的范围的情况下，可以利用其它的实施例并且可以进行逻辑、机械、功能和其它的变化。因此，以下的详细描述不是在限制的意义上提出的，并且，本发明的范围仅由所附的权利要求限定。本领域技术人员可以理解，可以在不没有这些特定细节中的一些的情况下实现这些实施例。在其它的情况下，某些结构和器件被省略或简化，以避免混淆各种实施例的细节。如这里使用的那样，“组”指的是包含一个项目的任何总数的项目。

本发明的实施例与在美国专利申请序列No.61/026453、No.12/140829和11/331814中描述的处理的实现有关。上述的处理包含对于块尺寸等于变换的尺寸的像素的各种块执行2-D可分离变换处理。在一个实施例中，在变换中使用的块可相互重叠。因此，可以以多个块的变换系数代表各像素。在另一实施例中，还可使用适于块统计的权重，缩放块。对于这种类型的变换，正向变换被称为正向权重自适应超完备变换，并且，逆向被称为逆向权重自适应超完备变换。

正向和逆向变换

图1示出用于与上述的信号处理技术结合地执行正向和逆向权重自适应超完备变换的系统100的一个实施例。图1中的块中的每一个可包含硬件(电路、专用逻辑等)、软件(诸如在通用计算机系统或专用机上运行的那些)或两者的组合。

在一个实施例中，当前输入帧110作为对于正向权重自适应超完备变换模块120的输入被接收。当前输入帧110可代表图像数据或视频数据。正向权重自适应超完备变换模块120对输入帧执行正向权重自适应超完备变换并且输出变换系数125。变换系数125然后作为对于信号处理模块130的输入被接收。

信号处理模块130对变换系数125执行一个或更多个数据处理操作。在一个实施例中，这些操作包括但不限于在以下的专利申请中描述的那些：在2008年2月5日提交的名称为“Flicker Reduction inVideo Sequences Using Temporal Processing”的美国专利申请序列No.61/026453；在2008年6月17日提交的名称为“Image/VideoQuality  Enhancement  and  Super  Resolution  Using  SparseTransformations”的申请No.12/140829和在2006年1月12日提交的名称为“Nonlinear，In-The-Loop，Denoising Filter For QuantizationNoise Removal For Hybrid Video Compression”的美国申请No.11/331814。经处理的变换系数135然后通过信号处理模块130被输出，并且作为对于逆向权重自适应超完备变换模块140的输入被接收。

逆向权重自适应超完备变换模块140对经处理的变换系数135执行逆向权重自适应超完备变换，以产生当前输出帧150作为输出。当前输出帧150代表与正向和逆向权重自适应超完备变换操作一起已经受了变换域中的信号处理的经处理的图像/视频帧。

注意，在一个实施例中，当前输入帧110在被正向权重自适应超完备变换120变换之前被上采样。并且，在一个实施例中，逆变换140的输出经受数据一致性操作。

正向权重自适应超完备变换

图2A是用于执行正向权重自适应超完备变换并且应用信号处理以获得经处理的变换系数的处理200的一个实施例的流程图。可通过处理可包含硬件(电路、专用逻辑等)、软件(诸如在通用计算机系统或专用机上运行的那些)或两者的组合的逻辑，执行该处理。

在一个实施例中，数学表示X(i，j)表示输入的图像/视频帧中的第(i，j)个像素，并且，Y(i，j，m，n)表示左上像素被表示为(i，j)的X中的P×P块的2-D变换中的第(m，n)个系数。因此，数学表示Y(i，j，m，n)代表X(i，j)的权重自适应超完备变换。

在一个实施例中，变量P表示变换的尺寸，并且，作为结果，变量m、n和P之间的数学关系可被表示为1≤m，n≤P。变量H和W然后表示输入图像/视频帧的高度和宽度。出于表示的目的，使用符号‘：’来描述变量的系数的范围。例子是X(i，j：j+P-1)，其代表1×P矢量[X(i，j)X(i，j+1)...X(i，j+P-1)]。类似地，数学表示X(i：i+P-1，j：j+P-1)代表尺寸为P×P的矩阵。

参照图2A，处理200在对于1≤i≤H-P+1的循环中开始(处理块210)。处理逻辑对于输入帧的列执行一维(1-D)变换，以获得列变换(处理块220)。在一个实施例中，该操作可由以下的数学表示来表示：

对于1≤j≤W，X_C(1：P，j)＝T(X(i：i+P-1，j))，这里，T()代表1-D正向变换操作。X_C是在正向权重自适应超完备变换操作中内部使用的具有尺寸P×W的缓冲器。

在处理块230中，处理逻辑对于列变换的行执行1-D变换。在一个实施例中，该操作可由以下的数学表示来表示：

对于1≤j≤W-P+1和1≤k≤P，Y(i，j，k，1：P)＝T(X_C(k，j：j+P-1))。

在一个实施例中，1-D正向变换操作T()被定义为：

在本实施例中，H_T代表定义变换的P×P矩阵。

在处理块235中，如果存在更多的迭代，那么循环中的处理返回到处理块210，以重复块220和230中的操作。当不存在更多的迭代时，在处理块240中，处理逻辑输出变换系数。

然后，处理逻辑执行信号处理操作(处理块250)。这是任选的。在一个实施例中，信号处理操作可以是在美国专利申请序列No.61/026453、No.12/140829和No.11/331814中公开的信号处理操作中的一个。在块260中，处理逻辑输出经处理的变换系数。

图2B示出包含于以上在图2A中描述的处理中的输入图像/视频帧和缓冲器的实施例。在一个实施例中，输入帧270包含表示为具有高度H和宽度W的行和列的像素数据。缓冲器272代表在图2A中描述的变换操作中使用的具有高度P和宽度W的缓冲器。在一个实施例中，变量P与变换的尺寸对应。

图2C更详细地示出与图2A中的处理块220对应的操作。在一个实施例中，对具有高度H和宽度W的输入帧280的列执行1-D正向变换。用来自各列的1-D正向操作的变换系数，更新具有高度P和宽度W的缓冲器282。用列变换计算的不同阶段的表现，表示缓冲器282。

图2D更详细地示出与图2A中的处理块230对应的操作。在一个实施例中，对缓冲器290中的列变换的行执行1-D正向变换。缓冲器290与缓冲器282相同。这样，可通过对存储在缓冲器290中的列变换系数进行的1-D正向变换，获得2-D变换系数292。

在另一实施例中，这里，H_T与利用来自组{-1，1}的元素进行的4×4Hadamard变换对应。在本实施例中，可用加法操作计算由T()代表的操作。在另一实施例中，P＝3。在本实施例中，可利用加法和移位操作来计算该操作。

在另一实施例中，当H_T与利用来自组{-1，1}的元素进行的Hadamard变换对应时，用于计算正向权重自适应超完备变换的称为快速Hadamard 2-D变换实施例的快速实现被描述如下：

●对于1≤i≤H-P，1≤j≤W，计算

A(i，j)＝X(i+P，j)-X(i，j)

●对于1≤i≤H-P，1≤j≤W-P，计算

B(i，j)＝A(i，j+P)-A(i，j)

●对于1≤i≤H-P，1≤n≤P，计算

C(i，1，n)＝H_T(n，1：P)*[A(i，1)A(i，2)...A(i，P)]^T

●对于1≤i≤H-P，1≤j≤W-P和1≤n≤P，计算

C(i，j+1，n)＝D₀(n)×C(i，j，f(n))+D₁(n)×B(i，j)，这里，确定映

射f()：{1，2，...，P}→{1，2，...，P}和标量值D₀(n)，D₁(n)，使得

C(i，j+1，n)＝H_T(n，1：P)*[A(i，j+1)A(i，j+2)...A(i，j+P)]^T。

●对于1≤j≤W-P+1，计算

$Y(1,j,1:P,1:P)=H_T*X(1:P,j:j+P-1)*H_T^T.$

●对于1≤i≤H-P，1≤j≤W-P+1，1≤m≤P和

1≤n≤P，计算

Y(i+1，j，m，n)＝D₀(m)×Y(i，j，f(m)，n)+D₁(m)×C(i，j，n)，这里，确定映射f()：{1，2，...，P}→{1，2，...，P}和标量值D₀(m)，D₁(m)，使得

$Y(i+\mathrm{1,1},j,1:P,1:P)=H_T*X(i+1:i+P,j:j+P-1)*H_T^T.$

●在一个实施例中，当 $H_T=\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& 1& -1& -1\\ 1& -1& 1& -1\\ 1& -1& -1& 1\end{array}\right]$ 时， $D_0=D_1=\left[\begin{array}{c}1\\ -1\\ -1\\ 1\end{array}\right]$ 并且 $f\left(\left[\begin{array}{c}1\\ 2\\ 3\\ 4\end{array}\right]\right)=\left[\begin{array}{c}1\\ 4\\ 3\\ 2\end{array}\right].$

在另一实施例中，当H_T与利用来自组{-1，1}的元素进行地Hadamard变换对应时，用于计算正向权重自适应超完备变换的快速方法被描述如下。在本实施例中，通过进行两个(每个维度一个)1-D权重自适应超完备变换操作，计算2-D权重自适应超完备变换。1-D权重自适应超完备变换操作由OT₁()代表，并且，操作的I/O特性由下式描述：

F(1：L_E-P+1，1：P)＝OT₁(E(1：L_E))

这里，E和F是代表输入和输出矢量的变量，L_E是表示矢量E的长度的整数。当H_T代表Hadamard变换时，P＝2^p，这里，p是大于零的整数。

在称为快速Hadamard 1-D变换实施例的一个实施例中，1-D权重自适应超完备变换操作的快速实现OT₁()被定义如下：

●设定E₀(i，1)＝E(i)

●对于1≤j≤p-1，1≤i≤L_E-j和1≤n≤2^j-1，递归计算：

○E_j(i，2*n-1)＝E_j-1(i，n)+E_j-1(i+1，n)

○E_j(i，2*n)＝E_j-1(i，n)-E_j-1(i+1，n)

●对于1≤i≤L_E-P+1和1≤m≤P  ，计算F(i，m)＝D′₀(m)*E_p-1(i，f′₀(m))+D′₁(m)*E_p-1(i+2^p-1，f′₁(m))，这里，确定映射f′₀()：{1，2，3，...，2^p}→{1，2，3，...，2^p-1，f′₁()：{1，2，3，...，2^p}→{1，2，3，...，2^p-1}和标量值D′₀(m)，D′₁(m)，使得，

F(i，m)＝H_T(m，1：P)*[E(i)E(i+1)...E(i+P-1)]^T

在一个实施例中，当 $H_T=\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& 1& -1& -1\\ 1& -1& 1& -1\\ 1& -1& -1& 1\end{array}\right]$ 时， $D_0^{\′}=\left[\begin{array}{c}1\\ 1\\ 1\\ 1\end{array}\right],D_1^{\′}=\left[\begin{array}{c}1\\ -1\\ 1\\ -1\end{array}\right]$ 并且 $f_0^{\′}\left(\left[\begin{array}{c}1\\ 2\\ 3\\ 4\end{array}\right]\right)=f_1^{\′}\left(\left[\begin{array}{c}1\\ 2\\ 3\\ 4\end{array}\right]\right)=\left[\begin{array}{c}1\\ 1\\ 2\\ 2\end{array}\right].$

在一个实施例中，通过使用两个1-D变换操作，2-D权重自适应超完备变换被计算如下：

(1)对于1≤j≤W，计算X₁(1：H-P+1，j，1：P)＝OT₁(X(1：H，j))

(2)对于1≤i≤H-P+1和1≤m≤P，计算

Y(i，1：W-P+1，m，1：P)＝OT₁(X₁(i，1：W，m))。

可以在不损失一般性的情况下改变处理两个维度的次序。

即，对于首先计算列方向的1-D变换然后计算行方向的1-D变换，给出以上的方程。对于首先计算行方向的1-D变换然后计算列方向的1-D变换，给出类似的一组方程。

逆向权重自适应超完备变换

图3A示出用于执行逆向权重自适应超完备变换的处理300的一个实施例。通过可包含硬件(电路、专用逻辑等)、软件(诸如在通用计算机系统或专用机上运行的那些)或两者的组合的处理逻辑，执行该处理。

在一个实施例中，数学表示法表示经处理的变换系数Y(i，j，m，n)，表示的逆向权重自适应超完备变换。数学表示法w(i，j)表示由可从变换系数Y(i，j，m，n)产生经处理的变换系数的信号处理操作(例如，由图1中的信号处理模块130或图2A中的块250执行)确定的权重的矩阵。

参照图3A，处理从处理逻辑初始化用于逆向变换操作的缓冲器(处理块310)开始。在一个实施例中，该操作可由以下的表示法表示：

对于1≤i≤H和1≤j≤W，设定和N(i，j)＝0。这里，N代表用于逆向权重自适应超完备变换计算中使用的尺寸H×W的缓冲器。

然后，处理逻辑开始执行由以下的表示法表示的循环：

对于1≤i≤H-P+1

(处理块320)。

然后，处理逻辑初始化缓冲器(处理块325)。在一个实施例中，缓冲器代表用于逆向权重自适应超完备变换操作的尺寸P×W的缓冲器。一个实施例中，缓冲器的初始化由以下的表示法表示：

对于1≤j≤W，设定 ${\tilde{X}}_C(1:P,j)=0.$

在初始化缓冲器之后，处理逻辑进入由以下的表示法表示的另一循环：

对于1≤j≤W-P+1

(处理块330)。

在该循环中，处理逻辑执行经处理的变换系数的行的1-D逆向变换的权重乘法(处理块335)。该操作被执行如下：

对于1≤k≤P，

${\tilde{X}}_C(k,j:j+P-1)={\tilde{X}}_C(k,j:j+P-1)+w(i,j)*\tilde{T}\left(\tilde{Y}(i,j,k,1:P)\right)$

这里，代表1-D逆向变换操作，并且w(i，j)代表权重的矩阵。然后用该操作的结果更新缓冲器图3B更详细地示出图3A中的处理块335的1-D逆向变换操作。在一个实施例中，加法器337将的当前内容与1-D逆向变换操作的结果相加，以产生更新的缓冲器(339)。

在块340上，处理逻辑通过加上w(i，j)用块335中的操作的结果更新缓冲器N。在一个实施例中，该操作被执行如下：

N(i：i+P-1，j：j+P-1)＝N(i：i+P-1，j：j+P-1)+w(i，j)。

图3C更详细地示出在图3A中的块340中执行的操作。在一个实施例中，缓冲器342与经更新的缓冲器N对应。

重新参照图3A，处理逻辑测试是否必需附加的迭代(处理块345)。如果需要附加的迭代，那么处理转到处理块330以执行附加的操作。如果不需要附加的迭代，那么处理转到块350，在该块350中，处理逻辑执行缓冲器的列的1-D逆向变换操作并用1-D逆向变换的结果更新缓冲器在一个实施例中，该操作被执行如下：

对于1≤j≤W，图3D更详细地示出在图3A中的块350中执行的操作。在一个实施例中，加法器352将缓冲器的当前内容与1-D逆向变换操作的结果相加以产生更新的(354)。

在更新之后，处理逻辑测试是否有更多的迭代(处理块355)。如果是，那么处理转到处理块320。如果不是，那么处理转到处理块360。

在处理块360中，处理逻辑执行除法操作，以获得代表经处理的图像/视频数据的输出帧。在一个实施例中，该操作由以下的表示法表示：

对于1≤i≤H和1≤j≤W，这里，h被定义为以下的1-D逆向变换操作的一部分。

在一个实施例中，1-D逆向变换操作被定义为：

这里，是P×P矩阵，使得这里，h是实数，并且I是尺寸P×P的单位矩阵。在另一个实施例中，当时，

在另一实施例中，当 $H_T=\left[\begin{array}{ccc}1& 1& 1\\ 1& 0& -1\\ 1& -2& 1\end{array}\right]$ 时， ${\tilde{H}}_T=\left[\begin{array}{ccc}2& 3& 1\\ 2& 0& -2\\ 2& -3& 1\end{array}\right].$

在一个实施例中，通过逆向变换操作隐含地执行权重乘法为了实现这一点，通过使用被设计使得(权重自适应)，进行逆向变换操作。在一个实施例中，可以从离散的一组值选择权重w(i，j)，并且，与离散的组中的值中的每一个对应的权重自适应矩阵可被存储在查找表中。

在一个实施例中，除法操作被近似为：

$\frac{\tilde{X}(i,j)}{h^2*N(i,j)}\≈\mathrm{int}\left(\frac{\tilde{X}(i,j)*f\left(N(i,j)\right)+2^{L-1}}{2^L}\right),$

这里，f(N(i，j))是被存储在查找表中的值。L是大于0的整数。在一个实施例中，

快速低存储实现的示例性系统

图4示出用于执行如上所述的在2008年2月5日提交的名称为“Flicker Reduction in Video Sequences Using Temporal Processing”的美国临时申请No.61/026453、在2008年6月17日提交的名称为“Image/Video Quality Enhancement and Super Resolution UsingSpare Transformations”的申请No.12/140829和在2006年1月12日提交的名称为“Nonlinear，In-The-Loop，Denoising Filter ForQuantization Noise Removal For Hybrid Video Compression”的美国申请No.11/331814中描述的处理的系统400的一个实施例。图4中的块中的每一个可包含硬件(电路、专用逻辑等)、软件(诸如在通用计算机系统或专用机上运行的那些)或两者的组合。在一个实施例中，可在处理器405上实现处理。在一个实施例中，处理器405是一次处理经受相同操作的多个数据单元的单指令多数据(SIMD)处理器。SIMD处理器具有一个或更多个子处理器，并且，各子处理器可同时运行一个或更多个线程。这些处理可被实现以使得存储器需求和存储器I/O操作最小化。

在一个实施例中，如以下的讨论描述的那样，同时完成正向权重自适应超完备变换的计算、变换域中的系数的处理和逆向权重自适应超完备变换的计算。在一个实施例中，变量X表示当前输入帧410，并且，Z分别代表当前输出帧493和过去输出帧440。在一个实施例中，系统440包含被用于实现这些处理的缓冲器。如图4所示，这些缓冲器包含以下方面：

X_P-包含P行当前输入帧410X的尺寸为P×W的缓冲器420

X_C-尺寸为P×W的缓冲器430

Z_P-包含P行过去输出帧440Z的尺寸为P×W的缓冲器445。对于在2008年6月17日提交的名称为“Image/Video QualityEnhancement and Super Resolution Using Spare Transformations”的美国专利申请No.12/140829和在2006年1月12日提交的名称为“Nonlinear，In-The-Loop，Denoising Filter For Quantization NoiseRemoval For Hybrid Video Compression”的美国专利申请No.11/331814中描述的处理，不需要该缓冲器。

Z_C-尺寸为P×W的缓冲器450。对于在2008年6月17日提交的名称为“Image/Video Quality Enhancement and Super ResolutionUsing Spare Transformations”的美国专利申请No.12/140829和在2006年1月12日提交的名称为“Nonlinear，In-The-Loop，DenoisingFilter For Quantization Noise Removal For Hybrid VideoCompression”的美国专利申请No.11/331814中描述的处理，不需要该缓冲器。

-尺寸为P×W的缓冲器470。

-包含P行当前输出帧493的尺寸为P×W的缓冲器480。

N_P-尺寸为P×W的缓冲器490。

X_Y-尺寸为P×P的缓冲器435。

Z_Y-尺寸为P×P的缓冲器455。对于在2008年6月17日提交的名称为“Image/Video Quality Enhancement and Super ResolutionUsing Spare Transformations”的美国专利申请No.12/140829和在2006年1月12日提交的名称为“Nonlinear，In-The-Loop，DenoisingFilter For Quantization Noise Removal For Hybrid VideoCompression”的美国专利申请No.11/331814中描述的处理，不需要该缓冲器。

-尺寸为P×P的缓冲器465。

在一个实施例中，过去输出帧440被存储在帧存储缓冲器438中。

在一个实施例中，处理的快速和低存储实现包含以下的操作：

1.缓冲器初始化

a.将当前输入帧410X的第一P行复制到X_P的缓冲器420中。

b.将过去输出帧440Z的第一P行复制到Z_p的缓冲器445中。

c.对于1≤i≤P和1≤j≤W，设定的缓冲器480和N_p(i，j)＝0的缓冲器490。

2.主循环。对于1≤i≤H-P+1，执行以下的操作：

a.如以下的表示法表示的那样，对缓冲器420和445中的数据计算列方向的正向变换，使得结果分别被存储在缓冲器430和450中。

对于1≤j≤W，X_C(1：P，j)＝T(X_p(1：P，j))和

Z_C(1：P，j)＝T(Z_p(1：P，j))

b.对于1≤i≤P和1≤j≤W，设定的缓冲器470。

c.对于1≤j≤W-P+1，执行以下的操作：

i.如以下的表示法表示的那样，对缓冲器430中的数据计算行方向的正向变换，并将结果存储在缓冲器435中：

对于1≤k≤P，X_Y(k，1：P)＝T(X_C(k，j：j+P-1))。

ii.如以下的表示法表示的那样，对缓冲器450中的数据计算行方向的正向变换，并将结果存储在缓冲器455中：

对于1≤k≤P，

X_Z(k，1：P)＝T(Z_C(k，j：j+P-1))。

iii.使用在2008年2月5日提交的名称为“Flicker Reductionin Video Sequences Using Temporal Processing”的美国专利申请No.61/026453、在2008年6月17日提交的名称为“Image/Video Quality Enhancement and SuperResolution Using Spare Transformations”的美国专利申请No.12/140829和在2006年1月12日提交的名称为“Nonlinear，In-The-Loop，Denoising Filter ForQuantization Noise Removal For Hybrid VideoCompression”的美国专利申请No.11/331814中描述的处理中的一个(或更多个)，从X_Y(1：P，1：P)的缓冲器435和Z_Y(1：P，1：P)的缓冲器455在信号处理模块460中计算的经处理的缓冲器465和权重w(i，j)的矩阵。

iv.如以下的表示法表示的那样，基于逆向变换的权重乘法对缓冲器465中的系数计算行方向的逆向变换，其结果然后在缓冲器470中被更新：

对于1≤k≤P，

${\tilde{X}}_C(k,j:j+P-1)={\tilde{X}}_C(k,j:j+P-1)+w(i,j)*\tilde{T}\left({\tilde{X}}_Y(k,1:P)\right).$

v.如以下的表示法表示的那样，更新缓冲器490：

N_p(1：P，j：j+P-1)＝N_p(1：P，j：j+P-1)+w(i，j)。

d.如以下的表示法表示的那样，对于缓冲器470中的数据计算列方向的逆向变换，其结果然后在缓冲器480中被更新：对于1≤j≤W，

e.如以下的表示法表示的那样，在除法器485中执行除法操作：对于1≤j≤W，

f.将缓冲器480的第一行复制到的当前输出帧493的行i中。

g.旋转/更新缓冲器。采用旋转以重新使用缓冲器中的相同的空间，以保持与不同时间处的帧对应的不同数据。

i.对于1≤k≤P-1，执行以下的操作：

1.如下旋转/更新缓冲器420：

X_p(k，1：W)＝X_p(k+1，1：W)

2.如下旋转/更新缓冲器445：

Z_p(k，1：W)＝Z_p(k+1，1：W)

3.如下旋转/更新缓冲器480：

${\tilde{X}}_p(k,1:W)={\tilde{X}}_p(k+\mathrm{1,1}:W)$

4.如下旋转/更新缓冲器490：

N_p(k，1：W)＝N_P(k+1，1：W)

ii.将当前输入帧410X的第i+P行复制到缓冲器420的第P行X_p(P，1：W)中：

iii.将过去输入帧440Z的第i+P行复制到缓冲器445的第P行Z_p(P，1：W)中：

iv.将缓冲器480的第P行和缓冲器490的第P行设为零，即，

对于1≤.j≤W，和N_p(P，j)＝0。

注意，在操作2.g.i.3和2.g.i.4中，整个缓冲器不被修改。操作2.g.i.3和2.g.i.4对行1～P-1操作，而操作2.g.iv对行P上操作。

3.输出最后的P-1行。对于1≤i≤P-1，执行以下的操作：

a.如以下的表示法表示的那样，执行除法操作：

对于1≤j≤W， ${\tilde{X}}_p(i,j)=\left\{\begin{array}{c}\frac{{\tilde{X}}_p(i,j)}{h^2*N_p(i,j)},N_p(i,j)\≠0\\ X_p(i,j),N_p(i,j)=0\end{array}\right..$

b.将缓冲器480的行i复制到的当前输出帧493的行i+H-(P-1)中。

如上所述，在一个实施例中，同时应用正向和逆向变换。在以上的步骤中，在步骤2下的循环中执行所有正向变换、变换域处理和逆向变换。作为在整个帧上进行正向变换并然后传送用于处理的整组变换系数并然后对整组的经处理的变换系数进行逆向操作的替代，对小部分的帧执行三个操作(正向、处理、逆向)，然后使用相同的存储器以对不同的小部分的帧重复三个步骤，等等。由此，由于在任何一种情况下都不存储整组的变换系数，因此需要的存储器的量减小。

在一个实施例中，当前输出帧493可被存储在帧存储缓冲器438中。在另一实施例中，以上结合图4描述的正向变换操作和逆向变换操作分别是正向和逆向权重自适应超完备变换操作。

在快速低存储实施例的另一实施例中，通过使用1-D缓冲器形成2-D缓冲器。例如，通过使用分别具有长度W的P个1-D缓冲器，形成P×W2-D缓冲器。通过该缓冲器结构，可在不从2-D缓冲器的一个部分向另一部分复制数据的情况下通过简单地识别2-D缓冲器中的1-D缓冲器的次序，完成上述的步骤2.g(“旋转/更新缓冲器”)中的缓冲器的旋转。

在快速、低存储实施例的另一实施例中，可如下通过修改步骤2.c.iv，消除将缓冲器初始化为零的上述步骤2.b：

●对于1≤k≤P，

○使代表的输出。

○如果(j等于1)，那么，

■ ${\tilde{X}}_C(k,j:j+P-1)=w(i,j)*{\tilde{x}}_k.$

○否则，

■ ${\tilde{X}}_C(k,j:j+P-2)={\tilde{X}}_C(k,j:j+P-2)+w(i,j)*{\tilde{x}}_k(1:P-1).$

■ ${\tilde{X}}_C(k,j+P-1)=w(i,j)*{\tilde{x}}_k\left(P\right).$

以上描述的技术包含一次处理P个行。但是，应当注意，这不损失一般性，并且，可以轻微地修改该技术(通过使行和列维度互换)以一次处理P个列。

在一个实施例中，使用整数运算实现在美国专利申请No.61/026453、美国专利申请No.12/140829和美国专利申请No.11/331814中描述的处理。在另一实施例中，通过使用固定点运算实现在上述的美国专利申请中描述的处理。在一个实施例中，固定点运算的精度等于16位。对于整数和固定点运算实现，在任何必要的时候缩放实现中的中间数据，以防止在整数和固定表现中出现的溢出问题。

在一个实施例中，在美国专利申请No.61/026453、美国专利申请No.12/140829和美国专利申请No.11/331814中描述的处理高度并行化，并且可被设计为利用任何并行的计算资源。在一个实施例中，以一起处理经受相同的操作的多个数据单元的方式，在SIMD处理器上实现处理。SIMD处理器具有一个或更多个子处理器，并且，各子处理器可同时运行一个或更多个线程。例如，在不损失一般性的情况下，各子处理器对于i的特定值和j的所有值计算Y(i，j，1：P，1：P)；各子处理器的任务被进一步分成多个线程，各线程对于j的特定值进行计算。在另一实施例中，在多芯处理器上实现处理，使得不同的芯对不同的数据单元执行相同的操作，或者使得不同的芯执行不同的操作或者两者的组合。

示例性计算机系统

图5是可执行这里描述的操作中的一个或更多个的示例性计算机系统的框图。计算机系统500可包含示例性客户机或服务器计算机系统。关于计算机系统描述的部件可以是手持或移动装置(例如，蜂窝式电话)的一部分。

参照图5，计算机系统500包含用于传送信息的通信机构或总线511，和用于处理信息的与总线511耦合的处理器512。处理器512包含诸如例如Pentium^TM处理器等的微处理器，但是不限于微处理器。

系统500还包括随机存取存储器(RAM)或与总线511耦合的用于存储要被处理器512执行的信息和指令的其它动态存储设备504(称为主存储器)。主存储器504还被用于存储在处理器512执行指令的过程中的时间变量或其它的中间信息。

计算机系统500还包括与总线511耦合的用于存储用于处理器512的静态信息和指令的只读存储器(ROM)和/或其它的静态存储设置506，以及诸如磁盘或光盘及其相应的盘驱动器的数据存储设备507。数据存储设备507与总线511耦合用于存储信息和指令。

计算机系统500还可与诸如阴极射线管(CRT)或液晶显示器(LCD)的显示装置521耦合，显示装置521与总线511耦合用于向计算机用户显示信息的显示装置。包括字母数字和其它键的字母数字输入设备522也可与总线511耦合用于向处理器512传送信息和命令选择。附加的用户输入设备是与总线511耦合的用于向处理器512传送方向信息和命令选择并用于控制显示器521上的光标移动的诸如鼠标、跟踪球、跟踪板、铁笔或光标方向键的光标控制523。

可与总线511耦合的另一设备是可被用于在诸如纸、胶片或类似类型的介质上标记信息的硬拷贝设备524。可与总线511耦合的另一设备是用于与电话或手持掌上设备通信的有线/无线通信能力525。

注意，系统500的部件的任何一种或全部以及相关的硬件可被用于本发明中。但是，可以理解，计算机系统的其它配置可包含这些设备中的一些或全部。

应用

降噪应用

在一个实施例中，以上描述的技术，特别是正向和逆向变换，被用于降噪过滤处理中。这种处理可被用于去除混合视频压缩中的量子化噪声。

图6是用于获得降噪的视频帧的处理的一个实施例的流程图。通过可包含硬件(如电路、专用逻辑等)、软件(诸如在通用计算机系统或专用机上运行的那些)或两者的组合的处理逻辑执行该处理。处理逻辑可包含固件。在一个实施例中，处理逻辑处于降噪滤波器中。

参照图6，处理从获得解码的帧y并收集其它可用信息的处理逻辑(处理块601)开始。其它的可用信息可包含量子化参数、运动参数和模式信息。

然后，处理逻辑通过向解码帧y应用变换H获得一组系数d(处理块602)。例如，变换H可代表块状二维DCT。处理逻辑还将一组图像元素e设为等于元素y。

然后，处理逻辑基于一组图像元素e对于d中的各系数计算c(i)的条件期望值，并且通过应用使用d中的系数的值和c(i)的条件期望值的降噪规则，获得过滤的系数(处理块603)。然后，处理逻辑通过向一组系数应用变换H的反转，获得过滤的帧(处理块604)。

在获得过滤帧之后，处理逻辑确定是否需要更多的迭代(处理块605)。例如，可以预设诸如两个的固定数量的迭代。如果需要更多的迭代，那么处理逻辑将一组图像元素e设为(处理块607)，并且处理转到处理块603。否则，处理流程前进到处理逻辑输出过滤帧的处理块606。

虽然上述的使用单一线性变换H的基本过程提供可接受的降噪性能，但是，通过使用几个不同的线性变换H₁、H₂、...、H_M，可以获得更好的性能。这些变换中的每一个被用于其自身的基本过程中，以产生由给出的初始非量子化视频帧x的估计。这些单个的估计被组合以形成比估计中的每一个好的总体估计在图7中示出这种使用多个变换的处理的一个实施例。

通过可包含硬件(如电路、专用逻辑等)、软件(诸如在通用计算机系统或专用机上运行的那些)或两者的组合的处理逻辑，执行图7的处理。处理逻辑可包含固件。在一个实施例中，处理逻辑是降噪滤波器的一部分。

参照图7，处理从处理逻辑获得解码帧y并收集其它可用的信息(处理块701)开始。其它的可用信息可包含诸如量子化参数、运动参数和模式信息的压缩参数。

在获得解码帧并收集其它信息之后，处理逻辑通过向解码帧y应用M个变换H_i获得一组系数d_1：M(处理块702)。例如，各变换H_j可代表块状二维DCT，这里，块对准依赖于j。处理逻辑还将一组图像元素e设为等于y的元素。

处理逻辑然后基于压缩参数确定各系数的系数降噪参数(处理块703)，并且基于压缩参数确定遮罩(处理块704)。

通过该信息，处理逻辑基于e和系数参数对于d_1：M中的各系数计算c_1：M(i)的条件期望值，并且通过应用使用d_1：M中的系数的值和c_1：M(i)的条件期望值的降噪规则，获得经过滤的系数(处理块705)。

然后，处理逻辑通过向应用于一组系数的变换H_1：M的反转的结果应用遮罩函数，获得经过滤的帧(处理块706)。

处理逻辑然后确定总体估计(处理块707)。可通过将所有的估计一起平均，执行这一过程。平均可以是加权平均。在一个实施例中，通过各单个估计的加权平均，给出图7中的总体估计块。可以用相等的权重或通过使用现有技术中已知的更复杂的权重确定技术，完成该过程，该更复杂的权重确定技术诸如为例如在识别三种不同的加权技术的Onur G.Guleryuz，“Weighted OvercompleteDenoising”，Proc.Asilomar Conference on Signal and Systems，PacificGrove，CA，Nov.2003中阐述的技术。在一个实施例中，在本发明中使用这三种技术中的最简单技术。因此，获得总体估计，该总体估计然后被遮罩。在替代性实施例中，遮罩各单个估计并然后形成总体估计。

在获得总体估计之后，处理逻辑确定是否需要更多的迭代(处理块708)。例如，可以预设诸如两个的固定数量的迭代。如果需要更多的迭代，那么处理逻辑将一组图像元素e设为(处理块709)，并且处理转到处理块705；否则，处理流程转到处理逻辑输出经过滤的帧的处理块710。

注意，在2006年1月12日提交的名称为“Nonlinear，In-The-Loop，Denoising Filter For Quantization Noise Removal For Hybrid VideoCompression”的美国专利申请No.11/331814中更详细描述了以上的降噪处理，包括其中的操作。

质量增强和超分辨率

在一个实施例中，以上描述的技术，特别是正向和逆向变换，被用于质量增强处理或超分辨率处理中。

图8是用于增强质量和/或增加分辨率的处理的一个实施例的流程图。通过可包含硬件(电路、专用逻辑等)、软件(诸如在通用计算机系统或专用机上运行的那些)或两者的组合执行该处理。

参照图8，x表示低分辨率(LR)的输入图像/视频帧。在一个实施例中，通过以光栅扫描次序配置像素，将所有的图像/视频帧表示为矢量。作为替代方案，数据可被表示和/或存储为矢量、矩阵或任何其它的格式。

首先，处理逻辑将输入帧x上采样，以获得上采样的帧y(处理块801)。可通过使用被选择以导出被上采样(y)的输入帧x的上采样2-D滤波器执行上采样。图9示出上采样处理的一个实施例，并且将在下面被更详细地描述。注意，当使用这里描述的用于质量增强的技术时，该操作是任选的。当不执行该操作时，帧y被设为等于帧x。

在将输入帧x上采样以获得经上采样的帧y时，处理逻辑以像素i为枢轴对于各像素i＝1：N选择子帧z_i(处理块802)。N代表y中的像素的数量。在本实施例中，对于图像中的各像素形成并处理子帧。但是，在另一实施例中，可仅对选择的像素的子集上而不是对图像中的所有像素执行处理。子集可作为边信息的一部分被预先确定或作为信号被传送。图26A～E示出这种子集的例子；可以与这里描述的教导一起使用其它的子集。

在以像素i为枢轴选择子帧z_i之后，处理逻辑选择变换H_i并且通过对子帧z_i应用变换H_i来计算系数d_i(处理块803)。在一个实施例中，变换是2-D DCT。在另一实施例中，变换是2-D Hadamard变换。主阈值是可被用于选择变换的输入。

在产生系数d_i之后，处理逻辑对系数d_i应用主阈值以获得计算自适应阈值并对系数d_i应用自适应阈值以自适应地将它们阈值化，以获得(处理块804)。处理逻辑然后向阈值系数应用逆向变换以获得经处理的子帧(处理块805)。

然后，处理逻辑以加权的方式组合与所有像素对应的所有的经处理子帧以形成帧(处理块806)。然后，处理逻辑对帧执行数据一致性步骤，以得到帧y′(处理块807)。数据一致性步骤被定义为：

$y^1=\hat{y}+\tilde{y}$

处理逻辑计算使得y′的下采样给出输入帧x。注意，当使用这里描述的用于质量增强的技术时，该操作是任选的。当不执行该操作时，帧y′被设为等于帧

然后，处理逻辑确定是否需要更多的迭代(处理块808)。在一个实施例中，迭代的次数为2。可以将实际的迭代次数信号化为边信息的一部分。如果是的话，处理转到处理逻辑计算新的主阈值的处理决820并且将帧y设为等于y′(处理块811)，然后，处理转到处理块802。如果处理逻辑确定不需要更多的迭代，那么处理转到处理逻辑输出帧y′的处理块809，并且处理结束。注意，在一个实施例中，处理块801的线性内插操作和处理块806的数据一致性操作是任选的。如果不执行线性内插操作(例如，通过禁用线性内插模块)，那么视频/图像的输出分辨率与输入分辨率相同。因此，在本实施例中，视频/图像的质量得到增强，但是，不存在超分辨率。

图9是上采样处理的一个实施例的流程图。图10A～10M示出与子帧类型的库对应的遮罩的例子。图11表示以光栅扫描次序给像素编号时的像素i处的示例性子帧z_i。图12是子帧选择处理的一个实施例的流程图。图13是子帧的变换选择处理的一个实施例的流程图。图14是用于将变换系数阈值化的阈值化处理的一个实施例的流程图。图15示出单调减小的阶梯函数。图16是用于组合子帧以形成帧的处理的一个实施例的流程图。图17是数据一致性操作的一个实施例的数据流示图。

对于关于上述的该处理和操作的一个实施例的更多信息，参见被这里通过引用并入并且在2008年6月17日提交的名称为“Image/Video Quality Enhancement and Super Resolution UsingSpare Transformations”的美国专利申请No.12/140829中描述的S.Kanumuri，O.G.Guleryuz and M.R.Civanlar，“Fastsuper-resolution reconstructions of mobile video using warpedtransforms and adaptive thresholding，”Proc.SPIE Conf.onApplications of Digital Image Processing XXX，San Diego，CA，Aug.2007。

噪声和闪烁减少

在一个实施例中，以上描述的技术，特别是正向和逆向变换，被用于质量增强处理或超分辨率处理。图18示出用于对视频序列执行图像处理的过程的一个实施例的流程图。通过可包含硬件(电路、专用逻辑等)、或软件(诸如在通用计算机系统或专用机上运行的那些)或两者的组合，执行该过程。

在以下描述的处理中，x表示来自正在通过这里描述的技术被处理的输入视频的当前帧，表示在使用这里描述的技术之后输出的过去的帧，并且，和表示由图像处理过程使用的阈值参数。并且，可以供给包含其它任选参数的由OP表示的矢量。用户或算法可通过使用主观/客观质量的优化、使用基于模型的技术或使用其它的方法，确定最希望的参数。也可使用校准算法。这些算法还可利用视频处理管线或输入视频中的任一种或两种的部分/全部知识。在一个实施例中，通过以光栅扫描次序配置像素将所有视频帧表示为矢量，并且，N代表各视频帧中的像素的数量。

在获得帧x之后，开始图18的处理块1802的子帧选择过程。子帧类型S被定义为M²×1整数值矢量。出于这里的目的，M可以是比零大的任何整数。{S¹、S²、S³、...}是子帧类型的库。对于来自以光栅扫描次序将像素编号的帧x的一组选择的像素中的各像素i，从库中选择子帧类型s_i，并且，矢量p_i形成为这里，是所有元素等于1的M²×1矢量。在一个实施例中，对于不被选择的像素，p_i是零的矢量。该组选择的像素可以在矢量OP内被预先确定或被信号化。本实施例中，对于图像中的各像素形成和处理子帧。即，该组选择的像素是帧中的整组像素。但是，在另一实施例中，可以仅对像素的选择子集而不是在图像中的所有像素执行处理。子集被预先确定或信号化为边信息的一部分。图26A～E示出这种子集的例子；可以与这里描述的教导一起使用其它的子集。用与p_i的元素对应的位置处的帧x的像素值，形成称为子帧的M²×1矢量z_i。像素i被称为子帧z_i的枢轴。图11表示以光栅扫描次序给像素编号时像素i处的示例性子帧z_i。参照图11，通过依次从“1”开始将像素编号，出现像素的光栅扫描次序。子帧被示为以像素i为枢轴。子帧被组织成称为翘曲行的M个矢量。第一翘曲行依次具有子帧元素1～M；第二翘曲行具有元素(M+1)～2M；等等。

在一个实施例中，M等于4并且子帧类型的库与图10A～M所示的一组遮罩对应。参照图10A～M，利用子帧的该库，遮罩与由箭头表示的不同方向对应。图10A中的遮罩在这里被称为规则遮罩，原因是它与规则的水平或垂直方向对应。其它的遮罩被称为方向性遮罩，原因是它们与重要的方向对应。遮罩中的像素(‘a’～‘p’)的微分位置(Ω)被定义为Ω＝C_C+W×C_R，这里，W是帧y的宽度。C_C是需要从像素‘a’的列开始向右水平移动以到达关注的当前像素的列的列数。C_R是需要从像素‘a’的行开始向下垂直移动以到达关注的当前像素的行的行数。例如，在图10H中的遮罩的情况下，像素‘c’具有C_C＝-1和C_R＝2。与遮罩对应的子帧类型是包含从‘a’到‘p’排序的该遮罩中的像素的微分位置的矢量。

在一个实施例中，通过总是选择与规则遮罩对应的子帧类型，进行像素的子帧类型的选择。在另一实施例中，对于各选择的像素，(1)通过对于各子帧类型评价形成的子帧上的2-D DCT和(2)通过对于给定阈值T选择使具有比T大的大小的非零变换系数的数量最小化的子帧类型，进行像素的子帧类型的选择。在另一实施例中，通过对于各选择的像素选择使在所有翘曲行上平均化的像素值的翘曲行方差(variance)最小化的子帧类型，进行像素的予帧类型的选择。在另一实施例中，通过对于K×L像素的块使各像素对子帧类型投票(基于使在所有翘曲行上平均化的像素值的翘曲行方差最小化的子帧类型)并对于K×L块中的所有像素选择具有最多得票数的子帧类型，进行像素的子帧类型的选择，这里，K和L可以是大于0的任何整数。在一个实施例中，K和L均被设为4。在另一实施例中，通过对于各像素形成K×L像素的块并且通过对该块使用前面的投票方案选择子帧类型，进行像素的子帧类型的选择。在各情况下，对于当前的像素使用选择的子帧类型。因此，通过对于各遮罩使用这些测量统计值中的一个，执行子帧的选择。注意，可以使用图10A～M中的那些以外的遮罩。

图19是子帧类型选择处理的一个实施例的流程图。图20是从过去输出的帧进行子帧形成处理的一个实施例的流程图。

作为图18的处理块1804的一部分，处理逻辑还执行空间变换选择和应用。具体而言，处理逻辑分别通过使用像素自适应翘曲空间变换Hi将子帧z_i和变换成e_i和图21是空间变换选择处理的一个实施例的流程图。

作为图18的处理块1804的一部分，处理逻辑还执行阈值化。具体而言，处理逻辑对e_i的选择元素应用自适应阈值以得到a_i。在一个实施例中，选择e_i的所有元素。在另一实施例中，选择除第一元素(通常为DC元素)的所有元素。在另一实施例中，所有的元素都不被选择。还通过使用主阈值将变换系数e_i阈值化以得到可以以诸如例如硬阈值化和软阈值化的各种方式完成阈值化操作。

处理块1805中的处理逻辑使用阈值化的结果，即矢量a_i和以形成M²×2矩阵 出于这里的目的，函数h()可以是与亮度变化匹配的的所有元素的恒等函数(identity function)或简单线性标度或捕获诸如褪色的更复杂场景特性的更一般函数。处理逻辑通过使用像素自适应时间变换G_i将变换成b_i；可从变换的库选择变换G_i。由于以不同的像素为枢轴的子帧可使用不同的变换，因此变换被称为像素自适应。在自适应的情况下，选择的变换是具有比主阈值大的绝对值的b_i中的具有最小数量系数的一个。图22是时间变换选择处理的一个实施例的流程图。

在产生变换系数b_i之后，通过使用将变换系数b_i阈值化以得到c_i(图18的处理块1806)。可以以诸如上述的硬阈值化和软阈值化的各种方式完成阈值化操作。可以在矢量P内将阈值化的选择信号化。图23是用于将变换系数阈值化的阈值化处理的一个实施例的流程图。

在将逆向变换应用于阈值化系数之后，所有的经处理的子帧以加权的方式被组合以形成帧y。图24是用于组合子帧以产生帧的处理的一个实施例的流程图。

帧y是与当前输入帧x对应的输出。如果存在更多的要处理的帧，那么处理逻辑更新当前输入帧x，将y复制到中，并且重复图18所示的处理(处理块1812)。

图25是用于对视频序列执行图像处理的过程的另一实施例的流程图。

图26A～E示出选择的像素的示例性子集。

对于关于该噪声和/或闪烁减少过程的一个实施例的更多信息，参见在2008年9月18日提交的名称为“Noise and/or Flicker Reductionin Video Sequences using Spatial and Temporal Processing”的美国申请序列No.12/233468，该美国申请系列No.12/233468在S.Kanumuri，O.G.Guleryuz，M.R.Civanlar，A.Fujibayashi and C.S.Boon，“Temporal Flicker Reduction and Denoising in Video using SparseDirectional Transforms，”Proc.SPIE Conf.on Applications of DigitalImage Processing XXXI，San Diego，CA，Aug.2008中被描述，在这里通过引用并入该申请。

其它的实施例可使用这里描述的技术。

主要参照在附图中示出并且在以上描述的特定的例子描述了本发明的实施例。但是，本领域技术人员可以理解，在不背离本发明的范围的情况下，对于本领域技术人员技术来说，本发明的实施例的替代方案和修改将变得明显。这些修改和实现被理解为根据以下的权利要求被捕捉。

这里描述的处理可以是具有存储在其中的用于使可编程处理器执行上述操作的数据和指令的机器可读介质。在其它的实施例中，可通过包含硬连线的逻辑的特定硬件部件执行操作。可替代性地通过编程的计算机部件和自定义硬件部件的任意组合执行这些操作。

用于可编程的处理器的指令可以以可被处理器直接执行的形式(“对象”或“可执行”形式)被存储，或者，指令可以以称为“源代码”的人类可读文本的形式被存储，该“源代码”可被一般称为“编译器”的开发工具自动处理以产生可执行代码。指令也可被规定为与预先确定的基本源代码的差异或“Δ”。Δ(也称为“补片”)可被用于准备指令以从不包含实施例的可共用源代码包开始实现本发明的实施例。

在前面的描述中，阐述了大量的细节。但是，本领域技术人员很容易理解，可以在没有这些特定细节的情况下实现本发明。在一些情况下，以框图的形式而不是以细节的形式表示公知的结构和器件，以避免混淆本发明。

对计算机存储器内的数据位的运算的算法和符号表现方面，给出详细的描述的一些部分。这些算法描述和表现是被数据处理领域的技术人员使用以最有效地将他们的工作的实质传递给本领域技术人员的手段。算法在这里被一般设想为导致希望的结果的步骤的自相容次序。步骤是需要物理量的物理操作的步骤。通常地，虽然未必如此，这些量采取能够被存储、传送、组合、比较和以其它方式被操作的电或磁信号的形式。已多次证明，主要是出于通用的原因，将这些信号称为位、值、元素、符号、字符、术语或号码等是方便的。

但是，应当记住，所有这些和类似的术语与适当的物理量有关，并且仅是适用于这些量的方便标记。除非从前面的讨论中明显地特别指出，否则，应当理解，在描述中，利用诸如“处理”或“计算”或“算出”或“确定”或“显示”等的术语的讨论指的是计算机系统或类似的电子计算装置的如下动作或处理，即，操作计算机系统寄存器和存储器内的表示为物理(电子)量的数据并将其变换成计算机系统存储器或寄存器或其它这种信息存储器、传送或显示装置内的类似地表示为物理量的其它数据。

本发明还涉及用于执行这里的动作的装置。可出于需要的目的特别构建该装置，或者，它可包含通过存储在计算机中的计算机程序被选择性激活或重新配置的通用计算机。这种计算机程序可被存储在计算机可读存储介质中，该计算机可读存储介质诸如但不限于：包含软盘、光盘、紧致磁盘只读存储器(“CD-ROM”)和磁光盘的任何类型的盘，只读存储器(“ROM”)，随机存取存储器(“RAM”)，可擦除可编程只读存储器(“EPROM”)、电可擦除只读存储器(“EEPROM”)，闪速存储器、磁或光卡或者任何类型的适于存储电子指令的介质。

这里给出的算法和显示不固有地与任何特定的计算机或其它的装置有关。可以与根据这里的教导的程序一起使用各种通用的系统，或者，构建更加专用的装置以执行需要的处理步骤被证明是方便的。从以下的描述，各种这些系统的需要的结构是明显的。另外，本发明的描述没有参照任何特定的编程语言。应当理解，各种的编程语言可被用于实现这里描述的本发明的教导。

已主要参照特定的例子并且关于对于某些硬件和/或软件部件的特定的功能分配描述了本发明的应用。但是，本领域技术人员可以认识到，也可通过与这里的描述不同地分配本发明的实施例的功能的软件和硬件实现这里描述的技术。这些变化和实现被理解为根据以下的权利要求被捕捉。

Claims (12)

1.一种信号处理方法，包括：

接收输入帧，该输入帧包含像素的行和列；

通过向输入帧的所述行和列应用正向权重自适应超完备变换，获得与输入帧对应的一组系数，其中所述正向权重自适应超完备变换包含二维正向变换，并且其中，通过以下的步骤执行二维权重自适应超完备变换：

(1)对于1≤j≤W，计算X₁(1：H-P+1，j，1：P)＝OT₁(X(1：H，j))

(2)对于1≤i≤H-P+1，计算Y(i，1：W-P+1，m，1：P)＝OT₁(X₁(i，1：W，m))

这里，X₁(i，j，k)是缓冲器，X(i，j)表示输入帧中的第(i，j)个像素，Y(i，j，m，n)表示左上像素被表示为(i，j)的X中的P×P块的二维变换中的第(m，n)个系数，H和W表示帧的高度和宽度，P表示变换的尺寸，OT₁()表示一维权重自适应超完备变换操作。

2.根据权利要求1的方法，其中，应用二维正向变换包含：

向输入帧的第一组行应用第一一维变换，以获得列变换；和

向列变换的行应用第二一维变换。

3.根据权利要求2的方法，其中，应用第一一维变换包含：

对于所有列，对第一缓冲器中的数据执行列方向的一维正向变换。

4.根据权利要求1的方法，其中，正向权重自适应超完备变换包含可分离的正向变换。

5.根据权利要求1的方法，其中，正向权重自适应超完备变换包含快速Hadamard二维正向变换。

6.根据权利要求1的方法，其中，一维权重自适应超完备变换中的至少一个包含快速Hadamard一维变换。

7.根据权利要求2的方法，其中，列变换被存储在具有等于所述第一组行的行的量的缓冲器中，所述第一组的行具有比输入帧的行的总量小的尺寸。

8.根据权利要求7的方法，其中，基于等于缓冲器的行的量的块尺寸，对于列变换的各行执行第二一维变换。

9.根据权利要求1的方法，进一步包括向所述一组系数应用来自包含降噪操作、图像增强操作和闪烁减少操作的组中的一个。

10.一种信号处理方法，包括：

接收输入帧，该输入帧包含像素的行和列；

通过向输入帧的所述行和列应用正向权重自适应超完备变换，获得与输入帧对应的一组系数，其中，通过以下的步骤执行权重自适应超完备变换：

对包含当前输入帧的P行的第一缓冲器和具有过去帧的P行的第二缓冲器中的数据，计算列方向的正向变换，并且分别在第三和第四缓冲器中存储结果；

对第三和第四缓冲器中的数据，计算行方向的正向变换，并在第五和第六缓冲器中存储结果；

基于第五和第六缓冲器中的系数对于第五缓冲器中的系数执行图像处理操作，并在第七缓冲器中存储结果；

基于逆向变换的权重乘法，计算第七缓冲器中的系数的行方向的逆向变换，并在第八缓冲器中存储结果；

通过向存储在一个或更多个位置处的数据添加权重，更新第十缓冲器中的数据；

对于第八缓冲器中的数据计算列方向的逆向变换，并在第九缓冲器中存储结果；和

基于通过使用第九缓冲器和第十缓冲器中的数据执行的除法操作的结果，更新输出帧缓冲器，其中通过用来自第九缓冲器中的数据除以不为零的来自第十缓冲器中的数据的倍数来执行所述除法操作。

11.根据权利要求10的方法，还包括旋转包含当前输入帧的P行的缓冲器、包含过去输入帧的P行的缓冲器、第九数据缓冲器和第十数据缓冲器的P行。

12.一种信号处理系统，包括：

存储器；和

与所述存储器耦接的处理器，所述处理器：

接收输入帧，该输入帧包含像素的行和列；和

通过向输入帧的所述行和列应用正向权重自适应超完备变换，获得与输入帧对应的一组系数，其中所述正向权重自适应超完备变换包含二维正向变换，并且其中，通过以下的步骤执行二维权重自适应超完备变换：

(1)对于1≤j≤W，计算X₁(1：H-P+1，j，1：P)＝OT₁(X(1：H，j))

(2)对于1≤i≤H-P+1，计算Y(i，1：W-P+1，m，1：P)＝OT₁(X₁(i，1：W，m))

这里，X₁(i，j，k)是缓冲器，X(i，j)表示输入帧中的第(i，j)个像素，Y(i，j，m，n)表示左上像素被表示为(i，j)的X中的P×P块的二维变换中的第(m，n)个系数，H和W表示帧的高度和宽度，P表示变换的尺寸，OT₁()表示一维权重自适应超完备变换操作。