CN101883280A - 一种恢复噪声的视频编解码方法和系统 - Google Patents

Abstract

本发明提供一种恢复噪声的视频编解码方法，包括：在编码端执行去除噪声的视频编码方法；在解码端执行恢复噪声的视频解码方法。在去噪处理中，对有噪残差信号或者其变换系数进行缩放与平移，以得到当前帧的真实视频信号的最优估计信号与其参考帧之间的残差信号，然后对该残差信号进行变换、量化和熵编码，组成压缩码流以供输出。在恢复噪声处理中，对重构的残差信号进行反缩放与反平移，以得到恢复的有噪残差信号，并将得到的有噪残差信号与当前帧的参考帧相加得到噪声恢复的视频信号。相应地，提供一种恢复噪声的视频编解码系统。本发明可恢复原始的真实噪声，引入的额外负担小，去噪处理和噪声恢复处理可容易地集成到标准视频编解码系统中。

Description

一种恢复噪声的视频编解码方法和系统

技术领域

本发明涉及视频编码技术领域，尤其涉及一种恢复噪声的视频编解码方法和系统。

背景技术

目前，视频技术广泛应用于视频电话、视频会议、视频聊天、可视电子商务、数字电视和数字电影等领域。在这些领域中，数字视频序列的主观质量往往会直接影响到用户/观众的感观体验，而噪声是影响主观视频质量的一个重要因素。

具体地讲，数字视频序列在获取、录制、处理和传输的过程中通常会受到噪声的污染，这些噪声往往会导致视频编码中运动估计的准确度和编码效率的降低。因此，通常会考虑采用去噪技术来去除视频序列中的噪声分量。但是，在大多数情况下，去噪操作也会去除视频序列中的细小细节，从而造成失真，影响主观视频质量。因此，在某些对主观视频质量要求非常高的情况下，往往需要在解码端恢复或添加一些类型的有用噪声来帮助改善主观视频质量。

目前，需要在解码端恢复或添加的有用噪声主要包括：(1)胶片颗粒噪声，这种噪声是由分散在感光乳剂中的卤化银晶体的曝光和显影而引起的，对于HD DVD和数字化影院这样对视频质量要求非常高的应用，很可能希望保留胶片颗粒噪声来增强数字胶片的真实性，去掉了这些噪声，反倒会使观众感受到不自然；(2)用于掩饰伪像的随机噪声，比如，抖动信号，通过添加这些随机噪声可使由于使用基于块的压缩方法而导致的方块效应和其它结构化的噪声图案变得不那么明显。

对于胶片颗粒噪声的恢复，比较常见的方法通常包括编码端的预处理步骤和解码端的后处理步骤，其中，预处理步骤通常涉及噪声去除、提取、建模或编码等，后处理步骤通常涉及噪声模拟和合成等。

比如，在C.Gomila和A.Kobilansky的“SEI message for filmgrain noise”(JVT 8^th meeting，Doc.JVT-H022，Geneva，2003)中，提出了一种通过建立胶片颗粒的参数化模型来模拟胶片颗粒噪声的方法。具体地讲，在编码端，首先从输入的视频数据中去除胶片颗粒，并将去除了胶片颗粒的视频序列发送给编码器按照标准视频编码技术进行编码，同时在已知所使用的胶片类型的情况下将标识胶片类型的标识符作为参数发送给编码器，或者在不知道所使用的胶片类型或者由于拷贝、处理、颜色空间转换等原因而导致颗粒图案失真的情况下基于预定的胶片颗粒统计模型提取表示胶片颗粒信息的参数，并将这些参数发送给编码器。编码器利用SEI(SupplementalEnhancement Information，附加增强信息)将标识符参数或者模型参数发送给解码器。解码器按照相应的标准视频解码技术对编码的视频数据进行解码，并根据接收的参数模拟胶片颗粒噪声，最后将模拟的胶片颗粒噪声与解码的视频数据合成，从而得到胶片噪声恢复的视频序列。其中，在建模步骤中，建立了自动回归模型和相应的卷积模型来表达胶片噪声的空域相关性、颜色相关性和时域相关性。

在B.T.Oh等人的“Film grain noise modeling in advancedvideo coding”(Proceedings of SPIE，Visual Communications andImage Processing，2007)中，提出了另外一种提出通过建模模拟胶片颗粒噪声的方法。该方法也是首先在编码端从输入的视频数据中去除胶片颗粒，并将去除了胶片颗粒的视频序列发送给编码器按照标准视频编码技术进行编码，同时基于预定的模型提取表示胶片颗粒噪声的参数，然后在解码端根据通过SEI消息传送过来的参数生成噪声，并将生成的噪声与解码的视频数据合成。其中，在噪声提取和去除步骤中，利用多层方法检测边缘区域，并通过仅对非边缘的均匀区域进行选择性滤波来提取和去除噪声；在噪声建模步骤中，根据空间功率谱密度、噪声概率密度和颜色相关性等方面建立了3D AR模型来表达胶片颗粒的空间相关性和功率谱相关性；在噪声合成步骤中，考虑到胶片颗粒噪声依赖于解码信号，通过对白噪声进行缩放来合成噪声。

对于这些基于模型的胶片颗粒噪声恢复方法，由于模型本身的局限性，这些方法通常仅适用于符合该模型的胶片颗粒，也就是说，往往只有符合该模型的胶片颗粒才能被适当地编码和恢复。针对这样的问题，在申请号为03019872.5的欧洲专利申请“Film grainencoding”中，提出了一种改进方法。该方法不是对提取的胶片颗粒信息进行建模，而是按照标准化视频编码技术对提取的至少一个代表性胶片颗粒信息块进行编码，从而使得不限于特定类型的胶片噪声的合成。同时，为了增强适应性，通过镜像、旋转、循环移位、改变胶片颗粒块的强度、对编码的视频信号的统计属性进行监控等操作对胶片颗粒信息进行修改，从而实现各种不同的胶片颗粒的自适应编码。

但是，虽然这种方法消除了建模方法的局限性，但是与建模方法一样，都在编码端的编码之前增加了噪声去除、提取、建模或编码等预处理，在解码端的解码之后增加了模拟和合成等后处理，而这些增加的预处理和后处理通常涉及复杂的计算或处理，相应地增加了编解码器的复杂性，从而给标准视频编码系统引入了一定的额外负担，影响整个系统的处理效率和传输效率。另外一个关键的问题是这些方法都是利用各种模拟手段来模拟胶片颗粒噪声，虽然模拟的噪声整体上可具有与原始胶片颗粒噪声类似的主观质量，但是却不能实现像素对像素的模拟。也就是说，这些方法只能是模拟胶片颗粒噪声，并不能恢复原始的真实的胶片颗粒噪声，在某些要求高主观视频质量的应用中，最终模拟合成的噪声很可能不被接受。

对于用于掩饰伪像的随机噪声的添加，比较常见的方法是在解码器端通过各种模拟手段来生成噪声。比如，在申请号为10/572,690的美国专利申请“Video Comfort Noise Addition Technique”中，提出了一种根据噪声的空域相关性和时域相关性以及噪声与解码图像的亮度之间的关系生成噪声的方法；在申请号为11/059,175的美国专利“Method and Apparatus for Masking of Video Artifactsand/or Insertion of Film Grain in a Video Decoder”中，提出了一种利用线性反馈移位寄存器(LFSR)伪随机噪声(PRN)生成器来生成噪声和合成噪声的方法。这些方法的缺点也是在于在视频解码之后需要通过一些后处理来生成噪声和合成噪声，而这些后处理往往涉及到较为复杂的运算或处理，给整个系统带来了一定的负担。而且，所模拟的噪声只能保证基本类似，却不能保证其真实性。

发明内容

为了解决以上问题，本发明提供一种恢复噪声的视频编码方法和系统，以在给标准视频编码系统引入尽可能小的额外负担的情况下恢复真实的噪声。

为了实现以上目的，本发明提供的恢复噪声的视频编解码方法包括以下步骤：在编码端执行去除噪声的视频编码方法；在解码端执行恢复噪声的视频解码方法。

其中，所述去除噪声的视频编码方法包括以下步骤：计算作为输入信号的当前帧与其参考帧之间的有噪残差信号；对有噪残差信号或者其变换系数进行缩放与平移，以得到当前帧的真实视频信号的最优估计信号与其参考帧之间的残差信号；对经过缩放与平移得到的残差信号进行变换、量化和熵编码或者对经过缩放与平移得到的变换系数进行量化和熵编码，组成压缩码流以供输出，同时对量化后的变换系数进行反量化和反变换，以得到重构的残差信号，并将该残差信号与参考帧相加得到重构帧，作为下一帧的参考帧。

所述恢复噪声的视频解码方法包括以下步骤：对编码端输出的压缩码流进行熵解码、反量化和反变换，得到重构的残差信号；对重构的残差信号进行反缩放与反平移，以得到全部或部分恢复的有噪残差信号；将得到的有噪残差信号与当前帧的参考帧相加得到噪声全部或部分恢复的视频信号。

相应地，本发明提供一种恢复噪声的视频编解码系统，包括编码器和解码器，编码器包括输入单元、残差计算单元、预测单元、参考帧缓存单元、变换单元、量化单元、熵编码单元、重构单元、编码输出单元和去噪滤波器，解码器包括熵解码单元、反量化单元、反变换单元、参考帧缓存单元、解码输出单元和噪声恢复处理器。

其中，去噪滤波器对作为输入信号的当前帧与其参考帧之间的有噪残差信号或者其变换系数进行缩放与平移，以得到当前帧的真实视频信号的最优估计信号与其参考帧之间的残差信号，并将经过缩放与平移得到的残差信号发送给变换单元或者将经过缩放与平移得到的变换系数发送给量化单元；噪声恢复处理器对重构的残差信号进行反缩放与反平移，以得到全部或部分恢复的有噪残差信号，并将该残差信号发送给输出单元，输出单元将该残差信号与当前帧的参考帧相加得到噪声全部或部分恢复的视频信号。

本发明通过执行互逆的去除噪声过程与恢复噪声过程，能够恢复原始的真实噪声。而且，仅仅是简单地对残差信号进行缩放和平移，仅需要计算少数几个参数和传输一个参数，引入的额外负担小。此外，去噪滤波器和噪声恢复处理器或者其去噪处理和噪声恢复处理可容易地集成到标准视频编解码系统中。

附图说明

图1是显示根据本发明的恢复噪声的视频编解码方法的示意性框图；

图2和图3是显示根据本发明的编码端的示意性框图；

图4是显示根据本发明的解码端的示意性框图；

图5和图6是显示根据本发明的恢复噪声的视频编解码系统的示意性框图；

图7a和图7b是标准H.264编解码器和嵌入本发明的去噪滤波器和噪声恢复处理器的标准H.264编解码器对不同视频序列进行编码的性能比较曲线图；

图8a-8c分别是含有胶片颗粒噪声的原始视频帧、利用嵌入去噪滤波器的编码器编码的重构视频帧和利用嵌入噪声恢复处理器的解码器恢复的重构视频帧。

具体实施方式

以下，将结合附图和实施例对本发明进行进一步的说明。

在对本发明方法和系统进行详细描述之前，首先对本发明中所涉及到的数学模型进行简要说明。

在本发明中，假定视频序列中的噪声分量为加性高斯噪声，观察到的有噪的视频当前帧及其参考帧分别表示为Y_k和Y_k-1，其相应的真实视频信号分别表示为X_k和X_k-1，则下面的等式成立：

Y_k＝X_k+N_k               (1)

Y_k-1＝X_k-1+N_k-1         (2)

其中，N_k和N_k-1分别表示第k帧和第k-1帧中的噪声分量。假设N_k的均值和方差分别为0和σ_k ²。

另外，由于无法得知视频信号的真实值，因此，在本发明中，将其建模为均值为

方差为

的随机变量。第k帧和第k-1帧中的真实视频信号的关系为：

X_k＝X_k-1+r_k             (3)

其中，r_k是残差信号。这里，假定r_k与N_k和X_k-1无关，它的均值为

方差为

图1是显示根据本发明的恢复噪声的视频编解码方法的示意性框图。从图1中可看出，本发明对现有的标准视频编码方法的改进之处在于在编码端通过对残差信号进行缩放和平移来去除噪声，同时在解码端通过对残差信号进行反缩放和反平移来恢复噪声，从而通过简单的互逆的去噪和加噪操作来恢复原始的真实噪声，并且仅引入非常少的负担。

具体地讲，如图1所示，编码端的输入视频信号为第k帧Y_k，经过预测之后获得其预测信号为

两者之间的差值即为有噪残差信号r_n，k。根据缩放因子μ和平移因子v对有噪残差信号r_n，k进行缩放与平移操作之后，得到新的残差信号r′_n，k＝μr_n，k+v。这里，使得残差信号r′_n，k为当前帧Y_k的真实视频信号的最优估计信号与其预测信号

之间的残差信号，从而实现良好的去噪效果，提高编码效率。

接着，对新的残差信号r′_n，k进行变换、量化和熵编码，组成压缩码流以供输出，同时对量化后的变换系数进行反量化和反变换，以得到重构的残差信号r″_n，k，并将残差信号r″_n，k与预测帧

相加得到重构的帧帧

即为Y_k的去噪视频信号。将重构的帧

缓存，作为下一帧Y_k+1的预测帧。

在解码端，对编码端输出的压缩码流进行熵解码、反量化和反变换，得到重构的残差信号r_d，k。接着，根据反缩放因子λ和反平移因子θ对残差信号r_d，k进行反缩放与反平移，得到新的残差信号r′_d，k。这里，为了可恢复原始的真实噪声，新的残差信号r′_d，k应该等于全部或部分恢复的有噪残差信号r_n，k，因此，在编码端应将确定反缩放因子λ和反平移因子θ所需的参数发送给解码端，解码端根据这些参数确定反缩放因子λ和反平移因子θ，以使得编码端的去噪操作与解码端的加噪操作是互逆的。最后，将得到的残差信号r′_d，k与当前帧的预测帧相加，从而得到全部或部分恢复原始噪声的视频信号。

这里，指出，在本说明书中，参考帧即为预测帧，参考信号即为预测信号。编码端的输入信号可以是一帧视频信号，还可以是一场或一块视频信号。而外，除了视频信号之外，编码端的输入信号也可以是音频或声音信号，并且一个信号片段可以是较长的一帧或较短的一帧，帧与帧间可以是相互重叠或者不重叠。在编码端输入这些信号的情况下，仅需根据实际应用在相应部分作简单修改即可。

以下，将参照图2至图4以帧间预测方法作为示例对本发明的具体实现进行详细描述。

在该示例中，利用线性最小均值平方误差估计方法来估计输入的当前帧Y_k的去噪视频信号

其中，ω₁和ω₂分别为输入信号

和Y_k的权重值，d为用来保证无偏差估计的常数。

根据正交原则，最优的滤波器系数为：

${\mathrm{\ω}}_1=\frac{{\mathrm{\σ}}_k^2}{{\mathrm{\σ}}_{r_k}^2+{\mathrm{\σ}}_k^2}---\left(5\right)$

${\mathrm{\ω}}_2=\frac{{\mathrm{\σ}}_{r_k}^2}{{\mathrm{\σ}}_{r_k}^2+{\mathrm{\σ}}_k^2}---\left(6\right)$

$d={\mathrm{\ω}}_1{\stackrel{\‾}{r}}_k---\left(7\right)$

其中，σ_k ²为第k帧的噪声分量N_k的方差，

和

分别为残差信号r_k的均值和方差，此时，

即为当前帧Y_k的真实视频信号的最优估计信号。

利用ω₁+ω₂＝1，并将公式(7)代入公式(4)，公式(4)可改写为：

${\tilde{X}}_k={\tilde{X}}_{k-1}+{\mathrm{\ω}}_2(Y_k-{\tilde{X}}_{k-1})+d={\tilde{X}}_{k-1}+{\mathrm{\ω}}_2{r}_{n,k}+{\mathrm{\ω}}_1{\stackrel{\‾}{r}}_k---\left(8\right)$

其中，r_n，k是有噪残差信号，r_n，k＝r_k+N_k，因此，其均值为

方差为

从公式(8)可得到新的残差信号r′_n，k：

$r_{n,k}^{\′}={\tilde{X}}_k-{\tilde{X}}_{k-1}={\mathrm{\ω}}_2{r}_{n,k}+{\mathrm{\ω}}_1{\stackrel{\‾}{r}}_k---\left(9\right)$

这里，缩放因子μ和平移因子v分别为：

μ＝ω₂                  (10)

$v={\mathrm{\ω}}_1{\stackrel{\‾}{r}}_k$

从公式(5)、(6)和(7)可看出，缩放因子μ和平移因子v均与噪声分量σ_k ²、残差信号的均值

和方差

这三个参数有关，因此，为了确定缩放因子μ和平移因子v，必须首先确定这三个参数。可根据以下方法对这三个参数进行估计：

1.噪声分量σ_k ²

视频序列中平滑区域的像素值的抖动基本都是由噪声的存在而造成的，所以噪声的方差可以根据平滑区域的样本方差来估计。

2.残差信号的均值

和方差

由于残差信号的均值和方差

不能直接估计得到，所以可根据其与有噪残差信号r_n，k之间的关系r_n，k＝r_k+N_k间接得到。

具体地讲，如图2所示，在运动估计和运动补偿预测获得Y_k的预测值

之后，可得到有噪残差信号r_n，k。r_n，k是随机变量，相邻的残差信号通常具有相似的特征，因此，可利用空间统计特性来估计或近似集合统计特性。比如，可将当前视频帧划分为M×M个块，对于被编码的当前块，计算该块的有噪残差的样本均值和样本方差，并将其作为有噪残差信号r_n，k的均值和方差的估计。在获得有噪残差信号r_n，k的均值和方差之后，由于噪声分量的均值和方差分别为0和σ_k ²，而r_n，k＝r_k+N_k，所以，可得到残差信号的均值

即为有噪残差信号r_n，k的均值，残差信号的方差

即为有噪残差信号r_n，k的方差减去噪声分量的方差σ_k ²。

图2为实现上述去噪编码方法的示意性框图。其中，参数估计模块用于根据当前帧Y_k、参考帧

和有噪残差r_n，k来估计噪声分量σ_k ²、残差信号的均值

和方差这三个参数。估计出这三个参数之后，根据公式(5)和(6)计算权重值ω₁和ω₂。然后，通过将有噪残差r_n，k与权重值ω₂相乘对有噪残差r_n，k进行缩放，再通过将其与

相加对其进行平移，从而得到新的残差信号

接着，对新的残差信号r′_n，k进行变换、量化、熵编码，从而获得压缩码流。这里，所述变换可以是离散余弦变换、离散正弦变换、哈德曼变换和KL变换等已知变换中的任何一种，所述量化可以是矢量量化、标量量化和包含死区的变量均匀量化中的任何一种。

此外，由于该示例中的缩放与平移为线性操作，因此，还可在对残差信号进行变换得到变换系数之后对变换系数执行缩放与平移操作。如图3所示，在这种实现中，首先对有噪残差信号进行变换，得到变换系数，然后再对变换系数进行缩放与平移，以得到与当前帧的真实视频信号的最优估计信号与其参考帧之间的残差信号相对应的新的变换系数。在该示例中，缩放与平移操作具体为将直流系数减去

并将所有系数乘以，其中，如上所述，有噪残差信号r_n，k的均值

即为残差信号的均值

接着，对新的变换系数进行量化和熵编码，组成压缩码流以供输出，同时，对量化后的变换系数进行反量化和反变换，以得到重构的残差信号，并将该残差信号与参考帧相加得到重构帧，作为下一帧的参考帧。

在解码端获得压缩码流之后，如图4所示，对其进行熵解码、反量化和反变换，得到重构的残差信号r_d，k，该残差信号即为已去噪的第k帧视频

与已去噪的第k-1帧视频

之间的残差信号。为了恢复原始噪声，应该将该残差信号反缩放和反平移成原始的有噪残差信号r_n，k 。因此，根据公式(8)或(9)可知：

$r_{d,k}={\mathrm{\ω}}_2{r}_{n,k}+{\mathrm{\ω}}_1{\stackrel{\‾}{r}}_k---\left(12\right)$

那么，从公式(12)可得到原始的有噪残差信号r_n，k：

$r_{n,k}=\frac{r_{d,k}-{\mathrm{\ω}}_1{\stackrel{\‾}{r}}_k}{{\mathrm{\ω}}_2}---\left(13\right)$

得到原始的有噪残差信号r_n，k之后，即可得到恢复了原始噪声的视频信号：

$Y_k={\tilde{X}}_{k-1}+r_{n,k}---\left(14\right)$

从公式(13)可看出，为了得到有噪残差信号r_n，k，必须知道ω₁、ω₂和

的值。根据公式(5)和(6)可知，ω₁和ω₂又与和σ_k ²相关，因此，必须知道噪声分量的方差σ_k ²、残差信号的均值

和方差

因此，编码器端需要将噪声分量的方差σ_k ²传送给解码端，而另外两个参数则需要重新进行估计。比如，可按照公式(12)中r_d，k和r_n，k的关系进行估计：

1.残差信号的均值

根据公式(12)，可得到：

${\stackrel{\‾}{r}}_{d,k}={\mathrm{\ω}}_2{\stackrel{\‾}{r}}_{n,k}+{\mathrm{\ω}}_1{\stackrel{\‾}{r}}_k={\mathrm{\ω}}_2{\stackrel{\‾}{r}}_k+{\mathrm{\ω}}_1{\stackrel{\‾}{r}}_k={\stackrel{\‾}{r}}_k---\left(15\right)$

因此，即等于

也就是当前M×M块的r_d，k的样本均值。

2.残差信号的方差

同样根据公式(12)，可得到：

${\mathrm{\σ}}_{r_{d,k}}^2={\mathrm{\ω}}_2^2{\mathrm{\σ}}_{r_{n,k}}^2={\mathrm{\ω}}_2^2({\mathrm{\σ}}_{r_k}^2+{\mathrm{\σ}}_k^2)={\left(\frac{{\mathrm{\σ}}_{r_k}^2}{{\mathrm{\σ}}_{r_k}^2+}{\mathrm{\σ}}_k^2\right)}^2({\mathrm{\σ}}_{r_k}^2+{\mathrm{\σ}}_k^2)=\frac{{\mathrm{\σ}}_{r_k}^4}{{\mathrm{\σ}}_{r_k}^2+{\mathrm{\σ}}_k^2}---\left(16\right)$

对方程(16)进行求解，即可得到

的值。

图3为实现以上解码方法的示意性框图。在图3中，经过反缩放和反平移后，可得到新的残差信号

根据公式(13)，令α和β的值分别为ω₁和

即，反缩放因子反平移因子则输出即为恢复原始噪声的有噪视频序列。当调整α和β的值时，还可获得噪声部分恢复的视频序列。

以上对采用帧间预测方法的视频编解码方法进行了描述。从中可看出，本发明通过简单的残差或其变换系数的缩放和平移操作就可实现真实噪声的恢复，从而改进主观视频质量。而且在编码端和解码端仅需计算少数几个参数，并且编码端只需将噪声方差σ_k ²传送到解码端，因此，与视频编解码系统的其余操作相比，其所需的额外开销非常小。此外，去噪处理和噪声恢复处理可被容易地集成到已有的标准视频编解码系统中。

需要指出的是，以上示例仅用作示例性目的，而不用作限制性目的。还可在此基础上根据实际应用进行各种变型。

比如，除了帧间预测之外，还可利用帧内预测或者和帧间预测和帧内预测的组合来得到预测帧；除了上述线性操作之外，还可利用非线性操作来实现缩放与平移，例如，可通过查找表的方式来实现非线性操作；除了标量操作之外，例如在矢量量化的特殊情况下还可实现缩放与平移的矢量操作。

以下，将参照图5和图6对根据本发明的视频编解码系统进行说明。

参照图5，根据本发明的视频编解码系统包括编码器510和解码器520，其中，编码器510包括输入单元511、残差计算单元512、预测单元513、参考帧缓存单元514、变换单元515、量化单元516、熵编码单元517、重构单元518、编码输出单元519和去噪滤波器530；解码器520包括熵解码单元521、反量化单元522、反变换单元523、参考帧缓存单元524、解码输出单元525和噪声恢复处理器526。

在编码器510中，残差计算单元512计算从输入单元511输入的当前帧与其通过预测单元513预测的参考帧之间的有噪残差信号。去噪滤波器530对残差计算单元512计算的有噪残差信号进行缩放与平移，以得到当前帧的真实视频信号的最优估计信号与其参考帧之间的残差信号，并将该残差信号发送给变换单元515。变换单元515、量化单元516和熵编码单元517分别对从去噪滤波器530接收的残差信号进行变换、量化和熵编码。编码输出单元519将从熵编码单元517接收的变换系数与解码所需信息一起组成压缩码流以供输出，其中，解码所需信息包括，例如上述示例中的噪声分量的方差σ_k ²。同时，重构单元518对量化后的变化系数进行反量化和反变换，以得到重构的残差信号，并将该残差信号与参考帧存储单元514中存储的当前帧的参考帧相加得到重构的视频帧，作为下一帧的参考帧。具体操作与图2所示编码方法中的相应步骤相同，因此省略其描述。

在解码器520中，熵解码单元521、反量化单元522和反变换单元523分别对编码端输出的压缩码流进行熵解码、反量化和反变换，得到重构的残差信号。噪声恢复处理器526对重构的残差信号进行反缩放与反平移，以得到全部或部分恢复的有噪残差信号，并将该残差信号发送给解码输出单元525。解码输出单元525将该残差信号与当前帧的参考帧相加得到噪声恢复的视频信号。具体操作与图4所示解码方法中的相应步骤相同，因此省略其描述。

参照图6，根据本发明的另一视频编解码系统与图5所示系统的不同之处在于，去噪滤波器530位于变化单元515和量化单元516之间。此时，首先由变换单元515对残差计算单元512计算的残差进行变换，得到变换系数，然后，去噪滤波器530对变换系数进行缩放与平移，得到新的变换系数，量化单元对这些新的变换系数进行量化。具体操作与图3所示编码方法中的相应步骤相同，因此省略其描述。

从图5和图6可看出，编码器510中的输入单元511、残差计算单元512、预测单元513、参考帧存储单元514、变换单元515、量化单元516、熵编码单元517、重构单元518和编码输出单元519是公知的标准视频编码系统的一种示意性实现，解码器520中的熵解码单元521、反量化单元522、反变换单元523、参考帧缓存单元524和解码输出单元525是公知的标准视频解码系统的一种示意性实现。根据本发明方法构造的去噪滤波器530可集成到标准视频编码系统或者其类似系统中，噪声恢复处理器526可集成到标准视频解码系统或者其类似系统中，并且去噪滤波器530和噪声恢复处理器526所引入的额外负担非常小。

同样，如上所述，编码器510的输入信号可以是一帧视频信号，还可以是一场或一块视频信号。而外，除了视频信号之外，编码端的输入信号也可以是音频或声音信号，并且一个信号片段可以是较长的一帧或较短的一帧，帧与帧间可以是相互重叠或者不重叠。在编码器输入这些信号的情况下，仅需根据实际应用在相应部分作简单修改即可。这里所述变换可以是离散余弦变换、离散正弦变换、哈德曼变换和KL变换等已知变换中的任何一种，所述量化可以是矢量量化、标量量化和包含死区的变量均匀量化中的任何一种。

以下将通过实验来说明本发明的技术效果。在该实验中，分别利用H.264编解码器和嵌入本发明的去噪滤波器和噪声恢复处理器的H.264编解码器对视频序列cyclist和rolling_Tomatoes进行编码，并对它们的RD性能进行比较。从图7a和图7b中的曲线图可看出，本发明的RD性能优于标准H.264编解码器，BDBitrate降低了10％-20％。

此外，图8a-8c分别是含有胶片颗粒噪声的视频序列rolling_tomatoes中的原始视频帧、利用嵌入去噪滤波器的编码器编码的重构视频帧和利用嵌入噪声恢复处理器的解码器恢复的重构视频帧。从图8b可看出，利用本发明的去噪滤波器，有效地去除了胶片颗粒噪声，从而提高了编码效率。从图8c可看出，本发明有效地恢复了图8a中所含有的原始胶片颗粒噪声。

从以上描述可看出，本发明的主要技术效果在于：

1.编码端通过去噪处理，有效地去除了噪声，从而提高了编码效率；

2.由于去除噪声过程与恢复噪声过程可逆，因此，可恢复原始的真实噪声，从而改进了主观视频质量；

3.仅涉及简单的残差或其变换系数的缩放与平移操作，其中仅需要计算少数几个参数和传输一个参数，引入的额外负担小；

4.去噪滤波器和噪声恢复处理器或者其去噪处理和噪声恢复处理可容易地集成到标准视频编解码系统中。

以上已参照实施例对本发明进行了详细描述，但是，应该理解，本发明并不限于以上所公开的特定实施例，任何本领域的技术人员在此基础之上容易想到的修改和变型都应包括在本发明的保护范围内。

Claims (18)

1.一种恢复噪声的视频编解码方法，包括：

在编码端执行去除噪声的视频编码方法；

在解码端执行恢复噪声的视频解码方法；

其中，所述去除噪声的视频编码方法包括以下步骤：

计算作为输入信号的当前帧与其参考帧之间的有噪残差信号；

对有噪残差信号或者其变换系数进行缩放与平移，以得到当前帧的真实视频信号的最优估计信号与其参考帧之间的残差信号；

对经过缩放与平移得到的残差信号进行变换、量化和熵编码或者对经过缩放与平移得到的变换系数进行量化和熵编码，组成压缩码流以供输出，同时对量化后的变换系数进行反量化和反变换，以得到重构的残差信号，并将该残差信号与参考帧相加得到重构帧，作为下一帧的参考帧；

其中，所述恢复噪声的视频解码方法包括以下步骤：

对编码端输出的压缩码流进行熵解码、反量化和反变换，得到重构的残差信号；

对重构的残差信号进行反缩放与反平移，以得到全部或部分恢复的有噪残差信号；

将得到的有噪残差信号与当前帧的参考帧相加得到噪声全部或部分恢复的视频信号。

2.根据权利要求1所述的视频编解码方法，其特征在于，根据以下公式得到所述最优估计信号：

${\tilde{X}}_k={\mathrm{\ω}}_1{\tilde{X}}_{k-1}+{\mathrm{\ω}}_2{Y}_k+d$

其中，k为帧号，

为去噪的第k帧，即为第k帧的真实视频信号的最优估计信号，

为第k帧的参考帧，Y_k为观察到的第k帧，ω₁和ω₂分别为权重值，d为用来保证无偏差估计的常数。

3.根据权利要求2所述的视频编解码方法，其特征在于，根据正交原则，ω₁、ω₂和d的最优值分别为：

${\mathrm{\ω}}_1=\frac{{\mathrm{\σ}}_k^2}{{\mathrm{\σ}}_{r_k}^2+{\mathrm{\σ}}_k^2}$

${\mathrm{\ω}}_2=\frac{{\mathrm{\σ}}_{r_k}^2}{{\mathrm{\σ}}_{r_k}^2+{\mathrm{\σ}}_k^2}$

$d={\mathrm{\ω}}_1{\stackrel{\‾}{r}}_k$

其中，σ_k ²为第k帧的噪声分量的方差，

和

分别为第k帧与其参考帧的真实视频信号之间的残差信号的均值和方差。

4.根据权利要求3所述的视频编解码方法，其特征在于，根据以下公式对有噪残差信号进行缩放和平移：

r′_n，k＝μr_n，k+v

μ＝ω₂

$v={\mathrm{\ω}}_1{\stackrel{\‾}{r}}_k$

其中，r_n，k为有噪残差信号，r′_n，k为r_n，k经过缩放和平移后得到的新的残差信号，μ为缩放因子，v为平移因子。

5.根据权利要求3所述的视频编解码方法，其特征在于，通过以下方式对变换系数进行缩放与平移，即，将变换系数中的直流系数减去

并将所有变换系数乘以ω₂。

6.根据权利要求4或5所述的视频编解码方法，其特征在于，根据以下公式对重构的残差信号进行反缩放和反平移：

r′_d，k＝λr_d，k+θ

$\mathrm{\λ}=\frac{1}{{\mathrm{\ω}}_2}$

$\mathrm{\θ}=-\frac{{\mathrm{\ω}}_1{\stackrel{\‾}{r}}_k}{{\mathrm{\ω}}_2}$

其中，r_d，k为解码端重构的残差信号，r′_d，k为r_d，k经过反缩放和反平移后得到的新的残差信号，λ为反缩放因子，θ为反平移因子。

7.根据权利要求1所述的视频编解码方法，其特征在于，所述缩放与平移操作、反缩放与反平移操作为非线性操作。

8.根据权利要求1所述的视频编解码方法，其特征在于，所述缩放与平移操作、反缩放与反平移操作为标量或矢量操作。

9.根据权利要求1所述的视频编解码方法，其特征在于，所述输入信号为一场或一块视频信号或者音频或声音信号，并且一个信号片段的帧长度不限，帧与帧间相互重叠或者不重叠。

10.一种恢复噪声的视频编解码系统，包括编码器和解码器，编码器包括输入单元、残差计算单元、预测单元、参考帧缓存单元、变换单元、量化单元、熵编码单元、重构单元、编码输出单元，解码器包括熵解码单元、反量化单元、反变换单元、参考帧缓存单元和解码输出单元，其特征在于，

所述编码器还包括去噪滤波器，其用于对作为输入信号的当前帧与其参考帧之间的有噪残差信号或者其变换系数进行缩放与平移，以得到当前帧的真实视频信号的最优估计信号与其参考帧之间的残差信号，并将经过缩放与平移得到的残差信号发送给变换单元或者将经过缩放与平移得到的变换系数发送给量化单元；

所述解码器还包括噪声恢复处理器，其用于对重构的残差信号进行反缩放与反平移，以得到全部或部分恢复的有噪残差信号，并将该残差信号发送给输出单元，输出单元将该残差信号与当前帧的参考帧相加得到噪声全部或部分恢复的视频信号。

11.根据权利要求10所述的视频编解码系统，其特征在于，根据以下公式得到所述最优估计信号：

${\tilde{X}}_k={\mathrm{\ω}}_1{\tilde{X}}_{k-1}+{\mathrm{\ω}}_2{Y}_k+d$

其中，k为帧号，为去噪的第k帧，即为第k帧的真实视频信号的最优估计信号，

为第k帧的参考帧，Y_k为观察到的第k帧，ω₁和ω₂分别为权重值，d为用来保证无偏差估计的常数。

12.根据权利要求11所述的视频编解码系统，其特征在于，根据正交原则，ω₁、ω₂和d的最优值分别为：

${\mathrm{\ω}}_1=\frac{{\mathrm{\σ}}_k^2}{{\mathrm{\σ}}_{r_k}^2+{\mathrm{\σ}}_k^2}$

${\mathrm{\ω}}_2=\frac{{\mathrm{\σ}}_{r_k}^2}{{\mathrm{\σ}}_{r_k}^2+{\mathrm{\σ}}_k^2}$

$d={\mathrm{\ω}}_1{\stackrel{\‾}{r}}_k$

其中，σ_k ²为第k帧的噪声分量的方差，和

分别为第k帧与其参考帧的真实视频信号之间的残差信号的均值和方差。

13.根据权利要求12所述的视频编解码系统，其特征在于，根据以下公式对有噪残差信号进行缩放和平移：

r′_n，k＝μr_n，k+v

μ＝ω₂

$v={\mathrm{\ω}}_1{\stackrel{\‾}{r}}_k$

其中，r_n，k为有噪残差信号，r′_n，k为r_n，k经过缩放和平移后得到的新的残差信号，μ为缩放因子，v为平移因子。

14.根据权利要求12所述的视频编解码系统，其特征在于，通过以下方式对变换系数进行缩放与平移，即，将变换系数中的直流系数减去

并将所有变换系数乘以ω₂。

15.根据权利要求13或14所述的视频编解码系统，其特征在于，根据以下公式对重构的残差信号进行反缩放和反平移：

r′_d，k＝λr_d，k+θ

$\mathrm{\λ}=\frac{1}{{\mathrm{\ω}}_2}$

$\mathrm{\θ}=-\frac{{\mathrm{\ω}}_1{\stackrel{\‾}{r}}_k}{{\mathrm{\ω}}_2}$

其中，r_d，k为解码端重构的残差信号，r′_d，k为r_d，k经过反缩放和反平移后得到的新的残差信号，λ为反缩放因子，θ为反平移因子。

16.根据权利要求10所述的视频编解码系统，其特征在于，所述缩放与平移操作、反缩放与反平移操作为非线性操作。

17.根据权利要求10所述的视频编解码系统，其特征在于，所述缩放与平移操作、反缩放与反平移操作为标量或矢量操作。

18.根据权利要求10所述的视频编解码系统，其特征在于，所述输入单元输入的信号为一场或一块视频信号或者音频或声音信号，并且一个信号片段的帧长度不限，帧与帧间相互重叠或者不重叠。

Images