CN100364338C - 估计图像噪声的方法和设备和消除噪声的方法 - Google Patents

Abstract

一种基于运动补偿来估计噪声的方法和设备。该方法包括：估计输入图像的预定大小的当前块的运动矢量；计算与估计的运动矢量对应的块和当前块之间的差；将计算的差和预定阈值比较；根据比较的结果选择性地更新输入图像的噪声估计的噪声估计值；和基于选择性地更新的噪声估计值产生关于噪声的信息。

Description

估计图像噪声的方法和设备和消除噪声的方法

本申请要求于2004年6月16提交到韩国知识产权局的10-2004-0044508韩国专利申请的优先权，该申请完全公开于此，以资参考。

技术领域

本发明涉及一种用于估计噪声的方法和设备，更具体的讲，涉及一种当被噪声失真的图像输入到基于如运动图像专家组(MPEG)-2和MPEG-4的运动补偿(MC)和离散余弦变换(DCT)的视频编码器时估计噪声的方法和设备、以及基于估计的结果来有效地消除噪声的方法。

背景技术

最近已经引入机顶盒，该机顶盒接收模拟地波广播并且使用如MPEG-2或MPEG-4的压缩技术对其编码。然而，输入到接收机的图像通常被通过传输信道的如白高斯噪声的各种类型的噪声失真。

例如，整个图像被如白高斯噪声的各种类型的噪声失真。当这样的图像被完整地压缩时，由于噪声压缩效率被降低。

因此，消除来自视频的噪声的研究已经积极地进行。然而，由于在噪声的量到一定程度被识别的基本假设下实现的传统的噪声消除方法，所以使用各种噪声估计方法。

欧洲专利公开第712554号公开了噪声估计方法的例子。

以下，将参照图1描述传统的噪声消除方法。

图1是传统的噪声估计设备的框图。

该传统的噪声估计设备包括：第一减法器112、帧存储器114、第一绝对值计算器116、第一低通滤波器118、第二低通滤波器120、第二减法器122、第二绝对值计算器124、第三减法器126、第三绝对值计算器128、加法器130和噪声量估计器132。

第一减法器112计算当前输入图像和与当前输入图像相邻的图像之间的差，并且将其存储在帧存储器114中。计算出的两个相邻图像之间的差被输入到第一绝对值计算器116。第一绝对值计算器116将计算的绝对值输入到第三减法器126。

第二减法器122计算通过第一低通滤波器118的当前输入图像和通过第二低通滤波器120的相邻图像之间的差。计算出的两个低通滤波后的图像之间的差被输入到第二绝对值计算器124。第二绝对值计算器124将计算的绝对值输入到第三减法器126。

第三减法器126计算第一绝对值计算器116计算的绝对值和第二绝对值计算器124计算的绝对值之间的差，并且将计算的差输入到第三绝对值计算器128。第三绝对值计算器128计算第三减法器126计算的差的绝对值，并将计算的绝对值输出到加法器130。

加法器130以帧为单位将从第三绝对值计算器128输出的计算的绝对值相加。

噪声量估计器132基于加法器130相加的结果确定包括在输入图像中的噪声的量。

如果以帧为单位相加的结果大，则传统的噪声估计设备确定输入图像中存在很多噪声。如果相加的结果小，则传统的噪声估计设备确定输入图像中存在很少噪声。

这样一种基于运动的传统的噪声估计设备能够在显示几乎没有运动的图像中估计噪声，但是在显示很多运动的图像中，加法器130相加的结果由于运动而变得很大。结果，在显示很多运动的图像中，很难估计噪声。

为了解决该问题，提出帧内噪声估计方法。帧内噪声估计方法基于输入图像的平滑区域中的方差近似于噪声的方差的假设来使用如图2所示的两维的高通滤波器来获得输入图像内的平滑块，并且通过计算平滑块的方差来估计噪声。

然而，传统的帧内噪声估计设备在具有较少平滑区域的输入图像，即具有复杂组织的输入图像中估计噪声具有困难。

发明内容

本发明的目的在于提供一种用于估计噪声的设备和方法，其中，噪声使用运动信息被有效地估计同时改进了传统的噪声估计方法，并提供了一种在其上记录用于执行该方法的程序的记录介质。

本发明还提供了一种通过使用估计噪声的方法来消除噪声的方法和一种在其上记录用于执行该方法的程序的记录介质。

本发明还提供了一种使用估计噪声的方法来编码视频的方法和一种在其上记录用于执行该方法的程序的记录介质。

根据本发明的一方面，提供了一种估计输入图像的噪声的方法，该方法包括：估计输入图像的预定大小的当前块的运动矢量；计算与估计的运动矢量对应的块和当前块之间的差；将计算的差和预定阈值比较；根据比较的结果选择性地更新输入图像的噪声估计的噪声估计值；基于选择性地更新的噪声估计值产生关于噪声的信息。

根据本发明的另一方面，提供一种估计和消除输入图像的噪声的方法，该方法包括：估计输入图像的预定大小的当前块的运动矢量；计算与估计的运动矢量对应的块和当前块之间的差；比较计算的差和预定阈值；基于比较多结果来选择性地更新输入图像的噪声估计的噪声估计值；基于选择性地更新的噪声估计值来执行滤波用于消除输入图像的噪声。

根据本发明的另一方面，提供一种对视频编码的方法，该方法包括：估计输入图像的预定大小的当前块的运动矢量；计算与估计的运动矢量对应的块和当前块之间的差；比较计算的差和预定阈值；根据比较的结果来选择性地更新输入图像的噪声估计的噪声估计值；基于更新的噪音估计值来确定修改的量化加权矩阵；对输入图像执行离散余弦变换；和使用在确定修改的量化加权矩阵中确定的修改的量化加权矩阵来量化离散余弦变换的输入图像。

根据本发明的另一方面，提供一种用于估计输入图像的噪声的设备，该设备包括：运动估计单元，用于估计输入图像的预定大小的当前块的运动矢量，并计算与估计的运动矢量对应的块和当前块之间的差；比较单元，用于比较计算的差和预定阈值；和噪声计算单元，用于根据比较的结果来选择性地更新输入图像的噪声估计的噪声估计值，并且基于选择性地更新的噪声估计值来产生关于噪声的信息。

附图说明

下面通过结合附图对其示例性实施例进行的详细描述，本发明的上述和其他特点和优点将会变得更加清楚，其中：

图1是传统的噪声估计设备的框图；

图2显示了在传统的帧内噪声估计方法中使用的两维高通滤波器；

图3是根据本发明的用于估计噪声的设备的框图；

图4A和图4B是用于解释多分辨率运动估计的示图；

图5是示出根据本发明实施例的估计噪声的方法的流程图；

图6显示了其中根据本发明的用于估计噪声的设备被实现的例子；

图7是一般MPEG视频编码器的框图；

图8是根据本发明实施例的改进的视频编码器的框图；和

图9是根据本发明另一实施例的改进的视频编码器的框图。

具体实施方式

以下，将参照图3、图4A和4B描述根据本发明的估计噪声的方法。

图3是根据本发明的用于估计噪声的设备的框图。

该用于估计噪声的设备包括：运动估计和补偿单元310、比较单元320、方差计算单元330、相加单元340、和噪声估计单元350。选择性的，用于估计噪声的设备还可以包括阈值计算单元360。

相对于当前帧中位置(i，j)上的块，运动估计和补偿单元310使用如图4A和4B所示的多分辨率运动估计来检测原始分辨率帧水平L0上的运动矢量MV_L0和低分辨率帧水平L1上的运动矢量MV_L1。在本实施例中，运动矢量检测使用多分辨率运动估计，但是可以选择性地使用一般在传统的视频编码器中使用的运动估计。

如图4A所示，例如，当前帧被分为N×N(N＝16)非重叠块并且对于每一块执行运动估计。在多分辨率运动估计中，以L级执行运动估计。然而，在本实施例中，L等于2。在本实施例中，L0表示图4A中的原始分辨率级并且L1表示图4B中的低分辨率级。

在本实施例中，以像素为单位对低分辨率图像执行低通滤波。例如，对于低通滤波，使用2×2平均滤波器。考虑到计算量，可执行更精细的低通滤波，或者可选择性地，可使用子采样而不进行低通滤波来获得低分辨率图像。或者，可仅执行低通滤波而不进行子采样以获得低分辨率图像。

在L0上的帧使用多分辨率运动估计被水平和垂直地1∶2子采样，并且每8×8块的运动矢量在L1上被计算。这里，通过减少检测区的大小，运动矢量在低分辨率水平被计算以减少计算运动矢量所需的计算量。

此外，在原始分辨率帧水平L0上，对应于每个8×8块的每16×16块的运动矢量通过使用在低分辨率帧水平L1上获得的运动矢量而被计算。

同样地，在多分辨率运动估计中，运动矢量检测首先在低分辨率帧水平L1上被执行以获得MV_L1，并且局部检测在原始分辨率帧水平L0上在小的区域内通过使用获得的运动矢量MV_L1而被执行。

当在L0的运动矢量是MV_L0时，MV_L0由

${\mathrm{MV}}_{L0}=\arg \underset{-S\≤p,q\≤S}{\min }\underset{m=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}|F_n(i+m,j+n)-F_{n-1}(i+m+p,j+n+q)|$ (1)给出，其中，F_n(i，j)表示在当前帧(第n帧)内位置(i，j)上的像素，即，如图4A所示的当前块内标记有粗线的像素，此外，[-S，S]表示运动矢量在其中被检测的检测区，F_n-1(i，j)表示在先前帧(第n-1帧)中位置(i，j)上的像素，并且每一块具有N×N的大小。

比较单元320将平均绝对差(MAD)，即，在L0上获得的对应例如第k块的预定块的运动矢量MV_L0的MAD_L0与预定阈值T比较，以确定运动估计和补偿是否被很好地执行，并且将确定的结果发送到相加单元340。换句话说，当在L0上获得的当前块的MAD_L0小于阈值T时，比较单元320确定运动估计和补偿在当前块上很好地被执行。

方差计算单元330计算对应于当前块的运动补偿的块的方差σ² _min。

当与在例如第k块的当前块的L0上获得的运动矢量MV_L0对应的MAD_L0小于该阈值T时，相加单元340将第k块的方差加到当前帧的所有先前块的方差总和，即，误差估计值SUM_noise中。在本实施例中，误差估计值SUM_noise在当前帧的开始点被初始化为0。换句话说，当k等于0时，SUM_noise等于0。相加单元340如下计算误差估计值SUM_noise：

SUM_noise＝SUM_noise+σ² _min    .....................................(2)

在本实施例中，误差估计值SUM_noise可使用方程2计算，但是选择性地可如下计算：

SUM_noise＝SUM_noise+max{σ² _min-α，0}  ......................................(3)

其中，α是用于运动补偿没有被正确执行时的情况的补偿值。此时，由于σ² _min-α可能是负数，所以选择大于0的σ² _min-α。α基于每一块运动补偿的程度自适应地变化。在本实施例中，如方程4所示，补偿值α通过使用与在L1上获得的运动矢量MV_L1对应的MAD_L1被获得。

α＝(MAD_L1)²         ....................................................(4)

因为低分辨率图像的误差通过低通滤波被大量消除，所以使用在L1上获得的MAD_L1。然而，补偿值α可以通过使用其它MAD和方差被计算。

对当前帧的全部块完成运动估计和补偿后，噪声估计单元350通过使用由相加单元340计算的误差估计值SUM_noise来计算当前帧的噪声方差σ² _noise，如下：

${{\mathrm{\σ}}^2}_{\mathrm{noise}}=\frac{{\mathrm{SUM}}_{\mathrm{noise}}}{N{\mathrm{um}}_{\mathrm{block}}}...\left(5\right)$

其中，Num_block表示块的数量，其中，这些块在MAD_L0小于该阈值T的当前帧的块中。噪声估计单元350基于通过使用由方程5计算的当前帧的噪声方差σ² _noise来估计当前帧的噪声的强度。

由噪声估计单元350计算的当前帧的噪声方差σ² _noise用于消除下一帧的噪声。这种下一帧的噪声的消除将在随后详细描述。

选择性地，用于估计噪声的设备还可包括阈值计算单元360。根据本发明实施例的该阈值计算单元360根据每一帧的特性对每一帧更新。例如，阈值T被如下计算：

T＝min_k(MAD_L0[k])+ε    ...........................................(6)

其中，MAD_L0[k]是当前帧的第k块的MAD_L0，并且ε是作为常量的预定值。如方程6所示，该阈值T通过将用于当前帧的MAD_L0中的最小值加给预定值而获得。对当前帧计算的该阈值T被用于下一帧。

图5是示出根据本发明实施例的估计噪声的方法的流程图。

在操作步骤510中，如图4A和4B所示，使用多分辨率运动估计来计算当前帧中位置(i，j)上的块的原始分辨率帧水平上的运动矢量MV_L0和低分辨率帧水平上的运动矢量MV_L1，并且计算对应的MAD_L0和MAD_L1。

在操作步骤520中，在L0上获得的与例如第k块的当前块的运动矢量MV_L0对应的MAD_L0与预定阈值T比较，并且确定运动估计和补偿是否被很好地执行。

在操作步骤530中，计算与当前块的运动补偿的块对应的方差σ² _min

在操作步骤540中，根据操作步骤520中的比较的结果，当例如第k块的当前块的MAD_L0小于该阈值T时，使用方程4将第k块的方差加到当前帧的所有先前块的方差总和，即，误差估计值SUM_noise中。

在操作步骤550中，确定当前块是否是当前帧的最后块。如果当前块是当前帧的最后块，则处理转向操作步骤560。如果当前块不是当前帧的最后块，则操作步骤510至540被重复以用于下一块。

在操作步骤560中，通过使用方程5来计算当前帧的噪声方差σ² _noise，并且估计当前帧的噪声强度。

图6显示了其中根据本发明示例性实施例的噪声估计单元610被实现的例子。

噪声估计单元610估计包括在根据图3的实施例的输入图像中的噪声的量，并且将关于估计的噪声量的信息输出到预处理单元620。

基于关于估计的噪声量的输入信息，预处理单元620对输入图像执行一般噪声消除滤波。

视频编码器630与以一般视频编码器相同的方式操作，并且为了说明简洁，该视频编码器630的具体操作将不描述。

图7是一般MPEG视频编码器的框图。

对于视频点播(VOD)服务或者视频通信，MPEG视频编码器产生使用压缩技术编码的比特流。

首先，为了移除空间相关性，离散余弦变换(DCT)单元710对以8x8像素块为单位输入的视频数据执行DCT操作。量化(Q)单元720量化从DCT单元710获得的DCT系数，并且表示几个代表性的值，因此，实现了高效率低损失压缩。

逆量化(IQ)单元730逆量化由量化单元720量化的视频数据。逆离散余弦变换(IDCT)单元740对由IQ单元730逆量化的视频数据执行IDCT。帧存储器单元750以帧为单位存储由IDCT单元740IDCT变换的视频数据。

通过使用输入的当前帧的视频数据和存储在帧存储器单元750中的先前帧的视频数据，运动估计和补偿(ME/MC)单元760估计每宏块的运动矢量(MV)和与匹配误差的块对应的绝对差之和(SAD)。

基于ME/MC单元760估计的MV，可变长度编码(VLC)单元770从DCT变换和量化的数据中移除统计冗余。

图8是根据本发明实施例改进的视频编码器的框图。

使用根据本发明实施例的消除噪声的方法的视频编码器将噪声估计单元880、量化加权矩阵确定单元892和量化加权矩阵存储单元894添加到图7所示的一般视频编码器中。

DCT单元810、IDCT单元840、帧存储器单元850、ME/MC单元860、和VLC单元870以与如图7所示的一般视频编码器相同的方式操作，并且为了说明简洁，它们的具体操作将不描述。

噪声估计单元880估计包括在根据图3实施例的输入图像中的噪声的量，并且将关于估计的噪声量的信息输出到量化加权矩阵确定单元892。

量化加权矩阵确定单元892基于关于从噪声估计单元880发送的估计的噪声量的信息来确定量化加权矩阵，并且将确定的量化加权矩阵的索引发送到量化加权矩阵存储单元894。在本实施例中，量化加权矩阵确定单元892基于关于从噪声估计单元880发送的估计的噪声量的信息来确定量化加权矩阵，但是选择性地，可以基于由ME/MC单元860以宏块为单位计算的方差来执行该确定。

在本实施例中，根据包括在输入图像中的噪声的量，被分类的5个量化加权矩阵存储在量化加权矩阵存储单元894中。

通过使用关于从噪声估计单元880输入的估计的噪声量的信息，量化加权矩阵确定单元892将确定的量化加权矩阵的索引发送到量化加权矩阵确定单元892。当存储在量化加权矩阵存储单元894中的量化加权矩阵被分为5个类型时，索引是0、1、2、3和4其中之一。

量化加权矩阵存储单元894基于从量化加权矩阵确定单元892发送的确定的量化加权矩阵的索引来选择对应的量化加权矩阵，并且将选择的量化加权矩阵发送到量化单元820。

量化单元820通过使用输入的量化加权矩阵来执行量化。

基于原始默认的量化加权矩阵，IQ单元830执行逆量化。

此外，新的量化加权矩阵可由用户确定。在本实施例中，显示了在DCT域中输入图像块的Y分量的噪声消除。

然而，用于消除噪声的相同的设备可被用于消除U和V分量。此时，需要用于消除U和V分量的单独的加权矩阵。

图9是根据本发明另一实施例的改进的视频编码器的框图。

使用根据本发明另一实施例的消除噪声的方法的视频编码器将噪声估计单元980和修改的量化加权矩阵产生单元990添加到图7的一般视频编码器中。

DCT单元910、IDCT单元940、帧存储器单元950、ME/MC单元960、和VLC单元970以与图7中所示的一般视频编码器相同的方式操作，并且为了说明简洁，它们的具体操作将不描还。

噪声估计单元980估计包括在根据图3实施例的输入图像中的噪声的量，并且将关于估计的噪声量的信息输出到修改的量化加权矩阵产生单元990。

基于关于从噪声估计单元980发送的估计的噪声量的信息，修改的量化加权矩阵产生单元990产生修改的量化加权矩阵，并且将产生的修改的量化加权矩阵发送到量化单元920。在本实施例中，基于关于从噪声估计单元980发送的估计的噪声量的信息，修改的量化加权矩阵产生单元990确定修改的量化加权矩阵，但是选择性地，ME/MC单元960可以基于以宏块为单位计算的宏块方差来执行该确定。

基于从修改的量化加权矩阵产生单元990发送的修改的量化加权矩阵，量化单元920执行量化。

基于原始默认量化加权矩阵，IQ单元930执行逆量化。

本发明不限于以上描述的实施例，并且本领域的普通技术人员应该理解，可对其进行各种形式和细节上的改变。具体地，本发明可应用于如MPEG-1、MPEG-2和MPEG-4的各种视频编码设备和方法。

如上所述，用于使用根据本发明示例性实施例的运动补偿来估计噪声的设备和方法基于预定标准选择性地更新用于输入图像的噪声估计的噪声估计值，因此，提高了输入图像的噪声估计的准确性。此外，采用根据本发明的估计噪声的方法来消除噪声的方法可有效地消除输入图像的噪声，因此，通过使用采用根据本发明的估计噪声的方法来编码视频的方法，可更有效地消除噪声。

本发明可被实施计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储由计算机系统随后读取的数据的任何数据存储装置。计算机可读记录介质的例子包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁盘、软盘、光学数据存储介质和载波。计算机可读记录介质也可分布在连接计算机系统的网络上，从而该计算机可读代码以分布的方式被存储并被执行。

虽然本发明已经参照其示例性实施例被具体显示和描述，但是本领域普通技术人员应该理解，在不脱离由所附权利要求限定的本发明的精神和范围的情况下，可对其进行各种形式和细节上的改变。

Claims (12)

1.一种估计输入图像的噪声的方法，该方法包括：

(a)估计输入图像的预定大小的当前块的运动矢量；

(b)计算与估计的运动矢量对应的块和当前块之间的差；

(c)将计算的差和预定阈值比较；

(d)当计算的差小于预定阈值时，通过将当前块的方差加给噪声估计值或者将从计算的差中减去预定运动补偿值的结果加给噪声估计值来更新噪声估计值；和

(e)基于选择性地更新的噪声估计值产生关于噪声的信息。

2.如权利要求1所述的方法，其中，计算的差是当前块的平均绝对差。

3.如权利要求1所述的方法，其中，噪声估计值是当前帧中的当前块的所有先前块的方差总和，其中，先前块由操作步骤(a)至操作步骤(d)处理，并且具有计算出的小于预定阈值的差。

4.如权利要求3所述的方法，其中，操作步骤(a)包括估计在低分辨率图像上的运动矢量并且使用低分辨率图像的估计的运动矢量来估计在原始分辨率图像上的运动矢量，并且低分辨率图像通过低通滤波获得。

5.如权利要求1所述的方法，其中，操作步骤(e)包括：

(e1)确定当前块是否是当前帧的最后块；和

(e2)当当前块是当前帧的最后块时，基于噪声估计值和具有计算出的小于预定阈值的差的当前帧的块的数量来产生关于噪声的信息。

6.一种估计和消除输入图像的噪声的方法，该方法包括：

(a)估计输入图像的预定大小的当前块的运动矢量；

(b)计算与估计的运动矢量对应的块和当前块之间的差；

(c)比较计算的差和预定阈值；

(d)当计算的差小于预定阈值时，通过将当前块的方差加给噪声估计值或者将从计算的差中减去预定运动补偿值的结果加给噪声估计值来更新噪声估计值；和

(e)基于选择性地更新的噪声估计值来执行滤波以用于消除输入图像的噪声。

7.如权利要求6所述的方法，其中，噪声估计值是当前帧中的当前块的所有先前块的方差总和，其中，先前块由操作步骤(a)至操作步骤(d)处理，并且具有计算出的小于预定阈值的差。

8.一种视频编码的方法，该方法包括：

(a)估计输入图像的预定大小的当前块的运动矢量；

(b)计算与估计的运动矢量对应的块和当前块之间的差；

(c)比较计算的差和预定阈值；

(d)当计算的差小于预定阈值时，通过将当前块的方差加给噪声估计值或者将从计算的差中减去预定运动补偿值的结果加给噪声估计值来更新噪声估计值；

(e)基于更新的噪声估计值来确定修改的量化加权矩阵；

(f)对输入图像执行离散余弦变换；和

(g)使用修改的量化加权矩阵来量化离散余弦变换的输入图像。

9.如权利要求8所述的方法，其中，噪声估计值是当帧中的当前块的所有先前块的方差总和，其中，先前块由操作步骤(a)至操作步骤(d)处理，并且具有计算出的小于预定阈值的差。

10.如权利要求9所述的方法，其中，操作步骤(d)包括：确定当前块是否是当前帧的最后块；和当当前块是当前帧的最后块时，基于噪声估计值和具有计算出的小于预定阈值的差的当前帧的块的数量来产生关于噪声的信息。

11.如权利要求8所述的方法，其中，在操作步骤(e)中，选择根据输入图像的噪声的量分类的多个修改的量化加权矩阵中的一个。

12.一种用于估计输入图像的噪声的设备，该设备包括：

运动估计单元，用于估计输入图像的预定大小的当前块的运动矢量，并计算与估计的运动矢量对应的块和当前块之间的差；

比较单元，用于比较计算的差和预定阈值；和

噪声计算单元，当计算的差小于预定阈值时，通过将当前块的方差加给噪声估计值或者将从计算的差中减去预定运动补偿值的结果加给噪声估计值来更新噪声估计值，并且基于更新的噪声估计值来产生关于噪声的信息。

Images