CN102742271B

CN102742271B - 在使用离散余弦变换的图像压缩中检测量化噪声的伪影

Info

Publication number: CN102742271B
Application number: CN200980163365.3A
Authority: CN
Inventors: A·M·图尔利科沃; M·吉利穆季诺夫; A·韦谢洛夫
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2009-12-01
Filing date: 2009-12-01
Publication date: 2016-06-15
Anticipated expiration: 2029-12-01
Also published as: WO2011068429A1; US9131246B2; US20120236932A1; CN102742271A

Abstract

可以通过开发一组模板来检测基于离散余弦变换的解码器的输出中的伪影。计算重构图像中的每一个块内的平均亮度（34）。在每一个块内确定每一个像素值与平均输出亮度的差（36）。然后，在每一个块内将该差与模板中的一个相乘，并且然后对乘法的结果进行求和以获得计算结果（38）。然后，将计算结果与阈值进行比较以检测诸如环状伪影或飞蚊噪声伪影之类的伪影（40）。

Description

在使用离散余弦变换的图像压缩中检测量化噪声的伪影

技术领域

概括地说，本申请涉及使用离散余弦变换（DCT）对包括静止图像和视频图像的图像进行压缩。更具体地说，本申请通常涉及检测由于离散余弦变换系数的量化的有损特性引起的伪影。

背景技术

传统的基于离散余弦变换的视频编码器将每一帧划分为称作宏块的非重叠正方形。可以用帧内模式或帧间模式来处理每一个宏块。在帧内模式中，编码器仅使用当前帧的重构数据。在帧间模式中，编码器也使用来自先前处理的帧的数据。

用术语“预测误差”来表示在帧内模式和帧间模式中获得的数据。应当将预测误差划分为W*W的块以用于进一步的离散余弦变换和变换系数量化。W的典型值是8。使用应用于去量化的离散DCT系数的离散余弦逆变换来恢复数据。应用量化-去量化过程导致数据丢失。因此，原始数据与重构数据之间的差将称作“量化噪声”。量化噪声导致称作“伪影”的特定视觉误差。在伪影当中有块状、环状伪影以及飞蚊噪声（mosquitonoise），其中块状、环状伪影是块中的竖线和横线，飞蚊噪声看起来像重构图像的强边缘周围的一团昆虫。

附图说明

图1示出了可以在本发明的一个实施例中使用的所有模板；

图2是本发明的一个实施例的流程图；

图3是一个实施例的示意图；以及

图4是计算机实现的实施例的示意图。

具体实施方式

根据本发明的一些实施例，可以从解码器的输出来检测伪影。在一些实施例中，可以检测到的伪影包括环状伪影和飞蚊噪声。

针对每一个伪影类，即，环状伪影或飞蚊噪声伪影，确定一组模板。图1中示出了根据一个实施例的一组模板。如所指示的，其包括用于环状伪影的模板和用于飞蚊伪影的模板。未使用模板12。

在一个实施例中，每一个模板具有的大小为8x8。模板系数具有仅包括-1（黑色元素）和+1（白色元素）的值集合。在一个实施例中，用于所有类的模板的总数可以是63。模板用于伪影类的确定。

因此，参照图2，基于DCT的解码器16的输出可以包括需要检测的伪影。在一个实施例中，将解压缩的输出帧变换为YCbCr格式，这是因为很多视频编码器和解码器使用该图像格式进行操作。在下面的讨论中，对Y、Cb和Cr色彩分量进行独立地处理。然而，在一些实施例中，可以不使用单独的处理。因此，在一个实施例中，针对当前帧中的关于每一个色彩分量的每一个8x8块使用下面的过程（方框20）。因此，在一个实施例中，变换器18将该色彩空间变换为YCbCr色彩空间。

接下来，在方框22中，计算平均亮度值。以如下方式计算当前块的平均值“A”：

A = \frac{1}{64} Σ_{i = 0}^{7} Σ_{j = 0}^{7} p_{i, j}

其中，p_i，j是考虑之中的块内的坐标为i,j的像素的亮度值。

接下来，在方框24中，以如下方式计算块中的每一个像素的亮度与平均值的差：

{\tilde{p}}_{i, j} = p_{i, j} - A

然后，在方框26中，针对每一个模板T^k计算2D标量乘法，并且对结果进行求和：

T^{k} = Σ_{i = 0}^{7} Σ_{j = 0}^{7} {\tilde{p}}_{i, j} * t_{i, j}^{k}

因此，在一个实施例中，使用模板值计算每一个模板的度量，其中，模板值在图1中被定义为“1”（白色元素）或“-1”（黑色元素）。

最后，在方框28中，在比较器中将方框26中的2D标量乘法的结果与阈值thr进行比较。换言之，将在方框26中确定的度量值与阈值进行比较。如果2D标量乘法的结果大于针对该特定模板的阈值，则在块中出现相应的伪影（即，环状伪影或飞蚊噪声伪影）。可以基于经验来以经验为主地确定阈值。

因为模板具有从-1到1的值，因此，针对负模板值可以通过符号改变操作来替换乘法。然后，在一个实施例中，度量计算只需要64个加法和64个以下的符号改变。在一个实施例中，可以针对当前块计算所有度量。因为单独对这些块进行处理，因此在一个实施例中，还可以使用并行处理来同时对这些块进行处理。因为计算出的度量是单个离散余弦变换系数的估计水平，因此其可以用于对该块进行进一步的过滤。

如图3所示，在装置30的变换单元32中将来自基于离散余弦变换的解码器的输出变换到YCbCr空间。在将图像分割成8x8的块以后，在平均值计算器34中计算每一个块的平均值。然后，在差计算器36中计算与块的平均值的差。接下来，标量乘法和求和单元38在每一个块内将该差与模板中的一个相乘并且进行求和以获得计算结果。最后，比较器40将该结果与阈值进行比较以确定伪影类。

在一些实施例中，可以用软件、硬件或固件来实现图2中所示的序列。在软件实现的实施例中，可以用一系列计算机可执行指令来实现该序列，其中所述一系列计算机可执行指令存储在构成计算机可读介质的半导体、光存储器或磁存储器中。

在一个实施例中，用软件实现的在图2中所示的序列指令可以存储在计算机42内，特别是存储在其中的存储器46内，如图4中所示。计算机42可以包括用于执行指令的控制器44。其还可以包括用于存储模板的存储器50。在一些实施例中，解码器接口48可以接收被转换到YCbCr空间的、基于离散变换的解码器的输出，并且可以向控制器44提供该信息。

在一个实施例中，可以使用现场可编程门阵列方案来实现该方法。在一些实施例中，独立的噪声检测可以允许使用快速方法来进行并行的块处理。因此，在一些情况下，可以在低复杂度和高速度的情况下实现本文所描述的技术。在一个实施例中，在最大模板计数是63的情况下，最大的操作计数是针对每一个模板64个加法、32个符号改变。此外，应当使用64个加法和一个右移来进行平均值计算。因此，可以非常经济地完成计算。在一些实施例中，只使用当前帧并且无需使用先前的帧。

可以在多种硬件架构中实现本文描述的图形处理技术。例如，可以将图形功能集成在芯片集中。或者，可以使用分立的图形处理器。作为另一个实施例，可以用包括多核处理器在内的通用处理器来实现图形功能。

贯穿本说明书对“一个实施例”或“实施例”的提及意味着结合实施例所描述的特定特征、结构或特性被包括在涵盖在本发明内的至少一个实现中。因此，短语“一个实施例”或“在实施例中”的出现并不一定指代相同的实施例。此外，可以用除了所示出的特定实施例以外的其它适当的形式来实现所述特定的特征、结构或特性，并且所有这样的形式都可以涵盖在本申请的权利要求中。

虽然已经关于有限数量的实施例描述了本发明，但是本领域技术人员将清楚根据这些实施例的大量修改和变形。旨在使所附权利要求涵盖落入到本发明的真实精神和范围中的所有这样的修改和变形。

Claims

1.一种用于检测伪影的方法，包括：

开发一组用于检测离散余弦变换编码的图像的输出中的伪影的模板；

计算重构的图像中的每一个块内的平均亮度；

在每一个块内确定每一个像素值与所述平均亮度的差；

在每一个块内将所述差与所述模板中的一个相乘，并且进行求和以获得计算结果；以及

将所述计算结果与阈值进行比较以检测伪影。

2.根据权利要求1所述的方法，包括：接收基于离散余弦变换的解码器的输出并且将所述解码器的输出变换到YCbCr空间。

3.根据权利要求2所述的方法，包括：将所述YCbCr空间中的所述解码器的输出变换为8x8大小的块。

4.根据权利要求1所述的方法，包括：开发一组用于飞蚊噪声伪影的模板。

5.根据权利要求1所述的方法，包括：开发一组用于环状伪影的模板。

6.根据权利要求1所述的方法，其中，将所述计算结果与阈值进行比较包括检测环状伪影或飞蚊噪声伪影中的一个。

7.根据权利要求1所述的方法，其中，开发一组模板包括开发描绘为-1和+1的值的模板。

8.根据权利要求7所述的方法，其中，所述为-1的值是用黑色元素实现的，而所述为+1的值是用白色元素实现的。

9.根据权利要求1所述的方法，其中，开发一组模板包括开发一组63个模板。

10.根据权利要求1所述的方法，其中，相乘包括二维标量乘法。

11.一种用于检测伪影的装置，包括：

用于开发一组用于检测离散余弦变换编码的图像的输出中的伪影的模板的模块；

用于计算重构的图像中的每一个块内的平均亮度的模块；

用于在每一个块内确定每一个像素值与所述平均亮度的差的模块；

用于在每一个块内将所述差与所述模板中的一个相乘，并且进行求和以获得计算结果的模块；以及

用于将所述计算结果与阈值进行比较以检测伪影的模块。

12.根据权利要求11所述的装置，还包括用于接收基于离散余弦变换的解码器的输出并且将所述解码器的输出变换到YCbCr色彩空间的模块。

13.根据权利要求12所述的装置，还包括用于将所述YCbCr色彩空间中的所述解码器的输出变换为8x8大小的块的模块。

14.根据权利要求11所述的装置，还包括用于开发一组用于飞蚊噪声伪影的模板的模块。

15.根据权利要求11所述的装置，还包括用于开发一组用于环状伪影的模板的模块。

16.根据权利要求11所述的装置，还包括用于通过将所述计算结果与阈值进行比较来检测环状伪影或飞蚊噪声伪影中的一个的模块。

17.根据权利要求11所述的装置，还包括用于开发描绘为-1和+1的值的模板的模块。

18.根据权利要求17所述的装置，其中，所述为-1的值是用黑色元素实现的，而所述为+1的值是用白色元素实现的。

19.根据权利要求11所述的装置，还包括用于开发一组63个模板的模块。

20.根据权利要求11所述的装置，还包括用于使用二维标量乘法来在所述块内将所述差与所述模板中的一个相乘的模块。

21.一种用于检测伪影的装置，包括：

平均值计算器，其用于计算重构的图像中的每一个块内的平均亮度；

差计算器，其用于在每一个块内确定每一个块与所述平均亮度的差；

标量乘法器，其用于在每一个块内将所述差与一模板相乘，所述模板用于检测离散余弦编码的图像的输出中的伪影；以及

求和器，其用于对所述差与一组模板的乘积进行求和，以获得计算结果；以及

比较器，其用于将所述计算结果与阈值进行比较以检测伪影。

22.根据权利要求21所述的装置，其中，所述平均值计算器、所述差计算器和所述标量乘法器、所述求和器以及所述比较器都是由单个控制器实现的。

23.根据权利要求21所述的装置，其中，所述平均值计算器用于计算YCbCr色彩空间中的平均亮度。

24.根据权利要求21所述的装置，还包括用于将解码器的输出变换为8x8大小的块的模块。

25.根据权利要求21所述的装置，其用于检测飞蚊噪声伪影。

26.根据权利要求21所述的装置，其用于检测环状噪声伪影。

27.根据权利要求21所述的装置，其中，所述标量乘法器是二维标量乘法设备。

28.根据权利要求21所述的装置，包括变换单元，其用于将解码器的输出变换到YCbCr空间。

29.根据权利要求28所述的装置，其中，所述变换单元用于将所述解码器的输出变换为8x8大小的块。

30.根据权利要求21所述的装置，其使用用白色元素和黑色元素表示为-1和+1的值的多个模板。