CN102119400A - 暗噪声伪影检测方法和装置 - Google Patents

Abstract

本发明涉及检测编码图像和视频中的暗噪声伪影。找到压缩后的图像中的伪影位置。确定每个块的伪影强度，以及每个图像的整体暗噪声伪影强度。通过分析有此类伪影倾向的候选区域，执行伪影检测和强度分配。诸如块方差、色彩信息、亮度水平和伪影位置的多个特征可以用于此处理。而且，可以在识别的区域上利用中值滤波来消除隔离的区域。可以根据被归类为暗噪声伪影的块的总数，还有每个宏块的强度，来访问有关每个图像的最终伪影参数。

Description

暗噪声伪影检测方法和装置

发明背景

技术领域

本发明的原理涉及数字图像和视频内容。更特别地，涉及检测数字图像和视频内容中的暗噪声伪影。

背景技术

非实时视频编码应用(例如，DVD制作)以实现来自压缩引擎的图像的最佳可能视觉质量为目标。为此目标，要求压缩人员(即，负责压缩处理的技术人员)查看压缩后的视频，以便识别含伪影的图像。这是手动且主观的处理，它要求大量经验、时间和精力，这影响了生产时间和预算。还由于不同的评估者采用不同的视觉评估标准，所以导致不一致。在常见的实践中，利用微调的编码参数对检测到的图像进行后期处理或重新编码，并且检测到的图像经历进一步的查看。后期处理或重新编码算法可以根据伪影参数和位置对算法参数进行调谐，以便获得更佳图像质量。

关于此点，需要自动伪影检测来促进处理。为了自动识别有问题的场景或片段，找到用于检测压缩伪影的存在的客观度量是必不可少的。在过去广泛地研究了对MPEG-2编码所引起的常见的压缩伪影，例如分块效应、模糊和蚊式噪声的检测。然而，这是未通过诸如峰值信噪比(PSNR)之类传统且被广泛接受的客观度量适当处理的难题。此外，对诸如MPEG-1 AVC或VC-1之类新压缩标准的使用连同新的高清晰度DVD格式以更高的比特率运行这一事实，带来了新的压缩伪影类型。

术语“暗噪声”描述了由这些新的压缩系统引起的一种特定类型的视觉伪影。当在展现出(1)低方差、(2)低强度水平和(3)低饱和度的区域中感知到不自然平坦化块的群集时，称压缩图像含暗噪声伪影。暗噪声伪影可以包括严重的分块效应和/或在感知的色度模式上的变化。

为了有效地支持上述应用，暗噪声伪影检测算法需要提供用于表示伪影严重程度的参数，以便重新编码和后期处理算法可以自动地在项目约束条件内给资源的分配赋予优先级。此外，暗噪声伪影检测算法需要不仅在诸如图像群组或一个图像的全局级上，还在诸如图像内部宏块或块的局部级上提供参数。通过将暗噪声伪影定位到局部级，编码或处理模块可以仅仅调整伪影区域中的编码或处理参数，这在整体比特预算或计算资源受到限制时特别有用。

所以，强烈需要自动检测暗噪声伪影和确定每个块和每个图像的伪影强度的方法和装置。

发明内容

根据本发明的一个方案，提出一种用于检测编码图像和视频中的暗噪声伪影的方法和装置。该方法包括：(i)找到压缩后的图像中的伪影位置，(ii)确定每个块的伪影强度，以及(iii)确定每个图像的整体暗噪声伪影强度。通过分析有此类伪影倾向的候选区域，执行伪影检测和参数分配。诸如块方差、色彩信息、亮度水平和伪影位置之类的多个特征可以用于此处理。在示例性的实施方案中，提出一种暗噪声伪影检测方法，包括以下步骤：根据数字图像中的候选暗噪声伪影区域的至少一个特征来筛选区域；对筛选后的候选区域进行滤波，以消除隔离的伪影区域；向每个候选区域分配暗噪声伪影参数；以及形成候选区域中的像素组的暗噪声伪影参数。

根据本发明的另一个方案，提出一种视频编码器，其包括：暗噪声伪影检测器，该暗噪声伪影检测器被配置成根据数字图像中的候选暗噪声伪影区域的至少一个特征来筛选区域，消除隔离的伪影区域，向每个候选区域分配暗噪声伪影强度，并计算像素组的暗噪声伪影参数。

根据以下结合附图所考虑的详细说明，本发明的其它方案和特征也将变得明显。然而，要理解附图仅仅是被设计成为了举例说明的目的，而不是定义为对本发明的限定，权利要求可以引用其作为参考。还应理解附图不必按比例绘制，除非另有所指，否则附图仅仅是为了从概念上说明本文所述的结构和流程。

附图说明

贯穿视图，附图中相同的参考数字指示相同的组件。

图1是根据本发明原理的实施方案所述的暗噪声伪影检测方法的流程图；

图2是根据本发明原理的实施方案所述的暗噪声伪影检测方法的具体流程图；

图3是根据本发明原理的实施方案所述可以应用暗噪声伪影检测方法的速率控制算法的方框图；以及

图4是根据本发明原理的实施方案所述结合了暗噪声伪影检测方法的预测编码器的方框图。

具体实施方式

本发明的原理提出一种方法和装置，用来(i)找到暗噪声伪影的位置，(ii)确定每个块的暗噪声伪影强度，以及(iii)确定每个图像的整体暗噪声伪影强度。

本发明的原理所描述的暗噪声伪影检测可以包括以下步骤中的一部分或全部步骤。参考图1所示的方法10，通过首先筛选(12)作为目标的一个或多个图像和定位候选暗噪声伪影区域来执行暗噪声伪影检测。将滤波器应用(14)到这些候选区域来消除隔离的区域。在这一点上，向每个候选伪影块分配(16)暗噪声伪影强度，该暗噪声伪影强度可进一步用来确定或形成(18)一组像素(例如，图像或图像组)的伪影强度。然后，可以由视频编码器自动地对比强度值和阈值，或者，可以向压缩人员提交度量，压缩人员将根据各自的情况判断进行重新编码的需要。下面我们说明这些步骤。

(a)暗噪声伪影区域筛选

利用图1中步骤12的筛选，尝试消除其中不太可能出现一般的暗噪声伪影的区域，从而加速暗噪声伪影检测。筛选步骤和滤波步骤消除或减少了该区域内的暗噪声伪影。可以在像素级或像素群组级上进行预先筛选。可以利用像素域或变换域中的多个特征来消除不太可能的候选区域。作为示例性的实施方案，在8×8块上计算以下特征：

MeanLumRec＝重构块的亮度分量的均值

MeanCbRec＝重构块的蓝色色度分量(Cb)的均值

MeanCrRec＝重构块的红色色度分量(Cr)的均值

VarLumRec＝重构块的亮度分量的方差

VarLumOrg＝原始块的亮度分量的方差

其中，计算大小为M×N的块B中的像素值的方差

如下：

$\tilde{B}=\frac{1}{M\×N}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(B(i,j)-\stackrel{\‾}{B})}^2$

其中，B(i，j)表示在块B中(i，j)位置处的像素值，

表示块B内的像素值的均值，并计算

如下：

$\tilde{B}=\frac{1}{M\×N}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}B(i,j)$

在此示例中，满足以下标准的块被归类为候选暗噪声伪影区域。将归类为候选暗噪声伪影区域的块标记为1，其余的标记为0。

1)MeanLumRec位于预定范围(TH_LUM_LOW，TH_LUM_HI)内；

2)VarLumRec小于预定值TH_LUM_VAR；

3)VarLumOrg与VarLumRec之间的差的绝对值大于预定值TH_LUM_VARDIFF；

4)MeanCbRec和MeanCrRec分别位于范围(TH_CR_LOW，TH_CB_HI)和(TH_CR_LOW，TH_CR_HI)内。

如上所述，在进行筛选步骤的过程中可以使用其它标准(即，除亮度信息之外的)。可以用来筛选候选暗噪声伪影区域的区域特征的其它示例可以包括空间活动信息、纹理信息或时间信息。

(b)候选暗噪声伪影区域滤波

一旦识别了候选暗噪声伪影区域，就可以在这些区域上使用时间和/或空间滤波(步骤14)来减少或消除隔离的区域。在示例性的实施方案中，利用空间中值滤波器来滤波掉在视频帧内部隔离的候选暗噪声伪影宏块。

(c)块的暗噪声伪影强度

根据候选暗噪声伪影块的特性，可以向此块分配伪影强度。在本示例中，向具有较低平均亮度值的块分配较高的强度。这归因于伪影会在低亮度区域中变得更加严重的事实。如果原始图像或视频可用，则还可以计算原始和重构图像或视频的每个块的方差，并向方差降低较大的候选重构块分配较高的伪影强度。作为特定的实施例，可以如下所示地计算块的伪影强度(ArtifactStrength)：

VarDiff＝VarLumOrg-VarLumRec

LumaWt＝(TH_LUM_HI-MeanLumRec)/(TH_LUM_HI-TH_LUM_LOW)

ArtifactStrength＝Vardiff+LumaWt

本领域技术人员得以明白可以在宏块级或图像级上分配伪影强度。

图2表示根据本发明原理的实施方案所述的块级暗噪声伪影检测模块的流程图95。如上所述，对于图像中的每一个块，暗噪声伪影检测方法首先利用不同的特征来筛选和消除不太可能的伪影候选区域。这如图2中的步骤100-120所示。一开始，当处理开始时(100)，执行贯穿宏块的循环(110)，计算原始块和重构块的特征(120)。

然后，判断(130)在各个块内是否存在暗噪声。当存在暗噪声时，在掩码地图中将检测到的暗噪声伪影候选区域标记为1(140)，否则就标记为0(150)。在这一点上，贯穿宏块的循环结束(160)。

然后，在掩码地图上执行中值滤波，以消除隔离的区域(170)。在中值滤波后，可以计算像素群组(例如，块)的暗噪声伪影强度(180)。根据强度计算，可以形成图像的伪影强度(190)，然后处理结束(200)。

(d)图像或视频图像群组的暗噪声伪影度量

一旦识别了候选伪影块，并向每一个块分配了伪影强度，就可以计算(或形成)有关图像或视频图像群组的整体暗噪声伪影强度(步骤18)。计算整体暗噪声伪影强度的示例是利用在图像或视频图像内被识别为候选伪影块的块的百分比。计算整体伪影强度的另一个示例可以求每个块的伪影强度的总和。然后，可以由视频编码器自动地比较整体伪影强度和阈值，或者，可以向压缩人员提交度量，压缩人员将根据各自的情况判断进行重新编码的需要。

对于识别的所含暗噪声伪影超出希望的阈值的区域或图像，可以利用速率控制算法来调整用于重新编码的编码参数。这种速率控制的简单示例是利用来自不含暗噪声伪影的区域或图像的比特，向含暗噪声伪影的区域或图像分配更多比特(例如，见图3)。

图3表示可以应用在图1-图2中显示和描述的暗噪声伪影检测方法10的速率控制算法300的方框图。转到图3，由参考数字300来一般地指示可以应用本发明的原理的示例性的速率控制装置。装置300被配置成应用此处根据本发明原理的各个实施例描述的暗噪声伪影参数估计。装置300包括暗噪声伪影检测器310、速率约束存储器320、速率控制器330和视频编码器340。

暗噪声伪影检测器310的输出端以信号通信的方式与速率控制器330的第一输入端连接。速率约束存储器320以信号通信的方式与速率控制器330的第二输入端连接。速率控制器330的输出端以信号通信的方式与视频编码器340的第一输入端连接。

暗噪声伪影检测器310的输入端和视频编码器340的第二输入端可作为装置300的输入端，用于接收输入的视频和/或(一个或多个)图像。视频编码器340的输出端可作为装置300的输出端，用于输出比特流。

在一个示例性的实施例中，暗噪声伪影检测器310根据按照图1-图2描述的方法生成暗噪声伪影参数，并将所述度量传递到速率控制器330。速率控制器330利用此暗噪声伪影参数以及存储在速率约束存储器320中的另外的速率约束条件生成用于控制视频编码器340的速率控制参数。或者，伪影参数可以存储在存储器中，稍后可以检索存储器中的所述暗噪声伪影参数，并进行有关何时需要或不需要进行重新编码的判断。

转到图4，由参考数字400来一般地指示可以应用本发明的原理的示例性的预测视频编码器，其可以利用实现了本发明原理的暗噪声伪影检测方法的暗噪声伪影检测模块495来应用图3中的速率控制算法。编码器300例如可以用作图3中的编码器340。在此情况下，编码器400被配置成应用与图3的装置300对应的速率控制(按照速率控制器330)。

视频编码器400包括帧排序缓冲器410，该帧排序缓冲器的输出端与组合器485的第一输入端进行信号通信。组合器485的输出端以信号通信的方式与变换器和量化器425的第一输入端连接。变换器和量化器425的输出端以信号通信的方式与熵编码器445的第一输入端以及逆变换器和逆量化器450的输入端连接。熵编码器445的输出端以信号通信的方式与组合器490的第一输入端连接。组合器490的输出端以信号通信的方式与输出缓冲器435的输入端连接。输出缓冲器的第一输出端以信号通信的方式与速率控制器405的输入端连接。速率控制器405的输出端以信号通信的方式与图像类型判定模块415的输入端、宏块类型(MB类型)判定模块420的第一输入端、变换器和量化器425的第二输入端以及序列参数集(SPS)和图像参数集(PPS)插入器440的输入端连接。

图像类型判定模块415的第一输出端以信号通信的方式与帧排序缓冲器410的第二输入端连接。图像类型判定模块415的第二输出端以信号通信的方式与宏块类型判定模块420的第二输入端连接。

序列参数集(SPS)和图像参数集(PPS)插入器440的输出端以信号通信的方式与组合器490的第三输入端连接。逆量化器和逆变换器450的输出端以信号通信的方式与组合器427的第一输入端连接。组合器427的输出端以信号通信的方式与帧内预测模块460的输入端以及解块滤波器465的输入端连接。解块滤波器465的输出端以信号通信的方式与参考图像缓冲器480的输入端连接。参考图像缓冲器480的输出端以信号通信的方式与运动估计器475的输入端以及运动补偿器470的第一输入端连接。运动估计器475的第一输出端以信号通信的方式与运动补偿器470的第二输入端连接。运动估计器475的第二输出端以信号通信的方式与熵编码器445的第二输入端连接。

运动补偿器470的输出端以信号通信的方式与开关497的第一输入端连接。帧内预测模块460的输出端以信号通信的方式与开关497的第二输入端连接。宏块类型判定模块420的输出端以信号通信的方式与开关497的第三输入端连接。开关497的输出端以信号通信的方式与组合器427的第二输入端连接。

帧排序缓冲器410的输入端可用作编码器400的输入端，用于接收输入的图像。此外，补充增强信息(SEI)插入器430的输入端可用作编码器400的输入端，用于接收元数据。输出缓冲器435的第二输出端可用作编码器400的输出端，用于输出比特流。

另外，可以通过处理器所执行的指令来执行该方法，这种指令可以保存在处理器可读介质上，例如集成电路、软件载体或其它存储装置，该存储装置例如硬盘、紧凑的软盘、随机存取存储器(RAM)或只读存储器(ROM)。该指令可以形成在计算机可读介质上明确地体现的应用程序。应清楚处理器可以包括处理器可读介质，其包括例如用于执行处理的指令。

对于本领域技术人员而言应显而易见的是，实施方案还可以产生格式化信息，以承载例如可以被存储或发送的信息。该信息可以包括例如用于执行方法的指令、由所述其中一种实施方案产生的数据。可以将这种信息格式化为例如电磁波(例如，利用光谱的无线电频率部分)或基带信号。格式化可以包括例如对数据流进行编码，对编码流进行分包处理和利用分包流来调制载波。信号承载的信息可以是例如模拟或数字信息。已知可以在多种不同的有线或无线链路上发送信号。

已经描述了多种实施方案。然而，将理解可以进行各种修改。例如，可以组合、补充、修改或去除不同实施方案的元素，以产生其它实施方案。另外，普通技术人员将理解还可以用其它结构和处理来取代公开的那些结构和处理，结果所产生的实施方案将以至少实质上相同的方式来执行至少实质上相同的功能，以获得至少实质上与公开的实施方案相同的结果。因此，这些及其它实施方案都在以下权利要求的范围内。

Claims (25)

1.一种方法，包括以下步骤：

对数字图像中的区域进行滤波(14)，以消除所述区域内的伪影；以及

向所述区域分配(16)暗噪声伪影参数。

2.根据权利要求1所述的方法，还包括根据与所述数字图像中的区域有关的亮度信息来筛选区域的步骤。

3.根据权利要求1所述的方法，还包括根据与所述数字图像中的区域有关的空间活动信息来筛选区域的步骤。

4.根据权利要求1所述的方法，还包括根据与所述数字图像中的区域有关的纹理信息来筛选区域的步骤。

5.根据权利要求1所述的方法，还包括根据与所述数字图像中的区域有关的时间信息来筛选区域的步骤。

6.根据权利要求1所述的方法，其中所述滤波包括中值滤波。

7.根据权利要求1所述的方法，其中在宏块级上执行所述暗噪声伪影参数分配。

8.根据权利要求1所述的方法，其中在图像级上执行所述暗噪声伪影参数分配。

9.根据权利要求1所述的方法，其中在像素域上执行暗噪声伪影参数检测。

10.根据权利要求1所述的方法，其中在变换域上执行暗噪声伪影参数检测。

11.根据权利要求1所述的方法，其中所述数字图像是数字视频内容中的一连串数字图像之一。

12.根据权利要求1所述的方法，其中将所述暗噪声伪影参数与阈值进行比较，并响应于所述暗噪声伪影参数超出所述阈值，重新编码所述像素组。

13.根据权利要求1所述的方法，其中提供所述暗噪声伪影参数来作为系统输出。

14.一种视频编码器，包括：

检测器(10)，其被配置成消除所述区域内的暗噪声伪影，并向所述区域分配暗噪声伪影参数。

15.根据权利要求14所述的视频编码器，其中所述检测器还包括中值滤波器。

16.根据权利要求14所述的视频编码器，其中所述检测器还可操作来利用数字图像中的区域的亮度信息，针对暗噪声伪影来筛选区域。

17.根据权利要求14所述的视频编码器，其中所述检测器还可操作来利用空间活动信息，针对暗噪声伪影来筛选数字图像中的区域。

18.根据权利要求14所述的视频编码器，其中所述检测器还可操作来利用纹理信息，针对暗噪声伪影来筛选数字图像中的区域。

19.根据权利要求14所述的视频编码器，其中所述检测器还可操作来利用时间信息，针对暗噪声伪影来筛选数字图像中的区域。

20.根据权利要求14所述的视频编码器，其中所述编码器遵循从包含MPEG-4 AVC、VC-1和MPEG-2的群组中选择出来的至少一种标准。

21.根据权利要求14所述的视频编码器，其中所述数字图像是组成视频内容的一连串数字图像的一部分。

22.根据权利要求14所述的视频编码器，其中所述检测器在宏块级上分配所述暗噪声伪影参数。

23.根据权利要求14所述的视频编码器，其中所述检测器在图像级上分配所述暗噪声伪影参数。

24.根据权利要求14所述的视频编码器，其中将所述暗噪声伪影参数与阈值进行比较，并且响应于所述暗噪声伪影参数超出所述阈值，重新编码所述像素组。

25.根据权利要求14所述的视频编码器，其中提供所述暗噪声伪影参数来作为系统输出。

Images