CN116452465B

CN116452465B - 一种消除jpeg图像块伪影的方法

Info

Publication number: CN116452465B
Application number: CN202310694141.7A
Authority: CN
Inventors: 聂玮成; 王彬; 张永生; 周康; 程银; 李卓临
Original assignee: Jiangsu Daoyuan Technology Group Co ltd; Jiangsu Peregrine Microelectronics Co ltd
Current assignee: Jiangsu Daoyuan Technology Group Co ltd; Jiangsu Peregrine Microelectronics Co ltd
Priority date: 2023-06-13
Filing date: 2023-06-13
Publication date: 2023-08-11
Anticipated expiration: 2043-06-13
Also published as: CN116452465A

Abstract

本发明公开了一种消除JPEG图像块伪影的方法，对YUV格式的JPEG目标图像按照预设像素矩阵大小进行细分，得到多个像素块；对各像素块的Y通道以及U、V通道分别进行处理：在目标像素块的Y通道，通过邻边对特征判定，确定与目标像素块所有四连通邻域的相关邻边中需要进行滤波处理的像素点；通过基于像素密度与滤波方向的特征判定，选择局部滤波核对需要进行滤波处理的像素点对进行自适应滤波处理；在目标像素块的U与V通道，进行基于均值处理的邻边像素灰度值融合；最后，将图像从YUV模型转换为RGB模型。本发明能够在不破坏图像基本纹理特征信息的前提下有效解决JPEG图像块伪影问题，运算资源消耗较少并利于硬件实现。

Description

一种消除JPEG图像块伪影的方法

技术领域

本发明涉及图像处理方法，特别涉及去除编码后JPEG图像中块伪影的方法。

背景技术

JPEG（Joint Photographic Experts Group）是JPEG标准的产物，该标准由国际标准化组织（ISO）制订，是面向连续色调静止图像的一种压缩标准。JPEG格式的压缩率是目前各种图像文件格式中最高的。它用有损压缩的方式去除图像的冗余数据，但存在着一定的失真。由于其高效的压缩效率和标准化要求，目前已广泛用于彩色传真、静止图像、电话会议、印刷及新闻图片的传送。

JPEG压缩标准中使用了基于块的变换编码，随着码率的降低，量化变得粗糙，在块的边界会出现不连续，形成重建图像的明显缺陷，称为块伪影问题。

现有技术对块伪影的解决方式包括在JPEG编码过程中进行量化参数的动态调节，该方法不适用已经完成编码的JPEG图像处理场景。对于已经编码完毕并产生块伪影的JPEG图像多采用非自适应的块边缘融合处理，易对图像基本特征信息造成较大破坏；或通过非参数图像恢复模型的特定损失训练进行AI处理，运算复杂且硬件资源需求较大。

发明内容

发明目的：针对上述现有技术，提出一种消除JPEG图像块伪影的方法，解决传统技术中对编码后JPEG图像块伪影难以消除、对图像基本纹理特征信息造成破坏、运算复杂硬件实现门槛高的问题。

技术方案：一种消除JPEG图像块伪影的方法，包括：对YUV格式的JPEG目标图像按照预设像素矩阵大小进行细分，得到多个像素块；对各像素块的Y通道以及U、V通道分别进行处理，包括如下步骤：

在目标像素块的Y通道，通过邻边对特征判定，确定与目标像素块所有四连通邻域的相关邻边中需要进行滤波处理的像素点；通过基于像素密度与滤波方向的特征判定，选择局部滤波核对需要进行滤波处理的像素点对进行自适应滤波处理；

在目标像素块的U与V通道，进行基于均值处理的邻边像素灰度值融合；

最后，将图像从YUV模型转换为RGB模型。

进一步的，所述通过邻边对特征判定，确定与目标像素块所有四连通邻域的相关邻边中需要进行滤波处理的像素点，包括如下具体步骤：

对目标像素块与邻域像素块相关邻边中的像素灰度值进行量化；

找出相关邻边中的相邻多数连通集对，即分别至少包含3个像素点且存在不少于两对邻接像素点的一对连通集；

对相邻多数连通集对进行差异度判定，满足阈值条件的相邻多数连通集对所含像素即为需要进行滤波处理的像素点。

进一步的，所述通过基于像素密度与滤波方向的特征判定，选择局部滤波核对需要进行滤波处理的像素点对进行自适应滤波处理，包括如下步骤：

根据待滤波的相邻多数连通集对中连通集的像素密度差异，分为中心偏重、侧端偏重与重量均衡的三种像素密度条件；

根据待滤波的相邻多数连通集对中连通集的中心点相对位置确定滤波方向；

根据待滤波的相邻多数连通集对的像素密度条件与滤波方向条件，选择对应的滤波核对相邻多数连通集对中所有的像素点进行自适应滤波。

进一步的，对细分得到的各像素块的处理顺序为按Z字形依次处理。

进一步的，确定与目标像素块所有四连通邻域的相关邻边中需要进行滤波处理的像素点及自适应滤波的顺序均为：按每个目标像素块邻域的右、下、左、上顺序进行。

进一步的，若JPEG目标图像为RGB格式，则首先将其转换为YUV格式。

进一步的，所述对目标像素块与邻域像素块相关邻边中的像素灰度值进行量化，对于8比特位深的图像，量化等级m取2或4。

进一步的，所述对相邻多数连通集对进行差异度判定，具体方法为：计算其中每对邻接像素点像素差分值绝对值的加权平均值，权重参数由邻接像素对的数量自适应决定，其中越接近中间位置的像素对权重取值越大。

进一步的，在对目标图像按照预设像素矩阵大小进行细分时，若目标图像存在不构成预设像素矩阵大小的未成块像素点，则对未成块像素点不做处理。

有益效果：本发明提供了一种除JPEG图像块伪影的方法，通过对已编码并产生块伪影的JPEG图像进行块邻边像素特征的分析，利用基于像素密度及方向的自适应滤波方式，精确定位并处理造成图像块割裂视觉感官的像素点，在不破坏快图像基本纹理特征信息的前提下有效去除JPEG图像块伪影问题，运算资源消耗较少并利于硬件实现。

附图说明

图1为本发明实施例提供的一种消除JPEG图像块伪影方法的流程图；

图2为本发明实施例提供的像素块邻边、邻接像素对及其权重值的示意图；

图3为本发明实施例提供的相邻多数连通集判定及中心位置示意图；

图4为本发明实施例提供的滤波核参数及适用条件示意图；

图5为本发明实施例提供的像素块及相关邻边滤波处理顺序意图。

实施方式

下面结合附图对本发明做更进一步的解释。

如图1所示，一种消除JPEG图像块伪影的方法，包括以下步骤：

步骤1：获取目标图像，即存在块伪影的JPEG图像，将其由RGB模型转换为YUV模型。对于RGB格式的JPEG图像，每个图像像素包含红、绿、蓝三个通道。将像素的三通道灰度值分别表示为R、G、B，根据现有标准，将图像从RGB模型转化为YUV模型可根据以下公式实现：Y=0.299R+0.587G+0.114B；U=-0.1687R-0.3313G+0.5B+128；V=0.5R-0.4187G-0.0813B+128。其中，“Y”表示明亮度，“U”和“V”分别表示色度和浓度。

步骤2：将大小为M×N的目标图像的Y通道像素灰度值矩阵细分为大小是8×8的多个像素块，对经过细分未成块的像素点不做处理。将各8×8像素块依次作为目标像素块进行以解决块伪影问题为目的的像素滤波。特别的，8×8的尺寸是JPEG图像标准中进行块变换处理的基准尺寸，也是JPEG图像中块伪影的固定尺寸。

步骤3：通过邻边对特征判定，确定目标像素块与其所有四连通邻域相关邻边中需要进行滤波处理的像素点。

以一个8×8目标像素块和其一个邻域像素块的滤波处理为例。以上两个相邻像素块包含一对邻边，将在目标像素块中的8个邻边像素灰度值划入数组u，将在邻域像素块中的8个邻边像素灰度值划入数组v。本发明中，四连通区域或四邻域，是指对应像素块或者像素点位置的上、下、左、右紧邻的位置。如图2的(a)所示，block_u为目标像素块，block_v为其右邻接的邻域，eg_u、eg_v为这两块像素块的一对邻边，对应的像素灰度值数组为[u₁，u₂，u₃,…u₈]、[v₁，v₂，v₃,…v₈]。

步骤3.1：对目标像素块与邻域像素块中一对邻边的像素进行量化处理，即

式中，为量化后像素灰度值，f (x,y)为原始像素灰度值，ceil表示对数值进行向上取整，m为量化等级。量化的目的是将像素值接近的像素点赋予相同的像素值，为后续的像素连通特征判定建立基础，即将像素灰度值相同的像素归入同一连通集。经过大量实验及基于利于硬件实现的考量得出：对于8比特位深的图像，m=2或者m=4为本发明较为适配的量化参数。

步骤3.2：一对邻边的像素灰度值数组u与v经量化后更新为数组u’与v’，在其中找出所有的相邻多数连通集对。以下是相邻多数连通集对的判定过程。首先判定数组u’、v’中是否各自存在至少包含3个以上像素点的连通集，即多数连通集。若上步判定为是，则对数组u’中的多数连通集，确认在数组v’中与其相邻的且所含像素数量最多的多数连通集，与其组成一对相邻多数连通集对。特别的，2个多数连通集相邻指的是多数连通集间至少含有两对邻接的像素对。

如图3的(a)所示，在目标像素块block_u右侧边中包含1个多数连通集，即p_1，在邻域像素块block_v左侧边中包含2个多数连通集，即p_2和p_3，满足第一步的判定条件。其中，多数连通集p_1与p_2仅有（u’₄, v’₄）这1对邻接的像素对，而多数连通集p_1与p_3有（u’₆, v’₆）和（u’₇, v’₇）这2对邻接的像素对，进而判定多数连通集p_1与p_3是一对相邻多数连通集对。如果数组v’中存在多个与数组u’相邻的等像素量多数连通集，则取其中最接近数组v’左上角的多数连通集进行组对。

步骤3.3：对每对相邻多数连通集对计算其差异度E(u’,v’)，即其中相邻接像素对的差分值绝对值的加权平均值，具体见下式

式中，n为相邻多数连通集对中邻接像素对数量，（u’_i, v’_i）为一对邻接的像素对，w _i是每对邻接的像素对的差分权重，其中越接近连通集中间位置的像素对权重越大。对于含不同数量邻接像素对的相邻多数连通集对，其权重的选择如表1所示。

表1

邻接像素对数量n	w₁	w₂	w₃	w₄	w₅	w₆	w₇	w₈
									2	0.5	0.5
3	0.3	0.4	0.3
									4	0.2	0.3	0.3	0.2
5	0.1	0.2	0.4	0.2	0.1
									6	0.1	0.1	0.3	0.3	0.1	0.1
7	0.1	0.1	0.2	0.2	0.2	0.1	0.1
									8	0.1	0.1	0.1	0.2	0.2	0.1	0.1	0.1

如图2的(b)所示，多数连通集p_1与p_2为一对相邻多数连通集对，包含框选所示的6对邻接像素对。其中位于连通集居中位置的两对邻接像素对（u’₄, v’₄）、（u’₅, v’₅）的差分权重值为0.3，而其余邻接像素对的权重值为0.1。如果E(u’,v’)>TE，则认为需要对相邻多数连通集对中的所有像素对进行滤波处理。其中TE为阈值参数，通过大量实验得出：对于8比特位深的图像，TE∈[127,255]为本发明较为适配的相邻多数连通集对差异度阈值参数范围，其中，对于块伪影现象越严重的图像将采用更高的阈值。如果不存在满足以上阈值条件的相邻多数连通集对，则认为目标像素块与邻域像素块对应的邻边u、v没有像素需要进行滤波处理。

步骤4：对步骤3确定达到差异度阈值的相邻多数连通集对所含像素对进行滤波处理。

步骤4.1：确认待滤波的相邻多数连通集对中连通集的像素密度。如相邻多数连通集中属于目标像素块的像素数量多于邻域像素块，则认为属于中心偏重；如果相邻多数连通集中属于邻域像素块的像素数量较多，则属于侧端偏重；如果一对相邻多数连通集对中属于两个像素块的像素数量相等，则属于重量均衡。

步骤4.2：确认待滤波的相邻多数连通集对的滤波方向。计算相邻多数连通集对中每个多数连通集的中点坐标，分别为uc、vc，其中uc对应目标像素块，vc对应邻域像素块。具体计算方式为：求各多数连通集中像素坐标向量的均值。如图4所示，将uc置于3×3像素块中央，根据uc到vc的相对位置，即uc到vc的向量方向，可以将多数连通集对的滤波方向分为水平1、水平2、垂直1、垂直2、正对角1、正对角2、反对角1、反对角2八个方向，如图4所示。具体的，水平1：vc位于uc右侧；水平2：vc位于uc左侧；垂直1：vc位于uc上方；垂直2：vc位于uc下方；正对角1：vc位于uc左上方；正对角2：vc位于uc右下方；反对角1：vc位于uc右上方；反对角2：vc位于uc左下方。

步骤4.3：根据待滤波的多数连通集对的像素密度与滤波方向，选择合适的滤波核对多数连通集对中所有的像素点进行滤波。滤波核的适用条件与对应的滤波参数如图4所示，该滤波参数方案可预先通过实验计算得出。本实施例中，中心偏重下，八个滤波方向对应的滤波核分别为1/4*[0,0,0;2,1,1;0,0,0]、1/4*[0,0,0;1,1,2;0,0,0]、1/4*[0,1,0;0,1,0;0,2,0]、1/4*[0,2,0;0,1,0;0,1,0]、1/4*[1,0,0;0,1,0;0,0,2]、1/4*[2,0,0;0,1,0;0,0,1]、1/4*[0,0,1;0,1,0;2,0,1]、1/4*[0,0,2;0,1,0;1,0,0]；侧端偏重下，八个滤波方向对应的滤波核分别为1/4*[0,0,0;1,1,2;0,0,0]、1/4*[0,0,0;2,1,1;0,0,0]、1/4*[0,2,0;0,1,0;0,1,0]、1/4*[0,1,0;0,1,0;0,2,0]、1/4*[2,0,0;0,1,0;0,2,0]、1/4*[1,0,0;0,1,0;0,0,2]、1/4*[0,0,2;0,1,0;1,0,0]、1/4*[0,0,1;0,1,0;2,0,0]；重量均衡下，八个滤波方向对应的滤波核分别为1/4*[0,0,0;1,2,1;0,0,0]、1/4*[0,0,0;1,2,1;0,0,0]、1/4*[0,1,0;0,2,0;0,1,0]、1/4*[0,1,0;0,2,0;0,1,0]、1/4*[1,0,0;0,2,0;0,0,1]、1/4*[1,0,0;0,2,0;0,0,1]、1/4*[0,0,1;0,2,0;1,0,0]、1/4*[0,0,1;0,2,0;1,0,0]。

如图3的(b)所示，相邻多数连通集对p_1与p_3所含像素点数量分别4和3，即像素密度为中心偏重。根据图示的连通集中心坐标uc、vc的相对位置，判定其滤波方向为正对角2，即选择滤波核1/4*[2,0,0;0,1,0;0,0,1]对相邻多数连通集对中的所有像素点(u’₄, u’₅, u’₆, u’₇, v’₆, v’₇, v’₈)进行滤波处理。

步骤5：完成对所有目标像素块中待滤波像素点的判定及自适应滤波。其中，从目标图像细分后的8×8 的Y通道像素块中选择目标像素块的顺序是Z字形，即方向为从图像的左上角向右下角且从上往下依次选取像素块，对每个目标像素块选择邻域的方向顺序为右、下、左、上。对已经做过滤波判定及处理的邻边对像素将不再相关滤波处理。如图5所示，以将图像的Y通道细分为36个像素块为例，图中像素块所对应数字代表其作为目标像素块的顺序。首先选定像素块1作为目标像素块，然后选择其第一个连通邻域，即右邻域像素块2，对像素块1与像素块2的一对邻边eg_1进行待滤波像素点判定及自适应滤波；然后选择像素块3作为目标像素块的第2个待处理邻域，对涉及邻边对eg_2进行相关滤波处理。因为不存在其他连通邻域了，以像素块1为目标像素块的滤波处理至此完毕。然后选择像素块2作为目标像素块，其连通邻域像素块有像块4、5、1，分别对应待滤波处理邻边对eg_3、eg_4、eg_1，由于eg_1在前步已经做过处理故不再作为此步相关滤波处理。当完成对所有目标像素块待滤波像素点的判定及自适应滤波，即对目标图像Y通道基于块伪影消除的相关处理完毕。

步骤6：将大小为M×N的目标图像的U通道像素灰度值矩阵细分为大小是8×8的多个像素块，对经过细分未成块的像素点不做处理。将每对像素块邻边中的每对邻接像素点进行均值处理。如图2的(a)所示，将邻接像素对(u₁,v₁)所在坐标的像素灰度值更新为（u₁+v₁）/2，其余邻接像素对的均值处理方式同理。至此对目标图像U通道基于块伪影消除的相关处理完毕。

步骤7：对目标图像的V通道像素灰度值矩阵进行和步骤6一致的块细分及邻接像素均值处理。至此对目标图像V通道基于块伪影消除的相关处理完毕。特别的，在YUV模式中，相对于通道U、V通道，Y通道的处理精度对保证图像的质量起了决定性作用。故本发明中对Y通道像素采取基于像素密度及方向的自适应滤波方式，精确定位并处理造成图像块割裂视觉感官的素点，防止对不造成块伪影效应的像素点进行不必要处理，保证滤波后像素特征更加逼近图像的原始纹理方向，减少滤波平滑对原始纹理信息的破坏。其处理精度要大幅高于对U、V通道像素的简单块邻边像素均值处理。

步骤8：根据公式R=Y+1.4075*(V-128)；G=Y-0.3455*(U-128)-0.7169*(V-128)；B=Y+1.779*(U-128)；将图像从YUV模型转换为RGB模型。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种消除JPEG图像块伪影的方法，其特征在于，包括：对YUV格式的JPEG目标图像按照预设像素矩阵大小进行细分，得到多个像素块；对各像素块的Y通道以及U、V通道分别进行处理，包括如下步骤：

最后，将图像从YUV模型转换为RGB模型；

所述通过邻边对特征判定，确定与目标像素块所有四连通邻域的相关邻边中需要进行滤波处理的像素点，包括如下具体步骤：

对相邻多数连通集对进行差异度判定，满足阈值条件的相邻多数连通集对所含像素即为需要进行滤波处理的像素点；

所述通过基于像素密度与滤波方向的特征判定，选择局部滤波核对需要进行滤波处理的像素点对进行自适应滤波处理，包括如下步骤：

2.根据权利要求1所述的消除JPEG图像块伪影的方法，其特征在于，对细分得到的各像素块的处理顺序为按Z字形依次处理。

3.根据权利要求1所述的消除JPEG图像块伪影的方法，其特征在于，确定与目标像素块所有四连通邻域的相关邻边中需要进行滤波处理的像素点及自适应滤波的顺序均为：按每个目标像素块邻域的右、下、左、上顺序进行。

4.根据权利要求1所述的消除JPEG图像块伪影的方法，其特征在于，若JPEG目标图像为RGB格式，则首先将其转换为YUV格式。

5.根据权利要求1所述的消除JPEG图像块伪影的方法，其特征在于，所述对目标像素块与邻域像素块相关邻边中的像素灰度值进行量化，对于8比特位深的图像，量化等级m取2或4。

6.根据权利要求1所述的消除JPEG图像块伪影的方法，其特征在于，所述对相邻多数连通集对进行差异度判定，具体方法为：计算其中每对邻接像素点像素差分值绝对值的加权平均值，权重参数由邻接像素对的数量自适应决定，其中越接近中间位置的像素对权重取值越大。

7.根据权利要求1-6任一所述的消除JPEG图像块伪影的方法，其特征在于，在对目标图像按照预设像素矩阵大小进行细分时，若目标图像存在不构成预设像素矩阵大小的未成块像素点，则对未成块像素点不做处理。