CN106651789B - 一种面向压缩人脸图像的自适应去块效应方法 - Google Patents

Abstract

一种面向压缩人脸图像的自适应去块效应方法涉及图像去噪领域，本发明将三维块匹配滤波方法中的块搜索区域根据人脸的对称性扩展。滤波器中的方差参数(sigma)也会根据眼睛鼻子嘴巴的位置以及压缩质量自适应的调整。根据人脸的对称性以及相似的几何结构特征，人脸自适应三维块匹配滤波方法可以针对人脸图像中的去块效应结果有更进一步的提高。对人脸图像进行模型统计，将人脸的先验位置信息引入图像去块效应过程，在滤波的同时更好地保持人脸图像细节信息；针对不同压缩比下的人脸图像，采用不同的参数滤波，使得滤波更具有针对性，优化了算法。

Description

一种面向压缩人脸图像的自适应去块效应方法

技术领域

本发明涉及图像去噪领域，特别涉及一种面向压缩人脸图像的自适应三维块匹配滤波去块效应方法。

背景技术

高质量的图像和视频信息在多媒体应用中具有重要的作用。高质量图像不但具有更为真实的视觉感受，而且是后续自动分析和识别算法取得高效性能的重要基础。然而，针对海量视频图像，存储空间和传输带宽的限制，图像视频都是以低比特压缩方式常态存在的。基于分块离散余弦变换(BDCT,Blocked Discrete Cosine Transform)的方法广泛应用于图像和视频压缩标准中，如JPEG，MPEG，H.264等。但是，当JPEG压缩率较高时，通常会导致解码后重建图像的质量下降。压缩失真不仅会降低人脸图像的主观质量，同时也会导致后续人脸识别的识别率降低。因此，针对高度压缩后的低质人脸图像，研究图像去块效应技术，提高图像的质量，具有重要的理论意义和实际应用价值。

针对图像去噪问题，人们提出了很多优秀的去噪算法。Buades提出一种基于自然图像还有互相似块的非局部滤波算法。Jung提出一种基于数据稀疏性和冗余性表达的字典学习算法来去除压缩图像中的块效应。Zhao在此的基础上进行改进，根据梯度将图像分为纹理块、边缘块、平滑块，针对不同的图像块类别选择不同的阈值，获得更好的滤波效果。Dong将近两年最流行的深度学习引入图像去噪领域，获得较好的去噪效果。在这些算法中，三维块匹配滤波方法(BM3D，Block-Matching and 3D filtering)是比较典型的图像去噪算法之一，同时也是一种有效的去块效应方法。

本发明提出了一种人脸自适应的三维块匹配滤波方法。我们将三维块匹配滤波方法中的块搜索区域根据人脸的对称性扩展。滤波器中的方差参数(sigma)也会根据眼睛鼻子嘴巴的位置以及压缩质量自适应的调整。根据人脸的对称性以及相似的几何结构特征，人脸自适应三维块匹配滤波方法可以针对人脸图像中的去块效应结果有更进一步的提高。

发明内容

本发明的目的在于，面向压缩人脸图像，采用一种改进的人脸自适应三维块匹配滤波方法，解决压缩人脸图像中的块效应失真问题，以提高人脸图像的主客观效果。

本发明是采用以下技术手段实现的：

一种改进的人脸自适应三维块匹配滤波方法，算法分为两个部分：获取自适应参数以及三维块匹配滤波部分。自适应参数的选择包括根据不同的压缩比选择不同的滤波器方差参数(sigma)。首先，面向人脸图像建立模型；然后，根据人脸模型，将图像分为背景区域与目标区域；最后，针对不同区域采用不同的参数。三维块匹配滤波部分依据自适应参数对输入图像进行变换域协同滤波处理。

所述获取自适应参数部分分为3个步骤：

(1)定义人脸模型

人脸图像作为一种特殊图像，具有对称性。因此，搜索图像相似块的范围应该包括左右对称的部分。例如，眼睛部分的图像块为参考块时，搜索的范围应该包括左眼和右眼两个部分。但是，全局搜索是极其耗时的。不同的人脸图像有着相似的几何结构，即眼睛、鼻子、嘴巴的位置是相似的。人脸图像中主要的细节信息集中在这几个位置。因此，滤波器参数sigma针对于五官区域及平坦区域应该选取不同的参数。

为了实现这种方案，我们定义了一个人脸模型。我们选取N幅正面人脸图像，根据人眼位置归一化。然后，将N张人脸图像叠加，得到一个统计能量图。

我们获取双眼中心的坐标后，得到两眼间的像素距离。由此，定义一个T型区域。这个区域包含了正面人脸的所有重要器官。左、右眼中心P₁、P₂的坐标分别为(x₁,y₁)、(x₂,y₂)，P₁和P₂处于同一水平线上。两眼间的像素距离为d。根据两眼距离以及人脸五官位置关系，我们定义一个T型区域。左右眼中心到左右边界距离均为0.25d，组成了一个长为1.5d宽为0.5d的矩形，是T型区域的水平部分；T型区域的垂直部分是一个长为0.75d宽为d的矩形。这个区域包含了正面人脸的所有重要器官。

基于这个人脸模型，我们将相似块的搜索区域扩展。垂直的搜索距离保持不变，而水平方向的搜索范围扩展到T型区域的边界处。

(2)根据压缩比获取自适应参数

一个实用的图像去噪方法需要能够根据噪声的强度来自适应的调节参数，以达到最好的去燥效果。BM3D滤波算法中sigma参数代表含噪图像中高斯噪声的强度。

当处理对象为压缩后的人脸图像时，我们需要选择合适的sigma。实验结果表明，sigma过大则维纳滤波过强，造成图像的过度平滑；sigma过小则滤波强度不够导致无法有效的去除块效应。为了解决这个问题，本发明提出针对不同压缩比下的人脸图像采用不同的sigma参数。

处理整幅图像时，不同的压缩比下应采用不同的滤波参数sigma。本发明选择N幅图像来测试针对不同压缩比下的最优sigma参数。将压缩因子Q设为5到40区间，间隔为5，对N幅图像分别JPEG压缩。当前压缩因子为Q时，针对每一幅图像，测试了2到40之间、间隔为2，不同的sigma参数对应的PSNR结果。计算N个PSNR的平均值。将最高的平均PSNR对应的sigma作为压缩因子为Q时的最优sigma参数。

(3)根据人脸模型获取自适应参数

BM3D算法采用统一的sigma参数处理整幅自然图像。这种情况使得处理后的人脸图像的细节区域损失大量高频信息。为了保护特殊区域的细节信息，本发明根据人脸模型提出参数自适应调节。我们将人脸图像分为两个部分，也就是背景区域R_b和重要器官区域R_o。背景区域R_b表示平坦区域，即T型区域的外部；R_o表示眼睛、鼻子和嘴巴的区域，，即T型区域的内部，在这部分包含了复杂的纹理结构。在压缩比为Q的情况下，R_b区域中sigma参数sigma_b依据步骤(2)所测结果选取。而对于R_o区域中的sigma参数sigma_o，保持sigma_b不变，测试2到40之间、间隔为2，不同的sigma_o参数对应的PSNR结果。计算N个PSNR的平均值。最高的平均PSNR对应的sigma_o，作为压缩因子为Q时的最优sigma_o参数。针对不同压缩比的情况，多次重复测试可获取不同压缩比下不同区域的经验参数。

所述三维块匹配滤波部分分为两个阶段：

(1)基础估计

a)分组

把输入压缩失真人脸图像Z划分成相互交叠的图像块Z_x∈X，其中X是这些块的坐标构成的合集。采用欧式距离衡量两图像块之间的相似性。距离越小意味着两个图像块越相似。分别将参考图像块和搜索范围内的图像块逐个对比，若欧式距离小于距离阈值

则认为两图像块相似，反之则不相似。将搜索到的具有相似结构的二维图像块

组成一个三维数组

b)协同滤波

对三维矩阵进行可分的三维变换，具体包括二维Bior小波硬阈值收缩和块间径向一维Haar小波变换。所得结果利用硬阈值调整变换系数来去除噪声，再执行逆三维变换：

其中，T为可分的三维变换，T^-1为T的逆变换，shrink为硬阈值处理。

c)聚集

步骤b)硬阈值收缩后，每个块都得到一个估计值。根据估计值集合矩阵数值中非零的个数，得到基础估计权值：

其中，

为三维矩阵硬阈值处理后非零系数的个数，sigma为自适应参数获取部分得到的参数。

对于某一个像素，可能会出现在多个块内，需要对这些有重叠的块估计值进行加权平均来得到每个像素的基础估计值，重建为基础估计图像

(1)最终估计

对基础估计后的图像再进行分块并协同维纳滤波，分为以下三个步骤：

a)分组

对第一步中得到的基础估计图像

以类似原则再次进行块匹配，并堆叠所有匹配的块形成新的三维矩阵

同时利用这个匹配结果的各个图像块的坐标，在输入含噪声图像Z_x中找到与这些坐标相对应的图像块，构成另一个三维矩阵

此时有两个对应的三维矩阵，一个是第一步得到的由原图像中相似块组成的三维矩阵，另一个是由基础估计生成的图像中相似块组成的三维矩阵。

b)协同维纳滤波

对两个三维矩阵均进行可分的三维变换，具体是二维DCT余弦变换以及一维Haar小波变换，以基础估计图像对应的三维矩阵对原图像对应的三维矩阵进行维纳滤波。最后执行可分的三维逆变换得到去噪的图像块。具体公式如下：

其中，

为对含噪图像上三维矩阵的三维变换，

为逆三维变换，维纳滤波公式为：

c)聚集

同基础估计中的聚集步骤相似，需要对这些块估计值进行加权平均后放回它们原始位置来得到的最终的去噪图像。权值

由下式确定：

本发明与现有技术相比，具有以下明显的优势和有益效果：

本发明提出了一种面向压缩人脸图像的自适应三维块匹配滤波方法。本发明利用人脸的先验位置信息，将人脸图像分为背景区域和目标区域。然后分别对这两种类型区域采用不同的参数，去除块效应。

本发明的特点：

1、对人脸图像进行模型统计，将人脸的先验位置信息引入图像去块效应过程，在滤波的同时更好地保持人脸图像细节信息；

2、提出了一种改进的三维块匹配滤波方法，针对不同压缩比下的人脸图像，采用不同的参数滤波，使得滤波更具有针对性；

3、对三维块匹配滤波方法进行了大量实验，优化了算法。

下面结合实例参照附图进行详细说明，以求对本发明的目的、特征和优点得到更深入的理解。

附图说明：

图1、人脸模型示意图；

图2、图像块基于人脸模型搜索相似图像块结果；

图3、不同区域的参数选择；

图4、不同压缩比下的最优sigma

图5、三维块匹配算法流程图

图6、不同方法去块效应方法主观结果对比

图7、图6部分局部放大结果

具体实施方式：

以下结合说明书附图，对本发明的实施实例加以说明：

本发明采用CAS-PEAL-R1大型公开人脸数据库进行训练和测试。CAS-PEAL-R1人脸库包括不同表情、不同姿态不同配饰、不同光照、不同背景、与相机之间不同距离的人脸图像，共1040个人的30863幅图像。实验中，我们选用无遮挡的正常正面人脸图像中的100张图像作为训练样本，20张图像作为测试样本。

本发明提出方法主要分为两个部分：获取自适应参数阶段和三维块匹配滤波阶段。

(1)获取自适应参数部分

具体实现步骤如下：

a)建立人脸模型

第一步，建立训练样本库。对于N幅高质量人脸图像库

N＝100，进行人脸五官归一化，分别对齐眼睛，鼻子和嘴巴，再转换为灰度图；然后，建立一个统计能量图，如图1所示。左、右眼中心P₁、P₂的坐标分别为(x₁,y₁)、(x₂,y₂)，根据两眼距离以及人脸五官位置关系，我们定义一个T型区域。左右眼中心到边界距离均为0.25d，组成了一个长为1.5d宽为0.5d的矩形，是T型区域的水平部分；T型区域的垂直部分是一个长为0.75d宽为d的矩形。基于这个人脸模型，我们将相似块的搜索区域扩展。垂直的搜索距离保持不变，而水平方向的搜索范围扩展到T型区域的边界处。

图2展示了以左眼区域图像块作为参考块，使用T型区域作为搜索范围来搜索相似块的结果。其中，灰色色框内为参考块，白色框为搜索到的相似块。

b)根据不同的压缩比获取自适应参数

对于N幅图像，N＝100，测试针对不同压缩比下的最优sigma参数。将压缩因子Q设为5到40，间隔为5，对N幅图像分别做JPEG压缩。当压缩因子为Q时，对每一幅图像测试，测试了simga参数取值为2到40之间、间隔为2，不同的sigma参数对应的PSNR结果。对同一压缩因子下的N个PSNR求得平均值。最高的平均PSNR对应的sigma参数作为当前压缩因子下的最优sigma参数。测试的经验结果如图3所示。通过这些获取的经验参数，在处理不同压缩比下的压缩人脸图像时，直接采用最优的sigma参数来获得更高的平均峰值信噪比。

c)根据人脸模型获取自适应参数

从人脸模型中，T型区域中的五官区域的细节更显著。因此，将人脸图像分为两个部分，也就是背景区域R_b和重要器官区域R_o。背景区域R_b表示平坦区域，即T型区域的外部；R_o表示眼睛、鼻子和嘴巴的区域，即T型区域内部，在这部分包含了复杂的纹理结构。在压缩比为Q的情况下，R_b区域中sigma参数sigma_b依据步骤b)所测结果选取。而对于R_o区域中的sigma参数sigma_o，保持sigma_b不变，测试2到40之间、间隔为2，不同的sigma_o参数对应的PSNR结果。计算N个PSNR取平均值。最高的平均PSNR对应的sigma_o，作为压缩因子为Q时的最优sigma_o参数。针对不同压缩比的情况，多次重复测试可获取不同压缩比下不同区域的经验最优参数。如图4所示。

(2)三维块匹配滤波部分

所述三维块匹配滤波部分分为两个阶段：

第一阶段：基础估计

a)分组

把输入图像Z划分成8×8大小、相互交叠5像素的图像块Z_x∈X，其中X是这些块的坐标构成的合集。采用欧式距离衡量两图像块之间的相似性。越小的距离意味着两个图像块越相似。分别将参考图像块和搜索范围内的图像块逐个对比，若欧式距离小于距离阈值

则认为两图像块相似，反之则不相似。将搜索到的具有相似结构的二维图像块

组成一个三维数组

b)协同滤波

对三维矩阵进行可分的三维变换，具体包括二维Bior小波硬阈值收缩和块间径向一维Haar小波变换。所得结果利用硬阈值调整变换系数来去除噪声，再执行逆三维变换：

其中，T为可分的三维变换，T^-1为T的逆变换，shrink为硬阈值处理。

c)聚集

步骤b)硬阈值收缩后，每个块都得到一个估计值。根据估计值集合矩阵数值中非零的个数，得到基础估计权值：

其中，

为三维矩阵硬阈值处理后非零系数的个数，sigma为自适应参数获取部分得到的参数。

对于某一个像素，可能会出现在多个块内，需要对这些有重叠的块估计值进行加权平局来得到每个像素的基础估计值，重建为基础估计图像

第二阶段：最终估计

对基础估计后的图像

再进行分块并协同维纳滤波，分为以下三个步骤：

a)分组

对第一步中得到的基础估计图像

以类似原则再次进行块匹配，并堆叠所有匹配的块形成新的三维矩阵

同时利用这个匹配结果的各个图像块的坐标，在输入含噪声图像Z_x中找到与这些坐标相对应的图像块，构成另一个三维矩阵

此时有两个对应的三维矩阵，一个是第一步得到的由原图像中相似块组成的三维矩阵，另一个是由基础估计生成的图像中相似块组成的三维矩阵。

b)协同维纳滤波

对两个三维矩阵均进行可分的三维变换，具体是二维DCT余弦变换以及一维Haar小波变换，以基础估计图像对应的三维矩阵对原图像对应的三维矩阵进行维纳滤波。最后执行可分的三维逆变换得到去噪的图像块。具体公式如下：

其中，

为对含噪图像上三维矩阵

的三维变换，

为逆三维变换，维纳滤波公式为：

c)聚集

同基础估计中的聚集步骤相似，需要对这些块估计值进行加权平均放回它们原始位置来得到的最终的去噪图像，且权值

由下式确定：

实验结果见附图说明表1及图6，分别采用不同算法来去除压缩人脸图像中的块效应与应用所述算法得到的去块效应结果的对比。图7为图6中部分图像局部放大结果对比。

表1、不同算法得到的图像去块效应客观结果对比

Claims (1)

1.一种面向压缩人脸图像的自适应去块效应方法，其特征在于：方法分为两个部分：获取自适应参数以及三维块匹配滤波部分；自适应参数的选择包括根据不同的压缩比选择不同的滤波器方差参数；

首先，面向人脸图像建立模型；然后，根据人脸模型，将人脸图像分为背景区域与重要器官区域；最后，针对不同区域采用不同的参数；三维块匹配滤波部分依据自适应参数对输入的人脸图像进行变换域协同滤波处理；

所述获取自适应参数部分分为3个步骤：

(1)定义人脸模型

定义了一个人脸模型：选取N幅正面人脸图像， N>0 ，根据人眼位置归一化；然后，将N幅人脸图像叠加，得到一个统计能量图；

获取双眼中心的坐标后，得到两眼间的像素距离；由此，定义一个T型区域；这个区域包含了正面人脸的所有重要器官；左、右眼中心P₁、P₂的坐标分别为(x₁,y₁)、(x₂,y₂)，P₁和P₂处于同一水平线上；两眼间的像素距离为d；根据两眼像素距离以及人脸五官位置关系，定义一个T型区域；左右眼中心到左右边界距离均为0.25d，组成了一个长为1.5d宽为0.5d的矩形，是T型区域的水平部分；T型区域的垂直部分是一个长为0.75d宽为d的矩形；基于这个人脸模型，将相似块的搜索区域扩展；垂直的搜索距离保持不变，而水平方向的搜索范围扩展到T型区域的边界处；

(2)根据压缩比获取自适应参数

选择N幅图像来测试针对不同压缩比下的最优方差参数；将压缩因子Q的取值Q_i设为5到40区间，间隔为5，即Q₁＝5，Q₂＝10，…，Q₈＝40，对N幅图像分别JPEG压缩；针对压缩因子取值为Q_i的图像，测试了2到40之间、间隔为2，不同的方差参数对应的PSNR结果；计算N个PSNR的平均值；将最高的平均PSNR对应的方差作为压缩因子取值Q_i对应的最优方差参数；

(3)根据人脸模型获取自适应参数

将人脸图像分为两个部分，也就是背景区域R_b和重要器官区域R_o；背景区域R_b表示平坦区域，即T型区域的外部；R_o表示眼睛、鼻子和嘴巴的区域，即T型区域的内部，在压缩因子为Q的情况下，R_b区域中方差参数sigma_b依据步骤(2)所测结果选取；

而对于R_o区域中的方差参数sigma_o，保持sigma_b不变，测试2到40之间、间隔为2，不同的sigma_o参数对应的PSNR结果；计算N个PSNR的平均值；最高的平均PSNR对应的sigma_o，作为压缩因子为Q时的最优sigma_o参数；

所述三维块匹配滤波部分分为两个阶段：

(1)基础估计

a)分组

把输入压缩失真人脸图像Z划分成相互交叠的图像块Z_x∈X，其中X是这些块的坐标构成的合集，x表示图像块的坐标；采用欧式距离衡量两图像块之间的相似性；分别将参考图像块和搜索范围内的图像块逐个对比，若欧式距离小于距离阈值

则认为两图像块相似，反之则不相似；将搜索到的具有相似结构的二维图像块

组成一个三维矩阵

b)协同滤波

对三维矩阵进行可分的三维变换，具体包括二维Bior小波硬阈值收缩和块间径向一维Haar小波变换；所得结果利用硬阈值调整变换系数来去除噪声，再执行逆三维变换：

其中，F为可分的三维变换，F^-1为F的逆变换，shrink为硬阈值处理；

c)聚集

步骤b)硬阈值收缩后，每个块都得到一个估计值；根据估计值集合矩阵数值中非零的个数，得到基础估计权值：

其中，为三维矩阵硬阈值处理后非零系数的个数，sigma为自适应参数获取部分得到的参数对于背景区域和重要器官区域分别为sigma_b和sigma_o；

对于某一个像素，可能会出现在多个块内，需要对这些有重叠的块估计值进行加权平均来得到每个像素的基础估计值，重建为基础估计图像

(2)最终估计

对基础估计图像再进行分块并协同维纳滤波，分为以下三个步骤：

a)分组

对第一步中得到的基础估计图像

再次进行块匹配，并堆叠所有匹配的块形成新的三维矩阵同时利用这个匹配结果的各个图像块的坐标，在输入含噪声图像块Z_x中找到与这些坐标相对应的图像块，构成另一个三维矩阵

此时有两个对应的三维矩阵，一个是第一步得到的由原图像中相似块组成的三维矩阵，另一个是由基础估计图像中相似块组成的三维矩阵；

b)协同维纳滤波

对两个三维矩阵均进行可分的三维变换，具体是二维DCT余弦变换以及一维Haar小波变换，以基础估计图像对应的三维矩阵对原图像对应的三维矩阵进行维纳滤波；最后执行可分的三维逆变换得到去噪的图像块；具体公式如下：

其中，

为对含噪图像上三维矩阵

的三维变换，

为逆三维变换，维纳滤波公式为：

c)聚集

对这些块估计值进行加权平均后放回它们原始位置来得到的最终的去噪图像；权值

由下式确定：

Images