CN106709874A - 一种基于人脸结构相关的压缩低分辨率人脸图像复原方法 - Google Patents

Abstract

一种基于人脸结构相关的压缩低分辨率人脸图像复原方法属于图像信息处理技术领域。本发明采用人脸结构相关自适应滤波与局部稀疏字典学习的方法，将低分辨率压缩人脸图像重建为高分辨率人脸图像。本发明根据人脸结构特征，将基于局部位置自适应的滤波方法和稀疏字典表示方法引入到压缩人脸图像超分辨率重建中，分别解决图像去块效应和超分辨率重建问题。在人脸几何结构相似性的指导下，依据位置信息对人脸图像块分类，分别采用不同的滤波参数进行平滑滤波，并建立不同位置的字典，实现高质量图像复原。

Description

一种基于人脸结构相关的压缩低分辨率人脸图像复原方法

技术领域

本发明属于图像信息处理技术领域，涉及图像超分辨率复原领域，特别涉及一种基于人脸结构相关的压缩低分辨率人脸图像复原方法。

背景技术

高质量的图像/视频能够提供更丰富的信息和更真实的视觉感受，是很多实际应用的基础，其中，高质量的人脸图像更是大部分人脸识别算法取得高性能的前提条件。然而，在图像获取过程中，受到图像采集设备、采集环境、噪声等因素的影响，在接收终端呈现的图像在分辨率上通常难以令人满意。低分辨率是低质量人脸图像的主要降质因素之一。因此，如何通过低质量图像重建高质量的图像，一直以来都是人脸图像领域中所致力解决的关键问题之一。

图像超分辨率复原的目的是采用低分辨率的输入图像，通过结合图像先验知识的超分辨率重构算法产生高分辨率的图像，使图像具有更丰富的细节特征。针对监控视频中获取的低质量低分辨率人脸图像问题，研究者开展了人脸图像超分辨率重建技术研究。

超分辨率算法按照技术手段可以分为三类：基于重建的超分辨率算法、基于插值的超分辨率算法、基于学习的超分辨率算法。以基于学习的图像超分辨率重建技术为代表的一系列方法可有效提高低分辨率人脸图像的质量，能够取得较好的主客观质量。这类方法通过样本库中的先验知识来约束重建过程，将机器学习借鉴到超分辨率算法中，样本的先验给重建提供了更多的信息来源，从而提升了超分辨率重建的主客观质量。基于稀疏表示的图像超分辨率重建方法是一种基于学习的超分辨率算法。这种方法对输入的低分辨率图像没有太高的要求，增加了超分辨率重建算法的适用性。

本发明提出了一种基于人脸结构相关的压缩低分辨率人脸图像复原方法。采用基于人脸结构自适应的图像滤波方法和局部稀疏字典实现压缩低分辨率人脸图像的超分辨率重建。

发明内容

本发明的目的在于，采用人脸结构相关自适应滤波与局部稀疏字典学习的方法，将低分辨率压缩人脸图像重建为高分辨率人脸图像。

本发明是采用以下技术手段实现的：

一种基于人脸结构相关的压缩低分辨率人脸图像复原方法。其特征在于，分为基于人脸结构自适应的滤波和局部稀疏字典超分辨率重建两部分。算法流程如附图1所示。

第一部分为基于人脸结构自适应的滤波预处理。

对于输入的压缩低分辨率人脸图像X_l，采用一种面向压缩人脸图像的自适应滤波算法(ABM3D，Adaptive Block Match 3D Filter)先对其进行滤波处理。具体步骤如下：

我们获取双眼中心的坐标后，得到两眼间的像素距离。由此，定义一个T型区域，如图2所示。这个区域包含了正面人脸的所有重要器官。左、右眼中心P₁、P₂的坐标分别为(x₁,y₁)、(x₂,y₂)，P₁和P₂处于同一水平线上。两眼间的像素距离为d。根据两眼距离以及人脸五官位置关系，我们定义一个T型区域。左右眼中心到左右边界距离均为0.25d，组成了一个长为1.5d宽为0.5d的矩形，是T型区域的水平部分；T型区域的垂直部分是一个长为0.75d宽为d的矩形。这个区域包含了正面人脸的所有重要器官。基于这个人脸模型，我们将相似块的搜索区域扩展。垂直的搜索距离保持不变，而水平方向的搜索范围扩展到T型区域的边界处。

同时，将人脸图像依据T型区域分为两个部分，也就是背景区域R_b和重要器官区域R_o。背景区域R_b表示平坦区域，即T型区域的外部；R_o表示眼睛、鼻子和嘴巴的区域，即T型区域的内部，在这部分包含了复杂的纹理结构。因此，在压缩比为Q的情况下，R_b区域中sigma参数sigma_b及R_o区域中的sigma参数aigma_o，将采用不同的参数，达到在平滑图像的同时尽可能的保留图像的细节信息的目的。

依据人脸的结构信息分别获取最优的自适应参数后，对图像依次进行基础估计、最终估计两个阶段的操作。在每个阶段都分有相似的三个步骤：分组、联合滤波、聚集。最终输出平滑滤波后的人脸图像。

第二部分为局部稀疏字典超分辨率重建。

局部稀疏字典超分辨率重建部分分为离线阶段和在线阶段。所述离线阶段包括，建立训练样本库、稀疏字典训练；所述在线阶段包括分块稀疏表示、稀疏重建。

该方法具体包括以下步骤：

(1)离线阶段：

人脸图像作为一种特殊图像，不同的人脸图像之间存在几何结构相似性，即人脸图像中都主要包括了眼睛、鼻子、嘴巴重要器官，且这些重要器官的位置分布相似。因此在所述算法中将人脸图像归一化后裁剪为相同尺寸，按照位置划分为各个图像块训练成对应的字典对。具体步骤如下：

第一步，建立训练样本库。

对于N幅高分辨率人脸图像库I_Hi表示第i幅高分辨率人脸图像，进行人脸五官归一化，分别对齐眼睛，鼻子和嘴巴；然后，通过K倍下采样获取每幅高分辨率人脸图像对应的低分辨率人脸图像，接着，JPEG压缩获取低质量低分辨率的人脸图像，压缩因子为Q_train。此时获得了N对高、低分辨率人脸图像I_Hi表示第i幅高分辨率人脸图像，I_Li表示第i幅低分辨率人脸图像。

把各个训练图像按位置分为若干重叠的位置块，图像块大小为P×P，重叠像素为T。同一位置的高分辨率块构成高分辨率训练样本集，与之对应的低分辨率块构成低分辨率训练样本集，对应高低分辨率训练样本集作为一个训练样本集对。共构成M个训练样本集，每个样本集共有N个相同位置的图像块。

建立高低分辨率字典的训练样本的示意图如图3所示。

第二步，稀疏字典训练。

对于一个信号的稀疏表示，就是寻找信号被过完备字典所表示的过程。稀疏表示的目的就是寻找信号被字典最稀疏表示的过程，即得到的稀疏表示系数中的非零项个数远小于字典中的原子个数。

M个训练样本集，各训练一组对应的高低分辨率的稀疏表示字典。这里字典训练采用Yang Jianchao等人2010年发表的文章“Image Super-Resolution via SparseRepresentation”中提到的联合稀疏字典训练方法。通过迭代求解，可以得到稀疏字典Dh和Dl。训练字典需要高分辨率图像块组成的图像块样本集和低质量低分辨率图像块组成的图像块样本集。

(2)在线阶段：

第一步，分块稀疏表示。

对于滤波后的人脸图像，按位置分块得到图像块(m，n)为当前位置块的左上角坐标，L、W分别为图像的长和宽。i表示第i幅测试人脸图像。根据图像块的当前坐标找到对应的低分辨率稀疏字典Dl_(m，n)稀疏表示，得到稀疏表示系数α_(m，n)。将稀疏表示系数α_(m，n)与Dh_(m，n)进行重建，得到(m，n)位置的重建图像块。重建过程如公式(1)所示：

设为图像块经过稀疏超分辨率重建得到的结果，由于此时为列向量，需按照就是展开为列向量的逆过程将恢复为块的形式，重建之后恢复的块用表示。

第二步，稀疏重建。

把所有基本的人脸图像块按原位置放置，块与块之间的重叠部分取均值，得到重建的人脸图像X_h。

本发明与现有技术相比，具有以下明显的优势和有益效果：

本发明所述方法根据人脸结构特征，将基于局部位置自适应的滤波方法和稀疏字典表示方法引入到压缩人脸图像超分辨率重建中，分别解决图像去块效应和超分辨率重建问题。在人脸几何结构相似性的指导下，依据位置信息对人脸图像块分类，分别采用不同的滤波参数进行平滑滤波，并建立不同位置的字典，实现高质量图像复原。

本发明的特点：

1.本发明引入基于人脸结构位置信息自适应的滤波方法，作为预处理滤波过程，去除低质量压缩人脸图像中的块效应，降低超分辨率重建过程中块效应对结果的影响；

2.本发明所述算法将人脸的几何结构相似性引入图像的超分辨率复原过程中，按位置将人脸图像块分类并训练多个字典，指导压缩人脸图像的超分辨率重建。

附图说明：

图1、方法流程图；

图2、定义人脸T型区域示意图；

图3、离线训练位置字典对示意图；

图4、不同压缩比下的最优sigma参数选择

图5、不同超分辨率重建方法的主观结果对比；

表1、不同方法超分辨率复原的客观结果对比。

具体实施方式：

以下结合说明书附图，对本发明的实施实例加以说明：

本发明采用CAS-PEAL-R1大型公开人脸数据库进行训练和测试。CAS-PEAL-R1人脸库包括不同表情、不同姿态不同配饰、不同光照、不同背景、与相机之间不同距离的人脸图像，共1040个人的30863幅图像。实验中，我们选用无遮挡的正常正面人脸图像中的100张图像作为训练样本，20张图像作为测试样本。

一种基于人脸结构相关的压缩低分辨率人脸图像复原方法。其特征在于，分为基于人脸结构自适应的滤波和局部稀疏字典超分辨率重建两部分。算法流程如附图1所示。

第一部分为基于人脸结构自适应的滤波预处理。

对于输入的压缩低分辨率人脸图像X_l，采用一种面向压缩人脸图像的自适应滤波算法(ABM3D，Adaptive Block Match 3D Filter)先对其进行滤波处理。具体步骤如下：

我们获取双眼中心的坐标后，得到两眼间的像素距离。由此，定义一个T型区域，如图2所示。这个区域包含了正面人脸的所有重要器官。左、右眼中心P₁、P₂的坐标分别为(x₁,y₁)、(x₂,y₂)，P₁和P₂处于同一水平线上。两眼间的像素距离为d。根据两眼距离以及人脸五官位置关系，我们定义一个T型区域。左右眼中心到左右边界距离均为0.25d，组成了一个长为1.5d宽为0.5d的矩形，是T型区域的水平部分；T型区域的垂直部分是一个长为0.75d宽为d的矩形。这个区域包含了正面人脸的所有重要器官。基于这个人脸模型，我们将相似块的搜索区域扩展。垂直的搜索距离保持不变，而水平方向的搜索范围扩展到T型区域的边界处。

同时，将人脸图像依据T型区域分为两个部分，也就是背景区域R_b和重要器官区域R_o。背景区域R_b表示平坦区域，即T型区域的外部；R_o表示眼睛、鼻子和嘴巴的区域，即T型区域的内部，在这部分包含了复杂的纹理结构。因此，在压缩比为Q的情况下，R_b区域中sigma参数sigma_b及R_o区域中的sigma参数sigma_o，将采用不同的参数，达到在平滑图像的同时尽可能的保留图像的细节信息的目的。如图4所示，在Q＝20时，sigma_b和sigma_o分别取8和6。

依据人脸的结构信息分别获取最优的自适应参数后，对图像依次进行基础估计最终估计两个阶段的操作。在每个阶段都分有相似的三个步骤：分组、联合滤波、聚集。最终输出平滑滤波后的人脸图像。

对于输入的压缩低分辨率人脸图像X_L，采用一种面向压缩人脸图像的自适应去块效应算法(ABM3D，Adptive Block Match 3D Filter)先对其进行滤波处理，去除低质量图像中存在的大多数块效应，以提高后续超分辨率复原的结果质量。输入为压缩低分辨率人脸图像X_l，及压缩因子Q，图像分辨率为64×64。预处理算法中，ABM3D算法将按照不同的压缩因子，调整采用不同的滤波参数sigma对压缩人脸图像进行去块效应过程。输出为去块效应后的低分辨率人脸图像X_l。

第二部分为局部稀疏字典超分辨率重建。

局部稀疏字典超分辨率重建部分分为离线阶段和在线阶段。所述离线阶段包括，建立训练样本库、稀疏字典训练；所述在线阶段包括分块稀疏表示、稀疏重建。

具体包括以下步骤：

(1)离线阶段：

第一步，建立训练样本库。

对于N幅高分辨率人脸图像库N＝100，I_Hi表示第i幅高分辨率人脸图像，进行人脸五官归一化，分别对齐眼睛，鼻子和嘴巴；然后，通过K倍下采样获取每幅高分辨率人脸图像对应的低分辨率人脸图像，K＝2。接着，JPEG压缩获取低质量低分辨率的人脸图像，训练压缩因子Q_train随机取5到30之间的整数。此时获得了N对高、低分辨率人脸图像I_Hi表示第i幅高分辨率人脸图像，I_Li表示第i幅低分辨率人脸图像。

把各个训练图像按位置分为若干重叠的位置块，图像块大小为P×P，P＝8，重叠像素为T，T＝3。同一位置的高分辨率块构成高分辨率训练样本集，与之对应的低分辨率块构成低分辨率训练样本集，对应高低分辨率训练样本集作为一个训练样本对。共构成M个训练样本对，每个样本集有N个相同位置的图像块，其中

L和W分别为图像的长和宽。

第二步，稀疏字典训练。

对于一个信号的稀疏表示，就是寻找信号被过完备字典所表示的过程。稀疏表示的目的就是寻找信号被字典最稀疏表示的过程，即得到的稀疏表示系数中的非零项个数远小于字典中的原子个数。

M个训练样本集，各训练一组对应的高低分辨率的稀疏表示字典对。这里字典训练采用Yang Jianchao等人2010年发表的文章“Image Super-Resolution via SparseRepresentation”中提到的联合稀疏字典训练方法。通过迭代求解，可以得到稀疏字典Dh和Dl。训练字典需要高分辨率图像块组成的图像块样本集和低质量低分辨率图像块组成的图像块样本集。

(2)在线阶段：

第一步，稀疏表示。

对于滤波后的人脸图像X_l，按位置分块得到图像块(m，n)为当前位置块的左上角坐标，L、W分别为图像的长和宽。i表示第i幅测试人脸图像。根据图像块的当前坐标找到对应的低分辨率稀疏字典Dl_(m，n)稀疏表示，得到稀疏表示系数α_(m，n)。将稀疏表示系数α_(m，n)与Dh_(m，n)进行重建，得到(m，n)位置的重建图像块。重建过程如公式(2)所示：

设为图像块经过稀疏超分辨率重建得到的结果，由于此时为列向量，需按照就是展开为列向量的逆过程将恢复为块的形式，重建之后恢复的块用表示。

第二步，稀疏重建。

把所有基本的人脸图像块按原位置放置，块与块之间的重叠部分取均值，得到基本重建的人脸图像X_h。

实验结果见附图说明表1及图5，分别采用不同算法得到的人脸超分辨率复原结果与应用所述算法得到的峰值信噪比的对比。

表1、不同算法得到的图像去块效应客观结果PSNR对比

压缩因子	Bicubic	Yang	PSR	提出算法
					q＝10	27.5112	26.8778	26.6096	29.8067
q＝15	28.9766	28.3159	27.9456	29.0671
					q＝20	29.8374	29.1763	28.7263	29.9013
q＝25	30.4832	29.8349	29.3096	30.4897
					q＝30	30.9579	30.3240	29.7491	30.8768

Claims (1)

1.一种基于人脸结构相关的压缩低分辨率人脸图像复原方法，其特征在于，分为基于人脸结构自适应的滤波和局部稀疏字典超分辨率重建两部分；第一部分为基于人脸结构自适应的滤波预处理；

具体步骤如下：

定义一个T型区域，左、右眼中心P₁、P₂的坐标分别为(x₁,y₁)、(x₂,y₂)，P₁和P₂处于同一水平线上；两眼间的像素距离为d；该T型区域；左右眼中心到左右边界距离均为0.25d，组成了一个长为1.5d宽为0.5d的矩形，是T型区域的水平部分；T型区域的垂直部分是一个长为0.75d宽为d的矩形；这个区域包含了正面人脸的所有重要器官；基于这个人脸模型，将相似块的搜索区域扩展；垂直的搜索距离保持不变，而水平方向的搜索范围扩展到T型区域的边界处；

同时，将人脸图像依据T型区域分为两个部分，也就是背景区域R_b和重要器官区域R_o；背景区域R_b表示平坦区域，即T型区域的外部；R_o表示眼睛、鼻子和嘴巴的区域，即T型区域的内部，在压缩比为Q的情况下，R_b区域中sigma参数sigma_b及R_o区域中的sigma参数sigma_o，将采用不同的参数；

依据人脸的结构信息分别获取最优的自适应参数后，对图像依次进行基础估计、最终估计两个阶段的操作；在每个阶段都分有三个步骤：分组、联合滤波、聚集；最终输出平滑滤波后的人脸图像；

第二部分为局部稀疏字典超分辨率重建；

局部稀疏字典超分辨率重建部分分为离线阶段和在线阶段；所述离线阶段包括，建立训练样本库、稀疏字典训练；所述在线阶段包括分块稀疏表示、稀疏重建；

具体包括以下步骤：

(1)离线阶段：

具体步骤如下：

第一步，建立训练样本库；

对于N幅高分辨率人脸图像库I_Hi表示第i幅高分辨率人脸图像，进行人脸五官归一化，分别对齐眼睛，鼻子和嘴巴；然后，通过K倍下采样获取每幅高分辨率人脸图像对应的低分辨率人脸图像，接着，JPEG压缩获取低质量低分辨率的人脸图像，压缩因子为Q_train；此时获得了N对高、低分辨率人脸图像，I_Hi表示第i幅高分辨率人脸图像，I_Li表示第i幅低分辨率人脸图像；

把各个训练图像按位置分为若干重叠的位置块，图像块大小为P×P，重叠像素为T；同一位置的高分辨率块构成高分辨率训练样本集，与之对应的低分辨率块构成低分辨率训练样本集，对应高低分辨率训练样本集作为一个训练样本集对；共构成M个训练样本集，每个样本集共有N个相同位置的图像块；

第二步，稀疏字典训练；

对于一个信号的稀疏表示，就是寻找信号被过完备字典所表示的过程；稀疏表示的目的就是寻找信号被字典最稀疏表示的过程，即得到的稀疏表示系数中的非零项个数远小于字典中的原子个数；

M个训练样本集，各训练一组对应的高低分辨率的稀疏表示字典；通过迭代求解，得到稀疏字典Dh和Dl；训练字典需要高分辨率图像块组成的图像块样本集和低质量低分辨率图像块组成的图像块样本集；

(2)在线阶段：

第一步，分块稀疏表示；

对于滤波后的人脸图像，按位置分块得到图像块(m，n)为当前位置块的左上角坐标，L、W分别为图像的长和宽；i表示第i幅测试人脸图像；根据图像块的当前坐标找到对应的低分辨率稀疏字典Dl_(m，n)稀疏表示，得到稀疏表示系数α_(m，n)；将稀疏表示系数α_(m，n)与Dh_(m，n)进行重建，得到(m，n)位置的重建图像块；重建过程如公式(1)所示：

设为图像块经过稀疏超分辨率重建得到的结果，由于此时为列向量，需按照就是展开为列向量的逆过程将恢复为块的形式，重建之后恢复的块用表示；

第二步，稀疏重建；

把所有基本的人脸图像块按原位置放置，块与块之间的重叠部分取均值，得到重建的人脸图像X_h。