CN110503606B - 一种提高人脸清晰度的方法 - Google Patents

Abstract

本发明涉及图像处理领域，为提高人脸清晰度的方法，将高分辨率人脸分解为高分辨率基本人脸和增强人脸，并分别降采样为低分辨率基本人脸、增强人脸，构造低分辨率基本人脸训练集、低分辨率增强人脸训练集；基于PCA的基本人脸推理模型、低分辨率基本人脸训练集的平均值，重构超分辨率基本人脸；基于SRSP或VDSR的增强人脸推理模型重建得到超分辨率增强人脸；将超分辨率基本人脸和增强人脸融合得到清晰的超分辨率人脸。本发明提出基于清晰度可分级推理的超分辨率技术，能有效估计真实低分辨率人脸的结构和高频纹理信息，将重建后获得的高分辨率基本人脸和增强人脸进行融合，得到清晰的超分辨率人脸。

Description

一种提高人脸清晰度的方法

技术领域

本发明涉及图像处理领域，具体为一种提高人脸清晰度的方法。

背景技术

近年来，视频监控系统已经广泛应用于不同的地方，如在户外广场、商场、小区，甚至家里，视频监控系统越来越普遍。随之而来的问题是，人们对于视频监控画面的清晰度要求越来越高，特别是视频中的人脸信息。由于各种原因，如果视频监控中的人脸图像不是很清晰，甚至是模糊的面部特征，这样的人脸图像对于需要进行人脸检测和人脸识别的情况来说，是非常困难的。

为了解决这一问题，图像处理领域提出了超分辨率的技术，并在过去十年中取得了很大进展。根据参考人脸图像的数目，超分辨率技术SR一般可分为两类：基于视频图像序列的SR和单图像SR。前者是从几个具有细微差异的低分辨率图像中重建了一个超分辨率图像，后者是从单个低分辨率图像中提取一张丢失细节的高分辨率图像。单个图像SR在许多监视中特别有用，因为在很多监控视频中，一般只能获取一幅低分辨率的人脸图像，很难收集一系列特定对象的低分辨率人脸图像。另一方面，对单图像SR进行了改进，同时可以推进视频图像序列的SR技术。目前，世界上已经具有很多将低分辨率图片恢复成高分辨率图片的技术；但是，这种超分辨率技术仍然不太成熟，还有极大的改善和提升空间。其次，目前已经提出的超分辨率技术基本上使用的低分辨率图片并不是现实生活中所获得的低分辨率图片，一般是高分辨率图片经过高斯模糊函数进行处理后得到的低分辨率图片，这样的技术在使用上会存在一些局限性，虽然超分辨率技术在重建低分辨率图片上达到了很不错的效果，但是当使用真实的低分辨率人脸图片时，效果却不尽人意。最后，在超分辨率重建的图片上一直会有一个判断或是评价标准，对重建出来的高分辨率图片与最初的原始高清图片进行对比，进而判断使用一种超分辨率技术的重建低分辨率图片的效果如何，基本上，在图像处理领域使用的评价标准是峰值信噪比(PSNR)和结构相似性(SSIM)。这些评价方法虽说评价的准确度已经很高，但是针对人脸图片重建的评价准确度还不够完整，对于重建后图片的评价标准仍然存在很大的改进空间。

发明内容

为了解决现有技术所存在的问题，本发明提出一种提高人脸清晰度的方法，采取清晰度分级策略，将人脸分解为具有低清晰度的基本人脸和具有高频信息的增强人脸；提出基于清晰度可分级推理的超分辨率技术，能有效地估计真实低分辨率人脸的结构信息和高频纹理信息，将重建后获得的高分辨率基本人脸和增强人脸进行融合，得到清晰的超分辨率人脸。

根据本发明的提高人脸清晰度的方法，包括步骤：

S1、将高分辨率人脸分解为高分辨率基本人脸和高分辨率增强人脸，根据给定的高分辨率人脸训练集，生成高分辨率基本人脸训练集和高分辨率增强人脸训练集；

S2、将高分辨率基本人脸训练集中的所有基本人脸图像下采样为低分辨率基本人脸，构造低分辨率基本人脸训练集；

S3、将高分辨率增强人脸训练集中的所有增强人脸图像向下采样为低分辨率增强人脸，构建低分辨率增强人脸训练集；

S4、基于PCA的基本人脸推理模型，根据低分辨率基本人脸训练集的平均值计算低分辨率差分人脸；将低分辨率差分人脸投影到低分辨率特征空间中，得到系数向量；将低分辨率特征空间替换为高分辨率特征空间，再根据高分辨率基本人脸训练集的平均值和所述系数向量，重构超分辨率基本人脸；

S5、基于SRSP或VDSR的增强人脸推理模型进行重建，得到超分辨率增强人脸；

S6、将超分辨率基本人脸和超分辨率增强人脸进行融合，得到清晰的超分辨率人脸。

优选地，步骤S2中，将高分辨率基本人脸训练集中的所有基本人脸图像采用整数缩放因子降采样为低分辨率基本人脸；步骤S3中，将高分辨率增强人脸训练集中的所有增强人脸图像以整数尺度因子向下采样到低分辨率增强人脸中。

优选地，设超分辨率基本人脸为

超分辨率增强人脸为/>

步骤S6将超分辨率基本人脸/>

和超分辨率增强人脸/>

在空间上融合为清晰的超分辨率人脸的策略为：

其中，I^s是清晰的超分辨率人脸；η是能量归一化系数，取决于不同的测试人脸集。

优选地，所述提高人脸清晰度的方法还包括步骤：S7、采用基于匹配SIFT关键点的评估方法，对超分辨率人脸的质量进行评估。

与现有技术相比，本发明取得的技术效果包括：

1、采取清晰度分级策略，将人脸分解为具有低清晰度的基本人脸和具有高频信息的增强人脸；并提出新型的基于人脸重建的超分辨率技术——基于清晰度可分级推理的超分辨率技术SRDSI，能有效地估计真实低分辨率人脸的结构信息和高频纹理信息。

2、使用基于PCA的基本人脸推理模型进行低分辨率基本人脸的重建，使用基于稀疏表示的增强人脸推理模型或基于深度学习的增强人脸推理模型进行低分辨率增强人脸的重建，分别得到超分辨率的基本人脸和超分辨率的增强人脸，最后将超分辨率基本人脸和增强人脸进行融合，得到清晰的超分辨率人脸。

3、针对重建后的高分辨率图片提出了一种新的评价标准——利用匹配SIFT关键点来估计超分辨率人脸与其高分辨率标记人脸的相似性，在重建真实低分辨率人脸图像上取得了不错的效果。

附图说明

图1是本发明方法的流程图；

图2是平均SSIM和PSNR与标准偏差的相对曲线图，其中(a)和(b)用于LDFH-DB数据集，(c)和(d)用于SCface-DB数据集。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

本发明的主要思想是将高分辨率人脸划分为高分辨率全局人脸(basic face)和高分辨率局部人脸(enhanced face)，设计一种SISR算法分别对超分辨率基本人脸和超分辨率增强人脸进行重建得到高分辨率的基本人脸和增强人脸，将高分辨率基本人脸和增强人脸融合后得到超分辨率人脸。具体流程如图1所示，包括以下步骤：

1.清晰度可分级推理

根据尺度空间理论，将人脸划分为具有低清晰度的基本人脸和具有高频纹理信息的增强人脸。基本人脸可以显示人脸的整体结构信息，即使它是模糊的，对比度很低。增强人脸具有高频纹理信息和高对比度，可以提供更多的局部信息。超分辨率基本人脸是由低分辨率的基本人脸产生的幻象，被称为具有基本清晰度的全局人脸。超分辨率增强人脸是由低分辨率增强人脸产生的幻象，被称为具有局部纹理信息的超分辨率增强人脸。当超分辨率增强人脸与超分辨率基本人脸融合后，得到的超分辨率人脸将比超分辨率基本人脸更加清晰，此时得到的超分辨率人脸称为中分辨率人脸。同理，增强型人脸与中分辨率人脸融合为高清的超分辨率人脸。该方法利用增强人脸和基本人脸对超清晰的超分辨率人脸产生高分辨率的人脸幻象。

1.1面部图像分解

为了简单起见，本实施例将高分辨率人脸f(x,y)表示成I_h，I_h可以分解为高分辨率基本人脸I_b和高分辨率增强人脸I_e：

I_h＝I_b+I_e (1)

式中，

是卷积运算，h是高斯模糊函数，并获得高分辨率增强人脸I_e为:

I_e＝I_h-I_b (3)

根据给定的高分辨率人脸训练集，分别通过式(2)、(3)生成高分辨率基本人脸训练集和高分辨率增强人脸训练集。三个训练集的图像大小相同，均为128*128像素。

1.2基于主成分分析的基本人脸推理模型

根据公式(2)生成高分辨率基本人脸训练集后，将训练集中的所有基本人脸图像用整数缩放因子降采样为低分辨率基本人脸，从而构造一个低分辨率基本人脸训练集。下面的步骤是通过PCA建立一个从低分辨率基本人脸到高分辨率基本人脸的映射模型。映射模型的目的是从低分辨率模糊人脸中估计人脸结构。

将一组人脸用N*M的向量矩阵进行表示，表示为[g₁,g₂,...,g_m]，其中g_m是一个N*1的人脸向量(或称为N维列向量)，M是训练样本数(N>>M)。基本人脸训练集的平均脸

计算为：

然后，每个人脸向量中去除平均面，得到微分人脸矩阵。

这里，D∈R^N×M，参数R是实数。总散射矩阵S(也称集成协方差矩阵)定义为：

S＝DD^T (6)

由于散射矩阵的尺寸较大，直接计算S∈R^N×N的特征向量是不切实际的，因此通常从一个小尺寸的替代矩阵中计算特征向量，其中D^T是矩阵D的转置，C∈R^M×M。

C＝D^TD (7)

Cv_i ＝ λ_iv_i, i ＝ 1,2,...,M, (8)

这里分别给出了替代矩阵的第i个特征向量v_i和第i个特征值λ_i，并且v_i是一个M维的列向量。所有特征向量通过乘以

来进行归一化，然后集合成一个正交特征向量矩阵V∈R^M×M：

正交特征向量矩阵构造了一个特征向量空间，其坐标轴由特征向量

构成。然后将微分人脸矩阵D投影到特征向量空间中，形成一个新的矩阵E∈R^N×M。

E ＝ DV (10)

这里，E＝[e₁,e₂,...,e_M]，e_i∈R^N×1是以特定频率来表征的人脸信息，被称为特征脸。矩阵E被称为特征脸空间。特征值越大的特征脸代表了频率越低的组成部分，特征值越小的特征脸代表了包含局部细节的频率更高的组成部分，因此这样的特征脸空间包含了人脸的全局结构信息。然而，这些局部细节更容易产生噪声。因此用K个特征值最大的特征面构造一个小特征空间，Eig∈R^N×k,k＜M：

Eig＝[e₁,e₂,...,e_k] (11)

本发明将Eig_h和Eig_l分别作为高分辨率人脸训练集的特征空间和低分辨率人脸训练集的特征空间。特征人脸对(e_hi和e_li)是人脸幻像中将会使用的映射模型。

1.3基于稀疏表示的增强人脸推理模型

将训练集中的所有高分辨率增强人脸以整数尺度因子向下采样到低分辨率增强人脸中，构建低分辨率增强人脸训练集。图像统计研究表明，在适当的超完备字典中，图像块可以很好地表示元素的稀疏线性组合。因此，采用基于图像块的非参数化方法来学习高分辨率增强块与低分辨率增强块之间的映射关系，以满足局部约束条件。本实施例采用稀疏表示来学习映射关系。首先，分别从低分辨率增强人脸图像集和高分辨率增强人脸图像集中获得低分辨率增强的图像块和高分辨率增强的图像块。其次，将低分辨率增强图像块装配成与高分辨率增强模型的对应图像块对。两个字典(高分辨率增强字典D_h和低分辨率增强字典D_l)分别从高分辨率增强图像块和低分辨率增强图像块中训练，使每对高分辨率增强块和低分辨率增强块具有相同的稀疏表示。

1.4基于深度学习的增强人脸推理模型

本发明利用VDSR训练增强的人脸推理模型。VDSR是一种具有20个卷积层的单图像超分辨率端到端网络。在训练集

中，x和y分别表示低分辨率增强人脸和高分辨率增强人脸。本发明的目标是学习一个预测/>

的增强人脸推理模型f(x)，其中/>

是对目标超分辨率增强人脸的估计。平方误差是||y-f(x)||²/2，在训练集上的平均误差最小。

1.5人脸幻象

一个有能力的推理模型应该满足这样的条件，应该从低分辨率的基本人脸和增强人脸中尽可能多地推断出高分辨率的全局和局部信息。当然，无论是低分辨率的基本人脸还是低分辨率的增强人脸，都应该尽可能多地保存信息。因此，使用公式(12)和(13)代替公式(2)和(3)从真实的低分辨率人脸i中得到低分辨率基本人脸i_b和低分辨率增强人脸i_e：

i_b＝i (12)

i_e＝i-μ_i (13)

这里，μ_i是低分辨率人脸增强人脸的平均值。公式(12)仅仅减去平均值，使尽可能多的高频信息保留在低分辨率增强人脸中。将i_b和i_e分别输入到基本人脸推理模型和增强人脸推理模型中。

基于PCA的基本人脸推理模型，根据低分辨率基本人脸训练集的平均人脸计算低分辨率差分人脸i_d：

这里，

是低分辨率基本人脸训练集的平均值(相当于前面公式(6)中的/>

)。将i_d投影到低分辨率特征空间Eig_l中，得到系数向量c＝(c₁,c₂,...,c_k)^T；将Eig_l替换为高分辨率特征空间Eig_h，项目系数c不变，根据式(15)重构超分辨率基本人脸/>

这里，*表示一个乘法运算，列向量T是整个高分辨率基本人脸训练集的平均值。

前述基于稀疏表示的增强人脸推理模型、基于深度学习的增强人脸推理模型为两种产生超分辨率增强人脸的SISR方法，一个基于SRSP，另一个基于VDSR。在基于SRSP的增强人脸推理模型中，每个低分辨率增强图像块相对于低分辨率增强字典D_l的稀疏表示形式为：

低分辨率增强图像块是从低分辨率增强图像集里得到的比较稠密、信息比较多的图像块；而低分辨率增强字典是从低分辨率增强图像块得到的信息量较少、比较稀疏的图像矩阵。这里，F是一个线性特征提取算子，它的主要作用是对系数α与y的近似程度提供一个有感知意义的约束；ε是无穷小的正数，一般情况下ε>0，只要所需的系数是稀疏的，它们就可以通过最小化1¹-norm来有效地恢复：

参数λ平衡了解的稀疏性和接近y的保真度，本发明中λ＝0.2。

就像产生超分辨率基本人脸的幻象一样，每个低分辨率图像块的系数α都没有变化，使用高分辨率增强字典D_h代替低分辨率增强字典D_l，将超分辨率增强图像块重构为：

s＝D_h*α (18)

所有的超分辨率增强图像块都被放入到一个超分辨率的基本人脸

中。

在基于VDSR的增强人脸推理模型中，深层网络采用插值的低分辨率增强人脸(到期望的大小)作为输入并预测超分辨率的增强人脸

1.6后期融合

本发明将超分辨率基本人脸

和超分辨率增强人脸/>

在空间上融合为一个清晰的超分辨率人脸。为了使每个像素的强度保持在0～255之间，本实施例提出一种比例融合策略，I^s是最终得到清晰的超分辨率人脸。

这里，η是能量归一化系数，取决于不同的测试人脸集。

2.超分辨率人脸的质量评估

超分辨率人脸质量一般采用两种方式评估：主观和客观。主观方法是基于人眼对超分辨率人脸是低分辨率人脸的复制品还是真实的高分辨率人脸的感知评估；而客观方法是基于能够预测感知图像质量的计算模型。主观方法需要大量的视觉图像专家，无法实现实时的自动化。有时候，客观和主观的方法之间并不一定是一致的或是准确的：一个人类的观察者可能会觉察到质量上的明显差异，而计算机算法可能不会。到目前为止，研究人员已经开发出可以从超分辨率图像自动计算的客观定量措施。

本发明使用以一种新型的评价准则，基于匹配SIFT关键点的评估方法。SIFT是一种检测和描述图像局部特征的特征检测算法。SIFT的特点是在整个尺度和位置范围内密集覆盖图像，SIFT特征的位置称为SIFT关键点。SIFT特征对均匀缩放、方向、光照变化不变，对仿射畸变部分不变。SIFT特征和SIFT关键点在目标识别、视频跟踪、三维建模等方面得到了广泛的应用。

传统的匹配规则不考虑SIFT关键点的位置差异，因此有些关键点是分布在不同的坐标位置；假设有两个图像G(x,y)和S(x,y)，在G(x,y)中的关键点是在鼻子上，在S(x,y)中的关键点是在嘴上，但在传统的匹配策略中仍然作为一对匹配的关键点。在视觉跟踪和目标识别过程中，传统匹配规则对关键点的错误匹配可能导致错误的决策。

为了消除错误匹配，本发明将关键点的位置信息引入到匹配策略中。根据传统的匹配策略，假设图像G(x,y)的任一关键点a(x_a,y_a)和图像S(x,y)的任一关键点b(x_b,y_b)是一对匹配的SIFT关键点。为了确定它们是否正确匹配，计算空间场中关键点a和关键点b之间的欧氏距离为：

如果d_ab小于或等于预设值(本实施例预设值可为3)，则关键点a和关键点b正确匹配。也就是说，要为a(x_a,y_a)寻找一个匹配的SIFT关键点，只有位于以(x_a,y_a)为中心，像素3为半径的指定区域内的SIFT关键点才被视为候选点，如果指定区域中有两个或更多SIFT关键点，则具有最小距离d_ab的关键点才是一对正确匹配的关键点。

3实验与结果

3.1人脸数据集

本发明方法的主要目的是从真实的低分辨率人脸中产生高分辨率人脸，这些人脸是直接从真实环境中获取的，而不是受刺激的低分辨率人脸中获取的。人脸数据库应该提供真实的低分辨率人脸和高分辨率标记人脸。因此，本实施例选择LDHF-DB和SCface-DB数据集对所提出的算法进行评价。由于高分辨率标记人脸在LDHF-DB和SCface-DB数据集中都是正面，因此本实施例选择的所有低分辨率人脸应该是正面或几乎正面，以避免丢失匹配的SIFT关键点。为了与实际应用环境相匹配，裁剪原则是所有低分辨率人脸都直接从原始低质量人脸裁剪，或是根据原始面部图像中的实际眼间距离进行内插或裁剪，而不是进行下采样和插值得到的。

根据上述裁剪原理，将距离为150米的LDFH-DB数据集中的100个真实低质量人脸裁剪成具有64*64像素的低分辨率人脸，并将所有100个裁剪的人脸进行归一化为左眼和右眼分别位于位置(16，16)和(16，48)的图像，以改善真实的超分辨率人脸的质量评估。同样地，摄像机在4.2米距离处拍摄的SCface-DB数据集中的130个真实低质量人脸被裁剪成具有32*32像素的低分辨率人脸，并且所有130个裁剪图像被标准化为具有左眼和右眼分别位于位置(8，8)和(8，24)的图像。来自LDFH-DB数据集的100个高质量正面人脸图片和来自SCface-DB数据集的130个高质量正面人脸图片被裁剪为具有128*128像素的高分辨率标记人脸图片，然后归一化为左眼和右眼位置分别在(32，32)和(32，96)的图像。特别地，高分辨率人脸标记的人脸被视为训练人脸，而裁剪的真实低分辨率人脸被用作测试人脸。本发明所提出的方法是对真实低分辨率图像和高分辨率标记图像同时保真地重建超分辨率图像。

SISR的性能取决于训练集的大小，并且相对较小的训练集可以取得令人满意的结果。另一方面，无法从小型训练集中学习普遍特征。因此，本发明分别为LDFH-DB和SCface-DB数据集构建了两个训练集。LDFH-DB的训练集由100个高分辨率标记人脸组成，SCface-DB的训练集由130个高分辨率标记人脸组成。

3.2用于刺激基本人脸和增强人脸的适当标准偏差σ

毫无疑问，适当的推理模型是从真实的低分辨率人脸中推断高分辨率信息的关键。在本发明中，用于训练的低分辨率的基本人脸和增强人脸受到高分辨率标签人脸的刺激。合理的是，受刺激的低分辨率的人脸与相应的真实的低分辨率人脸越相似，学习的推理模型将越合适。本发明使用SSIM和PSNR来测量受刺激的低分辨率人脸与其对应的真实低分辨率人脸的相似性。因此，应该为每个面部数据库设置偏差σ_g和σ_l，以分别刺激基本人脸和增强人脸。

为了获得合适的σ_g和σ_l。首先给定一个标准差σ，每个高分辨率的人脸被分解成基本人脸和增强人脸，然后下采样得到一张低分辨率的基本人脸和一张低分辨率增强人脸，得到的低分辨率基本人脸和低分辨率增强人脸的尺寸与真实的低分辨率人脸的尺寸相同。其次，SSIM和PSNR是在受刺激的低分辨率基本面部或增强面部与其对应的每个面部集合的真实低分辨率基本面部或增强面部之间计算的。第三，计算所有人脸的平均SSIM和平均PSNR。当给定一系列的标准差σ时，获得一系列的平均SSIM和平均PSNR。图2显示了平均SSIM与σ和平均PSNR与σ关系的曲线，图中实曲线和虚曲线分别表示偏差σ_g和σ_l，σ_g和σ_l分别用于刺激全局面和局部面，局部极值点被标记为实点。图2中，(a)和(b)用于LDFH-DB数据集，(c)和(d)用于SCface-DB数据集。

显然，在定义场的所有曲线上存在局部极值点，σ∈[0,60]。因此，相对于SSIM或PSNR测量中，找到适当的标准偏差以使受激励的低分辨率人脸与其真实的低分辨率人脸非常相似是可行的。

将局部极值点处的标准差σ视为σ_g或σ_l。因为受刺激的低分辨率人脸和真正的低分辨率人脸不属于同一原始人脸，虽然它们来自同一主体，但SSIM被认为比PSNR更合适测量两个人脸的结构相似性。因此，SSIM的极值是用来决定使用偏差σ_g或σ_l。在本发明中，对于LDFH-DB数据集，σ_g和σ_l分别设置为8.75和20.25，对于SCface-DB数据集，σ_g和σ_l分别设置为3.5和33。

当使用较大的标准差σ来分解图像时，基本人脸将包括较少的能量，而增强人脸将包括更多的能量。相反，当使用较小的标准差σ来分解图像时，基本人脸将获得更多的能量，而增强人脸获得更少的能量。σ_g<σ_l保证大部分高分辨率全局信息能够被估计而去重建超分辨率基本人脸，并且大部分高分辨率本地信息被推断为产生超分辨率增强人脸。结果与真实低分辨率面的处理原理一致。

3.3不同定义的加工与幻化脸分析

一个真正的低分辨率的人脸通常是模糊的，只有很少的高频纹理信息。因此，如果根据公式(2)和(3)处理真实的低分辨率人脸，无论是低分辨率的基础人脸还是低分辨率的增强人脸都会变得更加模糊，一些信息将会被人为丢失。低分辨率增强后的人脸变得非常光滑，以至于不能产生超分辨率增强人脸的错觉。

为避免人为误差，根据公式(12)和(13)分别生成低分辨率基本人脸和低分辨率增强人脸。公式(12)和(13)使得低分辨率基本人脸和低分辨率增强人脸比公式(2)和(3)保留更多的信息。在根据公式(12)和(13)分别产生低分辨率基本人脸和低分辨率增强人脸之后，它们被幻象化为超分辨率基本人脸和超分辨率增强人脸。由基本人脸推理模型重建的超分辨率基本人脸，具有清晰的人脸结构，能够区分人脸轮廓。然而，在超分辨率基本人脸中存在一些假轮廓。本发明将超分辨率基本人脸称为低分辨率人脸。虽然超分辨率增强人脸看起来很嘈杂，但实际上它包含了很多高频信息。将超分辨率增强人脸与超分辨率基本人脸合并为另一个超分辨率人脸后，合并后的超分辨率人脸比超分辨率基本人脸更加清晰。在本发明中，合并的超级人脸称为高清人脸。

3.4真实低质量人脸的SISR

在训练了基本人脸推理模型和增强人脸推理模型之后，通过所提出的SRDSI将尺寸为64*64或32*32像素的真实低分辨率人脸重建为尺寸为128*128像素的超分辨率人脸。此外，采用了最先进技术产生低分辨率的幻像，最先进技术包括SRPCA、SRMA、SRSP、SRST、VDSR、ESRGAN和Super-FAN。

在LDFH-DB数据集的超分辨率人脸及其客观评价实验中，将64*64像素的低分辨率人脸幻化成128*128像素的超分辨率人脸，比例因子为2。从主观角度来看，很明显SRDSI比其他SISR具有更好的性能。通过SRDSI、SRPCA或SRST产生幻觉的超分辨率人脸，比通过其他技术产生幻觉的人脸，能重新获得更多关于人脸的结构信息(如嘴巴、眼睛和鼻子)。此外，SRDSI在恢复结构信息方面比SRPCA和SRST表现更好。虽然SRPCA和SRST比SRDSI获得了更多的面部细节，例如轮廓和眼睛边缘，但是SRPCA在超分辨率人脸中产生了大量的假轮廓，SRST用零件装配了超分辨率人脸。另一方面，SRDSI大大提高了对比度，使超分辨率人脸比其他人脸更清晰。简而言之，SRDSI大大提高了与高分辨率标签人脸相似的超分辨率人脸，而不是低分辨率人脸。

在SCface-DB数据集的超分辨率人脸及其客观评价实验中，将具有32*32像素的低分辨率人脸重建为具有128*128像素的超分辨率人脸，比例因子是4。由于SRST无法对真实的低分辨率人脸进行口、鼻、眼等面部成分的自动检测和标记，本发明在实验中没有使用SRST对超分辨率人脸进行幻像识别。主观评价结果显示，SRDSI使超分辨率人脸靠近其相应的高分辨率标签人脸，而其他SISR方法使超级分辨率人脸保持接近其低分辨率人脸对。最先进的技术不容易从真正的低分辨率人脸恢复结构部分。眼睛和眼睛的轮廓正确地固定在超分辨率的人脸而不是被错误的部分所替代。

从客观的角度来看，SRDSI比其他SISR方法实现了更好的图像质量测量结果。就SSIM和PSNR等测量而言，SRDSI比其他方法改进得更多。由SRDSI重建的超分辨率人脸在超分辨率人脸中测量值最大。此外，SRDSI和SRPCA可以恢复存在于高分辨率标记人脸中但在真实低分辨率人脸中丢失的许多匹配的SIFT关键点。

表1列出了来自LDFH-DB数据集的100个超分辨率人脸和来自SCface-DB数据集的130个超分辨率人脸的图像质量测量的平均值。所有的客观测量值均在高分辨率标记人脸与其低分辨率人脸或超分辨率人脸之间进行计算。表1中的“高分辨率”行表示在高分辨率标记的人脸之间检测到SIFT关键点，而数字表示高分辨率标记的人脸在每个人脸上平均有多少个SIFT关键点数据库。列“SIFT”和行“Low-res”上的数值表示在低分辨率人脸上只保留与高分辨率标记人脸上的SIFT关键点相匹配的数值。由表1可以看出，在高分辨率标记的人脸中平均有46.73(LDFH-DB)或56.3538(SCface-DB)SIFT关键点，而在真实的低分辨率人脸中只存在少量SIFT关键点(在LDFH-DB中只有2.15个，在SCface-DB中只有1.1769个)，并且许多SIFT关键点已经丢失。所有SISR方法都可以恢复一些SIFT关键点，SRDSI可以恢复许多匹配的SIFT关键点。基于PCA和SP的SRDSI对LDFH-DB和SCface-DB数据集的SIFT关键点平均恢复为4.38(＝6.53-2.15)和4.1154(＝5.2923-1.1769)。基于PCA和VDSR的SRDSI对LDFH-DB和SCface-DB数据集关键点平均恢复为4.36(＝6.51-2.15)和4.1308(＝5.3077-1.1769)。此外，SRDSI产生的SSIM和PSNR平均值远远高于其他技术。

表1

如上所述，便可较好地实现本发明，获取到高清晰的人脸图像。

Claims (4)

1.一种提高人脸清晰度的方法，其特征在于，包括步骤：

S1、将高分辨率人脸I_h分解为高分辨率基本人脸I_b和高分辨率增强人脸I_e，根据给定的高分辨率人脸训练集，生成高分辨率基本人脸训练集和高分辨率增强人脸训练集；

I_h＝I_b+I_e

式中，

是卷积运算，h是高斯模糊函数，并获得高分辨率增强人脸I_e为：

I_e＝I_h-I_b

S2、将高分辨率基本人脸训练集中的所有基本人脸图像降采样为低分辨率基本人脸，构造低分辨率基本人脸训练集；

S3、将高分辨率增强人脸训练集中的所有增强人脸图像向下采样为低分辨率增强人脸，构建低分辨率增强人脸训练集；

建立一个从低分辨率基本人脸到高分辨率基本人脸的映射模型，用于从低分辨率模糊人脸中估计人脸结构；映射模型的建立过程包括步骤：

将一组人脸用N*M的向量矩阵表示为[g₁,g₂,...,g_m]，其中g_m是一个N*1的人脸向量，M是训练样本数，N>>M；基本人脸训练集的平均脸

计算为：

然后，每个人脸向量中去除平均面，得到微分人脸矩阵；

其中D∈R^N×M，参数R是实数；总散射矩阵S定义为：

S＝DD^T

从替代矩阵中计算特征向量，其中D^T是微分人脸矩阵D的转置，C∈R^M×M：

C＝D^TD

Cv_i＝λ_iv_i,i＝1,2,...,M,

分别给出替代矩阵的第i个特征向量v_i和第i个特征值λ_i，并且v_i是一个M维的列向量；所有特征向量进行归一化，集合成一个正交特征向量矩阵V∈R^M×M：

正交特征向量矩阵构造了一个特征向量空间，其坐标轴由特征向量

构成；将微分人脸矩阵D投影到特征向量空间中，形成一个新的矩阵E∈R^N×M：

E＝DV

其中，E＝[e₁,e₂,...,e_M]，e_i∈R^N×1为特征脸；矩阵E被称为特征脸空间；用K个特征值最大的特征面构造一个小特征空间，Eig∈R^N×k,k＜M：

Eig＝[e₁,e₂,...,e_k]

将Eig_h和Eig_l分别作为高分辨率人脸训练集的特征空间和低分辨率人脸训练集的特征空间；特征人脸对e_hi和e_li是人脸幻像中使用的映射模型；

通过以下公式，从真实的低分辨率人脸i_l中得到低分辨率基本人脸i_b和低分辨率增强人脸i_e：

i_b＝i_l

i_e＝i_l-μ_i

其中，μ_i是低分辨率人脸增强人脸的平均值；

S4、基于PCA的基本人脸推理模型，根据低分辨率基本人脸训练集的平均值计算低分辨率差分人脸；将低分辨率差分人脸投影到低分辨率特征空间中，得到系数向量；将低分辨率特征空间替换为高分辨率特征空间，再根据高分辨率基本人脸训练集的平均值和所述系数向量，重构超分辨率基本人脸；

S5、基于SRSP或VDSR的增强人脸推理模型进行重建，得到超分辨率增强人脸；

S6、将超分辨率基本人脸和超分辨率增强人脸进行融合，得到清晰的超分辨率人脸。

2.根据权利要求1所述的提高人脸清晰度的方法，其特征在于，步骤S2中，将高分辨率基本人脸训练集中的所有基本人脸图像采用整数缩放因子降采样为低分辨率基本人脸；步骤S3中，将高分辨率增强人脸训练集中的所有增强人脸图像以整数尺度因子向下采样到低分辨率增强人脸中。

3.根据权利要求1所述的提高人脸清晰度的方法，其特征在于，设超分辨率基本人脸为

超分辨率增强人脸为/>

步骤S6将超分辨率基本人脸/>

和超分辨率增强人脸/>

在空间上融合为清晰的超分辨率人脸的策略为：

其中，I^s是清晰的超分辨率人脸；η是能量归一化系数，取决于不同的测试人脸集。

4.根据权利要求1所述的提高人脸清晰度的方法，其特征在于，所述提高人脸清晰度的方法还包括步骤：

S7、采用基于匹配SIFT关键点的评估方法，对超分辨率人脸的质量进行评估。

Images