CN103489174B - 一种基于残差保持的人脸超分辨率方法 - Google Patents

Abstract

本发明公开了一种基于残差保持的人脸超分辨率方法，本发明是基于学习的方法，首先将高低分辨率训练图像对统一分块，在以位置为依据的块集合内部进行处理：对输入图像的每一个块，在对应位置训练块集上分别估计其平滑高频成分、标准差投影高频成分、以及通过残差训练集估计其高频补偿成分。通过这三种高频信息的线性组合，在高分辨率平均脸上重建出高分辨率图像。以此解决或减轻噪点严重的人脸图像（如监控图像）超分辨率恢复中的噪声问题。

Description

一种基于残差保持的人脸超分辨率方法

技术领域

本发明属于图像处理(图像恢复)领域，针对低质量监控视频中人脸图像恢复的需求，具体涉及一种基于残差保持的人脸超分辨率方法。

背景技术

近年来，随着安防监控系统的快速发展，监控取证在安全防范、犯罪取证等领域发挥着越来越重要的作用，其中人脸图像取证是监控取证的重要关注点之一。然而由于监控录像中，摄像头与目标人脸距离较远、恶劣天气(雨雾等)、光照条件差等原因引起的严重模糊和噪声，监控录像中捕获的人脸图像可用像素极低，图像的恢复、辨识往往受到严重的阻碍。因此，为减少图像噪声、模糊对辨识的干扰，提升低质量图像分辨率，一般采用人脸超分辨率技术来对低质量人脸图像进行高分辨率恢复。

人脸超分辨率技术顾名思义，就是用技术手段从低分辨率人脸图像中恢复出高分辨率人脸图像。人脸超分辨率技术可以大致分为两类：基于重建的方法和基于学习的方法两类。

人脸超分辨率问题是一个解无穷的问题，因为一幅低质量图像可能对应多幅不同高质量图像。基于重建的方法的主要思想就是希望通过加入先验约束缩小求解范围以获得最优高分辨率人脸图像。而基于学习的方法的思想是希望通过统计学习的方法，通过掌握在库的高低分辨率图像对中存在的空间关系，来从低质量的人脸图像恢复出高分辨率的人脸图像。

基于学习的方法中，以下几种较具代表性：2005年，Wang和Tang提出一种基于全局脸的人脸超分辨率方法，通过分别构建高低分辨率子空间，将求得的低分辨率图像在子空间的表达系数投影到高分辨率空间上而获得高分辨率图像。H.Huang提出一种基于局部保持投影的自适应流形学习方法，从局部子流形分析人脸的内在特征，重构出低分辨率图像缺失的高频成分。XiangMa提出一种基于块位置的线性权重投影算法，从局部子流形分析人脸的内在特征，重构出低分辨率图像缺失的成分。CeLiu提出一种人脸图像超分辨率重构的两步法，先根据局部保持投影和径向基函数回归得到全局的人脸图像，再由基于局部重建的方法补偿人脸特征的细节信息。

但是，现有的基于学习的经典方法大多仅按照传统的技术思路学习固定人脸库高低分辨率统计关系，通过对图像各个频段信息统一学习的方法来提高超分辨率恢复效果；在图像细节重建的过程中，高频细节并没有得到较好的利用和重视。该类方法在处理一般人脸超分辨率问题可以得到不错的效果，但是图像质量很低的时候，像素会遭到严重的毁坏混叠，效果并不令人满意。

发明内容

为了解决上述的技术问题，本发明提出了一种鲁棒性的人脸超分辨率方法，在监控环境下人脸图像损毁严重时，能显著提高人脸恢复图像的视觉感受。

本发明所采用的技术方案是：一种基于残差保持的人脸超分辨率方法，其特征在于，包括以下步骤：

步骤1：获得经过眼睛和嘴巴位置对齐的高分辨率人脸样本图像库Y_s，以及与其一一对应的低分辨率人脸样本图像库X_s；

步骤2：将所述的高分辨率人脸样本图像库Y_s的图像和对应的低分辨率人脸样本图像库X_s中的图像进行一一分块，用对应图像具有交叠部分的图像块集来表示Y_s和X_s中的每一对应图像；

步骤3：获取待处理的低分辨率图像x，并采用上述步骤2中图像分块的方法对x分块，得到所述的低分辨率图像x的块域训练集{x_ij}，其中，x_ij表示x处于位置标号为(i,j)的待估计块；

步骤4：取出X_s在(i,j)位置上的所有图像块，做主成分分析，得到低分辨率图像基E和对应低分辨率平均脸c_mean；取出Y_s在(i,j)位置上的所有图像块，做主成分分析，得到高分辨率图像基E_h和对应高分辨率平均脸c_hmean，并基于图像基E和E_h，以及c_mean和c_hmean，对所述的低分辨率图像x的在(i,j)位置上的图像块x_ij进行高频信息重建，获得x_ij的平滑高频成分O_Fij，进而获得{x_ij}的平滑高频成分{O_Fij}；

步骤5：利用X_s在(i,j)位置上的所有图像块和Y_s在(i,j)位置上的所有图像块，求得局部先验矩阵φ(i,j)，用局部先验矩阵φ(i,j)获得x_ij的标准差投影高频成分O_Sij，进而获得{x_ij}的标准差投影高频成分{O_Sij}；

其中所述的获得x_ij的标准差投影高频成分O_Sij；其具体实现包括以下子步骤：

步骤5.1：设X_s在(i,j)位置上的所有图像块形成低分辨率图像块集C_l，Y_s在(i,j)位置上的所有图像块形成高分辨率图像块集C，x_ij为p×p图像块，则该图像位置规格为p×p的局部先验矩阵φ(i,j)的计算方式如下：

其中，m,n＝1,2,...,p，C(m,n)表示在(i,j)位置的人脸图像块中，横纵坐标标号为位置(m,n)的所有图像的像素值，即是一个N维向量；std为标准差运算符；

步骤5.2：获得x_ij的标准差投影高频成分O_Sij：

O_Sij＝(x_ij-c_mean)×φ(i，j)

其中，OSij表示在(i,j)位置上的标准差投影高频成分；

步骤6：利用细节增强，通过近邻查找做约束，获得x_ij的高频补偿成分O_Rij，进而获得{x_ij}的高频补偿成分{O_Rij}；

步骤7：计算{x_ij}的高分辨率重建块集合{O_ij}：

O_ij＝αO_Fij+βO_Sij+γO_Rij+c_hmean；

其中，c_hmean表示高分辨率对应块的平均脸，α，β和γ表示权重值；

步骤8：将所述的高分辨率重建块集合{O_ij}拼接组合，获得待处理的低分辨率图像x的高分辨率图像O。

作为优选，步骤1中所述的获得经过眼睛和嘴巴位置对齐的高分辨率人脸样本图像库Y_s，其具体实现包括以下子步骤：

步骤1.1：对高分辨率人脸样本图像库中的所有图像，框取相同大小的人脸；

步骤1.2：对高分辨率人脸样本图像库中的所有图像中的人脸分别进行特征点标注，所述的特征点是有语义的位置，包括眼角两个点，鼻尖一个点，嘴角两个点；

步骤1.3：利用仿射变换的方法把高分辨率人脸样本图像库中的所有图像中的对应特征点对齐，得到眼睛和嘴巴位置对齐的高分辨率人脸样本图像库Y_s。

作为优选，步骤1.3中所述的利用仿射变换的方法把高分辨率人脸样本图像库中的所有图像中的对应特征点对齐，其具体实现包括以下子步骤：

步骤1.3.1：通过对高分辨率人脸样本图像库的所有高分辨率人脸图像相加除以样本个数计算出平均脸；

步骤1.3.2：设x′_i和y′_i是所述的平均脸上第i个特征点的坐标，x_i和y_i为待对齐人脸上对应的第i个特征点的坐标，在已知平均脸上特征点和相对应样本库中的特征点的条件下，设仿射矩阵为：

其中a,b,c,d,e,f是仿射变换系数，

表示x_i、y_i和x′_i、y′_i之间存在的关系，采用直接线性变换方式解出仿射变换矩阵M；

步骤1.3.3：对高分辨率人脸样本图像库的图像所有坐标点与所述的仿射变换矩阵M相乘，得到新的图像坐标点，由此得到对齐之后的高分辨率人脸样本图像库Y_s。

作为优选，步骤1中所述的获得经过眼睛和嘴巴位置对齐的高分辨率人脸样本图像库Y_s，以及与其一一对应的低分辨率人脸样本图像库X_s，所述的低分辨率人脸样本图像库X_s通过8倍下采样之后加0.02的高斯噪声到对应的高分辨率人脸样本图像库Y_s相同的尺寸而获得。

作为优选，步骤2中所述的用对应图像具有交叠部分的图像块集来表示Y_s和X_s中的每一对应图像，其所述的图像块集的某个块的位置标号用数值(l,m)表示，则(l,m)的取值范围为：

其中，height代表整幅图像的长，width代表整幅图像的宽，p代表分块大小，d代表交叠块的大小。

作为优选，步骤4所述的获得x_ij的平滑高频成分O_Fij，其具体实现包括以下子步骤：

步骤4.1：设定低分辨率图像x在(i,j)位置上的图像块为x_ij，X_s在(i,j)位置上的所有图像块形成低分辨率图像块集C，C由N个p×p图像方块[c'_1,ij,c'_2,ij,...,c'_N,ij]组成，将c'_nij拉成p×p的列向量，即[c_1,ij,c_2,ij,...,c_N,ij]，则C求得p×p的列向量均值c_mean，C减去c_mean之后，得到C的残差矩阵记为则从X_s在(i,j)位置上的所有图像块形成低分辨率图像块集C可以求得低分辨率图像基E，如下公式：

$E=\stackrel{\‾}{C}{\mathrm{V\Λ}}^{-1/2}$

其中，V为矩阵的特征向量矩阵，Λ的主轴线上是V的各个特征列向量对应的特征值、其余元素全部为零，为矩阵的特征值矩阵；

步骤4.2：按照步骤4.1所述的方法，求得高分辨率图像基E_h以及高分辨率图像样本的均值c_hmean；

步骤4.3：基于图像基E，恢复出输入低分辨率图像块x_ij的高分辨率对象y_ij；因为x_ij和y_ij共享基系数coeff，即x_ij和y_ij满足以下关系：

x_ij＝E×coeff+c_mean；

y_ij＝E_h×coeff+c_hmean

其中，E_h、E、c_hmean以及c_mean上步已经求出，为已知量，coeff为x_ij在其对应的低分辨率图像基中的表达系数；

所以根据上式，coeff求解方法为：

coeff＝E^-1×(x_ij-c_mean)

将coeff投影到所述的E_h中，得到y_ij：

y_ij＝E_h×coeff+c_hmean

即为高分辨率的块估计结果；

步骤4.4：计算x_ij的平滑高频成分O_Fij，

O_Fij＝E_h×coeff

其中，O_Fij为高频成分O_F在(i,j)位置对应的平滑高频成分。

作为优选，步骤5所述的获得x_ij的标准差投影高频成分O_Sij；其具体实现包括以下子步骤：

步骤5.1：设X_s在(i,j)位置上的所有图像块形成低分辨率图像块集C_l，Y_s在(i,j)位置上的所有图像块形成高分辨率图像块集C，x_ij为p×p图像块，则该图像位置规格为p×p的局部先验矩阵φ(i,j)的计算方式如下：

其中，m,n＝1,2,...,p，C(m,n)表示在(i,j)位置的人脸图像块中，横纵坐标标号为位置(m,n)的所有图像的像素值，即是一个N维向量；std为标准差运算符；

步骤5.2：获得x_ij的标准差投影高频成分O_Sij：

O_Sij＝(x_ij-c_mean)×φ(i,j)

其中，O_Sij表示在(i,j)位置上的标准差投影高频成分。

作为优选，步骤6中所述的获得x_ij的高频补偿成分O_Rij；其具体实现包括以下子步骤：

步骤6.1：根据步骤4和步骤5所述的两种高频重建，求得位于(i,j)位置的图像块的初步重建结果O_Mij：

O_Mij＝αO_Fij+βO_Sij+c_hmean

其中，O_Mij表示O_M在(i,j)位置上的高分辨率信息；

步骤6.2：设X_s在(i,j)位置上的所有图像块形成低分辨率图像块集C，设T_R和T_M分别表示位于(i,j)位置的一一对应的残差图像训练库图像块集和初步结果训练库图像块集，其中T_R＝C-T_M，设T_R＝{r₁,r₂,...,r_N}，设T_M＝{m₁,m₂,...,m_N}；其中T_M的获取过程为：通过对C中每一个图像块求其O_Mij值，来获取；

通过查找中间结果O_Mij在T_M中的K近邻表达权重输入块O_Mij对应的高频细节的表达，即最小化下式：

$\mathrm{\ϵ}=\left|\right|O_{Mij}-\underset{k=1}{\overset{K}{\Σ}}{w}_k{m}_{kij}|{|}^2,$

其中m_kij为O_Mij的第k个近邻，w_k为m_kij对应的权重值；

步骤6.3：获得x_ij的高频补偿成分O_Rij：

其中，r_kij为m_kij对应的残差块。

本发明具有以下优点和积极效果：

(1)对于人脸超分辨率技术而言，本方法图像高频细节重建过程，对于低质量环境下人脸图像的恢复，在主观质量上可以得到明显的提升；

(2)本发明的处理过程具有普适性，对于一般的低质量人脸图像均可以取得较好的恢复效果。特别对于低质量监控环境下的人脸图像，效果更加明显。

附图说明

图1：是本发明的方法流程图。

图2：是本发明的人脸图像基于位置分块示意图。

具体实施方式

本发明提供的基于自适应训练库的块域人脸超分辨率方法，在基于流形的框架内对图像逐块进行自适应训练库形成，对训练信息进行筛选，以求得最精确相关度最高的训练库信息，从而提升恢复结果的客观质量和相似度。

以下以具体实施例结合附图对本发明做进一步说明。

请见图1，本发明所采用的技术方案是：一种基于残差保持的人脸超分辨率方法，包括以下步骤：

步骤1：获得经过眼睛和嘴巴位置对齐的高分辨率人脸样本图像库Y_s，以及与其一一对应的低分辨率人脸样本图像库X_s；

获得经过眼睛和嘴巴位置对齐的高分辨率人脸样本图像库Y_s，其具体实现包括以下子步骤：

步骤1.1：对高分辨率人脸样本图像库中的所有图像，框取相同大小的人脸；

步骤1.2：对高分辨率人脸样本图像库中的所有图像中的人脸分别进行特征点标注，所述的特征点是有语义的位置，包括眼角两个点，鼻尖一个点，嘴角两个点；

步骤1.3：利用仿射变换的方法把高分辨率人脸样本图像库中的所有图像中的对应特征点对齐，得到眼睛和嘴巴位置对齐的高分辨率人脸样本图像库Y_s，其具体实现包括以下子步骤：

步骤1.3.1：通过对高分辨率人脸样本图像库的所有高分辨率人脸图像相加除以样本个数计算出平均脸；

步骤1.3.2：设x′_i和y′_i是所述的平均脸上第i个特征点的坐标，x_i和y_i为待对齐人脸上对应的第i个特征点的坐标，在已知平均脸上特征点和相对应样本库中的特征点的条件下，设仿射矩阵为：

其中a,b,c,d,e,f是仿射变换系数，

表示x_i、y_i和x′_i、y′_i之间存在的关系，采用直接线性变换方式解出仿射变换矩阵M；

步骤1.3.3：对高分辨率人脸样本图像库的图像所有坐标点与所述的仿射变换矩阵M相乘，得到新的图像坐标点，由此得到对齐之后的高分辨率人脸样本图像库Y_s；

低分辨率人脸样本图像库X_s通过8倍下采样之后加0.02的高斯噪声到对应的高分辨率人脸样本图像库Y_s相同的尺寸而获得。

步骤2：将所述的高分辨率人脸样本图像库Y_s的图像和对应的低分辨率人脸样本图像库X_s中的图像进行一一分块，用对应图像具有交叠部分的图像块集来表示Y_s和X_s中的每一对应图像；

请见图2，对图像进行分块的主要依据是局部流形的思想，即人脸图像是一类特殊的图像，这些图像具有特定的结构意义，比如在某个位置上所有的小块都是眼睛、或者某个位置上都是鼻子，也就是说图像中每一个位置的局部小块都处于一个特定的局部几何流形当中。为保证这个局部流形，需要将图像分为若干正方形的小块。块的大小需要有合适尺寸，若分块太大，则会由于微小的对齐问题引起重影现象；若分块太小，会模糊、淡化每个小块的位置特征。此外，还需要选择交叠块的尺寸。因为如果简单的将图像分为不含交叠块的若干正方形小块，那么这些正方形块与块之间会因为不兼容问题出现网格效应。而且人脸图像并不总是正方形，那么交叠块的尺寸选择需要注意使得图像尽可能充分的分块；

这里尺寸可以根据经验选取适中的大小。本实施例用p×p的正方形表示图像块，交叠块记为d，图像块集的某个块的位置标号用数值(l,m)表示，则(l,m)的取值范围为：

其中，height代表整幅图像的长，width代表整幅图像的宽，p代表分块大小，d代表交叠块的大小。

步骤3：获取待处理的低分辨率图像x，并采用上述步骤2中图像分块的方法对x分块，得到所述的低分辨率图像x的块域训练集{x_ij}，其中，x_ij表示x处于位置标号为(i,j)的待估计块；

对于作为输入的低分辨率人脸图像，需要经过剪切出符合统一规定的人脸部分，需经过上述步骤所述的仿射变换统一对齐，使得库中作为训练用途的人脸高低分辨率样本图像对和需要处理的低分辨率人脸图像在图像尺寸、人脸的眉毛高度处于相同的水平上。然后，将低分辨率人脸输入图像在原本在较暗灯光下的模糊五官信息经过自动亮度对比度的调整，使得其与训练图像中的低分辨率样本图像处于相近亮度水平。

步骤4：取出X_s在(i,j)位置上的所有图像块，做主成分分析，得到低分辨率图像基E和对应低分辨率平均脸c_mean；取出Y_s在(i,j)位置上的所有图像块，做主成分分析，得到高分辨率图像基E_h和对应高分辨率平均脸c_hmean，并基于图像基E和E_h，以及c_mean和c_hmean，对所述的低分辨率图像x的在(i,j)位置上的图像块x_ij进行高频信息重建，获得x_ij的平滑高频成分O_Fij，进而获得{x_ij}的平滑高频成分{O_Fij}；所述的获得x_ij的平滑高频成分O_Fij，其具体实现包括以下子步骤：

步骤4.1：设定低分辨率图像x在(i,j)位置上的图像块为x_ij，X_s在(i,j)位置上的所有图像块形成低分辨率图像块集C，C由N个p×p图像方块[c'_1,ij,c'_2,ij,...,c'_N,ij]组成，将c'_nij拉成p×p的列向量，即[c_1,ij,c_2,ij,...,c_N,ij]，则C求得p×p的列向量均值c_mean，C减去c_mean之后，得到C的残差矩阵记为则从X_s在(i,j)位置上的所有图像块形成低分辨率图像块集C可以求得低分辨率图像基E，如下公式：

$E=\stackrel{\‾}{C}{\mathrm{V\Λ}}^{-1/2}$

其中，V为矩阵的特征向量矩阵，Λ的主轴线上是V的各个特征列向量对应的特征值、其余元素全部为零，为矩阵的特征值矩阵；

步骤4.2：按照步骤4.1所述的方法，求得高分辨率图像基E_h以及高分辨率图像样本的均值c_hmean；

步骤4.3：基于图像基E，恢复出输入低分辨率图像块x_ij的高分辨率对象y_ij；因为x_ij和y_ij共享基系数coeff，即x_ij和y_ij满足以下关系：

x_ij＝E×coeff+c_mean；

yi_j＝E_h×coeff+c_hmean

其中，E_h、E、c_hmean以及c_mean上步已经求出，为已知量，coeff为x_ij在其对应的低分辨率图像基中的表达系数；

所以根据上式，coeff求解方法为：

coeff＝E-¹×(x_ij-c_mean)

将coeff投影到所述的E_h中，得到y_ij：

yi_j＝E_h×coeff+c_hmean

即为高分辨率的块估计结果；

步骤4.4：计算x_ij的平滑高频成分O_Fij，

O_Fij＝E_h×coeff

其中，O_Fij为高频成分O_F在(i,j)位置对应的平滑高频成分。

步骤5：步骤5：利用X_s在(i,j)位置上的所有图像块和Y_s在(i,j)位置上的所有图像块，求得局部先验矩阵φ(i,j)，用局部先验矩阵φ(i,j)获得x_ij的标准差投影高频成分O_Sij，进而获得{x_ij}的标准差投影高频成分{O_Sij}；

获得x_ij的标准差投影高频成分O_Sij；其具体实现包括以下子步骤：

步骤5.1：设X_s在(i,j)位置上的所有图像块形成低分辨率图像块集C_l，Y_s在(i,j)位置上的所有图像块形成高分辨率图像块集C，x_ij为p×p图像块，则该图像位置规格为p×p的局部先验矩阵φ(i,j)的计算方式如下：

其中，m,n＝1,2,...,p，C(m_,n)表示在(i,j)位置的人脸图像块中，横纵坐标标号为位置(m,n)的所有图像的像素值，即是一个N维向量；std为标准差运算符；

步骤5.2：获得x_ij的标准差投影高频成分O_Sij：

O_Sij＝(x_ij-c_mean)×φ(i,j)

其中，O_Sij表示在(i,j)位置上的标准差投影高频成分。

步骤6：利用细节增强，通过近邻查找做约束，获得x_ij的高频补偿成分O_Rij，进而获得{x_ij}的高频补偿成分{O_Rij}；获得x_ij的高频补偿成分O_Rij；其具体实现包括以下子步骤：步骤6.1：根据步骤4和步骤5所述的两种高频重建，求得位于(i,j)位置的图像块的初步重建结果O_Mij：

O_Mij＝αO_Fij+βO_Sij+c_hmean

其中，O_Mij表示O_M在(i,j)位置上的高分辨率信息；

步骤6.2：设X_s在(i,j)位置上的所有图像块形成低分辨率图像块集C，设T_R和T_M分别表示位于(i,j)位置的一一对应的残差图像训练库图像块集和初步结果训练库图像块集，其中T_R＝C-T_M，设T_R＝{r₁,r₂,...,r_N}，设T_M＝{m₁,m₂,...,m_N}；其中T_M的获取过程为：通过对C中每一个图像块求其O_Mij值，来获取；

通过查找中间结果O_Mij在T_M中的K近邻表达权重输入块O_Mij对应的高频细节的表达，

即最小化下式：

$\mathrm{\ϵ}=\left|\right|O_{Mij}-\underset{k=1}{\overset{K}{\Σ}}{w}_k{m}_{kij}|{|}^2,$

其中m_kij为O_Mij的第k个近邻，w_k为m_kij对应的权重值；

步骤6.3：获得x_ij的高频补偿成分O_Rij：

其中，r_kij为m_kij对应的残差块。

步骤7：计算{x_ij}的高分辨率重建块集合{O_ij}：

O_ij＝αO_Fij+βO_Sij+γO_Rij+c_hmean；

其中，c_hmean表示高分辨率对应块的平均脸，α，β和γ表示权重值；

步骤8：将所述的高分辨率重建块集合{O_ij}拼接组合，获得待处理的低分辨率图像x的高分辨率图像O。

下面结合实验结果来阐述本发明相对其他超分辨率方法的取得的有益效果。

使用中国人脸数据库CAS-PEAL来做实验。从中选择了940个人脸样本，样本图像分辨率是224*192，用仿射变换对齐人脸。其中500幅图像作为高低分辨率训练库，400幅图像作为残差训练库，下采样8倍(分辨率为24*28)后加上0.02的高斯噪声后只经过前两种高分辨率处理方法之后，作为中间结果库；中间结果库与高分辨率库相减求得残差库。接下来通过对人脸图像样本中选取40幅图像下采样8倍(分辨率为24*28)后加上0.02的高斯噪声后作为测试图像，对测试图像；传统的基于插值的方法；[1]bicubic插值方法的结果；[2]Wang和Tang的方法；[3]H.HuangXiangMa的方法；[4]XiangMa的方法；[5]CeLiu的方法；这几种方法分别做测试。并与基于残差保持的人脸超分辨率处理方法得到主观图像和原始高分辨率图像作对比。

表1展示了主观测试中各个图像对应的客观质量均值——PSNR(峰值信噪比)和SSIM(结构相似度)，从中可以看出，本发明的方法在恢复图像的客观质量上，也有较为明显的稳定提升。

表16种方法客观值PSNR、SSIM均值的比较

使用本发明提供的这样一种鲁棒性的人脸超分辨率方法，通过对低质量人脸图像逐块进行高频细节的恢复，有效提高了监控视频中人脸图像恢复的主客观质量。

本发明通过对输入图像残差进行逐点标准差投影，把输入图像的高频残差投射到高分辨率图像空间，忠实保持了原始低分辨率图像的可辨识信息，从而求得最精确相关度最高的高频信息。实验证明本方法低质量人脸恢复方法，最大限度的重建了代表细节信息的高频特征，且重建的噪声和重影现象在结果中体现程度都有较大的减弱。可以获得不错的主观和客观质量。

本发明所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种基于残差保持的人脸超分辨率方法，其特征在于，包括以下步骤：

步骤1：获得经过眼睛和嘴巴位置对齐的高分辨率人脸样本图像库Y_s，以及与其一一对应的低分辨率人脸样本图像库X_s；

步骤2：将所述的高分辨率人脸样本图像库Y_s的图像和对应的低分辨率人脸样本图像库X_s中的图像进行一一分块，用对应图像具有交叠部分的图像块集来表示Y_s和X_s中的每一对应图像；

步骤3：获取待处理的低分辨率图像x，并采用上述步骤2中图像分块的方法对x分块，得到所述的低分辨率图像x的块域训练集{x_ij}，其中，x_ij表示x处于位置标号为(i,j)的待估计块；

步骤4：取出X_s在(i,j)位置上的所有图像块，做主成分分析，得到低分辨率图像基E和对应低分辨率平均脸c_mean；取出Y_s在(i,j)位置上的所有图像块，做主成分分析，得到高分辨率图像基E_h和对应高分辨率平均脸c_hmean，并基于图像基E和E_h，以及c_mean和c_hmean，对所述的低分辨率图像x的在(i,j)位置上的图像块x_ij进行高频信息重建，获得x_ij的平滑高频成分O_Fij，进而获得{x_ij}的平滑高频成分{O_Fij}；

步骤5：利用X_s在(i,j)位置上的所有图像块和Y_s在(i,j)位置上的所有图像块，求得局部先验矩阵φ(i,j)，用局部先验矩阵φ(i,j)获得x_ij的标准差投影高频成分O_Sij，进而获得{x_ij}的标准差投影高频成分{O_Sij}；

其中所述的获得x_ij的标准差投影高频成分O_Sij；其具体实现包括以下子步骤：

步骤5.1：设X_s在(i,j)位置上的所有图像块形成低分辨率图像块集C_l，Y_s在(i,j)位置上的所有图像块形成高分辨率图像块集C，xi_j为p×p图像块，则该图像位置规格为p×p的局部先验矩阵φ(i,j)的计算方式如下：

其中，m,n＝1,2,...,p，C(m,n)表示在(i,j)位置的人脸图像块中，横纵坐标标号为位置(m,n)的所有图像的像素值，即是一个N维向量；std为标准差运算符；

步骤5.2：获得x_ij的标准差投影高频成分O_Sij：

O_Sij＝(x_ij-c_mean)×φ(i,j)

其中，O_Sij表示在(i,j)位置上的标准差投影高频成分；

步骤6：利用细节增强，通过近邻查找做约束，获得x_ij的高频补偿成分O_Rij，进而获得{x_ij}的高频补偿成分{O_Rij}；

步骤7：计算{x_ij}的高分辨率重建块集合{O_ij}：

O_ij＝αO_Fij+βO_Sij+γO_Rij+c_hmean；

其中，c_hmean表示高分辨率对应块的平均脸，α，β和γ表示权重值；

步骤8：将所述的高分辨率重建块集合{O_ij}拼接组合，获得待处理的低分辨率图像x的高分辨率图像O。

2.根据权利要求1所述的基于残差保持的人脸超分辨率方法，其特征在于：步骤1中所述的获得经过眼睛和嘴巴位置对齐的高分辨率人脸样本图像库Y_s，其具体实现包括以下子步骤：

步骤1.1：对高分辨率人脸样本图像库中的所有图像，框取相同大小的人脸；

步骤1.2：对高分辨率人脸样本图像库中的所有图像中的人脸分别进行特征点标注，所述的特征点是有语义的位置，包括眼角两个点，鼻尖一个点，嘴角两个点；

步骤1.3：利用仿射变换的方法把高分辨率人脸样本图像库中的所有图像中的对应特征点对齐，得到眼睛和嘴巴位置对齐的高分辨率人脸样本图像库Y_s。

3.根据权利要求2所述的基于残差保持的人脸超分辨率方法，其特征在于：步骤1.3中所述的利用仿射变换的方法把高分辨率人脸样本图像库中的所有图像中的对应特征点对齐，其具体实现包括以下子步骤：

步骤1.3.1：通过对高分辨率人脸样本图像库的所有高分辨率人脸图像相加除以样本个数计算出平均脸；

步骤1.3.2：设x_i′和y_i′是所述的平均脸上第i个特征点的坐标，x_i和y_i为待对齐人脸上对应的第i个特征点的坐标，在已知平均脸上特征点和相对应样本库中的特征点的条件下，设仿射矩阵为：

其中a,b,c,d,e,f是仿射变换系数，

表示x_i、y_i和x_i′、y_i′之间存在的关系，采用直接线性变换方式解出仿射变换矩阵M；

步骤1.3.3：对高分辨率人脸样本图像库的图像所有坐标点与所述的仿射变换矩阵M相乘，得到新的图像坐标点，由此得到对齐之后的高分辨率人脸样本图像库Y_s。

4.根据权利要求1所述的基于残差保持的人脸超分辨率方法，其特征在于：步骤1中所述的获得经过眼睛和嘴巴位置对齐的高分辨率人脸样本图像库Y_s，以及与其一一对应的低分辨率人脸样本图像库X_s，所述的低分辨率人脸样本图像库X_s通过8倍下采样之后加0.02的高斯噪声到对应的高分辨率人脸样本图像库Y_s相同的尺寸而获得。

5.根据权利要求1所述的基于残差保持的人脸超分辨率方法，其特征在于：步骤2中所述的用对应图像具有交叠部分的图像块集来表示Y_s和X_s中的每一对应图像，其所述的图像块集的某个块的位置标号用数值(l,m)表示，则(l,m)的取值范围为：

$\left\{(l,m)\right|l=1,2,...,\frac{height-p}{p-d};m=1,2,...,\frac{width-p}{p-d}\},$

其中，height代表整幅图像的长，width代表整幅图像的宽，p代表分块大小，d代表交叠块的大小。

6.根据权利要求1所述的基于残差保持的人脸超分辨率方法，其特征在于：步骤4所述的获得x_ij的平滑高频成分O_Fij，其具体实现包括以下子步骤：

步骤4.1：设定低分辨率图像x在(i,j)位置上的图像块为x_ij，X_s在(i,j)位置上的所有图像块形成低分辨率图像块集C，C由N个p×p图像方块[c'_1,ij,c'_2,ij,...,c'_N,ij]组成，将c'_nij拉成p×p的列向量，即[c_1,ij,c_2,ij,...,c_N,ij]，则C求得p×p的列向量均值c_mean，C减去c_mean之后，得到C的残差矩阵记为则从X_s在(i,j)位置上的所有图像块形成低分辨率图像块集C可以求得低分辨率图像基E，如下公式：

$E=\stackrel{\‾}{C}{\mathrm{V\Λ}}^{-1/2}$

其中，V为矩阵的特征向量矩阵，Λ的主轴线上是V的各个特征列向量对应的特征值、其余元素全部为零，为矩阵的特征值矩阵；

步骤4.2：按照步骤4.1所述的方法，求得高分辨率图像基E_h以及高分辨率图像样本的均值c_hmean；

步骤4.3：基于图像基E，恢复出输入低分辨率图像块x_ij的高分辨率对象y_ij；因为x_ij和y_ij共享基系数coeff，即x_ij和y_ij满足以下关系：

x_ij＝E×coeff+c_mean；

y_ij＝E_h×coeff+c_hmean

其中，E_h、E、c_hmean以及c_mean上步已经求出，为已知量，coeff为x_ij在其对应的低分辨率图像基中的表达系数；

所以根据上式，coeff求解方法为：

coeff＝E^-1×(x_ij-c_mean)

将coeff投影到所述的E_h中，得到y_ij：

y_ij＝E_h×coeff+c_hmean

即为高分辨率的块估计结果；

步骤4.4：计算x_ij的平滑高频成分O_Fij，

O_Fij＝E_h×coeff

其中，O_Fij为高频成分O_F在(i,j)位置对应的平滑高频成分。

7.根据权利要求1所述的基于残差保持的人脸超分辨率方法，其特征在于：步骤6中所述的获得x_ij的高频补偿成分O_Rij；其具体实现包括以下子步骤：

步骤6.1：根据步骤4和步骤5所述的两种高频重建，求得位于(i,j)位置的图像块的初步重建结果O_Mij：

O_Mij＝αO_Fij+βO_Sij+c_hmean

其中，O_Mij表示O_M在(i,j)位置上的高分辨率信息；

步骤6.2：设X_s在(i,j)位置上的所有图像块形成低分辨率图像块集C，设T_R和T_M分别表示位于(i,j)位置的一一对应的残差图像训练库图像块集和初步结果训练库图像块集，其中T_R＝C-T_M，设T_R＝{r₁,r₂,...,r_N}，设T_M＝{m₁,m₂,...,m_N}；其中T_M的获取过程为：通过对C中每一个图像块求其O_Mij值，来获取；

通过查找中间结果O_Mij在T_M中的K近邻表达权重输入块O_Mij对应的高频细节的表达，即最小化下式：

$\mathrm{\ϵ}=\left|\right|O_{Mij}-\underset{k=1}{\overset{K}{\Σ}}{w}_k{m}_{kij}|{|}^2,$

其中m_kij为O_Mij的第k个近邻，w_k为m_kij对应的权重值；

步骤6.3：获得x_ij的高频补偿成分O_Rij：

其中，r_kij为m_kij对应的残差块。