CN101299235B - 一种基于核主成分分析的人脸超分辨率重构方法 - Google Patents

Abstract

本发明公开了一种基于核主成分分析的人脸超分辨率重构方法，首先利用核主成分分析算法建立了低分辨率特征空间和低分辨率特征空间的关系，利用这种关系学习出与输入低分辨率人脸图像所对应的高分辨率人脸图像在高分辨率特征空间中的象到高分辨率核主成分子空间投影的近似，然后采用Mika等人的迭代原象学习算法从高分辨率特征空间中获得高分辨率原象，针对高分辨率全局人脸图像过于平滑、缺少细节信息的现象，本发明还对高分辨率全局人脸图像进行了残差补偿，本发明采用了核主成分分析方法来建立不同分辨率图像之间的联系，跟线性方法相比，核主成分分析方法是一种非线性方法，能够学习出数据的线性和非线性特征，所以重构的图像更接近原图。

Description

一种基于核主成分分析的人脸超分辨率重构方法

技术领域

本发明涉及一种人脸超分辨率技术，特别涉及一种基于核主成分分析的人脸超分辨率重构方法。

背景技术

随着现代社会越来越重视公共安全，在很多公共场合，如银行、超市、街道等地方安装的视频监控设备也越来越多。但是居于摄像机成本和存储视频文件空间的考虑，这些视频监控设备的像素一般比较低。而且，当人距离摄像机比较远时，所拍摄到的人脸图像也将会是非常小的。这样的低分辨率图像在工程中很难直接应用，从而成为人脸识别和面部表情分析的最大障碍之一。

人脸超分辨率技术是一种从低分辨率人脸图像中获得对应的高分辨率人脸图像的技术。在过去的几十年里，图像的超分辨率技术取得了很大的进展，一般可将图像的超分辨率技术分为基于重建的技术及基于学习的技术，基于重建的技术一般利用同一场景的多帧低分辨率图像各自包含的不同亚像素信息来恢复一幅高分辨率图像；基于学习的技术可以利用数据库里的先验知识，通过训练库来建立不同分辨率图像之间的关系，再利用这种关系重构出高分辨率图像。一般来说，基于学习的技术在效果上要比基于重建技术要好。

对于人脸图像，由于每个人的图像都是由眼睛、鼻子、嘴巴等器官组成，各个面部器官都呈现特定的纹理特征。而且，经过人脸对齐后，可以近似认为每张图片中的每个器官所处位置是大致相同的。由于这种结构性特征，Baker和Kanda于2000年第一次提出了人脸超分辨率(Hallucination face)的概念，使得人脸超分辨率重构从图像的超分辨率技术中分离出来，作为一个相对较独立的研究领域，之后按使用方法的不同，可以将人脸超分辨率重构采用的方法可以分成两大类：1、基于概率模型的人脸超分辨率算法，该类方法把图像看成是一个随机变量，再结合最大后验概率模型来求解，该类方法一般需要精确的降采样模型，一定程度上限制了实际应用的范围；2、基于特征子空间的人脸超分辨率算法，这类方法主要是利用现有的一些子空间算法来学习不同分辨率图像之间的关系，利用这种关系来重构出高分辨率图像。重构后图像的效果一般取决于所采用的子空间算法本身的性质以及该子空间算法应用到人脸超分辨率上的方式。

核主成分分析(KPCA)是在经典的主成分分析(PCA)的基础上，通过引入核函数把数据非线性映射到一个高维特征空间中，然后在特征空间上利用传统的PCA技术来进行特征提取。近年来，由于KPCA的非线性性质，已经广泛应用于人脸识别领域和图像预处理领域。但是到目前为止，还没有KPCA应用于人脸超分辨率重构的技术公开，本发明首次将KPCA用于人脸超分辨率的重构，并取得很好的效果。

发明内容

本发明的目的在于克服上述现有技术的缺点和不足，提供一种可以从一幅低分辨率人脸图像重构出对应的高分辨率图像，改善人脸识别以及图像理解与分析效果的基于核主成分分析(KPCA)的人脸超分辨率重构方法。

本发明的目的通过下述技术方案实现：一种基于核主成分分析的人脸超分辨率重构方法，包括下述步骤：

(一)对训练图像通过将两只眼睛的中心、嘴巴的中心固定在特定坐标(假定把两只眼睛的中心、嘴巴的中心分别固定在坐标(r_x，r_y)，(l_x，l_y)，(m_x，m_y)上)上进行人脸对齐，对齐后作为高分辨率训练样本。再通过模糊、降采样得到低分辨率训练样本。把每个高分辨率训练样本及其对应的低分辨率训练样本看成是一对训练样本，由这些训练样本组成一个训练库。

(二)采用两步来完成人脸超分辨率的重构，第一步通过基于核主成分分析的全局模型来获得高分辨率全局人脸图像；第二步对第一步得到的高分辨率全局人脸图像进行残差补偿，因此将训练库中的训练样本分成两部分，一部分有N₁对训练样本，用于全局模型的训练；另一部分有N₂对训练样本，用于残差补偿的训练，并将残差补偿的低分辨率训练样本作为全局模型的低分辨率测试样本。

(三)对于输入的测试图像，同样通过将两只眼睛的中心、嘴巴的中心固定在特定坐标上(此时两只眼睛的中心、嘴巴的中心坐标分别为：(r_x/ratio，r_y/ratio)，(l_x/ratio，l_y/ratio)，(m_x/ratio，m_y/ratio)，ratio为降采样率，即分辨率提高的倍数)，进行人脸对齐，得到低分辨率测试样本。再通过核主成分分析，计算低分辨率测试样本在低分辨率特征空间中的象到低分辨率核主成分子空间的投影，可以表示成全局模型的低分辨率训练样本在低分辨率特征空间中象的线性组合；具体步骤是：对N₁个全局模型的低分辨率训练样本，进行核主成分分析算法，令u₁ ^l，…，u_q ^l为被选取的低分辨率核主成分，由此生成的空间为低分辨率核主成分子空间，则存在系数矩阵P^l，使得

其中，是全局模型的低分辨率训练样本，

φ^l为低分辨率图像空间到由核生成的低分辨率特征空间的映射。那么对低分辨率测试样本I_test ^l在低分辨率特征空间中的象φ^l(I_test ^l)到低分辨率核主成分子空间的投影P_kφ^l(I^l)可以表示成：

$P_k{\mathrm{\φ}}^l\left(I_{\mathrm{test}}^l\right)={\mathrm{\Φ}}^l{W}^l=\underset{i=1}{\overset{N_1}{\mathrm{\Σ}}}{w}_i^l{\mathrm{\φ}}^l\left(I_i^l\right)---\left(1\right)$

其中

$W^l=P^l{P}^{l^T}{\mathrm{\Φ}}^{l^T}{\mathrm{\φ}}^l\left(I^l\right)-P^l{P}^{l^T}{\mathrm{\Φ}}^{l^T}{\mathrm{\Φ}}^{l}e/N_1+e/N_1,e={(1,...,1)}^T\∈R^{N_1}---\left(2\right)$

(四)构造与低分辨率测试样本所对应的高分辨率图像在高分辨率特征空间的像到高分辨率核主成分子空间投影的近似。本发明通过理论分析和实验，发现对于如下参数选择下的径向基核(RBF核)，不同分辨率图像对应的公式(2)中的权值是近似相等的。RBF核的定义为：

$k(I_i,I_j)=\exp (-\frac{{\left|\right|I_i-I_j\left|\right|}^2}{c})---\left(3\right)$

其中，

I_i、I_j，(i，j＝1，…N₁)为同一分辨率的两幅图像。

因此将式(2)中全局模型的低分辨率训练样本在低分辨率特征空间中的象换成对应的高分辨率训练样本在高分辨率特征空间的象，即φ^l(I_i ^l)换成φ^h(I_i ^h)(其中φ^h为由高分辨率图像空间到由核生成的高分辨率特征空间的映射)，并保持权值W^l不变，可以得到低分辨率测试样本I_test ^l所对应的高分辨率图像I_test ^h在高分辨率特征空间中的象到高分辨率核主成分子空间投影的近似：

$P_k{\mathrm{\φ}}^h\left(I_{\mathrm{test}}^h\right)\≈\underset{i=1}{\overset{N_1}{\mathrm{\Σ}}}{w}_i^l{\mathrm{\φ}}^h\left(I_i^l\right)---\left(4\right)$

(五)通过式(4)来计算高分辨率原象。一般来说，严格的原象是不一定存在的，所以只能够在高分辨率图像生成的空间中找一个使得：

$P_k{\mathrm{\φ}}^h\left(I_{\mathrm{test}}^h\right)\≈{\mathrm{\φ}}^h\left({\hat{I}}_{\mathrm{test}}^h\right)---\left(5\right)$

本发明利用Mika等人的迭代原象学习算法(S.Mika，B.Scholkopf，A.Smola，K.R.Müller，M.Scholz，and G.Ratsch，Kernel PCA and de-noising in feature spaces，NIPS.1998.)计算出高分辨率原象

具体为通过最小化P_kφ^h(I_test ^h)和

距离，得到求取高分辨率原象的迭代格式：

${\hat{I}}_{\mathrm{test},t+1}^h=\frac{\underset{i=1}{\overset{N_1}{\mathrm{\Σ}}}{w}_i^l\exp (-{\left|\right|I_i^h-{\hat{I}}_{\mathrm{test},t}^h\left|\right|}^2/c)I_i^h}{\underset{i=1}{\overset{N_1}{\mathrm{\Σ}}}{w}_i^l\exp (-{\left|\right|I_i^h-{\hat{I}}_{\mathrm{test},t}^h\left|\right|}^2/c)}---\left(6\right)$

此即为由低分辨率测试图像I_test ^l重构出的高分辨率全局人脸图像。

(六)步骤(三)～(五)是对一幅图像进行整体操作，属于全局模型，得到的结果难免显得有些平滑。本步骤通过对步骤(三)～(五)的全局模型进行残差补偿来补偿高分辨率全局人脸图像所丢失的细节信息。具体步骤是：

(a)残差脸的计算：将用于残差补偿的N₂个低分辨率训练样本用于测试步骤(三)～(五)的全局模型，得到N₂个高分辨率全局人脸图像，用得到的高分辨率全局人脸图像减去对应的用于残差补偿的高分辨率训练样本，得到N₂个高分辨率残差脸，再将得到的高分辨率全局人脸图像模糊、降采样，减去用于残差补偿的低分辨率训练样本，得到N₂个低分辨率残差脸；

(b)残差脸分块：将低分辨率残差脸和对应的高分辨率残差脸分成若干彼此交叠的残差块，若低分辨率残差块大小为m×m，则对应的高分辨率残差块大小为(m×ratio)×(m×ratio)，其中，ratio为降采样率。通过这种分块方式，将N₂个高分辨率残差脸及N₂个低分辨率残差脸进行分块，得到高分辨率残差块训练库及对应的低分辨率残差块训练库；

(c)高分辨率残差脸的构造：对低分辨率测试样本I_test ^l，首先使用步骤(三)～(五)的全局模型重构出一幅高分辨率全局人脸图像，将其模糊、降采样，再减去低分辨率测试样本I_test ^l，得到测试图像的低分辨率残差脸，按残差脸分块的具体方法对测试图像的低分辨率残差脸进行分块；

对于测试图像的低分辨率残差脸中的每一残差块P^test(i，j)(i≤R，j≤C)，其中R、C为残差快横、纵坐标的最大值，通过计算P^test(i，j)和低分辨率残差块训练库中对应坐标残差块P_m ^l(i，j)(m＝1，…，N₂)的欧氏距离，选择距离最小的K个低分辨率残差块作为K-邻域低分辨率残差块，将P^test(i，j)表示成K-邻域内低分辨率残差块的线性组合，通过最小化这种组合的误差：

$\mathrm{\ϵ}={\left|\right|P^{\mathrm{test}}(i,j)-\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{w}_k(i,j)P_k^l(i,j)\left|\right|}^2$ (7)

$s.t.\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{w}_k(i,j)=1,i=1,...,R,j=1,...,C$

求得权值w＝[w₁，…，w_k]；

通过将K-邻域低分辨率残差块P_k ^l(i，j)换成对应的高分辨率残差块P_k ^h(i，j)，并保持权值w不变，即：

${\hat{P}}_h^{\mathrm{out}}(i,j)=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{w}_k(i,j)P_k^h(i,j)---\left(8\right)$

得到测试图像的高分辨率残差块；

(d)残差脸的合成：将(c)中测试图像的所有高分辨率残差块合成一张高分辨率残差脸，合成方法为对不同残差块交叠在一起的区域求像素的平均值。这样可以保证合成的残差脸显得比较平滑。

(七)将(五)中得到的高分辨率全局人脸图像加上(六)中的高分辨率残差脸，得到最终的高分辨率人脸图像。

本发明的作用原理是：主要采用核主成分分析方法来建立不同分辨率图像之间的联系；首先利用核主成分分析算法建立了低分辨率特征空间和高分辨率特征空间的关系，利用这种关系学习出与输入低分辨率测试样本所对应的高分辨率人脸图像在高分辨率特征空间的象到高分辨率核主成分子空间投影的近似，然后采用Mika等人的迭代原象学习算法从高分辨率特征空间中获得高分辨率原象，针对高分辨率全局人脸图像过于平滑、缺少细节信息的现象，本发明还对高分辨率全局人脸图像进行了残差补偿。

本发明与现有技术相比具有如下优点及有益效果：核主成分分析(KPCA)是一种非线性算法，已经在人脸识别领域和图像预处理领域得到了很成功的应用。它通过非线性映射将数据映射到特征空间中，在特征空间使用主成分分析(PCA)。KPCA是一种非线性算法，事实上，自然界中的数据是复杂多变的，数据与数据之间的关系往往不是线性关系能够刻画出来的。因此，跟线性算法相比，KPCA既能够学习出数据的线性特征，也能够出学习出数据的非线性特征，因此能够更好地表达数据。从而对于输入的低分辨率测试样本，通过KPCA算法后，可以更加准确地表达出输入低分辨率测试样本的特征，把这些特征用于高分辨率图像中，可以使得重构的人脸图像与原图更为接近。另外，不同于基于概率模型的人脸超分辨率算法，该方法不需要精确的降采样模型。

附图说明

图1为本发明高分辨率全局人脸图像重构的示意图。

图2为本发明的人脸对齐示意图。

图3为对高分辨率图像经过平滑和降采样生成低分辨率图像的过程示意图，用于构造低分辨率训练样本。

图4为本发明实施过程示意图。

图5为残差脸的分块示意图及高分辨率残差块和低分辨率残差块的对应关系示意图，P代表残差快，P^l代表低分辨率残差快，P^h代表低分辨率残差快。

图6为本发明结果及其它算法的结果示意图，采用的是中科院CAS-PEAL(W.Gao，B.Cao，S.G.Shan，X.L.Chen，D.L.Zhou，X.H.Zhang，D.B.Zhao，The CAS-PEALlarge-scale Chinese face database and baseline evaluations.IEEE Trans.on System Man，andCybernetics(PartA)vol.38，no.1，pp.149-161.2008)人脸库，其中500对作为全局模型的训练图像，350对作为残差补偿的训练样本，降采样率为4(即分辨率提高倍数为4倍)。

图7为各种方法的均方误差(MSE)比较示意图，MSE越低，说明重构的图像越接近原图。主要比较的算法为双线性插值、Wang的特征变换算法(X.G.Wang and X.O.Tang，Hallucinating face by eigentransformation，IEEE Trans.on Systems，Man，and Cybernetics，Part-C.35(3)pp.425-434，2005.)及Zhuang的局部保持人脸超分辨率(LPH)和残差补偿算法(Yueting Zhuang，Jian Zhang，Fei Wu，Hallucinating face：LPHsuper-resolution and neighbor reconstruction for residue compensation，Pattern Recognition，2007.)。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的说明，但本发明的实施方式不限于此。

实施例

图1～图7示出了本发明一种基于核主成分分析的人脸超分辨率重构方法，其中图1示出了本发明中全局模型的操作过程，包括下述步骤：

(1)对人脸图像进行人脸对齐。即对每张人脸图像，手工选取该人脸的三个特征点(两只眼睛的瞳孔中心点和嘴巴的中心点)，通过旋转使得每张人脸的两只眼睛处于水平位置，再运用双三次插值算法拉伸图像，使得三个特征点位于图像的固定位置，最后将图像裁剪为92×112大小作为高分辨率图像(见图2)。再将得到的图像进行模糊、降采样，得到23×28大小的低分辨率图像(见图3)。将所得到的图像分成三部分，第一部分用于全局模型的训练，第二部分用于残差补偿的训练，最后一部分中的低分辨率图像作为低分辨率测试样本。

(2)对低分辨率测试样本I_test ^l，通过前述式(2)计算φ^l(I_test ^l)在低分辨率核成分子空间的投影系数W^l。

(3)通过前述式(4)计算测试样本I_test ^l所对应的高分辨率图像I_test ^h在高分辨率特征空间中的象φ^h(I_test ^h)到高分辨率核主成分子空间的投影P_kφ^h(I_test ^h)的近似。

(4)通过前述式(6)计算高分辨率原象此即为由低分辨率测试样本重构的高分辨率全局人脸图像。

图4示出了残差补偿的操作过程，包括如下步骤：

(1)对于残差补偿的N₂对训练样本中的低分辨率训练样本用于测试基于核主成分分析中的全局模型，得到N₂个高分辨率全局人脸图像。分别计算低分辨率残差脸和高分辨率残差脸。

(2)将低分辨率残差脸和对应的高分辨率残差脸分成若干彼此交叠的残差块(见图5)。

(3)对于低分辨率测试样本，先通过基于核主成分分析中的全局模型获得高分辨率全局人脸图像。再将高分辨率全局人脸图像模糊、降采样后再减去低分辨率测试样本，得到测试图像的低分辨率残差脸，再将该残差脸分成若干彼此交叠的残差块。

(4)对于每一个测试图像的低分辨率残差块，在低分辨率残差块训练库中通过欧氏距离找出与之距离最小的K个残差块，通过前述式(7)求出权值W。

(5)通过前述式(8)求出所有的高分辨率残差块，再将高分辨率残差块合成高分辨率残差脸。

(6)将(5)中的高分辨率残差脸加到(3)中的高分辨率全局人脸图像中，得到最终的高分辨率人脸图像(见图6)，从图6中可以看出，双线性插值的结果显得模糊不清，其原因是双线性插值只利用了低分辨率图像本身的信息，不足以重构出一幅高质量的高分辨率图像来。Wang的特征变换结果很难保持全局平滑性，尤其是在嘴巴、鼻子、眼睛和脸部的边缘，显得不够光滑。这是因为Wang的方法是利用主成分分析(PCA)来建立不同分辨率图像之间的关系，PCA是一种线性算法，只能够学习出数据的线性特征，不能够学习出数据的非线性特征。Zhuang的局部保持超分辨率算法的结果也没有本发明算法的结果那样平滑，这是因为Zhuang的算法首先利用局部保持投影算法对低分辨率训练样本进行降维，再通过径向基核(RBF)回归获得高分辨率全局人脸图像。但是作者并没有进一步阐述为什么高分辨率图像和RBF矩阵之间一直存在线性关系。本发明算法重构的图像显得很平滑，而且跟原图很接近，其原因是KPCA是一种非线性算法，不但能够学习出数据的线性特征，而且能够学习出数据的非线性特征，能够很好地表达数据。

图(7)为各种方法的均方误差(MSE)比较，MSE的定义为：

$\mathrm{MSE}=\frac{1}{M\×N}{\left|\right|I_{\mathrm{test}}^h-{\hat{I}}_{\mathrm{test}}^h\left|\right|}^2$

其中I_test ^h为原始高分辨率图像，为重构后的高分辨率图像，M，N分别是图像的宽和高。从MSE的定义中可以看出，MSE越小，说明重构的图像跟原图越相似。从该结果中可以看出，本发明的MSE最小，也即与原图最接近。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于核主成分分析的人脸超分辨率重构方法，其特征在于包括下述步骤：

(一)对训练图像进行人脸对齐，对齐后作为高分辨率训练样本；再通过模糊、降采样得到对应的低分辨率训练样本；

(二)将高分辨率训练样本及对应的低分辨率训练样本分成两个部分，其中，一部分用于全局模型的训练；另一部分用于残差补偿的训练，并将残差补偿的低分辨率训练样本作为全局模型的低分辨率测试样本；

(三)对于低分辨率测试样本，通过核主成分分析，计算其在低分辨率特征空间中的象到低分辨率核主成分子空间的投影；

(四)构造与低分辨率测试样本所对应的高分辨率图像在高分辨率特征空间中的象到高分辨率核主成分子空间投影的近似；

(五)利用迭代原象学习算法重构出高分辨率全局人脸图像；

(六)通过计算高辨率残差脸和对应的低分辨率残差脸并对其进行分块，构造低分辨率残差块训练库和高分辨率残差块训练库，求得测试图像的高分辨率残差脸来对重构的高分辨率全局人脸图像进行残差补偿；

(七)将(五)中得到的高分辨率全局人脸加上(六)中的高分辨率残差脸，得到最终的高分辨率人脸图像。

2.根据权利要求1所述的一种基于核主成分分析的人脸超分辨率重构方法，其特征在于：所述步骤(一)具体是：对训练图像通过将两只眼睛的中心、嘴巴的中心固定在特定坐标上进行人脸对齐，对齐后作为高分辨率训练样本；再通过模糊、降采样得到对应的低分辨率训练样本，把每个高分辨率训练样本及其对应的低分辨率训练样本看成是一对训练样本，由这些训练样本组成一个训练库。

3.根据权利要求1所述的一种基于核主成分分析的人脸超分辨率重构方法，其特征在于：所述步骤(三)具体是：对于每一个低分辨率测试样本，通过核主成分分析，计算低分辨率测试样本在低分辨率特征空间中的象到低分辨率核主成分子空间的投影，表示成全局模型的低分辨率训练样本在低分辨率特征空间中象的线性组合。

4.根据权利要求3所述的一种基于核主成分分析的人脸超分辨率重构方法，其特征在于：所述步骤(四)具体是：将步骤(三)线性组合中的全局模型的低分辨率训练样本在低分辨率特征空间中的象换成对应的高分辨率训练样本在高分辨率特征空间的象，得到低分辨率测试样本所对应的高分辨率图像在高分辨率特征空间中的象到高分辨率核主成分子空间投影的近似。

5.根据权利要求4所述的一种基于核主成分分析的人脸超分辨率重构方法，其特征在于：所述步骤(五)的具体是：利用步骤(四)中求得的低分辨率测试样本所对应的高分辨率图像在高分辨率特征空间中的象到高分辨率核主成分子空间投影的近似，通过迭代原象学习算法，得到高分辨率原象的迭代格式，通过迭代获得高分辨率原象，作为重构的高分辨率全局人脸图像。

6.根据权利要求1所述的一种基于核主成分分析的人脸超分辨率重构方法，其特征在于：所述步骤(六)具体是：首先计算高分辨率残差脸和低分辨率残差脸，再将高分辨率残差脸和对应的低分辨率残差脸分成若干彼此交叠的残差块，构造低分辨率残差块训练库和高分辨率残差块训练库；对于测试低分辨率残差脸中的每一残差块，在低分辨率残差块训练库中通过欧氏距离找出与之距离最小的K个低分辨率残差块，可以表示成这K个低分辨率残差块的线性组合，通过最小化组合误差求得权值；再将这K个低分辨率残差块换成对应的高分辨率残差块，并保持权值不变，得到测试图像的高分辨率残差块；再将得到的所有高分辨率残差块合成一张高分辨率残差脸。

7.根据权利要求6所述的一种基于核主成分分析的人脸超分辨率重构方法，其特征在于：所述步骤(七)具体是：将全局模型重构出的高分辨率全局人脸图像加上步骤(六)中得到的高分辨率残差脸，得到最终的高分辨率人脸图像。

Images