CN101615290B - 一种基于典型相关分析的人脸图像超分辨率重建方法 - Google Patents

Abstract

一种基于典型相关分析(Canonical Correlation Analysis，CCA)的人脸图像超分辨率重建方法，将高低分辨率人脸图像的主成分分析系数看作两个不同维数的变量，利用典型相关分析提取高低分辨率图像的相关子空间，从而增强高低分辨率图像数据集内部拓扑结构的一致性。在相关子空间中，本发明对输入的低分辨率图像利用邻域重构的思想重构出对应的高分辨率图像的主成分分析系数，从而重建出全局脸图像。本发明将残差图像分成方块，使用上述典型相关分析的方法以及邻域重建的思想补偿细节信息，重建高分辨率残差图像。最终的高分辨率人脸图像为全局脸图像与高分辨率残差图像相加。

Description

一种基于典型相关分析的人脸图像超分辨率重建方法

技术领域

本发明涉及图像超分辨率重建领域，具体涉及一种基于典型相关分析的人脸图像超分辨率重建方法。

背景技术

图像超分辨率(Super Resolution，SR)是指从一幅或一系列低分辨率图像(Low Resolution，LR)中得到一幅高分辨率(High Resolution，HR)图像的过程。近年来，视频监控已经在银行、机场等重要场所得到了广泛的应用。但在许多情况下，监控设备得到的人脸图像分辨率太低，以致于无法直接进行识别，因此人脸图像超分辨率问题的研究具有现实的意义。

自从2000年Baker等提出“幻觉脸”(Hallucinating faces)思想以来，正面人脸图像超分辨率吸引了众多研究人员的注意。Baker等选择人脸图像的高斯(Gaussian)金字塔的水平与垂直方向的导数以及拉普拉斯(Laplacian)金字塔，作为人脸图像的特征空间，在特征空间上构建高低分辨率人脸图像的先验概率分布，从而利用最大化后验概率(Maximum aPosterior，MAP)估计高分辨率图像。Su等将人脸图像的特征空间改为结合图像的空间尺度信息和局部方向信息的可调(steerable)金字塔，同时考虑对准误差，采用了局部最优匹配的方法。由于人脸具有确定的组成和规则的几何结构，在人脸图像超分辨率的过程中，必须保证人脸的全局结构。上述方法的特征空间没有考虑人脸的全局结构，针对人脸重建的效果还有进一步提高的空间。

Liu等首次提出了人脸超分辨率的两步法，即将人脸超分辨率问题分解为人脸全局信息与局部细节信息的重建两部分，将全局信息与局部细节相加得到最终的高分辨率人脸图像。两步法是一个很好的框架，众多人脸超分辨率的方法都基于此框架：对人脸全局信息的表示，主要思路是用人脸图像的特定约束来描述全局特征，由于主成分分析(Principal ComponentsAnalysis，PCA)方法获得的特征脸可以较好重建人脸图像，所以实现上大多都通过建立高低分辨率图像PCA系数之间的关系来重建全局信息；对于细节纹理特征的表示，主要思路是建立样本的图像块与训练集图像块之间的邻域关系，并采用各种局部模型来描述纹理特征。

基于学习建立高低分辨率人脸全局特征关系的方法，并不需要预先设定图像形成模型，在恢复效果上也均有提高。但是，这些方法需要假设人脸图像高低分辨率图像各自内在几何结构的一致性，但在实际当中，由于训练数据有限等条件的限制，并不能保证训练得到的几何结构的一致性，从而会在重建的结果中带来伪影，降低重建的性能。为了提高超分辨率重建的性能，需要寻找更好的方法来解决此处存在的问题。

发明内容

本发明的目的在于克服上述现有技术的缺点，提出了一种基于典型相关分析(Canonical Correlation Analysis，CCA)的人脸图像超分辨率重建方法。

为了达到上述目的，本发明采用的技术方案是：

1)首先，提取人脸图像全局特征，利用训练全局特征集合求得CCA映射基向量，根据此映射基向量将提取的全局特征映射到CCA子空间，在CCA子空间进行邻域重构，得到低分辨率图像对应的高分辨率图像的全局特征，重建高分辨率全局脸图像；

2)其次，建立残差图像库，并对库中的人脸图像进行分块，得到残差图像块，利用训练残差图像块求得CCA映射基向量，根据此映射基向量将残差图像块映射到CCA子空间，然后进行邻域重构，获得高分辨率残差图像块，合并高分辨率残差图像块，得到高分辨率残差图像；

3)最后，将高分辨率全局脸图像与高分辨率残差图像相加，得到最终的高分辨率人脸图像。

所说的重建高分辨率全局脸图像包括以下步骤：

1)对训练库中的高低分辨率图像集 $I^H={\left\{I_i^H\right\}}_{i=1}^m,$ $I^L={\left\{I_i^L\right\}}_{i=1}^m,$ 其中I_i ^H为第i幅高分辨率图像，I_i ^L为第i幅低分辨率图像，m为训练图像总的样本数目，利用PCA分别提取高低分辨率人脸图像全局特征，求得其对应的平均脸为μ^H、μ^L，本征脸空间为B^H、B^L，以及高低分辨率图像集的PCA系数集为 $X^H={\left\{x_i^H\right\}}_{i=1}^m,$ $X^L={\left\{x_i^L\right\}}_{i=1}^m,$ 其中x_i ^H为第i幅高分辨率图像对应的PCA系数，x_i ^L为第i幅低分辨率图像对应的PCA系数；

2)对于PCA系数集X^H、X^L分别减去其均值x^H和x^L，得到中心化的数据集

和

分别为中心化的数据集X′^H和X′^L寻找两组基向量V_H、V_L，使得利用基向量映射后的变量

和

之间的相关系数ρ达到最大，即有：

$\mathrm{\ρ}=\frac{E\left[c_H{c}_L\right]}{\sqrt{E\left[c_H^2\right]}E\left[c_L^2\right]}$

取得最大值；利用所求得的两组基向量V_H、V_L把对应的PCA系数转换到CCA子空间，得到对应的投影系数集 $C^H={\left\{c_i^H\right\}}_{i=1}^m,$ $C^L={\left\{c_i^L\right\}}_{i=1}^m,$ 即：

以及

3)对输入的低分辨率人脸测试图像I_l，得到其PCA系数为x_l，将其转换到CCA子空间，得到投影系数c_l为c_l＝(V^L)^T(x_l-x^L)；在投影系数集C^L中寻找c_l的K近邻{c_li ^L}_i＝1 ^K，其中c_li ^L为c_l的第i个近邻，并按照邻域重构的思想求重构权值 $W^G=\{w_i^G{\}}_{i=1}^K,$ 其中w_i ^G为第i个近邻对应的权值系数，使得目标函数 $\mathrm{\ϵ}=\left|\right|c_l-\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{w}_i^G{c}_{\mathrm{li}}^L\left|\right|$ 达到最小，且满足 $\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{w}_i^G=1;$ 将此权值应用于C^H中与{c_li ^L}_i＝1 ^K对应的{c_li ^H}_i＝1 ^K，重构出I_l对应的高分辨图像在CCA子空间的特征为： $c_h=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{w}_i^G{c}_{\mathrm{li}}^H;$ 进一步反变换得到I_l对应的高分辨图像的PCA系数：

其中

代表伪逆；最终得到对应的全局脸图像，即：G＝B^Hx_h+μ^H。

所述残差补偿步骤如下：

1)对于低分辨率人脸训练集中的每一幅图像I_i ^L，求得其全局脸为I_i ^g，得到高分辨率残差图像为： $R_i^H=I_i^H-I_i^g,$ 所有R_i ^H构成高分辨率人脸残差图像训练集 $R^H={\left\{R_i^H\right\}}_{i=1}^m;$ 定义低分辨率残差图像为： $R_i^L=I_i^L-D\left(I_i^g\right),$ 其中D(·)为下采样过程；同理，所有R_i ^L构成低分辨率人脸图像残差训练集 $R^L={\left\{R_i^L\right\}}_{i=1}^m;$ 对于输入的低分辨率人脸测试图像I_l，求得对应的测试人脸的残差图像为R_l；

2)将测试人脸的残差图像R_l，高低分辨率残差图像训练集R^H和R^L按照顺序分成有重叠区域的方块，对于每一个测试残差图像块(R_l)_j及其对应位置以及八邻域位置的训练残差块(R^L)_j和(R^H)_j，利用训练残差块(R^L)_j和(R^H)_j求得CCA映射基向量，然后利用此映射基向量将残差图像块都转换到CCA子空间，分别记为和

在

中，寻找

的N近邻

其中

为

在

中的第n个近邻，求得对应的权值 $W^R={\left\{w_n^R\right\}}_{n=1}^N,$ 其中w_n ^R为第n个近邻对应的权值，从而利用

中对应的N个高分辨率的训练特征

重构出

对应的高分辨率特征，即

3)将此高分辨率特征转换回像素域，求得高分辨率残差图像块(R_h)_j；将求得的所有残差图像块(R_h)_j按照其位置顺序拼接在一起，对重叠部分计算其均值，得到测试图像的高分辨率残差图像R_h；从而得到最终的超分辨率人脸图像结果为I_h＝G+R_h。

本发明将高低分辨率人脸图像的主成分分析系数看作两个不同维数的变量，利用典型相关分析提取高低分辨率图像的相关子空间，从而增强高低分辨率图像数据集内部拓扑结构的一致性。在相关子空间中，本发明对输入的低分辨率图像利用邻域重构的思想重构出对应的高分辨率图像的主成分分析系数，从而重建出全局脸图像。本发明将残差图像分成方块，使用上述典型相关分析的方法以及邻域重建的思想补偿细节信息，重建高分辨率残差图像。最终的高分辨率人脸图像为全局脸图像与高分辨率残差图像相加。

附图说明

图1邻域保持率对比图；

图2全局脸实验结果对比，其中(a)低分辨率测试输入人脸图像，(b)方法1全局脸实验结果，(c)方法3全局脸实验结果，(d)方法4全局脸实验结果；

图3本发明结果图，其中(a)低分辨率测试输入人脸图像，(b)全局脸结果，(c)残差补偿后结果，(d)原始高分辨率图像；

图4四种不同方法超分辨率重建结果比较，其中(a)低分辨率测试输入人脸图像，(b)方法1实验结果，(c)方法2实验结果，(d)方法3实验结果，(e)方法4实验结果，(f)原始高分辨率图像；

图5四种不同方法的PSNR比较结果图。

具体实施方式

本发明1)采用两步法进行正面人脸超分辨率重建，分别为全局脸重建过程和残差补偿过程，其中全局脸主要恢复人脸图像的中低频信息，残差补偿恢复高频信息。

2)采用基于学习的人脸超分辨率重建方法，因此在全局脸重建和残差补偿过程中分别包含训练和测试两个过程。

3)在全局脸重建过程中，首先利用PCA提取训练集人脸图像的特征，并且求得对应的CCA映射向量，从而把提取的PCA系数转换到CCA子空间；其次，求得测试低分辨率的PCA系数，并利用CCA映射向量将其转换到CCA子空间；然后，在CCA子空间，进行邻域重构，得到低分辨率图像对应的高分辨率图像的PCA系数；最后，利用此PCA系数重建高分辨率全局脸图像。

CCA是一种分析两个不同维数变量之间线性关系的方法，它为两个变量分别寻找一个基，使得变换后的两个变量之间的相关性最大。本方法利用CCA提取高低分辨率图像的相关子空间，从而增强高低分辨率图像数据集内部拓扑结构的一致性，然后在相关子空间中进行邻域重构，也就是计算低分辨率测试图像对应的邻域以及利用此邻域重构的线性重构系数，而后利用与低分辨率邻域相对应的高分辨率邻域以及线性重构系数重构对应的高分辨率图像PCA系数。

4)在残差补偿过程中，先分别建立训练残差图像库和测试残差图像库。利用原始训练图像减去对应的已经求得的全局脸图像，即为训练残差图像。将此训练残差图像分成方块，每相邻块存在像素重叠从而保证平滑性，得到训练残差图像块；同样的，我们利用测试低分辨率图像减去对应全局脸图像的低分辨率图像，得到测试残差图像，利用同样的分块形式，得到测试残差图像块。对于每一个测试残差图像块及其对应位置以及八邻域位置的高分辨率和低分辨率训练残差图像块，类似于(3)中的过程，利用训练残差图像块得到CCA映射向量，然后利用此CCA映射向量将训练残差图像块和测试残差图像块都转换到CCA子空间，然后利用邻域重构的思想求得对应的高分辨率残差图像块。按照顺序将高分辨率残差图像块合并为一幅图像，其中重叠部分相加平均，得到高分辨率残差图像。

5)全局脸图像与高分辨率残差图像相加，得到最终的高分辨率人脸图像。

流形学习的理论认为人脸子空间可以看作是一种嵌入流形结构，即嵌入在高维欧式空间的低维流形。这一性质表明人脸数据集构成的高维结构仅在局部意义下与某个低维欧式空间拓扑同胚。对应的高低分辨率人脸数据集之间仅仅分辨率不同，也就是维数不同。因此，可以认为，这两个数据集之间存在相关的内在结构，也就是说，高低分辨率人脸数据集是由相关的内在结构生成的。在基于典型相关分析的人脸重建方法中，我们在全局脸重建和残差补偿过程中两次利用CCA来建立这种相关子空间，然后利用邻域重构思想最终求得高分辨率图像。

与现有经典技术相比，本发明提供的基于典型相关分析的人脸超分辨率重建方法在视觉效果和峰值信噪比(peak signal-to-noise ratio，PSNR)比较上均有明显优势。下表是几种人脸超分辨率重建方法所求得高分辨率图像的PSNR比较。其中方法1代表本发明所提供的方法，方法2代表2005年Wang提出的基于eigentransformation的方法，方法3代表Liu提出的全局参数模型和局部非参数模型方法，方法4代表2007年Zhuang提出的LPH方法。上面所述每个方法代表的内容，在整个说明书中都有效，因此后面不再赘述。

表1四种方法PSNR(dB)结果比较

测试图像	测试1	测试2	测试3	测试4
					方法1	31.18	28.77	28.07	30.74
方法2	28.37	25.71	25.80	27.85
					方法3	27.91	25.90	25.71	28.07
方法4	29.66	27.81	26.65	28.83

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实例，对本发明做进一步详细说明。这些实例仅仅说明性的，而并非对本发明的限制。

正面人脸图像超分辨率重建的问题可以描述为已知两个相互对应的高低分辨率人脸图像训练集 $I^H={\left\{I_i^H\right\}}_{i=1}^m,$ $I^L={\left\{I_i^L\right\}}_{i=1}^m,$ 其中m为样本个数，输入一幅低分辨率测试人脸图像I_l，求其对应的高分辨率人脸图像I_h。

本发明按照两步法的框架，进行人脸图像超分辨率重建。在CCA子空间，首先利用PCA系数重构全局脸图像，然后对图像分块重构残差图像。下面分别介绍这两步法内容。

1)在CCA子空间基于邻域重构的全局脸重建

对高低分辨率训练集图像，利用PCA可以求得其对应的平均脸为μ^H、μ^L，由正交特征向量组成的本征脸空间B^H、B^L，以及高低分辨率训练图像在本征脸空间中的投影系数(即PCA系数)集为 $X^H={\left\{x_i^H\right\}}_{i=1}^m=[x_1^H,x_2^H,...,x_m^H]\∈R^{p\×m},$ $X^L={\left\{x_i^L\right\}}_{i=1}^m=[x_1^L,x_2^L,...,x_m^H]\∈R^{q\×m},$ 其中m为总的样本数目。即有：

$x_i^H={\left(B^H\right)}^T(I_i^H-{\mathrm{\μ}}^H)---\left(1\right)$

$x_i^L={\left(B^L\right)}^T(I_i^L-{\mathrm{\μ}}^L)---\left(2\right)$

对于PCA系数集X^H、X^L分别减去其均值x^H和x^L，得到中心化的数据集

和

CCA的目标是分别为样本集X′^H和X′^L寻找两组基向量V_H、V_L，使得随机变量

和

之间的相关系数ρ达到最大，即有：

取得最大值。这里，E[·]表示数学期望。

利用所求得的两组基向量，将PCA系数集X^H、X^L变换到CCA子空间，得到对应的的投影系数集 $C^H={\left\{c_i^H\right\}}_{i=1}^m,$ $C^L={\left\{c_i^L\right\}}_{i=1}^m:$

由于X^H、X^L这两个数据集之间存在相关的内在结构，将其变换到CCA子空间，也就是相关子空间后，两个数据集之间的线性相关性最大，使得两个数据集内部的拓扑结构的一致性增强。从而在CCA子空间，C^H、C^L可以看作是对应的嵌套空间和低维空间，更好的满足局部线性嵌入方法(LocallyLinear Embedding)的高低维空间邻域间的数据点的序保持的假设。

对输入的低分辨率人脸测试图像I_l，根据式(2)得到其PCA系数为x_l，进一步根据式(5)将x_l变换到CCA子空间，得到c_l：

c_l＝(V^L)^T((B^L)^T(I_l-μ^L)-x^L)        (6)

在C^L中寻找c_l的K近邻{c_li ^L}_i＝1 ^K，并求重构权值 $W^G={\left\{w_i^G\right\}}_{i=1}^K,$ 使得

$\mathrm{\ϵ}=\left|\right|c_l-\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{w}_i^G{c}_{\mathrm{li}}^L\left|\right|---\left(7\right)$

达到最小，且满足 $\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{w}_i^G=1.$ 依据LLE原理第二步的思想，将此权值应用于C^H中与{c_li ^L}_i＝1 ^K对应的{c_li ^H}_i＝1 ^K，即可重构出I_l对应的高分辨图像在CCA子空间的特征值为：

$c_h=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{w}_i^G{c}_{\mathrm{li}}^H.---\left(8\right)$

进一步反变换得到I_l对应的高分辨图像的PCA系数：

其中

代表伪逆。从而得到对应的全局脸为：

G＝B^Hx_h+μ^H           (10)

2)在CCA子空间基于邻域重构的残差补偿

全局脸是通过PCA系数重构的，因此恢复的主要是中低频信息。为了更好的恢复人脸高频细节信息，有必要对所求得全局脸图像进行残差补偿。本发明将图像分为方块，使用上述CCA方法以及邻域重构思想补偿细节信息，在进行邻域选择时本发明利用块对应位置以及八邻域训练块进行近邻搜索。

对于低分辨率人脸训练集中的每一幅图像I_i ^L，利用上述方法求得其全局脸为I_i ^g，得到对应的高分辨率残差图像为：

$R_i^H=I_i^H-I_i^g---\left(11\right)$

所有R_i ^H构成高分辨率人脸残差图像训练集 $R^H={\left\{R_i^H\right\}}_{i=1}^m.$ 类似的定义低分辨率残差图像为：

$R_i^L=I_i^L-D\left(I_i^g\right)---\left(12\right)$

其中D(·)为下采样过程。同理，所有R_i ^L构成低分辨率人脸图像残差训练集 $R^L={\left\{R_i^L\right\}}_{i=1}^m.$ 对于输入的低分辨率人脸测试图像I_l，根据式(12)求得对应的测试人脸的残差图像为R_l。

将测试人脸的残差图像R_l，残差图像训练集R^L和R^H按照顺序分成有重叠区域的方块，对于每一个测试残差图像块(R_l)_j及其对应位置和八邻域位置的训练残差块(R^L)_j和(R^H)_j，先利用训练残差块(R^L)_j和(R^H)_j求得CCA映射向量，然后利用此映射向量将残差图像块都转换到CCA子空间，分别记为

和

然后利用邻域重构思想，在

中寻找

的N近邻

求得对应的权值 $W^R={\left\{w_n^R\right\}}_{n=1}^N,$ 从而利用

中对应的高分辨率的训练特征

重构出

对应的高分辨率特征

将此高分辨率特征转换到像素域，求得高分辨率残差图像块(R_h)_j。将求得的所有残差图像块(R_h)_j按照其位置顺序拼接在一起，对重叠部分计算其均值，得到测试图像的高分辨率残差图像R_h。从而得到最终的超分辨率人脸图像结果I_h为：

I_h＝G+R_h       (14)

为了验证本发明的有效性，利用CAS-PEAL大规模人脸库，选取其中不受其它因素影响的正面人脸图像，共1040幅进行实验。通过手工标定的方式对齐两眼中心，截取感兴趣人脸区域，得到大小统一为128×128的高分辨率图像，对所有高分辨率图像进行平均下采样，得到大小为32×32的低分辨率图像。实验中，随机选择40幅图像作为测试数据，剩下的1000幅图像作为训练数据。

在本发明中，全局脸和残差图像都是通过在CCA子空间利用邻域重构来求得的。邻域重构的思想需要满足高维和低维的数据在相应空间保持同样的邻域关系。为了说明CCA变换的有效性，本发明分别计算了在CCA变换前和变换后邻域保持率的变化。我们利用1000幅低分辨率和高分辨率图像的PCA系数集计算邻域保持率。对于此集合中的每一个PCA系数，计算其对应的M近邻，比较高低分辨率数据的M近邻一致的数目，将所有测试数据近邻一致的数目取平均值即为邻域保持率。结果如图1所示，CCA子空间比PCA空间邻域保持率有一定程度的提高。因为高低分辨率人脸数据集是由相关的内在结构生成的，人脸图像的PCA系数经CCA变换后，使得在CCA子空间中两个数据集之间的线性相关性最大，所以可以使得邻域保持率提高。

本发明在计算全局脸的过程中，邻域数目K＝350，PCA方差贡献率为98％。为了说明本发明的优势，分别比较本发明的全局脸结果与方法3和方法4的全局脸结果。在方法3中，方差λ＝0.1，PCA方差贡献率为98％；在方法4中，特征向量数目h＝500，每幅图像的邻域数目k＝100。在这三种方法中训练图像数目都为1000幅。所得全局脸结果如图2所示，可以看出本发明相比其它两种经典方法，脸部轮廓受噪声影响较少，更接近真实人脸图像。

在全局脸的基础上增加残差补偿，得到本方法最终超分辨率结果。实验中残差补偿部分利用了300幅残差图像作为训练数据，高分辨率块大小为16×16，块与块重叠宽度为8个像素，块的近邻取值为N＝160。结果如图3所示，可以看出，经过残差补偿后图像恢复了较多细节信息，与原始人脸图像更加接近。

同时，图4给出了本方法与其它经典方法的最终超分辨率结果比较，其中方法2训练图像为1000幅，方法4中分块大小为16×16，重叠部分为4个像素。图中对比结果可以看出，本方法所得人脸图像在鼻子、嘴巴以及脸部轮廓处恢复的都比较好。分别计算40幅测试图像在4种不同方法下重建结果的PSNR，并利用MATLAB中的boxplot绘出结果，如图5所示。在此图中盒图的上下线分别对应上四分位数和下四分位数，中间的红线对应中值，须图中的上下线对应数据的最大值和最小值。图中可以看出，本方法重建结果的峰值信噪比明显高于其它三种方法。

综上所述，本发明提出了一种新的两步法正面人脸图像超分辨率方法。根据流形学习的基本原理，假设高低分辨率人脸图像是由相关的内在结构生成，利用CCA提取高低分辨率图像的相关子空间，然后在此空间中，对输入的低分辨率图像利用邻域重建的思想重构出对应的高分辨率图像的PCA系数，最终重建出全局脸图像；同时将图像分块，利用CCA方法以及邻域重建的思想补偿细节信息。重构结果表明本方法从主观视觉和客观PSNR评价上均有较好的性能。

Claims (2)

1.一种基于典型相关分析(Canonical Correlation Analysis，CCA)的人脸图像超分辨率重建方法，其特征在于：包含以下步骤：

1)首先，提取人脸图像全局特征，利用训练全局特征集合求得典型相关分析CCA映射基向量，根据此映射基向量将提取的全局特征映射到典型相关分析CCA子空间，在典型相关分析CCA子空间进行邻域重构，得到低分辨率图像对应的高分辨率图像的全局特征，重建高分辨率全局脸图像；所说的重建高分辨率全局脸图像包括以下步骤：

对训练库中的高低分辨率图像集

其中

为第i幅高分辨率图像，为第i幅低分辨率图像，m为训练图像总的样本数目，利用主成分分析PCA分别提取高低分辨率人脸图像全局特征，求得其对应的平均脸为μ^H、μ^L，本征脸空间为B^H、B^L，以及高低分辨率图像集的主成分分析PCA系数集为

其中

为第i幅高分辨率图像对应的主成分分析PCA系数，

为第i幅低分辨率图像对应的主成分分析PCA系数，其中i为整数；

对于主成分分析PCA系数集X^H、X^L分别减去其均值

和

得到中心化的数据集

和

分别为中心化的数据集X′^H和X′^L寻找两组基向量V^H、V^L，使得利用基向量映射后的变量

和

之间的相关系数ρ达到最大，即有：

取得最大值；利用所求得的两组基向量V_H、V_L把对应的主成分分析PCA系数转换到典型相关分析CCA子空间，得到对应的投影系数集 $C^H={\left\{c_i^H\right\}}_{i=1}^m,$ $C^L={\left\{c_i^L\right\}}_{i=1}^m,$ 即：

以及

其中表示主成分分析PCA系数集X^H减去其均值

后得到的中心化的数据集X^H的元素，i为下标，

就是

表示主成分分析PCA系数集X^L减去其均值

后得到的中心化的数据集X^L的元素，i为下标，

就是

E[]表示数学期望，T表示矩阵转置运算符；

对输入的低分辨率人脸测试图像I_l，得到其主成分分析PCA系数为x_l，将其转换到典型相关分析CCA子空间，得到投影系数c_l为其中V^L为基向量，T表示矩阵转置运算符；在投影系数集C^L中寻找c_l的K近邻

其中K表示邻域数目，取值下限为1，上限为训练集中的样本总数，

为c_l的第i个近邻，并按照邻域重构的思想求重构权值

其中

为第i个近邻对应的权值系数，使得目标函数

达到最小，且满足将此权值应用于C^H中与

对应的

重构出I_l对应的高分辨图像在典型相关分析CCA子空间的特征为：进一步反变换

得到I_l对应的高分辨图像的主成分分析PCA系数：

其中V^H为典型相关分析的基向量，T表示矩阵转置运算符，

代表伪逆；最终得到对应的全局脸图像，即：G＝B^Hx_h+μ^H，G为重建的高分辨率全局脸图像，μ^H是根据高分辨率人脸图像全局特征求得的平均脸，B^H是本征脸空间；

2)其次，进行残差补偿：建立残差图像库，并对库中的人脸图像进行分块，得到残差图像块，利用残差图像块进行训练，从而得到典型相关分析CCA映射基向量，根据此映射基向量将残差图像块映射到典型相关分析CCA子空间，然后进行邻域重构，获得高分辨率残差图像块，合并高分辨率残差图像块，得到高分辨率残差图像；

3)最后，将高分辨率全局脸图像与高分辨率残差图像相加，得到最终的超分辨率人脸图像。

2.如权利要求1所述的基于典型相关分析的人脸图像超分辨率重建方法，其特征在于：所述残差补偿步骤如下：

1)对于低分辨率人脸训练集中的每一幅图像

求得其全局脸为

得到高分辨率残差图像为：所有构成高分辨率人脸残差图像训练集

定义低分辨率残差图像为：其中D(·)为下采样过程；同理，所有

构成低分辨率人脸图像残差训练集

对于输入的低分辨率人脸测试图像I_l，求得对应的测试人脸的残差图像为R_l；

2)将测试人脸的残差图像R_l，高低分辨率残差图像训练集R^H和R^L按照顺序分成有重叠区域的方块，对于每一个测试残差图像块(R_l)_j及其对应位置以及八邻域位置的训练残差块(R^L)_j和(R^H)_j，利用训练残差块(R^L)_j和(R^H)_j求得典型相关分析CCA映射基向量，然后利用此映射基向量将残差图像块都转换到典型相关分析CCA子空间，分别记为

和

在

中，寻找的N近邻其中

为

在

中的第n个近邻，求得对应的权值

其中

为第n个近邻对应的权值，从而利用

中对应的N个高分辨率的训练特征

重构出

对应的高分辨率特征，即

其中N表示残差块的近邻取值，j为下标用于区别每一个测试残差图像块；

3)将此高分辨率特征转换回像素域，求得高分辨率残差图像块(R_h)_j；将求得的所有残差图像块(R_h)_j按照其位置顺序拼接在一起，对重叠部分计算其均值，得到测试图像的高分辨率残差图像R_h；从而得到最终的超分辨率人脸图像结果为I_h＝G+R_h，其中G为重建的高分辨率全局脸图像。

Images