CN101799919A - 一种基于pca对齐的正面人脸图像超分辨率重建方法 - Google Patents

Abstract

一种基于PCA对齐的正面人脸图像超分辨率重建方法，采取近期较为流行的两步法对图像进行超分辨率重建。第一步重建出测试低分辨率图像的中低频信息(全局结构)，首先分别对高低分辨率训练图像库进行PCA变换，并根据仿射变换建立高低分辨率图像的PCA系数间的映射矩阵，接着根据此映射矩阵重建出测试低分辨率图像对应的高分辨率图像的PCA系数，最后得到其对应的高分辨率全局脸图像；第二步重建高频信息(细节信息)，根据基于LLE的邻域重构对第一步得到的测试图像的高分辨率全局脸图像进行残差补偿，最终得到测试图像对应的超分辨率重建图像。

Description

一种基于PCA对齐的正面人脸图像超分辨率重建方法

发明领域

本发明涉及一种人脸图像重建方法，特别涉及一种基于PCA对齐的正面人脸图像超分辨率重建方法。

背景技术

在大多数数字图像的应用中，都希望获得高分辨率的图像。低分辨率正面人脸图像的超分辨率重建，可得到带有很多细节信息的高像素正面人脸图像，便于在如监控等多个领域的应用。

正是由于高分辨率图像的广泛应用，近年来出现了各种方法来改善所得图像质量。早期的超分辨率重建方法有双三次插值，凸集投影法等。近年来基于学习的两步超分辨率重建方法比较流形，并且取得了很好的效果。即将人脸超分辨率问题分解为人脸全局信息与局部细节信息的重建两部分，将全局信息与局部细节相加得到最终的高分辨率人脸图像。两步法是一个很好的框架，众多人脸超分辨率的算法都基于此框架。

图像超分辨率的核心问题是如何建立低分辨率图像(特征)到高分辨率图像(特征)之间的对应关系。因为PCA既能大大降低数据的维数，同时又能很好重建出全局人脸，所以在两步法的框架下，现有的人脸超分辨率算法中均采用PCA系数作为全局人脸的特征表达。因此，重建全局脸的核心问题是如何建立低分辨率图像PCA系数到高分辨率图像PCA系数之间的对应关系。

发明内容

本发明的目的在于提供一种基于PCA对齐的正面人脸图像超分辨率重建方法。

为达到上述目的，本发明采用的技术方案是：

1)首先对高低分辨率训练图库分别进行PCA变换，得各自相应的平均脸μ^H、μ^L、由正交特征向量组成的本征脸空间P^H、P^L和高低分辨率训练图像在各自本征脸空间的投影系数矩阵X^H和X^L，并根据P^L求得低分辨率测试图像的PCA系数x^l；

2)根据正交Procrustes Analysis，学习得到高低分辨率训练图像的PCA系数间的仿射变换矩阵R，根据该仿射变换矩阵R将x^l映射到高分辨率PCA系数空间，即得到测试图像所对应的高分辨率图像的PCA系数，最后得到测试图像对应的全局脸图像；

3)参考基于LLE的邻域重构对上步骤2)得到的全局脸图像进行残差补偿，得到测试低分辨率图像对应的超分辨率重建图像。

所说的高、低分辨率PCA系数之间有下式关系：

X^H＝X^LR+E

其中，X^H为高分辨率训练图像的PCA系数矩阵，X^L为低分辨率训练图像的PCA系数矩阵，R为将要求解的仿射变换矩阵，E为误差。

所说的高低分辨率图像的PCA系数间的仿射变换矩阵R是由ProcrustesAnalysis根据下式求解得到的：

R＝kQ

其中k＝trace(Q^T(X^L)^TX^H)/trace((X^L)^TX^L)，tr(.)表示矩阵的迹，对(X^L)^TX^H进行SVD分解得到(X^L)^TX^H＝U∑V^T，令Q＝UV^T；

根据得到的仿射变换矩阵R，则测试图像对应的高分辨率图像的PCA系数可根据下式求解得到：

x^h＝x^lR

其中x^l＝(I_l-μ^L)P^L，I_l为低分辨率测试图像，P^L为低分辩PCA本征脸空间，μ^L为低分辨率平均脸，x^h为重建出的测试图像对应的高分辨率图像的PCA系数。

本发明将正面人脸图像超分辨率重建的问题看作是一个未知响应的系统，已知一些对应的输入和输出，对给定一个输入，估计对应的输出问题，并假设系统为一线性系统，根据训练数据求得系统响应，从而获得低分辨率图像PCA系数到高分辨率图像PCA系数之间的映射关系。

当要获得一组对问题世界的观测数据时，如果不能或者没有必要对其建立严格物理模型，可以使用数学的方法，从这组数据推算问题世界的数学模型，这类模型一般没有对问题世界的物理解释，但是，在输入输出直接的关系上反映了问题世界的实际，这就是“黑箱”原理。

如果不考虑低分辨率人脸图像的成像原理，而单纯将高低分辨率人脸图像PCA系数作为一个未知系统响应的对应的输出和输入数据，则在两步法框架下，全局脸重建的问题可转化为如何估计该系统的响应问题。

对通常的超分辨率问题，直接通过黑箱原理建立低分辨率图像特征到高分辨率图像特征之间的映射是不现实的。但正面人脸图像超分辨率是一个特殊问题，人脸图像具有规则的结构特征，在预处理过程中进行了对准和归一化，使得在相同位置上的数据具有相似特征，使用PCA又大地降低了数据维数，这些都极大地压缩了解空间，使得估计该逆系统的响应成为可能。

基于以上分析和认识，进一步假设该系统为一线性系统，则全局脸重建的问题即转化为如何建立高低分辨率训练集在PCA空间的投影系数X^H、X^L间的映射关系。

本发明第一步重建出测试低分辨率图像的中低频信息(全局结构)，首先分别对高低分辨率训练图像库进行PCA变换，并根据仿射变换建立高低分辨率PCA系数间的映射矩阵，再根据此映射矩阵重建出测试低分辨率图像对应的高分辨率图像的PCA系数，最后得到其对应的高分辨率全局脸图像；第二步重建高频信息(细节信息)，根据基于LLE的邻域重构法对全局脸图像进行残差补偿，最终得到测试图像对应的超分辨率重建图像。

附图说明

所包括的附图用于提供对本发明的进一步理解，并构成本申请的一部分，所属附图说明了本发明的实施例，与文字说明一起用来解释本发明。

图1(a)，1(b)，1(c)，1(d)，1(e)是效果图，它给出了采用CAS PEAL人脸数据库时，本发明与其它两种超分方法的第一步全局脸结果的对比。从上到下每行分别对应：图1(a)原始高分辨率图像，图1(b)低分辨率图像，图1(c)本发明的全局脸结果，图1(d)庄的方法的全局脸的结果，图1(e)刘的方法的全局脸结果。

图2(a)，2(b)，2(c)，2(d)，2(e)，2(f)是效果图，它给出了采用CAS PEAL人脸数据库时，本发明与其它三种超分方法的超分辨率重建结果的对比。从上到下每行分别对应：图2(a)原始高分辨率图像，图2(b)低分辨率图像，图2(c)本发明的超分结果，图2(d)庄的方法的超分结果，图2(e)刘的方法的超分结果，图2(f)王的方法的超分结果。

图3是效果图，它给出了采用CAS_PEAL人脸数据库时，本发明与其它三种超分方法对40幅测试图像进行超分后各方法超分结果的PSNR值对比盒图。此盒图描述了每个方法的40个超分结果的PSNR值的四分位数、中位数、第三四分位数与最大值。

具体实施方式

下面将根据附图对本发明进行详细说明。

本发明主要分为四个步骤：

1)首先对高低分辨率训练图库分别进行PCA变换，得到各自相应的平均脸μ^H、μ^L、由正交特征向量组成的本征脸空间P^H、P^L和高低分辨率训练图像在各自本征脸空间的投影系数矩阵X^H和X^L。并求得低分辨率测试图像的PCA系数x^l；

2)根据正交Procrustes Analysis，学习得到高低分辨率训练图像的PCA系数间的仿射变换矩阵R，根据R将x^l映射到高分辨率PCA系数空间，即得到测试图像所对应的高分辨率图像的PCA系数，最后得到测试图像对应的全局脸图像；

3)参考LLE对上步骤2)得到的全局脸图像进行残差补偿，得到测试低分辨率对应的超分辨率重建图像。

本发明的第一步首先对高低分辨率图像训练库I_h、I_l，利用PCA，得到各自相应的平均脸μ^H、μ^L，由正交特征向量组成的本征脸空间P^H、P^L，和高低分辨率训练图像在各自本征脸空间的投影系数

其中各投影系数可用下式求得：

[式1]

$x_i^H=(I_i^H-{\mathrm{\μ}}^H)P^H$

$x_i^L=(I_i^L-{\mathrm{\μ}}^L)P^L$

上式中I_i ^H为高分辨率训练库中第i幅图像，I_i ^L为低分辨率训练图像库中第i幅图像。x_i ^H为第i幅高分辨率训练图像的PCA系数，x_i ^L为第i幅低分辨率训练图像的PCA系数。

对于对应的高低分辨率图像的PCA系数，本发明提出下式：

[式2]

X^H＝X^LR+E

上式中X^H为高分辨率训练图像的PCA系数矩阵，X^L为低分辨率训练图像的PCA系数矩阵，R为将要求解的仿射变换矩阵，E为误差；

R的求解参考Procrustes analysis，由下式求得：

[式3]

R＝kQ

可通过下式求解k：

[式4]

k＝trace(Q^T(X^L)^TX^H)/trace((X^L)^TX^L)

上式中tr(.)表示矩阵的迹。

可通过下式求解Q：

[式5]

Q＝UV^T

[式6]

(X^L)^TX^H＝U∑V^T

首先通过下式先求得低分辨率测试图像的PCA系数：

[式7]

x^l＝(I_l-μ^L)P^L

上式中P^L为低分辩PCA本征脸空间，μ^L为低分辨率平均脸，I_l为低分辨率测试图像；

接着通过下式重建出低分辨率图像对应的高分辨率图像的PCA系数：

[式8]

x^h＝x^lR

上式中x^h表示低分辨率测试图像对应的高分辨率图像的PCA系数，R为从低分辨率图像的PCA系数到其对应的高分辨率图像的PCA系数间的仿射变换矩阵；

最后可根据下式求得测试低分辨率测试图像所对应的高分辨率全局脸：

[式9]

I^h＝x^h(P^H)^T+μ^H

上式中(P^H)^T表示高分辨率本征脸的转置，μ^H表示高分辨率平均脸，x^h表示测试低分辨率图像所对应的高分辨率图像的PCA系数，I^h表示测试低分辨率图像所对应的高分辨率全局脸。

最后通过基于LLE的邻域重构对高分辨率全局脸图像I^h进行残差补偿，即可得到测试低分辨率对应的超分辨率重建图像。

图1(a)，1(b)，1(c)，1(d)，1(e)是效果图，它给出了采用CAS_PEAL人脸数据库时，本发明与其它两种超分方法的第一步全局脸结果的对比。图2(a)，2(b)，2(c)，2(d)，2(e)，2(f)是效果图，它给出了采用CAS_PEAL人脸数据库时，本发明与其它三种超分方法的超分辨率重建结果的对比。图3是效果图，它给出了采用CAS_PEAL人脸数据库时，本发明与其它三种超分方法分别对40幅测试图像进行超分后，各方法得到的所有40幅超分图像的PSNR值对比。从视觉效果看，本发明的全局脸结果很好的得到了人脸的结构信息，较之其它方法实现简单，耗时短，效果明显。从图1和图2中的视觉和数值效果均可看出，本文方法细节信息恢复良好，振铃噪声均小于其它三种方法，结果较接近原始人物。

尽管已经参考附图对本发明进行了解释和描述，专业技术人员应该理解，在不脱离本发明精神和范围的情况下，可以在其中或对其进行各种其他改变，增删。

Claims (3)

1.一种基于PCA对齐的正面人脸图像超分辨率重建方法，包括以下步骤：

1)首先对高低分辨率训练图库分别进行PCA变换，得各自相应的平均脸μ^H、μ^L、由正交特征向量组成的本征脸空间P^H、P^L和高低分辨率训练图像在各自本征脸空间的投影系数矩阵X^H和X^L，并根据P^L求得低分辨率测试图像的PCA系数x^l；

2)根据正交Procrustes Analysis，学习得到高低分辨率训练图像的PCA系数间的仿射变换矩阵R，根据该仿射变换矩阵R将x^l映射到高分辨率PCA系数空间，即得到测试图像所对应的高分辨率图像的PCA系数，最后得到测试图像对应的全局脸图像；

3)参考基于LLE的邻域重构对上步骤2)得到的全局脸图像进行残差补偿，得到测试低分辨率图像对应的超分辨率重建图像。

2.如权利要求1所述的基于PCA对齐的正面人脸图像超分辨率重建方法，其特征在于：所说的高、低分辨率PCA系数之间有下式关系：

X^H＝X^LR+E

其中，X^H为高分辨率训练图像的PCA系数矩阵，X^L为低分辨率训练图像的PCA系数矩阵，R为将要求解的仿射变换矩阵，E为误差。

3.如权利要求1所述的基于PCA对齐的正面人脸图像超分辨率重建方法，其特征在于：所说的高低分辨率图像的PCA系数间的仿射变换矩阵R是由Procrustes Analysis根据下式求解得到的：

R＝kQ

其中k＝trace(Q^T(X^L)^TX^H)/trace((X^L)^TX^L)，tr(.)表示矩阵的迹，对(X^L)^TX^H进行SVD分解得到(X^L)^TX^H＝U∑V^T，令Q＝UV^T；

根据得到的仿射变换矩阵R，则测试图像对应的高分辨率图像的PCA系数可根据下式求解得到：

x^h＝x^lR

其中x^l＝(I_l-μ^L)P^L，I_l为低分辨率测试图像，P^L为低分辩PCA本征脸空间，μ^L为低分辨率平均脸，x^h为重建出的测试图像对应的高分辨率图像的PCA系数。

Images