CN101609503B - 基于双流形对齐的人脸超分图像处理方法 - Google Patents

Abstract

本发明提供了一种基于双流形对齐的人脸超分图像处理方法，将训练集中的高分辨率图像和低分辨率图像这两个异构的流形在全局脸和残差脸空间进行双流形对齐后再进行超分算法。本发明的优点是能够将高分辨率图像和低分辨率图像这两个异构的流形运用普洛克路斯忒斯Procrustes分析对齐，通过学习算法，提高图像超分辩率效果。

Description

基于双流形对齐的人脸超分图像处理方法

技术领域

本发明涉及一种图像处理方法，特别涉及一种基于双流形对齐的人脸超分图像处理方法。

背景技术

目前，人脸超分辨率研究存在诸多的困难，现阶段仍未形成实用性的方法和理论框架，主要的难点表现在如何利用一组训练图像来构造相应的知识库，并基于知识库重建低分辨率测试图像的高分辨率解。

图像超分辨率的目标，在于用一幅或多幅低分辨率的图像重构出高分辨率的图像。目前主要的超分辨率算法有基于插值的，基于重构的和基于学习的。

人脸超分辨率是图像超分辨率里的一个特殊领域，主要原因在于人脸具有一些相似的拓扑结构，这些典型的结构特征可以视为一种强的先验信息，有利于缩小超分求解的搜索空间。在基于学习的超分算法中，可将低分辨率(LR)图像和高分辨率(HR)图像视为两个异构的流形，因为HR/LR图像对反映了相同的内容，然而却是在不同的分辨率空间表达该内容。因此，我们可以推断，它们在所张成的子空间中具有相似的拓扑结构。所以，如果找到生成HR/LR图像的共同空间，使得拓扑相似性最大化，并能对齐异构的HR/LR的结构，再在此基础上，通过学习算法，得到高维流形(HR图像)与低维流形(LR图像)之间的对应关系或映射系数等，对提高图像超分辨率效果势必有很大帮助。

目前，超分辨率研究涉及到的技术领域主要有：图像处理、机器学习等。

发明内容

本发明根据上述难点，提出一种基于双流形对齐的技术用于人脸超分，将训练集中的高分辨率图像和低分辨率图像这两个异构的流形对齐后再进行超分算法。从实验看出该方法在重构高分辨率图像上优于其他已有的方法，能够推进超分辨率技术的进一步发展。

本发明欲解决人脸超分变率领域的一个问题，即如何将异构的HR/LR(高分/低分)流形对齐。

在人脸超分辨率研究中，一个较普遍的基于学习的方法，是使用局部线性嵌入法。其基本思想是构建两个数据集，一个是低分辨率的，一个是高分辨率的。对于测试的低分辨率图像，首先求解其在低分辨率数据集上的表示系数，再利用低分辨率图像块和高分辨率图像块的流形一致性假设，使用低分辨率数据集上的表示系数重构出高分辨率的图像块。然而，流形的一致性假设在很多情况下都是不成立的，即两个高分辨率和低分辨率两个数据集并不是同构数据集，而是异构数据集。

本发明提供了一种基于双流形对齐的人脸超分图像处理方法，其特征在于：该方法包括以下的步骤：

①对两个训练集HR和LR进行主成分分析PCA，使之降到相同的维数：设原HR数据为x₁ ^h，x₂ ^h，...，x_N ^h，通过主成分分析PCA降维后，得到HR数据的均值x^h，以及由一组正交向量组成的变换矩阵P^h，数据点的PCA系数为 $y_i^h={\mathrm{Px}}_i^h(i=\mathrm{1,2},...,N);$ 同理，对于LR数据x₁ ^l，x₂ ^l，...，x_N ^l，通过主成分分析PCA，同样可以得到x^l，P^l，以及y_i ^l(i＝1，2，…N)；

②对第①步得到的两个数据点PCA系数矩阵 $Y^h={[y_1^h,y_2^h,...,y_N^h]}^T$ 和 $Y^l={[y_1^l,y_2^l,...,y_3^l]}^T$ 做普洛克路斯忒斯Procrustes对齐，即对矩阵A＝Y^lTY^h做奇异值分解，得A＝USV^T，然后计算Q＝UV^T以及k＝trace(S)/trace(Y^lTY^l)；再对Y^l做变换，得到

③对于在LR空间的某个测试样本t_i，首先对它按照进行主成分分析PCA降维，得到t_i′＝(t_i-x^l)·P^l，再进行普洛克路斯忒斯Procrustes对齐，得到

然后在

中找到

的m个近邻

算出权重系数w₁，w₂，...，w_m，然后找到LR空间的这些近邻点对应的HR空间的数据点y₁ ^h，y₂ ^h，...，y_m ^h，计算 $O_i=\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{w}_j{y}_j^h;$ 最后通过第一步计算出的变换矩阵以及数据点均值，得到高分辨率全局脸输出：O_i′＝P^h′·O+x^h；

以上三个步骤得到全局脸O_i′；

④对LR训练集的每一个样本，按照前三个步骤做，得到输入的全局HR脸o₁，o₂，...，o_N，然后用HR训练集的样本减去全局HR脸，得到残差HR训练集r₁ ^h，r₂ ^h，...，r_N ^h，然后对残差HR训练集进行降采样，得到残差LR训练集r₁ ^l，r₂ ^l，...，r_N ^l；

⑤对于LR空间的某个测试样本t_i，将其减去第三步算出的LR全局脸O_i ^l，得到残差脸 $t_i^r=t_i-O_i^l;$

⑥对t_i ^r按照前三个步骤进行计算和变换，得到残差HR训练集和残差LR训练集，得到残差脸O_i ^r；

⑦得到最终的SR图像 $C_i={O_i}^{\′}+O_i^r.$

本发明的优越功效在于：能够将高分辨率图像和低分辨率图像这两个异构的流形运用普洛克路斯忒斯Procrustes分析在全局脸和残差脸两部分进行双流形对齐，通过学习算法，提高图像超分辩率效果。

附图说明

图1为本发明的方法流程图；

图2(包括图2A、图2B、图2C和图2D)为本发明超分结果图；

图3(包括图3A、图3B、图3C和图3D)为本发明与其他方法在超分结果的比较图；

具体实施方式

请参阅附图所示，对本发明作进一步的描述。

首先，对该发明所涉及的各个细节进行说明：

1、普洛克路斯忒斯Procrustes分析

对于两个流形数据矩阵X和Y，普洛克路斯忒斯Procrustes对齐的目标是，求得参数k和正交变换矩阵Q，使得||X-kYQ||_F最小。其中||·||_F表示Frobenius范数，其定义为： ${\left|\right|A\left|\right|}_F=\mathrm{trace}\left(A^{T}A\right)=\underset{\mathrm{ij}}{\mathrm{\Σ}}{a}_{\mathrm{ij}}^2.$

对矩阵Y^T×X做奇异值分解(Singular Value Decomposition，SVD)，得到Y^TX＝USV^T，令Q＝UV^T，k＝trace(S)/trace(Y^TY)。

下面通过上面两个式子计算出的Q和k能使得||X-kYQ||_F最小。

易知， $\min \left|\right|X-\mathrm{kYQ}{\left|\right|}_F=\min \left|\right|X-\mathrm{kYQ}{\left|\right|}_F^2,$ 对于||X-kYQ||_F ²，通过简单计算得到：

${\left|\right|X-\mathrm{kYQ}\left|\right|}_F^2=\mathrm{trace}\left(X^{T}X\right)+k^2\·\mathrm{trace}\left(Y^{T}Y\right)-2k\·\mathrm{trace}\left(Q^T{Y}^{T}X\right)$

因为trace(X^TX)是定值，所以只需要考虑后面部分：

k²·trace(Y^TY)-2k·trace(Q^TY^TX)    (1.1)

对(1.1)式求导并令其等于零，可得

2k·trace(Y^TY)＝2·trace(Q^TY^TX)    (1.2)

由(1.2)式得到，k＝trace(Q^TY^TX)/trace(Y^TY)    (1.3)

将(1.3)式代入(1.1)式，得到-(trace(Q^TY^TX))²/trace(Y^TY)(1.4)

因为trace(Y′Y)是定值，(1.1)式与(1.4)式等价，所以要最小化(1.1)式，也就是要最大化(trace(Q^TY^TX))²，即

Q_opt＝max_Q(trace(Q^TY^TX))²    (1.5)

下面分两种情况证明前面定义的Q和k能够最大化(trace(Q^TY^TX))²。

情况1)：trace(Q^TY^TX)≥0，则化为Q_opt＝max_Qtrace(Q^TY^TX)

通过SVD，得知Y^TX＝USV^T，其中S为对角矩阵，其对角线上的值为矩阵Y^TX的正特征值，而U和V为正交矩阵。于是得到：

max_Qtrace(Q^TY^TX)＝max_Qtrace(Q^TUSV^T)，因为trace(AB)＝trace(BA)，所以max_Q trace(Q^TUSV^T)＝max_Qtrace(V^TQ^TUS)，令Z＝V^TQ^TU，因为V，Q，U均为正交矩阵，所以Z为正交矩阵，由此可得，矩阵Z中的每一个元素的范围为[-1，1](否则无法满足Z^T×Z为单位矩阵的要求)，所以我们有：

trace(ZS)＝Z_1，1S_1.1+Z_2，2S_2，2+...+Z_n，nS_n，n≤S_1，1+S_2，2+...+S_n，n所以要最大化trace(ZS)，则需Z＝I，I为单位矩阵，即V^TQ^TU为单位矩阵，得到Q＝UV^T。

情况2)：trace(Q^TY^TX)＜0，则化为：Q_opt＝min_Q trace(Q^TY^TX)。

参照情况1时的分析，可以得到：

trace(ZS)＝Z_1，1S_1.1+Z_2.2S_2，2+...+Z_n，nS_n，n≥-S_1，1-S_2，2...-S_n，n，所以，要使trace(Q^TY^TX)最小，则需Z＝-I，则Q＝-UV^T。

无论Q＝UV^T还是Q＝-UV^T，将其代入(1.9)式，计算得到的都是同样的结果，所以无论trace(Q^TY^TX)≥0还是trace(Q^TY^TX)＜0，Q＝UV^T总是(1.5)式的最优解。最后，再化简(1.3)式，得到k＝trace(S)/trace(Y^TY)。

从上面的介绍可以看出，普洛克路斯忒斯分析ProcrustesAnalysis方法也具有闭式解，所求出的解并非近似解，没有局部最优问题，不需要迭代计算，只需要求出一个变换矩阵，并且计算过程只需要做一次奇异值分解，计算过程简单，实现容易。

2、局部线性嵌入超分法

局部线性嵌入超分法需要有两组训练集，一组是HR图像，另一组是与其对应的LR图像。局部线性嵌入法LLE是基于流形在全局空间上是非线性的，但是在局部空间上仍保持线性关系，运用到图像超分上，假设HR图像和LR图像在空间上的有着相近的构型，那么对于LR图像空间的某个点x_i，基于局部线性的假设，该点可以通过与之近邻的k个点的线性组合表示出来。设x_i的k个近邻点为x_i{1}，x_i{2}，...，x_i{k}，用这些近邻点来近似x_i，得 ${\tilde{x}}_i=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{w}_{i,j}{x}_{i\left\{j\right\}},$ 其目标是使

达到最小，同时对系数进行限制 $\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{w}_{i,j}=1.$ 这个求解系数的问题是一个有约束条件的最小二乘解问题，通过计算，得到系数 $W_i=[w_{i,1},w_{i,2},...,w_{i,k}]=\frac{{\left(Z^{T}Z\right)}^{-1}\·\stackrel{\→}{1}}{\stackrel{\→T}{1}\·{\left(Z^{T}Z\right)}^{-1}\·\stackrel{\→}{1}},$ 其中Z＝[x_i-x_i{1}，x_i-x_i{2}，...，x_i-x_i{k}]， $\stackrel{\→}{1}={[\mathrm{1,1}...1]}^T.$ 因为基于HR图像和LR图像具有相近的空间构型的假设，所以该系数也可以运用到HR图像上，这样就可以解决SR问题：对于一个在LR空间测试样本t_i，先在LR训练集上找到t_i的k个近邻，然后求出用这k个近邻表示t_i的系数W_i，然后找到这k个在LR训练集上的点对应的HR训练集上的点y_i{1}，y_i{2}，...，y_i{k}，将W_i运用到y_i{1}，y_i{2}，...，y_i{k}上，得到输出的HR图像 $y_i=\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{w}_{i,j}{y}_{i\left\{j\right\}}.$

3、图像向量的降维

图像，这里指灰度图，在计算机存储中是以两维矩阵形式存在，但是在处理图像数据时，往往会将图像的每一列接到前一列的后面(第一列除外)，组成一个一维的列向量，这个列向量的维数是相当高的，因为即使是一幅100×100大小的图，所得的列向量都将有10000维，所以在对这些图像数据进行处理时，往往需要先对其进行降维。利用主成分分析PCA对图像数据进行降维是一种常用且有效的方法，它能在既定的维数内，最大限度的保留图像所包含的信息。

主成分分析PCA对图像数据进行降维的过程为：假设有N幅图组成的样本矩阵：X＝[x₁，x₂...x_N]∈R^n×N。首先，将每个列向量减去均值 $\stackrel{\‾}{x}=\frac{x_1+x_2+...x_N}{N},$ 得到

对

计算其协方差矩阵

然后对协方差矩阵进行特征值分解，得到ΩP_i＝λ_iP_i，其中λ_i为Ω的特征值，P_i为其所对应的特征向量。将这些特征值按照从大到小的顺序排序，得到 ${\mathrm{\λ}}_{k_1}\≥{\mathrm{\λ}}_{k_2}\≥...{\mathrm{\λ}}_{k_n}$ 以及每个特征值对应的特征向量若要将数据点从n维空间降至m维空间，则取前m个特征向量组成变换矩阵 $P=[P_{k_1},P_{k_2},...,P_{k_m}],$ 则对于原来n维的数据x_i降维后的新的基下的坐标为y_i＝P^T(x_i-x)，这样，便可以将n维的数据降至m维。若要将数据恢复到n维，则恢复出来的结果为 ${\hat{x}}_i={\mathrm{Py}}_i+\stackrel{\‾}{x},$ 可以证明，压缩后的数据能使恢复结果与原始数据之间的误差，即 $E_m=\frac{1}{2}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|x_i-{\hat{x}}_i\left|\right|}^2$ 达到最小。

如图1所示，实现该方法的具体步骤为：

①对两个训练集HR和LR进行主成分分析PCA，使之降到相同的维数：设原HR数据为x₁ ^h，x₂ ^h，...，x_N ^h，通过主成分分析PCA降维后，得到HR数据的均值x^h，以及由一组正交向量组成的变换矩阵P^h，数据点的PCA系数为 $y_i^h=P{x}_i^h(i=\mathrm{1,2},...,N);$ 同理，对于LR数据x₁ ^l，x₂ ^l，...，x_N ^l，通过主成分分析PCA，同样可以得到x^l，P^l，以及y_i ^l(i＝1，2，…N)；

②对第①步得到的两个数据点PCA系数矩阵 $Y^h={[y_1^h,y_2^h,...,y_N^h]}^T$ 和 $Y^l={[y_1^l,y_2^l,...,y_3^l]}^T$ 做普洛克路斯忒斯Procrustes对齐，即对矩阵A＝Y^lTY^h做奇异值分解，得A＝USV^T，然后计算Q＝UV^T以及k＝trace(S)/trace(Y^lTY^l)；再对Y^l做变换，得到

③对于在LR空间的某个测试样本t_i，首先对它按照进行主成分分析PCA降维，得到t_i′＝(t_i-x^l)·P^l，再进行普洛克路斯忒斯Procrustes对齐，得到

然后在

中找到

的m个近邻

算出权重系数w₁，w₂，...，w_m，然后找到LR空间的这些近邻点对应的HR空间的数据点y₁ ^h，y₂ ^h，...，y_m ^h，计算 $O_i=\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{w}_j{y}_j^h;$ 最后通过第一步计算出的变换矩阵以及数据点均值，得到高分辨率全局脸输出：O_i′＝P^h′·O+x^h；

以上三个步骤得到全局脸O_i′；

④对LR训练集的每一个样本，按照前三个步骤做，得到输入的全局HR脸o₁，o₂，...，o_N，然后用HR训练集的样本减去全局HR脸，得到残差HR训练集r₁ ^h，r₂ ^h，...，r_N ^h，然后对残差HR训练集进行降采样，得到残差LR训练集r₁ ^l，r₂ ^l，...，r_N ^l；

⑤对于LR空间的某个测试样本t_i，将其减去第三步算出的LR全局脸O_i ^l，得到残差脸 $t_i^r=t_i-O_i^l;$

⑥对t_i ^r按照前三个步骤进行计算和变换，得到残差HR训练集和残差LR训练集，得到残差脸O_i ^r；

得到最终的SR图像 $C_i={O_i}^{\′}+O_i^r.$

本发明采用CAS_PEAL大规模人脸数据库，该数据库的人脸图是不受其他因素影响的正面人脸图像。通过手工标定的方式将两只眼睛的中心对齐，截取主要感兴趣的人脸区域，得到统一大小的128×128的高分辨率人脸图像，然后对这些图像进行4倍降采样，得到32×32的低分辨率人脸图像。该数据库一共1040幅图，随机选取其中的1000幅图(每幅图对应有一个高分辨率图像和一个低分辨率图像)做训练集，另外的40幅图(只用其低分辨率图像)做测试集。

如图2所示，图2A为低分辩率图像；图2B为全局信息脸；图2C为残差补偿后，即全局信息脸+残差脸的人脸；图2D为高分辩率图像。

如图3所示，图3A为低分辩率图像；图3B为最近邻差值超分结果；图3C为双线性插值超分结果；图3D为本发明的超分结果。

由图2和图3得知，本发明在视觉上与其他方法相比较，超分图像有较好的结果。

Claims (1)

1.一种基于双流形对齐的人脸超分图像处理方法，其特征在于：该方法包括以下的步骤：

①对两个训练集高分辨率图像HR和低分辨率图像LR进行主成分分析PCA，使之降到相同的维数：设原HR数据为

通过主成分分析PCA降维后，得到HR数据的均值

以及由一组正交向量组成的变换矩阵P^h，数据点的PCA系数为

i＝1，2，…，N；同理，对于LR数据

通过主成分分析PCA，同样可以得到P^l，以及

i＝1，2，…N；

②对步骤①得到的两个数据点PCA系数矩阵

和

做普洛克路斯忒斯Procrustes对齐，即对矩阵A＝Y^lTY^h做奇异值分解，得A＝USV^T，然后计算Q＝UV^T以及k＝trace(S)/trace(Y^lTY^l)；再对Y^l做变换，得到

③对于在LR空间的某个测试样本t_i，首先对它按照进行主成分分析PCA降维，得到

再进行普洛克路斯忒斯Procrustes对齐，得到

然后在

中找到

的m个近邻算出权重系数w₁，w₂，...，w_m，然后找到LR空间的这些近邻点对应的HR空间的数据点

计算最后通过步骤①计算出的变换矩阵以及数据点均值，得到最后的高分辨率人脸输出： ${O_i}^{\′}=P^{h\′}\·O+\stackrel{\‾}{x^h};$

以上三个步骤得到全局脸O_i′；

④对LR训练集的每一个样本，按照前三个步骤做，得到输入的全局HR脸o₁，o₂，...，o_N，然后用HR训练集的样本减去全局HR脸，得到残差HR训练集

然后对残差HR训练集进行降采样，得到残差LR训练集

⑤对于LR空间的某个测试样本t_i，将其减去步骤③算出的LR全局脸

得到残差脸

⑥对

按照前三个步骤进行计算和变换，得到残差HR训练集和残差LR训练集，得到残差脸

⑦得到最终的SR图像

Images