CN103020940B - 一种基于局部特征转换的人脸超分辨率重建方法 - Google Patents

Abstract

一种基于局部特征转换的人脸超分辨率重建方法，将低分辨率的样本库矩阵进行非负矩阵分解，获得低分辨率图像的局部特征表达基；利用局部表达基与样本空间重建系数之间的转换关系，将局部特征转换到全局特征空间；对于输入的低分辨率图像，首先获得低分辨率的图像的具备特征，然后转换到样本空间获得全局特征，最后用高分辨率样本库替换低分辨率样本库获得高分辨率图像；以重建获得的高分辨率图像作为初始值，利用最大后验概率框架对输入的低分辨率图像进行迭代优化，获得更好的图像重建质量。本发明提出了基于图像局部特征到全局特征转换的全局人脸超分辨率算法，提升了全局脸算法的细节表现能力，提高了高分辨率重建图像的客观图像质量。

Description

一种基于局部特征转换的人脸超分辨率重建方法

技术领域

本发明涉及人脸图像超分辨率领域，具体涉及一种基于局部特征转换的人脸超分辨率重建方法。

背景技术

在监控视频中，由于目标与摄像头之间的距离远、环境噪声、成像模糊等因素，导致了目标人脸图像的成像质量低，目标人脸分辨率小，缺乏足够的人脸局部细节信息，给直接辨别目标人脸图像造成了困难。基于学习的人脸超分辨率算法利用样本库的先验知识，在训练样本库的高低分辨率样本的回归关系的指导下，从输入的低分辨率人脸图像重建高分辨率人脸图像。基于学习的人脸超分辨率算法能够获得较大的放大倍数同时保持较高的重建质量，相比与基于重建的人脸超分辨率算法具有更好的应用前景。

基于学习的人脸超分辨率算法按照对人脸图像的处理方式分为全局脸算法和局部脸算法，全局脸算法将整副人脸作为一个向量进行处理，该方法重建的人脸图像在整体上与输入人脸相似、而且对噪声具有一定的鲁棒性，然而在重建图像的边缘部分存在着混叠效应。局部脸方法是将整副人脸图像划分成块，对输出高分辨率图像的重建过程按照分块进行，然后拼合成整副图像，这种方法重建的人脸图像主观质量较好，但是对噪声敏感。2001年Liu等人在文献1（C.Liu,H.Y.Shum,C.S.Zhang.Atwo-step approach to hallucination faces:GlobalParametric model and Local Nonparametric model,in Proc.IEEE conference CVPR.Dec.2001.vol.1,pp.723-728.）提出了基于参数全局脸方法与非参数局部脸方法的两步法人脸超分辨率算法，该算法中利用主成份分析模型获得输入图像插值后在高分辨率样本空间的表达，仅仅考虑了高分辨率样本库的性质，忽略了低分辨率图像的内在特征，重建的人脸图像过于平滑，缺失局部细节信息。2005年Wang等人在文献2（X.Wang and X.Tang.Hallucinating face byeigen-transformation,IEEE Transactions on SMC.Part C,vol.35,no.3,pp.425–434,2005.）中提出了基于特征变换的全局脸超分辨率算法，该算法将超分辨率问题看成是低分辨率特征空间表达到高分辨率特征空间表达的转换问题，利用了低分辨率样本库的特性，从低分辨率图像的主成份表达转换到样本空间表达，该方法重建的人脸图像具有较好的主观质量，但是由于把整张人脸做到一个向量处理，部分人脸的细节信息缺失。为了解决全局脸重建方法中存在的具备细节信息表达能力不足的问题，2010年Yang等人在文献3（J.Yang,J.Wright,T.Huang,and Y.Ma.Image super-resolution via sparse representation,IEEE Transactions on ImageProcessing,vol.19,no.11,pp.2861-2873,2010.）中提出一种基于非负矩阵分解的全局脸超分辨率算法，该算法利用了非负矩阵分解对于局部语义信息的表达能力，用非负矩阵分解替代传统的主成份分析获得了相比传统算法更好的局部细节表达，然而该算法仅仅利用了高分辨率样本库的信息，没有考虑到全体样本的整体特性，因此全局脸的重建得到的图像过于平滑。该类全局脸超分辨率算法要么缺乏细节信息表达能力（文献2算法），要么缺乏样本库的全局信息（文献1和3的算法）。

发明内容

本发明目的是提供一种基于局部特征变换的人脸超分辨率重建方法，解决现有同类全局脸算法中缺乏局部细节信息和样本库整体特性的问题。

为实现上述目的，本发明采用的技术方案是一种局部特征变换的人脸超分辨率重建方法，包括如下步骤：

步骤1，设低分辨率样本库包括多幅低分辨率样本人脸图像，对低分辨率样本库进行非负矩阵分解，获得低分辨率样本库的非负局部特征表达基和非负表达系数矩阵；

步骤2，基于步骤1所得低分辨率样本库的非负局部特征表达基和非负表达系数矩阵，将低分辨率样本库的非负局部特征转换到低分辨率样本库空间进行表达，获得在低分辨率样本库空间的表达系数；

步骤3，对于输入的低分辨率人脸图像，保持低分辨率样本库空间的表达系数，用高分辨率样本人脸图像替换相应低分辨率样本人脸图像获得高分辨率重建图像；

步骤4，利用最大后验概率算法优化步骤3所得高分辨率重建图像并输出。

而且，步骤2实现方式如下，

设I_L＝[i₁,i₂,...i_N]表示低分辨率样本人脸图像构成的低分辨率样本库，其中N是样本的个数，每一个列向量i₁,i₂，...i_N表示一个低分辨率样本人脸图像；

对低分辨率样本库进行非负矩阵分解，目标函数如下，

$\underset{W_L,H_L}{\min }{\left|\right|I_L-W_L{H}_L\left|\right|}_2^2,s.t.W\≥0,H\≥0---\left(1\right)$

其中，W_L表示非负局部特征表达基，该矩阵大小为m×k，m表示低分辨率样本人脸图像的向量维数；H_L表示非负表达系数矩阵，H_L大小为k×N；k是约减后的紧致表达空间的特征维数，N是样本的个数；

用如下的迭代公式获得近似的非负局部特征表达基与非负表达系数矩阵，令W_L＝W^L，H_L＝H^L，W_L中的每个元素表示成H_L中的每个元素表示成

${W^L}_{i,j}\←{W^L}_{i,j}\frac{{\left[{\left(H^L\right)}^T{I}_L\right]}_{i,j}}{{\left[{\left(H^L\right)}^T{H}^L{W}^L\right]}_{i,j}},$ ${H^L}_{j,r}\←{H^L}_{j,r}\frac{{\left[{\left(W^L\right)}^T{I}_L\right]}_{j,r}}{{\left[{\left(W^L\right)}^T{W}^L{H}^L\right]}_{j,r}}---\left(2\right)$

其中，1≤i≤m,1≤j≤k,1≤r≤N，表示二范式，公式（1）为迭代求解的目标函数，设置迭代误差为ε＝10^-3；利用公式（2）进行迭代，当|I_L-W_LH_L|≤ε时停止迭代，得到非负局部特征表达基W_L和非负表达系数矩阵H_L。

而且，步骤2实现方式如下，

对于输入的低分辨率人脸图像y，对应的非负局部特征表达基如下，

h＝(W_L ^TW_L)^-1W_L ^Ty  (3)

其中，W_L表示低分辨率样本库的非负局部特征表达基，对于低分辨率样本库空间全局的表达系数表达如下，

$\stackrel{\‾}{\mathrm{\α}}=\arg \underset{\mathrm{\α}}{\min }{\left|\right|y-I_L\mathrm{\α}\left|\right|}_2^2---\left(4\right)$

其中α表示在低分辨率样本库I_L空间中的合成系数，表示公式（4）的最优解，表示的二范式；

用如下公式实现局部特征到全局特征的转换，

其中，H_L是低分辨率样本库的非负表达系数矩阵，是，扰动约束项，M是单位矩阵，是一个接近0的常数，得到的低分辨率样本库空间的表达系数α是一个列向量，与每一个低分辨率样本人脸图像对应一个系数值。

而且，步骤3实现方式如下，

根据步骤2所得表达系数α，所得高分辨率重建图像X如下，

其中，I_H为高分辨率样本人脸图像构成的高分辨率样本库。

而且，步骤4实现方式如下，

$\stackrel{\‾}{X}=\arg \underset{X}{\min }\left({\left|\right|y-\mathrm{DBX}\left|\right|}_2^2{+\mathrm{\λ}\left|\right|X-X_0\left|\right|}_2^2\right)---\left(7\right)$

其中，D表示下采样矩阵，B表示模糊矩阵，X₀表示步骤3中获得的高分辨率重建图像，λ是调节因子，表示公式（7）的最优值；

公式（7）通过梯度下降法求解，迭代公式如下所示，

X_n+1＝X_n+β[B^TD^T(y-DBX_n)+λ(X₀-X_n)]   （8）

其中β是迭代步长，X_n表示第n次迭代所对应的高分辨率重建图像，X_n+1表示第n+1迭代所对应的高分辨率重建图像，预迭代误差ε当|X_n-X₀|≤ε时，迭代停止，输出此时的X_n作为高分辨率重建图像。

本发明通过非负局部特征表达算法，，利用非负矩阵分解算法获得低分辨率样本库的局部特性表达，然后将这些包含了局部细节信息的特征转换到样本空间进行表达，然后将高分辨率样本替换低分辨率样本获得高分辨率重建图像，提高了重建的高分辨率人脸图像的主客观质量。本文算法和主成份分解的全局脸算法（文献1和2）和非负矩阵分解的全局脸方法（文献3）相比，对输入图像具有更好的细节表达能力，最终获得更高质量的高分辨率人脸图像。

附图说明

图1为本发明实施例的流程图；

图2为本发明方法与现有技术方法得到的平均PSNR值对比结果。

具体实施方式

本发明技术方案可采用软件技术实现自动流程运行。下面结合附图和实施例对本发明技术方案进一步详细说明。参见图1，本发明实施例具体步骤为：

步骤1，对低分辨率样本库进行非负矩阵分解，获得低分辨率图像样本库的非负局部特征表达基和非负表达系数矩阵。

输入的低分辨率人脸图像即待重建的人脸图像。为提供训练样本，一般提供多张高分辨率样本图像和低分辨率样本图像，并且高分辨率样本人脸图像和低分辨率样本人脸图像是一一对应。实施例中，高分辨率的样本图像大小为112×96像素，对应的低分辨率的图像大小为28×24像素，这里的放大倍数是4。低分辨率人脸样本图像是对应的高分辨率人脸样本图像通过Bicubic下采样四倍得来。

以实施例来说明，设有输入的低分辨率人脸图像y，高分辨率样本库I_H和低分辨率样本库I_L。

设I_L＝[i₁,i₂,...i_N]表示低分辨率样本人脸图像构成的低分辨率样本库，是一个矩阵，其中N是样本的个数，每一个列向量i₁,i₂,...i_N表示一个低分辨率样本人脸图像。对低分辨率样本库进行非负矩阵分解，目标函数如下：

${\underset{W_L,H_L}{\min }\left|\right|I_L-W_L{H}_L\left|\right|}_2^2,s.t.W\≥0,H\≥0---\left(1\right)$

其中，W_L表示非负局部特征表达基，该矩阵大小为m×k，m表示低分辨率样本人脸图像的向量维数，在实施列中是28×24=672，即每个低分辨率样本人脸图像表示成为一个列向量，H_L表示非负表达系数矩阵，其大小为k×N，k是约减后的紧致表达空间的特征维数，N是样本的个数。实施例利用如下的迭代公式获得近似的非负局部特征表达基与非负表达系数矩阵，为了表示方便令W_L＝W^L，H_L＝H^L，W_L中的每个元素表示成H_L中的每个元素表示成

${W^L}_{i,j}\←{W^L}_{i,j}\frac{{\left[{\left(H^L\right)}^T{I}_L\right]}_{i,j}}{{\left[{\left(H^L\right)}^T{H}^L{W}^L\right]}_{i,j}},$ ${H^L}_{j,r}\←{H^L}_{j,r}\frac{{\left[{\left(W^L\right)}^T{I}_L\right]}_{j,r}}{{\left[{\left(W^L\right)}^T{W}^L{H}^L\right]}_{j,r}}---\left(2\right)$

其中，1≤i≤m,1≤j≤k,1≤r≤N，表示使用欧几里德距离二范式计算表达系数与样本之间的差值，公式（1）为迭代求解的目标函数，设置迭代误差为ε＝10^-3利用公式（2）进行迭代，当|I_L-W_LH_L|≤ε时停止迭代。通过多次迭代求解而得到的非负特征基具有局部性和稀疏性。

步骤2，基于步骤1所得低分辨率样本库的非负局部特征表达基和非负表达系数矩阵，将低分辨率的非负局部特征转换到低分辨率样本库空间进行表达，实现局部特征到样本库整体特征的转换，获得在低分辨率样本库空间的表达系数。

实施例中，对于输入的低分辨率人脸图像y，其对应的非负局部特征表达基为：

h＝(W_L ^TW_L)^-1W_L ^Ty  (3)

其中，W_L表示低分辨率样本库的非负局部特征表达基。对于全局样本的表达系数表达为：

$\stackrel{\‾}{\mathrm{\α}}=\arg \underset{\mathrm{\α}}{\min }{\left|\right|y-I_L\mathrm{\α}\left|\right|}_2^2---\left(4\right)$

其中α表示在低分辨率样本库I_L空间中的合成系数，表示公式（4）的最优解，表示的二范式。

实施例使用如下公式实现局部特征到全局特征的转换：

其中，H_L是低分辨率样本库的非负表达系数矩阵，是为了使得可逆加入的一个扰动约束项，M是单位矩阵，是一个接近0的常数，可由本领域技术人员自行预设，建议取10^-6。转化所得低分辨率样本库空间的表达系数α是一个列向量，与每一个低分辨率样本人脸图像对应一个系数值，如图1所示α₁,α₂,...α_N。

步骤3，对于输入的低分辨率人脸图像，保持步骤2所得在低分辨率样本库空间的表达系数，用高分辨率人脸样本图像替换低分辨率人脸样本图像获得高分辨率重建图像。

实施例中，用步骤2所得所得表达系数α，保持低分辨率的重建系数到高分辨率样本空间，所得高分辨率重建图像X为：

其中，I_H为高分辨率样本人脸图像构成的高分辨率样本库，也是一个矩阵。其中每一个列向量表示一个高分辨率样本人脸图像。

步骤4，利用最大后验概率算法优化步骤3所得高分辨率重建图像，提升输出高分辨率图像质量。

实施例使用步骤3所得的高分辨率重建图像作为初始值，利用最大后验概率算法对图像进行处理。为便于实施参考起见，提供详细说明如下：

$\stackrel{\‾}{X}=\arg \underset{X}{\min }\left({\left|\right|y-\mathrm{DBX}\left|\right|}_2^2{+\mathrm{\λ}\left|\right|X-X_0\left|\right|}_2^2\right)---\left(7\right)$

其中，D表示下采样矩阵，B表示模糊矩阵，X₀表示步骤3中获得的高分辨率重建图像，λ是调节因子，该式子第一项是数据项，第二项是先验项，保证算法能够收敛到初始值X₀的邻域，其取值通过实验进行测定，表示公式（7）的最优值。该公式通过梯度下降法求解，迭代公式如下所示:

X_n+1＝X_n+β[B^TD^T(y-DBX_n)+λ(X₀-X_n)]   （8）

其中β是迭代步长，X_n表示第n次迭代所对应的高分辨率重建图像，X_n+1表示第n+1迭代所对应的高分辨率重建图像，假设迭代误差ε＝10^-2，当|X_n-X₀|≤ε时，迭代停止，输出此时的X_n作为高分辨率重建图像。

本发明对低分辨率输入图像可得到高分辨率输出图像，与文献1、2、3的全局脸方法不同，提出了基于局部特征转换成为全局特征的全局脸超分辨率算法，既考虑了输入图像的局部特征表达，也考虑了样本库的整体特征，相比对比算法图像重建质量有所提升。

以下提供实验对比说明本方法的有效性。

采用了CAS-PEAL人脸数据库（文献4：W.Gao,B.Cao,S.G Shan,The CASPEALLarge-scale Chinese face database and baseline evaluations,IEEE Trans on SMC,vol.38,no.1,pp.149-161,2008.）。该人脸数据库包含了1040个个人的30900副不同角度、光照、表情的人脸图像，实验选取每人正面无表情人脸图像作为样本库与测试库，所有图像大小统一为112×96像素，从中选取1000张进行训练，剩余40张为待测试的图像。每张训练用高分辨率的图像进行平滑（使用4×4的平均滤波器），并4倍下采样得到28×24像素的低分辨率的图像。

本发明实施例中选取对比算法的训练样本和测试样本相同，对于文献1算法主成份分解保留800维向量，文献2算法主成份分解保留98%的主成份，降维后的维数为230维，文献3非负矩阵分解迭代次数1000次，降维后的特征维数为800。所有实验的训练样本完全一致且个数为1000。本发明的非负特征维数选择250维，非负分解的迭代次数为1000次。

实验采用客观质量标准峰值信噪比（PSNR，单位为dB）和SSIM来衡量算法重建质量。如图2所示，本发明方法与文献1、2、3方法得到的PSNR值依次为27.03，25.64，25.34，25.89。本发明方法比最好的对比算法文献3算法PSNR提升1.14db，对比文献1算法PSNR提升了1.39db，对比文献2算法PSNR提升了1.69db。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (4)

1.一种基于局部特征转换的人脸超分辨率重建方法，其特征在于，包括如下步骤：

步骤1，设低分辨率样本库包括多幅低分辨率样本人脸图像，对低分辨率样本库进行非负矩阵分解，获得低分辨率样本库的非负局部特征表达基和非负表达系数矩阵；

步骤2，基于步骤1所得低分辨率样本库的非负局部特征表达基和非负表达系数矩阵，将低分辨率样本库的非负局部特征转换到低分辨率样本库空间进行表达，获得在低分辨率样本库空间的表达系数；

步骤3，对于输入的低分辨率人脸图像，保持低分辨率样本库空间的表达系数，用高分辨率样本人脸图像替换相应低分辨率样本人脸图像获得高分辨率重建图像；

步骤4，利用最大后验概率算法优化步骤3所得高分辨率重建图像并输出；

其中，步骤1实现方式如下，

设I_L＝[i₁,i₂,...i_N]表示低分辨率样本人脸图像构成的低分辨率样本库，其中N是样本的个数，每一个列向量i₁,i₂,...i_N表示一个低分辨率样本人脸图像；

对低分辨率样本库进行非负矩阵分解，目标函数如下，

$\underset{W_L,H_L}{\min }{\left|\right|I_L-W_L{H}_L\left|\right|}_2^2,s.t.W\≥0,H\≥0---\left(1\right)$

其中，W_L表示非负局部特征表达基，该矩阵大小为m×k，m表示低分辨率样本人脸图像的向量维数；H_L表示非负表达系数矩阵，H_L大小为k×N；k是约减后的紧致表达空间的特征维数，N是样本的个数；

用如下的迭代公式获得近似的非负局部特征表达基与非负表达系数矩阵，令W_L＝W^L，H_L＝H^L，W_L中的每个元素表示成H_L中的每个元素表示成

${W^L}_{i,j}\←{W^L}_{i,j}\frac{{\left[{\left(H^L\right)}^T{I}_L\right]}_{i,j}}{{\left[{\left(H^L\right)}^T{H}^L{W}^L\right]}_{i,j}},{H^L}_{j,r}\←{H^L}_{j,r}\frac{{\left[{\left(W^L\right)}^T{I}_L\right]}_{j,r}}{{\left[{\left(W^L\right)}^T{W}^L{H}^L\right]}_{j,r}}---\left(2\right)$

其中，1≤i≤m,1≤j≤k,1≤r≤N，表示二范式，公式(1)为迭代求解的目标函数，设置迭代误差为ε＝10^-3；利用公式(2)进行迭代，当|I_L-W_LH_L|≤ε时停止迭代，得到非负局部特征表达基W_L和非负表达系数矩阵H_L。

2.根据权利要求1所述基于局部特征转换的人脸超分辨率重建方法，其特征在于：步骤2实现方式如下，

对于输入的低分辨率人脸图像y，对应的非负局部特征表达基如下，

h＝(W_L ^TW_L)^-1W_L ^Ty   (3)

其中，W_L表示低分辨率样本库的非负局部特征表达基，对于低分辨率样本库空间全局的表达系数表达如下，

$\stackrel{\‾}{\mathrm{\α}}=\arg \underset{\mathrm{\α}}{\min }{\left|\right|y-I_L\mathrm{\α}\left|\right|}_2^2---\left(4\right)$

其中α表示在低分辨率样本库I_L空间中的合成系数，表示公式(4)的最优解，表示的二范式；

用如下公式实现局部特征到全局特征的转换，

其中，H_L是低分辨率样本库的非负表达系数矩阵，是扰动约束项，M是单位矩阵，是一个接近0的常数，得到的低分辨率样本库空间的表达系数α是一个列向量，每一个低分辨率样本人脸图像对应α中的一个系数值。

3.根据权利要求2所述基于局部特征转换的人脸超分辨率重建方法，其特征在于：步骤3实现方式如下，

根据步骤2所得表达系数α，所得高分辨率重建图像X如下，

其中，I_H为高分辨率样本人脸图像构成的高分辨率样本库。

4.根据权利要求3所述基于局部特征转换的人脸超分辨率重建方法，其特征在于：步骤4实现方式如下，

$\stackrel{\‾}{X}=\arg \underset{X}{\min }({\left|\right|y-\mathrm{DBX}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|X-X_0\left|\right|}_2^2)---\left(7\right)$

其中，D表示下采样矩阵，B表示模糊矩阵，X₀表示步骤3中获得的高分辨率重建图像，λ是调节因子，X表示公式(7)的最优值；

公式(7)通过梯度下降法求解，迭代公式如下所示，

X_n+1＝X_n+β[B^TD^T(y-DBX_n)+λ(X₀-X_n)]  (8)

其中β是迭代步长，X_n表示第n次迭代所对应的高分辨率重建图像，X_n+1表示第n+1迭代所对应的高分辨率重建图像，预迭代误差ε当|X_n-X₀|≤ε时，迭代停止，输出此时的X_n作为高分辨率重建图像。