CN101719270A - 一种基于非负矩阵分解的人脸超分辨率处理方法 - Google Patents

Abstract

本发明涉及图像分辨率处理技术领域，尤其涉及一种基于非负矩阵分解的人脸超分辨率处理方法。本发明包括对样本库高分辨率人脸图像进行人脸对齐，读入对齐后的样本图像库，利用非负矩阵分解算法进行分解操作获得基图像W，将输入的低分辨率人脸图像进行对齐，获得目标高分辨率人脸图像的非负矩阵分解表达系数e，结合基图像W和表达系数e得到目标高分辨率图像Z₁＝We，对样本库人脸图像重要区域进行分割；对分割得到的局部区域分别进行分解合成；合成的局部区域与图像Z₁进行加权结合获得超分辨率图像Z₂几个步骤。本发明增加了图像的灰度是非负这样的语义约束，提高了特征基图像的表达能力，最终增强了超分辨率图像质量。

Description

一种基于非负矩阵分解的人脸超分辨率处理方法

技术领域

本发明涉及图像分辨率处理技术领域，尤其涉及一种基于非负矩阵分解的人脸超分辨率处理方法。

背景技术

在大部分的监控场景中，摄像头和场景中的感兴趣物体有较远的距离，这经常导致这些物体具有很低的分辨率，监控视频中的人脸是最常见的感兴趣物体之一。由于低分辨率人脸图像丢失了很多人脸的特征细节，人脸经常难以辨识，人脸图像的分辨率变成了制约人脸识别和主观辨认等应用性能的重要因素，有效增强人脸图像分辨率成为亟待解决的问题。

近年来，许多超分辨率技术已经被提出，大部分超分辨率算法试着从多帧的低分辨率图像序列产生一个超分辨图像，但是由于监控视频的帧间存在复杂的局部运动，不一定满足简单的亚像素全局运动关系(如平移、旋转和缩放等)，这导致帧间信息的互补与融合变得异常困难，因此，我们更加关注利用图像先验知识的正则化来提高监控图像的分辨率。

马尔可夫随机场模型是一种超分辨率中常用的图像模型，它假设图像是由不连续的一个个光滑区域组成，且每个像素只与周边邻域内的像素相关，2000年，Freeman等从不同的角度考虑了相似的问题，他们不建立显式的图像正则化模型，而是在MAP框架中结合了贝叶斯网络的方法来推测图像分块的高频信息，他们提出的算法定义了一个局部概率，该概率考虑了低分辨率分块和样本数据库分块之间的相似性，并且考虑了高分辨率图像的相邻分块之间的兼容性，最后利用贝叶斯信任传播机制求得最大后验概率的分块。这些方法非常适合于合成普通图像的局部纹理，但是没有考虑人脸图像特殊的结构信息。

2002年，Baker和Kanade将基于样本学习的方法进一步运用到人脸超分辨率中，并称为“幻觉脸”技术，“幻觉脸”技术采用图像金字塔模型，选择人脸图像的水平和垂直方向的导数和拉普拉斯金字塔作为特征空间，通过离线学习得到映射，该映射反映了原始图像在不同分辨率下的灰度对应关系，以此作为人脸图像的先验信息。虽然得到的人脸图像在有些部位仍存在较大的噪声，但这种方法获得了比传统重建方法和插值更好的效果，开创了“幻觉脸”技术的新时代。2005年，Wang和Tang使用特征值变换来改造幻觉脸算法，利用PCA方法将输入的低分辨率图像拟合成为样本库中低分辨率图像的线性表达，并将表达参数映射到高分辨率图像空间，这种方法考虑到了图像的全局特征但是没有关注人脸图像的局部特征。

在人脸超分辨率中，PCA是最常用的人脸图像分解和表达的方法，PCA是一种降维方法，考虑了维数的降低和冗余的减少，但它的特征是整体的，没有考虑特征基图像的表达能力，并不是很好面向重建合成的分解方法。NMF(Nonnegative Matrix Fac-torization，非负矩阵分解)是一种线性，非负近似的数据表达方法，它的一个重要限制是基图像和系数的非负性，即只允许非负部分的加性结合，而PCA方法允许主成分的负数结合，相比于NMF，PCA的分解结果是不直观的，并且很难解释因为PCA允许基图像的减法合成。PCA产生一个基于整体的表达而NMF由于非负的限制得到了基于部分的表达。

发明内容

本发明的目的是提供一种基于非负矩阵分解的人脸超分辨率处理方法，以解决传统基于PCA方法过程中没有考虑局部结构特性，特征表达能力不强，难以语义解释等问题。

为达到上述目的，本发明采用如下的技术方案：

对样本库高分辨率人脸图像进行人脸对齐；

读入对齐后的样本图像库；

利用非负矩阵分解算法进行分解操作获得基图像W；

将输入的低分辨率人脸图像进行对齐；

获得目标高分辨率人脸图像的非负矩阵分解表达系数e；

结合基图像W和表达系数e得到中间高分辨率图像Z₁＝We；

对样本库人脸图像重要区域进行分割；

对分割得到的局部区域分别独立进行非负矩阵分解LRNMF(Local Region Non-negativeMatrix Factorization，局部区域非负矩阵分解)；

对对齐后的输入图像的局部区域分别进行合成；

将合成的局部区域与图像Z₁进行加权结合获得超分辨率图像Z₂。

所述利用非负矩阵分解算法进行分解操作获得基图像W的步骤包括以下子步骤：

首先将样本库中的所有图像排列成包含T个N维列向量的矩阵V，其中，T是样本图像个数，N是每幅图像的像素个数，则N维图像样本向量V^t，t＝1，...，T，可线性近似表达成：

$V^t\≈\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{w}_i{h}_i^t={\mathrm{Wh}}^t,$

其中W是一个N*M的矩阵，M是该矩阵所包含的基向量w_i，M个基向量W_i被认为是数据构成块，M维系数向量h^t描述每个数据构成块对于表达向量V^t的强度；

然后将样本向量V^t排列成一个N*T的矩阵V，则有V≈WH，其中H的每一列包含了系数向量h^t相应于向量V^t；

最后通过建立平方误差(欧几里德距离)函数：

$E(W,H)={\left|\right|V-\mathrm{WH}\left|\right|}^2=\underset{i,j}{\mathrm{\Σ}}{(V_{\mathrm{ij}}-{\left(\mathrm{WH}\right)}_{\mathrm{ij}})}^2$

利用最速下降法交替迭代W和H，迭代过程中用乘性递推式子以保证其非负性，最终求解处代价函数。

所述的对分割得到的局部区域分别独立进行非负矩阵分解，采用对于对齐后的样本库中的每个人脸图像，分别将眉毛、眼睛、鼻子、嘴巴等重要区域按照一定矩形大小分割出来，分组成为不同类型的局部区域样本库，对与不同类型的局部区域样本库利用基于非负矩阵分解的方法分别进行局部分解。

本发明具有以下优点和积极效果：

1)增加了图像的灰度是非负这样的语义约束，提高了特征基图像的表达能力；

2)解决了传统基于PCA方法过程中没有考虑局部结构特性，特征表达能力不强，难以语义解释等问题。

附图说明

图1是本发明提出的的基于非负矩阵分解的人脸超分辨率处理方法的流程图。

图2为本发明实验中使用各种超分辨率方法所得的主观结果。

其中，

S1-对样本库高分辨率人脸图像进行人脸对齐；S2-读入对齐后的样本图像库；S3-利用非负矩阵分解算法进行分解操作获得基图像W；S4-将输入的低分辨率人脸图像进行对齐；S5-获得目标高分辨率人脸图像的NMF表达系数e；S6-结合基图像W和表达系数e得到中间高分辨率图像Z₁＝We；S7-对样本库人脸图像重要区域进行分割；S8-对分割得到的局部区域分别进行分解合成；S9-将局部合成区域与图像Z₁进行加权结合获得超分辨率图像Z₂；20-为输入低分辨率图像；21-为使用双三次插值方法将测试图像放大8倍得到主观图像；22-为使用基于PCA的人脸超分辨率方法重建图像得到主观图像；23一为使用基于NMF分解的人脸超分辨率方法重建图像得到主观图像；24-为使用LRNMF的人脸超分辨率方法重建图像得到主观图像如图；25-为原始高分辨率图像。

具体实施方式

下面以具体实施例结合附图对本发明作进一步说明：

本发明提出的基于非负矩阵分解的人脸超分辨率处理方法，具体采用如下技术方案，参见图1，包括以下步骤：

S1：对样本库高分辨率人脸图像进行人脸对齐；

对样本图像先框取相同大小的人脸，接着再对人脸进行特征点标注，特征点如眼角、鼻尖、嘴巴角等具有语义的位置，最后再用仿射变换的方法把这些点对齐，通过对样本库中的高分辨率人脸图像计算出平均脸，设(x_i，y_i)^T为平均脸上第i个特征点的坐标，(x′_i，y′_i)^T为样本高分辨率图像中对应第i个点的坐标，在已知平均脸上特征点和相对应样本库中的特征点的条件下，采用直接线性变换方式来解出仿射变换矩阵 $M=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ 0& 0& 1\end{array}\right],$ 接着对样本高分辨率图像来与变换矩阵M乘积就可得到新的图像坐标，由此得到对齐后的样本图像库。

S2：读入对齐后的样本图像库；

读取第一幅样本库人脸图像，将该图像矩阵按行序拉直成列向量，作为人脸样本库矩阵的第一列，接着再读取第二副样本库人脸图像，同样将该图像矩阵按行序拉直成列向量，作为人脸样本库矩阵的第二列，依次类推，最后得到一个人脸样本库矩阵。

S3：利用非负矩阵分解算法进行分解操作获得基图像W；

首先将样本库中的所有图像排列成包含T个N维列向量的矩阵V，其中，T是样本图像个数，N是每幅图像的像素个数，则N维图像样本向量V^t(t＝1，..，T)可线性近似表达成：

$V^t\≈\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{w}_i{h}_i^t={\mathrm{Wh}}^t,$

其中W是一个N*M的矩阵，M是该矩阵所包含的基向量w_i，M个基向量W_i能够被认为是数据构成块，M维系数向量h^t描述了每个数据构成块对于表达向量V^t的强度，然后将样本向量V^t排列成一个N*T的矩阵V，则有V≈WH，其中H的每一列包含了系数向量h^t相应于向量V^t，最后通过建立平方误差(欧几里德距离)函数：

$E(W,H)={\left|\right|V-\mathrm{WH}\left|\right|}^2=\underset{i,j}{\mathrm{\Σ}}{(V_{\mathrm{ij}}-{\left(\mathrm{WH}\right)}_{\mathrm{ij}})}^2$

利用最速下降法交替迭代W和H，迭代过程中用乘性递推式子以保证其非负性，最终求解上面的代价函数。

S4：将输入的低分辨率人脸图像进行对齐；

先将输入的低分辨率图像放大到样本图像的大小，再与对齐后的样本图像对齐，由此得到对齐后的输入低分辨率人脸图像。

S5：获得目标高分辨率人脸图像的非负矩阵分解NMF表达系数e；

(1)定义目标高分辨率人脸图像为矩阵Z，输入的低分辨率人脸图像为Y，而且观测图像会受到附加噪声的影响，则最终观测图像可以表达为：

y＝DBZ+n                     ①

其中B是镜头光学模糊矩阵，D是由CCD尺寸决定的下采样矩阵，n是噪声矩阵。根据这个观测模型，我们可把图像假设为一个随机场，即可把目标高分辨率图像和输入的低分辨率图像均看作随机场。在已知输入的低分辨率图像的条件下，根据最大后验概率原则和Bayesian理论，可得目标图像的最优解：

$\hat{Z}=\underset{z}{\arg }\max p\left(Z\right|Y)=\arg \underset{Z}{\max }\frac{P(Y/Z)P\left(Z\right)}{P\left(Y\right)}$

式中Z表示目标高分辨率图像，Y表示输入的低分辨率图像，P(Z)和P(Y)分别表示目标高分辨率图像和输入的低分辨率图像的先验概率；P(Z|Y)为所求的后验概率；P(Y|Z)为高分辨率图像Z退化为低分辨率图像Y的条件概率，分别对两端取对数，并消去与Z无关的P(Y)，可得：

$\hat{Z}=\arg \min \{-\log P\left(Y\right|Z)-\log P\left(Z\right)\}$ ②

要想求出方程的最优解，即满足后验概率P(Z|Y)最大，必须要确定先验概率P(Z)和条件概率P(Y|Z)。

(2)目标高分辨率图像的先验概率P(Z)可以用某种随机场模型来计算，我们使用广义马尔可夫模型：

$P\left(z\right)=\frac{1}{Z_c}\exp [-\frac{1}{\mathrm{\λ}}\underset{c\∈C}{\mathrm{\Σ}}{V}_c\left(z\right)]$ ③

其中，Z_c是标准化常量，λ可看成“温度”常量，且 $\underset{c\∈C}{\mathrm{\Σ}}{V}_c\left(z\right)=\underset{k=0}{\overset{q{N}_1-1}{\mathrm{\Σ}}}\underset{l=0}{\overset{q{N}_2-1}{\mathrm{\Σ}}}\underset{m=0}{\overset{3}{\mathrm{\Σ}}}{\mathrm{\ρ}}_S\left(d_{k,l,m}^{t}z\right),$ q为放大倍数，N₁，N₂为低分辨率图像的高度和宽度，广义函数ρ_S(x)可定义为：

${\mathrm{\ρ}}_S\left(x\right)=\left\{\begin{array}{cc}{x}^2,& \left|x\right|\≤S\\ S^2+2S\left(\right|x|-S),& \left|x\right|>S\end{array}\right.$

对点z_k，l的二阶领域系统的差分形式可写为：

$d_{k,l,0}^{t}z=z_{k,l+1}-2z_{k,l}+z_{k,l-1}$

$d_{k,l,1}^{t}z=\frac{1}{2}(z_{k-1,l+1}-2z_{k,l}+z_{k+1,l-1})$

$d_{k,l,2}^{t}z=z_{k-1,l}-2z_{k,l}+z_{k+1,l}$

$d_{k,l,3}^{t}z=\frac{1}{2}(z_{k-1,l-1}-2z_{k,l}+z_{k+1,l+1})$

由此可得目标高分辨率图像的先验概率P(Z)。

(3)条件概率P(Y|Z)可用以下方法计算，附加的噪声可看成是高斯白噪声，则：

$P\left(n\right)=\frac{1}{{\left(2\mathrm{\π}\right)}^{N_1{N}_2/2}{\mathrm{\σ}}^{N_1{N}_2}}\exp [-\frac{1}{2{\mathrm{\σ}}^2}{\left|\right|n\left|\right|}^2]$ ④

由式①、式④可得：

$P\left(Y\right|Z)=\frac{1}{{\left(2\mathrm{\π}\right)}^{N_1{N}_2/2}{\mathrm{\σ}}^{N_1{N}_2}}\exp [-\frac{1}{2{\mathrm{\σ}}^2}{\left|\right|Y-\mathrm{DBZ}\left|\right|}^2]$ ⑤

由此得条件概率P(Y|Z)的表达式。

(4)由上述步骤可得到目标高分辨率图像的最优解的表达式：

将式③和式⑤代入式②，并忽略与Z无关的项，得：

$\hat{Z}=\arg \min (\frac{1}{2{\mathrm{\σ}}^2}{\left|\right|Y-\mathrm{DBZ}\left|\right|}^2+\frac{1}{\mathrm{\λ}}\underset{c\∈C}{\mathrm{\Σ}}{V}_c\left(z\right))$ ⑥

(5)使用NMF得到我们能够获得基图像W，设Z＝We，其中e表示未知的系数向量，通过求解e的最优解，则公式⑥可重写为：

$\hat{e}=\arg \min (\frac{1}{2{\mathrm{\σ}}^2}{\left|\right|Y-\mathrm{DBWe}\left|\right|}^2+\frac{1}{\mathrm{\λ}}\underset{c\∈C}{\mathrm{\Σ}}{V}_c\left(\mathrm{We}\right))$ ⑦

再使用最速下降法求解e，即设 $\mathrm{\Ω}(e,S)=\underset{c\∈C}{\mathrm{\Σ}}{V}_c\left(\mathrm{We}\right),$ 于是有： ${\hat{e}}_{n+1}={\hat{e}}_n+{\mathrm{\αd}}_n,$ 其中，α为步长常量， $d_n=-\▿\mathrm{\Ω}[e_n,S]-\frac{\mathrm{\λ}}{2{\mathrm{\σ}}^2}(2W^t{B}^t{D}^t\mathrm{DBW}{e}_n-2W^t{B}^t{D}^{t}Y),$ 通过该方法，求解得到目标高分辨率人脸图像的NMF表达系数e的最优解。

S6：结合基图像W和表达系数e得到目标高分辨率图像Z₁＝We。

S7：对样本库人脸图像重要区域进行分割；

对于样本库中的每个人脸图像，分别将眉毛，眼睛，鼻子，嘴巴等区域按照一定矩形大小分割出来，分组成为不同类型的局部区域样本库。

S8：对分割得到的局部区域分别独立进行分解合成；

对与不同类型的局部区域样本库分别进行分解和合成，其方法与S3、S4、S5、S6步骤描述的方法相同。

S9：将局部合成的区域与图像Z₁进行加权结合获得超分辨率图像Z₂。

将上述步骤独立合成后的区域像素再与全局整帧合成的图像像素进行加权合成，每个区域部分的图像像素值可以表达为局部区域合成图像的像素值与全局整帧合成图像的像素值的加权之和，局部区域的权重W_R(i，j)的计算方法如下：

当d(i，j)＜C时，W_R(i，j)＝1/(1+C-d(i，j))；

当d(i，j)≥C时，W_R(i，j)＝1；

d(i，j)＝min(i，j，width-i，height-j)

其中d(i，j)为区域像素与边缘的距离，C为距离常量，width和height为区域的宽度和高度。

我们使用麻省理工大学的人脸样本库FERET做实验，选取100副人脸做样本，并用上述方法来对齐人脸，选取20个人脸特征点，其中样本人脸分辨率大小为：256*288，抽取样本中的10副图像并下采样8倍(分辨率为32*36)后做为测试的低分辨率图像，将剩余的90幅图像做为训练样本库，采用上述步骤所得到的实验结果及分析如下：

使用三次插值方法将测试图像放大8倍得到主观图，其主观结果如图2中21所示，其平均MOS(Mean Opinion Score，平均意见值)分值如下表表1中Cubic插值列所示，并将结果与原始图像计算PSNR(Peak Signal to Noise Ratio，峰值信噪比)值如表2中方法Cubic；使用基于PCA的人脸超分辨率方法重建图像得到主观图像，其主观结果如图2中22所示，其平均MOS分值如表1中基于PCA列所示，与原始图像计算PSNR值如表2中方法PCA；使用基于NMF分解的人脸超分辨率方法重建图像得到主观图像，其主观结果如图2中23所示，其平均MOS分值如表1中基于NMF列所示，与原始图像计算PSNR值如下表表2中方法NMF；使用LRNMF的人脸超分辨率方法重建图像得到主观图像，其主观结果如图2中24所示，其平均MOS分值如表1中基于LRNMF列所示，与原始图像计算PSNR值如表2中方法LRNMF。

基于PCA方法结果图像虽然比Cubic方法在分辨率上有所提高，但出现了较严重误差，与原始图像的相似性很低，这与样本图像个数有关，本发明提出的基于NMF的人脸超分辨率算法结果的主观质量相比于基于PCA方法和双三次插值方法都有较显著的提高，基于LRNMF的方法在NMF方法的基础上进一步提高。

客观质量方面，基于插值的Cubic方法最高，平均24.562dB。这里，我们将基于PCA、NMF和LRNMF的方法统称为基于合成的人脸超分辨率方法，该类方法的结果由于受到样本库信息的限制，客观质量低于基于Cubic方法的值，基于PCA方法的结果客观质量最低，平均16.622dB。在相同样本库信息的条件下，基于NMF方法比PCA方法的PSNR值平均提高7.065dB，最高提高12.456dB，最低提高3.941dB，基于LRNMF方法比基于NMF方法的PSNR值平均提高0.493，这与主观实验结果是一致的。

因此，实验表明，在主客观质量上，基于NMF的人脸超分辨率算法的性能胜过基于PCA算法，而基于LRNMF算法的性能在基于NMF方法的基础上有了进一步提高。

表1：实验中使用各种方法所得的主观MOS分值比较

测试用例	评价参数	Cubic插值MOS分	基于PCAMOS分	基于NMFMOS分	基于LRNMFMOS分
						测试样本1	可辨别度	-0.75	-0.15	1.12	1.75
测试样本2	可辨别度	-0.57	-0.12	1.06	1.72

测试用例	评价参数	Cubic插值MOS分	基于PCAMOS分	基于NMFMOS分	基于LRNMFMOS分
						测试样本3	可辨别度	-0.2	-0.34	0.73	0.9
测试样本4	可辨别度	0.09	0.04	0.33	0.6
						测试样本5	可辨别度	-1.6	-1.6	0.91	1.1
测试样本6	可辨别度	-0.95	-0.8	1.01	1.6
						测试样本7	可辨别度	-1.2	-1.4	0.32	0.85
测试样本8	可辨别度	0	0	0.25	0.75
						测试样本9	可辨别度	-0.4	-0.5	0.38	0.95
测试样本10	可辨别度	-0.4	-0.5	0.63	0.9
						平均值		-0.598	-0.537	0.784	1.112

表2：实验中使用各种方法所得的客观PSNR值比较

Claims (4)

1.一种基于非负矩阵分解的人脸超分辨率处理方法，其特征在于，包括以下步骤：

对样本库高分辨率人脸图像进行人脸对齐；

读入对齐后的样本图像库；

利用非负矩阵分解算法进行分解操作获得基图像；

将输入的低分辨率人脸图像进行对齐；

获得目标高分辨率人脸图像的非负矩阵分解表达系数；

结合基图像和表达系数得到中间高分辨率图像Z₁；

对样本库人脸图像重要区域进行分割；

对分割得到的局部区域分别独立进行非负矩阵分解；

对对齐后的输入图像的局部区域分别进行合成；

将合成的局部区域与图像Z₁进行加权结合获得超分辨率图像Z₂。

2.根据权利要求1所述的基于非负矩阵分解的人脸超分辨率处理方法，其特征在于：

所述利用非负矩阵分解算法进行分解操作获得基图像的步骤包括以下子步骤：

首先将样本库中的所有图像排列成包含T个N维列向量的矩阵V，其中，T是样本图像个数，N是每幅图像的像素个数，则N维图像样本向量V^t，t＝1，..，T，可线性近似表达成：

$V^t\≈\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{w}_i{h}_i^t=W{h}^t,$

其中W是一个N*M的矩阵，M是该矩阵所包含的基向量w_i，M个基向量W_i被认为是数据构成块，M维系数向量h^t描述每个数据构成块对于表达向量V^t的强度；

然后将样本向量V^t排列成一个N*T的矩阵V，则有V≈WH，其中H的每一列包含了系数向量h^t相应于向量V^t；

最后通过建立平方误差函数：

$E(W,H)={\left|\right|V-\mathrm{WH}\left|\right|}^2=\underset{i,j}{\mathrm{\Σ}}{(V_{\mathrm{ij}}-{\left(\mathrm{WH}\right)}_{\mathrm{ij}})}^2$

利用最速下降法交替迭代W和H，迭代过程中用乘性递推式子以保证其非负性，最终求解处代价函数。

3.根据权利要求1或2所述的基于非负矩阵分解的人脸超分辨率处理方法，其特征在于，所述获得目标高分辨率人脸图像的非负矩阵分解表达系数e的步骤包括以下子步骤：

利用基图像矩阵和系数向量的乘积表达目标高分辨率图像；

目标高分辨率图像模拟退化后与输入图像的差值建立代价函数的重建误差项；

利用马尔可夫随机场建立代价函数的正则约束项；

利用最速下降法求解代价函数项；

4.根据权利要求1所述的基于非负矩阵分解的人脸超分辨率处理方法，其特征在于：

所述的对分割得到的局部区域分别独立进行非负矩阵分解，采用对于对齐后的样本库中的每个人脸图像，分别将眉毛、眼睛、鼻子、嘴巴等重要区域按照一定矩形大小分割出来，分组成为不同类型的局部区域样本库，对与不同类型的局部区域样本库利用基于非负矩阵分解的方法分别进行局部分解。

Images