CN103020936A - 一种人脸图像超分辨率重构方法 - Google Patents

Abstract

本发明属于图像超分辨率重构领域，尤其是一种人脸图像超分辨率重构方法,其包括以下步骤：步骤1）输入低分辨率人脸图像及K个低分辨率参考人脸图像；步骤2）计算局部嵌入系数；步骤3）将局部嵌入系统代入重构模型计算超分辨率重构图像；步骤4）将上一步骤中求得的图像作为输入图像。该方法可以使人脸识别的精度得到提升。

Description

一种人脸图像超分辨率重构方法

技术领域

本发明属于图像超分辨率重构领域，尤其是一种人脸图像超分辨率重构方法。

背景技术

专利号为201210164069.9的专利公开了一种基于多流形判别分析超分辨率的人脸识别方法，该方法在训练阶段，通过多流形判别分析得到一个由低高辨率人脸图像多流形空间到高分辨率人脸图像多流形空间的映射矩阵。在原始高分辨率人脸图像多流形空间构建类内相似性图和类间相似性图，利用这两个近邻图构建判别约束项，最优化由重建约束项和判别约束项组成的代价函数，得到映射矩阵。在识别阶段，通过离线学习得到的映射矩阵将待识别的低分辨率人脸图像映射到高分辨率人脸图像多流形空间，得到高分辨率人脸图像。

但是现有的超分辨率重构方法重构的图像精度不够，造成人脸识别的性能严重下降。

发明内容

本发明所要解决的技术问题是：为了改善图像重构的质量，本专利提出了一种新的人脸图像超分辨率重构方法，该方法可以使人脸识别的精度得到提升。

本发明解决上述技术问题所采用的技术方案是：一种人脸图像超分辨率重构方法，其包括以下步骤：

步骤1）、首先取输入低分辨率人脸图像I和K个与输入低分辨率人脸图像I的欧氏距离最近的低分辨率参考人脸图像I_k(x)，低分辨率参考人脸图像I_k(x)经仿射平移算子平移p个单位后的图像为I_k(x+p)；

步骤2）、对步骤1）中输入低分辨率人脸图像I和K个与输入低分辨率人脸图像I的欧氏距离最近的低分辨率参考人脸图像I_k(x)分别用复合重心有理插值算法进行插值放大，插值放大后的图像分别依次记为I_l↑和I_l↑,k,k=1,2,…,K，然后，采用光流法并利用I_l↑和I_l↑,k来获得高分辨率图像光流场；令K个参考样本在x处的配准误差为E_r，k(x)，k=1、2、…、K，它可以由下式计算得到：式中

代表利用光流场对I_l↑,k进行配准后生成的图像；将E_r，k(x)代入式(1.1)

$b_k\left(x\right)=\frac{{[\underset{q\∈\mathrm{\Ω}}{\mathrm{\Σ}}{E}_{r,k}(x+q)+u_{\mathrm{eps}}]}^{-2}}{\underset{k}{\mathrm{\Σ}}{[\underset{q\∈\mathrm{\Ω}}{\mathrm{\Σ}}{E}_{r,k}(x+q)+u_{\mathrm{eps}}]}^{-2}}---\left(1.1\right)$

B_x＝diag[b₁(x)b₂(x)…b_k(x)]   (1.2)

其中,u_eps是一个用以避免分母为0正常数，Ω是一个邻域窗口,其大小为7×7像素点，

反映了参考样本在像素点x附近平移q个单位的配准误差；求解B_x，所求得的B_x作为平衡局部嵌入系数的权重代入式(2)；配准后的高分辨率参考样本与目标图像在像素点x处具有近似相同的嵌入系数，其嵌入系数按如下公式计算：

$\left\{w_p\left(x\right)\right|p\∈C,x\∈G\}=\arg \min \underset{x}{\mathrm{\Σ}}\frac{\mathrm{\γ}}{2}\×{[h\left(x\right)-\underset{p\∈C}{\mathrm{\Σ}}h(x+p)w_p\left(x\right)]}^T{B}_x\·$

$[h\left(x\right)-\underset{p\∈C}{\mathrm{\Σ}}h(x+p)w_p\left(x\right)]+\underset{p\∈C}{\mathrm{\Σ}}\left(\underset{x}{\mathrm{\Σ}}\right|{\▿w}_p\left(x\right)\left|\right)---\left(2\right)$

式中:G代表高分辨率图像中所有可能的像素点位置;γ用于平衡式(2)中加号前后两项的贡献度大小,γ＝0.5；前一项反映了w_p(x)应当满足的局部嵌入关系；后一项是其总变差；为了求解式(2),采用基于时变偏微分方程的方法来迭代求解w_p(x)：

$\frac{{\∂w}_p\left(x\right)}{\∂t}=\▿\left(\frac{{\▿w}_p\left(x\right)}{\left|{\▿w}_p\left(x\right)\right|}\right)-\mathrm{\γ}{h}^T(x+p)B_x\×[\underset{q\∈C}{\mathrm{\Σ}}h(x+p)w_q\left(x\right)-h\left(x\right)]$

式中

为嵌入系数随时间t的变化量；离散化上式就可以求得局部嵌入系数w_p(x)的数值解；

所述复合重心有理插值算法具体为：

Step 2.1:将低分辨率人脸图像I和K个与输入低分辨率人脸图像I的欧氏距离最近的低分辨率图像中的每一个图像分别分解为红、绿、蓝三个色彩通道，在每个通道分别以4×4像素点大小的邻域窗口中的像素值作为插值节点对应的输入图像像素f(x_i,y_j)；

Step 2.2:由式（1）进行插值计算；每计算完一次，按照从左至右，从下到上进行扫描逐步计算所得的结果，把所计算的序列结果存入目标图像数组中，作为最后插值放大后的图像；放大后的图像分别记为I_l↑和I_l↑,k,k=1,2,…,K;

所述复合重心有理插值的数学模型为：

$R(x,y)=\frac{\underset{i=0}{\overset{{n-d}_1}{\mathrm{\Σ}}}{\mathrm{\λ}}_i\left(x\right)r_i(x,y)}{\underset{i=0}{\overset{{n-d}_1}{\mathrm{\Σ}}}{\mathrm{\λ}}_i\left(x\right)}---\left(1\right)$

其中，

${\mathrm{\ψ}}_k(x,y)=\frac{\underset{l=k}{\overset{{k+d}_2}{\mathrm{\Σ}}}\frac{{(-1)}^l}{y-y_l}f(x,y_l)}{\underset{l=k}{\overset{{k+d}_2}{\mathrm{\Σ}}}\frac{{(-1)}^l}{y-y_l}}k=\mathrm{0,1},...,m-d_2$

${\mathrm{\λ}}_i\left(x\right)=\frac{{(-1)}^i}{\left({x-x}_i\right)\left({x-x}_{i+1}\right)...\left({x-x}_{i+d_1}\right)}$

${\mathrm{\λ}}_i\left(y\right)=\frac{{(-1)}^k}{\left({y-y}_k\right)\left({y-y}_{k+1}\right)...\left({y-y}_{k+d_2}\right)}$

m,n为正整数，在这里取m＝3,n＝3；x_i,y_j为插值节点，f(x_i,y_j)为节点对应的输入图像像素值，R(x,y)为输出放大后图像像素值；

步骤3）、将步骤2）中求得的局部嵌入系数w_p(x)的数值解代入重构模型计算超分辨率重构图像；所述重构模型的计算方法为：首先，将局部嵌入系数w_p(x)的数值解代入式（3）对目标图像

按下式（3）进行最大后验概率估计：

${\hat{I}}_h={\arg }_{I_h}\min Q\left(I_h\right)={\arg }_{I_h}\min {\left|\right|{\mathrm{DBI}}_h-I_1\left|\right|}^2+\mathrm{\λ}\underset{x}{\mathrm{\Σ}}{\left|\right|I_h\left(x\right)-\underset{p\∈C}{\mathrm{\Σ}}{I}_h(x+p)w_p\left(x\right)\left|\right|}^2---\left(3\right)$

式中Q(I_h)是关于高分辨率人脸图像列向量的代价函数；Q(I_h)中的前一项

是数据项,它代表所求的高分辨率图像，图像经过降质后应与已知的观察样本保持一致；后一项

是先验项,它限定了重构图像中所有像素点与其邻近点之间所应满足的线性嵌入关系；参数λ用来平衡数据项和先验项的相对贡献大小；

式(3)中I_h(x)的计算公式为

$I_h\left(x\right)=\underset{p\∈C}{\mathrm{\Σ}}{I}_h(x-p)w_p\left(x\right)---\left(4\right)$

式中:p为像素点x与其邻近点之间的空间偏移量；C为以x为中心的邻域窗口,它限定了p的取值范围，则0≤p≤1；w_p(x)为对应于邻近点(x+p)的线性嵌入系数；

式(3)中I₁的计算公式如下：

I₁＝DBI_h+n            ⑸

I₁为低分辨率人脸图像的列向量，其维数为N₁；I_h为高分辨率人脸图像的列向量，其维数为N₂；B为由高斯型点扩散函数产生并且对应于成像过程中的模糊矩阵,其尺寸为N₂×N₂；D为大小为N₁×N₂的下采样矩阵；n为均值为0的加性高斯白噪声；

将式(3)中的Q(I_h)写成如下矩阵运算形式,即

$Q\left(I_h\right)={\left|\right|{\mathrm{DBI}}_h-I_1\left|\right|}^2+\mathrm{\λ}{\left|\right|(E-\underset{p\∈C}{\mathrm{\Σ}}{W}_p{S}_{-p})I_h\left|\right|}^2---\left(6\right)$

式中:S_-p为平移量为p的平移算子,它是尺寸为N₂×N₂的矩阵;W_p为N₂×N₂的对角矩阵,其中每1个对角元素对应于1个像素点x在p方向的线性嵌入系数w_p(x)；E为与S_-p和W_p相同大小的单位矩阵；这样，Q(I_h)的梯度可以表示为

$\frac{\∂Q\left(I_h\right)}{{\∂I}_h}={2B}^T{D}^T({\mathrm{DBI}}_h-I_1)+2\mathrm{\λ}{(E-\underset{p\∈C}{\mathrm{\Σ}}{W}_p{S}_{-p})}^T(E-\underset{p\∈C}{\mathrm{\Σ}}{W}_p{S}_{-p})I_h---\left(7\right)$

利用式(7)求得关于I_h(x)的代价函数的梯度值，将所求得代价函数的梯度值代入下面式(8)用梯度下降法迭代求得最终的超分辨率重构目标图像

${\hat{I}}_h^{t+1}={\hat{I}}_h^t-\mathrm{\β}\frac{\∂Q\left(I_h\right)}{{\∂I}_h}{|}_{h={\hat{I}}_h^t}---\left(8\right)$

式中:t为当前的迭代次数；β为迭代步长,β取0.3；令迭代的初始值

为对输入图像进行复合重心有理插值放大后的图像；

步骤3）、输出步骤2）中式(8)所估计的超分辨率重构目标图像

本专利与现有专利相比，它的技术优势在于重构过程中引用了一种高精度的图像插值方法，能够使精度受到损失的图像得以高精度重构，可以抑制重构图像中毛刺、伪影等噪声的产生。

附图说明

图1为本发明实施例的流程示意图。

具体实施方式

下面结合实施例对本发明作进一步的说明：

如图1所示，本发明实施例一种人脸图像超分辨率重构方法的详细计算步骤描述如下：

一种人脸图像超分辨率重构方法，其包括以下步骤：

步骤1）、首先取输入低分辨率人脸图像I和K个与输入低分辨率人脸图像I的欧氏距离最近的低分辨率参考人脸图像I_k(x)，低分辨率参考人脸图像I_k(x)经仿射平移算子平移p个单位后的图像为I_k(x+p)；优选的，取K＝6，是为了既保证重构的精度又保证计算的速度。

步骤2）、对步骤1）中输入低分辨率人脸图像I和K个与输入低分辨率人脸图像I的欧氏距离最近的低分辨率参考人脸图像I_k(x)分别用复合重心有理插值算法进行插值放大到较大的尺寸，比如放大3倍。插值放大后的图像分别依次记为I_l↑和I_l↑,k,k=1,2,…,K，然后，采用光流法并利用I_l↑和I_l↑,k来获得高分辨率图像光流场；令K个参考样本在x处的配准误差为E_r，k(x)，k=1、2、…、K，它可以由下式计算得到：

式中

代表利用光流场对I_l↑，k进行配准后生成的图像；E_r，k(x)用于本步骤中学习像素点x的局部嵌入系数时平衡各参考样本的权重,将E_r，k(x)代入式(1.1)，

(1.1)

B_x＝diag[b₁(x)b₂(x)…b_k(x)]             (1.2)

b_k(x)是第k个参考样本的权重,其取值与配准误差E_r，k(x)有关,式中:

反映了参考样本在像素点x附近平移q个单位的配准误差；Ω是1个邻域窗口,其大小为7×7像素点.可以看出,各参考样本在相应位置的权重与其配准误差的平方近似成反比。式中,分母是归一化因子,u_eps是1个小的正常数,用以避免分母为0。显然,当参考样本在x处的配准误差较大时,其权重b_k(x)就小,反之亦然。由于要考虑到像素点之间的承接关系，求得的嵌入系数之间可能存在非连续性。此外,当参考样本的数目K较小时(例如K<|C|,|C|代表邻点的个数),满足式(2)条件的w_p(x)不唯一。因此,算法引入了总变差最小化方法对嵌入系数的平滑度进行额外约束。求解B_x，所求得的B_x作为平衡局部嵌入系数的权重代入式(2)；配准后的高分辨率图像参考样本与目标图像在像素点x处具有近似相同的嵌入系数，所求的局部嵌入系数{w_p(x)}_p∈C应满足

$\left\{w_p\left(x\right)\right|p\&Element;C,x\&Element;G\}=\arg \min \underset{x}{\mathrm{\&Sigma;}}\frac{\mathrm{\&gamma;}}{2}\&times;{[h\left(x\right)-\underset{p\&Element;C}{\mathrm{\&Sigma;}}h(x+p)w_p\left(x\right)]}^T{B}_x\&CenterDot;$

$[h\left(x\right)-\underset{p\&Element;C}{\mathrm{\&Sigma;}}h(x+p)w_p\left(x\right)]+\underset{p\&Element;C}{\mathrm{\&Sigma;}}\left(\underset{x}{\mathrm{\&Sigma;}}\right|{\&dtri;w}_p\left(x\right)\left|\right)---\left(2\right)$

式中:G代表高分辨率图像中所有可能的像素点位置;γ用于平衡式(3)中加号前后两项的贡献度大小,γ＞0,优选γ＝0.5；前一项反映了w_p(x)应当满足的局部嵌入关系;后一项是其总变差。在图像去噪中，最小化总变差的好处是去噪的同时也能较好地保护图像的边缘纹理等高频信息。这里，算法利用总变差来抑制嵌入系数的非连续性,并保持系数中所包含的高分辨率图像局部结构特征。为了求解式(2),采用基于时变偏微分方程的方法来迭代求解w_p(x)：

$\frac{{\&PartialD;w}_p\left(x\right)}{\&PartialD;t}=\&dtri;\left(\frac{{\&dtri;w}_p\left(x\right)}{\left|{\&dtri;w}_p\left(x\right)\right|}\right)-\mathrm{\&gamma;}{h}^T(x+p)B_x\&times;[\underset{q\&Element;C}{\mathrm{\&Sigma;}}h(x+p)w_q\left(x\right)-h\left(x\right)]$

式中

为嵌入系数随时间t的变化量。离散上式就可以求得w_p(x)的数值解。

所述复合重心有理插值算法具体为：

Step 2.1:将低分辨率人脸图像I和K个与输入低分辨率人脸图像I的欧氏距离最近的低分辨率图像中的每一个图像分别分解为红、绿、蓝三个色彩通道，在每个通道分别以4×4像素点大小的邻域窗口中的像素值作为插值节点对应的输入图像像素f(x_i,y_j)；

Step 2.2:由式（1）进行插值计算；每计算完一次，按照从左至右，从下到上进行扫描逐步计算所得的结果，把所计算的序列结果存入目标图像数组中，作为最后插值放大后的图像；放大后的图像分别记为I_l↑和I_l↑,k,k=1,2,…,K;

所述复合重心有理插值的数学模型为：

$R(x,y)=\frac{\underset{i=0}{\overset{{n-d}_1}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_i\left(x\right)r_i(x,y)}{\underset{i=0}{\overset{{n-d}_1}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_i\left(x\right)}---\left(1\right)$

其中，

${\mathrm{\&psi;}}_k(x,y)=\frac{\underset{l=k}{\overset{{k+d}_2}{\mathrm{\&Sigma;}}}\frac{{(-1)}^l}{y-y_l}f(x,y_l)}{\underset{l=k}{\overset{{k+d}_2}{\mathrm{\&Sigma;}}}\frac{{(-1)}^l}{y-y_l}}k=\mathrm{0,1},...,m-d_2$

${\mathrm{\&lambda;}}_i\left(x\right)=\frac{{(-1)}^i}{\left({x-x}_i\right)\left({x-x}_{i+1}\right)...\left({x-x}_{i+d_1}\right)}$

${\mathrm{\&lambda;}}_i\left(y\right)=\frac{{(-1)}^k}{\left({y-y}_k\right)\left({y-y}_{k+1}\right)...\left({y-y}_{k+d_2}\right)}$

m,n为正整数，在这里取m＝3,n＝3；x_i,y_j为插值节点，f(x_i,y_j)为节点对应的输入图像像素值，R(x,y)为输出放大后图像像素值；

步骤3）、将步骤2）中求得的局部嵌入系数w_p(x)的数值解代入重构模型计算超分辨率重构图像；所述重构模型的计算方法为：首先，将局部嵌入系数w_p(x)的数值解代入式（3）对目标图像

按下式（3）进行最大后验概率估计：

${\hat{I}}_h={\arg }_{I_h}\min Q\left(I_h\right)={\arg }_{I_h}\min {\left|\right|{\mathrm{DBI}}_h-I_1\left|\right|}^2+\mathrm{\&lambda;}\underset{x}{\mathrm{\&Sigma;}}{\left|\right|I_h\left(x\right)-\underset{p\&Element;C}{\mathrm{\&Sigma;}}{I}_h(x+p)w_p\left(x\right)\left|\right|}^2---\left(3\right)$

式中Q(I_h)是关于高分辨率人脸图像列向量的代价函数；Q(I_h)中的前一项

是数据项,它代表所求的高分辨率图像，图像经过降质后应与已知的观察样本保持一致；后一项

是先验项,它限定了重构图像中所有像素点与其邻近点之间所应满足的线性嵌入关系；参数λ用来平衡数据项和先验项的相对贡献大小；

式(3)中I_h(x)的计算公式为

$I_h\left(x\right)=\underset{p\&Element;C}{\mathrm{\&Sigma;}}{I}_h(x-p)w_p\left(x\right)---\left(4\right)$

式中:p为像素点x与其邻近点之间的空间偏移量；C为以x为中心的邻域窗口,它限定了p的取值范围，则0≤p≤1；w_p(x)为对应于邻近点(x+p)的线性嵌入系数；

式(3)中I₁的计算公式如下：

I₁＝DBI_h+n          ⑸

I₁为低分辨率人脸图像的列向量，其维数为N₁；I_h为高分辨率人脸图像的列向量，其维数为N₂；B为由高斯型点扩散函数产生并且对应于成像过程中的模糊矩阵,其尺寸为N₂×N₂；D为大小为N₁×N₂的下采样矩阵；n为均值为0的加性高斯白噪声；

将式(3)中的Q(I_h)写成如下矩阵运算形式,即

$Q\left(I_h\right)={\left|\right|{\mathrm{DBI}}_h-I_1\left|\right|}^2+\mathrm{\&lambda;}{\left|\right|(E-\underset{p\&Element;C}{\mathrm{\&Sigma;}}{W}_p{S}_{-p})I_h\left|\right|}^2---\left(6\right)$

式中:S_-p为平移量为p的平移算子,它是尺寸为N₂×N₂的矩阵;W_p为N₂×N₂的对角矩阵,其中每1个对角元素对应于1个像素点x在p方向的线性嵌入系数w_p(x)；E为与S_-p和W_p相同大小的单位矩阵；这样，Q(I_h)的梯度可以表示为

$\frac{\&PartialD;Q\left(I_h\right)}{{\&PartialD;I}_h}={2B}^T{D}^T({\mathrm{DBI}}_h-I_1)+2\mathrm{\&lambda;}{(E-\underset{p\&Element;C}{\mathrm{\&Sigma;}}{W}_p{S}_{-p})}^T(E-\underset{p\&Element;C}{\mathrm{\&Sigma;}}{W}_p{S}_{-p})I_h---\left(7\right)$

利用式(7)求得关于I_h(x)的代价函数的梯度值，将所求得代价函数的梯度值代入下面式(8)用梯度下降法迭代求得最终的超分辨率重构目标图像

${\hat{I}}_h^{t+1}={\hat{I}}_h^t-\mathrm{\&beta;}\frac{\&PartialD;Q\left(I_h\right)}{{\&PartialD;I}_h}{|}_{h={\hat{I}}_h^t}---\left(8\right)$

式中:t为当前的迭代次数；β为迭代步长,β取0.3；令迭代的初始值

为对输入图像进行复合重心有理插值放大后的图像；

步骤3）、输出步骤2）中式(8)所估计的超分辨率重构目标图像

所述λ＝0.8，取λ＝0.8可以保证权重平衡适中。

优选的，所述C为3×3像素点或4×4像素点大小的邻域窗口。

以上所述，仅是本发明的较佳实施例而已，并非对发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化和修饰，均仍属于本发明的范围内。

Claims (1)

1.一种人脸图像超分辨率重构方法，其特征在于：其包括以下步骤：

步骤1）、首先取输入低分辨率人脸图像I和K个与输入低分辨率人脸图像I的欧氏距离最近的低分辨率参考人脸图像I_k(x)，低分辨率参考人脸图像I_k(x)经仿射平移算子平移p个单位后的图像为I_k(x+p)；

步骤2）、对步骤1）中输入低分辨率人脸图像I和K个与输入低分辨率人脸图像I的欧氏距离最近的低分辨率参考人脸图像I_k(x)分别用复合重心有理插值算法进行插值放大，插值放大后的图像分别依次记为I_l↑和I_l↑,k,k=1,2,…,K，然后，采用光流法并利用I_l↑和I_l↑，k来获得高分辨率图像光流场；令K个参考样本在x处的配准误差为E_r，k(x)，k=1、2、…、K，它可以由下式计算得到：

式中

代表利用光流场对I_l↑，k进行配准后生成的图像；将E_r，k(x)代入式(1.1)

$b_k\left(x\right)=\frac{{[\underset{q\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}{E}_{r,k}(x+q)+u_{\mathrm{eps}}]}^{-2}}{\underset{k}{\mathrm{\&Sigma;}}{[\underset{q\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}{E}_{r,k}(x+q)+u_{\mathrm{eps}}]}^{-2}}---\left(1.1\right)$

B_x＝diag[b₁(x)b₂(x)…b_k(x)]               (1.2)

其中,u_eps是一个用以避免分母为0正常数，Ω是一个邻域窗口,其大小为7×7像素点，

反映了参考样本在像素点x附近平移q个单位的配准误差；求解B_x，所求得的B_x作为平衡局部嵌入系数的权重代入式(2)；配准后的高分辨率参考样本与目标图像在像素点x处具有近似相同的嵌入系数，其嵌入系数按如下公式计算：

$\left\{w_p\left(x\right)\right|p\&Element;C,x\&Element;G\}=\arg \min \underset{x}{\mathrm{\&Sigma;}}\frac{\mathrm{\&gamma;}}{2}\&times;{[h\left(x\right)-\underset{p\&Element;C}{\mathrm{\&Sigma;}}h(x+p)w_p\left(x\right)]}^T{B}_x\&CenterDot;$

$[h\left(x\right)-\underset{p\&Element;C}{\mathrm{\&Sigma;}}h(x+p)w_p\left(x\right)]+\underset{p\&Element;C}{\mathrm{\&Sigma;}}\left(\underset{x}{\mathrm{\&Sigma;}}\right|{\&dtri;w}_p\left(x\right)\left|\right)---\left(2\right)$

式中:G代表高分辨率图像中所有可能的像素点位置;γ用于平衡式(2)中加号前后两项的贡献度大小,γ＝0.5；前一项反映了w_p(x)应当满足的局部嵌入关系；后一项是其总变差；为了求解式(2),采用基于时变偏微分方程的方法来迭代求解w_p(x)：

$\frac{{\&PartialD;w}_p\left(x\right)}{\&PartialD;t}=\&dtri;\left(\frac{{\&dtri;w}_p\left(x\right)}{\left|{\&dtri;w}_p\left(x\right)\right|}\right)-\mathrm{\&gamma;}{h}^T(x+p)B_x\&times;[\underset{q\&Element;C}{\mathrm{\&Sigma;}}h(x+p)w_q\left(x\right)-h\left(x\right)]$

式中

为嵌入系数随时间t的变化量；离散化上式就可以求得局部嵌入系数w_p(x)的数值解；

所述复合重心有理插值算法具体为：

Step 2.1:将低分辨率人脸图像I和K个与输入低分辨率人脸图像I的欧氏距离最近的低分辨率图像中的每一个图像分别分解为红、绿、蓝三个色彩通道，在每个通道分别以4×4像素点大小的邻域窗口中的像素值作为插值节点对应的输入图像像素f(x_i,y_j)；

Step 2.2:由式（1）进行插值计算；每计算完一次，按照从左至右，从下到上进行扫描逐步计算所得的结果，把所计算的序列结果存入目标图像数组中，作为最后插值放大后的图像；放大后的图像分别记为I_l↑和I_l↑,k,k=1,2,…,K;

所述复合重心有理插值的数学模型为：

$R(x,y)=\frac{\underset{i=0}{\overset{{n-d}_1}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_i\left(x\right)r_i(x,y)}{\underset{i=0}{\overset{{n-d}_1}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_i\left(x\right)}---\left(1\right)$

其中，

${\mathrm{\&psi;}}_k(x,y)=\frac{\underset{l=k}{\overset{{k+d}_2}{\mathrm{\&Sigma;}}}\frac{{(-1)}^l}{y-y_l}f(x,y_l)}{\underset{l=k}{\overset{{k+d}_2}{\mathrm{\&Sigma;}}}\frac{{(-1)}^l}{y-y_l}}k=\mathrm{0,1},...,m-d_2$

${\mathrm{\&lambda;}}_i\left(x\right)=\frac{{(-1)}^i}{\left({x-x}_i\right)\left({x-x}_{i+1}\right)...\left({x-x}_{i+d_1}\right)}$

${\mathrm{\&lambda;}}_i\left(y\right)=\frac{{(-1)}^k}{\left({y-y}_k\right)\left({y-y}_{k+1}\right)...\left({y-y}_{k+d_2}\right)}$

m,n为正整数，在这里取m＝3,n＝3；x_i,y_j为插值节点，f(x_i,y_j)为节点对应的输入图像像素值，R(x,y)为输出放大后图像像素值；

步骤3）、将步骤2）中求得的局部嵌入系数w_p(x)的数值解代入重构模型计算超分辨率重构图像；所述重构模型的计算方法为：首先，将局部嵌入系数w_p(x)的数值解代入式（3）对目标图像按下式（3）进行最大后验概率估计：

${\hat{I}}_h={\arg }_{I_h}\min Q\left(I_h\right)={\arg }_{I_h}\min {\left|\right|{\mathrm{DBI}}_h-I_1\left|\right|}^2+\mathrm{\&lambda;}\underset{x}{\mathrm{\&Sigma;}}{\left|\right|I_h\left(x\right)-\underset{p\&Element;C}{\mathrm{\&Sigma;}}{I}_h(x+p)w_p\left(x\right)\left|\right|}^2---\left(3\right)$

式中Q(I_h)是关于高分辨率人脸图像列向量的代价函数；Q(I_h)中的前一项

是数据项,它代表所求的高分辨率图像，图像经过降质后应与已知的观察样本保持一致；后一项

是先验项,它限定了重构图像中所有像素点与其邻近点之间所应满足的线性嵌入关系；参数λ用来平衡数据项和先验项的相对贡献大小；

式(3)中I_h(x)的计算公式为

$I_h\left(x\right)=\underset{p\&Element;C}{\mathrm{\&Sigma;}}{I}_h(x-p)w_p\left(x\right)---\left(4\right)$

式中:p为像素点x与其邻近点之间的空间偏移量；C为以x为中心的邻域窗口,它限定了p的取值范围，则0≤p≤1；w_p(x)为对应于邻近点(x+p)的线性嵌入系数；

式(3)中I₁的计算公式如下：

I₁＝DBI_h+n                ⑸

I₁为低分辨率人脸图像的列向量，其维数为N₁；I_h为高分辨率人脸图像的列向量，其维数为N₂；B为由高斯型点扩散函数产生并且对应于成像过程中的模糊矩阵,其尺寸为N₂×N₂；D为大小为N₁×N₂的下采样矩阵；n为均值为0的加性高斯白噪声；

将式(3)中的Q(I_h)写成如下矩阵运算形式,即

$Q\left(I_h\right)={\left|\right|{\mathrm{DBI}}_h-I_1\left|\right|}^2+\mathrm{\&lambda;}{\left|\right|(E-\underset{p\&Element;C}{\mathrm{\&Sigma;}}{W}_p{S}_{-p})I_h\left|\right|}^2---\left(6\right)$

式中:S_-p为平移量为p的平移算子,它是尺寸为N₂×N₂的矩阵;W_p为N₂×N₂的对角矩阵,其中每1个对角元素对应于1个像素点x在p方向的线性嵌入系数w_p(x)；E为与S_-p和W_p相同大小的单位矩阵；这样，Q(I_h)的梯度可以表示为

$\frac{\&PartialD;Q\left(I_h\right)}{{\&PartialD;I}_h}={2B}^T{D}^T({\mathrm{DBI}}_h-I_1)+2\mathrm{\&lambda;}{(E-\underset{p\&Element;C}{\mathrm{\&Sigma;}}{W}_p{S}_{-p})}^T(E-\underset{p\&Element;C}{\mathrm{\&Sigma;}}{W}_p{S}_{-p})I_h---\left(7\right)$

利用式(7)求得关于I_h(x)的代价函数的梯度值，将所求得代价函数的梯度值代入下面式(8)用梯度下降法迭代求得最终的超分辨率重构目标图像

${\hat{I}}_h^{t+1}={\hat{I}}_h^t-\mathrm{\&beta;}\frac{\&PartialD;Q\left(I_h\right)}{{\&PartialD;I}_h}{|}_{h={\hat{I}}_h^t}---\left(8\right)$

式中:t为当前的迭代次数；β为迭代步长,β取0.3；令迭代的初始值

为对输入图像进行复合重心有理插值放大后的图像；

步骤3）、输出步骤2）中式(8)所估计的超分辨率重构目标图像

Images