CN106600538A - 一种基于区域深度卷积神经网络的人脸超分辨率算法 - Google Patents

Abstract

本发明公开了一种基于区域深度卷积神经网络的人脸超分辨率算法，包括以下步骤：训练阶段：S1、对输入的低分辨率人脸图像在像素域中划分相互重叠的图像块，得到多个局部区域；S2、对局部区域提取得到局部特征；S3、对局部特征进行非线性变化得到非线性特征；S4、对非线性特征进行处理，得到重建后的高分辨率图像块；S5、对高分辨率图像块进行拼接，并调整多层卷积层和修正线性单元层的参数；测试阶段：S6、输入低分辨率的测试人脸图像，通过超分辨率网络处理得到高分辨率的人脸图像。本发明提出的区域卷积神经网络提高了重建高分辨率图像的主客观重建质量。

Description

一种基于区域深度卷积神经网络的人脸超分辨率算法

技术领域

本发明涉及图像超分辨率领域，尤其涉及一种基于区域深度卷积神经网络的人脸超分辨率算法。

背景技术

Simon和Kanade等人专门针对人脸图像提出了一种人脸幻构(facehallucination)方法，人脸幻构就是一种由输入低分辨率人脸图像产生高分辨率人脸图像的图像超分辨率重建方法。

传统基于重建的超分辨率算法适用于放大倍数较小的情况，当放大倍数增大，重建方法不能获得更多的先验知识，限制了其重建质量。基于学习的人脸超分辨率算法可以分为单层方法和多层方法，单层方法利用人脸图像的局部块来共享最大的相似性，获得最优权重向量，方法是利用深度网络从低分辨率图像提取人脸特征来描述重建高分辨率图像。单层方法描述特征的能力不足，多层方法没有利用区域更为精确的先验知识，因此重建效果并不理想。

近年来，学者们提出了大量的基于学习的人脸超分辨率方法。例如，2010年Yang等人提出一种基于稀疏编码的自适应选择相邻最相关(sparse representation)人脸超分辨率方法。Chang等人提出的局部线性嵌入(Locally linear embedding)，LLE是一种非线性降维方法,它能够使降维后的特征信息不丢失，从而实现特征空间维数的压缩。Ma等人提出了基于最小二乘法表征(least squares representation)方法,LSR通过图像块的输出权重对低分辨率图像进行超分辨率重建。Jiang等人提出了局部约束表达(Localityconstrained Representation)，LCR同时保留了稀疏性和局部性。然后，单层表达能力不足，不能充分利用人脸图像上的结构化知识。

为了解决单层表达框架精度不足的问题，Dong等人提出了基于深度学习的卷积神经网络超分辨率(Deep Convolutional Network for Image Super-Resolution)算法，SRCNN具有低分辨率图像和高分辨率的图像之间的一个端到端的映射，具有很少的预处理和后处理，该算法取得了令人满意的重建效果。然而，SRCNN方法随机从样本图像中取得训练图像块，无法充分利用人脸图像中区域块的结构化先验，降低了深度学习网络获得更为准确的重建先验的效率。

发明内容

本发明要解决的技术问题在于针对现有技术中单层学习结构的表达能力不足，不能充分利用人脸图像上的结构化知识的缺陷，提供一种基于区域深度卷积神经网络的人脸超分辨率算法。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种基于区域深度卷积神经网络的人脸超分辨率算法，包括以下步骤：

训练阶段：

S1、获取训练的高分辨率人脸图像，对其处理得到低分辨率人脸图像，使用滑动窗口自适应的选择相邻的图像块，将低分辨率人脸图像在像素域中划分相互重叠的图像块，得到多个局部区域；

S2、将局部区域作为输入，通过第一层卷积层和修正线性单元层提取得到局部特征；

S3、将局部特征作为输入，通过第二层卷积层和修正线性单元层，进行非线性变化得到非线性特征；

S4、将非线性特征作为输入，通过第三层卷积层和修正线性单元层，得到重建后的高分辨率图像块；

S5、根据高分辨率图像块的重叠部分，对高分辨率图像块进行拼接，输出完整的高分辨率人脸图像，将输出的高分辨率人脸图像与训练的高分辨率人脸图像进行比较，根据比较结果的相似程度，调整多层卷积层和修正线性单元层的参数；

测试阶段：

S6、根据训练阶段得到的多层卷积层和修正线性单元层组成超分辨率网络，输入低分辨率的测试人脸图像，通过超分辨率网络处理得到高分辨率的人脸图像。

进一步地，本发明的步骤S1中处理得到低分辨率人脸图像的方法为：

获取的高分辨率人脸图像为{Y^m|1≤m≤M}∈R^a×b，M表示训练样本的个数，低分辨率人脸图像为{X^m|1≤m≤M}∈R^(a/t)×(b/t)，其变换公式为：

X^m＝D(blur)Y^m

其中，D是下采样函数，blur系统模糊函数。

进一步地，本发明的步骤S1中划分相互重叠的图像块的方法为：

利用滑动窗口将低分辨率人脸图像划分为S个局部区域；

设低分辨率人脸图像X_T∈R^(a/t)×(b/t)，其中t表示超分辨率的放大倍数；将低分辨率人脸样本图像和高分辨率人脸样本图像对应编号，对于第m个低分辨率人脸图像，X^m是高分辨率人脸样本图像Y^m通过降质过程下采样而获得，低分辨率图像下采样后使用Bicubic插值到高分辨率图像大小，组成具有同样分辨率的训练样本集合{X^m，Y^m|1≤m≤M}∈R^a×b；在图像a×b像素空间划分成S个相互重叠的区域，区域设置为p×p像素大小的方块；设R_s表示在图像的第s个位置空间的取块操作，对于第s个空间块，对训练样本{X^m，Y^m|1≤m≤M}∈R^{a ×b}按照统一的空间位置取块，组成新的S个子训练样本对：

{X[s],Y[s]|1≤s≤S}∈R^(p×p)×M

其中：

高分辨率块减去d个像素的边缘部分，其对应的超分辨率人脸图像块大小为(p-d)×(p-d)，对于每一个子区域s，其训练样本个数任然为M。

进一步地，本发明的步骤S2中提取得到局部特征的方法为：

对于每个子区域s，分别获得到了高、低分辨率人脸图像的训练样本对{X[s],Y[s]|1≤s≤S|}∈R^(p×p)×M；

X[s]∈R^(p×p)×M表示低分辨率的训练样本集合，做为第一层卷积层的输入，获得的局部特征表示为：

其中，下标表示网络的层次数，上标表示空间位置子网络标号，表示第s个空间块维度为c×f₁×f₁×q₁的权重，*表示卷积运算，是第s个空间块样本矩阵，设其每层的卷积核大小为f_i,i＝1,2,...I，的维度是c×(p-f₁+1)×(p-f₁+1)×q₁，q_i是特征的数量，c表示输入图像的通道个数,b₁是滤波器的偏置参数，是一个q₁维的向量，其初始值是0；X[s]∈R^(p×p)×M大小为p×p的图像作为输入，经过f₁×f₁的卷积之后，得到一个(p-f₁+1)×(p-f₁+1)的特征图谱。

进一步地，本发明的步骤S3中进行非线性变化得到非线性特征的方法为：

将局部特征作为输入，设当前非线性变换层次为i，i＝1,2,...I，I表示深度网络的层次数，当1＜i＜I是表示的特征非线性变换层，局部特征通过第i层的非线性变换卷积层和修正线性单元层，进行非线性变化得到非线性特征的公式为：

其中，是一个q_i-1×f_i×f_i×q_i维的向量，是一个q_i维的向量，1＜i＜I。

进一步地，本发明的步骤S4中得到重建后的高分辨率图像块的方法为：

将多层的非线性特征值作为输入，通过最后一层卷积层和修正线性单元层，得到一张重建的超分辨率的图像

其中，ω_I是一个q_I×f_I×f_I×q_I维的向量表示合成层的权重，是一个q_I维的向量表示合成层的偏置。

进一步地，本发明的步骤S5中输出完整的高分辨率人脸图像的方法为：

根据步骤S2-步骤S4训练多个包含高分辨率人脸图像块的子网络，获得子网络结构后，将高分辨率人脸图像块进行拼接，得到一张完整高分辨率人脸图像，不断训练更新每一层网络的权重和偏置参数。

进一步地，本发明的步骤S5中训练更新每一层网络的权重和偏置参数的方法为：

使用反向传播和随机梯度下降算法，通过重建的超分辨率图像和高分辨率图像Y[S]∈R^(p×p)×M计算出欧式距离损失函数，计算所有样本估计值和预测值的欧式距离平方的均值MSE：

其中，M是训练样本的数量，均方差越小，重建的超分辨率图像质量越好；

通过反向传播和随机梯度下降算法得到更新的ω'：

其中，权重参数为ω_i，i＝1,2,...I，I表示深度网络的层次数，ρ是为寻优加入的惯性的影响，α是学习率，E是均方差，当误差曲面中存在平坦区的时候，学习速度更快；

在测试过程中，输入的低分辨率人脸图像X_T∈R^(a/t)×(b/t)，将低分辨率测试图像插值到高分辨图像大小；L＝B(X_T)∈R^a×b，其中B表示双三次插值操作。其对应输出的整张人脸超分辨率图像表示为G∈R^a×b，那么L和G满足以下关系：

G＝F₁F₂...F_nL

其中F_i，i＝1,2,...I，表示每层的卷积函数，得到

使用MSE损失函数计算输出超分辨率图像块G和高分辨率图像块H的差方均值，并使得均方差最小。

本发明产生的有益效果是：本发明的基于区域深度卷积神经网络的人脸超分辨率算法，利用人脸的高度结构化和简单的深度卷积网络模型来实现超分辨率重建和区域子网络的优点得到更为精准的先验知识，较大幅度的提升了超分辨率重建的性能。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的区域深度卷积网络结构图；

图2是本发明实施例的训练样本高低分辨率图像的对应关系；

图3是本发明实施例的在4倍情况下，40张测试图的PSNR对比其他算法；

图4是本发明实施例的在8倍情况下，40张测试图的PSNR对比其他算法。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例的基于区域深度卷积神经网络的人脸超分辨率算法，包括以下步骤：

训练阶段：

S1、获取训练的高分辨率人脸图像，对其处理得到低分辨率人脸图像，使用滑动窗口自适应的选择相邻的图像块，将低分辨率人脸图像在像素域中划分相互重叠的图像块，得到多个局部区域；

处理得到低分辨率人脸图像的方法为：

获取的高分辨率人脸图像为{Y^m|1≤m≤M}∈R^a×b，M表示训练样本的个数，低分辨率人脸图像为{X^m|1≤m≤M}∈R^(a/t)×(b/t)，其变换公式为：

X^m＝D(blur)Y^m (1)

其中，D是下采样函数，blur系统模糊函数。

划分相互重叠的图像块的方法为：

利用滑动窗口将低分辨率人脸图像划分为S个局部区域；

设低分辨率人脸图像X_T∈R^(a/t)×(b/t)，其中t表示超分辨率的放大倍数；将低分辨率人脸样本图像和高分辨率人脸样本图像对应编号，对于第m个低分辨率人脸图像，X^m是高分辨率人脸样本图像Y^m通过降质过程下采样而获得，低分辨率图像下采样后使用Bicubic插值到高分辨率图像大小，组成具有同样分辨率的训练样本集合{X^m，Y^m|1≤m≤M}∈R^a×b；在图像a×b像素空间划分成S个相互重叠的区域，区域设置为p×p像素大小的方块；设R_s表示在图像的第s个位置空间的取块操作，对于第s个空间块，对训练样本{X^m，Y^m|1≤m≤M}∈R^{a ×b}按照统一的空间位置取块，组成新的S个子训练样本对：

{X[s],Y[s]|1≤s≤S|}∈R^(p×p)×M

其中：

高分辨率块减去d个像素的边缘部分，其对应的超分辨率人脸图像块大小为(p-d)×(p-d)，对于每一个子区域s，其训练样本个数任然为M。

S2、将局部区域作为输入，通过第一层卷积层和修正线性单元层提取得到局部特征；

提取得到局部特征的方法为：

对于每个子区域s，分别获得到了高、低分辨率人脸图像的训练样本对{X[s],Y[s]|1≤s≤S|}∈R^(p×p)×M；

X[s]∈R^(p×p)×M表示低分辨率的训练样本集合，做为第一层卷积层的输入，获得的局部特征表示为：

其中，下标表示网络的层次数，上标表示空间位置子网络标号，表示第s个空间块维度为c×f₁×f₁×q₁的权重，*表示卷积运算，是第s个空间块样本矩阵，设其每层的卷积核大小为f_i,i＝1,2,...I，的维度是c×(p-f₁+1)×(p-f₁+1)×q₁，q_i是特征的数量，c表示输入图像的通道个数,b₁是滤波器的偏置参数，是一个q₁维的向量，其初始值是0；X[s]∈R^(p×p)×M大小为p×p的图像作为输入，经过f₁×f₁的卷积之后，得到一个(p-f₁+1)×(p-f₁+1)的特征图谱。

卷积层的每个特征图谱是不同卷积核在前一层每个特征图谱上进行卷积，并将每个对应位置上的值相加然后再加上一个偏置项。

梯度迭代优化中使用如下激活函数：

其中，激活函数U表达式为：U(x)＝max(x,0)。在反向传播过程中，减轻了梯度弥散的问题，神经网络前几层的参数也可以很快的更新，激活函数可以极大地加快收敛速度。

S3、将局部特征作为输入，通过第二层卷积层和修正线性单元层，进行非线性变化得到非线性特征；

进行非线性变化得到非线性特征的方法为：

将局部特征作为输入，设当前非线性变换层次为i，i＝1,2,...I，I表示深度网络的层次数，当1＜i＜I是表示的特征非线性变换层，局部特征通过第i层的非线性变换卷积层和修正线性单元层，进行非线性变化得到非线性特征的公式为：

其中，是一个q_i-1×f_i×f_i×q_i维的向量，是一个q_i维的向量，1＜i＜I。

S4、将非线性特征作为输入，通过第三层卷积层和修正线性单元层，得到重建后的高分辨率图像块；

得到重建后的高分辨率图像块的方法为：

将多层的非线性特征值作为输入，通过最后一层卷积层和修正线性单元层，得到一张重建的超分辨率的图像

其中，ω_I是一个q_I×f_I×f_I×q_I维的向量表示合成层的权重，是一个q_I维的向量表示合成层的偏置。

S5、根据高分辨率图像块的重叠部分，对高分辨率图像块进行拼接，输出完整的高分辨率人脸图像，将输出的高分辨率人脸图像与训练的高分辨率人脸图像进行比较，根据比较结果的相似程度，调整多层卷积层和修正线性单元层的参数；

输出完整的高分辨率人脸图像的方法为：

根据步骤S2-步骤S4训练多个包含高分辨率人脸图像块的子网络，获得子网络结构后，将高分辨率人脸图像块进行拼接，得到一张完整高分辨率人脸图像，不断训练更新每一层网络的权重和偏置参数。

训练更新每一层网络的权重和偏置参数的方法为：

使用反向传播和随机梯度下降算法，通过重建的超分辨率图像和高分辨率图像Y[S]∈R^(p×p)×M计算出欧式距离损失函数，计算所有样本估计值和预测值的欧式距离平方的均值MSE：

其中，M是训练样本的数量，均方差越小，重建的超分辨率图像质量越好；

通过反向传播和随机梯度下降算法得到更新的ω'：

其中，权重参数为ω_i，i＝1,2,...I，I表示深度网络的层次数，ρ是为寻优加入的惯性的影响，α是学习率，E是均方差，当误差曲面中存在平坦区的时候，学习速度更快；

在测试过程中，输入的低分辨率人脸图像X_T∈R^(a/t)×(b/t)，将低分辨率测试图像插值到高分辨图像大小；L＝B(X_T)∈R^a×b，其中B表示双三次插值操作。其对应输出的整张人脸超分辨率图像表示为G∈R^a×b，那么L和G满足以下关系：

G＝F₁F₂...F_nL (10)

其中F_i，i＝1,2,...I，表示每层的卷积函数，得到

使用MSE损失函数计算输出超分辨率图像块G和高分辨率图像块H的差方均值，并使得均方差最小。

将目标高分辨人脸图像按照上述公式(1)、公式(2)、公式(3)进行预处理并使用滑动窗口划分相邻图像块，划分成S个区域，整个网络由S个子网络构成，通过上述公式(4)、公式(5)、公式(6)、公式(7)不断训练来更新每层参数，训练过程中，通过上述公式(8)、公式(9)计算每层的权重和偏置的值，测试过程中通过公式(10)得到重建的超分辨率图像。

测试阶段：

S6、根据训练阶段得到的多层卷积层和修正线性单元层组成超分辨率网络，输入低分辨率的测试人脸图像，通过超分辨率网络处理得到高分辨率的人脸图像。

在本发明的一个测试实施例中，如图1所示，本发明实施例的基于区域深度卷积神经网络的人脸超分辨率算法。实验采用3层卷积神经网络(I＝3)，4个子网络(S＝4)，实验数据：实验采用FEI人脸数据集作为实验数据，该数据包括正面的整齐的人脸图像。人脸数据集中包括400张图像，所有的高分辨率图像都被裁剪大小为120×100像素的图像，选取其中的320张作为训练样本集，40张图像作为验证样本集，40张图像作为测试样本集。因此，所有的测试图像和验证图像都不在训练集中。设高分辨率的人脸图像训练集{Y^m|1≤m≤M}∈R^{a ×b}(a＝120，b＝100)，低分辨率训练集{X^m|1≤m≤M}∈R^(a/t)×(b/t)(t＝4，8)，M＝320表示训练样本的个数，低分辨率测试图像X_T∈R^(a/t)×(b/t)。将低分辨率人脸样本图像和高分辨率人脸样本图像对应编号，对于第m个低分辨率人脸样本图像图像，X^m是高分辨率人脸样本图像Y^m通过公式(1)下采样4、8倍并加入模糊(模糊窗口为4)获得，为了便于使用多层学习结构，低分辨率图像下采样后使用Bicubic插值到高分辨率图像大小，组成具有同样分辨率的训练样本集合{X^m，Y^m|1≤m≤M}∈R^a×b。由于人脸图像具有良好的结构特性,在图像120×100像素空间中，将每张高分辨率图像分别划分为64×64像素和72×72像素4个相互重叠的区域，为了便于计算区域设置为p×p像素大小的方块，下采样4倍的情况下，p＝36，下采样8倍的情况下，p＝40。假设R_s表示在图像的第s个位置空间取块操作，这样对于第s个空间块，对训练样本对{X^m，Y^m|1≤m≤M}∈R^a×b按照统一的空间位置取块，组成新的4个子训练样本对：{X[s],Y[s]|1≤s≤S|}∈R^(p×p)×M。

本实验中卷积层的卷积核大小分别为f₁＝11,f₂＝1,f₃＝3，由于卷积操作在图像上的边缘效应，虽然我们在获得高低分辨率训练样本集过程中大小是相同的，但是在训练深度网络过程中，高分辨率块会减去个像素的边缘部分，其对应的高分辨率人脸图像块大小为(p-d)×(p-d),p＝36,40，具体步骤如图2所示。

对于每个子区域s，我们获得了高低分辨率的训练样本对{X[s],Y[s]|1≤s≤S|}∈R^(p×p)×M训练深度网络：X[s]∈R^(p×p)×M表示低分辨率的训练样本集合，做为第一层卷积层(输入层)的输入。这样通过公式(4)、公式(5)使得输入层获得的局部特征 表示第s个空间块维度为1×3×3×64的权重，是第s个空间块样本矩阵，的维度是c×(p-f₁+1)×(p-f₁+1)×q₁，f₁＝11,p＝36,40，q₁＝64，其值是标准偏差为0.001的高斯分布的随机数，c表示输入图像的通道个数(灰度图中c＝1),b₁是滤波器的偏置参数，是一个q₁维的向量，其初始值是0。X[s]∈R^(p×p)×M大小为p×p的图像作为输入，经过11×11的卷积之后，得到一个(p-f₁+1)×(p-f₁+1)的特征图谱。卷积层的每个特征图谱是不同卷积核在前一层每个特征图谱上进行卷积，并将每个对应位置上的值相加然后再加上一个偏置项。

将输入层获得的特征做为输入，这样假设当前非线性变换层次为i，i＝1,2,3，当1＜i＜3局部特征通过第i层的公式(6)非线性变换Conv层和ReLU层，进行非线性变化得到一组特征图 是一个64×1×1×32维的向量，是一个32维的向量，1＜i＜3。

将输入层获得的特征做为输入，这样假设当前非线性变换层次为i，i＝1,2,3，当1＜i＜3局部特征通过第i层的公式(6)非线性变换Conv层和ReLU层，进行非线性变化得到一组特征图 是一个64×1×1×32维的向量，是一个32维的向量，1＜i＜3。

使用公式(5)、公式(6)、公式(7)训练多个子网络，获得子网络结构后，将区域图像进行拼接，拼接过程中，利用取平均等方法处理重叠部分，得到输出的高分辨率图像。

将训练得到的多区域深度网络参数组成超分辨率网络，输入测试人脸图像，在测试过程中，输入的低分辨率人脸图像X_T∈R^(a/t)×(b/t)，a＝120，b＝100，t＝4,8，将低分辨率测试图像插值到高分辨图像大小；L＝B(X_T)∈R^a×b，其中B表示双三次插值操作。其对应输出的整张人脸超分辨率图像表示为G∈R^a×b，其中F_i，i＝1,2,3，表示每层的卷积函数。

对于深度卷积神经网络的反向传播和随机梯度下降法，其具体方法如下：

使用反向传播和随机梯度下降算法，通过重建的超分辨率图像和高分辨率图像Y[S]∈R^(p×p)×M计算出欧式距离损失函数(Euclidean Loss)，是计算所有样本估计值和预测值的欧式距离平方的均值MSE：

其中，M是训练样本的数量，均方差越小，重建的超分辨率图像质量越好。

为了得到最小的均方差，在反向传播(BP)和随机梯度下降(SGD)算法得到更新的ω'：

其中，权重参数为ω_i，i＝1,2,3，ρ(momentum)是为寻优加入了“惯性”的影响，α是学习率，E是均方差，这样一来，当误差曲面中存在平坦区的时候，SGD可以更快的速度学习。

将目标高分辨人脸图像按照上述公式(1)、公式(2)滑动窗口划分相邻图像块，划分成S个区域，整个网络由S个子网络构成，通过上述公式(3)、公式(4)、公式(5)、公式(6)不断训练来更新每层参数，训练过程中，通过上述公式(7)、公式(8)计算每层的权重和偏置的值，测试过程中通过公式(9)得到重建的超分辨率图像。

本发明与其他的人脸超分辨重建算法不同，以下提供实验对比说明本方法的有效性。

如图3、图4所示，我们列出了在4倍和8倍下采样的情况下的40个人脸图像的PSNR平均值。我们可以看到，随着训练次数的增加，该算法的增益变得更加的显著。上述结果验证了本发明实施案例算法的有效性。从图中明显看出，与其他算法相比，本发明实施案例算法在平均PSNR值上高于其他算法，验证了该算法的有效性。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种基于区域深度卷积神经网络的人脸超分辨率算法，其特征在于，包括以下步骤：

训练阶段：

S1、获取训练的高分辨率人脸图像，对其处理得到低分辨率人脸图像，使用滑动窗口自适应的选择相邻的图像块，将低分辨率人脸图像在像素域中划分相互重叠的图像块，得到多个局部区域；

S2、将局部区域作为输入，通过第一层卷积层和修正线性单元层提取得到局部特征；

S3、将局部特征作为输入，通过第二层卷积层和修正线性单元层，进行非线性变化得到非线性特征；

S4、将非线性特征作为输入，通过第三层卷积层和修正线性单元层，得到重建后的高分辨率图像块；

S5、根据高分辨率图像块的重叠部分，对高分辨率图像块进行拼接，输出完整的高分辨率人脸图像，将输出的高分辨率人脸图像与训练的高分辨率人脸图像进行比较，根据比较结果的相似程度，调整多层卷积层和修正线性单元层的参数；

测试阶段：

S6、根据训练阶段得到的多层卷积层和修正线性单元层组成超分辨率网络，输入低分辨率的测试人脸图像，通过超分辨率网络处理得到高分辨率的人脸图像。

2.根据权利要求1所述的基于区域深度卷积神经网络的人脸超分辨率算法，其特征在于，步骤S1中处理得到低分辨率人脸图像的方法为：

获取的高分辨率人脸图像为{Y^m|1≤m≤M}∈R^a×b，M表示训练样本的个数，低分辨率人脸图像为{X^m|1≤m≤M}∈R^(a/t)×(b/t)，其变换公式为：

X^m＝D(blur)Y^m

其中，D是下采样函数，blur系统模糊函数。

3.根据权利要求2所述的基于区域深度卷积神经网络的人脸超分辨率算法，其特征在于，步骤S1中划分相互重叠的图像块的方法为：

利用滑动窗口将低分辨率人脸图像划分为S个局部区域；

设低分辨率人脸图像X_T∈R^(a/t)×(b/t)，其中t表示超分辨率的放大倍数；将低分辨率人脸样本图像和高分辨率人脸样本图像对应编号，对于第m个低分辨率人脸图像，X^m是高分辨率人脸样本图像Y^m通过降质过程下采样而获得，低分辨率图像下采样后使用Bicubic插值到高分辨率图像大小，组成具有同样分辨率的训练样本集合{X^m，Y^m|1≤m≤M}∈R^a×b；在图像a×b像素空间划分成S个相互重叠的区域，区域设置为p×p像素大小的方块；设R_s表示在图像的第s个位置空间的取块操作，对于第s个空间块，对训练样本{X^m，Y^m|1≤m≤M}∈R^a×b按照统一的空间位置取块，组成新的S个子训练样本对：

{X[s],Y[s]|1≤s≤S|}∈R^(p×p)×M

其中：

$X\[s\]={\left\{R_s\left(X^m\right)\right\}}_{m=1}^M$

$Y\[s\]={\left\{R_s\left(Y^m\right)\right\}}_{m=1}^M$

高分辨率块减去d个像素的边缘部分，其对应的超分辨率人脸图像块大小为(p-d)×(p-d)，对于每一个子区域s，其训练样本个数任然为M。

4.根据权利要求3所述的基于区域深度卷积神经网络的人脸超分辨率算法，其特征在于，步骤S2中提取得到局部特征的方法为：

对于每个子区域s，分别获得到了高、低分辨率人脸图像的训练样本对{X[s],Y[s]|1≤s≤S|}∈R^(p×p)×M；

X[s]∈R^(p×p)×M表示低分辨率的训练样本集合，做为第一层卷积层的输入，获得的局部特征表示为：

$h{\left(X\right)}_1^s={\mathrm{\ω}}_1^s*X_1^s+b_1^s$

其中，下标表示网络的层次数，上标表示空间位置子网络标号，表示第s个空间块维度为c×f₁×f₁×q₁的权重，*表示卷积运算，是第s个空间块样本矩阵，设其每层的卷积核大小为f_i,i＝1,2,...I，的维度是c×(p-f₁+1)×(p-f₁+1)×q₁，q_i是特征的数量，c表示输入图像的通道个数,b₁是滤波器的偏置参数，是一个q₁维的向量，其初始值是0；X[s]∈R^(p×p)×M大小为p×p的图像作为输入，经过f₁×f₁的卷积之后，得到一个(p-f₁+1)×(p-f₁+1)的特征图谱。

5.根据权利要求4所述的基于区域深度卷积神经网络的人脸超分辨率算法，其特征在于，步骤S3中进行非线性变化得到非线性特征的方法为：

将局部特征作为输入，设当前非线性变换层次为i，i＝1,2,...I，I表示深度网络的层次数，当1＜i＜I是表示的特征非线性变换层，局部特征通过第i层的非线性变换卷积层和修正线性单元层，进行非线性变化得到非线性特征的公式为：

$h{\left(X\right)}_i^s=max({\mathrm{\ω}}_i^s*h{\left(X\right)}_{i-1}^s+b_i^s,0)$

其中，是一个q_i-1×f_i×f_i×q_i维的向量，是一个q_i维的向量，1＜i＜I。

6.根据权利要求5所述的基于区域深度卷积神经网络的人脸超分辨率算法，其特征在于，步骤S4中得到重建后的高分辨率图像块的方法为：

将多层的非线性特征值作为输入，通过最后一层卷积层和修正线性单元层，得到一张重建的超分辨率的图像

$h{\left(X\right)}_I^S={\mathrm{\ω}}_I^S*h{\left(X\right)}_{I-1}^S+b_I^S$

其中，ω_I是一个q_I×f_I×f_I×q_I维的向量表示合成层的权重，是一个q_I维的向量表示合成层的偏置。

7.根据权利要求6所述的基于区域深度卷积神经网络的人脸超分辨率算法，其特征在于，步骤S5中输出完整的高分辨率人脸图像的方法为：

根据步骤S2-步骤S4训练多个包含高分辨率人脸图像块的子网络，获得子网络结构后，将高分辨率人脸图像块进行拼接，得到一张完整高分辨率人脸图像，不断训练更新每一层网络的权重和偏置参数。

8.根据权利要求7所述的基于区域深度卷积神经网络的人脸超分辨率算法，其特征在于，步骤S5中训练更新每一层网络的权重和偏置参数的方法为：

使用反向传播和随机梯度下降算法，通过重建的超分辨率图像和高分辨率图像Y[S]∈R^(p×p)×M计算出欧式距离损失函数，计算所有样本估计值和预测值的欧式距离平方的均值MSE：

$E=\frac{1}{M}\underset{m=1}{\overset{M}{\Σ}}\left|\right|h{\left(X\right)}_m^S-Y\[S\]|{|}^2$

其中，M是训练样本的数量，均方差越小，重建的超分辨率图像质量越好；

通过反向传播和随机梯度下降算法得到更新的ω'：

${\mathrm{\ω}}_{i+1}={\mathrm{\ω}}_i+\mathrm{\ρ}*{\mathrm{\Δ}}_i-\mathrm{\α}\frac{\∂}{\∂{\mathrm{\ω}}_i}E$

其中，权重参数为ω_i，i＝1,2,...I，I表示深度网络的层次数，ρ是为寻优加入的惯性的影响，α是学习率，E是均方差，当误差曲面中存在平坦区的时候，学习速度更快；

在测试过程中，输入的低分辨率人脸图像X_T∈R^(a/t)×(b/t)，将低分辨率测试图像插值到高分辨图像大小；L＝B(X_T)∈R^a×b，其中B表示双三次插值操作。其对应输出的整张人脸超分辨率图像表示为G∈R^a×b，那么L和G满足以下关系：

G＝F₁F₂...F_nL

其中F_i，i＝1,2,...I，表示每层的卷积函数，得到

使用MSE损失函数计算输出超分辨率图像块G和高分辨率图像块H的差方均值，并使得均方差最小。