CN108986059A - 基于流形正则化群的局部约束表达的人脸超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于流形正则化群的局部约束表达的人脸超分辨率重建方法，包括以下步骤：建立低分辨人脸图像训练集和高分辨人脸图像训练集，对插值后的低分辨率训练集中的人脸图像和高分辨率训练集中的人脸图像在像素域中划分相互重叠的图像块；对于划分的图像块，在输入的图像中找到与之相似的多个块组成一个相似块矩阵，并且在这些相似块中建立一个图，得到一个拉普拉斯矩阵；根据得到的高分辨率训练图像块字典群矩阵和权重系数群矩阵求出重建的HR图像块群矩阵，进而得到高分辨人脸图像块，融合得到最终目标的高分辨率人脸图像。本发明充分利用了图片中相似区域的强相关性计算系数矩阵，提高重建性能，获得更高质量的高分辨率人脸图像。

Description

基于流形正则化群的局部约束表达的人脸超分辨率重建方法

技术领域

本发明涉及图像处理技术，尤其涉及一种基于流形正则化群的局部约束表达的人脸超分辨率重建方法。

背景技术

图像超分辨率(Super-resolution，SR)重建是指从有模糊或有噪声的低分辨率(Low Resolution，LR)图像中获得高分辨率(High Resolution，HR)图像。人脸超分辨率重建是一种特殊的用于面部图像的SR算法，广泛应用于安防、人脸识别等方面。例如，Baker等人提出了一种人脸幻构(face hallucination)方法，将基于学习的方法运用到人脸超分辨中，对于输入的单幅低分辨人脸，借助于训练集，通过金字塔结构得到高频细节信息，生成高分辨人脸，获得了比传统重建方法和插值更好的效果。但是该方法在某些重要部位引入了较大的噪声。为了在有效去噪的同时保持细节，Chang等人提出基于邻域嵌入的超分辨算法，该算法利用流形学习中的LLE(Locally Linear Embedding)算法进形超分辨，但是由于利用了降维的方法，往往会丢失人脸图像的非特征信息。Ma等人提出了一种基于图像块的最小二乘表示(least squares representation,LSR)算法，通过求出各个图像块的输出权重对低分辨率图像进行超分辨率重建。该算法的缺点是容易出现过拟合问题。为了解决这一问题，2010年Yang等人提出一种基于稀疏编码的自适应选择相邻最相关(sparserepresentation)人脸超分辨率方法。Jiang等人则是根据局部流形几何引入了局部约束条件对特征系数(locality constrained representation,LCR)进形进一步约束。为了解决单层表达框架精度不足的问题，Jiang等人进一步提出了算法LINE(FaceSuper-Resolutionvia Locality-Constrained Iterative Neighbor Embedding)通过迭代和更新高分辨率的流形结构和将单层局部约束表达扩展成多层的局部约束表达构成。还有一些其他的种类的正则化约束项用来提高效果，例如自适应稀疏表示,低秩约束,还有一种提高自我相似性的先验知识的窗口块的人脸幻构。Dong等人提出了基于深度学习的卷积神经网络超分辨率(DeepConvolutional Network for Image Super-Resolution)算法，(SRCNN)具有低分辨率图像和高分辨率的图像之间的一个端到端的映射，具有很少的预处理和后处理，该算法取得了令人满意的重建效果。在SRCNN的基础之上，Kim等人提出了基于深度卷积神经网络的图像精确超分辨率算法(Accurate image super-resolution using very deepconvolutional networks)，可以提取更加精准的先验信息，进而获得很好的重建效果。

为了克服上述人脸超分辨重建算法中的缺点，本发明提出了一种流形正则化群的局部约束表达方法充分利用了图片中相似区域的强相关性计算系数矩阵，从而提高重建性能，最终获得更高质量的高分辨率人脸图像。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于流形正则化群的局部约束表达的人脸超分辨率重建方法。

本发明解决其技术问题所采用的技术方案是：一种基于流形正则化群的局部约束表达的人脸超分辨率重建方法，包括以下步骤：

1)建立低分辨人脸图像训练集和高分辨人脸图像训练集，接收待重建的低分辨率人脸图像，将低分辨训练集中的人脸图像和接收的待重建的低分辨率人脸图像插值到与高分辨率人脸图像相同的维度，对插值后的输入的低分辨人脸图像、插值后的低分辨率训练集中的人脸图像和高分辨率训练集中的人脸图像在像素域中划分相互重叠的图像块；

2)对于输入的低分辨人脸图像划分的图像块，在输入的图像中找到与之相似的多个块组成一个相似块矩阵，并且在这些相似块中建立一个图，得到一个拉普拉斯矩阵；

3)对插值后的低分辨率输入图像，插值后的低分辨率训练集中的人脸图像和高分辨率训练集中的人脸图像，在特征域提取特征图像，并将提取的特征图像划分为相互重叠的块，然后将这些块组成特征域LR字典；

4)对相似块矩阵中的每个块和每个块所对应的特征域LR字典，通过K-NN算法中的欧氏距离在特征域中的LR字典中提取K个最近距离的图像块；

5)根据特征域中的图像块的位置和在像素域中图像块位置的相关性，分别在像素域中的高低分辨率人脸图像块训练集中找出对应的K个人脸图像块，将得到新的高低分辨率人脸图像块字典对作为表达和重建字典；

6)对于相似块中的每个块，找到对应的高低分辨率人脸图像块字典，将多个对应高低分辨率人脸图像块字典分别组成高低分辨率人脸图像块字典群矩阵；

7)根据步骤6)得到的高低训练图像块字典群矩阵对，通过交替迭代方向法(Alternating Direction Method of Multipliers ADMM)算法求出权重系数群矩阵；

8)根据6)和7)得到的高分辨率训练图像块字典群矩阵和权重系数群矩阵求出重建的HR图像块群矩阵，进而得到高分辨人脸图像块，融合得到最终目标的高分辨率人脸图像。

按上述方案，所述步骤3)具体如下：

设低分辨训练集中的每张人脸图像插值4倍到高分辨人脸图像，通过在水平方向和垂直方向上的第一和第二阶梯度将通过插值得到的高分辨率人脸图像进行特征表提取，每张人脸图像将会提取到4个特征图片，然后提取每张特征图片的相同位置的块组成一个特征块

其中，g_m(i)表示第m张特征图片的第i个位置块，因此，得到LR特征块池L^f；

对于输入的低分辨人脸图像X，按照以上步骤和公式(1)得到特征块

本发明产生的有益效果是：充分利用了图片中相似区域的强相关性计算系数矩阵，从而提高重建性能，最终获得更高质量的高分辨率人脸图像。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的方法示意图；

图2是本发明实施例的重建示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1和图2所示，本发明提供一种基于流形正则化群的局部约束表达的人脸超分辨率重建方法，包括以下步骤：

S1，假设输入的低分辨人脸图像低分辨人脸图像训练集和高分辨人脸图像训练集其中，N为高低人脸图像训练集中的样本数量，A_i大小为m×n，B_i大小为mt×nt。

获得输入的待重建的低分辨人脸图像X，将输入的低分辨人脸图像，低分辨率人脸图像训练集和高分辨率人脸图像训练集中的每一张人脸图像在像素域划分成M个相互重叠的图像块，和其中，低分辨图像块大小为则相应的高分辨率图像块大小为

S2，对于输入的图像块，通过KNN算法在输入的图像中找到与之相似的多个块组成一个相似块矩阵G＝[x₁,...,x_p]。

S3，将低分辨训练集中的每张人脸图像插值4倍到高分辨人脸图像，然后通过在水平方向和垂直方向上的第一和第二阶梯度将通过插值得到的高分辨率人脸图像进行特征表提取，每张图像将会提取到4个特征图片，然后提取每张特征图片的相同位置的块组成一个特征块

其中，g_m(i)表示第m张特征图片的第i个位置块。因此，我们可以得到特征块池H^f和L^f。

对于输入的低分辨人脸图像X，按照以上步骤和公式(1)得到特征块

S4，对相似块矩阵中的每个块和每个块所对应的特征域LR字典，通过K-NN算法中的欧氏距离在特征域中的LR字典中提取K个最近距离的图像块：

其中，dist|_K表示在距离dist中距离最小的K个人脸图像块。本发明采用的是欧式距离，其计算公式如下：

其中，是L^f中的第j个原子。

S5，根据特征域中的图像块的位置和在像素域中图像块位置的相关性，使用相同索引找到在像素域中低分辨率图像块训练集L^P和高分辨率图像块训练集H^p中对应的K个图像块，则对于每一个输入的低分辨人脸图像块x_i都会找到与其对应的高低分辨图像块字典对，如公式(4)所示：

其中，其中K表示字典原子个数。

S6，对于相似块中的每个块，都可以找到对应的高低分辨率人脸图像块字典。将多个对应高低分辨率人脸图像块字典分别组成高低分辨率人脸图像块字典群矩阵。对于G中的每个块都会有一对HR和LR的字典对，所以LR字典群矩阵HR字典群矩阵

S7，根据步骤S6得到的高低训练图像块字典群矩阵对，我们采用图正则化群的局部约束表达方法得到第i个输入图像块的权重系数群矩阵，如公式(5)所示：

因为对式(5)直接求解不准确，所以我们采用交替迭代方向法(ADMM)求解。在式(5)加入两个随机变量Z和U后：

其中，第二项式图约束。在G中我们创建了一个图T，通过以下式子建立图T权值系数：

其中，x_i和x_j均属于G。定义V＝diag[V₁,...,V_p]，图的最小化函数可以写成：

其中，L＝V-W是拉普拉斯矩阵。

式(6)可以转化成3个子问题求解，分别对S,Z,U进形迭代求解。

S子问题:

Z子问题:

Z^(k)＝η(S^(k)+U^(k-1))(10)

U子问题:

U^(k)＝U^(k-1)+S^(k)-Z^(k-1)(11)

对于公式(10)，更新Z可以看作是一个收缩问题，将软阈值应用到S+U，这个操作的参数定义为η。经过多次迭代后，最终所得的Z就是第i个输入图像块的权重系数群矩阵。

S8，根据S7得到的高分辨率训练图像块字典群矩阵D^h和权重系数群矩阵Z求出重建的HR图像块群矩阵高分辨人脸图像块即是的第一列，融合得到最终目标的高分辨率人脸图像。

测试实施例：实验数据：实验采用LFW人脸数据集作为实验数据。LFW数据库包含5749个人，13233个图像，其中，1680人有两个或两个以上的图像，4096人只有一个图像。其中大部分是彩色图像，少数是灰色图像。我们只使用303张正面人脸图像：随机选择270图像作为训练样本，剩下33张作为测试图像。HR图像大小是64×64，LR图像从相应的HR图像下采样4倍加模糊得到的，所以LR图像大小是16×16。本发明实施例中划分人脸图像块的尺寸分别为：高分辨率人脸图像被划分为24×24的图像块，交叠为8(4)个像素；低分辨率人脸图像被划分为6×6的图像块，交叠为2(1)个像素。本发明实例分别做了在高分辨率取块时交叠为8和4的实验。

本发明与其他的人脸超分辨重建算法不同，以下提供实验对比说明本方法的有效性。

40张测试图像的平均PSNR和SSIM值如下表所示：

从以上表格明显看出，与其他算法相比，本发明算法在PSNR值和SSIM值上高于其他算法。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (3)

1.一种基于流形正则化群的局部约束表达的人脸超分辨率重建方法，其特征在于，包括以下步骤：

1)建立低分辨人脸图像训练集和高分辨人脸图像训练集，接收待重建的低分辨率人脸图像，将低分辨训练集中的人脸图像和接收的待重建的低分辨率人脸图像插值到与高分辨率人脸图像相同的维度，对输入的低分辨人脸图像、插值后的低分辨率训练集中的人脸图像和高分辨率训练集中的人脸图像在像素域中划分相互重叠的图像块；

2)对于输入的低分辨人脸图像划分的图像块，在输入的图像中找到与之相似的多个块组成一个相似块矩阵，并且在这些相似块中建立一个图，得到一个拉普拉斯矩阵；

3)对插值后的低分辨率输入图像，插值后的低分辨率训练集中的人脸图像和高分辨率训练集中的人脸图像，在特征域提取特征图像，并将提取的特征图像划分为相互重叠的块，然后将这些块组成特征域LR字典；

4)对相似块矩阵中的每个块和每个块所对应的特征域LR字典，通过K-NN算法中的欧氏距离在特征域中的LR字典中提取K个最近距离的图像块；

5)根据特征域中的图像块的位置和在像素域中图像块位置的相关性，分别在像素域中的高低分辨率人脸图像块训练集中找出对应的K个人脸图像块，将得到新的高低分辨率人脸图像块字典对作为高低人脸图像块训练样本集；

6)对于相似块中的每个块，找到对应的高低分辨率人脸图像块字典，将多个对应高低分辨率人脸图像块字典分别组成高低分辨率人脸图像块字典群矩阵；

7)根据步骤6)得到的高低训练图像块字典群矩阵对，通过交替迭代方向法算法求出权重系数群矩阵；

8)根据6)和7)得到的高分辨率训练图像块字典群矩阵和权重系数群矩阵求出重建的HR图像块群矩阵，进而得到高分辨人脸图像块，融合得到最终目标的高分辨率人脸图像。

2.根据权利要求1所述的人脸超分辨率重建方法，其特征在于，所述步骤3)具体如下：

设低分辨训练集中的每张人脸图像插值4倍到高分辨人脸图像，通过在水平方向和垂直方向上的第一和第二阶梯度将通过插值得到的高分辨率人脸图像进行特征表提取，每张人脸图像将会提取到4个特征图片，然后提取每张特征图片的相同位置的块组成一个特征块

其中，g_m(i)表示第m张特征图片的第i个位置块，因此，得到LR特征块池L^f；

对于输入的低分辨人脸图像X，按照以上步骤和公式(1)得到特征块

3.根据权利要求1所述的人脸超分辨率重建方法，其特征在于，所述步骤2)中对于输入的低分辨人脸图像划分的图像块，通过KNN算法在输入的图像中找到与之相似的多个块。