CN105469359B

CN105469359B - 基于局部约束低秩表示的人脸超分辨率重建方法

Info

Publication number: CN105469359B
Application number: CN201510904054.5A
Authority: CN
Inventors: 卢涛; 万永静; 张彦铎; 李晓林; 杨威; 管英杰; 潘兰兰
Original assignee: Wuhan Institute of Technology
Current assignee: Light Cosmos Jinye Wuhan Intelligent Technology Co ltd
Priority date: 2015-12-09
Filing date: 2015-12-09
Publication date: 2019-05-03
Anticipated expiration: 2035-12-09
Also published as: CN105469359A

Abstract

本发明公开了一种基于局部约束低秩表示的人脸超分辨率重建方法，包括以下步骤：S1、获取一张待重建的低分辨率人脸图像，将它与多张高分辨率人脸图像分别进行比对，找到互相重叠的图像块；S2、分别计算其在局部约束和低秩约束条件下的表达权重系数并对其求解，得到最优权重系数；S3、用其对应的高分辨率人脸图像上的重叠图像块，结合最优权重系数以及重叠次数进行合成，得到高分辨率的人脸图像块；S4、对合成得到的多个高分辨率的人脸图像块进行位置拼合，得到一张完整的高分辨率人脸图像。本发明能够获得更高质量的高分辨率人脸图像。

Description

基于局部约束低秩表示的人脸超分辨率重建方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于局部约束低秩表示的人脸超分辨率重建方法。

背景技术

人脸超分辨率，也称为幻觉脸，是一种利用样本库先验约束重建输入的低分辨率人脸图像的技术，近年来得到了广泛的关注。特别是在视频监控中，感兴趣的目标常常离摄像头很远，使得视频中所拍摄到的人脸图像的分辨率很低，为了提高低分辨率人脸图像的识别率，人脸超分辨率技术被广泛的应用于人脸识别和鉴定的前处理阶段。

由于Baker的开创性工作，各种基于学习的人脸超分辨率重建方法开始涌现出来，通过训练样本来推断缺少的信息。Tang等人利用主成分分析来研究低分辨率训练集和高分辨率训练集的特征关系的先验信息。Chang等人利用局部线性嵌入将流形学习理论引入基于稀疏表达的人脸超分辨率重建方法中。流形理论是基于一个基础线性假设，每个输入信号可以由某些字典原子的加权总和表示。这个简单的线性假设使得计算简单，并且产生了很好的结果。Ma提出一种基于位置图像块的人脸超分辨率方法，用所有的同一位置块作为字典，并且用最小二乘法获得重建的权重。此外，为了解决过拟合问题，用稀疏表达约束来自适应选择字典原子。然而，基于稀疏表达的人脸超分辨率算法(Sparse RepresentationSR)侧重稀疏性忽略局部信息导致重建效果不好。最近，有人中提出了基于局部约束的人脸超分辨率重建方法(Locality-constrained Representation LCR)，来获得更好的效果。局部距离是用来设置一个权重表示重建贡献。

虽然上述方法考虑了线性空间，但是，这些方法忽略了重要的信息，不同类的图像块可能位于独立的线性子空间。当输入的信号受到噪声或是异常值的干扰时，没有结构约束的情况下，最佳匹配的字典原子可能就会被漏掉。最近，基于低秩表达的人脸超分辨率重建方法(Low-rank Representation LRR)已被用于无监督聚类，能够将数据分成不同的类。由于先验工作，基于低秩表达的人脸超分辨率重建方法利用结构信息将测试数据分为最适合的独立子空间，并且获得了较好的识别效果。

发明内容

本发明要解决的技术问题在于针对现有技术中人脸超分辨率重建方法存在由于固定近邻块个数而导致过拟合或者拟合不当，过分强调稀疏性而忽略局部性的缺陷，提供一种能够更加准确进行图像识别的基于局部约束低秩表示的人脸超分辨率重建方法。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种基于局部约束低秩表示的人脸超分辨率重建方法，包括以下步骤：

S1、获取一张待重建的低分辨率人脸图像，将它与训练样品集里的多张高分辨率人脸图像分别进行比对，找到它与每张高分辨率人脸图像互相重叠的图像块；

S2、对低分辨率人脸图像上的每一个重叠图像块，分别计算其在局部约束和低秩约束条件下的表达权重系数，并对该表达权重系数进行求解，得到最优权重系数；

S3、对低分辨率人脸图像上的每一个重叠图像块，用它对应的高分辨率人脸图像上的重叠图像块，结合最优权重系数以及重叠次数进行合成，得到高分辨率的人脸图像块；

S4、对合成得到的多个高分辨率的人脸图像块进行位置拼合，得到一张完整的高分辨率人脸图像。

进一步地，本发明的步骤S1中划分方法具体为：

按照从左到右、从上到下的顺序重叠的划分图像块，当划分到边缘时，不够划分为一整个块时，就采用回退法，即当划分到图像的右边缘时，以右边缘为基准，向左取块；当划分到图像的底边边缘时，以底边边缘为基准，向上取块。

进一步地，本发明的步骤S2中的表达权重系数的计算公式为：

其中，α是低秩约束系数，λ和β是控制低秩约束和局部约束的平衡因子，表示点积，表示测量输入图像块和每个字典原子之间的距离的局部参数，d₁的值在0和1之间，Ldiag(α)表示输入图像的重建向量，矩阵的最小化表示选择的重建图像y。

进一步地，本发明的步骤S3中求解最优权重系数的方法具体为：

将表达权重系数的公式表示为：

将表达权重系数的公式结合拉格朗日函数表示为：

其中，tr(·)表示轨迹，||·||_F是指Frobenius范数，Δ是拉格朗日乘子，μ是惩罚参数，λ和β是平衡不同的正则化的参数；

将表达权重系数的公式进一步表示为：

并对其进行求解，得到最优权重系数α。

进一步地，本发明的步骤S2中合成高分辨率图像块的公式为：

x(i,j)＝Hⁿ(i,j)α(i,j)

其中，α(i,j)为第i行第j列图像块的最优权重系数，Hⁿ(i,j)为高分辨率人脸图像中的第i行第j列的高分辨率图像块，x(i,j)为合成后的图像中的第i行第j列的高分辨率图像块。

进一步地，本发明的步骤S4中拼合高分辨率的人脸图像的公式为：

X＝y_sum/overlap_flag

其中，X表示重建后的高分辨率人脸图像，y_sum表示拼合后的图像，overlap_flag表示图像拼合时重叠次数。

本发明提供一种基于局部约束低秩表示的人脸超分辨率重建系统，包括：

图像块划分单元，用于获取一张待重建的低分辨率人脸图像，将它与训练样品集里的多张高分辨率人脸图像分别进行比对，找到它与每张高分辨率人脸图像互相重叠的图像块；

系数计算单元，用于对低分辨率人脸图像上的每一个重叠图像块，分别计算其在局部约束和低秩约束条件下的表达权重系数，并对该表达权重系数进行求解，得到最优权重系数；

图像块替换单元，用于对低分辨率人脸图像上的每一个重叠图像块，用它对应的高分辨率人脸图像上的重叠图像块，结合最优权重系数以及重叠次数进行合成，得到高分辨率的人脸图像块；

图像拼合单元，用于对合成得到的多个高分辨率的人脸图像块进行位置拼合，得到一张完整的高分辨率人脸图像。

进一步地，本发明的所述系数计算单元中的表达权重系数的计算公式为：

进一步地，本发明的所述图像块替换单元合成高分辨率图像块的公式为：

x(i,j)＝Hⁿ(i,j)α(i,j)

进一步地，本发明的所述图像拼合单元中拼合高分辨率的人脸图像的公式为：

X＝y_sum/overlap_flag

本发明产生的有益效果是：本发明的基于局部约束低秩表示的人脸超分辨率重建方法，通过增加局部约束和低秩表达条件，自适应地选取与输入图像块近邻并且属于同一子空间的图像块来表达图像块，避免了其他算法中由于固定近邻块个数而导致过拟合或者拟合不当、由于过分强调稀疏性而忽略局部性的问题，使输入图像块的表示系数更加精确，最终获得更高质量的高分辨率人脸图像。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的于局部约束低秩表示的人脸超分辨率重建方法的方法流程图；

图2(a)是本发明实施例的于局部约束低秩表示的人脸超分辨率重建方法中同一特征空间的比较图；

图2(b)是本发明实施例的于局部约束低秩表示的人脸超分辨率重建方法中基于同一特征表达的方法的比较图；

图2(c)是本发明实施例的于局部约束低秩表示的人脸超分辨率重建方法中基于局部约束的方法的比较图；

图2(d)是本发明实施例的于局部约束低秩表示的人脸超分辨率重建方法中基于局部约束低秩表达的方法的比较图；

图3是本发明实施例的于局部约束低秩表示的人脸超分辨率重建方法的另一个实施例的流程框图；

图4是本发明实施例的于局部约束低秩表示的人脸超分辨率重建方法的人脸图像块的划分方法图；

图5是本发明实施例的于局部约束低秩表示的人脸超分辨率重建方法的低分辨率图像块的字典构建和高分辨率图像块的合成图；

图6是本发明实施例的于局部约束低秩表示的人脸超分辨率重建方法的人脸图像重叠次数示意图；

图7是本发明实施例的于局部约束低秩表示的人脸超分辨率重建方法的各种算法结果的比较图；

图8(a)是本发明实施例的于局部约束低秩表示的人脸超分辨率重建方法的各种算法结果的PSNR的平均值比较图；

图8(b)是本发明实施例的于局部约束低秩表示的人脸超分辨率重建方法的各种算法结果的SSIM的平均值比较图；

图9是本发明实施例的于局部约束低秩表示的人脸超分辨率重建系统的框图；

图中，901-图像块划分单元，902-系数计算单元，903-图像块替换单元，904-图像拼合单元。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例的基于局部约束低秩表示的人脸超分辨率重建方法，包括以下步骤：

本发明中，我们提出了一种基于局部约束低秩表达的人脸重建方法(Locality-constrained and Low-rank Representation LCLRR)，该方法用局部约束和全局结构信息来将输入图像分到同一子空间。首先，低秩表达的方法假定不同的子空间对应不同的图像块分类，输入的图像块被属于同一类的字典原子重建，而不是不同类的，这使得重建效果优于基于稀疏表达的方法。

如图2(a)、图2(b)、图2(c)和图2(d)所示，基于局部约束低秩表达的人脸重建方法的效果优于其他方法的原因是不同字典原子选择机制。然而，基于稀疏表达的人脸超分辨率算法强调稀疏性，而不关心分类信息。基于局部约束的人脸超分辨率重建方法重视子空间的最邻近原子。基于局部约束低秩表达的人脸重建方法考虑局部约束和分类约束表达，这表示字典原子来自同一子空间和最近邻，使得重建效果更好。实验结果表明，基于局部约束的人脸超分辨率重建方法和基于低秩表达的人脸超分辨率重建方法对幻觉脸非常重要。基于局部约束的方法可以作为本发明算法的一个特例。

在本发明的另一个实施例中，基于局部约束低秩表达的人脸图像超分辨率重建方法，实施的具体流程如图3所示：主要包括输入、重叠分块、位置块字典构建、表达系数求解、图像拼合和输出。首先，对输入的低分辨率图像进行重叠分块；然后对图像块进行字典构建；求取低分辨率图像块的最佳权重系数，用得到的最优权重系数重建出高分辨率图像块；按照一定的顺序，将这些高分辨率图像块拼合，就得到高分辨率图像。具体包括以下步骤：

步骤1，输入低分辨率的人脸图像，对低分辨率训练样本中的低分辨率人脸图像和高分辨率训练样本中的高分辨率人脸样本划分相互重叠的图像块。

按照从左到右、从上到下的顺序划分图像块。当图像划分到图像的边缘时，不够划分为一整个块，那么就采用回退法划分，即当划分到图像的右边缘时，以右边缘为基准，向左取块；当划分到图像的底边边缘时，以底边边缘为基准，向上取块。

假设Hⁿ，n＝1,2,,N为人脸超分辨率的训练图像，N为训练样本的数目。对于每张图像，重叠块为{Hⁿ(i,j)|1≤i≤U,1≤j≤V}，U和V分别是图像块的行数和列数。(i,j)表示图像块的位置坐标。对于每个位置坐标(i,j)，输入的图像块为y(i,j)∈R^d×1，低分辨率字典为L(i,j)∈R^d×N，高分辨率字典为d为块大小的平方，t是放大系数。

以输入的人脸图像y的左上方为起点，每次选取一个大小为patch_size×patch_size的图像块，图像块之间重叠overlap像素，即图像块和已划分的图像块上方、下方、左方和右方重叠。当划分图像块右边缘时，则以由边缘为基准，向左取块；当划分到底边边缘时，则以底边边缘为基准，向上取块。划分的取值公式为：

其中，imrow和imcol分别表示图像的行数和列数。ceil(x)表示返回大于或者等于x的最小整数。

划分得到的图像块的位置信息为(1,1),(1,2),(1,3)…(u,v-1),(u,v)。

对低分辨率样本中的每张人脸图像进行重叠分块，如图4所示。重叠块为{Hⁿ(i,j)|1≤i≤U,1≤j≤V}，U和V分别是图像块的行数和列数。图像块用y(i,j)∈R^d×1，d为图像块大小的平方。低分辨率字典L(i,j)∈R^d×N，高分辨率字典为t是放大系数。

步骤2，对于输入的低分辨率人脸图像的每一个位置上的图像块，计算其在局部约束和低秩约束条件下的表达权重值，此时，低分辨率训练集中所有低分辨率人脸样本图像在该位置上的图像块作为低分辨率的表达的字典；

对于输入的低分辨率人脸图像的每一个位置上的图像块y(i,j)，计算其在局部约束和低秩约束条件下的表达权重值，计算公式为：

其中，α是低秩约束系数，λ和β是控制低秩约束和局部约束的平衡因子，表示点积。

测量输入图像块和每个字典原子之间的距离的局部参数为：

为了鲁棒性，d₁的值在0和1之间，公式中的核范数常常被用来代替凸优化的低秩问题。Ldiag(α)表示输入图像的重建向量，矩阵的最小化表示选择的重建图像y，只使用了属于低秩子空间的训练图像块。

步骤3，对步骤2得到的低分辨率人脸图像的每一个位置上的图像块，对它进行表达系数求解，得到最优权重系数。用高分辨率人脸样本图像的图像块替换同一位置的低分辨率人脸样本图像的图像块，然后，用得到的最优加权权重系数合成高分辨率的人脸图像块；

对低分辨率人脸图像的每一个位置上的图像块，对它进行表达系数求解。可以引进一个变量，来求解目标函数，目标函数可以用如下公式表示：

公式(2)可以通过拉格朗日函数来解决，该公式为：

其中，tr(·)表示轨迹，||·||_F是指Frobenius范数。Δ是拉格朗日乘子。μ是惩罚参数。λ和β是平衡不同的正则化的参数。解决的步骤如下所示：第一步是由初始值计算低秩矩阵。低秩矩阵的公式为：

对公式(4)进行求解，就可获得最优权重系数α。首先，输入为y,D,λ,β，假设初始值：α＝0,Δ＝0,Λ＝0,ρ＝10,μ＝10⁶,ε＝10^-8。对公式(4)进行运算，若不收敛，第一步则需要固定其他变量，根据公式更新_Λ。第二步，固定其他变量，根据以下公式：α＝(P+diag(P₁))\P₂，和更新α。第三步，根据公式Δ←Δ+μ(Ldiag(α)-Λ)，μ←min(ρμ,μ)，更新拉格朗日乘子和惩罚参数。第四步，检查||Ldiag(α)-Z||_∞＜ε是否收敛。若不收敛，重复第一到第四步；若收敛，则输出α。得到最优权重系数α。

步骤4，将步骤3合成所得的高分辨率图像块按照一定的位置进行拼合，得到一张高分辨率人脸图像。用高分辨率人脸样本图像的图像块替换同一位置的低分辨率人脸样本图像的图像块，根据以下公式：

x(i,j)＝Hⁿ(i,j)α(i,j) (5)

用得到的最优加权权重系数α合成高分辨率的人脸图像块，如图5所示。

其中，α(i,j)为步骤2中第i行第j列图像块的最佳加权权重系数，Hⁿ(i,j)为高分辨率训练样本中的第i行第j列的高分辨率图像块。

对于步骤3合成所得的高分辨率图像块，按照取块时的位置(i,j)进行拼合时，得到拼合图像。拼合时，需要对重叠部分设置重叠次数，如图6所示。然后用拼合图像比上重叠次数，就可以得到一张高分辨率人脸图像，公式为：

X＝y_sum/overlap_flag (6)

在本发明的另一个实施例中，以MATLAB R2013a为实验平台，在FEI人脸数据库实现。人脸数据库中包括400张图像，大小为120×100像素。其中，360张图像被选为训练样本集，剩下的40张图像用来测试。为了评价我们提出的算法的有效性，将我们的算法和LLE，LSR，SR，LCR比较，低分辨率图像经过均值滤波，并比较4倍下采样的结果，因此，低分辨率图像的大小为30×25像素。

将其他的方法设置为他们的最优参数。高分辨率图像块的大小为12×12，重叠为4。相对应的低分辨率的图像块的大小为3×3，重叠为1。对于Chang的方法，邻域数量设置为100。对于基于稀疏表达的方法，在进行稀疏优化时，误差设置为1.0。对于基于局部约束的方法，平衡因子设为0.04，在本发明的方法中，将高低分辨率图像块的大小和重叠和上述方法一样，但是，本发明将低秩参数和局部平衡参数分别设为λ＝0.1，β＝0.004。

参数设置完毕，我们选取一张测试图像，根据步骤1中的方法，将图像划分为图像块。选取位置(i,j)上的图像块y(i,j)，计算在局部约束和低秩表达的情况下，根据公式(1)～(4)，获得低分辨率训练样本中所有低分辨率人脸样本图像在同一位置的图像块的最优加权权重系数的表达式，求解最佳加权权重系数α。在对输入的测试图像的每一个位置(i,j)图像块y(i,j)，求取最佳加权权重系数α。根据公式(5)，使用最佳加权权重系数合成高分辨率人脸图像块。然后，合成所得的高分辨率图像块按照一定的位置进行拼合，对根据公式(6)，对拼合图像进行处理，得到一张高分辨率人脸图像。

本发明通过实验，来验证本发明方法的有效性。我们采取一般图像的评估方法，如峰值信噪比(PSNR)和结构相似度(SSIM)衡量重建图像的客观和主观质量，对比算法为LLE，LSR，SR，LCR方法。

各种算法的主观质量比较，如图7所示，本发明的方法比其他的方法在主观质量上效果更好。LLE方法由于受到拟合不足的影响，嘴和眼睛的细节方面比较模糊。LSR方法由于过拟合的影响，在局部的面部方面效果不是很好。SR和LSR方法有相似的主观表现。本发明的方法在嘴和眼睛的区域有更多的细节，与原始图像更为相同。

测试图像的客观值如图8(a)和图8(b)所示，在箱线图中，计算出了40张测试图像的PSNR和SSIM的平均值。我们可以看出我们的方法优于其他方法。我们的方法的PSNR(SSIM)比LLE方法高出1.26db(0.0248)，比LSR方法高出1.12db(0.0159)，比SR方法高出0.91db(0.142)，比LCR高出0.38db(0.0078)。因此，我们方法在主观和客观上都具有较好的效果。

如图9所示，本发明实施例的基于局部约束低秩表示的人脸超分辨率重建系统用于实现本发明实施例的基于局部约束低秩表示的人脸超分辨率重建方法，包括：

图像块划分单元901，用于获取一张待重建的低分辨率人脸图像，将它与训练样品集里的多张高分辨率人脸图像分别进行比对，找到它与每张高分辨率人脸图像互相重叠的图像块；

系数计算单元902，用于对低分辨率人脸图像上的每一个重叠图像块，分别计算其在局部约束和低秩约束条件下的表达权重系数，并对该表达权重系数进行求解，得到最优权重系数；

图像块替换单元903，用于对低分辨率人脸图像上的每一个重叠图像块，用它对应的高分辨率人脸图像上的重叠图像块，结合最优权重系数以及重叠次数进行合成，得到高分辨率的人脸图像块；

图像拼合单元904，用于对合成得到的多个高分辨率的人脸图像块进行位置拼合，得到一张完整的高分辨率人脸图像。

系数计算单元902中的表达权重系数的计算公式为：

图像块替换单元903合成高分辨率图像块的公式为：

x(i,j)＝Hⁿ(i,j)α(i,j)

图像拼合单元904中拼合高分辨率的人脸图像的公式为：

X＝y_sum/overlap_flag

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims

1.一种基于局部约束低秩表示的人脸超分辨率重建方法，其特征在于，包括以下步骤：

S4、对合成得到的多个高分辨率的人脸图像块进行位置拼合，得到一张完整的高分辨率人脸图像；

步骤S1中，先将待重建的低分辨率人脸图像划分为图像块，划分方法具体为：

按照从左到右、从上到下的顺序重叠的划分图像块，当划分到边缘时，不够划分为一整个块时，就采用回退法，即当划分到图像的右边缘时，以右边缘为基准，向左取块；当划分到图像的底边边缘时，以底边边缘为基准，向上取块；

步骤S2中的表达权重系数的计算公式为：

2.根据权利要求1所述的基于局部约束低秩表示的人脸超分辨率重建方法，其特征在于，步骤S2中求解最优权重系数的方法具体为：

将表达权重系数的公式表示为：

s.t.Λ＝Ldiag(α)

将表达权重系数的公式结合拉格朗日函数表示为：

其中，tr(·)表示轨迹，||·||_F是指Frobenius范数，Δ是拉格朗日乘子，μ是惩罚参数，λ和β是控制低秩约束和局部约束的平衡因子；

将表达权重系数的公式进一步表示为：

并对其进行求解，得到最优权重系数α。

3.根据权利要求1所述的基于局部约束低秩表示的人脸超分辨率重建方法，其特征在于，步骤S3中合成高分辨率图像块的公式为：

x(i,j)＝Hⁿ(i,j)α(i,j)

4.根据权利要求1所述的基于局部约束低秩表示的人脸超分辨率重建方法，其特征在于，步骤S4中拼合高分辨率的人脸图像的公式为：

X＝y_sum/overlap_flag

5.一种基于局部约束低秩表示的人脸超分辨率重建系统，其特征在于，包括：

图像拼合单元，用于对合成得到的多个高分辨率的人脸图像块进行位置拼合，得到一张完整的高分辨率人脸图像；

所述系数计算单元中的表达权重系数的计算公式为：

6.根据权利要求5所述的基于局部约束低秩表示的人脸超分辨率重建系统，其特征在于，所述图像块替换单元合成高分辨率图像块的公式为：

x(i,j)＝Hⁿ(i,j)α(i,j)

7.根据权利要求5所述的基于局部约束低秩表示的人脸超分辨率重建系统，其特征在于，所述图像拼合单元中拼合高分辨率的人脸图像的公式为：

X＝y_sum/overlap_flag