CN114066725A - 基于加权残差和低秩约束的含噪人脸超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于加权残差和低秩约束的含噪人脸超分辨率重建方法，包括对待重建的输入低分辨率人脸图像和高、低分辨率训练集相应划分相互重叠的图像块；对于输入低分辨率人脸图像的每一个位置上的图像块，分别从低分辨率人脸样本图像对应位置的图像块中找出最近邻的图像块，并对应找出相应高分辨率人脸样本图像中的图像块；考虑到混合高强度噪声对于重建误差的影响，对每个重建像素使用不同的权值进行干扰，降低重建误差，再利用低分辨率图像集与重建系数的联合低秩性约束得到最优重建权重，利用得到的重建权重计算出各图像块相应的高分辨率人脸图像块；按照人脸上的位置,融合成高分辨率人脸图像重构出高分辨率人脸图像。

Description

基于加权残差和低秩约束的含噪人脸超分辨率重建方法

技术领域

本发明涉及图像超分辨率技术领域，尤其涉及一种基于加权残差和低秩约束的含噪人脸超分辨率重建方法。

背景技术

人脸超分辨率重建技术将输入的低分辨率图像修复为高分辨率图像。即利用单帧或者连续多帧低分辨率人脸图像重建出一张或者多张高分辨率图像的技术。它在智能视频监控、数字娱乐、人脸合成与识别等领域具有广泛的应用背景，可以有效增强低质量图像的分辨率。

随着机器学习在计算机视觉中的成功应用，近年来,学者们提出了大量的基于学习的人脸超分辨率方法。这类方法根据高低分辨率图像构成的训练集这一先验信息,输入一张低分辨率的人脸图像,就可以超分辨率重建出一张高分辨率的人脸图像。Ma等人在相关文献中首次提出一种基于位置图像块的超分辨率方法,利用低分辨率样本库中相同位置的图像块对输入低分辨率图像块进行最小二乘表示来获得最优权重。有专利进一步改善了基于位置块的人脸超分辨率重建方法，还有文献在基于位置块的人脸超分辨率基础上，引入Tikhonov约束降低噪声对于重建的影响(TRNR)，获得了较好的效果。最近还有文献中提出一种错误收缩的方法对混合噪声(高斯噪声与椒盐噪声)情形下的人脸超分辨性能有一定的效果(ESSNR)。

现有技术中，大部分方法均是针对无噪声、单一噪声、低强度混合噪声图像的超分辨率重建，且重建引起的误差均使用简单的高斯分布来拟合。但在实际监控场景中,人脸图像往往不可避免的被高强度混合噪声所影响，此时，重建引起的误差不再服从简单的高斯分布。

发明内容

针对以上问题，本发明提出一种基于加权残差和低秩约束的含噪人脸超分辨率重建方法。

为实现本发明的目的，提供一种基于加权残差和低秩约束的含噪人脸超分辨率重建方法，包括如下步骤：

步骤1，对重建的低分辨率人脸图像、低分辨率训练集中的样本人脸图像以及高分辨率训练集中的样本人脸图像划分得到相互重叠的图像块；

步骤2，对于低分辨率人脸图像每一个位置上的图像块计算在加权残差和低秩约束下由低分辨率训练集中所有低分辨率人脸样本图像该位置上的图像块对它进行线性重建时的最优权值系数；

步骤3，把所有低分辨率人脸样本图像的图像块替换为位置对应的高分辨率人脸样本图像的图像块，用步骤2所得最优权重系数加权合成高分辨率人脸图像块；

步骤4，将步骤3合成所得高分辨率人脸图像块按照在人脸上的位置融合，得到高分辨率人脸图像。

在一个实施例中，在步骤1中，采用回退方式对输入的低分辨率人脸图像、低分辨率人脸样本图像以及高分辨率人脸样本图像划分相互重叠的图像块,具体划分方式如下，按照从左到右、从上到下的顺序进行划分图像块，当划分图像块至图像边缘时，如果剩余尺寸比预先设置的图像块的尺寸小则以原图像的边缘为基准进行回退划分，包括当横向划分到图像右边边缘处时，向左回退并以右边边缘为基准进行分块当纵向划分到图像底边边缘处时，向上回退并以底边边缘为基准进行分块。

在一个实施例中，将低分辨率人脸图像I_t ^L划分图像块所得集合为{x_t(i,j)|1≤i≤A,1≤j≤B}，将高分辨率训练集

和低分辨率训练集

中每一幅图像相应地划分图像块所得集合分别为：

和

其中N表示低辨率训练集中低分辨率人脸样本图像的个数和高辨率训练集中高分辨率人脸样本图像的个数，(i,j)表示所划分的图像块的行号和列号，A和B分别表示每一列和每一行划分出的图像块数。

上述基于加权残差和低秩约束的含噪人脸超分辨率重建方法，用以解决由于人脸图像在高强度混合噪声干扰下人脸超分辨重建性能一般的问题。首先，查找同输入图像块最近邻的图像块样本构建线性的空间，然后在这个空间中，进行加权重构低分辨率图像与原始输入低分辨率图像间的差异，同时对挑选的样本块和重建权重使用低秩约束，保证了在获得更好质量高分辨率图像的同时又与输入低分辨率图像保持一定的一致性。

附图说明

图1是一个实施例的基于加权残差和低秩约束的含噪人脸超分辨率重建方法流程图；

图2是另一个实施例的基于加权残差和低秩约束的含噪人脸超分辨率重建方法流程图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

参考图1所示，图1为一个实施例的基于加权残差和低秩约束的含噪人脸超分辨率重建方法流程图，包括如下步骤：

步骤1，对重建的低分辨率人脸图像、低分辨率训练集中的样本人脸图像以及高分辨率训练集中的样本人脸图像划分得到相互重叠的图像块；

步骤2，对于低分辨率人脸图像每一个位置上的图像块计算在加权残差和低秩约束下由低分辨率训练集中所有低分辨率人脸样本图像该位置上的图像块对它进行线性重建时的最优权值系数；

步骤3，把所有低分辨率人脸样本图像的图像块替换为位置对应的高分辨率人脸样本图像的图像块，用步骤2所得最优权重系数加权合成高分辨率人脸图像块；

步骤4，将步骤3合成所得高分辨率人脸图像块按照在人脸上的位置融合，得到高分辨率人脸图像。

在一个实施例中，在步骤1中，采用回退方式对输入的低分辨率人脸图像、低分辨率人脸样本图像以及高分辨率人脸样本图像划分相互重叠的图像块,具体划分方式如下，按照从左到右、从上到下的顺序进行划分图像块，当划分图像块至图像边缘时，如果剩余尺寸比预先设置的图像块的尺寸小则以原图像的边缘为基准进行回退划分，包括当横向划分到图像右边边缘处时，向左回退并以右边边缘为基准进行分块当纵向划分到图像底边边缘处时，向上回退并以底边边缘为基准进行分块。

在一个实施例中，将低分辨率人脸图像

划分图像块所得集合为{x_t(i,j)|1≤i≤A,1≤j≤B}，将高分辨率训练集

和低分辨率训练集

中每一幅图像相应地划分图像块所得集合分别为：

和

其中N表示低辨率训练集中低分辨率人脸样本图像的个数和高辨率训练集中高分辨率人脸样本图像的个数，(i,j)表示所划分的图像块的行号和列号，A和B分别表示每一列和每一行划分出的图像块数。

在一个示例中，为了表述的简洁性，后续的x_t、X、Y可以分别表示为x_t(i,j)、X(i,j)和Y(i,j)。

上述基于加权残差和低秩约束的含噪人脸超分辨率重建方法，用以解决由于人脸图像在高强度混合噪声干扰下人脸超分辨重建性能一般的问题。首先，查找同输入图像块最近邻的图像块样本构建线性的空间，然后在这个空间中，进行加权重构低分辨率图像与原始输入低分辨率图像间的差异，同时对挑选的样本块和重建权重使用低秩约束，保证了在获得更好质量高分辨率图像的同时又与输入低分辨率图像保持一定的一致性。

在一个实施例中，步骤2中所述的对每一个位置处的图像块迭代更新获得最优权值系数，按如下步骤进行：

步骤2.1令外循环迭代次数τ＝0，以及内循环迭代次数k＝0，输入初始化的加权矩阵W⁽⁰⁾＝I，I为单位矩阵，增广变量参数

和

正参数

和ρ＝1.1，拉格朗日乘子s和Y。

其中，diag(c_k)将向量c_k转化为对角矩阵,diag(X^TX)将矩阵X^TX转化为列向量。

步骤2.2 k＝k+1判断是否当前迭代次数k＝maxK,maxK为预设迭代次数。若是，则输出所得的权值，记为c^(τ)。

步骤2.3根据权值系数c^(τ)，估算出去噪后的新图像块。

x_t ^(τ)＝Xc^(τ)。

步骤2.4更新加权矩阵

其中，

e_l＝x_t-x_t ^(τ)，

步骤2.5τ＝τ+1判断是否当前迭代次数τ＝maxτ,maxτ为预设迭代次数。若是，则输出所得的权值，记为c^*。

在一个实施例中，步骤3中，用步骤2所得权重系数加权合成高分辨率人脸图像块,采用如下公式计算获得

y_t(i,j)＝Yc^*

其中,c^*为步骤2中合成低分辨率人脸图像的第i行第j列图像块。

在一个实施例中，上述基于加权残差和低秩约束的含噪人脸超分辨率重建方法也可以参考图2所示，具体步骤为：

步骤1，输入低分辨率人脸图像,对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块。

低分辨率训练集中包含低分辨率人脸样本图像,高分辨率训练集中包含高分辨率人脸样本图像，低分辨率训练集和高分辨率训练集提供预先设定的训练样本对。低分辨率训练集中每个低分辨率人脸样本图像是由高分辨率训练集中的一个高分辨率人脸样本图像提取。实施例中,所有高分辨率的图像像素大小为120×100，所有低分辨率的图像像素大小为30×25。低分辨率人脸样本图像是高分辨率人脸样本图像通过Bicubic下采样四倍，并引入不同强度的混合噪声形成的结果。

本实施例中,将低分辨率人脸图像I_t ^L划分图像块所得集合为{x_t(i,j)|1≤i≤A,1≤j≤B}，将高分辨率训练集

和低分辨率训练集

相应地划分图像块所得集合分别为

和

N表示低辨率训练集中低分辨率人脸样本图像的个数和高辨率训练集中高分辨率人脸样本图像的个数，p表示高分辨率训练集中高分辨率人脸样本图像和低分辨率训练集中相应低分辨率人脸样本图像的索引，(i,j)图像块的位置坐标，A和B分别表示每一列和每一行划分出的图像块数。为了表述的简洁性，后续的x_t、X、Y分别为x_t(i,j)、X(i,j)和Y(i,j)。

本发明对图像划分相互重叠的图像块采用一致的方式，即每个图像划分的A和B数值相同。具体划分方式可参见专利1。

步骤2、对每一个位置处的图像块x_t迭代更新获得最优权值系数,按如下步骤进行：

步骤2.1、令外循环迭代次数τ＝0,以及内循环迭代次数k＝0,输入初始化的加权矩阵W⁽⁰⁾＝I，I为单位矩阵,增广变量参数

和

正参数

和ρ＝1.1,拉格朗日乘子

和

其中diag(c_k)将向量c_k转化为对角矩阵,diag(X^TX)将矩阵X^TX转化为列向量。

步骤2.2、k＝k+1,判断内循环当前迭代次数是否k＝maxK,maxK为预设迭代次数，建议设为2。若是，则输出步骤2.1所得的权值，记为c^(τ)。

步骤2.3根据权值系数c^(τ)，估算出去噪后的新图像块

x_t ^(τ)＝Xc^(τ)

步骤2.4更新加权矩阵

其中，

e_l＝x_t-x_t ^(τ)

步骤2.5τ＝τ+1判断外循环当前迭代次数是否τ＝maxτ,maxτ为预设迭代次数，建议设为2。若是，则输出步骤2.2所得的权值，记为c^*。

步骤3，用步骤2所得权重系数加权合成高分辨率人脸图像块,采用如下公式计算获得

y_t(i,j)＝Yc^*

其中，c^*为步骤2中合成低分辨率人脸图像的第i行第j列图像块。

为了验证本发明的有效性，采用FEI人脸数据库进行实验，选用所有200个个体的400张正面、预对齐的人脸图像。原始的高分辨率人脸图像为120×100像素。低分辨率人脸图像由高分辨率人脸图像4倍下采样后得到。随机选择张作为训练样本，将剩余360张作为测试图像。

实验采用峰值信噪比(Peak Signal to Noise Ratio,PSNR)，来衡量对比算法的优劣,SSIM则是衡量两幅图相似度的指标，其值越接近于1，说明图像重建的效果越好。比较以上方法对全部张测试图像处理获得的平均PSNR和SSIM值，详见表1。从表中可以看出，本发明方法比对比方法中最好的算法的PSNR值和SSIM值大部分情况下均有不同程度的提高。

表1本发明方法和现有方法在不同噪声强度下的PSNR和SSIM值比较

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

本申请实施例的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (3)

1.一种基于加权残差和低秩约束的含噪人脸超分辨率重建方法，其特征在于，包括如下步骤：

步骤1，对重建的低分辨率人脸图像、低分辨率训练集中的样本人脸图像以及高分辨率训练集中的样本人脸图像划分得到相互重叠的图像块；

步骤2，对于低分辨率人脸图像每一个位置上的图像块计算在加权残差和低秩约束下由低分辨率训练集中所有低分辨率人脸样本图像该位置上的图像块对它进行线性重建时的最优权值系数；

步骤3，把所有低分辨率人脸样本图像的图像块替换为位置对应的高分辨率人脸样本图像的图像块，用步骤2所得最优权重系数加权合成高分辨率人脸图像块；

步骤4，将步骤3合成所得高分辨率人脸图像块按照在人脸上的位置融合，得到高分辨率人脸图像。

2.根据权利要求1所述的基于加权残差和低秩约束的含噪人脸超分辨率重建方法，其特征在于，在步骤1中，采用回退方式对输入的低分辨率人脸图像、低分辨率人脸样本图像以及高分辨率人脸样本图像划分相互重叠的图像块,具体划分方式如下，按照从左到右、从上到下的顺序进行划分图像块，当划分图像块至图像边缘时，如果剩余尺寸比预先设置的图像块的尺寸小则以原图像的边缘为基准进行回退划分，包括当横向划分到图像右边边缘处时，向左回退并以右边边缘为基准进行分块当纵向划分到图像底边边缘处时，向上回退并以底边边缘为基准进行分块。

3.根据权利要求1所述的基于加权残差和低秩约束的含噪人脸超分辨率重建方法，其特征在于，将低分辨率人脸图像

划分图像块所得集合为{x_t(i,j)|1≤i≤A,1≤j≤B}，将高分辨率训练集

和低分辨率训练集

中每一幅图像相应地划分图像块所得集合分别为：

和

其中N表示低辨率训练集中低分辨率人脸样本图像的个数和高辨率训练集中高分辨率人脸样本图像的个数，(i,j)表示所划分的图像块的行号和列号，A和B分别表示每一列和每一行划分出的图像块数。

Images