CN114066725A - 基于加权残差和低秩约束的含噪人脸超分辨率重建方法 - Google Patents

基于加权残差和低秩约束的含噪人脸超分辨率重建方法 Download PDF

Info

Publication number
CN114066725A
CN114066725A CN202010757872.8A CN202010757872A CN114066725A CN 114066725 A CN114066725 A CN 114066725A CN 202010757872 A CN202010757872 A CN 202010757872A CN 114066725 A CN114066725 A CN 114066725A
Authority
CN
China
Prior art keywords
resolution
image
low
face
image blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010757872.8A
Other languages
English (en)
Inventor
唐松泽
刘鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Forest Police College
Original Assignee
Nanjing Forest Police College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Forest Police College filed Critical Nanjing Forest Police College
Priority to CN202010757872.8A priority Critical patent/CN114066725A/zh
Publication of CN114066725A publication Critical patent/CN114066725A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于加权残差和低秩约束的含噪人脸超分辨率重建方法，包括对待重建的输入低分辨率人脸图像和高、低分辨率训练集相应划分相互重叠的图像块；对于输入低分辨率人脸图像的每一个位置上的图像块，分别从低分辨率人脸样本图像对应位置的图像块中找出最近邻的图像块，并对应找出相应高分辨率人脸样本图像中的图像块；考虑到混合高强度噪声对于重建误差的影响，对每个重建像素使用不同的权值进行干扰，降低重建误差，再利用低分辨率图像集与重建系数的联合低秩性约束得到最优重建权重，利用得到的重建权重计算出各图像块相应的高分辨率人脸图像块；按照人脸上的位置,融合成高分辨率人脸图像重构出高分辨率人脸图像。

Description

基于加权残差和低秩约束的含噪人脸超分辨率重建方法
技术领域
本发明涉及图像超分辨率技术领域，尤其涉及一种基于加权残差和低秩约束的含噪人脸超分辨率重建方法。
背景技术
人脸超分辨率重建技术将输入的低分辨率图像修复为高分辨率图像。即利用单帧或者连续多帧低分辨率人脸图像重建出一张或者多张高分辨率图像的技术。它在智能视频监控、数字娱乐、人脸合成与识别等领域具有广泛的应用背景，可以有效增强低质量图像的分辨率。
随着机器学习在计算机视觉中的成功应用，近年来,学者们提出了大量的基于学习的人脸超分辨率方法。这类方法根据高低分辨率图像构成的训练集这一先验信息,输入一张低分辨率的人脸图像,就可以超分辨率重建出一张高分辨率的人脸图像。Ma等人在相关文献中首次提出一种基于位置图像块的超分辨率方法,利用低分辨率样本库中相同位置的图像块对输入低分辨率图像块进行最小二乘表示来获得最优权重。有专利进一步改善了基于位置块的人脸超分辨率重建方法，还有文献在基于位置块的人脸超分辨率基础上，引入Tikhonov约束降低噪声对于重建的影响(TRNR)，获得了较好的效果。最近还有文献中提出一种错误收缩的方法对混合噪声(高斯噪声与椒盐噪声)情形下的人脸超分辨性能有一定的效果(ESSNR)。
现有技术中，大部分方法均是针对无噪声、单一噪声、低强度混合噪声图像的超分辨率重建，且重建引起的误差均使用简单的高斯分布来拟合。但在实际监控场景中,人脸图像往往不可避免的被高强度混合噪声所影响，此时，重建引起的误差不再服从简单的高斯分布。
发明内容
针对以上问题，本发明提出一种基于加权残差和低秩约束的含噪人脸超分辨率重建方法。
为实现本发明的目的，提供一种基于加权残差和低秩约束的含噪人脸超分辨率重建方法，包括如下步骤：
步骤1，对重建的低分辨率人脸图像、低分辨率训练集中的样本人脸图像以及高分辨率训练集中的样本人脸图像划分得到相互重叠的图像块；
步骤2，对于低分辨率人脸图像每一个位置上的图像块计算在加权残差和低秩约束下由低分辨率训练集中所有低分辨率人脸样本图像该位置上的图像块对它进行线性重建时的最优权值系数；
步骤3，把所有低分辨率人脸样本图像的图像块替换为位置对应的高分辨率人脸样本图像的图像块，用步骤2所得最优权重系数加权合成高分辨率人脸图像块；
步骤4，将步骤3合成所得高分辨率人脸图像块按照在人脸上的位置融合，得到高分辨率人脸图像。
在一个实施例中，在步骤1中，采用回退方式对输入的低分辨率人脸图像、低分辨率人脸样本图像以及高分辨率人脸样本图像划分相互重叠的图像块,具体划分方式如下，按照从左到右、从上到下的顺序进行划分图像块，当划分图像块至图像边缘时，如果剩余尺寸比预先设置的图像块的尺寸小则以原图像的边缘为基准进行回退划分，包括当横向划分到图像右边边缘处时，向左回退并以右边边缘为基准进行分块当纵向划分到图像底边边缘处时，向上回退并以底边边缘为基准进行分块。
在一个实施例中，将低分辨率人脸图像It L划分图像块所得集合为{xt(i,j)|1≤i≤A,1≤j≤B}，将高分辨率训练集
Figure BDA0002612181460000021
和低分辨率训练集
Figure BDA0002612181460000022
中每一幅图像相应地划分图像块所得集合分别为：
Figure BDA0002612181460000023
和
Figure BDA0002612181460000024
其中N表示低辨率训练集中低分辨率人脸样本图像的个数和高辨率训练集中高分辨率人脸样本图像的个数，(i,j)表示所划分的图像块的行号和列号，A和B分别表示每一列和每一行划分出的图像块数。
上述基于加权残差和低秩约束的含噪人脸超分辨率重建方法，用以解决由于人脸图像在高强度混合噪声干扰下人脸超分辨重建性能一般的问题。首先，查找同输入图像块最近邻的图像块样本构建线性的空间，然后在这个空间中，进行加权重构低分辨率图像与原始输入低分辨率图像间的差异，同时对挑选的样本块和重建权重使用低秩约束，保证了在获得更好质量高分辨率图像的同时又与输入低分辨率图像保持一定的一致性。
附图说明
图1是一个实施例的基于加权残差和低秩约束的含噪人脸超分辨率重建方法流程图；
图2是另一个实施例的基于加权残差和低秩约束的含噪人脸超分辨率重建方法流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
参考图1所示，图1为一个实施例的基于加权残差和低秩约束的含噪人脸超分辨率重建方法流程图，包括如下步骤：
步骤1，对重建的低分辨率人脸图像、低分辨率训练集中的样本人脸图像以及高分辨率训练集中的样本人脸图像划分得到相互重叠的图像块；
步骤2，对于低分辨率人脸图像每一个位置上的图像块计算在加权残差和低秩约束下由低分辨率训练集中所有低分辨率人脸样本图像该位置上的图像块对它进行线性重建时的最优权值系数；
步骤3，把所有低分辨率人脸样本图像的图像块替换为位置对应的高分辨率人脸样本图像的图像块，用步骤2所得最优权重系数加权合成高分辨率人脸图像块；
步骤4，将步骤3合成所得高分辨率人脸图像块按照在人脸上的位置融合，得到高分辨率人脸图像。
在一个实施例中，在步骤1中，采用回退方式对输入的低分辨率人脸图像、低分辨率人脸样本图像以及高分辨率人脸样本图像划分相互重叠的图像块,具体划分方式如下，按照从左到右、从上到下的顺序进行划分图像块，当划分图像块至图像边缘时，如果剩余尺寸比预先设置的图像块的尺寸小则以原图像的边缘为基准进行回退划分，包括当横向划分到图像右边边缘处时，向左回退并以右边边缘为基准进行分块当纵向划分到图像底边边缘处时，向上回退并以底边边缘为基准进行分块。
在一个实施例中，将低分辨率人脸图像
Figure BDA0002612181460000041
划分图像块所得集合为{xt(i,j)|1≤i≤A,1≤j≤B}，将高分辨率训练集
Figure BDA0002612181460000042
和低分辨率训练集
Figure BDA0002612181460000043
中每一幅图像相应地划分图像块所得集合分别为：
Figure BDA0002612181460000044
和
Figure BDA0002612181460000045
其中N表示低辨率训练集中低分辨率人脸样本图像的个数和高辨率训练集中高分辨率人脸样本图像的个数，(i,j)表示所划分的图像块的行号和列号，A和B分别表示每一列和每一行划分出的图像块数。
在一个示例中，为了表述的简洁性，后续的xt、X、Y可以分别表示为xt(i,j)、X(i,j)和Y(i,j)。
上述基于加权残差和低秩约束的含噪人脸超分辨率重建方法，用以解决由于人脸图像在高强度混合噪声干扰下人脸超分辨重建性能一般的问题。首先，查找同输入图像块最近邻的图像块样本构建线性的空间，然后在这个空间中，进行加权重构低分辨率图像与原始输入低分辨率图像间的差异，同时对挑选的样本块和重建权重使用低秩约束，保证了在获得更好质量高分辨率图像的同时又与输入低分辨率图像保持一定的一致性。
在一个实施例中，步骤2中所述的对每一个位置处的图像块迭代更新获得最优权值系数，按如下步骤进行：
步骤2.1令外循环迭代次数τ＝0，以及内循环迭代次数k＝0，输入初始化的加权矩阵W(0)＝I，I为单位矩阵，增广变量参数
Figure BDA0002612181460000046
和
Figure BDA0002612181460000047
正参数
Figure BDA0002612181460000048
和ρ＝1.1，拉格朗日乘子s和Y。
Figure BDA0002612181460000049
Figure BDA00026121814600000410
Figure BDA00026121814600000411
Figure BDA00026121814600000412
Figure BDA00026121814600000413
Figure BDA0002612181460000051
Figure BDA0002612181460000052
其中，diag(ck)将向量ck转化为对角矩阵,diag(XTX)将矩阵XTX转化为列向量。
步骤2.2 k＝k+1判断是否当前迭代次数k＝maxK,maxK为预设迭代次数。若是，则输出所得的权值，记为c(τ)。
步骤2.3根据权值系数c(τ)，估算出去噪后的新图像块。
xt (τ)＝Xc(τ)。
步骤2.4更新加权矩阵
Figure BDA0002612181460000053
其中，
Figure BDA0002612181460000054
el＝xt-xt (τ)，
步骤2.5τ＝τ+1判断是否当前迭代次数τ＝maxτ,maxτ为预设迭代次数。若是，则输出所得的权值，记为c*。
在一个实施例中，步骤3中，用步骤2所得权重系数加权合成高分辨率人脸图像块,采用如下公式计算获得
yt(i,j)＝Yc*
其中,c*为步骤2中合成低分辨率人脸图像的第i行第j列图像块。
在一个实施例中，上述基于加权残差和低秩约束的含噪人脸超分辨率重建方法也可以参考图2所示，具体步骤为：
步骤1，输入低分辨率人脸图像,对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块。
低分辨率训练集中包含低分辨率人脸样本图像,高分辨率训练集中包含高分辨率人脸样本图像，低分辨率训练集和高分辨率训练集提供预先设定的训练样本对。低分辨率训练集中每个低分辨率人脸样本图像是由高分辨率训练集中的一个高分辨率人脸样本图像提取。实施例中,所有高分辨率的图像像素大小为120×100，所有低分辨率的图像像素大小为30×25。低分辨率人脸样本图像是高分辨率人脸样本图像通过Bicubic下采样四倍，并引入不同强度的混合噪声形成的结果。
本实施例中,将低分辨率人脸图像It L划分图像块所得集合为{xt(i,j)|1≤i≤A,1≤j≤B}，将高分辨率训练集
Figure BDA0002612181460000061
和低分辨率训练集
Figure BDA0002612181460000062
相应地划分图像块所得集合分别为
Figure BDA0002612181460000063
和
Figure BDA0002612181460000064
N表示低辨率训练集中低分辨率人脸样本图像的个数和高辨率训练集中高分辨率人脸样本图像的个数，p表示高分辨率训练集中高分辨率人脸样本图像和低分辨率训练集中相应低分辨率人脸样本图像的索引，(i,j)图像块的位置坐标，A和B分别表示每一列和每一行划分出的图像块数。为了表述的简洁性，后续的xt、X、Y分别为xt(i,j)、X(i,j)和Y(i,j)。
本发明对图像划分相互重叠的图像块采用一致的方式，即每个图像划分的A和B数值相同。具体划分方式可参见专利1。
步骤2、对每一个位置处的图像块xt迭代更新获得最优权值系数,按如下步骤进行：
步骤2.1、令外循环迭代次数τ＝0,以及内循环迭代次数k＝0,输入初始化的加权矩阵W(0)＝I，I为单位矩阵,增广变量参数
Figure BDA0002612181460000065
和
Figure BDA0002612181460000066
正参数
Figure BDA0002612181460000067
和ρ＝1.1,拉格朗日乘子
Figure BDA0002612181460000068
和
Figure BDA0002612181460000069
Figure BDA00026121814600000610
Figure BDA00026121814600000611
Figure BDA00026121814600000612
Figure BDA00026121814600000613
Figure BDA00026121814600000614
Figure BDA00026121814600000615
Figure BDA00026121814600000616
其中diag(ck)将向量ck转化为对角矩阵,diag(XTX)将矩阵XTX转化为列向量。
步骤2.2、k＝k+1,判断内循环当前迭代次数是否k＝maxK,maxK为预设迭代次数，建议设为2。若是，则输出步骤2.1所得的权值，记为c(τ)。
步骤2.3根据权值系数c(τ)，估算出去噪后的新图像块
xt (τ)＝Xc(τ)
步骤2.4更新加权矩阵
Figure BDA0002612181460000071
其中，
Figure BDA0002612181460000072
el＝xt-xt (τ)
步骤2.5τ＝τ+1判断外循环当前迭代次数是否τ＝maxτ,maxτ为预设迭代次数，建议设为2。若是，则输出步骤2.2所得的权值，记为c*。
步骤3，用步骤2所得权重系数加权合成高分辨率人脸图像块,采用如下公式计算获得
yt(i,j)＝Yc*
其中，c*为步骤2中合成低分辨率人脸图像的第i行第j列图像块。
为了验证本发明的有效性，采用FEI人脸数据库进行实验，选用所有200个个体的400张正面、预对齐的人脸图像。原始的高分辨率人脸图像为120×100像素。低分辨率人脸图像由高分辨率人脸图像4倍下采样后得到。随机选择张作为训练样本，将剩余360张作为测试图像。
实验采用峰值信噪比(Peak Signal to Noise Ratio,PSNR)，来衡量对比算法的优劣,SSIM则是衡量两幅图相似度的指标，其值越接近于1，说明图像重建的效果越好。比较以上方法对全部张测试图像处理获得的平均PSNR和SSIM值，详见表1。从表中可以看出，本发明方法比对比方法中最好的算法的PSNR值和SSIM值大部分情况下均有不同程度的提高。
表1本发明方法和现有方法在不同噪声强度下的PSNR和SSIM值比较
Figure BDA0002612181460000073
Figure BDA0002612181460000081
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
本申请实施例的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (3)

1.一种基于加权残差和低秩约束的含噪人脸超分辨率重建方法，其特征在于，包括如下步骤：
步骤1，对重建的低分辨率人脸图像、低分辨率训练集中的样本人脸图像以及高分辨率训练集中的样本人脸图像划分得到相互重叠的图像块；
步骤2，对于低分辨率人脸图像每一个位置上的图像块计算在加权残差和低秩约束下由低分辨率训练集中所有低分辨率人脸样本图像该位置上的图像块对它进行线性重建时的最优权值系数；
步骤3，把所有低分辨率人脸样本图像的图像块替换为位置对应的高分辨率人脸样本图像的图像块，用步骤2所得最优权重系数加权合成高分辨率人脸图像块；
步骤4，将步骤3合成所得高分辨率人脸图像块按照在人脸上的位置融合，得到高分辨率人脸图像。
2.根据权利要求1所述的基于加权残差和低秩约束的含噪人脸超分辨率重建方法，其特征在于，在步骤1中，采用回退方式对输入的低分辨率人脸图像、低分辨率人脸样本图像以及高分辨率人脸样本图像划分相互重叠的图像块,具体划分方式如下，按照从左到右、从上到下的顺序进行划分图像块，当划分图像块至图像边缘时，如果剩余尺寸比预先设置的图像块的尺寸小则以原图像的边缘为基准进行回退划分，包括当横向划分到图像右边边缘处时，向左回退并以右边边缘为基准进行分块当纵向划分到图像底边边缘处时，向上回退并以底边边缘为基准进行分块。
3.根据权利要求1所述的基于加权残差和低秩约束的含噪人脸超分辨率重建方法，其特征在于，将低分辨率人脸图像
Figure FDA0002612181450000011
划分图像块所得集合为{xt(i,j)|1≤i≤A,1≤j≤B}，将高分辨率训练集
Figure FDA0002612181450000012
和低分辨率训练集
Figure FDA0002612181450000013
中每一幅图像相应地划分图像块所得集合分别为：
Figure FDA0002612181450000014
和
Figure FDA0002612181450000015
其中N表示低辨率训练集中低分辨率人脸样本图像的个数和高辨率训练集中高分辨率人脸样本图像的个数，(i,j)表示所划分的图像块的行号和列号，A和B分别表示每一列和每一行划分出的图像块数。
CN202010757872.8A 2020-07-31 2020-07-31 基于加权残差和低秩约束的含噪人脸超分辨率重建方法 Pending CN114066725A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010757872.8A CN114066725A (zh) 2020-07-31 2020-07-31 基于加权残差和低秩约束的含噪人脸超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010757872.8A CN114066725A (zh) 2020-07-31 2020-07-31 基于加权残差和低秩约束的含噪人脸超分辨率重建方法

Publications (1)

Publication Number Publication Date
CN114066725A true CN114066725A (zh) 2022-02-18

Family

ID=80227502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010757872.8A Pending CN114066725A (zh) 2020-07-31 2020-07-31 基于加权残差和低秩约束的含噪人脸超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN114066725A (zh)

Similar Documents

Publication Publication Date Title
Liang et al. Details or artifacts: A locally discriminative learning approach to realistic image super-resolution
CN108734659B (zh) 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法
Fang et al. Blind visual quality assessment for image super-resolution by convolutional neural network
Zhang et al. Image super-resolution based on structure-modulated sparse representation
US10198801B2 (en) Image enhancement using self-examples and external examples
Li et al. FilterNet: Adaptive information filtering network for accurate and fast image super-resolution
CN111951164B (zh) 一种图像超分辨率重建网络结构及图像重建效果分析方法
WO2020000877A1 (zh) 用于生成图像的方法和装置
CN112884668A (zh) 基于多尺度的轻量级低光图像增强方法
CN105513033A (zh) 一种非局部联合稀疏表示的超分辨率重建方法
Cheng et al. Image super-resolution based on half quadratic splitting
CN115760814A (zh) 一种基于双耦合深度神经网络的遥感图像融合方法及系统
Wang et al. No-reference stereoscopic image quality assessment using quaternion wavelet transform and heterogeneous ensemble learning
CN116739899A (zh) 基于saugan网络的图像超分辨率重建方法
Shi et al. Exploiting multi-scale parallel self-attention and local variation via dual-branch transformer-cnn structure for face super-resolution
Zhu et al. Generative high-capacity image hiding based on residual CNN in wavelet domain
Wen et al. The power of complementary regularizers: Image recovery via transform learning and low-rank modeling
Tomar et al. Attentive ExFeat based deep generative adversarial network for noise robust face super-resolution
Gong et al. Combining edge difference with nonlocal self-similarity constraints for single image super-resolution
CN110020986B (zh) 基于欧氏子空间群两重映射的单帧图像超分辨率重建方法
George Robust single image super resolution using neighbor embedding and fusion in wavelet domain
CN110264404B (zh) 一种超分辨图像纹理优化的方法和装置
CN114830168A (zh) 图像重建方法、电子设备和计算机可读存储介质
CN109064435B (zh) 一种基于多光谱影像的Gram-Schmdit融合快速处理方法
CN116029908A (zh) 基于跨模态和跨尺度特征融合的3d磁共振超分辨率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination