CN107169928A - 一种基于深层线性映射学习的人脸超分辨率重建算法 - Google Patents
一种基于深层线性映射学习的人脸超分辨率重建算法 Download PDFInfo
- Publication number
- CN107169928A CN107169928A CN201710332960.1A CN201710332960A CN107169928A CN 107169928 A CN107169928 A CN 107169928A CN 201710332960 A CN201710332960 A CN 201710332960A CN 107169928 A CN107169928 A CN 107169928A
- Authority
- CN
- China
- Prior art keywords
- mrow
- resolution
- msub
- msubsup
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 38
- 238000013507 mapping Methods 0.000 title claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 15
- 230000001815 facial effect Effects 0.000 claims abstract description 10
- 238000012886 linear function Methods 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 239000010410 layer Substances 0.000 description 15
- 238000012360 testing method Methods 0.000 description 4
- 239000002356 single layer Substances 0.000 description 3
- 208000004547 Hallucinations Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深层线性映射学习的人脸超分辨率重建算法，该方法通过将低分辨训练集中的人脸图像和输入的低分辨率人脸图像通过插值到高分辨率人脸图像，建立高低分辨率人脸图像块字典进而找到对应的线性函数关系，然后通过对级联多层线性映射学习，将多线性映射学习扩展到深层模型中，逐层提高了图像重建性能，最终获得更清晰的重建图像。
Description
技术领域
本发明涉及人脸图像超分辨率技术领域，具体涉及一种基于深层线性映射学习的人脸超分辨率重建算法。
背景技术
人脸图像超分辨率技术可以应用在很多领域，如人脸识别，人脸图像视频传输，人脸图像恢复以及人脸图像表情分析等。如在视频监控系统中，由于摄像头分辨率有限且与目标距离较远等原因，监测到的人脸图像较小，分辨率低，为了更好地观察和识别分析，先对它们进行超分辨率。人脸超分辨率是一种典型的超分辨率算法，用于从输入低分辨率图像重建高分辨率图像，旨在克服当前成像系统的局限性。
基于学习的人脸超分辨重建算法成为近年来人脸超分辨率算法研究的的主流方向。例如，Baker等人[1][2]提出了一种人脸幻构(face hallucination)方法，将基于学习的方法运用到人脸超分辨中，对于输入的单幅低分辨人脸，借助于训练集，通过金字塔结构得到高频细节信息，生成高分辨人脸，获得了比传统重建方法和插值更好的效果。但是该方法在某些重要部位引入了较大的噪声。为了在有效去噪的同时保持细节。Chang[3]等人提出基于邻域嵌入的超分辨算法，该算法利用流形学习中的LLE(Locally LinearEmbedding)算法进行超分辨，但是由于利用到降维的方法，往往会丢失人脸图像的非特征信息。Ma等人[4][5]提出了一种基于图像块的最小二乘表示(least squaresrepresentation,LSR)算法，通过求出各个图像块的输出权重对低分辨率图像进行超分辨率重建。该算法的缺点是容易出现过拟合问题。为了解决这一问题，2010年Yang等人[6]提出一种基于稀疏编码的自适应选择相邻最相关(sparse representation)人脸超分辨率方法。Jiang等人[7]则是根据局部流形几何引入了局部约束条件对特征系数(localityconstrained representation,LCR)进行进一步约束。Zhang等人[8]提出了一种基于线性回归的人脸超分辨率重建算法，通过多线性映射(MLM)，可以有效地预测给定输入的低分辨率人脸图像中的丢失细节，通过映射学习中找到匹配模型。为了解决单层表达框架精度不足的问题，Jiang等人[9]进一步提出了算法LINE(Face Super-Resolution viaLocality-Constrained Iterative Neighbor Embedding)通过迭代和更新高分辨率的流形结构和将单层局部约束表达扩展成多层的局部约束表达构成。Dong[10]等人提出了基于深度学习的卷积神经网络超分辨率(Deep Convolutional Network for Image Super-Resolution)算法，(SRCNN)具有低分辨率图像和高分辨率的图像之间的一个端到端的映射，具有很少的预处理和后处理，该算法取得了令人满意的重建效果。
为了克服上述人脸超分辨重建算法中的缺点，本发明借鉴多重线性映射学习和超分辨率卷积网络(SRCNN)，提出了深度多线性映射学习算法框架，通过利用局部和非局部自相似性优势来提高重建性能，最终获得更高质量的高分辨率人脸图像。
参考文献：
[1]Baker S,Kanade T.Limits on Super-Resolution and How to Break Them[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2000,24(9):1167-1183.
[2]S.Baker and T.Kanade,“Hallucinating faces,”in2000the FourthInternational Conference on Automatic Face and Gesture Recognition(FG’2000),March 2000,pp.83–88.
[3]Chang H,Yeung D Y,Xiong Y.Super-resolution through neighborembedding[C]//IEEE Computer Society Conference on Computer Vision&PatternRecognition.IEEE Computer Society,2004:275-282.
[4]X.Ma,J.Zhang,and C.Qi,“Position-based face hallucination method,”in Proc.ICME.,pp.290–293,2009.
[5]Ma X,ZhangJ,Qi C.Hallucinating face by position-patch[J].PatternRecognition,2010,43(6):2224-2236.
[6]Yang J,Wright J,Huang T,et al.Image super-resolution as sparserepresentation of raw image patches[J].2008:1-8.
[7]Jiang J,Hu R,Han Z,et al.Position-Patch Based Face Hallucinationvia Locality-Constrained Representation[J].2012:212-217.
[8]Zhang K,Tao D,Gao X,et al.Learning Multiple Linear Mappings forEfficient Single Image Super-resolution.[J].IEEE Transactions on ImageProcessing A Publication of the IEEE Signal Processing Society,2015,24(3):846-61.
[9]Jiang J,Hu R,Wang Z,et al.Face Super-Resolution via MultilayerLocality-Constrained Iterative Neighbor Embedding and Intermediate DictionaryLearning[J].IEEE Transactions on Image Processing A Publication of the IEEESignal Processing Society,2014,23(10):4220-31.
[10]Dong C,Chen C L,He K,et al.Image Super-Resolution Using DeepConvolutional Networks[J].IEEE Transactions on Pattern Analysis&MachineIntelligence,2016,38(2):295-307.
发明内容
针对现有技术的问题，本发明提出一种基于深层线性映射学习的的人脸超分辨率重建算法，将多线性映射学习扩展到深层模型中，逐层提高了图像重建性能，最终获得更清晰的重建图像。
本发明为解决上述技术问题所采用的技术方案是：
本发明提供一种基于深层线性映射学习的人脸超分辨率重建算法，包括以下步骤：
S1，对输入的低分辨率人脸图像、低分辨率训练集中的人脸图像以及高分辨率训练集中的人脸图像在像素域中划分相互重叠的图像块；
S2，将低分辨训练集中的人脸图像和输入的低分辨率人脸图像通过插值到高分辨率人脸图像，在特征域提取特征，并将提取的特征划分为相互重叠大小的块；
S3，将步骤S2所得到在特征域的低分辨率图像块字典和输入的低分辨人脸图像块，然后通过K-NN算法中的欧氏距离在特征域中的低分辨率字典中提取K个最近距离的图像块；
S4，最后根据特征域中的图像块的位置和在像素域中图像块位置的相关性，根据在特征域获得的欧式距离找到在像素域中的高低分辨率人脸图像块训练集中对应的K个人脸图像块，得到新的高低分辨率人脸图像块字典对作为高低人脸图像块训练样本集；
S5，根据步骤S4得到的高低训练图像块字典对，找到对应的线性函数关系；
S6，级联多层线性映射学习，通过留一策略，更新低分辨率人脸图像训练集和高分辨率人脸图像训练集，然后对低分辨率人脸图像训练集中的每张人脸图像重复进行步骤S1至步骤S5进行更新，得到多重线性函数关系，进而合成高分辨人脸图像块，融合得到最终目标的高分辨率人脸图像。
本发明的有益效果是：
本发明提供了一种基于深层线性映射学习的人脸超分辨重建算法，其将多线性映射学习扩展到深层模型中，逐层提高了图像重建性能，最终获得更清晰的重建图像。
附图说明
图1是本发明实施例的4层平均SSIM值和平均PSNR值的结果图；
图2是本发明实施例的重建后的图像，图中(a)为输入图片，(b)为重建后的图像，(c)为原始图像。
具体实施方式
下面结合附图及实施例对本发明作进一步说明。
本发明提供一种基于深层线性映射学习的人脸超分辨重建算法，，包括以下步骤：
S1，假设输入的低分辨人脸图像低分辨人脸图像训练集和高分辨人脸图像训练集其中N为高低人脸图像训练集中的样本数量，Ai大小为m×n，Bi大小为mt×nt。
将输入的低分辨人脸图像，低分辨率人脸图像训练集和高分辨率人脸图像训练集中的每一张人脸图像在像素域划分成M个相互重叠的图像块xi，和其中，低分辨图像块大小为则相应的高分辨率图像块大小为
S2，将低分辨训练集中的每张人脸图像Ai插值4倍到高分辨人脸图像Ti，然后通过在水平方向和垂直方向上的第一和第二阶梯度将通过插值得到的高分辨率人脸图像Ti进行特征表提取，采用如下公式获得：
G(i)j＝fj*Ti,j＝1,2,3,4 (1)
其中G(i)j是所滤波后的图像；f1和f2分别是在水平和垂直方向的梯度的高通滤波器；f3和f4分别是在水平方向和垂直方向的高通滤波器；*表示的是卷积；每张图像Ai将会提取到4个特征，然后采用如下公式从Ti中得到和Ap相应的特征块集合：
g(i)j＝[g(i)1；g(i)2；g(i)3；g(i)4] (2)
其中，g(i)j是从滤波后的图像G(i)j在相同位置划分的图像块，最后得到低分辨率图像块集合Ap相对应的特征图像块集合
对于输入的低分辨人脸图像X按照公式(1)和公式(2)获得特征块x(i)j＝[x(i)1；x(i)2；x(i)3；x(i)4]。
S3，采用公式(3)用K-NN算法获得在低分辨率特征块集合Af中K个最邻近的特征块：
CK(x(i)j)＝sup pot(dist|K) (3)
其中dist|K表示在距离dist中距离最小的K个人脸图像块，并且dist表示x(i)j和低分辨率特征块集合的Af的测量距离。本发明采用的是欧式距离，其计算公式如下：
disti＝||x(i)j-g(i)j||2 (4)
S4，根据特征域中的图像块的位置和在像素域中图像块位置的相关性，使用相同索引找到在像素域中低分辨率图像块训练集Ap和高分辨率图像块训练集Bp中对应的K个图像块，则对于每一个输入的低分辨人脸图像块xi都会找到与其对应的高低分辨图像块字典对，如公式(5)所示：
其中，其中K表示字典原子个数；
对于每一张输入的低分辨人脸图像将会获得M个低分辨人脸图像块和高分辨人脸图像块字典对
S5，对于步骤S4中M个低分辨人脸图像块和高分辨人脸图像块字典对我们采用协作表达的l2范式正则化的最小二乘法得到i-th输入图像块的权重系数，如公式(6)所示：
其中，τ是平衡重建误差和局部约束的正则化参数，是欧式平方距离，i是样本序号；
则用公式(6)所得最优权重系数加权合成高分辨率人脸图像块，公式如下所示：
而，对于公式(6)的闭合形式则定义为：
其中，I是单位矩阵，则目标图像块yi可以由如下公式获得：
因此，相应的线性函数Fi则采用如下公式获得：
S6，为了学习从低分辨率图像块到高分辨率图像块的深层线性映射，关键是更新多层支持的嵌入字典.假设S表示的是深层线性映射的总层数，而s表示的是层次序号。众所周知，高分辨率人脸图像训练集样本是可靠的，因此我们只需要通过留一策略更新每个层的低分辨率人脸图像训练集：从第一张低分辨率图像开始，使用剩下的N-1张低分辨率图像作为新的低分辨率人脸图像训练集进行更新；通过同样的方法，从高分辨率人脸图像训练样本中获得相应的新的高分辨率人脸图像训练集
然后低分辨率人脸图像训练样本集中每一张的人脸图像按照上述步骤S1到步骤S5的方式进行更新；
进而，完成对每一层的低分辨人脸图像训练集的更新，以及相应的每一层的低分辨率人脸图像块训练集Ap的更新，则非位置嵌入字典将被不断更新；因此，第s层多重线性映射也会得到更新，如下所示：
其中，表示第s层的在i个位置块的线性映射函数，因此最终输出高分辨图像块可以通过以下公式获得：
最后将获取的人脸图像块融合，得到最终目标的高分辨率人脸图像YS。
测试实施例：实验数据：实验采用FEI人脸数据集作为实验数据，该数据包括正面的整齐的人脸图像。人脸数据集中包括400张图像，分别从200个目标人物得到，100位男性和100位女性。每一位目标人物有两张正面的图像，一张没有表情，一张面带微笑。数据集中的男性图像主要是从19岁到40岁的不同年龄段、发型和装饰品。所有的照片都被裁剪大小为120×96像素的图像，选取其中的360张作为训练样本集(180个目标人物)，剩下的40张图像用来测试(20个目标人物)。因此，所有的测试图像都不在训练集中。低分辨图像是根据高分辨图像下采样4倍得到的，因此和高分辨图像对应的低分辨图像的大小为15×12像素。本发明实施例中划分人脸图像块的尺寸分别为：高分辨率人脸图像被划分为12×12的图像块，交叠为8个像素；低分辨率人脸图像被划分为2×2的图像块，交叠为1个像素。
本发明与其他的人脸超分辨重建算法不同，以下提供实验对比说明本方法的有效性。
如图1所示，我们列出了4层模型下的40个人脸图像的PSNR和SSIM的平均值。其中，我们采用LINE算法作为对比，其中，L1、L2、L3、L4表示的是LINE算法四层的结果值。D1、D2、D3、D4表示的是本发明四层模型下的结果。我们可以看到，随着层数的增加，该算法的增益变得更加的显著。40张测试图像的平均PSNR和SSIM值，在四层模型比单层模型的结果要更加显著。
| 算法 | Bublic | SRCNN | SR | LLE | MLM | LSR | CBN | LCR | LINE | DLML |
| PSNR(dB) | 24.26 | 28.28 | 26.88 | 27.80 | 27.94 | 26.87 | 27.41 | 27.86 | 28.14 | 28.40 |
| SSIM | 0.699 | 0.783 | 0.781 | 0.808 | 0.815 | 0.781 | 0.801 | 0.811 | 0.827 | 0.834 |
| Gain_P | 4.14 | 0.12 | 1.52 | 0.60 | 0.46 | 1.53 | 0.99 | 0.54 | 0.26 | 0 |
| Gain_S | 0.135 | 0.051 | 0.053 | 0.026 | 0.019 | 0.053 | 0.033 | 0.023 | 0.007 | 0 |
从以上表格明显看出，与其他算法相比，本发明算法在PSNR值和SSIM值上高于其他算法。
说明书中未阐述的部分均为现有技术或公知常识。本实施例仅用于说明该发明，而不用于限制本发明的范围，本领域技术人员对于本发明所做的等价置换等修改均认为是落入该发明权利要求书所保护范围内。
Claims (7)
1.一种基于深层线性映射学习的人脸超分辨率重建算法，其特征在于：包括以下步骤：
S1，对输入的低分辨率人脸图像、低分辨率训练集中的人脸图像以及高分辨率训练集中的人脸图像在像素域中划分相互重叠的图像块；
S2，将低分辨训练集中的人脸图像和输入的低分辨率人脸图像通过插值到高分辨率人脸图像，在特征域提取特征，并将提取的特征划分为相互重叠大小的块，进而得到在特征域的低分辨率图像块字典；
S3，通过K-NN算法中的欧氏距离在特征域中的低分辨率图像块字典中提取K个最近距离的图像块；
S4，根据特征域中的图像块的位置和在像素域中图像块位置的相关性，根据在特征域获得的欧氏距离找到在像素域中的高低分辨率人脸图像块训练集中对应的K个人脸图像块，得到新的高低分辨率人脸图像块字典对作为高低人脸图像块训练样本集；
S5，根据步骤S4得到的高低训练图像块字典对，找到对应的线性函数关系；
S6，级联多层线性映射学习，通过留一策略，更新低分辨率人脸图像训练集和高分辨率人脸图像训练集，然后对低分辨率人脸图像训练集中的每张人脸图像重复进行步骤S1至步骤S5进行更新，得到多重线性函数关系，进而合成高分辨人脸图像块，融合得到最终目标的高分辨率人脸图像。
2.根据权利要求1所述的一种基于深层线性映射学习的人脸超分辨率重建算法，
其特征在于：所述步骤S1具体为：
假设输入的低分辨人脸图像低分辨人脸图像训练集和高分辨人脸图像训练集其中N为高低人脸图像训练集中的样本数量，Ai大小为m×n，Bi大小为mt×nt；
将输入的低分辨人脸图像，低分辨率人脸图像训练集和高分辨率人脸图像训练集中的每一张人脸图像在像素域划分成M个相互重叠的图像块xi，和其中，低分辨图像块大小为则相应的高分辨率图像块大小为
3.根据权利要求2所述的一种基于深层线性映射学习的人脸超分辨率重建算法，其特征在于：所述步骤S2具体为：
将低分辨训练集中的每张人脸图像Ai插值4倍到高分辨人脸图像Ti，然后通过在水平方向和垂直方向上的第一和第二阶梯度将通过插值得到的高分辨率人脸图像Ti进行特征表提取，采用如下公式获得：
G(i)j＝fj*Ti,j＝1,2,3,4 (1)
其中G(i)j是所滤波后的图像；f1和f2分别是在水平和垂直方向的梯度的高通滤波器；f3和f4分别是在水平方向和垂直方向的高通滤波器；*表示的是卷积；每张图像Ai将会提取到4个特征，然后采用如下公式从Ti中得到和Ap相应的特征块集合：
g(i)j＝[g(i)1；g(i)2；g(i)3；g(i)4] (2)
其中，g(i)j是从滤波后的图像G(i)j在相同位置划分的图像块，最后得到低分辨率图像块集合Ap相对应的特征图像块集合
对于输入的低分辨人脸图像X按照公式(1)和公式(2)获得特征块x(i)j＝[x(i)1；x(i)2；x(i)3；x(i)4]。
4.根据权利要求3所述的一种基于深层线性映射学习的人脸超分辨率重建算法，其特征在于：所述步骤S3具体为：
采用公式(3)用K-NN算法获得在低分辨率特征块集合Af中K个最邻近的特征块：
CK(x(i)j)＝sup pot(dist|K) (3)
其中dist|K表示在距离dist中距离最小的K个人脸图像块，并且dist表示x(i)j和低分辨率特征块集合的Af的测量距离；所述测量距离dist采用欧式距离计算所得，其计算公式如下：
disti＝||x(i)j-g(i)j||2 (4)。
5.根据权利要求4所述的一种基于深层线性映射学习的人脸超分辨率重建算法，其特征在于：所述步骤S4具体为：
根据特征域中的图像块的位置和在像素域中图像块位置的相关性，使用相同索引找到在像素域中低分辨率图像块训练集Ap和高分辨率图像块训练集Bp中对应的K个图像块，则对于每一个输入的低分辨人脸图像块xi都会找到与其对应的高低分辨图像块字典对，如公式(5)所示：
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>L</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<msup>
<mi>A</mi>
<mi>p</mi>
</msup>
<msub>
<mo>|</mo>
<mrow>
<msub>
<mi>C</mi>
<mi>K</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>H</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<msup>
<mi>B</mi>
<mi>p</mi>
</msup>
<msub>
<mo>|</mo>
<mrow>
<msub>
<mi>C</mi>
<mi>K</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，其中K表示字典原子个数；
对于每一张输入的低分辨人脸图像将会获得M个低分辨人脸图像块和高分辨人脸图像块字典对
6.根据权利要求5所述的一种基于深层线性映射学习的人脸超分辨率重建算法，
其特征在于：所述步骤S5具体为：
对于步骤S4中M个低分辨人脸图像块和高分辨人脸图像块字典对我们采用协作表达的l2范式正则化的最小二乘法得到i-th输入图像块的权重系数，如公式(6)所示：
<mrow>
<msubsup>
<mi>&alpha;</mi>
<mi>i</mi>
<mo>*</mo>
</msubsup>
<mo>=</mo>
<munder>
<mi>argmin</mi>
<msub>
<mi>&alpha;</mi>
<mi>i</mi>
</msub>
</munder>
<mo>{</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>L</mi>
<mi>i</mi>
</msub>
<msub>
<mi>&alpha;</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mi>&tau;</mi>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>&alpha;</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>}</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，τ是平衡重建误差和局部约束的正则化参数，是欧式平方距离，i是样本序号；
则用公式(6)所得最优权重系数加权合成高分辨率人脸图像块，公式如下所示：
<mrow>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<msub>
<mi>H</mi>
<mi>i</mi>
</msub>
<msubsup>
<mi>&alpha;</mi>
<mi>i</mi>
<mo>*</mo>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
而，对于公式(6)的闭合形式则定义为：
<mrow>
<msubsup>
<mi>&alpha;</mi>
<mi>i</mi>
<mo>*</mo>
</msubsup>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>L</mi>
<mi>i</mi>
<mi>T</mi>
</msubsup>
<msub>
<mi>L</mi>
<mi>i</mi>
</msub>
<mo>+</mo>
<mi>&tau;</mi>
<mi>I</mi>
<mo>)</mo>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<msubsup>
<mi>L</mi>
<mi>i</mi>
<mi>T</mi>
</msubsup>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，I是单位矩阵，则目标图像块yi可以由如下公式获得：
<mrow>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<msub>
<mi>H</mi>
<mi>i</mi>
</msub>
<msubsup>
<mi>&alpha;</mi>
<mi>i</mi>
<mo>*</mo>
</msubsup>
<mo>=</mo>
<msub>
<mi>H</mi>
<mi>i</mi>
</msub>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>L</mi>
<mi>i</mi>
<mi>T</mi>
</msubsup>
<msub>
<mi>L</mi>
<mi>i</mi>
</msub>
<mo>+</mo>
<mi>&tau;</mi>
<mi>I</mi>
<mo>)</mo>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<msubsup>
<mi>L</mi>
<mi>i</mi>
<mi>T</mi>
</msubsup>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
因此，相应的线性函数Fi则采用如下公式获得：
<mrow>
<msub>
<mi>F</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<msub>
<mi>H</mi>
<mi>i</mi>
</msub>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>L</mi>
<mi>i</mi>
<mi>T</mi>
</msubsup>
<msub>
<mi>L</mi>
<mi>i</mi>
</msub>
<mo>+</mo>
<mi>&tau;</mi>
<mi>I</mi>
<mo>)</mo>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<msubsup>
<mi>L</mi>
<mi>i</mi>
<mi>T</mi>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
</mrow>
7.根据权利要求6所述的一种基于深层线性映射学习的人脸超分辨率重建算法，
其特征在于：所述步骤S6具体为：
假设S表示的是深层线性映射的总层数，而s表示的是层次序号；
通过留一策略更新每个层的低分辨率人脸图像训练集：从第一张低分辨率图像开始，使用剩下的N-1张低分辨率图像作为新的低分辨率人脸图像训练集进行更新；通过同样的方法，从高分辨率人脸图像训练样本中获得相应的新的高分辨率人脸图像训练集
然后低分辨率人脸图像训练样本集中每一张的人脸图像按照上述步骤S1到步骤S5的方式进行更新；
进而，完成对每一层的低分辨人脸图像训练集的更新，以及相应的每一层的低分辨率人脸图像块训练集Ap的更新，则非位置嵌入字典将被不断更新；
因此，第s层多重线性映射也会得到更新，如下所示：
<mrow>
<msubsup>
<mi>F</mi>
<mi>i</mi>
<mi>s</mi>
</msubsup>
<mo>=</mo>
<msubsup>
<mi>H</mi>
<mi>i</mi>
<mi>s</mi>
</msubsup>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>L</mi>
<mi>i</mi>
<mrow>
<mi>s</mi>
<mi>T</mi>
</mrow>
</msubsup>
<msubsup>
<mi>L</mi>
<mi>i</mi>
<mi>s</mi>
</msubsup>
<mo>+</mo>
<mi>&tau;</mi>
<mi>I</mi>
<mo>)</mo>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<msubsup>
<mi>L</mi>
<mi>i</mi>
<mi>s</mi>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>11</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，Fi s表示第s层的在i个位置块的线性映射函数，因此最终输出高分辨图像块可以通过以下公式获得：
<mrow>
<msubsup>
<mi>y</mi>
<mi>i</mi>
<mi>S</mi>
</msubsup>
<mo>=</mo>
<msubsup>
<mi>F</mi>
<mi>i</mi>
<mi>S</mi>
</msubsup>
<mo>...</mo>
<msubsup>
<mi>F</mi>
<mi>i</mi>
<mn>1</mn>
</msubsup>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<msubsup>
<mi>&Pi;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>S</mi>
</msubsup>
<msubsup>
<mi>F</mi>
<mi>i</mi>
<mi>j</mi>
</msubsup>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<msubsup>
<mi>&Pi;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>S</mi>
</msubsup>
<msubsup>
<mi>H</mi>
<mi>i</mi>
<mi>j</mi>
</msubsup>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>L</mi>
<mi>i</mi>
<msup>
<mi>j</mi>
<mi>T</mi>
</msup>
</msubsup>
<msubsup>
<mi>L</mi>
<mi>i</mi>
<mi>j</mi>
</msubsup>
<mo>+</mo>
<mi>&tau;</mi>
<mi>I</mi>
<mo>)</mo>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<msubsup>
<mi>L</mi>
<mi>i</mi>
<msup>
<mi>j</mi>
<mi>T</mi>
</msup>
</msubsup>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>12</mn>
<mo>)</mo>
</mrow>
</mrow>
最后将获取的人脸图像块融合，得到最终目标的高分辨率人脸图像YS。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710332960.1A CN107169928A (zh) | 2017-05-12 | 2017-05-12 | 一种基于深层线性映射学习的人脸超分辨率重建算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710332960.1A CN107169928A (zh) | 2017-05-12 | 2017-05-12 | 一种基于深层线性映射学习的人脸超分辨率重建算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107169928A true CN107169928A (zh) | 2017-09-15 |
Family
ID=59815894
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710332960.1A Pending CN107169928A (zh) | 2017-05-12 | 2017-05-12 | 一种基于深层线性映射学习的人脸超分辨率重建算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107169928A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108986027A (zh) * | 2018-06-26 | 2018-12-11 | 大连大学 | 基于改进的联合三边滤波器的深度图像超分辨重建方法 |
| CN108986059A (zh) * | 2018-06-22 | 2018-12-11 | 武汉工程大学 | 基于流形正则化群的局部约束表达的人脸超分辨率重建方法 |
| CN109712069A (zh) * | 2018-11-08 | 2019-05-03 | 宁波大学 | 一种基于cca空间的人脸图像多层重构方法 |
| CN109886869A (zh) * | 2018-10-15 | 2019-06-14 | 武汉工程大学 | 一种基于上下文信息的非线性拓展的人脸幻构方法 |
| CN110046583A (zh) * | 2019-04-18 | 2019-07-23 | 南京信息工程大学 | 基于半监督多视图增量字典学习的彩色人脸识别方法 |
| WO2021115483A1 (zh) * | 2019-12-13 | 2021-06-17 | 华为技术有限公司 | 一种图像处理方法及相关装置 |
| CN113628109A (zh) * | 2021-07-16 | 2021-11-09 | 上海交通大学 | 基于可学习字典的人脸五官超分辨率方法和系统、介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140133780A1 (en) * | 2011-12-14 | 2014-05-15 | Peking University | Nonlocality based super resolution reconstruction method and device |
| CN106157274A (zh) * | 2015-04-01 | 2016-11-23 | 武汉大学 | 一种基于图像位置块近邻嵌入的人脸幻构方法 |
| US20170019615A1 (en) * | 2015-07-13 | 2017-01-19 | Asustek Computer Inc. | Image processing method, non-transitory computer-readable storage medium and electrical device thereof |
| CN106530231A (zh) * | 2016-11-09 | 2017-03-22 | 武汉工程大学 | 一种基于深层协作表达的超分辨率图像的重建方法及系统 |
| CN106651772A (zh) * | 2016-11-25 | 2017-05-10 | 宁波大学 | 一种卫星云图的超分辨率重建方法 |
-
2017
- 2017-05-12 CN CN201710332960.1A patent/CN107169928A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140133780A1 (en) * | 2011-12-14 | 2014-05-15 | Peking University | Nonlocality based super resolution reconstruction method and device |
| CN106157274A (zh) * | 2015-04-01 | 2016-11-23 | 武汉大学 | 一种基于图像位置块近邻嵌入的人脸幻构方法 |
| US20170019615A1 (en) * | 2015-07-13 | 2017-01-19 | Asustek Computer Inc. | Image processing method, non-transitory computer-readable storage medium and electrical device thereof |
| CN106530231A (zh) * | 2016-11-09 | 2017-03-22 | 武汉工程大学 | 一种基于深层协作表达的超分辨率图像的重建方法及系统 |
| CN106651772A (zh) * | 2016-11-25 | 2017-05-10 | 宁波大学 | 一种卫星云图的超分辨率重建方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108986059A (zh) * | 2018-06-22 | 2018-12-11 | 武汉工程大学 | 基于流形正则化群的局部约束表达的人脸超分辨率重建方法 |
| CN108986059B (zh) * | 2018-06-22 | 2021-12-24 | 武汉工程大学 | 基于流形正则化群的局部约束表达的人脸超分辨率重建方法 |
| CN108986027A (zh) * | 2018-06-26 | 2018-12-11 | 大连大学 | 基于改进的联合三边滤波器的深度图像超分辨重建方法 |
| CN109886869A (zh) * | 2018-10-15 | 2019-06-14 | 武汉工程大学 | 一种基于上下文信息的非线性拓展的人脸幻构方法 |
| CN109886869B (zh) * | 2018-10-15 | 2022-12-20 | 武汉工程大学 | 一种基于上下文信息的非线性拓展的人脸幻构方法 |
| CN109712069A (zh) * | 2018-11-08 | 2019-05-03 | 宁波大学 | 一种基于cca空间的人脸图像多层重构方法 |
| CN109712069B (zh) * | 2018-11-08 | 2023-04-07 | 宁波大学 | 一种基于cca空间的人脸图像多层重构方法 |
| CN110046583A (zh) * | 2019-04-18 | 2019-07-23 | 南京信息工程大学 | 基于半监督多视图增量字典学习的彩色人脸识别方法 |
| WO2021115483A1 (zh) * | 2019-12-13 | 2021-06-17 | 华为技术有限公司 | 一种图像处理方法及相关装置 |
| CN113628109A (zh) * | 2021-07-16 | 2021-11-09 | 上海交通大学 | 基于可学习字典的人脸五官超分辨率方法和系统、介质 |
| CN113628109B (zh) * | 2021-07-16 | 2023-11-28 | 上海交通大学 | 基于可学习字典的人脸五官超分辨率方法和系统、介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107169928A (zh) | 一种基于深层线性映射学习的人脸超分辨率重建算法 | |
| CN110889852B (zh) | 基于残差-注意力深度神经网络的肝脏分割方法 | |
| Zhang et al. | Image super-resolution based on structure-modulated sparse representation | |
| Fang et al. | Blind visual quality assessment for image super-resolution by convolutional neural network | |
| Ren et al. | Single image super-resolution via adaptive high-dimensional non-local total variation and adaptive geometric feature | |
| Huang et al. | Deep hyperspectral image fusion network with iterative spatio-spectral regularization | |
| Ren et al. | Single image super-resolution using local geometric duality and non-local similarity | |
| CN109190695B (zh) | 一种基于深度卷积神经网络的鱼类图像分类方法 | |
| Jia et al. | Ddunet: Dense dense u-net with applications in image denoising | |
| CN110969577A (zh) | 一种基于深度双重注意力网络的视频超分辨率重建方法 | |
| CN106600538A (zh) | 一种基于区域深度卷积神经网络的人脸超分辨率算法 | |
| CN105550988A (zh) | 基于改进邻域嵌入和结构自相似性的超分辨率重建算法 | |
| Ren et al. | Adjusted non-local regression and directional smoothness for image restoration | |
| CN108257093B (zh) | 基于可控核与高斯过程回归的单帧图像超分辨方法 | |
| Shi et al. | Exploiting multi-scale parallel self-attention and local variation via dual-branch transformer-CNN structure for face super-resolution | |
| Jiang et al. | Ensemble super-resolution with a reference dataset | |
| CN111626927A (zh) | 采用视差约束的双目图像超分辨率方法、系统及装置 | |
| Rahiman et al. | Single image super resolution using neighbor embedding and statistical prediction model | |
| Wang et al. | A group-based embedding learning and integration network for hyperspectral image super-resolution | |
| Ren et al. | Clustering-oriented multiple convolutional neural networks for single image super-resolution | |
| CN104504672A (zh) | 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法 | |
| CN104766290B (zh) | 一种基于快速nsct的像素信息估计融合方法 | |
| Xiong et al. | Gradient boosting for single image super-resolution | |
| Wang et al. | Image super-resolution reconstruction based on generative adversarial network model with feedback and attention mechanisms | |
| CN107133921B (zh) | 基于多层次邻域嵌入的图像超分辨率重建方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170915 |