CN102402784B - 一种基于最近特征线流形学习的人脸图像超分辨率方法 - Google Patents

一种基于最近特征线流形学习的人脸图像超分辨率方法 Download PDF

Info

Publication number
CN102402784B
CN102402784B CN 201110421817 CN201110421817A CN102402784B CN 102402784 B CN102402784 B CN 102402784B CN 201110421817 CN201110421817 CN 201110421817 CN 201110421817 A CN201110421817 A CN 201110421817A CN 102402784 B CN102402784 B CN 102402784B
Authority
CN
China
Prior art keywords
resolution
image
low
block
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 201110421817
Other languages
English (en)
Other versions
CN102402784A (zh
Inventor
胡瑞敏
江俊君
王冰
韩镇
卢涛
黄克斌
冷清明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN 201110421817 priority Critical patent/CN102402784B/zh
Publication of CN102402784A publication Critical patent/CN102402784A/zh
Application granted granted Critical
Publication of CN102402784B publication Critical patent/CN102402784B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种基于最近特征线流形学习的人脸图像超分辨率方法，把人脸图像块样本空间中的样本点两两相连形成特征线，将已有样本点扩充为特征线上的无数多个样本点，从而增强人脸图像块样本空间的表达能力；在扩充之后的样本空间中，利用最近特征线准则来定义样本空间中样本点之间的近邻关系，通过保持高低分辨率图像块样本空间的这种邻域关系，从而正确揭示高低分辨率人脸图像块流形之间的局部相似结构特征；通过保持这种局部相似结构特征，重构输入的低分辨率人脸图像块对应的高分辨率块，融合所有高分辨率块得到高分辨率人脸图像。此外，本发明根据输入的低分辨率图像块，对原始样本空间进行预筛选，再利用上述方法对其分析，大大降低本方法的运算复杂度。

Description

一种基于最近特征线流形学习的人脸图像超分辨率方法
技术领域
本发明涉及图像超分辨率领域，具体涉及一种基于最近特征线流形学习的人脸图像超分辨率方法。
背景技术
超分辨率是一种由低分辨率（Low-Resolution，LR）图像产生高分辨率（High-Resolution，HR）图像的技术，其在智能视频监控、公安刑事侦查、信息安全等领域具有广泛的应用背景。
根据输入的图像的数目，超分辨率方法可以分成基于多帧低分辨率图像进行重建的方法和基于单帧低分辨率图像进行学习的方法这两大类，其中基于单帧学习的方法能获得更高的放大倍数和更好的效果，因而更受关注。Freeman（文献1：W.Freeman, E.Pasztor, and O.Carmichael. Learning low-level vision [J]. International Journal of Computer Vision, 2000, 40(1): 25–47.）提出一种基于Markov网络的图像超分辨率方法，这也是最早提出的基于学习的超分辨率方法。Baker（文献2：S.Baker and T.Kanade. Limits on super-resolution and how to break them [J]. IEEE Trans. PAMI, 2002, 24(9): 1167-1183.）专门针对人脸图像，提出了一种人脸幻构的方法。随后，Liu（文献3：C.Liu, H.Shum, and W.Freeman. Face Hallucination: Theory and Practice [J]. International Journal of Computer Vision, 2007, 75(1): 115-134.）提出人脸重构的两步法，分别合成人脸的全局和局部信息。至此，基于学习的人脸图像超分辨率方法引起了人们的广泛关注。近年来，机器学习理论表明，人脸图像嵌入在一个具有局部线性性的低维平滑流行空间(文献4：S.Roweis and L.Saul. Nonlinear dimensionality reduction by locally linear embedding [J]. Science, 2000, 290 (5500): 2323–2326)。根据这一理论，Chang（文献5：H.Chang, D.Yeung, and Y.Xiong. Super-resolution through neighbor embedding [A]. In Proc. IEEE CVPR’04 [C]. Washington, 2004. 275–282.）提出一种邻域嵌入的图像超分辨率重构方法，首次将流形学习思想引入到图像超分辨率重构中。Wang（文献6：X.Wang and X.Tang. Hallucinating face by eigentransformation [J]. IEEE Trans. SMC (Part C), 2005, 35(3):425–434.）提出一种特征变换法, 利用主成分分析将输入的低分辨率人脸图像投影到低分辨率训练样本的特征子空间中，再把投影系数直接映射到高分辨率图像上得到高分辨率图像。2010年Huang（文献7：H.Huang, H.He, X.Fan, and J.Zhang. Super-resolution of human face image using canonical correlation analysis [J]. Pattern Recognition, 2010, 43(7):2532–2543.）提出利用典型相关分析提取高低分辨率人脸图像的相关子空间，将典型相关分析同时运用于全局脸重构的残差脸的补偿中，最终获得了很好的重构效果。
上述流形学习的方法都是基于高低分辨率人脸图像样本所构成的流形空间具有相似局部几何结构这一假设。然而，在欠采样条件下（即小样本问题，目前，最大样本库的样本数也不过5000），样本数据只能构成高维人脸流形空间的一个稀疏空间，即使最相邻的点也难以称其为局部。因此，对欠采样的样本数据，由局部形成全局的流形学习思想从本质上并不适合。基于流形学习的人脸图像超分辨率方法要想获得好的学习效果，必须通过扩大人脸图像样本规模来解决流形空间采样不够稠密的问题。然而，人脸库的建立是一个复杂又耗时的过程，即使能获得大量样本，方法在进行求解计算时也需要巨大的存储空间，并带来很高的运算复杂度。因此，通过简单地增加样本数量来改进传统流形学习方法在实际中并不可行。
发明内容
本发明目的在于提供一种基于最近特征线流形学习的人脸超分辨率方法。它可以有效地扩充已有人脸图像样本的表达能力，从而正确揭示高低分辨率人脸图像流形之间的局部相似结构特征。
       为达到上述目的，本发明采用的技术方案是一种基于最近特征线流形学习的人脸图像超分辨率方法，其特征在于，包括如下步骤：
步骤1，输入低分辨率人脸图像，对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块
步骤2，对于输入的低分辨率人脸图像中每个图像块，取低分辨率训练集中每个低分辨率人脸样本图像相应位置的图像块作为样本点，建立低分辨率人脸样本块空间，计算在低分辨率人脸样本块空间上的                                                
Figure 187058DEST_PATH_IMAGE001
个最近的投影点；
步骤3，对于输入的低分辨率人脸图像中每个图像块，使用步骤2所得低分辨率人脸样本块空间上的
Figure 840893DEST_PATH_IMAGE001
个最近的投影点进行线性重构，得到线性重构的权重系数；
步骤4，对于输入的低分辨率人脸图像中每个图像块，取高分辨率训练集中每个高分辨率人脸样本图像相应位置的图像块作为样本点，建立高分辨率人脸样本块空间，计算在高分辨率人脸样本块空间上与步骤2所得低分辨率人脸样本块空间上的
Figure 423927DEST_PATH_IMAGE001
个最近的投影点分别对应的
Figure 137806DEST_PATH_IMAGE001
个样本点；
步骤5，将步骤2所得低分辨率人脸样本块空间上的个最近的投影点，替换为步骤4所得高分辨率人脸样本块空间上的
Figure 437386DEST_PATH_IMAGE001
个样本点，使用步骤3所得权重系数，加权重构出高分辨率的图像块；
步骤6，将所有加权重构出的高分辨率的图像块按照位置叠加，然后除以每个像素位置交叠的次数，重构出高分辨率人脸图像。
而且，设输入的低分辨率人脸图像
Figure 815540DEST_PATH_IMAGE002
、高分辨率训练集
Figure 700319DEST_PATH_IMAGE003
和低分辨率训练集分别划分相互重叠的图像块后，所构成的图像块集分别为
Figure 228570DEST_PATH_IMAGE005
、
Figure 959765DEST_PATH_IMAGE006
和
Figure 953129DEST_PATH_IMAGE007
，其中，标识
Figure 268310DEST_PATH_IMAGE008
表示高分辨率训练集中高分辨率人脸样本图像的序号和低分辨率训练集中低分辨率人脸样本图像的序号，标识
Figure 208585DEST_PATH_IMAGE009
表示每张图像上的块位置序号，N为低辨率训练集中低分辨率人脸样本图像的个数和高辨率训练集中高分辨率人脸样本图像的个数，M为每幅图像划分图像块的块数；
步骤2中，对低分辨率人脸图像中第
Figure 292822DEST_PATH_IMAGE010
个图像块
Figure 519404DEST_PATH_IMAGE011
，计算在低分辨率人脸样本块空间上的K个最近的投影点包括以下步骤，
步骤2.1，分别提取高分辨率训练集中高分辨率人脸样本图像和低分辨率训练集中低分辨率人脸样本图像的第个图像块，形成高分辨率训练图像块集合
Figure 947789DEST_PATH_IMAGE012
和低分辨率训练图像块集合
Figure 387998DEST_PATH_IMAGE013
；
步骤2.2，从低分辨率训练图像块集合
Figure 988743DEST_PATH_IMAGE014
中选出与图像块
Figure 12938DEST_PATH_IMAGE011
欧氏距离最近的
Figure 544282DEST_PATH_IMAGE015
个图像块，形成筛选后的低分辨率训练图像块集合
Figure 340462DEST_PATH_IMAGE016
，
Figure 174426DEST_PATH_IMAGE017
表示图像块的邻域集合，
Figure 132204DEST_PATH_IMAGE018
表示邻域集合
Figure 45540DEST_PATH_IMAGE017
中图像块的个数；
步骤2.3，将筛选后的低分辨率训练图像块集合
Figure 50405DEST_PATH_IMAGE019
中所有图像块作为样本点两两相连，形成
Figure 488339DEST_PATH_IMAGE020
条特征线，构成的特征线集合表示成
Figure 236852DEST_PATH_IMAGE021
，其中
Figure 506160DEST_PATH_IMAGE022
和
Figure 183391DEST_PATH_IMAGE023
为低分辨率训练图像块集合中的两个样本点， 
Figure 395247DEST_PATH_IMAGE024
为连接样本点
Figure 784640DEST_PATH_IMAGE022
和
Figure 865728DEST_PATH_IMAGE023
生成的特征线；
步骤2.4，计算图像块
Figure 714473DEST_PATH_IMAGE011
在特征线集合
Figure 804789DEST_PATH_IMAGE025
中所有特征线上的投影点，构成投影集合，  
Figure 64793DEST_PATH_IMAGE027
，其中，表示图像块在特征线上的投影点，
Figure 881384DEST_PATH_IMAGE029
为位置参数，
Figure 813043DEST_PATH_IMAGE030
；
步骤2.5，计算图像块
Figure 307479DEST_PATH_IMAGE011
到特征线集合
Figure 152069DEST_PATH_IMAGE025
中所有特征线的距离，通过求取图像块
Figure 11441DEST_PATH_IMAGE011
与投影点
Figure 181129DEST_PATH_IMAGE028
的距离实现，距离，其中，
Figure 224357DEST_PATH_IMAGE032
表示图像块
Figure 192313DEST_PATH_IMAGE011
到投影点
Figure 350762DEST_PATH_IMAGE028
的欧氏距离；
步骤2.6，根据步骤2.5所得图像块
Figure 626148DEST_PATH_IMAGE011
到特征线集合
Figure 553652DEST_PATH_IMAGE025
中所有特征线的距离，查找
Figure 692510DEST_PATH_IMAGE001
个距离最小的投影点
Figure 338255DEST_PATH_IMAGE028
，构成集合 
Figure 915866DEST_PATH_IMAGE033
，其中，
Figure 219850DEST_PATH_IMAGE034
为
Figure 591926DEST_PATH_IMAGE001
个距离最小的投影点
Figure 662650DEST_PATH_IMAGE028
的下标号
Figure 778373DEST_PATH_IMAGE035
所构成的集合，集合
Figure 618154DEST_PATH_IMAGE036
为图像块
Figure 161130DEST_PATH_IMAGE011
在低分辨率人脸样本块空间上的
Figure 719151DEST_PATH_IMAGE001
个最近的投影点；
步骤4中，对低分辨率人脸图像中第
Figure 874451DEST_PATH_IMAGE010
个图像块
Figure 568737DEST_PATH_IMAGE011
，计算在高分辨率人脸样本块空间
Figure 548195DEST_PATH_IMAGE037
上与步骤2所得低分辨率人脸样本块空间上的
Figure 327932DEST_PATH_IMAGE001
个最近的投影点分别对应的
Figure 785458DEST_PATH_IMAGE001
个样本点
Figure 599830DEST_PATH_IMAGE038
时采用的公式如下，
Figure 484609DEST_PATH_IMAGE039
，
其中，
Figure 751643DEST_PATH_IMAGE040
为高分辨率人脸样本块空间
Figure 511395DEST_PATH_IMAGE037
中与低分辨率图像块
Figure 242591DEST_PATH_IMAGE041
相同序号的图像块，为高分辨率人脸样本块空间
Figure 52601DEST_PATH_IMAGE037
中与低分辨率图像块
Figure 789613DEST_PATH_IMAGE043
相同序号的图像块，
Figure 375315DEST_PATH_IMAGE044
为步骤2.4所得在
Figure 610566DEST_PATH_IMAGE045
,
Figure 885690DEST_PATH_IMAGE046
时的取值，
Figure 591478DEST_PATH_IMAGE047
，
Figure 988961DEST_PATH_IMAGE034
为步骤2.6所得低分辨率人脸样本块空间中与图像块
Figure 780199DEST_PATH_IMAGE011
Figure 859014DEST_PATH_IMAGE001
个最近的投影点
Figure 917843DEST_PATH_IMAGE028
的下标号
Figure 689490DEST_PATH_IMAGE035
所构成的集合，其中
Figure 702446DEST_PATH_IMAGE022
和为低分辨率训练图像块集合
Figure 999752DEST_PATH_IMAGE019
中的两个样本点；
计算所得
Figure 4617DEST_PATH_IMAGE001
个样本点
Figure 442551DEST_PATH_IMAGE038
构成集合，集合 
Figure 899520DEST_PATH_IMAGE048
为高分辨率人脸样本块空间上与步骤2所得低分辨率人脸样本块空间上的个最近的投影点分别对应的
Figure 517DEST_PATH_IMAGE001
个样本点。
而且，步骤3中，通过求解线性方程
Figure 287142DEST_PATH_IMAGE049
得到权重系数，
其中，
Figure 695306DEST_PATH_IMAGE051
，
Figure 107833DEST_PATH_IMAGE052
为图像块
Figure 696684DEST_PATH_IMAGE011
的局部格拉姆矩阵，
Figure 878267DEST_PATH_IMAGE053
是
Figure 130257DEST_PATH_IMAGE001
维的全1向量，为
Figure 658507DEST_PATH_IMAGE055
的矩阵，
Figure 960175DEST_PATH_IMAGE056
为图像块
Figure 383066DEST_PATH_IMAGE011
中像素的个数，
Figure 770185DEST_PATH_IMAGE054
的每一列元素由图像块
Figure 703768DEST_PATH_IMAGE011
在低分辨率人脸样本块空间上的
Figure 656681DEST_PATH_IMAGE001
个最近的投影点构成。
 本发明提出的一种基于最近特征线流形学习的人脸图像超分辨率方法，利用最近特征线可以把样本空间中任意两个特征点扩充为特征线上的无数多个特征样本点这一特性，有效扩充了原始样本的表达能力；利用最近特征线准则来定义样本点之间的邻域关系，正确揭示高分辨率和低分辨率人脸流形空间内在结构相似性；先对原始样本空间进行筛选，再利用特征线方法对其分析，既增强了样本对输入查询点的表达能力，又降低了运算复杂度。通过保持相对传统基于流形学习方法更小局部内的线性关系来揭示高低分辨率人脸流形空间的非线性关系，体现了流形学习的本质。
附图说明
图1为本发明实施例的流程图。
图2 为人脸图像划分方法。
图3为本发明实施例的特征点、投影点和特征线的示意图。
图4为传统流形学习方法示意图。
图5为本发明中基于最近特征线流形学习方法示意图。
图6为本发明与现有技术方法的PSNR值对比示意图。
具体实施方式   
       本发明技术方案可采用软件技术实现自动流程运行。下面结合附图和实施例对本发明技术方案进一步详细说明。参见图1，本发明实施例具体步骤为：
步骤1，输入低分辨率人脸图像，对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块。低分辨率训练集和高分辨率训练集提供预先设定的训练样本对，低分辨率训练集中包含低分辨率人脸样本图像，高分辨率训练集中包含高分辨率人脸样本图像。实施例中，所有图像的像素大小为112×100。低分辨率训练集中每个低分辨率人脸样本图像由高分辨率训练集中的一个高分辨率人脸样本图像4倍Bicubic下采样后再4倍Bicubic上采样得到。低分辨率图像也是112×100，因此本发明所说的低分辨率不是严格意义下的低分辨率，只是图像边缘相对模糊，细节特征不够丰富。
对输入的低分辨率人脸图像、低分辨率人脸样本图像以及高分辨率人脸样本图像按照同样的划分方式划分相互重叠的图像块。具体如何重叠属于现有技术，为便于实施参考起见，提供实施例进行重叠划分的具体说明：如图2所示，以待划分人脸图像左上方为起点，每次选取一个大小为s×s（单位：像素）的图像块，使图像块的上方和左方与已划分部分（图中阴影部分）有o个像素交叠（图像块位于待划分人脸图像的上边边缘或者左边边缘时除外）。当图像块超出图像的右边（下边）边缘时，以图像右边（下边）边缘为界，向左（上）移动图像块至图像块的右边（下边）边缘与待划分人脸图像的右边（下边）边缘重合。
实施例中，设输入的低分辨率人脸图像
Figure 453736DEST_PATH_IMAGE002
、高分辨率训练集和低分辨率训练集
Figure 298381DEST_PATH_IMAGE004
。即低分辨率训练集
Figure 371379DEST_PATH_IMAGE004
中包含低分辨率人脸样本图像
Figure 339335DEST_PATH_IMAGE057
，高分辨率训练集
Figure 996319DEST_PATH_IMAGE003
中包含高分辨率人脸样本图像
Figure 707923DEST_PATH_IMAGE058
，
Figure 635428DEST_PATH_IMAGE059
。低分辨率训练集中低分辨率人脸样本图像的个数和高分辨率训练集中高分辨率人脸样本图像的个数相同，都为N。实施例将低分辨率人脸样本图像和高分辨率人脸样本图像对应编号，即低分辨率人脸样本图像
Figure 774285DEST_PATH_IMAGE057
是高分辨率人脸样本图像
Figure 420030DEST_PATH_IMAGE058
通过4倍Bicubic下采样后再4倍Bicubic上采样得到的结果。
按照同样的划分方式，将低分辨率人脸图像
Figure 669746DEST_PATH_IMAGE002
、高分辨率训练集
Figure 717336DEST_PATH_IMAGE003
和低分辨率训练集
Figure 27095DEST_PATH_IMAGE004
划分相互重叠的图像块后，所构成的图像块集分别记为
Figure 661601DEST_PATH_IMAGE005
、
Figure 777324DEST_PATH_IMAGE006
和
Figure 617104DEST_PATH_IMAGE007
。其中，标识
Figure 97764DEST_PATH_IMAGE008
既用于表示高分辨率训练集中高分辨率人脸样本图像的序号，也表示低分辨率训练集中低分辨率人脸样本图像的序号。标识
Figure 452522DEST_PATH_IMAGE009
表示每张图像上的块位置序号。每幅图像划分图像块的块数均为M，根据图像块的大小和交叠像素的多少得到，
Figure 932789DEST_PATH_IMAGE060
，high和width分别为待划分人脸图像的高和宽（单位：像素），返回大于或者等于
Figure 340953DEST_PATH_IMAGE062
的最小整数。
步骤2，对于输入的低分辨率人脸图像中每个图像块，取低分辨率训练集中每个低分辨率人脸样本图像相应位置的图像块作为样本点，建立低分辨率人脸样本块空间，计算在低分辨率人脸样本块空间上
Figure 386270DEST_PATH_IMAGE001
个最近的投影点。
对于输入的低分辨率人脸图像中每个图像块，计算它在低分辨率人脸样本块空间上
Figure 843796DEST_PATH_IMAGE001
个最近的投影点（将每一个图像块看作高维空间中的一个样本点），下面以输入的低分辨率人脸图像中第
Figure 392589DEST_PATH_IMAGE010
个图像块
Figure 542948DEST_PATH_IMAGE011
进行说明，。
步骤2中，对低分辨率人脸图像中第
Figure 572663DEST_PATH_IMAGE010
个图像块
Figure 975962DEST_PATH_IMAGE011
，计算在低分辨率人脸样本块空间上
Figure 297222DEST_PATH_IMAGE001
个最近的投影点包括以下步骤，
步骤2.1，分别提取高分辨率训练集中高分辨率人脸样本图像和低分辨率训练集中低分辨率人脸样本图像的第
Figure 51552DEST_PATH_IMAGE010
个图像块，形成高分辨率训练图像块集合
Figure 850880DEST_PATH_IMAGE012
和低分辨率训练图像块集合；
步骤2.2，从低分辨率训练图像块集合
Figure 866427DEST_PATH_IMAGE014
中选出与图像块欧氏距离最近的
Figure 944028DEST_PATH_IMAGE015
个图像块（即
Figure 649816DEST_PATH_IMAGE015
个最近的样本），形成筛选后的低分辨率训练图像块集合
Figure 984982DEST_PATH_IMAGE016
，
Figure 776221DEST_PATH_IMAGE017
表示图像块
Figure 855035DEST_PATH_IMAGE011
的邻域集合，
Figure 415329DEST_PATH_IMAGE018
表示领域集合
Figure 921397DEST_PATH_IMAGE017
中图像块的个数；
步骤2.3，将筛选后的低分辨率训练图像块集合
Figure 701397DEST_PATH_IMAGE019
中所有图像块作为样本点两两相连，形成
Figure 583902DEST_PATH_IMAGE020
条特征线，构成的特征线集合表示成
Figure 998703DEST_PATH_IMAGE021
，其中
Figure 3568DEST_PATH_IMAGE022
和
Figure 441502DEST_PATH_IMAGE023
为低分辨率训练图像块集合
Figure 924436DEST_PATH_IMAGE019
中的两个样本点， 
Figure 397006DEST_PATH_IMAGE024
为连接样本点
Figure 805728DEST_PATH_IMAGE022
和
Figure 730959DEST_PATH_IMAGE023
生成的特征线；
步骤2.4，图像块作为特征点，计算图像块
Figure 344660DEST_PATH_IMAGE011
在特征线集合
Figure 691328DEST_PATH_IMAGE025
中所有特征线上的投影点，构成投影集合
Figure 103854DEST_PATH_IMAGE026
， 
Figure 928591DEST_PATH_IMAGE027
，其中，
Figure 110174DEST_PATH_IMAGE028
表示图像块
Figure 129207DEST_PATH_IMAGE011
在特征线
Figure 29030DEST_PATH_IMAGE024
上的投影点，
Figure 657458DEST_PATH_IMAGE029
为位置参数，，特征点
Figure 382017DEST_PATH_IMAGE011
、投影点
Figure 831453DEST_PATH_IMAGE028
和特征线
Figure 935675DEST_PATH_IMAGE024
可参见图3；
步骤2.5，计算图像块
Figure 676140DEST_PATH_IMAGE011
到特征线集合
Figure 473194DEST_PATH_IMAGE025
中所有特征线的距离，通过求取图像块
Figure 144347DEST_PATH_IMAGE011
与投影点
Figure 317840DEST_PATH_IMAGE028
的距离实现，距离
Figure 390838DEST_PATH_IMAGE031
，其中，
Figure 358794DEST_PATH_IMAGE032
表示图像块到投影点
Figure 527049DEST_PATH_IMAGE028
的欧氏距离；
步骤2.6，根据步骤2.5所得图像块
Figure 720133DEST_PATH_IMAGE011
到特征线集合
Figure 858991DEST_PATH_IMAGE025
中所有特征线的距离，查找个距离最小的投影点
Figure 754451DEST_PATH_IMAGE028
，构成集合 ，其中，
Figure 672652DEST_PATH_IMAGE034
为个距离最小的投影点
Figure 859100DEST_PATH_IMAGE028
的下标号
Figure 698880DEST_PATH_IMAGE035
所构成的集合，集合为图像块
Figure 534298DEST_PATH_IMAGE011
在低分辨率人脸样本块空间上个最近的投影点。
步骤3，对于输入的低分辨率人脸图像中每个图像块，使用步骤2所得低分辨率人脸样本块空间上
Figure 147999DEST_PATH_IMAGE001
个最近的投影点进行线性重构，得到线性重构的权重系数。
实施例用步骤2得到的图像块在低分辨率人脸样本块空间上
Figure 408658DEST_PATH_IMAGE001
个最近的投影点
Figure 866184DEST_PATH_IMAGE064
线性合成，就是要最小化重建误差
Figure 565336DEST_PATH_IMAGE065
，
Figure 894686DEST_PATH_IMAGE066
，即为投影点
Figure 57738DEST_PATH_IMAGE068
对应的权重系数。
Figure 316681DEST_PATH_IMAGE047
构成的向量即权重系数
Figure 867748DEST_PATH_IMAGE069
。
为了求解权重系数，引入图像块
Figure 456041DEST_PATH_IMAGE011
的局部格拉姆（Gram）矩阵：
Figure 682623DEST_PATH_IMAGE070
其中，
Figure 924249DEST_PATH_IMAGE053
是
Figure 28733DEST_PATH_IMAGE001
维的全1向量，为
Figure 69687DEST_PATH_IMAGE055
的矩阵（
Figure 533030DEST_PATH_IMAGE056
为块图像
Figure 939740DEST_PATH_IMAGE011
中像素的个数），
Figure 437718DEST_PATH_IMAGE054
的每一列元素由图像块
Figure 6102DEST_PATH_IMAGE011
的最近的投影点构成，最近的投影点即集合中的所有投影点。因此，最小化目标函数有如下形式闭解：
Figure 665678DEST_PATH_IMAGE071
。在实际的计算中，通常采用一个更快速的方法，即求解线性方程
Figure 80478DEST_PATH_IMAGE049
。
步骤4，对于输入的低分辨率人脸图像中每个图像块，取高分辨率训练集中每个高分辨率人脸样本图像相应位置的图像块作为样本点，建立高分辨率人脸样本块空间，计算在高分辨率人脸样本块空间上与步骤2所得低分辨率人脸样本块空间上的
Figure 757447DEST_PATH_IMAGE001
个最近的投影点分别对应的
Figure 257699DEST_PATH_IMAGE001
个样本点。
实施例计算高分辨率空间
Figure 943895DEST_PATH_IMAGE001
个最近的投影点，
Figure 213202DEST_PATH_IMAGE039
，其中
Figure 326652DEST_PATH_IMAGE044
为
Figure 815664DEST_PATH_IMAGE030
在
Figure 39972DEST_PATH_IMAGE045
,
Figure 429365DEST_PATH_IMAGE046
时的取值。
其中，
Figure 713716DEST_PATH_IMAGE040
为高分辨率人脸样本块空间
Figure 922981DEST_PATH_IMAGE037
中与低分辨率图像块
Figure 950979DEST_PATH_IMAGE041
相同序号（序号均为a）的图像块，
Figure 194879DEST_PATH_IMAGE042
为高分辨率人脸样本块空间
Figure 650131DEST_PATH_IMAGE037
中与低分辨率图像块
Figure 110806DEST_PATH_IMAGE043
相同序号（序号均为b）的图像块，
Figure 739233DEST_PATH_IMAGE044
为步骤2.4所得在
Figure 463793DEST_PATH_IMAGE045
,时的取值，
Figure 17451DEST_PATH_IMAGE047
，
Figure 173626DEST_PATH_IMAGE034
为步骤2.6所得低分辨率人脸样本块空间中与图像块
Figure 143298DEST_PATH_IMAGE001
个最近的投影点
Figure 113528DEST_PATH_IMAGE028
的下标号
Figure 124210DEST_PATH_IMAGE035
所构成的集合，其中
Figure 154482DEST_PATH_IMAGE022
和
Figure 250614DEST_PATH_IMAGE023
为低分辨率训练图像块集合中的两个样本点。计算所得
Figure 155302DEST_PATH_IMAGE001
个样本点
Figure 855012DEST_PATH_IMAGE038
构成集合
Figure 172861DEST_PATH_IMAGE048
，即集合 
Figure 750473DEST_PATH_IMAGE048
为高分辨率人脸样本块空间上与步骤2所得低分辨率人脸样本块空间上的
Figure 798063DEST_PATH_IMAGE001
个最近的投影点分别对应的
Figure 107822DEST_PATH_IMAGE001
个样本点。
步骤5，将步骤2所得低分辨率人脸样本块空间上
Figure 975283DEST_PATH_IMAGE001
个最近的投影点，替换为步骤4所得高分辨率人脸样本块空间上
Figure 28690DEST_PATH_IMAGE001
个样本点，使用步骤3所得权重系数，加权重构出高分辨率的图像块。
实施例重构出高分辨率的图像块公式如下：
Figure 432252DEST_PATH_IMAGE072
其中，
Figure 912912DEST_PATH_IMAGE073
为对对低分辨率人脸图像中第
Figure 533249DEST_PATH_IMAGE010
个图像块加权重构出的高分辨率的图像块。
步骤6，将所有加权重构出的高分辨率的图像块按照位置叠加，然后除以每个像素位置交叠的次数，重构出高分辨率人脸图像。
本发明实施例中涉及四个参数，即最近投影点数
Figure 146950DEST_PATH_IMAGE001
和预筛选块个数
Figure 798511DEST_PATH_IMAGE015
，以及高分辨率人脸图像块和低分辨率人脸图像块大小和块之间交叠的像素。实验表明，当取3~7时，重构效果最好。根据方法要求，在确定
Figure 35774DEST_PATH_IMAGE015
的值时，既要考虑所选出样本的表达能力，又要考虑方法的复杂度，
Figure 410999DEST_PATH_IMAGE015
的取值不能太大。实验表明，当
Figure 295778DEST_PATH_IMAGE015
=25~35时，可以获得较好的重构效果。参照文献5和文献7中参数设置的方法，将高分辨率人脸图像块和低分辨率人脸图像块的大小s设为7×7，交叠像素个数o设为4。具体实施时，可以通过调节对比方法的参数，使对比方法的重构效果达到最佳。
本发明针对在欠采样(训练样本数目有限)的条件下，传统基于流形学习的人脸图像超分辨率方法无法正确揭示高分辨率人脸图像和低分辨率人脸图像流形空间之间的相似局部几何结构的问题，首次将最近特征线思想引入到人脸图像超分辨率的流形学习中，提出一种基于最近特征线流形学习的人脸图像超分辨方法。利用最近特征线来扩充原始人脸图像样本的表达能力和定义样本点之间的邻域关系，以保持人脸图像块的流形结构于很小的局部为目标，揭示高分辨率人脸图像和低分辨率人脸图像流形之间的局部相似结构特征，体现了流形学习局部邻域结构保持的本质。对基于最近特征线流形学习方法和基于传统流形学习方法的局部保持方式进行对比，图4为传统流形学习的方法，图5为本发明中基于最近特征线流形学习的方法：空心圆点表示查询点
Figure 562811DEST_PATH_IMAGE062
，实心圆点、
Figure 492907DEST_PATH_IMAGE075
、
Figure 548588DEST_PATH_IMAGE076
、
Figure 302917DEST_PATH_IMAGE077
、
Figure 869290DEST_PATH_IMAGE078
、
Figure 392675DEST_PATH_IMAGE079
、
Figure 619257DEST_PATH_IMAGE080
和
Figure 860883DEST_PATH_IMAGE081
为样本空间
Figure 463902DEST_PATH_IMAGE082
的
Figure 841794DEST_PATH_IMAGE083
个样本点。在图4中，
Figure 504857DEST_PATH_IMAGE074
、
Figure 529051DEST_PATH_IMAGE075
和
Figure 873445DEST_PATH_IMAGE076
为查询点
Figure 168160DEST_PATH_IMAGE062
的
Figure 939807DEST_PATH_IMAGE084
个最近样本点；在图5中，、
Figure 835268DEST_PATH_IMAGE075
、
Figure 250068DEST_PATH_IMAGE076
、和
Figure 194333DEST_PATH_IMAGE078
为样本空间
Figure 880529DEST_PATH_IMAGE082
中筛选出的
Figure 149836DEST_PATH_IMAGE085
个与
Figure 263286DEST_PATH_IMAGE062
近邻的样本点，
Figure 250834DEST_PATH_IMAGE086
、
Figure 475142DEST_PATH_IMAGE087
和
Figure 864535DEST_PATH_IMAGE088
为查询点
Figure 467596DEST_PATH_IMAGE062
的
Figure 880122DEST_PATH_IMAGE001
个最近投影点。基于最近特征线流形学习方法是以保持更小局部（半径
Figure 970438DEST_PATH_IMAGE089
）内的几何结构特征，来提示人脸流形空间的非线性关系，它更加体现了流形学习局部邻域结构保持这一思想的本质。
为了验证本发明的有效性，采用CAS-PEAL-R1大规模中国人脸数据库（文献8：W.Gao, B.Cao, S.Shan, X.Chen, et al. The CAS-PEAL Large-Scale Chinese Face Database and Baseline Evaluations [J]. IEEE Trans. SMC (Part A), 2008, 38 (1): 149-161）进行实验，选用所有1040个个体的中性表情、正常光照下的正面人脸图像。抠取人脸区域并将其裁剪成112×100像素，再手工标定人脸上的五个特征点（两眼中心、鼻尖和两个嘴角）并进行仿射变换对齐，得到原始的高分辨率人脸图像。低分辨率人脸图像由高分辨率人脸图像4倍Bicubic下采样后再4倍Bicubic上采样得到。随机选择1000张作为训练样本，将剩余40张作为测试图像。本发明得到的重构效果与经典流形学习方法（文献6方法）、目前文献报道中最好的流形学习方法（文献7方法）得到的重构效果对比可以看出，文献6方法重构的结果有很明显的人工痕迹，而且在轮廓部分存在不同程度的“鬼影”。这主要是因为文献6方法在特征空间中来寻求高低分辨率人脸图像样本的关系来合成全局脸，从而丢失了过多的细节信息。进一步观察人脸图像的细节就会发现，本发明方法重构结果具有更加清晰的人脸边缘轮廓和更多的局部特征细节，而文献7方法重构的人脸比较平滑且在轮廓部分不够清晰，原因在于文献7虽然在其方法第二步运用流形学习方法进行了残差脸补偿，但它只是在一个更大的“局部”来保持高分辨率人脸图像和低分辨率人脸图像流形的几何特征，在合成高分辨率块时会产生很大误差，主要表现为局部边缘的重影和毛刺现象。
计算所有40幅测试人脸重构效果的客观PSNR值盒图，如图6，图中从左至右分别为Bicubic算法所得PSNR值，文献6方法所得PSNR值，文献7方法所得PSNR值和本发明所得结果的PSNR值，单位为dB。可以看出，与普通插值方法（Bicubic插值）相比，文献6方法、文献7方法和本发明方法的重构结果的峰值信噪比（Peak Signal to Noise Ratio，PSNR）均有明显的提升。本发明方法重构结果的平均PSNR值比文献6和文献7的方法分别高出2.6dB和1.4dB。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (2)

1.一种基于最近特征线流形学习的人脸图像超分辨率方法，其特征在于，包括如下步骤：
步骤1，输入低分辨率人脸图像，对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块；
步骤2，对于输入的低分辨率人脸图像中每个图像块，取低分辨率训练集中每个低分辨率人脸样本图像相应位置的图像块作为样本点，建立低分辨率人脸样本块空间，计算在低分辨率人脸样本块空间上的K个最近的投影点；
步骤3，对于输入的低分辨率人脸图像中每个图像块，使用步骤2所得低分辨率人脸样本块空间上的K个最近的投影点进行线性重构，得到线性重构的权重系数；
步骤4，对于输入的低分辨率人脸图像中每个图像块，取高分辨率训练集中每个高分辨率人脸样本图像相应位置的图像块作为样本点，建立高分辨率人脸样本块空间，计算在高分辨率人脸样本块空间上与步骤2所得低分辨率人脸样本块空间上的K个最近的投影点分别对应的K个样本点；
步骤5，将步骤2所得低分辨率人脸样本块空间上的K个最近的投影点，替换为步骤4所得高分辨率人脸样本块空间上的K个样本点，使用步骤3所得权重系数，加权重构出高分辨率的图像块；
步骤6，将所有加权重构出的高分辨率的图像块按照位置叠加，然后除以每个像素位置交叠的次数，重构出高分辨率人脸图像；
设输入的低分辨率人脸图像xt、高分辨率训练集
Figure FDA00002813587100011
和低分辨率训练集
Figure FDA00002813587100012
分别划分相互重叠的图像块后，所构成的图像块集分别为
Figure FDA00002813587100013
Figure FDA00002813587100014
和
Figure FDA00002813587100015
其中，标识i表示高分辨率训练集中高分辨率人脸样本图像的序号和低分辨率训练集中低分辨率人脸样本图像的序号，标识j表示每张图像上的块位置序号，N为低辨率训练集中低分辨率人脸样本图像的个数和高辨率训练集中高分辨率人脸样本图像的个数，M为每幅图像划分图像块的块数；
步骤2中，对低分辨率人脸图像中第q个图像块
Figure FDA00002813587100016
计算在低分辨率人脸样本块空间上的K个最近的投影点包括以下步骤，
步骤2.1，分别提取高分辨率训练集中高分辨率人脸样本图像和低分辨率训练集中低分辨率人脸样本图像的第q个图像块，形成高分辨率训练图像块集合
Figure FDA00002813587100021
和低分辨率训练图像块集合
Figure FDA00002813587100022
步骤2.2，从低分辨率训练图像块集合Lq中选出与图像块
Figure FDA00002813587100023
欧氏距离最近的K'个图像块，形成筛选后的低分辨率训练图像块集合 L K ′ q = { x i q | x i q ∈ C ( x t q ) , | C ( x t q ) | = K ′ } ,
Figure FDA00002813587100025
表示图像块
Figure FDA00002813587100026
的邻域集合，
Figure FDA00002813587100027
表示邻域集合
Figure FDA00002813587100028
中图像块的个数；
步骤2.3，将筛选后的低分辨率训练图像块集合
Figure FDA00002813587100029
中所有图像块作为样本点两两相连，形成 C K &prime; 2 = K &prime; ( K &prime; - 1 ) 2 条特征线，构成的特征线集合表示成 L L q = { x i 1 q x i 2 q &OverBar; | 1 &le; i 1 < i 2 &le; N } , 其中
Figure FDA000028135871000212
和
Figure FDA000028135871000213
为低分辨率训练图像块集合
Figure FDA000028135871000214
中的两个样本点，
Figure FDA000028135871000215
为连接样本点
Figure FDA000028135871000216
和
Figure FDA000028135871000217
生成的特征线；
步骤2.4，计算图像块
Figure FDA000028135871000218
在特征线集合
Figure FDA000028135871000219
中所有特征线上的投影点，构成投影集合 L P q = { x i 1 , i 2 q | 1 &le; i 1 < i 2 &le; N } , x i 1 , i 2 q = x i 1 q + u i 1 , i 2 q ( x i 1 q - x i 2 q ) , 其中，
Figure FDA000028135871000222
表示图像块在特征线
Figure FDA000028135871000224
上的投影点，
Figure FDA000028135871000225
为位置参数， u i 1 , i 2 q = ( x t q - x i 1 q ) ( x i 2 q - x i 1 q ) ( x i 2 q - x i 1 q ) ( x i 2 q - x i 1 q ) ;
步骤2.5，计算图像块
Figure FDA000028135871000227
到特征线集合
Figure FDA000028135871000228
中所有特征线的距离，通过求取图像块
Figure FDA000028135871000229
与投影点
Figure FDA000028135871000230
的距离实现，距离 d ( x t q , x i 1 q x i 2 q &OverBar; ) = | | x t q - x i 1 , i 2 q | | , 其中，
Figure FDA000028135871000232
表示图像块
Figure FDA000028135871000233
到投影点
Figure FDA000028135871000234
的欧氏距离；
步骤2.6，根据步骤2.5所得图像块
Figure FDA000028135871000235
到特征线集合
Figure FDA000028135871000236
中所有特征线的距离，查找K个距离最小的投影点构成集合其中，A(q)为K个距离最小的投影点
Figure FDA000028135871000239
的下标号i1,i2所构成的集合，集合
Figure FDA000028135871000240
为图像块
Figure FDA000028135871000241
在低分辨率人脸样本块空间上的K个最近的投影点；
步骤4中，对低分辨率人脸图像中第q个图像块
Figure FDA000028135871000242
计算在高分辨率人脸样本块空间Hq上与步骤2所得低分辨率人脸样本块空间上的K个最近的投影点分别对应的K个样本点
Figure FDA000028135871000243
时采用的公式如下，
y a , b q = y a q + u a , b q ( y a q - y b q ) ,
其中，
Figure FDA00002813587100031
为高分辨率人脸样本块空间Hq中与低分辨率图像块相同序号的图像块，
Figure FDA00002813587100033
为高分辨率人脸样本块空间Hq中与低分辨率图像块
Figure FDA00002813587100034
相同序号的图像块，
Figure FDA00002813587100035
为步骤2.4所得
Figure FDA00002813587100036
在i1=a,i2=b时的取值，(a,b)∈A(q)，A(q)为步骤2.6所得低分辨率人脸样本块空间中与图像块
Figure FDA00002813587100037
K个最近的投影点
Figure FDA00002813587100038
的下标号i1,i2所构成的集合，其中
Figure FDA00002813587100039
和为低分辨率训练图像块集合
Figure FDA000028135871000311
中的两个样本点；
计算所得K个样本点
Figure FDA000028135871000312
构成集合
Figure FDA000028135871000313
集合
Figure FDA000028135871000314
为高分辨率人脸样本块空间上与步骤2所得低分辨率人脸样本块空间上的K个最近的投影点分别对应的K个样本点。
2.根据权利要求1所述基于最近特征线流形学习的人脸图像超分辨率方法，其特征在于：步骤3中，通过求解线性方程GqWq=ones(K,1)得到权重系数Wq，
其中， G q = ( x t q ones ( K , 1 ) T - M P q ) T ( x t q ones ( K , 1 ) T - M P q ) , Gq为图像块的局部格拉姆矩阵，ones(K,1)是K维的全1向量，
Figure FDA000028135871000317
为
Figure FDA000028135871000318
的矩阵，
Figure FDA000028135871000319
为图像块中像素的个数，
Figure FDA000028135871000321
的每一列元素由图像块
Figure FDA000028135871000322
在低分辨率人脸样本块空间上的K个最近的投影点构成。
CN 201110421817 2011-12-16 2011-12-16 一种基于最近特征线流形学习的人脸图像超分辨率方法 Expired - Fee Related CN102402784B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110421817 CN102402784B (zh) 2011-12-16 2011-12-16 一种基于最近特征线流形学习的人脸图像超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110421817 CN102402784B (zh) 2011-12-16 2011-12-16 一种基于最近特征线流形学习的人脸图像超分辨率方法

Publications (2)

Publication Number Publication Date
CN102402784A CN102402784A (zh) 2012-04-04
CN102402784B true CN102402784B (zh) 2013-07-24

Family

ID=45884962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110421817 Expired - Fee Related CN102402784B (zh) 2011-12-16 2011-12-16 一种基于最近特征线流形学习的人脸图像超分辨率方法

Country Status (1)

Country Link
CN (1) CN102402784B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708556A (zh) * 2012-05-10 2012-10-03 武汉大学 一种基于反向图保持的单张图像超分辨率方法
CN103458154B (zh) * 2012-05-31 2016-03-30 北京大学 一种视频的超分辨率方法及装置
CN102982520B (zh) * 2012-12-05 2015-07-15 武汉大学 一种基于轮廓先验的鲁棒性人脸超分辨率处理方法
CN103208109B (zh) * 2013-04-25 2015-09-16 武汉大学 一种基于局部约束迭代邻域嵌入的人脸幻构方法
CN104063715B (zh) * 2014-06-30 2017-05-31 东南大学 一种基于最近邻特征线的人脸分类方法
CN104112147B (zh) * 2014-07-25 2018-12-21 哈尔滨工业大学深圳研究生院 一种基于最近特征线的人脸特征提取方法
CN107680037B (zh) * 2017-09-12 2020-09-29 河南大学 改进的基于最近特征线流形学习的人脸超分辨率重建方法
CN108171124B (zh) * 2017-12-12 2022-04-05 南京邮电大学 一种相似样本特征拟合的人脸图像清晰化方法
CN108335264B (zh) * 2018-01-30 2021-08-03 武汉大学 一种基于混合分辨率稀疏字典学习的图像超分辨率方法
CN108550114B (zh) * 2018-04-19 2022-03-15 福建师范大学 一种多尺度空间约束的人脸超分辨率处理方法及系统
CN111738370B (zh) * 2020-08-25 2020-11-17 湖南大学 本质流形结构的图像特征融合与聚类协同表达方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872472A (zh) * 2010-06-02 2010-10-27 中国科学院自动化研究所 一种基于样本学习的人脸图像超分辨率重建方法
CN101950415A (zh) * 2010-09-14 2011-01-19 武汉大学 一种基于形状语义模型约束的人脸超分辨率处理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872472A (zh) * 2010-06-02 2010-10-27 中国科学院自动化研究所 一种基于样本学习的人脸图像超分辨率重建方法
CN101950415A (zh) * 2010-09-14 2011-01-19 武汉大学 一种基于形状语义模型约束的人脸超分辨率处理方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Hong Chang, Dit-Yan Yeung, Yimin Xiong.Super-Resolution Through Neighbor Embedding.《Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition》.2004,275-282.
Super-Resolution Through Neighbor Embedding;Hong Chang, Dit-Yan Yeung, Yimin Xiong;《Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition》;20040702;277页第2.4节 *
低质量监控图像鲁棒性人脸超分辨率算法;兰诚栋 等;《计算机辅助设计与图形学学报》;20110930;第23卷(第9期);1474-1780 *
兰诚栋 等.低质量监控图像鲁棒性人脸超分辨率算法.《计算机辅助设计与图形学学报》.2011,第23卷(第9期),1474-1780.
兰诚栋 等.非负特征基约束的人脸超分辨率.《小型微型计算机系统》.2011,第32卷(第2期),344-347.
非负特征基约束的人脸超分辨率;兰诚栋 等;《小型微型计算机系统》;20110228;第32卷(第2期);344-347 *

Also Published As

Publication number Publication date
CN102402784A (zh) 2012-04-04

Similar Documents

Publication Publication Date Title
CN102402784B (zh) 一种基于最近特征线流形学习的人脸图像超分辨率方法
CN110706157B (zh) 一种基于身份先验生成对抗网络的人脸超分辨率重建方法
Bashir et al. A comprehensive review of deep learning-based single image super-resolution
Cai et al. FCSR-GAN: Joint face completion and super-resolution via multi-task learning
CN114757832B (zh) 基于交叉卷积注意力对抗学习的人脸超分辨方法和装置
Zhang et al. Hallucinating face in the DCT domain
CN110211045A (zh) 基于srgan网络的超分辨率人脸图像重建方法
CN113536990A (zh) 深度伪造人脸数据鉴别方法
CN113112416B (zh) 一种语义引导的人脸图像修复方法
CN101719270A (zh) 一种基于非负矩阵分解的人脸超分辨率处理方法
CN111626927B (zh) 采用视差约束的双目图像超分辨率方法、系统及装置
CN110490796B (zh) 一种高低频成分融合的人脸超分辨率处理方法及系统
Li et al. RGB-induced feature modulation network for hyperspectral image super-resolution
Zheng et al. T-net: Deep stacked scale-iteration network for image dehazing
CN113421186A (zh) 使用生成对抗网络的非监督视频超分辨率的设备和方法
CN112598604A (zh) 一种盲脸复原方法及系统
Muqeet et al. Hybrid residual attention network for single image super resolution
CN104504672A (zh) 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法
Karthick et al. Deep regression network for the single image super resolution of multimedia text image
Liu et al. Component semantic prior guided generative adversarial network for face super-resolution
Xu et al. Empowering Semantic Segmentation with Selective Frequency Enhancement and Attention Mechanism for Tampering Detection
CN111681168A (zh) 一种基于并行残差网络的低分辨率细胞超分辨率重建方法
CN102708556A (zh) 一种基于反向图保持的单张图像超分辨率方法
Xiu et al. Double discriminative face super-resolution network with facial landmark heatmaps
CN107481196B (zh) 基于最近特征线的特征转换人脸超分辨率重建方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130724

Termination date: 20161216

CF01 Termination of patent right due to non-payment of annual fee