CN108550114A - 一种多尺度空间约束的人脸超分辨率处理方法及系统 - Google Patents
一种多尺度空间约束的人脸超分辨率处理方法及系统 Download PDFInfo
- Publication number
- CN108550114A CN108550114A CN201810354511.1A CN201810354511A CN108550114A CN 108550114 A CN108550114 A CN 108550114A CN 201810354511 A CN201810354511 A CN 201810354511A CN 108550114 A CN108550114 A CN 108550114A
- Authority
- CN
- China
- Prior art keywords
- resolution
- low
- image
- face image
- neighbour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 38
- 230000001815 facial effect Effects 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 22
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 claims description 6
- 238000011426 transformation method Methods 0.000 claims description 6
- 239000000047 product Substances 0.000 claims description 5
- 238000009795 derivation Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 239000013589 supplement Substances 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 6
- 238000012360 testing method Methods 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 abstract description 2
- 235000013399 edible fruits Nutrition 0.000 abstract 1
- 238000012876 topography Methods 0.000 abstract 1
- 238000011084 recovery Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种多尺度空间约束的人脸超分辨率处理方法及系统，方法步骤：S1：构建多尺度训练库；S2：根据输入的待测图像构建多尺度输入；S3：采用相同分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块；S4：对多尺度训练库预处理得到每一个数据点对应的局部关系；S5：为每一个尺度条件下的输入寻找锚点近邻；S6：通过锚点近邻和预处理局部关系确定待处理低分辨率人脸图像块的近邻索引集合；S7：确定近邻样本集合；S8：根据已有近邻集合和多尺度输入求出最佳近邻系数；S9：根据已有近邻集合和最佳近邻系数重建局部图像块结果；S10：拼接高分辨率人脸图像块。本发明可显著提高恢复图像的视觉感受，适用于低质量监控环境的人脸图像恢复。
Description
技术领域
本发明涉及图像处理和图像恢复技术领域，尤其涉及一种多尺度空间约束的人脸超分辨率处理方法及系统。
背景技术
人脸超分辨率技术是通过辅助训练库，学习高低分辨率对应关系，进而达到从已有的低分辨率人脸图像中估计出高分辨率人脸图像的目的。人脸超分辨率现在被广泛应用于多个领域，其中最具代表性的领域之一就是监控录像中的人脸图像增强。随着监控系统的广泛普及，监控视频在刑事取证和刑侦调查过程中发挥着越来越重要的作用。而人脸图像作为直接证据之一，在案件分析和法庭取证中占据着重要的位置。然而，由于图像捕获环境的限制，以监控环境为代表的实际条件中，目标嫌疑人的人脸有效像素低下，导致辨识过程和图像增强过程难度系数大大增加，因此需采用人脸超分辨率技术提升图像有效尺寸和有效分辨率，达到从低分辨率图像恢复到高分辨率图像的目的。
为达到监控视频人脸的有效恢复，改进算法甚至牺牲效率来换取算法的有效性和易用性还是很有必要的(人脸对齐、大图像库引起的)。具体做法除了引入有效计算工具和数据利用形式之外，还可以通过提出新的先验模型和图像模式为解决这种问题提供约束。
近年来，流形学习成为了人脸超分辨率的经典算法之一。这类方法的核心思想是：对高低分辨率两个样本空间，寻找出每个低分辨率图像数据点周围的局部性质，然后将低分辨率图像的流形局部性质非线性地映射到高分辨率图像的流形空间中，在高分辨率对应空间上做投影，从而合成高分辨图像。具有代表性的有以下几种方法：2004年，Chang[1]等首次将流形学习法引入图像超分辨率重构中，提出了一种邻域嵌入的图像超分辨率重构法。Sung Won Park[2]提出一种基于局部保持投影的自适应流形学习方法，从局部子流形分析人脸的内在特征，重构出低分辨率图像缺失的高频成分。2010年，Huang[4]提出基于CCA(Canonical Correlation Analysis，CCA)的方法，通过将PCA(Principal ComponentAnalysis，PCA) 空间延伸至CCA空间，进一步解决了这个问题。同年，Lan[5]针对监控环境下严重的模糊和噪声导致的图像像素损毁严重的问题，提出一种基于形状约束的人脸超分辨率方法，在传统PCA 架构中添加形状约束作为相似度度量准则，利用人眼睛识别形状时对干扰的鲁棒性来人工添加形状特征点作为约束，优化低质量图像的重建结果。综上所述，现有的这些方法大多仅按照传统的技术思路以待处理图像中残存的高频细节为局部关系的距离度量准则，忽略了在低质量图像中也能保存较为完整的中低频信息。因此虽然在重建一般环境下低质量图像的过程中，可以得到不错的效果，但是面对以监控为代表的严重噪声图像时，高频细节的损毁导致了这种以高频细节为主要考虑对象距离度量准则不再精确，严重影响了局部关系描述的精准程度，图像本身的子空间信息因此很容易遭到损坏，用传统方法恢复出来的图像，效果并不令人满意。
发明内容
本发明的目的在于克服现有技术的不足，提供一种多尺度空间约束的人脸超分辨率处理方法及系统，尤其适用于低质量监控视频中人脸图像的恢复。
本发明采用的技术方案是：
一种多尺度空间约束的人脸超分辨率处理方法，其包括以下步骤：
S1：构建包含高分辨率人脸图像库以及由该高分辨率人脸图像库生成的两种低分辨率人脸图像库的训练库，其中，质量下降过程较轻的低分辨率人脸图像库为中度低分辨率人脸图像库，质量下降过程更严重的低分辨率人脸图像库为重度低分辨率人脸图像库；
S2：对待处理低分辨率人脸图像进一步下采样，获得待处理低分辨率人脸图像的重度待处理低分辨率人脸图像；
S3：对待处理低分辨率人脸图像、重度待处理低分辨率人脸图像以及训练库中的所有人脸图像采用相同的分块方式划分具有交叠部分的图像块；其中，重度低分辨率人脸图像库的图像块组成重度低分辨率训练块集合，中度低分辨率人脸图像库的图像块组成中度低分辨率训练块集合，高分辨率人脸图像库的图像块组成高分辨率训练块集合；各个训练块集的每一个图像块，均为完整人脸的对应分辨率图像中某相同特定位置、相同尺寸的图像块。
S4：在分块基础上，分别为高分辨率人脸图像库、中度低分辨率人脸图像库和重度低分辨率人脸图像库做预处理，具体过程为：
为高分辨率人脸图像库中每一个图像块，从高分辨率人脸图像库中相同位置的其他图像块中找到其最近的K个图像块，定义为该图像块的预处理近邻，并为每一个块存储预处理近邻的标号；
为中度低分辨率人脸图像库中每一个图像块，从中度低分辨率人脸图像库中相同位置的其他图像块中找到其最近的K个图像块，定义为该图像块的预处理近邻，并为每一个块存储预处理近邻的标号；
为重度低分辨率人脸图像库中每一个图像块，从重度低分辨率人脸图像库中相同位置的其他图像块中找到其最近的K个图像块，定义为该图像块的预处理近邻，并为每一个块存储预处理近邻的标号；
S5：对待处理低分辨率人脸图像的每一个图像块，在对应位置的中度低分辨率训练块集合中查找其最近邻块，称为第一直接锚点近邻块；对重度待处理低分辨率人脸图像每一块，在对应位置的重度低分辨率训练块集合中查找其最近邻块，称为第二直接锚点近邻块；
S6：利用对应关系分别从重度低分辨率训练块集合、中度低分辨率训练块集合中找到第一直接锚点近邻的对应块集的索引集合BN和第二直接锚点近邻块集的索引集合AN，二者相加得到输入待处理低分辨率人脸图像块的近邻索引集合Nall；
S7：根据近邻索引集合Nall，在中度低分辨率训练块集合、重度低分辨率训练块集合中分别取出近邻块集，分别记为其中i表示分块的标号，j的取值范围为j∈Nall；
S8：根据和两个近邻集合，和待处理低分辨率人脸图像块和重度待处理低分辨率人脸图像求出最佳近邻系数w，其中，表示重度低分辨率近邻块集，而表示中度低分辨率近邻块集，D是对角矩阵，赋值方式为单位阵与实数S的乘积，S为实数值；；
S9：根据最佳近邻系数，求出重建块
其中表示根据索引集合Nall在高分辨率训练块集合中取出的近邻块集，其中j∈Nall；
S10：拼接高分辨率人脸图像块得高分辨率人脸图像。
进一步地，步骤S1中将高分辨率人脸图像库中高分辨率人脸图像位置对齐，并进行降质处理，得对应的两种低分辨率人脸图像库，高分辨率人脸图像库和两种低分辨率人脸图像库构成训练库；且重度低分辨率人脸图像库的质量下降过程严重程度为中度低分辨率人脸图像库的2倍。
进一步地，步骤2中待处理低分辨率人脸图像与训练库中图像大小相同且位置对齐。
进一步地，所述位置对齐采用仿射变换法将进行位置对齐。
进一步地，步骤S3中图像块为边长为psize的正方形图像块。
进一步地，步骤S8具体为：
令中度和重度重建误差均达到最小，来约束最佳近邻系数w为最优，用公式表述为：
其中D是对角矩阵，赋值方式为单位阵与实数S的乘积，S为实数值，根据经验设置；
简化符号，上式可以重新写为：
令
用J对w求导并取零，即：得到：
进一步地，本发明还公开了一种多尺度空间约束的人脸超分辨率系统，其包括以下模块：
训练库构建模型：用来构建包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的训练库；
输入增补模块：用来为输入提供更小尺度的图像，以完成严重降质过程；
分块模块：用来采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块：所述的图像块为边长为psize的正方形图像块；
预处理模块：在分块基础上分别为高分辨率人脸图像库、中度和重度低分辨率人脸图像库做预处理，为各个库准备预处理的近邻关系；
锚点确定模块：为待处理低分辨率人脸图像，确定第一直接锚点近邻块和第二直接锚点近邻块；
索引集合确定模块：用来确定多尺度空间中，最终近邻的索引编号；
近邻确定模块：根据索引集合，取得三种尺度空间的近邻块集合；
近邻系数求取模块：通过已知的多个尺度数据，求得最佳的近邻权重系数；
高分辨率图像块生成模块：用来根据重建系数恢复图像块获得其对应的高分辨率人脸图像块
拼接模块：用来根据位置i拼接高分辨率人脸图像块得高分辨率人脸图像。
本发明采用以上技术方案，和现有技术相比，本发明具有以下优点和积极效果：
考虑到低质量图像中保存较为完整的中低频信息在重建中可以提供指导作用，这种指导作用随着严重降质过程的加入，相比较高频信息会更加鲁棒。通过这种跨尺度空间提供的中低频信息指导作用确定的低分辨率空间的局部流形关系为局部流形关系的备选样本池注入了新的样本，扩大了对目标样本的描述范围，使得重建的权重系数能够满足中低频特性和高频特性，比传统单独采用高频信息确定的局部范围相比，增加了选中潜在样本以形成准确局部流形关系的概率，比传统一对一的空间的流形假设，对于降质因素具有更强的鲁棒性，对于空间表达具有更强的稳固性和精确性。所以，本发明基于流形的超分辨率方法，引入跨尺度空间提供的中低频信息指导作为约束，通过对待处理图像块多重表达一致性的有效利用，来解决低质量环境下人脸图像的恢复缺乏真实性的问题，在主观质量上可显著提高恢复图像的视觉感受。
本发明具有普适性，对于一般的低质量人脸图像均可以取得较好的恢复效果；特别对于低质量监控环境下人脸图像的恢复，效果更加明显。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1为本发明一种多尺度空间约束的人脸超分辨率处理方法的流程示意图；
图2为本发明的人脸图像基于位置分块示意图。
具体实施方式
如图1或2所示，本发明利用更低质量的图像提供中低频信息，利用这一质量层次的低质量图像为常规低质量图像的恢复提供中低频信息组成的局部关系指导，用对低质量鲁棒的图像中低频信息增强图像块的准确表达和鲁棒性。本发明在基于局部嵌入的传统流形假设的人脸超分辨率算法中引入跨尺度空间的中低频样本约束关系，通过中低频样本约束关系对于待处理图像块进行多重局部关系表达，利用多重局部关系互补的局部关系为约束，增强图像块表征的一致性和噪声鲁棒性，提升恢复结果的客观质量和相似度。
下面将结合具体实施例和附图对本发明做进一步说明。
本发明面向监控环境下的极低质量人脸图像，采用多尺度空间约束图像块的表征。具体实施时，本发明技术方案可采用计算机软件技术实现自动运行流程。
如图1所示，本发明具体步骤如下：
S1：将高分辨率人脸图像库中高分辨率人脸图像位置对齐，得到高分辨率人脸库Tc。对高分辨率人脸库Tc中的图像进行降质处理得对应的低分辨率人脸图像，从而获得低分辨率人脸图像库Tb和Ta。
具体实施中，首先，将高分辨率人脸图像的眼睛和嘴巴位置对齐；然后，对高分辨率人脸图像依次进行下采样、模糊窗过滤、上采样，得到与高分辨率人脸图像对应的中度低分辨率人脸图像库Tb，在Tb基础上将下采样、模糊窗过滤、上采样的降质过程做一遍，得到重度低分辨率人脸图像库Ta。
为便于实施参考，下面将提供采用仿射变换法实现人脸图像对齐的具体过程：
对高分辨率人脸图像进行特征点标注，特征点为五官边缘点，例如眼角、鼻尖、嘴角等；然后，采用仿射变换法对齐特征点。
仿射变换法具体为：
将高分辨率人脸图像库Tc中所有人脸图像相加并除以样本数，得平均脸。设(x'i,y'i)为平均脸上第i个特征点坐标，(xi,yi)为待对齐的高分辨率人脸图像上对应的第i个特征点坐标。设仿射矩阵其中a、b、c、d、e、f为仿射变换系数，表示平均脸和待对齐的高分辨率人脸图像上第i个特征点坐标(x'i,y'i)和(xi,yi)间的关系，采用直接线性变换法求解仿射变换矩阵M。待对齐的高分辨率人脸图像所有坐标点与仿射矩阵 M相乘得到的坐标即对齐后的高分辨率人脸图像坐标。
对对齐后的高分辨率人脸图像做降质处理，例如，依次对高分辨率人脸图像下采样4倍、模糊窗过滤3*3、上采样4倍，得到与高分辨率人脸图像对应的低分辨率人脸图像，从而获得中度低分辨率人脸图像库Tb，重复该过程，获得重度低分辨率人脸图像库Ta。
高分辨率人脸图像库Tc和低分辨率人脸图像库Tb和Ta中人脸图像一一对应，构成高低分辨率人脸图像对。高分辨率人脸图像库Tc和低分辨率人脸图像库Tb和Ta构成训练库。
使待处理低分辨率人脸图像与训练库中图像大小相同，且位置对齐。
本发明是要对待处理低分辨率人脸图像xinput进行处理，估计出其对应的高分辨率人脸图像，将估计出的高分辨率人脸图像记为待估高分辨率人脸图像youtput。
待处理低分辨率人脸图像xinput通常是在含噪严重环境获得的低分辨率人脸图像。对于作为输入的待处理低分辨率人脸图像，一般要经过预处理，包括剪切出符合统一规定的人脸部分，即将待处理低分辨率人脸图像xinput进行上采样，使其与训练库中人脸图像大小相同。对待处理低分辨率人脸图像xinput进行特征点标注，最后采用步骤S1中记载的仿射变换法使待处理低分辨率人脸图像xinput与平均脸位置对齐。这样，使得训练库中人脸图像和待处理低分辨率人脸图像xinput在尺寸、眉毛高度处于相同的水平。若待处理低分辨率人脸图像xinput采集时光线不足，则可对位置对齐后的待处理低分辨率人脸图像xin进行自动亮度对比度调整，使其与训练库中低分辨率人脸图像处于相近亮度水平。
S2：对待处理低分辨率人脸图像，按照质量下降最严重的程度，进一步下采样，获得待处理低分辨率人脸图像的更严重版本，称为重度待处理低分辨率人脸图像。具体过程为：
对待处理低分辨率人脸图像xinput取其第i位置的块作为待处理低分辨率图像块，记作或者在此基础上进一步下采样得到待处理低分辨率人脸图像的更严重版本，记作称为重度待处理低分辨率人脸图像。
S3：采用相同的分块方式将待处理低分辨率人脸图像、训练库中图像划分为具交叠部分的正方形图像块。
本步骤中，将训练库中各图像均划分为N个正方形图像块；同时，将待处理低分辨率人脸图像xinput也划分为N个图像块。采用图像块集表示相应的人脸图像，待估高分辨率人脸图像youtput将通过对待处理低分辨率人脸图像xinput的图像块恢复获得。将待处理低分辨率人脸图像xinput、待估高分辨率人脸图像youtput、训练库中中度低分辨率人脸图像Tbj、重度低分辨率人脸图像Taj、高分辨率人脸图像Tcj的图像块集分别记为 i表示图像块编号，分别表示待处理低分辨率人脸图像xinput、待估计高分辨率人脸图像youtput、训练库中第j个低分辨率人脸图像Tbj和Taj、高分辨率人脸图像Tcj中的第i个图像块。
见图2，对人脸图像进行分块的主要依据是局部流形的思想，即人脸图像是一类特殊图像，这些图像具有特定的结构意义，比如在某个位置上所有的小块都是眼睛、或者某个位置上都是鼻子，也就是说图像中每一个位置的局部小块都处于一个特定的局部几何流形当中。为保证这个局部流形，需要将图像分为若干正方形的图像块。图像块的大小需要有合适尺寸，若分块太大，则会由于微小的对齐问题引起重影现象；若分块太小，会模糊、淡化每个小块的位置特征。此外，还需要选择图像块之间交叠块的尺寸。因为如果简单的将图像分为不含交叠块的若干正方形小块，那么这些正方形块与块之间会因为不兼容问题出现网格效应。而且人脸图像并不总是正方形，那么交叠块的尺寸选择需要注意使得图像尽可能充分的分块。
例如，将图像块尺寸记为psize×psize，相邻图像块间交叠部分的宽记为d，将图像块所在位置表示为(j,k)，则有：
其中，height和width分别为人脸图像的高和宽。实施例中，psize取12，d取8。
S4：在分块基础上，分别为高分辨率人脸图像库、中度和重度低分辨率人脸图像库做预处理。本步骤的具体实施方式为：
步骤S4具体为：
为高分辨率人脸图像库中每一个图像块，从高分辨率人脸图像库中相同位置的其他图像块中找到其最近的K个图像块，定义为该图像块的预处理近邻，并为每一个块存储预处理近邻的标号。
为中度低分辨率人脸图像库中每一个图像块，从中度低分辨率人脸图像库中相同位置的其他图像块中找到其最近的K个图像块，定义为该图像块的预处理近邻，并为每一个块存储预处理近邻的标号。
为重度低分辨率人脸图像库中每一个图像块，从重度低分辨率人脸图像库中相同位置的其他图像块中找到其最近的K个图像块，定义为该图像块的预处理近邻，并为每一个块存储预处理近邻的标号。
S5：对待处理低分辨率人脸图像每一块，在对应位置的中度低分辨率训练块集合中查找其最近邻块，称为第一直接锚点近邻块；对重度待处理低分辨率人脸图像每一块，在对应位置的重度低分辨率训练块集合中查找其最近邻块，称为第二直接锚点近邻块。
S6：利用对应关系，分别从重度低分辨率训练块集合、中度低分辨率训练块集合、高分辨率训练块集合中找到第一直接锚点近邻的对应块集的索引集合BN和第二直接锚点近邻块集的索引集合AN，二者相加，标记为Nall，即称之为输入待处理低分辨率人脸图像块的近邻索引集合。
S7：根据索引集合Nall，在中度低分辨率训练块集合、重度低分辨率训练块集合中，分别取出近邻块集，记为其中i表示分块的标号，j的取值范围为 j∈Nall。
S8：根据和两个近邻集合，和待处理低分辨率人脸图像块和求出最佳近邻系数w。步骤S8具体为：
根据和两个近邻集合，和待处理低分辨率人脸图像块和求出最佳近邻系数w，即令中度和重度重建误差均达到最小，来约束最佳近邻系数w为最优，用公式表述为：
其中D是对角矩阵，赋值方式为单位阵与实数S的乘积，S为实数值，根据经验设置，实例中设置为7500。λ为平衡因子，根据经验设置，实例中设置为0.1,。简化符号后，上式可以重新写为：
令
我们用J对w求导并取零，即：可以得到：
S9：根据最佳近邻系数，求出重建块
其中表示根据索引集合Nall，在高分辨率训练块集合中取出的近邻块集，其中j∈Nall。
S10：拼接高分辨率人脸图像块得高分辨率人脸图像。
为验证本发明技术效果，使用中国人脸数据库CAS-PEAL进行验证。从中选择540个人脸样本，分辨率是112*96，用仿射变换法对齐人脸。从人脸样本中随机取500幅为训练样本，其余40幅图像下采样4倍(分辨率为24*28)后加上0.015的高斯噪声后作为测试图像。将人脸样本剩余图像作为训练库，使用双三次插值方法将测试图像放大4倍得到主观图像；分别采用传统局部脸人脸超分辨率方法(方法1)、方法Lan[4](方法2)、基于轮廓先验的鲁棒性人脸超分辨率处理方法[5](方法3)得到主观图像。
从实验结果可知，方法1～3虽然比插值方法在分辨率上有所提升，但出现了较严重误差，与原始图像的相似度很低。方法2中的结果由于是全局脸架构，基于全局的方法往往具有细节恢复上的短板，所以在这方面稍逊于本发明方法。本发明方法所恢复图像的质量相比于方法1～3和双三次插值方法都有显著提高。
表1展示了各图像对应的客观质量，包括PSNR(峰值信噪比)和SSIM值(结构相似性准则)。从表1中可以看出，本发明方法在恢复图像的客观质量上，也有较为明显的稳定提升。
| PSNR值 | SSIM值 | |
| 方法1 | 19.9886 | 0/5549 |
| 双三次插值法 | 19.8843 | 0.4856 |
| 方法2(lan) | 21.9286 | 0.6678 |
| 方法3 | 22.6037 | 0.7131 |
| 本发明方法 | 22.7298 | 0.7395 |
表1 恢复图像客观质量的对比
本发明方法通过从原始低分辨率人脸图像中自动提取的跨尺度的中低频数据，以此多尺度数据为局部关系的形成提供指导，对低质量人脸图像进行恢复。实验结果从主观质量到客观质量均证明了本发明的有效性，即跨尺度数据的引入有效减弱了严重噪声对超分辨率重建的影响，自动提取的重点近邻强调特征避免了人工干预带来的负面效果(如处理结果不稳定、不精确等问题)，从而提升了人脸超分辨率处理结果。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
文中涉及如下参考文献：
[1]H.Chang,D.-Y.Yeung,and Y.Xiong,“Super-resolution through neighborembedding,”in Proc.IEEE Conf.Comput.Vis.Pattern Recog.,Jul.2004,pp.275– 282.
[2]Sung Won Park,Sav，vides,M."Breaking the Limitation of ManifoldAnalysis for Super-Resolution of Facial Images",ICASSP,pp:573-576,2007.
[3]Xiaogang Wang and Xiaoou Tang,“Hallucinating face byeigentransformation,” Systems,Man,and Cybernetics,Part C:Applications andReviews,IEEE Transactions on,vol.35,no.3,pp.425–434,2005.
[4]Hua Huang,Huiting He,Xin Fan,and Junping Zhang,“Super-resolutionof human face image using canonical correlation analysis,”PatternRecognition,vol. 43,no.7,pp.2532–2543,2010.”
[5]C Lan,R Hu,Z Han,A face super-resolution approach using shapesemantic mode regularization.IEEE International Conference on ImageProcessing(ICIP), 2021–2024,26-29 Sept.2010。
Claims (7)
1.一种多尺度空间约束的人脸超分辨率处理方法，其特征在于：其包括以下步骤：
S1：构建包含高分辨率人脸图像库以及由该高分辨率人脸图像库生成的两种低分辨率人脸图像库的训练库，其中，质量下降过程较轻的低分辨率人脸图像库为中度低分辨率人脸图像库，质量下降过程更严重的低分辨率人脸图像库为重度低分辨率人脸图像库；
S2：对待处理低分辨率人脸图像进一步下采样，获得待处理低分辨率人脸图像的重度待处理低分辨率人脸图像；
S3：对待处理低分辨率人脸图像、重度待处理低分辨率人脸图像以及训练库中的所有人脸图像采用相同的分块方式划分具有交叠部分的图像块；其中，重度低分辨率人脸图像库的图像块组成重度低分辨率训练块集合，中度低分辨率人脸图像库的图像块组成中度低分辨率训练块集合，高分辨率人脸图像库的图像块组成高分辨率训练块集合；
S4：在分块基础上，分别为高分辨率人脸图像库、中度低分辨率人脸图像库和重度低分辨率人脸图像库做预处理，具体过程为：
为高分辨率人脸图像库中每一个图像块，从高分辨率人脸图像库中相同位置的其他图像块中找到其最近的K个图像块，定义为该图像块的预处理近邻，并为每一个块存储预处理近邻的标号；
为中度低分辨率人脸图像库中每一个图像块，从中度低分辨率人脸图像库中相同位置的其他图像块中找到其最近的K个图像块，定义为该图像块的预处理近邻，并为每一个块存储预处理近邻的标号；
为重度低分辨率人脸图像库中每一个图像块，从重度低分辨率人脸图像库中相同位置的其他图像块中找到其最近的K个图像块，定义为该图像块的预处理近邻，并为每一个块存储预处理近邻的标号；
S5：对待处理低分辨率人脸图像的每一个图像块，在对应位置的中度低分辨率训练块集合中查找其最近邻块，称为第一直接锚点近邻块；对重度待处理低分辨率人脸图像每一块，在对应位置的重度低分辨率训练块集合中查找其最近邻块，称为第二直接锚点近邻块；
S6：利用对应关系分别从重度低分辨率训练块集合、中度低分辨率训练块集合中找到第一直接锚点近邻的对应块集的索引集合BN和第二直接锚点近邻块集的索引集合AN，二者相加得到输入待处理低分辨率人脸图像块的近邻索引集合Nall；
S7：根据近邻索引集合Nall，在中度低分辨率训练块集合、重度低分辨率训练块集合中分别取出近邻块集，分别记为其中i表示分块的标号，j的取值范围为j∈Nall；
S8：根据和两个近邻集合，和待处理低分辨率人脸图像块和重度待处理低分辨率人脸图像求出最佳近邻系数w，其中，表示重度低分辨率近邻块集，而表示中度低分辨率近邻块集，D是对角矩阵，赋值方式为单位阵与实数S的乘积，S为实数值；
S9：根据最佳近邻系数，求出重建块
其中表示根据索引集合Nall在高分辨率训练块集合中取出的近邻块集，其中j∈Nall；
S10：拼接高分辨率人脸图像块得高分辨率人脸图像。
2.根据权利要求1所述的一种多尺度空间约束的人脸超分辨率处理方法，其特征在于：步骤S1中将高分辨率人脸图像库中高分辨率人脸图像位置对齐，并进行降质处理，得对应的两种低分辨率人脸图像库，高分辨率人脸图像库和两种低分辨率人脸图像库构成训练库；且重度低分辨率人脸图像库的质量下降过程严重程度为中度低分辨率人脸图像库的2倍。
3.根据权利要求1所述的一种多尺度空间约束的人脸超分辨率处理方法，其特征在于：步骤2中待处理低分辨率人脸图像与训练库中图像大小相同且位置对齐。
4.根据权利要求3所述的一种多尺度空间约束的人脸超分辨率处理方法，其特征在于：所述位置对齐采用仿射变换法将进行位置对齐。
5.根据权利要求1所述的一种多尺度空间约束的人脸超分辨率处理方法，其特征在于：步骤S3中图像块为边长为psize的正方形图像块。
6.根据权利要求1所述的一种多尺度空间约束的人脸超分辨率处理方法，其特征在于：步骤S8具体为：
令中度和重度重建误差均达到最小，来约束最佳近邻系数w为最优，用公式表述为：
其中D是对角矩阵，赋值方式为单位阵与实数S的乘积，S为实数值；
简化符号，上式可以重新写为：
令
用J对w求导并取零，即：得到：
7.一种多尺度空间约束的人脸超分辨率系统，其特征在于：其包括以下模块：
训练库构建模型：用来构建包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的训练库；
输入增补模块：用来为输入提供更小尺度的图像，以完成严重降质过程；
分块模块：用来采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块：所述的图像块为边长为psize的正方形图像块；
预处理模块：在分块基础上分别为高分辨率人脸图像库、中度和重度低分辨率人脸图像库做预处理，为各个库准备预处理的近邻关系；
锚点确定模块：为待处理低分辨率人脸图像，确定第一直接锚点近邻块和第二直接锚点近邻块；
索引集合确定模块：用来确定多尺度空间中，最终近邻的索引编号；
近邻确定模块：根据索引集合，取得三种尺度空间的近邻块集合；
近邻系数求取模块：通过已知的多个尺度数据，求得最佳的近邻权重系数；
高分辨率图像块生成模块：用来根据重建系数恢复图像块获得其对应的高分辨率人脸图像块
拼接模块：用来根据位置i拼接高分辨率人脸图像块得高分辨率人脸图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810354511.1A CN108550114B (zh) | 2018-04-19 | 2018-04-19 | 一种多尺度空间约束的人脸超分辨率处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810354511.1A CN108550114B (zh) | 2018-04-19 | 2018-04-19 | 一种多尺度空间约束的人脸超分辨率处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108550114A true CN108550114A (zh) | 2018-09-18 |
| CN108550114B CN108550114B (zh) | 2022-03-15 |
Family
ID=63515611
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810354511.1A Active CN108550114B (zh) | 2018-04-19 | 2018-04-19 | 一种多尺度空间约束的人脸超分辨率处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108550114B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109934193A (zh) * | 2019-03-20 | 2019-06-25 | 福建师范大学 | 全局上下文先验约束的抗遮挡人脸超分辨率方法及其系统 |
| CN110310228A (zh) * | 2019-06-28 | 2019-10-08 | 福建师范大学 | 一种基于闭合链路数据重表达的人脸超分辨率处理方法及系统 |
| CN113157688A (zh) * | 2020-01-07 | 2021-07-23 | 四川大学 | 一种基于空间索引及相邻点信息的最近邻点搜索方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1578449A (zh) * | 2003-06-27 | 2005-02-09 | 成津C&C株式会社 | 从低分辨率压缩图像恢复并重构超分辨率图像的方法 |
| CN102402784A (zh) * | 2011-12-16 | 2012-04-04 | 武汉大学 | 一种基于最近特征线流形学习的人脸图像超分辨率方法 |
| CN102902961A (zh) * | 2012-09-21 | 2013-01-30 | 武汉大学 | 基于k近邻稀疏编码均值约束的人脸超分辨率处理方法 |
| CN105335930A (zh) * | 2015-10-28 | 2016-02-17 | 武汉大学 | 边缘数据驱动的鲁棒性人脸超分辨率处理方法及系统 |
| US20160078600A1 (en) * | 2013-04-25 | 2016-03-17 | Thomson Licensing | Method and device for performing super-resolution on an input image |
| CN105701770A (zh) * | 2016-01-18 | 2016-06-22 | 武汉大学 | 一种基于上下文线性模型的人脸超分辨率处理方法及系统 |
-
2018
- 2018-04-19 CN CN201810354511.1A patent/CN108550114B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1578449A (zh) * | 2003-06-27 | 2005-02-09 | 成津C&C株式会社 | 从低分辨率压缩图像恢复并重构超分辨率图像的方法 |
| CN102402784A (zh) * | 2011-12-16 | 2012-04-04 | 武汉大学 | 一种基于最近特征线流形学习的人脸图像超分辨率方法 |
| CN102902961A (zh) * | 2012-09-21 | 2013-01-30 | 武汉大学 | 基于k近邻稀疏编码均值约束的人脸超分辨率处理方法 |
| US20160078600A1 (en) * | 2013-04-25 | 2016-03-17 | Thomson Licensing | Method and device for performing super-resolution on an input image |
| CN105335930A (zh) * | 2015-10-28 | 2016-02-17 | 武汉大学 | 边缘数据驱动的鲁棒性人脸超分辨率处理方法及系统 |
| CN105701770A (zh) * | 2016-01-18 | 2016-06-22 | 武汉大学 | 一种基于上下文线性模型的人脸超分辨率处理方法及系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109934193A (zh) * | 2019-03-20 | 2019-06-25 | 福建师范大学 | 全局上下文先验约束的抗遮挡人脸超分辨率方法及其系统 |
| CN109934193B (zh) * | 2019-03-20 | 2023-04-07 | 福建师范大学 | 全局上下文先验约束的抗遮挡人脸超分辨率方法及其系统 |
| CN110310228A (zh) * | 2019-06-28 | 2019-10-08 | 福建师范大学 | 一种基于闭合链路数据重表达的人脸超分辨率处理方法及系统 |
| CN113157688A (zh) * | 2020-01-07 | 2021-07-23 | 四川大学 | 一种基于空间索引及相邻点信息的最近邻点搜索方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108550114B (zh) | 2022-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108460760B (zh) | 一种基于生成式对抗网络的桥梁裂缝图像判别修复方法 | |
| CN112001960B (zh) | 基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法 | |
| CN108875600A (zh) | 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质 | |
| CN112232391B (zh) | 一种基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法 | |
| CN110111256B (zh) | 基于残差蒸馏网络的图像超分辨重建方法 | |
| CN112861720A (zh) | 基于原型卷积神经网络的遥感图像小样本目标检测方法 | |
| CN106023185A (zh) | 一种输电设备故障诊断方法 | |
| CN108334847A (zh) | 一种真实场景下的基于深度学习的人脸识别方法 | |
| CN109740665A (zh) | 基于专家知识约束的遮挡图像船只目标检测方法及系统 | |
| CN109785250B (zh) | 一种基于Criminisi算法的图像修复方法 | |
| CN102982520B (zh) | 一种基于轮廓先验的鲁棒性人脸超分辨率处理方法 | |
| CN113920107A (zh) | 一种基于改进yolov5算法的绝缘子破损检测方法 | |
| CN105701515B (zh) | 一种基于双层流形约束的人脸超分辨率处理方法及系统 | |
| CN109961407B (zh) | 基于人脸相似性的人脸图像修复方法 | |
| CN105335930B (zh) | 边缘数据驱动的鲁棒性人脸超分辨率处理方法及系统 | |
| CN108550114A (zh) | 一种多尺度空间约束的人脸超分辨率处理方法及系统 | |
| CN109671071A (zh) | 一种基于深度学习的地下管道缺陷定位及等级判定方法 | |
| CN105701770B (zh) | 一种基于上下文线性模型的人脸超分辨率处理方法及系统 | |
| CN106651792A (zh) | 一种卫星影像条带噪声去除方法及装置 | |
| CN106203269A (zh) | 一种基于可形变局部块的人脸超分辨率处理方法及系统 | |
| CN110490796A (zh) | 一种高低频成分融合的人脸超分辨率处理方法及系统 | |
| CN113269256A (zh) | 一种MiSrc-GAN模型的构建方法及应用 | |
| CN116311462A (zh) | 一种结合上下文信息和vgg19的人脸图像修复识别方法 | |
| CN112287884B (zh) | 一种考试异常行为检测方法、装置及计算机可读存储介质 | |
| CN109934193A (zh) | 全局上下文先验约束的抗遮挡人脸超分辨率方法及其系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |