CN104952053B - 基于非线性压缩感知的人脸图像超分辨重构方法 - Google Patents
基于非线性压缩感知的人脸图像超分辨重构方法 Download PDFInfo
- Publication number
- CN104952053B CN104952053B CN201510394009.XA CN201510394009A CN104952053B CN 104952053 B CN104952053 B CN 104952053B CN 201510394009 A CN201510394009 A CN 201510394009A CN 104952053 B CN104952053 B CN 104952053B
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- block
- low
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 230000001815 facial effect Effects 0.000 title claims abstract description 66
- 230000006835 compression Effects 0.000 title claims abstract description 28
- 238000007906 compression Methods 0.000 title claims abstract description 28
- 238000012360 testing method Methods 0.000 claims abstract description 68
- 239000011159 matrix material Substances 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000010276 construction Methods 0.000 claims abstract description 19
- 238000004458 analytical method Methods 0.000 claims abstract description 10
- 238000013100 final test Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 2
- 230000003321 amplification Effects 0.000 abstract description 16
- 238000003199 nucleic acid amplification method Methods 0.000 abstract description 16
- 238000007781 pre-processing Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 5
- 210000004209 hair Anatomy 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于非线性压缩感知的人脸图像超分辨重构方法，主要解决现有方法运行速度慢，在较高放大因子下重构图像比较模糊的问题。其主要步骤为：对一组训练人脸图像对进行预处理，构造一对低分辨图像块与高分辨图像块字典；输入低分辨率人脸图像作为测试图像，对该图像分块；寻找输入人脸图像块的m个近邻块，得到对应的高分辨率近邻块，通过核主成分分析训练得到稀疏系数；构造非线性压缩感知超分辨重构模型，用最小二乘方法计算稀疏矩阵，用Pre‑image方法得到重构的高分辨率图像。本发明复杂度低，运行时间短，重构图像的效率和质量高，在高放大因子条件下能有效提高重构图像质量，适用于各种人脸图像的超分辨重构。
Description
技术领域
本发明属于图像处理技术领域，主要涉及图像超分辨重构，具体是一种基于非线性压缩感知的人脸图像超分辨重构方法，可用于各类人脸图像的超分辨率重构。
背景技术
人脸图像的处理一直是模式识别、计算机视觉和多媒体信息处理领域中的研究热点之一。人脸图像超分辨率重构具有重要的实际应用价值，尤其是在人脸识别、视频监控、安全部门等领域具有十分重要的应用。现有的人脸图像超分辨率重构技术可以分为两类：基于重建的方法和基于学习的方法。基于重建的算法对图像获取过程建立成像模型，通过求解模型的逆问题来复原高分辨率图像。基于学习的方法则通过学习高低分辨率图像之间的关系，指导图像的高频信息重构，是目前被公认为最有潜力的方法。Freeman等人提出了一种基于学习的重构方法，通过马尔科夫随机模型和先验知识来学习低分辨率图像块和高分辨率图像块之间的对应关系，并利用这种对应关系指导图像的超分辨率重构。Sun等人则对Freeman等人的方法进行了扩展，主要是在重构过程中用原始的轮廓先验知识来减少边界和细节的过平滑。对于人脸图像超分辨率重构来说，不同人脸在细节上如形状、大小、颜色上都有差异，人脸本身是不规则的复杂模式，具有模式的可变性。上述这些方法没有考虑人脸细节的差异，重构效果较差。同时这些方法需要大量的训练样例以保证重构的效果和质量，计算量巨大，图像重构时间长，导致效率偏低，并且在较高的放大因子条件下，重构人脸图像的质量一般。
发明内容
本发明的目的在于克服上述已有技术的缺点，提出一种基于非线性压缩感知的人脸图像超分辨重构方法，以缩短图像重构时间，提高重构图像的效率和质量，有效的改善了人脸图像的识别效率。
本发明是一种基于非线性压缩感知的人脸图像超分辨重构方法，其特征在于，包括有如下步骤：
步骤1：输入训练人脸图像对，用低分辨率训练人脸图像学习构造一个规模为N的低分辨率图像块字典并用高分辨率训练人脸图像学习构造一个规模为N的与低分辨率图像块字典相对应的高分辨率图像块字典
步骤2：输入待超分辨率重构的低分辨率测试图像Y，按重叠的方式分块得到测试图像的低分辨率图像块集
步骤3：对于输入的低分辨率测试图像块计算与训练字典的欧氏距离，在低分辨率图像块字典中找到输入的低分辨率测试图像块的m个低分辨率图像近邻块从而得到m个高分辨率图像近邻块 是在高、低分辨率图像块字典Xs中的邻域；
步骤4：构造多项式核函数k(a,b)＝(<a,b>+cons)index，a,b为两个不同的函数变量，cons为常数，cons≥0，index为核函数的指数，index取大于0的奇数，对高分辨率图像近邻块进行核主成分分析(K-PCA)得到稀疏基Vi以及稀疏系数αi；
步骤5：通过最小二乘方法计算测试图像块的稀疏矩阵其中G+是中间矩阵G的伪逆矩阵，GT是中间矩阵G的转置矩阵，(GTG)-1是矩阵GTG的逆矩阵；
步骤6：通过Pre-image的方法对高分辨率测试图像块进行重构；
步骤7：重复步骤3到步骤6，对所有的输入低分辨率测试图像小块依次处理，遍历全图得到高分辨率测试图像块集从而得到最终的测试图像的高分辨率重构图像X*。
本发明的技术方案是首先对一组训练样例图像对进行预处理，构造一对低分辨图像块与高分辨图像块字典；接着输入低分辨率人脸图像，即测试图像，对输入的低分辨率图像进行分块；然后寻找输入人脸图像块的m个低分辨率图像近邻块，得到对应的高分辨率图像近邻块，通过核主成分分析(K-PCA)训练得到稀疏系数；最后构造非线性压缩感知超分辨重构模型，通过最小二乘方法计算测试图像块的稀疏矩阵，并利用Pre-image方法得到最终的测试图像的高分辨率图像，完成非线性压缩感知的人脸图像超分辨重构。
本发明与现有的技术相比具有以下优点：
1.本发明由于采用非线性压缩感知方法求解一个解析公式来完成待重构图像的优化更新，避免了大规模的循环迭代过程，减少了计算量，从根本上提高了运行速度，缩短了时间。
2.由于非线性空间的内积运算不好求解，本发明利用核主成分分析(K-PCA)训练字典，将非线性空间的运算转化成线性空间的运算，算法复杂度降低，进一步提高了算法的运行速度。
3.由于以往的方法在高放大因子的情况下，重构图像会产生锯齿效应，轮廓不清晰，边缘模糊。本发明采用非线性压缩感知方法增强了对高放大因子下人脸图像重构的效果，克服了传统基于模型的算法对于高放大因子效果不好的问题。
实验证明，本发明适用于各种人脸图像的超分辨率重构，通过本方法进行重构后，重构图像的细节纹理信息都保持得比较好，为实际应用提供了强有力的手段。
附图说明
图1是本发明的总流程图；
图2是本发明采用的训练人脸图像；
图3是用本发明对测试Orl1图像的重构效果图；
图4是用本发明对测试Orl2图像的重构效果图；
图5是用本发明对测试Orl3图像的重构效果图；
图6是用本发明对测试Orl4图像的重构效果图；
图7是用本发明对测试Orl5图像的重构效果图。
具体实施方法
人脸图像的处理一直是模式识别、计算机视觉和多媒体信息处理领域中的研究热点之一。在这些领域人们渴望获得高分辨率人脸图像，而实际情况中，往往受到图像拍摄条件差、噪声干扰严重、成像设备自身分辨率低的限制，人们所能获得的图像视觉质量较低、分辨率不高。图像超分辨重构能从低分辨率图像重构得到分辨率较高的清晰图像，能较好的满足现实中人们对清晰的、分辨率高的图像的需求。本发明旨在提出一种基于非线性压缩感知的人脸图像超分辨重构方法，避免了大规模的循环迭代过程，降低了算法复杂度，缩短了重构时间，增强了对高放大因子下人脸图像重构的效果，同时有效的改善了人脸图像的识别效率，增强了实际的应用。
下面结合附图对本发明详细说明：
实施例1
本发明是一种基于非线性压缩感知的人脸图像超分辨重构方法，参见图1，本发明对人脸图像超分辨重构包括有如下步骤：
步骤1：输入训练人脸图像对，用低分辨率训练人脸图像学习构造一个规模为N的低分辨率图像块字典并用高分辨率训练人脸图像学习构造一个规模为N的与低分辨率图像块字典相对应的高分辨率图像块字典输入的训练人脸图像对，参见图2，图2中有5行图像，每一行图像有六个人脸图像，在这30个人脸图像中包括各种人脸图像。本例中展示了一些人脸图像，有的是正面照，有的是侧面照；有的仰视，有的俯视；有白人，有黑人，也有黄种人；有的戴眼镜，有的没有戴眼镜；有男人，有女人；有年长的，有年少的；有长发，有短发；有微笑的，有无表情的等等。针对要重构的测试图像，需从这些图像中选出与要重构的测试图像尽可能相似的图像作为人脸训练图像。
图2所展示的这些图像都是高分辨率的图像，对这些图像下采样得到低分辨率图像，用低分辨率图像和对应的高分辨率图像共同构成训练图像对。
步骤2：输入待超分辨率重构的低分辨率测试图像Y，按重叠的方式分块得到测试图像的低分辨率图像块集本例中测试图像参见图3(a)，图3(a)是图像Orl1作为测试图像的低分辨率输入图像，将图像Orl1作为实验数据，对其进行分块得到低分辨率图像块集。从图3(a)中可以看出图像比较模糊，它的放大因子是6倍，五官很不清晰，本发明就是要针对这类图像进行重构，使轮廓和五官更加清晰，增强人脸图像的识别度。
步骤3：对于输入的低分辨率测试图像块计算与训练字典的欧氏距离，在低分辨率图像块字典中找到输入的低分辨率测试图像块的m个低分辨率图像近邻块得到m个高分辨率图像近邻块 是低分辨率测试图像块在高、低分辨率图像块字典Xs中的邻域。本例中选择20个固定的邻域块，即m＝20。
步骤4：构造多项式核函数k(a,b)＝(<a,b>+cons)index，a,b为两个不同的函数变量，cons为常数，cons≥0，index为核函数的指数，index取大于0的奇数，对高分辨率图像近邻块进行核主成分分析(K-PCA)得到测试图像块的稀疏基Vi以及稀疏系数αi。本例中cons设为0.5，index设为5。
步骤5：通过最小二乘方法计算测试图像块的稀疏矩阵其中G+是中间矩阵G的伪逆矩阵，GT是中间矩阵G的转置矩阵，(GTG)-1是矩阵GTG的逆矩阵。
步骤6：通过Pre-image的方法对高分辨率测试图像块进行重构。
步骤7：重复步骤3到步骤6，对所有的输入低分辨率测试图像小块依次处理，遍历全图得到高分辨率测试图像块集从而得到最终的测试图像的高分辨率重构图像X*。本例中得到的高分辨率图像如图3(d)所示。图3(d)是经过本发明方法先由相似的训练图像通过核主成分分析方法计算得到测试图像的稀疏系数，然后通过最小二乘方法计算得到测试图像的稀疏矩阵，最后通过非线性压缩感知重构得到的高分辨率测试图像。图3(d)中重构的人脸图像的头发、嘴部和鼻子都很清晰，尤其是眼睛部位在超分辨重构后更加清晰，边缘轮廓突出，达到了重构的效果。
本发明也在其他自然图像上做过大量的实验，但是在高放大因子的情况下，最终的实验结果均不理想，而人脸图像的重构结果提升最高，重构效果是最好的，证明了本发明更加适合人脸的重构。
本实施例采用编程软件MATLAB 2012b作为仿真工具，计算机配置为Intel Corei5/2.4G/4G。
由于非线性空间的内积运算不好求解，本发明利用核主成分分析(K-PCA)训练字典，将非线性空间的运算转化成线性空间的运算，更好的求解向量之间的内积，算法复杂度降低，恢复效果提高。目前许多应用领域的摄像头只能远距离拍摄人脸，清晰度不够，大多得到的是模糊图像，需要对这些模糊的图像进行超分辨重构得到理想的高分辨率图像，本发明则为人脸超分辨率重构的工程化应用打了较好的技术基础，在人脸识别、视频监控、安全部门和身份验证这些领域有着很好的应用前景。
实施例2
基于非线性压缩感知的人脸图像超分辨重构方法同实施例1。
其中步骤5中所述的计算测试图像块的稀疏矩阵的过程，包括有如下步骤：
本例中测试图像参见图4(a)，图4(a)是图像Orl2作为测试图像的低分辨率输入图像，这幅图像边缘模糊，轮廓不清晰，识别度也不高。将图像Orl2作为实验数据，采用本发明的方法对其进行超分辨重构。本例中得到的高分辨率图像如图4(d)所示。图4(d)中重构的人脸图像的眼睛、眉毛和鼻子都很清晰，头发纹路分明，边缘轮廓很明显，甚至连人脸面部的微小表情都很好的重构出来了。
由于以往的方法在6倍高放大因子的情况下会产生锯齿效应，图像不清晰，边缘模糊，本发明采用非线性压缩感知的方法，构造非线性压缩感知超分辨重构模型，在高放大因子下可以恢复出图像更多的高频细节信息，使图像看起来更清晰，增强了高放大因子下人脸图像重构的效果，从而克服传统基于模型的算法对于高放大因子效果不好的问题。
实施例3
基于非线性压缩感知的人脸图像超分辨重构方法同实施例1-2。
其中步骤6中所述的重构高分辨率图像块的过程，包括有如下步骤：
6a)原始高分辨率测试图像的非线性采样表示为
本例中测试图像参见图5(a)，图5(a)是图像Orl3作为测试图像的低分辨率输入图像，这幅图像没有明显的轮廓，整个脸部都比较模糊。将图像Orl3作为实验数据，对其进行超分辨重构。本例中得到的高分辨率图像如图5(d)所示。图5(d)中重构的人脸图像的脸部细节恢复得比较好，尤其是眼睛和牙齿部位非常清晰，鼻孔也能明显看到，人脸图像的耳朵部位也很好的重构出来。
本发明由于通过非线性压缩感知方法求解一个解析公式来完成待重构图像的优化更新，避免了大规模的循环迭代过程，仅仅通过一步计算就可以得到重构的高分辨率图像，大大减少了计算量，从根本上提高了算法运行速度，缩短了运行时间，所以本发明运行时间短、速度快，有利于实际应用中对实时性的要求。
下面结合附图并结合具体操作给出一个完整的图像超分辨重构过程：
实施例4
基于非线性压缩感知的人脸图像超分辨重构方法同实施例1-3，参照附图1，本发明的基于非线性压缩感知的人脸图像超分辨重构方法具体步骤包括：
1、一种基于非线性压缩感知的人脸图像超分辨重构方法，其特征在于，包括有如下步骤：
步骤1：输入训练人脸图像对，用低分辨率训练人脸图像学习构造一个规模为N的低分辨率图像块字典并用高分辨率训练人脸图像学习构造一个规模为N的与低分辨率图像块字典相对应的高分辨率图像块字典输入的训练人脸图像对，参见图2，图2中有5行图像，每一行图像有6个人脸图像，在这30个人脸图像中包括各种人脸图像。图2所展示的这些图像都是高分辨率的图像，对这些图像下采样得到低分辨率图像，用低分辨率图像和对应的高分辨率图像共同构成训练图像对。
步骤2：输入待超分辨率重构的低分辨率测试图像Y，如图3(a)、图4(a)、图5(a)、图6(a)、图7(a)为5幅输入的低分辨率人脸测试图像，这些测试图像比较模糊，五官和脸部细节都看不清楚，辨识度比较低，本发明就是针对这样的低分辨率模糊的人脸图像进行超分辨率重构。对这些测试图像按重叠的方式分块得到测试图像的低分辨率图像块集
步骤3：对于输入的低分辨率测试图像块计算低分辨率测试图像块与低分辨率图像块训练字典的欧氏距离，在低分辨率图像块字典中找到输入的低分辨率图像块的m个低分辨率图像近邻块得到m个高分辨率图像近邻块 是在高、低分辨率图像块字典Xs中的邻域。本例中m＝15，即选择15个固定的邻域块，参数m是通过大量实验计算得到的一个最优化的解，能有效地保证重构人脸图像的质量。
步骤4：构造多项式核函数k(a,b)＝(<a,b>+cons)index，a,b为两个不同的函数变量，cons为常数，cons≥0，index为核函数的指数，index取大于0的奇数，对高分辨率图像近邻块进行核主成分分析(K-PCA)得到测试图像的稀疏基Vi以及稀疏系数αi。本例中cons设为0.5，index设为5。
步骤5：通过最小二乘方法计算测试图像块的稀疏矩阵其中G+是中间矩阵G的伪逆矩阵，GT是中间矩阵G的转置矩阵，(GTG)-1是矩阵GTG的逆矩阵：
步骤6：通过Pre-image的方法对高分辨率测试图像块进行重构：
步骤7：重复步骤3到步骤6，对所有的输入低分辨率测试图像小块依次处理，遍历全图得到高分辨率测试图像块集从而得到最终的测试图像的高分辨率重构图像X*，如图3(d)、图4(d)、图5(d)、6(d)、图7(d)就是用本发明的方法对测试图像的高分辨率重构图。
本发明对图3(a)、图4(a)、图5(a)、图6(a)、图7(a)5幅比较模糊的输入的低分辨率人脸图像进行重构，得到图3(d)、图4(d)、图5(d)、图6(d)、图7(d)5幅重构的高分辨率人脸图像。图3(b)、图4(b)、图5(b)、图6(b)、图7(b)是Bicubic插值方法的重构结果，图3(c)、图4(c)、图5(c)、图6(c)、图7(c)是Yang(TIP2010)方法的重构结果。对比图3(b)(c)、图4(b)(c)、图5(b)(c)、图6(b)(c)、图7(b)(c)的结果，本发明在6倍高放大因子的情况下，重构图像的对比度高，边缘线条连续，轮廓更加清晰，且没有锯齿效应，块效应少，细节更丰富，纹理信息上保持得比较好，尤其是眼睛、鼻子和嘴部都恢复的比较好，牙齿清晰可见，就连面部的细微表情也被完整的重构出来，图像的视觉效果要优于其它方法。
实施例5
基于非线性压缩感知的人脸图像超分辨重构方法同实施例1-4。
实验条件
本实验采用人脸图像Orl1、Orl2、Orl3、Orl4、Orl5作为实验数据，采用编程软件MATLAB 2012b作为仿真工具，计算机配置为Intel Core i5/2.4G/4G。
实验内容
分别利用Bicubic插值方法、Yang(TIP2010)方法和本发明的方法，对各类输入测试人脸图像进行重构：
首先，对Orl1图像进行重构，结果如图3所示，其中图3(a)为输入低分辨率图像、图3(b)为Bicubic插值方法的重构结果、图3(c)为Yang(TIP2010)方法的重构结果、图3(d)为本发明的重构结果；
接着，对Orl2图像进行重构，结果如图4所示，其中图4(a)为输入低分辨率图像、图4(b)为Bicubic插值方法的重构结果、图4(c)为Yang(TIP2010)方法的重构结果、图4(d)为本发明的重构结果；
其次，对Orl3图像进行重构，结果如图5所示，其中图5(a)为输入低分辨率图像、图5(b)为Bicubic插值方法的重构结果、图5(c)为Yang(TIP2010)方法的重构结果、图5(d)为本发明的重构结果；
再次，对Orl4图像进行重构，结果如图6所示，其中图6(a)为输入低分辨率图像、图6(b)为Bicubic插值方法的重构结果、图6(c)为Yang(TIP2010)方法的重构结果、图6(d)为本发明的重构结果；
最后，对Orl5图像进行重构，结果如图7所示，其中图7(a)为输入低分辨率图像、图7(b)为Bicubic插值方法的重构结果、图7(c)为Yang(TIP2010)方法的重构结果、图7(d)为本发明的重构结果。
实验结果分析
从图3、图4、图5、图6、图7中的不同方法获得的结果对比可以看出，本发明在重构图像的视觉效果上要优于其它方法，边缘清晰、连续，轮廓更加明显，且没有锯齿效应和边缘的模糊，图像的纹理细节信息都保持的比较好，对比度高，尤其是在眼睛、鼻子和嘴部都很好的重构出来了，面部表情和嘴部的笑容清晰可见，重构出的眼睛都是炯炯有神，图像的辨识度比较高，有利于在人脸识别中的应用，并且对各种类型的输入人脸图像如Orl1、Orl2、Orl3、Orl4、Orl5，都可以得到很好的重构效果。
视觉效果并不能准确描述本发明性能的好坏，用量化的指标能够更准确的反映本发明的重构效果，这些数值评价指标参见表1。对于五幅输入的低分辨率人脸图像，Bicubic插值方法的结果最差，Yang(TIP2010)方法的结果有些提升。本发明相对于Bicubic插值方法、Yang(TIP2010)方法，在结构相似度和平均结构相似度方面有很大的提高，尤其是在峰值信噪比方面，本发明提高了0.5-1dB左右，说明本发明的效果优于其他的方法。
表1.三种方法重构图像数值评价指标对比
综上，本发明公开的一种基于非线性压缩感知的人脸图像超分辨重构方法，主要解决现有方法运行速度慢，在较高放大因子条件下重构的人脸图像比较模糊的问题。其主要步骤为：首先对一组训练样例图像对进行预处理，构造一对低分辨图像块与高分辨图像块字典；接着输入低分辨率人脸图像，即测试图像，对输入的低分辨率图像进行分块；然后寻找输入人脸图像块的m个低分辨率图像近邻块，得到对应的高分辨率图像近邻块，通过核主成分分析(K-PCA)训练得到稀疏系数；最后构造非线性压缩感知超分辨重构模型，通过最小二乘方法计算测试图像块的稀疏矩阵，并利用Pre-image方法得到最终的测试图像的高分辨率图像，完成非线性压缩感知的人脸图像超分辨重构。本发明复杂度低，运行时间短，重构图像的效率和质量高，并且在高放大因子条件下能够有效提高重构图像的质量。本发明适用于各种人脸图像的超分辨率重构，有效的改善了人脸图像的识别效率，增强了实际的应用，对于人脸识别、视频监控、公共安全和身份验证等领域有着良好的应用前景。
Claims (3)
1.一种基于非线性压缩感知的人脸图像超分辨重构方法，其特征在于，包括有如下步骤：
步骤1：输入训练人脸图像对，用低分辨率训练人脸图像学习构造一个规模为N的低分辨率图像块字典并用高分辨率训练人脸图像学习构造一个规模为N的与低分辨率图像块字典相对应的高分辨率图像块字典
步骤2：输入待超分辨率重构的低分辨率测试图像Y，按重叠的方式分块得到测试图像的低分辨率图像块集M为低分辨率图像块集的规模；
步骤3：对于输入的低分辨率测试图像块计算与低分辨率图像块字典的欧氏距离，在低分辨率图像块字典中找到输入的低分辨率测试图像块的m个低分辨率图像近邻块从而得到m个高分辨率图像近邻块 是在高、低分辨率图像块字典Ys、Xs中的邻域；
步骤4：构造多项式核函数k(a,b)＝(<a,b>+cons)index，a,b为两个不同的函数变量，cons为常数，cons≥0，index为核函数的指数，index取大于0的奇数，对高分辨率图像近邻块进行核主成分分析得到稀疏基Vi以及稀疏系数αi；
步骤5：通过最小二乘方法计算低分辨率测试图像块的稀疏矩阵其中G+是中间矩阵G的伪逆矩阵，GT是中间矩阵G的转置矩阵，(GTG)-1是矩阵GTG的逆矩阵；
步骤6：通过Pre-image的方法对高分辨率测试图像块进行重构；
步骤7：重复步骤3到步骤6，对所有的输入低分辨率测试图像块依次处理，遍历全图得到高分辨率测试图像块集从而得到最终的测试图像的高分辨率重构图像X*。
2.根据权利要求1所述的基于非线性压缩感知的人脸图像超分辨重构方法，其特征在于，其中步骤5所述的计算低分辨率测试图像块的稀疏矩阵的过程，包括有如下步骤：
5a)低分辨率测试图像块所对应的高分辨率测试图像块在非线性空间Ω中是非线性K稀疏的，用非线性空间Ω中的一组稀疏基进行稀疏表示，即：其中Φ(·)为非线性投影函数；
5b)构造非线性压缩感知超分辨重构模型，该模型表示为：观测矩阵为A＝{φ1,φ2,...,φn}，n为观测矩阵的规模；
5c)两个向量在原始空间中的内积，等于向量各自投影值在非线性空间Ω中的内积，即：定义中间矩阵G，由最小二乘方法得出测试图像块的稀疏矩阵
3.根据权利要求2所述的基于非线性压缩感知的人脸图像超分辨重构方法，其特征在于，其中步骤6所述的重构高分辨率测试图像块的过程，包括有如下步骤：
6a)原始高分辨率测试图像的非线性采样表示为
6b)任意信号用空间中的一组稀疏正交基表示，表示的系数为该信号与稀疏正交基的内积，对高分辨率测试图像块进行重构：其中ul为单位稀疏正交基，k-1(·)为核函数k(·)的逆函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510394009.XA CN104952053B (zh) | 2015-07-07 | 2015-07-07 | 基于非线性压缩感知的人脸图像超分辨重构方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510394009.XA CN104952053B (zh) | 2015-07-07 | 2015-07-07 | 基于非线性压缩感知的人脸图像超分辨重构方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104952053A CN104952053A (zh) | 2015-09-30 |
| CN104952053B true CN104952053B (zh) | 2018-06-26 |
Family
ID=54166686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510394009.XA Active CN104952053B (zh) | 2015-07-07 | 2015-07-07 | 基于非线性压缩感知的人脸图像超分辨重构方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104952053B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017070841A1 (zh) * | 2015-10-27 | 2017-05-04 | 华为技术有限公司 | 图像处理方法和装置 |
| CN105844591B (zh) * | 2016-01-11 | 2018-08-21 | 西安电子科技大学昆山创新研究院 | 基于隐空间样例学习的非线性压缩光谱成像方法 |
| CN113096015B (zh) * | 2021-04-09 | 2023-04-28 | 西安电子科技大学 | 基于渐进式感知和超轻量级网络的图像超分辨率重建方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103400341A (zh) * | 2013-07-03 | 2013-11-20 | 西安电子科技大学 | 基于压缩感知的空谱域联合恢复高光谱数据的方法 |
| CN103714526A (zh) * | 2013-12-24 | 2014-04-09 | 西安电子科技大学 | 基于稀疏多流形嵌入的超分辨率图像重构方法 |
-
2015
- 2015-07-07 CN CN201510394009.XA patent/CN104952053B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103400341A (zh) * | 2013-07-03 | 2013-11-20 | 西安电子科技大学 | 基于压缩感知的空谱域联合恢复高光谱数据的方法 |
| CN103714526A (zh) * | 2013-12-24 | 2014-04-09 | 西安电子科技大学 | 基于稀疏多流形嵌入的超分辨率图像重构方法 |
Non-Patent Citations (4)
| Title |
|---|
| Novel super resolution restoration of remote sensing image based on compressive sensing and example patches-aided dictionary learning;Shuyuan Yang 等;《International Workshop on Multi-Platform/multi-Sensor Remote Sensing and Mapping》;20110112;第2-3页 * |
| Super-Resolution Through Neighbor Embedding;Hong Chang 等;《Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition》;20041231;第1-8页 * |
| 基于流形学习的图像超分辨率重建研究;汪智易;《中国优秀硕士学位论文全文数据库 信息科技辑》;20141115;第I138-323页 * |
| 非线性压缩成像理论与实现研究;马永刚;《中国优秀硕士学位论文全文数据库 信息科技辑》;20141115;第I136-154页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104952053A (zh) | 2015-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112766160A (zh) | 基于多级属性编码器和注意力机制的人脸替换方法 | |
| CN107958444A (zh) | 一种基于深度学习的人脸超分辨率重建方法 | |
| CN104021523B (zh) | 一种基于边缘分类的图像超分辨率放大的方法 | |
| CN103903236B (zh) | 人脸图像超分辨率重建的方法和装置 | |
| CN105793891A (zh) | 用于确定高分辨率输出图像的方法和设备 | |
| CN110348496A (zh) | 一种人脸图像融合的方法及系统 | |
| CN104952053B (zh) | 基于非线性压缩感知的人脸图像超分辨重构方法 | |
| CN105447823A (zh) | 一种图像处理方法及一种电子设备 | |
| CN107341844A (zh) | 一种基于多Kinect的实时三维人体绘制方法 | |
| CN114897742B (zh) | 一种纹理和结构特征两次融合的图像修复方法 | |
| CN112001843A (zh) | 一种基于深度学习的红外图像超分辨率重建方法 | |
| CN114187203A (zh) | 注意力优化的深度编解码去雾生成对抗网络 | |
| Wang et al. | Image super-resolution using a improved generative adversarial network | |
| CN112184549B (zh) | 基于时空变换技术的超分辨图像重建方法 | |
| Shi et al. | Loss functions for pose guided person image generation | |
| Jiang et al. | CT image super resolution based on improved SRGAN | |
| CN112633288A (zh) | 一种基于绘画笔触指导的人脸素描生成方法 | |
| Thakur et al. | Gradient and multi scale feature inspired deep blind gaussian denoiser | |
| CN105069767B (zh) | 基于表征学习与邻域约束嵌入的图像超分辨重构方法 | |
| CN106778576A (zh) | 一种基于sehm特征图序列的动作识别方法 | |
| CN109685892A (zh) | 一种快速3d人脸构建系统及构建方法 | |
| CN109241932A (zh) | 一种基于运动方差图相位特征的热红外人体动作识别方法 | |
| Liang et al. | Deep convolution neural networks for automatic eyeglasses removal | |
| Qiu et al. | A GAN-based motion blurred image restoration algorithm | |
| CN107169484B (zh) | 基于人眼视觉特性的图像质量评价方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |