CN108596838A - 一种基于学习的单帧人脸图像超分方法及装置 - Google Patents
一种基于学习的单帧人脸图像超分方法及装置 Download PDFInfo
- Publication number
- CN108596838A CN108596838A CN201810439010.3A CN201810439010A CN108596838A CN 108596838 A CN108596838 A CN 108596838A CN 201810439010 A CN201810439010 A CN 201810439010A CN 108596838 A CN108596838 A CN 108596838A
- Authority
- CN
- China
- Prior art keywords
- resolution
- low
- dictionary
- new
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000001815 facial effect Effects 0.000 title claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 42
- 238000012360 testing method Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 26
- 102000008297 Nuclear Matrix-Associated Proteins Human genes 0.000 claims description 24
- 108010035916 Nuclear Matrix-Associated Proteins Proteins 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims description 24
- 210000000299 nuclear matrix Anatomy 0.000 claims description 24
- 230000009466 transformation Effects 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 238000009795 derivation Methods 0.000 description 3
- 210000003462 vein Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010238 partial least squares regression Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理技术领域，提供了一种基于学习的单帧人脸图像超分方法及装置，该方法包括：根据训练用的高分辨率图像及对应的低分辨率图像分别建立低分辨率字典和高分辨率字典，其中所述低分辨率图像由所述高分辨率图像降采样后获得；根据所述低分辨率字典计算特征空间下的低分辨率字典，根据测试用的低分辨率图像计算特征空间下的低分辨率输入的新特征，并计算通过特征空间下的低分辨率字典训练得到的编码系数；基于所述编码系数和高分辨率字典重建超分后的高分辨率图像。本发明可以满足对低分辨率人脸的高分辨率显示，从而提升人脸识别的准确率。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于学习的单帧人脸图像超分方法及装置。
背景技术
目前我们的现实生活中应用了很多识别算法，而这些识别算法大多依赖于人体的一些生物特征，如指纹、虹膜、静脉、人脸等等。虽然这些生物特征都有自己的特性，但是面临着如何采集到满足算法的实验样本的困难。如指纹识别，虽然与其相关的算法已经得到了广泛的应用，接触式采集的本质造成了采集样本的不确定性，所以关于指纹的精确采集仍然是现在难题，而且目前使用的一些指纹采集器有成本偏高，无法大规模使用的问题。虹膜识别虽然以其高精度的识别率而著称，甚至还有人因为这个原因把它与银行支付相关联，但是目前市场上仍然很难看到一款低成本的虹膜采集器。静脉识别面临着同样的问题，因为它还需要强光才能把人的静脉显示出来，这进一步提高了数据采集的难度。
人脸识别却可以在一定程度上克服这些问题，因为人脸不但有有采集非接触性、采集非强制性这些有利于数据采集的特征，而且还具有唯一性、特征丰富性等这些有利于识别的特征，所以最近几年人脸识别已经越来越得到重视。不过人脸虽然有上面的多种特性，而且人脸图像的获取因为数码照相爆炸式的发展也越来越容易，可是并不代表人脸识别就是一个极其理想的识别系统。这不但因为算法的鲁棒性的问题，而且很大原因上是因为自然环境中拍摄人脸时有各种各样的场景，其中一个最不利于人脸识别的场景就是低分辨率的问题。因此人脸超分是目前一个重要的研究方向。
发明内容
本发明要解决的技术问题在于，针对现有技术中的上述缺陷，提供了一种基于学习的单帧人脸图像超分方法及装置。
为了解决上述技术问题，本发明提供了一种基于学习的单帧人脸图像超分方法，包括：
根据训练用的高分辨率图像及对应的低分辨率图像分别建立低分辨率字典和高分辨率字典，其中所述低分辨率图像由所述高分辨率图像降采样后获得；
根据所述低分辨率字典计算特征空间下的低分辨率字典，根据测试用的低分辨率图像计算特征空间下的低分辨率输入的新特征，并计算通过特征空间下的低分辨率字典训练得到的编码系数；
基于所述编码系数和高分辨率字典重建超分后的高分辨率图像。
可选地，所述根据训练用的高分辨率图像及对应的低分辨率图像分别建立低分辨率字典和高分辨率字典，包括：
对高分辨率图像及对应的低分辨率图像进行分块，得到相同数量的高分辨率块和低分辨率块；
以表示建立的高分辨率字典，表示建立的低分辨率字典，其中dh，dl分别表示高分辨率块的大小和低分辨率块的大小，N表示训练样本的个数，xk和yk分别表示由高分辨率块和低分辨率块中的像素构成的列向量。
可选地，所述根据所述低分辨率字典计算特征空间下的低分辨率字典，包括：
通过以下公式计算特征空间下的低分辨率字典Dnew-l：
其中，M为新特征的维数，N为训练样本的大小，pk T(i,j)为通过非线性变换和相关性分析之后的新低分辨率特征，为矩阵的特征向量，其中K为对低分辨率字典Dl进行高斯变换后的第一核矩阵。
可选地，所述根据测试用的低分辨率图像计算特征空间下的低分辨率输入的新特征，包括：
(1)通过以下公式计算Φ(Dl)Tr和参数λ；
其中K为所述第一核矩阵，Dh为高分辨率字典，Dl为低分辨率字典，Φ(Dl)为低分辨率字典Dl的非线性映射，通过求矩阵的特征值和特征向量分别得到λ和Φ(Dl)Tr，其中所求的特征向量就是低分辨率图像在特征空间下的新特征Dnew-l；
(2)通过以下公式计算特征空间下的低分辨率输入的新特征ynew：
其中，K(·,y)为第二核矩阵，且K(·,y)＝[K(y1,y),...K(yN,y)]T，其中y1至yN为低分辨率字典Dl中的低分辨率块，y为测试用的低分辨率图像中对应低分辨率块的列向量。
可选地，所述计算通过低分辨率字典训练得到的编码系数，包括：
通过以下公式计算编码系数
其中，Dnew-l为特征空间下的低分辨率字典，γ为预设参数，I为单位矩阵，ynew为特征空间下的低分辨率输入的新特征。
可选地，所述基于所述编码系数和高分辨率字典重建超分后的高分辨率图像，包括：
通过以下公式计算超分后的高分辨率图像：
其中，x为超分后的高分辨率图像的高分辨率块，Dh为所述高分辨率字典，为编码系数。
本发明还提供了一种基于学习的单帧人脸图像超分装置，包括：
字典建立模块，用于根据训练用的高分辨率图像及对应的低分辨率图像分别建立低分辨率字典和高分辨率字典，其中所述低分辨率图像由所述高分辨率图像降采样后获得；
编码系数计算模块，用于根据所述低分辨率字典计算特征空间下的低分辨率字典，根据测试用的低分辨率图像计算特征空间下的低分辨率输入的新特征，并计算通过特征空间下的低分辨率字典训练得到的编码系数；
图像超分模块，用于基于所述编码系数和高分辨率字典重建超分后的高分辨率图像。
可选地，所述字典建立模块对高分辨率图像及对应的低分辨率图像进行分块，得到相同数量的高分辨率块和低分辨率块；并以表示建立的高分辨率字典，表示建立的初始低分辨率字典，其中dh，dl分别表示高分辨率块的大小和低分辨率块的大小，N表示训练样本的个数，xk和yk分别表示由高分辨率块和低分辨率块中的像素构成的列向量。
可选地，所述编码系数计算模块包括：
第一处理单元，用于通过以下公式计算特征空间下的低分辨率字典Dnew-l：
其中，M为新特征的维数，N为训练样本的大小，pk T(i,j)为通过非线性变换和相关性分析之后的新低分辨率特征，为矩阵的特征向量，其中K为对低分辨率字典Dl进行高斯变换后的第一核矩阵；
第二处理单元，用于根据测试用的低分辨率图像计算特征空间下的低分辨率输入的新特征，包括：
(1)通过以下公式计算Φ(Dl)Tr和参数λ；
其中K为所述第一核矩阵，Dh为高分辨率字典，Dl为低分辨率字典，Φ(Dl)为低分辨率字典Dl的非线性映射，通过求矩阵的特征值和特征向量分别得到λ和Φ(Dl)Tr；
(2)通过以下公式计算特征空间下的低分辨率输入的新特征ynew：
其中，K(·,y)为第二核矩阵，且K(·,y)＝[K(y1,y),...K(yN,y)]T，其中y1至yN为低分辨率字典Dl中的低分辨率块，y为测试用的低分辨率图像中对应低分辨率块的列向量。
第三处理单元，通过以下公式计算编码系数
其中，Dnew-l为特征空间下的低分辨率字典，γ为预设参数，I为单位矩阵，ynew为特征空间下的低分辨率输入的新特征。
可选地，所述图像超分模块通过以下公式计算超分后的高分辨率图像：
其中，x为超分后的高分辨率图像的高分辨率块，Dh为所述高分辨率字典，为编码系数。
实施本发明实施例提供的基于学习的单帧人脸图像超分方法及装置，至少具有如下有益效果：本发明针对PC环境下人脸分辨率低问题，提供一种基于学习的单帧人脸超分方法及装置，可满足低分辨率人脸的高分辨率显示，从而提升人脸识别的准确率。
附图说明
图1是本发明实施例一所提供基于学习的单帧人脸图像超分方法的流程图；
图2为高分辨率训练集和低分辨率训练集的示意图；
图3为对高分辨率图像和低分辨率图像进行分块的示意图；
图4为高分辨率字典和低分辨率字典的列向量示意图；
图5示出了本发明的超分实验结果；
图6是本发明实施例四所提供基于学习的单帧人脸图像超分装置的示意图；
图7是本发明实施例所提供的基于学习的单帧人脸图像超分装置所在设备的示意图；
图中：601：字典建立模块；602：编码系数计算模块；603：图像超分模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
如图1所示，本发明实施例提供的基于学习的单帧人脸图像超分方法，可以包括以下步骤：
步骤S101：根据训练用的高分辨率图像及对应的低分辨率图像分别建立低分辨率字典和高分辨率字典，其中所述低分辨率图像由所述高分辨率图像降采样后获得。
步骤S102：根据所述低分辨率字典计算特征空间下的低分辨率字典，根据测试用的低分辨率图像计算特征空间下的低分辨率输入的新特征，并计算通过特征空间下的低分辨率字典训练得到的编码系数。
步骤S103：基于所述编码系数和高分辨率字典重建超分后的高分辨率图像。
本发明根据构建的字典学习高分辨率人脸与低分辨率人脸之间的非线性映射关系，实现对输入的低分辨率人脸高分辨率表示。优选地，采用半-核偏最小二乘法来构建训练样本的特征空间，协同表达用来获取映射系数，通过线性系数与输入的低分辨率人脸加权求和获取高分辨率人脸。
实施例二
因为本发明的方法是基于学习的，所以需要进行机器学习的训练字典。本发明使用的字典有两个，而且是成对出现的，一个是用于训练的低分辨率字典，一个是用于重建高分实验结果的高分辨率字典。本发明的输入是低分测试样本，通过低分训练字典的训练得到相关的编码系数，再由相应的高分辨率字典重建获得高分实验结果。
在实施例一所提供基于学习的单帧人脸图像超分方法的基础上，步骤S101中根据训练用的高分辨率图像及对应的低分辨率图像分别建立低分辨率字典和高分辨率字典的过程，具体可以通过如下步骤实现：
1)对高分辨率图像及对应的低分辨率图像进行分块，得到相同数量的高分辨率块和低分辨率块。
本发明的方法是在人脸识别技术工程(FERET)库中人脸图像进行试验，如图2列出了由随机选择的图像构成的训练样本集。其中，高分辨率图像是通过从FERET库中直接随机选择获得的，构成本发明使用的高分训练集。而低分辨率图像如图所示，是通过对高分训练集中的图像降采样获得的，构成低分训练集。优选地，对高分训练集中的图像进行事先配准，其配准的方式是通过对眼睛和嘴巴进行三点法的手工配准。
有了高分训练集和低分训练集，本发明就可以对其中高分辨率图像和低分辨率图像进行分块如图3所示，其中图3中Xk(i,j)表示高分样本集中的第k个图像，而(i,j)代表高分辨率块的坐标位置。当然为了重建高分实验结果，高分辨率块的个数和低分辨率块的个数是相同的。图中yk(i,j)就表示由Xk(i,j)降采样得到的低分辨率块。优选地，本发明在对高分辨率图像和低分辨率图像进行分块时，块与块之间有重叠部分，如图3所示。这是因为本发明是对每一块进行训练的，所以在重建的时候同样也是对每一块先进行重建，再由这些重建好的块拼成最终的高分实验结果。如果块与块之间没有重叠，那么在拼接的过程中就会出现明显的块效应，所以为了避免这种块效应，本发明优选在重叠分块的基础上，拼接的时候把重叠的部分进行加权求和，即对重叠部分的每一个像素值直接进行求平均值即可。
2)以表示建立的初始的高分辨率字典，表示建立的初始的低分辨率字典，其中dh，dl分别表示高分辨率块的大小和低分辨率块的大小，N表示训练样本的个数，xk和yk分别表示由高分辨率块和低分辨率块中的像素构成的列向量，其中按照像素坐标位置依次获取每块的像素值构成训练字典，其具体的表示过程如图4所示，其中a，b，c，d，e，f，g，h和i分别表示每个位置的像素值，整体按照列数从小到大进行获得，而每列中按照行数从小到大获得每个位置的像素值。通过这样的分块本发明就可以获得初始的训练字典Dh和Dl。
实施例三
在实施例二所提供基于学习的单帧人脸图像超分方法的基础上，优选地，步骤S102中根据所述低分辨率字典计算特征空间下的低分辨率字典的过程，具体可以通过以下公式计算特征空间下的低分辨率字典Dnew-l：
其中，M为新特征的维数，N为训练样本的大小，pk T(i,j)为通过非线性变换和相关性分析之后的新低分辨率特征，为矩阵的特征向量，其中K为对低分辨率字典Dl进行高斯变换后的第一核矩阵。
优选地，步骤S102中根据测试用的低分辨率图像计算特征空间下的低分辨率输入的新特征的过程，具体可以通过如下步骤实现：
(1)通过以下公式计算Φ(Dl)Tr和参数λ；
其中K为所述第一核矩阵，Dh为高分辨率字典，Dl为低分辨率字典，Φ(Dl)为低分辨率字典Dl的非线性映射；
(2)通过以下公式计算特征空间下的低分辨率输入的新特征ynew：
其中，K(·,y)为第二核矩阵，且K(·,y)＝[K(y1,y),...K(yN,y)]T，其中y1至yN为低分辨率字典Dl中的低分辨率块，y为测试用的低分辨率图像中对应低分辨率块的列向量。
优选地，步骤S102中计算通过低分辨率字典训练得到的编码系数的过程，具体可以通过以下公式计算编码系数
其中，Dnew-l为特征空间下的低分辨率字典，γ为预设参数，I为单位矩阵，ynew为特征空间下的低分辨率输入的新特征。
优选地，步骤S103中基于所述编码系数和高分辨率字典重建超分后的高分辨率图像的过程，具体可以通过以下公式计算超分后的高分辨率图像：
其中，x为超分后的高分辨率图像的高分辨率块，Dh为所述高分辨率字典，为编码系数。
本发明是基于非线性相关特征映射来构建高分辨率人脸与低分辨率人脸之间的关系的。下面介绍本发明上述计算过程中各公式的原理及推导过程。
本发明基于半-核偏最小二乘法(Semi-KPLS)实现，Semi-KPLS的目标函数如下：
式中var,corr分别表示方差和相关性，半-核偏最小二乘法确实既使得方差最大，保证了所谓的低分和高分编码系数系数在理论上的统一性。r和s分别表示映射向量，不过在Semi-KPLS中表示映射矩阵。因为在核偏最小二乘回归法中，每一步迭代只提取特征值最大的特征向量，所以每一步迭代其特征的维数只有一维，所以r和s表示映射向量。然而，在本发明定义的Semi-KPLS中，并没有迭代的过程，本发明需要寻找一个映射矩阵，通过原始特征与映射矩阵相乘，直接获得新的特征，所以此时的r和s表示映射矩阵。其中Φ(Dl)表示低分辨率字典Dl非线性映射，通过这个非线性映射，可以把低分辨率字典Dl低维特征映射到高维空间上去。根据核空间与分类器结合的理论可知，在低维空间不具有线性特性的特征，通过非线性映射到高维空间形成的新的特征具有线性特性。这也是本发明通过核映射建立线性空间的理论基础。通过核函数的概念可知，并不需要知道非线性映射Φ(·)的具体的显示表达式，而只需知道通过核函数构建的核矩阵的显示表达式即可。因为所谓的高斯核函数可以把特征投影到无穷维，更能保证了投影后特征之间的线性关系，其具体表达式如下所示：
K(ym,yn)＝Φ(ym)TΦ(yn)＝exp(-||ym-yn||2/2σ2) (7)
式中K(ym,yn)为核矩阵，ym和yn为初始的低分辨率字典中的列向量，m和n为低分辨率字典中的任意两个列向量标号。σ是方差，用来控制高斯核的宽度。通过非线性投影Φ(·)后初始的低分辨率字典：
其中D就是经过非线性映射后特征的维数，不过根据核函数的概念可知也没有必要知道这个数的具体数值。当然同PLS的推导过程一样，式(6)的等价方程如下表示：
上式中可以看出，这个方程类似于主成分分析中的方程，即由特征向量构成映射矩阵。为了得到Φ(Dl)在映射矩阵r下的新的特征，我们把Φ(Dl)乘以上式的两端，如下所示：
因为我们对核函数的定义如下：
K＝Φ(Dl)TΦ(Dl)＝K(yi,yj) (11)
所以上式(10)可以变换为上述式(2)。
通过式(2)可以看出要想获得特征空间下的新的特征向量，只需求得矩阵的特征向量即可，其中K为对低分辨率字典Dl进行高斯变换后的第一核矩阵，计算公式如(11)所示，其中yi和yj为低分辨率字典中任意两个低分辨率的块。因此，特征空间下的低分辨率字典即新的训练字典可以推导出由式(1)表示。
新的训练字典构造完成后，为了对测试用的低分辨率图像进行超分，先要将测试用的低分辨率图像采用如步骤S101中的方法对图像进行同样的分块，得到输入的低分辨率块，将其在新的训练字典下线性表示。因此，必须先把输入的低分辨率块同样通过映射矩阵r，映射到相同的空间中去，同样本发明把输入的低分辨率块表示为y，那么先把y通过非线性变换为ΦT(y)，然后再把ΦT(y)乘以式(9)的两端可以得到如下形式：
其中ΦT(y)Φ(Dl)可以通过下式表示：
ΦT(y)Φ(Dl)＝K(·,y)＝[K(y1,y),...K(yN,y)]T (13)
所以联合式(12)和式(13)可以得到输入低分辨率的新特征ynew如式(3)所示，其中K(·,y)为第二核矩阵，第二核矩阵K(·,y)与第一核矩阵只是输入的变量不同。第二核矩阵K(·,y)的计算公式如(13)，其中y1至yN为低分辨率字典Dl中的低分辨率块，y为测试用的低分辨率图像中对应低分辨率块的列向量。通过上面的推导过程，本发明获得了在非线性相关矩阵映射下的新的训练字典和新的输入特征。下面本发明就可以通过求解线性表达的方法确定在新的特征下的低分辨率的编码系数。
虽然稀疏表达有较高的稀疏性，但是在现实中过完备字典是很难获得的，如果我
们不能保证字典的绝对过完备性，那么此时的稀疏表达的准确度会明显降低。而协同表达
虽然降低了编码系数的稀疏性，但是能够更好表示输入图像与训练图像之间的关系，其目
标函数的表达式如下：
其中α就是本发明要求的编码系数，Φ是训练字典，y是输入向量，然后我们把对应的参数用上一步产生的新的训练字典和输入特征代替：
对式(15)其求偏导，最终的结果如公式(4)所示。从公式(4)来看，本发明不需要迭代过程，或者像稀疏表达那样的贪婪算法，所以很容易求得编码系数
对测试用的低分辨率图像进行超分后得到的高分辨率图像，可以由式(5)计算的最终的高分辨率块构成。
由此可见，本发明构造的特征空间，即保证了特征之间的线性关系，而且最大化了低分特征与高分特征之间的相关性。所以在该特征下通过训练得到的低分编码系数与高分编码系数具有较高的一致性。正是有了这种较高的一致性，本发明才把获得的低分编码系数直接用来重建高分实验结果。当然通过(5)式求得所有的高分辨率块后，本发明可以将块与块之间重叠的部分进行加权平均，有效的消除块效应。
本发明对实施例三的方法进行了验证。从FERET随机选取300张不同的人脸作为原始的训练库。对这些人脸进行人工配准和截取，获得300张大小为126*126人脸图像并由它们构成高分样本集。对上述的高分样本集进行下采样，获得300张18*18的低分人脸并由它们构成低样本集。在式(7)中σ设置为100，在式(4)中γ＝1.0×10-6，降维的维数M设置为100。图5显示了该实施例的实验结果，如图5中所示，左边一列是输入的测试用低分辨率图像，中间是经本发明超分后得到的高分辨率图像，右边是现实的高分辨率原图，也就是通常说的ground-true。通过主观的对比发现，本发明实验结果完整的保持了人脸的整体特征。
实施例四
如图6所示，本发明实施例提供的基于学习的单帧人脸图像超分装置，可以包括：字典建立模块601、编码系数计算模块602和图像超分模块603。
字典建立模块601用于根据训练用的高分辨率图像及对应的低分辨率图像分别建立低分辨率字典和高分辨率字典，其中所述低分辨率图像由所述高分辨率图像降采样后获得。该字典建立模块601执行的操作与前述方法中步骤S101相同。
编码系数计算模块602用于根据所述低分辨率字典计算特征空间下的低分辨率字典，根据测试用的低分辨率图像计算特征空间下的低分辨率输入的新特征，并计算通过特征空间下的低分辨率字典训练得到的编码系数。该编码系数计算模块602执行的操作与前述方法中步骤S102相同。
图像超分模块603用于基于所述编码系数和高分辨率字典重建超分后的高分辨率图像。该图像超分模块603执行的操作与前述方法中步骤S103相同。
可选地，字典建立模块601对高分辨率图像及对应的低分辨率图像进行分块，得到相同数量的高分辨率块和低分辨率块；并以表示建立的高分辨率字典，表示建立的初始低分辨率字典，其中dh，dl分别表示高分辨率块的大小和低分辨率块的大小，N表示训练样本的个数，xk和yk分别表示由高分辨率块和低分辨率块中的像素构成的列向量。
可选地，编码系数计算模块602包括：第一处理单元、第二处理单元和第三处理单元。
第一处理单元用于通过以下公式计算特征空间下的低分辨率字典Dnew-l：
其中，M为新特征的维数，N为训练样本的大小，pk T(i,j)为通过非线性变换和相关性分析之后的新低分辨率特征，为矩阵的特征向量，其中K为对低分辨率字典Dl进行高斯变换后的第一核矩阵；
第二处理单元用于根据测试用的低分辨率图像计算特征空间下的低分辨率输入的新特征，包括：
(1)通过以下公式计算Φ(Dl)Tr和参数λ；
其中K为所述第一核矩阵，Dh为高分辨率字典，Dl为低分辨率字典，Φ(Dl)为低分辨率字典Dl的非线性映射，通过求矩阵KDh TDh的特征值和特征向量分别得到λ和Φ(Dl)Tr；
(2)通过以下公式计算特征空间下的低分辨率输入的新特征ynew：
其中，K(·,y)为第二核矩阵，且K(·,y)＝[K(y1,y),...K(yN,y)]T，其中y1至yN为低分辨率字典Dl中的低分辨率块，y为测试用的低分辨率图像中对应低分辨率块的列向量。
第三处理单元通过以下公式计算编码系数
其中，Dnew-l为特征空间下的低分辨率字典，γ为预设参数，I为单位矩阵，ynew为特征空间下的低分辨率输入的新特征。
可选地，图像超分模块通过以下公式计算超分后的高分辨率图像：
其中，x为超分后的高分辨率图像的高分辨率块，Dh为所述高分辨率字典，为编码系数。
另外需要说明的是，本发明实施例提供的基于学习的单帧人脸图像超分装置，可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言，如图7所示，为本发明实施例提供的微动特征获取装置所在设备的一种硬件结构图，除了图7所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等。以软件实现为例，如图6所示，作为一个逻辑意义上的装置，是通过其所在设备的CPU将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。例如，本发明提出的基于学习的单帧人脸图像超分装置作为一种高清远距离人脸识别系统，其软件代码采用VC++编程实现。
综上所述，本发明针对PC环境下人脸分辨率低问题，设计一种基于学习的单帧人脸超分方法及装置，可在满足对低分辨率的人脸高分辨率显示，从而提升人脸识别的准确率。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于学习的单帧人脸图像超分方法，其特征在于，包括：
根据训练用的高分辨率图像及对应的低分辨率图像分别建立低分辨率字典和高分辨率字典，其中所述低分辨率图像由所述高分辨率图像降采样后获得；
根据所述低分辨率字典计算特征空间下的低分辨率字典，根据测试用的低分辨率图像计算特征空间下的低分辨率输入的新特征，并计算通过特征空间下的低分辨率字典训练得到的编码系数；
基于所述编码系数和高分辨率字典重建超分后的高分辨率图像。
2.根据权利要求1所述的方法，其特征在于，所述根据训练用的高分辨率图像及对应的低分辨率图像分别建立低分辨率字典和高分辨率字典，包括：
对高分辨率图像及对应的低分辨率图像进行分块，得到相同数量的高分辨率块和低分辨率块；
以表示建立的高分辨率字典，表示建立的低分辨率字典，其中dh，dl分别表示高分辨率块的大小和低分辨率块的大小，N表示训练样本的个数，xk和yk分别表示由高分辨率块和低分辨率块中的像素构成的列向量。
3.根据权利要求2所述的方法，其特征在于，所述根据所述低分辨率字典计算特征空间下的低分辨率字典，包括：
通过以下公式计算特征空间下的低分辨率字典Dnew-l：
其中，M为新特征的维数，N为训练样本的大小，pk T(i,j)为通过非线性变换和相关性分析之后的新低分辨率特征，为矩阵的特征向量，其中K为对低分辨率字典Dl进行高斯变换后的第一核矩阵。
4.根据权利要求3所述的方法，其特征在于，所述根据测试用的低分辨率图像计算特征空间下的低分辨率输入的新特征，包括：
(1)通过以下公式计算Φ(Dl)Tr和参数λ；
其中K为所述第一核矩阵，Dh为高分辨率字典，Dl为低分辨率字典，Φ(Dl)为低分辨率字典Dl的非线性映射，通过求矩阵的特征值和特征向量分别得到λ和Φ(Dl)Tr；
(2)通过以下公式计算特征空间下的低分辨率输入的新特征ynew：
其中，K(·,y)为第二核矩阵，且K(·,y)＝[K(y1,y),...K(yN,y)]T，其中y1至yN为低分辨率字典Dl中的低分辨率块，y为测试用的低分辨率图像中对应低分辨率块的列向量。
5.根据权利要求4所述的方法，其特征在于，所述计算通过低分辨率字典训练得到的编码系数，包括：
通过以下公式计算编码系数
其中，Dnew-l为特征空间下的低分辨率字典，γ为预设参数，I为单位矩阵，ynew为特征空间下的低分辨率输入的新特征。
6.根据权利要求5所述的方法，其特征在于，所述基于所述编码系数和高分辨率字典重建超分后的高分辨率图像，包括：
通过以下公式计算超分后的高分辨率图像：
其中，x为超分后的高分辨率图像的高分辨率块，Dh为所述高分辨率字典，为编码系数。
7.一种基于学习的单帧人脸图像超分装置，其特征在于，包括：
字典建立模块，用于根据训练用的高分辨率图像及对应的低分辨率图像分别建立低分辨率字典和高分辨率字典，其中所述低分辨率图像由所述高分辨率图像降采样后获得；
编码系数计算模块，用于根据所述低分辨率字典计算特征空间下的低分辨率字典，根据测试用的低分辨率图像计算特征空间下的低分辨率输入的新特征，并计算通过特征空间下的低分辨率字典训练得到的编码系数；
图像超分模块，用于基于所述编码系数和高分辨率字典重建超分后的高分辨率图像。
8.根据权利要求7所述的装置，其特征在于，所述字典建立模块对高分辨率图像及对应的低分辨率图像进行分块，得到相同数量的高分辨率块和低分辨率块；并以表示建立的高分辨率字典，表示建立的初始低分辨率字典，其中dh，dl分别表示高分辨率块的大小和低分辨率块的大小，N表示训练样本的个数，xk和yk分别表示由高分辨率块和低分辨率块中的像素构成的列向量。
9.根据权利要求8所述的装置，其特征在于，所述编码系数计算模块包括：
第一处理单元，用于通过以下公式计算特征空间下的低分辨率字典Dnew-l：
其中，M为新特征的维数，N为训练样本的大小，pk T(i,j)为通过非线性变换和相关性分析之后的新低分辨率特征，为矩阵的特征向量，其中K为对低分辨率字典Dl进行高斯变换后的第一核矩阵；
第二处理单元，用于根据测试用的低分辨率图像计算特征空间下的低分辨率输入的新特征，包括：
(1)通过以下公式计算Φ(Dl)Tr和参数λ；
其中K为所述第一核矩阵，Dh为高分辨率字典，Dl为低分辨率字典，Φ(Dl)为低分辨率字典Dl的非线性映射，通过求矩阵的特征值和特征向量分别得到λ和Φ(Dl)Tr；
(2)通过以下公式计算特征空间下的低分辨率输入的新特征ynew：
其中，K(·,y)为第二核矩阵，且K(·,y)＝[K(y1,y),...K(yN,y)]T，其中y1至yN为低分辨率字典Dl中的低分辨率块，y为测试用的低分辨率图像中对应低分辨率块的列向量。
第三处理单元，通过以下公式计算编码系数
其中，Dnew-l为特征空间下的低分辨率字典，γ为预设参数，I为单位矩阵，ynew为特征空间下的低分辨率输入的新特征。
10.根据权利要求9所述的装置，其特征在于，所述图像超分模块通过以下公式计算超分后的高分辨率图像：
其中，x为超分后的高分辨率图像的高分辨率块，Dh为所述高分辨率字典，为编码系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810439010.3A CN108596838B (zh) | 2018-05-09 | 2018-05-09 | 一种基于学习的单帧人脸图像超分方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810439010.3A CN108596838B (zh) | 2018-05-09 | 2018-05-09 | 一种基于学习的单帧人脸图像超分方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108596838A true CN108596838A (zh) | 2018-09-28 |
| CN108596838B CN108596838B (zh) | 2022-02-18 |
Family
ID=63636826
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810439010.3A Active CN108596838B (zh) | 2018-05-09 | 2018-05-09 | 一种基于学习的单帧人脸图像超分方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108596838B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113628108A (zh) * | 2021-07-05 | 2021-11-09 | 上海交通大学 | 基于离散表示学习的图像超分辨率方法和系统、终端 |
| CN113628109A (zh) * | 2021-07-16 | 2021-11-09 | 上海交通大学 | 基于可学习字典的人脸五官超分辨率方法和系统、介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103034974A (zh) * | 2012-12-07 | 2013-04-10 | 武汉大学 | 基于支撑集驱动稀疏编码的人脸图像超分辨率重建方法 |
| CN105787462A (zh) * | 2016-03-16 | 2016-07-20 | 武汉工程大学 | 基于半耦合判决性字典学习的极低分辨率人脸识别方法及系统 |
| CN106157251A (zh) * | 2015-04-01 | 2016-11-23 | 武汉大学 | 一种基于柯西正则化的人脸超分辨率方法 |
| CN106530231A (zh) * | 2016-11-09 | 2017-03-22 | 武汉工程大学 | 一种基于深层协作表达的超分辨率图像的重建方法及系统 |
| WO2017075768A1 (zh) * | 2015-11-04 | 2017-05-11 | 北京大学深圳研究生院 | 一种基于字典匹配的图像超分辨率重建方法及装置 |
| CN106709872A (zh) * | 2016-12-08 | 2017-05-24 | 中国人民解放军国防科学技术大学 | 一种快速图像超分辨率重构方法 |
-
2018
- 2018-05-09 CN CN201810439010.3A patent/CN108596838B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103034974A (zh) * | 2012-12-07 | 2013-04-10 | 武汉大学 | 基于支撑集驱动稀疏编码的人脸图像超分辨率重建方法 |
| CN106157251A (zh) * | 2015-04-01 | 2016-11-23 | 武汉大学 | 一种基于柯西正则化的人脸超分辨率方法 |
| WO2017075768A1 (zh) * | 2015-11-04 | 2017-05-11 | 北京大学深圳研究生院 | 一种基于字典匹配的图像超分辨率重建方法及装置 |
| CN105787462A (zh) * | 2016-03-16 | 2016-07-20 | 武汉工程大学 | 基于半耦合判决性字典学习的极低分辨率人脸识别方法及系统 |
| CN106530231A (zh) * | 2016-11-09 | 2017-03-22 | 武汉工程大学 | 一种基于深层协作表达的超分辨率图像的重建方法及系统 |
| CN106709872A (zh) * | 2016-12-08 | 2017-05-24 | 中国人民解放军国防科学技术大学 | 一种快速图像超分辨率重构方法 |
Non-Patent Citations (2)
| Title |
|---|
| HUASHENG ZHU等: "Super-Resolution Reconstruction of Face Image with Improved Sparse Constraint", 《IEEE XPLORE》 * |
| 张坤: "基于学习的人脸图像超分辨率重建方法研究", 《万方学位论文》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113628108A (zh) * | 2021-07-05 | 2021-11-09 | 上海交通大学 | 基于离散表示学习的图像超分辨率方法和系统、终端 |
| CN113628108B (zh) * | 2021-07-05 | 2023-10-27 | 上海交通大学 | 基于离散表示学习的图像超分辨率方法和系统、终端 |
| CN113628109A (zh) * | 2021-07-16 | 2021-11-09 | 上海交通大学 | 基于可学习字典的人脸五官超分辨率方法和系统、介质 |
| CN113628109B (zh) * | 2021-07-16 | 2023-11-28 | 上海交通大学 | 基于可学习字典的人脸五官超分辨率方法和系统、介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108596838B (zh) | 2022-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Tom-net: Learning transparent object matting from a single image | |
| Shi et al. | Hallucinating face image by regularization models in high-resolution feature space | |
| CN110399849A (zh) | 图像处理方法及装置、处理器、电子设备及存储介质 | |
| Jähne | Digital image processing | |
| US11475624B2 (en) | Method and apparatus for generating three-dimensional model, computer device and storage medium | |
| CN113159143B (zh) | 基于跳跃连接卷积层的红外与可见光图像融合方法和装置 | |
| CN108898043A (zh) | 图像处理方法、图像处理装置以及存储介质 | |
| An et al. | TR-MISR: Multiimage super-resolution based on feature fusion with transformers | |
| CN110458924B (zh) | 一种三维脸部模型建立方法、装置和电子设备 | |
| CN109147011A (zh) | 车牌图像生成方法、装置、计算机设备及存储介质 | |
| CN104537705A (zh) | 基于增强现实的移动平台三维生物分子展示系统和方法 | |
| Li et al. | Deep recursive up-down sampling networks for single image super-resolution | |
| CN106529549B (zh) | 基于自适应特征和离散余弦变换的视觉显著性检测方法 | |
| CN108596838A (zh) | 一种基于学习的单帧人脸图像超分方法及装置 | |
| Wang et al. | Image super-resolution using non-local Gaussian process regression | |
| CN106447667B (zh) | 基于自学习特征和矩阵低秩复原的视觉显著性检测方法 | |
| CN112102169A (zh) | 一种红外图像拼接方法、装置和存储介质 | |
| CN115908753B (zh) | 一种全身人体网格表面重建方法及相关装置 | |
| CN113076918B (zh) | 基于视频的人脸表情克隆方法 | |
| Fang et al. | Light field reconstruction with a hybrid sparse regularization-pseudo 4DCNN framework | |
| DE102018127265A1 (de) | Multi-einzelbild-videointerpolation mit optischem fluss | |
| CN106204667B (zh) | 一种解决图像超分辨率重建中的相似度保留问题的稀疏编码方法 | |
| CN109658326A (zh) | 一种图像显示方法及装置、计算机可读存储介质 | |
| CN114581316A (zh) | 图像重建方法、电子设备、存储介质及程序产品 | |
| CN112799507A (zh) | 人体虚拟模型展示方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |