CN107123091B - 一种基于深度学习的近红外人脸图像超分辨率重建方法 - Google Patents

一种基于深度学习的近红外人脸图像超分辨率重建方法 Download PDF

Info

Publication number
CN107123091B
CN107123091B CN201710282054.5A CN201710282054A CN107123091B CN 107123091 B CN107123091 B CN 107123091B CN 201710282054 A CN201710282054 A CN 201710282054A CN 107123091 B CN107123091 B CN 107123091B
Authority
CN
China
Prior art keywords
face image
resolution
super
layer
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710282054.5A
Other languages
English (en)
Other versions
CN107123091A (zh
Inventor
李�根
童同
高钦泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Timor View Mdt Infotech Ltd
Original Assignee
Fujian Timor View Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Timor View Mdt Infotech Ltd filed Critical Fujian Timor View Mdt Infotech Ltd
Priority to CN201710282054.5A priority Critical patent/CN107123091B/zh
Publication of CN107123091A publication Critical patent/CN107123091A/zh
Application granted granted Critical
Publication of CN107123091B publication Critical patent/CN107123091B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4076—Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image

Abstract

本发明公开一种基于深度学习的近红外人脸图像超分辨率重建方法，其包括如下步骤：步骤1，利用人脸图像中两个眼睛的相对位置，把原始近红外人脸图像中所有人脸图像位置对齐；步骤2，将对齐后获得的人脸训练集以固定比例转换获得包含K幅超分辨率人脸图像训练图
Figure DDA0001279760880000011
步骤3，将超分辨率人脸图像训练图
Figure DDA0001279760880000012
以缩放比例S生成其一一对应的K幅低分辨率人脸图像训练图
Figure DDA0001279760880000013
步骤4，利用低分辨率人脸图像训练图
Figure DDA0001279760880000014
获得重建的超分辨率人脸图像Fl″(Y)；步骤5，计算重建的超分辨率人脸图像Fl″(Y)与超分辨率人脸图像训练图
Figure DDA0001279760880000015
中的对应的图像之间的欧式距离；步骤6，基于欧式距离优化获得最优的卷积权值参数和偏置参数。本发明极大的提高了人脸图像重建效果。

Description

一种基于深度学习的近红外人脸图像超分辨率重建方法
技术领域
本发明涉及计算机图像超分辨率领域，尤其涉及一种基于深度学习的近红外人脸图像超分辨率重建方法。
背景技术
人脸图像超分辨率重建是一种从低分辨率人脸图像重建出其相应的高分辨率人脸图像的技术。该技术在智能视频监控、人脸检测与识别、面部表情识别、人脸识别测颜龄等领域具有广泛的应用前景。
在实际应用环境中，行人常常与监控摄像机的距离较远，或者摄像头的光学分辨率不够，捕捉到的人脸往往分辨率较低，缺乏很多面部细节特征信息，从而人脸图像修复、放大和辨识受到严重干扰。因此在无需更高的硬件设备的情况下，很多领域利用人脸超分辨率重建算法提高人脸图像的分辨率，在安防监控、刑侦和取证领域有着广泛的应用。
人脸图像是由眼睛、鼻子、嘴唇、眉毛和耳朵等五种人体器官组成。Baker和Kanade首次提出一种专门只针对人脸的超分辨率重建技术[1]。人脸超分辨率重建技术可以细分为基于重建的方法和基于学习的方法。基于重建的方法是通过先验约束缩小求解范围以获得人脸超分辨率图像。而基于学习的法是通过训练集的人脸低分辨率图像和其对应的人脸超分辨率图像中存在的空间关系来重建出人脸超分辨率图像。
目前有以下几种较具代表性的基于学习的方法算法：Wang等人提出分别构建高分辨率与低分辨率的子空间，将求得的低分辨率图像在子空间的表达系数投影到高分辨率空间上，从而获得超分辨率人脸图像[2]。Liu等人提出先利用局部保持投影和径向函数回归得到全局的人脸图像，再由基于局部重建的方法补偿人脸特征的细节信息，从而获得人脸图像高分辨图像[3]。Park等人提出了基于局部保持投影的自适应流形学习方法，从局部子流形分析人脸的内在特征后重构低分辨率人脸图像中缺失的高频成分[4]。Huang等人提出一种基于经典相关分析的方法，求得人脸高分辨率与低分辨率的相关性，从而获得全局人脸高分辨率的图像和面部细节信息[5]。Ma等人利用位置块的线性权重投影算法重构出超分辨率的人脸图像[6]。中国公开专利“基于非线性压缩感知的人脸图像超分辨率重构方法”(公开号CN104952053A，公开日为2015.09.30)采用了核主成分分析得到稀疏系数，并且构造非线性压缩感知超分辨率重构模型。中国公开专利“基于局部约束低秩表示的人脸超分辨率重建方法”(公开号CN105469359A，公开日为2016.04.06)采用了局部约束和低秩约束条件下求得最优权重系数，结合其系数重建超分辨率人脸图像。
虽然相关研究已经得到长足的发展，但可见光条件下人脸图像超分辨率技术容易受到光照变化、光照不均匀等外界光线变化的影响，从而导致人脸超分辨率图像亮度失真或者重建超分辨率效果并不令人满意。最近，为了降低外界光线变化的影响，中国公开专利“基于稀疏字典和非上采样Contourlet变换的红外图像超分辨率重建方法”(公开号CN104680502A，公开日为2015.06.03)采用了稀疏字典和非下采样Contourlet变换的方法重建红外图像超分辨率。虽然红外图像对于光照变化具有很好的适应性，但是无法捕捉人脸面部细节信息。
参考文献如下：
[1]S.Baker and T.Kanade,Hallucinating faces,in:Proceedings of theIEEE International Conference on Automatic Face and Gesture Recognition(AFGR2000),Grenoble,France,pp.83-88.
[2]X.Wang and X.Tang,Hallucinating face by eigentransformation,IEEETrans.Syst.Man Cybern.Part C-Appl.Rev.,35(3)(2005)425-434.
[3]C.Liu,H.Shum and W.T.Freeman,Face hallucination:theory andpractice,International Journal of Computer Vision,75(1)(2007)115-134.
[4]S.Park and M.Savvides,Breaking the limitation of manifold analysisfor super-resolution of facial images,in:Proceedings of the IEEEInternational Conference on Acoustics,Speech and Signal Processing(ICASSP2007),Honolulu,HI,USA,pp.573-576.
[5]H.Huang,H.He,X.Fan and J.Zhang,Super-resolution of human faceimage using canonical correlation analysis,Pattern Recognit.,43(7)(2010)2532–2543.
[6]X.Ma,J.Zhang,C.Qi,Hallucinating face by position-patch,PatternRecognit.,43(6)(2010)2224–2236.
[7]M.Peng,C.Wang,T.Chen and G.Liu,NIRFaceNet:A convolutional neuralnetwork for Near-Infrared face identification,Information,7(4)(2016)1-14.
[8]C.Dong,C.C.Loy,K.He and X.Tang,Image super-resolution using deepconvolutional networks,IEEE Trans.,35(3)(2005)425-434.
[9]S.Z.Li,D.Yi,Z.Lei,S.Liao,The CASIA NIR-VIS 2.0face database,in:Proceedings of the 9th IEEE Workshop on Perception Beyond the Visible Spectrum(PBVS,in conjunction with CVPR 2013),Portland,Oregon,pp.348-353.
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于深度学习的近红外人脸图像超分辨率重建方法，利用深度学习的技术将在近红外条件下捕捉的一幅低分辨率人脸图像重建出其对应的高分辨率人脸图像的方法，从而显著提高人脸识别以及人脸图像理解与分析效果。
本发明采用的技术方案是：
一种基于深度学习的近红外人脸图像超分辨率重建方法，其包括如下步骤：
步骤1，利用人脸图像中两个眼睛的相对位置，把原始近红外人脸图像中所有人脸图像位置对齐；
步骤2，将对齐后获得的人脸训练集以固定比例转换获得包含K幅M×N超分辨率人脸图像训练图其中M和N分别为人脸图像的宽度和高度，索引i＝1,2,…,K；
步骤3，将超分辨率人脸图像训练图
Figure GDA0002269825890000032
中的每幅图像以缩放比例S生成其一一对应的K幅低分辨率人脸图像训练图
Figure GDA0002269825890000033
索引i＝1,2,…,K；
步骤4，利用低分辨率人脸图像训练图
Figure GDA0002269825890000034
的每幅图像低分辨率人脸图像分别执行的初始阶段、残差阶段、中间阶段、反卷积阶段和重建阶段获得重建的超分辨率人脸图像Fl″(Y)；
所述步骤4具体包括以下步骤：
步骤4.1，初始阶段：输入的低分辨率人脸图像进行卷积运算和激活函数运算得到第1层输出结果F1(Y)，其计算公式是：
Figure GDA0002269825890000035
其中W1和B1分别是本发明的第一层卷积权值参数和偏置参数；
步骤4.2，残差阶段：由多个残差运算块组成，每个残差运算块是由卷积运算、激活函数运算和相加运算组成，其计算公式是：
Figure GDA0002269825890000036
其中Wl 1和Wl 2分别是是第l层的第1个和第二个卷积权值参数，
Figure GDA0002269825890000037
和
Figure GDA0002269825890000038
分别是是第l层的第1个和第2个偏置参数。Fl(Y)和Fl-1(Y)分别是第l层和l-1层的输出结果，第l-1层的输出结果，Fl-1(Y)是通过快捷连接的方式与第l层的第n+1个卷积结果相加得到第l层的输出结果Fl(Y)；
步骤4.3，中间阶段：将步骤4.2获得的第l层输出结果Fl(Y)输入到第l+1层卷积层，并且通过快捷连接的方式与第1层输出结果F1(Y)相加获得的第l+1层输出结果Fl+1(Y)，其计算公式是：
Fl+1(Y)＝Wl+1*Fl(Y)+Bl+1+F1(Y) (3)
步骤4.4，反卷积阶段：将步骤4.3所获得的第l+1层输出结果Fl+1(Y)输入到第l+2层的反卷积层，并利用由多个反卷积层和激活函数层的反卷积阶段来逐步放大人脸图像获得初始超分辨率人脸图像Fl′(Y)，其计算公式是：
Figure GDA0002269825890000041
其中Wl′和Bl′分别是第l′反卷积层的卷积权值参数和偏置参数，Fl′(Y)和Fl′-1(Y)分别是第l′层和l′-1层的输出结果；
步骤4.5，重建阶段：利用步骤4.4获得的输出Fl′(Y)再执行一次卷积后就可以得到重建的超分辨率人脸图像Fl″(Y)，其计算公式是：
Fl″(Y)＝Wl″*Fl′(Y)+Bl″ (5)
其中Wl″和Bl″分别是第l″卷积层的卷积权值参数和偏置参数；
步骤5，利用重建的超分辨率人脸图像Fl″(Y)与超分辨率人脸图像训练图
Figure GDA0002269825890000043
中的对应的图像进行比较，计算两幅人脸图像之间的欧式距离；
步骤6，基于计算的欧式距离不断更新并优化获得最优的卷积权值参数和偏置参数；
当重建的所有超分辨率人脸图像与其对应的超分辨率人脸图像进行比较时没有获得满足的重建效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤4；
当重建的所有超分辨率人脸图像与其对应的超分辨率人脸图像进行比较时已经获得满足的重建效果时，则停止反向传播，并最终求得步骤4所获得的卷积权值参数和偏置参数。
进一步地，所述步骤1中原始近红外人脸图像采用近红外补光装置捕获。
进一步地，所述步骤2中的固定比例转换成M×N中M×N为128×128。
进一步地，所述步骤3中缩放比例S包括16：1、8：1和4：1。
进一步地，所述步骤5中欧式距离的计算公式是：
Figure GDA0002269825890000042
其中
Figure GDA0002269825890000044
为超分辨率人脸图像训练图，Fl″(Y)为重建的超分辨率人脸图像。
本发明采用以上技术方案，首次在近红外条件下将深度学习方法用于人脸超分辨率的重建中，获得了更高质量的超分辨率人脸图像，与真实人脸更为接近的重建效果。本发明提出的人脸超分辨率的算法主要体现在三个方面：第一，为了减少光照变化的影响，本发明首次提出用近红外补光装置捕捉的低分辨率人脸图像重建出超分辨率人脸图像的算法。第二，为了提高人脸重建效果，本发明用深度学习的方法直接从低分辨率的人脸图像执行初始阶段、残差阶段和中间阶段后，逐步利用反卷积运算的方式重建出超分辨率人脸图像，低分辨率人脸图像不需要进行传统的双三次插值的预处理。第三，甚至在低分辨率人脸图像大小极小(8像素×8像素)时，本发明不仅能够很好的重建出超分辨率人脸图像(128像素×128像素)，而且极大的提高了人脸图像重建效果。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1为本发明一种基于深度学习的近红外人脸图像超分辨率重建方法的原理示意图；
图2为本发明一种基于深度学习的近红外人脸图像超分辨率重建方法的流程示意图；
图3为本发明与现有技术低分辨率人脸图像8×8像素的重建效果比较图；
图4为本发明与现有技术低分辨率人脸图像16×16像素的重建效果比较图；
图5为本发明与现有技术的低分辨率人脸图像32×32像素的重建效果比较图。
具体实施方式
如图1至图5之一所示，本发明公开了一种基于深度学习的近红外人脸图像超分辨率重建方法，其包括如下步骤：
步骤1，利用人脸图像中两个眼睛的相对位置，把原始近红外人脸图像中所有人脸图像位置对齐；进一步地，所述步骤1中原始近红外人脸图像采用近红外补光装置捕获。
步骤2，将对齐后获得的人脸训练集以固定比例转换获得包含K幅M×N超分辨率人脸图像训练图
Figure GDA0002269825890000051
其中M和N分别为人脸图像的宽度和高度，索引i＝1,2,…,K；进一步地，所述步骤2中的固定比例转换成M×N中M×N为128×128。
步骤3，将超分辨率人脸图像训练图
Figure GDA0002269825890000052
中的每幅图像以缩放比例S生成其一一对应的K幅低分辨率人脸图像训练图
Figure GDA0002269825890000053
索引i＝1,2,…,K；进一步地，所述步骤3中缩放比例S包括16：1、8：1和4：1。具体地本发明中验证了比较代表性的三种尺度(16倍，8倍和4倍)的缩放比例，低分辨率人脸图像大小分别为8×8，16×16和32×32(单位：像素)。经过步骤2和步骤3所获得的超分辨率人脸图像样本和低分辨率人脸图像样本为本发明的人脸训练数据集。
步骤4，利用低分辨率人脸图像训练图
Figure GDA0002269825890000054
的每幅图像低分辨率人脸图像分别执行的初始阶段、残差阶段、中间阶段、反卷积阶段和重建阶段获得重建的超分辨率人脸图像Fl″(Y)；
所述步骤4具体包括以下步骤：
步骤4.1，初始阶段：输入的低分辨率人脸图像进行卷积运算和激活函数运算得到第1层输出结果F1(Y)，其计算公式是：
其中W1和B1分别是本发明的第一层卷积权值参数和偏置参数；
步骤4.2，残差阶段：由多个残差运算块组成，每个残差运算块是由卷积运算、激活函数运算和相加运算组成，其计算公式是：
Figure GDA0002269825890000062
其中Wl 1和Wl 2分别是是第l层的第1个和第二个卷积权值参数，和
Figure GDA0002269825890000064
分别是是第l层的第1个和第2个偏置参数。Fl(Y)和Fl-1(Y)分别是第l层和l-1层的输出结果，第l-1层的输出结果，Fl-1(Y)是通过快捷连接的方式与第l层的第n+1个卷积结果相加得到第l层的输出结果Fl(Y)；
步骤4.3，中间阶段：将步骤4.2获得的第l层输出结果Fl(Y)输入到第l+1层卷积层，并且通过快捷连接的方式与第1层输出结果F1(Y)相加获得的第l+1层输出结果Fl+1(Y)，其计算公式是：
Fl+1(Y)＝Wl+1*Fl(Y)+Bl+1+F1(Y) (3)
步骤4.4，反卷积阶段：为了提高显著重建效果，将步骤4.3所获得的第l+1层输出结果Fl+1(Y)输入到第l+2层的反卷积层，并利用由多个反卷积层和激活函数层的反卷积阶段来逐步放大人脸图像获得初始超分辨率人脸图像Fl′(Y)，其计算公式是：
Figure GDA0002269825890000061
其中Wl′和Bl′分别是第l′反卷积层的卷积权值参数和偏置参数，Fl′(Y)和Fl′-1(Y)分别是第l′层和l′-1层的输出结果；
步骤4.5，重建阶段：利用步骤4.4获得的输出Fl′(Y)再执行一次卷积后就可以得到重建的超分辨率人脸图像Fl″(Y)，其计算公式是：
Fl″(Y)＝Wl″*Fl′(Y)+Bl″ (5)
其中Wl″和Bl″分别是第l″卷积层的卷积权值参数和偏置参数；
步骤5，利用重建的超分辨率人脸图像Fl″(Y)与超分辨率人脸图像训练图
Figure GDA0002269825890000065
中的对应的图像进行比较，计算两幅人脸图像之间的欧式距离；进一步地，所述步骤5中欧式距离的计算公式是：
Figure GDA0002269825890000066
其中为超分辨率人脸图像训练图，Fl″(Y)为重建的超分辨率人脸图像。
步骤6，基于计算的欧式距离不断更新并优化获得最优的卷积权值参数和偏置参数；
当重建的所有超分辨率人脸图像与其对应的超分辨率人脸图像进行比较时没有获得满足的重建效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤4；
当重建的所有超分辨率人脸图像与其对应的超分辨率人脸图像进行比较时已经获得满足的重建效果时，则停止反向传播，并最终求得步骤4所获得的卷积权值参数和偏置参数。
如图2至图3之一所示，为了验证本发明的有效性，采用中国科学院自动化研究所的近红外人脸数据库(CASIA NIR-VIS 2.0)[9]进行实验，该数据库分四个阶段采集人脸数据。本发明选用前三个阶段采集的所有人脸图像为训练数据样本，最后一个阶段采集的所有人脸图像为测试数据样本。原始图像大小为640×480(单位：像素)，根据两个眼睛的相对位置从原始图像中截出人脸位置后，利用传统的双三次插值的预处理下采样后得到三种不同尺度(16倍，8倍和4倍)的低分辨率人脸图像。本发明得到的重建效果与一些现有技术比较，例如最近邻点插值法(Nearest neighbor interpolation)，双三次插值法(Bicubicinterpolation)和SRCNN(Image super-resolution using deep convolutionalnetworks)[8]等。
本发明采用峰值信噪比(PSNR:Peak Signal to Noise Ratio)和结构相似性(SSIM:Structural Similarity Index)来衡量人脸图像重建性能。
表1本发明与现有技术的PSNR值和SSIM值
从表1中可以看出，在三种不同的缩放比例下，本发明比现有技术中经典的超分辨率算法的(SRCNN)的PSNR值和SSIM值中分别提高了1.2202dB、2.2303dB、3.2874dB和0.0113、0.0547、0.1247。由此可见，本发明较其他现有技术相比，近红外人脸图像重建效果有了显著的提高。
本发明采用以上技术方案，首次在近红外条件下将深度学习方法用于人脸超分辨率的重建中，获得了更高质量的超分辨率人脸图像，与真实人脸更为接近的重建效果。本发明提出的人脸超分辨率的算法主要体现在三个方面：第一，为了减少光照变化的影响，本发明首次提出用近红外补光装置捕捉的低分辨率人脸图像重建出超分辨率人脸图像的算法。第二，为了提高人脸重建效果，本发明用深度学习的方法直接从低分辨率的人脸图像执行初始阶段、残差阶段和中间阶段后，逐步利用反卷积运算的方式重建出超分辨率人脸图像，低分辨率人脸图像不需要进行传统的双三次插值的预处理。第三，甚至在低分辨率人脸图像大小极小(8像素×8像素)时，本发明不仅能够很好的重建出超分辨率人脸图像(128像素×128像素)，而且极大的提高了人脸图像重建效果。

Claims (5)

1.一种基于深度学习的近红外人脸图像超分辨率重建方法，其特征在于：其包括如下步骤：
步骤1，利用人脸图像中两个眼睛的相对位置，把原始近红外人脸图像中所有人脸图像位置对齐；
步骤2，将对齐后获得的人脸训练集以固定比例转换获得包含K幅M×N超分辨率人脸图像训练图
Figure FDA0002269825880000011
其中M和N分别为人脸图像的宽度和高度，索引i＝1,2,…,K；
步骤3，将超分辨率人脸图像训练图
Figure FDA0002269825880000012
中的每幅图像以缩放比例S生成其一一对应的K幅低分辨率人脸图像训练图
Figure FDA0002269825880000013
索引i＝1,2,…,K；
步骤4，利用低分辨率人脸图像训练图
Figure FDA0002269825880000014
的每幅图像低分辨率人脸图像分别执行的初始阶段、残差阶段、中间阶段、反卷积阶段和重建阶段获得重建的超分辨率人脸图像Fl″(Y)；
所述步骤4具体包括以下步骤：
步骤4.1，初始阶段：输入的低分辨率人脸图像进行卷积运算和激活函数运算得到第一层输出结果F1(Y)，其计算公式是：
Figure FDA0002269825880000015
其中W1和B1分别是本发明的第一层卷积权值参数和偏置参数；
步骤4.2，残差阶段：由多个残差运算块组成，每个残差运算块是由卷积运算、激活函数运算和相加运算组成，其计算公式是：
其中Wl 1和Wl 2分别是是第l层的第一个和第二个卷积权值参数，
Figure FDA0002269825880000017
和
Figure FDA0002269825880000018
分别是第l层的第1个和第2个偏置参数；Fl(Y)和Fl-1(Y)分别是第l层和l-1层的输出结果，第l-1层的输出结果，Fl-1(Y)是通过快捷连接的方式与第l层的第n+1个卷积结果相加得到第l层的输出结果Fl(Y)；
步骤4.3，中间阶段：将步骤4.2获得的第l层输出结果Fl(Y)输入到第l+1层卷积层，并且通过快捷连接的方式与第一层输出结果F1(Y)相加获得的第l+1层输出结果Fl+1(Y)，其计算公式是：
Fl+1(Y)＝Wl+1*Fl(Y)+Bl+1+F1(Y) (3)
步骤4.4，反卷积阶段：将步骤4.3所获得的第l+1层输出结果Fl+1(Y)输入到第l+2层的反卷积层，并利用由多个反卷积层和激活函数层的反卷积阶段来逐步放大人脸图像获得初始超分辨率人脸图像Fl′(Y)，其计算公式是：
Figure FDA0002269825880000019
其中Wl′和Bl′分别是第l′反卷积层的卷积权值参数和偏置参数，Fl′(Y)和Fl′-1(Y)分别是第l′层和l′-1层的输出结果；
步骤4.5，重建阶段：利用步骤4.4获得的输出Fl′(Y)再执行一次卷积后就可以得到重建的超分辨率人脸图像Fl″(Y)，其计算公式是：
Fl″(Y)＝Wl″*Fl′(Y)+Bl″ (5)
其中Wl″和Bl″分别是第l″卷积层的卷积权值参数和偏置参数；
步骤5，利用重建的超分辨率人脸图像Fl″(Y)与超分辨率人脸图像训练图
Figure FDA0002269825880000021
中的对应的图像进行比较，计算两幅人脸图像之间的欧式距离；
步骤6，基于计算的欧式距离不断更新并优化获得最优的卷积权值参数和偏置参数；
当重建的所有超分辨率人脸图像与其对应的超分辨率人脸图像进行比较时没有获得满足的重建效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再执行步骤4；
当重建的所有超分辨率人脸图像与其对应的超分辨率人脸图像进行比较时已经获得满足的重建效果时，则停止反向传播，并最终求得步骤4所获得的卷积权值参数和偏置参数。
2.根据权利要求1所述的一种基于深度学习的近红外人脸图像超分辨率重建方法，其特征在于：所述步骤1中原始近红外人脸图像采用近红外补光装置捕获。
3.根据权利要求1所述的一种基于深度学习的近红外人脸图像超分辨率重建方法，其特征在于：所述步骤2中的固定比例转换成M×N中M×N为128×128。
4.根据权利要求1所述的一种基于深度学习的近红外人脸图像超分辨率重建方法，其特征在于：所述步骤3中缩放比例S包括16：1、8：1和4：1。
5.根据权利要求1所述的一种基于深度学习的近红外人脸图像超分辨率重建方法，其特征在于：所述步骤5中欧式距离的计算公式是：
其中
Figure FDA0002269825880000023
为超分辨率人脸图像训练图，Fl″(Y)为重建的超分辨率人脸图像。
CN201710282054.5A 2017-04-26 2017-04-26 一种基于深度学习的近红外人脸图像超分辨率重建方法 Active CN107123091B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710282054.5A CN107123091B (zh) 2017-04-26 2017-04-26 一种基于深度学习的近红外人脸图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710282054.5A CN107123091B (zh) 2017-04-26 2017-04-26 一种基于深度学习的近红外人脸图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN107123091A CN107123091A (zh) 2017-09-01
CN107123091B true CN107123091B (zh) 2020-02-14

Family

ID=59724831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710282054.5A Active CN107123091B (zh) 2017-04-26 2017-04-26 一种基于深度学习的近红外人脸图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN107123091B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610192B (zh) * 2017-09-30 2021-02-12 西安电子科技大学 基于深度学习的自适应观测压缩感知图像重构方法
CN108235058B (zh) * 2018-01-12 2021-09-17 广州方硅信息技术有限公司 视频质量处理方法、存储介质和终端
CN108805809A (zh) * 2018-05-28 2018-11-13 天津科技大学 一种基于生成对抗网络的红外人脸图像超分辨率重建方法
CN109064423B (zh) * 2018-07-23 2022-04-08 福建帝视信息科技有限公司 一种基于非对称循环生成对抗损失的智能修图方法
CN109924949A (zh) * 2019-03-05 2019-06-25 北京工业大学 一种基于卷积神经网络的近红外光谱断层成像重建方法
CN110009566A (zh) * 2019-04-04 2019-07-12 北京邮电大学 基于深度神经网络的红外热成像超分辨率仪器
CN109858472B (zh) * 2019-04-09 2023-08-04 武汉领普科技有限公司 一种嵌入式实时人形检测方法和装置
CN111815513B (zh) * 2020-06-09 2023-06-23 四川虹美智能科技有限公司 红外图像采集方法和装置
CN112330541A (zh) * 2020-11-11 2021-02-05 广州博冠信息科技有限公司 直播视频处理方法、装置、电子设备和存储介质
CN112529825B (zh) * 2020-12-11 2022-05-31 平安科技（深圳）有限公司 人脸图像分辨率重建方法、装置、设备及存储介质
CN113011271A (zh) * 2021-02-23 2021-06-22 北京嘀嘀无限科技发展有限公司 生成和处理图像的方法、装置、设备、介质和程序产品
CN116258916B (zh) * 2023-05-16 2023-08-15 彼图科技(青岛)有限公司 基于机器学习的啤酒生产线缺陷分类识别系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9818136B1 (en) * 2003-02-05 2017-11-14 Steven M. Hoffberg System and method for determining contingent relevance
JP5178662B2 (ja) * 2009-07-31 2013-04-10 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
CN101872472B (zh) * 2010-06-02 2012-03-28 中国科学院自动化研究所 一种基于样本学习的人脸图像超分辨率重建方法
CN106204449B (zh) * 2016-07-06 2019-09-10 安徽工业大学 一种基于对称深度网络的单幅图像超分辨率重建方法
CN106228512A (zh) * 2016-07-19 2016-12-14 北京工业大学 基于学习率自适应的卷积神经网络图像超分辨率重建方法
CN106600538A (zh) * 2016-12-15 2017-04-26 武汉工程大学 一种基于区域深度卷积神经网络的人脸超分辨率算法

Also Published As

Publication number Publication date
CN107123091A (zh) 2017-09-01

Similar Documents

Publication Publication Date Title
CN107123091B (zh) 一种基于深度学习的近红外人脸图像超分辨率重建方法
Li et al. An all-in-one network for dehazing and beyond
CN107730451B (zh) 一种基于深度残差网络的压缩感知重建方法和系统
WO2021164234A1 (zh) 图像处理方法以及图像处理装置
Tang et al. DATFuse: Infrared and visible image fusion via dual attention transformer
CN112102182B (zh) 一种基于深度学习的单图像去反射方法
Raghavendra et al. Comparative evaluation of super-resolution techniques for multi-face recognition using light-field camera
Hsu et al. Single image dehazing using wavelet-based haze-lines and denoising
US11303793B2 (en) System and method for high-resolution, high-speed, and noise-robust imaging
CN112819910A (zh) 基于双鬼注意力机制网络的高光谱图像重建方法
Fan et al. Multiscale cross-connected dehazing network with scene depth fusion
CN113554739A (zh) 重光照图像的生成方法、装置及电子设备
Hsu et al. Object detection using structure-preserving wavelet pyramid reflection removal network
CN112686830A (zh) 基于图像分解的单一深度图的超分辨率方法
Feng et al. Real-world non-homogeneous haze removal by sliding self-attention wavelet network
Wan et al. Progressive convolutional transformer for image restoration
Han et al. Low-light images enhancement and denoising network based on unsupervised learning multi-stream feature modeling
Budhiraja et al. Infrared and visible image fusion based on sparse representation and spatial frequency in DTCWT domain
Chen et al. GADO-Net: an improved AOD-Net single image dehazing algorithm
Chen et al. Infrared and visible image fusion with deep wavelet-dense network
Li et al. GAMSNet: Deblurring via Generative Adversarial and Multi-Scale Networks
CN117474764B (zh) 一种针对复杂退化模型下遥感图像的高分辨率重建方法
CN113052210B (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN113066023B (zh) 一种基于自校准卷积神经网络的sar图像去斑方法
Hoffmann et al. Joint Superresolution and Rectification for Solar Cell Inspection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant