CN106157274B - 一种基于图像位置块近邻嵌入的人脸幻构方法 - Google Patents

一种基于图像位置块近邻嵌入的人脸幻构方法 Download PDF

Info

Publication number
CN106157274B
CN106157274B CN201510151884.5A CN201510151884A CN106157274B CN 106157274 B CN106157274 B CN 106157274B CN 201510151884 A CN201510151884 A CN 201510151884A CN 106157274 B CN106157274 B CN 106157274B
Authority
CN
China
Prior art keywords
resolution
image
low
image block
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510151884.5A
Other languages
English (en)
Other versions
CN106157274A (zh
Inventor
胡瑞敏
渠慎明
王中元
江俊君
张茂胜
廖良
关健
刘波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201510151884.5A priority Critical patent/CN106157274B/zh
Publication of CN106157274A publication Critical patent/CN106157274A/zh
Application granted granted Critical
Publication of CN106157274B publication Critical patent/CN106157274B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明提供一种基于图像位置块近邻嵌入的人脸幻构方法,对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块,建立低、高分辨率人脸样本块空间;对于输入的低分辨率人脸图像中每个图像块,寻找对应位置的低分辨率图像块字典中距离该小图像块距离最近的K个图像块,然后为这K个图像块在高分辨率图像块字典中找到对应K个近邻高分辨率图像块;用这K个低分辨率图像块线性表示输入低分辨率图像块获得表示系数;利用此表示系数和K个近邻高分辨率图像块重建出新的高分辨率图像块;根据低分辨率图像块的位置关系将所得的高分辨率图像块融合成高分辨率图像。

Description

一种基于图像位置块近邻嵌入的人脸幻构方法
技术领域
本发明涉及图像超分辨率领域,具体涉及一种基于图像位置块近邻嵌入的人脸幻构方法。
背景技术
犯罪嫌疑人的人脸图像是刑侦人员最关注的目标。但是在实际监控应用中,由于摄像头和感兴趣目标距离通常较远、监控系统的带宽和存储资源有限以及环境噪声和器件噪声等因素的影响,监控视频模糊不清,难以提供感兴趣对象辨识所需要的细节信息。人脸图像超分辨率是一种根据观测到的低分辨率人脸图像重建清晰高分辨率人脸图像的技术,它可以有效增强低质量人脸图像的分辨率,恢复人脸特征细节信息,这对于提高人脸图像清晰度,增加人脸辨识准确性,进而提高公安机关破案率具有重要意义。
根据流形学习理论,2004年Chang等人在文献[1]中基于高低分辨率样本库具有相似局部几何特征这一假设,提出一种邻域嵌入的图像超分辨率重建方法,获得很好的重建效果。2010年Ma等人在文献[2]和文献[3]中提出一种基于位置图像块的人脸图像超分辨率方法,使用训练集中所有与输入图像块同位置的人脸图像块重建高分辨率人脸图像,避免流形学习或者特征提取等步骤,提高了效率,同时也提升了合成图像的质量。然而,由于该方法采用最小二乘法进行求解,当训练样本中图像的个数比图像块的维数大时,图像块的表示系数并不唯一。因此,2011年Jung等人在文献[4]中提出一种基于凸优化的位置图像块人脸图像超分辨率方法,将稀疏约束加入到图像块求解表示中,可以解决方程的解不唯一的问题,为了使输入图像块的表示尽量稀疏,该方法在合成输入的图像块时可能选取一些与输入的图像块差异很大的图像块进行线性重建,没有考虑到局部性这一特征,因此重建效果并不理想。2010年Wang等人在文献[5]中指出在表现人脸图像块空间的非线性流形结构时,局部约束性比稀疏性更为重要。但是,本领域目前尚未有出现效果理想的人脸幻构方法。
现有技术中相关的参考文献如下:
文献1:H.Chang,D.Y.Yeung,and Y.M.Xiong.Super-resolution throughneighbor embedding.In CVPR,pp.275–282,2004.
文献2:X.Ma,J.Zhang,and C.Qi,“Position-based face hallucinationmethod,”in Proc.IEEE Conf.on Multimedia and Expo(ICME),2009,pp.290–293.
文献3:X.Ma,J.P Zhang,and C.Qi.Hallucinating face by position-patch.Pattern Recognition,43(6):3178–3194,2010.
文献4:C.Jung,L.Jiao,B.Liu,and M.Gong,“Position-Patch Based FaceHallucination Using Convex Optimization,”IEEE Signal Process.Lett.,vol.18,no.6,pp.367–370,2011.
文献5:Wang J,Yang J,Yu K,et al.Locality-constrained linear coding forimage classification[C]//Computer Vision and Pattern Recognition(CVPR),2010IEEE Conference on.IEEE,2010:3360-3367.
文献6:J.Jiang,R.Hu,Z.Han,T.Lu,and K.Huang,“Position-patch based facehallucination via locality-constrained representation,”in ICME,2012,pp.212–217.
文献7:W.Gao,B.Cao,S.Shan,X.Chen,et al.The CAS-PEAL Large-ScaleChinese Face Database and Baseline Evaluations[J].IEEE Trans.SMC(Part A),2008,38(1):149-161.
发明内容
本发明目的在于克服现有技术缺陷,提供一种基于图像位置块近邻嵌入的人脸幻构方法。
为达到上述目的,本发明采用的技术方案是一种基于图像位置块近邻嵌入的人脸幻构方法,包括如下步骤:
步骤1,对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块;
步骤2,对于输入的低分辨率人脸图像中每个图像块,取低分辨率训练集中每个低分辨率人脸样本图像相应位置的图像块作为样本点,得到低分辨率图像块字典,建立低分辨率人脸样本块空间,得到取高分辨率训练集中每个高分辨率人脸样本图像相应位置的图像块作为样本点,得到高分辨率图像块字典,建立高分辨率人脸样本块空间;实现如下,设对输入的低分辨率人脸图像Xt划分为M个相互重叠的图像块后所构成的图像块集为对高、低分辨率人脸图像训练集分别划分相互重叠的图像块,然后分别得到M个与输入的低分辨率人脸图像M个图像块对应位置的高分辨率图像块字典和低分辨率图像块字典其中,标识i表示高分辨率训练集中高分辨率人脸样本图像的序号和低分辨率训练集中低分辨率人脸样本图像的序号,标识j表示图像上的块位置序号,为低分辨率训练集中低分辨率人脸样本图像的个数和高分辨率训练集中高分辨率人脸样本图像的个数,M为每幅图像划分图像块的块数;
步骤3,对输入低分辨率人脸图像中每一个图像块,分别采用以下步骤计算对应的目标高分辨率人脸图像块,
步骤3.1,对于输入低分辨率人脸图像中某一个图像块计算与对应位置的低分辨率图像块字典中各低分辨率图像块的距离,并寻找其中距离最小的K个低分辨率图像块,K是选定的近邻个数,计算如下,
其中,disti表示与低分辨率图像块字典中图像块的距离,dist|K表示dist中最小的K个值,||·||2表示二范数,与低分辨率图像块字典中各图像块的距离最小的K个图像块索引的集合;
步骤3.2,利用K个低分辨率图像块对输入低分辨率图像块进行线性重构,求取线性重构的权重系数,得到最佳重建权重求取方式如下:
其中,为低分辨率图像块字典中第k个图像块,k为索引集合中的元素,wk为图像块的权重系数,返回关于变量w的函数在得到最小值时w的取值,表示对二范数||·||2的结果求平方,τ是正则化参数;
步骤3.3,在得到最佳重建权重后,通过下式来重建新的高分辨率图像块
其中,为高分辨率图像块字典中第k个图像块,k为索引集合中的元素,代表括号内元素求和;
步骤4,将所有加权重构出的高分辨率人脸图像块按照在人脸上的位置叠加,然后除以每个像素位置交叠的次数,得到一张高分辨率人脸图像。
本发明提出的一种基于图像位置块近邻嵌入的人脸幻构方法,不同于以前的稀疏表达方法和岭回归方法,本方法在同一位置的图像块上加入的局部约束,使得该方法能获得近邻图像块的本质相似性,提升了重建效果。此外,本方法选择K个近邻块进行线性重建,而不是使用所有训练样本的同一位置的块,因此,本方法既避免了因为使用和输入块相似性相距较远的块参与重建而带来的坏作用,最终获得更高质量的高分辨率人脸图像;使用较少的K个近邻块进行线性重建,也提升了算法的运算效率。
附图说明
图1为本发明实施例的流程图。
具体实施方式
现有技术所提供基于稀疏表示的图像块表达的方法通过引入稀疏先验这一约束,可以得到唯一稳定的解,但是它并没有对稀疏表示进行任何约束,导致被选中的样本图像块可能与输入图像块差异很大,进而使得重建得到的高分辨率人脸图像存在很大的噪声,尤其是在边缘丰富的眼睛和嘴巴等部位。根据人脸图像具有较强的结构性以及同一位置图像块表示具有局部相似性这一约束,我们利用观测图像块与样本图像块之间的距离来作为局部性约束,选择与观测图像块距离较近的样本图像块,用于重建观测图像块。由于使用了较少数量的近邻块表示观测图像块,可以解决表示系数不唯一的问题,并且选择是同位置相似的图像块,避免了引入噪声(与输入的图像块差异很大的图像块)的影响,使重建效果进一步接近原始高分辨率图像。
本发明技术方案可采用软件技术实现自动流程运行。下面结合附图和实施例对本发明技术方案进一步详细说明。参见图1,本发明实施例具体步骤为:
步骤1,对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块;
低分辨率训练集和高分辨率训练集提供预先设定的训练样本对,低分辨率训练集中包含低分辨率人脸样本图像,高分辨率训练集中包含高分辨率人脸样本图像。实施例中,所有高分辨率图像为经过手工对齐配准的人脸图像,像素大小为112×100。低分辨率训练集中每个低分辨率人脸样本图像由高分辨率训练集中的一个高分辨率人脸样本图像以4×4平滑滤波并4倍下采样得到,低分辨率图像像素大小为28×25,高分辨率图像块大小定为12×12,重叠像素值设为4,低分辨率图像块大小为3×3,重叠像素值为1。
实施例中,对输入的低分辨率人脸图像Xt划分相互重叠的图像块后所构成的图像块集为对高、低分辨率人脸图像训练集分别划分相互重叠的图像块,分别可得到M个与输入的低分辨率人脸图像M个图像块对应位置的高分辨率图像块构成的字典M个与输入的低分辨率人脸图像M个图像块对应位置的低分辨率图像块构成的字典其中,标识i表示高分辨率训练集中高分辨率人脸样本图像的序号和低分辨率训练集中低分辨率人脸样本图像的序号,标识j表示图像上的块位置序号,为低分辨率训练集中低分辨率人脸样本图像的个数和高分辨率训练集中高分辨率人脸样本图像的个数,M为每幅图像划分图像块的块数;
步骤2,对于输入的低分辨率人脸图像中每个人脸图像块,取低分辨率训练集中每个低分辨率人脸样本图像相应位置的图像块作为样本点,建立低分辨率人脸样本块空间,取高分辨率训练集中每个高分辨率人脸样本图像相应位置的图像块作为样本点,建立高分辨率人脸样本块空间;
实施例中,对输入的低分辨率人脸图像中的某个位置图像块可得到相应低分辨率图像块字典和高分辨率图像块字典,从而建立低分辨率人脸样本块空间和高分辨率人脸样本块空间
步骤3,对输入低分辨率人脸图像中每一个图像块,分别采用以下步骤计算对应的目标高分辨率人脸图像块,包括以下步骤:
步骤3.1,对于输入低分辨率人脸图像中某一个图像块计算其与对应位置的低分辨率图像块字典中各低分辨率图像块的距离,并寻找其中距离最小的K个图像块,K是选定的近邻个数,方法如下,
其中,disti表示与低分辨率图像块字典中图像块的距离,dist|K表示dist中最小的K个值,||·||2表示二范数,与低分辨率图像块字典中各图像块的距离最小的K个图像块索引的集合,具体实施时本领域技术人员可自行预设K的取值,本实施例中,K设为110。
步骤3.2,利用这K个低分辨率图像块对输入低分辨率图像块进行线性重构,求取线性重构的权重系数,得到最佳重建权重求取方式如下:
其中,为低分辨率图像块字典中第k个图像块,k为索引集合中的元素,wk为图像块的权重系数,返回关于变量w(权重系数)的函数在得到最小值时w的取值,表示对二范数||·||2的结果求平方,τ是平衡重建误差和重建结果稳定性的正则化参数,τ建议取值2e-4。
步骤3.3,在得到最佳重建权重后,可以通过下式来重建新的高分辨率图像块
其中,为高分辨率图像块字典中第k个图像块,k为索引集合中的元素,代表括号内元素求和。
步骤4,将所有加权重构出的高分辨率图像块按照位置叠加,然后除以每个像素位置交叠的次数,重构出高分辨率人脸图像。
本发明实施例中主要涉及两个参数,即近邻个数K、正则化参数τ。实验表明,当K取110时,可以获得较好的重构效果;当正则化参数τ位于1e-5~2e-4之间时,我们的方法可以获得稳定的性能,同时,为了保证重建误差尽可能小,我们将参数τ定为2e-4来获得最好的效果。
为了验证本发明的有效性,采用CAS-PEAL-R1大规模中国人脸数据库[7]进行实验,选用所有1040个个体的中性表情、正常光照下的正面人脸图像。抠取人脸区域并将其裁剪成112×100像素,再手工标定人脸上的五个特征点(两眼中心、鼻尖和两个嘴角)并进行仿射变换对齐,得到原始的高分辨率人脸图像。低分辨率人脸图像由高分辨率人脸图像4倍Bicubic下采样后得到。随机选择1000张作为训练样本,将剩余40张作为测试图像。我们将本发明得到的重构效果和一些基于块位置的方法进行对比,例如最小二乘方法(LSR,文献3)、稀疏表示法(SR,文献4)和局部约束表示法(LcR,文献6)等。
实验采用峰值信噪比(Peak Signal to Noise Ratio,PSNR)来衡量对比算法的优劣,SSIM则是衡量两幅图相似度的指标,其值越接近于1,说明图像重建的效果越好。比较以上方法对全部40张测试图像处理获得的平均PSNR和SSIM值,详见表1。
从表1中可以看出,对比方法和本发明方法的PSNR值分别为28.157、28.254、28.283
和28.942,SSIM值分别为0.897、0.896、0.898和0.911,即,本发明方法比对比方法中最好的算法的PSNR值和SSIM值分别提高0.659dB和0.013。
表1本发明方法和现有方法的PSNR值和SSIM值
对比方法和本发明方法重建图像的平均重建时间对比见表2,文献5和本发明方法的平均重建时间分别为14.609秒、15.837秒、16.669秒和3.906秒,对比方法中重建效果最好的算法的重建时间是本发明方法的4倍多。
表2本发明方法和现有方法的重建时间
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (1)

1.一种基于图像位置块近邻嵌入的人脸幻构方法,其特征在于,利用观测图像块与样本图像块之间的距离来作为局部性约束,选择与观测图像块距离较近的样本图像块,用于重建观测图像块,并进行线性重构,求取线性重构的权重系数,得到最佳重建权重,包括如下步骤:
步骤1,对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块;
步骤2,对于输入的低分辨率人脸图像中每个图像块,取低分辨率训练集中每个低分辨率人脸样本图像相应位置的图像块作为样本点,得到低分辨率图像块字典,建立低分辨率人脸样本块空间,取高分辨率训练集中每个高分辨率人脸样本图像相应位置的图像块作为样本点,得到高分辨率图像块字典,建立高分辨率人脸样本块空间;实现如下,
设对输入的低分辨率人脸图像Xt划分为M个相互重叠的图像块后所构成的图像块集为对高、低分辨率人脸图像训练集分别划分相互重叠的图像块,然后分别得到M个与输入的低分辨率人脸图像M个图像块对应位置的高分辨率图像块字典和低分辨率图像块字典其中,标识i表示高分辨率训练集中高分辨率人脸样本图像的序号和低分辨率训练集中低分辨率人脸样本图像的序号,标识j表示图像上的块位置序号,为低分辨率训练集中低分辨率人脸样本图像的个数和高分辨率训练集中高分辨率人脸样本图像的个数,M为每幅图像划分图像块的块数;
步骤3,对输入低分辨率人脸图像中每一个图像块,分别采用以下步骤计算对应的目标高分辨率人脸图像块,
步骤3.1,对于输入低分辨率人脸图像中某一个图像块计算与对应位置的低分辨率图像块字典中各低分辨率图像块的距离,并寻找其中距离最小的K个低分辨率图像块,K是选定的近邻个数,计算如下,
其中,disti表示与低分辨率图像块字典中图像块的距离,dist|K表示dist中最小的K个值,||·||2表示二范数,与低分辨率图像块字典中各图像块的距离最小的K个图像块索引的集合;
步骤3.2,利用K个低分辨率图像块对输入低分辨率图像块进行线性重构,求取线性重构的权重系数,得到最佳重建权重求取方式如下:
其中,为低分辨率图像块字典中第k个图像块,k为索引集合中的元素,wk为图像块的权重系数,返回关于变量w的函数在得到最小值时w的取值,表示对二范数||·||2的结果求平方,τ是正则化参数;
步骤3.3,在得到最佳重建权重后,通过下式来重建新的高分辨率图像块
其中,为高分辨率图像块字典中第k个图像块,k为索引集合中的元素,代表括号内元素求和;
步骤4,将所有加权重构出的高分辨率人脸图像块按照在人脸上的位置叠加,然后除以每个像素位置交叠的次数,得到一张高分辨率人脸图像。
CN201510151884.5A 2015-04-01 2015-04-01 一种基于图像位置块近邻嵌入的人脸幻构方法 Expired - Fee Related CN106157274B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510151884.5A CN106157274B (zh) 2015-04-01 2015-04-01 一种基于图像位置块近邻嵌入的人脸幻构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510151884.5A CN106157274B (zh) 2015-04-01 2015-04-01 一种基于图像位置块近邻嵌入的人脸幻构方法

Publications (2)

Publication Number Publication Date
CN106157274A CN106157274A (zh) 2016-11-23
CN106157274B true CN106157274B (zh) 2019-01-29

Family

ID=57338688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510151884.5A Expired - Fee Related CN106157274B (zh) 2015-04-01 2015-04-01 一种基于图像位置块近邻嵌入的人脸幻构方法

Country Status (1)

Country Link
CN (1) CN106157274B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169928A (zh) * 2017-05-12 2017-09-15 武汉华大联创智能科技有限公司 一种基于深层线性映射学习的人脸超分辨率重建算法
CN109408543B (zh) * 2018-09-26 2021-07-23 北京华宝智慧科技有限公司 一种智能关系网嗅探方法
CN110807407B (zh) * 2019-10-30 2023-04-18 东北大学 一种用于视频中高度近似动态目标的特征提取方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103208109A (zh) * 2013-04-25 2013-07-17 武汉大学 一种基于局部约束迭代邻域嵌入的人脸幻构方法
CN104091320A (zh) * 2014-07-16 2014-10-08 武汉大学 基于数据驱动局部特征转换的噪声人脸超分辨率重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8837861B2 (en) * 2012-12-13 2014-09-16 Microsoft Corporation Bayesian approach to alignment-based image hallucination

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103208109A (zh) * 2013-04-25 2013-07-17 武汉大学 一种基于局部约束迭代邻域嵌入的人脸幻构方法
CN104091320A (zh) * 2014-07-16 2014-10-08 武汉大学 基于数据驱动局部特征转换的噪声人脸超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Face Super-Resolution via Multilayer Locality-Constrained Iterative Neighbor Embedding and Intermediate Dictionary Learning;Junjun Jiang et al.;《IEEE Transactions on Image Processing》;20141031;第23卷(第10期);第4220-4225页

Also Published As

Publication number Publication date
CN106157274A (zh) 2016-11-23

Similar Documents

Publication Publication Date Title
Cai et al. FCSR-GAN: Joint face completion and super-resolution via multi-task learning
CN111401384B (zh) 一种变电设备缺陷图像匹配方法
CN103093444B (zh) 基于自相似性和结构信息约束的图像超分辨重建方法
CN111325165B (zh) 考虑空间关系信息的城市遥感影像场景分类方法
CN107729805B (zh) 用于行人再识别的神经网络和基于深度学习的行人再识别算法
CN103824272B (zh) 基于k近邻重识别的人脸超分辨率重建方法
CN107123091A (zh) 一种基于深度学习的近红外人脸图像超分辨率重建方法
CN104616247B (zh) 一种用于基于超像素sift航拍地图拼接的方法
CN104091320B (zh) 基于数据驱动局部特征转换的噪声人脸超分辨率重建方法
CN111626927B (zh) 采用视差约束的双目图像超分辨率方法、系统及装置
CN110223273B (zh) 一种结合离散余弦变换与神经网络的图像修复取证方法
CN102402784A (zh) 一种基于最近特征线流形学习的人脸图像超分辨率方法
CN104504672B (zh) 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法
CN106157274B (zh) 一种基于图像位置块近邻嵌入的人脸幻构方法
CN109615576B (zh) 基于级联回归基学习的单帧图像超分辨重建方法
Guan et al. Srdgan: learning the noise prior for super resolution with dual generative adversarial networks
CN103208109B (zh) 一种基于局部约束迭代邻域嵌入的人脸幻构方法
CN105631890B (zh) 基于图像梯度和相位一致性的失焦图片质量评价方法
Ancuti et al. NTIRE 2023 HR nonhomogeneous dehazing challenge report
Wang et al. Medical image super-resolution analysis with sparse representation
CN108550111B (zh) 一种基于多级字典学习的残差实例回归超分辨重建方法
Wang et al. Super resolution for compressed screen content video
CN101231693A (zh) 由视频重建复原的面部图像的系统和方法
CN102496162B (zh) 基于非张量积小波滤波器的部分参考图像质量评价方法
CN107481196A (zh) 基于最近特征线的特征转换人脸超分辨率重建方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190129

Termination date: 20200401