CN107481196B - 基于最近特征线的特征转换人脸超分辨率重建方法 - Google Patents

基于最近特征线的特征转换人脸超分辨率重建方法 Download PDF

Info

Publication number
CN107481196B
CN107481196B CN201710831228.9A CN201710831228A CN107481196B CN 107481196 B CN107481196 B CN 107481196B CN 201710831228 A CN201710831228 A CN 201710831228A CN 107481196 B CN107481196 B CN 107481196B
Authority
CN
China
Prior art keywords
resolution
low
image
face
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710831228.9A
Other languages
English (en)
Other versions
CN107481196A (zh
Inventor
渠慎明
张东生
王青博
王永强
苏靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Priority to CN201710831228.9A priority Critical patent/CN107481196B/zh
Publication of CN107481196A publication Critical patent/CN107481196A/zh
Application granted granted Critical
Publication of CN107481196B publication Critical patent/CN107481196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于最近特征线的特征转换人脸超分辨率重建方法，通过将基于最近特征线流形学习的人脸超分辨率算法与基于局部特征转换的人脸超分辨率算法融合在一起进行人脸超分辨率重建，因此本方法与基于最近特征线流形学习的人脸超分辨率算法相比，使用了特征转换思想，在去除了大量噪声干扰的同时，还能够保持图像的大部分原始信息，主要表现为对噪声具有更好的鲁棒性；本方法与基于局部特征转换的人脸超分辨率算法相比，因为使用最近特征线思想提高了训练样本库的表达能力，使得重建的目标图像有了更好的高频局部细节信息，达到了很好的图像重建效果。

Description

基于最近特征线的特征转换人脸超分辨率重建方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于最近特征线的特征转换人脸超分辨率重建方法。
背景技术
人脸超分辨率重建是一种根据观测到的低分辨率人脸图像，利用高分辨率图像训练库样本和低分辨率人脸图像训练库样本，重建得到与待重建低分辨率人脸图像最相似的高分辨率人脸图像；它能够重现人脸的局部细节，达到增强人脸辨识准确性的目的，有助于提高公安机关的破案率，保障人民群众的生命财产安全。
基于局部特征转换的人脸超分辨率算法，将局部脸的思想引入到特征转换超分辨率方法中，在一定程度上提高了图像的重建效果，但由于训练样本库大小的限制，使得重建效果并不理想；武汉大学江俊君等人提出了基于最近特征线流形学习的人脸超分辨率算法，利用最近特征线的思想能够将任意两个同类型的样本点扩充为这两个样本点构成的特征线上的无数个投影点，解决样本数据库过小而导致样本空间分布稀疏的问题，极大地提高了样本数据库的表达能力，但算法针对噪声图像的重建效果并不理想，无法满足噪声鲁棒性的要求。
因此如何将基于局部特征转换的人脸超分辨率算法与基于最近特征线流形学习的人脸超分辨率算法结合起来，在扩充训练样本库大小的同时，增强对噪声图像的重建效果，满足鲁棒性的要求，是本领域的技术人员急需解决的技术问题。
发明内容
本发明的目的在于提供一种基于最近特征线的特征转换人脸超分辨率重建方法,能够将最近特征线思想应用于基于特征转换的人脸超分辨率重建方法中，使新的重建方法具有很好鲁棒性，并且扩充训练样本库大小，增强对噪声图像的重建效果。
本发明采用的技术方案为：一种基于最近特征线的特征转换人脸超分辨率重建方法，包括以下步骤：
步骤1，输入低分辨率待重建人脸图像x、低分辨率图像训练样本集和高分辨率图像训练样本集，低分辨率图像训练样本集中包含多个低分辨率训练样本人脸图样，高分辨率图像训练样本集中包含多个高分辨率训练样本人脸图样。
步骤2，将低分辨率待重建人脸图像x、低分辨率图像训练样本集中的每个低分辨率训练样本人脸图样和高分辨率图像训练样本中的每个高分辨率训练样本人脸图样分别按照人脸图像的位置信息划分为互相交叠且等大小的图像块。
步骤3，对于输入的输入低分辨率待重建人脸图像x中每个图像块，取低分辨率图像训练样本集中每个低分辨率训练样本人脸图样相应位置的图像块作为样本点，建立低分辨率人脸样本块空间，取高分辨率图像训练样本集中每个高分辨率训练样本人脸图样相应位置的图像块作为样本点，建立高分辨率人脸样本块空间；基于最近特征线方法和特征转换方法，将低分辨率待重建人脸图像x中的每个图像块重建为目标高分辨率人脸图像块。
步骤4，重复步骤3，直到获得所有目标高分辨率图像块。
步骤5，将所有获得的目标高分辨率图像块根据位置信息叠加，除以每个像素重叠次数，获得重构的目标高分辨率人脸图像y。
进一步地设定输入低分辨率待重建人脸图像x、低分辨率图像训练样本集
Figure BDA0001408759660000021
和高分辨率图像训练样本集
Figure BDA0001408759660000022
N表示低分辨率图像训练样本集X和高分辨率图像训练样本集Y中训练样本人脸图样的个数。
将低分辨率待重建人脸图像x、低分辨率图像训练样本集X中的每个训练样本人脸图样和高分辨率图像训练样本集Y中的每个训练样本人脸图样分别按照人脸图像的位置信息划分为互相交叠且等大小的图像块，图像块之间相互的交叠像素个数相同，得到低分辨率待重建图像块集xl、低分辨率训练样本图像块集X(p,q)和高分辨率训练样本图像块集Y(p,q)：
xl＝{x(p,q)|1≤p≤U,1≤q≤V}，
Figure BDA0001408759660000023
Figure BDA0001408759660000031
U代表低分辨率待重建图像x、低分辨率图像训练样本集X和高分辨率图像训练样本集Y中一张人脸图像划分为图像块后每一列图像块的个数，V代表一张人脸图像划分为图像块后每一行图像块的个数，(p,q)是图像块的位置坐标，j代表低分辨率训练样本图像块集X(p,q)和高分辨率训练样本图像块集Y(p,q)中的第j张分块后的训练样本人脸图样。
步骤3中，基于最近特征线方法和特征转换方法，将低分辨率待重建图像块集xl中的一个低分辨率待重建图像块x(p,q)重建为目标高分辨率人脸图像块y(p,q)，具体包括步骤3.1-3.8。
步骤3.1，求取低分辨率近邻图像块集合X(Kpre)(p,q)和高分辨率近邻图像块集合Y(Kpre)(p,q)；低分辨率近邻图像块集合X(Kpre)(p,q)为在低分辨率训练样本图像块集X(p,q)中选择与低分辨率待重建图像块x(p,q)同在(p,q)处的Kpre个最近的图像块组成的集合，最近的图像块为与低分辨率待重建图像块x(p,q)欧氏距离di(p,q)最小的图像块，
Figure BDA0001408759660000032
；
高分辨率近邻图像块集合Y(Kpre)(p,q)为对于低分辨率近邻图像块集合X(Kpre)(p,q)中的每个图像块，分别选取在高分辨率训练样本图像块集Y(p,q)中相对应位置的图像块组成的集合；
X(Kpre)(p,q)＝{Xr(p,q)|Xr(p,q)∈X(p,q),r∈CKpre(x(p,q))}，
Y(Kpre)(p,q)＝{Yr(p,q)|Yr(p,q)∈Y(p,q),r∈CKpre(x(p,q))}；
其中，CKpre(x(p,q))为X(p,q)中同在(p,q)处并与x(p,q)最相近的Kpre个图像块的索引。
步骤3.2，将低分辨率近邻图像块集合X(Kpre)(p,q)中的任意两个样本点
Figure BDA0001408759660000033
和
Figure BDA0001408759660000034
相连接，形成
Figure BDA0001408759660000035
条特征线
Figure BDA0001408759660000036
j1和j2均为整数且1≤j1≤j2≤N；计算低分辨率待重建图像块x(p,q)在所有特征线
Figure BDA0001408759660000037
上的投影点
Figure BDA0001408759660000038
Figure BDA0001408759660000039
，
其中
Figure BDA00014087596600000310
步骤3.3，查找低分辨率待重建图像块x(p,q)在
Figure BDA00014087596600000311
条特征线
Figure BDA0001408759660000041
上的K个最近邻投影点，即相当于找出x(p,q)与
Figure BDA0001408759660000042
条特征线的投影点距离最近的K个图像块，构成低分辨率最近邻样本投影点集合LK(p,q)，LK(p,q)＝{xc,d(p,q)|(c,d)∈C(i)}，C(i)为K个最近邻样本投影点下标的集合；
本步骤中低分辨率待重建图像块x(p,q)与特征线
Figure BDA0001408759660000043
的距离
Figure BDA0001408759660000044
为x(p,q)与投影点
Figure BDA0001408759660000045
的欧氏距离，即
Figure BDA0001408759660000046
其中，
Figure BDA0001408759660000047
表示输入低分辨率待重建图像块x(p,q)到投影点
Figure BDA0001408759660000048
的欧氏距离。
步骤3.4，计算在高分辨率近邻图像块集合Y(Kpre)(p,q)中与LK(p,q)相对应的K个高分辨率最近邻样本投影点图像块，并组成的高分辨率最近邻样本集合HK(p,q)，HK(p,q)＝{yc,d(p,q)(c,d)∈C(i)}，其中
Figure BDA0001408759660000049
，
Figure BDA00014087596600000410
为公式(2)中
Figure BDA00014087596600000411
在j1＝c，j2＝d时所取的值。
步骤3.5，求取与低分辨率待重建图像块x(p,q)对应的低分辨率最近邻样本投影点集合LK(p,q)的平均脸
Figure BDA00014087596600000412
以及和低分辨率待重建图像块x(p,q)对应的高分辨率最近邻样本投影点集合HK(p,q)的平均脸
Figure BDA00014087596600000413
将低分辨率最近邻样本投影点集合LK(p,q)中的每个元素分别减去平均脸
Figure BDA00014087596600000414
得到集合
Figure BDA00014087596600000415
将高分辨率最近邻样本集合HK(p,q)中的每个元素分别减去平均脸
Figure BDA00014087596600000416
得到集合
Figure BDA00014087596600000417
步骤3.6，计算集合
Figure BDA00014087596600000418
的低分辨率特征向量空间El(p,q)，El(p,q)包括多个特征脸，
Figure BDA00014087596600000419
，
其中Vl(p,q)和Λl(p,q)分别代表矩阵
Figure BDA00014087596600000420
的特征向量和特征值。
步骤3.7，把低分辨率待重建图像块x(p,q)投影到El(p,q)中，求取图像块权重系数
Figure BDA0001408759660000051
，
将低分辨率待重建图像块x(p,q)用Q个特征脸
Figure BDA0001408759660000052
进行重建：
Figure BDA0001408759660000053
步骤3.8，计算集合
Figure BDA0001408759660000054
的高分辨率特征向量空间Eh(p,q)并计算获得目标高分辨率图像块y(p,q)，
Figure BDA0001408759660000055
其中Vh(p,q)、Λh(p,q)分别是矩阵
Figure BDA0001408759660000056
的特征向量和特征值，目标高分辨率图像块y(p,q)的计算公式为：
Figure BDA0001408759660000057
本发明的主要优点为：本方法通过将基于最近特征线流形学习的人脸超分辨率算法与基于局部特征转换的人脸超分辨率算法融合在一起进行人脸超分辨率重建，因此本方法与基于最近特征线流形学习的人脸超分辨率算法相比，使用了特征转换思想，在去除了大量噪声干扰的同时，还能够保持图像的大部分原始信息，主要表现为对噪声具有更好的鲁棒性；本方法与基于局部特征转换的人脸超分辨率算法相比，因为使用最近特征线思想提高了训练样本库的表达能力，使得重建的目标图像有了更好的高频局部细节信息，达到了很好的图像重建效果。
附图说明
图1为本发明的流程图；
图2为本发明所述的基于最近特征线流形学习的人脸超分辨率方法的原理图；
图3为本发明所述的基于特征转换的人脸超分辨率方法的原理图；
图4为本发明和对比算法在40张测试图像重建时的客观指标对比图。
具体实施方式
本发明的技术方案可采用软件形式实现自动流程运行，下面结合实施例和附图对本发明的技术方案进行进一步的阐述，如图1、图2和图3所示，一种基于最近特征线的特征转换人脸超分辨率重建方法，具体包括如下步骤：
步骤1，输入低分辨率待重建人脸图像x、低分辨率图像训练样本集
Figure BDA0001408759660000061
和高分辨率图像训练样本集
Figure BDA0001408759660000062
N表示低分辨率图像训练样本集X和高分辨率图像训练样本集Y中训练样本人脸图样的个数。
本实施例中选取人脸超分辨率领域里的FEI人脸数据库作为算法重建实验的训练样本库；FEI人脸数据库，共包含200个独立的个体，其中包含100名男性个体和100名女性个体；图像库中所有个体年龄均处于19到40岁之间，在专门的环境中，保证角度一致的情况下，每个个体均有一张笑脸一张没有表情两张正面照；所有图像库样本个体的高分辨率图像都经过人脸的五个特征点进行仿射变化对齐，且被裁剪为120×100像素大小，把将所有高分辨率图像训练样本采用平均模糊4倍下采样再4倍Bicubic上采样，获得对应像素大小为120×100的低分辨率图像训练样本库。
实验中，随机选取180个个体共360张图像作为高分辨率图像训练样本集，经过模糊下采样获得对应低分辨率图像训练样本集，把其余40张图像作为测试图像。
步骤2，将低分辨率待重建人脸图像x、低分辨率图像训练样本集X中的每个训练样本人脸图样和高分辨率图像训练样本集Y中的每个训练样本人脸图样分别按照人脸图像的位置信息划分为互相交叠且等大小的图像块，图像块之间相互的交叠像素个数相同，得到低分辨率待重建图像块集xl、低分辨率训练样本图像块集X(p,q)和高分辨率训练样本图像块集Y(p,q)：
xl＝{x(p,q)|1≤p≤U,1≤q≤V}，
Figure BDA0001408759660000063
Figure BDA0001408759660000064
U代表低分辨率待重建图像x、低分辨率图像训练样本集X和高分辨率图像训练样本集Y中一张人脸图像划分为图像块后每一列图像块的个数，V代表一张人脸图像划分为图像块后每一行图像块的个数，(p,q)是图像块的位置坐标，j代表低分辨率训练样本图像块集X(p,q)和高分辨率训练样本图像块集Y(p,q)中的第j张分块后的训练样本人脸图样。
本实验将图像块大小设置为10，图像块之间交叠数设置为8，预选点个数设置为90，最近邻投影点个数设置为投影点数量的十分之二情况下实验训练样本个数对实验的影响；为了达到算法最佳状态，参考背景技术中的参数设置，设置主成分累计贡献率为0.99，所有实验设置以峰值信噪比(PSNR)和结构相似性系数(SSIM)值作为客观评价指标，PSNR是一种在图图像处理领域使用最广的、从客观上衡量处理后的图像和原始图像之间的数据相似程度的指标，SSIM则是一种更加符合人类主观感受的评价指标。
步骤3，对于输入的输入低分辨率待重建人脸图像x中每个图像块，取低分辨率图像训练样本集中每个低分辨率训练样本人脸图样相应位置的图像块作为样本点，建立低分辨率人脸样本块空间，取高分辨率图像训练样本集中每个高分辨率训练样本人脸图样相应位置的图像块作为样本点，建立高分辨率人脸样本块空间；基于最近特征线方法和特征转换方法，将低分辨率待重建人脸图像x中的每个图像块重建为目标高分辨率人脸图像块。
本步骤中，基于最近特征线方法和特征转换方法，将低分辨率待重建图像块集xl中的一个低分辨率待重建图像块x(p,q)重建为目标高分辨率人脸图像块y(p,q)，具体包括步骤3.1-3.8。
步骤3.1，求取低分辨率近邻图像块集合X(Kpre)(p,q)和高分辨率近邻图像块集合Y(Kpre)(p,q)；低分辨率近邻图像块集合X(Kpre)(p,q)为在低分辨率训练样本图像块集X(p,q)中选择与低分辨率待重建图像块x(p,q)同在(p,q)处的Kpre个最近的图像块组成的集合，最近的图像块为与低分辨率待重建图像块x(p,q)欧氏距离di(p,q)最小的图像块，
Figure BDA0001408759660000071
；
高分辨率近邻图像块集合Y(Kpre)(p,q)为对于低分辨率近邻图像块集合X(Kpre)(p,q)中的每个图像块，分别选取在高分辨率训练样本图像块集Y(p,q)中相对应位置的图像块组成的集合；
X(Kpre)(p,q)＝{Xr(p,q)|Xr(p,q)∈X(p,q),r∈CKpre(x(p,q))}，
Y(Kpre)(p,q)＝{Yr(p,q)|Yr(p,q)∈Y(p,q),r∈CKpre(x(p,q))}；
其中，CKpre(x(p,q))为X(p,q)中同在(p,q)处并与x(p,q)最相近的Kpre个图像块的索引；低分辨率人脸样本块空间为在低分辨率训练样本图像块集X(p,q)中的每个分块后的训练样本人脸图样上选择与低分辨率待重建图像块x(p,q)同在(p,q)处的图像块组成的集合，低分辨率近邻图像块集合X(Kpre)(p,q)为在低分辨率人脸样本块空间上选择的Kpre个最近的图像块组成的集合；高分辨率人脸样本块空间为在高分辨率训练样本图像块集X(p,q)中的每个分块后的训练样本人脸图样上选择与低分辨率待重建图像块Y(p,q)同在(p,q)处的图像块组成的集合。
步骤3.2，将低分辨率近邻图像块集合X(Kpre)(p,q)中的任意两个样本点
Figure BDA0001408759660000081
和
Figure BDA0001408759660000082
相连接，形成
Figure BDA0001408759660000083
条特征线
Figure BDA0001408759660000084
，j1和j2均为整数且1≤j1≤j2≤N；计算低分辨率待重建图像块x(p,q)在所有特征线
Figure BDA0001408759660000085
上的投影点
Figure BDA0001408759660000086
Figure BDA0001408759660000087
，
其中
Figure BDA0001408759660000088
步骤3.3，查找低分辨率待重建图像块x(p,q)在
Figure BDA0001408759660000089
条特征线
Figure BDA00014087596600000810
上的K个最近邻投影点，即相当于找出x(p,q)与
Figure BDA00014087596600000811
条特征线的投影点距离最近的K个图像块，构成低分辨率最近邻样本投影点集合LK(p,q)，LK(p,q)＝{xc,d(p,q)(c,d)∈C(i)}，C(i)为K个最近邻样本投影点下标的集合；
本步骤中低分辨率待重建图像块x(p,q)与特征线
Figure BDA00014087596600000812
的距离
Figure BDA00014087596600000813
为x(p,q)与投影点
Figure BDA00014087596600000814
的欧氏距离，即
Figure BDA00014087596600000815
其中，
Figure BDA00014087596600000816
表示输入低分辨率待重建图像块x(p,q)到投影点
Figure BDA00014087596600000817
的欧氏距离。
步骤3.4，计算在高分辨率近邻图像块集合Y(Kpre)(p,q)中与LK(p,q)相对应的K个高分辨率最近邻样本投影点图像块，并组成的高分辨率最近邻样本集合HK(p,q)，HK(p,q)＝{yc,d(p,q)(c,d)∈C(i)}，其中
Figure BDA00014087596600000818
,
Figure BDA00014087596600000819
为公式(2)中
Figure BDA00014087596600000820
在j1＝c，j2＝d时所取的值。
步骤3.5，求取与低分辨率待重建图像块x(p,q)对应的低分辨率最近邻样本投影点集合LK(p,q)的平均脸
Figure BDA0001408759660000091
以及和低分辨率待重建图像块x(p,q)对应的高分辨率最近邻样本投影点集合HK(p,q)的平均脸
Figure BDA0001408759660000092
将低分辨率最近邻样本投影点集合LK(p,q)中的每个元素分别减去平均脸
Figure BDA0001408759660000093
得到集合
Figure BDA0001408759660000094
将高分辨率最近邻样本集合HK(p,q)中的每个元素分别减去平均脸
Figure BDA0001408759660000095
得到集合
Figure BDA0001408759660000096
步骤3.6，计算集合
Figure BDA0001408759660000097
的低分辨率特征向量空间El(p,q)，El(p,q)包括多个特征脸，
Figure BDA0001408759660000098
,
其中Vl(p,q)和Λl(p,q)分别代表矩阵
Figure BDA0001408759660000099
的特征向量和特征值；
步骤3.7，把低分辨率待重建图像块x(p,q)投影到El(p,q)中，求取图像块权重系数
Figure BDA00014087596600000910
,
将低分辨率待重建图像块x(p,q)用Q个特征脸
Figure BDA00014087596600000911
进行重建：
Figure BDA00014087596600000912
步骤3.8，计算集合
Figure BDA00014087596600000913
的高分辨率特征向量空间Eh(p,q)并计算获得目标高分辨率图像块y(p,q)，
Figure BDA00014087596600000914
其中Vh(p,q)、Λh(p,q)分别是矩阵
Figure BDA00014087596600000915
的特征向量和特征值，目标高分辨率图像块y(p,q)的计算公式为：
Figure BDA00014087596600000916
步骤4，重复步骤第3步，直到获得所有目标高分辨率图像块；
步骤5，将所有获得的目标高分辨率图像块根据位置信息叠加，除以每个像素重叠次数，获得重构的目标高分辨率人脸图像y。
综上所述，本方法通过对划分为块的输入低分辨率待重建人脸图像在低分辨率图像训练样本集中找到对应位置一定数量的近邻图像块，然后根据最近特征线思想使用这些近邻块找到与该输入低分辨率待重建图像块对应的具有更好局部相似性的若干低分辨率最近邻样本投影点图像块，并计算这些低分辨率最近邻样本投影点图像块对应的高分辨率最近邻样本投影点图像块集合；把输入低分辨率待重建图像块投影到低分辨率最近邻样本投影点集合构成的低分辨率特征向量空间中，得到相应的映射参数；通过映射参数合成每一块输入低分辨率待重建图像块对应的目标高分辨率图像块，最后，把所有的目标高分辨率图像块拼合在一起，得到目标高分辨率图像。
如图4所示，在高斯噪声强度是0或5的情况下，本方法相对于一些主流算法在PSNR和SSIM客观评价指标上均有一定的提升，说明本方法重建得到的图像很好的还原了原始高分辨图像的高频细节信息。
本方法与基于最近特征线流形学习的人脸超分辨率算法相比，使用了特征转换思想，在去除了大量噪声干扰的同时，还能够保持图像的大部分原始信息，主要表现为对噪声具有更好的鲁棒性；本方法与基于局部特征转换的人脸超分辨率算法相比，因为使用最近特征线思想提高了训练样本库的表达能力，使得重建的目标图像有了更好的高频局部细节信息，达到了很好的图像重建效果，另外本发明受到了国家自然科学基金项目(项目编号：U1404618)和河南省科技发展计划项目资助(项目编号：172102210186)，在图像处理技术领域具有很好的研究价值。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (1)

1.一种基于最近特征线的特征转换人脸超分辨率重建方法，其特征在于，包括以下步骤：
步骤1，输入低分辨率待重建人脸图像x、低分辨率图像训练样本集
Figure FDA0002412014570000011
和高分辨率图像训练样本集
Figure FDA0002412014570000012
N表示低分辨率图像训练样本集X和高分辨率图像训练样本集Y中训练样本人脸图样的个数；低分辨率图像训练样本集中包含多个低分辨率训练样本人脸图样，高分辨率图像训练样本集中包含多个高分辨率训练样本人脸图样；
步骤2，将低分辨率待重建人脸图像x、低分辨率图像训练样本集X中的每个训练样本人脸图样和高分辨率图像训练样本集Y中的每个训练样本人脸图样分别按照人脸图像的位置信息划分为互相交叠且等大小的图像块；图像块之间相互的交叠像素个数相同，得到低分辨率待重建图像块集xl、低分辨率训练样本图像块集X(p,q)和高分辨率训练样本图像块集Y(p,q)：
xl＝{x(p,q)|1≤p≤U,1≤q≤V}，
Figure FDA0002412014570000013
Figure FDA0002412014570000014
U代表低分辨率待重建图像x、低分辨率图像训练样本集X和高分辨率图像训练样本集Y中一张人脸图像划分为图像块后每一列图像块的个数，V代表一张人脸图像划分为图像块后每一行图像块的个数，(p,q)是图像块的位置坐标，j代表低分辨率训练样本图像块集X(p,q)和高分辨率训练样本图像块集Y(p,q)中的第j张分块后的训练样本人脸图样；
步骤3，对于输入的输入低分辨率待重建人脸图像x中每个图像块，取低分辨率图像训练样本集中每个低分辨率训练样本人脸图样相应位置的图像块作为样本点，建立低分辨率人脸样本块空间，取高分辨率图像训练样本集中每个高分辨率训练样本人脸图样相应位置的图像块作为样本点，建立高分辨率人脸样本块空间；基于最近特征线方法和特征转换方法，将低分辨率待重建人脸图像x中的每个图像块重建为目标高分辨率人脸图像块；
步骤3中，基于最近特征线方法和特征转换方法，将低分辨率待重建图像块集xl中的一个低分辨率待重建图像块x(p,q)重建为目标高分辨率人脸图像块y(p,q)，具体包括步骤3.1-3.8；
步骤3.1，求取低分辨率近邻图像块集合X(Kpre)(p,q)和高分辨率近邻图像块集合Y(Kpre)(p,q)；低分辨率近邻图像块集合X(Kpre)(p,q)为在低分辨率训练样本图像块集X(p,q)中选择与低分辨率待重建图像块x(p,q)同在(p,q)处的Kpre个最近的图像块组成的集合，最近的图像块为与低分辨率待重建图像块x(p,q)欧氏距离di(p,q)最小的图像块，
Figure FDA0002412014570000021
；
高分辨率近邻图像块集合Y(Kpre)(p,q)为对于低分辨率近邻图像块集合X(Kpre)(p,q)中的每个图像块，分别选取在高分辨率训练样本图像块集Y(p,q)中相对应位置的图像块组成的集合；
X(Kpre)(p,q)＝{Xr(p,q)|Xr(p,q)∈X(p,q),r∈CKpre(x(p,q))}，
Y(Kpre)(p,q)＝{Yr(p,q)|Yr(p,q)∈Y(p,q),r∈CKpre(x(p,q))}；
其中，CKpre(x(p,q))为X(p,q)中同在(p,q)处并与x(p,q)最相近的Kpre个图像块的索引；
步骤3.2，将低分辨率近邻图像块集合X(Kpre)(p,q)中的任意两个样本点
Figure FDA00024120145700000212
和
Figure FDA00024120145700000213
相连接，形成
Figure FDA0002412014570000022
条特征线
Figure FDA0002412014570000023
j1和j2均为整数且1≤j1≤j2≤N；计算低分辨率待重建图像块x(p,q)在所有特征线
Figure FDA0002412014570000024
上的投影点
Figure FDA00024120145700000214
Figure FDA00024120145700000215
，
其中
Figure FDA0002412014570000025
步骤3.3，查找低分辨率待重建图像块x(p,q)在
Figure FDA0002412014570000026
条特征线
Figure FDA0002412014570000027
上的K个最近邻投影点，即相当于找出x(p,q)与
Figure FDA0002412014570000028
条特征线的投影点距离最近的K个图像块，构成低分辨率最近邻样本投影点集合LK(p,q)，LK(p,q)＝{xc,d(p,q)|(c,d)∈C(i)}，C(i)为K个最近邻样本投影点下标的集合；
本步骤中低分辨率待重建图像块x(p,q)与特征线
Figure FDA0002412014570000029
的距离
Figure FDA00024120145700000210
为x(p,q)与投影点
Figure FDA00024120145700000216
的欧氏距离，即
Figure FDA00024120145700000211
其中，
Figure FDA00024120145700000217
表示输入低分辨率待重建图像块x(p,q)到投影点
Figure FDA00024120145700000218
的欧氏距离；
步骤3.4，计算在高分辨率近邻图像块集合Y(Kpre)(p,q)中与LK(p,q)相对应的K个高分辨率最近邻样本投影点图像块，并组成的高分辨率最近邻样本集合HK(p,q)，HK(p,q)＝{yc,d(p,q)|(c,d)∈C(i)}，其中
yc,d(p,q)＝xc(p,q)+θc,d(p,q)(xc(p,q)-xd(p,q)) (3)，
θc,d(p,q)为公式(2)中
Figure FDA00024120145700000317
在j1＝c，j2＝d时所取的值；
步骤3.5，求取与低分辨率待重建图像块x(p,q)对应的低分辨率最近邻样本投影点集合LK(p,q)的平均脸
Figure FDA0002412014570000031
以及和低分辨率待重建图像块x(p,q)对应的高分辨率最近邻样本投影点集合HK(p,q)的平均脸
Figure FDA0002412014570000032
(c,d)∈C(i)；
将低分辨率最近邻样本投影点集合LK(p,q)中的每个元素分别减去平均脸
Figure FDA0002412014570000033
得到集合
Figure FDA0002412014570000034
将高分辨率最近邻样本集合HK(p,q)中的每个元素分别减去平均脸
Figure FDA0002412014570000035
得到集合
Figure FDA0002412014570000036
步骤3.6，计算集合
Figure FDA0002412014570000037
的低分辨率特征向量空间El(p,q)，El(p,q)包括多个特征脸，
Figure FDA0002412014570000038
，
其中Vl(p,q)和Λl(p,q)分别代表矩阵
Figure FDA0002412014570000039
的特征向量和特征值；
步骤3.7，把低分辨率待重建图像块x(p,q)投影到El(p,q)中，求取图像块权重系数
Figure FDA00024120145700000310
，
将低分辨率待重建图像块x(p,q)用Q个特征脸
Figure FDA00024120145700000311
进行重建：
Figure FDA00024120145700000312
步骤3.8，计算集合
Figure FDA00024120145700000313
的高分辨率特征向量空间Eh(p,q)并计算获得目标高分辨率图像块y(p,q)，
Figure FDA00024120145700000314
其中Vh(p,q)、Λh(p,q)分别是矩阵
Figure FDA00024120145700000315
的特征向量和特征值，目标高分辨率图像块y(p,q)的计算公式为：
Figure FDA00024120145700000316
步骤4，重复步骤3，直到获得所有目标高分辨率图像块；
步骤5，将所有获得的目标高分辨率图像块根据位置信息叠加，除以每个像素重叠次数，获得重构的目标高分辨率人脸图像y。
CN201710831228.9A 2017-09-12 2017-09-12 基于最近特征线的特征转换人脸超分辨率重建方法 Active CN107481196B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710831228.9A CN107481196B (zh) 2017-09-12 2017-09-12 基于最近特征线的特征转换人脸超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710831228.9A CN107481196B (zh) 2017-09-12 2017-09-12 基于最近特征线的特征转换人脸超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN107481196A CN107481196A (zh) 2017-12-15
CN107481196B true CN107481196B (zh) 2020-05-19

Family

ID=60584137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710831228.9A Active CN107481196B (zh) 2017-09-12 2017-09-12 基于最近特征线的特征转换人脸超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN107481196B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659700B (zh) * 2019-10-10 2022-10-11 西南石油大学 一种基于knn的图像样本生成方法
CN111292237B (zh) * 2020-01-21 2023-08-08 扬州大学 基于二维多集偏最小二乘的人脸图像超分辨率重建方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091320A (zh) * 2014-07-16 2014-10-08 武汉大学 基于数据驱动局部特征转换的噪声人脸超分辨率重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7671728B2 (en) * 2006-06-02 2010-03-02 Sensormatic Electronics, LLC Systems and methods for distributed monitoring of remote sites

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091320A (zh) * 2014-07-16 2014-10-08 武汉大学 基于数据驱动局部特征转换的噪声人脸超分辨率重建方法

Also Published As

Publication number Publication date
CN107481196A (zh) 2017-12-15

Similar Documents

Publication Publication Date Title
Qiu et al. Embedded block residual network: A recursive restoration model for single-image super-resolution
Yang et al. Fast image super-resolution based on in-place example regression
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN109872305B (zh) 一种基于质量图生成网络的无参考立体图像质量评价方法
CN111127374A (zh) 一种基于多尺度密集网络的Pan-sharpening方法
CN111340696B (zh) 融合仿生视觉机制的卷积神经网络图像超分辨率重建方法
Kasem et al. Spatial transformer generative adversarial network for robust image super-resolution
CN104091320B (zh) 基于数据驱动局部特征转换的噪声人脸超分辨率重建方法
CN113538246B (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN112163990B (zh) 360度图像的显著性预测方法及系统
CN107481196B (zh) 基于最近特征线的特征转换人脸超分辨率重建方法
CN115170435A (zh) 一种基于Unet网络的图像几何畸变校正方法
CN113744153A (zh) 双分支图像修复伪造检测方法、系统、设备及存储介质
Almasri et al. Rgb guided thermal super-resolution enhancement
Shi et al. Exploiting multi-scale parallel self-attention and local variation via dual-branch transformer-cnn structure for face super-resolution
CN116797461A (zh) 基于多级强化注意力机制的双目图像超分辨率重建方法
Gao A method for face image inpainting based on generative adversarial networks
CN108090460B (zh) 基于韦伯多方向描述子的人脸表情识别特征提取方法
Ribeiro et al. Exploring texture transfer learning via convolutional neural networks for iris super resolution
CN112598604A (zh) 一种盲脸复原方法及系统
CN111275624B (zh) 基于多集典型相关分析的人脸图像超分辨率重建识别方法
Cao et al. A new method for image super-resolution with multi-channel constraints
CN115375537A (zh) 非线性感知多尺度的超分辨率图像生成系统及方法
CN111292237B (zh) 基于二维多集偏最小二乘的人脸图像超分辨率重建方法
CN112734675A (zh) 一种基于金字塔模型和非局部增强密集块的图像去雨方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant