CN107481196B - 基于最近特征线的特征转换人脸超分辨率重建方法 - Google Patents
基于最近特征线的特征转换人脸超分辨率重建方法 Download PDFInfo
- Publication number
- CN107481196B CN107481196B CN201710831228.9A CN201710831228A CN107481196B CN 107481196 B CN107481196 B CN 107481196B CN 201710831228 A CN201710831228 A CN 201710831228A CN 107481196 B CN107481196 B CN 107481196B
- Authority
- CN
- China
- Prior art keywords
- resolution
- low
- image
- face
- image block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000009466 transformation Effects 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 99
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 19
- 230000000694 effects Effects 0.000 abstract description 8
- 241000282414 Homo sapiens Species 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于最近特征线的特征转换人脸超分辨率重建方法,通过将基于最近特征线流形学习的人脸超分辨率算法与基于局部特征转换的人脸超分辨率算法融合在一起进行人脸超分辨率重建,因此本方法与基于最近特征线流形学习的人脸超分辨率算法相比,使用了特征转换思想,在去除了大量噪声干扰的同时,还能够保持图像的大部分原始信息,主要表现为对噪声具有更好的鲁棒性;本方法与基于局部特征转换的人脸超分辨率算法相比,因为使用最近特征线思想提高了训练样本库的表达能力,使得重建的目标图像有了更好的高频局部细节信息,达到了很好的图像重建效果。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于最近特征线的特征转换人脸超分辨率重建方法。
背景技术
人脸超分辨率重建是一种根据观测到的低分辨率人脸图像,利用高分辨率图像训练库样本和低分辨率人脸图像训练库样本,重建得到与待重建低分辨率人脸图像最相似的高分辨率人脸图像;它能够重现人脸的局部细节,达到增强人脸辨识准确性的目的,有助于提高公安机关的破案率,保障人民群众的生命财产安全。
基于局部特征转换的人脸超分辨率算法,将局部脸的思想引入到特征转换超分辨率方法中,在一定程度上提高了图像的重建效果,但由于训练样本库大小的限制,使得重建效果并不理想;武汉大学江俊君等人提出了基于最近特征线流形学习的人脸超分辨率算法,利用最近特征线的思想能够将任意两个同类型的样本点扩充为这两个样本点构成的特征线上的无数个投影点,解决样本数据库过小而导致样本空间分布稀疏的问题,极大地提高了样本数据库的表达能力,但算法针对噪声图像的重建效果并不理想,无法满足噪声鲁棒性的要求。
因此如何将基于局部特征转换的人脸超分辨率算法与基于最近特征线流形学习的人脸超分辨率算法结合起来,在扩充训练样本库大小的同时,增强对噪声图像的重建效果,满足鲁棒性的要求,是本领域的技术人员急需解决的技术问题。
发明内容
本发明的目的在于提供一种基于最近特征线的特征转换人脸超分辨率重建方法,能够将最近特征线思想应用于基于特征转换的人脸超分辨率重建方法中,使新的重建方法具有很好鲁棒性,并且扩充训练样本库大小,增强对噪声图像的重建效果。
本发明采用的技术方案为:一种基于最近特征线的特征转换人脸超分辨率重建方法,包括以下步骤:
步骤1,输入低分辨率待重建人脸图像x、低分辨率图像训练样本集和高分辨率图像训练样本集,低分辨率图像训练样本集中包含多个低分辨率训练样本人脸图样,高分辨率图像训练样本集中包含多个高分辨率训练样本人脸图样。
步骤2,将低分辨率待重建人脸图像x、低分辨率图像训练样本集中的每个低分辨率训练样本人脸图样和高分辨率图像训练样本中的每个高分辨率训练样本人脸图样分别按照人脸图像的位置信息划分为互相交叠且等大小的图像块。
步骤3,对于输入的输入低分辨率待重建人脸图像x中每个图像块,取低分辨率图像训练样本集中每个低分辨率训练样本人脸图样相应位置的图像块作为样本点,建立低分辨率人脸样本块空间,取高分辨率图像训练样本集中每个高分辨率训练样本人脸图样相应位置的图像块作为样本点,建立高分辨率人脸样本块空间;基于最近特征线方法和特征转换方法,将低分辨率待重建人脸图像x中的每个图像块重建为目标高分辨率人脸图像块。
步骤4,重复步骤3,直到获得所有目标高分辨率图像块。
步骤5,将所有获得的目标高分辨率图像块根据位置信息叠加,除以每个像素重叠次数,获得重构的目标高分辨率人脸图像y。
将低分辨率待重建人脸图像x、低分辨率图像训练样本集X中的每个训练样本人脸图样和高分辨率图像训练样本集Y中的每个训练样本人脸图样分别按照人脸图像的位置信息划分为互相交叠且等大小的图像块,图像块之间相互的交叠像素个数相同,得到低分辨率待重建图像块集xl、低分辨率训练样本图像块集X(p,q)和高分辨率训练样本图像块集Y(p,q):
xl={x(p,q)|1≤p≤U,1≤q≤V},
U代表低分辨率待重建图像x、低分辨率图像训练样本集X和高分辨率图像训练样本集Y中一张人脸图像划分为图像块后每一列图像块的个数,V代表一张人脸图像划分为图像块后每一行图像块的个数,(p,q)是图像块的位置坐标,j代表低分辨率训练样本图像块集X(p,q)和高分辨率训练样本图像块集Y(p,q)中的第j张分块后的训练样本人脸图样。
步骤3中,基于最近特征线方法和特征转换方法,将低分辨率待重建图像块集xl中的一个低分辨率待重建图像块x(p,q)重建为目标高分辨率人脸图像块y(p,q),具体包括步骤3.1-3.8。
步骤3.1,求取低分辨率近邻图像块集合X(Kpre)(p,q)和高分辨率近邻图像块集合Y(Kpre)(p,q);低分辨率近邻图像块集合X(Kpre)(p,q)为在低分辨率训练样本图像块集X(p,q)中选择与低分辨率待重建图像块x(p,q)同在(p,q)处的Kpre个最近的图像块组成的集合,最近的图像块为与低分辨率待重建图像块x(p,q)欧氏距离di(p,q)最小的图像块,
高分辨率近邻图像块集合Y(Kpre)(p,q)为对于低分辨率近邻图像块集合X(Kpre)(p,q)中的每个图像块,分别选取在高分辨率训练样本图像块集Y(p,q)中相对应位置的图像块组成的集合;
X(Kpre)(p,q)={Xr(p,q)|Xr(p,q)∈X(p,q),r∈CKpre(x(p,q))},
Y(Kpre)(p,q)={Yr(p,q)|Yr(p,q)∈Y(p,q),r∈CKpre(x(p,q))};
其中,CKpre(x(p,q))为X(p,q)中同在(p,q)处并与x(p,q)最相近的Kpre个图像块的索引。
步骤3.3,查找低分辨率待重建图像块x(p,q)在条特征线上的K个最近邻投影点,即相当于找出x(p,q)与条特征线的投影点距离最近的K个图像块,构成低分辨率最近邻样本投影点集合LK(p,q),LK(p,q)={xc,d(p,q)|(c,d)∈C(i)},C(i)为K个最近邻样本投影点下标的集合;
步骤3.4,计算在高分辨率近邻图像块集合Y(Kpre)(p,q)中与LK(p,q)相对应的K个高分辨率最近邻样本投影点图像块,并组成的高分辨率最近邻样本集合HK(p,q),HK(p,q)={yc,d(p,q)(c,d)∈C(i)},其中
步骤3.5,求取与低分辨率待重建图像块x(p,q)对应的低分辨率最近邻样本投影点集合LK(p,q)的平均脸以及和低分辨率待重建图像块x(p,q)对应的高分辨率最近邻样本投影点集合HK(p,q)的平均脸
步骤3.7,把低分辨率待重建图像块x(p,q)投影到El(p,q)中,求取图像块权重系数
步骤3.8,计算集合的高分辨率特征向量空间Eh(p,q)并计算获得目标高分辨率图像块y(p,q),其中Vh(p,q)、Λh(p,q)分别是矩阵的特征向量和特征值,目标高分辨率图像块y(p,q)的计算公式为:
本发明的主要优点为:本方法通过将基于最近特征线流形学习的人脸超分辨率算法与基于局部特征转换的人脸超分辨率算法融合在一起进行人脸超分辨率重建,因此本方法与基于最近特征线流形学习的人脸超分辨率算法相比,使用了特征转换思想,在去除了大量噪声干扰的同时,还能够保持图像的大部分原始信息,主要表现为对噪声具有更好的鲁棒性;本方法与基于局部特征转换的人脸超分辨率算法相比,因为使用最近特征线思想提高了训练样本库的表达能力,使得重建的目标图像有了更好的高频局部细节信息,达到了很好的图像重建效果。
附图说明
图1为本发明的流程图;
图2为本发明所述的基于最近特征线流形学习的人脸超分辨率方法的原理图;
图3为本发明所述的基于特征转换的人脸超分辨率方法的原理图;
图4为本发明和对比算法在40张测试图像重建时的客观指标对比图。
具体实施方式
本发明的技术方案可采用软件形式实现自动流程运行,下面结合实施例和附图对本发明的技术方案进行进一步的阐述,如图1、图2和图3所示,一种基于最近特征线的特征转换人脸超分辨率重建方法,具体包括如下步骤:
本实施例中选取人脸超分辨率领域里的FEI人脸数据库作为算法重建实验的训练样本库;FEI人脸数据库,共包含200个独立的个体,其中包含100名男性个体和100名女性个体;图像库中所有个体年龄均处于19到40岁之间,在专门的环境中,保证角度一致的情况下,每个个体均有一张笑脸一张没有表情两张正面照;所有图像库样本个体的高分辨率图像都经过人脸的五个特征点进行仿射变化对齐,且被裁剪为120×100像素大小,把将所有高分辨率图像训练样本采用平均模糊4倍下采样再4倍Bicubic上采样,获得对应像素大小为120×100的低分辨率图像训练样本库。
实验中,随机选取180个个体共360张图像作为高分辨率图像训练样本集,经过模糊下采样获得对应低分辨率图像训练样本集,把其余40张图像作为测试图像。
步骤2,将低分辨率待重建人脸图像x、低分辨率图像训练样本集X中的每个训练样本人脸图样和高分辨率图像训练样本集Y中的每个训练样本人脸图样分别按照人脸图像的位置信息划分为互相交叠且等大小的图像块,图像块之间相互的交叠像素个数相同,得到低分辨率待重建图像块集xl、低分辨率训练样本图像块集X(p,q)和高分辨率训练样本图像块集Y(p,q):
xl={x(p,q)|1≤p≤U,1≤q≤V},
U代表低分辨率待重建图像x、低分辨率图像训练样本集X和高分辨率图像训练样本集Y中一张人脸图像划分为图像块后每一列图像块的个数,V代表一张人脸图像划分为图像块后每一行图像块的个数,(p,q)是图像块的位置坐标,j代表低分辨率训练样本图像块集X(p,q)和高分辨率训练样本图像块集Y(p,q)中的第j张分块后的训练样本人脸图样。
本实验将图像块大小设置为10,图像块之间交叠数设置为8,预选点个数设置为90,最近邻投影点个数设置为投影点数量的十分之二情况下实验训练样本个数对实验的影响;为了达到算法最佳状态,参考背景技术中的参数设置,设置主成分累计贡献率为0.99,所有实验设置以峰值信噪比(PSNR)和结构相似性系数(SSIM)值作为客观评价指标,PSNR是一种在图图像处理领域使用最广的、从客观上衡量处理后的图像和原始图像之间的数据相似程度的指标,SSIM则是一种更加符合人类主观感受的评价指标。
步骤3,对于输入的输入低分辨率待重建人脸图像x中每个图像块,取低分辨率图像训练样本集中每个低分辨率训练样本人脸图样相应位置的图像块作为样本点,建立低分辨率人脸样本块空间,取高分辨率图像训练样本集中每个高分辨率训练样本人脸图样相应位置的图像块作为样本点,建立高分辨率人脸样本块空间;基于最近特征线方法和特征转换方法,将低分辨率待重建人脸图像x中的每个图像块重建为目标高分辨率人脸图像块。
本步骤中,基于最近特征线方法和特征转换方法,将低分辨率待重建图像块集xl中的一个低分辨率待重建图像块x(p,q)重建为目标高分辨率人脸图像块y(p,q),具体包括步骤3.1-3.8。
步骤3.1,求取低分辨率近邻图像块集合X(Kpre)(p,q)和高分辨率近邻图像块集合Y(Kpre)(p,q);低分辨率近邻图像块集合X(Kpre)(p,q)为在低分辨率训练样本图像块集X(p,q)中选择与低分辨率待重建图像块x(p,q)同在(p,q)处的Kpre个最近的图像块组成的集合,最近的图像块为与低分辨率待重建图像块x(p,q)欧氏距离di(p,q)最小的图像块,
高分辨率近邻图像块集合Y(Kpre)(p,q)为对于低分辨率近邻图像块集合X(Kpre)(p,q)中的每个图像块,分别选取在高分辨率训练样本图像块集Y(p,q)中相对应位置的图像块组成的集合;
X(Kpre)(p,q)={Xr(p,q)|Xr(p,q)∈X(p,q),r∈CKpre(x(p,q))},
Y(Kpre)(p,q)={Yr(p,q)|Yr(p,q)∈Y(p,q),r∈CKpre(x(p,q))};
其中,CKpre(x(p,q))为X(p,q)中同在(p,q)处并与x(p,q)最相近的Kpre个图像块的索引;低分辨率人脸样本块空间为在低分辨率训练样本图像块集X(p,q)中的每个分块后的训练样本人脸图样上选择与低分辨率待重建图像块x(p,q)同在(p,q)处的图像块组成的集合,低分辨率近邻图像块集合X(Kpre)(p,q)为在低分辨率人脸样本块空间上选择的Kpre个最近的图像块组成的集合;高分辨率人脸样本块空间为在高分辨率训练样本图像块集X(p,q)中的每个分块后的训练样本人脸图样上选择与低分辨率待重建图像块Y(p,q)同在(p,q)处的图像块组成的集合。
步骤3.2,将低分辨率近邻图像块集合X(Kpre)(p,q)中的任意两个样本点和相连接,形成条特征线,j1和j2均为整数且1≤j1≤j2≤N;计算低分辨率待重建图像块x(p,q)在所有特征线上的投影点
步骤3.3,查找低分辨率待重建图像块x(p,q)在条特征线上的K个最近邻投影点,即相当于找出x(p,q)与条特征线的投影点距离最近的K个图像块,构成低分辨率最近邻样本投影点集合LK(p,q),LK(p,q)={xc,d(p,q)(c,d)∈C(i)},C(i)为K个最近邻样本投影点下标的集合;
步骤3.4,计算在高分辨率近邻图像块集合Y(Kpre)(p,q)中与LK(p,q)相对应的K个高分辨率最近邻样本投影点图像块,并组成的高分辨率最近邻样本集合HK(p,q),HK(p,q)={yc,d(p,q)(c,d)∈C(i)},其中
步骤3.5,求取与低分辨率待重建图像块x(p,q)对应的低分辨率最近邻样本投影点集合LK(p,q)的平均脸以及和低分辨率待重建图像块x(p,q)对应的高分辨率最近邻样本投影点集合HK(p,q)的平均脸
步骤3.7,把低分辨率待重建图像块x(p,q)投影到El(p,q)中,求取图像块权重系数
步骤3.8,计算集合的高分辨率特征向量空间Eh(p,q)并计算获得目标高分辨率图像块y(p,q),其中Vh(p,q)、Λh(p,q)分别是矩阵的特征向量和特征值,目标高分辨率图像块y(p,q)的计算公式为:
步骤4,重复步骤第3步,直到获得所有目标高分辨率图像块;
步骤5,将所有获得的目标高分辨率图像块根据位置信息叠加,除以每个像素重叠次数,获得重构的目标高分辨率人脸图像y。
综上所述,本方法通过对划分为块的输入低分辨率待重建人脸图像在低分辨率图像训练样本集中找到对应位置一定数量的近邻图像块,然后根据最近特征线思想使用这些近邻块找到与该输入低分辨率待重建图像块对应的具有更好局部相似性的若干低分辨率最近邻样本投影点图像块,并计算这些低分辨率最近邻样本投影点图像块对应的高分辨率最近邻样本投影点图像块集合;把输入低分辨率待重建图像块投影到低分辨率最近邻样本投影点集合构成的低分辨率特征向量空间中,得到相应的映射参数;通过映射参数合成每一块输入低分辨率待重建图像块对应的目标高分辨率图像块,最后,把所有的目标高分辨率图像块拼合在一起,得到目标高分辨率图像。
如图4所示,在高斯噪声强度是0或5的情况下,本方法相对于一些主流算法在PSNR和SSIM客观评价指标上均有一定的提升,说明本方法重建得到的图像很好的还原了原始高分辨图像的高频细节信息。
本方法与基于最近特征线流形学习的人脸超分辨率算法相比,使用了特征转换思想,在去除了大量噪声干扰的同时,还能够保持图像的大部分原始信息,主要表现为对噪声具有更好的鲁棒性;本方法与基于局部特征转换的人脸超分辨率算法相比,因为使用最近特征线思想提高了训练样本库的表达能力,使得重建的目标图像有了更好的高频局部细节信息,达到了很好的图像重建效果,另外本发明受到了国家自然科学基金项目(项目编号:U1404618)和河南省科技发展计划项目资助(项目编号:172102210186),在图像处理技术领域具有很好的研究价值。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的范围。
Claims (1)
1.一种基于最近特征线的特征转换人脸超分辨率重建方法,其特征在于,包括以下步骤:
步骤1,输入低分辨率待重建人脸图像x、低分辨率图像训练样本集和高分辨率图像训练样本集N表示低分辨率图像训练样本集X和高分辨率图像训练样本集Y中训练样本人脸图样的个数;低分辨率图像训练样本集中包含多个低分辨率训练样本人脸图样,高分辨率图像训练样本集中包含多个高分辨率训练样本人脸图样;
步骤2,将低分辨率待重建人脸图像x、低分辨率图像训练样本集X中的每个训练样本人脸图样和高分辨率图像训练样本集Y中的每个训练样本人脸图样分别按照人脸图像的位置信息划分为互相交叠且等大小的图像块;图像块之间相互的交叠像素个数相同,得到低分辨率待重建图像块集xl、低分辨率训练样本图像块集X(p,q)和高分辨率训练样本图像块集Y(p,q):
xl={x(p,q)|1≤p≤U,1≤q≤V},
U代表低分辨率待重建图像x、低分辨率图像训练样本集X和高分辨率图像训练样本集Y中一张人脸图像划分为图像块后每一列图像块的个数,V代表一张人脸图像划分为图像块后每一行图像块的个数,(p,q)是图像块的位置坐标,j代表低分辨率训练样本图像块集X(p,q)和高分辨率训练样本图像块集Y(p,q)中的第j张分块后的训练样本人脸图样;
步骤3,对于输入的输入低分辨率待重建人脸图像x中每个图像块,取低分辨率图像训练样本集中每个低分辨率训练样本人脸图样相应位置的图像块作为样本点,建立低分辨率人脸样本块空间,取高分辨率图像训练样本集中每个高分辨率训练样本人脸图样相应位置的图像块作为样本点,建立高分辨率人脸样本块空间;基于最近特征线方法和特征转换方法,将低分辨率待重建人脸图像x中的每个图像块重建为目标高分辨率人脸图像块;
步骤3中,基于最近特征线方法和特征转换方法,将低分辨率待重建图像块集xl中的一个低分辨率待重建图像块x(p,q)重建为目标高分辨率人脸图像块y(p,q),具体包括步骤3.1-3.8;
步骤3.1,求取低分辨率近邻图像块集合X(Kpre)(p,q)和高分辨率近邻图像块集合Y(Kpre)(p,q);低分辨率近邻图像块集合X(Kpre)(p,q)为在低分辨率训练样本图像块集X(p,q)中选择与低分辨率待重建图像块x(p,q)同在(p,q)处的Kpre个最近的图像块组成的集合,最近的图像块为与低分辨率待重建图像块x(p,q)欧氏距离di(p,q)最小的图像块,
高分辨率近邻图像块集合Y(Kpre)(p,q)为对于低分辨率近邻图像块集合X(Kpre)(p,q)中的每个图像块,分别选取在高分辨率训练样本图像块集Y(p,q)中相对应位置的图像块组成的集合;
X(Kpre)(p,q)={Xr(p,q)|Xr(p,q)∈X(p,q),r∈CKpre(x(p,q))},
Y(Kpre)(p,q)={Yr(p,q)|Yr(p,q)∈Y(p,q),r∈CKpre(x(p,q))};
其中,CKpre(x(p,q))为X(p,q)中同在(p,q)处并与x(p,q)最相近的Kpre个图像块的索引;
步骤3.3,查找低分辨率待重建图像块x(p,q)在条特征线上的K个最近邻投影点,即相当于找出x(p,q)与条特征线的投影点距离最近的K个图像块,构成低分辨率最近邻样本投影点集合LK(p,q),LK(p,q)={xc,d(p,q)|(c,d)∈C(i)},C(i)为K个最近邻样本投影点下标的集合;
步骤3.4,计算在高分辨率近邻图像块集合Y(Kpre)(p,q)中与LK(p,q)相对应的K个高分辨率最近邻样本投影点图像块,并组成的高分辨率最近邻样本集合HK(p,q),HK(p,q)={yc,d(p,q)|(c,d)∈C(i)},其中
yc,d(p,q)=xc(p,q)+θc,d(p,q)(xc(p,q)-xd(p,q)) (3),
步骤3.5,求取与低分辨率待重建图像块x(p,q)对应的低分辨率最近邻样本投影点集合LK(p,q)的平均脸以及和低分辨率待重建图像块x(p,q)对应的高分辨率最近邻样本投影点集合HK(p,q)的平均脸(c,d)∈C(i);
步骤3.7,把低分辨率待重建图像块x(p,q)投影到El(p,q)中,求取图像块权重系数
步骤3.8,计算集合的高分辨率特征向量空间Eh(p,q)并计算获得目标高分辨率图像块y(p,q),其中Vh(p,q)、Λh(p,q)分别是矩阵的特征向量和特征值,目标高分辨率图像块y(p,q)的计算公式为:
步骤4,重复步骤3,直到获得所有目标高分辨率图像块;
步骤5,将所有获得的目标高分辨率图像块根据位置信息叠加,除以每个像素重叠次数,获得重构的目标高分辨率人脸图像y。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710831228.9A CN107481196B (zh) | 2017-09-12 | 2017-09-12 | 基于最近特征线的特征转换人脸超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710831228.9A CN107481196B (zh) | 2017-09-12 | 2017-09-12 | 基于最近特征线的特征转换人脸超分辨率重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107481196A CN107481196A (zh) | 2017-12-15 |
CN107481196B true CN107481196B (zh) | 2020-05-19 |
Family
ID=60584137
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710831228.9A Active CN107481196B (zh) | 2017-09-12 | 2017-09-12 | 基于最近特征线的特征转换人脸超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107481196B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110659700B (zh) * | 2019-10-10 | 2022-10-11 | 西南石油大学 | 一种基于knn的图像样本生成方法 |
CN111292237B (zh) * | 2020-01-21 | 2023-08-08 | 扬州大学 | 基于二维多集偏最小二乘的人脸图像超分辨率重建方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104091320A (zh) * | 2014-07-16 | 2014-10-08 | 武汉大学 | 基于数据驱动局部特征转换的噪声人脸超分辨率重建方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7671728B2 (en) * | 2006-06-02 | 2010-03-02 | Sensormatic Electronics, LLC | Systems and methods for distributed monitoring of remote sites |
-
2017
- 2017-09-12 CN CN201710831228.9A patent/CN107481196B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104091320A (zh) * | 2014-07-16 | 2014-10-08 | 武汉大学 | 基于数据驱动局部特征转换的噪声人脸超分辨率重建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107481196A (zh) | 2017-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107154023B (zh) | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 | |
Qiu et al. | Embedded block residual network: A recursive restoration model for single-image super-resolution | |
CN113673590B (zh) | 基于多尺度沙漏密集连接网络的去雨方法、系统和介质 | |
CN108090919A (zh) | 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法 | |
CN109872305B (zh) | 一种基于质量图生成网络的无参考立体图像质量评价方法 | |
Yu et al. | Hallucinating unaligned face images by multiscale transformative discriminative networks | |
CN102663361A (zh) | 一种面向整体特征分析的人脸图像可逆几何归一化方法 | |
CN105427350B (zh) | 基于局部四元数指数矩的彩色图像复制篡改检测方法 | |
CN104091320B (zh) | 基于数据驱动局部特征转换的噪声人脸超分辨率重建方法 | |
CN103020898B (zh) | 序列虹膜图像超分辨率重建方法 | |
Kasem et al. | Spatial transformer generative adversarial network for robust image super-resolution | |
CN111340696B (zh) | 融合仿生视觉机制的卷积神经网络图像超分辨率重建方法 | |
Shi et al. | Exploiting multi-scale parallel self-attention and local variation via dual-branch transformer-CNN structure for face super-resolution | |
CN102402784A (zh) | 一种基于最近特征线流形学习的人脸图像超分辨率方法 | |
CN112163990B (zh) | 360度图像的显著性预测方法及系统 | |
CN107481196B (zh) | 基于最近特征线的特征转换人脸超分辨率重建方法 | |
Almasri et al. | Rgb guided thermal super-resolution enhancement | |
CN115170435A (zh) | 一种基于Unet网络的图像几何畸变校正方法 | |
CN116797461A (zh) | 基于多级强化注意力机制的双目图像超分辨率重建方法 | |
CN108090460B (zh) | 基于韦伯多方向描述子的人脸表情识别特征提取方法 | |
CN112598604A (zh) | 一种盲脸复原方法及系统 | |
CN111292237B (zh) | 基于二维多集偏最小二乘的人脸图像超分辨率重建方法 | |
CN108550111A (zh) | 一种基于多级字典学习的残差实例回归超分辨重建方法 | |
CN116385724A (zh) | 一种基于交叉注意力和跨尺度融合的医学图像分割方法 | |
CN102708556A (zh) | 一种基于反向图保持的单张图像超分辨率方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |