CN111292237A - 基于二维多集偏最小二乘的人脸图像超分辨率重建方法 - Google Patents

基于二维多集偏最小二乘的人脸图像超分辨率重建方法 Download PDF

Info

Publication number
CN111292237A
CN111292237A CN202010069628.2A CN202010069628A CN111292237A CN 111292237 A CN111292237 A CN 111292237A CN 202010069628 A CN202010069628 A CN 202010069628A CN 111292237 A CN111292237 A CN 111292237A
Authority
CN
China
Prior art keywords
resolution
image
dimensional
low
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010069628.2A
Other languages
English (en)
Other versions
CN111292237B (zh
Inventor
袁运浩
李进
李云
强继朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangzhou University
Original Assignee
Yangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangzhou University filed Critical Yangzhou University
Priority to CN202010069628.2A priority Critical patent/CN111292237B/zh
Publication of CN111292237A publication Critical patent/CN111292237A/zh
Application granted granted Critical
Publication of CN111292237B publication Critical patent/CN111292237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于二维多集偏最小二乘的人脸图像超分辨率重建方法，包括以下步骤，1人脸图像首先被分为多个重叠的图像块，再利用二维多集偏最小二乘方法提取二维人脸图像块的潜在特征；2利用邻域重建策略以及图像块合并对输入的低分辨率人脸图像进行高频人脸图像重建；3最终输出的超分辨率重建图像为重建出的高频图像加上输入的低分辨率人脸图像。本发明具有一定的理论基础，创新性地提出了二维多集偏最小二乘方法，在不同数据库下测试结果表明具有较强的鲁棒性，有一定的市场实施的可行性，解决了目前绝大多数现有算法无法处理的多视图超分辨率问题，具有较大的创新性与实用性。

Description

基于二维多集偏最小二乘的人脸图像超分辨率重建方法
技术领域
本发明涉及超分辨率重建领域，特别涉及基于二维多集偏最小二乘的人脸图像超分辨率重建方法。
背景技术
传统的人脸识别方法是在理想的姿态以及光照条件下工作，但是，大多数实际生活中捕获到的人脸图像是低分辨率的，前面提到的人脸识别算法通常在低分辨率问题下表现较差，为了解决这一问题，近些年来许多有效的人脸超分辨率重建方法被提出，其目标是从输入的低分辨率图像中重建出高分辨率的人脸图像。但传统的人脸超分辨率算法无法保持图像的二维结构，且无法同时处理多种分辨率人脸图像输入的问题。
除了低分辨率问题以外，在现实生活中，人们通常需要面对同一人脸具有多种不同分辨率视图的情况，例如一段视频序列中的同一个人，随着距离、姿态的变化通常有着不同分辨率大小的人脸图像。对于多种不同的低分辨率视图，目前大多数方法一次只能训练一对高低分辨率视图，这种处理方式十分耗时且效率低下，不能有效利用不同分辨率视图之间的相关关系，迄今为止，共同学习多种视图之间关系还没有得到广泛关注。
发明内容
本发明的目的是克服现有技术缺陷，提供基于二维多集偏最小二乘的人脸图像超分辨率重建方法，将人脸图像分为多个重叠的图像块，再利用二维多集偏最小二乘方法提取二维人脸图像块的潜在特征，利用邻域重建策略以及图像块合并对输入的低分辨率人脸图像进行高频人脸图像重建，最终输出的超分辨率重建图像为重建出的高频图像加上输入的低分辨率人脸图像。
本发明的目的是这样实现的：基于二维多集偏最小二乘的人脸图像超分辨率重建方法，其特征在于，包括以下步骤：
步骤1在训练阶段利用训练集学习不同分辨率视图之间的潜在相关关系，将训练集中的不同视图的高频图像和其相对应的低分辨率图像分成重叠的图像块，利用二维多集偏最小二乘法对二维图像块进行特征提取，计算二维多集偏最小二乘投影矩阵，将二维图像块投影到二维多集偏最小二乘子空间；
步骤2在测试阶段，将输入的多种低分辨率图像分成重叠的图像块，利用训练阶段得到的相应低分辨率的二维多集偏最小二乘投影矩阵将输入的二维低分辨率图像块投影到二维多集偏最小二乘法子空间，利用邻域重建策略以及图像块合并对输入的低分辨率人脸图像进行高频人脸图像重建。
步骤3最终输出的超分辨率重建图像为重建出的高频图像加上输入的低分辨率人脸图像。
作为本发明的进一步限定，步骤1中所述计算二维多集偏最小二乘投影矩阵包含以下步骤：
(1)对于m个视图二维中心化随机变量
Figure BDA0002376970900000021
其中pi和qi分别表示xi的两个维度，二维多集偏最小二乘法目的为寻找两组线性变换
Figure BDA0002376970900000022
和
Figure BDA0002376970900000023
其中d1和d2分别为左投影向量和右投影向量的维度。二维多集偏最小二乘的最优化问题表示如下：
Figure BDA0002376970900000024
s.t.(Li)TLi＝(Ri)TRi＝I,i＝1,…,m,
其中Cov(·)表示矩阵的协方差；
(2)对于该最优化问题，利用递归方法求解，令
Figure BDA0002376970900000031
假设前k-1个方向
Figure BDA0002376970900000032
和
Figure BDA0002376970900000033
已经得到，其中t≤d，对于第k个左投影方向
Figure BDA0002376970900000034
通过求解如下最优化问题得到：
Figure BDA0002376970900000035
s.t.
Figure BDA0002376970900000036
固定左投影方向，计算第k个右投影方向
Figure BDA0002376970900000037
Figure BDA0002376970900000038
Figure BDA00023769709000000316
循环迭代计算第k个左、右投影方向直至收敛，其中：
Figure BDA00023769709000000310
Figure BDA00023769709000000311
其可以利用拉格朗日乘子法转换成如下多元特征值问题进行求解：
PlSll＝Λll,
PrSrr＝Λrr,
其中
Figure BDA00023769709000000312
和
Figure BDA00023769709000000313
为分块矩阵，其第(i,j)块为
Figure BDA00023769709000000314
和
Figure BDA00023769709000000315
并且
Figure BDA0002376970900000041
Figure BDA0002376970900000042
Figure BDA0002376970900000043
Figure BDA0002376970900000044
Figure BDA0002376970900000045
Figure BDA0002376970900000046
Figure BDA0002376970900000047
Figure BDA0002376970900000048
Figure BDA0002376970900000049
Figure BDA00023769709000000410
Figure BDA00023769709000000411
和
Figure BDA00023769709000000412
为多元特征值，
Figure BDA00023769709000000413
和
Figure BDA00023769709000000414
为单位矩阵。
作为本发明的进一步限定，步骤1中所述训练阶段包括以下步骤：
(1)对于训练集中的原始高低分辨率人脸图像集X0和m个不同低分辨率人脸图像集
Figure BDA00023769709000000415
每幅低分辨率图像均通过插值函数将其放大到高分辨率图像大小，
Figure BDA00023769709000000416
n为每种视图中的人脸图像数量，通过Yi＝X0-Xi,i＝1,2,…,m提取人脸高频图像，再将所有高频图像以及低分辨率图像分成重叠且边长为s×s的图像块，在第j个位置上的所有高频图像块的集合和所有低分辨率图像块的集合分别为
Figure BDA00023769709000000417
和
Figure BDA00023769709000000418
其中
Figure BDA00023769709000000419
和
Figure BDA00023769709000000420
分别为第i个分辨率视图中第t个高频人脸的位于第j个位置的高频图像块和低分辨率图像块；
(2)通过
Figure BDA00023769709000000421
和
Figure BDA00023769709000000422
对每个图像块去均值，其中
Figure BDA00023769709000000423
和
Figure BDA00023769709000000424
分别表示第i个分辨率视图中位于j位置的所有高频块以及所有低分辨率块的均值；
(3)利用二维多集偏最小二乘法获得左投影矩阵
Figure BDA00023769709000000425
和右投影矩阵
Figure BDA00023769709000000426
将高频二维图像块和低分辨率二维图像块投影到潜在子空间：
Figure BDA00023769709000000427
作为本发明的进一步限定，步骤2中所述的测试阶段包括以下步骤：
(1)对于输入的第i种分辨率视图的低分辨率人脸，利用插值函数将其上采样到与高分辨率视图相同大小，
Figure BDA0002376970900000051
与使用与训练阶段相同的分块策略并进行中心化：
Figure BDA0002376970900000052
其潜在相干特征
Figure BDA0002376970900000053
由
Figure BDA0002376970900000054
得出；
(2)对于
Figure BDA0002376970900000055
使用邻域重建策略重建出高频特征：从
Figure BDA0002376970900000056
中搜索k个最近邻得到
Figure BDA0002376970900000057
最小化如下重建误差以得到权重系数
Figure BDA0002376970900000058
Figure BDA0002376970900000059
定义
Figure BDA00023769709000000510
权重系数为
Figure BDA00023769709000000511
将其应用到
Figure BDA00023769709000000512
中相应的高频块相干特征
Figure BDA00023769709000000513
以计算输入低分辨率块重建出的高频特征
Figure BDA00023769709000000514
利用逆运算将高频特征恢复为高频图像块:
Figure BDA00023769709000000515
其中
Figure BDA00023769709000000516
表示摩尔-彭若斯广义逆，将所有重建出的高频图像块合并为完整的高频图像
Figure BDA00023769709000000517
其中重叠的部分求平均计算。
作为本发明的进一步限定，步骤3中所述最终输出的超分辨率重建图像为：
Figure BDA00023769709000000518
与现有技术相比，本发明的有益效果在于：本发明将人脸图像分为多个重叠的图像块，再利用二维多集偏最小二乘方法提取二维人脸图像块的潜在特征，最后利用邻域重建策略构建超分辨率重建后二维人脸图像块，合并图像块并输出最终人脸图像超分辨率结果，本发明具有一定的理论基础，创新性地提出了二维多集偏最小二乘方法，具有较强的鲁棒性，具有一定的市场实施的可行性，解决了目前绝大多数现有算法无法处理的多视图超分辨率问题，具有较大的创新性与实用性。
附图说明
图1是本发明的实现流程图。
图2是六种方法在CAS-PEAL-R1数据库上超分辨率重建结果对比图。
图3是六种方法在CelebA数据库上超分辨率重建结果对比图。
具体实施方式
如图1所示的基于二维多集偏最小二乘的人脸图像超分辨率重建方法，其特征在于，包括以下步骤：
步骤1在训练阶段利用训练集学习不同分辨率视图之间的潜在相关关系，将训练集中的不同视图的高频图像和其相对应的低分辨率图像分成重叠的图像块，利用二维多集偏最小二乘法对二维图像块进行特征提取，计算二维多集偏最小二乘投影矩阵，将二维图像块投影到二维多集偏最小二乘子空间；
步骤1中计算二维多集偏最小二乘投影矩阵包含以下步骤：
(1)对于m个视图二维中心化随机变量
Figure BDA0002376970900000061
其中pi和qi分别表示xi的两个维度，二维多集偏最小二乘法目的为寻找两组线性变换
Figure BDA0002376970900000062
和
Figure BDA0002376970900000063
其中d1和d2分别为左投影向量和右投影向量的维度。二维多集偏最小二乘的最优化问题表示如下：
Figure BDA0002376970900000064
s.t.(Li)TLi＝(Ri)TRi＝I,i＝1,…,m,
其中Cov(·)表示矩阵的协方差；
(2)对于该最优化问题，利用递归方法求解，令
Figure BDA0002376970900000065
假设前k-1个方向
Figure BDA0002376970900000066
和
Figure BDA0002376970900000067
已经得到，其中t≤d，对于第k个左投影方向
Figure BDA0002376970900000071
通过求解如下最优化问题得到：
Figure BDA0002376970900000072
Figure BDA00023769709000000727
固定左投影方向，计算第k个右投影方向
Figure BDA0002376970900000074
Figure BDA0002376970900000075
Figure BDA00023769709000000728
循环迭代计算第k个左、右投影方向直至收敛，其中：
Figure BDA0002376970900000077
Figure BDA0002376970900000078
其可以利用拉格朗日乘子法转换成如下多元特征值问题进行求解：
PlSll＝Λll,
PrSrr＝Λrr,
其中
Figure BDA0002376970900000079
和
Figure BDA00023769709000000710
为分块矩阵，其第(i,j)块为
Figure BDA00023769709000000711
和
Figure BDA00023769709000000712
并且
Figure BDA00023769709000000713
Figure BDA00023769709000000714
Figure BDA00023769709000000715
Figure BDA00023769709000000716
Figure BDA00023769709000000717
Figure BDA00023769709000000718
Figure BDA00023769709000000719
Figure BDA00023769709000000720
Figure BDA00023769709000000721
Figure BDA00023769709000000722
Figure BDA00023769709000000723
和
Figure BDA00023769709000000724
为多元特征值，
Figure BDA00023769709000000725
和
Figure BDA00023769709000000726
为单位矩阵。
步骤1中训练阶段包括以下步骤：
(1)对于训练集中的原始高低分辨率人脸图像集X0和m个不同低分辨率人脸图像集
Figure BDA0002376970900000081
每幅低分辨率图像均通过插值函数将其放大到高分辨率图像大小，
Figure BDA0002376970900000082
n为每种视图中的人脸图像数量，通过Yi＝X0-Xi,i＝1,2,…,m提取人脸高频图像，再将所有高频图像以及低分辨率图像分成重叠且边长为s×s的图像块，在第j个位置上的所有高频图像块的集合和所有低分辨率图像块的集合分别为
Figure BDA0002376970900000083
和
Figure BDA0002376970900000084
其中
Figure BDA0002376970900000085
和
Figure BDA0002376970900000086
分别为第i个分辨率视图中第t个高频人脸的位于第j个位置的高频图像块和低分辨率图像块；
(2)通过
Figure BDA0002376970900000087
和
Figure BDA0002376970900000088
对每个图像块去均值，其中
Figure BDA0002376970900000089
和
Figure BDA00023769709000000810
分别表示第i个分辨率视图中位于j位置的所有高频块以及所有低分辨率块的均值；
(3)利用二维多集偏最小二乘法获得左投影矩阵
Figure BDA00023769709000000811
和右投影矩阵
Figure BDA00023769709000000812
将高频二维图像块和低分辨率二维图像块投影到潜在子空间：
Figure BDA00023769709000000813
步骤2在测试阶段，将输入的多种低分辨率图像分成重叠的图像块，利用训练阶段得到的相应低分辨率的二维多集偏最小二乘投影矩阵将输入的二维低分辨率图像块投影到二维多集偏最小二乘法子空间，利用邻域重建策略以及图像块合并对输入的低分辨率人脸图像进行高频人脸图像重建。
步骤2中测试阶段包括以下步骤：
(1)对于输入的第i种分辨率视图的低分辨率人脸，利用插值函数将其上采样到与高分辨率视图相同大小，
Figure BDA00023769709000000814
与使用与训练阶段相同的分块策略并进行中心化：
Figure BDA0002376970900000091
其潜在相干特征
Figure BDA0002376970900000092
由
Figure BDA0002376970900000093
得出；
(2)对于
Figure BDA0002376970900000094
使用邻域重建策略重建出高频特征：从
Figure BDA0002376970900000095
中搜索k个最近邻得到
Figure BDA0002376970900000096
最小化如下重建误差以得到权重系数
Figure BDA0002376970900000097
Figure BDA0002376970900000098
定义
Figure BDA0002376970900000099
权重系数为
Figure BDA00023769709000000910
将其应用到
Figure BDA00023769709000000911
中相应的高频块相干特征
Figure BDA00023769709000000912
以计算输入低分辨率块重建出的高频特征
Figure BDA00023769709000000913
利用逆运算将高频特征恢复为高频图像块:
Figure BDA00023769709000000914
其中
Figure BDA00023769709000000915
表示摩尔-彭若斯广义逆，将所有重建出的高频图像块合并为完整的高频图像
Figure BDA00023769709000000916
其中重叠的部分求平均计算。
步骤3最终输出的超分辨率重建图像为重建出的高频图像加上输入的低分辨率人脸图像：
Figure BDA00023769709000000917
本发明可通过以下实验进一步说明：
为了测试本发明的有效性，分别利用CAS-PEAL-R1数据库以及CelebA数据库与其他方法进行对比测试。在CAS-PEAL数据库中选择1040幅人脸图像，每人一张，高分辨率图像为96×96，其中1020张人脸作为训练图像，剩下的作为测试图像。所有的训练图像分别下采样2倍、4倍以及6倍，其分辨率分别为48×48、24×24以及16×16。在CelebA数据库中选取1000张人脸图像作为训练集，20张图像作为测试集，原始高分辨率为80×80。所有训练集和测试集图像分别下采样2倍、4倍、6倍以及8倍，对应低分辨率为40×40、20×20、14×14以及10×10。在实验中，本发明将图像分成边长为12、重叠8像素的方块，保留12维TDMPLS特征，对于2倍、4倍、6倍以及8倍低分辨率图像分别采用350、250、175以及125最近邻数目。
实验1基于CAS-PEAL数据库的超分辨率重建对比实验
在本实验中，如图2所示六种方法在CAS-PEAL-R1数据库上分别以2倍、4倍、6倍缩放倍数的超分辨率重建结果对比，图中从左到右每一列分别为高分辨率原图、低分辨率图像、本发明重建结果、SR2DCCA方法重建结果、VDSR方法重建结果、MSRN方法重建结果、TLcR方法重建结果以及Bicubic方法重建结果，从上到下每一行分别表示2倍、4倍以及6倍缩放；下表为七种方法在三种分辨率视图下人脸重建结果的平均PSNR、SSIM指标得分，可以看出本发明在每种情况下都取得了最好的指标成绩。另外，本发明在重建的视觉效果上也更加出色，尤其是在更高的缩放倍数场景下。
表1七种方法全局脸的PSNR、SSIM指标得分
Figure BDA0002376970900000101
实验2基于CelebA数据库的超分辨率重建对比实验
在本实验中，本发明的参数与实验1参数保持一致。本实验基于Celeb A数据集，如图3所示是六种方法在CelebA数据库上分别以2倍、4倍、6倍、8倍放大倍数的超分辨率重建结果对比，图中从左到右每一列分别为高分辨率原图、低分辨率图像、本发明重建结果、SR2DCCA方法重建结果、VDSR方法重建结果、MSRN方法重建结果、TLcR方法重建结果以及Bicubic方法重建结果，从上到下每一行分别表示2倍、4倍、6倍以及8倍缩放；下表为七种方法在三种分辨率视图下人脸超分辨率结果的平均PSNR、SSIM指标得分。可以看出本发明无论从重建视觉效果还是从数据指标方面衡量都取得了最好的成绩。
表2七种方法超分辨率结果的PSNR、SSIM指标得分
Figure BDA0002376970900000111
综上所述，本发明利用二维多集偏最小二乘，同时为同源的不同低分辨率视图的二维人脸图像学习左、右投影方向，将多视图人脸图像分成重叠的图像块，再共同学习多视图二维图像块的潜在相干特征，利用邻域重建策略和块合并对输入的低分辨率人脸进行超分辨率重建。实验结果表明，本发明的重建效果从主观视觉效果和客观指标评价上均有较好的性能。
本发明并不局限于上述实施例，在本发明公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本发明的保护范围内。

Claims (5)

1.基于二维多集偏最小二乘的人脸图像超分辨率重建方法，其特征在于，包括以下步骤：
步骤1在训练阶段利用训练集学习不同分辨率视图之间的潜在相关关系，将训练集中的不同视图的高频图像和其相对应的低分辨率图像分成重叠的图像块，利用二维多集偏最小二乘法对二维图像块进行特征提取，计算二维多集偏最小二乘投影矩阵，将二维图像块投影到二维多集偏最小二乘子空间；
步骤2在测试阶段将输入的多种低分辨率图像分成重叠的图像块，利用训练阶段得到的相应低分辨率的二维多集偏最小二乘投影矩阵将输入的二维低分辨率图像块投影到二维多集偏最小二乘法子空间，利用邻域重建策略以及图像块合并对输入的低分辨率人脸图像进行高频人脸图像重建；
步骤3最终输出的超分辨率重建图像为重建出的高频图像加上输入的低分辨率人脸图像。
2.根据权利要求1所述的基于二维多集偏最小二乘的人脸图像超分辨率重建方法，其特征在于，步骤1中所述计算二维多集偏最小二乘投影矩阵包含以下步骤：
(1)对于m个视图二维中心化随机变量
Figure FDA0002376970890000011
其中pi和qi分别表示xi的两个维度，二维多集偏最小二乘法目的为寻找两组线性变换
Figure FDA0002376970890000012
和
Figure FDA0002376970890000013
其中d1和d2分别为左投影向量和右投影向量的维度，二维多集偏最小二乘的最优化问题表示如下：
Figure FDA0002376970890000014
s.t.(Li)TLi＝(Ri)TRi＝I,i＝1,…,m,
其中Cov(·)表示矩阵的协方差；
(2)对于该最优化问题，利用递归方法求解，令
Figure FDA0002376970890000021
假设前k-1个方向
Figure FDA0002376970890000022
和
Figure FDA0002376970890000023
已经得到，其中t≤d，对于第k个左投影方向
Figure FDA0002376970890000024
通过求解如下最优化问题得到：
Figure FDA0002376970890000025
Figure FDA0002376970890000026
固定左投影方向，计算第k个右投影方向
Figure FDA0002376970890000027
Figure FDA0002376970890000028
Figure FDA0002376970890000029
循环迭代计算第k个左、右投影方向直至收敛，其中：
Figure FDA00023769708900000210
Figure FDA00023769708900000211
其可以利用拉格朗日乘子法转换成如下多元特征值问题进行求解：
PlSll＝Λll,
PrSrr＝Λrr,
其中
Figure FDA00023769708900000212
和
Figure FDA00023769708900000213
为分块矩阵，其第(i,j)块为
Figure FDA00023769708900000214
和
Figure FDA00023769708900000215
并且
Figure FDA0002376970890000031
Figure FDA0002376970890000032
Figure FDA0002376970890000033
Figure FDA0002376970890000034
Figure FDA0002376970890000035
Figure FDA0002376970890000036
Figure FDA0002376970890000037
Figure FDA0002376970890000038
Figure FDA0002376970890000039
Figure FDA00023769708900000310
Figure FDA00023769708900000311
和
Figure FDA00023769708900000312
为多元特征值，
Figure FDA00023769708900000313
和
Figure FDA00023769708900000314
为单位矩阵。
3.根据权利要求1所述的基于二维多集偏最小二乘的人脸图像超分辨率重建方法，其特征在于，步骤1中所述训练阶段包括以下步骤：
(1)对于训练集中的原始高低分辨率人脸图像集X0和m个不同低分辨率人脸图像集
Figure FDA00023769708900000315
每幅低分辨率图像均通过插值函数将其放大到高分辨率图像大小，
Figure FDA00023769708900000316
n为每种视图中的人脸图像数量，通过Yi＝X0-Xi,i＝1,2,…,m提取人脸高频图像，再将所有高频图像以及低分辨率图像分成重叠且边长为s×s的图像块，在第j个位置上的所有高频图像块的集合和所有低分辨率图像块的集合分别为
Figure FDA00023769708900000317
和
Figure FDA00023769708900000318
其中
Figure FDA00023769708900000319
和
Figure FDA00023769708900000320
分别为第i个分辨率视图中第t个高频人脸的位于第j个位置的高频图像块和低分辨率图像块；
(2)通过
Figure FDA00023769708900000321
和
Figure FDA00023769708900000322
对每个图像块去均值，其中
Figure FDA00023769708900000323
和
Figure FDA00023769708900000324
分别表示第i个分辨率视图中位于j位置的所有高频块以及所有低分辨率块的均值；
(3)利用二维多集偏最小二乘法获得左投影矩阵
Figure FDA00023769708900000325
和右投影矩阵
Figure FDA00023769708900000326
将高频二维图像块和低分辨率二维图像块投影到潜在子空间：
Figure FDA00023769708900000327
4.根据权利要求1所述的基于多集偏最小二乘的人脸图像超分辨率重建方法，其特征在于，步骤2中所述的测试阶段包括以下步骤：
(1)对于输入的第i种分辨率视图的低分辨率人脸，利用插值函数将其上采样到与高分辨率视图相同大小，
Figure FDA0002376970890000041
使用与训练阶段相同的分块策略并进行中心化：
Figure FDA0002376970890000042
其潜在相干特征
Figure FDA0002376970890000043
由
Figure FDA0002376970890000044
得出；
(2)对于
Figure FDA0002376970890000045
使用邻域重建策略重建出高频特征：从
Figure FDA0002376970890000046
中搜索k个最近邻得到
Figure FDA0002376970890000047
最小化如下重建误差以得到权重系数
Figure FDA0002376970890000048
Figure FDA0002376970890000049
定义
Figure FDA00023769708900000410
权重系数为
Figure FDA00023769708900000411
将其应用到
Figure FDA00023769708900000412
中相应的高频块相干特征
Figure FDA00023769708900000413
以计算输入低分辨率块重建出的高频特征
Figure FDA00023769708900000414
利用逆运算将高频特征恢复为高频图像块:
Figure FDA00023769708900000415
其中
Figure FDA00023769708900000416
表示摩尔-彭若斯广义逆，将所有重建出的高频图像块合并为完整的高频图像
Figure FDA00023769708900000417
其中重叠的部分求平均计算。
5.根据权利要求4所述的基于多集偏最小二乘的人脸图像超分辨率重建方法，其特征在于，步骤3中所述最终输出的超分辨率重建图像为：
Figure FDA00023769708900000418
CN202010069628.2A 2020-01-21 2020-01-21 基于二维多集偏最小二乘的人脸图像超分辨率重建方法 Active CN111292237B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010069628.2A CN111292237B (zh) 2020-01-21 2020-01-21 基于二维多集偏最小二乘的人脸图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010069628.2A CN111292237B (zh) 2020-01-21 2020-01-21 基于二维多集偏最小二乘的人脸图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN111292237A true CN111292237A (zh) 2020-06-16
CN111292237B CN111292237B (zh) 2023-08-08

Family

ID=71021240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010069628.2A Active CN111292237B (zh) 2020-01-21 2020-01-21 基于二维多集偏最小二乘的人脸图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN111292237B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184555A (zh) * 2020-10-21 2021-01-05 天津大学 一种基于深度交互学习的立体图像超分辨率重建方法
CN114549323A (zh) * 2022-02-28 2022-05-27 福建师范大学 基于经验关系偏差纠正的鲁棒人脸超分辨处理方法及其系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107481196A (zh) * 2017-09-12 2017-12-15 河南大学 基于最近特征线的特征转换人脸超分辨率重建方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107481196A (zh) * 2017-09-12 2017-12-15 河南大学 基于最近特征线的特征转换人脸超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUN-HAO YUAN: "LEARNING SIMULTANEOUS FACE SUPER-RESOLUTION USING MULTISET PARTIAL", 《IEEE》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184555A (zh) * 2020-10-21 2021-01-05 天津大学 一种基于深度交互学习的立体图像超分辨率重建方法
CN112184555B (zh) * 2020-10-21 2022-07-19 天津大学 一种基于深度交互学习的立体图像超分辨率重建方法
CN114549323A (zh) * 2022-02-28 2022-05-27 福建师范大学 基于经验关系偏差纠正的鲁棒人脸超分辨处理方法及其系统

Also Published As

Publication number Publication date
CN111292237B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN112750082B (zh) 基于融合注意力机制的人脸超分辨率方法及系统
CN106952228B (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
Luo et al. Ebsr: Feature enhanced burst super-resolution with deformable alignment
Lu et al. Image super-resolution via double sparsity regularized manifold learning
Lu et al. Alternatively constrained dictionary learning for image superresolution
Sheng et al. Cross-view recurrence-based self-supervised super-resolution of light field
US20150269708A1 (en) Method for Generating High-Resolution Images using Regression Patterns
CN104657962B (zh) 基于级联线性回归的图像超分辨重建方法
Yoon et al. Spheresr: 360deg image super-resolution with arbitrary projection via continuous spherical image representation
CN112070670A (zh) 全局-局部分离注意力机制的人脸超分辨率方法及系统
CN111292237A (zh) 基于二维多集偏最小二乘的人脸图像超分辨率重建方法
Tang et al. Combining sparse coding with structured output regression machine for single image super-resolution
Liu et al. Research on super-resolution reconstruction of remote sensing images: A comprehensive review
Shi et al. Exploiting multi-scale parallel self-attention and local variation via dual-branch transformer-CNN structure for face super-resolution
CN117575915A (zh) 一种图像超分辨率重建方法、终端设备及存储介质
Wang et al. Group shuffle and spectral-spatial fusion for hyperspectral image super-resolution
Yoon et al. SphereSR: $360^{\circ} $ Image Super-Resolution with Arbitrary Projection via Continuous Spherical Image Representation
Zhang et al. An adaptive learning method for face hallucination using locality preserving projections
CN111275624B (zh) 基于多集典型相关分析的人脸图像超分辨率重建识别方法
CN117114987A (zh) 基于亚像素和梯度引导的光场图像超分辨率重建方法
CN116563167A (zh) 基于自适应纹理和频域感知的人脸图像重建方法、系统、装置及介质
Jeevan et al. WaveMixSR: Resource-efficient neural network for image super-resolution
CN107481196B (zh) 基于最近特征线的特征转换人脸超分辨率重建方法
CN111292238B (zh) 一种基于正交偏最小二乘的人脸图像超分辨率重建方法
CN110111252A (zh) 基于投影矩阵的单幅图像超分辨率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant