CN111242082A - 基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法 - Google Patents

基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法 Download PDF

Info

Publication number
CN111242082A
CN111242082A CN202010069619.3A CN202010069619A CN111242082A CN 111242082 A CN111242082 A CN 111242082A CN 202010069619 A CN202010069619 A CN 202010069619A CN 111242082 A CN111242082 A CN 111242082A
Authority
CN
China
Prior art keywords
resolution
face
residual
low
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010069619.3A
Other languages
English (en)
Other versions
CN111242082B (zh
Inventor
袁运浩
李进
李云
强继朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangzhou University
Original Assignee
Yangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangzhou University filed Critical Yangzhou University
Priority to CN202010069619.3A priority Critical patent/CN111242082B/zh
Publication of CN111242082A publication Critical patent/CN111242082A/zh
Application granted granted Critical
Publication of CN111242082B publication Critical patent/CN111242082B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法，包括以下步骤：1利用分数阶正交偏最小二乘，将组内和组间协方差矩阵通过分数阶特征值和奇异值重新调整，再计算投影方向，将人脸图像特征映射到子空间中，通过邻域重建的思想重建出低分辨率输入高分辨率全局脸特征；2利用邻域重建方法构造高分辨率人脸残差块，将残差块合成得到高分辨率人脸残余补偿，通过残差补偿策略补充人脸细节；3最终算法输出的高分辨率人脸图像为全局人脸加上残差补偿，其中高分辨率全局脸特征可用于人脸识别。本发明在人脸超分辨率重建与识别应用中，能够获得更好的人脸重建效果和更高的人脸识别准确率。

Description

基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法
技术领域
本发明涉及超分辨率重建和识别领域，特别涉及基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法。
背景技术
多元分析方法常被运用于超分辨率重建以进行特征提取，其中较为流行的是主成分分析(Principal Component Analysis，PCA)，特征提取步骤通常用来对数据降维并减少噪声。PCA通过保留合适的维度以提取人脸的有用信息并过滤噪声，Wang等人提出一个通过PCA得到图像线性组合系数来生成高分辨率人脸的框架。
偏最小二乘方法(PLS)是一种分析两类随机变量之间关系的有效方法，其旨在寻找一对使得两类随机变量之间的协方差最大化的投影方向。Hao等人提出一种基于偏最小二乘的人脸超分辨率方法，同时学习高分辨率和低分辨率人脸图像间的映射关系。Zhang等人提出一种基于局部保持偏最小二乘的人脸超分辨率方法，其处理数据的局部信息并学习高分辨率和低人脸图像块的映射关系。另外，Wu等人提出一种基于回归的超分辨率方法，其利用核偏最小二乘预测输入低分辨率图像的高分辨率图像，但是，上述方法使用偏最小二乘的非线性迭代算法来求解高分辨率和低分辨率图像的投影方向，这样并不能保证所有高分辨率和低分辨率图像的投影方向相互正交，并且较少的训练数据将导致方差和协方差产生偏差。因此利用分数阶正交偏最小二乘(Fractional Orthonormalized Partial LeastSquares，FOPLS)方法，通过分数阶特征值和奇异值重新调整组内和组间协方差矩阵，再计算投影方向，重建高分辨率全局人脸，并且高分辨率全局脸特征可用于人脸识别。
在人脸识别领域，由于光照、距离、天气等因素限制，低分辨率问题存在于许多实际生活场景。低分辨率人脸图像通常丢失了以多面部细节，是的传统人脸分析方法很难取得满意的效果。因此，从输入的低分辨率人脸中恢复出高分辨率人脸图像是一项很有挑战的问题。现有的人脸图像超分辨率算法可以被粗略地分为三类：基于学习的、基于插值的和基于重建的超分辨率算法。基于学习的方法通过学习高分辨率和低分辨率训练集之间的关系来预测高分辨率图像，近期，许多研究者将深度学习与基于学习的超分辨率方法相结合，取得了巨大的成功；基于插值的方法通过预测未知像素信息来生成高分辨率图像，但因为没有带来有效的新信息，通常结果非常模糊；基于重建的方法利用先验知识和约束信息构造高分辨率图像，但在输出结果的细节方面仍然表现不佳。
发明内容
本发明的目的是克服现有技术缺陷，提供基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法，通过分数阶特征值和奇异值重新调整，再计算投影方向，将人脸图像特征映射到子空间中，通过邻域重建的思想重建出高分辨率全局脸特征，并通过残差补偿策略补充人脸细节，并且高分辨率全局脸特征可用于人脸识别
本发明的目的是这样实现的：基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法，包括以下步骤：
步骤1对训练集中的高分辨率和低分辨率图像进行特征提取，使用PCA提取人脸主成分特征，再利用FOPLS法对组内和组间协方差矩阵进行调整，并计算投影向量，使主成分特征投影到FOPLS子空间，对输入的低分辨率人脸图像提取主成分特征并投影到相同的子空间中，通过领域重建构造输入人脸对应的高分辨率全局人脸；
步骤2计算得到高分辨率和低分辨率人脸残差图像集，将残差图像分成若干边长相等、互相重叠的方块，利用FOPLS将其主成分特征投影到子空间，在子空间中利用邻域重建方法构造高分辨率人脸残差块，将残差块合成得到高分辨率人脸残余补偿；
步骤3最终重建完成的高分辨率人脸图像为高分辨率全局人脸加上高分辨率人脸残差补偿。
作为本发明的进一步限定，步骤1中所述高分辨率全局人脸重建包括以下步骤：
(1)给定高分辨率训练集
Figure BDA0002376973610000031
低分辨率训练集
Figure BDA0002376973610000032
其中s和q分别表示高分辨率人脸图像向量和低分辨率人脸图像向量的维度，m为训练图像的数量，通过
Figure BDA0002376973610000033
和
Figure BDA0002376973610000034
对每个高分辨率人脸图像和低分辨率人脸中心化，其中μh和μl分别为高分辨率训练图像和低分辨率训练图像的均值，令
Figure BDA0002376973610000035
和
Figure BDA0002376973610000036
利用PCA提取高分辨率和低分辨率人脸图像的主成分特征：
Figure BDA0002376973610000037
其中
Figure BDA0002376973610000038
(2)求解如下FOPLS的最优化问题，计算出高分辨率和低分辨率人脸的投影方向
Figure BDA0002376973610000039
Figure BDA00023769736100000310
Figure BDA00023769736100000311
其中
Figure BDA00023769736100000312
同时
Figure BDA00023769736100000313
和
Figure BDA0002376973610000041
分别表示组内和组间协方差矩阵，Tr(·)代表矩阵的迹，I是单位矩阵，并且：
Figure BDA0002376973610000042
其中0≤α≤1，
Figure BDA0002376973610000043
为Shl的左奇异向量矩阵，
Figure BDA0002376973610000044
是Shl的右奇异向量矩阵，σ1≥σ2≥…≥σr≥0为r个非零奇异值，且r＝rank(Shl)，
Figure BDA0002376973610000045
其中0≤β≤1，
Figure BDA0002376973610000046
为Shh的特征向量矩阵，
Figure BDA0002376973610000047
为
Figure BDA0002376973610000048
个非零特征值，且
Figure BDA0002376973610000049
(3)得到投影向量Wh和Wl后，通过
Figure BDA00023769736100000410
Figure BDA00023769736100000411
计算高分辨率和低分辨率人脸主成分特征在子空间中的低维嵌入，设输入的测试低分辨率图像为
Figure BDA00023769736100000412
同样求得其主成分特征
Figure BDA00023769736100000413
并计算其FOPLS特征：
Figure BDA00023769736100000414
使用邻域重建方法在低分辨率子空间
Figure BDA00023769736100000415
中寻找k1个cl的最近邻
Figure BDA00023769736100000416
求解如下最优化问题计算权重系数
Figure BDA00023769736100000417
Figure BDA00023769736100000418
定义
Figure BDA00023769736100000419
权重系数
Figure BDA00023769736100000420
可以接下来使用权重值构造出高分辨率全局脸特征：
Figure BDA00023769736100000421
该特征可用于进行人脸识别工作，通过逆运算将ch从子空间特征转换回像素域以得到高分辨率全局脸图像hg：
Figure BDA00023769736100000422
其中
Figure BDA00023769736100000423
表示摩尔-彭若斯广义逆。
作为本发明的进一步限定，步骤2中所述残差补偿包括以下步骤：
(1)对训练集中的所有低分辨率图像
Figure BDA0002376973610000051
使用上述的步骤求其高分辨率全局脸图像
Figure BDA0002376973610000052
得到高分辨率残差集
Figure BDA0002376973610000053
和低分辨率残差集
Figure BDA0002376973610000054
其中↓表示将每一张全局脸图像进行下采样处理；
(2)将所有残差图像分成若干大小为n×n且互相重叠的残差块，为了让低分辨率残差图像的块数和高分辨率残差图像块数一样，在对低分辨率残差人脸分块前，利用插值算法将其上采样到与高分辨率残差人脸相同大小，对于在j位置的高分辨率和低分辨率残差块，使用上述步骤计算其主成分特征并投影到FOPLS子空间，对于输入的低分辨率人脸l，通过lr＝l-hg↓计算其残差脸，将lr上采样到高分辨率残差人脸图像相同大小，并进行分块处理，对于每一个残差块，使用上述步骤计算其主成分特征并投影到FOPLS子空间，利用邻域重建策略重建出高分辨率残差块，合并残差块得到高分辨率残差人脸hr。
作为本发明的进一步限定，步骤3中所述最终重建完成的高分辨率人脸图像为：h＝hg+hr。
与现有技术相比，本发明的有益效果在于：本发明通过特征值和奇异值的分数阶建模，来重新估计组内和组间协方差矩阵，以此减小实践中人脸样本协方差矩阵的偏离，在人脸超分辨率重建与识别应用中，本发明能够获得更好的人脸重建效果和更高的人脸识别准确率。
附图说明
图1是本发明的实现流程图。
图2是六种方法在CAS-PEAL-R1数据库上的超分辨率重建结果对比图。
图3是六种方法在CMU PIE数据库上的人脸识别结果对比图。
图4是六种方法在AT&T数据库上的人脸识别结果对比图。
具体实施方式
如图1所示的基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法，包括以下步骤：
步骤1对训练集中的高分辨率和低分辨率图像进行特征提取，使用PCA提取人脸主成分特征，再利用FOPLS法对组内和组间协方差矩阵进行调整，并计算投影向量，使主成分特征投影到FOPLS子空间，对输入的低分辨率人脸图像提取主成分特征并投影到相同的子空间中，通过领域重建构造输入人脸对应的高分辨率全局人脸；
步骤1中高分辨率全局人脸重建包括以下步骤：
(1)给定高分辨率训练集
Figure BDA0002376973610000061
低分辨率训练集
Figure BDA0002376973610000062
其中s和q分别表示高分辨率人脸图像向量和低分辨率人脸图像向量的维度，m为训练图像的数量，通过
Figure BDA0002376973610000063
和
Figure BDA0002376973610000064
对每个高分辨率人脸图像和低分辨率人脸中心化，其中μh和μl分别为高分辨率训练图像和低分辨率训练图像的均值，令
Figure BDA0002376973610000065
和
Figure BDA0002376973610000066
利用PCA提取高分辨率和低分辨率人脸图像的主成分特征：
Figure BDA0002376973610000067
其中
Figure BDA0002376973610000068
(2)求解如下FOPLS的最优化问题，计算出高分辨率和低分辨率人脸的投影方向
Figure BDA0002376973610000069
Figure BDA00023769736100000610
Figure BDA00023769736100000611
其中
Figure BDA00023769736100000612
同时
Figure BDA00023769736100000613
和
Figure BDA0002376973610000071
分别表示组内和组间协方差矩阵，Tr(·)代表矩阵的迹，I是单位矩阵，并且：
Figure BDA0002376973610000072
其中0≤a≤1，
Figure BDA0002376973610000073
为Shl的左奇异向量矩阵，
Figure BDA0002376973610000074
是Shl的右奇异向量矩阵，σ1≥σ2≥…≥σr≥0为r个非零奇异值，且r＝rank(Shl)，
Figure BDA0002376973610000075
其中0≤β≤1，
Figure BDA0002376973610000076
为Shh的特征向量矩阵，
Figure BDA0002376973610000077
为
Figure BDA0002376973610000078
个非零特征值，且
Figure BDA0002376973610000079
(3)得到投影向量Wh和Wl后，通过
Figure BDA00023769736100000710
Figure BDA00023769736100000711
计算高分辨率和低分辨率人脸主成分特征在子空间中的低维嵌入，设输入的测试低分辨率图像为
Figure BDA00023769736100000712
同样求得其主成分特征
Figure BDA00023769736100000713
并计算其FOPLS特征：
Figure BDA00023769736100000714
使用邻域重建方法在低分辨率子空间
Figure BDA00023769736100000715
中寻找k1个cl的最近邻
Figure BDA00023769736100000716
求解如下最优化问题计算权重系数
Figure BDA00023769736100000717
Figure BDA00023769736100000718
定义
Figure BDA00023769736100000719
权重系数
Figure BDA00023769736100000720
可以接下来使用权重值构造出高分辨率全局脸特征：
Figure BDA00023769736100000721
该特征可用于进行人脸识别工作，通过逆运算将ch从子空间特征转换回像素域以得到高分辨率全局脸图像hg：
Figure BDA00023769736100000722
其中
Figure BDA00023769736100000723
表示摩尔-彭若斯广义逆。
步骤2计算得到高分辨率和低分辨率人脸残差图像集，将残差图像分成若干边长相等、互相重叠的方块，利用FOPLS将其主成分特征投影到子空间，在子空间中利用邻域重建方法构造高分辨率人脸残差块，将残差块合成得到高分辨率人脸残余补偿；
步骤2中残差补偿包括以下步骤：
(1)对训练集中的所有低分辨率图像
Figure BDA0002376973610000081
使用上述的步骤求其高分辨率全局脸图像
Figure BDA0002376973610000082
得到高分辨率残差集
Figure BDA0002376973610000083
和低分辨率残差集
Figure BDA0002376973610000084
其中↓表示将每一张全局脸图像进行下采样处理；
(2)将所有残差图像分成若干大小为n×n且互相重叠的残差块，为了让低分辨率残差图像的块数和高分辨率残差图像块数一样，在对低分辨率残差人脸分块前，利用插值算法将其上采样到与高分辨率残差人脸相同大小，对于在j位置的高分辨率和低分辨率残差块，使用上述步骤计算其主成分特征并投影到FOPLS子空间，对于输入的低分辨率人脸l，通过lr＝l-hg↓计算其残差脸，将lr上采样到高分辨率残差人脸图像相同大小，并进行分块处理，对于每一个残差块，使用上述步骤计算其主成分特征并投影到FOPLS子空间，利用邻域重建策略重建出高分辨率残差块，合并残差块得到高分辨率残差人脸hr。
步骤3最终重建完成的高分辨率人脸图像为高分辨率全局人脸加上高分辨率人脸残差补偿：h＝hg+hr。
本发明可通过以下实验进一步说明：
为了测试本发明的有效性，分别进行人脸超分辨率重建实验以及人脸识别实验，其中人脸超分辨率重建实验采用CAS-PEAL-R1数据库，使用1040张人脸图像，每人一张，高分辨率图像为96×96，2倍下采样的低分辨率图像大小为48×48，4倍下采样的低分辨率图像大小为24×24。人脸识别实验采用CMU PIE数据库以及AT&T数据库。CMU PIE数据库中的高分辨率人脸图像大小为64×64，2倍、4倍、8倍下采样低分辨率人脸大小分别为32×32、16×16以及8×8。选择每个人的前16张人脸图像作为训练，每人剩下的8张人脸图像作为测试。AT&T数据库包含40人且每人有10张不同角度不同姿态的人脸图像。每人前6张图像作为训练，剩下的作为测试。高分辨率图像大小为112×92，2倍、4倍、8倍的低分辨率大小分别为56×46、28×23以及14×12。
实验1基于CAS-PEAL数据库的人脸超分辨率重建实验
在本实验中，本发明全局连重建中的邻域大小k1设置为360，残差补偿中的邻域大小k2设置为400，块大小设置为16×16，重叠12像素。分数阶参数α和β分别为0.6和0.4。NE方法中的邻域大小、块边长以及重叠像素分别为10，6N×6N以及5N，其中N为缩放系数。SRLSP方法中的正则化参数α＝1.5且块大小为6×6，重叠4像素。另外，CLLR-SR和本发明中的PCA步骤均保留98％以上的光谱能量。本实验中使用峰值信噪比(PSNR)和结构相似度(SSIM)为指标衡量重建结果的质量。表1列出了每种方法的平均PSNR、SSIM结果，如图2所示每种方法重建结果的视觉对比，可以看出，无论使用哪种指标，本发明的结果都更加优秀。结果表明本发明可以获得高分辨率和低分辨率人脸图像间更强的一致性。
表1六种方法在CAS-PEAL-R1数据库上以2倍、4倍缩放倍数的平均PSNR、SSIM指标得分
Figure BDA0002376973610000091
Figure BDA0002376973610000101
实验2基于CMU PIE数据库和AT&T数据库的人脸识别实验
在本实验中，CLLR-SR中的邻域大小为30，2DMCCA中的邻域大小为100且迭代次数为5。SRDCCA中邻域大小为60。Bic-PCA方法首先通过Bicubic插值方法获得高分辨率人脸图像，再提取10维主成分特征用于识别。在本发明以及CLLR-SR、2DMCCA、SRDCCA方法中的PCA步骤中，保留99％的光谱能量。在基于CMU PIE数据库的实验中，本发明的分数阶参数α和β分别设置为0.6和0.4，如图3所示六种方法基于CMU PIE数据库在2倍、4倍以及8倍下采样倍数下的识别率结果对比，可以看出，本发明的表现都更加优秀；在基于AT&T数据库的实验中，本发明的分数阶参数α和β分别设置为0.1和0.3。如图4所示六种方法基于AT&T数据库在2倍、4倍以及8倍下采样倍数下的识别率对比，可以看出，本发明的表现都更加优秀。
综上所述，本发明通过特征值和奇异值的分数阶建模，来重新估计组内和组间协方差矩阵，以此减小实践中人脸样本协方差矩阵的偏离，在人脸超分辨率重建与识别应用中，本发明能够获得更好的人脸重建效果和更高的人脸识别准确率。
本发明并不局限于上述实施例，在本发明公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本发明的保护范围内。

Claims (4)

1.基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法，其特征在于，包括以下步骤：
步骤1对训练集中的高分辨率和低分辨率图像进行特征提取，使用PCA提取人脸主成分特征，再利用FOPLS法对组内和组间协方差矩阵进行调整，并计算投影向量，使主成分特征投影到FOPLS子空间，对输入的低分辨率人脸图像提取主成分特征并投影到相同的子空间中，通过领域重建构造输入人脸对应的高分辨率全局人脸；
步骤2计算得到高分辨率和低分辨率人脸残差图像集，将残差图像分成若干边长相等、互相重叠的方块，利用FOPLS将其主成分特征投影到子空间，在子空间中利用邻域重建方法构造高分辨率人脸残差块，将残差块合成得到高分辨率人脸残余补偿；
步骤3最终重建完成的高分辨率人脸图像为高分辨率全局人脸加上高分辨率人脸残差补偿。
2.根据权利要求1所述的基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法，其特征在于，步骤1中所述高分辨率全局人脸重建包括以下步骤：
(1)给定高分辨率训练集
Figure FDA0002376973600000011
低分辨率训练集
Figure FDA0002376973600000012
其中s和q分别表示高分辨率人脸图像向量和低分辨率人脸图像向量的维度，m为训练图像的数量，通过
Figure FDA0002376973600000013
和
Figure FDA0002376973600000014
对每个高分辨率人脸图像和低分辨率人脸中心化，其中μh和μl分别为高分辨率训练图像和低分辨率训练图像的均值，令
Figure FDA0002376973600000015
和
Figure FDA0002376973600000016
利用PCA提取高分辨率和低分辨率人脸图像的主成分特征：
Figure FDA0002376973600000021
其中
Figure FDA0002376973600000022
(2)求解如下FOPLS的最优化问题，计算出高分辨率和低分辨率人脸的投影方向
Figure FDA0002376973600000023
Figure FDA0002376973600000024
Figure FDA0002376973600000025
其中
Figure FDA0002376973600000026
同时
Figure FDA0002376973600000027
和
Figure FDA0002376973600000028
分别表示组内和组间协方差矩阵，Tr()代表矩阵的迹，I是单位矩阵，并且：
Figure FDA0002376973600000029
其中0≤α≤1，
Figure FDA00023769736000000210
为Shl的左奇异向量矩阵，
Figure FDA00023769736000000211
是Shl的右奇异向量矩阵，σ1≥σ2≥…≥σr≥0为r个非零奇异值，且r＝rank(Shl)，
Figure FDA00023769736000000212
其中0≤β≤1，
Figure FDA00023769736000000213
为Shh的特征向量矩阵，
Figure FDA00023769736000000214
为
Figure FDA00023769736000000215
个非零特征值，且
Figure FDA00023769736000000216
(3)得到投影向量Wh和Wl后，通过
Figure FDA00023769736000000217
Figure FDA00023769736000000218
计算高分辨率和低分辨率人脸主成分特征在子空间中的低维嵌入，设输入的测试低分辨率图像为
Figure FDA00023769736000000219
同样求得其主成分特征
Figure FDA00023769736000000220
并计算其FOPLS特征：
Figure FDA00023769736000000221
使用邻域重建方法在低分辨率子空间
Figure FDA00023769736000000222
中寻找k1个cl的最近邻
Figure FDA00023769736000000223
求解如下最优化问题计算权重系数
Figure FDA00023769736000000224
Figure FDA00023769736000000225
定义
Figure FDA00023769736000000226
权重系数
Figure FDA00023769736000000227
可以接下来使用权重值构造出高分辨率全局脸特征：
Figure FDA0002376973600000031
该特征可用于进行人脸识别工作，通过逆运算将ch从子空间特征转换回像素域以得到高分辨率全局脸图像hg：
Figure FDA0002376973600000032
其中
Figure FDA0002376973600000033
表示摩尔-彭若斯广义逆。
3.根据权利要求1所述的基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法，其特征在于，步骤2中所述残差补偿包括以下步骤：
(1)对训练集中的所有低分辨率图像
Figure FDA0002376973600000034
使用上述的步骤求其高分辨率全局脸图像
Figure FDA0002376973600000035
得到高分辨率残差集
Figure FDA0002376973600000036
和低分辨率残差集
Figure FDA0002376973600000037
其中↓表示将每一张全局脸图像进行下采样处理；
(2)将所有残差图像分成若干大小为n×n且互相重叠的残差块，为了让低分辨率残差图像的块数和高分辨率残差图像块数一样，在对低分辨率残差人脸分块前，利用插值算法将其上采样到与高分辨率残差人脸相同大小，对于在j位置的高分辨率和低分辨率残差块，使用上述步骤计算其主成分特征并投影到FOPLS子空间，对于输入的低分辨率人脸l，通过lr＝l-hg↓计算其残差脸，将lr上采样到高分辨率残差人脸图像相同大小，并进行分块处理，对于每一个残差块，使用上述步骤计算其主成分特征并投影到FOPLS子空间，利用邻域重建策略重建出高分辨率残差块，合并残差块得到高分辨率残差人脸hr。
4.根据权利要求3所述的基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法，其特征在于，步骤3中所述最终重建完成的高分辨率人脸图像为：h＝hg+hr。
CN202010069619.3A 2020-01-21 2020-01-21 基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法 Active CN111242082B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010069619.3A CN111242082B (zh) 2020-01-21 2020-01-21 基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010069619.3A CN111242082B (zh) 2020-01-21 2020-01-21 基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法

Publications (2)

Publication Number Publication Date
CN111242082A true CN111242082A (zh) 2020-06-05
CN111242082B CN111242082B (zh) 2023-10-13

Family

ID=70864228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010069619.3A Active CN111242082B (zh) 2020-01-21 2020-01-21 基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法

Country Status (1)

Country Link
CN (1) CN111242082B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797919A (zh) * 2020-06-30 2020-10-20 三峡大学 一种基于主成分分析与卷积神经网络的动态安全评估方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101299235A (zh) * 2008-06-18 2008-11-05 中山大学 一种基于核主成分分析的人脸超分辨率重构方法
CN101615290A (zh) * 2009-07-29 2009-12-30 西安交通大学 一种基于典型相关分析的人脸图像超分辨率重建方法
CN103824272A (zh) * 2014-03-03 2014-05-28 武汉大学 基于k近邻重识别的人脸超分辨率重建方法
CN106096547A (zh) * 2016-06-11 2016-11-09 北京工业大学 一种面向识别的低分辨率人脸图像特征超分辨率重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101299235A (zh) * 2008-06-18 2008-11-05 中山大学 一种基于核主成分分析的人脸超分辨率重构方法
CN101615290A (zh) * 2009-07-29 2009-12-30 西安交通大学 一种基于典型相关分析的人脸图像超分辨率重建方法
CN103824272A (zh) * 2014-03-03 2014-05-28 武汉大学 基于k近邻重识别的人脸超分辨率重建方法
CN106096547A (zh) * 2016-06-11 2016-11-09 北京工业大学 一种面向识别的低分辨率人脸图像特征超分辨率重建方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
HUA HUANG 等: "Super-resolution of human face image using canonical correlation analysis" *
YAN LIU 等: "A New Robust Deep Canonical Correlation Analysis Algorithm for Small Sample Problems" *
YUN-HAO YUAN 等: ""Learning Simultaneous Face Super-Resolution Using Multiset Partial Least Squares"" *
杨茂龙;孙权森;夏德深;: "二维共轭正交偏最小二乘分析及图像识别应用" *
端木春江;沈碧婷;: "基于两阶段邻域回归的图像超分辨率重建" *
马祥;刘军辉;: "基于PCA与残差补偿的人脸超分辨率算法" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797919A (zh) * 2020-06-30 2020-10-20 三峡大学 一种基于主成分分析与卷积神经网络的动态安全评估方法

Also Published As

Publication number Publication date
CN111242082B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN106952228B (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
CN108734659B (zh) 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法
CN111127374B (zh) 一种基于多尺度密集网络的Pan-sharpening方法
CN110111256B (zh) 基于残差蒸馏网络的图像超分辨重建方法
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN108289222B (zh) 一种基于结构相似度映射字典学习的无参考图像质量评价方法
CN104933678B (zh) 一种基于像素强度的图像超分辨率重建方法
CN104123705B (zh) 一种超分辨率重建图像质量Contourlet域评价方法
CN108830791B (zh) 基于自身样例和稀疏表示的图像超分辨率方法
CN111192193A (zh) 一种基于1维-2维卷积神经网络高光谱单图超分辨方法
CN114266957B (zh) 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
CN113343822B (zh) 一种基于3d卷积的光场显著性目标检测方法
CN111611962A (zh) 基于分数阶多集偏最小二乘的人脸图像超分辨率识别方法
CN110111276B (zh) 基于空-谱信息深度利用的高光谱遥感影像超分辨率方法
CN115578262A (zh) 基于afan模型的偏振图像超分辨率重建方法
CN115631107A (zh) 边缘引导的单幅图像噪声去除
Fu et al. Hyperspectral image denoising via robust subspace estimation and group sparsity constraint
CN111242082B (zh) 基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法
CN113379597A (zh) 人脸超分辨率重构方法
CN117392065A (zh) 一种云边协同太阳能板覆灰状况自主评估方法
CN108846797B (zh) 基于两种训练集合的图像超分辨率方法
CN116862765A (zh) 一种医学影像超分辨率重建方法及系统
CN111275624B (zh) 基于多集典型相关分析的人脸图像超分辨率重建识别方法
CN108629371B (zh) 一种对二维时频数据的数据降维方法
CN114511470B (zh) 一种基于注意力机制的双分支全色锐化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant