CN111640064A - 一种基于局部保持典型相关分析的幻觉脸方法 - Google Patents

一种基于局部保持典型相关分析的幻觉脸方法 Download PDF

Info

Publication number
CN111640064A
CN111640064A CN202010473403.3A CN202010473403A CN111640064A CN 111640064 A CN111640064 A CN 111640064A CN 202010473403 A CN202010473403 A CN 202010473403A CN 111640064 A CN111640064 A CN 111640064A
Authority
CN
China
Prior art keywords
resolution
image
face
low
correlation analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010473403.3A
Other languages
English (en)
Inventor
袁运浩
杨洁
李云
强继朋
朱毅
李斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangzhou University
Original Assignee
Yangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangzhou University filed Critical Yangzhou University
Priority to CN202010473403.3A priority Critical patent/CN111640064A/zh
Publication of CN111640064A publication Critical patent/CN111640064A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于局部保持典型相关分析的幻觉脸方法，包括利用局部保持典型相关分析计算高分辨率和低分辨率主成分特征的一致相关特征，利用逆变换将低分辨率人脸图像对应的高分辨率特征重建为全局高分辨率人脸图像；在此基础上，建立高分辨率和低分辨率人脸残差图像并将残差图像分块，利用局部保持典型相关分析抽取高分辨率和低分辨率残差图像块的一致特征，采用逆变换得到高分辨率残差图像块，通过平均重叠区域，组合所有高分辨率残差图像块形成高分辨率残差图像；组合全局高分辨率人脸和高分辨率残差图像，最终得到超分辨率人脸图像。本发明利用局部保持典型相关分析，克服了传统方法不能处理高分辨率和低分辨率图像之间非线性关系的问题。

Description

一种基于局部保持典型相关分析的幻觉脸方法
技术领域
本发明涉及图像处理领域，特别涉及一种基于局部保持典型相关分析的幻觉脸方法。
背景技术
局部保持的典型相关分析(Locality Preserving Canonical CorrelationAnalysis，LPCCA)是一种能够解决大量非线性问题的新型算法。它通过局部线性的方法达到解决非线性问题的目的，不但能保持各样本集的局部结构信息，而且能够得到两组样本之间的最大化相关信息。在本发明中，考虑到高分辨率和低分辨率人脸图像来自相同的人，因此它们之间自然地具有相关关系，所以采用局部保持典型相关分析来增强这种关系。
监控视频中，人脸是最重要的身份特征之一。但是，由于天气、光照等复杂环境和成像设备距离目标较远等因素影响，监控视频中捕捉到的人脸图像往往呈现出较低质量和分辨率，从而导致诸如人脸识别等后续任务的学习性能急剧下降。
为了解决上述问题，近年来许多幻觉脸(人脸超分辨率)方法已被提出。流形学习理论假设高分辨率空间中的人脸图像与低分辨率空间中的人脸图像局部同胚，因此高分辨率图像可以由低分辨率人脸图像重建得到。基于这个假设，受局部邻域嵌入(LLE)方法启发，Chang等人提出了基于邻域嵌入的图像超分辨率方法。随后Ma等人发现用相同位置的图像块来重建高分辨率图像会达到更好的效果。Jung等人指出当训练图像块的数量大于训练块向量的维度时，解决最小二乘问题可能会出现多个解，因此他们提出用凸优化来解决这个问题，达到了很好的重建效果。
与基于图像块的重建方法不同，现有一些方法常采用数据降维策略来减少噪声干扰和计算消耗。但是在缩减图像维度的过程中，会不可避免地丢掉一些重要的人脸细节信息。当前，结合全局策略和图像块残差补偿的方法通常比简单的全局重建方法效果更好。Huang等人提出了一种基于典型相关分析的人脸图像超分辨率重建方法，但此方法本质上是一个线性学习方法，并不能很好地描述高分辨率和低分辨率人脸图像间的非线性关系。
发明内容
本发明的目的是克服现有技术缺陷，提供一种基于局部保持典型相关分析的幻觉脸方法，使得高分辨率和低分辨率图像之间的非线性关系可以通过加入局部信息来刻画。
本发明的目的是这样实现的：一种基于局部保持典型相关分析的幻觉脸方法，包括以下步骤：
步骤1全局人脸重构；
1-1采用主成分分析提取高分辨率和相应低分辨率人脸图像的主成分特征，得到高分辨率和低分辨率图像的两组特征；
1-2利用局部保持典型相关分析为高分辨率和低分辨率人脸特征学习一致相关子空间，并将其投影到潜在一致子空间；
1-3在局部保持典型相关分析子空间中采用邻域重构策略由低分辨率特征重建高分辨率特征，利用逆变换，将重建的高分辨率特征恢复成全局高分辨率人脸图像；
步骤2残差补偿；
2-1建立高分辨率和低分辨率人脸残差图像并将残差图像分块；
2-2采用局部保持典型相关分析对于同一位置的高分辨率和低分辨率图像块学习局部保持典型相关分析一致子空间，将其投影到局部保持典型相关分析空间；
2-3利用邻域重构的策略重构低分辨率残差图像块特征对应的高分辨率残差图像块特征,利用逆变换得到高分辨率残差图像块，通过平均重叠区域，组合所有高分辨率残差图像块形成高分辨率残差图像；
步骤3将重建的高分辨率残差图像补偿到重建的全局高分辨率人脸图像上，得到最终的超分辨率人脸图像。
作为本发明的进一步限定，所述步骤1-1具体包括以下步骤：
(1)设高分辨率人脸图像集
Figure BDA0002515051870000031
和相应的低分辨率人脸图像集
Figure BDA0002515051870000032
首先移除高分辨率人脸图像的均值脸υh和低分辨率人脸图像的均值脸υl，中心化原始人脸数据集
Figure BDA0002515051870000033
和
Figure BDA0002515051870000034
得到
Figure BDA0002515051870000035
和
Figure BDA0002515051870000036
(2)采用主成分分析提取高分辨率和低分辨率人脸图像的主成分特征，即
Figure BDA0002515051870000037
其中Ph和Pl分别表示主成分分析的投影矩阵。
作为本发明的进一步限定，所述步骤1-2具体步骤为包括：
(1)使用局部保持典型相关分析为高分辨率和低分辨率特征学习投影矩阵Wx和Wy；定义
Figure BDA0002515051870000038
的局部近邻索引集为ne(i)，即：如果
Figure BDA0002515051870000039
是
Figure BDA00025150518700000310
的前k个近邻之一，则j∈ne(i)。在局部近邻的定义下，定义相似度矩阵
Figure BDA00025150518700000311
和
Figure BDA00025150518700000312
Figure BDA00025150518700000313
Figure BDA0002515051870000041
其中(1)和(2)中||·||代表向量的2范数，exp(·)代表高斯函数，
Figure BDA0002515051870000042
和
Figure BDA0002515051870000043
利用局部保持典型相关分析为高分辨率和低分辨率人脸特征学习潜在的一致相关子空间，具体优化目标如下：
Figure BDA0002515051870000044
其中
Figure BDA0002515051870000045
符号
Figure BDA0002515051870000046
代表如下算子：对于矩阵
Figure BDA0002515051870000047
和
Figure BDA0002515051870000048
其中Aij和Bij分别代表矩阵A和B的第i行第j列元素；
Figure BDA0002515051870000049
和
Figure BDA00025150518700000410
是对角矩阵，它们的第i个对角元素分别等于
Figure BDA00025150518700000411
和
Figure BDA00025150518700000412
的第i行元素之和；
由于目标函数与wx和wy尺度无关，(3)中的最优化问题可以等价地形式化为：
Figure BDA00025150518700000413
使用拉格朗日乘子法，求解问题(4)可以转化为求解广义特征值问题，取前d个最大特征值对应的特征向量构成投影矩阵Wx＝{wx1,wx2,…,wxd}和Wy＝{wy1,wy2,…,wyd}；
(2)获得Wx和Wy，可以得到高分辨率和低分辨率人脸特征的低维相关特征：
Figure BDA00025150518700000414
和
Figure BDA00025150518700000415
将高分辨率和低分辨率人脸特征投影到一致相关子空间中，得到
Figure BDA00025150518700000416
和
Figure BDA00025150518700000417
作为本发明的进一步限定，所述步骤1-3具体包括以下步骤：
(1)设
Figure BDA0002515051870000051
为低分辨率人脸图像向量，首先计算其主成分特征lI＝Pl T(Il-υl)；将lI投影到一致相关子空间中，即
Figure BDA0002515051870000052
(2)采用邻域重构的方法重建cI在子空间中的特征，对于cI，在Cl中寻找k个近邻
Figure BDA0002515051870000053
和对应的权重
Figure BDA0002515051870000054
使得如下误差ε最小：
Figure BDA0002515051870000055
其中||·||代表范数，求解上式可得到最优权重，为求解(5)，定义Gram矩阵为Tik＝(cl-cl,Ii)(cl-cl,Ik)，则最优权重
Figure BDA0002515051870000056
(3)系数矩阵WG求出，相应的高分辨率特征chI可以通过
Figure BDA0002515051870000057
的线性组合得到：
Figure BDA0002515051870000058
(4)通过逆变换得到相应的高分辨率主成分特征
Figure BDA00025150518700000515
其中
Figure BDA0002515051870000059
表示矩阵的摩尔-彭若斯广义逆，最终得到重建全局高分辨率人脸图像：Ig＝PhhI+υh。
作为本发明的进一步限定，所述步骤2-1具体包括以下步骤：
(1)对于低分辨率人脸训练集
Figure BDA00025150518700000510
中的每一幅图像，采用全局重建方法进行重建得到初步的高分辨率图像集G；
(2)对G中每幅高分辨率人脸图像进行下采样，形成尺寸与L中的低分辨率人脸图像相同，记作G↓，其中↓表示下采样；
(3)计算高分辨率和低分辨率残差图像集：Rh＝H-G和Rl＝L-G↓；
(4)把Rh和Rl中的每一幅图像分成若干重叠的n×n方块，记每幅图像分块的块数为
Figure BDA00025150518700000511
记
Figure BDA00025150518700000512
和
Figure BDA00025150518700000513
分别表示高分辨率和低分辨率残差集中的第j个位置的所有向量集合,
Figure BDA00025150518700000514
作为本发明的进一步限定，所述步骤2-2具体包括以下步骤：
(1)采用局部保持典型相关分析方法将残差块投影到一致子空间：
Figure BDA0002515051870000061
其中
Figure BDA0002515051870000062
和
Figure BDA0002515051870000063
分别表示局部保持典型相关分析投影矩阵，其中
Figure BDA0002515051870000064
(2)对于一幅新输入的低分辨率人脸图像Il,计算得到初步高分辨率图像Ig,然后计算残差图像：rI＝Il-Ig↓，将残差图像rI分块为
Figure BDA0002515051870000065
并投影到相关子空间：
Figure BDA0002515051870000066
作为本发明的进一步限定，所述步骤2-3具体包括：
通过邻域重构策略重建其对应的高分辨率残差图像特征,对于相关子空间内每一个残差图像块特征
Figure BDA0002515051870000067
其对应的高分辨率残差图像块特征可由其k近邻重建，利用逆变换得到对应的高分辨率残差图像块
Figure BDA0002515051870000068
在得到所有高分辨率残差块后，通过平均重叠区域，组合得到残差图像R。
作为本发明的进一步限定，步骤3所述最终的超分辨率人脸图像Ih为将重建的高分辨率残差图像补偿到重建全局高分辨率人脸图像上：Ih＝Ig+R。
与现有技术相比，本发明的有益效果在于：本发明利用局部保持典型相关分析，为高分辨率和低分辨率特征学习一个潜在的相关子空间，由于局部信息的加入，克服了典型相关分析不能处理高分辨率和低分辨率图像之间非线性关系的问题。
附图说明
图1是本发明的基本框架图。
图2是本发明以及对比方法在CAS-PEAL数据库上的重建视觉效果图。
图3是本发明以及对比方法在CelebA数据库上的重建视觉效果图。
具体实施方式
如图1所示的一种基于局部保持典型相关分析的幻觉脸方法，包括以下步骤：
步骤1全局人脸重构；
1-1采用主成分分析提取高分辨率和相应低分辨率人脸图像的主成分特征，得到高分辨率和低分辨率图像的两组特征；
(1)设高分辨率人脸图像集
Figure BDA0002515051870000071
和相应的低分辨率人脸图像集
Figure BDA0002515051870000072
首先移除高分辨率人脸图像的均值脸υh和低分辨率人脸图像的均值脸υl，中心化原始人脸数据集
Figure BDA0002515051870000073
和
Figure BDA0002515051870000074
得到
Figure BDA0002515051870000075
和
Figure BDA0002515051870000076
(2)采用主成分分析提取高分辨率和低分辨率人脸图像的主成分特征，即
Figure BDA0002515051870000077
其中Ph和Pl分别表示主成分分析的投影矩阵，。记
Figure BDA0002515051870000078
和
Figure BDA0002515051870000079
1-2利用局部保持典型相关分析为高分辨率和低分辨率人脸特征学习一致相关子空间，并将其投影到潜在一致子空间；
(1)使用局部保持典型相关分析为高分辨率和低分辨率特征学习投影矩阵Wx和Wy；定义
Figure BDA00025150518700000710
的局部近邻索引集为ne(i)，即：如果
Figure BDA00025150518700000711
是
Figure BDA00025150518700000712
的前k个近邻之一，则j∈ne(i)。在局部近邻的定义下，定义相似度矩阵
Figure BDA00025150518700000713
和
Figure BDA00025150518700000714
Figure BDA00025150518700000715
Figure BDA00025150518700000716
其中(1)和(2)中||·||代表向量的2范数，exp(·)代表高斯函数，
Figure BDA00025150518700000717
和
Figure BDA00025150518700000718
利用局部保持典型相关分析为高分辨率和低分辨率人脸特征学习潜在的一致相关子空间，具体优化目标如下：
Figure BDA0002515051870000081
其中
Figure BDA0002515051870000082
符号
Figure BDA0002515051870000083
代表如下算子：对于矩阵
Figure BDA0002515051870000084
和
Figure BDA0002515051870000085
其中Aij和Bij分别代表矩阵A和B的第i行第j列元素；
Figure BDA0002515051870000086
和
Figure BDA0002515051870000087
是对角矩阵，它们的第i个对角元素分别等于
Figure BDA0002515051870000088
和
Figure BDA0002515051870000089
的第i行元素之和；
由于目标函数与wx和wy尺度无关，(3)中的最优化问题可以等价地形式化为：
Figure BDA00025150518700000810
使用拉格朗日乘子法，求解问题(4)可以转化为求解广义特征值问题，取前d个最大特征值对应的特征向量构成投影矩阵Wx＝{wx1,wx2,…,wxd}和Wy＝{wy1,wy2,…,wyd}；
(2)获得Wx和Wy，可以得到高分辨率和低分辨率人脸特征的低维相关特征：
Figure BDA00025150518700000811
和
Figure BDA00025150518700000812
将高分辨率和低分辨率人脸特征投影到一致相关子空间中，得到
Figure BDA00025150518700000813
和
Figure BDA00025150518700000814
1-3在局部保持典型相关分析子空间中采用邻域重构策略由低分辨率特征重建高分辨率特征，利用逆变换，将重建的高分辨率特征恢复成全局高分辨率人脸图像；
(1)设
Figure BDA00025150518700000815
为低分辨率人脸图像向量，首先计算其主成分特征
Figure BDA00025150518700000816
将lI投影到一致相关子空间中，即
Figure BDA00025150518700000817
(2)采用邻域重构的方法重建cI在子空间中的特征，对于cI，在Cl中寻找k个近邻
Figure BDA0002515051870000091
和对应的权重
Figure BDA0002515051870000092
使得如下误差ε最小：
Figure BDA0002515051870000093
其中||·||代表范数，求解上式可得到最优权重，为求解(5)，定义Gram矩阵为Tik＝(cl-cl,Ii)(cl-cl,Ik)，则最优权重
Figure BDA0002515051870000094
(3)系数矩阵WG求出，相应的高分辨率特征chI可以通过
Figure BDA0002515051870000095
的线性组合得到：
Figure BDA0002515051870000096
(4)通过逆变换得到相应的高分辨率主成分特征
Figure BDA0002515051870000097
其中
Figure BDA0002515051870000098
表示矩阵的摩尔-彭若斯广义逆，最终得到重建全局高分辨率人脸图像：Ig＝PhhI+υh。
由于高分辨率重建过程中使用了数据降维方法以减少噪声和计算消耗，因此在初步重建的过程中不可避免地会丢掉一些细节信息。
步骤2残差补偿；
2-1建立高分辨率和低分辨率人脸残差图像并将残差图像分块；
(1)对于低分辨率人脸训练集
Figure BDA0002515051870000099
中的每一幅图像，采用全局重建方法进行重建得到初步的高分辨率图像集G；
(2)对G中每幅高分辨率人脸图像进行下采样，形成尺寸与L中的低分辨率人脸图像相同，记作G↓，其中↓表示下采样；；
(3)计算高分辨率和低分辨率残差图像集：Rh＝H-G和Rl＝L-G↓；
(4)把Rh和Rl中的每一幅图像分成若干重叠的n×n方块，记每幅图像分块的块数为
Figure BDA00025150518700000910
记
Figure BDA00025150518700000911
和
Figure BDA00025150518700000912
分别表示高分辨率和低分辨率残差集中的第j个位置的所有向量集合,
Figure BDA00025150518700000913
2-2采用局部保持典型相关分析对于同一位置的高分辨率和低分辨率图像块学习局部保持典型相关分析一致子空间，将其投影到局部保持典型相关分析空间；
(1)采用局部保持典型相关分析方法将残差块投影到一致子空间：
Figure BDA0002515051870000101
其中
Figure BDA0002515051870000102
和
Figure BDA0002515051870000103
分别表示局部保持典型相关分析投影矩阵，其中
Figure BDA0002515051870000104
(2)对于一幅新输入的低分辨率人脸图像Il,计算得到初步高分辨率图像Ig,然后计算残差图像：rI＝Il-Ig↓，将残差图像rI分块为
Figure BDA0002515051870000105
并投影到相关子空间：
Figure BDA0002515051870000106
2-3利用邻域重构的策略重构低分辨率残差图像块特征对应的高分辨率残差图像块特征,利用逆变换得到高分辨率残差图像块，通过平均重叠区域，组合所有高分辨率残差图像块形成高分辨率残差图像；对于相关子空间内每一个残差图像块特征
Figure BDA0002515051870000107
其对应的高分辨率残差图像块特征可由其k近邻重建，利用逆变换得到对应的高分辨率残差图像块
Figure BDA0002515051870000108
后，通过平均重叠区域，组合得到残差图像R。
步骤3将重建的高分辨率残差图像补偿到重建全局高分辨率人脸图像上，得到最终的超分辨率人脸图像Ih即：Ih＝Ig+R。
为了验证本发明的表现，我们在多个数据集上评估了我们的方法。表1中展示了多个方法的峰值信噪比(PSNR)和图像结构相似性(SSIM)两个评估指标在CAS-PEAL数据集上的表现，可以看到本发明取得了最好的重建效果。
表1：各算法在CAS-PEAL数据集上的质量评估
Figure BDA0002515051870000111
图2中展示了各方法在CAS-PEAL数据集上的重建视觉效果图。可以看到，相较其它方法，我们的方法重建出的人脸图像具有更丰富的面部细节。
图3中展示了各方法在CelebA数据集上的重建效果图。从重建的视觉效果以及表2中PSNR和SSIM指数来看，本发明取得了最好的重建结果。
表2：各算法在CelebA数据集上的质量评估
Figure BDA0002515051870000112
综上所述，本发明无论是从PSNR和SSIM指数还是重建视觉效果来看，均取得了较好的重建效果，具有较强的使用价值和落地能力。
本发明并不局限于上述实施例，在本发明公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本发明的保护范围内。

Claims (8)

1.一种基于局部保持典型相关分析的幻觉脸方法，其特征在于，包括以下步骤：
步骤1全局人脸重构；
1-1采用主成分分析提取高分辨率和相应低分辨率人脸图像的主成分特征，得到高分辨率和低分辨率图像的两组特征；
1-2利用局部保持典型相关分析为高分辨率和低分辨率人脸特征学习一致相关子空间，并将其投影到潜在一致子空间；
1-3在局部保持典型相关分析子空间中采用邻域重构策略由低分辨率特征重建高分辨率特征，利用逆变换，将重建的高分辨率特征恢复成全局高分辨率人脸图像；
步骤2残差补偿；
2-1建立高分辨率和低分辨率人脸残差图像并将残差图像分块；
2-2采用局部保持典型相关分析对于同一位置的高分辨率和低分辨率图像块学习局部保持典型相关分析一致子空间，将其投影到局部保持典型相关分析空间；
2-3利用邻域重构的策略重构低分辨率残差图像块特征对应的高分辨率残差图像块特征,利用逆变换得到高分辨率残差图像块，通过平均重叠区域，组合所有高分辨率残差图像块形成高分辨率残差图像；
步骤3将重建的高分辨率残差图像补偿到重建的全局高分辨率人脸图像上，得到最终的超分辨率人脸图像。
2.根据权利要求1所述的一种基于局部保持典型相关分析的幻觉脸方法，其特征在于，所述步骤1-1具体包括以下步骤：
(1)设高分辨率人脸图像集
Figure FDA0002515051860000021
和相应的低分辨率人脸图像集
Figure FDA0002515051860000022
首先移除高分辨率人脸图像的均值脸υh和低分辨率人脸图像的均值脸υl，中心化原始人脸数据集
Figure FDA0002515051860000023
和
Figure FDA0002515051860000024
得到
Figure FDA0002515051860000025
和
Figure FDA0002515051860000026
(2)采用主成分分析提取高分辨率和低分辨率人脸图像的主成分特征，即
Figure FDA0002515051860000027
其中Ph和Pl分别表示主成分分析的投影矩阵。
3.根据权利要求1所述的一种基于局部保持典型相关分析的幻觉脸方法，其特征在于，所述步骤1-2具体步骤为包括：
(1)使用局部保持典型相关分析为高分辨率和低分辨率特征学习投影矩阵Wx和Wy；定义
Figure FDA0002515051860000028
的局部近邻索引集为ne(i)，即：如果
Figure FDA0002515051860000029
是
Figure FDA00025150518600000210
的前k个近邻之一，则j∈ne(i)。在局部近邻的定义下，定义相似度矩阵
Figure FDA00025150518600000211
和
Figure FDA00025150518600000212
Figure FDA00025150518600000213
Figure FDA00025150518600000214
其中(1)和(2)中||·||代表向量的2范数，exp(·)代表高斯函数，
Figure FDA00025150518600000215
和
Figure FDA00025150518600000216
利用局部保持典型相关分析为高分辨率和低分辨率人脸特征学习潜在的一致相关子空间，具体优化目标如下：
Figure FDA00025150518600000217
其中
Figure FDA00025150518600000218
符号
Figure FDA00025150518600000219
代表如下算子：对于矩阵
Figure FDA00025150518600000220
和
Figure FDA00025150518600000221
其中Aij和Bij分别代表矩阵A和B的第i行第j列元素；
Figure FDA0002515051860000031
和
Figure FDA0002515051860000032
是对角矩阵，它们的第i个对角元素分别等于
Figure FDA0002515051860000033
和
Figure FDA0002515051860000034
的第i行元素之和；
由于目标函数与wx和wy尺度无关，(3)中的最优化问题可以等价地形式化为：
Figure FDA0002515051860000035
使用拉格朗日乘子法，求解问题(4)可以转化为求解广义特征值问题，取前d个最大特征值对应的特征向量构成投影矩阵Wx＝{wx1,wx2,…,wxd}和Wy＝{wy1,wy2,…,wyd}；
(2)获得Wx和Wy，可以得到高分辨率和低分辨率人脸特征的低维相关特征：
Figure FDA0002515051860000036
和
Figure FDA0002515051860000037
将高分辨率和低分辨率人脸特征投影到一致相关子空间中，得到
Figure FDA0002515051860000038
和
Figure FDA0002515051860000039
4.根据权利要求1所述的一种基于局部保持典型相关分析的幻觉脸方法，其特征在于，所述步骤1-3具体包括以下步骤：
(1)设
Figure FDA00025150518600000310
为低分辨率人脸图像向量，首先计算其主成分特征lI＝Pl T(Il-υl)；将lI投影到一致相关子空间中，即
Figure FDA00025150518600000311
(2)采用邻域重构的方法重建cI在子空间中的特征，对于cI，在Cl中寻找k个近邻
Figure FDA00025150518600000312
和对应的权重
Figure FDA00025150518600000313
使得如下误差ε最小：
Figure FDA00025150518600000314
其中||·||代表范数，求解上式可得到最优权重，为求解(5)，定义Gram矩阵为Tik＝(cl-cl,Ii)(cl-cl,Ik)，则最优权重
Figure FDA00025150518600000315
(3)系数矩阵WG求出，相应的高分辨率特征chI可以通过
Figure FDA00025150518600000316
的线性组合得到：
Figure FDA0002515051860000041
(4)通过逆变换得到相应的高分辨率主成分特征
Figure FDA0002515051860000042
其中
Figure FDA0002515051860000043
表示矩阵的摩尔-彭若斯广义逆，最终得到重建全局高分辨率人脸图像：Ig＝PhhI+υh。
5.根据权利要求1所述的一种基于局部保持典型相关分析的幻觉脸方法，其特征在于，所述步骤2-1具体包括以下步骤：
(1)对于低分辨率人脸训练集
Figure FDA0002515051860000044
中的每一幅图像，采用全局重建方法进行重建得到初步的高分辨率图像集G；
(2)对G中每幅高分辨率人脸图像进行下采样，形成尺寸与L中的低分辨率人脸图像相同，记作G↓，其中↓表示下采样；
(3)计算高分辨率和低分辨率残差图像集：Rh＝H-G和Rl＝L-G↓；
(4)把Rh和Rl中的每一幅图像分成若干重叠的n×n方块，记每幅图像分块的块数为
Figure FDA0002515051860000045
记
Figure FDA0002515051860000046
和
Figure FDA0002515051860000047
分别表示高分辨率和低分辨率残差集中的第j个位置的所有向量集合,
Figure FDA0002515051860000048
6.根据权利要求1所述的一种基于局部保持典型相关分析的幻觉脸方法，其特征在于，所述步骤2-2具体包括以下步骤：
(1)采用局部保持典型相关分析方法将残差块投影到一致子空间：
Figure FDA0002515051860000049
其中
Figure FDA00025150518600000410
和
Figure FDA00025150518600000411
分别表示局部保持典型相关分析投影矩阵，其中
Figure FDA00025150518600000412
(2)对于一幅新输入的低分辨率人脸图像Il,计算得到初步高分辨率图像Ig,然后计算残差图像：rI＝Il-Ig↓，将残差图像rI分块为
Figure FDA00025150518600000413
并投影到相关子空间：
Figure FDA00025150518600000414
7.根据权利要求1所述的一种基于局部保持典型相关分析的幻觉脸方法，其特征在于，所述步骤2-3具体包括：
通过邻域重构策略重建其对应的高分辨率残差图像特征,对于相关子空间内每一个残差图像块特征
Figure FDA0002515051860000051
其对应的高分辨率残差图像块特征可由其k近邻重建，利用逆变换得到对应的高分辨率残差图像块
Figure FDA0002515051860000052
在得到所有高分辨率残差块后，通过平均重叠区域，组合得到残差图像R。
8.根据权利要求4或7所述的一种基于局部保持典型相关分析的幻觉脸方法，其特征在于，步骤3所述最终的超分辨率人脸图像Ih为将重建的高分辨率残差图像补偿到重建全局高分辨率人脸图像上：Ih＝Ig+R。
CN202010473403.3A 2020-05-29 2020-05-29 一种基于局部保持典型相关分析的幻觉脸方法 Pending CN111640064A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010473403.3A CN111640064A (zh) 2020-05-29 2020-05-29 一种基于局部保持典型相关分析的幻觉脸方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010473403.3A CN111640064A (zh) 2020-05-29 2020-05-29 一种基于局部保持典型相关分析的幻觉脸方法

Publications (1)

Publication Number Publication Date
CN111640064A true CN111640064A (zh) 2020-09-08

Family

ID=72333317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010473403.3A Pending CN111640064A (zh) 2020-05-29 2020-05-29 一种基于局部保持典型相关分析的幻觉脸方法

Country Status (1)

Country Link
CN (1) CN111640064A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837293A (zh) * 2021-02-05 2021-05-25 中国科学院西安光学精密机械研究所 基于高斯函数典型关联分析的高光谱图像变化检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101615290A (zh) * 2009-07-29 2009-12-30 西安交通大学 一种基于典型相关分析的人脸图像超分辨率重建方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101615290A (zh) * 2009-07-29 2009-12-30 西安交通大学 一种基于典型相关分析的人脸图像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUNHAO YUAN: "《Face Hallucination Using Locality Preserving Canonical Correlation Analysis》" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837293A (zh) * 2021-02-05 2021-05-25 中国科学院西安光学精密机械研究所 基于高斯函数典型关联分析的高光谱图像变化检测方法
CN112837293B (zh) * 2021-02-05 2023-02-14 中国科学院西安光学精密机械研究所 基于高斯函数典型关联分析的高光谱图像变化检测方法

Similar Documents

Publication Publication Date Title
CN106952228B (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
Lu et al. Geometry constrained sparse coding for single image super-resolution
Lu et al. Image super-resolution via double sparsity regularized manifold learning
CN110111256B (zh) 基于残差蒸馏网络的图像超分辨重建方法
Tang et al. Greedy regression in sparse coding space for single-image super-resolution
Xu et al. Hyperspectral computational imaging via collaborative Tucker3 tensor decomposition
Gastineau et al. Generative adversarial network for pansharpening with spectral and spatial discriminators
CN115496928B (zh) 基于多重特征匹配的多模态图像特征匹配方法
Li et al. Example-based image super-resolution with class-specific predictors
Zheng et al. Separable-spectral convolution and inception network for hyperspectral image super-resolution
Zhao et al. Image super-resolution via adaptive sparse representation
Liu et al. An efficient residual learning neural network for hyperspectral image superresolution
Xia et al. Knowledge distillation based degradation estimation for blind super-resolution
Gelvez et al. Nonlocal low-rank abundance prior for compressive spectral image fusion
Xiang et al. Embedding new data points for manifold learning via coordinate propagation
CN107845064B (zh) 基于主动采样和高斯混合模型的图像超分辨重建方法
Rajput Mixed Gaussian-impulse noise robust face hallucination via noise suppressed low-and-high resolution space-based neighbor representation
Guo et al. Exploiting non-local priors via self-convolution for highly-efficient image restoration
Gao et al. Face image super-resolution with pose via nuclear norm regularized structural orthogonal procrustes regression
CN110321452B (zh) 一种基于方向选择机制的图像检索方法
CN111640064A (zh) 一种基于局部保持典型相关分析的幻觉脸方法
CN108682005B (zh) 基于协方差矩阵特征的半参考3d合成图像质量评价方法
Potje et al. Extracting deformation-aware local features by learning to deform
CN111292237B (zh) 基于二维多集偏最小二乘的人脸图像超分辨率重建方法
Li et al. Conformal and low-rank sparse representation for image restoration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200908

WD01 Invention patent application deemed withdrawn after publication