CN106097250A - 一种基于鉴别典型相关的超分辨率稀疏重构方法 - Google Patents

Abstract

本发明提出一种基于监督典型相关的稀疏人脸超分辨率重建方法，利用监督典型相关分析将提取出的高低分辨率的图像特征投影至相关子空间中，并在相关子空间中采用稀疏选择近邻进行邻域重构。本发明充分考虑样本类内与类间的相关性，加入监督信息，从而使得提取出的特征更具有鉴别性，能够更好地重构出测试样本对应的高分辨率图像。同时，在重构选择近邻时，采用稀疏选择的方法，根据不同的训练样本与测试样本相关性，自适应地选择出适合的近邻进行重构，得到恢复出的全局脸图像。利用上述的方法以及两步法邻域重建的思想补偿细节信息，重建高分辨率残差图像,将全局脸图像与残差图像相加得到最终的高分辨率人脸图像。

Description

一种基于鉴别典型相关的超分辨率稀疏重构方法

技术领域

本发明涉及一种图像超分辨率的重构方法。具体为一种基于鉴别典型相关分析的人脸图像超分辨率稀疏重构方法，可应用于模式识别、数据挖掘及图像处理等领域。

背景技术

超分辨率(Super-resolution,SR)是一种采用硬件或软件的方法来提高图像分辨率的新兴技术，通过输入一组或多组低分辨率(Low Resolution,LR)图像，经由相关算法处理后得到一组高分辨率(High Resolution,HR)的图像。采用超分辨率技术，可以在不改变成像系统的前提下，实现提高图像空间分辨率的目的，不但可以改进图像的视觉效果，而且对图像处理、计算机视觉等领域中的基本问题如图像特征提取、图像配准、图像质量评价等的研究进展起到了推动的作用。超分辨率技术有着较为宽广的应用前景，例如:视频监控、视频压缩、医学诊断、遥感应用、天文观测等。

1984年，Tsai和Huang首次提出了超分辨率重建问题，他们提出用傅里叶变换作为基础框架，给出了一个利用多幅欠采样图像重建一副高分辨率图像的频率域方法。随着人们对于超分辨率技术的深入研究，产生了多种经典的超分辨率重建模型框架，如非均匀内插值法(Ur and Gross,1992)、迭代反投影法(Irani and Peleg,1991)、最大似然法(Tomand Katsaggelos,1994；Matins et al,2009)等。Baker提出了一种针对人脸图像的虚幻脸(Face Hallucination)超分辨率方法。2001年，Liu等针对人脸图像的超分辨率重建问题根据贝叶斯方法提出了两步法，即在第一步恢复出高分辨率图像后，第二步采用局部非参数马尔科夫网络模型对第一步求得的图像进行残差修补。2007年，Ayan Chakrabarti将核主成分分析(Kernel Principal Component Analysis,KPCA)应用至超分辨率领域中。2010年，黄华等将典型相关分析(Canonical Correlation Analysis,CCA)应用至超分辨率图像处理中，给出了改进的两步法。CCA作为一种流行的多元数据处理方法，主要着眼于识别和量化两组随机变量之间的相关关系，近年在模式识别领域逐渐被人们使用。黄的方法将人脸图像通过主成分分析(Principal Component Analysis,PCA)方法降维处理并利用CCA投影至相关子空间，使得高分辨率图像与其对应的低分辨率图像之间得到最大相关，同时，利用残差图像(原高分辨率头像与采用超分辨率方法得出的图像之间的差值)重复前述思想，对得到的图像进行细节上的进一步修饰。该方法在第二步即残差图像预处理时需要对所有训练样本进行第一步的调用操作，而在残差图像训练集预处理时的近邻值为人为设置的固定值。一般情况下，随着近邻样本数的增大，超分辨率的重构效果越好，但近邻值到达一定值后，重构效果的上升趋势逐渐平缓。一般情况下，近邻值取值越大，重构效果越好，但过大的近邻值会使得该算法模型的空间、时间复杂度增加。因此，如何合理的选择近邻值成为该算法需要解决的问题之一。另一方面，黄的方法采用的CCA是无监督的，没有充分地利用训练样本的类标签信息，缺乏一定的鉴别力。

发明内容

为了解决上述背景技术中采用两步法的超分辨率重构方法存在的问题，本发明提出一种基于鉴别型典型相关分析的超分辨率稀疏重构方法，即将人脸的高分辨率图像及其对应的低分辨率图像通过鉴别型典型相关分析将其映射至相关子空间中，并利用稀疏表示选择重构样本数，并进行重构。该方法充分考虑了样本集的类别信息，引入了监督的特征融合方法，同时采用稀疏选择在保证重构效果的同时降低的算法的时间复杂度。在残差重构步骤中，稀疏选择能够根据“测试样本”动态地调试近邻值，使得重构步骤能更好的考虑测试样本与训练样本的相关性选择其最适合的近邻值。

方法具体描述包括如下：

(1)首先，对人脸图像提取全局特征，将特征集合利用典型相关分析(Discriminant Canonical Correlation Analysis,DCCA)映射至DCCA的相关子空间中，使得高分辨率与低分辨率图像在相关子空间中达到最大相关，并进行邻域重构，得到低分辨率图像对应的高分辨率图像的全局特征，逆推得到测试样本对应的高分辨率全局脸图像。重构得到该全局脸图像的具体步骤如下所示：

对高分辨率图像训练样本和对应的低分辨率图像样本利用主成分分析PCA提取高低分辨率人脸图像的全局特征，通过一般的PCA模型可以得到在PCA子空间中的投影向量P^H、P^L，其对应的主成分可表示为：

$X_i^H={\left(P^H\right)}^T{\hat{T}}_i^H={\left(P^H\right)}^T(T_i^H-{\mathrm{\μ}}^H)$

$X_i^L={\left(P^L\right)}^T{\hat{T}}_i^L={\left(P^L\right)}^T(T_i^L-{\mathrm{\μ}}^L)$

其中，表示对T_i ^H中心化处理，μ^H、μ^L分别表示高、低分辨率训练图像样本集的均值。

对于提取出来的PCA得分向量X^H、X^L，将其映射至DCCA的相关子空间，通过最大化如下准则公式，求出对应的投影向量C^H、C^L：

$\begin{array}{c}J(C^H,C^L)=\frac{E\[{\left(C^H\right)}^T(S_w-{\mathrm{\ηS}}_b)C^L\]}{\sqrt{E\[{\left(C^H\right)}^T{S}_{xx}{C}^H\]E\[{\left(C^L\right)}^T{S}_{yy}{C}^L\]}}\\ =\frac{E\[{\left(C^H\right)}^T(X^{H}A{\left(X^L\right)}^T+{\mathrm{\ηX}}^{H}A{\left(X^L\right)}^T)C^L\]}{\sqrt{E\[{\left(C^H\right)}^T{X}^{H}A{\left(X^H\right)}^T{C}^H\]E\[{\left(C^L\right)}^T{X}^{L}A{\left(X^L\right)}^T)C^L\]}}\end{array}$

其中A是分块对角矩阵，S_w为类内相关矩阵，S_b为类间相关矩阵。

因此在DCCA投影子空间中的得分向量V^H和V^L可表示为：

$V^H={\left(C^H\right)}^T\left({\hat{X}}^H\right)$

$V^L={\left(C^L\right)}^T\left({\hat{X}}^L\right)$

接下来，输入低分辨率的测试样本T^l，将其投影至训练样本T^L的PCA子空间中得到X^l＝(P^L)^T(T^l-μ^L)，并继续将X^l投影至其对应的DCCA子空间中，即由于高分辨率图像和低分辨率图像通过DCCA投影后能够达到最大相关，因此同等分辨率的训练样本与测试样本之间存在着一个可以线性表示的邻域结构关系，结合稀疏思想，在V^L中选取出k个样本即与V^l建立邻域关系。V^K则可按如下公示得出：

$\left\{\begin{array}{c}{V}^K={\left\{V_i^K\right\}}_{i=1}^k=\{V_{s_1}^L,V_{s_2}^L,...,V_{s_k}^L\}\\ s_i\∈\left\{j\right|{\mathrm{\α}}_j\≠0,j=1,...,m\}\end{array}\right.$

其中α^s＝{α₁,α₂,…α_m}为稀疏权值，可用如下公式求解，即

$\left\{\begin{array}{c}\underset{s}{\mathrm{argmin}}\left|\right|{\mathrm{\α}}^s|{|}_1\\ \begin{array}{cc}s.t.& \left|\right|V^L{\mathrm{\α}}^s-V^l\left|\right|\≤\mathrm{\ϵ}\end{array}\end{array}\right.$

给出一组权值使得最小，权值可用如下公式求出：

$w_i=\frac{{\mathrm{\Σ}}_k{M}_{ik}^{-1}}{{\mathrm{\Σ}}_m{M}_m^{-1}}$

其中为Gram矩阵。

因此，可得出所求的测试样本的高分辨率图像在DCCA子空间中的得分向量：

$V^h=\underset{i=1}{\overset{k}{\Σ}}{w}_i{V}_i^H$

其中为DCCA子空间下与V^K所对应的高分辨率样本得分向量集。利用逆映射将DCCA子空间中的向量逆映射至PCA空间中：

其中，(·)⁺表示广义逆矩阵，即，((C^H)^T)⁺＝(C^H(C^H)^T)^-1C^H。

测试样本的高分辨率全局脸图像T^h可由T^h＝((P^H)^T)⁺X^h+μ^H得到；

(2)其次，进行残差处理：

残差图像训练集的高分辨率样本集为R^H＝T^H-T^G，低分辨率样本集为R^L＝T^L-D(T^G)＝D(R^H)，其中D(·)表示下采样操作，T^G为将(1)中的低分辨率训练样本集T^L作测试样本得出的高分辨率图像集；残差图像测试样本集为R^l＝T^l-D(T^h)，得到对应的高分辨率样本记作R^h。对于R^H、R^L以及R^l，分别看做训练集的高分辨率样本、训练集的低分辨率样本以及测试集的低分辨率样本，进行后续处理。采用(1)中的重构操作，利用稀疏选择出k'个近邻后，对测试样本的高分辨率图像进行重构，最后得出测试集的高分辨率样本R^h；

(3)最终的输出图像为原始恢复的图像与残差恢复的图像之和，即：G＝T^h+R^h。

本发明具有以下优点：

(1)在映射至相关子空间时，充分考虑了训练样本的类间与类内信息，加入的类标签信息，即监督信息，因而能够提取出更有鉴别性的典型相关特征，恢复出更好的效果。

(2)在近邻选择时，利用稀疏算法根据不同的训练与测试样本对近邻值进行自适应调节，使得整个重构模型更加灵活，在保证恢复效果的同时节约了方法的运行时间。

附图说明

图1是本发明的框架模型图；

图2是本发明在YaleB库上的超分辨率重建效果；

图3是本发明算法及一些其他相关的超分辨率方法恢复效果对比图；

图4是本发明算法不采用稀疏选择时的效果(PSNR)对比图；

图5是本发明算法不采用稀疏选择时的效果(SSIM)对比图；

图6是本发明算法样本数对超分辨率效果的影响图；

具体实施方式

为了阐明本发明的目的、技术方案和优点，以下结合具体实施例及附图，对本发明做进一步详细说明。

参照图1，本发明的具体实施过程包括以下步骤：

(1)首先，对高分辨率图像训练样本和对应的低分辨率图像样本利用主成分分析PCA提取高低分辨率人脸图像的全局特征，求得在PCA子空间中的投影向量P^H、P^L，与其对应的主成分X^H、X^L。对于提取出来的PCA得分向量X^H、X^L，将其映射至DCCA的相关子空间，通过最大化DCCA的准则公式，可求出对应的投影向量C^H、C^L及得分向量V^H和V^L。

接下来，输入低分辨率的测试样本T^l，将其投影至训练样本T^L的PCA子空间中得到X^l＝(P^L)^T(T^l-μ^L)，并继续将X^l投影至其对应的DCCA子空间中，即由于高分辨率图像和低分辨率图像通过DCCA投影后能够达到最大相关，因此同等分辨率的训练样本与测试样本之间存在着一个可以线性表示的邻域结构关系，结合稀疏思想，在V^L中选取出k个样本即与V^l建立邻域关系。求得一组权值使得最小，可得出所求的测试样本的高分辨率图像在DCCA子空间中的得分向量：其中为DCCA子空间下与V^K所对应的高分辨率样本得分向量集。

紧接着，利用逆映射将DCCA子空间中的向量逆映射至PCA空间中，得到测试样本的高分辨率全局脸图像T^h。

(2)其次，进行残差处理：

残差图像训练集的高分辨率样本集为R^H＝T^H-T^G，低分辨率样本集为R^L＝T^L-D(T^G)＝D(R^H)，其中D(·)表示下采样操作，T^G为将(1)中的低分辨率训练样本集T^L作测试样本得出的高分辨率图像集；残差图像测试样本集为R^l＝T^l-D(T^h)，得到对应的高分辨率样本记作R^h。对于R^H、R^L以及R^l，分别看做训练集的高分辨率样本、训练集的低分辨率样本以及测试集的低分辨率样本，进行后续处理。采用(1)中的重构操作，利用稀疏选择出k'个近邻后，对测试样本的高分辨率图像进行重构，最后得出测试集的高分辨率样本R^h；

(3)最终的输出图像为原始恢复的图像与残差恢复的图像之和，即：G＝T^h+R^h。

本发明的效果可通过以下实验进一步说明。

实验1本发明方法在YaleB人脸数据库上的重建效果

为了验证本发明算法的性能，本发明在YaleB人脸数据库上进行实验，共有39个人，每个人在不同的光照条件下有64张不同的正脸图像，共2496张人脸图像，每张图片像素为168×192，随机选取30个人，每人选取20张图像作为训练样本中的高分辨率图像集，下采样4倍得到相应的42×48的低分辨率训练集。本实验从数据库中选取39张不同人不同光照条件下的人脸进行测试，均能恢复出较好的效果。任选其中一测试样本，实验效果如图2所示。结合实验能够看出，采用本发明所给出的方法在YaleB人脸数据集上都能很好的实现低分辨率图像向高分辨率恢复的过程，且由于YaleB库存在64种不同的光照条件，说明本发明所提出的算法能很好的克服光照的干扰，能够从视觉上得到良好的实验效果。

实验2本发明方法与一些常见方法在YaleB人脸数据库上的对比实验

为进一步验证本发明方法的性能，采用YaleB数据库，选取300个样本，其中选择15类，每类选择20个样本进行实验，近邻数k＝80，其中Liu’s的方法是Liu提出的全局参数模型和局部非参数模型的方法；CLLR_SR为黄华提出的利用CCA重构的超分辨率方法；DC_SR为将黄方法中的CCA替换为DCCA重构的方法；SDC_SR为本发明方法所提出的在DCCA的子空间中利用稀疏选择近邻的重构方法。表1为在同一条件下，同一设备中不同超分辨率方法对同一测试样本处理得到的效果数值，其中RMSE(Root Mean Square Error)表示得到图像与高分辨率原始图像的均方根误差。表1中参数为运行10次求平均所得结果。图3为采用不同测试图像时利用不同算法恢复出的图像效果。

表1不同超分辨率方法的效果测评参数对比表

从表1中的各测评值可以看出，在同一约束条件下，本发明提出的超分辨率重建方法能够更高效的恢复出更接近原始高分辨率的图像。结合图3中效果图可以看出，本发明所提出的方法较其他方法相比能够在恢复原始图像的大致模样的同时保证人脸的细节(如瞳孔、嘴唇、眉角、鼻头和脸颊的高光等)，恢复出的图像更生动逼真，更贴近原始图像。

实验3本发明方法参数分析实验(近邻值)

本发明采用稀疏的方法自适应地选择近邻值，省去了人工测试参数并定值的过程。本节实验采用YaleB数据库进行实验，随机选取15个人，每人选取20张图像作为训练样本，采用黄华提出的近邻重构法时近邻值从10开始取值，每隔1取一次，取到150，共运行50次取平均值绘出恢复出的图像与原始图像的PSNR值(图4)或SSIM值(图5)。同一条件下采用本发明方法运行50次，采用稀疏方法得到的近邻值在12-51之间浮动，PSNR平均值为25.7652，SSIM平均值为0.9643。从图4、图5中可以看出，采用近邻法对相关子空间中的图像进行重构时，近邻值越大，重构效果越好，但近邻达到一定值后，重构效果的上升趋势逐渐平缓。同一环境下，稀疏所选出来的近邻样本浮动范围较小，对模型的空间与时间要求低，且恢复出的图像的PSNR与SSIM值均较高，由此可知本发明算法效率高，且有良好的恢复效果。

实验4本发明方法参数分析实验(样本数)

除了近邻值对图像超分辨率的重构效果有影响外，样本数的多少包括类别数与每类的样本数都对重构效果有着或多或少的影响。由于在选择训练类别时采用的是随机算法，因此选择的类别不同得到的效果也会有所差异。本节实验采用YaleB人脸数据库，其中横坐标每类的样本数P，类别数C选取3类、5类、10类，采用本发明提出的方法进行超分辨率重构，10次循环取平均值，计算得到图像与高分辨率原始图像的均方根误差，如图6所示。从图中可以看出随着训练样本集数量的增多，均方根误差逐渐减小，即重构恢复出的图像效果越来越贴近原始高分辨率图像。

Claims (3)

1.一种基于鉴别典型相关的超分辨率稀疏重构方法，包括以下步骤：

(1)首先，对人脸图像提取全局特征，将特征集合利用典型相关分析(DiscriminantCanonical Correlation Analysis，DCCA)映射至DCCA的相关子空间中，使得高分辨率与低分辨率图像在相关子空间中达到最大相关，并进行邻域重构，得到低分辨率图像对应的高分辨率图像的全局特征，逆推得到测试样本对应的高分辨率全局脸图像。重构得到该全局脸图像的具体步骤如下所示：

对高分辨率图像训练样本和对应的低分辨率图像样本利用主成分分析PCA提取高低分辨率人脸图像的全局特征，通过一般的PCA模型可以得到在PCA子空间中的投影向量P^H、P^L，其对应的主成分可表示为：

其中，表示对T_i ^H中心化处理，μ^H、μ^L分别表示高、低分辨率训练图像样本集的均值

对于提取出来的PCA得分向量X^H、X^L，将其映射至DCCA的相关子空间，求出对应的投影向量C^H、C^L。因此在DCCA投影子空间中的得分向量V^H和V^L可表示为：

接下来，输入低分辨率的测试样本T^l，将其投影至训练样本T^L的PCA子空间中得到X^l＝(P^L)^T(T^l-μ^L)，并继续将X^l投影至其对应的DCCA子空间中，即由于高分辨率图像和低分辨率图像通过DCCA投影后能够达到最大相关，因此同等分辨率的训练样本与测试样本之间存在着一个可以线性表示的邻域结构关系，结合稀疏思想，在V^L中选取k个样本即与V^l建立邻域关系。给出一组权值使得最小，权值可用如下公式求出：

其中为Gram矩阵。

因此，可得出所求的测试样本的高分辨率图像在DCCA子空间中的得分向量：

其中为DCCA子空间下与V^K所对应的高分辨率样本得分向量集。利用逆映射将DCCA子空间中的向量逆映射至PCA空间中：

其中，(·)⁺表示广义逆矩阵，即，((C^H)^T)⁺＝(C^H(C^H)^T)^-1C^H。

测试样本的高分辨率全局脸图像T^h可由T^h＝((P^H)^T)⁺X^h+μ^H得到；

(2)其次，进行残差处理：

残差图像训练集的高分辨率样本集为R^H＝T^H-T^G，低分辨率样本集为R^L＝T^L-D(T^G)＝D(R^H)，其中D(·)表示下采样操作，T^G为将(1)中的低分辨率训练样本集T^L作测试样本得出的高分辨率图像集；残差图像测试样本集为R^l＝T^l-D(T^h)，得到对应的高分辨率样本记作R^h。对于R^H、R^L以及R^l，分别看做训练集的高分辨率样本、训练集的低分辨率样本以及测试集的低分辨率样本，进行后续处理。采用(1)中的重构操作，利用稀疏选择出k'个近邻后，对测试样本的高分辨率图像进行重构，最后得出测试集的高分辨率样本R^h；

(3)最终的输出图像为原始恢复的图像与残差恢复的图像之和，即：G＝T^h+R^h。

2.根据权利要求1所述的基于鉴别典型相关的超分辨率稀疏重构方法，其特征在于充分的考虑样本的类标签信息，投影至相关子空间时加入监督信息，使得在投影空间中，类间相关最小化的同时，类内相关最大化，高分辨率与低分辨率图像特征的投影向量C^H、C^L可通过最大化如下准则公式求得：

其中A是分块对角矩阵，S_w为类内相关矩阵，S_b为类间相关矩阵。

3.根据权利要求1所述的基于鉴别典型相关的超分辨率稀疏重构方法，其特征在于采用稀疏的方法根据不同的训练样本与测试样本自适应的选取近邻样本：

在V^L中选取出k个样本即与V^l建立邻域关系 ，V^K则可按如下公示得出：

其中α^s＝{α₁,α₂,…α_m}为稀疏权值，可用如下公式求解，即