CN101635048A - 融合全局特征与局部信息的人脸图像超分辨率处理方法 - Google Patents

Abstract

本发明涉及一种融合全局特征与局部信息的人脸图像超分辨率处理方法，具体涉及一种利用图像金字塔，对低分辨率人脸图像金像处理得到高分辨率人脸图像的方法，包括：(1)建立高分辨率人脸图像的可操纵金字塔数据库；(2)求一幅低分辨率人脸图像的全局高分辨率图像；(3)建立高分辨率残差人脸图像数据库；(4)计算输入低分辨率人脸图像的全局高分辨率图像；(5)计算输入低分辨率人脸图像的高分辨率残差人脸图像；(6)计算输入低分辨率人脸图像的最终高分辨率图像。本发明具有易于实现、鲁棒性强、精确度高等优点，可以为人脸识别提供一种实时可靠的特征信息。

Description

融合全局特征与局部信息的人脸图像超分辨率处理方法

技术领域

本发明涉及一种人融合全局特征与局部信息的人脸图像超分辨率处理方法，具体涉及一种利用图像金字塔，对低分辨率人脸图像进行处理得到高分辨率人脸图像的方法。属于图像处理领域。

背景技术

人脸研究一直是模式识别、计算机视觉和计算机图形学领域中的经典问题之一。由于人脸是一种极为复杂的、多维的模式，也是一种典型的非刚性模式，具有非常复杂的生理学构造，再加上人们对人脸的熟悉和敏感，因而人脸方面的研究相对来说比较困难。任何人脸处理系统的第一步都是检测人脸在图像中的位置。然而，从一幅图像中检测人脸是一项极具挑战性的任务，因为其尺度、位置、方向和位姿都是变化的，面部表情、遮挡和光照条件也是变化的。有些视频流中的人脸太小，以至于无法进行人脸跟踪，可以先对视频流进行超分辨率放大，然后再跟踪。为了对视频中的人脸进行超分辨率放大，首先需要研究静态图片中人脸的超分辨率放大。如何对人脸图像进行超分辨率，成为人脸识别中亟待解决的问题。

经对现有技术文献的检索发现，目前在对于人脸图像超分辨率方法主要有：Freeman等人在《IEEE Computer Graphics and Applications(计算机图形与应用)》上的论文“Example-based super-resolution(基于样本的超分辨率)”提出的一种基于样本的方法，利用马尔可夫网络(Markov Network)学习训练库中低分辨率图像和对应的高分辨率图像之间的关系。Hertzmann等人在ACM SIGGRAPH计算机图形学国际会议的论文“Image analogies(图像类比)”提出了一种基于多尺度自回归(Multi-scale Auto-regression)的图像类推算法。这些方法更适合对一般的图像进行超分辨率处理，但他们没有考虑到人脸图像的特殊性。Baker和Kanade在IEEEInternational Conference on Automatic Face and Gesture Recognition(人脸和手势自动识别国际会议)的论文Hallucinating faces提出“人脸幻想”思想，他们选择人脸图像的高斯(Gaussian)金字塔的水平与垂直方向的导数以及拉普拉斯(Laplacian)金字塔，其结果比Freeman和Hertzmann的要好，但是超分辨率得到的人脸图像在有些部位存在较大的噪声。Liu等人在IEEE Computer Society Conference on ComputerVision and Pattern Recognition(计算机视觉与模式识别国际会议)的论文“Atwo-step approach to hallucinating faces：global parametric model and localnonparametric model(一种两部的人脸幻想方法：全局参数模型和局部非参数模型)”提出一种两步的人脸超分辨率算法，利用了全局参数模型与局部非参数模型相结合的思想，其结果比Baker的要平滑，但是由于使用主成分分析(Principal ComponentsAnalysis，PCA)计算全局模型，超分辨率的结果与原始高分辨率图像不相似。

发明内容

本发明的目的在于针对现有技术的不足，提供一种融合全局特征与局部信息的人脸图像超分辨率处理方法，能在光照变化、噪声等复杂环境下，融合全局特征与局部信息，准确地估计高分辨率人脸图像，为人脸识别提供一种可靠的依据。

为实现上述目的，本发明建立高分辨率人脸图像的金字塔库以及高分辨率残差人脸库，然后对一幅低分辨率输入图像进行重构，得到完整高分辨率图像，再计算输入图像的高分辨率残差人脸图像，最后将完整高分辨率图像与残差人脸图像进行叠加，得到最终高分辨率图像。

本发明的方法通过以下具体步骤实现：

1)对人脸图像数据库中每一幅高分辨率人脸图像I_H，根据以下公式计算其五层三阶可操纵金字塔SP(I_H)：

${\mathrm{SP}}_l\left(I_H\right)=\left\{\begin{array}{cc}{G}_l\left(H_0\left(I_H\right)\right),B_{l,0}\left(I_H\right),B_{l,1}\left(I_H\right),B_{l,2}\left(I_H\right),B_{l,3}\left(I_H\right)& 0\&le;l<4\\ L_l\left(I_H\right)& l=4\end{array}\right..$

上式中，G_l(H₀(I_H))表示可操纵金字塔第l层的高通子带图像，B_l，0(I_H)，B_l，1(I_H)，B_l，2(I_H)和B_l，3(I_H)表示第l层的四个带通子带图像，L_l(I_H)表示第l层的低通子带图像；获得高分辨率人脸图像可操纵金字塔数据库。

2)对人脸图像数据库中低分辨率人脸图像I_L，根据以下公式计算其三层三阶可操纵金字塔SP(I_L)：

${\mathrm{SP}}_l\left(I_L\right)=\left\{\begin{array}{cc}{G}_l\left(H_0\left(I_L\right)\right),B_{l,0}\left(I_L\right),B_{l,1}\left(I_L\right),B_{l,2}\left(I_L\right),B_{l,3}\left(I_L\right)& 2\&le;l<4\\ L_l\left(I_L\right)& l=4\end{array}\right..$

上式中，G_l(H₀(I_L))表示可操纵金字塔第l层的高通子带图像，B_l，0(I_L)，B_l，1(I_l)，B_l，2(I_L)和B_l，3(I_L)表示第l层的四个带通子带图像，L_l(I_L)表示第l层的低通子带图像；获得低分辨率人脸图像可操纵金字塔数据库。

3)将低分辨率人脸图像可操纵金字塔数据库中的每一个子带图像和高分辨率人脸图像可操纵金字塔数据库中的每一个子带图像，分别分割成相互重叠的正方形图像块；根据得到的图像块，求低分辨率人脸图像在高分辨率人脸图像可操纵金字塔数据库中的K邻域解，得到低分辨率人脸图像的五层三阶可操纵金字塔；通过“倒坍”(collapse)低分辨率人脸图像的五层三阶可操纵金字塔，得到低分辨率人脸图像的全局高分辨率图像

4)对每一幅低分辨率图像IL按步骤3)进行处理，得到其全局高分辨率图像

将每一幅低分辨率人脸图像所对应的高分辨率图像IH减去得到高分辨率残差人脸图像

；由所有得到的高分辨率残差人脸图像组成一个高分辨率残差人脸图像数据库。

5)将待处理的一幅低分辨率输入图像I_in，按步骤3)的方法进行处理，得到输入图像的全局高分辨率图像

6)将输入图像的全局高分辨率人脸图像

分割成相互重叠的正方形图像块，按以下公式计算得到残差人脸图像块

$R_{I_{\mathrm{in}}}(i,j)=[{\mathrm{\&gamma;}}_1,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&gamma;}}_K]w$

式中，w为K邻域解的权值向量，γ₁，…，γ_K为K邻域解对应的K个高分辨率人脸图像块；

当所有的残差人脸图像块都求解完毕后，取残差人脸图像块中重叠部分像素的平均值，得到高分辨率残差人脸图像

7)将步骤5)得到的输入图像的全局高分辨率图像

与步骤6)得到的高分辨率残差人脸图像

进行叠加，得到低分辨率输入图像的最终高分辨率图像。

本发明与现有技术相比的显著效果在于：第一阶段合成的全局高分辨率人脸图像边缘清晰并且噪声较少，能够很好的抵抗噪声带来的干扰。第二阶段，将包含高频图像信息的残差人脸图像叠加到全局高分辨率人脸图像上，可以进一步加强人脸图像的细节信息，从而使合成的全局高分辨率人脸图像更接近真实人脸。同时，由于第二阶段残差人脸图像的合成直接利用第一阶段求取的权值向量和候选样本，因此本发明具有更高的计算效率。

本发明针对在智能视频监控、生物识别和认证、人机交互等实际应用方面的需要，提出一种基于学习的相互关联的两阶段人脸超分辨率技术。在第一阶段，采用可操纵金字塔重构全局的高分辨率人脸图像；在第二阶段，为了补偿全局高分辨率人脸图像的局部细节特征，采用残差人脸图像合成技术。本发明具有算法简单、鲁棒性强、效果好、计算快等优点，克服了以往技术方法都难以克服的低质量、高计算等困难，也消除了实现应用中的主要障碍，最终为智能视频监控、生物识别和认证、人机交互等实际应用提供了一个新的可靠的技术支持。

附图说明

图1为本发明方法流程图。

图2为一幅高分辨率人脸图像的五层三阶可操纵金字塔图。

图3为输入低分辨率人脸图像的最终高分辨率图像的合成图。

具体实施方式

以下结合附图和实施例对本发明的技术方案作进一步详细说明。以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

如图1本发明方法流程图所示，本实施例具体实施步骤如下

1)建立高分辨率人脸图像的可操纵金字塔数据库

对每一幅高分辨率人脸图像I_H，根据以下公式计算其五层三阶可操纵金字塔SP(I_H)：

${\mathrm{SP}}_l\left(I_H\right)=\left\{\begin{array}{cc}{G}_l\left(H_0\left(I_H\right)\right),B_{l,0}\left(I_H\right),B_{l,1}\left(I_H\right),B_{l,2}\left(I_H\right),B_{l,3}\left(I_H\right)& 0\&le;l<4\\ L_l\left(I_H\right)& l=4\end{array}\right..$

上式中，G_l(H₀(I_H))表示可操纵金字塔第l层的高通子带图像，B_l，0(I_H)，B_l，1(I_H)，B_l，2(I_H)和B_l，3(I_H)表示第l层的四个带通子带图像，L_l(I_H)表示第l层的低通子带图像。其中SP₀(I_H)为最大尺度层，即可操纵金字塔的第零层，SP₄(I_H)为最小尺度层。所有高分辨率人脸图像的五层三阶可操纵金字塔组成一个高分辨率人脸图像金字塔数据库。

图2为一幅高分辨率人脸图像的五层三阶可操纵金字塔。

2)计算低分辨率人脸图像I_L的三层三阶可操纵金字塔SP_l(I_L)，在这里2≤l≤4，对人脸图像数据库中低分辨率人脸图像I_L，根据以下公式计算其三层三阶可操纵金字塔SP(I_L)：

${\mathrm{SP}}_l\left(I_L\right)=\left\{\begin{array}{cc}{G}_l\left(H_0\left(I_L\right)\right),B_{l,0}\left(I_L\right),B_{l,1}\left(I_L\right),B_{l,2}\left(I_L\right),B_{l,3}\left(I_L\right)& 2\&le;l<4\\ L_l\left(I_L\right)& l=4\end{array}\right..$

上式中，G_l(H₀(I_L))表示可操纵金字塔第l层的高通子带图像，B_l，0(I_L)，B_l，1(I_L)，B_l，2(I_L)和B_l，3(I_L)表示第l层的四个带通子带图像，L_l(I_L)表示第l层的低通子带图像；获得低分辨率人脸图像可操纵金字塔数据库。

3)求一幅低分辨率人脸图像的全局高分辨率图像

将低分辨率人脸图像金字塔和高分辨率人脸图像金字塔数据库中的每一个子带图像都按照一定的划分规则分割成相互重叠的正方形图像块，要求确保每个子带图像含有相同数量的图像块。这样的话，金字塔中的子带图像可以看作是由许多大小相同且相互重叠的正方形图像小块组成。接着，按照层的先后顺序排列同一图像金字塔中位于子带图像相同位置(i，j)的所有正方形图像块组成一个图像块集，i、j分别为图像块的行、列序号。把高分辨率金字塔中(i，j)位置的图像块集的前两层记为图像块子集H_b(i，j)，对应的后三层记为图像块子集H_a(i，j)。同样地，低分辨率金字塔中(i，j)位置的图像块集的前两层记为图像块子集L_b(i，j)，对应的后三层记为图像块子集L_a(i，j)。对于低分辨率人脸图像金字塔中的图像块子集L_a(i，j)，按照欧式距离最短的原则，在高分辨率人脸图像金字塔数据库中寻找与L_a(i，j)最接近的K个H_a(i，j)，简记为α₁，…，α_K。同时，记高分辨率人脸图像金字塔数据库中与K个H_a(i，j)相对应的K个H_b(i，j)为β₁，…，β_K。利用α₁，…，α_K对L_a(i，j)进行重构，按下式计算重构权值向量w：

$w=\frac{G^{-1}\mathrm{ones}{(1,K)}^T}{\mathrm{ones}(1,K)G^{-1}\mathrm{ones}{(1,K)}^T},$

G＝[L_a(i，j)-α₁，…，L_a(i，j)-α_K]^T[L_a(i，j)-α₁，…，L_a(i，j)-α_K].

接着，利用上式求得的权值向量w按下式计算低分辨率金字塔中的图像块子集L_b(i，j)：

L_b(i，j)＝[β₁，…，β_K]w.

当所有的L_b(i，j)都已经求解完毕后，取L_b(i，j)中重叠部分像素的平均值并综合所有的L_b(i，j)，从而得到SP₀(I_L)和SP₁(I_L)。这样，就得到了低分辨率人脸图像I_L的五层三阶可操纵金字塔SP_l(I_L)，在这里0≤l≤4。通过“倒坍”(collapse)低分辨率人脸图像I_L的五层三阶可操纵金字塔，就可以得到低分辨率人脸图像的全局高分辨率图像

对每一幅低分辨率图像I_L按上述方法进行处理，得到其全局高分辨率图像

4)建立高分辨率残差人脸图像数据库

将低分辨率图像的原始高分辨率图像I_H减去

从而得到其高分辨率残差人脸图像

由所有低分辨率图像得到的高分辨率残差人脸图像组成一个高分辨率残差人脸图像数据库。同样地，将高分辨率残差人脸图像数据库中的每一个残差人脸图像分割成相互重叠的正方形图像块。这样的话，高分辨率残差人脸图像

中的图像块

与步骤3)中的图像块子集H_a(i，j)存在一一对应的关系。

5)计算输入低分辨率人脸图像的全局高分辨率图像

将待处理的一幅低分辨率输入图像I_in，按步骤3)进行处理，得到输入图像的全局高分辨率图像

6)计算输入低分辨率人脸图像的高分辨率残差人脸图像

将输入图像的高分辨率残差人脸图像也分割成相互重叠的正方形图像块。，利用步骤3)中求解的权值向量w和候选样本，计算残差人脸图像块

与步骤

3)中K个H_a(i，j)相对应的步骤4)中的K个高分辨率残差人脸图像块为γ₁，…，γ_K，则残差人脸图像块

可以按以下公式计算：

$R_{I_{\mathrm{in}}}(i,j)=[{\mathrm{\&gamma;}}_1,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&gamma;}}_K]w.$

当所有的

部已经求解完毕后，取

中重叠部分像素的平均值并综合所有的从而得到

(7)计算输入低分辨率人脸图像的最终高分辨率图像

将步骤5)得到的全局高分辨率图像

与步骤6)得到的高分辨率残差人脸图像

进行叠加，从而得到输入低分辨率人脸图像的最终高分辨率图像。如图3所示，最终叠加得到的高分辨率人脸图像比全局高分辨率图像更为清晰。

Claims (1)

1、一种融合全局特征与局部信息的人脸图像超分辨率处理方法，其特征在于包括以下步骤：

1)对人脸图像数据库中每一幅高分辨率人脸图像I_H，根据以下公式计算其五层三阶可操纵金字塔SP(I_H)：

${\mathrm{SP}}_l\left(I_H\right)=\left\{\begin{array}{cc}{G}_l\left(H_0\left(I_H\right)\right),B_{l,0}\left(I_H\right),B_{l,1}\left(I_H\right),B_{l,2}\left(I_H\right),B_{l,3}\left(I_H\right)& 0\&le;l<4\\ L_l\left(I_H\right)& l=4\end{array}\right..$

上式中，G_l(H₀(I_H))表示可操纵金字塔第l层的高通子带图像，B_l，0(I_H)，B_l，1(IH)，B_l，2(IH)和B_l，3(I_H)表示第l层的四个带通子带图像，L_l(I_H)表示第l层的低通子带图像；获得高分辨率人脸图像可操纵金字塔数据库；

2)对人脸图像数据库中低分辨率人脸图像I_L，根据以下公式计算其三层三阶可操纵金字塔SP(I_L)：

${\mathrm{SP}}_l\left(I_L\right)=\left\{\begin{array}{cc}{G}_l\left(H_0\left(I_L\right)\right),B_{l,0}\left(I_L\right),B_{l,1}\left(I_L\right),B_{l,2}\left(I_L\right),B_{l,3}\left(I_L\right)& 2\&le;l<4\\ L_l\left(I_L\right)& l=4\end{array}\right..$

上式中，G_l(H₀(I_L))表示可操纵金字塔第l层的高通子带图像，B_l，0(I_L)，B_l，1(I_L)，B_l，2(I_L)和B_l，3(I_L)表示第l层的四个带通子带图像，L_l(I_L)表示第l层的低通子带图像；获得低分辨率人脸图像可操纵金字塔数据库；

3)将低分辨率人脸图像可操纵金字塔数据库中的每一个子带图像和高分辨率人脸图像可操纵金字塔数据库中的每一个子带图像，分别分割成相互重叠的正方形图像块；根据得到的图像块，求低分辨率人脸图像在高分辨率人脸图像可操纵金字塔数据库中的K邻域解，得到低分辨率人脸图像的五层三阶可操纵金字塔；通过“倒坍”低分辨率人脸图像的五层三阶可操纵金字塔，得到低分辨率人脸图像的全局高分辨率图像

4)将每一幅低分辨率人脸图像所对应的高分辨率图像I_H减去

得到高分辨率残差人脸图像

由所有得到的高分辨率残差人脸图像组成一个高分辨率残差人脸图像数据库；

5)将待处理的一幅低分辨率输入图像I_m，按步骤3)的方法进行处理，得到输入图像的全局高分辨率图像

6)将输入图像的全局高分辨率人脸图像

分割成相互重叠的正方形图像块，按以下公式计算得到残差人脸图像块

$R_{I_m}(i,j)=[{\mathrm{\&gamma;}}_1,...,{\mathrm{\&gamma;}}_K]w$

式中，w为K邻域解的权值向量，γ₁，…，γ_K为K邻域解对应的K个高分辨率人脸图像块；

当所有的残差人脸图像块都求解完毕后，取残差人脸图像块中重叠部分像素的平均值，得到高分辨率残差人脸图像

7)将步骤5)得到的输入图像的全局高分辨率图像

与步骤6)得到的高分辨率残差人脸图像

进行叠加，得到低分辨率输入图像的最终高分辨率图像。

Images