CN103903236B - 人脸图像超分辨率重建的方法和装置 - Google Patents

Abstract

本发明公开了一种人脸图像超分辨率重建的方法和装置，属于图像处理领域。所述方法包括：将测试人脸图像与训练人脸图像都划分成图像块；将测试人脸图像中的图像块分为平滑块和非平滑块；对每个非平滑块再继续划分至不存在非平滑块或划分后的非平滑块满足预设条件；对训练人脸图像按照相同方式划分成子块；计算测试人脸图像中每个非平滑块对应的重建图像块；对测试人脸图像中的每个平滑块进行双三次插值得到对应的重建图像块；将测试人脸图像中各非平滑块及各平滑块的重建图像块按照位置合成为一个人脸图像，得到测试人脸图像的超分辨率重建人脸图像。所述装置包括：划分模块、自适应模块、重建模块和合成模块。本发明提高了重建人脸图像的清晰度。

Description

人脸图像超分辨率重建的方法和装置

技术领域

本发明涉及图像处理领域，特别涉及一种人脸图像超分辨率重建的方法和装置。

背景技术

图像超分辨率重建（Super Resolution Reconstruction，SRR）就是利用软件的方法，将一幅或多幅低分辨率图像重建成一幅高分辨率图像的过程。图像超分辨率重建有很广泛的应用，如在视频监控、医学图像、遥感图像等领域。现实生活中通过硬件技术来提高分辨率成本较大且技术难度大，故从软件方向着手，对采集到的图像进行后处理，来提高图像分辨率有重大的意义。人脸是图像的一种特殊类型，具有高度的相似性。近年来在公共安全等领域，视频监控技术越来越普及，但是由于摄像头离人通常较远，加上监控设备本身分辨率低，拍摄到的人脸图像分辨率很低，以至于无法很好的进行人脸检测和识别，因此人脸图像超分辨率重建技术具有广泛的应用价值。

常用的图像超分辨率重建方法包括：插值的方法、基于重建的方法和基于学习的方法。人脸图像超分辨率重建主要是基于学习的方法，首先构建样本图像，然后利用该样本图像来指导重建高分辨率的图像，因此，这类方法对样本图像的质量和数量有较高的要求。

目前，有一种人脸图像超分辨率重建技术是，基于全局参数模型与局部马尔科夫随机场的非参数模型相结合的方法来学习出高分辨率人脸图像，但是，重建的人脸图像清晰度较低，效果较差。

发明内容

有鉴于此，本发明实施例提供了一种人脸图像超分辨率重建的方法和装置，以提高重建的人脸图像的清晰度。所述技术方案如下：

第一方面，提供了一种人脸图像超分辨率重建的方法，包括：

将测试人脸图像与训练人脸图像都划分成图像块，其中，所述测试人脸图像的分辨率低于指定分辨率，所述训练人脸图像包括高分辨率的训练人脸图像和低分辨率的训练人脸图像，所述高分辨率的训练人脸图像的分辨率不低于所述指定分辨率，所述低分辨率的训练人脸图像的分辨率低于所述指定分辨率；

根据平滑度将所述测试人脸图像中的所有图像块分为两类，平滑块和非平滑块，对每个非平滑块再继续划分，直至划分后不存在非平滑块或划分后的非平滑块满足预设条件时停止划分；

对所述训练人脸图像按照与所述测试人脸图像中各块的位置进行相同的划分得到子块；

根据所述低分辨率的训练人脸图像中的各子块计算所述测试人脸图像中对应位置的各非平滑块的权重系数，根据所述权重系数和所述高分辨率的训练人脸图像中对应位置的各子块得到所述测试人脸图像中各非平滑块对应的重建图像块；

对所述测试人脸图像中的每个平滑块进行双三次插值得到对应的重建图像块；

将所述测试人脸图像中各非平滑块的重建图像块与各平滑块的重建图像块按照位置合成为一个人脸图像，得到所述测试人脸图像的超分辨率重建人脸图像。

其中，所述将测试人脸图像与训练人脸图像都划分成图像块，包括：

采用重叠方式分别将所述测试人脸图像和所述训练人脸图像划分成图像块，且任一个训练人脸图像中的图像块的个数与所述测试人脸图像中的图像块的个数相同；所述重叠方式是指一个人脸图像中任意两个相邻的图像块之间有重叠的部分。

其中，所述根据平滑度将所述测试人脸图像中的所有图像块分为两类，平滑块和非平滑块，包括：

计算所述测试人脸图像中每个图像块的平滑度，并与预设的第一阈值进行比较，若所述平滑度小于所述第一阈值，则确定该图像块为平滑块；若所述平滑度大于等于所述第一阈值，则确认该图像块为非平滑块。

其中，所述预设条件为划分后的非平滑块的尺寸小于等于预设尺寸或划分后的非平滑块的平滑度小于等于预设的第二阈值。

其中，所述根据所述低分辨率的训练人脸图像中的各子块计算所述测试人脸图像中对应位置的各非平滑块的权重系数，包括：

利用主元分析法将所述测试人脸图像中的非平滑块映射到所述低分辨率的训练人脸图像中对应位置的子块上，得到所述测试人脸图像中各非平滑块的权重系数。

第二方面，提供了一种人脸图像超分辨率重建的装置，包括：

划分模块，用于将测试人脸图像与训练人脸图像都划分成图像块，其中，所述测试人脸图像的分辨率低于指定分辨率，所述训练人脸图像包括高分辨率的训练人脸图像和低分辨率的训练人脸图像，所述高分辨率的训练人脸图像的分辨率不低于所述指定分辨率，所述低分辨率的训练人脸图像的分辨率低于所述指定分辨率；

自适应模块，用于根据平滑度将所述测试人脸图像中的所有图像块分为两类，平滑块和非平滑块，对每个非平滑块再继续划分，直至划分后不存在非平滑块或划分后的非平滑块满足预设条件时停止划分；对所述训练人脸图像按照与所述测试人脸图像中各块的位置进行相同的划分得到子块；

重建模块，用于根据所述低分辨率的训练人脸图像中的各子块计算所述测试人脸图像中对应位置的各非平滑块的权重系数，根据所述权重系数和所述高分辨率的训练人脸图像中对应位置的各子块得到所述测试人脸图像中各非平滑块对应的重建图像块；对所述测试人脸图像中的每个平滑块进行双三次插值得到对应的重建图像块；

合成模块，用于将所述测试人脸图像中各非平滑块的重建图像块与各平滑块的重建图像块按照位置合成为一个人脸图像，得到所述测试人脸图像的超分辨率重建人脸图像。

其中，所述划分模块包括：

划分单元，用于采用重叠方式分别将所述测试人脸图像和所述训练人脸图像划分成图像块，且任一个训练人脸图像中的图像块的个数与所述测试人脸图像中的图像块的个数相同；所述重叠方式是指一个人脸图像中任意两个相邻的图像块之间有重叠的部分。

其中，所述自适应模块包括：

分类单元，用于计算所述测试人脸图像中每个图像块的平滑度，并与预设的第一阈值进行比较，若所述平滑度小于所述第一阈值，则确定该图像块为平滑块；若所述平滑度大于等于所述第一阈值，则确认该图像块为非平滑块。

其中，所述预设条件为划分后的非平滑块的尺寸小于等于预设尺寸或划分后的非平滑块的平滑度小于等于预设的第二阈值。

其中，所述重建模块包括：

计算单元，用于利用主元分析法将所述测试人脸图像中的非平滑块映射到所述低分辨率的训练人脸图像中对应位置的子块上，得到所述测试人脸图像中各非平滑块的权重系数。

本发明实施例提供的技术方案带来的有益效果是：通过将测试人脸图像与训练人脸图像都划分成图像块；根据平滑度将所述测试人脸图像中的所有图像块分为两类，平滑块和非平滑块，对每个非平滑块再继续划分，直至划分后不存在非平滑块或划分后的非平滑块满足预设条件时停止划分；对所述训练人脸图像按照与所述测试人脸图像中各块的位置进行相同的划分得到子块；根据所述低分辨率的训练人脸图像中的各子块计算所述测试人脸图像中对应位置的各非平滑块的权重系数，根据所述权重系数和所述高分辨率的训练人脸图像中对应位置的各子块得到所述测试人脸图像中各非平滑块对应的重建图像块；对所述测试人脸图像中的每个平滑块进行双三次插值得到对应的重建图像块；将所述测试人脸图像中各非平滑块的重建图像块与各平滑块的重建图像块按照位置合成为一个人脸图像，得到所述测试人脸图像的超分辨率重建人脸图像，实现了人脸图像的重建，由于基于自适应分块，既很好的保持了超分辨率重建人脸图像的全局结构，又能够很好的恢复人脸图像的细节信息，提高了重建人脸图像的清晰度，增强了重建效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例1提供的人脸图像超分辨率重建的方法流程图；

图2是本发明实施例2提供的人脸图像超分辨率重建的方法流程图；

图3是本发明实施例2提供的高分辨率和低分辨率的人脸图像的示意图；

图4是本发明实施例2提供的FERET人脸数据库中部分样本的示意图；

图5是本发明实施例2提供的高分辨率的训练人脸图像和低分辨率的训练人脸图像划分为图像块的示意图；

图6是本发明实施例2提供的对平滑块和非平滑块进行自适应处理的示意图；

图7是本发明实施例2提供的步骤204的流程图；

图8是本发明实施例2提供的人脸图像超分辨率重建的效果示意图；

图9是本发明实施例3提供的人脸图像超分辨率重建的装置结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例1

参见图1，本实施例提供了一种人脸图像超分辨率重建的方法，包括：

101：将测试人脸图像与训练人脸图像都划分成图像块，其中，该测试人脸图像的分辨率低于指定分辨率，该训练人脸图像包括高分辨率的训练人脸图像和低分辨率的训练人脸图像，该高分辨率的训练人脸图像的分辨率不低于该指定分辨率，该低分辨率的训练人脸图像的分辨率低于该指定分辨率；

102：根据平滑度将测试人脸图像中的所有图像块分为两类，平滑块和非平滑块，对每个非平滑块再继续划分，直至划分后不存在非平滑块或划分后的非平滑块满足预设条件时停止划分；

103：对训练人脸图像按照与所述测试人脸图像中各块的位置进行相同的划分得到子块；

104：根据该低分辨率的训练人脸图像中的各子块计算该测试人脸图像中对应位置的各非平滑块的权重系数，根据该权重系数和该高分辨率的训练人脸图像中对应位置的各子块得到该测试人脸图像中各非平滑块对应的重建图像块；

105：对该测试人脸图像中的每个平滑块进行双三次插值得到对应的重建图像块；

106：将该测试人脸图像中各非平滑块的重建图像块与各平滑块的重建图像块按照位置合成为一个人脸图像，得到该测试人脸图像的超分辨率重建人脸图像。

本实施例中，将测试人脸图像与训练人脸图像都划分成图像块，可以包括：

采用重叠方式分别将测试人脸图像和训练人脸图像划分成图像块，且任一个训练人脸图像中的图像块的个数与测试人脸图像中的图像块的个数相同；

其中，该重叠方式是指一个人脸图像中任意两个相邻的图像块之间有重叠的部分。

本实施例中，根据平滑度将测试人脸图像中的所有图像块分为两类，平滑块和非平滑块，可以包括：

计算测试人脸图像中每个图像块的平滑度，并与预设的第一阈值进行比较，若所述平滑度小于该第一阈值，则确定该图像块为平滑块；若所述平滑度大于等于该第一阈值，则确认该图像块为非平滑块。

本实施例中，所述预设条件为划分后的非平滑块的尺寸小于等于预设尺寸或划分后的非平滑块的平滑度小于等于预设的第二阈值。

本实施例中，根据所述低分辨率的训练人脸图像中的各子块计算所述测试人脸图像中对应位置的各非平滑块的权重系数，包括：

利用主元分析法将所述测试人脸图像中的非平滑块映射到所述低分辨率的训练人脸图像中对应位置的子块上，得到所述测试人脸图像中各非平滑块的权重系数。

本实施例中，将训练人脸图像与测试人脸图像都划分成图像块之前，还可以包括：

获取M个高分辨率的训练人脸图像，其中任一个训练人脸图像的分辨率不低于该指定分辨率，该M为正整数；

将该M个高分辨率的训练人脸图像按照退化模型处理得到对应的M个低分辨率的训练人脸图像。

本实施例提供的上述方法，通过将测试人脸图像与训练人脸图像都划分成图像块；根据平滑度将所述测试人脸图像中的所有图像块分为两类，平滑块和非平滑块，对每个非平滑块再继续划分，直至划分后不存在非平滑块或划分后的非平滑块满足预设条件时停止划分；对所述训练人脸图像按照与所述测试人脸图像中各块的位置进行相同的划分得到子块；根据所述低分辨率的训练人脸图像中的各子块计算所述测试人脸图像中对应位置的各非平滑块的权重系数，根据所述权重系数和所述高分辨率的训练人脸图像中对应位置的各子块得到所述测试人脸图像中各非平滑块对应的重建图像块；对所述测试人脸图像中的每个平滑块进行双三次插值得到对应的重建图像块；将所述测试人脸图像中各非平滑块的重建图像块与各平滑块的重建图像块按照位置合成为一个人脸图像，得到所述测试人脸图像的超分辨率重建人脸图像，实现了人脸图像的重建，由于基于自适应分块，既很好的保持了超分辨率重建人脸图像的全局结构，又能够很好的恢复人脸图像的细节信息，提高了重建人脸图像的清晰度，增强了重建效果。

实施例2

参见图2，本实施例提供了一种人脸图像超分辨率重建的方法，包括：

201：采用重叠方式分别将测试人脸图像和训练人脸图像划分成图像块，且任一个训练人脸图像中的图像块的个数与该测试人脸图像中的图像块的个数相同。

其中，该测试人脸图像的分辨率低于指定分辨率；上述训练人脸图像包括高分辨率的训练人脸图像和低分辨率的训练人脸图像，该高分辨率的训练人脸图像的分辨率不低于上述指定分辨率，该低分辨率的训练人脸图像的分辨率低于上述指定分辨率。所述指定分辨率可以根据需要设置，本实施例对此不做具体限定。

例如，参见图3，其中图a为高分辨率的人脸图像，其分辨率高于指定分辨率，其中图b为低分辨率的人脸图像，其分辨率低于指定分辨率。

本实施例中，测试人脸图像为一个，可以是任一个分辨率低于指定分辨率的人脸图像。高分辨率的训练人脸图像和低分辨率的训练人脸图像通常为多个，且优选地二者的个数相同。其中，高分辨率的训练人脸图像可以表示为低分辨率的训练人脸图像可以表示为其中，M是高分辨率的训练人脸图像的个数，也是低分辨率的训练人脸图像的个数。

本实施例中，上述将测试人脸图像与训练人脸图像都划分成图像块之前，还可以包括：

获取M个高分辨率的训练人脸图像，其中任一个训练人脸图像的分辨率不低于该指定分辨率，该M为正整数；将该M个高分辨率的训练人脸图像按照退化模型处理得到对应的M个低分辨率的训练人脸图像。

其中，可以采用FERET（Face Recognition Technology，美国科研人脸数据库）人脸数据库来获取高分辨率的训练人脸图像。FERET人脸图像库包括了一个通用人脸库以及通用测试标准库。包含14051张具有不同表情、光照、姿态和年龄的照片，是人脸图像处理领域应用最广泛的人脸数据库之一。例如，参见图4，为FERET人脸数据库中部分样本的示意图。具体地，可以从该FERET人脸数据库中选取指定个数的人脸图像作为训练人脸图像。

本实施例中，可以根据需要来设置训练人脸图像的个数，本实施例对M的具体取值不限定，如可以在FERET人脸数据库中随机选用150张不同的80x80像素的人脸图像作为高分辨率的训练人脸图像。

所述退化模型可以采用如下公式来实现：

Y=D*H*X+n；

其中，X表示高分辨率的训练人脸图像，Y表示低分辨率的训练人脸图像，D表示下采样，H表示模糊，n表示噪声。

例如：一个高分辨率的训练人脸图像的像素为80x80，经过倍数是2的下采样，以及大小为5×5，方差=2的高斯模糊模板进行高斯模糊，再加上零均值的高斯白噪声，得到40x40的低分辨率的训练人脸图像。

本实施例中，可以将上述M个低分辨率的训练人脸图像与M个高分辨率的训练人脸图像组成为训练人脸图像库，进行人脸图像的重建。

本实施例中，从FERET人脸数据库中选出与训练人脸图像不同的人脸图像，并把上述的退化模型作用于这些人脸图像后，得到测试人脸图像。

本实施例中，已经按照数字图像处理规范对训练人脸图像和测试人脸图像进行统一的图像配准操作，从而保证人脸图像五官比例的一致性。

本实施例中，上述重叠方式是指一个人脸图像中任意两个相邻的图像块之间有重叠的部分，包括但不限于：上下相邻的两个图像块重叠，左右相邻的两个图像块重叠等等。

在划分成图像块之后，上述M个高分辨率的训练人脸图像中的第i个训练人脸图像对应的图像块可以表示为上述M个低分辨率的训练人脸图像中的第i个训练人脸图像对应的图像块可以表示为其中，k是一个人脸图像中图像块的总个数，j为图像块的标号。

本实施例中，图像块的形状可以为任意形状，包括但不限于：正方形、长方形等等，本实施例对此不做具体限定。优选地，可以选用正方形。上述k可以根据图像块的尺寸计算得出，具体地，可以用如下公式来计算：

$k={(1+\frac{b-d}{\mathrm{overlap}})}^2={(1+\frac{B-n\×d}{n\×d-n\×\mathrm{overlap}})}^2;$

其中，训练人脸图像划分为正方形的图像块，且低分辨率的训练人脸图像得到的图像块的尺寸为d×d，高分辨率的训练人脸图像得到的图像块的尺寸为(n×d)×(n×d)。并且，低分辨率的训练人脸图像中相邻两个图像块在水平方向和垂直方向上的重叠像素的大小均为overlap；高分辨率的训练人脸图像中相邻两个图像块在水平方向和垂直方向上重叠像素的大小均为n×overlap。所述n表示下采样的倍数，d为一个整数，overlap为一个整数且0<=overlap<=d/2，b为低分辨率的训练人脸图像的像素的行数和列数，B为高分辨率的训练人脸图像的像素的行数和列数。

例如，低分辨率的训练人脸图像的像素为40x40，即b=40，将其划分为4x4的图像块，即d=4，上下左右相邻图像块的重叠像素为overlap=2，则在水平和垂直方向上生成图像块的个数相同，均为个，因此，一个低分辨率的训练人脸图像总共可以划分成19x19=361个图像块。相应的，高分辨率的训练人脸图像的像素为80x80，即B=80，将其划分为8x8的图像块，即n×d=8，其中，n=2，上下左右相邻图像块的重叠像素为n×overlap=4，则在水平和垂直方向上生成图像块的个数相同，均为个，因此，一个高分辨率的训练人脸图像总共可以划分成19x19=361个图像块。

参见图5，为高分辨率的训练人脸图像和低分辨率的训练人脸图像划分为图像块的示意图。其中，高分辨率的训练人脸图像划分后，得到的图像块为(n×d)×(n×d)，重叠像素的大小为n×overlap；低分辨率的训练人脸图像划分后，得到的图像块为d×d，，重叠像素的大小为overlap。

202：计算测试人脸图像中每个图像块的平滑度，并与预设的第一阈值进行比较，若该平滑度小于该第一阈值，则确定该图像块为平滑块；若该平滑度大于等于该第一阈值，则确认该图像块为非平滑块。

其中，所述预设的第一阈值为平滑度的阈值，取值可以根据需要设置，本实施例对具体数值不做限定。

本实施例中，图像块的平滑度可以使用结构矩阵及Sobel算子来计算，公式如下：

$S(x,y)=\sqrt{{\&dtri;I}_x{(x,y)}^2+{\&dtri;I}_y{(x,y)}^2};$

$\begin{array}{c}{\&dtri;I}_x(x,y)=I(x-1,y+1)+2I(x,y+1)+I(x+1,y+1)\\ -I(x-1,y-1)-2I(x,y-1)-I(x+1,y-1);\end{array}$

$\begin{array}{c}{\&dtri;I}_y(x,y)=I(x-1,y-1)+2I(x-1,y)+I(x-1,y+1)\\ -I(x+1,y-1)-2I(x+1,y)-I(x+1,y+1);\end{array}$

$S_j=\frac{1}{n_j}\mathrm{\&Sigma;S}(x,y);$

${\mathrm{\&sigma;}}_j=\left|{\mathrm{\&lambda;}}_1^j\right|+\left|{\mathrm{\&lambda;}}_2^j\right|;$

其中，(x,y)为第j个图像块的某一像素点坐标，I(x,y)为(x,y)像素点坐标的灰度值，代表该像素点水平方向的梯度值，代表该像素点垂直方向的梯度值，S(x,y)为该像素点的梯度值，结构矩阵S_j为第j个图像块中每个像素的梯度值除以n_j后组成的矩阵，n_j为第j个图像块中像素总数，和分别为结构矩阵S_j的两个最大的特征值，σ_j为第j个图像块的平滑度，是所述两个特征值绝对值的和。

203：对测试人脸图像中的每个非平滑块再继续划分，直至划分后不存在非平滑块或划分后的非平滑块满足预设条件时停止划分。

其中，所述预设条件为划分后的非平滑块的尺寸小于等于预设尺寸或划分的非平滑块的平滑度小于等于预设的第二阈值。

在每一次对非平滑块进行划分时，均可以采用将图像块划分为平滑块和/或非平滑块的相同方法进行划分，且划分后得到的子块也可以按照步骤202中的方法来确定是属于平滑块还是非平滑块，此处不赘述。

本实施例中，测试人脸图像中划分出的图像块可以包括：平滑块和/或非平滑块。平滑块无需再次进行划分，非平滑块则需要进行再次划分得到更小的子块，直至划分后不存在非平滑块或划分后的非平滑块满足预设条件时停止划分。例如，d×d的非平滑块进行再次划分后，得到的子块为d1×d1，其中，d1<d，如果该子块为平滑块或满足预设条件则停止划分。

例如，参见图6，为对平滑块和非平滑块进行自适应处理的示意图。一个训练人脸图像划分为4个图像块，其中包括2个平滑块和2个非平滑块。对非平滑块进行再次划分得到4个子块。值得一提的是，在图中并未示出相邻图像块之间的重叠部分，从而使得显示更直观、形象。

所述预设尺寸可以根据需要设置，如设置为10×10、20×20、30×30等等，本实施例对此不做具体限定。所述预设的第二阈值为平滑度的阈值，取值可以根据需要设置，本实施例对具体数值不做限定。

上述预设条件包括两个条件，只要满足其中之一即可。例如，非平滑块的尺寸小于等于预设尺寸10×10，或者，非平滑块的平滑度小于等于预设的第二阈值30，都可以认为满足预设条件。

为了提高灵活性，对图像块进行自适应处理，根据图像本身特性来进行自适应的、可变尺寸大小的分块，对于图像变化比较缓慢的部分用大块分割，以提高压缩比，减少编码时间，对图像细节比较丰富的部分用小块分割，以保证图像恢复质量，从而使整个过程具有最佳效果。

204：对训练人脸图像按照与所述测试人脸图像中各块的位置进行相同的划分得到子块。

其中，所述相同的划分是指训练人脸图像中各个子块的位置与尺寸，与测试人脸图像中各个块（平滑块或非平滑块）的位置与尺寸均相同。也就是说，测试人脸图像中的任意一个块，均能够在训练人脸图像中的相同位置找到一个尺寸相同的对应子块。

205：利用主元分析法将该测试人脸图像中的非平滑块映射到低分辨率的训练人脸图像中对应位置上的子块上，得到该测试人脸图像中各非平滑块的权重系数。

本实施例中，采用PCA（主元分析法）来实现重建。该方法认为一个人脸图像可以通过一系列的样本人脸图像线性组合而成，人脸越相似，权重系数越大，并以此为基础通过线性组合来实现人脸图像超分辨率重建。

参见图7，下面以采用PCA对测试人脸图像中的第j个非平滑块进行处理为例说明上述步骤205的过程，具体地包括以下步骤：

205a：根据低分辨率的训练人脸图像中子块的灰度值向量构建矩阵L_j。

L_j=[I_1j-m_j,……,I_Mj-m_j];

$m_j=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}{I}_{\mathrm{ij}};$

其中，M为低分辨率的训练人脸图像的个数，I_ij为第i个低分辨率的训练人脸图像的第j个子块的灰度值向量，m_j为所有低分辨率的训练人脸图像的第j个子块的灰度值向量的平均值。

205b：求矩阵L_j的转置矩阵L_j ^T的协方差矩阵C_j。

C_j=L_j ^TL_j;

其中，C_j为协方差矩阵，L_j ^T为矩阵L_j的转置矩阵。

205c：计算协方差矩阵C_j的特征值矩阵Λ_j和特征向量矩阵V_j。

V_jV_j ^T=I_j,j=1，2，……，k;

C_jV_j=V_jΛ_j;

其中，C_j为协方差矩阵，Λ_j为协方差矩阵C_j的特征值矩阵，V_j为协方差矩阵C_j的特征向量矩阵，I_j是第j个自适应块的单位矩阵。

并且，Λ_j是由指定个数的特征值组成的对角阵，该指定个数的特征值是在协方差矩阵C_j的所有特征值按照降序排序后从前向后选出的指定个数的特征值，特征向量矩阵V_j中的特征向量与特征值矩阵Λ_j中的特征值相对应。较大的特征值代表人脸图像的轮廓，较小的特征值代表人脸图像的细节部分。

例如，对若干个特征值进行降序排序，从前向后取40个特征值组成40x40的对角阵即特征值矩阵Λ_j，并根据低分辨率的训练人脸图像的个数M=150，得到对应的150x40的特征向量矩阵V_j，其中，40个特征列向量分别对应该对角阵中主对角线上的特征值。

205d：求低分辨率的训练人脸图像的第j个子块的特征向量矩阵E_j。

$E_j=L_j{V}_j{{\mathrm{\&Lambda;}}_j}^{\frac{-1}{2}};$

其中，E_j为低分辨率的训练人脸图像的第j个子块的特征向量矩阵，V_j为协方差矩阵C_j的特征向量矩阵，为对Λ_j中的每个特征值求平方根倒数后得到的对角矩阵，Λ_j为协方差矩阵C_j的特征值矩阵。

205e：将测试人脸图像的第j个非平滑块，投影到低分辨率的训练人脸图像对应位置上的第j个子块的特征向量矩阵E_j，得到投影系数w_j。

w_j=E_j ^T(x_j-m_j);

其中，w_j为投影系数，x_j为测试人脸图像的第j个子块的灰度值向量，m_j为所有低分辨率的训练人脸图像的第j个子块的灰度值向量的平均值，E_j ^T为E_j的转置矩阵，E_j为低分辨率的训练人脸图像的第j个子块的特征向量矩阵。

205f：根据低分辨率的训练人脸图像的第j个子块的特征向量矩阵，确定测试人脸图像的第j个非平滑块的权重系数向量S_j。

$r_j=E_j{w}_j+m_j=L_j{V}_j{{\mathrm{\&Lambda;}}_j}^{\frac{-1}{2}}{w}_j+m_j;$

r_j=L_jS_j+m_j;

其中，r_j为测试人脸图像的第j个非平滑块的低分辨率重构块，E_j为低分辨率的训练人脸图像的第j个子块的特征向量矩阵，w_j为投影系数，m_j为所有低分辨率的训练人脸图像的第j个子块的灰度值向量的平均值，L_j为上述构建的矩阵，V_j为协方差矩阵C_j的特征向量矩阵，为对Λ_j中的每个特征值求平方根倒数后得到的对角矩阵，Λ_j为协方差矩阵C_j的特征值矩阵，S_j为测试人脸图像的第j个非平滑块的权重系数向量，M为低分辨率的训练人脸图像的个数，S_ji为第i个低分辨率的训练人脸图像的第j个子块的权重系数，l_ij为第i个低分辨率的训练人脸图像的第j个子块。

根据上述等价的两个表达式，可以得出测试人脸图像的第j个非平滑块的权重系数向量S_j：

$S_j=V_j{{\mathrm{\&Lambda;}}_j}^{\frac{-1}{2}}{w}_j={[S_{j1},S_{j2}.....S_{\mathrm{jM}}]}^T;$

其中，[S_j1,S_j2.....S_jM]^T为权重系数向量。

206：根据计算得到的权重系数和高分辨率的训练人脸图像中对应位置的各子块，得到测试人脸图像中各非平滑块对应的重建图像块。

仍然以测试人脸图像中的第j个非平滑块为例进行说明。测试人脸图像中的第j个非平滑块对应的重构块表达如下：

$r_j=L_j{S}_j+m_j=\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}{S}_{\mathrm{ij}}(l_{\mathrm{ij}}-m_j)+m_j;$

其中，r_j为测试人脸图像的第j个非平滑块的低分辨率重构块，L_j为上述构建的矩阵，S_j为测试人脸图像的第j个非平滑块的权重系数向量，m_j为所有低分辨率的训练人脸图像的第j个子块的灰度值向量的平均值，M为低分辨率的训练人脸图像的个数，S_ji为第i个低分辨率的训练人脸图像的第j个子块的权重系数，l_ij为第i个低分辨率的训练人脸图像的第j个子块。

在上述重构块的表达式中，将低分辨率的训练人脸图像的子块替换为对应位置的高分辨率的训练人脸图像的子块，以及将低分辨率的训练人脸图像的子块的灰度值向量的平均值替换为高分辨率的训练人脸图像的子块的灰度值向量平均值，得到该测试人脸图像中每个非平滑块对应的重建图像块。

测试人脸图像中的第j个非平滑块对应的重建图像块表达如下：

$R_j=\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}{S}_{\mathrm{ij}}(h_{\mathrm{ij}}-M_j)+M_j;$

其中，R_j为测试人脸图像的第j个非平滑块对应的重建图像块，M为低分辨率的训练人脸图像的个数，S_ji为第i个低分辨率的训练人脸图像的第j个子块的权重系数，h_ij为第i个高分辨率的训练人脸图像的第j个子块，M_j为所有高分辨率的训练人脸图像的第j个子块的灰度值向量的平均值。

207：对测试人脸图像中的每个平滑块进行双三次插值得到对应的重建图像块。

208：将测试人脸图像中各非平滑块的重建图像块与各平滑块的重建图像块按照位置合成为一个人脸图像，得到测试人脸图像的超分辨率重建人脸图像。

在合成过程中，重叠像素点的灰度值可以取值为该重叠像素点上各灰度值的平均值。

为了更好地说明本实施例提供的上述方法的效果，可以采用峰值信噪比（PSNR）的评价函数进行评价，得到如图8所示的人脸图像超分辨率重建的效果示意图。其中，图a为从FERET人脸数据库获取的高分辨率的训练人脸图像，图b是根据该高分辨率的训练人脸图像得到的对应的低分辨率的训练人脸图像，图c是采用上述方法进行人脸图像超分辨率重建后得到的人脸图像结果。可以看出，重建后的人脸图像结果与原始的高分辨率的训练人脸图像比较接近，清晰度较高，视觉效果较好，细节恢复也较好。

本实施例提供的上述方法，通过将测试人脸图像与训练人脸图像都划分成图像块；根据平滑度将所述测试人脸图像中的所有图像块分为两类，平滑块和非平滑块，对测试人脸图像中的每个非平滑块再继续划分，直至划分后不存在非平滑块或划分后的非平滑块满足预设条件时停止划分；对所述训练人脸图像按照与所述测试人脸图像中各块的位置进行相同的划分得到子块；利用主元分析法将该测试人脸图像中的非平滑块映射到低分辨率的训练人脸图像中对应位置上的子块上，得到该测试人脸图像中各非平滑块的权重系数，根据所述权重系数和所述高分辨率的训练人脸图像中对应位置的各子块得到所述测试人脸图像中各非平滑块对应的重建图像块；对所述测试人脸图像中的每个平滑块进行双三次插值得到对应的重建图像块；将所述测试人脸图像中各非平滑块的重建图像块与各平滑块的重建图像块按照位置合成为一个人脸图像，得到所述测试人脸图像的超分辨率重建人脸图像，实现了人脸图像的重建，由于基于自适应分块，既很好的保持了超分辨率重建人脸图像的全局结构，又能够很好的恢复人脸图像的细节信息，提高了重建人脸图像的清晰度，增强了重建效果。

实施例3

参见图9，本实施例提供了一种人脸图像超分辨率重建的装置，包括：

划分模块901，用于将测试人脸图像与训练人脸图像都划分成图像块，其中，所述测试人脸图像的分辨率低于指定分辨率，所述训练人脸图像包括高分辨率的训练人脸图像和低分辨率的训练人脸图像，所述高分辨率的训练人脸图像的分辨率不低于所述指定分辨率，所述低分辨率的训练人脸图像的分辨率低于所述指定分辨率；

自适应模块902，用于根据平滑度将测试人脸图像中的所有图像块分为两类，平滑块和非平滑块，对每个非平滑块再继续划分，直至划分后不存在非平滑块或划分后的非平滑块满足预设条件时停止划分；对训练人脸图像按照与测试人脸图像中各块的位置进行相同的划分得到子块；

重建模块903，用于根据所述低分辨率的训练人脸图像中的各子块计算所述测试人脸图像中对应位置的各非平滑块的权重系数，根据所述权重系数和所述高分辨率的训练人脸图像中对应位置的各子块得到所述测试人脸图像中各非平滑块对应的重建图像块；对所述测试人脸图像中的每个平滑块进行双三次插值得到对应的重建图像块；

合成模块904，用于将所述测试人脸图像中各非平滑块的重建图像块与各平滑块的重建图像块按照位置合成为一个人脸图像，得到所述测试人脸图像的超分辨率重建人脸图像。

本实施例中，上述划分模块可以包括：

划分单元，用于采用重叠方式分别将所述测试人脸图像和所述训练人脸图像划分成图像块，且任一个训练人脸图像中的图像块的个数与所述测试人脸图像中的图像块的个数相同；

其中，所述重叠方式是指一个人脸图像中任意两个相邻的图像块之间有重叠的部分。

本实施例中，上述自适应模块可以包括：

分类单元，用于计算测试人脸图像中每个图像块的平滑度，并与预设的第一阈值进行比较，若所述平滑度小于所述第一阈值，则确定该图像块为平滑块；若所述平滑度大于等于所述第一阈值，则确认该图像块为非平滑块。

本实施例中，所述预设条件为划分后的非平滑块的尺寸小于等于预设尺寸或划分后的非平滑块的平滑度小于等于预设的第二阈值。

本实施例中，上述重建模块可以包括：

计算单元，用于利用主元分析法将所述测试人脸图像中的非平滑块映射到所述低分辨率的训练人脸图像中对应位置上的子块上，得到所述测试人脸图像中各非平滑块的权重系数。

本实施例中，所述装置还可以包括：

图库建立模块，用于获取M个高分辨率的训练人脸图像，其中任一个训练人脸图像的分辨率不低于该指定分辨率，该M为正整数；将该M个高分辨率的训练人脸图像按照退化模型处理得到对应的M个低分辨率的训练人脸图像。

本实施例提供的上述装置可以执行上述任一方法实施例中提供的方法，详细过程见方法实施例中的描述，此处不赘述。

本实施例提供的上述装置，通过将测试人脸图像与训练人脸图像都划分成图像块；根据平滑度将所述测试人脸图像中的所有图像块分为两类，平滑块和非平滑块，对每个非平滑块再继续划分，直至划分后不存在非平滑块或划分后的非平滑块满足预设条件时停止划分；对所述训练人脸图像按照与所述测试人脸图像中各块的位置进行相同的划分得到子块；根据所述低分辨率的训练人脸图像中的各子块计算所述测试人脸图像中对应位置的各非平滑块的权重系数，根据所述权重系数和所述高分辨率的训练人脸图像中对应位置的各子块得到所述测试人脸图像中各非平滑块对应的重建图像块；对所述测试人脸图像中的每个平滑块进行双三次插值得到对应的重建图像块；将所述测试人脸图像中各非平滑块的重建图像块与各平滑块的重建图像块按照位置合成为一个人脸图像，得到所述测试人脸图像的超分辨率重建人脸图像，实现了人脸图像的重建，由于基于自适应分块，既很好的保持了超分辨率重建人脸图像的全局结构，又能够很好的恢复人脸图像的细节信息，提高了重建人脸图像的清晰度，增强了重建效果。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种人脸图像超分辨率重建的方法，其特征在于，所述方法包括：

将测试人脸图像与训练人脸图像都划分成图像块，其中，所述测试人脸图像的分辨率低于指定分辨率，所述训练人脸图像包括高分辨率的训练人脸图像和低分辨率的训练人脸图像，所述高分辨率的训练人脸图像的分辨率不低于所述指定分辨率，所述低分辨率的训练人脸图像的分辨率低于所述指定分辨率；

根据平滑度将所述测试人脸图像中的所有图像块分为两类，平滑块和非平滑块，对每个非平滑块再继续划分，直至划分后不存在非平滑块或划分后的非平滑块满足预设条件时停止划分，所述预设条件为划分后的非平滑块的尺寸小于等于预设尺寸或划分后的非平滑块的平滑度小于等于预设的第二阈值；

对所述训练人脸图像按照与所述测试人脸图像中各块的位置进行相同的划分得到子块；

根据所述低分辨率的训练人脸图像中的各子块计算所述测试人脸图像中对应位置的各非平滑块的权重系数，根据所述权重系数和所述高分辨率的训练人脸图像中对应位置的各子块得到所述测试人脸图像中各非平滑块对应的重建图像块；

对所述测试人脸图像中的每个平滑块进行双三次插值得到对应的重建图像块；

将所述测试人脸图像中各非平滑块的重建图像块与各平滑块的重建图像块按照位置合成为一个人脸图像，得到所述测试人脸图像的超分辨率重建人脸图像；

其中，所述平滑度的公式如下：

$S(x,y)=\sqrt{\&dtri;I_x{(x,y)}^2+\&dtri;I_y{(x,y)}^2};$

$\begin{array}{c}\&dtri;I_x(x,y)=I(x-1,y+1)+2I(x,y+1)+I(x+1,y+1)\\ -I(x-1,y-1)-2I(x,y-1)-I(x+1,y-1)\end{array};$

$\begin{array}{c}\&dtri;I_y(x,y)=I(x-1,y-1)+2I(x-1,y)+I(x-1,y+1)\\ -I(x+1,y-1)-2I(x+1,y)-I(x+1,y+1)\end{array};$

$S_j=\frac{1}{n_j}\mathrm{\&Sigma;}S(x,y);$

${\mathrm{\&sigma;}}_j=\left|{\mathrm{\&lambda;}}_1^j\right|+\left|{\mathrm{\&lambda;}}_2^j\right|;$

σ_j为第j个图像块的平滑度，(x,y)为第j个图像块的一个像素点坐标，I(x,y)为(x,y)像素点坐标的灰度值，代表所述像素点水平方向的梯度值，代表所述像素点垂直方向的梯度值，S(x,y)为所述像素点的梯度值，S_j为所述第j个图像块中每个像素点的梯度值除以n_j后组成的结构矩阵，n_j为所述第j个图像块中像素总数，和分别为所述结构矩阵S_j的两个最大的特征值。

2.根据权利要求1所述的方法，其特征在于，所述将测试人脸图像与训练人脸图像都划分成图像块，包括：

采用重叠方式分别将所述测试人脸图像和所述训练人脸图像划分成图像块，且任一个训练人脸图像中的图像块的个数与所述测试人脸图像中的图像块的个数相同；

其中，所述重叠方式是指一个人脸图像中任意两个相邻的图像块之间有重叠的部分。

3.根据权利要求1所述的方法，其特征在于，所述根据平滑度将所述测试人脸图像中的所有图像块分为两类，平滑块和非平滑块，包括：

计算所述测试人脸图像中每个图像块的平滑度，并与预设的第一阈值进行比较，若所述平滑度小于所述第一阈值，则确定该图像块为平滑块；若所述平滑度大于等于所述第一阈值，则确认该图像块为非平滑块。

4.根据权利要求1所述的方法，其特征在于，所述根据所述低分辨率的训练人脸图像中的各子块计算所述测试人脸图像中对应位置的各非平滑块的权重系数，包括：

利用主元分析法将所述测试人脸图像中的非平滑块映射到所述低分辨率的训练人脸图像中对应位置的子块上，得到所述测试人脸图像中各非平滑块的权重系数。

5.一种人脸图像超分辨率重建的装置，其特征在于，所述装置包括：

划分模块，用于将测试人脸图像与训练人脸图像都划分成图像块，其中，所述测试人脸图像的分辨率低于指定分辨率，所述训练人脸图像包括高分辨率的训练人脸图像和低分辨率的训练人脸图像，所述高分辨率的训练人脸图像的分辨率不低于所述指定分辨率，所述低分辨率的训练人脸图像的分辨率低于所述指定分辨率；

自适应模块，用于根据平滑度将所述测试人脸图像中的所有图像块分为两类，平滑块和非平滑块，对每个非平滑块再继续划分，直至划分后不存在非平滑块或划分后的非平滑块满足预设条件时停止划分，所述预设条件为划分后的非平滑块的尺寸小于等于预设尺寸或划分后的非平滑块的平滑度小于等于预设的第二阈值；对所述训练人脸图像按照与所述测试人脸图像中各块的位置进行相同的划分得到子块；

重建模块，用于根据所述低分辨率的训练人脸图像中的各子块计算所述测试人脸图像中对应位置的各非平滑块的权重系数，根据所述权重系数和所述高分辨率的训练人脸图像中对应位置的各子块得到所述测试人脸图像中各非平滑块对应的重建图像块；对所述测试人脸图像中的每个平滑块进行双三次插值得到对应的重建图像块；

合成模块，用于将所述测试人脸图像中各非平滑块的重建图像块与各平滑块的重建图像块按照位置合成为一个人脸图像，得到所述测试人脸图像的超分辨率重建人脸图像；

其中，所述平滑度的公式如下：

$S(x,y)=\sqrt{\&dtri;I_x{(x,y)}^2+\&dtri;I_y{(x,y)}^2};$

$\begin{array}{c}\&dtri;I_x(x,y)=I(x-1,y+1)+2I(x,y+1)+I(x+1,y+1)\\ -I(x-1,y-1)-2I(x,y-1)-I(x+1,y-1)\end{array};$

$\begin{array}{c}\&dtri;I_y(x,y)=I(x-1,y-1)+2I(x-1,y)+I(x-1,y+1)\\ -I(x+1,y-1)-2I(x+1,y)-I(x+1,y+1)\end{array};$

$S_j=\frac{1}{n_j}\mathrm{\&Sigma;}S(x,y);$

${\mathrm{\&sigma;}}_j=\left|{\mathrm{\&lambda;}}_1^j\right|+\left|{\mathrm{\&lambda;}}_2^j\right|;$

σ_j为第j个图像块的平滑度，(x,y)为第j个图像块的一个像素点坐标，I(x,y)为(x,y)像素点坐标的灰度值，代表所述像素点水平方向的梯度值，代表所述像素点垂直方向的梯度值，S(x,y)为所述像素点的梯度值，S_j为所述第j个图像块中每个像素点的梯度值除以n_j后组成的结构矩阵，n_j为所述第j个图像块中像素总数，和分别为所述结构矩阵S_j的两个最大的特征值。

6.根据权利要求5所述的装置，其特征在于，所述划分模块包括：

划分单元，用于采用重叠方式分别将所述测试人脸图像和所述训练人脸图像划分成图像块，且任一个训练人脸图像中的图像块的个数与所述测试人脸图像中的图像块的个数相同；

其中，所述重叠方式是指一个人脸图像中任意两个相邻的图像块之间有重叠的部分。

7.根据权利要求5所述的装置，其特征在于，所述自适应模块包括：

分类单元，用于计算所述测试人脸图像中每个图像块的平滑度，并与预设的第一阈值进行比较，若所述平滑度小于所述第一阈值，则确定该图像块为平滑块；若所述平滑度大于等于所述第一阈值，则确认该图像块为非平滑块。

8.根据权利要求5所述的装置，其特征在于，所述重建模块包括：

计算单元，用于利用主元分析法将所述测试人脸图像中的非平滑块映射到所述低分辨率的训练人脸图像中对应位置的子块上，得到所述测试人脸图像中各非平滑块的权重系数。