CN101794441A - 一种由单帧低分辨率人脸图像重建多帧不同角度高分辨率人脸图像的方法 - Google Patents

Abstract

一种由单帧低分辨率人脸图像重建多帧不同角度高分辨率人脸图像的方法，是对低分辨率人脸多角度变换和高分辨率人脸细节的添加。针对第一个步骤，本发明定义了一个约束全局约束最小二乘问题，利用与输入人脸相同角度的低分辨率人脸图像训练集，通过解得的重建系数来进低分辨率人脸图像的多角度变化；针对第二个步骤，分别利用不同角度的高、低分辨率训练图像块，按照不同的部位，定义了不同的约束局部最小二乘问题，来解得不同的重建系数以获得该部位的高分辨率图像块，最后将高分辨率图像块依照其在人脸的位置拼接为整体图像。

Description

一种由单帧低分辨率人脸图像重建多帧不同角度高分辨率人脸图像的方法

技术领域

本发明涉及一种图像处理方法，具体涉及一种由单帧低分辨率人脸图像重建多帧不同角度高分辨率人脸图像的方法。

背景技术

超分辨率是指由一帧或者多帧低分辨率图像重建出一帧或者多帧高分辨率图像。目前绝大部分人脸图像超分辨率技术仅仅局限于正面或者有轻微角度变化的人脸图像，而且这些技术重建出的高分辨率人脸仅仅只有一种角度。而在实际中，比如视频监控、刑侦等，获取的人脸图像大都是不同角度的，因此从某一角度低分辨率人脸图像重建出包括该角度在内的多个角度的高分辨率图像的方法，具有很高的应用价值和实际意义。

多角度的人脸图像超分辨率技术是一个比较有挑战性的课题，目前仅有(利用美国工程索引(Ei)进行检索结果)英国伦敦大学玛丽女王学院Shaogang Gong教授的实验室提出的方法(文献1：Jia.K.，Gong，S.：Multi-modal Tensor face forSimultaneous Super-resolution and Recognition.Proceeding of the Tenth IEEEinternational conference on Computer Vision，pp.，2005；文献2：Jia.K.，Gong，S.：Multi-modal Face image super-resolution in Tensor space.IEEE conference onadvanced video and signal based surveillance，pp.264-269，2005；文献3：Jia，K.，Gong，S.：Generalized face super-resolution.IEEE Transactions on Image Processing17，pp.873-886，2008)。这些方法在Bayesian概率框架下利用了张量分解变换方法，来进行多角度人脸的表示、转换和超分。众所周知，概率模型和张量模型是比较复杂的数学模型，基于这样模型的多角度超分辨率重建方法，虽然可以取得结果，但是计算量非常大。

发明内容

本发明目的在于提供一种能够从某一角度单帧低分辨率人脸图像重建出包括该角度在内的多个角度高分辨率人脸图像的方法。本发明的方法解决目前绝大部分人脸超分辨率方法仅仅只能重建出单一角度的高分辨率人脸图像的问题，并且克服仅有的一种同类方法存在的计算复杂，运算量大的缺点。

为达到上述目的，本发明采用的技术方案是：

1)对输入的单帧低分辨率人脸图像，使用多个相同角度低分辨率人脸训练图像，在所有权值的和为1的约束下，计算线性组合逼近的权值；

2)将步骤1)中的训练图像替换为一一对应的待重建角度的人脸低分辨率训练图像，使用步骤1)得到的线性组合逼近的权值，线性组合出待重建角度的人脸低分辨率图像；

3)将步骤2)合成的低分辨率人脸图像，以及待重建角度人脸的高、低分辨率人脸训练图像则划分为相互重叠的图像块；

4)对步骤2)合成的待重建角度的人脸低分辨率图像经步骤3)划分后的图像块的每一个图像块，分别使用待重建角度的人脸低分辨率训练图像同位置的图像块，使用步骤1)的方法，分别计算线性组合逼近的最优权值；

5)将步骤4)中低分辨率训练图像同位置的图像块替换为一一对应的相同角度高分辨率训练人脸图像相同位置的图像块，使用步骤4)求出的线性组合逼近的最优权值，线性组合出待重建角度的在该人脸位置的高分辨率人脸图像块；

6)将步骤5)合成的高分辨率图像块依照其在人脸图像的位置，拼接为整体图像。

所说的计算线性组合逼近的权值步骤如下：

将单帧低分辨率人脸图像均表示为向量的形式，设输入的单帧低分辨率人脸图像为I_p，p为人脸的角度，p角度的低分辨率人脸训练图像为L_p ¹，L_p ²，...，L_p ^N，对应的o角度的低分辨率人脸训练图像为L_o ¹，L_o ²，...，L_o ^N，N是正整数，设w₁，w₂...w_N为重建系数，建立最小二乘表达式

在满足

的约束下得到最优权值公式为：

其中，l，m均为正整数，局部协方差矩阵C＝(C_ik)，其中

C_i ^k-1表示逆矩阵C^-1中第i行第k列元素。

所说的线性组合出待重建角度人脸的低分辨率图像步骤如下：

求出输入的低分辨率人脸I_p对应的待重建角度的人脸低分辨率图像I_o ^％计算公式为：

所说的划分相互重叠的图像块步骤如下：

将步骤2)合成的低分辨率人脸图像I_o ^％，以及待重建角度的高分辨率人脸训练图像H_o ⁿ和低分辨率人脸训练图像L_o ⁿ，分别表示为相互重叠的图像块矩阵形式，分别为I_o ^％(i，j)、L_o ⁿ(i，j)、H_o ⁿ(i，j)，(i，j)体现了所划分的图像块在人脸的位置特征，i表示图像块矩阵的行数，j表示图像块矩阵的列数。

所说的线性组合出待重建角度的在该人脸位置的高分辨率人脸图像块步骤如下：

待重建角度的人脸高分辨率图像H_o ^％(i，j)计算公式为：

本发明将问题转化两个步骤：低分辨率人脸多角度变换和高分辨率人脸细节的添加。针对第一个步骤，本发明定义了一个约束全局约束最小二乘问题，利用与输入人脸相同角度的低分辨率人脸图像训练集，通过解得的重建系数来进低分辨率人脸图像的多角度变化；针对第二个步骤，分别利用不同角度的高、低分辨率训练图像块，按照不同的部位，定义了不同的约束局部最小二乘问题，来解得不同的重建系数以获得该部位的高分辨率图像块，最后将高分辨率图像块依照其在人脸的位置拼接为整体图像。

附图说明

图1多角度人脸图像预处理示意。

图2为经过人脸图像对准预处理的人脸图像示意。

图3为本发明的结果；(a)输入的不同角度低分辨率图像(16×12)。

(b)-(f)本方法结果(64×48)(g)-(k)真实图像(64×48)。

图4为本发明全部运行时间与文献[3]方法第一步人脸角度转换运算时间对比。

具体实施方式

下面结合附图对本发明作进一步详细说明。

下面给出该发明技术方案具体步骤：

步骤一：预处理。如附图1所表示，记人脸图像中两眼睛的连线的中心为O，两眼睛中心的距离为d，以O为起始点，向左取a×d长，向右取a×d长，设O到嘴巴中心的垂直距离为L，以O为起始点，向上取b×L，向下取c×L。裁剪出一块大小为(b+c)L×(a+a)d的图像，a、b和c大小完全根据感兴趣区域自行设定。最后，把裁剪出的图像缩放到指定的标准。本方法中现取a＝b＝1.25，c＝1.62，指定的图像大小128×96。预处理完成后的图像见附图2.

低分辨测试图像得到的方法。将128×96大小图像，用7×7大小，标准差σ＝0.85高斯模板进行模糊，根据需要下采样到32×24(4×4倍放大)或者16×12(8×8倍放大)。因为测试低分辨率图像时从高分图像得来的，已经具有位置的一致性。

设输入的低分辨率人脸为I_p，p为人脸的角度，p角度的低分辨率人脸训练图像为L_p ¹，L_p ²，...，L_p ^N，对应的o角度的高分辨率人脸训练图像为H_o ¹，H_o ²，...，H_o ^N，N是正整数。为简单起见，用字母o表示人脸的多个角度。所有的o角度的高分辨率人脸训练图像H_o ⁿ被对齐如图1所示，平滑和下采样到相应的低分辨率空间，得到o角度的低分辨率人脸训练图像L_o ⁿ，n＝1，2...N。

步骤二：将人脸图像矩阵均表示为向量的形式。设w₁，w₂...w_N为重建系数。建立最小二乘表达式

在满足

的约束下得到最优权值公式为：

其中，l，m均为正整数，局部协方差矩阵C＝(C_ik)，其中C_ik ^-1表示逆矩阵C^-1中第i行第k列元素。

步骤三：求出输入的低分辨率人脸I_p对应的待重建人脸角度的低分辨率图像I_o ^％计算公式为：

步骤四：将合成的低分辨率人脸图像I_o ^％，以及待重建人脸角度的高分辨率人脸训练图像H_o ⁿ和低分辨率人脸训练图像L_o ⁿ，分别表示为相互重叠的图像块矩阵形式，一般低分辨率位置图像块大小取3×3，相邻图像块重合1个像素。设I_o ^％(i，j)、L_o ⁿ(i，j)、H_o ⁿ(i，j)分别表示为图像块矩阵后第i行第j列的图像块。符号(i，j)体现了所划分的图像块在人脸的位置特征(图像及图像块均采用向量形式表达)。

步骤五：低分辨率人脸图像I_o ^％的每个图像块I_o ^％(i，j)所对应的高分辨率图像块：

其中w(i，j)满足

，且

其中，l，m均为正整数，局部协方差矩阵C＝(C_ik)，其中

C_ik ^-1表示逆矩阵C^-1中第i行第k列元素。

步骤六：将合成的高分辨率图像块H_o ^％(i，j)依照其在人脸图像的位置，拼接为整体图像。相邻图像块所重叠部分像素值的求取，采用取均值方法即可。结果见图3。

本发明可应用于诸多领域，例如：

(1)视频监控。

(2)刑侦，用来获取事发现场所拍摄的非正面犯罪嫌疑人的正面人脸图像。

(3)人脸图像识别系统。

本发明之所以能解决目前绝大部分人脸超分辨率方法仅仅只能重建出单一角度的高分辨率人脸图像的问题，并且能克服仅有的一种同类算法存在计算复杂，运算量大的缺点：

将图像经过两眼中心，嘴巴中心的对准后，假设不同角度线性组合的低分辨率人脸间存在近似的映射关系，将一种角度得来的重建权值运用于另外的人脸角度，得到了待重建角度的人脸。并且依照不同的位置定义不同的约束最小二乘函数，将整体图像分成小块进行图像高分辨率细节的添加。国外仅有的一种同类方法在Bayesian概率框架下利用了张量分解变换方法，来进行多角度人脸的表示、转换和超分。众所周知，概率模型和张量模型是比较复杂的数学模型，基于这样模型的多角度超分辨率算法，虽然可以取得结果，但是计算量非常大。本方法避免使用了复杂的张量和概率模型，来实现了同样的目地。由图4可以看出，本方面的全部运算时间只需要十几秒钟，而文献[3]的方法仅仅第一步就需要三百多秒。

Claims (5)

1.一种由单帧低分辨率人脸图像重建多帧不同角度高分辨率人脸图像的方法，其特征在于包括如下步骤：

1)对输入的单帧低分辨率人脸图像，使用多个相同角度低分辨率人脸训练图像，在所有权值的和为1的约束下，计算线性组合逼近的权值；

2)将步骤1)中的训练图像替换为一一对应的待重建角度的人脸低分辨率训练图像，使用步骤1)得到的线性组合逼近的权值，线性组合出待重建角度的人脸低分辨率图像；

3)将步骤2)合成的低分辨率人脸图像，以及待重建角度人脸的高、低分辨率人脸训练图像则划分为相互重叠的图像块；

4)对步骤2)合成的待重建角度的人脸低分辨率图像经步骤3)划分后的图像块的每一个图像块，分别使用待重建角度的人脸低分辨率训练图像同位置的图像块，使用步骤1)的方法，分别计算线性组合逼近的最优权值；

5)将步骤4)中低分辨率训练图像同位置的图像块替换为一一对应的相同角度高分辨率训练人脸图像相同位置的图像块，使用步骤4)求出的线性组合逼近的最优权值，线性组合出待重建角度的在该人脸位置的高分辨率人脸图像块；

6)将步骤5)合成的高分辨率图像块依照其在人脸图像的位置，拼接为整体图像。

2.根据权利要求1所述的由单帧低分辨率人脸图像重建多帧不同角度高分辨率人脸图像的方法，其特征在于：所说的计算线性组合逼近的权值步骤如下：

将单帧低分辨率人脸图像均表示为向量的形式，设输入的单帧低分辨率人脸图像为I_p，p为人脸的角度，p角度的低分辨率人脸训练图像为L_p ¹，L_p ²，...，L_p ^N，对应的o角度的低分辨率人脸训练图像为L_o ¹，L_o ²，...，L_o ^N，N是正整数，设w₁，w₂...w_N为重建系数，建立最小二乘表达式

在满足的约束下得到最优权值公式为：

其中，l，m均为正整数，局部协方差矩阵C＝(C_ik)，其中

C_ik ^-1表示逆矩阵C^-1中第i行第k列元素。

3.根据权利要求1所述的由单帧低分辨率人脸图像重建多帧不同角度高分辨率人脸图像的方法，其特征在于：所说的线性组合出待重建角度人脸的低分辨率图像步骤如下：

求出输入的低分辨率人脸I_p对应的待重建角度的人脸低分辨率图像I_o ^％计算公式为：

4.根据权利要求1所述的由单帧低分辨率人脸图像重建多帧不同角度高分辨率人脸图像的方法，其特征在于：所说的划分相互重叠的图像块步骤如下：

将步骤2)合成的低分辨率人脸图像I_o ^％，以及待重建角度的高分辨率人脸训练图像H_o ⁿ和低分辨率人脸训练图像  L_o ⁿ，分别表示为相互重叠的图像块矩阵形式，分别为I_o ^％(i，j)、L_o ⁿ(i，j)、H_o ⁿ(i，j)，(i，j)体现了所划分的图像块在人脸的位置特征，i表示图像块矩阵的行数，j表示图像块矩阵的列数。

5.根据权利要求1所述的由单帧低分辨率人脸图像重建多帧不同角度高分辨率人脸图像的方法，其特征在于：所说的线性组合出待重建角度的在该人脸位置的高分辨率人脸图像块步骤如下：

待重建角度的人脸高分辨率图像I_o ^％(i，j)计算公式为： $H_o^{\%}(i,j)=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_n(i,j){H_o}^n(i,j).$

Images