CN102298775B - 以样本为基础的人脸超分辨率重建方法与系统 - Google Patents

Abstract

本发明公开了一种以样本为基础的人脸超分辨率重建方法。该方法利用流形学习，将一训练数据库中多张训练影像I_train与一低分辨率人脸影像投影到同一流形域，其中，投影后的低分辨率人脸影像以符号y_L表示，投影后的训练影像以符号y_train表示。然后，从N张投影后的训练影像y_train中，筛选出与y_L最匹配的k张y_train的一新训练集，k≤N。再透过此新训练集来学习出一组原型脸，并利用此组原型脸来重建此低分辨率人脸影像的一高分辨率人脸影像。

Description

以样本为基础的人脸超分辨率重建方法与系统

技术领域

本发明关于一种以样本为基础(example-based)的人脸超分辨率(facehallucination)重建方法与系统。

背景技术

人脸超分辨率的技术可以有许多应用，例如安全监(surveillance)、人脸辨识(face recognition)、人脸表情估测(face expression estimation)与人脸年龄估测(face age estimation)等应用。人脸影像不同于一般的低分辨率到高分辨率影像问题，因为人脸有其结构性，且细节部分的一些错误可能会造成整张高分辨率人脸变得不合理，例如当眼睛的形状变成非椭圆形，或者是嘴部的形状扭曲，对于整张影像而言，其错误率非常小，然而影响却很大。

基于人脸结构的特性，独特的人脸超分辨率技术便陆续被提出来。例如，美国专利号7,379,611的文献中，公开一种影像超分辨率方法，此方法系透过提取输入低分辨率影像中的原始草图先验(primal sketch priors)数据，来推断对应于此低分辨率输入影像的高分辨率细节。美国专利公开号2008/0267525的文献中，公开一种透过提取影像中的边缘特征(edge feature)来进行超分辨率放大的方法。

Wei Fan等人公开的论文“Image Hallucination Using NeighborEmbedding over Visual Primitive Manifolds”中，提出一种以学习为基础(learning-based)的影像超分辨率(image hallucination)方法，是透过提取影像中的原始特征(primitive features)，并利用多张训练集中的原始特征来组合出目标影像的高分辨率的原始特征。Yueting Zhuang等人公开的论文“LPHsuper-resolution and neighbor reconstruction for residue compensation”中，提出一种两阶段的人脸超分辨率技术，是利用流形学习(manifold learning)的特性，亦即每张输入影像都可以在流形域有相似的分布，依此，透过计算低分辨率影像，来修补(patch)流形域里的线性组合系数，然后利用相同的线性组合系数与半径式函数(radial basis function)来组合出高分辨率影像，此技术利用流形学习来组合高分辨率影像。

Jeong-Seon Park等人公开的论文“An example-based face hallucinationmethod for single-frame，low-resolution facial images”中，提出一种以样本为基础的人脸超分辨率方法，是利用主要成份分析(Principle ComponentsAnalysis，PCA)，从低分辨率影像来拆解与训练为基底影像，并透过变形(warping)来对齐人脸。如第一图的范例流程所示，透过计算低分辨率的基底影像的线性组合，并在高分辨率的基底影像中用相同的组合来计算高分辨率人脸。

B.G.Vijay Kumar等人公开的论文“Face hallucination using OLPP andKernel Ridge Regression”中，提出一种人脸超分辨率技术，是利用流形学习法中的正交局部性保存投影(Orthogonal Locality Preserving Projection，OLPP)方法，来对人脸影像的小片段进行降维的动作，在低维度空间利用机率模型估计出最大可能的高分辨率的小片段。再利用核岭回归(KernelRidge Regression，KRR)的预测模型来修正重建的人脸影像。

发明内容

本发明的实施范例可提供一种以样本为基础的人脸超分辨率重建方法与系统。

在一实施范例中，所公开的是关于一种以样本为基础的人脸超分辨率重建方法。此方法包含：准备一个备有多张训练影像的训练数据库，并取得一欲放大的低分辨率人脸影像；利用流形学习，将此训练数据库中此多张训练影像I_train与此低分辨率人脸影像投影到同一流形域，其中，投影后的低分辨率人脸影像以符号y_L表示，投影后的训练影像以符号y_train表示；从N张投影后的训练影像y_train中，筛选出与yL最匹配的(best matching)一训练集；以及透过对此训练集与y_L进行基底分解，学习出一组基底影像，包括此训练集的高低分辨率原型脸与y_L的低分辨率原型脸；以及利用此组基底影像来重建出此低分辨率人脸影像的一高分辨率人脸影像。其中此训练集的高分辨率原型脸与y_L的原型脸之间的差异符合一门槛值要求。

在另一实施范例中，所公开的是关于一种以样本为基础的人脸超分辨率重建系统。此系统包含一训练数据库，收集与储存多张训练影像；一投影模块(projection module)，接收此多张训练影像，并透过一流形学习法求得一投影矩阵后，将此多张训练影像与一输入的低分辨率人脸影像，投影到同一流形域，得到N张投影后的训练影像y_train与一投影后的低分辨率人脸影像y_L；一匹配模块(matching module)，从N张投影后的训练影像y_train中，筛选出k张与y_L可匹配的一训练集，k≤N；一基底分解模块(basisdecomposition module)，将此训练集使用基底分解来萃取出一低分辨率原型脸(low resolution prototype face)与此训练集的一组高分辨率原型脸，且此低分辨率原型脸与此组高分辨率原型脸之间的差异符合一门槛值要求；以及一人脸超分辨率模块(face hallucination module)，将符合此门槛值要求的此低分辨率原型脸与此组高分辨率原型脸当成一组基底影像，来重建出该低分辨率人脸影像的一高分辨率人脸影像。

请配合下列附图、实施范例的详细说明及权利要求，将上述及本发明的其它目的与优点详述于后。

附图说明

图1是一范例流程图，说明已知的一种以样本为基础的人脸超分辨率重建方法。

图2是一范例示意图，说明如何透过计算出的低分辨率的人脸原型的组合参数，来得到重建的高分辨率人脸影像。

图3是一范例示意图，说明一种以样本为基础的人脸超分辨率重建方法，与所公开的某些实施范例一致。

图4是一范例流程图，说明如何在流形域里的训练集合进行筛选，与所公开的某些实施范例一致。

图5是一曲线范例图，说明筛选出的人脸影像y_train的个数，亦即k值，与差异值的变化关系，与所公开的某些实施范例一致。

图6A与图6B分别是投影到流形域上的低分辨率影像的分布与高分辨率影像的分布的范例示意图，与所公开的某些实施范例一致。

图7是一范例示意图，说明一种以样本为基础的人脸超分辨率重建系统，与所公开的某些实施范例一致。

图8是一范例示意图，说明图6的人脸超分辨率系统可执行于一计算机系统中，与所公开的某些实施范例一致。

图9是一范例表格，提供人脸影像重建质量的客观数据的比较，与所公开的某些实施范例一致。

图10是一范例表格，提供五种不同技术的检测率比较，与所公开的某些实施范例一致。

【主要组件符号说明】

310训练数据库            312低分辨率人脸影像

y_L投影后的低分辨率人脸   y_train投影后的训练影像影像

314流形学习              316可匹配的一训练集

318基底分解              320人脸超分辨率

322高分辨率人脸影像

410从N个投影后的训练影像中，筛选出k个与y_L最匹配的人脸影像y_train的一新训练集

420透过此新训练集，使用基底分解来萃取出一低分辨率原型脸PL与一组高分辨率原型脸

430递增k值

440将此低分辨率原型脸P_L与此组高分辨率原型脸当成一组基底影像

700人脸超分辨率重建系    712训练影像统

720投影模块              732具有k张训练影像的一

                         训练集

730匹配模块              740基底分解模块

750人脸超分辨率模块      P_L低分辨率原型脸

y_L投影后的低分辨率人脸    P_H高分辨率原型脸影像

y_train投影后的训练影像

800计算机系统             810内存装置

820处理器

具体实施方式

在一般的空间域(spatial domain)中，不同人脸的差异常无法明确表示出来，因此，在本发明中，将一人脸数据库转换到另一个可以表示人脸差异的空间，亦即流形域。本发明的实施范例透过流形学习的方法，将输入影像与训练数据库中的人脸影像都投影到流形域(manifold domain)，并透过如基底分解，来筛选适合的人脸影像去建立原型脸(prototype faces)，再透过结合适当的组合参数与原型脸来得到高分辨率的人脸影像。

一般而言，重建的人脸影像R可以表示为

$I\≅P\·\mathrm{\α}=R,$

其中，I是原本输入的人脸影像，P是原型脸(prototype face)，α是重建系数(coefficients of reconstruction)。因此，透过计算出的低分辨率的人脸原型的组合参数，例如权重(weightings)，可以利用高分辨率的人脸原型乘上相同的组合参数，就可以得到重建的高分辨率人脸影像，如图2的范例所示，原本输入的低分辨率人脸影像I等于M个低分辨率的人脸原型的线性组合，其中，α₁至α_M是其M个组合参数，则可以利用M个高分辨率的人脸原型乘上相同的组合参数，即α₁至α_M，来得到重建的高分辨率人脸影像。这些组合参数的计算可用下列的一个范例式来求出：

α^*＝((P_L)^T·P_L)^-1·(P_L)^T·I_L

其中，P_L是低分辨率的原型脸，I_L是低分辨率的输入的人脸影像。

图3是一范例示意图，说明一种以样本为基础的人脸超分辨率重建方法，与所公开的某些实施范例一致。图3的范例中，首先，准备一训练数据库310，并取得一欲放大的低分辨率人脸影像312。训练数据库310可收集训练人脸影像，一般包含各式各样的训练影像(comprehensive trainingimages)。然后，利用流形学习314，例如利用一种降维法得到一转换矩阵A，将训练数据库310中N张训练影像与低分辨率人脸影像312投影到同一流形域，其中，投影后的低分辨率人脸影像312以符号y_L表示，投影后的训练影像以符号y_train表示。从N张投影后的训练影像y_train的集合中，筛选出与y_L可匹配的一训练集(training set)316。利用基底分解(basisdecomposition)318，来萃取出此训练集的一组高分辨率原型脸P_H和y_L的原型脸P_L，直到学习出一组基底影像为止，其中此组高分辨率原型脸与y_L的原型脸之间的差异符合一门槛值要求。然后，利用此组基底影像来重建出低分辨率人脸影像312的一高分辨率人脸影像322，亦即进行以样本为基础的人脸超分辨率320。

在训练数据库310中引入流形学习的技术，可从训练数据库310中学习出一个投影矩阵(projection matrix)，此投影矩阵可将训练数据库310中的人脸影像投影到一流形域，使得不同人脸影像的差异可以明显地表示出来。透过同一投影矩阵，也可以将输入的低分辨率人脸影像312投影到同一流形域。假设透过一流形学习法，例如降维算法(dimensionality reductionalgorithm)，得到了一投影矩阵A，则低分辨率输入影像投影到流形域的公式可以表示为y_L＝A^TI_L。透过任一流形学习算法求得一投影矩阵A，一般而言，此投影矩阵A的维度会远小于训练数据库310中原始数据的维度，例如，高分辨率人脸影像的维度是64×64＝4096，而投影后的维度可能只选择100。

在备有N张投影后的训练影像y_train的集合中，可利用一方法，例如k-NN算法，从中筛选出与y_L可匹配的一组{y_train}，例如从N张投影后的训练影像中，找出k张与y_L最相似的人脸影像y_train。透过此k张最相似的人脸影像y_train来求出一组基本影像。

图4是一范例流程图，进一步说明如何在流形域里的训练集合进行筛选，与所公开的某些实施范例一致。图4的范例中，从N张投影后的训练影像中，筛选出K张与yL最匹配的人脸影像y_train的一训练集，如步骤410所示；K≤N。然后，透过此训练集，使用基底分解，例如主成份分析可用来作为一基底分解函数，来萃取出一低分辨率原型脸P_L与此训练集的一组高分辨率原型脸，如步骤420所示。当低分辨率原型脸P_L与此组高分辨率原型脸之间的差异小于一门槛值时，将此低分辨率原型脸P_L与此组高分辨率原型脸当成一组基底影像，如步骤440所示。否则的话，递增k值，即步骤430，后，重复步骤410至步骤420，直到选出符合门槛值要求的一组高分辨率原型脸为止。

此组基底影像会随着不同输入低分辨率影像而变化，也是重建低分辨率人脸影像312的基底。由于输入的低分辨率人脸影像在合成之前，先对基底影像进行上述重新训练的动作，因此，可避免在使用者输入人脸影像与训练数据库中的人脸影像差异过大时，重建出不相似的人脸影像；也可避免因为人脸影像差异过大的问题而使得瑕疵出现在重建后的高分辨率影像。

也就是说，一旦从流形域里人脸影像数据库中挑选出适合的训练人脸影像集合之后，可透过基底分解萃取出符合门槛值要求的一组原型脸，此组原型脸也就是用来作为之后要重建高分辨率影像的基底影像。步骤410中，可使用一成本函数(cost function)来决定k值。此成本函数所决定的k值可使此训练集的一组原型脸的线性组合与低分辨率人脸影像312之间的差异为最小。

如图5的曲线范例所示，当k值等于330时，对一测试的低分辨率人脸影像而言，从N张(例如N＝400)投影后的训练影像中，可筛选出330张与y_L最匹配的人脸影像y_train的一训练集，此训练集的一组原型脸的线性组合与此测试的低分辨率人脸影像之间的差异为最小。图5中，横轴代表筛选出的人脸影像y_train的个数，亦即k值，纵轴代表上述的差异值。

当取得一低分辨率影像后，也可以先进行对齐、亮度平均化等前处理，之后利用投影后的训练影像的集合，从中筛选出与此低分辨率影像有匹配的人脸影像。再透过前述的组合参数计算，以及结合这些算出的参数与此组萃取出的基底影像，而重建出接近原本输入的低分辨率人脸影像的一个高分辨率的人脸影像版本。此即为本发明的以样本为基础的超分辨率的设计原理。此设计原理也可确保投影到流形域上的低分辨率影像与高分辨率影像的分布相似。图6A与图6B的范例分别是投影到流形域上的低分辨率影像的分布与高分辨率影像的分布，其中，只选择投影后前两个维度来观察。可以看出图6A与图6B的范例有相似的分布。也就是说，训练数据库310中多张训练影像被投影到流形域后的低分辨率影像与高分辨率影像的分布相似。

承上述，图7是一范例示意图，说明一种以样本为基础的人脸超分辨率重建系统，与所公开的某些实施范例一致。在图7的范例中，人脸超分辨率重建系统700可包含训练数据库310、一投影模块720、一匹配模块730、一基底分解模块740、以及一人脸超分辨率模块750。

训练数据库310用来收集与储存多张训练影像712。投影模块720接收来自训练数据库310中多张训练影像712，并透过一流形学习，例如降维算法，求得的投影矩阵A后，将多张训练影像712与输入的低分辨率人脸影像312，投影到同一流形域，亦即得到投影后的训练影像y_train与投影后的低分辨率人脸影像y_L。匹配模块730从N张投影后的训练影像y_train中，例如利用k-NN算法，筛选出与y_L可匹配的具k张训练影像的一训练集732，k≤N。基底分解模块740使用基底分解来萃取出低分辨率人脸影像312的一低分辨率原型脸P_L和此训练集的一组高分辨率原型脸P_H。

当原型脸P_L与此组高分辨率原型脸之间的差异还未符合一门槛值要求时，基底分解模块740递增k值，并且匹配模块730从N张投影后的训练影像y_train中，根据此递增k值，重新筛选出另一训练集，再透过基底分解模块740来萃取出此另一训练集的一组高分辨率原型脸，直到此原型脸P_L与最终的一组高分辨率原型脸之间的差异符合此门槛值要求为止。人脸超分辨率模块750将原型脸P_L与符合此门槛值要求的最终的此组高分辨率原型脸当成一组基底影像，来重建出低分辨率人脸影像312的高分辨率人脸影像322，例如透过结合适当的权重组合与此组基底影像来得到一高分辨率的人脸影像。

如图8的范例所示，人脸超分辨率重建系统700可执行于一计算机系统800中。计算机系统800至少包含一内存装置810以及一处理器820。内存装置810可用来实现训练数据库310。处理器820里备有投影模块720、匹配模块730、基底分解模块740、以及人脸超分辨率模块750。处理器820可接收输入的低分辨率人脸影像312，并读取内存装置810的训练影像，以执行上述投影模块720、匹配模块730、基底分解模块740、以及人脸超分辨率模块750的功能，并透过结合适当的参数组合，来产生低分辨率人脸影像312的高分辨率人脸影像322。

利用本发明的实施范例，提供在人脸仿真加强的一实验范例，此实验范例中，训练集包含483张人脸影像，人脸影像的高分辨率与测试影像(测试影像1～4)的低分辨率分别采用64×64与16×16。使用主成份分析作为一基底分解函数，共萃取出100张原型脸，其中k-NN算法的k值可在100～483之间递增并自动被决定。图8的范例表格提供一个重建质量的客观数据的比较。从图9的客观数据可以很明显的发现，相较于三种已知技术，本发明的实施范例皆能有效地改善人脸影像的重建质量。

图10是一范例表格，提供五种不同技术的检测率比较(detection ratecomparison)，与所公开的某些实施范例一致。其中，根据多线性主成份分析(Multilinear PCA，MPCA)技术来执行人脸辨识；在训练阶段，有62张训练影像，共有14项标的(subjects)；在辨识阶段，有12张影像，共有6项标的。图10的范例中，以两种比较方式，亦即仅移除可加性的高斯噪声(additive Gaussian noise only)和以平均化滤波器来移除可加性的高斯噪声(additive Gaussian noise with averaging filtering)，来比较这些不同技术的检测率。从图10的数据可以很明显的发现，与四种已知技术相较，本发明的实施范例有高的检测率。实施范例可从训练数据库中筛选有用的训练集，当输入影像与数据库中的影像差异大时，不会严重改变流形域里局部脸成份的分布(distribution of local face components)。

综上所述，本发明的实施范例提供一种以样本为基础的人脸超分辨率重建方法与系统。本发明的实施范例利用流形学习并通过筛选出较匹配于输入的低分辨率人脸影像的训练集，来迭代地(iteratively)改善重建时的基底影像。因此，可以同时在客观与主观上有效地加强一低分辨率人脸影像的重建质量。与已知技术相较，本发明的实施范例可以重建出较接近原始人脸影像的重建高分辨率版本，又可以避免因为人脸影像差异过大的问题而使得瑕疵出现在重建后的高分辨率影像。

以上所述仅为本发明的实施范例，当不能依此限定本发明实施的范围。即大凡本发明权利要求所作的均等变化与修饰，皆应仍属本发明专利涵盖的范围。

Claims (12)

1.一种以样本为基础的人脸超分辨率重建方法，该方法包含：

准备一个备有多张训练影像的训练数据库，并取得一欲放大的低分辨率人脸影像；

利用流形学习，将该训练数据库中该多张训练影像与该低分辨率人脸影像投影到同一流形域，其中，投影后的低分辨率人脸影像以符号y_L表示，投影后的训练影像以符号y_train表示；以及

从N张投影后的训练影像y_train中，筛选出与y_L可匹配的一训练集，N≤该多张训练影像的个数；

透过对该训练集与y_L进行基底分解，学习出一组基底影像，包括该训练集的一组高分辨率原型脸与y_L的低分辨率原型脸；以及

利用该组基底影像来重建出该低分辨率人脸影像的一高分辨率人脸影像，

其中该训练集是在N张投影后的训练影像y_train中找出与投影后的低分辨率人脸影像y_L最相似的k张人脸影像，k≤N。

2.如权利要求1所述的人脸超分辨率重建方法，其中该多张训练影像与该低分辨率人脸影像是利用一种降维算法投影到同一流形域。

3.如权利要求1所述的人脸超分辨率重建方法，其中该训练集的该组高分辨率原型脸与y_L的原型脸之间的差异符合一门槛值要求。

4.如权利要求1所述的人脸超分辨率重建方法，其中该基底分解是采用主成份分析作为一基底分解函数，以萃取出该组基底影像。

5.如权利要求1所述的人脸超分辨率重建方法，其中从N张投影后的训练影像y_train中，筛选出与y_L可匹配的一训练集，透过该训练集学习出该基底影像，包括：

从N张投影后的训练影像y_train中，筛选出k张与y_L最匹配的人脸影像y_train，k是一正整数，k≤N；

透过该k张与y_L最匹配的人脸影像y_train，使用基底分解，来萃取出一低分辨率原型脸与一组高分辨率原型脸；以及

当该低分辨率原型脸与该组高分辨率原型脸之间的差异符合一门槛值要求时，将该低分辨率原型脸与该组高分辨率原型脸当成该组基底影像，否则的话，递增k值后，重复上述两步骤，直到得出该组基底影像为止。

6.如权利要求5所述的人脸超分辨率重建方法，该方法使用一成本函数来决定k值，该成本函数所决定的k值使该训练集的一组原型脸的线性组合与该低分辨率人脸影像之间的差异为最小。

7.一种以样本为基础的人脸超分辨率重建系统，该系统包括：

一训练数据库，收集与储存多张训练人脸影像；

一投影模块，接收该多张训练影像，并透过一流形学习法求得一投影矩阵后，将该多张训练影像与一输入的低分辨率人脸影像，投影到同一流形域，得到N张投影后的训练影像y_train与一投影后的低分辨率人脸影像y_L；

一匹配模块，从该N张投影后的训练影像y_train中，筛选出k张与y_L可匹配的一训练集，k≤N；

一基底分解模块，使用基底分解来萃取出一低分辨率原型脸与该训练集的一组高分辨率原型脸，且该低分辨率原型脸与该组高分辨率原型脸之间的差异符合一门槛值要求；以及一人脸超分辨率模块，将符合该门槛值要求的该低分辨率原型脸与该组高分辨率原型脸当成一组基底影像，来重建出该低分辨率人脸影像的一高分辨率人脸影像，

其中该训练集是在N张投影后的训练影像y_train中找出与投影后的低分辨率人脸影像y_L最相似的k张人脸影像，k≤N。

8.如权利要求7所述的人脸超分辨率重建系统，其中当该低分辨率原型脸与该组高分辨率原型脸之间的差异还未符合该门槛值要求时，该基底分解模块递增k值，并且该匹配模块从N张投影后的训练影像y_train中，根据该递增k值，重新筛选出另一训练集，再透过该基底分解模块来萃取出另一组高分辨率原型脸，直到该低分辨率原型脸与最终的一组高分辨率原型脸之间的差异符合该槛门值要求为止。

9.如权利要求7所述的人脸超分辨率重建系统，该人脸超分辨率系统执行于一计算机系统中，该计算机系统至少包含：

一内存装置，该内存装置用来实现该训练数据库。

10.如权利要求7所述的人脸超分辨率重建系统，其中k值是自动被决定的，使用一成本函数来决定k值，该成本函数所决定的k值使该训练集的一组原型脸的线性组合与该低分辨率人脸影像之间的差异为最小。

11.如权利要求7所述的人脸超分辨率重建系统，其中该多张训练影像被投影到该同一流形域后的低分辨率人脸影像与高分辨率人脸影像的分布相似。

12.如权利要求7所述的人脸超分辨率重建系统，其中该人脸超分辨率模块透过结合多个参数的组合与该组基底影像，来得到该高分辨率人脸影像。

Images