CN101231693A - 由视频重建复原的面部图像的系统和方法 - Google Patents

Abstract

描述了一种用于执行面部图像复原的系统和方法。该系统包括：主观表观模型部件，用于将主观表观模型拟合到在多个视频帧中的每一个中发现的面部图像；配准部件，用于使每个面部图像的每个像素与每个其他面部图像的可比像素相配准；以及复原部件，用于由所述多个面部图像产生复原的面部图像。该方法包括：将主观表观模型拟合到在多个视频帧中的每一个中发现的面部图像，使每个所述面部图像的每个像素与每个其他面部图像的可比像素相配准，以及由面部图像产生复原的面部图像。

Description

由视频重建复原的面部图像的系统和方法

相关申请的交叉引用

本专利申请要求2007年1月24日提交的、序列号为60/886,433的临时专利申请的优先权，该临时专利申请的公开内容通过全文引用结合于此。

政府利益声明

本发明是在美国国家司法学会(National Institute of Justice)签订的合同No.2005-IJ-CX-K060-GOVT下由政府资助做出的。政府对本发明有一定权利。

技术领域

本发明通常涉及一种用于将主动表观模型拟合到视频的多个帧中的面部、配准每个面部并且使用该视频的多个帧产生复原的面部图像的系统和方法。

背景技术

在远处进行自动面部识别在诸如执法监督应用之类的许多现实世界场景中变得越来越重要。然而，在远处进行自动面部识别具有某些挑战性的方面。低图像分辨率和照相机模糊导致在许多情况下不能获得准确的面部识别。

在希望并入自动面部识别的许多监视系统中，在视频上捕获对象。公知的面部识别算法对静止图像进行处理，因此面部识别应用通常提取具有合适的面部视图的单个视频帧。在某种意义上，公知的面部识别应用仅使用视频中可得到的小部分信息。

发明内容

本发明描述了使用视频的多个帧来产生复原的面部图像的系统和方法。术语“复原的”用在这里表示得到的面部图像比来自多个视频帧中的任何一帧的任何单独的面部图像都要清晰。

本发明的一个示范性实施例是用于由视频的多个帧产生复原的面部图像的系统。该系统包括主观表观模型部件，用于将主观表观模型拟合到在多个视频帧中的每一个中发现的面部图像。该系统还包括配准部件，用于使每个所述面部图像的每个像素与每个其他面部图像的可比像素相配准，并且该系统包括复原部件，用于由多个面部图像产生复原的面部图像。

本发明的另一示范性实施例是用于由视频的多个帧产生复原的面部图像的方法。该方法包括：将主观表观模型拟合到在多个视频帧中的每一个中发现的面部图像，使每个面部图像的每个像素与每个其他面部图像的可比像素相配准，以及由多个面部图像产生复原的面部图像。

从以下结合附图提供的本发明的优选实施例的详细描述中可以更容易地理解这些以及其他优点和特征。

附图说明

图1是说明根据本发明示范性实施例的高质量面部复原系统的示意图。

图2(a)至2(c)示出了在图1的系统的主动表观模型中使用标志点。

图3示出了在图1的系统的主动表观模型中使用连续视频帧和使用标志点。

图4示出了根据本发明的另一示范性实施例的高质量面部复原系统。

图5是用在图4的系统中的示范性超分辨率算法的示意图。

图6(a)至6(c)比较原始视频帧与通过图1的系统的单个帧的输出以及通过图4的系统的多个帧的输出。

具体实施方式

如在此所描述和示出的本发明的实施例针对一种使用视频的多个帧来产生复原的面部图像的系统和方法。具体参考图1，示出了面部重建系统10。该系统10包括训练数据库12、视频输入18、模块之内的主观表观模型16、配准模块24、变形(warping)模块26、平均化模块28和维纳滤波模块30。

训练数据库12包括二维和可能是三维的面部图像。训练数据库12被用于训练主观表观模型(“AAM”)。训练数据库12可以是可公开得到的数据库，诸如是例如圣母大学生物识别数据库集合D(NotreDame Biometrics Database Collection D)(“集合D(CollectionD)”)。来自训练数据库12的面部图像被主观表观模型训练模块14用来大体上构造面部图像的表观和形状的数学表示。“表观”是指色化处理和纹理。这个数学表示是可调整的。

多帧复原中的第一步是配准。为了组合多个帧，必须映射每个帧，使得在一对帧之间，x₂是x₁的函数。这考虑到实物或场景点的第一图像坐标x₁＝(r₂，c₂)到第二图像坐标x₂＝(r₂，c₂)的转换。配准的一种方法是选择可以准确地对实际的帧到帧运动进行建模(诸如AAM)的参数化配准函数。

应用到面部图像的AAM是被设计来拟合不同方位的不同人脸的面部形状和表观的二级模型。主观形状子模型描述了一组标志点的位置分布。图2(a)示出了将被用在一系列面部图像配准中的33个标志点。使用主成分分析(PCA)和面部图像的训练集来减少形状空间的维数，同时捕获训练集总体上的变化的主要模式。

AAM主观形状子模型包括平均面部形状和一组特征矢量，该平均面部形状是来自数据库12的训练集中的所有面部形状的平均。平均面部形状是规范形状，并且被用作AAM主观表观子模型的参考帧。面部图像的每个训练集被变形到规范形状参考帧。

由于面部图像的每个训练集都被变形到规范形状参考帧，所以来自训练集的所有面部图像被表示为好像它们具有相同的形状。去除了形状变化，使用PCA选择一组表观特征矢量用于维数减小，在第二级对面部图像表观中的变化进行建模。

完全经过训练的、模块的主观表观模型16可以产生在表观和形状上连续变化的面部图像。出于复原面部图像的目的，当新面部出现在视频帧之一中时，模块的主观表观模型16被拟合到该新面部。这是通过求解面部形状和表观参数(特征系数)来完成的，使得模型生成的面部匹配视频帧中的面部。例如，可以使用同时反向合成(SIC，Simultaneous Inverse Compositional)算法将新面部拟合到视频帧之内的一个视频帧。

视频输入18可以包括一个或多个摄像机或被设置来自动拍摄一系列静止照片的一个或多个静止照相机，该视频输入18获得视频的多个帧(或静止照片)，每个视频帧都包括对象的面部图像。应理解的是，视频输入18可以是实况视频或法庭辩论(forensic)视频或者是静止照片。如果视频或静止照片是基于模拟的，则在传送帧之前要求模数转换器。视频输入18的输出帧被传送到用于检测面部图像的面部检测模块20。可以自动或手动进行检测。手动检测的实例可以包括使用图形用户接口。自动检测的实例可以包括宾夕法尼亚州匹兹堡的匹兹堡模式识别公司(Pittsburgh Pattern Recognition)所销售的面部检测软件包。

对于每个帧和每个检测到的面部，获得形状参数的矢量和表观参数的矢量。模块的AAM 16从主观表观模型训练模块14接收到面部形状和表观的特征矢量。此外，AAM拟合模块22确定形状参数的矢量和表观参数的矢量。形状参数的矢量控制面部的形状，而表观参数的矢量控制面部的表观。

虽然必须估计形状参数和表观参数以将该模型拟合到新面部，仍然只使用得到的形状参数用于进行配准。模块的AAM 16提供了在多个视频或静止帧上对准面部所需的配准。AAM的主观形状子模型部分在每个帧中定义了33个标志位置，(图2(a))。这些标志位置是所示出的面部上的49个三角形的顶点。

配准模块22完成的、任何两帧之间的面部配准可以变成分段的仿射变换或样条变换，仿射变换用于由相对应的三角形顶点所限定的每个三角形。为了避免靠近面部边缘的不连续性，通过外插面部标志集以定义延长的边界区来扩大面部的配准，(图2(b))。如所示出的那样，30个新标志已被定位在从所估计的面部边缘出去的固定距离，从而在边界形成45个新三角形。使用混合掩膜(blendingmask)(图2(c))来将多帧面部重建的面部区域与单个所观察的帧的非面部(背景)区域进行组合，因此给观察者提供了更自然的混合结果。混合掩膜M在基帧中被定义，该基帧在面部区域内部具有值1，并在那个区域的外部随着距面部区域的距离线性地衰减到零。混合掩膜M被用来采用下式混合复原的面部图像I_R和填充图像I_f：

I(r，c)＝M(r，c)I_R(r，c)+(1-M(R，c))I_f(R，c).

在配准功能期间，多个视频(或静止照片)帧之一被选为基帧L_k。由于运动发生在各个帧之间，并且运动在特定方向上通常是流畅的，所以可以将来自所有帧L₁到L_N的中间的帧选为基帧L_k。由那个基帧L_k产生新的参考帧H_k。该新参考帧H_k具有比基帧L_k的像素分辨率大的像素分辨率。

图3示出了一系列视频帧中的面部图像的配准。一旦配准了一系列两个或更多个视频帧，通过变形模块26完成面部图像的变形。然后使用由主观表观模型拟合模块22获得的配准信息来将每个输入视频(或静止照片)帧L₁-L_N的每个面部图像变形到新的参考帧H_k。

来自变形模块26的输出被输入到平均化模块28，该平均化模块28对所有被变形的视频(或静止照片)帧进行平均。可以通过逐像素地进行总计，然后除以帧数来完成平均化。

来自平均化模块28的输出然后被输入到维纳滤波30。通过成像过程由场景的连续图像形成初始输入的视频帧，该连续图像与点扩展函数(PSF)进行卷积、在图像网格上被采样、被加性高斯白噪声破坏并且被量化。PSF是造成需要减少的模糊的原因。加性噪声限制了减少模糊的能力。主要噪声源是CCD电子噪声，该CCD电子噪声可以很好地被建模为具有平谱的加性高斯。

所有图像信号被表示在空间频率域中，如果该变换原始图像是I_i(ω₁，ω₂)，光学传递函数(OTF，PSF的傅立叶变换)是H(ω₁，ω₂)，并且加性高斯噪声信号是N(ω₁，ω₂)，那么所观察的视频帧是：

G(ω₁，ω₂)＝H(ω₁，ω₂)I(ω₁，ω₂)+N(ω₁，ω₂).

维纳滤波30是用于单个图像去模糊的经典方法。该维纳滤波30提供了I(ω₁，ω₂)的最小均方误差(MMSE)。给出非模糊图像的有噪模糊观察为G(ω₁，ω₂)，并且对未知图像信号不做假设，维纳滤波30为：

I(ω₁，ω₂)＝(H^*(ω₁，ω₂))G(ω₁，ω₂)/|(H(ω₁，ω₂)|²+K).参数H^*(ω₁，ω₂)是H(ω₁，ω₂)的复共轭，并且参数K是噪声与信号的功率比，从而形成了MMSE维纳滤波。实际上，调整参数K以平衡噪声放大和锐化。如果参数K过大，则图像不能具有复原到最大可能程度的高空间频率。如果参数K过小，则复原的图像被放大的高空间频率噪声破坏。因为K趋向于零，并且假设H(ω₁，ω₂)＞0，所以维纳滤波接近理想的反向滤波，这大大放大了高频噪声：

I(ω₁，ω₂)＝G(ω₁，ω₂)/(H(ω₁，ω₂).

维纳滤波30对模糊的有噪图像的影响是：(1)通过没有被PSF衰减并且具有高信噪比的空间频率；(2)放大被PSF衰减并且具有高信噪比的空间频率；以及(3)衰减具有低信噪比的空间频率。

基本的多帧复原算法是通过对连续视频帧L₁到L_N的被对准的面部区域进行平均并且对结果应用维纳滤波来工作的。帧平均化减小了加性图像噪声并且维纳滤波使PSF的效应变清晰。应用到时间平均帧的维纳滤波可以比应用到单个视频帧的维纳滤波更准确地再现被PSF衰减的高空间频率处的图像。通过更准确地再现高空间频率，复原的面部图像40将具有更高的有效分辨率并且在细节上更清晰。这是由于通过平均化过程减小了在这些高空间频率处的图像噪声。被方差为σ²的零均值加性高斯噪声破坏的N个测量结果中的每个都给出方差为σ²/N的那个值的估计。对N个被配准且被变形的图像进行平均将加性噪声方差和K的合适值减小1/N倍。

现在具体参考图4，示出了面部重建系统110。与系统10类似(图1)，系统110包含了训练数据库12、视频输入18和模块之内的主观表观模型16，并且这些部件中的每一个都类似于在上述系统10中那样运行。系统110还包括超分辨率模块124，用于产生复原的面部图像140。

在操作中，系统110将主观表观模型拟合到每个帧中的面部图像。然后组合一组多个帧，例如，大约N＝10个连续帧，以产生超分辨的图像140。在一个可能的实施例中，针对每个帧建模图像形成过程，该图像形成过程包括面部运动、照相机PSF和采样。为了求解超分辨的图像140，定义具有L1范数数据保真度分量(norm data fidelitycomponent)的代价函数，并且使用双边总变差正则化(Bilateral TotalVariation regularization)。使用代价函数的解析梯度，最速下降搜索产生超分辨的面部图像140。

通过合适的超分辨率算法124完成面部图像到复原的面部图像140的超分辨，所述超分辨率算法124诸如类似于Farsiu等人在“Fastand robust multiframe super-resolution”(IEEE Transactions onImage Processing，第13卷，第10期，第1327-1344页，2004年10月)中所提出的算法。

N个输入帧中的每一个Y_i(其中i是1到N)存在于被标记为L_i的低分辨率参考帧中。这样的参考帧封装了图像大小和主观表观模型标志点。配准过程允许我们在参考帧之间对图像进行变形。对于每个L_i，产生相对应的高分辨率参考帧H_i，该高分辨率参考帧H_i比L_i在每维上都具有更高的像素分辨率。在帧H_k中，其中k＝N/2，求解超分辨率图像40。

为了初始化超分辨率算法124，通过将N个输入帧中的每一个Y_i的面部区域变形到帧H_k并且进行平均，产生初始超分辨的图像140_i。变形对每个面部图像进行放大和对准。该结果与被放大到帧H_k的输入图像Y_k的非面部区域进行混合。超分辨率过程使用图像形成模型，该图像形成模型将每个输入帧Y_i与帧H_k中的未知超分辨率图像X相关。具体参考图5，一组迭代改善的超分辨的图像140₁到140_N的初始超分辨的图像(通常被示为140_i)被传送到图像形成模型142。当图像形成模型142将X相关到每个Y_i时，该图像形成模型142说明面部运动、照相机模糊和检测器采样。确切地说，用于多个帧1到N中的每一个的表观形状模型19(通常被示为ASM 19₁到ASM 19_N)连同照相机模糊一起被输入到图像形成模型142和初始超分辨的图像140_i。

对于每个输入帧19_i，配准算子F_i将X从帧H_k变形到帧H_i，帧H_i的分辨率是L_i的两倍，但是与Y_i对准。可以使用最近邻域、双线性或任何其他内插法用于变形运算。照相机模糊算子H不依赖于变量i，并且在高分辨率帧H_i内应用PSF。大多数安装的监视照相机受到确定真正的PSF的挑战。图像形成模型142假设高斯形状的PSF，该高斯形状的PSF具有手选宽度σ。检测器的采样运算由稀疏矩阵D表示，该稀疏矩阵D在每维中每隔一个像素进行提取，从而从帧H_i转换到L_i(输入帧Y_i的参考帧)。如果V_i代表加性像素强度噪声，那么完整的线性图像形成过程是：

Y_i＝DHF_iX+V_i.

然后将输出Y_i输入到数据保真度模块146，该数据保真度模块146确定数据保真度代价和这个代价相对于超分辨的图像像素值的梯度。如下所定义的那样，这个数据保真度代价J_DF(x)是观察的模型与实际观察之间的差的L₁范数加上正则化项Ψ(x)。可用于确定超分辨的图像X的一种优化算法是：

$J_{\mathrm{DF}}\underset{i=1}{\overset{n}{\left(X\right)}}=\mathrm{\Σ}\left|\right|{\mathrm{DHF}}_{i}X-Y_i\left|\right|.$

L₁范数被用在数据保真度模块146中，用于对于不正确的建模假设和配准误差而稳定。

同时，初始超分辨的图像140_i被传送到正则化模块150，该正则化模块150使用双边总变差(BTV)，用于抑制解趋向于恶化超分辨的图像。BTV代价函数是：

$\mathrm{\Ψ}\left(X\right)=\underset{l=-P}{\overset{P}{\mathrm{\Σ}}}\underset{m=-P}{\overset{P}{\mathrm{\Σ}}}{\mathrm{\α}}^{\left|m\right|+\left|l\right|}{\left|\right|X-{S^l}_x{S^m}_{y}X\left|\right|}_l.$

这里，s^l _x和s^m _y是将图像沿x和y方向移位l和m个像素的算子。在BTV的情况下，在其上应用绝对像素差约束的邻域可以比用于总变差(TV)的邻域更大，其中P＞1。邻域的大小由参数P控制，并且约束强度衰减由α(0＜α＜1)控制。

为了求解超分辨率图像40，如上所述，首先将X初始化到初始图像140₁。初始图像140₁被传送到图像形成模块142和正则化模块150。图像形成模块142将结果输出到数据保真度模块146。数据保真度模块146输出数据保真度代价函数的解析梯度148_i，并且正则化模块150输出正则化代价函数的解析梯度152_i。这些输出148_i、152_i被输入到迭代优化模块154_i。采用最速下降搜索，其中使用β＝0.01的步长以及固定次数的迭代，诸如30次迭代：

$X_{n+1}=X_n-\mathrm{\β}\{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{F^T}_i{H}^T{D}^T\mathrm{sign}({\mathrm{DHF}}_i{X}_n-Y_i)+$

$\mathrm{\λ}\underset{l=-P}{\overset{P}{\mathrm{\Σ}}}\underset{m=-P}{\overset{P}{\mathrm{\Σ}}}{\mathrm{\α}}^{\left|m\right|+\left|l\right|}(I-{S^{-m}}_y{S^{-l}}_y)\mathrm{sign}(X_n-{S^l}_x{S^m}_y{X}_n\}.$

当所观察的视频是彩色时，超分辨率处理仅被应用到亮度分量。初始图像被转换到NTSC彩色空间(YIQ)，并针对所有输入帧计算亮度(Y)分量。超分辨的亮度结果与来自初始图像的色度分量进行组合。

参考图6(a)到图6(c)，示出了原始视频帧(图6(a))与增强的视频帧的比较。图6(b)示出了维纳滤波在单个视频帧上的结果。图6(c)示出了在多个连续视频帧上利用超分辨率算法124的超分辨率的结果。显然，图6(b)和6(c)中所示的面部图像的清晰度在图6(a)上递增地提高。

虽然仅结合了有限数目的实施例详细描述了本发明，应容易理解的是本发明并不限于这些公开的实施例。相反，可以修改本发明以并入此前并未描述但是与本发明的精神和范围相称的任何数目的变型、变更、置换或等效配置。此外，虽然描述了本发明的各种实施例，但是应理解的是，本发明的那些方面可以仅包括所描述的实施例中的某些实施例。因此，本发明并不应看成是由以上说明来限制，而是仅由随附的权利要求的范围来限制。

                   元件列表

元件名称                           元件编号

面部重建系统                       10

训练数据库                         12

视频输入                           18

表观形状模型                       19

面部检测模块                       20

AAM拟合模块                        22

配准模块                           24

变形模块                           26

平均化模块                         28

维纳滤波模块                       30

复原的面部图像                     40

面部重建系统                       110

超分辨率模块                       124

复原的面部图像                     140

图像形成模型                       142

数据保真度模块                     146

数据保真度代价函数的解析梯度       148_i

正则化模块                         150

正则化代价函数的解析梯度           152_i

迭代优化模块                       154_i

Claims (10)

1.一种用于由视频的多个帧产生复原的面部图像的系统(10)，其包括：

主观形状部件(16)，用于将主观形状模型拟合到在多个视频帧(18)中的每一个中发现的面部图像；

配准部件(24)，用于使每个所述面部图像的面部区域之内的每个位置与任何其他面部图像中的相对应位置相配准；以及

复原部件，用于由所述多个面部图像产生复原的面部图像(40)。

2.根据权利要求1所述的系统，其中，所述主观形状部件包括：

视频输入模块(18)，用于提供多个视频帧；

面部检测模块(20)，适于在所述多个视频帧中的每一个中检测面部；以及

拟合模块(22)，用于确定面部图像模型参数，使得该模型严密地类似所述多个视频帧中的每一个中的面部。

3.根据权利要求1所述的系统，其中，所述复原部件包括超分辨率算法(124)。

4.根据权利要求3所述的系统，其中，所述超分辨率算法包括：

图像形成模型(IFM)(142)，该图像形成模型(IFM)(142)针对所述多个视频帧中的每一个使用主观形状模型，用于产生IFM面部图像；以及

数据保真度模型(146)，该数据保真度模型(146)使用来自所述多个视频帧中的每一个的实际面部图像来与IFM面部图像相比较，所述数据保真度模型包括代价函数。

5.根据权利要求4所述的系统，其包括正则化模型(150)，用于抑制高空间频率失真，所述正则化模型包括第二代价函数。

6.根据权利要求1所述的系统，其中，所述复原部件包括：

变形模块(26)，用于获取来自配准部件的输出，以将所述多个视频帧中的每一个的每个面部图像变形到新的参考帧，该新的参考帧具有比所述多个视频帧的像素分辨率更大的像素分辨率；

平均化模块(28)，用于逐个像素地对每个被变形的面部图像进行平均；以及

图像复原算法(30)，用于由被平均的面部图像产生复原的面部图像。

7.根据权利要求6所述的系统，其中，所述图像复原算法包括维纳滤波。

8.根据权利要求6所述的系统，其中，所述新的参考帧的像素分辨率比所述多个视频帧的像素分辨率大两倍。

9.一种用于由视频的多个帧产生复原的面部图像的方法，其包括：

将主观形状模型拟合到在多个视频帧中的每一个中发现的面部图像；

使每个所述面部图像的每个图像位置与每个其他面部图像的相对应的图像位置相配准；以及

由多个面部图像产生复原的面部图像。

10.根据权利要求9所述的方法，其中，所述拟合主观表观模型包括：

访问面部图像的数据库；以及

由该数据库构造面部图像的表观和形状的一般数学表示。

Images