CN105590091A - 一种面部识别方法及其系统 - Google Patents

Abstract

本发明公开了一种面部识别方法及其系统。所述方法包括：将输入视频分割为若干不同的视频帧集合以及在输入视频的视频帧中检测面部。还包括，生成输入视频的面部轨迹。进一步的，应用基于鲁棒协同表示的分类算法，在具有复杂的遮挡及噪声、模糊影响的面部侧视样本中恢复清晰图像并进行分类。另外，输出具有已识别面部图像的视频。

Description

一种面部识别方法及其系统

技术领域

本发明涉及计算机处理技术领域，尤其涉及一种面部识别方法及其系统。

背景技术

面部识别系统在现今商业和娱乐产业中越发受到青睐。在视频中进行面部识别是一个以计算机视角，利用一系列包含有已知辨认特点的面部的给定图像，在一个视频序列中定位及辨认面部的技术问题。例如，由于其在发展应用中的巨大潜力，视频面部识别已经在多个领域中推动使用，包括视频保卫监控、现实增强、自动视频标记、医疗分析、质量控制以及视频课程评估。虽然对于人脑而言，面部识别是一项非常简单的任务，但由于目标的图像在方向、光照条件、形状以及遮挡情况上存在有多种变化，因此，其对于机器而言是一项挑战。

在使用现有的技术进行面部识别时仍存在许多的挑战。近来，使用基于稀疏表达的分类(SRC)及其相关拓展来进行面部识别(FR)已经被证明能够提供现有最佳的识别效果。其主要思想为：一个目标面部样本可以由在不同情况下(例如姿态、光照情况、遮挡情况等等)获取的同一目标的可使用图像的稀疏线性组合来表示。当面部图像在低维空间内，通过描述重要以及容易辨认的特征来表示时，上述思想也适用。为了进行稀疏表示，可以应用l₁优化算法。然后，选出服从最小重构错误的面部类别用于分类或者辨认那些具有可使用的测试图像或者样本的目标。稀疏编码也已经被提出可协同用于解决模糊人脸识别以及盲图像复原的问题。

但是，应用l₁优化算法来提升面部识别率仅能在某些特定的情况下取得成功。具体而言，基于稀疏表示的面部识别假设训练图像已经被有效的控制并且每个类别中均具有充足数量的样本。

从另外的角度来看，为了消除训练数据中的孤立像素点，可以引入面部图像的低秩结构。在图像属于不同光照情况下的一些凸朗伯体模型的假设下，相类似面部图像的低秩结构被展现。为了从包含有错误的数据中恢复子空间结构，可以采用例如鲁棒主成分分析(RobustPCA)以及低秩表示(LRR)的方法。然而，上述方法均为直推式并且无法有效的在新数据中清除噪声、模糊等的影响。理想的面部识别效果不仅在于能够从受到噪声、模糊等影响的训练数据中恢复清晰的图像，而且对于任何给定的测试样本，均能够在复杂的遮挡情况及噪声、模糊等影响的数据中恢复清晰的图像。

本发明公开的方法及其系统用于解决现有技术中的一个或者多个问题。

发明概述

本发明的一方面公开了一种面部识别方法。所述方法包括：将输入视频分割为若干不同的视频帧集合以及在输入视频的视频帧中检测面部。还包括，生成输入视频的面部轨迹。进一步的，应用基于鲁棒协同表示的分类算法，在具有复杂的遮挡及噪声、模糊影响的面部侧视样本中恢复清晰图像并进行分类。另外，输出具有已识别面部图像的视频。

本发明另一方面公开了一种面部识别系统。所述系统包括：面部检测模块，用于在输入视频的视频帧中自动定位面部；算法模块，用于通过改进的鲁邦主成分分析算法估算获得清晰图像从而初始化LRR-HQ-L1算法，并通过LRR-HQ-L1算法计算获得权重矩阵；面部分类器，用于使用鲁棒协同表示算法进行分类。字典，用于在数据库中存储面部图像；以及输出模块，输出具有已识别面部图像的视频。

本发明的其他方面，所属技术领域技术人员能够依据本发明的权利要求书，说明书，以及附图有效实施并充分公开。

附图简要说明

图1为本发明具体实施方式的工作环境示意图。

图2本发明具体实施方式的计算系统的结构框图。

图3为本发明具体实施方式的面部识别系统的结构框图。

图4为本发明具体实施方式的面部识别方法的方法流程图。

图5为本发明具体实施方式的视频流组成成分分割的示意图。

图6为本发明具体实施方式的鲁棒协同表示的示意图。

图7为本发明另一具体实施方式的鲁棒协同表示的示意图。

详细说明

附图中展示的部分将被引用以具体说明，阐述本发明具体技术实施方案。说明书中引用的数字代表附图的相应部分。

图1为本发明具体实施方式中的工作环境100。如图1所示，所述工作环境100包括：电视机102，遥控器104，服务器106，用户108，网络系统110。还可以包括其他合适的设备。

电视机102可以是任何合适类型的电视机，例如等离子电视，LCD电视，背投式电视，智能电视或者非智能电视。电视机102还可以包括一个计算系统，例如个人电脑，掌上电脑或者智能手机等。进一步的，所述电视机102还可以是任何内容演示的设备。所述设备由遥控器104控制，能够在一个到多个频道中演示多个节目。

所述遥控器104可以是任何合适类型的能够遥控操作电视机102的遥控器，例如配套的电视遥控器，通用电视遥控器，掌上电脑，智能手机或者其他能够实现遥控功能的智能设备。遥控器104还可以包括其他不同类型的设备，例如动作感应遥控设备，图像感应遥控设备以及其他一些简单输入设备，例如键盘，鼠标，声控输入设备等。

具体的，所述服务器106可以是任何用于提供个人信息内容给用户108的一个或者多个计算机服务器。所述服务器106还用于辅助遥控器104和电视机102之间进行通信连接，数据存储和数据处理。电视机102，遥控器104以及服务器106通过网络系统110，例如有线网络，手机网络，或者其他具体的网络建立通信连接。

用户108使用遥控器104控制电视机102播放不同的节目或者进行其他用户感兴趣的活动。如果电视机102配备有动作感应或者图像感应装置，用户还可以简单的使用手势动作进行控制。用户108可以是一个人也可以是多个，例如全部家庭成员在一起观看电视节目。

电视机102，遥控器104和/或服务器106在一个合适的电子计算平台实现其功能。图2是本发明具体实施方式中的一种可用于实现上述设备102、104和/或106的功能的计算系统200的结构框图。

如图2所示，所述计算系统包括一个处理器202，存储器204，播放器206，通信模块208，数据库210以及外围设备212。所述计算系统可以减省上述设备，也可以添加一些其他类型的设备，而不限于上述设备。

所述处理器202可以是任何合适的处理器或处理器组。具体的，所述处理器202为能够进行多线程处理的多核心处理器。存储器204可以是任何合适的存储设备，例如ROM，RAM，闪存或者大容量存储器，例如CD-ROM，硬盘等。存储器204用于存储为进行各种数据处理而预设的计算机运行程序。

所述外围设备212具体包括：各种类型的传感器以及输入，输出设备，例如键盘，鼠标。通信模块208具体包括：各类网络交互设备，用于在设备间通过网络系统建立连接。数据库210具体包括一到多个用于存储不同数据以及对数据进行一些处理，例如搜索数据的数据库。

在实际操作中，所示服务器106、电视机102和/或遥控器104可以为用户108执行面部识别程序。

图3为本发明具体实施例的面部识别系统300的功能框图。如图3所示，所述面部识别系统300包括输入视频302、面部检测模块304、运算模块306、面部分类模块308,、词典310以及输出模块312。上述系统可以减省所述设备，也可以添加一些其他类型的设备，而不限于所述设备。所述系统300具体可以由硬件实现其功能，也可以由软件实现其功能，还可以结合硬件和软件一起实现其功能。

所述输入视频302可以包括任何合适类型的资源的视频内容并且可以包含有多种不同的视频资源。源自于所述输入视频302的内容可以包括视频数据以及元数据。输入视频的一系列视频帧包含了输入视频302的内容并用于其他模块进行处理。当然，所述输入视频也可以是一幅单独的图片。所述输入视频还可以被分为多个不同的视频帧集合。

所述面部检测模块304可以用于一系列视频帧中定位面部。所述面部检测模块304可以内置在电视机102中，或者作为一个独立的模块设置在电视机102外。

所述运算模块306用于通过改进的鲁棒主成分分析算法(IRPCA)来初始化l₁半二次的低秩表示算法(LRR-HQ-L1)并且通过所述l₁半二次的低秩表示算法来计算获得所述权重矩阵，从而在复杂的遮挡及噪声、模糊的影响中恢复清晰的图像。

所述面部分类模块308用于通过鲁棒协同表示算法(RCR)进行分类操作并且给出选出的最终类别辨认特性。

具体的，所述字典310可以包括任何合适的数据库用于存储面部图像等。例如，一个存储有面部相关图像收集结果的本地或在线数据库。更具体的，对于在一部给定的电影以及对应的演员集合中进行面部识别，每个演员(如目标演员)的姓名以及电影名可以作为检索关键字，在字典中检索获得一系列图像，其中每个图像中均包含有一个或者多个演员的面部。

所述输出模块312用于输出已辨认面部。上述模块可以整合到一起或者减省，也可以添加一些其他功能模块。

图4为本发明具体实施例的在所述面部识别系统的各个模块中执行的面部识别程序400的方法流程图。

如图4所示，首先，将输入视频分割为若干不同的视频帧集合(S402)。由于视频是由一系列的视频帧组成，并且在现有常用的视频帧率(例如25帧/每秒)下，相邻视频帧的变化非常小。因此，可以使用一些聚类或者组合技术将整个视频分割为若干个由相似的视频帧组成的视频帧集合进行进一步的处理来替代原有独立的处理每一视频帧的处理方法。

例如，图5为将一个视频流分割为若干个不同的视频成分的示意图。如图5所示，一个视频流可以分割为若干个场景，一个场景可以分割为若干个镜头，并且一个镜头可以分割为若干个视频帧等。所述视频帧可以进一步分割为视频帧的目标及特征，所述目标及特征可以被提取用于进一步的处理。

继续参阅图4，在获取输入视频序列后，所述视频序列被简化为一个与通过记录在输入视频帧的每个摄像机参数设置，与初始摄像机参数设置对齐的已记录摄像机参数设置一致的视频帧序列(S404)。

典型的电影视频序列是由多个摄影镜头以交错形式组成，并且“摄像机获取的内容”是一个在给定的摄像机参数设置下连续的记录过程。在此使用术语“摄像机参数设置记录结果”(cameraregistration)表示采用不同摄像机拍摄的视频帧形成的某一视频序列或者视频流的摄像机参数设置记录结果。所述“摄像机参数设置记录结果”的概念源自于视频编辑中视频重构的“摄像机获取的内容”(cameratake)。

典型的视频序列是一个由多个镜头以交错形式组成，并且“摄像机获取的内容”是一个在给定的摄像机参数设置下连续的记录过程。通过记录输入视频帧的每一个摄像机参数设置，所述原始的镜头交错形式可以被分离为与初始摄像机参数设置对齐的“已记录摄像机参数设置”(registeredcamera)对应的一系列视频帧序列。

在定义摄像机获取的内容后，检测在视频中每一视频帧的面部(S406)。在每一视频帧中进行面部检测能够在进行面部识别之前有效的提供面部轨迹。这样的，可以在每个摄像机获取的内容中的每一视频帧中进行面部检测。所述面部检测能够自动的在一系列视频帧中定位面部的位置。

在同一个摄像机获取的内容中检测出的面部的集合可以作为面部轨迹。通过这种方式，可以生成在整个视频中的面部轨迹(S408)。具体的，一个新的面部轨迹通过在每一摄像机获取的内容中的第一个检测出的面部进行初始化。对于摄像机获取的内容中的其他视频帧，当来自于相邻视频帧之间的两个检测出的面部的距离超出预定的阈值时，生成一个新的面部轨迹。否则，将其加入到原有的面部轨迹中。

进一步的，使用基于鲁棒协同表示分类器，在具有复杂的遮挡及噪声、模糊影响的面部测试样本中恢复一个清晰的图像并进行分类(S410)。现有的孤立点检测算法及分类器能够方便的整合到一个鲁棒框架中用于协同表示。令表示测试样本，表示c个目标堆叠在列的样本集合的矩阵(如字典)，其中表示第i^th个目标的n_i个样本集合从而令∑_in_i＝n。

假设孤立点检测结果输入测试样本y以及面部字典T，并且形成权重对角矩阵W。这样的w_y是一个具有权重的测试样本，其中孤立点部分(例如太阳眼镜的组成像素)被赋予较小的权重(接近0)。所述孤立点检测(OLD)的步骤通过如下算式表示：

W＝OLD(y，T)(1)

令分类过程输入测试样本y、面部字典T以及权重对角矩阵W中，并输出分类结果索引，所述分类结果索引通过如下算式表示：

Identity(y)＝CLF(y，T，W)(2)

算式1可以通过l₁半二次(HalfQuardratic，HQ)最小化来求解，所述l₁半二次优化方法已经被证明能够在遮挡和噪声、模糊等影响下保持鲁棒。

图6为本发明具体实施例的鲁棒协同表示方法的方法流程图。如图6所示，为了初始化用于半二次(HQ)最小化的W，通过改进的鲁棒主成分分析来获得一幅清晰的测试图像(S4102)。

若函数K由两组变量a和w所决定，函数k为半二次，从而使函数k为a的二次函数。所述改进的半二次函数k由一些非二次准则J组成，并可以由如下算式表示：

$\underset{W}{min}K(a,w)=J\left(a\right),---\left(3\right)$

J(a)为重构函数，由如下算式定义：

J(a)＝Φ(a)+Q(a).(4)

其中，Φ(a)和Q(a)分别定义如下：

$\begin{array}{c}\mathrm{\Φ}\left(a\right)={\mathrm{\Σ}}_{i=1}^d\mathrm{\φ}\left({\mathrm{\δ}}_i\right)\\ Q\left(a\right)=\left|\right|a|{|}_1\end{array}.---\left(5\right)$

φ(δ_i)的定义如下：

$\mathrm{\φ}\left({\mathrm{\δ}}_i\right)=\underset{w_i}{min}\frac{1}{2}{w}_i{\left({\mathrm{\δ}}_i\right)}^2+\mathrm{\ψ}\left(w_i\right).---\left(6\right)$

依据算式(4),(5)和(6),K(a，w)由如下算式表示：:

$K(a,w)=\left|\right|W(y-Ta)|{|}_2^2+\mathrm{\ψ}\left(w\right)+\mathrm{\λ}|\left|a\right|{|}_1---\left(7\right)$

其中，ψ可以通过凸对偶关系，由φ所定义。所述l₁半二次问题通过a和w的交替迭代不断优化以达到最小值。

${{\hat{w}}_i}^{(t+1)}=\frac{{\mathrm{\φ}}^{\′}\left({\mathrm{\δ}}_i^t\right)}{{\mathrm{\δ}}_i^t},i=1,...,d---\left(8\right)$

$a^{(t+1)}={\mathrm{argmin}}_a\left|\right|W^{t+1}(y-Ta)|{|}_2^2+\mathrm{\λ}|\left|a\right|{|}_1.---\left(9\right)$

选择使用的势函数φ以及其对应的权重函数w可以通过M估计法或者其他能够满足所述半二次势函数情况的函数所确定。

上述迭代算法是一种迭代重加权最小二乘法(IRLS)算法。因此，在半二次及重加权最小二乘之间具有清晰的联系。即使在某些情况下，对于任何初始值K(a，b)具有全局收敛性，但是半二次函数在l₁框架中是否全局收敛仍然是不确定的。对于不同的初始值获得不同的W。选择恰当的初始值对于面部识别(FR)的效果非常重要。首先，列出两个最具潜力的初始值然后，初始化的求解过程具体如下：

1、该初始化可以是由测试样本减去平均字典图像。亦即 ${\mathrm{\δ}}_i^0={\[{\mathrm{T\α}}^0-y\]}_i,$ 其中， $a^0=\[\frac{1}{n},...,\frac{1}{n}\].$

2、的另一个基于a⁰的可能解为a⁰的幼稚重构。亦即，a⁰＝T/y。

第一种解的表示可能与测试样本的面部偏离很多，由于平均面部并不需要与测试样本相似并且存在非常多错误。因此，当包含有错误的平均面部进行初始化时，其会导致错误W。在测试样本和字典中的面部存在一些小的模糊及噪声影响时，第二种解的表示可以形成一个准确的W。在此时，在W中的所有元素均接近于0。但是，当测试样本中存在许多模糊及噪声影响时，该幼稚重构会使用完全错误的权重来初始化IRLS。

没有噪声及模糊影响的测试样本才是一个用于初始化IRLS的理想化样本。所述IRLS的初始化在面部识别(FR)中发挥重要的作用。由于理想化样本很难出现，因此可以通过低秩的IRPCA测算出的没有噪声及模糊影响的清晰面部来初始化上述算法。亦即，IRPCA能够用来重构一个接近的清晰面部来初始化残差图像其能够在较少的IRLS迭代次数内提供一个准确的W。

为了恢复一个IRPCA图像，首先，需要恢复一个低秩表示的面部字典。为了处理多个低秩子空间，称为低秩表示(LRR)的一般秩最小化问题具体可以通过如下算式表示：

$\begin{array}{cc}\underset{Z,E}{\min imize}& \left|\right|Z|{|}_{*}+\mathrm{\λ}|\left|E\right|{|}_{2,1}\\ subjectto& T=AZ+E\end{array}.---\left(10\right)$

其中，λ>0为参数,并且Z为对于字典A的数据T的最低秩表示。为了恢复判别式字典，在LRR问题中突出类别矩阵之间的不一致性，具体定义如下：

$\begin{array}{cc}\underset{Z,E}{\min imize}& \left|\right|Z_i|{|}_{*}+\mathrm{\λ}|\left|E_i\right|{|}_{2,1}+\frac{\mathrm{\ζ}}{2}{\mathrm{\Σ}}_{i=1}^n\left|\right|{\left(A_i{Z}_i\right)}^T{A}_i{Z}_i|{|}_F^2\\ subjectto& T_i=A_i{Z}_i+E_i\end{array}.---\left(11\right)$

其中，为对于字典A_i的数据T_i的最低秩表示i表示字典中的第i个面部类别，ζ为标量参数。

IRPCA的目标在于整合PCA和RPCA两者的优势。亦即，所述IRPCA不仅能处理带纯粹噪声及模糊影响的数据而且具有很好的处理新数据的方法。在获取没有噪声及模糊影响的清晰训练面部AZ来求解算式(11)后，低秩投影矩阵乘以在T中的任一面部。因此，上述方法形成了与AZ中相对应的清晰面部。在学习如何使用训练图像从清晰面部中去除噪声及模糊影响后，所有新的数据y均可以进行处理，并且执行操作Py来消除噪声及模糊影响。矩阵P可以定义如下：

$\begin{array}{cc}\underset{P}{\min imize}& \left|\right|P|{|}_{*}\\ subjectto& AZ=PT\end{array}.---\left(12\right)$

算式12为凸，但并非强凸。因此，其可能存在多个最优解。已经

证明算式12的最小值一般的可以唯一定义如下：

P^*＝AZT⁺(13)

在获得矩阵P后，即可获得清晰图像Py。由于矩阵P是一个用于学习如何消除噪声或者模糊影响的投影矩阵，基于训练数据，上述两组变量可以确定如下：

1、无需保证给出的新样本是否具有面部字典知晓的噪声或者模糊。例如，一个测试样本可能存在一个从未在训练样本的面部中出现的面部遮挡情况。

2、即使所述面部遮挡情况(例如太阳眼镜)出现在训练样本中，无需保证该面部遮挡情况是否与训练样本中的面部遮挡情况类似。因此，在P中学习的噪声或者模糊影响可能与训练样本中相对应的情况不相同。为了避免这一情况，所述方法需要平衡Py图像以及平均图像由此，所述清晰图像被引入并表示如下：

$y_c=\mathrm{\θ}Py+(1-\mathrm{\θ})\stackrel{\‾}{AZ},---\left(14\right)$

其中，0≤θ≤1.θ可以通过经验估计，并且对那些清晰的训练样本以及没有噪声及模糊影响可供学习的数据集合赋予较小的权重。

表格一为IRPCA初始化算法的具体实施例。由于用于计算矩阵P的所有步骤均为离线，所以无法加入分类操作的显著消耗。所述用于计算y_c的算法可以总结为如表格一所示的算法1。

在获取清晰图像后，可以用来初始化l₁半二次的低秩表示算法(LRR-HQ-L1)(S4104)。亦即，命名为LRR-HQ-L1算法的孤立点检测(OLD)方法如表格二中的算法2所示。

图7为本发明所述的鲁棒协同表示的另一具体实施例的方法流程图。如图7所示，第一行显示了一个源自于带有50％遮挡的AR面部数据测试的面部的实例以及对应的真实面部。所述第二行显示了一个使用算法1的重构面部y_c。所述重构面部与理想定义类似(需要移除更多的噪声)，而且其能够作为算法1初始化的良好候选。下一图像则显示了一个使用LRR-HQ-L1算法2的已学习权重面部。最后的两个图像分别显示了在经过分类后的重构面部以及在训练样本和字典样本之间的误差图像。在第三行中，第一个图像为平均图像Ta，其中，由训练样本计算获得。显然的，这一图像与理想定义不相似。第二个图像为权重图像。第三个图像显示了经过分类后的重构面部，而最后一个图像为训练样本与字典样本之间的误差。可以清楚的看到，该误差的计算结果明显好于由y_c初始化的算法1计算获得的误差。

在获得权重矩阵W后，执行分类任务(S4106)。面部分类(CLF)可以使用l₂协同表示来求解，因为l₂协同表示在没有遮挡或者噪声、模糊影响的环境下可以提供比l₁优化更好的识别率。由于已经给出孤立点检测任务W。因此，所述分类任务可以看作是一个没有遮挡或者噪声、模糊影响的任务。此处使用l₁半二次最小化结合l₂协同表示来进行分类。

用于分类的估计向量f被用来求解正则化最小二乘问题。

$f={\mathrm{argmin}}_f\left|\right|W(y-Tf)|{|}_2^2+\mathrm{\λ}|\left|f\right|{|}_2^2,---\left(15\right)$

其中为估计向量。

在获得向量f后，通过与SRC相同的方式，可以形成面部类别的辨别特性。鲁棒协同表示算法总结如表格三的算法3所示。

l₁最小值用于求解分类任务。所述方法确定鲁棒稀疏编码(RSC)以及l₁HQ。通过选择使用l₂约束来求解孤立点检测问题，所述方法利用l₂来定义正则化鲁棒编码(RRC)。在RRC中，l₁或者l₂的最小化问题转换为一个包含有预定设计，用于鲁棒面部识别的权重函数的迭代重加权正则化鲁棒编码问题。

在无噪声或模糊影响的环境下，使用l₁来求解分类问题并不是最优的选择。相类似的，对于孤立点检测算法，由于面部识别的线性系统通常是不充分的，选择l₂来求解孤立点检测问题会造成数据过拟合并且导致错误的W和较差的面部识别表现。

由于面部识别可以分为两个部分，OLD以及CLF。因此，面部识别率可以通过整合多种孤立点检测及分类算法来得到提升。

进一步的，可以使用如下的主动鲁棒协同表达分类器(AECR-C)。其中，每一类别的残差可以定义如下：

$e_i\left(y\right)={\mathrm{\Σ}}_{j=1}^k{\mathrm{\ξ}}_j{e}_i^j\left(y\right)---\left(16\right)$

其中，表示第j个分类器的第i个分类的残差，其具体定义如下：

$e_i^j\left(y\right)=\left|\right|W_j(y-T_i{f}_i^j)|{|}_2,---\left(17\right)$

其中，W_j,及ξ_j分别表示孤立点检测权重矩阵、估计向量以及第j个分类器的权重。

不同的孤立点检测算法可以提供选择使用的不同的权重矩阵W。在算式(16)中，当k＝2时，使用如算法1所描述的方法进行后续步骤，但其具有两个不同的初始值，亦即：以及其中 $a^0=\[\frac{1}{n},...,\frac{1}{n}\].$

假设权重矩阵来自第一个初始值W_lrr以及第二个初始值W_mean，所述目标的定义可以通过两个分类器来决定。

$Identity\left(y\right)={\mathrm{argmin}}_i\{{\mathrm{\ξ}}_1{e}_i^{lrr}+{\mathrm{\ξ}}_2{e}_i^{mean}\}---\left(18\right)$

所述ARCR-C算法具体总结如表格四的算法4所述。

面部识别的效果取决于两个量度标准，识别率以及计算复杂度。由于具有一个正则化最小二乘问题形式相类似的解，用于分类的算法3是能够快速求解的。但是，孤立点检测算法是一个迭代算法并且在每次迭代中，均需要求解l₁最小化问题。

可以看到，l₁问题的估计支持在迭代中没有显著的改变。亦即，通过迭代，会选择相同的面部来重构测试样本。在第t次迭代后，该支持并未改变或者收敛于一个非常小的数字。若已知该t次迭代，所述方法能够获得上一次迭代中的支持并在下一次迭代中非常迅速的求解最小二乘问题。

依据经验，选择使用t_c表示第t次迭代。在获取合适的支持后，所述迭代可以通过如下算式表示：

${{\hat{W}}_i}^{(t+1)}=\frac{{\mathrm{\φ}}^{\′}\left({\mathrm{\δ}}_i^{\mathrm{\τ}}\right)}{{\mathrm{\δ}}_i^t},i=1,...,d---\left(19\right)$

$a^{(t+1)}=\{\begin{array}{cc}\underset{a}{\min }\left|\right|W^{t+1}(y-Ta)|{|}_2^2+\mathrm{\&lambda;}|\left|a\right|{|}_1,& ift<t_c\\ \underset{a}{\min }\left|\right|W^{t+1}(y-\tilde{T}a)|{|}_2^2,& otherwise\end{array}---\left(20\right)$

其中，字典为：

T＝TM(21)

其中，表示对角矩阵，其元素为i，i具体为

$M_{i,i}=\{\begin{array}{cc}0,& if{\hat{a}}_i^{(t_c-1)}=0\\ 1,& otherwise\end{array}.---\left(22\right)$

其中，为估计向量在t_c-1次迭代中的第i个成分。

快速LRR-HQ-L1算法具体如表格五的算法5所示。

即使是较小的字典，每个图像可能仍需要若干秒来进行l₁的估计。因此，l₁最小化的最大的缺陷在于计算复杂度。

在另一方面，l₂最小化是非常迅速的。进一步的，尽管l₂最小化的解是密集的，但是其中的最优解与l₁的解是相接近的，并且与测试图像辨认特征相吻合的训练图像相对应。l₂具有与l₁相接近的形状并且可以作为一个良好的估计值。其相关性很大程度取决于这样一个事实：在使用不同的度量约束时，相似的误差函数中均获得全局解。

可以使用结合正则化最小二乘问题的线性l₂替代l₁问题的方法来提高算法5的运算速度。然后，依据度量准则，可以将已获得的稠密向量的较小的系数压缩至0。上述L1估计方法具体由如下两个步骤所示：

1、求解正则化最小二乘问题

$v={\mathrm{argmin}}_v\left|\right|y-Tv|{|}_2^2+\mathrm{\&lambda;}|\left|a\right|{|}_2^2,---\left(23\right)$

其中，

2、依据度量准则，将获得的向量V的系数压缩至0从而获得在算法5中的线性L2所需要的最终的估计向量

${\hat{a}}_i=\left(\begin{array}{cc}0,& if{\hat{v}}_i<\stackrel{\&OverBar;}{v}\\ v_i,& otherwise\end{array}\right.---\left(24\right)$

其中，表示估计向量V的均值。

继续参阅图4，在视频中的面部识别完成后，输出具有已识别面部图像的视频(S412)。例如，所述具有已识别面部图像的视频可以向用户展示，或者提供给其他模块或者设备进行进一步操作。

通过使用上述具体实施例所述的方法及系统，还可以进一步的执行其他拓展应用。所述面部识别技术可以应用于新闻视频领域，当可以在视频中自动检测重要人物的面部并识别用于其他多种不同的管理任务，例如新闻视频的总结，检索以及浏览。

应当理解的是，本发明所述的面部识别模块不仅限于电视机使用场景。本发明所述的系统及方法可以应用于其他具有播放功能的设备中，例如智能手机、掌上电脑、个人电脑、智能手表等等。本发明所述的方法还可以应用于作为其他系统的核心功能，例如基于内容的视频推荐系统，基于内容的视频检索系统等等。

进一步的，本发明具体实施例所述的面部识别方法仅用于解释用途，相类似的想法和实现方法均可以应用于其他不同的识别系统中，将本发明所述系统和方法应用于不同领域，进行改进，替换，调整或者相当于本发明所公开的具体技术实施方案都是本领域普通技术人员不需要通过创造性劳动就能实现的。

Claims (15)

1.一种面部识别方法，其特征在于，包括如下步骤：

将输入视频分割为若干不同的视频帧集合；

在输入视频的视频帧中检测面部；

生成输入视频的面部轨迹；

应用基于鲁棒协同表示的分类算法，在具有复杂的遮挡及噪声、模糊影响的面部侧视样本中恢复清晰图像并进行分类；

输出具有已识别面部图像的视频。

2.根据权利要求1所述的面部识别方法，其特征在于，所述应用基于鲁棒协同表示的分类算法，在具有复杂的遮挡及噪声、模糊影响的面部侧视样本中恢复清晰图像并进行分类的步骤具体包括：

通过改进的鲁邦主成分分析算法估算获得清晰图像从而初始化LRR-HQ-L1算法；

通过LRR-HQ-L1算法计算获得权重矩阵；

使用鲁棒协同表示算法进行分类；

确定最终选择的分类定义。

3.根据权利要求2所述的面部识别方法，其特征在于，生成孤立点检测结果，将其输入测试样本y及面部字典T中并生成权重对角矩阵W，所述孤立点检测结果具体如下：

W＝OLD(y，T)

其中，表示面部测试样本，表示c个目标的样本集合堆叠为列的矩阵，表示第i个目标的第n_i个样本集合从而令∑_in_i＝n。

4.根据权利要求2所述的面部识别方法，其特征在于，生成面部分类，将其输入测试样本y、面部字典T及权重对角矩阵W中，所述面部分类的索引具体如下：

Identity(y)＝CLF(y，T，W)。

5.根据权利要求3所述的面部识别方法，其特征在于，所述清晰图像具体如下：

$y_c=\mathrm{\&theta;}Py+(1-\mathrm{\&theta;})\stackrel{\&OverBar;}{AZ},$

其中，0≤θ≤1，θ为经验估计值。

6.根据权利要求5所述的面部识别方法，其特征在于，给出一个用于分类的估计向量f具体定义如下：

$f={\mathrm{argmin}}_f\left|\right|W(y-Tf)|{|}_2^2+\mathrm{\&lambda;}|\left|f\right|{|}_2^2,$

其中，为估计向量，为面部测试样本；表示c个目标的样本集合堆叠为列的矩阵，λ为大于0的参数，W为权重对角矩阵。

7.根据权利要求6所述的面部识别方法，其特征在于，给定一个主动的鲁棒协同表示分类算法输入到测试样本y及面部字典T中，每一面部的残留定义具体如下：

$e_i\left(y\right)={\&Sigma;}_{j=1}^k{\mathrm{\&xi;}}_j{e}_i^j\left(y\right);$

其中ξ_j为第j个分类器的权重，k为大于1的整数；表示第j个分类器的第i个分类的残留，其具体表示如下：

$e_i^j\left(y\right)=\left|\right|W_j(y-T_i{f_i}^j)|{|}_{2^{,}};$

其中，W_j孤立点检测权重矩阵，为估计向量，表示第i个目标的第n_i个样本从而令∑_in_i＝n。

8.根据权利要求6所述的面部识别方法，其特征在于，给定一个来自与第一初始值W_lrr和第二初始值W_mean的权重矩阵，目标的辨别特性具体定义如下：

$Identity\left(y\right)={\mathrm{argmin}}_i\{{\mathrm{\&xi;}}_1{e}_i^{lrr}+{\mathrm{\&xi;}}_2{e}_i^{mean}\}$

其中，表示面部测试样本，表示第一个分类器的第i个类别的残余；表示第二个分类器的第i个类别的残余；ξ₁为第一个分类器的权重；ξ₂为第二个分类器的权重。

9.一种面部识别系统，其特征在于，所述系统包括：

面部检测模块，用于在输入视频的视频帧中自动定位面部；

算法模块，用于通过改进的鲁邦主成分分析算法估算获得清晰图像从而初始化LRR-HQ-L1算法，并通过LRR-HQ-L1算法计算获得权重矩阵；

面部分类器，用于使用鲁棒协同表示算法进行分类

字典，用于在数据库中存储面部图像；以及

输出模块，输出具有已识别面部图像的视频。

10.根据权利要求9所述的面部识别系统，其特征在于，生成孤立点检测结果，将其输入测试样本y及面部字典T中并生成权重对角矩阵W，所述孤立点检测结果具体如下：

W＝OLD(y，T)

其中，表示面部测试样本，表示目标c的样本集合堆叠为列的矩阵，表示第i个目标的第n_i个样本集合从而令∑_in_i＝n。

11.根据权利要求9所述的面部识别系统，其特征在于，生成面部分类，将其输入测试样本y、面部字典T及权重对角矩阵W中，所述面部分类的索引具体如下：

Identity(y)＝CLF(y，T，W)。

12.根据权利要求10所述的面部识别系统，其特征在于，所述清晰图像具体如下：

$y_c=\mathrm{\&theta;}Py+(1-\mathrm{\&theta;})\stackrel{\&OverBar;}{AZ},$

其中，0≤θ≤1，θ为经验估计值。

13.根据权利要求12所述的面部识别系统，其特征在于，

$f={\mathrm{argmin}}_f\left|\right|W(y-Tf)|{|}_2^2+\mathrm{\&lambda;}|\left|f\right|{|}_2^2,$

其中，为估计向量，为面部测试样本；表示目标c的样本集合堆叠为列的矩阵，λ为大于0的参数，W为权重对角矩阵。

14.根据权利要求13所述的面部识别系统，其特征在于，给定一个主动的鲁棒协同表示分类算法输入到测试样本y及面部字典T中，每一面部的残留定义具体如下：

$e_i\left(y\right)={\&Sigma;}_{j=1}^k{\mathrm{\&xi;}}_j{e}_i^j\left(y\right);$

其中ξ_j为第j个分类器的权重，k为大于1的整数；表示第j个分类器的第i个分类的残留，其具体表示如下：

$e_i^j\left(y\right)=\left|\right|W_j(y-T_i{f_i}^j)|{|}_{2^{,}};$

其中，W_j孤立点检测权重矩阵，为估计向量，表示第i个目标的第n_i个样本从而令∑_in_i＝n.。

15.根据权利要求14所述的面部识别系统，其特征在于，给定一个来自与第一初始值W_lrr和第二初始值W_mean的权重矩阵，目标的辨别特性具体定义如下：

$Identity\left(y\right)={\mathrm{argmin}}_i\{{\mathrm{\&xi;}}_1{e}_i^{lrr}+{\mathrm{\&xi;}}_2{e}_i^{mean}\}$

其中，表示面部测试样本，表示第一个分类器的第i个类别的残余；表示第二个分类器的第i个类别的残余；ξ₁为第一个分类器的权重；ξ₂为第二个分类器的权重。