CN106156693A - 用于面部识别的基于多模型表示的鲁棒错误纠正方法 - Google Patents

Abstract

本发明公开了一种面部识别方法。所述方法包括：预先存储一系列的面部训练图像，每一面部训练图像对应一个面部类别，每一面部类别包括一个或者多个面部训练图像；获取一个或者多个面部测试样本；采用表示模型表示面部测试样本，面部测试样本的表示模型的表示结果表示面部训练图像与错误项的结合，其中，每一面部训练图像与一系数向量对应；通过求解限制性最优解问题获得系数向量以及错误项；按面部类别计算残余错误，所述残余错误为面部测试样本与面部测试样本的表示模型之间的差别；所述面部测试样本的表示模型由面部类别中的训练图像形成。通过选出的，服从最低残余错误的面部类型来对面部测试样本进行分类；以及输出面部测试样本所属的面部类别。

Description

用于面部识别的基于多模型表示的鲁棒错误纠正方法

技术领域

本发明涉及图像处理技术领域，尤其涉及脸部识别技术。

背景技术

随着计算机及图像处理技术的发展，面部识别技术越来越多的应用于安防系统，视频交互应用，图像编辑及归档应用，以及计算机视频应用等等方面。举例来说，面部识别由其在主流发展应用中的巨大潜力所推动，包括有视频监视保卫、模拟现实、自动视频标记、药物分析、质量控制以及视频课程评估。虽然对于人类而言，面部识别是一项非常简单的任务，但对于机器来说，由于定义目标的图像时，其旋转、亮度、形状以及目标遮挡等多种情况的存在，面部识别是一项非常困难的任务。

面部识别面临的其中一项问题是通过给定的图像推导出某一物体的定义。在处理非可控制环境下的大规模面部识别实践系统上已经有一些研究成果。近来，基于协同表示的分类方法已经被全面研究，应用在识别给定的正视图具有多种形状及亮度或者是存在遮挡或者掩饰的人脸图像。现有的，应用在面部识别中基于协同表示的分类方法解出一个带稀疏或者非稀疏的参数的标准回归模型，该模型以一个面部图像可以由训练图像的线性组合表示的假设为前提，这一假设与基于稀疏表示的分类识别(SRC)相同。

SRC的主要思想在于：在不同的情况下，一个目标面部图像都可以由相同目标在不同情况下(例如，姿势，亮度，被遮挡等等)获取的可使用的图像的稀疏线性组合表示。上述思想原则也可以应用于一个面部图像由较低维度空间中描述的，重要及容易的可定义特征所表示的情况中。SRC首先编码一个测试样本作为所有训练样本的稀疏线性组合，然后通过计算哪一个类别能够实现最低的表示错误来对这些测试样本进行分类。所述SRC的回归模型是由密集噪声及一个可测量参数向量所组成。该参数向量是一个稀疏向量并且能够通过最优解方法获得。

尽管基于稀疏表示的分类方法获得了很大的成功，但是其必需通过最优解方法来提高面部识别率的方法仍然存在不足。研究人员通过使用许多相似图像实现对某一图像的协同表示来提升面部识别的效果，而不是规划系数最优解方法。进一步的，系数规划只有在一些特定情况下才能成功。

现有的多种面部识别方案中均提供了在模型化由一系列图像损坏类型所致的噪声特征时的鲁棒性。实施错误纠正的方法从而使回归模型在异常值时(如被遮挡时)更有鲁棒性。在错误纠正的方法中，在回归模型中添加一个辅助变量来定义那些总是与高斯分布不同的错误。需要一个错误的分布的在先假设来评价它与表示系数之间的连带关系。研究人员已经对错误的全部特征的用途进行了研究，从而特征化相同的遮挡情况。所述错误图像被假定是低秩并且被评估连带的表示系数。

尽管如此，大部分现有的方法基本是在噪声符合其错误模型的假定中进行测试的。例如，有些研究者认为噪声是低秩回归的，因此，在遮挡时可以成功的进行面部识别。同时，另外一些研究者则认为结合低秩和稀疏性，作为一个随机像素损坏，用以提升他们的识别率。矛盾的是，当损坏像素的百分比显著上升时，将不满足所述低秩的假设，识别率将极大的下降。

进一步的，在面部识别中，复杂的遮挡、图像变化情况，以及他们两者的结合可能同时出现在查询图像及训练例子中。具有一个在线分别的错误回归模型可能不足以特征化该错误。例如，如果面部图像具有不同的面部表情或者光线变化时，仅使用低秩可能不足以很好的描述这一错误，而采用低秩和稀疏性可以很好的表示。

本发明公开的方法及其系统用于解决现有技术中的一个或者多个问题。

发明内容

本发明的一方面公开了一种面部识别方法。所述方法包括：预先存储一系列面部训练图像，每一面部训练图像对应一个面部类别，每一面部类别包括一个或者多个面部训练图像。获取一个或者多个面部测试样本；采用表示模型表示面部测试样本，面部测试样本的表示模型的表示结果表示面部训练图像与错误项的结合，其中，每一面部训练图像与一系数向量对应。

通过求解限制性最优解问题获得系数向量以及错误项。按面部类别计算残余错误，所述残余错误为面部测试样本与面部测试样本的表示模型之间的差别。所述面部测试样本的表示模型由面部类别中的训练图像形成。通过选出的，服从最低残余错误的面部类型来对面部测试样本进行分类。以及输出面部测试样本所属的面部类别。

本发明另一方面公开了一种面部识别系统。所述系统包括：数据存储模块，.获取模块，计算模块以及输出模块。其中，数据存储模块用于，存储一系列面部训练图像，每个面部训练图像对应一个面部类别，每个面部类别包括一个或者多个面部训练图像.获取模块，用于获取一个或者多个面部测试样本。具体的，计算模块用于，采用表示模型表示面部测试样本，表示模型表示后的面部测试样本表示面部训练图像与错误项的结合，每一系数向量对应一个面部训练图像；通过求解限制性最优解问题获得系数向量以及错误项；按面部类别计算残余错误，所述残余错误为面部测试样本与面部测试样本的表示模型之间的错误；所述面部测试样本的表示模型由面部类别中的训练图像形成；通过选出的，服从最低残余错误的面部类型来对面部测试样本进行分类。更具体的，所述输出模块用于，输出面部测试样本所属的面部类别。

本发明的其他方面，所属技术领域技术人员能够依据本发明的权利要求书，说明书，以及附图有效实施并充分公开。

附图简要说明

图1为本发明具体实施方式中的一个具体工作系统200的示意图。

图2为本发明具体实施例的计算系统的示意图。

图3为本发明将视频流分割为不同视频部分的具体实施例的示意图。

图4为本发明面部识别系统的具体实施方式的结构框图。

图5为本发明面部识别方法的具体实施例的方法流程图。

图6为本发明基于多模型表示的鲁棒错误纠正方法的具体实施例的方法流程图。

图7为本发明基于多模型表示的鲁棒错误纠正方法中获取系数向量以及错误项的方法的示意图。

图8为本发明面部识别系统的另一具体实施例的示意图。

图9为本发明面部识别方法的另一具体实施例的示意图。

具体实施方式

附图中展示的部分将被引用以具体说明，阐述本发明具体技术实施方案。说明书中引用的数字代表附图的相应部分。

图1展示了本发明具体实施方式中的一个工作系统100。如图1所示，所述工作系统100可以包括：电视机(TV)102，遥控器104，服务器106、用户108，通信网络110，摄像机112，便携式存储设备114以及数据存储设备116。当然一些设备可以减省，还可以添加其他合适的设备。

电视机(TV)102可以是任何合适类型的电视机，例如等离子电视，LCD电视，背投式电视，智能电视或者非智能电视。电视机(TV)102还可以包括计算系统，例如个人电脑，掌上电脑或者智能手机等。进一步的，电视机(TV)102还可以是任何合适的，由遥控器104控制的，能够一个到多个频道中显示多个节目的内容显示设备。

所述遥控器104可以是任何合适类型的，能够遥控电视机(TV)102的遥控器，例如配套的电视遥控器，通用电视遥控器，掌上电脑，智能手机或者其他能够实现遥控功能的智能设备。遥控器104还可以包括其他不同类型的设备，例如动作感应遥控设备，图像感应遥控设备以及其他一些简单输入设备，例如键盘，鼠标，声控输入等。

所述用户108使用遥控器104以实现与电视机102的互动，如播放不同的节目或者进行其他用户感兴趣的活动。如果电视机102配备有动作感应或者图像感应装置，用户还可以简单的使用手势动作进行控制。用户108可以是一个人也可以是多个，例如可以是全部家庭成员在一起观看电视节目。

具体的，所述服务器106可以是任何用于提供视频内容给用户108的一个或者多个计算机服务器。所述服务器106还用于在遥控器104和电视机102之间进行通信连接，数据存储和数据处理。电视机102，遥控器104以及服务器106通过通信网络110，例如有线网络，手机网络，或者其他具体的网络等，来建立通信连接。

所述通信网络110可以包括任何数量的通信网络或者提供不同类型媒体，例如视频流、照片以及图像给服务器106的服务。

摄像机112可以是电视机102或者服务器106的内置摄像机，或者是与电视机通过无线网络或者有线连接的外置摄像机112.摄像机112可以向电视机102提供图像以及视频。

便携式存储装置114可以包括任何合适的便携式存储装置，例如记忆卡，闪存或者其他类型的可移动存储媒介，用于存储电视机102的图像或者视频。进一步的，数据存储装置116可以是内置或者外置的数据存储装置，例如用于为电视机102存储图像或者视频的硬盘或者数据库。

电视机102，遥控器104和/或服务器106在一个合适的电子计算平台实现其功能。在实际操作中，所述电子计算平台可以从摄像机112或者便携式存储装置114或者数据存储装置116，和/或通信网络110处获取图像和/或视频以及运行某些图像处理操作，例如在图像或者视频中进行面部识别。图2展示了本发明具体实施例的一种可用于实现上述电视机102、遥控器104和/或服务器106的功能的计算系统200的结构框图

如图2所示，所述计算系统200可以包括一个处理器202，存储器204，播放器206，通信模块208，数据库210、外围设备212以及图像单元220。所述计算系统可以减省上述设备，也可以添加一些其他类型的设备，而不限于上述设备。

所述处理器202可以是任何合适的处理器或处理器组。具体的，所述处理器202为能够进行多线程处理的多核心处理器。存储器204可以是任何合适的存储设备，例如ROM，RAM，闪存或者大容量机械式存储设备，例如CD-ROM，硬盘等。存储器204用于存储由处理器202执行的，为进行各种数据处理而预设的计算机运行程序。

进一步的，通信模块208可以包括一些用于通过连接网络建立通信连接的网络交互设备。数据库210可以包括一个或者多个数据库。所述数据库用于存储上述相关的数据并且可以对存储的数据执行某些操作，例如搜索数据库。

播放器206可以向用户或者电视机102的用户展示信息。播放器206可以包括任何类型的计算机播放设备或者电子播放设备(如基于CRT或者LCD的设备)所述外围设备212具体包括：各种类型的传感器以及输入，输出设备，例如键盘，鼠标。进一步的，外围设备212可以获取从图像单元220获取信息或者向图像单元传输信息。图像单元220可以包括任何合适的图像抓取组件，存储组件和/或与处理器202功能相似或者相互协作的处理器组件。

在操作中，计算系统200中，处理器202和/或图像单元200可以进行一些图像处理操作，处理来自不同资源的图像从而确定其中的感兴趣部分，并进一步提供到后端操作。例如，计算系统200可以回放视频并且在视频流的图像中进行面部识别操作。

也就是，在操作中，电视机102(或者服务器106，遥控器104等等)可以获取一段视频流，用于进行回放和/或其他图像/视频处理操作。所述视频流可以源自于本地存储的视频数据，经过通信网络从不同渠道获取的视频数据或者是从摄像机112或者其他外围设备212等输入的视频数据。

一个视频流可以分成多段不同的视频片段，如图3所示，一个视频流可以分成许多不同的场景，一个场景又可以进一步细分为许多不同的镜头，一个镜头可以分为多个视频帧。每个视频帧可以进一步分为不同的物体，并且将视频帧中的特征提取出来作进一步处理。所述面部识别可以在物体层次上运行从而定义一个或者多个预设物体，如，人。

图4为本发明具体实施例的面部识别系统400的结构框图。如图4所示，所述面部识别系统400包括视频402，面部检测模块404，计算模块406，面部分类器408，字典410以及输出模块412。可以省略一些模块，也可以增添其他一些模块。所述系统400(即系统中的多个模块)可以由软件，硬件或者软件，硬件结合实现其功能。

所述输入视频或者说视频402,可以包括任何类型的视频资源以及包括不同的视频资源。所述源自输入视频的视频402可以包括视频数据及元数据。多个视频帧之间可以通过视频内容联系并且提供给其他模块进行处理。当然，也可以包括单一的照片。所述输入视频可以被分割成多个一系列的视频帧。

所述面部识别模块404可以用于自动寻找在一系列视频帧中的面部位置。所述面部识别模块404可以内置在电视机102中，或者独立于电视机102外设置。

所述计算模块406可以用于执行错误纠正多模块表示算法来处理检测出的面部样本。面部分类器408可以用于通过鲁棒错误纠正多模块表示算法来进行分类并给予一个最终分类定义的决定。

进一步的，字典410可以包括任何类型的数据库，用于存储面部图像等等。例如，所述字典410可以包括一个收集有相关面部图像的内部或者在线数据库。

所述字典410可以用于询查以恢复特定的图像。例如，为了在给定的电影和一系列的演员中进行面部识别，将每个演员的姓名(如目标演员)及电影的名称作为关键词，在字典中进行询查从而恢复一系列的对应图像。该图像集合可以大部分为目标演员的图像以及一些其他演员的图像，而在每张图像中均包含有一个或者多个演员的面部图像。

所述输出模块412可以用于输出已经定义的面部图像。所述输出模块412可以输出以定义的面部图像用于向用户108演示或者供其他后端模块处理。所述模块可以合并或者省略并且其他模块也可以加入。

图5为本发明具体实施方式的面部识别方法500的流程图。所述方法可以在本发明面部识别系统的具体实施例中运行。

如图5所示，首先将一段输入视频分割为多个不同的视频帧集合(S502)。因为视频是由一系列连续的视频帧所组成，考虑到一般视频的标准码率(如25帧每秒)，相邻视频帧之间的差别是非常小的。所以，采用一些组合或者聚类技术可以将整个视频分割为数个包含相类似视频帧的视频帧集合以供后端模块进行处理，而不是孤立的处理每一视频帧。

获取输入的视频序列后，将视频序列简化为与那些与初始摄像机拍摄设置相对应的已编码摄像机对应的视频序列，所述初始摄像机设置通过记录视频帧来源中的每一摄像机获得。(S504)。

一个典型的电影序列是由多个摄像机形成的镜头交叉组成。并且每一摄像机在给定的摄像机拍摄设置下，进行连续的拍摄。在此使用“摄像机编码”这一术语，表示对不同的摄像机进行编号，每一摄像机在视频序列或者视频流中抓取视频帧。“摄像机编码”的概念基于使用摄像机获取的视频来重构修订后的视频。一个典型的视频序列模式是由多个摄像机形成的镜头交叉组成。并且每一摄像机在给定的摄像机拍摄设置下，进行连续的拍摄。通过对输入视频帧的每一摄像机进行编码，原有的输入视频可以被分为一系列的视频帧序列，每一视频帧序列都与一个已编码摄像机对应。所述已编码摄像机则与初始摄像机拍摄设置相对应。

在定义摄像机获取的视频后，可以检测输入视频中的每一帧的面部(S506)。可以在未识别面部前，在输入视频中检测每一帧的面部用以追踪面部。亦即，面部检测可以应用于每一摄像机获取的视频中的每一帧。面部识别可以自动定位在一系列视频帧中的面部位置。

属于同一摄像机获取视频的已检测面部集合可以用于进行面部追踪。通过这种方式，在整个输入视频中进行面部追踪(S508)。具体的，所述面部追踪通过在每个摄像机获取视频中检测到的第一个面部进行初始化。对于摄像机获取视频中的其他视频帧，如果源自于两个相邻的视频帧中两个检测出的面部之间的距离超过预定的阈值。那么源自于面部追踪的面部图像可以在后端分类操作前进行预处理。其中，预处理方法可以包括对于一个面部追踪取平均值，进行编号以对齐在同一面部追踪中相同的面部，等等。

更具体的，在测试面部样本中应用基于多模块表示的鲁邦错误纠正分类并且进行分类(S510)。

所述面部识别可以利用，结合错误检测或者错误纠正方法的，基于表示的分类算法运行。基于稀疏表示，错误纠正以及错误检测的多种表示方法及计算方法应用于面部识别算法中。

设每一个面部图像的大小为j×k＝d，表示测试面部样本。令表示项目c的样本的集合堆叠为列的矩阵(字典)。表示第n_i个项目中第i^th个样本的集合，即Σ_in_i＝n。

在基于稀疏表示的分类(SRC)中，回归模型用如下算式表示：

y＝Ta+噪声 (1)

其中，表示密集噪声，而表示可得的系数向量。在基于稀疏表示的分类(SRC)的模型(即算式(1))中，a是一个非零元素的稀疏向量，与一些在集合T中的样本对应。因此，测试样本可以通过集合T中的样本的线性组合所表示，所述线性组合的系数是稀疏的。通过求解下述最优解问题可以获得系数a：

$a=\arg {\min }_a{\left|\right|y-\mathrm{Ta}\left|\right|}_2^2+\mathrm{\λ}{\left|\right|a\left|\right|}_1---\left(2\right)$

其中λ＞0。使用最优解算法来保持稀疏性。SRC的最后步骤为：依据选出的面部类型中，满足最低的重构错误，来定义对应的项目。

错误纠正方法可以通过应用上述SRC模型使回归模型在异常值的情况下更为鲁棒(例如，受遮挡情况下)。在错误纠正方法中，增加一个辅助变量在回归模型来特征化那些分布与高斯分布不相符的错误。需要首先假定这些错误的分布类型，以便于确定其对应的表示系数。在所述的错误项目服从某一分布，例如拉普拉斯分布的假设下，相应的模型可以表示如下：

y＝Ta+e+噪声 (3)

其中，为辅助错误变量，稀疏并且正则化的。系数a和e可以通过求解如下交替优化问题获得。

$a,e=\arg {\min }_{a,e}{\left|\right|y-\mathrm{Ta}-e\left|\right|}_2^2+\mathrm{\λ}{\left|\right|e\left|\right|}_1+\mathrm{\λ}{\left|\right|a\left|\right|}_1---\left(4\right)$

为了特征化连续的遮挡，可以利用错误的整体结构。假设该错误图像是低秩的，并且能够一同确定表示系数。在所述错误图像是低秩的假设下，最优解问题可以表示如下：

$\begin{array}{cc}\underset{a,e}{\min \mathrm{imize}}& \mathrm{\λ}{\left|\right|E\left|\right|}_{*}+{\mathrm{\λ}}_1{\left|\right|a\left|\right|}_2^2\end{array}---\left(5\right)$

限制条件 y-Ta＝e

其中，e＝vec(E)。vec(·)表示矩阵的向量化的列的形式。并且λ₁＞0(λ＞0)所述低秩矩阵的恢复可以用来去除异常值。

为了一同地处理像素层次的稀疏噪声以及图像层次的结构噪声，可以用一个双范数回归方程来定义这些噪声。所述双范数包括一个核心范数以及范数，所述模型可以表示为：

$\begin{array}{cc}\underset{a,e}{\min \mathrm{imize}}& {\mathrm{\λ}}_3{\left|\right|E\left|\right|}_{*}+{\mathrm{\λ}}_2{\left|\right|e\left|\right|}_1+{\mathrm{\λ}}_1{\left|\right|a\left|\right|}_2^2\end{array}----\left(6\right)$

限制条件 y-Ta＝e

其中，λ₁,λ₂,λ₃＞0

所述错误检测方法可以用于统计方法中，结合稀疏性，从而获得一个在复杂的遮挡以及侵蚀情况下的图片的鲁棒性的结果。在错误检测方法中，一个罚分函数引入到最优解问题(2)中，以便于检测并移除那些异常像素值。因此该最优解问题可以表示如下：

$a=\arg {\min }_a{\left|\right|W(y-\mathrm{Ta})\left|\right|}_2^2+\mathrm{\λQ}\left(a\right)---\left(7\right)$

其中，为一个对角权重矩阵。其中，所述矩阵中的元素被定义为W_i,i＝w_i。w_i∈[0,1]是像素i依据特定权重函数计算获得的权重。通过如下两个步骤求解算式(7)：首先、求出给定的错误||y-Ta||₂的权重以及给定的W的权重。具体可以选择使用合适的函数Q(a)对系数a进行正则化，例如用函数Q(a)＝||a||₁与多个不同权重的函数的结合，实现或者保持非负的正则化项a≥0。

所述错误的分布可以通过迭代重加权最小二乘法(IRLS)反复迭代获得。赋予在预先重构的迭代中具有较小错误的残余图像的像素较大的权重，同时赋予在预先重构的迭代中具有较大错误的残余图像的像素较小的权重。因此，在下一次的迭代中，异常值像素在重建图像中不会占据太多的比重。并且在收敛结果中，像希望那样，所述已确定的错误会主要由那些异常值构成。在最后的一步迭代完成后，所述面部定义可以基于更新的系数提供的最小类别残留确定。

图6显示了本发明具体实施例的本发明基于多模型表示的鲁棒错误纠正方法的具体实施例。如图6所示，在获取输入的测试样本后，表示方法600通过求解限制性最优解问题来确定多模型表示模型的系数向量a(S602)。在一些实施例中，所述限制为多模型表示的噪声部分。然后，表示方法600可以计算每个面部类别的残余错误(S604)。最终，完成分类并且给出最终的分类定义(S606)。所述表示方法可以在S510中运行。

图7显示了本发明具体实施例的本发明基于多模型表示的鲁棒错误纠正方法中获取系数向量以及错误项的方法。所述最优解方法(S602)首先构建一个通用框架用于处理图像侵蚀，通过利用多模型表示的噪声项来形成优化方案(S702)。然后，所述最优解方法继续选择一个或者多个用以特征化这些错误项的潜在损失函数，并且选择进行正则化的方式(S704)。最后，所述最优解(优化)问题可以通过获得系数向量a来求解。具体的，可以使用交替方向乘子法(ADMM)来求解。

具体的，为确定系数a，构造函数J(a)如下：

其中函数Φ_k(x)具体为：

在算式(9)中，表示从一系列不同的候选函数中选出的特定潜在损失函数。同时，为φ_k(·)的双势函数(如表格1所示)。进一步的，函数属于范数并且

上述算式可以采用压缩和常用的多种现有的面部识别中算法的表示方法。例如，在退化中，令并且从而可以推导出一个经典的正则化最小二乘法方程：

利用噪声项目的多模型表示来构造一个常规框架用以处理最多类型的图像侵蚀(S702)。通过这种方式，松弛所述模型的噪声限制并且提取自由度以便于噪声项可以通过非标准的分布描述以处理在抓取场景中的混合变动。在一些具体实施例中，两个潜在损失函数可以与算式(8)联立以更好的特征化错误项y-Ta。算式(8)中的函数可以重写为

而优化问题可以表示为：

$a=\arg {\min }_a\tilde{J}\left(a\right)---\left(12\right)$

依据算式(9)，以及e＝y-Ta并且引入辅助变量z＝e，算式(12)中a的最小值可以通过一个限制性优化问题计算得出

限制条件 y-Ta＝e,e＝z

在算式(13)中使用的优化方法允许不同损失函数φ_k(·)之间通过他们的双重势函数隐含组合。(S704)在表格1中总结了可以使用的一些函数以及他们配对的模拟算子。当s为向量时，运算结果则在表格2中展示。

可能使用到的φ_k(·)以及他们配对的模拟算子

表格1：

当φ_k由向量参数定义后，使用的模拟算子，例如φ_k≡φ_k(s)。T_M是一个将向量参数转换为一个合适大小的矩阵的算子。并且L_λ(.)表示对应矩阵的奇异值分解(SVD)结果。

表格2：

例如，可以选择Φ₁和Φ₂作为胡贝尔分布(Huber)以及核分布(Nuclear)。依据这样一些运算结果归纳、生成框架，这些公式化的模型(具体的表现形式是公式)都只是这个框架里的一种具体形式，同时应用上述具体、特定的，某一分布作为误差函数(模型)。在多种光照、形状变化以及遮挡，掩饰下的人脸识别率显示使用范数比稀疏编码模型更为鲁棒。因此，可以使用范数作为正则化矩阵(S704)。

具体的，算式(13)的解可以通过交替方向乘子法(ADMM)求得。所述ADMM算法目标在于利用该乘子法的强收敛性，融合双势函数上升段的各分解部分(S706)。在使用ADMM求解算式(13)的过程中，a，e以及z交替更新。因此，应用在目标函数以及乘数法中，ADMM包括如下四个步骤：获取系数e(S7062),获取系数z(S7064)，获取系数a(S7066)以及更新双变量(S7068)。在该乘子法中，算式(13)可以写成拉格朗日参数形式。

其中，ρ＞0为罚分参数，u₁和u₂为双变量。

等距收缩双变量，令所述ADMM的交替相应的表示如下：

$e^{k+1}=\arg {\min }_{e}L(e,z^k,a^k,y_1^k,y_2^k),---\left(15a\right)$

$z^{k+1}=\arg {\min }_{z}L(e^{k+1},z,y_2^k)---\left(15b\right)$

$a^{k+1}=\arg {\min }_{a}L(e^{k+1},a,y_1^k),---\left(15c\right)$

$y_1^{k+1}=y_1^k+y-{\mathrm{Ta}}^{k+1}-e^{k+1},---\left(15d\right)$

$y_2^{k+1}=y_2^k+e^{k+1}-z^{k+1},---\left(15e\right)$

所述ADMM属于迭代方法并且允许通过不断的交替来接近最终解。每个变量交替过程由对通过接近算子的每次迭代实现。在等距收缩的ADMM中，所述接近算子prox_φk(s)可以定义如下：

在每次迭代中，ADMM中的交替其中一个变量，其他变量保持不变。因此，需要进行四个更新步骤以对应优化算法中的系数e，z，a以及等距变量y₁，y₂.所述优化步骤具体如下：

步骤1：更新e(S7062)

步骤2：更新z(S7064)

步骤3：更新a(S7066)

步骤4：更新乘子y₁和y₂

y₁＝y₁+y-Ta-e (20)

y₂＝y₂+e-z (21)

为了使应用ADMM的算式(13)的优化问题结果收敛，必须建立一个合适的终止标准以及相关参数。具体的，所述终止标准可以设置为：||y-Ta-e||_∞≤ε和||e-z||_∞≤ε，其中ε＝10^-7。

继续参阅图6，面部分类服从选出的最低重构错误从而分类或者定义项目。因此，可以计算出每个面部分类的残余误差(S604)。具体的，从测试样本y中部分追踪可检测错误e。通过计算各类别i的残余值来完成分类。计算公式具体如下所示：

$e_i\left(y\right)=\frac{{\left|\right|y-e-T_i{a}_i\left|\right|}_2}{{\left|\right|a_i\left|\right|}_2}---\left(22\right)$

其中a_i是与类别i相联系的一部分。与传统的SRC相比，上述方法由于多方式协同表示，更为准确。

最终，展示分类结果并且给出类别的定义(S5106),具体的，定义y可以由下式表示：

Identity(y)＝argmin_i{e_i} (23)

所述多模型鲁棒错误纠正表示(REC-MM)方法的最后步骤在表格3中的算法1中总结并展示：

表格3：

所述REC-MM算法的计算复杂度为o(jk+jk+njk)。由于表示系数由L2范数正则化，因此分类器能够更有效的进行计算。由此，在迭代方案中只需要使用一次矩阵求逆。在现有技术中，求RRC的L1范数的计算复杂度(L1范数正则化鲁棒编码)为o(j²k²n)。求RCC的L2范数的计算复杂度(L1范数正则化鲁棒编码)为o(k₁jkn)。(其中k₁是在共轭梯度法中的迭代次数)并且相似分类器应用在核-L1范数联合回归的计算复杂度为o(jk²+n²+njk)。因此，在面部识别应用中，系数n，j，k满足特定条件(例如，jk≥10,jn≥10)，所述REC-MM分类具有比RCC-L1以及RCC-L2更低的计算复杂度，并且也具有比相似分类器应用在核-L1范数联合回归更低的计算复杂度。

继续参阅图5，在进行分类(S510)后，将类别的定义展示给用户或者其他后端应用程序(S512)。

例如，一段视频可以生成数张包含待识别面部的图片。依据面部追踪结果在视频中的待识别面部中打上标签。用户可以自行改善对视频中项目的定义。视频中项目的定义也可以通过其他应用程序提供，并且所述应用程序提醒用户发生了某些特定事件，例如提醒用户观看其喜欢节目或者是安全保卫情况等等。

图8为本发明具体实施例的本发明面部识别系统的另一具体实施例。如图8所示，所述面部识别系统800包括传感器802、数据存储装置804、数据处理模块806以及用户定义分析模块808。所述系统可以增添一些组件，也可以减省一些组件。

所述传感器802可以是任何类型的能够获取图像数据供后端处理的物理或者虚拟设备。例如，所述传感器802可以包括物理传感器，如数码摄像机112，电视机102的内置摄像机，遥控器104的内置摄像机以及虚拟传感器，如通信网络110，便携式存储器114以及存储器116。传感器获取的数据可以包括任何表示面部的图像数据，例如图像以及视频。传感器802可以包括多个传感器，用于获取多种传感器数据。所述传感器802获取的数据可以存储在数据存储装置804中。

数据存储装置804可以存储传感器802获取的数据，面部训练图像或者用户定义的视频，用户行为，用户偏好以及依据用户定义的推荐内容。

进一步的，面部识别系统800还可以包括推荐引擎810。所述数据处理模块806，用户定义分析模块810依据从传感器802以及数据存储装置804获取的数据进行多种处理。例如，所述数据处理模块806可以对传感器302获取的视频或者图像进行预处理并且抓取面部样本用于进一步定义。数据处理模块806还可预处理用户的定义信息，例如预处理用户提供的，存储在数据存储装置804中的面部样本。

用户定义分析模块808可以用于处理数据从而依据训练面部样本以及传感器802获取的数据来决定当前用户。所述用户定义分析模块808可以用来执行鲁棒错误纠正多模型表示步骤600从而确定用户定义。

在实际操作中，当前用户108可以坐在电视机102前，使用遥控器104或者智能手机。亦即，传感器802激活并收集用户信息。源自同一项目的面部图像可能在不同的情况下获得(例如，不同的姿势，光照情况，遮挡等等)。数据处理模块806可以提取面部测试样本用于进一步处理。用户定义分析模块808可以依据从数据存储装置804获得的训练面部样本，分类并且决定当前用户定义。推荐引擎810可以依据用户定义向相应用户推荐个性化的内容，例如，依据用户的兴趣，提供相应的电视节目，新闻，网页，在线视频以及购物导航。

图9为本发明本发明面部识别方法的另一具体实施例。如图9所示，所述面部识别处理方法900包括：首先存储一系列训练面部图像(S902)。每一面部图像对应一个类别，并且每一类别中包含一个或者多个训练面部图像。当用户激活传感器后，所述处理方法900就从传感器中收集图像或者视频(S904)。例如，当用户使用带内置摄像机的遥控器时，所述摄像机可以抓取用户的面部图像。对所述面部图像数据进行处理，从视频帧或者图像中提取出面部测试样本(S906)。然后，在面部测试样本中应用基于多模型表示的鲁棒错误纠正模型并且定义用户(S908)。所述方法可以应用基于多模型表示鲁棒错误纠正方法600表示来决定用户定义。在用户定义决定后，向用户推荐相应的个性化推荐内容(S910)。

通过上述方法及系统，还可以实现许多其他方面有益的效用。本发明所述的面部识别技术可以应用于视频中，能够自动的检测在视频中的关键人物的面部并应用于完成其他多种多媒体管理任务，例如新闻视频摘要，推送以及修订。

应当说明的是，所述面部识别模型不仅限于电视机应用场景。所述方法及其系统也可以应用于任何具有显示功能的设备中，例如智能电话，平板电脑，个人电脑，智能手表等，所述方法还可以作为其他系统的核心工嗯呢该，例如基于内容的视频推荐系统，基于内容的视频修订系统等等。

将本发明所述系统和方法应用于不同领域，进行改进，替换，调整或者相当于本发明所公开的具体技术实施方案都是本领域普通技术人员不需要通过创造性劳动就能实现的。

Claims (16)

1.一种面部识别方法，其特征在于，包括如下步骤：

预先存储一系列的面部训练图像，每一面部训练图像对应一个面部类别，每一面部类别包括一个或者多个面部训练图像；

获取一个或者多个面部测试样本；

采用表示模型表示面部测试样本，面部测试样本的表示模型的表示结果表示面部训练图像与错误项的结合，其中，每一面部训练图像与一系数向量对应；

通过求解限制性最优解问题获得系数向量以及错误项；

按面部类别计算残余错误，所述残余错误为面部测试样本与面部测试样本的表示模型之间的差别；所述面部测试样本的表示模型由面部类别中的训练图像形成；

通过选出的服从最低残余错误的面部类型来对面部测试样本进行分类；以及

输出面部测试样本所属的面部类别。

2.依据权利要求1所述的面部识别方法，其特征在于，将所述错误项特征化为图像侵蚀类型，所述图像侵蚀类型包括遮挡、伪装、面部表情变化和亮度变化中的一种或多种。

3.依据权利要求1所述的面部识别方法，其特征在于，所述通过求解限制性最优解问题获得系数向量以及错误项的步骤具体包括：

通过使用错误项的多模型表示形成的通用框架来构造所述限制性最优解问题；

选择一个或者多个特定应用潜在损失函数以特征化所述错误项；

选择正则化的方法；

求解所述限制性最优解问题。

4.依据权利要求1所述的面部识别方法，其特征在于，所述获取一个或者多个面部测试样本的步骤具体包括：

将一段输入视频分割成不同的视频帧集合；

检测输入视频的每一视频帧中的面部；

针对整个视频生成面部追踪路径，所述面部追踪路径为在同一摄像机拍摄下的已检测面部的集合，以及

获取已检测面部和面部追踪路径的信息；

所述输出面部测试样本所属的面部类别的步骤则具体包括：

依据面部追踪路径，在输入视频的已识别面部中添加标记，输出该视频。

5.依据权利要求1所述的面部识别方法，其特征在于，所述方法还包括：

存储用户偏好以及与用户对应的面部训练图像；并且

在获取面部测试样本的面部分类结果后，依据用户偏好，向用户推荐个性化内容。

6.依据权利要求1所述的面部识别方法，其特征在于，令表示面部测试样本，表示面部词典，所述面部词典为c项目的训练样本组合堆叠成列的矩阵，表示第i个项目的第n_i个样本组合，Σ_in_i＝n,e表示已确定的错误项，

所述分类通过计算每一面部类别的残余的e_i获得，所述e_i由下式表示：

$e_i\left(y\right)=\frac{|{|y-e-T_i{a}_i\left|\right|}_2}{{\left|\right|a_i\left|\right|}_2}$

所述y的面部类别由下式表示

Identity(y)＝argmin_i{e_i}。

7.依据权利要求3所述的面部识别方法，其特征在于，令表示面部测试样本，表示面部词典，所述面部词典为c项目的训练样本组合堆叠成列的矩阵，表示第i个项目的第n_i个样本组合，Σ_in_i＝n,a表示系数向量，J(a)表示系数向量a的函数，所述使用通用框架构造限制性最优解问题具体为依据下述获得系数向量a的最小值：

其中，函数Φ_k(x)定义如下：

其中，表示一个特定应用潜在损失函数，函数表示正则化方式，并且属于l_p范数并且

8.依据权利要求7所述的面部识别方法，其特征在于，

联立两个潜在损失函数，并且将J(a)重写为

所述最优解问题由下式表示：

$a={\arg \min }_a\tilde{J}\left(a\right)$

令e＝y-Ta以及引入辅助变量z＝e，所述系数向量a的最小重构为如下式所示的最优解问题

限制条件 y-Ta＝e,e＝z。

9.依据权利要求7所述的面部识别方法，其特征在于，

使用l₂范数作为正则化方法。

10.依据权利要求8所述的面部识别方法，其特征在于，

从误差函数中选择Φ₁和Φ₂，所述误差函数包括反高斯分布模型、胡贝尔分布模型、核分布模型以及二次型分布模型。

11.依据权利要求8所述的面部识别方法，其特征在于，

通过交替乘子法求解所述限制性最优解问题，其中，在每次迭代中更新a、e、z或者等距双变量y₁和y₂中的其中一个。

12.一种面部识别系统，其特征在于，所述系统包括：

数据存储模块，用于存储一系列面部训练图像，每个面部训练图像对应一个面部类别，每个面部类别包括一个或者多个面部训练图像；

获取模块，用于获取一个或者多个面部测试样本；

计算模块，用于

采用表示模型表示面部测试样本，表示模型表示后的面部测试样本表示面部训练图像与错误项的结合，每一系数向量对应一个面部训练图像；

通过求解限制性最优解问题获得系数向量以及错误项；

按面部类别计算残余错误，所述残余错误为面部测试样本与面部测试样本的表示模型之间的错误；所述面部测试样本的表示模型由面部类别中的训练图像形成；

通过选出的，服从最低残余错误的面部类型来对面部测试样本进行分类；

输出模块，用于输出面部测试样本所属的面部类别。

13.依据权利要求12所述的面部识别系统，其特征在于，所述错误项特征化为图像侵蚀类型，所述图像侵蚀类型包括：遮挡、伪装、面部表情变化以及亮度变化。

14.依据权利要求12所述的面部识别系统，其特征在于，

所述计算模块具体用于：

通过使用错误项的多模型表示形成的通用框架来构造所述限制性最优解问题；

选择一个或者多个特定应用潜在损失函数以特征化所述错误项；

选择一个面部识别方式；

求解所述限制性最优解问题。

15.依据权利要求12所述的面部识别系统，其特征在于，

所述获取模块具体用于：

将一段输入视频分割成不同的视频帧集合；

检测输入视频的每一视频帧中的面部；

在整体视频中生成面部追踪路径，所述面部追踪路径为在同一摄像机拍摄下的已检测面部的集合，以及

获取已检测面部和面部追踪路径的信息；

所述输出面部测试样本所属的面部类别则具体包括：

依据面部追踪路径，在输入视频的已识别面部中添加标记，输出该视频。

16.依据权利要求12所述的面部识别系统，其特征在于，所述存储模块还用于，存储用户偏好以及与用户对应的面部训练图像；

所述输出模块还用于，在获取面部测试样本的面部分类结果后，依据用户偏好，向用户推荐个性化内容。