CN112257600B - 一种人脸识别方法及系统 - Google Patents

Abstract

本发明公开了一种人脸识别方法及系统，它包括提取有标签和无标签人脸图像的特征向量获得第一特征向量集和第二特征向量集；计算出无标签人脸图像的软标签信息；计算人脸图像训练集的类间散度和类内散度并执行线性鉴别分析算法，得到鉴别投影矩阵；利用鉴别投影矩阵对待测人脸图像的特征向量、第一特征向量集和第二特征向量集进行降维得到各自的低维特征向量，将所述低维特征向量输入协同表示分类器得到各自的协同表示编码，利用对应于每一类的协同表示编码计算重构残差，重构残差最小的那一类标签为待测样本标签。本发明将有标签数据的标签信息传递给不带标签的数据，扩充带标签训练样本的数量，并对所有样本进行鉴别分析，提升CRC的精度和鉴别力。

Description

一种人脸识别方法及系统

技术领域

本发明属于人脸识别领域，具体涉及一种人脸识别方法及系统。

背景技术

人脸识别是模式识别技术领域中最重要的应用之一。所谓人脸识别，就是利用计算机分析人脸视频或者图像，并从中提取出有效的个人识别信息，最终判别出人脸对象的身份。

协同表示分类器(Collaborative Representation Classification，CRC)是一种高效高速的分类器,现已广泛应用于图像识别领域。CRC的基本思想是利用所有训练样本一起来协同表示该测试样本，进而得到协同表示编码。然后利用一个类编码选择子选择出和某一类训练样本相对应的类编码，最后用类编码计算各类的重构残差，重构残差最小的类标签即为该测试样本的类别。

CRC本质上是一种有监督学习方法，它的性能严重依赖于每类带标签训练样本的个数，当每类带标签的训练样本不够充分，CRC的识别性能将会显著地下降。

其次，CRC虽然具有很好的表示能力，但是对不同类别样本的鉴别能力较弱，为了增加模型的鲁棒性，使不同人的人脸图像尽量区分开来，需要增加CRC模型本身的鉴别能力。

发明内容

针对上述问题，本发明提出一种人脸识别方法及系统，将部分有标签数据的标签信息传递给不带标签的数据，从而扩充带标签训练样本的数量，进而提升CRC的性能；另外，利用获得的无标签人脸图像训练集的软标签信息加之已知的硬标签构造训练样本的类间、类内散度矩阵，运用线性鉴别分析(LDA)方法学习一个鉴别投影，使投影后的不同人脸特征向量更有鉴别力。

为了实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

第一方面，本发明提供了一种人脸识别方法，包括以下步骤：

提取有标签人脸图像训练集的特征向量，获得第一特征向量集；

提取无标签人脸图像训练集的特征向量，获得第二特征向量集；

对所述第一特征向量集和第二特征向量集执行基于协同表示的标签传播算法，获得无标签人脸图像训练集的软标签信息；

基于所述无标签人脸图像训练集的软标签信息和有标签人脸图像训练集的硬标签信息，计算出人脸图像训练集的类间散度和类内散度，然后执行线性鉴别分析算法，计算并保存鉴别投影矩阵；

利用所述鉴别投影矩阵对待测人脸图像的特征向量、第一特征向量集和第二特征向量集进行降维，得到各自新的低维特征向量，将所述低维特征向量输入协同表示分类器，得到协同表示编码，利用对应于每一类的协同表示编码计算重构残差，重构残差最小的那一类标签即为待测样本标签，至此得到识别结果。

可选地，所述对所述第一特征向量集和第二特征向量集执行基于协同表示的标签传播算法，获得无标签人脸图像训练集的软标签信息，包括以下步骤：

对于第一特征向量集中的每一个特征向量x_i，利用协同表示算法，用无标签样本对有标签样本进行重构，得到的协同表示系数向量α_i，其计算过程可简化为

其中α_ik为用无标签人脸图像x_k对有标签人脸图像x_i重构所得到的协同表示系数，λ是人为设置的正则化参数，I为单位矩阵，X_n为有标签人脸图像训练集，x_i为其中的某个有标签人脸图像训练样本，

X_u为无标签人脸图像训练集，

x_j为其中的某个无标签人脸图像训练样本；

将所述协同表示系数向量α_i带入

计算得到无标签人脸图像x_j的软标签向量f_j＝[f_j1,…,f_jq,…,f_jc],q∈{1,2,…,c}，其中，

f_jq表示有标签人脸图像x_i属于第q类的概率，其中l_i是第i个样本的标签，q∈{1,…,c}，i＝1,…,n，j＝n+1,…,n+u，c表示类别总数，最终得到无标签人脸图像训练集的软标签信息，即标签概率矩阵F^u＝[f_n+1；…；f_j；…；f_n+u]∈R^u×c，其中F^u的第j行表示无标签人脸图像x_j的软标签向量f_j，F^u的第j行q列元素

为x_j属于类别q的概率。

可选地，所述人脸图像训练集的类间散度和类内散度的计算方法包括以下步骤：

有标签人脸图像训练集的硬标签即为其标签概率矩阵，Fⁿ＝[f₁；…；f_i；…；f_n]∈R^{n ×c}，其中

表示有标签人脸图像x_i属于类别q的概率；

将所有标签信息整合，得到总的标签概率矩阵为F＝[Fⁿ；F^u]∈R^(n+u)×c；

计算所有人脸图像训练集的类内散度和类间散度：所述类内散度为

所述类间散度为

其中B∈R^{(n +u)×(n+u)}为对角阵，对角元素为

D∈R^c×c也为对角阵，对角元素为

X＝{X_n,X_u}＝{x₁,x₂,…,x_n,x_n+1,…,x_n+u}∈R^d×(n+u)，1＝[1,1,…,1]^T∈R^(n+u)×1，i＝1,2,…,c，j＝1,2,…,n+u。

可选地，所述鉴别投影矩阵的计算方法包括以下步骤：

计算

计算Y＝S_b-ρ(S_w+βI)；

求矩阵Y的特征值和对应特征向量，并按特征值大小降序排列特征向量，取前m个最大特征值所对应的特征向量组成特征向量组W^*＝[w₁,w₂,…,w_m]∈R^d×m；

循环上述计算步骤，直到ρ收敛到一个预设小数ε，最终的W^*即为要求的鉴别投影矩阵。

可选地，利用所述鉴别投影矩阵对待测人脸图像的特征向量和训练图像的特征向量进行降维，得到各自新的低维特征向量，将训练集和待测图像的低维特征向量输入协同表示分类器，得到协同表示编码，利用对应于每一类的协同表示编码计算重构残差，重构残差最小的那一类标签即为待测样本标签，至此得到识别结果，包括以下步骤：

利用鉴别投影W^*，对由第一特征向量集和第二特征向量集构成的训练集特征向量组X降维得到新的训练集特征向量组X^new＝(W^*TX)∈R^m×(n+u)；

利用鉴别投影W^*，对由待测人脸图像的特征向量构成的测试集特征向量组T降维得到新的测试集特征向量组T^new＝(W^*TT)∈R^m×t；

对于每一个待测人脸图像x_t∈T^new，利用协同表示分类器计算协同表示系数α_t＝[(X^new)^TX^new+λI]^-1(X^new)^Tx_t；

对于每一个待测人脸图像x_t∈T^new，计算每一类的重构误差

其中α_tl为与第l类l＝1,2,…,c.样本相关的编码，比较r_t1,r_t2,…,r_tc，寻找最小值r_tq，则待测样本的类别标签即为q，q＝1,2,…,c。

第二方面，本发明提供了一种人脸识别系统，包括：

第一特征提取模块，用于提取有标签人脸图像训练集的特征向量，获得第一特征向量集；

第二特征提取模块，用于提取无标签人脸图像训练集的特征向量，获得第二特征向量集；

第一计算模块，用于对所述第一特征向量集和第二特征向量集执行基于协同表示的标签传播算法，获得无标签人脸图像训练集的软标签信息；

第二计算模块，用于依据所述无标签人脸图像训练集的软标签信息和有标签人脸图像训练集的硬标签信息，计算所有人脸图像训练集的类间散度和类内散度，然后执行线性鉴别分析算法，计算并保存鉴别投影矩阵；

第三计算模块，用于利用鉴别投影矩阵对待测人脸图像的特征向量、第一特征向量集和第二特征向量集进行降维，得到各自新的低维特征向量，将所述低维特征向量输入协同表示分类器，得到协同表示编码，利用对应于每一类的协同表示编码计算重构残差，重构残差最小的那一类标签即为待测样本标签，至此得到识别结果。

与现有技术相比，本发明的有益效果：

本发明基于半监督协同表示标签传播方法，将部分有标签数据的标签信息传递给不带标签的数据，从而扩充带标签训练样本的数量，进而可以提升CRC是分类识别效果。

其次，利用半监督协同表示标签传播方法获得的所有人脸图像的标签信息来指导构造类间、类内散度矩阵；然后对投影后的同类散度的迹施加最小化约束，异类散度的迹施加最大化约束；同时对鉴别投影本身再施加正交约束，使学得的投影更具有鉴别力。通过这种方式，增加CRC模型的鉴别能力，使不同人的人脸图像尽量区分开来，进而增加了模型的鲁棒性。

附图说明

为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中：

图1为本发明一种实施例的人脸识别方法的流程示意图；

图2为本发明一种实施例的人脸识别系统的数据流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明的保护范围。

下面结合附图对本发明的应用原理作详细的描述。

实施例1

本发明实施例中提供了一种人脸识别方法，如图1-2所示，具体包括以下步骤：

(1)提取有标签人脸图像训练集的特征向量，获得第一特征向量集，

且X_n的类别标签是已知的，假定n个有标签人脸图像的类别标签为L＝{l₁,…,l_i,…,l_n}，其中l_i是第i个样本的标签，且l_i∈{1,2,…,c}，c表示类别总数；

(2)提取无标签人脸图像训练集的特征向量，获得第二特征向量集，

(3)对所述第一特征向量集和第二特征向量集执行基于协同表示的标签传播算法，获得无标签人脸图像训练集的软标签信息；

(4)基于所述无标签人脸图像训练集的软标签信息和有标签人脸图像训练集的硬标签信息，计算出人脸图像训练集的类间散度和类内散度，然后执行线性鉴别分析算法，计算并保存鉴别投影矩阵；

(5)利用鉴别投影矩阵对待测人脸图像的特征向量、第一特征向量集和第二特征向量集进行降维，得到各自新的低维特征向量，将所述低维特征向量输入协同表示分类器，得到协同表示编码，利用对应于每一类的协同表示编码计算重构残差，重构残差最小的那一类标签即为待测样本标签，至此得到识别结果。

在本发明实施例的一种具体实施方式中，在所述提取有标签人脸图像训练集的特征向量，获得第一特征向量集步骤之前，还包括：

对有标签人脸图像训练集和无标签人脸图像训练集进行预处理，所述预处理具体包括：去噪、图像增强操作以及将所有人脸图像调整到同一个分辨率，将像素值归一化等操作以便以后的处理；

将有标签人脸图像训练集按标签类别排好序，并按顺序记录保存标签信息。

所述提取有标签人脸图像训练集的特征向量，获得第一特征向量集，以及提取无标签人脸图像训练集的特征向量，获得第二特征向量集，具体为：

直接将每个人脸图像(即二维图片)拉伸成一维列向量，然后使用主成分分析对所有人脸图像(即列向量)进行降维处理，得到训练集特征向量矩阵X＝{X_n,X_u}＝{x₁,x₂,…,x_n,x_n+1,…,x_n+u}∈R^d×(n+u)和测试集特征向量矩阵T＝{x₁,x₂,…,x_t}∈R^d×t，特征维度为d。实际应用本方法时，可以使用其他基于颜色、纹理的特征描述子对样本进行特征提取，然后按特征维度的大小，选择是否降维。

在本发明实施例的一种具体实施方式中，所述对所述第一特征向量集和第二特征向量集执行基于协同表示的标签传播算法，获得无标签人脸图像训练集的软标签信息，包括以下步骤：

对于第一特征向量集中的每一个特征向量x_i，利用协同表示算法，用无标签样本对有标签样本进行重构，得到的协同表示系数向量α_i，其计算过程可简化为

其中α_ij为用无标签人脸图像x_j对有标签人脸图像x_i重构所得到的协同表示系数，λ是人为设置的正则化参数，I为单位矩阵，X_n为有标签人脸图像训练集，x_i为其中的某个有标签人脸图像训练样本，

X_u为无标签人脸图像训练集，

将所述协同表示系数向量α_i带入

计算得到无标签人脸图像x_j的软标签向量f_j＝[f_j1,…,f_jq,…,f_jc],q∈{1,2,…,c}，其中，

f_jq表示有标签人脸图像x_i属于第q类的概率，其中l_i是第i个样本的标签，q＝1,…,c，i＝1,…,n，j＝n+1,…,n+u，c表示类别总数，最终得到无标签人脸图像训练集的软标签信息，即标签概率矩阵F^u＝[f_n+1；…；f_j；…；f_n+u]∈R^u×c，其中F^u的第j行表示无标签人脸图像x_j的软标签向量f_j，F^u的第j行q列元素

为x_j属于类别q的概率。

在本发明实施例的一种具体实施方式中，所述无标签人脸图像训练集的软标签信息的类间散度和类内散度的计算方法包括以下步骤：

有标签人脸图像训练集的硬标签即为其标签概率矩阵，Fⁿ＝[f₁；…；f_i；…；f_n]∈R^{n ×c}，其中

表示有标签人脸图像x_i属于类别q的概率；

将所有标签信息整合，得到总的标签概率矩阵为F＝[Fⁿ；F^u]∈R^(n+u)×c；

计算所有人脸图像训练集的类内散度和类间散度，所述类内离散度为

所述类间离散度为

其中，B∈R^{(n +u)×(n+u)}为对角阵，对角元素为

D∈R^c×c也为对角阵，对角元素为

X＝{X_n,X_u}＝{x₁,x₂,…,x_n,x_n+1,…,x_n+u}∈R^d×(n+u)，1＝[1,1,…,1]^T∈R^(n+u)×1，i＝1,2,…,c，j＝1,2,…,n+u。

所述鉴别投影矩阵的计算方法包括以下步骤：

计算

计算Y＝S_b-ρ(S_w+βI)；

求矩阵Y的特征值和对应特征向量，并按特征值大小降序排列特征向量，取前m个最大特征值所对应的特征向量组成特征向量组W^*＝[w₁,w₂,…,w_m]∈R^d×m；

循环上述计算步骤，直到ρ收敛到一个预设小数ε，最终的W^*即为要求的鉴别投影矩阵。

在本发明实施例的一种具体实施方式中，利用所述鉴别投影矩阵对待测人脸图像的特征向量和训练图像的特征向量进行降维，得到各自新的低维特征向量，将所述低维特征向量输入协同表示分类器，得到协同表示编码，利用对应于每一类的协同表示编码计算重构残差，重构残差最小的那一类标签即为待测样本标签，至此得到识别结果，包括以下步骤：

利用鉴别投影W^*，对由第一特征向量集和第二特征向量集构成的训练集特征向量组X降维得到新的训练集特征向量组X^new＝(W^*TX)∈R^m×(n+u)；

利用鉴别投影W^*，对由待测人脸图像的特征向量构成的测试集特征向量组T降维得到新的测试集特征向量组T^new＝(W^*TT)∈R^m×t；

对于每一个待测人脸图像x_t∈T^new，利用协同表示分类器计算协同表示系数α_t＝[(X^new)^TX^new+λI]^-1(X^new)^Tx_t；

对于每一个待测人脸图像x_t∈T^new，计算每一类的重构误差

其中α_tl为与第l类l＝1,2,…,c.样本相关的编码，比较r_t1,r_t2,…,r_tc，寻找最小值r_tq则待测样本的类别标签即为q，q＝1,2,…,c。

实施例2

基于和实施例1相同的发明构思，本发明实施例中提供了一种人脸识别系统，包括：

第一特征提取模块，用于提取有标签人脸图像训练集的特征向量，获得第一特征向量集；

第二特征提取模块，用于提取无标签人脸图像训练集的特征向量，获得第二特征向量集；

第一计算模块，用于对所述第一特征向量集和第二特征向量集执行基于协同表示的标签传播算法，获得无标签人脸图像训练集的软标签信息；

第二计算模块，用于依据所述无标签人脸图像训练集的软标签信息和有标签人脸图像训练集的硬标签信息，计算所有人脸图像训练集的类间散度和类内散度，然后执行线性鉴别分析算法，计算并保存鉴别投影矩阵；

第三计算模块，用于利用鉴别投影矩阵对待测人脸图像的特征向量、第一特征向量集和第二特征向量集进行降维，得到各自新的低维特征向量，将所述低维特征向量输入协同表示分类器，得到协同表示编码，利用对应于每一类的协同表示编码计算重构残差，重构残差最小的那一类标签即为待测样本标签，至此得到识别结果。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种人脸识别方法，其特征在于，包括以下步骤：

提取有标签人脸图像训练集的特征向量，获得第一特征向量集；

提取无标签人脸图像训练集的特征向量，获得第二特征向量集；

对所述第一特征向量集和第二特征向量集执行基于协同表示的标签传播算法，获得无标签人脸图像训练集的软标签信息；

基于所述无标签人脸图像训练集的软标签信息和有标签人脸图像训练集的硬标签信息，计算出所有人脸图像训练集的类间散度和类内散度，然后执行线性鉴别分析算法，计算并保存鉴别投影矩阵；

利用所述鉴别投影矩阵对待测人脸图像的特征向量、第一特征向量集和第二特征向量集进行降维，得到各自新的低维特征向量，将所述低维特征向量输入协同表示分类器，得到协同表示编码，利用对应于每一类的协同表示编码计算重构残差，重构残差最小的那一类标签即为待测样本标签，至此得到识别结果。

2.根据权利要求1所述的一种人脸识别方法，其特征在于，所述对所述第一特征向量集和第二特征向量集执行基于协同表示的标签传播算法，获得无标签人脸图像训练集的软标签信息，包括以下步骤：

对于第一特征向量集中的每一个特征向量x_i，利用协同表示算法，用无标签样本对有标签样本进行重构，得到的协同表示系数向量α_i，其计算过程可简化为

其中α_ik为用无标签人脸图像x_k对有标签人脸图像x_i重构所得到的协同表示系数，λ是人为设置的正则化参数，I为单位矩阵，X_n为有标签人脸图像训练集，x_i为其中的某个有标签人脸图像训练样本，

X_u为无标签人脸图像训练集，

x_j为其中的某个无标签人脸图像训练样本；

将所述协同表示系数向量α_i带入

计算得到无标签人脸图像x_j的软标签向量f_j＝[f_j1,…,f_jq,…,f_jc],q∈{1,2,…,c}，其中，

f_jq表示有标签人脸图像x_i属于第q类的概率，其中l_i是第i个样本的标签，q∈{1,…,c}，i＝1,…,n，j＝n+1,…,n+u，c表示类别总数，最终得到无标签人脸图像训练集的软标签信息，即标签概率矩阵F^u＝[f_n+1；…；f_j；…；f_n+u]∈R^u×c，其中F^u的第j行表示无标签人脸图像x_j的软标签向量f_j，F^u的第j行q列元素

为x_j属于类别q的概率。

3.根据权利要求1所述的一种人脸识别方法，其特征在于，所述人脸图像训练集的类间散度和类内散度的计算方法包括以下步骤：

有标签人脸图像训练集的硬标签即为其标签概率矩阵，Fⁿ＝[f₁；…；f_i；…；f_n]∈R^n×c，其中

表示有标签人脸图像x_i属于类别q的概率；

将所有标签信息整合，得到总的标签概率矩阵为F＝[Fⁿ；F^u]∈R^(n+u)×c；

计算所有人脸图像训练集的类内散度和类间散度：所述类内散度为

所述类间散度为

其中B∈R^{(n +u)×(n+u)}为对角阵，对角元素为

D∈R^c×c也为对角阵，对角元素为

X＝{X_n,X_u}＝{x₁,x₂,…,x_n,x_n+1,…,x_n+u}∈R^d×(n+u)，1＝[1,1,…,1]^T∈R^(n+u)×1，i＝1,2,…,c，j＝1,2,…,n+u。

4.根据权利要求1所述的一种人脸识别方法，其特征在于：所述鉴别投影矩阵的计算方法包括以下步骤：

计算

计算Y＝S_b-ρ(S_w+βI)；

求矩阵Y的特征值和对应特征向量，并按特征值大小降序排列特征向量，取前m个最大特征值所对应的特征向量组成特征向量组W^*＝[w₁,w₂,…,w_m]∈R^d×m；

循环上述计算步骤，直到ρ收敛到一个预设小数ε，最终的W^*即为要求的鉴别投影矩阵。

5.根据权利要求1所述的一种人脸识别方法，其特征在于，利用所述鉴别投影矩阵对待测人脸图像的特征向量和训练图像的特征向量进行降维，得到各自新的低维特征向量，将训练集和待测图像的低维特征向量输入协同表示分类器，得到协同表示编码，利用对应于每一类的协同表示编码计算重构残差，重构残差最小的那一类标签即为待测样本标签，至此得到识别结果，包括以下步骤：

利用鉴别投影W^*，对由第一特征向量集和第二特征向量集构成的训练集特征向量组X降维得到新的训练集特征向量组X^new＝(W^*TX)∈R^m×(n+u)；

利用鉴别投影W^*，对由待测人脸图像的特征向量构成的测试集特征向量组T降维得到新的测试集特征向量组T^new＝(W^*TT)∈R^m×t；

对于每一个待测人脸图像x_t∈T^new，利用协同表示分类器计算协同表示系数α_t＝[(X^new)^TX^new+λI]^-1(X^new)^Tx_t；

对于每一个待测人脸图像x_t∈T^new，计算每一类的重构误差

其中α_tl为与第l类l＝1,2,…,c.样本相关的编码，比较r_t1,r_t2,…,r_tc，寻找最小值r_tq，则待测样本的类别标签即为q，q＝1,2,…,c。

6.一种人脸识别系统，其特征在于，包括：

第一特征提取模块，用于提取有标签人脸图像训练集的特征向量，获得第一特征向量集；

第二特征提取模块，用于提取无标签人脸图像训练集的特征向量，获得第二特征向量集；

第一计算模块，用于对所述第一特征向量集和第二特征向量集执行基于协同表示的标签传播算法，获得无标签人脸图像训练集的软标签信息；

第二计算模块，用于依据所述无标签人脸图像训练集的软标签信息和有标签人脸图像训练集的硬标签信息，计算所有人脸图像训练集的类间散度和类内散度，然后执行线性鉴别分析算法，计算并保存鉴别投影矩阵；

第三计算模块，用于利用鉴别投影矩阵对待测人脸图像的特征向量、第一特征向量集和第二特征向量集进行降维，得到各自新的低维特征向量，将所述低维特征向量输入协同表示分类器，得到协同表示编码，利用对应于每一类的协同表示编码计算重构残差，重构残差最小的那一类标签即为待测样本标签，至此得到识别结果。

Images