CN109145749B - 一种跨数据集的面部表情识别模型构建及识别方法 - Google Patents

一种跨数据集的面部表情识别模型构建及识别方法 Download PDF

Info

Publication number
CN109145749B
CN109145749B CN201810810769.8A CN201810810769A CN109145749B CN 109145749 B CN109145749 B CN 109145749B CN 201810810769 A CN201810810769 A CN 201810810769A CN 109145749 B CN109145749 B CN 109145749B
Authority
CN
China
Prior art keywords
facial expression
image
expression image
images
recognition model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810810769.8A
Other languages
English (en)
Other versions
CN109145749A (zh
Inventor
马祥
付俊妮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201810810769.8A priority Critical patent/CN109145749B/zh
Publication of CN109145749A publication Critical patent/CN109145749A/zh
Application granted granted Critical
Publication of CN109145749B publication Critical patent/CN109145749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种跨数据集面部表情识别模型构建方法以及识别方法，通过自适应非负加权矩阵约束训练表情图像的重建误差，加强了图像数据表示中重要特征的作用并减少了具有重大重建误差的无用特征。另外通过映射矩阵将训练集投影到适当的子空间中，可以更好地揭示跨数据集图像样本之间的内在相似关系，从而使基于低秩与稀疏表示的子空间能够学习鲁棒的重建图像以便于实现最终的跨数据集面部表情识别。

Description

一种跨数据集的面部表情识别模型构建及识别方法
技术领域
本发明涉及面部表情识别领域，具体涉及一种跨数据集的面部表情识别模型构建及识别方法。
背景技术
现有的面部表情识别方法主要是基于所捕获的测试图像与训练图像均来自相同条件和相同个体的这一假设，且这些方法受限于大量的标记样本。然而当这些方法的训练与测试过程分别来自不同条件和不同个体的表情数据库上时，它们的识别性能将会显著下降。同时当已标记的训练样本严重不足时，现有的面部表情识别方法在学习过程中往往会出现过拟合现象，使得学习得到的模型在测试过程中无法获得应有的效果。
目前国内仅有个别针对跨域有限标记的人脸识别算法被提出，例如一种基于稀疏子空间聚类的跨域人脸迁移学习算法。然而该方法对待所有特征甚至包括一些冗余特征和噪声没有区别，这些冗余特征和噪声不仅无用，而且可能对图像数据表示不利。特别是当这些冗余特征的百分比大于有效特征时，冗余特征可能在图像数据表示中起主导作用。在这种情况下，基于子空间学习的图像是不精准的，进而导致不理想的聚类效果。
发明内容
本发明的目的在于提供一种跨数据集的面部表情识别模型构建及识别方法，用以解决现有技术中跨数据集的表情识别方法聚类效果不理想的问题。
为了实现上述任务，本发明采用以下技术方案：
一种跨数据集面部表情识别模型构建方法，所述的方法包括：
步骤1、获得面部表情图像训练集，所述的训练集包括第一数据集中的多幅已标记的面部表情图像以及第二数据集中的多幅未标记的面部表情图像，在所述的训练集中每幅已标记的面部表情图像对应一个标记标签，每幅未标记的面部表情图像对应一个随机标签；
步骤2、对所述训练集中的每幅面部表情图像进行人脸位置固定的预处理后再进行图像尺寸的归一化，获得每幅预处理后的面部表情图像；
步骤3、根据式I获得每幅预处理后的面部表情图像的相似图像：
Figure BDA0001739088730000021
其中，Xs为预处理后的面部表情图像，P为预处理后的面部表情图像的相似图像，M为投影矩阵，W为非负加权矩阵，E为重建误差，P1为相似图像P的低秩表示、P2为相似图像P的稀疏表示，λ1为非负加权矩阵W的参数，λ2为相似图像P的低秩表示P1的参数，λ3为相似图像P的稀疏表示P2的参数，λ1>0，λ2>0，λ3>0；
步骤4、对所有预处理后的面部表情图像的相似图像进行聚类，获得每幅预处理后的面部表情图像的相似图像的聚类结果，所述的聚类结果为每幅面部表情图像的确定标签，收集面部表情图像训练集中所有面部表情图像的确定标签，获得面部表情确定标签集；
步骤5、利用所述的面部表情图像训练集作为输入，利用所述的面部表情确定标签集作为输出，训练识别模型，获得面部表情识别模型。
进一步地，所述的步骤2、对所述训练集中的每幅面部表情图像进行人脸位置固定的预处理后再进行图像格式的归一化，获得预处理后的训练集，包括：
步骤21、将所述训练集中的每幅面部表情图像中的每个眼睛的中心点固定至相同位置，将所述眼睛中心点固定后的每幅面部表情图像中的嘴巴中心点固定至相同位置；
步骤22、将进行位置固定后的每幅面部表情图像进行直方图均衡化；
步骤23、将进行直方图均衡化后的每幅面部表情图像裁剪切割成尺寸相同的图像，获得预处理后的训练集。
进一步地，所述的步骤4、对所有预处理后的面部表情图像的相似图像进行聚类时，采用归一化切割的谱聚类算法。
进一步地，所述步骤5中识别模型为SVM分类模型。
一种跨数据集面部表情识别方法，采用上述的面部表情识别模型对将待识别的面部表情图像进行识别，获得待识别的面部表情图像的标签。
本发明与现有技术相比具有以下技术特点:
1、本发明提供的方法通过自适应非负加权矩阵约束训练表情图像的重建误差，加强了跨数据集样本图像数据表示中重要特征的作用并减少了具有重大重建误差的冗余特征。
2、本发明提供的方法通过映射矩阵将训练集投影到适当的子空间中，可以更好地揭示跨数据集图像样本之间的内在相似关系，使基于低秩与稀疏表示的子空间能够学习鲁棒的重建图像。
3、本发明提供的方法有效解决了当训练样本标签严重不足时的跨数据集面部表情识别问题。
附图说明
图1为本发明提供的识别模型构建方法的流程图；
图2为本发明的一个实施例中提供的CK+数据集中部分面部表情图像；
图3为本发明的一个实施例中提供的JAFFE数据集中部分面部表情图像；
图4为本发明的一个实施例中提供的待识别面部表情图像。
具体实施方式
以下是发明人提供的具体实施例，以对本发明的技术方案作进一步解释说明。
实施例一
本发明公开了一种跨数据集面部表情识别模型构建方法，所述的方法包括：
步骤1、获得面部表情图像训练集，所述的训练集包括第一数据集中的多幅已标记的面部表情图像以及第二数据集中的多幅未标记的面部表情图像，在所述的训练集中每幅已标记的面部表情图像对应一个标记标签，每幅未标记的面部表情图像对应一个随机标签；
在本实施例中，分别选取CK+数据集中327张标记表情的面部表情图像和JAFFE数据集中142张未标记表情的面部表情图像构成一组面部表情图像训练集，其中CK+数据集中面部表情图像如图2所示，JAFFE数据集中面部表情图像如图3所示。其中已标记的面部表情图像的标签有：(1-中性，2-惊讶，3-悲伤，4-恐惧,5-生气,6-厌恶,7-高兴)，未标记的面部表情图像的随机标签设定为0。
步骤2、对所述训练集中的每幅面部表情图像进行人脸位置固定的预处理后再进行图像尺寸的归一化，获得每幅预处理后的面部表情图像；
在本步骤中，对每幅面部表情图像进行人脸位置固定可以是通过固定图像尺寸进行固定，也可以是在人脸中标记特征点进行固定。
作为一种优选的实施方式，将人脸图像中双眼与唇部中心的位置进行固定。
可选地，步骤2包括：
步骤21、将所述训练集中的每幅面部表情图像中的每个眼睛的中心点固定至相同位置，将所述眼睛中心点固定后的每幅面部表情图像中的嘴巴中心点固定至相同位置；
步骤22、将进行位置固定后的每幅面部表情图像进行直方图均衡化；
步骤22的目的在于将所有图像转化为灰度图。
步骤23、将进行直方图均衡化后的每幅面部表情图像裁剪切割成尺寸相同的图像，获得每幅预处理后的面部表情图像。
在本实施例中，将进行直方图均衡化后的每幅面部表情图像裁剪切割成大小为46×40的图像，获得预处理后的训练集。
步骤3、根据式I获得每幅预处理后的面部表情图像的相似图像：
Figure BDA0001739088730000061
其中，Xs为预处理后的面部表情图像，P为预处理后的面部表情图像的相似图像，M为投影矩阵，W为非负加权矩阵，E为重建误差，P1为相似图像P的低秩表示、P2为相似图像P的稀疏表示，λ1为非负加权矩阵W的参数，λ2为相似图像P的低秩表示P1的参数，λ3为相似图像P的稀疏表示P2的参数，λ1>0，λ2>0，λ3>0；
作为一种优选的实施方式，λ1＝10，λ2＝0.001，λ3＝0.02。
在本步骤中，通过非负加权矩阵来规范数据的重建误差，加强了图像数据表示中重要特征的作用并减少了具有重大重建误差的无用特征，通过依次迭代更新式I中的投影矩阵M，非负加权矩阵W，重建误差E，相似图像P的低秩表示P1、相似图像P的稀疏表示P2以及相似图像P，获得最终的相似图像P，也就是说，将一次更新后的投影矩阵M代入非负加权矩阵W的更新公式中，获得一次更新后的非负加权矩阵W，再将更新后的投影矩阵M、更新后的非负加权矩阵W代入重建误差E的更新公式中，获得一次更新后的重建误差E，同样地方法，更新相似图像P的低秩表示P1、相似图像P的稀疏表示P2，将所有一次更新后的投影矩阵M、更新后的非负加权矩阵W、更新后的重建误差E、更新后的相似图像P的低秩表示P1以及更新后的相似图像P的稀疏表示P2代入相似图像P的更新公式中，获得一次更新后的相似图像P。
具体地，重复多次步骤31-36迭代更新投影矩阵M，非负加权矩阵W，重建误差E，相似图像P的低秩表示P1、相似图像P的稀疏表示P2以及相似图像P，获得更新后的相似图像P，其中每次迭代更新包括：
步骤31、采用式II更新投影矩阵M，获得本次更新后的投影矩阵M：
Figure BDA0001739088730000071
求解出的投影矩阵M作为本次更新后的投影矩阵M；
其中，μ为惩罚因子，μ>0，Y1与Y4均为拉格朗日乘数因子，Y1>0，Y4>0，I为单位矩阵，在首次更新投影矩阵M时，E＝0，W＝1，P1＝0，P2＝0，P＝0；
步骤32、采用式III更新非负加权矩阵W，获得本次更新后的非负加权矩阵W：
Figure BDA0001739088730000072
求解出的非负加权矩阵W作为本次更新后的非负加权矩阵W；
在首次更新非负加权矩阵W时，E＝0；
步骤33、采用式IV更新重建误差E，获得本次更新后的重建误差E：
Figure BDA0001739088730000081
其中，在首次更新重建误差E时，P＝0；
步骤34、采用式V更新相似图像P的低秩表示P1，获得本次更新后的相似图像P的低阶表示P1：
Figure BDA0001739088730000082
其中，Y2为拉格朗日乘数因子，Y2>0，在首次更新相似图像P的低秩表示P1时，P＝0；
步骤35、采用式VI更新相似图像P的稀疏表示P2，获得本次更新后的相似图像P的稀疏表示P2：
Figure BDA0001739088730000083
其中，Y3为拉格朗日乘数因子，Y3>0，在首次更新相似图像P的稀疏表示P2时，P＝0；
步骤36、采用式VII更新相似图像P，获得本次更新后的相似图像P：
P＝(2I+Xs TWWTXs)-1(G2+G3+Xs TWG1) 式VII
其中，
Figure BDA0001739088730000084
步骤4、对所有预处理后的面部表情图像的相似图像进行聚类，获得每幅预处理后的面部表情图像的相似图像的聚类结果，所述的聚类结果为每幅面部表情图像的确定标签，收集面部表情图像训练集中所有面部表情图像的确定标签，获得面部表情确定标签集；
作为一种优选的实施方式，对所有预处理后的面部表情图像的相似图像进行聚类时，采用归一化切割的谱聚类算法。
具体地，利用归一化切割的谱聚类算法对所有相似图像进行聚类包括：
步骤A、对每幅相似图像采用式VIII进行处理，获得近似图像G：
G＝(|P|+|P|T)/2 式VIII
步骤B、通过对近似图像G的拉普拉斯矩阵进行特征分解来产生低维表示；
步骤C、利用K–means聚类的方法将产生的低维表示划分类别。
步骤5、利用所述的面部表情图像训练集作为输入，利用所述的面部表情确定标签集作为输出，训练识别模型，获得面部表情识别模型。
在本步骤中，识别模型可以是神经网络模型、SVM分类模型等，作为一种优选的实施方式，该识别模型为SVM分类模型。
通过在训练表情图像的重建误差处施加自适应非负加权矩阵，以加强图像数据表示中重要特征的作用并减少具有重大重建误差的无用特征，另外通过映射矩阵将训练集投影到适当的子空间中，可以更好地揭示跨数据集图像样本之间的内在相似关系，从而使基于低秩与稀疏表示的子空间能够学习鲁棒的重建图像以便于实现最终的表情识别。
实施例二
一种跨数据集面部表情识别方法，实施例一中所述的面部表情识别模型对将待识别的面部表情图像进行识别，获得待识别的面部表情图像的标签。
在本实施例中，对如图4所示的面部表情图像进行识别，识别结果为：7-高兴。

Claims (5)

1.一种跨数据集面部表情识别模型构建方法，其特征在于，所述的方法包括：
步骤1、获得面部表情图像训练集，所述的训练集包括第一数据集中的多幅已标记的面部表情图像以及第二数据集中的多幅未标记的面部表情图像，在所述的训练集中每幅已标记的面部表情图像对应一个标记标签，每幅未标记的面部表情图像对应一个随机标签；
步骤2、对所述训练集中的每幅面部表情图像进行人脸位置固定的预处理后再进行图像尺寸的归一化，获得每幅预处理后的面部表情图像；
步骤3、根据式I获得每幅预处理后的面部表情图像的相似图像：
Figure FDA0003036941460000011
其中，Xs为预处理后的面部表情图像，P为预处理后的面部表情图像的相似图像，M为投影矩阵，W为非负加权矩阵，E为重建误差，P1为相似图像P的低秩表示、P2为相似图像P的稀疏表示，λ1为非负加权矩阵W的参数，λ2为相似图像P的低秩表示P1的参数，λ3为相似图像P的稀疏表示P2的参数，λ1>0，λ2>0，λ3>0；
步骤4、对所有预处理后的面部表情图像的相似图像进行聚类，获得每幅预处理后的面部表情图像的相似图像的聚类结果，所述的聚类结果为每幅面部表情图像的确定标签，收集面部表情图像训练集中所有面部表情图像的确定标签，获得面部表情确定标签集；
步骤5、利用所述的面部表情图像训练集作为输入，利用所述的面部表情确定标签集作为输出，训练识别模型，获得面部表情识别模型。
2.如权利要求1所述的跨数据集面部表情识别模型构建方法，其特征在于，所述的步骤2、对所述训练集中的每幅面部表情图像进行人脸位置固定的预处理后再进行图像格式的归一化，获得每幅预处理后的面部表情图像，包括：
步骤21、将所述训练集中的每幅面部表情图像中的每个眼睛的中心点固定至相同位置，将所述眼睛中心点固定后的每幅面部表情图像中的嘴巴中心点固定至相同位置；
步骤22、将进行位置固定后的每幅面部表情图像进行直方图均衡化；
步骤23、将进行直方图均衡化后的每幅面部表情图像裁剪切割成尺寸相同的图像，获得每幅预处理后的面部表情图像。
3.如权利要求1所述的跨数据集面部表情识别模型构建方法，其特征在于，所述的步骤4、对所有预处理后的面部表情图像的相似图像进行聚类时，采用归一化切割的谱聚类算法。
4.如权利要求1所述的跨数据集面部表情识别模型构建方法，其特征在于，所述步骤5中识别模型为SVM分类模型。
5.一种跨数据集面部表情识别方法，其特征在于，采用权利要求1-4任一项权利要求所述的面部表情识别模型对将待识别的面部表情图像进行识别，获得待识别的面部表情图像的标签。
CN201810810769.8A 2018-07-23 2018-07-23 一种跨数据集的面部表情识别模型构建及识别方法 Active CN109145749B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810810769.8A CN109145749B (zh) 2018-07-23 2018-07-23 一种跨数据集的面部表情识别模型构建及识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810810769.8A CN109145749B (zh) 2018-07-23 2018-07-23 一种跨数据集的面部表情识别模型构建及识别方法

Publications (2)

Publication Number Publication Date
CN109145749A CN109145749A (zh) 2019-01-04
CN109145749B true CN109145749B (zh) 2021-07-30

Family

ID=64801362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810810769.8A Active CN109145749B (zh) 2018-07-23 2018-07-23 一种跨数据集的面部表情识别模型构建及识别方法

Country Status (1)

Country Link
CN (1) CN109145749B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444859A (zh) * 2020-03-30 2020-07-24 哈尔滨工程大学 一种无监督跨域人脸表情识别方法
CN112465042B (zh) * 2020-12-02 2023-10-24 中国联合网络通信集团有限公司 一种分类网络模型的生成方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324914A (zh) * 2013-05-31 2013-09-25 长安大学 一种基于稀疏系数的人脸图像多表情相互转换方法
CN106663184A (zh) * 2014-03-28 2017-05-10 华为技术有限公司 人脸数据验证的方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324914A (zh) * 2013-05-31 2013-09-25 长安大学 一种基于稀疏系数的人脸图像多表情相互转换方法
CN106663184A (zh) * 2014-03-28 2017-05-10 华为技术有限公司 人脸数据验证的方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A transfer learning approach to cross-database facial expression recognition;Zhu ronghang 等;《2015 International Conference on Biometrics (ICB)》;IEEE;20150702;全文 *
Cross-Database Facial Expression Recognition via Unsupervised Domain Adaptive Dictionary Learning;Yan keyu 等;《ICONIP 2016: Neural Information Processing》;Springer Link;20160930;全文 *
基于稀疏子空间聚类的跨域人脸迁移学习方法;朱俊勇 等;《中山大学学报(自然科学版)》;20160915;第55卷(第5期);全文 *

Also Published As

Publication number Publication date
CN109145749A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
CN110414462B (zh) 一种无监督的跨域行人重识别方法及系统
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN108182427B (zh) 一种基于深度学习模型和迁移学习的人脸识别方法
CN108564129B (zh) 一种基于生成对抗网络的轨迹数据分类方法
AU2014368997B2 (en) System and method for identifying faces in unconstrained media
CN110321967B (zh) 基于卷积神经网络的图像分类改进方法
CN113076994B (zh) 一种开集域自适应图像分类方法及系统
CN110909618B (zh) 一种宠物身份的识别方法及装置
CN109492750B (zh) 基于卷积神经网络和因素空间的零样本图像分类方法
CN112733965B (zh) 一种基于小样本学习的无标签图像分类方法
CN110705636B (zh) 一种基于多样本字典学习和局部约束编码的图像分类方法
CN107862680B (zh) 一种基于相关滤波器的目标跟踪优化方法
CN112862792A (zh) 一种用于小样本图像数据集的小麦白粉病孢子分割方法
WO2023088174A1 (zh) 目标检测方法及装置
CN109145749B (zh) 一种跨数据集的面部表情识别模型构建及识别方法
CN115147632A (zh) 基于密度峰值聚类算法的图像类别自动标注方法及装置
CN110442736B (zh) 一种基于二次判别分析的语义增强子空间跨媒体检索方法
CN112132257A (zh) 基于金字塔池化及长期记忆结构的神经网络模型训练方法
CN112990340B (zh) 一种基于特征共享的自学习迁移方法
CN113033345B (zh) 基于公共特征子空间的v2v视频人脸识别方法
CN108388918B (zh) 具有结构保持特性的数据特征选择方法
CN111160161B (zh) 一种基于噪声剔除的自步学习人脸年龄估计方法
CN112750128A (zh) 图像语义分割方法、装置、终端及可读存储介质
WO2023201772A1 (zh) 基于迭代域内适应和自训练的跨域遥感图像语义分割方法
Chen et al. Learning discriminative feature via a generic auxiliary distribution for unsupervised domain adaptation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant