CN111832426B - 基于双稀疏迁移学习的跨库微表情识别方法及装置 - Google Patents

基于双稀疏迁移学习的跨库微表情识别方法及装置 Download PDF

Info

Publication number
CN111832426B
CN111832426B CN202010578064.5A CN202010578064A CN111832426B CN 111832426 B CN111832426 B CN 111832426B CN 202010578064 A CN202010578064 A CN 202010578064A CN 111832426 B CN111832426 B CN 111832426B
Authority
CN
China
Prior art keywords
micro
sparse
double
expression
transfer learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010578064.5A
Other languages
English (en)
Other versions
CN111832426A (zh
Inventor
宗源
刘佳腾
郑文明
唐传高
路成
李溯南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202010578064.5A priority Critical patent/CN111832426B/zh
Publication of CN111832426A publication Critical patent/CN111832426A/zh
Application granted granted Critical
Publication of CN111832426B publication Critical patent/CN111832426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双稀疏迁移学习的跨库微表情识别方法及装置，方法包括：(1)获取不同的微表情训练数据库和测试数据库(2)将训练数据库和测试数据库中的微表情数据分别处理得到微表情的LBP‑TOP特征；(3)建立双稀疏迁移学习模型；(4)将训练数据库和测试数据库的微表情特征数据输入双稀疏迁移学习模型进行训练，训练时；(5)获取待识别的微表情数据LBP‑TOP特征，输入训练好的双稀疏迁移学习模型，输出情感类别。本发明准确率更高。

Description

基于双稀疏迁移学习的跨库微表情识别方法及装置
技术领域
本发明涉及情感识别技术，尤其涉及一种基于双稀疏迁移学习的跨库微表情识别方法及装置。
背景技术
人体面部微表情识别是当前人工智能以及情感计算领域的一个研究热点，应用前景广阔。传统的微表情识别往往在单个微表情数据库上进行训练与测试，而在实际生活与应用中，训练数据库与测试数据库的微表情数据往往有很大的差异，例如采集环境、采集设备等，故在不同微表情数据库上进行微表情识别更贴近于真实的生活与应用场景，这是一种跨库微表情识别问题。跨库微表情识别的难点在于提取合适的微表情特征并缩小训练数据库数据以及测试数据库数据的特征分布差异。
稀疏学习方法是一种有效提取与微表情识别相关的重要特征与面部区域的手段，其具有反馈与学习的功能，在微表情识别的领域中应用广泛。特征向量的均值差异是一种衡量不同域之间数据分布差异的有效方法，可以有效表示不同微表情数据库之间的特征分布差异。
发明内容
发明目的：本发明针对现有技术识别结果不够准确的问题，提供一种基于双稀疏迁移学习的跨库微表情识别方法及装置，识别结果更准确。
技术方案：本发明所述的基于双稀疏迁移学习的跨库微表情识别方法包括：
(1)获取两个不同的微表情数据库，分别作为训练数据库和测试数据库，其中，每个微表情数据库中包括有若干微表情数据和对应的情感类别标签；
(2)将训练数据库和测试数据库中的微表情数据分别进行预处理，得到每段微表情数据的LBP-TOP(Local Binary Pattern from Three Orthogonal Planes)特征；
(3)建立双稀疏迁移学习模型，所述双稀疏迁移学习模型包括一项投影向量均值项以及两项正则化稀疏项；
(4)将训练数据库和测试数据库中微表情数据的LBP-TOP特征和对应的情感类别标签分别输入建立的双稀疏迁移学习模型进行训练，其中，在训练模型时使用交替方向法进行训练，得到待学习参数的最优值C*和β*；
(5)将待识别微表情数据进行预处理，得到其LBP-TOP特征，并将LBP-TOP特征输入训练好的双稀疏迁移学习模型，输出识别的情感类别。
进一步的，步骤(2)中所述预处理包括：人脸检测，对齐，1*1、2*2、4*4、8*8的人脸多尺度网格划分和提取特征。
进一步的，步骤(3)中建立的所述双稀疏迁移学习模型具体为：
Figure BDA0002551995520000021
s.t.β≥0
式中，
Figure BDA0002551995520000022
为投影向量均值项，||β||1、||CT||2,1为正则化稀疏项，L为情感类别标签形成的矩阵，C＝[C1,...,CN]为回归系数矩阵，为待学习参数，β＝[β1,...,βN]T为权重向量，其元素为非负实数，表示对应LBP-TOP特征对微表情识别的作用，为待学习参数，N表示人脸的分块数，ns、nt分别为训练数据库和测试数据库的样本数，
Figure BDA0002551995520000023
分别为训练数据库、测试数据库中微表情数据的LBP-TOP特征组成的矩阵的第i个列向量，1s、1t分别为长度为ns、nt的元素值全为1的向量，λ、μ和τ为控制正则项的权衡系数，
Figure BDA0002551995520000024
为Frobenius范数的平方，||||2,1为2,1范数，||||1为1范数。
进一步的，步骤(4)中所述交替方向法具体为：
(4-1)固定β,更新C：
将所述双稀疏迁移学习模型变换为：
Figure BDA0002551995520000025
使用增广拉格朗日乘子法对上式进行求解，得到C的最优值C*；
(4-2)固定C,更新β：
将所述双稀疏迁移学习模型变换为：
Figure BDA0002551995520000026
s.t.β≥0
Figure BDA0002551995520000027
通过最小二乘法对上式进行优化得到β的最优值β*。
进一步的，步骤(5)中获取待识别微表情的情感类别的方法为：
将待识别微表情的LBP-TOP特征Xt输入训练好的双稀疏迁移学习模型，得到待识别微表情的情感类别Lpred：
Figure BDA0002551995520000031
Figure BDA0002551995520000032
式中，()i表示对应矩阵的第i个列向量；
Figure BDA0002551995520000033
为待识别微表情的情感标签向量，
Figure BDA0002551995520000034
表示
Figure BDA0002551995520000035
的第k个元素，m为情感类别数。
本发明所述的基于双稀疏迁移学习的跨库微表情识别装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
有益效果：本发明与现有技术相比，其显著优点是：本发明使用LBP-TOP特征作为特征输入，采用跨库进行模型训练，双稀疏模型可以有效地提取对微表情识别有益的特征与面部区域，通过优化特征分布的投影向量的均值差异可以有效地缩小训练数据库数据与测试数据库数据的特征差异，使得识别准确率更高。
附图说明
图1是本发明提供的基于双稀疏迁移学习的跨库微表情识别方法的一个实施例的刘晨示意图；
图2是微表情样本数据。
具体实施方式
本实施例提供了一种基于双稀疏迁移学习的跨库微表情识别方法，如图1所示，包括：
(1)获取两个不同的微表情数据库，分别作为训练数据库和测试数据库，其中，每个微表情数据库中包括有若干微表情数据和对应的情感类别标签。微表情数据如图2所示。
(2)将训练数据库和测试数据库中的微表情数据分别进行预处理，得到每段微表情数据的LBP-TOP(Local Binary Pattern from Three Orthogonal Planes)特征。
其中，预处理用于获取LBP-TOP特征，包括：人脸检测，对齐，1*1、2*2、4*4、8*8的人脸多尺度网格划分和提取特征。
(3)建立双稀疏迁移学习模型，所述双稀疏迁移学习模型包括一项投影向量均值项以及两项正则化稀疏项。
建立的所述双稀疏迁移学习模型具体为：
Figure BDA0002551995520000041
s.t.β≥0
式中，
Figure BDA0002551995520000042
为投影向量均值项，||β||1、||CT||2,1为正则化稀疏项，L为情感类别标签形成的矩阵，C＝[C1,...,CN]为回归系数矩阵，为待学习参数，β＝[β1,...,βN]T为权重向量，其元素为非负实数，表示对应LBP-TOP特征对微表情识别的作用，为待学习参数，N表示人脸的分块数，ns、nt分别为训练数据库和测试数据库的样本数，
Figure BDA0002551995520000043
分别为训练数据库、测试数据库中微表情数据的LBP-TOP特征组成的矩阵的第i个列向量，1s、1t分别为长度为ns、nt的元素值全为1的向量，λ、μ和τ为控制正则项的权衡系数，
Figure BDA0002551995520000044
为Frobenius范数的平方，||||2,1为2,1范数，||||1为1范数。
(4)将训练数据库和测试数据库中微表情数据的LBP-TOP特征和对应的情感类别标签分别输入建立的双稀疏迁移学习模型进行训练，其中，在训练模型时使用交替方向法进行训练，得到待学习参数的最优值C*和β*。
其中，交替方向法进行训练过程具体为：
(4-1)固定β,更新C：
将所述双稀疏迁移学习模型变换为：
Figure BDA0002551995520000045
使用增广拉格朗日乘子法对上式进行求解，得到C的最优值C*；
(4-2)固定C,更新β：
将所述双稀疏迁移学习模型变换为：
Figure BDA0002551995520000051
s.t.β≥0
Figure BDA0002551995520000052
通过最小二乘法对上式进行优化得到β的最优值β*。
(5)将待识别微表情数据进行预处理，得到其LBP-TOP特征，并将LBP-TOP特征输入训练好的双稀疏迁移学习模型，输出待识别微表情的情感类别。
其中，待识别微表情的情感类别的获取方法具体为：
将待识别微表情的LBP-TOP特征Xt输入训练好的双稀疏迁移学习模型，得到待识别微表情的情感类别Lpred：
Figure BDA0002551995520000053
Figure BDA0002551995520000054
式中，()i表示对应矩阵的第i个列向量；
Figure BDA0002551995520000055
为待识别微表情的情感标签向量，
Figure BDA0002551995520000056
表示
Figure BDA0002551995520000057
的第k个元素，m为情感类别数。
下面以CASME II微表情数据库与SMIC-VIS数据库之间的跨库微表情识别任务为例进行验证，验证结果如表1所示：
表1
训练库 测试库 SVM STM TCA SA TKL TSDL
CASME II SMIC-VIS 50.70％ 59.15％ 69.01％ 59.15％ 60.56％ 71.83％
SMIC-VIS CASME II 53.08％ 30.00％ 59.23％ 51.54％ 53.08％ 73.08％
其中SVM、STM、TCA、SA以及TKL为基于人体面部微表情LBP-TOP特征与支持向量机、选择性迁移模型、迁移成分学习、子空间对齐模型以及迁移核学习结合的跨库微表情识别方法，TDSL为提出的双稀疏迁移学习模型。
实验结果表明，基于所使用的双稀疏迁移学习模型取得了最高的跨库微表情识别率。在CASME II微表情数据库与SMIC-VIS微表情数据库之间的跨库微表情识别任务中，本发明提出的基于模型相对于其它传统的方法起到了更好的识别结果。相较于其他方法，本发明成功地增加了模型的鲁棒性，提高了跨库微表情识别的准确率。

Claims (6)

1.一种基于双稀疏迁移学习的跨库微表情识别方法，其特征在于该方法包括：
(1)获取两个不同的微表情数据库，分别作为训练数据库和测试数据库，其中，每个微表情数据库中包括有若干微表情数据和对应的情感类别标签；
(2)将训练数据库和测试数据库中的微表情数据分别进行预处理，得到每段微表情数据的LBP-TOP特征；
(3)建立双稀疏迁移学习模型，所述双稀疏迁移学习模型包括一项投影向量均值项以及两项正则化稀疏项；
(4)将训练数据库和测试数据库中微表情数据的LBP-TOP特征和对应的情感类别标签分别输入建立的双稀疏迁移学习模型进行训练，其中，在训练模型时使用交替方向法进行训练，得到待学习参数的最优值C*和β*；
(5)将待识别微表情数据进行预处理，得到其LBP-TOP特征，并将LBP-TOP特征输入训练好的双稀疏迁移学习模型，输出待识别微表情的情感类别。
2.根据权利要求1所述的基于双稀疏迁移学习的跨库微表情识别方法，其特征在于：步骤(2)中所述预处理包括：人脸检测，对齐，1*1、2*2、4*4、8*8的人脸多尺度网格划分和提取特征。
3.根据权利要求1所述的基于双稀疏迁移学习的跨库微表情识别方法，其特征在于：步骤(3)中建立的所述双稀疏迁移学习模型具体为：
Figure FDA0002551995510000011
s.t.β≥0
式中，
Figure FDA0002551995510000012
为投影向量均值项，||β||1、||CT||2,1为正则化稀疏项，L为情感类别标签形成的矩阵，C＝[C1,...,CN]为回归系数矩阵，为待学习参数，β＝[β1,...,βN]T为权重向量，其元素为非负实数，表示对应LBP-TOP特征对微表情识别的作用，为待学习参数，N表示人脸的分块数，ns、nt分别为训练数据库和测试数据库的样本数，
Figure FDA0002551995510000013
分别为训练数据库、测试数据库中微表情数据的LBP-TOP特征组成的矩阵的第i个列向量，1s、1t分别为长度为ns、nt的元素值全为1的向量，λ、μ和τ为控制正则项的权衡系数，
Figure FDA0002551995510000014
为Frobenius范数的平方，||||2,1为2,1范数，||||1为1范数。
4.根据权利要求3所述的基于双稀疏迁移学习的跨库微表情识别方法，其特征在于：步骤(4)中所述交替方向法具体为：
(4-1)固定β,更新C：
将所述双稀疏迁移学习模型变换为：
Figure FDA0002551995510000021
使用增广拉格朗日乘子法对上式进行求解，得到C的最优值C*；
(4-2)固定C,更新β：
将所述双稀疏迁移学习模型变换为：
Figure FDA0002551995510000022
s.t.β≥0
Figure FDA0002551995510000023
通过最小二乘法对上式进行优化得到β的最优值β*。
5.根据权利要求4所述的基于双稀疏迁移学习的跨库微表情识别方法，其特征在于：步骤(5)中获取待识别微表情的情感类别的方法为：
将待识别微表情的LBP-TOP特征Xt输入训练好的双稀疏迁移学习模型，得到待识别微表情的情感类别Lpred：
Figure FDA0002551995510000024
Figure FDA0002551995510000025
式中，()i表示对应矩阵的第i个列向量；
Figure FDA0002551995510000026
为待识别微表情的情感标签向量，
Figure FDA0002551995510000027
表示
Figure FDA0002551995510000028
的第k个元素，m为情感类别数。
6.一种基于双稀疏迁移学习的跨库微表情识别装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现权利要求1-5中任意一项所述的方法。
CN202010578064.5A 2020-06-23 2020-06-23 基于双稀疏迁移学习的跨库微表情识别方法及装置 Active CN111832426B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010578064.5A CN111832426B (zh) 2020-06-23 2020-06-23 基于双稀疏迁移学习的跨库微表情识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010578064.5A CN111832426B (zh) 2020-06-23 2020-06-23 基于双稀疏迁移学习的跨库微表情识别方法及装置

Publications (2)

Publication Number Publication Date
CN111832426A CN111832426A (zh) 2020-10-27
CN111832426B true CN111832426B (zh) 2022-11-08

Family

ID=72899405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010578064.5A Active CN111832426B (zh) 2020-06-23 2020-06-23 基于双稀疏迁移学习的跨库微表情识别方法及装置

Country Status (1)

Country Link
CN (1) CN111832426B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114005153A (zh) * 2021-02-01 2022-02-01 南京云思创智信息科技有限公司 面貌多样性的个性化微表情实时识别方法
CN112926502B (zh) * 2021-03-23 2022-07-29 南京邮电大学 基于核化双群稀疏学习的微表情识别方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647628B (zh) * 2018-05-07 2021-10-26 山东大学 一种基于多特征多任务字典稀疏迁移学习的微表情识别方法
CN110427881B (zh) * 2019-08-01 2021-11-26 东南大学 基于人脸局部区域特征学习的跨库微表情识别方法及装置
CN111259759B (zh) * 2020-01-13 2023-04-28 东南大学 基于域选择迁移回归的跨数据库微表情识别方法及装置

Also Published As

Publication number Publication date
CN111832426A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN110532900B (zh) 基于U-Net和LS-CNN的人脸表情识别方法
Wang et al. Time series feature learning with labeled and unlabeled data
CN106951499B (zh) 一种基于翻译模型的知识图谱表示方法
CN111898095A (zh) 深度迁移学习智能故障诊断方法、装置、存储介质和设备
CN110909926A (zh) 基于tcn-lstm的太阳能光伏发电预测方法
CN105095863B (zh) 基于相似性权值的半监督字典学习的人体行为识别方法
Li et al. Fabric defect detection based on biological vision modeling
CN108171318B (zh) 一种基于模拟退火—高斯函数的卷积神经网络集成方法
CN111881671B (zh) 一种属性词提取方法
CN111832426B (zh) 基于双稀疏迁移学习的跨库微表情识别方法及装置
CN116361801B (zh) 基于应用程序接口语义信息的恶意软件检测方法及系统
Zhang et al. Structured weak semantic space construction for visual categorization
CN116862320B (zh) 一种农村生态环境评估监管方法、系统及存储介质
Li et al. Robust low-rank decomposition of multi-channel feature matrices for fabric defect detection
CN109977394A (zh) 文本模型训练方法、文本分析方法、装置、设备及介质
CN109325513A (zh) 一种基于海量单类单幅图像的图像分类网络训练方法
CN112784921A (zh) 任务注意力引导的小样本图像互补学习分类算法
Xu et al. Discriminative analysis for symmetric positive definite matrices on lie groups
Yaiprasert Artificial intelligence for para rubber identification combining five machine learning methods
Shrivastava et al. Dictionary-based multiple instance learning
CN112257600B (zh) 一种人脸识别方法及系统
CN110569727B (zh) 用于运动想象分类的结合类内距和类间距的迁移学习方法
CN110288002B (zh) 一种基于稀疏正交神经网络的图像分类方法
CN115995011A (zh) 基于图正则化的非线性正交非负矩阵分解图像聚类方法
Jin et al. A generative semi-supervised model for multi-view learning when some views are label-free

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant