CN117689998A - 非参数自适应的情绪识别模型、方法、系统和存储介质 - Google Patents

非参数自适应的情绪识别模型、方法、系统和存储介质 Download PDF

Info

Publication number
CN117689998A
CN117689998A CN202410131374.0A CN202410131374A CN117689998A CN 117689998 A CN117689998 A CN 117689998A CN 202410131374 A CN202410131374 A CN 202410131374A CN 117689998 A CN117689998 A CN 117689998A
Authority
CN
China
Prior art keywords
model
emotion recognition
feature
emotion
adaptive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410131374.0A
Other languages
English (en)
Other versions
CN117689998B (zh
Inventor
范联伟
孙仁浩
王晓伟
高景银
王佐成
洪日昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Data Space Research Institute
Original Assignee
Data Space Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Data Space Research Institute filed Critical Data Space Research Institute
Priority to CN202410131374.0A priority Critical patent/CN117689998B/zh
Publication of CN117689998A publication Critical patent/CN117689998A/zh
Application granted granted Critical
Publication of CN117689998B publication Critical patent/CN117689998B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及情绪识别和计算机大数据处理技术领域，尤其是一种非参数自适应的情绪识别模型、方法、系统和存储介质。本发明中，在每个轮次中随着学习样本批次i的增加，不断地将特征存储在一个可变的特征库中，在第i个批次学习中，计算每个样本的当前特征与特征库之间的相似度；然后，利用最相似的K个样本特征计算该样本在不同情绪类别上的权重分数；最后，根据上述的权重分数对样本的标签进行自动重新标注，更换标签后计算模型的损失函数。该方法可以提升FER模型的性能，同时对模型没有引入新的参数，本发明本质上是一种可结合现有任一种FER模型来实现的高精度情绪识别方法。

Description

非参数自适应的情绪识别模型、方法、系统和存储介质
技术领域
本发明涉及情绪识别和计算机大数据处理技术领域，尤其是一种非参数自适应的情绪识别模型、方法、系统和存储介质。
背景技术
目前表情识别已经取得了广泛的应用，但在面部表情识别中，由于表情图像存在着模棱两可的情况以及标注者的主观性导致分类标签具有不确定性问题，如图1所示，这种不确定性阻碍了基于数据驱动的深度面部表情识别模型（FER）的性能。在FER模型训练过程中存在着以下问题：1）很难学习到一个具有很强判别性的模型，往往精度不高；2）由于存在着不正确标签的可能性，模型可能会过拟合到不确定性的样本；3）模型对于模糊不清的样本是敏感的，在优化过程中不容易收敛。
发明内容
为了克服上述现有技术中面部表情识别模型精度低的缺陷，本发明提出了一种非参数自适应的情绪识别模型的构建方法，可构建出高精度的情绪识别模型，且该构建方法可结合现有模型结构进行应用。
为实现上述目的，本发明采用以下技术方案，包括：
本发明提出的一种非参数自适应的情绪识别模型的构建方法，首先构建由顺序连接的特征提取部分、全连接层和激活层构成的基础模型，特征提取部分用于提取表情图像的特征，特征经过全连接层和激活层处理后生成表情图像对应各情绪类别的概率分布；获取标注有情绪类别的表情图像作为学习样本；然后令基础模型对设定数量的学习样本进行机器学习，进行模型参数的预训练；再针对预训练后的基础模型结合以下步骤S3-S10，进行非参数自适应训练，直至获取收敛后的基础模型作为情绪识别模型；
S3、抽取N个学习样本构成训练集，将训练集中N个学习样本划分为I个批次，每个批次包含B个样本；令基础模型标注训练集中各个学习样本的标签类别预测值，记作{P(i)|1≤i≤I}，P(i)∈RB×C；P(i)为第i个批次的学习样本的模型预测概率分布，C为情绪类别数量；
S4、令基础模型的特征提取部分抽取第i个批次的学习样本中表情图像的特征，获取特征矩阵F(i)={F(i,1),F(i,2),…,F(i,b),…,F(i,B)}；F(i,b)表示当前基础模型的特征提取部分针对本批次第b个学习样本提取的特征，1≤b≤B；i的初始值为1；
S5、将特征矩阵F(i)存储到设定的特征库中，特征库初始值为空集；令特征库中所有特征记作特征矩阵FQ={F(q)|1≤q≤Q}；F(q)表示特征矩阵FQ中第q个样本特征，F(q)∈{F(i,b)|1≤i≤I,1≤b≤B}，Q=i×B；计算特征矩阵F(i)和特征矩阵FQ的相似度矩阵S(i)，S(i)中第b行第q列元素S[F(i,b),F(q)]表示特征F(i,b)与特征F(q)的相似度值；
S6、针对相似度矩阵S(i)，获取各学习样本的最大的K个相似度值对应的特征F(q)作为目标特征序列；令相似度矩阵S(i)中第b个学习样本对应的最大的K个相似度值的集合记作SK(i,b)，相似度矩阵S(i)中第b个学习样本的目标特征序列记作FK(i,b)；令目标特征序列集合{FK(i,b);1≤b≤B}作为基础模型的全连接层的输入，基础模型输出该B个学习样本的目标特征序列对应的预测概率矩阵P(i,K)∈RB×K×C，C为情绪类别数量；
S7、判断是否满足i≥I；否，则令i更新为i+1，然后返回步骤S4；是，则对基础模型的相似度权重矩阵W(i,K)∈RB×K进行更新，并计算学习样本在不同标签类别上的得分矩阵G(i)，G(i)∈RB×C；
W(i,K)=[e{SK(i,b)|1≤i≤I,1≤b≤B}/τ]/[∑Ke{SK(i,b)|1≤i≤I,1≤b≤B}/τ]
G(i)=∑K[W(i,K)·P(i,K)]
其中，τ为在(0,1)上取值的常数；
S8、计算各学习样本在不同标签类别上的修正概率分布，即{L(i)|1≤i≤I}；
L(i)=arg max(eG(i)/∑CeG(i))
L(i)∈RB×C
S9、结合修正概率分布{L(i)|1≤i≤I}和模型预测概率分布{P(i)|1≤i≤I}计算基础模型的损失函数；
S10、判断基础模型是否收敛；否，则清空特征库，并返回步骤S3；是，则令该基础模型作为情绪类别模型。
优选地，特征提取部分采用ResNet-18、SCN、RUL、EAC或者DAN。
优选地，激活层采用softmax函数。
优选地，S10中，判断基础模型收敛的条件为：步骤S3-S9的循环次数达到设定的次数；或者是基础模型的损失函数收敛。
优选地，S9中，基础模型的损失函数为修正概率分布{L(i)|1≤i≤I}和模型预测概率分布{P(i)|1≤i≤I}的均方差损失。
本发明提出的一种情绪识别方法，首先采用所述的非参数自适应的情绪识别模型的构建方法构建情绪识别模型，然后将待识别的表情图像输入情绪识别模型，情绪识别模型输出表情图像在各情绪类别上的概率分布，取最大概率对应的情绪类别作为表情图像的情绪识别结果。
本发明还提出了承载上述非参数自适应的情绪识别模型的构建方法和情绪识别方法的情绪识别系统和存储介质，从而方便本发明提供的情绪识别模型的推广应用，实现高精度的情绪识别。
本发明提出的一种情绪识别系统，包括存储器和处理器，存储器中存储有计算机程序，处理器连接存储器，处理器用于执行所述计算机程序，以实现所述的非参数自适应的情绪识别模型的构建方法。
本发明提出的一种情绪识别系统，包括存储器和处理器，存储器中存储有计算机程序和情绪识别模型，处理器连接存储器，处理器用于执行所述计算机程序，以实现所述的情绪识别方法。
本发明提出的一种存储介质，存储有计算机程序，所述计算机程序被执行时用于实现所述的非参数自适应的情绪识别模型的构建方法。
本发明的优点在于：
（1）本发明提出的一种非参数自适应的情绪识别模型的构建方法，在模型训练过程中，通过修正概率分布L(i)的计算实现了对不确定性样本标签进行自动重新标注。本发明中，在每个轮次中随着学习样本批次i的增加，不断地将特征存储在一个可变的特征库中，在第i个批次学习中，计算每个样本的当前特征与特征库之间的相似度；然后，利用最相似的K个样本特征计算该样本在不同情绪类别上的权重分数；最后，根据上述的权重分数对样本的标签进行自动重新标注，更换标签后计算模型的损失函数。该方法可以提升FER模型（深度面部表情识别模型）的性能，同时对模型没有引入新的参数，本发明本质上是一种可结合现有任一种FER模型来实现的高精度情绪识别方法。
（2）本发明提出的非参数自适应的情绪识别模型的构建方法适用于现有任一种模型，且均能够有效地提升了面部表情识别的准确率。
（3）本发明提出的情绪识别方法，采用本发明提供的情绪识别模型，能够实现高精度的情绪识别。
附图说明
图1为情绪分类示意图；
图2为一种非参数自适应的情绪识别模型的构建方法流程图；
图3为RAFDB数据集上模型验证对比条形图；
图4为RAFDB数据集上模型验证对比折线图；
图5为FERPlus数据集上模型验证对比条形图；
图6为FERPlus数据集上模型验证对比折线图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图2，本实施方式提出的一种非参数自适应的情绪识别模型的构建方法，包括以下步骤。
S1、获取基础模型和学习样本，基础模型包括顺序连接的特征提取部分、全连接层和激活层；特征提取部分用于提取表情图像的特征，特征经过全连接层和激活层处理后生成表情图像对应各情绪类别的概率分布；学习样本为标注有情绪类别的表情图像。
S2、抽取N个学习样本，令基础模型对N个学习样本进行机器学习以更新基础模型的参数。
S3、抽取N个学习样本构成训练集，将训练集中N个学习样本划分为I个批次，每个批次包含B个样本；令基础模型标注训练集中各个学习样本的标签类别预测值，记作{P(i)|1≤i≤I}，P(i)∈RB×C；P(i)为第i个批次的学习样本的模型预测概率分布，C为情绪类别数量。
S4、令基础模型的特征提取部分抽取第i个批次的学习样本中表情图像的特征，获取特征矩阵F(i)={F(i,1),F(i,2),…,F(i,b),…,F(i,B)}；F(i,b)表示当前基础模型的特征提取部分针对本批次第b个学习样本提取的特征，1≤b≤B；i的初始值为1。
S5、将特征矩阵F(i)存储到设定的特征库中，特征库初始值为空集；令特征库中所有特征记作特征矩阵FQ={F(i)}i={F(i,b)|1≤i≤I,1≤b≤B}={F(q)|1≤q≤Q}；F(q)表示特征矩阵FQ中第q个样本特征，F(q)∈{F(i,b)|1≤i≤I,1≤b≤B}；Q为特征矩阵FQ中的样本特征数量，Q=i×B；计算特征矩阵F(i)和特征矩阵FQ的相似度矩阵S(i)={S[F(i,b),F(q)]|1≤b≤B,1≤q≤Q}；S[F(i,b),F(q)]表示特征F(i,b)与特征F(q)的相似度值。
S6、针对相似度矩阵S(i)，获取各学习样本的最大的K个相似度值对应的特征F(q)作为目标特征序列；令相似度矩阵S(i)中第b个学习样本对应的最大的K个相似度值的集合记作SK(i,b)，相似度矩阵S(i)中第b个学习样本的目标特征序列记作FK(i,b)；目标特征序列集合{FK(i,b);1≤b≤B}输入基础模型的全连接层，经过全连接层和激活层顺序处理后，输出该B个学习样本的目标特征序列对应的预测概率矩阵P(i,K)∈RB×K×C，C为情绪类别数量；
SK(i,b)={SK(i,b,1);SK(i,b,2);…;SK(i,b,k);…;SK(i,b,K)}
1≤k≤K
SK(i,b,k)∈S(i,b)
S(i,b)={S[F(i,b),F(q)]|1≤q≤Q}
min{SK(i,b)}≥max{{S(i,b)}-SK(i,b)}
FK(i,b)={FQ(i,b,k);1≤k≤K}
FQ(i,b,k)∈FQ
FQ(i,b,k)表示SK(i,b,k)中来自特征矩阵FQ的特征。
S7、判断是否满足i≥I；否，则令i更新为i+1，然后返回步骤S4；是，则对基础模型的相似度权重矩阵W(i,K)∈RB×K进行更新，并计算学习样本在不同标签类别上的得分矩阵G(i)，G(i)∈RB×C。
W(i,K)=[e{SK(i,b)|1≤i≤I,1≤b≤B}/τ]/[∑Ke{SK(i,b)|1≤i≤I,1≤b≤B}/τ]
G(i)=∑K[W(i,K)·P(i,K)]
其中，τ为在(0,1)上取值的常数，具体可取值τ=0.1；
S8、计算各学习样本在不同标签类别上的修正概率分布，即{L(i)|1≤i≤I}；
L(i)=arg max(eG(i)/∑CeG(i))
L(i)∈RB×C
L(i)表示第i个批次的学习样本的修正概率分布。
S9、结合修正概率分布{L(i)|1≤i≤I}和模型预测概率分布{P(i)|1≤i≤I}计算均方差损失作为基础模型的损失函数。
S10、判断基础模型是否收敛；否，则清空特征库，并返回步骤S3；是，则令该基础模型作为情绪类别模型，其输入为表情图像，输出为表情图像在各情绪类别上的概率分布，取最大概率对应的情绪类别作为表情图像的情绪识别结果。
基础模型的收敛条件可设置为：步骤S3-S10循环次数达到设定的次数；或者是，连续N1次计算的相邻的模型损失差值小于设定值，即模型损失收敛。
以下结合具体实施例，对上述的情绪识别模型进行验证。
本实施例中，分别在人脸表情标准数据集RAFDB和FERPlus上对本发明提供的情绪识别模型和多个对比模型进行验证；τ=0.1。
RAFDB数据集：情绪类别划分为7类，分别是中性（NE，Neutral）、高兴（HA，Happy）、悲伤（SA，Sad）、惊讶（SU，Surprise）、害怕（FE，Fear）、生气（AN，Anger）、厌恶（DI，Disgust）；其中，训练集样本数量为12271，测试集样本数量为3068。
FERPlus数据集：情绪类别划分为8类，分别是中性（NE，Neutral）、高兴（HA，Happy）、悲伤（SA，Sad）、惊讶（SU，Surprise）、害怕（FE，Fear）、生气（AN，Anger）、厌恶（DI，Disgust）、蔑视（CO，Contempt）；其中，训练集样本数量为28709，测试集样本数量为3589。
FERPlus数据集在RAFDB数据集的情绪分类基础上增加了蔑视（CO，Contempt），FERPlus数据集的训练集样本数量大于RAFDB数据集的训练集样本数量。
本实施例中，对比模型选择ResNet-18、SCN、RUL、EAC和DAN，对比模型的输入为表情图像，输出为情绪类别。
本实施例中，针对每一个对比模型，采用本发明构建一个对应的情绪识别模型，对比模型作为情绪识别模型的特征提取部分。
本实施例中，对比模型和本发明构建的情绪识别模型在数据集的训练集上进行训练，并在测试集上测试模型的准确度。对比模型的训练过程采用现有的机器学习方法。
本实施例中，令ResNet-18''表示以ResNet-18模型作为特征提取部分构建的本发明提供的情绪识别模型；
令SCN''表示以SCN模型作为特征提取部分构建的本发明提供的情绪识别模型；
令RUL''表示以RUL模型作为特征提取部分构建的本发明提供的情绪识别模型；
令EAC''表示以EAC模型作为特征提取部分构建的本发明提供的情绪识别模型；
令DAN''表示以DAN模型作为特征提取部分构建的本发明提供的情绪识别模型。
本实施例中，各对比模型和相应的情绪识别模型的精度如下表1、图3-图6所示。可见，在任意网络上，采用本发明构建的情绪识别模型提高了情绪识别精确度，尤其是在ResNet-18模型和SCN模型上，表现更加优异。
表1：各模型的测试结果
当然，对于本领域技术人员而言，本发明不限于上述示范性实施例的细节，而还包括在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现的相同或类似结构。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
本发明未详细描述的技术、形状、构造部分均为公知技术。

Claims (9)

1.一种非参数自适应的情绪识别模型的构建方法，其特征在于，首先构建由顺序连接的特征提取部分、全连接层和激活层构成的基础模型，特征提取部分用于提取表情图像的特征，特征经过全连接层和激活层处理后生成表情图像对应各情绪类别的概率分布；获取标注有情绪类别的表情图像作为学习样本；然后令基础模型对设定数量的学习样本进行机器学习，进行模型参数的预训练；再针对预训练后的基础模型结合以下步骤S3-S10，进行非参数自适应训练，直至获取收敛后的基础模型作为情绪识别模型；
S3、抽取N个学习样本构成训练集，将训练集中N个学习样本划分为I个批次，每个批次包含B个样本；令基础模型标注训练集中各个学习样本的标签类别预测值，记作{P(i)|1≤i≤I}，P(i)∈RB×C；P(i)为第i个批次的学习样本的模型预测概率分布，C为情绪类别数量；
S4、令基础模型的特征提取部分抽取第i个批次的学习样本中表情图像的特征，获取特征矩阵F(i)={F(i,1),F(i,2),…,F(i,b),…,F(i,B)}；F(i,b)表示当前基础模型的特征提取部分针对本批次第b个学习样本提取的特征，1≤b≤B；i的初始值为1；
S5、将特征矩阵F(i)存储到设定的特征库中，特征库初始值为空集；令特征库中所有特征记作特征矩阵FQ={F(q)|1≤q≤Q}；F(q)表示特征矩阵FQ中第q个样本特征，F(q)∈{F(i,b)|1≤i≤I,1≤b≤B}，Q=i×B；计算特征矩阵F(i)和特征矩阵FQ的相似度矩阵S(i)，S(i)中第b行第q列元素S[F(i,b),F(q)]表示特征F(i,b)与特征F(q)的相似度值；
S6、针对相似度矩阵S(i)，获取各学习样本的最大的K个相似度值对应的特征F(q)作为目标特征序列；令相似度矩阵S(i)中第b个学习样本对应的最大的K个相似度值的集合记作SK(i,b)，相似度矩阵S(i)中第b个学习样本的目标特征序列记作FK(i,b)；令目标特征序列集合{FK(i,b);1≤b≤B}作为基础模型的全连接层的输入，基础模型输出该B个学习样本的目标特征序列对应的预测概率矩阵P(i,K)∈RB×K×C，C为情绪类别数量；
S7、判断是否满足i≥I；否，则令i更新为i+1，然后返回步骤S4；是，则对基础模型的相似度权重矩阵W(i,K)∈RB×K进行更新，并计算学习样本在不同标签类别上的得分矩阵G(i)，G(i)∈RB×C；
W(i,K)=[e{SK(i,b)|1≤i≤I,1≤b≤B}/τ]/[∑Ke{SK(i,b)|1≤i≤I,1≤b≤B}/τ]
G(i)=∑K[W(i,K)·P(i,K)]
其中，τ为在(0,1)上取值的常数；
S8、计算各学习样本在不同标签类别上的修正概率分布，即{L(i)|1≤i≤I}；
L(i)=arg max(eG(i)/∑C eG(i))
L(i)∈RB×C
S9、结合修正概率分布{L(i)|1≤i≤I}和模型预测概率分布{P(i)|1≤i≤I}计算基础模型的损失函数；
S10、判断基础模型是否收敛；否，则清空特征库，并返回步骤S3；是，则令该基础模型作为情绪类别模型。
2.如权利要求1所述的非参数自适应的情绪识别模型的构建方法，其特征在于，特征提取部分采用ResNet-18、SCN、RUL、EAC或者DAN。
3.如权利要求1所述的非参数自适应的情绪识别模型的构建方法，其特征在于，激活层采用softmax函数。
4.如权利要求1所述的非参数自适应的情绪识别模型的构建方法，其特征在于，S10中，判断基础模型收敛的条件为：步骤S3-S9的循环次数达到设定的次数；或者是基础模型的损失函数收敛。
5.如权利要求1所述的非参数自适应的情绪识别模型的构建方法，其特征在于，S9中，基础模型的损失函数为修正概率分布{L(i)|1≤i≤I}和模型预测概率分布{P(i)|1≤i≤I}的均方差损失。
6.一种采用如权利要求1-5任一项所述的非参数自适应的情绪识别模型的构建方法的情绪识别方法，其特征在于，首先采用如权利要求1-5任一项所述的非参数自适应的情绪识别模型的构建方法构建情绪识别模型，然后将待识别的表情图像输入情绪识别模型，情绪识别模型输出表情图像在各情绪类别上的概率分布，取最大概率对应的情绪类别作为表情图像的情绪识别结果。
7.一种情绪识别系统，其特征在于，包括存储器和处理器，存储器中存储有计算机程序，处理器连接存储器，处理器用于执行所述计算机程序，以实现如权利要求1-5任一项所述的非参数自适应的情绪识别模型的构建方法。
8.一种情绪识别系统，其特征在于，包括存储器和处理器，存储器中存储有计算机程序和情绪识别模型，处理器连接存储器，处理器用于执行所述计算机程序，以实现如权利要求6所述的情绪识别方法。
9.一种存储介质，其特征在于，存储有计算机程序，所述计算机程序被执行时用于实现如权利要求1-5任一项所述的非参数自适应的情绪识别模型的构建方法。
CN202410131374.0A 2024-01-31 2024-01-31 非参数自适应的情绪识别模型、方法、系统和存储介质 Active CN117689998B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410131374.0A CN117689998B (zh) 2024-01-31 2024-01-31 非参数自适应的情绪识别模型、方法、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410131374.0A CN117689998B (zh) 2024-01-31 2024-01-31 非参数自适应的情绪识别模型、方法、系统和存储介质

Publications (2)

Publication Number Publication Date
CN117689998A true CN117689998A (zh) 2024-03-12
CN117689998B CN117689998B (zh) 2024-05-03

Family

ID=90135562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410131374.0A Active CN117689998B (zh) 2024-01-31 2024-01-31 非参数自适应的情绪识别模型、方法、系统和存储介质

Country Status (1)

Country Link
CN (1) CN117689998B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170319123A1 (en) * 2016-05-06 2017-11-09 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Using Mobile and Wearable Video Capture and Feedback Plat-Forms for Therapy of Mental Disorders
CN109784277A (zh) * 2019-01-17 2019-05-21 南京大学 一种基于智能眼镜的情绪识别方法
CN112749252A (zh) * 2020-07-14 2021-05-04 腾讯科技（深圳）有限公司 一种基于人工智能的文本匹配方法和相关装置
WO2021114634A1 (zh) * 2020-05-28 2021-06-17 平安科技（深圳）有限公司 文本标注方法、设备及存储介质
CN112990130A (zh) * 2021-04-27 2021-06-18 南京甄视智能科技有限公司 训练样本的数据清洗方法、装置及一种分类器
CN114038037A (zh) * 2021-11-09 2022-02-11 合肥工业大学 基于可分离残差注意力网络的表情标签修正和识别方法
CN114357973A (zh) * 2021-12-10 2022-04-15 马上消费金融股份有限公司 意图识别方法、装置、电子设备及存储介质
CN114372532A (zh) * 2022-01-11 2022-04-19 腾讯科技（深圳）有限公司 标签标注质量的确定方法、装置、设备、介质及产品
CN114529973A (zh) * 2022-02-22 2022-05-24 中南林业科技大学 一种半监督人脸情绪识别方法
CN114596605A (zh) * 2021-06-23 2022-06-07 西南科技大学 一种多特征融合的表情识别方法
CN115331284A (zh) * 2022-07-28 2022-11-11 南京邮电大学 一种基于自愈机制的真实场景下的人脸表情识别方法及系统
WO2023098912A1 (zh) * 2021-12-02 2023-06-08 新东方教育科技集团有限公司 图像处理方法、装置、存储介质及电子设备
CN117036783A (zh) * 2023-07-19 2023-11-10 数据空间研究院 低延时纵向联邦学习的信息分类系统、方法及应用
CN117297606A (zh) * 2023-10-30 2023-12-29 五邑大学 情绪识别方法和装置、电子设备及存储介质
CN117456581A (zh) * 2023-11-01 2024-01-26 合肥工业大学 一种图像预训练模型到视频人脸表情识别的方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170319123A1 (en) * 2016-05-06 2017-11-09 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Using Mobile and Wearable Video Capture and Feedback Plat-Forms for Therapy of Mental Disorders
CN109784277A (zh) * 2019-01-17 2019-05-21 南京大学 一种基于智能眼镜的情绪识别方法
WO2021114634A1 (zh) * 2020-05-28 2021-06-17 平安科技（深圳）有限公司 文本标注方法、设备及存储介质
CN112749252A (zh) * 2020-07-14 2021-05-04 腾讯科技（深圳）有限公司 一种基于人工智能的文本匹配方法和相关装置
CN112990130A (zh) * 2021-04-27 2021-06-18 南京甄视智能科技有限公司 训练样本的数据清洗方法、装置及一种分类器
CN114596605A (zh) * 2021-06-23 2022-06-07 西南科技大学 一种多特征融合的表情识别方法
CN114038037A (zh) * 2021-11-09 2022-02-11 合肥工业大学 基于可分离残差注意力网络的表情标签修正和识别方法
WO2023098912A1 (zh) * 2021-12-02 2023-06-08 新东方教育科技集团有限公司 图像处理方法、装置、存储介质及电子设备
CN114357973A (zh) * 2021-12-10 2022-04-15 马上消费金融股份有限公司 意图识别方法、装置、电子设备及存储介质
CN114372532A (zh) * 2022-01-11 2022-04-19 腾讯科技（深圳）有限公司 标签标注质量的确定方法、装置、设备、介质及产品
CN114529973A (zh) * 2022-02-22 2022-05-24 中南林业科技大学 一种半监督人脸情绪识别方法
CN115331284A (zh) * 2022-07-28 2022-11-11 南京邮电大学 一种基于自愈机制的真实场景下的人脸表情识别方法及系统
CN117036783A (zh) * 2023-07-19 2023-11-10 数据空间研究院 低延时纵向联邦学习的信息分类系统、方法及应用
CN117297606A (zh) * 2023-10-30 2023-12-29 五邑大学 情绪识别方法和装置、电子设备及存储介质
CN117456581A (zh) * 2023-11-01 2024-01-26 合肥工业大学 一种图像预训练模型到视频人脸表情识别的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUJIE YANG ET AL.: "Facial expression recognition with contrastive learning and uncertainty-guided relabeling", 《INTERNATIONAL JOURNAL OF NEURAL SYSTEMS》, vol. 33, no. 6, 16 May 2023 (2023-05-16), pages 1 - 16 *
韩兴: "基于卷积神经网络的表情识别方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)》, no. 8, 15 August 2021 (2021-08-15), pages 1 - 74 *

Also Published As

Publication number Publication date
CN117689998B (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
CN110070909B (zh) 一种基于深度学习的融合多特征的蛋白质功能预测方法
CN112818159A (zh) 一种基于生成对抗网络的图像描述文本生成方法
CN109940614B (zh) 一种融合记忆机制的机械臂多场景快速运动规划方法
CN111782786B (zh) 用于城市大脑的多模型融合问答方法及系统、介质
CN113420552B (zh) 一种基于强化学习的生物医学多事件抽取方法
CN111046178A (zh) 一种文本序列生成方法及其系统
CN113010683B (zh) 基于改进图注意力网络的实体关系识别方法及系统
CN114332166A (zh) 基于模态竞争协同网络的可见光红外目标跟踪方法及装置
CN112949929A (zh) 一种基于协同嵌入增强题目表示的知识追踪方法及系统
CN112116950A (zh) 基于深度度量学习的蛋白质折叠识别方法
CN114022687B (zh) 一种基于增强学习的图像描述对抗生成方法
CN117689998B (zh) 非参数自适应的情绪识别模型、方法、系统和存储介质
CN112651590B (zh) 一种指令处理流程推荐的方法
CN112989088A (zh) 一种基于强化学习的视觉关系实例学习方法
CN113887653A (zh) 一种基于三元网络的紧耦合弱监督学习的定位方法及系统
JP6993250B2 (ja) コンテンツ特徴量抽出装置、方法、及びプログラム
JP6844565B2 (ja) ニューラルネットワーク装置及びプログラム
CN112270194A (zh) 一种基于梯度神经网络结构搜索的命名实体识别方法
CN109409226A (zh) 一种基于级联优化cnn的手指静脉图质量评估方法及其装置
CN115482441B (zh) 训练数据筛选方法、装置及计算机可读存储介质
CN117093724A (zh) 一种基于深层语义特征提取的知识图谱推理方法
CN113705322B (zh) 基于门限图神经网络的手写汉字识别方法和装置
CN117237720B (zh) 基于强化学习的标签噪声矫正图像分类方法
CN111476022B (zh) 实体特征的字符嵌入及混合lstm实体识别方法、系统及介质
CN118036555B (zh) 基于骨架式转移和结构对比学习的少样本字体生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant