CN117689998B - 非参数自适应的情绪识别模型、方法、系统和存储介质 - Google Patents
非参数自适应的情绪识别模型、方法、系统和存储介质 Download PDFInfo
- Publication number
- CN117689998B CN117689998B CN202410131374.0A CN202410131374A CN117689998B CN 117689998 B CN117689998 B CN 117689998B CN 202410131374 A CN202410131374 A CN 202410131374A CN 117689998 B CN117689998 B CN 117689998B
- Authority
- CN
- China
- Prior art keywords
- model
- emotion recognition
- feature
- emotion
- adaptive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000003044 adaptive effect Effects 0.000 title claims description 10
- 230000008451 emotion Effects 0.000 claims abstract description 30
- 230000006870 function Effects 0.000 claims abstract description 11
- 238000002372 labelling Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 41
- 238000012549 training Methods 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 3
- 238000010276 construction Methods 0.000 description 7
- 230000008921 facial expression Effects 0.000 description 6
- 230000007935 neutral effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- 206010063659 Aversion Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及情绪识别和计算机大数据处理技术领域，尤其是一种非参数自适应的情绪识别模型、方法、系统和存储介质。本发明中，在每个轮次中随着学习样本批次i的增加，不断地将特征存储在一个可变的特征库中，在第i个批次学习中，计算每个样本的当前特征与特征库之间的相似度；然后，利用最相似的K个样本特征计算该样本在不同情绪类别上的权重分数；最后，根据上述的权重分数对样本的标签进行自动重新标注，更换标签后计算模型的损失函数。该方法可以提升FER模型的性能，同时对模型没有引入新的参数，本发明本质上是一种可结合现有任一种FER模型来实现的高精度情绪识别方法。
Description
技术领域
本发明涉及情绪识别和计算机大数据处理技术领域，尤其是一种非参数自适应的情绪识别模型、方法、系统和存储介质。
背景技术
目前表情识别已经取得了广泛的应用，但在面部表情识别中，由于表情图像存在着模棱两可的情况以及标注者的主观性导致分类标签具有不确定性问题，如图1所示，这种不确定性阻碍了基于数据驱动的深度面部表情识别模型（FER）的性能。在FER模型训练过程中存在着以下问题：1）很难学习到一个具有很强判别性的模型，往往精度不高；2）由于存在着不正确标签的可能性，模型可能会过拟合到不确定性的样本；3）模型对于模糊不清的样本是敏感的，在优化过程中不容易收敛。
发明内容
为了克服上述现有技术中面部表情识别模型精度低的缺陷，本发明提出了一种非参数自适应的情绪识别模型的构建方法，可构建出高精度的情绪识别模型，且该构建方法可结合现有模型结构进行应用。
为实现上述目的，本发明采用以下技术方案，包括：
本发明提出的一种非参数自适应的情绪识别模型的构建方法，首先构建由顺序连接的特征提取部分、全连接层和激活层构成的基础模型，特征提取部分用于提取表情图像的特征，特征经过全连接层和激活层处理后生成表情图像对应各情绪类别的概率分布；获取标注有情绪类别的表情图像作为学习样本；然后令基础模型对设定数量的学习样本进行机器学习，进行模型参数的预训练；再针对预训练后的基础模型结合以下步骤S3-S10，进行非参数自适应训练，直至获取收敛后的基础模型作为情绪识别模型；
S3、抽取N个学习样本构成训练集，将训练集中N个学习样本划分为I个批次，每个批次包含B个样本；令基础模型标注训练集中各个学习样本的标签类别预测值，记作{P(i)|1≤i≤I}，P(i)∈RB×C；P(i)为第i个批次的学习样本的模型预测概率分布，C为情绪类别数量；
S4、令基础模型的特征提取部分抽取第i个批次的学习样本中表情图像的特征，获取特征矩阵F(i)={F(i,1),F(i,2),…,F(i,b),…,F(i,B)}；F(i,b)表示当前基础模型的特征提取部分针对本批次第b个学习样本提取的特征，1≤b≤B；i的初始值为1；
S5、将特征矩阵F(i)存储到设定的特征库中，特征库初始值为空集；令特征库中所有特征记作特征矩阵FQ={F(q)|1≤q≤Q}；F(q)表示特征矩阵FQ中第q个样本特征，F(q)∈{F(i,b)|1≤i≤I,1≤b≤B}，Q=i×B；计算特征矩阵F(i)和特征矩阵FQ的相似度矩阵S(i)，S(i)中第b行第q列元素S[F(i,b),F(q)]表示特征F(i,b)与特征F(q)的相似度值；
S6、针对相似度矩阵S(i)，获取各学习样本的最大的K个相似度值对应的特征F(q)作为目标特征序列；令相似度矩阵S(i)中第b个学习样本对应的最大的K个相似度值的集合记作SK(i,b)，相似度矩阵S(i)中第b个学习样本的目标特征序列记作FK(i,b)；令目标特征序列集合{FK(i,b);1≤b≤B}作为基础模型的全连接层的输入，基础模型输出该B个学习样本的目标特征序列对应的预测概率矩阵P(i,K)∈RB×K×C，C为情绪类别数量；
S7、判断是否满足i≥I；否，则令i更新为i+1，然后返回步骤S4；是，则对基础模型的相似度权重矩阵W(i,K)∈RB×K进行更新，并计算学习样本在不同标签类别上的得分矩阵G(i)，G(i)∈RB×C；
W(i,K)=e{SK(i,b)|1≤i≤I,1≤b≤B}/τ/∑Ke{SK(i,b)|1≤i≤I,1≤b≤B}/τ
G(i)=∑K[W(i,K)·P(i,K)]
其中，τ为在(0,1)上取值的常数；
S8、计算各学习样本在不同标签类别上的修正概率分布，即{L(i)|1≤i≤I}；
L(i)=arg max(eG(i)/∑C eG(i))
L(i)∈RB×C
S9、结合修正概率分布{L(i)|1≤i≤I}和模型预测概率分布{P(i)|1≤i≤I}计算基础模型的损失函数；
S10、判断基础模型是否收敛；否，则清空特征库，并返回步骤S3；是，则令该基础模型作为情绪类别模型。
优选地，特征提取部分采用ResNet-18、SCN、RUL、EAC或者DAN。
优选地，激活层采用softmax函数。
优选地，S10中，判断基础模型收敛的条件为：步骤S3-S9的循环次数达到设定的次数；或者是基础模型的损失函数收敛。
优选地，S9中，基础模型的损失函数为修正概率分布{L(i)|1≤i≤I}和模型预测概率分布{P(i)|1≤i≤I}的均方差损失。
本发明提出的一种情绪识别方法，首先采用所述的非参数自适应的情绪识别模型的构建方法构建情绪识别模型，然后将待识别的表情图像输入情绪识别模型，情绪识别模型输出表情图像在各情绪类别上的概率分布，取最大概率对应的情绪类别作为表情图像的情绪识别结果。
本发明还提出了承载上述非参数自适应的情绪识别模型的构建方法和情绪识别方法的情绪识别系统和存储介质，从而方便本发明提供的情绪识别模型的推广应用，实现高精度的情绪识别。
本发明提出的一种情绪识别系统，包括存储器和处理器，存储器中存储有计算机程序，处理器连接存储器，处理器用于执行所述计算机程序，以实现所述的非参数自适应的情绪识别模型的构建方法。
本发明提出的一种情绪识别系统，包括存储器和处理器，存储器中存储有计算机程序和情绪识别模型，处理器连接存储器，处理器用于执行所述计算机程序，以实现所述的情绪识别方法。
本发明提出的一种存储介质，存储有计算机程序，所述计算机程序被执行时用于实现所述的非参数自适应的情绪识别模型的构建方法。
本发明的优点在于：
（1）本发明提出的一种非参数自适应的情绪识别模型的构建方法，在模型训练过程中，通过修正概率分布L(i)的计算实现了对不确定性样本标签进行自动重新标注。本发明中，在每个轮次中随着学习样本批次i的增加，不断地将特征存储在一个可变的特征库中，在第i个批次学习中，计算每个样本的当前特征与特征库之间的相似度；然后，利用最相似的K个样本特征计算该样本在不同情绪类别上的权重分数；最后，根据上述的权重分数对样本的标签进行自动重新标注，更换标签后计算模型的损失函数。该方法可以提升FER模型（深度面部表情识别模型）的性能，同时对模型没有引入新的参数，本发明本质上是一种可结合现有任一种FER模型来实现的高精度情绪识别方法。
（2）本发明提出的非参数自适应的情绪识别模型的构建方法适用于现有任一种模型，且均能够有效地提升了面部表情识别的准确率。
（3）本发明提出的情绪识别方法，采用本发明提供的情绪识别模型，能够实现高精度的情绪识别。
附图说明
图1为情绪分类示意图；
图2为一种非参数自适应的情绪识别模型的构建方法流程图；
图3为RAFDB数据集上模型验证对比条形图；
图4为RAFDB数据集上模型验证对比折线图；
图5为FERPlus数据集上模型验证对比条形图；
图6为FERPlus数据集上模型验证对比折线图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图2，本实施方式提出的一种非参数自适应的情绪识别模型的构建方法，包括以下步骤。
S1、获取基础模型和学习样本，基础模型包括顺序连接的特征提取部分、全连接层和激活层；特征提取部分用于提取表情图像的特征，特征经过全连接层和激活层处理后生成表情图像对应各情绪类别的概率分布；学习样本为标注有情绪类别的表情图像。
S2、抽取N个学习样本，令基础模型对N个学习样本进行机器学习以更新基础模型的参数。
S3、抽取N个学习样本构成训练集，将训练集中N个学习样本划分为I个批次，每个批次包含B个样本；令基础模型标注训练集中各个学习样本的标签类别预测值，记作{P(i)|1≤i≤I}，P(i)∈RB×C；P(i)为第i个批次的学习样本的模型预测概率分布，C为情绪类别数量。
S4、令基础模型的特征提取部分抽取第i个批次的学习样本中表情图像的特征，获取特征矩阵F(i)={F(i,1),F(i,2),…,F(i,b),…,F(i,B)}；F(i,b)表示当前基础模型的特征提取部分针对本批次第b个学习样本提取的特征，1≤b≤B；i的初始值为1。
S5、将特征矩阵F(i)存储到设定的特征库中，特征库初始值为空集；令特征库中所有特征记作特征矩阵FQ={F(i)}i={F(i,b)|1≤i≤I,1≤b≤B}={F(q)|1≤q≤Q}；F(q)表示特征矩阵FQ中第q个样本特征，F(q)∈{F(i,b)|1≤i≤I,1≤b≤B}；Q为特征矩阵FQ中的样本特征数量，Q=i×B；计算特征矩阵F(i)和特征矩阵FQ的相似度矩阵S(i)={S[F(i,b),F(q)]|1≤b≤B,1≤q≤Q}；S[F(i,b),F(q)]表示特征F(i,b)与特征F(q)的相似度值。
S6、针对相似度矩阵S(i)，获取各学习样本的最大的K个相似度值对应的特征F(q)作为目标特征序列；令相似度矩阵S(i)中第b个学习样本对应的最大的K个相似度值的集合记作SK(i,b)，相似度矩阵S(i)中第b个学习样本的目标特征序列记作FK(i,b)；目标特征序列集合{FK(i,b);1≤b≤B}输入基础模型的全连接层，经过全连接层和激活层顺序处理后，输出该B个学习样本的目标特征序列对应的预测概率矩阵P(i,K)∈RB×K×C，C为情绪类别数量；
SK(i,b)={SK(i,b,1);SK(i,b,2);…;SK(i,b,k);…;SK(i,b,K)}
1≤k≤K
SK(i,b,k)∈S(i,b)
S(i,b)={S[F(i,b),F(q)]|1≤q≤Q}
min{SK(i,b)}≥max{{S(i,b)}-SK(i,b)}
FK(i,b)={FQ(i,b,k);1≤k≤K}
FQ(i,b,k)∈FQ
FQ(i,b,k)表示SK(i,b,k)中来自特征矩阵FQ的特征。
S7、判断是否满足i≥I；否，则令i更新为i+1，然后返回步骤S4；是，则对基础模型的相似度权重矩阵W(i,K)∈RB×K进行更新，并计算学习样本在不同标签类别上的得分矩阵G(i)，G(i)∈RB×C。
W(i,K)=e{SK(i,b)|1≤i≤I,1≤b≤B}/τ/∑Ke{SK(i,b)|1≤i≤I,1≤b≤B}/τ
G(i)=∑K[W(i,K)·P(i,K)]
其中，τ为在(0,1)上取值的常数，具体可取值τ=0.1；
S8、计算各学习样本在不同标签类别上的修正概率分布，即{L(i)|1≤i≤I}；
L(i)=arg max(eG(i)/∑C eG(i))
L(i)∈RB×C
L(i)表示第i个批次的学习样本的修正概率分布。
S9、结合修正概率分布{L(i)|1≤i≤I}和模型预测概率分布{P(i)|1≤i≤I}计算均方差损失作为基础模型的损失函数。
S10、判断基础模型是否收敛；否，则清空特征库，并返回步骤S3；是，则令该基础模型作为情绪类别模型，其输入为表情图像，输出为表情图像在各情绪类别上的概率分布，取最大概率对应的情绪类别作为表情图像的情绪识别结果。
基础模型的收敛条件可设置为：步骤S3-S10循环次数达到设定的次数；或者是，连续N1次计算的相邻的模型损失差值小于设定值，即模型损失收敛。
以下结合具体实施例，对上述的情绪识别模型进行验证。
本实施例中，分别在人脸表情标准数据集RAFDB和FERPlus上对本发明提供的情绪识别模型和多个对比模型进行验证；τ=0.1。
RAFDB数据集：情绪类别划分为7类，分别是中性（NE，Neutral）、高兴（HA，Happy）、悲伤（SA，Sad）、惊讶（SU，Surprise）、害怕（FE，Fear）、生气（AN，Anger）、厌恶（DI，Disgust）；其中，训练集样本数量为12271，测试集样本数量为3068。
FERPlus数据集：情绪类别划分为8类，分别是中性（NE，Neutral）、高兴（HA，Happy）、悲伤（SA，Sad）、惊讶（SU，Surprise）、害怕（FE，Fear）、生气（AN，Anger）、厌恶（DI，Disgust）、蔑视（CO，Contempt）；其中，训练集样本数量为28709，测试集样本数量为3589。
FERPlus数据集在RAFDB数据集的情绪分类基础上增加了蔑视（CO，Contempt），FERPlus数据集的训练集样本数量大于RAFDB数据集的训练集样本数量。
本实施例中，对比模型选择ResNet-18、SCN、RUL、EAC和DAN，对比模型的输入为表情图像，输出为情绪类别。
本实施例中，针对每一个对比模型，采用本发明构建一个对应的情绪识别模型，对比模型作为情绪识别模型的特征提取部分。
本实施例中，对比模型和本发明构建的情绪识别模型在数据集的训练集上进行训练，并在测试集上测试模型的准确度。对比模型的训练过程采用现有的机器学习方法。
本实施例中，令ResNet-18''表示以ResNet-18模型作为特征提取部分构建的本发明提供的情绪识别模型；
令SCN''表示以SCN模型作为特征提取部分构建的本发明提供的情绪识别模型；
令RUL''表示以RUL模型作为特征提取部分构建的本发明提供的情绪识别模型；
令EAC''表示以EAC模型作为特征提取部分构建的本发明提供的情绪识别模型；
令DAN''表示以DAN模型作为特征提取部分构建的本发明提供的情绪识别模型。
本实施例中，各对比模型和相应的情绪识别模型的精度如下表1、图3-图6所示。可见，在任意网络上，采用本发明构建的情绪识别模型提高了情绪识别精确度，尤其是在ResNet-18模型和SCN模型上，表现更加优异。
表1：各模型的测试结果
当然，对于本领域技术人员而言，本发明不限于上述示范性实施例的细节，而还包括在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现的相同或类似结构。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
本发明未详细描述的技术、形状、构造部分均为公知技术。
Claims (9)
1.一种非参数自适应的情绪识别模型的构建方法，其特征在于，首先构建由顺序连接的特征提取部分、全连接层和激活层构成的基础模型，特征提取部分用于提取表情图像的特征，特征经过全连接层和激活层处理后生成表情图像对应各情绪类别的概率分布；获取标注有情绪类别的表情图像作为学习样本；然后令基础模型对设定数量的学习样本进行机器学习，进行模型参数的预训练；再针对预训练后的基础模型结合以下步骤S3-S10，进行非参数自适应训练，直至获取收敛后的基础模型作为情绪识别模型；
S3、抽取N个学习样本构成训练集，将训练集中N个学习样本划分为I个批次，每个批次包含B个样本；令基础模型标注训练集中各个学习样本的标签类别预测值，记作{P(i)|1≤i≤I}，P(i)∈RB×C；P(i)为第i个批次的学习样本的模型预测概率分布，C为情绪类别数量；
S4、令基础模型的特征提取部分抽取第i个批次的学习样本中表情图像的特征，获取特征矩阵F(i)={F(i,1),F(i,2),…,F(i,b),…,F(i,B)}；F(i,b)表示当前基础模型的特征提取部分针对本批次第b个学习样本提取的特征，1≤b≤B；i的初始值为1；
S5、将特征矩阵F(i)存储到设定的特征库中，特征库初始值为空集；令特征库中所有特征记作特征矩阵FQ={F(q)|1≤q≤Q}；F(q)表示特征矩阵FQ中第q个样本特征，F(q)∈{F(i,b)|1≤i≤I,1≤b≤B}，Q=i×B；计算特征矩阵F(i)和特征矩阵FQ的相似度矩阵S(i)，S(i)中第b行第q列元素S[F(i,b),F(q)]表示特征F(i,b)与特征F(q)的相似度值；
S6、针对相似度矩阵S(i)，获取各学习样本的最大的K个相似度值对应的特征F(q)作为目标特征序列；令相似度矩阵S(i)中第b个学习样本对应的最大的K个相似度值的集合记作SK(i,b)，相似度矩阵S(i)中第b个学习样本的目标特征序列记作FK(i,b)；令目标特征序列集合{FK(i,b);1≤b≤B}作为基础模型的全连接层的输入，基础模型输出该B个学习样本的目标特征序列对应的预测概率矩阵P(i,K)∈RB×K×C，C为情绪类别数量；
S7、判断是否满足i≥I；否，则令i更新为i+1，然后返回步骤S4；是，则对基础模型的相似度权重矩阵W(i,K)∈RB×K进行更新，并计算学习样本在不同标签类别上的得分矩阵G(i)，G(i)∈RB×C；
W(i,K)=e{SK(i,b)|1≤i≤I,1≤b≤B}/τ/∑Ke{SK(i,b)|1≤i≤I,1≤b≤B}/τ
G(i)=∑K[W(i,K)·P(i,K)]
其中，τ为在(0,1)上取值的常数；
S8、计算各学习样本在不同标签类别上的修正概率分布，即{L(i)|1≤i≤I}；
L(i)=arg max(eG(i)/∑C eG(i))
L(i)∈RB×C
S9、结合修正概率分布{L(i)|1≤i≤I}和模型预测概率分布{P(i)|1≤i≤I}计算基础模型的损失函数；
S10、判断基础模型是否收敛；否，则清空特征库，并返回步骤S3；是，则令该基础模型作为情绪类别模型。
2.如权利要求1所述的非参数自适应的情绪识别模型的构建方法，其特征在于，特征提取部分采用ResNet-18、SCN、RUL、EAC或者DAN。
3.如权利要求1所述的非参数自适应的情绪识别模型的构建方法，其特征在于，激活层采用softmax函数。
4.如权利要求1所述的非参数自适应的情绪识别模型的构建方法，其特征在于，S10中，判断基础模型收敛的条件为：步骤S3-S9的循环次数达到设定的次数；或者是基础模型的损失函数收敛。
5.如权利要求1所述的非参数自适应的情绪识别模型的构建方法，其特征在于，S9中，基础模型的损失函数为修正概率分布{L(i)|1≤i≤I}和模型预测概率分布{P(i)|1≤i≤I}的均方差损失。
6.一种采用如权利要求1-5任一项所述的非参数自适应的情绪识别模型的构建方法的情绪识别方法，其特征在于，首先采用如权利要求1-5任一项所述的非参数自适应的情绪识别模型的构建方法构建情绪识别模型，然后将待识别的表情图像输入情绪识别模型，情绪识别模型输出表情图像在各情绪类别上的概率分布，取最大概率对应的情绪类别作为表情图像的情绪识别结果。
7.一种情绪识别系统，其特征在于，包括存储器和处理器，存储器中存储有计算机程序，处理器连接存储器，处理器用于执行所述计算机程序，以实现如权利要求1-5任一项所述的非参数自适应的情绪识别模型的构建方法。
8.一种情绪识别系统，其特征在于，包括存储器和处理器，存储器中存储有计算机程序和情绪识别模型，处理器连接存储器，处理器用于执行所述计算机程序，以实现如权利要求6所述的情绪识别方法。
9.一种存储介质，其特征在于，存储有计算机程序，所述计算机程序被执行时用于实现如权利要求1-5任一项所述的非参数自适应的情绪识别模型的构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410131374.0A CN117689998B (zh) | 2024-01-31 | 2024-01-31 | 非参数自适应的情绪识别模型、方法、系统和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410131374.0A CN117689998B (zh) | 2024-01-31 | 2024-01-31 | 非参数自适应的情绪识别模型、方法、系统和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117689998A CN117689998A (zh) | 2024-03-12 |
| CN117689998B true CN117689998B (zh) | 2024-05-03 |
Family
ID=90135562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410131374.0A Active CN117689998B (zh) | 2024-01-31 | 2024-01-31 | 非参数自适应的情绪识别模型、方法、系统和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117689998B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109784277A (zh) * | 2019-01-17 | 2019-05-21 | 南京大学 | 一种基于智能眼镜的情绪识别方法 |
| CN112749252A (zh) * | 2020-07-14 | 2021-05-04 | 腾讯科技（深圳）有限公司 | 一种基于人工智能的文本匹配方法和相关装置 |
| WO2021114634A1 (zh) * | 2020-05-28 | 2021-06-17 | 平安科技（深圳）有限公司 | 文本标注方法、设备及存储介质 |
| CN112990130A (zh) * | 2021-04-27 | 2021-06-18 | 南京甄视智能科技有限公司 | 训练样本的数据清洗方法、装置及一种分类器 |
| CN114038037A (zh) * | 2021-11-09 | 2022-02-11 | 合肥工业大学 | 基于可分离残差注意力网络的表情标签修正和识别方法 |
| CN114357973A (zh) * | 2021-12-10 | 2022-04-15 | 马上消费金融股份有限公司 | 意图识别方法、装置、电子设备及存储介质 |
| CN114372532A (zh) * | 2022-01-11 | 2022-04-19 | 腾讯科技（深圳）有限公司 | 标签标注质量的确定方法、装置、设备、介质及产品 |
| CN114529973A (zh) * | 2022-02-22 | 2022-05-24 | 中南林业科技大学 | 一种半监督人脸情绪识别方法 |
| CN114596605A (zh) * | 2021-06-23 | 2022-06-07 | 西南科技大学 | 一种多特征融合的表情识别方法 |
| CN115331284A (zh) * | 2022-07-28 | 2022-11-11 | 南京邮电大学 | 一种基于自愈机制的真实场景下的人脸表情识别方法及系统 |
| WO2023098912A1 (zh) * | 2021-12-02 | 2023-06-08 | 新东方教育科技集团有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN117036783A (zh) * | 2023-07-19 | 2023-11-10 | 数据空间研究院 | 低延时纵向联邦学习的信息分类系统、方法及应用 |
| CN117297606A (zh) * | 2023-10-30 | 2023-12-29 | 五邑大学 | 情绪识别方法和装置、电子设备及存储介质 |
| CN117456581A (zh) * | 2023-11-01 | 2024-01-26 | 合肥工业大学 | 一种图像预训练模型到视频人脸表情识别的方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109475294B (zh) * | 2016-05-06 | 2022-08-19 | 斯坦福大学托管董事会 | 用于治疗精神障碍的移动和可穿戴视频捕捉和反馈平台 |
-
2024
- 2024-01-31 CN CN202410131374.0A patent/CN117689998B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109784277A (zh) * | 2019-01-17 | 2019-05-21 | 南京大学 | 一种基于智能眼镜的情绪识别方法 |
| WO2021114634A1 (zh) * | 2020-05-28 | 2021-06-17 | 平安科技（深圳）有限公司 | 文本标注方法、设备及存储介质 |
| CN112749252A (zh) * | 2020-07-14 | 2021-05-04 | 腾讯科技（深圳）有限公司 | 一种基于人工智能的文本匹配方法和相关装置 |
| CN112990130A (zh) * | 2021-04-27 | 2021-06-18 | 南京甄视智能科技有限公司 | 训练样本的数据清洗方法、装置及一种分类器 |
| CN114596605A (zh) * | 2021-06-23 | 2022-06-07 | 西南科技大学 | 一种多特征融合的表情识别方法 |
| CN114038037A (zh) * | 2021-11-09 | 2022-02-11 | 合肥工业大学 | 基于可分离残差注意力网络的表情标签修正和识别方法 |
| WO2023098912A1 (zh) * | 2021-12-02 | 2023-06-08 | 新东方教育科技集团有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN114357973A (zh) * | 2021-12-10 | 2022-04-15 | 马上消费金融股份有限公司 | 意图识别方法、装置、电子设备及存储介质 |
| CN114372532A (zh) * | 2022-01-11 | 2022-04-19 | 腾讯科技（深圳）有限公司 | 标签标注质量的确定方法、装置、设备、介质及产品 |
| CN114529973A (zh) * | 2022-02-22 | 2022-05-24 | 中南林业科技大学 | 一种半监督人脸情绪识别方法 |
| CN115331284A (zh) * | 2022-07-28 | 2022-11-11 | 南京邮电大学 | 一种基于自愈机制的真实场景下的人脸表情识别方法及系统 |
| CN117036783A (zh) * | 2023-07-19 | 2023-11-10 | 数据空间研究院 | 低延时纵向联邦学习的信息分类系统、方法及应用 |
| CN117297606A (zh) * | 2023-10-30 | 2023-12-29 | 五邑大学 | 情绪识别方法和装置、电子设备及存储介质 |
| CN117456581A (zh) * | 2023-11-01 | 2024-01-26 | 合肥工业大学 | 一种图像预训练模型到视频人脸表情识别的方法 |
Non-Patent Citations (2)
| Title |
|---|
| Facial expression recognition with contrastive learning and uncertainty-guided relabeling;Yujie Yang et al.;《International Journal of Neural Systems》;20230516;第33卷(第6期);第1-16页 * |
| 基于卷积神经网络的表情识别方法研究;韩兴;《中国优秀博硕士学位论文全文数据库(硕士)》;20210815(第8期);第1-74页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117689998A (zh) | 2024-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110070909B (zh) | 一种基于深度学习的融合多特征的蛋白质功能预测方法 | |
| CN110188272A (zh) | 一种基于用户背景的社区问答网站标签推荐方法 | |
| CN113010683B (zh) | 基于改进图注意力网络的实体关系识别方法及系统 | |
| CN113361685B (zh) | 一种基于学习者知识状态演化表示的知识追踪方法及系统 | |
| CN111046178A (zh) | 一种文本序列生成方法及其系统 | |
| CN112489723B (zh) | 基于局部进化信息的dna结合蛋白预测方法 | |
| CN112949929B (zh) | 一种基于协同嵌入增强题目表示的知识追踪方法及系统 | |
| CN113420552B (zh) | 一种基于强化学习的生物医学多事件抽取方法 | |
| CN117151222B (zh) | 领域知识引导的突发事件案例实体属性及其关系抽取方法、电子设备和存储介质 | |
| CN116258056A (zh) | 多模态知识水平评估与学习表现预测方法、系统及介质 | |
| CN112116950A (zh) | 基于深度度量学习的蛋白质折叠识别方法 | |
| CN113223504B (zh) | 声学模型的训练方法、装置、设备和存储介质 | |
| CN112380861B (zh) | 模型训练方法、装置及意图识别方法、装置 | |
| CN113705402A (zh) | 视频行为预测方法、系统、电子设备及存储介质 | |
| CN117689998B (zh) | 非参数自适应的情绪识别模型、方法、系统和存储介质 | |
| CN115063604B (zh) | 特征提取模型训练、目标重识别方法及装置 | |
| CN112989088B (zh) | 一种基于强化学习的视觉关系实例学习方法 | |
| CN114692615B (zh) | 一种针对小语种的小样本意图识别方法 | |
| CN112651590B (zh) | 一种指令处理流程推荐的方法 | |
| JP6844565B2 (ja) | ニューラルネットワーク装置及びプログラム | |
| CN118364813B (zh) | 基于机器阅读理解的知识增强方法、系统、装置、介质 | |
| CN113705322B (zh) | 基于门限图神经网络的手写汉字识别方法和装置 | |
| CN111476022B (zh) | 实体特征的字符嵌入及混合lstm实体识别方法、系统及介质 | |
| CN118364393B (zh) | 一种基于相关性增强特征学习的多标签分类方法及系统 | |
| CN117093724A (zh) | 一种基于深层语义特征提取的知识图谱推理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |