CN112348001B - 表情识别模型的训练方法、识别方法、装置、设备及介质 - Google Patents

表情识别模型的训练方法、识别方法、装置、设备及介质 Download PDF

Info

Publication number
CN112348001B
CN112348001B CN202110022518.5A CN202110022518A CN112348001B CN 112348001 B CN112348001 B CN 112348001B CN 202110022518 A CN202110022518 A CN 202110022518A CN 112348001 B CN112348001 B CN 112348001B
Authority
CN
China
Prior art keywords
training
branch
sample
loss function
expression recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110022518.5A
Other languages
English (en)
Other versions
CN112348001A (zh
Inventor
胡一博
佘加辉
石海林
梅涛
周伯文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202110022518.5A priority Critical patent/CN112348001B/zh
Publication of CN112348001A publication Critical patent/CN112348001A/zh
Application granted granted Critical
Publication of CN112348001B publication Critical patent/CN112348001B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及一种表情识别模型的训练方法及装置、表情识别方法及装置、电子设备及计算机可读介质，属于深度学习技术领域。该方法包括：获取人脸图像样本以及样本类型标签作为训练数据；获取卷积神经网络并进行特征提取得到样本特征；将卷积神经网络中的卷积层拆分为一条训练主路和多条训练支路，通过训练支路得到样本潜在类型的预测结果，并通过训练主路得到样本真实类型的预测结果；得到支路损失函数和主路损失函数；通过支路损失函数和主路损失函数对卷积神经网络中的神经网络参数进行迭代更新。本公开通过将卷积神经网络拆分为一条训练主路和多条训练支路，并通过训练支路挖掘样本潜在类型信息，可以提高表情识别模型的识别准确率。

Description

表情识别模型的训练方法、识别方法、装置、设备及介质
技术领域
本公开涉及深度学习技术领域，具体而言，涉及一种表情识别模型的训练方法及装置、表情识别方法及装置、电子设备及计算机可读介质。
背景技术
近些年来，表情识别在人机交互领域得到了越来越广泛的应用，自动人脸表情识别可以帮助计算机系统理解人的情感和行为，并且做出反应。
人脸表情识别的基础方法是使用模型提取相应表情的特征，然后进行分类，然而，现有的方法很难在大规模自然条件下的人脸表情数据集上取得良好的泛化性，由于人脸表情图片具有歧义性的特点，模型识别的准确率会迅速下降。
鉴于此，本领域亟需一种能够提高人脸表情识别准确率的表情识别模型的训练方法。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种表情识别模型的训练方法及装置、表情识别方法及装置、电子设备及计算机可读介质，进而至少在一定程度上提高人脸表情识别的准确率。
根据本公开的第一个方面，提供一种表情识别模型的训练方法，包括：
获取人脸图像样本以及所述人脸图像样本对应的样本类型标签，并将所述人脸图像样本和所述样本类型标签作为表情识别模型的训练数据；
获取用于训练所述表情识别模型的卷积神经网络，并通过所述卷积神经网络对所述人脸图像样本进行特征提取，得到所述人脸图像样本对应的样本特征；
将所述卷积神经网络中的卷积层拆分为一条训练主路和多条训练支路，根据所述训练数据和所述样本特征，通过所述训练支路得到样本潜在类型的预测结果，并通过所述训练主路得到样本真实类型的预测结果；
根据所述训练数据以及所述训练支路的预测结果得到支路损失函数，并根据所述训练数据以及所述训练主路和各个训练支路的预测结果得到主路损失函数；
通过所述支路损失函数和所述主路损失函数对所述卷积神经网络中的神经网络参数进行迭代更新，以训练所述表情识别模型。
在本公开的一种示例性实施例中，所述将所述卷积神经网络中的卷积层拆分为一条训练主路和多条训练支路，包括：
获取所述人脸图像样本对应的样本类型的数量，并根据所述样本类型的数量确定所述训练支路的数量；
根据所述训练支路的数量将所述卷积神经网络中的卷积层拆分为一条训练主路和多条训练支路。
在本公开的一种示例性实施例中，所述根据所述训练数据和所述样本特征，通过所述训练支路得到样本潜在类型的预测结果，包括：
对于每一条所述训练支路，分别将所述训练数据中与所述训练支路相对应的一个样本类型的训练数据和样本特征剔除，作为所述训练支路对应的支路反向训练数据；
根据各个所述训练支路对应的支路反向训练数据分别对各个所述训练支路进行反向传播，得到所述训练支路的反向输出数据；
获取与所述训练支路相对应的一个样本类型的所述训练数据和所述样本特征，作为所述训练支路对应的支路前向训练数据；
根据所述训练支路对应的支路前向训练数据和所述训练支路的反向输出数据进行前向传播，得到所述训练支路对应的样本潜在类型的预测结果；
其中，所述训练支路对应的样本潜在类型的预测结果为所述训练支路对应的样本类型的人脸图像样本属于其他样本类型的概率。
在本公开的一种示例性实施例中，所述支路损失函数包括支路交叉熵损失函数，所述根据所述训练数据以及所述训练支路的预测结果得到支路损失函数，包括：
根据所述训练支路中各个所述样本类型的人脸图像样本的特征数据，以及所述训练支路的预测结果，计算所述训练支路中各个所述样本类型的样本交叉熵；
对所述训练支路中各个所述样本类型的样本交叉熵求平均值，得到所述训练支路的支路交叉熵损失函数。
在本公开的一种示例性实施例中，所述主路损失函数包括主路均方误差损失函数，所述根据所述训练数据以及所述训练主路和各个训练支路的预测结果得到主路损失函数，包括：
根据所述训练主路的预测结果与所述训练支路的预测结果之间的差值，得到预测误差；
对所述训练主路中各个所述样本类型的预测误差的范数求平均值，得到所述训练主路的主路均方误差损失函数。
在本公开的一种示例性实施例中，所述主路损失函数包括相似性损失函数，所述根据所述训练数据以及所述训练主路和各个训练支路的预测结果得到主路损失函数，包括：
从所述训练数据中获取各个所述训练支路的支路训练样本，并根据所述支路训练样本和所述支路训练样本对应的特征数据，得到所述训练支路中的各个支路训练样本两两之间的相似性矩阵；
从所述训练数据中获取所述训练主路的主路训练样本，并根据所述主路训练样本和所述主路训练样本对应的特征数据，得到所述训练主路中的各个主路训练样本两两之间的相似性矩阵；
根据各个所述训练支路中各个支路训练样本的相似性矩阵和所述训练主路中各个主路训练样本的相似性矩阵，得到所述相似性损失函数。
在本公开的一种示例性实施例中，所述从所述训练数据中获取各个所述训练支路的支路训练样本，包括：
对于每一条所述训练支路，分别将所述训练数据中的人脸图像样本中，与所述训练支路相对应的一个样本类型的人脸图像样本剔除，得到所述训练支路对应的支路训练样本。
在本公开的一种示例性实施例中，所述根据所述支路训练样本和所述支路训练样本对应的特征数据，得到所述训练支路中的各个支路训练样本两两之间的相似性矩阵，包括：
在所述训练支路中对所述支路训练样本的样本特征所对应的特征矩阵进行全局池化，得到所述训练支路对应的支路特征矩阵；
将所述支路特征矩阵与所述支路特征矩阵的转置矩阵相乘，得到所述支路特征矩阵对应的相似性矩阵；
将所述支路特征矩阵对应的相似性矩阵中，每一行的样本特征分别进行范数归一化，得到所述训练支路中的各个支路训练样本两两之间的相似性矩阵。
在本公开的一种示例性实施例中，所述从所述训练数据中获取所述训练主路的主路训练样本，包括：
将所述训练数据中的所有人脸图像样本作为所述训练主路的主路训练样本。
在本公开的一种示例性实施例中，所述根据所述主路训练样本和所述主路训练样本对应的特征数据，得到所述训练主路中的各个主路训练样本两两之间的相似性矩阵，包括：
对所述主路训练样本的样本特征所对应的特征矩阵进行全局池化，得到所述训练主路对应的主路特征矩阵；
将所述主路特征矩阵与所述主路特征矩阵的转置矩阵相乘，得到所述主路特征矩阵对应的相似性矩阵；
对所述主路特征矩阵的相似性矩阵进行拆分，得到所述主路特征矩阵的相似性矩阵对应于各个所述训练支路的相似性子矩阵；
将所述训练支路的相似性子矩阵中，每一行的样本特征分别进行范数归一化，得到所述训练主路中对应于各个所述训练支路的相似性矩阵。
在本公开的一种示例性实施例中，所述根据各个所述训练支路中各个支路训练样本的相似性矩阵和所述训练主路中各个主路训练样本的相似性矩阵，得到所述相似性损失函数，包括：
根据所述训练主路中对应于各个所述训练支路的相似性矩阵与所述训练支路中的相似性矩阵之间的差值，得到相似性矩阵误差；
对各个所述相似性矩阵误差的范数求平均值，得到所述相似性损失函数。
在本公开的一种示例性实施例中，所述主路损失函数包括主路交叉熵损失函数，所述根据所述训练数据以及所述训练主路和各个训练支路的预测结果得到主路损失函数，包括：
在所述训练主路中，根据各个所述主路训练样本对应的特征矩阵得到各个所述主路训练样本对应的相似度向量；
根据所述主路训练样本对应的相似度向量和所述主路训练样本的样本类型标签得到相似度标量；
将所述相似度标量作为所述主路训练样本的置信度，并根据所述主路训练样本、所述样本类型标签以及所述置信度得到所述主路交叉熵损失函数。
在本公开的一种示例性实施例中，所述根据各个所述主路训练样本对应的特征矩阵得到各个所述主路训练样本对应的相似度向量，包括：
根据每一个所述主路训练样本的特征矩阵与所有所述主路训练样本的特征矩阵得到各个所述主路训练样本与所有所述主路训练样本之间的余弦相似度；
将所述主路训练样本与所有所述主路训练样本之间的余弦相似度求平均值，得到所述主路训练样本对应的相似度向量。
在本公开的一种示例性实施例中，所述根据所述主路训练样本对应的相似度向量和所述主路训练样本的样本类型标签得到相似度标量，包括：
将所述主路训练样本对应的相似度向量和所述主路训练样本的样本类型标签进行级联，得到相似度标签向量；
通过所述卷积神经网络中的全连接层将所述相似度标签向量映射为相似度标量。
在本公开的一种示例性实施例中，所述通过所述支路损失函数和所述主路损失函数对所述卷积神经网络中的神经网络参数进行迭代更新，以训练所述表情识别模型，包括：
通过所述支路损失函数和所述主路损失函数得到所述表情识别模型的整体损失函数；
根据所述整体损失函数得到所述卷积神经网络中的各个神经网络参数的梯度；
根据所述神经网络参数的梯度对所述神经网络参数进行迭代更新，以训练所述表情识别模型。
在本公开的一种示例性实施例中，所述通过所述支路损失函数和所述主路损失函数得到所述表情识别模型的整体损失函数，包括：
获取当前的迭代次数以及迭代阈值，并根据所述迭代次数和所述迭代阈值确定第一斜坡函数和第二斜坡函数；
根据所述第一斜坡函数和所述第二斜坡函数以及所述支路损失函数和所述主路损失函数，得到所述表情识别模型的整体损失函数；
其中，所述支路损失函数包括支路交叉熵损失函数，所述主路损失函数包括主路均方误差损失函数、相似性损失函数和主路交叉熵损失函数。
根据本公开的第二方面，提供一种表情识别方法，包括：
获取待识别的人脸图像，并将所述待识别的人脸图像输入表情识别模型中，其中，所述表情识别模型是通过如上述任意一项所述的表情识别模型的训练方法得到的；
通过所述表情识别模型中的训练主路得到所述待识别的人脸图像对应的类型标签。
根据本公开的第三方面，提供一种表情识别模型的训练装置，包括：
训练数据获取模块，用于获取人脸图像样本以及所述人脸图像样本对应的样本类型标签，并将所述人脸图像样本和所述样本类型标签作为表情识别模型的训练数据；
样本特征提取模块，用于获取用于训练所述表情识别模型的卷积神经网络，并通过所述卷积神经网络对所述人脸图像样本进行特征提取，得到所述人脸图像样本对应的样本特征；
预测结果确定模块，用于将所述卷积神经网络中的卷积层拆分为一条训练主路和多条训练支路，根据所述训练数据和所述样本特征，通过所述训练支路得到样本潜在类型的预测结果，并通过所述训练主路得到样本真实类型的预测结果；
损失函数确定模块，用于根据所述训练数据以及所述训练支路的预测结果得到支路损失函数，并根据所述训练数据以及所述训练主路和各个训练支路的预测结果得到主路损失函数；
模型参数训练模块，用于通过所述支路损失函数和所述主路损失函数对所述卷积神经网络中的神经网络参数进行迭代更新，以训练所述表情识别模型。
根据本公开的第四方面，提供一种表情识别装置，包括：
人脸图像获取模块，用于获取待识别的人脸图像，并将所述待识别的人脸图像输入表情识别模型中，其中，所述表情识别模型是通过上述表情识别模型的训练装置得到的；
人脸表情识别模块，用于通过所述表情识别模型中的训练主路得到所述待识别的人脸图像对应的类型标签。
根据本公开的第五方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的表情识别模型的训练方法。
根据本公开的第六方面，提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的表情识别模型的训练方法。
本公开示例性实施例可以具有以下有益效果：
本公开示例实施方式的表情识别模型的训练方法中，通过卷积神经网络提取样本特征后，将卷积神经网络的末端卷积层拆分为一条训练主路和多条用于辅助模型训练的训练支路，从而在模型的训练过程中，对于表情类型有歧义性的人脸图像样本来说，能够通过训练支路挖掘出除了人脸图像样本的给定类型标签以外的潜在类型信息，可以指导模型更好地学习样本特征，提高表情识别模型的识别准确率和泛化性。另外，在部署训练好的模型时，不需要部署用于辅助模型训练的训练支路，仅需要部署模型的训练主路即可，因此还能够节约计算资源，提高计算效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本公开示例实施方式的表情识别模型的训练方法的流程示意图；
图2示出了本公开示例实施方式的得到样本潜在类型的支路预测结果的流程示意图；
图3示出了本公开示例实施方式的计算主路的相似性损失函数的流程示意图；
图4示出了本公开示例实施方式的确定支路训练样本两两之间的相似性矩阵的流程示意图；
图5示出了本公开示例实施方式的确定主路训练样本两两之间的相似性矩阵的流程示意图；
图6示出了本公开示例实施方式的计算主路交叉熵损失函数的流程示意图；
图7示出了本公开示例实施方式的迭代更新神经网络参数的流程示意图；
图8示出了根据本公开的一个具体实施方式中表情识别模型的训练方法的流程框图；
图9示出了本公开示例实施方式的表情识别方法的流程示意图；
图10示出了本公开示例实施方式的表情识别模型的训练装置的框图；
图11示出了本公开示例实施方式的表情识别装置的框图；
图12示出了适于用来实现本公开实施方式的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
随着深度学习的发展，人脸表情识别技术已经取得了很大的进步。在一些相关的实施例中，可以使用模型提取相应表情的特征，然后根据表情特征对图像中的表情进行分类；还可以依靠微表情识别技术分析人脸的影像资料，获取人物的情感状态变化；还可以通过检测待识别图像中的人脸关键点和人脸区域并生成人脸区域对应的掩码图，然后得到掩码图与人脸区域的融合图像，将融合图像输入人脸表情识别模型，进行人脸表情识别等等。
然而，上述相关的实施例中的人脸表情识别方法依然存在一些难题，例如，上述方法很难在大规模自然条件人脸表情数据集上取得良好的泛化性，识别准确率会迅速下降，这是因为人脸表情图片具有歧义性的特点。比如说，某一张人脸图像样本的给定表情标签是生气，但是它也满足一定的惊讶、害怕类别的视觉特征，例如睁大眼、嘴巴微微张开等等。一张标注为恐惧的表情图片在不同的人看来也有可能属于惊讶的类别，或者一张标注为生气的表情图片也可能包含沮丧类别的属性特征。
在上述相关的实施例中，模型学习方法主要都是利用卷积神经网络模型在人脸表情数据集上学习人脸表情特征，通过学习数据集给定的标签样本对，来不断优化模型。但是上述方法没有对于表情图片具有歧义性这一问题做针对性的改进，在优化的过程中不能挖掘样本特征中隐藏的潜在标签信息，且无法准确估计歧义样本的标签置信度，因此，很难在大规模自然条件下的人脸数据集上取得良好的泛化性。其中，样本潜在表情信息指的是，如果某个训练样本除了符合它本身的标签类别的视觉特征，同时还符合一定量的其他标签类别的视觉特征，那么该样本属于自身标签外其他各个类别的概率分布即为该样本潜在的表情信息。
此外，传统算法往往认为数据集中给定的样本标签对都是正确的，忽略了数据集中会存在一定量的噪声样本，样本的标注不一定可信。所以，在模型的训练中需要注意区分数据集中的可信样本和噪声样本，在训练中对于两者区别对待，通过估计样本置信度，从而让模型获得更强大的特征判别力。
本示例实施方式首先提供了一种表情识别模型的训练方法。参考图1所示，上述表情识别模型的训练方法可以包括以下步骤：
步骤S110. 获取人脸图像样本以及人脸图像样本对应的样本类型标签，并将人脸图像样本和样本类型标签作为表情识别模型的训练数据。
步骤S120. 获取用于训练表情识别模型的卷积神经网络，并通过卷积神经网络对人脸图像样本进行特征提取，得到人脸图像样本对应的样本特征。
步骤S130. 将卷积神经网络中的卷积层拆分为一条训练主路和多条训练支路，根据训练数据和样本特征，通过训练支路得到样本潜在类型的预测结果，并通过训练主路得到样本真实类型的预测结果。
步骤S140. 根据训练数据以及训练支路的预测结果得到支路损失函数，并根据训练数据以及训练主路和各个训练支路的预测结果得到主路损失函数。
步骤S150. 通过支路损失函数和主路损失函数对卷积神经网络中的神经网络参数进行迭代更新，以训练表情识别模型。
本公开示例实施方式的表情识别模型的训练方法中，通过卷积神经网络提取样本特征后，将卷积神经网络的末端卷积层拆分为一条训练主路和多条用于辅助模型训练的训练支路，从而在模型的训练过程中，对于表情类型有歧义性的人脸图像样本来说，能够通过训练支路挖掘出除了人脸图像样本的给定类型标签以外的潜在类型信息，可以指导模型更好地学习样本特征，提高表情识别模型的识别准确率和泛化性。另外，在部署训练好的模型时，不需要部署用于辅助模型训练的训练支路，仅需要部署模型的训练主路即可，因此还能够节约计算资源，提高计算效率。
下面，结合图2至图7对本示例实施方式的上述步骤进行更加详细的说明。
在步骤S110中，获取人脸图像样本以及人脸图像样本对应的样本类型标签，并将人脸图像样本和样本类型标签作为表情识别模型的训练数据。
本示例实施方式中，可以通过从原数据集中获取包含人脸图像的图片数据，然后对每张图像进行人脸检测，获得人脸位置的坐标框，同时进行人脸关键点检测，利用人脸关键点进行人脸对齐得到标准的人脸图像，作为人脸图像样本。
人脸图像样本对应的样本类型标签，指的是人脸图像样本自带的对于其表情类型的分类标签，可以包括生气、害怕、厌恶、开心、悲伤和吃惊等等。
将人脸图像样本结合其对应的样本类型标签，可以构成表情识别模型训练的训练数据集，在进行模型训练时，训练的输入即为人脸图像样本及其相应的样本类型标签，也就是表情标签。
在步骤S120中，获取用于训练表情识别模型的卷积神经网络，并通过卷积神经网络对人脸图像样本进行特征提取，得到人脸图像样本对应的样本特征。
本示例实施方式中，可以使用卷积神经网络作为表情识别模型来进行训练。在训练时的每次迭代过程中，对于当前批次的人脸图像样本，可以先通过卷积神经网络的前向传播进行特征提取，得到每个人脸图像样本对应的样本特征，并在此基础上得到特征图。其中，样本特征可以包括睁大眼、皱眉、嘴巴微微张开等具体的表情特征。
在步骤S130中，将卷积神经网络中的卷积层拆分为一条训练主路和多条训练支路，根据训练数据和样本特征，通过训练支路得到样本潜在类型的预测结果，并通过训练主路得到样本真实类型的预测结果。
本示例实施方式中，为了挖掘样本特征中隐藏的潜在表情信息，可以将卷积神经网络中的卷积层的最后一层或多层进行拆分，使之成为多条支路，其中包含一条训练主路和多条训练支路。在进行模型训练时，通过训练主路得到样本真实类型的预测结果，与此同时，还可以通过训练支路发掘每个样本中除给定标签以外的潜在样本信息，得到样本潜在类型的预测结果。
本示例实施方式中，在将卷积神经网络中的卷积层拆分为一条训练主路和多条训练支路时，可以根据人脸图像样本对应的样本类型的数量来进行拆分，具体而言，可以获取人脸图像样本对应的样本类型的数量，并根据样本类型的数量确定训练支路的数量，再根据训练支路的数量将卷积神经网络中的卷积层拆分为一条训练主路和多条训练支路。
例如，若训练数据集中的样本共有C个类别，则将卷积神经网络的最后一层或多层 拆分成C + 1条支路，其中包括C条训练支路和1条训练主路。在这里，可以将拆分前的多层 卷积神经网络记为f(θ)，拆分后的多条支路分别记为
Figure 777737DEST_PATH_IMAGE001
。其 中，
Figure 976768DEST_PATH_IMAGE002
是训练主路，其他为训练支路。
本示例实施方式中，如图2所示，根据训练数据和样本特征，通过训练支路得到样本潜在类型的预测结果，具体可以包括以下几个步骤：
步骤S210. 对于每一条训练支路，分别将训练数据中与训练支路相对应的一个样本类型的训练数据和样本特征剔除，作为训练支路对应的支路反向训练数据。
在得到所有人脸图像样本对应的样本特征之后，在当前批次训练样本中，对于每 一条训练支路
Figure 490926DEST_PATH_IMAGE003
，剔除第i（i∈{1,2,…,C}）类的训练样本后，将剩下的所有训练样本和 样本特征作为训练支路
Figure 417294DEST_PATH_IMAGE003
对应的支路反向训练数据。
步骤S220. 根据各个训练支路对应的支路反向训练数据分别对各个训练支路进行反向传播，得到训练支路的反向输出数据。
得到支路反向训练数据之后，根据各个训练支路
Figure 28404DEST_PATH_IMAGE003
对应的支路反向训练数据 对该训练支路进行反向传播，来对支路
Figure 382025DEST_PATH_IMAGE003
进行训练，更新f(θ)和
Figure 930949DEST_PATH_IMAGE004
中的各个卷积神经网络参数。在这里，每条训练支路的输出 向量维度是C - 1维的。
步骤S230. 获取与训练支路相对应的一个样本类型的训练数据和样本特征，作为训练支路对应的支路前向训练数据。
对于每一条训练支路
Figure 661007DEST_PATH_IMAGE003
，将当前批次的训练样本中第i类的训练样本和样本特 征，作为训练支路对应的支路前向训练数据。
步骤S240. 根据训练支路对应的支路前向训练数据和训练支路的反向输出数据进行前向传播，得到训练支路对应的样本潜在类型的预测结果。
其中，训练支路对应的样本潜在类型的预测结果为训练支路对应的样本类型的人脸图像样本属于其他样本类型的概率。
将支路前向训练数据通过f(θ)和
Figure 861045DEST_PATH_IMAGE003
进行前向传播，得到当前批次训练样本中 第i类样本属于其他C - 1类的概率。由此，可以发掘出当前批次训练样本的隐藏标签类型 的分布。
在模型训练中，通过将卷积神经网络的末端拆分成为多支路的方法，挖掘每个样本的潜在标签分布，可以指导模型更好地学习样本特征，提高模型的泛化性。
在步骤S140中，根据训练数据以及训练支路的预测结果得到支路损失函数，并根据训练数据以及训练主路和各个训练支路的预测结果得到主路损失函数。
本示例实施方式中，支路损失函数包括支路交叉熵损失函数，主路损失函数包括主路均方误差损失函数、相似性损失函数和主路交叉熵损失函数。通过上述各损失函数对模型进行反向传播，可以对卷积神经网络中的各个神经网络参数进行迭代更新，从而完成模型的训练。下面结合图3至图6，对上述各损失函数的计算过程进行详细说明。
本示例实施方式中，计算支路交叉熵损失函数的方法具体为：根据训练支路中各个样本类型的人脸图像样本的特征数据，以及训练支路的预测结果，计算训练支路中各个样本类型的样本交叉熵，然后对训练支路中各个样本类型的样本交叉熵求平均值，得到训练支路的支路交叉熵损失函数。
在对各个训练支路进行反向传播时，各个支路上的支路交叉熵损失函数的计算公式如下：
Figure 588829DEST_PATH_IMAGE005
其中，
Figure 139896DEST_PATH_IMAGE006
指的是各个支路的交叉熵，是通过第i条支 路的样本和第i条支路的预测结果计算交叉熵得到的。
本示例实施方式中，计算主路均方误差损失函数的方法具体为：根据训练主路的预测结果与训练支路的预测结果之间的差值，得到预测误差，然后对训练主路中各个样本类型的预测误差的范数求平均值，得到训练主路的主路均方误差损失函数。
当前批次训练样本的潜在标签分布与主路预测结果的MSE（Mean Square Error，均方误差）损失的计算公式如下：
Figure 176377DEST_PATH_IMAGE007
其中，N为当前批次的训练样本总数，pred表示训练主路的预测结果，
Figure 434183DEST_PATH_IMAGE008
表示训练支路的预测结果。
本示例实施方式中，可以利用各个训练支路上计算出的两两样本之间的相似度，和训练主路上计算出的两两样本之间的相似度得到主路的相似性损失函数，从而对主路的训练进行约束。如图3所示，计算主路的相似性损失函数的方法，具体可以包括以下几个步骤：
步骤S310. 从训练数据中获取各个训练支路的支路训练样本，并根据支路训练样本和支路训练样本对应的特征数据，得到训练支路中的各个支路训练样本两两之间的相似性矩阵。
本示例实施方式中，从训练数据中获取各个训练支路的支路训练样本，具体方法可以为：对于每一条训练支路，分别将训练数据中的人脸图像样本中，与训练支路相对应的一个样本类型的人脸图像样本剔除，得到训练支路对应的支路训练样本。
在训练时的每次迭代过程中，对于当前批次样本，记总训练样本的数量为B，剔除 第i（i∈{1,2,…,C}）类的训练样本后送入支路
Figure 395186DEST_PATH_IMAGE009
进行前向传播和反向传播的训练样本 数量为Bi，则在支路
Figure 433549DEST_PATH_IMAGE003
和主路
Figure 239831DEST_PATH_IMAGE010
中，可以计算当前支路上两两样本之间的相似 度，利用支路上计算出的两两样本间相似度对主路进行约束。
本示例实施方式中，如图4所示，根据支路训练样本和支路训练样本对应的特征数据，得到训练支路中的各个支路训练样本两两之间的相似性矩阵，具体可以包括以下几个步骤：
步骤S410. 在训练支路中对支路训练样本的样本特征所对应的特征矩阵进行全局池化，得到训练支路对应的支路特征矩阵。
在当前批次的训练样本中，对于给定的B个样本，记在支路
Figure 617723DEST_PATH_IMAGE011
中对特征图进行 全局池化后得到的支路特征矩阵为
Figure 234780DEST_PATH_IMAGE012
，其中Bi是在支路
Figure 760439DEST_PATH_IMAGE011
上进行前向传播 和反向传播的训练样本数量，D是经过全局池化后得到的每个样本的特征向量维数。
步骤S420. 将支路特征矩阵与支路特征矩阵的转置矩阵相乘，得到支路特征矩阵对应的相似性矩阵。
支路特征矩阵对应的相似性矩阵的计算公式如下：
Figure 370412DEST_PATH_IMAGE013
步骤S430. 将支路特征矩阵对应的相似性矩阵中，每一行的样本特征分别进行范数归一化，得到训练支路中的各个支路训练样本两两之间的相似性矩阵。
根据支路特征矩阵对应的相似性矩阵，可以计算得到训练支路中两两样本之间的，经过L2范数归一化后的相似性矩阵。各个支路训练样本两两之间的相似性矩阵的计算公式如下：
Figure 602810DEST_PATH_IMAGE014
其中，
Figure 905616DEST_PATH_IMAGE015
是一个Bi×Bi大小的矩阵，
Figure 403724DEST_PATH_IMAGE015
的第j行第k列的元素代表了当前支路的 Bi个样本中，第j个样本和第k个样本之间的相似性。对
Figure 817388DEST_PATH_IMAGE015
的每一行做L2归一化，从而得到 两两样本之间的相似性矩阵
Figure 701030DEST_PATH_IMAGE016
。其中[i,:]代表了矩阵中的第i行。
步骤S320. 从训练数据中获取训练主路的主路训练样本，并根据主路训练样本和主路训练样本对应的特征数据，得到训练主路中的各个主路训练样本两两之间的相似性矩阵。
同样地，对于训练主路上的共B个训练样本，也可以进行类似的操作，得到两两样本之间的相似性矩阵。
从训练数据中获取训练主路的主路训练样本，具体方法可以为：将训练数据中的所有人脸图像样本作为训练主路的主路训练样本。
本示例实施方式中，如图5所示，根据主路训练样本和主路训练样本对应的特征数据，得到训练主路中的各个主路训练样本两两之间的相似性矩阵，具体可以包括以下几个步骤：
步骤S510. 对主路训练样本的样本特征所对应的特征矩阵进行全局池化，得到训练主路对应的主路特征矩阵。
在当前批次的训练样本中，对于给定的B个样本，记在主路
Figure 174737DEST_PATH_IMAGE017
中对特征图进 行全局池化后得到的主路特征矩阵为
Figure 347092DEST_PATH_IMAGE018
。
步骤S520. 将主路特征矩阵与主路特征矩阵的转置矩阵相乘，得到主路特征矩阵对应的相似性矩阵。
主路特征矩阵对应的相似性矩阵的计算公式如下：
Figure 49600DEST_PATH_IMAGE019
其中，
Figure 318908DEST_PATH_IMAGE020
是一个B×B大小的矩阵。
步骤S530. 对主路特征矩阵的相似性矩阵进行拆分，得到主路特征矩阵的相似性矩阵对应于各个训练支路的相似性子矩阵。
由于
Figure 166778DEST_PATH_IMAGE020
和
Figure 623167DEST_PATH_IMAGE016
的大小不一致，所以需要先拆分
Figure 644213DEST_PATH_IMAGE021
得到其对应于第i条训练 支路的相似性子矩阵
Figure 987601DEST_PATH_IMAGE022
。
步骤S540. 将训练支路的相似性子矩阵中，每一行的样本特征分别进行范数归一化，得到训练主路中对应于各个训练支路的相似性矩阵。
得到各个训练支路的相似性子矩阵之后，就可以计算得到两两样本之间，经过L2 范数归一化后的相似性矩阵
Figure 803110DEST_PATH_IMAGE023
，i∈{1,2,…,C}，计算公式如下：
Figure 950057DEST_PATH_IMAGE024
步骤S330. 根据各个训练支路中各个支路训练样本的相似性矩阵和训练主路中各个主路训练样本的相似性矩阵，得到相似性损失函数。
本示例实施方式中，可以根据训练主路中对应于各个训练支路的相似性矩阵与训练支路中的相似性矩阵之间的差值，得到相似性矩阵误差，再对各个相似性矩阵误差的范数求平均值，从而得到相似性损失函数。
通过计算
Figure 509215DEST_PATH_IMAGE025
与
Figure 487535DEST_PATH_IMAGE026
之间的均方误差损失得到相似性损失函数，从而实现训练 主路和训练支路之间的样本相似性约束。相似性损失函数的计算公式如下：
Figure 411629DEST_PATH_IMAGE027
通过约束训练主路和训练支路之间计算出的样本相似性，从考察样本之间的关系出发，能够提高模型学习过程中的鲁棒性。
本示例实施方式中，可以利用样本之间的余弦相似度作为第二统计特征，估计单个样本的标签置信度，并根据置信度计算主路交叉熵损失函数，从而对样本特征进行加权训练。如图6所示，计算主路交叉熵损失函数的方法，具体可以包括以下几个步骤：
步骤S610. 在训练主路中，根据各个主路训练样本对应的特征矩阵得到各个主路训练样本对应的相似度向量。
计算主路训练样本对应的相似度向量的方法具体可以包括：根据每一个主路训练样本的特征矩阵与所有主路训练样本的特征矩阵得到各个主路训练样本与所有主路训练样本之间的余弦相似度；将主路训练样本与所有主路训练样本之间的余弦相似度求平均值，得到主路训练样本对应的相似度向量。
具体而言，在训练主路上，将每一个主路训练样本都和当前批次的训练样本中的其他主路训练样本以及其自身计算余弦相似度。然后，求取该主路训练样本与当前批次训练样本中各个类别的样本的余弦相似度平均值，得到一个C维的向量（假设数据集上共有C类样本），该向量即为主路训练样本对应的相似度向量。
步骤S620. 根据主路训练样本对应的相似度向量和主路训练样本的样本类型标签得到相似度标量。
计算相似度标量的方法具体可以包括：将主路训练样本对应的相似度向量和主路训练样本的样本类型标签进行级联，得到相似度标签向量，并通过卷积神经网络中的全连接层将相似度标签向量映射为相似度标量。
具体而言，将上述步骤中得到的相似度向量和该训练样本的样本类型标签进行级联，可以得到相似度标签向量，然后将该相似度标签向量送入全连接层中映射成一个标量，即可得到相似度标量。在计算主路交叉熵损失函数的过程中，通过相似度标签向量可以进行样本层面的置信度加权。
步骤S630. 将相似度标量作为主路训练样本的置信度，并根据主路训练样本、样本类型标签以及置信度得到主路交叉熵损失函数。
在模型的训练过程中，主路上的主路交叉熵损失函数的计算公式如下：
Figure 593342DEST_PATH_IMAGE028
其中，训练数据集的样本类别共有C类，当前批次样本的数量为N，xi和yi指的是当 前批次样本的第i个主路训练样本和其对应的样本类型标签，Wj是分类器第j列的权重，是 通过分类器矩阵初始化得到的，
Figure 690611DEST_PATH_IMAGE029
是通过上述步骤估计得到的当前批次样本中第i个主路 训练样本的置信度。
利用主路上抽取出的样本特征，计算训练主路上两两样本之间的余弦相似度，然后求取每个样本与当前批次中各个类别样本的余弦相似度平均值，得到相应的第二统计特征，即相似度标签向量。然后利用全连接层把第二统计特征映射到一个标量，即相似度标量，将其作为样本的置信度，用于样本间的加权训练。通过上述方法能够指导卷积神经网络模型更好地学习人脸表情的特征表达，来提高模型对歧义样本的判别力，最终提升模型的识别性能。通过对样本进行置信度估计，能够指导卷积神经网络对于歧义度高的样本，侧重学习其潜在的标签分布，而对于歧异度低的样本，重点学习数据集给定的类型标签，从而更好地学习人脸图像中的表情特征，提升模型的识别性能。
在步骤S150中，通过支路损失函数和主路损失函数对卷积神经网络中的神经网络参数进行迭代更新，以训练表情识别模型。
本示例实施方式中，如图7所示，通过支路损失函数和主路损失函数对卷积神经网络中的神经网络参数进行迭代更新，以训练表情识别模型，具体可以包括以下几个步骤：
步骤S710. 通过支路损失函数和主路损失函数得到表情识别模型的整体损失函数。
得到表情识别模型的整体损失函数的方法具体可以包括：获取当前的迭代次数以及迭代阈值，并根据迭代次数和迭代阈值确定第一斜坡函数和第二斜坡函数；根据第一斜坡函数和第二斜坡函数以及支路损失函数和主路损失函数，得到表情识别模型的整体损失函数。其中，支路损失函数包括支路交叉熵损失函数，主路损失函数包括主路均方误差损失函数、相似性损失函数和主路交叉熵损失函数。
在模型训练中，可以通过加入两个ramp（斜坡）函数来平衡各支路的训练和主路的训练。
本示例实施方式中，第一斜坡函数
Figure 523438DEST_PATH_IMAGE030
函数为：
Figure 415171DEST_PATH_IMAGE031
第二斜坡函数
Figure 349760DEST_PATH_IMAGE032
函数为：
Figure 453982DEST_PATH_IMAGE033
其中，e是当前训练的迭代次数，α是预定义的迭代次数的阈值。
根据支路交叉熵损失函数、主路均方误差损失函数、相似性损失函数和主路交叉熵损失函数，以及第一斜坡函数和第二斜坡函数，得到的整体损失函数为：
Figure 875736DEST_PATH_IMAGE034
其中，gamma指的是用于调整参数
Figure 469529DEST_PATH_IMAGE035
的阈值，w指的是用于调整参数
Figure 609523DEST_PATH_IMAGE036
的阈值。
步骤S720. 根据整体损失函数得到卷积神经网络中的各个神经网络参数的梯度。
得到整体损失函数之后，通过整体损失函数Loss对整个模型进行反向传播的计算，得到模型每个神经网络参数的梯度。
步骤S730. 根据神经网络参数的梯度对神经网络参数进行迭代更新，以训练表情识别模型。
最后，根据各个神经网络参数的梯度，在迭代过程中进行所有神经网络参数的更新，以使表情识别模型的训练达到最好的效果。
整个表情识别模型在使用时，只输出训练主路对于样本的预测结果，而不需要输出各个训练支路的预测结果。
如图8所示是本公开的一个具体实施方式中的完整流程框图，是对本示例实施方式中的上述步骤的举例说明，该流程框图的具体内容包括：
首先，获取训练样本801，并将训练样本801输入卷积神经网络特征提取器802中。接下来，将卷积神经网络的最后一层或多层的卷积层拆分成多路，包括一条主路803和多条支路804，通过主路803得到训练样本801对应的样本特征805，并通过支路804得到样本潜在表情信息以及样本间相似性信息806，然后通过支路804挖掘出的样本潜在表情信息以及样本间相似性信息806对主路803进行辅助训练。另外，还可以通过样本置信度模块807对主路803进行加权训练，最后，将主路803输出的训练样本的分类结果作为整个模型的输出。
本示例实施方式中，对歧义性样本的强调可分为两个方面，一方面是利用拆分卷积神经网络的末端成为多支路的方法来发掘样本的潜在标签分布；另一方面是通过置信度估计模块估计每个样本标签的可信度，对模型进行加权训练。
另一方面，本示例实施方式还提供了一种表情识别方法。参考图9所示，上述表情识别方法可以包括以下步骤：
步骤S910. 获取待识别的人脸图像，并将待识别的人脸图像输入表情识别模型中。
其中，表情识别模型可以通过如图1至图7中的表情识别模型的训练方法得到。
步骤S920. 通过表情识别模型中的训练主路得到待识别的人脸图像对应的类型标签。
本示例实施方式中的表情识别方法，通过使用上述图1至图7中的表情识别模型的训练方法得到的表情识别模型对待识别的人脸图像进行人脸表情类型的识别，能够使得最终通过训练主路输出的人脸表情的类型标签结果更加准确。
通过性能测试，通过本示例实施方式中的表情识别模型的训练方法得到的表情识别模型，在RAF（Real-world Affective Faces，真实世界的情感面孔数据库）和AffectNet（包含100多万张面部图像，其中45万张图片手工标注为7种表情标签）两个大规模人脸表情识别数据集上分别取得了88.4%和62.28%的准确率，可以看出，其识别准确率超过了其它的算法。
应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
进一步的，本公开还提供了一种表情识别模型的训练装置。参考图10所示，该表情识别模型的训练装置可以包括训练数据获取模块1010、样本特征提取模块1020、预测结果确定模块1030、损失函数确定模块1040以及模型参数训练模块1050。其中：
训练数据获取模块1010可以用于获取人脸图像样本以及人脸图像样本对应的样本类型标签，并将人脸图像样本和样本类型标签作为表情识别模型的训练数据；
样本特征提取模块1020可以用于获取用于训练表情识别模型的卷积神经网络，并通过卷积神经网络对人脸图像样本进行特征提取，得到人脸图像样本对应的样本特征；
预测结果确定模块1030可以用于将卷积神经网络中的卷积层拆分为一条训练主路和多条训练支路，根据训练数据和样本特征，通过训练支路得到样本潜在类型的预测结果，并通过训练主路得到样本真实类型的预测结果；
损失函数确定模块1040可以用于根据训练数据以及训练支路的预测结果得到支路损失函数，并根据训练数据以及训练主路和各个训练支路的预测结果得到主路损失函数；
模型参数训练模块1050可以用于通过支路损失函数和主路损失函数对卷积神经网络中的神经网络参数进行迭代更新，以训练表情识别模型。
在本公开的一些示例性实施例中，预测结果确定模块1030可以包括支路数量确定单元以及训练支路拆分单元。其中：
支路数量确定单元可以用于获取人脸图像样本对应的样本类型的数量，并根据样本类型的数量确定训练支路的数量；
训练支路拆分单元可以用于根据训练支路的数量将卷积神经网络中的卷积层拆分为一条训练主路和多条训练支路。
在本公开的一些示例性实施例中，预测结果确定模块1030可以包括单元、单元、单元以及单元。其中：
支路反向训练数据获取单元可以用于对于每一条训练支路，分别将训练数据中与训练支路相对应的一个样本类型的训练数据和样本特征剔除，作为训练支路对应的支路反向训练数据；
反向输出数据确定单元可以用于根据各个训练支路对应的支路反向训练数据分别对各个训练支路进行反向传播，得到训练支路的反向输出数据；
支路前向训练数据获取单元可以用于获取与训练支路相对应的一个样本类型的训练数据和样本特征，作为训练支路对应的支路前向训练数据；
支路预测结果确定单元可以用于根据训练支路对应的支路前向训练数据和训练支路的反向输出数据进行前向传播，得到训练支路对应的样本潜在类型的预测结果；
其中，训练支路对应的样本潜在类型的预测结果为训练支路对应的样本类型的人脸图像样本属于其他样本类型的概率。
在本公开的一些示例性实施例中，损失函数确定模块1040可以包括样本交叉熵计算单元以及支路交叉熵损失函数计算单元。其中：
样本交叉熵计算单元可以用于根据训练支路中各个样本类型的人脸图像样本的特征数据，以及训练支路的预测结果，计算训练支路中各个样本类型的样本交叉熵；
支路交叉熵损失函数计算单元可以用于对训练支路中各个样本类型的样本交叉熵求平均值，得到训练支路的支路交叉熵损失函数。
在本公开的一些示例性实施例中，损失函数确定模块1040还可以包括预测误差确定单元以及主路均方误差损失函数计算单元。其中：
预测误差确定单元可以用于根据训练主路的预测结果与训练支路的预测结果之间的差值，得到预测误差；
主路均方误差损失函数计算单元可以用于对训练主路中各个样本类型的预测误差的范数求平均值，得到训练主路的主路均方误差损失函数。
在本公开的一些示例性实施例中，损失函数确定模块1040还可以包括支路相似性矩阵确定单元、主路相似性矩阵确定单元以及相似性损失函数计算单元。其中：
支路相似性矩阵确定单元可以用于从训练数据中获取各个训练支路的支路训练样本，并根据支路训练样本和支路训练样本对应的特征数据，得到训练支路中的各个支路训练样本两两之间的相似性矩阵；
主路相似性矩阵确定单元可以用于从训练数据中获取训练主路的主路训练样本，并根据主路训练样本和主路训练样本对应的特征数据，得到训练主路中的各个主路训练样本两两之间的相似性矩阵；
相似性损失函数计算单元可以用于根据各个训练支路中各个支路训练样本的相似性矩阵和训练主路中各个主路训练样本的相似性矩阵，得到相似性损失函数。
在本公开的一些示例性实施例中，支路相似性矩阵确定单元可以包括支路训练样本获取单元，可以用于对于每一条训练支路，分别将训练数据中的人脸图像样本中，与训练支路相对应的一个样本类型的人脸图像样本剔除，得到训练支路对应的支路训练样本。
在本公开的一些示例性实施例中，支路相似性矩阵确定单元还可以包括支路特征矩阵确定单元、支路相似性矩阵计算单元以及相似性矩阵确定单元。其中：
支路特征矩阵确定单元可以用于在训练支路中对支路训练样本的样本特征所对应的特征矩阵进行全局池化，得到训练支路对应的支路特征矩阵；
支路相似性矩阵计算单元可以用于将支路特征矩阵与支路特征矩阵的转置矩阵相乘，得到支路特征矩阵对应的相似性矩阵；
相似性矩阵确定单元可以用于将支路特征矩阵对应的相似性矩阵中，每一行的样本特征分别进行范数归一化，得到训练支路中的各个支路训练样本两两之间的相似性矩阵。
在本公开的一些示例性实施例中，主路相似性矩阵确定单元可以包括主路训练样本获取单元，可以用于将训练数据中的所有人脸图像样本作为训练主路的主路训练样本。
在本公开的一些示例性实施例中，主路相似性矩阵确定单元还可以包括主路特征矩阵确定单元、主路相似性矩阵计算单元、相似性子矩阵确定单元以及相似性矩阵确定单元。其中：
主路特征矩阵确定单元可以用于对主路训练样本的样本特征所对应的特征矩阵进行全局池化，得到训练主路对应的主路特征矩阵；
主路相似性矩阵计算单元可以用于将主路特征矩阵与主路特征矩阵的转置矩阵相乘，得到主路特征矩阵对应的相似性矩阵；
相似性子矩阵确定单元可以用于对主路特征矩阵的相似性矩阵进行拆分，得到主路特征矩阵的相似性矩阵对应于各个训练支路的相似性子矩阵；
相似性矩阵确定单元可以用于将训练支路的相似性子矩阵中，每一行的样本特征分别进行范数归一化，得到训练主路中对应于各个训练支路的相似性矩阵。
在本公开的一些示例性实施例中，相似性损失函数计算单元可以包括相似性矩阵误差确定单元以及相似性损失函数确定单元。其中：
相似性矩阵误差确定单元可以用于根据训练主路中对应于各个训练支路的相似性矩阵与训练支路中的相似性矩阵之间的差值，得到相似性矩阵误差；
相似性损失函数确定单元可以用于对各个相似性矩阵误差的范数求平均值，得到相似性损失函数。
在本公开的一些示例性实施例中，损失函数确定模块1040还可以包括相似度向量确定单元、相似度标量确定单元以及主路交叉熵损失函数确定单元。其中：
相似度向量确定单元可以用于在训练主路中，根据各个主路训练样本对应的特征矩阵得到各个主路训练样本对应的相似度向量；
相似度标量确定单元可以用于根据主路训练样本对应的相似度向量和主路训练样本的样本类型标签得到相似度标量；
主路交叉熵损失函数确定单元可以用于将相似度标量作为主路训练样本的置信度，并根据主路训练样本、样本类型标签以及置信度得到主路交叉熵损失函数。
在本公开的一些示例性实施例中，相似度向量确定单元可以包括余弦相似度计算单元以及相似度向量计算单元。其中：
余弦相似度计算单元可以用于根据每一个主路训练样本的特征矩阵与所有主路训练样本的特征矩阵得到各个主路训练样本与所有主路训练样本之间的余弦相似度；
相似度向量计算单元可以用于将主路训练样本与所有主路训练样本之间的余弦相似度求平均值，得到主路训练样本对应的相似度向量。
在本公开的一些示例性实施例中，相似度标量确定单元可以包括相似度标签向量确定单元以及相似度标量映射单元。其中：
相似度标签向量确定单元可以用于将主路训练样本对应的相似度向量和主路训练样本的样本类型标签进行级联，得到相似度标签向量；
相似度标量映射单元可以用于通过卷积神经网络中的全连接层将相似度标签向量映射为相似度标量。
在本公开的一些示例性实施例中，模型参数训练模块1050可以包括整体损失函数确定单元、神经网络参数梯度确定单元以及神经网络参数更新单元。其中：
整体损失函数确定单元可以用于通过支路损失函数和主路损失函数得到表情识别模型的整体损失函数；
神经网络参数梯度确定单元可以用于根据整体损失函数得到卷积神经网络中的各个神经网络参数的梯度；
神经网络参数更新单元可以用于根据神经网络参数的梯度对神经网络参数进行迭代更新，以训练表情识别模型。
在本公开的一些示例性实施例中，整体损失函数确定单元可以包括斜坡函数确定单元以及整体损失函数计算单元。其中：
斜坡函数确定单元可以用于获取当前的迭代次数以及迭代阈值，并根据迭代次数和迭代阈值确定第一斜坡函数和第二斜坡函数；
整体损失函数计算单元可以用于根据第一斜坡函数和第二斜坡函数以及支路损失函数和主路损失函数，得到表情识别模型的整体损失函数；
其中，支路损失函数包括支路交叉熵损失函数，主路损失函数包括主路均方误差损失函数、相似性损失函数和主路交叉熵损失函数。
进一步地，本公开还提供了一种表情识别装置。参考图11所示，该表情识别装置可以包括人脸图像获取模块1110以及人脸表情识别模块1120。其中：
人脸图像获取模块1110可以用于获取待识别的人脸图像，并将待识别的人脸图像输入表情识别模型中；
人脸表情识别模块1120可以用于通过表情识别模型中的训练主路得到待识别的人脸图像对应的类型标签。
上述表情识别模型的训练装置和表情识别装置中各模块/单元的具体细节在相应的方法实施例部分已有详细的说明，此处不再赘述。
图12示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图12示出的电子设备的计算机系统1200仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图12所示，计算机系统1200包括中央处理单元（CPU）1201，其可以根据存储在只读存储器（ROM）1202中的程序或者从存储部分1208加载到随机访问存储器（RAM）1203中的程序而执行各种适当的动作和处理。在RAM 1203中，还存储有系统操作所需的各种程序和数据。CPU 1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出（I/O）接口1205也连接至总线1204。
以下部件连接至I/O接口1205：包括键盘、鼠标等的输入部分1206；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分1207；包括硬盘等的存储部分1208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至I/O接口1205。可拆卸介质1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以便于从其上读出的计算机程序根据需要被安装入存储部分1208。
特别地，根据本发明的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1209从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被中央处理单元（CPU）1201执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (21)

1.一种表情识别模型的训练方法，其特征在于，包括：
获取人脸图像样本以及所述人脸图像样本对应的样本类型标签，并将所述人脸图像样本和所述样本类型标签作为表情识别模型的训练数据；
获取用于训练所述表情识别模型的卷积神经网络，并通过所述卷积神经网络对所述人脸图像样本进行特征提取，得到所述人脸图像样本对应的样本特征；
将所述卷积神经网络中的卷积层拆分为一条训练主路和多条训练支路，根据所述训练数据和所述样本特征，通过所述训练支路得到样本潜在类型的预测结果，并通过所述训练主路得到样本真实类型的预测结果，其中，所述训练支路对应的样本潜在类型的预测结果为所述训练支路对应的样本类型的人脸图像样本属于其他样本类型的概率；
根据所述训练数据以及所述训练支路的预测结果得到支路损失函数，并根据所述训练数据以及所述训练主路和各个训练支路的预测结果得到主路损失函数；
通过所述支路损失函数和所述主路损失函数对所述卷积神经网络中的神经网络参数进行迭代更新，以训练所述表情识别模型。
2.根据权利要求1所述的表情识别模型的训练方法，其特征在于，所述将所述卷积神经网络中的卷积层拆分为一条训练主路和多条训练支路，包括：
获取所述人脸图像样本对应的样本类型的数量，并根据所述样本类型的数量确定所述训练支路的数量；
根据所述训练支路的数量将所述卷积神经网络中的卷积层拆分为一条训练主路和多条训练支路。
3.根据权利要求1所述的表情识别模型的训练方法，其特征在于，所述根据所述训练数据和所述样本特征，通过所述训练支路得到样本潜在类型的预测结果，包括：
对于每一条所述训练支路，分别将所述训练数据中与所述训练支路相对应的一个样本类型的训练数据和样本特征剔除，作为所述训练支路对应的支路反向训练数据；
根据各个所述训练支路对应的支路反向训练数据分别对各个所述训练支路进行反向传播，得到所述训练支路的反向输出数据；
获取与所述训练支路相对应的一个样本类型的所述训练数据和所述样本特征，作为所述训练支路对应的支路前向训练数据；
根据所述训练支路对应的支路前向训练数据和所述训练支路的反向输出数据进行前向传播，得到所述训练支路对应的样本潜在类型的预测结果。
4.根据权利要求1所述的表情识别模型的训练方法，其特征在于，所述支路损失函数包括支路交叉熵损失函数，所述根据所述训练数据以及所述训练支路的预测结果得到支路损失函数，包括：
根据所述训练支路中各个所述样本类型的人脸图像样本的特征数据，以及所述训练支路的预测结果，计算所述训练支路中各个所述样本类型的样本交叉熵；
对所述训练支路中各个所述样本类型的样本交叉熵求平均值，得到所述训练支路的支路交叉熵损失函数。
5.根据权利要求1所述的表情识别模型的训练方法，其特征在于，所述主路损失函数包括主路均方误差损失函数，所述根据所述训练数据以及所述训练主路和各个训练支路的预测结果得到主路损失函数，包括：
根据所述训练主路的预测结果与所述训练支路的预测结果之间的差值，得到预测误差；
对所述训练主路中各个所述样本类型的预测误差的范数求平均值，得到所述训练主路的主路均方误差损失函数。
6.根据权利要求1所述的表情识别模型的训练方法，其特征在于，所述主路损失函数包括相似性损失函数，所述根据所述训练数据以及所述训练主路和各个训练支路的预测结果得到主路损失函数，包括：
从所述训练数据中获取各个所述训练支路的支路训练样本，并根据所述支路训练样本和所述支路训练样本对应的特征数据，得到所述训练支路中的各个支路训练样本两两之间的相似性矩阵；
从所述训练数据中获取所述训练主路的主路训练样本，并根据所述主路训练样本和所述主路训练样本对应的特征数据，得到所述训练主路中的各个主路训练样本两两之间的相似性矩阵；
根据各个所述训练支路中各个支路训练样本的相似性矩阵和所述训练主路中各个主路训练样本的相似性矩阵，得到所述相似性损失函数。
7.根据权利要求6所述的表情识别模型的训练方法，其特征在于，所述从所述训练数据中获取各个所述训练支路的支路训练样本，包括：
对于每一条所述训练支路，分别将所述训练数据中的人脸图像样本中，与所述训练支路相对应的一个样本类型的人脸图像样本剔除，得到所述训练支路对应的支路训练样本。
8.根据权利要求6所述的表情识别模型的训练方法，其特征在于，所述根据所述支路训练样本和所述支路训练样本对应的特征数据，得到所述训练支路中的各个支路训练样本两两之间的相似性矩阵，包括：
在所述训练支路中对所述支路训练样本的样本特征所对应的特征矩阵进行全局池化，得到所述训练支路对应的支路特征矩阵；
将所述支路特征矩阵与所述支路特征矩阵的转置矩阵相乘，得到所述支路特征矩阵对应的相似性矩阵；
将所述支路特征矩阵对应的相似性矩阵中，每一行的样本特征分别进行范数归一化，得到所述训练支路中的各个支路训练样本两两之间的相似性矩阵。
9.根据权利要求6所述的表情识别模型的训练方法，其特征在于，所述从所述训练数据中获取所述训练主路的主路训练样本，包括：
将所述训练数据中的所有人脸图像样本作为所述训练主路的主路训练样本。
10.根据权利要求6所述的表情识别模型的训练方法，其特征在于，所述根据所述主路训练样本和所述主路训练样本对应的特征数据，得到所述训练主路中的各个主路训练样本两两之间的相似性矩阵，包括：
对所述主路训练样本的样本特征所对应的特征矩阵进行全局池化，得到所述训练主路对应的主路特征矩阵；
将所述主路特征矩阵与所述主路特征矩阵的转置矩阵相乘，得到所述主路特征矩阵对应的相似性矩阵；
对所述主路特征矩阵的相似性矩阵进行拆分，得到所述主路特征矩阵的相似性矩阵对应于各个所述训练支路的相似性子矩阵；
将所述训练支路的相似性子矩阵中，每一行的样本特征分别进行范数归一化，得到所述训练主路中对应于各个所述训练支路的相似性矩阵。
11.根据权利要求10所述的表情识别模型的训练方法，其特征在于，所述根据各个所述训练支路中各个支路训练样本的相似性矩阵和所述训练主路中各个主路训练样本的相似性矩阵，得到所述相似性损失函数，包括：
根据所述训练主路中对应于各个所述训练支路的相似性矩阵与所述训练支路中的相似性矩阵之间的差值，得到相似性矩阵误差；
对各个所述相似性矩阵误差的范数求平均值，得到所述相似性损失函数。
12.根据权利要求10所述的表情识别模型的训练方法，其特征在于，所述主路损失函数包括主路交叉熵损失函数，所述根据所述训练数据以及所述训练主路和各个训练支路的预测结果得到主路损失函数，包括：
在所述训练主路中，根据各个所述主路训练样本对应的特征矩阵得到各个所述主路训练样本对应的相似度向量；
根据所述主路训练样本对应的相似度向量和所述主路训练样本的样本类型标签得到相似度标量；
将所述相似度标量作为所述主路训练样本的置信度，并根据所述主路训练样本、所述样本类型标签以及所述置信度得到所述主路交叉熵损失函数。
13.根据权利要求12所述的表情识别模型的训练方法，其特征在于，所述根据各个所述主路训练样本对应的特征矩阵得到各个所述主路训练样本对应的相似度向量，包括：
根据每一个所述主路训练样本的特征矩阵与所有所述主路训练样本的特征矩阵得到各个所述主路训练样本与所有所述主路训练样本之间的余弦相似度；
将所述主路训练样本与所有所述主路训练样本之间的余弦相似度求平均值，得到所述主路训练样本对应的相似度向量。
14.根据权利要求12所述的表情识别模型的训练方法，其特征在于，所述根据所述主路训练样本对应的相似度向量和所述主路训练样本的样本类型标签得到相似度标量，包括：
将所述主路训练样本对应的相似度向量和所述主路训练样本的样本类型标签进行级联，得到相似度标签向量；
通过所述卷积神经网络中的全连接层将所述相似度标签向量映射为相似度标量。
15.根据权利要求1所述的表情识别模型的训练方法，其特征在于，所述通过所述支路损失函数和所述主路损失函数对所述卷积神经网络中的神经网络参数进行迭代更新，以训练所述表情识别模型，包括：
通过所述支路损失函数和所述主路损失函数得到所述表情识别模型的整体损失函数；
根据所述整体损失函数得到所述卷积神经网络中的各个神经网络参数的梯度；
根据所述神经网络参数的梯度对所述神经网络参数进行迭代更新，以训练所述表情识别模型。
16.根据权利要求15所述的表情识别模型的训练方法，其特征在于，所述通过所述支路损失函数和所述主路损失函数得到所述表情识别模型的整体损失函数，包括：
获取当前的迭代次数以及迭代阈值，并根据所述迭代次数和所述迭代阈值确定第一斜坡函数和第二斜坡函数；
根据所述第一斜坡函数和所述第二斜坡函数以及所述支路损失函数和所述主路损失函数，得到所述表情识别模型的整体损失函数；
其中，所述支路损失函数包括支路交叉熵损失函数，所述主路损失函数包括主路均方误差损失函数、相似性损失函数和主路交叉熵损失函数。
17.一种表情识别方法，其特征在于，包括：
获取待识别的人脸图像，并将所述待识别的人脸图像输入表情识别模型中，其中，所述表情识别模型是通过如权利要求1-16中任意一项所述的表情识别模型的训练方法得到的；
通过所述表情识别模型中的训练主路得到所述待识别的人脸图像对应的类型标签。
18.一种表情识别模型的训练装置，其特征在于，包括：
训练数据获取模块，用于获取人脸图像样本以及所述人脸图像样本对应的样本类型标签，并将所述人脸图像样本和所述样本类型标签作为表情识别模型的训练数据；
样本特征提取模块，用于获取用于训练所述表情识别模型的卷积神经网络，并通过所述卷积神经网络对所述人脸图像样本进行特征提取，得到所述人脸图像样本对应的样本特征；
预测结果确定模块，用于将所述卷积神经网络中的卷积层拆分为一条训练主路和多条训练支路，根据所述训练数据和所述样本特征，通过所述训练支路得到样本潜在类型的预测结果，并通过所述训练主路得到样本真实类型的预测结果，其中，所述训练支路对应的样本潜在类型的预测结果为所述训练支路对应的样本类型的人脸图像样本属于其他样本类型的概率；
损失函数确定模块，用于根据所述训练数据以及所述训练支路的预测结果得到支路损失函数，并根据所述训练数据以及所述训练主路和各个训练支路的预测结果得到主路损失函数；
模型参数训练模块，用于通过所述支路损失函数和所述主路损失函数对所述卷积神经网络中的神经网络参数进行迭代更新，以训练所述表情识别模型。
19.一种表情识别装置，其特征在于，包括：
人脸图像获取模块，用于获取待识别的人脸图像，并将所述待识别的人脸图像输入表情识别模型中，其中，所述表情识别模型是通过如权利要求18中所述的表情识别模型的训练装置得到的；
人脸表情识别模块，用于通过所述表情识别模型中的训练主路得到所述待识别的人脸图像对应的类型标签。
20.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储一个或多个程序，当所述一个或多个程序被所述处理器执行时，使得所述处理器实现如权利要求1至16中任一项所述的表情识别模型的训练方法或权利要求17所述的表情识别方法。
21.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至16中任一项所述的表情识别模型的训练方法或权利要求17所述的表情识别方法。
CN202110022518.5A 2021-01-08 2021-01-08 表情识别模型的训练方法、识别方法、装置、设备及介质 Active CN112348001B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110022518.5A CN112348001B (zh) 2021-01-08 2021-01-08 表情识别模型的训练方法、识别方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110022518.5A CN112348001B (zh) 2021-01-08 2021-01-08 表情识别模型的训练方法、识别方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN112348001A CN112348001A (zh) 2021-02-09
CN112348001B true CN112348001B (zh) 2021-05-25

Family

ID=74427912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110022518.5A Active CN112348001B (zh) 2021-01-08 2021-01-08 表情识别模型的训练方法、识别方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN112348001B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113268826B (zh) * 2021-05-06 2022-12-27 上海大学 一种改进多任务卷积神经网络的斜齿轮箱故障诊断方法
CN113239907B (zh) * 2021-07-12 2021-12-14 北京远鉴信息技术有限公司 一种人脸识别的检测方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583406A (zh) * 2018-12-06 2019-04-05 中山大学 基于特征关注机制的人脸表情识别方法
CN111291670A (zh) * 2020-01-23 2020-06-16 天津大学 基于注意力机制和网络集成的小目标人脸表情识别方法
CN112183491A (zh) * 2020-11-04 2021-01-05 北京百度网讯科技有限公司 表情识别模型及训练方法、识别方法、装置和计算设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2009330607B2 (en) * 2008-12-04 2015-04-09 Cubic Corporation System and methods for dynamically injecting expression information into an animated facial mesh
CN110298212B (zh) * 2018-03-21 2023-04-07 腾讯科技（深圳）有限公司 模型训练方法、情绪识别方法、表情显示方法及相关设备
US11222196B2 (en) * 2018-07-11 2022-01-11 Samsung Electronics Co., Ltd. Simultaneous recognition of facial attributes and identity in organizing photo albums
CN109165566B (zh) * 2018-08-01 2021-04-27 中国计量大学 一种基于新型损失函数的人脸识别卷积神经网络训练方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583406A (zh) * 2018-12-06 2019-04-05 中山大学 基于特征关注机制的人脸表情识别方法
CN111291670A (zh) * 2020-01-23 2020-06-16 天津大学 基于注意力机制和网络集成的小目标人脸表情识别方法
CN112183491A (zh) * 2020-11-04 2021-01-05 北京百度网讯科技有限公司 表情识别模型及训练方法、识别方法、装置和计算设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种基于条件生成对抗网络的面部表情识别技术;戴蓉;《计算机应用与软件》;20200831;第37卷(第8期);第990-995页 *
基于深度可分卷积神经网络的实时人脸表情和性别分类;刘尚旺;《计算机应用》;20200410;第40卷(第4期);第166-170+232页 *

Also Published As

Publication number Publication date
CN112348001A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
CN111444340B (zh) 文本分类方法、装置、设备及存储介质
CN109241524B (zh) 语义解析方法及装置、计算机可读存储介质、电子设备
CN110069709B (zh) 意图识别方法、装置、计算机可读介质及电子设备
CN111046275B (zh) 基于人工智能的用户标签确定方法及装置、存储介质
CN110929802A (zh) 基于信息熵的细分类识别模型训练、图像识别方法及装置
CN112348001B (zh) 表情识别模型的训练方法、识别方法、装置、设备及介质
CN110110610B (zh) 一种用于短视频的事件检测方法
CN114998602B (zh) 基于低置信度样本对比损失的域适应学习方法及系统
CN110795944A (zh) 推荐内容处理方法及装置、情感属性确定方法及装置
CN113434683B (zh) 文本分类方法、装置、介质及电子设备
US11948078B2 (en) Joint representation learning from images and text
CN115080749B (zh) 一种基于自监督训练的弱监督文本分类方法、系统和装置
CN117197904A (zh) 人脸活体检测模型的训练方法、人脸活体检测方法及装置
CN114611672A (zh) 模型训练方法、人脸识别方法及装置
CN113158656A (zh) 讽刺内容识别方法、装置、电子设备以及存储介质
CN110674642B (zh) 一种用于含噪稀疏文本的语义关系抽取方法
CN114357195A (zh) 基于知识图谱的问答对生成方法、装置、设备及介质
CN113705207A (zh) 语法错误识别方法及装置
CN117668292A (zh) 一种跨模态敏感信息识别方法
Dong et al. A supervised dictionary learning and discriminative weighting model for action recognition
CN116975347A (zh) 图像生成模型训练方法及相关装置
CN111161238A (zh) 图像质量评价方法及装置、电子设备、存储介质
CN114757310B (zh) 情感识别模型及其训练方法、装置、设备及可读存储介质
CN115759254A (zh) 基于知识增强生成式语言模型的问答方法、系统及介质
CN114416991A (zh) 一种基于prompt的文本情感原因分析方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant