CN117894051A - 表情识别模型的训练方法和装置 - Google Patents

表情识别模型的训练方法和装置 Download PDF

Info

Publication number
CN117894051A
CN117894051A CN202311722700.7A CN202311722700A CN117894051A CN 117894051 A CN117894051 A CN 117894051A CN 202311722700 A CN202311722700 A CN 202311722700A CN 117894051 A CN117894051 A CN 117894051A
Authority
CN
China
Prior art keywords
training
images
expression
image
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311722700.7A
Other languages
English (en)
Inventor
王旭岩
蒋召
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xumi Yuntu Space Technology Co Ltd
Original Assignee
Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xumi Yuntu Space Technology Co Ltd filed Critical Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority to CN202311722700.7A priority Critical patent/CN117894051A/zh
Publication of CN117894051A publication Critical patent/CN117894051A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及图像处理技术领域，提供了一种表情识别模型的训练方法和装置。该方法包括：对训练图像进行切分处理，得到对应的多张子图像；根据多张子图像，处理得到训练图像的全局表情特征向量和子图像的局部表情特征向量；对子图像的局部表情特征向量进行局部表情特征关系学习，得到训练图像的全局增强表情特征向量；确定训练图像的全局增强表情识别结果和训练图像的全局表情识别结果，结合训练图像的标签，确定表情识别模型的损失值，并基于表情识别模型的损失值更新表情识别模型中的参数，解决了现有技术中缺乏图像区域的交互从而降低表情识别模型准确性的问题，提高了表情识别模型的鲁棒性，增强了表情识别模型的精度。

Description

表情识别模型的训练方法和装置
技术领域
本公开涉及图像处理技术领域，尤其涉及一种表情识别模型的训练方法和装置。
背景技术
随着机器学习和深度神经网络两个领域的迅速发展以及智能设备的普及，面部识别技术得到了前所未有的迅速发展，表情识别作为面部识别的重要组成部分，是计算机理解人类情感的一个重要方向，也是人机交互的一个重要方面，近年来在安全、机器人制造、自动化、医疗、通信和驾驶领域得到了广泛的关注和应用。表情识别是指从静态照片或视频序列中选择出表情状态，从而确定对人物的情绪与心理变化。表情识别任务大多是对面部表情图像进行分类，将其划分为不同的表情类别。现有的表情识别算法是将图片划分为多个不同的表情识别单元得到各个单元的输出结果，最后将各个输出结果进行综合，得到最终的表情识别的类别结果。但在进行面部识别任务的过程中，常常会出现图像被遮挡或者图像像素低的情况，这时候上述面部表情识别方法得出的结果不够准确，同时进行表情识别的表情识别模型的鲁棒性也不够。
发明内容
有鉴于此，本公开实施例提供了一种表情识别模型的训练方法、装置、电子设备及可读存储介质，以解决现有技术中缺乏图像各个区域的交互从而降低表情识别模型准确性的问题。
本公开实施例的第一方面，提供了一种表情识别模型的训练方法，包括：获取表情识别训练集，表情识别训练集包括多张训练图像和多张训练图像的标签；对各个训练图像进行切分处理，得到各个训练图像对应的多张子图像；根据各个训练图像对应的多张子图像，确定各个训练图像对应的融合特征向量，并对各个训练图像对应的融合特征向量进行自注意力编码处理，得到各个训练图像的全局表情特征向量和各个训练图像对应的各个子图像的局部表情特征向量；对各个训练图像对应的各个子图像的局部表情特征向量进行局部表情特征关系学习，得到各个训练图像的全局增强表情特征向量；根据各个训练图像的全局表情特征向量，确定各个训练图像的全局表情识别结果，以及根据各个训练图像的全局增强表情特征向量，确定各个训练图像的全局增强表情识别结果；根据各个训练图像的全局表情识别结果和各个训练图像的全局增强表情识别结果，确定表情识别模型的损失值，并基于表情识别模型的损失值更新表情识别模型中的参数。
本公开实施例的第二方面，提供了一种表情识别模型的训练装置，包括：获取模块，用于获取表情识别训练集，表情识别训练集包括多张训练图像和多张训练图像的标签；切分模块，用于对各个训练图像进行切分处理，得到各个训练图像对应的多张子图像；自注意力处理模块，用于根据各个训练图像对应的多张子图像，确定各个训练图像对应的融合特征向量，并对各个训练图像对应的融合特征向量进行自注意力编码处理，得到各个训练图像的全局表情特征向量和各个训练图像对应的各个子图像的局部表情特征向量；局部表情特征关系学习模块，用于对各个训练图像对应的各个子图像的局部表情特征向量进行局部表情特征关系学习，得到各个训练图像的全局增强表情特征向量；确定模块，用于根据各个训练图像的全局表情特征向量，确定各个训练图像的全局表情识别结果，以及根据各个训练图像的全局增强表情特征向量，确定各个训练图像的全局增强表情识别结果；更新模块，用于根据各个训练图像的全局表情识别结果和各个训练图像的全局增强表情识别结果，确定表情识别模型的损失值，并基于表情识别模型的损失值更新表情识别模型中的参数。
本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第四方面，提供了一种可读存储介质，该可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果是：通过表情识别训练集对表情识别模型进行训练，对各个训练图像进行切分处理，得到各个训练图像对应的多张子图像。对各个训练图像对应的多张子图像进行特征提取，得到各个训练图像对应的融合特征向量，并将各个训练图像对应的融合特征向量进行自注意力处理，得到各个训练图像的全局表情特征向量和各个训练图像对应的各个子图像的局部表情特征向量。对各个训练图像对应的各个子图像的局部表情特征向量进行局部表情特征关系学习，进行训练图像各个区域之间的表情特征的交互，对局部表情特征进行关系建模，学习更加鲁棒的特征，得到各个训练图像的全局增强表情识别结果。再根据各个训练图像的全局表情特征向量，确定各个训练图像的全局表情识别结果，以及根据各个训练图像的全局增强表情特征向量，确定各个训练图像的全局增强表情识别结果。根据各个训练图像的全局表情识别结果和各个训练图像的标签以及各个训练图像的全局增强表情识别结果和各个训练图像的标签计算得到表情识别模型的损失值，基于损失值进行反向传播更新表情识别模型的参数，直至损失值低于或等于预设值，得到训练完成的表情识别模型。本公开提供的表情识别模型的训练过程基于训练图像对应的各个子图像的局部表情特征向量进行局部表情特征关系学习，增强了面部有效区域特征，提高了模型的鲁棒性，增强了表情识别模型的精度，解决了现有技术中缺乏图像各个区域的交互从而降低表情识别模型准确性的问题。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本公开实施例的应用场景的场景示意图；
图2是本公开实施例提供的一种表情识别模型的训练方法的流程示意图；
图3是本公开实施例提供的另一种表情识别模型的训练方法的流程示意图；
图4是本公开实施例提供的再一种表情识别模型的训练方法的流程示意图；
图5是本公开实施例提供的一种表情识别模型的训练装置的结构示意图；
图6是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
下面将结合附图详细说明根据本公开实施例的一种表情识别模型的训练方法和装置。
图1是本公开实施例的应用场景的场景示意图。该应用场景可以包括终端设备1、2和3、服务器4以及网络5。
终端设备1、2和3可以是硬件，也可以是软件。当终端设备1、2和3为硬件时，其可以是具有显示屏且支持与服务器4通信的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等；当终端设备1、2和3为软件时，其可以安装在如上的电子设备中。终端设备1、2和3可以实现为多个软件或软件模块，也可以实现为单个软件或软件模块，本公开实施例对此不作限制。进一步地，终端设备1、2和3上可以安装有各种应用，例如数据处理应用、即时通信工具、社交平台软件、搜索类应用、购物类应用等。
服务器4可以是提供各种服务的服务器，例如，对与其建立通信连接的终端设备发送的请求进行接收的后台服务器，该后台服务器可以对终端设备发送的请求进行接收和分析等处理，并生成处理结果。服务器4可以是一台服务器，也可以是由若干台服务器组成的服务器集群，或者还可以是一个云计算服务中心，本公开实施例对此不作限制。
需要说明的是，服务器4可以是硬件，也可以是软件。当服务器4为硬件时，其可以是为终端设备1、2和3提供各种服务的各种电子设备。当服务器4为软件时，其可以是为终端设备1、2和3提供各种服务的多个软件或软件模块，也可以是为终端设备1、2和3提供各种服务的单个软件或软件模块，本公开实施例对此不作限制。
网络5可以是采用同轴电缆、双绞线和光纤连接的有线网络，也可以是无需布线就能实现各种通信设备互联的无线网络，例如，蓝牙(Bluetooth)、近场通信(Near FieldCommunication，NFC)、红外(Infrared)等，本公开实施例对此不作限制。
用户可以通过终端设备1、2和3经由网络5与服务器4建立通信连接，以接收或发送信息等。具体地，服务器可以从终端设备1(或终端设备2或3)获取表情识别训练集，表情识别训练集包括多张训练图像和多张训练图像的标签；对各个训练图像进行切分处理，得到各个训练图像对应的多张子图像；根据各个训练图像对应的多张子图像，确定各个训练图像对应的融合特征向量，并对各个训练图像对应的融合特征向量进行自注意力编码处理，得到各个训练图像的全局表情特征向量和各个训练图像对应的各个子图像的局部表情特征向量；对各个训练图像对应的各个子图像的局部表情特征向量进行局部表情特征关系学习，得到各个训练图像的全局增强表情特征向量；根据各个训练图像的全局表情特征向量，确定各个训练图像的全局表情识别结果，以及根据各个训练图像的全局增强表情特征向量，确定各个训练图像的全局增强表情识别结果；根据各个训练图像的全局表情识别结果和各个训练图像的全局增强表情识别结果，确定表情识别模型的损失值，并基于表情识别模型的损失值更新表情识别模型中的参数。
需要说明的是，终端设备1、2和3、服务器4以及网络5的具体类型、数量和组合可以根据应用场景的实际需求进行调整，本公开实施例对此不作限制。
图2是本公开实施例提供的一种表情识别模型的训练方法的流程示意图。图2的表情识别模型的训练方法可以由图1的终端或服务器执行。如图2所示，该表情识别模型的训练方法包括：
步骤201，获取表情识别训练集，表情识别训练集包括多张训练图像和多张训练图像的标签。
在一些实施例中，表情识别训练集包括多张训练图像和各个训练图像对应的标签，上述训练图像的标签用于指示训练图像中训练对象的表情类别。对于表情识别训练集，训练图像中的训练对象的表情类别可以有多种类别。具体地，对于一表情识别训练集，包括多张训练图像，训练图像中的训练对象的表情可以有多种类别，如训练图像0001中的训练对象的表情类别可以为类别A，训练图像0002中的训练对象的表情类别可以为类别B，训练图像0003中的训练对象的表情类别可以为类别C，例如，类别A可以是“愤怒”，类别B可以是“恐惧”、类别C可以是“开心”。表情识别训练集为待训练的表情识别模型提供了大量丰富的训练数据，使得表情识别模型在训练的过程提取各类表情特征，理解识别表情类别，并将特定的表情特征与对应的类别相对应。
步骤202，对各个训练图像进行切分处理，得到各个训练图像对应的多张子图像。
在一些实施例中，可以使用一个滑动窗口在各个训练图像进行移动，每次移动预设个像素对各个训练图像进行切分处理，将每个训练图像切分成大小相同的多张子图像，在执行切分任务之前，设置各个子图像的大小和滑动窗口的移动步长。例如，对于一张像素为224×224的训练图像，对该训练图像进行切分得到16×16的子图像，可以得到(224×224)÷(16×16)＝196张子图像。
在一些实施例中，对于训练图像，将其切分为多个子图像，再对对应的各个子图像进行特征提取自注意力编码等处理，一方面可以降低计算复杂度，加快计算的速度以及训练表情识别模型的速度；另一方面，通过对每一个子图像进行特征提取，可以获取更加细粒度的信息，帮助理解训练图像的内容。
步骤203，根据各个训练图像对应的多张子图像，确定各个训练图像对应的融合特征向量，并对各个训练图像对应的融合特征向量进行自注意力编码处理，得到各个训练图像的全局表情特征向量和各个训练图像对应的各个子图像的局部表情特征向量。
在一些实施例中，局部表情特征可以包括眼睛的形状、位置、瞳孔的大小，眉毛的形状和位置，鼻子的形状和大小，嘴巴的形状、大小和位置，脸颊的形状和位置等等，全局表情特征可以为整个面部的表情和情感。获取各个训练图像对应的多张子图像后，对多张子图像进行特征提取，结合多张子图像的位置特征向量，得到多张子图像的融合特征向量，并在训练过程中学习得到[CLS]的特征向量，将[CLS]的特征向量与多张子图像的融合特征向量进行拼接，得到各个训练图像对应的融合特征向量。在本公开实施例中，[CLS]可以作为“头”或“类别”，作为一个特殊的标记，用于表示训练图像的类别信息，可以在上述表情识别模型中寻找其他多个子图像的融合特征向量对应的图像的类别，各个子图像的融合特征向量表示的是训练图像的不同部分或特征，通过将子图像的融合特征向量与[CLS]的特征向量拼接在一起，可以将训练图像的局部特征与全局类别信息结合起来，从而使得表情识别模型能够更好地理解训练图像内容并提取有用的特征。
在一些实施例中，表情识别模型还包括一个transformer encoder，将各个训练图像对应的融合特征向量输入transformer encoder进行自注意力编码处理，表情识别模型在处理输入的特征向量时关注全部的特征向量，根据输入的训练图像对应的融合特征向量进行自注意力计算，生成一组权重系数，上述权重系数可以看作每个子图像的融合特征向量对于全局表情特征向量的贡献，根据权重系数，对输入的特征向量进行加权求和，得到各个训练图像的全局表情特征向量和各个训练图像对应的各个子图像的局部表情特征向量。具体地，对于一张像素为224×224的训练图像，将其切分为196个16×16的子图像，对于每一个子图像通过特征提取，可以得到[16，16，3]的特征图，将其进行张量扁平化处理，得到一个长度为768的向量，并结合该子图像的位置特征向量，得到长度为768的向量的子图像的融合特征向量，并将各个子图像的融合特征向量与[CLS]的特征向量进行拼接，得到一个维度为[197,768]的训练图像对应的融合特征向量，将上述训练图像对应的融合特征向量输入transformer encoder进行自注意力编码处理，得到一个训练图像的全局表情特征向量和196个训练图像对应的子图像的局部表情特征向量。在自注意力编码的过程中，可以同时获取各个训练图像的全局和局部特征，有助于更全面地理解训练图像的内容。
步骤204，对各个训练图像对应的各个子图像的局部表情特征向量进行局部表情特征关系学习，得到各个训练图像的全局增强表情特征向量。
在一些实施例中，局部表情特征关系学习可以通过学习训练图像对应的各个子图像的局部表情特征向量之间的关系来理解训练图像的情感表达，通过学习训练图像对应的各个子图像的局部表情特征向量之间的相似性或相关性，得到训练图像对应的多个局部表情特征关系学习的结果，即训练图像对应的多个局部增强特征向量，并对训练图像对应的多个局部增强特征向量进行融合处理，得到训练图像的全局增强表情特征向量。将上述过程中得到的各个训练图像的全局增强表情特征向量用于后续表情识别任务，得到各个图像对应的全局增强表情识别结果，确定各个训练图像中训练对象的表情类别。通过局部表情特征关系学习，可以更好地理解面部表情的变化和微妙差异，提高表情识别模型的准确性和鲁棒性。
步骤205，根据各个训练图像的全局表情特征向量，确定各个训练图像的全局表情识别结果，以及根据各个训练图像的全局增强表情特征向量，确定各个训练图像的全局增强表情识别结果。
在一些实施例中，对各个训练图像的全局表情特征向量进行相应的变换处理，训练过程中表情识别模型基于各个训练图像的全局表情特征向量对各个训练图像中训练对象的表情类别进行预测，得到各个训练图像的全局表情识别结果。全局表情识别结果可以是各个训练图像对应的表情类别的预测概率，例如，训练图像0001中训练对象的表情类别预测为类别A，且表情识别模型计算得到类别A的预测概率为0.5，训练图像0001中的训练对象的表情类别为类别B的概率为0.2，训练图像0001中的训练对象的表情类别为类别C的概率为0.2，训练图像0001中的训练对象的表情类别为类别D的概率为0.1。
在一些实施例中，对各个训练图像的全局增强表情特征向量进行相应的变换处理，训练过程中表情识别模型基于各个训练图像的全局增强表情特征向量对各个训练图像中训练对象的表情类别进行预测，得到各个训练图像的全局增强表情识别结果。全局增强表情识别结果可以是各个训练图像对应的表情类别的预测概率，例如，训练图像0001中训练对象的表情类别预测为类别A，且表情识别模型计算得到类别A的预测概率为0.7，训练图像0001中的训练对象的表情类别为类别B的概率为0.1，训练图像0001中的训练对象的表情类别为类别C的概率为0.1，训练图像0001中的训练对象的表情类别为类别D的概率为0.1。
步骤206，根据各个训练图像的全局表情识别结果和各个训练图像的全局增强表情识别结果，确定表情识别模型的损失值，并基于表情识别模型的损失值更新表情识别模型中的参数。
在一些实施例中，根据各个训练图像的全局表情识别结果和各个训练图像的标签即各个训练图像的真实表情类别结果，可以利用交叉熵损失函数，得到各个第一交叉熵损失值；根据各个训练图像的全局增强表情识别结果和各个训练图像的真实表情类别结果利用交叉熵损失函数，得到对应的各个第二交叉熵损失值；将各个第一交叉熵损失值和各个第二交叉熵损失值相加得到表情识别模型的损失值，利用表情识别模型的损失值通过反向传播算法更新表情识别模型的参数，并在训练的过程中，降低损失值，降低表情识别模型的损失，利用表情识别模型的损失值作为监督信息，直至表情识别模型的损失值小于预设值，得到训练完成的表情识别模型。
通过本公开提供的表情识别模型的训练方法，可以通过表情识别训练集对表情识别模型进行训练，对各个训练图像进行切分处理，得到各个训练图像对应的多张子图像。对各个训练图像对应的多张子图像进行特征提取，得到各个训练图像对应的融合特征向量，并将各个训练图像对应的融合特征向量进行自注意力处理，得到各个训练图像的全局表情特征向量和各个训练图像对应的各个子图像的局部表情特征向量。对各个训练图像对应的各个子图像的局部表情特征向量进行局部表情特征关系学习，进行训练图像各个区域之间的表情特征的交互，对局部表情特征进行关系建模，学习更加鲁棒的特征，得到各个训练图像的全局增强表情识别结果。再根据各个训练图像的全局表情特征向量，确定各个训练图像的全局表情识别结果，以及根据各个训练图像的全局增强表情特征向量，确定各个训练图像的全局增强表情识别结果。根据各个训练图像的全局表情识别结果和各个训练图像的标签以及各个训练图像的全局增强表情识别结果和各个训练图像的标签计算得到表情识别模型的损失值，基于损失值进行反向传播更新表情识别模型的参数，直至损失值低于或等于预设值，得到训练完成的表情识别模型。本公开提供的表情识别模型的训练过程基于训练图像对应的各个子图像的局部表情特征向量进行局部表情特征关系学习，增强了面部有效区域特征，提高了模型的鲁棒性，增强了表情识别模型的精度，解决了现有技术中缺乏图像各个区域的交互从而降低表情识别模型准确性的问题。
在一些实施例中，根据各个训练图像对应的多张子图像，确定各个训练图像对应的融合特征向量，还包括：对各个训练图像对应的各个子图像分别进行特征提取，得到各个训练图像对应的各个子图像的特征向量；对各个训练图像对应的各个子图像的特征向量进行扁平化处理，得到各个训练图像对应的各个子图像的语义特征向量；对各个训练图像对应的各个训练图像的各个子图像分别进行位置编码，得到各个训练图像对应的各个子图像的位置特征向量；对各个训练图像对应的各个子图像的语义特征向量与各个训练图像对应的各个子图像的位置特征向量进行融合处理，得到各个训练图像对应的各个子图像的融合特征向量；对各个训练图像对应的各个子图像的融合特征向量进行拼接，得到各个训练图像对应的融合特征向量。
在一些实施例中，可以通过卷积神经网络对各个训练图像对应的各个子图像分别进行特征提取，从各个训练图像对应的各个子图像中提取用于表情识别的特征，上述特征可以包括颜色、纹理、形状等。在特征提取过程中，将各个训练图像对应的各个子图像看作由像素组成的矩阵，每个像素都可以有其对应的特征值，得到各个训练图像对应的各个子图像的特征向量。通过flatten()的方法对各个训练图像对应的各个子图像的特征向量进行扁平化处理，得到各个训练图像对应的各个子图像的语义特征向量，例如，对于16×16×3的子图像的特征向量，将其进行张量扁平化处理，得到子图像的语义特征向量的维度为1×768。同时，还需要根据各个子图像在对应训练图像中的位置对各个子图像进行位置编码，得到各个训练图像对应的各个子图像的位置特征向量，并且各个训练图像对应的各个子图像的位置特征向量的大小与各个训练图像对应的各个子图像的语义特征向量的大小相同，上述位置编码可以采用的可训练的参数(1D Pos.Emb.)。将对各个训练图像对应的各个子图像的语义特征向量与各个训练图像对应的各个子图像的位置特征向量进行相加，得到各个训练图像对应的各个子图像的融合特征向量，上述各个训练图像对应的各个子图像的融合特征向量既包含各个子图像的内容信息又包含各个子图像的位置信息，可以更全面地表征各个子图像的特征。并在训练过程中学习得到[CLS]的特征向量，[CLS]用于表示训练图像的全局特征，将[CLS]的特征向量与多张子图像的融合特征向量进行拼接，得到各个训练图像对应的融合特征向量，训练图像对应的融合特征向量包含了整个训练图像的全局特征和各个子图像的局部特征，可以更全面地描述图像的特征。此外，在进行特征拼接时，需要确定拼接的方式和顺序，可以将[CLS]的特征向量作为第一个维度，将多张子图像的融合特征向量按照位置顺序依次拼接在[CLS]的特征向量之后。
在一些实施例中，对各个训练图像对应的各个子图像的局部表情特征向量进行局部表情特征关系学习，得到各个训练图像的全局增强表情特征向量包括：根据各个子图像的位置对各个训练图像对应的各个子图像的局部表情特征向量进行拼接，得到各个训练图像对应的特征向量；按照预设宽度对各个训练图像对应的特征向量进行对齐切分处理，得到各个训练图像对应的多个局部特征向量；对各个训练图像对应的多个局部特征向量进行交互学习处理，得到各个训练图像的全局增强表情特征向量。
在一些实施例中，上述表情识别模型包括局部表情特征关系学习模块。根据各个子图像的位置在对应的训练图像的位置，依次将各个训练图像对应的各个子图像的局部表情特征向量进行拼接，得到各个训练图像对应的特征向量，各个训练图像对应的特征向量包含各个训练图像的全局特征和局部特征。例如，对于训练图像A对应的n张子图像，根据n张子图像的位置对n张子图像的融合特征向量进行排序依次为z1，z2，z3……zn，将z1，z2，z3……zn输入至transformer encoder进行自注意力编码处理，得到对应的子图像的局部表情特征向量依次为c1，c2，c3……cn，并将c1，c2，c3……cn根据n张子图像在训练图像A的位置进行拼接，得到训练图像A对应的特征向量。
在一些实施例中，按照预设宽度对各个训练图像对应的特征向量进行对齐切分处理，例如采用均匀切分的方式，得到各个训练图像对应的多个局部特征向量，从而构建介于最细粒度和粗粒度之间的各个训练图像对应的多个局部特征向量，上述最细粒度的特征为每个子图像的特征。预设宽度可以是一个固定的数值，也可以是根据训练图像的大小动态计算出来的。例如，对于一张训练图像，将其切分为14×14＝196张子图像，那么196中子图像中的每一张子图像的特征即最细粒度的特征。对于由196个训练图像对应的各个子图像的局部表情特征向量进行拼接处理得到的训练图像对应的特征向量，可以将其切分为14个训练图像对应的局部特征向量。在上述过程中，可以从训练图像中提取出新的局部特征，可以提供更丰富的表情特征，从而提高表情识别模型的识别准确率和鲁棒性。
在一些实施例中，对各个训练图像对应的多个局部特征向量进行交互学习处理，得到各个训练图像的全局增强表情特征向量，将训练图像对应的多个局部特征向量进行互相学习和优化，可以理解局部特征之间的联系和变化，得到更加强大的特征表示即训练图像的全局增强表情特征向量。上述过程可以提高表情识别模型的鲁棒性。
在一些实施例中，对各个训练图像对应的多个局部特征向量进行交互学习处理，得到各个训练图像的全局增强表情特征向量包括：将各个训练图像对应的多个局部特征向量输入门控循环单元，计算得到重置门的权重和更新门的权重，并基于重置门的权重和更新门的权重进行加权求和，得到各个训练图像对应的各个局部增强特征向量；对各个训练图像对应的各个局部增强特征向量进行拼接处理，得到各个训练图像的全局增强表情特征向量。
在一些实施例中，门控循环单元是一种循环神经网络的变体，其中包括重置门和更新门，它通过使用重置门和更新门来控制输入信息的流动，能够更好地捕捉输入序列数据中的长期依赖关系。将各个训练图像对应的多个局部特征向量输入门控循环单元，根据训练图像对应的多个局部特征向量的输入序列，依次对每一个训练图像对应的多个局部特征向量进行变换处理。在处理每个训练图像对应的多个局部特征向量的过程中，可以根据当前的输入和上一个时间步的隐藏状态来计算新的隐藏状态，计算得到重置门的权重和更新门的权重，对述训练图像对应的多个局部特征向量进行序列建模和长期依赖关系的捕捉，并且通过重置门的权重和更新门的权重来控制输入信息的流动，最后输出得到对应的各个局部增强特征向量。通过门控循环单元可以更好地理解训练图像对应的多个局部特征向量之间的联系和变化，从而得到更加强大的特征表示即训练图像对应的各个局部增强特征向量，并提高表情识别模型的鲁棒性和准确性。
参考图3，上述局部表情特征关系学习模块300可以包括第一拼接处理模块301、宽度对齐切分处理模块302、门控循环单元303、第二拼接处理模块304，将各个训练图像对应的各个子图像的局部表情特征向量输入第一拼接处理模块301进行拼接，得到各个训练图像对应的特征向量，将各个训练图像对应的特征向量输入宽度对齐切分处理模块302按照预设宽度进行对齐切分处理，得到各个训练图像对应的多个局部特征向量，并将各个训练图像对应的多个局部特征向量输入门控循环单元303，计算得到重置门的权重和更新门的权重，并基于重置门的权重和更新门的权重进行加权求和，得到各个训练图像对应的各个局部增强特征向量，将各个训练图像对应的各个局部增强特征向量输入第二拼接处理模块304进行拼接处理，得到各个训练图像的全局增强表情特征向量。通过上述局部表情特征关系学习模块300可以更好地理解训练图像对应的多个局部特征向量之间的联系和变化，从而得到更加强大的特征表示即训练图像对应的各个局部增强特征向量，并提高表情识别模型的鲁棒性和准确性。
在一些实施例中，根据各个训练图像的全局表情特征向量，确定各个训练图像的全局表情识别结果，包括：通过表情识别模型的全局平均池化层对各个训练图像的全局表情特征向量进行降维处理，得到各个训练图像的全局表情降维处理结果；通过表情识别模型的全连接层对各个训练图像的全局表情降维处理结果进行特征变换，得到各个训练图像的全局表情全连接特征向量；通过表情识别模型的分类层对各个训练图像的全局表情全连接特征向量进行分类处理，得到各个训练图像的全局表情识别结果。
在一些实施例中，各个训练图像对应的全局表情识别结果可以是各个训练图像对应的表情类别的预测概率。将各个训练图像的全局表情特征向量输入表情识别模型的全局平均池化层进行全局平均池化处理，得到更低维度的各个训练图像的全局表情降维处理结果，通过全局平均池化处理，可以降低图像识别模型的复杂度，有效防止图像识别模型在训练过程中过拟合，提高图像识别模型泛化能力。再将各个训练图像的全局表情降维处理结果输入表情识别模型的全连接层进行特征变换，各个训练图像的全局表情降维处理结果与相应的权值进行计算，对各个训练图像的全局表情降维处理结果进行相应整合，得到各个训练图像的全局表情全连接特征向量，使得表情识别模型更好地理解和学习各个训练图像的特征，提高表情识别模型的分类准确率和泛化能力。再将各个训练图像的全局表情全连接特征向量输入表情识别模型的分类层进行分类，得到各个训练图像的全局表情识别结果。
在一些实施例中，根据各个训练图像的全局增强表情特征向量，确定各个训练图像的全局增强表情识别结果包括：通过表情识别模型的全局平均池化层对各个训练图像的全局增强表情特征向量进行降维处理，得到各个训练图像的全局增强表情降维处理结果；通过表情识别模型的全连接层对各个训练图像的全局增强表情降维处理结果进行特征变换，得到各个训练图像的局部增强全局增强表情全连接特征向量；通过表情识别模型的分类层对各个训练图像的全局增强表情全连接特征向量进行分类处理，得到各个训练图像的全局增强表情识别结果。
在一些实施例中，各个训练图像的全局增强表情识别结果可以是各个训练图像对应的表情类别的预测概率。将各个训练图像的全局增强表情特征向量输入表情识别模型的全局平均池化层进行全局平均池化处理，得到更低维度的各个训练图像的全局增强表情降维处理结果，通过全局平均池化处理，可以降低图像识别模型的复杂度，有效防止图像识别模型在训练过程中过拟合，提高图像识别模型泛化能力。再将各个训练图像的全局增强表情降维处理结果输入表情识别模型的全连接层进行特征变换，各个训练图像的全局增强表情降维处理结果与相应的权值进行计算，对各个训练图像的全局增强表情降维处理结果进行相应整合，得到各个训练图像的全局增强表情全连接特征向量，使得表情识别模型更好地理解和学习各个训练图像的特征，提高表情识别模型的分类准确率和泛化能力。再将各个训练图像的全局增强表情全连接特征向量输入表情识别模型的分类层进行分类，得到各个训练图像的全局增强表情识别结果。
参考图4，表情识别模型的训练过程包括以下部分：切分处理模块401、向量化处理模块402、转换器编码器403、局部表情特征关系学习模块300、全局平均池化层405、全连接层406、分类层407，将各个训练图像输入切分处理模块401进行切分处理，得到各个训练图像对应的多张子图像。将各个训练图像对应的多张子图像输入向量化处理模块402，对各个训练图像对应的各个子图像分别进行特征提取，得到各个训练图像对应的各个子图像的特征向量；对各个训练图像对应的各个子图像的特征向量进行扁平化处理，得到各个训练图像对应的各个子图像的语义特征向量；对各个训练图像对应的各个训练图像的各个子图像分别进行位置编码，得到各个训练图像对应的各个子图像的位置特征向量；对各个训练图像对应的各个子图像的语义特征向量与各个训练图像对应的各个子图像的位置特征向量进行融合处理，得到各个训练图像对应的各个子图像的融合特征向量；对各个训练图像对应的各个子图像的融合特征向量进行拼接，得到各个训练图像对应的融合特征向量。将各个训练图像对应的融合特征向量输入转换器编码器403进行自注意力编码处理，得到各个训练图像的全局表情特征向量和各个训练图像对应的各个子图像的局部表情特征向量。将各个训练图像对应的各个子图像的局部表情特征向量输入局部表情特征关系学习模块300进行局部表情特征关系学习，得到各个训练图像的全局增强表情特征向量。将各个训练图像的全局表情特征向量输入全局平均池化层405进行降维处理，得到各个训练图像的全局表情降维处理结果；将各个训练图像的全局表情降维处理结果输入至全连接层406进行特征变换，得到各个训练图像的全局表情全连接特征向量；将各个训练图像的全局表情全连接特征向量输入分类层407进行分类处理，得到各个训练图像的全局表情识别结果。将各个训练图像的全局增强表情特征向量输入全局平均池化层405进行降维处理得到各个训练图像的全局增强表情降维处理结果；将各个训练图像的全局增强表情降维处理结果输入至全连接层406进行特征变换，得到各个训练图像的局部增强全局增强表情全连接特征向量；将各个训练图像的局部增强全局增强表情全连接特征向量输入至分类层407进行分类处理，得到各个训练图像的全局增强表情识别结果。根据各个训练图像的全局表情识别结果和各个训练图像的全局增强表情识别结果，确定表情识别模型的损失值，并基于表情识别模型的损失值更新表情识别模型中的参数。通过表情识别训练集对表情识别模型进行训练，对各个训练图像对应的各个子图像的局部表情特征向量进行局部表情特征关系学习，进行训练图像各个区域之间的表情特征的交互，对局部表情特征进行关系建模，学习更加鲁棒的特征。本公开提供的表情识别模型的训练过程基于训练图像对应的各个子图像的局部表情特征向量进行局部表情特征关系学习，增强了面部有效区域特征，提高了模型的鲁棒性，增强了表情识别模型的精度，解决了现有技术中缺乏图像各个区域的交互从而降低表情识别模型准确性的问题。
在一些实施例中，基于表情识别模型的损失值更新表情识别模型中的参数之后，还包括：获取待识别图像，待识别图像中包括对象的面部图像；对待识别图像进行切分处理，得到待识别图像的多张子图像；对各个待识别图像的子图像进行特征提取，得到各个待识别图像的子图像的特征向量；对各个待识别图像的子图像的特征向量进行扁平化处理，得到各个待识别图像的子图像的语义特征向量；对各个待识别图像的子图像进行位置编码，得到各个待识别图像的子图像的位置特征向量；对各个待识别图像的子图像的位置特征向量和各个待识别图像的子图像的语义特征向量进行融合处理，得到各个待识别图像的子图像的融合特征向量；对各个待识别图像的子图像的融合特征向量进行拼接，得到待识别图像的融合特征向量；对待识别图像的融合特征向量进行自注意力编码处理，得到待识别图像的全局表情特征向量；通过表情识别模型的全局平均池化层对待识别图像的全局表情特征向量进行降维处理，得到待识别图像的全局表情降维处理结果；通过表情识别模型的全连接层对待识别图像的全局表情降维处理结果进行特征变换，得到待识别图像的全局表情全连接特征向量；通过表情识别模型的分类层对待识别图像的全局表情全连接特征向量进行分类处理，得到待识别图像的全局表情识别结果，全局表情识别结果用于指示待识别图像中对象的表情类别。
基于前述实施例，在使用上述表情识别模型的过程中，对待识别图像进行切分处理，得到待识别图像对应的多张子图像，对待识别图像对应的多张子图像进行特征提取，得到待识别图像对应的多张子图像的特征图，对待识别图像对应的多张子图像的特征图进行张量扁平化处理，将张量变为向量，得到各个待识别图像的子图像的语义特征向量，并对各个待识别图像的子图像进行位置编码，得到各个待识别图像的子图像的位置特征向量；将各个待识别图像的子图像的语义特征向量与各个待识别图像的子图像的位置特征向量进行逐元素相加，得到各个待识别图像的子图像的融合特征向量，上述子图像的融合特征向量既包含子图像的内容信息又包含子图像的位置信息，将[CLS]符号的特征向量与各个待识别图像的子图像的融合特征向量进行拼接，得到待识别图像的融合特征向量。将待识别图像的融合特征向量输入表情识别模型的transformer encoder进行自注意力编码处理，使得表情识别模型更全面地理解待识别图像的内容，得到待识别图像的全局表情特征向量。将待识别图像的全局表情特征向量输入表情识别模型的全局平均池化层进行全局平均池化处理，得到低维度的待识别图像的全局表情降维处理结果，通过全局平均池化处理，减少表情识别模型的计算量，方便后续的全连接层、分类层可以更有效地处理和使用这些数据特征。再将待识别图像的全局表情降维处理结果输入表情识别模型的全连接层进行特征变换，对待识别图像的全局表情降维处理结果进行相应整合，得到待识别图像的全局表情全连接特征向量，使得表情识别模型更好地理解和学习待识别图像的特征，提高表情识别模型的分类准确率和泛化能力。再将待识别图像的全局表情全连接特征向量输入表情识别模型的分类层进行分类，得到待识别图像的全局表情识别结果，表情识别结果用于指示待识别图像中对象的表情类别。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
图5是本公开实施例提供的一种表情识别模型的训练装置的示意图。如图5所示，该表情识别模型的训练装置包括：
获取模块501，用于获取表情识别训练集，表情识别训练集包括多张训练图像和多张训练图像的标签；
切分模块502，用于对各个训练图像进行切分处理，得到各个训练图像对应的多张子图像；
自注意力处理模块503，用于根据各个训练图像对应的多张子图像，确定各个训练图像对应的融合特征向量，并对各个训练图像对应的融合特征向量进行自注意力编码处理，得到各个训练图像的全局表情特征向量和各个训练图像对应的各个子图像的局部表情特征向量；
局部表情特征关系学习模块504，用于对各个训练图像对应的各个子图像的局部表情特征向量进行局部表情特征关系学习，得到各个训练图像的全局增强表情特征向量；
确定模块505，用于根据各个训练图像的全局表情特征向量，确定各个训练图像的全局表情识别结果，以及根据各个训练图像的全局增强表情特征向量，确定各个训练图像的全局增强表情识别结果；
更新模块506，用于根据各个训练图像的全局表情识别结果和各个训练图像的全局增强表情识别结果，确定表情识别模型的损失值，并基于表情识别模型的损失值更新表情识别模型中的参数。
根据本公开实施例提供的技术方案，通过表情识别训练集对表情识别模型进行训练，切分模块502对各个训练图像进行切分处理，得到各个训练图像对应的多张子图像。自注意力处理模块503对各个训练图像对应的多张子图像进行特征提取，得到各个训练图像对应的融合特征向量，并将各个训练图像对应的融合特征向量进行自注意力处理，得到各个训练图像的全局表情特征向量和各个训练图像对应的各个子图像的局部表情特征向量。局部表情特征关系学习模块504对各个训练图像对应的各个子图像的局部表情特征向量进行局部表情特征关系学习，进行训练图像各个区域之间的表情特征的交互，对局部表情特征进行关系建模，学习更加鲁棒的特征，得到各个训练图像的全局增强表情识别结果。确定模块505并根据各个训练图像的全局表情特征向量，确定各个训练图像的全局表情识别结果，以及根据各个训练图像的全局增强表情特征向量，确定各个训练图像的全局增强表情识别结果。更新模块506根据各个训练图像的全局表情识别结果和各个训练图像的标签以及各个训练图像的全局增强表情识别结果和各个训练图像的标签计算得到表情识别模型的损失值，基于损失值进行反向传播更新表情识别模型的参数，直至损失值低于或等于预设值，得到训练完成的表情识别模型。本公开提供的表情识别模型的训练过程基于训练图像对应的各个子图像的局部表情特征向量进行局部表情特征关系学习，增强了面部有效区域特征，提高了模型的鲁棒性，增强了表情识别模型的精度，解决了现有技术中缺乏图像各个区域的交互从而降低表情识别模型准确性的问题。
在一些实施例中，自注意力处理模块503被配置为：对各个训练图像对应的各个子图像分别进行特征提取，得到各个训练图像对应的各个子图像的特征向量；对各个训练图像对应的各个子图像的特征向量进行扁平化处理，得到各个训练图像对应的各个子图像的语义特征向量；对各个训练图像对应的各个训练图像的各个子图像分别进行位置编码，得到各个训练图像对应的各个子图像的位置特征向量；对各个训练图像对应的各个子图像的语义特征向量与各个训练图像对应的各个子图像的位置特征向量进行融合处理，得到各个训练图像对应的各个子图像的融合特征向量；对各个训练图像对应的各个子图像的融合特征向量进行拼接，得到各个训练图像对应的融合特征向量。
在一些实施例中，局部表情特征关系学习模块504被配置为：根据各个子图像的位置对各个训练图像对应的各个子图像的局部表情特征向量进行拼接，得到各个训练图像对应的特征向量；按照预设宽度对各个训练图像对应的特征向量进行对齐切分处理，得到各个训练图像对应的多个局部特征向量；对各个训练图像对应的多个局部特征向量进行交互学习处理，得到各个训练图像的全局增强表情特征向量。
在一些实施例中，局部表情特征关系学习模块504被配置为：将各个训练图像对应的多个局部特征向量输入门控循环单元，计算得到重置门的权重和更新门的权重，并基于重置门的权重和更新门的权重进行加权求和，得到各个训练图像对应的各个局部增强特征向量；对各个训练图像对应的各个局部增强特征向量进行拼接处理，得到各个训练图像的全局增强表情特征向量。
在一些实施例中，确定模块505被配置为根据各个训练图像的全局表情特征向量，确定各个训练图像的全局表情识别结果，包括：通过表情识别模型的全局平均池化层对各个训练图像的全局表情特征向量进行降维处理，得到各个训练图像的全局表情降维处理结果；通过表情识别模型的全连接层对各个训练图像的全局表情降维处理结果进行特征变换，得到各个训练图像的全局表情全连接特征向量；通过表情识别模型的分类层对各个训练图像的全局表情全连接特征向量进行分类处理，得到各个训练图像的全局表情识别结果。
在一些实施例中，确定模块505被配置为根据各个训练图像的全局增强表情特征向量，确定各个训练图像的全局增强表情识别结果包括：通过表情识别模型的全局平均池化层对各个训练图像的全局增强表情特征向量进行降维处理，得到各个训练图像的全局增强表情降维处理结果；通过表情识别模型的全连接层对各个训练图像的全局增强表情降维处理结果进行特征变换，得到各个训练图像的局部增强全局增强表情全连接特征向量；通过表情识别模型的分类层对各个训练图像的全局增强表情全连接特征向量进行分类处理，得到各个训练图像的全局增强表情识别结果。
在一些实施例中，表情识别模型的训练装置被配置为基于表情识别模型的损失值更新表情识别模型中的参数之后，获取待识别图像，待识别图像中包括对象的面部图像；对待识别图像进行切分处理，得到待识别图像的多张子图像；对各个待识别图像的子图像进行特征提取，得到各个待识别图像的子图像的特征向量；对各个待识别图像的子图像的特征向量进行扁平化处理，得到各个待识别图像的子图像的语义特征向量；对各个待识别图像的子图像进行位置编码，得到各个待识别图像的子图像的位置特征向量；对各个待识别图像的子图像的位置特征向量和各个待识别图像的子图像的语义特征向量进行融合处理，得到各个待识别图像的子图像的融合特征向量；对各个待识别图像的子图像的融合特征向量进行拼接，得到待识别图像的融合特征向量；对待识别图像的融合特征向量进行自注意力编码处理，得到待识别图像的全局表情特征向量；通过表情识别模型的全局平均池化层对待识别图像的全局表情特征向量进行降维处理，得到待识别图像的全局表情降维处理结果；通过表情识别模型的全连接层对待识别图像的全局表情降维处理结果进行特征变换，得到待识别图像的全局表情全连接特征向量；通过表情识别模型的分类层对待识别图像的全局表情全连接特征向量进行分类处理，得到待识别图像的全局表情识别结果，全局表情识别结果用于指示待识别图像中对象的表情类别。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
图6是本公开实施例提供的电子设备6的示意图。如图6所示，该实施例的电子设备6包括：处理器601、存储器602以及存储在该存储器602中并且可在处理器601上运行的计算机程序603。处理器601执行计算机程序603时实现上述各个方法实施例中的步骤。或者，处理器601执行计算机程序603时实现上述各装置实施例中各模块/单元的功能。
电子设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备6可以包括但不仅限于处理器601和存储器602。本领域技术人员可以理解，图6仅仅是电子设备6的示例，并不构成对电子设备6的限定，可以包括比图示更多或更少的部件，或者不同的部件。
处理器601可以是中央处理单元(Central Processing Unit，CPU)，也可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器602可以是电子设备6的内部存储单元，例如，电子设备6的硬盘或内存。存储器602也可以是电子设备6的外部存储设备，例如，电子设备6上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。存储器602还可以既包括电子设备6的内部存储单元也包括外部存储设备。存储器602用于存储计算机程序以及电子设备所需的其它程序和数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读存储介质(例如计算机可读存储介质)中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、电载波信号、电信信号以及软件分发介质等。
以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。

Claims (10)

1.一种表情识别模型的训练方法，其特征在于，包括：
获取表情识别训练集，所述表情识别训练集包括多张训练图像和多张所述训练图像的标签；
对各个所述训练图像进行切分处理，得到各个所述训练图像对应的多张子图像；
根据各个所述训练图像对应的多张子图像，确定各个所述训练图像对应的融合特征向量，并对各个所述训练图像对应的融合特征向量进行自注意力编码处理，得到各个所述训练图像的全局表情特征向量和各个所述训练图像对应的各个所述子图像的局部表情特征向量；
对各个所述训练图像对应的各个所述子图像的局部表情特征向量进行局部表情特征关系学习，得到各个所述训练图像的全局增强表情特征向量；
根据各个所述训练图像的全局表情特征向量，确定各个所述训练图像的全局表情识别结果，以及根据各个所述训练图像的全局增强表情特征向量，确定各个所述训练图像的全局增强表情识别结果；
根据各个所述训练图像的全局表情识别结果和各个所述训练图像的全局增强表情识别结果，确定所述表情识别模型的损失值，并基于所述表情识别模型的损失值更新所述表情识别模型中的参数。
2.根据权利要求1所述的方法，其特征在于，所述根据各个所述训练图像对应的多张子图像，确定各个所述训练图像对应的融合特征向量，包括：
对各个所述训练图像对应的各个所述子图像分别进行特征提取，得到各个所述训练图像对应的各个所述子图像的特征向量；
对各个所述训练图像对应的各个所述子图像的特征向量进行扁平化处理，得到各个所述训练图像对应的各个所述子图像的语义特征向量；
对各个所述训练图像对应的各个所述训练图像的各个所述子图像分别进行位置编码，得到各个所述训练图像对应的各个所述子图像的位置特征向量；
对各个所述训练图像对应的各个所述子图像的语义特征向量与各个所述训练图像对应的各个所述子图像的位置特征向量进行融合处理，得到各个所述训练图像对应的各个所述子图像的融合特征向量；
对各个所述训练图像对应的各个所述子图像的融合特征向量进行拼接，得到各个所述训练图像对应的融合特征向量。
3.根据权利要求2所述的方法，其特征在于，所述对各个所述训练图像对应的各个所述子图像的局部表情特征向量进行局部表情特征关系学习，得到各个所述训练图像的全局增强表情特征向量包括：
根据各个所述子图像的位置对各个所述训练图像对应的各个所述子图像的局部表情特征向量进行拼接，得到各个所述训练图像对应的特征向量；
按照预设宽度对各个所述训练图像对应的特征向量进行对齐切分处理，得到各个所述训练图像对应的多个局部特征向量；
对各个所述训练图像对应的多个局部特征向量进行交互学习处理，得到各个所述训练图像的全局增强表情特征向量。
4.根据权利要求3所述的方法，其特征在于，所述对各个所述训练图像对应的多个局部特征向量进行交互学习处理，得到各个所述训练图像的全局增强表情特征向量包括：
将各个所述训练图像对应的多个局部特征向量输入门控循环单元，计算得到重置门的权重和更新门的权重，并基于所述重置门的权重和所述更新门的权重进行加权求和，得到各个所述训练图像对应的各个局部增强特征向量；
对各个所述训练图像对应的各个局部增强特征向量进行拼接处理，得到各个所述训练图像的全局增强表情特征向量。
5.根据权利要求1所述的方法，其特征在于，所述根据各个所述训练图像的全局表情特征向量，确定各个所述训练图像的全局表情识别结果，包括：
通过所述表情识别模型的全局平均池化层对各个所述训练图像的全局表情特征向量进行降维处理，得到各个所述训练图像的全局表情降维处理结果；
通过所述表情识别模型的全连接层对各个所述训练图像的全局表情降维处理结果进行特征变换，得到各个所述训练图像的全局表情全连接特征向量；
通过所述表情识别模型的分类层对各个所述训练图像的全局表情全连接特征向量进行分类处理，得到各个所述训练图像的全局表情识别结果。
6.根据权利要求1所述的方法，其特征在于，所述根据各个所述训练图像的全局增强表情特征向量，确定各个所述训练图像的全局增强表情识别结果包括：
通过所述表情识别模型的全局平均池化层对各个所述训练图像的全局增强表情特征向量进行降维处理，得到各个所述训练图像的全局增强表情降维处理结果；
通过所述表情识别模型的全连接层对各个所述训练图像的全局增强表情降维处理结果进行特征变换，得到各个所述训练图像的局部增强全局增强表情全连接特征向量；
通过所述表情识别模型的分类层对各个所述训练图像的全局增强表情全连接特征向量进行分类处理，得到各个所述训练图像的全局增强表情识别结果。
7.根据权利要求1所述的方法，其特征在于，所述基于所述表情识别模型的损失值更新所述表情识别模型中的参数之后，还包括：
获取待识别图像，所述待识别图像中包括对象的面部图像；
对所述待识别图像进行切分处理，得到所述待识别图像的多张子图像；
对各个所述待识别图像的子图像进行特征提取，得到各个所述待识别图像的子图像的特征向量；
对各个所述待识别图像的子图像的特征向量进行扁平化处理，得到各个所述待识别图像的子图像的语义特征向量；
对各个所述待识别图像的子图像进行位置编码，得到各个所述待识别图像的子图像的位置特征向量；
对各个所述待识别图像的子图像的位置特征向量和各个所述待识别图像的子图像的语义特征向量进行融合处理，得到各个所述待识别图像的子图像的融合特征向量；
对各个所述待识别图像的子图像的融合特征向量进行拼接，得到所述待识别图像的融合特征向量；
对所述待识别图像的融合特征向量进行自注意力编码处理，得到所述待识别图像的全局表情特征向量；
通过所述表情识别模型的全局平均池化层对所述待识别图像的全局表情特征向量进行降维处理，得到所述待识别图像的全局表情降维处理结果；
通过所述表情识别模型的全连接层对所述待识别图像的全局表情降维处理结果进行特征变换，得到所述待识别图像的全局表情全连接特征向量；
通过所述表情识别模型的分类层对所述待识别图像的全局表情全连接特征向量进行分类处理，得到所述待识别图像的全局表情识别结果，所述全局表情识别结果用于指示所述待识别图像中所述对象的表情类别。
8.一种表情识别模型的训练装置，其特征在于，包括：
获取模块，用于获取表情识别训练集，所述表情识别训练集包括多张训练图像和多张所述训练图像的标签；
切分模块，用于对各个所述训练图像进行切分处理，得到各个所述训练图像对应的多张子图像；
自注意力处理模块，用于根据各个所述训练图像对应的多张子图像，确定各个所述训练图像对应的融合特征向量，并对各个所述训练图像对应的融合特征向量进行自注意力编码处理，得到各个所述训练图像的全局表情特征向量和各个所述训练图像对应的各个所述子图像的局部表情特征向量；
局部表情特征关系学习模块，用于对各个所述训练图像对应的各个所述子图像的局部表情特征向量进行局部表情特征关系学习，得到各个所述训练图像的全局增强表情特征向量；
确定模块，用于根据各个所述训练图像的全局表情特征向量，确定各个所述训练图像的全局表情识别结果，以及根据各个所述训练图像的全局增强表情特征向量，确定各个所述训练图像的全局增强表情识别结果；
更新模块，用于根据各个所述训练图像的全局表情识别结果和各个所述训练图像的全局增强表情识别结果，确定所述表情识别模型的损失值，并基于所述表情识别模型的损失值更新所述表情识别模型中的参数。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种可读存储介质，所述可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
CN202311722700.7A 2023-12-14 2023-12-14 表情识别模型的训练方法和装置 Pending CN117894051A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311722700.7A CN117894051A (zh) 2023-12-14 2023-12-14 表情识别模型的训练方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311722700.7A CN117894051A (zh) 2023-12-14 2023-12-14 表情识别模型的训练方法和装置

Publications (1)

Publication Number Publication Date
CN117894051A true CN117894051A (zh) 2024-04-16

Family

ID=90641639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311722700.7A Pending CN117894051A (zh) 2023-12-14 2023-12-14 表情识别模型的训练方法和装置

Country Status (1)

Country Link
CN (1) CN117894051A (zh)

Similar Documents

Publication Publication Date Title
CN110163080B (zh) 人脸关键点检测方法及装置、存储介质和电子设备
US11436739B2 (en) Method, apparatus, and storage medium for processing video image
US10936919B2 (en) Method and apparatus for detecting human face
CN109214343B (zh) 用于生成人脸关键点检测模型的方法和装置
CN110532996B (zh) 视频分类的方法、信息处理的方法以及服务器
CN108197592B (zh) 信息获取方法和装置
CN111739027B (zh) 一种图像处理方法、装置、设备及可读存储介质
CN109543714A (zh) 数据特征的获取方法、装置、电子设备及存储介质
CN112395979A (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
CN110610191A (zh) 一种电梯楼层识别方法、装置及终端设备
CN112712068B (zh) 一种关键点检测方法、装置、电子设备及存储介质
CN117392379B (zh) 目标检测的方法和装置
CN114170484B (zh) 图片属性预测方法、装置、电子设备和存储介质
CN117216536A (zh) 一种模型训练的方法、装置和设备及存储介质
CN115620054A (zh) 一种缺陷分类方法、装置、电子设备及存储介质
CN117711001B (zh) 图像处理方法、装置、设备和介质
CN114358249A (zh) 目标识别模型训练、目标识别方法及装置
CN118172134A (zh) 虚拟试衣方法、装置、电子设备及可读存储介质
CN118212028A (zh) 虚拟试衣方法、装置、电子设备及可读存储介质
CN113689527A (zh) 一种人脸转换模型的训练方法、人脸图像转换方法
CN114419514B (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN115546554A (zh) 敏感图像的识别方法、装置、设备和计算机可读存储介质
CN111291640B (zh) 用于识别步态的方法和装置
CN117894051A (zh) 表情识别模型的训练方法和装置
CN114764593A (zh) 一种模型训练方法、模型训练装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination