CN116630736A - 一种用户表情捕捉模型的训练方法及系统 - Google Patents

一种用户表情捕捉模型的训练方法及系统 Download PDF

Info

Publication number
CN116630736A
CN116630736A CN202310388392.2A CN202310388392A CN116630736A CN 116630736 A CN116630736 A CN 116630736A CN 202310388392 A CN202310388392 A CN 202310388392A CN 116630736 A CN116630736 A CN 116630736A
Authority
CN
China
Prior art keywords
expression
training
expression data
data set
updated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310388392.2A
Other languages
English (en)
Inventor
王英
张青辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
4u Beijing Technology Co ltd
Original Assignee
4u Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 4u Beijing Technology Co ltd filed Critical 4u Beijing Technology Co ltd
Priority to CN202310388392.2A priority Critical patent/CN116630736A/zh
Publication of CN116630736A publication Critical patent/CN116630736A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用户表情捕捉模型的训练方法及系统，包括：首先使用第一训练表情数据集中的常用表情数据对原始用户表情捕捉模型执行初始训练操作，获得进阶用户表情捕捉模型；然后获得模型更新所需的更新表情数据集，用以筛掉属于第三训练表情数据集且包括常用表情的更新表情数据对应的梯度向量；最终使用更新表情数据集中剩余的更新表情数据对应的梯度向量更新进阶用户表情捕捉模型的超参数，直至损失函数达到预设条件时，获得用于对常用表情数据及非常规表情数据进行表情捕捉的用户表情捕捉模型，如此设计，能够得到可以准确进行用户表情捕捉的模型，以提高后续数据处理效率。

Description

一种用户表情捕捉模型的训练方法及系统
技术领域
本发明涉及人工智能领域，具体而言，涉及一种用户表情捕捉模型的训练方法及系统。
背景技术
目前，随着“元宇宙”等概念的发展，用户需求在对应的虚拟环境中有着更为真实的体验，而如何在虚拟环境中实现虚拟角色更为真实的表情展示，是本领域技术人员需要解决的问题。
发明内容
本发明的目的在于提供一种用户表情捕捉模型的训练方法及系统。
第一方面，本发明实施例提供一种用户表情捕捉模型的训练方法，包括：
确定第一训练表情数据集、第二训练表情数据集和第三训练表情数据集，第一训练表情数据集中的样本为常用表情数据，第二训练表情数据集中的样本为非常规表情数据，第三训练表情数据集包括常用表情数据和非常规表情数据；
使用第一训练表情数据集中的常用表情数据对原始用户表情捕捉模型执行初始训练操作，获得进阶用户表情捕捉模型；
遍历轮询地从第一训练表情数据集、第二训练表情数据集和第三训练表情数据集中，获得模型更新所需的更新表情数据集，在使用更新表情数据集中的更新表情数据对进阶用户表情捕捉模型进行模型更新的过程中，筛掉属于第三训练表情数据集且包括常用表情的更新表情数据对应的梯度向量后，使用更新表情数据集中剩余的更新表情数据对应的梯度向量更新进阶用户表情捕捉模型的超参数，直至损失函数达到预设条件时，获得用于对常用表情数据及非常规表情数据进行表情捕捉的用户表情捕捉模型。
第二方面，本发明实施例提供一种服务器系统，包括服务器，服务器用于执行第一方面的方法。
相比现有技术，本发明提供的有益效果包括：采用本发明公开了一种用户表情捕捉模型的训练方法及系统，包括：首先使用第一训练表情数据集中的常用表情数据对原始用户表情捕捉模型执行初始训练操作，获得进阶用户表情捕捉模型；然后获得模型更新所需的更新表情数据集，用以筛掉属于第三训练表情数据集且包括常用表情的更新表情数据对应的梯度向量；最终使用更新表情数据集中剩余的更新表情数据对应的梯度向量更新进阶用户表情捕捉模型的超参数，直至损失函数达到预设条件时，获得用于对常用表情数据及非常规表情数据进行表情捕捉的用户表情捕捉模型，如此设计，能够得到可以准确进行用户表情捕捉的模型，提高数据处理效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的用户表情捕捉模型的训练方法的步骤流程示意图；
图2为本发明实施例提供的服务器的结构示意框图。
具体实施方式
下面结合附图，对本发明的具体实施方式进行详细说明。
请结合参阅图1，图1为本发明实施例提供的一种用户表情捕捉模型的训练方法，下面对该用户表情捕捉模型的训练方法进行详细的描述。
步骤S202，确定第一训练表情数据集、第二训练表情数据集和第三训练表情数据集，第一训练表情数据集中的样本为常用表情数据，第二训练表情数据集中的样本为非常规表情数据，第三训练表情数据集包括常用表情数据和非常规表情数据。
其中，第一训练表情数据集、第二训练表情数据集和第三训练表情数据集均是用于训练用户表情捕捉模型的图像集合。常用表情数据是指图像中的表情所属的类型为常见表情，例如微笑、哭泣、愤怒等，非常规表情数据是指图像中的表情所属的类型为非常规表情，例如特定场景下的哭笑不得、扭曲等不常见的表情。
假设先用少量非常规表情的样本对用户表情捕捉模型进行训练，用户表情捕捉模型通过非常规表情的样本学到用于区分非常规表情的样本的特征，获得非常规表情的特征空间。假设接着用大量常见表情的样本对用户表情捕捉模型进行训练，用户表情捕捉模型通过常见表情的样本学到用于区分常见表情的样本的特征，获得常见表情的特征空间，常见表情的特征空间会对非常规表情的特征空间进行压缩，拉近非常规表情的特征空间中特征之间的距离。
本发明中，设计第一训练表情数据集、第二训练表情数据集和第三训练表情数据集，第一训练表情数据集中的样本为常用表情数据，其可用于用户表情捕捉模型学习用于区分常见表情的特征；第二训练表情数据集中的样本为非常规表情数据，其可用于用户表情捕捉模型学习用于区分非常规表情的特征；第三训练表情数据集包括常用表情数据和非常规表情数据，其可用于用户表情捕捉模型学习用于区分常见表情和非常规表情的特征，且第三训练表情数据集包括的常用表情数据，可用于干预用户表情捕捉模型对非常规表情的特征的学习，以扩充非常规表情的特征空间。
在一个实施例中，计算机设备确定第一训练表情数据集和第二训练表情数据集，将第一训练表情数据集和第二训练表情数据集的并集作为第三训练表情数据集。在另一些实施例中，第三训练表情数据集中的样本与第一训练表情数据集、第二训练表情数据集中的样本不存在重合或者存在部分重合，且满足第三训练表情数据集包括常用表情数据和非常规表情数据。
步骤S204，使用第一训练表情数据集中的常用表情数据对原始用户表情捕捉模型执行初始训练操作，获得进阶用户表情捕捉模型。
其中，原始用户表情捕捉模型可以是未经第一训练表情数据集、第二训练表情数据集或者第三训练表情数据集中的样本训练过的用户表情捕捉模型。进阶用户表情捕捉模型可以是经第一训练表情数据集中的样本训练过的用户表情捕捉模型。
本发明中，计算机设备确定第一训练表情数据集、第二训练表情数据集和第三训练表情数据集，先使用第一训练表情数据集中的常用表情数据对原始用户表情捕捉模型执行初始训练操作，获得进阶用户表情捕捉模型。由于第一训练表情数据集仅包括常用表情数据，使用第一训练表情数据集中的常用表情数据对原始用户表情捕捉模型执行初始训练操作，使得用户表情捕捉模型学习用于区分常见表情的本质特征，从而保证用户表情捕捉模型对常用表情数据的识别准确性。
在一个实施例中，计算机设备对原始用户表情捕捉模型执行初始训练操作，对表情特征识别层和表情类型划分层的超参数进行更新。
其中，表情特征识别层是通过样本学习具备表情特征向量提取能力的模型结构。表情特征识别层可以是卷积神经网络结构，其可执行卷积计算、非线性激活函数计算、池化计算等操作。表情特征识别层的输入端为表情图像，输出端为表情特征向量。表情特征向量可以是特征图、特征向量等。表情类型划分层是通过样本学习具备分类回归能力的模型结构。表情类型划分层的输入端为表情特征向量，输出端为表情捕捉分类结果。可以理解，通用的具有表情特征向量提取能力和分类回归能力的网络结构，即可满足本发明实施例中对表情特征识别层和表情类型划分层的需求，因此本发明实施例可采用通用的网络结构作为表情特征识别层和表情类型划分层。
在一个实施例中，计算机设备从第一训练表情数据集中确定多于一个常用表情数据，将多于一个常用表情数据输入原始用户表情捕捉模型，通过原始用户表情捕捉模型中的表情特征识别层，提取各常用表情数据对应的表情特征向量，通过原始用户表情捕捉模型中的表情类型划分层，根据表情特征向量获得各常用表情数据对应的表情捕捉分类结果。计算机设备根据各常用表情数据对应的表情捕捉分类结果与表情分类标识构建初始代价函数，根据初始代价函数确定本次训练的梯度向量，按照梯度向量更新表情特征识别层和表情类型划分层的超参数后，返回从第一训练表情数据集中确定多于一个常用表情数据的步骤继续训练，直至完成训练。
步骤S206，遍历轮询地从第一训练表情数据集、第二训练表情数据集和第三训练表情数据集中，获得模型更新所需的更新表情数据集，在使用更新表情数据集中的更新表情数据对进阶用户表情捕捉模型进行模型更新的过程中，筛掉属于第三训练表情数据集且包括常用表情的更新表情数据对应的梯度向量后，使用更新表情数据集中剩余的更新表情数据对应的梯度向量更新进阶用户表情捕捉模型的超参数，直至损失函数达到预设条件时，获得用于对常用表情数据及非常规表情数据进行表情捕捉的用户表情捕捉模型。
本发明中，计算机设备确定第一训练表情数据集、第二训练表情数据集和第三训练表情数据集，先使用第一训练表情数据集中的常用表情数据对原始用户表情捕捉模型执行初始训练操作，获得进阶用户表情捕捉模型，接着遍历轮询地从第一训练表情数据集、第二训练表情数据集和第三训练表情数据集中获得更新表情数据集，使用更新表情数据集中的更新表情数据对进阶用户表情捕捉模型进行模型更新。进阶用户表情捕捉模型根据第一训练表情数据集的常用表情数据学习用于区分常见表情的特征，根据第二训练表情数据集的非常规表情数据学习用于区分非常规表情的特征，根据第三训练表情数据集的常用表情数据和非常规表情数据，学习用于区分常见表情和非常规表情的特征，且第三训练表情数据集包括的常用表情数据，可用于干预进阶用户表情捕捉模型对非常规表情的特征的学习，以扩充非常规表情的特征空间。
在一个实施例中，计算机设备对进阶用户表情捕捉模型进行模型更新，对表情特征识别层和表情类型划分层的超参数进行更新。
在一个实施例中，计算机设备对第一训练表情数据集、第二训练表情数据集和第三训练表情数据集执行数据抽取操作获得更新表情数据集，将更新表情数据集中的更新表情数据输入进阶用户表情捕捉模型，通过进阶用户表情捕捉模型中的表情特征识别层，提取各更新表情数据对应的表情特征向量，通过进阶用户表情捕捉模型中的表情类型划分层，根据表情特征向量获得各更新表情数据对应的表情捕捉分类结果。计算机设备根据更新表情数据对应的表情捕捉分类结果与表情分类标识构建模型更新代价函数，根据模型更新代价函数确定本次训练的梯度向量，从梯度向量中筛掉属于第三训练表情数据集且包括常用表情的更新表情数据对应的梯度向量，使用更新表情数据集中剩余的更新表情数据对应的梯度向量更新进阶用户表情捕捉模型的超参数后，返回对第一训练表情数据集、第二训练表情数据集和第三训练表情数据集执行数据抽取操作的步骤继续训练，直至完成训练。由于筛掉了第三训练表情数据集且包括常用表情的更新表情数据对应的梯度向量，使得第三训练表情数据集且包括常用表情的更新表情数据仅用于扩充非常规表情的特征空间，而不对超参数的更新产生影响。
在一个实施例中，计算机设备根据模型更新代价函数确定本次训练的梯度向量，对梯度向量中第三训练表情数据集且包括常用表情的更新表情数据对应的梯度向量进行掩膜处理，使得第三训练表情数据集且包括常用表情的更新表情数据对应的梯度向量不参与超参数的更新。
本发明实施例提供的方法可以在提升用户表情捕捉模型对常用表情数据的识别准确性的同时，也大大提升用户表情捕捉模型对非常规表情数据的识别准确性。
上述用户表情捕捉模型的处理方法中，先使用第一训练表情数据集中的常用表情数据对原始用户表情捕捉模型执行初始训练操作，获得进阶用户表情捕捉模型，提升用户表情捕捉模型对常用表情数据的识别准确性；接着使用第一训练表情数据集、第二训练表情数据集和第三训练表情数据集中的更新表情数据对进阶用户表情捕捉模型进行微调，进阶用户表情捕捉模型根据第一训练表情数据集的常用表情数据学习用于区分常见表情的特征，根据第二训练表情数据集的非常规表情数据学习用于区分非常规表情的特征，根据第三训练表情数据集的常用表情数据和非常规表情数据，学习用于区分常见表情和非常规表情的特征，且第三训练表情数据集包括的常用表情数据，可用于干预进阶用户表情捕捉模型对非常规表情的特征的学习，以扩充非常规表情的特征空间，压低用户表情捕捉模型计算得到的非常规表情非同人之间的向量距离，提升对非常规表情数据的识别准确性；这样在提升用户表情捕捉模型对常用表情数据的识别准确性的同时，也大大提升用户表情捕捉模型对非常规表情数据的识别准确性。
在一个实施例中，使用第一训练表情数据集中的常用表情数据对原始用户表情捕捉模型执行初始训练操作，获得进阶用户表情捕捉模型，包括：
步骤S602，从第一训练表情数据集中确定常用表情数据及对应的表情分类标识。
其中，表情分类标识可以是表情图像中的表情对应的表情标签。表情标签用于唯一区分表情，可由字母、数字、文字中的至少一种组成。
在一个实施例中，计算机设备从第一训练表情数据集中确定多于一个常用表情数据，将多于一个常用表情数据作为一组，对原始用户表情捕捉模型进行一次预训练。
步骤S604，将从第一训练表情数据集中确定的常用表情数据输入原始用户表情捕捉模型，获得表情捕捉分类结果。
在一个实施例中，计算机设备通过原始用户表情捕捉模型中的表情特征识别层，提取各常用表情数据对应的表情特征向量；通过原始用户表情捕捉模型中的表情类型划分层，根据表情特征向量获得各常用表情数据对应的表情捕捉分类结果。
其中，表情特征向量是用于反映表情图像中的表情特征的数据。
在一个实施例中，表情特征向量具体可以是从表情图像中提取出的与表情特征相关的位置信息、纹理信息、形状信息和颜色信息等中的一种或几种的组合。
在一个实施例中，计算机设备通过原始用户表情捕捉模型中的表情特征识别层，提取各常用表情数据对应的表情特征向量，将各表情特征向量传递给原始用户表情捕捉模型中的表情类型划分层，通过表情类型划分层对各表情特征向量的分类回归处理，获得各常用表情数据对应的表情捕捉分类结果。表情捕捉分类结果可以是概率向量，其维度与训练样本中表情标签的数量相匹配，每个维度的值表示表情图像中的表情对应其中一个表情标签的概率。
步骤S606，根据表情分类标识与表情捕捉分类结果构建初始代价函数。
在一个实施例中，计算机设备根据各常用表情数据对应的表情分类标识与表情捕捉分类结果之间的差异，构建初始代价函数。初始代价函数可以是Softmax函数。
步骤S608，将初始代价函数最小化时的超参数作为原始用户表情捕捉模型更新的超参数后，返回从第一训练表情数据集中确定常用表情数据的步骤继续训练，直至完成训练。
在一个实施例中，计算机设备按照最小化初始代价函数的方向，根据梯度下降算法获得本次训练对应的梯度向量，按照梯度向量更新表情特征识别层和表情类型划分层的超参数。梯度下降算法可以是随机梯度下降算法，或者根据随机梯度下降算法优化的算法，比如带动量项的随机梯度下降算法等。
在一个实施例中，训练结束条件可以是训练次数达到预设次数，或者初始代价函数计算的损失值小于预设值等。
本实施例中，使用第一训练表情数据集中的常用表情数据对原始用户表情捕捉模型执行初始训练操作，使得用户表情捕捉模型学习用于区分常见表情的本质特征，从而保证用户表情捕捉模型对常用表情数据的识别准确性。
在一个实施例中，从第一训练表情数据集、第二训练表情数据集和第三训练表情数据集中，获得模型更新所需的更新表情数据集，包括：确定提前设置的数据抽取规则；按照数据抽取规则分别对第一训练表情数据集、第二训练表情数据集和第三训练表情数据集执行数据抽取操作，获得模型更新所需的更新表情数据集。
在一个实施例中，计算机设备按照提前设置的数据抽取规则对第一训练表情数据集、第二训练表情数据集和第三训练表情数据集执行数据抽取操作，将从第一训练表情数据集中采样得到的常用表情数据作为子集A，将从第二训练表情数据集中采样得到的非常规表情数据作为子集B，将从第三训练表情数据集中采样得到的常用表情数据和/或非常规表情数据作为子集C，将子集A、子集B和子集C合并为更新表情数据集。计算机设备将更新表情数据集中的更新表情数据输入进阶用户表情捕捉模型，以对进阶用户表情捕捉模型进行多任务模型更新。
在一个实施例中，在使用更新表情数据集中的更新表情数据对进阶用户表情捕捉模型进行模型更新的过程中，筛掉属于第三训练表情数据集且包括常用表情的更新表情数据对应的梯度向量后，使用更新表情数据集中剩余的更新表情数据对应的梯度向量更新进阶用户表情捕捉模型的超参数，包括：
步骤S702，使用更新表情数据集中各更新表情数据对进阶用户表情捕捉模型进行模型更新，在模型更新过程中确定各更新表情数据对应的梯度向量。
在一个实施例中，使用更新表情数据集中各更新表情数据对进阶用户表情捕捉模型进行模型更新，在模型更新过程中确定各更新表情数据对应的梯度向量，包括：将更新表情数据集中各更新表情数据输入进阶用户表情捕捉模型，获得各更新表情数据对应的表情捕捉分类结果；根据各更新表情数据对应的表情分类标识及表情捕捉分类结果，构建模型更新代价函数；在模型更新代价函数最小化时获得各更新表情数据对应的梯度向量。
在一个实施例中，将更新表情数据集中各更新表情数据输入进阶用户表情捕捉模型，获得各更新表情数据对应的表情捕捉分类结果，包括：通过进阶用户表情捕捉模型中的表情特征识别层，提取各更新表情数据对应的表情特征向量；通过进阶用户表情捕捉模型中的表情类型划分层，根据表情特征向量获得各更新表情数据对应的表情捕捉分类结果。
在一个实施例中，计算机设备根据各更新表情数据对应的表情分类标识及表情捕捉分类结果之间的差异，构建模型更新代价函数。模型更新代价函数可以是Softmax函数。
在一个实施例中，根据各更新表情数据对应的表情分类标识及表情捕捉分类结果，构建模型更新代价函数，包括：根据更新表情数据集中属于第一训练表情数据集的更新表情数据对应的表情分类标识及表情捕捉分类结果，构建常用代价函数；根据更新表情数据集中属于第二训练表情数据集的更新表情数据对应的表情分类标识及表情捕捉分类结果，构建非常规代价函数；根据更新表情数据集中属于第三训练表情数据集的更新表情数据对应的表情分类标识及表情捕捉分类结果，构建综合代价函数；确定提前设置的代价分配权重；按照代价分配权重对常用代价函数、非常规代价函数和综合代价函数求和，获得模型更新代价函数。
其中，常用代价函数、非常规代价函数和综合代价函数可以是损失函数，比如Softmax函数。
在一个实施例中，更新表情数据集中属于第一训练表情数据集的更新表情数据（简称为子集A）、更新表情数据集中属于第二训练表情数据集的更新表情数据（简称为子集B）、更新表情数据集中属于第三训练表情数据集的更新表情数据（简称为子集C）可分别设置代价分配权重。
在一个实施例中，计算机设备按照最小化模型更新代价函数的方向，根据梯度下降算法获得本次训练对应的梯度向量，从梯度向量中确定各更新表情数据对应的梯度向量。梯度下降算法可以是随机梯度下降算法，或者根据随机梯度下降算法优化的算法，比如带动量项的随机梯度下降算法等。
步骤S704，从各更新表情数据对应的梯度向量中，筛掉属于第三训练表情数据集且包括常用表情的更新表情数据对应的梯度向量后，使用更新表情数据集中剩余的更新表情数据对应的梯度向量更新进阶用户表情捕捉模型的超参数。
假设更新表情数据4和更新表情数据5为更新表情数据集中属于第三训练表情数据集且包括常用表情的更新表情数据。可以看到，计算机设备提取各更新表情数据对应的表情特征向量，根据表情特征向量获得各更新表情数据对应的表情捕捉分类结果。根据子集A的更新表情数据对应的表情分类标识及表情捕捉分类结果，构建常用代价函数，根据子集B的更新表情数据对应的表情分类标识及表情捕捉分类结果，构建非常规代价函数，根据子集C的更新表情数据对应的表情分类标识及表情捕捉分类结果，构建综合代价函数，按照代价分配权重对常用代价函数、非常规代价函数和综合代价函数求和，获得模型更新代价函数。按照最小化模型更新代价函数的方向，根据梯度下降算法获得本次训练对应的梯度向量，从梯度向量中确定各更新表情数据对应的梯度向量。从各更新表情数据对应的梯度向量中，筛掉更新表情数据4、更新表情数据5对应的梯度向量后，使用更新表情数据1、更新表情数据2、更新表情数据3和更新表情数据6对应的梯度向量更新进阶用户表情捕捉模型的超参数。
本实施例中，使用第一训练表情数据集、第二训练表情数据集和第三训练表情数据集中的更新表情数据对进阶用户表情捕捉模型进行微调，进阶用户表情捕捉模型根据第一训练表情数据集的常用表情数据学习用于区分常见表情的特征，根据第二训练表情数据集的非常规表情数据学习用于区分非常规表情的特征，根据第三训练表情数据集的常用表情数据和非常规表情数据，学习用于区分常见表情和非常规表情的特征，且第三训练表情数据集包括的常用表情数据，可用于干预进阶用户表情捕捉模型对非常规表情的特征的学习，以扩充非常规表情的特征空间，压低用户表情捕捉模型计算得到的非常规表情非同人之间的向量距离，提升对非常规表情数据的识别准确性。
在一个实施例中，该方法还包括：固定进阶用户表情捕捉模型的表情特征识别层的超参数，遍历轮询地从第一训练表情数据集、第二训练表情数据集和第三训练表情数据集中获得模型更新所需的更新表情数据集，并使用模型更新所需的更新表情数据集中的更新表情数据对进阶用户表情捕捉模型的表情类型划分层进行模型更新，在模型更新过程中，筛掉属于第三训练表情数据集且包括常用表情的更新表情数据对应的梯度向量后，使用更新表情数据集中剩余的更新表情数据对应的梯度向量更新表情类型划分层的超参数；直至损失函数达到预设条件时，固定进阶用户表情捕捉模型的表情类型划分层的超参数，遍历轮询地从第一训练表情数据集、第二训练表情数据集和第三训练表情数据集中获得模型更新所需的更新表情数据集，并使用模型更新所需的更新表情数据集中的更新表情数据对进阶用户表情捕捉模型的表情特征识别层进行模型更新，在模型更新过程中，筛掉属于第三训练表情数据集且包括常用表情的更新表情数据对应的梯度向量后，使用更新表情数据集中剩余的更新表情数据对应的梯度向量更新表情特征识别层的超参数。
本实施例中，可在表情类型划分层的超参数更新完成后，再对表情特征识别层的超参数进行更新，以提高训练效果和训练效率。
在一个实施例中，在使用更新表情数据集中的更新表情数据对进阶用户表情捕捉模型进行模型更新的过程中，筛掉属于第三训练表情数据集且包括常用表情的更新表情数据对应的梯度向量后，使用更新表情数据集中剩余的更新表情数据对应的梯度向量更新进阶用户表情捕捉模型的超参数，包括：当更新表情数据集中，从第三训练表情数据集中采样得到的更新表情数据包括非常规表情数据时，则使用属于第三训练表情数据集且包括非常规表情的更新表情数据、属于第一训练表情数据集的更新表情数据和属于第二训练表情数据集的更新表情数据对应的梯度向量，更新进阶用户表情捕捉模型的超参数；当更新表情数据集中，从第三训练表情数据集中采样得到的更新表情数据不包括非常规表情数据时，则使用属于第一训练表情数据集的更新表情数据和属于第二训练表情数据集的更新表情数据对应的梯度向量，更新进阶用户表情捕捉模型的超参数。
具体地，计算机设备对第一训练表情数据集、第二训练表情数据集和第三训练表情数据集执行数据抽取操作时，由于第三训练表情数据集包括常用表情数据和非常规表情数据，计算机设备从第三训练表情数据集采样得到的更新表情数据有以下三种情况：(1)计算机设备从第三训练表情数据集仅采样到常用表情数据。(2)计算机设备从第三训练表情数据集仅采样到非常规表情数据。(3)计算机设备从第三训练表情数据集采样到常用表情数据和非常规表情数据。针对不同的采样情况，计算机设备采取不同的超参数更新措施。对于第(1)种情况，计算机设备使用更新表情数据集中，属于第一训练表情数据集的更新表情数据和属于第二训练表情数据集的更新表情数据对应的梯度向量，更新进阶用户表情捕捉模型的超参数。对于第(2)种、第(3)种情况，计算机设备使用更新表情数据集中，属于第三训练表情数据集且包括非常规表情的更新表情数据、属于第一训练表情数据集的更新表情数据和属于第二训练表情数据集的更新表情数据对应的梯度向量，更新进阶用户表情捕捉模型的超参数。这样，第三训练表情数据集且包括常用表情的更新表情数据仅用于扩充非常规表情的特征空间，而不对超参数的更新产生影响。
在一个实施例中，该方法还包括：确定检验表情数据及检验表情数据对应的检验表情分类，检验表情数据包括常用表情或非常规表情；通过模型更新后得到的用户表情捕捉模型，确定检验表情数据对应的检验表情特征向量；确定检验表情分类对应的比对表情特征向量；当检验表情特征向量与比对表情特征向量之间的向量距离低于预设距离阈值时，则确定检验表情数据捕捉为比对表情特征向量对应的表情分类。
其中，检验表情数据是待捕捉表情的图像。表情捕捉在于核实检验表情数据中的表情是否与检验表情分类相匹配。检验表情特征向量是用于反映检验表情数据中的表情特征的数据。比对表情特征向量是用于反映参考表情图像中的表情特征的数据，该应用场景下的参考表情图像是与检验表情分类相匹配的预存表情图像。
具体地，计算机设备通过训练后的用户表情捕捉模型，确定检验表情数据对应的检验表情特征向量，确定检验表情分类对应的比对表情特征向量，当检验表情特征向量与比对表情特征向量之间的向量距离低于预设距离阈值时，则确定检验表情数据捕捉为比对表情特征向量对应的表情分类。
在本发明实施例中，还提供如下示例，以便能够更好的利用用户表情捕捉模型。
步骤S101，基于用户表情捕捉模型完成对目标用户的表情捕捉，得到目标表情数据.
步骤S102，确定目标表情数据对应的位于虚拟环境的预置表情区域。
步骤S103，利用根据目标表情数据训练的表情优化模型，控制预置表情区域对应的虚拟人物显示表情。
在本发明实施例中，可以先利用用户表情捕捉模型完成对目标用户的表情捕捉，目标用户可以是指玩家、普通用户等，已可以是指对特定虚拟角色提供表情来源的演员等，在此不做限制。然后可以确定目标表情数据对应的位于虚拟环境的预置表情区域，再利用根据目标表情数据训练的表情优化模型，控制预置表情区域对应的虚拟人物显示表情，使得虚拟人物能够真实准确的完成表情显示。
为了能够清楚的描述前述步骤S103，可以通过以下详细的步骤执行实施。
步骤S901、计算机设备获取预置表情区域的多个准确度指示标识，该多个准确度指示标识用于表示预置表情区域的多个面部区域的不同准确度指示，一个准确度指示标识对应至少一个面部区域。
预置表情区域是指能够执行某一表情的主体的部分。例如，该预置表情区域为游戏应用中的虚拟人物的脸部；又如，该预置表情区域为虚拟环境中屏幕或者其他虚拟角色用于与用户进行交互的显示部位等。本发明实施例对预置表情区域不做限定。
在一些实施例中，预置表情区域显示表情时，不同面部区域的准确度指示不同。多个准确度指示标识用于表示不同面部区域的不同准确度指示。本发明实施例中，一个准确度指示标识对应至少一个面部区域，该条准确度指示标识用于表示该至少一个面部区域的准确度指示的高低。
以游戏场景为例，预置表情区域为游戏中的虚拟人物，该虚拟人物需要展示多样且灵活的表情，例如，与伙伴对话又或者技能释放以及与敌人交流等。在游戏的实际应用中，游戏制作方对于虚拟人物的不同面部区域的准确度指示是不同的，有的面部区域的准确度指示较高，例如，嘴巴、眉毛、眼睛等，有的面部区域的准确度指示较低，例如，下巴等。计算机设备获取预置表情区域的多个准确度指示标识即是获取虚拟人物的不同面部区域的准确度指示标识。
需要说明的是，准确度指示标识可以是任一种表现形式，本发明实施例对准确度指示标识的表现形式不做限定。
在一些实施例中，准确度指示标识为字符，不同的字符用于表示不同的准确度指示数值。
步骤S902、计算机设备根据根据多个准确度指示标识，获取多个需求计算难度系数，一个需求计算难度系数对应一个准确度指示标识，且该需求计算难度系数与对应的准确度指示标识表征的准确度指示为正相关关系。
需求计算难度系数用于表示模型的复杂程度，可选地，需求计算难度系数可以通过字符来表示，不同的字符表示不同等级的计算难度系数，例如，需求计算难度系数分别为S，A和B，对应的模型复杂等级分别为高、中和低。可选地，需求计算难度系数还可以通过具体的数值来表示，例如，需求计算难度系数为100%、80%和60%等。其中，需求计算难度系数为100%可以指代相关技术中使用的表情优化模型的网络计算难度系数。可选地，需求计算难度系数可以通过超参数网络架构数据数目来表示。可选地，需求计算难度系数可以通过模型中每一层的单元数目来表示，本发明实施例对需求计算难度系数不做限定。
步骤S903、计算机设备生成网络计算难度系数分别为多个需求计算难度系数的多个第一表情学习网络，该多个第一表情学习网络分别用于学习不同准确度指示的面部区域的表情。
多个第一表情学习网络的网络计算难度系数分别为多个需求计算难度系数，由于多个需求计算难度系数分别与多个准确度指示标识一一对应，因此，多个第一表情学习网络也与多个准确度指示标识一一对应，且第一表情学习网络的网络计算难度系数与对应的准确度指示标识匹配。第一表情学习网络的网络计算难度系数与第一表情学习网络对应的准确度指示标识匹配，是指：第一表情学习网络对应的准确度指示标识表征的准确度指示越高，该第一表情学习网络对应的网络计算难度系数越高；第一表情学习网络对应的准确度指示标识表征的准确度指示越低，该第一表情学习网络对应的网络计算难度系数越低。
由于第一表情学习网络的网络计算难度系数越高，该第一表情学习网络越能够学习到更加精确的表情表示，为面部区域生成精度更高的表情参量，因此，第一表情学习网络对应的准确度指示标识表征的准确度指示越高，该第一表情学习网络对应的网络计算难度系数越高。由于部分面部区域的准确度指示较低，因此，即便为该面部区域生成的表情参量不够精确，也不会对表情控制效果产生影响，因此，可以采用网络计算难度系数较低的表情学习网络，这样，可以减小模型的尺寸。
步骤S904、计算机设备对于任一第一表情学习网络，从预置表情区域的训练表情参量中，确定第一准确度指示标识对应的第一面部区域的训练表情参量，该第一准确度指示标识对应于第一表情学习网络的需求计算难度系数，根据根据第一面部区域的训练表情参量，对第一表情学习网络执行迭代训练操作，得到第二表情学习网络，该第二表情学习网络用于为第一面部区域生成表情参量。
预置表情区域的训练表情参量是该预置表情区域执行某一表情的表情参量，该表情参量可以是表情捕捉设备记录的，也可以是通过其他方式确定的，例如，以游戏场景为例，预置表情区域的训练表情参量可以是游戏运行过程中为预置表情区域生成的表情参量等。需要说明的是，本发明实施例通过后面的实施例对训练表情参量的内容和来源进行了说明，在此不再一一赘述。
本发明实施例中，一个第一表情学习网络对应一个准确度指示标识，该准确度指示标识对应至少一个面部区域，因此，该第一表情学习网络用于为该至少一个面部区域生成表情参量，这样，使得第一表情学习网络生成的表情参量满足不同面部区域的准确度指示。
其中，第一面部区域可以是一个面部区域，也可以是多个面部区域，这取决于第一表情学习网络对应的准确度指示标识所对应的面部区域是一个面部区域，还是多个面部区域。
需要说明的是，多个第一表情学习网络的训练方式是相同的，本发明实施例仅是以一个第一表情学习网络的训练过程进行示例性说明。
步骤S905、计算机设备根据根据训练得到的多个第二表情学习网络，获取表情优化模型，该表情优化模型用于为多个面部区域生成不同精度的表情参量。
在一种可能实现方式中，计算机设备根据根据训练得到的多个第二表情学习网络，获取表情优化模型，包括：将训练得到的多个第二表情学习网络部署到同一模型文件中，得到表情优化模型的模型文件，由于将多个第二表情学习网络部署到同一模型文件中了，因此，在调用模型生成表情参量时，可以通过调用该模型文件，使得多个第二表情学习网络同时运行，以便得到多个面部区域的表情参量。
而本发明实施例提供的表情优化模型训练方法，考虑到不同面部区域的准确度指示不同，对于准确度指示较高的面部区域，采用网络计算难度系数较高的表情学习网络进行学习，对于准确度指示较低的面部区域，采用网络计算难度系数较低的表情学习网络进行学习。由于网络计算难度系数较低的表情学习网络的模型尺寸较小，因此，相对于采用网络计算难度系数较高的表情学习网络对所有的面部区域进行学习来得到表情优化模型来说，由多个表情学习网络训练得到的表情优化模型的模型尺寸减小了，实现了对表情优化模型的压缩，提升了模型整体的流畅度。
本发明实施例提供一种表情优化模型训练方法，该方法包括以下步骤。
301、计算机设备获取预置表情区域的多个准确度指示标识，多个准确度指示标识用于表示预置表情区域的多个面部区域的不同准确度指示，一个准确度指示标识对应于至少一个面部区域。
在一些实施例中，预置表情区域的多个面部区域的大小不同，也即是多个面部区域在预置表情区域中的占有率不同，可以理解的，面部区域越大，在预置表情区域中的占有率越高，在预置表情区域显示表情时，该面部区域越容易被关注到，从而这些面部区域的准确度指示较高。面部区域越小，在预置表情区域中的占有率越低，在预置表情区域显示表情时，该面部区域越不容易被关注到，从而这些面部区域的准确度指示较低。
在一种可能实现方式中，计算机设备获取预置表情区域的多个准确度指示标识，包括：计算机设备获取预置表情区域中多个面部区域在预置表情区域中的占有率，根据根据多个面部区域的占有率，获取多个面部区域对应的多个准确度指示标识，该面部区域对应的准确度指示标识表征的准确度指示与该占有率为正反馈关系。
可选地，计算机设备根据根据多个面部区域的占有率，获取多个面部区域对应的多个准确度指示标识，包括：将多个面部区域的占有率进行分簇处理，得到多个簇，为每个簇获取一个准确度指示标识，该准确度指示标识用于表示该簇中每个占有率所对应的面部区域的准确度指示。可选地，计算机设备根据根据多个面部区域的占有率，获取多个面部区域对应的多个准确度指示标识，包括：根据根据占有率范围与准确度指示标识的关联信息和该多个面部区域的占有率，获取每个面部区域对应的准确度指示标识。
在一种可能实现方式中，计算机设备获取预置表情区域的多个准确度指示标识，包括：根据根据预置表情区域的功能信息，获取该预置表情区域中多个面部区域的关键指标数据，根据根据该多个面部区域的关键指标数据，获取该多个面部区域对应的准确度指示标识，该面部区域对应的准确度指示标识表征的准确度指示与该面部区域的关键指标数据表征的重要性为正反馈关系。
可选地，计算机设备根据根据该多个面部区域的关键指标数据，获取该多个面部区域对应的准确度指示标识，包括：将多个面部区域的关键指标数据进行分簇处理，得到多个簇，为每个簇获取一个准确度指示标识，该准确度指示标识用于表示该簇中每个关键指标数据所对应的面部区域的准确度指示。可选地，计算机设备根据根据该多个面部区域的关键指标数据，获取该多个面部区域对应的准确度指示标识，包括：根据根据关键指标数据范围与准确度指示标识的关联信息和该多个面部区域的关键指标数据，获取每个面部区域对应的准确度指示标识。
在一种可能实现方式中，计算机设备获取预置表情区域的多个准确度指示标识，包括：获取预置表情区域中多个面部区域在预置表情区域中的占有率；根据根据预置表情区域的功能信息，获取该预置表情区域中的多个面部区域的关键指标数据，根据根据该多个面部区域的占有率和关键指标数据，获取多个面部区域对应的多个准确度指示标识，该面部区域对应的准确度指示标识表征的准确度指示与该占有率为正反馈关系，且该面部区域对应的准确度指示标识表征的准确度指示。
302、计算机设备根据根据该多个准确度指示标识，获取多个需求计算难度系数，一个需求计算难度系数对应一个准确度指示标识，且需求计算难度系数与对应的准确度指示标识表征的准确度指示为正相关关系。
面部区域的准确度指示越高，需要模型为该面部区域生成的表情参量越准确，为了使模型能够为该面部区域生成准确的表情参量，需要模型学习到各个表情的精确表示，例如，该模型能够学习到表情的更多维度表示等。因此，需要该模型具有更多的超参数网络架构数据。
在一种可能实现方式中，计算机设备根据根据该多个准确度指示标识，获取多个需求计算难度系数，包括：对于任一准确度指示标识，获取该准确度指示标识所指示的准确度指示数值，根据根据该准确度指示数值，获取需求计算难度系数，该需求计算难度系数与准确度指示数值为正相关关系。
例如，准确度指示数值为S，则需求计算难度系数为100%，该需求计算难度系数100%表示该相关技术中正在使用的表情优化模型的计算难度系数；准确度指示数值为A，则需求计算难度系数为80%；准确度指示数值为B，则需求计算难度系数为50%等。
可选地，计算机设备根据根据准确度指示数值，获取需求计算难度系数，包括：计算机设备根据根据准确度指示数值与网络计算难度系数的关联信息，获取准确度指示标识所指示的准确度指示数值对应的需求计算难度系数。可选地，计算机设备根据根据准确度指示数值，获取需求计算难度系数，包括：计算机设备根据根据第一算法对准确度指示数值进行处理，得到需求计算难度系数。该第一算法可以是任一种统计算法，本发明实施例对第一算法不做限定。
在一些实施例中，不同准确度指示标识对应的面部区域的数目不同，在本发明实施例中，对应于同一准确度指示标识的面部区域通过一个第一表情学习网络来学习，如果某一准确度指示标识对应的面部区域越多，相应的，对学习这些面部区域表情的第一表情学习网络的要求越高，该第一表情学习网络的网络计算难度系数越高。可选地，计算机设备根据根据该多个准确度指示标识，获取多个需求计算难度系数，包括：对于任一准确度指示标识，获取该准确度指示标识对应的面部区域的第一数目，根据根据该第一数目，获取需求计算难度系数，该需求计算难度系数与第一数目为正相关关系。
可选地，计算机设备根据根据该第一数目，获取需求计算难度系数，包括：计算机设备根据根据面部区域数目与网络计算难度系数的关联信息，获取第一数目对应的需求计算难度系数。可选地，计算机设备根据根据该第一数目，获取需求计算难度系数，包括：计算机设备根据根据第二算法对第一数目进行处理，得到需求计算难度系数。该第二算法可以是任一种统计算法，本发明实施例对第二算法不做限定。
在一些实施例中，计算机设备根据根据该多个准确度指示标识，获取多个需求计算难度系数，包括：对于任一准确度指示标识，获取该准确度指示标识所指示的准确度指示数值和该准确度指示标识对应的面部区域的第一数目；根据根据该准确度指示数值和第一数目，获取需求计算难度系数，该需求计算难度系数与准确度指示数值为正相关关系，且该需求计算难度系数与第一数目为正相关关系。
303、计算机设备生成网络计算难度系数分别为多个需求计算难度系数的多个第一表情学习网络，该多个第一表情学习网络分别用于学习不同准确度指示的面部区域的表情。
在一些实施例中，第一表情学习网络的网络计算难度系数越高，该第一表情学习网络的超参数网络架构数据数目也越多。可选地，计算机设备确定超参数网络架构数据数目分别与多个需求计算难度系数匹配的多个第一表情学习网络，且第一表情学习网络的超参数网络架构数据数目与需求计算难度系数表征的网络计算难度系数为正反馈关系。
需要说明的是，本发明实施例中的第一表情学习网络可以是任一种深度学习模型，本发明实施例对第一表情学习网络不做限定。可选地，第一表情学习网络可以是专家表情学习网络，该专家表情学习网络包括多个第一表情预测架构，每个第一表情预测架构负责学习一种类型的表情。
在一些实施例中，第一表情学习网络包括多个第一表情预测架构。计算机设备生成网络计算难度系数分别为多个需求计算难度系数的多个第一表情学习网络，包括：对于任一需求计算难度系数，根据根据预置表情区域的表情种类数目，生成第一表情预测架构数目与该表情种类数目相同且第一表情预测架构的超参数网络架构数据数目与该需求计算难度系数匹配的第一表情学习网络，该第一表情预测架构用于学习面部区域在不同表情种类下的表情。
304、计算机设备确定第一权重分配网络，该第一权重分配网络用于获取表情学习网络输出的表情参量的权重。
其中，表情学习网络可以是第一表情学习网络或者是第三表情学习网络。本发明实施例中，获取权重分配网络用于获取表情学习网络输出的表情参量的权重，例如，表情学习网络预测出面部区域在下一时刻的表情参量之后，可以将该表情参量输入到获取权重分配网络中，由该获取权重分配网络获取该表情参量的权重，并根据根据该权重对表情参量进行处理，再将处理后的表情参量输出。
在一些实施例中，获取权重分配网络为门网络，需要说明的是，本发明实施例仅是以门网络为例对获取权重分配网络进行示例性说明，并不对获取权重分配网络进行限定，获取权重分配网络还可以为其他网络。
需要说明的是，本发明实施例中，第一权重分配网络用于表示根据根据训练表情参量训练之前的获取权重分配网络，第二权重分配网络用于表示根据根据训练表情参量训练之后的获取权重分配网络。
需要说明的是，每个第一表情学习网络输出的表情参量均通过获取权重分配网络进行处理。其中，多个第一表情学习网络可以分别对应一个获取权重分配网络，也可以共用一个获取权重分配网络。
在一种可能实现方式中，计算机设备确定第一权重分配网络，包括：确定多个第一表情学习网络分别对应的第一权重分配网络，任一第一表情学习网络对应的第一权重分配网络用于获取该第一表情学习网络输出的表情参量的权重；或者，确定该多个第一表情学习网络对应的第一权重分配网络，该第一权重分配网络用于获取该多个第一表情学习网络输出的表情参量的权重。
305、计算机设备对于任一第一表情学习网络，从预置表情区域的训练表情参量中，确定第一准确度指示标识对应的第一面部区域的训练表情参量，该第一准确度指示标识对应于第一表情学习网络的需求计算难度系数，根据根据第一面部区域的训练表情参量，对第一表情学习网络和第一权重分配网络执行迭代训练操作，得到第三表情学习网络和第二权重分配网络。
本发明实施例中，第一面部区域是预置表情区域中与该第一表情学习网络对应于同一准确度指示标识的面部区域，因此，该第一表情学习网络对表情的学习效果与第一面部区域的准确度指示匹配，因此，可以根据根据第一面部区域的训练表情参量来对第一表情学习网络执行迭代训练操作，使得第一表情学习网络学习第一面部区域的表情。
第一面部区域的训练表情参量是第一面部区域精度较高的表情参量，需要说明的是，此处精度较高的表情参量是指该表情参量准确，而不是说该表情参量包括更多种类型的表情参量。在一些实施例中，第一面部区域的训练表情参量是由专业表情演员穿戴表情捕捉设备，做出游戏中需要的表情，由表情捕捉设备记录的表情参量。在另一些实施例中，第一面部区域的训练表情参量是游戏运行过程中虚拟人物的第一面部区域的表情参量。本发明实施例对训练表情参量的确定方式不做限定。
在一些实施例中，面部区域的训练表情参量包括该面部区域在预设周期范围内的训练表情参量和该面部区域在预设周期范围的下一周期的第二训练表情参量。计算机设备根据根据第一面部区域的训练表情参量，对第一表情学习网络和第一权重分配网络执行迭代训练操作，得到第三表情学习网络和第二权重分配网络，包括：通过第一表情学习网络，对第一面部区域的第一训练表情参量进行处理，得到第一面部区域的第一待处理表情参量，该第一待处理表情参量为第一表情学习网络为第一面部区域获取的预设周期范围的下一周期的表情参量；通过第一权重分配网络，对第一待处理表情参量进行处理，得到第二待处理表情参量；根据根据第二待处理表情参量和该第一面部区域的第二训练表情参量，对第一表情学习网络和第一权重分配网络执行迭代训练操作，得到第三表情学习网络和第二权重分配网络。
可选地，计算机设备根据根据第二待处理表情参量和第一面部区域的第二训练表情参量，对第一表情学习网络和第二权重分配网络执行迭代训练操作，得到第三表情学习网络和第二权重分配网络，包括：计算机设备根据根据第二待处理表情参量和第二训练表情参量之间的差异，对第一表情学习网络和第二权重分配网络执行迭代训练操作，得到第三表情学习网络和第二权重分配网络，以使第三表情学习网络和第二权重分配网络的误差收敛。
在一些实施例中，考虑到一些面部区域的改变与另一些面部区域的改变相关，例如，微笑表情场景下嘴巴和眼睛的区域改变相关。本发明实施例中，按照不同面部区域的不同准确度指示，为不同面部区域训练了不同的第一表情学习网络，因此，由于嘴巴和眼睛不是同一准确度指示，会由两个第一表情学习网络来分别学习嘴巴和眼睛。以学习嘴巴表情的第一表情学习网络为例，通过嘴巴的训练表情参量来训练该第一表情学习网络。为了使得该第一表情学习网络能够更加精准地学习面部区域的表情，在训练该第一表情学习网络以及使用该第一表情学习网络的时候，还可以输入其他面部区域的表情参量。
以训练过程为例，在一种可能实现方式中，计算机设备根据根据第一面部区域的训练表情参量，对第一表情学习网络和第一权重分配网络执行迭代训练操作，得到第三表情学习网络和第二权重分配网络，包括：计算机设备根据根据第一面部区域的训练表情参量以及第二面部区域的训练表情参量，对第一表情学习网络和第一权重分配网络执行迭代训练操作，得到第三表情学习网络和第二权重分配网络。其中，第二面部区域是与第一面部区域的表情相关的面部区域，或者，第二面部区域为影响第一面部区域表情的面部区域。
在一些实施例中，预置表情区域在表情时，该预置表情区域的多个面部区域的表情幅度是不同的，对于一些表情幅度较大的面部区域，由于该面部区域的表情幅度较大，因此，该面部区域的表情更加容易引起人们的注意，或者，该面部区域的表情更加重要，因此，该面部区域的准确度指示较高。对于一些表情幅度较小的面部区域，由于该面部区域的表情幅度较小，因此，该面部区域的表情不容易引起人们的注意，或者，该面部区域的表情不太重要，因此，该面部区域的准确度指示较低。其中，表情幅度较大的面部区域会影响表情幅度较小的面部区域的表情，因此，计算机设备在训练低精度面部区域对应的表情学习网络时，可以参考高精度面部区域。
在一种可能实现方式中，计算机设备根据根据第一面部区域的训练表情参量，对第一表情学习网络和第一权重分配网络执行迭代训练操作，得到第三表情学习网络和第二权重分配网络，包括：计算机设备获取第二面部区域，该第二面部区域是预置表情区域中除第一面部区域之外的其他面部区域；从预置表情区域的训练表情参量中，确定第二面部区域的训练表情参量；根据根据第一面部区域的训练表情参量以及第二面部区域的训练表情参量，对第一表情学习网络和第一权重分配网络执行迭代训练操作，得到第三表情学习网络和第二权重分配网络。
可选地，计算机设备获取第二面部区域，包括：计算机设备根据根据第一关联关系，获取预置表情区域中影响第一面部区域表情的第二面部区域，该第一关联关系用于表示该多个面部区域表情的关联关系。可选地，第一关联关系记录了哪些面部区域之间具有关联关系。
可选地，计算机设备获取第二面部区域，包括：计算机设备获取预置表情区域中多个面部区域在该预置表情区域中的占有率，将占有率超过第一占有率的面部区域获取为第二面部区域。其中，第一占有率可以是任一占有率，例如，5%，10%等。可选地，第一占有率为一经验值。可选地，第一占有率为技术人员设置的数值。
可选地，计算机设备获取第二面部区域，包括：计算机设备根据根据第一面部区域对应的准确度指示标识，获取至少一个目标准确度指示标识，该目标准确度指示标识所指示的准确度指示大于第一面部区域对应的准确度指示标识所指示的准确度指示；将至少一个目标准确度指示标识对应的面部区域获取为第二面部区域。
需要说明的是，计算机设备可以对于每个第一表情学习网络，根据根据第一面部区域的训练表情参量以及第二面部区域的训练表情参量，对第一表情学习网络执行迭代训练操作；计算机设备也可以根据实际需要，对部分第一表情学习网络，根据根据第一面部区域的训练表情参量以及第二面部区域的训练表情参量，对该第一表情学习网络执行迭代训练操作。本发明实施例对此不做限定。
在一些实施例中，面部区域的训练表情参量包括该面部区域在预设周期范围内的第一训练表情参量和该面部区域在预设周期范围的下一周期的第二训练表情参量。计算机设备根据根据第一面部区域的训练表情参量以及第二面部区域的训练表情参量，对第一表情学习网络和第一权重分配网络执行迭代训练操作，得到第三表情学习网络和第二权重分配网络，包括：计算机设备通过第一表情学习网络，对第一面部区域的第一训练表情参量以及第二面部区域的第一训练表情参量进行处理，得到第一面部区域的第一待处理表情参量，该第一待处理表情参量为第一表情学习网络为第一面部区域获取的预设周期范围的下一周期的表情参量；通过第一权重分配网络，对第一待处理表情参量进行处理，得到第二待处理表情参量；根据根据第二待处理表情参量和第一面部区域的第二训练表情参量，对第一表情学习网络和第一权重分配网络执行迭代训练操作，得到第三表情学习网络和第二权重分配网络。
其中，预设周期范围和预设周期范围的下一周期可以是任一时长的周期，例如，1秒，2秒等任一时长。
计算机设备根据根据第二待处理表情参量和第一面部区域的第二训练表情参量，对第一表情学习网络执行迭代训练操作，得到第二表情学习网络，包括：计算机设备根据根据第二待处理表情参量和第二训练表情参量之间的差异，对第一表情学习网络执行迭代训练操作，得到第二表情学习网络。
306、计算机设备根据根据第三表情学习网络和第二权重分配网络，获取第二表情学习网络，该第二表情学习网络用于学习第一面部区域的表情。
本发明实施例中，获取权重分配网络用于获取表情学习网络输出的表情参量的权重，也就是说，表情学习网络输出的表情参量还需要经过获取权重分配网络处理才会输出。因此，可以根据根据获取权重分配网络进一步对表情学习网络进行处理，以使得表情学习网络输出的表情参量可以直接使用。
在一些实施例中，计算机设备根据根据第三表情学习网络和第二权重分配网络，获取第二表情学习网络，包括：将第三表情学习网络和第二权重分配网络执行整合操作，得到第二表情学习网络。
在一些实施例中，计算机设备根据根据第三表情学习网络和第二权重分配网络，获取第二表情学习网络，包括：根据根据第二权重分配网络，对第三表情学习网络进行处理，得到第二表情学习网络。例如，根据根据第二权重分配网络，调整第三表情学习网络的超参数网络架构数据等。
在一些实施例中，第一表情学习网络包括多个第一表情预测架构，该多个第一表情预测架构，该多个第一表情预测架构用于学习面部区域的不同表情种类的表情。该第三表情学习网络包括多个第二表情预测架构，该多个第二表情预测架构是训练多个第一表情预测架构得到的。在一种可能实现方式中，计算机设备根据根据第三表情学习网络和第二权重分配网络，获取第二表情学习网络，包括：计算机设备根据根据第二权重分配网络，获取多个第二表情预测架构的权重，根据根据该多个第二表情预测架构的权重，将该多个第二表情预测架构的超参数网络架构数据执行整合操作，得到第二表情学习网络。
307、计算机设备根据根据训练得到的多个第二表情学习网络，获取表情优化模型。
本发明实施例中，每个第二表情学习网络用于对与该第二表情学习网络对应于同一准确度指示标识的面部区域生成表情参量。表情优化模型用于为主体的多个面部区域生成表情参量。在一些实施例中，计算机设备根据根据训练得到的多个第二表情学习网络，获取表情优化模型，包括：将多个第二表情学习网络执行整合操作，得到表情优化模型。
其中，将多个第二表情学习网络执行整合操作，包括：将多个第二表情学习网络部署到同一模型文件中，该模型文件即是表情优化模型的模型文件，计算机设备根据根据该模型文件，同时运行该多个第二表情学习网络，从而为多个面部区域生成表情参量。
本发明实施例提供的表情优化模型训练方法，考虑到不同面部区域的准确度指示不同，对于准确度指示较高的面部区域，采用网络计算难度系数较高的表情学习网络进行学习，对于准确度指示较低的面部区域，采用网络计算难度系数较低的表情学习网络进行学习。由于网络计算难度系数较低的表情学习网络的模型尺寸较小，因此，相对于采用网络计算难度系数较高的表情学习网络对所有的面部区域进行学习来得到表情优化模型来说，由多个表情学习网络训练得到的表情优化模型的模型尺寸减小了，实现了对表情优化模型的压缩，提升了模型整体的流畅度。
并且，本发明实施例在训练表情学习网络的过程中，引入了获取权重分配网络，通过获取权重分配网络为表情学习网络输出的表情参量进行加权处理，能够使得不同表情之间的过渡衔接自然，提高面部区域的表情效果。
需要说明的是，本发明实施例仅是以通过获取权重分配网络辅助训练表情学习网络为例，对表情学习网络的训练过程进行示例性说明，而在另一实施例中，可以无需通过获取权重分配网络，来训练表情学习网络。在一种可能实现方式中，计算机设备对于任一第一表情学习网络，根据根据第一面部区域的训练表情参量，对第一表情学习网络执行迭代训练操作，得到第二表情学习网络，该第二表情学习网络用于学习第一面部区域的表情，该第一面部区域是与第一表情学习网络对应于同一准确度指示标识的面部区域；根据根据训练得到的多个第二表情学习网络，获取表情优化模型。
在一些实施例中，计算机设备根据根据第一面部区域的训练表情参量，对第一表情学习网络执行迭代训练操作，得到第二表情学习网络，包括：获取第二面部区域，第二面部区域是预置表情区域中除第一面部区域之外的其他面部区域；从预置表情区域的训练表情参量中，确定第二面部区域的训练表情参量；根据根据第一面部区域的训练表情参量以及第二面部区域的训练表情参量，对第一表情学习网络执行迭代训练操作，得到第二表情学习网络。
在一些实施例中，第一表情学习网络包括多个第一表情预测架构，该多个第一表情预测架构用于学习不同表情种类的表情。以下以第一表情学习网络包括多个第一表情预测架构为例，训练第一表情学习网络得到第二表情学习网络的过程进行示例性说明。
在一种可能实现方式中，面部区域的训练表情参量包括样本表情种类，计算机设备根据根据第一面部区域的训练表情参量，对第一表情学习网络执行迭代训练操作，得到第二表情学习网络，包括：计算机设备根据根据第一面部区域的训练表情参量中的样本表情种类，将该第一面部区域的训练表情参量输入到第一表情学习网络中与该样本表情种类匹配的第一表情预测架构，该第一表情预测架构用于学习该表情种类的表情；根据根据该第一面部区域的训练表情参量，对该第一表情预测架构执行迭代训练操作，得到第二表情预测架构；根据根据训练后的多个第二表情预测架构，获取第二表情学习网络。
需要说明的是，在训练第一表情学习网络的时候，会采用不同表情种类的训练表情参量对第一表情学习网络执行迭代训练操作，以使第一表情学习网络学习第一面部区域不同表情种类的表情，因此，第一表情学习网络中的多个第一表情预测架构都可以被训练到。
需要说明的是，计算机设备对多个第一表情预测架构训练，得到多个第二表情预测架构时，第一表情学习网络可以称为第三表情学习网络。也就是说，计算机设备对第一表情学习网络中的多个第一表情预测架构执行迭代训练操作之后，得到第三表情学习网络，该第三表情学习网络包括训练得到的多个第二表情预测架构。
在一些实施例中，计算机设备根据根据第三表情学习网络，获取第二表情学习网络。由于第三表情学习网络中包括多个第二表情预测架构，因此，每个第二表情预测架构用于生成一种表情种类的表情，因此，第三表情学习网络的超参数网络架构数据数目较多，模型尺寸较大，可以对第三表情学习网络进行压缩，得到第二表情学习网络。在一种可能实现方式中，计算机设备对第三表情学习网络中的多个第二表情预测架构执行整合操作，得到第二表情学习网络。可选地，该第二表情学习网络包括一个表情预测架构，该表情预测架构用于为第一面部区域生成不同表情种类的表情参量。
可选地，计算机设备对第三表情学习网络中的多个第二表情预测架构执行整合操作，包括：将多个第二表情预测架构中对应的超参数网络架构数据进行加权处理。
在一些实施例中，通过获取权重分配网络来辅助表情学习网络执行迭代训练操作，这样，在将第三表情学习网络中的多个第二表情预测架构执行整合操作时，可以根据根据获取权重分配网络来获取多个第二表情预测架构的权重。例如，获取多个第二表情预测架构中超参数网络架构数据的权重。
在一种可能实现方式中，该第三表情学习网络包括多个第二表情预测架构，该多个第二表情预测架构用于学习不同表情种类的表情，该第二权重分配网络用于获取该多个第二表情预测架构输出的表情参量的权重。可选地，计算机设备根据根据该第三表情学习网络和第二权重分配网络，获取第二表情学习网络，包括：根据根据第二权重分配网络获取多个第二表情预测架构的权重；根据根据该多个第二表情预测架构的权重，对多个第二表情预测架构执行整合操作，得到第二表情学习网络。
在一些实施例中，多个第一表情学习网络分别对应一个第一权重分配网络，以下以“多个第一表情学习网络分别对应一个第一权重分配网络”为例，对获取权重分配网络辅助表情学习网络训练的过程进行示例性说明。
在一种可能实现方式中，计算机设备确定多个第一表情学习网络分别对应的第一权重分配网络；对于任一第一表情学习网络，根据根据第一面部区域的训练表情参量，对该第一表情学习网络和该第一表情学习网络对应的第一权重分配网络执行迭代训练操作，得到第三表情学习网络和第二权重分配网络，该第一面部区域是与该第一表情学习网络对应于同一准确度指示标识的面部区域；根据根据第三表情学习网络和第二权重分配网络，获取第二表情学习网络；根据根据训练得到的多个第二表情学习网络，获取该表情优化模型。
可选地，面部区域的训练表情参量包括该面部区域在预设周期范围内的第一训练表情参量和该面部区域在预设周期范围的下一周期的第二训练表情参量。计算机设备根据根据第一面部区域的训练表情参量，对该第一表情学习网络和该第一表情学习网络对应的第一权重分配网络执行迭代训练操作，得到第三表情学习网络和第二权重分配网络，包括：通过第一表情学习网络，对第一面部区域的第一训练表情参量进行处理，得到第一面部区域的第一待处理表情参量，该第一待处理表情参量为第一表情学习网络为第一面部区域获取的预设周期范围的下一周期的表情参量；通过第一权重分配网络，对第一待处理表情参量进行处理，得到第二待处理表情参量；根据根据第二待处理表情参量和第二训练表情参量，对第一表情学习网络和第一权重分配网络执行迭代训练操作，得到第三表情学习网络和第二权重分配网络。
第一权重分配网络用于获取第一表情学习网络输出的表情参量的权重。在一些实施例中，计算机设备通过第一权重分配网络，对第一待处理表情参量进行处理，得到第二待处理表情参量，包括：计算机设备通过第一权重分配网络，对第一待处理表情参量进行处理，得到第一待处理表情参量的权重；根据根据第一待处理表情参量的权重对该第一待处理表情参量进行加权处理，得到第二待处理表情参量。
需要说明的是，计算机设备通过第一权重分配网络，对第一待处理表情参量进行处理，得到第一待处理表情参量的权重时，可以根据根据第一待处理表情参量中部分数据来获取权重，也可以根据根据全部数据来获取权重。
在一些实施例中，计算机设备通过第一权重分配网络，对第一待处理表情参量进行处理，得到第一待处理表情参量的权重，包括：计算机设备通过第一权重分配网络，对第一待处理表情参量中的关键点的表情参量进行处理，得到第一待处理表情参量的权重。
其中，关键点可以是第一面部区域的中心点，还可以是第一面部区域的任一点，本发明实施例对关键点不做限定。
在一些实施例中，第三表情学习网络包括多个第二表情预测架构，该多个第二表情生成用于学习不同表情种类的表情，计算机设备根据根据第三表情学习网络和第二权重分配网络，获取第二表情学习网络，包括：计算机设备根据根据第二权重分配网络获取第三表情学习网络中多个第二表情预测架构的权重，根据根据多个第二表情预测架构的权重，将多个第二表情预测架构执行整合操作，得到第二表情学习网络。
也就是说，计算机设备通过第一面部区域不同表情种类的训练表情参量，对第一表情学习网络中的多个第一表情预测架构执行迭代训练操作，得到训练后的多个第二表情预测架构，也即是第三表情学习网络。其中，计算机设备在训练多个第一表情预测架构时，会按照训练表情参量的表情种类，将训练表情参量输入到相应的第一表情预测架构进行处理，第一权重分配网络会为该第一表情预测架构输出的表情参量获取权重。需要说明的是，本发明实施例中，第一权重分配网络为不同的第一表情预测架构输出的表情参量获取权重的方法相同，在此不再一一赘述。
计算机设备在对任一个第一表情学习网络，根据根据训练表情参量和该第一表情学习网络对应的第一权重分配网络执行迭代训练操作时，均是采用当前实施例所示的方法，在此不再一一赘述。
在一些实施例中，多个第一表情学习网络共用一个第一权重分配网络，以下以“多个第一表情学习网络对共用一个第一权重分配网络”为例，对获取权重分配网络辅助表情学习网络训练的过程进行示例性说明。
在一种可能实现方式中，面部区域的训练表情参量包括面部区域在预设周期范围的第一训练表情参量和在预设周期范围的下一周期的第二训练表情参量。
计算机设备确定多个第一表情学习网络对应的第一权重分配网络；按照面部区域与第一表情学习网络的关联信息，将多个面部区域的第一训练表情参量分别输入到多个第一表情学习网络中，通过多个第一表情学习网络分别对输入的第一训练表情参量进行处理，得到多个第一表情学习网络输出的多个面部区域的第一待处理表情参量，第一待处理表情参量为第一表情学习网络为面部区域预测的下一周期的表情参量；通过第一权重分配网络对多个第一表情学习网络输出的多个面部区域的第一待处理表情参量进行处理，得到多个面部区域的第二待处理表情参量；对于任一第一表情学习网络，根据根据输入该第一表情学习网络的第一面部区域的第二训练表情参量和该第一面部区域的第二待处理表情参量，对该第一表情学习网络执行迭代训练操作，得到第三表情学习网络，其中，第一面部区域是与该第一表情学习网络对应于同一准确度指示标识的面部区域。根据根据多个面部区域的第二训练表情参量和第二待处理表情参量，对第一权重分配网络执行迭代训练操作，得到第二权重分配网络；根据根据多个第三表情学习网络和第二权重分配网络，获取多个第二表情学习网络；根据根据该多个第二表情学习网络，获取表情优化模型。
例如，多个面部区域包括面部区域1、面部区域2和面部区域3。多个第一表情学习网络包括第一表情学习网络1和第一表情学习网络2。其中，面部区域1、面部区域2和第一表情学习网络1对应于同一准确度指示标识，面部区域3和第一表情学习网络2对应于同一准确度指示标识。
在根据根据预置表情区域的训练表情参量训练多个第一表情学习网络时，面部区域1和面部区域2的训练表情参量输入到第一表情学习网络1中，面部区域3的训练表情参量输入到第一表情学习网络2中。第一表情学习网络1和第一表情学习网络2输出的多个面部区域的第一待处理表情参量均输入到第一权重分配网络中，由第一权重分配网络对多个面部区域的第一待处理表情参量进行处理，得到多个面部区域的第二待处理表情参量；根据根据该预置表情区域的训练表情参量和第二待处理表情参量，对第一权重分配网络执行迭代训练操作，得到第二权重分配网络；根据根据面部区域1的训练表情参量和第二待处理表情参量以及面部区域2的训练表情参量和第二待处理表情参量，对第一表情学习网络1执行迭代训练操作，得到第三表情学习网络1；根据根据面部区域3的训练表情参量和第二待处理表情参量，对第一表情学习网络2执行迭代训练操作，得到第三表情学习网络2。
之后，根据根据第二权重分配网络，获取每个第三表情学习网络中第二表情预测架构的权重，根据根据第二权重分配网络为第二表情预测架构获取的权重，将属于同一第三表情学习网络的第二表情预测架构执行整合操作，得到多个第二表情学习网络。
本发明实施例中，在通过模型训练得到表情优化模型之后，可以将该表情优化模型部署在终端，在终端运行游戏应用时，调用该表情优化模型为游戏应用中的虚拟人物（如虚拟人物、虚拟动物等）生成表情参量，根据根据该表情参量控制虚拟人物显示表情。以下对终端调用表情优化模型为游戏中的虚拟人物生成表情参量。
本发明实施例还提供以下示例。
801、终端响应于对虚拟环境中的虚拟人物的操控指示，确定该虚拟人物的第一表情参量和操控参量，该第一表情参量为虚拟人物的多个面部区域在当前时间节点的表情参量。
其中，该当前时间节点可以是一个表情片段中的任一帧，例如，在实时游戏场景中，该当前时间节点是指当前帧。
802、终端根据根据第一关联信息，对该操控参量进行匹配操作，得到第二表情参量，该第一关联信息用于表示操控参量和表情参量的匹配关系。
803、终端通过表情优化模型，对第一表情参量和第二表情参量进行处理，得到第三表情参量，该第三表情参量为多个面部区域在当前时间节点的下一时间节点的表情参量。
需要说明的是，上述步骤802中的表情优化模型是通过前述实施例来训练的，因此，该表情优化模型的模型尺寸较小，终端运行该表情生成模型所消耗的计算资源较好，不会造成应用程序卡顿。
804、终端根据根据第三表情参量，控制虚拟人物显示表情。
由于第三表情参量是多个面部区域的表情参量，因此，可以控制虚拟人物的多个面部区域按照相应的表情参量表情，以使虚拟人物执行相应的表情。
本发明实施例提供一种服务器100，服务器100包括处理器及存储有计算机指令的非易失性存储器，计算机指令被处理器执行时，服务器100执行前述的一种用户表情捕捉模型的训练方法。如图2所示，图2为本发明实施例提供的服务器100的结构框图。服务器100包括存储器111、处理器112及通信单元113。为实现数据的传输或交互，存储器111、处理器112以及通信单元113各元件相互之间直接或间接地电性连接。
出于说明目的，前面的描述是参考具体实施例而进行的。但是，上述说明性论述并不打算穷举或将本公开局限于所公开的精确形式。根据上述教导，众多修改和变化都是可行的。选择并描述这些实施例是为了最佳地说明本公开的原理及其实际应用，从而使本领域技术人员最佳地利用本公开，并利用具有不同修改的各种实施例以适于预期的特定应用。出于说明目的，前面的描述是参考具体实施例而进行的。但是，上述说明性论述并不打算穷举或将本公开局限于所公开的精确形式。根据上述教导，众多修改和变化都是可行的。选择并描述这些实施例是为了最佳地说明本公开的原理及其实际应用，从而使本领域技术人员最佳地利用本公开，并利用具有不同修改的各种实施例以适于预期的特定应用。

Claims (10)

1.一种用户表情捕捉模型的训练方法，其特征在于，包括：
确定第一训练表情数据集、第二训练表情数据集和第三训练表情数据集，所述第一训练表情数据集中的样本为常用表情数据，所述第二训练表情数据集中的样本为非常规表情数据，所述第三训练表情数据集包括常用表情数据和非常规表情数据；
使用所述第一训练表情数据集中的常用表情数据对原始用户表情捕捉模型执行初始训练操作，获得进阶用户表情捕捉模型；
遍历轮询地从所述第一训练表情数据集、所述第二训练表情数据集和所述第三训练表情数据集中，获得模型更新所需的更新表情数据集，在使用所述更新表情数据集中的更新表情数据对所述进阶用户表情捕捉模型进行模型更新的过程中，筛掉属于所述第三训练表情数据集且包括常用表情的更新表情数据对应的梯度向量后，使用所述更新表情数据集中剩余的更新表情数据对应的梯度向量更新所述进阶用户表情捕捉模型的超参数，直至损失函数达到预设条件时，获得用于对常用表情数据及非常规表情数据进行表情捕捉的用户表情捕捉模型。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述用户表情捕捉模型完成对目标用户的表情捕捉，得到目标表情数据；
确定所述目标表情数据对应的位于虚拟环境的预置表情区域；
利用根据所述目标表情数据训练的表情优化模型，控制所述预置表情区域对应的虚拟人物显示表情。
3.根据权利要求2所述的方法，其特征在于，所述利用根据所述目标表情数据训练的表情优化模型，控制所述预置表情区域对应的虚拟人物显示表情，包括：
获取预置表情区域的多个准确度指示标识，所述多个准确度指示标识用于表示所述预置表情区域的多个面部区域的不同准确度指示，一个准确度指示标识对应至少一个面部区域；
根据根据所述多个准确度指示标识，获取多个需求计算难度系数，一个需求计算难度系数对应一个准确度指示标识，且所述需求计算难度系数与对应的准确度指示标识表征的准确度指示为正相关关系；
生成网络计算难度系数分别为所述多个需求计算难度系数的多个第一表情学习网络，所述多个第一表情学习网络分别用于学习不同准确度指示的面部区域的表情；
对于任一第一表情学习网络，从所述预置表情区域的训练表情参量中，确定第一准确度指示标识对应的第一面部区域的训练表情参量，所述第一准确度指示标识对应于所述第一表情学习网络的需求计算难度系数，所述训练表情参量源于所述目标表情数据；
根据所述第一面部区域的训练表情参量，对所述第一表情学习网络执行迭代训练操作，得到第二表情学习网络，所述第二表情学习网络用于为所述第一面部区域生成表情参量；
根据根据训练得到的多个第二表情学习网络，获取表情优化模型，所述表情优化模型用于为所述多个面部区域生成不同精度的表情参量；
响应于对虚拟环境中的虚拟人物的操控指示，确定所述虚拟人物的第一表情参量和操控参量，所述第一表情参量为所述虚拟人物的多个面部区域在当前时间节点的表情参量；
根据根据第一关联信息，对所述操控参量进行匹配操作，得到第二表情参量，所述第一关联信息用于表示操控参量和表情参量的匹配关系；
通过所述表情优化模型，对所述第一表情参量和所述第二表情参量进行处理，得到第三表情参量，所述第三表情参量为所述多个面部区域在所述当前时间节点的下一时间节点的表情参量；
根据根据所述第三表情参量，控制所述虚拟人物显示表情。
4.根据权利要求3所述的方法，其特征在于，所述根据根据所述第一面部区域的训练表情参量，对所述第一表情学习网络执行迭代训练操作，得到第二表情学习网络，包括：
获取第二面部区域，所述第二面部区域是所述预置表情区域中除所述第一面部区域之外的其他面部区域；
从所述预置表情区域的训练表情参量中，确定所述第二面部区域的训练表情参量；
根据根据所述第一面部区域的训练表情参量以及所述第二面部区域的训练表情参量，对所述第一表情学习网络执行迭代训练操作，得到第二表情学习网络；
所述获取第二面部区域，包括：
根据根据第一关联关系，获取所述预置表情区域中影响所述第一面部区域表情的第二面部区域，所述第一关联关系用于表示所述多个面部区域表情的关联关系；或者，
获取所述预置表情区域中多个面部区域在所述预置表情区域中的占有率，将占有率超过第一占有率的面部区域获取为所述第二面部区域；或者，
根据根据所述第一面部区域对应的准确度指示标识，获取至少一个目标准确度指示标识，所述目标准确度指示标识所指示的准确度指示大于所述第一面部区域对应的准确度指示标识所指示的准确度指示；将所述至少一个目标准确度指示标识对应的面部区域获取为所述第二面部区域；
所述面部区域的训练表情参量包括所述面部区域在预设周期范围内的第一训练表情参量和所述面部区域在所述预设周期范围的下一周期的第二训练表情参量；
所述根据根据所述第一面部区域的训练表情参量以及所述第二面部区域的训练表情参量，对所述第一表情学习网络执行迭代训练操作，得到第二表情学习网络，包括：
通过所述第一表情学习网络，对所述第一面部区域的第一训练表情参量以及所述第二面部区域的第一训练表情参量进行处理，得到所述第一面部区域的第一待处理表情参量，所述第一待处理表情参量为所述第一表情学习网络为所述第一面部区域获取的所述预设周期范围的下一周期的表情参量；
根据根据所述第一待处理表情参量和所述第一面部区域的第二训练表情参量，对所述第一表情学习网络执行迭代训练操作，得到所述第二表情学习网络。
5.根据权利要求3所述的方法，其特征在于，所述根据根据所述多个准确度指示标识，获取多个需求计算难度系数，包括：
对于任一准确度指示标识，获取所述准确度指示标识所指示的准确度指示数值，根据根据所述准确度指示数值，获取所述需求计算难度系数，所述需求计算难度系数与所述准确度指示数值为正相关关系；或者，
对于任一准确度指示标识，获取所述准确度指示标识对应的面部区域的第一数目，根据根据所述第一数目，获取所述需求计算难度系数，所述需求计算难度系数与所述第一数目为正相关关系；
所述获取预置表情区域的多个准确度指示标识，包括：
获取所述预置表情区域中多个面部区域在所述预置表情区域中的占有率，根据根据所述多个面部区域的占有率，获取所述多个面部区域对应的多个准确度指示标识，所述面部区域对应的准确度指示标识表征的准确度指示与所述占有率为正反馈关系；或者，
根据根据所述预置表情区域的功能信息，获取所述预置表情区域中多个面部区域的关键指标数据，根据根据所述多个面部区域的关键指标数据，获取所述多个面部区域对应的准确度指示标识，所述面部区域对应的准确度指示标识表征的准确度指示与所述面部区域的关键指标数据表征的重要性为正反馈关系。
6.根据权利要求1所述的方法，其特征在于，所述使用所述第一训练表情数据集中的常用表情数据对原始用户表情捕捉模型执行初始训练操作，获得进阶用户表情捕捉模型，包括：
从所述第一训练表情数据集中确定常用表情数据及对应的表情分类标识；
通过所述原始用户表情捕捉模型中的表情特征识别层，提取各所述常用表情数据对应的表情特征向量；
通过所述原始用户表情捕捉模型中的表情类型划分层，根据所述表情特征向量获得各所述常用表情数据对应的表情捕捉分类结果；
根据所述表情分类标识与所述表情捕捉分类结果构建初始代价函数；
将所述初始代价函数最小化时的超参数作为所述原始用户表情捕捉模型更新的超参数后，返回所述从所述第一训练表情数据集中确定常用表情数据的步骤继续训练，直至完成训练。
7.根据权利要求1所述的方法，其特征在于，所述从所述第一训练表情数据集、所述第二训练表情数据集和所述第三训练表情数据集中，获得模型更新所需的更新表情数据集，包括：
确定提前设置的数据抽取规则；
按照所述数据抽取规则分别对所述第一训练表情数据集、所述第二训练表情数据集和所述第三训练表情数据集执行数据抽取操作，获得模型更新所需的所述更新表情数据集。
8.根据权利要求1所述的方法，其特征在于，所述在使用所述更新表情数据集中的更新表情数据对所述进阶用户表情捕捉模型进行模型更新的过程中，筛掉属于所述第三训练表情数据集且包括常用表情的更新表情数据对应的梯度向量后，使用所述更新表情数据集中剩余的更新表情数据对应的梯度向量更新所述进阶用户表情捕捉模型的超参数，包括：
通过所述进阶用户表情捕捉模型中的表情特征识别层，提取各所述更新表情数据对应的表情特征向量；
通过所述进阶用户表情捕捉模型中的表情类型划分层，根据所述表情特征向量获得各所述更新表情数据对应的表情捕捉分类结果；
根据所述更新表情数据集中属于所述第一训练表情数据集的更新表情数据对应的表情分类标识及所述表情捕捉分类结果，构建常用代价函数；
根据所述更新表情数据集中属于所述第二训练表情数据集的更新表情数据对应的表情分类标识及所述表情捕捉分类结果，构建非常规代价函数；
根据所述更新表情数据集中属于所述第三训练表情数据集的更新表情数据对应的表情分类标识及所述表情捕捉分类结果，构建综合代价函数；
确定提前设置的代价分配权重；
按照所述代价分配权重对所述常用代价函数、所述非常规代价函数和所述综合代价函数求和，获得所述模型更新代价函数；
在所述模型更新代价函数最小化时获得各所述更新表情数据对应的梯度向量；
从各所述更新表情数据对应的梯度向量中，筛掉属于所述第三训练表情数据集且包括常用表情的更新表情数据对应的梯度向量后，使用所述更新表情数据集中剩余的更新表情数据对应的梯度向量更新所述进阶用户表情捕捉模型的超参数。
9.根据权利要求1所述的方法，其特征在于，所述在使用所述更新表情数据集中的更新表情数据对所述进阶用户表情捕捉模型进行模型更新的过程中，筛掉属于所述第三训练表情数据集且包括常用表情的更新表情数据对应的梯度向量后，使用所述更新表情数据集中剩余的更新表情数据对应的梯度向量更新所述进阶用户表情捕捉模型的超参数，包括：
当所述更新表情数据集中，从所述第三训练表情数据集中采样得到的更新表情数据包括非常规表情数据时，则使用属于所述第三训练表情数据集且包括非常规表情的更新表情数据、属于所述第一训练表情数据集的更新表情数据和属于所述第二训练表情数据集的更新表情数据对应的梯度向量，更新所述进阶用户表情捕捉模型的超参数；
当所述更新表情数据集中，从所述第三训练表情数据集中采样得到的更新表情数据不包括非常规表情数据时，则使用属于所述第一训练表情数据集的更新表情数据和属于所述第二训练表情数据集的更新表情数据对应的梯度向量，更新所述进阶用户表情捕捉模型的超参数。
10.一种服务器系统，其特征在于，包括服务器，所述服务器用于执行权利要求1-9中任一项所述的方法。
CN202310388392.2A 2023-04-12 2023-04-12 一种用户表情捕捉模型的训练方法及系统 Pending CN116630736A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310388392.2A CN116630736A (zh) 2023-04-12 2023-04-12 一种用户表情捕捉模型的训练方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310388392.2A CN116630736A (zh) 2023-04-12 2023-04-12 一种用户表情捕捉模型的训练方法及系统

Publications (1)

Publication Number Publication Date
CN116630736A true CN116630736A (zh) 2023-08-22

Family

ID=87640642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310388392.2A Pending CN116630736A (zh) 2023-04-12 2023-04-12 一种用户表情捕捉模型的训练方法及系统

Country Status (1)

Country Link
CN (1) CN116630736A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116943226A (zh) * 2023-09-20 2023-10-27 小舟科技有限公司 基于情绪识别的游戏难度调节方法、系统、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116943226A (zh) * 2023-09-20 2023-10-27 小舟科技有限公司 基于情绪识别的游戏难度调节方法、系统、设备及介质
CN116943226B (zh) * 2023-09-20 2024-01-05 小舟科技有限公司 基于情绪识别的游戏难度调节方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN106469302B (zh) 一种基于人工神经网络的人脸肤质检测方法
CN111582342B (zh) 一种图像识别方法、装置、设备以及可读存储介质
CN111414946B (zh) 基于人工智能的医疗影像的噪声数据识别方法和相关装置
CN112221159B (zh) 一种虚拟道具推荐方法、装置及计算机可读存储介质
CN110555896B (zh) 一种图像生成方法、装置以及存储介质
CN110288513B (zh) 用于改变人脸属性的方法、装置、设备和存储介质
CN113255617B (zh) 图像识别方法、装置、电子设备和计算机可读存储介质
CN111368926B (zh) 图像筛选方法、装置和计算机可读存储介质
CN113221663A (zh) 一种实时手语智能识别方法、装置及系统
CN109919252A (zh) 利用少数标注图像生成分类器的方法
CN111783532A (zh) 一种基于在线学习的跨年龄人脸识别方法
CN112990154B (zh) 一种数据处理方法、计算机设备以及可读存储介质
CN112052759B (zh) 一种活体检测方法和装置
CN115050064A (zh) 人脸活体检测方法、装置、设备及介质
CN116630736A (zh) 一种用户表情捕捉模型的训练方法及系统
CN111382791B (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
CN115146761A (zh) 一种缺陷检测模型的训练方法和相关装置
CN111401193A (zh) 获取表情识别模型的方法及装置、表情识别方法及装置
CN111598144A (zh) 图像识别模型的训练方法和装置
CN113128526B (zh) 图像识别方法、装置、电子设备和计算机可读存储介质
CN113762019B (zh) 特征提取网络的训练方法、人脸识别方法和装置
CN111275059B (zh) 一种图像处理方法、装置和计算机可读存储介质
CN117437467A (zh) 模型训练方法、装置、电子设备及存储介质
TWI667054B (zh) 飛行器飛行控制方法、裝置、飛行器及系統
CN114768246B (zh) 一种游戏人机互动方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: China

Address after: Building 60, 1st Floor, No.7 Jiuxianqiao North Road, Chaoyang District, Beijing 021

Applicant after: Shiyou (Beijing) Technology Co.,Ltd.

Address before: 4017, 4th Floor, Building 2, No.17 Ritan North Road, Chaoyang District, Beijing

Applicant before: 4U (BEIJING) TECHNOLOGY CO.,LTD.

Country or region before: China