CN113633983B - 虚拟角色表情控制的方法、装置、电子设备及介质 - Google Patents
虚拟角色表情控制的方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN113633983B CN113633983B CN202110937571.8A CN202110937571A CN113633983B CN 113633983 B CN113633983 B CN 113633983B CN 202110937571 A CN202110937571 A CN 202110937571A CN 113633983 B CN113633983 B CN 113633983B
- Authority
- CN
- China
- Prior art keywords
- expression
- adaptive model
- parameters
- virtual character
- role
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 255
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000012549 training Methods 0.000 claims abstract description 135
- 230000008921 facial expression Effects 0.000 claims abstract description 133
- 230000009471 action Effects 0.000 claims abstract description 51
- 230000003044 adaptive effect Effects 0.000 claims description 102
- 238000012216 screening Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 8
- 230000008451 emotion Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 210000000697 sensory organ Anatomy 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 210000001097 facial muscle Anatomy 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010028813 Nausea Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000008693 nausea Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/55—Controlling game characters or game objects based on the game progress
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/65—Methods for processing data by generating or executing the game program for computing the condition of a game character
Abstract
本申请提供一种虚拟角色表情控制的方法、装置、电子设备及介质，涉及计算机技术领域。该方法包括：获取目标视频中每一帧的面部表情图像对应的表情基权重参数，将表情基权重参数输入至第一虚拟角色对应的目标混合形状自适应模块，得到表情基权重参数对应的第一虚拟角色的控制器参数，以根据控制器参数控制第一虚拟角色执行对应的面部表情动作，其中目标混合形状自适应模型包含对初始混合形状自适应模型进行训练得到的表情基权重参数与第一虚拟角色对应的控制器参数之间的对应关系。通过本申请可提高虚拟角色的面部表情动作的表达效果。
Description
技术领域
本发明涉及计算机技术领域，具体而言，涉及一种虚拟角色表情控制的方法、装置、电子设备及介质。
背景技术
制作可信和准确的动画人物面部表情在动漫和电脑游戏中起着至关重要的作用，根据故事情节，角色必须表现出与情绪状态一致的清晰可识别的面部表情。
由于虚拟角色面部表情的变化与影视化的表演艺术有着本质区别，真实人物面部表情是指通过眼部肌肉、口周肌肉、脸面肌肉的运动变化来表现不同的情绪状态；而虚拟角色的面部基本由五官占据，表情的变化缺少面部肌肉形变过程的体现，单由五官产生细微的形变，缺少了对人物性格的塑造，故需要不断的对五官形变进行“夸张”去营造强烈的视觉体验。
因此，现有的虚拟角色建模方法以及人脸面部动作捕捉方法虽然较为成熟，但难以满足通过虚拟角色清晰表达人物情感，且虚拟角色制作的效率会十分缓慢。
发明内容
本发明的目的在于，针对上述现有技术中的不足，提供一种虚拟角色表情控制的方法、装置、电子设备及介质，以便提高虚拟角色的表情表达效果。
为实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供了一种虚拟角色表情控制的方法，所述方法包括：
获取目标视频中每一帧的面部表情图像对应的表情基权重参数；
将所述表情基权重参数输入至第一虚拟角色对应的目标混合形状自适应模型，得到所述表情基权重参数对应的所述第一虚拟角色的控制器参数，以根据所述控制器参数控制所述第一虚拟角色执行对应的面部表情动作；
其中，所述目标混合形状自适应模型包含对初始混合形状自适应模型进行训练得到的表情基权重参数与所述第一虚拟角色对应的控制器参数之间的对应关系。
可选的，所述方法还包括：
获取第一表情图像样本对应的第一组表情基权重参数；
将所述第一组表情基权重参数输入待训练的初始混合形状自适应模型，得到所述第一表情图像样本对应的控制器参数；
根据所述第一表情图像样本对应的控制器参数对所述初始混合形状自适应模型的参数进行更新；
对更新后的所述初始混合形状自适应模型进行下一步数的训练，直到满足预设的训练完成条件，得到训练完成的目标混合形状自适应模型。
可选的，所述对更新后的所述初始混合形状自适应模型进行下一步数的训练，包括：
获取第二表情图像样本对应的第二组表情基权重参数；
将所述第二组表情基权重参数、以及当前训练步数之前的M步训练分别得到的控制器参数输入所述更新后的初始混合形状自适应模型，得到本轮训练输出的控制器参数，其中，M为正整数。
可选的，所述获取目标视频中每一帧的面部表情图像对应的表情基权重参数，包括：
获取所述目标视频的第一播放帧率，以及所述第一虚拟角色对应的第二播放帧率；
当所述第二播放帧率为所述第一播放帧率的N倍时，根据目标视频中每一帧的面部表情图像获得一组表情基权重参数；
将获得的多组表情基权重参数划分为多个大组，每个大组包含N组表情基权重参数；
从每个所述大组中确定一组表情基权重参数作为所述大组对应的表情基权重参数；
根据所述目标视频中每一帧的面部表情图像对应的大组以及相应大组对应的表情基权重参数，确定所述目标视频中每一帧的面部表情图像对应的表情基权重参数。
可选的，所述预设的训练完成条件包括预设的收敛条件，所述预设的收敛条件为模型在任一训练步数中的损失值小于或等于预设阈值；
所述方法还包括：
根据所述初始混合形状自适应模型在当前训练步数中的输入数据、输出数据和参考数据，获得所述初始混合形状自适应模型在当前步数中的损失值。
可选的，所述方法还包括：
将所述第一虚拟角色的控制器参数输入至所述第二虚拟角色对应的多角色自适应模型，得到第二虚拟角色的控制器参数，以控制所述第二虚拟角色执行对应的面部表情动作；
其中，所述多角色自适应模型包含经过训练得到的所述第一虚拟角色的控制器参数与所述第二虚拟角色的控制器参数之间的对应关系。
可选的，所述将所述第一虚拟角色的控制器参数输入至所述第二虚拟角色对应的多角色自适应模型，得到第二虚拟角色的控制器参数，包括：
将获取的所述第一虚拟角色的控制器参数输入初始多角色自适应模型中，得到所述第二虚拟角色对应的初始控制器参数；
根据所述初始控制器参数对所述初始多角色自适应模型的参数进行更新；
将所述第一虚拟角色的控制器参数输入更新后的所述初始多角色自适应模型进行下一步数的训练，直到满足预设的训练完成条件，得到训练完成的所述多角色自适应模型，并将满足所述训练完成条件时的多角色自适应模型输出的控制器参数作为所述第二虚拟角色的控制器参数。
可选的，所述方法还包括：
从样本视频库中筛选辨识度大于或等于预设辨识度的视频作为所述目标视频。
第二方面，本申请实施例还提供一种虚拟角色表情控制的装置，所述装置包括：
参数获取模块，用于获取目标视频中每一帧的面部表情图像的表情基参数；
控制器参数确定模块，用于将所述表情基权重参数输入至第一虚拟角色对应的目标混合形状自适应模型，得到所述表情基权重参数对应的所述第一虚拟角色的控制器参数，以根据所述控制器参数控制所述第一虚拟角色执行对应的面部表情动作；
其中，所述目标混合形状自适应模型包含对初始混合形状自适应模型进行训练得到的表情基权重参数与所述第一虚拟角色对应的控制器参数之间的对应关系。
可选的，所述装置还包括：
第一样本参数获取模块，用于获取第一表情图像样本对应的第一组表情基权重参数；
第一模型训练模块，用于将所述第一组表情基权重参数输入待训练的初始混合形状自适应模型，得到所述第一表情图像样本对应的控制器参数；
模型更新模块，用于根据所述第一表情图像样本对应的控制器参数对所述初始混合形状自适应模型的参数进行更新；
第二模型训练模块，用于对更新后的所述初始混合形状自适应模型进行下一步数的训练，直到满足预设的训练完成条件，得到训练完成的目标混合形状自适应模型。
可选的，所述第二模型训练模块，包括：
第二样本参数获取单元，用于获取第二表情图像样本对应的第二组表情基权重参数；
第二模型训练单元，用于将所述第二组表情基权重参数、以及当前训练步数之前的M步训练分别得到的控制器参数输入所述更新后的初始混合形状自适应模型，得到本轮训练输出的控制器参数，其中，M为正整数。
可选的，所述参数获取模块，包括：
播放帧率获取单元，用于获取所述目标视频的第一播放帧率，以及所述第一虚拟角色对应的第二播放帧率；
参数获取单元，用于当所述第二播放帧率为所述第一播放帧率的N倍时，根据目标视频中每一帧的面部表情图像获得一组表情基权重参数；
参数划分单元，用于将获得的多组表情基权重参数划分为多个大组，每个大组包含N组表情基权重参数；
参数选择单元，用于从每个所述大组中确定一组表情基权重参数作为所述大组对应的表情基权重参数；
参数确定单元，用于根据所述目标视频中每一帧的面部表情图像对应的大组以及相应大组对应的表情基权重参数，确定所述目标视频中每一帧的面部表情图像对应的表情基权重参数。
可选的，所述预设的训练完成条件包括预设的收敛条件，所述预设的收敛条件为模型在任一训练步数中的损失值小于或等于预设阈值；所述装置还包括：
损失值计算模块，用于根据所述初始混合形状自适应模型在当前训练步数中的输入数据、输出数据和参考数据，获得所述初始混合形状自适应模型在当前步数中的损失值。
可选的，所述装置还包括：
多角色控制器参数确定模块，用于将所述第一虚拟角色的控制器参数输入至所述第二虚拟角色对应的多角色自适应模型，得到第二虚拟角色的控制器参数，以控制所述第二虚拟角色执行对应的面部表情动作；
其中，所述多角色自适应模型包含经过训练得到的所述第一虚拟角色的控制器参数与所述第二虚拟角色的控制器参数之间的对应关系。
可选的，所述多角色控制器参数确定模块，包括：
初始参数确定单元，用于将获取的所述第一虚拟角色的控制器参数输入初始多角色自适应模型中，得到所述第二虚拟角色对应的初始控制器参数；
多角色模型更新单元，用于根据所述初始控制器参数对所述初始多角色自适应模型的参数进行更新；
多角色控制器参数确定单元，用于将所述第一虚拟角色的控制器参数输入更新后的所述初始多角色自适应模型进行下一步数的训练，直到满足预设的训练完成条件，得到训练完成的所述多角色自适应模型，并将满足所述训练完成条件时的多角色自适应模型输出的控制器参数作为所述第二虚拟角色的控制器参数。
第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当所述电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行如上述实施例任一所述的虚拟角色表情控制的方法的步骤。
第四方面，本申请实施例还通过一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述实施例任一所述的虚拟角色表情控制的方法的步骤。
本申请的有益效果是：
本申请提供一种虚拟角色表情控制的方法、装置、电子设备及介质，该方法通过获取目标视频中每一帧的面部表情图像对应的表情基权重参数，将表情基权重参数输入至第一虚拟角色对应的目标混合形状自适应模块，得到表情基权重参数对应的第一虚拟角色的控制器参数，以根据控制器参数控制第一虚拟角色执行对应的面部表情动作，其中目标混合形状自适应模型包含对初始混合形状自适应模型进行训练得到的表情基权重参数与第一虚拟角色对应的控制器参数之间的对应关系。通过本申请提供的方案，可以使第一虚拟角色执行与目标视频相同的面部表情动作，使得第一虚拟角色的面部表情动作可以更准确地表达角色情感，提高了第一虚拟角色的表情表达效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种虚拟角色表情控制的方法的流程示意图；
图2为本申请实施例提供的一种训练目标混合形状自适应模型的流程示意图；
图3为本申请实施例提供的另一训练目标混合形状自适应模型的流程示意图；
图4为本申请实施例提供的另一虚拟角色表情控制的方法的流程示意图；
图5为本申请实施例提供的一种训练多角色自适应模型的流程示意图；
图6为本申请实施例提供的一种虚拟角色表情控制的原理框图；
图7为本申请实施例提供的一种实验效果对比示意图；
图8为本申请实施例提供的一种虚拟角色表情控制的装置的结构示意图；
图9为本申请实施例提供的电子设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要说明的是，若出现术语“上”、“下”、等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
随着三维动画技术的发展，动画虚拟角色受到越来越多用户的喜爱，并开始得到广泛的发展和应用。例如，将动画虚拟角色应用到虚拟现实领域、影视娱乐领域、辅助教学领域等等。如何让动画虚拟角色具有逼真的表情、流畅自然的脸部动作变化，是一个较难解决的问题。
本申请实施例提供的虚拟角色表情控制的方法，其执行主体为具有虚拟角色表情控制功能的电子设备，该电子设备上运行有用于捕捉目标视频中每一帧的面部表情图像中面部表情的捕捉软件和控制虚拟角色执行面部表情动作的应用软件。
图1为本申请实施例提供的一种虚拟角色表情控制的方法的流程示意图；如图1所示，该方法包括：
S11：获取目标视频中每一帧的面部表情图像对应的表情基权重参数。
具体的，在预设的视频播放软件中播放目标视频，目标视频为需要第一虚拟角色执行对应的面部表情动作的视频，采用预设的面部表情捕捉工具，识别目标视频中每一帧的面部表情图像中的面部表情。
根据预先定义的第一虚拟角色的多个基本表情基以及通过动作捕捉获得的每个基本表情基对应的基本表情基权重参数，确定每一帧的面部表情图像中的面部表情所包含的一组基本表情基对应的一组表情基权重参数。
进一步解释为，预先定义第一虚拟角色的中立表情基B0和N个基本表情基{B1,B2,…,BN}，中立表情基为不具有面部表情的第一虚拟角色的三维模型，N个基本表情基为在中立表情基的基础上面部某一部分执行动作的三维模型。例如基本表情基的动作可以为闭上左眼、张开嘴巴、左眼看向右边等。根据面部某一部分执行动作的程度，给予每个基本表情基一个权重系数ωi。
示例的，根据面部表情捕捉工具捕捉的目标视频中每一帧的面部表情图像的面部表情，将面部表情表示为：
则目标视频中每一帧的面部表情图像对应的表情基权重参数βb＝(ω1,ω2,…,ωN)。
预设的面部表情捕捉工具安装在预设的视频播放软件中，以在视频播放软件播放目标视频过程中，同步生成并保存目标视频中每一帧的面部表情图像对应的表情基权重参数，用于控制虚拟角色执行面部表情动作的应用软件与视频播放软件通信，以获取目标视频中每一帧的面部表情图像对应的表情基权重参数。
在本申请实施例中，视频播放软件可以为Faceware公司制作的封装商业软件Studio，Studio可以对图片序列和视频进行人脸追踪，即获取每张图片或每一帧中人脸的形变信息，以表情基权重参数的形式记录下来。控制虚拟角色执行面部表情动作的应用软件为Unity，通过与Studio通信的软件来获取表情基权重参数。
S12：将表情基权重参数输入至第一虚拟角色对应的目标混合形状自适应模型，得到表情基权重参数对应的第一虚拟角色的控制器参数，以根据控制器参数控制第一虚拟角色执行对应的面部表情动作；其中，目标混合形状自适应模型包含对初始混合形状自适应模型进行训练得到的表情基权重参数与第一虚拟角色对应的控制器参数之间的对应关系。
具体的，控制虚拟角色执行面部表情动作的应用软件中具有第一虚拟角色对应的目标混合形状自适应模块，将获取的多帧面部表情图像对应的表情基权重参数输入至目标混合形状自适应模型，根据目标混合形状自适应模型中表情基权重参数和第一虚拟角色的控制器参数之间的对应关系，输出多帧第一虚拟角色的控制器参数。
控制虚拟角色执行面部表情动作的应用软件根据多帧第一虚拟角色的控制器参数，控制第一虚拟角色执行对应目标视频中的面部表情动作。
需要说明的是，目标混合形状自适应网络为预先采用多帧样本面部表情图像的样本表情基权重参数、第一虚拟角色执行样本面部表情图像中样本面部表情的第一样本控制器参数，对初始混合形状自适应网络进行训练，使得初始混合形状自适应网络学习样本表情基权重参数和第一样本控制器参数之间的关系，以得到目标混合形状自适应网络，其中，第一样本控制器参数为采用预设的控制器参数计算方法，根据第一虚拟角色执行样本面部表情的表情基权重参数计算得到的控制器参数。
本申请实施例提供的虚拟角色表情控制的方法，通过获取目标视频中每一帧的面部表情图像对应的表情基权重参数，将表情基权重参数输入至第一虚拟角色对应的目标混合形状自适应模块，得到表情基权重参数对应的第一虚拟角色的控制器参数，以根据控制器参数控制第一虚拟角色执行对应的面部表情动作，其中目标混合形状自适应模型包含对初始混合形状自适应模型进行训练得到的表情基权重参数与第一虚拟角色对应的控制器参数之间的对应关系。通过本申请实施例提供的方法，可以使第一虚拟角色执行与目标视频相同的面部表情动作，使得第一虚拟角色的面部表情动作可以更准确地表达角色情感，提高了第一虚拟角色的表情表达效果。
在上述实施例的基础上，本申请实施例还通过一种虚拟角色表情控制的方法，图2为本申请实施例提供的第一种训练目标混合形状自适应模型的流程示意图，如图2所示，该方法还包括：
S21：获取第一表情图像样本对应的第一组表情基权重参数。
具体的，第一表情图像样本为样本视频中的一帧面部表情图像，样本视频为人类表情视频数据库中的视频，为保证目标混合形状自适应模型的训练效果更佳，可从人类表情视频数据库中选用表情更有辨识度、或者情感更为丰富的视频作为样本视频。
其中，获取第一表情图像样本对应的第一组表情基权重参数的方法与上述S11中的方法相同，在此不做赘述。
S22：将第一表情基权重参数输入待训练的初始混合形状自适应模型，得到表情图像样本对应的控制器参数。
具体的，待训练的初始混合形状自适应模型的结构为多层感知机结构，具有输入层、至少一个隐藏层和输出层，将第一组表情基权重参数输入初始混合形状自适应模型的输入层，在隐藏层中对第一组表情基权重参数进行映射，以在输出层输出一个控制器参数。
示例的，本申请实施例提供的初始混合形状自适应模型包括两个隐藏层，每个隐藏层后使用ReLU激活函数进行激活处理，两个隐藏层可在保证模型的性能的同时提高模型的训练效率。
S23：根据第一表情图像样本对应的控制器参数对初始混合形状自适应模型的参数进行更新。
具体的，判断第一表情图像样本对应的控制器参数是否满足预设的训练完成条件，训练完成条件可以确定输出的控制器参数是否满足最佳控制效果。当第一表情图像样本对应的控制器参数不满足预设的训练完成条件时，对初始混合形状自适应模型的模型参数进行调整，以对初始混合形状自适应模型进行更新。
S24：对更新后的初始混合形状自适应模型进行下一步数的训练，直到满足预设的训练完成条件，得到训练完成的目标混合形状自适应模型。
具体的，将第一表情图像样本对应的第一组表情基权重参数或者第二表情图像样本对应的第二组表情基权重参数输入至更新后的初始混合形状自适应模型，得到新的控制器参数，判断新的控制器参数是否满足预设的训练完成条件，若不满足则如上述S23对初始混合形状自适应模型继续更新，直至满足预设的训练条件时完成训练，得到目标混合形状自适应模型。
示例的，对初始混合形状自适应模型进行训练的学习率为0.05，在保证训练效率的同时，可避免出现过拟合情况。
在一种可选实施方式中，预设的训练完成条件包括预设的收敛条件，预设的收敛条件为模型在任一训练步数中的损失值小于或等于预设阈值；该方法还包括：
根据初始混合形状自适应模型在当前训练步数中的输入数据、输出数据和参考数据，获得初始混合形状自适应模型在当前步数中的损失值。
具体的，输入数据为当前训练步数中的表情基权重参数，输出数据为初始混合形状自适应模型输出的当前步数的控制器参数，参考数据为采用预设的控制器参数计算方法，根据当前训练步数中的表情基权重参数计算得到当前步数的参考控制器参数，计算初始混合形状自适应模型输出的控制器参数和参考控制器参数的标准均方误差，并基于标准均方误差计算损失函数的损失值。
示例的，计算标准均方误差的表达式为：
计算损失函数的损失值的表达式为：
其中，nv表示初始混合形状自适应模型每输出nv组控制器参数，进行一次损失值计算，l(i)表示中第i组控制器参数的损失值，w表示初始混合形状自适应模型的模式权重值，表示第i组表情基权重参数，/>表示第i组表情基权重参数对应的参考控制器参数，表示通过初始混合形状自适应模型输出的第i组表情基权重参数对应的控制器参数。
本申请实施例提供的虚拟角色表情控制的方法，通过获取第一表情图像样本对应的第一组表情基权重参数，将第一组表情基权重参数输入待训练的初始混合形状自适应模型，得到表情图像样本对应的控制器参数，根据第一表情图像样本对应的控制器参数对初始混合形状自适应模型的参数进行更新，对更新后的初始混合形状自适应模型进行下一步数的训练，直到满足预设的训练完成条件，得到训练完成的目标混合形状自适应模型。通过本申请实施例提供的方法，可对初始混合形状自适应模型进行训练，以使得初始混合形状自适应模型学习表情基权重参数和控制器参数之间的关系，使得到的目标混合形状自适应模型可以准确表达表情基权重参数和控制器参数之间的关系，以便快速根据表情基权重参数计算控制器参数，提高虚拟角色表情控制的实时效率。
在上述实施例的基础上，本申请实施例还提供一种虚拟角色表情控制的方法，图3为本申请实施例提供的另一训练目标混合形状自适应模型的流程示意图，如图3所示，上述S24中对更新后的初始混合形状自适应模型进行下一步数的训练，包括：
S241：获取第二表情图像样本对应的第二组表情基权重参数。
具体的，第二表情图像样本可以是与第一表情图像样本来自同一样本视频的不同多帧图像，也可以是与第一表情图像样本来自不同样本视频的多帧图像，获取第二表情图像样本对应的第二组表情基权重参数的方法在此不做赘述。
S242：将第二组表情基权重参数、以及当前训练步数之前的M步训练分别得到的控制器参数输入更新后的初始混合形状自适应模型，得到本轮训练输出的控制器参数，其中，M为正整数。
具体的，为了减少多帧面部表情图像对应的表情基参数得到的多帧控制器参数对第一虚拟角色进行控制时，第一虚拟角色执行的面部表情动作之间的抖动性，可以将当前训练步数之前的M步训练分别得到的控制器参数和第二组表情基权重参数共同输入至更新后的初始混合形状自适应模型，得到本轮训练输出的控制器参数。
示例的，M取值为3，计算标准均方误差的表达式为：
其中，表示当前训练步数的表情基权重参数，/>表示当前训练步数前一步训练得到的控制器参数，/>表示当前训练步数前两步训练得到的控制器参数，/>表示当前训练步数前三步训练得到的控制器参数，/>表示当前训练步数输入至初始混合形状自适应模型的参数集合，X(i)表示当前训练步数第i组输入至初始混合形状自适应模型的参数集合/>
本申请实施例提供的虚拟角色表情控制的方法，通过获取第二表情图像样本对应的第二组表情基权重参数，将第二组表情基权重参数、以及当前训练步数之前的M步训练分别得到的控制器参数输入更新后的初始混合形状自适应模型，得到本轮训练输出的控制器参数。通过本申请实施例提供的方案，将当前表情基权重参数和之间的控制器参数共同输入更新后的初始混合形状自适应模型，使得到的控制器参数对第一虚拟角色进行控制的面部表情动作的连贯性更好，从而减少第一虚拟角色的抖动性。
在上述实施例的基础上，本申请实施例还提供一种虚拟角色表情控制的方法，图4为本申请实施例提供的另一虚拟角色表情控制的方法的流程示意图，如图4所示，上述S11包括：
S111：获取目标视频的第一播放帧率，以及第一虚拟角色对应的第二播放帧率。
具体的，目标视频的第一播放帧率为视频播放软件中设置的视频播放帧率，第一虚拟角色对应的第二播放帧率指第一虚拟角色对应游戏的帧率，即为控制虚拟角色执行面部表情动作的应用软件中设置的第一虚拟角色的角色运动帧率。
S112：当第二播放帧率为第一播放帧率的N倍时，根据目标视频中每一帧的面部表情图像获得一组表情基权重参数。
具体的，当第二播放帧率为第一播放帧率的N倍时，为将目标视频的视频帧和第一虚拟角色的动画帧对齐，目标视频的一帧对应第一虚拟角色的N帧，则在视频播放软件播放目标视频时，面部表情捕捉工具需要从每一帧的面部表情图像获得N组表情基权重参数，由于在目标视频播放过程中每一帧的面部表情图像中面部表情的变化十分微小，则每一帧的面部表情图像对应的N组表情基权重参数一般是一样的或者十分接近的。
S113：将获得的多组表情基权重参数划分为多个大组，每个大组包含N组表情基权重参数。
具体的，根据第一播放帧率和第二播放帧率的倍数N，将获取的多组表情基权重参数划分为多个大组，每一帧的面部表情图像对应一个大组，每个大组包含N组表情基权重参数。
S114：从每个大组中确定一组表情基权重参数作为大组对应的表情基权重参数。
具体的，采用预设的筛选方法，从每个大组的N组表情基权重参数中确定一组表情基参数作为该大组对应的表情基参数。
示例的，由于每个大组对应的N组表情基权重参数一般是一样的或者十分接近的，可从N组表情基权重参数中任意选择一组作为该大组对应的表情基参数，本申请对此不做限制。
S115：根据目标视频中每一帧的面部表情图像对应的大组以及相应大组对应的表情基权重参数，确定目标视频中每一帧的面部表情图像对应的表情基权重参数。
具体的，将每个大组和目标视频中每一帧的面部表情图像对应，以该大组对应的表情基权重参数作为目标视频中对应帧的面部表情图像对应的表情基参数。
在一种可选实施方式中，在视频播放软件中目标视频未播放之前，面部表情捕捉工具也会根据未播放时目标视频的当前帧的面部表情图像计算表情基权重参数，由于面部表情捕捉工具在每次启动后均需要初始化，初始化阶段得到的表情基权重参数不稳定，且变化较大，需要在表情基权重参数稳定输出之后，将所有变化较大的表情基权重参数删除。
本申请实施例提供的虚拟角色表情控制的方法，通过获取目标视频的第一播放帧率，以及第一虚拟角色对应的第二播放帧率，当第二播放帧率为第一播放帧率的N倍时，根据目标视频中每一帧的面部表情图像获得一组表情基权重参数，将获得的多组表情基权重参数划分为多个大组，每个大组包含N组表情基权重参数，从每个大组中确定一组表情基权重参数作为大组对应的表情基权重参数，根据目标视频中每一帧的面部表情图像对应的大组以及相应大组对应的表情基权重参数，确定目标视频中每一帧的面部表情图像对应的表情基权重参数。本申请实施例提供的方法，可以获得更为准确地表情基权重参数，从而使得到的控制器参数更为准确，提高了控制第一虚拟角色执行对应的面部表情动作的准确度。
在上述实施例的基础上，本申请实施例还提供一种虚拟角色表情控制的方法，该方法还包括：
将第一虚拟角色的控制器参数输入至第二虚拟角色对应的多角色自适应模型，得到第二虚拟角色的控制器参数，以控制第二虚拟角色执行对应的面部表情动作。
其中，多角色自适应模型包含经过训练得到的第一虚拟角色的控制器参数与第二虚拟角色的控制器参数之间的对应关系。
具体的，第一虚拟角色和第二虚拟角色是两个不同的虚拟角色，将第一虚拟角色的控制器参数输入至第二虚拟角色对应的多角色自适应模型，根据第二虚拟角色对应的多角色自适应模型中第一虚拟角色的控制器参数和第二虚拟角色的控制器参数之间的对应关系，输出第二虚拟角色的控制器参数。
控制虚拟角色执行面部表情动作的应用软件根据多帧第二虚拟角色的控制器参数，控制第二虚拟角色执行与第一虚拟角色相同的面部表情动作。
需要说明的是，多角色自适应模型为预先采用第一虚拟角色的第一样本控制器参数、第二虚拟角色执行与第一虚拟角色相同面部表情的第二样本控制器参数，对初始多角色自适应模型进行训练，使得初始多角色自适应模型学习第一样本控制器参数和第二样本控制器参数之间的关系，以得到第二虚拟角色的多角色自适应模型，第二样本控制器参数为采用预设的控制器参数计算方法，根据第二虚拟角色执行样本面部表情的表情基参数计算得到的控制器参数。
本申请实施例提供的虚拟角色表情控制的方法，将第一虚拟角色的控制器参数输入至第二虚拟角色对应的多角色自适应模型，得到第二虚拟角色的控制器参数，以控制第二虚拟角色执行对应的面部表情动作，其中，多角色自适应模型包含经过训练得到的第一虚拟角色的控制器参数与第二虚拟角色的控制器参数之间的对应关系。通过本申请实施例提供的方法，可将第一虚拟角色执行的面部表情动作迁移至第二虚拟角色，可实现驱动多个虚拟角色执行相同的面部表情动作，提高虚拟角色的面部表情动作的驱动控制效率。
在上述实施例的基础上，本申请实施例还提供一种虚拟角色表情控制的方法，图5为本申请实施例提供的一种训练多角色自适应模型的流程示意图，如图5所示，该方法包括：
S31：将获取的第一虚拟角色的控制器参数输入初始多角色自适应模型中，得到第二虚拟角色对应的初始控制器参数。
具体的，初始多角色自适应模型的结构也是多层感知机结构，具有输入层、至少一个隐藏层和输出层，将第一虚拟角色的控制器参数输入初始多角色自适应模型的输入层，在隐藏层对第一虚拟角色的控制器参数进行映射，以在输出层输出第二虚拟角色的控制器参数。
S32：根据初始控制器参数对初始多角色自适应模型的参数进行更新。
具体的，判断第二虚拟角色的初始控制器参数是否满足预设的训练完成条件，训练完成条件可以确定输出的控制器参数是否满足最佳控制效果。当第二虚拟角色的初始控制器参数不满足预设的训练完成条件时，对初始多角色自适应模型的模型参数进行调整，以对多角色自适应模型进行更新。
S33：将第一虚拟角色的控制器参数输入更新后的初始多角色自适应模型进行下一步数的训练，直到满足预设的训练完成条件，得到训练完成的多角色自适应模型，并将满足训练完成条件时的多角色自适应模型输出的控制器参数作为第二虚拟角色的控制器参数。
具体的，将第一虚拟角色的控制器参数重新输入至更新后的初始多角色自适应模型，得到新的控制器参数，判断新的控制器参数是否满足预设的训练完成条件，若不满足则如上述S32对初始多角色自适应模型继续更新，直至满足预设的训练条件时完成训练，得到多角色自适应模型，并将满足训练完成条件时的多角色自适应模型输出的控制器参数作为第二虚拟角色的控制器参数。
需要说明的是，判断模型是否满足预设的训练完成条件的方法与训练初始混合形状自适应模型时的方法相同，在此不做赘述。
本申请实施例提供的虚拟角色表情控制的方法，将获取的第一虚拟角色的控制器参数输入初始多角色自适应模型中，得到第二虚拟角色对应的初始控制器参数，根据初始控制器参数对初始多角色自适应模型的参数进行更新，将第一虚拟角色的控制器参数输入更新后的初始多角色自适应模型进行下一步数的训练，直到满足预设的训练完成条件，得到训练完成的多角色自适应模型，并将满足训练完成条件时的多角色自适应模型输出的控制器参数作为第二虚拟角色的控制器参数。通过本申请实施例提供的方法，可通过对第二虚拟角色的多角色自适应模型进行更新，使得到的第二虚拟角色的控制器参数更为准确，提高控制第二虚拟角色执行面部表情动作的准确度。
在上述实施例的基础上，该方法还包括：
从样本视频库中筛选辨识度大于或等于预设辨识度的视频作为目标视频。
具体的，样本视频库中包括多种类型的视频，每个视频具有多个视频标签，视频标签包括视频类型、情感类型和视频主角等信息，可根据不同视频标签对应的辨识度计算每个视频的辨识度，从样本视频库中筛选辨识度大于或等于预设辨识度的视频作为目标视频。
示例的，视频类型为喜剧的辨识度高于文艺片的辨识度，情感类型为开心、悲伤的辨识度高于无心情的辨识度，视频主角的辨识度可以根据五官辨识度定义。
为评价本申请提供的虚拟角色表情控制的方法的控制效果，本申请实施例设计了一个实验，本申请从一个目标视频中提取七帧不同表情的面部表情图像，分别采用两种驱动方式对虚拟角色的面部表情动作进行驱动。
图6为本申请实施例提供的一种虚拟角色表情控制的原理框图，图6示出了根据第一虚拟角色的表情基权重参数确定第一虚拟角色的控制器参数的原理，以及根据第一虚拟角色的控制器参数确定其他虚拟角色的控制器参数的原理。
具体的，采用面部表情捕捉工具(软件)捕捉目标视频中的面部表情图像，并基于预先定义的基本角色的N个表情基，确定面部表情图像的表情基权重参数，将表情基权重参数输入至目标混合形状自适应模型，通过转换得到对应的控制器参数，根据控制器参数控制第一虚拟角色执行对应的面部表情动作；同时将控制器参数输入至其他虚拟角色对应的多角色自适应模型，得到每个其他虚拟角色的控制器参数，根据每个其他虚拟角色的控制器参数控制对应的其他虚拟角色执行与第一虚拟角色相同的面部表情动作。
图7为本申请实施例提供的一种实验效果对比示意图，如图7所示，从目标视频中捕捉了七张真人的面部表情图像，请参考图7第一行的表情图像，每个面部表情图像表达了一种情绪，包括中性、开心、惊讶、伤心、恶心、生气和害怕，对这七张面部表情图像采用两种驱动方式，驱动第一虚拟角色执行对应的面部表情动作，其中，第一种驱动方式为采用现有技术：将采用面部表情捕捉工具捕捉面部表情图像并得到的表情基权重参数转换得到预定义的第一虚拟角色的表情基权重参数，直接驱动第一虚拟角色脸部执行面部表情动作，请参考图7第二行表情图像；第二种驱动方式为采用本申请实施例将采用面部表情捕捉工具获取的表情基权重参数输入至本申请实施例训练的目标混合形状自适应模型，输出得到对应的第一虚拟角色风格化表情动作的控制器参数，从而驱动第一虚拟角色执行面部表情动作，请参考图7第三行表情图像；同时将第一虚拟角色的控制器参数输入至本申请实施例提供的第二虚拟角色的多角色自适应模型，得到第二虚拟角色的控制器参数，从而驱动第二虚拟角色执行与第一虚拟角色相同的面部表情动作，请参考图7第四行表情图像；将第一虚拟角色的控制器参数输入至本申请实施例提供的第三虚拟角色的多角色自适应模型，得到第三虚拟角色的控制器参数，从而驱动第三虚拟角色执行与第一虚拟角色相同的面部表情动作，请参考图7第五行表情图像，将第一虚拟角色的控制器参数输入至本申请实施例提供的第四虚拟角色的多角色自适应模型，得到第四虚拟角色的控制器参数，从而驱动第四虚拟角色执行与第一虚拟角色相同的面部表情动作，请参考图7第六行表情图像；需要说明的是，第二虚拟角色、第三虚拟角色和第四虚拟角色均为与第一虚拟角色不同风格类型的虚拟角色。
基于该实验结果可知，采用本申请实施例提供的方法，第一虚拟角色执行面部表情动作的效果更好，可以更准确的表达角色情绪。
需要说明的是，上述面部捕捉软件或者程序可以为Faceware，Faceware可以对播放中的视频进行面部表情图像的捕捉，并确定面部表情图像的表情基权重参数。
在上述任一实施例的基础上，本申请实施例还提供一种虚拟角色表情控制的装置，图8为本申请实施例提供的一种虚拟角色表情控制的装置的结构示意图，如图8所示，该装置包括：
参数获取模块101，用于获取目标视频中每一帧的面部表情图像的表情基参数；
控制器参数确定模块102，用于将表情基权重参数输入至第一虚拟角色对应的目标混合形状自适应模型，得到表情基权重参数对应的第一虚拟角色的控制器参数，以根据控制器参数控制第一虚拟角色执行对应的面部表情动作；
其中，目标混合形状自适应模型包含对初始混合形状自适应模型进行训练得到的表情基权重参数与第一虚拟角色对应的控制器参数之间的对应关系。
可选的，装置还包括：
第一样本参数获取模块，用于获取第一表情图像样本对应的第一组表情基权重参数；
第一模型训练模块，用于将第一组表情基权重参数输入待训练的初始混合形状自适应模型，得到第一表情图像样本对应的控制器参数；
模型更新模块，用于根据第一表情图像样本对应的控制器参数对初始混合形状自适应模型的参数进行更新；
第二模型训练模块，用于对更新后的初始混合形状自适应模型进行下一步数的训练，直到满足预设的训练完成条件，得到训练完成的目标混合形状自适应模型。
可选的，第二模型训练模块，包括：
第二样本参数获取单元，用于获取第二表情图像样本对应的第二组表情基权重参数；
第二模型训练单元，用于将第二组表情基权重参数、以及当前训练步数之前的M步训练分别得到的控制器参数输入更新后的初始混合形状自适应模型，得到本轮训练输出的控制器参数，其中，M为正整数。
可选的，参数获取模块101，包括：
播放帧率获取单元，用于获取目标视频的第一播放帧率，以及第一虚拟角色对应的第二播放帧率；
参数获取单元，用于当第二播放帧率为第一播放帧率的N倍时，根据目标视频中每一帧的面部表情图像获得一组表情基权重参数；
参数划分单元，用于将获得的多组表情基权重参数划分为多个大组，每个大组包含N组表情基权重参数；
参数选择单元，用于从每个大组中确定一组表情基权重参数作为大组对应的表情基权重参数；
参数确定单元，用于根据目标视频中每一帧的面部表情图像对应的大组以及相应大组对应的表情基权重参数，确定目标视频中每一帧的面部表情图像对应的表情基权重参数。
可选的，预设的训练完成条件包括预设的收敛条件，预设的收敛条件为模型在任一训练步数中的损失值小于或等于预设阈值；装置还包括：
损失值计算模块，用于根据初始混合形状自适应模型在当前训练步数中的输入数据、输出数据和参考数据，获得初始混合形状自适应模型在当前步数中的损失值。
可选的，装置还包括：
多角色控制器参数确定模块，用于将所获取的述第一虚拟角色的控制器参数输入至第二虚拟角色对应的多角色自适应模型，得到第二虚拟角色的控制器参数，以控制第二虚拟角色执行对应的面部表情动作；
其中，多角色自适应模型包含经过训练得到的第一虚拟角色的控制器参数与第二虚拟角色的控制器参数之间的对应关系。
可选的，多角色控制器参数确定模块，包括：
初始参数确定单元，用于将获取的所述第一虚拟角色的控制器参数输入初始多角色自适应模型中，得到所述第二虚拟角色对应的初始控制器参数；
多角色模型更新单元，用于根据所述初始控制器参数对所述初始多角色自适应模型的参数进行更新；
多角色控制器参数确定单元，用于将所述第一虚拟角色的控制器参数输入更新后的所述初始多角色自适应模型进行下一步数的训练，直到满足预设的训练完成条件，得到训练完成的所述多角色自适应模型，并将满足所述训练完成条件时的多角色自适应模型输出的控制器参数作为所述第二虚拟角色的控制器参数。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
图9为本申请实施例提供的电子设备的示意图，如图9所示，该电子设备103包括：处理器104、存储介质105和总线，存储介质105存储有处理器194可执行的程序指令，当电子设备103运行时，处理器104与存储介质105之间通过总线通信，处理器104执行程序指令，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。
可选地，本发明还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种虚拟角色表情控制的方法，其特征在于，所述方法包括：
获取目标视频中每一帧的面部表情图像对应的表情基权重参数；
将所述表情基权重参数输入至第一虚拟角色对应的目标混合形状自适应模型，得到所述表情基权重参数对应的所述第一虚拟角色的控制器参数，以根据所述控制器参数控制所述第一虚拟角色执行对应的面部表情动作；
其中，所述目标混合形状自适应模型包含对初始混合形状自适应模型进行训练得到的表情基权重参数与所述第一虚拟角色对应的控制器参数之间的对应关系；
所述方法还包括：
将所述第一虚拟角色的控制器参数输入至第二虚拟角色对应的多角色自适应模型，得到第二虚拟角色的控制器参数，以控制所述第二虚拟角色执行对应的面部表情动作；
其中，所述多角色自适应模型包含经过训练得到的所述第一虚拟角色的控制器参数与所述第二虚拟角色的控制器参数之间的对应关系；
所述多角色自适应模型为预先采用所述第一虚拟角色的第一样本控制器参数、所述第二虚拟角色执行与所述第一虚拟角色相同面部表情的第二样本控制器参数，对初始多角色自适应模型进行训练，使得初始多角色自适应模型学习所述第一样本控制器参数和所述第二样本控制器参数之间的关系，以得到所述第二虚拟角色的多角色自适应模型。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
获取第一表情图像样本对应的第一组表情基权重参数；
将所述第一组表情基权重参数输入待训练的初始混合形状自适应模型，得到所述第一表情图像样本对应的控制器参数；
根据所述第一表情图像样本对应的控制器参数对所述初始混合形状自适应模型的参数进行更新；
对更新后的所述初始混合形状自适应模型进行下一步数的训练，直到满足预设的训练完成条件，得到训练完成的目标混合形状自适应模型。
3.如权利要求2所述的方法，其特征在于，所述对更新后的所述初始混合形状自适应模型进行下一步数的训练，包括：
获取第二表情图像样本对应的第二组表情基权重参数；
将所述第二组表情基权重参数、以及当前训练步数之前的M步训练分别得到的控制器参数输入更新后的初始混合形状自适应模型，得到本轮训练输出的控制器参数，其中，M为正整数。
4.如权利要求2所述的方法，其特征在于，所述获取目标视频中每一帧的面部表情图像对应的表情基权重参数，包括：
获取所述目标视频的第一播放帧率，以及所述第一虚拟角色对应的第二播放帧率；
当所述第二播放帧率为所述第一播放帧率的N倍时，根据目标视频中每一帧的面部表情图像获得一组表情基权重参数；
将获得的多组表情基权重参数划分为多个大组，每个大组包含N组表情基权重参数；
从每个所述大组中确定一组表情基权重参数作为所述大组对应的表情基权重参数；
根据所述目标视频中每一帧的面部表情图像对应的大组以及相应大组对应的表情基权重参数，确定所述目标视频中每一帧的面部表情图像对应的表情基权重参数。
5.根据权利要求2所述的方法，其特征在于，所述预设的训练完成条件包括预设的收敛条件，所述预设的收敛条件为模型在任一训练步数中的损失值小于或等于预设阈值；
所述方法还包括：
根据所述初始混合形状自适应模型在当前训练步数中的输入数据、输出数据和参考数据，获得所述初始混合形状自适应模型在当前步数中的损失值。
6.如权利要求1所述的方法，其特征在于，所述将所述第一虚拟角色的控制器参数输入至所述第二虚拟角色对应的多角色自适应模型，得到第二虚拟角色的控制器参数，包括：
将获取的所述第一虚拟角色的控制器参数输入初始多角色自适应模型中，得到所述第二虚拟角色对应的初始控制器参数；
根据所述初始控制器参数对所述初始多角色自适应模型的参数进行更新；
将所述第一虚拟角色的控制器参数输入更新后的所述初始多角色自适应模型进行下一步数的训练，直到满足预设的训练完成条件，得到训练完成的所述多角色自适应模型，并将满足所述训练完成条件时的多角色自适应模型输出的控制器参数作为所述第二虚拟角色的控制器参数。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
从样本视频库中筛选辨识度大于或等于预设辨识度的视频作为所述目标视频。
8.一种虚拟角色表情控制的装置，其特征在于，所述装置包括：
参数获取模块，用于获取目标视频中每一帧的面部表情图像对应的表情基权重参数；
控制器参数确定模块，用于将所述表情基权重参数输入至第一虚拟角色对应的目标混合形状自适应模型，得到所述表情基权重参数对应的所述第一虚拟角色的控制器参数，以根据所述控制器参数控制所述第一虚拟角色执行对应的面部表情动作；
其中，所述目标混合形状自适应模型包含对初始混合形状自适应模型进行训练得到的表情基权重参数与所述第一虚拟角色对应的控制器参数之间的对应关系；
所述装置还包括：
多角色控制器参数确定模块，用于将所述第一虚拟角色的控制器参数输入至第二虚拟角色对应的多角色自适应模型，得到第二虚拟角色的控制器参数，以控制所述第二虚拟角色执行对应的面部表情动作；
其中，所述多角色自适应模型包含经过训练得到的所述第一虚拟角色的控制器参数与所述第二虚拟角色的控制器参数之间的对应关系；
所述多角色自适应模型为预先采用所述第一虚拟角色的第一样本控制器参数、所述第二虚拟角色执行与所述第一虚拟角色相同面部表情的第二样本控制器参数，对初始多角色自适应模型进行训练，使得初始多角色自适应模型学习所述第一样本控制器参数和所述第二样本控制器参数之间的关系，以得到所述第二虚拟角色的多角色自适应模型。
9.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当所述电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行如权利要求1至7任一所述的虚拟角色表情控制的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一所述的虚拟角色表情控制的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110937571.8A CN113633983B (zh) | 2021-08-16 | 2021-08-16 | 虚拟角色表情控制的方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110937571.8A CN113633983B (zh) | 2021-08-16 | 2021-08-16 | 虚拟角色表情控制的方法、装置、电子设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113633983A CN113633983A (zh) | 2021-11-12 |
| CN113633983B true CN113633983B (zh) | 2024-03-15 |
Family
ID=78422087
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110937571.8A Active CN113633983B (zh) | 2021-08-16 | 2021-08-16 | 虚拟角色表情控制的方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113633983B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114565964A (zh) * | 2022-03-03 | 2022-05-31 | 网易（杭州）网络有限公司 | 情绪识别模型的生成方法、识别方法、装置、介质和设备 |
| CN114615521B (zh) * | 2022-03-10 | 2024-02-23 | 网易（杭州）网络有限公司 | 视频处理方法和装置、计算机可读存储介质、电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103093490A (zh) * | 2013-02-02 | 2013-05-08 | 浙江大学 | 基于单个视频摄像机的实时人脸动画方法 |
| CN108399383A (zh) * | 2018-02-14 | 2018-08-14 | 深圳市商汤科技有限公司 | 表情迁移方法、装置存储介质及程序 |
| CN108564641A (zh) * | 2018-03-16 | 2018-09-21 | 中国科学院自动化研究所 | 基于ue引擎的表情捕捉方法及装置 |
| CN109727303A (zh) * | 2018-12-29 | 2019-05-07 | 广州华多网络科技有限公司 | 视频展示方法、系统、计算机设备、存储介质和终端 |
| WO2020216025A1 (zh) * | 2019-04-26 | 2020-10-29 | 腾讯科技（深圳）有限公司 | 虚拟角色的面部显示方法、装置、计算机设备及可读存储介质 |
| CN112700523A (zh) * | 2020-12-31 | 2021-04-23 | 魔珐(上海)信息科技有限公司 | 虚拟对象面部动画生成方法及装置、存储介质、终端 |
| CN113066156A (zh) * | 2021-04-16 | 2021-07-02 | 广州虎牙科技有限公司 | 表情重定向方法、装置、设备和介质 |
-
2021
- 2021-08-16 CN CN202110937571.8A patent/CN113633983B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103093490A (zh) * | 2013-02-02 | 2013-05-08 | 浙江大学 | 基于单个视频摄像机的实时人脸动画方法 |
| CN108399383A (zh) * | 2018-02-14 | 2018-08-14 | 深圳市商汤科技有限公司 | 表情迁移方法、装置存储介质及程序 |
| CN108564641A (zh) * | 2018-03-16 | 2018-09-21 | 中国科学院自动化研究所 | 基于ue引擎的表情捕捉方法及装置 |
| CN109727303A (zh) * | 2018-12-29 | 2019-05-07 | 广州华多网络科技有限公司 | 视频展示方法、系统、计算机设备、存储介质和终端 |
| WO2020216025A1 (zh) * | 2019-04-26 | 2020-10-29 | 腾讯科技（深圳）有限公司 | 虚拟角色的面部显示方法、装置、计算机设备及可读存储介质 |
| CN112700523A (zh) * | 2020-12-31 | 2021-04-23 | 魔珐(上海)信息科技有限公司 | 虚拟对象面部动画生成方法及装置、存储介质、终端 |
| CN113066156A (zh) * | 2021-04-16 | 2021-07-02 | 广州虎牙科技有限公司 | 表情重定向方法、装置、设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113633983A (zh) | 2021-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11276216B2 (en) | Virtual animal character generation from image or video data | |
| Yannakakis | Game AI revisited | |
| CN108335345B (zh) | 面部动画模型的控制方法及装置、计算设备 | |
| CN110599573B (zh) | 一种基于单目相机的人脸实时交互动画的实现方法 | |
| CN113633983B (zh) | 虚拟角色表情控制的方法、装置、电子设备及介质 | |
| CN110766776B (zh) | 生成表情动画的方法及装置 | |
| KR20230003059A (ko) | 2d 이미지로부터 3d 객체 메시의 템플릿 기반 생성 | |
| US11514638B2 (en) | 3D asset generation from 2D images | |
| CN111028317B (zh) | 虚拟对象的动画生成方法、装置、设备及存储介质 | |
| US20220327755A1 (en) | Artificial intelligence for capturing facial expressions and generating mesh data | |
| CN111282272A (zh) | 信息处理方法、计算机可读介质及电子设备 | |
| WO2024012007A1 (zh) | 一种动画数据生成方法、装置及相关产品 | |
| CN112121419A (zh) | 虚拟对象控制方法、装置、电子设备以及存储介质 | |
| CN114967937B (zh) | 一种虚拟人运动生成方法与系统 | |
| US20230267668A1 (en) | Joint twist generation for animation | |
| CN115482557A (zh) | 人体图像生成方法、系统、设备及存储介质 | |
| CN111739135B (zh) | 虚拟角色的模型处理方法、装置及可读存储介质 | |
| JP2022530884A (ja) | 仮想アプリケーションオブジェクトの出力方法、装置及びコンピュータプログラム | |
| Pham et al. | Learning continuous facial actions from speech for real-time animation | |
| CN113222178A (zh) | 模型训练方法、用户界面的生成方法、装置及存储介质 | |
| US20220319088A1 (en) | Facial capture artificial intelligence for training models | |
| WO2024066549A1 (zh) | 一种数据处理方法及相关设备 | |
| US11957976B2 (en) | Predicting the appearance of deformable objects in video games | |
| NAJIM | Motion Matching with Proximal Optimization Policy | |
| CN117788651A (zh) | 一种3d虚拟数字人唇形驱动方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |