CN117853624A - 虚拟对象面部表情的控制方法和装置、存储介质及电子装置 - Google Patents
虚拟对象面部表情的控制方法和装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN117853624A CN117853624A CN202311867678.5A CN202311867678A CN117853624A CN 117853624 A CN117853624 A CN 117853624A CN 202311867678 A CN202311867678 A CN 202311867678A CN 117853624 A CN117853624 A CN 117853624A
- Authority
- CN
- China
- Prior art keywords
- data
- facial
- animation
- facial animation
- virtual object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 123
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000003860 storage Methods 0.000 title claims abstract description 39
- 230000001815 facial effect Effects 0.000 claims abstract description 327
- 230000004044 response Effects 0.000 claims abstract description 93
- 238000012795 verification Methods 0.000 claims abstract description 60
- 238000013524 data verification Methods 0.000 claims abstract description 33
- 230000008859 change Effects 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 14
- 238000001454 recorded image Methods 0.000 claims description 9
- 238000004806 packaging method and process Methods 0.000 claims description 7
- 239000000758 substrate Substances 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 16
- 238000013473 artificial intelligence Methods 0.000 description 14
- 230000014509 gene expression Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 230000002159 abnormal effect Effects 0.000 description 7
- 230000008451 emotion Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 210000001097 facial muscle Anatomy 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种虚拟对象面部表情的控制方法和装置、存储介质及电子装置。该方法包括:获取用于生成虚拟对象的面部动画的第一数据;响应于第一数据校验成功,基于第一数据生成面部动画;响应于面部动画校验成功,基于面部动画控制虚拟对象的面部表情。本申请解决了相关技术中控制虚拟对象面部表情准确度较低的技术问题。
Description
技术领域
本公开涉及计算机领域,具体而言,涉及一种虚拟对象面部表情的控制方法和装置、存储介质及电子装置。
背景技术
目前,在虚拟游戏中需要大量制作虚拟对象的面部表情,以呈现虚拟对象的情感,以增强玩家的沉浸感和情感共鸣,但是,传统控制虚拟对象面部表情的方法是首先通过人工对面部表情逐帧进行绘制、校验,再将面部表情与虚拟对象进行融合,且在控制虚拟对象面部表情时,仍需要人工进行校验,导致控制虚拟对象面部表情准确度较低。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本公开至少部分实施例提供了一种虚拟对象面部表情的控制方法和装置、存储介质及电子装置,以至少解决相关技术中控制虚拟对象面部表情准确度较低的技术问题。
根据本公开其中一实施例,提供了一种虚拟对象面部表情的控制方法,包括:获取用于生成虚拟对象的面部动画的第一数据;响应于第一数据校验成功,基于第一数据生成面部动画;响应于面部动画校验成功,基于面部动画控制虚拟对象的面部表情。
根据本公开其中一实施例,还提供了一种虚拟对象面部表情的控制装置,包括:获取模块,用于获取用于生成虚拟对象的面部动画的第一数据;生成模块,用于响应于第一数据校验成功,基于第一数据生成面部动画;控制模块,用于响应于面部动画校验成功,基于面部动画控制虚拟对象的面部表情。
根据本公开其中一实施例,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,其中,计算机程序被设置为运行时执行上述任一项中的虚拟对象面部表情的控制方法。
根据本公开其中一实施例,还提供了一种电子装置,包括存储器和处理器,存储器中存储有计算机程序,处理器被设置为运行计算机程序以执行上述任一项中的虚拟对象面部表情的控制方法。
在本公开至少部分实施例中,获取用于生成虚拟对象的面部动画的第一数据;响应于第一数据校验成功,基于第一数据生成面部动画;响应于面部动画校验成功,基于面部动画控制虚拟对象的面部表情。需要说明的是,响应于第一数据校验成功,根据第一数据生成面部动画,并根据面部动画控制虚拟对象的面部表情,实现了自动化生成面部动画、并根据面部动画控制虚拟对象的面部表情的技术效果,且实时对第一数据、面部动画进行校验,实现自动对处理结果进行校验的技术效果,提高了面部表情的准确性,达到了提高控制面部表情的准确度的目的,从而实现了自动化生成并校验面部表情的技术效果,进而解决了相关技术中控制虚拟对象面部表情准确度较低的技术问题。
附图说明
此处所说明的附图用来提供对本公开的进一步理解,构成本申请的一部分,本公开的示意性实施例及其说明用于解释本公开,并不构成对本公开的不当限定。在附图中:
图1是本公开实施例的一种虚拟对象面部表情的控制方法的移动终端的硬件结构框图;
图2是根据本公开其中一实施例的虚拟对象面部表情的控制方法的流程图;
图3是根据本公开其中一可选实施例的多个数据集的示意图;
图4是根据本公开其中一可选实施例的自动装载面部动画的流程图;
图5是根据本公开其中一可选实施例的客户端的示意图;
图6是根据本公开其中一可选实施例的服务端的示意图;
图7是根据本公开其中一可选实施例的客户端-服务端-自动化管线调用接口的示意图;
图8是根据本公开其中一可选实施例的客户端-服务端的示意图;
图9是本公开其中一可选实施例的虚拟对象面部表情的控制方法的流程图;
图10是根据本公开其中一可选实施例的虚拟对象面部表情的控制装置的结构框图;
图11是根据本公开其中一可选实施例的一种电子装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本公开方案,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分的实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本公开保护的范围。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在一种可能的实施方式中,针对计算机领域下的背景中通常所采用的,发明人经过实践并仔细研究后,仍然存在人工绘制、校验面部表情,成本较高的技术问题,基于此,本公开实施例应用的游戏场景可以是模拟人类面部表情的游戏场景,所针对的游戏类型一般是具有游戏角色的游戏,提出了一种虚拟对象面部表情的控制方法,采用获取用于生成虚拟对象的面部动画的第一数据;响应于第一数据校验成功,基于第一数据生成面部动画;响应于面部动画校验成功,基于面部动画控制虚拟对象的面部表情。需要说明的是,响应于第一数据校验成功,根据第一数据生成面部动画,并根据面部动画控制虚拟对象的面部表情,实现了自动化生成面部动画、并根据面部动画控制虚拟对象的面部表情的技术效果,且实时对第一数据、面部动画进行校验,实现自动对处理结果进行校验的技术效果,提高了面部表情的准确性,达到了提高控制面部表情的准确度的目的,从而实现了自动化生成并校验面部表情的技术效果,进而解决了相关技术中控制虚拟对象面部表情准确度较低的技术问题。本公开涉及到的上述方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,该移动终端可以是智能手机、平板电脑、掌上电脑以及移动互联网设备、PAD、游戏机等终端设备。图1是本公开实施例的一种虚拟对象面部表情的控制方法的移动终端的硬件结构框图。如图1所示,移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于中央处理器(CPU)、图形处理器(GPU)、数字信号处理(DSP)芯片、微处理器(MCU)、可编程逻辑器件(FPGA)、神经网络处理器(NPU)、张量处理器(TPU)、人工智能(AI)类型处理器等的处理装置)和用于存储数据的存储器104,在本公开其中一实施例中,还可以包括:输入输出设备108以及显示设备110。
在一些以游戏场景为主的可选实施例中,上述设备还可以提供具有触摸触敏表面的人机交互界面,该人机交互界面可以感应手指接触和/或手势来与图形用户界面(GUI)进行人机交互,该人机交互功能可以包括如下交互:创建网页、绘图、文字处理、制作电子文档、游戏、视频会议、即时通信、收发电子邮件、通话界面、播放数字视频、播放数字音乐和/或网络浏览等、用于执行上述人机交互功能的可执行指令被配置/存储在一个或多个处理器可执行的计算机程序产品或可读存储介质中。
本领域技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
根据本公开其中一实施例,提供了一种虚拟对象面部表情的控制方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图2是根据本公开其中一实施例的虚拟对象面部表情的控制方法的流程图,如图2所示,该方法包括如下步骤:
步骤S202,获取用于生成虚拟对象的面部动画的第一数据。
上述的虚拟对象可以是虚拟游戏中的角色,也可以是需要制作面部表情的动画人物。
上述的面部动画可以是对脸部肌肉运动进行模拟的动画。
上述的第一数据可以是第一数据可以是用于生成面部动画的数据,其中,第一数据根据用户或技术人员的需求进行实时更新。
在一种可选地实施例中,根据需求收集与生成面部动画有关的第一数据,并进行存储。例如,语音生成面部动画需要的音频素材或文本素材,或通过专业的动作捕捉设备和软件来捕捉人脸的运动和表情,并经过计算机视觉技术进行分析和处理,生成面部动画的第一数据,并同步更新至外部资源和初始任务列表中。在需要生成面部动画时,通过调用数据接口来获取第一数据。
步骤S204,响应于第一数据校验成功,基于第一数据生成面部动画。
在一种可选地实施例中,在获取第一数据后,为保证第一数据的准确性,对第一数据进行错误的校验和辅助数据的写入,若第一数据校验成功,调用面部动画程序生成的功能进行自动化操作,按照第一数据进行动画生成,并对动画进行优化,生成面部动画。例如,第一数据可以包含虚拟对象的语言,也可以根据输入第一数据的语气及语言环境对第一数据进行备注,其中,备注可以是根据第一数据附加的注解说明,由于同样一句话在不同的语境或不同的语气下表达的意思可能不同,因此,可以利用备注进行解释说明,便于人工智能可以更好地理解第一数据,生成与第一数据一致的面部动画。在生成面部动画的过程中,获取第一数据中有关生成面部动画的备注,根据备注对虚拟对象的面部动画进行优化。
步骤S206,响应于面部动画校验成功,基于面部动画控制虚拟对象的面部表情。
上述的面部表情可以是通过脸部的肌肉运动和表情来表达情感、态度和意图的一种非语言沟通方式,包括但不限于:微笑、皱眉、眨眼、挑眉。
在一种可选地实施例中,在一种可选地实施例中,在生成面部动画后,会自动触发校验环节,对面部动画进行校验,为确保生成面部表情之前,面部动画的准确性,提高虚拟对象面部表情的控制效率。若面部动画校验成功,进而将无误的面部动画自动装配至虚幻引擎中,虚幻引擎控制虚幻引擎中创建的虚拟对象面部表情,实现在虚幻引擎中给虚拟对象添加面部动画效果的目的。其中,在从虚幻引擎中调用面部动画来控制虚拟对象的面部表情之前,可以再次对面部动画进行校验,以确保面部动画的准确性。
在本实施例中,获取用于生成虚拟对象的面部动画的第一数据;响应于第一数据校验成功,基于第一数据生成面部动画;响应于面部动画校验成功,基于面部动画控制虚拟对象的面部表情。需要说明的是,响应于第一数据校验成功,根据第一数据生成面部动画,并根据面部动画控制虚拟对象的面部表情,实现了自动化生成面部动画、并根据面部动画控制虚拟对象的面部表情的技术效果,且实时对第一数据、面部动画进行校验,实现自动对处理结果进行校验的技术效果,提高了面部表情的准确性,达到了提高控制面部表情的准确度的目的,从而实现了自动化生成并校验面部表情的技术效果,进而解决了相关技术中控制虚拟对象面部表情准确度较低的技术问题。
可选地,该方法还包括:响应于第一数据校验失败,确定第一数据校验失败的失败原因;响应于失败原因是预设原因,获取用于生成面部动画的第二数据;响应于第二数据校验成功,基于第二数据生成面部动画。
上述的预设原因可以是预先根据具体情况设置的失败原因,例如,可以是不合规、数据异常等,但不仅限于此。
上述的第二数据可以是再次获取用于生成面部动画的数据。
在一种可选地实施例中,若第一数据校验失败,确定第一数据校验失败的失败原因,若失败原因与预设原因一致,也即第一数据校验失败且触发异常,则将校验失败的第一数据更新到不合规的资源和异常文本中,并触发获取第二数据的操作,获取的第二数据合规且不存在异常,因此可以用来生成面部动画。
在另一种可选地实施例中,若第一数据校验失败,确定第一数据校验失败的失败原因,若失败原因与预设原因一致,则对当前校验失败的第一数据进行修正,得到修正后的第一数据,并对修正后的第一数据进行再次校验,再次校验通过之后,可以确定修正后的第一数据合规且不存在异常,可以作为第二数据,并用来生成面部动画。能够及时对校验失败的第一数据进行处理,由第二数据生成面部动画。
可选地,该方法还包括:响应于失败原因为预设原因之外的其余原因,输出预设提示信息至客户端。
上述的其余原因可以是与预设原因不同的失败原因,也即,不是预先设定的失败原因。
上述的预设提示信息可以是预先根据具体情况设定用于提示用户第一数据出现超出预设范围内异常的提示信息。
上述的客户端可以是基于Tornado框架开发的向服务器请求服务的计算机或设备,可以是但不限于:个人电脑、智能手机、平板电脑、路由器。
在一种可选地实施例中,若第一数据校验失败,且失败原因与预设原因不一致,也即,失败原因是预设原因之外的其余原因,则将失败原因写入对应的接口,并传输至用户层,根据失败原因确定对应的预设提示信息,并将预设提示信息发送至客户端。让用户知悉当前无法根据第一数据生成面部动画,保证用户能及时知悉失败原因。
可选地,第一数据包括以下至少一项:音频数据、文本数据、及虚拟场景对应的任务数据,该方法还包括:对第一数据进行切分,得到多个子数据;分别对多个子数据进行打包,得到多个数据集,其中,不同数据集包含不同的子数据;通过调用第一数据接口,分别对多个数据集进行校验;响应于多个数据集中的任意一个数据集校验成功,基于校验成功的数据集生成面部动画。
上述的音频数据可以是数字化的音频信号,通过对声音进行采样和编码而得到的数字化数据。
上述的文本数据可以是以文本形式存储的数据,也可以是对虚拟对象面部表情有关的标签。
上述的虚拟场景可以是通过计算机图形和技术创建的一种模拟环境,可以模拟现实世界中的地点、情境或事件。
上述的任务数据可以是与虚拟场景相关的数据。
上述的多个子数据可以是对第一数据进行切分后的数据,包括如下至少一项:多个音频子数据、多个文本子数据、多个任务子数据。多个音频子数据可以是音频数据中包括的多个不同的音频子数据,也可以是对音频数据进行切分后的数据。多个文本子数据可以是文本数据中包括的多个不同的文本子数据,也可以是对文本数据进行切分后的数据。多个任务子数据可以是任务数据中包括的多个不同的任务子数据,也可以是对任务数据进行切分后的数据。
上述的多个数据集可以是分别将多个子数据打包成规格一致的多个数据集。
上述的第一数据接口可以是能够获取第一数据的接口。
在一种可选地实施例中,在获取第一数据后,根据第一数据,分别对第一数据进行切分,其中,第一数据包括音频数据、和/或文本数据、和/或任务数据,也即可以对第一数据中的音频数据、和/或文本数据、和/或任务数据进行切分,得到多个子数据,其中,多个子数据至少包括多个音频子数据、和/或多个文本子数据、和/或多个任务子数据,并及时对数据进行更新,如表1所示,还可以利用语音编号、虚拟对象名称、语音文本、是否需要面部动画、角色模型信息、场景信息、新增日期等数据对任务数据进行标注,可以利用资源名称、资源路径、资源状态对音频数据进行标注,可以利用情绪标签、动作标签对文本数据进行标注。可以根据标注内容对第一数据中的任务数据、音频数据、文本数据进行查找。为了优化执行效率,分别将多个音频子数据、多个文本子数据和多个任务子数据打包成规格一致的多个数据集,各个数据之间互相解耦执行。在需要根据第一数据生成面部动画时,通过调用第一数据接口,分别对多个数据集进行校验,并根据校验成功的数据集生成面部动画。若多个数据集中有数据集校验失败,则将该数据集更新到不合规的资源和异常文本中进行异常处理。其中,图3是根据本公开其中一可选实施例的多个数据集的示意图,如图3所示,多个数据集中包含数据集1、数据集2、数据集3等,对多个数据集进行一一校验,将校验失败的数据集1进行异常处理,将校验成功的数据集2、3等多个数据集中的任意一个数据集用于生成面部动画,其中,通过切分数据集,可以减少数据集异常处理的操作时间。
表1第一数据
可选地,基于第一数据生成面部动画,包括:将第一数据输入至动画生成模型,输出面部动画。
上述的动画生成模型可以是一种基于语音驱动的人工智能(ArtificialIntelligence,简称为AI)表情程序化生成模型。
在一种可选地实施例中,将第一数据输入至动画生成模型中,动画生成模型根据输入端输入的第一数据,附带其它的参数配置文件(用于自动配置AI应用程序的参数初始化),输出为面部表情的动画权重数据。由于AI语音生成表情的应用是以插件形式在Maya环境(一种用于生成动画的工作环境)中运行,因此,在动画生成模型根据第一数据生成面部动画后,可以调用Maya自身的应用程序接口(Application Programming Interface,简称为API)进行自动化的动画优化处理操作,能够大大提升批处理去噪的处理效率。并将处理好的面部动画,并写入磁盘。其中,由于每个虚拟对象的人物设定不同,情绪的表达方式不同,面部动画也就不同,因此需要根据虚拟对象名称、场景信息、角色模型等信息生成面部动画,如,A动画人物的人物设定为内敛、胆小,B动画人物的人物设定为外向、勇敢,因此,在制作A动画人物和B动画人物愤怒的表情是不同的,面部肌肉的牵动都是不同的。因此,根据第一数据,生成与虚拟对象匹配度较高的面部动画。
可选地,该方法还包括:响应于面部动画校验失败,基于第一数据生成新面部动画;响应于新面部动画校验成功,基于新面部动画控制虚拟对象的面部表情。
上述的新面部动画可以是重新根据第一数据生成的面部动画。
在一种可选地实施例中,若面部动画校验失败,无法利用面部动画去控制虚拟对象的面部表情,则重新根据第一数据生成新面部动画,并对新面部动画进行校验,若新面部动画校验成功,并根据新面部动画控制虚拟对象的面部表情,确保虚拟对象面部表情的准确性。
可选地,基于面部动画控制虚拟对象的面部表情,包括:将面部动画的装配配置文件和面部动画装载至虚幻引擎,其中,转配配置文件响应于第一数据校验成功,基于第一数据生成的,装配配置文件采用键值对的数据格式;通过虚幻引擎基于装配配置文件确定虚拟对象;通过虚幻引擎将面部动画与虚拟对象进行挂接,以控制虚拟对象的面部表情。
上述的装配配置文件可以是一种通用的面部动画相关装配配置的文件,文件格式统一。
上述的虚幻引擎可以是一种提供强大工具和功能的工具,包括渲染引擎、物理引擎、人工智能系统、音频系统、动画系统等,使开发者能够轻松地构建出色的游戏内容。
在一种可选地实施例中,在第一数据校验成功后,根据第一数据生成面部动画,并同时根据第一数据生成装配配置文件,如表2所示,利用json格式(一种轻量级的数据交换格式)文件来记录第一数据中所列的键值数据信息,每个数据集文件配对一份json的数据文件。并自动将装配配置文件和面部动画装配置虚幻引擎之中,并通过虚幻引擎对装配配置文件进行分析,确定虚拟对象。并通过虚幻引擎将面部动画与虚拟对象进行挂接,来实现完整的虚拟对象面部表情播放逻辑,方便后续能够直接根据虚拟对象确定面部动画,并根据面部动画控制虚拟对象的面部表情,提高了处理效率。
需要说明的是,在将装配配置文件和面部动画装配置虚幻引擎过程中,需要调用虚幻引擎预定的接口来解析装配配置文件和面部动画,其中,同构解析装配文件配置数据格式,可以在虚幻引擎中自动将装配配置文件和面部动画装配到对应的动画播放逻辑中,配置文件作为一种灵活的可扩充格式,可以方便的进行重定义,根据不同的版本,来匹配不同的解析逻辑即可。
表2装配配置文件
键 | 值 |
格式版本 | V1.0.0 |
音频名称 | A_123456 |
对白名称 | D_123456 |
轨道名称 | T_123456 |
虚拟对象名称 | R_XX |
骨骼引用 | SK_XX |
起始时间 | T_0.0_1.2 |
动画帧率 | 30fps |
动画文件格式 | fbx |
文件路径 | /root/subfolder/filename.fbx |
… | … |
可选地,该方法还包括:在基于面部动画控制虚拟对象的面部表情的过程中,对虚拟对象的面部表情进行录屏操作,得到至少一张录屏图像;基于至少一张录屏图像校验面部动画是否成功装载至虚幻引擎。
上述的录屏图像可以是通过屏幕录制软件或设备,对虚拟对象的面部表情录制的视频或图像文件。
在一种可选地实施例中,由于传统对虚拟对象的面部表情进行验证是通过人工去进行结果的比对和错误汇总,比对方式通常是通过人眼的观看全程的动画播放,该环节随着动画数据量同步增长,当动画数据量较大时,会极大的占用人力去引擎中运行游戏严重,同时存在漏查风险。为解决人力验证错误率高、成本高、效率低等问题,本方案在根据面部动画控制虚拟对象的面部表情的过程中,获取校验成功的面部动画通过数据接口同步至服务端,并从服务端拉取面部动画,确定序列列表,其中,序列列表可以是面部动画的播放顺序。并调用虚幻引擎的自定义录屏接口,并利用虚幻引擎逐个播放序列列表,并录制虚拟对象的面部表情,得到至少一张录屏图像。再利用AI面部动画识别的方式对至少一张录屏图像进行验证,从而根据至少一张录屏图像校验面部动画是否成功装载至虚幻引擎,并自动收集AI验证反馈的装配问题,自动化验证方式提高了验证效率,提高了虚拟对象面部表情的准确性。其中,图4是根据本公开其中一可选实施例的自动装载面部动画的流程图,如图4所示,该方法步骤如下所示:
步骤S401,后台自动开启录屏,对虚拟对象的面部表情进行录屏,得到至少一张录屏图像;
步骤S402,接入AI面部动画识别的方式对至少一张录屏图像进行验证;
步骤S403,自动收集验证反馈的装配问题。
需要说明的是,后台自动录屏的执行通过在后台启动游戏验证环境,配合录屏的接口远程发起录屏操作,录屏视频按照动画信息进行自动归类存储。录屏结束后之后,通过调用AI面部特征识别分析,比对前后两帧画面的差异,当满足差异阈值时,判定有动画信息存在。通过还方式可以自动抓取装配结果的动画特征信息是否存在,从而替代人工去逐帧查看画面的动画表现,提高验证效率。
可选地,基于至少一张录屏图像校验面部动画是否成功装载至虚幻引擎,包括:分别对至少一张录屏图像中的面部特征进行识别,得到至少一张录屏图像的识别结果;基于至少一张录屏图像的识别结果,确定面部动画是否成功装载至虚幻引擎。
上述的面部特征可以是虚拟对象面部的各种特征。
上述的识别结果可以是对录屏图像中面部特征进行识别的识别结果。
在一种可选地实施例中,录制完成后,拉起AI的面部特征点识别接口,改接口的输入为视频数据,AI面部识别将分别对至少一张录屏图像中的面部特征进行识别,逐帧去比对检测虚拟对象的脸部特征点变化,并生成至少一张录屏图像对应的识别结果,并根据至少一张录屏图像的识别结果,确定面部动画是否成功装载至虚幻引擎,避免了人工进行确认,实现了自动化确定面部动画是否成功装载至虚幻引擎,方便虚幻引擎的后续处理。
可选地,基于至少一张录屏图像的识别结果,确定面部动画是否成功装载至虚幻引擎,包括如下之一:基于识别结果确定至少一张录屏图像中面部特征的变化信息,响应于变化信息满足预设变化阈值,确定面部动画成功装载至虚幻引擎,响应于变化信息不满足预设变化阈值,确定面部动画未成功装载至虚幻引擎;基于识别结果确定至少一张录屏图像中是否存在预设面部特征,响应于至少一张录屏图像中存在预设面部特征,确定面部动画成功装载至虚幻引擎,响应于至少一张录屏图像中不存在预设面部特征,确定面部动画未成功装载至虚幻引擎。
上述的变化信息可以是用于对比面部特征前后变化的数据。
上述的预设变化阈值可以是预先根据具体情况设定的用于确定面部动画成功装载至虚幻引擎的变化阈值。
上述的预设面部特征可以是预先根据具体情况设定的面部特征。
在一种可选地实施例中,根据识别结果确定至少一张录屏图像中面部特征的变化信息,若变化信息满足预设变化阈值,则确定面部动画成功装载至虚幻引擎,从而保证最终应用环节的准确性;若变化信息不满足预设变化阈值,则确定面部动画没有成功装载至虚幻引擎。还可以根据识别结果确定至少一张录屏图像中是否有预设面部特征,如果存在预设面部特征,说明面部动画成功装载至虚幻引擎;若不存在预设面部特征,则说明面部动画没有成功装载至虚幻引擎,从而利用虚幻引擎对面部动画进行处理。从而提高控制虚拟对象面部表情准确率。
可选地,获取用于生成虚拟对象的面部动画的第一数据,包括:响应于接收到客户端发送的动画生成指令,基于动画生成指令获取第一数据,在基于第一数据生成面部动画之后,该方法还包括:将面部动画返回至客户端。
上述的动画生成指令可以是客户端发送生成面部动画的指令。
在一种可选地实施例中,本发明能够及时根据客户端的指令提供相应的服务,包括客户端和服务端,其中,服务端可以是引入jenkins(一个开源的持续集成和持续部署工具)作为中间件自动为客户端提供服务的服务器。在接收到客户端发送的动画生成指令后,根据动画生成指令获取第一数据,并根据第一数据生成面部动画,并将面部动画发送至客户端,供用户进行确认查看。
需要说明的是,客户端主要提供了自动化生产管线的管理功能,包括任务信息管理、历史执行管理、录屏信息查看三个核心的模块。以任务信息为和进度管理为例,前端页面会以单个动画名称的维度去收集基础的音频数据、文本数据和各个环节的执行状态信息。其中,图5是根据本公开其中一可选实施例的客户端的示意图,如图5所示,客户端包括编号、虚拟对象名称、语音文本、情绪标签(中)、面部动画生成状态(完成)、导入虚幻引擎状态(完成)、表情生成日期、执行状况等数据。用户能够实时查看面部动画的生产状态,若用户想要进一步查看服务端执行的状态,方便用于追踪远程服务端的状态,或者手动去维护特定的需求。其中,图6是根据本公开其中一可选实施例的服务端的示意图,如图6所示,服务端包括:任务初始化、生成表情中、生成表情结束、任务完成四个状态,其中,当前面部动画生成状态为四种状态中任意一个状态时,对应的状态框变亮,其余的状态框变暗,且能够实时看到编号、虚拟对象名称、语音文本、预备状态、面部动画生成状态、导入引擎状态等,在异常时,能够及时进行人工介入处理异常,方便快捷。
另外,客户端与服务端之间包括自动化管线调用接口,用于管理各个环节的输入、输出及阶段流程的管理,其中,图7是根据本公开其中一可选实施例的客户端-服务端-自动化管线调用接口的示意图,如图7所示,A表示客户端、B表示服务端、C表示自动化管线调用接口。(1)用于客户端页面请求服务端的数据,用于同步服务端中存储的任务数据、音频数据、文本数据、已生成的动画录屏资源信息、引擎内的动画装配信息,以及过往的历史操作日志信息等;(2)用于客户端的交互后需要保存的编辑数据存储到服务端中;(3)用于从客户端交互页面,发起自动化管线执行,可以全流程执行,也可以定制部分环节去执行。客户端页面通过调用自动化管线预先定义好的功能访问接口,可以远程调用自动化管线的所用功能接口;(4)用于自动化管线接口向客户端页面发送执行通知信息,包含执行进度信息、异常信息、成功执行信息等等需要再客户端通知到用户的信息;(5)用于自动化管线各个环节的执行输出写入到服务端中,进行数据存储和执行过程记录,执行日志信息写入等等;(6)用于自动化管线接口从服务端获取上游环节的输出结果,以及其它的辅助数据信息,例如自动装配环节的动画装配配置文件信息。用户无需在多个平台之间不断切换工具和跳转入口,可以直接查看,减少操作次数,降低管理成本。
可选地,该方法还包括:将第一数据和/或面部动画同步至服务器,其中,第一数据和/或面部动画由服务器响应于接收到客户端发送的查询指令而发送给客户端。
上述的查询指令可以是用于在服务器中查询相关数据的指令。
上述的查询结果可以是与查询指令相匹配的查询结果。
在一种可选地实施例中,响应于服务端接收到客户端发送的查询指令,通过服务器从预先同步至服务器的同步数据中查询与查询指令相匹配的数据,确定是否包含与查询指令一致的数据,若没有与查询指令一致的数据,则将预设提示发送至客户端,其中,预设提示可以是预先根据具体情况设定用于提示用户没有与查询指令一致的数据,可以是但不限于:“暂无查询”。若有与查询指令一致的数据,则直接将相关数据进行打包,生成查询结果,并通过服务器将查询结果发送至客户端。其中,图8是根据本公开其中一可选实施例的客户端-服务端的示意图,如图8所示,客户端将查询指令发送至服务端,服务端根据查询指令从服务端的数据库中查询相关的数据,并将查询结果返回至客户端,方便客户对第一数据和面部动画进行查询。
图9是本公开其中一可选实施例的虚拟对象面部表情的控制方法的流程图,如图9所示,该步骤如下所示:
步骤S901,获取第一数据;
步骤S902,对第一数据进行预处理;
步骤S903,对第一数据进行校验,确定第一数据是否准确;若否,则执行步骤S904,若是,则执行步骤S905;
步骤S904,通过数据接口将第一数据传输至异常处理模块,其中,异常处理模块可以是对校验失败的数据进行处理的模块;
步骤S905,根据第一数据,自动生成面部动画,并对面部动画进行优化;
步骤S906,对面部动画进行校验,确定面部动画是否准确;若否,则执行步骤S907,若是,则执行步骤S908;
步骤S907,通过数据接口将面部动画传输至异常处理模块;
步骤S908,将面部动画自动装配至虚幻引擎中;
步骤S909,确定面部动画是否成功装配置虚幻引擎中;若否,则执行步骤S910,若是,则执行步骤S911;
步骤S910,通过数据接口将装配失败原因传输至异常处理模块,由异常处理模块解决异常问题;
步骤S911,根据面部动画控制虚拟对象的面部表情;
步骤S912,自动验证面部表情。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本公开各个实施例所述的方法。
在本实施例中还提供了一种装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“单元”、“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图10是根据本公开其中一实施例的虚拟对象面部表情的控制装置的结构框图,如图10所示,该装置包括:获取模块1002,用于获取用于生成虚拟对象的面部动画的第一数据;生成模块1004,用于响应于第一数据校验成功,基于第一数据生成面部动画;控制模块1006,用于响应于面部动画校验成功,基于面部动画控制虚拟对象的面部表情。
可选地,该装置还包括:确定模块,用于响应于第一数据校验失败,确定第一数据校验失败的失败原因;数据获取模块,用于响应于失败原因是预设原因,获取用于生成面部动画的第二数据;第一动画生成模块,用于响应于第二数据校验成功,基于第二数据生成面部动画。
可选地,该装置还包括:输出模块,用于响应于失败原因为预设原因之外的其余原因,输出预设提示信息至客户端。
可选地,第一数据包括以下至少一项:音频数据、文本数据、及虚拟场景对应的任务数据,该装置还包括:切分模块,用于对第一数据进行切分,得到多个子数据;打包模块,用于分别对多个子数据进行打包,得到多个数据集,其中,不同数据集包含不同的子数据;校验模块,用于通过调用第一数据接口,分别对多个数据集进行校验;第二动画生成模块,用于响应于多个数据集中的任意一个数据集校验成功,基于校验成功的数据集生成面部动画。
可选地,生成模块,包括:生成单元,用于将第一数据输入至动画生成模型,输出面部动画。
可选地,响应于面部动画校验失败,该装置还包括:新动画生成模块,用于响应于面部动画校验失败,基于第一数据生成新面部动画;表情控制模块,用于响应于新面部动画校验成功,基于新面部动画控制虚拟对象的面部表情。
可选地,控制模块,包括:装载单元,用于将面部动画的装配配置文件和面部动画装载至虚幻引擎,其中,装配配置文件响应于第一数据校验成功,基于第一数据生成的,装配配置文件采用键值对的数据格式;对象确定单元,用于通过虚幻引擎基于装配配置文件确定虚拟对象;挂接单元,用于通过虚幻引擎将面部动画与虚拟对象进行挂接,以控制虚拟对象的面部表情。
可选地,该控制模块还包括:录屏单元,用于在基于面部动画控制虚拟对象的面部表情的过程中,对虚拟对象的面部表情进行录屏操作,得到至少一张录屏图像;图像校验单元,用于基于至少一张录屏图像校验面部动画是否成功装载至虚幻引擎。
可选地,图像校验单元,包括:识别子单元,用于分别对至少一张录屏图像中的面部特征进行识别,得到至少一张录屏图像的识别结果;确定子单元,用于基于至少一张录屏图像的识别结果,确定面部动画是否成功装载至虚幻引擎。
可选地,确定子单元,包括如下之一:基于识别结果确定至少一张录屏图像中面部特征的变化信息,响应于变化信息满足预设变化阈值,确定面部动画成功装载至虚幻引擎,响应于变化信息不满足预设变化阈值,确定面部动画未成功装载至虚幻引擎;基于识别结果确定至少一张录屏图像中是否存在预设面部特征,响应于至少一张录屏图像中存在预设面部特征,确定面部动画成功装载至虚幻引擎,响应于至少一张录屏图像中不存在预设面部特征,确定面部动画未成功装载至虚幻引擎。
可选地,获取模块,包括:数据获取单元,用于响应于接收到客户端发送的动画生成指令,基于动画生成指令获取第一数据,并基于第一数据生成面部动画;在基于第一数据生成面部动画之后,该装置还包括:动画返回模块,用于将面部动画返回至客户端。
可选地,该装置还包括:发送模块,用于将第一数据和/或面部动画同步至服务器,其中,第一数据和/或面部动画由服务器响应于接收到客户端发送的查询指令而发送给客户端。
需要说明的是,上述各个单元、模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述单元、模块均位于同一处理器中;或者,上述各个单元、模块以任意组合的形式分别位于不同的处理器中。
本公开的实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述计算机可读存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
可选地,在本实施例中,上述计算机可读存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
可选地,在本实施例中,上述计算机可读存储介质可以被设置为存储用于执行以下步骤的计算机程序:
步骤S1,获取用于生成虚拟对象的面部动画的第一数据;
步骤S2,响应于第一数据校验成功,基于第一数据生成面部动画;
步骤S3,响应于面部动画校验成功,基于面部动画控制虚拟对象的面部表情。
可选地,上述计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码:响应于第一数据校验失败,确定第一数据校验失败的失败原因;响应于失败原因是预设原因,获取用于生成面部动画的第二数据;响应于第二数据校验成功,基于第二数据生成面部动画。
可选地,上述计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码:响应于失败原因为预设原因之外的其余原因,输出预设提示信息至客户端。
可选地,上述计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码:分别对第一数据进行切分,得到多个子数据;分别对多个子数据进行打包,得到多个数据集,其中,不同数据集包含不同的子数据;通过调用第一数据接口,分别对多个数据集进行校验;响应于多个数据集中的任意一个数据集校验成功,基于校验成功的数据集生成面部动画。
可选地,上述计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码:将第一数据输入至动画生成模型,输出面部动画。
可选地,上述计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码:响应于面部动画校验失败,基于第一数据生成新面部动画;响应于新面部动画校验成功,基于新面部动画控制虚拟对象的面部表情。
可选地,上述计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码:将面部动画的装配配置文件和面部动画装载至虚幻引擎,其中,装配配置文件响应于第一数据校验成功,基于第一数据生成的,装配配置文件采用键值对的数据格式;通过虚幻引擎基于装配配置文件确定虚拟对象;通过虚幻引擎将面部动画与虚拟对象进行挂接,以控制虚拟对象的面部表情。
可选地,上述计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码:在基于面部动画控制虚拟对象的面部表情的过程中,对虚拟对象的面部表情进行录屏操作,得到至少一张录屏图像;基于至少一张录屏图像校验面部动画是否成功装载至虚幻引擎。
可选地,上述计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码:分别对至少一张录屏图像中的面部特征进行识别,得到至少一张录屏图像的识别结果;基于至少一张录屏图像的识别结果,确定面部动画是否成功装载至虚幻引擎。
可选地,上述计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码:基于识别结果确定至少一张录屏图像中面部特征的变化信息,响应于变化信息满足预设变化阈值,确定面部动画成功装载至虚幻引擎,响应于变化信息不满足预设变化阈值,确定面部动画未成功装载至虚幻引擎;基于识别结果确定至少一张录屏图像中是否存在预设面部特征,响应于至少一张录屏图像中存在预设面部特征,确定面部动画成功装载至虚幻引擎,响应于至少一张录屏图像中不存在预设面部特征,确定面部动画未成功装载至虚幻引擎。
可选地,上述计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码:获取用于生成虚拟对象的面部动画的第一数据,包括:响应于接收到客户端发送的动画生成指令,基于动画生成指令获取第一数据;在基于第一数据生成面部动画之后,方法还包括:将面部动画返回至客户端。
可选地,上述计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码:将第一数据和/或面部动画同步至服务器,其中,第一数据和/或面部动画由服务器响应于接收到客户端发送的查询指令而发送给客户端。
在该实施例的计算机可读存储介质中,提供了一种虚拟对象面部表情的控制方法的技术方案。获取用于生成虚拟对象的面部动画的第一数据;响应于第一数据校验成功,基于第一数据生成面部动画;响应于面部动画校验成功,基于面部动画控制虚拟对象的面部表情。需要说明的是,响应于第一数据校验成功,根据第一数据生成面部动画,并根据面部动画控制虚拟对象的面部表情,实现了自动化生成面部动画、并根据面部动画控制虚拟对象的面部表情的技术效果,且实时对第一数据、面部动画进行校验,实现自动对处理结果进行校验的技术效果,提高了面部表情的准确性,达到了提高控制面部表情的准确度的目的,从而实现了自动化生成并校验面部表情的技术效果,进而解决了相关技术中控制虚拟对象面部表情准确度较低的技术问题。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个计算机可读存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本申请的示例性实施例中,计算机可读存储介质上存储有能够实现本实施例上述方法的程序产品。在一些可能的实施方式中,本公开实施例的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本实施例上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
根据本公开的实施方式的用于实现上述方法的程序产品,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开实施例的程序产品不限于此,在本公开实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
上述程序产品可以采用一个或多个计算机可读介质的任意组合。该计算机可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列举)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
需要说明的是,计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
本公开的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
步骤S1,获取用于生成虚拟对象的面部动画的第一数据;
步骤S2,响应于第一数据校验成功,基于第一数据生成面部动画;
步骤S3,响应于面部动画校验成功,基于面部动画控制虚拟对象的面部表情。
可选地,上述处理器还可以被设置为通过计算机程序执行以下步骤:响应于第一数据校验失败,确定第一数据校验失败的失败原因;响应于失败原因是预设原因,获取用于生成面部动画的第二数据;响应于第二数据校验成功,基于第二数据生成面部动画。
可选地,上述处理器还可以被设置为通过计算机程序执行以下步骤:响应于失败原因为预设原因之外的其余原因,输出预设提示信息至客户端。
可选地,上述处理器还可以被设置为通过计算机程序执行以下步骤:分别对第一数据进行切分,得到多个子数据;分别对多个子数据进行打包,得到多个数据集,其中,不同数据集包含不同的子数据;通过调用第一数据接口,分别对多个数据集进行校验;响应于多个数据集中的任意一个数据集校验成功,基于校验成功的数据集生成面部动画。
可选地,上述处理器还可以被设置为通过计算机程序执行以下步骤:将第一数据输入至动画生成模型,输出面部动画。
可选地,上述处理器还可以被设置为通过计算机程序执行以下步骤:响应于面部动画校验失败,基于第一数据生成新面部动画;响应于新面部动画校验成功,基于新面部动画控制虚拟对象的面部表情。
可选地,上述处理器还可以被设置为通过计算机程序执行以下步骤:将面部动画的装配配置文件和面部动画装载至虚幻引擎,其中,装配配置文件响应于第一数据校验成功,基于第一数据生成的,装配配置文件采用键值对的数据格式;通过虚幻引擎基于装配配置文件确定虚拟对象;通过虚幻引擎将面部动画与虚拟对象进行挂接,以控制虚拟对象的面部表情。
可选地,上述处理器还可以被设置为通过计算机程序执行以下步骤:在基于面部动画控制虚拟对象的面部表情的过程中,对虚拟对象的面部表情进行录屏操作,得到至少一张录屏图像;基于至少一张录屏图像校验面部动画是否成功装载至虚幻引擎。
可选地,上述处理器还可以被设置为通过计算机程序执行以下步骤:分别对至少一张录屏图像中的面部特征进行识别,得到至少一张录屏图像的识别结果;基于至少一张录屏图像的识别结果,确定面部动画是否成功装载至虚幻引擎。
可选地,上述处理器还可以被设置为通过计算机程序执行以下步骤:基于识别结果确定至少一张录屏图像中面部特征的变化信息,响应于变化信息满足预设变化阈值,确定面部动画成功装载至虚幻引擎,响应于变化信息不满足预设变化阈值,确定面部动画未成功装载至虚幻引擎;基于识别结果确定至少一张录屏图像中是否存在预设面部特征,响应于至少一张录屏图像中存在预设面部特征,确定面部动画成功装载至虚幻引擎,响应于至少一张录屏图像中不存在预设面部特征,确定面部动画未成功装载至虚幻引擎。
可选地,上述处理器还可以被设置为通过计算机程序执行以下步骤:获取用于生成虚拟对象的面部动画的第一数据,包括:响应于接收到客户端发送的动画生成指令,基于动画生成指令获取第一数据;在基于第一数据生成面部动画之后,方法还包括:将面部动画返回至客户端。
可选地,上述处理器还可以被设置为通过计算机程序执行以下步骤:将第一数据和/或面部动画同步至服务器,其中,第一数据和/或面部动画由服务器响应于接收到客户端发送的查询指令而发送给客户端。
在该实施例的电子装置中,提供了一种虚拟对象面部表情的控制方法的技术方案。获取用于生成虚拟对象的面部动画的第一数据;响应于第一数据校验成功,基于第一数据生成面部动画;响应于面部动画校验成功,基于面部动画控制虚拟对象的面部表情。需要说明的是,响应于第一数据校验成功,根据第一数据生成面部动画,并根据面部动画控制虚拟对象的面部表情,实现了自动化生成面部动画、并根据面部动画控制虚拟对象的面部表情的技术效果,且实时对第一数据、面部动画进行校验,实现自动对处理结果进行校验的技术效果,提高了面部表情的准确性,达到了提高控制面部表情的准确度的目的,从而实现了自动化生成并校验面部表情的技术效果,进而解决了相关技术中控制虚拟对象面部表情准确度较低的技术问题。
图11是根据本公开实施例的一种电子装置的示意图。如图11所示,电子装置1100仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图11所示,电子装置1100以通用计算设备的形式表现。电子装置1100的组件可以包括但不限于:上述至少一个处理器1110、上述至少一个存储器1120、连接不同系统组件(包括存储器1120和处理器1110)的总线1130和显示器1140。
其中,上述存储器1120存储有程序代码,所述程序代码可以被处理器1110执行,使得处理器1110执行本申请实施例的上述方法部分中描述的根据本公开各种示例性实施方式的步骤。
存储器1120可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)11201和/或高速缓存存储单元11202,还可以进一步包括只读存储单元(ROM)11203,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。
在一些实例中,存储器1120还可以包括具有一组(至少一个)程序模块11205的程序/实用工具11204,这样的程序模块11205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。存储器1120可进一步包括相对于处理器1110远程设置的存储器,这些远程存储器可以通过网络连接至电子装置1100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
总线1130可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理器1110或者使用多种总线结构中的任意总线结构的局域总线。
显示器1140可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与电子装置1100的用户界面进行交互。
可选地,电子装置1100也可以与一个或多个外部设备1200(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子装置1100交互的设备通信,和/或与使得该电子装置1100能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1150进行。并且,电子装置1100还可以通过网络适配器1160与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图11所示,网络适配器1160通过总线1130与电子装置1100的其它模块通信。应当明白,尽管图11中未示出,可以结合电子装置1100使用其它硬件和/或软件模块,可以包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
上述电子装置1100还可以包括:键盘、光标控制设备(如鼠标)、输入/输出接口(I/O接口)、网络接口、电源和/或相机。
本领域普通技术人员可以理解,图11所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,电子装置1100还可包括比图11中所示更多或者更少的组件,或者具有与图1所示不同的配置。存储器1120可用于存储计算机程序及对应的数据,如本公开实施例中的虚拟对象面部表情的控制方法对应的计算机程序及对应的数据。处理器1110通过运行存储在存储器1120内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的虚拟对象面部表情的控制方法。
上述本公开实施例序号仅仅为了描述,不代表实施例的优劣。
在本公开的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本公开的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本公开原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本公开的保护范围。
Claims (15)
1.一种虚拟对象面部表情的控制方法,其特征在于,包括:
获取用于生成所述虚拟对象的面部动画的第一数据;
响应于所述第一数据校验成功,基于所述第一数据生成所述面部动画;
响应于所述面部动画校验成功,基于所述面部动画控制所述虚拟对象的面部表情。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于所述第一数据校验失败,确定所述第一数据校验失败的失败原因;
响应于所述失败原因是预设原因,获取用于生成所述面部动画的第二数据;响应于所述第二数据校验成功,基于所述第二数据生成所述面部动画。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
响应于所述失败原因为所述预设原因之外的其余原因,输出预设提示信息至客户端。
4.根据权利要求1所述的方法,其特征在于,所述第一数据包括以下至少一项:音频数据、文本数据、及虚拟场景对应的任务数据,所述方法还包括:
对所述第一数据进行切分,得到多个子数据;
分别对所述多个子数据进行打包,得到多个数据集,其中,不同数据集包含不同的子数据;
通过调用第一数据接口,分别对所述多个数据集进行校验;
响应于所述多个数据集中的任意一个数据集校验成功,基于校验成功的数据集生成所述面部动画。
5.根据权利要求1所述的方法,其特征在于,基于所述第一数据生成所述面部动画,包括:
将所述第一数据输入至动画生成模型,输出所述面部动画。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于所述面部动画校验失败,基于所述第一数据生成新面部动画;
响应于所述新面部动画校验成功,基于所述新面部动画控制所述虚拟对象的面部表情。
7.根据权利要求1所述的方法,其特征在于,基于所述面部动画控制所述虚拟对象的面部表情,包括:
将所述面部动画的装配配置文件和所述面部动画装载至虚幻引擎,其中,所述装配配置文件响应于所述第一数据校验成功,基于所述第一数据生成的,所述装配配置文件采用键值对的数据格式;
通过所述虚幻引擎基于所述装配配置文件确定所述虚拟对象;
通过所述虚幻引擎将所述面部动画与所述虚拟对象进行挂接,以控制所述虚拟对象的面部表情。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
在基于所述面部动画控制虚拟对象的面部表情的过程中,对所述虚拟对象的面部表情进行录屏操作,得到至少一张录屏图像;
基于所述至少一张录屏图像校验所述面部动画是否成功装载至所述虚幻引擎。
9.根据权利要求8所述的方法,其特征在于,基于所述至少一张录屏图像校验所述面部动画是否成功装载至所述虚幻引擎,包括:
分别对所述至少一张录屏图像中的面部特征进行识别,得到所述至少一张录屏图像的识别结果;
基于所述至少一张录屏图像的识别结果,确定所述面部动画是否成功装载至所述虚幻引擎。
10.根据权利要求9所述的方法,其特征在于,基于所述至少一张录屏图像的识别结果,确定所述面部动画是否成功装载至所述虚幻引擎,包括如下之一:
基于所述识别结果确定所述至少一张录屏图像中所述面部特征的变化信息,响应于所述变化信息满足预设变化阈值,确定所述面部动画成功装载至所述虚幻引擎,响应于所述变化信息不满足所述预设变化阈值,确定所述面部动画未成功装载至所述虚幻引擎;
基于所述识别结果确定所述至少一张录屏图像中是否存在预设面部特征,响应于所述至少一张录屏图像中存在所述预设面部特征,确定所述面部动画成功装载至所述虚幻引擎,响应于所述至少一张录屏图像中不存在所述预设面部特征,确定所述面部动画未成功装载至所述虚幻引擎。
11.根据权利要求1所述的方法,其特征在于,
获取用于生成所述虚拟对象的所述面部动画的所述第一数据,包括:
响应于接收到客户端发送的动画生成指令,基于所述动画生成指令获取所述第一数据;
在基于所述第一数据生成所述面部动画之后,所述方法还包括:
将所述面部动画返回至所述客户端。
12.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述第一数据和/或所述面部动画同步至服务器,其中,所述第一数据和/或所述面部动画由所述服务器响应于接收到客户端发送的查询指令而发送给所述客户端。
13.一种虚拟对象面部表情的控制装置,其特征在于,包括:
获取模块,用于获取用于生成所述虚拟对象的面部动画的第一数据;
生成模块,用于响应于所述第一数据校验成功,基于所述第一数据生成所述面部动画;
控制模块,用于响应于所述面部动画校验成功,基于所述面部动画控制所述虚拟对象的面部表情。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为被处理器运行时执行权利要求1至12任一项中所述的方法。
15.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至12任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311867678.5A CN117853624A (zh) | 2023-12-29 | 2023-12-29 | 虚拟对象面部表情的控制方法和装置、存储介质及电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311867678.5A CN117853624A (zh) | 2023-12-29 | 2023-12-29 | 虚拟对象面部表情的控制方法和装置、存储介质及电子装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117853624A true CN117853624A (zh) | 2024-04-09 |
Family
ID=90547587
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311867678.5A Pending CN117853624A (zh) | 2023-12-29 | 2023-12-29 | 虚拟对象面部表情的控制方法和装置、存储介质及电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117853624A (zh) |
-
2023
- 2023-12-29 CN CN202311867678.5A patent/CN117853624A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10732708B1 (en) | Disambiguation of virtual reality information using multi-modal data including speech | |
US10521946B1 (en) | Processing speech to drive animations on avatars | |
US10860345B2 (en) | System for user sentiment tracking | |
US11679334B2 (en) | Dynamic gameplay session content generation system | |
CN110602516A (zh) | 基于视频直播的信息交互方法、装置及电子设备 | |
CN104485105A (zh) | 一种电子病历生成方法和电子病历系统 | |
CN113014471B (zh) | 会话处理方法,装置、终端和存储介质 | |
CN114419205B (zh) | 虚拟数字人的驱动方法及位姿获取模型的训练方法 | |
US11232645B1 (en) | Virtual spaces as a platform | |
CN104866275B (zh) | 一种用于获取图像信息的方法和装置 | |
CN114254158B (zh) | 视频生成方法及其装置、神经网络的训练方法及其装置 | |
JP2021034003A (ja) | 人物識別方法、装置、電子デバイス、記憶媒体、及びプログラム | |
US20230368461A1 (en) | Method and apparatus for processing action of virtual object, and storage medium | |
CN113190695B (zh) | 多媒体数据搜索方法及装置、计算机设备和介质 | |
US20230376328A1 (en) | Personalized user interface | |
US20240189724A1 (en) | Videogame telemetry data and game asset tracker for session recordings | |
CN108256071B (zh) | 录屏文件的生成方法、装置、终端及存储介质 | |
CN114222076A (zh) | 一种换脸视频生成方法、装置、设备以及存储介质 | |
CN114860995B (zh) | 视频脚本生成方法、装置、电子设备及介质 | |
CN115879469B (zh) | 文本数据处理方法、模型训练方法、装置及介质 | |
CN117520498A (zh) | 基于虚拟数字人交互处理方法、系统、终端、设备及介质 | |
CN117853624A (zh) | 虚拟对象面部表情的控制方法和装置、存储介质及电子装置 | |
CN114238745A (zh) | 一种提供搜索结果的方法及装置、电子设备和介质 | |
CN113785539A (zh) | 用于基于对用户情绪的识别来动态推荐输入的系统和方法 | |
JP7166370B2 (ja) | 音声記録のための音声認識率を向上させる方法、システム、およびコンピュータ読み取り可能な記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |