CN113908553A - 游戏角色表情生成方法、装置、电子设备及存储介质 - Google Patents
游戏角色表情生成方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113908553A CN113908553A CN202111389139.6A CN202111389139A CN113908553A CN 113908553 A CN113908553 A CN 113908553A CN 202111389139 A CN202111389139 A CN 202111389139A CN 113908553 A CN113908553 A CN 113908553A
- Authority
- CN
- China
- Prior art keywords
- expression
- game
- game role
- role
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 270
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000008921 facial expression Effects 0.000 claims abstract description 130
- 238000003062 neural network model Methods 0.000 claims abstract description 49
- 230000001815 facial effect Effects 0.000 claims abstract description 34
- 238000004891 communication Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 12
- 238000007499 fusion processing Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 abstract description 6
- 210000003128 head Anatomy 0.000 description 21
- 230000008451 emotion Effects 0.000 description 7
- 206010011469 Crying Diseases 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种游戏角色表情生成方法、装置、电子设备及计算机存储介质。游戏角色表情生成方法包括:获取目标人脸图片;将目标人脸图片输入预先训练完成的神经网络模型,通过神经网络模型得到目标人脸图片对应的人脸属性信息,人脸属性信息包括:人脸表情信息;获取游戏角色的角色表情基;根据人脸表情信息和角色表情基,得到游戏角色表情数据;基于游戏角色表情数据,调整游戏角色模型并展示。通过本申请实施例,可以使得游戏角色模型具有与目标人脸图片相同的人脸表情。在实际应用中,可以根据玩家需求,得到与玩家表情同步的个性化游戏角色模型,提升了游戏角色表情的丰富度,进而提升了使用体验。
Description
技术领域
本申请实施例涉及计算机技术领域,尤其涉及一种游戏角色表情生成方法、装置、电子设备及计算机存储介质。
背景技术
在游戏领域,例如:角色扮演等种类的游戏中,通常存在多种不同的虚拟游戏角色供玩家选择,玩家选择某一具体的游戏角色之后,则以该游戏角色的身份在虚拟游戏世界中活动。
目前,游戏角色模型所具有的表情通常是在游戏上线之前,由开发人员预先设置好的,仅包括几种固定的静态或者动态表情。因此,表情较为单一,并且无法根据玩家的需求提供个性化的表情服务。
发明内容
有鉴于此,本申请实施例提供一种游戏角色表情生成方法、装置、电子设备及计算机存储介质,以至少部分解决上述问题。
根据本申请实施例的第一方面,提供了一种游戏角色表情生成方法,包括:
获取目标人脸图片;
将所述目标人脸图片输入预先训练完成的神经网络模型,通过所述神经网络模型得到所述目标人脸图片对应的人脸属性信息,所述人脸属性信息包括:人脸表情信息;
获取游戏角色的角色表情基,所述角色表情基用于描述所述游戏角色在预设基准表情下的表情特征;
根据所述人脸表情信息和所述角色表情基,得到游戏角色表情数据;
基于所述游戏角色表情数据,调整游戏角色模型并展示。
根据本申请实施例的第二方面,提供了一种游戏角色表情生成方法,包括:
接收游戏玩家针对游戏界面中游戏角色的表情预览指令;
根据所述表情预览指令采集游戏玩家的人脸图片,并基于所述人脸图片至少得到所述人脸图片对应的人脸表情信息;
根据所述人脸表情信息和所述游戏角色的角色表情基,得到游戏角色表情数据;
在所述游戏界面中展示所述游戏角色表情数据。
根据本申请实施例的第三方面,提供了一种游戏角色表情生成装置,包括:
目标人脸图片获取模块,用于获取目标人脸图片;
人脸属性信息得到模块,用于将所述目标人脸图片输入预先训练完成的神经网络模型中,通过所述神经网络模型得到所述目标人脸图片对应的人脸属性信息,所述人脸属性信息包括:人脸表情信息;
角色表情基获取模块,用于获取游戏角色的角色表情基,所述角色表情基用于描述所述游戏角色在预设基准表情下的表情特征;
游戏角色表情数据得到模块,用于根据所述人脸表情信息和所述角色表情基,得到游戏角色表情数据;
游戏角色模型调整模块,用于基于所述游戏角色表情数据,调整游戏角色模型并展示。
根据本申请实施例的第四方面,提供了一种游戏角色表情生成装置,包括:
表情预览指令接收模块,用于接收游戏玩家针对游戏界面中游戏角色的表情预览指令;
人脸表情信息得到模块,用于根据所述表情预览指令采集游戏玩家的人脸图片,并基于所述人脸图片至少得到所述人脸图片对应的人脸表情信息;
游戏角色表情数据得到模块,用于根据所述人脸表情信息和所述游戏角色的角色表情基,得到游戏角色表情数据;
展示模块,用于在所述游戏界面中展示所述游戏角色表情数据。
根据本申请实施例的第五方面,提供了一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如第一方面或第二方面所述的游戏角色表情生成方法对应的操作。
根据本申请实施例的第四方面,提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面或第二方面所述的游戏角色表情生成方法。
根据本申请实施例提供的游戏角色表情生成方法,获取到目标人脸图片之后,通过神经网络模型得到目标人脸图片对应的人脸表情信息,然后,基于人脸表情信息和能够描述游戏角色在预设基准表情下表情特征的角色表情基,生成游戏角色表情数据,进而调整游戏角色模型并展示。由于在生成游戏角色表情数据时,是基于目标人脸图片对应的人脸表情信息进行的,因此,生成的游戏角色模型也具有与目标人脸图像中的人脸表情相匹配的表情,也就是说,通过本申请实施例,可以使得游戏角色模型具有与目标人脸图片相同的人脸表情。在实际应用中,可以根据玩家需求,得到与玩家表情同步的个性化游戏角色模型,提升了游戏角色表情的丰富度,进而提升了使用体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为根据本申请实施例一的一种游戏角色表情生成方法的步骤流程图;
图2为图1所示实施例中的一种场景示例的示意图;
图3为根据本申请实施例二的一种游戏角色表情生成方法的步骤流程图;
图4为图3所示实施例中神经网络模型的训练步骤流程图;
图5为根据本申请实施例三的一种游戏角色表情生成方法的步骤流程图;
图6为根据本申请实施例四的一种游戏角色表情生成装置的结构框图;
图7为根据本申请实施例五的一种电子设备的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本申请实施例中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请实施例一部分实施例,而不是全部的实施例。基于本申请实施例中的实施例,本领域普通技术人员所获得的所有其他实施例,都应当属于本申请实施例保护的范围。
下面结合本申请实施例附图进一步说明本申请实施例具体实现。
实施例一、
参照图1,图1为根据本申请实施例一的一种游戏角色表情生成方法的步骤流程图。具体地,本实施例提供的游戏角色表情生成方法包括以下步骤:
步骤102,获取目标人脸图片。
目标人脸图片可以为包含有人脸信息的任意图片。例如:可以为包含有游戏玩家人脸信息的图片,也可以为包含有其他人的人脸信息的图片,等等;上述目标人脸图片可以为预先存储的图片,也可以为由执行本申请实施例提供的游戏角色表情生成方法的电子设备通过摄像装置实时捕获的图片;上述目标人脸图片可以为单张图片,也可以为视频数据中包含有人脸图片的连续视频帧中的其中之一。本申请实施例中,对于目标人脸图片中人脸信息的具体内容、目标人脸图片的获取方式,以及,目标人脸图片的存在形式均不作限定,可以根据实际需要进行设定。
步骤104,将目标人脸图片输入预先训练完成的神经网络模型,通过神经网络模型得到目标人脸图片对应的人脸属性信息,人脸属性信息包括:人脸表情信息。
为便于对人脸表情进行描述,通常引入标准人脸表情基,标准人脸表情基为一组数据集合,该组数据集合用于表征人脸在不同的预设基准表情(例如:大哭、大笑、生气等表情)下所具有的表情特征,本申请实施例中可以直接获取由第三方生成的标准人脸表情基。
任意一种人脸表情都可以表示为上述标准人脸表情基的线性组合。
本步骤中的人脸表情信息用于表征目标人脸图片中的人脸表情与上述标准人脸表情基的差异程度,或者说,本步骤中的人脸表情信息用于表征目标人脸图片中的人脸表情在上述标准人脸表情基方向上的强度值。具体地,人脸表情信息可以通过人脸表情参数的方式来表示。
对于某一具体的人脸表情,当获取到该人脸表情对应的人脸表情参数之后,则可将人脸表情参数作为权重,对标准人脸表情基进行加权融合处理,从而得到上述人脸表情的表情数据。
步骤106,获取游戏角色的角色表情基。
其中,与标准人脸表情基对应地,角色表情基用于描述游戏角色在上述预设基准表情(如:大哭、大笑、生气等)下的表情特征。
本步骤中,可以先获取自然表情下的游戏角色模型,然后,对游戏角色模型的各关键点(如:眉毛、嘴巴、鼻子等位置处的特征点)进行拉伸、移动等操作,使得游戏角色模型呈现出各种不同的基准表情,然后再基于经拉伸、移动等操作后的游戏角色模型得到游戏角色的角色表情基。
步骤108,根据人脸表情信息和角色表情基,得到游戏角色表情数据。
具体地,如上述步骤104所指出的,任意一种人脸表情都可以表示为标准人脸表情基的线性组合。对应地,任意一种角色表情也都可以表示为角色表情基的线性组合,因此,本步骤中,可以将人脸表情信息作为权重,对角色表情基进行加权融合处理,从而得到游戏角色表情数据。
步骤110,基于游戏角色表情数据,调整游戏角色模型并展示。
具体地,可以基于游戏角色表情数据,对游戏角色模型所呈现的表情进行调整,以使调整后表情与游戏角色表情数据相匹配。
参见图2,图2为本申请实施例一对应的场景示意图,以下,将参考图3所示的示意图,以一个具体场景示例,对本申请实施例进行说明:
获取带有微笑表情的目标人脸图片,将该图片输入预先训练完成的神经网络模型,以使神经网络模型进行特征提取,进而输出该图片对应的人脸表情信息;获取游戏角色的角色表情基(分别对应于大笑、难过、……、生气等表情);根据神经网络模型输出的人脸表情信息,以及获取到的角色表情基,得到游戏角色表情数据,具体地:可以将人脸表情信息作为权重,对角色表情基进行加权融合处理,得到游戏角色表情数据;在得到游戏表情数据之后,按照游戏表情数据,调整游戏角色模型所呈现的表情,从而使得游戏角色模型呈现出与游戏角色表情数据相匹配的表情,由于游戏角色表情数据是基于带有微笑表情的目标人脸图片对应的人脸表情信息得到的,因此,最终可以在预设的显示界面中展示同样带有微笑表情的游戏角色模型。
本申请实施例中,获取到目标人脸图片之后,通过神经网络模型得到目标人脸图片对应的人脸表情信息,然后,基于人脸表情信息和能够描述游戏角色在预设基准表情下表情特征的角色表情基,生成游戏角色表情数据,进而调整游戏角色模型并展示。由于在生成游戏角色表情数据时,是基于目标人脸图片对应的人脸表情信息进行的,因此,生成的游戏角色模型也具有与目标人脸图像中的人脸表情相匹配的表情,也就是说,通过本申请实施例,可以使得游戏角色模型具有与目标人脸图片相同的人脸表情。在实际应用中,可以根据玩家需求,得到与玩家表情同步的个性化游戏角色模型,提升了游戏角色表情的丰富度,进而提升了使用体验。
本实施例的游戏角色表情生成方法可以由任意适当的具有游戏角色表情生成能力的电子设备执行,包括但不限于:移动终端(如手机、PAD等)和PC机等。
实施例二、
参照图3,图3为根据本申请实施例二的一种游戏角色表情生成方法的步骤流程图。具体地,本实施例提供的游戏角色表情生成方法包括以下步骤:
步骤302,获取目标人脸图片。
本步骤中的目标人脸图片,可以为预先获取的目标视频中的视频帧,或者,也可以为由执行本申请实施例提供的游戏角色表情生成方法的电子设备通过摄像装置实时捕获的目标视频中的视频帧。
目标人脸图片中包含的人脸信息可以为游戏玩家的人脸信息,也可以为其他人的人脸信息,本申请实施例中,对于人脸信息的具体内容不做限定,可以根据实际需要自行设定。
步骤304,将目标人脸图片输入预先训练完成的神经网络模型,通过神经网络模型得到目标人脸图片对应的人脸属性信息,人脸属性信息包括:人脸表情信息和头部姿态信息。
本申请实施例,神经网络模型得到的人脸属性信息中,不仅可以包括与实施例一相同的人脸表情信息,而且还可以包含头部姿态信息。
就人脸表情信息而言,为便于对人脸表情进行描述,通常引入标准人脸表情基,标准人脸表情基为一组数据集合,该组数据集合用于表征人脸在不同的预设基准表情(例如:大哭、大笑、生气等表情)下所具有的表情特征,本申请实施例中可以直接获取由第三方生成的标准人脸表情基。
任意一种人脸表情都可以表示为上述标准人脸表情基的线性组合。本步骤中的人脸表情信息用于表征目标人脸图片中的人脸表情与上述标准人脸表情基的差异程度,或者说,本步骤中的人脸表情信息用于表征目标人脸图片中的人脸表情在上述标准人脸表情基方向上的强度值。具体地,人脸表情信息可以通过人脸表情参数的方式来表示。对于某一具体的人脸表情,当获取到该人脸表情对应的人脸表情参数之后,则可将人脸表情参数作为权重,对标准人脸表情基进行加权融合处理,从而得到上述人脸表情的表情数据。
就头部姿态信息而言,头部姿态信息可以用于描述目标人脸图片中人脸的头部姿态,具体地,可以包括:头部旋转信息等。在二维平面中,可以包括头部分别绕两个相互垂直方向轴的旋转信息(如旋转角度);在三维立体空间中,可以包括头部分别绕三个相互垂直方向轴的旋转信息(如旋转角度)。
步骤306,获取游戏角色的角色表情基。
其中,与标准人脸表情基对应地,角色表情基用于描述游戏角色在上述预设基准表情(如:大哭、大笑、生气等)下的表情特征。
可以先获取自然表情下的游戏角色模型,然后,对游戏角色模型的各关键点(如:眉毛、嘴巴、鼻子等位置处的特征点)进行拉伸、移动等操作,使得游戏角色模型呈现出各种不同的基准表情,然后再基于经拉伸、移动等操作后的游戏角色模型得到游戏角色的角色表情基。
步骤308,以人脸表情信息作为权重,对角色表情基进行加权融合处理,得到游戏角色表情数据。
如上述步骤308中所指出的,任意一种人脸表情都可以表示为标准人脸表情基的线性组合。对应地,任意一种角色表情也都可以表示为角色表情基的线性组合,因此,本步骤中,可以将人脸表情信息作为权重,对角色表情基进行加权融合处理,从而得到游戏角色表情数据。
步骤310,基于游戏角色表情数据,对游戏角色模型所呈现的表情进行调整,以使调整后表情与游戏角色表情数据相匹配。
步骤312,根据头部姿态信息,对游戏角色模型的头部姿态进行调整,得到调整后游戏角色模型。
具体地,例如:头部姿态信息包括头部分别绕三个相互垂直方向轴的旋转角度,则可以按照上述旋转角度对游戏角色模型的头部朝向进行调整,从而得到调整后游戏角色模型。本步骤中得到的调整后游戏角色模型不仅可以具有与目标人脸图片相同的人脸表情,同时,还可以保持与目标人脸图片中的头部相同的朝向。
步骤314,在预设界面中展示调整后游戏角色模型。
本申请实施例中的目标人脸图片为目标视频中的视频帧,在目标视频播放过程中,目标人脸图片也在不断变化,在每一视频帧的播放过程中,都可以通过上述步骤304-步骤314实现:在预设界面中展示具有与该视频帧中的人脸表情相匹配的表情的游戏角色模型。因此,可选地,在其中一些实施例中,可以在目标视频播放过程中,在预设界面中同步展示与目标视频中的各目标视频帧分别对应的调整后游戏角色模型。随着播放的视频帧的变换,对应的游戏角色模型的表情也可以随之变换,从而在界面中形成表情跟随目标视频中的人脸表情不断变换的动态游戏角色模型,提升游戏过程中的趣味性,进而提升游戏操作体验。
步骤316,在对调整后游戏角色模型进行展示的过程中,获取对应的音频数据。
本申请实施例中的音频数据可以为与目标人脸图片对应的音频数据,例如:当目标人脸图片为预先获取的目标视频中的视频帧时,本步骤可以在目标视频播放过程中同步获取该目标视频中包含的音频数据;又如:当目标人脸图片为由执行本申请实施例提供的游戏角色表情生成方法的电子设备通过摄像装置实时捕获的视频中的视频帧时,本步骤可以在视频捕获过程中同步获取周围环境中的音频数据,如:游戏玩家的声音数据等等。
步骤318,对预设界面中的展示数据以及音频数据进行融合处理,得到融合后数据,作为与游戏角色对应的动态表情包。
由于音频数据是与目标人脸图像对应的,而预设界面中的展示数据(即进行表情调整后的游戏角色模型)也是与目标人脸图像对应的,因此,音频数据与预设界面中的展示数据之间也存在对应关系,也就是说,音频数据与预设界面中的展示数据在时间上也是同步对应的。如:在带有微笑表情的目标人脸图像播放的过程中,获取到的音频数据a,在预设界面中展示的是具有微笑表情的游戏角色模型,则音频数据a是与预设界面中所展示的具有微笑表情的游戏角色模型在时间上是同步对应的。因此,本申请实施例中,可以对展示数据以及音频数据进行融合处理,使得音频数据与展示数据在时间上保持同步对应,从而得到融合后数据,该融合后数据则可以作为新生成的动态表情包。
步骤320,保存动态表情包。
在生成了动态表情包之后,可以对其进行存储,以便后续使用,例如:游戏玩家可以使用生成的动态表情包与其他游戏玩家进行信息交流等。
本申请实施例中,获取到目标人脸图片之后,通过神经网络模型得到目标人脸图片对应的人脸表情信息,然后,基于人脸表情信息和能够描述游戏角色在预设基准表情下表情特征的角色表情基,生成游戏角色表情数据,进而调整游戏角色模型并展示。由于在生成游戏角色表情数据时,是基于目标人脸图片对应的人脸表情信息进行的,因此,生成的游戏角色模型也具有与目标人脸图像中的人脸表情相匹配的表情,也就是说,通过本申请实施例,可以使得游戏角色模型具有与目标人脸图片相同的人脸表情。在实际应用中,可以根据玩家需求,得到与玩家表情同步的个性化游戏角色模型,提升了游戏角色表情的丰富度,进而提升了使用体验。
另外,本申请实施例中,获取的人脸属性信息中同时包括人脸表情信息和头部姿态信息,在对游戏角色模型进行调整时,不仅调整了游戏角色模型所呈现的表情,同时还对游戏角色模型进行了头部姿态调整,这样,可以进一步提升预设界面展示的游戏角色模型与目标人脸图片中人脸的一致性,提升了使用体验。同时,本申请实施例在调整后游戏角色模型的展示过程中,还对展示数据和获取到的音频数据进行了融合,得到了游戏角色对应的动态表情包,该动态表情包中游戏角色的表情是由游戏玩家自定义制作的,因此,进一步提升了玩家的使用体验。
本实施例的游戏角色表情生成方法可以由任意适当的具有游戏角色表情生成能力的电子设备执行,包括但不限于:移动终端(如手机、PAD等)和PC机等。
参照图4,图4为图3所示实施例中神经网络模型的训练步骤流程图。具体地,实施例二中神经网络模型的训练过程包括以下步骤:
步骤402,获取初始神经网络模型。
本申请实施例中,对于初始神经网络模型的具体结构不做限定,可以根据计算资源等实际情况来设定。
步骤404,获取样本人脸图片。
与目标人脸图片类似,样本人脸图片也可以为包含有人脸信息的任意图片。例如:可以为包含有游戏玩家人脸信息的图片,也可以为包含有其他人的人脸信息的图片,等等。本申请实施例中,对于样本人脸图片中人脸信息的具体内容、样本人脸图片的获取方式均不作限定,可以根据实际需要进行设定。
步骤406,对样本人脸图片进行三维人脸重建,得到样本人脸图片对应的三维样本人脸模型。
三维人脸模型是人脸在空间中的数字化表示,具体地,可以通过点云形式表征,也可以通过多边形网格的形式表征,还可以通过体素等形式表征。对应地,本申请实施例中的三维样本人脸模型则为样本人脸在空间中的数字化表示,优选地,三维样本人脸模型可以通过多边形网格的形式表征。
本申请实施例中,可以采用现有的三维人脸重建算法对样本人脸图片进行三维人脸重建以得到对应的三维样本人脸模型。此处对于三维人脸重建的具体方法不做限定。
步骤408,基于三维样本人脸模型,进行三维特征点提取,得到样本特征点位置信息。
本申请实施例中,可以采用现有的三维特征点提取方法以从三维样本人脸模型中得到样本特征点位置信息,此处对于特征点提取所采用的具体方法不做限定,
步骤410,获取标准人脸表情基。
其中,标准人脸表情基表征人脸在预设基准表情下的表情特征。
标准人脸表情基为一组数据集合,该组数据集合用于表征人脸在不同的预设基准表情(例如:大哭、大笑、生气等表情)下所具有的表情特征,本申请实施例中可以直接获取由第三方生成的标准人脸表情基。
步骤412,根据标准人脸表情基和样本特征点位置信息,得到样本人脸图片对应的人脸属性信息,作为样本人脸属性信息。
其中,样本人脸属性信息包括:样本人脸表情信息和样本头部姿态信息。
就样本人脸表情信息而言,由于任意一种人脸表情都可以表示为标准人脸表情基的线性组合。具体地,在获取到人脸表情信息的基础上,可以将人脸表情信息作为权重,对标准人脸表情基进行加权融合处理,得到人脸表情数据(其中包含人脸特征点位置信息)。因此,对应地,当获取到标准人脸表情基和样本特征点位置信息时,则可以执行与上述加权融合的反操作,从而得到样本人脸图片对应的人脸表情信息。
步骤414,基于样本人脸图片以及样本人脸属性信息,对初始神经网络模型进行训练,得到训练完成的神经网络模型。
本申请实施例中提供的上述训练过程,以人脸图片作为输入,使得神经网络模型输出包含人脸表情信息和头部姿态信息的人脸属性信息,对神经网络模型进行端到端训练,得到训练完成的模型,这样在推理阶段,输入目标人脸图片之后,神经网络模型即可直接输出对应的人脸属性信息,可以提升人脸属性信息的计算效率,进而提高游戏角色表情生成的整体效率。
实施例三、
参照图5,图5为根据本申请实施例三的一种游戏角色表情生成方法的步骤流程图。该实施例的应用场景可以是:在接收到游戏玩家的表情预览指令之后,在游戏界面中展示与游戏玩家的人脸表情相匹配的游戏角色表情数据。
具体地,本实施例提供的游戏角色表情生成方法包括以下步骤:
步骤502,接收游戏玩家针对游戏界面中游戏角色的表情预览指令。
具体地,游戏界面中可以包括一种或者多种游戏角色,游戏玩家可以在游戏界面中选择某一游戏角色,然后针对选中的游戏角色,给出表情预览指令。游戏玩家给出表情预览指令的方式可以有多种,例如,可以点击游戏页面中某个预设按钮;也可以点击键盘某个预设快捷键;还可以通过点击鼠标右键菜单中某一预设按钮,等等。此处,对于给出表情预览指令的方式不作限定,相应地,对于接收表情预览指令的方式也不作限定。
步骤504,根据表情预览指令采集游戏玩家的人脸图片,并基于人脸图片至少得到人脸图片对应的人脸表情信息。
执行本申请实施例提供的游戏角色表情生成方法的电子设备接收到表情预览指令之后,可以通过摄像装置实时捕获玩家的人脸图片,从而基于人脸图片得到人脸图片对应的人脸表情信息。
具体地,可以将人脸图片输入预先训练完成的神经网络模型,通过神经网络模型得到人脸图片对应的人脸表情信息。
步骤506,根据人脸表情信息和游戏角色的角色表情基,得到游戏角色表情数据。
步骤508,在游戏界面中展示游戏角色表情数据。
具体地,可以基于游戏角色表情数据,对游戏角色对应的游戏角色模型所呈现的表情进行调整,以使调整后表情与游戏角色表情数据相匹配,之后,在游戏界面中展示调整后游戏角色模型。
本申请实施例的游戏角色表情生成方法中的各个步骤的实现均可参照前述实施例一或实施例二中的相应部分的描述,在此亦不再赘述。
本申请实施例中,在接收到游戏玩家针对游戏角色的表情预览指令后,则实时获取游戏玩家的人脸图片,并得到人脸图片对应的人脸表情信息;进而在游戏角色中生成并展示与游戏玩家的人脸表情相匹配的游戏角色表情数据。本申请实施例可以根据游戏玩家的需求生成定制化的游戏角色表情,提升了游戏角色表情的丰富度,也增加了游戏玩家游戏过程中的趣味性。
实施例四、
参见图6,图6为根据本申请实施例四的一种游戏角色表情生成装置的结构框图。本申请实施例提供的游戏角色表情生成装置包括:
目标人脸图片获取模块602,用于获取目标人脸图片;
人脸属性信息得到模块604,用于将目标人脸图片输入预先训练完成的神经网络模型中,通过神经网络模型得到目标人脸图片对应的人脸属性信息,人脸属性信息包括:人脸表情信息;
角色表情基获取模块606,用于获取游戏角色的角色表情基,角色表情基用于描述游戏角色在预设基准表情下的表情特征;
游戏角色表情数据得到模块608,用于根据人脸表情信息和角色表情基,得到游戏角色表情数据;
游戏角色模型调整模块610,用于基于游戏角色表情数据,调整游戏角色模型并展示。
可选地,在其中一些实施例中,游戏角色表情数据得到模块608具体用于:
以人脸表情信息作为权重,对角色表情基进行加权融合处理,得到游戏角色表情数据。
可选地,在其中一些实施例中,游戏角色模型调整模块610具体用于:
基于游戏角色表情数据,对游戏角色模型所呈现的表情进行调整,以使调整后表情与游戏角色表情数据相匹配;
在预设界面中展示调整后游戏角色模型。
可选地,在其中一些实施例中,人脸属性信息还包括:头部姿态信息;游戏角色模型调整模块610在执行在预设界面中展示调整后游戏角色模型的步骤时,具体用于:
根据头部姿态信息,对游戏角色模型的头部姿态进行调整,得到调整后游戏角色模型;
在预设界面中展示调整后游戏角色模型
可选地,在其中一些实施例中,装置还包括:
音频数据获取模块,用于在对调整后游戏角色模型进行展示的过程中,获取对应的音频数据;
动态表情包得到模块,用于对预设界面中的展示数据以及音频数据进行融合处理,得到融合后数据,作为与游戏角色对应的动态表情包;
动态表情包保存模块,用于保存动态表情包。
可选地,在其中一些实施例中,目标人脸图片为目标视频中的目标视频帧;游戏角色模型调整模块610在执行在预设界面中展示调整后游戏角色模型的步骤时,具体用于:
在目标视频播放过程中,在预设界面中同步展示与目标视频中的各目标视频帧分别对应的调整后游戏角色模型。
可选地,在其中一些实施例中,目标人脸图片为实时采集的包含游戏玩家人脸信息的图片。
可选地,在其中一些实施例中,装置还包括:
神经网络模型训练模块,用于获取初始神经网络模型;获取样本人脸图片,以及样本人脸图片对应的样本人脸属性信息;基于样本人脸图片以及样本人脸属性信息,对初始神经网络模型进行训练,得到训练完成的神经网络模型。
可选地,在其中一些实施例中,神经网络模型训练模块在执行获取样本人脸图片,以及样本人脸图片对应的样本人脸属性信息的步骤时,具体用于:
获取样本人脸图片;
对样本人脸图片进行三维人脸重建,得到样本人脸图片对应的三维样本人脸模型;
对三维样本人脸模型进行参数化处理,得到样本人脸图片对应的人脸属性信息,作为样本人脸属性信息。
可选地,在其中一些实施例中,神经网络模型训练模块在执行对三维样本人脸模型进行参数化处理,得到样本人脸图片对应的人脸属性信息,作为样本人脸属性信息的步骤时,具体用于:
基于三维样本人脸模型,进行三维特征点提取,得到样本特征点位置信息;
获取标准人脸表情基,标准人脸表情基表征人脸在预设基准表情下的表情特征;
根据标准人脸表情基和样本特征点位置信息,得到样本人脸图片对应的人脸属性信息,作为样本人脸属性信息。
本实施例的游戏角色表情生成装置用于实现前述多个方法实施例中相应的游戏角色表情生成方法,并具有相应的方法实施例的有益效果,在此不再赘述。此外,本实施例的游戏角色表情生成装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述,在此亦不再赘述。
实施例五、
参照图7,示出了根据本申请实施例五的一种电子设备的结构示意图,本申请具体实施例并不对电子设备的具体实现做限定。
如图7所示,该电子设备可以包括:处理器(processor)702、通信接口(Communications Interface)704、存储器(memory)706、以及通信总线708。
其中:
处理器702、通信接口704、以及存储器706通过通信总线708完成相互间的通信。
通信接口704,用于与其它电子设备或服务器进行通信。
处理器702,用于执行程序710,具体可以执行上述游戏角色表情生成方法实施例中的相关步骤。
具体地,程序710可以包括程序代码,该程序代码包括计算机操作指令。
处理器702可能是CPU,或者是特定集成电路ASIC(Application SpecificIntegrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器706,用于存放程序710。存储器706可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序710具体可以用于使得处理器702执行以下操作:获取目标人脸图片;将目标人脸图片输入预先训练完成的神经网络模型,通过神经网络模型得到目标人脸图片对应的人脸属性信息,人脸属性信息包括:人脸表情信息;获取游戏角色的角色表情基,角色表情基用于描述游戏角色在预设基准表情下的表情特征;根据人脸表情信息和角色表情基,得到游戏角色表情数据;基于游戏角色表情数据,调整游戏角色模型并展示。
程序710中各步骤的具体实现可以参见上述游戏角色表情生成方法实施例中的相应步骤和单元中对应的描述,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
通过本实施例的电子设备,获取到目标人脸图片之后,通过神经网络模型得到目标人脸图片对应的人脸表情信息,然后,基于人脸表情信息和能够描述游戏角色在预设基准表情下表情特征的角色表情基,生成游戏角色表情数据,进而调整游戏角色模型并展示。由于在生成游戏角色表情数据时,是基于目标人脸图片对应的人脸表情信息进行的,因此,生成的游戏角色模型也具有与目标人脸图像中的人脸表情相匹配的表情,也就是说,通过本申请实施例,可以使得游戏角色模型具有与目标人脸图片相同的人脸表情。在实际应用中,可以根据玩家需求,得到与玩家表情同步的个性化游戏角色模型,提升了游戏角色表情的丰富度,进而提升了使用体验。
本申请实施例还提供了一种计算机程序产品,包括计算机指令,该计算机指令指示计算设备执行上述多个方法实施例中的任一游戏角色表情生成方法对应的操作。
需要指出,根据实施的需要,可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤,也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤,以实现本申请实施例的目的。
上述根据本申请实施例的方法可在硬件、固件中实现,或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码,或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如,RAM、ROM、闪存等),当所述软件或计算机代码被计算机、处理器或硬件访问且执行时,实现在此描述的游戏角色表情生成方法。此外,当通用计算机访问用于实现在此示出的游戏角色表情生成方法的代码时,代码的执行将通用计算机转换为用于执行在此示出的游戏角色表情生成方法的专用计算机。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请实施例的范围。
以上实施方式仅用于说明本申请实施例,而并非对本申请实施例的限制,有关技术领域的普通技术人员,在不脱离本申请实施例的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本申请实施例的范畴,本申请实施例的专利保护范围应由权利要求限定。
Claims (14)
1.一种游戏角色表情生成方法,包括:
获取目标人脸图片;
将所述目标人脸图片输入预先训练完成的神经网络模型,通过所述神经网络模型得到所述目标人脸图片对应的人脸属性信息,所述人脸属性信息包括:人脸表情信息;
获取游戏角色的角色表情基,所述角色表情基用于描述所述游戏角色在预设基准表情下的表情特征;
根据所述人脸表情信息和所述角色表情基,得到游戏角色表情数据;
基于所述游戏角色表情数据,调整游戏角色模型并展示。
2.根据权利要求1所述的方法,其中,所述根据所述人脸表情信息和所述角色表情基,得到游戏角色表情数据,包括:
以所述人脸表情信息作为权重,对所述角色表情基进行加权融合处理,得到游戏角色表情数据。
3.根据权利要求1所述的方法,其中,所述基于所述游戏角色表情数据,调整游戏角色模型并展示,包括:
基于所述游戏角色表情数据,对游戏角色模型所呈现的表情进行调整,以使调整后表情与所述游戏角色表情数据相匹配;
在预设界面中展示调整后游戏角色模型。
4.根据权利要求3所述的方法,其中,所述人脸属性信息还包括:头部姿态信息;所述在预设界面中展示调整后游戏角色模型,包括:
根据所述头部姿态信息,对所述游戏角色模型的头部姿态进行调整,得到调整后游戏角色模型;
在预设界面中展示所述调整后游戏角色模型。
5.根据权利要求4所述的方法,其中,所述方法还包括:
在对所述调整后游戏角色模型进行展示的过程中,获取对应的音频数据;
对所述预设界面中的展示数据以及所述音频数据进行融合处理,得到融合后数据,作为与所述游戏角色对应的动态表情包;
保存所述动态表情包。
6.根据权利要求3所述的方法,其中,所述目标人脸图片为目标视频中的目标视频帧;
所述在预设界面中展示调整后游戏角色模型,包括:
在所述目标视频播放过程中,在预设界面中同步展示与所述目标视频中的各目标视频帧分别对应的调整后游戏角色模型。
7.根据权利要求1所述的方法,其中,所述目标人脸图片为实时采集的包含游戏玩家人脸信息的图片。
8.根据权利要求1所述的方法,其中,所述神经网络模型的训练过程,包括:
获取初始神经网络模型;
获取样本人脸图片,以及所述样本人脸图片对应的样本人脸属性信息;
基于所述样本人脸图片以及所述样本人脸属性信息,对所述初始神经网络模型进行训练,得到训练完成的神经网络模型。
9.根据权利要求8所述的方法,其中,所述获取样本人脸图片,以及所述样本人脸图片对应的样本人脸属性信息,包括:
获取样本人脸图片;
对所述样本人脸图片进行三维人脸重建,得到所述样本人脸图片对应的三维样本人脸模型;
对所述三维样本人脸模型进行参数化处理,得到所述样本人脸图片对应的人脸属性信息,作为样本人脸属性信息。
10.一种游戏角色表情生成方法,包括:
接收游戏玩家针对游戏界面中游戏角色的表情预览指令;
根据所述表情预览指令采集游戏玩家的人脸图片,并基于所述人脸图片至少得到所述人脸图片对应的人脸表情信息;
根据所述人脸表情信息和所述游戏角色的角色表情基,得到游戏角色表情数据;
在所述游戏界面中展示所述游戏角色表情数据。
11.一种游戏角色表情生成装置,包括:
目标人脸图片获取模块,用于获取目标人脸图片;
人脸属性信息得到模块,用于将所述目标人脸图片输入预先训练完成的神经网络模型中,通过所述神经网络模型得到所述目标人脸图片对应的人脸属性信息,所述人脸属性信息包括:人脸表情信息;
角色表情基获取模块,用于获取游戏角色的角色表情基,所述角色表情基用于描述所述游戏角色在预设基准表情下的表情特征;
游戏角色表情数据得到模块,用于根据所述人脸表情信息和所述角色表情基,得到游戏角色表情数据;
游戏角色模型调整模块,用于基于所述游戏角色表情数据,调整游戏角色模型并展示。
12.一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-10中任一项所述的游戏角色表情生成方法对应的操作。
13.一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现如权利要求1-10中任一所述的游戏角色表情生成方法。
14.一种计算机程序产品,包括计算机指令,所述计算机指令指示计算设备执行如权利要求1-10中任一所述的游戏角色表情生成方法对应的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111389139.6A CN113908553A (zh) | 2021-11-22 | 2021-11-22 | 游戏角色表情生成方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111389139.6A CN113908553A (zh) | 2021-11-22 | 2021-11-22 | 游戏角色表情生成方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113908553A true CN113908553A (zh) | 2022-01-11 |
Family
ID=79248092
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111389139.6A Pending CN113908553A (zh) | 2021-11-22 | 2021-11-22 | 游戏角色表情生成方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113908553A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101944163A (zh) * | 2010-09-25 | 2011-01-12 | 德信互动科技(北京)有限公司 | 通过捕捉人脸表情实现游戏角色表情同步的方法 |
US20140267413A1 (en) * | 2013-03-14 | 2014-09-18 | Yangzhou Du | Adaptive facial expression calibration |
CN105797375A (zh) * | 2014-12-31 | 2016-07-27 | 深圳市亿思达科技集团有限公司 | 一种跟随用户脸部表情改变角色模型表情的方法和终端 |
CN111860451A (zh) * | 2020-08-03 | 2020-10-30 | 宿州小马电子商务有限公司 | 一种基于人脸表情识别的游戏交互方法 |
CN112102454A (zh) * | 2020-09-27 | 2020-12-18 | 深圳市灼华网络科技有限公司 | 人脸表情的驱动方法、装置、设备及存储介质 |
CN112190921A (zh) * | 2020-10-19 | 2021-01-08 | 珠海金山网络游戏科技有限公司 | 一种游戏交互方法及装置 |
CN112907703A (zh) * | 2021-01-18 | 2021-06-04 | 深圳全民吃瓜科技有限公司 | 一种表情包生成方法及系统 |
-
2021
- 2021-11-22 CN CN202111389139.6A patent/CN113908553A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101944163A (zh) * | 2010-09-25 | 2011-01-12 | 德信互动科技(北京)有限公司 | 通过捕捉人脸表情实现游戏角色表情同步的方法 |
US20140267413A1 (en) * | 2013-03-14 | 2014-09-18 | Yangzhou Du | Adaptive facial expression calibration |
CN105797375A (zh) * | 2014-12-31 | 2016-07-27 | 深圳市亿思达科技集团有限公司 | 一种跟随用户脸部表情改变角色模型表情的方法和终端 |
CN111860451A (zh) * | 2020-08-03 | 2020-10-30 | 宿州小马电子商务有限公司 | 一种基于人脸表情识别的游戏交互方法 |
CN112102454A (zh) * | 2020-09-27 | 2020-12-18 | 深圳市灼华网络科技有限公司 | 人脸表情的驱动方法、装置、设备及存储介质 |
CN112190921A (zh) * | 2020-10-19 | 2021-01-08 | 珠海金山网络游戏科技有限公司 | 一种游戏交互方法及装置 |
CN112907703A (zh) * | 2021-01-18 | 2021-06-04 | 深圳全民吃瓜科技有限公司 | 一种表情包生成方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10776981B1 (en) | Entertaining mobile application for animating a single image of a human body and applying effects | |
CN111080759B (zh) | 一种分镜效果的实现方法、装置及相关产品 | |
KR102491140B1 (ko) | 가상 아바타 생성 방법 및 장치 | |
CN104170318B (zh) | 使用交互化身的通信 | |
CN108322832B (zh) | 评论方法、装置、及电子设备 | |
WO2019173108A1 (en) | Electronic messaging utilizing animatable 3d models | |
EP3889912A1 (en) | Method and apparatus for generating video | |
CN108874114B (zh) | 实现虚拟对象情绪表达的方法、装置、计算机设备及存储介质 | |
CN110555507B (zh) | 虚拟机器人的交互方法、装置、电子设备及存储介质 | |
CN112669417B (zh) | 虚拟形象的生成方法、装置、存储介质及电子设备 | |
CN113240782A (zh) | 基于虚拟角色的流媒体生成方法及装置 | |
CN108525305A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
WO2022252866A1 (zh) | 一种互动处理方法、装置、终端及介质 | |
CN113362263B (zh) | 变换虚拟偶像的形象的方法、设备、介质及程序产品 | |
CN109035415B (zh) | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 | |
CN108668050A (zh) | 基于虚拟现实的视频拍摄方法和装置 | |
CN113095206A (zh) | 虚拟主播生成方法、装置和终端设备 | |
CN116342782A (zh) | 生成虚拟形象渲染模型的方法和装置 | |
CN114554111A (zh) | 视频生成方法和装置、存储介质及电子设备 | |
CN112634413B (zh) | 生成模型和生成3d动画的方法、装置、设备和存储介质 | |
CN115984943B (zh) | 面部表情捕捉及模型训练方法、装置、设备、介质及产品 | |
US20230120883A1 (en) | Inferred skeletal structure for practical 3d assets | |
CN113327311B (zh) | 基于虚拟角色的显示方法、装置、设备、存储介质 | |
CN113908553A (zh) | 游戏角色表情生成方法、装置、电子设备及存储介质 | |
CN116630488A (zh) | 视频图像处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220111 |
|
RJ01 | Rejection of invention patent application after publication |