CN110717977B - 游戏角色脸部处理的方法、装置、计算机设备及存储介质 - Google Patents

游戏角色脸部处理的方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110717977B
CN110717977B CN201911014108.5A CN201911014108A CN110717977B CN 110717977 B CN110717977 B CN 110717977B CN 201911014108 A CN201911014108 A CN 201911014108A CN 110717977 B CN110717977 B CN 110717977B
Authority
CN
China
Prior art keywords
face
identity
information
face image
pinching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911014108.5A
Other languages
English (en)
Other versions
CN110717977A (zh
Inventor
石天阳
袁燚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201911014108.5A priority Critical patent/CN110717977B/zh
Publication of CN110717977A publication Critical patent/CN110717977A/zh
Application granted granted Critical
Publication of CN110717977B publication Critical patent/CN110717977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供了一种游戏角色脸部处理的方法、装置、计算机设备及存储介质，其中，该方法包括：获取真实场景中的多张第一人脸图像样本；通过人脸识别模型和内容识别模型分别提取出第一身份特征信息和第一内容特征信息；针对将第一身份特征信息输入至待训练的编码模型输出的第一捏脸参数，将该参数输入至游戏角色二维图像生成模型，输出人脸生成图像，并提取对应的第二身份特征信息和第二内容特征信息；基于上述身份特征信息和内容特征信息确定的目标损失函数对编码模型的权重参数信息进行调整以训练得到编码模型。采用该编码模型能够自动生成捏脸参数，利用该捏脸参数可以创建与真实人物相似的游戏角色，且无需用户手动调整参数，提高了生成效率。

Description

游戏角色脸部处理的方法、装置、计算机设备及存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种游戏角色脸部处理的方法、装置、计算机设备及存储介质。
背景技术
随着移动终端和计算机技术的发展，越来越多的角色扮演游戏(Role-playinggame，RPG)为满足用户的个性化角色定制需求，在创建虚拟角色的时候通常会增加捏脸功能。利用捏脸功能可以对虚拟角色的五官和脸型等进行调整，从而帮助用户自定义得到自身喜欢的游戏角色样貌。
相关技术中通常可以基于骨骼驱动的三维(3-Dimensions，3D)模型实现捏脸，采用这一方案，用户通过调整各个骨骼参数即可以改变3D游戏角色的脸部外观。然而，由于设定的骨骼参数较多，用户手动操作较为复杂，耗时较长，特别是当用户想要创建与真实人物(如用户自己或者某个明星)相似的角色时，难度更大。
发明内容
有鉴于此，本申请实施例的目的在于提供一种游戏角色脸部处理的方法、装置、计算机设备及存储介质，通过训练的编码模型能够自动生成渲染游戏角色三维模型的捏脸参数(对应骨骼参数)，进而自动生成与真实人物更为相似的游戏角色，生成效率较高。
主要包括以下几个方面：
第一方面，本申请提供了一种游戏角色脸部处理的方法，所述方法包括：
获取真实场景中的多张第一人脸图像样本；
将获取的每张第一人脸图像样本分别输入至预先训练好的人脸识别模型和内容识别模型中，得到每张第一人脸图像样本对应的第一身份特征信息和第一内容特征信息；
以及，将所述第一身份特征信息输入至待训练的编码模型，输出第一捏脸参数信息；将所述第一捏脸参数信息输入至预先训练好的游戏角色二维图像生成模型中，输出人脸生成图像；将输出的人脸生成图像分别输入至所述人脸识别模型和内容识别模型中，得到每张人脸生成图像对应的第二身份特征信息和第二内容特征信息；
基于所述第一身份特征信息、所述第二身份特征信息、所述第一内容特征信息和所述第二内容特征信息确定目标损失函数；
根据所述目标损失函数调整所述待训练的编码模型的权重参数信息，得到训练后的编码模型，所述编码模型用于在输入待处理人脸图像后，得到渲染游戏角色三维模型的捏脸参数信息。
在一种实施方式中，所述方法还包括：
获取待处理人脸图像；所述待处理人脸图像为用户端输入的真实场景中的人脸图像；
将获取的所述待处理人脸图像输入至所述人脸识别模型中，得到所述待处理人脸图像对应的身份特征信息；
将所述待处理人脸图像对应的身份特征信息输入至所述训练后的编码模型中，确定所述编码模型输出的捏脸参数信息；
将所述捏脸参数信息发送至所述用户端，以使所述用户端根据所述捏脸参数信息渲染出虚拟场景中的游戏角色三维模型。
在一种实施方式中，所述基于所述第一身份特征信息、所述第二身份特征信息、所述第一内容特征信息和所述第二内容特征信息确定目标损失函数，包括：
基于所述第一身份特征信息和所述第二身份特征信息构建身份损失函数，以及基于所述第一内容特征信息和所述第二内容特征信息构建内容损失函数；
将构建的所述身份损失函数和所述内容损失函数进行合成，得到目标损失函数。
在一种实施方式中，在得到每张人脸生成图像对应的第二身份特征信息之后，确定目标损失函数之前，还包括：
将所述第二身份特征信息输入至所述待训练的编码模型中，输出第二捏脸参数信息；
所述确定目标损失函数，包括：
基于所述第一身份特征信息、所述第二身份特征信息、所述第一内容特征信息、所述第二内容特征信息、所述第一捏脸参数信息以及所述第二捏脸参数信息确定目标损失函数。
在一种实施方式中，所述基于所述第一身份特征信息、所述第二身份特征信息、所述第一内容特征信息、所述第二内容特征信息、所述第一捏脸参数信息以及所述第二捏脸参数信息确定目标损失函数，包括：
基于所述第一身份特征信息和所述第二身份特征信息构建身份损失函数，基于所述第一内容特征信息和所述第二内容特征信息构建内容损失函数，基于所述第一捏脸参数信息和所述第二捏脸参数信息构建重构损失函数，以及基于预设平均脸参数信息和所述第一捏脸参数信息构建参数衰减损失函数；
将构建的所述身份损失函数、所述内容损失函数、所述重构损失函数以及所述参数衰减损失函数进行合成，得到所述目标损失函数。
在一种实施方式中，所述根据所述目标损失函数调整所述待训练的编码模型的权重参数信息，包括：
对所述目标损失函数求导，得到有关所述待训练的编码模型的权重参数的梯度函数；
将预设的初始权重参数信息代入至所述梯度函数，得到迭代后的梯度向量；
基于迭代后的梯度向量，对所述初始权重参数信息进行更新，得到更新后的权重参数信息；
将所述更新后的权重参数信息再次代入至所述梯度函数，返回所述基于迭代后的梯度向量，对所述初始权重参数信息进行更新的步骤，直至满足预设迭代更新截止条件时，得到最终更新后的权重参数信息。
在一种实施方式中，所述人脸识别模型包括身份特征提取层和身份识别层；按照如下步骤训练所述人脸识别模型：
获取真实场景中的多张第二人脸图像样本和每张第二人脸图像样本的身份标签；
将获取的每张第二人脸图像样本输入至待训练的身份特征提取层中，得到所述待训练的身份特征提取层输出的身份特征信息；
将所述待训练的身份特征提取层输出的身份特征信息输入所述身份识别层，将所述身份识别层输出的该张第二人脸图像样本对应的身份信息，与该张第二人脸图像样本的身份标签进行匹配，训练得到所述人脸识别模型。
在一种实施方式中，所述内容识别模型包括内容特征提取层和语义识别层；按照如下步骤训练所述内容识别模型；
获取人脸图像样本集；其中，所述人脸图像样本集包括真实场景中的多张第三人脸图像样本和每张第三人脸图像样本中各个像素点对应的语义标签；和/或，虚拟场景中游戏角色对应的多张第四人脸图像样本和每张第四人脸图像样本中各个像素点对应的语义标签；
针对所述人脸图像样本集中的每张人脸图像样本，将该张人脸图像样本输入至待训练的内容特征提取层中，得到所述待训练的内容特征提取层输出的内容特征信息；
将所述待训练的内容特征提取层输出的内容特征信息输入所述语义识别层，将所述语义识别层输出的每张人脸图像样本中各个像素点对应的语义信息，与该张人脸图像样本中各个像素点对应的语义标签进行匹配，训练得到所述内容识别模型。
在一种实施方式中，可以按照如下步骤训练所述游戏角色二维图像生成模型：
获取各组参考捏脸参数信息和每组参考捏脸参数信息对应的第五人脸图像样本；其中，所述第五人脸图像样本包括虚拟场景中游戏角色对应的人脸图像；
针对每组参考捏脸参数，将该组参考捏脸参数作为待训练的游戏角色二维图像生成模型的输入，将该组参考捏脸参数对应的第五人脸图像样本作为待训练的游戏角色二维图像生成模型的输出，训练得到所述游戏角色二维图像生成模型。
第二方面，本申请还提供了一种游戏角色脸部处理的方法，所述方法包括：
获取待处理人脸图像；所述待处理人脸图像为用户端输入的真实场景中的人脸图像；
将获取的所述待处理人脸图像输入至预先训练好的人脸识别模型中，得到所述待处理人脸图像对应的身份特征信息；
将所述待处理人脸图像对应的身份特征信息输入至预先训练好的编码模型中，确定所述编码模型输出的捏脸参数信息；
将所述捏脸参数信息发送至所述用户端，以使所述用户端根据所述捏脸参数信息渲染出虚拟场景中的游戏角色三维模型。
第三方面，本申请还提供了一种游戏角色脸部处理的装置，所述装置包括：
样本获取模块，用于获取真实场景中的多张第一人脸图像样本；
信息提取模块，用于将获取的每张第一人脸图像样本分别输入至预先训练好的人脸识别模型和内容识别模型中，得到每张第一人脸图像样本对应的第一身份特征信息和第一内容特征信息；
以及，将所述第一身份特征信息输入至待训练的编码模型，输出第一捏脸参数信息；将所述第一捏脸参数信息输入至预先训练好的游戏角色二维图像生成模型中，输出人脸生成图像；将输出的人脸生成图像分别输入至所述人脸识别模型和内容识别模型中，得到每张人脸生成图像对应的第二身份特征信息和第二内容特征信息；
函数确定模块，用于基于所述第一身份特征信息、所述第二身份特征信息、所述第一内容特征信息和所述第二内容特征信息确定目标损失函数；
参数调整模块，用于根据所述目标损失函数调整所述待训练的编码模型的权重参数信息，得到训练后的编码模型，所述编码模型用于在输入待处理人脸图像后，得到渲染游戏角色三维模型的捏脸参数信息。
第四方面，本申请还提供了一种游戏角色脸部处理的装置，所述装置包括：
图像获取模块，用于获取待处理人脸图像；所述待处理人脸图像为用户端输入的真实场景中的人脸图像；
信息提取模块，用于将获取的所述待处理人脸图像输入至预先训练好的人脸识别模型中，得到所述待处理人脸图像对应的身份特征信息；将所述待处理人脸图像对应的身份特征信息输入至预先训练好的编码模型中，确定所述编码模型输出的捏脸参数信息；
信息发送模块，用于将所述捏脸参数信息发送至所述用户端，以使所述用户端根据所述捏脸参数信息渲染出虚拟场景中的游戏角色三维模型。
第五方面，本申请还提供了一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面及第一方面的各种实施方式中任一所述的游戏角色脸部处理的方法的步骤。
第六方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面及第一方面的各种实施方式中任一所述的游戏角色脸部处理的方法的步骤。
本申请提供的方案中，首先能够获取真实场景中的多张第一人脸图像样本，其次可以通过预先训练好的人脸识别模型提取出每张第一人脸图像样本对应的第一身份特征信息以及通过预先训练好的内容识别模型提取出该张第一人脸图像样本对应的第一内容特征信息，这样，针对将第一身份特征信息输入至待训练的编码模型之后输出的第一捏脸参数而言，在将该第一捏脸参数输入至预先训练好的游戏角色二维图像生成模型之后，可以输出人脸生成图像，针对人脸生成图像可以分别提取其第二身份特征信息和第二内容特征信息，然后根据第一身份特征信息、第二身份特征信息、第一内容特征信息和第二内容特征信息确定的目标损失函数，可以通过对待训练的编码模型的权重参数信息的调整训练得到编码模型。
通过上述方案，结合脸部对应的身份特征和内容特征构造的目标损失函数对编码模型进行了训练，内容特征作为一种表征人脸细节的属性特征，身份特征作为一种不会由于脸部角度偏移等变化而产生变化的身份标志属性，能够使得构建的目标损失函数最大可能性的确保虚拟角色(对应人脸生成图像)与真实人物(对应真实场景中的人脸图像)之间的相似性，这样，将待处理人脸图像输入训练好的编码模型中，输出得到的捏脸参数所渲染出的游戏角色三维模型与待处理人脸图像具有较高的相似性，且上述捏脸参数是基于训练好的编码模型自动生成的，无需用户手动调整参数，从而提高了生成效率。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例一所提供的一种游戏角色脸部处理的方法流程图；
图2示出了本申请实施例一所提供的一种游戏角色脸部处理的方法示意图；
图3示出了本申请实施例一所提供的一种游戏角色脸部处理的方法中，确定权重参数信息的具体方法流程图；
图4示出了本申请实施例一所提供的一种游戏角色脸部处理的方法中，训练人脸识别模型的具体方法流程图；
图5示出了本申请实施例一所提供的一种游戏角色脸部处理的方法中，训练内容识别模型的具体流程图；
图6示出了本申请实施例一所提供的一种游戏角色脸部处理的方法中，训练游戏角色二维图像生成模型的具体方法流程图；
图7示出了本申请实施例一所提供的一种游戏角色脸部处理的方法中，确定捏脸参数的具体方法流程图；
图8示出了本申请实施例二所提供的一种游戏角色脸部处理的方法流程图；
图9示出了本申请实施例三所提供的一种游戏角色脸部处理的装置的示意图；
图10示出了本申请实施例三所提供的另一种游戏角色脸部处理的装置的示意图；
图11示出了本申请实施例四所提供的一种计算机设备的示意图；
图12示出了本申请实施例四所提供的另一种计算机设备的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在相关基于骨骼驱动的三维(3-Dimensions，3D)模型实现捏脸的方案中，需要用户手动调整骨骼参数，然而，由于设定的骨骼参数较多，用户手动操作这些参数较为复杂，耗时较长，特别是当用户想要创建与真实人物(如用户自己或者某个明星)相似的角色时，难度更大。
基于上述研究，本申请提供了一种游戏角色脸部处理的方法、装置、计算机设备及存储介质，通过训练的编码模型能够自动生成渲染游戏角色三维模型的捏脸参数(对应骨骼参数)，无需手动调整，在提高了生成效率、降低操作交互的复杂度的同时还能够创建与真实人物更为相似的游戏角色。
针对以上方案所存在的缺陷，均是申请人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本申请针对上述问题所提出的解决方案，都属于申请人在本申请过程中对本申请做出的贡献性内容。
下面将结合本申请中附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为了便于理解本申请所提供的游戏角色脸部处理的方法、装置、计算机设备及存储介质，接下来通过几个实施例进行具体描述。
实施例一
参见图1所示的本申请实施例一提供的一种游戏角色脸部处理的方法的流程图，该方法的执行主体可以是游戏服务器，上述游戏角色脸部处理的方法具体通过如下S101～S105的步骤进行实现：
S101、获取真实场景中的多张第一人脸图像样本；
S102、将获取的每张第一人脸图像样本分别输入至预先训练好的人脸识别模型和内容识别模型中，得到每张第一人脸图像样本对应的第一身份特征信息和第一内容特征信息；
S103、将第一身份特征信息输入至待训练的编码模型，输出第一捏脸参数信息；将第一捏脸参数信息输入至预先训练好的游戏角色二维图像生成模型中，输出人脸生成图像；将输出的人脸生成图像分别输入至人脸识别模型和内容识别模型中，得到每张人脸生成图像对应的第二身份特征信息和第二内容特征信息；
S104、基于第一身份特征信息、第二身份特征信息、第一内容特征信息和第二内容特征信息确定目标损失函数；
S105、根据目标损失函数调整待训练的编码模型的权重参数信息，得到训练后的编码模型，编码模型用于在输入待处理人脸图像后，得到渲染游戏角色三维模型的捏脸参数信息。
这里，在进行编码模型的训练之前，需要准备训练样本集，也即需要获取真实场景中的多张第一人脸图像样本。除此之外，本申请实施例还可以在训练编码模型之前，确定预先训练好的用于提取身份特征信息的人脸识别模型、用于提取内容特征信息的内容识别模型、以及用于生成游戏角色二维人脸图像的生成模型(即游戏角色二维图像生成模型)。
在获取到多张第一人脸图像样本以及预先训练好的各个预训练模型之后，本申请实施例可以针对多张第一人脸图像样本中的每张第一人脸图像样本对待训练的编码模型中的权重参数信息进行调整，调整权重参数信息的过程即对应了训练编码模型的过程。
本申请实施例中，针对一张第一人脸图像样本可以仅进行权重参数信息的一次调整，也可以进行权重参数信息的多次迭代调整。无论采用上述两种方式的哪种调整方式，在模型训练次数达到预设次数(如500次)时，即可训练得到编码模型最终的权重参数信息。另外，为了提升编码模型对所有人脸图像样本的泛化能力，本申请实施例可以以遍历所有第一人脸图像样本为前提进行模型训练。
本申请实施例中可以根据构建的目标损失函数进行权重参数信息的调整，如通过最小化目标损失函数来确定权重参数信息。其中，上述目标损失函数可以由身份损失函数和内容损失函数合成得到，身份损失函数可以是基于第一身份特征信息和第二身份特征信息构建，内容损失函数可以基于第一内容特征信息和第二内容特征信息构建。在具体应用中，上述第一身份特征信息、第二身份特征信息、第一内容特征信息和第二内容特征信息均可以采用向量形式。
在构建目标损失函数的过程中，不仅可以仅基于上述身份损失函数和内容损失函数进行构建，还可以在上述身份损失函数和内容损失函数的基础之上，结合重构损失函数和参数衰减损失函数进行构建。其中，上述参数衰减损失函数可以基于预设平均脸参数信息和第一捏脸参数信息构建，重构损失函数可以基于第一捏脸参数和第二捏脸参数构建，该第二捏脸参数可以是在将上述第二身份特征信息输入至待训练的编码模型中，输出的捏脸参数信息。
为了便于说明本申请实施例提供的游戏角色脸部处理的方法中，有关根据目标损失函数调整权重参数信息的过程，接下来可以结合图2进行具体说明。
如图2所示，针对第一人脸图像样本(即图2所示的输入图像)而言，本申请实施例可以将第一人脸图像样本输入至人脸识别模型中确定对应的第一身份特征信息(即e)，以及将第一人脸图像样本输入至内容识别模型中确定对应的第一内容特征信息(即f)。针对与输入图像对应的人脸识别模型而言，其输出的第一身份特征信息一方面可以输入至待训练的编码模型中，这样，经编码模型输出的第一捏脸参数(即x)输入至游戏角色二维图像生成模型中，可以得到人脸生成图像，另一方面可以与人脸生成图像经过人脸识别模型提取的第二身份特征信息(e＇)构建身份损失函数(即Lidt)。针对与输入图像对应的内容识别模型而言，其输出的第一内容特征信息(即f)可以与人脸生成图像经过内容识别模型提取的第二内容特征信息(即f＇)构建内容损失函数(即Lctt)。
另外，针对与人脸生成图像对应的人脸识别模型而言，其输出的第二身份特征信息一方面可以与第一身份特征信息构建身份损失函数，另一方面可以输入至待训练的编码模型中，这样，经编码模型输出的第二捏脸参数(即x＇)可以与第一捏脸参数构建重构损失函数(即Lrec)。如图2所示，本申请实施例还可以基于平均脸参数信息与第一捏脸参数构建参数衰减损失函数(即Ldecay)。
本申请实施例在模型训练阶段需要优化的目标损失函数即是上述身份损失函数、内容损失函数、重构损失函数和参数衰减损失函数的合并结果。由于上述人脸识别模型、内容识别模型以及游戏角色二维图像生成模型均为预训练模型，因此，在进行编码模型的训练过程中，上述三个预训练模型的模型参数可以不进行更新，需要更新的仅为编码模型中的权重参数信息，这样，通过参数前向传递确定的目标损失函数可以是以编码模型中的权重参数为变量的函数，通过最小化上述目标损失函数即可以训练得到编码模型。
本申请实施例中，身份损失函数Lidt、内容损失函数Lctt、重构损失函数Lrec和参数衰减损失函数Ldecay作为构建目标损失函数的关键组成部分，接下来结合公式对这四个损失函数分别进行描述。
(1)本申请实施例中的身份损失函数Lidt可以定义在图像级别，用于描述输入图像和人脸生成图像之间的相似程度，也即，两张人脸越相似，其身份损失函数Lidt也越小，有关身份损失函数的定义如下：
Lidt＝1-cos(e,e') (1)
其中，e,e'用于分别表示第一身份特征信息和第二身份特征信息，cos(e,e')用于表征两个身份特征之间的距离。
本申请实施例中，可以通过缩小两个身份特征之间的距离，提高输入图像和人脸生成图像之间的相似程度。
(2)本申请实施例中的内容损失函数Lctt则可以定义在像素级别，用于描述输入图像和人脸生成图像的重合程度，也即，两张人脸图像中的五官轮廓越接近，重合程度越高，其内容损失函数Lctt也越小，有关内容损失函数的定义如下：
Lctt＝||f-f'||1 (2)
其中，f,f'用于分别表示第一内容特征信息和第二内容特征信息，||·||1为l1范数，用于表征两个内容特征之间的距离。
本申请实施例中，可以通过缩小两个内容特征之间的距离，提高人脸生成图像与输入图像之间的重合程度。
(3)本申请实施例中的重构损失函数Lrec可以按照如下公式确定：
Lrec＝||x-x'||1 (3)
其中，x,x'用于分别表示第一捏脸参数信息和第二捏脸参数信息，||·||1为l1范数，用于表征两个捏脸参数之间的距离。
本申请实施例中，第一捏脸参数可以作为第二捏脸参数的真值，又由于第一捏脸参数和第二捏脸参数是基于对身份特征的处理得到的，因此通过缩小两个捏脸参数之间的距离可以有效的提升虚拟角色对应的人脸生成图像对输入图像身份特征的学习能力，提高训练的编码模型的鲁棒性。
(4)本申请实施例中的参数衰减损失函数Ldecay可以按照如下公式确定：
Ldecay＝||x-m||1 (4)
其中，m用于表示预设平均脸参数信息，||·||1为l1范数，用于表征第一捏脸参数与平均脸参数之间的距离。
本申请实施例中，上述平均脸参数信息的维度等于第一捏脸参数信息的维度，可以由一组全零向量构成，通过缩小两个参数之间的距离可以按照预设平均脸参数调和第一捏脸参数的捏脸效果，即使在捏脸效果不佳时，也可以通过该距离的调整反馈给用户端一个标准化的捏脸参数，有效的提高编码模型的鲁棒性，增强自动捏脸的可视化效果。
基于上述公式(1)至(4)，可以确定目标损失函数，如下式所示：
L(I)＝Lidt+Lctt+Lrec+Ldecay (5)
本申请实施例中，上述目标损失函数是有关编码模型的权重参数的函数，通过最小化上述目标损失函数可以对权重参数信息进行调整。本申请实施例中可以选用梯度下降方法确定权重参数信息，如图3所示，本申请实施例提供的权重参数信息的确定方法具体包括如下步骤：
S301、对目标损失函数求导，得到有关待训练的编码模型的权重参数的梯度函数；
S302、将预设的初始权重参数信息代入至梯度函数，得到迭代后的梯度向量；
S303、基于迭代后的梯度向量，对初始权重参数信息进行更新，得到更新后的权重参数信息；
S304、将更新后的权重参数信息再次代入至梯度函数，返回基于迭代后的梯度向量，对初始权重参数信息进行更新的步骤，直至满足预设迭代更新截止条件时，得到最终更新后的权重参数信息。
这里，本申请实施例可以首先对目标损失函数求解有关待训练的编码模型的权重参数的倒数，得到梯度函数，这样，在将预设的初始权重参数信息代入至梯度函数之后，可以得到迭代后的梯度向量，然后基于迭代后的梯度向量可以对初始权重参数信息进行更新，将更新后的权重参数信息再次代入至梯度函数之后，可以得到再次迭代的梯度向量，基于该梯度向量可以对权重参数信息再次进行更新，以此类推，直至达到预设迭代更新截止条件时停止迭代，得到最终更新后的权重参数信息，以使得两个身份特征之间的距离足够小、两个内容特征之间的距离足够小、两个捏脸参数之间的距离足够小、第一捏脸参数与平均脸参数之间的距离足够小。
其中，上述预设迭代更新截止条件可以是迭代次数大于预设次数，也可以是两次迭代之间的目标损失函数差值小于预设差值，还可以是其它迭代更新截止条件，本申请实施例对此不做具体的限制。
本申请实施例中，在根据目标损失函数训练编码模型之前，可以基于多层全连接神经网络构建待训练的编码模型，以回归捏脸参数。上述编码模型的输入可以为身份特征向量e，输出可以为捏脸参数信息x。其中，该捏脸参数信息x分为连续参数信息和离散参数信息这两个部分。前者用于描述游戏人脸各个部位的几何形变(如平移、旋转、滚动等)，取值范围在0～1之间；后者代表发型、眉型等可选择的外观样式，取值范围为所有可选外观样式标识号(ID)。
为了便于对编码模型进行参数优化，针对编码模型输出的连续参数信息，可以利用sigmoid函数逐个归一化到0～1之间，针对编码模型输出的离散参数信息，可以利用softmax函数进行归一化。在针对离散参数信息进行归一化时，可以先确定每个离散参数信息对应的外观样式的种类，再针对每个种类的外观样式所对应的一组离散参数信息进行统一的归一化处理，以使得特定种类下的外观样式所对应的离散参数处于同一参考水平。
为了训练表征能力更鲁邦且更准确的编码模型，本申请实施例中选取的训练数据集(即各张第一人脸图像样本对应的图像集合)可以是进行了对齐转换后的各个人脸图像的集合。这里的对齐转换是指将获取的原始人脸图像转换为与基准脸等大小、五官位置相对应的人脸图像。
本申请实施例可以直接选取已经经过对齐转换处理的公开人脸数据集作为编码模型的训练数据集，如可以选取名人人脸图像数据集(Large-scale CelebFacesAttributes Dataset，CelebA)作为训练数据集。除此之外，本申请实施例还可以收集任意包含人脸的图像，通过对获取的原始人脸图像进行对齐转换以得到对应的第一人脸图像样本。
在具体应用中，可以通过如下步骤对获取的原始人脸图像进行对齐转换：
步骤一、对原始人脸图像进行人脸检测，得到人脸的大致位置；
步骤二、分别对基准脸和原始人脸图像提取人脸关键点，得到两组人脸68个关键点；
步骤三、通过两组关键点计算仿射矩阵，利用该矩阵可以将原始人脸图像变换成与基准脸等大小、五官位置相对应的人脸图像。
值得说明的是，为了进一步提升训练的编码模型的鲁棒性，本申请实施例在训练阶段中，针对不同的输入图像可以对不同的损失函数进行优化，例如，在输入图像为正脸图像时，可以同时最小化身份损失函数和内容损失函数，在输入图像为侧脸图像时，可以仅对身份损失函数进行优化，也即，针对脸部发生角度偏移的人脸图像样本而言，可以强化其身份特征对编码模型的影响，弱化其脸部细节特征对编码模型的影响，从而使得训练得到的编码模型的鲁棒性更强。这样，在应用阶段，不仅可以对待处理正脸图像进行捏脸操作，还可以对发生一定偏移角度的待处理侧脸图像进行捏脸操作，适用性更强。
考虑到人脸识别模型、内容识别模型以及游戏角色二维图像生成模型这三个预训练模型对编码模型训练的关键作用，接下来通过如下三个方面对上述三个预训练模型的训练方法进行具体说明。
第一方面：如图4所示，为本申请实施例提供的人脸识别模型的训练方法流程图，该训练方法具体包括如下步骤：
S401、获取真实场景中的多张第二人脸图像样本和每张第二人脸图像样本的身份标签；
S402、将获取的每张第二人脸图像样本输入至待训练的身份特征提取层中，得到待训练的身份特征提取层输出的身份特征信息；
S403、将待训练的身份特征提取层输出的身份特征信息输入身份识别层，将身份识别层输出的该张第二人脸图像样本对应的身份信息，与该张第二人脸图像样本的身份标签进行匹配，训练得到人脸识别模型。
这里，可以首先获取真实场景中的多张第二人脸图像样本和每张第二人脸图像样本的身份标签，然后将每张第二人脸图像样本输入至待训练的身份特征提取层中，得到待训练的身份特征提取层输出的身份特征信息，最后将该身份特征信息输入到身份识别层，判断该身份识别层当前输出的该张第二人脸图像样本对应的身份信息与标记的身份标签是否一致，如果不一致，则可以反向调整人脸识别模型的参数，直至在身份识别层当前输出的该张第二人脸图像样本对应的身份信息与标记的身份标签一致时，停止训练，得到人脸识别模型的参数，即得到了训练完成的人脸识别模型。
在具体应用中，可以基于深度卷积神经网络构建待训练的人脸识别模型，可以选用经典模型Light-CNN-29v2和对应的预训练参数构建待训练的人脸识别模型，还可以根据具体的应用场景进行人脸识别模型的构建，这里不做具体的限制。
其中，在基于上述经典模型进行训练时，其输入图像的大小可以是128*128，身份特征提取层输出的身份特征向量可以是256维，身份识别层输出的可以是一个识别概率矩阵，也即，针对上述经典模型所选用的数据集而言，若该数据集包括1000张第二人脸图像样本，共计具有80个身份标签，则在训练人脸识别模型时，其身份识别层输出的可以是一个80维的识别概率矩阵，从该识别概率矩阵可以选取出识别概率最大的身份标签，该身份标签即可以作为身份识别层当前输出的身份信息。
考虑到在进行编码模型训练的过程中，需要将第一人脸图像样本以及人脸生成图像输入至人脸识别模型，以提取出身份特征信息，因此，可以选用上述人脸识别模型中的身份特征提取层输出的身份特征信息作为人脸识别模型的输出结果。
第二方面：如图5所示，为本申请实施例提供的内容识别模型的训练方法流程图，该训练方法具体包括如下步骤：
S501、获取人脸图像样本集；其中，人脸图像样本集包括真实场景中的多张第三人脸图像样本和每张第三人脸图像样本中各个像素点对应的语义标签；和/或，虚拟场景中游戏角色对应的多张第四人脸图像样本和每张第四人脸图像样本中各个像素点对应的语义标签；
S502、针对人脸图像样本集中的每张人脸图像样本，将该张人脸图像样本输入至待训练的内容特征提取层中，得到待训练的内容特征提取层输出的内容特征信息；
S503、将待训练的内容特征提取层输出的内容特征信息输入语义识别层，将语义识别层输出的每张人脸图像样本中各个像素点对应的语义信息，与该张人脸图像样本中各个像素点对应的语义标签进行匹配，训练得到内容识别模型。
这里，可以首先获取包括真实场景中的多张第三人脸图像样本以及虚拟场景中游戏角色对应的多张第四人脸图像样本的人脸图像样本集，针对人脸图像样本集中的每张人脸图像样本，可以将该张人脸图像样本输入至待训练的内容特征提取层中，得到待训练的内容特征提取层输出的内容特征信息，最后将该内容特征信息输入到语义识别层，判断该语义识别层当前输出的每张人脸图像样本中各个像素点对应的语义信息与标记的语义标签是否一致，如果不一致，则可以反向调整内容识别模型的参数，直至在语义识别层输出的每张人脸图像样本中各个像素点对应的语义信息与标记的语义标签一致时，停止训练，得到内容识别模型的参数，即得到了训练完成的内容识别模型。
在具体应用中，上述内容识别模型可以是基于深度残差网络为基础搭建的深度卷积神经网络，如可以选用Helen人脸语义分割数据集进行内容识别模型的训练。该数据集的语义标签分为11类，分别是：背景、人脸、头发、左眉、右眉、左眼、右眼、鼻子、上嘴唇、牙齿、下嘴唇，也即，可以对人脸图像样本中的每个像素点进行标记，这样，在训练人脸识别模型时，其语义识别层输出的可以是针对每个像素点的11维的识别概率矩阵，从每个像素点的识别概率矩阵中可以选取出识别概率最大的语义标签，该语义标签即可以作为语音识别层当前输出的语义信息。
考虑到在进行编码模型训练的过程中，需要将第一人脸图像样本以及人脸生成图像输入至内容识别模型，以提取出内容特征信息，因此，可以选用上述内容识别模型中的内容特征提取层输出的内容特征信息作为内容识别模型的输出结果。
第三方面：如图6所示，为本申请实施例提供的游戏角色二维图像生成模型的训练方法流程图，该训练方法具体包括如下步骤：
S601、获取各组参考捏脸参数信息和每组参考捏脸参数信息对应的第五人脸图像样本；其中，第五人脸图像样本包括虚拟场景中游戏角色对应的人脸图像；
S602、针对每组参考捏脸参数，将该组参考捏脸参数作为待训练的游戏角色二维图像生成模型的输入，将该组参考捏脸参数对应的第五人脸图像样本作为待训练的游戏角色二维图像生成模型的输出，训练得到游戏角色二维图像生成模型。
这里，本申请实施例可以首先获取各组参考捏脸参数信息和每组参考捏脸参数信息对应的第五人脸图像样本，然后可以将每组参考捏脸参数作为待训练的游戏角色二维图像生成模型的输入，将该组参考捏脸参数对应的第五人脸图像样本作为待训练的游戏角色二维图像生成模型的输出进行图像生成模型的训练。
在具体应用中，上述图像生成模型可以是由一系列反卷积层构成的深度卷积神经网络，如可以选用Pytorch深度学习框架进行图像生成模型的训练。这里，可以采用随机梯度下降法优化图像生成模型的参数，在训练得到图像生成模型的参数之后，即可以针对第一捏脸参数确定其输出的人脸生成图像。
本申请实施例中，在训练得到编码模型之后，基于预先训练好的人脸识别模型和训练得到的编码模型可以对真实场景中的待处理人脸图像进行处理，以得到能够渲染出虚拟场景中的游戏角色三维模型的捏脸参数信息，如图7所示，本申请实施例可以按照如下步骤确定待处理人脸图像的捏脸参数信息：
S701、获取待处理人脸图像；待处理人脸图像为用户端输入的真实场景中的人脸图像；
S702、将获取的待处理人脸图像输入至人脸识别模型中，得到待处理人脸图像对应的身份特征信息；
S703、将待处理人脸图像对应的身份特征信息输入至训练后的编码模型中，确定编码模型输出的捏脸参数信息；
S704、将捏脸参数信息发送至用户端，以使用户端根据捏脸参数信息渲染出虚拟场景中的游戏角色三维模型。
这里，游戏服务器首先可以接收用户端输入的真实场景中的人脸图像，将该人脸图像输入至人脸识别模型中，将输出的身份特征信息输入至训练好的编码模型中，确定输出的捏脸参数信息。在确定捏脸参数信息之后，可以将该捏脸参数信息发送至用户端，这样，用户端即可以根据接收到的捏脸参数信息渲染出虚拟场景中的游戏角色三维模型。
本申请实施例中，在用户端接收到游戏服务器发送的捏脸参数信息之后，可以将捏脸参数信息渲染成游戏角色三维模型，与此同时，用户端还可以将上述捏脸参数显示至控制面板中以便用户对当前自动生成的捏脸参数信息进一步进行调整，以满足更多用户的应用需求。
实施例二
如图8所示，为本申请实施例二提供的一种游戏角色脸部处理的方法流程图，该方法具体包括如下步骤：
S801、获取待处理人脸图像；待处理人脸图像为用户端输入的真实场景中的人脸图像；
S802、将获取的待处理人脸图像输入至预先训练好的人脸识别模型中，得到待处理人脸图像对应的身份特征信息；
S803、将待处理人脸图像对应的身份特征信息输入至预先训练好的编码模型中，确定编码模型输出的捏脸参数信息；
S804、将捏脸参数信息发送至用户端，以使用户端根据捏脸参数信息渲染出虚拟场景中的游戏角色三维模型。
这里，将待处理人脸图像输入预先训练好的人脸识别模型可以得到对应的身份特征信息，将该身份特征信息输入至预先训练好的编码模型中，输出得到捏脸参数，该捏脸参数能够渲染出的游戏角色三维模型与待处理人脸图像具有较高的相似性，且上述捏脸参数是基于训练好的模型自动生成的，无需手动对参数进行调节，从而提高了生成效率。
基于同一发明构思，本申请实施例还提供了与上述实施例提供的游戏角色脸部处理的方法对应的装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述游戏角色脸部处理的方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图9所示，为本申请实施例三提供的一种游戏角色脸部处理的装置的示意图，该装置包括：
样本获取模块901，用于获取真实场景中的多张第一人脸图像样本；
信息提取模块902，用于将获取的每张第一人脸图像样本分别输入至预先训练好的人脸识别模型和内容识别模型中，得到每张第一人脸图像样本对应的第一身份特征信息和第一内容特征信息；
以及，将第一身份特征信息输入至待训练的编码模型，输出第一捏脸参数信息；将第一捏脸参数信息输入至预先训练好的游戏角色二维图像生成模型中，输出人脸生成图像；将输出的人脸生成图像分别输入至人脸识别模型和内容识别模型中，得到每张人脸生成图像对应的第二身份特征信息和第二内容特征信息；
函数确定模块903，用于基于第一身份特征信息、第二身份特征信息、第一内容特征信息和第二内容特征信息确定目标损失函数；
参数调整模块904，用于根据目标损失函数调整待训练的编码模型的权重参数信息，得到训练后的编码模型，编码模型用于在输入待处理人脸图像后，得到渲染游戏角色三维模型的捏脸参数信息。
本申请提供的方案中，结合脸部对应的身份特征和内容特征构造的目标损失函数对编码模型进行了训练，内容特征作为一种表征人脸细节的属性特征，身份特征作为一种不会由于脸部角度偏移等变化而产生变化的身份标志属性，能够使得构建的目标损失函数最大可能性的确保虚拟角色(对应人脸生成图像)与真实人物(对应真实场景中的人脸图像)之间的相似性，这样，将待处理人脸图像输入训练好的编码模型中，输出得到的捏脸参数所能够渲染出的游戏角色三维模型与待处理人脸图像具有较高的相似性，且上述捏脸参数是基于训练好的编码模型自动生成的，无需手动对参数进行调节，从而提高了生成效率。
在一种实施方式中，装置还包括：
图像处理模块905，用于获取待处理人脸图像；待处理人脸图像为用户端输入的真实场景中的人脸图像；
将获取的待处理人脸图像输入至人脸识别模型中，得到待处理人脸图像对应的身份特征信息；
将待处理人脸图像对应的身份特征信息输入至训练后的编码模型中，确定编码模型输出的捏脸参数信息；
将捏脸参数信息发送至用户端，以使用户端根据捏脸参数信息渲染出虚拟场景中的游戏角色三维模型。
在一种实施方式中，函数确定模块903用于根据如下步骤确定目标损失函数：
基于第一身份特征信息和第二身份特征信息构建身份损失函数，以及基于第一内容特征信息和第二内容特征信息构建内容损失函数；
将构建的身份损失函数和内容损失函数进行合成，得到目标损失函数。
在一种实施方式中，函数确定模块903用于根据如下步骤确定目标损失函数：
在得到每张人脸生成图像对应的第二身份特征信息之后，确定目标损失函数之前，将第二身份特征信息输入至待训练的编码模型中，输出第二捏脸参数信息；
基于第一身份特征信息、第二身份特征信息、第一内容特征信息、第二内容特征信息、第一捏脸参数信息以及第二捏脸参数信息确定目标损失函数。
在一种实施方式中，函数确定模块903用于根据如下步骤确定目标损失函数：
基于第一身份特征信息和第二身份特征信息构建身份损失函数，基于第一内容特征信息和第二内容特征信息构建内容损失函数，基于第一捏脸参数信息和第二捏脸参数信息构建重构损失函数，以及基于预设平均脸参数信息和第一捏脸参数信息构建参数衰减损失函数；
将构建的身份损失函数、内容损失函数、重构损失函数以及参数衰减损失函数进行合成，得到目标损失函数。
在一种实施方式中，参数调整模块904用于根据如下步骤调整待训练的编码模型的权重参数信息：
对目标损失函数求导，得到有关待训练的编码模型的权重参数的梯度函数；
将预设的初始权重参数信息代入至梯度函数，得到迭代后的梯度向量；
基于迭代后的梯度向量，对初始权重参数信息进行更新，得到更新后的权重参数信息；
将更新后的权重参数信息再次代入至梯度函数，返回基于迭代后的梯度向量，对初始权重参数信息进行更新的步骤，直至满足预设迭代更新截止条件时，得到最终更新后的权重参数信息。
在一种实施方式中，人脸识别模型包括身份特征提取层和身份识别层；装置还包括：
第一模型训练模块906用于按照如下步骤训练人脸识别模型：
获取真实场景中的多张第二人脸图像样本和每张第二人脸图像样本的身份标签；
将获取的每张第二人脸图像样本输入至待训练的身份特征提取层中，得到待训练的身份特征提取层输出的身份特征信息；
将待训练的身份特征提取层输出的身份特征信息输入身份识别层，将身份识别层输出的该张第二人脸图像样本对应的身份信息，与该张第二人脸图像样本的身份标签进行匹配，训练得到人脸识别模型。
在一种实施方式中，内容识别模型包括内容特征提取层和语义识别层；装置还包括：
第二模型训练模块907用于按照如下步骤训练内容识别模型；
获取人脸图像样本集；其中，人脸图像样本集包括真实场景中的多张第三人脸图像样本和每张第三人脸图像样本中各个像素点对应的语义标签；和/或，虚拟场景中游戏角色对应的多张第四人脸图像样本和每张第四人脸图像样本中各个像素点对应的语义标签；
针对人脸图像样本集中的每张人脸图像样本，将该张人脸图像样本输入至待训练的内容特征提取层中，得到待训练的内容特征提取层输出的内容特征信息；
将待训练的内容特征提取层输出的内容特征信息输入语义识别层，将语义识别层输出的每张人脸图像样本中各个像素点对应的语义信息，与该张人脸图像样本中各个像素点对应的语义标签进行匹配，训练得到内容识别模型。
在一种实施方式中，装置还包括：
第三模型训练模块908，用于按照如下步骤训练游戏角色二维图像生成模型：
获取各组参考捏脸参数信息和每组参考捏脸参数信息对应的第五人脸图像样本；其中，第五人脸图像样本包括虚拟场景中游戏角色对应的人脸图像；
针对每组参考捏脸参数，将该组参考捏脸参数作为待训练的游戏角色二维图像生成模型的输入，将该组参考捏脸参数对应的第五人脸图像样本作为待训练的游戏角色二维图像生成模型的输出，训练得到游戏角色二维图像生成模型。
参照图10所示，为本申请实施例三提供的另一种游戏角色脸部处理的装置的示意图，该装置包括：
图像获取模块1001，用于获取待处理人脸图像；待处理人脸图像为用户端输入的真实场景中的人脸图像；
信息提取模块1002，用于将获取的待处理人脸图像输入至预先训练好的人脸识别模型中，得到待处理人脸图像对应的身份特征信息；将待处理人脸图像对应的身份特征信息输入至预先训练好的编码模型中，确定编码模型输出的捏脸参数信息；
信息发送模块1003，用于将捏脸参数信息发送至用户端，以使用户端根据捏脸参数信息渲染出虚拟场景中的游戏角色三维模型。
实施例四
本申请实施例四提供了一种计算机设备，如图11所示，为本申请实施例提供的计算机设备的结构示意图，包括：处理器1101、存储器1102和总线1103。存储器1102存储有处理器1101可执行的机器可读指令(比如，图9中的游戏角色脸部处理的装置中样本获取模块901、信息提取模块902、函数确定模块903以及参数调整模块904对应的执行指令等)，当计算机设备运行时，处理器1101与存储器1102之间通过总线1103通信，机器可读指令被处理器1101执行时执行以下指令：
获取真实场景中的多张第一人脸图像样本；
将获取的每张第一人脸图像样本分别输入至预先训练好的人脸识别模型和内容识别模型中，得到每张第一人脸图像样本对应的第一身份特征信息和第一内容特征信息；
以及，将第一身份特征信息输入至待训练的编码模型，输出第一捏脸参数信息；将第一捏脸参数信息输入至预先训练好的游戏角色二维图像生成模型中，输出人脸生成图像；将输出的人脸生成图像分别输入至人脸识别模型和内容识别模型中，得到每张人脸生成图像对应的第二身份特征信息和第二内容特征信息；
基于第一身份特征信息、第二身份特征信息、第一内容特征信息和第二内容特征信息确定目标损失函数；
根据目标损失函数调整待训练的编码模型的权重参数信息，得到训练后的编码模型，编码模型用于在输入待处理人脸图像后，得到渲染游戏角色三维模型的捏脸参数信息。
在一种实施方式中，上述处理器1101执行的指令还包括：
获取待处理人脸图像；待处理人脸图像为用户端输入的真实场景中的人脸图像；
将获取的待处理人脸图像输入至人脸识别模型中，得到待处理人脸图像对应的身份特征信息；
将待处理人脸图像对应的身份特征信息输入至训练后的编码模型中，确定编码模型输出的捏脸参数信息；
将捏脸参数信息发送至用户端，以使用户端根据捏脸参数信息渲染出虚拟场景中的游戏角色三维模型。
在一种实施方式中，上述处理器1101执行的指令中，基于第一身份特征信息、第二身份特征信息、第一内容特征信息和第二内容特征信息确定目标损失函数，包括：
基于第一身份特征信息和第二身份特征信息构建身份损失函数，以及基于第一内容特征信息和第二内容特征信息构建内容损失函数；
将构建的身份损失函数和内容损失函数进行合成，得到目标损失函数。
在一种实施方式中，在得到每张人脸生成图像对应的第二身份特征信息之后，确定目标损失函数之前，上述处理器1101执行的指令还包括：
将第二身份特征信息输入至待训练的编码模型中，输出第二捏脸参数信息；
上述处理器1101执行的指令中，确定目标损失函数，包括：
基于第一身份特征信息、第二身份特征信息、第一内容特征信息、第二内容特征信息、第一捏脸参数信息以及第二捏脸参数信息确定目标损失函数。
在一种实施方式中，上述处理器1101执行的指令中，基于第一身份特征信息、第二身份特征信息、第一内容特征信息、第二内容特征信息、第一捏脸参数信息以及第二捏脸参数信息确定目标损失函数，包括：
基于第一身份特征信息和第二身份特征信息构建身份损失函数，基于第一内容特征信息和第二内容特征信息构建内容损失函数，基于第一捏脸参数信息和第二捏脸参数信息构建重构损失函数，以及基于预设平均脸参数信息和第一捏脸参数信息构建参数衰减损失函数；
将构建的身份损失函数、内容损失函数、重构损失函数以及参数衰减损失函数进行合成，得到目标损失函数。
在一种实施方式中，上述处理器1101执行的指令中，根据目标损失函数调整待训练的编码模型的权重参数信息，包括：
对目标损失函数求导，得到有关待训练的编码模型的权重参数的梯度函数；
将预设的初始权重参数信息代入至梯度函数，得到迭代后的梯度向量；
基于迭代后的梯度向量，对初始权重参数信息进行更新，得到更新后的权重参数信息；
将更新后的权重参数信息再次代入至梯度函数，返回基于迭代后的梯度向量，对初始权重参数信息进行更新的步骤，直至满足预设迭代更新截止条件时，得到最终更新后的权重参数信息。
在一种实施方式中，人脸识别模型包括身份特征提取层和身份识别层；上述处理器1101执行的指令中，按照如下步骤训练人脸识别模型：
获取真实场景中的多张第二人脸图像样本和每张第二人脸图像样本的身份标签；
将获取的每张第二人脸图像样本输入至待训练的身份特征提取层中，得到待训练的身份特征提取层输出的身份特征信息；
将待训练的身份特征提取层输出的身份特征信息输入身份识别层，将身份识别层输出的该张第二人脸图像样本对应的身份信息，与该张第二人脸图像样本的身份标签进行匹配，训练得到人脸识别模型。
在一种实施方式中，内容识别模型包括内容特征提取层和语义识别层；上述处理器1101执行的指令中，按照如下步骤训练内容识别模型；
获取人脸图像样本集；其中，人脸图像样本集包括真实场景中的多张第三人脸图像样本和每张第三人脸图像样本中各个像素点对应的语义标签；和/或，虚拟场景中游戏角色对应的多张第四人脸图像样本和每张第四人脸图像样本中各个像素点对应的语义标签；
针对人脸图像样本集中的每张人脸图像样本，将该张人脸图像样本输入至待训练的内容特征提取层中，得到待训练的内容特征提取层输出的内容特征信息；
将待训练的内容特征提取层输出的内容特征信息输入语义识别层，将语义识别层输出的每张人脸图像样本中各个像素点对应的语义信息，与该张人脸图像样本中各个像素点对应的语义标签进行匹配，训练得到内容识别模型。
在一种实施方式中，上述处理器1101执行的指令中，可以按照如下步骤训练游戏角色二维图像生成模型：
获取各组参考捏脸参数信息和每组参考捏脸参数信息对应的第五人脸图像样本；其中，第五人脸图像样本包括虚拟场景中游戏角色对应的人脸图像；
针对每组参考捏脸参数，将该组参考捏脸参数作为待训练的游戏角色二维图像生成模型的输入，将该组参考捏脸参数对应的第五人脸图像样本作为待训练的游戏角色二维图像生成模型的输出，训练得到游戏角色二维图像生成模型。
本申请实施例四还提供了一种计算机设备，如图12所示，为本申请实施例提供的计算机设备的结构示意图，包括：处理器1201、存储器1202和总线1203。存储器1202存储有处理器1201可执行的机器可读指令(比如，图10中的游戏角色脸部处理的装置中图像获取模块1001、信息提取模块1002以及信息发送模块1003对应的执行指令等)，当计算机设备运行时，处理器1201与存储器1202之间通过总线1203通信，机器可读指令被处理器1201执行时执行以下指令：
获取待处理人脸图像；待处理人脸图像为用户端输入的真实场景中的人脸图像；
将获取的待处理人脸图像输入至预先训练好的人脸识别模型中，得到待处理人脸图像对应的身份特征信息；
将待处理人脸图像对应的身份特征信息输入至预先训练好的编码模型中，确定编码模型输出的捏脸参数信息；
将捏脸参数信息发送至用户端，以使用户端根据捏脸参数信息渲染出虚拟场景中的游戏角色三维模型。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例一和实施例二所述的游戏角色脸部处理的方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使响应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种游戏角色脸部处理的方法，其特征在于，所述方法包括：
获取真实场景中的多张第一人脸图像样本；
将获取的每张第一人脸图像样本分别输入至预先训练好的人脸识别模型和内容识别模型中，得到每张第一人脸图像样本对应的第一身份特征信息和第一内容特征信息；
以及，将所述第一身份特征信息输入至待训练的编码模型，输出第一捏脸参数信息；将所述第一捏脸参数信息输入至预先训练好的游戏角色二维图像生成模型中，输出人脸生成图像；将输出的人脸生成图像分别输入至所述人脸识别模型和内容识别模型中，得到每张人脸生成图像对应的第二身份特征信息和第二内容特征信息；
基于所述第一身份特征信息、所述第二身份特征信息、所述第一内容特征信息和所述第二内容特征信息确定目标损失函数；
根据所述目标损失函数调整所述待训练的编码模型的权重参数信息，得到训练后的编码模型，所述编码模型用于在输入待处理人脸图像后，得到渲染游戏角色三维模型的捏脸参数信息。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取待处理人脸图像；所述待处理人脸图像为用户端输入的真实场景中的人脸图像；
将获取的所述待处理人脸图像输入至所述人脸识别模型中，得到所述待处理人脸图像对应的身份特征信息；
将所述待处理人脸图像对应的身份特征信息输入至所述训练后的编码模型中，确定所述编码模型输出的捏脸参数信息；
将所述捏脸参数信息发送至所述用户端，以使所述用户端根据所述捏脸参数信息渲染出虚拟场景中的游戏角色三维模型。
3.根据权利要求1所述的方法，其特征在于，所述基于所述第一身份特征信息、所述第二身份特征信息、所述第一内容特征信息和所述第二内容特征信息确定目标损失函数，包括：
基于所述第一身份特征信息和所述第二身份特征信息构建身份损失函数，以及基于所述第一内容特征信息和所述第二内容特征信息构建内容损失函数；
将构建的所述身份损失函数和所述内容损失函数进行合成，得到目标损失函数。
4.根据权利要求1所述的方法，其特征在于，在得到每张人脸生成图像对应的第二身份特征信息之后，确定目标损失函数之前，还包括：
将所述第二身份特征信息输入至所述待训练的编码模型中，输出第二捏脸参数信息；
所述确定目标损失函数，包括：
基于所述第一身份特征信息、所述第二身份特征信息、所述第一内容特征信息、所述第二内容特征信息、所述第一捏脸参数信息以及所述第二捏脸参数信息确定目标损失函数。
5.根据权利要求4所述的方法，其特征在于，所述基于所述第一身份特征信息、所述第二身份特征信息、所述第一内容特征信息、所述第二内容特征信息、所述第一捏脸参数信息以及所述第二捏脸参数信息确定目标损失函数，包括：
基于所述第一身份特征信息和所述第二身份特征信息构建身份损失函数，基于所述第一内容特征信息和所述第二内容特征信息构建内容损失函数，基于所述第一捏脸参数信息和所述第二捏脸参数信息构建重构损失函数，以及基于预设平均脸参数信息和所述第一捏脸参数信息构建参数衰减损失函数；
将构建的所述身份损失函数、所述内容损失函数、所述重构损失函数以及所述参数衰减损失函数进行合成，得到所述目标损失函数。
6.根据权利要求1至5任一所述的方法，其特征在于，所述根据所述目标损失函数调整所述待训练的编码模型的权重参数信息，包括：
对所述目标损失函数求导，得到有关所述待训练的编码模型的权重参数的梯度函数；
将预设的初始权重参数信息代入至所述梯度函数，得到迭代后的梯度向量；
基于迭代后的梯度向量，对所述初始权重参数信息进行更新，得到更新后的权重参数信息；
将所述更新后的权重参数信息再次代入至所述梯度函数，返回所述基于迭代后的梯度向量，对所述初始权重参数信息进行更新的步骤，直至满足预设迭代更新截止条件时，得到最终更新后的权重参数信息。
7.根据权利要求1所述的方法，其特征在于，所述人脸识别模型包括身份特征提取层和身份识别层；按照如下步骤训练所述人脸识别模型：
获取真实场景中的多张第二人脸图像样本和每张第二人脸图像样本的身份标签；
将获取的每张第二人脸图像样本输入至待训练的身份特征提取层中，得到所述待训练的身份特征提取层输出的身份特征信息；
将所述待训练的身份特征提取层输出的身份特征信息输入所述身份识别层，将所述身份识别层输出的该张第二人脸图像样本对应的身份信息，与该张第二人脸图像样本的身份标签进行匹配，训练得到所述人脸识别模型。
8.根据权利要求1所述的方法，其特征在于，所述内容识别模型包括内容特征提取层和语义识别层；按照如下步骤训练所述内容识别模型；
获取人脸图像样本集；其中，所述人脸图像样本集包括真实场景中的多张第三人脸图像样本和每张第三人脸图像样本中各个像素点对应的语义标签；和/或，虚拟场景中游戏角色对应的多张第四人脸图像样本和每张第四人脸图像样本中各个像素点对应的语义标签；
针对所述人脸图像样本集中的每张人脸图像样本，将该张人脸图像样本输入至待训练的内容特征提取层中，得到所述待训练的内容特征提取层输出的内容特征信息；
将所述待训练的内容特征提取层输出的内容特征信息输入所述语义识别层，将所述语义识别层输出的每张人脸图像样本中各个像素点对应的语义信息，与该张人脸图像样本中各个像素点对应的语义标签进行匹配，训练得到所述内容识别模型。
9.根据权利要求1所述的方法，其特征在于，按照如下步骤训练所述游戏角色二维图像生成模型：
获取各组参考捏脸参数信息和每组参考捏脸参数信息对应的第五人脸图像样本；其中，所述第五人脸图像样本包括虚拟场景中游戏角色对应的人脸图像；
针对每组参考捏脸参数，将该组参考捏脸参数作为待训练的游戏角色二维图像生成模型的输入，将该组参考捏脸参数对应的第五人脸图像样本作为待训练的游戏角色二维图像生成模型的输出，训练得到所述游戏角色二维图像生成模型。
10.一种游戏角色脸部处理的方法，其特征在于，所述方法包括：
获取待处理人脸图像；所述待处理人脸图像为用户端输入的真实场景中的人脸图像；
将获取的所述待处理人脸图像输入至预先训练好的人脸识别模型中，得到所述待处理人脸图像对应的身份特征信息；
将所述待处理人脸图像对应的身份特征信息输入至预先训练好的编码模型中，确定所述编码模型输出的捏脸参数信息；所述编码模型是基于脸部对应的身份特征和内容特征构造的目标损失函数训练得到的；所述目标损失函数用于确保输出得到的捏脸参数所渲染出的游戏角色三维模型与待处理人脸图像具有相似性；
将所述捏脸参数信息发送至所述用户端，以使所述用户端根据所述捏脸参数信息渲染出虚拟场景中的游戏角色三维模型。
11.一种游戏角色脸部处理的装置，其特征在于，所述装置包括：
样本获取模块，用于获取真实场景中的多张第一人脸图像样本；
信息提取模块，用于将获取的每张第一人脸图像样本分别输入至预先训练好的人脸识别模型和内容识别模型中，得到每张第一人脸图像样本对应的第一身份特征信息和第一内容特征信息；
以及，将所述第一身份特征信息输入至待训练的编码模型，输出第一捏脸参数信息；将所述第一捏脸参数信息输入至预先训练好的游戏角色二维图像生成模型中，输出人脸生成图像；将输出的人脸生成图像分别输入至所述人脸识别模型和内容识别模型中，得到每张人脸生成图像对应的第二身份特征信息和第二内容特征信息；
函数确定模块，用于基于所述第一身份特征信息、所述第二身份特征信息、所述第一内容特征信息和所述第二内容特征信息确定目标损失函数；
参数调整模块，用于根据所述目标损失函数调整所述待训练的编码模型的权重参数信息，得到训练后的编码模型，所述编码模型用于在输入待处理人脸图像后，得到渲染游戏角色三维模型的捏脸参数信息。
12.一种游戏角色脸部处理的装置，其特征在于，所述装置包括：
图像获取模块，用于获取待处理人脸图像；所述待处理人脸图像为用户端输入的真实场景中的人脸图像；
信息提取模块，用于将获取的所述待处理人脸图像输入至预先训练好的人脸识别模型中，得到所述待处理人脸图像对应的身份特征信息；将所述待处理人脸图像对应的身份特征信息输入至预先训练好的编码模型中，确定所述编码模型输出的捏脸参数信息；所述编码模型是基于脸部对应的身份特征和内容特征构造的目标损失函数训练得到的；所述目标损失函数用于确保输出得到的捏脸参数所渲染出的游戏角色三维模型与待处理人脸图像具有相似性；
信息发送模块，用于将所述捏脸参数信息发送至所述用户端，以使所述用户端根据所述捏脸参数信息渲染出虚拟场景中的游戏角色三维模型。
13.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至10任一所述的游戏角色脸部处理的方法的步骤。
14.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至10任一所述的游戏角色脸部处理的方法的步骤。
CN201911014108.5A 2019-10-23 2019-10-23 游戏角色脸部处理的方法、装置、计算机设备及存储介质 Active CN110717977B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911014108.5A CN110717977B (zh) 2019-10-23 2019-10-23 游戏角色脸部处理的方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911014108.5A CN110717977B (zh) 2019-10-23 2019-10-23 游戏角色脸部处理的方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110717977A CN110717977A (zh) 2020-01-21
CN110717977B true CN110717977B (zh) 2023-09-26

Family

ID=69213219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911014108.5A Active CN110717977B (zh) 2019-10-23 2019-10-23 游戏角色脸部处理的方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110717977B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111354079B (zh) * 2020-03-11 2023-05-02 腾讯科技（深圳）有限公司 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
CN111738087B (zh) * 2020-05-25 2023-07-25 完美世界(北京)软件科技发展有限公司 一种游戏角色面部模型的生成方法和装置
CN113486688A (zh) * 2020-05-27 2021-10-08 海信集团有限公司 一种人脸识别方法及智能设备
CN111632374B (zh) * 2020-06-01 2023-04-18 网易（杭州）网络有限公司 游戏中虚拟角色的脸部处理方法、装置及可读存储介质
CN111729314A (zh) * 2020-06-30 2020-10-02 网易（杭州）网络有限公司 一种虚拟角色的捏脸处理方法、装置及可读存储介质
CN111991808A (zh) * 2020-07-31 2020-11-27 完美世界(北京)软件科技发展有限公司 人脸模型的生成方法及装置、存储介质、计算机设备
CN112200236B (zh) * 2020-09-30 2023-08-11 网易（杭州）网络有限公司 人脸参数识别模型的训练方法、人脸参数的识别方法
CN112396692B (zh) * 2020-11-25 2023-11-28 北京市商汤科技开发有限公司 一种人脸重建方法、装置、计算机设备及存储介质
CN112419485B (zh) * 2020-11-25 2023-11-24 北京市商汤科技开发有限公司 一种人脸重建方法、装置、计算机设备及存储介质
CN112337092B (zh) * 2020-12-01 2021-10-26 腾讯科技（深圳）有限公司 一种云游戏处理方法、装置、设备及存储介质
CN112818809B (zh) * 2021-01-25 2022-10-11 清华大学 一种检测图像信息的方法、装置和存储介质
CN112581635B (zh) * 2021-02-26 2021-06-01 北京智源人工智能研究院 一种通用的快速换脸方法、装置、电子设备和存储介质
CN112973122A (zh) * 2021-03-02 2021-06-18 网易（杭州）网络有限公司 游戏角色上妆方法、装置及电子设备
CN112991152A (zh) * 2021-03-04 2021-06-18 网易（杭州）网络有限公司 一种图像处理方法、装置、电子设备和存储介质
CN113050794A (zh) 2021-03-24 2021-06-29 北京百度网讯科技有限公司 用于虚拟形象的滑块处理方法及装置
CN113609960B (zh) * 2021-08-03 2023-07-28 北京奇艺世纪科技有限公司 一种目标图片的人脸驱动方法及装置
CN114170379A (zh) * 2021-11-30 2022-03-11 聚好看科技股份有限公司 一种三维模型重建方法、装置及设备
CN115311127A (zh) * 2022-02-25 2022-11-08 北京字跳网络技术有限公司 一种脸部处理方法、装置、计算机设备及存储介质
CN114677476A (zh) * 2022-03-30 2022-06-28 北京字跳网络技术有限公司 一种脸部处理方法、装置、计算机设备及存储介质
CN115393487B (zh) * 2022-10-27 2023-05-12 科大讯飞股份有限公司 一种虚拟角色模型处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106652025A (zh) * 2016-12-20 2017-05-10 五邑大学 一种基于视频流与人脸多属性匹配的三维人脸建模方法和打印装置
WO2019090769A1 (zh) * 2017-11-13 2019-05-16 深圳和而泰智能控制股份有限公司 一种人脸脸型识别方法、装置和智能终端
CN109902767A (zh) * 2019-04-11 2019-06-18 网易（杭州）网络有限公司 模型训练方法、图像处理方法及装置、设备和介质
CN110288513A (zh) * 2019-05-24 2019-09-27 北京百度网讯科技有限公司 用于改变人脸属性的方法、装置、设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106652025A (zh) * 2016-12-20 2017-05-10 五邑大学 一种基于视频流与人脸多属性匹配的三维人脸建模方法和打印装置
WO2019090769A1 (zh) * 2017-11-13 2019-05-16 深圳和而泰智能控制股份有限公司 一种人脸脸型识别方法、装置和智能终端
CN109902767A (zh) * 2019-04-11 2019-06-18 网易（杭州）网络有限公司 模型训练方法、图像处理方法及装置、设备和介质
CN110288513A (zh) * 2019-05-24 2019-09-27 北京百度网讯科技有限公司 用于改变人脸属性的方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN110717977A (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
CN110717977B (zh) 游戏角色脸部处理的方法、装置、计算机设备及存储介质
US11380050B2 (en) Face image generation method and apparatus, device, and storage medium
CN111632374B (zh) 游戏中虚拟角色的脸部处理方法、装置及可读存储介质
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN106682632B (zh) 用于处理人脸图像的方法和装置
CN113496507A (zh) 一种人体三维模型重建方法
CN114648613B (zh) 基于可变形神经辐射场的三维头部模型重建方法及装置
CN110796593A (zh) 基于人工智能的图像处理方法、装置、介质及电子设备
CN110458924B (zh) 一种三维脸部模型建立方法、装置和电子设备
CN114821675B (zh) 对象的处理方法、系统和处理器
US20230100427A1 (en) Face image processing method, face image processing model training method, apparatus, device, storage medium, and program product
CN111754622B (zh) 脸部三维图像生成方法及相关设备
CN116310045B (zh) 一种三维人脸纹理创建方法、装置及设备
CN116188912A (zh) 主题图像的图像合成模型的训练方法、装置、介质及设备
CN115311127A (zh) 一种脸部处理方法、装置、计算机设备及存储介质
CN113538254A (zh) 图像恢复方法、装置、电子设备及计算机可读存储介质
CN115914505B (zh) 基于语音驱动数字人模型的视频生成方法及系统
CN115482557A (zh) 人体图像生成方法、系统、设备及存储介质
CN114862716A (zh) 人脸图像的图像增强方法、装置、设备及存储介质
CN114783017A (zh) 基于逆映射的生成对抗网络优化方法及装置
CN114677476A (zh) 一种脸部处理方法、装置、计算机设备及存储介质
CN117011449A (zh) 三维面部模型的重构方法和装置、存储介质及电子设备
CN115482481A (zh) 单视角三维人体骨骼关键点检测方法、装置、设备及介质
CN111738087B (zh) 一种游戏角色面部模型的生成方法和装置
CN114648601A (zh) 虚拟形象的生成方法、电子设备、程序产品及用户终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant