CN110717977A - 游戏角色脸部处理的方法、装置、计算机设备及存储介质 - Google Patents

游戏角色脸部处理的方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110717977A
CN110717977A CN201911014108.5A CN201911014108A CN110717977A CN 110717977 A CN110717977 A CN 110717977A CN 201911014108 A CN201911014108 A CN 201911014108A CN 110717977 A CN110717977 A CN 110717977A
Authority
CN
China
Prior art keywords
face
identity
face image
information
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911014108.5A
Other languages
English (en)
Other versions
CN110717977B (zh
Inventor
石天阳
袁燚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201911014108.5A priority Critical patent/CN110717977B/zh
Publication of CN110717977A publication Critical patent/CN110717977A/zh
Application granted granted Critical
Publication of CN110717977B publication Critical patent/CN110717977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供了一种游戏角色脸部处理的方法、装置、计算机设备及存储介质，其中，该方法包括：获取真实场景中的多张第一人脸图像样本；通过人脸识别模型和内容识别模型分别提取出第一身份特征信息和第一内容特征信息；针对将第一身份特征信息输入至待训练的编码模型输出的第一捏脸参数，将该参数输入至游戏角色二维图像生成模型，输出人脸生成图像，并提取对应的第二身份特征信息和第二内容特征信息；基于上述身份特征信息和内容特征信息确定的目标损失函数对编码模型的权重参数信息进行调整以训练得到编码模型。采用该编码模型能够自动生成捏脸参数，利用该捏脸参数可以创建与真实人物相似的游戏角色，且无需用户手动调整参数，提高了生成效率。

Description

游戏角色脸部处理的方法、装置、计算机设备及存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种游戏角色脸部处 理的方法、装置、计算机设备及存储介质。
背景技术
随着移动终端和计算机技术的发展，越来越多的角色扮演游戏 (Role-playinggame，RPG)为满足用户的个性化角色定制需求，在创建虚 拟角色的时候通常会增加捏脸功能。利用捏脸功能可以对虚拟角色的五官 和脸型等进行调整，从而帮助用户自定义得到自身喜欢的游戏角色样貌。
相关技术中通常可以基于骨骼驱动的三维(3-Dimensions，3D)模型实 现捏脸，采用这一方案，用户通过调整各个骨骼参数即可以改变3D游戏角 色的脸部外观。然而，由于设定的骨骼参数较多，用户手动操作较为复杂， 耗时较长，特别是当用户想要创建与真实人物(如用户自己或者某个明星) 相似的角色时，难度更大。
发明内容
有鉴于此，本申请实施例的目的在于提供一种游戏角色脸部处理的方 法、装置、计算机设备及存储介质，通过训练的编码模型能够自动生成渲 染游戏角色三维模型的捏脸参数(对应骨骼参数)，进而自动生成与真实人 物更为相似的游戏角色，生成效率较高。
主要包括以下几个方面：
第一方面，本申请提供了一种游戏角色脸部处理的方法，所述方法包 括：
获取真实场景中的多张第一人脸图像样本；
将获取的每张第一人脸图像样本分别输入至预先训练好的人脸识别模 型和内容识别模型中，得到每张第一人脸图像样本对应的第一身份特征信 息和第一内容特征信息；
以及，将所述第一身份特征信息输入至待训练的编码模型，输出第一 捏脸参数信息；将所述第一捏脸参数信息输入至预先训练好的游戏角色二 维图像生成模型中，输出人脸生成图像；将输出的人脸生成图像分别输入 至所述人脸识别模型和内容识别模型中，得到每张人脸生成图像对应的第 二身份特征信息和第二内容特征信息；
基于所述第一身份特征信息、所述第二身份特征信息、所述第一内容 特征信息和所述第二内容特征信息确定目标损失函数；
根据所述目标损失函数调整所述待训练的编码模型的权重参数信息， 得到训练后的编码模型，所述编码模型用于在输入待处理人脸图像后，得 到渲染游戏角色三维模型的捏脸参数信息。
在一种实施方式中，所述方法还包括：
获取待处理人脸图像；所述待处理人脸图像为用户端输入的真实场景 中的人脸图像；
将获取的所述待处理人脸图像输入至所述人脸识别模型中，得到所述 待处理人脸图像对应的身份特征信息；
将所述待处理人脸图像对应的身份特征信息输入至所述训练后的编码 模型中，确定所述编码模型输出的捏脸参数信息；
将所述捏脸参数信息发送至所述用户端，以使所述用户端根据所述捏 脸参数信息渲染出虚拟场景中的游戏角色三维模型。
在一种实施方式中，所述基于所述第一身份特征信息、所述第二身份 特征信息、所述第一内容特征信息和所述第二内容特征信息确定目标损失 函数，包括：
基于所述第一身份特征信息和所述第二身份特征信息构建身份损失函 数，以及基于所述第一内容特征信息和所述第二内容特征信息构建内容损 失函数；
将构建的所述身份损失函数和所述内容损失函数进行合成，得到目标 损失函数。
在一种实施方式中，在得到每张人脸生成图像对应的第二身份特征信 息之后，确定目标损失函数之前，还包括：
将所述第二身份特征信息输入至所述待训练的编码模型中，输出第二 捏脸参数信息；
所述确定目标损失函数，包括：
基于所述第一身份特征信息、所述第二身份特征信息、所述第一内容 特征信息、所述第二内容特征信息、所述第一捏脸参数信息以及所述第二 捏脸参数信息确定目标损失函数。
在一种实施方式中，所述基于所述第一身份特征信息、所述第二身份 特征信息、所述第一内容特征信息、所述第二内容特征信息、所述第一捏 脸参数信息以及所述第二捏脸参数信息确定目标损失函数，包括：
基于所述第一身份特征信息和所述第二身份特征信息构建身份损失函 数，基于所述第一内容特征信息和所述第二内容特征信息构建内容损失函 数，基于所述第一捏脸参数信息和所述第二捏脸参数信息构建重构损失函 数，以及基于预设平均脸参数信息和所述第一捏脸参数信息构建参数衰减 损失函数；
将构建的所述身份损失函数、所述内容损失函数、所述重构损失函数 以及所述参数衰减损失函数进行合成，得到所述目标损失函数。
在一种实施方式中，所述根据所述目标损失函数调整所述待训练的编 码模型的权重参数信息，包括：
对所述目标损失函数求导，得到有关所述待训练的编码模型的权重参 数的梯度函数；
将预设的初始权重参数信息代入至所述梯度函数，得到迭代后的梯度 向量；
基于迭代后的梯度向量，对所述初始权重参数信息进行更新，得到更 新后的权重参数信息；
将所述更新后的权重参数信息再次代入至所述梯度函数，返回所述基 于迭代后的梯度向量，对所述初始权重参数信息进行更新的步骤，直至满 足预设迭代更新截止条件时，得到最终更新后的权重参数信息。
在一种实施方式中，所述人脸识别模型包括身份特征提取层和身份识 别层；按照如下步骤训练所述人脸识别模型：
获取真实场景中的多张第二人脸图像样本和每张第二人脸图像样本的 身份标签；
将获取的每张第二人脸图像样本输入至待训练的身份特征提取层中， 得到所述待训练的身份特征提取层输出的身份特征信息；
将所述待训练的身份特征提取层输出的身份特征信息输入所述身份识 别层，将所述身份识别层输出的该张第二人脸图像样本对应的身份信息， 与该张第二人脸图像样本的身份标签进行匹配，训练得到所述人脸识别模 型。
在一种实施方式中，所述内容识别模型包括内容特征提取层和语义识 别层；按照如下步骤训练所述内容识别模型；
获取人脸图像样本集；其中，所述人脸图像样本集包括真实场景中的 多张第三人脸图像样本和每张第三人脸图像样本中各个像素点对应的语义 标签；和/或，虚拟场景中游戏角色对应的多张第四人脸图像样本和每张第 四人脸图像样本中各个像素点对应的语义标签；
针对所述人脸图像样本集中的每张人脸图像样本，将该张人脸图像样 本输入至待训练的内容特征提取层中，得到所述待训练的内容特征提取层 输出的内容特征信息；
将所述待训练的内容特征提取层输出的内容特征信息输入所述语义识 别层，将所述语义识别层输出的每张人脸图像样本中各个像素点对应的语 义信息，与该张人脸图像样本中各个像素点对应的语义标签进行匹配，训 练得到所述内容识别模型。
在一种实施方式中，可以按照如下步骤训练所述游戏角色二维图像生 成模型：
获取各组参考捏脸参数信息和每组参考捏脸参数信息对应的第五人脸 图像样本；其中，所述第五人脸图像样本包括虚拟场景中游戏角色对应的 人脸图像；
针对每组参考捏脸参数，将该组参考捏脸参数作为待训练的游戏角色 二维图像生成模型的输入，将该组参考捏脸参数对应的第五人脸图像样本 作为待训练的游戏角色二维图像生成模型的输出，训练得到所述游戏角色 二维图像生成模型。
第二方面，本申请还提供了一种游戏角色脸部处理的方法，所述方法 包括：
获取待处理人脸图像；所述待处理人脸图像为用户端输入的真实场景 中的人脸图像；
将获取的所述待处理人脸图像输入至预先训练好的人脸识别模型中， 得到所述待处理人脸图像对应的身份特征信息；
将所述待处理人脸图像对应的身份特征信息输入至预先训练好的编码 模型中，确定所述编码模型输出的捏脸参数信息；
将所述捏脸参数信息发送至所述用户端，以使所述用户端根据所述捏 脸参数信息渲染出虚拟场景中的游戏角色三维模型。
第三方面，本申请还提供了一种游戏角色脸部处理的装置，所述装置 包括：
样本获取模块，用于获取真实场景中的多张第一人脸图像样本；
信息提取模块，用于将获取的每张第一人脸图像样本分别输入至预先 训练好的人脸识别模型和内容识别模型中，得到每张第一人脸图像样本对 应的第一身份特征信息和第一内容特征信息；
以及，将所述第一身份特征信息输入至待训练的编码模型，输出第一 捏脸参数信息；将所述第一捏脸参数信息输入至预先训练好的游戏角色二 维图像生成模型中，输出人脸生成图像；将输出的人脸生成图像分别输入 至所述人脸识别模型和内容识别模型中，得到每张人脸生成图像对应的第 二身份特征信息和第二内容特征信息；
函数确定模块，用于基于所述第一身份特征信息、所述第二身份特征 信息、所述第一内容特征信息和所述第二内容特征信息确定目标损失函数；
参数调整模块，用于根据所述目标损失函数调整所述待训练的编码模 型的权重参数信息，得到训练后的编码模型，所述编码模型用于在输入待 处理人脸图像后，得到渲染游戏角色三维模型的捏脸参数信息。
第四方面，本申请还提供了一种游戏角色脸部处理的装置，所述装置 包括：
图像获取模块，用于获取待处理人脸图像；所述待处理人脸图像为用 户端输入的真实场景中的人脸图像；
信息提取模块，用于将获取的所述待处理人脸图像输入至预先训练好 的人脸识别模型中，得到所述待处理人脸图像对应的身份特征信息；将所 述待处理人脸图像对应的身份特征信息输入至预先训练好的编码模型中， 确定所述编码模型输出的捏脸参数信息；
信息发送模块，用于将所述捏脸参数信息发送至所述用户端，以使所 述用户端根据所述捏脸参数信息渲染出虚拟场景中的游戏角色三维模型。
第五方面，本申请还提供了一种计算机设备，包括：处理器、存储器 和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机 设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读 指令被所述处理器执行时执行如第一方面及第一方面的各种实施方式中任 一所述的游戏角色脸部处理的方法的步骤。
第六方面，本申请还提供了一种计算机可读存储介质，该计算机可读 存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一 方面及第一方面的各种实施方式中任一所述的游戏角色脸部处理的方法的 步骤。
本申请提供的方案中，首先能够获取真实场景中的多张第一人脸图像 样本，其次可以通过预先训练好的人脸识别模型提取出每张第一人脸图像 样本对应的第一身份特征信息以及通过预先训练好的内容识别模型提取出 该张第一人脸图像样本对应的第一内容特征信息，这样，针对将第一身份 特征信息输入至待训练的编码模型之后输出的第一捏脸参数而言，在将该 第一捏脸参数输入至预先训练好的游戏角色二维图像生成模型之后，可以 输出人脸生成图像，针对人脸生成图像可以分别提取其第二身份特征信息 和第二内容特征信息，然后根据第一身份特征信息、第二身份特征信息、 第一内容特征信息和第二内容特征信息确定的目标损失函数，可以通过对 待训练的编码模型的权重参数信息的调整训练得到编码模型。
通过上述方案，结合脸部对应的身份特征和内容特征构造的目标损失 函数对编码模型进行了训练，内容特征作为一种表征人脸细节的属性特征， 身份特征作为一种不会由于脸部角度偏移等变化而产生变化的身份标志属 性，能够使得构建的目标损失函数最大可能性的确保虚拟角色(对应人脸 生成图像)与真实人物(对应真实场景中的人脸图像)之间的相似性，这 样，将待处理人脸图像输入训练好的编码模型中，输出得到的捏脸参数所 渲染出的游戏角色三维模型与待处理人脸图像具有较高的相似性，且上述 捏脸参数是基于训练好的编码模型自动生成的，无需用户手动调整参数， 从而提高了生成效率。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实 施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需 要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些 实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例一所提供的一种游戏角色脸部处理的方法流 程图；
图2示出了本申请实施例一所提供的一种游戏角色脸部处理的方法示 意图；
图3示出了本申请实施例一所提供的一种游戏角色脸部处理的方法中， 确定权重参数信息的具体方法流程图；
图4示出了本申请实施例一所提供的一种游戏角色脸部处理的方法中， 训练人脸识别模型的具体方法流程图；
图5示出了本申请实施例一所提供的一种游戏角色脸部处理的方法中， 训练内容识别模型的具体流程图；
图6示出了本申请实施例一所提供的一种游戏角色脸部处理的方法中， 训练游戏角色二维图像生成模型的具体方法流程图；
图7示出了本申请实施例一所提供的一种游戏角色脸部处理的方法中， 确定捏脸参数的具体方法流程图；
图8示出了本申请实施例二所提供的一种游戏角色脸部处理的方法流 程图；
图9示出了本申请实施例三所提供的一种游戏角色脸部处理的装置的 示意图；
图10示出了本申请实施例三所提供的另一种游戏角色脸部处理的装置 的示意图；
图11示出了本申请实施例四所提供的一种计算机设备的示意图；
图12示出了本申请实施例四所提供的另一种计算机设备的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本 申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述， 显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。 通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配 置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描 述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实 施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前 提下所获得的所有其他实施例，都属于本申请保护的范围。
在相关基于骨骼驱动的三维(3-Dimensions，3D)模型实现捏脸的方案 中，需要用户手动调整骨骼参数，然而，由于设定的骨骼参数较多，用户 手动操作这些参数较为复杂，耗时较长，特别是当用户想要创建与真实人 物(如用户自己或者某个明星)相似的角色时，难度更大。
基于上述研究，本申请提供了一种游戏角色脸部处理的方法、装置、 计算机设备及存储介质，通过训练的编码模型能够自动生成渲染游戏角色 三维模型的捏脸参数(对应骨骼参数)，无需手动调整，在提高了生成效率、 降低操作交互的复杂度的同时还能够创建与真实人物更为相似的游戏角 色。
针对以上方案所存在的缺陷，均是申请人在经过实践并仔细研究后得 出的结果，因此，上述问题的发现过程以及下文中本申请针对上述问题所 提出的解决方案，都属于申请人在本申请过程中对本申请做出的贡献性内 容。
下面将结合本申请中附图，对本申请中的技术方案进行清楚、完整地 描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的 实施例。通常在此处附图中描述和示出的本申请的组件可以以各种不同的 配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细 描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定 实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一 旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步 定义和解释。
为了便于理解本申请所提供的游戏角色脸部处理的方法、装置、计算 机设备及存储介质，接下来通过几个实施例进行具体描述。
实施例一
参见图1所示的本申请实施例一提供的一种游戏角色脸部处理的方法 的流程图，该方法的执行主体可以是游戏服务器，上述游戏角色脸部处理 的方法具体通过如下S101～S105的步骤进行实现：
S101、获取真实场景中的多张第一人脸图像样本；
S102、将获取的每张第一人脸图像样本分别输入至预先训练好的人脸 识别模型和内容识别模型中，得到每张第一人脸图像样本对应的第一身份 特征信息和第一内容特征信息；
S103、将第一身份特征信息输入至待训练的编码模型，输出第一捏脸 参数信息；将第一捏脸参数信息输入至预先训练好的游戏角色二维图像生 成模型中，输出人脸生成图像；将输出的人脸生成图像分别输入至人脸识 别模型和内容识别模型中，得到每张人脸生成图像对应的第二身份特征信 息和第二内容特征信息；
S104、基于第一身份特征信息、第二身份特征信息、第一内容特征信 息和第二内容特征信息确定目标损失函数；
S105、根据目标损失函数调整待训练的编码模型的权重参数信息，得 到训练后的编码模型，编码模型用于在输入待处理人脸图像后，得到渲染 游戏角色三维模型的捏脸参数信息。
这里，在进行编码模型的训练之前，需要准备训练样本集，也即需要 获取真实场景中的多张第一人脸图像样本。除此之外，本申请实施例还可 以在训练编码模型之前，确定预先训练好的用于提取身份特征信息的人脸 识别模型、用于提取内容特征信息的内容识别模型、以及用于生成游戏角 色二维人脸图像的生成模型(即游戏角色二维图像生成模型)。
在获取到多张第一人脸图像样本以及预先训练好的各个预训练模型之 后，本申请实施例可以针对多张第一人脸图像样本中的每张第一人脸图像 样本对待训练的编码模型中的权重参数信息进行调整，调整权重参数信息 的过程即对应了训练编码模型的过程。
本申请实施例中，针对一张第一人脸图像样本可以仅进行权重参数信 息的一次调整，也可以进行权重参数信息的多次迭代调整。无论采用上述 两种方式的哪种调整方式，在模型训练次数达到预设次数(如500次)时， 即可训练得到编码模型最终的权重参数信息。另外，为了提升编码模型对 所有人脸图像样本的泛化能力，本申请实施例可以以遍历所有第一人脸图 像样本为前提进行模型训练。
本申请实施例中可以根据构建的目标损失函数进行权重参数信息的调 整，如通过最小化目标损失函数来确定权重参数信息。其中，上述目标损 失函数可以由身份损失函数和内容损失函数合成得到，身份损失函数可以 是基于第一身份特征信息和第二身份特征信息构建，内容损失函数可以基 于第一内容特征信息和第二内容特征信息构建。在具体应用中，上述第一 身份特征信息、第二身份特征信息、第一内容特征信息和第二内容特征信 息均可以采用向量形式。
在构建目标损失函数的过程中，不仅可以仅基于上述身份损失函数和 内容损失函数进行构建，还可以在上述身份损失函数和内容损失函数的基 础之上，结合重构损失函数和参数衰减损失函数进行构建。其中，上述参 数衰减损失函数可以基于预设平均脸参数信息和第一捏脸参数信息构建， 重构损失函数可以基于第一捏脸参数和第二捏脸参数构建，该第二捏脸参 数可以是在将上述第二身份特征信息输入至待训练的编码模型中，输出的 捏脸参数信息。
为了便于说明本申请实施例提供的游戏角色脸部处理的方法中，有关 根据目标损失函数调整权重参数信息的过程，接下来可以结合图2进行具 体说明。
如图2所示，针对第一人脸图像样本(即图2所示的输入图像)而言， 本申请实施例可以将第一人脸图像样本输入至人脸识别模型中确定对应的 第一身份特征信息(即e)，以及将第一人脸图像样本输入至内容识别模型 中确定对应的第一内容特征信息(即f)。针对与输入图像对应的人脸识别 模型而言，其输出的第一身份特征信息一方面可以输入至待训练的编码模 型中，这样，经编码模型输出的第一捏脸参数(即x)输入至游戏角色二维 图像生成模型中，可以得到人脸生成图像，另一方面可以与人脸生成图像 经过人脸识别模型提取的第二身份特征信息(e＇)构建身份损失函数(即 Lidt)。针对与输入图像对应的内容识别模型而言，其输出的第一内容特征信 息(即f)可以与人脸生成图像经过内容识别模型提取的第二内容特征信 息(即f＇)构建内容损失函数(即Lctt)。
另外，针对与人脸生成图像对应的人脸识别模型而言，其输出的第二 身份特征信息一方面可以与第一身份特征信息构建身份损失函数，另一方 面可以输入至待训练的编码模型中，这样，经编码模型输出的第二捏脸参 数(即x＇)可以与第一捏脸参数构建重构损失函数(即Lrec)。如图2所示， 本申请实施例还可以基于平均脸参数信息与第一捏脸参数构建参数衰减损 失函数(即Ldecay)。
本申请实施例在模型训练阶段需要优化的目标损失函数即是上述身份 损失函数、内容损失函数、重构损失函数和参数衰减损失函数的合并结果。 由于上述人脸识别模型、内容识别模型以及游戏角色二维图像生成模型均 为预训练模型，因此，在进行编码模型的训练过程中，上述三个预训练模 型的模型参数可以不进行更新，需要更新的仅为编码模型中的权重参数信 息，这样，通过参数前向传递确定的目标损失函数可以是以编码模型中的 权重参数为变量的函数，通过最小化上述目标损失函数即可以训练得到编 码模型。
本申请实施例中，身份损失函数Lidt、内容损失函数Lctt、重构损失函数 Lrec和参数衰减损失函数Ldecay作为构建目标损失函数的关键组成部分，接下 来结合公式对这四个损失函数分别进行描述。
(1)本申请实施例中的身份损失函数Lidt可以定义在图像级别，用于描 述输入图像和人脸生成图像之间的相似程度，也即，两张人脸越相似，其 身份损失函数Lidt也越小，有关身份损失函数的定义如下：
Lidt＝1-cos(e,e') (1)
其中，
Figure RE-GDA0002299172370000101
e,e'用于分别表示第一身份特征信息和第二身 份特征信息，cos(e,e')用于表征两个身份特征之间的距离。
本申请实施例中，可以通过缩小两个身份特征之间的距离，提高输入 图像和人脸生成图像之间的相似程度。
(2)本申请实施例中的内容损失函数Lctt则可以定义在像素级别，用于 描述输入图像和人脸生成图像的重合程度，也即，两张人脸图像中的五官 轮廓越接近，重合程度越高，其内容损失函数Lctt也越小，有关内容损失函 数的定义如下：
Lctt＝||f-f'||1 (2)
其中，f,f'用于分别表示第一内容特征信息和第二内容特征信息，||·||1为 l1范数，用于表征两个内容特征之间的距离。
本申请实施例中，可以通过缩小两个内容特征之间的距离，提高人脸 生成图像与输入图像之间的重合程度。
(3)本申请实施例中的重构损失函数Lrec可以按照如下公式确定：
Lrec＝||x-x'||1 (3)
其中，x,x'用于分别表示第一捏脸参数信息和第二捏脸参数信息，||·||1为 l1范数，用于表征两个捏脸参数之间的距离。
本申请实施例中，第一捏脸参数可以作为第二捏脸参数的真值，又由 于第一捏脸参数和第二捏脸参数是基于对身份特征的处理得到的，因此通 过缩小两个捏脸参数之间的距离可以有效的提升虚拟角色对应的人脸生成 图像对输入图像身份特征的学习能力，提高训练的编码模型的鲁棒性。
(4)本申请实施例中的参数衰减损失函数Ldecay可以按照如下公式确 定：
Ldecay＝||x-m||1 (4)
其中，m用于表示预设平均脸参数信息，||·||1为l1范数，用于表征第一捏 脸参数与平均脸参数之间的距离。
本申请实施例中，上述平均脸参数信息的维度等于第一捏脸参数信息 的维度，可以由一组全零向量构成，通过缩小两个参数之间的距离可以按 照预设平均脸参数调和第一捏脸参数的捏脸效果，即使在捏脸效果不佳时， 也可以通过该距离的调整反馈给用户端一个标准化的捏脸参数，有效的提 高编码模型的鲁棒性，增强自动捏脸的可视化效果。
基于上述公式(1)至(4)，可以确定目标损失函数，如下式所示：
L(I)＝Lidt+Lctt+Lrec+Ldecay (5)
本申请实施例中，上述目标损失函数是有关编码模型的权重参数的函 数，通过最小化上述目标损失函数可以对权重参数信息进行调整。本申请 实施例中可以选用梯度下降方法确定权重参数信息，如图3所示，本申请 实施例提供的权重参数信息的确定方法具体包括如下步骤：
S301、对目标损失函数求导，得到有关待训练的编码模型的权重参数 的梯度函数；
S302、将预设的初始权重参数信息代入至梯度函数，得到迭代后的梯 度向量；
S303、基于迭代后的梯度向量，对初始权重参数信息进行更新，得到 更新后的权重参数信息；
S304、将更新后的权重参数信息再次代入至梯度函数，返回基于迭代 后的梯度向量，对初始权重参数信息进行更新的步骤，直至满足预设迭代 更新截止条件时，得到最终更新后的权重参数信息。
这里，本申请实施例可以首先对目标损失函数求解有关待训练的编码 模型的权重参数的倒数，得到梯度函数，这样，在将预设的初始权重参数 信息代入至梯度函数之后，可以得到迭代后的梯度向量，然后基于迭代后 的梯度向量可以对初始权重参数信息进行更新，将更新后的权重参数信息 再次代入至梯度函数之后，可以得到再次迭代的梯度向量，基于该梯度向 量可以对权重参数信息再次进行更新，以此类推，直至达到预设迭代更新 截止条件时停止迭代，得到最终更新后的权重参数信息，以使得两个身份 特征之间的距离足够小、两个内容特征之间的距离足够小、两个捏脸参数 之间的距离足够小、第一捏脸参数与平均脸参数之间的距离足够小。
其中，上述预设迭代更新截止条件可以是迭代次数大于预设次数，也 可以是两次迭代之间的目标损失函数差值小于预设差值，还可以是其它迭 代更新截止条件，本申请实施例对此不做具体的限制。
本申请实施例中，在根据目标损失函数训练编码模型之前，可以基于 多层全连接神经网络构建待训练的编码模型，以回归捏脸参数。上述编码 模型的输入可以为身份特征向量e，输出可以为捏脸参数信息x。其中，该 捏脸参数信息x分为连续参数信息和离散参数信息这两个部分。前者用于 描述游戏人脸各个部位的几何形变(如平移、旋转、滚动等)，取值范围在 0～1之间；后者代表发型、眉型等可选择的外观样式，取值范围为所有可选 外观样式标识号(ID)。
为了便于对编码模型进行参数优化，针对编码模型输出的连续参数信 息，可以利用sigmoid函数逐个归一化到0～1之间，针对编码模型输出的离 散参数信息，可以利用softmax函数进行归一化。在针对离散参数信息进行 归一化时，可以先确定每个离散参数信息对应的外观样式的种类，再针对 每个种类的外观样式所对应的一组离散参数信息进行统一的归一化处理， 以使得特定种类下的外观样式所对应的离散参数处于同一参考水平。
为了训练表征能力更鲁邦且更准确的编码模型，本申请实施例中选取 的训练数据集(即各张第一人脸图像样本对应的图像集合)可以是进行了 对齐转换后的各个人脸图像的集合。这里的对齐转换是指将获取的原始人 脸图像转换为与基准脸等大小、五官位置相对应的人脸图像。
本申请实施例可以直接选取已经经过对齐转换处理的公开人脸数据集 作为编码模型的训练数据集，如可以选取名人人脸图像数据集(Large-scale CelebFacesAttributes Dataset，CelebA)作为训练数据集。除此之外，本申 请实施例还可以收集任意包含人脸的图像，通过对获取的原始人脸图像进 行对齐转换以得到对应的第一人脸图像样本。
在具体应用中，可以通过如下步骤对获取的原始人脸图像进行对齐转 换：
步骤一、对原始人脸图像进行人脸检测，得到人脸的大致位置；
步骤二、分别对基准脸和原始人脸图像提取人脸关键点，得到两组人 脸68个关键点；
步骤三、通过两组关键点计算仿射矩阵，利用该矩阵可以将原始人脸 图像变换成与基准脸等大小、五官位置相对应的人脸图像。
值得说明的是，为了进一步提升训练的编码模型的鲁棒性，本申请实 施例在训练阶段中，针对不同的输入图像可以对不同的损失函数进行优化， 例如，在输入图像为正脸图像时，可以同时最小化身份损失函数和内容损 失函数，在输入图像为侧脸图像时，可以仅对身份损失函数进行优化，也 即，针对脸部发生角度偏移的人脸图像样本而言，可以强化其身份特征对 编码模型的影响，弱化其脸部细节特征对编码模型的影响，从而使得训练得到的编码模型的鲁棒性更强。这样，在应用阶段，不仅可以对待处理正 脸图像进行捏脸操作，还可以对发生一定偏移角度的待处理侧脸图像进行 捏脸操作，适用性更强。
考虑到人脸识别模型、内容识别模型以及游戏角色二维图像生成模型 这三个预训练模型对编码模型训练的关键作用，接下来通过如下三个方面 对上述三个预训练模型的训练方法进行具体说明。
第一方面：如图4所示，为本申请实施例提供的人脸识别模型的训练 方法流程图，该训练方法具体包括如下步骤：
S401、获取真实场景中的多张第二人脸图像样本和每张第二人脸图像 样本的身份标签；
S402、将获取的每张第二人脸图像样本输入至待训练的身份特征提取 层中，得到待训练的身份特征提取层输出的身份特征信息；
S403、将待训练的身份特征提取层输出的身份特征信息输入身份识别 层，将身份识别层输出的该张第二人脸图像样本对应的身份信息，与该张 第二人脸图像样本的身份标签进行匹配，训练得到人脸识别模型。
这里，可以首先获取真实场景中的多张第二人脸图像样本和每张第二 人脸图像样本的身份标签，然后将每张第二人脸图像样本输入至待训练的 身份特征提取层中，得到待训练的身份特征提取层输出的身份特征信息， 最后将该身份特征信息输入到身份识别层，判断该身份识别层当前输出的 该张第二人脸图像样本对应的身份信息与标记的身份标签是否一致，如果 不一致，则可以反向调整人脸识别模型的参数，直至在身份识别层当前输 出的该张第二人脸图像样本对应的身份信息与标记的身份标签一致时，停 止训练，得到人脸识别模型的参数，即得到了训练完成的人脸识别模型。
在具体应用中，可以基于深度卷积神经网络构建待训练的人脸识别模 型，可以选用经典模型Light-CNN-29v2和对应的预训练参数构建待训练的 人脸识别模型，还可以根据具体的应用场景进行人脸识别模型的构建，这 里不做具体的限制。
其中，在基于上述经典模型进行训练时，其输入图像的大小可以是 128*128，身份特征提取层输出的身份特征向量可以是256维，身份识别层 输出的可以是一个识别概率矩阵，也即，针对上述经典模型所选用的数据 集而言，若该数据集包括1000张第二人脸图像样本，共计具有80个身份 标签，则在训练人脸识别模型时，其身份识别层输出的可以是一个80维的 识别概率矩阵，从该识别概率矩阵可以选取出识别概率最大的身份标签， 该身份标签即可以作为身份识别层当前输出的身份信息。
考虑到在进行编码模型训练的过程中，需要将第一人脸图像样本以及 人脸生成图像输入至人脸识别模型，以提取出身份特征信息，因此，可以 选用上述人脸识别模型中的身份特征提取层输出的身份特征信息作为人脸 识别模型的输出结果。
第二方面：如图5所示，为本申请实施例提供的内容识别模型的训练 方法流程图，该训练方法具体包括如下步骤：
S501、获取人脸图像样本集；其中，人脸图像样本集包括真实场景中 的多张第三人脸图像样本和每张第三人脸图像样本中各个像素点对应的语 义标签；和/或，虚拟场景中游戏角色对应的多张第四人脸图像样本和每张 第四人脸图像样本中各个像素点对应的语义标签；
S502、针对人脸图像样本集中的每张人脸图像样本，将该张人脸图像 样本输入至待训练的内容特征提取层中，得到待训练的内容特征提取层输 出的内容特征信息；
S503、将待训练的内容特征提取层输出的内容特征信息输入语义识别 层，将语义识别层输出的每张人脸图像样本中各个像素点对应的语义信息， 与该张人脸图像样本中各个像素点对应的语义标签进行匹配，训练得到内 容识别模型。
这里，可以首先获取包括真实场景中的多张第三人脸图像样本以及虚 拟场景中游戏角色对应的多张第四人脸图像样本的人脸图像样本集，针对 人脸图像样本集中的每张人脸图像样本，可以将该张人脸图像样本输入至 待训练的内容特征提取层中，得到待训练的内容特征提取层输出的内容特 征信息，最后将该内容特征信息输入到语义识别层，判断该语义识别层当 前输出的每张人脸图像样本中各个像素点对应的语义信息与标记的语义标 签是否一致，如果不一致，则可以反向调整内容识别模型的参数，直至在 语义识别层输出的每张人脸图像样本中各个像素点对应的语义信息与标记 的语义标签一致时，停止训练，得到内容识别模型的参数，即得到了训练 完成的内容识别模型。
在具体应用中，上述内容识别模型可以是基于深度残差网络为基础搭 建的深度卷积神经网络，如可以选用Helen人脸语义分割数据集进行内容识 别模型的训练。该数据集的语义标签分为11类，分别是：背景、人脸、头 发、左眉、右眉、左眼、右眼、鼻子、上嘴唇、牙齿、下嘴唇，也即，可 以对人脸图像样本中的每个像素点进行标记，这样，在训练人脸识别模型 时，其语义识别层输出的可以是针对每个像素点的11维的识别概率矩阵， 从每个像素点的识别概率矩阵中可以选取出识别概率最大的语义标签，该 语义标签即可以作为语音识别层当前输出的语义信息。
考虑到在进行编码模型训练的过程中，需要将第一人脸图像样本以及 人脸生成图像输入至内容识别模型，以提取出内容特征信息，因此，可以 选用上述内容识别模型中的内容特征提取层输出的内容特征信息作为内容 识别模型的输出结果。
第三方面：如图6所示，为本申请实施例提供的游戏角色二维图像生 成模型的训练方法流程图，该训练方法具体包括如下步骤：
S601、获取各组参考捏脸参数信息和每组参考捏脸参数信息对应的第 五人脸图像样本；其中，第五人脸图像样本包括虚拟场景中游戏角色对应 的人脸图像；
S602、针对每组参考捏脸参数，将该组参考捏脸参数作为待训练的游 戏角色二维图像生成模型的输入，将该组参考捏脸参数对应的第五人脸图 像样本作为待训练的游戏角色二维图像生成模型的输出，训练得到游戏角 色二维图像生成模型。
这里，本申请实施例可以首先获取各组参考捏脸参数信息和每组参考 捏脸参数信息对应的第五人脸图像样本，然后可以将每组参考捏脸参数作 为待训练的游戏角色二维图像生成模型的输入，将该组参考捏脸参数对应 的第五人脸图像样本作为待训练的游戏角色二维图像生成模型的输出进行 图像生成模型的训练。
在具体应用中，上述图像生成模型可以是由一系列反卷积层构成的深 度卷积神经网络，如可以选用Pytorch深度学习框架进行图像生成模型的训 练。这里，可以采用随机梯度下降法优化图像生成模型的参数，在训练得 到图像生成模型的参数之后，即可以针对第一捏脸参数确定其输出的人脸 生成图像。
本申请实施例中，在训练得到编码模型之后，基于预先训练好的人脸 识别模型和训练得到的编码模型可以对真实场景中的待处理人脸图像进行 处理，以得到能够渲染出虚拟场景中的游戏角色三维模型的捏脸参数信息， 如图7所示，本申请实施例可以按照如下步骤确定待处理人脸图像的捏脸 参数信息：
S701、获取待处理人脸图像；待处理人脸图像为用户端输入的真实场 景中的人脸图像；
S702、将获取的待处理人脸图像输入至人脸识别模型中，得到待处理 人脸图像对应的身份特征信息；
S703、将待处理人脸图像对应的身份特征信息输入至训练后的编码模 型中，确定编码模型输出的捏脸参数信息；
S704、将捏脸参数信息发送至用户端，以使用户端根据捏脸参数信息 渲染出虚拟场景中的游戏角色三维模型。
这里，游戏服务器首先可以接收用户端输入的真实场景中的人脸图像， 将该人脸图像输入至人脸识别模型中，将输出的身份特征信息输入至训练 好的编码模型中，确定输出的捏脸参数信息。在确定捏脸参数信息之后， 可以将该捏脸参数信息发送至用户端，这样，用户端即可以根据接收到的 捏脸参数信息渲染出虚拟场景中的游戏角色三维模型。
本申请实施例中，在用户端接收到游戏服务器发送的捏脸参数信息之 后，可以将捏脸参数信息渲染成游戏角色三维模型，与此同时，用户端还 可以将上述捏脸参数显示至控制面板中以便用户对当前自动生成的捏脸参 数信息进一步进行调整，以满足更多用户的应用需求。
实施例二
如图8所示，为本申请实施例二提供的一种游戏角色脸部处理的方法 流程图，该方法具体包括如下步骤：
S801、获取待处理人脸图像；待处理人脸图像为用户端输入的真实场 景中的人脸图像；
S802、将获取的待处理人脸图像输入至预先训练好的人脸识别模型中， 得到待处理人脸图像对应的身份特征信息；
S803、将待处理人脸图像对应的身份特征信息输入至预先训练好的编 码模型中，确定编码模型输出的捏脸参数信息；
S804、将捏脸参数信息发送至用户端，以使用户端根据捏脸参数信息 渲染出虚拟场景中的游戏角色三维模型。
这里，将待处理人脸图像输入预先训练好的人脸识别模型可以得到对 应的身份特征信息，将该身份特征信息输入至预先训练好的编码模型中， 输出得到捏脸参数，该捏脸参数能够渲染出的游戏角色三维模型与待处理 人脸图像具有较高的相似性，且上述捏脸参数是基于训练好的模型自动生 成的，无需手动对参数进行调节，从而提高了生成效率。
基于同一发明构思，本申请实施例还提供了与上述实施例提供的游戏 角色脸部处理的方法对应的装置，由于本申请实施例中的装置解决问题的 原理与本申请实施例上述游戏角色脸部处理的方法相似，因此装置的实施 可以参见方法的实施，重复之处不再赘述。
参照图9所示，为本申请实施例三提供的一种游戏角色脸部处理的装 置的示意图，该装置包括：
样本获取模块901，用于获取真实场景中的多张第一人脸图像样本；
信息提取模块902，用于将获取的每张第一人脸图像样本分别输入至预 先训练好的人脸识别模型和内容识别模型中，得到每张第一人脸图像样本 对应的第一身份特征信息和第一内容特征信息；
以及，将第一身份特征信息输入至待训练的编码模型，输出第一捏脸 参数信息；将第一捏脸参数信息输入至预先训练好的游戏角色二维图像生 成模型中，输出人脸生成图像；将输出的人脸生成图像分别输入至人脸识 别模型和内容识别模型中，得到每张人脸生成图像对应的第二身份特征信 息和第二内容特征信息；
函数确定模块903，用于基于第一身份特征信息、第二身份特征信息、 第一内容特征信息和第二内容特征信息确定目标损失函数；
参数调整模块904，用于根据目标损失函数调整待训练的编码模型的权 重参数信息，得到训练后的编码模型，编码模型用于在输入待处理人脸图 像后，得到渲染游戏角色三维模型的捏脸参数信息。
本申请提供的方案中，结合脸部对应的身份特征和内容特征构造的目 标损失函数对编码模型进行了训练，内容特征作为一种表征人脸细节的属 性特征，身份特征作为一种不会由于脸部角度偏移等变化而产生变化的身 份标志属性，能够使得构建的目标损失函数最大可能性的确保虚拟角色(对 应人脸生成图像)与真实人物(对应真实场景中的人脸图像)之间的相似 性，这样，将待处理人脸图像输入训练好的编码模型中，输出得到的捏脸 参数所能够渲染出的游戏角色三维模型与待处理人脸图像具有较高的相似 性，且上述捏脸参数是基于训练好的编码模型自动生成的，无需手动对参 数进行调节，从而提高了生成效率。
在一种实施方式中，装置还包括：
图像处理模块905，用于获取待处理人脸图像；待处理人脸图像为用户 端输入的真实场景中的人脸图像；
将获取的待处理人脸图像输入至人脸识别模型中，得到待处理人脸图 像对应的身份特征信息；
将待处理人脸图像对应的身份特征信息输入至训练后的编码模型中， 确定编码模型输出的捏脸参数信息；
将捏脸参数信息发送至用户端，以使用户端根据捏脸参数信息渲染出 虚拟场景中的游戏角色三维模型。
在一种实施方式中，函数确定模块903用于根据如下步骤确定目标损 失函数：
基于第一身份特征信息和第二身份特征信息构建身份损失函数，以及 基于第一内容特征信息和第二内容特征信息构建内容损失函数；
将构建的身份损失函数和内容损失函数进行合成，得到目标损失函数。
在一种实施方式中，函数确定模块903用于根据如下步骤确定目标损 失函数：
在得到每张人脸生成图像对应的第二身份特征信息之后，确定目标损 失函数之前，将第二身份特征信息输入至待训练的编码模型中，输出第二 捏脸参数信息；
基于第一身份特征信息、第二身份特征信息、第一内容特征信息、第 二内容特征信息、第一捏脸参数信息以及第二捏脸参数信息确定目标损失 函数。
在一种实施方式中，函数确定模块903用于根据如下步骤确定目标损 失函数：
基于第一身份特征信息和第二身份特征信息构建身份损失函数，基于 第一内容特征信息和第二内容特征信息构建内容损失函数，基于第一捏脸 参数信息和第二捏脸参数信息构建重构损失函数，以及基于预设平均脸参 数信息和第一捏脸参数信息构建参数衰减损失函数；
将构建的身份损失函数、内容损失函数、重构损失函数以及参数衰减 损失函数进行合成，得到目标损失函数。
在一种实施方式中，参数调整模块904用于根据如下步骤调整待训练 的编码模型的权重参数信息：
对目标损失函数求导，得到有关待训练的编码模型的权重参数的梯度 函数；
将预设的初始权重参数信息代入至梯度函数，得到迭代后的梯度向量；
基于迭代后的梯度向量，对初始权重参数信息进行更新，得到更新后 的权重参数信息；
将更新后的权重参数信息再次代入至梯度函数，返回基于迭代后的梯 度向量，对初始权重参数信息进行更新的步骤，直至满足预设迭代更新截 止条件时，得到最终更新后的权重参数信息。
在一种实施方式中，人脸识别模型包括身份特征提取层和身份识别层； 装置还包括：
第一模型训练模块906用于按照如下步骤训练人脸识别模型：
获取真实场景中的多张第二人脸图像样本和每张第二人脸图像样本的 身份标签；
将获取的每张第二人脸图像样本输入至待训练的身份特征提取层中， 得到待训练的身份特征提取层输出的身份特征信息；
将待训练的身份特征提取层输出的身份特征信息输入身份识别层，将 身份识别层输出的该张第二人脸图像样本对应的身份信息，与该张第二人 脸图像样本的身份标签进行匹配，训练得到人脸识别模型。
在一种实施方式中，内容识别模型包括内容特征提取层和语义识别层； 装置还包括：
第二模型训练模块907用于按照如下步骤训练内容识别模型；
获取人脸图像样本集；其中，人脸图像样本集包括真实场景中的多张 第三人脸图像样本和每张第三人脸图像样本中各个像素点对应的语义标 签；和/或，虚拟场景中游戏角色对应的多张第四人脸图像样本和每张第四 人脸图像样本中各个像素点对应的语义标签；
针对人脸图像样本集中的每张人脸图像样本，将该张人脸图像样本输 入至待训练的内容特征提取层中，得到待训练的内容特征提取层输出的内 容特征信息；
将待训练的内容特征提取层输出的内容特征信息输入语义识别层，将 语义识别层输出的每张人脸图像样本中各个像素点对应的语义信息，与该 张人脸图像样本中各个像素点对应的语义标签进行匹配，训练得到内容识 别模型。
在一种实施方式中，装置还包括：
第三模型训练模块908，用于按照如下步骤训练游戏角色二维图像生成 模型：
获取各组参考捏脸参数信息和每组参考捏脸参数信息对应的第五人脸 图像样本；其中，第五人脸图像样本包括虚拟场景中游戏角色对应的人脸 图像；
针对每组参考捏脸参数，将该组参考捏脸参数作为待训练的游戏角色 二维图像生成模型的输入，将该组参考捏脸参数对应的第五人脸图像样本 作为待训练的游戏角色二维图像生成模型的输出，训练得到游戏角色二维 图像生成模型。
参照图10所示，为本申请实施例三提供的另一种游戏角色脸部处理的 装置的示意图，该装置包括：
图像获取模块1001，用于获取待处理人脸图像；待处理人脸图像为用 户端输入的真实场景中的人脸图像；
信息提取模块1002，用于将获取的待处理人脸图像输入至预先训练好 的人脸识别模型中，得到待处理人脸图像对应的身份特征信息；将待处理 人脸图像对应的身份特征信息输入至预先训练好的编码模型中，确定编码 模型输出的捏脸参数信息；
信息发送模块1003，用于将捏脸参数信息发送至用户端，以使用户端 根据捏脸参数信息渲染出虚拟场景中的游戏角色三维模型。
实施例四
本申请实施例四提供了一种计算机设备，如图11所示，为本申请实施 例提供的计算机设备的结构示意图，包括：处理器1101、存储器1102和总 线1103。存储器1102存储有处理器1101可执行的机器可读指令(比如， 图9中的游戏角色脸部处理的装置中样本获取模块901、信息提取模块902、 函数确定模块903以及参数调整模块904对应的执行指令等)，当计算机设 备运行时，处理器1101与存储器1102之间通过总线1103通信，机器可读 指令被处理器1101执行时执行以下指令：
获取真实场景中的多张第一人脸图像样本；
将获取的每张第一人脸图像样本分别输入至预先训练好的人脸识别模 型和内容识别模型中，得到每张第一人脸图像样本对应的第一身份特征信 息和第一内容特征信息；
以及，将第一身份特征信息输入至待训练的编码模型，输出第一捏脸 参数信息；将第一捏脸参数信息输入至预先训练好的游戏角色二维图像生 成模型中，输出人脸生成图像；将输出的人脸生成图像分别输入至人脸识 别模型和内容识别模型中，得到每张人脸生成图像对应的第二身份特征信 息和第二内容特征信息；
基于第一身份特征信息、第二身份特征信息、第一内容特征信息和第 二内容特征信息确定目标损失函数；
根据目标损失函数调整待训练的编码模型的权重参数信息，得到训练 后的编码模型，编码模型用于在输入待处理人脸图像后，得到渲染游戏角 色三维模型的捏脸参数信息。
在一种实施方式中，上述处理器1101执行的指令还包括：
获取待处理人脸图像；待处理人脸图像为用户端输入的真实场景中的 人脸图像；
将获取的待处理人脸图像输入至人脸识别模型中，得到待处理人脸图 像对应的身份特征信息；
将待处理人脸图像对应的身份特征信息输入至训练后的编码模型中， 确定编码模型输出的捏脸参数信息；
将捏脸参数信息发送至用户端，以使用户端根据捏脸参数信息渲染出 虚拟场景中的游戏角色三维模型。
在一种实施方式中，上述处理器1101执行的指令中，基于第一身份特 征信息、第二身份特征信息、第一内容特征信息和第二内容特征信息确定 目标损失函数，包括：
基于第一身份特征信息和第二身份特征信息构建身份损失函数，以及 基于第一内容特征信息和第二内容特征信息构建内容损失函数；
将构建的身份损失函数和内容损失函数进行合成，得到目标损失函数。
在一种实施方式中，在得到每张人脸生成图像对应的第二身份特征信 息之后，确定目标损失函数之前，上述处理器1101执行的指令还包括：
将第二身份特征信息输入至待训练的编码模型中，输出第二捏脸参数 信息；
上述处理器1101执行的指令中，确定目标损失函数，包括：
基于第一身份特征信息、第二身份特征信息、第一内容特征信息、第 二内容特征信息、第一捏脸参数信息以及第二捏脸参数信息确定目标损失 函数。
在一种实施方式中，上述处理器1101执行的指令中，基于第一身份特 征信息、第二身份特征信息、第一内容特征信息、第二内容特征信息、第 一捏脸参数信息以及第二捏脸参数信息确定目标损失函数，包括：
基于第一身份特征信息和第二身份特征信息构建身份损失函数，基于 第一内容特征信息和第二内容特征信息构建内容损失函数，基于第一捏脸 参数信息和第二捏脸参数信息构建重构损失函数，以及基于预设平均脸参 数信息和第一捏脸参数信息构建参数衰减损失函数；
将构建的身份损失函数、内容损失函数、重构损失函数以及参数衰减 损失函数进行合成，得到目标损失函数。
在一种实施方式中，上述处理器1101执行的指令中，根据目标损失函 数调整待训练的编码模型的权重参数信息，包括：
对目标损失函数求导，得到有关待训练的编码模型的权重参数的梯度 函数；
将预设的初始权重参数信息代入至梯度函数，得到迭代后的梯度向量；
基于迭代后的梯度向量，对初始权重参数信息进行更新，得到更新后 的权重参数信息；
将更新后的权重参数信息再次代入至梯度函数，返回基于迭代后的梯 度向量，对初始权重参数信息进行更新的步骤，直至满足预设迭代更新截 止条件时，得到最终更新后的权重参数信息。
在一种实施方式中，人脸识别模型包括身份特征提取层和身份识别层； 上述处理器1101执行的指令中，按照如下步骤训练人脸识别模型：
获取真实场景中的多张第二人脸图像样本和每张第二人脸图像样本的 身份标签；
将获取的每张第二人脸图像样本输入至待训练的身份特征提取层中， 得到待训练的身份特征提取层输出的身份特征信息；
将待训练的身份特征提取层输出的身份特征信息输入身份识别层，将 身份识别层输出的该张第二人脸图像样本对应的身份信息，与该张第二人 脸图像样本的身份标签进行匹配，训练得到人脸识别模型。
在一种实施方式中，内容识别模型包括内容特征提取层和语义识别层； 上述处理器1101执行的指令中，按照如下步骤训练内容识别模型；
获取人脸图像样本集；其中，人脸图像样本集包括真实场景中的多张 第三人脸图像样本和每张第三人脸图像样本中各个像素点对应的语义标 签；和/或，虚拟场景中游戏角色对应的多张第四人脸图像样本和每张第四 人脸图像样本中各个像素点对应的语义标签；
针对人脸图像样本集中的每张人脸图像样本，将该张人脸图像样本输 入至待训练的内容特征提取层中，得到待训练的内容特征提取层输出的内 容特征信息；
将待训练的内容特征提取层输出的内容特征信息输入语义识别层，将 语义识别层输出的每张人脸图像样本中各个像素点对应的语义信息，与该 张人脸图像样本中各个像素点对应的语义标签进行匹配，训练得到内容识 别模型。
在一种实施方式中，上述处理器1101执行的指令中，可以按照如下步 骤训练游戏角色二维图像生成模型：
获取各组参考捏脸参数信息和每组参考捏脸参数信息对应的第五人脸 图像样本；其中，第五人脸图像样本包括虚拟场景中游戏角色对应的人脸 图像；
针对每组参考捏脸参数，将该组参考捏脸参数作为待训练的游戏角色 二维图像生成模型的输入，将该组参考捏脸参数对应的第五人脸图像样本 作为待训练的游戏角色二维图像生成模型的输出，训练得到游戏角色二维 图像生成模型。
本申请实施例四还提供了一种计算机设备，如图12所示，为本申请实 施例提供的计算机设备的结构示意图，包括：处理器1201、存储器1202和 总线1203。存储器1202存储有处理器1201可执行的机器可读指令(比如， 图10中的游戏角色脸部处理的装置中图像获取模块1001、信息提取模块 1002以及信息发送模块1003对应的执行指令等)，当计算机设备运行时， 处理器1201与存储器1202之间通过总线1203通信，机器可读指令被处理 器1201执行时执行以下指令：
获取待处理人脸图像；待处理人脸图像为用户端输入的真实场景中的 人脸图像；
将获取的待处理人脸图像输入至预先训练好的人脸识别模型中，得到 待处理人脸图像对应的身份特征信息；
将待处理人脸图像对应的身份特征信息输入至预先训练好的编码模型 中，确定编码模型输出的捏脸参数信息；
将捏脸参数信息发送至用户端，以使用户端根据捏脸参数信息渲染出 虚拟场景中的游戏角色三维模型。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介 质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施 例一和实施例二所述的游戏角色脸部处理的方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述 描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过 程，在此不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭 露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实 施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分， 实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或 者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所 显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信 接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形 式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的， 作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地 方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的 部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元 中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在 一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使 用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。 基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的 部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软 件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可 以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述 方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读 存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用 以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于 此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术 人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围 内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变 化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使响应技术方案的本质脱离本申请实施例技术方案的精神和范围，都 应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利 要求的保护范围为准。

Claims (14)

1.一种游戏角色脸部处理的方法，其特征在于，所述方法包括：
获取真实场景中的多张第一人脸图像样本；
将获取的每张第一人脸图像样本分别输入至预先训练好的人脸识别模型和内容识别模型中，得到每张第一人脸图像样本对应的第一身份特征信息和第一内容特征信息；
以及，将所述第一身份特征信息输入至待训练的编码模型，输出第一捏脸参数信息；将所述第一捏脸参数信息输入至预先训练好的游戏角色二维图像生成模型中，输出人脸生成图像；将输出的人脸生成图像分别输入至所述人脸识别模型和内容识别模型中，得到每张人脸生成图像对应的第二身份特征信息和第二内容特征信息；
基于所述第一身份特征信息、所述第二身份特征信息、所述第一内容特征信息和所述第二内容特征信息确定目标损失函数；
根据所述目标损失函数调整所述待训练的编码模型的权重参数信息，得到训练后的编码模型，所述编码模型用于在输入待处理人脸图像后，得到渲染游戏角色三维模型的捏脸参数信息。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取待处理人脸图像；所述待处理人脸图像为用户端输入的真实场景中的人脸图像；
将获取的所述待处理人脸图像输入至所述人脸识别模型中，得到所述待处理人脸图像对应的身份特征信息；
将所述待处理人脸图像对应的身份特征信息输入至所述训练后的编码模型中，确定所述编码模型输出的捏脸参数信息；
将所述捏脸参数信息发送至所述用户端，以使所述用户端根据所述捏脸参数信息渲染出虚拟场景中的游戏角色三维模型。
3.根据权利要求1所述的方法，其特征在于，所述基于所述第一身份特征信息、所述第二身份特征信息、所述第一内容特征信息和所述第二内容特征信息确定目标损失函数，包括：
基于所述第一身份特征信息和所述第二身份特征信息构建身份损失函数，以及基于所述第一内容特征信息和所述第二内容特征信息构建内容损失函数；
将构建的所述身份损失函数和所述内容损失函数进行合成，得到目标损失函数。
4.根据权利要求1所述的方法，其特征在于，在得到每张人脸生成图像对应的第二身份特征信息之后，确定目标损失函数之前，还包括：
将所述第二身份特征信息输入至所述待训练的编码模型中，输出第二捏脸参数信息；
所述确定目标损失函数，包括：
基于所述第一身份特征信息、所述第二身份特征信息、所述第一内容特征信息、所述第二内容特征信息、所述第一捏脸参数信息以及所述第二捏脸参数信息确定目标损失函数。
5.根据权利要求4所述的方法，其特征在于，所述基于所述第一身份特征信息、所述第二身份特征信息、所述第一内容特征信息、所述第二内容特征信息、所述第一捏脸参数信息以及所述第二捏脸参数信息确定目标损失函数，包括：
基于所述第一身份特征信息和所述第二身份特征信息构建身份损失函数，基于所述第一内容特征信息和所述第二内容特征信息构建内容损失函数，基于所述第一捏脸参数信息和所述第二捏脸参数信息构建重构损失函数，以及基于预设平均脸参数信息和所述第一捏脸参数信息构建参数衰减损失函数；
将构建的所述身份损失函数、所述内容损失函数、所述重构损失函数以及所述参数衰减损失函数进行合成，得到所述目标损失函数。
6.根据权利要求1至5任一所述的方法，其特征在于，所述根据所述目标损失函数调整所述待训练的编码模型的权重参数信息，包括：
对所述目标损失函数求导，得到有关所述待训练的编码模型的权重参数的梯度函数；
将预设的初始权重参数信息代入至所述梯度函数，得到迭代后的梯度向量；
基于迭代后的梯度向量，对所述初始权重参数信息进行更新，得到更新后的权重参数信息；
将所述更新后的权重参数信息再次代入至所述梯度函数，返回所述基于迭代后的梯度向量，对所述初始权重参数信息进行更新的步骤，直至满足预设迭代更新截止条件时，得到最终更新后的权重参数信息。
7.根据权利要求1所述的方法，其特征在于，所述人脸识别模型包括身份特征提取层和身份识别层；按照如下步骤训练所述人脸识别模型：
获取真实场景中的多张第二人脸图像样本和每张第二人脸图像样本的身份标签；
将获取的每张第二人脸图像样本输入至待训练的身份特征提取层中，得到所述待训练的身份特征提取层输出的身份特征信息；
将所述待训练的身份特征提取层输出的身份特征信息输入所述身份识别层，将所述身份识别层输出的该张第二人脸图像样本对应的身份信息，与该张第二人脸图像样本的身份标签进行匹配，训练得到所述人脸识别模型。
8.根据权利要求1所述的方法，其特征在于，所述内容识别模型包括内容特征提取层和语义识别层；按照如下步骤训练所述内容识别模型；
获取人脸图像样本集；其中，所述人脸图像样本集包括真实场景中的多张第三人脸图像样本和每张第三人脸图像样本中各个像素点对应的语义标签；和/或，虚拟场景中游戏角色对应的多张第四人脸图像样本和每张第四人脸图像样本中各个像素点对应的语义标签；
针对所述人脸图像样本集中的每张人脸图像样本，将该张人脸图像样本输入至待训练的内容特征提取层中，得到所述待训练的内容特征提取层输出的内容特征信息；
将所述待训练的内容特征提取层输出的内容特征信息输入所述语义识别层，将所述语义识别层输出的每张人脸图像样本中各个像素点对应的语义信息，与该张人脸图像样本中各个像素点对应的语义标签进行匹配，训练得到所述内容识别模型。
9.根据权利要求1所述的方法，其特征在于，按照如下步骤训练所述游戏角色二维图像生成模型：
获取各组参考捏脸参数信息和每组参考捏脸参数信息对应的第五人脸图像样本；其中，所述第五人脸图像样本包括虚拟场景中游戏角色对应的人脸图像；
针对每组参考捏脸参数，将该组参考捏脸参数作为待训练的游戏角色二维图像生成模型的输入，将该组参考捏脸参数对应的第五人脸图像样本作为待训练的游戏角色二维图像生成模型的输出，训练得到所述游戏角色二维图像生成模型。
10.一种游戏角色脸部处理的方法，其特征在于，所述方法包括：
获取待处理人脸图像；所述待处理人脸图像为用户端输入的真实场景中的人脸图像；
将获取的所述待处理人脸图像输入至预先训练好的人脸识别模型中，得到所述待处理人脸图像对应的身份特征信息；
将所述待处理人脸图像对应的身份特征信息输入至预先训练好的编码模型中，确定所述编码模型输出的捏脸参数信息；
将所述捏脸参数信息发送至所述用户端，以使所述用户端根据所述捏脸参数信息渲染出虚拟场景中的游戏角色三维模型。
11.一种游戏角色脸部处理的装置，其特征在于，所述装置包括：
样本获取模块，用于获取真实场景中的多张第一人脸图像样本；
信息提取模块，用于将获取的每张第一人脸图像样本分别输入至预先训练好的人脸识别模型和内容识别模型中，得到每张第一人脸图像样本对应的第一身份特征信息和第一内容特征信息；
以及，将所述第一身份特征信息输入至待训练的编码模型，输出第一捏脸参数信息；将所述第一捏脸参数信息输入至预先训练好的游戏角色二维图像生成模型中，输出人脸生成图像；将输出的人脸生成图像分别输入至所述人脸识别模型和内容识别模型中，得到每张人脸生成图像对应的第二身份特征信息和第二内容特征信息；
函数确定模块，用于基于所述第一身份特征信息、所述第二身份特征信息、所述第一内容特征信息和所述第二内容特征信息确定目标损失函数；
参数调整模块，用于根据所述目标损失函数调整所述待训练的编码模型的权重参数信息，得到训练后的编码模型，所述编码模型用于在输入待处理人脸图像后，得到渲染游戏角色三维模型的捏脸参数信息。
12.一种游戏角色脸部处理的装置，其特征在于，所述装置包括：
图像获取模块，用于获取待处理人脸图像；所述待处理人脸图像为用户端输入的真实场景中的人脸图像；
信息提取模块，用于将获取的所述待处理人脸图像输入至预先训练好的人脸识别模型中，得到所述待处理人脸图像对应的身份特征信息；将所述待处理人脸图像对应的身份特征信息输入至预先训练好的编码模型中，确定所述编码模型输出的捏脸参数信息；
信息发送模块，用于将所述捏脸参数信息发送至所述用户端，以使所述用户端根据所述捏脸参数信息渲染出虚拟场景中的游戏角色三维模型。
13.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至10任一所述的游戏角色脸部处理的方法的步骤。
14.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至10任一所述的游戏角色脸部处理的方法的步骤。
CN201911014108.5A 2019-10-23 2019-10-23 游戏角色脸部处理的方法、装置、计算机设备及存储介质 Active CN110717977B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911014108.5A CN110717977B (zh) 2019-10-23 2019-10-23 游戏角色脸部处理的方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911014108.5A CN110717977B (zh) 2019-10-23 2019-10-23 游戏角色脸部处理的方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110717977A true CN110717977A (zh) 2020-01-21
CN110717977B CN110717977B (zh) 2023-09-26

Family

ID=69213219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911014108.5A Active CN110717977B (zh) 2019-10-23 2019-10-23 游戏角色脸部处理的方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110717977B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111354079A (zh) * 2020-03-11 2020-06-30 腾讯科技（深圳）有限公司 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
CN111632374A (zh) * 2020-06-01 2020-09-08 网易（杭州）网络有限公司 游戏中虚拟角色的脸部处理方法、装置及可读存储介质
CN111738087A (zh) * 2020-05-25 2020-10-02 完美世界(北京)软件科技发展有限公司 一种游戏角色面部模型的生成方法和装置
CN111729314A (zh) * 2020-06-30 2020-10-02 网易（杭州）网络有限公司 一种虚拟角色的捏脸处理方法、装置及可读存储介质
CN111991808A (zh) * 2020-07-31 2020-11-27 完美世界(北京)软件科技发展有限公司 人脸模型的生成方法及装置、存储介质、计算机设备
CN112200236A (zh) * 2020-09-30 2021-01-08 网易（杭州）网络有限公司 人脸参数识别模型的训练方法、人脸参数的识别方法
CN112337092A (zh) * 2020-12-01 2021-02-09 腾讯科技（深圳）有限公司 一种云游戏处理方法、装置、设备及存储介质
CN112396692A (zh) * 2020-11-25 2021-02-23 北京市商汤科技开发有限公司 一种人脸重建方法、装置、计算机设备及存储介质
CN112419485A (zh) * 2020-11-25 2021-02-26 北京市商汤科技开发有限公司 一种人脸重建方法、装置、计算机设备及存储介质
CN112581635A (zh) * 2021-02-26 2021-03-30 北京智源人工智能研究院 一种通用的快速换脸方法、装置、电子设备和存储介质
CN112818809A (zh) * 2021-01-25 2021-05-18 清华大学 一种检测图像信息的方法、装置和存储介质
CN112991152A (zh) * 2021-03-04 2021-06-18 网易（杭州）网络有限公司 一种图像处理方法、装置、电子设备和存储介质
CN112973122A (zh) * 2021-03-02 2021-06-18 网易（杭州）网络有限公司 游戏角色上妆方法、装置及电子设备
CN113050794A (zh) * 2021-03-24 2021-06-29 北京百度网讯科技有限公司 用于虚拟形象的滑块处理方法及装置
CN113486688A (zh) * 2020-05-27 2021-10-08 海信集团有限公司 一种人脸识别方法及智能设备
CN113609960A (zh) * 2021-08-03 2021-11-05 北京奇艺世纪科技有限公司 一种目标图片的人脸驱动方法及装置
CN114170379A (zh) * 2021-11-30 2022-03-11 聚好看科技股份有限公司 一种三维模型重建方法、装置及设备
CN115393487A (zh) * 2022-10-27 2022-11-25 科大讯飞股份有限公司 一种虚拟角色模型处理方法、装置、电子设备及存储介质
WO2023160350A1 (zh) * 2022-02-25 2023-08-31 北京字跳网络技术有限公司 一种脸部处理方法、装置、计算机设备及存储介质
WO2023185398A1 (zh) * 2022-03-30 2023-10-05 北京字跳网络技术有限公司 一种脸部处理方法、装置、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106652025A (zh) * 2016-12-20 2017-05-10 五邑大学 一种基于视频流与人脸多属性匹配的三维人脸建模方法和打印装置
WO2019090769A1 (zh) * 2017-11-13 2019-05-16 深圳和而泰智能控制股份有限公司 一种人脸脸型识别方法、装置和智能终端
CN109902767A (zh) * 2019-04-11 2019-06-18 网易（杭州）网络有限公司 模型训练方法、图像处理方法及装置、设备和介质
CN110288513A (zh) * 2019-05-24 2019-09-27 北京百度网讯科技有限公司 用于改变人脸属性的方法、装置、设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106652025A (zh) * 2016-12-20 2017-05-10 五邑大学 一种基于视频流与人脸多属性匹配的三维人脸建模方法和打印装置
WO2019090769A1 (zh) * 2017-11-13 2019-05-16 深圳和而泰智能控制股份有限公司 一种人脸脸型识别方法、装置和智能终端
CN109902767A (zh) * 2019-04-11 2019-06-18 网易（杭州）网络有限公司 模型训练方法、图像处理方法及装置、设备和介质
CN110288513A (zh) * 2019-05-24 2019-09-27 北京百度网讯科技有限公司 用于改变人脸属性的方法、装置、设备和存储介质

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111354079A (zh) * 2020-03-11 2020-06-30 腾讯科技（深圳）有限公司 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
CN111354079B (zh) * 2020-03-11 2023-05-02 腾讯科技（深圳）有限公司 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
CN111738087B (zh) * 2020-05-25 2023-07-25 完美世界(北京)软件科技发展有限公司 一种游戏角色面部模型的生成方法和装置
CN111738087A (zh) * 2020-05-25 2020-10-02 完美世界(北京)软件科技发展有限公司 一种游戏角色面部模型的生成方法和装置
CN113486688A (zh) * 2020-05-27 2021-10-08 海信集团有限公司 一种人脸识别方法及智能设备
CN111632374B (zh) * 2020-06-01 2023-04-18 网易（杭州）网络有限公司 游戏中虚拟角色的脸部处理方法、装置及可读存储介质
CN111632374A (zh) * 2020-06-01 2020-09-08 网易（杭州）网络有限公司 游戏中虚拟角色的脸部处理方法、装置及可读存储介质
CN111729314A (zh) * 2020-06-30 2020-10-02 网易（杭州）网络有限公司 一种虚拟角色的捏脸处理方法、装置及可读存储介质
CN111991808A (zh) * 2020-07-31 2020-11-27 完美世界(北京)软件科技发展有限公司 人脸模型的生成方法及装置、存储介质、计算机设备
CN112200236A (zh) * 2020-09-30 2021-01-08 网易（杭州）网络有限公司 人脸参数识别模型的训练方法、人脸参数的识别方法
CN112200236B (zh) * 2020-09-30 2023-08-11 网易（杭州）网络有限公司 人脸参数识别模型的训练方法、人脸参数的识别方法
CN112396692B (zh) * 2020-11-25 2023-11-28 北京市商汤科技开发有限公司 一种人脸重建方法、装置、计算机设备及存储介质
CN112419485B (zh) * 2020-11-25 2023-11-24 北京市商汤科技开发有限公司 一种人脸重建方法、装置、计算机设备及存储介质
CN112419485A (zh) * 2020-11-25 2021-02-26 北京市商汤科技开发有限公司 一种人脸重建方法、装置、计算机设备及存储介质
CN112396692A (zh) * 2020-11-25 2021-02-23 北京市商汤科技开发有限公司 一种人脸重建方法、装置、计算机设备及存储介质
CN112337092B (zh) * 2020-12-01 2021-10-26 腾讯科技（深圳）有限公司 一种云游戏处理方法、装置、设备及存储介质
CN112337092A (zh) * 2020-12-01 2021-02-09 腾讯科技（深圳）有限公司 一种云游戏处理方法、装置、设备及存储介质
CN112818809A (zh) * 2021-01-25 2021-05-18 清华大学 一种检测图像信息的方法、装置和存储介质
CN112818809B (zh) * 2021-01-25 2022-10-11 清华大学 一种检测图像信息的方法、装置和存储介质
CN112581635A (zh) * 2021-02-26 2021-03-30 北京智源人工智能研究院 一种通用的快速换脸方法、装置、电子设备和存储介质
CN112973122A (zh) * 2021-03-02 2021-06-18 网易（杭州）网络有限公司 游戏角色上妆方法、装置及电子设备
CN112991152A (zh) * 2021-03-04 2021-06-18 网易（杭州）网络有限公司 一种图像处理方法、装置、电子设备和存储介质
CN113050794A (zh) * 2021-03-24 2021-06-29 北京百度网讯科技有限公司 用于虚拟形象的滑块处理方法及装置
US11842457B2 (en) 2021-03-24 2023-12-12 Beijing Baidu Netcom Science Technology Co., Ltd. Method for processing slider for virtual character, electronic device, and storage medium
CN113609960B (zh) * 2021-08-03 2023-07-28 北京奇艺世纪科技有限公司 一种目标图片的人脸驱动方法及装置
CN113609960A (zh) * 2021-08-03 2021-11-05 北京奇艺世纪科技有限公司 一种目标图片的人脸驱动方法及装置
CN114170379A (zh) * 2021-11-30 2022-03-11 聚好看科技股份有限公司 一种三维模型重建方法、装置及设备
WO2023160350A1 (zh) * 2022-02-25 2023-08-31 北京字跳网络技术有限公司 一种脸部处理方法、装置、计算机设备及存储介质
WO2023185398A1 (zh) * 2022-03-30 2023-10-05 北京字跳网络技术有限公司 一种脸部处理方法、装置、计算机设备及存储介质
CN115393487B (zh) * 2022-10-27 2023-05-12 科大讯飞股份有限公司 一种虚拟角色模型处理方法、装置、电子设备及存储介质
CN115393487A (zh) * 2022-10-27 2022-11-25 科大讯飞股份有限公司 一种虚拟角色模型处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110717977B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
CN110717977A (zh) 游戏角色脸部处理的方法、装置、计算机设备及存储介质
CN111632374B (zh) 游戏中虚拟角色的脸部处理方法、装置及可读存储介质
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN111243050B (zh) 肖像简笔画生成方法、系统及绘画机器人
WO2022143645A1 (zh) 三维人脸重建的方法、装置、设备和存储介质
CN113496507A (zh) 一种人体三维模型重建方法
CN112102480B (zh) 图像数据处理方法、装置、设备以及介质
CN110796593A (zh) 基于人工智能的图像处理方法、装置、介质及电子设备
CN113838176A (zh) 模型的训练方法、三维人脸图像生成方法及设备
US20230169727A1 (en) Generative Nonlinear Human Shape Models
CN111950430A (zh) 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统
CN112419144A (zh) 人脸图像的处理方法、装置、电子设备及存储介质
US20230100427A1 (en) Face image processing method, face image processing model training method, apparatus, device, storage medium, and program product
CN112396693A (zh) 一种面部信息的处理方法、装置、电子设备及存储介质
CN111680544B (zh) 人脸识别方法、装置、系统、设备及介质
CN112699857A (zh) 基于人脸姿态的活体验证方法、装置及电子设备
CN113724354A (zh) 基于参考图颜色风格的灰度图像着色方法
CN116402676A (zh) 游戏角色皮肤的建模方法、装置、设备及存储介质
CN113870404B (zh) 一种3d模型的皮肤渲染方法及显示设备
CN115018996A (zh) 根据真人人脸照片生成3d人脸模型的方法与装置
CN114677476A (zh) 一种脸部处理方法、装置、计算机设备及存储介质
CN114862716A (zh) 人脸图像的图像增强方法、装置、设备及存储介质
CN110489634A (zh) 一种造型信息推荐方法、装置、系统及终端设备
CN114529640A (zh) 一种运动画面生成方法、装置、计算机设备和存储介质
CN114912574A (zh) 角色面部表情拆分方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant