CN109636886B - 图像的处理方法、装置、存储介质和电子装置 - Google Patents

图像的处理方法、装置、存储介质和电子装置 Download PDF

Info

Publication number
CN109636886B
CN109636886B CN201811556498.4A CN201811556498A CN109636886B CN 109636886 B CN109636886 B CN 109636886B CN 201811556498 A CN201811556498 A CN 201811556498A CN 109636886 B CN109636886 B CN 109636886B
Authority
CN
China
Prior art keywords
target
image
face image
value
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811556498.4A
Other languages
English (en)
Other versions
CN109636886A (zh
Inventor
袁燚
石天阳
范长杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201811556498.4A priority Critical patent/CN109636886B/zh
Publication of CN109636886A publication Critical patent/CN109636886A/zh
Priority to US16/716,532 priority patent/US11093733B2/en
Application granted granted Critical
Publication of CN109636886B publication Critical patent/CN109636886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种图像的处理方法、装置、存储介质和电子装置。该方法包括：获取真实场景中的第一面部图像和虚拟场景中的第二面部图像，其中，第二面部图像至少根据目标参数的第一值生成的，目标参数用于确定虚拟场景中的面部图像的属性；从第一面部图像中提取出第一图像特征，且从第二面部图像中提取出第二图像特征；获取第一图像特征和第二图像特征之间的相似度；基于相似度对目标参数的第一值进行调整，得到目标参数的目标值；在虚拟场景中，根据目标值对目标参数进行渲染，得到目标面部图像。通过本发明，达到了提高将输入面部图像转换为虚拟场景中的面部图像的真实性的效果。

Description

图像的处理方法、装置、存储介质和电子装置
技术领域
本发明涉及图像处理领域，具体而言，涉及一种图像的处理方法、装置、存储介质和电子装置。
背景技术
目前，在图像处理中，可以进行图像的风格迁移。风格迁移模型的输入可以是一张内容图像和一张风格图像，输出则是二者的结合。
上述方法虽然可以将内容图像的整体风格转化为指定的风格。但是，在将人脸照片的风格转换为游戏人物的风格时，上述模型往往只能得到颜色整体相近的结果，而对于头发、眼睛、鼻子等部位，却无法转换为游戏内存在的形状，存在将输入面部图像转换为虚拟场景中的面部图像的真实性低的问题。
针对现有技术中将输入面部图像转换为虚拟场景中的面部图像的真实性低的问题，目前尚未提出有效的解决方案。
发明内容
本发明的主要目的在于提供一种图像的处理方法、装置、存储介质和电子装置，以至少解决将输入面部图像转换为虚拟场景中的面部图像的真实性低的技术问题。
为了实现上述目的，根据本发明的一个方面，提供了一种图像的处理方法。该方法包括：获取真实场景中的第一面部图像和虚拟场景中的第二面部图像，其中，第二面部图像至少根据目标参数的第一值生成的，目标参数用于确定虚拟场景中的面部图像的属性；从第一面部图像中提取出第一图像特征，且从第二面部图像中提取出第二图像特征；获取第一图像特征和第二图像特征之间的相似度；基于相似度对目标参数的第一值进行调整，得到目标参数的目标值，其中，目标参数的目标值用于确定虚拟场景中的待生成的目标面部图像，目标面部图像与第一面部图像之间的相似度，大于等于目标阈值；在虚拟场景中，根据目标值对目标参数进行渲染，得到目标面部图像。
可选地，基于相似度对目标参数的第一值进行调整，得到目标参数的目标值包括：判断步骤，判断相似度是否小于目标阈值，如果判断出相似度小于目标阈值且对目标参数进行调整的调整次数小于目标次数，则执行调整步骤；如果判断出相似度大于或等于目标阈值，或者调整次数等于目标次数，则将目标参数的第一值确定为目标参数的目标值；调整步骤，按照目标调整值对目标参数的第一值进行调整，得到目标参数的第二值；生成步骤，通过目标参数的第二值，生成虚拟场景中的第三面部图像；获取步骤，从第三面部图像中提取出第三图像特征，并获取第一图像特征和第三图像特征之间的相似度，将目标参数的第二值作为目标参数的第一值，返回判断步骤。
可选地，获取真实场景中的第一面部图像包括：获取真实场景中的原始面部图像；通过虚拟场景中的基准面部图像对原始面部图像进行预处理，得到第一面部图像，其中，第一面部图像与基准面部图像的第一目标参数相对应，第一目标参数为目标参数中的部分参数，且包括以下至少之一：五官的尺寸、五官的位置。
可选地，在通过虚拟场景中的基准面部图像对原始面部图像进行调整，得到第一面部图像之前，该方法还包括：将目标参数中的第一类型的参数的值设置为第三值，其中，第一类型的参数用于指示目标面部图像的形状；将目标参数中的第二类型的参数进行独热码编码，得到编码值，其中，第二类型的参数用于指示目标面部图像的样式；根据第三值和编码值生成基准面部图像。
可选地，在获取真实场景中的第一面部图像和虚拟场景中的第二面部图像之前，该方法还包括：对目标参数进行初始化，得到目标参数的第一值。
可选地，对目标参数进行初始化，得到目标参数的第一值包括：将目标参数中的第一类型的参数的值设置为第三值，其中，第一类型的参数用于指示目标面部图像的形状；将目标参数中的第二类型的参数进行独热码编码，得到编码值，其中，第二类型的参数用于指示目标面部图像的样式；将第三值和编码值确定为目标参数的第一值。
可选地，获取虚拟场景中的第二面部图像包括：通过第一目标模型对目标参数的第一值进行处理，得到第二面部图像，其中，第一目标模型通过虚拟场景中已生成的历史面部图像、用于生成历史面部图像的目标参数的值，对第一子目标模型进行训练得到。
可选地，从第一面部图像中提取出第一图像特征，且从第二面部图像中提取出第二图像特征包括：通过第二目标模型对第一面部图像进行处理，得到第一图像特征，且通过第二目标模型对第二面部图像进行处理，得到第二图像特征，其中，第二目标模型通过虚拟场景中已生成的历史面部图像、历史面部图像的图像特征，对第二子目标模型进行训练得到。
可选地，第一面部图像、第二面部图像和目标面部图像为三维面部图像。
为了实现上述目的，根据本发明的另一方面，提供了一种图像的处理装置。该装置包括：第一获取单元，用于获取真实场景中的第一面部图像和虚拟场景中的第二面部图像，其中，第二面部图像至少根据目标参数的第一值生成的，目标参数用于确定虚拟场景中的面部图像的属性；提取单元，用于从第一面部图像中提取出第一图像特征，且从第二面部图像中提取出第二图像特征；第二获取单元，用于获取第一图像特征和第二图像特征之间的相似度；调整单元，用于基于相似度对目标参数的第一值进行调整，得到目标参数的目标值，其中，目标参数的目标值用于确定虚拟场景中的待生成的目标面部图像，目标面部图像与第一面部图像之间的相似度，大于等于目标阈值；渲染单元，用于在虚拟场景中，根据目标值对目标参数进行渲染，得到目标面部图像
通过本发明，采用获取真实场景中的第一面部图像和虚拟场景中的第二面部图像，其中，第二面部图像至少根据目标参数的第一值生成的，目标参数用于确定虚拟场景中的面部图像的属性；从第一面部图像中提取出第一图像特征，且从第二面部图像中提取出第二图像特征；获取第一图像特征和第二图像特征之间的相似度；基于相似度对目标参数的第一值进行调整，得到目标参数的目标值，其中，目标参数的目标值用于确定虚拟场景中的待生成的目标面部图像，目标面部图像与第一面部图像之间的相似度，大于等于目标阈值；在虚拟场景中，根据目标值对目标参数进行渲染，得到目标面部图像。由于通过第一面部图像的第一图像特征和第二面部图像的第二图像特征的相似度，调整目标参数的值，直至将目标参数的值调整到目标值，使得由目标参数的目标值确定的目标面部图像，与第一面部图像之间的相似度，大于等于目标阈值，达到了将输入的现实场景中的面部图像，转化为虚拟场景中的面部图像的目的，避免了仅能得到颜色整体相近的结果，提升了输入面部图像转换为虚拟场景中的面部图像的真实性的技术效果，解决了将输入面部图像转换为虚拟场景中的面部图像的真实性低的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种图像的处理方法的移动终端的硬件结构框图；
图2是根据本发明实施例的一种图像的处理方法的流程图；
图3是根据本发明实施例的一种自动捏脸的示意图；
图4是根据本发明实施例的一种自动捏脸方法的流程图；
图5是根据本发明实施例的一种捏脸结果的对比示意图；以及
图6是根据本发明实施例的一种图像的处理装置的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种图像的处理方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端10还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端10的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种数据处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端的一种图像的处理方法。图2是根据本发明实施例的一种图像的处理方法的流程图。如图2所示，该方法包括如下步骤：
图2是根据本发明实施例的一种图像的处理方法的流程图。如图2所示，该方法包括以下步骤：
步骤S202，获取真实场景中的第一面部图像和虚拟场景中的第二面部图像。
在本发明上述步骤S202提供的技术方案中，获取真实场景中的第一面部图像和虚拟场景中的第二面部图像，其中，第二面部图像至少根据目标参数的第一值生成的，目标参数用于确定虚拟场景中的面部图像的属性。
在该实施例中，真实场景为现实场景，第一面部图像可以为在现实场景中拍摄到的用户的面部图像。虚拟场景可以为虚拟游戏角色所在的场景，比如，为游戏场景，第二面部图像可以是通过目标参数的第一值生成的虚拟场景中的面部图像，比如，为游戏人物的面部图像，其中，目标参数用于确定虚拟场景中的面部图像的属性，比如，为用于确定头发、眉毛、眼睛、鼻子、嘴巴等部位的大小、形状、样式等属性的一系列参数，为该实施例中待优化的参数。可选地，该实施例的目标参数为多维的捏脸参数，用于控制游戏人脸模型。通过调整目标参数的值可以制作个性化的游戏人物的图像。
该实施例的目标参数的第一值可以为目标参数初始设置的值，通过目标参数的第一值生成第二面部图像，可以通过预先训练的生成模型根据目标参数的第一值，生成第二面部图像，该第二面部图像可以为对捏脸参数进行自动捏脸的捏脸结果，图像尺寸可以为512*512。
在该实施例中，捏脸是游戏场景中的一种游戏玩法。在创建虚拟角色时，可以通过捏脸系统对虚拟角色进行个性化制作，以满足游戏玩家对美的追求。可选地，捏脸系统会提供给玩家丰富的控制点用于调整面部各个位置的形状，通过设定每个控制点对应的目标参数便可以获得神态各异的游戏人物的图像。
步骤S204，从第一面部图像中提取出第一图像特征，且从第二面部图像中提取出第二图像特征。
在本发明上述步骤S204提供的技术方案中，在获取真实场景中的第一面部图像和虚拟场景中的第二面部图像之后，从第一面部图像中提取出第一图像特征，且从第二面部图像中提取出第二图像特征。
在该实施例中，第一面部图像中具有第一图像特征，该第一图像特征用于指示第一面部图像的特征，第二面部图像中具有第二图像特征，该第二图像特征用于指示第二面部图像的特征，比如，该第一图像特征和第二图像特征可以用于指示背景、人脸、头发、左眉、右眉、左眼、右眼、鼻子、上嘴唇、牙齿、下嘴唇等面部特征。其中，第二图像特征可以为游戏内存在的特征。
该实施例可以通过预先训练的特征提取器从第一面部图像中提取出第一图像特征，且从第二面部图像中提取出第二图像特征，也即，将第一面部图像输入至特征提取器，输出第一面部图像特征，将第二面部图像输入至特征提取器，输出第二面部图像特征，该第一面部图像特征和第二面部图像特征可以是高维的图像特征。
步骤S206，获取第一图像特征和第二图像特征之间的相似度。
在本发明上述步骤S206提供的技术方案中，在从第一面部图像中提取出第一图像特征，且从第二面部图像中提取出第二图像特征之后，获取第一图像特征和第二图像特征之间的相似度。
在该实施例中，第一图像特征和第二图像特征之间的相似度可以用于指示第一面部图像和第二面部图像在内容上的相似程度，可以通过损失函数进行表征，通过损失函数还可以确定第一图像特征和第二图像特征之间的距离。其中，损失函数为该实施例的优化算法中的目标函数，可以使用L1范数来度量第二面部图像与第一面部图像在内容上的相似程度，当第二面部图像与第一面部图像越相近，比如，游戏人脸图像与真实人脸图像越相近，则L1范数就越小。可选地，该实施例还可以使用L2范数，L1范数比L2范数的鲁棒性更好。
可选地，该实施例通过公式
Figure GDA0002407762980000061
表示第一图像特征和第二图像特征之间的损失函数。其中，f(g(x))用于表示第一图像特征，f(I)用于表示第二图像特征，s.t.(subjectto)用于表示约束条件。
步骤S208，基于相似度对目标参数的第一值进行调整，得到目标参数的目标值。
在本发明上述步骤S208提供的技术方案中，在获取第一图像特征和第二图像特征之间的相似度之后，基于相似度对目标参数的第一值进行调整，得到目标参数的目标值，其中，目标参数的目标值用于确定虚拟场景中的待生成的目标面部图像，目标面部图像与第一面部图像之间的相似度，大于等于目标阈值。
在该实施例中，在获取第一图像特征和第二图像特征之间的相似度之后，如果第一图像特征和第二图像特征之间的相似度小于目标阈值，则第一图像特征和第二图像特征之间的差距较大，需要对目标参数的第一值进行调整。在对目标参数的值进行调整后，可以将第一面部图像与由目标参数的调整后的值生成的虚拟场景中的面部图像进行比较，如果两者的相似度大于等于目标阈值，则第一图像特征和第二图像特征之间的差距较小，具有较高的相似度，则可以将上一次目标参数调整后的值作为目标参数最后的目标值，如果两者的相似度小于目标阈值，则继续在上一次目标参数调整后的值的基础上进行调整，不断迭代，直至第一面部图像与虚拟场景中调整的面部图像之间的相似度大于等于目标阈值，可以将目标参数最后调整的值作为目标参数最后的目标值。
该实施例的目标参数的目标值可以用于确定虚拟场景中的待生成的目标面部图像，该目标面部图像与第一面部图像之间的相似度，大于等于目标阈值，可以为最终需要确定的与第一面部图像相近的虚拟场景中的面部图像。
步骤S210，在虚拟场景中，根据目标值对目标参数进行渲染，得到目标面部图像。
在本发明上述步骤S210提供的技术方案中，在基于相似度对目标参数的第一值进行调整，得到目标参数的目标值之后，在虚拟场景中，根据目标值对目标参数进行渲染，得到目标面部图像。
该实施例的目标参数可以是客户端识别的目标参数，经由客户端根据目标参数的目标值渲染出目标面部图像，目标面部图像的颜色不仅和第一面部图像的颜色整体相近，而且对于头发、眼睛、鼻子等部位的图像特征，也可以转换为游戏内存在的形状，从而得到对第一面部图像的直观的风格迁移结果。
该实施例可以将第一面部图像按照虚拟场景中的面部图像所包含的风格进行转换，同时保留原有的语义内容，风格迁移可以通过神经风格迁移模型(Neural styletransfer)和生成对抗模型(Generative Adversarial Networks)进行。其中，神经风格迁移模型可以利用特征的语义特性，对不同深度的特征分别构造内容损失函数(contentloss)和风格损失函数(style loss)，从而将图像的内容和风格分离开，最终实现风格迁移的目的。生成对抗模型是通过构造纳什均衡点，利用神经网络对风格本身进行建模，不同于前者的是，只针对于单张图进行迁移，而后者能够学习到数据集整体的风格。
通过上述方法，该实施例可以实现自动根据输入的人像照片生成与之相像的三维游戏人脸，也即，以将输入的人脸图像转换为游戏风格，可以实现自动捏脸，进一步输出捏脸参数供游戏客户端识别和渲染。
通过上述步骤S202至步骤S210，采用获取真实场景中的第一面部图像和虚拟场景中的第二面部图像，其中，第二面部图像至少根据目标参数的第一值生成的，目标参数用于确定虚拟场景中的面部图像的属性；从第一面部图像中提取出第一图像特征，且从第二面部图像中提取出第二图像特征；获取第一图像特征和第二图像特征之间的相似度；基于相似度对目标参数的第一值进行调整，得到目标参数的目标值，其中，目标参数的目标值用于确定虚拟场景中的待生成的目标面部图像，目标面部图像与第一面部图像之间的相似度，大于等于目标阈值；在虚拟场景中，根据目标值对目标参数进行渲染，得到目标面部图像。由于通过第一面部图像的第一图像特征和第二面部图像的第二图像特征的相似度，调整目标参数的值，直至将目标参数的值调整到目标值，使得由目标参数的目标值确定的目标面部图像，与第一面部图像之间的相似度，大于等于目标阈值，达到了将输入的现实场景中的面部图像，转化为虚拟场景中的面部图像的目的，避免了仅能得到颜色整体相近的结果，提升了输入面部图像转换为虚拟场景中的面部图像的真实性的技术效果，解决了将输入面部图像转换为虚拟场景中的面部图像的真实性低的技术问题。
作为一种可选的实施方式，步骤S208，基于相似度对目标参数的第一值进行调整，得到目标参数的目标值包括：判断步骤，判断相似度是否小于目标阈值，如果判断出相似度小于目标阈值且对目标参数进行调整的调整次数小于目标次数，则执行调整步骤；如果判断出相似度大于或等于目标阈值，或者调整次数等于目标次数，则将目标参数的第一值确定为目标参数的目标值；调整步骤，按照目标调整值对目标参数的第一值进行调整，得到目标参数的第二值；生成步骤，通过目标参数的第二值，生成虚拟场景中的第三面部图像；获取步骤，从第三面部图像中提取出第三图像特征，并获取第一图像特征和第三图像特征之间的相似度，将目标参数的第二值作为目标参数的第一值，返回判断步骤。
在该实施例中，在基于相似度对目标参数的第一值进行调整时，可以包括判断步骤、调整步骤、获取步骤。在判断步骤中，可以判断第一图像特征和第二图像特征之间的相似度是否小于目标阈值，该目标阈值用于衡量第一面部图像和第二面部图像之间的相似程度高与低的临界值。可选地，该实施例还设置了对目标参数调整的目标次数，也即，可以对目标参数进行调整的最大次数，该目标次数可以根据多次测试得到的经验以及应用场景的要求，直接设定的一个最优的迭代次数。如果判断出相似度小于目标阈值且调整次数小于目标次数，也即，第一图像特征和第二图像特征之间的相似度低，且对目标参数进行调整的调整次数小于目标次数，这时候可以执行调整步骤，也即，继续对目标参数进行调整。如果判断出相似度大于等于目标阈值，也即，第一图像特征和第二图像特征之间的相似度高，或者对目标参数进行调整的调整次数已经等于目标次数了，也即，对目标参数进行调整的次数已经达到最大次数了，则可以直接将目标参数的第一值确定为目标参数的目标值。其中，在对目标参数进行调整的调整次数等于目标次数的情况下，可以通过预先训练的生成模型对目标参数的第一值进行处理，得到可以作为第一面部图像的风格迁移后的面部图像。
在调整步骤中，按照目标调整值对目标参数的第一值进行调整，得到目标参数的第二值，从而实现对目标参数的优化，其中，目标调整值用于对目标参数的第一值进行调整，可以为根据多次测试得到的经验以及应用场景的要求，设定的调整步长。
按照目标调整值对目标参数的第一值进行调整，得到目标参数的第二值之后，可以在生成步骤中，通过目标参数的第二值，生成虚拟场景中的第三面部图像，比如，将目标参数的第二值输入至预先训练的生成模型中，进而输出第三面部图像。
在获取步骤中，从第三面部图像中提取出第三图像特征，并获取第一图像特征和第三图像特征之间的相似度，该第一图像特征和第三图像特征之间的相似度可以用于指示第一面部图像和第三面部图像在内容上的相似程度，可以通过损失函数进行表征，通过损失函数还可以确定第一图像特征和第三图像特征之间的距离。这时将目标参数的第二值作为目标参数的第一值，返回判断步骤继续执行。也即，继续判断当前的获取到的相似度是否小于目标阈值，如果判断出相似度小于目标阈值且对目标参数进行调整的调整次数小于目标次数，则执行调整步骤；如果判断出相似度大于或等于目标阈值，或者调整次数等于目标次数，则将目标参数的第一值确定为目标参数的目标值；调整步骤，按照目标调整值对目标参数的第一值进行调整，得到目标参数的第二值；生成步骤，通过目标参数的第二值，生成虚拟场景中的第三面部图像；获取步骤，从第三面部图像中提取出第三图像特征，并获取第一图像特征和第三图像特征之间的相似度，将目标参数的第二值作为目标参数的第一值，继续返回判断步骤。如此执行，直至获取到目标参数的目标值。
可选地，该实施例可以设置内容损失函数，该内容损失函数也即该实施例的优化算法中的目标函数，使用L1范数来度量第二面部图像和输入的第一面部图像在内容上的相似度，也即，游戏人脸与真实人脸越相近，L1范数越小，可以通过优化模型
Figure GDA0002407762980000091
进行表示。
可选地，该实施例可以采用梯度下降法或者其衍生算法，来优化求解目标参数的目标值。可以采用梯度下降法来求解
Figure GDA0002407762980000092
的优化模型。可选地，利用深度学习框架计算目标函数在自变量(目标参数)x处的梯度，利用梯度下降法不断迭代，可以按照调整步长调整目标参数的值，使得L1范数变小，直到找到损失函数的最小值，其中，调整步长可以根据多次测试得到的经验以及应用场景的要求进行设置。可选地，在对目标参数进行迭代的次数达到最大迭代次数时，将最后调整得到目标参数的值确定为目标参数的目标值，从而实现对目标参数的迭代优化，可以通过预先训练的生成模型对达到最大迭代次数时的目标参数的值进行处理，从而得到风格迁移后的面部图像。
作为一种可选的实施方式，步骤S202，获取真实场景中的第一面部图像包括：获取真实场景中的原始面部图像；通过虚拟场景中的基准面部图像对原始面部图像进行预处理，得到第一面部图像，其中，第一面部图像与基准面部图像的第一目标参数相对应，第一目标参数为目标参数中的部分参数，且包括以下至少之一：五官的尺寸、五官的位置。
在该实施例中，在获取第一面部图像时，可以先获取真实场景中的原始面部图像，该原始面部图像用于提供面部的细节特征，比如，为人脸照片。可选地，该原始面部图像为包含正面人脸的目标图像，可以是正面无眼镜的高清头像。
在该实施例中，可以对输入的原始面部图像进行预处理，使得原始面部图像与虚拟场景中的面部图像相对应，也即，使得真实人脸与游戏人脸相对应。可以通过预先设定的基准面部图像对原始面部图像进行预处理，得到第一面部图像，其中，基准面部图像也即虚拟场景中的五官位置适中的基准脸，用于对第一面部图像进行对齐，使得该第一面部图像与基准面部图像的第一目标参数相对应，该第一目标参数为目标参数中的部分参数，可以包括五官的尺寸、五官的位置，也即，第一面部图像和基准面部图像可以等大小、五官位置相对应，从而提高最终得到的虚拟场景中的面部图像与原始面部图像的相似度。
可选地，该实施例在通过虚拟场景中的基准面部图像对原始面部图像进行预处理时，可以采用Dlib机器学习库中的人脸检测和人脸关键点提取算法进行实现。可选地，该实施例对输入的原始面部图像进行人脸检测，得到人脸的外接矩形在图像中的坐标位置，然后分别对基准面部预先和原始面部图像提取人脸的关键点，可以得到两组68个人脸关键点，最后通过两组关键点来计算仿射矩阵，利用该仿射矩阵可以将原始面部图像变换成与基准面部图像等大小、五官位置相对应的人脸图像。
作为一种可选的实施方式，在通过虚拟场景中的基准面部图像对原始面部图像进行调整，得到第一面部图像之前，该方法还包括：将目标参数中的第一类型的参数的值设置为第三值，其中，第一类型的参数用于指示目标面部图像的形状；将目标参数中的第二类型的参数进行独热码编码，得到编码值，其中，第二类型的参数用于指示目标面部图像的样式；根据第三值和编码值生成基准面部图像。
在该实施例中，在通过虚拟场景中的基准面部图像对原始面部图像进行调整，得到第一面部图像之前，可以对基准面部图像进行预先设置。由于虚拟场景中的面部图像可能的情况较多，比如，游戏人脸可能的情况较多，可以将目标参数中的第一类型的参数的值统一设置为第三值，该目标参数中的第一类型的参数用于指示目标面部图像的形状，可以为目标参数的连续量部分，用于描述虚拟场景中的面部图像的每个位置的平移、旋转、俯仰等，可以直接地控制面部图像的三维形状，且可以直接输入神经网络中。可选地，该实施例用平均面部图像代替所有可能的情况，可以通过将预先训练的生成模型将输入的目标参数的连续量部分全部设置为0.5。
该实施例的目标参数还可以包括第二类型的参数，该第二类型的参数可以用于指示目标面部图像的样式，可以为目标参数中的离散量部分，可以用于指示发型、眉形等可选择的外观样式。由于这些样式相互独立，可以将目标参数中的第二类型的参数进行独热码编码，得到编码值。其中，独热码可以是有多少个状态就有多少比特，而且只有一个比特为1，其它全为0的一种码制。比如，如果面部图像有五种发型外观，则会以五个比特的数值保存发型外观特征，对这五种外观的特征的编码值可以为00001、00010、00100、01000、10000。该实施例可以在第二类型的参数中任选一种独热码，从而生成一张基准面部图像，该基准面部图像为五官位置适中的虚拟场景中的面部图像，以用于对第一面部图像进行对齐。
在将目标参数中的第一类型的参数的值设置为第三值，且将目标参数中的第二类型的参数进行独热码编码，得到编码值之后，根据第三值和编码值生成基准面部图像，进而对原始面部图像进行预处理，得到该实施例的第一面部图像。
作为一种可选的实施方式，在步骤S202，基于相似度对目标参数的第一值进行调整，得到目标参数的目标值之前，该方法还包括：对目标参数进行初始化，得到目标参数的第一值。
在该实施例中，目标参数为该实施例中待优化的参数，由于非线性优化的优化结果与自变量的初始化关系较大，为了提高该实施例对虚拟场景中的面部图像生成的准确度，在基于相似度对目标参数的第一值进行调整，得到目标参数的目标值之前，对目标参数进行初始化，比如，初始化捏脸参数，从而得到目标参数的第一值。
作为一种可选的实施方式，对目标参数进行初始化，得到目标参数的第一值包括：将目标参数中的第一类型的参数的值设置为第三值，其中，第一类型的参数用于指示目标面部图像的形状；将目标参数中的第二类型的参数进行独热码编码，得到编码值，其中，第二类型的参数用于指示目标面部图像的样式；将第三值和编码值确定为目标参数的第一值。
在该实施例中，目标参数包括的第一类型的参数和第二类型的参数。在对目标参数进行初始化时，可以与获取基准面部图像相同的方法来对目标参数进行初始化，将目标参数中的第一类型的参数的值设置为第三值，可以通过将预先训练的生成模型将输入的目标参数的连续量部分全部设置为0.5，将目标参数中的第二类型的参数进行独热码编码，得到编码值，也即，通过初始化后的目标参数生成的第二面部图像，可以和基准面部图像相同。
作为一种可选的实施方式，步骤S202，获取虚拟场景中的第二面部图像包括：通过第一目标模型对目标参数的第一值进行处理，得到第二面部图像，其中，第一目标模型通过虚拟场景中已生成的历史面部图像、用于生成历史面部图像的目标参数的值，对第一子目标模型进行训练得到。
在该实施例中，第一目标模型可以为生成模型、生成器，属于一种神经网络模型，可以通过虚拟场景中已生成的历史面部图像、用于生成历史面部图像的目标参数的值对第一子目标模型进行训练得到，比如，第一目标模型的训练数据可以来源于游戏客户端已经生成的捏脸结果和对应的捏脸参数，也即，第一目标模型使用游戏客户端已渲染的人脸图像和对应的捏脸参数训练而成，第一子目标模型可以为初始建立的检测模型。将目标参数的第一值输入至第一目标模型中，可以输出第二面部图像。
可选地，该实施例的第一目标模型可以通过深度学习训练得到的神经网络模型，其中，深度学习为一种由大规模神经元构成的机器学习算法，可以很好地解决复杂的非线性问题。可选地，该第一目标模型是由一系列反卷积层构成的深度卷积神经网络训练得到，其数学模型可以为Y＝g(x)，其中，输入可以为多维的目标参数x，每一个维度的取值范围可以是[0，1]，输出为彩色的虚拟场景中的面部图像Y，图像尺寸为512*512。目标参数包括连续量和离散量，连续量用于描述面部图像的每个位置的平移、旋转、俯仰，可以直接地控制面部图像的三维形状，可以直接输入至第一目标模型中；离散量用于描述发型、眉形等可选择的外观样式，由于这些样式相互独立，在输入第一目标模型时需要先经过独热码编码。
该实施例的目标参数的每个维度可以在均匀分布下随机产生，将随机产生的目标参数的值作为上述用于生成历史面部图像的目标参数的值，进一步可通过游戏客户端对随机产生的目标参数进行渲染得到游戏人脸图像，将该游戏人脸图像作为上述历史面部图像。在通过虚拟场景中已生成的历史面部图像、用于生成历史面部图像的目标参数的值，对第一子目标模型进行训练时，可以使用Pytorch深度学习框架并选择随机梯度下降法，将损失函数选择L1损失函数，经过500代(epoch)的训练，进而得到性能良好的神经网络模型。
可选地，在对目标参数的调整次数等于目标次数时，可以通过上述第一目标模型对目标参数的最后调整得到的值进行处理，得到虚拟场景中的面部图像，也即，得到捏脸结果。
作为一种可选的实施方式，步骤S204，从第一面部图像中提取出第一图像特征，且从第二面部图像中提取出第二图像特征包括：通过第二目标模型对第一面部图像进行处理，得到第一图像特征，且通过第二目标模型对第二面部图像进行处理，得到第二图像特征，其中，第二目标模型通过虚拟场景中已生成的历史面部图像、历史面部图像的图像特征，对第二子目标模型进行训练得到。
在该实施例中，第二目标模型可以为特征提取器，可以是以深度残差网络为基础搭建的深度卷积神经网络，通过虚拟场景中已生成的历史面部图像、历史面部图像的图像特征，对第二子目标模型进行训练得到，第二子目标模型可以为初始建立的检测模型。
可选地，该实施例的第二目标模型的数学模型为F＝f(Y)，输入为第一面部图像和第二面部图像，比如，为彩色的人脸图像，包括真实场景的人脸图像和虚拟场景中的游戏图像。该实施例对输入的图像的大小可以限制在256*256。输出为第一图像特征和第二图像特征，该第一图像特征和第二图像特征可以为高维图像特征F，由不同深度的特征组成。
可选地，该实施例的第二目标模型的模型参数可以使用经由ImageNet数据集预训练的模型参数，也可以使用人脸数据训练得到，比如，第二目标模型采用Helen人脸语义分割数据集训练得到。可选地，该数据集的语义标签分11类，分别是背景、人脸、头发、左眉、右眉、左眼、右眼、鼻子、上嘴唇、牙齿、下嘴唇。
该实施例对第二目标模型的训练方法，可以类似于第一目标模型的训练方法，不同之处在于损失函数需要选用交叉熵来度量该逐像素的分类任务。可选地，对面部图像的每个像素做分类，判断该像素是属于11类语义标签中的哪一类，损失函数使用图像分类中的交叉熵损失函数。如果某个像素的实际类别为y(独热码形式，共K种类别)，模型对该像素的输出为x，则该像素点的交叉熵损失计算为
Figure GDA0002407762980000131
其中，
Figure GDA0002407762980000132
作为一种可选的实施方式，第一面部图像、第二面部图像和目标面部图像为三维面部图像，从而提升符合风格迁移的真实性，提升用户体验。
在该实施例中，该方法将目标参数作为自变量，获取第一面部图像和第二面部图像，提取出第一面部图像的第一图像特征和第二面部图像的第二图像特征，进一步计算两组图像特征的相似度，基于相似度对目标参数的第一值进行调整，最后得到目标参数的目标值，在客户端上根据目标值对目标参数进行渲染，得到目标面部图像，避免了仅能得到颜色整体相近的结果，提升了输入面部图像转换为虚拟场景中的面部图像的真实性的技术效果，解决了将输入面部图像转换为虚拟场景中的面部图像的真实性低的技术问题。
下面结合优选的实施方式对本发明的技术方案进行说明，具体以面部图像为人脸图像进行举例说明。
本发明所涉及的自动捏脸算法可以将输入的人脸图像转换为游戏风格，进一步输出捏脸参数供游戏客户端识别和渲染。
图3是根据本发明实施例的一种自动捏脸的示意图。如图3所示，该自动捏脸算法涉及生成器、特征提取器、基准脸、目标图像、人脸对齐、初始化捏脸参数、设定内容损失函数、梯度下降、输出捏脸参数/结果。
(1)下面对该实施例的生成器进行介绍。
该实施例的生成器可以是由一系列反卷积层构成的深度卷积神经网络，其数学模型为Y＝g(x)，输入为多维捏脸参数x，每一个维度的取值范围是[0，1]，输出为彩色游戏人脸图像Y，图像尺寸为512*512。其中，多维捏脸参数包括两部分，分别为连续量和离散量。其中，连续量用于描述游戏人脸中每个位置的平移、旋转、俯仰，直接地控制脸部的三维形状，可以直接输入神经网络中；离散量是指发型、眉形等可选择的外观样式，由于这些样式相互独立，在输入神经网络时需要先经过独热码编码。
在该实施例中，生成器可以使用游戏客户端渲染的人脸图像和与人脸图像对应的捏脸参数进行训练而成，捏脸参数的每个维度在均匀分布下随机产生，进一步可通过游戏客户端对随机产生的捏脸参数进行渲染，得到游戏人脸图像。在训练时，可以使用Pytorch深度学习框架，并选择随机梯度下降法，损失函数可以选择L1损失函数，经过500代(epoch)的训练，即可得到性能良好的神经网络模型。
(2)下面对该实施例的特征提取器进行介绍。
该实施例的特征提取器，是以深度残差网络为基础搭建的深度卷积神经网络，其数学模型可以为F＝f(Y)，输入为彩色人脸图像(真实场景中的人脸图像/游戏场景中的游戏图像)，图像大小可以限制为256*256，输出为高维的图像特征F，由不同深度的特征组成。
该实施例的特征提取器的模型参数可以使用经由ImageNet数据集预训练的模型参数，也可以使用人脸数据训练得到，比如，该特征提取器采用Helen人脸语义分割数据集训练得到，其中，该数据集的语义标签分11类，分别是背景、人脸、头发、左眉、右眉、左眼、右眼、鼻子、上嘴唇、牙齿、下嘴唇。训练方法可以类似生成器的方法，不同之处在于损失函数需要选用交叉熵来度量该逐像素的分类任务。可选地，对面部图像的每个像素做分类，判断该像素是属于11类语义标签中的哪一类，损失函数使用图像分类中的交叉熵损失函数。如果某个像素的实际类别为y(独热码形式，共K种类别)，模型对该像素的输出为x，则该像素点的交叉熵损失计算为
Figure GDA0002407762980000151
(3)下面对该实施例的基准脸进行介绍。
为了提高该实施例的自动捏脸的结果与真实人像的相似度，需要对输入的人脸图像进行预处理，使真实人脸与游戏人脸相对应。由于游戏人脸可能的情况较多，该实施例可以采用平均脸代替所有可能的情况。可选地，该实施例的平均脸是通过将生成器输入的连续量部分全部设置为0.5，离散量部分均选取任一种独热码，从而生成一张五官位置适中的游戏人脸图像，并作为基准脸用于后续的人脸对齐。
(4)下面对该实施例的目标图像进行介绍。
该实施例的目标图像主要用于提供人脸的细节特征，可以是正面无眼镜的高清人像。
(5)下面对该实施例的人脸对齐进行介绍。
为了将输入的目标图像与基准脸对齐，该实施例采用Dlib机器学习库中的人脸检测和人脸关键点提取算法进行实现。可选地，该实施例首先对输入的目标图像进行人脸检测，得到人脸的接矩形在图像中的坐标位置；然后分别对基准脸和目标图像提取人脸关键点，得到两组人脸68个关键点；最后通过两组关键点计算仿射矩阵，利用该仿射矩阵可以将目标图像变换成与基准脸等大小、五官位置相对应的人脸图像。
(6)下面对该实施例的初始化捏脸参数x进行介绍。
该实施例的捏脸参数是该实施例中的待优化变量x。捏脸参数包含连续量和离散量两部分，其中后者需要被编码成独热码。由于非线性优化问题的优化结果是与自变量的初始化关系较大，为了提高自动捏脸的准确度，该实施例对捏脸参数进行初始化，可以使用与获取基准脸相同的方法来初始化捏脸参数。
(7)下面对该实施例的内容损失函数进行介绍。
该实施例的损失函数，也即，优化算法中的目标函数，可以使用L1范数来度量捏脸结果与输入面部图像在内容上的相似度，也即，游戏人脸与真实人脸越相近，L1范数越小。可选地，该实施例的损失函数的数学模型可以表示为如下形式：
Figure GDA0002407762980000152
其中，f(g(x))用于表示真实人脸图像的特征，f(I)用于表示游戏人脸的特征，s.t.用于表示约束条件。
(8)下面对该实施例的梯度下降法进行介绍。
在该实施例中，由于深度学习模型一般包含着海量的参数，海量矩阵逆的求解十分困难，因此该实施例的深度学习模型采用一阶模型，也即，即梯度下降法或其衍生算法优化求解。
可选地，该实施例采用梯度下降法来求解
Figure GDA0002407762980000161
由于生成器Y＝g(x)和特征提取器F＝f(Y)均为神经网络，因此可以利用Pytorch深度学习框架来计算目标函数在自变量x处的梯度，从而迭代优化捏脸参数。
(9)输出捏脸参数
Figure GDA0002407762980000162
结果
Figure GDA0002407762980000163
在对捏脸参数进行迭代的次数达到最大迭代次数时，此时优化后的捏脸参数即为该实施例最终输出的捏脸参数。
进一步，为了获得直观的风格迁移结果，该实施例可以进一步将优化后的捏脸参数输入至生成器中，即可得与输入面部图像相貌相近的游戏人脸图像，从而得到捏脸结果。
该实施例的自动捏脸算法可以将输入的人脸图像转换为游戏风格，进一步输出捏脸参数供游戏客户端识别和渲染，提升了输入面部图像转换为虚拟场景中的面部图像的真实性的效果。
图4是根据本发明实施例的一种自动捏脸方法的流程图。如图4所示，该方法包括以下步骤：
步骤S401，加载基准脸、预训练的生成器模型和特征提取器模型。
步骤S402，输入包含正面人脸的目标图像。
该实施例的目标图像应当是正面无眼镜的高清人像。
步骤S403，以基准脸为目标，对目标图像进行人脸对齐，得到对齐后的人脸图像。
步骤S404，使用特征提取器提取人脸图像的特征。
步骤S405，初始化捏脸参数。
步骤S406，将捏脸参数输入生成器，得到捏脸结果。
步骤S407，使用特征提取器提取捏脸结果的特征。
步骤S408，使用L1损失函数计算人脸图像的特征和捏脸结果的特征之间的距离。
步骤S409，计算损失函数在自变量(捏脸参数)处的梯度，并使用梯度下降法调整自变量。
步骤S410，判断是否已经达到最大迭代次数。
如果判断出达到最大迭代次数，则此时优化后的捏脸参数即为该实施例最终输出的捏脸参数。如果断出未达到最大迭代次数，则继续执行步骤S406至步骤S410，直至达到最大迭代次数。可以进一步将优化后的参数的值输入生成器中，即可获得风格迁移结果。
图5是根据本发明实施例的一种捏脸结果的对比示意图。如图5所示，左侧图像为输入的目标图像，中间图像为通过该实施例的自动捏脸算法输出的捏脸结果，右侧图像为利用游戏客户端对通过自动捏脸算法输出的捏脸参数进行渲染得到的结果。
由图5可知，自动捏脸的结果与输入的目标图像具有较高的相似度，对应的捏脸参数可以经由游戏客户端渲染出相同的人脸图像，提高了将输入面部图像转换为虚拟场景中的面部图像的真实性。
该实施例包含两个预训练的神经网络模型。第一个模型是生成模型，输入是一组捏脸参数，输出是捏脸结果，其训练数据来源于游戏客户端已经生成的捏脸结果和对应的捏脸参数；第二个模型是特征提取器，输入是人脸图像(真实人脸图像或游戏人脸)和捏脸结果，输出是高维的图像特征。将捏脸参数作为自变量，使用生成模型得到捏脸结果，再利用特征提取器分别提取捏脸结果和输入人像的图像特征，进一步计算两组特征的距离，也即，计算损失函数，最后计算损失函数在自变量处的梯度并利用梯度下降法调整自变量直至最大迭代次数，此时自变量的值即为自动捏脸算法得到的参数，再经过生成模型即可获得风格迁移后的游戏人脸图像。
实施例通过搭建上述神经网络结构并使用梯度下降法调整自变量，实现了自动捏脸需要输出捏脸参数，进而通过生成器根据算法输出的捏脸参数生成捏脸结果，达到了自动捏脸的目的，并且输出的捏脸参数可以直接由游戏客户端渲染出对应的三维人脸，实现了将输入人脸图像的风格转换为游戏人物的风格，从而解决了将输入面部图像转换为虚拟场景中的面部图像的真实性低的问题，提高了将输入面部图像转换为虚拟场景中的面部图像的真实性。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例还提供了一种图像的处理装置。需要说明的是，该实施例的图像的处理装置可以用于执行本发明实施例的图像的处理方法。
图6是根据本发明实施例的一种图像的处理装置的示意图。如图6所示，该图像的处理装置600包括：第一获取单元10、提取单元20、第二获取单元30、调整单元40和渲染单元50。
第一获取单元10，用于获取真实场景中的第一面部图像和虚拟场景中的第二面部图像，其中，第二面部图像至少根据目标参数的第一值生成的，目标参数用于确定虚拟场景中的面部图像的属性；
提取单元20，用于从第一面部图像中提取出第一图像特征，且从第二面部图像中提取出第二图像特征。
第二获取单元30，用于获取第一图像特征和第二图像特征之间的相似度。
调整单元40，用于基于相似度对目标参数的第一值进行调整，得到目标参数的目标值，其中，目标参数的目标值用于确定虚拟场景中的待生成的目标面部图像，目标面部图像与第一面部图像之间的相似度，大于等于目标阈值。
渲染单元50，用于在虚拟场景中，根据目标值对目标参数进行渲染，得到目标面部图像。
可选地，调整单元40包括：判断模块，用于执行判断步骤，判断相似度是否小于目标阈值，如果判断出相似度小于目标阈值且对目标参数进行调整的调整次数小于目标次数，则执行调整步骤；如果判断出相似度大于或等于目标阈值，或者调整次数等于目标次数，则将目标参数的第一值确定为目标参数的目标值；调整模块，用于执行调整步骤，按照目标调整值对目标参数的第一值进行调整，得到目标参数的第二值；生成模块，用于执行生成步骤，通过目标参数的第二值，生成虚拟场景中的第三面部图像；第一获取模块，用于获取步骤，从第三面部图像中提取出第三图像特征，并获取第一图像特征和第三图像特征之间的相似度，将目标参数的第二值作为目标参数的第一值，返回判断步骤。
可选地，第一获取单元10包括：第二获取模块，用于获取真实场景中的原始面部图像；第一处理模块，用于通过虚拟场景中的基准面部图像对原始面部图像进行预处理，得到第一面部图像，其中，第一面部图像与基准面部图像的第一目标参数相对应，第一目标参数为目标参数中的部分参数，且包括以下至少之一：五官的尺寸、五官的位置。
可选地，第一获取单元10包括：第一设置模块，用于在通过虚拟场景中的基准面部图像对原始面部图像进行调整，得到第一面部图像之前，将目标参数中的第一类型的参数的值设置为第三值，其中，第一类型的参数用于指示目标面部图像的形状；第一编码模块，用于将目标参数中的第二类型的参数进行独热码编码，得到编码值，其中，第二类型的参数用于指示目标面部图像的样式；生成模块，用于根据第三值和编码值生成基准面部图像。
可选地，该实施例还包括：初始化单元，用于在获取真实场景中的第一面部图像和虚拟场景中的第二面部图像之前，对目标参数进行初始化，得到目标参数的第一值。
可选地，初始化单元包括：第二设置模块，用于将目标参数中的第一类型的参数的值设置为第三值，其中，第一类型的参数用于指示目标面部图像的形状；第二编码模块，用于将目标参数中的第二类型的参数进行独热码编码，得到编码值，其中，第二类型的参数用于指示目标面部图像的样式；确定模块，用于将第三值和编码值确定为目标参数的第一值。
可选地，第一获取单元10包括：第二处理模块，用于通过第一目标模型对目标参数的第一值进行处理，得到第二面部图像，其中，第一目标模型通过虚拟场景中已生成的历史面部图像、用于生成历史面部图像的目标参数的值，对第一子目标模型进行训练得到。
可选地，该装置还包括：处理单元，用于在基于相似度对目标参数的第一值进行调整，得到目标参数的目标值之后，通过第一目标模型对目标参数的目标值进行处理，得到第四面部图像。
可选地，提取单元20包括：第三处理模块，用于通过第二目标模型对第一面部图像进行处理，得到第一图像特征，且通过第二目标模型对第二面部图像进行处理，得到第二图像特征，其中，第二目标模型通过虚拟场景中已生成的历史面部图像、历史面部图像的图像特征，对第二子目标模型进行训练得到。
可选地，第一面部图像、第二面部图像和目标面部图像为三维面部图像。
可选地，该实施例调整目标参数的值，直至将目标参数的值调整到目标值，使得由目标参数的目标值确定的目标面部图像，与第一面部图像之间的相似度，大于等于目标阈值，达到了将输入的现实场景中的面部图像，转化为虚拟场景中的面部图像的目的，避免了仅能得到颜色整体相近的结果，提升了输入面部图像转换为虚拟场景中的面部图像的真实性的技术效果，解决了将输入面部图像转换为虚拟场景中的面部图像的真实性低的技术问题。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种图像的处理方法，其特征在于，包括：
获取真实场景中的第一面部图像和虚拟场景中的第二面部图像，其中，所述第二面部图像至少根据目标参数的第一值生成的，所述目标参数用于确定所述虚拟场景中的面部图像的属性；
从所述第一面部图像中提取出第一图像特征，且从所述第二面部图像中提取出第二图像特征；
获取所述第一图像特征和所述第二图像特征之间的相似度；
基于所述相似度对所述目标参数的第一值进行调整，得到所述目标参数的目标值，其中，所述目标参数的目标值用于确定所述虚拟场景中的待生成的目标面部图像，所述目标面部图像与所述第一面部图像之间的相似度，大于等于目标阈值；
在所述虚拟场景中，根据所述目标值对所述目标参数进行渲染，得到所述目标面部图像；
其中，获取所述真实场景中的所述第一面部图像包括：获取所述真实场景中的原始面部图像；通过所述虚拟场景中的基准面部图像对所述原始面部图像进行预处理，得到所述第一面部图像，其中，所述第一面部图像与所述基准面部图像的第一目标参数相对应，所述第一目标参数为所述目标参数中的部分参数，且包括以下至少之一：五官的尺寸、五官的位置。
2.根据权利要求1所述的方法，其特征在于，基于所述相似度对所述目标参数的第一值进行调整，得到所述目标参数的目标值包括：
判断步骤，判断所述相似度是否小于所述目标阈值，如果判断出所述相似度小于所述目标阈值且对目标参数进行调整的调整次数小于目标次数，则执行调整步骤；如果判断出所述相似度大于或等于所述目标阈值，或者所述调整次数等于所述目标次数，则将所述目标参数的第一值确定为所述目标参数的目标值；
所述调整步骤，按照目标调整值对所述目标参数的第一值进行调整，得到所述目标参数的第二值；
生成步骤，通过所述目标参数的第二值，生成所述虚拟场景中的第三面部图像；
获取步骤，从所述第三面部图像中提取出第三图像特征，并获取所述第一图像特征和所述第三图像特征之间的相似度，将所述目标参数的第二值作为所述目标参数的第一值，返回所述判断步骤。
3.根据权利要求1所述的方法，其特征在于，在通过所述基准面部图像对所述原始面部图像进行调整，得到所述第一面部图像之前，所述方法还包括：
将所述目标参数中的第一类型的参数的值设置为第三值，其中，所述第一类型的参数用于指示所述目标面部图像的形状；
将所述目标参数中的第二类型的参数的值进行独热码编码，得到编码值，其中，所述第二类型的参数用于指示所述目标面部图像的样式；
根据所述第三值和所述编码值生成所述基准面部图像。
4.根据权利要求1所述的方法，在获取真实场景中的第一面部图像和虚拟场景中的第二面部图像之前，所述方法还包括：
对所述目标参数进行初始化，得到所述目标参数的第一值。
5.根据权利要求4所述的方法，对所述目标参数的值进行初始化，得到所述目标参数的第一值包括：
将所述目标参数中的第一类型的参数的值设置为第三值，其中，所述第一类型的参数用于指示所述目标面部图像的形状；
将所述目标参数中的第二类型的参数进行独热码编码，得到编码值，其中，所述第二类型的参数用于指示所述目标面部图像的样式；
将所述第三值和所述编码值确定为所述目标参数的第一值。
6.根据权利要求1至5中任意一项所述的方法，其特征在于，获取所述虚拟场景中的所述第二面部图像包括：
通过第一目标模型对所述目标参数的第一值进行处理，得到所述第二面部图像，其中，所述第一目标模型通过所述虚拟场景中已生成的历史面部图像、用于生成所述历史面部图像的目标参数的值，对第一子目标模型进行训练得到。
7.根据权利要求1至5中任意一项所述的方法，其特征在于，从所述第一面部图像中提取出所述第一图像特征，且从所述第二面部图像中提取出所述第二图像特征包括：
通过第二目标模型对所述第一面部图像进行处理，得到所述第一图像特征，且通过所述第二目标模型对所述第二面部图像进行处理，得到所述第二图像特征，其中，所述第二目标模型通过所述虚拟场景中已生成的历史面部图像、所述历史面部图像的图像特征，对第二子目标模型进行训练得到。
8.根据权利要求1至5中任意一项所述的方法，其特征在于，所述第一面部图像、所述第二面部图像和所述目标面部图像为三维面部图像。
9.一种图像的处理装置，其特征在于，包括：
第一获取单元，用于获取真实场景中的第一面部图像和虚拟场景中的第二面部图像，其中，所述第二面部图像至少根据目标参数的第一值生成的，所述目标参数用于确定所述虚拟场景中的面部图像的属性；
提取单元，用于从所述第一面部图像中提取出第一图像特征，且从所述第二面部图像中提取出第二图像特征；
第二获取单元，用于获取所述第一图像特征和所述第二图像特征之间的相似度；
调整单元，用于基于所述相似度对所述目标参数的第一值进行调整，得到所述目标参数的目标值，其中，所述目标参数的目标值用于确定所述虚拟场景中的待生成的目标面部图像，所述目标面部图像与所述第一面部图像之间的相似度，大于等于目标阈值；
渲染单元，用于在所述虚拟场景中，根据所述目标值对所述目标参数进行渲染，得到所述目标面部图像；
其中，所述第一获取单元用于通过以下步骤来获取所述真实场景中的所述第一面部图像：获取所述真实场景中的原始面部图像；通过所述虚拟场景中的基准面部图像对所述原始面部图像进行预处理，得到所述第一面部图像，其中，所述第一面部图像与所述基准面部图像的第一目标参数相对应，所述第一目标参数为所述目标参数中的部分参数，且包括以下至少之一：五官的尺寸、五官的位置。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至8任一项中所述的方法。
11.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至8任一项中所述的方法。
CN201811556498.4A 2018-12-19 2018-12-19 图像的处理方法、装置、存储介质和电子装置 Active CN109636886B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811556498.4A CN109636886B (zh) 2018-12-19 2018-12-19 图像的处理方法、装置、存储介质和电子装置
US16/716,532 US11093733B2 (en) 2018-12-19 2019-12-17 Image processing method and apparatus, storage medium and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811556498.4A CN109636886B (zh) 2018-12-19 2018-12-19 图像的处理方法、装置、存储介质和电子装置

Publications (2)

Publication Number Publication Date
CN109636886A CN109636886A (zh) 2019-04-16
CN109636886B true CN109636886B (zh) 2020-05-12

Family

ID=66075411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811556498.4A Active CN109636886B (zh) 2018-12-19 2018-12-19 图像的处理方法、装置、存储介质和电子装置

Country Status (2)

Country Link
US (1) US11093733B2 (zh)
CN (1) CN109636886B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626218A (zh) * 2020-05-28 2020-09-04 腾讯科技（深圳）有限公司 基于人工智能的图像生成方法、装置、设备及存储介质

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10650227B2 (en) * 2016-10-31 2020-05-12 Google Llc Face reconstruction from a learned embedding
CN109671016B (zh) * 2018-12-25 2019-12-17 网易（杭州）网络有限公司 人脸模型的生成方法、装置、存储介质及终端
CN110084775B (zh) * 2019-05-09 2021-11-26 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110298326A (zh) * 2019-07-03 2019-10-01 北京字节跳动网络技术有限公司 一种图像处理方法及装置、存储介质与终端
CN110321854B (zh) * 2019-07-05 2021-12-24 阿波罗智联(北京)科技有限公司 用于检测目标对象的方法和装置
CN110390291B (zh) * 2019-07-18 2021-10-08 北京字节跳动网络技术有限公司 数据处理方法、装置及电子设备
CN110781782B (zh) * 2019-10-15 2021-03-23 腾讯科技（深圳）有限公司 面部模型的确定方法及装置
CN110827378B (zh) * 2019-10-31 2023-06-09 北京字节跳动网络技术有限公司 虚拟形象的生成方法、装置、终端及存储介质
US11145042B2 (en) * 2019-11-12 2021-10-12 Palo Alto Research Center Incorporated Using convolutional neural network style transfer to automate graphic design creation
US11080834B2 (en) * 2019-12-26 2021-08-03 Ping An Technology (Shenzhen) Co., Ltd. Image processing method and electronic device
CN111680697B (zh) * 2020-03-17 2024-03-22 北京大学 实现领域自适应的方法、装置、电子设备及介质
CN111598989B (zh) * 2020-05-20 2024-04-26 上海联影医疗科技股份有限公司 一种图像渲染参数设置方法、装置、电子设备及存储介质
CN111632374B (zh) * 2020-06-01 2023-04-18 网易（杭州）网络有限公司 游戏中虚拟角色的脸部处理方法、装置及可读存储介质
CN112381707B (zh) * 2020-11-02 2023-06-20 腾讯科技（深圳）有限公司 图像生成方法、装置、设备以及存储介质
CN112396692B (zh) * 2020-11-25 2023-11-28 北京市商汤科技开发有限公司 一种人脸重建方法、装置、计算机设备及存储介质
CN112509154B (zh) * 2020-11-26 2024-03-22 北京达佳互联信息技术有限公司 图像生成模型的训练方法、图像生成方法及装置
CN112541446B (zh) * 2020-12-17 2023-09-05 杭州海康威视数字技术股份有限公司 一种生物特征库更新方法、装置及电子设备
CN112785493B (zh) * 2021-01-22 2024-02-09 北京百度网讯科技有限公司 模型的训练方法、风格迁移方法、装置、设备及存储介质
CN112802162B (zh) * 2021-02-02 2024-05-10 网易（杭州）网络有限公司 虚拟角色的面部调整方法及装置、电子设备、存储介质
CN113052962B (zh) * 2021-04-02 2022-08-19 北京百度网讯科技有限公司 模型训练、信息输出方法，装置，设备以及存储介质
CN113705316A (zh) * 2021-04-13 2021-11-26 腾讯科技（深圳）有限公司 获取虚拟图像的方法、装置、设备及存储介质
CN113112580B (zh) * 2021-04-20 2022-03-25 北京字跳网络技术有限公司 一种虚拟形象的生成方法、装置、设备及介质
CN113440845B (zh) * 2021-06-25 2024-01-30 完美世界(重庆)互动科技有限公司 一种虚拟模型的渲染方法、装置、存储介质和电子装置
CN113744275B (zh) * 2021-07-26 2023-10-20 重庆邮电大学 一种基于特征变换的三维cbct牙齿图像的分割方法
CN113808007B (zh) * 2021-09-16 2022-07-19 北京百度网讯科技有限公司 调整虚拟脸部模型的方法、装置、电子设备及存储介质
CN114037814B (zh) * 2021-11-11 2022-12-23 北京百度网讯科技有限公司 数据处理方法、装置、电子设备和介质
CN115311127A (zh) * 2022-02-25 2022-11-08 北京字跳网络技术有限公司 一种脸部处理方法、装置、计算机设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104637035A (zh) * 2015-02-15 2015-05-20 百度在线网络技术（北京）有限公司 生成卡通人脸图片的方法、装置及系统
CN108510437A (zh) * 2018-04-04 2018-09-07 科大讯飞股份有限公司 一种虚拟形象生成方法、装置、设备以及可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8831379B2 (en) * 2008-04-04 2014-09-09 Microsoft Corporation Cartoon personalization
JP6244059B2 (ja) * 2014-04-11 2017-12-06 ペキン センスタイム テクノロジー ディベロップメント カンパニー リミテッド 基準画像に基づく顔画像検証方法、及び顔画像検証システム
CN107741809B (zh) * 2016-12-21 2020-05-12 腾讯科技（深圳）有限公司 一种虚拟形象之间的互动方法、终端、服务器及系统
GB201709199D0 (en) * 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
CN108876891B (zh) * 2017-11-27 2021-12-28 北京旷视科技有限公司 人脸图像数据采集方法及人脸图像数据采集装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104637035A (zh) * 2015-02-15 2015-05-20 百度在线网络技术（北京）有限公司 生成卡通人脸图片的方法、装置及系统
CN108510437A (zh) * 2018-04-04 2018-09-07 科大讯飞股份有限公司 一种虚拟形象生成方法、装置、设备以及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626218A (zh) * 2020-05-28 2020-09-04 腾讯科技（深圳）有限公司 基于人工智能的图像生成方法、装置、设备及存储介质
CN111626218B (zh) * 2020-05-28 2023-12-26 腾讯科技（深圳）有限公司 基于人工智能的图像生成方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN109636886A (zh) 2019-04-16
US11093733B2 (en) 2021-08-17
US20200202111A1 (en) 2020-06-25

Similar Documents

Publication Publication Date Title
CN109636886B (zh) 图像的处理方法、装置、存储介质和电子装置
CN110322416B (zh) 图像数据处理方法、装置以及计算机可读存储介质
CN108305312B (zh) 3d虚拟形象的生成方法和装置
US12002160B2 (en) Avatar generation method, apparatus and device, and medium
CN111632374B (zh) 游戏中虚拟角色的脸部处理方法、装置及可读存储介质
CN111833236B (zh) 产生模拟用户的三维脸部模型的方法及装置
CN110555896B (zh) 一种图像生成方法、装置以及存储介质
CN108717524A (zh) 一种基于双摄手机和人工智能系统的手势识别系统及方法
CN116583878A (zh) 用于个性化3d头部模型变形的方法和系统
CN110046574A (zh) 基于深度学习的安全帽佩戴识别方法及设备
CN112221145B (zh) 游戏脸模生成方法及装置、存储介质及电子设备
US20220284678A1 (en) Method and apparatus for processing face information and electronic device and storage medium
CN116997933A (zh) 用于构造面部位置图的方法和系统
CN111832372A (zh) 产生模拟用户的三维脸部模型的方法及装置
CN114266695A (zh) 图像处理方法、图像处理系统及电子设备
CN111080746A (zh) 图像处理方法、装置、电子设备和存储介质
KR20230085931A (ko) 얼굴 이미지에서 색상을 추출하기 위한 방법 및 시스템
JP2024506170A (ja) 個人化された３ｄ頭部モデルおよび顔モデルを形成するための方法、電子装置、およびプログラム
CN114299206A (zh) 三维卡通人脸生成方法、装置、电子设备及存储介质
CN113870404A (zh) 一种3d模型的皮肤渲染方法及设备
Guénard et al. Reconstructing plants in 3D from a single image using analysis-by-synthesis
KR20200097201A (ko) 딥 러닝 기반 3d 데이터 생성 방법 및 장치
CN110781782B (zh) 面部模型的确定方法及装置
CN117011449A (zh) 三维面部模型的重构方法和装置、存储介质及电子设备
CN110717928B (zh) 人脸运动单元AUs的参数估计方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant