CN111369428B - 虚拟头像生成方法和装置 - Google Patents

虚拟头像生成方法和装置 Download PDF

Info

Publication number
CN111369428B
CN111369428B CN202010156571.XA CN202010156571A CN111369428B CN 111369428 B CN111369428 B CN 111369428B CN 202010156571 A CN202010156571 A CN 202010156571A CN 111369428 B CN111369428 B CN 111369428B
Authority
CN
China
Prior art keywords
head portrait
expression
avatar
virtual
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010156571.XA
Other languages
English (en)
Other versions
CN111369428A (zh
Inventor
龙翔
李鑫
张赫男
孙昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010156571.XA priority Critical patent/CN111369428B/zh
Publication of CN111369428A publication Critical patent/CN111369428A/zh
Priority to EP21155927.3A priority patent/EP3889915A3/en
Priority to US17/182,604 priority patent/US11455765B2/en
Priority to KR1020210025904A priority patent/KR102491140B1/ko
Priority to JP2021030671A priority patent/JP7268071B2/ja
Application granted granted Critical
Publication of CN111369428B publication Critical patent/CN111369428B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G06T3/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Abstract

本申请实施例公开了虚拟头像生成方法和装置。该方法的一具体实施方式包括：获取第一头像，并确定该第一头像的表情参数，其中，该第一头像的表情参数包括五官中的至少一个的表情参数；基于该五官中的至少一个的表情参数，确定与该第一头像的属性相关联且具有该第一头像的表情的目标虚拟头像。本申请实施例能够利用第一头像生成表情参数，从而基于表情参数，高效且较为准确地生成与第一头像的属性、表情均对应的目标虚拟头像。

Description

虚拟头像生成方法和装置
技术领域
本申请实施例涉及计算机技术领域，具体涉及互联网技术领域，尤其涉及虚拟头像生成方法和装置。
背景技术
随着互联网技术的发展，越来越多的直播平台和短视频平台层出不穷。用户可以通过手机等上传自己拍摄的视频。在自拍、直播等的场景中，电子设备可以将用户的脸部特征和表情映射到二维或三维动画形象上，从而有效提升画面的趣味性和丰富度。
在相关技术中，上述的映射一般是将用户的脸部特征和表情映射到固定的动画形象上。如果要生成与真人相似的动画，往往耗时较长。
发明内容
本申请实施例提出了虚拟头像生成方法和装置。
第一方面，本申请实施例提供了一种虚拟头像生成方法，包括：获取第一头像，并确定第一头像的表情参数，其中，第一头像的表情参数包括五官中的至少一个的表情参数；基于五官中的至少一个的表情参数，确定与第一头像的属性相关联且具有第一头像的表情的目标虚拟头像。
在一些实施例中，方法还包括：生成与第一头像的属性相关联的无表情的基准虚拟头像；以及基于五官中的至少一个的表情参数，确定与第一头像的属性相关联且具有第一头像的表情的目标虚拟头像，包括：将基准虚拟头像和五官中的至少一个的表情参数，输入预先训练的深度神经网络，得到与第一头像的属性相关联且具有第一头像的表情的第一虚拟头像；基于第一虚拟头像，生成目标虚拟头像。
在一些实施例中，将基准虚拟头像和五官中的至少一个的表情参数，输入预先训练的深度神经网络，得到与第一头像的属性相关联且具有第一头像的表情的第一虚拟头像，包括：将基准虚拟头像和五官中的至少一个的表情参数，输入预先训练的第一生成对抗网络，得到从第一生成对抗网络输出的、与第一头像的属性相关联且具有第一头像的表情的第一虚拟头像。
在一些实施例中，第一头像的表情参数还包括头部角度；基于第一虚拟头像，生成目标虚拟头像，包括：将第一虚拟头像和头部角度输入预先训练的第二生成对抗网络，得到从第二生成对抗网络输出的、与第一头像的属性相关联且具有第一头像的表情及头部角度的目标虚拟头像。
在一些实施例中，五官中的至少一个的表情参数包括眼部参数和嘴部参数；确定第一头像的表情参数，包括：检测第一头像的表情关联关键点，得到检测结果，其中，表情关联关键点包括眼部关键点和嘴部关键点；基于检测结果，确定第一头像的眼部参数、嘴部参数和头部角度。
在一些实施例中，生成与第一头像的属性相关联的无表情的基准虚拟头像，包括：将第一头像输入预先训练的第三生成对抗网络，得到从第三生成对抗网络输出的、与第一头像的属性相关联的无表情的基准虚拟头像；或检测第一头像的属性；基于预设的三维头像模型，确定与检测到的属性相关联的无表情的虚拟头像，并将该虚拟头像作为与第一头像的属性相关联的无表情的基准虚拟头像。
在一些实施例中，基于五官中的至少一个的表情参数，确定与第一头像的属性相关联且具有第一头像的表情的目标虚拟头像，包括：在各个预设表情参数中，选取与第一头像的表情参数的差值最小的预设表情参数；获取与第一头像的属性相关联且具有所选取的预设表情参数所对应的表情的预设虚拟头像；基于预设虚拟头像，确定目标虚拟头像。
在一些实施例中，第一头像的表情参数还包括头部角度；基于预设虚拟头像，确定目标虚拟头像，包括：将第一头像的表情参数与所选取的预设表情参数的差值，以及预设虚拟头像，输入预先训练的第四生成对抗网络，得到从第四生成对抗网络输出的、与第一头像的属性相关联且具有第一头像的表情及头部角度的目标虚拟头像，其中，第四生成对抗网络的参数的数量，小于第一生成对抗网络的参数的数量且小于第二生成对抗网络的参数的数量。
在一些实施例中，获取第一头像，包括：获取一个待处理头像；对待处理头像进行校正，得到待处理头像的正面头像，将正面头像作为第一头像。
在一些实施例中，方法还包括：确定第一头像对应的表情类别；对目标虚拟头像，添加表情类别对应的特效。
第二方面，本申请实施例提供了一种虚拟头像生成装置，包括：获取单元，被配置成获取第一头像，并确定第一头像的表情参数，其中，第一头像的表情参数包括五官中的至少一个的表情参数；确定单元，被配置成基于五官中的至少一个的表情参数，确定与第一头像的属性相关联且具有第一头像的表情的目标虚拟头像。
在一些实施例中，装置还包括：生成单元，被配置成生成与第一头像的属性相关联的无表情的基准虚拟头像；以及确定单元，进一步被配置成按照如下方式执行基于五官中的至少一个的表情参数，确定与第一头像的属性相关联且具有第一头像的表情的目标虚拟头像：将基准虚拟头像和五官中的至少一个的表情参数，输入预先训练的深度神经网络，得到与第一头像的属性相关联且具有第一头像的表情的第一虚拟头像；基于第一虚拟头像，生成目标虚拟头像。
在一些实施例中，确定单元，进一步被配置成按照如下方式执行将基准虚拟头像和五官中的至少一个的表情参数，输入预先训练的深度神经网络，得到与第一头像的属性相关联且具有第一头像的表情的第一虚拟头像：将基准虚拟头像和五官中的至少一个的表情参数，输入预先训练的第一生成对抗网络，得到从第一生成对抗网络输出的、与第一头像的属性相关联且具有第一头像的表情的第一虚拟头像。
在一些实施例中，第一头像的表情参数还包括头部角度；确定单元，进一步被配置成按照如下方式执行基于第一虚拟头像，生成目标虚拟头像：将第一虚拟头像和头部角度输入预先训练的第二生成对抗网络，得到从第二生成对抗网络输出的、与第一头像的属性相关联且具有第一头像的表情及头部角度的目标虚拟头像。
在一些实施例中，五官中的至少一个的表情参数包括眼部参数和嘴部参数；获取单元，进一步被配置成按照如下方式执行确定第一头像的表情参数：检测第一头像的表情关联关键点，得到检测结果，其中，表情关联关键点包括眼部关键点和嘴部关键点；基于检测结果，确定第一头像的眼部参数、嘴部参数和头部角度。
在一些实施例中，生成单元，进一步被配置成按照如下方式执行生成与第一头像的属性相关联的无表情的基准虚拟头像：将第一头像输入预先训练的第三生成对抗网络，得到从第三生成对抗网络输出的、与第一头像的属性相关联的无表情的基准虚拟头像；或检测第一头像的属性；基于预设的三维头像模型，确定与检测到的属性相关联的无表情的虚拟头像，并将该虚拟头像作为与第一头像的属性相关联的无表情的基准虚拟头像。
在一些实施例中，确定单元，进一步被配置成按照如下方式执行基于五官中的至少一个的表情参数，确定与第一头像的属性相关联且具有第一头像的表情的目标虚拟头像：在各个预设表情参数中，选取与第一头像的表情参数的差值最小的预设表情参数；获取与第一头像的属性相关联且具有所选取的预设表情参数所对应的表情的预设虚拟头像；基于预设虚拟头像，确定目标虚拟头像。
在一些实施例中，第一头像的表情参数还包括头部角度；确定单元，进一步被配置成按照如下方式执行基于预设虚拟头像，确定目标虚拟头像：将第一头像的表情参数与所选取的预设表情参数的差值，以及预设虚拟头像，输入预先训练的第四生成对抗网络，得到从第四生成对抗网络输出的、与第一头像的属性相关联且具有第一头像的表情及头部角度的目标虚拟头像，其中，第四生成对抗网络的参数的数量，小于第一生成对抗网络的参数的数量且小于第二生成对抗网络的参数的数量。
在一些实施例中，装置还包括：类别确定单元，被配置成确定第一头像对应的表情类别；添加单元，被配置成对目标虚拟头像，添加表情类别对应的特效。
在一些实施例中，获取第一头像，包括：获取一个待处理头像；对待处理头像进行校正，得到待处理头像的正面头像，将正面头像作为第一头像。
第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如虚拟头像生成方法中任一实施例的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如虚拟头像生成方法中任一实施例的方法。
本申请实施例提供的虚拟头像生成方案，首先，获取第一头像，并确定第一头像的表情参数，其中，第一头像的表情参数包括五官中的至少一个的表情参数。之后，基于五官中的至少一个的表情参数，确定与第一头像的属性相关联且具有第一头像的表情的目标虚拟头像。本申请实施例能够利用第一头像生成表情参数，从而基于表情参数，高效且较为准确地生成与第一头像的属性、表情均对应的目标虚拟头像。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请一些实施例可以应用于其中的示例性系统架构图；
图2是根据本申请的虚拟头像生成方法的一个实施例的流程图；
图3是根据本申请的虚拟头像生成方法的一个应用场景的示意图；
图4是根据本申请的虚拟头像生成方法的又一个实施例的流程图；
图5是根据本申请的虚拟头像生成装置的一个实施例的结构示意图；
图6是适于用来实现本申请一些实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的虚拟头像生成方法或虚拟头像生成装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如虚拟头像生成应用、视频类应用、直播应用、即时通信工具、邮箱客户端、社交平台软件等。
这里的终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103提供支持的后台服务器。后台服务器可以对第一头像等数据进行分析等处理，并将处理结果(例如第一虚拟头像)反馈给终端设备。
需要说明的是，本申请实施例所提供的虚拟头像生成方法可以由服务器105或者终端设备101、102、103执行，相应地，虚拟头像生成装置可以设置于服务器105或者终端设备101、102、103中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的虚拟头像生成方法的一个实施例的流程200。该虚拟头像生成方法，包括以下步骤：
步骤201，获取第一头像，并确定第一头像的表情参数，其中，第一头像的表情参数包括五官中的至少一个的表情参数。
在本实施例中，在本实施例中，虚拟头像生成方法的执行主体(例如图1所示的服务器或终端设备)可以获取第一头像。这里的头像不仅可以包括脸部，还可以包括脖子、肩部等。并且，上述执行主体可以确定上述第一头像的表情参数。表情参数为第一头像的反映表情的参数。具体地，表情参数可以包括五官中的至少一个的表情参数，比如，眉毛(两个眉毛)参数、眼部(两只眼睛)参数和/或嘴部参数。具体地，表情参数中的每个参数可以在其对应的预设数值范围内，比如0至1的范围内。眉毛参数可以表示眉毛位置的偏移。比如，眉毛在原有位置时眉毛参数为0.5，一个眉毛挑高的头像中眉毛参数为0.75，一个眉毛放低的头像中眉毛参数为0.3。眼部参数可以指示眼睛的张闭程度。比如，一个眼睛大睁的头像中眼部参数为0.8，一个眯眼的头像中眼部参数为0.15。嘴部参数可以表示图像中的嘴型，具体可以是一个分类结果，比如类型有嘟嘴、大张嘴、闭嘴、抿嘴、左撇嘴、右撇嘴等等。此外，嘴部参数还可以是一个表示张嘴程度的数值，比如一个张大嘴的头像中的嘴部参数为0.8，一个闭嘴的头像中的嘴部参数为0.2。
在实践中，上述执行主体可以利用预置模型，或者预置的对应关系表，确定出第一头像所对应的表情参数。这里的预置模型和预置的对应关系表可以用于表征头像与该头像的表情参数的对应关系。
在本实施例的一些可选的实现方式中，步骤201中的获取第一头像，可以包括：获取一个待处理头像；对待处理头像进行校正，得到待处理头像的正面头像，将正面头像作为第一头像。
在这些可选的实现方式中，上述执行主体可以从本地或者其他电子设备获取单个的待处理头像。上述执行主体可以对待处理头像进行对齐和校正，从而将待处理头像转换为正面头像即正脸头像。上述执行主体可以将该正面头像作为第一头像，从而生成正面的第一虚拟头像。
这些实现方式可以无需大量头像，仅利用单张的头像，就能够实现生成正面的虚拟头像。
步骤202，基于五官中的至少一个的表情参数，确定与第一头像的属性相关联且具有第一头像的表情的目标虚拟头像。
在本实施例中，上述执行主体可以基于五官中的至少一个的表情参数，确定目标虚拟头像。目标虚拟头像可以是二维图像，在一些情况下，目标虚拟头像也可以是三维图像。具体地，该目标虚拟头像不仅与第一头像的属性相关联，还具有第一头像的表情。
具体地，属性指反映第一头像的特点的、不会因为表情的改变而改变的性质。比如，属性可以包括以下的至少一项：脸型、脸的胖瘦、发型、五官中至少一个的大小和/或形状、头像中各个局部的颜色。上述的虚拟头像与第一头像的属性相关联可以指生成的虚拟头像的属性(或部分属性)与第一头像的属性(或部分属性)完全相同或相似(相似度大于预设阈值)，也可以指虚拟头像的属性(或部分属性)与第一头像的属性(或部分属性)不相似但形状和/或大小具有对应关系。比如，第一头像的鼻子宽两厘米，相关联的虚拟头像的鼻宽1厘米，第一头像的鼻子宽1.5厘米，相关联的虚拟头像的鼻宽0.75厘米。
在实践中，上述执行主体可以采用各种方式基于五官中的至少一个的表情参数，确定目标虚拟头像。比如，上述执行主体可以利用预先设置的一个模型，向该模型输入第一头像，以及五官中的至少一个的表情参数，从而得到该模型输出的目标虚拟头像。该模型可以用于表征第一头像和表情参数两者，与目标虚拟头像之间的对应关系。
本申请的上述实施例提供的方法能够利用第一头像生成表情参数，从而基于表情参数，高效且较为准确地生成与第一头像的属性、表情均对应的目标虚拟头像。
在本实施例的一些可选的实现方式中，上述方法还可以包括：确定第一头像对应表情类别；对目标虚拟头像，添加表情类别对应的特效。
在这些可选的实现方式中，上述执行主体不仅可以确定第一头像的表情参数，还可以确定第一头像对应的表情类别。不同的表情类别可以对应不同的特效。比如，哭的表情类别可以对应流泪的特效，抛媚眼的表情类别可以对应眼角加桃心或五角星的特效。
在实践中，上述执行主体可以采用各种方式确定表情类别。比如，上述执行主体可以将头像输入指定的模型，从而得到从该指定的模型输出的表情类别。这里的指定的模型可以用于表征头像与表情类别之间的对应关系。此外，上述执行主体还可以检测第一头像中的关键点比如表情关联关键点，并利用关键点坐标与表情类别之间的对应关系，比如某函数、某模型或者某对应关系表，得到表情类别。
这些实现方式可以确定出表情类别，从而在目标虚拟头像上添加特效，可以让虚拟头像更加生动，增加了虚拟头像的趣味性。
在本实施例的一些可选的实现方式中，步骤202可以包括：在各个预设表情参数中，选取与第一头像的表情参数的差值最小的预设表情参数；获取与第一头像的属性相关联且具有所选取的预设表情参数所对应的表情的预设虚拟头像；基于预设虚拟头像，生成目标虚拟头像。
在这些可选的实现方式中，上述执行主体可以预先获取用户的头像，并确定具有预设表情参数的表情的目标虚拟头像作为预设虚拟头像。在实践中，预设表情参数的数量可以是多个，相应地，上述执行主体可以确定出多个预设虚拟头像。之后，如果上述执行主体获取到同一人的第一头像(也即，上述预设虚拟头像与第一头像为同一人的头像)，则可以确定该第一头像的表情参数，并选取出与之差值最小的预设表情参数。而后，上述执行主体可以获取该预设表情参数对应的预设虚拟头像，并基于所获取的预设虚拟头像生成目标虚拟头像。
在实践中，上述执行主体可以采用各种方式生成目标虚拟头像。比如，上述执行主体可以直接将获取的预设虚拟头像，确定为目标虚拟头像。
这些实现方式中，上述执行主体或者其他电子设备可以对用户预先生成预设虚拟头像，这样，后续若需要生成该用户的虚拟头像，可以直接利用预设虚拟头像，从而可以快速、准确地得到当前的用户头像的虚拟头像。
在这些实现方式的一些可选的应用场景中，第一头像的表情参数还包括头部角度；这些实现方式中的基于预设虚拟头像，确定目标虚拟头像，可以包括：将第一头像的表情参数与所选取的预设表情参数的差值，以及预设虚拟头像，输入预先训练的第四生成对抗网络，得到从第四生成对抗网络输出的、与第一头像的属性相关联且具有第一头像的表情及头部角度的目标虚拟头像，其中，第四生成对抗网络的参数的数量，小于第一生成对抗网络的参数的数量且小于第二生成对抗网络的参数的数量。
在这些可选的应用场景中，上述执行主体可以将第一头像的表情参数与所选取的预设表情参数的差值，以及所获取的预设虚拟头像，输入第四生成对抗网络，从而得到该网络输出的具有上述第一头像的表情以及头部角度的目标虚拟头像。该第四生成对抗网络可以用于利用输入的表情参数的差值，调整虚拟头像的五官(五官中的至少一个)的姿态和头部角度，具体地，可以用于表征以下的输入和输出之间的对应关系：该输入为第一头像的表情参数与预设表情参数的差值，以及具有该预设表情参数对应的表情的目标虚拟头像，该输出为与第一头像的属性相关联且具有第一头像的表情及头部角度的目标虚拟头像。在实践中，这里的第四生成对抗网络可以是条件生成对抗网络。
这些实现方式中上述执行主体或者其他电子设备可以对用户预先生成预设虚拟头像，这样，后续若需要生成该用户的虚拟头像，可以利用参数少、运算速度快的第四生成对抗网络，在预设虚拟头像的基础上进行修改，从而快速、准确地得到当前的用户头像的虚拟头像。
继续参见图3，图3是根据本实施例的虚拟头像生成方法的应用场景的一个示意图。在图3的应用场景中，执行主体301可以获取张三的头像302，并确定上述头像302的表情参数303，其中，表情参数303包括五官中的至少一个的表情参数304；基于五官中的至少一个的表情参数304，确定与上述头像302的属性相关联且具有上述头像302的表情的目标虚拟头像305。
进一步参考图4，其示出了虚拟头像生成方法的又一个实施例的流程400。该虚拟头像生成方法的流程400，包括以下步骤：
步骤401，获取第一头像，并确定第一头像的表情参数，其中，第一头像的表情参数包括五官中的至少一个的表情参数。
在本实施例中，虚拟头像生成方法的执行主体(例如图1所示的服务器或终端设备)可以获取第一头像。这里的头像不仅可以包括脸部，还可以包括脖子、肩部等。并且，上述执行主体可以确定上述第一头像的表情参数。表情参数为第一头像的反映表情的参数。
步骤402，生成与第一头像的属性相关联的无表情的基准虚拟头像。
在本实施例中，上述执行主体还可以生成与该第一头像的属性相关联的无表情的虚拟头像，作为基准虚拟头像。生成了基准虚拟头像也即得到了与第一头像相似的头像。这里的基准虚拟头像可以是虚拟的二维头像也可以是虚拟的三维头像。第一头像的角度可以与正面头像的角度相差在预设角度范围内。
在实践中，上述执行主体可以采用各种方式生成上述基准虚拟头像。比如，上述执行主体可以获取预先训练的卷积神经网络，该卷积神经网络可以用于表征头像和与该头像的属性相关联的无表情的虚拟头像之间的对应关系。之后，上述执行主体可以将第一头像输入上述卷积神经网络，并得到从该卷积神经网络输出的虚拟头像。这样上述执行主体可以将输出的该虚拟头像作为基准虚拟头像。
在本实施例的一些可选的实现方式中，步骤402，可以包括：将第一头像输入预先训练的第三生成对抗网络，得到从第三生成对抗网络输出的、与第一头像的属性相关联的无表情的基准虚拟头像；或检测第一头像的属性；基于预设的三维头像模型，确定与检测到的属性相关联的无表情的虚拟头像，并将该虚拟头像作为与第一头像的属性相关联的无表情的基准虚拟头像。
在这些可选的实现方式中，上述执行主体可以将第一头像输入预先训练的第三生成对抗网络，得到从该第三生成对抗网络输出的虚拟头像，作为基准虚拟头像。具体地，该第三生成对抗网络可以是条件生成对抗网络(conditional Generative AdversarialNets)。具体地，该第三生成对抗网络可以用于表征头像和与该头像的属性相关联的无表情的虚拟头像之间的对应关系。在实践中，上述执行主体或者其它电子设备，可以获取多个真人头像作为输入，并将这些真人头像对应的参考虚拟头像作为目标输出，训练待训练的第三生成对抗网络，从而得到上述第三生成对抗网络。
在实践中，上述执行主体还可以通过捏脸的方式，确定出基准虚拟头像，具体步骤可以如下：
首先，上述执行主体可以通过预设模型，或者通过检测关键点并确定关键点之间的位置关系，来确定第一头像的脸型、发型和各个局部的颜色等。具体地，上述执行主体可以预先获取预设的各种脸型、各种发型以及各种颜色，之后确定第一头像属于哪一种预设的脸型、哪一种预设的发型，以及各个局部是哪种预设的颜色。此外，上述执行主体可以获取针对每种预设的脸型预先设置的五官(比如眼睛、鼻子和/或嘴巴)的形状。之后，上述执行主体可以通过指定模型，或者通过检测关键点并确定关键点之间的位置关系，在脸的胖瘦的数值范围内，确定一个数值，并在眼睛的大小的数值范围、鼻子的大小的数值范围和嘴巴的大小的数值范围内，分别确定出眼睛的大小数值，鼻子的大小数值和嘴巴的大小数值。上述的数值范围可以是任意设定的，比如0至1。举例来说，一个较胖的头像中，脸的胖瘦的数值可以是0.7，一个较瘦的头像中，脸的胖瘦的数值可以是0.45。
这样，上述执行主体就得到了第一头像的属性也即第一头像属于哪一种预设的脸型、哪一种预设的发型、各个局部是哪种预设的颜色，以及脸的胖瘦的数值、五官中至少一个的大小数值。上述执行主体可以将得到的属性添加到预设的三维头像模型中，以得到与第一头像的属性相关联的虚拟头像并作为基准虚拟头像，从而实现捏脸。
这些实现方式可以利用生成对抗网络高效、准确地得到虚拟头像，也可以利用捏脸的方式，得到准确的基准虚拟头像。
步骤403，将基准虚拟头像和五官中的至少一个的表情参数，输入预先训练的深度神经网络，得到与第一头像的属性相关联且具有第一头像的表情的第一虚拟头像。
在本实施例中，上述执行主体可以将所生成的基准虚拟头像和上述表情参数中的一个或多个，输入预先训练的深度神经网络，从而得到从该模型输出的第一虚拟头像。在实践中，第一虚拟头像可以是二维图像或者三维图像。具体地，该第一虚拟头像不仅与第一头像的属性相关联，还具有第一头像的表情。在实践中，深度神经网络可以是各种各样的，比如卷积神经网络。这里的深度神经网络可以用于对基准虚拟头像添加表情，具体地，可以用于表征基准虚拟头像、表情参数两者与具有该表情参数对应的表情的该基准虚拟头像之间的对应关系。
在本实施例的一些可选的实现方式中，步骤403可以包括：将基准虚拟头像和五官中的至少一个的表情参数，输入预先训练的第一生成对抗网络，得到从第一生成对抗网络输出的、与第一头像的属性相关联且具有第一头像的表情的第一虚拟头像。
在这些可选的实现方式中，深度神经网络可以是生成对抗网络，比如条件生成对抗网络。上述执行主体可以利用该生成对抗网络也即第一生成对抗网络，在输入的基准虚拟头像中添加输入的表情参数所对应的表情。
这些实现方式可以利用生成对抗网络，生成更加准确的带有第一头像的表情的第一虚拟头像。
步骤404，基于第一虚拟头像，生成目标虚拟头像。
在本实施例中，上述执行主体可以采用各种方式基于第一虚拟头像，生成目标虚拟头像。比如，上述执行主体可以直接将第一虚拟头像，作为目标虚拟头像。
本申请的上述实施例提供的方法能够利用第一头像生成无表情的基准虚拟头像和表情参数，从而基于所生成的这两者和深度神经网络，进一步提高生成与第一头像的属性、表情均对应的第一虚拟头像的效率和准确度。
在本实施例的一些可选的实现方式中，第一头像的表情参数还包括头部角度；步骤404可以包括：将第一虚拟头像和头部角度输入预先训练的第二生成对抗网络，得到从第二生成对抗网络输出的、与第一头像的属性相关联且具有第一头像的表情及头部角度的目标虚拟头像。
在这些可选的实现方式中，上述执行主体可以将第一虚拟头像和第一头像中的头部角度，输入第二生成对抗网络，得到从该网络输出的目标虚拟头像。该目标虚拟头像不仅与第一头像的属性相关联，还具有第一头像的表情及头部角度。具体地，第二生成对抗网络也可以是条件生成对抗网络，可以对虚拟头像添加头部角度，具体地可以用于表征虚拟头像、头部角度两者与具有该头部角度的该虚拟头像之间的对应关系。
在实践中，表情参数不仅可以包括五官中至少一个的表情参数，还可以包括头部角度。具体地，头部角度可以指头部相对于拍摄第一头像的摄像头的角度，也可以是当前头部偏离其正面角度的偏离角度，具体可以采用x、y、z三个坐标轴的转角来表示。
这些实现方式可以对虚拟头像添加头部角度，从而让虚拟头像不仅与人物的属性相对应以及具有人物的表情，还可以具有人物的头部姿态，从而可以呈现出更加生动逼真的虚拟形象。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种虚拟头像生成装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，除下面所记载的特征外，该装置实施例还可以包括与图2所示的方法实施例相同或相应的特征或效果。该装置具体可以应用于各种电子设备中。虚拟头像生成
如图5所示，本实施例的虚拟头像生成装置500包括：获取单元501和确定单元502。其中，获取单元501，被配置成获取第一头像，并确定第一头像的表情参数，其中，第一头像的表情参数包括五官中的至少一个的表情参数；确定单元502，被配置成基于五官中的至少一个的表情参数，确定与第一头像的属性相关联且具有第一头像的表情的目标虚拟头像。
在本实施例中，虚拟头像生成装置500的获取单元501和确定单元502的具体处理及其所带来的技术效果可分别参考图2对应实施例中步骤201和步骤202的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，装置还包括：生成单元，被配置成生成与第一头像的属性相关联的无表情的基准虚拟头像；以及确定单元，进一步被配置成按照如下方式执行基于五官中的至少一个的表情参数，确定与第一头像的属性相关联且具有第一头像的表情的目标虚拟头像：将基准虚拟头像和五官中的至少一个的表情参数，输入预先训练的深度神经网络，得到与第一头像的属性相关联且具有第一头像的表情的第一虚拟头像；基于第一虚拟头像，生成目标虚拟头像。
在本实施例的一些可选的实现方式中，确定单元，进一步被配置成按照如下方式执行将基准虚拟头像和五官中的至少一个的表情参数，输入预先训练的深度神经网络，得到与第一头像的属性相关联且具有第一头像的表情的第一虚拟头像：将基准虚拟头像和五官中的至少一个的表情参数，输入预先训练的第一生成对抗网络，得到从第一生成对抗网络输出的、与第一头像的属性相关联且具有第一头像的表情的第一虚拟头像。
在本实施例的一些可选的实现方式中，第一头像的表情参数还包括头部角度；确定单元，进一步被配置成按照如下方式执行基于第一虚拟头像，生成目标虚拟头像：将第一虚拟头像和头部角度输入预先训练的第二生成对抗网络，得到从第二生成对抗网络输出的、与第一头像的属性相关联且具有第一头像的表情及头部角度的目标虚拟头像。
在本实施例的一些可选的实现方式中，五官中的至少一个的表情参数包括眼部参数和嘴部参数；获取单元，进一步被配置成按照如下方式执行确定第一头像的表情参数：检测第一头像的表情关联关键点，得到检测结果，其中，表情关联关键点包括眼部关键点和嘴部关键点；基于检测结果，确定第一头像的眼部参数、嘴部参数和头部角度。
在本实施例的一些可选的实现方式中，生成单元，进一步被配置成按照如下方式执行生成与第一头像的属性相关联的无表情的基准虚拟头像：将第一头像输入预先训练的第三生成对抗网络，得到从第三生成对抗网络输出的、与第一头像的属性相关联的无表情的基准虚拟头像；或检测第一头像的属性；基于预设的三维头像模型，确定与检测到的属性相关联的无表情的虚拟头像，并将该虚拟头像作为与第一头像的属性相关联的无表情的基准虚拟头像。
在本实施例的一些可选的实现方式中，确定单元，进一步被配置成按照如下方式执行基于五官中的至少一个的表情参数，确定与第一头像的属性相关联且具有第一头像的表情的目标虚拟头像：在各个预设表情参数中，选取与第一头像的表情参数的差值最小的预设表情参数；获取与第一头像的属性相关联且具有所选取的预设表情参数所对应的表情的预设虚拟头像；基于预设虚拟头像，确定目标虚拟头像。
在本实施例的一些可选的实现方式中，第一头像的表情参数还包括头部角度；确定单元，进一步被配置成按照如下方式执行基于预设虚拟头像，确定目标虚拟头像：将第一头像的表情参数与所选取的预设表情参数的差值，以及预设虚拟头像，输入预先训练的第四生成对抗网络，得到从第四生成对抗网络输出的、与第一头像的属性相关联且具有第一头像的表情及头部角度的目标虚拟头像，其中，第四生成对抗网络的参数的数量，小于第一生成对抗网络的参数的数量且小于第二生成对抗网络的参数的数量。
在本实施例的一些可选的实现方式中，装置还包括：类别确定单元，被配置成确定第一头像对应的表情类别；添加单元，被配置成对目标虚拟头像，添加表情类别对应的特效。
在本实施例的一些可选的实现方式中，获取第一头像，包括：获取一个待处理头像；对待处理头像进行校正，得到待处理头像的正面头像，将正面头像作为第一头像。
如图6所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开的实施例的方法中限定的上述功能。需要说明的是，本公开的实施例的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元和确定单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取第一头像，并确定第一头像的表情参数的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取第一头像，并确定第一头像的表情参数，其中，第一头像的表情参数包括五官中的至少一个的表情参数；基于五官中的至少一个的表情参数，确定与第一头像的属性相关联且具有第一头像的表情的目标虚拟头像
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (20)

1.一种虚拟头像生成方法，所述方法包括：
获取第一头像，并确定所述第一头像的表情参数，其中，所述第一头像的表情参数包括五官中的至少一个的表情参数；
基于所述五官中的至少一个的表情参数，确定与所述第一头像的属性相关联且具有所述第一头像的表情的目标虚拟头像；
所述基于所述五官中的至少一个的表情参数，确定与所述第一头像的属性相关联且具有所述第一头像的表情的目标虚拟头像，包括：基于预设虚拟头像，确定所述目标虚拟头像；
所述第一头像的表情参数还包括头部角度；所述基于所述预设虚拟头像，确定所述目标虚拟头像，包括：
将所述第一头像的表情参数与所选取的预设表情参数的差值，以及所述预设虚拟头像，输入预先训练的第四生成对抗网络，得到从所述第四生成对抗网络输出的、与所述第一头像的属性相关联且具有所述第一头像的表情及头部角度的目标虚拟头像，其中，所述第四生成对抗网络的参数的数量，小于第一生成对抗网络的参数的数量且小于第二生成对抗网络的参数的数量。
2.根据权利要求1所述的方法，其中，所述方法还包括：生成与所述第一头像的属性相关联的无表情的基准虚拟头像；以及
所述基于所述五官中的至少一个的表情参数，确定与所述第一头像的属性相关联且具有所述第一头像的表情的目标虚拟头像，包括：将所述基准虚拟头像和所述五官中的至少一个的表情参数，输入预先训练的深度神经网络，得到与所述第一头像的属性相关联且具有所述第一头像的表情的第一虚拟头像；基于所述第一虚拟头像，生成所述目标虚拟头像。
3.根据权利要求2所述的方法，其中，所述将所述基准虚拟头像和所述五官中的至少一个的表情参数，输入预先训练的深度神经网络，得到与所述第一头像的属性相关联且具有所述第一头像的表情的第一虚拟头像，包括：
将所述基准虚拟头像和所述五官中的至少一个的表情参数，输入预先训练的第一生成对抗网络，得到从所述第一生成对抗网络输出的、与所述第一头像的属性相关联且具有所述第一头像的表情的第一虚拟头像。
4.根据权利要求2所述的方法，其中，所述第一头像的表情参数还包括头部角度；所述基于所述第一虚拟头像，生成所述目标虚拟头像，包括：
将所述第一虚拟头像和所述头部角度输入预先训练的第二生成对抗网络，得到从所述第二生成对抗网络输出的、与所述第一头像的属性相关联且具有第一头像的表情及头部角度的目标虚拟头像。
5.根据权利要求4所述的方法，其中，所述五官中的至少一个的表情参数包括眼部参数和嘴部参数；所述确定所述第一头像的表情参数，包括：
检测所述第一头像的表情关联关键点，得到检测结果，其中，所述表情关联关键点包括眼部关键点和嘴部关键点；
基于所述检测结果，确定所述第一头像的眼部参数、嘴部参数和头部角度。
6.根据权利要求2所述的方法，其中，所述生成与所述第一头像的属性相关联的无表情的基准虚拟头像，包括：
将所述第一头像输入预先训练的第三生成对抗网络，得到从所述第三生成对抗网络输出的、与所述第一头像的属性相关联的无表情的基准虚拟头像；或
检测所述第一头像的属性；基于预设的三维头像模型，确定与检测到的属性相关联的无表情的虚拟头像，并将该虚拟头像作为与所述第一头像的属性相关联的无表情的基准虚拟头像。
7.根据权利要求1所述的方法，其中，所述基于所述五官中的至少一个的表情参数，确定与所述第一头像的属性相关联且具有所述第一头像的表情的目标虚拟头像，还包括：
在各个预设表情参数中，选取与所述第一头像的表情参数的差值最小的预设表情参数；
获取与所述第一头像的属性相关联且具有所选取的预设表情参数所对应的表情的预设虚拟头像。
8.根据权利要求1所述的方法，其中，所述获取第一头像，包括：
获取一个待处理头像；
对所述待处理头像进行校正，得到所述待处理头像的正面头像，将所述正面头像作为所述第一头像。
9.根据权利要求1所述的方法，其中，所述方法还包括：
确定所述第一头像对应的表情类别；
对所述目标虚拟头像，添加所述表情类别对应的特效。
10.一种虚拟头像生成装置，所述装置包括：
获取单元，被配置成获取第一头像，并确定所述第一头像的表情参数，其中，所述第一头像的表情参数包括五官中的至少一个的表情参数；
确定单元，被配置成基于所述五官中的至少一个的表情参数，确定与所述第一头像的属性相关联且具有所述第一头像的表情的目标虚拟头像；
所述确定单元，进一步被配置成按照如下方式执行所述基于所述五官中的至少一个的表情参数，确定与所述第一头像的属性相关联且具有所述第一头像的表情的目标虚拟头像：基于预设虚拟头像，确定所述目标虚拟头像；
所述第一头像的表情参数还包括头部角度；所述确定单元，进一步被配置成按照如下方式执行所述基于所述预设虚拟头像，确定所述目标虚拟头像：
将所述第一头像的表情参数与所选取的预设表情参数的差值，以及所述预设虚拟头像，输入预先训练的第四生成对抗网络，得到从所述第四生成对抗网络输出的、与所述第一头像的属性相关联且具有所述第一头像的表情及头部角度的目标虚拟头像，其中，所述第四生成对抗网络的参数的数量，小于第一生成对抗网络的参数的数量且小于第二生成对抗网络的参数的数量。
11.根据权利要求10所述的装置，其中，所述装置还包括：生成单元，被配置成生成与所述第一头像的属性相关联的无表情的基准虚拟头像；以及
所述确定单元，进一步被配置成按照如下方式执行所述基于所述五官中的至少一个的表情参数，确定与所述第一头像的属性相关联且具有所述第一头像的表情的目标虚拟头像：将所述基准虚拟头像和所述五官中的至少一个的表情参数，输入预先训练的深度神经网络，得到与所述第一头像的属性相关联且具有所述第一头像的表情的第一虚拟头像；基于所述第一虚拟头像，生成所述目标虚拟头像。
12.根据权利要求11所述的装置，其中，所述确定单元，进一步被配置成按照如下方式执行所述将所述基准虚拟头像和所述五官中的至少一个的表情参数，输入预先训练的深度神经网络，得到与所述第一头像的属性相关联且具有所述第一头像的表情的第一虚拟头像：
将所述基准虚拟头像和所述五官中的至少一个的表情参数，输入预先训练的第一生成对抗网络，得到从所述第一生成对抗网络输出的、与所述第一头像的属性相关联且具有所述第一头像的表情的第一虚拟头像。
13.根据权利要求11所述的装置，其中，所述第一头像的表情参数还包括头部角度；所述确定单元，进一步被配置成按照如下方式执行所述基于所述第一虚拟头像，生成所述目标虚拟头像：
将所述第一虚拟头像和所述头部角度输入预先训练的第二生成对抗网络，得到从所述第二生成对抗网络输出的、与所述第一头像的属性相关联且具有第一头像的表情及头部角度的目标虚拟头像。
14.根据权利要求13所述的装置，其中，所述五官中的至少一个的表情参数包括眼部参数和嘴部参数；所述获取单元，进一步被配置成按照如下方式执行确定所述第一头像的表情参数：
检测所述第一头像的表情关联关键点，得到检测结果，其中，所述表情关联关键点包括眼部关键点和嘴部关键点；
基于所述检测结果，确定所述第一头像的眼部参数、嘴部参数和头部角度。
15.根据权利要求11所述的装置，其中，所述生成单元，进一步被配置成按照如下方式执行所述生成与所述第一头像的属性相关联的无表情的基准虚拟头像：
将所述第一头像输入预先训练的第三生成对抗网络，得到从所述第三生成对抗网络输出的、与所述第一头像的属性相关联的无表情的基准虚拟头像；或
检测所述第一头像的属性；基于预设的三维头像模型，确定与检测到的属性相关联的无表情的虚拟头像，并将该虚拟头像作为与所述第一头像的属性相关联的无表情的基准虚拟头像。
16.根据权利要求10所述的装置，其中，所述确定单元，进一步被配置成按照如下方式执行所述基于所述五官中的至少一个的表情参数，确定与所述第一头像的属性相关联且具有所述第一头像的表情的目标虚拟头像：
在各个预设表情参数中，选取与所述第一头像的表情参数的差值最小的预设表情参数；
获取与所述第一头像的属性相关联且具有所选取的预设表情参数所对应的表情的预设虚拟头像。
17.根据权利要求10所述的装置，其中，所述装置还包括：
类别确定单元，被配置成确定所述第一头像对应的表情类别；
添加单元，被配置成对所述目标虚拟头像，添加所述表情类别对应的特效。
18.根据权利要求10所述的装置，其中，所述获取第一头像，包括：
获取一个待处理头像；
对所述待处理头像进行校正，得到所述待处理头像的正面头像，将所述正面头像作为所述第一头像。
19.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。
20.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1-9中任一所述的方法。
CN202010156571.XA 2020-03-09 2020-03-09 虚拟头像生成方法和装置 Active CN111369428B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010156571.XA CN111369428B (zh) 2020-03-09 2020-03-09 虚拟头像生成方法和装置
EP21155927.3A EP3889915A3 (en) 2020-03-09 2021-02-09 Method and apparatus for generating virtual avatar, device, medium and computer program product
US17/182,604 US11455765B2 (en) 2020-03-09 2021-02-23 Method and apparatus for generating virtual avatar
KR1020210025904A KR102491140B1 (ko) 2020-03-09 2021-02-25 가상 아바타 생성 방법 및 장치
JP2021030671A JP7268071B2 (ja) 2020-03-09 2021-02-26 バーチャルアバターの生成方法及び生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010156571.XA CN111369428B (zh) 2020-03-09 2020-03-09 虚拟头像生成方法和装置

Publications (2)

Publication Number Publication Date
CN111369428A CN111369428A (zh) 2020-07-03
CN111369428B true CN111369428B (zh) 2023-07-21

Family

ID=71206626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010156571.XA Active CN111369428B (zh) 2020-03-09 2020-03-09 虚拟头像生成方法和装置

Country Status (5)

Country Link
US (1) US11455765B2 (zh)
EP (1) EP3889915A3 (zh)
JP (1) JP7268071B2 (zh)
KR (1) KR102491140B1 (zh)
CN (1) CN111369428B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112492383A (zh) * 2020-12-03 2021-03-12 珠海格力电器股份有限公司 视频帧的生成方法及装置、存储介质、电子设备
CN113643412B (zh) * 2021-07-14 2022-07-22 北京百度网讯科技有限公司 虚拟形象的生成方法、装置、电子设备及存储介质
US11854115B2 (en) * 2021-11-04 2023-12-26 Adobe Inc. Vectorized caricature avatar generator
CN114049417B (zh) * 2021-11-12 2023-11-24 抖音视界有限公司 虚拟角色图像的生成方法、装置、可读介质及电子设备
CN114219878B (zh) * 2021-12-14 2023-05-23 魔珐(上海)信息科技有限公司 虚拟角色的动画生成方法及装置、存储介质、终端
CN115936970A (zh) * 2022-06-27 2023-04-07 北京字跳网络技术有限公司 虚拟面部形象生成方法、装置、电子设备及存储介质
CN115604213A (zh) * 2022-09-30 2023-01-13 维沃移动通信有限公司（Cn） 交互方法、装置、电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335334A (zh) * 2019-07-04 2019-10-15 北京字节跳动网络技术有限公司 虚拟头像驱动显示方法、装置、电子设备及存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPR541801A0 (en) * 2001-06-01 2001-06-28 Canon Kabushiki Kaisha Face detection in colour images with complex background
US20120130717A1 (en) 2010-11-19 2012-05-24 Microsoft Corporation Real-time Animation for an Expressive Avatar
US9747495B2 (en) 2012-03-06 2017-08-29 Adobe Systems Incorporated Systems and methods for creating and distributing modifiable animated video messages
US9378576B2 (en) * 2013-06-07 2016-06-28 Faceshift Ag Online modeling for real-time facial animation
KR101643573B1 (ko) * 2014-11-21 2016-07-29 한국과학기술연구원 얼굴 표정 정규화를 통한 얼굴 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
CN104700076B (zh) * 2015-02-13 2017-09-12 电子科技大学 人脸图像虚拟样本生成方法
US10210648B2 (en) 2017-05-16 2019-02-19 Apple Inc. Emojicon puppeting
US10262243B2 (en) * 2017-05-24 2019-04-16 General Electric Company Neural network point cloud generation system
CN107577985B (zh) * 2017-07-18 2019-10-15 南京邮电大学 基于循环生成对抗网络的人脸头像卡通化的实现方法
KR102565755B1 (ko) * 2018-02-23 2023-08-11 삼성전자주식회사 얼굴의 특징점의 움직임에 따라 모션이 수행된 아바타를 표시하는 전자 장치와 이의 동작 방법
CN109376582B (zh) * 2018-09-04 2022-07-29 电子科技大学 一种基于生成对抗网络的交互式人脸卡通方法
KR102648993B1 (ko) * 2018-12-21 2024-03-20 삼성전자주식회사 사용자의 감정 상태에 기반하여 아바타를 제공하기 위한 전자 장치 및 그에 관한 방법
CN109978996B (zh) * 2019-03-28 2021-06-11 北京达佳互联信息技术有限公司 生成表情三维模型的方法、装置、终端及存储介质
CN110288680A (zh) * 2019-05-30 2019-09-27 盎锐（上海）信息科技有限公司 影像生成方法及移动终端

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335334A (zh) * 2019-07-04 2019-10-15 北京字节跳动网络技术有限公司 虚拟头像驱动显示方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP3889915A2 (en) 2021-10-06
KR20210113948A (ko) 2021-09-17
JP2021144706A (ja) 2021-09-24
US11455765B2 (en) 2022-09-27
CN111369428A (zh) 2020-07-03
KR102491140B1 (ko) 2023-01-26
JP7268071B2 (ja) 2023-05-02
US20210279934A1 (en) 2021-09-09
EP3889915A3 (en) 2021-12-22

Similar Documents

Publication Publication Date Title
CN111369428B (zh) 虚拟头像生成方法和装置
US11468636B2 (en) 3D hand shape and pose estimation
US10832039B2 (en) Facial expression detection method, device and system, facial expression driving method, device and system, and storage medium
US11798261B2 (en) Image face manipulation
WO2019173108A1 (en) Electronic messaging utilizing animatable 3d models
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
US11335069B1 (en) Face animation synthesis
CN108363995A (zh) 用于生成数据的方法和装置
EP4315265A1 (en) True size eyewear experience in real-time
CN111523408B (zh) 动作捕捉方法和装置
US20230154084A1 (en) Messaging system with augmented reality makeup
US20230120037A1 (en) True size eyewear in real time
CN109587035B (zh) 会话界面的头像展示方法、装置、电子设备及存储介质
CN113223128B (zh) 用于生成图像的方法和装置
CN111311712B (zh) 视频帧处理方法和装置
CN111523412A (zh) 图像处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant