CN110111246A - 一种虚拟头像生成方法及装置、存储介质 - Google Patents

一种虚拟头像生成方法及装置、存储介质 Download PDF

Info

Publication number
CN110111246A
CN110111246A CN201910403642.9A CN201910403642A CN110111246A CN 110111246 A CN110111246 A CN 110111246A CN 201910403642 A CN201910403642 A CN 201910403642A CN 110111246 A CN110111246 A CN 110111246A
Authority
CN
China
Prior art keywords
face
target
image
face character
avatars
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910403642.9A
Other languages
English (en)
Other versions
CN110111246B (zh
Inventor
刘庭皓
赵立晨
王权
钱晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201910403642.9A priority Critical patent/CN110111246B/zh
Publication of CN110111246A publication Critical patent/CN110111246A/zh
Priority to JP2020558437A priority patent/JP2021528719A/ja
Priority to KR1020207015327A priority patent/KR102443026B1/ko
Priority to SG11202008025QA priority patent/SG11202008025QA/en
Priority to PCT/CN2020/074597 priority patent/WO2020228384A1/zh
Priority to TW109115910A priority patent/TW202046249A/zh
Priority to US16/994,148 priority patent/US11403874B2/en
Application granted granted Critical
Publication of CN110111246B publication Critical patent/CN110111246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种虚拟头像生成方法及装置、存储介质，其中，所述方法包括：在预定义的多个人脸属性分析任务中，确定需要执行的目标任务；根据所述目标任务对采集的至少包括人脸的目标图像进行人脸属性分析，获得所述目标图像上目标人脸属性所包括的目标人脸属性参数；根据预定义的人脸属性参数和虚拟头像模版之间的对应关系，确定与所述目标人脸属性参数对应的目标虚拟头像模版；基于所述目标虚拟头像模版在所述目标图像上生成虚拟头像。本公开通过不同人脸属性分析任务，对至少包括人脸的图像进行更精确地人脸属性分析，生成虚拟头像，为用户提供丰富的初始化。

Description

一种虚拟头像生成方法及装置、存储介质
技术领域
本公开涉及图像处理领域，尤其涉及一种虚拟头像生成方法及装置、存储介质。
背景技术
人脸特征点定位是人脸相关计算机视觉问题中重要的一类。人脸特征点定位的核心是在一张包括人脸部位的图片上，计算出预先定义好的若干个特征点的位置，例如眼角、嘴角、鼻尖等。
但是目前的人脸特征点定位，可以定义人脸上的一些简单特征，例如眼睛轮廓、嘴巴轮廓等，对更加精细的特征信息不能进行准确定位。
发明内容
有鉴于此，本公开提供了一种虚拟头像生成方法及装置、存储介质。
根据本公开实施例的第一方面，提供一种虚拟头像生成方法，所述方法包括：
在预定义的多个人脸属性分析任务中，确定需要执行的目标任务；
根据所述目标任务对采集的至少包括人脸的目标图像进行人脸属性分析，获得所述目标图像上目标人脸属性所包括的目标人脸属性参数；
根据预定义的人脸属性参数和虚拟头像模版之间的对应关系，确定与所述目标人脸属性参数对应的目标虚拟头像模版；
基于所述目标虚拟头像模版在目标图像上生成虚拟头像虚拟头像。
在一些可选实施例中，所述根据所述目标任务对采集的至少包括人脸的目标图像进行人脸属性分析，获得所述目标图像上目标人脸属性所包括的目标人脸属性参数，包括：
确定与所述目标任务需要分析的目标人脸属性对应的目标神经网络；
将采集的所述目标图像输入所述目标神经网络，获得所述目标神经网络输出的所述目标人脸属性所包括的至少一个人脸属性参数的可能性概率的预估值；
将所述目标神经网络输出的所述预估值的最大值所对应的人脸属性参数，作为所述目标人脸属性参数。
在一些可选实施例中，所述目标人脸属性包括预定义的至少一个分类；
所述将所述目标神经网络输出的所述预估值的最大值所对应的人脸属性参数，作为所述目标人脸属性参数，包括：
将所述目标神经网络输出的所述至少一个分类中所述预估值的最大值所对应的所述人脸属性参数，作为所述至少一个分类分别对应的所述目标人脸属性参数。
在一些可选实施例中，所述在预定义的多个进行人脸属性分析的任务中，确定需要执行的目标任务之前，所述方法还包括：
对所述目标图像进行仿射变换，得到所述人脸进行转正后的图像；
从所述人脸进行转正后的图像中截取出目标区域的图像，得到目标区域图像；其中，所述目标区域至少包括人脸关键点所在的区域；
所述对采集的至少包括人脸的目标图像进行人脸属性分析，获得所述目标图像所包括的与所述目标任务匹配的目标人脸属性参数，包括：
对所述目标区域图像进行人脸属性分析，获得所述目标区域图像上所述目标人脸属性所包括的所述目标人脸属性参数。
在一些可选实施例中，所述目标区域还包括位于所述目标人脸属性所对应的人脸部位外侧的预设面积的区域。
在一些可选实施例中，所述目标神经网络包括对应不同的人脸属性的多个子网络；
采用以下方式建立所述目标神经网络：
将预先采集的至少包括人脸的至少一个图像进行仿射变换后，截取出目标区域的图像，得到至少一个样本图像；其中，所述目标区域至少包括人脸关键点所在的区域；
将所述至少一个样本图像作为输入值，将所述至少一个样本图像上已知的与第一人脸属性对应的至少一个人脸属性参数作为输出值，对第一子网络进行训练，得到与所述第一人脸属性对应的所述第一子网络；其中，所述第一人脸属性是预定义的多个人脸属性中的任一个。
在一些可选实施例中，所述第一子网络采用残差神经网络的网络结构，且包括至少一个残差单元。
在一些可选实施例中，如果所述第一子网络包括多个残差单元，则所述多个残差单元分别包括至少一个卷积层以及至少一个批量归一化层；
其中，所述多个残差单元中的第二残差单元所包括的卷积层的数目和批量归一化层的数目均大于所述多个残差单元中的第一残差单元所包括的所述卷积层的数目和所述批量归一化层的数目。
在一些可选实施例中，所述第一子网络还包括输出分割层，所述输出分割层用于按照所述第一人脸属性包括的预定义的至少一个分类，对从所述样本图像中提取出的特征信息进行分割，得到所述至少一个分类所包括的至少一个所述人脸属性参数的预估值。
根据本公开实施例的第二方面，提供一种虚拟头像生成装置，所述装置包括：
任务确定模块，被配置为在预定义的多个人脸属性分析任务中，确定需要执行的目标任务；
人脸属性分析模块，被配置为根据所述目标任务对采集的至少包括人脸的目标图像进行人脸属性分析，获得所述目标图像上目标人脸属性所包括的目标人脸属性参数；
虚拟头像模版确定模块，被配置为根据预定义的人脸属性参数和虚拟头像模版之间的对应关系，确定与所述目标人脸属性参数对应的目标虚拟头像模版；
头像生成模块，被配置为基于所述目标虚拟头像模版在所述目标图像上生成虚拟头像。
在一些可选实施例中，所述人脸属性分析模块包括：
网络确定子模块，被配置为确定与所述目标任务需要分析的目标人脸属性对应的目标神经网络；
预估值确定子模块，被配置为将采集的所述目标图像输入所述目标神经网络，获得所述目标神经网络输出的所述目标人脸属性所包括的至少一个人脸属性参数的可能性概率的预估值；
参数确定子模块，被配置为将所述目标神经网络输出的所述预估值的最大值所对应的人脸属性参数，作为所述目标人脸属性参数。
在一些可选实施例中，所述目标人脸属性包括预定义的至少一个分类；
所述参数确定子模块包括：
参数确定单元，被配置为将所述目标神经网络输出的所述至少一个分类中所述预估值的最大值所对应的所述人脸属性参数，作为所述至少一个分类分别对应的所述目标人脸属性参数。
在一些可选实施例中，所述装置还包括：
人脸转正处理模块，被配置为对所述目标图像进行仿射变换，得到所述人脸进行转正后的图像；
图像截取模块，被配置为从所述人脸进行转正后的图像中截取出目标区域的图像，得到目标区域图像；其中，所述目标区域至少包括人脸关键点所在的区域；
所述人脸属性分析模块包括：
人脸属性分析子模块，被配置为对所述目标区域图像进行人脸属性分析，获得所述目标区域图像上所述目标人脸属性所包括的所述目标人脸属性参数。
在一些可选实施例中，所述目标区域还包括位于所述目标人脸属性所对应的人脸部位外侧的预设面积的区域。
在一些可选实施例中，所述目标神经网络包括对应不同的人脸属性的多个子网络：
所述装置还包括：
样本图像确定模块，被配置为将预先采集的至少包括人脸的至少一个图像进行仿射变换后，截取出目标区域的图像，得到至少一个样本图像；其中，所述目标区域至少包括人脸关键点所在的区域；
训练模块，被配置为将所述至少一个样本图像作为输入值，将所述至少一个样本图像上已知的与第一人脸属性对应的至少一个人脸属性参数作为输出值，对第一子网络进行训练，得到与所述第一人脸属性对应的所述第一子网络；其中，所述第一人脸属性是预定义的多个人脸属性中的任一个。
在一些可选实施例中，所述第一子网络采用残差神经网络的网络结构，且包括至少一个残差单元。
在一些可选实施例中，如果所述第一子网络包括多个残差单元，则所述多个残差单元分别包括至少一个卷积层以及至少一个批量归一化层；
其中，所述多个残差单元中的第二残差单元所包括的卷积层的数目和批量归一化层的数目均大于所述多个残差单元中的第一残差单元所包括的所述卷积层的数目和所述批量归一化层的数目。
在一些可选实施例中，所述第一子网络还包括输出分割层，所述输出分割层用于按照所述第一人脸属性包括的预定义的至少一个分类，对从所述样本图像中提取出的特征信息进行分割，得到所述至少一个分类所包括的至少一个所述人脸属性参数的预估值。
根据本公开实施例的第三方面，提供一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述第一方面中任一所述的虚拟头像生成方法。
根据本公开实施例的第四方面，提供一种虚拟头像生成装置，所述装置包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现上述第一方面中任一项所述的虚拟头像生成方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开实施例中，可以根据不同的人脸属性分析任务，提取至少包括人脸的目标图像上的人脸属性参数，再结合预定义的人脸属性参数和虚拟头像模版之间的对应关系，为目标图像确定对应的目标虚拟头像模版，基于目标虚拟头像模版在目标图像上生成虚拟头像。通过不同人脸属性分析任务，对至少包括人脸的图像进行更精确地人脸属性分析，生成虚拟头像，为用户提供丰富的初始化。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本公开根据一示例性实施例示出的一种虚拟头像生成方法流程图；
图2是本公开根据一示例性实施例示出的一种虚拟头像生成示例图；
图3是本公开根据一示例性实施例示出的另一种虚拟头像生成示例图；
图4是本公开根据一示例性实施例示出的另一种虚拟头像生成方法流程图；
图5是本公开根据一示例性实施例示出的另一种虚拟头像生成方法流程图；
图6是本公开根据一示例性实施例示出的另一种虚拟头像生成方法流程图；
图7是本公开根据一示例性实施例示出的一种神经网络示例图；
图8是本公开根据一示例性实施例示出的一种虚拟头像生成装置框图；
图9是本公开根据一示例性实施例示出的另一种虚拟头像生成装置框图；
图10是本公开根据一示例性实施例示出的另一种虚拟头像生成装置框图；
图11是本公开根据一示例性实施例示出的另一种虚拟头像生成装置框图；
图12是本公开根据一示例性实施例示出的另一种虚拟头像生成装置框图；
图13是本公开根据一示例性实施例示出的一种用于虚拟头像生成装置的一结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开运行的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所运行的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中运行的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所运行的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本公开实施例提供了一种虚拟头像生成方法，可以由人脸驱动设备，例如avatar执行。
如图1所示，图1示出了根据本公开实施例的虚拟头像生成方法的一个例子。
在步骤101中，在预定义的多个人脸属性分析任务中，确定需要执行的目标任务。
在本公开实施例中，人脸属性可以包括但不限于发型、胡子、眼镜、眼皮等。
人脸驱动设备可以为用户提供预定义的多个人脸属性分析任务，由用户根据自身需要在这些任务中确定目标任务，其中，目标任务可以对上述至少一个人脸属性进行分析，例如目标任务可以是对发型进行分析，或者对胡子和眼皮进行分析等等。
在步骤102中，根据所述目标任务对采集的至少包括人脸的目标图像进行人脸属性分析，获得所述目标图像上目标人脸属性所包括的目标人脸属性参数。
人脸驱动设备可以对通过相机采集到的至少包括人脸的目标图像进行人脸属性分析，可以只对目标任务对应的目标人脸属性进行分析，从而得到目标图像上目标人脸属性所包括的目标人脸属性参数。
例如，目标人脸属性为眼皮，眼皮可以包括多个预定义的人脸属性参数，如包括单眼皮、开扇形双眼皮、平行型双眼皮、欧式型双眼皮。人脸驱动设备通过对目标图像进行眼皮的人脸属性分析，可以得到目标人脸属性参数，例如平行型双眼皮。
在步骤103中，根据预定义的人脸属性参数和虚拟头像模版之间的对应关系，确定与所述目标人脸属性参数对应的目标虚拟头像模版。
人脸驱动设备中可以存储预定义的人脸属性参数和虚拟头像模版之间的对应关系。例如每个虚拟头像模版对应至少一个人脸属性参数。可选地，虚拟头像模版可以采用卡通人物形象。
人脸驱动设备在确定目标人脸属性参数之后，可以在预存的虚拟头像模版中确定与目标人脸属性参数对应的目标虚拟头像模版。其中，目标虚拟头像模版的数目可以是一个或多个，本公开对此不作限定。
在步骤104中，基于所述目标虚拟头像模版在所述目标图像上生成虚拟头像。
在人脸驱动设备例如avatar中，可以直接将目标虚拟头像模版作为虚拟头像，在目标图像上生成虚拟头像。
如果目标虚拟头像模版的数目为多个，则可以由用户选择一个作为虚拟头像，人脸驱动设备在目标图像上生成该虚拟头像。
例如目标图像如图2所示，目标任务是对发型进行人脸属性分析，则生成的虚拟头像可以如图3所示。
上述实施例实施例中，可以根据不同的人脸属性分析任务，提取至少包括人脸的目标图像上的人脸属性参数，再结合预定义的人脸属性参数和虚拟头像模版之间的对应关系，为目标图像确定对应的目标虚拟头像模版，基于目标虚拟头像模版在目标图像上生成虚拟头像。通过不同人脸属性分析任务，对至少包括人脸的图像进行更精确地人脸属性分析，生成虚拟头像，为用户提供丰富的初始化。
在一些可选实施例中，例如图4所示，步骤102可以包括：
在步骤102-1中，确定与所述目标任务需要分析的目标人脸属性对应的目标神经网络。
本公开实施例中，可以为至少一个人脸属性分析任务建立对应的目标神经网络。在需要执行目标任务时，可以将目标神经网络作为相应的神经网络，以便后续进行人脸属性分析。
在步骤102-2中，将采集的所述目标图像输入所述目标神经网络，获得所述目标神经网络输出的所述目标人脸属性所包括的至少一个人脸属性参数的可能性概率的预估值。
人脸驱动设备可以将之前采集到的至少包括人脸的目标图像输入到目标神经网络中，由目标神经网络输出与目标人脸属性所包括的至少一个人脸属性参数的可能性概率的预估值。
例如，目标人脸属性为眼皮，则目标神经网络可以输出发型所包括的至少一个人脸属性参数的可能性概率的预估值分别为如表1所示。
表1
人脸属性参数 可能性概率的预估值
单眼皮 0.1
开扇形双眼皮 0.6
平行型双眼皮 0.2
欧式型双眼皮 0.1
在步骤102-3中，将所述目标神经网络输出的所述预估值的最大值所对应的人脸属性参数，作为所述目标人脸属性参数。
例如根据表1可以将预估值的最大值0.6所对应的人脸属性参数，即开扇形双眼皮作为目标人脸属性参数。
在一些可选实施例中，可以人为对上述人脸属性进行划分，得到每个人脸属性分别包括的至少一个分类，从而更精确的描述人脸属性。划分方式可以包括但不限于表2所示的方式。
表2
人脸属性 人脸属性的分类
发型 刘海、卷发、头发长度
胡子 位于人中、位于下巴中心、位于下巴两侧
眼镜 眼镜种类、镜框类型、镜片形状、镜框粗细
眼皮 单眼皮、开扇形双眼皮、平行型双眼皮、欧式型双眼皮
再进一步地，每个人脸属性的分类可以包括至少一个人脸属性参数，例如表3所示。
表3
本公开对人脸属性的划分包括但不限于上述方式。
本公开实施例中，根据表3的划分，目标任务所需要分析的目标人脸属性可以包括预定义的至少一个分类。例如如果目标人脸属性为发型，则发型这个人脸属性包括了三个分类，分别是刘海、卷发和头发长度。每个不同的分类还包括了至少一个人脸属性参数。其中，每个分类所包括的所有人脸属性参数的预估值的和值为1。例如，对于卷发这个分类，无头发、直发、大卷发、小卷发四个人脸属性参数对应的预估值可以分别为0.1、0.6、0.2和0.1，和值为1。
相应地，在上述实施例中，目标神经网络输出与目标人脸属性所包括的至少一个人脸属性参数的可能性概率的预估值之后，人脸驱动设备可以将所述目标神经网络输出的所述至少一个分类中所述预估值的最大值所对应的所述人脸属性参数，作为所述至少一个分类分别对应的所述目标人脸属性参数。例如，目标人脸属性为发型，其中，刘海这个分类中预估值的最大值所对应的人脸属性参数为无刘海，卷发这个分类中预估值的最大值所对应的所述人脸属性参数为直发，头发长度这个分类中预估值的最大值所对应的所述人脸属性参数为短发但不过肩。则最终人脸驱动设备可以将无刘海、直发、短发但不过肩三个人脸属性参数分别作为刘海、卷发和头发长度三个分类各自对应的目标人脸属性参数。
在一些可选实施例中，例如图5所示，在执行步骤101之前，上述虚拟头像生成方法还包括：
在步骤100-1中，对所述目标图像进行仿射变换，得到所述人脸进行转正后的图像。
本公开实施例中，目标图像是预先拍摄的包括人脸的图像，人脸驱动设备可以对目标图像进行仿射变换，从而将目标图像中偏转的人脸转正。
在步骤100-2中，从所述人脸进行转正后的图像中截取出目标区域的图像，得到目标区域图像。
本公开实施例中，人脸驱动设备可以采用人脸特征点定位方法，从所述人脸进行转正后的图像中截取出至少包括人脸关键点所在的区域的图像，即目标区域图像。其中，人脸关键点包括但不限于眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。
相应地，人脸驱动设备在执行上述步骤102时，可以对所述目标区域图像进行人脸属性分析，获得所述目标区域图像上所述目标人脸属性所包括的所述目标人脸属性参数。获得目标人脸属性参数的方法与上述实施例中的方法一致，在此不再赘述。
本公开实施例中，可以对目标图像进行人脸转正后，再截取出包括人脸关键点所在区域内的目标区域图像，后续针对目标区域图像进行人脸属性分析，使得人脸属性分析的结果更加准确。
在一些可选实施例中，针对上述步骤100-2，人脸驱动设备在从人脸进行转正后的图像中截取目标区域的图像时，目标区域除了可以包括人脸关键点所在的区域，还可以包括位于所述目标人脸属性所对应的人脸部位外侧预设面积的区域。
可选地，不同的人脸属性所对应的人脸部位外侧的预设面积可以不同。
例如目标人脸属性为胡子、眼镜或眼皮时，对应的人脸部位为嘴巴、眉毛、眼睛等，则预设面积可以小于相应的人脸部位所占面积的一半。例如在截取嘴巴时，除了截取嘴巴所在区域之外，还可以截取嘴巴外侧预设面积的区域，该预设面积小于嘴巴面积的一半。
但是如果目标人脸属性为发型，对应的人脸部位为脸部轮廓，为了避免提取发型时产生偏差，预设面积可以为整个脸部轮廓面积的一半。
上述实施例中，目标区域除了包括人脸关键点所在的区域，还可以包括位于目标人脸属性所对应的人脸部位外侧的预设面积的区域，提高了进行人脸属性分析的准确度。
在一些可选实施例中，目标神经网络可以包括对应了不同的人脸属性的多个子网络。例如，目标神经网络包括分别对应发型、胡子、眼镜、眼皮的4个子网络。
在本公开实施例中，如图6所示，确定目标神经网络的过程可以包括：
在步骤201中，将预先采集的至少包括人脸的至少一个图像进行仿射变换后，截取出目标区域的图像，得到至少一个样本图像。
本公开实施例中，可以对预先采集的至少包括人脸的至少一个图像进行仿射变换，将人脸转正，然后截取出目标区域的图像，得到至少一个样本图像。其中，所述目标区域至少包括人脸关键点所在的区域。
在步骤202中，将所述至少一个样本图像作为输入值，将所述至少一个样本图像上已知的与第一人脸属性对应的至少一个人脸属性参数作为输出值，对第一子网络进行训练，得到与所述第一人脸属性对应的所述第一子网络。
本公开实施例中，第一人脸属性可以是预定义的多个人脸属性中的任一个，例如可以时眼皮、发型、胡子、眼镜中的任一个。
样本图像上的人脸属性参数是已知的，例如，第一人脸属性为胡子，某个样本图像对应的人脸属性参数包括：人中无胡子、下巴中心无胡子、下巴两侧无胡子。
本公开实施例中，可以将至少一个样本图像作为神经网络的输入值，将至少一个样本图像上已知的与第一人脸属性对应的至少一个人脸属性参数作为输出值，调整第一子网络的网络参数，得到与第一人脸属性对应的第一子网络。
本公开实施例中，可以采用上述方式训练得到任一人脸属性对应的子网络。多个子网脸构成了目标神经网络。
在一些可选实施例中，本公开实施例中的目标神经网络所包括的子网脸可以采用resnet(残差网络)。残差网络的网络结构可以如图7所示。
该残差网络可包括一个单独的卷积层，该卷积层可用于提取基本信息，并降低输入图像(例如，至少包括人脸的目标图像)的图像(feature map)维度。例如，从3维降为2维。
如图7所示，该深度残差网络还可以包括两个ResNet Blob残差网络块结构(例如，ResNet Blob1残差网络块1和ResNet Blob2残差网络块2)。该ResNet Blob结构的特点为有一个残差单元，该残差单元可以在不改变任务整体输入输出的情况下，将任务的复杂度降低。
其中，ResNet Blob1可以包括卷积层以及批量归一化BN(Batch Normalization)层，ResNet Blob1可用于提取特征信息。
ResNet Blob2可以包括卷积层以及BN层，可用于提取特征信息。ResNet Blob2结构上可以比ResNet Blob1多一个卷积层以及BN层，因此，ResNet Blob2还可用于降低特征图像(feature map)维度。
通过这种方式，可以利用深度的残差网络，较准确地得到目标图像的人脸特征信息。应当理解，可以使用任意一卷积神经网络结构对目标图像的目标区域进行特征提取处理，得到目标区域的人脸图像的特征信息，本公开对此不作限制。
如图7所示，该深度残差网络还可以包括全连接层，例如，包括3个全连接层。
全连接层可将人脸图像的特征信息进行降维处理，并同时保留有用的人脸属性相关的信息。
该深度残差网络还可以包括输出分割层，该输出分割层可将最后一层全连接层的输出进行输出分割处理，得到所述至少一个分类所包括的至少一个所述人脸属性参数的预估值。
例如，最后一层全连接层的输出经过输出分割处理，得到第一人脸属性为眼镜时所包括的4个分类——眼镜种类、镜框类型、镜片形状、镜框粗细各自对应的至少一个人脸属性参数的所述预估值。在一些可选实施例中，同样可以对至少一个样本图像先进行处理，例如进行人脸的转正，然后从所述人脸进行转正后的图像中截取出所述目标区域的图像，得到样本图像所对应的目标区域图像。其中，目标区域至少包括目标图像上人脸关键点所在的区域。
这一过程与人脸属性分析过程中进行人脸的转正和截取出目标区域图像的过程一致，在此不再赘述。
在一些可选实施例中，在对样本图像进行截取时，目标区域同样除了包括所述目标图像上人脸关键点所在的区域之外，还可以包括位于不同的人脸属性各自所对应的人脸部位外侧预设面积的区域。
该过程中与人脸属性分析过程中确定与第一人脸属性对应人脸部位外侧的预设面积的方式相同，在此也不再赘述。
在一些可选实施例中，预先采集的至少包括人脸的至少一个图像经过人脸转正和截取之后，还可以进行平移、旋转、缩放和水平翻转中的至少一项，得到的图像也作为样本图像，进行后续的网络训练。
上述实施例中，扩充了样本图像的集合，可以让后续训练得到的目标神经网络适应更多的人脸属性分析的复杂场景。
与前述方法实施例相对应，本公开还提供了装置的实施例。
如图8所示，图8是本公开一些实施例提供的一种虚拟头像生成装置框图，装置包括：
任务确定模块310，被配置为在预定义的多个人脸属性分析任务中，确定需要执行的目标任务；
人脸属性分析模块320，被配置为根据所述目标任务对采集的至少包括人脸的目标图像进行人脸属性分析，获得所述目标图像上目标人脸属性所包括的目标人脸属性参数；
虚拟头像模版确定模块330，被配置为根据预定义的人脸属性参数和虚拟头像模版之间的对应关系，确定与所述目标人脸属性参数对应的目标虚拟头像模版；
头像生成模块340，被配置为基于所述目标虚拟头像模版在所述目标图像上生成虚拟头像。
在一些可选实施例中，例如图9所示，所述人脸属性分析模块320包括：
网络确定子模块321，被配置为确定与所述目标任务需要分析的目标人脸属性对应的目标神经网络；
预估值确定子模块322，被配置为将采集的所述目标图像输入所述目标神经网络，获得所述目标神经网络输出的所述目标人脸属性所包括的至少一个人脸属性参数的可能性概率的预估值；
参数确定子模块323，被配置为将所述目标神经网络输出的所述预估值的最大值所对应的人脸属性参数，作为所述目标人脸属性参数。
在一些可选实施例中，所述目标人脸属性包括预定义的至少一个分类；
例如图10所示，所述参数确定子模块323包括：
参数确定单元3231，被配置为将所述目标神经网络输出的所述至少一个分类中所述预估值的最大值所对应的所述人脸属性参数，作为所述至少一个分类分别对应的所述目标人脸属性参数。
在一些可选实施例中，例如图11所示，所述装置还包括：
人脸转正处理模块350，被配置为对所述目标图像进行仿射变换，得到所述人脸进行转正后的图像；
图像截取模块360，被配置为从所述人脸进行转正后的图像中截取出目标区域的图像，得到目标区域图像；其中，所述目标区域至少包括人脸关键点所在的区域；
所述人脸属性分析模块320包括：
人脸属性分析子模块324，被配置为对所述目标区域图像进行人脸属性分析，获得所述目标区域图像上所述目标人脸属性所包括的所述目标人脸属性参数。
在一些可选实施例中，所述目标区域还包括位于所述目标人脸属性所对应的人脸部位外侧的预设面积的区域。
在一些可选实施例中，所述目标神经网络包括对应不同的人脸属性的多个子网络：
例如图12所示，所述装置还包括：
样本图像确定模块370，被配置为将预先采集的至少包括人脸的至少一个图像进行仿射变换后，截取出目标区域的图像，得到至少一个样本图像；其中，所述目标区域至少包括人脸关键点所在的区域；
训练模块380，被配置为将所述至少一个样本图像作为输入值，将所述至少一个样本图像上已知的与第一人脸属性对应的至少一个人脸属性参数作为输出值，对第一子网络进行训练，得到与所述第一人脸属性对应的所述第一子网络；其中，所述第一人脸属性是预定义的多个人脸属性中的任一个。
在一些可选实施例中，所述第一子网络采用残差神经网络的网络结构，且包括至少一个残差单元。
在一些可选实施例中，如果所述第一子网络包括多个残差单元，则所述多个残差单元分别包括至少一个卷积层以及至少一个批量归一化层；
其中，所述多个残差单元中的第二残差单元所包括的卷积层的数目和批量归一化层的数目均大于所述多个残差单元中的第一残差单元所包括的所述卷积层的数目和所述批量归一化层的数目。
在一些可选实施例中，所述第一子网络还包括输出分割层，所述输出分割层用于按照所述第一人脸属性包括的预定义的至少一个分类，对从所述样本图像中提取出的特征信息进行分割，得到所述至少一个分类所包括的至少一个所述人脸属性参数的预估值。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一所述的虚拟头像生成方法。
本公开实施例还提供了一种虚拟头像生成装置，所述装置包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现上述任一所述的虚拟头像生成方法。
如图13所示，图13是一些实施例提供的一种虚拟头像生成装置1300的一结构示意图。例如，装置1300可以被提供为一虚拟头像生成装置，应用在人脸驱动设备上。参照图13，装置1300包括处理组件1322，其进一步包括一个或多个处理器，以及由存储器1332所代表的存储器资源，用于存储可由处理部件1322的执行的指令，例如应用程序。存储器1332中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1322被配置为执行指令，以执行上述任一的虚拟头像生成方法。
装置1300还可以包括一个电源组件1326被配置为执行装置1300的电源管理，一个有线或无线网络接口1350被配置为将装置1300连接到网络，和一个输入输出(I/O)接口1358。装置1300可以操作基于存储在存储器1332的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeB SDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或者惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (10)

1.一种虚拟头像生成方法，其特征在于，所述方法包括：
在预定义的多个人脸属性分析任务中，确定需要执行的目标任务；
根据所述目标任务对采集的至少包括人脸的目标图像进行人脸属性分析，获得所述目标图像上目标人脸属性所包括的目标人脸属性参数；
根据预定义的人脸属性参数和虚拟头像模版之间的对应关系，确定与所述目标人脸属性参数对应的目标虚拟头像模版；
基于所述目标虚拟头像模版在所述目标图像上生成虚拟头像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标任务对采集的至少包括人脸的目标图像进行人脸属性分析，获得所述目标图像上目标人脸属性所包括的目标人脸属性参数，包括：
确定与所述目标任务需要分析的目标人脸属性对应的目标神经网络；
将采集的所述目标图像输入所述目标神经网络，获得所述目标神经网络输出的所述目标人脸属性所包括的至少一个人脸属性参数的可能性概率的预估值；
将所述目标神经网络输出的所述预估值的最大值所对应的人脸属性参数，作为所述目标人脸属性参数。
3.根据权利要求2所述的方法，其特征在于，所述目标人脸属性包括预定义的至少一个分类；
所述将所述目标神经网络输出的所述预估值的最大值所对应的人脸属性参数，作为所述目标人脸属性参数，包括：
将所述目标神经网络输出的所述至少一个分类中所述预估值的最大值所对应的所述人脸属性参数，作为所述至少一个分类分别对应的所述目标人脸属性参数。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述在预定义的多个进行人脸属性分析的任务中，确定需要执行的目标任务之前，所述方法还包括：
对所述目标图像进行仿射变换，得到所述人脸进行转正后的图像；
从所述人脸进行转正后的图像中截取出目标区域的图像，得到目标区域图像；其中，所述目标区域至少包括人脸关键点所在的区域；
所述对采集的至少包括人脸的目标图像进行人脸属性分析，获得所述目标图像所包括的与所述目标任务匹配的目标人脸属性参数，包括：
对所述目标区域图像进行人脸属性分析，获得所述目标区域图像上所述目标人脸属性所包括的所述目标人脸属性参数。
5.一种虚拟头像生成装置，其特征在于，所述装置包括：
任务确定模块，被配置为在预定义的多个人脸属性分析任务中，确定需要执行的目标任务；
人脸属性分析模块，被配置为根据所述目标任务对采集的至少包括人脸的目标图像进行人脸属性分析，获得所述目标图像上目标人脸属性所包括的目标人脸属性参数；
虚拟头像模版确定模块，被配置为根据预定义的人脸属性参数和虚拟头像模版之间的对应关系，确定与所述目标人脸属性参数对应的目标虚拟头像模版；
头像生成模块，被配置为基于所述目标虚拟头像模版在所述目标图像上生成虚拟头像。
6.根据权利要求5所述的装置，其特征在于，所述人脸属性分析模块包括：
网络确定子模块，被配置为确定与所述目标任务需要分析的目标人脸属性对应的目标神经网络；
预估值确定子模块，被配置为将采集的所述目标图像输入所述目标神经网络，获得所述目标神经网络输出的所述目标人脸属性所包括的至少一个人脸属性参数的可能性概率的预估值；
参数确定子模块，被配置为将所述目标神经网络输出的所述预估值的最大值所对应的人脸属性参数，作为所述目标人脸属性参数。
7.根据权利要求6所述的装置，其特征在于，所述目标人脸属性包括预定义的至少一个分类；
所述参数确定子模块包括：
参数确定单元，被配置为将所述目标神经网络输出的所述至少一个分类中所述预估值的最大值所对应的所述人脸属性参数，作为所述至少一个分类分别对应的所述目标人脸属性参数。
8.根据权利要求5-7任一项所述的装置，其特征在于，所述装置还包括：
人脸转正处理模块，被配置为对所述目标图像进行仿射变换，得到所述人脸进行转正后的图像；
图像截取模块，被配置为从所述人脸进行转正后的图像中截取出目标区域的图像，得到目标区域图像；其中，所述目标区域至少包括人脸关键点所在的区域；
所述人脸属性分析模块包括：
人脸属性分析子模块，被配置为对所述目标区域图像进行人脸属性分析，获得所述目标区域图像上所述目标人脸属性所包括的所述目标人脸属性参数。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至4任一所述的虚拟头像生成方法。
10.一种虚拟头像生成装置，其特征在于，所述装置包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现权利要求1至4中任一项所述的虚拟头像生成方法。
CN201910403642.9A 2019-05-15 2019-05-15 一种虚拟头像生成方法及装置、存储介质 Active CN110111246B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201910403642.9A CN110111246B (zh) 2019-05-15 2019-05-15 一种虚拟头像生成方法及装置、存储介质
JP2020558437A JP2021528719A (ja) 2019-05-15 2020-02-10 仮想アバター生成方法および装置、ならびに記憶媒体
KR1020207015327A KR102443026B1 (ko) 2019-05-15 2020-02-10 가상 아바타 발생 방법 및 장치, 및 저장 매체
SG11202008025QA SG11202008025QA (en) 2019-05-15 2020-02-10 Virtual avatar generation method and apparatus, and storage medium
PCT/CN2020/074597 WO2020228384A1 (zh) 2019-05-15 2020-02-10 虚拟头像生成方法及装置、存储介质
TW109115910A TW202046249A (zh) 2019-05-15 2020-05-13 虛擬頭像生成方法及裝置、儲存介質
US16/994,148 US11403874B2 (en) 2019-05-15 2020-08-14 Virtual avatar generation method and apparatus for generating virtual avatar including user selected face property, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910403642.9A CN110111246B (zh) 2019-05-15 2019-05-15 一种虚拟头像生成方法及装置、存储介质

Publications (2)

Publication Number Publication Date
CN110111246A true CN110111246A (zh) 2019-08-09
CN110111246B CN110111246B (zh) 2022-02-25

Family

ID=67490224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910403642.9A Active CN110111246B (zh) 2019-05-15 2019-05-15 一种虚拟头像生成方法及装置、存储介质

Country Status (7)

Country Link
US (1) US11403874B2 (zh)
JP (1) JP2021528719A (zh)
KR (1) KR102443026B1 (zh)
CN (1) CN110111246B (zh)
SG (1) SG11202008025QA (zh)
TW (1) TW202046249A (zh)
WO (1) WO2020228384A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728256A (zh) * 2019-10-22 2020-01-24 上海商汤智能科技有限公司 基于车载数字人的交互方法及装置、存储介质
CN111627086A (zh) * 2020-06-03 2020-09-04 上海商汤智能科技有限公司 一种头像的展示方法、装置、计算机设备及存储介质
CN111857697A (zh) * 2020-05-29 2020-10-30 北京编程猫科技有限公司 一种基于认知ai的图形化编程实现方法及装置
WO2020228384A1 (zh) * 2019-05-15 2020-11-19 北京市商汤科技开发有限公司 虚拟头像生成方法及装置、存储介质
CN112529988A (zh) * 2020-12-10 2021-03-19 北京百度网讯科技有限公司 一种头像的生成方法、装置、电子设备、介质及产品
CN112734633A (zh) * 2021-01-07 2021-04-30 京东方科技集团股份有限公司 虚拟发型的替换方法、电子设备及存储介质
CN112907708A (zh) * 2021-02-05 2021-06-04 深圳瀚维智能医疗科技有限公司 人脸卡通化方法、设备及计算机存储介质
CN113808010A (zh) * 2021-09-24 2021-12-17 深圳万兴软件有限公司 无属性偏差的卡通人像生成方法、装置、设备及介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819921B (zh) * 2020-11-30 2023-09-26 北京百度网讯科技有限公司 用于改变人物的发型的方法、装置、设备和存储介质
KR102409988B1 (ko) * 2021-11-03 2022-06-16 주식회사 클레온 딥러닝 네트워크를 이용한 얼굴 변환 방법 및 장치
US20240013464A1 (en) * 2022-07-11 2024-01-11 Samsung Electronics Co., Ltd. Multimodal disentanglement for generating virtual human avatars
CN115908119B (zh) * 2023-01-05 2023-06-06 广州佰锐网络科技有限公司 基于人工智能的人脸图像美颜处理方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091148A (zh) * 2014-06-16 2014-10-08 联想(北京)有限公司 一种人脸特征点定位方法和装置
CN105354869A (zh) * 2015-10-23 2016-02-24 广东小天才科技有限公司 一种将用户真实头部特征化身到虚拟头像上的方法及系统
CN106529402A (zh) * 2016-09-27 2017-03-22 中国科学院自动化研究所 基于多任务学习的卷积神经网络的人脸属性分析方法
CN106652015A (zh) * 2015-10-30 2017-05-10 深圳超多维光电子有限公司 一种虚拟人物头像生成方法及装置
WO2017171142A1 (ko) * 2016-03-28 2017-10-05 영남대학교 산학협력단 얼굴의 특징점 검출 시스템 및 방법
CN109271884A (zh) * 2018-08-29 2019-01-25 厦门理工学院 人脸属性识别方法、装置、终端设备和存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200614094A (en) * 2004-10-18 2006-05-01 Reallusion Inc System and method for processing comic character
US7783135B2 (en) * 2005-05-09 2010-08-24 Like.Com System and method for providing objectified image renderings using recognition information from images
US20070080967A1 (en) * 2005-10-11 2007-04-12 Animetrics Inc. Generation of normalized 2D imagery and ID systems via 2D to 3D lifting of multifeatured objects
KR101558202B1 (ko) * 2011-05-23 2015-10-12 한국전자통신연구원 아바타를 이용한 애니메이션 생성 장치 및 방법
US10095917B2 (en) * 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation
US10339365B2 (en) * 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
US20180024726A1 (en) * 2016-07-21 2018-01-25 Cives Consulting AS Personified Emoji
KR20180097915A (ko) * 2017-02-24 2018-09-03 트라이큐빅스 인크. 개인 맞춤형 3차원 얼굴 모델 생성 방법 및 그 장치
CN107730573A (zh) * 2017-09-22 2018-02-23 西安交通大学 一种基于特征提取的人物肖像漫画风格化生成方法
CN109345636B (zh) 2018-07-19 2023-10-24 北京永星互动科技有限公司 获取虚拟人脸图的方法和装置
CN109447895B (zh) * 2018-09-03 2021-06-08 腾讯科技（武汉）有限公司 图片生成方法和装置、存储介质及电子装置
US10650564B1 (en) * 2019-04-21 2020-05-12 XRSpace CO., LTD. Method of generating 3D facial model for an avatar and related device
CN110111246B (zh) * 2019-05-15 2022-02-25 北京市商汤科技开发有限公司 一种虚拟头像生成方法及装置、存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091148A (zh) * 2014-06-16 2014-10-08 联想(北京)有限公司 一种人脸特征点定位方法和装置
CN105354869A (zh) * 2015-10-23 2016-02-24 广东小天才科技有限公司 一种将用户真实头部特征化身到虚拟头像上的方法及系统
CN106652015A (zh) * 2015-10-30 2017-05-10 深圳超多维光电子有限公司 一种虚拟人物头像生成方法及装置
WO2017171142A1 (ko) * 2016-03-28 2017-10-05 영남대학교 산학협력단 얼굴의 특징점 검출 시스템 및 방법
CN106529402A (zh) * 2016-09-27 2017-03-22 中国科学院自动化研究所 基于多任务学习的卷积神经网络的人脸属性分析方法
CN109271884A (zh) * 2018-08-29 2019-01-25 厦门理工学院 人脸属性识别方法、装置、终端设备和存储介质

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020228384A1 (zh) * 2019-05-15 2020-11-19 北京市商汤科技开发有限公司 虚拟头像生成方法及装置、存储介质
US11403874B2 (en) 2019-05-15 2022-08-02 Beijing Sensetime Technology Development Co., Ltd. Virtual avatar generation method and apparatus for generating virtual avatar including user selected face property, and storage medium
JP2022547479A (ja) * 2019-10-22 2022-11-14 上▲海▼商▲湯▼智能科技有限公司 車載デジタル人に基づくインタラクション
CN110728256A (zh) * 2019-10-22 2020-01-24 上海商汤智能科技有限公司 基于车载数字人的交互方法及装置、存储介质
CN111857697A (zh) * 2020-05-29 2020-10-30 北京编程猫科技有限公司 一种基于认知ai的图形化编程实现方法及装置
CN111627086A (zh) * 2020-06-03 2020-09-04 上海商汤智能科技有限公司 一种头像的展示方法、装置、计算机设备及存储介质
CN112529988A (zh) * 2020-12-10 2021-03-19 北京百度网讯科技有限公司 一种头像的生成方法、装置、电子设备、介质及产品
US11830236B2 (en) 2020-12-10 2023-11-28 Beijing Baidu Netcom Science Technology Co., Ltd. Method and device for generating avatar, electronic equipment, medium and product
CN112734633A (zh) * 2021-01-07 2021-04-30 京东方科技集团股份有限公司 虚拟发型的替换方法、电子设备及存储介质
CN112907708A (zh) * 2021-02-05 2021-06-04 深圳瀚维智能医疗科技有限公司 人脸卡通化方法、设备及计算机存储介质
CN112907708B (zh) * 2021-02-05 2023-09-19 深圳瀚维智能医疗科技有限公司 人脸卡通化方法、设备及计算机存储介质
CN113808010A (zh) * 2021-09-24 2021-12-17 深圳万兴软件有限公司 无属性偏差的卡通人像生成方法、装置、设备及介质
CN113808010B (zh) * 2021-09-24 2023-08-11 深圳万兴软件有限公司 无属性偏差的卡通人像生成方法、装置、设备及介质

Also Published As

Publication number Publication date
KR102443026B1 (ko) 2022-09-13
SG11202008025QA (en) 2020-12-30
TW202046249A (zh) 2020-12-16
US11403874B2 (en) 2022-08-02
JP2021528719A (ja) 2021-10-21
CN110111246B (zh) 2022-02-25
US20200380246A1 (en) 2020-12-03
KR20200132833A (ko) 2020-11-25
WO2020228384A1 (zh) 2020-11-19

Similar Documents

Publication Publication Date Title
CN110111246A (zh) 一种虚拟头像生成方法及装置、存储介质
CN110443189B (zh) 基于多任务多标签学习卷积神经网络的人脸属性识别方法
Phillips et al. An introduction to the good, the bad, & the ugly face recognition challenge problem
CN110147729A (zh) 用户情绪识别方法、装置、计算机设备及存储介质
CN107610209A (zh) 人脸表情合成方法、装置、存储介质和计算机设备
CN109033938A (zh) 一种基于可区分性特征融合的人脸识别方法
CN107194341A (zh) Maxout多卷积神经网络融合人脸识别方法和系统
CN108829900A (zh) 一种基于深度学习的人脸图像检索方法、装置及终端
CN109712080A (zh) 图像处理方法、图像处理装置及存储介质
CN106295476A (zh) 人脸关键点定位方法和装置
Sunhem et al. An approach to face shape classification for hairstyle recommendation
CN107169455A (zh) 基于深度局部特征的人脸属性识别方法
CN108985464A (zh) 基于信息最大化生成对抗网络的人脸连续特征生成方法
CN108460398A (zh) 图像处理方法、装置、云处理设备和计算机程序产品
CN108427918A (zh) 基于图像处理技术的人脸隐私保护方法
CN107423727A (zh) 基于神经网络的人脸复杂表情识别方法
WO2022257456A1 (zh) 头发信息识别方法、装置、设备及存储介质
CN110321849A (zh) 图像数据处理方法、装置以及计算机可读存储介质
CN112906585B (zh) 基于机器学习的智能化理发辅助系统、方法和可读介质
CN110490794A (zh) 基于人工智能的人物图像处理方法及装置
CN112052843A (zh) 一种从粗到精的人脸关键点检测方法
CN108111868A (zh) 一种基于mmda的表情不变的隐私保护方法
WO2020085922A1 (en) Digital character blending and generation system and method
CN112307110A (zh) 一种用户画像生成方法、装置、计算机设备及存储介质
CN106650597B (zh) 一种活体检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 1101-1117, floor 11, No. 58, Beisihuan West Road, Haidian District, Beijing 100080

Applicant after: BEIJING SENSETIME TECHNOLOGY DEVELOPMENT Co.,Ltd.

Address before: 100084, room 7, floor 3, building 1, No. 710-712, Zhongguancun East Road, Beijing, Haidian District

Applicant before: BEIJING SENSETIME TECHNOLOGY DEVELOPMENT Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant