CN110263617A - 三维人脸模型获取方法及装置 - Google Patents

三维人脸模型获取方法及装置 Download PDF

Info

Publication number
CN110263617A
CN110263617A CN201910359590.XA CN201910359590A CN110263617A CN 110263617 A CN110263617 A CN 110263617A CN 201910359590 A CN201910359590 A CN 201910359590A CN 110263617 A CN110263617 A CN 110263617A
Authority
CN
China
Prior art keywords
parameter
face
parameter value
dimensional face
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910359590.XA
Other languages
English (en)
Other versions
CN110263617B (zh
Inventor
张青
徐超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yongxing Interactive Technology Co.,Ltd.
Original Assignee
Beijing Yonghang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yonghang Technology Co Ltd filed Critical Beijing Yonghang Technology Co Ltd
Priority to CN201910359590.XA priority Critical patent/CN110263617B/zh
Publication of CN110263617A publication Critical patent/CN110263617A/zh
Application granted granted Critical
Publication of CN110263617B publication Critical patent/CN110263617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/647Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种三维人脸模型获取方法及装置,属于计算机领域。所述方法包括:获取人脸图像;对所述人脸图像进行人脸识别,得到所述人脸图像的二维人脸参数的参数值;将所述二维人脸参数的参数值转换为三维人脸参数的参数值;根据所述三维人脸参数的参数值,对初始三维人脸模型的三维人脸参数的初始参数值进行调整,得到所述人脸图像对应的目标三维人脸模型。本发明无需用户花费较长的时间进行手动调整,即可快速获得用户想要的目标脸型的三维人脸模型,大大减少了获取三维人脸模型的时间,提高了三维人脸模型的获取效率。

Description

三维人脸模型获取方法及装置
技术领域
本发明涉及计算机领域,尤其涉及一种三维人脸模型获取方法及装置。
背景技术
游戏中使用三维(3D)角色可以从画面上给人一种更逼真更震撼的效果,用户(玩家)可以通过游戏提供的捏脸功能,对三维角色的脸型进行调整,以得到一个与自己或者自己熟知的某个明星的脸型尽可能相像的三维角色作为自己的化身,增加游戏中的带入感。
相关技术中三维角色的脸部可以用三维人脸模型来表示,三维人脸模型的脸部可以划分为多个区域,如面颊、鼻子、嘴巴、眼睛等,针对每个区域可以提供多个整体控制的细节参数,用户可以对这些细节参数进行多次调整,直至将三维人脸模型的脸型调整为用户满意的目标脸型,从而得到用户满意的三维角色。
上述技术通过用户手动调整多个细节参数得到目标脸型的三维人脸模型,为了保证捏脸效果,这些细节参数的数量通常较多,对于用户来说,想要得到一个目标脸型的三维人脸模型,往往需要花费较长的时间,获取效率低。
发明内容
本发明实施例提供了一种三维人脸模型获取方法及装置,可以解决相关技术获取效率低的问题。所述技术方案如下:
第一方面,提供一种三维人脸模型获取方法,包括:
获取人脸图像;
对所述人脸图像进行人脸识别,得到所述人脸图像的二维人脸参数的参数值;
将所述二维人脸参数的参数值转换为三维人脸参数的参数值;
根据所述三维人脸参数的参数值,对初始三维人脸模型的三维人脸参数的初始参数值进行调整,得到所述人脸图像对应的目标三维人脸模型。
在一种可能实现方式中,所述二维人脸参数包含所述人脸图像中人脸的多个脸部区域的参数,所述三维人脸参数包含所述目标三维人脸模型中人脸的多个骨骼的参数,每个脸部区域对应多个骨骼;
所述将所述二维人脸参数的参数值转换为三维人脸参数的参数值,包括:
根据所述二维人脸参数中多个脸部区域的参数的参数值和参数值转换算法,将所述多个脸部区域的参数的参数值转换为多个骨骼的参数的参数值,所述参数值转换算法用于将人脸的任一脸部区域的参数的参数值转换为所述任一脸部区域对应的多个骨骼的参数的参数值。
在一种可能实现方式中,所述根据所述三维人脸参数的参数值,对初始三维人脸模型的三维人脸参数的初始参数值进行调整,得到所述人脸图像对应的目标三维人脸模型,包括:
将所述初始三维人脸模型的三维人脸参数的初始参数值调整为所述三维人脸参数的参数值,得到所述人脸图像对应的目标三维人脸模型。
在一种可能实现方式中,所述对所述人脸图像进行人脸识别,得到所述人脸图像的二维人脸参数的参数值,包括下述任一步骤:
将所述人脸图像输入人脸识别模型,输出所述人脸图像的二维人脸参数的参数值,所述人脸识别模型用于根据输入的人脸图像输出二维人脸参数的参数值;
将所述人脸图像发送给服务器,接收所述人脸图像的二维人脸参数的参数值,所述服务器用于对所述人脸图像进行人脸识别,得到所述人脸图像的二维人脸参数的参数值。
在一种可能实现方式中,所述人脸识别模型的训练过程包括:
获取第一样本集合,所述第一样本集合包括多个第一样本人脸图像以及每个第一样本人脸图像的二维人脸参数的参数值;
基于所述第一样本集合进行训练,得到第一参数生成模型,所述第一参数生成模型用于根据输入的人脸图像输出二维人脸参数的参数值;
当所述第一参数生成模型的准确度小于准确度阈值时,获取第二样本集合,所述第二样本集合包括多个第二样本人脸图像以及通过所述第一参数生成模型生成的每个第二样本人脸图像的二维人脸参数的参数值;
基于所述第一样本集合和所述第二样本集合进行训练,得到第二参数生成模型;
当所述第二参数生成模型的准确度小于准确度阈值时,继续获取样本集合,基于已获取的各个样本集合进行训练,直至训练得到的参数生成模型的准确度大于或等于所述准确度阈值。
在一种可能实现方式中,所述将所述二维人脸参数的参数值转换为三维人脸参数的参数值之后,所述方法还包括:
根据所述三维人脸参数的参数值,生成图形标识码。
第二方面,提供一种三维人脸模型获取方法,包括:
获取图形标识码,所述图形标识码根据三维人脸参数的参数值生成,所述三维人脸参数的参数值通过对人脸图像进行人脸识别得到的二维人脸参数的参数值转换得到;
对所述图形标识码进行解析,得到所述三维人脸参数的参数值;
根据所述三维人脸参数的参数值,对初始三维人脸模型的三维人脸参数的初始参数值进行调整,得到目标三维人脸模型。
在一种可能实现方式中,所述获取图形标识码,包括下述任一步骤:
当接收到扫描指令时,进行图形标识码扫描,得到所述图形标识码;
接收到所述图形标识码。
第三方面,提供一种三维人脸模型获取装置,包括:
获取模块,用于获取人脸图像;
识别模块,用于对所述人脸图像进行人脸识别,得到所述人脸图像的二维人脸参数的参数值;
转换模块,用于将所述二维人脸参数的参数值转换为三维人脸参数的参数值;
调整模块,用于根据所述三维人脸参数的参数值,对初始三维人脸模型的三维人脸参数的初始参数值进行调整,得到所述人脸图像对应的目标三维人脸模型。
在一种可能实现方式中,所述二维人脸参数包含所述人脸图像中人脸的多个脸部区域的参数,所述三维人脸参数包含所述目标三维人脸模型中人脸的多个骨骼的参数,每个脸部区域对应多个骨骼;
所述转换模块用于:
根据所述二维人脸参数中多个脸部区域的参数的参数值和参数值转换算法,将所述多个脸部区域的参数的参数值转换为多个骨骼的参数的参数值,所述参数值转换算法用于将人脸的任一脸部区域的参数的参数值转换为所述任一脸部区域对应的多个骨骼的参数的参数值。
在一种可能实现方式中,所述调整模块用于将所述初始三维人脸模型的三维人脸参数的初始参数值调整为所述三维人脸参数的参数值,得到所述人脸图像对应的目标三维人脸模型。
在一种可能实现方式中,所述识别模块用于执行下述任一步骤:
将所述人脸图像输入人脸识别模型,输出所述人脸图像的二维人脸参数的参数值,所述人脸识别模型用于根据输入的人脸图像输出二维人脸参数的参数值;
将所述人脸图像发送给服务器,接收所述人脸图像的二维人脸参数的参数值,所述服务器用于对所述人脸图像进行人脸识别,得到所述人脸图像的二维人脸参数的参数值。
在一种可能实现方式中,所述获取模块还用于:
获取第一样本集合,所述第一样本集合包括多个第一样本人脸图像以及每个第一样本人脸图像的二维人脸参数的参数值;
基于所述第一样本集合进行训练,得到第一参数生成模型,所述第一参数生成模型用于根据输入的人脸图像输出二维人脸参数的参数值;
当所述第一参数生成模型的准确度小于准确度阈值时,获取第二样本集合,所述第二样本集合包括多个第二样本人脸图像以及通过所述第一参数生成模型生成的每个第二样本人脸图像的二维人脸参数的参数值;
基于所述第一样本集合和所述第二样本集合进行训练,得到第二参数生成模型;
当所述第二参数生成模型的准确度小于准确度阈值时,继续获取样本集合,基于已获取的各个样本集合进行训练,直至训练得到的参数生成模型的准确度大于或等于所述准确度阈值。
在一种可能实现方式中,所述获取模块还用于根据所述三维人脸参数的参数值,生成图形标识码。
第四方面,提供一种维人脸模型获取装置,包括:
获取模块,用于获取图形标识码,所述图形标识码根据三维人脸参数的参数值生成,所述三维人脸参数的参数值通过对人脸图像进行人脸识别得到的二维人脸参数的参数值转换得到;
解析模块,用于对所述图形标识码进行解析,得到所述三维人脸参数的参数值;
调整模块,用于根据所述三维人脸参数的参数值,对初始三维人脸模型的三维人脸参数的初始参数值进行调整,得到目标三维人脸模型。
在一种可能实现方式中,所述获取模块用于执行下述任一步骤:
当接收到扫描指令时,进行图形标识码扫描,得到所述图形标识码;
接收到所述图形标识码。
第五方面,提供了一种终端,包括一个或多个处理器和一个或多个存储器;所述一个或多个存储器,用于存放计算机程序;所述一个或多个处理器,用于执行所述一个或多个存储器上所存放的计算机程序,实现第一方面任一种实现方式所述的方法步骤。
第六方面,提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现第一方面任一种实现方式所述的方法步骤。
本发明实施例提供的技术方案带来的有益效果至少包括:
通过对获取的人脸图像进行人脸识别,将人脸识别得到的二维人脸参数的参数值转换为三维人脸参数的参数值,从而可以根据该三维人脸参数的参数值,对初始三维人脸模型进行调整,得到与人脸图像中人脸的脸型相似度大于相似度阈值。用户可以直接提供人脸图像,触发终端自动获取该人脸图像对应的目标三维人脸模型,由于该目标三维人脸模型是根据用户提供的人脸图像的人脸参数得到,该目标三维人脸模型与该人脸图像中人脸的脸型相似度较高,无需用户花费较长的时间进行手动调整,即可快速获得用户想要的目标脸型的三维人脸模型,大大减少了获取三维人脸模型的时间,提高了三维人脸模型的获取效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种三维人脸模型获取方法的流程图;
图2是本发明实施例提供的一种三维人脸模型获取方法的流程图;
图3是本发明实施例提供的一种脸部骨骼分布的示意图;
图4是本发明实施例提供的一种脸部区域对应的多个骨骼的示意图;
图5是本发明实施例提供的一种细节参数的示意图;
图6是本发明实施例提供的一种三维人脸模型获取方法的流程图;
图7是本发明实施例提供的一种捏脸效果的示意图;
图8是本发明实施例提供的一种三维人脸模型获取方法的流程图;
图9是本发明实施例提供的一种三维人脸模型获取装置的结构示意图;
图10是本发明实施例提供的一种三维人脸模型获取装置的结构示意图;
图11是本发明实施例提供的一种终端1100的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明实施例提供的一种三维人脸模型获取方法的流程图。参见图1,该方法包括:
101、获取人脸图像。
102、对该人脸图像进行人脸识别,得到该人脸图像的二维人脸参数的参数值。
103、将该二维人脸参数的参数值转换为三维人脸参数的参数值。
104、根据该三维人脸参数的参数值,对初始三维人脸模型的三维人脸参数的初始参数值进行调整,得到该人脸图像对应的目标三维人脸模型。
本发明实施例提供的方法,通过对获取的人脸图像进行人脸识别,将人脸识别得到的二维人脸参数的参数值转换为三维人脸参数的参数值,从而可以根据该三维人脸参数的参数值,对初始三维人脸模型进行调整,得到与人脸图像中人脸的脸型相似度大于相似度阈值。用户可以直接提供人脸图像,触发终端自动获取该人脸图像对应的目标三维人脸模型,由于该目标三维人脸模型是根据用户提供的人脸图像的人脸参数得到,该目标三维人脸模型与该人脸图像中人脸的脸型相似度较高,无需用户花费较长的时间进行手动调整,即可快速获得用户想要的目标脸型的三维人脸模型,大大减少了获取三维人脸模型的时间,提高了三维人脸模型的获取效率。
在一种可能实现方式中,该二维人脸参数包含该人脸图像中人脸的多个脸部区域的参数,该三维人脸参数包含该目标三维人脸模型中人脸的多个骨骼的参数,每个脸部区域对应多个骨骼;
该将该二维人脸参数的参数值转换为三维人脸参数的参数值,包括:
根据该二维人脸参数中多个脸部区域的参数的参数值和参数值转换算法,将该多个脸部区域的参数的参数值转换为多个骨骼的参数的参数值,该参数值转换算法用于将人脸的任一脸部区域的参数的参数值转换为该任一脸部区域对应的多个骨骼的参数的参数值。
在一种可能实现方式中,该根据该三维人脸参数的参数值,对初始三维人脸模型的三维人脸参数的初始参数值进行调整,得到该人脸图像对应的目标三维人脸模型,包括:
将该初始三维人脸模型的三维人脸参数的初始参数值调整为该三维人脸参数的参数值,得到该人脸图像对应的目标三维人脸模型。
在一种可能实现方式中,该对该人脸图像进行人脸识别,得到该人脸图像的二维人脸参数的参数值,包括下述任一步骤:
将该人脸图像输入人脸识别模型,输出该人脸图像的二维人脸参数的参数值,该人脸识别模型用于根据输入的人脸图像输出二维人脸参数的参数值;
将该人脸图像发送给服务器,接收该人脸图像的二维人脸参数的参数值,该服务器用于对该人脸图像进行人脸识别,得到该人脸图像的二维人脸参数的参数值。
在一种可能实现方式中,该人脸识别模型的训练过程包括:
获取第一样本集合,该第一样本集合包括多个第一样本人脸图像以及每个第一样本人脸图像的二维人脸参数的参数值;
基于该第一样本集合进行训练,得到第一参数生成模型,该第一参数生成模型用于根据输入的人脸图像输出二维人脸参数的参数值;
当该第一参数生成模型的准确度小于准确度阈值时,获取第二样本集合,该第二样本集合包括多个第二样本人脸图像以及通过该第一参数生成模型生成的每个第二样本人脸图像的二维人脸参数的参数值;
基于该第一样本集合和该第二样本集合进行训练,得到第二参数生成模型;
当该第二参数生成模型的准确度小于准确度阈值时,继续获取样本集合,基于已获取的各个样本集合进行训练,直至训练得到的参数生成模型的准确度大于或等于该准确度阈值。
在一种可能实现方式中,该将该二维人脸参数的参数值转换为三维人脸参数的参数值之后,该方法还包括:
根据该三维人脸参数的参数值,生成图形标识码。
上述所有可选技术方案,可以采用任意结合形成本发明的可选实施例,在此不再一一赘述。
图2是本发明实施例提供的一种三维人脸模型获取方法的流程图。参见图2,该方法包括:
201、获取图形标识码,该图形标识码根据三维人脸参数的参数值生成,该三维人脸参数的参数值通过对人脸图像进行人脸识别得到的二维人脸参数的参数值转换得到。
202、对该图形标识码进行解析,得到该三维人脸参数的参数值。
203、根据该三维人脸参数的参数值,对初始三维人脸模型的三维人脸参数的初始参数值进行调整,得到目标三维人脸模型。
本发明实施例提供的方法,通过采用图形标识码承载目标三维人脸模型的三维人脸参数的参数值,目标设备可以基于图形标识码快速获取到该参数值,从而基于该参数值获取目标三维人脸模型,提高了图形标识码的获取效率,使得用户可以通过分享图形标识码,达到分享脸型的目的。
在一种可能实现方式中,该获取图形标识码,包括下述任一步骤:
当接收到扫描指令时,进行图形标识码扫描,得到该图形标识码;
接收到该图形标识码。
上述所有可选技术方案,可以采用任意结合形成本发明的可选实施例,在此不再一一赘述。
本发明提供的获取三维人脸模型的过程可以称为捏脸,捏脸是指对虚拟角色的脸型进行调整,以得到一个与自己或者自己熟知的某个明星尽可能相像的脸型,在三维游戏中,虚拟角色的脸型可以用三维人脸模型来表示,三维人脸模型的脸型可以利用骨骼的缩放和位移来改变。
首先介绍一下骨骼驱动的脸部结构组织:在脸部(面部)建立多根骨骼(Bone)并对这些骨骼进行蒙皮,利用骨骼的缩放和位移来改变脸型。考虑到游戏可能运行在手机平台上,骨骼数量不能太多,主要的骨骼集中在五官上,尤其是眼部。将人的脸部拆分成能够凸显脸部特征的几大区域(Area),再对区域进行拆分,每个区域由多个细节参数组成,每个细节参数影响脸部多个骨骼的位置和缩放。用户(游戏玩家)不必面对每个骨骼进行调整,只需要面对一些相对表意比较明显的细节参数进行参数值调整即可达到调整脸部某个区域的细节效果,来捏出自己想要的脸型。
参见图3,提供了一种脸部骨骼分布的示意图,如图3所示,大量的骨骼集中在嘴唇和眼部附近,因为这两个部位最能体现出差异的细节,而相对来说脸颊和下巴等就只分布有少量的骨骼来调整轮廓即可。参见图4,提供了一种脸部区域对应的多个骨骼的示意图,如图4所示,对于脸颊(图中用Bip Face表示),脸颊可以对应2个骨骼,分别用Cheekbones-L、Cheekbones-R表示;对于下巴(图中用chin表示),下巴可以对应3个骨骼,分别用chin-down、chin-left和chin-right表示;对于左眼(图中用Eye-L表示),左眼可以对应12个骨骼,分别用Eyelid-L-01、Eyelid-L-02、……、Eyelid-L-11和pupil-L表示;对于右眼(图中用Eye-R表示),右眼可以对应12个骨骼,分别用Eyelid-R-01、Eyelid-R-02、……、Eyelid-R-11和pupil-R表示;对于左眉毛(图中用Eyebrow-L表示),左眉毛可以对应3个骨骼,分别用eyebrow01-L、eyebrow02-L和eyebrow03-L表示;对于右眉毛(图中用Eyebrow-R表示),右眉毛可以对应3个骨骼,分别用eyebrow01-R、eyebrow02-R和eyebrow03-R表示;对于嘴巴(图中用Mou11表示),嘴巴可以对应14个骨骼,分别用mou1101-down-L、mou1101-down-R、mou1101-up-L、mou1101-up-R、……、Tee11-down和Tee11-up等表示;对于鼻子(图中用Nose表示),分别用Nose01、Nose02、……、Nose-L和Nose-R表示。
脸部可以划分为几个大的脸部区域:脸颊、下巴、下颌、眉毛、鼻子、嘴唇、眼部。参见图5,提供了一种细节参数的示意图,每个脸部区域的细节参数的划分如图5所示,脸颊的参数可以包括上脸颊宽度(窄/宽)和下脸颊宽度;下巴的参数可以包括下巴长度(短/长)和下巴宽度;下颌的参数可以包括下颌长度、下颌宽度和下颌高度(高/低);眉毛的参数可以包括眉毛弧度(下/上);眼部的参数可以包括眼睛大小(大/小)、眼睛高度和两眼之间的距离,还可以包括眼睑的参数、眼角的参数和瞳孔的参数,眼睑的参数包括上眼睑高度、上眼睑中高度、下眼睑高度,眼角的参数包括内眼角高度和外眼角高度,瞳孔的参数包括瞳孔大小、瞳孔高度和瞳孔的距离;鼻子的参数可以包括鼻子宽度和鼻子长度;嘴唇的参数可以包括嘴唇高度、嘴角弧度、嘴唇长度、上嘴唇高度和下嘴唇高度。
由图5可以看出,眼部对应大量的细节参数,每一项细节参数的参数值有一个上限值和一个下限值,用来约束玩家能够设置各个细节参数的参数值范围。这样能够防止玩家捏出太奇怪的怪物脸型。
由图5也可以看出,可调整的参数有26项,如果采用相关技术中通过用户手动调整多个细节参数得到目标脸型的捏脸方案,对于许多玩家来说,捏出一个自己满意的脸型,可能需要花费很长的时间。
发明人考虑到大多数玩家捏脸的目的,多数都是捏出一个与自己或者自己熟知的某个明星尽可能相像的脸型,也即是获取一个脸型与自己或者自己熟知的某个明星尽可能相像的三维人脸模型。为了能让玩家快速达到这个目的,本发明提供了一种三维人脸模型获取方法,通过接入图像自动识别技术,对人脸图像进行识别,将识别得到的数据(二维人脸参数的参数值)转换为游戏内的3D角色捏脸数据(三维人脸参数的参数值),将其应用在玩家的角色脸上(对初始三维人脸模型的三维人脸参数的初始参数值进行调整),玩家只需要在这个已经大致符合需求的脸型上再做一些细节的调整即可达到自己想要的捏脸效果,能够提高捏脸效率。
本发明提供的三维人脸模型获取方法可以由终端执行,也可以由终端和服务器交互执行。下面分别在图6对应的实施例中以该方法由终端执行为例,对该方法进行说明,在图8对应的实施例中以该方法由终端和服务器交互执行为例,对该方法进行说明。
图6是本发明实施例提供的一种三维人脸模型获取方法的流程图。参见图6,该方法包括:
601、终端获取人脸图像。
其中,该人脸图像是指包含人脸的图像。
本发明实施例中,终端可以通过摄像头对人脸进行拍摄,得到该人脸图像,终端也可以根据用户的选择,从本地存储中获取预先存储的人脸图像。
602、终端对该人脸图像进行人脸识别,得到该人脸图像的二维人脸参数的参数值。
在一种可能实现方式中,该二维人脸参数包含该人脸图像中人脸的多个脸部区域(部位)的参数。其中,该多个脸部区域是指能够凸显面部特征的几个区域,每个脸部区域可以有一个或多个参数。例如,该多个脸部区域可以包括脸颊、下巴、下颌、眉毛、鼻子、嘴巴和眼睛。以脸颊为例,该脸颊的参数可以包括上脸颊宽度和下脸颊宽度。
在一种可能实现方式中,该步骤602可以包括:终端将该人脸图像输入人脸识别模型,输出该人脸图像的二维人脸参数的参数值,该人脸识别模型用于根据输入的人脸图像输出二维人脸参数的参数值。
终端可以本地存储有该人脸识别模型,在需要对人脸图像进行人脸识别时,直接调用该人脸识别模型。该人脸识别模型可以由终端训练得到,也可以由其他设备训练得到后,发送给终端,使得终端可以获取到该人脸识别模型。例如,终端可以预先训练或从其他设备获取该人脸识别模型,并存储在本地。
通过使用人脸识别模型进行人脸识别,使得终端只需将人脸图像输入人脸识别模型,即可快速得到人脸识别模型输出的二维人脸参数的参数值,提高了人脸识别的效率。
其中,该人脸识别模型的训练过程可以包括:获取第一样本集合,该第一样本集合包括多个第一样本人脸图像以及每个第一样本人脸图像的二维人脸参数的参数值;基于该第一样本集合进行训练,得到第一参数生成模型,该第一参数生成模型用于根据输入的人脸图像输出二维人脸参数的参数值;当该第一参数生成模型的准确度小于准确度阈值时,获取第二样本集合,该第二样本集合包括多个第二样本人脸图像以及通过该第一参数生成模型生成的每个第二样本人脸图像的二维人脸参数的参数值;基于该第一样本集合和该第二样本集合进行训练,得到第二参数生成模型;当该第二参数生成模型的准确度小于准确度阈值时,继续获取样本集合,基于已获取的各个样本集合进行训练,直至训练得到的参数生成模型的准确度大于或等于该准确度阈值。
针对第一样本集合的获取过程,美术人员可以收集多个人脸图像(如多个明星的人脸图像)作为第一样本人脸图像,对于每个第一样本人脸图像,美术人员可以根据该第一样本人脸图像,不断调整初始三维人脸模型的三维人脸参数的参数值,以构建出与该第一样本人脸图像的脸型相似度较高的目标三维人脸模型,然后通过参数值转换算法,将此时三维人脸参数的参数值转换为二维人脸参数的参数值,将该二维人脸参数的参数值作为该第一样本人脸图像的二维人脸参数的参数值。多个第一样本人脸图像经过上述处理,可以得到多个第一样本人脸图像的二维人脸参数的参数值,从而组成第一样本集合。
针对第一参数生成模型的训练过程,该第一样本集合可以被输入模型训练设备,如终端或服务器,模型训练设备可以基于第一样本集合进行模型训练,得到第一参数生成模型。
为了保证训练得到准确度较高的参数生成模型,在得到第一参数生成模型后,可以确定第一参数生成模型的准确度,并判断准确度是否达到准确度阈值,如果第一参数生成模型的准确度未达到准确度阈值,则继续获取第二样本集合。如果第一参数生成模型的准确度达到了准确度阈值,则可以不再获取第二样本集合,当然,为了进一步提高参数生成模型的准确度,也可以继续获取第二样本集合。
针对第二样本集合的获取过程,技术人员可以搜集多个第二样本人脸图像后输入模型训练设备,对于每个第二样本人脸图像,模型训练设备可以将该第二样本人脸图像输入第一参数生成模型,输出该第二样本人脸图像的二维人脸参数的参数值。由于第一参数生成模型的准确度低于准确度阈值,通过该第一参数生成模型自动生成的二维人脸参数的参数值可能准确,也可能不准确,为了保证基于第二样本集合训练能够得到准确度更高的参数生成模型,模型训练设备可以将自动生成的二维人脸参数的参数值分发给评审人员进行评分,评审人员可以利用自动生成的二维人脸参数还原出脸型,如利用三维人脸模型生成工具,将自动生成的二维人脸参数的参数值输入该三维人脸模型生成工具,生成三维人脸模型,从而可以观察该三维人脸模型的脸型和第二样本人脸图像的脸型是否匹配,并给出匹配分数,匹配分数越高表明相似度越高。如果匹配分数较低,则美术人员可以对二维人脸参数的参数值进行手动优化调整,直至调整后的二维人脸参数能够还原真实脸型,然后将手动优化调整后的二维人脸参数的参数值作为该第二样本人脸图像的二维人脸参数的参数值。同时,对于一些真实脸型,参数输入后生成的三维人脸模型的脸型不太适合作为游戏角色,或者不太符合游戏风格,因此除了要求较高相似度之外,还需要做一些艺术调整,而不是完全还原真实的脸型,而是在追求相似的基础上再做一些艺术上的美化,比如女生脸型都会相对瘦一点,脸的轮廓线会更加圆润一些。多个第二样本人脸图像经过上述处理,可以得到多个第二样本人脸图像的二维人脸参数的参数值,从而组成第二样本集合。
之后,模型训练设备可以基于新获取的第二样本集合和之前获取的第一样本集合继续训练,得到第二参数生成模型。第二参数生成模型的训练过程与第一参数生成模型的训练过程同理,不再赘述。考虑到第二参数生成模型的准确度可能仍然不够高,模型训练设备在获取到第二参数生成模型后,可以将该第二参数生成模型的准确度与准确度阈值进行比较。如果第二参数生成模型的准确度达到准确度阈值,则可以不再继续获取新的样本集合,如果该第二参数生成模型的准确度未达到该准确度阈值时,模型训练设备可以继续获取新的样本集合,并基于已获取的各个样本集合进行训练,直至训练得到的参数生成模型的准确度达到该准确度阈值。通过不断扩大样本集合,通过大量样本的不断训练,可以不断优化参数生成模型,最终得到准确度更高的参数生成模型,提高通过参数生成模型自动生成的参数所对应的脸型与原始人脸图像的相似度,最终形成用户比较能接受的捏脸风格。
603、终端将该二维人脸参数的参数值转换为三维人脸参数的参数值。
其中,该三维人脸参数包含三维人脸模型中人脸的多个骨骼的参数。其中,骨骼的参数可以包含骨骼的位置和缩放参数。
针对二维人脸参数包含该人脸图像中人脸的多个脸部区域的参数,每个脸部区域对应多个骨骼,该三维人脸参数包含三维人脸模型中人脸的多个脸部区域对应的多个骨骼的参数。
在一种可能实现方式中,该步骤603可以包括:终端根据该二维人脸参数中多个脸部区域的参数的参数值和参数值转换算法,将该多个脸部区域的参数的参数值转换为多个骨骼的参数的参数值,该参数值转换算法用于将人脸的任一脸部区域的参数的参数值转换为该任一脸部区域对应的多个骨骼的参数的参数值。
对于二维人脸参数中每个脸部区域的参数,终端可以利用该参数值转换算法,将该脸部区域的参数的参数值转换为该脸部区域对应的多个骨骼的参数的参数值。通过预先设置参数值转换算法,利用参数值转换算法,可以快速地将二维人脸参数的参数值转换为三维人脸参数的参数值。
604、终端根据该三维人脸参数的参数值,对初始三维人脸模型的三维人脸参数的初始参数值进行调整,得到该人脸图像对应的目标三维人脸模型。
本发明实施例中,该初始三维人脸模型可以是一个标准三维人脸模型。
在一种可能实现方式中,该步骤604可以包括:终端将该初始三维人脸模型的三维人脸参数的初始参数值调整为该三维人脸参数的参数值,得到该人脸图像对应的目标三维人脸模型。
针对该三维人脸参数包含多个骨骼的参数,该三维人脸参数的参数值可以包含多个骨骼的参数的参数值。针对骨骼的参数可以包括位置参数和缩放参数,对于任一骨骼,终端可以将该骨骼的位置参数的初始参数值调整为步骤603得到的三维人脸参数中该骨骼的位置参数的参数值。终端可以将该骨骼的缩放参数的初始参数值调整为步骤603得到的三维人脸参数中该骨骼的缩放参数的参数值。
通过将根据人脸图像获取到的三维人脸参数的参数值应用在初始三维人脸模型上,可以得到与人脸图像中人脸的脸型相似度较高的三维人脸模型。
终端在获取到目标三维人脸模型后,可以显示该目标三维人脸模型,用户可以观察该目标三维人脸模型是否符合自己的需求,如果是,则可以不对该目标三维人脸模型进行调整,如果不是,则可以对该目标三维人脸模型进行调整。
针对用户对目标三维人脸模型的调整过程,终端在显示该目标三维人脸模型时,可以显示多个二维人脸参数(细节参数),终端可以提供对该多个二维人脸参数的参数值进行调整的功能。如图5所示,终端可以针对每个二维人脸参数显示一个滑动控件,以供用户调整该二维人脸参数的参数值,例如,针对上脸颊宽度,终端可以显示一个滑动控件来供用户调整该上脸颊宽度的宽度值,针对下脸颊宽度,终端同样可以显示一个滑动控件来供用户调整该上脸颊宽度的宽度值。用户(游戏玩家)可以对该滑动控件的滑动按钮进行滑动操作,如向左滑动或向右滑动,终端可以根据用户调整后的二维人脸参数的参数值,将该调整后的二维人脸参数的参数值转换三维人脸参数的参数值,再根据该三维人脸参数的参数值对目标三维人脸模型进行调整,得到调整后的目标三维人脸模型。其中,每个二维人脸参数可以有一个取值上限和一个取值下限,用来约束用户的参数值调整范围,这样可以避免用户捏出太奇怪的怪物脸型。
由于该目标三维人脸模型是根据用户提供的人脸图像得到,该目标三维人脸模型与该人脸图像中人脸的脸型相似度较高,用户只需要在这个已经大体符合需求的脸型上再做一些细节的调整即可达到自己想要的效果,大大简化了用户操作,提高了用户获取符合自己需求的三维人脸模型的效率,可以在手机等终端上实现比较精细的捏脸效果。另外,由于人脸图像可以通过拍照得到,因而可以利用终端的拍照特性快速实现捏脸效果。参见图7,提供了一种捏脸效果的示意图,如图7所示,图7的(a)图和(c)图为人脸图像(图中未示出脸部细节),图7的(b)图为(a)图的人脸图像对应的目标三维人脸模型,图7的(d)图为(c)图的人脸图像对应的目标三维人脸模型。
考虑到终端在显示目标三维人脸模型后,如果用户对该目标三维人脸模型的脸型满意,可能会有将该脸型分享给他人的需求,在一种可能实现方式中,终端可以根据该三维人脸参数的参数值,生成图形标识码。具体地,终端对该三维人脸参数的参数值进行序列化处理,得到目标字符串;根据该目标字符串,生成该图形标识码。其中,该目标字符串可以是json字符串,图形标识码可以是二维码。
终端在生成图形标识码后,可以提供给其他设备,使得其他设备可以基于该图形标识码获取到该目标三维人脸模型的三维人脸参数,从而获取到目标三维人脸模型。以目标设备基于该图形标识码获取该目标三维人脸模型为例,具体获取过程可以包括下述步骤一至步骤三:
步骤一、获取图形标识码,该图形标识码根据三维人脸参数的参数值生成,该三维人脸参数的参数值通过对人脸图像进行人脸识别得到的二维人脸参数的参数值转换得到。
在一种可能实现方式中,目标设备获取图形标识码可以包括:当接收到扫描指令时,进行图形标识码扫描,得到该图形标识码。在终端显示图形标识码的过程中,用户可以基于目标设备的图形标识码扫描功能,对着终端显示的图形标识码进行扫描,使得目标设备扫描得到该图形标识码。
在另一种可能实现方式中,目标设备获取图形标识码可以包括:接收到该图形标识码。终端在生成图形标识码后,可以将该图形标识码发送给目标设备,例如,用户可以对对该图形标识码进行分享操作,触发将该图形标识码分享给目标设备的分享指令,当接收到分享指令时,终端可以将该图形标识码发送给目标设备,使得目标设备可以获取到该图形标识码。
步骤二、对该图形标识码进行解析,得到该三维人脸参数的参数值。
目标设备可以对该图形标识码进行解析,得到目标字符串,将该目标字符串转换为三维人脸参数的参数值。
针对目标设备扫描得到图形标识码的方式,目标设备可以在扫描得到该图形标识码后,直接执行该步骤二。针对目标设备接收终端发送的图形标识码的方式,目标设备在接收到该图形标识码后,可以在接收到对该图形标识码的扫描指令后,执行该步骤二。
步骤三、根据该三维人脸参数的参数值,对初始三维人脸模型的三维人脸参数的初始参数值进行调整,得到目标三维人脸模型。
该步骤三与步骤604同理,不再赘述。
通过采用图形标识码承载目标三维人脸模型的三维人脸参数的参数值,目标设备可以基于图形标识码快速获取到该参数值,从而基于该参数值获取目标三维人脸模型,提高了图形标识码的获取效率。由于三维人脸参数的参数值用于调整初始三维人脸模型,得到目标三维人脸模型,该过程可以称为捏脸过程,该三维人脸参数的参数值可以称为捏脸数据,这种利用图形标识码实现捏脸数据共享传播的方式,使得用户可以通过分享图形标识码,达到分享脸型的目的。
本发明实施例提供的方法,通过对获取的人脸图像进行人脸识别,将人脸识别得到的二维人脸参数的参数值转换为三维人脸参数的参数值,从而可以根据该三维人脸参数的参数值,对初始三维人脸模型进行调整,得到与人脸图像中人脸的脸型相似度大于相似度阈值。用户可以直接提供人脸图像,触发终端自动获取该人脸图像对应的目标三维人脸模型,由于该目标三维人脸模型是根据用户提供的人脸图像的人脸参数得到,该目标三维人脸模型与该人脸图像中人脸的脸型相似度较高,无需用户花费较长的时间进行手动调整,即可快速获得用户想要的目标脸型的三维人脸模型,大大减少了获取三维人脸模型的时间,提高了三维人脸模型的获取效率。
图8是本发明实施例提供的一种三维人脸模型获取方法的流程图。参见图8,该方法包括:
801、终端获取人脸图像。
该步骤801与步骤601同理,不再赘述。
802、终端向服务器发送人脸图像。
803、当接收到该人脸图像时,服务器对该人脸图像进行人脸识别,得到该人脸图像的二维人脸参数的参数值。
在一种可能实现方式中,该步骤803可以包括:服务器将该人脸图像输入人脸识别模型,输出该人脸图像的二维人脸参数的参数值,该人脸识别模型用于根据输入的人脸图像输出二维人脸参数的参数值。
该步骤803中服务器对该人脸图像进行人脸识别的过程与步骤602中终端对该人脸图像进行人脸识别的过程同理,不再赘述。
804、服务器将该二维人脸参数的参数值发送给终端。
上述步骤802至步骤804通过终端将人脸图像发送给服务器,由服务器进行人脸识别,相比于终端进行人脸识别,可以避免终端进行人脸识别带来的资源消耗和内存占用,保障终端的运行速度不受影响。
805、当接收到该二维人脸参数的参数值时,终端将该二维人脸参数的参数值转换为三维人脸参数的参数值。
806、终端根据该三维人脸参数的参数值,对初始三维人脸模型的三维人脸参数的初始参数值进行调整,得到该人脸图像对应的目标三维人脸模型。
步骤805至步骤806与步骤603至步骤604同理,不再赘述。
本发明实施例提供的方法,通过对获取的人脸图像进行人脸识别,将人脸识别得到的二维人脸参数的参数值转换为三维人脸参数的参数值,从而可以根据该三维人脸参数的参数值,对初始三维人脸模型进行调整,得到与人脸图像中人脸的脸型相似度大于相似度阈值。用户可以直接提供人脸图像,触发终端自动获取该人脸图像对应的目标三维人脸模型,由于该目标三维人脸模型是根据用户提供的人脸图像的人脸参数得到,该目标三维人脸模型与该人脸图像中人脸的脸型相似度较高,无需用户花费较长的时间进行手动调整,即可快速获得用户想要的目标脸型的三维人脸模型,大大减少了获取三维人脸模型的时间,提高了三维人脸模型的获取效率。
图9是本发明实施例提供的一种三维人脸模型获取装置的结构示意图。参照图9,该装置包括:
获取模块901,用于获取人脸图像;
识别模块902,用于对该人脸图像进行人脸识别,得到该人脸图像的二维人脸参数的参数值;
转换模块903,用于将该二维人脸参数的参数值转换为三维人脸参数的参数值;
调整模块904,用于根据该三维人脸参数的参数值,对初始三维人脸模型的三维人脸参数的初始参数值进行调整,得到该人脸图像对应的目标三维人脸模型。
在一种可能实现方式中,该二维人脸参数包含该人脸图像中人脸的多个脸部区域的参数,该三维人脸参数包含该目标三维人脸模型中人脸的多个骨骼的参数,每个脸部区域对应多个骨骼;
该转换模块903用于:
根据该二维人脸参数中多个脸部区域的参数的参数值和参数值转换算法,将该多个脸部区域的参数的参数值转换为多个骨骼的参数的参数值,该参数值转换算法用于将人脸的任一脸部区域的参数的参数值转换为该任一脸部区域对应的多个骨骼的参数的参数值。
在一种可能实现方式中,该调整模块904用于将该初始三维人脸模型的三维人脸参数的初始参数值调整为该三维人脸参数的参数值,得到该人脸图像对应的目标三维人脸模型。
在一种可能实现方式中,该识别模块902用于执行下述任一步骤:
将该人脸图像输入人脸识别模型,输出该人脸图像的二维人脸参数的参数值,该人脸识别模型用于根据输入的人脸图像输出二维人脸参数的参数值;
将该人脸图像发送给服务器,接收该人脸图像的二维人脸参数的参数值,该服务器用于对该人脸图像进行人脸识别,得到该人脸图像的二维人脸参数的参数值。
在一种可能实现方式中,该获取模块901还用于:
获取第一样本集合,该第一样本集合包括多个第一样本人脸图像以及每个第一样本人脸图像的二维人脸参数的参数值;
基于该第一样本集合进行训练,得到第一参数生成模型,该第一参数生成模型用于根据输入的人脸图像输出二维人脸参数的参数值;
当该第一参数生成模型的准确度小于准确度阈值时,获取第二样本集合,该第二样本集合包括多个第二样本人脸图像以及通过该第一参数生成模型生成的每个第二样本人脸图像的二维人脸参数的参数值;
基于该第一样本集合和该第二样本集合进行训练,得到第二参数生成模型;
当该第二参数生成模型的准确度小于准确度阈值时,继续获取样本集合,基于已获取的各个样本集合进行训练,直至训练得到的参数生成模型的准确度大于或等于该准确度阈值。
在一种可能实现方式中,该获取模块901还用于根据该三维人脸参数的参数值,生成图形标识码。
本发明实施例中,通过对获取的人脸图像进行人脸识别,将人脸识别得到的二维人脸参数的参数值转换为三维人脸参数的参数值,从而可以根据该三维人脸参数的参数值,对初始三维人脸模型进行调整,得到与人脸图像中人脸的脸型相似度大于相似度阈值。用户可以直接提供人脸图像,触发终端自动获取该人脸图像对应的目标三维人脸模型,由于该目标三维人脸模型是根据用户提供的人脸图像的人脸参数得到,该目标三维人脸模型与该人脸图像中人脸的脸型相似度较高,无需用户花费较长的时间进行手动调整,即可快速获得用户想要的目标脸型的三维人脸模型,大大减少了获取三维人脸模型的时间,提高了三维人脸模型的获取效率。
图10是本发明实施例提供的一种三维人脸模型获取装置的结构示意图。参照图10,该装置包括:
获取模块1001,用于获取图形标识码,该图形标识码根据三维人脸参数的参数值生成,该三维人脸参数的参数值通过对人脸图像进行人脸识别得到的二维人脸参数的参数值转换得到;
解析模块1002,用于对该图形标识码进行解析,得到该三维人脸参数的参数值;
调整模块1003,用于根据该三维人脸参数的参数值,对初始三维人脸模型的三维人脸参数的初始参数值进行调整,得到目标三维人脸模型。
在一种可能实现方式中,该获取模块1001用于执行下述任一步骤:
当接收到扫描指令时,进行图形标识码扫描,得到该图形标识码;
接收到该图形标识码。
本发明实施例中,通过采用图形标识码承载目标三维人脸模型的三维人脸参数的参数值,目标设备可以基于图形标识码快速获取到该参数值,从而基于该参数值获取目标三维人脸模型,提高了图形标识码的获取效率,使得用户可以通过分享图形标识码,达到分享脸型的目的。
需要说明的是:上述实施例提供的三维人脸模型获取装置在获取三维人脸模型时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的三维人脸模型获取装置与三维人脸模型获取方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图11是本发明实施例提供的一种终端1100的结构示意图。该终端1100可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1100还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端1100包括有:处理器1101和存储器1102。
处理器1101可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1101可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1101也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1101可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1101还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1102可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1102还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1102中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1101所执行以实现本申请中方法实施例提供的三维人脸模型获取方法。
在一些实施例中,终端1100还可选包括有:外围设备接口1103和至少一个外围设备。处理器1101、存储器1102和外围设备接口1103之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1103相连。具体地,外围设备包括:射频电路1104、显示屏1105、摄像头1106、音频电路1107、定位组件1108和电源1109中的至少一种。
外围设备接口1103可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1101和存储器1102。在一些实施例中,处理器1101、存储器1102和外围设备接口1103被集成在同一芯片或电路板上;在一些其他实施例中,处理器1101、存储器1102和外围设备接口1103中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1104用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1104通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1104将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1104包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1104可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1104还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1105用于显示UI(UserInterface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1105是触摸显示屏时,显示屏1105还具有采集在显示屏1105的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1101进行处理。此时,显示屏1105还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1105可以为一个,设置终端1100的前面板;在另一些实施例中,显示屏1105可以为至少两个,分别设置在终端1100的不同表面或呈折叠设计;在再一些实施例中,显示屏1105可以是柔性显示屏,设置在终端1100的弯曲表面上或折叠面上。甚至,显示屏1105还可以设置成非矩形的不规则图形,也即异形屏。显示屏1105可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1106用于采集图像或视频。可选地,摄像头组件1106包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1106还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1107可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1101进行处理,或者输入至射频电路1104以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1100的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1101或射频电路1104的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1107还可以包括耳机插孔。
定位组件1108用于定位终端1100的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件1108可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源1109用于为终端1100中的各个组件进行供电。电源1109可以是交流电、直流电、一次性电池或可充电电池。当电源1109包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端1100还包括有一个或多个传感器1110。该一个或多个传感器1110包括但不限于:加速度传感器1111、陀螺仪传感器1112、压力传感器1113、指纹传感器1114、光学传感器1115以及接近传感器1116。
加速度传感器1111可以检测以终端1100建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1111可以用于检测重力加速度在三个坐标轴上的分量。处理器1101可以根据加速度传感器1111采集的重力加速度信号,控制显示屏1105以横向视图或纵向视图进行用户界面的显示。加速度传感器1111还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1112可以检测终端1100的机体方向及转动角度,陀螺仪传感器1112可以与加速度传感器1111协同采集用户对终端1100的3D动作。处理器1101根据陀螺仪传感器1112采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1113可以设置在终端1100的侧边框和/或显示屏1105的下层。当压力传感器1113设置在终端1100的侧边框时,可以检测用户对终端1100的握持信号,由处理器1101根据压力传感器1113采集的握持信号进行左右手识别或快捷操作。当压力传感器1113设置在显示屏1105的下层时,由处理器1101根据用户对显示屏1105的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1114用于采集用户的指纹,由处理器1101根据指纹传感器1114采集到的指纹识别用户的身份,或者,由指纹传感器1114根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1101授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1114可以被设置终端1100的正面、背面或侧面。当终端1100上设置有物理按键或厂商Logo时,指纹传感器1114可以与物理按键或厂商Logo集成在一起。
光学传感器1115用于采集环境光强度。在一个实施例中,处理器1101可以根据光学传感器1115采集的环境光强度,控制显示屏1105的显示亮度。具体地,当环境光强度较高时,调高显示屏1105的显示亮度;当环境光强度较低时,调低显示屏1105的显示亮度。在另一个实施例中,处理器1101还可以根据光学传感器1115采集的环境光强度,动态调整摄像头组件1106的拍摄参数。
接近传感器1116,也称距离传感器,通常设置在终端1100的前面板。接近传感器1116用于采集用户与终端1100的正面之间的距离。在一个实施例中,当接近传感器1116检测到用户与终端1100的正面之间的距离逐渐变小时,由处理器1101控制显示屏1105从亮屏状态切换为息屏状态;当接近传感器1116检测到用户与终端1100的正面之间的距离逐渐变大时,由处理器1101控制显示屏1105从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图11中示出的结构并不构成对终端1100的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示例性实施例中,还提供了一种存储有计算机程序的计算机可读存储介质,例如存储有计算机程序的存储器,上述计算机程序被处理器执行时实现上述实施例中的三维人脸模型获取方法。例如,该计算机可读存储介质可以是只读内存(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、只读光盘(Compact Disc Read-OnlyMemory,CD-ROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,该的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上该仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种三维人脸模型获取方法,其特征在于,所述方法包括:
获取人脸图像;
对所述人脸图像进行人脸识别,得到所述人脸图像的二维人脸参数的参数值;
将所述二维人脸参数的参数值转换为三维人脸参数的参数值;
根据所述三维人脸参数的参数值,对初始三维人脸模型的三维人脸参数的初始参数值进行调整,得到所述人脸图像对应的目标三维人脸模型。
2.根据权利要求1所述的方法,其特征在于,所述二维人脸参数包含所述人脸图像中人脸的多个脸部区域的参数,所述三维人脸参数包含所述目标三维人脸模型中人脸的多个骨骼的参数,每个脸部区域对应多个骨骼;
所述将所述二维人脸参数的参数值转换为三维人脸参数的参数值,包括:
根据所述二维人脸参数中多个脸部区域的参数的参数值和参数值转换算法,将所述多个脸部区域的参数的参数值转换为多个骨骼的参数的参数值,所述参数值转换算法用于将人脸的任一脸部区域的参数的参数值转换为所述任一脸部区域对应的多个骨骼的参数的参数值。
3.根据权利要求1所述的方法,其特征在于,所述根据所述三维人脸参数的参数值,对初始三维人脸模型的三维人脸参数的初始参数值进行调整,得到所述人脸图像对应的目标三维人脸模型,包括:
将所述初始三维人脸模型的三维人脸参数的初始参数值调整为所述三维人脸参数的参数值,得到所述人脸图像对应的目标三维人脸模型。
4.根据权利要求1所述的方法,其特征在于,所述对所述人脸图像进行人脸识别,得到所述人脸图像的二维人脸参数的参数值,包括下述任一步骤:
将所述人脸图像输入人脸识别模型,输出所述人脸图像的二维人脸参数的参数值,所述人脸识别模型用于根据输入的人脸图像输出二维人脸参数的参数值;
将所述人脸图像发送给服务器,接收所述人脸图像的二维人脸参数的参数值,所述服务器用于对所述人脸图像进行人脸识别,得到所述人脸图像的二维人脸参数的参数值。
5.根据权利要求4所述的方法,其特征在于,所述人脸识别模型的训练过程包括:
获取第一样本集合,所述第一样本集合包括多个第一样本人脸图像以及每个第一样本人脸图像的二维人脸参数的参数值;
基于所述第一样本集合进行训练,得到第一参数生成模型,所述第一参数生成模型用于根据输入的人脸图像输出二维人脸参数的参数值;
当所述第一参数生成模型的准确度小于准确度阈值时,获取第二样本集合,所述第二样本集合包括多个第二样本人脸图像以及通过所述第一参数生成模型生成的每个第二样本人脸图像的二维人脸参数的参数值;
基于所述第一样本集合和所述第二样本集合进行训练,得到第二参数生成模型;
当所述第二参数生成模型的准确度小于准确度阈值时,继续获取样本集合,基于已获取的各个样本集合进行训练,直至训练得到的参数生成模型的准确度大于或等于所述准确度阈值。
6.根据权利要求1所述的方法,其特征在于,所述将所述二维人脸参数的参数值转换为三维人脸参数的参数值之后,所述方法还包括:
根据所述三维人脸参数的参数值,生成图形标识码。
7.一种三维人脸模型获取方法,其特征在于,所述方法包括:
获取图形标识码,所述图形标识码根据三维人脸参数的参数值生成,所述三维人脸参数的参数值通过对人脸图像进行人脸识别得到的二维人脸参数的参数值转换得到;
对所述图形标识码进行解析,得到所述三维人脸参数的参数值;
根据所述三维人脸参数的参数值,对初始三维人脸模型的三维人脸参数的初始参数值进行调整,得到目标三维人脸模型。
8.根据权利要求1所述的方法,其特征在于,所述获取图形标识码,包括下述任一步骤:
当接收到扫描指令时,进行图形标识码扫描,得到所述图形标识码;
接收到所述图形标识码。
9.一种三维人脸模型获取装置,其特征在于,所述装置包括:
获取模块,用于获取人脸图像;
识别模块,用于对所述人脸图像进行人脸识别,得到所述人脸图像的二维人脸参数的参数值;
转换模块,用于将所述二维人脸参数的参数值转换为三维人脸参数的参数值;
调整模块,用于根据所述三维人脸参数的参数值,对初始三维人脸模型的三维人脸参数的初始参数值进行调整,得到所述人脸图像对应的目标三维人脸模型。
10.一种三维人脸模型获取装置,其特征在于,所述装置包括:
获取模块,用于获取图形标识码,所述图形标识码根据三维人脸参数的参数值生成,所述三维人脸参数的参数值通过对人脸图像进行人脸识别得到的二维人脸参数的参数值转换得到;
解析模块,用于对所述图形标识码进行解析,得到所述三维人脸参数的参数值;
调整模块,用于根据所述三维人脸参数的参数值,对初始三维人脸模型的三维人脸参数的初始参数值进行调整,得到目标三维人脸模型。
CN201910359590.XA 2019-04-30 2019-04-30 三维人脸模型获取方法及装置 Active CN110263617B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910359590.XA CN110263617B (zh) 2019-04-30 2019-04-30 三维人脸模型获取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910359590.XA CN110263617B (zh) 2019-04-30 2019-04-30 三维人脸模型获取方法及装置

Publications (2)

Publication Number Publication Date
CN110263617A true CN110263617A (zh) 2019-09-20
CN110263617B CN110263617B (zh) 2021-10-22

Family

ID=67914044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910359590.XA Active CN110263617B (zh) 2019-04-30 2019-04-30 三维人脸模型获取方法及装置

Country Status (1)

Country Link
CN (1) CN110263617B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111432267A (zh) * 2020-04-23 2020-07-17 深圳追一科技有限公司 视频调整方法、装置、电子设备及存储介质
CN111739155A (zh) * 2020-06-24 2020-10-02 网易(杭州)网络有限公司 虚拟角色捏脸方法、装置和终端设备
CN111729314A (zh) * 2020-06-30 2020-10-02 网易(杭州)网络有限公司 一种虚拟角色的捏脸处理方法、装置及可读存储介质
CN111899342A (zh) * 2020-06-29 2020-11-06 中铁第一勘察设计院集团有限公司 基于中心数据库的图形建立方法和装置
CN112090082A (zh) * 2020-09-27 2020-12-18 完美世界(北京)软件科技发展有限公司 一种面部骨骼处理方法、装置、电子设备及存储介质
CN112973122A (zh) * 2021-03-02 2021-06-18 网易(杭州)网络有限公司 游戏角色上妆方法、装置及电子设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7039219B2 (en) * 2000-12-06 2006-05-02 Microsoft Corporation System and method providing improved head motion estimations for animation
CN101968892A (zh) * 2009-07-28 2011-02-09 上海冰动信息技术有限公司 根据一张人脸照片自动调整三维人脸模型的方法
CN103473804A (zh) * 2013-08-29 2013-12-25 小米科技有限责任公司 一种图像处理方法、装置和终端设备
CN104408616A (zh) * 2014-11-25 2015-03-11 苏州福丰科技有限公司 基于三维人脸识别的超市预付费支付方法
CN104899563A (zh) * 2015-05-29 2015-09-09 深圳大学 一种二维人脸关键特征点定位方法及系统
CN104978764A (zh) * 2014-04-10 2015-10-14 华为技术有限公司 三维人脸网格模型处理方法和设备
US20160148041A1 (en) * 2014-11-21 2016-05-26 Korea Institute Of Science And Technology Method for face recognition through facial expression normalization, recording medium and device for performing the method
CN107730519A (zh) * 2017-09-11 2018-02-23 广东技术师范学院 一种人脸二维图像到人脸三维重建的方法及系统
CN108363995A (zh) * 2018-03-19 2018-08-03 百度在线网络技术(北京)有限公司 用于生成数据的方法和装置
CN109087340A (zh) * 2018-06-04 2018-12-25 成都通甲优博科技有限责任公司 一种包含尺度信息的人脸三维重建方法及系统
CN109215131A (zh) * 2017-06-30 2019-01-15 Tcl集团股份有限公司 虚拟人脸的驱动方法及装置
CN109255830A (zh) * 2018-08-31 2019-01-22 百度在线网络技术(北京)有限公司 三维人脸重建方法和装置
CN109598749A (zh) * 2018-11-30 2019-04-09 腾讯科技(深圳)有限公司 一种三维人脸模型的参数配置方法、装置、设备及介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7039219B2 (en) * 2000-12-06 2006-05-02 Microsoft Corporation System and method providing improved head motion estimations for animation
CN101968892A (zh) * 2009-07-28 2011-02-09 上海冰动信息技术有限公司 根据一张人脸照片自动调整三维人脸模型的方法
CN103473804A (zh) * 2013-08-29 2013-12-25 小米科技有限责任公司 一种图像处理方法、装置和终端设备
CN104978764A (zh) * 2014-04-10 2015-10-14 华为技术有限公司 三维人脸网格模型处理方法和设备
US20160148041A1 (en) * 2014-11-21 2016-05-26 Korea Institute Of Science And Technology Method for face recognition through facial expression normalization, recording medium and device for performing the method
CN104408616A (zh) * 2014-11-25 2015-03-11 苏州福丰科技有限公司 基于三维人脸识别的超市预付费支付方法
CN104899563A (zh) * 2015-05-29 2015-09-09 深圳大学 一种二维人脸关键特征点定位方法及系统
CN109215131A (zh) * 2017-06-30 2019-01-15 Tcl集团股份有限公司 虚拟人脸的驱动方法及装置
CN107730519A (zh) * 2017-09-11 2018-02-23 广东技术师范学院 一种人脸二维图像到人脸三维重建的方法及系统
CN108363995A (zh) * 2018-03-19 2018-08-03 百度在线网络技术(北京)有限公司 用于生成数据的方法和装置
CN109087340A (zh) * 2018-06-04 2018-12-25 成都通甲优博科技有限责任公司 一种包含尺度信息的人脸三维重建方法及系统
CN109255830A (zh) * 2018-08-31 2019-01-22 百度在线网络技术(北京)有限公司 三维人脸重建方法和装置
CN109598749A (zh) * 2018-11-30 2019-04-09 腾讯科技(深圳)有限公司 一种三维人脸模型的参数配置方法、装置、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张鹏: "《基于Java 3D的虚拟现实技术研究与实践》", 31 August 2017 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111432267A (zh) * 2020-04-23 2020-07-17 深圳追一科技有限公司 视频调整方法、装置、电子设备及存储介质
CN111739155A (zh) * 2020-06-24 2020-10-02 网易(杭州)网络有限公司 虚拟角色捏脸方法、装置和终端设备
CN111899342A (zh) * 2020-06-29 2020-11-06 中铁第一勘察设计院集团有限公司 基于中心数据库的图形建立方法和装置
CN111729314A (zh) * 2020-06-30 2020-10-02 网易(杭州)网络有限公司 一种虚拟角色的捏脸处理方法、装置及可读存储介质
CN112090082A (zh) * 2020-09-27 2020-12-18 完美世界(北京)软件科技发展有限公司 一种面部骨骼处理方法、装置、电子设备及存储介质
CN112973122A (zh) * 2021-03-02 2021-06-18 网易(杭州)网络有限公司 游戏角色上妆方法、装置及电子设备

Also Published As

Publication number Publication date
CN110263617B (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN110189340B (zh) 图像分割方法、装置、电子设备及存储介质
CN109308727B (zh) 虚拟形象模型生成方法、装置及存储介质
CN108833818B (zh) 视频录制方法、装置、终端及存储介质
CN110263617A (zh) 三维人脸模型获取方法及装置
CN109767487A (zh) 人脸三维重建方法、装置、电子设备及存储介质
CN110141857A (zh) 虚拟角色的面部显示方法、装置、设备及存储介质
CN110139142A (zh) 虚拟物品显示方法、装置、终端及存储介质
CN109360210A (zh) 图像分割方法、装置、计算机设备及存储介质
CN108062400A (zh) 基于智能镜的试妆方法、智能镜及存储介质
CN110956580B (zh) 图像换脸的方法、装置、计算机设备以及存储介质
CN109285178A (zh) 图像分割方法、装置及存储介质
CN112337105B (zh) 虚拟形象生成方法、装置、终端及存储介质
CN110956971B (zh) 音频处理方法、装置、终端及存储介质
WO2020233403A1 (zh) 三维角色的个性化脸部显示方法、装置、设备及存储介质
CN110796083B (zh) 图像显示方法、装置、终端及存储介质
CN109522863A (zh) 耳部关键点检测方法、装置及存储介质
CN108965922A (zh) 视频封面生成方法、装置和存储介质
CN109947338A (zh) 图像切换显示方法、装置、电子设备及存储介质
CN109978996A (zh) 生成表情三维模型的方法、装置、终端及存储介质
CN109325924A (zh) 图像处理方法、装置、终端及存储介质
CN109583370A (zh) 人脸结构网格模型建立方法、装置、电子设备及存储介质
CN109948581A (zh) 图文渲染方法、装置、设备及可读存储介质
CN110290426A (zh) 展示资源的方法、装置、设备及存储介质
CN107563353B (zh) 一种图像处理方法、装置及移动终端
CN109218169A (zh) 即时通讯方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230907

Address after: 621B, 6th Floor, No. 55 Donganmen Street, Dongcheng District, Beijing, 100000

Patentee after: Beijing Yongxing Interactive Technology Co.,Ltd.

Address before: 100013 Building 1, building a, Yonghe palace one center, No. 51 Hepingli West Street, Dongcheng District, Beijing

Patentee before: BEIJING YONGHANG TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right