CN110111418B - 创建脸部模型的方法、装置及电子设备 - Google Patents

创建脸部模型的方法、装置及电子设备 Download PDF

Info

Publication number
CN110111418B
CN110111418B CN201910403884.8A CN201910403884A CN110111418B CN 110111418 B CN110111418 B CN 110111418B CN 201910403884 A CN201910403884 A CN 201910403884A CN 110111418 B CN110111418 B CN 110111418B
Authority
CN
China
Prior art keywords
preset
face
key point
face image
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910403884.8A
Other languages
English (en)
Other versions
CN110111418A (zh
Inventor
徐胜伟
王权
朴镜潭
钱晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201910403884.8A priority Critical patent/CN110111418B/zh
Publication of CN110111418A publication Critical patent/CN110111418A/zh
Priority to PCT/CN2020/076134 priority patent/WO2020228389A1/zh
Priority to KR1020217008646A priority patent/KR102523512B1/ko
Priority to JP2021516410A priority patent/JP7191213B2/ja
Priority to SG11202103190VA priority patent/SG11202103190VA/en
Priority to TW109114456A priority patent/TW202044202A/zh
Priority to US17/212,523 priority patent/US11836943B2/en
Application granted granted Critical
Publication of CN110111418B publication Critical patent/CN110111418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)

Abstract

本申请提供一种创建脸部模型的方法、装置及电子设备，其中，所述方法包括：对当前人脸图像进行关键点检测，获得所述当前人脸图像的关键点特征；根据所述关键点特征从预设参考模型数据库中获取与所述当前人脸图像匹配的目标骨骼参数；依据所述目标骨骼参数和预设标准三维人脸模型，创建所述当前人脸图像对应的虚拟三维脸部模型。采用本申请提供的创建脸部模型的方法，可以高效且准确地创建出与当前人脸图像匹配的虚拟三维脸部模型。

Description

创建脸部模型的方法、装置及电子设备
技术领域
本申请涉及三维建模技术领域，特别涉及一种创建脸部模型的方法、装置及电子设备。
背景技术
随着移动终端和计算机技术的发展，游戏、虚拟社交等应用程序的用户使用率逐渐增高。在游戏和虚拟社交应用中，人们日益追求对虚拟角色的个性化设计，由此产生了对捏脸实现的极大需求，所谓捏脸，是指创建虚拟角色的三维脸部模型。目前，如何提高捏脸效率及准确性是本领域技术人员正在研究的技术。
发明内容
本申请实施例提供一种创建脸部模型的方法、装置及电子设备。
根据本申请实施例的第一方面，提供了一种创建脸部模型的方法，包括：
对当前人脸图像进行关键点检测，获得所述当前人脸图像的关键点特征；
根据所述关键点特征从预设参考模型数据库中获取与所述当前人脸图像匹配的目标骨骼参数；
依据所述目标骨骼参数和预设标准三维人脸模型，创建所述当前人脸图像对应的虚拟三维脸部模型；
其中，所述预设参考模型数据库包括：与从人脸图像样本中确定的参考关键点特征对应的参考骨骼参数，所述参考骨骼参数用于生成所述人脸图像样本对应的参考人脸模型。
结合本申请提供的任一方法实施例，在所述对输入的当前人脸图像进行关键点检测之前，所述方法还包括：
根据预设数量的所述人脸图像样本和所述预设标准三维人脸模型，确定所述预设参考模型数据库。
结合本申请提供的任一方法实施例，所述根据预设数量的所述人脸图像样本和所述预设标准三维人脸模型，确定所述预设参考模型数据库，包括：
获取含有所述预设数量的所述人脸图像样本的人脸图像样本集合，所述人脸图像样本集合中包括：表征至少一种预设局部人脸区域的多种预设图像样式；
依据所述人脸图像样本和所述预设标准三维人脸模型，创建所述人脸图像样本对应的所述参考人脸模型；
根据所述人脸图像样本与参考人脸模型数据的对应关系，确定所述预设参考模型数据库，所述预设参考模型数据库包括：表征所述预设图像样式的关键点特征与所述参考骨骼参数的对应关系。
结合本申请提供的任一方法实施例，所述依据所述人脸图像样本和所述预设标准三维人脸模型，创建所述人脸图像样本对应的所述参考人脸模型，包括：
对一幅所述人脸图像样本进行规范化处理，获得与预设标准人脸图像的头部姿态和图像尺寸符合的预处理人脸图像，其中，所述预设标准人脸图像为与所述预设标准三维人脸模型对应的二维人脸图像；
对所述预处理人脸图像进行关键点检测，获得所述人脸图像样本的参考关键点集合，所述参考关键点集合包括：表征所述预设局部人脸区域的参考关键点组合；
基于所述参考关键点组合对所述预设标准三维人脸模型中对应关键点位置的骨骼参数进行调整，创建所述人脸图像样本的所述参考人脸模型。
结合本申请提供的任一方法实施例，所述对当前人脸图像进行关键点检测，获得所述当前人脸图像的关键点特征，包括：
对所述当前人脸图像进行关键点检测，获得预设数量关键点的位置坐标；
根据所述预设数量关键点的位置坐标确定所述关键点特征。
结合本申请提供的任一方法实施例，所述关键点特征包括：关键点坐标组合，和/或，特征曲线；
所述根据所述预设数量关键点的位置坐标确定所述关键点特征，包括：
基于所述预设数量关键点的位置坐标，确定表征一个局部人脸区域的所述关键点坐标组合；和/或，
根据所述表征至少一个局部人脸区域的关键点坐标组合，拟合出表征所述局部人脸区域的所述特征曲线。
结合本申请提供的任一方法实施例，所述根据所述关键点特征从预设参考模型数据库中获取与所述当前人脸图像匹配的目标骨骼参数，包括：
根据所述当前人脸图像中预设局部人脸区域的关键点特征，从所述预设参考模型数据库中匹配出对应的目标参考关键点特征；
依据所述目标参考关键点特征对应的参考骨骼参数，确定所述预设局部人脸区域的骨骼参数，获得所述当前人脸图像的目标骨骼参数。
结合本申请提供的任一方法实施例，所述根据所述当前人脸图像中预设局部人脸区域的关键点特征，从所述预设参考模型数据库中匹配出对应的目标参考关键点特征，包括：
确定所述预设局部人脸区域的关键点特征与所述预设参考模型数据库中对应参考关键点特征之间的相似度；
将相似度最高的参考关键点特征确定为所述目标参考关键点特征。
结合本申请提供的任一方法实施例，所述关键点特征为根据关键点位置坐标拟合成的特征曲线；
所述确定所述局部人脸区域的关键点特征与所述预设参考模型数据库中对应参考关键点特征之间的相似度，包括：
根据一个预设局部人脸区域的关键点坐标组合，拟合出表征所述预设局部人脸区域的特征曲线；
确定所述特征曲线与所述参考模型数据库中对应参考特征曲线之间的预设距离度量值，依据所述预设距离度量值表示所述相似度。
结合本申请提供的任一方法实施例，所述预设距离度量值包括：欧式距离值，或者，弗雷歇frechet距离值；
所述将相似度最高的参考关键点特征确定为所述目标参考关键点特征，包括：
将所述预设距离度量值最小的参考特征曲线确定为所述目标参考关键点特征。
结合本申请提供的任一方法实施例，所述确定所述局部人脸区域的关键点特征与所述预设参考模型数据库中对应参考关键点特征之间的相似度，包括：
在一个所述预设局部人脸区域由至少两个子区域的关键点特征进行表征的情况下，分别确定每个所述子区域的关键点特征与所述预设参考模型数据库中对应子区域的参考关键点特征之间的相似度，获得至少两个局部相似度；
根据所述至少两个局部相似度之和，确定所述预设局部人脸区域与每个所述人脸图像样本中对应预设局部人脸区域之间的整体相似度。
结合本申请提供的任一方法实施例，所述至少一种预设局部人脸区域包括以下至少一项：
眉毛、眼睛、鼻子、嘴巴、脸部轮廓。
结合本申请提供的任一方法实施例，所述当前人脸图像对应的虚拟三维脸部模型为：与所述当前人脸图像中的人对应的卡通化虚拟三维人脸模型。
根据本申请实施例的第二方面，提供了了一种创建脸部模型的装置，所述装置包括：
关键点检测模块，用于对当前人脸图像进行关键点检测，获得所述当前人脸图像的关键点特征；
参数匹配模块，用于根据所述关键点特征从预设参考模型数据库中获取与所述当前人脸图像匹配的目标骨骼参数；
模型创建模块，用于依据所述目标骨骼参数和预设标准三维人脸模型，创建所述当前人脸图像对应的虚拟三维脸部模型；
其中，所述预设参考模型数据库包括：与从人脸图像样本中确定的参考关键点特征对应的参考骨骼参数，所述参考骨骼参数用于生成所述人脸图像样本对应的参考人脸模型。
结合本申请提供的任一装置实施例，所述装置还包括：
数据库创建模块，用于根据预设数量的所述人脸图像样本和所述预设标准三维人脸模型，确定所述预设参考模型数据库。
结合本申请提供的任一装置实施例，所述数据库创建模块，包括：
样本获取子模块，用于获取含有所述预设数量的所述人脸图像样本的人脸图像样本集合，所述人脸图像样本集合中包括：表征至少一种预设局部人脸区域的多种预设图像样式；
参考模型创建子模块，用于依据所述人脸图像样本和所述预设标准三维人脸模型，创建所述人脸图像样本对应的所述参考人脸模型；
数据库确定子模块，用于根据所述人脸图像样本与参考人脸模型数据的对应关系，确定所述预设参考模型数据库，所述预设参考模型数据库包括：表征所述预设图像样式的关键点特征与所述参考骨骼参数的对应关系。
结合本申请提供的任一装置实施例，所述参考模型创建子模块，包括：
图像预处理单元，用于对一幅所述人脸图像样本进行规范化处理，获得与预设标准人脸图像的头部姿态和图像尺寸符合的预处理人脸图像，其中，所述预设标准人脸图像为与所述预设标准三维人脸模型对应的二维人脸图像；
关键点检测单元，用于对所述预处理人脸图像进行关键点检测，获得所述人脸图像样本的参考关键点集合，所述参考关键点集合包括：表征所述预设局部人脸区域的参考关键点组合；
参考模型创建单元，用于基于所述参考关键点组合对所述预设标准三维人脸模型中对应关键点位置的骨骼参数进行调整，创建所述人脸图像样本的所述参考人脸模型。
结合本申请提供的任一装置实施例，所述关键点检测模块，包括：
关键点定位子模块，用于对所述当前人脸图像进行关键点检测，获得预设数量关键点的位置坐标；
关键点特征确定子模块，用于根据所述预设数量关键点的位置坐标确定所述关键点特征。
结合本申请提供的任一装置实施例，所述关键点特征包括：关键点坐标组合，和/或，特征曲线；
所述关键点特征确定子模块，包括：
坐标组合确定单元，用于基于所述预设数量关键点的位置坐标，确定表征一个局部人脸区域的所述关键点坐标组合；和/或，
特征曲线确定单元，用于根据所述表征至少一个局部人脸区域的关键点坐标组合，拟合出表征所述局部人脸区域的所述特征曲线。
结合本申请提供的任一装置实施例，所述参数匹配模块，包括：
特征匹配子模块，用于根据所述当前人脸图像中预设局部人脸区域的关键点特征，从所述预设参考模型数据库中匹配出对应的目标参考关键点特征；
骨骼参数确定子模块，用于依据所述目标参考关键点特征对应的参考骨骼参数，确定所述预设局部人脸区域的骨骼参数，获得所述当前人脸图像的目标骨骼参数。
结合本申请提供的任一装置实施例，所述特征匹配子模块，包括：
相似度确定单元，用于确定所述预设局部人脸区域的关键点特征与所述预设参考模型数据库中对应参考关键点特征之间的相似度；
目标特征确定单元，用于将相似度最高的参考关键点特征确定为所述目标参考关键点特征。
结合本申请提供的任一装置实施例，所述关键点特征为根据关键点位置坐标拟合成的特征曲线；
所述相似度确定单元，包括：
曲线拟合子单元，用于根据一个预设局部人脸区域的关键点坐标组合，拟合出表征所述预设局部人脸区域的特征曲线；
相似度确定子单元，用于确定所述特征曲线与所述参考模型数据库中对应参考特征曲线之间的预设距离度量值，依据所述预设距离度量值表示所述相似度。
结合本申请提供的任一装置实施例，所述预设距离度量值包括：欧式距离值，或者，弗雷歇frechet距离值；
所述目标特征确定单元，用于将所述预设距离度量值最小的参考特征曲线确定为所述目标参考关键点特征。
结合本申请提供的任一装置实施例，所述相似度确定单元，包括：
局部相似度确定子单元，用于在一个所述预设局部人脸区域由至少两个子区域的关键点特征进行表征的情况下，分别确定每个所述子区域的关键点特征与所述预设参考模型数据库中对应子区域的参考关键点特征之间的相似度，获得至少两个局部相似度；
整体相似度确定子单元，用于根据所述至少两个局部相似度之和，确定所述预设局部人脸区域与每个所述人脸图像样本中对应预设局部人脸区域之间的整体相似度。
结合本申请提供的任一装置实施例，所述至少一种预设局部人脸区域包括以下至少一项：
眉毛、眼睛、鼻子、嘴巴、脸部轮廓。
结合本申请提供的任一装置实施例，所述模型创建模块输出的所述当前人脸图像对应的虚拟三维脸部模型为：与所述当前人脸图像中的人对应的卡通化虚拟三维人脸模型。根据本申请实施例的第三方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一项所述的方法。
根据本申请实施例的第四方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述第一方面任一项所述的方法。
采用本申请实施例提供的创建脸部模型的方法，计算机系统在获取到当前人脸图像后可以进行关键点检测，并通过表征局部人脸区域的关键点特征从预设参考模型数据库中快速匹配出对应的目标骨骼参数，依据上述目标骨骼参数自动对预设标准三维人脸模型进行骨骼参数调整，自动创建出适配所述当前人脸图像的虚拟三维脸部模型。在整个模型创建过程中，无需用户根据自己的主观判断、不断尝试手动调整复杂的骨骼参数，减小了用户操作难度；并且根据人脸局部区域特征的规律性，预先获得预设参考模型数据库的数据量不大，使得计算机系统根据当前人脸图像的关键点特征可以从上述预设参考模型数据库中快速匹配出目标骨骼参数，从而利用该目标骨骼参数和预设标准人脸模型高效且准确地创建出与当前人脸图像匹配的虚拟三维脸部模型。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是本申请根据一示例性实施例示出的一种创建脸部模型的方法流程图；
图2是本申请根据一示例性实施例示出的一种创建脸部模型的应用场景示意图；
图3-1是本申请根据一示例性实施例示出的另一种创建脸部模型的应用场景示意图；
图3-2是本申请根据一示例性实施例示出的另一种创建脸部模型的应用场景示意图；
图4是本申请根据一示例性实施例示出的另一种创建脸部模型的方法流程图；
图5是本申请根据一示例性实施例示出的另一种创建脸部模型的方法流程图；
图6是本申请根据一示例性实施例示出的另一种创建脸部模型的方法流程图；
图7是本申请根据一示例性实施例示出的另一种创建脸部模型的应用场景示意图；
图8是本申请根据一示例性实施例示出的另一种创建脸部模型的方法应用场景示意图；
图9-1是本申请根据一示例性实施例示出的另一种创建脸部模型的方法应用场景示意图；
图9-2是本申请根据一示例性实施例示出的另一种创建脸部模型的方法应用场景示意图；
图9-3是本申请根据一示例性实施例示出的另一种创建脸部模型的方法应用场景示意图；
图10是本申请根据一示例性实施例示出的另一种创建脸部模型的方法流程图；
图11是本申请根据一示例性实施例示出的另一种创建脸部模型的方法流程图；
图12是本申请根据一示例性实施例示出的另一种创建脸部模型的方法流程图；
图13是本申请根据一示例性实施例示出的另一种创建脸部模型的方法流程图；
图14是本申请根据一示例性实施例示出的一种创建脸部模型的装置框图；
图15是本申请根据一示例性实施例示出的另一种创建脸部模型的装置框图；
图16是本申请根据一示例性实施例示出的另一种创建脸部模型的装置框图；
图17是本申请根据一示例性实施例示出的另一种创建脸部模型的装置框图；
图18是本申请根据一示例性实施例示出的另一种创建脸部模型的装置框图；
图19是本申请根据一示例性实施例示出的另一种创建脸部模型的装置框图；
图20是本申请根据一示例性实施例示出的另一种创建脸部模型的装置框图；
图21是本申请根据一示例性实施例示出的另一种创建脸部模型的装置框图；
图22是本申请根据一示例性实施例示出的另一种创建脸部模型的装置框图；
图23是本申请根据一示例性实施例示出的另一种创建脸部模型的装置框图；
图24是本申请根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在游戏行业和虚拟现实的推动下，数字化虚拟角色得到了大量的应用。以游戏应用场景为例，“虚拟角色”已经从单一的虚拟形象演变为玩家设计自己的角色，从而创建独具个性的角色形象。
本申请实施例中，提供了一种基于虚拟骨骼控制方式创建虚拟角色三维脸部模型的方法。
在本申请实施例中，涉及的执行主体包括：计算机系统，还可以包括：摄像头，用于实时采集输入模型创建系统的人脸图像。
上述计算机系统可以设置于服务器、服务器集群或者云平台中，也可以是个人计算机、移动终端等电子设备中的计算机系统。上述移动终端可以具体为智能手机、PDA(Personal Digital Assistant，个人数字助理)、平板电脑、游戏机等电子设备。在具体实现过程中，摄像头和计算机系统，各自独立，同时又相互联系，共同实现本申请实施例提供的创建脸部模型的方法。下面以计算机系统为例，对本公开提供的创建脸部模型的进行详细说明。
参见图1根据一示例性实施例示出的一种创建脸部模型的方法流程图，该方法可以包括：
步骤11，对当前人脸图像进行关键点检测，获得所述当前人脸图像的关键点特征；
以游戏场景为例，本申请实施例中，在预设游戏应用界面可以提供有用户操作入口，游戏玩家可以通过该用户操作入口输入一幅人脸图像，以期待计算机后台程序根据该人脸图像创建出相应的虚拟三维人脸模型，即计算机系统通过捏脸功能创建一个虚拟三维人脸模型，进而创建出符合游戏玩家个性化需求的游戏角色。
上述当前人脸图像可以是游戏玩家自身拍摄的人脸图像，也可以是根据自己的喜好从预设图片数据库中选取的一幅人脸图像。上述人脸图像可以是针对现实世界中的人拍摄的图像，也可以是虚拟人物的二维人脸图像，比如用户手工或采用绘图软件设计的虚拟人物画像，本申请实施例对当前人脸图像的获取方式以及人脸图像中的人物在现实世界的真实存在性不作限定。
相应的，具备捏脸功能的计算机系统在接收到用户输入的当前人脸图像后，可以首先对当前人脸图像进行规范化处理，获得预设头部姿态和预设图像尺寸的人脸区域图像，比如，利用预先训练好的神经网络进行人脸检测、脸部姿态校正、图像缩放等处理，获得预处理后的人脸区域图像。该预处理后的人脸区域图像可以是预设图像尺寸大小、符合预设头部姿态的人脸图像。
然后，利用相关人脸关键点检测方法对上述预处理后的人脸区域图像进行关键点检测，获得当前人脸图像对应的关键点特征。
本申请中，当前人脸图像的关键点特征可以是：各关键点的位置坐标信息，也可以是：根据图像中关键点位置坐标拟合而成的、表征局部人脸区域的特征曲线，如眼睑线、唇线等轮廓线。
步骤12，根据所述关键点特征从预设参考模型数据库中获取与所述当前人脸图像匹配的目标骨骼参数；
本申请中，鉴于人脸面部五官具有较强的规律性，对于每一部位的图像特征可以采用有限类型的图像样式进行表征。例如，通过有限的几种眼型样式即可表达大部分人的眼睛特征；采用有限种类的眉毛样式图像即可表征大部分人的眉毛特征，如图2所示，采用十二种眉型可以涵盖大部分人脸部图像中的眉毛特征。
基于此，本申请实施例中，计算机系统可以预先根据一定数量的人脸图像样本确定上述预设参考模型数据库。其中，上述预设参考模型数据库中包括：与从人脸图像样本中确定的参考关键点特征对应的参考骨骼参数，所述参考骨骼参数用于生成所述人脸图像样本对应的参考人脸模型。
计算机系统在获取当前人脸图像中各预设局部人脸区域的关键点特征之后，可以从人脸图像样本的参考关键点中查找出与所述关键点特征最相似的目标参考关键点特征，然后，从上述预设参考模型数据库中、获取与上述目标参考关键点特征对应的目标参考骨骼参数，将上述目标参考骨骼参数确定为与所述当前人脸图像适配的目标骨骼参数，具体实施过程将在下文详细描述。
需要说明的是，本申请对上述预设参考模型数据库的数据结构不作限定，例如，在本申请另一实施例中，该预设参考模型数据库可以包括：用于生成预人脸图像样本对应的参考人脸模型的参考骨骼参数，以及，从所述人脸图像样本中获取的参考关键点特征与所述参考骨骼参数的对应关系。
在确定当前人脸图像的关键点特征后，利用表征各个预设局部人脸区域的关键点特征匹配上述预设参考模型数据库，从中获取相似关键点特征对应的参考骨骼参数，作为当前人脸图像中局部人脸区域的目标骨骼参数。依照上述方式获得各个局部人脸区域的目标骨骼参数，如眼部、嘴部、眉毛、鼻子、脸部轮廓等区域对应的目标骨骼参数，从而获得适配当前人脸图像的一套目标骨骼参数。
步骤13，依据所述目标骨骼参数和预设标准三维人脸模型，创建所述当前人脸图像对应的虚拟三维脸部模型。
在确定当前人脸图像对应的目标骨骼参数之后，计算机系统可以依据上述目标骨骼参数对预设标准三维人脸模型中的骨骼进行参数调整，生成反映当前人脸图像中人的脸部特征的虚拟三维脸部模型。
其中，该虚拟三维脸部模型可以是接近图像中实际人物脸部特征的虚拟三维脸部模型，也可以是能够反映人脸图像中人物神态的卡通化虚拟三维脸部模型，本申请实施例不限定最后输出的三维脸部模型必须接近人脸图像中现实世界人物的脸部特征。
示例性的，参见图3-1根据一示例性实施例示出的一种标准三维人脸模型的示意图，该标准三维人脸模型属于一种卡通化虚拟三维脸部模型，相应的，图3-2示出了上述标准人脸三维模型的骨骼示意图，整个模型由预设数量的骨骼架构，如61根骨骼，图3-2中每两点之间的连线代表一根骨骼。每个部位涉及预设数量的骨骼，如鼻子部位涉及3根骨骼，通过调整该3根骨骼的参数可以生成不同类型的三维鼻子模型。
可知，本申请实施例中，计算机系统在获取到当前人脸图像后可以进行关键点检测，并通过表征局部人脸区域的关键点特征从预设参考模型数据库中快速匹配出对应的目标骨骼参数，依据上述目标骨骼参数自动对预设标准三维人脸模型进行骨骼参数调整，自动创建出适配所述当前人脸图像的虚拟三维脸部模型。
在整个模型创建过程中，无需用户根据自己的主观判断、不断尝试手动调整复杂的骨骼参数，减小了用户操作难度；并且根据人脸局部区域特征的规律性，预先获得预设参考模型数据库的数据量不大，使得计算机系统根据当前人脸图像的关键点特征可以从上述预设参考模型数据库中快速匹配出目标骨骼参数，从而利用该目标骨骼参数和预设标准人脸模型高效且准确地创建出与当前人脸图像匹配的虚拟三维脸部模型，具有较好的泛化性。
相应的，对于系统中还未建立上述预设参考模型数据库的情况，比如，系统首次开机或系统初始化的情况，在输入人脸图像进行创建脸部模型之前，上述方法还包括创建所述预设参考模型数据库。
参见图4根据一示例性实施例示出的另一种创建脸部模型的方法流程图，在上述步骤11之前，所述方法还可以包括：
步骤10，根据预设数量的人脸图像样本和所述预设标准三维人脸模型，确定所述预设参考模型数据库。
本申请实施例中，可以获取预设数量的、包含各部位图像样式的人脸图像样本，并手动标注出上述人脸图像样本中各部位的不同图像样式。然后，基于上述经过特征标注后的人脸图像样本和预设标准三维人脸模型，通过骨骼控制方式生成上述预设数量人脸图像样本分别对应的虚拟三维人脸模型。本申请实施例中，将根据一个人脸图像样本和预设标准三维人脸模型生成的虚拟三维人脸模型，称为参考人脸模型。
示例性的，假设有201个人脸图像样本，则计算机系统会对应生成201个参考人脸模型，并依据该201个参考人脸模型的相关数据生成上述预设参考模型数据库。
此处需要说明的是，上述创建预设参考模型数据库的执行主体不限定与后序应用阶段模型创建的执行主体必须是同一计算机系统。比如，上述创建预设参考模型数据库的过程可以由云端计算机系统，比如云端服务器执行，而上述步骤11～13的执行主体可以是一终端设备的计算机系统。鉴于目前终端设备的计算能力不断增强，同时本申请实施例无需数量巨大的人脸图像样本数据，在本申请另一实施例中，上述预设参考模型数据库的确定过程和后序应用阶段的模型创建过程可以都由终端设备的计算机系统执行。
参见图5根据一示例性实施例示出的另一种创建脸部模型的方法流程图，上述步骤10可以包括：
步骤101，获取含有所述预设数量的人脸图像样本的人脸图像样本集合，所述人脸图像样本集合中包括：表征至少一种预设局部人脸区域的多种预设图像样式；
本申请实施例中，上述人脸图像样本集合中可以包括上述一定数量的人脸图像样本。其中，上述一定数量的人脸图像样本中尽可能全面地包含各个部位的不同图像样式，以确保对应生成的预设参考模型数据库包括尽可能全面的参考数据，如参考关键点特征、参考骨骼参数等。
关于人脸图像样本集合包括人脸图像样本的数量，可以满足以下条件：
以用户的二维人脸图像为例，对于随机采集的一张二维人脸图像，如图像A，从上述人脸图像样本集合包含的各部位的预设图像样式中，可以找到上述图像A中不同脸部区域对应的图像样式；或者说，根据从上述一定数量的人脸图像样本中选择性提取不同脸部区域如五官部位的图像样式，可以大致拼凑出一幅、与上述图像A的人脸相似的人脸图像。
本申请实施例中，根据现实世界中存在的常见五官类型，搜集一定数量的人脸样本图像，获得人脸样本图像集合。
本申请一实施例中，根据现实世界不同人的眉毛、眼睛、鼻子、嘴巴、脸部轮廓的不同样式，搜集了201张人脸图像样本确定上述人脸图像样本集合。该201个人脸图像样本可以包含有每一种预设局部人脸区域的多种预设图像样式，其中，上述预设局部人脸区域是指从二维人脸图像中识别出的眉毛区域、眼睛区域、鼻子区域、脸部轮廓等区域。
比如，该201个人脸图像样本中包含上述图2所示的眉毛区域对应的12种眉型，以此类推，该201个人脸图像样本包含嘴部、眼部、鼻子、脸部轮廓等局部人脸区域分别对应的多种预设图像样式。
步骤102，依据所述人脸图像样本和所述预设标准三维人脸模型，创建所述人脸图像样本对应的参考三维人脸模型；
本申请实施例中，可以根据每一幅人脸图像样本和上述预设标准三维人脸模型创建对应的虚拟三维人脸模型，本申请实施例中，将针对每一个人脸图像样本创建的虚拟三维人脸模型称为参考三维人脸模型。每一个参考三维人脸模型对应一套骨骼控制参数。
关于如何基于预设标准三维人脸模型和一个人脸图像样本，创建一个参考三维人脸模型，可以参见图6根据一示例性实施例示出的另一种创建脸部模型的方法流程图，上述步骤102可以包括：
步骤1021，对一幅所述人脸图像样本进行规范化处理，获得与预设标准人脸图像的头部姿态和图像尺寸符合的预处理人脸图像，其中，所述预设标准人脸图像为所述预设标准三维人脸模型对应的二维人脸图像。
本申请中，在参考模型数据库建立阶段，针对每一幅人脸图像样本可以进行人脸区域检测、头部姿态校正、图像缩放等规范化处理，获得与预设标准人脸图像的头部姿态和图像尺寸符合的预处理人脸图像。
该预处理人脸图像与上述预设标准人脸图像相比，可以理解为同一台相机使用相同的图像采集参数、针对相同物距处、两个头部姿态相同的人，分别采集的人脸图像。
其中，上述预设标准人脸图像可以理解为上述预设标准三维人脸模型在预设图像坐标系中的投影图像。或者说，上述预设标准三维人脸模型是计算机系统对上述预设标准人脸图像进行关键点检测后，根据获得的特征点集合，比如240个关键点位置坐标，以及预设数量的骨骼如61根骨骼，创建的虚拟三维人脸模型。
步骤1022，对所述预处理人脸图像进行关键点检测，获得所述人脸图像样本的参考关键点集合，所述参考关键点集合包括：表征所述预设局部人脸区域的参考关键点组合；
在获得预处理人脸图像之后，采用预设关键点检测方法从该预处理人脸图像中提取预设数量的关键点，如68个关键点、106个关键点、或者，240个关键点，提取的关键点数量越多越能够实现对预设局部人脸区域的细节表达。
在对人脸区域图像进行关键点检测的过程中，可以采用预设算法如边缘检测robert算法，索贝尔sobel算法等；也可通过相关模型如主动轮廓线snake模型等等来进行关键点检测。
在本申请另一实施例中，还可以通过用于进行人脸关键点检测的神经网络进行关键点定位。进一步地，还可以通过第三方应用来进行人脸关键点检测，如通过第三方工具包Dlib来进行人脸关键点定位，检测出68个脸部关键点，如图7所示。
采用上述方法可以检测出预设数量的脸部关键点位置，如采用240人脸关键点定位技术从当前输入的人脸图像中定位240个关键点的位置坐标，其中可以包括：左眼、右眼、双侧眉毛、鼻子、嘴巴、脸部轮廓等局部区域的人脸关键点的位置坐标。
本申请一实施例中，计算机系统可以采用240人脸关键点定位技术从当前输入的人脸图像中定位240个关键点的位置坐标，实现对当前人脸图像中眉毛、眼睛、嘴唇、面部表情等关键部位细节特征的定位。
关于参考关键点组合，本申请另一实施例中，可以按照预置规则确定各个参考关键点的序号，并确定表征每一种局部人脸区域的参考关键点组合。例如，在图7所示示例中，计算机系统从当前人脸样本图像中提取出了68个关键点；由18～22号参考关键点构成的参考关键点组合，表征人脸图像中的左眉区域。依此类推，采用不同的关键点组合表征不同的预设局部人脸区域。
本申请中，每一个关键点的信息包括：序号和坐标位置。对于不同的人脸图像样本，表征同一预设局部人脸区域的关键点序号、数量相同，但关键点的坐标位置不同。如上示例，从上述预设标准人脸图像提取的第18～22号关键点组合也是表征预设标准人脸图像中的左眉区域，但各个关键点的坐标位置与图7所示示例中第18～22号关键点的坐标位置不同。
此处需要说明的是，关键点的坐标位置是指关键点在预设图像坐标系如图7所示的XOY坐标系中的位置。由于预处理后的人脸图像的尺寸相同，所以针对各个预处理人脸图像可以采用相同的图像坐标系如图7所示的XOY坐标系，来表示不同预处理人脸图像中关键点的位置坐标，从而进行后序的预设距离度量值的计算。
步骤1023，基于所述参考关键点组合对所述预设标准三维人脸模型中对应关键点位置的骨骼参数进行调整，创建所述人脸图像样本的参考人脸模型。
本申请实施例中，系统预设有关键点组合与预设骨骼的映射关系，该映射关系表示上述关键点组合表征的预设局部人脸区域在生成对应的三维部位模型时，需要调整哪些骨骼的参数。
示例性的，假设所述预设标准三维人脸模型中鼻子区域涉及3根骨骼，可以表示为G1～G3；则本申请中可以通过对上述3根骨骼手动调整参数，主观判断生成的鼻子三维模型与人脸图像样本中的鼻子形状逼近时，确定鼻子部位的三维模型创建完成。相应的，当前3根骨骼的骨骼控制参数为所述人脸图像样本中鼻子图像样式对应的参考骨骼参数。
依此类推，通过手动调整各区域的骨骼参数，使得生成的虚拟三维人脸模型满足用户期待时，即完成参考人脸模型的创建。同时，可以确定当前人脸图像样本中、每一参考关键点组合对应的参考骨骼参数，也即所述人脸图像样本中各区域图像样式对应的参考骨骼参数，获得当前人脸图像样本对应的参考人脸模型数据。该参考人脸模型数据可以包括：每个所述局部人脸区域的参考关键点组合和所述参考骨骼参数的对应关系。
本申请实施例中，对一个人脸图像样本成功建立虚拟三维人脸模型即参考人脸模型之后，可以根据表征各个局部人脸区域的参考关键点组合与参考骨骼参数的对应关系，获得一个人脸图像样本对应的参考人脸模型数据。
以上述步骤1021～步骤1023描述了依据一幅人脸图像样本创建相应的参考人脸模型的过程。
步骤103，根据所述人脸图像样本与参考人脸模型数据的对应关系，确定所述预设参考模型数据库，所述预设参考模型数据库包括：表征每一种所述预设图像样式的关键点特征与参考骨骼参数的对应关系。
本申请实施例中，可以按照图6所示的方法创建每一幅人脸图像样本对应的参考人脸模型，进而确定每一幅人脸图像样本对应的参考人脸模型数据。
在获取每一个人脸图像样本的参考人脸模型数据之后，可以根据人脸图像样本与参考人脸模型数据的对应关系，建立预设参考模型数据库。可知，该预设参考模型数据库中，可以包含表征每一种预设局部人脸区域的图像样式的参考关键点组合与参考骨骼参数的对应关系、每个人脸图像样本的参考关键点特征数据、以及每个参考人脸模型对应的参考骨骼参数。需要说明的是，在基于骨骼创建模型的方式中，骨骼存在父子骨骼关系，当父骨骼移动的时，会带动子骨骼移动，类似手腕运动会带动手掌的骨骼运动。一个区域部分的骨骼参数调整与整个模型中其他骨骼的调整参数关联，因此，本申请实施例中，预设参考模型数据库中，以整个参考人脸模型对应的一套参考骨骼参数进行数据存储。
以上对如何建立预设参考模型数据库进行了详细介绍。
在实际应用阶段，计算机系统对输入的当前人脸图像进行关键点检测，获得关键点特征之后，将自动根据当前人脸图像的关键点特征匹配上述预设参考模型数据库，从中匹配出不同局部人脸区域的目标骨骼参数。
关于上述步骤11的实施，参见图8根据一示例性实施例示出创建脸部模型的方法流程图，上述步骤11可以包括：
步骤111，对所述当前人脸图像进行关键点检测，获得预设数量关键点的位置坐标；
如上所述，在本申请一实施例中，计算机系统对当前人脸图像规范化处理，即对当前人脸图像进行人脸区域检测、头部姿态校正、图像缩放等处理后，获得与上述预设标准人脸图像尺度相同的预处理图像，之后，可以采用预设人脸关键点定位技术对上述预处理图像进行关键点检测。例如，采用240人脸关键点定位技术对上述预处理图像进行关键点检测，获得240个人脸关键点的位置坐标。
步骤112，根据所述预设数量关键点的位置坐标确定所述关键点特征。
本申请实施例中，在获取当前人脸图像的关键点位置坐标之后，可以确定至少一个预设局部人脸区域的关键点特征。
对于一个预设局部人脸区域比如眉毛区域，其关键点特征可以包括以下至少两种表示方式：
方式一，利用关键点的位置坐标组合表示一个预设局部人脸区域的关键点特征
在本申请一实施例中，可以将表征一个预设局部人脸区域的关键点坐标组合，作为该预设局部人脸区域的关键点特征。
示例性的，如图9-1所示，将序号为18～22的关键点的坐标位置确定为左眉区域的关键点特征。
本申请中，对于不同的人脸图像，虽然采用相同的关键点数和序号表征同一局部人脸区域，但在不同人脸图像中，同一序号关键点在图像坐标系中的坐标位置不同。比如，在第一人脸图像中，关键点18的坐标位置为(80，15)即第80行第15列像素定位的位置。在第二人脸图像样本中，关键点18的坐标位置可以为(100，20)即第100行第20列像素定位的位置。因此，可以利用关键点组合的位置坐标有效区分不同人的脸部特征。
方式二，利用关键点坐标组合的拟合曲线表示一个预设局部脸部区域的关键点特征
在本申请一实施例中，还可以根据所述表征一个预设局部人脸区域的关键点坐标组合，拟合表征所述局部人脸区域的特征曲线。将该特征曲线作为该预设局部人脸区域的关键点特征。
示例性的，如9-2所示，将根据序号为18～22的关键点坐标位置拟合而成的特征曲线作为左眉区域的关键点特征。同理，参见图9-3根据一示例性实施例示出了一种眼部关键点特征的示意图，根据眼部关键点1～12的位置坐标拟合出眼睑特征曲线，作为左眼的关键点特征。
可知，对于不同的人，由于关键点组合中各关键点的位置坐标不同，根据关键点位置坐标拟合出的曲线形状也不同，因此，可以将上述特征曲线作为表征当前人脸图像中一预设局部人脸区域的关键点特征，以区分不同人脸。
关于上述步骤12的实施，本申请实施例中，可以通过关键点特征之间的相似度从预设参考模型数据库中查找当前人脸图像的目标骨骼参数。
参见图10根据一示例性实施例示出创建脸部模型的方法流程图，上述步骤12可以包括：
步骤121，根据所述当前人脸图像中预设局部人脸区域的关键点特征，从所述预设参考模型数据库中匹配出对应的目标参考关键点特征；
参见图11根据一示例性实施例示出创建脸部模型的方法流程图，上述步骤121可以包括：
步骤1211，确定所述预设局部人脸区域的关键点特征与所述预设参考模型数据库中对应参考关键点特征之间的相似度；
本申请实施例中，根据关键点特征的表现形式不同，可以采用不同的度量方式从预设参考模型数据库中查找相似的参考关键点特征。
对应预设参考模型数据库中存储的参考关键点特征为参考关键点坐标组合的情况，可以根据关键点坐标组合之间的欧式距离，确定针对一预设局部人脸区域的关键点特征与参考关键点特征之间的相似度。
仍以图9-1所示，可以分别计算当前人脸图像中的关键点18～22的位置坐标与任一人脸图像样本中关键点18～22位置坐标之间的欧式距离，可以分别表示为：l18、l19、l20、l21、l22，其中，l18表示当前人脸图像的关键点18的位置坐标与一人脸图像样本中关键点18的位置坐标之间的欧式距离。则两个图像中左眉区域的相似度可以表示各关键点的欧式距离之和L。在一实施例中，L可以表示为：L＝l18+l19+l20+l21+l22。
在本申请另一实施例中，上述相似度还可以表示为关键点之间欧式距离的加权值。仍如上示例，可以根据实际应用场景，对各个关键点设置预设权重，比如，分别对关键点18～22设置的权重为：α1、α2、α3、α4、α5，则L可以表示为：L＝α1*l18+α2*l19+α3*l20+α4*l21+α5*l22。
两组关键点坐标组合之间的欧式距离越小，说明该两组关键点坐标组合表征的预设局部人脸区域之间的相似度越高。
对应预设参考模型数据库中存储的参考关键点特征为参考特征曲线的情况，参见图12根据一示例性实施例示出创建脸部模型的方法流程图，上述步骤1211可以包括：
步骤12111，根据一个预设局部人脸区域的关键点坐标组合，拟合出表征所述预设局部人脸区域的特征曲线；
仍如图9-1所示，在从当前人脸图像中确定出第18～22号关键点的位置坐标后，可以按照预置规则如从左往右的顺序拟合出一条特征曲线，如图9-2所示。
步骤12112，确定所述特征曲线与所述预设参考模型数据库中对应参考特征曲线之间的预设距离度量值，依据所述预设距离度量值表示所述相似度。
本申请实施例中，可以利用弗雷歇frechet距离值度量关键点特征之间的相似性。
当关键点特征是特征曲线时，可以采用frechet距离值更好地度量两个特征曲线的相似度。
同理，两个特征曲线之间的frechet距离值越小，说明两条特征曲线的形状越相似，即相似度越高，相应的，两条特征曲线分别对应的预设局部人脸区域之间的相似度也越大。
在本申请另一实施例中，还可以采用二者相结合的方式来确定上述目标参考关键点特征。
对于当前人脸图像中任一预设局部人脸区域的关键点坐标组合，可以分别与上述参考人脸模型数据库中每一个参考人脸模型对应的关键点坐标组合计算欧式距离；
若所述参考人脸模型数据库中存在与上述关键点坐标组合的欧式距离值相同的、至少两组参考关键点组合，则进一步每个所述参考关键点组合与所述关键点坐标组合之间的frechet距离值；从而有效识别出与当前关键点坐标组合对应的特征曲线形状最接近的目标参考关键点特征。
在本申请另一实施例中，还可以根据不同部位的分布特点，采用不同策略确定所述局部人脸区域的关键点特征与所述预设参考模型数据库中参考关键点特征之间的相似度。
参见图13根据一示例性实施例示出创建脸部模型的方法流程图，上述步骤1211可以包括：
步骤1201、在一个预设局部人脸区域由至少两个子区域的关键点特征进行表征的情况下，分别确定每个子区域的关键点特征与所述预设参考模型数据库中对应子区域的参考关键点特征之间的相似度，获得至少两个局部相似度；
比如，眼睛区域的关键点特征包括：左眼区域和右眼区域分别对应的关键点特征。眉毛区域的关键点特征包括：左眉区域和右眉区域分别对应的关键点特征。嘴巴区域的关键点特征包括：上嘴唇区域和下嘴唇区域分别对应的关键点特征。
以眼睛区域为例，计算机系统会按照上述任一确定预设局部人脸区域间相似度的方法，确定左眼区域的关键点特征与预设参考模型数据库中各个左眼关键点特征之间的相似度，本申请实施例中，将一个子区域的关键点特征与参考模型数据库中相应子区域的关键点特征之间的相似度，称为局部相似度。同理，按照上述方法确定右眼区域对应的局部相似度。可知，将当前人脸图像中左右眼区域的关键点特征与一个参考人脸模型对应的左右眼区域的参考关键点特征进行比较后，将获得一对局部相似度。
如上述示例，对于由201个人脸图像样本生成的预设参考模型数据库，针对当前人脸图像中眼部区域的关键点特征，将获得201对局部相似度。
步骤1202、根据所述至少两个局部相似度之和，确定所述预设局部人脸区域与每个所述人脸图像样本中对应预设局部人脸区域之间的整体相似度。
对于如眼睛、嘴巴、眉毛可以由两个子区域的关键点特征进行表征的局部人脸区域，在计算每个子区域对应的局部相似度之后，可以将两个局部相似度求和，作为当前人脸图像与一个人脸图像样本对应区域的相似度。
本申请实施例中，对于部分人脸区域包括两个或多个子区域的情况，可以采用多个局部相似度求和的方式，更加准确地比较上述眼睛、眉毛、嘴巴等预设局部人脸区域的整体相似度，进而更加准确地从预设参考模型数据库中确定预设局部人脸区域的目标骨骼参数。
步骤1212，将相似度最高的参考关键点特征确定为所述目标参考关键点特征。
按照上述步骤1211所述的任一方法，分别计算当前人脸图像中的关键点特征与每一个人量图像样本中对应的参考关键点特征之间的相似度，并将相似度最高的参考关键点特征确定为目标参考关键点特征。
步骤122，依据所述目标参考关键点特征对应的参考骨骼参数，确定所述预设局部人脸区域的骨骼参数，获得所述当前人脸图像的目标骨骼参数。
在本申请一实施例中，预设参考模型数据库中存储有每一种预设局部人脸区域的图像样式对应的参考关键点特征，以及上述参考关键点特征与参考骨骼参数的对应关系。
假设可以从每一幅人脸图像划分中出M种预设局部人脸区域，比如，5种预设局部人脸区域，分别为：眉毛、眼睛、鼻子、嘴巴、脸部轮廓。
一个预设局部人脸区域对应的图像样式数量为n，则上述预设参考模型数据库中至少存储有N个参考关键点特征，N＝n1+n2+……+nM，其中，ni表示预设局部人脸区域的图像样式数量，i为一种预设局部人脸区域的标识，i∈(1，M)。示例性的，假设数字1标识眉毛，则n1表示眉型的数量，对应图2所示的示例中，n1＝12。
每一个参考关键点特征对应一组参考骨骼参数，因此，上述预设参考模型数据库中至少存储有N个参考关键点特征对应的N种参考骨骼参数。
关于预设参考模型数据库中的数据结构：
若上述参考关键点特征是由参考关键点的坐标位置拟合而成的参考特征曲线，则上述预设参考模型数据库中至少存储有N种参考特征曲线对应的N种参考骨骼参数。
若上述参考关键点特征是一组参考关键点的坐标位置组合，即参考关键点坐标组合，则上述预设参考模型数据库中至少存储有N种参考关键点坐标组合对应的N种参考骨骼参数。
计算机系统从当前人脸图像中获取预设局部人脸区域的关键点特征之后，可以匹配上述预设参考模型数据库，从中确定相似的目标参考关键点特征，进而根据目标参考关键点特征对应的参考骨骼参数，确定适用于上述关键点特征的目标骨骼参数。比如，直接将目标参考关键点特征对应的参考骨骼参数，确定为适用当前人脸图像中上述关键点特征对应预设局部人脸区域的目标骨骼参数。
本申请实施例中，通过关键点特征的预设距离度量值如预设局部人脸区域轮廓曲线间的frechet距离值，即可确定当前人脸图像中预设局部人脸区域的目标骨骼参数，具有计算简单的优点，可以高效地确定待创建脸部模型的骨骼调整参数，从而实现快速创建脸部模型的效果，进而提升预设应用场景如游戏场景中扭脸功能应用的用户体验。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其他顺序或者同时进行。
其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本公开所必须的。
与前述应用功能实现方法实施例相对应，本公开还提供了应用功能实现装置及相应终端的实施例。
相应的，本申请实施例提供了一种创建脸部模型的装置，参见图14根据一示例性实施例示出的一种创建脸部模型的装置框图，所述装置可以包括：
关键点检测模块21，用于对当前人脸图像进行关键点检测，获得所述当前人脸图像的关键点特征；
参数匹配模块22，用于根据所述关键点特征从预设参考模型数据库中获取与所述当前人脸图像匹配的目标骨骼参数；
模型创建模块23，用于依据所述目标骨骼参数和预设标准三维人脸模型，创建所述当前人脸图像对应的虚拟三维脸部模型；
其中，所述预设参考模型数据库包括：与从人脸图像样本中确定的参考关键点特征对应的参考骨骼参数，所述参考骨骼参数用于生成所述人脸图像样本对应的参考人脸模型。
在本申请一装置实施例中，所述模型创建模块23输出的所述当前人脸图像对应的虚拟三维脸部模型可以是：与所述当前人脸图像中的人对应的卡通化虚拟三维人脸模型。
在本申请另一装置实施例中，所述模型创建模块23输出的所述当前人脸图像对应的虚拟三维脸部模型也可以是：与所述当前人脸图像中的人的实际人脸近似的虚拟三维人脸模型，即与现实人脸逼真的虚拟三维人脸模型。
参见图15根据一示例性实施例示出的另一种创建脸部模型的装置框图，在图14所示装置实施例的基础上，所述装置还可以包括：
数据库创建模块20，用于根据预设数量的所述人脸图像样本和所述预设标准三维人脸模型，确定所述预设参考模型数据库。
参见图16根据一示例性实施例示出的另一种创建脸部模型的装置框图，在图15所示装置实施例的基础上，所述数据库创建模块20，可以包括：
样本获取子模块201，用于获取含有所述预设数量的所述人脸图像样本的人脸图像样本集合，所述人脸图像样本集合中包括：表征至少一种预设局部人脸区域的多种预设图像样式；
参考模型创建子模块202，用于依据所述人脸图像样本和所述预设标准三维人脸模型，创建所述人脸图像样本对应的所述参考人脸模型；
数据库确定子模块203，用于根据所述人脸图像样本与参考人脸模型数据的对应关系，确定所述预设参考模型数据库，所述预设参考模型数据库包括：表征所述预设图像样式的关键点特征与所述参考骨骼参数的对应关系。
参见图17根据一示例性实施例示出的另一种创建脸部模型的装置框图，在图16所示装置实施例的基础上，所述参考模型创建子模块202，可以包括：
图像预处理单元2021，用于对一幅所述人脸图像样本进行规范化处理，获得与预设标准人脸图像的头部姿态和图像尺寸符合的预处理人脸图像，其中，所述预设标准人脸图像为与所述预设标准三维人脸模型对应的二维人脸图像；
关键点检测单元2022，用于对所述预处理人脸图像进行关键点检测，获得所述人脸图像样本的参考关键点集合，所述参考关键点集合包括：表征所述预设局部人脸区域的参考关键点组合；
参考模型创建单元2023，用于基于所述参考关键点组合对所述预设标准三维人脸模型中对应关键点位置的骨骼参数进行调整，创建所述人脸图像样本的所述参考人脸模型。
参见图18根据一示例性实施例示出的另一种创建脸部模型的装置框图，在图14～图17任一所示装置实施例的基础上，所述关键点检测模块21，可以包括：
关键点定位子模块211，用于对所述当前人脸图像进行关键点检测，获得预设数量关键点的位置坐标；
关键点特征确定子模块212，用于根据所述预设数量关键点的位置坐标确定所述关键点特征。
本申请实施例中，所述关键点特征可以包括：关键点坐标组合，和/或，特征曲线。
相应的，参见图19根据一示例性实施例示出的另一种创建脸部模型的装置框图，在18所示装置实施例的基础上，所述关键点特征确定子模块212，可以包括：
坐标组合确定单元2121，用于基于所述预设数量关键点的位置坐标，确定表征一个局部人脸区域的所述关键点坐标组合；
特征曲线确定单元2122，用于根据所述表征至少一个局部人脸区域的关键点坐标组合，拟合出表征所述局部人脸区域的所述特征曲线。
本申请中，所述至少一种预设局部人脸区域包括以下至少一项：
眉毛、眼睛、鼻子、嘴巴、脸部轮廓。
上述图19所示装置实施例对应关键点特征确定子模块212包括坐标组合确定单元2121和特征曲线确定单元2122的情况。在本申请另一装置实施例中，关键点特征确定子模块212可以包括坐标组合确定单元2121，或者，特征曲线确定单元2122。
参见图20根据一示例性实施例示出的另一种创建脸部模型的装置框图，在图14～图19任一所示装置实施例的基础上，所述参数匹配模块22，可以包括：
特征匹配子模块221，用于根据所述当前人脸图像中预设局部人脸区域的关键点特征，从所述预设参考模型数据库中匹配出对应的目标参考关键点特征；
骨骼参数确定子模块222，用于依据所述目标参考关键点特征对应的参考骨骼参数，确定所述预设局部人脸区域的骨骼参数，获得所述当前人脸图像的目标骨骼参数。
参见图21根据一示例性实施例示出的另一种创建脸部模型的装置框图，在20所示装置实施例的基础上，所述特征匹配子模块221，可以包括：
相似度确定单元2211，用于确定所述预设局部人脸区域的关键点特征与所述预设参考模型数据库中对应参考关键点特征之间的相似度；
目标特征确定单元2212，用于将相似度最高的参考关键点特征确定为所述目标参考关键点特征。
在本申请一装置实施例中，所述关键点特征可以为根据关键点位置坐标拟合成的特征曲线。
相应的，参见图22根据一示例性实施例示出的另一种创建脸部模型的装置框图，在21所示装置实施例的基础上，所述相似度确定单元2211，可以包括：
曲线拟合子单元2201，用于根据一个预设局部人脸区域的关键点坐标组合，拟合出表征所述预设局部人脸区域的特征曲线；
相似度确定子单元2202，用于确定所述特征曲线与所述参考模型数据库中对应参考特征曲线之间的预设距离度量值，依据所述预设距离度量值表示所述相似度。
本申请实施例中，所述预设距离度量值可以包括：欧式距离值，或者，弗雷歇frechet距离值；
相应的，所述目标特征确定单元2212，可以用于将所述预设距离度量值最小的参考特征曲线确定为所述目标参考关键点特征。
参见图23根据一示例性实施例示出的另一种创建脸部模型的装置框图，在21所示装置实施例的基础上，所述相似度确定单元2211，可以包括：
局部相似度确定子单元22111，用于在一个所述预设局部人脸区域由至少两个子区域的关键点特征进行表征的情况下，分别确定每个所述子区域的关键点特征与所述预设参考模型数据库中对应子区域的参考关键点特征之间的相似度，获得至少两个局部相似度；
整体相似度确定子单元22112，用于根据所述至少两个局部相似度之和，确定所述预设局部人脸区域与每个所述人脸图像样本中对应预设局部人脸区域之间的整体相似度。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
对应于上述的创建脸部模型的方法，本申请实施例还提出了图24所示的根据本申请的一示例性实施例的电子设备的示意结构图。请参考图24，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成智能驾驶控制的装置。当然，除了软件实现方式之外，本申请并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书实施例还提供一种计算机可读存储介质，该存储介质上可以存储有计算机程序，所述程序被处理器执行时实现本说明书图1至图13任一实施例提供的创建脸部模型的方法的步骤。
本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。

Claims (28)

1.一种创建脸部模型的方法，其特征在于，所述方法包括：
对当前人脸图像进行关键点检测，获得所述当前人脸图像的关键点特征；
根据所述关键点特征从预设参考模型数据库中获取与所述当前人脸图像匹配的目标骨骼参数；
依据所述目标骨骼参数和预设标准三维人脸模型，创建所述当前人脸图像对应的虚拟三维脸部模型；
其中，所述预设参考模型数据库包括：表征预设局部人脸区域的图像样式的参考关键点组合与参考骨骼参数的对应关系、人脸图像样本的参考关键点特征、以及参考人脸模型对应的参考骨骼参数，所述参考骨骼参数用于生成所述人脸图像样本对应的参考人脸模型，所述参考人脸模型为对人脸图像样本建立的虚拟三维人脸模型。
2.根据权利要求1所述的方法，其特征在于，在所述对当前人脸图像进行关键点检测之前，所述方法还包括：
根据预设数量的所述人脸图像样本和所述预设标准三维人脸模型，确定所述预设参考模型数据库。
3.根据权利要求2所述的方法，其特征在于，所述根据预设数量的所述人脸图像样本和所述预设标准三维人脸模型，确定所述预设参考模型数据库，包括：
获取含有所述预设数量的所述人脸图像样本的人脸图像样本集合，所述人脸图像样本集合中包括：表征至少一种预设局部人脸区域的多种预设图像样式；
依据所述人脸图像样本和所述预设标准三维人脸模型，创建所述人脸图像样本对应的所述参考人脸模型；
根据所述人脸图像样本与参考人脸模型数据的对应关系，确定所述预设参考模型数据库，所述预设参考模型数据库包括：表征所述预设图像样式的关键点特征与所述参考骨骼参数的对应关系。
4.根据权利要求3所述的方法，其特征在于，所述依据所述人脸图像样本和所述预设标准三维人脸模型，创建所述人脸图像样本对应的所述参考人脸模型，包括：
对一幅所述人脸图像样本进行规范化处理，获得与预设标准人脸图像的头部姿态和图像尺寸符合的预处理人脸图像，其中，所述预设标准人脸图像为与所述预设标准三维人脸模型对应的二维人脸图像；
对所述预处理人脸图像进行关键点检测，获得所述人脸图像样本的参考关键点集合，所述参考关键点集合包括：表征所述预设局部人脸区域的参考关键点组合；
基于所述参考关键点组合对所述预设标准三维人脸模型中对应关键点位置的骨骼参数进行调整，创建所述人脸图像样本的所述参考人脸模型。
5.根据权利要求1所述的方法，其特征在于，所述对当前人脸图像进行关键点检测，获得所述当前人脸图像的关键点特征，包括：
对所述当前人脸图像进行关键点检测，获得预设数量关键点的位置坐标；
根据所述预设数量关键点的位置坐标确定所述关键点特征。
6.根据权利要求5所述的方法，其特征在于，所述关键点特征包括：关键点坐标组合，和/或，特征曲线；
所述根据所述预设数量关键点的位置坐标确定所述关键点特征，包括：
基于所述预设数量关键点的位置坐标，确定表征一个局部人脸区域的所述关键点坐标组合；和/或，
根据所述表征至少一个局部人脸区域的关键点坐标组合，拟合出表征所述局部人脸区域的所述特征曲线。
7.根据权利要求1所述的方法，其特征在于，所述根据所述关键点特征从预设参考模型数据库中获取与所述当前人脸图像匹配的目标骨骼参数，包括：
根据所述当前人脸图像中预设局部人脸区域的关键点特征，从所述预设参考模型数据库中匹配出对应的目标参考关键点特征；
依据所述目标参考关键点特征对应的参考骨骼参数，确定所述预设局部人脸区域的骨骼参数，获得所述当前人脸图像的目标骨骼参数。
8.根据权利要求7所述的方法，其特征在于，所述根据所述当前人脸图像中预设局部人脸区域的关键点特征，从所述预设参考模型数据库中匹配出对应的目标参考关键点特征，包括：
确定所述预设局部人脸区域的关键点特征与所述预设参考模型数据库中对应参考关键点特征之间的相似度；
将相似度最高的参考关键点特征确定为所述目标参考关键点特征。
9.根据权利要求8所述的方法，其特征在于，所述关键点特征为根据关键点位置坐标拟合成的特征曲线；
所述确定所述局部人脸区域的关键点特征与所述预设参考模型数据库中对应参考关键点特征之间的相似度，包括：
根据一个预设局部人脸区域的关键点坐标组合，拟合出表征所述预设局部人脸区域的特征曲线；
确定所述特征曲线与所述参考模型数据库中对应参考特征曲线之间的预设距离度量值，依据所述预设距离度量值表示所述相似度。
10.根据权利要求9所述的方法，其特征在于，所述预设距离度量值包括：欧式距离值，或者，弗雷歇frechet距离值；
所述将相似度最高的参考关键点特征确定为所述目标参考关键点特征，包括：
将所述预设距离度量值最小的参考特征曲线确定为所述目标参考关键点特征。
11.根据权利要求8所述的方法，其特征在于，所述确定所述局部人脸区域的关键点特征与所述预设参考模型数据库中对应参考关键点特征之间的相似度，包括：
在一个所述预设局部人脸区域由至少两个子区域的关键点特征进行表征的情况下，分别确定每个所述子区域的关键点特征与所述预设参考模型数据库中对应子区域的参考关键点特征之间的相似度，获得至少两个局部相似度；
根据所述至少两个局部相似度之和，确定所述预设局部人脸区域与每个所述人脸图像样本中对应预设局部人脸区域之间的整体相似度。
12.根据权利要求3所述的方法，其特征在于，所述至少一种预设局部人脸区域包括以下至少一项：
眉毛、眼睛、鼻子、嘴巴、脸部轮廓。
13.根据权利要求1～12任一所述的方法，其特征在于，所述当前人脸图像对应的虚拟三维脸部模型为：与所述当前人脸图像中的人对应的卡通化虚拟三维人脸模型。
14.一种创建脸部模型的装置，其特征在于，所述装置包括：
关键点检测模块，用于对当前人脸图像进行关键点检测，获得所述当前人脸图像的关键点特征；
参数匹配模块，用于根据所述关键点特征从预设参考模型数据库中获取与所述当前人脸图像匹配的目标骨骼参数；
模型创建模块，用于依据所述目标骨骼参数和预设标准三维人脸模型，创建所述当前人脸图像对应的虚拟三维脸部模型；
其中，所述预设参考模型数据库包括：表征预设局部人脸区域的图像样式的参考关键点组合与参考骨骼参数的对应关系、人脸图像样本的参考关键点特征、以及参考人脸模型对应的参考骨骼参数，所述参考骨骼参数用于生成所述人脸图像样本对应的参考人脸模型，所述参考人脸模型为对人脸图像样本建立的虚拟三维人脸模型。
15.根据权利要求14所述的装置，其特征在于，所述装置还包括：
数据库创建模块，用于根据预设数量的所述人脸图像样本和所述预设标准三维人脸模型，确定所述预设参考模型数据库。
16.根据权利要求15所述的装置，其特征在于，所述数据库创建模块，包括：
样本获取子模块，用于获取含有所述预设数量的所述人脸图像样本的人脸图像样本集合，所述人脸图像样本集合中包括：表征至少一种预设局部人脸区域的多种预设图像样式；
参考模型创建子模块，用于依据所述人脸图像样本和所述预设标准三维人脸模型，创建所述人脸图像样本对应的所述参考人脸模型；
数据库确定子模块，用于根据所述人脸图像样本与参考人脸模型数据的对应关系，确定所述预设参考模型数据库，所述预设参考模型数据库包括：表征所述预设图像样式的关键点特征与所述参考骨骼参数的对应关系。
17.根据权利要求16所述的装置，其特征在于，所述参考模型创建子模块，包括：
图像预处理单元，用于对一幅所述人脸图像样本进行规范化处理，获得与预设标准人脸图像的头部姿态和图像尺寸符合的预处理人脸图像，其中，所述预设标准人脸图像为与所述预设标准三维人脸模型对应的二维人脸图像；
关键点检测单元，用于对所述预处理人脸图像进行关键点检测，获得所述人脸图像样本的参考关键点集合，所述参考关键点集合包括：表征所述预设局部人脸区域的参考关键点组合；
参考模型创建单元，用于基于所述参考关键点组合对所述预设标准三维人脸模型中对应关键点位置的骨骼参数进行调整，创建所述人脸图像样本的所述参考人脸模型。
18.根据权利要求14所述的装置，其特征在于，所述关键点检测模块，包括：
关键点定位子模块，用于对所述当前人脸图像进行关键点检测，获得预设数量关键点的位置坐标；
关键点特征确定子模块，用于根据所述预设数量关键点的位置坐标确定所述关键点特征。
19.根据权利要求18所述的装置，其特征在于，所述关键点特征包括：关键点坐标组合，和/或，特征曲线；
所述关键点特征确定子模块，包括：
坐标组合确定单元，用于基于所述预设数量关键点的位置坐标，确定表征一个局部人脸区域的所述关键点坐标组合；和/或，
特征曲线确定单元，用于根据所述表征至少一个局部人脸区域的关键点坐标组合，拟合出表征所述局部人脸区域的所述特征曲线。
20.根据权利要求14所述的装置，其特征在于，所述参数匹配模块，包括：
特征匹配子模块，用于根据所述当前人脸图像中预设局部人脸区域的关键点特征，从所述预设参考模型数据库中匹配出对应的目标参考关键点特征；
骨骼参数确定子模块，用于依据所述目标参考关键点特征对应的参考骨骼参数，确定所述预设局部人脸区域的骨骼参数，获得所述当前人脸图像的目标骨骼参数。
21.根据权利要求20所述的装置，其特征在于，所述特征匹配子模块，包括：
相似度确定单元，用于确定所述预设局部人脸区域的关键点特征与所述预设参考模型数据库中对应参考关键点特征之间的相似度；
目标特征确定单元，用于将相似度最高的参考关键点特征确定为所述目标参考关键点特征。
22.根据权利要求21所述的装置，其特征在于，所述关键点特征为根据关键点位置坐标拟合成的特征曲线；
所述相似度确定单元，包括：
曲线拟合子单元，用于根据一个预设局部人脸区域的关键点坐标组合，拟合出表征所述预设局部人脸区域的特征曲线；
相似度确定子单元，用于确定所述特征曲线与所述参考模型数据库中对应参考特征曲线之间的预设距离度量值，依据所述预设距离度量值表示所述相似度。
23.根据权利要求22所述的装置，其特征在于，所述预设距离度量值包括：欧式距离值，或者，弗雷歇frechet距离值；
所述目标特征确定单元，用于将所述预设距离度量值最小的参考特征曲线确定为所述目标参考关键点特征。
24.根据权利要求21所述的装置，其特征在于，所述相似度确定单元，包括：
局部相似度确定子单元，用于在一个所述预设局部人脸区域由至少两个子区域的关键点特征进行表征的情况下，分别确定每个所述子区域的关键点特征与所述预设参考模型数据库中对应子区域的参考关键点特征之间的相似度，获得至少两个局部相似度；
整体相似度确定子单元，用于根据所述至少两个局部相似度之和，确定所述预设局部人脸区域与每个所述人脸图像样本中对应预设局部人脸区域之间的整体相似度。
25.根据权利要求16所述的装置，其特征在于，所述至少一种预设局部人脸区域包括以下至少一项：
眉毛、眼睛、鼻子、嘴巴、脸部轮廓。
26.根据权利要求14～25任一所述的装置，其特征在于，所述模型创建模块输出的所述当前人脸图像对应的虚拟三维脸部模型为：与所述当前人脸图像中的人对应的卡通化虚拟三维人脸模型。
27.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-13中任一项所述的方法。
28.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-13中任一项所述的方法。
CN201910403884.8A 2019-05-15 2019-05-15 创建脸部模型的方法、装置及电子设备 Active CN110111418B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201910403884.8A CN110111418B (zh) 2019-05-15 2019-05-15 创建脸部模型的方法、装置及电子设备
PCT/CN2020/076134 WO2020228389A1 (zh) 2019-05-15 2020-02-21 一种创建脸部模型的方法、装置、电子设备及计算机可读存储介质
KR1020217008646A KR102523512B1 (ko) 2019-05-15 2020-02-21 얼굴 모델의 생성
JP2021516410A JP7191213B2 (ja) 2019-05-15 2020-02-21 顔モデルの生成方法、装置、電子機器及びコンピュータ可読記憶媒体
SG11202103190VA SG11202103190VA (en) 2019-05-15 2020-02-21 Face model creation
TW109114456A TW202044202A (zh) 2019-05-15 2020-04-30 建立臉部模型的方法、裝置、電腦可讀儲存介質及電子設備
US17/212,523 US11836943B2 (en) 2019-05-15 2021-03-25 Virtual face model creation based on key point

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910403884.8A CN110111418B (zh) 2019-05-15 2019-05-15 创建脸部模型的方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110111418A CN110111418A (zh) 2019-08-09
CN110111418B true CN110111418B (zh) 2022-02-25

Family

ID=67490284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910403884.8A Active CN110111418B (zh) 2019-05-15 2019-05-15 创建脸部模型的方法、装置及电子设备

Country Status (7)

Country Link
US (1) US11836943B2 (zh)
JP (1) JP7191213B2 (zh)
KR (1) KR102523512B1 (zh)
CN (1) CN110111418B (zh)
SG (1) SG11202103190VA (zh)
TW (1) TW202044202A (zh)
WO (1) WO2020228389A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108615014B (zh) * 2018-04-27 2022-06-21 京东方科技集团股份有限公司 一种眼睛状态的检测方法、装置、设备和介质
CN110111418B (zh) 2019-05-15 2022-02-25 北京市商汤科技开发有限公司 创建脸部模型的方法、装置及电子设备
CN110675475B (zh) * 2019-08-19 2024-02-20 腾讯科技（深圳）有限公司 一种人脸模型生成方法、装置、设备及存储介质
CN110503700A (zh) * 2019-08-26 2019-11-26 北京达佳互联信息技术有限公司 生成虚拟表情的方法、装置、电子设备及存储介质
CN110705448B (zh) * 2019-09-27 2023-01-20 北京市商汤科技开发有限公司 一种人体检测方法及装置
CN110738157A (zh) * 2019-10-10 2020-01-31 南京地平线机器人技术有限公司 虚拟面部的构建方法及装置
CN111354079B (zh) * 2020-03-11 2023-05-02 腾讯科技（深圳）有限公司 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
CN111640204B (zh) * 2020-05-14 2024-03-19 广东小天才科技有限公司 三维对象模型的构建方法、构建装置、电子设备及介质
CN111738087B (zh) * 2020-05-25 2023-07-25 完美世界(北京)软件科技发展有限公司 一种游戏角色面部模型的生成方法和装置
CN111652798B (zh) * 2020-05-26 2023-09-29 浙江大华技术股份有限公司 人脸姿态迁移方法和计算机存储介质
CN111714885A (zh) * 2020-06-22 2020-09-29 网易（杭州）网络有限公司 游戏角色模型生成、角色调整方法、装置、设备及介质
CN112232183B (zh) * 2020-10-14 2023-04-28 抖音视界有限公司 虚拟佩戴物匹配方法、装置、电子设备和计算机可读介质
CN114727002A (zh) * 2021-01-05 2022-07-08 北京小米移动软件有限公司 拍摄方法、装置、终端设备及存储介质
CN112767348B (zh) * 2021-01-18 2023-11-24 上海明略人工智能(集团)有限公司 一种检测信息的确定方法和装置
CN112967364A (zh) * 2021-02-09 2021-06-15 咪咕文化科技有限公司 一种图像处理方法、装置及设备
CN112973122A (zh) * 2021-03-02 2021-06-18 网易（杭州）网络有限公司 游戏角色上妆方法、装置及电子设备
KR102334666B1 (ko) 2021-05-20 2021-12-07 알레시오 주식회사 얼굴 이미지 생성 방법
CN114299595A (zh) * 2022-01-29 2022-04-08 北京百度网讯科技有限公司 人脸识别方法、装置、设备、存储介质和程序产品
KR20230151821A (ko) 2022-04-26 2023-11-02 주식회사 리본소프트 메타버스에 이용되는 3차원 미형 캐릭터 생성 시스템 및 방법
KR102494222B1 (ko) * 2022-09-13 2023-02-06 주식회사 비브스튜디오스 자동 3d 눈썹 생성 방법
CN115393532B (zh) * 2022-10-27 2023-03-14 科大讯飞股份有限公司 脸部绑定方法、装置、设备及存储介质
KR20240069548A (ko) 2022-11-10 2024-05-20 알레시오 주식회사 이미지 변환 모델 제공 방법, 서버 및 컴퓨터 프로그램
CN115797569B (zh) * 2023-01-31 2023-05-02 盾钰（上海）互联网科技有限公司 高精度数孪人面部表情动作细分的动态生成方法及系统
CN117152308B (zh) * 2023-09-05 2024-03-22 江苏八点八智能科技有限公司 一种虚拟人动作表情优化方法与系统
CN117593493A (zh) * 2023-09-27 2024-02-23 书行科技(北京)有限公司 三维脸部拟合方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106652025A (zh) * 2016-12-20 2017-05-10 五邑大学 一种基于视频流与人脸多属性匹配的三维人脸建模方法和打印装置
CN107025678A (zh) * 2016-01-29 2017-08-08 掌赢信息科技（上海）有限公司 一种3d虚拟模型的驱动方法及装置
CN109671016A (zh) * 2018-12-25 2019-04-23 网易（杭州）网络有限公司 人脸模型的生成方法、装置、存储介质及终端
CN109685892A (zh) * 2018-12-31 2019-04-26 南京邮电大学盐城大数据研究院有限公司 一种快速3d人脸构建系统及构建方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7856125B2 (en) * 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
US7751599B2 (en) 2006-08-09 2010-07-06 Arcsoft, Inc. Method for driving virtual facial expressions by automatically detecting facial expressions of a face image
TWI427545B (zh) 2009-11-16 2014-02-21 Univ Nat Cheng Kung 以尺度不變特徵轉換和人臉角度估測為基礎的人臉辨識方法
TWI443601B (zh) 2009-12-16 2014-07-01 Ind Tech Res Inst 擬真臉部動畫系統及其方法
US8550818B2 (en) * 2010-05-21 2013-10-08 Photometria, Inc. System and method for providing and modifying a personalized face chart
JP2014199536A (ja) * 2013-03-29 2014-10-23 株式会社コナミデジタルエンタテインメント 顔モデル生成装置、顔モデル生成装置の制御方法、及びプログラム
CN104715227B (zh) * 2013-12-13 2020-04-03 北京三星通信技术研究有限公司 人脸关键点的定位方法和装置
KR102357340B1 (ko) * 2014-09-05 2022-02-03 삼성전자주식회사 얼굴 인식 방법 및 장치
KR101997500B1 (ko) * 2014-11-25 2019-07-08 삼성전자주식회사 개인화된 3d 얼굴 모델 생성 방법 및 장치
CN107924579A (zh) 2015-08-14 2018-04-17 麦特尔有限公司 生成个性化3d头部模型或3d身体模型的方法
KR101757642B1 (ko) 2016-07-20 2017-07-13 (주)레벨소프트 3d 얼굴 모델링 장치 및 방법
CN108960020A (zh) 2017-05-27 2018-12-07 富士通株式会社 信息处理方法和信息处理设备
CN107705365A (zh) * 2017-09-08 2018-02-16 郭睿 可编辑的三维人体模型创建方法、装置、电子设备及计算机程序产品
US10796468B2 (en) 2018-02-26 2020-10-06 Didimo, Inc. Automatic rig creation process
WO2019209431A1 (en) * 2018-04-23 2019-10-31 Magic Leap, Inc. Avatar facial expression representation in multidimensional space
US10706556B2 (en) * 2018-05-09 2020-07-07 Microsoft Technology Licensing, Llc Skeleton-based supplementation for foreground image segmentation
WO2019216593A1 (en) * 2018-05-11 2019-11-14 Samsung Electronics Co., Ltd. Method and apparatus for pose processing
CN110111418B (zh) * 2019-05-15 2022-02-25 北京市商汤科技开发有限公司 创建脸部模型的方法、装置及电子设备
CN110675475B (zh) * 2019-08-19 2024-02-20 腾讯科技（深圳）有限公司 一种人脸模型生成方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025678A (zh) * 2016-01-29 2017-08-08 掌赢信息科技（上海）有限公司 一种3d虚拟模型的驱动方法及装置
CN106652025A (zh) * 2016-12-20 2017-05-10 五邑大学 一种基于视频流与人脸多属性匹配的三维人脸建模方法和打印装置
CN109671016A (zh) * 2018-12-25 2019-04-23 网易（杭州）网络有限公司 人脸模型的生成方法、装置、存储介质及终端
CN109685892A (zh) * 2018-12-31 2019-04-26 南京邮电大学盐城大数据研究院有限公司 一种快速3d人脸构建系统及构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
数据驱动的人像卡通与表情动画生成技术;于佳骏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170215;第17-22页 *

Also Published As

Publication number Publication date
JP7191213B2 (ja) 2022-12-16
KR102523512B1 (ko) 2023-04-18
WO2020228389A1 (zh) 2020-11-19
US20210209851A1 (en) 2021-07-08
CN110111418A (zh) 2019-08-09
SG11202103190VA (en) 2021-04-29
JP2022500790A (ja) 2022-01-04
TW202044202A (zh) 2020-12-01
US11836943B2 (en) 2023-12-05
KR20210047920A (ko) 2021-04-30

Similar Documents

Publication Publication Date Title
CN110111418B (zh) 创建脸部模型的方法、装置及电子设备
CN111354079B (zh) 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
CN109522843B (zh) 一种多目标跟踪方法及装置、设备和存储介质
CN111291841B (zh) 图像识别模型训练方法、装置、计算机设备和存储介质
CN110675475B (zh) 一种人脸模型生成方法、装置、设备及存储介质
US11948376B2 (en) Method, system, and device of generating a reduced-size volumetric dataset
CN103177269B (zh) 用于估计对象姿态的设备和方法
CN111325846B (zh) 表情基确定方法、虚拟形象驱动方法、装置及介质
CN111833236B (zh) 产生模拟用户的三维脸部模型的方法及装置
CN113012282A (zh) 三维人体重建方法、装置、设备及存储介质
JP2020177615A (ja) アバター用の３ｄ顔モデルを生成する方法及び関連デバイス
JP2005242567A (ja) 動作評価装置及び方法
CN108174141B (zh) 一种视频通信的方法和一种移动装置
CN113658324A (zh) 图像处理方法及相关设备、迁移网络训练方法及相关设备
KR20220098312A (ko) 이미지 내 관련 대상 검출 방법, 장치, 디바이스 및 기록 매체
CN112699857A (zh) 基于人脸姿态的活体验证方法、装置及电子设备
KR20230173638A (ko) 애니메이션을 저작하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN112733704B (zh) 图像处理方法、电子设备和计算机可读存储介质
KR101787255B1 (ko) 랜드마크의 거리의 비율에 기반한 표정 인식 방법
CN117011449A (zh) 三维面部模型的重构方法和装置、存储介质及电子设备
US11854146B1 (en) Three-dimensional body composition from two-dimensional images of a portion of a body
EP3731132A1 (en) Method of generating 3d facial model for an avatar and related device
CN117671732A (zh) 一种检测体态的方法、装置、设备及存储介质
CN117037262A (zh) 一种数据处理方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 1101-1117, floor 11, No. 58, Beisihuan West Road, Haidian District, Beijing 100080

Applicant after: BEIJING SENSETIME TECHNOLOGY DEVELOPMENT Co.,Ltd.

Address before: 100084, room 7, floor 3, building 1, No. 710-712, Zhongguancun East Road, Beijing, Haidian District

Applicant before: BEIJING SENSETIME TECHNOLOGY DEVELOPMENT Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant