CN110378994B - 人脸建模方法及相关产品 - Google Patents

人脸建模方法及相关产品 Download PDF

Info

Publication number
CN110378994B
CN110378994B CN201810327932.5A CN201810327932A CN110378994B CN 110378994 B CN110378994 B CN 110378994B CN 201810327932 A CN201810327932 A CN 201810327932A CN 110378994 B CN110378994 B CN 110378994B
Authority
CN
China
Prior art keywords
face
images
target
region
interest point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810327932.5A
Other languages
English (en)
Other versions
CN110378994A (zh
Inventor
叶青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810327932.5A priority Critical patent/CN110378994B/zh
Priority to EP19785471.4A priority patent/EP3757946A4/en
Priority to PCT/CN2019/081547 priority patent/WO2019196745A1/zh
Publication of CN110378994A publication Critical patent/CN110378994A/zh
Priority to US16/931,830 priority patent/US11398044B2/en
Application granted granted Critical
Publication of CN110378994B publication Critical patent/CN110378994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种人脸建模方法及相关产品，其中，方法包括：通过在目标人脸旋转过程中，获取所述目标人脸处于多个不同角度的多张第一图像，对所述多张第一图像中的任一第一图像进行人脸检测，将所述任一第一图像划分为第一人脸区域和第一背景区域，获取所述多张第一图像对应的深度图像，得到多张深度图像，依据所述第一人脸区域和第一背景区域对所述多张深度图像进行分割，得到多张目标人脸区域图像，依据所述多张目标人脸区域图像进行3D人脸建模，得到3D人脸图像，如此，通过将上述任一第一图像进行划分得到的第一人脸区域和第一背景区域，对深度图像进行分割，减小了通过深度信息分割深度图像的噪声，从而提高了3D人脸建模的精确度。

Description

人脸建模方法及相关产品
技术领域
本申请涉及图像处理技术领域，具体涉及一种人脸建模方法及相关产品。
背景技术
随着图像处理技术的快速发展，用户对于图像效果的需求越来越高，电子设备(如手机、平板电脑等)上出现越来越多的3D图像应用，例如，用户通过电子设备拍摄人脸图像后，电子设备可对人脸进行识别，并将其转化为动画风格，使人脸图像效果更具娱乐性，与此同时，3D人脸建模技术受到越来越多的关注，该技术可应用于VR游戏领域、虚拟试穿试戴领域和医疗整形领域等等。
目前的3D人脸建模技术，包括通过深度图像进行人脸建模，具体地，通过对多角度的深度图像进行分析，实现对人脸进行建模，但是，深度图像存在噪声较大、分辨率低的缺陷，从而影响了3D人脸建模的精确度，因此，如何提高3D人脸建模的精确度的问题亟待解决。
发明内容
本申请实施例提供了一种人脸建模方法及相关产品，可提高3D人脸建模的精确度。
第一方面，本申请实施例提供了一种人脸建模方法，所述方法包括：
在目标人脸旋转过程中，获取所述目标人脸处于多个不同角度的多张第一图像，每一图像对应唯一角度；
对所述多张第一图像中的任一第一图像进行人脸检测，将所述任一第一图像划分为第一人脸区域和第一背景区域；
获取所述多张第一图像对应的深度图像，得到多张深度图像，依据所述第一人脸区域和第一背景区域对所述多张深度图像进行分割，得到多张目标人脸区域图像；
依据所述多张目标人脸区域图像进行3D人脸建模，得到3D人脸图像。
第二方面，本申请实施例提供了一种人脸建模装置，所述人脸建模装置包括：
获取单元，用于在目标人脸旋转过程中，获取所述目标人脸处于多个不同角度的多张第一图像，每一图像对应唯一角度；
检测单元，用于对所述多张第一图像中的任一第一图像进行人脸检测，将所述任一第一图像划分为第一人脸区域和第一背景区域；
分割单元，用于获取所述多张第一图像对应的深度图像，得到多张深度图像，依据所述第一人脸区域和第一背景区域对所述多张深度图像进行分割，得到多张目标人脸区域图像；
建模单元，用于依据所述多张目标人脸区域图像进行3D人脸建模，得到3D人脸图像。
第三方面，本申请实施例提供了一种电子设备，包括：处理器和存储器；以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置成由所述处理器执行，所述程序包括用于如第一方面中所描述的部分或全部步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质用于存储计算机程序，其中，所述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤的指令。
第五方面，本申请实施例提供了一种计算机程序产品，其中，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本申请实施例，具有如下有益效果：
可以看出，本申请实施例中所描述的人脸建模方法及相关产品，通过在目标人脸旋转过程中，获取目标人脸处于多个不同角度的多张第一图像，每一图像对应唯一角度，对多张第一图像中的任一第一图像进行人脸检测，将任一第一图像划分为第一人脸区域和第一背景区域，获取多张第一图像对应的深度图像，得到多张深度图像，依据第一人脸区域和第一背景区域对多张深度图像进行分割，得到多张目标人脸区域图像，依据多张目标人脸区域图像进行3D人脸建模，得到3D人脸图像，如此，通过将上述任一第一图像进行划分得到的第一人脸区域和第一背景区域，对深度图像进行分割，减小了通过深度信息分割深度图像的噪声，从而提高了3D人脸建模的精确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种示例电子设备的结构示意图；
图1B是本申请实施例提供的一种人脸建模方法的流程示意图；
图1C是本申请实施例提供的一种将第二图像划分为第一人像区域和第一背景区域的演示示意图；
图1D是本申请实施例提供的一种体素网格的截断距离函数的示意图；
图2是本申请实施例提供的另一种人脸建模方法的流程示意图；
图3是本申请实施例提供的另一种人脸建模方法的流程示意图；
图4是本申请实施例提供的一种电子设备的另一结构示意图；
图5A是本申请实施例提供的一种人脸建模装置的结构示意图；
图5B是本发明实施例提供的图5A所描述的人脸建模装置的获取单元的结构示意图；
图5C是本发明实施例提供的图5A所描述的人脸建模装置的检测单元的结构示意图；
图5D是本发明实施例提供的图5A所描述的人脸建模装置的分割单元的结构示意图；
图5E是本发明实施例提供的图5A所描述的人脸建模装置的建模单元的结构示意图；
图6是本申请实施例提供的另一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(user equipment，UE)，移动台(mobile station，MS)，终端设备(terminaldevice)等等。为方便描述，上面提到的设备统称为电子设备。
下面对本申请实施例进行详细介绍。
请参阅图1A，图1A是本申请实施例提供的一种电子设备100的结构示意图，上述电子设备100包括：壳体110、设置于所述壳体110内的电路板120、至少一个摄像头130和设置于所述壳体110上的显示屏140，所述电路板120上设置有处理器121，所述摄像头130与所述处理器121连接，所述处理器121连接所述显示屏140。
本申请实施例中可包括至少一个摄像头130，当摄像头的数量为两个以上，该两个以上摄像头可包括前置摄像头和后置摄像头，上述摄像头130还可以深度摄像头，深度摄像头可在拍摄过程中，采集到拍摄画面的深度信息，上述至少一个摄像头130，可用于在目标人脸旋转过程中，针对目标人脸获取多个角度的多张第一图像，以及，获取多张第一图像对应的深度图像。显示屏140可用于显示摄像头获取的拍摄画面，处理器130，用于控制上述至少一个摄像头进行拍摄，以及根据获得的多张深度图像进行3D人脸建模。
下面对本申请实施例进行详细介绍。
请参阅图1B，图1B是本申请实施例提供的一种人脸建模方法的流程示意图，应用于如图1A所示的电子设备，该人脸建模方法包括：
101、在目标人脸旋转过程中，获取所述目标人脸处于多个不同角度的多张第一图像，每一图像对应唯一角度。
本申请实施例中，目标用户可将脸部对准电子设备的摄像头，将头部旋转一定角度，在目标用户的目标人脸旋转过程中，电子设备控制摄像头拍摄多张第一图像，每一第一图像对应唯一一个拍摄角度，每一第一图像的拍摄角度是不同的，如此，可使拍摄到目标人脸包括正脸和侧脸在内的各个角度的第一图像，从而使多张第一图像能够覆盖目标人脸的各个区域，具体实现中，若拍摄到同一角度的两张以上图像，可仅保留一张该角度的第一图像。例如，为保证拍摄的多张第一图像能够完整覆盖目标人脸的各个区域，可要求用户头部旋转的角度大于90度，如，用户头部可从左向右(或从右向左)旋转150度，然后通过摄像头拍摄多个角度的多张第一图像。
102、对所述多张第一图像中的任一第一图像进行人脸检测，将所述任一第一图像划分为第一人脸区域和第一背景区域。
本申请实施例中，每一图像中均可包含人脸和背景，因此，可将多张第一图像中的任一第一图像划分为第一人脸区域和第一背景区域，该划分结果可辅助电子设备将多张第一图像对应的多张深度图像进行图像分割，可选地，该任一第一图像可选取目标人脸的正面人脸图像，由于正面人脸图像中覆盖的人脸范围最广，因此，可以使得到的第一人脸区域和第一背景区域能更好地辅助对多张深度图像进行分割。
可选地，上述步骤102中，对所述多张第一图像中的任一第一图像进行人脸检测，将所述任一第一图像划分为第一人脸区域和第一背景区域，具体可包括以下步骤：
21、对所述任一第一图像进行预处理，得到第二图像；
22、对所述第二图像进行特征点提取，得到多个目标特征点；
23、根据所述多个目标特征点构造所述目标人脸的外围轮廓，将所述外围轮廓范围内作为所述第一人像区域，所述外围轮廓外作为所述第一背景区域。
其中，上述预处理包括以下操作：图像增强处理、二值化处理、彩色图像转化为灰度图像，对第二图像进行特征点提取，可采用如下算法实现：Harris角点检测算法、尺度不变特征变换(scale invariant feature transform，SIFT)、SUSAN角点检测算法等等，在此不再赘述。
本申请实施例中，上述目标特征点为人脸区域的特征点，多个目标特征点具体可包含左眼、右眼、鼻子、嘴巴、下巴等区域的特征点，在得到多个目标特征点后，可根据多个目标特征点得到一个封闭的外围轮廓，根据该外围轮廓将第二图像划分为第一人像区域和第一背景区域，举例说明下，如图1C所示，图1C为本申请实施例提供的一种将第二图像划分为第一人像区域和第一背景区域的演示示意图。
103、获取所述多张第一图像对应的深度图像，得到多张深度图像，依据所述第一人脸区域和第一背景区域对所述多张深度图像进行分割，得到多张目标人脸区域图像。
其中，深度图像指的是反映空间内可见表面的几何形状的三维图像。
本申请实施例中，在拍摄多张第一图像的过程中，可采集每一第一图像对应的深度信息，根据深度信息生成深度图像，从而得到多张第一图像对应的多张深度图像。
可选地，获取所述多张第一图像对应的深度图像，还可通过将多张第一图像中每一第一图像根据三维重建算法转换成深度图像，得到多张深度图像，具体地，上述三维重建算法可包括以下任意一种：迪斯尼新图像算法、运动构建模型(structure from motion，SFM)算法、Kinect融合(kinect fusion)算法，例如，当电子设备的摄像头为普通摄像头，可采用SFM算法对每一第一图像进行三维重建，得到对应的深度图像，又例如，当电子设备的摄像头为深度摄像头，可采用kinect fusion算法对每一第一图像进行三维重建，得到对应的深度图像。
可选地，在上述步骤103中，依据所述第一人脸区域和第一背景区域对所述多张深度图像进行分割，得到多张目标人脸区域图像，具体可包括以下步骤：
31、根据所述多张深度图像中每一深度图像的深度信息，将所述每一深度图像划分为第二人脸区域和第二背景区域，得到多个第二人脸区域和多个第二背景区域；
32、将所述多个第二人脸区域分别与所述第一人脸区域进行匹配，得到多个第一子区域，每一所述第一子区域为一个所述第二人脸区域中与所述第一人脸区域匹配成功的区域，并将所述多个第二背景区域分别与所述第一背景区域进行匹配，得到多个第二子区域，每一所述第二子区域为一个所述第二背景区域中与所述第一背景区域匹配失败的区域；
33、根据所述多个第一子区域和所述多个第二子区域，合成所述多张目标人脸区域图像。
其中，针对多张深度图像中的任一深度图像，可获取该任一深度图像的深度信息，具体地，可预先建立一三维坐标系，该深度图像的深度信息包括所有像素点的的三维坐标，根据所有像素点的三维坐标，将该深度图像划分为第二人脸区域和第二背景区域，针对多张深度图像中除上述任一深度图像外的其他深度图像，也按照同样的方式进行划分，如此，得到多个第二人脸区域和多个第二背景区域。
本申请实施例中，考虑到根据深度信息将深度图像划分为第二人脸区域和第二背景区域，噪声较大，导致得到的第二人脸区域的范围精确度不高，而步骤102中的第一图像为二维图像，由于对二维图像进行特征提取，稳定性较高，从而，步骤102中根据人脸检测将第一图像划分为第一人脸区域和第一背景区域，得到的第一人脸区域精确度较高，因此，将第一人脸区域和第一背景区域用于辅助对多张深度图像进行图像分割，相比于直接通过深度信息对多张深度图像进行图像分割，减少了由深度信息的噪声影响，提高了图像分割的精确度。
其中，将多个第二人脸区域分别与第一人脸区域进行匹配，包括针对多个第二人脸区域中的任一第二人脸区域，将该任一第二人脸区域与第一人脸区域进行匹配，得到该任一第二人脸区域中与第一人脸区域匹配成功的第一子区域，具体地，将上述任一第二人脸区域与第一人脸区域进行匹配，可分别选取任一第二人脸区域的区域边界的多个特征点以及第一人脸区域中的区域边界的多个特征点，然后将任一第二人脸区域的区域边界的多个特征点与第一人脸区域中的区域边界的多个特征点进行匹配，针对该任一第二人脸区域中任一被匹配的特征点，若该特征点与第一人脸区域中的多个特征点中的任一特征点匹配成功，则确认该任一第二人脸区域中任一被匹配的特征点属于人脸区域，不属于背景区域，若该任一第二人脸区域中任一被匹配的特征点与第一人脸区域中的多个特征点中的任一特征点匹配不成功，则确认该任一第二人脸区域中任一被匹配的特征点属于背景区域，不属于人脸区域，然后，根据该任一第二人脸区域中匹配成功的特征点构造第一子区域。可以理解，针对多个第二人脸区域中除该任一第二人脸区域以外的其他第二人脸区域，也可执行同样的匹配操作，从而得到多个第一子区域。
其中，将多个第二背景区域分别与第一背景区域进行匹配，包括针对多个第二背景区域中的任一第二背景区域，将该任一第二背景区域与第一背景区域进行匹配，得到该任一第二背景区域中与第一背景区域匹配成功的第一子区域，具体地，将上述任一第二背景区域与第一背景区域进行匹配，可分别选取任一第二背景区域的区域边界的多个特征点以及第一背景区域中的区域边界的多个特征点，然后将任一第二背景区域的区域边界的多个特征点与第一背景区域中的区域边界的多个特征点进行匹配，针对该任一第二背景区域中任一被匹配的特征点，若该该任一第二背景区域中任一被匹配的特征点与第一背景区域中的多个特征点中的任一特征点匹配成功，则确认该任一第二背景区域中任一被匹配的特征点属于背景区域，不属于人脸区域，若该任一第二背景区域中任一被匹配的特征点与第一背景区域中的多个特征点中的任一特征点失败，则确认该任一第二背景区域中任一被匹配的特征点属于前景区域，不属于背景区域，如此，可得根据该任一第二背景区域中匹配成功失败的特征点构造第二子区域。可以理解，针对多个第二背景区域中除该任一第二背景区域以外的其他第二背景区域，也可执行同样的匹配操作，从而得到多个第二子区域。
其中，步骤33中，多个第一子区域中每一第一子区域对应唯一角度，多个第二子区域每一第二子区域对应唯一值，可根据多个第一子区域中每一第一子区域对应的角度值和多个第二子区域每一第二子区域对应的角度值，将同一角度值对应的第一子区域和第二子区域进行合成，得到目标人脸区域图像，如此，将多个第一子区域和多个第二子区域按照角度值对应关系进行合成，得到多张目标人脸区域图像。
104、依据所述多张目标人脸区域图像进行3D人脸建模，得到3D人脸图像。
本申请实施例中，多张目标人脸区域图像中每张目标人脸区域图像对应一个角度值，每张目标人脸区域图像为对应角度的人脸局部区域图像，因此，可根据每张目标人脸区域图像中的兴趣点，将多张目标人脸区域图像按照从左至右(或从右至左)的各个角度值的顺序进行拼接，得到完整的3D人脸图像。
可选地，在上述步骤104中，依据所述多张目标人脸区域图像进行3D人脸建模，得到3D人脸图像，具体可包括以下步骤：
41、确定所述多张目标人脸区域图像中每一目标人脸区域图像对应的兴趣点集合，得到多个兴趣点集合，所述多个兴趣点集合中每一兴趣点集合包含至少一个兴趣点，每一兴趣点集合对应一个角度值；
42、将所述多个兴趣点集合中所有兴趣点的深度信息输入至预设三维卷积神经网络中，得到多个几何描述符，所述预设三维卷积神经网络用于对所有兴趣点的深度信息进行运算得到；
43、将所述多个兴趣点集合进行两两分组，得到多个分组，每一分组包含的两个兴趣点集合对应的角度值互为相邻，将所述多个分组中每一分组内的两个兴趣点集合进行匹配，得到多个目标兴趣点集合，每一目标兴趣点集合至少包含一个目标兴趣点对，目标兴趣点对为在匹配过程中匹配成功的两个兴趣点，每一分组对应一个目标兴趣点集合；
44、根据所述多个目标兴趣点集合中每一目标兴趣点集合中的至少一对兴趣点，将所述多张目标人脸区域图像中每一分组对应的两张目标人脸区域图像进行拼接，得到所述3D人脸图像。
本申请实施例中，确定所述多张目标人脸区域图像中每一目标人脸区域图像对应的兴趣点集合，具体地，可针对每一目标人脸区域图像根据加速健壮特征算法(speed-uprobust features，SURF)或者尺度不变特征变换算法SIFT进行兴趣点检测，得到包含至少一个兴趣点的兴趣点集合，每一兴趣点集合与目标人脸区域图像的角度值对应。
步骤42中，可确定多个兴趣点集合中所有兴趣点的深度信息，具体地，针对每一兴趣点集合中的每一兴趣点，获取每一兴趣点在预设三维坐标系中的三维坐标，上述预设三维卷积神经网络，为预先训练好的三维卷积神经网络，具体实现中，首先将每一兴趣点的三维坐标进行数据转换，将该三维坐标表示为预设大小的体素网格的截断距离函数，例如，将该三维坐标表示为30*30*30的体素网格的截断距离函数，如图1D所示，为本申请实施例提供的一种体素网格的截断距离函数的示意图，将每一兴趣点对应的30*30*30体素网格的截断距离函数输入三维卷积神经网络，通过三维卷积神经网络进行运算，输出运算结果，该运算结果构成该每一兴趣点的几何描述符。进一步的，训练三维卷积神经网络的方式可包括：将用于训练的多组样本数据中每组样本数据输入到初始三维卷积神经网络中，假定三维卷积神经网络包括N层，N为大于2的整数，根据每组样本数据和每一层的权值数据执行N层正向运算得到输出结果，根据输出结果得到输出结果对应的梯度，将输出结果对应的梯度执行N层反向运算得到每层的权值梯度，根据每层的权值梯度对每层的权值数据进行更新，经过多次迭代计算得到最终的权值数据，将该最终的权值数据作为初始三维卷积神经网络的卷积核，得到训练后的三维卷积神经网络，可选地，用于训练三维卷积神经网络的多组样本数据，可以来源于通过电子设备拍摄的图像中的数据、开源的数据集或者其他进行3D人脸模型构建过程中得到的图像中的数据，以使多组样本数据具有多样性，从而提高运算三维卷积神经网络的运算精度。
其中，将多张目标人脸区域图像按照各个角度值的顺序进行拼接，可将相邻两个角度值对应的两个兴趣点集合分为一组，举例说明，若拍摄到20个不同角度的20张第一图像，20个角度值对应20个兴趣点集合，第1兴趣点集合与第2兴趣点集合分为一组，第2兴趣点集合与第3兴趣点集合分为一组，第3兴趣点集合与第4兴趣点集合分为一组，以此类推，得到多个分组，如此，将20个兴趣点集合两两分组可得到19个分组。
其中，将多个分组中每一分组内的两个兴趣点集合进行匹配，具体地，可针对每一分组内的两个兴趣点集合，计算其中一个兴趣点集合中的兴趣点A与另一兴趣点集合中的兴趣点B之间的欧拉距离，兴趣点A为其中一个兴趣点集合中的任一兴趣点，兴趣点B为另一兴趣点集合中的任一兴趣点，若兴趣点A和兴趣点B之间的欧拉距离小于预设距离，则表明兴趣点A和兴趣点B在实际物理空间中为同一点，确认兴趣点A和兴趣点B匹配成功，当其中一个兴趣点集合中的兴趣点A匹配到另一兴趣点集合中的兴趣点B后，则继续将其他未匹配成功的兴趣点，直到确认每一分组内的两个兴趣点集合中所有能够匹配成功的兴趣点，其中，计算欧拉距离的公式如下：
Figure BDA0001627154680000081
其中，disf()为欧拉距离函数，A(x1，y1，z1)为兴趣点A的几何描述符B(x2，y2，z2)为兴趣点B的几何描述符。
其中，步骤44中，针对每一匹配成功的兴趣点对，由于该兴趣点对在物理空间中属于同一点，可将每一兴趣点对中两个兴趣点作为两个兴趣点对应两个角度的两张目标人脸区域图像的连接点，将两张目标人脸区域图像进行拼接，将其他目标人脸区域图像，也按照上述拼接方法进行拼接，得到3D人脸图像。
可以看出，本申请实施例中所描述的人脸建模方法，通过在目标人脸旋转过程中，获取目标人脸处于多个不同角度的多张第一图像，对多张第一图像中的任一第一图像进行人脸检测，将任一第一图像划分为第一人脸区域和第一背景区域，获取多张第一图像对应的深度图像，得到多张深度图像，依据第一人脸区域和第一背景区域对多张深度图像进行分割，得到多张目标人脸区域图像，依据多张目标人脸区域图像进行3D人脸建模，得到3D人脸图像，如此，通过将上述任一第一图像进行划分得到的第一人脸区域和第一背景区域，对深度图像进行分割，减小了通过深度信息分割深度图像的噪声，从而提高了3D人脸建模的精确度。
请参阅图2，图2是本申请实施例提供的另一种人脸建模方法的流程示意图，应用于如图1A的电子设备，本实施例中所描述的人脸建模方法，可包括以下步骤：
201、在目标人脸旋转过程中，检测所述目标人脸旋转的角速度。
其中，检测所述目标人脸旋转的角速度，可在目标人脸旋转过程中，获取第一时刻和第二时刻分别对应的两张人脸图像，第一时刻早于第二时刻，确定同一人脸特征在两张人脸图像中分别所处的第一位置和第二位置，该人脸特征可以包括以下几种：左眼、右眼、鼻子、嘴巴等等，根据第一位置和第二位置计算该人脸特征旋转的目标角度，确定第一时刻和第二时刻的时间差绝对值，根据该目标角度和时间差绝对值，计算角速度。
202、判断所述角速度是否小于预设阈值，若是，则获取所述目标人脸处于多个不同角度的多张第一图像，每一图像对应唯一角度。
本申请实施例中，考虑到当目标人脸旋转的角速度过快，拍摄到的第一图像可能会比较模糊，因此，可预先设定一预设阈值，判断角速度是否小于该预设阈值，仅在角速度小于该预设阈值时，才获取所述目标人脸处于多个不同角度的多张第一图像，若角速度大于或等于该预设阈值，则终止本流程。
203、对所述多张第一图像中的任一第一图像进行人脸检测，将所述任一第一图像划分为第一人脸区域和第一背景区域。
204、获取所述多张第一图像对应的深度图像，得到多张深度图像，依据所述第一人脸区域和第一背景区域对所述多张深度图像进行分割，得到多张目标人脸区域图像。
205、依据所述多张目标人脸区域图像进行3D人脸建模，得到3D人脸图像。
其中，上述步骤203-205的具体实现过程可参照步骤102-104中相应的描述，在此不再赘述。
可以看出，本申请实施例中所描述的人脸建模方法，通过在目标人脸旋转过程中，检测目标人脸旋转的角速度，判断角速度是否小于预设阈值，若是，则获取目标人脸处于多个不同角度的多张第一图像，对多张第一图像中的任一第一图像进行人脸检测，将任一第一图像划分为第一人脸区域和第一背景区域，获取多张第一图像对应的深度图像，得到多张深度图像，依据第一人脸区域和第一背景区域对多张深度图像进行分割，得到多张目标人脸区域图像，依据多张目标人脸区域图像进行3D人脸建模，得到3D人脸图像，如此，通过将上述任一第一图像进行划分得到的第一人脸区域和第一背景区域，对深度图像进行分割，减小了通过深度信息分割深度图像的噪声，从而提高了3D人脸建模的精确度。
与上述一致地，请参阅图3，为本申请实施例提供的另一种人脸建模方法的实施例流程示意图。应用于如图1A所示的电子设备，本实施例中所描述的人脸建模方法，可包括以下步骤：
301、在目标人脸旋转过程中，检测所述目标人脸旋转的角速度。
302、判断所述角速度是否小于预设阈值，若是，则获取所述目标人脸处于多个不同角度的多张第一图像，每一图像对应唯一角度，以及，获取所述多张第一图像对应的深度图像，得到多张深度图像。
303、对所述多张第一图像中的任一第一图像进行人脸检测，将所述任一第一图像划分为第一人脸区域和第一背景区域。
304、根据所述多张深度图像中每一深度图像的深度信息，将所述每一深度图像划分为第二人脸区域和第二背景区域，得到多个第二人脸区域和多个第二背景区域。
305、将所述多个第二人脸区域分别与所述第一人脸区域进行匹配，得到多个第一子区域，每一所述第一子区域为一个所述第二人脸区域中与所述第一人脸区域匹配成功的区域，并将所述多个第二背景区域分别与所述第一背景区域进行匹配，得到多个第二子区域，每一所述第二子区域为一个所述第二背景区域中与所述第一背景区域匹配失败的区域。
306、根据所述多个第一子区域和所述多个第二子区域，合成所述多张目标人脸区域图像。
307、依据所述多张目标人脸区域图像进行3D人脸建模，得到3D人脸图像。
其中，图3所示方法的各个步骤的具体实现过程可参见上述方法的具体实现过程，在此不再赘述。
本申请实施例中所描述的人脸建模方法，通过在目标人脸旋转过程中，检测目标人脸旋转的角速度，判断角速度是否小于预设阈值，若是，则获取目标人脸处于多个不同角度的多张第一图像，对多张第一图像中的任一第一图像进行人脸检测，将任一第一图像划分为第一人脸区域和第一背景区域，获取多张第一图像对应的深度图像，得到多张深度图像，依据第一人脸区域和第一背景区域对多张深度图像进行分割，得到多张目标人脸区域图像，依据多张目标人脸区域图像进行3D人脸建模，得到3D人脸图像，如此，通过将上述任一第一图像进行划分得到的第一人脸区域和第一背景区域，对深度图像进行分割，减小了通过深度信息分割深度图像的噪声，从而提高了3D人脸建模的精确度。
以下是实施上述人脸建模方法的装置，具体如下：
与上述一致地，请参阅图4，图4是本申请实施例提供的一种电子设备，包括：处理器和存储器；以及一个或多个程序，一个或多个程序被存储在所述存储器中，并且被配置成由所述处理器执行，所述程序包括用于执行以下步骤的指令：
在目标人脸旋转过程中，获取所述目标人脸处于多个不同角度的多张第一图像，每一图像对应唯一角度；
对所述多张第一图像中的任一第一图像进行人脸检测，将所述任一第一图像划分为第一人脸区域和第一背景区域；
获取所述多张第一图像对应的深度图像，得到多张深度图像，依据所述第一人脸区域和第一背景区域对所述多张深度图像进行分割，得到多张目标人脸区域图像；
依据所述多张目标人脸区域图像进行3D人脸建模，得到3D人脸图像。
在一个可能的示例中，在所述在目标人脸旋转过程中，获取所述目标人脸处于多个不同角度的多张第一图像方面，所述程序包括用于执行以下步骤的指令：
在所述目标人脸旋转过程中，检测所述目标人脸旋转的角速度；
判断所述角速度是否小于预设阈值，若是，则获取所述目标人脸处于多个不同角度的多张第一图像。
在一个可能的示例中，在所述对所述多张第一图像中的任一第一图像进行人脸检测，将所述任一第一图像划分为第一人脸区域和第一背景区域方面，所述程序包括用于执行以下步骤的指令：
对所述任一第一图像进行预处理，得到第二图像；
对所述第二图像进行特征点提取，得到多个目标特征点；
根据所述多个目标特征点构造所述目标人脸的外围轮廓，将所述外围轮廓范围内作为所述第一人像区域，所述外围轮廓外作为所述第一背景区域。
在一个可能的示例中，在所述依据所述第一人脸区域和第一背景区域对所述多张深度图像进行分割，得到多张目标人脸区域图像方面，所述程序包括用于执行以下步骤的指令：
根据所述多张深度图像中每一深度图像的深度信息，将所述每一深度图像划分为第二人脸区域和第二背景区域，得到多个第二人脸区域和多个第二背景区域；
将所述多个第二人脸区域分别与所述第一人脸区域进行匹配，得到多个第一子区域，每一所述第一子区域为一个所述第二人脸区域中与所述第一人脸区域匹配成功的区域，并将所述多个第二背景区域分别与所述第一背景区域进行匹配，得到多个第二子区域，每一所述第二子区域为一个所述第二背景区域中与所述第一背景区域匹配失败的区域；
根据所述多个第一子区域和所述多个第二子区域，合成所述多张目标人脸区域图像。
在一个可能的示例中，在所述依据所述多张目标人脸区域图像进行3D人脸建模，得到3D人脸图像方面，所述程序包括用于执行以下步骤的指令：
确定所述多张目标人脸区域图像中每一目标人脸区域图像对应的兴趣点集合，得到多个兴趣点集合，所述多个兴趣点集合中每一兴趣点集合包含至少一个兴趣点，每一兴趣点集合对应一个角度值；
将所述多个兴趣点集合中所有兴趣点的深度信息输入至预设三维卷积神经网络中，得到多个几何描述符，所述预设三维卷积神经网络用于对所有兴趣点的深度信息进行运算得到；
将所述多个兴趣点集合进行两两分组，得到多个分组，每一分组包含的两个兴趣点集合对应的角度值互为相邻，将所述多个分组中每一分组内的两个兴趣点集合进行匹配，得到多个目标兴趣点集合，每一目标兴趣点集合至少包含一个目标兴趣点对，目标兴趣点对为在匹配过程中匹配成功的两个兴趣点，每一分组对应一个目标兴趣点集合；
根据所述多个目标兴趣点集合中每一目标兴趣点集合中的至少一对兴趣点，将所述多张目标人脸区域图像中每一分组对应的两张目标人脸区域图像进行拼接，得到所述3D人脸图像。
请参阅图5A，图5A是本实施例提供的一种人脸建模装置的结构示意图。该人脸建模装置应用于电子设备，所述人脸建模装置包括获取单元501、检测单元502、分割单元503和建模单元504，其中，
所述获取单元501，用于在目标人脸旋转过程中，获取所述目标人脸处于多个不同角度的多张第一图像，每一图像对应唯一角度；
所述检测单元502，用于对所述多张第一图像中的任一第一图像进行人脸检测，将所述任一第一图像划分为第一人脸区域和第一背景区域；
所述分割单元503，用于获取所述多张第一图像对应的深度图像，得到多张深度图像，依据所述第一人脸区域和第一背景区域对所述多张深度图像进行分割，得到多张目标人脸区域图像；
所述建模单元504，用于依据所述多张目标人脸区域图像进行3D人脸建模，得到3D人脸图像。
可选地，如图5B，图5B是图5A所描述的人脸建模装置的获取单元501的具体细节结构，所述获取单元501可包括：所述第一检测模块5011和获取模块5012，具体如下：
所述第一检测模块5011，用于在所述目标人脸旋转过程中，检测所述目标人脸旋转的角速度；
所述获取模块5012，用于判断所述角速度是否小于预设阈值，若是，则获取所述目标人脸处于多个不同角度的多张第一图像。
可选地，如图5C，图5C是图5A所描述的人脸建模装置的检测单元502的具体细节结构，所述检测单元502可包括：预处理模块5021、提取模块5022和第一划分模块5023，具体如下：
所述预处理模块5021，用于对所述任一第一图像进行预处理，得到第二图像；
所述提取模块5022，用于对所述第二图像进行特征点提取，得到多个目标特征点；
所述第一划分模块5023，用于根据所述多个目标特征点构造所述目标人脸的外围轮廓，将所述外围轮廓范围内作为所述第一人像区域，所述外围轮廓外作为所述第一背景区域。
可选地，如图5D，图5D是图5A所描述的人脸建模装置的分割单元503的具体细节结构，所述分割单元503可包括：第二划分模块5031、第一匹配模块5032和合成模块5033，具体如下：
所述第二划分模块5031，用于根据所述多张深度图像中每一深度图像的深度信息，将所述每一深度图像划分为第二人脸区域和第二背景区域，得到多个第二人脸区域和多个第二背景区域；
所述第一匹配模块5032，用于将所述多个第二人脸区域分别与所述第一人脸区域进行匹配，得到多个第一子区域，每一所述第一子区域为一个所述第二人脸区域中与所述第一人脸区域匹配成功的区域，并将所述多个第二背景区域分别与所述第一背景区域进行匹配，得到多个第二子区域，每一所述第二子区域为一个所述第二背景区域中与所述第一背景区域匹配失败的区域；
所述合成模块5033，用于根据所述多个第一子区域和所述多个第二子区域，合成所述多张目标人脸区域图像。
可选地，如图5E，图5E为图5A所描述的人脸建模装置的建模单元504的具体细节结构，所述建模单元504可包括：确定模块5041、运算模块5042、第二匹配模块5043和拼接模块5044，具体如下：
所述确定模块5041，用于确定所述多张目标人脸区域图像中每一目标人脸区域图像对应的兴趣点集合，得到多个兴趣点集合，所述多个兴趣点集合中每一兴趣点集合包含至少一个兴趣点，每一兴趣点集合对应一个角度值；
所述运算模块5042，用于将所述多个兴趣点集合中所有兴趣点的深度信息输入至预设三维卷积神经网络中，得到多个几何描述符，所述预设三维卷积神经网络用于对所有兴趣点的深度信息进行运算得到；
所述第二匹配模块5043，用于将所述多个兴趣点集合进行两两分组，得到多个分组，每一分组包含的两个兴趣点集合对应的角度值互为相邻，将所述多个分组中每一分组内的两个兴趣点集合进行匹配，得到多个目标兴趣点集合，每一目标兴趣点集合至少包含一个目标兴趣点对，目标兴趣点对为在匹配过程中匹配成功的两个兴趣点，每一分组对应一个目标兴趣点集合；
所述拼接模块5044，用于根据所述多个目标兴趣点集合中每一目标兴趣点集合中的至少一对兴趣点，将所述多张目标人脸区域图像中每一分组对应的两张目标人脸区域图像进行拼接，得到所述3D人脸图像。
可以看出，本申请实施例中所描述的人脸建模装置，通过在目标人脸旋转过程中，检测目标人脸旋转的角速度，判断角速度是否小于预设阈值，若是，则获取目标人脸处于多个不同角度的多张第一图像，对多张第一图像中的任一第一图像进行人脸检测，将任一第一图像划分为第一人脸区域和第一背景区域，获取多张第一图像对应的深度图像，得到多张深度图像，依据第一人脸区域和第一背景区域对多张深度图像进行分割，得到多张目标人脸区域图像，依据多张目标人脸区域图像进行3D人脸建模，得到3D人脸图像，如此，通过将上述任一第一图像进行划分得到的第一人脸区域和第一背景区域，对深度图像进行分割，减小了通过深度信息分割深度图像的噪声，从而提高了3D人脸建模的精确度。
可以理解的是，本实施例的人脸建模装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
本申请实施例还提供了另一种电子设备，如图6所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该电子设备可以为包括手机、平板电脑、PDA(personal digital assistant，个人数字助理)、POS(point of sales，销售终端)、车载电脑等任意终端设备，以电子设备为手机为例：
图6示出的是与本发明实施例提供的移动终端相关的手机的部分结构的框图。如图6所示的手机6000包括：至少一个处理器6011、存储器6012、通信接口(包括SIM接口6014、音频输入接口6015、串行接口6016和其他通信接口6017)、信号处理模块6013(包括接收器6018、发射器6019、LOs6020和信号处理器6021)、输入输出模块(包括显示屏6022、扬声器6023、麦克风6024、传感器6025等)。本领域技术人员可以理解，图6中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图6对手机的各个构成部件进行具体地介绍：
处理器6011是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器6012内的软件程序和/或模块，以及调用存储在存储器内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选地，处理器可集成应用处理器(例如，CPU，或者，GPU)和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。
其中，处理器6011，用于执行如下步骤：
在目标人脸旋转过程中，获取所述目标人脸处于多个不同角度的多张第一图像，每一图像对应唯一角度；
对所述多张第一图像中的任一第一图像进行人脸检测，将所述任一第一图像划分为第一人脸区域和第一背景区域；
获取所述多张第一图像对应的深度图像，得到多张深度图像，依据所述第一人脸区域和第一背景区域对所述多张深度图像进行分割，得到多张目标人脸区域图像；
依据所述多张目标人脸区域图像进行3D人脸建模，得到3D人脸图像。
存储器6012可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
通信接口用于与外部设备进行通信连接，包括SIM接口6014、音频输入接口6015、串行接口6016和其他通信接口6017。
输入输出模块6010可包括显示屏6022、扬声器6023、麦克风6024、传感器6025等，其中，显示屏6022用于显示拍摄到的第一图像，以及对得到的3D人脸图像进行展示，传感器6025可包括光传感器、运动传感器、脑电波传感器、摄像头以及其他传感器。具体地，光传感器可包括环境传感器及接近传感器，其中，环境传感器可根据环境光线的明暗来调节触控显示屏的亮度，接近传感器可在手机移动到耳边时，关闭触控显示屏和/或背光。运动传感器例如可以是加速计传感器，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等。本申请中的摄像头用于拍摄多张第一图像，以及在拍摄多张第一图像的过程中采集拍摄画面的深度信息。
信号处理模块6013用于处理手机从外部设备接收的信号以及向外部设备发送信号，外部设备例如可以是基站，其中，接收器6018用于接收外部设备发送的信号，并将该信号传输至信号处理器6021，发射器6019用于对信号处理器6021输出的信号进行发射。
前述图1B、图2或图3所示的实施例中，各步骤方法流程可以基于该手机的结构实现。
前述图4、图5A～图5E所示的实施例中，各单元功能可以基于该手机的结构实现。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种人脸建模方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种人脸建模方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、ROM、RAM、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种人脸建模方法，其特征在于，所述方法包括：
在目标人脸旋转过程中，获取所述目标人脸处于多个不同角度的多张第一图像，每一图像对应唯一角度；
对所述多张第一图像中的任一第一图像进行人脸检测，将所述任一第一图像划分为第一人脸区域和第一背景区域；
获取所述多张第一图像对应的深度图像，得到多张深度图像，依据所述第一人脸区域和第一背景区域对所述多张深度图像进行分割，得到多张目标人脸区域图像；
依据所述多张目标人脸区域图像进行3D人脸建模，得到3D人脸图像；
其中，确定所述多张目标人脸区域图像中每一目标人脸区域图像对应的兴趣点集合，得到多个兴趣点集合，所述多个兴趣点集合中每一兴趣点集合包含至少一个兴趣点，每一兴趣点集合对应一个角度值；
将所述多个兴趣点集合中所有兴趣点的深度信息输入至预设三维卷积神经网络中，得到多个几何描述符，所述预设三维卷积神经网络用于对所有兴趣点的深度信息进行运算得到；
将所述多个兴趣点集合进行两两分组，得到多个分组，每一分组包含的两个兴趣点集合对应的角度值互为相邻，将所述多个分组中每一分组内的两个兴趣点集合进行匹配，得到多个目标兴趣点集合，每一目标兴趣点集合至少包含一个目标兴趣点对，目标兴趣点对为在匹配过程中匹配成功的两个兴趣点，每一分组对应一个目标兴趣点集合；根据所述多个目标兴趣点集合中每一目标兴趣点集合中的至少一对兴趣点，将所述多张目标人脸区域图像中每一分组对应的两张目标人脸区域图像进行拼接，得到所述3D人脸图像。
2.根据权利要求1所述的方法，其特征在于，所述在目标人脸旋转过程中，获取所述目标人脸处于多个不同角度的多张第一图像，包括：
在所述目标人脸旋转过程中，检测所述目标人脸旋转的角速度；
判断所述角速度是否小于预设阈值，若是，则获取所述目标人脸处于多个不同角度的多张第一图像。
3.根据权利要求1或2所述的方法，其特征在于，所述对所述多张第一图像中的任一第一图像进行人脸检测，将所述任一第一图像划分为第一人脸区域和第一背景区域，包括：
对所述任一第一图像进行预处理，得到第二图像；
对所述第二图像进行特征点提取，得到多个目标特征点；
根据所述多个目标特征点构造所述目标人脸的外围轮廓，将所述外围轮廓范围内作为所述第一人脸区域，所述外围轮廓外作为所述第一背景区域。
4.根据权利要求1至2任一项所述的方法，其特征在于，所述依据所述第一人脸区域和第一背景区域对所述多张深度图像进行分割，得到多张目标人脸区域图像，包括：
根据所述多张深度图像中每一深度图像的深度信息，将所述每一深度图像划分为第二人脸区域和第二背景区域，得到多个第二人脸区域和多个第二背景区域；
将所述多个第二人脸区域分别与所述第一人脸区域进行匹配，得到多个第一子区域，每一所述第一子区域为一个所述第二人脸区域中与所述第一人脸区域匹配成功的区域，并将所述多个第二背景区域分别与所述第一背景区域进行匹配，得到多个第二子区域，每一所述第二子区域为一个所述第二背景区域中与所述第一背景区域匹配失败的区域；
根据所述多个第一子区域和所述多个第二子区域，合成所述多张目标人脸区域图像。
5.根据权利要求3所述的方法，其特征在于，所述依据所述第一人脸区域和第一背景区域对所述多张深度图像进行分割，得到多张目标人脸区域图像，包括：
根据所述多张深度图像中每一深度图像的深度信息，将所述每一深度图像划分为第二人脸区域和第二背景区域，得到多个第二人脸区域和多个第二背景区域；
将所述多个第二人脸区域分别与所述第一人脸区域进行匹配，得到多个第一子区域，每一所述第一子区域为一个所述第二人脸区域中与所述第一人脸区域匹配成功的区域，并将所述多个第二背景区域分别与所述第一背景区域进行匹配，得到多个第二子区域，每一所述第二子区域为一个所述第二背景区域中与所述第一背景区域匹配失败的区域；
根据所述多个第一子区域和所述多个第二子区域，合成所述多张目标人脸区域图像。
6.一种人脸建模装置，其特征在于，所述人脸建模装置包括：
获取单元，用于在目标人脸旋转过程中，获取所述目标人脸处于多个不同角度的多张第一图像，每一图像对应唯一角度；
检测单元，用于对所述多张第一图像中的任一第一图像进行人脸检测，将所述任一第一图像划分为第一人脸区域和第一背景区域；
分割单元，用于获取所述多张第一图像对应的深度图像，得到多张深度图像，依据所述第一人脸区域和第一背景区域对所述多张深度图像进行分割，得到多张目标人脸区域图像；
建模单元，用于依据所述多张目标人脸区域图像进行3D人脸建模，得到3D人脸图像；
所述建模单元包括：
确定模块，用于确定所述多张目标人脸区域图像中每一目标人脸区域图像对应的兴趣点集合，得到多个兴趣点集合，所述多个兴趣点集合中每一兴趣点集合包含至少一个兴趣点，每一兴趣点集合对应一个角度值；
运算模块，用于将所述多个兴趣点集合中所有兴趣点的深度信息输入至预设三维卷积神经网络中，得到多个几何描述符，所述预设三维卷积神经网络用于对所有兴趣点的深度信息进行运算得到；
匹配模块，用于将所述多个兴趣点集合进行两两分组，得到多个分组，每一分组包含的两个兴趣点集合对应的角度值互为相邻，将所述多个分组中每一分组内的两个兴趣点集合进行匹配，得到多个目标兴趣点集合，每一目标兴趣点集合至少包含一个目标兴趣点对，目标兴趣点对为在匹配过程中匹配成功的两个兴趣点，每一分组对应一个目标兴趣点集合；
拼接模块，用于根据所述多个目标兴趣点集合中每一目标兴趣点集合中的至少一对兴趣点，将所述多张目标人脸区域图像中每一分组对应的两张目标人脸区域图像进行拼接，得到所述3D人脸图像。
7.根据权利要求6所述的人脸建模装置，其特征在于，所述获取单元包括：
第一检测模块，用于在所述目标人脸旋转过程中，检测所述目标人脸旋转的角速度；
获取模块，用于判断所述角速度是否小于预设阈值，若是，则获取所述目标人脸处于多个不同角度的多张第一图像。
8.一种电子设备，其特征在于，包括：处理器和存储器；以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置成由所述处理器执行，所述程序包括用于如权利要求1-5任一项方法的指令。
9.一种计算机可读存储介质，其特征在于，其用于存储计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-5任一项所述的方法。
CN201810327932.5A 2018-04-12 2018-04-12 人脸建模方法及相关产品 Active CN110378994B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810327932.5A CN110378994B (zh) 2018-04-12 2018-04-12 人脸建模方法及相关产品
EP19785471.4A EP3757946A4 (en) 2018-04-12 2019-04-04 FACIAL MODELING PROCEDURE AND RELATED PRODUCT
PCT/CN2019/081547 WO2019196745A1 (zh) 2018-04-12 2019-04-04 人脸建模方法及相关产品
US16/931,830 US11398044B2 (en) 2018-04-12 2020-07-17 Method for face modeling and related products

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810327932.5A CN110378994B (zh) 2018-04-12 2018-04-12 人脸建模方法及相关产品

Publications (2)

Publication Number Publication Date
CN110378994A CN110378994A (zh) 2019-10-25
CN110378994B true CN110378994B (zh) 2021-05-28

Family

ID=68163034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810327932.5A Active CN110378994B (zh) 2018-04-12 2018-04-12 人脸建模方法及相关产品

Country Status (4)

Country Link
US (1) US11398044B2 (zh)
EP (1) EP3757946A4 (zh)
CN (1) CN110378994B (zh)
WO (1) WO2019196745A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108521547A (zh) * 2018-04-24 2018-09-11 京东方科技集团股份有限公司 图像处理方法、装置及设备
TWI731503B (zh) * 2019-12-10 2021-06-21 緯創資通股份有限公司 活體臉部辨識系統與方法
CN113095111B (zh) * 2019-12-23 2024-03-26 深圳云天励飞技术有限公司 人脸图像对比方法及相关装置
CN111210510B (zh) * 2020-01-16 2021-08-06 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
CN113703564A (zh) * 2020-05-21 2021-11-26 北京聚匠艺传媒有限公司 一种基于面部特征的人机交互设备及系统
CN113705280B (zh) * 2020-05-21 2024-05-10 北京聚匠艺传媒有限公司 一种基于面部特征的人机交互方法及装置
CN112435326A (zh) * 2020-11-20 2021-03-02 深圳市慧鲤科技有限公司 可打印模型文件生成方法和相关产品
CN112562060A (zh) * 2020-11-24 2021-03-26 深兰科技（上海）有限公司 三维人脸建模方法、装置、电子设备及存储介质
CN112364846B (zh) * 2021-01-12 2021-04-30 深圳市一心视觉科技有限公司 一种人脸活体识别方法、装置、终端设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101814192A (zh) * 2009-02-20 2010-08-25 三星电子株式会社 真实感3d人脸重建的方法
CN104574432A (zh) * 2015-02-15 2015-04-29 四川川大智胜软件股份有限公司 一种自动多视角人脸自拍图像的三维人脸重建方法及系统
CN107633165A (zh) * 2017-10-26 2018-01-26 深圳奥比中光科技有限公司 3d人脸身份认证方法与装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000076454A (ja) * 1998-08-31 2000-03-14 Minolta Co Ltd ３次元形状データ処理装置
CN101339669A (zh) 2008-07-29 2009-01-07 上海师范大学 基于正侧面影像的三维人脸建模方法
US7940371B2 (en) * 2008-09-02 2011-05-10 Disney Enterprises, Inc. Interactive zoetrope for animation of solid figurines and holographic projections
US9595108B2 (en) 2009-08-04 2017-03-14 Eyecue Vision Technologies Ltd. System and method for object extraction
CN103247074A (zh) * 2013-04-23 2013-08-14 苏州华漫信息服务有限公司 一种结合深度信息与人脸分析技术的3d照相方法
KR20150037091A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 영상처리장치 및 그 제어방법
CN103971408B (zh) * 2014-05-21 2017-05-03 中国科学院苏州纳米技术与纳米仿生研究所 三维人脸模型生成系统及方法
US9898836B2 (en) * 2015-02-06 2018-02-20 Ming Chuan University Method for automatic video face replacement by using a 2D face image to estimate a 3D vector angle of the face image
CN104599284B (zh) * 2015-02-15 2017-06-13 四川川大智胜软件股份有限公司 基于多视角手机自拍图像的三维人脸重建方法
KR102285376B1 (ko) * 2015-12-01 2021-08-03 삼성전자주식회사 3d 얼굴 모델링 방법 및 3d 얼굴 모델링 장치
US20170316582A1 (en) * 2016-04-27 2017-11-02 Bellus3D Robust Head Pose Estimation with a Depth Camera

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101814192A (zh) * 2009-02-20 2010-08-25 三星电子株式会社 真实感3d人脸重建的方法
CN104574432A (zh) * 2015-02-15 2015-04-29 四川川大智胜软件股份有限公司 一种自动多视角人脸自拍图像的三维人脸重建方法及系统
CN107633165A (zh) * 2017-10-26 2018-01-26 深圳奥比中光科技有限公司 3d人脸身份认证方法与装置

Also Published As

Publication number Publication date
US11398044B2 (en) 2022-07-26
WO2019196745A1 (zh) 2019-10-17
CN110378994A (zh) 2019-10-25
EP3757946A1 (en) 2020-12-30
US20200349731A1 (en) 2020-11-05
EP3757946A4 (en) 2021-06-02

Similar Documents

Publication Publication Date Title
CN110378994B (zh) 人脸建模方法及相关产品
EP3579192B1 (en) Method, apparatus and device for determining camera posture information, and storage medium
US11481923B2 (en) Relocalization method and apparatus in camera pose tracking process, device, and storage medium
CN110059661B (zh) 动作识别方法、人机交互方法、装置及存储介质
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
CN109151442B (zh) 一种图像拍摄方法及终端
JP7387202B2 (ja) ３次元顔モデル生成方法、装置、コンピュータデバイス及びコンピュータプログラム
EP2903256B1 (en) Image processing device, image processing method and program
CN110807361A (zh) 人体识别方法、装置、计算机设备及存储介质
KR20150130483A (ko) 평면의 자연스러운 특성 타겟들의 인시츄 생성
CN108776822B (zh) 目标区域检测方法、装置、终端及存储介质
CN110033423B (zh) 用于处理图像的方法和装置
CN112308977B (zh) 视频处理方法、视频处理装置和存储介质
CN110309721B (zh) 视频处理方法、终端和存储介质
CN109816628B (zh) 人脸评价方法及相关产品
CN111353325A (zh) 关键点检测模型训练方法及装置
CN109785439A (zh) 人脸素描图像生成方法及相关产品
CN111428551B (zh) 密度检测方法、密度检测模型训练方法和装置
CN113342157A (zh) 眼球追踪处理方法及相关装置
CN113724176A (zh) 一种多摄像头动作捕捉无缝衔接方法、装置、终端及介质
CN112767453B (zh) 人脸跟踪方法、装置、电子设备及存储介质
CN114422736B (zh) 一种视频处理方法、电子设备及计算机存储介质
CN111068333B (zh) 基于视频的载具异常状态检测方法、装置、设备及介质
CN117746192A (zh) 电子设备及其数据处理方法
CN112802081A (zh) 一种深度检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant