CN112749611B - 人脸点云模型生成方法及装置、存储介质、电子设备 - Google Patents

人脸点云模型生成方法及装置、存储介质、电子设备 Download PDF

Info

Publication number
CN112749611B
CN112749611B CN202010734492.2A CN202010734492A CN112749611B CN 112749611 B CN112749611 B CN 112749611B CN 202010734492 A CN202010734492 A CN 202010734492A CN 112749611 B CN112749611 B CN 112749611B
Authority
CN
China
Prior art keywords
image
face
point cloud
key
cloud model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010734492.2A
Other languages
English (en)
Other versions
CN112749611A (zh
Inventor
林祥凯
王盛
暴林超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010734492.2A priority Critical patent/CN112749611B/zh
Publication of CN112749611A publication Critical patent/CN112749611A/zh
Application granted granted Critical
Publication of CN112749611B publication Critical patent/CN112749611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本公开提供一种人脸点云模型生成方法及装置、电子设备、存储介质；涉及人脸识别技术领域。所述人脸点云模型生成方法包括：获取目标对象对应的脸部特征图像；其中，所述脸部特征图像包括人脸特征图像和所述人脸特征图像对应的深度图像；对所述人脸特征图像进行关键帧筛选处理，确定所述人脸特征图像中的关键姿态图像；通过所述关键姿态图像对所述关键姿态图像对应的所述深度图像进行裁剪处理，生成目标深度图像；根据所述关键姿态图像以及所述目标深度图像进行点云融合，生成所述目标对象对应的人脸点云模型。本公开能够全程自动生成人脸点云模型，不仅提高了人脸点云模型的效率，同时有效保证人脸点云模型的质量。

Description

人脸点云模型生成方法及装置、存储介质、电子设备
技术领域
本公开涉及人脸识别技术领域，具体而言，涉及一种人脸点云模型生成方法、人脸点云模型生成装置、电子设备以及计算机可读存储介质。
背景技术
随着科学技术的飞速发展，人脸识别技术越来越得到人们的广泛关注。其中，三维人脸识别技术逐渐被应用到不同的实际场景中。
目前，相关技术方案中，在生成人脸点云模型时需要通过人工的方式过滤人脸图像帧，这种方式不仅效率较低，而且鲁棒性较差，如在选取的人脸图像帧中存在较多干扰图像时，会导致生成的人脸点云模型出现融合错误或点云重合等问题，甚至出现融合崩溃的现象。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种人脸点云模型生成方法、人脸点云模型生成装置、电子设备以及计算机可读存储介质，进而在一定程度上克服由于相关技术的限制和缺陷而导致的，在生成人脸点云模型时，生成效率较低且人脸点云模型效果较差的问题。
根据本公开的第一方面，提供一种人脸点云模型生成方法，包括：
获取目标对象对应的脸部特征图像；其中，所述脸部特征图像包括人脸特征图像和所述人脸特征图像对应的深度图像；
对所述人脸特征图像进行关键帧筛选处理，确定所述人脸特征图像中的关键姿态图像；
通过所述关键姿态图像对所述关键姿态图像对应的所述深度图像进行裁剪处理，生成目标深度图像；
根据所述关键姿态图像以及所述目标深度图像进行点云融合，生成所述目标对象对应的人脸点云模型。
在本公开的一种示例性实施例中，基于前述方案，获取目标对象对应的脸部特征图像，包括：
通过固定采集角度的方式，获取转动脸部区域的所述目标对象对应的脸部特征图像；或者
通过转动采集角度的方式，获取固定脸部区域的所述目标对象对应的脸部特征图像。
在本公开的一种示例性实施例中，基于前述方案，在获取目标对象对应的脸部特征图像之后，所述方法还包括：
对所述脸部特征图像进行预处理；
所述对所述脸部特征图像进行预处理，包括：
对所述深度图像进行保边滤波处理，以去除所述深度图像中的噪声信息；以及
对所述人脸特征图像进行非关键帧过滤处理，以过滤所述人脸特征图像中的眨眼图像。
在本公开的一种示例性实施例中，基于前述方案，对所述人脸特征图像进行非关键帧过滤处理，包括：
对所述人脸特征图像进行人脸标志点检测，确定所述人脸特征图像对应的二维标志点坐标；其中，所述二维标志点坐标包括眼部标志点坐标；
根据所述眼部标志点坐标确定眼睛睁开程度值；
将所述眼睛睁开程度值小于预设睁眼阈值的所述人脸特征图像确定为眨眼图像，并对所述眨眼图像进行过滤处理。
在本公开的一种示例性实施例中，基于前述方案，在对所述人脸特征图像进行关键帧筛选处理，确定所述人脸特征图像中的关键姿态图像之前，所述方法还包括：
确定所述人脸特征图像对应的正向脸部图像，并确定所述正向脸部图像对应的三维关键点坐标；
根据所述人脸特征图像对应的二维标志点坐标与所述三维关键点坐标进行姿态角计算，得到所述人脸特征图像对应的姿态角；其中，所述姿态角包括左右偏航角和俯仰角；
通过所述左右偏航角和所述俯仰角将所述人脸特征图像分为左转脸部图像序列、右转脸部图像序列和抬头图像序列。
在本公开的一种示例性实施例中，基于前述方案，对所述人脸特征图像进行关键帧筛选处理，确定所述人脸特征图像中的关键姿态图像，包括：
对所述左转脸部图像序列、所述右转脸部图像序列和所述抬头图像序列进行关键帧筛选处理，确定所述人脸特征图像中的关键姿态图像；其中，所述关键姿态图像包括左转脸部图像、右转脸部图像和抬头图像。
在本公开的一种示例性实施例中，基于前述方案，对所述左转脸部图像序列、所述右转脸部图像序列和所述抬头图像序列进行关键帧筛选处理，包括：
对所述左转脸部图像序列中右侧脸部区域对应的三维关键点坐标与所述正向脸部图像中右侧脸部区域对应的三维关键点坐标进行随机抽样一致性计算，得到所述左转脸部图像序列对应的第一欧拉角；
根据所述第一欧拉角选取所述左转脸部图像序列中的左转脸部图像。
在本公开的一种示例性实施例中，基于前述方案，对所述所述右转脸部图像序列进行关键帧筛选处理，包括：
对所述右转脸部图像序列中左侧脸部区域对应的三维关键点坐标与所述正向脸部图像中左侧脸部区域对应的三维关键点坐标进行随机抽样一致性计算，得到所述右转脸部图像序列对应的第二欧拉角；
根据所述第二欧拉角选取所述右转脸部图像序列中的右转脸部图像。
在本公开的一种示例性实施例中，基于前述方案，对所述抬头图像序列进行关键帧筛选处理，包括：
对所述抬头图像序列中下巴区域对应的三维关键点坐标与所述正向脸部图像中下巴区域对应的三维关键点坐标进行随机抽样一致性计算，得到所述抬头图像序列对应的第三欧拉角；
根据所述第三欧拉角选取所述抬头图像序列中的抬头图像。
在本公开的一种示例性实施例中，基于前述方案，通过所述关键姿态图像对所述关键姿态图像对应的所述深度图像进行裁剪处理，生成目标深度图像，包括：
根据有效深度阈值对所述深度图像进行背景裁剪处理，以去除所述深度图像中的背景区域；
根据所述关键姿态图像对应的二维标志点坐标确定裁剪区域，并通过所述裁剪区域对背景裁剪处理后的深度图像进行裁剪处理，生成所述关键姿态图像对应的目标深度图像。
在本公开的一种示例性实施例中，基于前述方案，根据所述关键姿态图像以及所述目标深度图像进行点云融合，生成所述目标对象对应的人脸点云模型，包括：
对所述关键姿态图像以及所述目标深度图像进行反投影处理，得到各所述关键姿态图像对应的点云模型；
对各所述关键姿态图像对应的点云模型进行点云融合，生成所述目标对象对应的人脸点云模型。
在本公开的一种示例性实施例中，基于前述方案，对各所述关键姿态图像对应的点云模型进行点云融合，生成所述目标对象对应的人脸点云模型，包括：
将所述正向脸部图像对应的点云模型作为原始点云模型，并将所述关键姿态图像对应的点云模型作为目标点云模型；
确定所述原始点云模型与所述目标点云模型对应的重合区域；
基于所述重合区域对所述原始点云模型与所述目标点云模型进行迭代计算，以将所述述原始点云模型与所述目标点云模型融合生成所述目标对象对应的人脸点云模型。
在本公开的一种示例性实施例中，基于前述方案，在对各所述关键姿态图像对应的点云模型进行点云融合，生成所述目标对象对应的人脸点云模型之后，所述方法还包括：
对所述人脸点云模型进行裁剪处理，生成包含关键区域的目标人脸点云模型；和/或
对所述人脸点云模型进行降采样处理，生成不同点云密度的目标人脸点云模型。
根据本公开的第二方面，提供一种人脸点云模型生成装置，包括：
脸部特征图像获取模块，用于获取目标对象对应的脸部特征图像；其中，所述脸部特征图像包括人脸特征图像和所述人脸特征图像对应的深度图像；
关键姿态图像筛选模块，用于对所述人脸特征图像进行关键帧筛选处理，确定所述人脸特征图像中的关键姿态图像；
深度图像裁剪模块，用于通过所述关键姿态图像对所述关键姿态图像对应的所述深度图像进行裁剪处理，生成目标深度图像；
人脸点云模型生成模块，用于根据所述关键姿态图像以及所述目标深度图像进行点云融合，生成所述目标对象对应的人脸点云模型。
在本公开的一种示例性实施例中，所述脸部特征图像获取模块2210包括脸部特征图像采集单元，所述脸部特征图像采集单元被配置为：
通过固定采集角度的方式，获取转动脸部区域的所述目标对象对应的脸部特征图像；或者
通过转动采集角度的方式，获取固定脸部区域的所述目标对象对应的脸部特征图像。
在本公开的一种示例性实施例中，所述人脸点云模型生成装置2200还包括图像预处理单元，所述图像预处理单元被配置为：
对所述脸部特征图像进行预处理；
所述对所述脸部特征图像进行预处理，包括：
对所述深度图像进行保边滤波处理，以去除所述深度图像中的噪声信息；以及
对所述人脸特征图像进行非关键帧过滤处理，以过滤所述人脸特征图像中的眨眼图像。
在本公开的一种示例性实施例中，所述图像预处理单元还被配置为：
对所述人脸特征图像进行人脸标志点检测，确定所述人脸特征图像对应的二维标志点坐标；其中，所述二维标志点坐标包括眼部标志点坐标；
根据所述眼部标志点坐标确定眼睛睁开程度值；
将所述眼睛睁开程度值小于预设睁眼阈值的所述人脸特征图像确定为眨眼图像，并对所述眨眼图像进行过滤处理。
在本公开的一种示例性实施例中，所述所述人脸点云模型生成装置2200还包括图像序列分类单元，所述图像序列分类单元被配置为：
确定所述人脸特征图像对应的正向脸部图像，并确定所述正向脸部图像对应的三维关键点坐标；
根据所述人脸特征图像对应的二维标志点坐标与所述三维关键点坐标进行姿态角计算，得到所述人脸特征图像对应的姿态角；其中，所述姿态角包括左右偏航角和俯仰角；
通过所述左右偏航角和所述俯仰角将所述人脸特征图像分为左转脸部图像序列、右转脸部图像序列和抬头图像序列。
在本公开的一种示例性实施例中，所述关键姿态图像筛选模块2220还包括关键姿态图像确定单元，所述关键姿态图像确定单元被配置为：
对所述左转脸部图像序列、所述右转脸部图像序列和所述抬头图像序列进行关键帧筛选处理，确定所述人脸特征图像中的关键姿态图像；其中，所述关键姿态图像包括左转脸部图像、右转脸部图像和抬头图像。
在本公开的一种示例性实施例中，所述关键姿态图像确定单元还被配置为：
对所述左转脸部图像序列中右侧脸部区域对应的三维关键点坐标与所述正向脸部图像中右侧脸部区域对应的三维关键点坐标进行随机抽样一致性计算，得到所述左转脸部图像序列对应的第一欧拉角；
根据所述第一欧拉角选取所述左转脸部图像序列中的左转脸部图像。
在本公开的一种示例性实施例中，所述关键姿态图像确定单元还被配置为：
对所述右转脸部图像序列中左侧脸部区域对应的三维关键点坐标与所述正向脸部图像中左侧脸部区域对应的三维关键点坐标进行随机抽样一致性计算，得到所述右转脸部图像序列对应的第二欧拉角；
根据所述第二欧拉角选取所述右转脸部图像序列中的右转脸部图像。
在本公开的一种示例性实施例中，所述关键姿态图像确定单元还被配置为：
对所述抬头图像序列中下巴区域对应的三维关键点坐标与所述正向脸部图像中下巴区域对应的三维关键点坐标进行随机抽样一致性计算，得到所述抬头图像序列对应的第三欧拉角；
根据所述第三欧拉角选取所述抬头图像序列中的抬头图像。
在本公开的一种示例性实施例中，所述深度图像裁剪模块2230还被配置为：
根据有效深度阈值对所述深度图像进行背景裁剪处理，以去除所述深度图像中的背景区域；
根据所述关键姿态图像对应的二维标志点坐标确定裁剪区域，并通过所述裁剪区域对背景裁剪处理后的深度图像进行裁剪处理，生成所述关键姿态图像对应的目标深度图像。
在本公开的一种示例性实施例中，所述人脸点云模型生成模块2240还包括：
点云模型生成单元，用于对所述关键姿态图像以及所述目标深度图像进行反投影处理，得到各所述关键姿态图像对应的点云模型；
点云模型融合单元，用于对各所述关键姿态图像对应的点云模型进行点云融合，生成所述目标对象对应的人脸点云模型。
在本公开的一种示例性实施例中，所述点云模型融合单元还被配置为：
将所述正向脸部图像对应的点云模型作为原始点云模型，并将所述关键姿态图像对应的点云模型作为目标点云模型；
确定所述原始点云模型与所述目标点云模型对应的重合区域；
基于所述重合区域对所述原始点云模型与所述目标点云模型进行迭代计算，以将所述述原始点云模型与所述目标点云模型融合生成所述目标对象对应的人脸点云模型。
在本公开的一种示例性实施例中，所述人脸点云模型生成装置2200还包括人脸点云模型优化单元，所述人脸点云模型优化单元被配置为：
对所述人脸点云模型进行裁剪处理，生成包含关键区域的目标人脸点云模型；和/或
对所述人脸点云模型进行降采样处理，生成不同点云密度的目标人脸点云模型。
根据本公开的第三方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的方法。
根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的方法。
本公开示例性实施例可以具有以下部分或全部有益效果：
在本公开的一示例实施方式所提供的人脸点云模型生成方法中，获取目标对象对应的脸部特征图像，然后对脸部特征图像中的人脸特征图像进行关键帧筛选处理，确定人脸特征图像中的关键姿态图像；通过关键姿态图像对关键姿态图像对应的深度图像进行裁剪处理，生成目标深度图像；进而，根据关键姿态图像以及目标深度图像进行点云融合，生成目标对象对应的人脸点云模型。一方面，确定人脸特征图像中的关键姿态图像，并根据关键姿态图像生成人脸点云模型，能够在保证人脸点云模型的精确度的同时，有效提升生成人脸点云模型的效率；另一方面，根据关键姿态图像裁剪其对应的深度图像，并根据裁剪得到的目标深度图像与关键姿态图像生成人脸点云模型，能够减少人脸点云模型融合时发生的点云重合问题，提升人脸点云模型融合的精确度，提升人脸点云模型的显示效果；再一方面，没有人工方式的参与，全程能够自动化执行，提高人脸点云模型的生成效率的同时，提升融合过程的鲁棒性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了可以应用本公开实施例的一种人脸点云模型生成方法及装置的示例性系统架构的示意图；
图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图；
图3示意性示出了根据本公开的一个实施例的人脸点云模型生成方法的流程示意图；
图4示意性示出了根据本公开的一个实施例的完成采集的脸部特征图像的示意图；
图5示意性示出了根据本公开的一个实施例的采集不同转角度下人脸特征图像的示意图；
图6示意性示出了根据本公开的一个实施例的对深度图像进行保边滤波前后的示意图；
图7示意性示出了根据本公开的一个实施例的对眨眼图像进行过滤的流程示意图；
图8示意性示出了根据本公开的一个实施例的人脸特征图像对应的二维标志点坐标的示意图；
图9示意性示出了根据本公开的一个实施例的对人脸特征图像进行分类的流程示意图；
图10示意性示出了根据本公开的一个实施例的根据左右偏航角和俯仰角进行分类计算的示意图；
图11示意性示出了根据本公开的一个实施例的筛选得到的关键姿态图像的示意图；
图12示意性示出了根据本公开的一个实施例的对深度图像进行裁剪处理的流程示意图；
图13示意性示出了根据本公开的一个实施例的目标深度图像的示意图；
图14示意性示出了根据本公开的一个实施例的目标深度图像中重合区域的示意图；
图15示意性示出了根据本公开的一个实施例的点云融合得到人脸点云模型的流程示意图；
图16示意性示出了根据本公开的一个实施例的融合生成的人脸点云模型的示意图；
图17示意性示出了根据本公开的一个实施例的人脸点云模型生成装置的示意框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了可以应用本公开实施例的一种人脸点云模型生成方法及装置的示例性应用环境的系统架构的示意图。
如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是具有显示屏和深度图像采集单元的各种电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
本公开实施例所提供的人脸点云模型生成方法一般由服务器105执行，相应地，人脸点云模型生成装置一般设置于服务器105中。但本领域技术人员容易理解的是，本公开实施例所提供的人脸点云模型生成方法也可以由终端设备101、102、103执行，相应的，人脸点云模型生成装置也可以设置于终端设备101、102、103中，本示例性实施例中对此不做特殊限定。举例而言，在一种示例性实施例中，可以是用户通过终端设备101、102、103将脸部特征图像上传至服务器105，服务器通过本公开实施例所提供的人脸点云模型生成方法将人脸点云模型传输给终端设备101、102、103等。
图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图2示出的电子设备的计算机系统200仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图2所示，计算机系统200包括中央处理单元(CPU)201，其可以根据存储在只读存储器(ROM)202中的程序或者从存储部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。
以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。
特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的方法和装置中限定的各种功能。
在一些实施例中，计算机系统200还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图3～图15所示的各个步骤等。
以下对本公开实施例的技术方案进行详细阐述：
发明人发现，首先，相关技术方案中的人脸点云模型生成很难做到完全自动，并且相关的人脸三维重建技术方案不够鲁棒，往往需要手动的方式进行辅助。例如，通过手动的方式帮忙筛选人脸图像帧，手动过滤掉质量较差的人脸图像帧。但是这种技术方案中，以人工的方式过滤人脸图像帧时，如果选中了角度奇怪或者眨眼等具有干扰性的人脸图像帧，会对最后合成的人脸点云模型的质量造成较大影响。
其次，相关方案中，例如Kinect Fusion类的方案，需要对每一帧都进行ICP(Iterative Closest Point)从而计算人脸姿态。ICP算法本身特别的慢(往往需要GPU加速才能达到实时计算的可能)，而且对于图像抖动和快速运动的情况下很容易造成崩溃，鲁棒性较差。
此外，相关的技术方案中，因为只靠稀疏的点计算姿态。这种方案速度较快，但是计算得到的姿态很不准，导致生成的人脸点云模型差强人意，还可能出现错误的融合，例如由于姿态确定不准确导致点云重合。
基于上述一个或多个问题，本示例实施方式提供了一种人脸点云模型生成方法。该人脸点云模型生成方法可以应用于上述服务器105，也可以应用于上述终端设备101、102、103中的一个或多个，本示例性实施例中对此不做特殊限定。下面以终端设备执行该方法为例进行说明，参考图3所示，该人脸点云模型生成方法可以包括以下步骤S310至步骤S340：
步骤S310、获取目标对象对应的脸部特征图像；其中，所述脸部特征图像包括人脸特征图像和所述人脸特征图像对应的深度图像；
步骤S320、对所述人脸特征图像进行关键帧筛选处理，确定所述人脸特征图像中的关键姿态图像；
步骤S330、通过所述关键姿态图像对所述关键姿态图像对应的所述深度图像进行裁剪处理，生成目标深度图像；
步骤S340、根据所述关键姿态图像以及所述目标深度图像进行点云融合，生成所述目标对象对应的人脸点云模型。
在本示例实施方式所提供的人脸点云模型生成方法中，一方面，确定人脸特征图像中的关键姿态图像，并根据关键姿态图像生成人脸点云模型，能够在保证人脸点云模型的精确度的同时，有效提升生成人脸点云模型的效率；另一方面，根据关键姿态图像裁剪其对应的深度图像，并根据裁剪得到的目标深度图像与关键姿态图像生成人脸点云模型，能够减少人脸点云模型融合时发生的点云重合问题，提升人脸点云模型融合的精确度，提升人脸点云模型的显示效果；再一方面，没有人工方式的参与，全程能够自动化执行，提高人脸点云模型的生成效率的同时，提升融合过程的鲁棒性。
下面，对于本示例实施方式的上述步骤进行更加详细的说明。
在步骤S310中，获取目标对象对应的脸部特征图像；其中，所述脸部特征图像包括人脸特征图像和所述人脸特征图像对应的深度图像。
本公开的一个示例实施例中，目标对象可以是指包含三维脸部特征的对象，例如目标对象可以是人物，也可以是包含三维脸部特征的机器人，当然，还可以是具有三维脸部特征的玩偶，本示例实施例对包含三维脸部特征的目标对象不做具体限定。
脸部特征图像可以是指目标对象的脸部特征在不同角度下对应的图像序列，例如，脸部特征图像可以是深度采集单元拍摄角度不变、目标对象在采集单元前转动脸部采集的不同转动角度下的图像序列，也可以是目标对象的脸部不动、深度采集单元在目标对象脸部周围的不同拍摄角度下采集的图像序列，本示例实施例对此不作特殊限定。
脸部特征图像具体可以包括具有彩色像素的人脸特征图像和人脸特征图像对应的、具有深度信息的深度图像，当然，可以包括其他能够记录目标对象的脸部特征的图像，例如，脸部特征图像还可以包括具有透明度(灰度)信息的阿尔法图像，本示例实施例对此不做特殊限定。
在步骤S320中，对所述人脸特征图像进行关键帧筛选处理，确定所述人脸特征图像中的关键姿态图像。
本公开的一个示例实施例中，关键帧筛选处理可以是指能够从人脸特征图像中选取需要的图像的一系列处理过程，例如，关键帧筛选处理可以包括关键帧确定过程、非关键帧确定过程、非关键帧过滤过程等处理过程，本示例实施对此不做特殊限定。
关键姿态图像可以是指人脸特征图像中能够显示目标对象的脸部关键姿态的图像，例如关键姿态图像可以是目标对象的脸部相对于正向的脸部左转指定角度的人脸特征图像，也可以是目标对象的脸部相对于正向的脸部右转指定角度的人脸特征图像，还可以是目标对象的脸部相对于正向的脸部仰起指定角度的人脸特征图像，当然，还可以是其他能够显示目标对象的脸部关键姿态的人脸特征图像，本示例实施例对此不作特殊限定。
在步骤S330中，通过所述关键姿态图像对所述关键姿态图像对应的所述深度图像进行裁剪处理，生成目标深度图像。
本公开的一个示例实施例中，目标深度图像可以是指对关键姿态图像对应的深度图像进行裁剪后剩余的深度图像，根据关键姿态图像中的关键特征区域对深度图像进行裁剪，以保留关键特征区域对应的目标深度图像。通过裁剪后得到的目标深度图像进行人脸点云模型生成，提升计算效率的同时，提升人脸点云模型的融合效果。
在步骤S340中，根据所述关键姿态图像以及所述目标深度图像进行点云融合，生成所述目标对象对应的人脸点云模型。
本公开的一个示例实施例中，人脸点云模型可以是指通过点云展示目标对象对应的三维脸部特征的模型，可以根据目标深度图像生成具有三维结构的点云，可以通过关键姿态图像中的像素颜色值确定三维结构的点云的颜色特征。然后将不同的目标深度图像对应的三维结构点云进行点云融合，并根据与三维结构点云对应的像素颜色值生成人脸点云模型。
下面以目标对象为人物对象时，对以上示例实施例进行详细说明。
本公开的一个示例实施例中，可以通过以下两种方式获取目标对象对应的脸部特征图像：
第一种，可以通过固定采集角度的方式，获取转动脸部区域的目标对象对应的脸部特征图像。
其中，通过固定采集角度的方式可以是通过固定具有深度信息采集功能的采集单元(例如可以是能够采集深度信息的RGB-D摄像头，也可以是普通摄像头加深度传感器的组合，本示例实施例对此不做特殊限定)的拍摄角度(采集角度)，然后指示目标对象在采集单元的拍摄角度的正方向转动脸部区域(即包含脸部特征的区域)。
具体可以指示目标对象按照指定的方向转动，并按顺序采集脸部特征图像，例如，可以指示目标对象以向左转头—向右转回正方向—向右转头—向左转回正方向—抬头的顺序转动头部，也可以指示目标对象以抬头—向右转头—向左转回正方向—向左转头—向右转回正方向的顺序转动头部，当然，还可以是其他包含以上转动角度的动作顺序，本示例实施例对此不做特殊限定。
举例而言，在一个应用场景中，可以将智能手机作为采集单元。通过智能手机自带的前置摄像头和深度传感器采集到已经对齐的RGB-D图像，这里的对齐是指深度图像中的每一个点对应彩色的人脸特征图像中每一个坐标点的深度信息。将智能手机固定不动，开始采集数据时，用户人脸面朝前置摄像头和深度传感器，使得前置摄像头可以清楚的显示出完整的人脸区域。然后提示用户按照如向左转头—向右转回中间—向右转头—向左转回中间—抬头的顺序转动头部，并尽量保持脸部表情不变，然后采集用户对应的脸部特征图像，并在检测到脸部表情发生较大变化时，提示用户重新执行前述动作，直到采集到正确的脸部特征图像。
第二种，可以通过转动采集角度的方式，获取固定脸部区域的目标对象对应的脸部特征图像。
其中，通过转动采集角度的方式可以是通过改变具有深度信息采集功能的采集单元(例如可以是能够采集深度信息的RGB-D摄像头，也可以是普通摄像头加深度传感器的组合，本示例实施例对此不做特殊限定)的拍摄角度(采集角度)，然后使目标对象在采集单元的拍摄角度的正方向保持脸部区域不动。
图4示意性示出了根据本公开的一个实施例的完成采集的脸部特征图像的示意图。
参考图4所示，通过具有深度信息采集功能的采集单元采集的脸部特征图像具体可以包括人脸特征图像401，以及人脸特征图像401对应的深度图像402。
具体可以指示目标对象的脸部区域面朝采集单元不变，然后控制采集单元按照指定的方向转动，并按转动的顺序依次采集脸部特征图像，例如，在目标对象面部区域固定时，可以控制采集单元向左移动拍摄—向右转回正方向—向右移动拍摄—向左转回正方向—向上移动拍摄的顺序进行采集，也可以控制采集单元以向上移动拍摄—向右移动拍摄—向左转回正方向—向左移动拍摄—向右转回正方向的顺序进行采集，当然，还可以是其他包含以上转动角度的采集顺序，本示例实施例对此不做特殊限定。
举例而言，在一个应用场景中，可以将智能手机作为采集单元，通过智能手机自带的前置摄像头和深度传感器采集到已经对齐的RGB-D图像。指示目标对象的脸部区域固定不动，并尽量保持脸部表情不变，开始采集数据时，使得前置摄像头可以清楚的显示出完整的人脸区域。然后转动智能手机(可以结合智能手机以及放置在目标对象前的弧形支架进行采集)向左移动拍摄—向右转回正方向—向右移动拍摄—向左转回正方向—向上移动拍摄的顺序转动头部，然后采集用户对应的脸部特征图像，并在检测到脸部表情发生较大变化时，重新按照上述转动顺序重新采集脸部特征图像。
图5示意性示出了根据本公开的一个实施例的采集不同转角度下人脸特征图像的示意图。
参考图5所示，假设采用固定采集角度的方式，获取转动脸部区域的目标对象对应的脸部特征图像，并按照目标对象以向左转头—向右转回正方向—向右转头—向左转回正方向—抬头的顺序转动头部，采集到的正方向对应的人脸特征图像501，向左转头过程以及向右转回正方向过程中对应的人脸特征图像502和人脸特征图像503，向右转头过程以及向左转回正方向过程中对应的人脸特征图像504和人脸特征图像505，以及抬头过程中对应的人脸特征图像506。
本公开的一个示例实施例中，在获取到目标对象对应的脸部特征图像之后，可以对脸部特征图像进行预处理，以去除脸部特征图像中的噪声。
其中，预处理可以是对深度图像进行保边滤波处理，以去除深度图像中的噪声信息。保边滤波处理可以是指通过相关的保边滤波算法对采集得到的深度图像进行噪声过滤的处理过程，例如，保边滤波处理可以是通过双边滤波算法对深度图像进行噪声过滤的处理过程，也可以是通过WLS滤波算法对深度图像进行噪声过滤的处理过程，本示例实施例对此不做特殊限定。通过保边滤波处理可以在保证深度图像中的边缘保留的情况下有效的去除噪声，提升深度图像的精确度，降低噪声的干扰。需要说明的是，在对深度图像进行保边滤波之前，需要将深度图像中的深度信息归一化到0-1之间，便于对深度图像进行保边滤波处理。
预处理也可以是对人脸特征图像进行非关键帧过滤处理，以过滤人脸特征图像中的眨眼图像。非关键帧过滤处理可以是指过滤人脸特征图像中非关键帧的处理过程，例如非关键帧过滤处理可以包括过滤人脸特征图像中包含眨眼现象的图像帧的处理过程，也可以包括过滤人脸特征图像中脸部表情发生较大变化的图像帧的处理过程，本示例实施例对此不做特殊限定。眨眼图像可以是指采集的人脸特征图像中包含眨眼现象的图像帧，眨眼图像对人脸点云模型的合成具有较大干扰，因此优先对其进行过滤。
图6示意性示出了根据本公开的一个实施例的对深度图像进行保边滤波前后的示意图。
参考图6所示，通过采集单元采集到的初始深度图像601中包含较多的噪声点，对初始深度图像601进行保边滤波处理得到噪声点较少的深度图像602，可以看出，保边滤波处理后的深度图像602边缘没有缺失，同时噪声点大幅度减少，使深度图像更加平滑。
具体的，可以通过图7中的步骤对人脸特征图像进行非关键帧过滤处理：
参考图7所示，步骤S710，对所述人脸特征图像进行人脸标志点检测，确定所述人脸特征图像对应的二维标志点坐标；其中，所述二维标志点坐标包括眼部标志点坐标；
步骤S720，根据所述眼部标志点坐标确定眼睛睁开程度值；
步骤S730，将所述眼睛睁开程度值小于预设睁眼阈值的所述人脸特征图像确定为眨眼图像，并对所述眨眼图像进行过滤处理。
其中，二维标志点坐标可以是指人脸特征图像中不同区域特征对应的关键点坐标，例如，二维标志点坐标可以包括但不限于眼部标志点坐标、眉毛标志点坐标、脸部轮廓标志点坐标、鼻子标志点坐标、嘴部标志点坐标，本示例实施例不以此为限。
图8示意性示出了根据本公开的一个实施例的人脸特征图像对应的二维标志点坐标的示意图。
参考图8所示，对人脸特征图像801进行二维标志点检测，得到多个二维标志点坐标，其中，二维标志点1-33表示脸部轮廓标志点，二维标志点34-42表示左侧眉毛标志点，二维标志点43-51表示右侧眉毛标志点，二维标志点52-59表示左眼标志点，二维标志点60-67表示右眼标志点，二维标志点68-82表示鼻子区域标志点，二维标志点83-102表示嘴部标志点。
眼睛睁开程度值可以是指衡量眼部区域中眼睛的睁开程度的数值，例如，可以将眼部区域中眼睛上下眼皮标志点之间的距离与眼睛眼角两端标志点距离之间的比值作为眼睛睁开程度值。具体可以参考关系式(1)计算左眼区域的眼睛睁开程度值：
其中，dleft表示左眼上下眼皮上的标志点之间的距离和左眼眼角两端标志点距离之间的比值，li(i＝52、53、54、55、56、57、58、59)表示编号为i的标志的标志点。
同理，可以参考关系式(2)计算右眼区域的眼睛睁开程度值：
其中，dright表示左眼上下眼皮上的标志点之间的距离和左眼眼角两端标志点距离之间的比值，li(i＝60、61、62、63、64、65、66、67)表示编号为i的标志的标志点。
预设睁眼阈值可以是指预先设置的用于判断眼睛睁开程度值对应的人脸特征图像是否为眨眼图像的阈值，在判断左眼睁开程度值小于预设睁眼阈值，或者判断右眼睁开程度值小于预设睁眼阈值，或者左眼睁开程度值和右眼睁开程度值均小于预设睁眼阈值时，确定对应的人脸特征图像为眨眼图像，并对确定的眨眼图像进行过滤处理。
本公开的一个示例实施例中，在对人脸特征图像进行关键帧筛选处理，确定人脸特征图像中的关键姿态图像之前，可以通过图9中的步骤对人脸特征图像进行分类：
参考图9所示，步骤S910，确定所述人脸特征图像对应的正向脸部图像，并确定所述正向脸部图像对应的三维关键点坐标；
步骤S920，根据所述人脸特征图像对应的二维标志点坐标与所述三维关键点坐标进行姿态角计算，得到所述人脸特征图像对应的姿态角；其中，所述姿态角包括左右偏航角和俯仰角；
步骤S930，通过所述左右偏航角和所述俯仰角将所述人脸特征图像分为左转脸部图像序列、右转脸部图像序列和抬头图像序列。
其中，正向脸部图像可以是指目标对象面朝采集单元对应的脸部图像，正向脸部图像对应的三维关键点坐标可以是指具有深度信息的正向脸部图像中关键点对应的坐标，三维关键点坐标相对于二维标志点坐标。
可以基于姿态角确定算法，对人脸特征图像对应的二维标志点坐标与三维关键点坐标进行姿态角计算得到人脸特征图像对应的姿态角。
姿态角确定算法可以是PnP(Perspective-n-Point)算法，PnP算法能够在已知世界坐标系下n个空间点的三维坐标以及这些空间点在图像上的二维投影下，求解相机的姿态，本示例实施例中用来计算人脸转动的姿态角。由于此处该姿态角角度只是用于筛选并分类不同角度的人脸特征图像，不需要特别精确，因此将选用正向脸部图像对应的三维关键点坐标作为PnP算法中的三维点，和当前人脸特征图像的二维标志点坐标计算出目标对象的旋转姿态，进而根据旋转姿态分离出三个姿态角，姿态角可以包括偏航角(以Z轴为中心偏转)、俯仰角(以Y轴为中心偏转)、滚转角(以X轴为中心偏转)。
具体的，可以通过偏航角衡量左右转动的角度大小，用俯仰角衡量抬头角度的大小，对数据中每一帧计算左右偏航角和俯仰角，进而通过左右偏航角和俯仰角将人脸特征图像分为左转脸部图像序列、右转脸部图像序列和抬头图像序列。
继续参考图5所示，其中人脸特征图像501可以表示正向脸部图像，人脸特征图像502和人脸特征图像503可以表示左转脸部图像序列，人脸特征图像504和人脸特征图像505可以表示右转脸部图像序列，人脸特征图像506可以表示抬头图像序列。当然，图5中的图像序列仅是示意性的，具体的每个图像序列可能包含多个人脸特征图像，本示例实施例对此不做特殊限定。
本公开的一个示例实施例中，可以对得到左转脸部图像序列、右转脸部图像序列和抬头图像序列进行关键帧筛选处理，确定人脸特征图像中的关键姿态图像。其中，关键姿态图像可以包括左转脸部图像、右转脸部图像和抬头图像。例如，可以在左转脸部图像序列中选取最佳角度的左转脸部图像，可以在右转脸部图像序列中选取最佳角度的右转脸部图像，可以在抬头图像序列中选取最佳角度的抬头图像。当然，也可以在左转脸部图像序列、右转脸部图像序列和抬头图像序列中各自选择多个不同角度的图像作为关键姿态图像，本示例实施对此不做特殊限定。
通过对人脸特征图像进行分类，生成左转脸部图像序列、右转脸部图像序列和抬头图像序列，并从各分类图像序列中选出最佳角度的左转脸部图像、右转脸部图像和抬头图像用于人脸的三维构建，能够在保证人脸特征信息不缺失的情况下，有效提升人脸点云模型的构建效率，提升系统数据传输的效率。
具体的，可以对左转脸部图像序列中右侧脸部区域对应的三维关键点坐标与正向脸部图像中右侧脸部区域对应的三维关键点坐标进行随机抽样一致性计算，得到左转脸部图像序列对应的第一欧拉角；并根据第一欧拉角选取左转脸部图像序列中的左转脸部图像。
其中，第一欧拉角可以是指对左转脸部图像序列中右侧脸部区域对应的三维关键点坐标与正向脸部图像中右侧脸部区域对应的三维关键点坐标进行随机抽样一致性计算后得到的角度值，通过第一欧拉角表示左转脸部图像序列中各人脸特征图像相对正向脸部图像的转动角度，即左转角度。在计算得到第一欧拉角之后，根据第一欧拉角选取左转脸部图像序列中最佳角度的左转脸部图像，例如，最佳角度的左转脸部图像可以是左转25°的左转脸部图像(发明人进行实验发现，转动角度为25°的人脸特征图像生成的人脸点云模型效果较好)，也可以是左转45°的左转脸部图像，具体的最佳角度取值根据应用场景以及目标对象的不同并不相同，本示例实施例对此不做特殊限定。
在计算当前左转脸部图像序列中的人脸特征图像相对于正向脸部图像的转动角度，可以将左转脸部图像序列中右侧脸部区域(头部左转时，右侧脸部区域面对采集单元，而左侧脸部区域被遮挡，因此同时选择左转脸部图像序列和正向脸部图像的右侧脸部区域计算转动角度)对应的三维关键点坐标，与正向脸部图像中右侧脸部区域对应的三维关键点坐标，进行计算，能够确保计算的转动角度的正确性。
举例而言，假设正向脸部图像中右侧脸部区域对应的三维关键点坐标表示为目标点集T，左转脸部图像序列中人脸特征图像对应的右侧脸部区域的三维关键点坐标表示为当前点集S，在这两组点集中通过随机选取一定数量的对应点作为点集T’和S’，利用下面的算法计算出点集T’和S’之间的旋转矩阵R和平移矩阵t，详细计算过程如下：
第一，分别求取T’和S’点集对应的形心μt和μs，然后将T’和S’中所有点的坐标减去各自对应的形心的坐标，具体表示为关系式组(3)所示：
第二，利用新的点集t’和s’构造矩阵W，并对W进行SVD分解，具体表示为关系式组(4)所示：
第三，计算旋转矩阵R和平移矩阵t，具体表示为关系式组(5)所示：
第四，根据旋转矩阵R和平移矩阵t构成转换矩阵，并通过该转换矩阵转换成第一欧拉角，便可得到更为精确的人脸向左转动的左转角度。
同样的，可以对右转脸部图像序列中左侧脸部区域对应的三维关键点坐标与正向脸部图像中左侧脸部区域对应的三维关键点坐标进行随机抽样一致性计算，得到右转脸部图像序列对应的第二欧拉角；根据第二欧拉角选取右转脸部图像序列中的右转脸部图像。
其中，第二欧拉角可以是指对右转脸部图像序列中左侧脸部区域对应的三维关键点坐标与正向脸部图像中左侧脸部区域对应的三维关键点坐标进行随机抽样一致性计算后得到的角度值，通过第二欧拉角表示右转脸部图像序列中各人脸特征图像相对正向脸部图像的转动角度，即右转角度。在计算得到第二欧拉角之后，根据第二欧拉角选取右转脸部图像序列中最佳角度的右转脸部图像，例如，最佳角度的右转脸部图像可以是右转25°的右转脸部图像(发明人进行实验发现，转动角度为25°的人脸特征图像生成的人脸点云模型效果较好)，也可以是右转45°的右转脸部图像，具体的最佳角度取值根据应用场景以及目标对象的不同并不相同，本示例实施例对此不做特殊限定。
同理，参照计算第一欧拉角的步骤，计算右转脸部图像序列对应的第二欧拉角，此处不再赘述。
同样的，可以对抬头图像序列中下巴区域对应的三维关键点坐标与正向脸部图像中下巴区域对应的三维关键点坐标进行随机抽样一致性计算，得到抬头图像序列对应的第三欧拉角；根据第三欧拉角选取抬头图像序列中的抬头图像。
其中，第三欧拉角可以是指对抬头图像序列中下巴区域对应的三维关键点坐标与正向脸部图像中下巴区域对应的三维关键点坐标进行随机抽样一致性计算后得到的角度值，通过第三欧拉角表示抬头图像序列中各人脸特征图像相对正向脸部图像的俯仰角度，即抬头角度。在计算得到第三欧拉角之后，根据第三欧拉角选取抬头图像序列中最佳角度的抬头图像，例如，最佳角度的抬头图像可以是抬头25°的抬头图像，也可以是抬头45°的抬头图像，具体的最佳角度取值根据应用场景以及目标对象的不同并不相同，本示例实施例对此不做特殊限定。
同理，参照计算第一欧拉角的步骤，计算抬头图像序列对应的第三欧拉角，此处不再赘述。
图10示意性示出了根据本公开的一个实施例的根据左右偏航角和俯仰角进行分类计算的示意图。
参考图10所示，在左右偏航角的波形图1001中，能够根据方框1002以及方框1003对应的阈值，较简单的筛选出最佳角度的左转脸部图像和最佳角度的右转脸部图像；在俯仰角的波形图1004中，能够根据方框1005对应的阈值，较简单的筛选出最佳角度的抬头图像。
图11示意性示出了根据本公开的一个实施例的筛选得到的关键姿态图像的示意图。
参考图11所示，根据正方向采集的脸部图像得到最佳角度的正向脸部图像1101，以及根据图10中的波形图，选取左转脸部图像序列、右转脸部图像序列和抬头图像序列中最佳角度的左转脸部图像1102、最佳角度的右转脸部图像1103以及最佳角度的抬头图像1104。
本公开的一个示例实施例中，可以通过图12中的步骤实现对深度图像进行裁剪处理，生成目标深度图像：
参考图12所示，步骤S1210，根据有效深度阈值对所述深度图像进行背景裁剪处理，以去除所述深度图像中的背景区域；
步骤S1220，根据所述关键姿态图像对应的二维标志点坐标确定裁剪区域，并通过所述裁剪区域对背景裁剪处理后的深度图像进行裁剪处理，生成所述关键姿态图像对应的目标深度图像。
其中，有效深度阈值可以是指在采集深度图像时采集单元与目标对象之间的距离，例如，在采集单元为智能手机时，根据经验可知，目标对象手持智能手机时，采集单元与目标对象之间的有效深度阈值小于100cm，当然，有效深度阈值也可以是50cm，本示例实施例对此不做特殊限定。通过有效深度阈值可以快速的滤除深度图像中的背景。背景区域可以是指深度图像中目标对象对应的脸部特征之外的区域，滤除背景区域，能够有效的降低深度图像的计算量，提升系统的计算效率。
裁剪区域可以是指通过裁剪深度区域后保留的区域，例如，对于左转脸部图像，对应的深度图像中有用的关键信息是其中包含的左侧脸部区域，同时删去眼角到嘴角的连线之外的区域，因此根据关键姿态图像对应的二维标志点坐标以及左侧脸部所属的区域确定裁剪区域。
本公开的一个示例实施例中，可以对所述关键姿态图像以及所述目标深度图像进行反投影处理，得到各所述关键姿态图像对应的点云模型；对各所述关键姿态图像对应的点云模型进行点云融合，生成所述目标对象对应的人脸点云模型。
其中，可以根据目标深度图像中包含的深度信息将关键姿态图像中的点，进行反投影处理，以在一个三维空间坐标系中，生成目标深度图像对应的点云模型。通过采集单元采集目标对象的脸部特征图像，相当于正投影处理过程，而根据目标深度图像中将关键姿态图像中的点映射到三维空间坐标系中，则相当于反投影处理。
通过多个目标深度图像将关键姿态图像中的点进行反投影处理得到多个局部的点云模型，因此将多个关键姿态图像对应的多个点云模型进行点云融合，最终生成目标对象对应的人脸点云模型。
图13示意性示出了根据本公开的一个实施例的目标深度图像的示意图。
参考图13所示，根据最佳角度的正向脸部图像对相应深度图像进行裁剪处理，生成正向脸部图像对应的目标深度图像1301；根据最佳角度的右转脸部图像对相应深度图像进行裁剪处理，生成右转脸部图像对应的目标深度图像1302；根据最佳角度的左转脸部图像对相应深度图像进行裁剪处理，生成左转脸部图像对应的目标深度图像1303；根据最佳角度的抬头图像对相应深度图像进行裁剪处理，生成抬头图像对应的目标深度图像1304。
具体的，可以通过图14中的步骤进行点云融合，生成目标对象对应的人脸点云模型：
参考图14所示，步骤S1410，将所述正向脸部图像对应的点云模型作为原始点云模型，并将所述关键姿态图像对应的点云模型作为目标点云模型；
步骤S1420，确定所述原始点云模型与所述目标点云模型对应的重合区域；
步骤S1430，基于所述重合区域对所述原始点云模型与所述目标点云模型进行迭代计算，以将所述述原始点云模型与所述目标点云模型融合生成所述目标对象对应的人脸点云模型。
其中，可以通过ICP算法进行点云融合。因此可以将正向脸部图像对应的点云模型作为原始点云模型(Source)，并将关键姿态图像对应的点云模型作为目标点云模型(Target)。由于正向脸部图像和关键姿态图像有重合，因此可以先计算原始点云模型与目标点云模型对应的重合区域，然后基于重合区域对原始点云模型与目标点云模型进行多次的迭代最近点ICP计算，直到收敛，生成目标对象对应的人脸点云模型。通过ICP算法计算出的姿态，就可以将目标点云模型(Target)补充到原始点云模型(Source)中的缺失部分，最终完成点云融合生成人脸点云模型。
图15示意性示出了根据本公开的一个实施例的目标深度图像中重合区域的示意图。
参考图15所示，基于正向脸部图像对应的目标深度图像，确定左转脸部图像对应的目标深度图像中与正向脸部图像对应的目标深度图像的重合区域1501(左转脸部图像中靠近正向脸部区域的区域为重合区域)；确定右转脸部图像对应的目标深度图像中与正向脸部图像对应的目标深度图像的重合区域1502(右转脸部图像中靠近正向脸部区域的区域为重合区域)；确定抬头图像对应的目标深度图像中与正向脸部图像对应的目标深度图像的重合区域1503(抬头图像中靠近正向脸部区域的区域为重合区域)。
优选的，为了加速计算，可以对点云模型数据进行金字塔计算：先在目标点云模型对应的目标深度图像的小尺寸上做ICP，然后再不停的放大并做ICP，直到完成点云融合。在实践中，金字塔的放缩比例可以是4至2至1。
当然，以上实施例是通过ICP算法对点云模型进行融合，本示例实施例中还可以通过其他点云融合算法，例如，还可以是TSDF(Truncated Signed Distance Function)算法对点云模型进行融合，本示例实施例不以此为限。
图16示意性示出了根据本公开的一个实施例的融合生成的人脸点云模型的示意图。
参考图16所示，通过本示例实施例中的人脸点云模型生成算法，将图5中采集的脸部特征图像进行处理得到三维的人脸点云模型1601，可以通过人脸点云模型1601附近的交互控件对人脸点云模型1601进行多角度展示。
本公开的一个示例实施例中，在对各关键姿态图像对应的点云模型进行点云融合，生成目标对象对应的人脸点云模型之后，
可以对人脸点云模型进行裁剪处理，生成包含关键区域的目标人脸点云模型。
其中，目标人脸点云模型可以是指经过裁剪处理后的人脸点云模型。裁剪处理可以是以鼻尖为中心，以固定尺寸画圆(例如圆的半径可以是15cm，因为在经验上人脸宽度不会超过30cm)，将圆内的区域作为人脸点云模型的关键区域，并裁减圆外的区域。裁剪的目的是为了删去人脸点云模型中多余的脖子区域和头发区域，便于后续使用目标人脸点云模型。
可选的，可以对人脸点云模型进行降采样处理，生成不同点云密度的目标人脸点云模型。
其中，降采样处理可以是指直接通过在人脸点云模型对应的空间中划分栅格，并在每个栅格里保留固定数目的点，进一步可以通过栅格中保留的点的数据即可控制最终输出的点云密度。
可选的，可以对人脸点云模型进行裁剪处理以及降采样处理，生成包含关键区域的、不同点云密度的目标人脸点云模型。
其中，具体的裁剪处理以及降采样处理参考前述步骤，此处不再赘述。
举例而言，本示例实施例的人脸点云模型生成方法中各个模块的时间统计如表1所示，这里是一组标准输入(14张彩图+14张深度图)的测试数据，单位是秒：
表1
通过表1可以明显看出，根据本示例实施例中的人脸点云模型生成方法生成人脸点云模型所使用的总时间为3.9s，相比于相关技术方案中10s或者20s的方法，人脸点云模型生成效率有了大幅提升，有效节省人脸点云模型的生成时间。
本公开的人脸点云模型生成方法可用于各种场景下的人脸三维重建，以适用于不同场景下的互动娱乐需求。例如，可以在游戏、宣发等场景中可准确重建出人脸的三维模型，用于构建逼真的游戏人物属性；也可以是在日常对话交流场景下，重建出来的三维人脸模型可用于定制专属的颜文字，增强聊天的趣味性；重建出来的三维人脸模型还可以用于虚拟美妆、虚拟试衣、虚拟人物形象等广泛的娱乐场景，本示例实施例对此不做特殊限定。
应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
进一步的，本示例实施方式中，还提供了一种人脸点云模型生成装置。该人脸点云模型生成装置可以应用于一服务器或终端设备。参考图17所示，该人脸点云模型生成装置1700可以包括脸部特征图像获取模块1710、关键姿态图像筛选模块1720、深度图像裁剪模块1730以及人脸点云模型生成模块1740。其中：
脸部特征图像获取模块1710用于获取目标对象对应的脸部特征图像；其中，所述脸部特征图像包括人脸特征图像和所述人脸特征图像对应的深度图像；
关键姿态图像筛选模块1720用于对所述人脸特征图像进行关键帧筛选处理，确定所述人脸特征图像中的关键姿态图像；
深度图像裁剪模块1730用于通过所述关键姿态图像对所述关键姿态图像对应的所述深度图像进行裁剪处理，生成目标深度图像；
人脸点云模型生成模块1740用于根据所述关键姿态图像以及所述目标深度图像进行点云融合，生成所述目标对象对应的人脸点云模型。
在本公开的一种示例性实施例中，所述脸部特征图像获取模块1710包括脸部特征图像采集单元，所述脸部特征图像采集单元被配置为：
通过固定采集角度的方式，获取转动脸部区域的所述目标对象对应的脸部特征图像；或者
通过转动采集角度的方式，获取固定脸部区域的所述目标对象对应的脸部特征图像。
在本公开的一种示例性实施例中，所述人脸点云模型生成装置1700还包括图像预处理单元，所述图像预处理单元被配置为：
对所述脸部特征图像进行预处理；
所述对所述脸部特征图像进行预处理，包括：
对所述深度图像进行保边滤波处理，以去除所述深度图像中的噪声信息；以及
对所述人脸特征图像进行非关键帧过滤处理，以过滤所述人脸特征图像中的眨眼图像。
在本公开的一种示例性实施例中，所述图像预处理单元还被配置为：
对所述人脸特征图像进行人脸标志点检测，确定所述人脸特征图像对应的二维标志点坐标；其中，所述二维标志点坐标包括眼部标志点坐标；
根据所述眼部标志点坐标确定眼睛睁开程度值；
将所述眼睛睁开程度值小于预设睁眼阈值的所述人脸特征图像确定为眨眼图像，并对所述眨眼图像进行过滤处理。
在本公开的一种示例性实施例中，所述所述人脸点云模型生成装置1700还包括图像序列分类单元，所述图像序列分类单元被配置为：
确定所述人脸特征图像对应的正向脸部图像，并确定所述正向脸部图像对应的三维关键点坐标；
根据所述人脸特征图像对应的二维标志点坐标与所述三维关键点坐标进行姿态角计算，得到所述人脸特征图像对应的姿态角；其中，所述姿态角包括左右偏航角和俯仰角；
通过所述左右偏航角和所述俯仰角将所述人脸特征图像分为左转脸部图像序列、右转脸部图像序列和抬头图像序列。
在本公开的一种示例性实施例中，所述关键姿态图像筛选模块1720还包括关键姿态图像确定单元，所述关键姿态图像确定单元被配置为：
对所述左转脸部图像序列、所述右转脸部图像序列和所述抬头图像序列进行关键帧筛选处理，确定所述人脸特征图像中的关键姿态图像；其中，所述关键姿态图像包括左转脸部图像、右转脸部图像和抬头图像。
在本公开的一种示例性实施例中，所述关键姿态图像确定单元还被配置为：
对所述左转脸部图像序列中右侧脸部区域对应的三维关键点坐标与所述正向脸部图像中右侧脸部区域对应的三维关键点坐标进行随机抽样一致性计算，得到所述左转脸部图像序列对应的第一欧拉角；
根据所述第一欧拉角选取所述左转脸部图像序列中的左转脸部图像。
在本公开的一种示例性实施例中，所述关键姿态图像确定单元还被配置为：
对所述右转脸部图像序列中左侧脸部区域对应的三维关键点坐标与所述正向脸部图像中左侧脸部区域对应的三维关键点坐标进行随机抽样一致性计算，得到所述右转脸部图像序列对应的第二欧拉角；
根据所述第二欧拉角选取所述右转脸部图像序列中的右转脸部图像。
在本公开的一种示例性实施例中，所述关键姿态图像确定单元还被配置为：
对所述抬头图像序列中下巴区域对应的三维关键点坐标与所述正向脸部图像中下巴区域对应的三维关键点坐标进行随机抽样一致性计算，得到所述抬头图像序列对应的第三欧拉角；
根据所述第三欧拉角选取所述抬头图像序列中的抬头图像。
在本公开的一种示例性实施例中，所述深度图像裁剪模块1730还被配置为：
根据有效深度阈值对所述深度图像进行背景裁剪处理，以去除所述深度图像中的背景区域；
根据所述关键姿态图像对应的二维标志点坐标确定裁剪区域，并通过所述裁剪区域对背景裁剪处理后的深度图像进行裁剪处理，生成所述关键姿态图像对应的目标深度图像。
在本公开的一种示例性实施例中，所述人脸点云模型生成模块1740还包括：
点云模型生成单元，用于对所述关键姿态图像以及所述目标深度图像进行反投影处理，得到各所述关键姿态图像对应的点云模型；
点云模型融合单元，用于对各所述关键姿态图像对应的点云模型进行点云融合，生成所述目标对象对应的人脸点云模型。
在本公开的一种示例性实施例中，所述点云模型融合单元还被配置为：
将所述正向脸部图像对应的点云模型作为原始点云模型，并将所述关键姿态图像对应的点云模型作为目标点云模型；
确定所述原始点云模型与所述目标点云模型对应的重合区域；
基于所述重合区域对所述原始点云模型与所述目标点云模型进行迭代计算，以将所述述原始点云模型与所述目标点云模型融合生成所述目标对象对应的人脸点云模型。
在本公开的一种示例性实施例中，所述人脸点云模型生成装置1700还包括人脸点云模型优化单元，所述人脸点云模型优化单元被配置为：
对所述人脸点云模型进行裁剪处理，生成包含关键区域的目标人脸点云模型；和/或
对所述人脸点云模型进行降采样处理，生成不同点云密度的目标人脸点云模型。
上述人脸点云模型生成装置中各模块或单元的具体细节已经在对应的人脸点云模型生成方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (16)

1.一种人脸点云模型生成方法，其特征在于，包括：
获取目标对象对应的脸部特征图像；其中，所述脸部特征图像包括人脸特征图像和所述人脸特征图像对应的深度图像；所述人脸特征图像中包含通过所述人脸特征图像对应的姿态角确定出的左转脸部图像序列、右转脸部图像序列和抬头图像序列，所述姿态角包括左右偏航角和俯仰角，所述姿态角是根据人脸特征图像中的正向脸部图像所对应的三维关键点坐标和所述人脸特征图像对应的二维标志点坐标进行姿态角计算得到的；
对所述人脸特征图像进行关键帧筛选处理，确定所述人脸特征图像中的关键姿态图像；其中，所述关键姿态图像中包含根据所述左转脸部图像序列对应的第一欧拉角从所述左转脸部图像序列中选取的左转脸部图像；所述第一欧拉角是对所述左转脸部图像序列中右侧脸部区域对应的三维关键点坐标与所述正向脸部图像中右侧脸部区域对应的三维关键点坐标进行随机抽样一致性计算得到的；
通过所述关键姿态图像对所述关键姿态图像对应的所述深度图像进行裁剪处理，生成目标深度图像；
根据所述关键姿态图像以及所述目标深度图像进行点云融合，生成所述目标对象对应的人脸点云模型。
2.根据权利要求1所述的人脸点云模型生成方法，其特征在于，获取目标对象对应的脸部特征图像，包括：
通过固定采集角度的方式，获取转动脸部区域的所述目标对象对应的脸部特征图像；或者
通过转动采集角度的方式，获取固定脸部区域的所述目标对象对应的脸部特征图像。
3.根据权利要求1所述的人脸点云模型生成方法，其特征在于，在获取目标对象对应的脸部特征图像之后，所述方法还包括：
对所述脸部特征图像进行预处理；
所述对所述脸部特征图像进行预处理，包括：
对所述深度图像进行保边滤波处理，以去除所述深度图像中的噪声信息；以及
对所述人脸特征图像进行非关键帧过滤处理，以过滤所述人脸特征图像中的眨眼图像。
4.根据权利要求3所述的人脸点云模型生成方法，其特征在于，对所述人脸特征图像进行非关键帧过滤处理，包括：
对所述人脸特征图像进行人脸标志点检测，确定所述人脸特征图像对应的二维标志点坐标；其中，所述二维标志点坐标包括眼部标志点坐标；
根据所述眼部标志点坐标确定眼睛睁开程度值；
将所述眼睛睁开程度值小于预设睁眼阈值的所述人脸特征图像确定为眨眼图像，并对所述眨眼图像进行过滤处理。
5.根据权利要求1所述的人脸点云模型生成方法，其特征在于，在对所述人脸特征图像进行关键帧筛选处理，确定所述人脸特征图像中的关键姿态图像之前，所述方法还包括：
确定所述人脸特征图像对应的正向脸部图像，并确定所述正向脸部图像对应的三维关键点坐标；
根据所述人脸特征图像对应的二维标志点坐标与所述三维关键点坐标进行姿态角计算，得到所述人脸特征图像对应的姿态角；其中，所述姿态角包括左右偏航角和俯仰角；
通过所述左右偏航角和所述俯仰角将所述人脸特征图像分为左转脸部图像序列、右转脸部图像序列和抬头图像序列。
6.根据权利要求5所述的人脸点云模型生成方法，其特征在于，对所述人脸特征图像进行关键帧筛选处理，确定所述人脸特征图像中的关键姿态图像，包括：
对所述左转脸部图像序列、所述右转脸部图像序列和所述抬头图像序列进行关键帧筛选处理，确定所述人脸特征图像中的关键姿态图像；其中，所述关键姿态图像包括左转脸部图像、右转脸部图像和抬头图像。
7.根据权利要求6所述的人脸点云模型生成方法，其特征在于，对所述左转脸部图像序列、所述右转脸部图像序列和所述抬头图像序列进行关键帧筛选处理，包括：
对所述左转脸部图像序列中右侧脸部区域对应的三维关键点坐标与所述正向脸部图像中右侧脸部区域对应的三维关键点坐标进行随机抽样一致性计算，得到所述左转脸部图像序列对应的第一欧拉角；
根据所述第一欧拉角选取所述左转脸部图像序列中的左转脸部图像。
8.根据权利要求6所述的人脸点云模型生成方法，其特征在于，对所述所述右转脸部图像序列进行关键帧筛选处理，包括：
对所述右转脸部图像序列中左侧脸部区域对应的三维关键点坐标与所述正向脸部图像中左侧脸部区域对应的三维关键点坐标进行随机抽样一致性计算，得到所述右转脸部图像序列对应的第二欧拉角；
根据所述第二欧拉角选取所述右转脸部图像序列中的右转脸部图像。
9.根据权利要求6所述的人脸点云模型生成方法，其特征在于，对所述抬头图像序列进行关键帧筛选处理，包括：
对所述抬头图像序列中下巴区域对应的三维关键点坐标与所述正向脸部图像中下巴区域对应的三维关键点坐标进行随机抽样一致性计算，得到所述抬头图像序列对应的第三欧拉角；
根据所述第三欧拉角选取所述抬头图像序列中的抬头图像。
10.根据权利要求1所述的人脸点云模型生成方法，其特征在于，通过所述关键姿态图像对所述关键姿态图像对应的所述深度图像进行裁剪处理，生成目标深度图像，包括：
根据有效深度阈值对所述深度图像进行背景裁剪处理，以去除所述深度图像中的背景区域；
根据所述关键姿态图像对应的二维标志点坐标确定裁剪区域，并通过所述裁剪区域对背景裁剪处理后的深度图像进行裁剪处理，生成所述关键姿态图像对应的目标深度图像。
11.根据权利要求1所述的人脸点云模型生成方法，其特征在于，根据所述关键姿态图像以及所述目标深度图像进行点云融合，生成所述目标对象对应的人脸点云模型，包括：
对所述关键姿态图像以及所述目标深度图像进行反投影处理，得到各所述关键姿态图像对应的点云模型；
对各所述关键姿态图像对应的点云模型进行点云融合，生成所述目标对象对应的人脸点云模型。
12.根据权利要求11所述的人脸点云模型生成方法，其特征在于，对各所述关键姿态图像对应的点云模型进行点云融合，生成所述目标对象对应的人脸点云模型，包括：
将所述正向脸部图像对应的点云模型作为原始点云模型，并将所述关键姿态图像对应的点云模型作为目标点云模型；
确定所述原始点云模型与所述目标点云模型对应的重合区域；
基于所述重合区域对所述原始点云模型与所述目标点云模型进行迭代计算，以将所述述原始点云模型与所述目标点云模型融合生成所述目标对象对应的人脸点云模型。
13.根据权利要求1所述的人脸点云模型生成方法，其特征在于，在对各所述关键姿态图像对应的点云模型进行点云融合，生成所述目标对象对应的人脸点云模型之后，所述方法还包括：
对所述人脸点云模型进行裁剪处理，生成包含关键区域的目标人脸点云模型；和/或
对所述人脸点云模型进行降采样处理，生成不同点云密度的目标人脸点云模型。
14.一种人脸点云模型生成装置，其特征在于，包括：
脸部特征图像获取模块，用于获取目标对象对应的脸部特征图像；其中，所述脸部特征图像包括人脸特征图像和所述人脸特征图像对应的深度图像；所述人脸特征图像中包含通过所述人脸特征图像对应的姿态角确定出的左转脸部图像序列、右转脸部图像序列和抬头图像序列，所述姿态角包括左右偏航角和俯仰角，所述姿态角是根据人脸特征图像中的正向脸部图像所对应的三维关键点坐标和所述人脸特征图像对应的二维标志点坐标进行姿态角计算得到的；
关键姿态图像筛选模块，用于对所述人脸特征图像进行关键帧筛选处理，确定所述人脸特征图像中的关键姿态图像；其中，所述关键姿态图像中包含根据所述左转脸部图像序列对应的第一欧拉角从所述左转脸部图像序列中选取的左转脸部图像；所述第一欧拉角是对所述左转脸部图像序列中右侧脸部区域对应的三维关键点坐标与所述正向脸部图像中右侧脸部区域对应的三维关键点坐标进行随机抽样一致性计算得到的；
深度图像裁剪模块，用于通过所述关键姿态图像对所述关键姿态图像对应的所述深度图像进行裁剪处理，生成目标深度图像；
人脸点云模型生成模块，用于根据所述关键姿态图像以及所述目标深度图像进行点云融合，生成所述目标对象对应的人脸点云模型。
15.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-13任一项所述的方法。
16.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-13任一项所述的方法。
CN202010734492.2A 2020-07-27 2020-07-27 人脸点云模型生成方法及装置、存储介质、电子设备 Active CN112749611B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010734492.2A CN112749611B (zh) 2020-07-27 2020-07-27 人脸点云模型生成方法及装置、存储介质、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010734492.2A CN112749611B (zh) 2020-07-27 2020-07-27 人脸点云模型生成方法及装置、存储介质、电子设备

Publications (2)

Publication Number Publication Date
CN112749611A CN112749611A (zh) 2021-05-04
CN112749611B true CN112749611B (zh) 2024-02-13

Family

ID=75645749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010734492.2A Active CN112749611B (zh) 2020-07-27 2020-07-27 人脸点云模型生成方法及装置、存储介质、电子设备

Country Status (1)

Country Link
CN (1) CN112749611B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210510B (zh) * 2020-01-16 2021-08-06 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
CN115546174B (zh) * 2022-10-20 2023-09-08 数坤(北京)网络科技股份有限公司 图像处理方法、装置、计算设备及存储介质
CN117523152B (zh) * 2024-01-04 2024-04-12 广州趣丸网络科技有限公司 一种三维人脸重建方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503671A (zh) * 2016-11-03 2017-03-15 厦门中控生物识别信息技术有限公司 确定人脸姿态的方法和装置
CN111243093A (zh) * 2020-01-07 2020-06-05 腾讯科技（深圳）有限公司 三维人脸网格的生成方法、装置、设备及存储介质
CN111325823A (zh) * 2020-02-05 2020-06-23 腾讯科技（深圳）有限公司 人脸纹理图像的获取方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503671A (zh) * 2016-11-03 2017-03-15 厦门中控生物识别信息技术有限公司 确定人脸姿态的方法和装置
CN111243093A (zh) * 2020-01-07 2020-06-05 腾讯科技（深圳）有限公司 三维人脸网格的生成方法、装置、设备及存储介质
CN111325823A (zh) * 2020-02-05 2020-06-23 腾讯科技（深圳）有限公司 人脸纹理图像的获取方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112749611A (zh) 2021-05-04

Similar Documents

Publication Publication Date Title
CN111325823B (zh) 人脸纹理图像的获取方法、装置、设备及存储介质
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
CN112749611B (zh) 人脸点云模型生成方法及装置、存储介质、电子设备
WO2021174939A1 (zh) 人脸图像的获取方法与系统
US11748934B2 (en) Three-dimensional expression base generation method and apparatus, speech interaction method and apparatus, and medium
CN110807451B (zh) 人脸关键点检测方法、装置、设备及存储介质
CN110807836B (zh) 三维人脸模型的生成方法、装置、设备及介质
KR20210103435A (ko) 가상 객체 이미지 합성 방법, 장치, 전자 기기 및 저장 매체
CN110610453B (zh) 一种图像处理方法、装置及计算机可读存储介质
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
CN111710036B (zh) 三维人脸模型的构建方法、装置、设备及存储介质
WO2021143282A1 (zh) 三维人脸模型生成方法、装置、计算机设备及存储介质
CN111696028A (zh) 真实场景图像卡通化的处理方法、装置、计算机设备和存储介质
CN112614213A (zh) 人脸表情确定方法、表情参数确定模型、介质及设备
EP4036863A1 (en) Human body model reconstruction method and reconstruction system, and storage medium
CN111382618B (zh) 一种人脸图像的光照检测方法、装置、设备和存储介质
CN112927362A (zh) 地图重建方法及装置、计算机可读介质和电子设备
CN116977522A (zh) 三维模型的渲染方法、装置、计算机设备和存储介质
CN112070782A (zh) 识别场景轮廓的方法、装置、计算机可读介质及电子设备
CN113313832A (zh) 三维模型的语义生成方法、装置、存储介质与电子设备
CN112562056A (zh) 虚拟演播室中虚拟灯光的控制方法、装置、介质与设备
CN113822965A (zh) 图像渲染处理方法、装置和设备及计算机存储介质
CN111079535B (zh) 一种人体骨架动作识别方法、装置及终端
CN116681579A (zh) 一种实时视频人脸替换方法、介质及系统
CN116385577A (zh) 虚拟视点图像生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40043854

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant