CN117036435A - 深度图像生成方法、装置、计算机设备、存储介质和产品 - Google Patents

深度图像生成方法、装置、计算机设备、存储介质和产品 Download PDF

Info

Publication number
CN117036435A
CN117036435A CN202211349899.9A CN202211349899A CN117036435A CN 117036435 A CN117036435 A CN 117036435A CN 202211349899 A CN202211349899 A CN 202211349899A CN 117036435 A CN117036435 A CN 117036435A
Authority
CN
China
Prior art keywords
face
image
depth image
depth
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211349899.9A
Other languages
English (en)
Inventor
穆国栋
龚致君
黄余格
丁守鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202211349899.9A priority Critical patent/CN117036435A/zh
Publication of CN117036435A publication Critical patent/CN117036435A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种深度图像生成方法、装置、计算机设备、存储介质和产品，通过获取包含脸部的二维脸部图像样本，基于二维脸部图像样本进行三维脸部重建，以得到与脸部对应的三维脸部数据；对三维脸部数据进行深度映射，得到与二维脸部图像样本对应的脸部深度图像样本；根据二维脸部图像样本和脸部深度图像样本，生成针对深度图像生成模型的训练图像样本对；基于训练图像样本对，对深度图像生成模型进行训练，得到训练后深度图像生成模型，以通过训练后深度图像生成模型基于二维脸部图像生成对应的脸部深度图像。本申请在无需对样本进行标注的前提下，可以得到大量用于训练深度图像生成模型的样本对，提高深度图像生成模型生成脸部深度图像的能力。

Description

深度图像生成方法、装置、计算机设备、存储介质和产品
技术领域
本申请涉及通信技术领域，具体涉及一种深度图像生成方法、装置、计算机设备、存储介质和产品，其中，存储介质为计算机可读存储介质，产品为计算机程序产品。
背景技术
随着人脸识别技术日渐成熟，人脸识别技术被广泛应用于多种需要进行身份识别的场景中，例如，通过人脸支付和人脸登录账号等，为了防止利用照片和视频对人脸进行复制以通过人脸识别，还可以对人脸进行活体检测。
为了提高对人脸识别的准确率以及活体检测的准确率，可以引入人脸深度图，通过人脸二维图像和人脸深度图像结合进行人脸识别，可以提高人脸识别的准确性，然而人脸深度图像需要通过具有采集深度图像功能的图像采集设备进行采集，人脸深度图像获取难度大，降低了基于人脸深度图进行人脸识别的可行性和便捷性。
发明内容
本申请实施例提供一种深度图像生成方法、装置、计算机设备、存储介质和产品，可以提高深度图像生成模型的泛化能力，使得人脸深度图像的获取效率和可靠性，进而提高人脸识别的效率和便捷性。
本申请实施例提供的一种深度图像生成方法，包括：
获取包含脸部的二维脸部图像样本，基于所述二维脸部图像样本进行三维脸部重建，以得到与所述脸部对应的三维脸部数据；
对所述三维脸部数据进行深度映射，得到与所述二维脸部图像样本对应的脸部深度图像样本；
根据所述二维脸部图像样本和所述脸部深度图像样本，生成针对深度图像生成模型的训练图像样本对；
基于所述训练图像样本对，对所述深度图像生成模型进行训练，得到训练后深度图像生成模型，以通过所述训练后深度图像生成模型基于二维脸部图像生成对应的脸部深度图像。
相应的，本申请实施例还提供的一种深度图像生成装置，包括：
重建单元，用于获取包含脸部的二维脸部图像样本，基于所述二维脸部图像样本进行三维脸部重建，以得到与所述脸部对应的三维脸部数据；
映射单元，用于对所述三维脸部数据进行深度映射，得到与所述二维脸部图像样本对应的脸部深度图像样本；
生成单元，用于根据所述二维脸部图像样本和所述脸部深度图像样本，生成针对深度图像生成模型的训练图像样本对；
训练单元，用于基于所述训练图像样本对，对所述深度图像生成模型进行训练，得到训练后深度图像生成模型，以通过所述训练后深度图像生成模型基于二维脸部图像生成对应的脸部深度图像。
在一实施例中，所述重建单元，包括：
第一获取子单元，用于获取三维脸部模板数据，并确定所述三维脸部模板数据中的第一脸部关键点；
第二获取子单元，用于获取所述二维脸部图像样本中的第二脸部关键点；
拟合子单元，用于基于所述第一脸部关键点与所述第二脸部关键点之间的对应关系，将所述二维脸部图像样本与所述三维脸部模板数据进行拟合，得到所述三维脸部数据。
在一实施例中，所述生成单元，包括：
第一对齐子单元，用于根据所述第一脸部关键点和所述第二脸部关键点之间的转换关系，对所述二维脸部图像样本进行脸部对齐处理，得到校正后二维脸部图像样本；
第二对齐子单元，用于根据所述第一脸部关键点和所述第二脸部关键点之间的转换关系，对所述脸部深度图像样本进行脸部对齐处理，得到校正后脸部深度图像样本；
样本对生成子单元，用于将所述校正后二维脸部图像样本和所述校正后脸部深度图像样本作为所述训练图像样本对。
在一实施例中，所述训练单元，包括：
第一预测子单元，用于通过所述深度图像生成模型基于所述训练图像样本对中的二维脸部图像样本进行深度图像预测，得到脸部深度预测图像；
第一损失计算子单元，用于计算所述脸部深度预测图像和所述训练图像样本对中的脸部深度图像样本之间的第一损失值；
第一训练子单元，用于基于所述第一损失值对所述深度图像生成模型进行训练，得到训练后深度图像生成模型。
在一实施例中，所述训练单元，包括：
第二预测子单元，用于通过所述深度图像生成模型基于所述训练图像样本对中的二维脸部图像样本进行深度图像预测，得到脸部深度预测图像；
第一图像计算子单元，用于计算所述脸部深度预测图像的图像梯度，以得到第一分量图像；
第二图像计算子单元，用于计算所述训练图像样本对中的脸部深度图像样本的图像梯度，以得到第二分量图像；
第二损失计算子单元，用于根据所述第一分量图像和所述第二分量图像之间的差异计算所述深度预测图像和所述脸部深度图像样本之间的第二损失值；
第二训练子单元，用于基于所述第二损失值对所述深度图像生成模型进行训练，得到训练后深度图像生成模型。
在一实施例中，所述训练单元，包括：
预训练子单元，用于基于所述训练图像样本对，对所述深度图像生成模型进行预训练，得到候选深度图像生成模型；
点云获取子单元，用于获取脸部点云数据；
点云映射子单元，用于对所述脸部点云数据进行映射，得到包括二维脸部图像微调样本和脸部深度图像微调样本的微调样本对；
微调子单元，用于基于所述微调样本对，对所述候选深度图像生成模型进行微调，得到所述训练后深度图像生成模型。
在一实施例中，所述深度图像生成装置还包括：
图像获取单元，用于获取待识别对象的二维脸部图像；
图像生成单元，用于通过所述训练后深度图像生成模型生成所述二维脸部图像的脸部深度图像；
拼接单元，用于将所述脸部深度图像的通道数据和所述二维脸部图像的通道数据进行拼接处理，得到拼接后图像数据；
识别单元，用于基于所述拼接后图像数据进行脸部识别，得到所述待识别对象的对象身份信息。
相应的，本申请实施例还提供的一种计算机设备，包括存储器和处理器；所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行本申请实施例提供的任一种深度图像生成方法。
相应的，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器加载以执行本申请实施例提供的任一种深度图像生成方法。
相应的，本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的任一种深度图像生成方法。
本申请实施例通过获取包含脸部的二维脸部图像样本，基于二维脸部图像样本进行三维脸部重建，以得到与脸部对应的三维脸部数据；对三维脸部数据进行深度映射，得到与二维脸部图像样本对应的脸部深度图像样本；根据二维脸部图像样本和脸部深度图像样本，生成针对深度图像生成模型的训练图像样本对；基于训练图像样本对，对深度图像生成模型进行训练，得到训练后深度图像生成模型，以通过训练后深度图像生成模型基于二维脸部图像生成对应的脸部深度图像。
本申请实施例通过对二维脸部图像样本进行三维脸部重建，得到三维脸部数据，再对三维脸部数据进行深度映射可以得到脸部深度图像样本，在无需对二维脸部图像样本进行标注的前提下，可以得到大量的训练图像样本对，并训练图像样本对对深度图像生成模型进行训练，可以提高深度图像生成模型的泛化能力，使得训练后深度图像生成模型生成的人脸深度图像的准确性高，提高了人脸深度图像的获取效率和可靠性，进而提高人脸识别的效率和便捷性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的深度图像生成方法的场景图；
图2是本申请实施例提供的深度图像生成方法的流程图；
图3是本申请实施例提供的脸部深度图像对比图；
图4是本申请实施例提供的另一脸部深度图像对比图；
图5是本申请实施例提供的又一脸部深度图像对比图；
图6是本申请实施例提供的深度图像生成方法的另一流程图；
图7是本申请实施例提供的深度图像生成装置示意图；
图8是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供一种深度图像生成方法、装置、计算机设备和计算机可读存储介质。该深度图像生成装置可以集成在计算机设备中，该计算机设备可以是服务器，也可以是终端等设备。
其中，该终端可以包括手机、穿戴式智能设备、平板电脑、笔记本电脑、个人计算(PC，Personal Computer)、以及车载计算机等。
其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
例如，如图1所示，以计算机设备为服务器为例进行说明，服务器获取包含脸部的二维脸部图像样本，基于二维脸部图像样本进行三维脸部重建，以得到与脸部对应的三维脸部数据；对三维脸部数据进行深度映射，得到与二维脸部图像样本对应的脸部深度图像样本；根据二维脸部图像样本和脸部深度图像样本，生成针对深度图像生成模型的训练图像样本对；本申请实施例在无需对二维脸部图像样本进行标注的前提下，可以得到大量的训练图像样本对。
并基于训练图像样本对，对深度图像生成模型进行训练，得到训练后深度图像生成模型，以通过训练后深度图像生成模型基于二维脸部图像生成对应的脸部深度图像。通过大量的训练图像样本对可以提高深度图像生成模型的泛化能力，使得训练后深度图像生成模型生成的人脸深度图像的准确性高，提高了人脸深度图像的获取效率和可靠性，进而提高人脸识别的效率和便捷性。
通过对二维脸部图像样本进行三维脸部重建，得到三维脸部数据，再对三维脸部数据进行深度映射可以得到脸部深度图像样本，并训练图像样本对对深度图像生成模型进行训练，
以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
本实施例将从深度图像生成装置的角度进行描述，该深度图像生成装置具体可以集成在计算机设备中，该计算机设备可以是服务器，也可以是终端等设备。
本申请实施例提供的深度图像生成方法可以应用于包含脸部深度图像生成任务的场景，例如，需要脸部深度图像辅助进行活体检测以及人脸识别的场景，利用本申请实施例提供的方法可以准确地、快速地获取到脸部深度图像，进而可以提高活体检测以及人脸识别的效率。
本申请实施例提供的一种深度图像生成方法，如图2所示，该深度图像生成方法的具体流程可以如下：
101、获取包含脸部的二维脸部图像样本，基于二维脸部图像样本进行三维脸部重建，以得到与脸部对应的三维脸部数据。
其中，二维脸部图像样本可以是脸部彩色图像，根据二维脸部图像样本采用的颜色空间(RGB、YUV或者是HSV)，二维脸部图像样本可以包含不同的数据，例如，若二维脸部图像样本采用的RGB颜色空间，则二维脸部图像样本可以包括每个像素的RGB通道对应的数值(RGB通道值)。二维脸部根据每个包括通过终端摄像头和相机等图像采集设备获取得到，也可以是从预设的脸部图像样本库中获取，以下内容均以二维脸部图像样本采用的RGB颜色空间为例进行说明。
其中，三维脸部数据可以包括构建三维脸部模型所需的数据，根据三维脸部数据可以构建得到三维的脸部模型。
比如，具体可以是获取二维脸部图像样本，基于二维脸部图像样本进行三维脸部重建，得到三维脸部数据，基于三维脸部数据可以构建出关于脸部的三维脸部结构或者是3D脸部模型等。
以二维脸部图像样本包含的脸部是人脸为例进行说明，可以基于三维人脸重建技术对二维脸部图像样本进行三维人脸重建，得到二维脸部图像样本包含的人脸的三维脸部数据，可以理解的是，计算机设备可以即该三维脸部数据构建对应的三维人脸模型。
基于二维脸部图像样本进行三维脸部重建可以是根据关于同一对象的若干张二维脸部图像样本进行建模，得到该对象脸部的三维结构，得到三维脸部数据。
可选的，还可以通过三维可变形人脸模型(3D Morphable models，3DMM)进行三维脸部重建，得到关于重建得到的三维脸部模型的三维脸部数据，比如，具体可以是通过3DMM初始化一个三维可变形人脸模板，对于输入的二维脸部图像，利用脸部关键点的约束对三维可变形人脸模型，拟合出二维脸部图像中人脸的大致位置和形状，然后根据三维可变形人脸模型与二位脸部图像之间脸部纹理等损失，优化三维可变形人脸模型的脸部纹理等细节，得到三维脸部数据。
由于，脸部可以通过指定的点进行表示，例如，通过脸部关键点进行表示，脸部关键点可以是脸部的特征点，在脸部为人脸的情况下，脸部关键点可以是人脸关键点，人脸关键点可以包括脸部五官相关的关键点，比如，眼睛相关的关键点、眉毛相关的关键点、嘴巴相关的关键点、鼻子相关的关键点和耳朵相关的关键点，还可以包括下巴相关的关键点等。五官中的每个器官的相关的关键点可以有多个，比如，眼睛相关的关键点可以包括眼睛左角、左眼睛中心、左眼睛右角、右眼睛左角、右眼睛中心和右眼睛右角，眼睛相关的关键点还可以包括眼眶对应的关键点等。
脸部关键点的选取以及数量可以根据实际应用场景进行灵活设置，在此不做限定。
可以先获取三维脸部模板数据，三维脸部模板数据为脸部的三维模板模型，将三维脸部模板数据中的脸部关键点与二维脸部图像中脸部关键点进行拟合，得到二维脸部图像中的人脸的三维脸部数据，即在一实施例中，步骤“基于二维脸部图像样本进行三维脸部重建，以得到与脸部对应的三维脸部数据”，具体可以包括：
获取三维脸部模板数据，并确定三维脸部模板数据中的第一脸部关键点；
获取二维脸部图像样本中的第二脸部关键点；
基于第一脸部关键点与第二脸部关键点之间的对应关系，将二维脸部图像样本与三维脸部模板数据进行拟合，得到三维脸部数据。
其中，三维脸部模板数据可以是预设的三维脸部模板模型对应的数据。
比如，由于三维脸部模板数据中的脸部关键点(即第一脸部关键点)和二维脸部图像中的脸部关键点(即第二脸部关键点)之间是相对应的，因此，可以基于第二脸部关键点对三维脸部模板数据中的第一脸部关键点的位置进行调整，使得第一脸部关键点中与第二脸部关键点拟合，得到二维脸部图像包含的人脸对应的三维脸部数据。
三维脸部模板数据还可以包含对应的初始参数，基于初始参数可以将三维脸部模型上的第一脸部关键点映射至二维图像上，并基于映射至二维图像上的脸部关键点与二维脸部图像中的第二脸部关键点之间的差距对三维脸部模板数据对应的初始参数和三维脸部模板数据进行调整，使得基于调整后的参数，将调整后的三维脸部模板数据的第一脸部关键点映射至二维图像时与第二脸部关键点更加拟合，直到拟合程度满足预设条件时，得到三维脸部数据，预设条件可以是预先设置的条件，用于衡量拟合程度是否满足要求。
由于，在三维人脸重建时，可以得到第一脸部关键点和第二脸部关键点之间的转换关系，基于转换关系可以将二维脸部图像样本中的第二脸部关键点映射为三维脸部数据中的第一脸部关键点。
转换关系可以基于坐标系的变换得到，在转换过程中，涉及世界坐标系、相机坐标系、图像坐标系和像素坐标系的变换
首先，需要将二维脸部图像样本中的第二脸部关键点的像素坐标，即在像素坐标系中的坐标，转换为相机坐标系中的相机坐标。
在将相机坐标系的相机坐标转换为世界坐标系中的世界坐标，相机坐标系到世界坐标系均是三维坐标系，区别在于选取的原点和坐标轴方向不同，因此，可以通过旋转矩阵和平移矩阵将相机坐标系转换为世界坐标系，而用于表示三维脸部数据的三维空间坐标系可以是与世界坐标系相同，根据将相机坐标系转换为世界坐标系的旋转矩阵和平移矩阵，可以将相机坐标系转换为用于表示三维脸部数据的三维空间坐标系，平移矩阵可以表示该三维空间坐标系的脸部与相机坐标系中的脸部之间的平移关系。
在该三维空间坐标系中，通过三维脸部数据构建的三维脸部深度图像生成模型的位置可以是相对固定，例如，头部姿态固定以及选择一个脸部关键点处于固定的位置，此时，平移矩阵可以表示相机坐标系中的脸部与该三维空间坐标系中的脸部的之间的平移关系。
102、对三维脸部数据进行深度映射，得到与二维脸部图像样本对应的脸部深度图像样本。
其中，脸部深度图像样本可以是包含脸部的深度信息的深度图(depth map)，脸部深度图像样本与二维脸部图像样本具有对应关系，脸部深度图像样本可以包含二维脸部图像样本中每个像素点在现实世界中对应的点(比如，人脸上的一个小区域)与摄像头传感器之间的距离信息。
比如，三维脸部数据中包含了用于构建三维人脸模型所需的点(比如人脸关键点)的坐标，坐标可以包括三个维度的位置信息，例如，若采用三维坐标系，则坐标可以用(x,y,z)表示，其中x、y以及z可以分别表示不同维度上的位置信息。假设z表示深度信息，可以将三维脸部数据中的关于深度信息的数据进行投影，得到脸部深度图像样本。脸部深度图像样本可以通过单通道灰度图表示，灰度图中每个像素的灰度值，可以用于表示二维脸部图像中对应的像素指示的对象的深度信息。例如，当一个人正脸面向镜头，通常情况下，人的鼻子与眼睛相比，鼻子与镜头之间的距离更近，所以，鼻子与眼睛之间的深度信息时不同的。
具体地，在步骤101将二维脸部图像样本进行三维脸部重建，二维脸部图像样本中第一脸部关键点与三维脸部数据中的第二脸部关键点之间存在转换关系，基于该转换关系可以确定三维脸部数据中每个坐标点在单通道图像中对应的像素，并将该坐标点关于深度信息的数据映射为对应的像素的通道值，得到脸部深度图像。
103、根据二维脸部图像样本和脸部深度图像样本，生成针对深度图像生成模型的训练图像样本对。
由于，深度图像生成模型可以用于根据二维脸部图像样本生成对应的脸部深度图像，可以将该脸部深度图像样本作为二维脸部图像样本的真实值，对深度图像生成模型的训练进行监督，因此，可以基于二维脸部图像样本以及其对应的脸部深度图像样本生成训练图像样本对。
在无需对二维脸部图像样本进行标注的情况下，基于步骤102-103可以获取到大量的训练样本对深度图像生成模型进行训练，提高深度图像生成模型的泛化能力。
二维脸部图像可以是通过图像采集设备采集得到的，或者是从现有的脸部图像样本库中获取得到的，二维脸部图像样本并非基于指定的标准拍摄得到的，所以，不同的二维图像样本之间存在着差异，例如，有的二维图像样本中脸部在图像的居中位置，有的二维图像样本中脸部位置偏左，为了降低对深度图像生成模型的训练难度，可以对二维脸部图像进行人脸对齐处理，深度图像生成模型可以在输入的图像样本的相同位置识别到脸部，以降低深度图像生成模型的学习难度，即在一实施例中，步骤“根据二维脸部图像和脸部深度图像样本生成训练图像样本对”，具体可以包括：
根据第一脸部关键点和第二脸部关键点之间的转换关系，对二维脸部图像样本进行脸部对齐处理，得到校正后二维脸部图像样本；
根据第一脸部关键点和第二脸部关键点之间的转换关系，对脸部深度图像样本进行脸部对齐处理，得到校正后脸部深度图像样本；
将校正后二维脸部图像样本和校正后脸部深度图像样本作为训练图像样本对。
由于，第一脸部关键点和第二脸部关键点之间的转换关系可以将像素坐标系中的坐标映射至三维空间坐标系中，该变换关系包括将二维脸部图像样本从像素坐标系转换为相机坐标系的变换矩阵，以及包括从相机坐标系转换为三维空间坐标系的旋转矩阵和平移矩阵。平移矩阵可以表示相机坐标系中的脸部与该三维空间坐标系中的脸部的之间的平移关系。
可以认为在没有平移矩阵的情况下，将三维脸部数据映射为二维脸部图像，该二维脸部图像中的脸部的位置(以下称为目标位置)，与二维脸部图像样本中脸部的位置是不同的，存在一定的距离。由于，基于三维脸部数据构建的三维脸部的位置是相对固定的，因此，基于该平移矩阵可以对二维脸部图像样本进行脸部对齐处理，将二维脸部图像样本中的脸部平移至目标位置，得到校正后二维脸部图像样本。
同理，可以对脸部深度图像样本进行脸部对齐处理，得到校正后脸部深度图像样本。
将校正后二维脸部图像样本和校正后脸部深度图像样本作为训练图像样本对，以降低深度图像生成模型的学习难度，提高对深度图像生成模型的训练效率。
104、基于训练图像样本对，对深度图像生成模型进行训练，得到训练后深度图像生成模型，以通过训练后深度图像生成模型基于二维脸部图像生成对应的脸部深度图像。
比如，具体可以将训练样本对中的二维脸部图像样本输入深度图像生成模型，并通过深度图像生成模型输出对应的脸部深度预测图像，根据脸部深度预测图像和训练样本对中的脸部深度图像样本的差异，计算二者之间的损失值。基于该损失值对深度图像生成模型中的参数进行调整，以对深度图像生成模型进行训练，即在一实施例中，步骤“基于训练图像样本对，对深度图像生成模型进行训练，得到训练后深度图像生成模型”，具体可以包括：
通过深度图像生成模型基于训练图像样本对中的二维脸部图像样本进行深度图像预测，得到脸部深度预测图像；
计算脸部深度预测图像和训练图像样本对中的脸部深度图像样本之间的第一损失值；
基于第一损失值对深度图像生成模型进行训练，得到训练后深度图像生成模型。
比如，通过深度图像生成模型基于二维脸部图像样本输出对应的脸部深度预测图像，根据脸部深度预测图像和训练样本对中的脸部深度图像样本的差异，计算二者之间的第一损失值。基于该第一损失值对深度图像生成模型中的参数进行调整，当满足预设训练条件时，得到训练后深度图像生成模型。预设训练条件可以是预先设置好的用于衡量深度图像生成模型的训练程度的条件，比如，可以是当深度图像生成模型的迭代次数达到预设次数，还可以是当第一损失值小于预设损失阈值等。
可选的，深度图像生成模型可以基于Unet的网络结构。传统编码器用残差卷积模块实现，解码器由卷积模块与反卷积模块实现，然而反卷积容易产生“不均匀重叠”，导致生成的图像出现“棋盘格现象”。深度图像生成模型中编码器包含5个卷积模块，解码器包含4个卷积与上采样模块。解码器通过先插值再卷积的操作代替了传统解码器的反卷积操作，插值采用双线性插值且倍数设置为两倍，并且在两个操作中间加入pad操作，即进行像素填充，以避免出现边界效应。
如图3所示，左侧为输入的二维脸部图像样本的示意图，中间为基于传统解码器的深度图像生成模型得到的脸部深度预测图像，右侧为本申请实施例采用的深度图像生成模型生成的脸部深度预测图像。相比于传统的解码器，本申请实施例采用包含4个卷积与上采样模块的解码器生成的脸部深度预测图像效果更好。
可选的，可以计算完整的脸部深度预测图像和完整的脸部深度图像样本之间的损失，还可以计算图像分量之间的损失，进一步对深度图像生成模型生成脸部深度预测图像进行约束，使得深度图像生成模型生成的脸部深度图像效果更好，即步骤“基于训练图像样本对，对深度图像生成模型进行训练，得到训练后深度图像生成模型”，具体可以包括：
通过深度图像生成模型基于训练图像样本对中的二维脸部图像样本进行深度图像预测，得到脸部深度预测图像；
计算脸部深度预测图像的图像梯度，以得到第一分量图像；
计算训练图像样本对中的脸部深度图像样本的图像梯度，以得到第二分量图像；
根据第一分量图像和第二分量图像之间的差异计算深度预测图像和脸部深度图像样本之间的第二损失值
基于第二损失值对深度图像生成模型进行训练，得到训练后深度图像生成模型。
其中，图像梯度可以衡量脸部深度预测图像或者脸部深度图像样本图像灰度的变化率。
比如，脸部深度预测图像为x×y×1的矩阵，其中，x为x方向上的像素的数量，y为y方向上的像素的数量，x方向和y方向相互垂直，像素分别沿着x方向和y方向分布。
由于三维脸部数据可以当作是函数w＝f(x,y,z)，其中，(x,y,z)表示三维脸部数据上的点R，在该点R的法向量为：
脸部深度预测图像为三维脸部数据对应的二维图像，所以法向量n＝(a,b,c)中，a可以认为是三维脸部数据中点R在x方向上的投影，相当于脸部深度预测图像的与点R对应的像素在x方向上梯度，在x方向上的梯度可以通过深度预测图像的一阶微分图中的与点R对应的像素的通道值，b可以认为是三维脸部数据中点R在y方向上的投影，相当于脸部深度预测图像在y方向上的一阶微分图中的与点R对应的像素的通道值，c为垂直于x方向和y方向上的图像分量，垂直于x方向和y方向的方向可以认为是深度方向，由于法向量的模长等于1，而a、b可以根据脸部深度预测图像在x方向和y方向上的一阶微分图获知，因此可以计算得到三维脸部数据中点R在垂直于x方向和y方向的深度方向上的投影，基于脸部深度预测图像在x方向和y方向上的一阶微分图中每个像素的通道值，可以计算得到三维脸部数据在z方向的分量图像。
基于上述过程可以计算得到三维脸部数据在x、y和z方向的图像分量，得到x方向的分量图像(x方向上的一阶微分图)、y方向的分量图像(y方向上的一阶微分图)以及z方向的图像分量进行拼接，得到第一分量图像，第一分量图像包含了x、y和z方向的图像分量，因此，第一分量图像为三通道的图像。
分别计算脸部深度预测图像在x方向、y方向上的梯度，具体可以是通过一阶微分算子计算计算脸部深度预测图像在x方向和y方向的一阶微分图，一阶微分算子可以包括Sobel算子、Scharr算子、Roberts交叉梯度算子、Prewitt算子以及Isotropic Sobel算子等，一阶微分图中每个像素的通道值表示该像素点的梯度。
基于上述方式，可以计算得到脸部深度图像样本对应的第二分量图像。
根据第一分量图像和第二分量图像之间的差异，计算第一分量图像和第二分量图像之间的第二损失值，并将该第二损失值作为脸部深度图像样本与脸部图像深度预测图像之间的损失值。
如图4所示，左侧为输入深度图像生成模型的二维脸部图像样本的示意图，中间为没有加入分量图像之间的第二损失值进行训练得到的训练后深度图像生成模型，生成的脸部深度预测图像，右侧为加入分量图像之间的第二损失值进行训练得到的训练后深度图像生成模型，生成的脸部深度预测图像，可见，加入分量图像之间的第二损失值进行训练得到的训练后深度图像生成模型，生成的脸部深度图像效果更好。
在一实施例中，可以引入训练好的深度识别模型对深度图像生成模型生成的脸部深度预测图像的效果进行评估，具体可以是将脸部深度预测图像输入训练好的深度识别模型，训练好的深度识别模型输入该脸部深度预测图像对应的第三损失值。
可以理解的是，训练好的深度识别模型可以是基于真实的脸部深度图像进行训练得到的，训练好的深度识别模型可以用于评估深度图像生成模型生成的脸部深度图像与真实的脸部深度图之间的差距，以便深度图像生成模型生成更符合真实情况的脸部深度预测图像。
可选的，可以将上述内容的多种损失值计算方式进行任意组合，并根据组合得到的损失值对深度图像生成模型进行训练。
可选的，可以先对深度图像生成模型进行预训练，再进行微调，即在一实施例中，步骤“述基于训练图像样本对，对深度图像生成模型进行训练，得到训练后深度图像生成模型”，具体可以包括：
基于训练图像样本对，对深度图像生成模型进行预训练，得到候选深度图像生成模型；
获取脸部点云数据；
对脸部点云数据进行映射，得到包括二维脸部图像微调样本和脸部深度图像微调样本的微调样本对；
基于微调样本对，对候选深度图像生成模型进行微调，得到训练后深度图像生成模型。
其中，脸部点云数据可以是包含脸部的采样点的三维坐标信息以及颜色信息的数据，点云数据可以通过具有深度信息采集功能的图像采集设备采集得到。
比如，通过训练图像样本对对深度图像生成模型进行预训练，当深度图像生成模型进行训练至满足预训练条件时，得到候选深度图像生成模型给，再对候选深度生成模型进行微调。其中，预训练条件可以是预先设置好的用于衡量深度图像生成模型的训练程度的条件，比如，可以是当深度图像生成模型的迭代次数达到预设的预训练次数，还可以是当损失值小于预设的预训练损失阈值等。
获取通过脸部点云数据，将脸部点云数据进行映射，得到二维脸部图像微调样本和脸部深度图像微调样本，具体可以是确定脸部点云数据中采样点的像素坐标，并将脸部点云数据中关于颜色信息的数据映射为该像素坐标上的像素的RGB通道值，得到二维脸部图像微调样本，并将关于深度信息的数据映射为该像素坐标上的像素的灰色通道值，得到脸部深度图像微调样本，将二维脸部图像微调样本和对应的脸部深度图像微调样本作为微调样本对。
利用微调样本对微调候选深度图像生成模型，对候选深度图像生成模型微调过程直到候选深度图像生成模型满足预设训练条件，得到训练后深度图像生成模型。
可选的，可以对脸部点云数据进行扩充，以增加微调样本的数量，比如，具体可以是通过姿态变换，得到不同与脸部点云数据的当前姿态的姿态对应的脸部点云数据，比如，可以对脸部点云数据进行俯仰角和偏航角旋转±15°得到姿态变换后的脸部点云数据。在对不同姿态的脸部点云数据(扩充后的脸部点云数据)进行映射以得到微调样本对。
如图5所示，左侧为输入深度图像生成模型的二维脸部图像样本的示意图，中间为没有通过三维脸部重建得到的训练图像样本对进行预训练，仅利用非常有限的数据进行训练，得到的训练后模型生成的脸部深度图，右侧为通过三维脸部重建得到的训练图像样本对进行预训练，到的训练后深度图像生成模型，生成的脸部深度预测图像，可见，通过三维脸部重建得到的训练图像样本对进行预训练，得到的训练后深度图像生成模型，生成的脸部深度图像效果更好。
本申请实施例提供的深度图像生成方法可以应用于包含将深度图像生成任务作为子任务的场景中，例如，结合脸部深度图像进行人脸识别、或者结合脸部深度图像进行活体检测等，在得到训练后深度图像生成模型之后，可以通过训练后深度图像生成模型生成脸部深度图像以辅助进行脸部识别，即在一实施例中，本申请实施例提供的方法具体还可以包括：
获取待识别对象的二维脸部图像；
通过训练后深度图像生成模型生成二维脸部图像的脸部深度图像；
将脸部深度图像的通道数据和二维脸部图像的通道数据进行融合处理，得到拼接后图像数据；
基于拼接后图像数据进行脸部识别，得到待识别对象的对象身份信息。
其中，待识别对象可以包括需要进行脸部识别的对象，待识别对象可以通过终端的摄像头采集包含待识别对象的脸部的二维脸部图像，并将二维脸部图像上传至服务器，服务器将二维脸部图像输入训练后深度图像生成模型中，以通过训练后深度图像生成模型根据二维脸部图像生成对应的脸部深度图像。
其中，对象身份信息为表示待识别对象身份的信息，比如，对象身份信息可以是待识别对象的姓名、账号以及ID等。
由于二维脸部图像中包含了每个像素在RGB通道值(即RGB通道的取值)，二维脸部图像可以通过一个三维矩阵，每个维度表示一个通道的通道值，脸部深度图像可以是单通道图像，脸部深度图像中每个像素的灰色通道值表示深度信息，因此可以将二维脸部图像RGB通道的取值与脸部深度图像的灰色通道的取值拼接，得到四通道的拼接后图像数据，拼接后图像数据为四维矩阵。
基于拼接后图像数据进行脸部识别，得到待识别对象的对象身份信息。
由上可知，本申请实施例通过获取包含脸部的二维脸部图像样本，基于二维脸部图像样本进行三维脸部重建，以得到与脸部对应的三维脸部数据；对三维脸部数据进行深度映射，得到与二维脸部图像样本对应的脸部深度图像样本；根据二维脸部图像样本和脸部深度图像样本，生成针对深度图像生成模型的训练图像样本对；基于训练图像样本对，对深度图像生成模型进行训练，得到训练后深度图像生成模型，以通过训练后深度图像生成模型基于二维脸部图像生成对应的脸部深度图像。
本申请实施例通过对二维脸部图像样本进行三维脸部重建，得到三维脸部数据，再对三维脸部数据进行深度映射可以得到脸部深度图像样本，在无需对二维脸部图像样本进行标注的前提下，可以得到大量的训练图像样本对，并训练图像样本对对深度图像生成模型进行训练，可以提高深度图像生成模型的泛化能力，使得训练后深度图像生成模型生成的人脸深度图像的准确性高，提高了人脸深度图像的获取效率和可靠性，进而提高人脸识别的效率和便捷性。
在上述实施例的基础上，下面将举例做进一步详细说明。
本实施例将从深度图像生成装置的角度进行描述，该深度图像生成装置具体可以集成在计算机设备中，该计算机设备可以是服务器。
本申请实施例提供的一种深度图像生成方法，如图6所示，该深度图像生成方法的具体流程可以如下：
201、获取包含脸部的二维脸部图像样本。
比如，二维脸部图像样本可以是RGB图像，二维脸部图像样本包含了RGB通道的通道值。
服务器获取包含脸部的二维脸部图像样本。
202、基于二维脸部图像样本进行三维脸部重建，以得到与脸部对应的三维脸部数据。
比如，服务器可以通过三维可变形人脸模型(3D Morphable models，3DMM)进行三维脸部重建，得到关于重建得到的三维脸部模型的三维脸部数据，比如，具体可以是通过3DMM初始化一个三维可变形人脸模板，对于输入的二维脸部图像，利用脸部关键点的约束对三维可变形人脸模型，拟合出二维脸部图像中人脸的大致位置和形状，然后根据三维可变形人脸模型与二位脸部图像之间脸部纹理等损失，优化三维可变形人脸模型的脸部纹理等细节，得到三维脸部数据。
由于，脸部可以通过指定的点进行表示，例如，通过脸部关键点进行表示，脸部关键点可以是脸部的特征点，在脸部为人脸的情况下，脸部关键点可以是人脸关键点，人脸关键点可以包括脸部五官相关的关键点，比如，眼睛相关的关键点、眉毛相关的关键点、嘴巴相关的关键点、鼻子相关的关键点和耳朵相关的关键点，还可以包括下巴相关的关键点等。五官中的每个器官的相关的关键点可以有多个，比如，眼睛相关的关键点可以包括眼睛左角、左眼睛中心、左眼睛右角、右眼睛左角、右眼睛中心和右眼睛右角，眼睛相关的关键点还可以包括眼眶对应的关键点等。
脸部关键点的选取以及数量可以根据实际应用场景进行灵活设置，在此不做限定。
203、对三维脸部数据进行深度映射，得到与二维脸部图像样本对应的脸部深度图像样本。
比如，三维脸部数据中包含了用于构建三维人脸模型所需的点(比如人脸关键点)的坐标，坐标可以包括三个维度的位置信息，例如，若采用三维坐标系，则坐标可以用(x,y,z)表示，其中x、y以及z可以分别表示不同维度上的位置信息。假设z表示深度信息，服务器可以将三维脸部数据中的关于深度信息的数据进行投影，得到脸部深度图像样本。脸部深度图像样本可以通过单通道灰度图表示，灰度图中每个像素的灰度值，可以用于表示二维脸部图像中对应的像素指示的对象的深度信息。
204、根据第一脸部关键点和第二脸部关键点之间的转换关系，对二维脸部图像样本进行脸部对齐处理，得到校正后二维脸部图像样本。
由于，第一脸部关键点和第二脸部关键点之间的转换关系可以将像素坐标系中的坐标映射至三维空间坐标系中，该变换关系包括将二维脸部图像样本从像素坐标系转换为相机坐标系的变换矩阵，以及包括从相机坐标系转换为三维空间坐标系的旋转矩阵和平移矩阵。平移矩阵可以表示相机坐标系中的脸部与该三维空间坐标系中的脸部的之间的平移关系。
由于，基于三维脸部数据构建的三维脸部的位置是相对固定的，因此，服务器基于该平移矩阵可以对二维脸部图像样本进行脸部对齐处理，将二维脸部图像样本中的脸部平移至目标位置，得到校正后二维脸部图像样本。
205、根据第一脸部关键点和第二脸部关键点之间的转换关系，对脸部深度图像样本进行脸部对齐处理，得到校正后脸部深度图像样本。
对脸部深度图像样本进行脸部对齐处理，得到校正后脸部深度图像样本可以参考步骤204过程，在此不做赘述。
206、将校正后二维脸部图像样本和校正后脸部深度图像样本作为训练图像样本对。
比如，具体可以是将校正后脸部深度图像样本作为校正后二维脸部图像样本的真实值，生成训练图像样本对。
207、基于训练图像样本对，对深度图像生成模型进行训练，得到训练后深度图像生成模型，以通过训练后深度图像生成模型基于二维脸部图像生成对应的脸部深度图像。
比如，具体可以是首先计算整体损失：将训练样本对中的二维脸部图像样本输入深度图像生成模型，并通过深度图像生成模型输出对应的脸部深度预测图像，根据脸部深度预测图像和训练样本对中的脸部深度图像样本的差异，计算二者之间的均方差损失(Mean Square Error，MSE)，得到第一损失值。
再者，计算分量损失：由于三维脸部数据可以当作函数w＝f(x,y,z)，其中，(x,y,z)表示三维脸部数据上的点R，在该点R的法向量为：
且法向量的模长等于1，而a、b可以根据脸部深度预测图像在x方向和y方向上的一阶微分图获知，因此可以计算得到三维脸部数据中点R在垂直于x方向和y方向的深度方向上的投影，基于脸部深度预测图像在x方向和y方向上的一阶微分图中每个像素的通道值，可以计算得到三维脸部数据在z方向的分量图像。
基于上述过程可以计算得到三维脸部数据在x、y和z方向的图像分量，得到x方向的分量图像(x方向上的一阶微分图)、y方向的分量图像(y方向上的一阶微分图)以及z方向的图像分量进行拼接，得到第一分量图像，第一分量图像包含了x、y和z方向的图像分量，因此，第一分量图像为三通道的图像。
分别计算脸部深度预测图像在x方向、y方向上的梯度，具体可以是通过一阶微分算子计算计算脸部深度预测图像在x方向和y方向的一阶微分图，一阶微分算子可以包括Sobel算子、Scharr算子、Roberts交叉梯度算子、Prewitt算子以及Isotropic Sobel算子等，一阶微分图中每个像素的通道值表示该像素点的梯度。
基于上述方式，可以计算得到脸部深度图像样本对应的第二分量图像。
根据第一分量图像和第二分量图像之间的差异，计算第一分量图像和第二分量图像之间的均方差损失，得到第二损失值，第二损失值的计算公式如下，其中，L2表示第二损失值，NT为脸部深度图像样本在深度方向上的图像分量；Npred为脸部深度预测图像在深度方向上的图像分量。
最后，计算评估损失：将脸部深度预测图像输入训练好的深度识别模型，训练好的深度识别模型输入该脸部深度预测图像对应的损失值(为了区分，可以称为第三损失值)。
训练好的深度识别模型可以是基于真实的脸部深度图像进行训练得到的，训练好的深度识别模型可以用于评估深度图像生成模型生成的脸部深度图像的效果，以便训练深度图像生成模型生成更符合真实的脸部深度预测图像，生成的脸部深度预测图像更具有可分性。
结合第一损失值、第二损失值和第三损失值计算总体损失值，LOSS＝αL1+βL2+γL3，其中LOSS表示总体损失，L1为第一损失值，L2为第二损失值，L3为第三损失值，α、β和γ为参数，α、β和γ可以进行训练效果进行设置，例如，可以设置为α＝10，β＝10，γ＝1。α、β和γ还可以在深度图像生成模型训练过程，随着反向传播进行自动调整。
由上可知，本申请实施例通过获取包含脸部的二维脸部图像样本；基于二维脸部图像样本进行三维脸部重建，以得到与脸部对应的三维脸部数据；对三维脸部数据进行深度映射，得到与二维脸部图像样本对应的脸部深度图像样本；根据第一脸部关键点和第二脸部关键点之间的转换关系，对二维脸部图像样本进行脸部对齐处理，得到校正后二维脸部图像样本；根据第一脸部关键点和第二脸部关键点之间的转换关系，对脸部深度图像样本进行脸部对齐处理，得到校正后脸部深度图像样本；将校正后二维脸部图像样本和校正后脸部深度图像样本作为训练图像样本对；基于训练图像样本对，对深度图像生成模型进行训练，得到训练后深度图像生成模型，以通过训练后深度图像生成模型基于二维脸部图像生成对应的脸部深度图像。
为了便于更好地实施本申请实施例提供的深度图像生成方法，在一实施例中还提供了一种深度图像生成装置。其中名词的含义与上述深度图像生成方法中相同，具体实现细节可以参考方法实施例中的说明。
该深度图像生成装置具体可以集成在计算机设备中，如图7所示，该深度图像生成装置可以包括：重建单元301、映射单元302、生成单元303和训练单元304，具体如下：
(1)重建单元301：用于获取包含脸部的二维脸部图像样本，基于二维脸部图像样本进行三维脸部重建，以得到与脸部对应的三维脸部数据。
在一实施例中，重建单元可以包括、和，具体地：
第一获取子单元：用于获取三维脸部模板数据，并确定三维脸部模板数据中的第一脸部关键点；
第二获取子单元：用于获取二维脸部图像样本中的第二脸部关键点；
拟合子单元：用于基于第一脸部关键点与第二脸部关键点之间的对应关系，将二维脸部图像样本与三维脸部模板数据进行拟合，得到三维脸部数据。
(2)映射单元302：用于对三维脸部数据进行深度映射，得到与二维脸部图像样本对应的脸部深度图像样本。
(3)生成单元303：用于根据二维脸部图像样本和脸部深度图像样本，生成针对深度图像生成模型的训练图像样本对。
在一实施例中，生成单元303可以包括第一对齐子单元、第二对齐子单元和样本对生成子单元，具体地：
第一对齐子单元：用于根据第一脸部关键点和第二脸部关键点之间的转换关系，对二维脸部图像样本进行脸部对齐处理，得到校正后二维脸部图像样本；
第二对齐子单元：用于根据第一脸部关键点和第二脸部关键点之间的转换关系，对脸部深度图像样本进行脸部对齐处理，得到校正后脸部深度图像样本；
样本对生成子单元：用于将校正后二维脸部图像样本和校正后脸部深度图像样本作为训练图像样本对。
(4)训练单元：用于基于训练图像样本对，对深度图像生成模型进行训练，得到训练后深度图像生成模型，以通过训练后深度图像生成模型基于二维脸部图像生成对应的脸部深度图像。
在一实施例中，训练单元可以包括第一预测子单元、第一损失计算子单元和第一训练子单元，具体地：
第一预测子单元：用于通过深度图像生成模型基于训练图像样本对中的二维脸部图像样本进行深度图像预测，得到脸部深度预测图像；
第一损失计算子单元：用于计算脸部深度预测图像和训练图像样本对中的脸部深度图像样本之间的第一损失值；
第一训练子单元：用于基于第一损失值对深度图像生成模型进行训练，得到训练后深度图像生成模型。
在一实施例中，训练单元可以包括第二预测子单元、第一图像计算子单元、第二图像计算子单元和第二损失计算子单元，具体地：
第二预测子单元：用于通过深度图像生成模型基于训练图像样本对中的二维脸部图像样本进行深度图像预测，得到脸部深度预测图像；
第一图像计算子单元：用于计算脸部深度预测图像的图像梯度，以得到第一分量图像；
第二图像计算子单元：用于计算训练图像样本对中的脸部深度图像样本的图像梯度，以得到第二分量图像；
第二损失计算子单元：用于根据第一分量图像和第二分量图像之间的差异计算深度预测图像和脸部深度图像样本之间的第二损失值；
第二训练子单元：用于基于第二损失值对深度图像生成模型进行训练，得到训练后深度图像生成模型。
在一实施例中，训练单元可以包括预训练子单元、点云获取子单元、点云映射子单元和微调子单元，具体地：
预训练子单元：用于基于训练图像样本对，对深度图像生成模型进行预训练，得到候选深度图像生成模型；
点云获取子单元：用于获取脸部点云数据；
点云映射子单元：用于对脸部点云数据进行映射，得到包括二维脸部图像微调样本和脸部深度图像微调样本的微调样本对；
微调子单元：用于基于微调样本对，对候选深度图像生成模型进行微调，得到训练后深度图像生成模型。
在一实施例中，深度图像生成装置还可以包括图像获取单元、图像生成单元、拼接单元和识别单元，具体地：
图像获取单元：用于获取待识别对象的二维脸部图像；
图像生成单元：用于通过训练后深度图像生成模型生成二维脸部图像的脸部深度图像；
拼接单元：用于将脸部深度图像的通道数据和二维脸部图像的通道数据进行拼接处理，得到拼接后图像数据；
识别单元：用于基于拼接后图像数据进行脸部识别，得到待识别对象的对象身份信息。
由上可知，本申请实施例深度图像生成装置通过重建单元301获取包含脸部的二维脸部图像样本，基于二维脸部图像样本进行三维脸部重建，以得到与脸部对应的三维脸部数据；由映射单元302对三维脸部数据进行深度映射，得到与二维脸部图像样本对应的脸部深度图像样本；由生成单元303根据二维脸部图像样本和脸部深度图像样本，生成针对深度图像生成模型的训练图像样本对；通过训练单元304基于训练图像样本对，对深度图像生成模型进行训练，得到训练后深度图像生成模型，以通过训练后深度图像生成模型基于二维脸部图像生成对应的脸部深度图像。
本申请实施例通过对二维脸部图像样本进行三维脸部重建，得到三维脸部数据，再对三维脸部数据进行深度映射可以得到脸部深度图像样本，在无需对二维脸部图像样本进行标注的前提下，可以得到大量的训练图像样本对，并训练图像样本对对深度图像生成模型进行训练，可以提高深度图像生成模型的泛化能力，使得训练后深度图像生成模型生成的人脸深度图像的准确性高，提高了人脸深度图像的获取效率和可靠性，进而提高人脸识别的效率和便捷性。，
本申请实施例还提供一种计算机设备，该计算机设备可以是终端，也可以是服务器，如图8所示，其示出了本申请实施例所涉及的计算机设备的结构示意图，具体来讲：
该计算机设备可以包括一个或者一个以上处理核心的处理器1001、一个或一个以上计算机可读存储介质的存储器1002、电源1003和输入单元1004等部件。本领域技术人员可以理解，图8中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器1001是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器1002内的软件程序和/或模块，以及调用存储在存储器1002内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监测。可选的，处理器1001可包括一个或多个处理核心；优选的，处理器1001可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和计算机程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1001中。
存储器1002可用于存储软件程序以及模块，处理器1001通过运行存储在存储器1002的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器1002可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器1002可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器1002还可以包括存储器控制器，以提供处理器1001对存储器1002的访问。
计算机设备还包括给各个部件供电的电源1003，优选的，电源1003可以通过电源管理系统与处理器1001逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1003还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元1004，该输入单元1004可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器1001会按照如下的指令，将一个或一个以上的计算机程序的进程对应的可执行文件加载到存储器1002中，并由处理器1001来运行存储在存储器1002中的计算机程序，从而实现各种功能，如下：
获取包含脸部的二维脸部图像样本，基于二维脸部图像样本进行三维脸部重建，以得到与脸部对应的三维脸部数据；
对三维脸部数据进行深度映射，得到与二维脸部图像样本对应的脸部深度图像样本；
根据二维脸部图像样本和脸部深度图像样本，生成针对深度图像生成模型的训练图像样本对；
基于训练图像样本对，对深度图像生成模型进行训练，得到训练后深度图像生成模型，以通过训练后深度图像生成模型基于二维脸部图像生成对应的脸部深度图像。
以上各个操作的具体实施可参见前面的实施例，在此不作赘述。
由上可知，本申请实施例的计算机设备可以通过获取包含脸部的二维脸部图像样本，基于二维脸部图像样本进行三维脸部重建，以得到与脸部对应的三维脸部数据；对三维脸部数据进行深度映射，得到与二维脸部图像样本对应的脸部深度图像样本；根据二维脸部图像样本和脸部深度图像样本，生成针对深度图像生成模型的训练图像样本对；基于训练图像样本对，对深度图像生成模型进行训练，得到训练后深度图像生成模型，以通过训练后深度图像生成模型基于二维脸部图像生成对应的脸部深度图像。
本申请实施例通过对二维脸部图像样本进行三维脸部重建，得到三维脸部数据，再对三维脸部数据进行深度映射可以得到脸部深度图像样本，在无需对二维脸部图像样本进行标注的前提下，可以得到大量的训练图像样本对，并训练图像样本对对深度图像生成模型进行训练，可以提高深度图像生成模型的泛化能力，使得训练后深度图像生成模型生成的人脸深度图像的准确性高，提高了人脸深度图像的获取效率和可靠性，进而提高人脸识别的效率和便捷性。
根据本申请的一个方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序包含计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中各种可选实现方式中提供的方法。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成，或通过计算机程序控制相关的硬件来完成，该计算机程序可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，其中存储有计算机程序，该计算机程序，能够被处理器进行加载，以执行本申请实施例所提供的任一种深度图像生成方法。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种深度图像生成方法，因此，可以实现本申请实施例所提供的任一种深度图像生成方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种深度图像生成方法、装置、计算机设备和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种深度图像生成方法，其特征在于，包括：
获取包含脸部的二维脸部图像样本，基于所述二维脸部图像样本进行三维脸部重建，以得到与所述脸部对应的三维脸部数据；
对所述三维脸部数据进行深度映射，得到与所述二维脸部图像样本对应的脸部深度图像样本；
根据所述二维脸部图像样本和所述脸部深度图像样本，生成针对深度图像生成模型的训练图像样本对；
基于所述训练图像样本对，对所述深度图像生成模型进行训练，得到训练后深度图像生成模型，以通过所述训练后深度图像生成模型基于二维脸部图像生成对应的脸部深度图像。
2.根据权利要求1所述的方法，其特征在于，所述基于所述二维脸部图像样本进行三维脸部重建，以得到与所述脸部对应的三维脸部数据，包括：
获取三维脸部模板数据，并确定所述三维脸部模板数据中的第一脸部关键点；
获取所述二维脸部图像样本中的第二脸部关键点；
基于所述第一脸部关键点与所述第二脸部关键点之间的对应关系，将所述二维脸部图像样本与所述三维脸部模板数据进行拟合，得到所述三维脸部数据。
3.根据权利要求2所述的方法，其特征在于，所述根据所述二维脸部图像和所述脸部深度图像样本生成训练图像样本对，包括：
根据所述第一脸部关键点和所述第二脸部关键点之间的转换关系，对所述二维脸部图像样本进行脸部对齐处理，得到校正后二维脸部图像样本；
根据所述第一脸部关键点和所述第二脸部关键点之间的转换关系，对所述脸部深度图像样本进行脸部对齐处理，得到校正后脸部深度图像样本；
将所述校正后二维脸部图像样本和所述校正后脸部深度图像样本作为所述训练图像样本对。
4.根据权利要求1所述的方法，其特征在于，所述基于所述训练图像样本对，对深度图像生成模型进行训练，得到训练后深度图像生成模型，包括：
通过所述深度图像生成模型基于所述训练图像样本对中的二维脸部图像样本进行深度图像预测，得到脸部深度预测图像；
计算所述脸部深度预测图像和所述训练图像样本对中的脸部深度图像样本之间的第一损失值；
基于所述第一损失值对所述深度图像生成模型进行训练，得到训练后深度图像生成模型。
5.根据权利要求1所述的方法，其特征在于，所述基于所述训练图像样本对，对所述深度图像生成模型进行训练，得到训练后深度图像生成模型，包括：
通过所述深度图像生成模型基于所述训练图像样本对中的二维脸部图像样本进行深度图像预测，得到脸部深度预测图像；
计算所述脸部深度预测图像的图像梯度，以得到第一分量图像；
计算所述训练图像样本对中的脸部深度图像样本在的图像梯度，以得到第二分量图像；
根据所述第一分量图像和所述第二分量图像之间的差异计算所述深度预测图像和所述脸部深度图像样本之间的第二损失值；
基于所述第二损失值对所述深度图像生成模型进行训练，得到训练后深度图像生成模型。
6.根据权利要求1所述的方法，其特征在于，所述基于所述训练图像样本对，对深度图像生成模型进行训练，得到训练后深度图像生成模型，包括：
基于所述训练图像样本对，对所述深度图像生成模型进行预训练，得到候选深度图像生成模型；
获取脸部点云数据；
对所述脸部点云数据进行映射，得到包括二维脸部图像微调样本和脸部深度图像微调样本的微调样本对；
基于所述微调样本对，对所述候选深度图像生成模型进行微调，得到所述训练后深度图像生成模型。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取待识别对象的二维脸部图像；
通过所述训练后深度图像生成模型生成所述二维脸部图像的脸部深度图像；
将所述脸部深度图像的通道数据和所述二维脸部图像的通道数据进行拼接处理，得到拼接后图像数据；
基于所述拼接后图像数据进行脸部识别，得到所述待识别对象的对象身份信息。
8.一种深度图像生成装置，其特征在于，包括：
重建单元，用于获取包含脸部的二维脸部图像样本，基于所述二维脸部图像样本进行三维脸部重建，以得到与所述脸部对应的三维脸部数据；
映射单元，用于对所述三维脸部数据进行深度映射，得到与所述二维脸部图像样本对应的脸部深度图像样本；
生成单元，用于根据所述二维脸部图像样本和所述脸部深度图像样本，生成针对深度图像生成模型的训练图像样本对；
训练单元，用于基于所述训练图像样本对，对所述深度图像生成模型进行训练，得到训练后深度图像生成模型，以通过所述训练后深度图像生成模型基于二维脸部图像生成对应的脸部深度图像。
9.一种计算机设备，其特征在于，包括存储器和处理器；所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行权利要求1至9任一项所述的深度图像生成方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器加载，以执行权利要求1至9任一项所述的深度图像生成方法。
11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9任一项所述的深度图像生成方法。
CN202211349899.9A 2022-10-31 2022-10-31 深度图像生成方法、装置、计算机设备、存储介质和产品 Pending CN117036435A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211349899.9A CN117036435A (zh) 2022-10-31 2022-10-31 深度图像生成方法、装置、计算机设备、存储介质和产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211349899.9A CN117036435A (zh) 2022-10-31 2022-10-31 深度图像生成方法、装置、计算机设备、存储介质和产品

Publications (1)

Publication Number Publication Date
CN117036435A true CN117036435A (zh) 2023-11-10

Family

ID=88634157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211349899.9A Pending CN117036435A (zh) 2022-10-31 2022-10-31 深度图像生成方法、装置、计算机设备、存储介质和产品

Country Status (1)

Country Link
CN (1) CN117036435A (zh)

Similar Documents

Publication Publication Date Title
CN109285215B (zh) 一种人体三维模型重建方法、装置和存储介质
WO2021174939A1 (zh) 人脸图像的获取方法与系统
CN111598998B (zh) 三维虚拟模型重建方法、装置、计算机设备和存储介质
CN109712234B (zh) 三维人体模型的生成方法、装置、设备和存储介质
CN109191554B (zh) 一种超分辨图像重建方法、装置、终端和存储介质
US20240046557A1 (en) Method, device, and non-transitory computer-readable storage medium for reconstructing a three-dimensional model
CN110599395A (zh) 目标图像生成方法、装置、服务器及存储介质
CN111524216B (zh) 生成三维人脸数据的方法和装置
CN114339409B (zh) 视频处理方法、装置、计算机设备及存储介质
CN112927362A (zh) 地图重建方法及装置、计算机可读介质和电子设备
CN109754464B (zh) 用于生成信息的方法和装置
US11961266B2 (en) Multiview neural human prediction using implicit differentiable renderer for facial expression, body pose shape and clothes performance capture
CN113538682B (zh) 模型训练、头部重建方法、电子设备及存储介质
CN114972634A (zh) 基于特征体素融合的多视角三维可变形人脸重建方法
CN116740261A (zh) 图像重建方法和装置、图像重建模型的训练方法和装置
CN111915676B (zh) 图像生成方法、装置、计算机设备和存储介质
CN116934591A (zh) 多尺度特征提取的图像拼接方法、装置、设备及存储介质
CN113822174B (zh) 视线估计的方法、电子设备及存储介质
CN117036435A (zh) 深度图像生成方法、装置、计算机设备、存储介质和产品
CN116797713A (zh) 一种三维重建方法和终端设备
CN117252914A (zh) 深度估计网络的训练方法、装置、电子设备及存储介质
CN111582120A (zh) 用于捕捉眼球活动特征的方法、终端设备
CN116645468B (zh) 人体三维建模方法、训练人体结构生成模型的方法及装置
CN114612510B (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
CN116246026B (zh) 三维重建模型的训练方法、三维场景渲染方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination