CN111754622B - 脸部三维图像生成方法及相关设备 - Google Patents

脸部三维图像生成方法及相关设备 Download PDF

Info

Publication number
CN111754622B
CN111754622B CN202010671070.5A CN202010671070A CN111754622B CN 111754622 B CN111754622 B CN 111754622B CN 202010671070 A CN202010671070 A CN 202010671070A CN 111754622 B CN111754622 B CN 111754622B
Authority
CN
China
Prior art keywords
face
target
loss
color image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010671070.5A
Other languages
English (en)
Other versions
CN111754622A (zh
Inventor
林祥凯
陈雅静
张浩贤
王盛
者雪飞
暴林超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010671070.5A priority Critical patent/CN111754622B/zh
Publication of CN111754622A publication Critical patent/CN111754622A/zh
Application granted granted Critical
Publication of CN111754622B publication Critical patent/CN111754622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本公开实施例提供了一种脸部三维图像生成方法及相关设备。该方法包括：获取目标脸部颜色图像及其目标脸部深度图像；利用神经网络模型处理目标脸部颜色图像及其目标脸部深度图像，获得中间脸部颜色图像及其中间脸部深度图像；通过身份识别模型分别对目标脸部颜色图像和中间脸部颜色图像进行处理，获得身份识别损失；根据目标脸部颜色图像及中间脸部颜色图像、目标脸部深度图像及中间脸部深度图像和身份识别损失，确定目标损失；根据目标损失确定神经网络模型的目标模型参数；利用包括目标模型参数的神经网络模型处理目标脸部颜色图像及其目标脸部深度图像，获得目标脸部三维图像。本公开实施例的技术方案采用了人工智能技术。

Description

脸部三维图像生成方法及相关设备
技术领域
本公开涉及计算机技术领域，具体而言，涉及一种脸部三维图像生成方法及装置、电子设备和计算机可读存储介质。
背景技术
随着计算机技术的迅速发展，三维重建技术在计算机视觉技术领域中得到广泛应用。三维脸部重建作为三维重建技术的重要分支，在影视动画和游戏娱乐、视频监控等领域的应用非常广泛。
现有的三维脸部重建方法主要包括手动建模和基于图像的自动建模等。其中，手动建模一般需要有经验的专业人员借助专业软件来完成，但需要耗费大量的人力和时间成本。相对而言，基于图像的自动建模成本较低，现有的基于图像的自动建模方式一般将通用脸部模型作为基础，根据图像中的脸部关键点信息对通用脸部模型进行变形或调整，得到图像中的脸部对应的三维模型，采用该方式进行三维重建精度较低，无法得到逼真和自然的三维脸部模型。
因此，如何提高生成的脸部三维图像的逼真度是亟待解决的技术问题之一。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解。
发明内容
本公开实施例提供一种脸部三维图像生成方法及装置、电子设备和计算机可读存储介质，可以解决相关技术中重建的脸部三维图像不够真实，逼真度不够高的技术问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
本公开实施例提供一种脸部三维图像生成方法，所述方法包括：获取目标脸部颜色图像及其目标脸部深度图像；利用神经网络模型处理所述目标脸部颜色图像及其目标脸部深度图像，获得中间脸部颜色图像及其中间脸部深度图像；通过身份识别模型分别对所述目标脸部颜色图像和所述中间脸部颜色图像进行处理，获得身份识别损失；根据所述目标脸部颜色图像及所述中间脸部颜色图像、所述目标脸部深度图像及所述中间脸部深度图像和所述身份识别损失，确定目标损失；根据所述目标损失确定所述神经网络模型的目标模型参数；利用包括所述目标模型参数的所述神经网络模型处理所述目标脸部颜色图像及其目标脸部深度图像，获得目标脸部三维图像。
本公开实施例提供一种脸部三维图像生成装置，所述装置包括：原始图像获取单元，用于获取目标脸部颜色图像及其目标脸部深度图像；渲染图像获取单元，用于利用神经网络模型处理所述目标脸部颜色图像及其目标脸部深度图像，获得中间脸部颜色图像及其中间脸部深度图像；身份损失获得单元，用于通过身份识别模型分别对所述目标脸部颜色图像和所述中间脸部颜色图像进行处理，获得身份识别损失；目标损失确定单元，用于根据所述目标脸部颜色图像及所述中间脸部颜色图像、所述目标脸部深度图像及所述中间脸部深度图像和所述身份识别损失，确定目标损失；模型参数调整单元，用于根据所述目标损失确定所述神经网络模型的目标模型参数；三维图像获得单元，用于利用包括所述目标模型参数的所述神经网络模型处理所述目标脸部颜色图像及其目标脸部深度图像，获得目标脸部三维图像。
在本公开的一些示例性实施例中，所述目标脸部颜色图像包括目标脸部第一侧面颜色图像和目标脸部正面颜色图像，所述中间脸部颜色图像包括中间脸部第一侧面颜色图像和中间脸部正面颜色图像，所述身份识别损失包括第一组合损失。其中，身份损失获得单元包括：第一身份特征向量获得单元，用于通过所述身份识别模型分别处理所述目标脸部正面颜色图像和所述中间脸部正面颜色图像，分别获得第一目标正面身份特征向量和第一中间正面身份特征向量；第一身份损失获得单元，用于根据所述第一目标正面身份特征向量和所述第一中间正面身份特征向量，获得第一正面身份识别损失；第二身份特征向量获得单元，用于通过所述身份识别模型分别处理所述目标脸部第一侧面颜色图像和所述中间脸部第一侧面颜色图像，分别获得第一目标第一侧面身份特征向量和中间第一侧面身份特征向量；第二身份损失获得单元，用于根据所述第一目标第一侧面身份特征向量和所述中间第一侧面身份特征向量，获得第一侧面身份识别损失；第一组合损失确定单元，用于根据所述第一正面身份识别损失和所述第一侧面身份识别损失，确定所述第一组合损失。
在本公开的一些示例性实施例中，所述目标脸部颜色图像还包括目标脸部第二侧面颜色图像，所述中间脸部颜色图像还包括中间脸部第二侧面颜色图像。其中，第一组合损失确定单元包括：第三身份特征向量获得单元，用于通过所述身份识别模型分别处理所述目标脸部第二侧面颜色图像和所述中间脸部第二侧面颜色图像，分别获得第一目标第二侧面身份特征向量和第一中间第二侧面身份特征向量；第三身份损失获得单元，用于根据所述第一目标第二侧面身份特征向量和所述第一中间第二侧面身份特征向量，获得第二侧面身份识别损失；第一组合损失计算单元，用于根据所述第一正面身份识别损失、所述第一侧面身份识别损失和所述第二侧面身份识别损失，确定所述第一组合损失。
在本公开的一些示例性实施例中，所述身份识别损失还包括第二组合损失。其中，身份损失获得单元还包括：第四身份特征向量获得单元，用于通过所述身份识别模型分别处理所述目标脸部正面颜色图像和所述中间脸部正面颜色图像，分别获得第二目标正面身份特征向量和第二中间正面身份特征向量；第四身份损失获得单元，用于根据所述第二目标正面身份特征向量和所述第二中间正面身份特征向量，获得第二正面身份识别损失；第五身份特征向量获得单元，用于通过所述身份识别模型分别处理所述目标脸部第一侧面颜色图像和所述中间脸部正面颜色图像，分别获得第二目标第一侧面身份特征向量和第三中间正面身份特征向量；第五身份损失获得单元，用于根据所述第二目标第一侧面身份特征向量和所述第三中间正面身份特征向量，获得第一侧正面身份识别损失；第二组合损失确定单元，用于根据所述第二正面身份识别损失和所述第一侧正面身份识别损失，确定所述第二组合损失。
在本公开的一些示例性实施例中，所述目标脸部颜色图像还包括目标脸部第二侧面颜色图像。其中，第二组合损失确定单元包括：第六身份特征向量获得单元，用于通过所述身份识别模型分别处理所述目标脸部第二侧面颜色图像和所述中间脸部正面颜色图像，分别获得第二目标第二侧面身份特征向量和第四中间正面身份特征向量；第六身份损失获得单元，用于根据所述第二目标第二侧面身份特征向量和所述第四中间正面身份特征向量，获得第二侧正面身份识别损失；第二组合损失计算单元，用于根据所述第二正面身份识别损失、所述第一侧正面身份识别损失和所述第二侧正面身份识别损失，确定所述第二组合损失。
在本公开的一些示例性实施例中，所述目标损失包括深度信息损失。其中，目标损失确定单元包括：深度损失获得单元，用于根据所述目标脸部深度图像及所述中间脸部深度图像获得深度损失；深度信息损失获得单元，用于将所述深度损失裁剪到预设阈值范围内，获得所述深度信息损失。
在本公开的一些示例性实施例中，所述目标脸部深度图像包括目标脸部正面深度图像，所述中间脸部深度图像包括中间脸部正面深度图像。
在本公开的一些示例性实施例中，所述目标脸部深度图像还包括目标脸部第一侧面深度图像、目标脸部第二侧面深度图像和目标脸部第一朝向深度图像中的至少一种，所述中间脸部深度图像还包括中间脸部第一侧面深度图像、中间脸部第二侧面深度图像和中间脸部第一朝向深度图像中的至少一种。
在本公开的一些示例性实施例中，渲染图像获取单元包括：参数信息获得单元，用于利用所述神经网络模型识别所述目标脸部颜色图像及其目标脸部深度图像，获得脸部特征参数、拍照环境特征和拍照参数信息；三维模型重构单元，用于根据所述脸部特征参数重构目标脸部三维模型；三维模型渲染单元，用于根据所述拍照环境特征和拍照参数信息渲染所述目标脸部三维模型，获得所述中间脸部颜色图像及其所述中间脸部深度图像。
在本公开的一些示例性实施例中，所述脸部特征参数包括脸部纹理参数和脸部形状参数，所述目标损失包括像素颜色损失、深度信息损失、特征点损失和调节项。其中，目标损失确定单元包括：颜色损失确定单元，用于根据所述目标脸部颜色图像及所述中间脸部颜色图像，确定所述像素颜色损失；特征点损失确定单元，用于根据所述目标脸部颜色图像中的特征点与所述中间脸部颜色图像中相应特征点，确定所述特征点损失；深度信息损失确定单元，用于根据所述目标脸部深度图像及所述中间脸部深度图像，确定所述深度信息损失；调节项确定单元，用于根据所述脸部纹理参数和所述脸部形状参数，确定所述调节项；目标损失获取单元，用于根据所述像素颜色损失、所述特征点损失、所述深度信息损失、所述身份识别损失和所述调节项，确定所述目标损失。
本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中所述的脸部三维图像生成方法。
本公开实施例提供了一种电子设备，包括：至少一个处理器；存储装置，配置为存储至少一个程序，当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现如上述实施例中所述的脸部三维图像生成方法。
在本公开的一些实施例所提供的技术方案中，一方面，通过获取目标脸部颜色图像及其目标脸部深度图像，并利用可调整其模型参数的神经网络模型处理所述目标脸部颜色图像及其目标脸部深度图像，来获得中间脸部颜色图像及其中间脸部深度图像，即利用目标脸部深度图像和中间脸部深度图像中的深度信息来确定目标损失，可以优化该神经网络模型的模型参数；另一方面，还通过身份识别模型分别对所述目标脸部颜色图像和所述中间脸部颜色图像进行处理，来获得身份识别损失，即可以基于身份识别损失来进一步优化该神经网络模型的模型参数，从而使得最终确定了目标模型参数的该神经网络模型，根据所述目标脸部颜色图像及其目标脸部深度图像，获得高质量、高相似度和高逼真度的目标脸部三维图像。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了可以应用本公开实施例的脸部三维图像生成方法或脸部三维图像生成装置的示例性系统架构的示意图；
图2示出了适于用来实现本公开实施例的电子设备的结构示意图；
图3示意性示出了根据本公开的一实施例的脸部三维图像生成方法的流程图；
图4示意性示出了图3中步骤S2在一实施例中的流程图；
图5示意性示出了图3中步骤S3在一实施例中的流程图；
图6示意性示出了图5中步骤S35在一实施例中的流程图；
图7示意性示出了图3中步骤S3在一实施例中的流程图；
图8示意性示出了图7中步骤S310在一实施例中的流程图；
图9示意性示出了图3中步骤S4在一实施例中的流程图；
图10示意性示出了根据本公开的一实施例的脸部三维图像生成方法的示意图；
图11示意性示出了采用不同方法重建人脸三维图像的效果比对图；
图12示意性示出了采用不同方法重建人脸三维图像的效果比对图；
图13示意性示出了本公开实施例提供的脸部三维图像生成方法的应用场景图；
图14示意性示出了根据本公开的一实施例的脸部三维图像生成装置的框图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
本公开所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图仅为本公开的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在至少一个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本说明书中，用语“一个”、“一”、“该”、“所述”和“至少一个”用以表示存在至少一个要素/组成部分/等；用语“包含”、“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等；用语“第一”、“第二”和“第三”等仅作为标记使用，不是对其对象的数量限制。
下面结合附图对本公开示例实施方式进行详细说明。
图1示出了可以应用于本公开实施例的脸部三维图像生成方法或脸部三维图像生成装置的示例性系统架构的示意图。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
服务器105可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备101、102、103可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、可穿戴智能设备、虚拟现实设备、增强现实设备等，但并不局限于此。终端设备101、102、103以及服务器105可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的，服务器105可以是一个实体的服务器，还可以为多个服务器组成，根据实际需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图2，其示出了适于用来实现本申请实施例的电子设备200的结构示意图。图2示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图2所示，电子设备200包括中央处理单元(Central Processing Unit，CPU)201，其可以根据存储在只读存储器(Read-Only Memory，ROM)202中的程序或者从储存部分208加载到随机访问存储器(Random Access Memory，RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有电子设备200操作所需的各种程序和数据。CPU201、ROM202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。
以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207；包括硬盘等的储存部分208；以及包括诸如LAN(Local Area Network，局域网络)卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入储存部分208。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本申请所示的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有至少一个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含至少一个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读存储介质承载有至少一个程序，当上述至少一个程序被一个该设备执行时，使得该设备可实现功能包括：获取目标脸部颜色图像及其目标脸部深度图像；利用神经网络模型处理所述目标脸部颜色图像及其目标脸部深度图像，获得中间脸部颜色图像及其中间脸部深度图像；通过身份识别模型分别对所述目标脸部颜色图像和所述中间脸部颜色图像进行处理，获得身份识别损失；根据所述目标脸部颜色图像及所述中间脸部颜色图像、所述目标脸部深度图像及所述中间脸部深度图像和所述身份识别损失，确定目标损失；根据所述目标损失确定所述神经网络模型的目标模型参数；利用包括所述目标模型参数的所述神经网络模型处理所述目标脸部颜色图像及其目标脸部深度图像，获得目标脸部三维图像。
需要理解的是，在本公开附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
以下对本公开实施例中涉及的部分用语进行解释说明。
RGBD：包括RGB(red，green，blue，分别为红色颜色空间、绿色颜色空间和蓝色颜色空间)颜色图像和深度摄像头拍摄的深度(D是deep的简写)图像。
ID(Identification，身份识别)模型：均以人脸识别模型为例进行举例说明。
3DMM：3dimension morphable model，三维可变模型。
N-ICP：non-rigid iterative closest point，非刚性迭代最近点。
脸部关键点(也称之为脸部特征点)：脸部关键部位标记点，对于人脸而言，关键点一般分布在眉毛、眼睛、鼻子、尾巴和脸部轮廓线等部位。
姿势参数：用于体现相机拍摄角度和拍摄距离的参数。
VGG(Visual Geometry Group，视觉几何组)Face：人脸识别模型的一种，用于进行特征提取和人脸识别的深度学习神经网络。
球谐光照，一种实时渲染技术，利用该技术可以产生高质量的渲染及阴影效果。
本公开实施例涉及人工智能(Artificial Intelligence，AI)和机器学习(MachineLearning，ML)技术，基于人工智能中的计算机视觉(Computer Vision，CV)技术和机器学习而设计。
其中，人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(OpticalCharacter Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。本公开实施例基于计算机视觉技术对电子设备获取的图像进行处理，以实现三维物体重建。
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。本公开实施例在脸部三维图像生成过程中，采用了基于机器学习的神经网络模型，如卷积神经网络(Convolutional Neural Network，CNN)和深度神经网络(Deep neural network，DNN)等对目标脸部颜色图像及其目标脸部深度图像进行处理，获得中间脸部颜色图像及其中间脸部深度图像，根据获得中间脸部颜色图像及其中间脸部深度图像进行三维脸部重建。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
基于上述相关技术中存在的技术问题，本公开实施例提出了一种脸部三维图像生成方法，以用于至少部分解决上述问题。图3示意性示出了根据本公开的一实施例的脸部三维图像生成方法的流程图。本公开实施例提供的方法可以应用于任意的电子设备，例如图1中的终端设备101、102和103中的任意一个或者多个，或者服务器105，本公开实施例对此不作限定。
如图3所示，本公开实施例提供的方法可以包括以下步骤。
在步骤S1中，获取目标脸部颜色图像及其目标脸部深度图像。
本公开实施例中，目标脸部颜色图像及其目标脸部深度图像可以是人脸图像，也可以是动物的脸部图像，在下面的实施例中，均以人脸图像为例进行举例说明；可以是图片格式的图像，也可以是视频中的图像帧；可以是电子设备通过摄像头等图像采集装置实时采集的，也可以是预先保存在存储器中或通过网络下载得到的，本公开实施例对此不作限制。
在示例性实施例中，可以从单视角获取目标脸部颜色图像及其目标脸部深度图像，例如目标脸部颜色图像包括至少一张目标脸部正面颜色图像，目标脸部深度图像包括至少一张目标脸部正面深度图像。其中，目标脸部正面颜色图像是指目标对象(例如目标用户)的脸部正面朝向图像采集装置所拍摄下来的颜色图像，目标脸部深度图像是指目标对象的脸部正面朝向深度摄像头所拍摄下来的深度图像。可以理解的是，本公开实施例中所提及的“正面”允许有一定的误差范围，以人脸为例，只要能够清晰的采集到人脸的眉毛、嘴巴、鼻子、脸部轮廓等部位即可。
在示例性实施例中，也可以从多视角获取目标脸部颜色图像及其目标脸部深度图像，例如目标脸部颜色图像除了包括至少一张目标脸部正面颜色图像，还可以包括至少一张目标脸部第一侧面颜色图像、至少一张目标脸部第二侧面颜色图像、至少一张目标脸部第一朝向颜色图像、至少一张目标脸部第二朝向颜色图像等中的至少一种，目标脸部深度图像除了包括至少一张目标脸部正面深度图像，还可以包括至少一张目标脸部第一侧面深度图像、至少一张目标脸部第二侧面深度图像、至少一张目标脸部第一朝向深度图像、至少一张目标脸部第二朝向深度图像等中的至少一种。在下面的实施例中，均以第一侧面为左侧面，第二侧面为右侧面，第一朝向为抬头，第二朝向为低头为例进行举例说明，但本公开并不限定于此。
其中，目标脸部颜色图像与目标脸部深度图像之间的脸部姿势参数(若以人脸图像为例，则称之为人脸姿势参数)是一一对应的。本公开实施例中，脸部姿势参数是指拍摄目标脸部颜色图像及其目标脸部深度图像时脸部所处的姿势，例如第一侧面、第二侧面、第一朝向或者第二朝向等。例如，若目标脸部颜色图像包括至少一张目标脸部第一侧面颜色图像，则目标脸部深度图像包括至少一张目标脸部第一侧面深度图像；若目标脸部颜色图像包括至少一张目标脸部第二侧面颜色图像，则目标脸部深度图像包括至少一张目标脸部第二侧面深度图像；若目标脸部颜色图像包括至少一张目标脸部第一朝向颜色图像，则目标脸部深度图像包括至少一张目标脸部第一朝向深度图像。
在步骤S2中，利用神经网络模型处理所述目标脸部颜色图像及其目标脸部深度图像，获得中间脸部颜色图像及其中间脸部深度图像。
本公开实施例中，以人脸图像为例，则均以神经网络模型为模型参数可调整的VGGFace为例进行举例说明，但本公开并不限定于此，例如还可以采用ArcFace(AdditiveAngular Margin Loss for Deep Face Recognition，用于深度人脸识别的添加角边距损失)或者FaceNet(使用深度卷积网络进行人脸识别)等其它模型。
由于利用模型参数在调整过程中的神经网络模型处理，根据目标脸部颜色图像及其目标脸部深度图像重构的脸部三维模型与目标对象的脸部的相似度不一定高，故本公开实施例将利用调整中的神经网络模型重构的脸部三维模型渲染得到的二维脸部颜色图像称作中间脸部颜色图像，二维脸部深度图像称作中间脸部深度图像。在后续处理过程中，利用确定了目标模型参数的神经网络模型处理目标脸部颜色图像及其目标脸部深度图像，获得相似度高的脸部三维模型称之为目标脸部三维模型。具体获得中间脸部颜色图像及其中间脸部深度图像的过程可以参照下图4实施例的描述。
在步骤S3中，通过身份识别模型分别对所述目标脸部颜色图像和所述中间脸部颜色图像进行处理，获得身份识别损失。
本公开实施例中，还是以人脸图像为例，则身份识别模型可以为人脸识别模型，在下面的实施例中，均以预先训练好的、网络参数固定的VGG Face作为人脸识别模型为例进行举例说明，但本公开并不限定于此，例如，还可以采用预先训练好的、网络参数固定的ArcFace或者FaceNet等其它模型。
本公开实施例中，身份识别损失是指目标脸部颜色图像和中间脸部颜色图像分别表征的身份特征信息是否一致。通过设置身份识别损失，可以确定出目标脸部颜色图像中的人脸与中间脸部颜色图像中的人脸是否为同一个人的人脸，如果是同一个人的人脸，则表明用于渲染生成中间脸部颜色图像的脸部三维模型是比较好的模型，可能是目标脸部三维模型，基于此脸部三维模型得到的目标脸部三维图像的特征与目标脸部颜色图像中人脸的特征更相似，提高了目标脸部三维图像的仿真度。
具体地，可以将目标脸部颜色图像和中间脸部颜色图像分别输入至训练好的身份识别模型中，基于该身份识别模型可以确定出目标脸部颜色图像对应的脸部和中间脸部颜色图像对应的脸部在模拟地球的球面上的地理位置。
需要说明的是，本公开实施例中的身份识别模型通过对最后一个特征层的特征向量进行限定，来确定输入的目标脸部颜色图像和中间脸部颜色图像的身份特征信息是否一致。本公开实施例中的身份识别模型通过对身份特征信息的一致性进行限制，使得最终得到的神经网络模型可以学习到根据目标脸部的身份相关的脸部特征，比如鼻子高低、眼窝凹陷和嘴唇的薄厚等，进而使得基于此重建的目标脸部三维模型更像目标脸部。
具体地，网络参数固定VGG Face的训练过程可以包括以下步骤：利用数据集去训练VGG Face得到网络参数固定的VGG Face，使得该VGG Face可以确定出输入至该VGG Face的脸部二维图像对应的脸部在模拟地球的球面上的地理位置。该数据集包括大量用户的脸部二维图像和每个用户的地理位置。然后VGG Face可以根据每一用户的地理位置，在球面上为数据集中每一用户模拟一个地理位置，且不同的用户在球面上模拟的地理位置不相同。
基于上述训练过程，当在网络参数固定的VGG Face输入脸部二维图像后，则可以计算出输入的脸部二维图像对应的用户在球面上的地理位置。
本公开实施例中的身份特征信息一致的条件可以为地理位置差异在许可的范围内等。若基于网络参数固定的VGG Face确定出目标脸部颜色图像对应的用户在球面上的地理位置与中间脸部颜色图像对应的用户在球面上的地理位置之间的差异在许可的范围内，则确定目标脸部颜色图像和中间脸部颜色图像表征的身份特征信息一致，即这两个图像中的用户是同一个人，若不在许可的范围内，则表明这两种图像中表征的用户不是同一个人，身份差异比较大，则进一步表明基于神经网络模型识别出的脸部特征参数、拍照环境特征和拍照参数信息还原度不够，需要继续对神经网络模型进行调整。获取身份识别损失的过程可以参照下图5-8的描述。
在步骤S4中，根据所述目标脸部颜色图像及所述中间脸部颜色图像、所述目标脸部深度图像及所述中间脸部深度图像和所述身份识别损失，确定目标损失。
具体的确定目标损失的过程可以参照下图9实施例。
在步骤S5中，根据所述目标损失确定所述神经网络模型的目标模型参数。
在步骤S6中，利用包括所述目标模型参数的所述神经网络模型处理所述目标脸部颜色图像及其目标脸部深度图像，获得目标脸部三维图像。
当渲染出中间脸部颜色图像和中间脸部深度图像后，为了确定目标脸部颜色图像与渲染的中间脸部颜色图像、目标脸部深度图像与渲染的中间脸部深度图像相似度足够，本公开实施例提出确定目标脸部颜色图像和中间脸部颜色图像、目标脸部深度图像和中间脸部深度图像以及身份识别损失是否满足设定的条件。只有满足时才表明基于当前设置的神经网络模型识别出的脸部特征参数、拍照环境特征和拍照参数信息还原度是非常高的，故基于脸部特征参数重构出的目标脸部三维模型与目标脸部也是非常相似的，进而可以基于此目标脸部三维模型获得目标脸部三维图像输出展示，基于此得到的目标脸部三维图像逼真度更高。
本公开实施方式提供的脸部三维图像生成方法，一方面，通过获取目标脸部颜色图像及其目标脸部深度图像，并利用可调整其模型参数的神经网络模型处理所述目标脸部颜色图像及其目标脸部深度图像，来获得中间脸部颜色图像及其中间脸部深度图像，即利用目标脸部深度图像和中间脸部深度图像中的深度信息来确定目标损失，可以优化该神经网络模型的模型参数；另一方面，还通过身份识别模型分别对所述目标脸部颜色图像和所述中间脸部颜色图像进行处理，来获得身份识别损失，即可以基于身份识别损失来进一步优化该神经网络模型的模型参数，从而使得最终确定了目标模型参数的该神经网络模型，根据所述目标脸部颜色图像及其目标脸部深度图像，获得高质量、高相似度和高逼真度的目标脸部三维图像。
图4示意性示出了图3中步骤S2在一实施例中的流程图。如图4所示，本公开实施例中，上述步骤S2可以进一步包括以下步骤。
在步骤S21中，利用所述神经网络模型识别所述目标脸部颜色图像及其目标脸部深度图像，获得脸部特征参数、拍照环境特征和拍照参数信息。
具体地，将目标脸部颜色图像及其目标脸部深度图像输入到可调整的神经网络模型中，然后基于该神经网络模型可以从目标脸部颜色图像及其目标脸部深度图像中识别出目标脸部的脸部特征参数，以及识别出拍摄该目标脸部颜色图像及其目标脸部深度图像时的拍照环境特征和拍照参数信息。在下面的实施例中，以拍照环境特征包括环境光照参数、拍照参数信息包括人脸姿势参数为例进行举例说明。
在步骤S22中，根据所述脸部特征参数重构目标脸部三维模型。
本公开实施例中，还是以人脸图像为例，可以根据识别出的脸部特征参数和标准人脸模板库中的三维基底模型重构目标脸部三维模型即此时的目标人脸三维模型。
由于最能代表一个用户除了该用户的身份标识外，该用户的脸部特征也能唯一识别出一个用户，而脸部特征一般包括人脸形状、表情和纹理等等，故基于目标脸部颜色图像及其目标脸部深度图像获得目标脸部即此时的目标人脸的形状、表情和纹理等即可确定获得该用户的人脸，进而识别出该用户的身份。而目标人脸的形状特征一般包括眉毛、眼睛、鼻子、嘴巴和脸颊等部分；纹理也可以基于不同角度的纹理组合得到。基于上述描述，为了更好地重构目标脸部三维模型，本公开实施例中识别出的脸部特征参数可以但不限于包括脸部形状参数和脸部纹理参数等。在一些实施例中，脸部特征参数还可以包括脸部表情参数等，而表情是多种多样的，不过各种表情也是基于一些基本表情组合得到。若以人脸图像为例，脸部形状参数、脸部表情参数和脸部纹理参数则分别为人脸形状参数、人脸表情参数和人脸纹理参数。
需要说明的是，当标准人脸模板库包括标准人脸的形状模板库时，则标准人脸模板库中的三维基底模型为三维形状基底模型；当标准人脸模板库包括标准人脸的纹理模板库时，则标准人脸模板库中的三维基底模型为三维纹理基底模型；而当标准人脸模板库包括标准人脸的基本表情模板库时，则标准人脸模板库中的三维基底模型为基本表情基底模型。
接下来对人脸形状参数、人脸纹理参数和人脸表情参数的获取过程进行描述：
本公开实施例中，可以预先基于大量的人脸的形状来生成一个标准人脸的形状模板库，该形状模板库中包括标准人脸的各个三维形状基底模板，每一三维形状基底模型都是一张完整的三维人脸形状模型。可以利用可调整的神经网络模型从所述目标脸部颜色图像及其目标脸部深度图像中识别出构成目标人脸的形状的各个三维形状基底模型的权重系数；将各个三维形状基底模型的权重系数确定为所述人脸形状参数。
具体地，当获取到目标脸部颜色图像及其目标脸部深度图像后，可以先识别出表征人脸中各个特征部位的三维特征点，得到的三维特征点可以表示为：(x,y,z)，其中，x表示该三维特征点对应的像素点的横坐标值；y表示为该三维特征点对应的纵素点的横坐标值；z表示为该三维特征点的深度值。在获得各个特征点的三维特征点后，可以将三维特征点构成的形状与各个三维形状基底模型进行匹配，旨在确定出能够构成目标人脸的形状的各个三维形状基底模型的权重系数。基于上述过程即可确定出能够形成目标脸部颜色图像及其目标脸部深度图像中目标人脸的形状的各个三维形状基底模型的权重系数，而确定出的各个三维形状基底模型的权重系数即为人脸形状参数。
具体地，还可以将目标脸部颜色图像及其目标脸部深度图像得到的三维特征点的最大值与各个三维形状基底模型中特征点的最大值之间的比值确定为各个三维形状基底模型的权重系数，或者也可以将目标脸部颜色图像及其目标脸部深度图像得到的三维特征点的像素值求取平均值，同时也对各个三维形状基底模型的三维特征点的像素值求取平均值，则将基于目标脸部颜色图像及其目标脸部深度图像得到的三维特征点得到的平均值与基于每一三维形状基底模型的三维特征点得到的平均值确定为该三维形状基底模型的权重系数，同理也可以得到各个三维形状基底模型的权重系数。
本公开实施例中，也可以预先基于大量的人脸的纹理来生成一个标准人脸的纹理模板库，该纹理模板库中包括标准人脸在各个角度下的三维纹理基底模型。可以利用可调整的神经网络模型从目标脸部颜色图像及其目标脸部深度图像中识别出能够形成目标脸部颜色图像及其目标脸部深度图像中目标人脸的纹理的各个三维纹理基底模型的权重系数；将各个三维纹理基底模型的权重系数确定为人脸纹理参数。
本公开实施例中，也可以预先基于人脸的所能表达的所有表情来生成一组标准人脸的基本表情模板库，该基本表情模板库中包含各个基本表情基底模型。可以利用可调整的神经网络模型从所述目标脸部颜色图像及其目标脸部深度图像中识别出能够构成目标脸部颜色图像及其目标脸部深度图像中展示的表情的各个基本表情基底模型的权重系数；将各个基本表情基底模型的权重系数确定为人脸表情参数。
具体地，将确定出的三维特征点去匹配各个基本表情基底模型，基于此即可确定出能够形成目标脸部颜色图像及其目标脸部深度图像中展示的表情的各个基本表情基底模型的权重系数，而确定出的上述权重系数即为人脸表情参数。
在介绍上述三种脸部特征参数获取过程之后，在重构目标脸部三维模型时，可以基于识别出的目标人脸的脸部特征和标准人脸模板库中的三维基底模型来重构目标脸部三维模型，而由于脸部特征参数包括人脸形状参数和人脸纹理参数，故上述标准人脸模板库也相应包括标准人脸的形状模板库和标准人脸的纹理模板库，然后基于人脸形状参数、人脸纹理参数和相应地模板库来重构目标脸部三维模型。若脸部特征参数还包括人脸表情参数，则标准人脸模板库也相应包括标准人脸的基本表情模板库，然后基于人脸形状参数、人脸纹理参数、人脸表情参数和相应地模板库来重构目标脸部三维模型。
在步骤S23中，根据所述拍照环境特征和拍照参数信息渲染所述目标脸部三维模型，获得所述中间脸部颜色图像及其所述中间脸部深度图像。
本公开实施例中，可以模拟识别出的拍照环境特征和拍照参数信息，对目标脸部三维模型进行渲染处理获得中间脸部颜色图像及其中间脸部深度图像。
具体地，可以利用正交投影技术和球谐光照模型模拟识别出的拍照环境特征和拍照参数信息，然后模拟出一个与拍摄目标脸部颜色图像和目标脸部深度图像的拍摄环境特征和拍照参数信息一致的环境，如确定光源及打光位置，然后对目标脸部三维模型进行拍照处理即可渲染出中间脸部颜色图像及其中间脸部深度图像。需要说明的是，还可以利用冯氏反射模型来代替球谐光照模型。
图5示意性示出了图3中步骤S3在一实施例中的流程图。本公开实施例中，所述目标脸部颜色图像可以包括目标脸部第一侧面颜色图像和目标脸部正面颜色图像，所述中间脸部颜色图像可以包括中间脸部第一侧面颜色图像和中间脸部正面颜色图像，所述身份识别损失可以包括第一组合损失。
如图5所示，本公开实施例中，上述步骤S3可以进一步包括以下步骤。
在步骤S31中，通过所述身份识别模型分别处理所述目标脸部正面颜色图像和所述中间脸部正面颜色图像，分别获得第一目标正面身份特征向量和第一中间正面身份特征向量。
例如，将目标脸部正面颜色图像(以下称之为真正面)输入至预先训练好的身份识别模型，可以输出第一目标正面身份特征向量；将中间脸部正面颜色图像(以下称之为假正面)输入至该预先训练好的身份识别模型，可以输出第一中间正面身份特征向量。
在步骤S32中，根据所述第一目标正面身份特征向量和所述第一中间正面身份特征向量，获得第一正面身份识别损失。
例如可以用L2度量第一目标正面身份特征向量和第一中间正面身份特征向量之间的距离，作为第一正面身份识别损失。
在步骤S33中，通过所述身份识别模型分别处理所述目标脸部第一侧面颜色图像和所述中间脸部第一侧面颜色图像，分别获得第一目标第一侧面身份特征向量和中间第一侧面身份特征向量。
例如，将目标脸部左侧面颜色图像(以下称之为真左侧面)输入至预先训练好的身份识别模型，可以输出第一目标左侧面身份特征向量；将中间脸部左侧面颜色图像(以下称之为假左侧面)输入至该预先训练好的身份识别模型，可以输出中间左侧面身份特征向量。
在步骤S34中，根据所述第一目标第一侧面身份特征向量和所述中间第一侧面身份特征向量，获得第一侧面身份识别损失。
例如可以用同样的L2度量第一目标第一侧面身份特征向量和中间第一侧面身份特征向量之间的距离，作为第一侧面身份识别损失。
在步骤S35中，根据所述第一正面身份识别损失和所述第一侧面身份识别损失，确定所述第一组合损失。
例如，可以将第一正面身份识别损失和第一侧面身份识别损失累加或者加权求和或者求平均值等，确定第一组合损失。
本公开实施方式提供的脸部三维图像生成方法，利用多视角(至少两个视角：例如正面和左侧面)输入的目标脸部颜色图像和中间脸部正面颜色图像来计算身份识别损失，可以保证正面观察下的目标脸部的五官跟原图即目标脸部颜色图像尽可能地相似。
图6示意性示出了图5中步骤S35在一实施例中的流程图。本公开实施例中，所述目标脸部颜色图像还可以包括目标脸部第二侧面颜色图像，所述中间脸部颜色图像还可以包括中间脸部第二侧面颜色图像。
如图6所示，本公开实施例中，上述步骤S35可以进一步包括以下步骤。
在步骤S351中，通过所述身份识别模型分别处理所述目标脸部第二侧面颜色图像和所述中间脸部第二侧面颜色图像，分别获得第一目标第二侧面身份特征向量和第一中间第二侧面身份特征向量。
例如，将目标脸部右侧面颜色图像(以下称之为真右侧面)输入至预先训练好的身份识别模型，可以输出第一目标右侧面身份特征向量；将中间脸部右侧面颜色图像(以下称之为假右侧面)输入至该预先训练好的身份识别模型，可以输出第一中间右侧面身份特征向量。
在步骤S352中，根据所述第一目标第二侧面身份特征向量和所述第一中间第二侧面身份特征向量，获得第二侧面身份识别损失。
例如可以用同样的L2度量第一目标第二侧面身份特征向量和第一中间第二侧面身份特征向量之间的距离，作为第二侧面身份识别损失。
在步骤S353中，根据所述第一正面身份识别损失、所述第一侧面身份识别损失和所述第二侧面身份识别损失，确定所述第一组合损失。
例如，可以将第一正面身份识别损失、第一侧面身份识别损失和第二侧面身份识别损失累加或者加权求和或者求平均值等，确定第一组合损失。
本公开实施方式提供的脸部三维图像生成方法，利用多视角(至少三个视角：例如正面、左侧面和右侧面)输入的目标脸部颜色图像和中间脸部正面颜色图像来计算身份识别损失，可以进一步保证正面观察下的目标脸部的五官跟原图即目标脸部颜色图像尽可能地相似。
图7示意性示出了图3中步骤S3在一实施例中的流程图。本公开实施例中，所述身份识别损失还可以包括第二组合损失。
如图7所示，本公开实施例中，上述步骤S3可以进一步包括以下步骤。
在步骤S36中，通过所述身份识别模型分别处理所述目标脸部正面颜色图像和所述中间脸部正面颜色图像，分别获得第二目标正面身份特征向量和第二中间正面身份特征向量。
例如，将目标脸部正面颜色图像再次输入至预先训练好的身份识别模型，可以输出第二目标正面身份特征向量；将中间脸部正面颜色图像再次输入至该预先训练好的身份识别模型，可以输出第二中间正面身份特征向量。
在步骤S37中，根据所述第二目标正面身份特征向量和所述第二中间正面身份特征向量，获得第二正面身份识别损失。
例如可以用同样的L2度量第二目标正面身份特征向量和第二中间正面身份特征向量之间的距离，作为第二正面身份识别损失。
在步骤S38中，通过所述身份识别模型分别处理所述目标脸部第一侧面颜色图像和所述中间脸部正面颜色图像，分别获得第二目标第一侧面身份特征向量和第三中间正面身份特征向量。
例如，将目标脸部左侧面颜色图像再次输入至预先训练好的身份识别模型，可以输出第二目标左侧面身份特征向量；将中间脸部正面颜色图像再次输入至该预先训练好的身份识别模型，可以输出第三中间正面身份特征向量。
在步骤S39中，根据所述第二目标第一侧面身份特征向量和所述第三中间正面身份特征向量，获得第一侧正面身份识别损失。
例如可以用同样的L2度量第二目标左侧面身份特征向量和第三中间正面身份特征向量之间的距离，作为第一侧正面身份识别损失。
在步骤S310中，根据所述第二正面身份识别损失和所述第一侧正面身份识别损失，确定所述第二组合损失。
例如，可以将第二正面身份识别损失和第一侧正面身份识别损失累加或者加权求和或者求平均值等，确定第二组合损失。
本公开实施方式提供的脸部三维图像生成方法，通过不断地变化输入至身份识别模型的不同视角的目标脸部颜色图像和中间脸部颜色图像，利用多视角(至少两个视角：例如正面和左侧面)输入的目标脸部颜色图像和中间脸部正面颜色图像来组合计算身份识别损失，可以进一步保证正面观察下的目标脸部的五官跟原图即目标脸部颜色图像尽可能地相似。
图8示意性示出了图7中步骤S310在一实施例中的流程图。本公开实施例中，所述目标脸部颜色图像还可以包括目标脸部第二侧面颜色图像。
如图8所示，本公开实施例中，上述步骤S3可以进一步包括以下步骤。
在步骤S3101中，通过所述身份识别模型分别处理所述目标脸部第二侧面颜色图像和所述中间脸部正面颜色图像，分别获得第二目标第二侧面身份特征向量和第四中间正面身份特征向量。
例如，将目标脸部右侧面颜色图像再次输入至预先训练好的身份识别模型，可以输出第二目标右侧面身份特征向量；将中间脸部正面颜色图像再次输入至该预先训练好的身份识别模型，可以输出第四中间正面身份特征向量。
在步骤S3102中，根据所述第二目标第二侧面身份特征向量和所述第四中间正面身份特征向量，获得第二侧正面身份识别损失。
例如可以用同样的L2度量第二目标第二侧面身份特征向量和第四中间正面身份特征向量之间的距离，作为第二侧正面身份识别损失。
在步骤S3103中，根据所述第二正面身份识别损失、所述第一侧正面身份识别损失和所述第二侧正面身份识别损失，确定所述第二组合损失。
例如，可以将第二正面身份识别损失、第一侧正面身份识别损失和第二侧正面身份识别损失累加或者加权求和或者求平均值等，确定第二组合损失。根据第一组合损失和第二组合损失确定身份识别损失，例如将第一组合损失和第二组合损失累加或者加权求和或者求平均值等获得身份识别损失。
本公开实施方式提供的脸部三维图像生成方法，通过不断地变化输入至身份识别模型的不同视角的目标脸部颜色图像和中间脸部颜色图像，利用多视角(至少三个视角：例如正面、左侧面和右侧面)输入的目标脸部颜色图像和中间脸部正面颜色图像来组合计算身份识别损失，可以进一步保证正面观察下的目标脸部的五官跟原图即目标脸部颜色图像尽可能地相似。
在示例性实施例中，所述目标损失可以包括深度信息损失。其中，根据所述目标脸部深度图像及所述中间脸部深度图像，确定目标损失，可以包括：根据所述目标脸部深度图像及所述中间脸部深度图像获得深度损失；将所述深度损失裁剪到预设阈值范围内，获得所述深度信息损失。
在示例性实施例中，所述目标脸部深度图像可以包括目标脸部正面深度图像，所述中间脸部深度图像可以包括中间脸部正面深度图像。
在示例性实施例中，所述目标脸部深度图像还可以包括目标脸部第一侧面深度图像、目标脸部第二侧面深度图像和目标脸部第一朝向深度图像中的至少一种，所述中间脸部深度图像还可以包括中间脸部第一侧面深度图像、中间脸部第二侧面深度图像和中间脸部第一朝向深度图像中的至少一种。通过多视角输入的目标脸部深度图像和中间脸部深度图像来计算深度信息损失，可以保证所计算的深度信息损失更加精确，从而保证最终确定的目标脸部三维图像更加逼真。
图9示意性示出了图3中步骤S4在一实施例中的流程图。本公开实施例中，以脸部特征参数包括脸部纹理参数和脸部形状参数为例进行举例说明，所述目标损失除了包括上述身份识别损失以外，还可以包括像素颜色损失、深度信息损失、特征点损失和调节项。
如图9所示，本公开实施例中，上述步骤S4可以进一步包括以下步骤。
在步骤S41中，根据所述目标脸部颜色图像及所述中间脸部颜色图像，确定所述像素颜色损失。
本公开实施例中还可以确定目标脸部颜色图像与中间脸部颜色图像之间像素值差值，确定像素颜色损失，当目标损失中包括像素颜色损失时，若目标损失满足预先设定的条件，则表明神经网络模型识别出的目标脸部颜色图像的拍摄环境特征和纹理信息还原度较高，纹理信息包括皮肤和颜色等，当目标损失不满足预先设定的条件时，则可以通过对神经网络模型的调整，使得通过目标脸部颜色图像的阴影来调整重构的目标脸部三维模型的法向量，进而使得基于此得到的目标脸部三维图像的形状与目标脸部颜色图像中的形状相似度更高。
其中目标脸部颜色图像与中间脸部颜色图像的像素值可以包括各个像素点在红色颜色空间(R)中的像素值、在绿色颜色空间(G)中的像素值以及在蓝色颜色空间(B)中的像素值。
在示例性实施例中，目标脸部颜色图像可以包括目标脸部正面颜色图像，以及目标脸部第一侧面颜色图像、目标脸部第二侧面颜色图像和目标脸部第一朝向颜色图像中的至少一种；中间脸部颜色图像可以包括中间脸部正面颜色图像，以及中间脸部第一侧面颜色图像、中间脸部第二侧面颜色图像和中间脸部第一朝向颜色图像中的至少一种。颜色像素损失可以是目标脸部正面颜色图像与中间脸部正面颜色图像之间的像素值差值，以及目标脸部第一侧面颜色图像与中间脸部第一侧面颜色图像之间的像素值差值、目标脸部第二侧面颜色图像与中间脸部第二侧面颜色图像之间的像素值差值、目标脸部第一朝向颜色图像与中间脸部第一朝向颜色图像之间的像素值差值中的至少一种的累加值或者平均值或者加权求和值，即通过多视角(至少两个视角)输入的目标脸部颜色图像和中间脸部颜色图像来计算像素颜色损失，可以保证所计算的像素颜色损失更加精确，从而保证最终确定的目标脸部三维图像更加逼真。
在步骤S42中，根据所述目标脸部颜色图像中的特征点与所述中间脸部颜色图像中相应特征点，确定所述特征点损失。
例如，可以从目标脸部颜色图像和中间脸部颜色图像中分别识别出至少68个特征点，这68个特征点分别分布在眉毛、眼睛、鼻子、嘴巴和脸颊部分。然后针对每一特征点，确定该特征点在目标脸部颜色图像中的位置与中间脸部颜色图像中该特征点在图像中的位置之间的欧式距离，根据各个特征点的欧式距离确定特征点损失，通过在目标损失中包括特征点损失，当目标损失满足预先设定的条件时，表明目标脸部颜色图像和中间脸部颜色图像对齐度较高，同时可以保证目标脸部颜色图像中的表情与中间脸部颜色图像中的表情相似度比较高；当目标损失不满足预先设定的条件时，则对神经网络模型进行调整，使得基于调整后的神经网络模型得到的中间脸部颜色图像与目标脸部颜色图像对齐。
在示例性实施例中，目标脸部颜色图像可以包括目标脸部正面颜色图像，以及目标脸部第一侧面颜色图像、目标脸部第二侧面颜色图像和目标脸部第一朝向颜色图像中的至少一种；中间脸部颜色图像可以包括中间脸部正面颜色图像，以及中间脸部第一侧面颜色图像、中间脸部第二侧面颜色图像和中间脸部第一朝向颜色图像中的至少一种。特征点损失可以是目标脸部正面颜色图像与中间脸部正面颜色图像之间的特征点的欧式距离，以及目标脸部第一侧面颜色图像与中间脸部第一侧面颜色图像之间的特征点的欧式距离、目标脸部第二侧面颜色图像与中间脸部第二侧面颜色图像之间的特征点的欧式距离、目标脸部第一朝向颜色图像与中间脸部第一朝向颜色图像之间的特征点的欧式距离中的至少一种的累加值或者平均值或者加权求和值，即通过多视角(至少两个视角)输入的目标脸部颜色图像和中间脸部颜色图像来计算特征点损失，可以保证所计算的特征点损失更加精确，从而保证最终确定的目标脸部三维图像更加逼真。
在步骤S43中，根据所述目标脸部深度图像及所述中间脸部深度图像，确定所述深度信息损失。
在步骤S44中，根据所述脸部纹理参数和所述脸部形状参数，确定所述调节项。
本公开实施例中，给目标损失加上脸部纹理参数和脸部形状参数的先验知识，避免优化过程中出现变形。在其它实施例中，也可以根据脸部纹理参数、脸部形状参数和脸部表情参数，确定调节项。
在步骤S45中，根据所述像素颜色损失、所述特征点损失、所述深度信息损失、所述身份识别损失和所述调节项，确定所述目标损失。
在下面的实施例中，以将像素颜色损失、特征点损失、所述深度信息损失、所述身份识别损失和所述调节项进行加权求和确定目标损失为例进行举例说明，但本公开并不限定于此，也可以给像素颜色损失、特征点损失、所述深度信息损失、所述身份识别损失中每一项设置一个阈值，当每一项均小于其对应设置的阈值时，才确定当前的模型参数为神经网络模型的目标模型参数。
下面以从正面、左侧面、右侧面、抬头四个姿势采集目标用户的目标人脸照片作为目标脸部颜色图像和目标脸部深度图像为例，对应用本公开实施例提供的方案生成目标脸部三维图像进行举例说明。
图10示意性示出了根据本公开的一实施例的脸部三维图像生成方法的示意图。
如图10所示，假设采集了包括目标用户的目标人脸的正面、左侧面、右侧面、抬头4张目标脸部颜色图像(图中用Irgb表示)和4张目标脸部深度图像(图中用Idep表示)，且身份识别模型采用了VGG face作为人脸识别模型。
其中，图10中的Xalb为人脸纹理参数；Xshp为人脸形状参数；A表示各个三维纹理基底模型组成的矩阵(这里以人脸3DMM纹理基为例进行举例说明)；S表示各个三维形状基底模型组成的矩阵(这里以人脸3DMM形状基为例进行举例说明)；Xlight表示环境光照参数，每张目标脸部颜色图像一个，共4个；Xpose表示人脸姿势参数，每张目标脸部颜色图像一个，共4个。其中，Xalb，Xshp，Xlight和Xpose均为优化目标。
可导渲染器(Differentiable Renderer)用于渲染和提供优化梯度。Irender是重建后的目标脸部三维模型根据Xlight和Xpose渲染后的4张中间脸部颜色图像，Iz是重建后的目标脸部三维模型根据Xlight和Xpose渲染后的4张中间脸部深度图像，包括重建后的目标脸部三维模型在相应姿势下的深度值。
将正面、左侧面和右侧面三个姿势下的目标脸部颜色图像和中间脸部颜色图像分别输入至人脸识别模型中，输出这三个姿势下目标脸部颜色图像和中间脸部颜色图像相应的身份特征向量，对比这三个姿势下目标脸部颜色图像和中间脸部颜色图像相应的身份特征向量的相近程度，获得身份识别损失Lid。
将正面、左侧面、右侧面和抬头四个姿势下的目标脸部颜色图像和中间脸部颜色图像的像素点的像素值逐像素对比，即将Irgb的四张目标脸部颜色图像和Irender中的四张中间脸部颜色图像依次逐像素对比，获得像素颜色损失Lrgb。
将正面、左侧面、右侧面和抬头四个姿势下的目标脸部深度图像和中间脸部深度图像的像素点的深度值逐像素对比，即将Idep的四张目标脸部深度图像和Iz中的四张中间脸部深度图像依次逐像素对比，获得深度信息损失Ldep。
将将正面、左侧面、右侧面和抬头四个姿势下的目标脸部颜色图像和中间脸部颜色图像的特征点逐点对比，即将Irgb的四张目标脸部颜色图像和Irender中的四张中间脸部颜色图像依次逐点对比，获得特征点损失Llan。
待优化参数可以包括人脸纹理参数Xalb、人脸形状参数Xshp、环境光照参数Xlight和人脸姿势参数Xpose，目标是通过不同的损失，把这些参数优化至全局最小，保证人脸的纹理和形状高度逼真。
重建系统可以先利用人脸纹理参数Xalb和人脸形状参数Xshp对人脸3DMM纹理基和人脸3DMM形状基分别进行线性组合，得到人脸UV(U代表横线坐标上的分布，V代表纵向坐标上的分布)纹理图a以及3D形状s：
上述两公式中，和/>分别表示3DMM中的平均脸的形状和纹理。根据人脸UV纹理图a以及3D形状s重构目标脸部三维模型。
随后，通过环境光照参数Xlight和人脸姿势参数Xpose给重建好的目标脸部三维模型进行打光和旋转，再使用可导渲染器把人脸渲染成不同的中间脸部颜色图像以及对应的中间脸部深度图像，然后利用上述的约束进行优化。
图10实施例中，身份识别损失可以同时包括以下两种不同的组合：
1.真正面vs(versus，对照)假正面，真左侧面vs假左侧面，真右侧面vs假右侧面；
2.真正面vs假正面，真左侧面vs假正面，真右侧面vs假正面。
其中，Irgb中的正面称之为真正面，左侧面称之为真左侧面，右侧面称之为真右侧面。Irender中的正面称之为假正面，左侧面称之为假左侧面，右侧面称之为假右侧面。
实际操作中，在计算身份识别损失时，变化输入至人脸识别模型的图像，用同样的L2度量方式去计算对应的图像之间的身份特征向量之间的距离，具体可以参照上述其它实施例中的描述。通过这样的方式计算身份识别损失，可以保证正面观察下的五官跟原图尽可能地相似。
本公开实施例中，目标损失L可以根据以下公式计算：
L＝ωrgbLrgb+ωdepLdep+ωidLid+ωlanLlan+ωregLreg (3)
上述公式中，ωrgb、ωdep、ωid、ωlan、ωreg分别为像素颜色损失Lrgb、深度信息损失Ldep、身份识别损失Lid、特征点损失Llan、调节项Lreg的权重系数，例如，可以设置ωrgb＝100，ωdep＝100，ωid＝1.8，ωlan＝1，ωreg＝0.4，但本公开并不限定于此，可以根据实际需求调整。
其中，像素颜色损失Lrgb可以通过以下公式计算：
Lrgb＝||Irgb-Irender||2 (4)
上述公式中，||Irgb-Irender||2表示对应姿势下的Irgb和Irender的像素值差值的2-范数。
其中，深度信息损失Ldep可以通过以下公式计算：
上述公式中，β用于把深度信息损失裁剪(clip)到预设阈值范围内，例如该预设阈值范围可以是0-16，但本公开并不限定于此，从而可以避免离群点(outlier)对优化结果的影响，即超过这个范围的深度信息损失Ldep不计算梯度(不会对优化过程产生影响)。
其中，身份识别损失Lid可以通过以下公式计算：
上述公式中，ψ表示人脸识别模型提取的对应的身份特征向量。
其中，调节项Lreg主要目的是给目标损失加上先验知识，即人脸纹理参数和人脸形状参数，避免优化过程中出现变形，可以通过以下公式计算：
上述公式，ωshp和ωalb分别为和/>的权重系数，例如可以设置ωshp＝0.4，ωalb＝0.001。
以可调整的神经网络模型为可调整的VGG Face，身份识别模型为网络参数固定的VGG Face，拍照环境特征为环境光照参数为例实施本公开实施例提供的脸部三维图像生成方法，其执行过程主要包括以下步骤：将图10中的4张目标脸部颜色图像Irgb和4张目标脸部深度图像Idep输入至可调整的VGG Face中，然后该可调整的VGG Face可以从目标脸部颜色图像Irgb和目标脸部深度图像Idep中学习到人脸形状参数Xshp、人脸纹理参数Xalb(还可以学校到人脸表情参数，图10中未示出)、环境光照参数Xlight和人脸姿势参数Xpose，然后先基于人脸形状参数Xshp和人脸纹理参数Xalb重构目标脸部三维模型，然后模拟环境光照参数Xlight和人脸姿势参数Xpose对重构的目标脸部三维模型进行渲染，处理得到4张中间脸部颜色图像Irender和4张中间脸部深度图像Iz，然后将对应正面、左侧面和右侧面的3张目标脸部颜色图像和3张中间脸部颜色图像输入至固定的VGG Face中，该固定的VGG Face即可确定出目标脸部颜色图像和中间脸部颜色图像表征之间的身份识别损失，另外，还会确定目标脸部颜色图像和中间脸部颜色图像中的特征点之间的特征点损失，以及确定目标脸部颜色图像与中间脸部颜色图像之间像素值差值之间的像素颜色损失，对应正面、左侧面、右侧面和抬头的目标脸部深度图像和中间脸部深度图像之间的深度信息损失，若目标损失不满足全局最小或者其它预先设定的条件，则对可调整的VGG Face进行调整，然后再次实施图10所示的逻辑，直至确定出满足条件的目标损失，在满足条件时，基于最新的目标脸部三维模型获得目标脸部三维图像。
相关技术中有以下三种方式进行三维人脸重建：
1.基于RGB信息的3D人脸重建。该方案只使用RGB信息，没有深度信息。由于该方案只使用了RGB照片的2D信息，对重建3D人脸的任务而言，缺乏整个第三位的信息，导致学习任务困难大，重建的人脸一般无法达到高逼真效果。
2.基于深度信息的3D人脸重建。该方案主要通过多角度的深度信息进行N-ICP重建3D点云，再用3DMM拟合点云，得到3D人脸。由于深度摄像头的精度有限，对眼睛、鼻子、嘴巴等位置的深度采样不佳，导致重建时五官相似程度低。
3.基于RGBD信息的3D人脸重建。该方案主要利用深度信息对人脸形状有一定的监督，同时也使用RGB信息提供的光影信息，弥补深度信息的不足，对人脸细微变化提供更多监督信息。虽然该方案利用RGB照片的光影约束，对五官信息做了弥补，修正了上述方案2的问题。但是，光影约束受限于对光照模型和人脸纹理的建模精度，一般做出来的人脸五官缺乏个人特点。
采用本公开实施例提供的技术方案，可以带来人脸重建精度的提高，以及可以达到肉眼观察下更加贴近原照片的高逼真3D人脸重建。图11示意性示出了采用不同方法重建人脸三维图像的效果比对图。
如图11所示，从左至又分别采用了：多张RGB图像，本方案中的单张RGBD图像+ID，N-ICP，本方案中的多张RGBD图像+ID。
其中，ID指代身份识别模型，单张RGBD图像+ID是指采用一张RGBD图像和身份识别模型的结合，例如一张正面的RGBD图像。多张RGBD图像+ID是指采用多张例如上述例举的4张RGBD图像和身份识别模型的结合。
从图11可以看出，与上述相关技术相比，采用本公开实施例提供的方案可以得到最高的重建精度，尤其在脸颊和腮帮部分。这部分的贡献主要来自深度信息以及在优化过程中对人脸姿势参数的不断更新，使得学到的人脸姿势参数比传统N-ICP方案要准确。
图12示意性示出了采用不同方法重建人脸三维图像的效果比对图。
如图12所示，从左至右以下采用了：F2F(即Face2face，一种变脸软件)，GANFIT(Generative Adversarial Network Fitting for High Fidelity 3D FaceReconstruction，匹配高保真3D人脸重建的对抗生成网络)，N-ICP，本方案。
从图12可以看出，利用本公开实施例提供的方案重建出来的人脸形状在相似程度上明显优于相关技术中的方法，尤其是五官部分，这体现在本公开实施例提供的方法对身份识别模型提供的信息的良好使用。
本公开实施例提供的技术方案可以应用于网络游戏、虚拟现实和增强现实的游戏及应用、影视动画、视频追踪、身份识别等任意可能需要3D脸部的应用场景，例如网络游戏中的AI捏脸，虚拟主播等，可以用于创建人类角色和拟人化游戏角色。在这些游戏及应用中，各种角色越来越生动、真实，因此需要高精度的脸部三维模型和脸部三维图像。
图13示意性示出了本公开实施例提供的脸部三维图像生成方法的应用场景图。图13以将其应用到虚拟现实等可以使用脸部三维图像的客户端中为例进行举例说明，可以根据目标人脸颜色图像及其目标人脸深度图像建立目标人脸三维图像，也可以根据其它动物的目标脸部颜色图像及其目标脸部深度图像建立目标脸部三维图像。
比如，游戏中角色的形象使用人脸三维图像。当用户打开其终端设备例如智能手机上安装的一款游戏客户端后，该游戏客户端会提示用户需要利用用户的人脸来创建游戏中的角色，则此时用户需要基于游戏客户端调用该终端设备的拍照功能，然后拍摄该用户的至少一张目标脸部颜色图像及其至少一张目标脸部深度图像，或者在该用户使用该终端设备的摄像头进行自拍时，用户头部按照采集系统的提示说明分别向左转、向右转、向上抬、向前看，采集完一段视频之后，终端设备可以将该视频发送给服务器，或者保存在本地，终端设备或者服务器可以利用选帧算法从该视频中选择4张RGBD照片即4张目标人脸颜色图像和4张目标人脸深度图像，作为重建系统的输入。
该重建系统可以设置于终端设备上，也可以设置于游戏服务器(可以理解的是，当应用于不同的应用场景时，可以对应不同的客户端和服务器)上，这里以设置于游戏服务器上为例进行举例说明。然后游戏客户端将该4张RGBD照片发送给游戏服务器，游戏服务器在获取到4张RGBD照片后，会利用可调整的神经网络模型从4张RGBD照片中识别出用户人脸的脸部特征参数、拍照环境特征和拍照参数信息，然后利用识别出的用户人脸的脸部特征参数和标准人脸模板库中的三维基底模型重构目标人脸三维模型，然后再模拟识别出的拍照环境特征和拍摄参数特征，对重构的目标人脸三维模型进行渲染，处理得到中间人脸颜色图像和中间人脸深度图像，然后通过身份识别模型分别对所述目标脸部颜色图像和所述中间脸部颜色图像进行处理，获得身份识别损失；根据所述目标脸部颜色图像及所述中间脸部颜色图像、所述目标脸部深度图像及所述中间脸部深度图像和所述身份识别损失，确定目标损失，若目标损失不满足全局最小，则表明当前的神经网络模型获得的脸部特征参数、拍摄环境特征和拍照参数信息真实度不够高，故需要对神经网络模型进行调整，然后重新基于调整后的神经网络模型再次执行上述过程，直至确定出基于调整后的神经网络模型获得的中间脸部颜色图像与目标脸部颜色图像、中间脸部深度图像与目标脸部深度图像的目标损失满足全局最小的条件，然后在满足条件时基于最新的目标人脸三维模型获得用户的目标人脸三维图像。
进一步的，还可以将重建系统利用RGBD照片生成的目标人脸三维图像输入至人脸驱动系统，人脸驱动系统可以根据生成的目标人脸三维图像，进行不同的表情变化以及说话，即可将其应用到游戏中的角色的形像中，并通过游戏客户端展示给用户。这样一来，用户可以基于该形象开展游戏。通过采用上述方法使得最终展示给用户的游戏角色的形象与用户人脸逼真度更高。
需要注意的是，上述应用场景仅是为了便于理解本公开的精神和原理而示出，本公开的实施方式在此方面不受任何限制。相反，本公开的实施方式可以应用于适用的任何场景。
本公开实施方式提供的脸部三维图像生成方法，使用RGBD摄像头拍摄的多张RGBD照片作为输入数据，与人脸识别模型结合，利用颜色信息、深度信息、身份识别信息，对3D人脸重建结果进行优化，最终得到高质量、高逼真度的3D人脸形状。优化的过程中利用了人脸识别模型对五官的鉴别能力，回传梯度给3D人脸的相应参数，使得重建的人脸跟原个体高度相似和高度逼真。此外，通过多视角地输入，可以保证跟原图的五官尽可能地相似。
图14示意性示出了根据本公开的一实施例的脸部三维图像生成装置的框图。如图14所示，本公开实施例提供的脸部三维图像生成装置1400可以包括：原始图像获取单元1410、渲染图像获取单元1420、身份损失获得单元1430、目标损失确定单元1440、模型参数调整单元1450以及三维图像获得单元1460。
其中，原始图像获取单元1410可以用于获取目标脸部颜色图像及其目标脸部深度图像。渲染图像获取单元1420可以用于利用神经网络模型处理所述目标脸部颜色图像及其目标脸部深度图像，获得中间脸部颜色图像及其中间脸部深度图像。身份损失获得单元1430可以用于通过身份识别模型分别对所述目标脸部颜色图像和所述中间脸部颜色图像进行处理，获得身份识别损失。目标损失确定单元1440可以用于根据所述目标脸部颜色图像及所述中间脸部颜色图像、所述目标脸部深度图像及所述中间脸部深度图像和所述身份识别损失，确定目标损失。模型参数调整单元1450可以用于根据所述目标损失确定所述神经网络模型的目标模型参数。三维图像获得单元1460可以用于利用包括所述目标模型参数的所述神经网络模型处理所述目标脸部颜色图像及其目标脸部深度图像，获得目标脸部三维图像。
在示例性实施例中，所述目标脸部颜色图像可以包括目标脸部第一侧面颜色图像和目标脸部正面颜色图像，所述中间脸部颜色图像可以包括中间脸部第一侧面颜色图像和中间脸部正面颜色图像，所述身份识别损失可以包括第一组合损失。其中，身份损失获得单元可以包括：第一身份特征向量获得单元，可以用于通过所述身份识别模型分别处理所述目标脸部正面颜色图像和所述中间脸部正面颜色图像，分别获得第一目标正面身份特征向量和第一中间正面身份特征向量；第一身份损失获得单元，可以用于根据所述第一目标正面身份特征向量和所述第一中间正面身份特征向量，获得第一正面身份识别损失；第二身份特征向量获得单元，可以用于通过所述身份识别模型分别处理所述目标脸部第一侧面颜色图像和所述中间脸部第一侧面颜色图像，分别获得第一目标第一侧面身份特征向量和中间第一侧面身份特征向量；第二身份损失获得单元，可以用于根据所述第一目标第一侧面身份特征向量和所述中间第一侧面身份特征向量，获得第一侧面身份识别损失；第一组合损失确定单元，可以用于根据所述第一正面身份识别损失和所述第一侧面身份识别损失，确定所述第一组合损失。
在示例性实施例中，所述目标脸部颜色图像还可以包括目标脸部第二侧面颜色图像，所述中间脸部颜色图像还可以包括中间脸部第二侧面颜色图像。其中，第一组合损失确定单元可以包括：第三身份特征向量获得单元，可以用于通过所述身份识别模型分别处理所述目标脸部第二侧面颜色图像和所述中间脸部第二侧面颜色图像，分别获得第一目标第二侧面身份特征向量和第一中间第二侧面身份特征向量；第三身份损失获得单元，可以用于根据所述第一目标第二侧面身份特征向量和所述第一中间第二侧面身份特征向量，获得第二侧面身份识别损失；第一组合损失计算单元，可以用于根据所述第一正面身份识别损失、所述第一侧面身份识别损失和所述第二侧面身份识别损失，确定所述第一组合损失。
在示例性实施例中，所述身份识别损失还可以包括第二组合损失。其中，身份损失获得单元还可以包括：第四身份特征向量获得单元，可以用于通过所述身份识别模型分别处理所述目标脸部正面颜色图像和所述中间脸部正面颜色图像，分别获得第二目标正面身份特征向量和第二中间正面身份特征向量；第四身份损失获得单元，可以用于根据所述第二目标正面身份特征向量和所述第二中间正面身份特征向量，获得第二正面身份识别损失；第五身份特征向量获得单元，可以用于通过所述身份识别模型分别处理所述目标脸部第一侧面颜色图像和所述中间脸部正面颜色图像，分别获得第二目标第一侧面身份特征向量和第三中间正面身份特征向量；第五身份损失获得单元，可以用于根据所述第二目标第一侧面身份特征向量和所述第三中间正面身份特征向量，获得第一侧正面身份识别损失；第二组合损失确定单元，可以用于根据所述第二正面身份识别损失和所述第一侧正面身份识别损失，确定所述第二组合损失。
在示例性实施例中，所述目标脸部颜色图像还可以包括目标脸部第二侧面颜色图像。其中，第二组合损失确定单元可以包括：第六身份特征向量获得单元，可以用于通过所述身份识别模型分别处理所述目标脸部第二侧面颜色图像和所述中间脸部正面颜色图像，分别获得第二目标第二侧面身份特征向量和第四中间正面身份特征向量；第六身份损失获得单元，可以用于根据所述第二目标第二侧面身份特征向量和所述第四中间正面身份特征向量，获得第二侧正面身份识别损失；第二组合损失计算单元，可以用于根据所述第二正面身份识别损失、所述第一侧正面身份识别损失和所述第二侧正面身份识别损失，确定所述第二组合损失。
在示例性实施例中，所述目标损失可以包括深度信息损失。其中，目标损失确定单元可以包括：深度损失获得单元，可以用于根据所述目标脸部深度图像及所述中间脸部深度图像获得深度损失；深度信息损失获得单元，可以用于将所述深度损失裁剪到预设阈值范围内，获得所述深度信息损失。
在示例性实施例中，所述目标脸部深度图像可以包括目标脸部正面深度图像，所述中间脸部深度图像可以包括中间脸部正面深度图像。
在示例性实施例中，所述目标脸部深度图像还可以包括目标脸部第一侧面深度图像、目标脸部第二侧面深度图像和目标脸部第一朝向深度图像中的至少一种，所述中间脸部深度图像还可以包括中间脸部第一侧面深度图像、中间脸部第二侧面深度图像和中间脸部第一朝向深度图像中的至少一种。
在示例性实施例中，渲染图像获取单元可以包括：参数信息获得单元，可以用于利用所述神经网络模型识别所述目标脸部颜色图像及其目标脸部深度图像，获得脸部特征参数、拍照环境特征和拍照参数信息；三维模型重构单元，可以用于根据所述脸部特征参数重构目标脸部三维模型；三维模型渲染单元，可以用于根据所述拍照环境特征和拍照参数信息渲染所述目标脸部三维模型，获得所述中间脸部颜色图像及其所述中间脸部深度图像。
在示例性实施例中，所述脸部特征参数可以包括脸部纹理参数和脸部形状参数，所述目标损失可以包括像素颜色损失、深度信息损失、特征点损失和调节项。其中，目标损失确定单元可以包括：颜色损失确定单元，可以用于根据所述目标脸部颜色图像及所述中间脸部颜色图像，确定所述像素颜色损失；特征点损失确定单元，可以用于根据所述目标脸部颜色图像中的特征点与所述中间脸部颜色图像中相应特征点，确定所述特征点损失；深度信息损失确定单元，可以用于根据所述目标脸部深度图像及所述中间脸部深度图像，确定所述深度信息损失；调节项确定单元，可以用于根据所述脸部纹理参数和所述脸部形状参数，确定所述调节项；目标损失获取单元，可以用于根据所述像素颜色损失、所述特征点损失、所述深度信息损失、所述身份识别损失和所述调节项，确定所述目标损失。
本公开实施例提供的脸部三维图像生成装置中的各个单元的具体实现可以参照上述脸部三维图像生成方法中的内容，在此不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (13)

1.一种脸部三维图像生成方法，其特征在于，包括：
获取目标脸部颜色图像及其目标脸部深度图像；
利用神经网络模型处理所述目标脸部颜色图像及其目标脸部深度图像，获得中间脸部颜色图像及其中间脸部深度图像；
通过身份识别模型分别对所述目标脸部颜色图像和所述中间脸部颜色图像进行处理，获得身份识别损失；
根据所述目标脸部颜色图像及所述中间脸部颜色图像、所述目标脸部深度图像及所述中间脸部深度图像和所述身份识别损失，确定目标损失；
根据所述目标损失确定所述神经网络模型的目标模型参数；
利用包括所述目标模型参数的所述神经网络模型处理所述目标脸部颜色图像及其目标脸部深度图像，获得目标脸部三维图像。
2.根据权利要求1所述的脸部三维图像生成方法，其特征在于，所述目标脸部颜色图像包括目标脸部第一侧面颜色图像和目标脸部正面颜色图像，所述中间脸部颜色图像包括中间脸部第一侧面颜色图像和中间脸部正面颜色图像，所述身份识别损失包括第一组合损失；其中，通过身份识别模型分别对所述目标脸部颜色图像和所述中间脸部颜色图像进行处理，获得身份识别损失，包括：
通过所述身份识别模型分别处理所述目标脸部正面颜色图像和所述中间脸部正面颜色图像，分别获得第一目标正面身份特征向量和第一中间正面身份特征向量；
根据所述第一目标正面身份特征向量和所述第一中间正面身份特征向量，获得第一正面身份识别损失；
通过所述身份识别模型分别处理所述目标脸部第一侧面颜色图像和所述中间脸部第一侧面颜色图像，分别获得第一目标第一侧面身份特征向量和中间第一侧面身份特征向量；
根据所述第一目标第一侧面身份特征向量和所述中间第一侧面身份特征向量，获得第一侧面身份识别损失；
根据所述第一正面身份识别损失和所述第一侧面身份识别损失，确定所述第一组合损失。
3.根据权利要求2所述的脸部三维图像生成方法，其特征在于，所述目标脸部颜色图像还包括目标脸部第二侧面颜色图像，所述中间脸部颜色图像还包括中间脸部第二侧面颜色图像；其中，根据所述第一正面身份识别损失和所述第一侧面身份识别损失，确定所述第一组合损失，包括：
通过所述身份识别模型分别处理所述目标脸部第二侧面颜色图像和所述中间脸部第二侧面颜色图像，分别获得第一目标第二侧面身份特征向量和第一中间第二侧面身份特征向量；
根据所述第一目标第二侧面身份特征向量和所述第一中间第二侧面身份特征向量，获得第二侧面身份识别损失；
根据所述第一正面身份识别损失、所述第一侧面身份识别损失和所述第二侧面身份识别损失，确定所述第一组合损失。
4.根据权利要求2或3所述的脸部三维图像生成方法，其特征在于，所述身份识别损失还包括第二组合损失；其中，通过身份识别模型分别对所述目标脸部颜色图像和所述中间脸部颜色图像进行处理，获得身份识别损失，还包括：
通过所述身份识别模型分别处理所述目标脸部正面颜色图像和所述中间脸部正面颜色图像，分别获得第二目标正面身份特征向量和第二中间正面身份特征向量；
根据所述第二目标正面身份特征向量和所述第二中间正面身份特征向量，获得第二正面身份识别损失；
通过所述身份识别模型分别处理所述目标脸部第一侧面颜色图像和所述中间脸部正面颜色图像，分别获得第二目标第一侧面身份特征向量和第三中间正面身份特征向量；
根据所述第二目标第一侧面身份特征向量和所述第三中间正面身份特征向量，获得第一侧正面身份识别损失；
根据所述第二正面身份识别损失和所述第一侧正面身份识别损失，确定所述第二组合损失。
5.根据权利要求4所述的脸部三维图像生成方法，其特征在于，所述目标脸部颜色图像还包括目标脸部第二侧面颜色图像；其中，根据所述第二正面身份识别损失和所述第一侧正面身份识别损失，确定所述第二组合损失，包括：
通过所述身份识别模型分别处理所述目标脸部第二侧面颜色图像和所述中间脸部正面颜色图像，分别获得第二目标第二侧面身份特征向量和第四中间正面身份特征向量；
根据所述第二目标第二侧面身份特征向量和所述第四中间正面身份特征向量，获得第二侧正面身份识别损失；
根据所述第二正面身份识别损失、所述第一侧正面身份识别损失和所述第二侧正面身份识别损失，确定所述第二组合损失。
6.根据权利要求1所述的脸部三维图像生成方法，其特征在于，所述目标损失包括深度信息损失；其中，根据所述目标脸部深度图像及所述中间脸部深度图像，确定目标损失，包括：
根据所述目标脸部深度图像及所述中间脸部深度图像获得深度损失；
将所述深度损失裁剪到预设阈值范围内，获得所述深度信息损失。
7.根据权利要求6所述的脸部三维图像生成方法，其特征在于，所述目标脸部深度图像包括目标脸部正面深度图像，所述中间脸部深度图像包括中间脸部正面深度图像。
8.根据权利要求7所述的脸部三维图像生成方法，其特征在于，所述目标脸部深度图像还包括目标脸部第一侧面深度图像、目标脸部第二侧面深度图像和目标脸部第一朝向深度图像中的至少一种，所述中间脸部深度图像还包括中间脸部第一侧面深度图像、中间脸部第二侧面深度图像和中间脸部第一朝向深度图像中的至少一种。
9.根据权利要求1所述的脸部三维图像生成方法，其特征在于，利用神经网络模型处理所述目标脸部颜色图像及其目标脸部深度图像，获得中间脸部颜色图像及其中间脸部深度图像，包括：
利用所述神经网络模型识别所述目标脸部颜色图像及其目标脸部深度图像，获得脸部特征参数、拍照环境特征和拍照参数信息；
根据所述脸部特征参数重构目标脸部三维模型；
根据所述拍照环境特征和拍照参数信息渲染所述目标脸部三维模型，获得所述中间脸部颜色图像及其所述中间脸部深度图像。
10.根据权利要求9所述的脸部三维图像生成方法，其特征在于，所述脸部特征参数包括脸部纹理参数和脸部形状参数，所述目标损失包括像素颜色损失、深度信息损失、特征点损失和调节项；其中，根据所述目标脸部颜色图像及所述中间脸部颜色图像、所述目标脸部深度图像及所述中间脸部深度图像和所述身份识别损失，确定目标损失，包括：
根据所述目标脸部颜色图像及所述中间脸部颜色图像，确定所述像素颜色损失；
根据所述目标脸部颜色图像中的特征点与所述中间脸部颜色图像中相应特征点，确定所述特征点损失；
根据所述目标脸部深度图像及所述中间脸部深度图像，确定所述深度信息损失；
根据所述脸部纹理参数和所述脸部形状参数，确定所述调节项；
根据所述像素颜色损失、所述特征点损失、所述深度信息损失、所述身份识别损失和所述调节项，确定所述目标损失。
11.一种脸部三维图像生成装置，其特征在于，包括：
原始图像获取单元，用于获取目标脸部颜色图像及其目标脸部深度图像；
渲染图像获取单元，用于利用神经网络模型处理所述目标脸部颜色图像及其目标脸部深度图像，获得中间脸部颜色图像及其中间脸部深度图像；
身份损失获得单元，用于通过身份识别模型分别对所述目标脸部颜色图像和所述中间脸部颜色图像进行处理，获得身份识别损失；
目标损失确定单元，用于根据所述目标脸部颜色图像及所述中间脸部颜色图像、所述目标脸部深度图像及所述中间脸部深度图像和所述身份识别损失，确定目标损失；
模型参数调整单元，用于根据所述目标损失确定所述神经网络模型的目标模型参数；
三维图像获得单元，用于利用包括所述目标模型参数的所述神经网络模型处理所述目标脸部颜色图像及其目标脸部深度图像，获得目标脸部三维图像。
12.一种计算机可读介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于执行如权利要求1至10任一权利要求所述的方法。
13.一种电子设备，其特征在于，包括：
至少一个处理器；
存储装置，配置为存储至少一个程序，当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现如权利要求1至10中任一项所述的方法。
CN202010671070.5A 2020-07-13 2020-07-13 脸部三维图像生成方法及相关设备 Active CN111754622B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010671070.5A CN111754622B (zh) 2020-07-13 2020-07-13 脸部三维图像生成方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010671070.5A CN111754622B (zh) 2020-07-13 2020-07-13 脸部三维图像生成方法及相关设备

Publications (2)

Publication Number Publication Date
CN111754622A CN111754622A (zh) 2020-10-09
CN111754622B true CN111754622B (zh) 2023-10-13

Family

ID=72711326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010671070.5A Active CN111754622B (zh) 2020-07-13 2020-07-13 脸部三维图像生成方法及相关设备

Country Status (1)

Country Link
CN (1) CN111754622B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408344A (zh) * 2021-05-13 2021-09-17 深圳市捷顺科技实业股份有限公司 一种三维人脸识别的生成方法及相关装置
CN115393487B (zh) * 2022-10-27 2023-05-12 科大讯飞股份有限公司 一种虚拟角色模型处理方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180004635A (ko) * 2016-07-04 2018-01-12 한양대학교 에리카산학협력단 신경망을 이용한 3차원 얼굴 복원 방법 및 장치
CN109146962A (zh) * 2018-09-07 2019-01-04 百度在线网络技术（北京）有限公司 检测脸部角度的方法、装置、存储介质和终端设备
CN109299639A (zh) * 2017-07-25 2019-02-01 虹软(杭州)多媒体信息技术有限公司 一种用于表情识别的方法和装置
CN110163953A (zh) * 2019-03-11 2019-08-23 腾讯科技（深圳）有限公司 三维人脸重建方法、装置、存储介质和电子装置
CN110619676A (zh) * 2019-09-18 2019-12-27 东北大学 一种基于神经网络的端到端的三维人脸重建方法
WO2020015470A1 (zh) * 2018-07-16 2020-01-23 Oppo广东移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242903B (zh) * 2018-09-07 2020-08-07 百度在线网络技术（北京）有限公司 三维数据的生成方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180004635A (ko) * 2016-07-04 2018-01-12 한양대학교 에리카산학협력단 신경망을 이용한 3차원 얼굴 복원 방법 및 장치
CN109299639A (zh) * 2017-07-25 2019-02-01 虹软(杭州)多媒体信息技术有限公司 一种用于表情识别的方法和装置
WO2020015470A1 (zh) * 2018-07-16 2020-01-23 Oppo广东移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
CN109146962A (zh) * 2018-09-07 2019-01-04 百度在线网络技术（北京）有限公司 检测脸部角度的方法、装置、存储介质和终端设备
CN110163953A (zh) * 2019-03-11 2019-08-23 腾讯科技（深圳）有限公司 三维人脸重建方法、装置、存储介质和电子装置
CN110619676A (zh) * 2019-09-18 2019-12-27 东北大学 一种基于神经网络的端到端的三维人脸重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于二维纹理重建三维人脸深度图像后的人脸识别;李睿;李科;孙家炜;;现代计算机(专业版)(10);全文 *

Also Published As

Publication number Publication date
CN111754622A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN111354079B (zh) 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
CN110599605B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
WO2020192568A1 (zh) 人脸图像生成方法、装置、设备及存储介质
US11748934B2 (en) Three-dimensional expression base generation method and apparatus, speech interaction method and apparatus, and medium
US9361723B2 (en) Method for real-time face animation based on single video camera
Kán et al. Deeplight: light source estimation for augmented reality using deep learning
KR20180100476A (ko) 이미지 및 뎁스 데이터를 사용하여 3차원(3d) 인간 얼굴 모델을 발생시키는 가상 현실 기반 장치 및 방법
CN112037320B (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
CN108895981A (zh) 一种三维测量方法、装置、服务器和存储介质
CN111325851A (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
US11514638B2 (en) 3D asset generation from 2D images
CN110458924B (zh) 一种三维脸部模型建立方法、装置和电子设备
CN108805979A (zh) 一种动态模型三维重建方法、装置、设备和存储介质
CN112085835B (zh) 三维卡通人脸生成方法、装置、电子设备及存储介质
CN111754622B (zh) 脸部三维图像生成方法及相关设备
CN111553284A (zh) 人脸图像处理方法、装置、计算机设备和存储介质
CN112598780A (zh) 实例对象模型构建方法及装置、可读介质和电子设备
KR20230110787A (ko) 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들
CN114202615A (zh) 人脸表情的重建方法、装置、设备和存储介质
Michael et al. Model-based generation of personalized full-body 3D avatars from uncalibrated multi-view photographs
US11403801B2 (en) Systems and methods for building a pseudo-muscle topology of a live actor in computer animation
Farbiz et al. Live three-dimensional content for augmented reality
Bourbia et al. No-reference 3D point cloud quality assessment using multi-view projection and deep convolutional neural network
CN116863044A (zh) 人脸模型的生成方法、装置、电子设备及可读存储介质
CN113223137B (zh) 透视投影人脸点云图的生成方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40030059

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant