CN113223137A - 透视投影人脸点云图的生成方法、应用程序及电子设备 - Google Patents

Abstract

本申请提供一种透视投影人脸点云图的生成方法、应用程序、电子设备以及计算机可读存储介质，所述方法包括：将原始人脸点云图处理成与标准人脸点云图对齐的正交投影人脸点云图，获得旋转矩阵；根据透视投影人脸点云图与标准人脸点云图预设的第一映射关系，遍历偏移矩阵的目标参量的各个取值，获得多个透视投影人脸点云图；确定所述多个透视投影人脸点云图的点云坐标与正交投影人脸点云图对应的点云坐标之间的距离；基于所述距离的最小值所对应的偏移矩阵，确定目标投影人脸点云图。基于本申请所述的方法，能够获得具有透视投影效果的人脸点云图，进而能够为生成更具真实感的动画特效以及三维人脸重建奠定基础。

Description

透视投影人脸点云图的生成方法、应用程序及电子设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种透视投影人脸点云图的生成方法、应用程序、电子设备及计算机可读存储介质。

背景技术

人类具有两只眼睛，且具有一定的焦距，故人类能够立体感知到成像对象。对于同一成像对象，当该成像对象距离人眼较近时，人眼看上去该成像对象会比较大；当该成像对象距离人眼较远时，人眼看上去该成像对象会比较小，即人眼看世界具有“近大远小”的透视投影的视觉效果。

然而，相关技术中，在生成人脸点云图时，所获得的人脸点云图通常为正交投影下的人脸点云图，即为无穷远的光线平行照射在人脸上的投影效果，并没有“近大远小”的视觉效果，这并不符合人眼观看世界的效果。基于正交投影下的人脸点云图所生成的三维特效以及进行的人脸三维重建，会给用户带来不真实的感觉，从而降低用户的观感。

发明内容

为克服相关技术中所存在正交投影下的人脸点云图并没有“近大远小的”视觉效果，不符合人眼观看世界的效果的技术问题，本申请提供了一种透视投影人脸点云图的生成方法、应用程序、电子设备及计算机可读存储介质。

根据本申请实施例的第一方面，提供一种透视投影人脸点云图的生成方法，所述方法包括：将原始人脸点云图处理成与标准人脸点云图对齐的正交投影人脸点云图，获得旋转矩阵，所述旋转矩阵表征所述正交投影人脸点云图相对于所述原始人脸点云图的旋转量；根据透视投影人脸点云图与标准人脸点云图预设的第一映射关系，遍历偏移矩阵的目标参量的各个取值，获得多个透视投影人脸点云图；其中，所述第一映射关系用于将所述正交投影人脸点云图进行投影变换和旋转偏移变换后获得透视投影人脸点云图，所述投影变换基于预设的投影矩阵实现，所述旋转偏移变换基于所述旋转矩阵和所述偏移矩阵实现；确定所述多个透视投影人脸点云图的点云坐标与正交投影人脸点云图对应的点云坐标之间的距离；基于所述距离的最小值所对应的偏移矩阵，确定目标透视投影人脸点云图。

根据本申请实施例的第二方面，提供一种应用程序，所述应用程序包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现本申请实施例第一方面所述的方法。

根据本申请实施例的第三方面，提供一种电子设备，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例第一方面所述的方法。

根据本申请实施例的第四方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例第一方面所述的方法。

本申请的实施例提供的技术方案可以包括以下有益效果：

在本申请实施例所提供的透视投影人脸点云图的生成方法中，利用透视投影人脸点云图与标准人脸点云图预设的第一映射关系，所述第一映射关系用于将所述正交投影人脸点云图进行投影变换和旋转偏移变换后获得透视投影人脸点云图，将旋转变换与偏移变换解耦，采用将原始人脸点云图向标准人脸点云图对齐的方式获得旋转矩阵，通过遍历的方式确定偏移矩阵，最终基于所获取的旋转矩阵、偏移矩阵以及预设的投影矩阵，对原始人脸点云图进行投影变换和旋转偏移变换，获得目标透视人脸点云图。所获得的目标透视人脸点云图具有“近大远小”的视觉效果，符合人眼观看世界的视角，从而能够增强用户的观感。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。

图1是本申请根据一示例性实施例示出的一种三维人脸点云图的正视图、侧视图以及俯视图。

图2是本申请根据一示例性实施例示出的一种正交投影的成像原理图。

图3是本申请根据一示例性实施例示出的一种基于正交投影下的人脸点云图生成的三维人脸贴图的效果图。

图4是本申请根据一示例性实施例示出的一种透视投影的成像原理图。

图5是本申请根据一示例性实施例示出的一种透视投影人脸点云图的生成方法。

图6是本申请根据一示例性实施例示出的一种将原始人脸点云图向标准人脸点云图对齐的示意图。

图7是本申请根据一示例性实施例示出的一种获得多个透视投影人脸点云图的流程图。

图8是本申请根据一示例性实施例示出的另一种获得多个透视投影人脸点云图的流程图。

图9是本申请根据一示例性实施例示出的一种基于透视投影下的人脸点云图生成的三维人脸贴图的效果图。

图10是本申请根据一示例性实施例示出的一种电子设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。

在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

三维人脸点云图，即由多个包含三维坐标信息的点所构成的人脸图像。如图1所示，给出了不同视角下的三维人脸点云图的示意图，其中，左边是一个三维人脸点云图的正视图，中间和右边分别是该三维人脸点云图的侧视图和俯视图。

目前，在一些应用场景中，会存在获取三维人脸点云图的需求。例如，在一些直播应用中，如兔子耳朵、猪猪面具、卡通帽子等三维动画特效的生成，需要基于三维人脸点云图来实现；又例如，在增强现实(Augmented Reality，AR)技术以及虚拟现实(VirtualReality，VR)技术中，生成如虚拟人体等包含三维人脸的对象，也需要基于三维人脸点云图来实现。

然而，相关技术中，在生成人脸点云图时，所获得的人脸点云图通常为正交投影下的人脸点云图，即是无穷远的光线平行照射在人脸上的投影效果，其成像原理示意图如图2所示。故正交投影下的人脸点云图，会比较平面化，没有近大远小的视觉效果。如图3所示，给出了基于正交投影下的人脸点云图生成的三维人脸贴图的效果图，可以看到，整个三维人脸贴图，尤其是眼睛、鼻腔等具有一定深度的腔体部位，并没有深度感，比较平面化，没有三维立体效果。

人是具有两只眼睛的，且眼球具有一定的焦距，故人能够立体感知到成像对象。对于同一成像对象，当该成像对象距离人眼较近时，人眼看上去该成像对象会比较大；当该成像对象距离人眼较远时，人眼看上去该成像对象会比较小，即具有近大远小的视觉效果，其成像原理示意图如图4所示。这种“近大远小”的视觉效果可以通过对三维人脸进行透视投影获得。

基于上述分析可知，当三维人脸点云图是正交投影下的点云图时，并不符合人眼观看世界的效果。基于正交投影下的人脸点云图所生成的三维特效以及进行的人脸三维重建，会给用户带来不真实的感觉，从而降低用户的观感。而当三维人脸点云图是透视投影下的点云图时，符合人眼观看世界的效果，能够提高用户的观感。

为了获得透视投影下的三维人脸点云图，基于透视投影的相关理论知识可知，要构建完整的透视模型，需要获得投影矩阵、视图矩阵以及旋转偏移矩阵。其中，所述投影矩阵又称为内参，描述了用于对所述人脸点云图进行透视投影的虚拟相机(相当于人眼)的焦距以及所述人脸点云图的中心位置；所述视图矩阵描述了人脸点云图的坐标系与真实世界坐标系的关系；所述旋转偏移矩阵又称为外参，描述了虚拟相机坐标系与世界坐标系之间的关系。然而，遗憾的是，在大多数应用场景中，通常只能获得原始三维人脸点云图，例如，通过将图像或者视频输入至深度学习模型获得与对应的三维人脸点云图，或者基于传统的算法，对图像或者视频进行处理，获得对应的三维人脸点云图等等，并没有投影矩阵、视图矩阵以及旋转偏移矩阵等用于获取透视投影的三维人脸点云图的内外参量。

相关技术中，存在着采用弱透视投影的技术方案，即将原始人脸点云图移到距离虚拟相机尽可能远的地方，相当于人脸处于无穷远处。这时候，人脸在正交投影和透视投影下的旋转偏移量是接近的，故可以假设没有旋转偏移量。为了能够实现透视效果，相关技术直接通过一个尺度缩放因子对放置在无穷远处的人脸点云图进行缩放，使得缩放后的人脸点云图与原始人脸点云图对齐，进而实现弱透视投影的效果。然而，此类方法很大的问题就是只能实现无穷远处的透视投影效果，适用范围小，且透视效果不佳。

此外，相关技术还存着一种基于PnP(Perspective-n-Point，透视N点投影)技术的透视投影方案。该方案是在已知投影矩阵的基础上，假设最终想要获得的透视投影人脸点云图与原始人脸点云图存在着完全对齐的关键点，然后基于这个假设，求解旋转偏移矩阵，进而获得最终想要获得的透视投影人脸点云图。然而，实际上，在某些透视投影视角下，最终想要获得的透视投影人脸点云图与原始人脸点云图并不存在着完全对齐的关键点，故所述偏移矩阵会存在着求解失败的问题。此外，由于将旋转偏移矩阵作为一个整体进行求解，未知数参量过多，故也存在着求解速度慢等问题。

为了克服相关技术所存在的缺陷，本申请实施例提供了一种透视投影人脸点云图的生成方法，所述方法可以由服务器执行，也可以由客户端执行，本申请对此不做限制。如图5所示，所述方法可以包括：

步骤501，将原始人脸点云图向标准人脸点云图对齐，获得正交投影人脸点云图以及旋转矩阵，所述旋转矩阵表征所述正交投影人脸点云图相对于所述原始人脸点云图的旋转量；

步骤502，根据透视投影人脸点云图与标准人脸点云图预设的第一映射关系，遍历偏移矩阵的目标参量的各个取值，获得多个透视投影人脸点云图；其中，所述第一映射关系用于将所述正交投影人脸点云图进行投影变换和旋转偏移变换后获得透视投影人脸点云图，所述投影变换基于预设的投影矩阵实现，所述旋转偏移变换基于所述旋转矩阵和所述偏移矩阵实现；

步骤503，确定所述多个透视投影人脸点云图的点云坐标与正交投影人脸点云图对应的点云坐标之间的距离；

步骤504，基于所述距离的最小值所对应的偏移矩阵，确定目标透视投影人脸点云图。

其中，所述原始人脸点云图为非透视投影下的人脸点云图，可以通过多种方法获得，例如，通过将包含人脸的图像或者视频输入至训练好的用于获取三维人脸点云图的深度学习模型，获得对应的三维人脸点云图，所述图像或者视频可以为二维的图像或者视频；也可以基于传统的算法，对包含人脸的图像或者视频进行处理，获得对应的三维人脸点云图；当然，还可以采用其他的技术方案，来获取三维人脸点云图作为生成透视人脸点云图的原始人脸点云图，本申请实施例对此不做限制。

所述标准人脸点云图，即不带表情(又称为中立表情，Neutral expression)与姿态的人脸点云图，即如图1左图所示的人脸点云图。在动画制作、游戏开发等诸多领域中，通常都会存在着一个三维标准人脸模型。这个三维标准人脸模型是由美工所制作的且不带表情和姿态的标准人脸模型，动画制作以及游戏开发的其他素材，都基于这个三维标准人脸模型进行。之所以基于这个三维标准人脸模型，是因为动画或者游戏角色的脸型、表情都不相同，美术所做的素材只能先基于三维标准人脸模型进行制作，随后基于角色的特点进行调整。基于这个三维标准人脸模型，可以获得标准人脸点云图。当然，所述标准人脸点云图，还可以通过其他方式获得，本申请实施例对此不做限制。

前文已经介绍，为了获得透视投影下的三维人脸点云图，需要获得投影矩阵、视图矩阵以及旋转偏移矩阵。其中，投影矩阵可以通过从虚幻引擎平台或者建模以及预先设置等方式获得；在所获得的原始人脸点云图的坐标系与真实世界坐标系一致时，或者对原始人脸点云图进行投影变换之后所获得的人脸点云图的坐标系与真实世界坐标系一致的情况下，视图矩阵为单位矩阵，可以不经过视图变换获得目标人脸点云图。故，在获取目标人脸点云图的过程中，比较关键的是，获得所述旋转偏移矩阵。

相关技术中，采用将旋转偏移矩阵作为一个整体，基于最终想要获得的目标透视投影人脸点云图与原始人脸点云图存在着完全对齐的关键点这个假设，对所述旋转偏移矩阵进行求解，但是由于假设存在一定的偏差，故所述旋转偏移矩阵通常会存在求解失败、求解速度慢的问题。而本申请的发明人发现，不管是透视投影下的人脸点云图，还是正交投影下的人脸点云图，相对于不带表情和姿态的标准人脸点云图，旋转量是十分接近的。故，可以对用于确定目标透视投影人脸点云图所必须的旋转偏移矩阵进行解耦，先确定旋转矩阵之后，再确定偏移矩阵，然后基于所确定的旋转矩阵和偏移矩阵，获得透视投影人脸点云图。

为了获得所述旋转矩阵，可以通过上述实施例的步骤501，即如图6所示，将原始人脸点云图向标准人脸点云图对齐来实现。在图6中，灰度较深的点为标准人脸点云图中的点，灰度较浅的点为原始人脸点云图中的点。

将原始人脸点云图向标准人脸点云图对齐，可以通过多种方式来实现。

在一些实施例中，将原始人脸点云图向标准人脸点云图对齐，可以基于刚性变换，通过以下方式实现：

以所述标准人脸点云图为基准，对所述原始人脸点云图进行伸缩、旋转和偏移变换，获得所述正交投影人脸点云图以及旋转矩阵。

假设原始人脸点云图为A，标准人脸点云图为B，那么，基于刚性变换原理可知，对所述人脸点云图A进行一定的伸缩、旋转和偏移变换，能够获得标准人脸点云图B。

可选的，可以基于B＝scale×R×A+T，对所述原始人脸点云图进行变换。其中，scale、R和T分别为变换后的人脸点云图相对于原始人脸点云图的放大和缩小倍数、旋转程度以及偏移程度，可以分别以缩放矩阵、旋转矩阵以及偏移矩阵来表示。即先对所述原始人脸点云图进行缩放和旋转变换，得到对应的缩放矩阵和旋转矩阵，然后再进行偏移变换，得到当变换后的人脸点云图与所述标准人脸点云图对齐时所对应的偏移矩阵。其中，缩放矩阵可以直接基于人脸关键点之间的对应关系确定，例如可以根据原始人脸点云图中的外眼角间距与标准人脸点云图中的外眼角间距确定。当然，也可以根据其他关键点之间对应的几何关系来确定，本申请实施例对此不做限制。

可选的，可以基于B＝scale′×(R′×A+T′)，即先对所述原始人脸点云图进行旋转和偏移变换，再进行缩放变换，得到当变换后的人脸点云图与所述标准人脸点云图对齐时，所对应的缩放矩阵、旋转矩阵和偏移矩阵。

当然，还可以基于其他变换顺序，得到与所述标准人脸点云图对齐的变换后的人脸点云图以及所述旋转矩阵。

在一些实施例中，将原始人脸点云图向标准人脸点云图对齐，可以基于训练好的用于实现人脸关键点自动对齐的深度学习模型来实现。当然，还可以采用其他方法获得与所述标准人脸点云图对齐的变换后的人脸点云图以及所述旋转矩阵，本申请实施例对此不做限制。

通过上述实施例可以看到，将原始人脸点云图向标准人脸点云图对齐，能够获取用于构建透视投影人脸点云图所必须的旋转偏移矩阵中的旋转矩阵，从而将旋转偏移矩阵中的旋转矩阵与偏移矩阵进行解耦，后续只需对偏移矩阵进行单独求解就能够获得目标透视投影人脸点云图，能够避免将旋转偏移矩阵作为一个整体进行求解所造成的求解失败、求解速度慢等问题。

通过步骤501，获取了正交投影人脸点云图以及旋转矩阵之后，可以再基于步骤502，根据透视投影人脸点云图与标准人脸点云图预设的第一映射关系，遍历偏移矩阵的目标参量的各个取值，获得多个透视投影人脸点云图。

其中，所述第一映射关系用于将标准人脸点云图进行投影变换和旋转偏移变换后获得透视投影人脸点云图，所述第一映射关系基于物理模型构建，即

透视投影人脸点云图＝投影变换矩阵*旋转偏移矩阵*标准人脸点云图 (1)

由于在步骤501所获得的正交投影人脸点云图是与标准人脸点云图对齐的，故所述正交投影人脸点云图与其对应的透视投影人脸点云图也满足：

透视投影人脸点云图＝投影变换矩阵*旋转偏移矩阵*正交投影人脸点云图 (2)即通过对所述正交投影人脸点云图进行合适的投影变换和旋转偏移变换后能够获得对应的透视投影人脸点云图，所述投影变换可以基于预设的投影矩阵实现，所述旋转偏移变换可以基于所述旋转矩阵和所述偏移矩阵实现。

可选的，所述透视投影人脸点云图和所述正交投影人脸点云图可以表示为一个3*1的矩阵；所述投影矩阵为一个3*3矩阵且基于所述目标透视投影人脸点云图所对应的虚拟相机的焦距和中心坐标确定，所述旋转偏移矩阵包含旋转矩阵和偏移矩阵，则上述公式(2)可以记为：

其中，等式左边的3*1的矩阵表示所述透视投影人脸点云图，u和v分别表示所述透视投影人脸点云图中点的坐标；等式右边第一项的3*3矩阵和第二项的3*4矩阵表示所述投影矩阵，其中u₀和v₀表示所述虚拟相机的中心坐标，f表示所述虚拟相机的焦距；等式右边第三项的矩阵表示旋转偏移矩阵，其中R表示旋转矩阵，t表示偏移矩阵；等式右边第四项的矩阵表示正交投影人脸点云图。

在一些实施例中，所述预设的投影矩阵可以由真实的投影参数所确定，包括所述目标透视投影人脸点云图对应的虚拟相机的焦距以及所述虚拟相机的中心坐标。例如，可以是开发人员在专用的三维渲染平台，例如虚幻引擎(Unreal Engine，UE)中，设置虚拟相机并调整渲染结果，从而获得的所述虚拟相机的焦距和所述虚拟相机的中心坐标。

当然，在一些情况下，所能获取的仅是原始人脸点云图，并不能获取与透视投影所对应的虚拟相机的相关参数。故，在一些实施例中，所述预设的投影矩阵所包含的相关参数，可以基于所述原始人脸点云图确定：所述虚拟相机的焦距根据所述原始人脸点云图的尺寸确定，和\或，所述虚拟相机的中心坐标基于所述原始人脸点云图的中心点的坐标确定。

可选的，可以将所述原始人脸点云图的宽度和高度之中的最大值作为所述虚拟相机的焦距，并将所述虚拟相机的近平面和远平面分别设置为预设的值，所述预设的值可以根据经验值来确定。

通过上述实施例可以看到，当所述用于构建透视投影人脸点云图的投影矩阵基于原始人脸点云图确定，能够实现仅基于原始人脸点云图就确定出投影矩阵，而不需要额外获取的其他参数，简单方便，易于实现。

经过步骤501，将原始人脸点云图向标准人脸点云图对齐，能够获得正交投影人脸点云图和旋转矩阵。由于正交投影人脸点云图和透视投影人脸点云图的旋转矩阵差别比较小，故可以认为在步骤501中，所获得的旋转矩阵即为获取目标透视投影人脸点云图所需要的旋转矩阵。在将原始人脸点云图向标准人脸点云图对齐的过程中，除了能够获取到旋转矩阵，还能够获取到一个偏移矩阵，然而，由于正交投影人脸点云图和透视投影人脸点云图的偏移矩阵差别比较大，尤其是深度方向的偏移量会相差很多，故此偏移矩阵不能被视为是获取目标透视投影人脸点云图所需要的偏移矩阵。

透视投影人脸点云图中，即使全部点的坐标都与正交投影人脸点云图中的坐标不相同，但是，由于透视投影人脸点云图与正交投影人脸点云图是同一个人脸的不同视角，故想要获得的目标投影人脸点云图，应当满足全部点的坐标与正交投影人脸点云图中对应坐标的距离最小。基于距离最小这个前提，可以对所述偏移矩阵进行求解。

接下来介绍用于确定目标透视投影人脸点云图所需要的偏移矩阵的几种示例性方法。

在一些实施例中，所述偏移矩阵包括第一水平参量、第二水平参量以及深度参量，所述遍历偏移矩阵的目标参量的各个取值，获得多个透视投影人脸点云图，可以如图7所示，包括：

步骤701，遍历偏移矩阵的深度参量的各个取值，确定在每个深度参量的取值下，使得透视投影人脸点云图中点云的水平坐标与所述正交投影人脸点云中点云的水平坐标差距最小的第一水平参量和第二水平参量；

步骤702，基于多组偏移矩阵以及所述旋转矩阵，获得多个透视投影人脸点云图，其中，每组偏移矩阵包括一个所述深度参量的取值以及由所述深度参量的取值所确定的第一水平参量和第二水平参量。

可选的，所述第一水平参量、所述第二水平参量以及所述深度参量，可以是对所述透视投影人脸点云图以及所述正交投影人脸点云图建立笛卡尔坐标系，所述第一水平参量为所述坐标系x方向的参量，所述第二水平参量为所述坐标系y方向的参量，所述深度参量为所述坐标系z方向的参量。当然，也可以是所述第一水平参量为所述坐标系y方向的参量，所述第二水平参量为所述坐标系x方向的参量。

基于坐标系的分解，所述偏移矩阵可以为3*1的矩阵t＝[t_x,t_y,t_z]，即所述矩阵包括x方向的第一水平参量、y方向的第二水平参量以及z方向的深度参量。其中，z方向的深度参量是整个偏移矩阵中最重要的，它描述了将正交投影人脸点云图中的点平移到多深的位置，影响着透视投影的直接效果。

故在上述实施例中，选定所述偏移矩阵的深度参量作为遍历对象，在预设的取值范围内，进行遍历。所述预设的取值范围，可以是基于经验值所设定的与所述虚拟相机的焦距有关的多个取值。在遍历过程中，每次选定一个所述深度参量t_z的取值，计算t_x和t_y在正交投影人脸点云图中的所有点进行透视投影后的水平坐标(u和v)与正交投影人脸点云中的对应点的水平坐标(X，Y)距离最小时，所对应的x方向的水平参量和y方向的水平参量，并将所述坐标的差距作为遍历此次深度参量的损失值。

其中，计算t_x和t_y在正交投影人脸点云图中的所有点进行透视投影后的水平坐标(u和v)与正交投影人脸点云中的对应点的水平坐标(X，Y)距离最小时，所对应的x方向的水平参量和y方向的水平参量。所述距离最小，可以基于有限个关键点的坐标差值最小来实现，其中，所述关键点可以是人脸内外眼角、嘴角、鼻尖等等关键点。基于所述关键点在正交投影人脸点云图和透视投影人脸点云图中的坐标距离，求解最小值，能够获得所述第一水平参量和所述第二水平参量，进而能够获得与多个深度参量对应的多组偏移矩阵、与多个深度参量所对应的多个损失值以及多个透视投影人脸点云图。

通过上述实施例可以看到，通过遍历所述深度参量，基于正交投影人脸点云图在进行投影变换以及旋转偏移变换前后的坐标距离，求解最小值，进而确定出与所述深度参量的取值范围对应的多组所述偏移矩阵，准确有效，易于实现。

当然，本领域技术人员应当理解，除了通过基于坐标距离求解最小值的方式来确定第一水平参量和第二水平参量，对于所述第一水平参量和第二水平参量的求解，也可以通过遍历的方式来求解，本申请实施例对此不做限制。所述最小值，可以是全部点的坐标之间的距离之和，也可以是部分点的坐标之间的距离之和，本申请实施例对此不做限制。

此外，本领域技术人员应当理解，除了对所述透视投影人脸点云图以及所述正交投影人脸点云图建立笛卡尔坐标系，当然还可以对所述透视投影人脸点云图以及所述正交投影人脸点云图建立极坐标系等其他的坐标系，基于所建立的其他坐标系，对人脸点云图中的点云坐标进行不同方向的分解，进而应用上述实施例，通过遍历的方法获得所述偏移矩阵，进而获得多个透视投影人脸点云图，本申请实施例对此不做限制。

在一些实施例中，除了能够采用上述方式求得与所述深度参量的取值范围对应的多组所述偏移矩阵，进而获得多组透视投影人脸点云图，还可以通过如图8所示的方法实现，所述方法包括：

步骤801，对所述正交投影人脸点云图基于所述预设的投影矩阵进行投影变换，获得第一人脸点云图，所述预设的投影矩阵包括所述目标透视投影人脸点云图所对应的虚拟相机的焦距以及所述虚拟相机的中心坐标；

步骤802，根据第一连线的长度与第二连线的长度，确定比例系数，所述第一连线为正交投影人脸点云图至少两个关键点之间的连线，所述第二连线为所述第一人脸点云图中对应的至少两个关键点之间的连线；

步骤803，基于所述比例系数和所述焦距，确定所述深度参量；

步骤804，遍历所述第一水平参量和\或所述第二水平参量的各个取值，获得多组偏移矩阵，其中，每组偏移矩阵包括所述深度参量以及一个所述第一水平参量和一个所述第二水平参量；

步骤805，基于多组偏移矩阵以及所述旋转矩阵，获得多组透视投影人脸点云图。

其中，所述第一水平参量、第二水平参量以及所述深度参量，同前文所述的相关内容，本申请实施例在此不做赘述。

上述实施例所采用的方式，本质上是基于多边形相似原理。不管是正交投影人脸点云图，还是透视投影人脸点云图，所针对的对象都是同一个人脸，只不过是成像视角不同，也就是说，正交投影人脸点云图和透视投影人脸点云图之间的对应部分，如对应点之间的连线或者所形成的三角形等多边形以及点云图中点的深度值与所述虚拟相机的焦距之间是满足相似条件。故，可以先基于多边形相似原理，先计算深度参量。

又由于所述相似的对象是投影变换后的正交投影人脸点云图与投影变换前的正交投影人脸点云图，故需要先经过步骤802，对正交投影人脸点云图先进行投影变换，获得所述第一人脸点云图。

所述第一人脸点云图中的关键点的连线与所述正交投影人脸点云图中的关键点的连线，与目标透视投影人脸点云图中的对应点的深度参量与所述虚拟相机的焦距，满足相似关系。故基于步骤802，能够获得所述相似关系对应的比例系数。进一步地，基于所述相似比例系数和所述焦距，能够获得为了得到所述目标透视投影人脸点云图所需要的深度参量。

获得了所述深度参量之后，可以对所述第一水平参量和\或所述第二水平参量的取值范围中的取值进行遍历，获得多组偏移矩阵，以及所述多组偏移矩阵所对应的多个透视投影人脸点云图。

在步骤804中，遍历所述第一水平参量或所述第二水平参量的各个取值，可以是同时遍历所述第一水平参量和所述第二水平参量的取值，也可以是只遍历所述第一水平参量或所述第二水平参量，然后基于另外一个水平参量在正交投影人脸点云图中的所有点进行透视投影后的水平坐标(u和v)与正交投影人脸点云中的对应点的水平坐标(X，Y)距离最小时，所对应的取值。所述距离最小，可以基于有限个关键点的坐标差值最小来实现，其中，所述关键点可以是人脸内外眼角、嘴角、鼻尖等等关键点。

通过上述实施例可以看到，基于多边形相似原理，先确定正交投影人脸点云图进行投影变换后的关键点之间的连线与正交投影人脸点云图中对应关键点之间的连线之间的比例系数，即相似比例，然后借助所述虚拟相机的焦距，得到准确的深度参量，最后通过遍历所述第一水平参量以及所述第二水平参量的方式，进而得到多组偏移矩阵以及多个偏移矩阵所对应的透视投影人脸点云图，求解速度快，节省计算资源，容易实现。

通过步骤502，获得了多个透视投影人脸点云图之后，可以基于在步骤501中所获取的正交投影人脸点云图，获得所述多个透视投影人脸点云图的点云坐标与所述正交投影人脸点云图对应的点云坐标之间的距离。所述点云坐标之间的距离，可以是全部点的距离，也可以是部分点的距离，本申请实施例对此不做限制。

在获得了多个透视投影人脸点云图的点云坐标与正交投影人脸点云图对应的点云之间的距离之后，通过步骤504，确定出距离最小值所对应的偏移矩阵，从而能够确定出目标投影透视人脸点云图。一个示例性的目标投影透视人脸点云图如图9所示，可见，相对于图3中所示的正交投影人脸点云图，图9所示的透视投影人脸点云图具有远大近小的视觉效果，在眼睛、鼻腔、嘴巴等具有一定深度的腔体处表现更为明显。

上述实施例中，确定多个所述距离的最小值，可以通过排序的方式确定，也可以通过相互之间比较的方式确定，本申请实施例对此不做限制。

在本申请实施例所提供的透视投影人脸点云图的生成方法中，利用透视投影人脸点云图与标准人脸点云图预设的第一映射关系，所述第一映射关系用于将所述正交投影人脸点云图进行投影变换和旋转偏移变换后获得透视投影人脸点云图，将旋转变换与偏移变换解耦，采用将原始人脸点云图向标准人脸点云图对齐的方式获得旋转矩阵，通过遍历的方式确定偏移矩阵，最终基于所获取的旋转矩阵、偏移矩阵以及预设的投影矩阵，对原始人脸点云图进行投影变换和旋转偏移变换，获得目标透视人脸点云图。所获得的目标透视人脸点云图具有“近大远小”的视觉效果，符合人眼观看世界的视角，从而能够增强用户的观感。

对于本申请上述各实施例所提到的投影矩阵，当所述投影矩阵设置时，不考虑透视投影与正交投影的方向，仅进行参数的设置时，在步骤502中，所获得的多个透视投影人脸点云图中，人脸的朝向与原始人脸点云图的朝向可能并不一致，出现坐标反转的情况。故在一些实施例中，在对所述正交投影人脸点云图进行投影变换后，所述方法还包括：对投影变换后的所述正交投影人脸点云图的坐标进行反转，以获得与所述原始人脸点云图朝向一致的目标透视人脸点云图。

除了对投影变换后的所述正交投影人脸点云图的坐标进行反转，还可以是在对所获得的多个透视投影人脸点云图进行坐标反转，以获得与所述原始人脸点云图朝向一致的目标透视人脸点云图。本申请实施例对进行坐标反转的时机并不进行限制。

当然，在一些实施例中，所述预设的投影矩阵，在设置时，也可以考虑透视投影和正交投影的方向，即在投影矩阵中就加入正负号，以对投影后的人脸点云图的点的坐标进行调整，这样，所述实施例在基于所述预设的投影矩阵对所述正交投影人脸点云图进行变换之后，就不需要额外的坐标反转。

通过上述实施例可以看到，当所述投影矩阵设置时，不考虑透视投影与正交投影的方向，仅进行参数的设置时，通过对投影变换后的所述正交投影人脸点云图的坐标进行反转，能够获得与所述原始人脸点云图朝向一致的目标透视人脸点云图。

在一些实施例中，在获取了所述目标透视投影人脸点云图之后，所述方法还包括：基于所述目标透视投影人脸点云图，生成三维特效贴图，和\或进行三维人脸重建。

基于所述所述目标透视投影人脸点云图，生成三维特效贴图，和\或进行三维人脸重建的具体实现方式，可以参照相关技术来实现，本申请实施例在此不做赘述。

当然，本领域技术人员应当理解，基于所述目标透视投影人脸点云图，还可以用作其他应用场景，本申请实施例对此不做限制。

在本申请实施例所提供的透视投影人脸点云图的生成方法中，利用透视投影人脸点云图与标准人脸点云图预设的第一映射关系，所述第一映射关系用于将所述正交投影人脸点云图进行投影变换和旋转偏移变换后获得透视投影人脸点云图，将旋转变换与偏移变换解耦，采用将原始人脸点云图向标准人脸点云图对齐的方式获得旋转矩阵，通过遍历的方式确定偏移矩阵，最终基于所获取的旋转矩阵、偏移矩阵以及预设的投影矩阵，对原始人脸点云图进行投影变换和旋转偏移变换，获得目标透视人脸点云图。所获得的目标透视人脸点云图具有“近大远小”的视觉效果，符合人眼观看世界的视角，从而能够增强用户的观感。

此外，与本申请上述实施例所提供的一种透视投影人脸点云图的生成方法相对应，本申请实施例还提供了一种软件产品，即一种应用程序，所述应用程序包括计算机/指令，所述计算机程序/指令被处理器执行时，实现本申请实施例所提供的上述各个方法实施例。关于所述应用程序的相关内容，可以参考前文方法各实施例，本申请在此不做赘述。

与前述方法的实施例相对应，本申请还提供了一种电子设备，图10为本申请所提供的一种示例性电子设备的结构示意图。

如图10所示，本实施例提供的一种电子设备1000，包括：处理器1001、存储器1002及存储在存储器1002上并可在处理器1001上运行的计算机程序，所述处理器执行所述程序时实现本申请前文的方法。该电子设备中的处理器1001可以是一个或多个，图10中以一个处理器1001为例，所述处理器可以包括GPU和CPU。所述电子设备中的处理器1001和存储器1002可以通过通信总线或其他方式连接，图10中以通过通信总线503连接为例。

本实施例中电子设备的处理器1001中集成了上述实施例提供的所述应用程序。此外，该电子设备中的存储器1002作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块。处理器1001通过运行存储在存储器1002中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述各个方法实施例。

存储器1002可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器1002可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器1002可进一步包括相对于处理器1001远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

处理器1001通过运行存储在存储器1002中的程序，从而执行各种功能应用以及数据处理，实现本申请实施例提供的方法。

此外，本申请还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前文所述的任一方法。

所述计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CDROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述计算机可读存储介质的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

本领域技术人员在考虑申请及实践这里申请的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种透视投影人脸点云图的生成方法，其特征在于，包括：

将原始人脸点云图处理成与标准人脸点云图对齐的正交投影人脸点云图，获得旋转矩阵，所述旋转矩阵表征所述正交投影人脸点云图相对于所述原始人脸点云图的旋转量；

根据透视投影人脸点云图与标准人脸点云图预设的第一映射关系，遍历偏移矩阵的目标参量的各个取值，获得多个透视投影人脸点云图；其中，所述第一映射关系用于将所述正交投影人脸点云图进行投影变换和旋转偏移变换后获得透视投影人脸点云图，所述投影变换基于预设的投影矩阵实现，所述旋转偏移变换基于所述旋转矩阵和所述偏移矩阵实现；

确定所述多个透视投影人脸点云图的点云坐标与正交投影人脸点云图对应的点云坐标之间的距离；

基于所述距离的最小值所对应的偏移矩阵，确定目标透视投影人脸点云图。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述目标透视投影人脸点云图，生成三维特效贴图，和\或进行三维人脸重建。

3.根据权利要求1所述的方法，其特征在于，所述将原始人脸点云图处理成与标准人脸点云图对齐的正交投影人脸点云图，包括：

以所述标准人脸点云图为基准，对所述原始人脸点云图进行伸缩、旋转和偏移变换。

4.根据权利要求1所述的方法，其特征在于，所述预设的投影矩阵基于所述目标透视投影人脸点云图对应的虚拟相机的焦距以及所述虚拟相机的中心坐标确定；其中，所述焦距根据所述原始人脸点云图的尺寸确定，和\或，所述中心坐标基于所述原始人脸点云图的中心点的坐标确定。

5.根据权利要求1所述的方法，其特征在于，所述偏移矩阵包括第一水平参量、第二水平参量以及深度参量，所述遍历偏移矩阵的目标参量的各个取值，获得多个透视投影人脸点云图，包括：

遍历偏移矩阵的深度参量的各个取值，确定在每个深度参量的取值下，使得透视投影人脸点云图中点云的水平坐标与所述正交投影人脸点云图中点云的水平坐标差距最小的第一水平参量和第二水平参量；

基于多组偏移矩阵以及所述旋转矩阵，获得多个透视投影人脸点云图，其中，每组偏移矩阵包括一个所述深度参量的取值以及由所述深度参量的取值所确定的第一水平参量和第二水平参量。

6.根据权利要求1所述的方法，其特征在于，所述偏移矩阵包括第一水平参量、第二水平参量以及深度参量，所述遍历偏移矩阵的目标参量的各个取值，获得多个透视投影人脸点云图，包括：

对所述正交投影人脸点云图基于所述预设的投影矩阵进行投影变换，获得第一人脸点云图，所述预设的投影矩阵包括所述目标透视投影人脸点云图所对应的虚拟相机的焦距；

根据第一连线的长度与第二连线的长度，确定比例系数，所述第一连线为正交投影人脸点云图至少两个关键点之间的连线，所述第二连线为所述第一人脸点云图中对应的至少两个关键点之间的连线；

基于所述比例系数和所述焦距，确定所述深度参量；

遍历所述第一水平参量和\或所述第二水平参量的各个取值，获得多组偏移矩阵，其中，每组偏移矩阵包括所述深度参量以及一个所述第一水平参量和一个所述第二水平参量；

基于多组偏移矩阵以及所述旋转矩阵，获得多个透视投影人脸点云图。

7.根据权利要求1所述的方法，其特征在于，在对所述正交投影人脸点云图进行投影变换之后，所述方法还包括：

对投影变换后的所述正交投影人脸点云图的坐标进行反转。

8.一种应用程序，其特征在于，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1-7任一项所述的方法。

9.一种电子设备，其特征在于，所述电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1至7任一项所述的方法。

Images