CN113343879A - 全景面部图像的制作方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种全景面部图像的制作方法、装置、电子设备及存储介质，涉及图像处理技术领域。该方法包括：通过获取用户的面部三维模型、采集的多个预设视角的面部图像、面部图像对应的摄像设备参数以及面部三维模型相对于摄像设备中的中间设备的位姿矩阵；对中间设备所对应的面部图像进行关键部位检测，获取各关键部位对应的关键点数据；根据关键点数据将面部三维模型映射到纹理空间，得到纹理空间的面部三维模型；根据纹理空间的面部三维模型、多个预设视角的面部图像以及摄像设备参数、中间设备的位姿矩阵，在纹理空间融合获取全景面部图像。通过本申请可将多视角图像合称为一张全景面部图像，便于提高面部检测结果的一致性和稳定性。

Description

全景面部图像的制作方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种全景面部图像的制作方法、装置、电子设备及存储介质。

背景技术

近年来，数字图像处理技术在美容行业得到了广泛的应用。

美容行业使用的部分皮肤分析仪器配备有多个摄像头，可以实现对测试者的脸部采集多视角图像，通过分析多视角图像，可以快速地定位和检测皮肤问题。

然而，对多视角图像分别进行分析，可能导致检测结果不一致，无法准确检测皮肤问题。

发明内容

本发明的目的在于，针对上述现有技术中的不足，提供一种全景面部图像的制作方法、装置、电子设备及存储介质，以便将多视角图像合称为一张全景面部图像，便于提高面部检测结果的一致性和稳定性。

为实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供了一种全景面部图像的制作方法，包括：

获取用户的面部三维模型、采集的多个预设视角的面部图像、所述面部图像对应的摄像设备参数以及所述面部三维模型相对于所述摄像设备中的中间设备的位姿矩阵；

对所述中间设备所对应的所述面部图像进行关键部位检测，获取各关键部位对应的关键点数据；

根据所述关键点数据将所述面部三维模型映射到纹理空间，得到纹理空间的面部三维模型；

根据所述纹理空间的面部三维模型、多个所述预设视角的面部图像以及所述摄像设备参数、所述中间设备的位姿矩阵，在所述纹理空间融合获取全景面部图像。

可选的，所述根据所述纹理空间的面部三维模型、多个所述预设视角的面部图像以及所述摄像设备参数、所述中间设备的位姿矩阵，在所述纹理空间融合获取全景面部图像，包括：

根据多个所述预设视角的面部图像以及所述摄像设备参数、所述中间设备的位姿矩阵，将各所述预设视角的面部图像渲染到所述纹理空间的面部三维模型，获取对应的渲染结果；

根据所述渲染结果进行融合，获取所述全景面部图像。

可选的，所述获取用户的面部三维模型，包括：

获取所述用户的初始面部三维模型；

根据矫正矩阵对所述初始面部三维模型进行矫正，得到所述面部三维模型。

可选的，在所述根据预设变换矩阵对所述初始面部三维模型进行矫正，得到所述面部三维模型之前，所述方法还包括：

获取所述用户的参考三维模型；

根据所述初始面部三维模型和所述参考三维模型，计算获取所述初始面部三维模型到所述参考三维模型的所述矫正矩阵。

可选的，所述根据所述关键点数据将所述面部三维模型映射到纹理空间，包括：

根据所述各关键部位建立用户坐标系，确定所述各关键部位在所述用户坐标系的关键点坐标；

根据所述关键点数据对应的三维坐标和所述关键点坐标，计算所述用户坐标系的变换矩阵；

根据所述变换矩阵，对所述面部三维模型的三维顶点坐标进行变换，得到所述面部三维模型的顶点在所述用户坐标系下的用户坐标；

采用预设展开法将所述顶点的用户坐标映射到纹理空间。

可选的，所述根据所述渲染结果进行融合，获取所述全景面部图像，包括：

将所述中间设备所对应的所述面部图像的关键点数据映射到所述纹理空间；

根据映射到所述纹理空间的关键点数据，计算所述预设视角融合边界；

根据所述预设视角融合边界，将所述渲染结果进行融合，得到所述全景面部图像。

可选的，所述关键部位至少包括：鼻尖、眉心、人中、外嘴角、眼轮廓、眉毛轮廓。

可选的，所述根据映射到所述纹理空间的关键点数据，计算所述预设视角融合边界，包括：

根据映射到所述纹理空间的关键点数据中所述外嘴角、所述眼轮廓、所述眉毛轮廓的关键点数据，计算两条三次样条曲线作为所述预设视角融合边界。

第二方面，本申请实施例还提供一种全景面部图像的制作装置，包括：

获取模块，用于获取用户的面部三维模型、采集的多个预设视角的面部图像、所述面部图像对应的摄像设备参数以及所述面部三维模型相对于所述摄像设备中的中间设备的位姿矩阵；

关键部位检测模块，用于对所述中间设备所对应的所述面部图像进行关键部位检测，获取各关键部位对应的关键点数据；

映射模块，用于根据所述关键点数据将所述面部三维模型映射到纹理空间，得到纹理空间的面部三维模型；

融合模块，用于根据所述纹理空间的面部三维模型、多个所述预设视角的面部图像以及所述摄像设备参数、所述中间设备的位姿矩阵，在所述纹理空间融合获取全景面部图像。

可选的，所述融合模块包括：

渲染单元，用于根据多个所述预设视角的面部图像以及所述摄像设备参数、所述中间设备的位姿矩阵，将各所述预设视角的面部图像渲染到所述纹理空间的面部三维模型，获取对应的渲染结果；

融合单元，用于根据所述渲染结果进行融合，获取所述全景面部图像。

可选的，所述获取模块包括：

初始面部三维模型获取单元，用于获取所述用户的初始面部三维模型；

矫正单元，用于根据矫正矩阵对所述初始面部三维模型进行矫正，得到所述面部三维模型。

可选的，在所述矫正单元之前，所述装置还包括：

参考三维模型获取单元，用于获取所述用户的参考三维模型；

矫正矩阵计算单元，用于根据所述初始面部三维模型和所述参考三维模型，计算获取所述初始面部三维模型到所述参考三维模型的所述矫正矩阵。

可选的，所述映射模块包括：

用户坐标系建立单元，用于根据所述各关键部位建立用户坐标系，确定所述各关键部位在所述用户坐标系的关键点坐标；

变换矩阵计算单元，根据所述关键点数据对应的三维坐标和所述关键点坐标，计算所述用户坐标系的变换矩阵；

用户坐标计算单元，用于根据所述变换矩阵，对所述面部三维模型的三维顶点坐标进行变换，得到所述面部三维模型的顶点在所述用户坐标系下的用户坐标；

映射单元，用于采用预设展开法将所述顶点的用户坐标映射到纹理空间。

可选的，所述融合单元包括：

关键点映射子单元，用于将所述中间设备所对应的所述面部图像的关键点数据映射到所述纹理空间；

融合边界计算子单元，用于根据映射到所述纹理空间的关键点数据，计算所述预设视角融合边界；

融合子单元，用于根据所述预设视角融合边界，将所述渲染结果进行融合，得到所述全景面部图像。

可选的，所述关键部位至少包括：鼻尖、眉心、人中、外嘴角、眼轮廓、眉毛轮廓。

可选的，所述融合边界计算子单元，具体用于根据映射到所述纹理空间的关键点数据中所述外嘴角、所述眼轮廓、所述眉毛轮廓的关键点数据，计算两条三次样条曲线作为所述预设视角融合边界。

第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当所述电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行如上述实施例任一所述的全景面部图像的制作方法的步骤。

第四方面，本申请实施例还提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述实施例任一所述的全景面部图像的制作方法的步骤。

本申请的有益效果是：

本申请提供一种全景面部图像的制作方法、装置、电子设备及存储介质，通过获取用户的面部三维模型、采集的多个预设视角的面部图像、面部图像对应的摄像设备参数以及面部三维模型相对于摄像设备中的中间设备的位姿矩阵；对中间设备所对应的面部图像进行关键部位检测，获取各关键部位对应的关键点数据；根据关键点数据将面部三维模型映射到纹理空间，得到纹理空间的面部三维模型；根据纹理空间的面部三维模型、多个预设视角的面部图像以及摄像设备参数、中间设备的位姿矩阵，在纹理空间融合获取全景面部图像。通过本申请提供的方案，可将用户的面部三维模型和多个预设视角的面部图像在纹理空间内进行融合，得到用户的全景面部图像，使得进行面部皮肤问题检测所使用的图像具有唯一的属性，可基于全景面部图像进行检测，保证检测结果的一致性和稳定性；同时可以保证进行多次面部皮肤问题检测时的全景面部图像在相同空间内，使得到的检测结果具有可比性，以便长期跟踪分析用户的面部皮肤问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的第一种全景面部图像的制作方法的流程示意图；

图2为本申请实施例提供的一种关键部位的关键点数据的示意图；

图3为本申请实施例提供的第二种全景面部图像的制作方法的流程示意图；

图4(a)为本申请实施例提供的一种左侧视角的渲染结果的示意图；

图4(b)为本申请实施例提供的一种中间视角的渲染结果的示意图；

图4(c)为本申请实施例提供的一种右侧视角的渲染结果的示意图；

图5为本申请实施例提供的第三种全景面部图像的制作方法的流程示意图；

图6为本申请实施例提供的第四种全景面部图像的制作方法的流程示意图；

图7为本申请实施例提供的第五种全景面部图像的制作方法的流程示意图；

图8为本申请实施例提供的一种全景面部图像的示意图；

图9为本申请实施例提供的一种全景面部图像的制作装置的结构示意图；

图10为本申请实施例提供的电子设备的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，需要说明的是，若出现术语“上”、“下”、等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

此外，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。

本申请实施例提供的全景面部图像的制作方法，可应用于具有全景面部图像的制作功能的电子设备，该电子设备可以为集成在用于面部皮肤问题检测的测肤仪中，也可以为与测肤仪相互独立的电子设备。

若电子设备与测肤仪相互独立，则通过扫描建模设备对用户进行面部三维模型的建立，并通过摄像设备采集用户多个预设视角的面部图像，并将获取用户的面部三维模型、采集的多个预设视角的面部图像以及摄像设备的相关参数发送给电子设备，电子设备执行全景面部图像的制作方法得到用户的全景面部图像，并将该全景面部图像发送给测肤仪以进行面部皮肤问题检测。更优的是，扫描建模设备和摄像设备也可以集成在测肤仪上。

图1为本申请实施例提供的第一种全景面部图像的制作方法的流程示意图；如图1所示，该方法包括：

S10：获取用户的面部三维模型、采集的多个预设视角的面部图像、面部图像对应的摄像设备参数以及面部三维模型相对于摄像设备中的中间设备的位姿矩阵。

具体的，用户的面部三维模型是由具有面部三维建模功能的扫描设备进行扫描建模得到的，多个预设视角的面部图像是由多个视角的摄像设备进行拍照得到的。在本申请实施例中，具有面部三维建模功能的扫描设备和多个视角的摄像设备均可以集成设置在用于面部皮肤问题检测的测肤仪中。

面部图像对应的摄像设备参数包括：每个预设视角的摄像设备的内参数和外参数，示例的，摄像设备可以为结构光模组或深度(RGB-D)相机。在本申请实施例中，多个预设视角的摄像设备包括：与用户眉间、鼻尖或人中垂直的中间设备，位于中间设备左侧45度的左侧设备，以及位于中间设备右侧45度的右侧设备，多个预设视角以实际需求进行设置，本申请对此不做限制。

位姿矩阵用于表示生成面部三维模型的扫描设备与摄像设备中的中间设备之间的位置关系，需要强调的是，为了获得准确的位姿矩阵，在进行扫描建模和拍照时，必须保证用户所在的位置保持不变。

S20：对中间设备所对应的面部图像进行关键部位检测，获取各关键部位对应的关键点数据。

具体的，为了对用户面部的关键部位进行检测，需要保证采集的用户的面部图像中包含用户面部的所有关键部位，因此，采用中间设备所对应的面部图像，根据人工智能检测算法检测面部图像中的关键部位，并采用预设的标记方法对所述各关键部位进行标记，得到各关键部位对应的关键点数据。

在一种可选实施方式中，关键部位至少包括：鼻尖、眉心、人中、外嘴角、眼轮廓、眉毛轮廓。

示例的，图2为本申请实施例提供的一种关键部位的关键点数据的示意图，如图2所示，预设的标记方法为：以面部外轮廓任意位置为起点，以预设间距对面部外轮廓、左右眉毛轮廓、左右眼睛轮廓、眉心、鼻子轮廓、鼻尖、人中、嘴唇轮廓进行标记，得到对应的关键点数据。

S30：根据关键点数据将面部三维模型映射到纹理空间，得到纹理空间的面部三维模型。

具体的，根据各关键部位建立转换坐标系，并根据关键点数据计算变换矩阵T_ucs，根据变换矩阵T_ucs将面部三维模型映射到转换坐标系下，采用预设的映射方法将转换坐标系下的面部三维模型映射到纹理空间，得到纹理空间中的面部三维模型。

S40：根据纹理空间的面部三维模型、多个预设视角的面部图像以及摄像设备参数、中间设备的位姿矩阵，在纹理空间融合获取全景面部图像。

具体的，上述S30将面部三维模型映射到纹理空间，得到纹理空间的面部三维模型后，可以确定面部三维模型的顶点在纹理空间中的纹理坐标，分别根据多个预设视角的摄像设备的内参数、外参数、中间设备的位姿矩阵、上述S30中的变换矩阵T_ucs以及纹理坐标，将多个视角的面部图像融合到纹理空间的面部三维模型上，获取全景面部图像。

本申请实施例提供的全景面部图像的制作方法，通过获取用户的面部三维模型、采集的多个预设视角的面部图像、面部图像对应的摄像设备参数以及面部三维模型相对于摄像设备中的中间设备的位姿矩阵；对中间设备所对应的面部图像进行关键部位检测，获取各关键部位对应的关键点数据；根据关键点数据将面部三维模型映射到纹理空间，得到纹理空间的面部三维模型；根据纹理空间的面部三维模型、多个预设视角的面部图像以及摄像设备参数、中间设备的位姿矩阵，在纹理空间融合获取全景面部图像。通过本申请实施例提供的方法，可将用户的面部三维模型和多个预设视角的面部图像在纹理空间内进行融合，得到用户的全景面部图像，使得进行面部皮肤问题检测所使用的图像具有唯一的属性，可基于全景面部图像进行检测，保证检测结果的一致性和稳定性；同时可以保证进行多次面部皮肤问题检测时的全景面部图像在相同空间内，使得到的检测结果具有可比性，以便长期跟踪分析用户的面部皮肤问题。

在上述实施例的基础上，本申请实施例还提供一种全景面部图像的制作方法，图3为本申请实施例提供的第二种全景面部图像的制作方法的流程示意图，如图3所示，上述S40包括：

S41：根据多个预设视角的面部图像以及摄像设备参数、中间设备的位姿矩阵，将各预设视角的面部图像渲染到纹理空间的面部三维模型，获取对应的渲染结果。

具体的，为保证全景面部图像可以准确反应多个预设视角的面部图像的属性值，需要将多个预设视角的面部图像渲染到纹理空间的面部三维模型上，得到各预设视角的渲染结果，渲染的目的是计算出各预设视角的面部图像在纹理空间的面部三维模型的颜色值。

图4(a)为本申请实施例提供的一种左侧视角的渲染结果的示意图，图4(b)为本申请实施例提供的一种中间视角的渲染结果的示意图，图4(c)为本申请实施例提供的一种右侧视角的渲染结果的示意图，以中间设备对应的中间视角的面部图像为例，对渲染过程进行说明：

设中间设备的内参数为K，中间设备的外参数为T，中间设备的位姿矩阵为T_RGB，纹理空间的面部三维模型的顶点的纹理坐标为V(u,v)，则该顶点处的颜色值为

根据该公式可以计算出中间视角的面部图像在纹理空间的面部三维模型中每个顶点的颜色值，以实现将中间视角的面部图像渲染到纹理空间的面部三维模型，得到中间视角的渲染结果。

其他视角的渲染过程与中间视角相同，可得到对应视角的渲染结果。需要说明的是，其他视角对应的设备的外参数为该视角的设备相对于中间设备的位姿矩阵。各预设视角的面部图像均渲染到纹理空间的面部三维模型后，得到的渲染结果为初始全景面部图像。

S42：根据渲染结果进行融合，获取全景面部图像。

具体的，由于各预设视角的面部图像分别渲染到纹理空间的面部三维模型，导致各预设视角的渲染结果之间存在明显的边界，为提高全景面部图像的显示效果，可对各预设视角的渲染结果之间的边界进行融合，以消除各预设视角的渲染结果之间的边界，得到全景面部图像。

本申请实施例提供的全景面部图像的制作方法，根据多个预设视角的面部图像以及摄像设备参数、中间设备的位姿矩阵，将各预设视角的面部图像渲染到纹理空间的面部三维模型，获取对应的渲染结果，根据渲染结果进行融合，获取全景面部图像。通过本申请实施例提供的方法，可将各预设视角的面部图像分别渲染到纹理空间的面部三维模型，使得各预设视角的渲染结果可以在面部三维模型上展示各预设视角的面部图像的属性值，且通过对渲染结果进行融合，保证获取的全景面部图像的展示效果更佳。

在上述实施例的基础上，本申请实施例还提供一种全景面部图像的制作方法，图5为本申请实施例提供的第三种全景面部图像的制作方法的流程示意图，如图5所示，上述S10中获取用户的面部三维模型包括：

S11：获取用户的初始面部三维模型。

具体的，用户的初始面部三维模型为扫描建模设备对用户面部进行扫描并建模得到的初始模型，由于用户在扫描建模过程中头部位置可能存在倾斜偏移，或者扫描建模设备的安装位置可能存在倾斜偏移，导致初始面部三维模型也会存在倾斜偏移。

S14：根据矫正矩阵对初始面部三维模型进行矫正，得到面部三维模型。

具体的，为了对初始面部三维模型进行矫正，使得初始面部三维模型经过矫正后位于参考三维空间坐标系中，消除初始面部三维模型存在的倾斜偏差，可根据初始面部三维模型的倾斜偏差参数和参考三维空间坐标系计算矫正矩阵，以根据矫正矩阵对初始面部三维模型进行矫正，得到面部三维模型。

在一种可选实施方式中，若用户为首次使用该扫描建模设备进行建模，可直接定义矫正矩阵为预设维度的单位矩阵。

在另一种可选实施方式中，如图5所示，在上述S14之前，该方法还包括：

S12：获取用户的参考三维模型。

具体的，若用户在本次建模之前，已经使用该扫描建模设备建立过其他面部三维模型，则可以选择用户的一次历史面部三维模型作为参考三维模型。更优的，可以选择用户首次使用该扫描建模设备得到的面部三维模型作为参考三维模型。

S13：根据初始面部三维模型和参考三维模型，计算获取初始面部三维模型到参考三维模型的矫正矩阵。

具体的，对初始面部三维模型进行旋转和平移变换，使初始面部三维模型对齐到参考三维模型，采用预设的变换方法，计算用于进行旋转和平移变换的矫正矩阵。示例的，预设的变换方法可以为迭代最近点(Iterative Closest Point，ICP)算法。

本申请实施例提供的全景面部图像的制作方法，获取用户的初始面部三维模型和参考三维模型，根据初始面部三维模型和参考三维模型，计算获取初始面部三维模型到参考三维模型的矫正矩阵，根据矫正矩阵对初始面部三维模型进行矫正，得到面部三维模型。通过本申请实施例提供的方法，可对用户的初始面部三维模型进行矫正，避免由于初始面部三维模型的倾斜偏移，导致在后续进行映射以及融合时导致效果不佳的问题，提高全景面部图像的展示效果。

在上述实施例的基础上，本申请实施例还提供一种全景面部图像的制作方法，图6为本申请实施例提供的第四种全景面部图像的制作方法的流程示意图，如图6所示，上述S30包括：

S31：根据各关键部位建立用户坐标系，确定各关键部位在用户坐标系的关键点坐标。

具体的，根据中间设备所对应的面部图像中各关键部位建立用户坐标系，各关键部位包括：左眼的外眼角、右眼的外眼角、眉心和人中。具体的建立方法为：以右眼的外眼角到左眼的外眼角的连线方向作为X轴方向，以人中到眉心的连线方法作为Y轴方向，以右手法则确定Z轴方向，并使用户坐标系的原点鼻尖后方。其中，右手法则为：伸开右手，使拇指与其余四个手指垂直，X轴垂直穿过右手的掌心，其余四个手指沿Y轴方向与Y轴平行，拇指所指方向即为Z轴方向。

需要说明的是，若用户在历史时刻具有参考三维模型，则获取该历史时刻中间设备所对应的参考面部图像进行关键部位检测，获取各参考关键部位对应的参考关键点数据，基于各参考关键部位建立用户坐标系，以便在制作全景面部图像时，可以与参考三维模型的全景面部图像严格对齐，便于对不同时刻的全景面部图像进行对比。

在需要说明的是，用户坐标系的原点可以根据鼻尖作为参考进行设定，示例的，可以指定鼻尖在用户坐标系中的坐标为(0,0,150)从而确定原点的位置。在建立好用户坐标系后，可以根据各关键部位在XYZ轴三个方向上与原点的距离确定各关键部位在用户坐标系的关键点坐标。

S32：根据关键点数据对应的三维坐标和关键点坐标，计算用户坐标系的变换矩阵。

具体的，根据中间设备的内参数、面部三维模型相对于中间设备的位姿矩阵，将各关键部位的关键点数据转换为三维坐标。

以鼻尖为例，说明计算用户坐标系的变换矩阵的过程：

设鼻尖的三维坐标为[p_X,p_Y,p_Z]，用户坐标系XYZ轴的方向向量分别为：[x_X,y_X,z_X]、[x_Y,y_Y,z_Y]、[x_Z,y_Z,z_Z]，则用户坐标系的变换矩阵为：

S33：根据变换矩阵，对面部三维模型的三维顶点坐标进行变换，得到面部三维模型的顶点在用户坐标系下的用户坐标。

具体的，根据上述S32得到的变换矩阵T_ucs，将面部三维模型的每个顶点的三维顶点坐标转换为用户坐标系下的用户坐标。示例的，转换公式为：V'＝T_ucs·V。

S34：采用预设展开法将顶点的用户坐标映射到纹理空间。

具体的，纹理空间为二维的平面空间，由于各预设视角的面部图像为平面坐标系的图像，为便于将各预设视角的面部图像渲染到面部三维模型上，需要采用预设展开法将用户坐标系下的面部三维模型映射到纹理空间内。

示例的，预设展开法为圆柱展开法，可以将面部三维模型的所有顶点映射到平面空间内，映射公式为：

其中，(x,y,z)为顶点的用户坐标，R＝π，H＝265。

本申请实施例提供的全景面部图像的制作方法，根据各关键部位建立用户坐标系，确定各关键部位在用户坐标系的关键点坐标，根据各关键部位在面部三维模型的三维坐标和关键点坐标，计算用户坐标系的变换矩阵，根据变换矩阵，对面部三维模型的三维顶点坐标进行变换，得到面部三维模型的顶点在用户坐标系下的用户坐标，采用预设展开法将顶点的用户坐标映射到纹理空间。通过本申请实施例提供的方法，可通过一系列的变换、映射，将面部三维模型映射到二维的纹理空间内，以便各预设视角的二维面部图像可以更好地与面部三维模型进行融合，从而得到全景面部图像，提高全景面部图像的展示效果。

在上述实施例的基础上，本申请实施例还提供一种全景面部图像的制作方法，图7为本申请实施例提供的第五种全景面部图像的制作方法的流程示意图，如图7所示，上述S42包括：

S421：将中间设备所对应的面部图像的关键点数据映射到纹理空间。

具体的，根据中间设备的内参数、面部三维模型相对于中间设备的位姿矩阵，将各关键部位的关键点数据转换为三维坐标，采用上述S33中的方法将该三维坐标转换为对应的用户坐标，并采用上述S34中的方法将用户坐标映射到纹理空间，从而实现将中间设备所对应的面部图像的关键点数据映射到纹理空间。

S422：根据映射到纹理空间的关键点数据，计算预设视角融合边界。

具体的，确定全景面部图像中取自中间设备所对应的面部图像的五官，以取自中间设备所对应的面部图像的五官在纹理空间的关键点数据，确定预设视角融合边界。

在一种可选实施方式中，根据映射到纹理空间的关键点数据中外嘴角、眼轮廓、眉毛轮廓的关键点数据，计算两条三次样条曲线作为预设视角融合边界。

具体的，采用三次样条曲线拟合方法，对映射到纹理空间的左侧外嘴角、左侧眼轮廓、左侧眉毛轮廓的关键点数据进行曲线拟合，得到左侧三次样条曲线，对映射到纹理空间的右侧外嘴角、右侧眼轮廓、右侧眉毛轮廓的关键点数据进行曲线拟合，得到右侧三次样条曲线。

以左侧三次样条曲线和右侧三次样条曲线作为预设视角的融合边界，使得眼睛、鼻子和嘴唇取自中间设备对应的面部图像，左侧眉毛和左侧耳朵取自位于中间设备左侧的设备对应的面部图像，右侧眉毛和右侧耳朵取自位于中间设备右侧的设备对应的面部图像。

S423：根据预设视角融合边界，将渲染结果进行融合，得到全景面部图像。

具体的，采用预设的融合方法，以预设视角融合边界对各预设视角在面部三维模型上的渲染结果进行融合，得到全景面部图像。

示例的，预设的融合方法可以为α-融合法，图8为本申请实施例提供的一种全景面部图像的示意图。

本申请实施例提供的全景面部图像的制作方法，通过将中间设备所对应的面部图像的关键点数据映射到纹理空间，根据映射到纹理空间的关键点数据，计算预设视角融合边界，根据预设视角融合边界，将渲染结果进行融合，得到全景面部图像。通过本申请实施例提供的方法，可计算得到预设视角融合边界，从而确定从各预设视角选取的五官部位，并根据该融合边界对渲染结果进行融合，使得到的全景面部图像的展示效果更佳。

在上述任一实施例的基础上，本申请实施例还提供一种全景面部图像的制作装置，图9为本申请实施例提供的一种全景面部图像的制作装置的结构示意图，如图9所示，该装置包括：

获取模块10，用于获取用户的面部三维模型、采集的多个预设视角的面部图像、面部图像对应的摄像设备参数以及面部三维模型相对于摄像设备中的中间设备的位姿矩阵；

关键部位检测模块20，用于对中间设备所对应的面部图像进行关键部位检测，获取各关键部位对应的关键点数据；

映射模块30，用于根据关键点数据将面部三维模型映射到纹理空间，得到纹理空间的面部三维模型；

融合模块40，用于根据纹理空间的面部三维模型、多个预设视角的面部图像以及摄像设备参数、中间设备的位姿矩阵，在纹理空间融合获取全景面部图像。

可选的，融合模块40包括：

渲染单元，用于根据多个预设视角的面部图像以及摄像设备参数、中间设备的位姿矩阵，将各预设视角的面部图像渲染到纹理空间的面部三维模型，获取对应的渲染结果；

融合单元，用于根据渲染结果进行融合，获取全景面部图像。

可选的，获取模块10包括：

初始面部三维模型获取单元，用于获取用户的初始面部三维模型；

矫正单元，用于根据矫正矩阵对初始面部三维模型进行矫正，得到面部三维模型。

可选的，在矫正单元之前，该装置还包括：

参考三维模型获取单元，用于获取用户的参考三维模型；

矫正矩阵计算单元，用于根据初始面部三维模型和参考三维模型，计算获取初始面部三维模型到参考三维模型的矫正矩阵。

可选的，映射模块30包括：

用户坐标系建立单元，用于根据各关键部位建立用户坐标系，确定各关键部位在用户坐标系的关键点坐标；

变换矩阵计算单元，根据关键点数据对应的三维坐标和关键点坐标，计算用户坐标系的变换矩阵；

用户坐标计算单元，用于根据变换矩阵，对面部三维模型的三维顶点坐标进行变换，得到面部三维模型的顶点在用户坐标系下的用户坐标；

映射单元，用于采用预设展开法将顶点的用户坐标映射到纹理空间。

可选的，融合单元包括：

关键点映射子单元，用于将中间设备所对应的面部图像的关键点数据映射到纹理空间；

融合边界计算子单元，用于根据映射到纹理空间的关键点数据，计算预设视角融合边界；

融合子单元，用于根据预设视角融合边界，将渲染结果进行融合，得到全景面部图像。

可选的，关键部位至少包括：鼻尖、眉心、人中、外嘴角、眼轮廓、眉毛轮廓。

可选的，融合边界计算子单元，具体用于根据映射到纹理空间的关键点数据中外嘴角、眼轮廓、眉毛轮廓的关键点数据，计算两条三次样条曲线作为预设视角融合边界。

上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。

以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

图10为本申请实施例提供的电子设备的示意图，该电子设备100包括：处理器101、存储介质102和总线，存储介质102存储有处理器101可执行的程序指令，当电子设备100运行时，处理器101与存储介质102之间通过总线通信，处理器101执行程序指令，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。

可选地，本发明还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

上仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (11)

1.一种全景面部图像的制作方法，其特征在于，包括：

获取用户的面部三维模型、采集的多个预设视角的面部图像、所述面部图像对应的摄像设备参数以及所述面部三维模型相对于所述摄像设备中的中间设备的位姿矩阵；

对所述中间设备所对应的所述面部图像进行关键部位检测，获取各关键部位对应的关键点数据；

根据所述关键点数据将所述面部三维模型映射到纹理空间，得到纹理空间的面部三维模型；

根据所述纹理空间的面部三维模型、多个所述预设视角的面部图像以及所述摄像设备参数、所述中间设备的位姿矩阵，在所述纹理空间融合获取全景面部图像。

2.如权利要求1所述的方法，其特征在于，所述根据所述纹理空间的面部三维模型、多个所述预设视角的面部图像以及所述摄像设备参数、所述中间设备的位姿矩阵，在所述纹理空间融合获取全景面部图像，包括：

根据多个所述预设视角的面部图像以及所述摄像设备参数、所述中间设备的位姿矩阵，将各所述预设视角的面部图像渲染到所述纹理空间的面部三维模型，获取对应的渲染结果；

根据所述渲染结果进行融合，获取所述全景面部图像。

3.如权利要求1所述的方法，其特征在于，所述获取用户的面部三维模型，包括：

获取所述用户的初始面部三维模型；

根据矫正矩阵对所述初始面部三维模型进行矫正，得到所述面部三维模型。

4.如权利要求3所述的方法，其特征在于，在所述根据矫正矩阵对所述初始面部三维模型进行矫正，得到所述面部三维模型之前，所述方法还包括：

获取所述用户的参考三维模型；

根据所述初始面部三维模型和所述参考三维模型，计算获取所述初始面部三维模型到所述参考三维模型的所述矫正矩阵。

5.如权利要求1所述的方法，其特征在于，所述根据所述关键点数据将所述面部三维模型映射到纹理空间，包括：

根据所述各关键部位建立用户坐标系，确定所述各关键部位在所述用户坐标系的关键点坐标；

根据所述关键点数据对应的三维坐标和所述关键点坐标，计算所述用户坐标系的变换矩阵；

根据所述变换矩阵，对所述面部三维模型的三维顶点坐标进行变换，得到所述面部三维模型的顶点在所述用户坐标系下的用户坐标；

采用预设展开法将所述顶点的用户坐标映射到纹理空间。

6.如权利要求2所述的方法，其特征在于，所述根据所述渲染结果进行融合，获取所述全景面部图像，包括：

将所述中间设备所对应的所述面部图像的关键点数据映射到所述纹理空间；

根据映射到所述纹理空间的关键点数据，计算所述预设视角融合边界；

根据所述预设视角融合边界，将所述渲染结果进行融合，得到所述全景面部图像。

7.如权利要求6所述的方法，其特征在于，所述关键部位至少包括：鼻尖、眉心、人中、外嘴角、眼轮廓、眉毛轮廓。

8.如权利要求7所述的方法，其特征在于，所述根据映射到所述纹理空间的关键点数据，计算所述预设视角融合边界，包括：

根据映射到所述纹理空间的关键点数据中所述外嘴角、所述眼轮廓、所述眉毛轮廓的关键点数据，计算两条三次样条曲线作为所述预设视角融合边界。

9.一种全景面部图像的制作装置，其特征在于，包括：

获取模块，用于获取用户的面部三维模型、采集的多个预设视角的面部图像、所述面部图像对应的摄像设备参数以及所述面部三维模型相对于所述摄像设备中的中间设备的位姿矩阵；

关键部位检测模块，用于对所述中间设备所对应的所述面部图像进行关键部位检测，获取各关键部位对应的关键点数据；

映射模块，用于根据所述关键点数据将所述面部三维模型映射到纹理空间，得到纹理空间的面部三维模型；

融合模块，用于根据所述纹理空间的面部三维模型、多个所述预设视角的面部图像以及所述摄像设备参数、所述中间设备的位姿矩阵，在所述纹理空间融合获取全景面部图像。

10.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当所述电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行如权利要求1至8任一所述的全景面部图像的制作方法的步骤。

11.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至8任一所述的全景面部图像的制作方法的步骤。

Images