CN117392735B - 面部数据处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种面部数据处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取目标对象对应的面部点云数据；从面部点云数据中，提取待检测部位的第一参考部位对应的多个第一面部特征点，提取待检测部位的第二参考部位对应的多个第二面部特征点；基于各个第一面部特征点确定目标第一切面，基于各个第二面部特征点确定目标第二切面；基于目标第一切面、目标第二切面和面部点云数据确定待检测部位对应的闭合面部区域；计算闭合面部区域的体积作为待检测部位对应的部位体积。采用本方法能够提高面部体积识别效率。

Description

面部数据处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种面部数据处理方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着深度学习技术的广泛应用，出现了基于深度学习的面部特征识别技术。对待检测面部图像进行特征提取，识别待检测面部图像中各个部位的体积。通过分析面部各部位的体积，来分析面部状态。

传统的面部特征识别技术是通过获取大量的面部图像，人工对面部图像中各部位的体积进行标注，基于标注后的训练样本进行模型训练，得到用于识别面部各部位体积的面部体积识别模型。然而通过训练面部体积识别模型来进行面部体积识别的过程较为繁琐，存在面部体积识别效率低的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高面部体积识别效率的面部数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

本申请提供了一种面部数据处理方法。所述方法包括：

获取目标对象对应的面部点云数据；

从面部点云数据中，提取待检测部位的第一参考部位对应的多个第一面部特征点，提取待检测部位的第二参考部位对应的多个第二面部特征点；

基于各个第一面部特征点确定目标第一切面，基于各个第二面部特征点确定目标第二切面；

基于目标第一切面、目标第二切面和面部点云数据确定待检测部位对应的闭合面部区域；

计算闭合面部区域的体积作为待检测部位对应的部位体积。

本申请还提供了一种面部数据处理装置。所述装置包括：

点云数据获取模块，用于获取目标对象对应的面部点云数据；

特征点提取模块，用于从面部点云数据中，提取待检测部位的第一参考部位对应的多个第一面部特征点，提取待检测部位的第二参考部位对应的多个第二面部特征点；

切面确定模块，用于基于各个第一面部特征点确定目标第一切面，基于各个第二面部特征点确定目标第二切面；

面部区域确定模块，用于基于目标第一切面、目标第二切面和面部点云数据确定待检测部位对应的闭合面部区域；

部位体积计算模块，用于计算闭合面部区域的体积作为待检测部位对应的部位体积。

一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述面部数据处理方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述面部数据处理方法的步骤。

一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述面部数据处理方法的步骤。

上述面部数据处理方法、装置、计算机设备、存储介质和计算机程序产品，通过获取目标对象对应的面部点云数据，从面部点云数据中提取待检测部位的第一参考部位对应的多个第一面部特征点，以及第二参考部位对应的多个第二部位特征点。基于各个第一面部特征点确定目标第一切面，基于各个第二面部特征点确定目标第二切面。进而基于目标第一切面、目标第二切面和面部点云数据确定待检测部位对应的闭合面部区域。最后计算闭合面部区域的体积作为待检测部位对应的部位体积。这样，从面部点云数据中提取待检测部位对应的第一参考部位和第二参考部位分别对应的面部特征点，确定目标第一切面和目标第二切面。基于目标第一切面和目标第二切面能够快速准确地从面部点云数据中切分得到待检测部位对应的闭合面部区域，进而计算闭合面部区域的体积作为待检测部位的部位体积，能够提高面部体积识别效率。

附图说明

图1为一个实施例中面部数据处理方法的应用环境图；

图2为一个实施例中面部数据处理方法的流程示意图；

图3为一个实施例中面部特征点的示意图；

图4为另一个实施例中第一面部特征点和第二面部特征点的示意图；

图5为一个实施例中确定目标第一切面的流程示意图；

图6为一个实施例中切取左侧下颌缘对应的面部闭合区域的示意图；

图7为另一个实施例中确定面部体积的流程示意图；

图8为一个实施例中确定空间坐标系的示意图；

图9为一个实施例中确定目标第一切面的示意图；

图10为另一个实施例中确定面部体积的流程示意图；

图11为一个实施例中面部数据处理装置的结构框图；

图12为另一个实施例中面部数据处理装置的结构框图；

图13为一个实施例中计算机设备的内部结构图；

图14为另一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的面部数据处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能电视、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。终端102以及服务器104可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

终端和服务器均可单独用于执行本申请实施例中提供的面部数据处理方法。

例如，终端获取目标对象对应的面部点云数据。终端从面部点云数据中，提取待检测部位的第一参考部位对应的多个第一面部特征点，提取待检测部位的第二参考部位对应的多个第二面部特征点。终端基于各个第一面部特征点确定目标第一切面，基于各个第二面部特征点确定目标第二切面。终端基于目标第一切面、目标第二切面和面部点云数据确定待检测部位对应的闭合面部区域。终端计算闭合面部区域的体积作为待检测部位对应的部位体积。

终端和服务器也可协同用于执行本申请实施例中提供的面部数据处理方法。

例如，终端获取目标对象对应的面部点云数据，并向服务器发送面部点云数据。服务器从面部点云数据中，提取待检测部位的第一参考部位对应的多个第一面部特征点，提取待检测部位的第二参考部位对应的多个第二面部特征点。服务器基于各个第一面部特征点确定目标第一切面，基于各个第二面部特征点确定目标第二切面。服务器基于目标第一切面、目标第二切面和面部点云数据确定待检测部位对应的闭合面部区域。服务器计算闭合面部区域的体积作为待检测部位对应的部位体积。

在一个实施例中，如图2所示，提供了一种面部数据处理方法，以该方法应用于计算机设备为例进行说明，计算机设备可以是终端或服务器，由终端或服务器自身单独执行，也可以通过终端和服务器之间的交互来实现。面部数据处理方法包括以下步骤：

步骤S202，获取目标对象对应的面部点云数据。

其中，目标对象是指需要进行面部体积识别的对象，例如，可以是具有面部的人、动物或其他物体。面部点云数据是指对目标对象的面部进行三维点云提取得到的有序三维点云。

示例性地，通过三维传感器采集目标对象对应的面部图像和面部点云数据，面部图像中的像素点和面部点云数据中的面部点是一一对应的关系。计算机设备获取三维传感器采集的面部点云数据，以及面部点云数据对应的面部图像。

步骤S204，从面部点云数据中，提取待检测部位的第一参考部位对应的多个第一面部特征点，提取待检测部位的第二参考部位对应的多个第二面部特征点。

其中，待检测部位是指目标对象面部各个部位中需要检测面部体积的部位。第一参考部位是指预设的用于划定待检测部位对应的大致面部区域的部位，第一参考部位可以包含多个部位，基于各个部位共同确定待检测部位对应的大致面部区域。第二参考部位是指预设的用于对基于第一参考部位确定的待检测部位对应的大致面部区域进行进一步地划分的部位，从而得到更加准确的待检测部位对应的面部区域。面部特征点是指对目标对象对应面部点云数据进行特征点提取，得到的面部关键部位对应的特征点，例如，面部特征点可以是嘴角、外眼角、内眼角、耳根、鼻翼等特征点。第一面部特征点是指第一参考部位对应的各个面部特征点中，用于确定目标第一切面的特征点。第二面部特征点是指第二参考部位对应的各个面部特征点中，用于确定目标第二切面的特征点。

示例性地，计算机设备对面部点云数据对应的二维面部图像进行面部特征点提取，得到二维面部图像中的各个面部特征点。基于二维面部图像中各个像素点和三维点云数据中的各个面部点之间的映射关系，确定二维面部图像中各个面部特征点在面部点云数据中分别对应的面部点，得到面部点云数据中的各个面部特征点。例如，如图3所示，（a）为二维面部图像中各个面部特征点，（b）为二维面部图像中各个面部特征点在三维点云数据中分别对应的各个面部特征点。进而在面部点云数据中提取待检测部位的第一参考部位对应的多个第一面部特征点。例如，如图4所示，当待检测部位为左侧下颌缘时，第一参考部位可以为眼角、嘴角和耳根，第一参考部位对应的多个第一面部特征点为左侧外眼角B1、左侧耳根A1和左侧嘴角O1；当待检测部位为鼻部时，第一参考部位可以包括眼角和鼻翼，第一参考部位对应的多个第一面部特征点为两侧外眼角和两侧鼻翼；等等。在面部点云数据中提取待检测部位的第二参考部位对应的多个第二面部特征点。例如，如图4所示，当待检测部位为左侧下颌缘时，第二参考部位为嘴角，第二参考部位对应的多个第二面部特征点为两侧嘴角O1和D1；当待检测部位为鼻部时，第二参考部位为眼角和鼻翼，第二参考部位对应的多个第二面部特征点为两侧内眼角和两侧鼻翼；等等。

步骤S206，基于各个第一面部特征点确定目标第一切面，基于各个第二面部特征点确定目标第二切面。

其中，目标第一切面是指是指用于切分待检测部位对应的大致面部区域的切面。目标第二切面是指用于对基于目标第一切面切分的待检测部位对应的大致面部区域进行进一步地切分的切面，从而得到更加准确的待检测部位对应的面部区域。

示例性地，在各个第一面部特征点均位于同一平面上时，计算机设备将包含各个第一面部特征点的平面确定为初始第一切面。例如，如图4所示，当待检测部位为下颌缘时，将各个第一面部特征点A1、B1和O1所在的平面确定为初始第一平面。在各个第一面部特征点不全位于同一平面上时，对各个第一面部特征点进行平面拟合，得到初始第一切面。进而根据初始第一切面与待检测部位之间的位置关系，对初始第一切面进行变换操作，得到目标第一切面。例如，可以通过旋转平移操作对初始第一切面进行变换，也可以直接将初始第一切面作为目标第一切面。

计算机设备根据各个第二面部特征点确定辅助特征轴，基于辅助特征轴确定待检测部位对应的目标第二切面。例如，当待检测部位为左侧下颌缘时，各个第二面部特征点为两侧嘴角，将两侧嘴角所在直线确定为辅助特征轴，在辅助特征轴对应的法平面中确定待检测部位对应的目标第二切面；当待检测部位为鼻部时，第一面部特征点和第二面部特征点均为两侧鼻翼和两侧内眼角，基于各个第一面部特征点确定目标第一切面，将两侧眼角所在的直线、两侧嘴角所在的直线、左侧外眼角和左嘴角所在的直线、右侧外眼角和右侧嘴角所在的直线均确定为待检测部位对应的辅助特征轴，在包含辅助特征轴的各个平面中提取与目标第一切面垂直的平面作为目标第二切面；等等。

步骤S208，基于目标第一切面、目标第二切面和面部点云数据确定待检测部位对应的闭合面部区域。

其中，闭合面部区域是指由目标第一切面、目标第二切面和面部点云数据围成的待检测部位对应的闭合区域。

示例性地，计算机设备基于目标第一切面和目标第二切面，对面部点云数据进行切分得到多个候选区域，在各个候选区域中提取待检测部位对应的闭合面部区域。

步骤S210，计算闭合面部区域的体积作为待检测部位对应的部位体积。

示例性地，计算机设备计算闭合面部区域的体积，得到待检测部位对应的部位体积。具体地，可以将闭合面部区域划分成多个点云网格单元，计算各个点云网格单元分别对应的单元体积，融合各个点云网格单元分别对应的单元体积，得到待检测部位对应的部位体积。

上述面部数据处理方法中，通过获取目标对象对应的面部点云数据，从面部点云数据中提取待检测部位的第一参考部位对应的多个第一面部特征点，以及第二参考部位对应的多个第二部位特征点。基于各个第一面部特征点确定目标第一切面，基于各个第二面部特征点确定目标第二切面。进而基于目标第一切面、目标第二切面和面部点云数据确定待检测部位对应的闭合面部区域。最后计算闭合面部区域的体积作为待检测部位对应的部位体积。这样，从面部点云数据中提取待检测部位对应的第一参考部位和第二参考部位分别对应的面部特征点，确定目标第一切面和目标第二切面。基于目标第一切面和目标第二切面，能够快速准确地从面部点云数据中切分得到待检测部位对应的闭合面部区域，进而计算闭合面部区域的体积作为待检测部位的部位体积，能够提高面部体积识别效率，同时能够提高面部体积识别的准确性。

在一个实施例中，如图5所示，基于各个第一面部特征点确定目标第一切面，包括：

步骤S502，将包含各个第一面部特征点的平面确定为待检测部位对应的初始第一切面。

步骤S504，将各个第一面部特征点中的定位轴特征点所在的直线确定为初始第一切面对应的定位轴。

步骤S506，基于待检测部位对应的旋转角度，绕定位轴旋转初始第一切面，得到中间第一切面。

步骤S508，基于待检测部位对应的切面平移距离，将中间第一切面沿中间第一切面对应的预设法线方向平移，得到目标第一切面。

其中，定位轴特征点是指第一面部特征点中用于确定定位轴的第一面部特征点。定位轴是指初始第一切面上的旋转轴。

示例性地，计算机设备将各个第一面部特征点所在的平面确定为待检测部位对应的初始第一切面。将各个第一面部特征点中的定位特征轴特征点所在的直线确定为初始第一切面对应的定位轴。在实际实现过程中，可以在各个第一面部特征点中确定与待检测部位距离最近的两个第一面部特征点作为定位轴特征点，这样得到的定位轴最接近待检测部位，基于定位轴对初始第一切面进行旋转，得到的中间第一切面能够更加准确地切分待检测部位对应的面部区域。

计算机设备基于待检测部位对应的旋转角度，将初始第一切面绕定位轴向预设方向旋转，得到中间第一切面。基于待检测部位对应的切面平移距离，将中间第一切面沿中间第一切面对应的预设法线方向平移得到目标第一切面。在实际实现过程中，可以采集大量的不同对象分别对应的面部点云数据，确定各个面部点云数据针对待检测部位分别对应的初始第一切面，进而基于面部点云数据确定各个对象分别对应的初始第一切面的最佳旋转角度和最佳切面平移距离，融合各个最佳旋转角度得到待检测部位对应的旋转角度，融合各个最佳切面平移距离得到待检测部位对应的切面平移距离。此外，可以针对不同年龄段、不同性别、不同地域的对象分别确定待检测部位对应的旋转角度和切面平移距离。其中，旋转初始第一切面的预设方向和预设法线方向是基于待检测部位与初始第一切面之间的位置关系确定的，使得初始第一切面向待检测部位所在位置旋转，使得中间第一切面向待检测部位所在位置平移。

上述实施例中，在得到初始第一切面后，将初始第一切面绕定位轴旋转，调整初始第一切面的角度，进而将中间第一切面沿中间第一切面的法线平移中间第一切面得到目标第一切面，能够使得第一切面逐步贴近待检测部位的最佳的切分边界，使得基于目标第一切面切分得到的待检测区域对应的面部区域更加准确。此外，定位轴可以是基于各个第一面部特征点中与待检测部位距离最近的两个第一面部特征点确定的，这样能够使得对初始第一切面的进行更少的变换操作，就能够得到目标第一切面，能够提高确定目标第一切面的效率。

在一个实施例中，基于各个第二面部特征点确定目标第二切面，包括：

将各个第二面部特征点所在的直线确定为待检测部位对应的辅助特征轴；在各个第二面部特征点中，确定与待检测部位关联的初始辅助特征点；基于待检测部位对应的辅助平移距离，将初始辅助特征点沿辅助特征轴平移，得到目标辅助特征点；将目标辅助特征点在辅助特征轴上对应的法平面作为目标第二切面。

其中，辅助特征轴是指用于确定目标第二切面的参考线。初始辅助特征点是指第二面部特征点中，用于定位目标第二切面的第二面部特征点。目标辅助特征点是指对初始辅助特征点的位置进行调节后得到的辅助特征点。

示例性地，计算机设备将各个第二面部特征点所在的直线确定为待检测部位对应的辅助特征轴，进而基于各个第二面部特征点与待检测部位之间的距离，将距离更近的第二面部特征的确定为与待检测部位关联的初始辅助特征点。基于面部点云数据确定目标对象对应的面部宽度，基于目标对象的面部宽度与标准的面部宽度之间的差异，调整待检测部位对应的标准的辅助平移距离，得到目标对象针对待检测部位的辅助平移距离，能够使得辅助平移距离能够适应不同的目标对象，提高辅助平移距离的准确性，从而使得目标第二切面更加准确。基于目标对象针对待检测部位的辅助平移距离，将初始辅助特征点沿辅助特征轴平移，使得得到的目标辅助特征点能够更加接近待检测部位的最佳切分边界。进而将目标辅助特征点在辅助特征轴上对应的法平面作为目标第二切面。

上述实施例中，基于各个第二面部特征点确定辅助特征轴，基于待检测部位对应的辅助平移距离，将辅助特征轴中与待检测部位关联的初始辅助特征点沿辅助特征轴平移，这样得到的目标辅助特征点能够更加接近待检测部位的最佳的切分边界，基于目标辅助特征点确定的目标第二切面能够更加准确。根据目标切面，对目标第一切面切分面部点云数据得到的面部区域进行进一步切分，能够准确地切除初步切分得到的面部区域中不属于待检测部位的区域，使得切分得到的待检测部位对应的闭合面部区域更加准确，提高面部体积识别的准确性。

在一个实施例中，基于目标第一切面、目标第二切面和面部点云数据确定待检测部位对应的闭合面部区域，包括：

获取各个第一面部特征点中的起始定位轴特征点和终止定位轴特征点分别在目标第一切面上对应的起始特征点和终止特征点；将从起始特征点指向终止特征点的定位轴作为纵轴，在目标第一切面上建立以起始特征点作为原点的空间坐标系；基于目标第一切面、目标第二切面对面部点云数据进行空间切分，得到多个候选区域；在空间坐标系中竖轴正方向对应的各个候选区域中，确定待检测部位对应的闭合面部区域。

其中，起始定位轴特征点是指各个第一面部特征点中，用于确定空间坐标系中原点的定位轴特征点。终止定位轴特征点是指用于与起始定位轴特征点共同确定定位轴的另一个定位轴特征点。候选区域是指由目标第一切面、目标第二切面对面部点云数据进行切分，得到的多个闭合区域，例如，当基于一个目标切面和一个目标第二切面对面部点云数据进行切分，得到4个候选区域。

示例性地，在直接将基于各个第一面部特征点确定的初始第一切面作为目标第一切面时，计算机设备直接将各个第一面部特征点中的起始定位轴特征点和终止定位轴特征点分别作为起始特征点和终止特征点。在根据初始第一切面与待检测部位之间的位置关系，对初始第一切面进行变换操作，得到目标第一切面时，将起始定位轴特征点和终止定位轴特征点经过变换操作得到的特征点分别作为起始特征点和终止特征点。将从起始特征点指向终止特征点的定位轴作为纵轴，根据右手定则在目标第一切面上，建立以起始特征点为原点的空间坐标系。基于目标第一切面、目标第二切面对面部点云数据进行切分，得到多个候选区域。在空间坐标系中竖轴正方向对应的各个候选区域中，将纵轴正方向对应的候选区域确定为待检测部位对应的闭合面部区域。

上述实施例中，基于将目标第一切面中从起始特征点指向终止特征点的定位轴确定为纵轴，进而根据右手定则，能够快速在目标第一切面上建立以起始特征点为原点的空间坐标系。这样得到的空间直角坐标系中的竖轴的正方向指向待检测部位对应的闭合面部区域，进而基于纵轴的指向，能够快速地在竖轴正方向对应的各个候选区域中，确定待检测部位对应的闭合面部区域，提高面部体积识别的效率。

在一个实施例中，计算闭合面部区域的体积作为待检测部位对应的部位体积，包括：

对闭合面部区域对应的部位点云数据进行三角网格化，得到部位点云数据对应的各个三角网格；三角网格由三个面部点构成；计算各个三角网格在目标第一切面上分别对应的投影面积；计算各个三角网格分别与目标第一切面的参考距离；基于三角网格对应的投影面积和参考距离，确定各个三角网格分别对应的网格体积；融合各个三角网格分别对应的网格体积，得到待检测部位对应的部位体积。

其中，部位点云数据是指闭合面部区域中包含的面部点云数据。三角网格是指将部位点云数据投影到目标第一切面内，在目标第一切面内进行平面内的三角化，选取通过三角化得到的任一一个样本三角片作为初始曲面，不断扩张曲面边界，最后形成一张部位点云数据对应的三角网格曲面模型，三角网格曲面模型中的每个三角片即为三角网格。面部点云数据中各个点为面部点，每个三角网格由三个面部点构成。三角网格与目标第一切面的参考距离用于表征三角网格与目标第一切面之间的距离。

示例性地，计算机设备对闭合面部区域对应的部位点云数据进行三角网格化，得到部位点云数据对应的各个三角网格。将各个三角网格投影至目标第一切面上，计算各个三角网格在目标第一切面上分别对应的投影面积。对于每个三角网格，可以计算三角网格中各个面部点与目标第一切面的距离的平均值，作为三角网格对应的参考距离。将三角网格对应的参考距离和投影面积之间乘积作为三角网格的网格体积，对各个三角网格分别对应的网格体积求和，得到待检测部位对应的部位体积。

上述实施例中，通过对部位点云数据进行三角网格化，并计算各个三角网格在目标第一切面上分别对应的投影面积，以及各个三角网格分别与目标第一切面之间的参考距离，进而基于同一三角网格对应的参考距离和投影面积，确定各个三角网格分别对应的网格体积，融合各个三角网格分别对应的网格体积，能够快速准确地得到待检测部位对应的部位体积，并且，可以通过调节三角网格化的精细程度，提高计算得到的待检测部位对应的部位体积的准确性。

在一个实施例中，面部数据处理方法还包括：

获取目标对象的待检测部位对应的历史体积；基于待检测部位对应的部位体积与历史体积之间的差异，得到目标对象对应的老化分数；将老化分数作为目标对象针对待检测部位的老化检测结果。

其中，历史体积是指以往通过本方案提出的面部数据处理方法，识别目标对象的待检测部位对应的部位体积，得到的待检测部位的历史的部位体积。老化分数用于表征目标对象的待检测部位对应的老化程度。

示例性地，计算机设备获取目标对象的待检测部位对应的历史体积。可以基于待检测部位对应的部位体积和历史体积之间的差值确定目标对象对应的老化分数，也可以基于待检测部位当前对应的部位体积和历史体积之间的比值确定目标对象对应的老化分数。由于面部衰老的表现从面形变化角度主要反映为面部整体下垂，当待检测部位为下颌缘时，面部老化会导致下颌缘区域体积会增大，老化分数与目标对象的老化程度呈正相关，当待检测部位为苹果肌时，面部老化会导致苹果肌区域体积减小，老化分数与目标对象的老化程度呈负相关。进而将老化分数作为待检测部位对应的老化检测结果。

上述实施例中，通过将待检测部位对应的部位体积与目标对象对应的历史体积进行比对得到老化分数，通过面部局部区域体积的变化，能够反映面部自然衰老的进程，也能反映面部抗衰护理的效果，实现对面部老化的定性评估。

在一个实施例中，目标对象为目标人脸，待检测部位为下颌缘，部位体积为下颌缘体积，第一参考部位为眼角、耳根和嘴角，第二参考部位为嘴角。

示例性地，如图6所示，当待检测部位为左侧下颌缘时，部位体积为左侧下颌缘体积，第一参考部位为左侧外眼角B1、左侧耳根A1和左侧嘴角O1，其中P3为目标第一切面，M为目标第二切面，待检测部位对应的闭合面部区域为基于目标第一切面和目标第二切面对面部点云数据进行切分得到的，图中箭头共同指向的闭合面部区域。当待检测部位为右侧下颌缘时，部位体积为右侧下颌缘体积，第一参考部位为右侧外眼角、右侧耳根和右侧嘴角。

上述实施例中，将与下颌缘同侧的耳根、嘴角和眼角作为第一参考部位，其中耳根和嘴角下颌缘距离较近，基于同侧耳根和同侧嘴角所在的轴线，对初始第一切面P1进行旋转平移操作，使得对初始第一切面的进行更少的变换操作，就能够得到目标第一切面P3。提高确定目标第一切面的效率。基于目标第一切面P3和目标第二切面M，能够快速准确地从面部点云数据中切分得到的下颌缘对应的面部闭合区域，提高面部体积识别的效率和准确性。

在一个具体的实施例中，本申请提出的面部数据处理方法可以用于评估面部局部体积变化，从而确定仪器对面部状态的改善效果。以左侧下颌缘体积为例，如图7所示，面部数据处理方法的流程包括获取待检测人脸的面部三维点云数据和RGB图像，提取关注区域内的特征点，建立关注区域对应的参考坐标系，提取关注区域对应的点云数据，计算关注区域的围合体积。面部数据处理方法包括以下步骤：

1、相关三维特征点提取

计算机设备根据关注区域（待检测部位），基于目标人脸对应的RGB图像和面部点云数据，提取面部点云数据中相关的三维特征点（即第一面部特征点和第二面部特征点）。例如，当关注区域为嘟嘟肉时，相关三维特征点为嘴角两点、对应侧耳根和对应侧内眼角；当关注区域为下颌缘时，相关三维特征点为嘴角两点、对应侧耳根和对应侧外眼角；当关注区域为下巴时，相关三维特征点为内眼角两点和嘴角两点；当关注区域为鼻部时，相关三维特征点为内眼角两点和嘴角两点；当关注区域为下巴时，相关三维特征点为嘴角两点；等等。

2、关注区域参考坐标系建立

如图8、图9所示，计算机设备基于左侧下颌缘对应的各个相关三维特征点中的各个第一面部特征点O1、A1、B1，求取初始第一切面P1（即特征面）。基于定位轴特征点O1和A1求取定位轴L1（即特征线）。将初始第一切面P1绕定位轴旋转待检测部位对应的旋转角度，得到中间第一切面P2。进而将中间第一切面P2沿自身垂线平移一定距离得到目标第一切面P3（XOY），同时L1同步平移得到L2，以O2为原点，L2为Y轴，基于右手法则建立参考坐标系，Z轴指向面外。

3、面部体积计算

如图9、图10所示，计算机设备基于左侧下颌缘对应的各个相关三维特征点中的各个第二面部特征点O1、D1，求取辅助特征轴K1（即方向参考线）。在各个第二面部特征点中确定初始辅助特征点O1。将初始辅助特征点O1延参考线平移，得到目标辅助特征点R1，过目标辅助特征点R1做辅助特征轴的垂面得到目标第二切面M1。还可以基于相同的方法，通过其他的特征点确定可以用于代替M1的其他的第二切面M2、M3等等。选取其中一个第二切面M1，由M1，参考坐标系中的 XOY面，即P3，即可与面部点云数据围成左侧下颌缘对应的闭合区域。

4、体积计算

计算机设备求取在参考坐标系下，面部点云数据对应的新的点云坐标，并在Z>0的部分点云中确定做出下颌缘对应的闭合区域。对闭合区域内的部位点云数据进行三角网格化，基于同一三角网格在XOY面上对应的网格投影面积，以及三角网格中各个面部点分别对应的Z值的平均值，分别计算各个三角网格单元的微体积。对闭合区域内各个三角网格单元分别对应的微体积求和，得到左侧下颌缘对应的空间体积。

上述实施例中，首次定义了一种基于三维点云，对面部局部区域进行体积量化评估的方法。该量化方法使得对同一对象不同次测量结果之间可以相互比对，根据比对结果确定对象的老化情况。本方法仅依据面部自然特征点进行程序化操作，反映的是所关注区域相对特征点所形成平面的相对围合体积，因此，测量对象不变时，因特征点不变，体积测量基准不变，从而使得同一对象在不同时期测得的部位体积之间具有可比性。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的面部数据处理方法的面部数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个面部数据处理装置实施例中的具体限定可以参见上文中对于面部数据处理方法的限定，在此不再赘述。

在一个实施例中，如图11所示，提供了一种面部数据处理装置，包括：点云数据获取模块1102、特征点提取模块1104、切面确定模块1106、面部区域确定模块1108和部位体积计算模块1110，其中：

点云数据获取模块1102，用于获取目标对象对应的面部点云数据。

特征点提取模块1104，用于从面部点云数据中，提取待检测部位的第一参考部位对应的多个第一面部特征点，提取待检测部位的第二参考部位对应的多个第二面部特征点。

切面确定模块1106，用于基于各个第一面部特征点确定目标第一切面，基于各个第二面部特征点确定目标第二切面。

面部区域确定模块1108，用于基于目标第一切面、目标第二切面和面部点云数据确定待检测部位对应的闭合面部区域。

部位体积计算模块1110，用于计算闭合面部区域的体积作为待检测部位对应的部位体积。

在一个实施例中，切面确定模块1106还用于：

将包含各个第一面部特征点的平面确定为待检测部位对应的初始第一切面；将各个第一面部特征点中的定位轴特征点所在的直线确定为初始第一切面对应的定位轴；基于待检测部位对应的旋转角度，绕定位轴旋转初始第一切面，得到中间第一切面；基于待检测部位对应的切面平移距离，将中间第一切面沿中间第一切面对应的预设法线方向平移，得到目标第一切面。

在一个实施例中，切面确定模块1106还用于：

将各个第二面部特征点所在的直线确定为待检测部位对应的辅助特征轴；在各个第二面部特征点中，确定与待检测部位关联的初始辅助特征点；基于待检测部位对应的辅助平移距离，将初始辅助特征点沿辅助特征轴平移，得到目标辅助特征点；将目标辅助特征点在辅助特征轴上对应的法平面作为目标第二切面。

在一个实施例中，切面确定模块1108还用于：

获取各个第一面部特征点中的起始定位轴特征点和终止定位轴特征点分别在目标第一切面上对应的起始特征点和终止特征点；将从起始特征点指向终止特征点的定位轴作为纵轴，在目标第一切面上建立以起始特征点作为原点的空间坐标系；基于目标第一切面、目标第二切面对面部点云数据进行空间切分，得到多个候选区域；在空间坐标系中竖轴正方向对应的各个候选区域中，确定待检测部位对应的闭合面部区域。

在一个实施例中，部位体积计算模块1110还用于：

对闭合面部区域对应的部位点云数据进行三角网格化，得到部位点云数据对应的各个三角网格；三角网格由三个面部点构成；计算各个三角网格在目标第一切面上分别对应的投影面积；计算各个三角网格分别与目标第一切面的参考距离；基于三角网格对应的投影面积和参考距离，确定各个三角网格分别对应的网格体积；融合各个三角网格分别对应的网格体积，得到待检测部位对应的部位体积。

在一个实施例中，如图12所示，面部数据处理装置还包括：

检测结果确定模块1202，用于获取目标对象的待检测部位对应的历史体积基于待检测部位对应的部位体积与历史体积之间的差异，得到目标对象对应的老化分数；将老化分数作为目标对象针对待检测部位的老化检测结果。

在一个实施例中，目标对象为目标人脸，待检测部位为下颌缘，部位体积为下颌缘体积，第一参考部位为眼角、耳根和嘴角，第二参考部位为嘴角。

上述面部数据处理装置，通过从面部点云数据中提取待检测部位对应的第一参考部位和第二参考部位分别对应的面部特征点，确定目标第一切面和目标第二切面。基于目标第一切面和目标第二切面能够快速准确地从面部点云数据中切分得到待检测部位对应的闭合面部区域，进而计算闭合面部区域的体积作为待检测部位的部位体积，能够提高面部体积识别效率，同时能够提高面部体积识别的准确性。

上述面部数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图13所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储面部点云数据、部位体积等数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种面部数据处理方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图14所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种面部数据处理方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图13、14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种面部数据处理方法，其特征在于，所述方法包括：

获取目标对象对应的面部点云数据；

从所述面部点云数据中，提取待检测部位的第一参考部位对应的多个第一面部特征点，提取所述待检测部位的第二参考部位对应的多个第二面部特征点；

基于各个第一面部特征点确定目标第一切面，基于各个第二面部特征点确定目标第二切面；

获取所述各个第一面部特征点中的起始定位轴特征点和终止定位轴特征点分别在所述目标第一切面上对应的起始特征点和终止特征点；将从所述起始特征点指向所述终止特征点的定位轴作为纵轴，在所述目标第一切面上建立以所述起始特征点作为原点的空间坐标系；基于所述目标第一切面、所述目标第二切面对所述面部点云数据进行空间切分，得到多个候选区域；在所述空间坐标系中竖轴正方向对应的各个候选区域中，确定所述待检测部位对应的闭合面部区域；

计算所述闭合面部区域的体积作为所述待检测部位对应的部位体积。

2.根据权利要求1所述的方法，其特征在于，所述基于各个第一面部特征点确定目标第一切面，包括：

将包含各个第一面部特征点的平面确定为所述待检测部位对应的初始第一切面；

将所述各个第一面部特征点中的定位轴特征点所在的直线确定为所述初始第一切面对应的定位轴；

基于所述待检测部位对应的旋转角度，绕所述定位轴旋转所述初始第一切面，得到中间第一切面；

基于所述待检测部位对应的切面平移距离，将所述中间第一切面沿所述中间第一切面对应的预设法线方向平移，得到目标第一切面。

3.根据权利要求1所述的方法，其特征在于，所述基于各个第二面部特征点确定目标第二切面，包括：

将各个第二面部特征点所在的直线确定为所述待检测部位对应的辅助特征轴；

在各个第二面部特征点中，确定与所述待检测部位关联的初始辅助特征点；

基于所述待检测部位对应的辅助平移距离，将所述初始辅助特征点沿所述辅助特征轴平移，得到目标辅助特征点；

将所述目标辅助特征点在所述辅助特征轴上对应的法平面作为目标第二切面。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

基于所述面部点云数据确定所述目标对象对应的面部宽度；

基于所述面部宽度与标准的面部宽度之间的差异，调整所述待检测部位对应的标准的辅助平移距离，得到所述目标对象针对所述待检测部位的辅助平移距离。

5.根据权利要求1所述的方法，其特征在于，所述计算所述闭合面部区域的体积作为所述待检测部位对应的部位体积，包括：

对所述闭合面部区域对应的部位点云数据进行三角网格化，得到所述部位点云数据对应的各个三角网格；所述三角网格由三个面部点构成；

计算各个三角网格在所述目标第一切面上分别对应的投影面积；

计算所述各个三角网格分别与所述目标第一切面的参考距离；

基于所述三角网格对应的投影面积和参考距离，确定所述各个三角网格分别对应的网格体积；

融合所述各个三角网格分别对应的网格体积，得到所述待检测部位对应的部位体积。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述目标对象的待检测部位对应的历史体积；

基于所述待检测部位对应的部位体积与所述历史体积之间的差异，得到所述目标对象对应的老化分数；

将所述老化分数作为所述目标对象针对所述待检测部位的老化检测结果。

7.根据权利要求1至6任意一项所述的方法，其特征在于，所述目标对象为目标人脸，所述待检测部位为下颌缘，所述部位体积为下颌缘体积，所述第一参考部位为眼角、耳根和嘴角，所述第二参考部位为嘴角。

8.一种面部数据处理装置，其特征在于，所述装置包括：

点云数据获取模块，用于获取目标对象对应的面部点云数据；

特征点提取模块，用于从所述面部点云数据中，提取待检测部位的第一参考部位对应的多个第一面部特征点，提取所述待检测部位的第二参考部位对应的多个第二面部特征点；

切面确定模块，用于基于各个第一面部特征点确定目标第一切面，基于各个第二面部特征点确定目标第二切面；

面部区域确定模块，用于获取所述各个第一面部特征点中的起始定位轴特征点和终止定位轴特征点分别在所述目标第一切面上对应的起始特征点和终止特征点；将从所述起始特征点指向所述终止特征点的定位轴作为纵轴，在所述目标第一切面上建立以所述起始特征点作为原点的空间坐标系；基于所述目标第一切面、所述目标第二切面对所述面部点云数据进行空间切分，得到多个候选区域；在所述空间坐标系中竖轴正方向对应的各个候选区域中，确定所述待检测部位对应的闭合面部区域；

部位体积计算模块，用于计算所述闭合面部区域的体积作为所述待检测部位对应的部位体积。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。