CN109191584B - 三维模型处理方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请提出一种三维模型处理方法、装置、电子设备以及可读存储介质，其中，方法包括：通过获取三维模型；其中，所三维模型包括多个关键点，以及包括将相邻关键点作为顶点进行连线得到的多个剖分平面；对三维模型中各区域，根据各区域内剖分平面的角度信息，确定各区域对应的目标关键点密度；根据各区域对应的目标关键点密度，对三维模型中对应区域的关键点密度进行调整。该方法通过对三维模型中关键点密度的调整，使得不同区域采用不同的关键点密度，不仅保持了三维模型的细节精确度，同时也大大降低了整个模型的关键点数量，从而大大减少内存占用，提高了处理速度。

Description

三维模型处理方法、装置、电子设备及可读存储介质

技术领域

本申请涉及移动终端技术领域，尤其涉及一种三维模型处理方法、装置、电子设备以及可读存储介质。

背景技术

三维模型重建是建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。通常通过对三维模型中关键点进行处理，实现模型的重建。

在实际操作中，对三维模型中各处均采用的是相同的关键点密度进行处理，关键点密度的设置对三维模型的呈现具有较大影响。一方面，如果关键点密度较高，生成较为精细的人脸三维模型，就需要生成大量的关键点，不仅会占用大量的内存空间，而且三维模型处理速度较慢。另一方面，如果采用较少的关键点，则会影响三维模型的精细度。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请提出一种三维模型处理方法，以实现通过对三维模型中关键点密度的调整，使得不同区域采用不同的关键点密度，不仅保持了三维模型的细节精确度，同时也大大降低了整个模型的关键点数量，从而大大减少内存占用，提高了处理速度。

本申请提出一种三维模型处理装置。

本申请提出一种电子设备。

本申请提出一种计算机可读存储介质。

本申请一方面实施例提出了一种三维模型处理方法，包括：

获取三维模型；其中，所述三维模型包括多个关键点，以及包括将相邻关键点作为顶点进行连线得到的多个剖分平面；

对所述三维模型中各区域，根据各区域内剖分平面的角度信息，确定各区域对应的目标关键点密度；

根据各区域对应的目标关键点密度，对所述三维模型中对应区域的关键点密度进行调整。

本申请实施例的三维模型处理方法，通过获取三维模型；其中，所三维模型包括多个关键点，以及包括将相邻关键点作为顶点进行连线得到的多个剖分平面；对三维模型中各区域，根据各区域内剖分平面的角度信息，确定各区域对应的目标关键点密度；根据各区域对应的目标关键点密度，对三维模型中对应区域的关键点密度进行调整。该方法通过对三维模型中关键点密度的调整，使得不同区域采用不同的关键点密度，不仅保持了三维模型的细节精确度，同时也大大降低了整个模型的关键点数量，从而大大减少内存占用，提高了处理速度。

本申请又一方面实施例提出了一种三维模型处理装置，包括：

获取模块，用于获取三维模型；其中，所述三维模型包括多个关键点，以及包括将相邻关键点作为顶点进行连线得到的多个剖分平面；

确定模块，用于对所述三维模型中各区域，根据各区域内剖分平面的角度信息，确定各区域对应的目标关键点密度；

调整模块，用于根据各区域对应的目标关键点密度，对所述三维模型中对应区域的关键点密度进行调整。

本申请实施例的三维模型处理装置，通过获取三维模型；其中，所三维模型包括多个关键点，以及包括将相邻关键点作为顶点进行连线得到的多个剖分平面；对三维模型中各区域，根据各区域内剖分平面的角度信息，确定各区域对应的目标关键点密度；根据各区域对应的目标关键点密度，对三维模型中对应区域的关键点密度进行调整。该方法通过对三维模型中关键点密度的调整，使得不同区域采用不同的关键点密度，不仅保持了三维模型的细节精确度，同时也大大降低了整个模型的关键点数量，从而大大减少内存占用，提高了处理速度。

本申请又一方面实施例提出了一种电子设，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本申请前述实施例所述的三维模型处理方法。

本申请又一方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如前述实施例所述的三维模型处理方法。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例提供的一种三维模型处理方法的流程示意图；

图2为本申请实施例提供的确定各区域平坦程度的流程示意图；

图3为本申请实施例提供的另一种三维模型处理方法流程示意图；

图4为本申请实施例提供的一种三维模型处理装置的结构示意图；

图5为本申请实施例提供的另一种三维模型处理装置的结构示意图；

图6为一个实施例中电子设备的内部结构示意图；

图7为作为一种可能的实现方式的图像处理电路的示意图；

图8为作为另一种可能的实现方式的图像处理电路的示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的三维模型处理方法和装置。

图1为本申请实施例所提供的一种三维模型处理方法的流程示意图。

本申请实施例中，电子设备可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。

如图1所示，该三维模型处理方法包括以下步骤：

步骤101，获取三维模型；其中，三维模型包括多个关键点，以及包括将相邻关键点作为顶点进行连线得到的多个剖分平面。

本实施例中获取的三维模型，包括多个关键点以及将相邻关键点作为顶点进行连线得到的多个剖分平面。其中，关键点以及剖分平面可以采用三维坐标的形式表示出来。

作为一种示例，本实施例中获取到的三维模型可以是人脸的三维模型，人脸的三维模型的获取，是根据深度信息和人脸图像，进行三维重构得到的，而不是简单的获取RGB数据和深度数据。

作为一种可能的实现方式，可以将深度信息与二维人脸图像对应的色彩信息进行融合，得到人脸三维模型。具体地，可以基于人脸关键点检测技术，从深度信息提取人脸的关键点，以及从色彩信息中提取人脸的关键点，而后将从深度信息中提取的关键点和从色彩信息中提取的关键点，进行配准和关键点融合处理，最终根据融合后的关键点，生成人脸三维模型。其中，关键点为人脸上显眼的点，或者为关键位置上的点，例如关键点可以为眼角、鼻尖、嘴角等。

进一步的，可以基于人脸关键点检测技术，对人脸图像进行关键点识别，得到人脸图像对应的关键点，从而可以根据各关键点在三维空间中的相对位置，将相邻关键点作为顶点进行连线得到的多个剖分平面。

步骤102，对三维模型中各区域，根据各区域内剖分平面的角度信息，确定各区域对应的目标关键点密度。

本申请实施例中，可以根据预设的半径，将三维模型划分为多个区域，在各个区域内包含多个剖分平面，进而得到各剖分平面的角度信息。

作为一种可能的实现方式，各剖分平面的角度信息可以是与相邻剖分平面之间的夹角，获得各剖分平面后，通过相邻剖分平面之间的夹角，即可得到各剖分平面的角度信息。

进一步的说明，各区域内剖分平面的角度信息与各区域的平坦程度存在一定的对应关系，当各区域内剖分平面的角度越大时，说明该区域平坦程度越低；当各区域内剖分平面的角度越小时，说明该区域越平坦。若相邻两个一起的平坦程度之间的差异低于差异阈值，则将该相邻两个区域进行合并，其中，差异阈值，是根据三维模型整体的结构预先设定的。

作为一种示例，在人脸三维模型中，通过计算各区域内两个相邻剖分平面之间的夹角，可判断脸部各区域的平坦程度。例如，当某一区域内两个相邻剖分平面位于人脸的面部区域时，该相邻剖分平面之间的夹角可能为2度，说明人脸的面部区域比较平坦；当某一区域内的两个相邻剖分平面，一个位于人脸的面部区域时，另一个位于鼻子上时，该相邻剖分平面之间的夹角可能为60度，此时说明该区域内的平坦程度比较低。

根据确定的三维模型中各区域的平坦程度，进一步的确定各区域内对应的目标关键点密度，具体地，当判断区域内比较平坦时，该区域内对应的目标关键点可以设定相对少一些；当判断区域内平坦程度比较低时，该区域内对应的目标关键点可以设定较多的关键点。

作为一种示例，对于人脸三维模型中目标关键点密度的确定，在比较平坦的区域，较少的目标关键点即可识别出该区域的人脸模型，因此，对于相对比较平坦的面部、额头区域，设置的目标关键点密度相对比较低。然而，对于眼睛、嘴唇等细节比较丰富的区域，设置较少的目标关键点，可能不会清楚的识别出该区域的人脸模型，因此设置的目标关键点密度相对比较高。

步骤103，根据各区域对应的目标关键点密度，对三维模型中对应区域的关键点密度进行调整。

具体地，通过比对三维模型各区域中当前的关键点密度，与对应区域内的目标关键点密度的高低，进而对三维模型中各区域的关键点密度进行调整。

作为一种可能的实现方式，三维模型中某区域的关键点密度高于对应的目标关键点密度，需要删除该区域内的部分关键点，使得删除一些关键点后该区域内的关键点密度小于或等于对应的目标关键点密度。进而将该区域内保留的关键点中的相邻关键点作为顶点重新进行连线。

本申请实施例的三维模型处理方法，通过获取三维模型；其中，所三维模型包括多个关键点，以及包括将相邻关键点作为顶点进行连线得到的多个剖分平面；对三维模型中各区域，根据各区域内剖分平面的角度信息，确定各区域对应的目标关键点密度；根据各区域对应的目标关键点密度，对三维模型中对应区域的关键点密度进行调整。本申请中，通过对三维模型中关键点密度的调整，使得不同区域采用不同的关键点密度，不仅保持了三维模型的细节精确度，同时也大大降低了整个模型的关键点数量，从而大大减少内存占用，提高了处理速度。

作为一种可能的实现方式，对三维模型中各区域，根据各区域内剖分平面的角度信息，确定各区域的平坦程度，进而确定对应的关键点密度。为了能够准确的确定三维模型中各区域的平坦程度，本申请实施例中，根据三维模型各区域内相邻顶点的法向量之间的夹角，确定各区域的平坦程度，参见图2，步骤102具体可以包括以下子步骤：

步骤201，对三维模型中各区域，确定各区域内剖分平面的法向量。

本申请实施例中，可以根据预设的半径，将三维模型划分为多个区域，在各个区域内均将相邻关键点作为顶点进行连接，进而得到多个剖分平面。

进一步的，得到各区域的剖分平面后，进一步的确定各剖分平面的法向量，其中，平面的法向量是确定平面位置的重要向量，是指与平面垂直的非零向量。

步骤202，根据包含同一顶点的剖分平面的法向量，确定同一顶点的法向量。

具体地，当三维模型中多个剖分平面包含同一顶点时，对包含同一顶点的多个剖分平面的法向量进行求和，进而求和得到的法向量，即为该顶点的法向量。

例如，对于三维模型中的任意顶点X,在该模型中有三个剖分平面A、B、C同时包含顶点X，则确定剖分平面A、B、C的法向量后，对三个平面的法向量进行求和，求和得到的向量即为顶点X的向量。

需要说明的是，在三维模型中，对光照的反射取决于顶点法向量的设置，如果各顶点法向量计算正确，则显示出的三维模型比较光滑，而且有光泽，否则，显示的三维模型会出现棱角分明，而且模糊不清的情况。

步骤203，根据各区域内相邻顶点的法向量之间的夹角，确定各区域的平坦程度。

具体地，通过步骤202中确定顶点法向量的方法，确定三维模型中各顶点的法向量。对于三维模型中每一区域内的各顶点，确定各顶点的法向量与相邻顶点的法向量之间的夹角，进一步的，对于在同一区域内确定的各顶点的法向量与相邻顶点的法向量之间的夹角，计算夹角的平均值。最后判断得到的每一区域的夹角平均值是否大于预设的角度阈值，进而判断该区域是否平坦。其中，角度阈值是根据三维模型的整体结构提前设定的值。

当得到三维模型中某一区域内各顶点的法向量与相邻顶点的法向量的夹角平均值大于预设的角度阈值时，则说明该区域不平坦。当得到三维模型中某一区域内各顶点的法向量与相邻顶点的法向量的夹角平均值小于预设的角度阈值时，则说明该区域平坦。

作为一种可能的实现方式，三维模型中各区域可以设定相同的阈值，以简化运算量。

作为另一种可能的实现方式，三维模型中各区域还可以设定不同的阈值，从而提高模型精细度。

本申请实施例的三维模型处理方法，通过对三维模型中各区域，确定各区域内剖分平面的法向量，进而根据包含同一顶点的剖分平面的法向量，确定同一顶点的法向量，最终根据各区域内相邻顶点的法向量之间的夹角，确定各区域的平坦程度。由此，可以确定三维模型各区域的平坦程度，从而确定各区域内顶点的数量，进一步的提高三维模型的处理效率。

作为一种示例，本申请实施例中以人脸三维模型为例，对人脸三维模型进行简化，进而得到简化后的三维模型，图3为本申请实施例提供的另一种三维模型处理方法流程示意图。

如图3所示，该三维模型处理方法包括：

步骤301，获取高密度顶点的人脸三维模型。其中，三维模型包括多个顶点，以及包括将相邻顶点进行连线得到的多个剖分平面。

本申请实施例中，获取人脸三维模型的方法，与前述实施例中步骤101中获取三维模型的方法相似，此处不再赘述。

步骤302，计算人脸三维模型中各顶点的法向量。

需要说明的是，在人脸三维模型中，对光照的反射取决于各顶点法向量的设置，如果各顶点法向量计算正确，则显示出的三维模型比较光滑，而且有光泽，否则，显示的三维模型会出现棱角分明，而且模糊不清的情况。

本申请实施例中，首先根据预设的半径，将三维模型划分为多个区域，在各个区域内均将相邻关键点作为顶点进行连接，从而得到多个剖分平面，进一步的确定各剖分平面的法向量。

具体地，对于人脸三维模型中的各顶点，找出所有包含该顶点的剖分平面，对各剖分平面的法向量进行求和，进而求和得到的法向量，即为该顶点的法向量。

步骤303，对人脸三维模型各区域，计算相邻顶点法向量之间的夹角。

具体地，对于人脸三维模型中每一区域内的各顶点，通过计算获得各顶点的法向量与相邻顶点的法向量之间的夹角。进一步的，对于在同一区域内确定的各顶点的法向量与相邻顶点的法向量之间的夹角，计算夹角的平均值。

作为一种可能的情况，计算得到某一区域的夹角平均值越大，则说明该区域越为精细，如眼睛、嘴唇等细节较为丰富的区域。

作为另一种可能的情况，计算得到某一区域的夹角平均值越小，则说明该区域较为平坦，如人脸的面部、额头等较为平坦的区域。

步骤304，对三维模型中各区域中的顶点进行低通滤波。

具体地，对于人脸三维模型中每一区域内的各顶点，通过计算获得各顶点的法向量与相邻顶点的法向量之间的夹角之后，根据夹角取值进行低通滤波处理，过滤掉异常高的夹角对应的顶点。由于夹角越大，说明剖分平面角度变化越大，通过删除掉夹角较大的顶点，使得各区域更加平滑。

步骤305，根据各区域内相邻顶点的法向量之间的夹角，确定各区域的目标关键点密度。

本申请实施例中，将三维模型中各区域内夹角的平均值与预先设定的角度阈值进行比较，确定各区域的目标关键点密度，这里的目标关键点密度可以是预设的顶点密度规格中的一个，预设的顶点密度规格可以包括高密度顶点规格和低密度顶点规格。其中，预设的角度阈值可以根据所需的效果进行灵活调节阈值的大小，或者设定多个等级的阈值。

在一种场景下，当得到三维模型中某一区域内各顶点的法向量与相邻顶点的法向量的夹角平均值大于预设的角度阈值时，说明该区域不够平坦，因此可采用高密度顶点规格对该区域内的顶点进行处理。

在另一种场景下，当得到三维模型中某一区域内各顶点的法向量与相邻顶点的法向量的夹角平均值小于预设的角度阈值时，说明该区域平坦，因此可采用低密度顶点规格对该区域内的顶点进行处理。

上述确定三维模型各区域是否平坦的过程，可以称为对三维模型的各区域进行二值化处理过程。进一步的，在进行二值化处理过程之前，若相邻两个区域的平坦程度之间的差异低于差异阈值，可以采用形态学处理和连通域求解方法，对所述相邻两个区域进行合并，从而减少后续二值化以及模型关键点简化的运算量，同时，也能够使得三维模型各区域更加连贯。

步骤306，目标关键点密度为低密度顶点规格的区域，进行关键点简化处理，得到简化后的三维模型。

具体地，对该区域内的关键点进行简化，例如，隔4个关键点取1个。由于相对平坦的区域内，对关键点的简化，不仅不会影响三维模型的成像，还会大大降低整个三维模型的顶点数量。删除对应区域内的部分关键点，以使删除关键点后关键点密度小于或等于所述目标关键点密度之后，将对应区域内保留的关键点中的相邻关键点作为顶点重新进行连线，从而得到简化后的三维模型。

本申请实施例的三维模型处理方法，通过获取高密度顶点的人脸三维模型。其中，三维模型包括多个顶点，以及包括将相邻顶点进行连线得到的多个剖分平面；计算人脸三维模型中各顶点的法向量；进而对人脸三维模型各区域，计算相邻顶点法向量之间的夹角；然后对三维模型中各区域中的顶点进行低通滤波，根据各区域内相邻顶点的法向量之间的夹角，确定各区域的目标关键点密度，最后目标关键点密度为低密度顶点规格的区域进行关键点简化处理，得到简化后的人脸三维模型。由此，通过对人脸不同区域采用不同的顶点规格，保持人脸三维模型细节精确的同时，不仅降低了整个三维模型的顶点数量，还减小了内存，提高了人脸三维模型的处理速度。

为了实现上述实施例，本申请还提出一种三维模型处理装置。

图4为本申请实施例提供的一种三维模型处理装置的结构示意图。

如图4所示，该三维模型处理装置100包括：获取模块110、确定模块120，以及调整模块130。

获取模块110，用于获取三维模型；其中，三维模型包括多个关键点，以及包括将相邻关键点作为顶点进行连线得到的多个剖分平面。

确定模块120，用于对三维模型中各区域，根据各区域内剖分平面的角度信息，确定各区域对应的目标关键点密度。

调整模块130，用于根据各区域对应的目标关键点密度，对三维模型中对应区域的关键点密度进行调整。

作为一种可能的实现方式，确定模块120，还用于对三维模型中各区域，根据各区域内剖分平面的角度信息，确定各区域的平坦程度；

根据各区域的平坦程度，确定对应的目标关键点密度。

作为一种可能的实现方式，确定模块120，还用于对三维模型中各区域，确定各区域内剖分平面的法向量；根据包含同一顶点的剖分平面的法向量，确定同一顶点的法向量；根据各区域内相邻顶点的法向量之间的夹角，确定各区域的平坦程度。

作为一种可能的实现方式，确定模块120，还包括：

确定单元，用于在每一区域内，确定各顶点的法向量与相邻顶点的法向量之间的夹角。

计算单元，用于根据各顶点的法向量与相邻顶点的法向量之间的夹角，计算夹角平均值；

判断单元，用于根据夹角平均值是否大于预设角度阈值，判断是否平坦。

作为一种可能的实现方式，确定单元，具体还用于对包含同一顶点的剖分平面的法向量进行求和；根据求和得到的法向量，确定同一顶点的法向量。

作为一种可能的实现方式，参见图5，该三维模型处理装置100，还包括：

划定模块140，用于根据预设半径，在三维模型中划定各区域。

合并模块150，用于若相邻两个区域的平坦程度之间的差异低于差异阈值，对相邻两个区域进行合并。

作为一种可能的实现方式，调整模块130，还用于对于当前关键点密度高于目标关键点密度的区域，删除对应区域内的部分关键点，以使删除关键点后关键点密度小于或等于目标关键点密度；将对应区域内保留的关键点中的相邻关键点作为顶点重新进行连线。

本申请实施例的三维模型处理方法，通过获取三维模型；其中，所三维模型包括多个关键点，以及包括将相邻关键点作为顶点进行连线得到的多个剖分平面；对三维模型中各区域，根据各区域内剖分平面的角度信息，确定各区域对应的目标关键点密度；根据各区域对应的目标关键点密度，对三维模型中对应区域的关键点密度进行调整。本申请中，通过对三维模型中关键点密度的调整，使得不同区域采用不同的关键点密度，不仅保持了三维模型的细节精确度，同时也大大降低了整个模型的关键点数量，从而大大减少内存占用，提高了处理速度。

需要说明的是，前述对三维模型处理方法实施例的解释说明也适用于该实施例的三维模型处理装置，此处不再赘述。

为了实现上述实施例，本申请还提出电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如前述实施例所述的三维模型处理方法。

图6为一个实施例中电子设备200的内部结构示意图。该电子设备200包括通过系统总线210连接的处理器220、存储器230、显示器240和输入装置250。其中，电子设备200的存储器230存储有操作系统和计算机可读指令。该计算机可读指令可被处理器220执行，以实现本申请实施方式的人脸识别方法。该处理器220用于提供计算和控制能力，支撑整个电子设备200的运行。电子设备200的显示器240可以是液晶显示屏或者电子墨水显示屏等，输入装置250可以是显示器240上覆盖的触摸层，也可以是电子设备200外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该电子设备200可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的示意图，并不构成对本申请方案所应用于其上的电子设备200的限定，具体的电子设备200可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

作为一种可能的实现方式，请参阅图7，提供了本申请实施例的图像处理电路，图像处理电路可利用硬件和/或软件组件实现。

如图7，该图像处理电路具体包括：图像单元310、深度信息单元320和处理单元330。其中，

图像单元310，用于输出二维的图像。

深度信息单元320，用于输出深度信息。

本申请实施例中，可以通过图像单元310，获取二维的图像，以及通过深度信息单元320，获取图像对应的深度信息。

处理单元330，分别与图像单元310和深度信息单元320电性连接，用于根据图像单元获取的二维的图像，以及深度信息单元获取的对应的深度信息，识别与图像中匹配的目标三维模板，输出目标三维模块关联的信息。

本申请实施例中，图像单元310获取的二维图像可以发送至处理单元330，以及深度信息单元320获取的图像对应的深度信息可以发送至处理单元330，处理单元330可以根据图像以及深度信息，识别与图像中匹配的目标三维模板，输出目标三维模块关联的信息。具体的实现过程，可以参见上述图1至图3实施例中对三维模型处理的方法的解释说明，此处不做赘述。

进一步地，作为本申请一种可能的实现方式，参见图8，在图7所示实施例的基础上，该图像处理电路还可以包括：

作为一种可能的实现方式，图像单元310具体可以包括：电性连接的图像传感器311和图像信号处理(Image Signal Processing，简称ISP)处理器312。其中，

图像传感器311，用于输出原始图像数据。

ISP处理器312，用于根据原始图像数据，输出图像。

本申请实施例中，图像传感器311捕捉的原始图像数据首先由ISP处理器312处理，ISP处理器312对原始图像数据进行分析以捕捉可用于确定图像传感器311的一个或多个控制参数的图像统计信息，包括YUV格式或者RGB格式的图像。其中，图像传感器311可包括色彩滤镜阵列(如Bayer滤镜)，以及对应的感光单元，图像传感器311可获取每个感光单元捕捉的光强度和波长信息，并提供可由ISP处理器312处理的一组原始图像数据。ISP处理器312对原始图像数据进行处理后，得到YUV格式或者RGB格式的图像，并发送至处理单元330。

其中，ISP处理器312在对原始图像数据进行处理时，可以按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器312可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

作为一种可能的实现方式，深度信息单元320，包括电性连接的结构光传感器321和深度图生成芯片322。其中，

结构光传感器321，用于生成红外散斑图。

深度图生成芯片322，用于根据红外散斑图，输出深度信息；深度信息包括深度图。

本申请实施例中，结构光传感器321向被摄物投射散斑结构光，并获取被摄物反射的结构光，根据反射的结构光成像，得到红外散斑图。结构光传感器321将该红外散斑图发送至深度图生成芯片322，以便深度图生成芯片322根据红外散斑图确定结构光的形态变化情况，进而据此确定被摄物的深度，得到深度图(Depth Map)，该深度图指示了红外散斑图中各像素点的深度。深度图生成芯片322将深度图发送至处理单元330。

作为一种可能的实现方式，处理单元330，包括：电性连接的CPU331和GPU(Graphics Processing Unit，图形处理器)332。其中，

CPU331，用于根据标定数据，对齐图像与深度图，根据对齐后的图像与深度图，输出三维模型。

GPU332，用于根据三维模型，确定匹配的目标三维模板，输出目标三维模板关联的信息。

本申请实施例中，CPU331从ISP处理器312获取到图像，从深度图生成芯片322获取到深度图，结合预先得到的标定数据，可以将二维图像与深度图对齐，从而确定出图像中各像素点对应的深度信息。进而，CPU331根据深度信息和图像，进行三维重构，得到三维模型。

CPU331将三维模型发送至GPU332，以便GPU332根据三维模型执行如前述实施例中描述的三维模型处理方法，实现关键点简化，得到简化后的三维模型。

具体地，GPU332可以根据三维模型，确定匹配的目标三维模板，而后根据目标三维模板关联的信息，在图像中进行标注，输出标注信息的图像。

进一步地，图像处理电路还可以包括：显示单元340。

显示单元340，与GPU332电性连接，用于对标注信息的图像进行显示。

具体地，GPU332处理得到的美化后的图像，可以由显示器340显示。

可选地，图像处理电路还可以包括：编码器350和存储器360。

本申请实施例中，GPU332处理得到的美化后的图像，还可以由编码器350编码后存储至存储器360，其中，编码器350可由协处理器实现。

在一个实施例中，存储器360可以为多个，或者划分为多个存储空间，存储GPU312处理后的图像数据可存储至专用存储器，或者专用存储空间，并可包括DMA(Direct MemoryAccess，直接直接存储器存取)特征。存储器360可被配置为实现一个或多个帧缓冲器。

下面结合图8，对上述过程进行详细说明。

如图8所示，图像传感器311捕捉的原始图像数据首先由ISP处理器312处理，ISP处理器312对原始图像数据进行分析以捕捉可用于确定图像传感器311的一个或多个控制参数的图像统计信息，包括YUV格式或者RGB格式的图像，并发送至CPU331。

如图8所示，结构光传感器321向被摄物投射散斑结构光，并获取被摄物反射的结构光，根据反射的结构光成像，得到红外散斑图。结构光传感器321将该红外散斑图发送至深度图生成芯片322，以便深度图生成芯片322根据红外散斑图确定结构光的形态变化情况，进而据此确定被摄物的深度，得到深度图(Depth Map)。深度图生成芯片322将深度图发送至CPU331。

CPU331从ISP处理器312获取到二维图像，从深度图生成芯片322获取到深度图，结合预先得到的标定数据，可以将人脸图像与深度图对齐，从而确定出图像中各像素点对应的深度信息。进而，CPU331根据深度信息和二维图像，进行三维重构，得到简化的三维模型。

CPU331将三维模型发送至GPU332，以便GPU332根据三维模型执行如前述实施例中描述的三维模型处理方法，实现三维模型的简化，得到简化后的三维模型。GPU332处理得到的简化后的三维模型，可以由显示器340显示，和/或，由编码器350编码后存储至存储器360。

为了实现上述实施例，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本申请前述实施例提出的三维模型处理方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种三维模型处理方法，其特征在于，所述方法包括以下步骤：

获取高密度顶点的人脸三维模型；其中，所述人脸三维模型包括多个顶点，以及包括将相邻顶点进行连线得到的多个剖分平面；

计算所述人脸三维模型中各顶点的法向量；

对所述人脸三维模型各区域，计算相邻顶点法向量之间的夹角；

对所述人脸三维模型中各区域中的顶点进行低通滤波，其中，根据各顶点的法向量与相邻顶点的法向量之间的夹角进行所述低通滤波，以过滤异常高的夹角对应的顶点；

根据各区域内相邻顶点的法向量之间的夹角，确定各区域的目标关键点密度，其中，目标关键点密度为预设的顶点密度规格中的一个，所述顶点密度规格包括高密度顶点规格和低密度顶点规格，当区域内各顶点与相邻顶点的法向量的夹角的平均值大于预设的角度阈值时，采用所述高密度顶点规格对区域内的顶点进行处理，当区域内各顶点与相邻顶点的法向量的夹角的平均值小于预设的角度阈值时，采用所述低密度顶点规格对区域内的顶点进行处理；

对所述目标关键点为所述低密度顶点规格的区域，进行关键点简化处理，得到简化后的人脸三维模型，其中，删除区域内的部分关键点，以使删除关键点后关键点密度小于或等于所述目标关键点密度，并将区域内保留的关键点中的相邻关键点作为顶点重新进行连线。

2.根据权利要求1所述的三维模型处理方法，其特征在于，还包括：

根据预设半径，在所述三维模型中划定各区域。

3.根据权利要求2所述的三维模型处理方法，其特征在于，还包括：

若相邻两个区域的平坦程度之间的差异低于差异阈值，对所述相邻两个区域进行合并。

4.一种三维模型处理装置，其特征在于，所述装置包括：

获取模块，用于获取高密度顶点的人脸三维模型；其中，所述人脸三维模型包括多个顶点，以及包括将相邻顶点进行连线得到的多个剖分平面；

确定模块，用于计算所述人脸三维模型中各顶点的法向量，对所述人脸三维模型各区域，计算相邻顶点法向量之间的夹角，对所述人脸三维模型中各区域中的顶点进行低通滤波，其中，根据各顶点的法向量与相邻顶点的法向量之间的夹角进行所述低通滤波，以过滤异常高的夹角对应的顶点，以及根据各区域内相邻顶点的法向量之间的夹角，确定各区域的目标关键点密度，其中，目标关键点密度为预设的顶点密度规格中的一个，所述顶点密度规格包括高密度顶点规格和低密度顶点规格，当区域内各顶点与相邻顶点的法向量的夹角的平均值大于预设的角度阈值时，采用所述高密度顶点规格对区域内的顶点进行处理，当区域内各顶点与相邻顶点的法向量的夹角的平均值小于预设的角度阈值时，采用所述低密度顶点规格对区域内的顶点进行处理，当区域内各顶点与相邻顶点的法向量的夹角的平均值小于预设的角度阈值时，采用所述低密度顶点规格对区域内的顶点进行处理；

调整模块，用于对所述目标关键点为所述低密度顶点规格的区域，进行关键点简化处理，得到简化后的人脸三维模型，其中，删除区域内的部分关键点，以使删除关键点后关键点密度小于或等于所述目标关键点密度，并将区域内保留的关键点中的相邻关键点作为顶点重新进行连线。

5.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-3中任一所述的三维模型处理方法。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一所述的三维模型处理方法。

Images