CN113112617A - 一种三维图像的处理方法、装置，电子设备及存储介质 - Google Patents

Abstract

本申请提供一种三维图像的处理方法、装置，电子设备及存储介质。该方法包括：接收用户导入的三维人脸图像，并将三维人脸图像显示在工作界面的显示区域；获取三维人脸图像的口内区域的空间点，并将口内区域的空间点删除以及将口内区域的透明度调整为全透明；基于用户对工作界面的移动操作，将工作界面移动至呈现咬合状态下的三维牙齿模型上方，以使三维牙齿模型在所述口内区域进行呈现。该方式能够直观且便捷地查看三维牙齿模型与三维人脸图像组合在一起的融合效果，同时该三维牙齿模型在其自身的工作界面中，仍然可以展示牙齿移动的效果，从而使牙齿移动的效果，能够在三维人脸背景下得到展示。

Description

一种三维图像的处理方法、装置，电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种三维图像的处理方法、装置，电子设备及存储介质。

背景技术

现有各种数字化口腔正畸的厂商，其研发的软件常采用如图1所示的方式，采集各颗牙齿的形状和相互之间位置信息后，通过各颗牙齿三维方向的移动，显示牙齿从初始位置逐渐移动到目标矫正位置的动态效果。此动态三维牙齿模型在该厂商自己的软件内可以任意旋转或缩放进行观看。但是此类软件其显示的仅是三维牙齿模型，缺乏矫治患者的面部信息，进而无法显示三维牙齿模型变化前后在矫治患者面部所能达到的效果，比如牙列中线是否与面部中线一致，微笑时牙齿的暴露量是否适宜，笑弧是否与唇形协调，颊廊大小是否合适等都无法从现有软件上得以体现。

为了显示三维牙齿模型在面部环境中的效果，一种方法是获得三维牙齿模型的原始数据(具体的模型参数)后，通过三维制图的方式结合到患者的面部，但这些原始数据各厂商都是封闭的，不容易获取。另一种方法则是在现在各厂商牙齿软件的基础上，通过PS(photoshop，一种图像处理软件)技术来实现图像的拼接，但是该方式，无法体现三维牙齿模型中牙齿的动态移动效果，且PS技术只能对二维人脸图像进行处理，无法模拟真实的效果。

发明内容

本申请实施例的目的在于提供一种三维图像的处理方法、装置，电子设备及存储介质，以实现在不需要三维牙齿模型的原始数据的情况下，将三维牙齿模型与三维人脸图像进行有效地模拟结合。

本发明是这样实现的：

第一方面，本申请实施例提供一种三维图像的处理方法，包括：接收用户导入的三维人脸图像，并将所述三维人脸图像显示在工作界面的显示区域；其中，所述三维人脸图像为被拍摄对象呈现牙齿咬合、嘴唇分开的面部状态下所拍摄获取的，所述显示区域可调整显示透明度；获取所述三维人脸图像的口内区域的空间点，并将所述口内区域的空间点删除以及将所述口内区域的透明度调整为全透明；基于用户对所述工作界面的移动操作，将所述工作界面移动至呈现咬合状态下的三维牙齿模型上方，以使所述三维牙齿模型在已调整为全透明的口内区域进行呈现；其中，所述三维牙齿模型的大小、位置、方向与删除口内区域内的牙齿的大小、位置、方向一致。

在本申请实施例中，首先获取用户导入的三维人脸图像，然后将其显示在工作界面中可以调整显示透明度的显示区域，然后将获取的三维人脸图像的口内区域的空间点进行删除，并将口内区域调整为全透明，最后将其他软件所打开的三维牙齿模型拖动至呈全透明的口内区域后即可实现二者的重合呈现。通过上述方式，能够在不需要呈现咬合状态下的三维牙齿模型的原始数据的情况下，直观且便捷地查看三维牙齿模型与三维人脸图像组合在一起的融合效果，同时该三维牙齿模型在其自身的工作界面中，仍然可以展示牙齿移动的效果，从而使牙齿移动的效果，能够在三维人脸背景下得到展示。

结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述获取所述三维人脸图像的口内区域的空间点，包括：将所述三维人脸图像进行投影，生成与所述三维人脸图像对应的二维人脸图像；其中，所述二维人脸图像显示的人脸角度与所述三维人脸图像在所述显示区域呈现的人脸角度相同；对所述二维人脸图像进行语义分割，获取所述二维人脸图像的口内区域的图像点；基于所述三维人脸图像与所述二维人脸图像的投影对应关系，获取与所述二维人脸图像的口内区域的图像点对应的所述三维人脸图像的口内区域的空间点。

在本申请实施例中，在获取到三维人脸图像后，将其进行投影，生成对应的二维人脸图像，然后对二维人脸图像进行语义分割，获取二维人脸图像的口内区域的图像点，最后通过三维人脸图像与二维人脸图像的投影对应关系，确定出三维人脸图像的口内区域的空间点。也即，该方式基于二维人脸图像上的口内区域的图像点来确定出三维人脸图像的口内区域的空间点，速度较快，且减轻了设备直接对三维人脸图像进行语义分割的运算难度。

结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述对所述二维人脸图像进行语义分割，获取所述二维人脸图像的口内区域的图像点，包括：将所述二维人脸图像输入至预先训练好的口内区域识别模型中，生成识别出的所述二维人脸图像中的口内区域的图像点。

在本申请实施例中，通过预先训练好的口内区域识别模型来实现对二维人脸图像的口内区域的识别，提高了识别效率以及识别的准确度。

结合上述第一方面提供的技术方案，在一些可能的实现方式中，对所述二维人脸图像进行语义分割，获取所述二维人脸图像的口内区域的图像点，包括：将所述二维人脸图像显示在所述显示区域；接收用户在所述显示区域中所勾勒出的闭合的轮廓线；其中，所述轮廓线的内部区域即为所述二维人脸图像的口内区域；获取所述轮廓线内部的图像点；其中，所述轮廓线内部的图像点即为所述二维人脸图像的口内区域的图像点。

在本申请实施例中，在获取到二维人脸图像后，将其显示在显示区域中，用户可以在显示区域勾勒出闭合的轮廓线，进而通过勾勒出闭合的轮廓线来确定出口内区域，该方式十分灵活，且便于用户对口内区域进行调整。

结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述三维人脸图像包括三维面部形状信息和纹理信息，所述三维面部形状信息由多个三维多边形网格组成，所述纹理信息为所述三维人脸图像的颜色信息，所述三维人脸图像上的每个点包括该点的坐标以及该点的颜色；所述将所述三维人脸图像进行投影，生成与所述三维人脸图像对应的二维人脸图像，包括：将所述三维人脸图像进行投影，生成与所述多个三维多边形网格一一对应的二维多边形图形；其中，所述二维多边形图形内部的点的坐标和颜色通过对应的三维多边形网格中的多个顶点的坐标和颜色进行线性插值得到；所述二维人脸图像由所述二维多边形图形以及各点的颜色组成。

在本申请实施例中，三维人脸图像为多边形网格形式，在对其进行投影时，三维多边形网格的各顶点直接映射至二维图像上，三维多边形网格中的多个顶点中间的点的位置和颜色通过线性插值的方式得到，通过该方式，能够有效地实现多边形网格形式的三维人脸图像的投影。

结合上述第一方面提供的技术方案，在一些可能的实现方式中，投影方式为透视投影或正交投影。

结合上述第一方面提供的技术方案，在一些可能的实现方式中，在所述基于用户对所述工作界面的移动操作，将所述工作界面移动至呈现咬合状态下的三维牙齿模型上方，以使所述三维牙齿模型在已调整为全透明的口内区域进行呈现之后，所述方法还包括：基于用户对所述三维人脸图像的调整操作，调整所述三维人脸图像的缩放比例以及旋转角度；基于用户对所述三维牙齿模型的调整操作，调整所述三维牙齿模型的缩放比例以及旋转角度，以使所述显示区域呈现所述三维人脸图像与所述三维牙齿模型不同角度的融合效果。

在本申请实施例中，在将工作界面移动至三维牙齿模型上方之后，还可以对三维牙齿模型以及三维人脸图像进行调整，进而可以直观地观测到不同角度下的三维人像模型和三维排牙模型重叠融合的效果。

第二方面，本申请实施例还提供一种三维图像的处理装置，包括：接收模块，用于接收用户导入的三维人脸图像，并将所述三维人脸图像显示在工作界面的显示区域；其中，所述三维人脸图像为被拍摄对象呈现牙齿咬合、嘴唇分开的面部状态下所拍摄获取的，所述显示区域可调整显示透明度；第一调整模块，用于获取所述三维人脸图像的口内区域的空间点，并将所述口内区域的空间点删除以及将所述口内区域的透明度调整为全透明；融合模块，用于基于用户对所述工作界面的移动操作，将所述工作界面移动至呈现咬合状态下的三维牙齿模型上方，以使所述三维牙齿模型在已调整为全透明的口内区域进行呈现；其中，所述三维牙齿模型的大小、位置、方向与删除口内区域内的牙齿的大小、位置、方向一致。

第三方面，本申请实施例提供一种电子设备，包括：处理器和存储器，所述处理器和所述存储器连接；所述存储器用于存储程序；所述处理器用于调用存储在所述存储器中的程序，执行如上述第一方面实施例和/或结合上述第一方面实施例的一些可能的实现方式提供的方法。

第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时执行如上述第一方面实施例和/或结合上述第一方面实施例的一些可能的实现方式提供的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为现有技术提供的软件所制作的呈咬合状态的三维牙齿模型的结构示意图。

图2为本申请实施例提供的一种电子设备的结构示意图。

图3为本申请实施例提供的一种图像处理装置的结构示意图。

图4为本申请实施例提供的一种三维图像的处理方法的步骤流程图。

图5为本申请实施例提供的一种导入三维人脸图像后的工作界面的示意图。

图6为本申请实施例提供的一种三维人脸图像处理后的工作界面的示意图。

图7为本申请实施例提供的一种三维图像融合后的工作界面的示意图。

图8为本申请实施例提供的另一种三维图像的处理方法的步骤流程图。

图9为本申请实施例提供的一种投影过程的示意图。

图10为本申请实施例提供的一种投影对应关系的示意图。

图11为本申请实施例提供的另一角度下的三维图像融合后的示意图。

图12为本申请实施例提供的一种三维图像的处理装置的模块框图。

图标：10-电子设备；101-处理器；102-存储器；20-图像处理装置；201-工作界面；202-操作栏；203-显示区域；300-三维图像的处理装置；301-接收模块；302-第一调整模块；303-融合模块；304-第二调整模块；305-第三调整模块。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

鉴于目前无法在不需要三维牙齿模型的原始数据的情况下，将三维牙齿模型与三维人脸图像进行有效地模拟结合，本申请发明人经过研究探索，提出以下实施例以解决上述问题。

请参阅图2，本申请实施例提供的一种应用三维图像的处理方法及装置的电子设备10的示意性结构框图。本申请实施例中，电子设备10可以是，但不限于个人计算机(Personal Computer，PC)、智能手机、平板电脑、个人数字助理(Personal DigitalAssistant，PDA)、移动上网设备(MobileInternet Device，MID)等。在结构上，电子设备10可以包括处理器101和存储器102。

处理器101与存储器102直接或间接地电性连接，以实现数据的传输或交互，例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。三维图像的处理装置包括至少一个可以软件或固件(Firmware)的形式存储在存储器102中或固化在电子设备10的操作系统(OperatingSystem，OS)中的软件模块。处理器101用于执行存储器102中存储的可执行模块，例如，三维图像的处理装置所包括的软件功能模块及计算机程序等，以实现三维图像的处理方法。处理器101可以在接收到执行指令后，执行计算机程序。

其中，处理器101可以是一种集成电路芯片，具有信号处理能力。处理器101也可以是通用处理器，例如，可以是中央处理器(Central Processing Unit，CPU)、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、分立门或晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。此外，通用处理器可以是微处理器或者任何常规处理器等。

存储器102可以是，但不限于，随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-OnlyMemory，PROM)、可擦可编程序只读存储器(Erasable Programmable Read-Only Memory，EPROM)，以及电可擦编程只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)。存储器102用于存储程序，处理器101在接收到执行指令后，执行该程序。

应当理解，图2所示的结构仅为示意，本申请实施例提供的电子设备10还可以具有比图2更少或更多的组件，或是具有与图2所示不同的配置。此外，图2所示的各组件可以通过软件、硬件或其组合实现。

请参阅图3，本申请实施例还提供一种图像处理装置20，该装置搭载在如图2所示出的电子设备10中。其中，图像处理装置20包括工作界面201。工作界面201中设置有操作栏202以及显示区域203。

上述的操作栏202上设置有不同的操作图标，比如撤销图标、保存图标、箭头图标、调整大小角度的滑槽等等，此处不作枚举。用户可以通过鼠标点击操作栏202上的操作图标来实现对应的操作。

上述的显示区域203设置在操作栏的下方，显示区域203可以调整显示透明度。需要说明的是，当显示区域203的显示透明度设置为全透明时，此时能够将桌面的图像进行呈现，比如电子设备为电脑，当用户在电脑上打开图像处理装置20，并将显示区域203的显示透明度设置为全透明时，用户能够在显示区域中看到电脑的桌面图像，而操作栏202无法显示电脑的桌面图像。而当显示区域203的显示透明度设置为0时，此时显示区域203显示的可以是自身的颜色。比如显示区域203可以预先设置为全白或者全黑，则当显示区域203的显示透明度设置为0时，用户看到的显示区域203即为全白或者全黑，而无法看到桌面图像。

请参阅图4，图4为本申请实施例提供的三维图像的处理方法的步骤流程图，该方法应用于图2所示的电子设备10。需要说明的是，本申请实施例提供的三维图像的处理方法不以图4及以下所示的顺序为限制，该方法包括：步骤S101-步骤S103。

步骤S101：接收用户导入的三维人脸图像，并将三维人脸图像显示在工作界面的显示区域。

请参阅图5，用户在打开图像处理装置后，可以导入所需要融合的患者的三维人脸图像，导入之后，三维人脸图像即可显示在工作界面的显示区域中。其中，显示区域可调整显示透明度。需要说明的是，上述的三维人脸图像为被拍摄对象呈现牙齿咬合、嘴唇分开的面部状态下所拍摄获取的。

步骤S102：获取三维人脸图像的口内区域的空间点，并将口内区域的空间点删除以及将口内区域的透明度调整为全透明。

然后，设备会识别三维人脸图像的口内区域的空间点，并将口内区域的空间点删除、以及将口内区域的透明度调整为全透明。通过该步骤使得三维人脸图像的口内区域可以显示桌面图像(可参考图6，此时桌面图像为白色)。

步骤S103：基于用户对工作界面的移动操作，将工作界面移动至呈现咬合状态下的三维牙齿模型上方，以使三维牙齿模型在已调整为全透明的口内区域进行呈现。

请参阅图7，最后，用户可将工作界面进行移动，使得已打开的三维牙齿模型置于三维人脸图像的口内区域，进而完成三维牙齿模型与三维人脸图像的结合呈现。其中，三维牙齿模型的大小、位置、方向与删除口内区域内的牙齿的大小、位置、方向一致。

综上，在本申请实施例中，首先获取用户导入的三维人脸图像，然后将其显示在工作界面中可以调整显示透明度的显示区域，然后将获取的三维人脸图像的口内区域的空间点进行删除，并将口内区域调整为全透明，最后将其他软件所打开的三维牙齿模型拖动至呈全透明的口内区域后即可实现二者的重合呈现。通过上述方式，能够在不需要呈现咬合状态下的三维牙齿模型的原始数据的情况下，直观且便捷地查看三维牙齿模型与三维人脸图像组合在一起的融合效果，同时该三维牙齿模型在其自身的工作界面中，仍然可以展示牙齿移动的效果，从而使牙齿移动的效果，能够在三维人脸背景下得到展示。

以下结合具体的示例对上述三维图像的处理方法的流程及步骤进行描述。

请参阅图8，可选地，在步骤S102中，获取三维人脸图像的口内区域的空间点可以通过如下方式实现，包括：步骤S201-步骤S203。

步骤S201：将三维人脸图像进行投影，生成与三维人脸图像对应的二维人脸图像。

其中，二维人脸图像显示的人脸角度与三维人脸图像在所述显示区域呈现的人脸角度相同。

于本申请实施例中，投影方式为透视投影。需要说明的是，透视投影属于中心投影。透视投影图，它是从某个投射中心将物体投射到单一投影面上所得到的图形。透视图与人们观看物体时所产生的视觉效果非常接近，所以本申请实施例中采用透视投影来还原呈现给用户的三维人脸图像的二维图像。

当然，在其他实施例中，投影方式还可以是正交投影，本申请不作限定。

于本申请实施例中，三维人脸图像包括三维面部形状信息和纹理信息，三维面部形状信息由多个三维多边形网格组成，纹理信息为三维人脸图像的颜色信息，三维人脸图像上的每个点包括该点的坐标以及该点的颜色；该步骤中将三维人脸图像进行投影，生成与三维人脸图像对应的二维人脸图像，具体包括：将三维人脸图像进行投影，生成与多个三维多边形网格一一对应的二维多边形图形；其中，二维多边形图形内部的点的坐标和颜色通过对应的三维多边形网格中的多个顶点的坐标和颜色进行线性插值得到；二维人脸图像由二维多边形图形以及各点的颜色组成。

需要说明的是，该点的颜色即为该点的灰度值。

上述的三维多边形可以是三维三角形、三维四边形、三维五边形等，本申请不作限定。

为了便于理解，以三维三角形为例，请参阅图9，图9示出了左边的三维三角形与右边的二维三边形的映射关系。投影的过程具体为先找出三维三角形与二维三边形的顶点之间的映射关系，然后在通过线性插值的方式得到三个顶点之间的点(得到对应点的坐标以及颜色)。

在本申请实施例中，三维人脸图像为多边形网格形式，在对其进行投影时，三维多边形网格的各顶点直接映射至二维图像上，三维多边形网格中的多个顶点中间的点的位置和颜色通过线性插值的方式得到，通过该方式，能够有效地实现多边形网格形式的三维人脸图像的投影。

在其他实施例中，上述的三维人脸图像还可以采用点云形式。当三维人脸图像为点云形式时，可以将点云转换为三维多边形，并采用上述的投影方式得到对应的二维人脸图像。对此，本申请不作限定。

步骤S202：对二维人脸图像进行语义分割，获取二维人脸图像的口内区域的图像点。

在获取到二维人脸图像之后，需要对其进行语义分割，以获取二维人脸图像的口内区域的图像点。

作为一种语义分割的实施方式，上述对二维人脸图像进行语义分割，获取二维人脸图像的口内区域的图像点，包括：将二维人脸图像输入至预先训练好的口内区域识别模型中，生成识别出的二维人脸图像中的口内区域的图像点。

上述的口内区域识别模型可以是深度神经网路模型，具体的，其结构可以包括编码器、解码器。编码器由一系列的卷积层、池化层所组成，用于从输入的图像中提取特征，解码器用于预测图像中每个像素所述类别。由于深度神经网络模型已经为本领域所熟知的模型结构，因此，本申请不对其结构详细说明。上述的口内区域识别模型的训练过程具体包括：获取训练样本图像；其中，训练样本图像为人脸图像；将训练样本图像输入至初始模型中，得到训练样本图像中的预测口内区域；基于预测口内区域以及预先在训练样本图像上的标注的口内区域计算损失值，并基于损失值对所述初始模型进行更新，生成面部位点识别模型。

在本申请实施例中，通过预先训练好的口内区域识别模型来实现对二维人脸图像的口内区域的识别，提高了识别效率以及识别的准确度。

作为另一种语义分割的实施方式，上述对二维人脸图像进行语义分割，获取二维人脸图像的口内区域的图像点，包括：将二维人脸图像显示在显示区域；接收用户在显示区域中所勾勒出的闭合的轮廓线；其中，轮廓线的内部区域即为二维人脸图像的口内区域；获取轮廓线内部的图像点；其中，轮廓线内部的图像点即为二维人脸图像的口内区域的图像点。

也即，显示区域上生成二维人脸图像后，用户可以点击操作栏上的标记图标，然后通过标记图标对口内区域进行勾勒，进而勾勒出一个闭合的轮廓线。当然，若是用户对勾勒出的轮廓线不满意，还可以重新进行勾勒，比如点击操作栏上的撤销图标，然后重新点击标记图标对口内区域进行勾勒。在用户操作完成后，设备便可根据用户勾勒出的轮廓线获取二维人脸图像的口内区域的图像点。

在本申请实施例中，在获取到二维人脸图像后，将其显示在显示区域中，用户可以在显示区域勾勒出闭合的轮廓线，进而通过勾勒出闭合的轮廓线来确定出口内区域，该方式十分灵活，且便于用户对口内区域进行调整。

步骤S203：基于三维人脸图像与二维人脸图像的投影对应关系，获取与二维人脸图像的口内区域的图像点对应的三维人脸图像的口内区域的空间点。

最后，即可基于三维人脸图像与二维人脸图像的投影对应关系，获取与二维人脸图像的口内区域的图像点对应的三维人脸图像的口内区域的空间点。为了便于理解，请参阅图10，图10中，A1为三维人脸图像的口内区域上的一个与二维人脸图像A2所对应的空间点。通过该方式，即可获取与二维人脸图像的口内区域的图像点所对应的所有三维人脸图像的口内区域的空间点。

综上所述，上述实施方式主要基于二维人脸图像上的口内区域的图像点来确定出三维人脸图像的口内区域空间，该方式速度较快，且减轻了设备直接对三维人脸图像进行语义分割的运算难度。

在其他实施例中，也可以直接将对三维人脸图像进行语义分割，进而得到三维人脸图像的口内区域的空间点。作为一种实施方式，可以是用户采用标记工具对三维人脸图像的口内区域进行标记，进而得到三维人脸图像的口内区域的空间点。作为另一种实施方式，也可以是预先训练用于识别三维人脸图像的口内区域的神经网络模型，通过该模型来得到三维人脸图像的口内区域的空间点。对此，本申请不作限定。

此外，为了使得用户能够直观地观测到不同角度下的三维人像模型和三维排牙模型重叠融合的效果。在步骤S103之后，用户还可以对是三维牙齿模型以及三维人脸图像进行调整。调整的动作包括：大小的调整以及角度的调整。具体的步骤包括：基于用户对三维人脸图像的调整操作，调整三维人脸图像的缩放比例以及旋转角度；基于用户对三维牙齿模型的调整操作，调整三维牙齿模型的缩放比例以及旋转角度，以使显示区域呈现三维人脸图像与三维牙齿模型不同角度的融合效果。

请参阅图11，图11示出了另一角度下的三维人脸图像与三维牙齿模型的融合效果。图11仅示出的一种情况，上述的图像、模型角度和缩放比例均可根据用户的实际需求来调整，比如模型角度可以是向左旋转30度，缩放比例可以是方法120％。本申请不作限定。

需要说明的是，调整三维人脸图像主要通过本申请实施例所提供的图像处理装置进行调节，也即，通过图像处理装置的操作栏对三维人脸图像的缩放比例以及旋转角度进行调节。而调整三维牙齿模型主要通过制作三维牙齿模型的软件进行调节。

请参阅图12，基于同一发明构思，本申请实施例还提供一种三维图像的处理装置300，该装置包括：接收模块301、第一调整模块302以及融合模块303。

接收模块301，用于接收用户导入的三维人脸图像，并将所述三维人脸图像显示在工作界面的显示区域；其中，所述三维人脸图像为被拍摄对象呈现牙齿咬合、嘴唇分开的面部状态下所拍摄获取的，所述显示区域可调整显示透明度。

第一调整模块302，用于获取所述三维人脸图像的口内区域的空间点，并将所述口内区域的空间点删除以及将所述口内区域的透明度调整为全透明。

融合模块303，用于基于用户对所述工作界面的移动操作，将所述工作界面移动至呈现咬合状态下的三维牙齿模型上方，以使所述三维牙齿模型在已调整为全透明的口内区域进行呈现；其中，所述三维牙齿模型的大小、位置、方向与删除口内区域内的牙齿的大小、位置、方向一致。

可选地，第一调整模块302具体用于将所述三维人脸图像进行投影，生成与所述三维人脸图像对应的二维人脸图像；其中，所述二维人脸图像显示的人脸角度与所述三维人脸图像在所述显示区域呈现的人脸角度相同；对所述二维人脸图像进行语义分割，获取所述二维人脸图像的口内区域的图像点；基于所述三维人脸图像与所述二维人脸图像的投影对应关系，获取与所述二维人脸图像的口内区域的图像点对应的所述三维人脸图像的口内区域的空间点。

可选地，第一调整模块302还具体用于将所述二维人脸图像输入至预先训练好的口内区域识别模型中，生成识别出的所述二维人脸图像中的口内区域的图像点。

可选地，第一调整模块302还具体用于将所述二维人脸图像显示在所述显示区域；接收用户在所述显示区域中所勾勒出的闭合的轮廓线；其中，所述轮廓线的内部区域即为所述二维人脸图像的口内区域；获取所述轮廓线内部的图像点；其中，所述轮廓线内部的图像点即为所述二维人脸图像的口内区域的图像点。

可选地，三维人脸图像包括三维面部形状信息和纹理信息，所述三维面部形状信息由三维多边形网格组成，所述纹理信息为所述三维人脸图像的颜色信息，所述三维人脸图像上的每个点包括该点的坐标以及该点的颜色；第一调整模块302还具体用于将所述三维人脸图像进行投影，生成与所述多个三维多边形网格一一对应的二维多边形图形；其中，所述二维多边形图形内部的点的坐标和颜色通过对应的三维多边形网格中的多个顶点的坐标和颜色进行线性插值得到；所述二维人脸图像由所述二维多边形图形以及各点的颜色组成。

可选地，该装置还包括：第二调整模块304、以及第三调整模块305。

第二调整模块304用于在所述基于用户对所述工作界面的移动操作，将所述工作界面移动至呈现咬合状态下的三维牙齿模型上方，以使所述三维牙齿模型在已调整为全透明的口内区域进行呈现之后，基于用户对所述三维人脸图像的调整操作，调整所述三维人脸图像的缩放比例以及旋转角度。

第三调整模块305用于基于用户对所述三维牙齿模型的调整操作，调整所述三维牙齿模型的缩放比例以及旋转角度，以使所述显示区域呈现所述三维人脸图像与所述三维牙齿模型不同角度的融合效果。

需要说明的是，由于所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

基于同一发明构思，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序在被运行时执行上述实施例中提供的方法。

该存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种三维图像的处理方法，其特征在于，包括：

接收用户导入的三维人脸图像，并将所述三维人脸图像显示在工作界面的显示区域；其中，所述三维人脸图像为被拍摄对象呈现牙齿咬合、嘴唇分开的面部状态下所拍摄获取的，所述显示区域可调整显示透明度；

获取所述三维人脸图像的口内区域的空间点，并将所述口内区域的空间点删除以及将所述口内区域的透明度调整为全透明；

基于用户对所述工作界面的移动操作，将所述工作界面移动至呈现咬合状态下的三维牙齿模型上方，以使所述三维牙齿模型在已调整为全透明的口内区域进行呈现；其中，所述三维牙齿模型的大小、位置、方向与删除口内区域内的牙齿的大小、位置、方向一致。

2.根据权利要求1所述的三维图像的处理方法，其特征在于，所述获取所述三维人脸图像的口内区域的空间点，包括：

将所述三维人脸图像进行投影，生成与所述三维人脸图像对应的二维人脸图像；其中，所述二维人脸图像显示的人脸角度与所述三维人脸图像在所述显示区域呈现的人脸角度相同；

对所述二维人脸图像进行语义分割，获取所述二维人脸图像的口内区域的图像点；

基于所述三维人脸图像与所述二维人脸图像的投影对应关系，获取与所述二维人脸图像的口内区域的图像点对应的所述三维人脸图像的口内区域的空间点。

3.根据权利要求2所述的三维图像的处理方法，其特征在于，所述对所述二维人脸图像进行语义分割，获取所述二维人脸图像的口内区域的图像点，包括：

将所述二维人脸图像输入至预先训练好的口内区域识别模型中，生成识别出的所述二维人脸图像中的口内区域的图像点。

4.根据权利要求2所述的三维图像的处理方法，其特征在于，对所述二维人脸图像进行语义分割，获取所述二维人脸图像的口内区域的图像点，包括：

将所述二维人脸图像显示在所述显示区域；

接收用户在所述显示区域中所勾勒出的闭合的轮廓线；其中，所述轮廓线的内部区域即为所述二维人脸图像的口内区域；

获取所述轮廓线内部的图像点；其中，所述轮廓线内部的图像点即为所述二维人脸图像的口内区域的图像点。

5.根据权利要求2所述的三维图像的处理方法，其特征在于，所述三维人脸图像包括三维面部形状信息和纹理信息，所述三维面部形状信息由多个三维多边形网格组成，所述纹理信息为所述三维人脸图像的颜色信息，所述三维人脸图像上的每个点包括该点的坐标以及该点的颜色；所述将所述三维人脸图像进行投影，生成与所述三维人脸图像对应的二维人脸图像，包括：

将所述三维人脸图像进行投影，生成与所述多个三维多边形网格一一对应的二维多边形图形；

其中，所述二维多边形图形内部的点的坐标和颜色通过对应的三维多边形网格中的多个顶点的坐标和颜色进行线性插值得到；所述二维人脸图像由所述二维多边形图形以及各点的颜色组成。

6.根据权利要求5所述的三维图像的处理方法，其特征在于，投影方式为透视投影或正交投影。

7.根据权利要求1所述的三维图像的处理方法，其特征在于，在所述基于用户对所述工作界面的移动操作，将所述工作界面移动至呈现咬合状态下的三维牙齿模型上方，以使所述三维牙齿模型在已调整为全透明的口内区域进行呈现之后，所述方法还包括：

基于用户对所述三维人脸图像的调整操作，调整所述三维人脸图像的缩放比例以及旋转角度；

基于用户对所述三维牙齿模型的调整操作，调整所述三维牙齿模型的缩放比例以及旋转角度，以使所述显示区域呈现所述三维人脸图像与所述三维牙齿模型不同角度的融合效果。

8.一种三维图像的处理装置，其特征在于，包括：

接收模块，用于接收用户导入的三维人脸图像，并将所述三维人脸图像显示在工作界面的显示区域；其中，所述三维人脸图像为被拍摄对象呈现牙齿咬合、嘴唇分开的面部状态下所拍摄获取的，所述显示区域可调整显示透明度；

第一调整模块，用于获取所述三维人脸图像的口内区域的空间点，并将所述口内区域的空间点删除以及将所述口内区域的透明度调整为全透明；

融合模块，用于基于用户对所述工作界面的移动操作，将所述工作界面移动至呈现咬合状态下的三维牙齿模型上方，以使所述三维牙齿模型在已调整为全透明的口内区域进行呈现；其中，所述三维牙齿模型的大小、位置、方向与删除口内区域内的牙齿的大小、位置、方向一致。

9.一种电子设备，其特征在于，包括：处理器和存储器，所述处理器和所述存储器连接；

所述存储器用于存储程序；

所述处理器用于运行存储在所述存储器中的程序，执行如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序在被计算机运行时执行如权利要求1-7中任一项所述的方法。

Images