CN111696192A

CN111696192A - 基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法

Info

Publication number: CN111696192A
Application number: CN201910193128.7A
Authority: CN
Inventors: 张长庚
Original assignee: Hangzhou Chaohou Information Technology Co ltd
Current assignee: Hangzhou Chaohou Information Technology Co ltd
Priority date: 2019-03-14
Filing date: 2019-03-14
Publication date: 2020-09-22
Also published as: WO2020181974A1

Abstract

本申请的一方面提供了一种计算机执行的基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法，包括：获取第一牙齿的三维数字模型；对所述第一牙齿的三维数字模型进行特征提取；基于所述提取的特征，利用经训练的人工神经网络识别所述第一牙齿的三维数字模型的表面气泡；以及去除所述识别出的表面气泡。

Description

基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法

技术领域

本申请总体上涉及计算机执行的基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法。

背景技术

随着计算机技术的飞速发展，牙科治疗越来越多地借助计算机技术，例如，利用计算机制定牙齿正畸治疗方案以及利用计算机设计义齿等。在借助计算机技术进行牙科治疗时，经常需要用到牙齿的三维数字模型。通常，牙齿的三维数字模型是通过扫描牙齿模型或者通过口内扫描获得，由于扫描误差的原因，扫描得到的牙齿三维数字模型上常常会有气泡。这些气泡的存在不利于后续对牙齿三维数字模型的使用，因此，在这之前通常需要去除这些气泡。当前，主要是依靠手工方式修正去除牙齿三维数字模型上的气泡，但这种方式效率较低且人工成本较高。

鉴于以上，有必要提供一种新的牙齿三维数字模型的气泡去除方法。

发明内容

在一些实施方式中，所述人工神经网络可以是卷积神经网络。

在一些实施方式中，所述卷积神经网络可以依次包括以下层：输入层、卷积层、卷积层、池化层、卷积层、卷积层、池化层、全连接层、dropout层、全连接层以及输出层。

在一些实施方式中，所述特征可以包括：Curvature Feature、PCA Feature、Shape Diameter Feature、Distance from Medial Surface、Average GeodesicDistance、 Shape Contexts以及Spin Images。

在一些实施方式中，所述人工神经网络可以表面气泡经重采样的牙齿三维模型进行训练。

在一些实施方式中，可以基于拉普拉斯平滑方法去除所述识别出的表面气泡。

在一些实施方式中，所述人工神经网络是仅用于识别所述第一牙齿所在牙位的牙齿的三维数字模型的表面气泡，即每一牙位对应有一套专用的人工神经网络。

附图说明

以下将结合附图及其详细描述对本申请的上述及其他特征作进一步说明。应当理解的是，这些附图仅示出了根据本申请的若干示例性的实施方式，因此不应被视为是对本申请保护范围的限制。除非特别指出，附图不必是成比例的，并且其中类似的标号表示类似的部件。

图1为本申请一个实施例中的计算机执行的基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法的示意性流程图；以及

图2示意性地展示了本申请一个实施例中CNN网络的结构。

具体实施方式

以下的详细描述中引用了构成本说明书一部分的附图。说明书和附图所提及的示意性实施方式仅仅出于是说明性之目的，并非意图限制本申请的保护范围。在本申请的启示下，本领域技术人员能够理解，可以采用许多其他的实施方式，并且可以对所描述实施方式做出各种改变，而不背离本申请的主旨和保护范围。应当理解的是，在此说明并图示的本申请的各个方面可以按照很多不同的配置来布置、替换、组合、分离和设计，这些不同配置都在本申请的保护范围之内。

本申请的一方面提供了一种计算机执行的基于人工神经网络的去除牙齿三维数字模型表面气泡的方法。

在本申请的启示下，可以理解，在一些借助计算机技术的牙科治疗应用中，仅需要单颗牙齿的三维数字模型；在一些借助计算机技术的牙科治疗应用中，则需要多颗牙齿的三维数字模型，例如，整个牙列的三维数字模型。下面以单颗牙齿为例，对本申请一个实施例中的计算机执行的基于人工神经网络的去除牙齿三维数字模型表面气泡的方法进行详细描述。

请参图1，为本申请一个实施例中的计算机执行的基于人工神经网络的去除牙齿三维数字模型表面气泡的方法100的示意性流程图。

在101中，获取第一牙齿的三维数字模型。

在一个实施例中，可以基于三角网格构建三维数字模型，下面的具体实施例均是基于这种三维数字模型进行说明。可以理解，除了三角网格，还可以基于其他类型的网格构建三维数字模型，例如四边形网格、五边形网格、六边形网格等，此处不再进行一一说明。

在103中，对第一牙齿的三维数字模型进行特征提取。

对第一牙齿的三维数字模型进行特征提取，作为经训练的人工神经网络的输入。

本申请的发明人经过大量研究和验证工作，发现采用以下特征组合对于识别牙齿三维数字模型表面气泡具有较好的效果：Curvature Feature、PCA Feature (PrincipalComponents Analysis)、Shape Diameter Feature、Distance from Medial Surface、Average Geodesic Distance、Shape Contexts以及Spin Images。这些特征的提取具体可参由Evangelos Kalogerakis、Aaron Hertzmann以及Karan Singh在 ACM Transactionson Graphics,29(3),2010上发表的《Learning3D Mesh Segmentation and Labeling》。下面对这些特征的提取进行简单说明。

1)Curvature Feature

在一个实施例中，可以采用以下方法提取Curvature Feature。

首先，选择与P点临近的N个顶点。在一个实施例中，可以利用连接信息以缩减搜索空间，提高计算效率。

接着，基于满足以下条件的二次矩阵块以及所有临近的顶点，拟合二次曲面 F(x,y,z)，

F(x,y,z)＝ax²+by²+cz²+2exy+2fyz+2gzx+2lx+2my+2nz+ d＝0 方程式(1)

计算P点在所述矩阵块上的映射P₀，且满足以下条件，

F(P₀)＝0 方程式(2)

在P₀点基于所述矩阵块计算曲率特性，即可作为P点的曲率。

若对所有临近顶点，

其中，a～n为拟二次曲面函数F(x,y,z)的系数，

那么，可以把矩阵B^-1A的两个特征值k₁和k₂作为主曲率，其中，

其中，系数E、F、G为F(x，y，z)的一阶偏导，系数L、M、N为F(x，y，z)的二阶偏导。

2)PCA Feature

在一个实施例中，可以构造不同范围的局部面片中心的协方差矩阵，辅以面积权重，计算其3个奇异值s1、s2以及s3。范围可以由多种测地线距离半径所决定，比如5％、10％、20％等。每一组可以有以下几种特征描述：s1/(s1+s2+s3)、 s2/(s1+s2+s3)、s3/(s1+s2+s3)、(s1+s2)/(s1+s2+s3)、(s1+s3)/(s1+s2+s3)、 (s2+s3)/(s1+s2+s3)、s1/s2、s1/s3、s2/s3、s1/s2+s1/s3、s1/s2+s2/s3及s1/s3+s2/s3。

3)Shape Diameter Feature

在一个实施例中，可以这么定义Shape Diameter Feature(简称“SDF”)：在面片中心点上向该点法向量反向的一定角度内发射一定数量的射线，这些射线与另一面相交形成线段。以长度中值的线段为标准，计算所有长度在规定标准差之内的线段的加权平均值、中值、均方，作为该点的SDF值。

在一个实施例中，可以加入计算获得的SDF的多种对数化版本(对应正规化项α＝1，2，4，8)，如以下方程式(6)，

4)Distance from Medial Surface

在一个实施例中，可以把面片三个顶点的坐标平均值作为面片中心点的坐标值。然后在牙齿三维数字模型所定义的形状内，找到以所述面片中心点为切点的最大内切圆。由该内切圆的圆心向四周均衡地发射射线，与曲面相交(即牙颌三维数字模型所定义的封闭的形状)，计算所有线段的长度。可以计算这些线段长度的加权平均、中值、均方作为特征，并可以加入归一化和对数化版本。

5)Average Geodesic Distance

该特征可用于描述面片之间的离散程度。在一个实施例中，可以计算曲面所有面片中心之间，对应的平均测地线距离。还可以把均方距离和占不同距离百分比范围的值作为特征。然后，进行归一化。

6)Shape Contexts

在一个实施例中，可以针对每一个面片，计算其他面片对应的分布(辅以面积权重)，分别用面片法向量的角度和对数化测地线距离来描述。在一个实施例中，可以建立6个测地线距离区间和6个角度区间。

7)Spin Images

在一个实施例中，可以根据以下方法进行计算。首先，以顶点P法向量为中轴建立柱面坐标系。接着，定义SpinImage的分辨率(即Image长宽)以及大小 (即网格数量)。然后，根据以下方程式(7)把3D点投射到2D Spin Image上。再对2D投影结果进行插值，将一个点的值分配到周围四个点上。

其中，α表示到法向量n的径向距离，β表示到切平面的轴向距离，n表示经过P点的法向量，X表示3D点的坐标(x,y,z)。

在一个实施例中，可以提取593维特征，如表1所示。

特征	CUR	PCA	SC	AGD	SDF	DIS	SI	总维数
									维数	64	48	270	15	72	24	100	593

表1

在本申请的启示下，业界一般技术人员可以对以上特征种类和/或特征维数进行调整，例如，增加、删减以及替代，可以理解，这些改变都在本申请的范围之内。

在105中，基于提取的特征，利用经训练的人工神经网络识别出第一牙齿的三维数字模型的表面气泡。

将在103中提取的特征输入经训练的人工神经网络，识别出属于表面气泡的面片。

在一个实施例中，可以采用卷积神经网络(Convolutional Neural Networks，简称CNN)。

在一个实施例中，可以采用PyTorch搭建CNN网络。

请参图2，示意性地展示了本申请一个实施例中CNN网络的结构。在该实施例中，CNN网络共有10层：4个卷积层，2个池化层，2个全连接层、1个 dropout层以及1个输出层(输出当前面片属于气泡面片或非气泡面片的预测概率)。在该实施例中，CNN网络的输入可以是20*30的特征矩阵，由于在该实施例中总共只有593个特征，可以对该特征矩阵中剩余的7个位进行补0。在一个实施例中，可以如图2所示设置CNN网络各层的参数(包括模板大小、数量以及调用方法等)。

在该实施例中，采用Relu作为激活函数，这能够在一定程度上避免梯度消失现象的出现。4个卷积层能够充分分析特征数据，获取局部信息，得出较佳的权重。2个池化层能够保留一部分全局信息，并具有一定防止过拟合的作用。1 个dropout层能够用于抵抗过拟合。

因为非气泡面片的数量远大于气泡面片的数量，针对这种不均衡数据样本的情况，为了获得更好的训练结果，可以采用以下手段：其一，在训练中可以选用 BCELoss作为Loss函数；其二，可以对气泡面片进行重采样，以增加气泡面片的样本数量。

在一个实施例中，可以采用以下训练参数：学习率0.01，class_weight 5， sample10，solver_mode:GPU。

在一个实施例中，人工神经网络的训练过程中可以包含反向传播算法、梯度下降算法以及误差计算，而在利用经训练的人工神经网络进行预测的过程中可以不包含以上三个处理。

由于不同牙齿之间的形态差异，为了保障人工神经网络预测的准确性，在一个实施例中，可以为每一颗牙齿单独设置一套人工神经网络；在又一实施例中，由于对称的牙齿的形态较为一致，可以为每两颗对称的牙齿单独设置一套人工神经网络；在又一实施例中，可以将牙齿按形态的相似性分成几类，为每一类单独设置一套人工神经网络，使形态相似的牙齿共用一套人工神经网络。

对于多颗牙齿的情况，例如，对整个牙列的三维数字模型进行去气泡处理，整个牙列的三维数字模型可以是经分割的，即各牙齿之间相互独立，以便于对不同的牙齿，采用对应的人工神经网络来识别其上的表面气泡。

在一个实施例中，可以手动分割牙齿的三维数字模型。在又一实施例中，可以利用计算机自动分割牙齿的三维数字模型，具体可参由Xiaojie Xu、Chang Liu 以及YouyiZheng等于2018年5月22日发表于IEEE Transactions on Visualization and ComputerGraphics的《3D Tooth Segmentation and Labeling using Deep Convolutional NeuralNetworks》。

在本申请的启示下，可以理解，除了卷积神经网络，还可以采用其他人工神经网络来识别牙齿三维模型的表面气泡，例如，全连接神经网络和基于图的自变分编码神经网络(Graph AutoEncoder)，而这些都在本申请的范围之内。

在107中，去除识别出的第一牙齿的三维数字模型的表面气泡。

在一个实施例中，可以采用拉普拉斯平滑算法对识别出的表面气泡面片进行平滑操作，以去除表面气泡，获得去除了表面气泡的第一牙齿的三维数字模型。其基本原理是将每个顶点都移动到相邻顶点的加权平均位置，即采用伞状算子。

当气泡面片被识别出之后，可以构建所有气泡面片的顶点的点集，对该点集中的所有点进行多次拉普拉斯平滑，直到单次平滑前后，点集中所有点的位移距离之和小于一预设的阈值，该阈值可根据具体情况进行设定。

拉普拉斯算法的具体内容可参由Andrew Nealen、Takeo Igarashi以及MarcAlexa在2006年发表于《GRAPHITE》的《Laplacian Mesh Optimization》。

在本申请的启示下，可以理解，除了拉普拉斯算法之外，还可以采用任何适用的方法来去除识别出的表面气泡，例如，网格滤波(Mesh Fairing)算法。

在本申请的启示下，可以理解，本申请的去除牙齿三维数字模型的表面气泡的方法的大部分操作能够由计算机执行，例如，对牙齿三维数字模型的特征提取；基于提取的特征，利用经训练的人工神经网络识别牙齿三维数字模型上的表面气泡；以及去除识别出的牙齿三维数字模型上的表面气泡。与传统的手工去气泡方法相比，大幅提升了效率，降低了人工成本。

尽管在此公开了本申请的多个方面和实施例，但在本申请的启发下，本申请的其他方面和实施例对于本领域技术人员而言也是显而易见的。在此公开的各个方面和实施例仅用于说明目的，而非限制目的。本申请的保护范围和主旨仅通过后附的权利要求书来确定。

同样，各个图表可以示出所公开的方法和系统的示例性架构或其他配置，其有助于理解可包含在所公开的方法和系统中的特征和功能。要求保护的内容并不限于所示的示例性架构或配置，而所希望的特征可以用各种替代架构和配置来实现。除此之外，对于流程图、功能性描述和方法权利要求，这里所给出的方框顺序不应限于以同样的顺序实施以执行所述功能的各种实施例，除非在上下文中明确指出。

除非另外明确指出，本文中所使用的术语和短语及其变体均应解释为开放式的，而不是限制性的。在一些实例中，诸如“一个或多个”、“至少”、“但不限于” 这样的扩展性词汇和短语或者其他类似用语的出现不应理解为在可能没有这种扩展性用语的示例中意图或者需要表示缩窄的情况。

Claims

1.一种计算机执行的基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法，包括：

获取第一牙齿的三维数字模型；

对所述第一牙齿的三维数字模型进行特征提取；

基于所述提取的特征，利用经训练的人工神经网络识别所述第一牙齿的三维数字模型的表面气泡；以及

去除所述识别出的表面气泡。

2.如权利要求1所述的计算机执行的基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法，其特征在于，所述人工神经网络是卷积神经网络。

3.如权利要求2所述的计算机执行的基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法，其特征在于，所述卷积神经网络依次包括以下层：输入层、卷积层、卷积层、池化层、卷积层、卷积层、池化层、全连接层、dropout层、全连接层以及输出层。

4.如权利要求1所述的计算机执行的基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法，其特征在于，所述特征包括：Curvature Feature、PCA Feature、ShapeDiameter Feature、Distance from Medial Surface、Average Geodesic Distance、ShapeContexts以及Spin Images。

5.如权利要求1所述的计算机执行的基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法，其特征在于，所述人工神经网络是以表面气泡经重采样的牙齿三维模型进行训练。

6.如权利要求1所述的计算机执行的基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法，其特征在于，基于拉普拉斯平滑方法去除所述识别出的表面气泡。

7.如权利要求1所述的计算机执行的基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法，其特征在于，所述人工神经网络是仅用于识别所述第一牙齿所在牙位的牙齿的三维数字模型的表面气泡。