CN113222994B - 基于多视角卷积神经网络的三维口腔模型安氏分类方法 - Google Patents

Abstract

本发明涉及一种基于多视角卷积神经网络的三维口腔模型安氏分类方法，包括如下步骤：步骤一、采集安氏分类数据，对于每个数字化三维口腔模型，提取多个预定位置牙齿的三维网格数据，通过组合得到两组安氏分类三角网格数据，并获取其对应的咬合错位类别；步骤二、基于安氏分类三角网格数据，生成多视角二维图；步骤三、对生成的多视角二维图进行预处理，得到预处理后的多视角二维图；步骤四、基于预处理后的多视角二维图，构建口腔数字化模型的安氏分类网络ANNET模型；步骤五、基于多视角二维图对安氏分类网络ANNET模型进行训练，训练完成后，利用所述安氏分类网络ANNET模型对输入的三维口腔模型进行安氏分类预测。

Description

基于多视角卷积神经网络的三维口腔模型安氏分类方法

技术领域

本发明属于图像处理领域，尤其是一种基于多视角卷积神经网络的三维口腔模型安氏分类方法。

背景技术

安氏分类法是由Angle医生在1899年提出的，是目前使用最为广泛的错颌畸形分类法。Angle认为，上颌骨固定于头颅上，位置相对恒定，上第I恒磨牙位于上颌骨颧突之下，稳定而不易错位，于是以上第1恒磨牙为基准，根据上下牙弓间的前后关系，将错颌畸形分为3类。现有技术中，由于分类方法需要考虑牙齿前后关系、位置等进行牙齿识别和判断，如果要对口腔内牙齿进行安氏分类，通常采用人工方式对照口腔牙齿图像进行辨认和判断，效率较低，并且在疏忽时容易出错，目前还无法实现计算机自动化智能判断和分类识别。

发明内容

为了解决上述技术问题，本发明提出了一种基于多视角卷积神经网络的三维口腔模型安氏分类方法，通过使用多视角组合卷积神经网络Group-View ConvolutionalNeural Net（GVCNN）为主干网络，设计了适用于安氏分类的神经网络ANNET模型，本发明的ANNET模型在现有的GVCNN网络模型下进行改进，首先，在原始描述算子之后的全连接层增加一层卷积层，其次，集合多视角特征和安氏类别的关系，最后，在网络最后一层全连接前增加口腔左右侧先验关系。从而能够实现利用ANNET对三维口腔模型进行安氏分类。

本发明的技术方案为：一种基于多视角卷积神经网络的三维口腔模型安氏分类方法，包括如下步骤：

步骤一、采集安氏分类数据，对于每个数字化三维口腔模型，提取多个预定位置牙齿的三维网格数据，通过组合得到两组安氏分类三角网格数据，并获取其对应的咬合错位类别；

步骤二、基于安氏分类三角网格数据，生成多视角二维图；

步骤三、对生成的多视角二维图进行预处理，得到预处理后的多视角二维图；

步骤四、基于预处理后的多视角二维图，构建口腔数字化模型的安氏分类网络ANNET模型；

步骤五、基于多视角二维图对安氏分类网络ANNET模型进行训练，训练完成后，利用所述安氏分类网络ANNET模型对输入的三维口腔模型进行安氏分类预测。

进一步的，所述的步骤一、采集安氏分类数据，提取口腔多个预定位置牙齿的三维网格数据，通过组合得到两组安氏分类三角网格数据，并获取其对应的咬合错位类别；具体包括：

获取患者数字化三维口腔模型中分割好的每颗牙齿的三角网格数据以及对应的牙位；对于每个患者分割好的牙齿，提取右侧上颌第一恒磨牙和右侧下颌第一恒磨牙的三角网格数据，通过对两组三角网格数据组合，得到一组包含上下颌第一恒磨牙的三角网格数据，即安氏分类三角网格数据，并获取其对应的咬合错位类别即安氏类别；同样对左侧上颌第一恒磨牙和左侧下颌第一恒磨牙三角网格数据组合，获取到另一组安氏分类三角网格数据以及其对应的安氏类别，最终，从每例患者的三维口腔模型中，能够采集到两组安氏分类三角网格数据及其对应的安氏类别标签。

进一步的，所述的步骤二、基于安氏分类三角网格数据，生成多视角二维图；具体包括：

对安氏分类三角网格数据做多视角的图像渲染，即相机沿着固定一个坐标轴按照预定的角度间隔旋转，渲染出多个角度的二维图。

进一步的，所述的步骤三、对生成的多视角二维图进行预处理，得到预处理后的多视角二维图，具体包括：

对生成的多视角二维图做预处理：包括裁剪多余的黑色背景区域，缩放图像尺寸为预定大小，然后对所述预定大小图像做归一化处理。

进一步的，所述步骤四、基于预处理后的多视角二维图，构建口腔数字化模型的安氏分类网络ANNET模型，具体包括：

步骤4.1、所述安氏分类网络ANNET模型的主干网络采用多视角组合的卷积神经网络GVCNN；

步骤4.2、在GVCNN的基础上，在原始视角描述算子之后的全连接层前增加一层卷积层；

步骤4.3、结合多视角特征信息与安氏类别的关系，在网络全连接前一层加入口腔左右侧先验信息，最终形成安氏分类网络ANNET模型。

进一步的，所述步骤五、基于多视角二维图对安氏分类网络ANNET模型进行训练，训练完成后，利用所述安氏分类网络ANNET模型对输入的三维口腔模型进行安氏分类预测，具体包括：

利用带有安氏分类标签的多视角二维图作为训练集，采用梯度下降算法对所述模型进行迭代训练以取得网络最优解，根据在验证集上的精确度来确定最优模型参数，使用训练好的安氏分类网络ANNET模型，对新的三维口腔模型数据进行预测，得到新的三维口腔模型数据的安氏分类类别。

有益效果：

本发明的一种基于多视角卷积神经网络的三维口腔模型安氏分类方法，通过使用多视角组合卷积神经网络（GVCNN）为主干网络，设计了适用于安氏分类的神经网络ANNET模型，本发明首先在原始描述算子之后的全连接层增加一层卷积层，其次，集合多视角特征和安氏类别的关系，最后，在网络最后一层全连接前增加口腔左右侧先验关系，从而能够实现利用ANNET对三维口腔模型进行安氏分类，提高精确度，并且实现了对口腔三维模型的计算机自动化智能判断和分类识别。

附图说明

图1为本发明的一种基于多视角卷积神经网络的三维口腔模型安氏分类方法流程框图；

图2为本发明提出安氏分类网络（ANNET）模型结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

根据本发明的一个实施例，提出一种基于多视角卷积神经网络实现的三维口腔模型安氏分类方法，如图1所示，具体包括以下步骤：

步骤一、采集安氏分类数据，对于每个数字化三维口腔模型，提取多个预定位置牙齿的三维网格数据，通过组合得到两组安氏分类三角网格数据，并获取其对应的咬合错位类别；

步骤二、基于安氏分类三角网格数据，生成多视角二维图；

步骤三、对生成的多视角二维图进行预处理，得到预处理后的多视角二维图；

步骤四、基于预处理后的多视角二维图，构建口腔数字化模型的安氏分类网络ANNET模型；

步骤五、基于多视角二维图对安氏分类网络ANNET模型进行训练，训练完成后，利用所述安氏分类网络ANNET模型对输入的三维口腔模型进行安氏分类预测。

根据本发明的一个实施例，所述步骤一、采集安氏分类数据，对于每个数字化三维口腔模型，提取多个预定位置牙齿的三维网格数据，通过组合得到两组安氏分类三角网格数据，并获取其对应的咬合错位类别；具体的，首先，获取患者口腔数字化三维模型中分割好的每颗牙齿的三角网格数据以及对应的牙位；对于每个患者分割好的牙齿，提取右侧上颌第一恒磨牙（牙位16）和右侧下颌第一恒磨牙（牙位46）的三角网格数据，通过对两组三角网格数据组合，得到一组包含上下颌第一恒磨牙的三角网格数据，称之为安氏分类三角网格数据，并获取其对应的咬合错位类别即安氏类别；相似的，对左侧上颌第一恒磨牙（牙位26）和左侧下颌第一恒磨牙（牙位36）三角网格数据组合相加，获取另一组安氏分类三角网格数据以及其对应的安氏类别。因而从每例患者的口腔三维模型中，能够采集到两组安氏分类数据及其对应的安氏类别标签。

根据本发明的一个实施例，所述步骤二、基于安氏分类三角网格数据，生成多视角二维图；

对安氏分类三角网格数据做多视角的图像渲染，即相机沿着固定一个坐标轴（例如 Z 轴）旋转，渲染出多个角度的二维图；所述的旋转可以以预定的角度间隔进行旋转，例如10度，或者15度，或者30度等。

根据本发明的一个实施例，所述步骤三、对生成的多视角二维图进行预处理，得到预处理后的多视角二维图；

对生成的多视角二维图做预处理：包括裁剪多余的黑色背景区域，然后缩放图像尺寸为一预定大小，例如 255x255，最后对图像做归一化处理。

根据本发明的一个实施例，所述步骤四、基于预处理后的多视角二维图，构建口腔数字化模型的安氏分类网络ANNET模型；

本发明的安氏分类神经网络（ANNET）模型结构如附图2所示，所述安氏分类神经网络（ANNET）模型的主干网络采用多视角组合的卷积神经网络GVCNN；在GVCNN的基础上，ANNET在原始视角描述算子之后的全连接层前增加了一层卷积层，此外ANNET结合了多视角特征信息与安氏类别的关系，并在网络全连接前一层加入口腔左右侧先验信息，提高了网络分类精度。图2中最左侧为输入的多视角二维图，经过全卷积神经网络FCN后提取原始视角描述算子，然后经过一层卷积层CNN得到最终描述算子，再经过视角池化，得到组合描述算子；同时，基于原始描述算子的输出，根据牙齿位置进行安氏分类的组合，得到组合模块，与组合描述算子进行融合，获取形状描述算子，最后结合口腔左右侧先验信息特征，进行安氏分类，得到精确的分类结果。

步骤五、基于多视角二维图对安氏分类网络ANNET模型进行训练，训练完成后，利用所述安氏分类网络ANNET模型对输入的进行安氏分类预测。

本发明将带有安氏分类标签的多视角二维图作为训练集和验证集，选取部分数据，采用梯度下降算法对安氏分类网络ANNET模型进行迭代训练以取得网络最优解，根据在验证集上的精确度来确定最优模型参数。使用训练好的安氏分类网络ANNET模型，对进行预测，就可以得到新的三维口腔模型数据模型的安氏分类类别。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (4)

1.一种基于多视角卷积神经网络的三维口腔模型安氏分类方法，其特征在于，包括如下步骤：

步骤一、采集安氏分类数据，对于每个数字化三维口腔模型，提取多个预定位置牙齿的三维网格数据，通过组合得到两组安氏分类三角网格数据，并获取其对应的咬合错位类别；

步骤二、基于安氏分类三角网格数据，生成多视角二维图；

步骤三、对生成的多视角二维图进行预处理，得到预处理后的多视角二维图；

步骤四、基于预处理后的多视角二维图，构建口腔数字化模型的安氏分类网络ANNET模型；具体包括：

步骤4.1、所述安氏分类网络ANNET模型的主干网络采用多视角组合的卷积神经网络GVCNN；

步骤4.2、在GVCNN的基础上，在原始视角描述算子之后的全连接层前增加一层卷积层；

步骤4.3、结合多视角特征信息与安氏类别的关系，在网络全连接前一层加入口腔左右侧先验信息，最终形成安氏分类网络ANNET模型；步骤五、基于多视角二维图对安氏分类网络ANNET模型进行训练，训练完成后，利用所述安氏分类网络ANNET模型对输入的三维口腔模型进行安氏分类预测；具体包括：

利用带有安氏分类标签的多视角二维图作为训练集，采用梯度下降算法对所述模型进行迭代训练以取得网络最优解，根据在验证集上的精确度来确定最优模型参数，使用训练好的安氏分类网络ANNET模型，对新的三维口腔模型数据进行预测，得到新的三维口腔模型数据的安氏分类类别。

2.根据权利要求1所述的一种基于多视角卷积神经网络的三维口腔模型安氏分类方法，其特征在于，所述的步骤一、采集安氏分类数据，对于每个数字化三维口腔模型，提取多个预定位置牙齿的三维网格数据，通过组合得到两组安氏分类三角网格数据，并获取其对应的咬合错位类别；具体包括：

获取患者数字化三维口腔模型中分割好的每颗牙齿的三角网格数据以及对应的牙位；对于每个患者分割好的牙齿，提取右侧上颌第一恒磨牙和右侧下颌第一恒磨牙的三角网格数据，通过对两组三角网格数据组合，得到一组包含上下颌第一恒磨牙的三角网格数据，即安氏分类三角网格数据，并获取其对应的咬合错位类别即安氏类别；同样对左侧上颌第一恒磨牙和左侧下颌第一恒磨牙三角网格数据组合，获取到另一组安氏分类三角网格数据以及其对应的安氏类别，最终，从每例患者的三维口腔模型中，能够采集到两组安氏分类三角网格数据及其对应的安氏类别标签。

3.根据权利要求1所述的一种基于多视角卷积神经网络的三维口腔模型安氏分类方法，其特征在于，所述的步骤二、基于安氏分类三角网格数据，生成多视角二维图；具体包括：

对安氏分类三角网格数据做多视角的图像渲染，即相机沿着固定一个坐标轴按照预定的角度间隔旋转，渲染出多个角度的二维图。

4.根据权利要求1所述的一种基于多视角卷积神经网络的三维口腔模型安氏分类方法，其特征在于，所述的步骤三、对生成的多视角二维图进行预处理，得到预处理后的多视角二维图，具体包括：

对生成的多视角二维图做预处理：包括裁剪多余的黑色背景区域，缩放图像尺寸为预定大小，然后对所述预定大小图像做归一化处理。

Images