CN115661141B - 基于cbct图像牙齿和牙槽骨分割方法及系统 - Google Patents

Abstract

本发明提供基于CBCT图像牙齿和牙槽骨分割方法及系统，包括：获取历史CBCT图像并进行预处理，并对其进行牙齿和牙槽骨区域分割和标注，以得到标注数据；基于深度学习神经网络对历史CBCT图像提取ROI图像，并获取牙齿的质心信息；结合标注数据、ROI图像和牙齿的质心信息训练牙齿和牙槽骨分割模型；利用训练后的牙齿和牙槽骨分割模型对待测CBCT图像进行分割，以得到牙齿和牙槽骨的全自动分割预测结果。本申请不仅能够辅助医生快速精准地完成正畸诊断和治疗计划的制定，而且减少了人工注释和检查3D牙齿和牙槽骨的工作量。

Description

基于CBCT图像牙齿和牙槽骨分割方法及系统

技术领域

本申请涉及人工智能医学图像处理和牙齿矫正技术领域，特别是涉及基于CBCT图像牙齿和牙槽骨分割方法及系统。

背景技术

随着现代人们生活水平的逐渐提高，人们对牙齿矫正的需求和要求也越来越高，锥形束计算机断层扫描（Cone beam CT，CBCT）因其具有射线量低、能够快速成像、空间分辨率高等优点，被广泛运用在了牙科领域。同时随着数字化牙科的蓬勃发展，运用CBCT数据完成牙齿和牙槽骨的自动分割成为了数字化牙科领域必不可少的组成部分，尤其是在正畸诊断和治疗计划中，牙齿和周围牙槽骨之间的关系在临床实践中至关重要。而在牙科CBCT图像中，牙齿与牙槽骨密度相近，边界比较模糊，而且层间牙槽骨有差异，这些因素导致传统的牙齿和牙槽骨的分割精准度不高。因此，亟需一种全自动的牙齿和牙槽骨分割方法，以快速准确地辅助医生完成正畸诊断和治疗计划的制定。

发明内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供基于CBCT图像牙齿和牙槽骨分割方法及系统，用于解决现有技术中牙齿正畸诊断中牙齿和牙槽骨分割准确度及效率低下等技术问题。

为实现上述目的及其他相关目的，本申请提供一种基于CBCT图像牙齿和牙槽骨全自动3D分割方法，所述方法包括：获取历史CBCT 图像并进行预处理，并对所述历史CBCT图像进行牙齿和牙槽骨区域分割和标注，以得到标注数据；基于深度学习神经网络对所述历史CBCT图像提取ROI图像，并获取牙齿的质心信息；结合所述标注数据、ROI图像和牙齿的质心信息训练牙齿和牙槽骨分割模型；利用训练后的牙齿和牙槽骨分割模型对待测CBCT图像进行分割，以得到牙齿和牙槽骨的全自动分割预测结果。

于本申请的一实施例中，所述预处理包括：将所述历史CBCT 图像对应的原始二维数据进行数据格式转换，以得到三维数据；并对所述三维数据采用窗宽窗位和标准化技术处理。

于本申请的一实施例中，所述结合所述标注数据、ROI图像和牙齿的质心信息训练牙齿和牙槽骨分割模型的具体过程包括：基于深度学习神经网络对所述历史CBCT图像提取ROI图像；基于深度学习神经网络获取牙齿的质心偏移量，并采用聚类算法以得到对应的质心位置数据；将所述标注数据拆分为训练集和测试集；将所述训练集输入到深度学习神经网络中进行训练，以得到牙齿和牙槽骨分割模型；利用所述测试集对所述牙齿和牙槽骨分割模型进行测试验证。

于本申请的一实施例中，所述牙齿和牙槽骨分割模型包括牙齿分割子模型、牙齿ID预测子模型、牙槽骨分割子模型。

于本申请的一实施例中，所述将所述训练集输入到深度学习神经网络中进行训练，以得到牙齿和牙槽骨分割模型的具体方法包括：a、分别以牙齿分割结果、牙齿ID预测结果及牙槽骨分割结果作为输出，训练二分类牙齿分割子模型、牙齿ID预测子模型及牙槽骨分割子模型；b、将牙齿分割结果和牙齿ID预测结果作为合并输出以训练多分类牙齿分割模型；并将牙槽骨分割结果作为输出以训练牙槽骨分割子模型，c、将牙齿分割结果、牙齿ID预测结果和牙槽骨分割结果作为合并输出以训练多分类牙齿牙槽骨分割模型。

于本申请的一实施例中，所述利用训练后的牙齿和牙槽骨分割模型对待测CBCT图像进行分割，包括：对基于上述三种方法得到的概率进行叠加求取均值，将均值小于第一预设阈值的结果删除以得到牙齿和牙槽骨的全自动分割预测结果。

于本申请的一实施例中，方法还包括：对所述牙齿和牙槽骨的全自动分割预测结果进行后处理以得到牙齿和牙槽骨用于展示的文件格式；其中，所述后处理包括：对所述牙齿和牙槽骨的全自动分割预测结果进行连通成分分析以去除假阳性区域，并进行数据三角化、平滑、简化处理。

为实现上述目的及其他相关目的，本申请提供一种基于CBCT图像牙齿和牙槽骨全自动3D分割系统，包括：数据获取模块，用于获取历史CBCT 图像并进行预处理，并对所述历史CBCT图像进行牙齿和牙槽骨区域分割和标注，以得到标注数据；模型训练模块，用于基于深度学习神经网络对所述历史CBCT图像提取ROI图像，并获取牙齿的质心信息；结合所述标注数据、ROI图像和牙齿的质心信息训练牙齿和牙槽骨分割模型；结果预测模块，用于利用训练后的牙齿和牙槽骨分割模型对待测CBCT图像进行分割，以得到牙齿和牙槽骨的全自动分割预测结果。

为实现上述目的及其他相关目的，本申请提供一种计算机设备，包括：存储器及处理器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述设备执行如上所述的方法。

为实现上述目的及其他相关目的，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的方法。

综上所述，本申请提供的基于CBCT图像牙齿和牙槽骨分割方法及系统，具有以下有益效果：本申请利用深度学习神经网络实现了基于CBCT图像的牙齿和牙槽骨全自动3D分割和展示，不仅能够辅助医生快速精准地完成正畸诊断和治疗计划的制定，而且大大减少了人工注释和检查3D牙齿和牙槽骨的工作量。本申请提供的所述系统是一个全自动人工智能系统，满足现有数字化牙科所要求的全自动、快速、稳定健壮、准确的特点。

附图说明

图1显示为本申请于一实施例中的基于CBCT图像牙齿和牙槽骨全自动3D分割方法的流程示意图。

图2显示为本申请于一实施例中的基于CBCT图像牙齿和牙槽骨全自动3D分割系统的模块示意图。

图3显示为本申请于一实施例中的计算机设备的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。

在通篇说明书中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”、“固持”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组 件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

为了使本发明的目的、技术方案及优点更加清楚明白，通过下述实施例并结合附图，对本发明实施例中的技术方案的进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定发明。

为解决现有问题，本申请提出一种基于CBCT图像牙齿和牙槽骨全自动3D分割方法及系统，用于解决现有技术中牙齿正畸诊断中牙齿和牙槽骨分割准确度及效率低下等技术问题。

如图1所示，展示为本申请于一实施例中的基于CBCT图像牙齿和牙槽骨全自动3D分割方法的流程示意图，所述方法包括以下步骤：

步骤S1：获取历史CBCT 图像并进行预处理，并对所述历史CBCT图像进行牙齿和牙槽骨区域分割和标注，以得到标注数据。

于本申请一实施例中，所述预处理包括：

将所述历史CBCT 图像对应的原始二维数据进行数据格式转换，以得到三维数据；

并对所述三维数据采用窗宽窗位和标准化技术处理。

需说明的是，根据CBCT图像得到的原始文件格式为DICOM，表示为多张的二维信息。为了便于深度学习的应用，对其进行数据格式转换，将DICOM格式文件转换为NIFTI格式文件，因为NIFTI格式文件可以直接表示三维信息。并对基于NIFTI格式文件读取到的三维数据采用窗宽窗位和标准化技术完成初步的预处理。

其中，窗技术是医学图像领域的关键技术，是CT检查中用以观察不同密度的正常组织或病变的一种显示技术，包括窗宽(window width)和窗位(window level)。由于各种组织结构具有不同的CT值，因此想要显示某一组织结构细节时，应该选择适合观察该组织的窗宽和窗位，以获得最佳显示。窗宽是CT图像上显示的CT值范围，在此CT值范围内的组织均以不同的模拟灰度显示。窗位是窗的中心位置，同样的窗宽，由于窗位不同，其所包括CT值范围的CT值也有差异。

数据标准化是将数据通过去均值实现中心化的处理，根据凸优化理论与数据概率分布相关知识，数据中心化符合数据分布规律，更容易取得训练之后的泛化效果。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化处理主要解决不同性质数据问题；数据无量纲化处理主要解决数据的可比性。数据标准化的方法有很多种，常用的有“最小—最大标准化”、“Z-score标准化”和“按小数定标标准化”等。经过数据标准化处理，原始数据均转换为无量纲化指标测评值，即各指标值都处于同一个数量级别上，可以进行综合测评分析。

步骤S2：基于深度学习神经网络对所述历史CBCT图像提取ROI图像，并获取牙齿的质心信息；结合所述标注数据、ROI图像和牙齿的质心信息训练牙齿和牙槽骨分割模型。

于本申请一实施例中，所述结合所述标注数据、ROI图像和牙齿的质心信息训练牙齿和牙槽骨分割模型的具体过程包括：

1）基于深度学习神经网络对所述历史CBCT图像提取ROI图像，以实现全自动提取ROI；

具体的，ROI（region of interest）即为感兴趣区域，针对本申请的感兴趣区域为牙齿部分。由于牙齿的体积在获取的口腔CBCT图像中占比不大，而过多的背景会加大后续牙齿分割等处理的难度，因此需要将牙齿部分从原始图像中截取出来。本申请采用深度学习神经网络可以是U-Net、V-Net等编码-解码结构网络，用以实现全自动化的感兴趣区域提取。

基于U-net或V-net网络模型，以原始CBCT数据为输入，输出得到二值的牙齿分割结果；其中，二值法分割结果中属于牙齿部分的对应像素点为1，其他部分为0，对二值分割结果进行处理即可得到所需要的牙齿ROI的位置信息，依据位置信息对三维数据进行截取得到所需感兴趣区域。

2）基于深度学习神经网络获取牙齿的质心偏移量，并采用聚类算法以得到对应的质心位置数据；

需说明的是，基于NIFTI格式文件读取到的三维数据，每个体素的中心位置为三维空间中的一个点；而牙齿的质心为牙齿所有体素的中心位置之和除以体素的总量。本申请将牙齿的质心信息作为辅助信息以增强模型训练的可靠性和准确性。

通过采用深度学习神经网络（如U-Net、V-Net等网络结构）以获取质心偏移量，该偏移量定义为每个像素点相对于牙齿的真实质心的位置偏移；并使用聚类算法以得到对应的质心位置数据。

优选的，本申请使用的聚类算法为论文《Clustering by fast search and findof density peaks》中提及的方法。因为该聚类算法可以得到非球形的聚类结果，可以很好地描述数据分布，同时在算法复杂度上也比一般的K-means算法的复杂度低。同时此算法的只考虑点与点之间的距离，因此不需要将点映射到一个向量空间中。

3）将所述标注数据拆分为训练集和测试集；

需说明的是，所述训练集用于训练基于深度学习神经网络的牙齿和牙槽骨分割模型；所述测试集用于测试基于深度学习神经网络的牙齿和牙槽骨分割模型。所述训练集中的标注数据样本多于所述测试集中的样本。

例如，训练集与测试集中的数据样本可以为8:2，也可以为7:3。

4）将所述训练集输入到深度学习神经网络中进行训练，以得到牙齿和牙槽骨分割模型；

于本申请一实施例中，所述牙齿和牙槽骨分割模型包括牙齿分割子模型、牙齿ID预测子模型、牙槽骨分割子模型。

需说明的是，所述深度学习神经网络优选U-Net、V-Net等网络，用以处理三维图像分割。其中，V-Net网络提供的三维图像分割方法，通过采用端到端的训练方式，在训练时使用了一个基于Dice coefficient的新的目标函数来优化训练，可以很好地处理前景和背景体素数量之间存在严重不平衡的情况；并且通过使用随机非线性转换和直方图匹配来增强数据，以处理可用于训练的数据有限的情况。

步骤4）模型训练的具体方法包括：

a、分别以牙齿分割结果、牙齿ID预测结果及牙槽骨分割结果作为输出，训练二分类牙齿分割子模型、牙齿ID预测子模型及牙槽骨分割子模型；

优选编码器-解码器U-Net或V-Net网络模型完成各个子模型的构建与训练。

首先，由于ROI图像包含多颗牙齿，为了得到具体详尽的牙齿分割结果，需要依据牙齿的质心信息将单颗牙齿区域提取出来，依次通过网络模型得到单颗牙齿区域的分割信息；然后，将得到所有单颗牙齿区域的分割信息按照ROI图像的体素位置一一对应得到整个ROI图像的分割结果。

具体的，基于U-net或V-net网络模型，以截取出的单颗牙齿区域对应的三维体素数据作为输入，单颗牙齿区域对应的分割结果作为输出，训练二分类牙齿分割子模型。用以区分牙齿区域和背景区域。

基于U-net或V-net网络模型，以截取出的单颗牙齿区域的图像和通过牙齿分割子模型获得的相同区域的分割结果作为合并输入，以牙齿的ID预测结果作为输出，训练牙齿ID预测子模型。用以得到每颗牙齿的ID信息。

基于边界增强的卷积神经网络，训练牙槽骨分割子模型。首先，利用哈尔（Harr）变换对获取的CBCT图像进行处理以增强骨骼边界强度；然后，对其进行滤波处理，并与预处理后的CBCT图像结合作为深度学习网络U-net、V-net或nnUNet网络的输入，同时增加两个标签label（面中部和下颌部），以牙槽骨的分割结果作为输出，训练牙槽骨分割子模型，用以提取面中部及下颌部。

b、将牙齿分割结果和牙齿ID预测结果作为合并输出以训练多分类牙齿分割模型；并将牙槽骨分割结果作为输出以训练牙槽骨分割子模型，

具体的，基于U-net或V-net网络模型，以截取出的牙齿ROI图像作为输入，对应的牙齿分割结果和预定义的牙齿ID预测结果作为输出，训练多分类牙齿分割模型。牙槽骨分割子模型的训练过程同方法a。

其中，所述多分类牙齿分割模型中的多个分类为背景和每个ID的牙齿。

c、将牙齿分割结果、牙齿ID预测结果和牙槽骨分割结果作为合并输出以训练多分类牙齿牙槽骨分割模型。

具体的，基于U-net或V-net网络模型，以截取出的牙齿ROI图像作为输入，并额外增加两个标签label，分别为面中部和下颌部，以对应的牙齿分割结果、预定义的牙齿ID预测结果、牙槽骨分割结果作为输出，训练多分类牙齿牙槽骨分割模型。用以得到背景区域、牙齿区域、牙槽骨区域、及每颗牙齿的ID信息等。

其中，所述多分类牙齿牙槽骨分割模型中的多个分类为背景、每个ID的牙齿、面中部和下颌部，相比方法b中的多分类增加了两个牙槽骨的标签label。

5）利用所述测试集对所述牙齿和牙槽骨分割模型进行测试验证。

步骤S3：利用训练后的牙齿和牙槽骨分割模型对待测CBCT图像进行分割，以得到牙齿和牙槽骨的全自动分割预测结果。

于本申请一实施例中，所述利用训练后的牙齿和牙槽骨分割模型对待测CBCT图像进行分割，包括：对基于上述三种方法得到的预测概率进行叠加求取均值，将均值小于第一预设阈值的结果删除以得到牙齿和牙槽骨的全自动分割预测结果。

于本申请一实施例中，所述方法还包括：对所述牙齿和牙槽骨的全自动分割预测结果进行后处理以得到牙齿和牙槽骨用于展示的文件格式；

其中，所述后处理包括：对所述牙齿和牙槽骨的全自动分割预测结果进行连通成分分析以去除假阳性区域，并进行数据三角化、平滑、简化处理。

需说明的是，通过对实验结果的观察发现，模型得到的结果会在边缘出现多余的小的分割结果，这些结果并不和大的正确的结果在物理位置上有连接关系，所以对模型得到的结果做了连通成分分析。

具体的，对三维结果得到其各个连通域的结果，连通域即为位置上相连，此时整个结果按照位置上是否连接分成多个连通域，将连通域小于第二预设阈值的部分判定为假阳性区域，并直接去除。例如，所述第二预设阈值为50。

例如，用于展示的文件格式为STL文件格式，STL文件格式具有简单性，它不依赖于任何一种三维建模方式，存储的是三维模型表面的离散化三角形面片信息，并且对这些三角形面片的存储顺序无任何要求。

需说明的是，数据三角化处理主要是将三维体素数据转成三维的mesh网格数据。而平滑处理和简化处理都是基于mesh网格数据进行的。网格平滑的目的是提高网格的外观和提高单元数据集的形状。曲面简化是指将一个模型的面合理的合成更少的面，从而降低模型精度。

如图2所示，展示为本申请于一实施例中的基于CBCT图像牙齿和牙槽骨全自动3D分割系统的模块示意图。所述基于CBCT图像牙齿和牙槽骨全自动3D分割系统200包括：数据获取模块210、模型训练模块220和结果预测模块230。

数据获取模块210，用于获取历史CBCT 图像并进行预处理，并对所述历史CBCT图像进行牙齿和牙槽骨区域分割和标注，以得到标注数据。

于本申请一实施例中，所述预处理包括：

将所述历史CBCT 图像对应的原始二维数据进行数据格式转换，以得到三维数据；

并对所述三维数据采用窗宽窗位和标准化技术处理。

需说明的是，根据CBCT图像得到的原始文件格式为DICOM，表示为多张的二维信息。为了便于深度学习的应用，对其进行数据格式转换，将DICOM格式文件转换为NIFTI格式文件，因为NIFTI格式文件可以直接表示三维信息。并对基于NIFTI格式文件读取到的三维数据采用窗宽窗位和标准化技术完成初步的预处理。

其中，窗技术是医学图像领域的关键技术，是CT检查中用以观察不同密度的正常组织或病变的一种显示技术，包括窗宽(window width)和窗位(window level)。由于各种组织结构具有不同的CT值，因此想要显示某一组织结构细节时，应该选择适合观察该组织的窗宽和窗位，以获得最佳显示。窗宽是CT图像上显示的CT值范围，在此CT值范围内的组织均以不同的模拟灰度显示。窗位是窗的中心位置，同样的窗宽，由于窗位不同，其所包括CT值范围的CT值也有差异。

数据标准化是将数据通过去均值实现中心化的处理，根据凸优化理论与数据概率分布相关知识，数据中心化符合数据分布规律，更容易取得训练之后的泛化效果。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化处理主要解决不同性质数据问题；数据无量纲化处理主要解决数据的可比性。数据标准化的方法有很多种，常用的有“最小—最大标准化”、“Z-score标准化”和“按小数定标标准化”等。经过数据标准化处理，原始数据均转换为无量纲化指标测评值，即各指标值都处于同一个数量级别上，可以进行综合测评分析。

模型训练模块220，用于基于深度学习神经网络对所述历史CBCT图像提取ROI图像，并获取牙齿的质心信息；结合所述标注数据、ROI图像和牙齿的质心信息训练牙齿和牙槽骨分割模型；

于本申请一实施例中，所述结合所述标注数据、ROI图像和牙齿的质心信息训练牙齿和牙槽骨分割模型的具体过程包括：

1）基于深度学习神经网络对所述历史CBCT图像提取ROI图像，以实现全自动提取ROI；

具体的，ROI（region of interest）即为感兴趣区域，针对本申请的感兴趣区域为牙齿部分。由于牙齿的体积在获取的口腔CBCT图像中占比不大，而过多的背景会加大后续牙齿分割等处理的难度，因此需要将牙齿部分从原始图像中截取出来。本申请采用深度学习神经网络可以是U-Net、V-Net等编码-解码结构网络，用以实现全自动化的感兴趣区域提取。

基于U-net或V-net网络模型，以原始CBCT数据为输入，输出得到二值的牙齿分割结果；其中，二值法分割结果中属于牙齿部分的对应像素点为1，其他部分为0，对二值分割结果进行处理即可得到所需要的牙齿ROI的位置信息，依据位置信息对三维数据进行截取得到所需感兴趣区域。

2）基于深度学习神经网络获取牙齿的质心偏移量，并采用聚类算法以得到对应的质心位置数据；

需说明的是，基于NIFTI格式文件读取到的三维数据，每个体素的中心位置为三维空间中的一个点；而牙齿的质心为牙齿所有体素的中心位置之和除以体素的总量。本申请将牙齿的质心信息作为辅助信息以增强模型训练的可靠性和准确性。

通过采用深度学习神经网络（如U-Net、V-Net等网络结构）以获取质心偏移量，该偏移量定义为每个像素点相对于牙齿的真实质心的位置偏移；并使用聚类算法以得到对应的质心位置数据。

优选的，本申请使用的聚类算法为论文《Clustering by fast search and findof density peaks》中提及的方法。因为该聚类算法可以得到非球形的聚类结果，可以很好地描述数据分布，同时在算法复杂度上也比一般的K-means算法的复杂度低。同时此算法的只考虑点与点之间的距离，因此不需要将点映射到一个向量空间中。

3）将所述标注数据拆分为训练集和测试集；

需说明的是，所述训练集用于训练基于深度学习神经网络的牙齿和牙槽骨分割模型；所述测试集用于测试基于深度学习神经网络的牙齿和牙槽骨分割模型。所述训练集中的标注数据样本多于所述测试集中的样本。

例如，训练集与测试集中的数据样本可以为8:2，也可以为7:3。

4）将所述训练集输入到深度学习神经网络中进行训练，以得到牙齿和牙槽骨分割模型；

于本申请一实施例中，所述牙齿和牙槽骨分割模型包括牙齿分割子模型、牙齿ID预测子模型、牙槽骨分割子模型。

需说明的是，所述深度学习神经网络优选U-Net、V-Net等网络，用以处理三维图像分割。其中，V-Net网络提供的三维图像分割方法，通过采用端到端的训练方式，在训练时使用了一个基于Dice coefficient的新的目标函数来优化训练，可以很好地处理前景和背景体素数量之间存在严重不平衡的情况；并且通过使用随机非线性转换和直方图匹配来增强数据，以处理可用于训练的数据有限的情况。

步骤4）模型训练的具体方法包括：

a、分别以牙齿分割结果、牙齿ID预测结果及牙槽骨分割结果作为输出，训练二分类牙齿分割子模型、牙齿ID预测子模型及牙槽骨分割子模型；

优选编码器-解码器U-Net或V-Net网络模型完成各个子模型的构建与训练。

首先，由于ROI图像包含多颗牙齿，为了得到具体详尽的牙齿分割结果，需要依据牙齿的质心信息将单颗牙齿区域提取出来，依次通过网络模型得到单颗牙齿区域的分割信息；然后，将得到所有单颗牙齿区域的分割信息按照ROI图像的体素位置一一对应得到整个ROI图像的分割结果。

具体的，基于U-net或V-net网络模型，以截取出的单颗牙齿区域对应的三维体素数据作为输入，单颗牙齿区域对应的分割结果作为输出，训练二分类牙齿分割子模型。用以区分牙齿区域和背景区域。

基于U-net或V-net网络模型，以截取出的单颗牙齿区域的图像和通过牙齿分割子模型获得的相同区域的分割结果作为合并输入，以牙齿的ID预测结果作为输出，训练牙齿ID预测子模型。用以得到每颗牙齿的ID信息。

基于边界增强的卷积神经网络，训练牙槽骨分割子模型。首先，利用哈尔（Harr）变换对获取的CBCT图像进行处理以增强骨骼边界强度；然后，对其进行滤波处理，并与预处理后的CBCT图像结合作为深度学习网络U-net、V-net或nnUNet网络的输入，同时增加两个标签label（面中部和下颌部），以牙槽骨的分割结果作为输出，训练牙槽骨分割子模型，用以提取面中部及下颌部。

b、将牙齿分割结果和牙齿ID预测结果作为合并输出以训练多分类牙齿分割模型；并将牙槽骨分割结果作为输出以训练牙槽骨分割子模型，

具体的，基于U-net或V-net网络模型，以截取出的牙齿ROI图像作为输入，对应的牙齿分割结果和预定义的牙齿ID预测结果作为输出，训练多分类牙齿分割模型。牙槽骨分割子模型的训练过程同方法a。

c、将牙齿分割结果、牙齿ID预测结果和牙槽骨分割结果作为合并输出以训练多分类牙齿牙槽骨分割模型。

具体的，基于U-net或V-net网络模型，以截取出的牙齿ROI图像作为输入，并额外增加两个标签label，分别为面中部和下颌部，以对应的牙齿分割结果、预定义的牙齿ID预测结果、牙槽骨分割结果作为输出，训练多分类牙齿牙槽骨分割模型。用以得到背景区域、牙齿区域、牙槽骨区域、及每颗牙齿的ID信息等。

5）利用所述测试集对所述牙齿和牙槽骨分割模型进行测试验证。

结果预测模块230，用于利用训练后的牙齿和牙槽骨分割模型对待测CBCT图像进行分割，以得到牙齿和牙槽骨的全自动分割预测结果。

于本申请一实施例中，所述利用训练后的牙齿和牙槽骨分割模型对待测CBCT图像进行分割，包括：对基于上述三种方法得到的预测概率进行叠加求取均值，将均值小于第一预设阈值的结果删除以得到牙齿和牙槽骨的全自动分割预测结果。

于本申请一实施例中，所述方法还包括：对所述牙齿和牙槽骨的全自动分割预测结果进行后处理以得到牙齿和牙槽骨用于展示的文件格式；

其中，所述后处理包括：对所述牙齿和牙槽骨的全自动分割预测结果进行连通成分分析以去除假阳性区域，并进行数据三角化、平滑、简化处理。

需说明的是，数据三角化处理主要是将三维体素数据转成三维的mesh网格数据。而平滑处理和简化处理都是基于mesh网格数据进行的。网格平滑的目的是提高网格的外观和提高单元数据集的形状。曲面简化是指将一个模型的面合理的合成更少的面，从而降低模型精度。

需说明的是，通过对实验结果的观察发现，模型得到的结果会在边缘出现多余的小的分割结果，这些结果并不和大的正确的结果在物理位置上有连接关系，所以对模型得到的结果做了连通成分分析。

具体的，对三维结果得到其各个连通域的结果，连通域即为位置上相连，此时整个结果按照位置上是否连接分成多个连通域，将连通域小于第二预设阈值的部分判定为假阳性区域，并直接去除。例如，所述第二预设阈值为50。

例如，用于展示的文件格式为STL文件格式，STL文件格式具有简单性，它不依赖于任何一种三维建模方式，存储的是三维模型表面的离散化三角形面片信息，并且对这些三角形面片的存储顺序无任何要求。

应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，结果预测模块230可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上结果预测模块230的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

如图3所示，展示为本申请于一实施例中的计算机设备300的结构示意图。所述计算机设备300包括：存储器310和处理器320；所述存储器310用于存储计算机指令；所述处理器320运行计算机指令实现如图1所述的方法。

在一些实施例中，所述计算机设备300中的所述存储器310和所述处理器320的数量均可以是一或多个，而图3中均以一个为例。

于本申请一实施例中，所述计算机设备300中的处理器320会按照如图1所述的步骤，将一个或多个以应用程序的进程对应的指令加载到存储器310并由处理器320来运行存储在存储器310中的应用程序，从而实现如图1所述的方法。

所述存储器310可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。所述存储器310存储有操作系统和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。操作系统可包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。

所述处理器320可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(ApplicationSpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable GateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在一些具体的应用中，所述计算机设备300的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清除说明起见，在图3中将各种总线都成为总线系统。

于本申请一实施例中，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1所述的方法。

在任何可能的技术细节结合层面，本申请可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是（但不限于）电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、静态随机存取存储器（SRAM）、便携式压缩盘只读存储器（CD-ROM）、数字多功能盘（DVD）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。

这里所描述的计算机可读程序可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。

综上所述，本申请提供了基于CBCT图像牙齿和牙槽骨分割方法及系统，包括：获取历史CBCT 图像并进行预处理，并对所述历史CBCT图像进行牙齿和牙槽骨区域分割和标注，以得到标注数据；基于深度学习神经网络对所述历史CBCT图像提取ROI图像，并获取牙齿的质心信息；结合所述标注数据、ROI图像和牙齿的质心信息训练牙齿和牙槽骨分割模型；利用训练后的牙齿和牙槽骨分割模型对待测CBCT图像进行分割，以得到牙齿和牙槽骨的全自动分割预测结果。

本申请利用深度学习神经网络实现了基于CBCT图像的牙齿和牙槽骨全自动3D分割和展示，不仅能够辅助医生快速精准地完成正畸诊断和治疗计划的制定，而且大大减少了人工注释和检查3D牙齿和牙槽骨的工作量。

本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于CBCT图像牙齿和牙槽骨全自动3D分割方法，其特征在于，所述方法包括：

获取历史CBCT图像并进行预处理，并对所述历史CBCT图像进行牙齿和牙槽骨区域分割和标注；

基于第一深度学习神经网络对所述历史CBCT图像提取ROI图像；基于第二深度学习神经网络获取牙齿的质心偏移量，并采用聚类算法以得到对应牙齿的质心信息；基于第三深度学习神经网络并结合所述ROI图像和牙齿的质心信息训练牙齿和牙槽骨分割模型；

利用训练后的牙齿和牙槽骨分割模型对待测CBCT图像进行分割，以得到牙齿和牙槽骨的全自动分割预测结果。

2.根据权利要求1所述基于CBCT图像牙齿和牙槽骨全自动3D分割方法，其特征在于，所述预处理包括：

将所述历史CBCT图像对应的原始二维数据进行数据格式转换，以得到三维数据；

并对所述三维数据采用窗宽窗位和标准化技术处理。

3.根据权利要求1所述基于CBCT图像牙齿和牙槽骨全自动3D分割方法，其特征在于，所述结合所述ROI图像和牙齿的质心信息训练牙齿和牙槽骨分割模型的具体过程包括：

将所述ROI图像和牙齿的质心信息拆分为训练集和测试集；

将所述训练集输入到第三深度学习神经网络中进行训练，以得到牙齿和牙槽骨分割模型；

利用所述测试集对所述牙齿和牙槽骨分割模型进行测试验证。

4.根据权利要求3所述基于CBCT图像牙齿和牙槽骨全自动3D分割方法，其特征在于，所述牙齿和牙槽骨分割模型包括牙齿分割子模型、牙齿ID预测子模型、牙槽骨分割子模型。

5.根据权利要求4所述基于CBCT图像牙齿和牙槽骨全自动3D分割方法，其特征在于，将所述训练集输入到深度学习神经网络中进行训练，以得到牙齿和牙槽骨分割模型的具体方法包括：

a、分别以牙齿分割结果、牙齿ID预测结果及牙槽骨分割结果作为输出，训练二分类牙齿分割子模型、牙齿ID预测子模型及牙槽骨分割子模型；

b、将牙齿分割结果和牙齿ID预测结果作为合并输出以训练多分类牙齿分割模型；并

将牙槽骨分割结果作为输出以训练牙槽骨分割子模型，

c、将牙齿分割结果、牙齿ID预测结果和牙槽骨分割结果作为合并输出以训练多分类牙齿牙槽骨分割模型。

6.根据权利要求5所述基于CBCT图像牙齿和牙槽骨全自动3D分割方法，其特征在于，所述利用训练后的牙齿和牙槽骨分割模型对待测CBCT图像进行分割，包括：

对基于上述三种方法得到的概率进行叠加求取均值，将均值小于第一预设阈值的结果删除以得到牙齿和牙槽骨的全自动分割预测结果；

其中，所述对基于上述三种方法得到的概率进行叠加求取均值具体包括：

基于方法a所述二分类牙齿分割子模型、牙齿ID预测子模型及牙槽骨分割子模型分别对所述待测CBCT图像进行分割以得到牙齿分割结果、牙齿ID预测结果及牙槽骨分割结果对应的第一牙齿分割预测概率、第一牙齿ID预测概率、第一牙槽骨预测概率；

基于方法b所述多分类牙齿分割模型和牙槽骨分割子模型分别对所述待测CBCT图像进行分割以得到牙齿分割结果、牙齿ID预测结果及牙槽骨分割结果对应的第二牙齿分割预测概率、第二牙齿ID预测概率、第二牙槽骨预测概率；

基于方法c所述多分类牙齿牙槽骨分割模型对所述待测CBCT图像进行分割以得到牙齿分割结果、牙齿ID预测结果及牙槽骨分割结果对应的第三牙齿分割预测概率、第三牙齿ID预测概率、第三牙槽骨预测概率；

对所述牙齿分割结果对应的第一牙齿分割预测概率、第二牙齿分割预测概率及第三牙齿分割预测概率求取平均值；对所述牙齿ID预测结果对应的第一牙齿ID预测概率、第二牙齿ID预测概率及第三牙齿ID预测概率求取平均值；对所述牙槽骨分割结果对应的第一牙槽骨预测概率、第二牙槽骨预测概率及第三牙槽骨预测概率求取平均值。

7.根据权利要求1所述基于CBCT图像牙齿和牙槽骨全自动3D分割方法，其特征在于，所述方法还包括：对所述牙齿和牙槽骨的全自动分割预测结果进行后处理以得到牙齿和牙槽骨用于展示的文件格式；

其中，所述后处理包括：对所述牙齿和牙槽骨的全自动分割预测结果进行连通成分分析以去除假阳性区域，并进行数据三角化、平滑、简化处理。

8.一种基于CBCT图像牙齿和牙槽骨全自动3D分割系统，其特征在于，包括：

数据获取模块，用于获取历史CBCT图像并进行预处理，并对所述历史CBCT图像进行牙齿和牙槽骨区域分割和标注；

模型训练模块，用于基于第一深度学习神经网络对所述历史CBCT图像提取ROI图像；基于第二深度学习神经网络获取牙齿的质心偏移量，并采用聚类算法以得到对应牙齿的质心信息；基于第三深度学习神经网络并结合所述ROI图像和牙齿的质心信息训练牙齿和牙槽骨分割模型；

结果预测模块，用于利用训练后的牙齿和牙槽骨分割模型对待测CBCT图像进行分割，以得到牙齿和牙槽骨的全自动分割预测结果。

9.一种计算机设备，其特征在于，所述设备包括：存储器及处理器；

所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述设备执行如权利要求1至7中任意一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述的方法。

Images