CN114004831A - 基于深度学习辅助种植体置换的方法及辅助智能系统 - Google Patents
基于深度学习辅助种植体置换的方法及辅助智能系统 Download PDFInfo
- Publication number
- CN114004831A CN114004831A CN202111596647.1A CN202111596647A CN114004831A CN 114004831 A CN114004831 A CN 114004831A CN 202111596647 A CN202111596647 A CN 202111596647A CN 114004831 A CN114004831 A CN 114004831A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- data
- image data
- tooth
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 239000007943 implant Substances 0.000 title claims abstract description 38
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 230000011218 segmentation Effects 0.000 claims abstract description 66
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 26
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 238000007408 cone-beam computed tomography Methods 0.000 claims abstract description 13
- 238000013145 classification model Methods 0.000 claims abstract description 12
- 210000000214 mouth Anatomy 0.000 claims abstract description 12
- 239000004053 dental implant Substances 0.000 claims abstract description 11
- 238000013461 design Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 210000002455 dental arch Anatomy 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 2
- 238000002513 implantation Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 210000001847 jaw Anatomy 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 208000002925 dental caries Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C8/00—Means to be fixed to the jaw-bone for consolidating natural teeth or for fixing dental prostheses thereon; Dental implants; Implanting tools
- A61C8/0089—Implanting tools or instruments
- A61C8/009—Implanting tools or instruments for selecting the right implanting element, e.g. templates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Medical Informatics (AREA)
- Dentistry (AREA)
- Epidemiology (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Abstract
一种基于深度学习辅助种植体置换的方法及辅助智能系统、计算机可读存储介质，其中该系统用于通过对牙齿2维图像的分割获取牙齿信息以辅助选择种植体，并通过预测种植牙区域的牙槽骨处的窝洞数据来辅助术前种植方案的设计，包括：全景图生成单元，用于将牙齿的待处理图像文件的3维口腔数据CBCT转化为2维全景格式的图像数据；牙齿分割单元，用于将图像数据输入预设图像分类模型进行分割，以得到牙齿的分割图像数据；以及牙槽骨信息预测单元，用于使用预设特征提取模型对分割图像数据进行特征提取，以确定牙槽骨相关的窝洞数据。由此，能够辅助医师判断患者的牙齿情况来选择合适的种植体，并通过预测牙槽骨窝洞数据来辅助术前种植方案的设计。
Description
技术领域
本发明涉及医学图像处理技术领域，具体而言，涉及一种基于深度学习方法辅助种植体置换的方法以及辅助智能系统、计算机可读存储介质及电子设备。
背景技术
种植体置换是口腔外科中最具挑战性的问题之一，在此过程中需要考虑质量程序和安全措施。人工种植通常无法达到令人满意的准确性和安全性水平，而且，它需要训练有素的牙医和消耗很长时间。
为此，机器人辅助手术系统对于种植体的放置至关重要，因为可以保持更高水平的牙科检查精度和安全性。更具体地说，机器人手臂可以用智能模型制造，用于钻牙中的识别位置。这些智能机器人具有高度的自主性，可以在手术过程中自动调整，并可以直接对患者执行牙科手术任务，而无需任何外科医生的明显控制。
然而，现阶段的种植牙机器人为了提高种植牙手术的精度，往往需要通过种植牙设计软件来模拟种植并生成相应的导板固定在患者的牙齿上，才能保证利用机械臂将种植牙精准地种植在窝洞中。这在设计种植手术方案时，仍需要医师综合考虑种植窝洞的直径和深度才能确定选择合适的种植体并确定种植深度。这仍然需要医师花费大量的精力，同时对医师的牙种植经验有很高的要求。
发明内容
针对以上存在的问题，本发明提出一种基于深度学习的种植牙机器人辅助智能系统，通过对牙齿的分割可以辅助医师判断出患者的牙齿长度生长情况等来选择合适的种植体，并通过预测种植牙区域的牙槽骨窝洞数据来辅助医师进行术前种植方案的设计。
为解决上述问题，本发明的目的在于提供一种基于深度学习方法辅助种植体置换的方法，其包括：
步骤S01：获取待识别的牙齿的2维全景图像数据；
步骤S02：将所述全景图像数据输入到预设图像分类模型进行分割，以得到牙齿的分割图像数据；
步骤S03：使用预设特征提取模型对所述分割图像数据进行特征提取，以确定牙槽骨相关的窝洞数据。
根据本发明，能够辅助医师判断患者的牙齿情况来选择合适的种植体，并通过预测牙槽骨窝洞数据来辅助术前种植方案的设计。
附图说明
图1为根据本发明一示例性实施例的牙弓曲线生成图；
图2为根据本发明一示例性实施例得到的全景的口腔数据图；
图3为根据本发明一示例性实施例提供的预设图像模型得到的分割结果；
图4为根据本发明一示例性实施例提供的预设特征提取模型得到的牙齿窝洞数据相关的分割图；
图5为表示本发明一示例性实施例提供的辅助种植体置换方法的开发过程的流程图；
图6为概括地表示本发明一示例性实施例提供的辅助种植体置换方法的流程图；
图7为根据本发明一示例性实施例提供的辅助智能系统的结构示意图。
具体实施方式
下面结合附图详细描述本发明的示例性实施例。下文描述的和附图示出的示例性实施例旨在教导本发明的原理，使本领域技术人员能够在若干不同环境中和对于若干不同应用实施和使用本发明。因此，本发明的保护范围由所附的权利要求来限定，示例性实施例并不意在、并且不应该被认为是对本发明保护的范围的限制性描述。
根据本发明的一个实施例，提供了一种基于深度学习方法辅助种植体置换的方法，其包括：
步骤S01：获取待识别的牙齿的2维全景图像数据
步骤S02：将所述全景图像数据输入到预设图像分类模型进行分割，以得到牙齿的分割图像数据；
步骤S03：使用预设特征提取模型对所述分割图像数据进行特征提取，以确定牙槽骨相关的窝洞数据。
优选地，在所述步骤S01中，包括步骤S01'：将牙齿的待处理图像文件的3维口腔数据CBCT转化为2维全景格式的全景图像数据。
对于本发明的实施方式，如图5所示的各步骤S100～S113（在此S之后的数值并不必然表示顺序），总体上可分为三个步骤：
步骤S01'：将患者的3维口腔数据CBCT转化为2维场景下的全景图。
步骤S02：使用SegNet、Unet、Unet++网络对全景口腔数据进行牙齿分割。
步骤S03：通过ResNet50深度卷积神经网络预测患者缺失牙处槽骨信息。
整体方案流程如图5、图6所示。
软件环境：编程语言例如为Python3.6、C++、集成框架TensorFlow2.5、Cmake3.20，其他组件例如为cuda11.1、vtk9.0+。实验环境例如为Windows10、RTX3090显卡。
<步骤S01或步骤S01'的全景图生成步骤或全景图生成单元>
由于口腔数据往往是在3维层次上的图像，在3维层次上进行牙齿的分割难度和计算量较大且在3D视角下不能快速地判断缺失牙位置，不便于医生观察。因此，优选生成全景图。
具体而言，例如首先通过对患者的颌骨尤其是牙齿进行CBCT扫描(Cone BeamComputed Tomography，锥形束计算机断层扫描)，得到包含牙齿的口腔内三维影像的CBCT数据，优选获取所有牙齿以及上下颌骨完整的影像数据。
接着，为了将该CBCT数据转化为全景片，可用到的技术为cpr(curved planarreformation，曲面重建)，具体先通过VTK库中的vtkSplineWidget函数在CBCT数据上输入点来获得样条曲线，使用vtkContourWidget函数捕获样条曲线，获取世界坐标，并通过ImageReslicers函数的4*4变换矩阵得到基于上述输入点的样条曲线中一部分样条点的空间坐标，并拟合得到牙弓曲线。如图1所示的白色曲线为所生成的牙弓曲线。计算牙弓曲线上的各点的法向量，使用到的方法例如是弗莱纳公式，公式如下：
其中，
是对弧长的微分，
为曲线的曲率，
为曲线的扭率，T是单位切向量，N是向量T对弧长参数的微分单位化得到的向量，B是T和N的外积。
通过弗莱纳公式中的方法对曲线上的各点的切向量求二阶导数，并反向求解出对应的法向量。使用vtkProbeFilter函数根据牙弓曲线上的点和法向量进行切割并截取图片，使用VTKImageAppend函数将截取的图片拼接起来得到全景的口腔数据图。如图2所示。
<步骤S02：牙齿分割步骤或牙齿分割单元>
利用转化后的300张全景片作为分割数据，图片大小为3100*1300。其中200张全景片由专业的标注人员标出牙齿分割的label，作为训练集来使用。
另外，考虑到牙齿拓扑结构的复杂性，且数据样本较少，本发明人首先将训练集分别输入到分割网络Unet、SegNet来在分割网络Unet、SegNet中分别进行初步的预训练，并从分割网络Unet得到预训练后的预分割图1，从分割网络SegNet得到预训练后的预分割图2，使用opencv库中的merge函数对预分割图1和预分割图2及原图进行三通道融合，从而得到新的训练集样本。
随后，再用新的训练集样本对Unet++网络进行训练。由于此时的数据样本特征较多，因此在下采样过程中，在每个卷积层后加入shuffle模块来增加网络的泛化性，详细的结构为：将三通道融合了的特征图作为输入，输入大小为3100*1300，首先经过卷积核为3*3大小的、filters为32的卷积核，池化方式使用MaxPooling2d。激活函数例如使用Mish激活函数，填充方式使用same-Padding，初始化方式使用he_normal，Dropout比率设置为0.1，正则化方式使用BatchNormalization方法，最后加入一个random.shuffle函数。随后的上采样与下采样结构一样，只是将卷积改为反卷积，下采样次数为5次，上采样次数为10次。
新的样本集在改进的Unet++网络中经过2000次epoch后得到了较好的牙齿分割结果，其中accuracy≥99.9%，loss值≤0.005。此时，再将测试集输入至训练好的Unet++网络中得到的分割结果如图3所示。
<步骤S03：牙槽骨信息预测步骤或单元>
对于在步骤S02中通过分割后得到的分割图，再通过专业的医学人员检测并记录与缺失牙处的牙槽骨相关的窝洞数据（包括窝洞的直径和深度）来作为标签label数据。
在步骤S02中所生成的分割图虽然是黑白图像，但是由于之前的多通道融合操作，所以此时带有标签的图像为3通道图像，通过将3通道图像的其中一个通道设置为0，得到灰度图像，可以大大减少计算量。
将标签label与对应的分割图绑定来生成新的训练集，将该新的训练集输入至ResNet50网络中生成对应特征图，并对特征图featuremap以分割的牙齿区域设置ROI（region of interes，感兴趣区域），将这些候选ROI区域输入至RPN（RegionPropsalNetwork）网络进行分类，对分割出的牙齿生成矩形框。具体而言，使用训练集在神经网络中训练2000个epoch结束后得到具有预测功能的卷积神经网络，再将测试集输入至训练好的卷积神经网络中，得到预测缺失牙处的牙槽骨相关数据。预测数据的准确率可达到92.3%以上。如图4为使用测试集得到的预测结果，矩形框的宽度为预测的窝洞直径，矩形框的长度为预测的窝洞深度。
通过准确地预测窝洞数据，还可以辅助3D打印技术，优化患者牙齿矫治的方案，改善种植牙三维结构。
<种植牙辅助智能系统以及方法>
接着，对种植牙辅助智能系统以及方法进行说明。图7为根据本发明一示例性实施例提供的植牙辅助智能系统的结构示意图。对于植牙辅助智能方法的说明，将以下的关于植牙辅助智能系统的说明中的“单元”替换为“步骤”即可。
如图7所示，本发明涉及的辅助智能系统包括全景图生成单元、牙齿分割单元以及牙槽骨信息预测单元，用于通过对牙齿2维图像的分割获取牙齿信息以辅助选择种植体，并通过预测种植牙区域的牙槽骨处的窝洞数据来辅助术前种植方案的设计。
其中，全景图生成单元用于将牙齿的待处理图像文件的3维口腔数据CBCT转化为2维全景格式的图像数据。
另外，牙齿分割单元用于将所述图像数据输入预设图像分类模型进行分割，以得到牙齿的分割图像数据。具体而言，例如如上所述，该牙齿分割单元可以使用经过了上述训练的Unet++网络来对2维全景格式的图像数据进行分割牙齿。
另外，牙槽骨信息预测单元用于使用预设特征提取模型对所述分割图像数据进行特征提取，以确定牙槽骨相关的窝洞数据。
综上，根据本发明，提供了以下技术方案。
（1）一种基于深度学习方法辅助种植体置换的方法，其包括：
步骤S01：获取待识别的牙齿的2维全景图像数据；
步骤S02：将所述全景图像数据输入到预设图像分类模型进行分割，以得到牙齿的分割图像数据；
步骤S03：使用预设特征提取模型对所述分割图像数据进行特征提取，以确定牙槽骨相关的窝洞数据。
（2）优选地，在所述步骤S01中，包括步骤S01'：将作为牙齿的待处理图像文件的3维口腔数据CBCT转化为2维全景格式的全景图像数据。
（3）优选地，在所述步骤S01中，根据牙弓曲线上的点和法向量进行切割并将截取的图片拼接起来得到所述全景图像数据。
（4）优选地，在所述步骤S02中，所述预设图像分类模型构成为包括Unet++网络。
（5）优选地，所述Unet++网络被以如下方式进行了训练：通过用于牙齿分割的训练集对分割用网络Unet、SegNet进行预训练来分别从分割用网络Unet、SegNet得到预训练后的第一预分割图和第二预分割图，对第一预分割图和第二预分割图及原图数据进行三通道融合来得到第一训练集样本，将该第一训练集样本输入到所述Unet++网络来进行训练。
（6）优选地，在所述Unet++网络中的下采样过程中，在每个卷积层后加入有shuffle模块，并使用Mish激活函数。
（7）优选地，将经过所述三通道融合得到的3通道图像的其中一个通道设置为0，得到灰度图像来作为训练集与测试集。
（8）优选地，在所述步骤S03中，所述预设特征提取模型构成为：所述分割图像数据被输入至ResNet50网络中来生成特征图，并对特征图以分割的牙齿区域设置ROI、即感兴趣区域，将这些候选ROI输入至RPN网络进行分类，对分割出的牙齿生成矩形框。
（9）优选地，所述预设特征提取模型被以如下方式进了训练：对通过预设图像分类模型输出的分割图，人工标记与缺失牙处的牙槽骨相关的窝洞数据来作为标签数据，将该标签数据与对应的分割图绑定成第二训练集，将该第二训练集输入至该预设特征提取模型来进行训练。
（10）优选地，窝洞数据包括窝洞的直径和深度，矩形框的宽度为窝洞直径，矩形框的长度为窝洞深度。
（11）根据本发明，提供了一种辅助智能系统，用于通过对牙齿2维图像的分割获取牙齿信息以辅助选择种植体，并通过预测种植牙区域的牙槽骨处的窝洞数据来辅助术前种植方案的设计，其包括：
全景图生成单元，用于将牙齿的待处理图像文件的3维口腔数据CBCT转化为2维全景格式的图像数据；
牙齿分割单元，用于将所述图像数据输入预设图像分类模型进行分割，以得到牙齿的分割图像数据；
牙槽骨信息预测单元，用于使用预设特征提取模型对所述分割图像数据进行特征提取，以确定牙槽骨相关的窝洞数据。
（12）根据本发明，提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序用于使计算机通过执行该计算机程序来实现上述方法。
（13）根据本发明，提供一种电子设备，包括处理器和用于存储所述处理器可执行的指令的存储器，所述处理器构成为从所述存储器中读取并执行所述指令来实现上述方法。
以上以示例的方式对用于实施本发明的方法或系统进行说明。由此，根据本发明的实施例，可提供一种电子设备，其包括处理器以及存储器，存储器存储有计算机可读取指令，当计算机可读取指令由处理器执行时，运行如上所述的方法的全部或部分步骤。
此外，还可提供一种可读存储介质，如移动磁盘、硬盘等，其上存储有计算机程序，计算机程序被处理器执行时，执行包括如图5所示方法的实施例中电子设备所执行的方法的步骤。
本发明中所公开的实施例描述的各示例的方法步骤及模块等组成，能够以电子硬件、计算机软件或者二者的结合来实现，可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的。
本发明中，术语“第一”、“第二”和“第三”、“S01～S113”等仅用于区分描述目的，仅用于区分两个不同的对象特征，并不用于表示排列顺序、相对重要性或者隐含指明所指示的技术特征的数量。
尽管已经参考各种具体实施例描述了本发明，但是应当理解，可以在所描述的发明构思的精神和范围内做出变形。因此，意图是本发明不限于所描述的实施例，而是将具有由所附权利要求的语言所定义的全部范围。
Claims (13)
1.一种基于深度学习辅助种植体置换的方法，其包括：
步骤S01：获取待识别的牙齿的2维全景图像数据；
步骤S02：将所述全景图像数据输入到预设图像分类模型进行分割，以得到牙齿的分割图像数据；
步骤S03：使用预设特征提取模型对所述分割图像数据进行特征提取，以确定牙槽骨相关的窝洞数据。
2.根据权利要求1所述的基于深度学习辅助种植体置换的方法，其中，
在所述步骤S01中，包括步骤S01'：将作为牙齿的待处理图像文件的3维口腔数据CBCT转化为2维全景格式的全景图像数据。
3.根据权利要求2所述的基于深度学习辅助种植体置换的方法，其中，
在所述步骤S01中，根据牙弓曲线上的点和法向量进行切割并将截取的图片拼接起来得到所述全景图像数据。
4.根据权利要求1所述的基于深度学习辅助种植体置换的方法，其中，
在所述步骤S02中，所述预设图像分类模型构成为包括Unet++网络。
5.根据权利要求4所述的基于深度学习辅助种植体置换的方法，其中，
所述Unet++网络被以如下方式进行了训练：通过用于牙齿分割的训练集对分割用网络Unet、SegNet进行预训练，分别从分割用网络Unet、SegNet得到预训练后的第一预分割图和第二预分割图，对第一预分割图和第二预分割图及原图数据进行三通道融合来得到第一训练集样本，将该第一训练集样本输入到所述Unet++网络来进行训练。
6.根据权利要求4所述的基于深度学习辅助种植体置换的方法，其中，
在所述Unet++网络中的下采样过程中，在每个卷积层后加入有shuffle模块，并使用Mish激活函数。
7.根据权利要求5所述的基于深度学习辅助种植体置换的方法，其中，
将经过所述三通道融合得到的3通道图像的其中一个通道设置为0，得到灰度图像来作为训练集与测试集。
8.根据权利要求1所述的基于深度学习辅助种植体置换的方法，其中，
在所述步骤S03中，所述预设特征提取模型构成为：所述分割图像数据被输入至ResNet50网络中来生成特征图，并对特征图以分割的牙齿区域设置ROI、即感兴趣区域，将这些候选ROI输入至RPN网络进行分类，对分割出的牙齿生成矩形框。
9.根据权利要求1所述的基于深度学习辅助种植体置换的方法，其中，
所述预设特征提取模型被以如下方式进了训练：对通过预设图像分类模型输出的分割图，人工标记与缺失牙处的牙槽骨相关的窝洞数据来作为标签数据，将该标签数据与对应的分割图绑定成第二训练集，将该第二训练集输入至该预设特征提取模型来进行训练。
10.根据权利要求9所述的基于深度学习辅助种植体置换的方法，其中，
窝洞数据包括窝洞的直径和深度，矩形框的宽度为窝洞直径，矩形框的长度为窝洞深度。
11.一种辅助智能系统，用于通过对牙齿2维图像的分割获取牙齿信息以辅助选择种植体，并通过预测种植牙区域的牙槽骨处的窝洞数据来辅助术前种植方案的设计，其包括：
全景图生成单元，用于将牙齿的待处理图像文件的3维口腔数据CBCT转化为2维全景格式的图像数据；
牙齿分割单元，用于将所述图像数据输入预设图像分类模型进行分割，以得到牙齿的分割图像数据；以及
牙槽骨信息预测单元，用于使用预设特征提取模型对所述分割图像数据进行特征提取，以确定牙槽骨相关的窝洞数据。
12.一种计算机可读存储介质，存储有计算机程序，所述计算机程序用于使计算机通过执行该计算机程序来实现权利要求1~10中任一项所述的方法。
13.一种电子设备，包括处理器和用于存储所述处理器可执行的指令的存储器，所述处理器构成为从所述存储器中读取并执行所述指令来实现权利要求1~10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111596647.1A CN114004831B (zh) | 2021-12-24 | 2021-12-24 | 基于深度学习辅助种植体置换的方法及辅助智能系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111596647.1A CN114004831B (zh) | 2021-12-24 | 2021-12-24 | 基于深度学习辅助种植体置换的方法及辅助智能系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114004831A true CN114004831A (zh) | 2022-02-01 |
| CN114004831B CN114004831B (zh) | 2022-04-08 |
Family
ID=79931925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111596647.1A Active CN114004831B (zh) | 2021-12-24 | 2021-12-24 | 基于深度学习辅助种植体置换的方法及辅助智能系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114004831B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115054390A (zh) * | 2022-07-20 | 2022-09-16 | 北京大学口腔医学院 | 基于机器学习的扭矩模型指导种植窝洞个性化制备方法 |
| CN115661141A (zh) * | 2022-12-14 | 2023-01-31 | 上海牙典医疗器械有限公司 | 基于cbct图像牙齿和牙槽骨分割方法及系统 |
| CN115880286A (zh) * | 2023-02-16 | 2023-03-31 | 极限人工智能有限公司 | 智能规划推荐口腔种植体的方法、系统、介质及电子设备 |
| CN116309522A (zh) * | 2023-04-06 | 2023-06-23 | 浙江大学 | 基于二阶段深度学习模型的全景片牙周炎智能分级系统 |
| CN117952987A (zh) * | 2024-03-27 | 2024-04-30 | 有方（合肥）医疗科技有限公司 | Cbct图像数据的处理方法、装置、电子设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200175678A1 (en) * | 2018-11-28 | 2020-06-04 | Orca Dental AI Ltd. | Dental image segmentation and registration with machine learning |
| CN111563887A (zh) * | 2020-04-30 | 2020-08-21 | 北京航空航天大学杭州创新研究院 | 一种口腔图像的智能分析方法与装置 |
| CN111932518A (zh) * | 2020-08-12 | 2020-11-13 | 杭州深睿博联科技有限公司 | 一种深度学习的全景牙片病灶检测及分割方法及装置 |
| CN112085028A (zh) * | 2020-08-31 | 2020-12-15 | 浙江工业大学 | 基于特征图扰动以及边界监督的牙齿全景片语义分割方法 |
| CN113554607A (zh) * | 2021-07-15 | 2021-10-26 | 四川大学 | 一种牙体检测模型、生成方法及牙体分割方法 |
| CN113628223A (zh) * | 2021-08-05 | 2021-11-09 | 杭州隐捷适生物科技有限公司 | 基于深度学习的牙科cbct三维牙齿分割方法 |
-
2021
- 2021-12-24 CN CN202111596647.1A patent/CN114004831B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200175678A1 (en) * | 2018-11-28 | 2020-06-04 | Orca Dental AI Ltd. | Dental image segmentation and registration with machine learning |
| CN111563887A (zh) * | 2020-04-30 | 2020-08-21 | 北京航空航天大学杭州创新研究院 | 一种口腔图像的智能分析方法与装置 |
| CN111932518A (zh) * | 2020-08-12 | 2020-11-13 | 杭州深睿博联科技有限公司 | 一种深度学习的全景牙片病灶检测及分割方法及装置 |
| CN112085028A (zh) * | 2020-08-31 | 2020-12-15 | 浙江工业大学 | 基于特征图扰动以及边界监督的牙齿全景片语义分割方法 |
| CN113554607A (zh) * | 2021-07-15 | 2021-10-26 | 四川大学 | 一种牙体检测模型、生成方法及牙体分割方法 |
| CN113628223A (zh) * | 2021-08-05 | 2021-11-09 | 杭州隐捷适生物科技有限公司 | 基于深度学习的牙科cbct三维牙齿分割方法 |
Non-Patent Citations (4)
| Title |
|---|
| SHUXU ZHAO ET AL.: "Automatic Tooth Segmentation and Classification in Dental Panoramic X-ray Images", 《TECHNICAL ADVANCE ARTICLES》 * |
| WEI DUAN ET AL.: "Refined tooth and pulp segmentation using U-Net in CBCT image", 《DENTOMAXILLOFACIAL RADIOLOGY》 * |
| ZONGWEI ZHOU ET AL.: "UNet++: A Nested U-Net Architecture for Medical Image Segmentation", 《DEEP LEARNING IN MEDICAL IMAGE ANALYSIS AND MULTIMODAL LEARNING FOR CLINICAL DECISION SUPPORT》 * |
| 田丰源: "基于AttentionNet和DenseUnet的脊椎CT分割", 《激光与光电子学进展》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115054390A (zh) * | 2022-07-20 | 2022-09-16 | 北京大学口腔医学院 | 基于机器学习的扭矩模型指导种植窝洞个性化制备方法 |
| CN115054390B (zh) * | 2022-07-20 | 2024-03-15 | 北京大学口腔医学院 | 基于机器学习的扭矩模型指导种植窝洞个性化制备方法 |
| CN115661141A (zh) * | 2022-12-14 | 2023-01-31 | 上海牙典医疗器械有限公司 | 基于cbct图像牙齿和牙槽骨分割方法及系统 |
| CN115880286A (zh) * | 2023-02-16 | 2023-03-31 | 极限人工智能有限公司 | 智能规划推荐口腔种植体的方法、系统、介质及电子设备 |
| CN116309522A (zh) * | 2023-04-06 | 2023-06-23 | 浙江大学 | 基于二阶段深度学习模型的全景片牙周炎智能分级系统 |
| CN116309522B (zh) * | 2023-04-06 | 2024-01-26 | 浙江大学 | 基于二阶段深度学习模型的全景片牙周炎智能分级系统 |
| CN117952987A (zh) * | 2024-03-27 | 2024-04-30 | 有方（合肥）医疗科技有限公司 | Cbct图像数据的处理方法、装置、电子设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114004831B (zh) | 2022-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114004831B (zh) | 基于深度学习辅助种植体置换的方法及辅助智能系统 | |
| KR101839789B1 (ko) | 치과 영상의 판독 데이터 생성 시스템 | |
| JP7152455B2 (ja) | セグメンテーション装置および学習モデルの生成方法 | |
| CN111062947B (zh) | 一种基于深度学习的x光胸片病灶定位方法及系统 | |
| US11419727B2 (en) | Semi-automated imaging reconstruction for orbital fracture repair | |
| CN110547869B (zh) | 一种基于虚拟现实的术前辅助规划装置 | |
| US20240127559A1 (en) | Methods for medical image visualization | |
| Sakai et al. | Development of artificial intelligence model for supporting implant drilling protocol decision making | |
| KR102344521B1 (ko) | 진단 및 진료계획 수립 방법 및 이를 위한 3차원 치과영상 제공장치 | |
| CA3200325A1 (en) | Method for automatically detecting landmark in three-dimensional dental scan data, and computer-readable recording medium with program for executing same in computer recorded thereon | |
| KR102628324B1 (ko) | 인공지능 기반의 사용자 인터페이스를 통한 수술 결과 분석 장치 및 그 방법 | |
| Yeshua et al. | Automatic detection and classification of dental restorations in panoramic radiographs | |
| CN110097944B (zh) | 一种人体器官模型的显示调控方法及系统 | |
| JP2005185767A (ja) | 人工関節部材選定支援装置および人工関節部材選定支援プログラム | |
| US20220386976A1 (en) | Bone age estimation method and apparatus | |
| CN114387259A (zh) | 用于预测缺失牙坐标的方法与装置及识别模型的训练方法 | |
| US11488305B2 (en) | Segmentation device | |
| CN114170177A (zh) | 一种手术路径分析方法及存储介质 | |
| CN114445561A (zh) | 一种交互式牙齿三维图像的显示及更新方法、装置及系统 | |
| Giri et al. | Artificial Intelligence-Future trend in Oral Diagnosis and Radiology | |
| CN117934689B (zh) | 一种骨折ct影像的多组织分割与三维渲染方法 | |
| Ghafoor et al. | Multiclass Segmentation using Teeth Attention Modules for Dental X-ray Images | |
| EP4371494A1 (en) | Device and method for providing sinus image and learning method thereof | |
| CN111933252B (zh) | 一种牙位检出和缺失牙标记方法及装置 | |
| Liu et al. | A new lateral cephalogram image stitching technique using gaussian mixture model and normalized cross-correlation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |