CN108470375B - 一种基于深度学习的神经导管自动检测方法 - Google Patents
一种基于深度学习的神经导管自动检测方法 Download PDFInfo
- Publication number
- CN108470375B CN108470375B CN201810384359.1A CN201810384359A CN108470375B CN 108470375 B CN108470375 B CN 108470375B CN 201810384359 A CN201810384359 A CN 201810384359A CN 108470375 B CN108470375 B CN 108470375B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- dimensional model
- mandibular
- tube
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 26
- 238000013135 deep learning Methods 0.000 title claims abstract description 11
- 210000005036 nerve Anatomy 0.000 title claims description 14
- 210000002698 mandibular nerve Anatomy 0.000 claims abstract description 41
- 210000002455 dental arch Anatomy 0.000 claims abstract description 18
- 238000007408 cone-beam computed tomography Methods 0.000 claims abstract description 10
- 230000003993 interaction Effects 0.000 claims abstract description 7
- 230000001537 neural effect Effects 0.000 claims abstract description 4
- 210000000276 neural tube Anatomy 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 13
- 238000003062 neural network model Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 230000001093 anti-cancer Effects 0.000 claims description 3
- 239000003814 drug Substances 0.000 claims description 3
- 210000004373 mandible Anatomy 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 27
- 210000000988 bone and bone Anatomy 0.000 abstract description 4
- 230000007547 defect Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Graphics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Abstract
一种基于深度学习的神经导管自动检测方法，采用以下步骤，步骤1：读取CBCT图像数据，通过该CBCT图像数据重建三维模型，且自动拟合牙弓曲线；步骤2：利用手工交互的方式在三维模型中沿着牙弓曲线勾画对应的曲线，并在三维空间中重建下颌神经管；步骤3：在三维空间坐标系中，以牙弓曲线为参考线，沿着牙弓曲线每间隔指定距离对三维模型进行切片，得到切片图，记录每个切片图在三维空间坐标系中的空间位置，所有的切片图组成该三维图像的图像序列。采用先进的深度学习检测模型，能够适应不同年龄，不同骨质状况的病人数据，因此算法具有很高的稳定性。
Description
技术领域
本发明涉及领域，具体涉及基于深度学习的神经导管自动检测算法。
背景技术
相关产品中该技术的缺陷分析
涉及下颌神经管检测技术的种植软件产品：
缺陷总结：
目前市场上尚未出现全自动的下颌神经管检测技术，绝大部分空腔种植软件都是采用了人工交互勾画下颌神经管的方法。使用时用户需要在全景图像上画出完整的下颌神经管的曲线，然后生成三维的神经导管。为保证精度，通常需要用户不断地调整全景图，以完全显现下颌神经管，该操作非常繁琐，需要大量的交互工作。极少数产品中提供了半自动自动的下颌神经管检测功能(如 Blue Sky Plant)，该产品需要用户标记下颌神经管的入口，除此之外该产品的方法并不稳定，检测结果容易受到数据质量和病人个体差异的影响，
相关技术的缺陷简要分析：
论文
名称：Automatic Extraction of Mandibular Nerve and Bone from Cone-BeamCT Data
会议：International Conference on Medical Image Computing andComputer-Assisted Intervention
日期：2009年
缺陷：该方法需要通过统计方法重建整个下颌骨和下颌神经管，然后采用最短路径法改善初始的下颌神经管。该方法的统计模型限制了该方法的使用范围，另外最短路径的权重的设置受数据影响，不具有稳定性。
名称：Automated tracking of the mandibular canal in CBCT images usingmatching and multiple hypotheses methods
杂志：Fourth International Conference on Communication&Electronics
日期：2012年
缺陷：该方法采用形态学方法检测神经导管的入口和出口，然后采用基于局部匹配的方法分别从入口和出口对神经导管进行跟踪。该方法整体是基于基本的图像处理技术，因此容易受到图像噪声影响；除此之外该方法假设神经导管是圆形，而实际中神经管的形状变化较大，尤其是大龄病人，下颌神经管呈现不规则形状，因此该方法容易受到数据的影响。
名称：Tubular Geodesics using Oriented Flux:An ITK Implementation
杂志：The Insight Journal
日期：2013年
缺陷：该方法需要手工确定下颌神经管的起始点和终止点，然后通过最短路径的方法确定下颌神经管。对于噪声较大的数据，肉眼难以确定下颌神经管的起始和终止点，另外最短路径的权重通常需要对不同的数据单独调整，因此算法不具有稳定性。
缺陷总结：
目前绝大部分的下颌神经管检测技术都是依赖低级的图像特征，如图像光度和梯度，进行检测。然而由于下颌神经管会随着病人的年龄，性别，骨质状况的不同而呈现出较大的差异，传统的方法无法处理如此复杂的情况，因此现存的方法在自动化程度和稳定性上都存在很大的不足。
发明内容
本发明针对现有技术的不足，提出基于深度学习的神经导管自动检测算法，具体技术方案如下：
一种基于深度学习的神经导管自动检测算法，其特征在于：
采用以下步骤，
步骤1：读取CBCT图像数据，通过该CBCT图像数据重建三维模型，且自动拟合牙弓曲线，该牙弓曲线如图3所示；
步骤2：利用手工交互的方式在三维模型中沿着牙弓曲线勾画对应的曲线，并在三维空间中重建下颌神经管；
步骤3：在三维空间坐标系中，以牙弓曲线为参考线，沿着牙弓曲线每间隔指定距离对三维模型进行切片，得到切片图，记录每个切片图在三维空间坐标系中的空间位置，所有的切片图组成该三维模型的图像序列；
步骤4：针对图像序列，对每张切片图中与下颌神经管相交形成的交点进行标记得到标记数据；
步骤5：重复步骤1至步骤，选取深度神经网络模型，利用标记数据对深度神经网络模型进行训练，使得深度神经网络模型的识别率达到设定值；
步骤6：选取需要测量的三维模型，按照步骤1至步骤3得到图像序列；
步骤7：利用训练完成的深度神经网络模型分别识别每张切片图中下颌神经管的位置；
步骤8：根据每个切片图在三维空间坐标系中的空间位置，利用图像序列在三维空间坐标系中重建检测完毕后的三维模型；
步骤9：对重建三维模型中的下颌神经管利用卡尔曼滤波进行平滑处理，对三维模型中的下颌神经管采用样条曲线拟合技术，根据用户输入的半径将下颌神经管重建成三维管道。
进一步地：所述步骤9包括如下步骤：
步骤91：对检测完毕后的三维模型从牙弓曲线的中心位置开始利用卡尔曼滤波，分别向位于两侧的下颌神经管逐帧处理；
步骤92：当检测到下颌神经管入口时，标记为卡尔曼滤波的开始处；
步骤93：对模型进行初始化，在每一帧上预测下颌神经管的位置，且实时更新三维模型，直到下颌神经管消失，完成滤波处理；
步骤94：在三维模型中得到下颌神经管的分段曲线后，采用样条曲线拟合技术，根据用户输入的半径将下颌神经管重建成三维管道。
本发明的有益效果为：第一，采用先进的深度学习检测模型，能够适应不同年龄，不同骨质状况的病人数据，因此算法具有很高的稳定性。
第二，采用神经网络识别能够自动地区分下颌神经管的入口部分和其它部分，相比较于现存方法更加灵活。除此之外，设计了一种高效的训练数据标记方法，能够快速、高效准确地标记图像中的下颌神经管，为检测模型的准确率提供了保障。最后为了进一步利用下颌神经管的局部平滑特性，本技术采用了卡尔曼滤波技术，对个别较差的检测结果进行修正，保证了检测结果的稳定性。
第三，检测过程中不需要任何交互，只需要用户确认检测结果即可。相比较于目前的绝大多数交互滑县以及极少数半自动的方法，本技术极大地节省了人工成本，提高了口腔种植的效率。
第四，将三维CBCT数据转化成二维的有序图像序列，从而有效的发挥了以卷积神经网络为基础的深度检测模型的性能，同时大量的不同状况的训练数据，使本文的技术对能够适用各种病人的数据，保证的检测的准确性。同时卡尔曼滤波的使用，利用了下颌神经管的局部平滑性，因此保证了本技术的稳定性。
附图说明
图1为本发明的结构框图；
图2为技术方案辅助示意图；
图3为牙弓曲线自动拟合结果；
图4为下颌神经管自动检测训练样本数据；
图5为下颌神经管三维检测结果图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
如图1所示：一种基于深度学习的神经导管自动检测算法，
采用以下步骤，
步骤1：读取CBCT图像数据，通过该CBCT图像数据重建三维模型，且自动拟合牙弓曲线，该三维模型如图2中的1所示；
步骤2：利用手工交互的方式在三维模型中沿着牙弓曲线勾画对应的曲线，并在三维空间中重建下颌神经管；
步骤3：在三维空间坐标系中，以牙弓曲线为参考线，沿着牙弓曲线每间隔指定距离对三维模型进行切片，得到切片图，记录每个切片图在三维空间坐标系中的空间位置，所有的切片图组成该三维模型的图像序列；
步骤4：针对图像序列，对每张切片图中与下颌神经管相交形成的交点进行标记得到标记数据；
步骤5：选取深度神经网络模型，利用带有标记数据的切片图对深度神经网络模型进行训练，使得深度神经网络模型的识别率达到设定值；
步骤6：选取需要测量的三维模型，按照步骤1至步骤3得到图像序列；
步骤7：利用训练完成的深度神经网络模型分别识别每张切片图中下颌神经管的位置，由下颌神经管开口的位置通常与牙弓曲线接近垂直，因此在开口位置的切片图上，下颌神经管与图像所在的平面接近近似一条线段，以该线段为对角线创建矩形框，便可以在该切片图上包含所有神经管部分，如图2中3-1 标示的红色部分为检测到的神经导管，3-2中绿色部分为神经导管入口；
步骤8：根据每个切片图在三维空间坐标系中的空间位置，利用图像序列在三维空间坐标系中重建检测完毕后的三维模型，该图像序列如图2中3-3所示；
步骤9：对检测完毕后的三维模型从牙弓曲线的中心位置开始利用卡尔曼滤波，分别向位于两侧的下颌神经管逐帧处理；
步骤10：当检测到下颌神经管入口时，标记为卡尔曼滤波的开始处；
步骤11：对模型进行初始化，在每一帧上预测下颌神经管的位置，且实时更新三维模型，直到下颌神经管消失，完成滤波处理；
步骤12：在三维模型中得到下颌神经管的分段曲线后，采用样条曲线拟合技术，根据用户输入的半径将下颌神经管重建成三维管道，如图5所示为重建完成的模型。
Claims (2)
1.一种基于深度学习的神经导管自动检测方法，其特征在于：
采用以下步骤，
步骤1：读取CBCT图像数据，通过该CBCT图像数据重建三维模型，且自动拟合牙弓曲线；
步骤2：利用手工交互的方式在三维模型中沿着牙弓曲线勾画对应的曲线，并在三维空间中重建下颌神经管；
步骤3：在三维空间坐标系中，以牙弓曲线为参考线，沿着牙弓曲线每间隔指定距离对三维模型进行切片，得到切片图，记录每个切片图在三维空间坐标系中的空间位置，所有的切片图组成该三维模型的图像序列；
步骤4：针对图像序列，对每张切片图中与下颌神经管相交形成的交点进行标记得到标记数据；
步骤5：选取深度神经网络模型，利用带有标记数据的切片图对深度神经网络模型进行训练，使得深度神经网络模型的识别率达到设定值；
步骤6：选取需要测量的三维模型，按照步骤1至步骤3得到图像序列；
步骤7：利用训练完成的深度神经网络模型分别识别每张切片图中下颌神经管的位置；
步骤8：根据每个切片图在三维空间坐标系中的空间位置，利用图像序列在三维空间坐标系中重建检测完毕后的三维模型；
步骤9：对重建三维模型中的下颌神经管利用卡尔曼滤波进行平滑处理，对三维模型中的下颌神经管采用样条曲线拟合技术，根据用户输入的半径将下颌神经管重建成三维管道。
2.用于权利要求1所述基于深度学习的神经导管自动检测方法，其特征在于：所述步骤9包括如下步骤：
步骤91：对检测完毕后的三维模型从牙弓曲线的中心位置开始利用卡尔曼滤波，分别向位于两侧的下颌神经管逐帧处理；
步骤92：当检测到下颌神经管入口时，标记为卡尔曼滤波的开始处；
步骤93：对模型进行初始化，在每一帧上预测下颌神经管的位置，且实时更新三维模型，直到下颌神经管消失，完成滤波处理；
步骤94：在三维模型中得到下颌神经管的分段曲线后，采用样条曲线拟合技术，根据用户输入的半径将下颌神经管重建成三维管道。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810384359.1A CN108470375B (zh) | 2018-04-26 | 2018-04-26 | 一种基于深度学习的神经导管自动检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810384359.1A CN108470375B (zh) | 2018-04-26 | 2018-04-26 | 一种基于深度学习的神经导管自动检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108470375A CN108470375A (zh) | 2018-08-31 |
| CN108470375B true CN108470375B (zh) | 2022-03-08 |
Family
ID=63263862
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810384359.1A Active CN108470375B (zh) | 2018-04-26 | 2018-04-26 | 一种基于深度学习的神经导管自动检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108470375B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110211200B (zh) * | 2019-04-22 | 2023-04-18 | 深圳安科高技术股份有限公司 | 一种基于神经网络技术的牙弓线生成方法及其系统 |
| WO2020235784A1 (ko) * | 2019-05-22 | 2020-11-26 | 주식회사 디오 | 신경 검출 방법 및 장치 |
| CN110610198A (zh) * | 2019-08-22 | 2019-12-24 | 浙江工业大学 | 一种基于Mask RCNN的口腔CBCT影像下颌神经管自动识别方法 |
| JP7152455B2 (ja) * | 2019-10-07 | 2022-10-12 | 株式会社モリタ製作所 | セグメンテーション装置および学習モデルの生成方法 |
| CN111860388A (zh) * | 2020-07-27 | 2020-10-30 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN113643446B (zh) * | 2021-08-11 | 2022-03-29 | 北京朗视仪器股份有限公司 | 一种下颌神经管自动标记方法、装置和电子设备 |
| CN114677516B (zh) * | 2022-05-27 | 2022-12-09 | 杭州键嘉医疗科技股份有限公司 | 一种基于深度神经网络的口腔下颌管自动分割方法 |
| CN114677374B (zh) * | 2022-05-27 | 2022-09-02 | 杭州键嘉机器人有限公司 | 一种下颌神经管中心线提取与半径计算的方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101977564A (zh) * | 2008-01-29 | 2011-02-16 | 矫正技术公司 | 用于优化牙科矫正器几何形状的方法和系统 |
| CN107451609A (zh) * | 2017-07-24 | 2017-12-08 | 上海交通大学 | 基于深度卷积神经网络的肺结节图像识别系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9412166B2 (en) * | 2001-04-13 | 2016-08-09 | Orametrix, Inc. | Generating three dimensional digital dentition models from surface and volume scan data |
| US9972083B2 (en) * | 2013-04-22 | 2018-05-15 | Carestream Dental Technology Topco Limited | Detection of tooth fractures in CBCT image |
-
2018
- 2018-04-26 CN CN201810384359.1A patent/CN108470375B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101977564A (zh) * | 2008-01-29 | 2011-02-16 | 矫正技术公司 | 用于优化牙科矫正器几何形状的方法和系统 |
| CN107451609A (zh) * | 2017-07-24 | 2017-12-08 | 上海交通大学 | 基于深度卷积神经网络的肺结节图像识别系统 |
Non-Patent Citations (2)
| Title |
|---|
| Automatic contour detection from dental CBCT DICOM data;Iuliana Marin 等;《2015 E-Health and Bioengineering Conference (EHB)》;20160128;第1-4页 * |
| Dolphin三维影像处理技术实现埋伏牙可视化的临床应用研究;仲伟洁 等;《口腔医学》;20140628;第34卷(第6期);第441-443页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108470375A (zh) | 2018-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108470375B (zh) | 一种基于深度学习的神经导管自动检测方法 | |
| CN107507234B (zh) | 锥束计算机断层扫描图像与x光图像配准方法 | |
| US11707344B2 (en) | Segmentation quality assessment | |
| US11464467B2 (en) | Automated tooth localization, enumeration, and diagnostic system and method | |
| Gan et al. | Toward accurate tooth segmentation from computed tomography images using a hybrid level set model | |
| CN111415419B (zh) | 基于多源图像的牙体修复模型制作方法和系统 | |
| US20170178327A1 (en) | Detecting tooth wear using intra-oral 3d scans | |
| Hu et al. | Automatic lung segmentation for accurate quantitation of volumetric X-ray CT images | |
| Kurugol et al. | Aorta segmentation with a 3D level set approach and quantification of aortic calcifications in non-contrast chest CT | |
| US20160203604A1 (en) | Method for automatic detection of anatomical landmarks in volumetric data | |
| CN107680110B (zh) | 基于统计形状模型的内耳三维水平集分割方法 | |
| CN112381757A (zh) | 一种基于人工智能-图像识别的脊柱全长X线片测算脊柱侧弯Cobb角的系统及方法 | |
| CN109410166A (zh) | 用于肺实质ct图像的全自动分割方法 | |
| CN114173704A (zh) | 用于生成牙弓模型的方法 | |
| WO2012106580A2 (en) | Methods and apparatus for computer-aided radiological detection and imaging | |
| Rueda et al. | An approach for the automatic cephalometric landmark detection using mathematical morphology and active appearance models | |
| CN112869894A (zh) | 一种壳状牙齿矫治器的设计方法、制备系统及制备方法 | |
| CN114041167A (zh) | 自动化冠状动脉血管造影分析 | |
| CN111369537A (zh) | 一种肺磨玻璃结节的自动分割系统及方法 | |
| US20220358740A1 (en) | System and Method for Alignment of Volumetric and Surface Scan Images | |
| Khan et al. | Semi-automated basal ganglia segmentation using large deformation diffeomorphic metric mapping | |
| El-Fegh et al. | Automated 2-D cephalometric analysis of X-ray by image registration approach based on least square approximator | |
| Arapović-Savić et al. | Linear measurements of facial morphology using automatic aproach. | |
| CN115252174A (zh) | 排牙方法、牙齿正畸模拟方法、存储介质和口腔ct设备 | |
| JP2018512188A (ja) | チャネル検出を使用する画像データ内の物体の分割 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |