CN110738661A - 一种基于神经网络的口腔ct下颌神经管的分割方法 - Google Patents
一种基于神经网络的口腔ct下颌神经管的分割方法 Download PDFInfo
- Publication number
- CN110738661A CN110738661A CN201910899490.6A CN201910899490A CN110738661A CN 110738661 A CN110738661 A CN 110738661A CN 201910899490 A CN201910899490 A CN 201910899490A CN 110738661 A CN110738661 A CN 110738661A
- Authority
- CN
- China
- Prior art keywords
- data
- training
- neural network
- mandibular
- neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
一种基于神经网络的口腔CT下颌神经管的分割方法,该方法包括以下步骤:对已有的数据进行预处理;训练时进行数据增强;使用神经网络训练来得到最终的分割模型;使用得到的分割模型对测试数据进行预测;最终完成下颌神经管的分割。本发明的方法可以相比较其他神经网络经过较少的数据训练得到较为理想的分割结果,极大的解决了口腔科医生在处理下颌神经管定位时费时费力的状况,也能够缓解影像科医生人才供不应求的情况。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于神经网络的口腔CT下颌神经管的分割方法。
背景技术
随着人工智能技术与GPU处理能力的不断发展,图像处理能力在近几年有了质的飞跃,人工智能的应用早已突破早期的数字识别的能力,极大的被应用到更加贴合现实生活的应用中来,比如车牌号检测,人脸识别,AI医疗等等。
为了快速地辅助口腔科医生来实现下颌神经管的精确定位,可以基于神经网络有效地利用已有的数据经过训练后来实现对下颌神经管的分割。传统的下颌神经管定位完全依靠口腔科医生的判断,此外国内外有关医学影像的研究表明:现如今每年中国的医学影像发展增速达到了30%,但是从事医学影像工作的放射科医生的年增长率才不过4.1%, 其增长速度远远低于影像数据发展的速度。随着对从事有关医学影像的医生需求缺口不断扩大,从事医学影像的医生数量不足必然导致其工作量繁重,如此大负荷的工作量会导致误诊率和漏诊率的提高。
发明内容
本发明的目的就是为了解决上述问题,提供一种基于神经网络的口腔CT下颌神经管的分割方法,它也同样可用于来解决其他医学图像分割的问题。
为了实现上述目的,本发明采用如下技术方案:
一种基于神经网络的口腔CT下颌神经管的分割方法。制作所要使用的数据并对需要分割的目标进行专家标注最终制成训练集和测试集。其次对原始图像进行数据预处理来消除可能由图像本身缺陷而导致的结果误差,并通过数据扩增(数据增强)来解决可能出现的网络过拟合的情况,最终将经过训练后生成模型用来实现口腔CT图像的下颌神经管分割。
本发明的具体步骤为:
1)标注对应数据集中的下颌神经管位置以用来制作用于训练的Ground Truth数据;
2)对将要使用到的数据集进行一定的预处理来方便训练,以及消除可能由数据自身的不足而导致的误差问题;
3)使用随即缩放、随机弹性变形、镜像数据这些方法来做数据扩增(数据增强);
4)设计用于训练的神经网络以用来训练分割模型并进行训练;
5)使用得到的训练模型来进行预测;
6)将预测的结果与Ground Truth进行比较,计算出Dice系数来对分割结果进行评估并适当对上诉步骤进行调整;
7)完成图像分割。
所述步骤1),数据集的制作可以通过多张二维医学图像数据通过叠加得来,也可以使用第三方的开源数据集。
所述步骤2),为了方便训练以及减少可能由数据而产生的影响,通常需要对数据进行一系列的预处理,可分为以下几个步骤:
2-1)对数据进行压缩;
医学图像往往都较大,在读取较大的图象时往往会消耗大量的CPU与内存资源,拖慢训练的速度,为了优化这些问题则需要先将原始数据使用基于SimpleITK的医学图像处理库ANTs来对数据进行处理压缩,然后再使用压缩后的数据来进行训练与预测。
2-2)进行偏置场矫正;
MR图像中磁场的变化会导致MR扫描经常会出现显示强度不均匀性,因此在对所使用的原始数据集进行查看时,难免会地发现一些局部偏暗,四周偏亮的偏色问题,有这些问题的图片被称之为偏置场。 正因为导致偏置场的原因是由于信号强度的变化而不是由任何切片差异所造成的,所以偏置场的问题最终可能导致后期分类器出现问题并对最终训练的结果产生不必要的影响,为此可通过偏置场矫正算法来进行偏置场矫正以解决这部分问题。
2-3)数据标准化;
在加载训练数据的同时为了增强网络的性能,避免数值问题以及加快网络的收敛速度,需要对数据使用标准差法来进行标准化处理。
所述步骤3),数据扩增(数据增强);
对于使用少部分的数据来进行网络训练,网络会出现欠拟合的情况,为此可通过进行随机缩放、随机弹性变形以及镜像数据等数据扩增(数据增强)方法来对数据进行一定的扩充。
所述步骤4),设计用于训练的神经网络以用来训练分割模型并进行训练,具体内容可分成如下几个部分:
4-1)按照传统U-Net网络的特点设计出上采样与降采样层;
4-2) 搭建降采样层:降采样层通过定义context module模块为包含有一个3*3*3的卷积层与一个dropout层的预激活残差块。每个预激活残差块之间使用3*3*3且输入步幅为2的卷积层来连接,从而起到降低特征映射分辨率的作用。
4-3) 搭建上采样层:使用上采样来针对获得到的低分辨率的特征图进行操作,每一步上采样之间还连接一个由一个3*3*3的卷积层和一个1*1*1的卷积层组成的localization module来将每一层得到的特征进行重新组合。除此之外localizationmodule层还减少了对内存消耗严重的特征映射数量;
4-4)使用深度学习框架来实现如上的设计。
所述步骤5),使用得到的训练模型来进行预测:
读取训练好的模型,使用测试集来进行预测。
所述步骤6),将预测的结果与Ground Truth进行比较,计算出Dice系数来对分割结果进行评估并适当对上诉步骤进行调整:
6-1)Dice 系数介绍;
Dice系数常常被用来判断两个实体之间的相识度,或者一个实体组与一个实体之间的相识度。Dice系数的衡量值在0到1之间,当Dice系数体现为0时则表示两者完全不重合,若Dice系数表示为1时则表示两者完全重合此时相似度是最高的;
6-2)利用如下公式计算Dice系数:
本发明的有益效果:
(1)很大程度地降低了口腔科医生判断下颌神经管的压力,能够取得令人满意的下颌神经管分割结果。
(2)由于使用了改进型的3D U-Net网络,凭借其网络优势可以通过相比其他网络更少的数据训练来达到想要的结果。
附图说明
图1是本发明的流程示意图;
图2是本发明所使用的3D-Unet神经网络;
图3是本发明所使用的训练数据集其包含Ground Truth数据以及原始图像数据;
图4是本发明应用于口腔下颌神经管CT图像的分割结果。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
如图1所示,包括以下步骤:
步骤1:标注对应数据集中的下颌神经管位置以用来制作用于训练的Ground Truth数据;
步骤2:对将要使用到的数据集进行一定的预处理来方便训练,以及消除可能由数据自身的不足而导致的误差问题:
1)使用Pytables将数据读取出来,并且写入hdf5文件方便训练网络时读取。
2)在加载训练数据的同时为了避免奇异样本数据的影响,本文对数据进行标准化操作。常用的标准化的方法基本上有三种:1、标准差法和极值法这种直线型的标准化方法;2、半正太性分布这种曲线型标准化方法;3、三折线法这种折线型标准化方法。可使用标准差法,针对每个图像的数据进行标准化,随后加载储存为hdf5文件,以便能够快速的访问。
步骤3:使用随即缩放、随机弹性变形、镜像数据这些方法来做数据扩增(数据增强);
步骤4:设计用于训练的神经网络以用来训练分割模型并进行训练;
步骤5:使用得到的训练模型来进行预测;
步骤6:将预测的结果与Ground Truth进行比较,计算出Dice系数来对分割结果进行评估并适当对上诉步骤进行调整;
步骤7:完成图像分割。
本发明的内容可以通过以下的仿真结果进一步进行说明。
1、仿真内容:应用本发明方法,对有需要定位的下颌神经管医学图像进行分割。
2、仿真结果
图4为本发明方法应用于下颌神经管医学图像的分割结果。其中图4第一列为原始的医学图像数据,图4第二列与图4第三列分别为图2第一列中原始下颌神经管数据的GroundTruth金标准以及使用本发明方法的分割结果;图2第四列为分割结果与Ground Truth相比较之后的Dice系数数值。
从图4可以看出,本发明的方法对含有下颌神经管的三维医学图像数据能够取得令人满意的分割效果。同此同时,由于本发明的方法使用了数据扩增,能够使得本方法在较少的数据训练下尽可能的获得较好的训练结果,进而提高了方法的效率。
综上,本发明通过基于改进的3D-Unet神经网络的算法,提出了一种能够使用相比较其他神经网络使用更少数据训练的图像分割方法。本发明的方法通过医学图像的特点使用数据扩增(数据增强)来提高算法的性能,提高方法的效率,同时能够获得较好的分割结果,这通过展示的Dice系数可以看出。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (6)
1.一种基于神经网络的口腔CT下颌神经管的分割方法,其特征是,在拥有数据的基础上首先对数据进行一些数据处理来解决可能出现的问题,然后针对情况使用一定的数据扩增(数据增强)来避免网络在训练过程中出现问题,进而得到最终的训练模型并进行预测,进而得到分割的结果。
2.如权利要求1所述的一种基于神经网络的口腔CT下颌神经管的分割方法,其特征是,主要包含以下几个步骤:
步骤1:标注对应数据集中的下颌神经管位置以用来制作用于训练的Ground Truth数据;
步骤2:对将要使用到的数据集进行一定的预处理来方便训练,以及消除可能由数据自身不足而导致的误差问题:
步骤3:使用随即缩放、随机弹性变形、镜像数据这些方法来做数据扩增(数据增强);
步骤4:设计用于训练的神经网络以用来训练分割模型并进行训练;
步骤5:使用得到的训练模型来进行预测;
步骤6:将得到的预测结果与Ground Truth进行比较,计算出Dice系数来对分割结果进行评估并适当对上诉步骤进行调整;
步骤7:完成图像分割。
3.如权利要求2所述的一种基于神经网络的口腔CT下颌神经管的分割方法,其特征是,所述步骤2)利用偏置场矫正算法来解决部分医学图像由磁场的变化而导致MR扫描会出现显示强度不均匀的问题(图像中部偏暗,四周偏亮的情况),从而降低由图像自身的不足而带来的影响。
4.如权利要求2所述的一种基于神经网络的口腔CT下颌神经管的分割方法,其特征是,所述步骤3)利用医学图像的特点(相邻层内容相似)来对数据进行数据扩增(数据增强),其主要应用到的方法为:随即缩放、随机弹性变形、伽马矫正增强、镜像数据等。
5.如权利要求2所述的一种基于神经网络的口腔CT下颌神经管的分割方法,其特征是,所述步骤4)使用文章中提到的神经网络来进行网络训练。
6.如权利要求2所述的一种基于神经网络的口腔CT下颌神经管的分割方法,其特征是,所述步骤6)根据计算Dice系数来对最终的分割结果进行评估:Dice系数是一个取值在0和1之间的一个常数,当取值越趋向于1代表相似度越高。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910899490.6A CN110738661A (zh) | 2019-09-23 | 2019-09-23 | 一种基于神经网络的口腔ct下颌神经管的分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910899490.6A CN110738661A (zh) | 2019-09-23 | 2019-09-23 | 一种基于神经网络的口腔ct下颌神经管的分割方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110738661A true CN110738661A (zh) | 2020-01-31 |
Family
ID=69269478
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910899490.6A Pending CN110738661A (zh) | 2019-09-23 | 2019-09-23 | 一种基于神经网络的口腔ct下颌神经管的分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110738661A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113658679A (zh) * | 2021-07-13 | 2021-11-16 | 南京邮电大学 | 一种医学图像下牙槽神经损伤风险自动评估方法 |
CN113689454A (zh) * | 2020-05-18 | 2021-11-23 | 傅豪 | 基于卷积神经网络的3d ct椎体分割算法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
AU2019100354A4 (en) * | 2019-04-04 | 2019-05-16 | Chen, Mingjie Mr | An animal image search system based on convolutional neural network |
CN110120033A (zh) * | 2019-04-12 | 2019-08-13 | 天津大学 | 基于改进的U-Net神经网络三维脑肿瘤图像分割方法 |
-
2019
- 2019-09-23 CN CN201910899490.6A patent/CN110738661A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
AU2019100354A4 (en) * | 2019-04-04 | 2019-05-16 | Chen, Mingjie Mr | An animal image search system based on convolutional neural network |
CN110120033A (zh) * | 2019-04-12 | 2019-08-13 | 天津大学 | 基于改进的U-Net神经网络三维脑肿瘤图像分割方法 |
Non-Patent Citations (6)
Title |
---|
SUNGWON HAM 等: "Multi-structure Segmentation of Hard Tissues, Maxillary Sinus, Mandible, Mandibular Canals in Cone Beam CT of Head and Neck with 3D U-Net", 《1ST CONFERENCE ON MEDICAL IMAGING WITH DEEP LEARNING (MIDL 2018)》, pages 1 - 3 * |
SUNGWON HAM 等: "Multi-structure Segmentation of Hard Tissues,Maxillary Sinus, Mandible, Mandibular Canals in Cone Beam CT of Head and Neck with 3D U-Net", pages 1 - 3 * |
VLADYSLAV YAVORSKYI 等: "Automatic Volumetric Brain Tumor Segmentation using Convolutional Neural Networks", 《PROCEEDINGS OF THE KOREAN INSTITUTE OF INFORMATION AND COMMUNICATION SCIENCE CONFERENCE》, pages 423 - 435 * |
王昌 等: "多相变分水平集的脑部磁共振图像分割与偏移场矫正的耦合模型" * |
王昌 等: "多相变分水平集的脑部磁共振图像分割与偏移场矫正的耦合模型", 《航天医学与医学工程》, pages 450 * |
韩文忠 等: "深度全卷积网络对MRI膀胱图像的分割", pages 445 - 452 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113689454A (zh) * | 2020-05-18 | 2021-11-23 | 傅豪 | 基于卷积神经网络的3d ct椎体分割算法 |
CN113658679A (zh) * | 2021-07-13 | 2021-11-16 | 南京邮电大学 | 一种医学图像下牙槽神经损伤风险自动评估方法 |
CN113658679B (zh) * | 2021-07-13 | 2024-02-23 | 南京邮电大学 | 一种医学图像下牙槽神经损伤风险自动评估方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110287849B (zh) | 一种适用于树莓派的轻量化深度网络图像目标检测方法 | |
CN108537784B (zh) | 一种基于深度学习的ct图肺结节检测方法 | |
CN111833237B (zh) | 基于卷积神经网络和局部单应性变换的图像配准方法 | |
CN112116605A (zh) | 一种基于集成深度卷积神经网络的胰腺ct图像分割方法 | |
CN111833352B (zh) | 一种基于八度卷积改进U-net网络的图像分割方法 | |
CN111767922B (zh) | 一种基于卷积神经网络的图像语义分割方法及网络 | |
CN112734755A (zh) | 基于3d全卷积神经网络与多任务学习的肺叶分割方法 | |
CN116563204A (zh) | 一种融合多尺度残差注意力的医学图像分割方法 | |
CN110738661A (zh) | 一种基于神经网络的口腔ct下颌神经管的分割方法 | |
CN115115921A (zh) | 基于残差网路的晶圆缺陷模式识别方法 | |
CN115601330A (zh) | 一种基于多尺度空间反向注意力机制的结肠息肉分割方法 | |
CN112420170A (zh) | 一种提高计算机辅助诊断系统图片分类准确度的方法 | |
CN116051382A (zh) | 一种基于深度强化学习生成式对抗神经网络和超分辨率重建的数据增强方法 | |
CN114419000B (zh) | 基于多尺度几何嵌入卷积神经网络的股骨头坏死指标预测系统 | |
CN115100165A (zh) | 一种基于肿瘤区域ct图像的结直肠癌t分期方法及系统 | |
CN113256657B (zh) | 一种高效医学图像分割方法及系统、终端、介质 | |
CN112634308B (zh) | 基于不同感受野的鼻咽癌靶区和危及器官的勾画方法 | |
CN114092467A (zh) | 一种基于轻量化卷积神经网络的划痕检测方法及系统 | |
CN116664590B (zh) | 基于动态对比增强磁共振图像的自动分割方法及装置 | |
CN112270682A (zh) | 基于深度神经网络的超声图像桥本氏甲状腺炎识别方法 | |
CN116778164A (zh) | 一种基于多尺度结构改进DeeplabV3+网络的语义分割方法 | |
CN116542924A (zh) | 一种前列腺病灶区域检测方法、装置及存储介质 | |
CN114841985A (zh) | 基于目标检测的高精度处理及神经网络硬件加速方法 | |
CN112990336B (zh) | 基于竞争注意力融合的深度三维点云分类网络构建方法 | |
CN112862873A (zh) | 一种ct-cbct影像形变配准方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |