CN116503607A - 一种基于深度学习的ct图像分割方法和系统 - Google Patents
一种基于深度学习的ct图像分割方法和系统 Download PDFInfo
- Publication number
- CN116503607A CN116503607A CN202310773711.1A CN202310773711A CN116503607A CN 116503607 A CN116503607 A CN 116503607A CN 202310773711 A CN202310773711 A CN 202310773711A CN 116503607 A CN116503607 A CN 116503607A
- Authority
- CN
- China
- Prior art keywords
- image
- deep learning
- learning model
- model
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000003709 image segmentation Methods 0.000 title claims abstract description 36
- 238000013135 deep learning Methods 0.000 title claims abstract description 31
- 238000013136 deep learning model Methods 0.000 claims abstract description 94
- 230000011218 segmentation Effects 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 28
- 210000004185 liver Anatomy 0.000 claims abstract description 9
- 210000000056 organ Anatomy 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 26
- 238000007781 pre-processing Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 3
- 230000003014 reinforcing effect Effects 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 abstract description 5
- 238000010191 image analysis Methods 0.000 abstract description 2
- 230000003902 lesion Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 6
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 210000004072 lung Anatomy 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 210000002216 heart Anatomy 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明涉及图像分析技术领域，尤其涉及一种基于深度学习的CT图像分割方法和系统，本发明首先将肝脏区域输入到卷积神经网络模型中，在第二深度学习模型训练时，采用大尺寸样本作为训练集，提高对大尺寸病灶识别的精度；识别出尺寸较大的病灶区域，然后将识别出的病灶区域分割出去，避免大尺寸病灶区域对第三深度学习模型的影响；然后在采基于注意力机制的U‑Net模型识别小尺寸病灶或者结节，在识别时首先在数据集选取时，选择仅具有小尺寸病灶的CT图像集对模型进行训练，提高模型对小尺寸病灶分割的精准度，同时，采用基于注意力机制的U‑Net模型对所述第一次分割后的CT图像进行分割，也能提高分割的精准度，从而提高CT图像分割的总体精确度。
Description
技术领域
本发明涉及图像分析技术领域，尤其涉及一种基于深度学习的CT图像分割方法和系统。
背景技术
现代医学中，医学影像在疾病诊断和治疗过程中扮演着非常重要的角色，医务工作人员越来越多的根据医学影像来诊治病人。随着科学的进步，医学成像方式不断推陈出新；计算机断层扫描成像(Computed Tomography CT )、磁共振成像(MagneticResonanceImaging MRI )等成像技术在临床上的普遍应用让医生能够通过非侵入式的方式在治疗前了解患者病灶区域信息，对临床诊断、手术规划等有着重要的辅助意义。众多的成像方式中，CT以其图像分辨率高、扫描速度快以及价格相对低廉等优点己成为临床诊疗中最常用的成像手段。随着人民生活和医疗水平的不断提高，日益增加的CT图像中所蕴含的“隐藏”信息无疑是一笔宝贵的财富。
现有技术中，一般通过深度学习的方式自动对CT图像进行分割，从而获得病灶区域、血管区域等，例如，中国发明专利（CN107644225A）公开了一种肺部病灶识别方法、装置和实现装置，该方法包括：获取肺部的CT图像；将CT图像分别输入至预先建立的第一识别模型和第二识别模型中，输出对应的第一识别结果和第二识别结果；其中，第一识别模型通过神经网络训练而成，用于识别尺寸大于第一阈值的病灶区域；第二识别模型通过神经网络训练而成，用于识别尺寸小于第二阈值的病灶区域；根据第一识别结果和第二识别结果，确定最终的肺部病灶识别结果。本发明通过不同神经网络的识别模型识别不同尺寸的病灶区域，在保证运算速率的同时，可以更加全面地识别CT图像中的大小病灶区域；然而，上述方法在对CT图像分割时，将CT图像分别输入至上述第一识别模型和第二识别模型中进行识别，没有考虑不同尺寸的病灶对模型识别精度的影响，造成识别的准确率不够高，因此，现有技术急需一种能较为准确分割的不同尺寸的病灶区域技术方案。
发明内容
本发明要解决的技术问题是针对上述技术方案的不足，提供一种基于深度学习的CT图像分割方法和系统，用于对不同尺寸的病灶图像精准分割，从而提高CT图像的整体分割的准确度。
为了实现上述目的，根据本发明的一个方面，提供一种基于深度学习的CT图像分割方法，包括以下步骤：
步骤1： 对CT图像进行预处理操作；
步骤2：采用第一深度学习模型在CT图像中分割出目标器官；
步骤3：采用第二深度学习模型对所述目标器官的CT图像进行分割，得到初步的病灶区域图像；
步骤4：将所述第二深度学习模型分割得到的病灶区域图像在CT图像中分割出去，得到第一次分割后的CT图像；
步骤5：采用第三深度学习模型对所述第一次分割后的CT图像进行分割；
步骤6：将第二深度学习模型得到的分割结果与第三深度学习模型得到的分割结果与原始CT图像相乘，得到最终的病灶图像分割结果。
优选地，所述预处理操作包括灰度化处理、图像加窗处理、图像滤波处理；
优选地，所述灰度化处理具体为：将CT图像转换成灰度图像，所述灰度图像的数据取值范围为（0,255），然后使用直方图法提高CT图像的对比度；
优选地，所述图像加窗处理具体为，通过加窗技术去除与待分割的目标/组织/器官无关的灰度值，所述加窗处理的公式为：
其中，v为所述图像的CT值，w为窗位，c为窗宽，为灰度最大值，为显示的灰度值；
所述图像滤波处理为通过各向异性滤波器对所述CT图像做平滑处理；
优选地，所述目标器官为肝脏、肺、心脏等的一种，
优选地，所述第一深度学习模型为卷积神经网络模型。
优选地，所述第二深度学习模型可以为卷积神经网络模型，出于减少运算的考虑，第一深度学习模型和第二深度学习模型可以相同。
优选地，所述步骤3具体包括：
步骤3.1：选定训练样本；
值得强调地，本发明在选取所述第二卷积神经网络模型的样本时，选定仅含有尺寸较大的病灶区域的样本作为训练样本，用于对第二卷积神经网络模型进行训练；
步骤3.2：初始化参数；对学习速率、训练步长和误差范围参数进行设置；
步骤3.3：从所述训练样本中抽取图像输入样本，通过卷积神经网络模型计算出中间层和输出层的输出向量；
步骤3.4：通过运算获得输出层输出向量和目标向量之间的误差值;
步骤3.5：调整初始参数，继续对所述卷积神经网络模型继续训练直至误差达到要求，从而得到训练后的卷积神经网络模型，也就是第二深度学习模型；
步骤3.6：将实际样本输入到所述第二深度学习模型，输出分割结果。
值得强调地，本发明在设置第三卷积神经网络模型时，都把注意力放在如何识别小尺寸的病灶区域上，所以，创造性地将第二深度学习模型分割得到的大尺寸的病灶区域分割出去，减少在后续的模型识别小尺寸病灶时，大尺寸的病灶带来的干扰。
因此，由于通过第二深度学习模型得到了较大尺寸的病灶图像，出于避免对后续的深度学习模型产生干扰，因此，本发明设置了去除第二深度学习模型分割得到的病灶区域图像的步骤，以提高后续的小尺寸病灶的分割精度；
优选地，所述第三深度学习模型为基于注意力机制的U-Net模型对所述第一次分割后的CT图像进行分割；
更进一步地，所述步骤5具体包括：
步骤5.1：数据集选取；
值得强调地，本发明在第三深度学习模型在的数据集选取上，选择仅含有小尺寸的病灶的CT图像作为第三深度学习模型的训练集图像；
具体地，本发明选取的数据集为LiTS2017数据集，该数据集包括了100多份具有病灶结果标注的CT图像样本，通过对标注结果筛选，共得到仅含有小尺寸的病灶或结节的样本43件；
步骤5.2：图像预处理；
除了按照步骤1方式进行预处理出于提高模型训练精度的考量，在本步骤中还包括：对上述的43件样本沿着x，y轴方向切割成切片，然后通过随机裁剪、翻转对样本进行增强，从而获得更多的样本，以提高模型训练的精度;
步骤5.3：构建第三深度学习模型；
具体地，所述第三深度学习模型具体为：使用两个3×3的卷积层和一个步长为3的3×3的池化层作为基础的网络结构，采用残差网络作为网络信息特征提取模块，采用编码器和解码器结构用于提取特征和扩大分辨率，其中，编码器由残差网络构成的下采样模块和SE模块构成，解码器是由反卷积和残差网络组成的上采样模块以及SE模块构成，从而能够将编码器得到的不同尺度信息传递给解码器，以最大程度的保留不同尺度编码器所提取的特征；
步骤5.4：对所述第三深度学习模型进行训练；
将经过增强的图像集数据输入第三深度学习模型中，经过不断的迭代训练，计算网络的损失函数值和正确率，通过反向传播更新调整网络参数，使得网络损失函数值减小，正确率上升；
当网络损失函数值不再减小并保持稳定，表明网络模型已收敛。保存训练过程中验证集上表现最好的参数模型，完成第三深度学习网络的训练;
步骤5.5：采用第三深度学习模型对所述第一次分割后的CT图像继续进行分割。
根据本发明的另一方面，还提供一种基于深度学习的CT图像分割系统，用于对CT图像进行分割，其采用上述的基于深度学习的CT图像分割方法；该CT图像分割系统还包括：
预处理模块：用于对CT图像进行预处理操作；
目标器官分割模块，用于采用第一深度学习模型在CT图像中分割出目标器官；
初步病灶区域分割模块，用于采用第二深度学习模型对所述目标器官的CT图像进行分割，得到初步的病灶区域图像；
图像裁剪模块，用于将所述第二深度学习模型分割得到的病灶区域图像在CT图像中分割出去，得到第一次分割后的CT图像；
小尺寸病灶区域分割模块，用于采用第三深度学习模型对所述第一次分割后的CT图像进行分割；
图像运算模块，用于将第二深度学习模型得到的分割结果与第三深度学习模型得到的分割结果与原始CT图像相乘，得到最终的病灶图像分割结果。
根据本发明的另一方面，本发明还包括一种计算机可读存储介质，计算机可读存储介质上存储有数据处理程序，数据处理程序被处理器执行上述的一种基于深度学习的CT图像分割方法。
基于上述技术方案，本申请提供的一种基于深度学习的CT图像分割方法和系统，具有如下技术效果：
本发明针对现有技术中的采用深度学习方法对CT图像分割过程中，对CT图像分别输入到不同的识别模型，导致模型的识别准确率不高的技术问题时，首先将肝脏区域输入到第二深度学习模型中，识别出尺寸较大的病灶区域，将识别出的病灶区域分割出去，避免大尺寸病灶区域对第三深度学习模型的影响；
然后在采用第三深度学习模型识别小尺寸病灶时首先在数据集选取时，选择仅具有小尺寸病灶的CT图像集对模型进行训练，并且通过数据增强技术对数据集进行增强，两个方式提高模型对小尺寸病灶分割的精准度，同时，采用基于注意力机制的U-Net模型对所述第一次分割后的CT图像进行分割，也能提高分割的精准度，从而提高CT图像分割的总体精确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于深度学习的CT图像分割方法流程图；
图2为本申请实施例提供的采用第二深度学习模型对所述目标器官的CT图像进行分割，得到初步的病灶区域图像的流程图；
图3为本申请实施例提供的采用第三深度学习模型对所述第一次分割后的CT图像进行分割方法流程图；
图4为本申请实施例提供的一种基于深度学习的CT图像分割系统的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面首先结合附图对本申请所涉及的概念进行说明。在此需要指出的是，以下对各个概念的说明，仅为了使本申请的内容更加容易理解，并不表示对本申请保护范围的限定。
实施例一、在本实施例的实例中，为了实现上述目的，本实施例以对肝脏的CT图像为例，期望在CT图像中分割出肝病灶病变的区域，然而，上述并不能构成对本申请保护范围的限定。
如图1所示，提供一种基于深度学习的CT图像分割方法，包括以下步骤：
步骤1： 对CT图像进行预处理操作；
具体地，所述预处理操作包括灰度化处理、图像加窗处理、图像滤波处理；
更进一步地，所述灰度化处理具体为：将CT图像转换成灰度图像，所述灰度图像的数据取值范围为（0,255），然后使用直方图法提高CT图像的对比度；
更进一步地，所述图像加窗处理具体为，通过加窗技术去除与待分割的目标/组织/器官无关的灰度值，所述加窗处理的公式为：
其中，v为所述图像的CT值，w为窗位，c为窗宽，为灰度最大值，为显示的灰度值；其中，所述窗宽是CT图像所显示的CT值范围，在此范围内的组织和器官以不同的灰度值来显示；当CT值高于或低于窗宽范围时，均不会有显示上的差异；因此，窗宽直接影响观察图像的清晰度与对比度。所述窗位是指窗宽范围内的均值或中心值；
示例性地，若CT图像窗宽为+200HU，窗位选择为30HU，则相应的显示区间范围为170-230HU，即CT值处于该大小范围内的组织或器官都可以显示出来并且能够被人眼所识别；
所述图像滤波处理为通过各向异性滤波器对所述CT图像做平滑处理；
步骤2：采用第一深度学习模型在CT图像中分割出目标器官；
由于CT图像显示的某一个区域的切片信息，因此，其不但包含了目标器官的信息，还包括了大部分的背景信息，因此，需要将背景信息去除，只保留目标器官的数据信息，从而方便后续的病灶区域的分割；
具体地，所述目标器官为肝脏、肺、心脏等的一种，本实施例在次不做具体的限定，也就是说，本实施例的方法可用在上述器官的CT图像病灶分割中；
更进一步地，所述第一深度学习模型为卷积神经网络模型。
步骤3：采用第二深度学习模型对所述目标器官的CT图像进行分割，得到初步的病灶区域图像；
具体地，所述第二深度学习模型可以为卷积神经网络模型，出于减少运算的考虑，第一深度学习模型和第二深度学习模型可以相同。
卷积神经网络模型是一个全局优化的模型，主要包括正向传递和向后传播两个阶段，在向前传播阶段，图像数据通过输入层传入网络模型，经过逐层的数据转换，最终输出结果；向后传播阶段主要是通过输出结果和预期输出作比较，求取误差，并将误差向后传递至各个隐藏层，按照极小化损失函数调整权矩阵，求的最优卷积神经网络模型。
本实施例以分割肝脏器官上的病灶区域为例，采用卷积神经网络举例说明第二深度学习模型的病灶区域分割过程；
如图2所示，所述步骤3具体包括：
步骤3.1：选定训练样本；
具体地，由于第二卷积神经网络主要用于分割尺寸较大的病灶区域；因此，本实施例在选取所述第二卷积神经网络模型的样本时，选定仅含有尺寸较大的病灶区域的样本作为训练样本，用于对第二卷积神经网络模型进行训练，实际上，卷积神经网络模型训练的过程是一个确定最优模型参数，从而使模型得到的解与实际的解尽量接近的过程，因此，通过选择训练样本，从而可以获得适合于大区域分割的模型参数，更有助于尺寸较大的病灶区域的分割准确度；
示例性地，本实施例将病灶面积/器官面积>0.3%的样本定义为病灶区域尺寸较大的样本，将病灶面积/器官面积≤0.3%的样本定义为病灶区域尺寸较小的样本；实际上，本领域技术人员也可根据不同器官设置不同的值用来定义病灶区域尺寸较大的样本。
步骤3.2：初始化参数；对学习速率、训练步长和误差范围参数进行设置；
步骤3.3：从所述训练样本中抽取图像输入样本，通过卷积神经网络模型计算出中间层和输出层的输出向量；
步骤3.4：通过运算获得输出层输出向量和目标向量之间的误差值；
步骤3.5：调整初始参数，继续对所述卷积神经网络模型继续训练直至误差达到要求，从而得到训练后的卷积神经网络模型，也就是第二深度学习模型；
步骤3.6：将实际样本输入到所述第二深度学习模型，输出分割结果。
实际上，由于本实施例采用了仅含大尺寸的病灶区域样本对模型进行训练，并且，第一卷积神经网络本身对小尺寸病灶区域不敏感，因此，只能分割出大尺寸的病灶区域，对于一些较小的病灶图像或者特征不太明显的结节，则很大概率会被遗漏；现有技术中一般通过动态窗口的方式对尺寸较小的病灶图像进行分割，然而，动态窗口一方面需要人工去干预，另一方面，其需要复杂的操作过程，也限制了上述方法在病灶识别领域的具体应用；因此，本实施例创造性地采用第三深度学习模型继续对肝脏的CT图像进行分割，以希望提高对小尺寸病灶的分割准确度，从而提高整体的病灶区域的分割准确度。
步骤4：将所述第二深度学习模型分割得到的病灶区域图像在CT图像中分割出去，得到第一次分割后的CT图像；
卷积神经网络模型通过池化层补充损失的细节特征，增强了泛化能力，但是由于大尺寸目标的存在，使得小尺寸的目标的重要性程度相对降低，进而，使得训练出来的深度学习的模型的最优参数牺牲掉了部分小尺寸的目标信息，并且，在采用该模型识别时，由于大尺寸的目标的存在，也会导致小尺寸目标会被遗漏，因此，本实施例在设置第三卷积神经网络模型时，都把注意力放在如何识别小尺寸的病灶区域上，所以，本实施例创造性地，将第二深度学习模型分割得到的大尺寸的病灶区域分割出去，减少在后续的模型识别小尺寸病灶时，大尺寸的病灶带来的干扰。
因此，由于通过第二深度学习模型得到了较大尺寸的病灶图像，出于避免对后续的深度学习模型产生干扰，因此，本实施例设置了去除第二深度学习模型分割得到的病灶区域图像的步骤，以后续的小尺寸病灶的分割精度；
步骤5：采用第三深度学习模型对所述第一次分割后的CT图像进行分割；
具体地，所述第三深度学习模型为基于注意力机制的U-Net模型对所述第一次分割后的CT图像进行分割；
更进一步地，如图3所示，所述步骤5具体包括：
步骤5.1：数据集选取；
根据上述可知，第三深度学习模型的主要目的在于分割出CT图像中的小尺寸病灶区域，并且，大尺寸的病灶区域已经被分割出去，因此，本实施例在数据集选取上，选择仅含有小尺寸的病灶的CT图像作为第三深度学习模型的训练集图像；
具体地，本实施例选取的数据集为LiTS2017数据集，该数据集包括了100多分具有病灶结果标注的CT图像样本，通过对标注结果筛选，共得到仅含有小尺寸的病灶或结节的样本43件；
步骤5.2：图像预处理；
实际上，市面上含有标注信息的训练样本较少，并且，仅含有小尺寸的病灶的样本则更加少，因此，除了按照步骤1方式进行预处理出于提高模型训练精度的考量，在本步骤中还包括：本实施例对上述的43件样本沿着x，y轴方向切割成切片，然后通过随机裁剪、翻转对样本进行增强，从而获得更多的样本，以提高模型训练的精度。
步骤5.3：构建第三深度学习模型；
具体地，所述第三深度学习模型具体为：使用两个3*3的卷积层和一个步长为3的3*3的池化层作为基础的网络结构，采用残差网络作为网络信息特征提取模块，采用编码器和解码器结构用于提取特征和扩大分辨率，其中，编码器由残差网络构成的下采样模块和SE模块构成，解码器是由反卷积和残差网络组成的上采样模块以及SE模块构成，从而能够将编码器得到的不同尺度信息传递给解码器，以最大程度的保留不同尺度编码器所提取的特征；
示例性地，在第三深度学习模型中，分辨率为512x512的原始CT图像先经过两个大小为3X3的残差卷积模块，其步长为3，通道数为16，再经过改进SE模块，完成特征的提取。反复经过4次上述过程，每经过一次下采样，图像分辨率减少一半，通道数翻倍，四次下采样后，输出特征图像分辨率为32x32，通道数为2560编码阶段与上述解码阶段相似，通过反卷积完成上采样，不同的是最后使,3*3卷积核输出分割结果，将不同尺度的下采样输出特征信息与上采样特征信息融合，通过该连接为整个网络提供更详细的特征信息，有助于实现更小尺寸的目标的定位。
步骤5.4：对所述第三深度学习模型进行训练；
将经过增强的图像集数据输入第三深度学习模型中，经过不断的迭代训练，计算网络的损失函数值和正确率，通过反向传播更新调整网络参数，使得网络损失函数值减小，正确率上升；
当网络损失函数值不再减小并保持稳定，表明网络模型已收敛。保存训练过程中验证集上表现最好的参数模型，完成第三深度学习网络的训练。
步骤5.5：采用第三深度学习模型对所述第一次分割后的CT图像继续进行分割；
步骤6：将第二深度学习模型得到的分割结果与第三深度学习模型得到的分割结果与原始CT图像相乘，得到最终的病灶图像分割结果。
值得强调的是，本实施例中得到的分割结果仅仅为病理图像中是否可能存在病变位置，往往在实际疾病诊断过程中，医生不可能针对一种指标用于疾病诊断，而是综合不同的指征用于疾病诊断，因此，本申请的分割结果是一种中间参数，并非对相应疾病进行诊断，同时，本实施例中分类过程是机器通过人工智能的方式获得分割结果，全程没有医生的参与，不应为疾病的治疗和诊断方法所在的范畴。
实施例二、在本实施例的实例中，如图4所示，提供一种基于深度学习的CT图像分割系统，用于对CT图像进行分割，其采用实施例一中的基于深度学习的CT图像分割方法；该CT图像分割系统还包括：
预处理模块：用于对CT图像进行预处理操作；
目标器官分割模块，用于采用第一深度学习模型在CT图像中分割出目标器官；
初步病灶区域分割模块，用于采用第二深度学习模型对所述目标器官的CT图像进行分割，得到初步的病灶区域图像；
图像裁剪模块，用于将所述第二深度学习模型分割得到的病灶区域图像在CT图像中分割出去，得到第一次分割后的CT图像；
小尺寸病灶区域分割模块，用于采用第三深度学习模型对所述第一次分割后的CT图像进行分割；
图像运算模块，用于将第二深度学习模型得到的分割结果与第三深度学习模型得到的分割结果与原始CT图像相乘，得到最终的病灶图像分割结果。
实施例三，本实施例包括一种计算机可读存储介质，计算机可读存储介质上存储有数据处理程序，数据处理程序被处理器执行实施例一的一种基于深度学习的CT图像分割方法。
本领域技术人员应明白，本文的实施例可提供为方法、装置（设备）、或计算机程序产品。因此，本文可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质等。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
本文是参照根据本文实施例的方法、装置（设备）和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的实施例及/或实施方式，仅是用以说明实现本发明技术的较佳实施例及/或实施方式，并非对本发明技术的实施方式作任何形式上的限制，任何本领域技术人员，在不脱离本发明内容所公开的技术手段的范围，当可作些许的更动或修改为其它等效的实施例，但仍应视为与本发明实质相同的技术或实施例。
Claims (10)
1.一种基于深度学习的CT图像分割方法，其特征在于，包括以下步骤：
步骤1： 对CT图像进行预处理操作；
步骤2：采用第一深度学习模型在CT图像中分割出目标器官；
步骤3：采用第二深度学习模型对所述目标器官的CT图像进行分割，得到初步的病灶区域图像；
步骤4：将所述第二深度学习模型分割得到的病灶区域图像在CT图像中分割出去，得到第一次分割后的CT图像；
步骤5：采用第三深度学习模型对第一次分割后的CT图像进行分割；
步骤6：将第二深度学习模型得到的分割结果与第三深度学习模型得到的分割结果与原始CT图像相乘，得到最终的病灶图像分割结果。
2.根据权利要求1所述的基于深度学习的CT图像分割方法，其特征在于，所述预处理操作包括灰度化处理、图像加窗处理、图像滤波处理。
3.根据权利要求2所述的基于深度学习的CT图像分割方法，其特征在于，所述灰度化处理具体为：将CT图像转换成灰度图像，所述灰度图像的数据取值范围为（0,255），然后使用直方图法提高CT图像的对比度；
所述图像加窗处理具体为，通过加窗处理技术去除与待分割的目标/组织/器官无关的灰度值，所述加窗处理技术的公式为：
其中，v为所述图像的CT值，w为窗位，c为窗宽，为灰度最大值，为显示的灰度值；
所述图像滤波处理为通过各向异性滤波器对所述CT图像做平滑处理。
4.根据权利要求1所述的基于深度学习的CT图像分割方法，其特征在于，所述步骤2中的目标器官为肝脏。
5.根据权利要求1所述的基于深度学习的CT图像分割方法，其特征在于，所述第一深度学习模型为卷积神经网络模型，所述第二深度学习模型和第一深度学习模型相同。
6.根据权利要求4所述的基于深度学习的CT图像分割方法，其特征在于，所述步骤3具体包括：
步骤3.1：选定训练样本；
步骤3.2：初始化参数；对学习速率、训练步长和误差范围参数进行设置；
步骤3.3：从所述训练样本中抽取图像输入样本，通过卷积神经网络模型计算出中间层和输出层的输出向量；
步骤3.4：通过运算获得输出层输出向量和目标向量之间的误差值;
步骤3.5：调整初始参数，继续对所述卷积神经网络模型继续训练直至误差达到要求，从而得到训练后的卷积神经网络模型，也就是第二深度学习模型；
步骤3.6：将实际样本输入到所述第二深度学习模型，输出分割结果。
7.根据权利要求1所述的基于深度学习的CT图像分割方法，其特征在于，所述步骤5具体包括：
步骤5.1：数据集选取；
步骤5.2：图像预处理；
对所述CT图像沿着x，y轴方向切割成切片，然后通过随机裁剪、翻转对样本进行增强，从而获得更多的样本；
步骤5.3：构建第三深度学习模型；
步骤5.4：对所述第三深度学习模型进行训练；
将经过增强的图像集数据输入第三深度学习模型中，经过不断的迭代训练，计算网络的损失函数值和正确率，通过反向传播更新调整网络参数，使得网络损失函数值减小，正确率上升；当网络损失函数值不再减小并保持稳定，表明网络模型已收敛，保存训练过程中验证集上表现最好的参数模型，完成第三深度学习网络的训练；
步骤5.5：采用第三深度学习模型对所述第一次分割后的CT图像继续进行分割。
8.根据权利要求7所述的基于深度学习的CT图像分割方法，其特征在于，所述第三深度学习模型具体为：使用两个3×3的卷积层和一个步长为3的3×3的池化层作为基础的网络结构，采用残差网络作为网络信息特征提取模块，采用编码器和解码器结构用于提取特征和扩大分辨率，其中，编码器由残差网络构成的下采样模块和SE模块构成，解码器是由反卷积和残差网络组成的上采样模块以及SE模块构成，从而能够将编码器得到的不同尺度信息传递给解码器，以最大程度的保留不同尺度编码器所提取的特征。
9.根据权利要求7所述的基于深度学习的CT图像分割方法，其特征在于，所述步骤5.1还包括：在数据集选取上，选择仅含有小尺寸的病灶的CT图像作为第三深度学习模型的训练集图像；所述小尺寸的病灶指病灶面积/器官面积≤0.3%的病灶。
10.一种基于深度学习的CT图像分割系统，其特征在于，采用权利要求1-9任一项的基于深度学习的CT图像分割方法；该系统包括：
预处理模块：用于对CT图像进行预处理操作；
目标器官分割模块，用于采用第一深度学习模型在CT图像中分割出目标器官；
初步病灶区域分割模块，用于采用第二深度学习模型对所述目标器官的CT图像进行分割，得到初步的病灶区域图像；
图像裁剪模块，用于将所述第二深度学习模型分割得到的病灶区域图像在CT图像中分割出去，得到第一次分割后的CT图像；
小尺寸病灶区域分割模块，用于采用第三深度学习模型对所述第一次分割后的CT图像进行分割；所述小尺寸病灶指病灶面积/器官面积≤0.3%的病灶；
图像运算模块，用于将第二深度学习模型得到的分割结果与第三深度学习模型得到的分割结果与原始CT图像相乘，得到最终的病灶图像分割结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310773711.1A CN116503607B (zh) | 2023-06-28 | 2023-06-28 | 一种基于深度学习的ct图像分割方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310773711.1A CN116503607B (zh) | 2023-06-28 | 2023-06-28 | 一种基于深度学习的ct图像分割方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116503607A true CN116503607A (zh) | 2023-07-28 |
| CN116503607B CN116503607B (zh) | 2023-09-19 |
Family
ID=87325300
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310773711.1A Active CN116503607B (zh) | 2023-06-28 | 2023-06-28 | 一种基于深度学习的ct图像分割方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116503607B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117115156A (zh) * | 2023-10-23 | 2023-11-24 | 天津医科大学第二医院 | 一种基于双模型分割的鼻咽癌图像处理方法及系统 |
| CN117351012A (zh) * | 2023-12-04 | 2024-01-05 | 天津医科大学第二医院 | 一种基于深度学习的胎儿图像识别方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107644225A (zh) * | 2017-10-31 | 2018-01-30 | 北京青燕祥云科技有限公司 | 肺部病灶识别方法、装置和实现装置 |
| CN109685810A (zh) * | 2018-12-18 | 2019-04-26 | 清华大学 | 一种基于深度学习的肝包虫病灶识别方法及系统 |
| CN111582093A (zh) * | 2020-04-27 | 2020-08-25 | 北京工业大学 | 一种基于计算机视觉和深度学习的高分辨率图像中小目标自动检测方法 |
| CN112102321A (zh) * | 2020-08-07 | 2020-12-18 | 深圳大学 | 一种基于深度卷积神经网络的病灶图像分割方法及系统 |
| CN113160208A (zh) * | 2021-05-07 | 2021-07-23 | 西安智诊智能科技有限公司 | 一种基于级联混合网络的肝脏病变图像分割方法 |
| WO2022087853A1 (zh) * | 2020-10-27 | 2022-05-05 | 深圳市深光粟科技有限公司 | 一种图像分割方法、装置及计算机可读存储介质 |
| US20220309674A1 (en) * | 2021-03-26 | 2022-09-29 | Nanjing University Of Posts And Telecommunications | Medical image segmentation method based on u-net |
| CN116258737A (zh) * | 2023-04-03 | 2023-06-13 | 上海卓昕医疗科技有限公司 | 一种基于区域生长的膝关节股骨胫骨分割方法及系统 |
-
2023
- 2023-06-28 CN CN202310773711.1A patent/CN116503607B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107644225A (zh) * | 2017-10-31 | 2018-01-30 | 北京青燕祥云科技有限公司 | 肺部病灶识别方法、装置和实现装置 |
| CN109685810A (zh) * | 2018-12-18 | 2019-04-26 | 清华大学 | 一种基于深度学习的肝包虫病灶识别方法及系统 |
| CN111582093A (zh) * | 2020-04-27 | 2020-08-25 | 北京工业大学 | 一种基于计算机视觉和深度学习的高分辨率图像中小目标自动检测方法 |
| CN112102321A (zh) * | 2020-08-07 | 2020-12-18 | 深圳大学 | 一种基于深度卷积神经网络的病灶图像分割方法及系统 |
| WO2022087853A1 (zh) * | 2020-10-27 | 2022-05-05 | 深圳市深光粟科技有限公司 | 一种图像分割方法、装置及计算机可读存储介质 |
| US20220309674A1 (en) * | 2021-03-26 | 2022-09-29 | Nanjing University Of Posts And Telecommunications | Medical image segmentation method based on u-net |
| CN113160208A (zh) * | 2021-05-07 | 2021-07-23 | 西安智诊智能科技有限公司 | 一种基于级联混合网络的肝脏病变图像分割方法 |
| CN116258737A (zh) * | 2023-04-03 | 2023-06-13 | 上海卓昕医疗科技有限公司 | 一种基于区域生长的膝关节股骨胫骨分割方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 张昆鹏: "基于深度学习的新冠肺炎CT图像感染区域分割方法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, no. 3, pages 32 - 33 * |
| 白佳宾: "基于CT影像的肝脏及其肿瘤分割方法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, no. 1, pages 10 - 11 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117115156A (zh) * | 2023-10-23 | 2023-11-24 | 天津医科大学第二医院 | 一种基于双模型分割的鼻咽癌图像处理方法及系统 |
| CN117115156B (zh) * | 2023-10-23 | 2024-01-05 | 天津医科大学第二医院 | 一种基于双模型分割的鼻咽癌图像处理方法及系统 |
| CN117351012A (zh) * | 2023-12-04 | 2024-01-05 | 天津医科大学第二医院 | 一种基于深度学习的胎儿图像识别方法及系统 |
| CN117351012B (zh) * | 2023-12-04 | 2024-03-12 | 天津医科大学第二医院 | 一种基于深度学习的胎儿图像识别方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116503607B (zh) | 2023-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108022238B (zh) | 对3d图像中对象进行检测的方法、计算机存储介质和系统 | |
| CN110706246B (zh) | 一种血管图像分割方法、装置、电子设备和存储介质 | |
| CN116503607B (zh) | 一种基于深度学习的ct图像分割方法和系统 | |
| US8385688B2 (en) | System and method for automatic recognition and labeling of anatomical structures and vessels in medical imaging scans | |
| CN111008984B (zh) | 医学影像中正常器官的轮廓线自动勾画方法 | |
| US20230104173A1 (en) | Method and system for determining blood vessel information in an image | |
| CN113808146B (zh) | 一种医学图像多器官分割方法及系统 | |
| US20220207742A1 (en) | Image segmentation method, device, equipment and storage medium | |
| CN111899244B (zh) | 图像分割、网络模型的训练方法及装置，及电子设备 | |
| JP2023540910A (ja) | 病変検出のための共同訓練を伴う接続機械学習モデル | |
| CN111667478A (zh) | Cta到mra跨模态预测的颈动脉斑块识别方法及系统 | |
| CN112991346B (zh) | 用于医学图像分析的学习网络的训练方法和训练系统 | |
| CN111179237A (zh) | 一种肝脏以及肝脏肿瘤的图像分割方法和装置 | |
| WO2022213654A1 (zh) | 一种超声图像的分割方法、装置、终端设备和存储介质 | |
| CN111815663A (zh) | 一种基于Hessian矩阵和灰度法的肝血管分割系统 | |
| CN114972362A (zh) | 一种基于RMAU-Net网络的医学图像自动分割方法与系统 | |
| CN113160120A (zh) | 基于多模态融合与深度学习的肝脏血管分割方法及系统 | |
| Ravichandran et al. | 3D inception U-Net for aorta segmentation using computed tomography cardiac angiography | |
| CN117333529B (zh) | 一种基于模板匹配的血管超声内膜自动化测量方法及系统 | |
| CN113192099B (zh) | 一种组织提取方法、装置、设备和介质 | |
| CN112950734B (zh) | 冠脉重建方法、装置、电子设备和存储介质 | |
| Ehab et al. | Performance Analysis of UNet and Variants for Medical Image Segmentation | |
| CN117078711A (zh) | 医学图像分割方法、系统、电子设备和存储介质 | |
| CN113706541B (zh) | 一种图像处理方法及装置 | |
| Shao et al. | Semantic segmentation method of 3D liver image based on contextual attention model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |