CN111739034A - 基于改进的3D Unet的冠状动脉区域分割系统及方法 - Google Patents
基于改进的3D Unet的冠状动脉区域分割系统及方法 Download PDFInfo
- Publication number
- CN111739034A CN111739034A CN202010597001.4A CN202010597001A CN111739034A CN 111739034 A CN111739034 A CN 111739034A CN 202010597001 A CN202010597001 A CN 202010597001A CN 111739034 A CN111739034 A CN 111739034A
- Authority
- CN
- China
- Prior art keywords
- coronary artery
- model
- image
- segmentation
- improved
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 119
- 210000004351 coronary vessel Anatomy 0.000 title claims abstract description 101
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000012549 training Methods 0.000 claims abstract description 51
- 230000008569 process Effects 0.000 claims abstract description 37
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 238000005070 sampling Methods 0.000 claims abstract description 13
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 42
- 238000010606 normalization Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 238000003709 image segmentation Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 abstract 1
- 238000012952 Resampling Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000002790 cross-validation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000004907 flux Effects 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000008450 motivation Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于改进的3D Unet的冠状动脉区域分割方法及系统，该方法包括步骤：输入待分割的DICOM图像，对图像进行预处理；预处理后的图像输入到预先训练好的冠状动脉分割模型，获得并输出分割出冠状动脉区域的图像；其中，冠状动脉分割模型，通过对历史DICOM图像训练得到；冠状动脉分割模型为改进的3D Unet模型，其中，改进的3D Unet模型的下采样各层最后加入残缺模块，且随着网络深度每增加一层，残差块的数量也增加一层；上采样过程采用反卷积过程放大图片。本发明相比于传统方法反卷积过程涉及到更新权重的学习过程，因此对于不同任务的适应性更强。
Description
技术领域
本发明涉及图像分割技术领域，具体涉及一种基于改进的3D Unet的冠状动脉区域分割方法及系统。
背景技术
随着计算机视觉技术的不断发展，视觉分割任务在医疗图像领域的潜力逐渐被发掘。得益于今天互联网资源的井喷式增长，医疗影像数据也变得更加丰富，这使得由大数据驱动的深度学习技术再次刷新医疗图像分割精度。
心脏是我们身体内的一个重要器官，拥有一个健康、稳定工作的心脏是我们探索、创造和感知世界的必要条件。然而，各种各样的心脏类疾病也严重威胁着许多人的生命。为了有效治疗和预防这些疾病，精准计算、建模和分析冠状动脉结构对于医学领域的研究和应用至关重要。例如，在做完冠状动脉的分割后我们还可以判断是否有钙化区域并且计算钙化区域的积分大小。
目前，基于神经网络的方法实现冠状动脉区域的自动分割具有明显优势，在以前传统分类网络例如：VGG,ResNet，DenseNet等可以达到比较好的分割精度，目前分割效果比较好的网络有UNet，VNet等。
对于常见的器官分割任务，器官所在区域比较大特征比较明显，而对于冠状动脉分割问题，由于血管的生产方式并不统一因此，形状也大不相同，而且不同切片中含有冠状动脉区域的大小存在巨大差异，如图1所示，为不同切片时冠状动脉区域的大小对比图，可以发现分割问题的困难，可以看出在不同顺序的切片中冠状动脉的区域形状和大小存在显著性差异，这为后续的特征提取带来的巨大的挑战，而且经过测试，传统的二维卷积神经网络对于这种形状变化巨大，而且目标区域远远小于图片大小的问题表现出的分割精度并不理想。
有鉴于此，亟需提供一种可实现分割任意DICOM图像中冠状动脉区域且分割精度高的分割方法。
发明内容
为了解决上述技术问题，本发明所采用的技术方案是提供了一种基于改进的3DUnet模型的冠状动脉区域分割方法，包括以下步骤：
输入待分割的DICOM图像，对图像进行预处理；
预处理后的图像输入到预先训练好的冠状动脉分割模型，获得并输出分割出冠状动脉区域的图像；其中，冠状动脉分割模型，通过对历史DICOM图像训练得到；
冠状动脉分割模型为改进的3D Unet模型，其中，
改进的3D Unet模型的下采样各层最后加入残缺块，且随着网络深度每增加一层，残差块的数量也增加一层；上采样过程采用反卷积过程放大图片。
在上述方法中，所述改进的3D Unet模型的损失函数为dice损失函数和交叉熵损失函数之和。
在上述方法中，所述改进的3D Unet模型的深度为5。
在上述方法中，所述冠状动脉分割模型通过以下方式进行训练：
获取历史DICOM图像作为训练样本集；
将历史DICOM图像分为5份，分别依次取出其中4份为训练集1份为测试集，并对图像进行归一化处理；
处理后的图像输入至初始冠状动脉分割模型，先进行心脏分割，将分割出的心脏区域图像再输入第二个精细分割网络进行冠状动脉分割，同时将每次生成的损失函数进行加权求和并执行梯度反传至模型，更新模型参数，循环直至损失函数收敛，则初始冠状动脉分割模型训练完成，得到训练好的冠状动脉分割模型。
在上述方法中，所述对待分割的DICOM图像或历史DICOM图像进行预处理包括以下步骤：
首先对DICOM图像进行重采样，再对重采样后的图像通过z-socre进行归一化处理。
本发明还提供了一种基于改进的3D Unet模型的冠状动脉区域分割系统，包括
图像输入单元：用于输入待分割的DICOM图像；
图像预处理单元：用于对输入的待分割DICOM图像进行预处理；
冠状动脉分割单元：用于使用预先训练好的冠状动脉分割模型对预处理后的DICOM图像进行分割，获得并输出分割出冠状动脉区域的图像；其中，冠状动脉分割模型，通过对历史DICOM图像训练得到；
冠状动脉分割模型为改进的3D Unet模型，其中，
改进的3D Unet模型的下采样各层最后加入残缺模块，且随着网络深度每增加一层，残差模块的数量也增加一层；上采样过程采用反卷积过程放大图片。
在上述方案中，所述改进的3D Unet模型的损失函数为dice损失函数和交叉熵损失函数之和。
在上述方案中，冠状动脉分割单元还设置有模型训练模块，模型训练模块具体包括：
图像输入子模块：用于输入历史DICOM图像作为训练样本集；
图像预处理子模块：用于将历史DICOM图像分为5份，分别依次取出其中4份为训练集1份为测试集，并对图像进行归一化处理；
模型训练子模块：用于处理后的图像输入至初始冠状动脉分割模型，先进行心脏分割，将分割出的心脏区域图像再输入第二个精细分割网络进行冠状动脉分割，同时将每次生成的损失函数进行加权求和并执行梯度反传至模型，更新模型参数，循环直至损失函数收敛，则初始冠状动脉分割模型训练完成，得到训练好的冠状动脉分割模型。
本发明还提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述所述基于改进的3D Unet模型的冠状动脉区域分割方法。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述基于改进的3D Unet模型的冠状动脉区域分割方法。
本发明通过使用带有残差连接的3D Unet来优化原有Unet结构，模型下采样各层最后加入残缺模块，且上采样过程采用反卷积过程放大图片，实现进行三维医疗图像分割，在下采样时阶梯式加入不同数量的残差块以增加信息通量，过拟合的情况得到有效抑制，则模型的泛化性得到保证从而显著提升性能，且上采样过程采用反卷积形式来放大图片，相比于传统方法反卷积过程涉及到更新权重的学习过程，因此对于不同任务的适应性更强。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明背景技术中不为不同切片时冠状动脉区域的大小对比图；
图2为本发明提供的方法流程示意图；
图3为本发明提供的改进的3D Unet模型网络结构示意图；
图4为本发明提供的冠状动脉分割模型训练流程示意图；
图5为本发明提供的案例中通过本模型分割图像效果图；
图6为本发明提供的系统框架结构示意框图；
图7为本发明提供的冠状动脉分割单元结构示意框图；
图8为本发明提供的计算机设备结构示意框图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"竖直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，"多个"的含义是两个或两个以上，除非另有明确具体的限定。此外，术语"安装"、"相连"、"连接"应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
下面结合具体实施方式和说明书附图对本发明做出详细的说明。
如图2所示，本发明提供了一种基于改进的3D Unet的冠状动脉区域分割方法，包括以下步骤：
S1、输入待分割的DICOM图像，对图像进行预处理，获得预处理图像；
S2、预处理图像输入到预先训练好的冠状动脉分割模型，获得并输出分割出冠状动脉区域的图像；其中，冠状动脉分割模型，通过对历史DICOM图像训练得到；
冠状动脉分割模型为改进的3D Unet模型，即3D Res-Unet，以下统一使用此表述方式，其中，
3D Res-Unet模型的下采样各层最后加入残缺模块，且随着网络深度每增加一层，残差模块的数量也增加一层；上采样的每一层都使用反卷积,上采样过程采用反卷积过程放大图片。改进的3D Unet模型具体如图3所示。
具体为，3D Res-Unet模型的深度为5，输入的DICOM图像首先会经过左侧的网络进行5次下采样后图像会变为原来的1/32，这一步的作用是将图片的特征信息进行浓缩通过不断缩小尺度将高维信息转换为低维语义信息，再通过右侧的网络进行5次上采样，图片会恢复为原图大小，此时输出图片就是每个点对应的分类概率。其中从左侧网络到右侧网络的过程信息流动并不是单向的，还会将左侧每层的信息直接传输到右侧网络对应的层级，目的在于，将低维度的语义信息与高纬度的信息结合后会减少信息损失从而使得分割结果更加准确；本实施例，设置模型的深度为5，主要是因为下采样次数少则无法提取到足够的语义信息，太多则会损失太多图像信息，对于最后上采样恢复原图时有影响。
模型中使用带有残差连接的3D Unet(即3D Res-Unet)来优化原有Unet结构，从图中可以看出，在每次下采样的过程中最后一层都是一个残差模块，随着网络深度每增加一层，残差模块的数量也增加一层。此外，该网络结构还支持替换现有其他网络backbone，例如VGG等常规卷积模块。
为了解决冠状动脉的形状有巨大差异问题，对图像采用分段式分割方法，既先使用网络对目标区域进行粗分割，再将目标区域裁剪后进行整合精修分割边界。得益于Unet网络的对称结构，这可以使我们最终得到的分割结果在上采样的过程中可以还原回原图大小。残差结构再搭配Dropout使得网络不易过拟合。
本实施例，训练期间使用5折交叉验证，并将最终5个模型的预测结果取平均，即对模型的预测结果进行集成，即将数据集分为5份，每一份数据分别训练模型，最后得到5个模型的参数是不同的，因此最终集成时会提升精度，多模型的预测结果融合具体如下：
本次采用5折交叉验证来提升模型输出精度，具体做法是将数据集划分为5份E＝{E1，E2，E3，E4，E5}，其中模型会在以{E1，E2，E3，E4}为训练集{E5}验证集上训练，此时训练结果为fold1，按照上述方法模型依次以{E1，E2，E3，E5}，为训练集{E4}验证集上训练，此时训练结果为fold2，这样循环到所有数据都经过训练，则最终有5个fold，在得到上述训练后的5个模型
后，本实施例利用5个模型对测试集分别生成不同的冠脉和钙化区域分割结果R1，R2，R3，R4，R5，其中R1，R2，R3，R4，R5为图像每一个像素是否为冠脉或钙化区域的概率，最后得到
其中，
表示每个点的对应分类概率逐个相加；
Softmax(Rfinal)即为预测结果，其中
xi，j为X的每个像素点的分类概率；
由于现有3D ResNet并没有采用全卷积结构，而且它的结构并不是对称的这导致其最终的结果只能采用线性插值的形式来放大图片，而且浅层的信息无法跳跃传输到输出层因此缺少对浅层信息的特征融合。
本实施例，通过使用带有残差连接的3D Unet来优化原有Unet结构，模型下采样各层最后递增式加入残缺模块，且上采样过程采用反卷积过程放大图片，实现进行三维医疗图像分割，在下采样时阶梯式加入不同数量的残差块以增加信息通量，过拟合的情况得到有效抑制，模型的泛化性得到保证从而显著提升性能，且上采样过程采用反卷积形式来放大图片，相比于传统方法反卷积过程涉及到更新权重的学习过程，因此对于不同任务的适应性也更好。
本实施例优选，由于在数据不平衡的情况下交叉熵的值会在几轮训练后急速降低从而无法正常计算损失，因此，损失函数不再采用单一的交叉熵作为损失函数，而是采用交叉熵和dice损失函数来一起作为损失函数，损失函数加上dice损失函数后可以保证计算出的损失不会快速变化保证训练的平稳性；损失函数构成分具体如下式：
Ltotal＝Ldice+LCE
本实施例目标是最小化Ltotal，使得最终的误差最小，其中Dice系数用来衡量两个样本的重叠程度，因此具体计算式为：
式中，u表示预测结果，v表示标签值，K表示样本总数。
交叉熵用于确定样本分布的相似性，具体计算式为：
式中，p表示预测结果，q表示标签值，C表示样本总数。
本实施例，如图4所示，冠状动脉分割模型通过以下方式进行训练：
A1、获取历史DICOM图像作为训练样本集；
A2、将历史DICOM图像分为5份，分别依次取出其中4份为训练集1份为测试集，并对图像进行归一化处理；
A3、处理后的图像输入至初始冠状动脉分割模型，先进行心脏分割，将分割出的心脏区域图像再输入第二个精细分割网络进行冠状动脉分割，同时将每次生成的损失函数进行加权求和并执行梯度反传至模型，更新模型参数，循环直至损失函数收敛，则初始冠状动脉分割模型训练完成，得到训练好的冠状动脉分割模型；本实施例这样的训练需要在5份数据集上训练5个不同权重的模型，这是因为这5个模型可以训练到的数据始终为5份中的其中4份，而且始终有1份是不重叠的因此训练得到的模型权重并不完全一样；预测阶段是将这5个模型的预测值取平均并生成最终的分割结果。
本实施例优选，对待分割的DICOM图像或历史DICOM图像进行预处理包括以下步骤：
首先对DICOM图像进行重采样，再进行图像的灰度值变换至[100,500]之间，最后对灰度值变化后的图像通过z-socre进行归一化处理。
具体可为，对于输入的DICOM图像格式一般为512*512*256，其中512*512是图像尺寸，256代表有256张图(然而有时因为采集设备的不同或病人的情况不同也有可能导致最终图片数量不一定为256张)。因此这一步会先将图片将所有图像重采样到spacing＝3.22*1.62*1.62mm，重采样的目的是为了让图像的spacing一致，CNN中卷积操作被提出来的其中一个重要动机就是图像中有相似的块能用共享的卷积来提取特征，因此对所有图像重采样能减少不同图像之间的不一致性，便于卷积操作提取共同的特征。由于心脏区域的Hu值应该在[100,500]之间所以还应该将灰度值cut off到该区域内，再进行z-socre对灰度值进行归一化，具体如下公式：
z-socre是最常用的灰度值标准化方法，通过这种方法能避免网络权重初始化的时候产生明显的偏差(即所有样本都归到分类面的同一侧)。此外，采用z-socre还可以防止数据规范化时被压缩，比如CT图像中如有金属伪影，如采用min-max规范化，会造成规范后数据区分度不高的现象。
下面通过具体对比案例说明上述方法。
由于冠脉的区域在原图像上占比较小，如果直接使用2D图片进行训练模型时，验证集上的分割精度只能达到dice 0.76的正确率，然而更换为3D数据和3D卷积块后分割精度可以显著提升到dice 0.91，这是因为原本在二维空间独立的一些非常小的区域，在三维空间会变成原有血管形状而不再是一些小的斑点，这时的特征更加明显。此外上述方法采用5折交叉验证并对最终结果进行Ensemble可以将分割精度到dice 0.94。分割图像效果如图5所示；
另外，如下表1所示，为本模型与现有其他2D Unet、Recurrent 3D Unet和3D Res-Unet性能对比结果。
表1、各个网络性能比较结果
可以看出3D Res-Unet分割准确度是显著高于所对比的其他网络。
下表2为本模型与其他各网络推理时间比较结果，以下测试来源于80个样本(每个样本275张切片)的平均推理时间。
表2、各个网络推理时间比较结果
从上表中可以看出，推理时间上来看3D Res-Unet明显快于3D UNet，这是因为其采用了全卷积结构，其参数量明显少于3D UNet，而循环Unet推理时需要考虑前n片的信息因此本身的网络结构就更复杂所以推理时间并不占优势。2D Unet速度略微快3D Res-Unet一些，这是因为处理2D数据本身运算量就要小于3D数据，虽然2D Unet推理速度快于3DRes-Unet的精度，但其分割精度远差于3D Res-Unet。
如图6所示，本发明还提供了一种基于改进的3D Unet的冠状动脉区域分割系统，包括：
图像输入单元：用于输入待分割的DICOM图像；
图像预处理单元：用于对输入的待分割DICOM图像进行预处理；
冠状动脉分割单元：用于使用预先训练好的冠状动脉分割模型对预处理后的DICOM图像进行分割，获得并输出分割出冠状动脉区域的图像；其中，冠状动脉分割模型，通过对历史DICOM图像训练得到；
冠状动脉分割模型为改进的3D Unet模型，即3D Res-Unet，其中，
3D Res-Unet模型的下采样各层最后加入残缺模块，且随着网络深度每增加一层，残差模块的数量也增加一层；上采样过程采用反卷积过程放大图片。
为了解决冠状动脉的形状有巨大差异问题，对图像采用分段式分割方法，既先使用一个网络对目标区域进行粗分割，再将目标区域裁剪后送入最终的网络整合精修分割边界。得益于Unet网络的对称结构，这可以使我们最终得到的分割结果在上采样的过程中可以还原回原图大小。残差结构再搭配Dropout使得网络不易过拟合。
本实施例，训练期间使用5折交叉验证，并将最终5个模型的预测结果取平均，即对模型的预测结果进行集成，具体参照上述方法。
本实施例优选，损失函数不再采用单一的交叉熵作为损失函数，而是采用交叉熵和dice损失函数来一起作为损失函数，损失函数加上dice损失函数后可以保证计算出的损失不会快速变化保证训练的平稳性；损失函数构成分具体如下式：
Ltotal＝Ldice+LCE
本实施例目标是最小化Ltotal，使得最终的误差最小，其中Dice系数用来衡量两个样本的重叠程度，因此具体计算式为：
式中，u表示预测结果，v表示标签值，K表示样本总数。
交叉熵用于确定样本分布的相似性，具体计算式为：
式中，p表示预测结果，q表示标签值，C表示样本总数。
本实施例，冠状动脉分割单元还设置有模型训练模块，用于通过历史DICOM图像训练初始冠状动脉分割模型，并获得训练好的冠状动脉分割模型。如图7所示，模型训练模块具体包括
图像输入子模块：用于输入历史DICOM图像作为训练样本集；
图像预处理子模块：用于将历史DICOM图像分为5份，分别依次取出其中4份为训练集1份为测试集，并对图像进行归一化处理；
模型训练子模块：用于处理后的图像输入至初始冠状动脉分割模型，先进行心脏分割，将分割出的心脏区域图像再输入第二个精细分割网络进行冠状动脉分割，同时将每次生成的损失函数进行加权求和并执行梯度反传至模型，更新模型参数，循环直至损失函数收敛，则初始冠状动脉分割模型训练完成，得到训练好的冠状动脉分割模型；本实施例这样的训练需要在5份数据集上训练5个不同权重的模型，这是因为这5个模型可以训练到的数据始终为5份中的其中4份，而且始终有1份是不重叠的因此训练得到的模型权重并不完全一样；预测阶段是将这5个模型的预测值取平均并生成最终的分割结果。
本实施例优选，图像预处理单元对待分割的DICOM图像或图像预处理子模块对历史DICOM图像进行预处理包括以下步骤：
首先对DICOM图像进行重采样，再进行图像的灰度值变换至[100,500]之间，最后对灰度值变化后的图像通过z-socre进行归一化处理。
具体可为，对于输入的DICOM图像格式一般为512*512*256，其中512*512是图像尺寸，256代表有256张图(然而有时因为采集设备的不同或病人的情况不同也有可能导致最终图片数量不一定为256张)。因此这一步会先将图片将所有图像重采样到spacing＝3.22*1.62*1.62mm，重采样的目的是为了让图像的spacing一致，CNN中卷积操作被提出来的其中一个重要动机就是图像中有相似的块能用共享的卷积来提取特征，因此对所有图像重采样能减少不同图像之间的不一致性，便于卷积操作提取共同的特征。由于心脏区域的Hu值应该在[100,500]之间所以还应该将灰度值cut off到该区域内，再进行z-socre对灰度值进行归一化，具体如下公式：
z-socre是最常用的灰度值标准化方法，通过这种方法能避免网络权重初始化的时候产生明显的偏差(即所有样本都归到分类面的同一侧)。此外，采用z-socre还可以防止数据规范化时被压缩，比如CT图像中如有金属伪影，如采用min-max规范化，会造成规范后数据区分度不高的现象。
本发明有益效果：
(1)本发明通过使用带有残差连接的3D Unet来优化原有Unet结构3D，构建了3DRes-Uet模型，采用端到端的方式进行三维医疗图像分割，在下采样时阶梯式加入不同数量的残差块以增加信息通量，过拟合的情况得到有效抑制，模型的泛化性得到保证从而显著提升性能。
(2)本发明通过改进损失函数，不再采用单一的交叉熵作为损失函数，而是采用交叉熵和dice来一起作为损失函数，因为在数据不平衡的情况下交叉熵的值会在几轮训练后急速降低从而无法正常计算损失，因此加上dice损失函数后可以保证计算出的损失不会快速变化保证训练的平稳性。
(3)本发明网络结构，上采样过程采用反卷积形式来放大图片，而不是采用传统的线性插值方法，相比于传统方法反卷积过程涉及到更新权重的学习过程，因此对于不同任务的适应性也更好。
如图8所示，本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中基于改进的3D Unet的冠状动脉区域分割方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中识别模型训练方法，或者计算机程序被处理器执行时实现上述实施例中基于改进的3D Unet的冠状动脉区域分割方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本发明不局限于上述最佳实施方式，任何人应该得知在本发明的启示下作出的结构变化，凡是与本发明具有相同或相近的技术方案，均落入本发明的保护范围之内。
Claims (10)
1.基于改进的3D Unet模型的冠状动脉区域分割方法，其特征在于，包括以下步骤：
输入待分割的DICOM图像，对图像进行预处理；
预处理后的图像输入到预先训练好的冠状动脉分割模型，获得并输出分割出冠状动脉区域的图像；其中，冠状动脉分割模型，通过对历史DICOM图像训练得到；
冠状动脉分割模型为改进的3D Unet模型，其中，
改进的3D Unet模型的下采样各层最后加入残缺块，且随着网络深度每增加一层，残差块的数量也增加一层；上采样过程采用反卷积过程放大图片。
2.如权利要求1所述的基于改进的3D Unet模型的冠状动脉区域分割方法，其特征在于，所述改进的3D Unet模型的损失函数为dice损失函数和交叉熵损失函数之和。
3.如权利要求1或2所述的基于改进的3D Unet模型的冠状动脉区域分割方法，其特征在于，所述改进的3D Unet模型的深度为5。
4.如权利要求1所述的基于改进的3D Unet模型的冠状动脉区域分割方法，其特征在于，所述冠状动脉分割模型通过以下方式进行训练：
获取历史DICOM图像作为训练样本集；
将历史DICOM图像分为5份，分别依次取出其中4份为训练集1份为测试集，并对图像进行归一化处理；
处理后的图像输入至初始冠状动脉分割模型，先进行心脏分割，将分割出的心脏区域图像再输入第二个精细分割网络进行冠状动脉分割，同时将每次生成的损失函数进行加权求和并执行梯度反传至模型，更新模型参数，循环直至损失函数收敛，则初始冠状动脉分割模型训练完成，得到训练好的冠状动脉分割模型。
5.如权利要求1或4所述的基于改进的3D Unet模型的冠状动脉区域分割方法，其特征在于，所述对待分割的DICOM图像或历史DICOM图像进行预处理包括以下步骤：
首先对DICOM图像进行重采样，再对重采样后的图像通过z-socre进行归一化处理。
6.基于改进的3D Unet模型的冠状动脉区域分割系统，其特征在于，包括
图像输入单元：用于输入待分割的DICOM图像；
图像预处理单元：用于对输入的待分割DICOM图像进行预处理；
冠状动脉分割单元：用于使用预先训练好的冠状动脉分割模型对预处理后的DICOM图像进行分割，获得并输出分割出冠状动脉区域的图像；其中，冠状动脉分割模型，通过对历史DICOM图像训练得到；
冠状动脉分割模型为改进的3D Unet模型，其中，
改进的3D Unet模型的下采样各层最后加入残缺模块，且随着网络深度每增加一层，残差模块的数量也增加一层；上采样过程采用反卷积过程放大图片。
7.如权利要求6所述的基于改进的3D Unet模型的冠状动脉区域分割系统，其特征在于，所述改进的3D Unet模型的损失函数为dice损失函数和交叉熵损失函数之和。
8.如权利要求6或7所述的基于改进的3D Unet模型的冠状动脉区域分割系统，其特征在于，冠状动脉分割单元还设置有模型训练模块，模型训练模块具体包括：
图像输入子模块：用于输入历史DICOM图像作为训练样本集；
图像预处理子模块：用于将历史DICOM图像分为5份，分别依次取出其中4份为训练集1份为测试集，并对图像进行归一化处理；
模型训练子模块：用于处理后的图像输入至初始冠状动脉分割模型，先进行心脏分割，将分割出的心脏区域图像再输入第二个精细分割网络进行冠状动脉分割，同时将每次生成的损失函数进行加权求和并执行梯度反传至模型，更新模型参数，循环直至损失函数收敛，则初始冠状动脉分割模型训练完成，得到训练好的冠状动脉分割模型。
9.计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述基于改进的3D Unet模型的冠状动脉区域分割方法。
10.计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于改进的3D Unet模型的冠状动脉区域分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010597001.4A CN111739034A (zh) | 2020-06-28 | 2020-06-28 | 基于改进的3D Unet的冠状动脉区域分割系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010597001.4A CN111739034A (zh) | 2020-06-28 | 2020-06-28 | 基于改进的3D Unet的冠状动脉区域分割系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111739034A true CN111739034A (zh) | 2020-10-02 |
Family
ID=72651320
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010597001.4A Pending CN111739034A (zh) | 2020-06-28 | 2020-06-28 | 基于改进的3D Unet的冠状动脉区域分割系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111739034A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112164082A (zh) * | 2020-10-09 | 2021-01-01 | 深圳市铱硙医疗科技有限公司 | 基于3d卷积神经网络分割多模态mr脑部图像方法 |
| CN112598656A (zh) * | 2020-12-28 | 2021-04-02 | 长春工业大学 | 一种基于UNet++优化和权值预算的脑肿瘤分割算法 |
| CN112862787A (zh) * | 2021-02-10 | 2021-05-28 | 昆明同心医联科技有限公司 | Cta影像数据处理方法、装置及存储介质 |
| CN112991365A (zh) * | 2021-05-11 | 2021-06-18 | 广东工业大学 | 一种冠状动脉分割方法、系统及存储介质 |
| CN113223021A (zh) * | 2021-05-28 | 2021-08-06 | 哈尔滨理工大学 | 一种基于UNet的肺部X光图像分割方法 |
| CN113763399A (zh) * | 2021-09-08 | 2021-12-07 | 海盐县南北湖医学人工智能研究院 | 一种基于弱监督学习的医学影像分割方法及计算机可读存储介质 |
| CN114119640A (zh) * | 2022-01-27 | 2022-03-01 | 广东皓行科技有限公司 | 模型训练方法、图像分割方法以及图像分割系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109903292A (zh) * | 2019-01-24 | 2019-06-18 | 西安交通大学 | 一种基于全卷积神经网络的三维图像分割方法及系统 |
| CN109907733A (zh) * | 2019-04-10 | 2019-06-21 | 西北工业大学 | 一种面向异常心脏节律分类的ecg信号分析方法 |
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| CN110211140A (zh) * | 2019-06-14 | 2019-09-06 | 重庆大学 | 基于3D残差U-Net和加权损失函数的腹部血管分割方法 |
| CN110795821A (zh) * | 2019-09-25 | 2020-02-14 | 的卢技术有限公司 | 一种基于场景区分的深度强化学习训练方法及系统 |
| CN110930397A (zh) * | 2019-12-06 | 2020-03-27 | 陕西师范大学 | 一种磁共振图像分割方法、装置、终端设备及存储介质 |
| CN110930416A (zh) * | 2019-11-25 | 2020-03-27 | 宁波大学 | 一种基于u型网络的mri图像前列腺分割方法 |
| CN110956591A (zh) * | 2019-11-06 | 2020-04-03 | 河海大学 | 一种基于深度卷积生成对抗网络的大坝裂缝图像数据增强方法 |
| CN111242862A (zh) * | 2020-01-09 | 2020-06-05 | 西安理工大学 | 多尺度融合并行稠密残差卷积神经网络图像去噪方法 |
-
2020
- 2020-06-28 CN CN202010597001.4A patent/CN111739034A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109903292A (zh) * | 2019-01-24 | 2019-06-18 | 西安交通大学 | 一种基于全卷积神经网络的三维图像分割方法及系统 |
| CN109907733A (zh) * | 2019-04-10 | 2019-06-21 | 西北工业大学 | 一种面向异常心脏节律分类的ecg信号分析方法 |
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| CN110211140A (zh) * | 2019-06-14 | 2019-09-06 | 重庆大学 | 基于3D残差U-Net和加权损失函数的腹部血管分割方法 |
| CN110795821A (zh) * | 2019-09-25 | 2020-02-14 | 的卢技术有限公司 | 一种基于场景区分的深度强化学习训练方法及系统 |
| CN110956591A (zh) * | 2019-11-06 | 2020-04-03 | 河海大学 | 一种基于深度卷积生成对抗网络的大坝裂缝图像数据增强方法 |
| CN110930416A (zh) * | 2019-11-25 | 2020-03-27 | 宁波大学 | 一种基于u型网络的mri图像前列腺分割方法 |
| CN110930397A (zh) * | 2019-12-06 | 2020-03-27 | 陕西师范大学 | 一种磁共振图像分割方法、装置、终端设备及存储介质 |
| CN111242862A (zh) * | 2020-01-09 | 2020-06-05 | 西安理工大学 | 多尺度融合并行稠密残差卷积神经网络图像去噪方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112164082A (zh) * | 2020-10-09 | 2021-01-01 | 深圳市铱硙医疗科技有限公司 | 基于3d卷积神经网络分割多模态mr脑部图像方法 |
| CN112598656A (zh) * | 2020-12-28 | 2021-04-02 | 长春工业大学 | 一种基于UNet++优化和权值预算的脑肿瘤分割算法 |
| CN112862787A (zh) * | 2021-02-10 | 2021-05-28 | 昆明同心医联科技有限公司 | Cta影像数据处理方法、装置及存储介质 |
| CN112991365A (zh) * | 2021-05-11 | 2021-06-18 | 广东工业大学 | 一种冠状动脉分割方法、系统及存储介质 |
| CN112991365B (zh) * | 2021-05-11 | 2021-07-20 | 广东工业大学 | 一种冠状动脉分割方法、系统及存储介质 |
| CN113223021A (zh) * | 2021-05-28 | 2021-08-06 | 哈尔滨理工大学 | 一种基于UNet的肺部X光图像分割方法 |
| CN113223021B (zh) * | 2021-05-28 | 2022-07-22 | 哈尔滨理工大学 | 一种基于UNet的肺部X光图像分割方法 |
| CN113763399A (zh) * | 2021-09-08 | 2021-12-07 | 海盐县南北湖医学人工智能研究院 | 一种基于弱监督学习的医学影像分割方法及计算机可读存储介质 |
| CN114119640A (zh) * | 2022-01-27 | 2022-03-01 | 广东皓行科技有限公司 | 模型训练方法、图像分割方法以及图像分割系统 |
| CN114119640B (zh) * | 2022-01-27 | 2022-04-22 | 广东皓行科技有限公司 | 模型训练方法、图像分割方法以及图像分割系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111739034A (zh) | 基于改进的3D Unet的冠状动脉区域分割系统及方法 | |
| CN108665457B (zh) | 图像识别方法、装置、存储介质及计算机设备 | |
| CN112927255B (zh) | 一种基于上下文注意力策略的三维肝脏影像语义分割方法 | |
| CN112508864B (zh) | 基于改进UNet++的视网膜血管图像分割方法 | |
| US11200665B2 (en) | Fundus image processing method, computer apparatus, and storage medium | |
| CN114897780B (zh) | 一种基于mip序列的肠系膜上动脉血管重建方法 | |
| US11816870B2 (en) | Image processing method and device, neural network and training method thereof, storage medium | |
| CN111833343A (zh) | 冠状动脉狭窄度估计方法系统及设备 | |
| CN114881968A (zh) | 基于深度卷积神经网络的octa图像血管分割方法、设备及介质 | |
| CN117058676B (zh) | 一种基于眼底检查影像的血管分割方法、装置和系统 | |
| CN111681233A (zh) | 基于深度神经网络的us-ct图像分割方法、系统及设备 | |
| CN112669285A (zh) | 一种基于共享解码器和残差塔式结构的眼底图像血管分割方法 | |
| CN117495876B (zh) | 基于深度学习的冠状动脉图像分割方法及系统 | |
| CN113838067A (zh) | 肺结节的分割方法和装置、计算设备、可存储介质 | |
| CN112270366A (zh) | 基于自适应多特征融合的微小目标检测方法 | |
| CN111860248A (zh) | 一种基于孪生渐进注意引导融合网络的视觉目标跟踪方法 | |
| CN116091458A (zh) | 一种基于互补注意力的胰腺图像分割方法 | |
| CN112634224A (zh) | 基于目标影像的病灶检测方法和装置 | |
| Guttulsrud | Generating Synthetic Medical Images with 3D GANs | |
| EP4053800A1 (en) | Autonomous reconstruction of vessels on computed tomography images | |
| CN114332381B (zh) | 基于三维重建的主动脉ct图像关键点检测方法及系统 | |
| CN117726633B (zh) | 基于特征融合的双分支冠状动脉图像的分割方法、系统 | |
| Horne et al. | Automated Segmentation of the Left Ventricle of the Human Heart in 2D Magnetic Resonance Images using U-Nets | |
| CN117994279B (zh) | 一种全面特征融合的闭合轮廓提取的方法 | |
| Udayananda et al. | An ensemble methods based machine learning approach for rice plant disease diagnosing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |