CN114359308A - 一种基于边缘响应与非线性损失的主动脉夹层分割方法 - Google Patents
一种基于边缘响应与非线性损失的主动脉夹层分割方法 Download PDFInfo
- Publication number
- CN114359308A CN114359308A CN202210019396.9A CN202210019396A CN114359308A CN 114359308 A CN114359308 A CN 114359308A CN 202210019396 A CN202210019396 A CN 202210019396A CN 114359308 A CN114359308 A CN 114359308A
- Authority
- CN
- China
- Prior art keywords
- aortic dissection
- image
- network
- sub
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000002251 Dissecting Aneurysm Diseases 0.000 title claims abstract description 148
- 206010002895 aortic dissection Diseases 0.000 title claims abstract description 146
- 230000004044 response Effects 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000011218 segmentation Effects 0.000 claims abstract description 95
- 238000012549 training Methods 0.000 claims abstract description 45
- 210000000709 aorta Anatomy 0.000 claims abstract description 35
- 230000003044 adaptive effect Effects 0.000 claims abstract description 13
- 238000012795 verification Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 34
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 238000002224 dissection Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 10
- 230000003416 augmentation Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 36
- 230000000694 effects Effects 0.000 description 10
- 239000010410 layer Substances 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 239000011229 interlayer Substances 0.000 description 3
- 210000000683 abdominal cavity Anatomy 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000006735 deficit Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000002980 postoperative effect Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 239000010409 thin film Substances 0.000 description 2
- 206010002329 Aneurysm Diseases 0.000 description 1
- 208000025494 Aortic disease Diseases 0.000 description 1
- 208000034693 Laceration Diseases 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 231100000518 lethal Toxicity 0.000 description 1
- 230000001665 lethal effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000010882 preoperative diagnosis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开一种基于边缘响应与非线性损失的主动脉夹层分割方法,包括:对主动脉夹层CT图像进行预处理,将预处理后的所述主动脉夹层CT图像划分为训练集与验证集;建立主动脉夹层深度边缘响应三维级联分割模型;设计基于边缘响应损失和自适应对数损失的组合损失函数;基于所述组合损失函数与所述训练集对所述主动脉夹层深度边缘响应三维级联分割模型进行训练,使用训练好的所述主动脉夹层深度边缘响应三维级联分割模型完成主动脉夹层分割。本发明能够缓解主动脉夹层分割中的区域不连续和类别不平衡问题,提高真腔、假腔和全主动脉的分割精度。
Description
技术领域
本发明属于医学影像图像处理技术领域,尤其涉及一种基于边缘响应与非线性损失的主动脉夹层分割方法。
背景技术
主动脉夹层(Aortic Dissection,AD)是致死率最高的主动脉疾病。有临床表现复杂、缺乏具体的症状和体征等特点。该疾病的诊断对医生的专业性要求很高,非心血管专业医生对AD的了解不足就很容易出现误诊现象。AD要根据内膜破裂口的来源和夹层累及程度进行分型(分类),根据Stanford分型方法可以分为A型和B型,每个型别的夹层都有对应的专业的治疗方法。但A型夹层和B型夹层的手术治疗,都需要医师在手术前准确地掌握破口位置、夹层累及程度。掌握这些必要的信息在术前诊断、手术规划和术后治疗都有重大的意义,确保对病人进行及时有效的治疗。实现自动的、精确的对主动脉夹层真腔、假腔、全主动脉的分割可以为病患节约宝贵的时间,也可以为医生在进行手术规划和术后治疗提供辅助作用。目前主动脉夹层的分割主要有基于模型的方法、基于小波分析的方法和基于深度学习的方法。
基于模型的方法:利用主动脉的圆形先验知识和霍夫变换对主动脉进行分割,而不考虑内膜瓣和造影剂在假腔内的不均匀分布。主要有三个步骤:分割整个主动脉管腔、检测内膜瓣和识别真腔、假腔。由于每一步都高度依赖于前面的步骤,并且该方法在很大程度上是利用了CT图像中主动脉夹层的形态和特性的先验假设。因此,基于模型的方法很容易在形状不规则的主动脉上失效,如伴有动脉瘤和严重狭窄的主动脉。
基于小波分析的方法:结合小波分析方法和生成-判别模型匹配学习方法,来分割主动脉夹层真腔和假腔。首先,使用半自动方法检测主动脉的完整边界。其次,使用小波分析法检测主动脉夹层的内边缘。然后,使用判别学习方法对检测到的边缘进行细化,只预测管腔边缘点。最后,通过估计主动脉边界内的密度分布,使用生成学习方法来区分真腔和假腔。
基于深度学习的方法:基于深度学习对主动脉夹层进行分割是当前的大趋势。目前基于深度学习对主动脉夹层进行分割,研究人员提出了以下几种方法:1、将主动脉夹层CT图像分割成垂直于主动脉中心线的多平面重建图上的真假腔,并得出定量的形态学特征,特别是主动脉直径和真假腔的横截面积。设计包括两个卷积神经网络(CNN)分割算法,通过该算法得出主动脉中心线,生成与中心线正交的MPR,并对真假腔体进行分割。2、基于全卷积神经网络搭建的主动脉夹层分割模型。结合局部信息和全局信息来提高分割准确性,再经过全连接随机场,使网络能够注意到主动脉夹层图像中的真腔和假腔区域边缘的细节信息。3、使用两个独立的二维级联CNN网络分别提取整个主动脉腔和真腔的轮廓,假腔轮廓可以通过从整个主动脉腔和真腔的轮廓转换获得。4、使用对比度增强的CT图像对主动脉夹层进行分割。首先,构建一个基于U-Net的语义分割架构,将其应用于对比度增强的CT图像来分割主动脉夹层的真腔。然后,使用分割结果进行主动脉圆度分析,以获得切片级的检测结果。
主动脉夹层中全主动脉夹层分割任务和真假腔分割任务中都存在类别不平衡问题,即分割时不同类别之间出现的频率差别较大,导致网络模型不能在所有的类别上同时较好的收敛,因此在各类别上的分割效果不一致、分割效果较差的问题。同时,由于主动脉夹层的特殊结构,主动脉夹层的真腔与假腔之间存在一层薄膜也就是夹层,这将导致主动脉夹层区域内的不连续性,同时主动脉夹层也存在边缘区域不连续。这些问题是影响主动脉夹层全主动脉分割和真假腔分割的巨大障碍,但是目前的研究在分割主动脉夹层真假腔和全主动脉时,并没很好的考虑到分割过程中的存在的区域不连续和类别不平衡问题,因此其分割的结果边缘常常不够平滑,分割精确度不高。
发明内容
本发明提出了一种基于边缘响应与非线性损失的主动脉夹层分割方法。其目的在于,提供主动脉夹层分割中出现边缘区域不连续与类别不平衡的解决方法。首先,设计深度边缘响应监督模块和一种基于边缘响应的损失函数,来缓解分割中边缘区域不连续导致的边缘分割粗糙问题。其次,针对主动脉夹层真假腔分割和全主动脉分割存在的类别不平衡问题,设计了自适应对数损失函数。基于两种损失函数得到组合损失函数,应用于子网络中。最后,设计主动脉夹层深度边缘响应三维级联分割模型,使用第一子网络分割得到主动脉夹层全主动脉区域,排除背景的干扰。使用第二子网络分割得到主动脉夹层真腔和假腔。本发明可以较好的缓解主动脉夹层分割中的区域不连续和类别不平衡问题,提高真腔、假腔和全主动脉的分割精度。
为实现上述目的,本发明提供了一种基于边缘响应与非线性损失的主动脉夹层分割方法,包括以下步骤:
对主动脉夹层CT图像进行预处理,将预处理后的所述主动脉夹层CT图像划分为训练集与验证集;
建立主动脉夹层深度边缘响应三维级联分割模型;
设基于边缘响应损失和自适应对数损失的组合损失函数;
基于所述组合损失函数与所述训练集对所述主动脉夹层深度边缘响应三维级联分割模型进行训练,使用训练好的所述主动脉夹层深度边缘响应三维级联分割模型完成对主动脉夹层分割。
可选地,所述预处理包括数据格式转换处理、伽马增强处理、数据几何变换增广处理与标准化处理。
可选地,所述数据格式转换处理为将所述主动脉夹层CT图像由二维格式转换为三维格式;
所述伽马增强处理为对所述三维格式的主动脉夹层CT图像进行伽马灰度变换,所述伽马灰度变换的变化公式为:
CTout=2CTin 0.65
其中,CTin为图像伽马灰度变换前的灰度值,CTout为图像伽马灰度变换后的灰度值,2为灰度缩放系数,0.65为伽马因子值;
所述数据几何变换增广处理为使用图像的平移、旋转、翻转、镜像几何变换来增加所述伽马增强处理后的主动脉夹层CT图像的数据量;
所述标准化处理为将所述数据几何变换增广处理后的主动脉夹层CT图像的分辨率与灰度值进行标准化,分辨率处理为256×128×128,灰度值处理为0-1之间。
可选地,所述主动脉夹层深度边缘响应三维级联分割模型包括第一子网络与第二子网络;
所述第一子网络用于分割主动脉夹层全主动脉区域;
所述第二子网络用于分割主动脉夹层真腔、假腔;
所述第一子网络与所述第二子网络均包括编码器、解码器、若干个跳层连接。
可选地,所述第一子网络与所述第二子网络均还包括深度边缘响应监督模块;
所述深度边缘响应监督模块用于对所述第一子网络与所述第二子网络中每一层上采样的输出特征图进行处理。
可选地,对每一层上采样的输出特征图进行处理的方法包括:
计算特征图中每个像素的梯度幅值;
计算特征图的边缘响应系数矩阵;
基于所述梯度幅值与所述边缘响应系数矩阵得到处理后的输出特征图,并对所述处理后的输出特征图进行深度监督。
可选地,所述边缘响应损失函数公式为:
其中,DCloss为边缘区域的额外损失值,nc表示总的类别数目,Nc为图像中属于类别c的像素个数,img_pbcn为图像img_pb中类别c的第n个像素的预测值,img_tbcn为图像img_tb中类别c的第n个像素的真实值;img_pb为只含边缘区域的预测图像,img_tb为只含边缘区域的真实标签图像;
所述自适应对数损失函数公式为:
其中,HEloss为自适应对数损失函数值,nc为总的类别数目,wc为类别c对应的损失权重系数,DLc为类别c对应的Dice Loss值;
所述DLc的公式为:
其中,rcn为类别c的第n个像素的真实值,pcn为类别c的第n个像素的预测值,Nc为图像中属于类别c的像素个数;
所述wc的公式为:
可选地,对所述主动脉夹层深度边缘响应三维级联分割模型进行训练的方法为:
将所述训练集输入到所述第一子网络中,使用所述组合损失函数计算损失,并使用所述验证集调整超参数,完成对所述第一子网络的训练,获得所述第一子网络的分割结果;
对所述第一子网络的分割结果与所述训练集做交运算,将运算结果作为所述第二子网络的训练集输入到所述第二子网络中,使用所述组合损失函数计算损失,并使用所述验证集调整超参数,完成对所述第二子网络的训练。
与现有技术相比,本发明具有如下优点和技术效果:
1、本发明针对主动脉夹层CT图像较暗,图像中主动脉夹层区域与背景等区域对比度不高,导致主动脉夹层边界区域难以区分的问题。提出了基于伽马灰度变换的主动脉夹层CT图像增强方法,增强了CT图像中的主动脉夹层特征。通过伽马灰度变使得CT图像的整体亮度有较大幅度提升,对比度也有很好的改善。使得分割模型更容易学到主动脉夹层特征,为后续的分割任务奠定良好的基础。
2、本发明针对主动脉夹层分割中存在的边缘区域不连续导致的分割精度低的问题,提出了深度边缘响应监督模块。该模块让模型将注意力集中在主动脉夹层的边缘区域,提升了模型分割的准确度。深度边缘响应监督模块将给CT图像中主动脉夹层边缘区域的像素设置更大的边缘响应系数。因此在训练过程中,模型将给予边缘区域像素更多关注,提高模型分割的准确度。
3、本发明针对主动脉夹层分割中存在的类别不平衡和区域不连续问题,提出了基于边缘响应损失和自适应对数损失的组合损失函数。增强模型准确提取特征的能力,提高模型的分割精度。其中,基于边缘响应的损失函数对主动脉夹层边缘区域像素计算了额外损失。自适应对数损失函数不依赖于图像中目标的大小,能平衡小类别目标的损失贡献。应用该组合损失函数,能够提高模型对主动脉夹层全主动脉、真腔、假腔的分割精度。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本发明实施例的一种基于边缘响应与非线性损失的主动脉夹层分割方法流程示意图;
图2为本发明实施例的第一子网络和第二子网络的网络结构示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
实施例
如图1所示,本实施例中提供一种基于边缘响应与非线性损失的主动脉夹层分割方法,包括:
对主动脉夹层CT图像进行预处理,将预处理后的主动脉夹层CT图像划分为训练集与验证集。
在本实施例中,由于原始的主动脉夹层CT图像容易受到噪声、容积效应等因素的影响,因此与普通图像相比,CT图像存在着目标边缘模糊、明暗对比度差等缺点。因此,在将主动脉夹层CT图像用于模型训练之前,需要对原始图像数据进行预处理操作。其中,预处理包括数据格式转换处理、伽马增强处理、数据几何变换增广处理以及分辨率与灰度值标准化处理。
(1)数据格式转换处理
原始数据为120例腹腔主动脉夹层CT图像,皆为某医院的主动脉夹层患者在住院诊断期间所拍摄。每个病例的CT扫描图像存在一个文件夹中,里面包含多个DICOM文件,而每个DICOM文件是由一张二维扫描图像和图像的数据头部信息组成。
针对CT图像,通常二维网络比三维网络分割效果差。因为三维网络可以提取CT图像切片之间的空间位置信息,而二维分割网络忽视了不同切片间的位置关系,无法利用这些信息,并且往往不同位置的图像差别较大,也不利于网络学习通用特征。因此本发明的主动脉夹层分割模型将基于三维卷积神经网络,其卷积层也是三维的,要求输入为三维的张量。因此要对DICOM格式数据进行解析,将每个病例文件夹中所有的二维图像重建为三维的.nii格式图像。
(2)伽马增强处理
CT图像中的每一个像素位置都有一个灰度值,不同的灰度值表示人体各部位对射线的不同吸收程度。图像显示为黑色的地方,比如腹腔中的空气部分,表示其吸收程度低。而图像中显示为白色的地方,比如骨骼等,表示其吸收程度很高,是高密度区域。通过对主动脉夹层数据集进行统计,得知胸腹腔CT图像中主动脉夹层区域灰度范围是大于0的,而一些像空气等背景区域的灰度值远小于0,因此,先对CT图像进行阈值化处理。即将CT图像中灰度值小于0的都设置为0,排除复杂背景区域的干扰。再对CT图像进行伽马灰度变换,公式如下:
s=crγ (1)
其中,r为输入灰度图像的灰度值,s为经过伽马灰度变换后的输出灰度值,c为灰度缩放系数,γ为伽马因子大小,控制变换的缩放程度。γ值小于1时,会拉伸图像中灰度值较低的区域,同时会压缩灰度值较高的区域。γ值大于1时,则与之相反。本发明中的伽马灰度变换公式如下:
CTout=2CTin 0.65 (2)
其中,CTin为原始图像的灰度值,CTout为伽马灰度变换后的灰度值,灰度缩放系数取2,为了提高主动脉夹层CT图像亮度并且突出主动脉夹层区域,这里伽马因子值取0.65。通过伽马灰度变换,CT图像的整体亮度有较大幅度提升,对比度也有很好的改善,突出了主动脉区域,抑制背景等无用信息,为后续的分割任务奠定良好的基础。
(3)数据几何变换增广处理
深度学习神经网络一般都需要大量的训练数据。增加数据量能使得网络学习图像不同的特征,通常都能较大程度的提高算法的效果。但现实生活中,往往有价值的医学数据是很难得到的,手动分割一张图片需要耗费专家几个小时,因此数据增广是医学图像分割中必不可少的一部分。为了能够提高网络的训练精度,本发明使用图像的平移、旋转、翻转、镜像等几何变换来增加训练数据。
(4)分辨率与灰度值标准化处理
经过(1)中的数据格式转换操作将二维图像转换为三维图像。先进行图像分辨率标准化,主动脉夹层CT图片分辨率可以表示为512×512×s,s为切片数目,不同病人数据的切片数目可能不一样。考虑到CPU显卡内存大小,对CT图像按比例缩放为256×256×256,再进行中心裁剪,突出图像中的主动脉夹层区域。最后主动脉夹层数据被裁剪为128×128×256大小。同时,为了使得图像数据的分布尽可能一致,需要对CT图像灰度值标准化,灰度值标准化公式见(3),其中Imagein为输入图像灰度值,Imagemax,Imagemin分别为输入图像中最大的和最小的灰度值,Imageout为输出图像灰度值。
通过上述标准化处理将主动脉夹层CT图像分辨率归一化为256×128×128,灰度值都在0-1之间。将上述经过预处理后的数据按照5:1的比例划分为训练集和验证集,分别用于后续步骤网络的训练和验证。
建立主动脉夹层深度边缘响应三维级联分割模型;主动脉夹层深度边缘响应三维级联分割模型包括第一子网络与第二子网络;第一子网络用于分割主动脉夹层全主动脉区域;第二子网络用于分割主动脉夹层真腔、假腔;第一子网络与第二子网络均包括编码器、解码器、若干个跳层连接。第一子网络与第二子网络均还包括深度边缘响应监督模块;深度边缘响应监督模块用于对第一子网络与所述第二子网络中每一层上采样的输出特征图进行处理。
对每一层上采样的输出特征图进行处理的方法包括:
计算特征图中每个像素的梯度幅值;计算特征图的边缘响应系数矩阵;基于梯度幅值与所述边缘响应系数矩阵得到处理后的输出特征图,并对处理后的输出特征图进行深度监督。
在本实施例中,建立的主动脉夹层深度边缘响应三维级联分割模型包括两个子网络,第一子网络用于分割主动脉夹层全主动脉区域,第二子网络用于分割主动脉夹层真腔、假腔。每个子网络均包含编码器、解码器、若干个跳层连接和深度边缘响应监督模块,第一子网络和第二子网络的网络结构见附图2所示。
(1)主动脉夹层深度边缘响应三维级联分割模型结构
在进行主动脉夹层真假腔分割时,CT图像中假腔、真腔与背景类别的出现频率差别较大,导致网络模型不能在所有的类别上同时较好的收敛,因此在各类别上的分割效果不一致,分割效果较差,这就是主动脉夹层真假腔分割中的类别不平衡问题。为缓解主动脉夹层全主动脉分割过程中的类别不平衡问题,本发明采用了级联分割模型。共有两个子网络,使用第一子网络分割出主动脉夹层全主动脉区域,使用第二子网络分割出主动脉夹层真腔和假腔区域。
与单个分割模型相比,级联分割模型可以根据前一个子网络的预测结果逐步缩小感兴趣区域,从而减少过拟合分割情况。同时,由于第一子网络分割出了全主动脉区域,剔除了背景等无关区域的干扰,缩小了计算区域,使得第二子网络能够将注意力过多的集中在真腔和假腔区域而不是背景区域,这在一定程度上缓解了主动脉夹层真假腔的类别不平衡问题,提高了分割精度。
两个子网络都是以3D U-Net网络为基础改进的,其基本架构都是由用于特征提取的编码器、与之对称的用于恢复空间分辨率生成分割结果的解码器以及跳层连接三部分组成的,整体网络呈大写字母U型。
(2)深度边缘响应监督模块
深度边缘响应监督模块的主要作用是增强分割模型对主动脉夹层边缘区域的关注,抑制对无用的背景信息的关注,缓解边缘区域不连续导致的边缘分割粗糙问题。使用该模块对子网络每一层上采样的输出特征图进行处理。
将输入特征图集合定义为Fin,Fin=[f1,f2,f3,...,fc],Fin∈RH×W×C,fi∈RH×W,i=1,2,3,...,C,C表示输入特征图总的通道数,H表示特征图的高度,W表示特征图的宽度,fi表示第i张特征图。
步骤如下:
1)计算输入特征图中每个像素的梯度幅值
gc(i,j)是第c张特征图中第(i,j)个位置像素的灰度值,gc i(i,j)为该像素在i方向的梯度值,gc j(i,j)为像素在j方向的梯度值,AC(i,j)为该像素的梯度幅值。计算公式如下:
2)计算特征图的边缘响应系数矩阵
因为位于边缘区域的像素的梯度和幅值较非边缘区域像素要大很多,因此可以将像素归一化后的梯度幅值作为该像素的边缘响应系数,给予主动脉夹层边缘区域像素较大的边缘响应系数。第c张特征图中的第(i,j)个位置上像素的边缘响应系数rc(i,j)可以由以下公式求得:
其中,Ac min为第c张特征图所有像素中最小的梯度幅值,Ac max为第c张特征图所有像素中最大的梯度幅值。
通过计算特征图c中每个像素的边缘响应系数可以得到第c张特征图的边缘响应系数矩阵rc,同理,根据每个特征图的边缘响应系数矩阵可以得到总的边缘响应系数矩阵R,R∈RH×W×C,R=[r1,r2,r3,…,rc],ri∈RH×W,i=1,2,3,…,C,ri表示第i张特征图的边缘响应系数矩阵。
3)得到处理后的输出特征图,并进行深度监督。
R为刻画输入特征图像的C张特征图的边缘响应系数矩阵。通过将R与输入特征图中对应位置的像素相乘,得到最终的输出特征图Fout,公式如下:
Fout=Fin·*R (8)
最后,对输出特征图进行深度监督。为主动脉夹层边缘区域提供额外监督,深度监督可以学习主动脉夹层边缘区域的透明性和直接性,实现模型更快的收敛,提高分割精度。
设置基于边缘响应损失和自适应对数损失的组合损失函数;
Dice系数常用来评估医学图像分割任务中的分割效果,其范围在[0,1],值越大则越相似,其定义的数学公式如下:
A代表专家手工标注的样本标签,B代表分割模型生成的预测结果,Dice即为这两个区域的交集与并集的比值。比值越大表示预测结果和标签越接近,分割效果越好。DiceLoss是基于Dice系数的损失函数,其公式见式(10)。为了避免分子或分母为0的情况,常在分子和分母加一个很小的数s,通常可以取s为0.0001。
第一子网络对主动脉夹层全主动脉进行分割,是一个二分类问题。包括背景和全主动脉两个类别,而全主动脉类别和背景类别的出现频率差别很大,大部分CT图像中全主动脉区域只占很小的一部分,导致分割模型不能在所有的类别上同时较好的收敛,这将导致在全主动脉类别上的分割效果较差。同时主动脉夹层分割过程中还存在边缘区域不连续问题,边缘区域附近的不连续像素很容易被错误分类,导致分割结果和真实结果之间的边界错位。
第二子网络对主动脉夹层真假腔进行分割,也是一个二分类任务。包括真腔、假腔两个类别,而主动脉夹层CT图像中真假腔类别出现频率也不平衡,也存在一定程度不平衡问题。同时,由于主动脉夹层的特殊结构,真腔与假腔之间存在一层薄膜也就是夹层,这导致了主动脉夹层内部区域的不连续性。
因此,针对主动脉夹层分割过程中的区域不连续问题和类别不平衡问题,分别提出了基于边缘响应的损失函数和自适应对数损失函数,基于两种损失函数得到组合损失函数,作为最终总的损失函数应用在分割模型的子网络中。
(1)基于边缘响应的损失函数
传统的CNN网络强烈的依赖图像的纹理特征,而过多的忽视了物体的形状特征。而专家对主动脉夹层CT图像进行手工分割时,会依赖对主动脉夹层真假腔、全主动脉区域等类别的边界形状的识别。即先追踪主动脉夹层区域边缘,再由主动脉夹层区域边缘的先验知识,后续将很容易推导其分割掩模。
基于上述思想得到启发,针对主动脉夹层中边缘区域不连续的问题,提出了基于边缘响应的损失函数。即先通过canny边缘检测算子检测出图像中边缘区域的像素,再对这些像素计算额外的损失,以增加对不连续区域的额外监督。主要步骤如下:
1)使用canny边缘检测算子检测输入图像img_in,得到突出边缘区域的黑白图像img_bw,图像中的白色部分为边缘区域,黑色部分为其它区域。
2)将步骤1)得到的图像img_bw分别和分割得到的预测图像img_p、真实标签图像img_t进行叠加运算,其运算公式见(11)、(12),得到突出边缘区域的的预测图像img_pb和真实标签图像img_tb。其中[img_bw]ij表示图像img_bw中的第i行第j列位置上的灰度值。[img_pb]ij、[img_tb]ij同上。
3)对只含边缘区域的预测图像img_pb和真实标签图像img_tb再计算损失,以增加对边缘区域的额外监督;损失计算公式如下:
其中,DCloss为边缘区域的额外损失值,nc表示总的类别数目,Nc为图像中属于类别c的像素个数。img_pbcn为图像img_pb中类别c的第n个像素的预测值,img_tbcn为图像img_tb中类别c的第n个像素的真实值。
(2)自适应对数损失函数
其次,针对主动脉夹层分割中的全主动脉区域、真假腔类别不平衡问题,提出了自适应对数损失函数。当样本非常难以识别时,网络的非线性操作可以实现更高的损失。这样,具有非线性损失的网络可能会比使用线性损失函数时获得更有效的梯度更新,能够真正识别出图像中难分类别和易分类别。本发明的自适应对数损失函数公式如下:
式中,HEloss为自适应对数损失函数值,nc表示总的类别数目,因为第一子网络和第二子网络都是处理2分类问题,因此这里nc的值为2,wc的值为类别c对应的损失权重系数,DLc为类别c对应的Dice Loss值,其公式如下:
式中,rcn为类别c的第n个像素的真实值,pcn为类别c的第n个像素的预测值,Nc为图像中属于类别c的像素个数。
在本发明中,真腔、假腔或全主动脉为小类别是随机的。因此,不能给每个类别施加固定的权重。本发明将图像中类别c所有像素真实值之和的平方的倒数设置为该类别的损失权重系数wc。其公式如下:
最后,得到基于HEloss和DCloss的组合损失函数,其公式如下:
Tloss=DCloss+HEloss
基于所述组合损失函数与所述训练集对所述主动脉夹层深度边缘响应三维级联分割模型进行训练,使用训练好的所述主动脉夹层深度边缘响应三维级联分割模型完成主动脉夹层分割。其中,对主动脉夹层深度边缘响应三维级联分割模型进行训练的方法为:将训练集输入到第一子网络中,使用组合损失函数计算损失,并使用验证集调整超参数,完成对第一子网络的训练,获得第一子网络的分割结果;对第一子网络的分割结果与训练集做交运算,将运算结果作为第二子网络的训练集输入到第二子网络中,使用组合损失函数计算损失,并使用验证集调整超参数,完成对第二子网络的训练。
在本实施例的级联分割模型的训练中,同时训练多个网络将导致算力受限。因此常采用分步训练策略,即先对第一子网络进行训练,再对第二子网络进行训练。
首先设定分割模型的超参数,包括批次大小,优化器,初始学习速率,最大迭代次数等。然后先训练第一子网络,将主动脉夹层全主动脉训练集输入第一子网络中,使用组合损失函数计算损失,并使用验证集调整超参数,完成训练,将网络模型保存下来。将第一子网络的分割结果与主动脉夹层全主动脉训练集做交运算,将运算结果作为第二子网络的训练集。并同样的方式对第二子网络进行训练,并保存网络模型。
主动脉夹层三维级联分割模型的实际使用。首先使用数据预处理方法对原始的主动脉夹层CT图像测试集进行处理,再加载保存的训练好的分割网络模型参数,将处理后的数据输入分割模型中,分别得到主动脉夹层全主动脉、真腔、假腔的分割结果掩膜图。最后分别将主动脉夹层全主动脉、真腔、假腔的掩膜图分别映射到原主动脉夹层CT图像中,即可得到对应的主动脉夹层全主动脉、真假腔的预测分割结果。
以上所述,仅为本申请较佳的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。
Claims (8)
1.一种基于边缘响应与非线性损失的主动脉夹层分割方法,其特征在于,包括如下步骤,
对主动脉夹层CT图像进行预处理,将预处理后的所述主动脉夹层CT图像划分为训练集与验证集;
建立主动脉夹层深度边缘响应三维级联分割模型;
设置基于边缘响应损失和自适应对数损失的组合损失函数;
基于所述组合损失函数与所述训练集对所述主动脉夹层深度边缘响应三维级联分割模型进行训练,使用训练好的所述主动脉夹层深度边缘响应三维级联分割模型完成对主动脉夹层分割。
2.根据权利要求1所述的基于边缘响应与非线性损失的主动脉夹层分割方法,其特征在于,所述预处理包括数据格式转换处理、伽马增强处理、数据几何变换增广处理与标准化处理。
3.根据权利要求2所述的基于边缘响应与非线性损失的主动脉夹层分割方法,其特征在于,
所述数据格式转换处理为将所述主动脉夹层CT图像由二维格式转换为三维格式;
所述伽马增强处理为对所述三维格式的主动脉夹层CT图像进行伽马灰度变换,所述伽马灰度变换公式为:
CTout=2CTin 0.65
其中,CTin为图像伽马灰度变换前的灰度值,CTout为图像伽马灰度变换后的灰度值,2为灰度缩放系数,0.65为伽马因子值;
所述数据几何变换增广处理为使用图像的平移、旋转、翻转、镜像几何变换来增加所述伽马增强处理后的主动脉夹层CT图像的数据量;
所述标准化处理为对所述数据几何变换增广处理后的主动脉夹层CT图像的分辨率与灰度值进行标准化,将CT图像的分辨率处理为256×128×128,灰度值处理为0-1之间。
4.根据权利要求1所述的基于边缘响应与非线性损失的主动脉夹层分割方法,其特征在于,所述主动脉夹层深度边缘响应三维级联分割模型包括第一子网络与第二子网络;
所述第一子网络用于分割主动脉夹层全主动脉区域;
所述第二子网络用于分割主动脉夹层真腔、假腔;
所述第一子网络与所述第二子网络均包括编码器、解码器、若干个跳层连接。
5.根据权利要求4所述的基于边缘响应与非线性损失的主动脉夹层分割方法,其特征在于,
所述第一子网络与所述第二子网络均还包括深度边缘响应监督模块;
所述深度边缘响应监督模块用于对所述第一子网络与所述第二子网络中每一层上采样的输出特征图进行处理。
6.根据权利要求5所述的基于边缘响应与非线性损失的主动脉夹层分割方法,其特征在于,对每一层上采样的输出特征图进行处理的方法包括:
计算特征图中每个像素的梯度幅值;
计算特征图的边缘响应系数矩阵;
基于所述梯度幅值与所述边缘响应系数矩阵得到处理后的输出特征图,并对所述处理后的输出特征图进行深度监督。
7.根据权利要求6所述的基于边缘响应与非线性损失的主动脉夹层分割方法,其特征在于,所述边缘响应损失函数公式为:
其中,DCloss为边缘区域的额外损失值,nc表示总的类别数目,Nc为图像中属于类别c的像素个数,img_pbcn为图像img_pb中类别c的第n个像素的预测值,img_tbcn为图像img_tb中类别c的第n个像素的真实值,img_pb为只含边缘区域的预测图像,img_tb为只含边缘区域的真实标签图像;
所述自适应对数损失函数公式为:
其中,HEloss为自适应对数损失函数值,nc为总的类别数目,wc为类别c对应的损失权重系数,DLc为类别c对应的Dice Loss值;
所述DLc的公式为:
其中,rcn为类别c的第n个像素的真实值,pcn为类别c的第n个像素的预测值,Nc为图像中属于类别c的像素个数;
所述wc的公式为:
8.根据权利要求7所述的基于边缘响应与非线性损失的主动脉夹层分割方法,其特征在于,对所述主动脉夹层深度边缘响应三维级联分割模型进行训练的方法为:
将所述训练集输入到所述第一子网络中,使用所述组合损失函数计算损失,并使用所述验证集调整超参数,完成对所述第一子网络的训练,获得所述第一子网络的分割结果;
对所述第一子网络的分割结果与所述训练集做交运算,将运算结果作为所述第二子网络的训练集输入到所述第二子网络中,使用所述组合损失函数计算损失,并使用所述验证集调整超参数,完成对所述第二子网络的训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210019396.9A CN114359308A (zh) | 2022-01-07 | 2022-01-07 | 一种基于边缘响应与非线性损失的主动脉夹层分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210019396.9A CN114359308A (zh) | 2022-01-07 | 2022-01-07 | 一种基于边缘响应与非线性损失的主动脉夹层分割方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114359308A true CN114359308A (zh) | 2022-04-15 |
Family
ID=81106678
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210019396.9A Pending CN114359308A (zh) | 2022-01-07 | 2022-01-07 | 一种基于边缘响应与非线性损失的主动脉夹层分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114359308A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116777935A (zh) * | 2023-08-16 | 2023-09-19 | 天津市肿瘤医院(天津医科大学肿瘤医院) | 基于深度学习自动分割前列腺全腺体方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180260957A1 (en) * | 2017-03-08 | 2018-09-13 | Siemens Healthcare Gmbh | Automatic Liver Segmentation Using Adversarial Image-to-Image Network |
CN108805134A (zh) * | 2018-06-25 | 2018-11-13 | 慧影医疗科技(北京)有限公司 | 一种主动脉夹层分割模型的构建方法及应用 |
CN112837322A (zh) * | 2019-11-22 | 2021-05-25 | 北京深睿博联科技有限责任公司 | 图像分割方法及装置、设备、存储介质 |
CN113674291A (zh) * | 2021-08-16 | 2021-11-19 | 北京理工大学 | 一种全类型主动脉夹层真假腔图像分割方法及系统 |
-
2022
- 2022-01-07 CN CN202210019396.9A patent/CN114359308A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180260957A1 (en) * | 2017-03-08 | 2018-09-13 | Siemens Healthcare Gmbh | Automatic Liver Segmentation Using Adversarial Image-to-Image Network |
CN108805134A (zh) * | 2018-06-25 | 2018-11-13 | 慧影医疗科技(北京)有限公司 | 一种主动脉夹层分割模型的构建方法及应用 |
CN112837322A (zh) * | 2019-11-22 | 2021-05-25 | 北京深睿博联科技有限责任公司 | 图像分割方法及装置、设备、存储介质 |
CN113674291A (zh) * | 2021-08-16 | 2021-11-19 | 北京理工大学 | 一种全类型主动脉夹层真假腔图像分割方法及系统 |
Non-Patent Citations (1)
Title |
---|
刘敏 等: "基于深度学习的冠状动脉CTA三维分割", 智能计算机与应用, 1 March 2020 (2020-03-01) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116777935A (zh) * | 2023-08-16 | 2023-09-19 | 天津市肿瘤医院(天津医科大学肿瘤医院) | 基于深度学习自动分割前列腺全腺体方法及系统 |
CN116777935B (zh) * | 2023-08-16 | 2023-11-10 | 天津市肿瘤医院(天津医科大学肿瘤医院) | 基于深度学习自动分割前列腺全腺体方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
CN110930416B (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
Uysal et al. | Computer-aided retinal vessel segmentation in retinal images: convolutional neural networks | |
CN109389584A (zh) | 基于cnn的多尺度鼻咽肿瘤分割方法 | |
CN113223005B (zh) | 一种甲状腺结节自动分割及分级的智能系统 | |
CN113205538A (zh) | 基于CRDNet的血管图像分割方法及装置 | |
CN113012173A (zh) | 基于心脏mri的心脏分割模型和病理分类模型训练、心脏分割、病理分类方法及装置 | |
CN113936011A (zh) | 基于注意力机制的ct影像肺叶图像分割系统 | |
CN113674291B (zh) | 一种全类型主动脉夹层真假腔图像分割方法及系统 | |
CN112348059A (zh) | 基于深度学习的多种染色病理图像分类方法及系统 | |
Ninh et al. | Skin lesion segmentation based on modification of SegNet neural networks | |
CN112270667A (zh) | 一种基于ti-rads的集成深度学习多标签识别方法 | |
CN112365973A (zh) | 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 | |
CN113160120A (zh) | 基于多模态融合与深度学习的肝脏血管分割方法及系统 | |
Biswas et al. | Chest X-ray enhancement to interpret pneumonia malformation based on fuzzy soft set and Dempster–Shafer theory of evidence | |
CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
CN112634308B (zh) | 基于不同感受野的鼻咽癌靶区和危及器官的勾画方法 | |
CN117809122A (zh) | 一种颅内大血管图像的处理方法、系统、电子设备及介质 | |
CN114359308A (zh) | 一种基于边缘响应与非线性损失的主动脉夹层分割方法 | |
CN113610746A (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
CN116883341A (zh) | 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 | |
CN116485853A (zh) | 一种基于深度学习神经网络的医学图像配准方法和装置 | |
TSAI | Automatic segmentation of liver structure in CT images using a neural network | |
CN112862089B (zh) | 一种具有可解释性的医学图像深度学习方法 | |
CN112766332A (zh) | 医学影像检测模型训练方法、医学影像检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |