CN111861994B - 冠状动脉壁图像分割方法、系统、存储介质、计算机设备 - Google Patents
冠状动脉壁图像分割方法、系统、存储介质、计算机设备 Download PDFInfo
- Publication number
- CN111861994B CN111861994B CN202010552226.8A CN202010552226A CN111861994B CN 111861994 B CN111861994 B CN 111861994B CN 202010552226 A CN202010552226 A CN 202010552226A CN 111861994 B CN111861994 B CN 111861994B
- Authority
- CN
- China
- Prior art keywords
- data
- training
- coronary
- coronary artery
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004351 coronary vessel Anatomy 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000003709 image segmentation Methods 0.000 title claims description 24
- 238000012549 training Methods 0.000 claims abstract description 82
- 230000011218 segmentation Effects 0.000 claims abstract description 44
- 238000012360 testing method Methods 0.000 claims abstract description 34
- 101000666730 Homo sapiens T-complex protein 1 subunit alpha Proteins 0.000 claims abstract description 25
- 102100038410 T-complex protein 1 subunit alpha Human genes 0.000 claims abstract description 25
- 238000007781 pre-processing Methods 0.000 claims abstract description 21
- 238000010606 normalization Methods 0.000 claims abstract description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000002308 calcification Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000007812 deficiency Effects 0.000 claims description 3
- 230000008054 signal transmission Effects 0.000 claims description 3
- 238000002586 coronary angiography Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 239000003550 marker Substances 0.000 abstract description 2
- 208000029078 coronary artery disease Diseases 0.000 description 7
- 210000000056 organ Anatomy 0.000 description 5
- 201000000057 Coronary Stenosis Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 206010049418 Sudden Cardiac Death Diseases 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 206010002383 Angina Pectoris Diseases 0.000 description 1
- 208000037260 Atherosclerotic Plaque Diseases 0.000 description 1
- 206010011089 Coronary artery stenosis Diseases 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 208000007536 Thrombosis Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010968 computed tomography angiography Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
- G06T2207/30104—Vascular flow; Blood flow; Perfusion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明属于冠状动脉造影图像处理技术领域，公开了一种冠状动脉壁图像分割方法、系统、存储介质、计算机设备，将CCTA冠状动脉数据集分为训练数据集和测试数据集；为训练集部分标记缺失的区域添加人工粗略勾画的不确定区域标记；对冠脉数据进行预处理，将图像大小调整相同，去除部分高亮钙化斑块和背景影响，并进行归一化操作；将所有数据存储到一个文件中；使用Keras编程实现网络框架；建立一个针对小目标问题的损失函数；对于不确定区域，在最开始的一段时间内，将不确定区域的loss贡献置0，后面随着训练次数的增加，对不确定区域的标记进行迭代预测更新。本发明用于部分冠脉壁标记缺失情况下，解决冠状动脉壁的全自动分割问题。
Description
技术领域
本发明属于冠状动脉造影图像处理技术领域，尤其涉及一种冠状动脉壁图像分割方法、系统、存储介质、计算机设备。
背景技术
目前，冠心病(Coronary Heart Disease,CHD)是世界范围内致死率第一的疾病。冠状动脉狭窄与冠状动脉粥样硬化斑块(以下简称斑块)破裂是心绞痛、心肌梗死和心源性猝死的主要病因。冠状动脉狭窄直接影响冠状动脉内的血流，而易损性斑块容易破裂，从而导致血栓的形成和血流的突然中断。有研究表明，易损性斑块在冠心病的发展中具有更高的危险性。事实上，近一半的心源性猝死发生在无症状的患者身上，这些患者的冠脉狭窄程度正常。因此，仅测量冠脉狭窄程度不足以完全评估冠心病的风险，为了更加准确地评估冠心病的风险，还需要对斑块进行分析。然而斑块体积小，形态复杂，且非钙化斑块等与周围组织对比度低，直接从CCTA图像中分析斑块任务难度过大。斑块生长于冠脉壁中，将冠脉壁从周围复杂的组织结构中精确地分割出来能够降低分析斑块的难度。冠状动脉造影(Coronary Computed Tomography Angiography,CCTA)以其无创性和高分辨率三维成像能力，已成为临床评估斑块和检测狭窄最常用的技术。然而，从三维CCTA图像中手动分割冠状动脉壁是非常耗时和繁琐的，因为CCTA图像通常有数百层。因此，开发一种有效的计算机辅助自动分割冠状动脉壁的方法对冠心病患者的临床评估和治疗具有重要意义。
近年来，深度学习以及卷积神经网络在各种视觉任务中取得了优异的成绩。深度学习技术也被广泛地应用于医学图像领域。然而，强监督训练深度卷积神经网络需要大量的训练数据以及正确的标记，对于语义分割任务来说，标记过程是一项极其耗时的任务，需要像素级的标记。尤其在医学图像领域，标记人员需具备专业的医学影像知识。在实际操作中，经验丰富的临床专家关注的是特定的病变部位，如包含钙化斑块的冠脉段，而健康的冠脉段以及包含非钙化斑块的冠脉段则没有标记，被错误地默认标记为背景。因此，本研究收集到的数据会缺少部分标记，我们需要在缺少部分标记的数据集上训练出能够分割出所有冠脉壁的网络模型。
目前，基于深度学习的血管壁分割方法采用的数据集都是基于三维图像的曲面重建(Curved Planar Reconstruction,CPR)图像。相当于对三维的CCTA数据进行了一个预处理，沿中心线上的点生成连续的二维血管横截面图像，再使用这些二维图像去训练卷积神经网络。在针对数据缺失部分标记方面，现有的大部分半监督方法研究的都是多器官分割，且针对的是一张图像中完全缺失某个器官的标记的数据，该类方法为分割数据集额外提供全图的分类标签，将缺失某种器官的图像类标置零，使其对网络的参数更新不做贡献。本发明研究的是一张图像中同一种器官的部分标记缺失的场景，即背景标签中有一部分是我们的阳性目标，反向传播这些背景标记可能会降低训练模型的性能。目前有部分方法也在进行此类研究，他们采用手动粗略标记含有未标记器官区域(该区域本发明称为不确定区域)的方式，并且将该区域的loss损失置零，即粗略标记的区域对网络的参数更新不做贡献。
通过上述分析，现有技术存在的问题及缺陷为：
(1)现有的技术都需要事先生成CPR图像，以一定的大小提取出沿中心线点的二维横截面图像，横截面图像中血管位于图像的中央，背景像素大幅减少，平衡了背景与目标的像素数量，一定程度上降低了分割任务难度。然而，这种方法需要进行中心线生成，横截面插值提取等一系列步骤，引入了误差，且损失了三维CCTA图像的空间结构。
(2)在应对部分标记缺失方面，现有的方法将粗略标记的不确定区域loss损失置零，消除了错误标记对网络性能的损害。但是这种方法同时也减少了一部分参与训练的体素，相当于降低了训练数据的数据量，网络也无法达到最优的性能。
解决以上问题及缺陷的难度为：本发明采用原始的CCTA图像进行冠脉壁的分割，避免生成中间图像CPR引入的一系列误差。在CCTA图像中，冠脉壁对于整幅图像来说是一个小目标，且冠脉壁的体素数量与背景的体素数量严重不平衡，需要解决冠脉壁目标小以及样本标签不平衡的问题；在部分标记缺失的区域，需要解决该部分区域没有被充分利用起来的问题。
解决以上问题及缺陷的意义为：能够利用原始CCTA图像的三维空间信息，避免生成CPR图像引入的一系列误差，减少了分割的预处理步骤。且在冠脉壁部分标记缺失的情况下，充分利用不确定区域，得到能够完整分割出所有冠脉壁的性能较优的网络模型。
发明内容
针对现有技术存在的问题，本发明提供了一种冠状动脉壁图像分割方法、系统、存储介质、计算机设备。
本发明是这样实现的，一种冠状动脉壁图像分割方法，所述冠状动脉壁图像分割方法包括：
步骤一，获取CCTA冠状动脉图像数据；将数据集分为训练数据集和测试数据集；为训练集部分标记缺失的区域添加人工粗略勾画的不确定区域标记；
步骤二，对冠状动脉图像数据进行预处理，将图像大小调整相同，去除部分高亮钙化斑块和背景影响，并进行归一化操作；将所有数据存储到一个文件中；
步骤三，使用Keras编程实现网络框架；建立一个针对小目标问题的损失函数；在半监督训练过程中，对于不确定区域，在最开始的一段时间内，将不确定区域的loss贡献置0，后面随着训练次数的增加，对不确定区域的标记进行迭代预测更新；通过优化算法优化网络，得到训练好参数的网络。
进一步，所述冠状动脉壁图像分割方法还包括：
(1)获取CCTA冠状动脉图像数据；
(2)将数据集分为训练数据集和测试数据集；
(3)为训练集部分标记缺失的区域添加人工粗略勾画的不确定区域标记；
(4)对冠状动脉图像数据进行预处理，去除部分高亮钙化斑块和背景影响，并进行归一化操作，将图像大小调整相同，；
(5)将所有数据存储到一个HDF5文件中，HDF5文件能够加快IO传输效率；
(6)使用Keras编程实现网络框架；
(7)建立一个针对小目标问题的损失函数；
(8)在半监督训练过程中，对于不确定区域，在最开始的一段时间内，将不确定区域的loss贡献置0，后面随着训练次数的增加，对不确定区域的标记进行迭代预测更新；
(9)通过Adam优化算法优化网络，得到训练好参数的网络；
(10)在测试集上进行测试，评估算法性能。
进一步，所述(4)对冠状动脉图像数据进行预处理包括：
1)将数据中大于1000HU以及小于0HU的值进行裁剪，剔除低密度组织、空气以及高密度钙化斑块对冠脉壁分割的影响；
2)计算出训练数据的均值以及标准差，所有的数据集进行减均值，再除以标准差的操作，完成数据归一化；
3)将所有数据调整为相同大小。
进一步，所述(6)使用Keras编程实现网络框架包括
1)使用Keras编写基于3D-UNet的全卷积分割网络，此分割任务是单目标分割；
2)将残差模块ResBlock结合进网络中，利于信号的传递。
进一步，所述(7)建立一个针对小目标问题的损失函数包括：
1)为了解决样本数量不平衡问题，根据中值频率平衡MFB计算出目标冠脉壁与背景各自的权重：
其中c为不同的类别，fc为类别c像素的频率c；
2)将1)中得到的权重ωc与Generalized Dice Loss进行结合，得到新的损失函数：
其中，gcn为类别c在第n个体素的标准值，pcn为相应的预测概率值。
进一步，所述(8)半监督训练过程包括：
1)针对冠脉壁部分标记缺失的问题，采用伪标签Pseudo-Label的半监督方法进行训练；
2)训练集的标签，0代表背景，1代表目标管壁，为上述的不确定区域体素给定新的标签2，以便记忆这些区域的体素位置；
3)在训练的前10个epoch，将标签为2的体素对网络的loss贡献值置0，前10个epoch相当于只用了正确标签的数据进行了强监督训练；
4)从第11个epoch开始，对标签为2的区域各体素标签进行以下更新：
其中，f(x)为网络的预测值；
5)每经过一次前向传播，都按照4)中的描述更新一次不确定区域的标签值，将更新后的区域加入到下一次的反向传播loss计算中，总损失函数为：
其中，M为一个batch中图像的总数量，N为一个图像中确定标签区域的体素总数量，N'为一个图像中不确定区域的体素总数量，λ(t)是一个随着时间变化的值：
其中，θ＝10，T1＝40，T2＝120；
所述(9)通过Adam优化算法优化网络包括：
1)采用三维卷积神经网络训练三维数据，由于内存的限制，batch size设为1；
2)学习率LR的初始值设定为5e-4，使用验证数据控制学习率的变化，每当验证集分割结果连续20个epoch没有提升时，将LR的值变为原来的一半；使用提前结束ES控制epoch的数量，当验证集分割结果连续50个epoch没有提升时，触发ES，训练提前终止；
所述(10)在测试集上进行测试，评估算法性能包括：
1)使用的测试数据集具备完整的Ground-truth标记；
2)在测试数据上计算Dice系数来评估网络的分割性能，Dice系数的计算公式为：
其中，pn为像素n的分割结果，gn为对应的Ground-truth值。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
步骤一，获取CCTA冠状动脉图像数据；将数据集分为训练数据集和测试数据集；为训练集部分标记缺失的区域添加人工粗略勾画的不确定区域标记；
步骤二，对冠状动脉图像数据进行预处理，将图像大小调整相同，去除部分高亮钙化斑块和背景影响，并进行归一化操作；将所有数据存储到一个文件中；
步骤三，使用Keras编程实现网络框架；建立一个针对小目标问题的损失函数；在半监督训练过程中，对于不确定区域，在最开始的一段时间内，将不确定区域的loss贡献置0，后面随着训练次数的增加，对不确定区域的标记进行迭代预测更新；通过优化算法优化网络，得到训练好参数的网络。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
步骤一，获取CCTA冠状动脉图像数据；将数据集分为训练数据集和测试数据集；为训练集部分标记缺失的区域添加人工粗略勾画的不确定区域标记；
步骤二，对冠状动脉图像数据进行预处理，将图像大小调整相同，去除部分高亮钙化斑块和背景影响，并进行归一化操作；将所有数据存储到一个文件中；
步骤三，使用Keras编程实现网络框架；建立一个针对小目标问题的损失函数；在半监督训练过程中，对于不确定区域，在最开始的一段时间内，将不确定区域的loss贡献置0，后面随着训练次数的增加，对不确定区域的标记进行迭代预测更新；通过优化算法优化网络，得到训练好参数的网络。
本发明的另一目的在于提供一种运行所述冠状动脉壁图像分割方法的冠状动脉壁图像分割系统，所述冠状动脉壁图像分割系统包括：
冠状动脉图像数据获取模块，用于获取CCTA冠状动脉图像数据；将数据集分为训练数据集和测试数据集；为训练集部分标记缺失的区域添加人工粗略勾画的不确定区域标记；
冠状动脉图像数据预处理模块，用对冠状动脉图像数据进行预处理，将图像大小调整相同，去除部分高亮钙化斑块和背景影响，并进行归一化操作；将所有数据存储到一个文件中；
网络框架构建模块，用于使用Keras编程实现网络框架；建立一个针对小目标问题的损失函数；在半监督训练过程中，对于不确定区域，在最开始的一段时间内，将不确定区域的loss贡献置0，后面随着训练次数的增加，对不确定区域的标记进行迭代预测更新；通过优化算法优化网络，得到训练好参数的网络。
本发明的另一目的在于提供一种冠状动脉壁图像分割终端，所述冠状动脉壁图像分割终端搭载所述的冠状动脉壁图像分割系统。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明冠状动脉壁图像分割方法，能够较好的利用原始CCTA图像的三维特征，一定程度上能缓解小目标以及样本不均衡的问题；并且能够在部分冠脉壁标签缺失的情况下，合理利用这些标签缺失的区域来增强神经网络的学习性能；整个过程无任何后处理步骤，且预处理简单，自动化程度高。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的冠状动脉壁图像分割方法流程图。
图2是本发明实施例提供的冠状动脉壁图像分割系统的结构示意图；
图中：1、冠状动脉图像数据获取模块；2、冠状动脉图像数据预处理模块；3、网络框架构建模块。
图3是本发明实施例提供的冠状动脉壁图像分割方法实现流程图。
图4是本发明实施例提供的训练数据样例图像示意图。
图5是本发明实施例提供的神经网络结构示意图。
图6是本发明实施例提供的测试数据分割结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种冠状动脉壁图像分割方法、系统、存储介质、计算机设备，下面结合附图对本发明作详细的描述。
如图1所示，本发明提供的冠状动脉壁图像分割方法、系统、存储介质、计算机设备
S101：获取CCTA冠状动脉图像数据；将数据集分为训练数据集和测试数据集；为训练集部分标记缺失的区域添加人工粗略勾画的不确定区域标记；
S102：对冠状动脉图像数据进行预处理，将图像大小调整相同，去除部分高亮钙化斑块和背景影响，并进行归一化操作；将所有数据存储到一个文件中；
S103：使用Keras编程实现网络框架；建立一个针对小目标问题的损失函数；在半监督训练过程中，对于不确定区域，在最开始的一段时间内，将不确定区域的loss贡献置0，后面随着训练次数的增加，对不确定区域的标记进行迭代预测更新；通过优化算法优化网络，得到训练好参数的网络。
如图2所示，本发明提供的冠状动脉壁图像分割系统包括：
冠状动脉图像数据获取模块1，用于获取CCTA冠状动脉图像数据；将数据集分为训练数据集和测试数据集；为训练集部分标记缺失的区域添加人工粗略勾画的不确定区域标记；
冠状动脉图像数据预处理模块2，用对冠状动脉图像数据进行预处理，将图像大小调整相同，去除部分高亮钙化斑块和背景影响，并进行归一化操作；将所有数据存储到一个文件中；
网络框架构建模块3，用于使用Keras编程实现网络框架；建立一个针对小目标问题的损失函数；在半监督训练过程中，对于不确定区域，在最开始的一段时间内，将不确定区域的loss贡献置0，后面随着训练次数的增加，对不确定区域的标记进行迭代预测更新；通过优化算法优化网络，得到训练好参数的网络。
下面结合附图对本发明的技术方案作进一步的描述。
现有技术需要根据CCTA图像提取CPR图，在二维横截面上完成冠状动脉壁的分割，需要经过中心线提取、插值采样等一系列步骤，引入误差且不能很好的利用CCTA图像的三维空间信息；在部分目标标记缺失时，直接将缺失的区域忽略不训练，不能很好的利用该区域的信息。本发明将CCTA数据作为输入，使用三维卷积神经网络进行训练，且能够利用缺失部分标记的区域增强网络的分割性能，较好地分割出冠状动脉壁区域。
如图3所示，本发明实施例提供的冠状动脉壁图像分割方法具体包括以下步骤：
(1)获取CCTA冠状动脉图像数据，如图4(a)所示；
(2)将数据集分为训练数据集和测试数据集；
(3)为训练集部分标记缺失的区域添加人工粗略勾画的不确定区域标记如图4(a)所示，绿色线条勾画的区域为不确定区域，红色线条内为专家标记的Ground-truth标记；
(4)对冠状动脉图像数据进行预处理，去除部分高亮钙化斑块和背景影响，并进行归一化操作，将图像大小调整相同；
(5)将所有数据存储到一个HDF5文件中，HDF5文件能够加快IO传输效率；
(6)使用Keras编程实现网络框架；
(7)建立一个针对小目标问题的损失函数；
(8)在半监督训练过程中，对于不确定区域，在最开始的一段时间内，将不确定区域的loss贡献置0，后面随着训练次数的增加，对不确定区域的标记进行迭代预测更新；
(9)通过Adam优化算法优化网络，得到训练好参数的网络；
(10)在测试集上进行测试，评估算法性能。
在本发明的优选实施例中(4)对冠状动脉图像数据进行预处理，按如下步骤进行：
1)将数据中大于1000HU以及小于0HU的值进行裁剪，剔除低密度组织、空气以及高密度钙化斑块对冠脉壁分割的影响，处理后的图像如图4(b)所示；
2)计算出训练数据的均值以及标准差，对所有的数据进行减均值，再除以标准差的操作，完成数据归一化。
3)将所有数据调整为相同大小。
在本发明的优选实施例中(6)使用Keras编程实现网络框架，按如下步骤进行：
1)使用Keras编写基于3D-UNet的全卷积分割网络，网络框架如图5所示，此分割任务是单目标分割；
2)将残差模块(ResBlock)结合进网络中，利于信号的传递；
3)防止过多的Maxpooling下采样步骤导致小目标冠脉壁信息的消失，本发明的框架只采用两级Maxpooling操作。
在本发明的优选实施例中(7)建立一个针对小目标问题的损失函数，按如下步骤进行：
1)为了解决样本数量不平衡问题，根据中值频率平衡(Median FrequencyBalancing,MFB)计算出目标冠脉壁与背景各自的权重：
其中c为不同的类别，fc为类别c像素的频率c；
2)在医学分割任务中常用的Dice Loss对小目标十分不利，在只有前景和背景的情况下，小目标一旦有部分体素预测错误，则会导致Dice大幅度的变动，从而导致梯度变化剧烈，训练不稳定。因此，本发明将1)中得到的权重ωc与Generalized Dice Loss进行结合，得到新的损失函数：
其中，gcn为类别c在第n个体素的标准值(Ground-truth),pcn为相应的预测概率值。
在本发明的优选实施例中(8)半监督训练过程，按如下步骤进行：
1)针对冠脉壁部分标记缺失的问题，本发明采用一种伪标签(Pseudo-Label)的半监督方法进行训练；
2)训练集的标签，0代表背景，1代表目标管壁，为上述的不确定区域体素给定新的标签2，以便记忆这些区域的体素位置；
3)在训练的前10个epoch，将标签为2的体素对网络的loss贡献值置0，前10个epoch相当于只用了正确标签的数据进行了强监督训练；
4)从第11个epoch开始，对标签为2的区域各体素标签进行以下更新：
其中，f(x)为网络的预测值；
5)每经过一次前向传播，都按照4)中的描述更新一次不确定区域的标签值，然后将更新后的区域加入到下一次的反向传播loss计算中。综合上述过程，本发明的总损失函数为：
其中，M为一个batch中图像的总数量，N为一个图像中确定标签区域的体素总数量，N'为一个图像中不确定区域的体素总数量，λ(t)是一个随着时间变化的值：
其中，θ＝10，T1＝40，T2＝120。
在本发明的优选实施例中(9)通过Adam优化算法优化网络，按如下步骤进行：
1)本发明采用三维卷积神经网络训练三维数据，由于内存的限制，batch size设为1；
2)学习率(Learning Rate，LR)的初始值设定为5e-4，使用验证数据控制学习率的变化，每当验证集分割结果连续20个epoch没有提升时，将LR的值变为原来的一半。本发明使用提前结束(Early Stopping，ES)来控制epoch的数量，当验证集分割结果连续50个epoch没有提升时，触发ES，训练提前终止。
下面结合测试对本发明的应用效果作详细的描述。
在本发明的优选实施例中(10)在测试集上进行测试，评估算法性能，按如下步骤进行：
1)本发明所使用的测试数据集具备完整的Ground-truth标记；
2)本发明在测试数据上计算Dice系数来评估网络的分割性能，Dice系数的计算公式为：
其中，pn为像素n的分割结果，gn为对应的Ground-truth值。
如图6所示为本发明网络训练数据集上训练完成后，在测试数据上测试的定性结果，图6(a)红色线框为Ground-truth标记，图6(b)绿色线框为基准baseline的分割结果，基准baseline采用专家的标记进行强监督训练(部分没有标记的目标被当做背景)，可以看到，有部分的钙化斑块没有被正确地包含在管壁里，且分割的边界不全，图6(c)绿色线框为本发明的半监督分割结果，与Ground-truth有较高的一致性。表1为Dice系数对比实验结果，最右侧为本发明分割结果，从表1的数据可以发现，本发明冠状动脉壁图像分割方法对冠状动脉壁的分割结果有提升作用。本发明所使用的分割网络框架是基于3D-Unet的分割网络结构，针对部分目标标记缺失的数据集，本发明提到的技术用于其它分割网络框架也能提升分割效果。
表1 Dice系数对比实验结果
在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种冠状动脉壁图像分割方法，其特征在于，所述冠状动脉壁图像分割方法包括：
步骤一，获取CCTA冠状动脉图像数据；将数据集分为训练数据集和测试数据集；为训练集部分标记缺失的区域添加人工粗略勾画的不确定区域标记；
步骤二，对冠状动脉图像数据进行预处理，将图像大小调整相同，去除部分高亮钙化斑块和背景影响，并进行归一化操作；将所有数据存储到一个文件中；
步骤三，使用Keras编程实现网络框架；建立一个针对小目标问题的损失函数；在半监督训练过程中，对于不确定区域，在最开始的一段时间内，将不确定区域的loss贡献置0，后面随着训练次数的增加，对不确定区域的标记进行迭代预测更新；通过优化算法优化网络，得到训练好参数的网络；
所述冠状动脉壁图像分割方法还包括：
(1)获取CCTA冠状动脉图像数据；
(2)将数据集分为训练数据集和测试数据集；
(3)为训练集部分标记缺失的区域添加人工粗略勾画的不确定区域标记；
(4)对冠状动脉图像数据进行预处理，去除部分高亮钙化斑块和背景影响，并进行归一化操作，将图像大小调整相同；
(5)将所有数据存储到一个HDF5文件中，HDF5文件能够加快IO传输效率；
(6)使用Keras编程实现网络框架；
(7)建立一个针对小目标问题的损失函数；
(8)在半监督训练过程中，对于不确定区域，在最开始的一段时间内，将不确定区域的loss贡献置0，后面随着训练次数的增加，对不确定区域的标记进行迭代预测更新；
(9)通过Adam优化算法优化网络，得到训练好参数的网络；
(10)在测试集上进行测试，评估算法性能；
所述(6)使用Keras编程实现网络框架包括
1)使用Keras编写基于3D-UNet的全卷积分割网络，此分割任务是单目标分割；
2)将残差模块ResBlock结合进网络中，利于信号的传递；
所述(8)半监督训练过程包括：
1)针对冠脉壁部分标记缺失的问题，采用伪标签Pseudo-Label的半监督方法进行训练；
2)训练集的标签，0代表背景，1代表目标管壁，为上述的不确定区域体素给定新的标签2，以便记忆这些区域的体素位置；
3)在训练的前10个epoch，将标签为2的体素对网络的loss贡献值置0，前10个epoch相当于只用了正确标签的数据进行了强监督训练；
4)从第11个epoch开始，对标签为2的区域各体素标签进行以下更新：
其中，f(x)为网络的预测值；
5)每经过一次前向传播，都按照4)中的描述更新一次不确定区域的标签值，将更新后的区域加入到下一次的反向传播loss计算中，总损失函数为：
其中，M为一个batch中图像的总数量，N为一个图像中确定标签区域的体素总数量，N'为一个图像中不确定区域的体素总数量，λ(t)是一个随着时间变化的值：
其中，θ＝10，T1＝40，T2＝120；
所述(9)通过Adam优化算法优化网络包括：
1)采用三维卷积神经网络训练三维数据，由于内存的限制，batch size设为1；
2)学习率LR的初始值设定为5e-4，使用验证数据控制学习率的变化，每当验证集分割结果连续20个epoch没有提升时，将LR的值变为原来的一半；使用提前结束ES控制epoch的数量，当验证集分割结果连续50个epoch没有提升时，触发ES，训练提前终止；
所述(10)在测试集上进行测试，评估算法性能包括：
1)使用的测试数据集具备完整的Ground-truth标记；
2)在测试数据上计算Dice系数来评估网络的分割性能，Dice系数的计算公式为：
其中，pn为像素n的分割结果，gn为对应的Ground-truth值。
2.如权利要求1所述的冠状动脉壁图像分割方法，其特征在于，所述(4)对冠状动脉图像数据进行预处理包括：
1)将数据中大于1000HU以及小于0HU的值进行裁剪，剔除低密度组织、空气以及高密度钙化斑块对冠脉壁分割的影响；
2)计算出训练数据的均值以及标准差，所有的数据集进行减均值，再除以标准差的操作，完成数据归一化；
3)将所有数据调整为相同大小。
3.如权利要求1所述的冠状动脉壁图像分割方法，其特征在于，所述(7)建立一个针对小目标问题的损失函数包括：
1)为了解决样本数量不平衡问题，根据中值频率平衡MFB计算出目标冠脉壁与背景各自的权重：
其中c为不同的类别，fc为类别c像素的频率c；
2)将1)中得到的权重ωc与Generalized Dice Loss进行结合，得到新的损失函数：
其中，gcn为类别c在第n个体素的标准值，pcn为相应的预测概率值。
4.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～3任意一项所述冠状动脉壁图像分割方法。
5.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1～3任意一项所述冠状动脉壁图像分割方法。
6.一种运行权利要求1～3任意一项所述冠状动脉壁图像分割方法的冠状动脉壁图像分割系统，其特征在于，所述冠状动脉壁图像分割系统包括：
冠状动脉图像数据获取模块，用于获取CCTA冠状动脉图像数据；将数据集分为训练数据集和测试数据集；为训练集部分标记缺失的区域添加人工粗略勾画的不确定区域标记；
冠状动脉图像数据预处理模块，用对冠状动脉图像数据进行预处理，将图像大小调整相同，去除部分高亮钙化斑块和背景影响，并进行归一化操作；将所有数据存储到一个文件中；
网络框架构建模块，用于使用Keras编程实现网络框架；建立一个针对小目标问题的损失函数；在半监督训练过程中，对于不确定区域，在最开始的一段时间内，将不确定区域的loss贡献置0，后面随着训练次数的增加，对不确定区域的标记进行迭代预测更新；通过优化算法优化网络，得到训练好参数的网络。
7.一种冠状动脉壁图像分割终端，其特征在于，所述冠状动脉壁图像分割终端搭载权利要求6所述的冠状动脉壁图像分割系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010552226.8A CN111861994B (zh) | 2020-06-17 | 2020-06-17 | 冠状动脉壁图像分割方法、系统、存储介质、计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010552226.8A CN111861994B (zh) | 2020-06-17 | 2020-06-17 | 冠状动脉壁图像分割方法、系统、存储介质、计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111861994A CN111861994A (zh) | 2020-10-30 |
| CN111861994B true CN111861994B (zh) | 2024-02-13 |
Family
ID=72986769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010552226.8A Active CN111861994B (zh) | 2020-06-17 | 2020-06-17 | 冠状动脉壁图像分割方法、系统、存储介质、计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111861994B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113034507A (zh) * | 2021-05-26 | 2021-06-25 | 四川大学 | 基于ccta影像的冠状动脉三维分割方法 |
| CN113633304B (zh) * | 2021-06-28 | 2023-11-24 | 北京工业大学 | 一种颞骨ct影像中颈静脉球窝骨壁缺失检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9349178B1 (en) * | 2014-11-24 | 2016-05-24 | Siemens Aktiengesellschaft | Synthetic data-driven hemodynamic determination in medical imaging |
| CN107871318A (zh) * | 2017-11-16 | 2018-04-03 | 吉林大学 | 一种基于模型迁移的冠状动脉钙化斑块检测方法 |
| CN110428427A (zh) * | 2019-07-16 | 2019-11-08 | 东南大学 | 基于密集偏置网络和自编码器的半监督肾动脉分割方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3602394A1 (en) * | 2017-03-24 | 2020-02-05 | Pie Medical Imaging BV | Method and system for assessing vessel obstruction based on machine learning |
-
2020
- 2020-06-17 CN CN202010552226.8A patent/CN111861994B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9349178B1 (en) * | 2014-11-24 | 2016-05-24 | Siemens Aktiengesellschaft | Synthetic data-driven hemodynamic determination in medical imaging |
| CN107871318A (zh) * | 2017-11-16 | 2018-04-03 | 吉林大学 | 一种基于模型迁移的冠状动脉钙化斑块检测方法 |
| CN110428427A (zh) * | 2019-07-16 | 2019-11-08 | 东南大学 | 基于密集偏置网络和自编码器的半监督肾动脉分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘敏 ; 方志军 ; 高永彬 ; .基于深度学习的冠状动脉CTA三维分割.智能计算机与应用.2020,(第03期),全文. * |
| 陈中中 ; 杨亚茹 ; 张建飞 ; 王倩倩 ; 朱惠玉 ; .基于二次聚类的主动脉弓分割方法.郑州大学学报(工学版).2017,(第03期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111861994A (zh) | 2020-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10206646B2 (en) | Method and system for extracting centerline representation of vascular structures in medical images via optimal paths in computational flow fields | |
| US7567696B2 (en) | System and method for detecting the aortic valve using a model-based segmentation technique | |
| Schaap et al. | Standardized evaluation methodology and reference database for evaluating coronary artery centerline extraction algorithms | |
| US7599535B2 (en) | System and method for tree-model visualization for pulmonary embolism detection | |
| Schaap et al. | Robust shape regression for supervised vessel segmentation and its application to coronary segmentation in CTA | |
| US7583829B2 (en) | Method and apparatus for embolism analysis | |
| US11127138B2 (en) | Automatic detection and quantification of the aorta from medical images | |
| US20110245650A1 (en) | Method and System for Plaque Lesion Characterization | |
| Egger et al. | Aorta segmentation for stent simulation | |
| US20080071160A1 (en) | Displaying A Tracheobronchial Tree | |
| CN111861994B (zh) | 冠状动脉壁图像分割方法、系统、存储介质、计算机设备 | |
| CN112862833A (zh) | 血管分段方法、电子装置和存储介质 | |
| US20060251325A1 (en) | Particle filter based vessel segmentation | |
| CN111815663A (zh) | 一种基于Hessian矩阵和灰度法的肝血管分割系统 | |
| Wang et al. | Naviairway: a bronchiole-sensitive deep learning-based airway segmentation pipeline | |
| Dong et al. | A novel multi-attention, multi-scale 3D deep network for coronary artery segmentation | |
| Hepp et al. | Fully automated segmentation and shape analysis of the thoracic aorta in non–contrast-enhanced magnetic resonance images of the German National Cohort Study | |
| CN112784928A (zh) | Dsa影像识别方法、装置及存储介质 | |
| Habijan et al. | Abdominal aortic aneurysm segmentation from ct images using modified 3d u-net with deep supervision | |
| CN109427417A (zh) | 用于在医学图像数据中分割检查对象的器官结构的方法 | |
| Dziubich et al. | Abdominal aortic aneurysm segmentation from contrast-enhanced computed tomography angiography using deep convolutional networks | |
| CN114732431A (zh) | 对血管病变进行检测的计算机实现方法、装置及介质 | |
| KR102229367B1 (ko) | 뇌혈관 비교 판독 영상 디스플레이 장치 및 방법 | |
| Ma et al. | A novel automatic coronary artery segmentation method based on region growing with annular and spherical sector partition | |
| Stephens et al. | MRI to CTA translation for pulmonary artery evaluation using CycleGANs trained with unpaired data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |