CN117726633A - 基于特征融合的双分支冠状动脉图像的分割方法、系统 - Google Patents
基于特征融合的双分支冠状动脉图像的分割方法、系统 Download PDFInfo
- Publication number
- CN117726633A CN117726633A CN202410172835.9A CN202410172835A CN117726633A CN 117726633 A CN117726633 A CN 117726633A CN 202410172835 A CN202410172835 A CN 202410172835A CN 117726633 A CN117726633 A CN 117726633A
- Authority
- CN
- China
- Prior art keywords
- branch
- image
- segmentation
- network
- coronary artery
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004351 coronary vessel Anatomy 0.000 title claims abstract description 121
- 230000011218 segmentation Effects 0.000 title claims abstract description 114
- 238000000034 method Methods 0.000 title claims abstract description 98
- 230000004927 fusion Effects 0.000 title claims abstract description 64
- 230000002441 reversible effect Effects 0.000 claims abstract description 24
- 238000011176 pooling Methods 0.000 claims abstract description 14
- 230000009191 jumping Effects 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 claims description 26
- 230000000694 effects Effects 0.000 claims description 26
- 238000012360 testing method Methods 0.000 claims description 24
- 210000000709 aorta Anatomy 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 19
- 238000012795 verification Methods 0.000 claims description 15
- 238000003709 image segmentation Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 11
- 230000036961 partial effect Effects 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 230000002685 pulmonary effect Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 230000005284 excitation Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 2
- 238000007499 fusion processing Methods 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 208000031737 Tissue Adhesions Diseases 0.000 abstract description 6
- 208000029078 coronary artery disease Diseases 0.000 abstract description 6
- 238000010191 image analysis Methods 0.000 abstract description 4
- 238000003745 diagnosis Methods 0.000 abstract 1
- 238000010968 computed tomography angiography Methods 0.000 description 56
- 238000002474 experimental method Methods 0.000 description 17
- 238000004458 analytical method Methods 0.000 description 9
- 230000006872 improvement Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000002679 ablation Methods 0.000 description 5
- 210000004204 blood vessel Anatomy 0.000 description 5
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 208000031481 Pathologic Constriction Diseases 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000036262 stenosis Effects 0.000 description 4
- 208000037804 stenosis Diseases 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 201000000057 Coronary Stenosis Diseases 0.000 description 2
- 206010011089 Coronary artery stenosis Diseases 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000013399 early diagnosis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000002458 infectious effect Effects 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000031225 myocardial ischemia Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 102000037983 regulatory factors Human genes 0.000 description 1
- 108091008025 regulatory factors Proteins 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明属于医学图像分析领域，具体涉及一种基于特征融合的双分支冠状动脉图像的分割方法、系统和装置。本发明利用经过训练的多尺度双分支网络根据输入为CTA图像生成对应的分割图像；该网络采用包含编码器和解码器的四层U型网络架构；编码器部分采用包含全局分支和细节分支的双分支结构；细节分支由四层带池化的Res‑Block构成，每一层进行特征提取并为部分子图赋予自适应权重；全局分支的每一层包括一个带池化的Res‑Block和一个多尺度特征融合模块；编码器和解码器的各层之间采用残差反向边缘模块形成跳跃连接。本发明解决了冠心病的早期机器诊断中，因冠状动脉分支的结构差异较大，组织粘连明显而导致的分割困难问题。
Description
技术领域
本发明属于医学图像分析领域，具体涉及一种基于特征融合的双分支冠状动脉图像的分割方法、系统和装置。
背景技术
冠心病作为常见的非传染性心脏疾病，它的发病率和死亡率在逐年增长，极大影响了人们的身体健康和生活质量。从病理上说，冠心病主要由心肌缺血导致，而心肌缺血的主因在于冠状动脉的狭窄和堵塞。因此，及时发现患者的冠状动脉狭窄和阻塞，对冠心病患者实施早期诊断和治疗有着重要意义，这不但能够有效缓解医疗资源紧张，还能极大延长患者的寿命。
然而，如何快速准确地发现冠状动脉的狭窄和堵塞，一直是医学界难以解决的问题。随着计算机断层扫描血管造影(CTA)、核磁共振技术(MR)等医学影像技术的发展，医生可以通过这些先进的非侵入性技术手段来获取患者人体器官和病灶的影像数据，为之后的治疗做准备。其中，CTA技术是最常见的用于评估冠状动脉狭窄和阻塞的医学成像方式。因此，如何利用获取到的冠状动脉CTA图像，使其为医疗工作者提供便利以及准确诊断患者病情都显得尤为重要。
在早期临床实践中，冠状动脉图像分割主要是依赖于手工方法，由医生通过其专业知识和临床经验来绘制冠状动脉的轮廓。这种方法非常消耗人力和时间。随着计算机技术的快速发展，一些传统机器学习思想被用来分割冠状动脉，比如边缘检测、区域生长和跟踪。这些方法虽然相比于人工方法，已经有了较大的提高，但仍然需要人工进行冠状动脉特征的提取，因此不够高效和灵活，在实际使用中产生了较大的局限。
随着计算机算力的提升和理论进步，卷积神经网络(Convolutional NeuralNetwork, CNN)作为一种特征提取方法很快兴起，大量基于卷积神经网络的方法被提出，为医学图像分析领域注入了新鲜血液。但自动分割冠状动脉的不同分支依然是一个具有挑战性的工作，因为冠状动脉存在分支结构差异，不同分支存在截然不同的形状、尺寸和位置；并且还存在由于组织粘连产生的边缘模糊现象。
针对该问题，众多学者提出了很多方法来解决冠状动脉的分支结构差异，他们提出的方法主要利用多层次信息融合或全局上下文特征。其中大多数研究者是在U-Net模型的基础上进行了优化。Alom等人将残差网络思想和循环神经网络的理念融入了U-Net中，让模型能够反复学习和提取冠状动脉的全局特征。Zhou等人和Huang等人则在U-Net中融入了密集连接和更好的预训练主干网络，来获取血管的全局信息和多尺度特征。但是上述这些反复融合利用部分网络层级的信息的方法也有其弊端，它们可能会产生很多冗余的背景信息，大量冗余背景信息会模糊了模型的学习方向，使得模型对冠状动脉的分支机构差异缺失了敏感性。尽管密集连接可以挖掘更多语义信息，但是将大量小卷积核的卷积计算进行堆叠，也会影响模型的长程依赖性。Gu等人将空间金字塔池化(Spatial Pyramid Pooling)和Inception融入U-Net框架，增加了目标的多尺度信息和深层次空间信息，为更准确的分割冠状动脉提供了更多有效特征。Mou等人探索了将图像通道信息和空间信息进行分离重构的方法，他们将图像通道和空间分离到单独的维度上并且向U-Net模型中引入了这些重构后的深维度的通道和空间特征，极大的拓展了模型学习冠状动脉深层语义的能力。但是，上述这些方法主要关注全局信息或者多尺度信息，极少关注这些在模型训练过程中容易被丢失的局部细节信息，而且冠状动脉的局部细节往往包含了不同分支的边缘和形态差异，丢失会造成分割精度的下降和错检。
此外，由于严重的组织粘连，冠状动脉分割还存在边缘模糊的困难。为了应对边缘模糊，Mi等人与一些其他方法探索了边界掩膜或者用于获取边界信息的单独分支等方法，来保持和细化冠状动脉分支的边缘。但是，仅仅使用边缘信息很难完整的分割冠状动脉的不同分支的边缘。Chen等人创造性的提出了反向注意力机制，其能够有效的强调分割目标并学习更多丢失的细节。Zhang等人也探索将边缘信息和反向注意力机制进行有效结合来获取更连贯的边界信息，来实现冠状动脉边缘的细化和保持，进而引导模型提升学习效果和分割能力。但是上述的这些方法，并没有考虑冠状动脉的生理学信息，没有实现更有效的结合来针对冠状动脉不同分支的边缘进行处理，效果还有提升空间。
发明内容
为了解决冠心病早期诊断中，由于冠状动脉分支的结构差异较大，组织粘连明显等导致的分割困难问题，本发明提供一种基于特征融合的双分支冠状动脉图像的分割方法、系统和装置。
本发明采用以下技术方案实现：
一种基于特征融合的双分支冠状动脉图像的分割方法，其用于对CTA图像中的升主动脉、肺主动脉、左回旋支、左前降支和右冠状动脉进行识别和图像分割，该方法包括如下步骤：
S1：基于U型网络设计一种用于实现CTA图像分割的多尺度双分支网络。多尺度双分支网络的输入为CTA图像，输出为五个目标区域的分割图像；其网络框架如下：
（1）多尺度双分支网络采用包含编码器和解码器的四层U型网络架构；解码器由四层Up-Block构成。
（2）编码器部分采用包含全局分支和细节分支的双分支结构；全局分支以全局CTA图像为输入，细节分支以CTA局部图像切分出的16个图像块为输入。
（3）编码器中的细节分支由四层带池化的Res-Block构成，每一层用于对上一层的特征图进行特征提取，生成对应的16张特征子图，并为其中可能出现左回旋支、左前降支和右冠状动脉的部分子图分别赋予自适应权重，进而得到下一层所需的细节特征；
（4）编码器中全局分支包括四层，每一层包括一个带池化的Res-Block和一个多尺度特征融合模块。多尺度特征融合模块用于对输入的全局特征和细节特征进行特征融合；Res-Block则用于对融合特征进行特征提取并输出编码器中下一层的全局特征；
（5）多尺度双分支网络中编码器和解码器的各层之间采用残差反向边缘模块形成跳跃连接。
S2：获取大量CTA图像的2D图像样本，人工添加标签后构成原始数据集；并通过数据增强手段扩充样本数据集，将样本数据集分为训练集、验证集和测试集。
S3：利用训练集和验证集对多尺度双分支网络进行多轮次的迭代训练和验证，保留训练效果较好的若干个网络模型的参数。
S4：利用测试集对保留的多个网络模型进行测试，根据各个模型在多项评价指标上的得分选出最佳网络模型，并保存最佳网络模型的模型参数。
S5：利用上步骤保存的最佳的多尺度双分支网络对输入的CTA图像进行识别和图像分割，得到包含升主动脉、肺主动脉、左回旋支、左前降支和右冠状动脉的分割图像。
作为本发明进一步的改进，步骤S1设计出的多尺度双分支网络的编码器中，每个多尺度特征融合模块中输入的全局特征记为，细节特征记为/>；则输出的融合特征/>满足下式：
上式中，、/>和/>均为融合过程的中间特征；/>代表卷积核尺寸k为1×1的卷积计算；/>代表卷积核为v×v且空洞率为u的空洞卷积计算；/>代表从维度层面进行连接计算；/>代表将/>裁剪成/>尺寸的计算；/>代表将/>填充成/>尺寸的计算；/>和/>则分别代表压缩和激发计算；/>代表逐元素相乘；下标m表示各个模块在网络中的层数。
作为本发明进一步的改进，步骤S1设计出的多尺度双分支网络的编码器中，残差反向边缘模块以全局特征和/>为输入，输出边界特征/>，处理过程的表达式如下：
上式中，表示中间特征；/>代表上采样核尺寸s为2×2的上采样计算，代表Sigmoid计算；/>代表逐元素相加计算。
作为本发明进一步的改进，步骤S1中，在多尺度双分支网络的解码器前，将输入的原CTA图像经不带池化的Res-Block处理后作为全局分支的输入，并将原CTA图像切分出图像中间的1/4部分后再等分为4×4的16个图像块，并将各图像块作为细节分支的并行输入。
作为本发明进一步的改进，将输入到细节分支的16个图像块按照行列编码记为P ij ，i表示行编码，i=1…4；j表示列编码，j=1…4；则表征需要赋予自适应权重的区域分布的表达式如下：
上式中，W LCX ，W LAD ，W RCA 分别表示左回旋支、左前降支和右冠状动脉可能出现的区域的权重。
作为本发明进一步的改进，步骤S2中2D图像样本由3D数据经切片后得到，尺寸统一为512×512；样本数据集采用的数据增强手段包括随机翻转、旋转、缩小、放大和色域变化；划分出的训练集、验证集和测试集的数据量之比为6:2:2。
作为本发明进一步的改进，步骤S3中，在训练阶段，采用Focal loss和交叉熵损失作为引导模型分割的损失函数；最终的损失函数Loss如下：
上式中，CEloss表示交叉熵损失；FL（p t ）表示Focal loss；和/>分别表示交叉熵损失和Focal loss的权重。
作为本发明进一步的改进，步骤S4中，在测试阶段，将Dice、CPA、PA、Precision、Recall作为评估模型性能的评价指标。
本发明还包括一种基于特征融合的双分支冠状动脉图像的分割系统，其采用如前述的基于特征融合的双分支冠状动脉图像的分割方法中经过训练的多尺度双分支网络实现对CTA图像分割进行目标分割。该型基于特征融合的双分支冠状动脉图像的分割系统包括：数据获取模块、图像前处理模块和多尺度双分支网络。
其中，数据获取模块，其用于获取待分割CTA图像，并将CTA图像的尺寸调整为512×512。
图像前处理模块用于将输入的原CTA图像经不带池化的Res-Block处理后作为全局分支的输入，并将原CTA图像切分出图像中间的1/4部分后再等分为4×4的16个图像块，并将各图像块作为细节分支的并行输入。
多尺度双分支网络采用包括编码器和解码器的四层U型网络；编码器中包含全局分支和细节分支；全局分支实现将细节分支提取的细节特征与自身提取的全局特征进行特征融合。编码器和解码器间采用残差反向边缘模块进行跳跃连接。多尺度双分支网络根据输入的CTA图像输出其中包含的五个目标区域的分割图像。
本发明还包括一种基于特征融合的双分支冠状动脉图像的分割设备，其包括存储器、处理器以及存储在存储器上并在处理器上运行的计算机程序。处理器执行计算机程序时，创建出如前述的基于特征融合的双分支冠状动脉图像的分割系统，进而实现对输入的CTA图像进行目标分割，得到五个目标区域的分割图像。
本发明提供的技术方案，具有如下三项主要的有益效果：
本发明的方法利用多尺度双分支模型，针对冠状动脉的生理学特点，分别提取冠状动脉的全局上下文信息和局部细节，引导模型主动学习细粒度血管目标，避免错检、漏检，增强分割能力和精度。
本发明以冠状动脉生理学知识为引导分割冠状动脉不同分支。结合新设计的多尺度特征融合模块和反向注意力机制，本发明以冠状动脉生理学知识为引导，同时分割冠状动脉的不同分支，让医生更加直观的发现狭窄和阻塞存在于具体的某个分支上，提高了工作效率。
本发明利用CTA图像的2D切片训练出具有多尺度双分支特色的2D模型，可以达到与3D模型相当的性能，而且占用的内存更少。本发明以2D模型为基础模型从而提高了整体框架在冠状动脉图像中的训练速度，能够在较短的时间内得到一个对冠状动脉分割精度比较高的模型，提高了效率。
附图说明
图1为一张典型CTA影像中五种不同动脉和动脉分支的分割结果。
图2为本发明实施例1提供的基于特征融合的双分支冠状动脉图像的分割方法的步骤流程图。
图3 为本发明实施例1中设计出的多尺度双分支网络的整体架构。
图4为细节分支中针对不同目标赋予权重时，各个分割目标最可能出现区域在样本图像中的位置分布图。
图5为多尺度双分支网络中多尺度特征融合模块的原理图。
图6为多尺度双分支网络中残差反向边缘模块的原理图。
图7为本发明实施例2中提供的基于特征融合的双分支冠状动脉图像的分割系统的模块框图。
图8为仿真实验中本发明与对照组方法分割结果的实验IoU雷达图。
图9为仿真实验中不同方案在私有数据集对比实验结果的可视化图像。
图10为仿真实验中不同方案在ASOCA数据集对比实验结果的可视化图像。
图11为本发明方案调整不同模块后的网络模型在私有数据集上的消融实验结果的可视化图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步地详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1
计算机断层扫描血管造影（CTA）是一种可探及全身的所有动脉与静脉血管，包括心、脑、肺、肾、四肢等的血管的医学影像检测。常规的影像检查中得到的冠状动脉CTA图像的检查结果如下图1所示，图中三处较小的标记代表分割出的三种不同的冠状动脉分支，分别为左回旋支LCX（Left Circumflex）、左前降支LAD（Left Anterior descending）以及右冠状动脉RCA（Right Coronaryartery）；而中间最大的标记区域A和下方较大的标记区域B则分别代表升主动脉和肺主动脉。利用计算机对CTA图像中的升主动脉、肺主动脉、左回旋支、左前降支和右冠状动脉进行识别和图像分割，能够高效辅助医生根据冠状动脉CTA图像的分割结果判断冠状动脉的阻塞和狭窄，具有一定的临床价值。
由于现有的机器算法在CTA图像中的分割精度达不到要求，因此通常还是由医师进行人工核查和绘制。传统机器学习中低效的分割方法不可避免地依赖于大量人力劳动，无法实现完全自动化，造成了机器学习分割方法在临床操作中的局限性。本实施例提供的基于特征融合的双分支冠状动脉图像的分割方法，则可以附图传统的机器学习的方法的缺陷。
CTA影像是3D的断层扫描影像，本实施例主要是利用断层扫描过程中得到的每一张2D的CTA切片图像进行后续的目标识别与分割。具体地，如图2所示，本实施例提供的基于特征融合的双分支冠状动脉图像的分割方法包括如下步骤：
S1：基于U型网络设计一种用于实现CTA图像分割的多尺度双分支网络（MSDB-Net）。多尺度双分支网络的输入为CTA图像，输出为五个目标区域的分割图像。如图3所示，本实施例设计出的网络框架如下：
（1）多尺度双分支网络采用包含编码器和解码器的四层U型网络架构；解码器由四层Up-Block构成。
（2）编码器部分采用包含全局分支和细节分支的双分支结构；全局分支以全局CTA图像为输入，细节分支以CTA局部图像切分出的16个图像块为输入。
（3）编码器中的细节分支由四层带池化的Res-Block构成，每一层用于对上一层的特征图进行特征提取，生成对应的16张特征子图，并为其中可能出现左回旋支、左前降支和右冠状动脉的部分子图分别赋予自适应权重，进而得到下一层所需的细节特征；
（4）编码器中全局分支包括四层，每一层包括一个带池化的Res-Block和一个多尺度特征融合模块。多尺度特征融合模块（MSFF）用于对输入的全局特征和细节特征进行特征融合；Res-Block则用于对融合特征进行特征提取并输出编码器中下一层的全局特征；
（5）多尺度双分支网络中编码器和解码器的各层之间采用残差反向边缘模块（RRE）形成跳跃连接。
本实施例设计的多尺度双分支网络中参考了U形网络，采用了编码器-解码器对称的模型架构，并在编码器中通过双分支的结构提取全局上下文特征和局部细节，实现冠状动脉多分支的分割。在多层的U型网络架构中，编码器分为多个阶段，从浅入深，依次提取血管特征，而解码器也分为多个阶段，从深层到浅层，逐步重建图像，得到最终分割结果。
在本实施例设计的双分支网络的编码器的两个分支中，全局分支以整张图像为输入，对图像整体进行特征提取，防止信息的丢失；细节分支以部分图像为输入，这些局部图像被分为16个图像块并附加自适应权重来针对冠状动脉不同分支存在的结构差异，细节分支能有效的提取冠状动脉的局部细节。两个分支分别针对粗粒度目标和细粒度目标，因此提取的特征是相互补充的，能够最大程度的避免特征丢失，引导模型的更快的学习。
结合图3可以看到，双分支结构提取出来的特征经过多尺度特征融合模块（MSFF）进行特征融合，有效的整合全局上下文信息和局部细节特征，挖掘了更多空间信息和通道特征，引导模型应对冠状动脉不同分支的结构差异。经过融合的特征进一步送入残差反向边缘模块（RRE），提取边缘信息，并且利用反向注意力机制让模型对血管边缘进行学习，增强模型细化边缘的能力。
最终，编码器端经过多重处理的信息会经过多层级的解码器，解码器能够将所有信息进一步汇总和整理，根据这些信息进行图像的重建，形成冠状动脉不同分支的分割结果。
U-net是实现图像分割任务的经典架构，本实施例设计的多尺度双分支网络也是在U-net的基本架构上完成设计的，针对冠状动脉图像分割的这一特定的任务存在的动脉分支的结构差异较大的问题，本实施例提供的方案的核心包括将U-net的解码器设计为双分支的结构；以及结合全局分支和细节分支提取出的图像特征，设计一种全新的多尺度特征融合模块，实现多尺度特征的融合。而针对组织粘连明显等情况，本实施例则在编码器和解码器端设计另一个全新的残差反向边缘模块，以反向注意力模块来细化冠状动脉边缘分割。
具体地，本实施例设计的多尺度双分支网络中采用三大改进的要点如下：
一、双分支结构编码器
由于冠状动脉的分支结构差异，在冠状动脉分割任务中同时考虑粗粒度和细粒度的目标是非常重要的。在医学图像分析任务中，直接使用部分图片来分割细粒度目标是非常常见的。但是，每个病人的体格和姿态等方面天然存在差异，这些个体差异会进一步导致CTA 图像中他们的胸腔存在偏移。因此，直接单独使用部分冠状动脉CTA 图像切片可能导致在临床上忽略一些极端特殊情况。因此，基于冠状动脉不同分支的临床特征，本实施例设计的双分支编码器同时将全局图像和局部图像作为输入。
模型的主要分支叫做全局分支,它以全局图像为输入，主要用于提取CTA 图像中的全局信息来进行目标的粗略分割，并且减少上下文特征的损失。此外，细节分支以冠状动脉CTA图像的局部切片为输入，具体地，针对冠状动脉CTA医学检查中图像的特点，本实施例选择全局图像中心的四分之一区域作为细节分支的原始样本图像。在这一区域中，基本对应了患者的胸腔部分，并完成包含了升主动脉、肺主动脉、左回旋支、左前降支和右冠状动脉等主要的分割目标。然后，再对选择区域图像进行分块处理。本实施例中冠状动脉CTA局部图像被分为16个图像块，并且这些图像块分为4个不同的类别。事实上，冠状动脉不同分支都具有重要的相对位置信息。如图4所示,冠状动脉的三种主要分支中，左回旋支LCX、左前降支LAD和右冠状动脉RCA之间的相对位置不会改变。因此，本实施例使用连续线框、短划线框以及点线框分别标注了LCX，LAD和RCA最可能出现的位置。接下来，本实施例为这些特殊的图像块分别赋予了权重W LCX ，W LAD ，W RCA 进一步指导模型去挖掘冠状动脉不同分支的相对位置信息和细节特征。简而言之，基于冠状动脉生理学特征，本实施例设计了自动将局部图像进行分块并作为输入的细节分支，为全局分支提供局部细节，进一步更加精准的分割细粒度血管目标。
在实际应用过程中，假设将输入到细节分支的16个图像块按照行列编码记为P ij ，i表示行编码，i=1…4；j表示列编码，j=1…4；则表征需要赋予自适应权重的区域分布的表达式如下：
上式中，W LCX ，W LAD ，W RCA 分别表示左回旋支、左前降支和右冠状动脉可能出现的区域的权重。
二、多尺度特征融合模块（MSFF）
本实施例设计的MSFF模块可以用来融合那些由双分支编码器提取的全局和局部特征。MSFF模块的具体构架如图5所示。由于双分支编码器提取了两种不同尺度的信息，即全局信息（GF）和细节信息（DF）。结合图5可以看到，假设将第m层网络中的GF标注为m，它将被分别送入两个分支当中，即多尺度上下文分支和跨通道分支。本实施例将第m层网络中的DF标注为m，它将被送入跨通道分支中。每一个分支的细节都在下文进行了详细的描述。
第一个分支是多尺度上下文分支，它被设计用来在全局图像中提取冠状动脉多尺度信息。在这个分支当中，这些多尺度上下文特征是通过使用多种感受野的空洞卷积来实现高效提取的。这些特征以通道为基准进行连接，然后通过1×1卷积来减少维度。生成的新特征可以用下列的公式进行描述：
在上式中，代表卷积核尺寸k为1×1的卷积计算；/>代表卷积核为v×v且空洞率为u的空洞卷积计算；/>代表从维度层面进行连接计算；下标m表示各个模块在网络中的层数。
次要分支被称为是跨通道分支，主要用于提取冠状动脉的跨通道特征来挖掘语义信息。在这个分支中，被裁剪的GF和DF会被以通道为基准连接起来，然后送入卷积中去生成特征。受到SE-Net的启发，本实施例压缩并激发了/>，来获取不同通道/>的权重。然后，经过特征图像的卷积核重构生成了/>。这些中间特征/>和/>分别被定义为：
在上式中，代表将/>裁剪成/>尺寸的计算；/>代表将/>填充成/>尺寸的计算；/>和/>则分别代表压缩和激发计算；/>代表逐元素相乘。
其中，压缩和激发计算主要包括全局池化计算，卷积核尺寸k为1×1的卷积计算和线性整流函数(ReLU)等计算。最后，MSFF模块的输出结果可以被定义为：
三、残差反向边缘模块（RRE）
由于冠状动脉的组织粘连，仅仅通过调整CTA图像的窗宽窗高是很难完全细化模糊的边界的。因此，本实施例改进了反向注意力模块来细化冠状动脉边缘分割。具体来说，如图6所示，我们尝试使用带有残差边缘信息的反向注意力模块来连接编码器和解码器，用来减少边界特征的损失。我们将第m层网络结构的MSFF模块的输出定义为。RRE模块以全局特征/>和/>为输入，输出边界特征/>。结合图6可知，中间特征/>和RRE模块的输出/>可以被定义为：
在上述公式中，代表上采样核尺寸s为2×2的上采样计算，/>代表Sigmoid计算；/>代表逐元素相加计算。
四、其他细节
在本实施例设计的多尺度双分支网络中，解码器主要以图像重建为主要功能，将编码器和相关模块获取的特征进行有效整合并且进行上采样，上采样的主要方式是线性插值法，通过线性插值进行图像的尺寸放大，使深层图像逐步生成原始图像尺寸，同时得到分割结果。特别地，解码器和编码器具有相同的层次，防止出现输入图像和输出图像大小不一致等问题。例如在图2的架构图中，编码器一侧的每个“Pctch-level RES-BLOCK”的标记代表细节分支的一层，编码器的细节分支为4层；每个MSFF模块及其后的RES-BLOCK为全分支中的一层，编码器的全局分支也为4层。而在全局分支第一层之前的RES-BLOCK实际上属于全局分支之前样本图像的前处理操作。细节分支和全局分支中的RES-BLOCK采用的都是Res-Net中的对应模块，而全局分支前的RES-BLOCK和其他的RES-BLOCK并不一致，前处理采用的RES-BLOCK中不包括池化层，因此特征出在经过前处理后尺度不变。相应的全局分支和细节分支中的特征图经对应的RES-BLOCK处理后长宽均减半，通道数加倍。
S2：获取大量CTA图像的2D图像样本，人工添加标签后构成原始数据集；并通过数据增强手段扩充样本数据集，将样本数据集分为训练集、验证集和测试集。
本实施例设计的多尺度双分支网络是一个2D模型，因此在获取样本数据集时，如果数据集的数据为3D数据的话，则需要先对原始数据进行切片处理，并将切片后的2D图像的尺寸统一变成MSDB-Net要求的大小，即：512×512。并对数据按照病例进行重命名，以及添加人工标签。
本实施例中训练的MSDB-Net是一个医学图像分割模型，考虑的冠状动脉图像数量相对有限，为了提高图像的利用率以及检验模型对图像变化是否具有鲁棒性，本实施例还需要对图像进行水平翻转、竖直翻转、旋转、缩小、放大、色域变化等操作，以产生更多的样本图像来扩充数据集。
本实施例将获取的数据集按照病人的序号，按照6：2：2的比例划分成训练集、验证集和测试集，由于对数据进行了图像增强，同一张图像及其不同扩充图像必须归属于统一数据集（同为训练集或同为测试集），以此确保不存在数据图像交叉。
此外，为了提升训练效率，还可以对数据集中的图片做一些预处理。例如，去除其中的没有分割目标的全黑图像，如果图像中的内容比较暗，可以适当整体提高该张图像的像素值，对图像进行变亮操作，方便提取特征，等等。另外，在后期实际应用于阶段，也可以对待分割医学图像进行相似的预处理，以提高目标的分割精度。
S3：利用训练集和验证集对多尺度双分支网络进行多轮次的迭代训练和验证，保留训练效果较好的若干个网络模型的参数。
在训练阶段，考虑到冠状动脉的不同分支存在严重的类别不平衡，本实施例选择了Focal loss来进行环境数据不平衡。同时，本实施例还选择了广泛使用的交叉熵损失（CELoss）来引导模型的分割。本实施例将两种损失函数进行了结合使用，起到了提升分割效果的作用。最终的损失函数的表达式如下：
上式中，CEloss表示交叉熵损失；FL（p t ）表示Focal loss；和/>分别表示交叉熵损失和Focal loss的权重。
其中，交叉熵损失CEloss是一种常用的分类损失函数，其表达式为：
上式中，p i 是经softmax处理后的模型输出，N是种类数；onehot yi 表示真实值的onehot编码，假设是5分类，若y i = 2，则onehot yi = [0,0,1,0,0]。
Focal loss(FL)是一种用于处理类别样本数量不均衡的loss函数，其表达式为：
上式中，N是种类数，其中为正负样本数量调节因子，/>为难易样本分类调节因子，/>为y i 类别的权重。
将处理好的数据送入模型开始训练后，模型利用训练集进行多轮次训练，并在每一轮训练结束后利用验证集数据进行效果的验证，验证结果进一步引导模型的下一轮训练，直到训练损失达到收敛，形成效果最优的模型权重参数。
S4：利用测试集对保留的多个网络模型进行测试，根据各个模型在多项评价指标上的得分选出最佳网络模型，并保存最佳网络模型的模型参数。
在测试时可以采用adam优化器来循环和测试网络模型，只需将训练好的特征提取模块的权重参数文件加载到模型中即可。本实施例将训练出来的模型权重参数加载到模型中并送入测试集数据进行测试，然后和测试数据进行对比，计算评估指标并得到可视化的分割结果。
在测试阶段，本实施例将Dice（骰子系数）、mPA（平均像素准确率）、mPrecision（平均精确率）、mRecall（评价召回率）作为评估模型性能的评价指标。各个评价指标的计算公式如下：
以上各式中，CPA表示类别像素准确率；TP、TN、FP和FN分别指真阳性、真阴性、假阳性和假阴性的分割结果。i代表类别，K代表总类别数，m代表评价指标的平均值。
S5：利用上步骤保存的最佳的多尺度双分支网络对输入的CTA图像进行识别和图像分割，得到包含升主动脉、肺主动脉、左回旋支、左前降支和右冠状动脉的分割图像。
现有的冠状动脉分割方法大多将冠状动脉作为一个整体目标进行分割，没有针对不同分支存在的结构差异，没有将冠状动脉的不同分支进行分割，忽视了冠状动脉不同分支单独分割对临床工作的价值。同时，一些方法也没有更恰当的考虑冠状动脉不同分支具有的相关生理学知识与意义。本实施例的方法能够同时分割冠状动脉的多个主要分支，并且不同分支的重要性以不同的权重进行训练增强，让模型具有一定的自适应能力，让模型更加有针对性的关注冠状动脉的不同分支和易产生阻塞问题的重要分支。
由于冠状动脉存在分支结构差异，冠状动脉分割工作不仅多层次信息和全局特征，还需要模型关注局部细节并具有细粒度目标的分割能力，而现有的很多方法忽略了局部细节，没有有效的结合全局特征和局部细节。本实施例的方法利用双分支模型架构，同时提取冠状动脉的全局上下文特征和局部细节，并进行有效的多尺度多层级的融合，形成了粗粒度和细粒度特征的互补，挖掘了通道信息和空间信息，进一步引导模型针对冠状动脉不同分支进行的学习和分割，更高效的处理了冠状动脉分支结构差异，提高了分割精度。
冠状动脉存在组织粘连导致的边缘模糊问题，而现有模型并没有着重关注冠状动脉的边缘模糊问题，没有有效结合边缘信息和反向注意力机制。本实施例的方法更新和优化了反向注意力机制，引入了血管边缘特征和残差结构，进一步设计了残差反向边缘模块，强化了模型对冠状动脉分支边界的学习能力，防止了过度学习产生的过拟合。
在冠状动脉分割任务中，传统方法多采用3D网络结构作为基础模型。由于3D网络结构拥有更简单的图像处理管道，其可以考虑到相邻切片的信息，拥有更加稳定且准确的分割性能，但是3D模型的高性能是以高昂的计算成本为代价的。3D网络结构通常拥有更多的参数量，训练过程也需要占用更大的内存，训练的时间也会更长，这些将会成为使用3D模型的主要限制。另外对于3D模型来说，训练数据的数量有限也是一个限制，因为2D模型使用的是3D体积图像的切片，3D模型使用的是完整的3D体积图像，而通常在数据集中完整的3D体积图像数量不会太多，但是每一个3D体积图像都可以得到大量的2D切片，所以2D模型凭借着训练数据数量的优势，可以达到与3D模型相当的性能，而且占用的内存更少。本发明的方法框架就是以2D模型为基础模型，在性能上达到了和以3D模型为基础的比较先进的方法相近的性能。
实施例2
在实施例1方案的基础上，本实施例进一步提供一种基于特征融合的双分支冠状动脉图像的分割系统，该系统采用实施例1中的基于特征融合的双分支冠状动脉图像的分割方法中经过训练的多尺度双分支网络实现对CTA图像分割进行目标分割。如图7所示，该型基于特征融合的双分支冠状动脉图像的分割系统包括：数据获取模块、图像前处理模块和多尺度双分支网络。
其中，数据获取模块，其用于获取待分割CTA图像，并将CTA图像的尺寸调整为512×512。必要时，本实施例中的数据获取模块还可以集成相应功能，进而根据2D的原始检测数据生成对应的2D的CTA医学检查图像。
图像前处理模块用于将输入的原CTA图像经不带池化的Res-Block处理后作为全局分支的输入，并将原CTA图像切分出图像中间的1/4部分后再等分为4×4的16个图像块，并将各图像块作为细节分支的并行输入。
多尺度双分支网络采用包括编码器和解码器的四层U型网络；编码器中包含全局分支和细节分支；全局分支实现将细节分支提取的细节特征与自身提取的全局特征进行特征融合。编码器和解码器间采用残差反向边缘模块进行跳跃连接。多尺度双分支网络根据输入的CTA图像输出其中包含的五个目标区域的分割图像。
实施例3
本实施例提供一种基于特征融合的双分支冠状动脉图像的分割设备，其包括存储器、处理器以及存储在存储器上并在处理器上运行的计算机程序。处理器执行计算机程序时，创建出如实施例2中的基于特征融合的双分支冠状动脉图像的分割系统，进而利用该系统实现对输入的CTA图像进行目标分割，得到五个目标区域的分割图像。
本实施例提供的基于特征融合的双分支冠状动脉图像的分割设备本质上是一种计算机设备。该计算机设备可以是能够执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器（包括独立的服务器，或者多个服务器所组成的服务器集群）等。
本实施例的计算机设备至少包括但不限于：可通过系统总线相互通信连接的存储器、处理器。本实施例中，存储器（即可读存储介质）包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁性存储器、磁盘、光盘等。在一些实施例中，存储器可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，存储器也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（SecureDigital ，SD）卡，闪存卡（Flash Card）等。当然，存储器还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器通常用于存储安装于计算机设备的操作系统和各类应用软件等。此外，存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器在一些实施例中可以是中央处理器（Central Processing Unit，CPU）、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制计算机设备的总体操作。
性能测试
为了验证本发明提供的基于特征融合的双分支冠状动脉图像的分割方法的有效性，技术人员制定如下的仿真实验，对网络模型进行训练，并验证网络模型的分割性能。
1、仿真环境与实验过程
本实验中，模型由 PyTorch 在 NVIDIA Tesla T4 GPU 上进行，cuda 版本为10.2。采用初始学习率为 0.0001、权重衰减为 0、动量为 0.9 的 adam 优化器来训练和测试所提出的 MSDB-Framework。迭代次数设置为 100，模型的批大小设置为 4。随着迭代次数和损失的改变，学习率逐步变小，最小学习率设置为初始学习率的 1%。
实验分析在私有数据集和公开数据集ASOCA 上对比了本发明的双分支多尺度分割方法和其他优秀的方法的分割表现，包括 CS^2Net， U-Net，U-Net++，U-Net3+，CE-Net和mPSPNet。为了公平，本实验在同样的环境下训练了这些模型，并且修改参数达到最佳分割效果。为了结果的稳定性和真实性，本实验多次训练这些模型以获得最佳结果。
2、实验结果与数据分析
2.1、分割性能
图8展示了RCA、LAD和LCX的IoU（Intersection over Union），面积越大代表不同血管的分割效果越好。从图中可以清楚的看到本发明提供的方法面积最大，尤其在RCA和LCX目标上。
2.2、私有数据集对比实验
本实验在私有数据集上对比了双分支多尺度分割方法和其他优秀的方法的分割表现，实验结果如下表1所示：
表1：私有数据集对比实验结果
分析表 1 数据可以看到：本发明的方法在 RCA，LAD，LCX 和升主动脉上获得了更高的的 Dice，并且在肺主动脉的 Dice 也与表中提到的其他方法的结果是可比较的。进一步来说，RCA、LAD 和 LCX 这些更加重要且更难分割的目标的平均 Dice 是 0.7798，比其他方法中效果最好的 CS^2Net高出 1.54%。这就意味着，本发明的模型得到的分割结果和金标准更加接近，也更具有说服力。此外，本发明的网络框架得到的更高的mPrecision和mRecall说明了错误分类的可能性极大的降低了。
图9展示了私有数据集中的一些分割结果及其在CTA 原始切片图像对应部分。图中各列的信息如下：
a：输入图像，b：金标准，c：本发明方案的效果图，d：U-Net效果图，e：U-Net++效果图，f：U-Net3+效果图，g：CE-Net效果图，h：mPSPNet效果图，i：CS^2-Net效果图。
分析图9数据可知：大多数分割错误被分为两类：普通线圈标记的分类错误和短划线圈标记的边缘分割不完整。所谓的分类错误，即大量相邻的像素被错误分类为其他血管或者背景，并且它们造成的分类错误包括严重的部分血管丢失和血管分割错误。具体来说，正如图9中1e-1h，4d-4f，4h-4i所示，部分 RCA 和 LCX 被忽略了，相比于金标准产生了巨大的差异。另一方面，在图9中2e-2f，4d的线圈代表着背景或者升主动脉被分类为LAD，并且这些错误会导致严重的医疗事故。进一步来说，分类错误的出现代表着上面提到的这些方法对冠状动脉不同分支的结构差异不够敏感。此外，小分支的断裂和血管边缘的粗糙分割都被归类为边界分割不完整，这种问题主要由小数量的边缘像素被错误分类导致的。正如图9中2g，2i所示，在 CE-Net 和 CS^2Net的分割结果中，LAD 的断裂清楚的说明了这些方法对边缘信息不够重视。在图9中1f-1i，3f-3h，4d-4i中的血管边界粗糙分割充分说明了冠状动脉分割任务的很多方法普遍缺乏边界信息，出现的边界分割不完整问题进一步证明了这些方法并不能很好的细化冠状动脉的边界。
2.3、ASOCA数据集对比实验
本实验在公开数据集ASOCA 上对比了双分支多尺度分割方法和其他优秀的方法的分割表现，实验结果如下表2所示：
表2：ASOCA数据集对比实验结果
分析表 2 中的实验结果可以发现：本发明提供的方法的Dice 高于其他方法，其提升效果达到了1.39%。另外，其他指标也有一些提升。通过这些量化分析可以证明本发明的方法相比于其他方法获得了更高的分割能力。
图10展示了ASOCA数据集中的一些分割结果及其在CTA 原始切片图像对应部分。与图9相同，图10中各列的信息如下：
a：输入图像，b：金标准，c：本发明方案的效果图，d：U-Net效果图，e：U-Net++效果图，f：U-Net3+效果图，g：CE-Net效果图，h：mPSPNet效果图，i：CS^2-Net效果图。
分析图10数据可以发现：不同于私有数据集，ASOCA只分为背景和冠状动脉2类目标。正如图10的1d-1e，1g-1h，3d-3i所示，血管严重的缺省表明了这些方法对冠状动脉的变化不够灵敏。此外，在图10的2d-2e，2g-2h，4c-4i 中的线圈表明，这些方法不能够完整的处理小血管目标。尽管本发明的方法并没有完全区分所有的目标，但是分割出现的问题远少于其他方法，整体表现仍然比其他方法要好得多。在图10的3c-3i中的短划线圈表明，边界的不完整分割问题大量出现在这些结果中，进一步说明了这些方法缺少边界信息。
总而言之，经过量化和定性分析，本发明的模型能够更精准的分割冠状动脉 CTA图像中的不同分支，并且比其他 2D 方法更加有效。
3、消融实验
为了验证本发明提出的RRE模块和MSFF模块对网络模型性能提升的效果，本实验还设计了相关的消融实验。
图11展示了在私有数据集上进行的消融实验的分割结果。图11各列显示了采用不同模块网络模型的分割结果：具体为：a：输入图像，b：金标准，c：双分支框架+MSFF+RRE，d：双分支框架+MSFF，e：双分支框架+RRE，f：双分支框架。
分析图11中d部分数据可知，在没有RRE 模块的实验中，实验结果出现了更多的短划线圈, 这代表着出现了更多边界分割的不完整问题，也反向说明了RRE 模块可以通过保持和增强冠状动脉的边缘来提高模型分割边界的能力。而且，分析实验数据还可以看到，在图11的e中，在没有 MSFF 模块的实验中，实验结果出现了更多的线圈，这意味着出现了更多分类错误，也反向说明了 MSFF模块可以增强模型对冠状动脉分支结构差异的敏感性，进一步减少分类错误。以上这两点，也在图11的f 中得到了反向证实，从图11的f中可以看到，同时没有 RRE 和 MSFF 模块的实验中两种错误都有所增加。显而易见，只有在本发明提供的双分支网络构架中集成 RRE 和 MSFF 模块后，才有效提高了冠状动脉不同分支的分割准确性。
简要总结，根据消融实验的可视化分析，本发明提出的 MSFF 模块可以有效结合全局信息和细节信息，针对冠状动脉不同分支的结构差异，起到优秀的分割效果。本发明提出的 RRE 模块可以针对冠状动脉边缘模糊问题，起到有效保留和细化边缘信息的作用。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于特征融合的双分支冠状动脉图像的分割方法，其用于对CTA图像中的升主动脉、肺主动脉、左回旋支、左前降支和右冠状动脉进行目标识别和图像分割，其特征在于，其包括如下步骤：
S1：基于U型网络设计一种用于实现CTA图像分割的多尺度双分支网络，所述多尺度双分支网络的输入为CTA图像，输出为五个目标区域的分割图像；其网络框架如下：
（1）所述多尺度双分支网络采用包含编码器和解码器的四层U型网络架构；所述解码器由四层Up-Block构成；
（2）所述编码器部分采用包含全局分支和细节分支的双分支结构；所述全局分支以全局CTA图像为输入，细节分支以CTA局部图像切分出的16个图像块为输入；
（3）所述编码器中的细节分支由四层带池化的Res-Block构成，每一层用于对上一层的特征图进行特征提取，生成对应的16张特征子图，并为其中可能出现左回旋支、左前降支和右冠状动脉的部分子图分别赋予自适应权重，进而得到下一层所需的细节特征；
（4）所述编码器中全局分支包括四层，每一层包括一个带池化的Res-Block和一个多尺度特征融合模块；所述多尺度特征融合模块用于对输入的全局特征和细节特征进行特征融合；所述Res-Block用于对融合特征进行特征提取并输出编码器中下一层的全局特征；
（5）所述多尺度双分支网络中编码器和解码器的各层之间采用残差反向边缘模块形成跳跃连接；
S2：获取大量CTA图像的2D图像样本，人工添加标签后构成原始数据集；并通过数据增强手段扩充样本数据集，将样本数据集分为训练集、验证集和测试集；
S3：利用训练集和验证集对所述多尺度双分支网络进行多轮次的迭代训练和验证，保留训练效果较好的若干个网络模型的参数；
S4：利用测试集对保留的多个网络模型进行测试，根据各个模型在多项评价指标上的得分选出最佳网络模型，并保存其对应的模型参数；
S5：利用上步骤保存的最佳的多尺度双分支网络对输入的CTA图像进行识别和图像分割，得到包含升主动脉、肺主动脉、左回旋支、左前降支和右冠状动脉的分割图像。
2.如权利要求1所述的基于特征融合的双分支冠状动脉图像的分割方法，其特征在于：步骤S1设计出的所述多尺度双分支网络的编码器中，每个多尺度特征融合模块中输入的全局特征记为，细节特征记为/>；则输出的融合特征/>满足下式：
；
上式中，、/>和/>均为融合过程的中间特征；/>代表卷积核尺寸k为1×1的卷积计算；/>代表卷积核为v×v且空洞率为u的空洞卷积计算；/>代表从维度层面进行连接计算；/>代表将/>裁剪成/>尺寸的计算；/>代表将/>填充成/>尺寸的计算；/>和/>则分别代表压缩和激发计算；/>代表逐元素相乘；下标m表示各个模块在网络中的层数。
3.如权利要求2所述的基于特征融合的双分支冠状动脉图像的分割方法，其特征在于：步骤S1设计出的所述多尺度双分支网络的编码器中，所述残差反向边缘模块以全局特征和/>为输入，输出边界特征/>，处理过程的表达式如下：
；
上式中，表示中间特征；/>代表上采样核尺寸s为2×2的上采样计算，/>代表Sigmoid计算；/>代表逐元素相加计算。
4.如权利要求1所述的基于特征融合的双分支冠状动脉图像的分割方法，其特征在于：步骤S1中，在多尺度双分支网络的解码器前，将输入的原CTA图像经不带池化的Res-Block处理后作为全局分支的输入，并将原CTA图像切分出图像中间的1/4部分后再等分为4×4的16个图像块，并将各图像块作为细节分支的并行输入。
5.如权利要求4所述的基于特征融合的双分支冠状动脉图像的分割方法，其特征在于：将输入到细节分支的16个图像块按照行列编码记为P ij ，i表示行编码，i=1…4；j表示列编码，j=1…4；则表征需要赋予自适应权重的区域分布的表达式如下：
;
上式中，W LCX ，W LAD ，W RCA 分别表示左回旋支、左前降支和右冠状动脉可能出现的区域的权重。
6.如权利要求1所述的基于特征融合的双分支冠状动脉图像的分割方法，其特征在于：步骤S2中2D图像样本由3D数据经切片后得到，尺寸统一为512×512；样本数据集采用的数据增强手段包括随机翻转、旋转、缩小、放大和色域变化；划分出的训练集、验证集和测试集的数据量之比为6:2:2。
7.如权利要求1所述的基于特征融合的双分支冠状动脉图像的分割方法，其特征在于：步骤S3中，在训练阶段，采用Focal loss和交叉熵损失作为引导模型分割的损失函数；损失函数如下：
;
上式中，CEloss表示交叉熵损失；FL（p t ）表示Focal loss；和/>分别表示交叉熵损失和Focal loss的权重。
8.如权利要求1所述的基于特征融合的双分支冠状动脉图像的分割方法，其特征在于：步骤S4中，在测试阶段，将Dice、CPA、PA、Precision、Recall作为评估模型性能的评价指标。
9.一种基于特征融合的双分支冠状动脉图像的分割系统，其特征在于，其采用如权利要求1-8中任意一项所述的基于特征融合的双分支冠状动脉图像的分割方法中经过训练的多尺度双分支网络实现对CTA图像分割进行目标分割；所述基于特征融合的双分支冠状动脉图像的分割系统包括：
数据获取模块，其用于获取待分割CTA图像，并将CTA图像的尺寸调整为512×512；
图像前处理模块，其用于将输入的原CTA图像经不带池化的Res-Block处理后作为全局分支的输入，并将原CTA图像切分出图像中间的1/4部分后再等分为4×4的16个图像块，并将各图像块作为细节分支的并行输入；以及
多尺度双分支网络，其采用包括编码器和解码器的四层U型网络；所述编码器中包含全局分支和细节分支；所述全局分支实现将细节分支提取的细节特征与自身提取的全局特征进行特征融合；编码器和解码器间采用残差反向边缘模块进行跳跃连接；所述多尺度双分支网络根据输入的CTA图像输出其中包含的五个目标区域的分割图像。
10.一种基于特征融合的双分支冠状动脉图像的分割设备，其包括存储器、处理器以及存储在存储器上并在处理器上运行的计算机程序，其特征在于：所述处理器执行计算机程序时，创建出如权利要求9所述的基于特征融合的双分支冠状动脉图像的分割系统，进而实现对输入的CTA图像进行目标分割，得到五个目标区域的分割图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410172835.9A CN117726633B (zh) | 2024-02-07 | 2024-02-07 | 基于特征融合的双分支冠状动脉图像的分割方法、系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410172835.9A CN117726633B (zh) | 2024-02-07 | 2024-02-07 | 基于特征融合的双分支冠状动脉图像的分割方法、系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117726633A true CN117726633A (zh) | 2024-03-19 |
| CN117726633B CN117726633B (zh) | 2024-04-19 |
Family
ID=90200152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410172835.9A Active CN117726633B (zh) | 2024-02-07 | 2024-02-07 | 基于特征融合的双分支冠状动脉图像的分割方法、系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117726633B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10482603B1 (en) * | 2019-06-25 | 2019-11-19 | Artificial Intelligence, Ltd. | Medical image segmentation using an integrated edge guidance module and object segmentation network |
| CN112862835A (zh) * | 2021-01-19 | 2021-05-28 | 杭州深睿博联科技有限公司 | 冠脉血管分割方法、装置、设备及计算机可读存储介质 |
| US20210298706A1 (en) * | 2018-07-24 | 2021-09-30 | Pulse Medical Imaging Technology (Shanghai) Co. Ltd. | Method and apparatus for processing blood vessel image, storage medium, and imaging device |
| CN115482241A (zh) * | 2022-10-21 | 2022-12-16 | 上海师范大学 | 一种跨模态双分支互补融合的图像分割方法及装置 |
| WO2023280148A1 (zh) * | 2021-07-07 | 2023-01-12 | 杭州深睿博联科技有限公司 | 一种血管分割方法、装置、电子设备和可读介质 |
| CN115797931A (zh) * | 2023-02-13 | 2023-03-14 | 山东锋士信息技术有限公司 | 一种基于双分支特征融合的遥感图像语义分割方法 |
| CN115965633A (zh) * | 2023-01-19 | 2023-04-14 | 重庆理工大学 | 一种结合Transformer和U-Net的医学图像肝脏分割方法及系统 |
| CN116580241A (zh) * | 2023-05-22 | 2023-08-11 | 内蒙古农业大学 | 基于双分支多尺度语义分割网络的图像处理方法及系统 |
| CN116681679A (zh) * | 2023-06-09 | 2023-09-01 | 成都信息工程大学 | 基于双分支特征融合注意的医学图像小目标分割方法 |
| CN116721253A (zh) * | 2023-06-12 | 2023-09-08 | 湖南科技大学 | 一种基于深度学习的腹部ct图像多器官分割方法 |
| CN117058170A (zh) * | 2023-08-15 | 2023-11-14 | 西安电子科技大学 | 基于双分支多尺度交叉融合网络的颈动脉斑块分割方法 |
| CN117152173A (zh) * | 2023-09-05 | 2023-12-01 | 广东技术师范大学 | 一种基于DUNetR模型的冠状动脉分割方法和系统 |
| CN117455906A (zh) * | 2023-12-20 | 2024-01-26 | 东南大学 | 基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法 |
| CN117495876A (zh) * | 2023-12-29 | 2024-02-02 | 山东大学齐鲁医院 | 基于深度学习的冠状动脉图像分割方法及系统 |
-
2024
- 2024-02-07 CN CN202410172835.9A patent/CN117726633B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210298706A1 (en) * | 2018-07-24 | 2021-09-30 | Pulse Medical Imaging Technology (Shanghai) Co. Ltd. | Method and apparatus for processing blood vessel image, storage medium, and imaging device |
| US10482603B1 (en) * | 2019-06-25 | 2019-11-19 | Artificial Intelligence, Ltd. | Medical image segmentation using an integrated edge guidance module and object segmentation network |
| CN112862835A (zh) * | 2021-01-19 | 2021-05-28 | 杭州深睿博联科技有限公司 | 冠脉血管分割方法、装置、设备及计算机可读存储介质 |
| WO2023280148A1 (zh) * | 2021-07-07 | 2023-01-12 | 杭州深睿博联科技有限公司 | 一种血管分割方法、装置、电子设备和可读介质 |
| CN115482241A (zh) * | 2022-10-21 | 2022-12-16 | 上海师范大学 | 一种跨模态双分支互补融合的图像分割方法及装置 |
| CN115965633A (zh) * | 2023-01-19 | 2023-04-14 | 重庆理工大学 | 一种结合Transformer和U-Net的医学图像肝脏分割方法及系统 |
| CN115797931A (zh) * | 2023-02-13 | 2023-03-14 | 山东锋士信息技术有限公司 | 一种基于双分支特征融合的遥感图像语义分割方法 |
| CN116580241A (zh) * | 2023-05-22 | 2023-08-11 | 内蒙古农业大学 | 基于双分支多尺度语义分割网络的图像处理方法及系统 |
| CN116681679A (zh) * | 2023-06-09 | 2023-09-01 | 成都信息工程大学 | 基于双分支特征融合注意的医学图像小目标分割方法 |
| CN116721253A (zh) * | 2023-06-12 | 2023-09-08 | 湖南科技大学 | 一种基于深度学习的腹部ct图像多器官分割方法 |
| CN117058170A (zh) * | 2023-08-15 | 2023-11-14 | 西安电子科技大学 | 基于双分支多尺度交叉融合网络的颈动脉斑块分割方法 |
| CN117152173A (zh) * | 2023-09-05 | 2023-12-01 | 广东技术师范大学 | 一种基于DUNetR模型的冠状动脉分割方法和系统 |
| CN117455906A (zh) * | 2023-12-20 | 2024-01-26 | 东南大学 | 基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法 |
| CN117495876A (zh) * | 2023-12-29 | 2024-02-02 | 山东大学齐鲁医院 | 基于深度学习的冠状动脉图像分割方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| ZIYANG ZHENG等: "GL-Fusion: Global-Local Fusion Network for Multi-view Echocardiogram Video Segmentation", ARXIV:2309.11144V1, 20 September 2023 (2023-09-20) * |
| 丁俊华等: "基于双分支多尺度融合网络的毫米波SAR图像多目标语义分割方法", 光电工程, vol. 50, no. 12, 30 November 2023 (2023-11-30) * |
| 江宗康;吕晓钢;张建新;张强;魏小鹏;: "MRI脑肿瘤图像分割的深度学习方法综述", 中国图象图形学报, no. 02, 16 February 2020 (2020-02-16) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117726633B (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11580646B2 (en) | Medical image segmentation method based on U-Net | |
| US9968257B1 (en) | Volumetric quantification of cardiovascular structures from medical imaging | |
| Huang et al. | Coronary artery segmentation by deep learning neural networks on computed tomographic coronary angiographic images | |
| CN109949276B (zh) | 一种于改进SegNet分割网络的淋巴结检测方法 | |
| CN113947609B (zh) | 深度学习网络结构及多标签主动脉夹层ct图像分割方法 | |
| US20220284584A1 (en) | Computerised tomography image processing | |
| CN113344951A (zh) | 一种边界感知双重注意力引导的肝段分割方法 | |
| CN113838067B (zh) | 肺结节的分割方法和装置、计算设备、可存储介质 | |
| CN114494296A (zh) | 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统 | |
| CN111476796A (zh) | 一种结合多种网络的半监督冠状动脉分割系统及分割方法 | |
| CN115546570A (zh) | 一种基于三维深度网络的血管图像分割方法及系统 | |
| CN114926477A (zh) | 一种基于深度学习的脑肿瘤多模态mri影像分割方法 | |
| CN114998265A (zh) | 一种基于改进U-Net的肝脏肿瘤分割方法 | |
| CN113205524A (zh) | 基于U-Net的血管图像分割方法、装置和设备 | |
| CN116452618A (zh) | 一种三输入脊柱ct图像分割方法 | |
| CN115409859A (zh) | 冠状动脉血管图像分割方法及装置、存储介质和终端 | |
| CN113012164A (zh) | 基于聚合层间信息的U-Net肾脏肿瘤图像分割方法、设备及存储介质 | |
| CN116883341A (zh) | 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 | |
| CN112508884A (zh) | 一种癌变区域综合检测装置及方法 | |
| CN115205298B (zh) | 肝部区域血管分割的方法及设备 | |
| CN117726633B (zh) | 基于特征融合的双分支冠状动脉图像的分割方法、系统 | |
| CN116883660A (zh) | 基于类不平衡与多级降采样特征融合的蜂窝肺分割方法 | |
| CN116091458A (zh) | 一种基于互补注意力的胰腺图像分割方法 | |
| CN116309346A (zh) | 医学图像的检测方法、装置、设备、存储介质及程序产品 | |
| CN112541909B (zh) | 基于切片感知的三维神经网络的肺结节探测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |