CN117495876B - 基于深度学习的冠状动脉图像分割方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的冠状动脉图像分割方法及系统，涉及医学图像辅助诊断技术领域，该方法包括：将获取的待分割冠状动脉图像输入至基于改进的U‑Net网络和边缘特征提取网络的冠状动脉分割模型中，改进的U‑Net网络采用编码器‑解码器结构，其最底层设置空洞卷积模块，编码器的每层下采样层中包括卷积模块和注意力模块；编码器对输入图像提取多尺度特征图，最后输出的特征图通过空洞卷积模块后输出全局特征图，解码器的下采样层与上采样层间跳跃连接，并对全局特征图依次进行上采样，输出特征图；通过边缘特征提取网络输出的边缘细节特征图与特征图融合后，通过全连接层输出分割结果，极大提高冠状动脉图像分割的准确性。

Description

基于深度学习的冠状动脉图像分割方法及系统

技术领域

本发明涉及医学图像辅助诊断技术领域，尤其涉及一种基于深度学习的冠状动脉图像分割方法及系统。

背景技术

当心脏的冠状动脉因某些病因而变得狭窄时就会产生冠状动脉疾病，而冠状动脉疾病是导致死亡最多的疾病之一，严重危害人类的健康。血管造影术或动脉造影术是一种医疗成像技术，在血管造影术的各种使用场景中，最常见的是对患者的心脏冠状动脉进行可视化造影，生成患者的冠状动脉造影图，该冠状动脉造影图是当前临床医生进行冠状动脉疾病诊断的主要依据。在获取血管区域冠状动脉造影图后，临床医生通过分析冠状动脉造影图的血管区域轮廓来确定患者的冠状动脉是否存在堵塞或狭窄等问题，这一过程中需要对图像进行分割，以更方便辅助临床医生进行诊断。传统的冠状动脉的分割与识别需要临床医生具有丰富的经验而且十分耗时，一方面心血管图像分割的黄金标准是由临床专家手工完成的，具有一定的主观性，另一方面手动分割耗时耗力，且容易出现偏差和错误。

随着深度学习技术的兴起与发展，基于深度学习的算法的能力越来越强大，可以用在很多智能识别场景下，实现更多传统算法所达不到的精度，针对基于机器学习和深度学习算法的冠状动脉造影图的自动化分割研究具有重要意义。目前，基于深度神经网络的图像分割方法中，深度神经网络通常采用卷积神经网络、全卷积神经网络等，通过该网络实现对任一尺寸图像的端到端的分割处理；现有技术中，为了适用医疗图像的识别与分割，在全卷积神经网络结构的基础上进行改进，提出一种专门针对医疗图像分割任务的U-Net神经网络，该网络优异的性能能够使得基于该网络的各种深度学习算法在各自的医疗图像处理领域中广泛应用。

但是，在冠状动脉分割领域中，目前所提出的分割模型基本采用U-Net网络结构，这一网络结构并不是专门针对冠状动脉分割任务提出的。冠状动脉是供给心脏血液的动脉，其起于主动脉根部，分左右两支，行于心脏表面。正常情况下，冠状动脉从心外膜动脉进入心壁的血管，一类呈丛状分散支配心室壁的外、中层心肌；一类垂直进入室壁直达心内膜下(即穿支)，直径几乎不减，并在心内膜下与其它穿支构成弓状网络，然后再分出微动脉和毛细血管，丛支和穿支在心肌纤维间形成丰富的毛细血管网，供给心肌血液。即，冠状动脉图像中存在高密度的冠状动脉分支血管且冠状动脉之间具有丰富的吻合支或侧支，现有的分割模型难以实现对冠状动脉图像的精准分割，其仍存在一定的问题：

(1)基于U-Net网络的图像分割模型中，U-Net网络结构中包括多次池化和上采样过程，在这些过程中会丢失很多原始图像的信息，进而导致提取的全局信息不完全，而且采样过程中通常通过卷积在局部感受野上对特征图进行无差别信息提取及处理，导致对血管特征的学习不佳，进而导致最终无法达到理想的分割效果；

(2)现有的图像分割模型在针对冠状动脉图像分割时，存在的边缘模糊问题，U-Net网络无法提取更多的图像边缘信息，无法避免过多冗余特征的传递，导致无法达到理想的分割效果。

发明内容

为解决上述现有技术的不足，本发明提供了一种基于深度学习的冠状动脉图像分割方法及系统，构建基于改进的U-Net网络和边缘特征提取网络的冠状动脉分割模型，通过将空洞卷积和注意力机制融合到U-Net网络中对U-Net网络进行改进，以更全面的提取能够体现血管特征的图像全局特征，同时设置并行的边缘特征提取网络，以提取在图像全局特征提取过程中容易丢失的边缘细节特征；将冠状动脉图像输入至所构建的冠状动脉分割模型中，融合图像全局特征和图像边缘细节特征进行分割，得到最终准确的冠状动脉图像分割结果，有效提高冠状动脉图像分割的准确性。

第一方面，本发明提供了一种基于深度学习的冠状动脉图像分割方法。

一种基于深度学习的冠状动脉图像分割方法，包括：

获取待分割的冠状动脉图像；

将待分割的冠状动脉图像作为输入图像，输入至基于改进的U-Net网络和边缘特征提取网络的冠状动脉分割模型中，输出冠状动脉图像分割结果；所述改进的U-Net网络采用编码器-解码器结构，并在编码器-解码器结构的最底层设置空洞卷积模块，且编码器包括多层下采样层，每层下采样层中包括依次连接的卷积模块和注意力模块；

所述输出冠状动脉图像分割结果，包括：

输入图像通过编码器进行多次下采样提取多尺度特征图，最后一层下采样层输出的冠状动脉特征图通过空洞卷积模块后输出冠状动脉全局特征图；解码器的下采样层与上采样层跳跃连接，并对冠状动脉全局特征图依次进行上采样，最终输出冠状动脉主干特征图；输入图像通过边缘特征提取网络输出边缘细节特征图；边缘细节特征图与冠状动脉主干特征图融合后经过全连接层，输出冠状动脉图像分割结果。

第二方面，本发明提供了一种基于深度学习的冠状动脉图像分割系统。

一种基于深度学习的冠状动脉图像分割系统，包括：

图像获取模块，用于获取待分割的冠状动脉图像；

图像分割模块，用于将待分割的冠状动脉图像作为输入图像，输入至基于改进的U-Net网络和边缘特征提取网络的冠状动脉分割模型中，输出冠状动脉图像分割结果；所述改进的U-Net网络采用编码器-解码器结构，并在编码器-解码器结构的最底层设置空洞卷积模块，且编码器包括多层下采样层，每层下采样层中包括依次连接的卷积模块和注意力模块；

所述图像分割模块包括：

冠状动脉主干特征提取模块，用于输入图像通过编码器进行多次下采样提取多尺度特征图，最后一层下采样层输出的特征图通过空洞卷积模块后输出冠状动脉全局特征图；解码器的下采样层与上采样层跳跃连接，并对冠状动脉全局特征图依次进行上采样，最终输出冠状动脉主干特征图；

冠状动脉边缘特征提取模块，用于输入图像通过边缘特征提取网络输出边缘细节特征图；

分割结果输出模块，用于边缘细节特征图与冠状动脉主干特征图融合后经过全连接层，输出冠状动脉图像分割结果。

以上一个或多个技术方案存在以下有益效果：

1、本发明提供了一种基于深度学习的冠状动脉图像分割方法及系统，通过对现有的针对医疗图像分割任务的U-Net网络进行改进，将空洞卷积融合到U-Net网络中，以更全面的提取图像全局特征，同时设置并行的边缘特征提取网络，以提取在图像全局特征提取过程中容易丢失的边缘细节特征，融合图像全局特征和图像边缘细节特征进行分割，得到最终准确的冠状动脉图像分割结果，极大提高冠状动脉图像分割的准确性。

2、本发明中，考虑到图像分割时通过池化和上采样的过程会导致很多原始图像的信息丢失，进而导致无法达到理想的分割效果，因此，在U-Net网络结构中引入了空洞卷积模块，以此对U-Net网络进行改进，该引入模块使用多个不同采样率的并行空洞卷积层实现有效映射，采用空洞卷积能够在不损失特征图分辨率的情况下扩大接受域，同时也不会增加参数数量，能够更好的获取图像的全局信息，避免提取图像特征不全面的问题。

3、本发明中，考虑到利用U-Net网络分割图像时，在通过编码器下采样过程中通常通过卷积在局部感受野上对特征图进行无差别信息提取及处理，导致对冠状动脉图像中血管特征的学习不佳，进而导致最终基于特征图分割的分割效果不佳，因此，在U-Net网络中编码器的每层下采样层中设置注意力模块，通过该注意力模块关注有效信息，改善模型学习效果，提高模型的鲁棒性；同时，改进编码器下采样层的卷积操作，通过设置卷积模块来更多的提取冠状动脉图像的血管空间特征，提高最终血管识别与分割的精确性。

4、本发明中，考虑到随着网络的加深，特征图分辨率逐渐减小，血管区域的边缘细节特征会逐渐丢失，为此，在利用改进的U-Net网络提取冠状动脉图像的全局特征的同时，利用边缘特征提取网络提取冠状动脉图像的边缘细节特征，以保证最终图像分割时边缘分割的准确性，该边缘特征提取网络能够对富含边缘细节特征的特征图进行边缘增强，从而进一步提升分割精度，解决图像边缘模糊的问题。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例所述冠状动脉分割模型的结构示意图；

图2为本发明实施例所述注意力模块的结构示意图；

图3为本发明实施例所述卷积模块的结构示意图；

图4为本发明实施例所述空洞卷积模块的结构示意图；

图5为本发明实施例所述边缘特征提取网络的结构示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，仅是为了描述具体实施方式，旨在对本发明提供进一步的说明，并非意图限制根据本发明的示例性实施方式。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

为了解决现有冠状动脉图像分割方法中存在的提取图像全局特征不全面、缺乏提取图像边缘特征而导致最终分割不精确的问题，本实施例提出了一种基于深度学习的冠状动脉图像分割方法，构建基于改进的U-Net网络和边缘特征提取网络的冠状动脉分割模型，通过对现有的U-Net网络进行改进，将空洞卷积和注意力机制融合到U-Net网络中，以更全面的提取图像全局特征，同时设置并行的边缘特征提取网络，以提取在图像全局特征提取过程中容易丢失的边缘细节特征，将冠状动脉图像输入至所构建的冠状动脉分割模型中，融合图像全局特征和图像边缘细节特征进行分割，得到最终准确的冠状动脉图像分割结果。

本实施例所提出的基于深度学习的冠状动脉图像分割方法，具体包括以下步骤：

获取待分割的冠状动脉图像；

将待分割的冠状动脉图像作为输入图像，输入至基于改进的U-Net网络和边缘特征提取网络的冠状动脉分割模型中，输出冠状动脉图像分割结果；所述改进的U-Net网络采用编码器-解码器结构，并在编码器-解码器结构的最底层设置空洞卷积模块，且编码器包括多层下采样层，每层下采样层中包括依次连接的卷积模块和注意力模块；

所述输出冠状动脉图像分割结果，包括：

输入图像通过编码器进行多次下采样提取多尺度特征图，最后一层下采样层输出的冠状动脉特征图通过空洞卷积模块后输出冠状动脉全局特征图；解码器的下采样层与上采样层跳跃连接，并对冠状动脉全局特征图依次进行上采样，最终输出冠状动脉主干特征图；输入图像通过边缘特征提取网络输出边缘细节特征图；边缘细节特征图与冠状动脉主干特征图融合后经过全连接层，输出冠状动脉图像分割结果。

在本实施例中，首先通过冠状动脉造影术获取患者的待分割的冠状动脉图像，然后将获取的冠状动脉图像输入至冠状动脉分割模型中，本实施例所提出的冠状动脉分割模型包括基于改进的U-Net网络和边缘特征提取网络，通过下述内容分别对改进的U-Net网络和边缘特征提取网络进行介绍。

具体的，改进的U-Net网络是指在U-Net网络结构的基础上引入空洞卷积和注意力机制，即将空洞卷积模块和注意力模块加入到U-Net网络中，在编码器下采样的过程中利用注意力模块提取关注有效信息，对下采样获取的高维特征图利用空洞卷积模块中不同扩张率的空洞卷积来捕捉多尺度信息，从而提高获取全局信息的能力。

U-Net网络主要分为编码器(encoder)和解码器(decoder)两部分，在encoder中，通过池化操作对输入图像依次进行下采样，同理在decoder中，通过上采样的方式来使特征图的尺寸成倍增加，直至最终恢复到输入的特征图尺寸，其中，decoder模块中的特征图将参与金字塔型特征融合。(1)考虑到利用U-Net网络分割图像时，在通过编码器采样过程中通常通过卷积在局部感受野上对特征图进行无差别信息提取及处理，导致对冠状动脉图像中血管特征的学习不佳，进而导致最终基于特征图分割的分割效果不佳。为此，本实施例中，在U-Net网络中编码器的每层下采样层中设置注意力模块，一方面，通过该注意力模块关注有效信息，改善模型学习效果，提高模型的鲁棒性，另一方面，在每层下采样层中均设置注意力模块，使得提取的浅层特征和深层特征均能够更关注有效信息，以此更全面地提取冠状动脉血管的主要特征，提高最终分割的精确性。(2)考虑到图像分割是一个像素级的输出，通过池化过程减小特征图大小后还需要通过上采样还原到原始图像大小尺寸，而通过池化和上采样的过程会导致很多原始图像的信息丢失，进而导致无法达到理想的分割效果。为此，本实施例还在U-Net网络结构中引入了空洞卷积模块。空洞卷积是一种用于密集特征提取和视野放大的卷积算法，相较于普通卷积，采用空洞卷积能够在不损失特征图分辨率的情况下扩大接受域，同时也不会增加参数数量，能够更好的获取图像的全局信息，避免提取图像特征不全面的问题。本实施例所提出的空洞卷积模块使用多个不同采样率的并行空洞卷积层实现有效映射。

针对上述对U-Net网络的改进进行更详细的介绍。如图1所示，本实施例所提出的改进的U-Net网络仍旧采用编码器-解码器结构，并在编码器-解码器结构的最底层设置空洞卷积模块，其中，编码器包括多层下采样层，解码器包括多层上采样层，上采样层和下采样层之间跳跃连接。在本实施例中，编码器的每层下采样层中包括依次连接的卷积模块和注意力模块，以及批归一化层(Batch Normalization, BN)和激活层。

具体的，冠状动脉图像输入至编码器，通过编码器进行多次下采样，提取多尺度特征图，其中，在每一下采样层中，首先通过卷积模块对输入图像进行特征提取，再通过注意力模块提取具有更强指向性和注意力信息的中间特征图，再通过其后均增加的批归一化层(Batch Normalization, BN)加快收敛速度，最后通过激活层(即激活函数ReLU函数)进行激活，解决梯度消失问题，同时加快收敛速度；编码器最后一层下采样层输出的冠状动脉特征图(简称特征图)输入至空洞卷积模块，通过多个不同采样率的并行空洞卷积层进行特征提取，并行提取的特征图拼接后输出冠状动脉全局特征图，解码器通过反卷积操作(在本实施例中采用的是转置卷积方式)对冠状动脉全局特征图依次进行上采样，且上采样和下采样之间通过跳跃连接进行连接，即解码器在对冠状动脉全局特征图进行上采样的过程中依次连接多尺度特征图，最终输出与原始输入图像相同尺寸大小的特征图，该特征图即为冠状动脉主干特征图。

在本实施例中，上述注意力模块如图2所示，与经典的注意力机制不同的是，该注意力模块包括3个分支，分别在特征图高度、宽度以及通道方向上对重要特征进行提取。通过卷积模块提取的特征图在经过注意力模块施加各个方向上的注意力权重，不改变输入特征的大小，注意力模块输出的特征图与输入特征图大小保持一致。上述注意力模块包括高度、宽度、通道这3个分支，卷积模块提取并输出特征图至注意力模块，在高度分支中，对输入特征图在高度方向上进行平均池化，得到高度方向上的注意力权重；在宽度分支中，对输入特征图在宽度方向上进行平均池化，得到宽度方向上的注意力权重；在通道分支中，对输入特征图在通道方向上分别进行平均池化(Average pooling)和最大池化(Max pooling)，采用ReLU激活函数激活池化后的特征图，并按照高度方向拼接激活后的两种特征图，对拼接后的特征图进行平均池化，得到通道方向上的注意力权重；最后，利用各方向上的注意力权重，分别施加在输入的特征图中，得到融合注意力权重的特征图并输出，该输出即为中间特征图。通过上述注意力模块的设置，可以使输入特征图与输出特征图的尺寸一致，并提高网络对特征图中重要特征点的关注程度。

进一步的，为了能够尽可能多的提取图像血管的空间特征，相较于传统的仅通过卷积操作进行特征提取的方式，在本实施例中，改进卷积模块，在减小特征图大小的情况下，尽可能多的提取空间特征。卷积模块的结构如图3所示，与传统的单次卷积操作不同，本实施例所提出的卷积模块将输入图像首先分别经过4次卷积进行特征提取，提取的特征图再在宽度和高度方向上进行拼接，形成与原始图像大小一致的特征图，之后再采用Mish激活函数激活，并采用卷积操作进行下采样，以此使输出特征图的分辨率为输入特征图的一半。其中，Mish激活函数如下式所示：；其中，/>表示拼接得到的特征图。

通过上述卷积模块的设置，可以提高网络提取特征的能力，增强网络提取浅层特征图重要特征的能力，能够更好的区分空间中的血管和心脏等器官。

此外，批归一化层即BN层通过计算mini-batch(小批量)内的均值和方差对特征进行归一化，加快网络的训练收敛速度，提升网络稳定性，并使层数非常深的网络收敛；激活函数采用ReLU函数相较于sigmoid函数、tanh函数等饱和激活函数，ReLU函数具备非饱和特性，可以有效解决梯度消失问题，而且使用ReLU函数的网络避使用饱和激活函数的同类网络训练得更快，以此实现收敛速度的加快。

在本实施例中，U-Net网络结构的最底层设置空洞卷积模块，以此实现高效的密集语义标记性能，处理多尺度上的目标分割问题。空洞卷积模块的网络结构由多个空洞卷积分支组成，每个分支具有不同的扩张率。具体的，如图4所示，该模块对编码器最后一层输出的特征图首先分别并行进行多次卷积操作，分别包括：采用1×1卷积核对特征图进行卷积操作，以提高非线性表达能力；采用不同扩张率的空洞卷积对特征图进行卷积操作，以增加感受野，在本实施例中，采用扩张率(即rate)分别为6、12的3×3空洞卷积操作对特征图进行卷积操作，以增加感受野；采用平均池化操作后，将特征图输入至1×1卷积核中进行卷积操作，再利用双线性插值上采样至输入图像的原始大小。该网络中各层空洞卷积与多尺度特征提取相关联，不同的扩张率对应不同尺度的特征图。每个分支都是相互独立的，较小的扩张率用于关联小范围信息，而较大的扩张率用于关联大范围信息。之后，特征图通过多次并行卷积操作后，将通过金字塔模型输出的不同尺度特征图拼接，将融合了多个多尺度的特征图输入至1×1卷积层中进行卷积，最后输出该经过空洞卷积处理的全局特征图至解码器中。通过设置上述模块，能够在不损失特征图分辨率的情况下扩大接受域，能够更好的获取图像的全局信息，避免提取图像特征不全面的问题。通过上述改进的U-Net网络，更全面的提取能够体现血管特征的图像全局特征。

另一方面，考虑到随着网络的加深，特征图分辨率逐渐减小，血管区域的边缘细节特征会逐渐丢失，提取的图像全局特征中包含的血管区域边缘特征较少，最终影响冠状动脉图像的分割精度。为此，本实施例在利用改进的U-Net网络提取冠状动脉图像的全局特征的同时，利用边缘特征提取网络提取冠状动脉图像的边缘细节特征，以保证最终图像分割时边缘分割的准确性。具体的，边缘特征提取网络能够对富含边缘细节特征的图像进行边缘提取，从而进一步提升分割精度，解决图像边缘模糊的问题。

具体的，冠状动脉造影图像中的血管极为细小，血管区域与其他区域的交界处并不明显、清晰，上述提取图像全局特征的过程中往往更注重增强血管中心部位而弱化边缘部位，尤其是在边缘模糊的病变图像中，这种情况会进一步加重，因此，本实施例设置边缘特征提取网络来提取血管边缘信息。在提取全局特征的过程中，随着网络层数的加深，提取的特征图更注重增强血管中心部位，针对深层图像提取其边缘特征的效果并不好，因此本实施例中，将提取全局特征和提取边缘特征分开进行，仅对图像的浅层特征进行边缘信息的提取，一方面并不影响全局特征的提取，另一方面还能够保证提取的边缘信息最全面。边缘特征提取网络首先对原始输入的冠状动脉图像进行卷积提取特征图，然后针对特征图，扩大图像的背景区域和前景区域，之后将扩大的背景区域和前景区域相加，得到特征图的边缘轮廓，然后在将边缘轮廓作为增强信息加入至特征图中，以此实现边缘位置权重的增强，进而输出提取的边缘细节特征图。

上述边缘特征提取网络如图5所示，原始输入的冠状动脉图像作为输入，输入至边缘特征提取网络中，通过卷积层提取特征图并经过激活层(在本实施例中采用Sigmoid函数激活)激活后分别输入两个并行分支，由于最大池化操作可以有效保留图像的边缘、纹理等特征，因此其中一个分支对激活后的特征图进行取反操作后再进行最大池化操作，从而扩大背景区域，另一个分支对激活后的特征图直接进行最大池化操作，以扩大前景区域，将两个并行分支的输出进行元素相加，得到输入图像的边缘轮廓特征图，然后将边缘轮廓特征图与经过最大池化的特征图相加得到边缘增强后的特征图，即边缘细节特征图，最终将输出结果与解码器输出的图像全局特征图进行级联，得到冠状动脉分割模型最终输出的特征图。

进一步的，设输入特征图经过Sigmoid激活后背景的训练权重为0，中心权重为1，边缘权重为0.5，经过与图4中两分支对应的操作之后输出增强边缘权重的特征图。由最终输出的结果可见，边缘位置权重由之前的[0.5, 1]增加到了[1, 1.5]，可由下述公式表示：；/>；/>+(/>+/>)。

上式中，代表输入的特征图，/>代表输入特征图经过激活和最大池化操作的输出，/>代表输入特征图经过取反激活之后最大池化的输出，/>为计算得出的经过边缘增强的边缘细节特征图。

通过上述边缘特征提取网络，能够有效提取并增强原始特征图中血管区域的边缘细节，有利于后续冠状动脉图像的分割。

最后，拼接边缘细节特征图与冠状动脉主干特征图，得到冠状动脉分割模型最终输出的特征图，该特征图通过全连接层，输出图像分割后的结果。

上述冠状动脉分割模型的训练过程包括：

获取多张标注血管区域的冠状动脉图像作为训练样本图像，对训练样本图像进行图像预处理，构建训练集；

构建基于改进的U-Net网络和边缘特征提取网络的冠状动脉分割模型，利用训练集训练该冠状动脉分割模型，根据模型输出结果与实际目标值通过损失函数计算损失值，并根据损失值反向传播误差，利用优化器更新网络参数，不断循环迭代，直至训练达到预设停止标准，完成模型的训练。

在本实施例中，上述预处理过程包括统一分辨率、数据增广和图像归一化。由于训练数据集中的图像分辨率不统一，本实施例将所有训练数据集的分辨率统一为256×256，并采用水平翻转、垂直翻转和RGB通道转移等数据增广方式来扩充训练数据集，这样能够让网络模型更好的学习到图像中的特征，并起到防止网络过拟合的作用；在将经过增广扩充的数据集在训练之间进行图像数据的归一化，这有利于训练时梯度下降，使网络的收敛速度更快。

在本实施例中，上述冠状动脉分割模型的损失函数采用Dice损失函数和加权交叉熵损失函数/>，即：/>。其中，/>为权重参数，在本实施例中/>的初始值取1，随着网络训练的迭代进行，确定/>的最优值，得到训练完成的冠状动脉分割模型。

由于图像的绝大部分像素都属于非边缘像素，边缘像素点和非边缘像素点的分布非常不平衡，采用一般的交叉熵损失函数难以训练模型，因此，本实施例中改进交叉熵损失函数，采用加权交叉熵损失函数训练模型，该损失函数的公式为：；其中，/>和/>分别表示图像中边缘像素的集合和非边缘像素的集合；/>，，X表示输入图像(即冠状动脉图像)，/>表示像素点j经过Sigmoid函数计算得到的结果。

上述加权交叉熵损失函数中的权重参数a能够解决因像素分布不平衡而导致的训练不收敛的问题，但是也会引起预测结果边缘不清晰的问题，为此，本实施例还设置了Dice损失函数，该损失函数的公式为：/>；其中，/>表示原始图像中第i个像素的像素值，/>表示预测图像(即分割后的图像)中第i个像素的像素值。

通过本实施例所提出的基于深度学习的冠状动脉图像分割方法，对冠状动脉图像进行图像分割，并利用医学图像中常用的分割指标如Dice相似系数DSC、准确性ACC等对分割结果进行评估，可以发现通过本实施例上述分割方法所得到的冠状动脉图像分割结果相较于现有方案更优，针对冠状动脉图像能够分割处更精确的血管区域。

实施例二

本实施例提供了一种基于深度学习的冠状动脉图像分割系统，包括：

图像获取模块，用于获取待分割的冠状动脉图像；

图像分割模块，用于将待分割的冠状动脉图像作为输入图像，输入至基于改进的U-Net网络和边缘特征提取网络的冠状动脉分割模型中，输出冠状动脉图像分割结果；所述改进的U-Net网络采用编码器-解码器结构，并在编码器-解码器结构的最底层设置空洞卷积模块，且编码器包括多层下采样层，每层下采样层中包括依次连接的卷积模块和注意力模块；所述图像分割模块包括：

全局特征提取模块，用于将输入图像通过编码器进行多次下采样提取多尺度特征图，最后一层输出的特征图通过空洞卷积模块后输出全局特征图；解码器的下采样层与上采样层间跳跃连接，并对全局特征图依次进行上采样，输出特征图；

边缘特征提取模块，用于将输入图像通过边缘特征提取网络输出边缘细节特征图；

分割结果输出模块，用于将边缘细节特征图与特征图融合后经过全连接层，输出冠状动脉图像分割结果。

以上实施例二中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

以上所述仅为本发明的优选实施例，虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (4)

1.一种基于深度学习的冠状动脉图像分割方法，其特征是，包括：

获取待分割的冠状动脉图像；

将待分割的冠状动脉图像作为输入图像，输入至基于改进的U-Net网络和边缘特征提取网络的冠状动脉分割模型中，输出冠状动脉图像分割结果；所述改进的U-Net网络采用编码器-解码器结构，并在编码器-解码器结构的最底层设置空洞卷积模块，且编码器包括多层下采样层，每层下采样层中包括依次连接的卷积模块和注意力模块；

所述输出冠状动脉图像分割结果，包括：

输入图像通过编码器进行多次下采样提取多尺度特征图；所述编码器的每层下采样层中包括依次连接的卷积模块、注意力模块、批归一化层和激活层；输入图像通过卷积模块提取特征图并输入至注意力模块，所述注意力模块包括3个分支，分别在特征图高度、宽度以及通道方向上进行特征提取：在高度分支中，对输入特征图在高度方向上进行平均池化，得到高度方向上的注意力权重；在宽度分支中，对输入特征图在宽度方向上进行平均池化，得到宽度方向上的注意力权重；在通道分支中，对输入特征图在通道方向上分别进行平均池化和最大池化，并采用ReLU激活函数激活池化后的特征图，将激活后的两种特征图按照高度方向拼接，之后进行平均池化，得到通道方向上的注意力权重；最后，利用高度、宽度、通道方向上的注意力权重，分别施加在输入的特征图中，得到融合注意力权重的中间特征图；中间特征图通过批归一化层和激活层后，输出当前下采样层的冠状动脉特征图；

编码器最后一层下采样层输出的冠状动脉特征图输入至空洞卷积模块中，通过多个不同采样率的并行空洞卷积层进行特征提取，并行提取的特征拼接后输出冠状动脉全局特征图；其中，所述空洞卷积模块由多个空洞卷积分支组成，每个分支具有不同的扩张率；空洞卷积模块对编码器最后一层下采样层输出的冠状动脉特征图首先分别并行进行多次并行卷积操作，包括：

采用1×1卷积核对冠状动脉特征图进行卷积操作；

采用不同扩张率的空洞卷积对冠状动脉特征图进行卷积操作；

对冠状动脉特征图进行平均池化操作后，再输入至3×3卷积核中进行卷积操作，并利用双线性插值上采样至输入图像的原始大小；

在冠状动脉特征图通过多次并行卷积操作后，将输出的不同尺度特征图拼接，拼接后的特征图输入至1×1卷积层中进行卷积，输出冠状动脉全局特征图；

编码器的下采样层与解码器的上采样层跳跃连接，并对冠状动脉全局特征图依次进行上采样，最终输出冠状动脉主干特征图；

输入图像通过边缘特征提取网络输出边缘细节特征图，包括：

冠状动脉图像作为原始的输入图像输入至边缘特征提取网络中，依次经过卷积层提取浅层特征图和激活层激活后，分别输入至两个并行分支，其中一个分支对激活后的浅层特征图依次进行取反操作和最大池化操作，以此扩大背景区域；另一个分支对激活后的浅层特征图进行最大池化操作，以此扩大前景区域；

将两个并行分支的输出进行元素相加，得到边缘轮廓特征图，将边缘轮廓特征图与经过最大池化操作的浅层特征图相加，得到边缘增强后的特征图，即边缘细节特征图；

边缘细节特征图与冠状动脉主干特征图融合后经过全连接层，输出冠状动脉图像分割结果。

2.如权利要求1所述的基于深度学习的冠状动脉图像分割方法，其特征是，所述冠状动脉分割模型的训练过程包括：

获取多张标注血管区域的冠状动脉图像作为训练样本图像，对训练样本图像进行图像预处理，构建训练集；

构建基于改进的U-Net网络和边缘特征提取网络的冠状动脉分割模型，利用训练集训练冠状动脉分割模型，根据模型输出结果与实际目标值通过损失函数计算损失值，并根据损失值反向传播误差，利用优化器更新网络参数，不断循环迭代，直至训练达到预设停止标准，完成模型的训练。

3.如权利要求2所述的基于深度学习的冠状动脉图像分割方法，其特征是，所述图像预处理过程包括统一分辨率、数据增广和图像归一化。

4.一种基于深度学习的冠状动脉图像分割系统，其特征是，包括：

图像获取模块，用于获取待分割的冠状动脉图像；

图像分割模块，用于将待分割的冠状动脉图像作为输入图像，输入至基于改进的U-Net网络和边缘特征提取网络的冠状动脉分割模型中，输出冠状动脉图像分割结果；所述改进的U-Net网络采用编码器-解码器结构，并在编码器-解码器结构的最底层设置空洞卷积模块，且编码器包括多层下采样层，每层下采样层中包括依次连接的卷积模块和注意力模块；所述图像分割模块包括：

全局特征提取模块，用于将输入图像通过编码器进行多次下采样提取多尺度特征图；所述编码器的每层下采样层中包括依次连接的卷积模块、注意力模块、批归一化层和激活层；输入图像通过卷积模块提取特征图并输入至注意力模块，所述注意力模块包括3个分支，分别在特征图高度、宽度以及通道方向上进行特征提取：在高度分支中，对输入特征图在高度方向上进行平均池化，得到高度方向上的注意力权重；在宽度分支中，对输入特征图在宽度方向上进行平均池化，得到宽度方向上的注意力权重；在通道分支中，对输入特征图在通道方向上分别进行平均池化和最大池化，并采用ReLU激活函数激活池化后的特征图，将激活后的两种特征图按照高度方向拼接，之后进行平均池化，得到通道方向上的注意力权重；最后，利用高度、宽度、通道方向上的注意力权重，分别施加在输入的特征图中，得到融合注意力权重的中间特征图；中间特征图通过批归一化层和激活层后，输出当前下采样层的冠状动脉特征图；

编码器最后一层下采样层输出的冠状动脉特征图输入至空洞卷积模块中，通过多个不同采样率的并行空洞卷积层进行特征提取，并行提取的特征拼接后输出冠状动脉全局特征图；其中，所述空洞卷积模块由多个空洞卷积分支组成，每个分支具有不同的扩张率；空洞卷积模块对编码器最后一层下采样层输出的冠状动脉特征图首先分别并行进行多次并行卷积操作，包括：

采用1×1卷积核对冠状动脉特征图进行卷积操作；

采用不同扩张率的空洞卷积对冠状动脉特征图进行卷积操作；

对冠状动脉特征图进行平均池化操作后，再输入至3×3卷积核中进行卷积操作，并利用双线性插值上采样至输入图像的原始大小；

在冠状动脉特征图通过多次并行卷积操作后，将输出的不同尺度特征图拼接，拼接后的特征图输入至1×1卷积层中进行卷积，输出冠状动脉全局特征图；

编码器的下采样层与解码器的上采样层跳跃连接，并对冠状动脉全局特征图依次进行上采样，最终输出冠状动脉主干特征图；

边缘特征提取模块，用于将输入图像通过边缘特征提取网络输出边缘细节特征图，包括：

冠状动脉图像作为原始的输入图像输入至边缘特征提取网络中，依次经过卷积层提取浅层特征图和激活层激活后，分别输入至两个并行分支，其中一个分支对激活后的浅层特征图依次进行取反操作和最大池化操作，以此扩大背景区域；另一个分支对激活后的浅层特征图进行最大池化操作，以此扩大前景区域；

将两个并行分支的输出进行元素相加，得到边缘轮廓特征图，将边缘轮廓特征图与经过最大池化操作的浅层特征图相加，得到边缘增强后的特征图，即边缘细节特征图；

分割结果输出模块，用于将边缘细节特征图与冠状动脉主干特征图融合后经过全连接层，输出冠状动脉图像分割结果。