CN117218134A - Cta图像的血管分割方法、系统、介质及电子设备 - Google Patents
Cta图像的血管分割方法、系统、介质及电子设备 Download PDFInfo
- Publication number
- CN117218134A CN117218134A CN202311065260.2A CN202311065260A CN117218134A CN 117218134 A CN117218134 A CN 117218134A CN 202311065260 A CN202311065260 A CN 202311065260A CN 117218134 A CN117218134 A CN 117218134A
- Authority
- CN
- China
- Prior art keywords
- cta image
- vessel segmentation
- cta
- blood vessel
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 284
- 210000004204 blood vessel Anatomy 0.000 title claims abstract description 178
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012549 training Methods 0.000 claims abstract description 124
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000013528 artificial neural network Methods 0.000 claims description 25
- 238000011156 evaluation Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 8
- 238000003709 image segmentation Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims 4
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 claims 2
- 230000002792 vascular Effects 0.000 abstract description 25
- 230000008901 benefit Effects 0.000 abstract description 10
- 238000002372 labelling Methods 0.000 abstract description 7
- 238000010968 computed tomography angiography Methods 0.000 description 313
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 210000003625 skull Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 210000001367 artery Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015624 blood vessel development Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请公开了一种CTA图像的血管分割方法、系统、介质及电子设备，方法包括：获取并预处理针对目标对象扫描的CTA图像，得到目标CTA图像；将目标CTA图像输入预先训练的血管分割模型中；预先训练的血管分割模型是基于混合训练策略训练的，混合训练策略包括采用存在血管分割标签的第一CTA图像集合进行训练和采用不存在血管分割标签的第二CTA图像集合进行自监督训练；输出目标CTA图像对应的血管分割结果。由于本申请采用监督训练加自监督训练的混合训练策略对血管分割模型训练，自监督训练可扩展存在血管分割标签的模型训练样本，解决了样本量不足和标注难度较大的问题，同时样本量的增加能充分发挥Transformer网络捕捉长距离依赖的优势，提高了血管分割精度和鲁棒性。
Description
技术领域
本申请涉及医疗影像处理技术领域，特别涉及一种CTA图像的血管分割方法、系统、介质及电子设备。
背景技术
CTA(CT angiography，CT血管造影)图像是对人体血管注射造影剂的情况下进行CT扫描后得到的图像。CTA图像中血管显影较为明显，可清楚地显示动脉以及主要分支，能帮助医生了解患者血管的形态、位置、大小等信息。然而特殊器官(例如脑部)的血管分支复杂、形态多样、血管与周围组织重叠、成像存在伪影噪声干扰、对比度低等原因，造成了特殊器官的血管分割精确度低。
现有技术中，基于Transformer网络的血管分割网络实现血管分割得到了应用，Transformer网络是一种基于自注意力机制的神经网络，该网络对输入信息全局特征和长距离相关性具有天然良好的建模能力，能够更好地提取关键特征以弥补CNN的不足，提高分割精度，然而充分发挥Transformer捕捉长距离依赖的优势需要一定的样本量，而大多数医学图像数据集都不能满足足够的样本量，从而降低了血管分割精度。
发明内容
本申请实施例提供了一种CTA图像的血管分割方法、系统、介质及电子设备。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
第一方面，本申请实施例提供了一种CTA图像的血管分割方法，方法包括：
获取并预处理针对目标对象扫描的CTA图像，得到目标CTA图像；
将目标CTA图像输入预先训练的血管分割模型中；其中，预先训练的血管分割模型是基于混合训练策略训练的，混合训练策略包括采用存在血管分割标签的第一CTA图像集合进行监督训练以及采用不存在血管分割标签的第二CTA图像集合进行自监督训练；
输出目标CTA图像对应的血管分割结果。
可选的，获取针对目标对象扫描的待处理CTA图像之前，还包括：
建立HSMCTransNet神经网络，得到血管分割模型；所述HSMCTransNet神经网络包括多尺度级联模块，所述多尺度级联模块包括TransBTSv1神经网络的transformer模块与ASPP模块，所述TransBTSv1神经网络是将Unet架构中部分结构替换为Transformer网络后建立的，所述ASPP模块是采用空洞卷积和金字塔池化技术构建的；
收集存在血管分割标签的第一CTA图像集合和不存在血管分割标签的第二CTA图像集合；
根据第一CTA图像集合，对血管分割模型进行监督训练，得到初始血管分割模型；
根据第二CTA图像集合，对初始血管分割模型进行自监督训练，得到预先训练的血管分割模型。
可选的，根据第二CTA图像集合，对初始血管分割模型进行自监督训练，得到预先训练的血管分割模型，包括：
将第二CTA图像集合按照预设分组参数进行分组，得到多组第二CTA图像；
在多组第二CTA图像中遍历出目标组CTA图像；其中，目标组CTA图像为多组第二CTA图像中任意一组第二CTA图像；
根据目标组CTA图像，建立目标组CTA图像中每个CTA图像对应的伪标签；
将目标组CTA图像中每个CTA图像对应的伪标签及其CTA图像加入到第一CTA图像集合中，得到扩充数据后的第一CTA图像集合；
根据扩充数据后的第一CTA图像集合，对初始血管分割模型进行训练，以使模型进行收敛；
继续执行在多组第二CTA图像中遍历出目标组CTA图像的步骤，直到在多组第二CTA图像中每组CTA图像全部遍历处理结束的情况下，生成预先训练的血管分割模型；其中，
每次遍历的目标组CTA图像对上一次遍历时所训练的模型继续训练。
可选的，根据目标组CTA图像，建立目标组CTA图像中每个CTA图像对应的伪标签，包括：
将第三CTA图像输入初始血管分割模型中，输出第三CTA图像对应的目标血管分割标签；第三CTA图像为目标组CTA图像中任意一个CTA图像；
根据第三CTA图像和第四CTA图像，判定目标血管分割标签是否为第三CTA图像的伪标签；第四CTA图像为第一CTA图像集合中任意一个CTA图像；
在目标血管分割标签为第三CTA图像的伪标签的情况下，将目标血管分割标签作为第三CTA图像的伪标签，得到目标组CTA图像中每个CTA图像对应的伪标签；或者，
在所述目标血管分割标签不为所述第三CTA图像的伪标签的情况下，对所述第四CTA图像的血管分割标签应用所述形变场参数进行逆变换，并将逆变换得到的标签确定为所述第三CTA图像的伪标签。
可选的，根据第三CTA图像和第四CTA图像，判定目标血管分割标签是否为第三CTA图像的伪标签，包括：
将第三CTA图像配准至第四CTA图像，得到形变场参数；
将形变场参数作用于目标血管分割标签，得到判定标签；
计算判定标签与第四CTA图像的血管分割标签的DICE指数；DICE指数是一种图像分割质量的评估指标；
根据评估指标，判定目标血管分割标签是否为第三CTA图像的伪标签。
可选的，根据评估指标，判定目标血管分割标签是否为第三CTA图像的伪标签，包括：
在评估指标大于等于预设阈值的情况下，将目标血管分割标签确定为第三CTA图像的伪标签；或者，
在评估指标小于预设阈值的情况下，确定目标血管分割标签不为第三CTA图像的伪标签。
可选的，根据第一CTA图像集合，对血管分割模型进行监督训练，得到初始血管分割模型，包括：
将第一CTA图像集合中各个第一CTA图像输入血管分割模型中，输出血管分割模型对应的模型损失值；
在模型损失值到达最小的情况下，生成初始血管分割模型；或者，
在模型损失值未到达最小的情况下，继续执行将第一CTA图像集合中各个第一CTA图像输入血管分割模型中的步骤，直到模型损失值到达最小。
第二方面，本申请实施例提供了一种CTA图像的血管分割系统，系统包括：
图像获取模块，用于获取并预处理针对目标对象扫描的CTA图像，得到目标CTA图像；
图像输入模块，用于将目标CTA图像输入预先训练的血管分割模型中；其中，预先训练的血管分割模型是基于混合训练策略训练的，混合训练策略包括采用存在血管分割标签的第一CTA图像集合进行监督训练以及采用不存在血管分割标签的第二CTA图像集合进行自监督训练；
分割结果输出模块，用于输出目标CTA图像对应的血管分割结果。
第三方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种电子设备，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，CTA图像的血管分割系统首先获取并预处理针对目标对象扫描的CTA图像，得到目标CTA图像，然后将目标CTA图像输入预先训练的血管分割模型中；预先训练的血管分割模型是基于混合训练策略训练的，混合训练策略包括采用存在血管分割标签的第一CTA图像集合进行训练和采用不存在血管分割标签的第二CTA图像集合进行自监督训练，最后输出目标CTA图像对应的血管分割结果。由于本申请采用监督训练加自监督训练的混合训练策略对血管分割模型训练，自监督训练可扩展存在血管分割标签的模型训练样本，解决了样本量不足和标注难度较大的问题，同时样本量的增加能充分发挥Transformer网络捕捉长距离依赖的优势，提高了血管分割精度和鲁棒性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是本申请实施例提供的一种CTA图像的血管分割方法的流程示意图；
图2是本申请实施例提供的一种血管分割模型训练过程的流程示意图；
图3是本申请实施例提供的一种HSMCTransNet神经网络的网络架构图；
图4是本申请实施例提供的一种ASPP模块的网络结构示意图；
图5是本申请实施例提供的一种混合监督训练策略流程图；
图6是本申请实施例提供的一种血管分割效果的效果图；
图7是本申请实施例提供的一种CTA图像的血管分割系统的结构示意图；
图8是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述和附图充分地示出本申请的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的系统和方法的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请提供了一种CTA图像的血管分割方法、系统、介质及电子设备，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，由于本申请采用监督训练加自监督训练的混合训练策略对血管分割模型训练，自监督训练可扩展存在血管分割标签的模型训练样本，解决了样本量不足和标注难度较大的问题，同时样本量的增加能充分发挥Transformer网络捕捉长距离依赖的优势，提高了血管分割精度和鲁棒性，下面采用示例性的实施例进行详细说明。
下面将结合附图1-附图6，对本申请实施例提供的CTA图像的血管分割方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的CTA图像的血管分割系统上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。
请参见图1，为本申请实施例提供了一种CTA图像的血管分割方法的流程示意图。如图1所示，本申请实施例的方法可以包括以下步骤：
S101，获取并预处理针对目标对象扫描的CTA图像，得到目标CTA图像；
其中，目标对象可以是需要进行血管分割的患者，CTA图像可以是采用成像设备针对该目标对象的头部进行扫描后生成的，预处理至少包括数据归一化、脑壳去除等。
通常，归一化消除不同特征之间的量纲差异，使得不同特征对模型的影响权重更加均衡。脑壳是一个非常明显的结构，会对血管的分割造成干扰。因此，脑壳去除可以使神经网络更容易地分割血管，提高分割的准确性和效率。另外，去除脑壳还可以减少图像处理的时间和计算量，使分割过程更快速和稳定。
在一种可能的实现方式中，在CTA图像的血管分割时，首先通过成像设备对目标对象的头部进行扫描，得到CTA图像，然后对CTA图像中的图像参数进行归一化处理，以及定位出CTA图像中的脑壳，并去除脑壳对应的图像参数，最终得到目标CTA图像。
S102，将目标CTA图像输入预先训练的血管分割模型中；其中，预先训练的血管分割模型是基于混合训练策略训练的，混合训练策略包括采用存在血管分割标签的第一CTA图像集合进行监督训练以及采用不存在血管分割标签的第二CTA图像集合进行自监督训练；
其中，预先训练的血管分割模型是可以进行CTA图像的血管分割的神经网络模型。预先训练的血管分割模型可对目标CTA图像进行处理，以分割出血管。
在本申请实施例中，在生成预先训练的血管分割模型时，首先建立HSMCTransNet神经网络，得到血管分割模型；所述HSMCTransNet神经网络包括多尺度级联模块，所述多尺度级联模块包括TransBTSv1神经网络的transformer模块与ASPP模块，所述TransBTSv1神经网络是将Unet架构中部分结构替换为Transformer网络后建立的，所述ASPP模块是采用空洞卷积和金字塔池化技术构建的；然后收集存在血管分割标签的第一CTA图像集合和不存在血管分割标签的第二CTA图像集合；其次根据第一CTA图像集合，对血管分割模型进行监督训练，得到初始血管分割模型；最后根据第二CTA图像集合，对初始血管分割模型进行自监督训练，得到预先训练的血管分割模型。
在一种可能的实现方式中，将目标CTA图像输入预先训练的血管分割模型中进行处理时，预先训练的血管分割模型中编码模块通过多层卷积和池化等操作将输入目标CTA图像的特征抽象出来，得到高维特征向量；预先训练的血管分割模型中解码模块通过反卷积和上采样等操作将高维特征向量转换为与输入图像相同大小的输出图像，最终处理结束后得到目标CTA图像对应的血管分割结果。
S103，输出目标CTA图像对应的血管分割结果。
在一种可能的实现方式中，在得到目标CTA图像对应的血管分割结果后，可输出目标CTA图像对应的血管分割结果，以在显示器进行展示，例如图6所示。
在本申请实施例中，CTA图像的血管分割系统首先获取并预处理针对目标对象扫描的CTA图像，得到目标CTA图像，然后将目标CTA图像输入预先训练的血管分割模型中；预先训练的血管分割模型是基于混合训练策略训练的，混合训练策略包括采用存在血管分割标签的第一CTA图像集合进行训练和采用不存在血管分割标签的第二CTA图像集合进行自监督训练，最后输出目标CTA图像对应的血管分割结果。由于本申请采用监督训练加自监督训练的混合训练策略对血管分割模型训练，自监督训练可扩展存在血管分割标签的模型训练样本，解决了样本量不足和标注难度较大的问题，同时样本量的增加能充分发挥Transformer网络捕捉长距离依赖的优势，提高了血管分割精度和鲁棒性。
请参见图2，图2是本申请提供的一种血管分割模型训练过程的流程示意图，如图2所示，本申请实施例的方法可以包括以下步骤：
S201，建立HSMCTransNet神经网络，得到血管分割模型；所述HSMCTransNet神经网络包括多尺度级联模块，所述多尺度级联模块包括TransBTSv1神经网络的transformer模块与ASPP模块，所述TransBTSv1神经网络是将Unet架构中部分结构替换为Transformer网络后建立的，所述ASPP模块是采用空洞卷积和金字塔池化技术构建的；
在本申请实施例中，HSMCTransNet网络训练使用AdamW优化器，Focal Loss损失函数，采用ImageNet预训练权重，Epochs设置为100，在Pytorch2.0库环境下运行，整体架构如图3所示。
具体的，使用Transformer网络来代替Unet中的卷积等操作从而更好地处理长距离依赖关系，提高了模型的语义理解能力和分割精度。Transformer是一种基于自注意力机制的神经网络模型，而Unet是一种用于图像分割任务的神经网络模型，具有跳跃连接的特点。将Transformer应用于Unet中的低分率跳跃连接层，可以通过自注意力机制来学习特征之间的关系，更好地保留全局信息,不引入过多参数的同时，缓解了卷积神经网络(CNN)捕捉长距离依赖能力上的劣势,可以提高图像分割的准确性和效率。
具体的，相比TransBTSv1神经网络，HSMCTransNet加入了底部多尺度级联模块，以提高模型的性能和精度。跨尺度特征融合模块可以将不同尺度的特征图进行融合，从而使模型能够更好地处理不同尺度的目标；底部级联采取transformer与空洞空间卷积池化金字塔(ASPP)并行的方式，保留部分位置信息，缓解了Transformer缺乏位置信息的弊端，对对比度较低的血管分割精度有所提升，血管断裂不连续的情况也有所改善。ASPP结构通过在卷积层中引入空洞卷积(dilated convolution)和金字塔池化(pyramid pooling)两种技术，来提高网络的感受野(receptive field)和分辨率(resolution)，从而提高图像分割的准确性。空洞卷积是一种卷积操作，它在卷积核中插入一些空洞(或称为膨胀率)，以增加卷积核的感受野。通过使用不同的空洞率，ASPP结构可以捕捉不同尺度的图像特征。金字塔池化是一种池化操作，它在不同的池化层中使用不同的池化核大小和步幅，以捕捉不同尺度的图像特征。通过使用金字塔池化，ASPP结构可以在不损失分辨率的情况下，捕捉不同尺度的图像特征。网络结构示意图例如图4所示。
S202，收集存在血管分割标签的第一CTA图像集合和不存在血管分割标签的第二CTA图像集合；
在本申请实施例中，在建立了HSMCTransNet神经网络，得到血管分割模型后，可收集存在血管分割标签的第一CTA图像集合和不存在血管分割标签的第二CTA图像集合。
S203，根据第一CTA图像集合，对血管分割模型进行监督训练，得到初始血管分割模型；
在本申请实施例中，在根据第一CTA图像集合，对血管分割模型进行监督训练时，首先将第一CTA图像集合中各个第一CTA图像输入血管分割模型中，输出血管分割模型对应的模型损失值；然后在模型损失值到达最小的情况下，生成初始血管分割模型；或者，在模型损失值未到达最小的情况下，继续执行将第一CTA图像集合中各个第一CTA图像输入血管分割模型中的步骤，直到模型损失值到达最小。
S204，根据第二CTA图像集合，对初始血管分割模型进行自监督训练，得到预先训练的血管分割模型。
在本申请实施例中，在根据第二CTA图像集合，对初始血管分割模型进行自监督训练时，首先将第二CTA图像集合按照预设分组参数进行分组，得到多组第二CTA图像；然后在多组第二CTA图像中遍历出目标组CTA图像；其中，目标组CTA图像为多组第二CTA图像中任意一组第二CTA图像；其次根据目标组CTA图像，建立目标组CTA图像中每个CTA图像对应的伪标签；再将目标组CTA图像中每个CTA图像对应的伪标签及其CTA图像加入到第一CTA图像集合中，得到扩充数据后的第一CTA图像集合；最后根据扩充数据后的第一CTA图像集合，对初始血管分割模型进行训练，以使模型进行收敛；并继续执行在多组第二CTA图像中遍历出目标组CTA图像的步骤，直到在多组第二CTA图像中每组CTA图像全部遍历处理结束的情况下，生成预先训练的血管分割模型；其中，每次遍历的目标组CTA图像对上一次遍历时所训练的模型继续训练。
例如，多组第二CTA图像分别为A、B、C、D、E，遍历出的目标组CTA图像为A，此时建立A中每个CTA图像对应的伪标签，然后将建立的伪标签及其CTA图像添加到第一CTA图像集合中，并采用添加样本后的第一CTA图像集合对初始血管分割模型进行训练，以使模型进行收敛；继续遍历出B，此时再建立B中每个CTA图像对应的伪标签，然后将建立的伪标签及其CTA图像继续添加到第一CTA图像集合中，并采用添加样本后的第一CTA图像集合对基于A训练的模型继续进行训练，以使模型进行收敛；同理遍历C、D、E，直到多组第二CTA图像遍历结束。
具体的，在根据目标组CTA图像，建立目标组CTA图像中每个CTA图像对应的伪标签时，首先将第三CTA图像输入初始血管分割模型中，输出第三CTA图像对应的目标血管分割标签；第三CTA图像为目标组CTA图像中任意一个CTA图像；然后根据第三CTA图像和第四CTA图像，判定目标血管分割标签是否为第三CTA图像的伪标签；第四CTA图像为第一CTA图像集合中任意一个CTA图像；最后在目标血管分割标签为第三CTA图像的伪标签的情况下，将目标血管分割标签作为第三CTA图像的伪标签，得到目标组CTA图像中每个CTA图像对应的伪标签；或者，在所述目标血管分割标签不为所述第三CTA图像的伪标签的情况下，对所述第四CTA图像的血管分割标签应用所述形变场参数进行逆变换，并将逆变换得到的标签确定为所述第三CTA图像的伪标签。
具体的，在根据第三CTA图像和第四CTA图像，判定目标血管分割标签是否为第三CTA图像的伪标签时，首先将第三CTA图像配准至第四CTA图像，得到形变场参数；然后将形变场参数作用于目标血管分割标签，得到判定标签；其次计算判定标签与第四CTA图像的血管分割标签的DICE指数；DICE指数是一种图像分割质量的评估指标；最后根据评估指标，判定目标血管分割标签是否为第三CTA图像的伪标签。
具体的，在根据评估指标，判定目标血管分割标签是否为第三CTA图像的伪标签时，首先在评估指标大于等于预设阈值的情况下，将目标血管分割标签确定为第三CTA图像的伪标签；或者，在评估指标小于预设阈值的情况下，确定目标血管分割标签不为第三CTA图像的伪标签。
在一种可能的实现方式中，例如图5所示，存在血管分割标签的第一CTA图像集合可记为D0，不存在血管分割标签的第二CTA图像集合可记为D1。先通过数据集D0训练血管分割模型至收敛，再使用自监督训练策略(SSTS)生成数据库D1的部分伪标签，然后将新生成的伪标签添加到D0中构成新的训练数据，训练HSMCTransNet至收敛，再使用SSTS生成数据库D1剩余数据的部分伪标签，不断循环，直至D1中全部数据均生成伪标签，且HSMCTransNet训练至收敛。
具体的，在使用自监督训练策略(SSTS)时，处理步骤如下：
(1)将数据库D1随机分为N组，每组依次记为D10,D11,…，D1n-1；
(2)使用数据集D0训练的HSMCTransNet对D10中的图像Im10,Im11,Im12…依次进行预测。
(3)以Im10为例，预测出的血管标签记为M10，随机取D0中一组图像，其中CTA图像记为Im0，血管标签记M0。
(4)将Im10配准至Im0，并将得到的形变场T作用于M10得到新的伪标签M1’,计算M1’与M0的Dice指标，如Dice大于等于0.8,则确定Im10的伪标签为M10，完成Im10的伪标签生成任务。如Dice小于0.8，则对M0应用T的逆变换T’得到新的伪标签M10。
(5)重复步骤3-4，直至D10中全部图像的伪标签全部生成。
(6)将D10中新生成的伪标签及对应的CTA图像加入到HSMCTransNet训练数据集中，训练HSMCTransNet至收敛。
(7)使用收敛网络HSMCTransNet对D11中的图像依次进行预测，重复步骤3-6。完成D11中全部数据的伪标签生成。
(8)循环完成剩余D12,…，D1n-1数据伪标签的生成。
(9)训练HSMCTransNet至收敛。
在本申请实施例中，CTA图像的血管分割系统首先获取并预处理针对目标对象扫描的CTA图像，得到目标CTA图像，然后将目标CTA图像输入预先训练的血管分割模型中；预先训练的血管分割模型是基于混合训练策略训练的，混合训练策略包括采用存在血管分割标签的第一CTA图像集合进行训练和采用不存在血管分割标签的第二CTA图像集合进行自监督训练，最后输出目标CTA图像对应的血管分割结果。由于本申请采用监督训练加自监督训练的混合训练策略对血管分割模型训练，自监督训练可扩展存在血管分割标签的模型训练样本，解决了样本量不足和标注难度较大的问题，同时样本量的增加能充分发挥Transformer网络捕捉长距离依赖的优势，提高了血管分割精度和鲁棒性。
下述为本申请系统实施例，可以用于执行本申请方法实施例。对于本申请系统实施例中未披露的细节，请参照本申请方法实施例。
请参见图7，其示出了本申请一个示例性实施例提供的CTA图像的血管分割系统的结构示意图。该CTA图像的血管分割系统可以通过软件、硬件或者两者的结合实现成为电子设备的全部或一部分。该系统1包括图像获取模块10、图像输入模块20、分割结果输出模块30。
图像获取模块10，用于获取并预处理针对目标对象扫描的CTA图像，得到目标CTA图像；
图像输入模块20，用于将目标CTA图像输入预先训练的血管分割模型中；其中，预先训练的血管分割模型是基于混合训练策略训练的，混合训练策略包括采用存在血管分割标签的第一CTA图像集合进行监督训练以及采用不存在血管分割标签的第二CTA图像集合进行自监督训练；
分割结果输出模块30，用于输出目标CTA图像对应的血管分割结果。
需要说明的是，上述实施例提供的CTA图像的血管分割系统在执行CTA图像的血管分割方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的CTA图像的血管分割系统与CTA图像的血管分割方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请实施例中，CTA图像的血管分割系统首先获取并预处理针对目标对象扫描的CTA图像，得到目标CTA图像，然后将目标CTA图像输入预先训练的血管分割模型中；预先训练的血管分割模型是基于混合训练策略训练的，混合训练策略包括采用存在血管分割标签的第一CTA图像集合进行训练和采用不存在血管分割标签的第二CTA图像集合进行自监督训练，最后输出目标CTA图像对应的血管分割结果。由于本申请采用监督训练加自监督训练的混合训练策略对血管分割模型训练，自监督训练可扩展存在血管分割标签的模型训练样本，解决了样本量不足和标注难度较大的问题，同时样本量的增加能充分发挥Transformer网络捕捉长距离依赖的优势，提高了血管分割精度和鲁棒性。
本申请还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的CTA图像的血管分割方法。
本申请还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例的CTA图像的血管分割方法。
请参见图8，为本申请实施例提供了一种电子设备的结构示意图。如图8所示，电子设备1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种接口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储系统。如图8所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及CTA图像的血管分割应用程序。
在图8所示的电子设备1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的CTA图像的血管分割应用程序，并具体执行以下操作：
获取并预处理针对目标对象扫描的CTA图像，得到目标CTA图像；
将目标CTA图像输入预先训练的血管分割模型中；其中，预先训练的血管分割模型是基于混合训练策略训练的，混合训练策略包括采用存在血管分割标签的第一CTA图像集合进行监督训练以及采用不存在血管分割标签的第二CTA图像集合进行自监督训练；
输出目标CTA图像对应的血管分割结果。
在一个实施例中，处理器1001在获取针对目标对象扫描的待处理CTA图像之前时，还执行以下操作：
建立HSMCTransNet神经网络，得到血管分割模型；所述HSMCTransNet神经网络包括多尺度级联模块，所述多尺度级联模块包括TransBTSv1神经网络的transformer模块与ASPP模块，所述TransBTSv1神经网络是将Unet架构中部分结构替换为Transformer网络后建立的，所述ASPP模块是采用空洞卷积和金字塔池化技术构建的；
收集存在血管分割标签的第一CTA图像集合和不存在血管分割标签的第二CTA图像集合；
根据第一CTA图像集合，对血管分割模型进行监督训练，得到初始血管分割模型；
根据第二CTA图像集合，对初始血管分割模型进行自监督训练，得到预先训练的血管分割模型。
在一个实施例中，处理器1001在根据第二CTA图像集合，对初始血管分割模型进行自监督训练，得到预先训练的血管分割模型时，具体执行以下操作：
将第二CTA图像集合按照预设分组参数进行分组，得到多组第二CTA图像；
在多组第二CTA图像中遍历出目标组CTA图像；其中，目标组CTA图像为多组第二CTA图像中任意一组第二CTA图像；
根据目标组CTA图像，建立目标组CTA图像中每个CTA图像对应的伪标签；
将目标组CTA图像中每个CTA图像对应的伪标签及其CTA图像加入到第一CTA图像集合中，得到扩充数据后的第一CTA图像集合；
根据扩充数据后的第一CTA图像集合，对初始血管分割模型进行训练，以使模型进行收敛；
继续执行在多组第二CTA图像中遍历出目标组CTA图像的步骤，直到在多组第二CTA图像中每组CTA图像全部遍历处理结束的情况下，生成预先训练的血管分割模型；其中，
每次遍历的目标组CTA图像对上一次遍历时所训练的模型继续训练。
在一个实施例中，处理器1001在执行根据目标组CTA图像，建立目标组CTA图像中每个CTA图像对应的伪标签时，具体执行以下操作：
将第三CTA图像输入初始血管分割模型中，输出第三CTA图像对应的目标血管分割标签；第三CTA图像为目标组CTA图像中任意一个CTA图像；
根据第三CTA图像和第四CTA图像，判定目标血管分割标签是否为第三CTA图像的伪标签；第四CTA图像为第一CTA图像集合中任意一个CTA图像；
在目标血管分割标签为第三CTA图像的伪标签的情况下，将目标血管分割标签作为第三CTA图像的伪标签，得到目标组CTA图像中每个CTA图像对应的伪标签。；或者，在所述目标血管分割标签不为所述第三CTA图像的伪标签的情况下，对所述第四CTA图像的血管分割标签应用所述形变场参数进行逆变换，并将逆变换得到的标签确定为所述第三CTA图像的伪标签。
在一个实施例中，处理器1001在执行根据第三CTA图像和第四CTA图像，判定目标血管分割标签是否为第三CTA图像的伪标签时，具体执行以下操作：
将第三CTA图像配准至第四CTA图像，得到形变场参数；
将形变场参数作用于目标血管分割标签，得到判定标签；
计算判定标签与第四CTA图像的血管分割标签的DICE指数；DICE指数是一种图像分割质量的评估指标；
根据评估指标，判定目标血管分割标签是否为第三CTA图像的伪标签。
在一个实施例中，处理器1001在执行根据评估指标，判定目标血管分割标签是否为第三CTA图像的伪标签时，具体执行以下操作：
在评估指标大于等于预设阈值的情况下，将目标血管分割标签确定为第三CTA图像的伪标签；或者，
在评估指标小于预设阈值的情况下，确定目标血管分割标签不为第三CTA图像的伪标签。
在一个实施例中，处理器1001在执行根据第一CTA图像集合，对血管分割模型进行监督训练，得到初始血管分割模型时，具体执行以下操作：
将第一CTA图像集合中各个第一CTA图像输入血管分割模型中，输出血管分割模型对应的模型损失值；
在模型损失值到达最小的情况下，生成初始血管分割模型；或者，
在模型损失值未到达最小的情况下，继续执行将第一CTA图像集合中各个第一CTA图像输入血管分割模型中的步骤，直到模型损失值到达最小。
在本申请实施例中，CTA图像的血管分割系统首先获取并预处理针对目标对象扫描的CTA图像，得到目标CTA图像，然后将目标CTA图像输入预先训练的血管分割模型中；预先训练的血管分割模型是基于混合训练策略训练的，混合训练策略包括采用存在血管分割标签的第一CTA图像集合进行训练和采用不存在血管分割标签的第二CTA图像集合进行自监督训练，最后输出目标CTA图像对应的血管分割结果。由于本申请采用监督训练加自监督训练的混合训练策略对血管分割模型训练，自监督训练可扩展存在血管分割标签的模型训练样本，解决了样本量不足和标注难度较大的问题，同时样本量的增加能充分发挥Transformer网络捕捉长距离依赖的优势，提高了血管分割精度和鲁棒性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，CTA图像的血管分割的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，CTA图像的血管分割的程序的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。
Claims (10)
1.一种CTA图像的血管分割方法，其特征在于，所述方法包括：
获取并预处理针对目标对象扫描的CTA图像，得到目标CTA图像；
将所述目标CTA图像输入预先训练的血管分割模型中；其中，所述预先训练的血管分割模型是基于混合训练策略训练的，所述混合训练策略包括采用存在血管分割标签的第一CTA图像集合进行监督训练以及采用不存在血管分割标签的第二CTA图像集合进行自监督训练；
输出所述目标CTA图像对应的血管分割结果。
2.根据权利要求1所述的方法，其特征在于，所述获取针对目标对象扫描的待处理CTA图像之前，还包括：
建立HSMCTransNet神经网络，得到血管分割模型；所述HSMCTransNet神经网络包括多尺度级联模块，所述多尺度级联模块包括TransBTSv1神经网络的transformer模块与ASPP模块，所述TransBTSv1神经网络是将Unet架构中部分结构替换为Transformer网络后建立的，所述ASPP模块是采用空洞卷积和金字塔池化技术构建的；
收集存在血管分割标签的第一CTA图像集合和不存在血管分割标签的第二CTA图像集合；
根据所述第一CTA图像集合，对所述血管分割模型进行监督训练，得到初始血管分割模型；
根据所述第二CTA图像集合，对所述初始血管分割模型进行自监督训练，得到预先训练的血管分割模型。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第二CTA图像集合，对所述初始血管分割模型进行自监督训练，得到预先训练的血管分割模型，包括：
将所述第二CTA图像集合按照预设分组参数进行分组，得到多组第二CTA图像；
在所述多组第二CTA图像中遍历出目标组CTA图像；其中，所述目标组CTA图像为所述多组第二CTA图像中任意一组第二CTA图像；
根据所述目标组CTA图像，建立所述目标组CTA图像中每个CTA图像对应的伪标签；
将所述目标组CTA图像中每个CTA图像对应的伪标签及其CTA图像加入到所述第一CTA图像集合中，得到扩充数据后的第一CTA图像集合；
根据扩充数据后的第一CTA图像集合，对所述初始血管分割模型进行训练，以使模型进行收敛；
继续执行所述在所述多组第二CTA图像中遍历出目标组CTA图像的步骤，直到在所述多组第二CTA图像中每组CTA图像全部遍历处理结束的情况下，生成预先训练的血管分割模型；其中，
每次遍历的目标组CTA图像对上一次遍历时所训练的模型继续训练。
4.根据权利要求3所述的方法，其特征在于，所述根据所述目标组CTA图像，建立所述目标组CTA图像中每个CTA图像对应的伪标签，包括：
将第三CTA图像输入所述初始血管分割模型中，输出所述第三CTA图像对应的目标血管分割标签；所述第三CTA图像为所述目标组CTA图像中任意一个CTA图像；
根据所述第三CTA图像和第四CTA图像，判定所述目标血管分割标签是否为所述第三CTA图像的伪标签；第四CTA图像为所述第一CTA图像集合中任意一个CTA图像；
在所述目标血管分割标签为所述第三CTA图像的伪标签的情况下，将所述目标血管分割标签作为所述第三CTA图像的伪标签，得到所述目标组CTA图像中每个CTA图像对应的伪标签；或者，
在所述目标血管分割标签不为所述第三CTA图像的伪标签的情况下，对所述第四CTA图像的血管分割标签应用所述形变场参数进行逆变换，并将逆变换得到的标签确定为所述第三CTA图像的伪标签。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第三CTA图像和第四CTA图像，判定所述目标血管分割标签是否为所述第三CTA图像的伪标签，包括：
将所述第三CTA图像配准至所述第四CTA图像，得到形变场参数；
将所述形变场参数作用于所述目标血管分割标签，得到判定标签；
计算所述判定标签与所述第四CTA图像的血管分割标签的DICE指数；所述DICE指数是一种图像分割质量的评估指标；
根据所述评估指标，判定所述目标血管分割标签是否为所述第三CTA图像的伪标签。
6.根据权利要求5所述的方法，其特征在于，所述根据所述评估指标，判定所述目标血管分割标签是否为所述第三CTA图像的伪标签，包括：
在所述评估指标大于等于预设阈值的情况下，将所述目标血管分割标签确定为所述第三CTA图像的伪标签；或者，
在所述评估指标小于预设阈值的情况下，确定所述目标血管分割标签不为所述第三CTA图像的伪标签。
7.根据权利要求2所述的方法，其特征在于，所述根据所述第一CTA图像集合，对所述血管分割模型进行监督训练，得到初始血管分割模型，包括：
将所述第一CTA图像集合中各个第一CTA图像输入所述血管分割模型中，输出所述血管分割模型对应的模型损失值；
在所述模型损失值到达最小的情况下，生成初始血管分割模型；或者，
在所述模型损失值未到达最小的情况下，继续执行所述将所述第一CTA图像集合中各个第一CTA图像输入所述血管分割模型中的步骤，直到所述模型损失值到达最小。
8.一种CTA图像的血管分割系统，其特征在于，所述系统包括：
图像获取模块，用于获取并预处理针对目标对象扫描的CTA图像，得到目标CTA图像；
图像输入模块，用于将所述目标CTA图像输入预先训练的血管分割模型中；其中，所述预先训练的血管分割模型是基于混合训练策略训练的，所述混合训练策略包括采用存在血管分割标签的第一CTA图像集合进行监督训练以及采用不存在血管分割标签的第二CTA图像集合进行自监督训练；
分割结果输出模块，用于输出所述目标CTA图像对应的血管分割结果。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-7任意一项所述的方法。
10.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1-7任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311065260.2A CN117218134A (zh) | 2023-08-22 | 2023-08-22 | Cta图像的血管分割方法、系统、介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311065260.2A CN117218134A (zh) | 2023-08-22 | 2023-08-22 | Cta图像的血管分割方法、系统、介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117218134A true CN117218134A (zh) | 2023-12-12 |
Family
ID=89043329
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311065260.2A Pending CN117218134A (zh) | 2023-08-22 | 2023-08-22 | Cta图像的血管分割方法、系统、介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117218134A (zh) |
-
2023
- 2023-08-22 CN CN202311065260.2A patent/CN117218134A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020215984A1 (zh) | 基于深度学习的医学图像检测方法及相关设备 | |
| Ueda et al. | Technical and clinical overview of deep learning in radiology | |
| Cai et al. | A review of the application of deep learning in medical image classification and segmentation | |
| CN107492099B (zh) | 医学图像分析方法、医学图像分析系统以及存储介质 | |
| CN107997778A (zh) | 在计算机断层扫描血管造影术中基于深度学习的骨移除 | |
| JP7250166B2 (ja) | 画像分割方法及び装置、画像分割モデルのトレーニング方法及び装置 | |
| JP2023511300A (ja) | 医用画像における解剖学的構造を自動的に発見するための方法及びシステム | |
| CN112991346B (zh) | 用于医学图像分析的学习网络的训练方法和训练系统 | |
| US11935213B2 (en) | Laparoscopic image smoke removal method based on generative adversarial network | |
| CN111667459A (zh) | 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质 | |
| CN114881968A (zh) | 基于深度卷积神经网络的octa图像血管分割方法、设备及介质 | |
| Dong et al. | Identifying carotid plaque composition in MRI with convolutional neural networks | |
| CN111340794A (zh) | 冠状动脉狭窄的量化方法及装置 | |
| CN112381824B (zh) | 一种对图像的几何特征进行提取的方法和相关产品 | |
| CN112381822B (zh) | 一种用于处理肺部病灶区图像的方法和相关产品 | |
| CN111507455B (zh) | 神经网络系统生成方法和装置、图像处理方法和电子设备 | |
| US20230126877A1 (en) | Synthetic data generation and annotation for tumor diagnostics and treatment | |
| CN116521915A (zh) | 一种相似医学图像的检索方法、系统、设备及介质 | |
| CN117218134A (zh) | Cta图像的血管分割方法、系统、介质及电子设备 | |
| CN116309346A (zh) | 医学图像的检测方法、装置、设备、存储介质及程序产品 | |
| US20140032180A1 (en) | Method and apparatus for computing deformation of an object | |
| CN111626972B (zh) | Ct图像重构方法、模型训练方法及设备 | |
| CN113393445A (zh) | 乳腺癌影像确定方法及系统 | |
| CN113902689A (zh) | 一种血管中心线提取方法、系统、终端以及存储介质 | |
| JP6253962B2 (ja) | 情報処理装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |