CN116740081A - Ct图像中肺血管分割方法、装置、终端设备及介质 - Google Patents
Ct图像中肺血管分割方法、装置、终端设备及介质 Download PDFInfo
- Publication number
- CN116740081A CN116740081A CN202310954167.0A CN202310954167A CN116740081A CN 116740081 A CN116740081 A CN 116740081A CN 202310954167 A CN202310954167 A CN 202310954167A CN 116740081 A CN116740081 A CN 116740081A
- Authority
- CN
- China
- Prior art keywords
- module
- feature map
- layer
- lung
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 210000001147 pulmonary artery Anatomy 0.000 title claims abstract description 59
- 210000004072 lung Anatomy 0.000 claims abstract description 138
- 230000011218 segmentation Effects 0.000 claims abstract description 118
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 41
- 230000002685 pulmonary effect Effects 0.000 claims abstract description 23
- 238000005070 sampling Methods 0.000 claims abstract description 22
- 238000004590 computer program Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 21
- 230000008521 reorganization Effects 0.000 claims description 18
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 12
- 238000003709 image segmentation Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 15
- 230000004913 activation Effects 0.000 description 11
- 101001014572 Homo sapiens MARCKS-related protein Proteins 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 102100032514 MARCKS-related protein Human genes 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000012952 Resampling Methods 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 239000000047 product Substances 0.000 description 5
- 230000002792 vascular Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000006798 recombination Effects 0.000 description 2
- 238000005215 recombination Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 208000020997 susceptibility to multiple system atrophy 1 Diseases 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- HCUOEKSZWPGJIM-YBRHCDHNSA-N (e,2e)-2-hydroxyimino-6-methoxy-4-methyl-5-nitrohex-3-enamide Chemical compound COCC([N+]([O-])=O)\C(C)=C\C(=N/O)\C(N)=O HCUOEKSZWPGJIM-YBRHCDHNSA-N 0.000 description 1
- 102100028162 ATP-binding cassette sub-family C member 3 Human genes 0.000 description 1
- 102100028187 ATP-binding cassette sub-family C member 6 Human genes 0.000 description 1
- 101000986633 Homo sapiens ATP-binding cassette sub-family C member 3 Proteins 0.000 description 1
- 101000986621 Homo sapiens ATP-binding cassette sub-family C member 6 Proteins 0.000 description 1
- 241000764238 Isis Species 0.000 description 1
- 208000019693 Lung disease Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 210000003123 bronchiole Anatomy 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请适用于图像处理技术领域，提供了一种CT图像中肺血管分割方法、装置、终端设备及介质，该方法包括：获取待分割的肺部CT图像，并输入到预先训练好的肺血管分割模型中，输出肺部CT图像的肺部血管的分割结果；肺血管分割模型包括编码器和解码器；编码器包括深度可分离卷积模块和Swin Transformer模块，这两个模块分别用于获取待分割的肺部CT图像的局部特征信息和全局特征信息；解码器包括残差模块、多维度特征校准模块、上采样路径和通道拼接模块；残差模块、多维度特征校准模块、上采样路径和通道拼接模块用于将局部特征信息和全局特征信息进行融合。本申请能够提升对肺部血管的细小分支的分割精确率。
Description
技术领域
本申请属于图像处理技术领域，尤其涉及一种CT图像中肺血管分割方法、装置、终端设备及介质。
背景技术
肺内包含丰富的血管组织，对这些组织进行分割和可视化是计算机辅助诊断肺部疾病的重要依据。因此，开展面向肺血管分割的计算机辅助手术系统关键技术研究具有重要的意义。
传统的肺血管分割方法，通过对肺CT进行特征提取，为每个CT图像设定一个目标函数，通过优化算法如梯度下降法等，得到最优的模型参数。传统的肺血管分割方法在面对肺部密布的血管丛时，必须依赖大量的人机交互才能提升精度，非常耗时。
发明内容
为克服相关技术中存在的问题，本申请实施例提供了一种CT图像中肺血管分割方法、装置、终端设备及介质，能够提升对肺部血管的细小分支的分割精确率。
本申请是通过如下技术方案实现的：
第一方面，本申请实施例提供了CT图像中肺血管分割方法，包括：
获取待分割的肺部CT图像；
将待分割的肺部CT图像输入到预先训练好的肺血管分割模型中，输出肺部CT图像的肺部血管的分割结果；肺血管分割模型包括编码器和解码器；编码器包括深度可分离卷积模块和Swin Transformer模块；深度可分离卷积模块用于获取待分割的肺部CT图像的局部特征信息，Swin Transformer模块用于获取待分割的肺部CT图像的全局特征信息；解码器包括残差模块、多维度特征校准模块、上采样路径和通道拼接模块；残差模块、多维度特征校准模块、上采样路径和通道拼接模块用于将局部特征信息和全局特征信息进行融合。
在第一方面的一种可能的实现方式中，待分割的肺部CT图像输入深度可分离卷积模块，深度可分离卷积模块输出第二中间特征图；第二中间特征图表征待分割的肺部CT图像的局部特征信息；
第二中间特征图输入Swin Transformer模块，Swin Transformer模块输出第三中间特征图、第四中间特征图和底层特征图；第三中间特征图、第四中间特征图和底层特征图表征肺部CT图像的全局特征信息。
在第一方面的一种可能的实现方式中，深度可分离卷积模块包括Conv1卷积层、Conv2卷积层和Conv3卷积层；肺部CT图像依次经过Conv1卷积层、Conv2卷积层和Conv3卷积层处理后，输出第二中间特征图；
Swin Transformer模块包括第一Swin Transformer模块、第二Swin Transformer模块和第三Swin Transformer模块；
第二中间特征图映射为1D序列后，输入第一Swin Transformer模块，输出第三中间特征图；第三中间特征图输入第二Swin Transformer模块，输出第四中间特征图；第三中间特征图输入第三Swin Transformer模块，输出底层特征图。
在第一方面的一种可能的实现方式中，第一Swin Transformer模块包括第一Blocks和第一Merging；第一Blocks包括依次设置的第一Layer Normlization层、第一规则窗口划分的多头自注意力(Windows Multi-head Self-Attention，W-MSA)层、第二LayerNormlization层、第一全连接(Multi-Layer Perception，MLP)层、第一LinearNormlization层、第一移动窗口划分的多头自注意力(Shifted Windows Multi-HeadSelf-Attention，SW-MSA)层、第三Layer Normlization层和第二全连接层；第一Blocks输出未合并的第三中间特征图；未合并的第三中间特征图输入第一Merging，第一Merging输出第三中间特征图。
第二Swin Transformer模块包括第二Blocks和第二Merging；第二Blocks的包括依次设置的第四Layer Normlization层、第二W-MSA层、第五Layer Normlization层、第三全连接层、第二Linear Normlization层、第二SW-MSA层、第六Layer Normlization层和第四全连接层；第二Blocks输出未合并的第四中间特征图；未合并的第四中间特征图输入第二Merging，第二Merging输出第四中间特征图。
第三Swin Transformer模块包括第三Blocks和第三Merging；第三Blocks包括依次设置的第七Layer Normlization层、第三W-MSA层、第八Layer Normlization层、第五全连接层、第三Linear Normlization层、第三SW-MSA层、第九Layer Normlization层和第六全连接层；第三Blocks输出未合并的底层特征图；未合并的底层特征图输入第三Merging，第三Merging输出底层特征图。
在第一方面的一种可能的实现方式中，残差模块包括第一残差模块、第二残差模块、第三残差模块和第四残差模块；多维度特征校准模块包括第一多维度特征校准模块、第二多维度特征校准模块、第三多维度特征校准模块、第四多维度特征校准模块和第五多维度特征校准模块；上采样路径包括第一上采样路径、第二上采样路径、第三上采样路径和第四上采样路径；通道拼接模块包括第一通道拼接模块、第二通道拼接模块、第三通道拼接模块和第四通道拼接模块；
底层特征图输入第五多维度特征校准模块，第五多维度特征校准模块输出第五目标特征图；第五目标特征图输入第四通道拼接模块；
第四中间特征图输入到第四残差模块，第四残差模块输出第四特征图，第四特征图经过第四上采样路径输入第四通道拼接模块；第四通道拼接模块将第五目标特征图和第四特征图拼接后，输出第四拼接特征图；第四拼接特征图输入第四多维度特征校准模块，第四多维度特征校准模块输出第四目标特征图；
第三中间特征图输入第三残差模块，第三残差模块输出第三特征图，第三特征图经过第三上采样路径输入第三通道拼接模块；第三通道拼接模块将第四目标特征图和第三特征图拼接后，输出第三拼接特征图；第三拼接特征图输入第三多维度特征校准模块，第三多维度特征校准模块输出第三目标特征图；
第二中间特征图输入第二残差模块，第二残差模块输出第二特征图，第二特征图经过第二上采样路径输入第二通道拼接模块；第二通道拼接模块将第三目标特征图和第二特征图拼接后，输出第二拼接特征图；第二拼接特征图输入第二多维度特征校准模块，第二多维度特征校准模块输出第二目标特征图；
第一中间特征图输入第一残差模块，第一残差模块输出第一特征图；第一中间特征图为肺部CT图像；第一特征图经过第一上采样路径输入第一通道拼接模块；第一通道拼接模块将第二目标特征图和第一特征图拼接后，输出第一拼接特征图；第一拼接特征图输入第一多维度特征校准模块，第一多维度特征校准模块输出第一目标特征图；第一目标特征图经过Head函数处理后得到肺部血管的分割结果。
在第一方面的一种可能的实现方式中，第一多维度特征校准模块、第二多维度特征校准模块、第三多维度特征校准模块、第四多维度特征校准模块和第五多维度特征校准模块的结构相同；
其中，每个多维度特征校准模块的结构均包括通道重组单元和校准单元；通道重组单元用于针对输入每个多维度特征校准模块的特征图沿着深度、高度和宽度三个轴集成预设要求的空间特征图，并对空间特征图进行通道重组操作，输出通道重组特征图；校准单元用于将输入每个多维度特征校准模块的拼接特征图和通道重组特征图进行元素乘积操作产生对应的目标特征图。
在第一方面的一种可能的实现方式中，在将肺部CT图像输入到预先训练好的肺血管分割模型中，输出肺部CT图像的肺血管分割结果之前，CT图像中肺血管分割方法还包括：
获取肺部CT图像样本集；
获取肺血管分割的金标准；
计算肺部CT图像样本集中的每一肺部CT图像样本输入到预先构建的肺血管分割模型中进行训练得到的预测分割结果与肺血管分割的金标准之间的损失；损失Loss的表达式为：
Loss＝λ1LDice+λ2LCE
其中，LDice代表金标准和预测分割结果之间的戴斯损失项，LCE为金标准和预测分割结果之间的交叉熵损失项，λ1为戴斯损失项的约束权重，λ2为交叉熵损失项的约束权重；
基于预测分割结果与肺血管分割的金标准之间的损失，更新肺血管分割模型的网络参数，并在迭代预设次数后，结束肺血管分割模型的训练，得到训练好的肺血管分割模型。
第二方面，本申请实施例提供了一种CT图像中肺血管分割装置，包括：
图像获取模块，用于获取待分割的肺部CT图像；
图像分割模块，用于将肺部CT图像输入到预先训练好的肺血管分割模型中，输出肺部CT图像的肺部血管的分割结果；肺血管分割模型包括编码器和解码器；编码器包括深度可分离卷积模块和Swin Transformer模块；深度可分离卷积模块用于获取待分割的肺部CT图像的局部特征信息，Swin Transformer模块用于获取肺部CT图像的全局特征信息；解码器包括残差模块、多维度特征校准模块、上采样路径和通道拼接模块；残差模块、多维度特征校准模块、上采样路径和通道拼接模块用于将局部特征信息和全局特征信息进行融合。
第三方面，本申请实施例提供了一种终端设备，包括存储器和处理器，存储器中存储有可在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现如第一方面中任一项的CT图像中肺血管分割方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其特征在于，计算机程序被处理器执行时实现如第一方面中任一项的CT图像中肺血管分割方法。
本申请实施例与现有技术相比存在的有益效果是：
本申请实施例，通过预先构建的肺血管分割模型，并在编码阶段，利用深度可分离卷积获取局部特征信息，利用Swin Transformer模块获取全局特征信息，深度可分离卷积和Swin Transformer模块相结合，加强全局空间信息与局部细节信息的关联性；在解码阶段，将多维度特征校准模块结合残差模块融入肺血管分割模型的网络整体，形成一种序列到序列的图像分割网络，强化对肺部管状结构的检测，无需通过大量人机交互即可提升对肺部血管的细小分支的分割精确率，获得更加准确的肺部血管丛，且可以节省时间，提高效率。
可以理解的是，上述第二方面至第四方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的CT图像中肺血管分割方法的流程示意图；
图2是本申请一实施例提供的肺血管分割模型的结构示意图；
图3是本申请一实施例提供的第一Blocks的结构示意图；
图4是本申请一实施例提供的多维度特征校准模块的运算示意图；
图5是本申请一实施例提供的各个方法得到的肺血管的分割结果示意图；
图6是本申请一实施例提供的CT图像中肺血管分割装置的结构示意图；
图7是本申请一实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图和具体实施方式，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1是本申请一实施例提供的CT图像中肺血管分割方法的示意性流程图，参照图1，对该CT图像中肺血管分割方法的详述如下：
步骤101，获取待分割的肺部CT图像。
示例性的，通过调整窗宽窗位，重采样，提取肺实质等操作对肺部CT图像的三维CT数据进行初步的预处理。
示例性的，上述预处理过程可以包括：首先遍历三维肺部CT图像的所有三维CT数据进行窗宽调整至1800，窗位调整至-500，所有CT图重采样，切片间距Spacing size为(1.0,1.0,1.0)，保证切片间间距保持一致；提取所有三维CT数据的肺实质掩模，达到肺实质预分割的目的，排除肺区之外的干扰。将经过预处理的三维肺部CT图像存储到Numpy数组中保存为NIFTI格式，得到待分割的肺部CT图像。
在分割前，利用上述肺实质预分割方法，提取肺实质掩膜，为接下来的肺血管分割模型提供可靠的先验知识，从而提高肺血管的分割精度。
步骤102，将待分割的肺部CT图像输入到预先训练好的肺血管分割模型中，输出肺部CT图像的肺部血管的分割结果；肺血管分割模型包括编码器和解码器；编码器包括深度可分离卷积模块和Swin Transformer模块；深度可分离卷积模块用于获取待分割的肺部CT图像的局部特征信息，Swin Transformer模块用于获取待分割的肺部CT图像的全局特征信息；解码器包括残差模块、多维度特征校准模块、上采样路径和通道拼接模块；残差模块、多维度特征校准模块、上采样路径和通道拼接模块用于将局部特征信息和全局特征信息进行融合。
通过预先构建的肺血管分割模型，并在编码阶段，利用深度可分离卷积获取局部特征信息，利用Swin Transformer模块获取全局特征信息，深度可分离卷积和SwinTransformer模块相结合，加强全局空间信息与局部细节信息的关联性；在解码阶段，将多维度特征校准模块结合残差模块融入肺血管分割模型的网络整体，形成一种序列到序列的图像分割网络，强化对肺部管状结构的检测，无需通过大量人机交互即可提升对肺部血管的细小分支的分割精确率，获得更加准确的肺部血管丛，且可以节省时间，提高效率。
为了更清楚了解本申请的技术方案，参见图2，肺血管分割模型的结构的详细介绍如下：
示例性的，在编码器部分，待分割的肺部CT图像输入深度可分离卷积模块，深度可分离卷积模块输出第二中间特征图；第二中间特征图表征待分割的肺部CT图像的局部特征信息。其中，为了方便描述，在解码器部分，将待分割的肺部CT图像叫做第一中间特征图B1。
第二中间特征图映射为1D序列后输入Swin Transformer模块，Swin Transformer模块输出第三中间特征图B3、第四中间特征图B4和底层特征图B5；第三中间特征图B3、第四中间特征图B4和底层特征图B5表征待分割的肺部CT图像的全局特征信息。
示例性的，深度可分离卷积模块包括Conv1卷积层、Conv2卷积层和Conv3卷积层；待分割的肺部CT图像依次经过Conv1卷积层、Conv2卷积层和Conv3卷积层处理后，输出第二中间特征图B2。
示例性的，待分割的肺部CT图像依次经过三层深度可分离卷积层下采样处理，三层深度可分离卷积层包括第一Conv卷积层、第二Conv卷积层和第三Conv卷积层。第一Conv卷积层包括Conv1卷积层和Conv1_1卷积层，第二Conv卷积层包括Conv2卷积层和Conv2_1卷积层，第三Conv卷积层包括Conv3卷积层和Conv3_1卷积层。在下采样处理过程中，通道数增加，分辨率减小，最终输出第二中间特征图B2的过程如下：
一个尺寸为H×W×D肺部CT图像输入Conv1卷积层进行Conv1卷积操作：肺部CT图像进行一次3×3×3的卷积，通道数为24，步长为1，填充为1；其中，填充为1表示图像周围填充0像素。
再进行Conv1_1卷积操作，进行一次3×3×3的卷积，通道数为24，步长为1，填充为0，接着进行平均池化，步长为2，填充为0，最后进行ReLU激活函数。其中，填充为0表示图像周围不进行像素填充。
再进行Conv2卷积操作，进行一次3×3×3的卷积，通道数为48，步长为1，填充为1。
再进行Conv2_1卷积操作，进行一次3×3×3的卷积，通道数为48，步长为1，填充为0，接着进行平均池化，步长为2，填充为0，最后进行ReLU激活函数。
再进行Conv3卷积操作，进行一次3×3×3的卷积，通道数为96，步长为1，填充为1。
再进行Conv3_1卷积操作，进行一次3×3×3的卷积，通道数为96，步长为1，填充为0，接着进行平均池化，步长为2，填充为0，最后进行ReLU激活函数，输出尺寸为的第二中间特征图B2。
将第二中间特征图B2进行划分操作Patch Partition和线性映射Linear Embed操作，将输出特征图映射为1D序列。将输出特征图映射为1D序列，能够将第二中间特征图B2输入到Swin Transformer模块。
Swin Transformer模块包括第一Swin Transformer模块、第二Swin Transformer模块和第三Swin Transformer模块。
第二中间特征图B2映射为1D序列后，输入第一Swin Transformer模块，输出第三中间特征图B3；第三中间特征图B3输入第二Swin Transformer模块，输出第四中间特征图B4；第三中间特征图B3输入第三Swin Transformer模块，输出底层特征图B5。
示例性的，第一Swin Transformer模块包括第一Blocks和第一Merging；图2中分别用Blocks1和Merging1表示第一Blocks和第一Merging。第一Blocks包括依次设置的第一Layer Normlization层、第一W-MSA层、第二Layer Normlization层、第一MLP层、第一Linear Normlization层、第一SW-MSA层、第三Layer Normlization层和第二MLP层，如图3所示。在图3中，Layer Norm1表示第一Layer Normlization层，Layer Norm2表示第二LayerNormlization层，Layer Norm3表示第三Layer Normlization层，W-MSA1表示第一W-MSA层，MLP1表示第一MLP层，MLP2表示第二MLP层，SW-MSA1表示第一SW-MSA层，Linear Norm1第一Linear Normlization层。由于第一Blocks、第二Blocks和第三Blocks的结构相同，只是标号不同，图3只示出第一Blocks，则第二Blocks和第三Blocks的结构已清晰，此处不再重复。图3中，表示将输入的特征图进行通道拼接，并将通道拼接后的特征图输出。第一Blocks输出未合并的第三中间特征图B3；未合并的第三中间特征图输入第一Merging，输出第三中间特征图B3。通过Merging合并操作，将未合并的第三中间特征图的相邻窗口的矩阵合成一个，相邻patch进行通道上的拼接，通道数为192，最后输出尺寸为/>的第三中间特征图B3。
第二Swin Transformer模块包括第二Blocks和第二Merging；图2中分别用Blocks2和Merging2表示第二Blocks和第二Merging。第二Blocks的包括依次设置的第四Layer Normlization层、第二W-MSA层、第五Layer Normlization层、第三MLP层、第二Linear Normlization层、第二SW-MSA层、第六Layer Normlization层和第四MLP层；第二Blocks输出第四中间特征图B4；未合并的第四中间特征图输入第二Merging，输出第四中间特征图B4。通过Merging合并操作，将相邻patch进行通道上的拼接，通道数为384，最后输出尺寸为的第四中间特征图B4。
第三Swin Transformer模块包括第三Blocks和第三Merging；图2中分别用Blocks3和Merging3表示第三Blocks和第三Merging。第三Blocks包括依次设置的第七Layer Normlization层、第三W-MSA层、第八Layer Normlization层、第五MLP层、第三Linear Normlization层、第三SW-MSA层、第九Layer Normlization层和第六MLP层；第三Blocks输出底层特征图B5；未合并的底层特征图输入第三Merging，输出底层特征图B5。通过Merging合并操作，将相邻patch进行通道上的拼接，通道数为768，最后输出尺寸为的底层特征图B5。
示例性的，编码阶段通过三层的深度可分离卷积层和三个阶段的SwinTransformer模块融合全局空间信息和局部细节信息，加强对管状信息的提取能力。
示例性的，在解码器部分，可以设置5层解码路径，编码部分到解码部分的跳跃连接通过残差的方式实现，因此本实施例中，通过残差模块将编码器和解码器连接起来。残差模块包括第一残差模块Res1、第二残差模块Res2、第三残差模块Res3和第四残差模块Res4；多维度特征校准模块包括第一多维度特征校准模块FR1、第二多维度特征校准模块FR2、第三多维度特征校准模块FR3、第四多维度特征校准模块FR4和第五多维度特征校准模块FR5；上采样路径包括第一上采样路径UP1、第二上采样路径UP2、第三上采样路径UP3和第四上采样路径UP4；通道拼接模块包括第一通道拼接模块Con1、第二通道拼接模块Con2、第三通道拼接模块Con3和第四通道拼接模块Con4。
示例性的，上述上采样路径均通过反卷积的方式实现通道增加，分辨率增大。
底层特征图B5输入第五多维度特征校准模块FR5，第五多维度特征校准模块FR5输出第五目标特征图E5；第五目标特征图E5输入第四通道拼接模块Con4。
第四中间特征图B4输入到第四残差模块Res4，第四残差模块Res4输出第四特征图C4，第四特征图C4经过第四上采样路径UP4输入第四通道拼接模块Con4；第四通道拼接模块Con4将第五目标特征图E5和第四特征图C4拼接后，输出第四拼接特征图D4；第四拼接特征图D4输入第四多维度特征校准模块FR4，第四多维度特征校准模块FR4输出第四目标特征图E4。
第三中间特征图B3输入第三残差模块Res3，第三残差模块Res3输出第三特征图C3，第三特征图C3经过第三上采样路径UP3输入第三通道拼接模块Con3；第三通道拼接模块Con3将第四目标特征图E4和第三特征图C3拼接后，输出第三拼接特征图D3；第三拼接特征图D3输入第三多维度特征校准模块FR3，第三多维度特征校准模块FR3输出第三目标特征图E3。
第二中间特征图B2输入第二残差模块Res2，第二残差模块Res2输出第二特征图C2，第二特征图C2经过第二上采样路径UP2输入第二通道拼接模块Con2；第二通道拼接模块Con2将第三目标特征图E3和第二特征图C2拼接后，输出第二拼接特征图D2；第二拼接特征图D2输入第二多维度特征校准模块FR2，第二多维度特征校准模块FR2输出第二目标特征图E2。
第一中间特征图B1输入第一残差模块Res1，第一残差模块Res1输出第一特征图C1；第一中间特征图B1为肺部CT图像；第一特征图C1经过第一上采样路径UP1输入第一通道拼接模块Con1；第一通道拼接模块Con1将第二目标特征图E2和第一特征图C1拼接后，输出第一拼接特征图D1；第一拼接特征图D1输入第一多维度特征校准模块FR1，第一多维度特征校准模块FR1输出第一目标特征图E1；第一目标特征图E1经过Head函数处理后得到肺部血管的分割结果。
示例性的，为了减少下采样丢失的特征损失，在深度可分离卷积和每一个SwinTransformer阶段使用残差模块和多维度特征校准模块，残差模块将同一层的编码路径的输出的对应分辨率的特征图与解码阶段对应层的特征图进行通道维度上的拼接，保留在编码阶段原始的图像特征，以强化管状结构的细节特征，减少信息的丢失。通道拼接模块通过将不同尺度的特征进行融合，得到最终的形变场。多维度特征校准模块，自适应调整血管和非血管类的权重，进一步补充和校准管状信息。
示例性的，第一多维度特征校准模块FR1、第二多维度特征校准模块FR2、第三多维度特征校准模块FR3、第四多维度特征校准模块FR4和第五多维度特征校准模块FR5的结构相同。
其中，每个多维度特征校准模块的结构均包括通道重组单元和校准单元；通道重组单元用于针对输入每个多维度特征校准模块的特征图沿着深度、高度和宽度三个轴集成预设要求的空间特征图，并对空间特征图进行通道重组操作，输出通道重组特征图；校准单元用于将输入每个多维度特征校准模块的拼接特征图和通道重组特征图进行元素乘积操作产生对应的目标特征图。
示例性的，如图4所示，多维度特征校准模块嵌入在解码器中，以进一步补充和校准管状结构特征信息。其中Hm代表特征图的高度，Wm代表特征图的宽度，Dm代表特征图的深度，Cm代表输入特征图的通道数。
输入为第m层解码路径的激活特征Fm，对于FR1，第一拼接特征图D1作为激活特征Fm输入到FR1中；对于FR2，第二拼接特征图D2作为激活特征Fm输入到FR2中；对于FR3，第三拼接特征图D3作为激活特征Fm输入到FR3中；对于FR4，第四拼接特征图D4作为激活特征Fm输入到FR4中；对于FR5，底层特征图B5作为激活特征Fm输入到FR5中。首先，通过Zspatial(·)沿着深度Depth、高度Height和宽度Width三个轴集成突出显示重要区域的空间特征图。其次，对空间特征图进行通道重组操作得到通道重组特征表示Um。最后，由Fm和Um进行元素乘积操作产生重新校准的特征表示其中r代表通道压缩因子。
相比于自适应或者全局池化的操作，对空间特征图进行通道重组操作是在细支气管和末端小血管和厚支气管和血管之间进行空间区分，因此，拟引入空间积分的方法Zspatial(·)，保留管状结构相对重要的区域，计算定义如下：
其中，Zspatial(Fm)表示对Fm进行空间积分，表示沿着深度Depth对Fm进行空间积分，/>表示沿着高度Height对Fm进行空间积分，/>表示沿着宽度Width对Fm进行空间积分。β(·)代表numpy库中的广播操作；Hm代表特征图的高度，Wm代表特征图的宽度，Dm代表特征图的深度，Cm代表输入特征图的通道数；[:,:,j,k]为限制其中两位为j和k的四维数组；[:,i,:,k]为限制其中两位为i和k的四维数组，[:,i,j,:]为限制其中两位为i和j的四维数组；di、hj和wk为可学习参数，分别表示每个特征切片在深度为i、高度为j和宽度为k维度上的权重组合，i＝1、2、…、Dm，j＝1、2、…、Hm，k＝1、2、…、Wm，得到组合权重之后，拟在压缩的空间图上应用激励技术对通道间依赖进行建模。具体操作如下：
Um＝Z(Fm)＝f2(K2*f1(K1*Zspatical(Fm))) (5)
其中，K1、K2分别表示两个1×1×1的3D卷积核，*表示卷积；组合权重与K1卷积核计算后通道数减少为与K2卷积核计算后将通道数恢复到Cm；比率r是确定减小程度的压缩因子；f1(·)为Relu激活函数，f2(·)为Sigmoid激活函数。给定激活的卷积特征Fm及通道组合表示Um，重新校准的特征/>被定义如下：
其中，表示元素级乘法。
示例性的，每一多维度特征校准模块输出得到的E1、E2、E3、E4和E5均为重新校准的特征
将编码阶段的输出的中间特征图B1、B2、B3、B4和底层特征图B5输入解码器，进入解码阶段。在解码阶段，进一步通过多维度特征校准模块对血管特征重新校准，输出目标特征图。其中，通道重组单元沿着每个空间维度加权组合，从而更好的利用从神经网络中学习到的特征，保证肺部管状结构激活区域的相对优先级，加强管状对象的表征学习，再利用校准单元将每个多维度特征校准模块的拼接特征图和通道重组特征图进行元素乘积操作，进而更好的分割肺内管状结构，解决肺部管状结构分割不连续的问题，进一步提高肺部管状结构信息获取的精度。通过上述多维度特征校准模块提升了网络提取图像特征信息的效率，整合图像空间信息。
最后得到的第一目标特征图经过Head函数处理，即经过1×1×1卷积得到最终的肺部血管的分割结果。
一实施例中，在将肺部CT图像输入到预先训练好的肺血管分割模型中，输出肺部CT图像的肺血管分割结果之前，CT图像中肺血管分割方法还包括：
基于上述肺血管分割模型的结构，对肺血管分割模型进行训练，本实施例在CPU为Xeon(R)W-2255 3.70GHz，显卡为NVIDIA Geforce RTX 3090，内存为64GB的计算机中实现，实现方式为Python，深度学习框架为Pytorch。
步骤201，获取肺部CT图像样本集。
示例性的，通过调整窗宽窗位，重采样，提取肺实质等操作对训练集、验证集与测试集中的三维CT数据进行初步的预处理。
对于三维肺部CT图像，首先遍历所有CT数据进行窗宽调整至1800，窗位调整至-500，所有CT重采样至Spacing size为(1.0,1.0,1.0)，保证切片间间距保持一致；提取所有CT数据的肺实质掩模，排除肺区之外的干扰。将经过预处理的三维CT医学图像存储到Numpy数组中保存为NIFTI格式。
步骤202，获取肺血管分割的金标准。
步骤203，计算肺部CT图像样本集中的每一肺部CT图像样本输入到预先构建的肺血管分割模型中进行训练得到的预测分割结果与肺血管分割的金标准之间的损失；损失Loss的表达式为：
Loss＝λ1LDice+λ2LCE (7)
其中，LDice代表金标准和预测分割结果之间的戴斯损失，LCE为金标准和预测分割结果之间的交叉熵损失，λ1为戴斯损失项的约束权重，λ2为交叉熵损失项的约束权重。
示例性的，防止分割肺血管时出现末端断裂等失真情况，采用戴斯损失LDice和交叉熵损失LCE构成的混合损失函数作为损失函数指导网络反向传播优化肺血管分割模型的参数。
戴斯损失的函数定义如下：
其中，y为真实标签，为预测分割结果。为防止分母为0，Smooth取1×e-5。
交叉熵损失的函数定义如下：
其中，y为真实标签，为预测分割结果。
步骤204，基于预测分割结果与肺血管分割的金标准之间的损失Loss，更新肺血管分割模型的网络参数，并在迭代预设次数后，结束肺血管分割模型的训练，得到训练好的肺血管分割模型。
示例性的，通过计算预测图像与金标准之间的损失函数，利用反向传播梯度求导更新网络参数，可以在迭代800步后结束网络模型训练，保存肺血管分割模型的参数。
示例性的，使用训练数据将肺血管分割网络模型不断调整优化，在临床诊断中可以快速的使用已保存的网络模型进行三维肺CT医学图像的肺血管分割。给予g医师提供初步的、快速的、准确的可视化诊断参考，为接下来的手术治疗或评估中提供便利。
接下来，选取多组肺部CT图像数据，使用戴斯(Dice)系数和交并比(Iou)作为评价标准对肺血管分割模型进行评价，具体为：
随机挑选一组肺部CT图像数据作为测试数据集，将肺部CT图像预处理后作为输入送入肺血管分割模型中，预测分割结果将Dice系数和交并比(IoU)作为评价标准对分割网络进行评价，其中Dice系数定义为：
其中，y分别为肺血管金标准，为预测分割结果，这两幅图像完全重叠区域的Dice系数得分为1。Dice系数明确地衡量了两个医学解剖区域之间的一致性，从而反映了分割的质量。其中/>是y与/>之间的交集，|y|和/>分别表示y和/>中三维空间域中体素的个数，其中，分子的系数为2，是因为分母存在重复计算y和/>之间的共同元素。
IoU定义为：
y，分别为肺血管金标准与预测分割结果。两幅图像完全重叠区域的交并比为1。交并比明确地衡量了两个医学解剖区域之间的一致性，从而反映了分割的质量。其中是y与/>之间的交集，/>是y与/>之间的并集。
使用Dice系数和IoU作为评价标准对网络模型进行评价，对本方法输出的分割结果进行评判，达到可视化肺部血管的分割结果的目的。
本申请一实施例提供一下对比实验：本次对比实验中所使用的实验数据：
1.VESSEL12肺部数据集，提供了20组CT和CTA图像以及专家标注的私有肺血管数据。原始每张图像的分辨率均为512×512×512，由于实验环境限制，对其进行预处理，真实实验数据中每张图像大小为128*128*128，其中训练集、验证集、测试集的比例为6:2:2。
2.ATM22肺部数据集，该数据集来自MICCAI在2022年举办的气道树建模挑战赛(Airway Tree Modeling Challenge 2022,ATM22),共299组CT，由于实验环境限制，我们对其提供的CT数据集进行了统一处理，包括窗宽、窗位、重采样、去床板及裁剪操作。其中训练集、验证集、测试集的比例为269:10:20。在此数据集上进行了私有的血管标注。
对比实验的结果如表1所示。
表1基于VESSEL12肺部数据集和ATM22肺部数据集得到的Dice系数和IoU
本申请提供的CT图像中肺血管分割方法对于分割肺血管的Dice系数和IoU均表现优异，以及如图5所示的利用各个方法得到的肺血管的分割结果，本申请的到的分割结果精度优于Vnet、UNETR、Swin UNETR等方法，同时保证了本申请肺血管分割模型的有效性和可行性。
可见本申请提出的CT图像中肺血管分割方法，在编码阶段，利用深度可分离卷积和Swin Transformer的结合，加强全局空间信息与局部细节信息的关联性，在解码阶段，设计多维度特征校准模块结合残差模块融入网络整体，形成一种序列到序列的图像分割网络，强化对肺部管状结构的检测，提升对肺部血管的细小分支的分割精确率，获得更加准确的肺部血管丛。具有快速、准确、适合实际应用等优势。
应理解，上述各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例的CT图像中肺血管分割方法，图6示出了本申请实施例提供的CT图像中肺血管分割装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参见图6，本申请实施例中的CT图像中肺血管分割装置可以包括图像获取模块201和图像分割模块202。
其中，图像获取模块201，用于获取待分割的肺部CT图像。
图像分割模块202，用于将肺部CT图像输入到预先训练好的肺血管分割模型中，输出肺部CT图像的肺部血管的分割结果；肺血管分割模型包括编码器和解码器；编码器包括深度可分离卷积模块和Swin Transformer模块；深度可分离卷积模块用于获取待分割的肺部CT图像的局部特征信息，Swin Transformer模块用于获取肺部CT图像的全局特征信息；解码器包括残差模块、多维度特征校准模块、上采样路径和通道拼接模块；残差模块、多维度特征校准模块、上采样路径和通道拼接模块用于将局部特征信息和全局特征信息进行融合。
需要说明的是，上述装置之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种终端设备，参见图7，该终端设备300可以包括：至少一个处理器310和存储器320，所述存储器320中存储有可在所述至少一个处理器310上运行的计算机程序，所述处理器310执行所述计算机程序时实现上述任意各个方法实施例中的步骤，例如图1所示实施例中的步骤101至步骤102。或者，处理器310执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如图6所示模块201至202的功能。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器320中，并由处理器310执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序段，该程序段用于描述计算机程序在终端设备300中的执行过程。
本领域技术人员可以理解，图7仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如输入输出设备、网络接入设备、总线等。
处理器310可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器320可以是终端设备的内部存储单元，也可以是终端设备的外部存储设备，例如插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。所述存储器320用于存储所述计算机程序以及终端设备所需的其他程序和数据。所述存储器320还可以用于暂时地存储已经输出或者将要输出的数据。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
本申请实施例提供的CT图像中肺血管分割方法可以应用于计算机、平板电脑、笔记本电脑、上网本、个人数字助理(personal digital assistant，PDA)等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述CT图像中肺血管分割方法各个实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述CT图像中肺血管分割方法各个实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种CT图像中肺血管分割方法，其特征在于，包括：
获取待分割的肺部CT图像；
将所述待分割的肺部CT图像输入到预先训练好的肺血管分割模型中，输出所述肺部CT图像的肺部血管的分割结果；所述肺血管分割模型包括编码器和解码器；所述编码器包括深度可分离卷积模块和Swin Transformer模块；所述深度可分离卷积模块用于获取所述待分割的肺部CT图像的局部特征信息，所述Swin Transformer模块用于获取所述待分割的肺部CT图像的全局特征信息；所述解码器包括残差模块、多维度特征校准模块、上采样路径和通道拼接模块；所述残差模块、所述多维度特征校准模块、所述上采样路径和所述通道拼接模块用于将所述局部特征信息和所述全局特征信息进行融合。
2.如权利要求1所述的CT图像中肺血管分割方法，其特征在于，所述待分割的肺部CT图像输入所述深度可分离卷积模块，所述深度可分离卷积模块输出第二中间特征图；所述第二中间特征图表征所述待分割的肺部CT图像的局部特征信息；
所述第二中间特征图输入所述Swin Transformer模块，所述Swin Transformer模块输出第三中间特征图、第四中间特征图和底层特征图；所述第三中间特征图、所述第四中间特征图和所述底层特征图表征所述肺部CT图像的全局特征信息。
3.如权利要求1所述的CT图像中肺血管分割方法，其特征在于，所述深度可分离卷积模块包括Conv1卷积层、Conv2卷积层和Conv3卷积层；所述肺部CT图像依次经过所述Conv1卷积层、所述Conv2卷积层和所述Conv3卷积层处理后，输出第二中间特征图；
所述Swin Transformer模块包括第一Swin Transformer模块、第二Swin Transformer模块和第三Swin Transformer模块；
所述第二中间特征图映射为1D序列后，输入所述第一Swin Transformer模块，输出第三中间特征图；所述第三中间特征图输入所述第二Swin Transformer模块，输出第四中间特征图；所述第三中间特征图输入所述第三Swin Transformer模块，输出底层特征图。
4.如权利要求3所述的CT图像中肺血管分割方法，其特征在于，所述第一SwinTransformer模块包括第一Blocks和第一Merging；所述第一Blocks包括依次设置的第一Layer Normlization层、第一W-MSA层、第二Layer Normlization层、第一全连接层、第一Linear Normlization层、第一SW-MSA层、第三Layer Normlization层和第二全连接层；所述第一Blocks输出未合并的第三中间特征图；所述未合并的第三中间特征图输入所述第一Merging，所述第一Merging输出所述第三中间特征图；
所述第二Swin Transformer模块包括第二Blocks和第二Merging；所述第二Blocks的包括依次设置的第四Layer Normlization层、第二W-MSA层、第五Layer Normlization层、第三全连接层、第二Linear Normlization层、第二SW-MSA层、第六Layer Normlization层和第四全连接层；所述第二Blocks输出未合并的第四中间特征图；所述未合并的第四中间特征图输入所述第二Merging，所述第二Merging输出所述第四中间特征图。
所述第三Swin Transformer模块包括第三Blocks和第三Merging；所述第三Blocks包括依次设置的第七Layer Normlization层、第三W-MSA层、第八Layer Normlization层、第五全连接层、第三Linear Normlization层、第三SW-MSA层、第九Layer Normlization层和第六全连接层；所述第三Blocks输出未合并的底层特征图；所述未合并的底层特征图输入所述第三Merging，所述第三Merging输出所述底层特征图。
5.如权利要求2所述的CT图像中肺血管分割方法，其特征在于，所述残差模块包括第一残差模块、第二残差模块、第三残差模块和第四残差模块；所述多维度特征校准模块包括第一多维度特征校准模块、第二多维度特征校准模块、第三多维度特征校准模块、第四多维度特征校准模块和第五多维度特征校准模块；所述上采样路径包括第一上采样路径、第二上采样路径、第三上采样路径和第四上采样路径；所述通道拼接模块包括第一通道拼接模块、第二通道拼接模块、第三通道拼接模块和第四通道拼接模块；
所述底层特征图输入所述第五多维度特征校准模块，所述第五多维度特征校准模块输出第五目标特征图；所述第五目标特征图输入所述第四通道拼接模块；
所述第四中间特征图输入到所述第四残差模块，所述第四残差模块输出第四特征图，所述第四特征图经过所述第四上采样路径输入所述第四通道拼接模块；所述第四通道拼接模块将所述第五目标特征图和所述第四特征图拼接后，输出第四拼接特征图；所述第四拼接特征图输入所述第四多维度特征校准模块，所述第四多维度特征校准模块输出第四目标特征图；
所述第三中间特征图输入所述第三残差模块，所述第三残差模块输出第三特征图，所述第三特征图经过所述第三上采样路径输入所述第三通道拼接模块；所述第三通道拼接模块将所述第四目标特征图和所述第三特征图拼接后，输出第三拼接特征图；所述第三拼接特征图输入所述第三多维度特征校准模块，所述第三多维度特征校准模块输出第三目标特征图；
所述第二中间特征图输入所述第二残差模块，所述第二残差模块输出第二特征图，所述第二特征图经过所述第二上采样路径输入所述第二通道拼接模块；所述第二通道拼接模块将所述第三目标特征图和所述第二特征图拼接后，输出第二拼接特征图；所述第二拼接特征图输入所述第二多维度特征校准模块，所述第二多维度特征校准模块输出第二目标特征图；
第一中间特征图输入所述第一残差模块，所述第一残差模块输出第一特征图；所述第一中间特征图为所述肺部CT图像；所述第一特征图经过所述第一上采样路径输入所述第一通道拼接模块；所述第一通道拼接模块将所述第二目标特征图和所述第一特征图拼接后，输出第一拼接特征图；所述第一拼接特征图输入所述第一多维度特征校准模块，所述第一多维度特征校准模块输出第一目标特征图；所述第一目标特征图经过Head函数处理后得到肺部血管的分割结果。
6.如权利要求5所述的CT图像中肺血管分割方法，其特征在于，所述第一多维度特征校准模块、所述第二多维度特征校准模块、所述第三多维度特征校准模块、所述第四多维度特征校准模块和所述第五多维度特征校准模块的结构相同；
其中，每个多维度特征校准模块的结构均包括通道重组单元和校准单元；所述通道重组单元用于针对输入每个多维度特征校准模块的特征图沿着深度、高度和宽度三个轴集成预设要求的空间特征图，并对所述空间特征图进行通道重组操作，输出通道重组特征图；所述校准单元用于将输入每个多维度特征校准模块的拼接特征图和所述通道重组特征图进行元素乘积操作产生对应的目标特征图。
7.如权利要求1所述的CT图像中肺血管分割方法，其特征在于，在所述将所述肺部CT图像输入到预先训练好的肺血管分割模型中，输出所述肺部CT图像的肺血管分割结果之前，所述CT图像中肺血管分割方法还包括：
获取肺部CT图像样本集；
获取肺血管分割的金标准；
计算所述肺部CT图像样本集中的每一肺部CT图像样本输入到预先构建的肺血管分割模型中进行训练得到的预测分割结果与所述肺血管分割的金标准之间的损失；所述损失Loss的表达式为：
Loss＝λ1LDice+λ2LCE
其中，LDice代表金标准和预测分割结果之间的戴斯损失项，LCE为金标准和预测分割结果之间的交叉熵损失项，λ1为戴斯损失项的约束权重，λ2为所述交叉熵损失项的约束权重；
基于所述预测分割结果与所述肺血管分割的金标准之间的损失，更新所述肺血管分割模型的网络参数，并在迭代预设次数后，结束所述肺血管分割模型的训练，得到所述训练好的肺血管分割模型。
8.一种CT图像中肺血管分割装置，其特征在于，包括：
图像获取模块，用于获取待分割的肺部CT图像；
图像分割模块，用于将所述肺部CT图像输入到预先训练好的肺血管分割模型中，输出所述肺部CT图像的肺部血管的分割结果；所述肺血管分割模型包括编码器和解码器；所述编码器包括深度可分离卷积模块和Swin Transformer模块；所述深度可分离卷积模块用于获取所述待分割的肺部CT图像的局部特征信息，所述Swin Transformer模块用于获取所述肺部CT图像的全局特征信息；所述解码器包括残差模块、多维度特征校准模块、上采样路径和通道拼接模块；所述残差模块、所述多维度特征校准模块、所述上采样路径和所述通道拼接模块用于将所述局部特征信息和所述全局特征信息进行融合。
9.一种终端设备，包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的CT图像中肺血管分割方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上的权利要求1至7任一项所述的CT图像中肺血管分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310954167.0A CN116740081A (zh) | 2023-07-31 | 2023-07-31 | Ct图像中肺血管分割方法、装置、终端设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310954167.0A CN116740081A (zh) | 2023-07-31 | 2023-07-31 | Ct图像中肺血管分割方法、装置、终端设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116740081A true CN116740081A (zh) | 2023-09-12 |
Family
ID=87906247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310954167.0A Pending CN116740081A (zh) | 2023-07-31 | 2023-07-31 | Ct图像中肺血管分割方法、装置、终端设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116740081A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437249A (zh) * | 2023-12-21 | 2024-01-23 | 深圳大学 | 眼底血管图像的分割方法、终端设备及存储介质 |
| CN117710694A (zh) * | 2024-01-12 | 2024-03-15 | 中国科学院自动化研究所 | 多模特征信息的获取方法及系统、电子设备及存储介质 |
-
2023
- 2023-07-31 CN CN202310954167.0A patent/CN116740081A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437249A (zh) * | 2023-12-21 | 2024-01-23 | 深圳大学 | 眼底血管图像的分割方法、终端设备及存储介质 |
| CN117437249B (zh) * | 2023-12-21 | 2024-03-22 | 深圳大学 | 眼底血管图像的分割方法、终端设备及存储介质 |
| CN117710694A (zh) * | 2024-01-12 | 2024-03-15 | 中国科学院自动化研究所 | 多模特征信息的获取方法及系统、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11861501B2 (en) | Semantic segmentation method and apparatus for three-dimensional image, terminal, and storage medium | |
| CN113313234B (zh) | 用于图像分割的神经网络系统和方法 | |
| CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| CN112602114B (zh) | 图像处理方法及装置、神经网络及训练方法、存储介质 | |
| CN112183541B (zh) | 一种轮廓提取方法及装置、电子设备、存储介质 | |
| CN114742802B (zh) | 基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法 | |
| CN114494296A (zh) | 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统 | |
| CN109447963A (zh) | 一种脑部影像识别的方法及装置 | |
| CN115578404A (zh) | 一种基于深度学习的肝脏肿瘤图像增强和分割的方法 | |
| CN116030259B (zh) | 一种腹部ct图像多器官分割方法、装置及终端设备 | |
| CN112348818B (zh) | 一种图像分割方法、装置、设备以及存储介质 | |
| CN110570394A (zh) | 医学图像分割方法、装置、设备及存储介质 | |
| CN112150470A (zh) | 图像分割方法、装置、介质及电子设备 | |
| CN116740081A (zh) | Ct图像中肺血管分割方法、装置、终端设备及介质 | |
| CN115546270A (zh) | 多尺度特征融合的图像配准方法、模型训练方法及设备 | |
| CN115409859A (zh) | 冠状动脉血管图像分割方法及装置、存储介质和终端 | |
| CN116452618A (zh) | 一种三输入脊柱ct图像分割方法 | |
| CN115564810A (zh) | 图像配准方法及设备 | |
| CN114972382A (zh) | 一种基于轻量级UNet++网络的脑肿瘤分割算法 | |
| CN117474879A (zh) | 主动脉夹层真假腔分割方法、装置、电子设备及存储介质 | |
| CN115797378A (zh) | 基于几何交并比损失的前列腺轮廓分割方法 | |
| CN113177938B (zh) | 基于圆形卷积核的脑胶质瘤的分割方法、装置及相关组件 | |
| CN115731240A (zh) | 一种分割方法、装置、电子设备及存储介质 | |
| CN113327221A (zh) | 融合roi区域的图像合成方法、装置、电子设备及介质 | |
| CN113139964A (zh) | 多模态图像分割方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |