CN117132606A - 用于肺部病变图像的分割方法 - Google Patents
用于肺部病变图像的分割方法 Download PDFInfo
- Publication number
- CN117132606A CN117132606A CN202311377777.5A CN202311377777A CN117132606A CN 117132606 A CN117132606 A CN 117132606A CN 202311377777 A CN202311377777 A CN 202311377777A CN 117132606 A CN117132606 A CN 117132606A
- Authority
- CN
- China
- Prior art keywords
- layer
- output
- channel
- input
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000011218 segmentation Effects 0.000 title claims abstract description 51
- 230000003902 lesion Effects 0.000 title claims abstract description 33
- 210000004072 lung Anatomy 0.000 title claims abstract description 30
- 238000013528 artificial neural network Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000012360 testing method Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000005070 sampling Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 230000002685 pulmonary effect Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims 4
- 238000012935 Averaging Methods 0.000 claims 1
- 210000005036 nerve Anatomy 0.000 abstract 1
- 230000007246 mechanism Effects 0.000 description 27
- 238000003709 image segmentation Methods 0.000 description 15
- 239000013598 vector Substances 0.000 description 14
- 238000002591 computed tomography Methods 0.000 description 13
- 238000002474 experimental method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000013526 transfer learning Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 5
- 238000013508 migration Methods 0.000 description 5
- 230000005012 migration Effects 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 208000029523 Interstitial Lung disease Diseases 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 206010016654 Fibrosis Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000004761 fibrosis Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000010444 Acidosis Diseases 0.000 description 1
- 208000025721 COVID-19 Diseases 0.000 description 1
- 208000000059 Dyspnea Diseases 0.000 description 1
- 206010013975 Dyspnoeas Diseases 0.000 description 1
- 206010021143 Hypoxia Diseases 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 208000019693 Lung disease Diseases 0.000 description 1
- 208000004756 Respiratory Insufficiency Diseases 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000007950 acidosis Effects 0.000 description 1
- 208000026545 acidosis disease Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002300 anti-fibrosis Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002538 fungal effect Effects 0.000 description 1
- 230000007954 hypoxia Effects 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000004199 lung function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 201000004193 respiratory failure Diseases 0.000 description 1
- 238000013336 robust study Methods 0.000 description 1
- 201000000596 systemic lupus erythematosus Diseases 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了用于肺部病变图像的分割方法，涉及计算机技术领域，包括S1构建分割模型；S2获取数据集；S3利用二值掩膜对数据集进行分割处理；S4对分割处理后的数据集进行划分，分为训练集和测试集；S5利用训练集和测试集对分割模型进行训练优化；S6获取待预测的肺部病变图像；S7利用优化后的分割模型进行分割，得到分割结果；将U形神经网络与ConvFormer神经网络层相结合，从CT图像中提取纹理和形状特征，利用ConvFormer神经网络层和第一深度可分离卷积层，大大降低了模型的复杂性，增强了模型的稳健性和可解释性。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种用于肺部病变图像的分割方法。
背景技术
间质性肺炎（IP）是由真菌孢子、有机尘埃和全身性红斑狼疮引起的弥漫性肺部疾病。其进展包括早期肺泡壁和间质炎症、中期弥漫性间质纤维化和晚期肺泡壁纤维化。随着病情加重，患者可能出现呼吸困难、酸中毒和低氧血症，导致呼吸衰竭和死亡。早期检测和及时的抗纤维化治疗对于保持患者肺功能至关重要。
目前，基于计算机断层扫描（CT）数据的图像分割在疾病量化、计算机辅助治疗和手术规划等方面具有巨大潜力。在将图像分割应用于医学领域时，模型的可部署性和可解释性是主要挑战。然而很少有研究工作致力于开发更轻量化和可解释的模型来解决图像分割任务。具有更简单的结构和参数量的模型，能够在CT图像的医学诊断中提供更实际和可靠的结果。通过使用轻量化的模型，可以降低算法的计算复杂性和资源需求，使其更适用于临床环境中的实时应用。同时，可解释性的模型可以提供对预测结果的解释和理解，帮助医生和临床专家更好地理解算法的决策依据和局限性，从而增强对结果的信任和应用的可靠性。因此，进一步研究和开发轻量化和可解释的模型对于提高人工智能算法在CT图像医学诊断中的实际应用意义重大。
医疗图像分割的经典技术包括 region growing，deformabel models，graphcuts，clustering methods，和Bayseian approaches。随着深度学习技术的发展，一些方法也被应用于医学图像分割，最具代表性的是U-Net和Transformer。U-Net具有编码器和解码器结构，通过跳跃连接将低级特征与高级特征相融合，实现精细的像素级预测。Transformer是一种基于自注意力机制的序列模型，能够更好地处理长序列和捕捉序列中的全局依赖关系。然而当前的模型存在着决策过程缺乏可解释性，计算资源占用高等缺陷，使得深度学习模型难以应用到分割肺部病变图像这一实际问题上。
发明内容
本发明的目的就在于为了解决上述问题设计了一种用于肺部病变图像的分割方法。
本发明通过以下技术方案来实现上述目的：
用于肺部病变图像的分割方法，包括：
S1、构建分割模型，分割模型包括编码器、解码器和M个ConvFormer神经网络层，编码器包括M个下采样卷积层，解码器包括M个上采样层，第m个下采样卷积层的输出分别作为第m+1个下采样卷积层的输入和第m+1个ConvFormer神经网络层的输入，第m个ConvFormer神经网络层的输出和第m-1个上采样层的输出均作为第m个上采样层的输入，m∈M；
每个下采样卷积层包括第一归一化标准层、第一中间层、第一深层可分离卷积层、第一通道与空间注意力层和第一通道MLP层，第一归一化标准层、第一中间层、第一深层可分离卷积层从输入到输出依次连接，第一深层可分离卷积层的输出作为第一通道MLP层的输入，第m-1个下采样卷积层的输出和第m个下采样卷积层中第一深层可分离卷积层的输出均作为第m个下采样卷积层中第一通道与空间注意力层的输入，第m个下采样卷积层中第一通道MLP层的输出和第m个下采样卷积层中第一通道与空间注意力层的输出均作为第m+1个下采样卷积层的输入和第m个ConvFormer神经网络层的输入；
S2、获取数据集，数据集包括肺部的CT图像；
S3、利用二值掩膜对数据集进行分割处理；
S4、对分割处理后的数据集进行划分，分为训练集和测试集；
S5、利用训练集和测试集对分割模型进行训练优化；
S6、获取待预测的肺部病变图像；
S7、利用优化后的分割模型进行分割，并得到分割结果。
本发明的有益效果在于：将U形神经网络与ConvFormer神经网络层相结合，从CT图像中提取纹理和形状特征，利用ConvFormer神经网络层和第一深度可分离卷积层，大大降低了模型的复杂性，增强了模型的稳健性和可解释性。
附图说明
图1是本发明用于肺部病变图像的分割方法中分割模型的示意图；
图2是本发明用于肺部病变图像的分割方法中通道注意力模块的示意图；
图3是本发明用于肺部病变图像的分割方法中空间注意力模块的示意图；
图4是本发明用于肺部病变图像的分割方法中下采样卷积层的示意图；
图5是本发明用于肺部病变图像的分割方法中ConvFormer神经网络层的示意图；
图6是不同方法的图像实例的结果；
图7是空间注意机制的可视化结果1；
图8是空间注意机制的可视化结果2；
图9是空间注意机制处理后的图像结果；
图10是无不同模块的分割网络的比较；
图11是不同迁移学习策略下分割网络的比较。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要理解的是，术语“上”、“下”、“内”、“外”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，“设置”、“连接”等术语应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面结合附图，对本发明的具体实施方式进行详细说明。
用于肺部病变图像的分割方法，包括：
S1、构建分割模型，分割模型包括编码器、解码器和M个ConvFormer神经网络层，编码器包括M个下采样卷积层，解码器包括M个上采样层，第m个下采样卷积层的输出分别作为第m+1个下采样卷积层的输入和第m+1个ConvFormer神经网络层的输入，第m个ConvFormer神经网络层的输出和第m-1个上采样层的输出均作为第m个上采样层的输入，m∈M；
S2、获取数据集，数据集包括肺部的CT图像；
S3、利用二值掩膜对数据集进行分割处理；
S4、对分割处理后的数据集进行划分，分为训练集和测试集；
S5、利用训练集和测试集对分割模型进行训练优化；
利用交叉熵损失LC、均方误差损失L M 和骰子损失LD对分割模型进行训练优化，交叉熵损失LC表示为：
；
均方误差损失L M 表示为：
；
Dice系数损失LD表示为：
；
总损失Loss表示为：
；
其中，f（xi）是预测值，yi是真正的标签所属的类别，N表示样本数，γ是一个避免零分母的最小值，α和β分别表示LC和L M 的权重，用于平衡多重损失。
S6、获取待预测的肺部病变图像；
S7、利用优化后的分割模型进行分割，并得到分割结果。
如图4所示，每个下采样卷积层包括第一归一化标准层、第一中间层、第一深层可分离卷积层、第一通道与空间注意力层和第一通道MLP层，第一归一化标准层、第一中间层、第一深层可分离卷积层从输入到输出依次连接，第一深层可分离卷积层的输出作为第一通道MLP层的输入，第m-1个下采样卷积层的输出和第m个下采样卷积层中第一深层可分离卷积层的输出均作为第m个下采样卷积层中第一通道与空间注意力层的输入，第m个下采样卷积层中第一通道MLP层的输出和第m个下采样卷积层中第一通道与空间注意力层的输出均作为第m+1个下采样卷积层的输入和第m个ConvFormer神经网络层的输入。
第一通道与空间注意力层和第二通道与空间注意力层均包括通道注意力模块和空间注意力模块，通道注意力模块用于提取通道特征，空间注意力模块用于提取空间描述。
通道注意力模块包括第一分支、第二分支和第一多层感知层，第一分支的输出和第二分支的输出均作为第一多层感知层的输入，第一分支和第二分支并联，第一分支从输入到输出依次包括全局平均池化层、第一全连接层、ReLU激活层和第二全连接层，第二分支从输入到输出依次包括全局最大池化层、第三全连接层、ReLU激活层和第四全连接层。
空间注意力模块包括三个深层可分离膨胀卷积层、合并层、第五全连接层和第二多层感知层，三个深层可分离膨胀卷积层的输出均位于合并层的输入，合并层、第五全连接层和第二多层感知层从输入到输出依次连接。
如图5所示，每个ConvFormer神经网络层包括第二归一化标准层、第二中间层、第二深层可分离卷积层、第二通道与空间注意力层和第二通道MLP层，第二归一化标准层、第二中间层、第二深层可分离卷积层从输入到输出依次连接，第二深层可分离卷积层的输出作为二通道MLP层的输入，第m个下采样卷积层的输出和第m个ConvFormer神经网络层中第二深层可分离卷积层的输出均作为第m个ConvFormer神经网络层中第二通道与空间注意力层的输入，第m个ConvFormer神经网络层中第二通道MLP层的输出作为第m个上采样层的输入。
第m’个上采样层和第m’+2个上采样层跨层连接时，采用双线性插值操作对第m’个上采样层的输出和第m’+2个上采样层的输出相加和拼接，m’+2≤M。
本发明用于肺部病变图像的分割方法的工作原理如下：
如图1所示，分割模型的输入是一个具有3个通道和宽度×高度大小的图像。在编码器中，对于下采样卷积层，M=4，下采样卷积层的Filters参数设置为Filters ∈（64，128，320，512）。在通过下采样卷积层进行下采样后，图像尺寸减半，对于BatchSize个图像数据的批处理，其形状转换为在经过4个下采样卷积层进行下采样后，使用ConvFormer神经网络层进行跳跃连接块将其与解码器连接起来，该连接不改变特征图的形状。在解码器阶段，特征向量进行了4次尺度为2的双线性插值和2次尺度为4的双线性插值。上采样层的跳跃连接通过矩阵加法在解码器中的不同层之间进行合并。考虑到连接编码器和解码器之间的跳跃连接以及编码器部分对图像尺寸的压缩，在解码器中只使用3×3的卷积层来进行特征融合。以形状为(BatchSize，Filters，Width/8，Height/8)的特征向量为例，经过解码器后，输出图像大小为(BatchSize，numclass，Width，Height)。numclass表示模型需要预测的标签类别数，BatchSize表示每批输入量的大小，Filters表示一个下采样卷积层的过滤器数，l表示编码器的深度，Width表示特征贴图的宽度，Height表示特征贴图的高度。
编码器：
本方法的编码器又称ConvFormer编码器。基于MetaFormer的概念，构建了无patch的ConvFormer块（即下采样卷积层）。为了避免批量归一化导致的过度规范化问题，在连接ConvFormer块时采用1×1卷积层作为中间层，可以保证空间信息的保留，并通过非线性变换增强了模型的表达能力。每个ConvFormer块都使用1×1卷积层来降低特征向量的维度并增加通道数。此外，在执行跳跃连接时，ConvFormer神经网络层不会改变特征图的尺寸，而是进一步集成特征图的特征。
ConvFormer神经网络层：
为了满足减少参数数量而确保表征能力的要求，ConvFormer神经网络层中采用了第二深度可分离卷积层，使用3×3的卷积核尺寸和1×1的卷积核尺寸作为卷积层。这些卷积层保持了特征向量的维度，同时有效地捕获了空间和通道信息。假设深度卷积滤波器K的大小为（k×k×C），点卷积滤波器P的大小为（1×1×C），被应用于已经进行了BatchNorm处理的尺寸为（1×1×C）的特征图，因此第二深度可分离卷积层可以表示为：
，
其中，C表示特征贴图的通道的编号，X、x表示每个批处理的特征映射；
为了进一步增强模型的解释性，ConvFormer神经网络层在卷积层后引入了由通道注意力和空间注意力模块组成的通道与空间注意力层。ConvFormer神经网络层中使用的双重注意力机制DAM（Dual Attention Mechanism）是一种具有多级特征融合和门控机制的注意力机制。然而，使用具有更大卷积核尺寸的重注意力机制DMA会导致参数数量和计算成本显著增加。为了解决这个问题，ConvFormer神经网络层采用了基于挤压和激励网络Squeezeand Excitation Network（SENet）的注意力机制来提取通道特征。如图2所示，通过进行全局平均池化和全局最大池化操作来压缩空间维度，以获取每个通道的全局描述。随后，一个两层的全连接神经网络将每个通道的全局描述映射到重要性权重。最后，通过矩阵乘法调整原始特征向量的注意力权重，以增强对关键特征的关注。FC表示全连接层，ReLU表示激活函数，GAP表示全局平均池化，GMP表示全局最大池化，因此该通道与空间注意力层可以用以下公式表示：
；
利用改进的空间注意力机制，通过将卷积层替换为深层可分离膨胀卷积层。如图3所示，空间注意力机制的是通过沿通道维度连接特征向量的均值和最大值来构建的。每个空间位置的权重是通过扩张卷积来计算的，使得模型可以学习空间特征的重要性。计算得到的空间注意力权重然后与原始特征向量逐元素相乘，以对每个空间位置的特征进行缩放。通过这种改进的空间注意力机制，模型可以有效地模拟全局特征的重要性，并且具有更低的计算复杂度，从而增强了模型的性能和表达能力。
解码器：
本方法的解码器为带有跳跃连接的多尺度解码器，以增强模型的表征性能力。解码器的结构对称于编码器，并由4个块（即上采样层）组成。一系列双线性插值操作被用于调整特征向量的尺度。特征向量在两个顺序连接的上采样层之间进行双线性插值操作，尺度因子为2。而在不同层之间进行跨层连接时，采用尺度因子为4的双线性插值操作，将不同层级的特征向量与原始特征向量相加和拼接。这种插值操作有助于恢复解码器中的像素级特征和空间信息。值得注意的是，双线性插值不涉及非线性变换，这使得它难以执行复杂的任务，甚至会导致产生伪影噪声。因此，在添加不同层级的特征向量时，为通过尺度因子为4的双线性插值得到的特征向量引入了动态权重，并且在反向传播过程中调整这些权重以控制这些特征向量的重要性。
在解码器的设计中，考虑了编码器和解码器之间的跳跃连接，以及编码器用于压缩图像尺寸的策略。因此，在解码器中，使用3×3卷积层作为主要的特征融合机制，以实现特征融合。通过卷积层的操作，编码器和解码器的特征可以有效地结合，捕捉到更丰富的语义信息和详细特征。
训练分割模型的伪代码：
试验对象：本方法与SegNet图像分割模型、Deeplab v3+图像分割模型、U-Net图像分割模型和FCN图像分割模型等经典图像分割模型进行了对比。
训练数据集：
第一个数据集由是一组经过专业医生标注的间质性肺炎CT图像数据集。原始文件的格式为MHA，在转换后，共生成了1176张分辨率为512×512的JPEG图像。该数据集中的病变区域通过二值掩膜进行分割，其中病变区域标记为1，非病变区域标记为0。
第二个数据集是Covid-19数据集。该数据集的原始文件是NIFTI格式的CT图像。在转换和数据标准化后，生成了829张分辨率为512×512的JPEG图像。该数据集同样使用二值掩膜进行标签分割。
在我们的实验中，上述两个数据集都进行了最小-最大缩放，将图像的像素值缩放到0-255的范围内。训练集和测试集的划分比例为9:1。值得注意的是，在本研究中，没有对数据集进行其他数据增强操作，以保留图像的原始特征和结构。
评估指标：
使用F1 Score得分和交并比 (Intersection over Union, IoU) 来评估模型的性能。F1 得分是用于评估二分类模型常见的指标，同时考虑了精确率和召回率。在数据不平衡的情况下，模型通常会展现较低的召回率，从而导致 F1 得分降低。因此，F1 得分适用于对不平衡数据集的模型性能评估。计算 F1 得分的公式如下所示：
，
，
；
其中，TP 表示正确分类的肺部病变像素数量，FP 表示被模型错误分类为肺部病变的像素数量，FN 表示被模型错误分类为非目标区域的像素数量。精确率可以用来衡量模型在预测肺部病变时的准确性，而召回率可以评估模型的召回能力。交并比(IoU)，也称为Jaccard系数，用于衡量预测区域与真实区域之间的重叠程度。计算公式如下：
，
IoU和 F1分数的取值范围在0到1之间，数值越高表示模型的分割性能越好。此外，本方法还计算了比较方法的参数数量(Par)和每秒浮点运算次数(GFlops)，以评估它们的计算效率和模型复杂性。此外，本方法还测量了所有模型在相同环境下训练一个帧(Frame,Fra) 所需的时间。
实验结果，如图6、图7、图8所示；
图6、图7、图8呈现了本方法的分割模型与其他基准方法的比较结果。在两个数据集中，本方法的分割模型的F1 Score和IoU均显著高于所有基准方法。这表明本方法的分割模型中使用的ConvFormer能够更好地表示图像的特征信息。与DeepLab V3+图像分割模型相比，本方法展现出显著的改进（平均F1 Score提升了8.2%，平均IoU提升了11.7%）。这主要归功于本方法分割模型中的跳跃连接和多尺度特征融合。此外，不同阶段肺部病变特征变化的显著影响突显了注意机制的重要性。本方法的分割模型还显著优于SegNet图像分割模型，表明采用的跳跃连接有效地保留了不同尺度的特征信息。关于模型参数、计算效率和时间需求，我们的模型实现了最低的参数数量、最少的计算时间和最低的浮点运算。这表明本方法的分割模型中的深度可分离卷积和注意机制有效地降低了计算成本，使得其在实际工程应用中可行。图6中的图像分割结果也证实了这些结论。具体而言，基于U-Net图像分割模型的网络可以识别更细的纹理特征，并在分割结果中呈现更多的细节信息。此外，本方法在分割的目标区域具有最好的连续性和完整性。原因是注意机制提取了良好的形状特征，并且多尺度的跳跃连接有效地保留了特征图的纹理特征。
消融实验：
为了研究本方法的分割模型中每个模块的有效性，将模型分解为几个设置，包括去除ConvFormer块中的空间注意机制（Spatial Attention）、去除通道注意机制（ChannelAttention）、去除所有注意机制（Attention Mechanism）、以及将模型中的深度可分离卷积（Depthwise Separable Convolution）替换为相同卷积核大小的传统卷积操作。
如图10所示，比较了这些不同设置对模型的影响。与没有任何注意机制的设置相比，模型的性能分别提高了17.8%和9.9%。这表明注意机制有助于模型更加关注重要的区域，从而增强了模型在任务中的性能。此外，实验结果表明，将深度可分离卷积替换为传统卷积操作后，模型的性能并未受到不利影响。然而，我们观察到模型性能下降了5%。这种现象可以归因于卷积操作需要更多的卷积滤波器，增加了模型的复杂性，使其对噪声更加敏感。
稳健性研究：
从某医院提供的数据集中随机选择样本，构建了样本大小为500、200和100的数据集。在保持其他设置不变的情况下，我们比较了不同方法在这三个数据集上的稳健性。图7、图8展示了本方法的分割模型和其他对比方法在这些数据集上的训练结果。大多数方法在相对于原始数据集的稳定性方面表现出较好，但SegNet的性能显著下降。本方法在100、200和500数据集上分别达到了86.0%、86.1%和88.9%的IoU得分，以及92.1%、92.1%和93.9%的F1得分。当数据集大小缩小到100时，本方法的分割模型只损失了2%的性能，而其他模型平均损失了2.75%。这表明本方法的分割模型在小型数据集上表现出一定的稳健性。研究结果表明，本方法的分割模型具有合适的模型结构和参数选择，为将模型应用于实际小规模数据集提供了可靠的解决方案。
解释性实验：
为了验证注意力机制在特征提取中的有效性，从数据集中随机选择了一个样本，并可视化了模型的决策过程，如图9所示。展示了从下采样和多尺度跳跃连接开始的模型决策过程。在下采样分支中，特征图从输入大小为512×512按比例降低到32×32，相当于原始图像的1/16。模型仍然可以捕捉到尺度为256×256、128×128和64×64的特征图的形状和纹理特征。在这个分支中，模型更关注与众不同的特征，比如圆形伪影和扫描床的形状，这些特征在数据中有显著的差异。然而，随着下采样的进行，目标区域的像素级特征逐渐减少，当特征图进一步降低到32×32时可以观察到这一点。
在模型中使用跳跃连接来解决信息瓶颈问题。如图9中的跳跃连接分支所示，注意力机制有效地提取了尺度为256×256、128×128、64×64和32×32的目标区域的形状和纹理特征。这表明我们模型的注意力机制具有良好的空间和尺度不变性，从而提高了模型在不同尺度上的鲁棒性和泛化能力。
可迁移性研究：
使用迁移学习验证了模型的跨域学习能力。使用相同的超参数设置，对模型进行了多个数据集的预训练。进行两种不同的实验方式。
首先，在具有相似分布的数据集上进行迁移学习。具体而言，首先在来某医院的数据集上进行预训练，然后在COVID-19数据集上进行迁移学习。
其次，使用具有不同分布的数据集进行跨域迁移学习。具体而言，首先在Kavasir-SEG数据集上对模型进行预训练，然后在某医院的数据集上进行迁移学习。为了确保实验的严谨性，在两种迁移学习类型中，冻结了ConvFormer Encoder和用于跳跃连接的ConvFormer Block的参数。这种方法有助于更好地理解模型的决策过程。
如图11所示，在大多数情况下，模型在预训练后表现更好。具有相似分布的迁移学习实验的结果表明，模型的注意机制能够更有效地提取纹理和形状特征。可以观察到模型在从Kavasir-SEG数据集到肺部CT数据集的跨域迁移学习中表现更好。然而，当从肺部CT数据集迁移到Kavasir-SEG数据集时，模型表现出显著的性能下降。将这归因于训练数据，因为Kavasir-SEG数据集包含更丰富的颜色、纹理和形状特征。同时，肺部CT图像单调且目标区域不太显著。此外，对不同冻结模型参数的实验表明，降采样和跳跃连接分支在模型训练过程中发挥着同等重要的作用。
综上所述，本方法的分割模型可以从CT图像中提取形状、纹理和其他特征，并通过可解释性实验展示模型的决策过程。在两个肺部病变数据集上进行了大量实验，并展示了本方法的分割模型在医学图像分割中优于现有的最先进方法。分析了模型中每个模块的重要性，并可视化了分割结果。此外，通过实验证实了每个模块的重要性和鲁棒性。使用迁移学习探索了模型在面对不同特征分布时的稳定性。最后，通过可视化验证了模型的可解释性。
本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。
Claims (7)
1.用于肺部病变图像的分割方法，其特征在于，包括：
S1、构建分割模型，分割模型包括编码器、解码器和M个ConvFormer神经网络层，编码器包括M个下采样卷积层，解码器包括M个上采样层，第m个下采样卷积层的输出分别作为第m+1个下采样卷积层的输入和第m+1个ConvFormer神经网络层的输入，第m个ConvFormer神经网络层的输出和第m-1个上采样层的输出均作为第m个上采样层的输入，m∈M；
每个下采样卷积层包括第一归一化标准层、第一中间层、第一深层可分离卷积层、第一通道与空间注意力层和第一通道MLP层，第一归一化标准层、第一中间层、第一深层可分离卷积层从输入到输出依次连接，第一深层可分离卷积层的输出作为第一通道MLP层的输入，第m-1个下采样卷积层的输出和第m个下采样卷积层中第一深层可分离卷积层的输出均作为第m个下采样卷积层中第一通道与空间注意力层的输入，第m个下采样卷积层中第一通道MLP层的输出和第m个下采样卷积层中第一通道与空间注意力层的输出均作为第m+1个下采样卷积层的输入和第m个ConvFormer神经网络层的输入；
S2、获取数据集，数据集包括肺部的CT图像；
S3、利用二值掩膜对数据集进行分割处理；
S4、对分割处理后的数据集进行划分，分为训练集和测试集；
S5、利用训练集和测试集对分割模型进行训练优化；
S6、获取待预测的肺部病变图像；
S7、利用优化后的分割模型进行分割，并得到分割结果。
2.根据权利要求1所述的用于肺部病变图像的分割方法，其特征在于，每个ConvFormer神经网络层包括第二归一化标准层、第二中间层、第二深层可分离卷积层、第二通道与空间注意力层和第二通道MLP层，第二归一化标准层、第二中间层、第二深层可分离卷积层从输入到输出依次连接，第二深层可分离卷积层的输出作为二通道MLP层的输入，第m个下采样卷积层的输出和第m个ConvFormer神经网络层中第二深层可分离卷积层的输出均作为第m个ConvFormer神经网络层中第二通道与空间注意力层的输入，第m个ConvFormer神经网络层中第二通道MLP层的输出作为第m个上采样层的输入。
3.根据权利要求1所述的用于肺部病变图像的分割方法，其特征在于，第m’个上采样层和第m’+2个上采样层跨层连接时，采用双线性插值操作对第m’个上采样层的输出和第m’+2个上采样层的输出相加和拼接，m’+2≤M。
4.根据权利要求2所述的用于肺部病变图像的分割方法，其特征在于，第一通道与空间注意力层和第二通道与空间注意力层均包括通道注意力模块和空间注意力模块，通道注意力模块用于提取通道特征，空间注意力模块用于提取空间描述。
5.根据权利要求4所述的用于肺部病变图像的分割方法，其特征在于，通道注意力模块包括第一分支、第二分支和第一多层感知层，第一分支的输出和第二分支的输出均作为第一多层感知层的输入，第一分支和第二分支并联，第一分支从输入到输出依次包括全局平均池化层、第一全连接层、ReLU激活层和第二全连接层，第二分支从输入到输出依次包括全局最大池化层、第三全连接层、ReLU激活层和第四全连接层。
6.根据权利要求4所述的用于肺部病变图像的分割方法，其特征在于，空间注意力模块包括三个深层可分离膨胀卷积层、合并层、第五全连接层和第二多层感知层，三个深层可分离膨胀卷积层的输出均位于合并层的输入，合并层、第五全连接层和第二多层感知层从输入到输出依次连接。
7.根据权利要求1所述的用于肺部病变图像的分割方法，其特征在于，在S5中，利用交叉熵损失LC、均方误差损失LM和骰子损失LD对分割模型进行训练优化，交叉熵损失LC表示为：
，
均方误差损失LM表示为：
，
骰子损失LD表示为：
，
总损失Loss表示为：
，
其中，f（xi）是预测值，yi是真正的标签所属的类别，N表示样本数，γ是一个避免零分母的最小值，α和β分别表示LC和LM的权重，用于平衡多重损失。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311377777.5A CN117132606B (zh) | 2023-10-24 | 2023-10-24 | 用于肺部病变图像的分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311377777.5A CN117132606B (zh) | 2023-10-24 | 2023-10-24 | 用于肺部病变图像的分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117132606A true CN117132606A (zh) | 2023-11-28 |
| CN117132606B CN117132606B (zh) | 2024-01-09 |
Family
ID=88863090
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311377777.5A Active CN117132606B (zh) | 2023-10-24 | 2023-10-24 | 用于肺部病变图像的分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117132606B (zh) |
Citations (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020033594A1 (en) * | 2018-08-07 | 2020-02-13 | Yale University | Interpretable deep machine learning for clinical radiology |
| WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割系统、方法及电子设备 |
| WO2021147938A1 (en) * | 2020-01-22 | 2021-07-29 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for image processing |
| CN113592809A (zh) * | 2021-07-28 | 2021-11-02 | 中国海洋大学 | 一种基于通道注意力残差网络的肺炎图像检测系统及方法 |
| US20210390338A1 (en) * | 2020-06-15 | 2021-12-16 | Dalian University Of Technology | Deep network lung texture recogniton method combined with multi-scale attention |
| CN114494296A (zh) * | 2022-01-27 | 2022-05-13 | 复旦大学 | 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统 |
| WO2022100495A1 (zh) * | 2020-11-11 | 2022-05-19 | 上海健康医学院 | 一种磨玻璃样肺结节自动分割方法及计算机设备 |
| CN114708255A (zh) * | 2022-04-29 | 2022-07-05 | 浙江大学 | 一种基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法 |
| CN114819386A (zh) * | 2022-05-19 | 2022-07-29 | 河海大学 | 一种基于Conv-Transformer的洪水预报方法 |
| WO2022228425A1 (zh) * | 2021-04-29 | 2022-11-03 | 华为技术有限公司 | 一种模型训练方法及装置 |
| CN115375922A (zh) * | 2022-09-03 | 2022-11-22 | 杭州电子科技大学 | 一种基于多尺度空间注意力的轻量化显著性检测方法 |
| CN115690479A (zh) * | 2022-05-23 | 2023-02-03 | 安徽理工大学 | 一种基于卷积Transformer的遥感图像分类方法及系统 |
| CN115762536A (zh) * | 2022-11-25 | 2023-03-07 | 南京信息工程大学 | 一种基于桥接Transformer的小样本优化鸟声识别方法 |
| CN115937774A (zh) * | 2022-12-06 | 2023-04-07 | 天津大学 | 一种基于特征融合和语义交互的安检违禁品检测方法 |
| CN116035577A (zh) * | 2023-01-14 | 2023-05-02 | 南京信息工程大学 | 一种结合注意力机制与crnn的脑电情感识别方法 |
| WO2023070960A1 (zh) * | 2021-10-29 | 2023-05-04 | 中国华能集团清洁能源技术研究院有限公司 | 一种基于卷积transformer架构的风功率预测方法、系统及设备 |
| CN116189800A (zh) * | 2023-02-23 | 2023-05-30 | 深圳大学 | 基于气体检测的模式识别方法、装置、设备及存储介质 |
| CN116468732A (zh) * | 2023-03-09 | 2023-07-21 | 中南大学 | 基于深度学习的肺部ct影像分割方法及成像方法 |
| CN116543429A (zh) * | 2023-03-17 | 2023-08-04 | 齐鲁工业大学(山东省科学院) | 基于深度可分离卷积的舌象识别系统及方法 |
| CN116645586A (zh) * | 2023-05-30 | 2023-08-25 | 无锡学院 | 一种基于改进YOLOv5的港口集装箱损伤检测方法及系统 |
| CN116681960A (zh) * | 2023-05-15 | 2023-09-01 | 山东省计算中心（国家超级计算济南中心） | 一种基于K8s的中尺度涡旋智能识别方法及系统 |
| CN116739985A (zh) * | 2023-05-10 | 2023-09-12 | 浙江医院 | 一种基于Transformer和卷积神经网络的肺部CT图像分割方法 |
| CN116842460A (zh) * | 2023-05-12 | 2023-10-03 | 杭州电子科技大学 | 基于注意力机制与残差神经网络的咳嗽关联疾病识别方法和系统 |
-
2023
- 2023-10-24 CN CN202311377777.5A patent/CN117132606B/zh active Active
Patent Citations (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020033594A1 (en) * | 2018-08-07 | 2020-02-13 | Yale University | Interpretable deep machine learning for clinical radiology |
| WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割系统、方法及电子设备 |
| WO2021147938A1 (en) * | 2020-01-22 | 2021-07-29 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for image processing |
| US20210390338A1 (en) * | 2020-06-15 | 2021-12-16 | Dalian University Of Technology | Deep network lung texture recogniton method combined with multi-scale attention |
| WO2022100495A1 (zh) * | 2020-11-11 | 2022-05-19 | 上海健康医学院 | 一种磨玻璃样肺结节自动分割方法及计算机设备 |
| WO2022228425A1 (zh) * | 2021-04-29 | 2022-11-03 | 华为技术有限公司 | 一种模型训练方法及装置 |
| CN113592809A (zh) * | 2021-07-28 | 2021-11-02 | 中国海洋大学 | 一种基于通道注意力残差网络的肺炎图像检测系统及方法 |
| WO2023070960A1 (zh) * | 2021-10-29 | 2023-05-04 | 中国华能集团清洁能源技术研究院有限公司 | 一种基于卷积transformer架构的风功率预测方法、系统及设备 |
| CN114494296A (zh) * | 2022-01-27 | 2022-05-13 | 复旦大学 | 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统 |
| CN114708255A (zh) * | 2022-04-29 | 2022-07-05 | 浙江大学 | 一种基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法 |
| CN114819386A (zh) * | 2022-05-19 | 2022-07-29 | 河海大学 | 一种基于Conv-Transformer的洪水预报方法 |
| CN115690479A (zh) * | 2022-05-23 | 2023-02-03 | 安徽理工大学 | 一种基于卷积Transformer的遥感图像分类方法及系统 |
| CN115375922A (zh) * | 2022-09-03 | 2022-11-22 | 杭州电子科技大学 | 一种基于多尺度空间注意力的轻量化显著性检测方法 |
| CN115762536A (zh) * | 2022-11-25 | 2023-03-07 | 南京信息工程大学 | 一种基于桥接Transformer的小样本优化鸟声识别方法 |
| CN115937774A (zh) * | 2022-12-06 | 2023-04-07 | 天津大学 | 一种基于特征融合和语义交互的安检违禁品检测方法 |
| CN116035577A (zh) * | 2023-01-14 | 2023-05-02 | 南京信息工程大学 | 一种结合注意力机制与crnn的脑电情感识别方法 |
| CN116189800A (zh) * | 2023-02-23 | 2023-05-30 | 深圳大学 | 基于气体检测的模式识别方法、装置、设备及存储介质 |
| CN116468732A (zh) * | 2023-03-09 | 2023-07-21 | 中南大学 | 基于深度学习的肺部ct影像分割方法及成像方法 |
| CN116543429A (zh) * | 2023-03-17 | 2023-08-04 | 齐鲁工业大学(山东省科学院) | 基于深度可分离卷积的舌象识别系统及方法 |
| CN116739985A (zh) * | 2023-05-10 | 2023-09-12 | 浙江医院 | 一种基于Transformer和卷积神经网络的肺部CT图像分割方法 |
| CN116842460A (zh) * | 2023-05-12 | 2023-10-03 | 杭州电子科技大学 | 基于注意力机制与残差神经网络的咳嗽关联疾病识别方法和系统 |
| CN116681960A (zh) * | 2023-05-15 | 2023-09-01 | 山东省计算中心（国家超级计算济南中心） | 一种基于K8s的中尺度涡旋智能识别方法及系统 |
| CN116645586A (zh) * | 2023-05-30 | 2023-08-25 | 无锡学院 | 一种基于改进YOLOv5的港口集装箱损伤检测方法及系统 |
Non-Patent Citations (8)
| Title |
|---|
| HE SHENG等: ""U-Netmer: U-Net meets Transformer for medical image segmentation"", 《ARXIV》, pages 1 - 10 * |
| PENGFEI GU等: ""ConvFormer: Combining CNN and Transformer for Medical Image Segmentation"", 《EEE INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING》, pages 1 - 15 * |
| WEIPING DING等: ""FTransCNN: Fusing Transformer and a CNN based on fuzzy logic for uncertain medical image segmentation"", 《INFORMATION FUSION》, vol. 99, pages 1 - 13 * |
| XIAN LIN等: ""ConvFormer: Plug-and-Play CNN-Style Transformers for Improving Medical Image Segmentation"", 《ARXIV》, pages 1 - 10 * |
| YIXUAN WU等: ""D-former: a U-shaped Dilated Transformer for 3D medical image segmentation"", 《NEURAL COMPUTING AND APPLICATIONS》, vol. 35, no. 5, pages 112 - 132 * |
| 刘剑锋等: ""结合卷积网络与注意力机制的冰凌提取算法"", 《遥感信息》, vol. 38, no. 4, pages 49 - 56 * |
| 李威等: ""基于多任务学习的间质性肺病分割算法"", 《计算机应用》, pages 1 - 12 * |
| 陈栋等: ""结合transformer和多层特征聚合的高光谱图像分类算法"", 《数据与计算发展前沿》, vol. 5, no. 3, pages 138 - 151 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117132606B (zh) | 2024-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886986A (zh) | 一种基于多分支卷积神经网络的皮肤镜图像分割方法 | |
| Shi et al. | Automatic segmentation of cardiac magnetic resonance images based on multi-input fusion network | |
| CN112258488A (zh) | 一种医疗影像病灶分割方法 | |
| Shi et al. | Prediction of progression in idiopathic pulmonary fibrosis using CT scans at baseline: A quantum particle swarm optimization-Random forest approach | |
| CN111951235A (zh) | 基于深度学习的皮肤图像处理方法 | |
| CN115205300A (zh) | 基于空洞卷积和语义融合的眼底血管图像分割方法与系统 | |
| CN113554665A (zh) | 一种血管分割方法及装置 | |
| CN113724876A (zh) | 基于多模态融合和dfs-lle算法的脑卒中院内并发症预测模型 | |
| US20220383489A1 (en) | Automatic condition diagnosis using a segmentation-guided framework | |
| CN113850753A (zh) | 医学图像信息计算方法、装置、边缘计算设备和存储介质 | |
| CN112734715A (zh) | 一种肺部ct图像的肺结节分割方法 | |
| Jiang et al. | MFI-Net: A multi-resolution fusion input network for retinal vessel segmentation | |
| CN115984555A (zh) | 一种基于深度自编码器构图的冠状动脉狭窄识别方法 | |
| CN114943721A (zh) | 一种建立基于改进U-Net网络的颈部超声图像分割方法 | |
| Wang et al. | DPBET: A dual-path lung nodules segmentation model based on boundary enhancement and hybrid transformer | |
| Hu et al. | LeaNet: Lightweight U-shaped architecture for high-performance skin cancer image segmentation | |
| CN115082388A (zh) | 一种基于注意力机制的糖尿病视网膜病变图像检测方法 | |
| CN112750110A (zh) | 基于神经网络对肺部病灶区进行评估的评估系统和相关产品 | |
| Shim | Self‐training approach for crack detection using synthesized crack images based on conditional generative adversarial network | |
| Talavera-Martínez et al. | An encoder-decoder CNN for hair removal in dermoscopic images | |
| CN112488996A (zh) | 非齐次三维食管癌能谱ct弱监督自动标注方法与系统 | |
| CN117132606B (zh) | 用于肺部病变图像的分割方法 | |
| US11875898B2 (en) | Automatic condition diagnosis using an attention-guided framework | |
| Zhang et al. | Multi-scale aggregation networks with flexible receptive fields for melanoma segmentation | |
| CN115661029A (zh) | 基于YOLOv5的肺结节检测与识别系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |