CN116681679A - 基于双分支特征融合注意的医学图像小目标分割方法 - Google Patents
基于双分支特征融合注意的医学图像小目标分割方法 Download PDFInfo
- Publication number
- CN116681679A CN116681679A CN202310683187.9A CN202310683187A CN116681679A CN 116681679 A CN116681679 A CN 116681679A CN 202310683187 A CN202310683187 A CN 202310683187A CN 116681679 A CN116681679 A CN 116681679A
- Authority
- CN
- China
- Prior art keywords
- feature
- feature map
- fusion
- segmentation
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 101
- 230000011218 segmentation Effects 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000012549 training Methods 0.000 claims abstract description 36
- 230000002441 reversible effect Effects 0.000 claims abstract description 15
- 230000002708 enhancing effect Effects 0.000 claims abstract description 6
- 238000010586 diagram Methods 0.000 claims description 34
- 238000012360 testing method Methods 0.000 claims description 26
- 238000003709 image segmentation Methods 0.000 claims description 24
- 208000002454 Nasopharyngeal Carcinoma Diseases 0.000 claims description 20
- 206010061306 Nasopharyngeal cancer Diseases 0.000 claims description 15
- 201000011216 nasopharynx carcinoma Diseases 0.000 claims description 15
- 238000011084 recovery Methods 0.000 claims description 15
- 208000037062 Polyps Diseases 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000002347 injection Methods 0.000 claims description 6
- 239000007924 injection Substances 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000004513 sizing Methods 0.000 claims description 3
- 238000005728 strengthening Methods 0.000 claims description 3
- 239000013589 supplement Substances 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 abstract description 7
- 210000000056 organ Anatomy 0.000 abstract description 3
- 239000010410 layer Substances 0.000 description 18
- 238000002595 magnetic resonance imaging Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 7
- 238000002679 ablation Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 210000005246 left atrium Anatomy 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 210000005245 right atrium Anatomy 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000001746 atrial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000013184 cardiac magnetic resonance imaging Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000005240 left ventricle Anatomy 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000005241 right ventricle Anatomy 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 206010040882 skin lesion Diseases 0.000 description 1
- 231100000444 skin lesion Toxicity 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Analysis (AREA)
Abstract
本发明提出基于双分支特征融合注意的医学图像小目标分割方法，尤其涉及医学图像癌变区域和目标器官的分割，主要针对小目标分割精度不高的问题。构建的分割模型主要包括两个核心模块：双分支特征融合模块DFFM和反向注意上下文模块RACM，首先利用双分支特征编码器提取多分辨率特征，然后构建DFFM，聚合全局和局部上下文信息，实现特征间的信息互补，为精确分割小目标提供足够的指导。为了缓解医学图像边界模糊导致的分割精度下降，提出了反向注意上下文模块来增强特征的边缘纹理，本发明采用六个不同的数据集作为训练集，通过实验证明，本发明方法在参数更少，推理速度更快，模型复杂度更低的情况下，其分割精度比现有方法有更好的表现。
Description
技术领域
本发明涉及医学图像小目标分割领域，尤其涉及基于双分支特征融合注意的医学图像小目标分割方法。
背景技术
医学图像分割是对医学图像中某些有意义的部分进行分割，为临床治疗和案例研究提供可靠的依据。此前，图像分割采用了基于阈值的方法，对图像像素点进行分类，并根据分类结果进行分割，如自适应阈值方法和双阈值方法。虽然这些方法计算简单，但对于像素值相似且不同类别之间边界重叠的图像其分割性能不佳，合理阈值的确定也非常具有挑战性。此外，提出了基于边界跟踪和边缘检测的分割算法，利用不同区域边缘像素的剧烈变化进行分割。然而，分割结果缺少完整的区域结构，并且噪声干扰强烈。随后，提出了基于面积的分割算法，利用图像同一部分的平均特征进行分割，但容易造成图像过分割。
随着深度学习的广泛应用，医学图像分割技术得到了迅速发展。例如，FCN网络模型用卷积层取代了CNN的全连接层，实现了从图像级分类到像素级分类的跨越。但是，该模型缺乏对细节信息的关注和像素之间关系的考虑，导致分割结果粗糙。作为FCN的改进，U-Net模型通过短链接将收缩路径与扩展路径连接起来，完成浅层特征信息与深层特征信息的交互。该网络预测精度显著提高。但该模型计算冗余，导致计算速度降低，且分割精度和像素定位精度不能同时满足，导致对数据集的泛化性较差。后来，在这些模型的基础上提出了许多扩展模型。例如，注意力U-Net，它抑制了对输入图像中不相关区域的学习，并通过在U-Net中添加注意力机制来突出特定任务的有用特征。Unet++通过在U-Net上增加密集的卷积块，使编码器和解码器的语义更加相似。但是，它们对边缘分割不够平滑，增加了网络参数，占用了大量内存。快速分割网络Unext通过标记和投影卷积特征来获取特征位置信息，以更快的速度完成分割。然而，该模型对于目标面积小、数据量少的图像分割效果较差。
而后Transformer在视觉任务上的广泛应用促进了医学图像分割的进步。胡瀚等人构建了Swin Transformer网络模型。它使用滑动窗口操作来计算不能重叠的窗口的自注意力，将注意力限制在单个patch上，并引入了CNN卷积的位置信息。受此启发，Swin-UNet首次将Transformer和U-Net结合在一起。该模型将卷积块替换为Transformer模块，将位置信息添加到特征图中，并实现局部特征和全局特征的交互。同时，UTNet在编码器和解码器中应用自注意模块，以最小的开销捕获不同规模的远程依赖关系。这些模型在U型架构中引入了Transformer，不仅克服了通过卷积提取远程信息的困难，而且解决了Transformer学习视觉偏差需要大量数据的问题。然而，在多头注意机制、位置编码和窗口滑动中产生了大量参数，导致模型计算量大，数据泛化能力差。
此外，BisNet和BisNetV2分别通过细节分支和语义分支提取多尺度特征，然后使用特定的模块进行特征融合，获得丰富的特征信息。最后，提高了网络的性能。Fast-SCNN以密集卷积为语义分支，深度卷积为结构分支，提取多尺度特征，然后进行特征融合，预测分割结果。然而，这些双边网络在任务类型方面有很大的局限性。它们主要针对实时语义分割任务，在像素级分割任务上表现不佳，特别是类不平衡的医学图像分割和小目标分割。
现有技术存在的不足：
1、网络的特征融合集成编码器所有输出，在解码过程没有突出浅层细节特征。
一些图像分割方法一般都会使用到多尺度特征融合，但是大多数通过将编码器各层输出直接整合在一起进行解码操作，会导致网络在获取图像浅层细节特征时受限制，因而最后的分割结果一般会出现类别错误，边缘纹理误差大等问题。由此需要将双分支各层特征依次融合，为解码器提供多级语义信，同时特征融合方式区别于简单的特征组合（如逐像素相加,通道拼接）,采用自适应地集成局部特征和全局依赖关系，有效的过滤掉空间中其他无用信息。
2、网络的训练时间和计算资源空间消耗量大。
现有图像分割方法大多通过加入Transformer架构克服卷积神经网络提取远程信息困难的问题，以此提高模型分割的精度。但是多头注意力和位置编码在实施过程中产生了大量的参数，增加了模型的训练时间并消耗了大量的空间资源。因此需要设计训练时间少和计算成本低的网络来提高训练效率。
3、网络没有考虑全局和局部特征整合过程中边缘特征的削弱，出现过分割或分割失败的问题。
现有图像分割网络忽略了在不同类别任务中的边缘特征的增强。有的网络考虑利用减法突出边缘特征，但该方法仅适用于单标签任务。因此需要设计增强深层类别轮廓信息以获取边缘增强特征图的模型，且该模型适用于不同类别任务，以解决边缘模糊造成的分割精度下降的问题。
发明内容
针对现有技术的不足，本发明提出了一种基于双分支特征融合注意的医学图像小目标分割方法，
所述方法构建了一个针对医学图像中小目标区域的分割网络，分别用六种不同的数据集作为训练集进行学习，构建的分割网络包括特征编码器、特征融合模块和反向注意上下文模块，特征编码器用于提取多分辨率特征，特征融合模块用于聚合全局和局部上下文信息，注意上下文模块用于增强特征的边缘纹理，具体包括：
步骤1：准备医学图像分割所需数据集，包括三维多类别鼻咽癌CT图像、三维单类别鼻咽癌MRI图像数据、三维心脏MRI图像数据、Polyp息肉混合数据集在内的6个数据集；
步骤2：对步骤1所获取的六个不同数据集分别进行第一步预处理，并分别按照约定比例划分成训练集和测试集；
步骤3：对所述训练集和所述测试集进行第二步预处理，同时，构建并初始化双分支特征融合注意小目标分割网络，具体包括：
步骤31：针对三维单类别鼻咽癌MRI数据集和Polyp息肉数据集，将原始图像转换成三通道的RGB图像，对应的标签图像转换成二值灰度图像，并对所述二值灰度图像进行数据增强的预处理；
步骤32：构建小目标分割网络，所述分割网络包括一个双分支编码器，三个特征融合模块，一个解码器，所述分割网络的双分支编码器由两个并行的独立分类主干网络构成，第一分支编码器采用ResNet34网络作为细节分支，第二分支编码器采用ShuffleNet网络作为语义分支，用于提取输入图像的多尺度特征信息；三个特征融合模块分别插入到所述双分支编码器之间，用于融合所述双支编码器中同一层的特征信息；所述分割网络的解码器由两个反向注意上下文模块堆叠而成，用于将不同尺度的融合特征进行特征恢复；
步骤4：将步骤31处理后的训练集输入构建完成的所述分割网络中，对网络进行训练，具体包括：
步骤41：将所述训练集中的同一原始图像分别传入编码器的两个并行分支编码器，提取特征信息，每个分支分别输出三层的特征图，所述细节分支的输出表示为细节特征图Ri，具体包括第一细节特征图R1、第二细节特征图R2、第三细节特征图R3，所述第三细节特征图R3上采样后生成第一辅助特征图f1，所述语义分支的输出表示为语义特征图Si，具体包括第一语义特征图S1、第二语义特征图S2、第三语义特征图S3，所述第三语义特征图S3上采样后生成第二辅助特征图f2，i=1，2，3；
步骤42：然后将细节特征图和语义特征图传入对应的特征融合模块中，得到融合特征图Bi，具体的，R1和S1送入第三特征融合模块得到第三融合特征图B3，R2和S2送入第二特征融合模块得到第二融合特征图B2，所述第二融合特征图B2上采样后生成第四辅助特征图f4，R3和S3送入第一特征融合模块得到第一融合特征图B1，所述第一融合特征图B1上采样后生成第三辅助特征图f3，自适应地整合局部特征和全局依赖关系，输出丰富的语义信息；
步骤43：将所述第一融合特征图B1和第二融合特征图B2传入所述解码器，通过第一反向注意上下文模块强化类别，并利用浅层细节特征进行特征恢复，得到第一特征恢复图RS1；
步骤44：将第一融合特征B1上采样至2倍并与第一特征恢复图RS1进行通道拼接，随后传入双卷积组合，得到第一阶段的特征预测图f5；
步骤45：随后将第一阶段的特征预测图f5和浅层的第三特征融合模块输出的第三融合特征图B3作为第二反向注意上下文模块的输入，重复步骤43，最后得到预测结果Pre；
步骤5：计算步骤45的预测结果Pre和标签图像的损失，并分别计算第一辅助特征图f1、第二辅助特征图f2、第三辅助特征图f3、第四辅助特征图f4与标签图像的损失，所述特征预测图f5与标签图像的损失，将损失值进行反向传播，调整网络的参数；
步骤6：步骤4和步骤5依次经过10次训练后，将测试集传入训练完成的所述图像分割网络进行测试，判断所述图像分割网络当前测试的相似度Dice指标是否最高，若是，则保存当前模型参数，否则跳转至步骤4进行下一轮训练；
步骤7：取出测试过程中表现最好的网络，然后将测试集依次送入该网络，计算平均交并比mIoU和平均相似度mDice指标，并保存最终的预测分割图。
根据一种优选的实施方式，步骤42的融合特征具体包括：
步骤421：首先，利用卷积核为的卷积调整输入细节特征图Ri的分辨率；
步骤422：然后，利用全局平均池化将实际的类别含义分配给细节特征图Ri每个通道，并与卷积后的语义特征图Si进行通道拼接，完成多语义信息的整合，强调目标的位置特征，输出特征图F；
步骤423：接着对所述特征图F进行Sigmoid激活，在语义特征图Si中获取有效的上下文信息，得到全局注意力特征图Fs；
步骤424：最后将卷积后的所述全局注意力特征图Fs调整分辨率大小并注入到卷积后的细节特征图Ri，自适应地整合全局和局部依赖关系，计算它们的相似度，输出多分辨率融合特征图Bi。
根据一种优选的实施方式，步骤43的特征恢复过程具体包括：
步骤431：首先，对第一融合特征图B1进行双线性两倍上采样后和第二融合特征图B2输入第一反向注意上下文模块，利用卷积核为1X1的卷积调整第一融合特征图B1的信道空间，随后将卷积后的第一融合特征图B2和第二融合特征图B2进行通道级联重置通道映射关系得到级联特征图Fr；
步骤432：接着通过Relu激活函数和1X1的卷积操作改变级联特征图Fr中捕获的非线性特征，得到包含类别特征的详细特征映射图Fm；
步骤433：进一步对所述详细特征映射图Fm进行Sigmoid激活得到详细的逐像素注意力图，将其作用到第一融合特征图B1来强化边缘特征，得到边缘特征加权图Fw；
步骤434：最后向卷积后的边缘特加权图Fw注入第二融合特征B2中提取像素权重差异，来补充类别特征，输出第一阶段的第一特征恢复图RS1。与现有技术相比，本发明的有益效果在于：
1、本发明设计了一种有效的基于双分支特征融合注意的小目标分割网络（DFF-Net），以此解决小目标医学图像分割精度不高的问题。所涉及网络在参数较少的情况下，可以从边缘模糊、类不平衡的医学图像中准确分割出目标区域。
2、所涉及的图像分割网络提出了一个双分支特征融合模块（DFFM），用于融合多分辨率特征图，以此指导小目标的精确分割；以及一种反向注意上下文模块（RACM），用来增强特征的边缘纹理，缓解医学图像边缘模糊造成的精度损失的问题。
3、经过大量的实验证明，本发明提出的双分支特征融合注意的小目标分割网络在小目标分割上相比目前的分割网络精度更高，参数更少，推理速度更快，具有更好的泛化性。
附图说明
图1是本发明所提出的网络结构示意图；
图2是本发明特征融合模块的结构示意图；
图3是本发明反向注意上下文模块的结构示意图；
图4是在右心房数据集上的实验效果对比图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
本发明的DFFM是指：Dual-branch Feature Fusion Module，双通道特征融合模块。
本发明的RACM是指：Reverse Attention Context Module，反向注意上下文模块。
本发明涉及图像语义分割研究领域，尤其涉及医学图像癌变区域和目标器官的分割，它主要解决的是小目标分割精度不高的问题。当前基于卷积的神经网络提取远程信息困难，缺乏目标的空间信息，容易导致小目标的过分割。随着机器学习的发展，提出Transformer用于捕获不同规模的远程依赖关系，完成全局特征和局部特征的信息交互，但是Transformer引入的多头注意力、位置编码和窗口滑动产生了大量参数，导致模型计算量大，数据泛化能力差。
针对现有方案存在的不足，本发明提出了一种基于双分支特征融合注意的小目标分割网络DFF-Net，图1为本发明所提出的DFF-Net网络结构示意图。它的输入数据为原始图像，输出为分割预测结果Pre。其中，X的分辨率为CXWXH，C表示通道数，H表示图像的高度，W表示图像的宽度。本发明网络包括两个三层的分类主干网络（ResNet网络，ShuffleNet网络），通过并行排列组成特征提取器，还包括双通道特征融合模块DFFM用于同层特征融合，以及反向注意上下文模块RACM强化边缘特征，在解码过程进行精度补偿。
本发明图像分割网络的核心及主要创新点在于特征融合模块DFFM以及反向注意上下文模块RACM。图2为本发明提出的特征融合模块DFFM的示意图，该模块将特征提取器的输出Ri和Si（i=1,2,3）作为输入，融合特征Bi（i=1,2,3）作为输出。用于融合编码器同层特征，自适应地集成局部特征和全局依赖关系，过滤掉空间中其他无用信息，获得丰富有效的语义信息。在DFFM中，调整Ri分辨率并进行全局平均池化，给Ri的每个通道分配实际的类别含义。而后通过通道级联整合卷积后的Ri和Si的多语义信息，该阶段利用通道的类别语义完成特征集成，可以更好地强调小物体地位置特征，并对级联特征图F进行卷积运算和Sigmoid激活，用于在Si中获取有效的上下文信息，得到全局注意力特征图Fs。最后将卷积后的Fs注入到卷积后的Ri，自适应地整合全局和局部依赖关系，计算他们的相似度，输出多分辨率特征聚合图Bi。经过DFFM处理的特征图有助于在解码阶段集中注意在目标区域，防止训练中小目标特征的丢失。
图3为本发明反向注意上下文模块的结构示意图。在医学图像分割中，边缘信息的准确性往往决定了特征恢复的有效性和分割结果的准确性，而RACM用于增强边缘特征提高分割精度。该模块将DFFM的输出B1和B2作为输入，特征恢复图RS1和RS2作为输出。先调整B1的通道映射关系并将B1和B2进行特征图拼接，随后通过卷积和Sigmoid操作计算像素权重来增加边缘特征的重要性，接着筛选全局特征来突出类别信息，并加大对非线性特征的捕获。最后将详细的外观特征注入到高级语义特征中，恢复特征信息，得到预测结果RSi（i=1,2,3）。在实际的解码中，将两个RACM串联起来完成分割预测。首先利用第一个RACM提取B1和B2的特征信息，得到特征恢复图RS1，同时增加跳跃链接，以确保模型充分利用来自更深层的空间特征，由此网络可以获得更丰富的感受域，并生成具有类别信息的高分辨率特征图F。其次将F经过DoubleConv处理，联合B3作为第二个RACM的输入，重复RACM内部操作，得到最终的预测结果。
现有的医学图像分割方法简单地整合局部和全局信息进行特征恢复，如直接相加，削弱了小目标边界特征的提取，导致分割面积过大或分割失败。在本发明中，考虑使用类别信息来突出边缘纹理信息，以准确分割边界模糊的癌变区域或器官，包括小目标。此外在训练过程中引入Dice损失和交叉熵损失（CE loss或者BCE loss）来提高网络的预测精度，
本发明提出的方法构建了一个针对医学图像中小目标区域的分割网络，分别用六种不同的数据集作为训练集进行学习，构建的分割网络包括特征编码器、特征融合模块DFFM和反向注意上下文模块RACM，特征编码器用于提取多分辨率特征，特征融合模块用于聚合全局和局部上下文信息，注意上下文模块用于增强特征的边缘纹理，具体包括：
步骤1：准备医学图像分割所需数据集，包括三维多类别鼻咽癌CT图像、三维单类别鼻咽癌MRI图像数据、三维心脏MRI图像数据、Polyp息肉混合数据集在内的6个数据集；
步骤11：从医院的CT扫描仪获取124位患者的三维多类别鼻咽癌CT图像数据Ml_NPC；
步骤12：从医院的飞利浦核磁共振仪获取120位患者的三维单类别鼻咽癌MRI图像数据Sl_NPC；
步骤13：从自动心脏诊断挑战赛官网下载比赛公开数据集，包含100名患者的三维心脏MRI图像数据，提取左心房数据集LACDC和右心房数据集RACDC；
步骤14：从PraNet论文下载所划分好的Polyp息肉数据集，包括Kvasir-SEG数据集和CVC-ClinicDB数据集。
6个数据集分辨率大小分别为：Ml_NPC为3X512X512，Sl_NPC为3X160X192，LACDC为1X128X128，RACDC为1X128X128，Kvasir为3X352X352，CVC-ClinicDB为3X352X352。
步骤2：对步骤1所获取的六个不同数据集分别进行预处理，并分别按照约定比例划分成训练集和测试集。
对六个数据集进行预处理的操作包括：
步骤21：处理三维多类别鼻咽癌数据Ml_NPC，将CT扫描仪获取的每个患者的三维CT图像切片转换为二维CT图像，并去除未标记图像，共获得1622张512X512的二维CT图像。
其中，随机选取908张用于训练，235张用于验证，479张用于测试。该数据集共包含了14个分割目标类，每个分割目标形状各不相同，类别数量和区域大小也不一致。
步骤22：处理单类别鼻咽癌数据Sl_NPC；由于MRI图像包含从头部到颈部的大面积扫描，而鼻咽癌仅占头部的一小部分，因此只使用含有颈部以上鼻咽癌的图像。随后将核磁共振仪获取的每个患者的3D MRI图像切片转换为2D图像，除去肿瘤像素点小于100的图像。共获得3111张160X192的2D图像。其中随机选取2489张作为训练集，剩余的622张作为测试集。
步骤23：处理三维心脏MRI数据集。将下载的每个患者的3D MRI图像切片转换为2D图像，并提取相应的分割标签，包括左心室和右心室。由于图像像素大小为1.406X1.406mm，大小范围为，将图像裁剪128X128的分辨率大小，并将图像的像素值归一化为[0-255]。最后获得3116张128X128的左心房二维数据集LACDC，其中随机选取2492张作为训练集，剩下的624张作为测试集；以及3616张128X128的二维数据集RACDC ，其中随机选取2892张图像作为训练集，724张作为测试集。
步骤24：处理Polyp息肉数据集。本发明采用PraNet论文所划分好的训练集，训练集由Kvasir-SEG中的900张图像以及CVC-ClinicDB数据集中的550张图像构成，共1450个样本，测试集分别为Kvasir-SEG剩下的100张图像和CVC-ClinicDB剩余的62张图像，其中，图像分辨率为352X352。
步骤3：对所述训练集和所述测试集进行进一步的处理，同时，构建并初始化双分支特征融合注意小目标分割网络，具体包括：
步骤31：针对三维单类别鼻咽癌MRI数据集和Polyp息肉数据集，将原始图像转换成三通道的RGB图像，对应的标签图像转换成二值灰度图像，并对所述二值灰度图像进行数据增强的预处理。
步骤31数据增强的具体操作包括：
步骤311：对六个不同数据集，均将原始图像和标签图像进行随机水平翻转、垂直翻转、旋转，完成数据增强。
步骤312：将数据增强后的图像转换为tensor格式，并将原始图像的所有像素值归一化到[0-1]。
步骤32：构建小目标图像分割网络，所述分割网络包括一个双分支编码器，三个特征融合模块，一个解码器，所述分割网络的双分支编码器由两个并行的独立分类主干网络构成，第一分支编码器采用ResNet网络作为细节分支，第二分支编码器采用ShuffleNet网络作为语义分支，用于提取输入图像的多尺度特征信息；三个特征融合模块DFFM分别插入到所述双分支编码器之间，用于融合所述双支编码器中同一层的特征信息。所述分割网络的解码器由两个反向注意上下文模块堆叠而成，用于将不同尺度的融合特征进行特征恢复。
步骤4：将步骤31处理后的训练集输入构建完成的所述分割网络中，对网络进行训练，具体包括：
步骤41：将所述训练集中的同一原始图像分别传入编码器的两个并行分支编码器，提取特征信息，每个分支分别输出三层的特征图，所述细节分支的输出表示为细节特征图Ri，具体包括第一细节特征图R1、第二细节特征图R2、第三细节特征图R3，所述第三细节特征图R3上采样后生成第一辅助特征图f1，所述语义分支的输出表示为语义特征图Si，具体包括第一语义特征图S1、第二语义特征图S2、第三语义特征图S3，所述第三语义特征图S3上采样后生成第二辅助特征图f2，i=1，2，3；i表示层数，当i相同时表示的是两个并行分支中同一层的特征图。
步骤42：然后将细节特征图和语义特征图传入对应的特征融合模块中，得到融合特征图Bi，具体的，R1和S1送入第三特征融合模块得到第三融合特征图B3，R2和S2送入第二特征融合模块得到第二融合特征图B2，所述第二融合特征图B2上采样后生成第四辅助特征图f4，R3和S3送入第一特征融合模块得到第一融合特征图B1，所述第一融合特征图B1上采样后生成第三辅助特征图f3，自适应地整合局部特征和全局依赖关系，输出丰富的语义信息。具体过程包括：
步骤421：首先，利用卷积核为3X3的卷积调整输入细节特征图Ri的分辨率。
步骤422：然后，利用全局平均池化将实际的类别含义分配给细节特征图Ri的每个通道，并与卷积后的语义特征图Si进行通道拼接，完成多语义信息的整合，强调目标的位置特征，输出特征图F。
步骤423：接着对所述特征图F进行Sigmoid激活，在语义特征图Si中获取有效的上下文信息，得到全局注意力特征图Fs。
步骤424：最后将卷积后的所述全局注意力特征图Fs调整分辨率大小并注入到卷积后的细节特征图Ri，自适应地整合全局和局部依赖关系，计算它们的相似度，输出多分辨率融合特征图Bi。
步骤43：将所述第一融合特征图B1和第二融合特征图B2传入所述解码器，通过第一反向注意上下文模块强化类别，并利用浅层细节特征进行特征恢复，得到第一特征恢复图RS1。具体的：
步骤431：首先，对第一融合特征图B1进行双线性两倍上采样后和第二融合特征图B2输入第一反向注意上下文模块，利用卷积核为1Î1的卷积调整第一融合特征图的信道空间，随后将卷积后的第一融合特征图B2和第二融合特征图B2进行通道级联重置通道映射关系得到级联特征图Fr。
步骤432：接着通过Relu激活函数和1X1的卷积操作改变级联特征图Fr中捕获的非线性特征，得到包含类别特征的详细特征映射图Fm。
步骤433：进一步对所述详细特征映射图Fm进行Sigmoid激活得到详细的逐像素注意力图，将其作用到第一融合特征图B1来强化边缘特征，得到边缘特征加权图Fw。
步骤434：最后向卷积后的边缘特加权图Fw注入第二融合特征B2中提取像素权重差异，来补充类别特征，输出第一阶段的第一特征恢复图RS1。
同时增加跳跃链接，以确保模型充分利用来自更深层的空间特征，由此网络可以获得更丰富的感受域，并生成具有类别信息的高分辨率特征图F。
步骤44：将第一融合特征B1上采样至2倍并与第一特征恢复图RS1进行通道拼接，随后传入双卷积组合，得到第一阶段的特征预测图f5。
其中，双卷积组合堆叠了两个卷积组合，包括一个3X3的卷积层，批归一化层和一个Relu激活函数。
步骤45：随后将第一阶段的特征预测图f5和浅层的第三特征融合模块输出的第三融合特征图B3作为第二反向注意上下文模块的输入，重复步骤43，最后得到分割预测结果Pre。
步骤5：计算步骤45的预测结果Pre和标签图像的损失，并分别计算第一辅助特征图f1、第二辅助特征图f2、第三辅助特征图f3、第四辅助特征图f4与标签图像的损失，以及所述特征预测图f5与标签图像的损失，将损失值进行反向传播，调整网络的参数。具体包括：
步骤51：若当前训练的数据是多类别数据，计算多类别数据的损失，采用Dice损失和交叉熵损失CE的联合损失。
步骤52：若当前训练的数据是单类别数据，计算单类别数据的损失，采用IoU损失和二元交叉熵损失BCE的联合加权损失，以及Dice损失。
步骤53：为了更好地训练模型，本发明联合主损失和辅助损失约束预测图和真实标签之间的差异程度，并将损失计算的值传入所述的网络中进行反向传播，调整网络的参数。
步骤6：步骤4和步骤5依次经过10次训练后，将测试集传入训练完成的所述图像分割网络进行测试，判断所述分割网络当前测试的相似度Dice指标是否最高，若是，则保存当前模型参数，否则跳转至步骤4进行下一轮训练。
步骤7：取出测试过程中表现最好的网络，然后将测试集依次送入该网络，计算平均交并比mIoU和平均相似度mDice指标，并保存最终的预测分割图。
为了验证本发明方法的有效性，将本发明方法与其他现有方法进行比较。为了进行公平的比较，使用其他方法官方发布的代码，并遵循他们的实验设置，其中所有方法都是在相同的计算环境中实现的，具有相同的数据增强方式，并同时进行定量和定性分析。对比的8个方法具体包括：
方法1：U-Net是经典的细胞分割网络，利用编码解码器结合跳跃连接实现准确的语义分割。
方法2：UNet++方法是在UNet的基础上加入注意力机制，增加模型分割的准确性；
方法3：HrNet方法构建多个并行分支，通过多分辨率信息交互来增强语义信息和位置信息，提高分割性能；
方法4：DeepLabV3+方法用于解决多尺度下目标分割的精度较低，边界信息丢失的问题，重新考虑空洞卷积和ASPP模块的特性来提高分割精度；
方法5：BisNetV2方法是经典的双分支网络模型，设计了单独的细节分支和语义分支来实现高精度高效率的实时语义分割；
方法6：TransFuse方法是强大的医学图像双分支分割网络，利用Transformer网络提取全局特征，CNN获取细节特征，并用特征融合模块来提高最终的分割性能；
方法7：Polyp-PVT方法是用于息肉分割的网络模型，主要包括级联融合模块、伪装识别模块和相似度聚合模块，分割性能很好；
方法8：UNext是一种基于卷积多层感知机的医学图像分割网络，实现快速准确的皮肤病变分割。
表1和表2分别给出了6个不同数据集在8个不同方法上，与本发明平均相似度指标和平均交并比指标定量比较结果。
表1 不同方法不同数据集上的平均相似度指标比较结果
表2不同方法不同数据集上的平均交并比指标比较结果
其中，平均相似度mDice指标用于计算两个样本的相似度，一般值域为[0,1]，平均相似度mDice指标越接近1越好。在表1中，采用百分数计数法，将测量指标扩大了100倍。平均交并比mIoU指标用于测量真实和预测值之间的相关度，相关度越高越好，在表2中，同样采用百分数计数。从表1和表2的结果对比可以看出本发明的方法相比其他所有方法，分割结果与原始图像的标签图像更相似，分割精度更高。
为了更加直观的说明本发明方法的有效性，以右心房数据为例，对比现有方法和本发明方法在处理右心房数据后的分割效果图。图4是本发明在右心房数据集上的定性结果，各列分别表示不同方法在同一数据集上不同原始图像的分割结果。具体的，图4(a)表示U-Net方法的分割结果，图4 (b)表示UNet++方法的分割结果，图4(c)表示HrNet方法的分割结果，图4(d)表示DeepLabV3+方法的分割结果，图4(e)表示BesNetV2方法的分割结果，图4(f)表示TransFuse方法的分割结果，图4(g)表示Polyp-PVT方法的分割结果，图4 (h)表示UNext方法的分割结果，图4 (i)表示本发明方法的分割结果，图4 (j)表示标签图像。对比各个方法，可以看出本发明的方法相比其他所有方法分类更加准确，目标轮廓更加真实完整。
为了研究DFFM模块和RACM模块提升性能的有效性，先后除去DFFM模块和RACM模块进行消融实验，与完整的DFF-Net网络模型进行对比，表3和表4中分别给出了消融实验的平均相似度mDice指标和平均交并比mIoU指标结果。结合表3和表4可以看出，先后去掉DFFM和RACM以后，指标都有所下降。由此在指标上证明了DFFM模块和RACM模块的有效性。
表3 消融实验的平均相似度指标
表4 消融实验的平均交并比指标
为了研究本发明参数数量与计算速度的情况，计算了本发明和其他现有方法参数量和计算速度的情况，见表5。其中Params表示模型的参数量，用来衡量模型的复杂度，该指标越小越好，在表5中统一参数单位为M。Floating Points Of Operations（FLOPs）是指浮点运算次数，用来衡量模型的计算复杂度，该指标越低越好，GFLOPs表示按10亿次浮点计算，即1GFLPs=109FlOPs。Framespersecond（FPS）是指每秒帧数，用来衡量模型的实时性能，该指标越高越好。表5可以看出除了轻量级网络BisNetV2（方法5）和UNext（方法8）以外，本发明与其他现有较先进的网络模型相比，模型的计算复杂度更低，实时性能更好，模型参数相对较少。
表5 不同方法参数量和计算速度比较
需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。
Claims (3)
1.基于双分支特征融合注意的医学图像小目标分割方法，其特征在于，所述方法构建了一个针对医学图像中小目标区域的分割网络，分别用六种不同的数据集作为训练集进行学习，构建的分割网络包括特征编码器、特征融合模块和反向注意上下文模块，特征编码器用于提取多分辨率特征，特征融合模块用于聚合全局和局部上下文信息，反向注意上下文模块用于增强特征的边缘纹理，具体包括：
步骤1：准备医学图像分割所需数据集，包括三维多类别鼻咽癌CT图像、三维单类别鼻咽癌MRI图像数据、三维心脏MRI图像数据、Polyp息肉混合数据集在内的6个数据集；
步骤2：对步骤1所获取的六个不同数据集分别进行第一步预处理，并分别按照约定比例划分成训练集和测试集；
步骤3：对所述训练集和所述测试集进行第二步预处理，同时，构建并初始化双分支特征融合注意小目标分割网络，具体包括：
步骤31：针对三维单类别鼻咽癌MRI数据集和Polyp息肉数据集，将原始图像转换成三通道的RGB图像，对应的标签图像转换成二值灰度图像，并对所述二值灰度图像进行数据增强的预处理；
步骤32：构建小目标分割网络，所述分割网络包括一个双分支特征编码器，三个特征融合模块，一个解码器，所述分割网络的双分支特征编码器由两个并行的独立分类主干网络构成，第一分支编码器采用ResNet网络作为细节分支，第二分支编码器采用ShuffleNet网络作为语义分支，用于提取输入图像的多尺度特征信息；三个特征融合模块分别插入到所述双分支编码器之间，用于融合所述双分支特征编码器中同一层的特征信息；所述分割网络的解码器由两个反向注意上下文模块堆叠而成，用于将不同尺度的融合特征进行特征恢复；
步骤4：将步骤31处理后的训练集输入构建完成的所述分割网络中，对网络进行训练，具体包括：
步骤41：将所述训练集中的同一原始图像分别传入编码器的两个并行分支编码器，提取特征信息，每个分支分别输出三层的特征图，所述细节分支的输出表示为细节特征图Ri，具体包括第一细节特征图R1、第二细节特征图R2、第三细节特征图R3，所述第三细节特征图R3上采样后生成第一辅助特征图f1，所述语义分支的输出表示为语义特征图Si，具体包括第一语义特征图S1、第二语义特征图S2、第三语义特征图S3，所述第三语义特征图S3上采样后生成第二辅助特征图f2，i=1，2，3；
步骤42：然后将细节特征图和语义特征图传入对应的特征融合模块中，得到融合特征图Bi，具体的，R1和S1送入第三特征融合模块得到第三融合特征图B3，R2和S2送入第二特征融合模块得到第二融合特征图B2，所述第二融合特征图B2上采样后生成第四辅助特征图f4，R3和S3送入第一特征融合模块得到第一融合特征图B1，所述第一融合特征图B1上采样后生成第三辅助特征图f3；
步骤43：将所述第一融合特征图B1和第二融合特征图B2传入所述解码器，通过第一反向注意上下文模块强化类别，并利用浅层细节特征进行特征恢复，得到第一特征恢复图RS1；
步骤44：将第一融合特征图B1上采样至2倍并与第一特征恢复图RS1进行通道拼接，随后传入双卷积组合，得到第一阶段的特征预测图f5；
步骤45：随后将第一阶段的特征预测图f5和浅层的第三特征融合模块输出的第三融合特征图B3作为第二反向注意上下文模块的输入，重复步骤43，最后得到预测结果Pre；
步骤5：计算步骤45的预测结果Pre和标签图像的损失，并分别计算第一辅助特征图f1、第二辅助特征图f2、第三辅助特征图f3、第四辅助特征图f4与标签图像的损失，以及所述特征预测图f5与标签图像的损失，将损失值进行反向传播，调整网络的参数；
步骤6：步骤4和步骤5依次经过10次训练后，将测试集传入训练完成的所述图像分割网络进行测试，判断所述图像分割网络当前测试的相似度Dice指标是否最高，若是，则保存当前模型参数，否则跳转至步骤4进行下一轮训练；
步骤7：取出测试过程中表现最好的网络，然后将测试集依次送入该网络，计算平均交并比mIoU和平均相似度mDice指标，并保存最终的预测分割图。
2.如权利要求1所述的医学图像小目标分割方法，其特征在于，步骤42的融合特征具体包括：
步骤421：首先，利用卷积核为3X3的卷积调整输入细节特征图Ri的分辨率；
步骤422：然后，利用全局平均池化将实际的类别含义分配给细节特征图Ri每个通道，并与卷积后的语义特征图Si进行通道拼接，完成多语义信息的整合，强调目标的位置特征，输出特征图F；
步骤423：接着对所述特征图F进行Sigmoid激活，在语义特征图Si中获取有效的上下文信息，得到全局注意力特征图Fs；
步骤424：最后将卷积后的所述全局注意力特征图Fs调整分辨率大小并注入到卷积后的细节特征图Ri，自适应地整合全局和局部依赖关系，计算它们的相似度，输出多分辨率融合特征图Bi。
3.如权利要求2所述的医学图像小目标分割方法，其特征在于，步骤43的特征恢复过程具体包括：
步骤431：首先，对第一融合特征图B1进行双线性两倍上采样后和第二融合特征图B2输入第一反向注意上下文模块，利用卷积核为1X1的卷积调整第一融合特征图B1的信道空间，随后将卷积后的第一融合特征图B2和第二融合特征图B2进行通道级联重置通道映射关系得到级联特征图Fr；
步骤432：接着通过Relu激活函数和1X1的卷积操作改变级联特征图Fr中捕获的非线性特征，得到包含类别特征的详细特征映射图Fm；
步骤433：进一步对所述详细特征映射图Fm进行Sigmoid激活得到详细的逐像素注意力图，将其作用到第一融合特征图B1来强化边缘特征，得到边缘特征加权图Fw；
步骤434：最后向卷积后的边缘特加权图Fw注入第二融合特征B2中提取像素权重差异，来补充类别特征，输出第一阶段的第一特征恢复图RS1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310683187.9A CN116681679A (zh) | 2023-06-09 | 2023-06-09 | 基于双分支特征融合注意的医学图像小目标分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310683187.9A CN116681679A (zh) | 2023-06-09 | 2023-06-09 | 基于双分支特征融合注意的医学图像小目标分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116681679A true CN116681679A (zh) | 2023-09-01 |
Family
ID=87778806
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310683187.9A Pending CN116681679A (zh) | 2023-06-09 | 2023-06-09 | 基于双分支特征融合注意的医学图像小目标分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116681679A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117036714A (zh) * | 2023-10-09 | 2023-11-10 | 安徽大学 | 融合混合注意力机制的肠息肉分割方法、系统及介质 |
| CN117079142A (zh) * | 2023-10-13 | 2023-11-17 | 昆明理工大学 | 无人机自动巡检的反注意生成对抗道路中心线提取方法 |
| CN117391984A (zh) * | 2023-11-02 | 2024-01-12 | 中国人民解放军空军军医大学 | 一种提升cbct影像质量的方法 |
| CN117456191A (zh) * | 2023-12-15 | 2024-01-26 | 武汉纺织大学 | 一种基于三分支网络结构的复杂环境下语义分割方法 |
| CN117541797A (zh) * | 2023-12-21 | 2024-02-09 | 浙江飞图影像科技有限公司 | 用于胸部ct平扫的交互式三维支气管分割系统及方法 |
| CN117726822A (zh) * | 2024-02-18 | 2024-03-19 | 安徽大学 | 基于双分支特征融合的三维医学图像分类分割系统及方法 |
| CN117726633A (zh) * | 2024-02-07 | 2024-03-19 | 安徽大学 | 基于特征融合的双分支冠状动脉图像的分割方法、系统 |
| CN118172559A (zh) * | 2024-05-15 | 2024-06-11 | 齐鲁工业大学(山东省科学院) | 基于语义分割及边缘特征和梯度特征提取的图像融合方法 |
-
2023
- 2023-06-09 CN CN202310683187.9A patent/CN116681679A/zh active Pending
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117036714B (zh) * | 2023-10-09 | 2024-02-09 | 安徽大学 | 融合混合注意力机制的肠息肉分割方法、系统及介质 |
| CN117036714A (zh) * | 2023-10-09 | 2023-11-10 | 安徽大学 | 融合混合注意力机制的肠息肉分割方法、系统及介质 |
| CN117079142A (zh) * | 2023-10-13 | 2023-11-17 | 昆明理工大学 | 无人机自动巡检的反注意生成对抗道路中心线提取方法 |
| CN117079142B (zh) * | 2023-10-13 | 2024-01-26 | 昆明理工大学 | 无人机自动巡检的反注意生成对抗道路中心线提取方法 |
| CN117391984B (zh) * | 2023-11-02 | 2024-04-05 | 中国人民解放军空军军医大学 | 一种提升cbct影像质量的方法 |
| CN117391984A (zh) * | 2023-11-02 | 2024-01-12 | 中国人民解放军空军军医大学 | 一种提升cbct影像质量的方法 |
| CN117456191A (zh) * | 2023-12-15 | 2024-01-26 | 武汉纺织大学 | 一种基于三分支网络结构的复杂环境下语义分割方法 |
| CN117456191B (zh) * | 2023-12-15 | 2024-03-08 | 武汉纺织大学 | 一种基于三分支网络结构的复杂环境下语义分割方法 |
| CN117541797A (zh) * | 2023-12-21 | 2024-02-09 | 浙江飞图影像科技有限公司 | 用于胸部ct平扫的交互式三维支气管分割系统及方法 |
| CN117541797B (zh) * | 2023-12-21 | 2024-05-31 | 浙江飞图影像科技有限公司 | 用于胸部ct平扫的交互式三维支气管分割系统及方法 |
| CN117726633A (zh) * | 2024-02-07 | 2024-03-19 | 安徽大学 | 基于特征融合的双分支冠状动脉图像的分割方法、系统 |
| CN117726633B (zh) * | 2024-02-07 | 2024-04-19 | 安徽大学 | 基于特征融合的双分支冠状动脉图像的分割方法、系统 |
| CN117726822A (zh) * | 2024-02-18 | 2024-03-19 | 安徽大学 | 基于双分支特征融合的三维医学图像分类分割系统及方法 |
| CN117726822B (zh) * | 2024-02-18 | 2024-05-03 | 安徽大学 | 基于双分支特征融合的三维医学图像分类分割系统及方法 |
| CN118172559A (zh) * | 2024-05-15 | 2024-06-11 | 齐鲁工业大学(山东省科学院) | 基于语义分割及边缘特征和梯度特征提取的图像融合方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116681679A (zh) | 基于双分支特征融合注意的医学图像小目标分割方法 | |
| Lei et al. | Skin lesion segmentation via generative adversarial networks with dual discriminators | |
| Zhang et al. | Brain tumor segmentation of multi-modality MR images via triple intersecting U-Nets | |
| CN112785617A (zh) | 残差UNet直肠癌肿瘤磁共振图像自动分割方法 | |
| CN113012172A (zh) | 一种基于AS-UNet的医学图像分割方法及系统 | |
| Chen et al. | Skin lesion segmentation using recurrent attentional convolutional networks | |
| Zhao et al. | D2a u-net: Automatic segmentation of covid-19 lesions from ct slices with dilated convolution and dual attention mechanism | |
| Wei et al. | Orientation and context entangled network for retinal vessel segmentation | |
| Yang et al. | RADCU-Net: Residual attention and dual-supervision cascaded U-Net for retinal blood vessel segmentation | |
| Alhudhaif et al. | A novel nonlinear automated multi-class skin lesion detection system using soft-attention based convolutional neural networks | |
| CN113487530B (zh) | 一种基于深度学习的红外与可见光融合成像方法 | |
| CN113344933B (zh) | 一种基于多层次特征融合网络的腺体细胞分割方法 | |
| Yu et al. | Dual attention u-net for multi-sequence cardiac MR images segmentation | |
| CN112869704B (zh) | 一种基于循环自适应多目标加权网络的糖尿病视网膜病变区域自动分割方法 | |
| CN117218453B (zh) | 一种不完备多模态医学影像学习方法 | |
| Wang et al. | AMFNet: An attention-guided generative adversarial network for multi-model image fusion | |
| CN113538363A (zh) | 一种基于改进U-Net的肺部医学影像分割方法及装置 | |
| CN117351487A (zh) | 一种邻近区域与边缘信息融合的医学图像分割方法、系统 | |
| Wang et al. | Automatic and accurate segmentation of peripherally inserted central catheter (PICC) from chest X-rays using multi-stage attention-guided learning | |
| Huang et al. | ADDNS: An asymmetric dual deep network with sharing mechanism for medical image fusion of CT and MR-T2 | |
| Yuan et al. | FM-Unet: Biomedical image segmentation based on feedback mechanism Unet | |
| CN116091793A (zh) | 一种基于光流融合的光场显著性检测方法 | |
| CN116091458A (zh) | 一种基于互补注意力的胰腺图像分割方法 | |
| Wang et al. | An efficient hierarchical optic disc and cup segmentation network combined with multi-task learning and adversarial learning | |
| Jiang et al. | MDCF_Net: A Multi-dimensional hybrid network for liver and tumor segmentation from CT |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |