CN114972746B - 一种基于多分辨率重叠注意力机制的医学影像分割方法 - Google Patents
一种基于多分辨率重叠注意力机制的医学影像分割方法 Download PDFInfo
- Publication number
- CN114972746B CN114972746B CN202210387736.3A CN202210387736A CN114972746B CN 114972746 B CN114972746 B CN 114972746B CN 202210387736 A CN202210387736 A CN 202210387736A CN 114972746 B CN114972746 B CN 114972746B
- Authority
- CN
- China
- Prior art keywords
- module
- size
- characteristic
- feature
- attention mechanism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000003709 image segmentation Methods 0.000 title claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims abstract description 30
- 230000004927 fusion Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 abstract description 5
- 108700019146 Transgenes Proteins 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 210000000225 synapse Anatomy 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000002679 ablation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多分辨率重叠注意力机制的医学影像分割方法，基于多分辨率重叠注意力机制构建了一个具有跳跃连接的对称编码器‑解码器体系结构，编码器实现了从局部到全局的注意力机制，解码器将全局特征逐渐上采样到相应的输入分辨率；并且提出了跨尺度扩展层模块来实现上采样和特征维度的增加，最终通过分割头部模块实现像素级语义分割。本发明利用Transformer注意力机制和跳跃连接，充分利用全局上下文特征和各层次精细的语义信息，在全局和局部层次大大提高医学影像分割精度。
Description
技术领域
本发明涉及医学影像分割、计算机应用技术领域，更具体地说，特别涉及一种基于多分辨率重叠注意力机制的医学影像分割方法。
背景技术
近年来，由于深度学习的发展，计算机视觉技术在医学图像分析中得到了广泛的应用。图像分割是医学图像分析的重要组成部分，尤其是准确、鲁棒的医学影像分割技术可以在计算机辅助诊断和图像引导的临床手术中发挥基石作用。
现有的医学图像分割方法主要依赖于以U-Net为代表的U形结构的全卷积神经网络，其由一个带有跳跃连接的编码器-解码器组成。该编码器采用一系列卷积层和连续下采样层提取深度特征，然后，解码器将提取的深度特征逐渐上采样到输入分辨率，并将编码器过程中得到的不同尺度的特征进行跳跃连接融合，以缓解下采样造成的空间信息丢失，最后进行像素级分割。通过这种对称的结构设计，U-Net在各种医学成像应用中取得了巨大的成功，许多算法诸如3D U-Net、Att-UNet、U-Net++和UNet3+已经被开发用于心脏分割、器官分割和病变分割等方面，优异的性能证明了卷积神经网络具有很强的学习识别特征的能力。
目前，基于卷积神经网络的方法虽然在医学图像分割领域取得了优异的性能，但仍不能完全满足医学应用对分割精度的严格要求。由于卷积操作的内在局限性，基于卷积神经网络的方法很难学习到全局和长距离的语义交互信息。最近，受Transformer在自然语言处理(NLP)领域取得巨大成功的启发，研究人员试图将Transformer引入视觉领域，后续的ViT、DeiT和Swin Transformer模型在图像识别任务中的成功展示了Transformer在视觉领域应用的潜力。近期，MOA-Transformer利用多分辨率重叠注意(Multi-resolutionOverlapped Attention,MOA)模块，应用到每个阶段的基于局部窗口的Transformer块之后，使用较少的计算量，在CIFAR-10/CIFAR-100和ImageNet-1K数据集上达到了最先进的精度。
发明内容
本发明的目的在于提供一种基于多分辨率重叠注意力机制的医学影像分割方法，以克服现有技术所存在的缺陷。
为了达到上述目的，本发明采用的技术方案如下：
一种基于多分辨率重叠注意力机制的医学影像分割方法，包括以下步骤：
S1、初始化参数，包括设置窗口尺寸、分割类别数、模型深度、注意力机制多头数、隐藏层维度和图片尺寸；
S2、将输入的图片通过Patch块划分模块分割为特征块，并在通道方向进行堆叠，使特征尺寸为第一尺寸；
S3、将特征块通过线性嵌入层使通道调整为隐藏层维度，得到特征f1，特征f1尺寸为第二尺寸；
S4、将特征f1通过堆叠两次的局部Transformer模块实现特征融合，得到融合后的特征，融合后的特征尺寸为第二尺寸；
S5、将融合后的特征通过MOA模块，得到的特征尺寸为第二尺寸；
S6、将通过MOA模块的特征通过Patch块合并模块进行下采样操作，得到特征f2，特征f2的尺寸为第三尺寸；
S7、重复步骤S4-S6，得到特征f3，该特征f3的尺寸为第四尺寸；
S8、将特征f3再通过由8个局部Transformer模块堆叠而成逆瓶颈模块，完成编码器部分的操作，得到特征尺寸为第四尺寸；
S9、在逆瓶颈模块的第2个局部Transformer模块处产生一条分支，用于依次连接Patch块合并模块、堆叠两次的Swin Transformer模块和跨尺度扩展层模块；
S10、将步骤S7中得到的特征f3与d3进行跳跃连接，具体的操作是将f3与d3进行拼接，再通过全连接层调整通道减半，得到的特征尺寸为第四尺寸；
S11、依次通过堆叠两次的局部Transformer模块和跨尺度扩展层模块，得到的特征d2，并按照步骤S10进行跳跃连接，得到的特征尺寸为第三尺寸；
S12、重复步骤S11得到的特征尺寸为第二尺寸；
S13、将得到的特征通过最终跨尺度扩展层模块，再通过分割头部模块的卷积操作调整通道数为分割类别，以完成图像的精确分割。
进一步地，所述步骤S2中将输入的图片通过Patch块划分模块分割为4*4的特征块。
进一步地，所述第一尺寸为(H/4,W/4,48)，所述第二尺寸为(H/4,W/4,C)，所述第三尺寸为(H/8,W/8,2C)，所述第四尺寸为(H/16,W/16,4C)。
进一步地，所述步骤S2、S3的操作由一个输出通道为C，卷积核为4*4，步长为4的卷积操作实现。
进一步地，所述步骤S5中的MOA模块通过以下步骤实现：
MOA模块将特征层(H,W,C)划分为固定大小的特征；
利用卷积操作减少隐藏层维度得到的特征维数为(H,W,C/R)。
进一步地，所述步骤S8中的局部Transformer模块通过以下步骤实现：
局部Transformer模块由基于局部窗口的多头注意模块和具有GELU非线性的两个MLP层组成，每个多头注意力模块在使用前进行归一化操作，每个MLP层都进行残差连接；
基于窗口划分机制，特征通过连续的局部Transformer模块表示为：
式中，zl分别为多头注意力机制模块和MLP模块的输出。
进一步地，所述步骤S9中的跨尺度扩展层模块和步骤S13中的最终跨尺度扩展层模块在实现上采样同时调整通道，使用多个核相同、步距不同的转置卷积操作来实现，每个特征块具有相同的中心、不同的尺度，所生成的特征将进行通道维度上的拼接。
与现有技术相比，本发明的优点在于：本发明提供的一种基于多分辨率重叠注意力机制的医学影像分割方法，利用Transformer注意力机制和跳跃连接，充分利用全局上下文特征和各层次精细的语义信息，在全局和局部层次大大提高医学影像分割精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明基于多分辨率重叠注意力机制的医学影像分割方法的流程图。
图2是本发明中MOAUnet模型的分割结果图。
具体实施方式
下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
参阅图1所示，本实施例公开了一种基于多分辨率重叠注意力机制的医学影像分割方法，包括以下步骤：
步骤S1、初始化参数，包括设置窗口尺寸window_size、分割类别数分割类别、模型深度depths、注意力机制多头数heads、隐藏层维度C和图片尺寸(W，H)；
步骤S2、将输入的图片通过Patch块划分模块分割为4*4的特征块，并在通道方向进行堆叠，使特征尺寸为第一尺寸(H/4,W/4,48)；
步骤S3、将特征块通过线性嵌入层使通道调整为隐藏层维度，得到特征f1，特征f1尺寸为第二尺寸(H/4,W/4,C)。
其中，步骤S2、S3的操作可由一个输出通道为C，卷积核为4*4，步长为4的卷积操作实现。
步骤S4、将特征f1通过堆叠两次的局部Transformer模块实现特征融合，得到融合后的特征，融合后的特征尺寸为第二尺寸(H/4,W/4,C)；
步骤S5、将融合后的特征通过MOA模块，以促进与附近windows和所有非局部windows的信息通信，得到的特征尺寸为第二尺寸(H/4,W/4,C)；
步骤S6、将通过MOA模块的特征通过Patch块合并模块进行下采样操作，倍率为2，同时使得通道扩大为原来的两倍，得到特征f2，特征f2的尺寸为第三尺寸(H/8,W/8,2C)；
步骤S7、重复步骤S4-S6，得到特征f3，该特征f3的尺寸为第四尺寸(H/16,W/16,4C)；
步骤S8、将特征f3再通过由8个局部Transformer模块堆叠而成逆瓶颈模块，完成编码器部分的操作，得到特征尺寸为第四尺寸(H/16,W/16,4C)；
步骤S9、在逆瓶颈模块的第2个局部Transformer模块处产生一条分支，用于依次连接Patch块合并模块、堆叠两次的Swin Transformer模块和跨尺度扩展层模块，以加深网络，更加精细化提取底层特征，分支汇聚于第6个局部Transformer模块；
步骤S10、将步骤S7中得到的特征f3与d3进行跳跃连接，具体的操作是将f3与d3进行拼接，再通过全连接层调整通道减半，得到的特征尺寸为第四尺寸(H/16,W/16,4C)；
步骤S11、依次通过堆叠两次的局部Transformer模块和跨尺度扩展层模块，得到的特征d2，并按照步骤S10进行跳跃连接，得到的特征尺寸为第三尺寸(H/8,W/8,2C)；
步骤S12、重复步骤S11得到的特征尺寸为第二尺寸(H/4,W/4,C)；
步骤S13、将得到的特征通过最终跨尺度扩展层模块，上采样4倍，还原原始图像分辨率，再通过分割头部模块的卷积操作调整通道数为分割类别，以完成图像的精确分割。
在本实施例中，步骤S5中MOA模块通过以下步骤实现：
步骤S5.1、多分辨率重叠注意力(Multi-resolution Overlapped Attention,MOA)模块首先将特征层(H，W，C)划分为固定大小的patch块，但是，与标准的多头注意机制不同的是，用于生成key和value嵌入的patch稍大一些，并且有重叠，而用于query嵌入的patch则没有重叠。
步骤S5.2、首先利用1×1卷积来减少隐藏层维度为原来的1/R，以降低计算成本，实验中设置R为32，得到的特征维数为(H,W,C/R)。在一个query patch中特征大小为14×14×R被投影到一维向量的大小1×1×R，query的总数为H/14×W/14。类似地，投影key和value向量但patch尺寸设置为16，得到相应的key value数量，对query、key和value嵌入进行多头注意力，然后通过具有GELU非线性的两层多层感知机(Multi-Layer Perceptron，MLP)模块。
在本实施例中，步骤S8中局部Transformer模块通过以下步骤实现：
步骤S8.1、局部Transformer模块是由基于局部窗口的标准多头注意模块和具有GELU非线性的两层MLP组成，同时每个多头注意力模块在使用前都会进行归一化操作，每个MLP层都进行残差连接。
步骤S8.2、基于窗口划分机制，特征通过连续的局部Transformer模块可以表示为：
其中zl分别为多头注意力机制(Multihead Self-Attention，MSA)模块和MLP模块的输出，同时根据文献，注意力(self-attention)可以表示为：
其中，相对位置偏差为query矩阵,/>为key、value矩阵；d为隐藏层维数,M2为patch块总数,N2为key中patch总数。
在本实施例中，步骤S9中的跨尺度扩展层模块和步骤S13中的最终跨尺度扩展层模块在实现上采样同时调整通道，使用多个核相同、步距不同的转置卷积操作来实现，每个特征块具有相同的中心、不同的尺度，所生成的特征将进行通道维度上的拼接，具体参数见表1和表2。
表1跨尺度扩展层参数
表2最终跨尺度扩展层参数
| 类型 | 卷积核 | 步距 | 输出维度 |
| 转置卷积 | 4×4 | 4×4 | C/2 |
| 转置卷积 | 8×8 | 4×4 | C/2 |
本发明主要由对称的编码器-解码器组成，编码器通过Patch块划分模块将输入的图像转换成序列，然后通过局部Transformer模块进行特征提取，再使用多分辨率重叠注意力(MOA)模块，促进与附近窗口和所有非局部窗口的信息通信，使用Patch块合并模块实现连续下采样和卷积操作；解码器使用跨尺度扩展层(Cross-scale Expanding Layer)模块实现连续上采样和卷积操作，同时通过局部Transformer模块进行特征提取，对于对应层次的特征使用跳跃连接进行连接，最后通过分割头部模块实现医学影像的精准分割。
本发明首次将MOA-Transformer应用于医学影像领域。首先，基于MOA-Transformer构建了一个具有跳跃连接的对称编码器-解码器体系结构，编码器实现了从局部到全局的注意力机制，解码器将全局特征逐渐上采样到相应的像素级预测分割的输入分辨率；其次，提出了跨尺度扩展层模块来实现上采样和特征维度的增加；最后，为了验证本发明的有效性，使用平均Dice相似度(DSC)和平均豪斯多夫距离(HD)作为评价指标，通过表3发现，MOAUnet在多器官CT分割数据集Synapse上具有最好的效果，相比Unet具有的3.22％(DSC↑)和20.42％(HD↓)提升，相比SwinUnet提高了0.94％(DSC↑)和2.27％(HD↓)，通过图2的结果显示，本发明提出的MOAUnet模型在医学影像数据集上具有较好的分割性能。最后通过表4中的消融实验结果验证，跨尺度扩展层模块在上采样过程中具有最好的精度提升，通过表5，较多的跳跃连接数量有利于模型分割。
表3 Synapse多器官CT数据集上不同(SOTA)方法的分割精度
表4上采样方法对模型的影响
表5跳跃连接数量对模型的影响
虽然结合附图描述了本发明的实施方式，但是专利所有者可以在所附权利要求的范围之内做出各种变形或修改，只要不超过本发明的权利要求所描述的保护范围，都应当在本发明的保护范围之内。
Claims (6)
1.一种基于多分辨率重叠注意力机制的医学影像分割方法，其特征在于，包括以下步骤：
S1、初始化参数，包括设置窗口尺寸、分割类别数、模型深度、注意力机制多头数、隐藏层维度和图片尺寸；
S2、将输入的图片通过Patch块划分模块分割为特征块，并在通道方向进行堆叠，使特征尺寸为第一尺寸；
S3、将特征块通过线性嵌入层使通道调整为隐藏层维度，得到特征f1，特征f1尺寸为第二尺寸；
S4、将特征f1通过堆叠两次的局部Transformer模块实现特征融合，得到融合后的特征，融合后的特征尺寸为第二尺寸；
S5、将融合后的特征通过MOA模块，得到的特征尺寸为第二尺寸；
S6、将通过MOA模块的特征通过Patch块合并模块进行下采样操作，得到特征f2，特征f2的尺寸为第三尺寸；
S7、重复步骤S4-S6，得到特征f3，该特征f3的尺寸为第四尺寸；
S8、将特征f3再通过由8个局部Transformer模块堆叠而成逆瓶颈模块，完成编码器部分的操作，得到特征尺寸为第四尺寸；
S9、在逆瓶颈模块的第2个局部Transformer模块处产生一条分支，用于依次连接Patch块合并模块、堆叠两次的Swin Transformer模块和跨尺度扩展层模块；
S10、将步骤S7中得到的特征f3与d3进行跳跃连接，具体的操作是将f3与d3进行拼接，再通过全连接层调整通道减半，得到的特征尺寸为第四尺寸；
S11、依次通过堆叠两次的局部Transformer模块和跨尺度扩展层模块，得到的特征d2，并按照步骤S10进行跳跃连接，得到的特征尺寸为第三尺寸；
S12、重复步骤S11得到的特征尺寸为第二尺寸；
S13、将得到的特征通过最终跨尺度扩展层模块，再通过分割头部模块的卷积操作调整通道数为分割类别，以完成图像的精确分割；
所述步骤S8中的局部Transformer模块通过以下步骤实现：
局部Transformer模块由基于局部窗口的多头注意模块和具有GELU非线性的两个MLP层组成，每个多头注意力模块在使用前进行归一化操作，每个MLP层都进行残差连接；
基于窗口划分机制，特征通过连续的局部Transformer模块表示为：
式中，zl分别为多头注意力机制模块和MLP模块的输出。
2.根据权利要求1所述的基于多分辨率重叠注意力机制的医学影像分割方法，其特征在于，所述步骤S2中将输入的图片通过Patch块划分模块分割为4*4的特征块。
3.根据权利要求2所述的基于多分辨率重叠注意力机制的医学影像分割方法，其特征在于，所述第一尺寸为(H/4，W/4，48)，所述第二尺寸为(H/4，W/4，C)，所述第三尺寸为(H/8，W/8，2C)，所述第四尺寸为(H/16，W/16，4C)。
4.根据权利要求2所述的基于多分辨率重叠注意力机制的医学影像分割方法，其特征在于，所述步骤S2、S3的操作由一个输出通道为C，卷积核为4*4，步长为4的卷积操作实现。
5.根据权利要求3所述的基于多分辨率重叠注意力机制的医学影像分割方法，其特征在于，所述步骤S5中的MOA模块通过以下步骤实现：
MOA模块将特征层(H，W，C)划分为固定大小的特征；
利用卷积操作减少隐藏层维度得到的特征维数为(H，W，C/R)。
6.根据权利要求3所述的基于多分辨率重叠注意力机制的医学影像分割方法，其特征在于，所述步骤S9中的跨尺度扩展层模块和步骤S13中的最终跨尺度扩展层模块在实现上采样同时调整通道，使用多个核相同、步距不同的转置卷积操作来实现，每个特征块具有相同的中心、不同的尺度，所生成的特征将进行通道维度上的拼接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210387736.3A CN114972746B (zh) | 2022-04-13 | 2022-04-13 | 一种基于多分辨率重叠注意力机制的医学影像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210387736.3A CN114972746B (zh) | 2022-04-13 | 2022-04-13 | 一种基于多分辨率重叠注意力机制的医学影像分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114972746A CN114972746A (zh) | 2022-08-30 |
| CN114972746B true CN114972746B (zh) | 2024-04-30 |
Family
ID=82977275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210387736.3A Active CN114972746B (zh) | 2022-04-13 | 2022-04-13 | 一种基于多分辨率重叠注意力机制的医学影像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114972746B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115578406B (zh) * | 2022-12-13 | 2023-04-07 | 四川大学 | 基于上下文融合机制的cbct颌骨区域分割方法及系统 |
| CN116030259B (zh) * | 2023-03-24 | 2024-01-12 | 长春理工大学 | 一种腹部ct图像多器官分割方法、装置及终端设备 |
| CN116206114B (zh) * | 2023-04-28 | 2023-08-01 | 成都云栈科技有限公司 | 一种复杂背景下人像提取方法及装置 |
| CN117036376B (zh) * | 2023-10-10 | 2024-01-30 | 四川大学 | 基于人工智能的病变图像分割方法、装置及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020097461A1 (en) * | 2018-11-08 | 2020-05-14 | Siemens Aktiengesellschaft | Convolutional neural networks with reduced attention overlap |
| CN111837156A (zh) * | 2018-06-18 | 2020-10-27 | 因塞普森人工智能研究所 | 利用神经网络进行图像分析、视点感知模式识别以及生成多视图车辆表示的车辆重识别技术 |
| CN112181270A (zh) * | 2020-09-29 | 2021-01-05 | 南方科技大学 | 图像分割标注方法、模型训练方法、装置及存储介质 |
| CN113361567A (zh) * | 2021-05-17 | 2021-09-07 | 上海壁仞智能科技有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| US11222217B1 (en) * | 2020-08-14 | 2022-01-11 | Tsinghua University | Detection method using fusion network based on attention mechanism, and terminal device |
| CN114119638A (zh) * | 2021-12-02 | 2022-03-01 | 上海理工大学 | 一种融合多尺度特征和注意力机制的医学图像分割方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102215757B1 (ko) * | 2019-05-14 | 2021-02-15 | 경희대학교 산학협력단 | 이미지 세그멘테이션 방법, 장치 및 컴퓨터 프로그램 |
| US11270447B2 (en) * | 2020-02-10 | 2022-03-08 | Hong Kong Applied Science And Technology Institute Company Limited | Method for image segmentation using CNN |
-
2022
- 2022-04-13 CN CN202210387736.3A patent/CN114972746B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111837156A (zh) * | 2018-06-18 | 2020-10-27 | 因塞普森人工智能研究所 | 利用神经网络进行图像分析、视点感知模式识别以及生成多视图车辆表示的车辆重识别技术 |
| WO2020097461A1 (en) * | 2018-11-08 | 2020-05-14 | Siemens Aktiengesellschaft | Convolutional neural networks with reduced attention overlap |
| US11222217B1 (en) * | 2020-08-14 | 2022-01-11 | Tsinghua University | Detection method using fusion network based on attention mechanism, and terminal device |
| CN112181270A (zh) * | 2020-09-29 | 2021-01-05 | 南方科技大学 | 图像分割标注方法、模型训练方法、装置及存储介质 |
| CN113361567A (zh) * | 2021-05-17 | 2021-09-07 | 上海壁仞智能科技有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN114119638A (zh) * | 2021-12-02 | 2022-03-01 | 上海理工大学 | 一种融合多尺度特征和注意力机制的医学图像分割方法 |
Non-Patent Citations (3)
| Title |
|---|
| A Tri-Attention fusion guided multi-modal segmentation;Tongxue Zhou et al;《ScienceDirect》;20220401;全文 * |
| SVPath: an accurate pipeline for predicting the pathogenicity of human exon structural variants;Yaning Yang et al;《riefings in Bioinformatics》;20220310;全文 * |
| 基于密集注意力网络的视网膜血管图像分割;梅旭璋;江红;孙军;;计算机工程;20200315(03);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114972746A (zh) | 2022-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114972746B (zh) | 一种基于多分辨率重叠注意力机制的医学影像分割方法 | |
| CN110020989B (zh) | 一种基于深度学习的深度图像超分辨率重建方法 | |
| CN107358576A (zh) | 基于卷积神经网络的深度图超分辨率重建方法 | |
| CN115222601A (zh) | 基于残差混合注意力网络的图像超分辨率重建模型及方法 | |
| CN113240683B (zh) | 基于注意力机制的轻量化语义分割模型构建方法 | |
| CN113870335A (zh) | 一种基于多尺度特征融合的单目深度估计方法 | |
| CN115082293A (zh) | 一种基于Swin Transformer和CNN双分支耦合的图像配准方法 | |
| CN114663440A (zh) | 一种基于深度学习的眼底图像病灶分割方法 | |
| CN115482382A (zh) | 一种基于Transformer架构的图像语义分割方法 | |
| CN115170622A (zh) | 基于transformer的医学图像配准方法及系统 | |
| CN113066089B (zh) | 一种基于注意力引导机制的实时图像语义分割方法 | |
| CN114119975A (zh) | 一种语言引导的跨模态实例分割方法 | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN114445420A (zh) | 编解码结构结合注意力机制的图像分割模型及其训练方法 | |
| CN117058160B (zh) | 基于自适应特征融合网络的三维医学图像分割方法及系统 | |
| CN111210382A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN110633706B (zh) | 一种基于金字塔网络的语义分割方法 | |
| CN113627487B (zh) | 一种基于深层注意力机制的超分辨率重建方法 | |
| CN117315241A (zh) | 一种基于transformer结构的场景图像语义分割方法 | |
| CN117078539A (zh) | 基于CNN-Transformer的局部全局交互式图像恢复方法 | |
| CN113191947B (zh) | 一种图像超分辨率的方法及系统 | |
| CN115731138A (zh) | 一种基于Transformer与卷积神经网络的图像修复方法 | |
| CN115731280A (zh) | 基于Swin-Transformer和CNN并行网络的自监督单目深度估计方法 | |
| CN115205527A (zh) | 一种基于域适应和超分辨率的遥感图像双向语义分割方法 | |
| US11769278B2 (en) | Polygonal building extraction from satellite images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |