CN117197156B - 基于双解码器UNet和Transformer的病变分割方法及系统 - Google Patents
基于双解码器UNet和Transformer的病变分割方法及系统 Download PDFInfo
- Publication number
- CN117197156B CN117197156B CN202211296895.9A CN202211296895A CN117197156B CN 117197156 B CN117197156 B CN 117197156B CN 202211296895 A CN202211296895 A CN 202211296895A CN 117197156 B CN117197156 B CN 117197156B
- Authority
- CN
- China
- Prior art keywords
- segmentation
- image
- decoder
- unet
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000003902 lesion Effects 0.000 title claims abstract description 29
- 238000005070 sampling Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 22
- 230000009977 dual effect Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 2
- 238000005096 rolling process Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 14
- 238000002591 computed tomography Methods 0.000 description 8
- 238000003709 image segmentation Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 6
- 208000025721 COVID-19 Diseases 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000003757 reverse transcription PCR Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000011976 chest X-ray Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002405 diagnostic procedure Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 208000019693 Lung disease Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000005337 ground glass Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000004580 weight loss Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
基于双解码器UNet和Transformer的病变分割方法及系统，涉及图像处理技术领域，本发明是通过将原始图片送入模型编码器层进行四次级联卷积和下采样操作获得抽象特征图；将抽象特征图送入多头自注意力模块计算各个像素之间的依赖关系；将抽象特征图同时输入前景分割分支解码器和背景分割分支解码器，分别用于预测前景和背景；两个解码器分支通过连续的上采样操作和跳跃连接，融合不同层次的空间和位置信息，在深度监督的应用下得到分割的前景图和背景图；融合前景图和背景图的分割结果得到最终的分割结果图。与现有方法相比，本发明可解决单解码器预测存在偏差以及卷积的固有局部性问题，并获得更大的感受野和更多的特征信息，提高分割准确率。
Description
技术领域
本发明涉及图像处理技术领域，尤其指一种基于双解码器UNet和Transformer的病变分割方法及系统。
背景技术
COVID-19的诊断测试主要依赖于对从鼻咽拭子采集的样本进行的逆转录聚合酶链反应(RT-PCR)测试。然而，RT-PCR诊断测试以高假阴性率(FNR)发生，并且测试结果无法立即获得。胸部计算机断层扫描(CT)在COVID-19的诊断中具有潜在作用和高灵敏度，胸部X线则对COVID-19的诊断具有敏感性和中度特异性。胸部CT在排除COVID-19方面比区分其他肺部疾病更有用。胸部CT扫描可提供比普通胸部X射线更详细的信息。但是CT扫描和X射线都需要有经验的放射科医师一张一张地分析切片，非常耗时。COVID-19患者的胸部CT扫描常显示双侧斑片状阴影或多区域磨玻璃影(GGO)，在肺部不规则且很小，导致难以获得准确的分割结果。
对于以前的医学图像分割，灰度分布不均匀和边缘模糊会导致偏差。图像分割缺乏大量的标记图像数据，这导致具有许多参数的模型容易过度拟合。卷积神经网络(CNNs)通过从医学图像中自动学习局部特征，在图像分割方面取得了优异的成绩。其中以UNet及其经典的编码-解码结构最为经典。为此，许多研究人员对编码器-解码器结构进行了很多改进，以实现更好的分割性能。例如提出CE-Net作为GoogleNet的扩展，在器官分割任务表现出良好性能。尽管这些方法在分割任务中都取得了很好的效果，但它们仍然局限于CNN的局部性，不能很好地提取全局特征。
最新提出的解决办法是利用Transformer捕获远程依赖来弥补这一限制。VIT在ImageNet分类上的表现已经优于最先进的CNN。由此，已经开发了许多基于Transformers的医学图像分割方法。TransUNet是第一个基于Transformer的医学图像分割框架。类似的方法还有MedT，TransFuse等。然而，上述方法主要关注的是卷积运算的缺陷，而不是UNet结构的优化设计。尽管Transformer在建模全局上下文方面具有强大的能力，但医学图像中的细粒度细节仍然难以捕捉。此外，结合Transformer与CNN的方法，不免使得模型结构变得更加复杂和冗余。由于Transformer的自注意力机制，训练模型充分捕捉到了每个序列数据之间的关系，Transformers虽然克服了传统卷积运算在图像分割中的不足，但是，通过计算每个数据序列之间的关系，导致Transformers的计算量非常大。
发明内容
本发明的目的之一在于提供一种基于双解码器UNet和Transformer的病变分割方法，以解决单解码器预测存在偏差以及卷积的固有局部性问题，并获得更大的感受野和更多的特征信息，提高分割准确率。
为了解决上述技术问题，本发明采用如下技术方案：一种基于双解码器UNet和Transformer的病变分割方法，包括以下步骤：
(1)将原始图片送入模型编码器层；
(2)对所述原始图片连续进行四次级联卷积和下采样操作，获得抽象特征图；
(3)将所述抽象特征图送入多头自注意力模块，计算各个像素之间的依赖关系，获得全局信息；
(4)将经过自注意力计算的抽象特征图同时输入前景分割分支解码器和背景分割分支解码器，分别用于预测前景和背景；
(5)两个解码器分支通过连续的上采样操作和跳跃连接，融合不同层次的空间和位置信息，在深度监督的应用下得到分割的前景图和背景图；
(6)融合前景图和背景图的分割结果，得到最终的分割结果图。
优选地，在步骤(2)中，对原始图片的操作包括图像翻转、图像旋转、随机裁剪以及归一化。
更优选地，所述多头自注意力模块的定义如下：
其中，输入矩阵a∈R(d,N)与三个不同的矩阵Wq,Wk,Wv∈R(d,d)相乘得到三个中间矩阵，一个查询矩阵Q∈R(d,N)、一个关键矩阵K∈R(d,N)和一个值矩阵V∈R(d,N)，分别为自注意力模块的三个具有相同维度的输入。取K转置后乘以Q得到注意力矩阵，它表示每个位置的注意力成对。然后进行softmax操作，最后乘以V矩阵得到最终输出，并结合其他注意力头计算的注意力矩阵。此外，位置嵌入被添加到输入特征以获得上下文信息。这与医学图像分割特别相关，其中不同的解剖结构遵循固定的空间位置。因此，位置嵌入可用于捕获病变之间的绝对位置和相对位置。
更优选地，在步骤(3)中，将各个像素作为多头自注意力模块的输入来计算注意力矩阵，多头自注意力模块的最终输出FMHSA∈R1024×32×32由A～和V的元素相乘产生。
更优选地，在步骤(4)中，抽象特征图同时输入前景分割分支解码器和背景分割分支解码器，用于分别生成病灶区域的分割图计算损失函数和背景分割图计算损失函数。
进一步地，对于单个损失函数，采用交叉熵与Dice损失函数的组合进行计算，其中，交叉熵损失定义为：
其中，yi表示样本的真实标签，pi表示预测标签，N是图像中的像素总数；
Dice损失定义为：
其中，X表示标签值，Y表示预测结果，pi，yi分别表示预期结果和标签的第i个像素的值，平滑参数s防止除以0，设置为1。
优选地，使用加权Dice损失和BCE损失进行深度监督损失和最终分割以解决类不平衡的问题：
其中，λ表示两种损失的权衡参数，设置λ＝0.3，Lfinal指的是最终分割的损失，以这种方式计算的Lfor和Lbg的损失。总损失函数表达为：
LTotal＝Lfinal+Lds＝Lfinal+(a×Lfor+b×Lbg)。
作为更优选地，在步骤(6)中，解码器包含四个conv3*3和上采样，从两个解码器获得特征图Fback∈R1×512×512和Ffore∈R1×512×512，步骤(6)中的背景前景融合方式为通过合并来自两个分支的特征图并提高分割性能，两个特征图的合并过程定义如下：
其中σ表示sigmoid函数，Fout∈R1×512×512表示最终的分割结果。
另外，本发明还提供一种基于双解码器UNet和Transformer的COVID-19病变分割系统，其包括：
模型编码器模块，用于对原始图片连续进行四次级联卷积和下采样操作，以获得抽象特征图；
多头自注意力模块，用于对获得的抽象特征图的各个像素之间的依赖关系进行计算，以获得全局信息；
分支解码器模块，包括前景分割分支解码器和背景分割分支解码器，用于对经过多头自注意力模块计算的抽象特征图分别进行前景和背景的预测；
融合处理模块，用于将两个解码器分支通过连续的上采样操作和跳跃连接，融合不同层次的空间和位置信息，在深度监督的应用下得到分割的前景图和背景图，并融合前景图和背景图的分割结果，以得到最终的分割结果图。
通过将UNe的编码器部分与Transformer中的多头自注意力(MHSA)相结合，Transformer中的自注意力模块嵌入模型的瓶颈结构中，以解决传统卷积网络局部感受野的限制；双解码器结构则能够克服传统单分支解码的预测偏差；由于两个分支分别对不同的目标进行预测，优化方向不一致，因此通过分别对其采用深度监督，使其能够更准确的获得目标的特征信息，以提高最终的分割准确率。
附图说明
图1为本发明方法的模型结构示意图；
图2为本发明方法中多头自注意力(MHSA)和多解码器的结构示意图；
图3为本发明实施例中的方法流程示意图；
图4为本发明实施例中的新冠CT数据集中样例的分割结果图。
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
如图1-2所示，基于双解码器UNet和Transformer的病变分割方法，可用于新冠病灶分割，并可简称为“TDD-UNet”，该网络用于改善卷积局部性的缺陷，并通过引入背景分割分支来纠正传统单分支分割网络的偏差。该架构主要基于UNet的编码器-解码器架构，并集成了多头自注意力机制、双分支解码器和深度监督。与UNet类似，TDD-UNet的编码器用于获取特征表示。然后，来自最后一个编码层的特征表示被输入到多头自注意力中，在那里它们可被重新加权像素并获得更好的信息表示。这些信息表示被双分支解码器投影到标签空间，最后得到分割结果。
新颖的双分支解码器模块旨在有效融合背景和前景的特征图，并抑制传统单分支解码器中现有的偏差预测。此外，它可以在解码层中学习到更多图像的特征信息和语义细节；然后细化病变的边界以获得更准确的分割结果。在该方法中，背景和前景分支具有输入相同的特征图，虽然从不同方向学习特征，但它们的学习结果应该与其对应的groundtruth一致，而对两个解码器分支的输出采用深度监督，则可以进一步增强这种一致性。
架构中所提到的多头自注意力机制(MHSA)更侧重于图像块的远程依赖，以提取块之间的远程结构信息。然而，由于卷积操作的固有局部性，传统的类UNet模型通常表现出在显式建模远程依赖方面的局限性。为此，本方法引入了多头自注意力，并将它们嵌入在UNet的底部。通过将最后一个编码层的特征图中的每个像素相互影响，从而获得更宽的感受野。
双分支解码器旨在利用背景预测任务来提高低对比度小病灶的分割性能。它由分别对应于背景分割和前景分割任务的两个解码器组成。Fin∈R1024×32×32表示具有最大感受野的最后一个编码层的输出特征图。为了获得每个像素之间的结构关系，可将其作为MHSA模块的输入来计算注意力矩阵。最后，MHSA的最终输出FMHSA∈R1024×32×32由A～和V的元素相乘产生。与之前的Fin∈R1024×32×32相比，输出的特征图包含更准确的语义信息。由于假设在解码阶段用图像的所有语义信息得到两个不同的分割结果，因此使用两个解码器来针对不同的目标结果进行优化。与UNet类似，解码器包含四个conv3*3和上采样。从两个解码器获得特征图Fback∈R1×512×512和Ffore∈R1×512×512。背景前景融合策略通过合并来自两个分支的特征图并提高COVID-19病灶分割性能，有效地结合了图像的完整语义信息。
而双分支深度监督是从聚合的特征图中学习层次表示。在本方法中，考虑到背景和前景分支的输入具有相同的特征图，虽然从不同方向学习特征，但学习结果应该是相反的。然而，多任务学习模型很难训练，因为任务可能有不同的学习曲线。因此提出的方法通过加权损失来平衡训练目标。此外，通过整合来自两个分支的分割层来对两个分割解码器进行深度监督，以形成最终的网络输出。
如图3所示，下面通过具体的实施例来对本方法的流程进行详细阐述，本实施例中所采用新冠图像数据集均为官方比赛获取，将其分为训练集，验证集和测试集三部分。在将本方法进行实际应用时，应从实际需要进行分割的图像中获取。本实施例只进行对方法的验证和说明，根据6：2：2的比例将其随机分为训练集、验证集和测试集，分割对象为新冠病灶和背景两类。对一些新冠患者的CT图像分割结果如图4所示。
首先，对训练集中的新冠图像与其对应的标签进行预处理和数据增强，然后输入所设计的新冠分割网络的编码器中进行图像下采样和抽象特征提取。这里的预处理以及数据增强主要包含图像翻转、图像旋转、随机裁剪以及归一化。最后将所有的图像调整到512×512大小。
将经过编码器后被下采样的特征图输入多头自注意力模块(MHSA)中，其中MHSA的可表达为：
假设下采样后的特征图用向量a表示，则输入矩阵a∈R(d,N)与三个不同的矩阵Wq,Wk,Wv∈R(d,d)相乘得到三个中间矩阵，一个查询矩阵Q∈R(d,N)、一个key矩阵K∈R(d,N)和一个值矩阵V∈R(d,N)，它们是自注意力模块的三个输入，具有相同的维度。取K转置后乘以Q得到注意力矩阵，它表示每个位置的成对注意力。然后进行softmax操作，最后乘以V矩阵得到最终输出，并结合其他注意力头计算的注意力矩阵。此外，位置嵌入被添加到输入特征以获得上下文信息。位置嵌入可用于捕获病变之间的绝对位置和相对位置。
得到经过注意力加权的特征图以后，将其同时输入两个解码器分支。解码器分支1用于提取背景特征，用于生成背景分割图计算损失函数；解码器分支2用于提取前景特征，用于生成病灶区域的分割图计算损失函数。这里使用Sigmoid函数进行预测像素的类别。
其中对于单个损失函数，均采用交叉熵与Dice损失函数的组合进行计算，其中交叉熵损失可表达为：
其中yi表示样本的真实标签，pi表示预测标签，N是图像中的像素总数。类似地，Dice损失可以表达成：
其中X表示标签值，Y表示预测结果，pi，yi分别表示预期结果和标签的第i个像素的值。平滑参数s防止除以0，设置为1。为了解决类不平衡的问题，使用加权Dice损失和BCE损失进行深度监督损失和最终分割：
其中λ表示两种损失的权衡参数，设置λ＝0.3。Lfinal指的是最终分割的损失。同样，以这种方式计算前面提到的Lfor和Lbg的损失。总损失函数可以写成：
LTotal＝Lfinal+Lds＝Lfinal+(a×Lfor+b×Lbg)。
之后，经过两个单独解码器进行特征融合后，分别得到前景和背景的特征图，此时对其进行一个融合，生成最终的分割图。
两个解码器获得特征图Fback∈R1×512×512和Ffore∈R1×512×512。背景前景融合策略通过合并来自两个分支的特征图并提高新冠病灶分割性能，有效地结合了图像的完整语义信息。具体来说，两个特征图的合并过程定义如下：
其中σ表示sigmoid函数，Fout∈R1×512×512表示最终的分割结果。之后根据反向传播算法调整卷积神经网络的权值和偏置，直到损失函数收敛(误差最小化)，得到最优的训练模型，具体方式为：采用随机梯度下降算法求解交叉熵损失函数的最小值，得到优化后的最优训练模型。
为了利用训练得到的最优训练模型，可对测试集合中的图像和标签分别进行图像预处理。将其送入模型后，加载最优训练模型的权重参数进行前向推理。分别得到对应背景和前景目标的分割特征图，进行Sigmoid操作后进行损失函数的计算。最后融合前景和背景的特征图，进行Sigmoid操作得到最终的分割结果，通过阈值为0.5对图像进行二值化。
归纳起来的具体实施操作可以理解为：
首先，对其进行图像预处理，将其调整到512×512像素大小，以适配模型要求的尺寸。
然后，加载训练得到的最优模型，对进行过预处理过的测试图像进行测试，利用两个单独的解码器获得对应背景和前景目标的特征图。
对于两个特征图都进行Sigmoid操作得到分割概率图，并分别计算损失。随后，将两个分割概率图进行融合，得到最后的概率输出矩阵。经过测试，对于新冠病灶的分割Dice能达到80％以上，分割准确率较高。
本发明首先设计了一个新颖的双解码器UNet网络，分别预测背景像素和前景像素，通过融合两种任务的分割结果得到更优的分割结果。此外还利用多头自注意力增大模型的感受野，使其接受更多的图像特征。随后对网络进行训练后得到最优训练模型，然后对需要进行测试的图像进行预处理后，调用最优训练模型对其进行预测，经过Sigmoid函数得到概率输出矩阵转化为最终的分割图，充分利用了目标特征和其他的背景特征，解决了单解码器预测存在的偏差问题，分割准确率较高。
为了让本领域普通技术人员更方便地理解本发明相对于现有技术的改进之处，本发明的一些附图和描述已经被简化，并且上述实施例为本发明较佳的实现方案，除此之外，本发明还可以其它方式实现，在不脱离本技术方案构思的前提下任何显而易见的替换均在本发明的保护范围之内。
Claims (10)
1.基于双解码器UNet和Transformer的病变分割方法，其特征在于，包括以下步骤：
(1)将原始图片送入模型编码器层；
(2)对所述原始图片连续进行四次级联卷积和下采样操作，获得抽象特征图；
(3)将所述抽象特征图送入多头自注意力模块，计算各个像素之间的依赖关系，获得全局信息；
(4)将经过自注意力计算的抽象特征图同时输入前景分割分支解码器和背景分割分支解码器，分别用于预测前景和背景；
(5)两个解码器分支通过连续的上采样操作和跳跃连接，融合不同层次的空间和位置信息，在深度监督的应用下得到分割的前景图和背景图；
(6)融合前景图和背景图的分割结果，得到最终的分割结果图。
2.根据权利要求1所述的基于双解码器UNet和Transformer的病变分割方法，其特征在于：在步骤(2)中，对原始图片的操作包括图像翻转、图像旋转、随机裁剪以及归一化。
3.根据权利要求1所述的基于双解码器UNet和Transformer的病变分割方法，其特征在于：所述多头自注意力模块的定义如下：
其中，输入矩阵a∈R(d,N)与三个不同的矩阵Wq,Wk,Wv∈R(d,d)相乘得到三个中间矩阵，一个查询矩阵Q∈R(d,N)、一个关键矩阵K∈R(d,N)和一个值矩阵V∈R(d,N)，分别为自注意力模块的三个具有相同维度的输入。
4.根据权利要求1所述的基于双解码器UNet和Transformer的病变分割方法，其特征在于：在步骤(3)中，将各个像素作为多头自注意力模块的输入来计算注意力矩阵，多头自注意力模块的最终输出FMHSA∈R1024×32×32由A～和V的元素相乘产生。
5.根据权利要求1所述的基于双解码器UNet和Transformer的病变分割方法，其特征在于：在步骤(4)中，抽象特征图同时输入前景分割分支解码器和背景分割分支解码器，用于分别生成病灶区域的分割图计算损失函数和背景分割图计算损失函数。
6.根据权利要求5所述的基于双解码器UNet和Transformer的病变分割方法，其特征在于：对于单个损失函数，采用交叉熵与Dice损失函数的组合进行计算，其中，交叉熵损失定义为：
其中，yi表示样本的真实标签，pi表示预测标签，N是图像中的像素总数；
Dice损失定义为：
其中，X表示标签值，Y表示预测结果，pi，yi分别表示预期结果和标签的第i个像素的值，平滑参数s防止除以0，设置为1。
7.根据权利要求6所述的基于双解码器UNet和Transformer的病变分割方法，其特征在于：使用加权Dice损失和BCE损失进行深度监督损失和最终分割以解决类不平衡的问题：
其中，λ表示两种损失的权衡参数，设置λ＝0.3，Lfinal指的是最终分割的损失，以这种方式计算的Lfor和Lbg的损失；总损失函数表达为：
LTotal＝Lfinal+Lds＝Lfinal+(a×Lfor+b×Lbg)。
8.根据权利要求1所述的基于双解码器UNet和Transformer的病变分割方法，其特征在于：在步骤(5)中，解码器包含四个conv3*3和上采样，从两个解码器获得特征图Fback∈R1×512×512和Ffore∈R1×512×512，步骤(6)中的背景前景融合方式为通过合并来自两个分支的特征图并提高分割性能，两个特征图的合并过程定义如下：
其中σ表示sigmoid函数，Fout∈R1×512×512表示最终的分割结果。
9.一种基于双解码器UNet和Transformer的COVID-19病变分割系统，其特征在于，包括：
模型编码器模块，用于对原始图片连续进行四次级联卷积和下采样操作，以获得抽象特征图；
多头自注意力模块，用于对获得的抽象特征图的各个像素之间的依赖关系进行计算，以获得全局信息；
分支解码器模块，包括前景分割分支解码器和背景分割分支解码器，用于对经过多头自注意力模块计算的抽象特征图分别进行前景和背景的预测；
融合处理模块，用于将两个解码器分支通过连续的上采样操作和跳跃连接，融合不同层次的空间和位置信息，在深度监督的应用下得到分割的前景图和背景图，并融合前景图和背景图的分割结果，以得到最终的分割结果图。
10.根据权利要求9所述的基于双解码器UNet和Transformer的COVID-19病变分割系统，其特征在于：通过权利要求1-8中任一项所述的基于双解码器UNet和Transformer的病变分割方法来运行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211296895.9A CN117197156B (zh) | 2022-10-21 | 2022-10-21 | 基于双解码器UNet和Transformer的病变分割方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211296895.9A CN117197156B (zh) | 2022-10-21 | 2022-10-21 | 基于双解码器UNet和Transformer的病变分割方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117197156A CN117197156A (zh) | 2023-12-08 |
| CN117197156B true CN117197156B (zh) | 2024-04-02 |
Family
ID=89000383
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211296895.9A Active CN117197156B (zh) | 2022-10-21 | 2022-10-21 | 基于双解码器UNet和Transformer的病变分割方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117197156B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111784682A (zh) * | 2020-07-10 | 2020-10-16 | 北京医智影科技有限公司 | 用于对图像进行自动处理的网络架构、程序载体和工作站 |
| CN112508973A (zh) * | 2020-10-19 | 2021-03-16 | 杭州电子科技大学 | 一种基于深度学习的mri图像分割方法 |
| CN112785592A (zh) * | 2021-03-10 | 2021-05-11 | 河北工业大学 | 基于多重扩张路径的医学影像深度分割网络 |
| CN113505634A (zh) * | 2021-05-24 | 2021-10-15 | 安徽大学 | 一种双流解码跨任务交互网络的光学遥感图像显著目标检测方法 |
| CN113835059A (zh) * | 2021-08-11 | 2021-12-24 | 杭州微影医疗科技有限公司 | 一种用于扩散加权磁共振成像的数据处理方法和系统 |
| CN114612664A (zh) * | 2022-03-14 | 2022-06-10 | 哈尔滨理工大学 | 一种基于双边分割网络的细胞核分割方法 |
| CN114820473A (zh) * | 2022-04-10 | 2022-07-29 | 复旦大学 | 基于损伤面积感知和不确定性引导的医疗图像分割方法 |
| CN115063388A (zh) * | 2022-06-30 | 2022-09-16 | 复旦大学 | 肿瘤超声图像的分割方法、系统、设备及介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215223B (zh) * | 2020-10-16 | 2024-03-19 | 清华大学 | 基于多元注意力机制的多方向场景文字识别方法及系统 |
-
2022
- 2022-10-21 CN CN202211296895.9A patent/CN117197156B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111784682A (zh) * | 2020-07-10 | 2020-10-16 | 北京医智影科技有限公司 | 用于对图像进行自动处理的网络架构、程序载体和工作站 |
| CN112508973A (zh) * | 2020-10-19 | 2021-03-16 | 杭州电子科技大学 | 一种基于深度学习的mri图像分割方法 |
| CN112785592A (zh) * | 2021-03-10 | 2021-05-11 | 河北工业大学 | 基于多重扩张路径的医学影像深度分割网络 |
| CN113505634A (zh) * | 2021-05-24 | 2021-10-15 | 安徽大学 | 一种双流解码跨任务交互网络的光学遥感图像显著目标检测方法 |
| CN113835059A (zh) * | 2021-08-11 | 2021-12-24 | 杭州微影医疗科技有限公司 | 一种用于扩散加权磁共振成像的数据处理方法和系统 |
| CN114612664A (zh) * | 2022-03-14 | 2022-06-10 | 哈尔滨理工大学 | 一种基于双边分割网络的细胞核分割方法 |
| CN114820473A (zh) * | 2022-04-10 | 2022-07-29 | 复旦大学 | 基于损伤面积感知和不确定性引导的医疗图像分割方法 |
| CN115063388A (zh) * | 2022-06-30 | 2022-09-16 | 复旦大学 | 肿瘤超声图像的分割方法、系统、设备及介质 |
Non-Patent Citations (2)
| Title |
|---|
| "Solving MathWord Problems with Double-Decoder Transformer";Yuanliang Meng，Anna Rumshisky;《arXiv》;20190828;第1-5页 * |
| 基于双注意力编码-解码器架构的视网膜血管分割;李天培;陈黎;;计算机科学;20191225(第05期);第166-171页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117197156A (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Aggarwal et al. | COVID-19 image classification using deep learning: Advances, challenges and opportunities | |
| WO2023077816A1 (zh) | 边界优化的遥感图像语义分割方法、装置、设备及介质 | |
| CN110992338B (zh) | 一种原发灶转移辅助诊断系统 | |
| CN111882560B (zh) | 一种基于加权全卷积神经网络的肺实质ct图像分割方法 | |
| CN112862830B (zh) | 一种多模态图像分割方法、系统、终端及可读存储介质 | |
| Wang et al. | A novel fuzzy hierarchical fusion attention convolution neural network for medical image super-resolution reconstruction | |
| CN111598871B (zh) | 多特征融合辅助检测肺部磨玻璃影结节系统及介质 | |
| Ding et al. | FTransCNN: Fusing Transformer and a CNN based on fuzzy logic for uncertain medical image segmentation | |
| CN112734755A (zh) | 基于3d全卷积神经网络与多任务学习的肺叶分割方法 | |
| Wazir et al. | HistoSeg: Quick attention with multi-loss function for multi-structure segmentation in digital histology images | |
| Yang et al. | RADCU-Net: Residual attention and dual-supervision cascaded U-Net for retinal blood vessel segmentation | |
| CN113538458A (zh) | 基于FTL损失函数和注意力的U-Net图像分割方法 | |
| Guo | CSGNet: Cascade semantic guided net for retinal vessel segmentation | |
| CN116883341A (zh) | 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 | |
| Chen et al. | HADCNet: Automatic segmentation of COVID-19 infection based on a hybrid attention dense connected network with dilated convolution | |
| Hu et al. | LeaNet: Lightweight U-shaped architecture for high-performance skin cancer image segmentation | |
| Li et al. | Spatial convolutional self-attention-based transformer module for strawberry disease identification under complex background | |
| Ma et al. | PIViT: Large deformation image registration with pyramid-iterative vision transformer | |
| Khan et al. | An effective approach to address processing time and computational complexity employing modified CCT for lung disease classification | |
| CN117934824A (zh) | 一种超声影像的目标区域分割方法、系统及电子设备 | |
| CN117437423A (zh) | 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置 | |
| CN117291935A (zh) | 一种头颈瘤病灶区域图像分割方法及计算机可读介质 | |
| CN117197156B (zh) | 基于双解码器UNet和Transformer的病变分割方法及系统 | |
| Yin et al. | A generative adversarial network fused with dual‐attention mechanism and its application in multitarget image fine segmentation | |
| CN116664904A (zh) | 一种基于自监督学习的新冠感染医学图像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |