CN114972756A - 一种医学图像的语义分割方法及装置 - Google Patents

一种医学图像的语义分割方法及装置 Download PDF

Info

Publication number
CN114972756A
CN114972756A CN202210597474.3A CN202210597474A CN114972756A CN 114972756 A CN114972756 A CN 114972756A CN 202210597474 A CN202210597474 A CN 202210597474A CN 114972756 A CN114972756 A CN 114972756A
Authority
CN
China
Prior art keywords
attention
stage
module
semantic segmentation
stages
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210597474.3A
Other languages
English (en)
Inventor
刘敏
汪嘉正
杜浩
申文婷
王耀南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202210597474.3A priority Critical patent/CN114972756A/zh
Publication of CN114972756A publication Critical patent/CN114972756A/zh
Priority to PCT/CN2022/134721 priority patent/WO2023231329A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉领域，具体涉及一种医学图像的语义分割方法及装置，该方法包括S1.构建医学图像语义分割模型；S2.利用编码器对输入图像进行编码，输出不同阶段的编码结果，编码器在各阶段输出的编码结果尺度不同；S3.利用DMC模块分别对各阶段的编码结果以乘法的方式进行特征融合，并输出各阶段的特征图；S4.利用LPA模块处理各阶段的特征图，获得各阶段的注意力图；S5.利用解码器融合LPA模块各阶段输出的注意力图，得到与输入图像尺寸相同的分割结果。本发明能够提高医学图像分割的精度。

Description

一种医学图像的语义分割方法及装置
技术领域
本发明涉及计算机视觉领域，具体涉及一种医学图像的语义分割方法及装置。
背景技术
语义分割在生物医学图像分析中有着广泛的应用，例如x射线、MRI扫描、数字病理、显微镜、内窥镜等，其目的是对医学图像上的感兴趣区域实现像素级分割。在分割任务中，输入图像通过编码器可以产生不同尺度的特征图，由于不断下采样，特征图中的分割目标区域变得越来越小，甚至变为一个像素点，在解码的过程中，会丢失较多的边界信息，这对准确的分割病变产生了巨大的影响。为了提高图像分割的准确性，将浅层信息与深层信息融合，保留浅层信息中所包含的大量边界信息。现有技术中通常采用加法或串联的方式进行特征融合，这样的融合方式将忽视掉多尺度特征之间的相关性，带来浅层信息的噪声干扰。因此需要提供一种分割精度更高的分割方法来对医学图像进行语义分割。
发明内容
为了解决上述存在的技术问题，本发明提供了一种医学图像的语义分割方法及装置，其具体技术方案如下：
一种医学图像的语义分割方法，包括如下步骤：
S1.构建包含编码器、DMC模块、LPA模块和解码器的医学图像语义分割模型；
S2.利用编码器对输入图像进行编码，输出不同阶段的编码结果，编码器在各阶段输出的编码结果尺度不同；
S3.利用DMC模块分别对各阶段的编码结果以乘法的方式进行特征融合，并输出各阶段的特征图；
S4.利用LPA模块处理各阶段的特征图，获得各阶段的注意力图；
S5.利用解码器融合LPA模块各阶段输出的注意力图，得到与输入图像尺寸相同的分割结果
进一步的，所述S3中利用DMC模块分别对各阶段的编码结构以乘法的方式进行特征融合的过程包括：
将编码器第m阶段的编码结果Em与编码器剩余的4-m阶段的编码结果相乘，得到特征融合在第m阶段的输出结果Fm：
Figure BDA0003668688840000011
其中g(·)表示特征变换，Ei表示编码器在第i阶段的编码结果。
进一步的，以Swin Transformer模型作为编码器。
进一步的，所述S4中利用LPA模块处理各阶段的特征图，获得各阶段的注意力图包括：
利用金字塔结构Pa学习该阶段的特征图，获取每一层金字塔对应的次级注意力图，其中a表示金字塔的层数；
以乘法的方式融合各层级对应的次级注意力图，获得该阶段的注意力图。
进一步的，所述获取每一层金字塔对应的次级注意力图包括：
根据金字塔的输入层数a，将特征图沿H、W方向以空间位置平均拆分并编码为n个等大小的特征向量fj(j＝1,…,n)，n＝a2；
使每个特征向量依次通过通道注意力(CA)模型得到它们对应的通道注意力向量wcj(j＝1,…,n)，n＝a2，将各特征向量fj与对应的通道注意力向量wcj相乘得到对应的通道注意力图Wcj(j＝1,…,n)，接着将各通道注意力图Wcj依次通过空间注意力(SA)模型得到对应的空间注意力矩阵wsj(j＝1,…,n)，再将各通道注意力图Wcj与对应的空间注意力矩阵wsj相乘得到对应的空间注意力图Wsj(j＝1,…,n)；
根据拆分时对于特征图的空间位置编码信息，将所有的空间注意力图Wsj以拆分的逆操作重新整合，得到当前第a层金字塔对应的次级注意力图Pa(X)，其中次级注意力图Pa(X)的大小与当前DMC模块输出的特征图X大小相同。
进一步的，所述融合LPA模块各阶段输出的注意力图，得到与输入图像尺寸相同的分割结果的过程包括：
将LPA模块在最低尺度阶段输出的注意力图依次进行3×3卷积、上采样、3×3卷积后与上一高尺度阶段输出的注意力图融合；
将融合的结果再次进行3×3卷积、上采样、3×3卷积后与上一高尺度阶段输出的注意力图融合，并重复上述步骤；
将最后阶段的融合结果依次进行3×3卷积、上采样、1×1卷积。
进一步的，对医学图像语义分割模型进行训练时，以函数L作为损失函数：
Figure BDA0003668688840000021
Figure BDA0003668688840000022
L＝LDIcE+LBCE
其中，y为图像真实标签，p为预测的结果，ε是一个用来提高损失函数稳定性的参数，此处设置为1。
本发明还提供了一种实现上述任一种所述的医学图像的语义分割方法的装置包括：
构建单元，被配置为构建包含编码器、DMC模块、LPA模块和解码器的医学图像语义分割模型；
编码器，被配置为对输入图像进行编码，输出不同阶段的编码结果，编码器在各阶段输出的编码结果尺度不同；
DMC模块，被配置为分别对各阶段的编码结果以乘法的方式进行特征融合，并输出各阶段的特征图；
LPA模块，被配置为处理各阶段的特征图，获得各阶段的注意力图；
解码器，被配置为融合LPA模块各阶段输出的注意力图，得到与输入图像尺寸相同的分割结果。
有益效果：本发明所提供的一种医学图像的语义分割方法，采用乘法的方式将编码器第m阶段的编码结果与剩余4-m阶段输出进行融合，减少特征融合过程中浅层特征图带来的噪声干扰，并对各个分支进行约束使每一个分支获得更优秀的特征，不同分支相互促进可以获得更加准确的预测结果；另外采用金字塔结构学习特征图，引导网络发现不同层数的次级注意力图，并融合各次级注意力图，从而有效地增强特征学习中每个特征的判别能力，提高网络对目标区域的识别能力。因此本发明能够最大限制地减少医学图像中背景噪声的干扰，实现目标区域特征增强，提高医学图像语义分割的精度。
附图说明
图1为本发明医学图像的语义分割方法的流程图；
图2为本发明医学图像语义分割方法的整体网络结构图；
图3a为传统跳跃连接方式的示意图；
图3b为传统加法融合方式的示意图；
图3c为传统串联融合方式的示意图；
图3d为本发明乘法融合方式的示意图；
图4为本发明LPA模块的结构图；
图5为本发明装置的框架示意图；
图6为本发明装置对于医学图像病变区域的语义分割效果示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
实施例1
本实施例提供了一种医学图像的语义分割方法，包括如下步骤：
S1.构建包含编码器、DMC模块、LPA模块和解码器的医学图像语义分割模型；
S2.利用编码器对输入图像进行编码，输出不同阶段的编码结果，编码器在各阶段输出的编码结果尺度不同；
S3.利用DMC模块分别对各阶段的编码结果以乘法的方式进行特征融合，并输出各阶段的特征图；
S4.利用LPA模块处理各阶段的特征图，获得各阶段的注意力图；
S5.利用解码器融合LPA模块各阶段输出的注意力图，得到与输入图像尺寸相同的分割结果。
具体来说，本实施例通过乘法的方式融合深层信息和浅层信息，减少特征融合过程中浅层特征图带来的噪声干扰，提高医学图像语义分割的精度。
具体来说，所述S3中利用DMC模块分别对各阶段的编码结构以乘法的方式进行特征融合的过程包括：
将编码器第m阶段的编码结果Em与编码器剩余的4-m阶段的编码结果相乘，得到特征融合在第m阶段的输出结果Fm：
Figure BDA0003668688840000041
其中g(·)表示特征变换，Ei表示编码器在第i阶段的编码结果。
在本实施例中，我们将上述特征融合方式与其他三种方式进行比较。其中各融合方式的输入均为各阶段编码器的输出，首先通过上采样使各编码结果尺寸一致，再进行不同的融合操作，最后基于批归一化(BN)操作完成特征图数据的标准化输出。图3a中采用U-net的跳跃连接的方式，没有进行特征融合，会引入浅层信息的噪声，影响图像分割的精度；图3b和图3c分别采用了加法和串联的融合方式来使网络关注浅层信息和深层信息，但是这两种融合方式会忽视掉多尺度特征之间的相关性。以图2中分支E1为例，三种方式的融合方式分别如下所示：
Figure BDA0003668688840000051
Figure BDA0003668688840000052
Figure BDA0003668688840000053
其中
Figure BDA0003668688840000054
为采用U-net的跳跃连接方式的融合结果，
Figure BDA0003668688840000055
为采用加法融合方式的融合结果，
Figure BDA0003668688840000056
为采用串联融合方式的融合结果。
当神经网络反向传播计算梯度时，如下列方程所示：
Figure BDA0003668688840000057
Figure BDA0003668688840000058
Figure BDA0003668688840000059
其中
Figure BDA00036686888400000510
用于表示偏导数。
采用加法和串联方式进行特征融合，每一个分支的梯度都是常数，与其他的分支没有相关性。一个分支的结果不会对其他的分支产生影响，网络无法很好学习到多分支之间的相关性。而采用乘法的方式每一个分支的梯度不是固定的，会受到其他分支的影响。当某一个分支未获得优秀的特征时，采用乘法融合会放大该分支的错误，从而导致大梯度。因此采用乘法的特征融合方式能够很好的约束各个分支，使每一个分支获得更优秀的特征，不同分支相互促进可以获得更加准确的预测结果。
在本实施例中，采用Swin Transformer模型作为编码器，Em即为SwinTransformer模型在第m阶段输出的结果。Swin Transformer模型改变了常规的窗口划分方法，使用了更有效的移位窗口划分策略。它不仅保持了非重叠窗口的高效计算，而且还建立了不同窗口之间的连接。
具体来说，在所述S4中利用LPA模块处理各阶段的特征图，获得各阶段的注意力图包括：
利用金字塔结构Pa学习该阶段的特征图，获取每一层金字塔对应的次级注意力图，其中a表示金字塔的层数；
以乘法的方式融合各层级对应的次级注意力图，获得该阶段的注意力图。
其中，所述获取每一层金字塔对应的次级注意力图包括：
根据金字塔的输入层数a，将特征图沿H、W方向以空间位置平均拆分并编码为n个等大小的特征向量fj(j＝1,…,n)，n＝a2；
使每个特征向量依次通过通道注意力(CA)模型得到它们对应的通道注意力向量wcj(j＝1,…,n)，n＝a2，将各特征向量fj与对应的通道注意力向量wcj相乘得到对应的通道注意力图Wcj(j＝1,…,n)，接着将各通道注意力图Wcj依次通过空间注意力(SA)模型得到对应的空间注意力矩阵wsj(j＝1,…,n)，再将各通道注意力图Wcj与对应的空间注意力矩阵wsj相乘得到对应的空间注意力图Wsj(j＝1,…,n)；
根据拆分时对于特征图的空间位置编码信息，将所有的空间注意力图Wsj以拆分的逆操作重新整合，得到当前第a层金字塔对应的次级注意力图Pa(X)，其中次级注意力图Pa(X)的大小与当前DMC模块输出的特征图X大小相同；
采用金字塔结构学习特征图，引导网络发现不同层数的次级注意力图，并融合各次级注意力图，从而有效地增强特征学习中每个特征的判别能力，提高网络对目标区域的识别能力，实现目标区域特征增强，提高医学图像语义分割的精度。
具体来说，所述融合LPA模块各阶段输出的注意力图，得到与输入图像尺寸相同的分割结果的过程包括：
将LPA模块在最低尺度阶段输出的注意力图依次进行3×3卷积、上采样、3×3卷积后与上一高尺度阶段输出的注意力图融合；
将融合的结果再次进行3×3卷积、上采样、3×3卷积后与上一高尺度阶段输出的注意力图融合，并重复上述步骤；
将最后阶段的融合结果依次进行3×3卷积、上采样、1×1卷积。
在本实施例中，对医学图像语义分割模型进行训练时，以函数L作为损失函数：
Figure BDA0003668688840000061
Figure BDA0003668688840000062
L＝LDICE+LBCE
其中，y为图像真实标签，p为预测的结果，ε表示是一个用来提高损失函数稳定性的参数，此处设置为1。
通过组合的损失函数，网络可以快速稳定的收敛，能够在不同的医学图像数据集上取得很好的结果。
实施例2
参照图3所示，本实施例提供了用于实现实施例1中所述医学图像的语义分割方法的装置，其具体包括：
构建单元，被配置为构建包含编码器、DMC模块、LPA模块和解码器的医学图像语义分割模型；
编码器，被配置为对输入图像进行编码，输出不同阶段的编码结果，编码器在各阶段输出的编码结果尺度不同；
DMC模块，被配置为分别对各阶段的编码结果以乘法的方式进行特征融合，并输出各阶段的特征图；
LPA模块，被配置为处理各阶段的特征图，获得各阶段的注意力图；
解码器，被配置为利用解码器融合LPA模块各阶段输出的注意力图，得到与输入图像尺寸相同的分割结果。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种医学图像的语义分割方法，其特征在于，包括如下步骤：
S1.构建包含编码器、DMC模块、LPA模块和解码器的医学图像语义分割模型；
S2.利用编码器对输入图像进行编码，输出不同阶段的编码结果，编码器在各阶段输出的编码结果尺度不同；
S3.利用DMC模块分别对各阶段的编码结果以乘法的方式进行特征融合，并输出各阶段的特征图；
S4.利用LPA模块处理各阶段的特征图，获得各阶段的注意力图；
S5.利用解码器融合LPA模块各阶段输出的注意力图，得到与输入图像尺寸相同的分割结果。
2.根据权利要求1所述的一种医学图像的语义分割方法，其特征在于，所述S3中利用DMC模块分别对各阶段的编码结构以乘法的方式进行特征融合的过程包括：
将编码器第m阶段的编码结果Em与编码器剩余的4-m阶段的编码结果相乘，得到特征融合在第m阶段的输出结果Fm：
Figure FDA0003668688830000011
其中g(·)表示特征变换，Ei表示编码器在第i阶段的编码结果。
3.根据权利要求2所述的一种医学图像的语义分割方法，其特征在于，以SwinTransformer模型作为编码器。
4.根据权利要求3所述的一种医学图像的语义分割方法，其特征在于，所述S4中利用LPA模块处理各阶段的特征图，获得各阶段的注意力图包括：
利用金字塔结构Pa学习该阶段的特征图，获取每一层金字塔对应的次级注意力图，其中a表示金字塔的层数；
以乘法的方式融合各层级对应的次级注意力图，获得该阶段的注意力图。
5.根据权利要求4所述的一种医学图像的语义分割方法，其特征在于，所述获取每一层金字塔对应的次级注意力图包括：
根据金字塔的输入层数a，将特征图X沿H、W方向以空间位置平均拆分并编码为n个等大小的特征向量fj(j＝1,…,n)，n＝a2；
使每个特征向量依次通过通道注意力(CA)模型得到对应的通道注意力向量wcj(j＝1,…,n)，n＝a2，将各特征向量fj与对应的通道注意力向量wcj相乘得到对应的通道注意力图Wcj(j＝1,…,n)，接着将各通道注意力图Wcj依次通过空间注意力(SA)模型得到对应的空间注意力矩阵wsj(j＝1,…,n)，再将各通道注意力图Wcj与对应的空间注意力矩阵wsj相乘得到对应的空间注意力图Wsj(j＝1,…,n)；
根据拆分时对于特征图的空间位置编码信息，将所有的空间注意力图Wsj以拆分的逆操作重新整合，得到当前第a层金字塔对应的次级注意力图Pa(X)，其中次级注意力图Pa(X)的大小与当前DMC模块输出的特征图X大小相同。
6.根据权利要求5所述的一种医学图像的语义分割方法，其特征在于，所述融合LPA模块各阶段输出的注意力图，得到与输入图像尺寸相同的分割结果的过程包括：
将LPA模块在最低尺度阶段输出的注意力图依次进行3×3卷积、上采样、3×3卷积后与上一高尺度阶段输出的注意力图融合；
将融合的结果再次进行3×3卷积、上采样、3×3卷积后与上一高尺度阶段输出的注意力图融合，并重复上述步骤；
将最后阶段的融合结果依次进行3×3卷积、上采样、1×1卷积。
7.根据权利要求1所述的一种医学图像的语义分割方法，其特征在于，对医学图像语义分割模型进行训练时，以函数L作为损失函数：
Figure FDA0003668688830000021
Figure FDA0003668688830000022
L＝LDICE+LBCE
其中，y为图像真实标签，p为预测的结果，ε是一个用来提高损失函数稳定性的参数，此处设置为1。
8.一种实现权利要求1～7任一项所述的医学图像的语义分割方法的装置，其特征在于，包括：
构建单元，被配置为构建包含编码器、DMC模块、LPA模块和解码器的医学图像语义分割模型；
编码器，被配置为对输入图像进行编码，输出不同阶段的编码结果，编码器在各阶段输出的编码结果尺度不同；
DMC模块，被配置为分别对各阶段的编码结果以乘法的方式进行特征融合，并输出各阶段的特征图；
LPA模块，被配置为处理各阶段的特征图，获得各阶段的注意力图；
解码器，被配置为融合LPA模块各阶段输出的注意力图，得到与输入图像尺寸相同的分割结果。
CN202210597474.3A 2022-05-30 2022-05-30 一种医学图像的语义分割方法及装置 Pending CN114972756A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210597474.3A CN114972756A (zh) 2022-05-30 2022-05-30 一种医学图像的语义分割方法及装置
PCT/CN2022/134721 WO2023231329A1 (zh) 2022-05-30 2022-11-28 一种医学图像的语义分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210597474.3A CN114972756A (zh) 2022-05-30 2022-05-30 一种医学图像的语义分割方法及装置

Publications (1)

Publication Number Publication Date
CN114972756A true CN114972756A (zh) 2022-08-30

Family

ID=82957276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210597474.3A Pending CN114972756A (zh) 2022-05-30 2022-05-30 一种医学图像的语义分割方法及装置

Country Status (2)

Country Link
CN (1) CN114972756A (zh)
WO (1) WO2023231329A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359370A (zh) * 2022-10-21 2022-11-18 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种遥感图像云检测方法、装置、计算机装置及存储介质
CN116030260A (zh) * 2023-03-27 2023-04-28 湖南大学 一种基于长条状卷积注意力的手术全场景语义分割方法
WO2023231329A1 (zh) * 2022-05-30 2023-12-07 湖南大学 一种医学图像的语义分割方法及装置
CN117745745A (zh) * 2024-02-18 2024-03-22 湖南大学 一种基于上下文融合感知的ct图像分割方法
WO2024098318A1 (zh) * 2022-11-10 2024-05-16 中国科学院深圳先进技术研究院 医学图像分割方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117636076B (zh) * 2024-01-25 2024-04-12 北京航空航天大学 基于深度学习影像模型的前列腺mri图像分类方法
CN117746045B (zh) * 2024-02-08 2024-05-28 江西师范大学 一种Transformer和卷积融合的医学图像分割方法及系统
CN117746227B (zh) * 2024-02-19 2024-06-11 吉林大学 一种红外偏振成像数据的水下目标细粒度分类方法
CN117789153B (zh) * 2024-02-26 2024-05-03 浙江驿公里智能科技有限公司 基于计算机视觉的汽车油箱外盖定位系统及方法
CN118052814B (zh) * 2024-04-15 2024-06-14 吉林大学 基于ai技术的全自动标本前处理系统及方法
CN118052821B (zh) * 2024-04-15 2024-06-14 苏州凌影云诺医疗科技有限公司 一种针对反流性食管炎的病灶检测和分级方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119638A (zh) * 2021-12-02 2022-03-01 上海理工大学 一种融合多尺度特征和注意力机制的医学图像分割方法
CN114419449B (zh) * 2022-03-28 2022-06-24 成都信息工程大学 一种自注意力多尺度特征融合的遥感图像语义分割方法
CN114972756A (zh) * 2022-05-30 2022-08-30 湖南大学 一种医学图像的语义分割方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023231329A1 (zh) * 2022-05-30 2023-12-07 湖南大学 一种医学图像的语义分割方法及装置
CN115359370A (zh) * 2022-10-21 2022-11-18 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种遥感图像云检测方法、装置、计算机装置及存储介质
CN115359370B (zh) * 2022-10-21 2023-01-24 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种遥感图像云检测方法、装置、计算机装置及存储介质
WO2024098318A1 (zh) * 2022-11-10 2024-05-16 中国科学院深圳先进技术研究院 医学图像分割方法
CN116030260A (zh) * 2023-03-27 2023-04-28 湖南大学 一种基于长条状卷积注意力的手术全场景语义分割方法
CN117745745A (zh) * 2024-02-18 2024-03-22 湖南大学 一种基于上下文融合感知的ct图像分割方法
CN117745745B (zh) * 2024-02-18 2024-05-10 湖南大学 一种基于上下文融合感知的ct图像分割方法

Also Published As

Publication number Publication date
WO2023231329A1 (zh) 2023-12-07

Similar Documents

Publication Publication Date Title
CN114972756A (zh) 一种医学图像的语义分割方法及装置
CN111369581B (zh) 图像处理方法、装置、设备及存储介质
CN111862127A (zh) 图像处理方法、装置、存储介质及电子设备
CN110689599A (zh) 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN113870335A (zh) 一种基于多尺度特征融合的单目深度估计方法
CN111369567B (zh) 三维图像中目标对象的分割方法、装置及电子设备
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN112132834B (zh) 一种心室图像分割方法、系统、装置及存储介质
CN111951288A (zh) 一种基于深度学习的皮肤癌病变分割方法
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
CN109657538B (zh) 基于上下文信息指导的场景分割方法和系统
CN111583285A (zh) 一种基于边缘关注策略的肝脏影像语义分割方法
CN116228792A (zh) 一种医学图像分割方法、系统及电子装置
CN114299284A (zh) 分割模型的训练方法、使用方法、装置、设备及介质
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
CN112489062B (zh) 基于边界及邻域引导的医学图像分割方法及系统
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
CN112633260A (zh) 视频动作分类方法、装置、可读存储介质及设备
CN116051609B (zh) 一种基于带限变形傅里叶网络的无监督医学图像配准方法
CN114565953A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN115223190A (zh) 一种基于人体结构引导学习网络的姿态估计方法及系统
CN116935051B (zh) 一种息肉分割网络方法、系统、电子设备及存储介质
CN115661820B (zh) 一种基于密集特征反向融合的图像语义分割方法及系统
CN113095335B (zh) 一种基于类别一致性深度学习的图像识别方法
CN113643332B (zh) 图像配准方法、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination