CN116258672B - 医学图像分割方法、系统、存储介质及电子设备 - Google Patents

医学图像分割方法、系统、存储介质及电子设备 Download PDF

Info

Publication number
CN116258672B
CN116258672B CN202211677254.8A CN202211677254A CN116258672B CN 116258672 B CN116258672 B CN 116258672B CN 202211677254 A CN202211677254 A CN 202211677254A CN 116258672 B CN116258672 B CN 116258672B
Authority
CN
China
Prior art keywords
module
network
medical image
attention
segmentation model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211677254.8A
Other languages
English (en)
Other versions
CN116258672A (zh
Inventor
顾静军
卜佳俊
谷江飒
周公敢
沈林华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Pujian Medical Technology Co ltd
Zhejiang University ZJU
Original Assignee
Hangzhou Pujian Medical Technology Co ltd
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Pujian Medical Technology Co ltd, Zhejiang University ZJU filed Critical Hangzhou Pujian Medical Technology Co ltd
Priority to CN202211677254.8A priority Critical patent/CN116258672B/zh
Publication of CN116258672A publication Critical patent/CN116258672A/zh
Application granted granted Critical
Publication of CN116258672B publication Critical patent/CN116258672B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请提供一种医学图像分割方法、系统、存储介质及电子设备，所述方法包括：获取待分割的医学图像；将所述待分割的医学图像输入基于网络分割模型，通过网络分割模型的编码器从所述待分割的医学图像提取不同层次的特征图，通过所述网络分割模型的注意力模块和深度监督模块对所述不同层次的特征图进一步提取，获取多尺度特征图，通过所述网络分割模型的解码器对所述多尺度特征图进行解码，输出三维注意力图；显示所述三维注意力图。本发明通过对网络进行结构修改以及进行反向梯度传播监督，增大了网络感受野，同时在编码器和解码器的跳跃连接路径上设计了注意力模块，有效突出了特定区域的局部特征，使网络有更好的专注性，提高了医学图像分割的精度。

Description

医学图像分割方法、系统、存储介质及电子设备
技术领域
本申请属于计算机视觉技术领域，具体涉及一种医学图像分割方法、系统、存储介质及电子设备。
背景技术
医学图像分割是根据医学图像的某种相似性特征(如亮度、颜色、纹理、面积、形状、位置、局部统计特征或频谱特征等)将医学图像划分为若干个互不相交的“连通”的区域的过程，相关特征在同一区域表现出一致性或相似性，而在不同区域表现出明显的不同，也就是说在区域边界上像素存在某种不连续特性。自U-Net提出以来，它已广泛应用于医学图像分割。过去大多数研究都以它为骨干，并针对不同的分割任务做了一些改变。但目前的医学图像分割中采用的图像分割模型在某些预测指标上有缺陷，无法保证医院图像分割的精度。
发明内容
本申请的目的在于提供一种医学图像分割方法、系统、存储介质及电子设备，用于地弥补整体性能优秀但在某些预测指标上有缺陷的图像分割网络，以提高医学图像分割的精度。
第一方面，本申请提供一种医学图像分割方法，所述方法包括：获取待分割的医学图像；将所述待分割的医学图像输入基于网络分割模型，通过网络分割模型的编码器从所述待分割的医学图像提取不同层次的特征图，通过所述网络分割模型的注意力模块和深度监督模块对所述不同层次的特征图进一步提取，获取多尺度特征图，通过所述网络分割模型的解码器对所述多尺度特征图进行解码，输出三维注意力图；显示所述三维注意力图。
于本申请一实施例中，所述编码器包括四个卷积阶段；每个卷积阶段由两个3*3*3卷积组成；第一个卷积阶段将滤波器的数目增加到该级的预定值，第二个卷积阶段保持输出管道的数目不变；最后一个卷积阶段之后，进行两个3*3*3的扩张卷积，然后与最后一个卷积阶段的输出连接。
于本申请一实施例中，在每个卷积阶段之间，空间下采样由一个最大池化层执行，内核大小为2*2*2，步长为2；并且每次空间下采样后，滤波器的数量增加一倍。
于本申请一实施例中，所述解码器的每一级卷积阶段之间，采用三线性插值进行空间上采样。
于本申请一实施例中，所述注意力模块连接于所述编码器和所述解码器之间，所述注意力模块包括通道注意力模块和空间注意力模块；所述不同层次的特征图首先通过所述通道注意力模块进行特征提取，再通过所述空间注意力模块进行特征提取；所述注意力模块通过跳跃连接将提取的特征图传输到所述解码器。
于本申请一实施例中，所述深度监督模块包括在所述网络分割模型的主网络的分类器基础上增设的四个分支分类器。
于本申请一实施例中，将主网络的权值设为W，wl，wm，wu，wh分别为四个分支分类器的权重；分类器的交叉熵损失函数Lc(X；W,wc)为：
Lc(X；W,wc)＝∑xi∈X-log p(yi＝t(xi)|xi；W,wc)；
其中：l,m,u,h分别是分类器名称，c∈{l,m,u,h}是分类器的索引，X是训练样本，p(yi＝t(xi)|xi；W,wc)是目标标签t(xi)对应到样本xi∈X的概率，W是为主流网络的权重，wc是加入深度监督的某一层在监督层预测中的权重，yi是分配到x的标签；所述深度监督模块的损失函数L(X；W,wc)为：
L(X；W,wc)＝∑cαcLc(X；W,wc)λ(ψ(W)+∑c∈{l,m,u,h}ψ(wc))；
其中：ψ是带超参数λ的正则化项，αc为相关分类器的权重，c∈{l,m,u,h}，ψ(W)是权重W的正则化项，ψ(wc)是权重wc的正则化项。
第二方面，本申请提供一种一种医学图像分割系统，所述系统包括图像获取模块，图像分割模块和结果显示模块；所述图像获取模块用于获取待分割的医学图像；所述图像分割模块用于将所述待分割的医学图像输入基于网络分割模型，通过网络分割模型的编码器从所述待分割的医学图像提取不同层次的特征图，通过所述网络分割模型的注意力模块和深度监督模块对所述不同层次的特征图进一步提取，获取多尺度特征图，通过所述网络分割模型的解码器对所述多尺度特征图进行解码，输出三维注意力图；所述结果显示模块用于显示所述三维注意力图。
第三方面，本申请提供一种电子设备，所述电子设备包括：存储器，存储有一计算机程序；处理器，与所述存储器通信相连，在调用所述计算机程序时实现上所述的方法。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该程序被电子设备执行时实现上所述的方法。
如上所述，本申请所述的医学图像分割方法、系统、存储介质及电子设备，具有以下有益效果：
本发明通过使用注意力模块对网络进行结构修改以及深度监督模块进行反向梯度传播监督，增大了感受野，同时在编码器和解码器的跳跃连接路径上设计了注意力模块，有效突出了特定区域的局部特征，使网络有更好的专注性。本发明的方案有效地弥补一些整体性能优秀但在某些预测指标上有缺陷的分割网络，提高了医学图像分割的精度。
附图说明
图1显示为本申请实施例所述的医学图像分割方法的流程示意图。
图2显示为本申请实施例所述的医学图像分割方法中三维的跳跃连接注意力模块的架构图；
图3显示为本申请实施例所述的医学图像分割方法中生成三维注意力的示意图；
图4显示为本申请实施例所述的医学图像分割系统的原理结构示意图；
图5显示为本申请实施例所述的电子设备的原理结构示意图。
元件标号说明
100 医学图像分割系统
110 图像获取模块
120 图像分割模块
130 结果显示模块
101 电子设备
1001 处理器
1002 存储器
S100～S300 步骤
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，遂图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本申请以下实施例提供了一种医学图像分割方法、系统、存储介质及电子设备，用于地弥补整体性能优秀但在某些预测指标上有缺陷的图像分割网络，以提高医学图像分割的精度。
本实施例提供一种医学图像分割方法，图1显示为本实施例所述的医学图像分割方法的流程示意图。如图1所示，本实施例的医学图像分割方法包括以下步骤：
S100，获取待分割的医学图像；
S200，将所述待分割的医学图像输入基于网络分割模型，通过网络分割模型的编码器从所述待分割的医学图像提取不同层次的特征图，通过所述网络分割模型的注意力模块和深度监督模块对所述不同层次的特征图进一步提取，获取多尺度特征图，通过所述网络分割模型的解码器对所述多尺度特征图进行解码，输出三维注意力图；
S300，显示所述三维注意力图。
本实施例的医学图像分割方法改进了U-Net网络的基础结构，通过加入注意力()Attention模块在网络的嵌套结构里，使得网络可以从编码器中提取特征，并通过跳跃连接将其传输到解码器，以集成分层表示。此外，不同层次提取的特征可以与扩展路径中的重点选择合并，使得集成后网络的准确性得到了提高。
以下对本实施例的医学图像分割方法中的上述步骤S100至步骤S300进行详细说明。
S100，获取待分割的医学图像。
S200，将所述待分割的医学图像输入基于网络分割模型，通过网络分割模型的编码器从所述待分割的医学图像提取不同层次的特征图，通过所述网络分割模型的注意力模块和深度监督模块对所述不同层次的特征图进一步提取，获取多尺度特征图，通过所述网络分割模型的解码器对所述多尺度特征图进行解码，输出三维注意力图。
于本实施例中，所述编码器包括四个卷积阶段；每个卷积阶段由两个3*3*3卷积组成；第一个卷积阶段将滤波器的数目增加到该级的预定值，第二个卷积阶段保持输出管道的数目不变；最后一个卷积阶段之后，进行两个3*3*3的扩张卷积，扩张率为2，然后与最后一个卷积阶段的输出连接。
其中，在每个卷积阶段之间，空间下采样由一个最大池化层执行，内核大小为2*2*2，步长为2；并且每次空间下采样后，滤波器的数量增加一倍。
此外，本实施例中，还包括：在最后一个阶段卷积加入膨胀操作以拓展网络。
于本实施例中，所述解码器的每一级卷积阶段之间，采用三线性插值进行空间上采样。
本实施例中，具有相同分辨率的编码器和解码器同级之间的连接通过级联实现。在最低空间分辨率下执行的解码器阶段仅由一个3*3*3卷积组成，在最后一个卷积层，使用一个1*1*1内核，它具有3个输出管道和一个Sigmoid激活函数。
于本实施例中，所述注意力模块连接于所述编码器和所述解码器之间，所述注意力模块包括通道注意力模块(Channel Attention Module，CAM)和空间注意力模块(Spatial Attention Module，SAM)；所述不同层次的特征图首先通过所述通道注意力模块进行特征提取，再通过所述空间注意力模块进行特征提取；所述注意力模块通过跳跃连接将提取的特征图传输到所述解码器。即分别执行通道和空间上的注意力机制，顺序为先执行通道注意力模块，随后执行空间注意力模块。
本实施例通过在编码器和解码器的跳跃连接路径上设计了注意力模块，有效突出了特定区域的局部特征，使网络有更好的专注性
为获得更好的模型，在每个编码器与解码器的连接部分，还添加了结合跳跃连接注意力模块进行训练。本实施例在网络加入了一个跳跃连接，并将注意力模块与解码器相结合。这一集成操作极大地减少了网络的冗余信息。同时，跳跃连接可以使得同级之间的特征传递得到保障。三维数据具有深度维度，这就导致在提取空间特征时需要参数调整。三维的跳跃连接注意力模块架构如图2所示。注意力模块通过三维通道注意力子模块和三维空间注意力子模块对整个特征层的编码过程进行约束。
具体地，为了获得三维注意力图，本实施例中，如图3所示，首先执行1*1*C的卷积，将所有的空间特征集合到H*W*1的维度；同时在另一条通道上，进行平均池化并反馈给神经网络，获得1*1*C的通道相关性。经过上述操作之后，编码后的注意力图具有丰富的空间特征注意力与通道注意力。
本实施例的医学图像分割方法通过使用注意力模块对网络进行结构修改以及深度监督模块进行反向梯度传播监督，增大感受野。
具体地，于本施例中，所述深度监督模块包括在所述网络分割模型的主网络的分类器基础上增设的四个分支分类器。
神经网络的训练过程中，在训练数据集数据量较少且标注稀疏的情况下，由于梯度消失等原因，最终的损失不能有效地传播到浅层。为解决这一问题，本实施例改进网络在主网络的分类器基础上加入了而外的四个分支分类器。
将解码器部分进行分层后，可以分为四个不同层次。除了最上层的输出阶段之外，可以依次加入四个分支分类器，并根据不同层次分类器的预测结果来计算损失，并通过对隐藏层的监控获取更有效的反向梯度传播。
其中，于本实施例中，将主网络的权值设为W，wl，wm，wu，wh分别为四个分支分类器的权重；分类器的交叉熵损失函数Lc(X；W,wc)为：
其中：l,m,u,h分别是分类器名称，c∈{l,m,u,h}是分类器的索引，X是训练样本，p(yi＝t(xi)|xi；W,wc)是目标标签t(xi)对应到样本xi∈X的概率，W是为主流网络的权重，wc是加入深度监督的某一层在监督层预测中的权重，yi是分配到x的标签。
所述深度监督模块的损失函数L(X；W,wc)为：
L(X；W,wc)＝∑cαcLc(X；W,wc)λ(ψ(W)+∑c∈{l,m,u,h}ψ(wc))；
其中：ψ是带超参数λ的正则化项，αc为相关分类器的权重，c∈{l,m,u,h}，ψ(W)是权重W的正则化项，ψ(wc)是权重wc的正则化项。
这样，不同层次的分类器可以利用多尺度的上下关联信息。这是基于底层拥有更小的感受野，而上层具有更大的感受野。初始参数设置为λ取0.005，αc依次取0.25，0.5，0.75，1。
S300，显示所述三维注意力图。具体地，通过屏幕显示所述三维注意力图。
所以本实施例的医学图像分割方法通过使用注意力模块对网络进行结构修改以及深度监督模块进行反向梯度传播监督，增大了感受野。同时在编码器和解码器的跳跃连接路径上设计了注意力模块，有效突出了特定区域的局部特征，使网络有更好的专注性。本实施例的医学图像分割方法有效地弥补一些整体性能优秀但在某些预测指标上有缺陷的分割网络，提高了医学图像分割的精度。
本申请实施例所述的医学图像分割方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本申请的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本申请的保护范围内。
本申请实施例还提供一种医学图像分割系统100，所述医学图像分割系统100可以实现本申请所述的医学图像分割方法，但本申请所述的医学图像分割方法的实现系统包括但不限于本实施例列举的医学图像分割系统100的结构，凡是根据本申请的原理所做的现有技术的结构变形和替换，都包括在本申请的保护范围内。
图4显示为本申请实施例所述的医学图像分割系统100的原理结构示意图。如图4所示，本实施例提供所述系统包括图像获取模块110，图像分割模块120和结果显示模块130。
所述图像获取模块110用于获取待分割的医学图像；所述图像分割模块120用于将所述待分割的医学图像输入基于网络分割模型，通过网络分割模型的编码器从所述待分割的医学图像提取不同层次的特征图，通过所述网络分割模型的注意力模块和深度监督模块对所述不同层次的特征图进一步提取，获取多尺度特征图，通过所述网络分割模型的解码器对所述多尺度特征图进行解码，输出三维注意力图；所述结果显示模块130用于显示所述三维注意力图。
于本实施例中，所述编码器包括四个卷积阶段；每个卷积阶段由两个3*3*3卷积组成；第一个卷积阶段将滤波器的数目增加到该级的预定值，第二个卷积阶段保持输出管道的数目不变；最后一个卷积阶段之后，进行两个3*3*3的扩张卷积，扩张率为2，然后与最后一个卷积阶段的输出连接。
其中，在每个卷积阶段之间，空间下采样由一个最大池化层执行，内核大小为2*2*2，步长为2；并且每次空间下采样后，滤波器的数量增加一倍。
此外，本实施例中，还包括：在最后一个阶段卷积加入膨胀操作以拓展网络。
于本实施例中，所述解码器的每一级卷积阶段之间，采用三线性插值进行空间上采样。
本实施例中，具有相同分辨率的编码器和解码器同级之间的连接通过级联实现。在最低空间分辨率下执行的解码器阶段仅由一个3*3*3卷积组成，在最后一个卷积层，使用一个1*1*1内核，它具有3个输出管道和一个Sigmoid激活函数。
于本实施例中，所述注意力模块连接于所述编码器和所述解码器之间，所述注意力模块包括通道注意力模块(Channel Attention Module，CAM)和空间注意力模块(Spatial Attention Module，SAM)；所述不同层次的特征图首先通过所述通道注意力模块进行特征提取，再通过所述空间注意力模块进行特征提取；所述注意力模块通过跳跃连接将提取的特征图传输到所述解码器。即分别执行通道和空间上的注意力机制，顺序为先执行通道注意力模块，随后执行空间注意力模块。
本实施例通过在编码器和解码器的跳跃连接路径上设计了注意力模块，有效突出了特定区域的局部特征，使网络有更好的专注性
为获得更好的模型，在每个编码器与解码器的连接部分，还添加了结合跳跃连接注意力模块进行训练。本实施例在网络加入了一个跳跃连接，并将注意力模块与解码器相结合。这一集成操作极大地减少了网络的冗余信息。同时，跳跃连接可以使得同级之间的特征传递得到保障。三维数据具有深度维度，这就导致在提取空间特征时需要参数调整。三维的跳跃连接注意力模块架构如图2所示。注意力模块通过三维通道注意力子模块和三维空间注意力子模块对整个特征层的编码过程进行约束。
具体地，为了获得三维注意力图，本实施例中，如图3所示，首先执行1*1*C的卷积，将所有的空间特征集合到H*W*1的维度；同时在另一条通道上，进行平均池化并反馈给神经网络，获得1*1*C的通道相关性。经过上述操作之后，编码后的注意力图具有丰富的空间特征注意力与通道注意力。
本实施例的医学图像分割系统100通过使用注意力模块对网络进行结构修改以及深度监督模块进行反向梯度传播监督，增大感受野。
具体地，于本施例中，所述深度监督模块包括在所述网络分割模型的主网络的分类器基础上增设的四个分支分类器。
神经网络的训练过程中，在训练数据集数据量较少且标注稀疏的情况下，由于梯度消失等原因，最终的损失不能有效地传播到浅层。为解决这一问题，本实施例改进网络在主网络的分类器基础上加入了而外的四个分支分类器。
将解码器部分进行分层后，可以分为四个不同层次。除了最上层的输出阶段之外，可以依次加入四个分支分类器，并根据不同层次分类器的预测结果来计算损失，并通过对隐藏层的监控获取更有效的反向梯度传播。
其中，于本实施例中，将主网络的权值设为W，wl，wm，wu，wh分别为四个分支分类器的权重；分类器的交叉熵损失函数Lc(X；W,wc)为：
其中：l,m,u,h分别是分类器名称，c∈{l,m,u,h}是分类器的索引，X是训练样本，p(yi＝t(xi)|xi；W,wc)是目标标签t(xi)对应到样本xi∈X的概率，W是为主流网络的权重，wc是加入深度监督的某一层在监督层预测中的权重，yi是分配到x的标签；所述深度监督模块的损失函数L(X；W,wc)为：
L(X；W,wc)＝∑cαcLc(X；W,wc)λ(ψ(W)+∑c∈{l,m,u,h}ψ(wc))；
其中：ψ是带超参数λ的正则化项，αc为相关分类器的权重，c∈{l,m,u,h}，ψ(W)是权重W的正则化项，ψ(wc)是权重wc的正则化项。
这样，不同层次的分类器可以利用多尺度的上下关联信息。这是基于底层拥有更小的感受野，而上层具有更大的感受野。初始参数设置为λ取0.005，αc依次取0.25，0.5，0.75，1。
所以本实施例的医学图像分割系统100通过使用注意力模块对网络进行结构修改以及深度监督模块进行反向梯度传播监督，增大了感受野。同时在编码器和解码器的跳跃连接路径上设计了注意力模块，有效突出了特定区域的局部特征，使网络有更好的专注性。本实施例的医学图像分割方法有效地弥补一些整体性能优秀但在某些预测指标上有缺陷的分割网络，提高了医学图像分割的精度。
本申请中，医学图像分割系统100可以实现本实施例所述的医学图像分割方法，故而所述医学图像分割系统100的各模块的具体实现功能参见所述医学图像分割方法的细节描述，在此不再重述。但本发明所述的医学图像分割方法的实现系统包括但不限于本实施例列举的医学图像分割系统100，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述系统/装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置或方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅是示意性的，例如，模块/单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或单元可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块/单元可以是或者也可以不是物理上分开的，作为模块/单元显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块/单元来实现本申请实施例的目的。例如，在本申请各个实施例中的各功能模块/单元可以集成在一个处理模块中，也可以是各个模块/单元单独物理存在，也可以两个或两个以上模块/单元集成在一个模块/单元中。
本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
如图5所示，本申请实施例提供一种电子设备101，所述电子设备例如可以是包括一个或多个处理器1001、一个或多个存储器1002、外设接口、RF电路、音频电路、扬声器、麦克风、输入/输出(I/O)子系统、显示屏、其他输出或控制设备，以及外部端口等组件的计算机；所述计算机包括但不限于如台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(Personal Digital Assistant，简称PDA)等个人电脑。在另一些实施方式中，所述电子设备还可以是服务器，所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上，也可以由分布的或集中的服务器集群构成，本实施例不作限定。
所述电子设备101包括：处理器1001及存储器1002；所述存储器1002用于存储计算机程序；所述处理器1001用于执行所述存储器1002存储的计算机程序，以使所述电子设备101执行如实施例1中医学图像分割方法的步骤。由于医学图像分割方法的步骤的具体实施过程已经在实施例中进行了详细说明，在此不再赘述。
处理器1001为(Central Processing Unit，中央处理器)。存储器1002通过系统总线与处理器1001连接并完成相互间的通信，存储器1002用于存储计算机程序，处理器1001用于运行计算机程序，以使所述处理器1001执行所述的基于边缘计算的电池快速诊断方法。存储器1002可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
本申请实施例还提供了一种计算机可读存储介质。本领域普通技术人员可以理解实现上述实施例的方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(magnetic tape)，软盘(floppy disk)，光盘(optical disc)及其任意组合。上述存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本申请实施例还可以提供一种计算机程序产品，所述计算机程序产品包括一个或多个计算机指令。在计算设备上加载和执行所述计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机或数据中心进行传输。
所述计算机程序产品被计算机执行时，所述计算机执行前述方法实施例所述的方法。该计算机程序产品可以为一个软件安装包，在需要使用前述方法的情况下，可以下载该计算机程序产品并在计算机上执行该计算机程序产品。
上述各个附图对应的流程或结构的描述各有侧重，某个流程或结构中没有详述的部分，可以参见其他流程或结构的相关描述。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (7)

1.一种医学图像分割方法，其特征在于，所述方法包括：
获取待分割的医学图像；
将所述待分割的医学图像输入基于网络分割模型，通过网络分割模型的编码器从所述待分割的医学图像提取不同层次的特征图，通过所述网络分割模型的注意力模块和深度监督模块对所述不同层次的特征图进一步提取，获取多尺度特征图，通过所述网络分割模型的解码器对所述多尺度特征图进行解码，输出三维注意力图；所述注意力模块包括通道注意力模块和空间注意力模块；所述编码器包括四个卷积阶段；每个卷积阶段由两个3*3*3卷积组成；在每个卷积阶段之间，空间下采样由一个最大池化层执行，内核大小为2*2*2，步长为2；所述解码器的每一级卷积阶段之间，采用三线性插值进行空间上采样；所述深度监督模块包括在所述网络分割模型的主网络的分类器基础上增设的四个分支分类器；将主网络的权值设为W，wl，wm，wu，wh分别为四个分支分类器的权重；分类器的交叉熵损失函数Lc(X；W,wc)Lc(X；W,wc)为：
其中：l,m,u,h分别是分类器名称，c∈{l,m,u,h}是分类器的索引，X是训练样本，p(yi＝t(xi)|xi；W,wc)是目标标签t(xi)对应到样本xi∈X的概率，W是为主流网络的权重，wc是加入深度监督的某一层在监督层预测中的权重，yi是分配到x的标签；
所述深度监督模块的损失函数L(X；W,wc)为：
L(X；W,wc)＝∑cαcLc(X；W,wc)λ(ψ(W)+∑c∈{l,m,u,h}ψ(wc))；
其中：ψ是带超参数λ的正则化项，αc为相关分类器的权重，c∈{l,m,u,h}，ψ(W)是权重W的正则化项，ψ(wc)是权重wc的正则化项；
显示所述三维注意力图。
2.根据权利要求1所述的方法，其特征在于：第一个卷积阶段将滤波器的数目增加到该级的预定值，第二个卷积阶段保持输出管道的数目不变；最后一个卷积阶段之后，进行两个3*3*3的扩张卷积，然后与最后一个卷积阶段的输出连接。
3.根据权利要求1或2所述的方法，其特征在于：每次空间下采样后，滤波器的数量增加一倍。
4.根据权利要求1所述的方法，其特征在于：所述注意力模块连接于所述编码器和所述解码器之间，所述不同层次的特征图首先通过所述通道注意力模块进行特征提取，再通过所述空间注意力模块进行特征提取；所述注意力模块通过跳跃连接将提取的特征图传输到所述解码器。
5.一种医学图像分割系统，其特征在于，所述系统包括图像获取模块，图像分割模块和结果显示模块；
所述图像获取模块用于获取待分割的医学图像；所述图像分割模块用于将所述待分割的医学图像输入基于网络分割模型，通过网络分割模型的编码器从所述待分割的医学图像提取不同层次的特征图，通过所述网络分割模型的注意力模块和深度监督模块对所述不同层次的特征图进一步提取，获取多尺度特征图，通过所述网络分割模型的解码器对所述多尺度特征图进行解码，输出三维注意力图；所述注意力模块包括通道注意力模块和空间注意力模块；所述编码器包括四个卷积阶段；每个卷积阶段由两个3*3*3卷积组成；在每个卷积阶段之间，空间下采样由一个最大池化层执行，内核大小为2*2*2，步长为2；所述解码器的每一级卷积阶段之间，采用三线性插值进行空间上采样；所述深度监督模块包括在所述网络分割模型的主网络的分类器基础上增设的四个分支分类器；将主网络的权值设为W，wl，wm，wu，wh分别为四个分支分类器的权重；分类器的交叉熵损失函数Lc(X；W,wc)为：
其中：l,m,u,h分别是分类器名称，c∈{l,m,u,h}是分类器的索引，X是训练样本，p(yi＝t(xi)|xi；W,wc)是目标标签t(xi)对应到样本xi∈X的概率，W是为主流网络的权重，wc是加入深度监督的某一层在监督层预测中的权重，yi是分配到x的标签；
所述深度监督模块的损失函数L(X；W,wc)为：
L(X；W,wc)＝∑cαcLc(X；W,wc)λ(ψ(W)+∑c∈{l,m,u,h}ψ(wc))；
其中：ψ是带超参数λ的正则化项，αc为相关分类器的权重，c∈{l,m,u,h}，ψ(W)是权重W的正则化项，ψ(wc)是权重wc的正则化项；
所述结果显示模块用于显示所述三维注意力图。
6.一种电子设备，其特征在于，所述电子设备包括：
存储器，存储有一计算机程序；
处理器，与所述存储器通信相连，在调用所述计算机程序时实现权利要求1至4任一项所述的方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被电子设备执行时实现权利要求1至4任一项所述的方法。
CN202211677254.8A 2022-12-26 2022-12-26 医学图像分割方法、系统、存储介质及电子设备 Active CN116258672B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211677254.8A CN116258672B (zh) 2022-12-26 2022-12-26 医学图像分割方法、系统、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211677254.8A CN116258672B (zh) 2022-12-26 2022-12-26 医学图像分割方法、系统、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN116258672A CN116258672A (zh) 2023-06-13
CN116258672B true CN116258672B (zh) 2023-11-17

Family

ID=86685408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211677254.8A Active CN116258672B (zh) 2022-12-26 2022-12-26 医学图像分割方法、系统、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN116258672B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN111369574A (zh) * 2020-03-11 2020-07-03 合肥凯碧尔高新技术有限公司 一种胸腔器官的分割方法及装置
CN112927255A (zh) * 2021-02-22 2021-06-08 武汉科技大学 一种基于上下文注意力策略的三维肝脏影像语义分割方法
WO2022135895A1 (en) * 2020-12-23 2022-06-30 Oncoradiomics Biomedical image segmentation methods and systems comprising an attention gated skip connection
CN114723698A (zh) * 2022-03-30 2022-07-08 浙江工业大学 一种基于多尺度注意力网络的脑血管图像分割方法
CN114972362A (zh) * 2022-05-11 2022-08-30 重庆理工大学 一种基于RMAU-Net网络的医学图像自动分割方法与系统
CN115082500A (zh) * 2022-05-31 2022-09-20 苏州大学 基于多尺度与局部特征引导网络的角膜神经纤维分割方法
CN115082493A (zh) * 2022-06-02 2022-09-20 陕西科技大学 基于形状引导对偶一致性的3d心房图像分割方法及系统
CN115170582A (zh) * 2022-06-13 2022-10-11 武汉科技大学 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN111369574A (zh) * 2020-03-11 2020-07-03 合肥凯碧尔高新技术有限公司 一种胸腔器官的分割方法及装置
WO2022135895A1 (en) * 2020-12-23 2022-06-30 Oncoradiomics Biomedical image segmentation methods and systems comprising an attention gated skip connection
CN112927255A (zh) * 2021-02-22 2021-06-08 武汉科技大学 一种基于上下文注意力策略的三维肝脏影像语义分割方法
CN114723698A (zh) * 2022-03-30 2022-07-08 浙江工业大学 一种基于多尺度注意力网络的脑血管图像分割方法
CN114972362A (zh) * 2022-05-11 2022-08-30 重庆理工大学 一种基于RMAU-Net网络的医学图像自动分割方法与系统
CN115082500A (zh) * 2022-05-31 2022-09-20 苏州大学 基于多尺度与局部特征引导网络的角膜神经纤维分割方法
CN115082493A (zh) * 2022-06-02 2022-09-20 陕西科技大学 基于形状引导对偶一致性的3d心房图像分割方法及系统
CN115170582A (zh) * 2022-06-13 2022-10-11 武汉科技大学 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Attention Res-UNet with Guided Decoder for semantic segmentation of brain tumors;Dhiraj Maji 等;《Biomedical Signal Processing and Control》;第71卷;1-9 *
BU-Net: Brain Tumor Segmentation Using Modified U-Net Architecture;Mobeen Ur Rehman 等;《Electronics 2020》;1-12 *
R-UNet++: 用于甲骨材质分类的局部分割网络;高未泽 等;《计算机辅助设计与图形学学报》;1-11 *
深度多分支模型融合网络的胡萝卜缺陷识别与分割;谢为俊 等;《深度多分支模型融合网络的胡萝卜缺陷识别与分割》;第37卷(第2期);177-186 *

Also Published As

Publication number Publication date
CN116258672A (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
Song et al. Attention based multi-scale parallel network for polyp segmentation
Huang et al. Channel prior convolutional attention for medical image segmentation
CN111461232A (zh) 一种基于多策略批量式主动学习的核磁共振图像分类方法
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
Wang et al. Multiscale transunet++: dense hybrid u-net with transformer for medical image segmentation
WO2023016087A1 (zh) 图像聚类方法、装置、计算机设备及存储介质
WO2022179588A1 (zh) 一种数据编码方法以及相关设备
Zhou et al. RSANet: towards real-time object detection with residual semantic-guided attention feature pyramid network
WO2021139351A1 (zh) 图像分割方法、装置、介质及电子设备
CN115272250B (zh) 确定病灶位置方法、装置、计算机设备和存储介质
CN111192678A (zh) 病理显微图像诊断、模型训练方法、装置、设备及介质
CN115147606B (zh) 医学图像的分割方法、装置、计算机设备和存储介质
Shen et al. Empirical comparisons of deep learning networks on liver segmentation
Ji et al. Lung nodule detection in medical images based on improved YOLOv5s
CN116071300A (zh) 一种基于上下文特征融合的细胞核分割方法及相关设备
Wang et al. Dual-path processing network for high-resolution salient object detection
CN112634308B (zh) 基于不同感受野的鼻咽癌靶区和危及器官的勾画方法
Xu et al. Brain tumour segmentation framework with deep nuanced reasoning and Swin‐T
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
CN116258672B (zh) 医学图像分割方法、系统、存储介质及电子设备
CN111209946B (zh) 三维图像处理方法、图像处理模型训练方法及介质
Wang et al. Multi-scale boundary neural network for gastric tumor segmentation
He et al. LSW‐Net: Lightweight Deep Neural Network Based on Small‐World properties for Spine MR Image Segmentation
CN111353499B (zh) 多模态医学图像分割方法、系统、存储介质及电子设备
Sun et al. Lesion segmentation in gastroscopic images using generative adversarial networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant