CN111951280A - 图像分割方法、装置、设备及存储介质 - Google Patents

图像分割方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111951280A
CN111951280A CN202010795220.3A CN202010795220A CN111951280A CN 111951280 A CN111951280 A CN 111951280A CN 202010795220 A CN202010795220 A CN 202010795220A CN 111951280 A CN111951280 A CN 111951280A
Authority
CN
China
Prior art keywords
feature
current high
image segmentation
level feature
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010795220.3A
Other languages
English (en)
Other versions
CN111951280B (zh
Inventor
吴剑煌
倪佳佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202010795220.3A priority Critical patent/CN111951280B/zh
Priority to PCT/CN2020/117826 priority patent/WO2022032823A1/zh
Publication of CN111951280A publication Critical patent/CN111951280A/zh
Application granted granted Critical
Publication of CN111951280B publication Critical patent/CN111951280B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种图像分割方法、装置、设备及存储介质，该方法包括：获取待分割图像；通过已训练的图像分割模型对所述待分割图像进行图像分割，以得到目标分割区域，其中，图像分割模型的解码单元用于计算当前高层特征对应的自注意力结果与该当前高层特征对应的低层特征的乘积以得到初始通道注意力结果，以及对所述初始通道注意力结果与所述当前高层特征进行组合以得到通道注意力结果，以及根据所述通道注意力结果更新所述当前高层特征，且更新后的当前高层特征的尺寸大于更新前的当前高层特征的尺寸。解决了现有深度学习方法的普适性较低的问题。

Description

图像分割方法、装置、设备及存储介质
技术领域
本发明实施例涉及医学图像处理领域，尤其涉及一种图像分割方法、装置、设备及存储介质。
背景技术
随着医疗科学技术的发展，很多医院都配置有各种各样的医学影像设备，这些医学影像设备每天都会产生大量的医学图像数据。这些医学图像数据对于病人的病情诊断具有重要的作用，但限于医生的时间、精力以及临床经验，仅仅依靠医生的视觉很难准确、有效地通过影像数据完成疾病的诊断。
为了提高医生的诊断效率，用于将病变区域从医学图像中分割出来的图像分割技术应运而生。现有技术的图像分割方法主要分为机器学习方法和深度学习方法，而现有深度学习方法的普适性较低的问题。
发明内容
本发明实施例提供了一种图像分割方法、装置、设备及存储介质，解决了现有深度学习方法的普适性较低的问题。
第一方面，本发明实施例提供了一种图像分割方法，该方法包括：
获取待分割图像；
通过已训练的图像分割模型对所述待分割图像进行图像分割，以得到目标分割区域，其中，图像分割模型用于计算当前高层特征对应的自注意力结果与该当前高层特征对应的低层特征的乘积以得到初始通道注意力结果，以及对所述初始通道注意力结果与所述当前高层特征进行组合以得到通道注意力结果，以及根据所述通道注意力结果更新所述当前高层特征，且更新后的当前高层特征的尺寸大于更新前的当前高层特征的尺寸。
进一步，获取自注意力结果的方法包括：
通过不同的卷积操作从当前高层特征中提取第一特征图、第二特征图和第三特征图；
计算所述第一特征图和所述第二特征图的乘积，并对该乘积结果执行分类操作以得到包含每个像素分类信息的分类结果；
计算所述分类结果与所述第三特征图的乘积，以及该乘积结果与该当前高层特征的乘积，以得到自注意力结果。
进一步，在计算初始通道注意力结果之前还包括：
对自注意力结果进行全局平均池化以更新所述自注意力结果，且更新之后的自注意力结果为K个1×1的特征图，其中K为通道数。
进一步，所述图像分割模型还包括特征提取单元和特征融合单元；
所述特征提取单元用于对所述待分割图像进行特征提取以得到特征提取结果；
所述特征融合单元用于通过多条并联通道分别从所述特征提取结果中提取相应尺度的特征图并对相应尺度的特征图进行压缩与解压缩操作，以及对所有通道输出的压缩与解压缩结果进行特征融合以得到特征融合结果。
进一步，特征融合单元的所有通道均通过SE块完成相应尺度的特征图的压缩与解压缩操作。
进一步，所述图像分割模型的损失函数包括主函数和辅助函数；
其中，所述辅助函数为权重交叉熵函数。
第二方面，本发明实施例还提供了图像分割装置，该装置包括：
获取模块，用于获取待分割图像；
输出模块，用于通过已训练的图像分割模型对所述待分割图像进行图像分割，以得到目标分割区域，其中，图像分割模型的解码单元用于计算当前高层特征对应的自注意力结果与该当前高层特征对应的低层特征的乘积以得到初始通道注意力结果，以及对所述初始通道注意力结果与所述当前高层特征进行组合以得到通道注意力结果，以及根据所述通道注意力结果更新所述当前高层特征，且更新后的当前高层特征的尺寸大于更新前的当前高层特征的尺寸。
第三方面，本发明实施例还提供了一种图像分割设备，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如任意实施例所述的图像分割方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行任意实施例所述的图像分割方法。
本发明实施例提供的图像分割方法、装置、设备及存储介质的技术方案，通过已训练的图像分割模块对待分割图像进行图像分割以得到目标分割区域，该图像分割模型的解码单元用于计算当前高层特征对应的自注意力结果与该当前高层特征对应的低层特征的乘积以得到初始通道注意力结果，以及对所述初始通道注意力结果与所述当前高层特征进行组合以得到通道注意力结果，以及根据所述通道注意力结果更新所述当前高层特征，且更新后的当前高层特征的尺寸大于更新前的当前高层特征的尺寸，由于自注意力结果携带有待分割图像的上下文特征信息，因此基于自注意力结果与当前高层特征对应的低层特征确定初始通道注意力结果之后，该初始通道注意力结果可使用该上下文特征信息指导低层特征来获取像素的位置信息和类别信息，加之通道注意力结果不仅包含初始通道注意力结果，还包含当前高层特征，这使得通道注意力结果更加准确并可适用于各种场景，从而使得该图像分割模型具有较高的普适性和鲁棒性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的图像分割方法的流程图；
图2是本发明实施例一提供的待分割图像(眼底图像)示意图；
图3是本发明实施例一提供的图像分割模型的示意图；
图4是本发明实施例一提供的注意力与通道注意力结合示意图；
图5A是本发明实施例一提供的眼底血管图像分割示意图；
图5B是本发明实施例一提供的颅内动脉血管图像分割示意图；
图5C是本发明实施例一提供的腿骨动脉图像分割示意图；
图6是本发明实施例一提供的池化单元的示意图；
图7是本发明实施例一提供的SE块的示意图；
图8是本发明实施例二提供的图像分割装置的结构框图；
图9是本发明实施例三提供的图像分割设备的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下将参照本发明实施例中的附图，通过实施方式清楚、完整地描述本发明的技术方案，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
图1是本发明实施例一提供的图像分割方法的流程图。本实施例的技术方案适用于通过已训练的图像分割模型自动完成图像分割的情况，其中，图像分割模型基于自注意力机制与通道注意力机制构建。该方法可以由本发明实施例提供的图像分割装置来执行，该装置可以采用软件和/或硬件的方式实现，并配置在处理器中应用。该方法具体包括如下步骤：
S101、获取待分割图像。
其中，待分割图像可以是CT(Computed Tomography，简称CT，电子计算机断层成像)图像、MR(Magnetic Resonance Imaging，简称MR，磁共振成像)图像、PET(PositronEmission Tomography，简称PET，正电子发射计算机断层显像)图像等临床医学图像，其包括目标分割区域和非目标分割区域。其中，目标分割区域可以是血管、出血区域等医生感兴趣区域。参见图2所示的眼底图像，该眼底图像的目标分割区域为眼底血管区域。
S102、通过已训练的图像分割模型对待分割图像进行图像分割，以得到目标分割区域，其中，图像分割模型的解码单元用于计算当前高层特征对应的自注意力结果与该当前高层特征对应的低层特征的乘积以得到初始通道注意力结果，以及对初始通道注意力结果与当前高层特征进行组合以得到通道注意力结果，以及根据通道注意力结果更新当前高层特征，且更新后的当前高层特征的尺寸大于更新前的当前高层特征的尺寸。
图像分割具体来说就是要确定待分割图像的每一个像素的类别信息，即每一个像素是属于目标分割区域还是属于非目标分割区域。因此在进行图像分割时，需要确定每个像素的位置信息和类别信息。
其中，图像分割模型包括特征提取单元、特征融合单元和解码单元，参见图3所示。特征提取单元采用多层卷积和批标准化的方法完成待分割图像的特征提取。而且该特征提取单元在进行特征提取时，可以添加预训练模型权重，也可以不添加预训练模型权重，实际使用时可以根据具体情况确定，本实施例在此不做具体限定。
示例性的，参见表1，特征提取单元通过四层卷积和批标准化的方法完成待分割图像的特征提取，以得到25×25大小的特征图或32×32大小的特征图。
表1特征提取过程信息表
层 输入 输出 卷积核大小
卷积+批标准化1 400×400/512×512 200×200/256×256 3×3
卷积+批标准化2 200×200/256×256 100×100/128×128 3×3
卷积+批标准化3 100×100/128×128 50×50/64×64 3×3
卷积+批标准化4 50×50/64×64 25×25/32×32 3×3
解码单元用于通过解码操作，将特征提取单元缩小的特征图一步一步的恢复到待分割图像的大小，从而保证整个图像分割过程是一种端到端的方式。本实施例的解码单元通过自注意力机制和通道注意力机制相结合的方式完成解码操作。具体包括：计算当前高层特征对应的自注意力结果与该当前高层特征对应的低层特征的乘积以得到初始通道注意力结果，以及对初始通道注意力结果与当前高层特征进行组合以得到通道注意力结果，以及根据通道注意力结果更新当前高层特征，且更新后的当前高层特征的尺寸大于更新前的当前高层特征的尺寸。
其中，解码单元通过两次注意力机制完成当前高层特征的特征提取，以提高整个图像分割模型的特征提取能力。自注意力结果的计算方法参见图4所示，通过不同的预设卷积操作从当前高层特征中提取第一特征图F(x)、第二特征图G(X)和第三特征图H(X)，然后直接计算F(x)与G(X)的乘积以得到乘积结果，并对该乘积结果执行分类操作以得到包含每个像素分类信息的分类结果；计算该分类结果与H(X)的乘积，然后计算该乘积结果与该当前高层特征的乘积，以得到包含当前高层特征的每个像素的分类信息和位置信息的自注意力结果。可以理解的是，特征图的乘法操作使得自注意力结果中的任一像素都是当前高层特征的所有位置的值的加权和，实现了位置特征的加强和长依赖特征信息的获取，即使得自注意力结果携带有待分割图像的上下文特征信息。其中，不同的预设卷积操作，为使用不同大小的卷积核对当前高层特征所进行的相应的特征提取操作。各个卷积核的大小可在实际使用时根据具体的使用场景进行设定。
参见图4所示，在计算初始通道注意力结果之前还包括：对自注意力结果进行全局平均池化以得到全局平均池化结果，即更新后的自注意力结果，该全局平均池化结果为K个1×1的特征图，其中，K为通道数，计算该全局平均池化结果和该当前高层特征对应的低层特征的乘积，以得到初始通道注意力结果。实现了自注意力结果与对应的低层特征的跳跃连接，以及使用自注意力结果携带的上下文特征信息来指导低层特征获取像素的位置信息和类别信息。其中，全局平均池化方式优选为L2正则化。可以理解的是，初始通道注意力结果中的每个像素是低层特征的每个像素与自注意力结果的所有通道的加权和。
可以理解的是，尺度越小的特征图的层级越高，尺度越大的特征图的层级越小。本实施例将邻近当前高层特征的低层特征作为当前高层特征对应的低层特征。如图2所示，32×32的特征图的层级高于64×64的特征图。如果当前高层特征为32×32的特征图，那么其对应的低层特征为64×64的特征图，如果当前高层特征为64×64的特征图，那么其对应的低层特征为128×128图。
解码单元在得到初始通道注意力结果之后，将该初始通道注意力结果与该当前高层特征进行组合，比如相加，以得到通道注意力结果。然后根据该通道注意力结果更新该当前高层特征，至此完成该当前高层特征的解码操作。
在一些实施例中，解码单元重复执行四次上述解码操作，即经过4次上采样机制之后得到目标特征图像。该目标特征图像与待分割图像的大小相同。可以理解的是，解码操作的次数与特征提取单元执行的特征提取的次数相同。
解码单元得到该目标特征图像之后，使用softmax对目标特征图像中的像素执行分类操作，以得到目标分割区域，参见图5A、图5B和图5C。
其中，特征融合单元包括多条并联通道，且优选地，不同通道的扩张率大小不同。每个通道均包括SE块(Squeeze-and-Excitation，简称SE，压缩与解压缩网络)，该SE块用于对特征提取单元输出的特征提取结果进行压缩与解压缩操作。
在一些实施例中，如图6所示，特征融合单元包括四条扩张率大小不同的通道。其中，第一通道通过1×1卷积核(相当于扩张率为1)对特征提取单元输出的特征提取结果进行特征提取以得到第一提取特征，然后通过SE块(压缩与解压缩网络)对该第一提取特征进行压缩与解压缩操作以得到对应的压缩与解压缩结果；第二通道、第三通道和第四通道分别对特征提取结果进行扩张操作，示例性的，扩张率分别为6、12和12，然后各个通道分别使用SE块对扩张操作结果进行压缩与解压缩操作以得到相应的压缩与解压缩结果；四个通道在得到压缩与解压缩结果之后，均使用1×1卷积核对压缩与解压缩结果进行特征提取以得到相应的特征图；以及在得到各个通道特征图之后，对各个通道的特征图进行特征融合，以得到特征融合结果。
图7为SE块进行压缩与解压缩的示意图。其中，Ftr表示转换操作，比如标准的卷积操作。在标准的卷积操作之后分出一个旁路分支，在该旁路分支中首先进行压缩(Squeeze)操作，即图中的Fsq(·)操作，用于采用全局平均池化操作对其每个特征图进行压缩，使其C个特征图最后变成1×1×C的实数数列。全局平均池化操作使U(多个feature map)具有全局的感受野，使得网络低层也能利用全局信息。然后在该旁路分支中进行解压缩(Excitation)操作，即图中的Fex(·)操作，以通过参数w为每个特征通道生成权重，从而全面捕获通道之间的依赖性(或通道相互之间的重要性)。Fscale用于将U中的每个值乘以一个预设标量。在得到每个通道的权重以及U中的每个值与预设标量的乘积之后，即可得到U中的每个值所对应的通道信息。由于压缩与解压缩方式可以充分利用特征图的全局信息，以及各个通道间的依赖性，因而能够增强图像分割模型的鲁棒性。
其中，图像分割模型中的优化函数优选使用Adam算法。损失函数包括主函数和辅助函数。损失函数可表示为：
Lall＝Ldice+λLr
其中，λ优选0.5，Ldice为主函数，其具体形式为：
Figure BDA0002625303330000101
其中，N为待分割图像的像素总数，p(k,i)∈[0,1]，q(k,i)∈[0,1]分别代表分类得到的概率和金标准。
其中，Lr为辅助函数，其为权重交叉熵函数，具体如下：
Figure BDA0002625303330000102
其中，y表示实际值，TP表示真正，即预测为正，实际也为正；TN表示真负，即预测为负，实际也为负，NP表示目标分割区域，Nn表示非分割区域。
需要说明的是，采用现有模型训练方法对上述图像分割模型进行训练，以得到已训练的图像分割模型即可。
在一些实施例中，基于公开的Keras平台和tensorflow的后端，使用python语言实现本发明实施例所述的图像分割方法的算法。运行该算法的计算机的配置信息包括：操作系统为Ubuntu 16.04，GPU为英伟达Titan XP显卡，内存为12GB。
本发明实施例提供的图像分割方法、装置、设备及存储介质的技术方案，通过已训练的图像分割模块对待分割图像进行图像分割以得到目标分割区域，该图像分割模型的解码单元用于计算当前高层特征对应的自注意力结果与该当前高层特征对应的低层特征的乘积以得到初始通道注意力结果，以及对所述初始通道注意力结果与所述当前高层特征进行组合以得到通道注意力结果，以及根据所述通道注意力结果更新所述当前高层特征，且更新后的当前高层特征的尺寸大于更新前的当前高层特征的尺寸，由于自注意力结果携带有待分割图像的上下文特征信息，因此基于自注意力结果与当前高层特征对应的低层特征确定初始通道注意力结果之后，该初始通道注意力结果可使用该上下文特征信息指导浅层特征来获取像素的位置信息和类别信息，加之通道注意力结果不仅包含初始通道注意力结果，还包含当前高层特征，这使得通道注意力结果更加准确并可适用于各种场景，从而使得该图像分割模型具有较高的普适性，而不仅仅针对特定的医学图像数据。
实施例二
图8是本发明实施例二提供的图像分割装置的结构框图。该装置用于执行上述任意实施例所提供的图像分割方法，该装置可选为软件或硬件实现。该装置包括：
获取模块11，用于获取待分割图像；
输出模块12，用于通过已训练的图像分割模型对所述待分割图像进行图像分割，以得到目标分割区域，其中，图像分割模型的解码单元用于计算当前高层特征对应的自注意力结果与该当前高层特征对应的低层特征的乘积以得到初始通道注意力结果，以及对所述初始通道注意力结果与所述当前高层特征进行组合以得到通道注意力结果，以及根据所述通道注意力结果更新所述当前高层特征，且更新后的当前高层特征的尺寸大于更新前的当前高层特征的尺寸。
可选地，解码单元用于通过不同的卷积操作从当前高层特征中提取第一特征图、第二特征图和第三特征图；计算第一特征图和第二特征图的乘积，并对该乘积结果执行分类操作以得到每个像素的分类信息；计算分类信息与第三特征图的乘积，以及该乘积结果与该当前高层特征的乘积，以得到自注意力结果。
可选地，解码单元还用于对自注意力结果进行全局平均池化以更新自注意力结果，且更新之后的自注意力结果为K个1×1的特征图，其中K为通道数。
可选地，图像分割模型还包括特征提取单元和特征融合单元；特征提取单元用于对待分割图像进行特征提取以得到特征提取结果；特征融合单元用于通过多条并联通道分别从特征提取结果中提取相应尺度的特征图并对相应尺度的特征图进行压缩与解压缩操作，以及对所有通道输出的压缩与解压缩结果进行特征融合以得到确定特征融合结果。
可选地，图像分割模型的损失函数包括主函数和辅助函数；其中，辅助函数为权重交叉熵函数。
本发明实施例提供的图像分割装置的技术方案，通过已训练的图像分割模型对待分割图像进行图像分割以得到目标分割区域，该图像分割模型的解码单元用于计算当前高层特征对应的自注意力结果与该当前高层特征对应的低层特征的乘积以得到初始通道注意力结果，以及对所述初始通道注意力结果与所述当前高层特征进行组合以得到通道注意力结果，以及根据所述通道注意力结果更新所述当前高层特征，且更新后的当前高层特征的尺寸大于更新前的当前高层特征的尺寸，由于自注意力结果携带有待分割图像的上下文特征信息，因此基于自注意力结果与当前高层特征对应的低层特征确定初始通道注意力结果之后，该初始通道注意力结果可使用该上下文特征信息指导浅层特征来获取像素的位置信息和类别信息，加之通道注意力结果不仅包含初始通道注意力结果，还包含当前高层特征，这使得通道注意力结果更加准确并可适用于各种场景，从而使得该图像分割模型具有较高的普适性，而不仅仅针对特定的医学图像数据。
本发明实施例所提供的图像分割方法装置可执行本发明任意实施例所提供的图像分割方法，具备执行方法相应的功能模块和有益效果。
实施例三
图9为本发明实施例三提供的医学图像分割设备的结构示意图，如图9所示，该设备包括处理器201、存储器202、输入装置203以及输出装置204；设备中处理器201的数量可以是一个或多个，图9中以一个处理器201为例；设备中的处理器201、存储器202、输入装置203以及输出装置204可以通过总线或其他方式连接，图9中以通过总线连接为例。
存储器202作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的图像分割方法对应的程序指令/模块(例如，获取模块11和输出模块12)。处理器201通过运行存储在存储器202中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的图像分割方法。
存储器202可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器202可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器202可进一步包括相对于处理器201远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置203可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。
输出装置204可包括显示屏等显示设备，例如，用户终端的显示屏。
实施例四
本发明实施例四还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种图像分割方法，该方法包括：
获取待分割图像；
通过已训练的图像分割模型对所述待分割图像进行图像分割，以得到目标分割区域，其中，图像分割模型的解码单元用于计算当前高层特征对应的自注意力结果与该当前高层特征对应的低层特征的乘积以得到初始通道注意力结果，以及对所述初始通道注意力结果与所述当前高层特征进行组合以得到通道注意力结果，以及根据所述通道注意力结果更新所述当前高层特征，且更新后的当前高层特征的尺寸大于更新前的当前高层特征的尺寸。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的图像分割方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(RandomAccess Memory，简称RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的图像分割方法。
值得注意的是，上述图像分割装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种图像分割方法，其特征在于，包括：
获取待分割图像；
通过已训练的图像分割模型对所述待分割图像进行图像分割，以得到目标分割区域，其中，所述图像分割模型的解码单元用于计算当前高层特征对应的自注意力结果与该当前高层特征对应的低层特征的乘积以得到初始通道注意力结果，以及对所述初始通道注意力结果与所述当前高层特征进行组合以得到通道注意力结果，以及根据所述通道注意力结果更新所述当前高层特征，且更新后的当前高层特征的尺寸大于更新前的当前高层特征的尺寸。
2.根据权利要求1所述的方法，其特征在于，获取自注意力结果的方法包括：
通过不同的卷积操作从当前高层特征中提取第一特征图、第二特征图和第三特征图；
计算所述第一特征图和所述第二特征图的乘积，并对该乘积结果执行分类操作以得到包含每个像素分类信息的分类结果；
计算所述分类结果与所述第三特征图的乘积，以及该乘积结果与该当前高层特征的乘积，以得到自注意力结果。
3.根据权利要求1所述的方法，其特征在于，在计算初始通道注意力结果之前还包括：
对自注意力结果进行全局平均池化以更新所述自注意力结果，且更新之后的自注意力结果为K个1×1的特征图，其中K为通道数。
4.根据权利要求1-3任一所述的方法，其特征在于，所述图像分割模型还包括特征提取单元和特征融合单元；
所述特征提取单元用于对所述待分割图像进行特征提取以得到特征提取结果；
所述特征融合单元用于通过多条并联通道分别从所述特征提取结果中提取相应尺度的特征图并对相应尺度的特征图进行压缩与解压缩操作，以及对所有通道输出的压缩与解压缩结果进行特征融合以得到特征融合结果。
5.根据权利要求4所述的方法，其特征在于，所述特征融合单元的所有通道均通过SE块完成相应尺度的特征图的压缩与解压缩操作。
6.根据权利要求1所述的方法，其特征在于，所述图像分割模型的损失函数包括主函数和辅助函数；
其中，所述辅助函数为权重交叉熵函数。
7.一种图像分割装置，其特征在于，包括：
获取模块，用于获取待分割图像；
输出模块，用于通过已训练的图像分割模型对所述待分割图像进行图像分割，以得到目标分割区域，其中，图像分割模型用于计算当前高层特征对应的自注意力结果与该当前高层特征对应的低层特征的乘积以得到初始通道注意力结果，以及对所述初始通道注意力结果与所述当前高层特征进行组合以得到通道注意力结果，以及根据所述通道注意力结果更新所述当前高层特征，且更新后的当前高层特征的尺寸大于更新前的当前高层特征的尺寸。
8.一种图像分割设备，其特征在于，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的图像分割方法。
9.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-6中任一所述的图像分割方法。
CN202010795220.3A 2020-08-10 2020-08-10 图像分割方法、装置、设备及存储介质 Active CN111951280B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010795220.3A CN111951280B (zh) 2020-08-10 2020-08-10 图像分割方法、装置、设备及存储介质
PCT/CN2020/117826 WO2022032823A1 (zh) 2020-08-10 2020-09-25 图像分割方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010795220.3A CN111951280B (zh) 2020-08-10 2020-08-10 图像分割方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111951280A true CN111951280A (zh) 2020-11-17
CN111951280B CN111951280B (zh) 2022-03-15

Family

ID=73331896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010795220.3A Active CN111951280B (zh) 2020-08-10 2020-08-10 图像分割方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN111951280B (zh)
WO (1) WO2022032823A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159056A (zh) * 2021-05-21 2021-07-23 中国科学院深圳先进技术研究院 图像分割方法、装置、设备及存储介质
CN113326851A (zh) * 2021-05-21 2021-08-31 中国科学院深圳先进技术研究院 图像特征提取方法、装置、电子设备及存储介质
CN113837208A (zh) * 2021-10-18 2021-12-24 北京远鉴信息技术有限公司 一种异常图像的确定方法、装置、电子设备及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862881A (zh) * 2022-07-11 2022-08-05 四川大学 一种基于pet-ct的跨模态注意力肿瘤分割方法、系统
CN115330813A (zh) * 2022-07-15 2022-11-11 深圳先进技术研究院 一种图像处理方法、装置、设备及可读存储介质
CN115456064B (zh) * 2022-09-05 2024-02-02 江汉大学 基于点云的物体分类方法及相关设备
CN116311192B (zh) * 2023-05-15 2023-08-22 中国科学院长春光学精密机械与物理研究所 空间目标定位、区域超分辨重建及类型识别的系统及方法
CN117671509B (zh) * 2024-02-02 2024-05-24 武汉卓目科技有限公司 遥感目标检测方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443813A (zh) * 2019-07-29 2019-11-12 腾讯医疗健康(深圳)有限公司 血管、眼底图像的分割方法、装置、设备及可读存储介质
CN110866938A (zh) * 2019-11-21 2020-03-06 北京理工大学 一种全自动视频运动目标分割方法
US20200126209A1 (en) * 2018-10-18 2020-04-23 Nhn Corporation System and method for detecting image forgery through convolutional neural network and method for providing non-manipulation detection service using the same
CN111080655A (zh) * 2019-12-04 2020-04-28 腾讯科技（深圳）有限公司 图像分割及其模型训练方法、装置、介质及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200126209A1 (en) * 2018-10-18 2020-04-23 Nhn Corporation System and method for detecting image forgery through convolutional neural network and method for providing non-manipulation detection service using the same
CN110443813A (zh) * 2019-07-29 2019-11-12 腾讯医疗健康(深圳)有限公司 血管、眼底图像的分割方法、装置、设备及可读存储介质
CN110866938A (zh) * 2019-11-21 2020-03-06 北京理工大学 一种全自动视频运动目标分割方法
CN111080655A (zh) * 2019-12-04 2020-04-28 腾讯科技（深圳）有限公司 图像分割及其模型训练方法、装置、介质及电子设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159056A (zh) * 2021-05-21 2021-07-23 中国科学院深圳先进技术研究院 图像分割方法、装置、设备及存储介质
CN113326851A (zh) * 2021-05-21 2021-08-31 中国科学院深圳先进技术研究院 图像特征提取方法、装置、电子设备及存储介质
WO2022242131A1 (zh) * 2021-05-21 2022-11-24 中国科学院深圳先进技术研究院 图像分割方法、装置、设备及存储介质
CN113326851B (zh) * 2021-05-21 2023-10-27 中国科学院深圳先进技术研究院 图像特征提取方法、装置、电子设备及存储介质
CN113159056B (zh) * 2021-05-21 2023-11-21 中国科学院深圳先进技术研究院 图像分割方法、装置、设备及存储介质
CN113837208A (zh) * 2021-10-18 2021-12-24 北京远鉴信息技术有限公司 一种异常图像的确定方法、装置、电子设备及存储介质
CN113837208B (zh) * 2021-10-18 2024-01-23 北京远鉴信息技术有限公司 一种异常图像的确定方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111951280B (zh) 2022-03-15
WO2022032823A1 (zh) 2022-02-17

Similar Documents

Publication Publication Date Title
CN111951280B (zh) 图像分割方法、装置、设备及存储介质
US20220005192A1 (en) Method and system for intracerebral hemorrhage detection and segmentation based on a multi-task fully convolutional network
CN109166130B (zh) 一种图像处理方法及图像处理装置
CN111951281B (zh) 图像分割方法、装置、设备及存储介质
CN111429421B (zh) 模型生成方法、医学图像分割方法、装置、设备及介质
CN110838125B (zh) 医学图像的目标检测方法、装置、设备、存储介质
CN110378913B (zh) 图像分割方法、装置、设备及存储介质
US11967181B2 (en) Method and device for retinal image recognition, electronic equipment, and storage medium
CN110009656B (zh) 目标对象的确定方法、装置、存储介质及电子装置
CN111667459B (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质
CN113554665A (zh) 一种血管分割方法及装置
WO2023207743A1 (zh) 图像检测方法、装置、计算机设备、存储介质及程序产品
CN111292322B (zh) 医学图像处理方法、装置、设备及存储介质
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN115797929A (zh) 基于双注意力机制的小型农田图像分割方法、装置
CN112634231A (zh) 一种图像分类方法、装置、终端设备和存储介质
CN113724185A (zh) 用于图像分类的模型处理方法、装置及存储介质
CN117496144A (zh) 一种应用于皮损分割的多注意力编解码器网络和系统
CN116245832B (zh) 一种图像处理方法、装置、设备及存储介质
CN111209946A (zh) 三维图像处理方法、图像处理模型训练方法及介质
US20230103262A1 (en) Image processing method and device
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
CN115375787A (zh) 伪影校正方法、计算机设备及可读存储介质
CN114664410A (zh) 一种基于视频的病灶分类方法、装置、电子设备及介质
CN113724184A (zh) 脑出血预后预测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant