CN111260653B - 一种图像分割方法、装置、存储介质和电子设备 - Google Patents

一种图像分割方法、装置、存储介质和电子设备 Download PDF

Info

Publication number
CN111260653B
CN111260653B CN202010341419.9A CN202010341419A CN111260653B CN 111260653 B CN111260653 B CN 111260653B CN 202010341419 A CN202010341419 A CN 202010341419A CN 111260653 B CN111260653 B CN 111260653B
Authority
CN
China
Prior art keywords
image
feature information
layer
segmented
characteristic information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010341419.9A
Other languages
English (en)
Other versions
CN111260653A (zh
Inventor
曹世磊
焦裕迪
魏东
马锴
王连生
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010341419.9A priority Critical patent/CN111260653B/zh
Publication of CN111260653A publication Critical patent/CN111260653A/zh
Application granted granted Critical
Publication of CN111260653B publication Critical patent/CN111260653B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像分割方法、装置、存储介质和电子设备，所述方法涉及人工智能领域中的深度学习方向，包括：获取待分割图像、以及待分割图像对应的超像素图像，分别对待分割图像、以及超像素图像进行编码操作，得到低层图像特征信息、以及低层边界特征信息，将低层图像特征信息、以及低层边界特征信息进行融合，得到注意力特征信息，对注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息，对高层图像特征信息进行解码操作，得到目标特征信息，基于目标特征信息对待分割图像进行图像分割，得到待分割图像对应的感兴趣区域。该方案可以提升图像分割的准确性。

Description

一种图像分割方法、装置、存储介质和电子设备
技术领域
本申请涉及计算机技术领域，具体涉及一种图像分割方法、装置、存储介质和电子设备。
背景技术
基于人工智能的图像分割就是把图像分成若干个特定的、具有独特性质的区域，并提取出感兴趣目标的技术。图像分割是图像识别和计算机视觉等领域至关重要的预处理步骤，没有正确的分割就不可能有正确的识别。现今人工神经网络识别技术引起了广泛关注，但是目前利用神经网络进行图像分割时，没有有效地利用图像中与分割图像相关的信息，导致图像分割的准确度不高。
发明内容
本申请实施例提供一种图像分割方法、装置、存储介质和电子设备，该方案可以提升图像分割的准确性。
本申请实施例提供一种图像分割方法，包括：
获取待分割图像、以及所述待分割图像对应的超像素图像；
分别对所述待分割图像、以及所述超像素图像进行编码操作，得到所述待分割图像的低层图像特征信息、以及所述超像素图像的低层边界特征信息；
将所述低层图像特征信息、以及所述低层边界特征信息进行融合，得到关注所述待分割图像的边界信息的注意力特征信息；
基于所述低层边界特征信息、以及注意力机制，对所述注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息；
基于所述低层图像特征信息、以及所述中层图像特征信息，对所述高层图像特征信息进行解码操作，得到目标特征信息；
基于所述目标特征信息对所述待分割图像进行图像分割，得到所述待分割图像对应的感兴趣区域。
相应的，本申请实施例还提供一种图像分割装置，包括：
获取模块，用于获取待分割图像、以及所述待分割图像对应的超像素图像；
第一编码模块，用于分别对所述待分割图像、以及所述超像素图像进行编码操作，得到所述待分割图像的低层图像特征信息、以及所述超像素图像的低层边界特征信息；
融合模块，用于将所述低层图像特征信息、以及所述低层边界特征信息进行融合，得到关注所述待分割图像的边界信息的注意力特征信息；
第二编码模块，用于基于所述低层边界特征信息、以及注意力机制，对所述注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息；
解码模块，用于基于所述低层图像特征信息、以及所述中层图像特征信息，对所述高层图像特征信息进行解码操作，得到目标特征信息；
分割模块，用于基于所述目标特征信息对所述待分割图像进行图像分割，得到所述待分割图像对应的感兴趣区域。
可选的，在一些实施例中，所述第二编码模块可以包括第一编码子模块、融合子模块和第二编码子模块，如下：
第一编码子模块，用于分别对所述注意力特征信息、以及所述低层边界特征信息进行编码操作，得到中层图像特征信息、以及中层边界特征信息；
融合子模块，用于将所述中层图像特征信息、以及所述中层边界特征信息进行融合，得到目标注意力特征信息；
第二编码子模块，用于当所述中层图像特征信息所处的层级为预设层级时，对所述目标注意力特征信息进行编码操作，得到高层图像特征信息。
则此时，所述第二编码模块，还可以用于当所述中层图像特征信息所处的层级不为预设层级时，将所述中层图像特征信息更新为注意力特征信息，将所述中层边界特征信息更新为低层边界特征信息，返回执行分别对所述注意力特征信息、以及所述低层边界特征信息进行编码操作，得到中层图像特征信息、以及中层边界特征信息的步骤。
则此时，所述第一编码子模块，具体可以用于对所述注意力特征信息进行卷积操作，得到卷积后注意力特征信息，基于残差连接，融合所述卷积后注意力特征信息、以及所述注意力特征信息，得到提取后注意力特征信息，对所述提取后注意力特征信息进行特征采样，得到中层图像特征信息，对所述低层边界特征信息进行编码操作，得到中层边界特征信息。
则此时，所述融合模块，具体可以用于对所述低层边界特征信息进行卷积操作，得到卷积后低层边界特征信息，融合所述卷积后低层边界特征信息、以及所述低层图像特征信息，得到初始注意力特征信息，融合所述初始注意力特征信息、以及所述低层图像特征信息，得到关注所述待分割图像的边界信息的注意力特征信息。
则此时，所述解码模块，具体可以用于确定所述高层图像特征信息对应的编码图像特征信息，其中，所述编码图像特征信息包括编码操作得到的所述低层图像特征信息、或所述中层图像特征信息，对所述高层图像特征信息、以及所述编码图像特征信息进行解码操作，得到解码后图像特征信息，将所述解码后图像特征信息更新为高层图像特征信息，返回执行对所述高层图像特征信息、以及所述编码图像特征信息进行解码操作，得到解码后图像特征信息的步骤，直至所述编码图像特征信息为低层图像特征信息，得到目标特征信息。
则此时，所述分割模块，具体可以用于对所述目标特征信息进行概率预测，得到所述待分割图像对应的概率预测图像，基于预设阈值对所述概率预测图像进行二值化处理，得到所述待分割图像对应的图像分割结果，根据所述图像分割结果，从所述待分割图像中确定出感兴趣区域。
则此时，所述获取模块，具体可以用于获取初始待分割图像，基于预设尺寸滑窗在所述初始待分割图像上的滑动操作，确定多个待分割图像，获取每个待分割图像对应的超像素图像。
则此时，所述第一编码模块，具体可以用于基于图像分割模型的编码器分别对所述待分割图像、以及所述超像素图像进行编码操作，得到所述待分割图像的低层图像特征信息、以及所述超像素图像的低层边界特征信息，所述基于所述低层图像特征信息、以及所述中层图像特征信息，对所述高层图像特征信息进行解码操作，得到目标特征信息的步骤包括，基于图像分割模型的解码器、所述低层图像特征信息、以及所述中层图像特征信息，对所述高层图像特征信息进行解码操作，得到目标特征信息。
可选的，在一些实施例中，所述图像分割装置还可以包括样本获取模块、预测模块和训练模块，如下：
样本获取模块，用于获取样本图像、以及所述样本图像对应的样本超像素图像；
预测模块，用于基于预设图像分割模型、以及所述样本超像素图像，预测出所述样本图像对应的样本概率预测图像；
训练模块，用于基于所述样本概率预测图像，对所述预设图像分割模型进行训练，得到用于图像分割的图像分割模型。
此外，本申请实施例还提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例提供的任一种图像分割方法中的步骤。
此外，本申请实施例还提供一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本申请实施例提供的任一种图像分割方法中的步骤。
本申请实施例可以获取待分割图像、以及待分割图像对应的超像素图像，分别对待分割图像、以及超像素图像进行编码操作，得到待分割图像的低层图像特征信息、以及超像素图像的低层边界特征信息，将低层图像特征信息、以及低层边界特征信息进行融合，得到关注待分割图像的边界信息的注意力特征信息，基于低层边界特征信息、以及注意力机制，对注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息，基于低层图像特征信息、以及中层图像特征信息，对高层图像特征信息进行解码操作，得到目标特征信息，基于目标特征信息对待分割图像进行图像分割，得到待分割图像对应的感兴趣区域。该方案可以提升图像分割的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像分割系统的场景示意图；
图2是本申请实施例提供的图像分割方法的第一流程图；
图3是本申请实施例提供的图像分割方法的第二流程图；
图4是本申请实施例提供的图像分割模型的结构示意图；
图5是本申请实施例提供的注意力机制示意图；
图6是本申请实施例提供的超像素图像示意图；
图7是本申请实施例提供的确定待分割图像区域示意图；
图8是本申请实施例提供的处理流程图；
图9是本申请实施例提供的图像分割装置的结构示意图；
图10是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例提供一种图像分割方法、装置、存储介质和电子设备。具体地，本申请实施例的图像分割方法可以由电子设备执行，其中，该电子设备可以为终端或者服务器等设备，该终端可以为手机、平板电脑、笔记本电脑、智能电视、穿戴式智能设备、个人计算机（PC，Personal Computer）等设备。其中，终端可以包括客户端，该客户端可以是视频客户端或浏览器客户端等，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据人工智能平台等基础云计算服务的云服务器。
例如，参见图1，以该图像分割方法由电子设备执行为例，该电子设备可以获取待分割图像、以及待分割图像对应的超像素图像，分别对待分割图像、以及超像素图像进行编码操作，得到待分割图像的低层图像特征信息、以及超像素图像的低层边界特征信息，将低层图像特征信息、以及低层边界特征信息进行融合，得到关注待分割图像的边界信息的注意力特征信息，基于低层边界特征信息、以及注意力机制，对注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息，基于低层图像特征信息、以及中层图像特征信息，对高层图像特征信息进行解码操作，得到目标特征信息，基于目标特征信息对待分割图像进行图像分割，得到待分割图像对应的感兴趣区域。
本申请实施例提供的图像分割方法涉及人工智能领域中的机器学习方向。本申请实施例可以将需要进行图像分割的待分割图像、以及根据该待分割图像生成的超像素图像输入到图像分割模型中，就可以利用该图像分割模型对该待分割图像进行图像分割。
其中，人工智能（Artificial Intelligence，AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。其中，人工智能软件技术主要包括计算机视觉技术、机器学习/深度学习等方向。
其中，机器学习（Machine Learning，ML）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
本申请实施例提供了一种图像分割方法，该方法可以由终端或服务器执行，也可以由终端和服务器共同执行；本申请实施例以图像分割方法由服务器执行为例来进行说明，如图2所示，该图像分割方法的具体流程可以如下：
S201、获取待分割图像、以及待分割图像对应的超像素图像。
其中，超像素图像为基于超像素生成算法生成的图像，超像素图像中包括一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域，这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。一个小区域中的每个像素在某种特性的度量下或是由计算得出的特性都是相似的，如颜色、亮度、纹理等等，而邻接区域在某种特性的度量下有很大不同。比如，如图6所示，就是心脏磁共振图像对应的超像素图像，超像素的边界可以为定位和表征左心房提供丰富的语义信息。图6中包括多个线条A，这些线条表示超像素的边界，而图6中的B区域表示基于超像素图像分割出的左心房的位置。
在实际应用中，比如，由于人体器官的解剖学一致性，医学图像具有相似的局部几何（如拓扑和边界）和形状，那么可以通过在运用神经网络进行图像分割的过程中，将能够为定位和表征目标对象提供丰富语义信息的超像素图像考虑进去，从而有效地利用图像中固有的外观模式。如图4所示，可以获取待分割图像、以及待分割图像对应的超像素图像，其中，该待分割图像可以为医学图像，医学图像也可称为医学影像，是指为了医疗或医学研究，对人体或人体某部分，以非侵入方式取得的内部组织影像。
在一实施例中，比如，可以利用医学影像设备获取待分割图像，该待分割图像可以为CT（电子计算机断层扫描，Computed Tomography）图像或者MR（磁共振检查，MagneticResonance）图像。并且对待分割图像使用SLIC算法，得到该待分割图像对应的初始超像素图像，再对该初始超像素图像取边界即可得到需要的超像素图像。其中，SLIC算法是一种生成超像素的方法，它使用k-均值聚类产生超像素。对CT图像或者MR图像使用SLIC算法就可以得到初始超像素图像，再对该初始超像素图像取边界即可得到需要的超像素图像。利用SLIC算法能够生成紧凑、近似均匀的超像素，使得邻域特征容易表达。在运算速度、物体轮廓保持等方面都较理想，符合期望的分割效果。
在一实施例中，由于利用医学影像设备获取到的图像的尺寸与图像分割模型在训练过程中适应的尺寸未必相同，因此可以通过滑窗的方式，从初始获取到的图像中确定出多个模型适应尺寸的待分割图像。具体地，步骤“获取待分割图像、以及所述待分割图像对应的超像素图像”，可以包括：
获取初始待分割图像；
基于预设尺寸滑窗在所述初始待分割图像上的滑动操作，确定多个待分割图像；
获取每个待分割图像对应的超像素图像。
在实际应用中，比如，在测试阶段，可以利用医学影像设备获取初始待分割图像，并利用预设尺寸的滑窗在初始待分割图像上的滑动操作，对初始待分割图像进行分割，如图7所示，图7中701部分的矩形框就是预设尺寸的滑窗，每个矩形框中都框出一个待分割图像，因此将初始待分割图像划分为与训练阶段尺寸相同的待分割图像，其中，相邻待分割图像之间有重叠部分702，且所有的待分割图像可以包括完整初始待分割图像中的信息，这样不仅能够保证图像输入图像分割模型后预测结果的准确性，还能够保证最终获取到结果的完整性。同时还需获取每个待分割图像对应的超像素图像。
S202、分别对待分割图像、以及超像素图像进行编码操作，得到待分割图像的低层图像特征信息、以及超像素图像的低层边界特征信息。
其中，图像分割模型是可以直接输出图像分割结果的网络模型，比如，本申请实施例中的图像分割模型可以为以3D U-Net为基础进行相应改进后的网络模型，本申请实施例中的图像分割模型在3D U-Net的编码部分添加了一个自下而上的分支，并将残差跳跃连接合并到3D U-Net中的每个卷积块。如图4所示，可以将U-Net中自下而上的路径称为编码器，将U-Net中自上而下的路径称为图像解码器，其中，由于包括两个自下而上的路径，因此该图像分割模型的编码器中可以包括图像编码器和边界编码器。
在一实施例中，如图4所示，由于图像分割模型的编码器中包括图像编码器和边界编码器，而图像编码器中包括多个特征通道数依次递增的图像编码单元，边界编码器中包括多个特征通道数依次递增的边界编码单元，因此可以分别利用图像编码单元和边界编码单元对待分割图像和超像素图像进行编码。
其中，在神经网络的卷积操作中，感受野是神经网络每一层输出特征图上的像素点在输入图像上映射的区域大小，也就是说感受野是神经网络中某一层输出结果上的元素点在输入图像上映射的大小。一般的，第一层卷积层的输出特征的感受野大小等于卷积核的大小，而高层卷积层的感受野大小则与它之前所有层的卷积核大小和步长有关系，因此，基于不同的感受野，可以捕获到不同级别的信息，进而达到提取不同尺度特征信息的目的。
比如，如图4所示，在图像编码器中，由于图像编码单元A1是图像编码器中的第一个图像编码单元，因此，基于图像编码单元A1输出的特征可以称为低层图像特征信息，由于基于图像编码单元A2、A3、以及A4输出的特征经过的卷积操作次数更多，因此可以称为中层图像特征信息，而基于图像编码单元A5输出的特征经过的卷积操作次数最多，因此可以称为高层图像特征信息。其中，低层图像特征信息分辨率更高，包含更多位置、细节信息，但是由于其经历的卷积操作次数少，因此语义性低，噪声多。而高层图像特征信息具有更强的语义信息，但是其分辨率很低，并且对细节的感知能力较差。
又比如，如图4所示，在边界编码器中，由于边界编码单元B1是边界编码器中的第一个边界编码单元，因此，基于边界编码单元B1输出的特征可以称为低层边界特征信息，由于基于边界编码单元B2、B3、以及B4输出的特征经过的卷积操作次数更多，因此可以称为中层边界特征信息。
在实际应用中，比如，如图4所示，可以将待分割图像和超像素图像都输入至图像分割模型的编码器中，并利用图像编码器中的图像编码单元A1对待分割图像进行编码，得到待分割图像的低层图像特征信息，利用边界编码器中的边界编码单元B1对超像素图像进行编码，得到超像素图像的低层边界特征信息。由于超像素图像中包含进行图像分割的有效信息，并且一般不会破坏图像中物体的边界信息，因此，图像分割模型通过学习超像素图像提供的外观先验知识，有助于对图像中的器官进行精确分割。
在一实施例中，在对图像进行编码操作的过程中，可以利用残差连接的方式，将多个卷积层级联的输出与输入相加，使得网络结构相对简单、训练参数少、训练时间短。还可以利用下采样操作，使得输出的特征信息满足后续步骤所需的尺寸。具体地，步骤“分别对所述待分割图像、以及所述超像素图像进行编码操作，得到所述待分割图像的低层图像特征信息、以及所述超像素图像的低层边界特征信息”，可以包括：
对所述待分割图像进行卷积操作，得到卷积后待分割特征信息；
基于残差连接，融合所述卷积后待分割特征信息、以及所述待分割图像，得到提取后待分割特征信息；
对所述提取后待分割特征信息进行特征采样，得到所述待分割图像的低层图像特征信息；
对所述超像素图像进行编码操作，得到所述超像素图像的低层边界特征信息。
在实际应用中，比如，进行编码操作的每个图像编码单元中都包括三个卷积层，它们的卷积核大小相等，均为3，并且卷积层之间插入了组标准化（Group Normalization）和ReLU激活函数，同时每个图像编码单元中都使用了残差跳跃连接。因此，可以利用图像编码单元中的卷积层对待分割图像进行卷积处理，得到卷积后待分割特征信息，并且基于残差连接，融合卷积后待分割特征信息、以及待分割图像，得到提取后待分割特征信息。
其中，残差连接通过将多个卷积层级联的输出与输入相加的方式对图像特征进行提取，使得网络结构相对简单、训练参数少、训练时间短。因此，在本申请实施例中，可以在每个图像编码单元的卷积层之间设置残差跳跃连接，将特征传递到图像编码单元的更深层，使得不同尺度的特征进行融合，从而丰富了特征，提升了准确性。并且在网络训练的过程中，运用残差跳跃连接还有助于解决梯度消失和梯度爆炸的问题，使得训练网络的同时，还可以保证良好的性能。
为了使得输出的特征信息满足后续步骤所需的尺寸，图像编码单元中还可以包括下采样层，因此还可以利用下采样层对提取后待分割特征信息进行下采样，得到待分割图像的低层图像特征信息，下采样操作可以对输出的特征进行降维，使其满足将要输入的编码单元的特征尺寸，同时减少参数量、降低运算量、增加感受野的大小，并且可以增加对输入特征的一些小扰动的鲁棒性，如图像平移、旋转等，还可以避免网络模型训练过程中的过拟合风险。
对待分割图像进行编码操作的图像编码单元、与对超像素图像进行编码操作的边界编码单元的结构可以相同，相应的编码步骤也相同。也即可以利用边界编码单元中的卷积层对超像素图像进行卷积处理，得到卷积后超像素特征信息，并且基于残差连接，融合卷积后超像素特征信息、以及超像素图像，得到提取后超像素特征信息，利用下采样层对提取后超像素特征信息进行下采样，得到超像素图像的低层边界特征信息。
在一实施例中，可以利用人工智能的图像分割模型进行图像的编码操作，一方面能够提升图像分割的准确性，还可以提升图像分割的效率。具体地，步骤“分别对所述待分割图像、以及所述超像素图像进行编码操作，得到所述待分割图像的低层图像特征信息、以及所述超像素图像的低层边界特征信息”，可以包括：
基于图像分割模型的编码器分别对所述待分割图像、以及所述超像素图像进行编码操作，得到所述待分割图像的低层图像特征信息、以及所述超像素图像的低层边界特征信息。
其中，如图4所示，图像编码器中包括五个图像编码单元和四个下采样层，下采样层没有标记在图4中。其中，五个图像编码单元按照一定的顺序进行排列，并且图像编码单元的特征通道数依次递增，第一个图像编码单元A1的特征通道数是16；第二个图像编码单元A2的特征通道数是32；第三个图像编码单元A3的特征通道数是64；第四个图像编码单元A4的特征通道数是128；第五个图像编码单元A5的特征通道数是256。
其中，如图4所示，边界编码器的结构与图像编码器类似，只是删除了最后一层的编码单元和下采样层。边界编码器中包括四个边界编码单元和三个下采样操作，其中，四个边界编码单元按照一定的顺序进行排列，并且边界编码单元的特征通道数依次递增，第一个边界编码单元B1的特征通道数是16；第二个边界编码单元B2的特征通道数是32；第三个边界编码单元B3的特征通道数是64；第四个边界编码单元B4的特征通道数是128。
在实际应用中，比如，如图4所示，可以将待分割图像输入至图像分割模型中的图像编码器中，该待分割图像就会直接输入至图像编码器中特征通道数最少的图像编码单元A1中，因此可以利用该图像编码器中特征通道数最少的图像编码单元A1对待分割图像进行编码，得到待分割图像的低层图像特征信息。同时将超像素图像输入至图像分割模型中的边界编码器中，该超像素图像就会直接输入至边界编码器中特征通道数最少的边界编码单元B1中，因此可以利用该边界编码器中特征通道数最少的边界编码单元B1对超像素图像进行编码，得到超像素图像的低层边界特征信息。
S203、将低层图像特征信息、以及低层边界特征信息进行融合，得到关注待分割图像的边界信息的注意力特征信息。
其中，注意力机制源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。上述机制通常被称为注意力机制。因此，由于超像素的边界可以提供图像的外观固有特性，因此本申请实施例可以编码器对超像素图像进行编码，以便从中提取出深层语义，并结合待分割图像和超像素边界中的语义产生空间注意力，以便应用注意力机制对资源进行合理分配，由于通过注意力机制关注了图像的边界信息，使得图像分割得到感兴趣区域的边界更清晰，位置更准确。
在实际应用中，比如，利用图像分割模型中特征通道数最少的图像编码单元，得到待分割图像的低层图像特征信息，且利用图像分割模型中特征通道数最少的边界编码单元，得到超像素图像的低层边界特征信息之后，可以将低层图像特征信息、以及低层边界特征信息同时输入至注意力模块中，并利用注意力模块对低层图像特征信息、以及低层边界特征信息进行融合，得到注意力特征信息，由于该注意力特征信息中同时包括待分割图像的特征、以及超像素图像的特征，因此，该注意力特征信息是关注超像素图像中待分割图像边界信息的特征信息。这种把输入图像和由输入图像生成的超像素图像结合起来的注意力机制，在保持轻量级的同时综合了残差学习以及空间和通道注意力的优势，从而避免了高昂的计算成本。
在一实施例中，具体地，步骤“将所述低层图像特征信息、以及所述低层边界特征信息进行融合，得到关注所述待分割图像的边界信息的注意力特征信息”，可以包括：
对所述低层边界特征信息进行卷积操作，得到卷积后低层边界特征信息；
融合所述卷积后低层边界特征信息、以及所述低层图像特征信息，得到初始注意力特征信息；
融合所述初始注意力特征信息、以及所述低层图像特征信息，得到关注所述待分割图像的边界信息的注意力特征信息。
在实际应用中，比如，如图5所示，注意力模块内部包括两个输入，分别是低层图像特征信息、以及低层边界特征信息，特征信息大小均为N*C*W*H*D，其中，N代表batch size，C代表通道数，W*H*D代表3D特征，可以利用fi代表低层图像特征信息，fb代表低层边界特征信息。可以利用注意力模块对低层边界特征信息进行1*1*1卷积操作（1*1*1 Conv）、以及Sigmoid，得到大小为N*1*W*H*D的卷积后低层边界特征信息，然后将卷积后低层边界特征信息与输入的低层图像特征信息相乘，得到初始注意力特征信息，以便强调图像特征信息的重要性。由于初始注意力特征信息与输入的低层图像特征信息是具有同等重要性的信息，因此可以对其赋予相同的权重，也即将该初始注意力特征信息与输入的低层图像特征信息相加，最终得到注意力特征信息f，该注意力特征信息与输入的低层图像特征信息的大小相同，均为N*C*W*H*D，并且该注意力特征信息融合了超像素图像所提供的外观信息。
在一实施例中，利用注意力机制融合低层图像特征信息、以及低层边界特征信息的方法还可以有多种，比如，还可以直接将低层图像特征信息、以及低层边界特征信息进行相加，得到注意力特征信息。还可以仅对低层边界特征信息进行Sigmoid操作，并与低层图像特征信息相乘，然后将相乘的结果与低层图像特征信息相加，得到注意力特征信息。还可以仅对低层边界特征信息进行卷积操作，并与低层图像特征信息相乘，然后将相乘的结果与低层图像特征信息相加，得到注意力特征信息，等等。
S204、基于低层边界特征信息、以及注意力机制，对注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息。
在实际应用中，比如，如图4，由于图像编码器中包括多个特征通道数依次递增的图像编码单元，并且边界编码器中包括多个特征通道数依次递增的边界编码单元，因此，需要利用多个图像编码单元、多个边界编码单元、以及注意力机制，对输入的注意力特征信息、以及低层边界特征信息进行多次编码操作，才能得到多个中层图像特征信息、以及需要的高层图像特征信息。
在一实施例中，具体地，步骤“基于所述低层边界特征信息、以及注意力机制，对所述注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息”，可以包括：
分别对所述注意力特征信息、以及所述低层边界特征信息进行编码操作，得到中层图像特征信息、以及中层边界特征信息；
将所述中层图像特征信息、以及所述中层边界特征信息进行融合，得到目标注意力特征信息；
当所述中层图像特征信息所处的层级为预设层级时，对所述目标注意力特征信息进行编码操作，得到高层图像特征信息。
其中，中层图像特征信息所处的层级表示输出该中层图像特征信息的图像编码单元所在的层级。比如，当基于图像编码器中第二个图像编码单元A2输出中层图像特征信息时，就可以认为此时中层图像特征信息所处的层级是第二层；又比如，当基于图像编码器中第四个图像编码单元A4输出中层图像特征信息时，就可以认为此时中层图像特征信息所处的层级是第四层，等等。
在实际应用中，可以对注意力特征信息进行编码操作，得到中层图像特征信息，对低层边界特征信息进行编码操作，得到中层边界特征信息。然后利用注意力机制，将中层图像特征信息、以及中层边界特征信息进行融合，得到目标注意力特征信息。若图像编码器中包括五个图像编码单元，那么可以将预设层级设置为第四层，也即当中层图像特征信息所处的层级为第四层时，可以利用第五个图像编码单元A5，对第四层的目标注意力特征信息进行编码操作，得到高层图像特征信息。
在一实施例中，具体地，步骤“基于所述低层边界特征信息、以及注意力机制，对所述注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息”，还可以包括：
当所述中层图像特征信息所处的层级不为预设层级时，将所述中层图像特征信息更新为注意力特征信息，将所述中层边界特征信息更新为低层边界特征信息；
返回执行分别对所述注意力特征信息、以及所述低层边界特征信息进行编码操作，得到中层图像特征信息、以及中层边界特征信息的步骤。
在实际应用中，比如，若图像编码器中包括五个图像编码单元，那么可以将预设层级设置为第四层。若中层图像特征信息所处的层级为第二层时，说明此时中层图像特征信息所处的层级不是预设层级，那么需要进行循环操作，将第二层的中层图像特征信息更新为注意力特征信息，将第二层的中层边界特征信息更新为低层边界特征信息，并返回执行分别对注意力特征信息、以及低层边界特征信息进行编码操作，得到中层图像特征信息、以及中层边界特征信息的步骤，直至中层图像特征信息所处的层级为第四层，利用第五个图像编码单元A5，对第四层的目标注意力特征信息进行编码操作，得到高层图像特征信息。
其中，在图像编码器和边界编码器的每一个深度级别都进行了依次基于注意力模块的融合。对于给定的一个深度级别，注意力模块将来自图像编码器和边界编码器的图像分别作为输入，并输出一个新的图像作为图像编码器的下一层的输入。
在一实施例中，比如，如图4，图像编码器包括五个图像编码单元，边界编码器包括四个边界编码单元。因此，可以将注意力特征信息输入到第二个图像编码单元A2中进行编码，得到第二个图像编码单元A2对应的中层图像特征信息，并且将低层边界特征信息输入到第二个边界编码单元B2中进行编码，得到第二个边界编码单元B2对应的中层边界特征信息。然后将第二个图像编码单元A2对应的中层图像特征信息、以及第二个边界编码单元B2对应的中层边界特征信息，输入到注意力模块中进行融合，得到第二个图像编码单元A2对应的注意力特征信息。
然后进行循环操作，将第二个图像编码单元A2对应的注意力特征信息，输入到第三个图像编码单元A3中进行编码，得到第三个图像编码单元A3对应的中层图像特征信息，并且将第二个边界编码单元B2对应的中层边界特征信息，输入到第三个边界编码单元B3中进行编码，得到第三个边界编码单元B3对应的中层边界特征信息。然后将第三个图像编码单元A3对应的中层图像特征信息、以及第三个边界编码单元B3对应的中层边界特征信息，输入到注意力模块中进行融合，得到第三个图像编码单元A3对应的注意力特征信息。
然后将第三个图像编码单元A3对应的注意力特征信息，输入到第四个图像编码单元A4中进行编码，得到第四个图像编码单元A4对应的中层图像特征信息，并且将第三个边界编码单元B3对应的中层边界特征信息，输入到第四个边界编码单元B4中进行编码，得到第四个边界编码单元B4对应的中层边界特征信息。然后将第四个图像编码单元A4对应的中层图像特征信息、以及第四个边界编码单元B4对应的中层边界特征信息，输入到注意力模块中进行融合，得到第四个图像编码单元A4对应的注意力特征信息。最后将第四个图像编码单元A4对应的注意力特征信息，输入至第五个图像编码单元A5中进行编码，得到高层图像特征信息。
在一实施例中，在对图像进行编码操作的过程中，可以利用残差连接的方式，将多个卷积层级联的输出与输入相加，使得网络结构相对简单、训练参数少、训练时间短。还可以利用下采样操作，使得输出的特征信息适应下一个图像编码单元的尺寸。具体地，步骤“分别对所述注意力特征信息、以及所述低层边界特征信息进行编码操作，得到中层图像特征信息、以及中层边界特征信息”，可以包括：
对所述注意力特征信息进行卷积操作，得到卷积后注意力特征信息；
基于残差连接，融合所述卷积后注意力特征信息、以及所述注意力特征信息，得到提取后注意力特征信息；
对所述提取后注意力特征信息进行特征采样，得到中层图像特征信息；
对所述低层边界特征信息进行编码操作，得到中层边界特征信息。
在实际应用中，比如，进行编码操作的每个图像编码单元中都包括三个卷积层，它们的卷积核大小相等，均为3，并且卷积层之间插入了组标准化和ReLU激活函数，同时每个图像编码单元中都使用了残差跳跃连接。因此，可以利用图像编码单元中的卷积层对注意力特征信息进行卷积处理，得到卷积后注意力特征信息，并且基于残差连接，融合卷积后注意力特征信息、以及注意力特征信息，得到提取后注意力特征信息。其中，残差连接通过将多个卷积层级联的输出与输入相加的方式对图像特征进行提取，使得网络结构相对简单、训练参数少、训练时间短。为了使得输出的特征信息满足后续步骤所需的尺寸，图像编码单元中还可以包括下采样层，因此还可以利用下采样层对提取后注意力特征信息进行下采样，得到中层图像特征信息。
对注意力特征信息进行编码操作的图像编码单元、与对低层边界特征信息进行编码操作的边界编码单元的结构可以相同，相应的编码步骤也相同。也即可以利用边界编码单元中的卷积层对低层边界特征信息进行卷积处理，得到卷积后低层边界特征信息，并且基于残差连接，融合卷积后低层边界特征信息、以及低层边界特征信息，得到提取后低层边界特征信息，利用下采样层对提取后低层边界特征信息进行下采样，得到中层边界特征信息。
S205、基于低层图像特征信息、以及中层图像特征信息，对高层图像特征信息进行解码操作，得到目标特征信息。
在实际应用中，在基于图像编码器和边界编码器获取到高层图像特征信息之后，就可以将高层图像特征信息输入至图像解码器中，同时利用低层图像特征信息、以及中层图像特征信息，对高层图像特征信息进行解码，得到目标特征信息。
在一实施例中，图像分割模块中还包括图像解码器，该图像解码器中包括多个特征通道数依次递减的图像解码单元，且特征通道数相同的图像解码单元与图像编码单元相对应。具体地，步骤“基于所述低层图像特征信息、以及所述中层图像特征信息，对所述高层图像特征信息进行解码操作，得到目标特征信息”，可以包括：
基于图像分割模型的解码器、所述低层图像特征信息、以及所述中层图像特征信息，对所述高层图像特征信息进行解码操作，得到目标特征信息。
其中，图像编码器中包括多个特征通道数依次递增的图像编码单元，图像解码器中包括多个特征通道数依次递减的图像解码单元，特征通道数相同的图像解码单元与图像编码单元位于同一个层级上，并且二者之间是相对应的关系。比如，特征通道数为64的图像编码单元与特征通道数为64的图像解码单元位于同一个层级上，且二者相对应。
具体地，步骤“基于所述低层图像特征信息、以及所述中层图像特征信息，对所述高层图像特征信息进行解码操作，得到目标特征信息”，可以包括：
确定所述高层图像特征信息对应的编码图像特征信息，其中，所述编码图像特征信息包括编码操作得到的所述低层图像特征信息、或所述中层图像特征信息；
对所述高层图像特征信息、以及所述编码图像特征信息进行解码操作，得到解码后图像特征信息；
将所述解码后图像特征信息更新为高层图像特征信息；
返回执行对所述高层图像特征信息、以及所述编码图像特征信息进行解码操作，得到解码后图像特征信息的步骤，直至所述编码图像特征信息为低层图像特征信息，得到目标特征信息。
其中，由于浅层网络会保留输入图像中明显的内容信息，而内容信息会随着网络层的加深而减少，因此，为了在深层网络中添加内容信息，可以利用高层图像特征信息、以及编码图像特征信息形成更厚的特征，再进行解码的方法。
在实际应用中，比如，由于图像解码器中的图像解码单元，按照特征通道数依次递减的方式进行排列，而图像编码器中的图像编码单元，按照特征通道数依次递增的方式进行排列，因此第一层对应第一个图像编码单元A1、以及第四个图像解码单元C4；第二层对应第二个图像编码单元A2、以及第三个图像解码单元C3；第三层对应第三个图像编码单元A3、以及第二个图像解码单元C2；第四层对应第四个图像编码单元A4、以及第一个图像解码单元C1。
可以首先确定高层图像特征信息所对应的编码图像特征信息，该编码图像特征信息为第四层的中层图像特征信息，然后对高层图像特征信息、以及第四层的中层图像特征信息进行解码操作，得到第四层的解码后图像特征信息；然后对第四层的解码后图像特征信息、以及第三层的中层图像特征信息进行解码操作，得到第三层的解码后图像特征信息；然后对第三层的解码后图像特征信息、以及第二层的中层图像特征信息进行解码操作，得到第二层的解码后图像特征信息；然后对第二层的解码后图像特征信息、以及第一层的低层图像特征信息进行解码操作，得到第一层的解码后图像特征信息，此时编码图像特征信息为第一层的低层图像特征信息，也即此时获取到的第一层的解码后图像特征信息，就是目标特征信息。
在实际应用中，可以利用多个图像解码单元完成循环解码操作。比如，可以首先确定图像解码单元与图像编码单元之间的对应关系，并且每个图像编码单元都会输出一个图像特征信息，也即每个层级都对应着一个图像特征信息，其中，图像编码单元输出的图像特征信息可能为低层图像特征信息，也可能为中层图像特征信息。
如图4所示，为了对称，图像解码器除了使用用于上采样的转置卷积外，与图像编码器使用了相同的配置。图像解码器中包括四个图像解码单元和四个上采样层，其中，四个图像解码单元按照一定的顺序进行排列，并且图像解码单元的特征通道数依次递减。那么当高层图像特征信息输入到图像解码器中时，会直接输入到第一个图像解码单元C1中，也就是特征通道数最多的图像解码单元中，同时可以将与该第一个图像解码单元C1相对应的第四个图像编码单元A4所输出的中层图像特征信息，也输入到第一个图像解码单元C1中，并利用第一个图像解码单元C1对高层图像特征信息、以及第四个图像编码单元A4所输出的中层图像特征信息进行解码，得到第一个图像解码单元C1输出的解码后图像特征信息。
然后将第一个图像解码单元C1输出的解码后图像特征信息、以及第三个图像编码单元A3所输出的中层图像特征信息，同时输入到第二个图像解码单元C2中进行解码，得到第二个图像解码单元C2输出的解码后图像特征信息。再将第二个图像解码单元C2输出的解码后图像特征信息、以及第二个图像编码单元A2所输出的中层图像特征信息，同时输入到第三个图像解码单元C3中进行解码，得到第三个图像解码单元C3输出的解码后图像特征信息。再将第三个图像解码单元C3输出的解码后图像特征信息、以及第一个图像编码单元A1所输出的低层图像特征信息，同时输入到第四个图像解码单元C4中进行解码，得到目标特征信息。并且，图像解码单元内部的网络结构与图像编码单元相同，都包括三个卷积层，它们的卷积核大小相等，均为3，并且卷积层之间插入了组标准化和ReLU激活函数，同时每个图像解码单元中都使用了残差跳跃连接。
在一实施例中，该图像分割模型不仅限于上述的网络模型结构，还可以根据实际情况调整图像分割模型中图像解码器、图像编码器、以及边界编码器中单元的数量；还可以调整注意力机制中的融合方法；还可以通过对深度网络的结构进行更改，不局限于改进3DU-Net网络；还可以拓展到CT图像或者MR图像的其他解剖结构的分割。
S206、基于目标特征信息对待分割图像进行图像分割，得到待分割图像对应的感兴趣区域。
在实际应用中，由于待分割图像是医学影像，比如为心脏共振MR图像，那么该图像中需要识别的为左心房的位置，也即可以将左心房所在的区域称为感兴趣区域。当获取到目标特征信息后，就可以通过对目标特征信息进行概率预测、以及二值化处理等，对待分割图像进行分割，并获取到待分割图像中左心房所在的区域。
在一实施例中，可以通过对目标特征信息进行概率预测、以及二值化处理，得到需要的图像分割结果。具体地，步骤“基于所述目标特征信息对所述待分割图像进行图像分割，得到所述待分割图像对应的感兴趣区域”，可以包括：
对所述目标特征信息进行概率预测，得到所述待分割图像对应的概率预测图像；
基于预设阈值对所述概率预测图像进行二值化处理，得到所述待分割图像对应的图像分割结果；
根据所述图像分割结果，从所述待分割图像中确定出感兴趣区域。
在实际应用中，比如，可以对目标特征信息使用1*1*1卷积，再加上Softmax函数进行概率预测，得到待分割图像对应的概率预测图像，再通过预设阈值，将得到的概率预测图像进行二值化处理，得到待分割图像对应的图像分割结果，然后根据图像分割结果对待分割图像进行图像分割，确定出待分割图像中的感兴趣区域。
在一实施例中，由于步骤S201利用滑窗的方式获取到了多个待分割图像，每个待分割图像都得到了相应的图像分割结果，那么可以将所有图像分割结果都堆叠在一起，并将有重叠的位置取平均即可组成整个的分割掩码，得到初始待分割图像对应的目标图像分割结果，以便确定出初始待分割图像中的感兴趣区域。
在一实施例中，比如，如图8所示，客户端A接收到需要进行图像分割的待分割图像之后，可以将该待分割图像上传给服务端，服务端可以应用本图像分割方法对其进行图像分割，然后将得到的目标图像分割结果输出到客户端B。
在实际应用中，可以通过模型训练的方式获取到用于图像分割的图像分割模型。具体地，该图像分割方法还可以包括：
获取样本图像、以及所述样本图像对应的样本超像素图像；
基于预设图像分割模型、以及所述样本超像素图像，预测出所述样本图像对应的样本概率预测图像；
基于所述样本概率预测图像，对所述预设图像分割模型进行训练，得到用于图像分割的图像分割模型。
在实际应用中，比如，可以将Atrial Segmentation Challenge（ASC）2018数据集、以及Medical Segmentation Decathlon（MSD）里的胰腺肿瘤（含器官）数据集作为训练数据集，并从中获取样本图像。并且可以对样本图像使用SLIC算法得到该样本图像对应的初始超像素图像，再对该初始超像素图像取边界即可得到需要的样本超像素图像。由于该样本超像素图像可以通过现有的技术直接得到，因此不会为训练带来额外的开销。
然后可以将样本图像、以及样本超像素图像输入至预设图像分割模型中进行预测，得到样本图像对应的样本概率预测图像，然后利用损失函数对预设图像分割模型进行训练，得到用于图像分割的图像分割模型。其中，本申请实施例中的损失函数可以定义为相等权重的Dice损失函数与交叉熵损失函数之和。比如，可以利用xi表示输入图像，其对应的mask为yi，利用pi表示概率预测图像，利用s表示行的位置索引，利用t表示列的位置索引，那么Dice损失函数的公式可以如下：
Figure 11624DEST_PATH_IMAGE001
交叉熵损失函数的公式可以如下：
Figure 709190DEST_PATH_IMAGE002
针对图像解码器的输出，损失函数的公式可以如下：
Figure 20086DEST_PATH_IMAGE003
在一实施例中，可以应用两种医学图像分割评价指标对该图像分割模型的分割性能进行评价。一种是DSC（Dice相似度系数，Dice Similarity Coefficient），它可以有效地度量预测值与真实值之间的相似性；另一个是ASSD（平均对称表面距离，AverageSymmetric Surface Distance），它可以计算预测值与真实值之间的平均差。DSC评分与ASSD评分相辅相成，DSC评分越接近1，ASSD评分越接近0说明图像分割模型的分割性能越好。
如表1所示，当利用Atrial Segmentation Challenge（ASC）2018数据集进行训练时，本申请实施例提供的图像分割方法对应的DSC评分为92.12%，ASSD评分为1.62mm，Residual 3D U-Net模型对应的DSC评分为87.96%，ASSD评分为7.39mm，3D U-Net模型对应的DSC评分为85.76%，ASSD评分为6.30mm，根据该评价结果可知，本申请实施例提供的图像分割方法更优。
如表1所示，当利用Medical Segmentation Decathlon（MSD）里的胰腺肿瘤（含器官）数据集进行训练时，本申请实施例提供的图像分割方法对应的DSC评分为83.75%，ASSD评分为2.51mm，Residual 3D U-Net模型对应的DSC评分为82.10%，ASSD评分为3.63mm，3DU-Net模型对应的DSC评分为79.98%，ASSD评分为5.48mm，根据该评价结果可知，本申请实施例提供的图像分割方法更优。
表1
Figure 946453DEST_PATH_IMAGE004
其中，本申请实施例中利用超像素的边界提供的外观固有特性来指导图像分割。该方案采用额外的自下而上的分支从超像素图像中提取深层语义，并结合输入图像和超像素图像中的语义来产生空间注意力，从而引导图像编码器，以此达到高精度的图像分割。比如，利用该图像分割方法，可以更加精确地分割MR影像中的左心房和CT影像中的胰腺。本申请实施例中设计的把输入图像和输入图像对应的超像素图像结合起来的注意力机制，在保持轻量级的同时综合了残差学习、以及空间和通道注意力的优势，避免了高昂的计算成本。并且由于超像素图像可以通过现有的技术直接得到，因此不会为训练带来额外的开销。
由上可知，本申请实施例可以获取待分割图像、以及待分割图像对应的超像素图像，分别对待分割图像、以及超像素图像进行编码操作，得到待分割图像的低层图像特征信息、以及超像素图像的低层边界特征信息，将低层图像特征信息、以及低层边界特征信息进行融合，得到关注待分割图像的边界信息的注意力特征信息，基于低层边界特征信息、以及注意力机制，对注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息，基于低层图像特征信息、以及中层图像特征信息，对高层图像特征信息进行解码操作，得到目标特征信息，基于目标特征信息对待分割图像进行图像分割，得到待分割图像对应的感兴趣区域。该方案可以利用超像素的边界提供的外观固有特性来指导图像分割。该方案采用额外的自下而上的分支从超像素图像中提取深层语义，并结合输入图像和超像素图像中的语义来产生空间注意力，从而引导图像编码器，以此达到高精度的图像分割。本申请实施例中设计的把输入图像和输入图像对应的超像素图像结合起来的注意力机制，在保持轻量级的同时综合了残差学习、以及空间和通道注意力的优势，避免了高昂的计算成本。并且由于超像素图像可以通过现有的技术直接得到，因此不会为训练带来额外的开销。
根据前面实施例所描述的方法，以下将以该图像分割装置具体集成在电子设备中举例作进一步详细说明。
参考图3，本申请实施例的图像分割方法的具体流程可以如下：
S301、电子设备获取样本医学图像、以及样本超像素图像。
在实际应用中，比如，可以从Atrial Segmentation Challenge（ASC）2018数据集、以及Medical Segmentation Decathlon（MSD）里的胰腺肿瘤（含器官）数据集中获取3D样本医学图像，并对该3D样本医学图像使用SLIC算法得到该3D样本医学图像对应的3D样本超像素图像，其中，该样本医学图像可以为MR影像、CT影像等等。
S302、电子设备分别获取样本图像的低层图像特征信息、以及样本超像素图像的低层边界特征信息。
其中，如图4所示，图像编码器中包括五个图像编码单元和四个下采样层，其中，五个图像编码单元按照一定的顺序进行排列，并且图像编码单元的特征通道数依次递增，第一个图像编码单元A1的特征通道数是16；第二个图像编码单元A2的特征通道数是32；第三个图像编码单元A3的特征通道数是64；第四个图像编码单元A4的特征通道数是128；第五个图像编码单元A5的特征通道数是256。
其中，如图4所示，边界编码器中包括四个边界编码单元和三个下采样操作，其中，四个边界编码单元按照一定的顺序进行排列，并且边界编码单元的特征通道数依次递增，第一个边界编码单元B1的特征通道数是16；第二个边界编码单元B2的特征通道数是32；第三个边界编码单元B3的特征通道数是64；第四个边界编码单元B4的特征通道数是128。
在实际应用中，比如，如图4所示，可以将样本医学图像输入至第一个图像编码单元A1中进行编码，得到样本医学图像的低层图像特征信息。同时将样本超像素图像输入至第一个边界编码单元B1中进行编码，得到样本超像素图像的低层边界特征信息。又由于每个图像编码单元中都包括三个卷积层，它们的卷积核大小相等，均为3，并且卷积层之间插入了组标准化和ReLU激活函数，同时每个图像编码单元中都使用了残差跳跃连接。因此，可以利用图像编码单元中的卷积层对样本医学图像进行卷积处理，得到卷积后图像特征信息，并且基于残差连接，融合卷积后图像特征信息、以及样本医学图像，得到提取后图像特征信息。再对提取后图像特征信息进行下采样，得到样本图像的低层图像特征信息。其中，边界编码单元的网络结构与图像编码单元相同，因此，可以利用边界编码单元中的卷积层、残差连接、以及下采样，对样本超像素图像进行处理，得到样本超像素图像的低层边界特征信息。
S303、电子设备融合低层图像特征信息、以及低层边界特征信息，得到注意力特征信息。
在实际应用中，比如，如图5所示，注意力模块内部包括两个输入，分别是低层图像特征信息、以及低层边界特征信息，大小均为N*C*W*H*D。可以利用注意力模块对低层边界特征信息进行1*1*1卷积、以及Sigmoid，得到大小为N*1*W*H*D的卷积后低层边界特征信息，然后将卷积后低层边界特征信息与输入的低层图像特征信息相乘，得到初始注意力特征信息。再将该初始注意力特征信息与输入的低层图像特征信息相加，最终得到注意力特征信息，该注意力特征信息与输入的低层图像特征信息的大小相同，均为N*C*W*H*D，并且该注意力特征信息融合了样本超像素图像所提供的外观信息。
S304、电子设备基于图像编码器和边界编码器，对注意力特征信息和低层边界特征信息进行多次编码，得到中层图像特征信息和高层图像特征信息。
在实际应用中，比如，如图4，可以将注意力特征信息输入到第二个图像编码单元A2中进行编码，得到第二个图像编码单元A2对应的中层图像特征信息，并且将低层边界特征信息输入到第二个边界编码单元B2中进行编码，得到第二个边界编码单元B2对应的中层边界特征信息。然后将第二个图像编码单元A2对应的中层图像特征信息、以及第二个边界编码单元B2对应的中层边界特征信息，输入到注意力模块中进行融合，得到第二个图像编码单元A2对应的注意力特征信息。
然后进行循环操作，将第二个图像编码单元A2对应的注意力特征信息，输入到第三个图像编码单元A3中进行编码，得到第三个图像编码单元A3对应的中层图像特征信息，并且将第二个边界编码单元B2对应的中层边界特征信息，输入到第三个边界编码单元B3中进行编码，得到第三个边界编码单元B3对应的中层边界特征信息。然后将第三个图像编码单元A3对应的中层图像特征信息、以及第三个边界编码单元B3对应的中层边界特征信息，输入到注意力模块中进行融合，得到第三个图像编码单元A3对应的注意力特征信息。
然后将第三个图像编码单元A3对应的注意力特征信息，输入到第四个图像编码单元A4中进行编码，得到第四个图像编码单元A4对应的中层图像特征信息，并且将第三个边界编码单元B3对应的中层边界特征信息，输入到第四个边界编码单元B4中进行编码，得到第四个边界编码单元B4对应的中层边界特征信息。然后将第四个图像编码单元A4对应的中层图像特征信息、以及第四个边界编码单元B4对应的中层边界特征信息，输入到注意力模块中进行融合，得到第四个图像编码单元A4对应的注意力特征信息。最后将第四个图像编码单元A4对应的注意力特征信息，输入至第五个图像编码单元A5中进行编码，得到高层图像特征信息。
S305、电子设备对高层图像特征信息进行解码，得到目标特征信息。
在实际应用中，比如，可以将高层图像特征信息、以及第四个图像编码单元A4所输出的中层图像特征信息，输入到第一个图像解码单元C1中进行解码，得到第一个图像解码单元C1输出的解码后图像特征信息。然后将第一个图像解码单元C1输出的解码后图像特征信息、以及第三个图像编码单元A3所输出的中层图像特征信息，同时输入到第二个图像解码单元C2中，得到第二个图像解码单元C2输出的解码后图像特征信息。再将第二个图像解码单元C2输出的解码后图像特征信息、以及第二个图像编码单元A2所输出的中层图像特征信息，同时输入到第三个图像解码单元C3中，得到第三个图像解码单元C3输出的解码后图像特征信息。再将第三个图像解码单元C3输出的解码后图像特征信息、以及第一个图像编码单元A1所输出的低层图像特征信息，同时输入到第四个图像解码单元C4中，得到目标特征信息。
并且，图像解码单元内部的网络结构与图像编码单元相同，都包括三个卷积层，它们的卷积核大小相等，均为3，并且卷积层之间插入了组标准化和ReLU激活函数，同时每个图像解码单元中都使用了残差跳跃连接。
S306、电子设备对目标特征信息进行概率预测，得到样本医学图像对应的图像分割结果。
在实际应用中，比如，可以对该目标特征信息使用1*1*1卷积，再加上Softmax函数进行概率预测，得到概率预测图像，再通过预设阈值，将得到的概率预测图像进行二值化，得到样本医学图像的图像分割结果。
S307、电子设备基于图像分割结果训练初始图像分割模型，得到用于图像分割的图像分割模型。
在实际应用中，比如，获取到图像分割结果后，就可以利用损失函数，基于图像分割结果训练初始图像分割模型，并得到能够用于图像分割的图像分割模型。其中，本申请实施例中的损失函数可以定义为相等权重的Dice损失函数与交叉熵损失函数之和。比如，可以利用xi表示输入图像，其对应的mask为yi，利用pi表示概率预测图像，利用s表示行的位置索引，利用t表示列的位置索引，那么Dice损失函数的公式可以如下：
Figure 26405DEST_PATH_IMAGE005
交叉熵损失函数的公式可以如下：
Figure 130758DEST_PATH_IMAGE006
针对图像解码器的输出，损失函数的公式可以如下：
Figure 725688DEST_PATH_IMAGE007
S308、电子设备获取初始待分割图像。
S309、电子设备从初始待分割图像中，确定多个待分割图像，并获取每个待分割图像对应的超像素图像。
在实际应用中，比如，可以在初始待分割图像中确定出与训练阶段大小相同的区域，作为待分割图像。其中，区域的选取方式可以通过滑窗的方式进行，相邻待分割图像之间有重叠部分，并且使得所有待分割图像可以覆盖整体的初始待分割图像。
S310、电子设备将待分割图像和超像素图像输入到图像分割模型中，预测出每个待分割图像对应的分割结果。
S311、电子设备基于多个分割结果，确定初始待分割图像对应的目标图像分割结果。
在实际应用中，比如，得到每个待分割图像对应的分割结果后，就可以将所有结果堆叠在一起组成初始待分割图像对应的目标图像分割结果，其中，有重叠的部分结果取平均即可。
由上可知，本申请实施例可以通过电子设备获取样本医学图像、以及样本超像素图像，分别获取样本图像的低层图像特征信息、以及样本超像素图像的低层边界特征信息，融合低层图像特征信息、以及低层边界特征信息，得到注意力特征信息，基于图像编码器和边界编码器，对注意力特征信息和低层边界特征信息进行多次编码，得到中层图像特征信息和高层图像特征信息，对高层图像特征信息进行解码，得到目标特征信息，对目标特征信息进行概率预测，得到样本医学图像对应的图像分割结果，基于图像分割结果训练初始图像分割模型，得到用于图像分割的图像分割模型，获取初始待分割图像，从初始待分割图像中，确定多个待分割图像，并获取每个待分割图像对应的超像素图像，将待分割图像和超像素图像输入到图像分割模型中，预测出每个待分割图像对应的区域分割结果，基于多个区域分割结果，确定初始待分割图像对应的目标图像分割结果。该方案可以利用超像素的边界提供的外观固有特性来指导图像分割。该方案采用额外的自下而上的分支从超像素图像中提取深层语义，并结合输入图像和超像素图像中的语义来产生空间注意力，从而引导图像编码器，以此达到高精度的图像分割。本申请实施例中设计的把输入图像和输入图像对应的超像素图像结合起来的注意力机制，在保持轻量级的同时综合了残差学习、以及空间和通道注意力的优势，避免了高昂的计算成本。并且由于超像素图像可以通过现有的技术直接得到，因此不会为训练带来额外的开销。
为了更好地实施以上方法，相应的，本申请实施例还提供一种图像分割装置，该图像分割装置可以集成在电子设备中，参考图9，该图像分割装置包括获取模块91、第一编码模块92、融合模块93、第二编码模块94、解码模块95和分割模块96，如下：
获取模块91，用于获取待分割图像、以及所述待分割图像对应的超像素图像；
第一编码模块92，用于分别对所述待分割图像、以及所述超像素图像进行编码操作，得到所述待分割图像的低层图像特征信息、以及所述超像素图像的低层边界特征信息；
融合模块93，用于将所述低层图像特征信息、以及所述低层边界特征信息进行融合，得到关注所述待分割图像的边界信息的注意力特征信息；
第二编码模块94，用于基于所述低层边界特征信息、以及注意力机制，对所述注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息；
解码模块95，用于基于所述低层图像特征信息、以及所述中层图像特征信息，对所述高层图像特征信息进行解码操作，得到目标特征信息；
分割模块96，用于基于所述目标特征信息对所述待分割图像进行图像分割，得到所述待分割图像对应的感兴趣区域。
在一实施例中，所述第二编码模块94可以包括第一编码子模块、融合子模块和第二编码子模块，如下：
第一编码子模块，用于分别对所述注意力特征信息、以及所述低层边界特征信息进行编码操作，得到中层图像特征信息、以及中层边界特征信息；
融合子模块，用于将所述中层图像特征信息、以及所述中层边界特征信息进行融合，得到目标注意力特征信息；
第二编码子模块，用于当所述中层图像特征信息所处的层级为预设层级时，对所述目标注意力特征信息进行编码操作，得到高层图像特征信息。
在一实施例中，所述第二编码模块94可以具体用于：
当所述中层图像特征信息所处的层级不为预设层级时，将所述中层图像特征信息更新为注意力特征信息，将所述中层边界特征信息更新为低层边界特征信息；
返回执行分别对所述注意力特征信息、以及所述低层边界特征信息进行编码操作，得到中层图像特征信息、以及中层边界特征信息的步骤。
在一实施例中，所述第一编码子模块可以具体用于：
对所述注意力特征信息进行卷积操作，得到卷积后注意力特征信息；
基于残差连接，融合所述卷积后注意力特征信息、以及所述注意力特征信息，得到提取后注意力特征信息；
对所述提取后注意力特征信息进行特征采样，得到中层图像特征信息；
对所述低层边界特征信息进行编码操作，得到中层边界特征信息。
在一实施例中，所述融合模块93可以具体用于：
对所述低层边界特征信息进行卷积操作，得到卷积后低层边界特征信息；
融合所述卷积后低层边界特征信息、以及所述低层图像特征信息，得到初始注意力特征信息；
融合所述初始注意力特征信息、以及所述低层图像特征信息，得到关注所述待分割图像的边界信息的注意力特征信息。
在一实施例中，所述解码模块95可以具体用于：
确定所述高层图像特征信息对应的编码图像特征信息，其中，所述编码图像特征信息包括编码操作得到的所述低层图像特征信息、或所述中层图像特征信息；
对所述高层图像特征信息、以及所述编码图像特征信息进行解码操作，得到解码后图像特征信息；
将所述解码后图像特征信息更新为高层图像特征信息；
返回执行对所述高层图像特征信息、以及所述编码图像特征信息进行解码操作，得到解码后图像特征信息的步骤，直至所述编码图像特征信息为低层图像特征信息，得到目标特征信息。
在一实施例中，所述分割模块96可以具体用于：
对所述目标特征信息进行概率预测，得到所述待分割图像对应的概率预测图像；
基于预设阈值对所述概率预测图像进行二值化处理，得到所述待分割图像对应的图像分割结果；
根据所述图像分割结果，从所述待分割图像中确定出感兴趣区域。
在一实施例中，所述获取模块91可以具体用于：
获取初始待分割图像；
基于预设尺寸滑窗在所述初始待分割图像上的滑动操作，确定多个待分割图像；
获取每个待分割图像对应的超像素图像。
在一实施例中，所述第一编码模块92可以具体用于：
基于图像分割模型的编码器分别对所述待分割图像、以及所述超像素图像进行编码操作，得到所述待分割图像的低层图像特征信息、以及所述超像素图像的低层边界特征信息；
所述基于所述低层图像特征信息、以及所述中层图像特征信息，对所述高层图像特征信息进行解码操作，得到目标特征信息的步骤包括：
基于图像分割模型的解码器、所述低层图像特征信息、以及所述中层图像特征信息，对所述高层图像特征信息进行解码操作，得到目标特征信息。
在一实施例中，所述图像分割装置还可以包括样本获取模块、预测模块和训练模块，如下：
样本获取模块，用于获取样本图像、以及所述样本图像对应的样本超像素图像；
预测模块，用于基于预设图像分割模型、以及所述样本超像素图像，预测出所述样本图像对应的样本概率预测图像；
训练模块，用于基于所述样本概率预测图像，对所述预设图像分割模型进行训练，得到用于图像分割的图像分割模型。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本申请实施例可以通过获取模块91获取待分割图像、以及所述待分割图像对应的超像素图像，通过第一编码模块92分别对所述待分割图像、以及所述超像素图像进行编码操作，得到所述待分割图像的低层图像特征信息、以及所述超像素图像的低层边界特征信息，通过融合模块93将所述低层图像特征信息、以及所述低层边界特征信息进行融合，得到关注所述待分割图像的边界信息的注意力特征信息，通过第二编码模块94基于所述低层边界特征信息、以及注意力机制，对所述注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息，通过解码模块95基于所述低层图像特征信息、以及所述中层图像特征信息，对所述高层图像特征信息进行解码操作，得到目标特征信息，通过分割模块96基于所述目标特征信息对所述待分割图像进行图像分割，得到所述待分割图像对应的感兴趣区域。该方案可以利用超像素的边界提供的外观固有特性来指导图像分割。该方案采用额外的自下而上的分支从超像素图像中提取深层语义，并结合输入图像和超像素图像中的语义来产生空间注意力，从而引导图像编码器，以此达到高精度的图像分割。本申请实施例中设计的把输入图像和输入图像对应的超像素图像结合起来的注意力机制，在保持轻量级的同时综合了残差学习、以及空间和通道注意力的优势，避免了高昂的计算成本。并且由于超像素图像可以通过现有的技术直接得到，因此不会为训练带来额外的开销。
本申请实施例还提供一种电子设备，该电子设备可以集成本申请实施例所提供的任一种图像分割装置。
例如，如图10所示，其示出了本申请实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或者一个以上处理核心的处理器101、一个或一个以上计算机可读存储介质的存储器102、电源103和输入单元104等部件。本领域技术人员可以理解，图10中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器101是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器102内的软件程序和/或模块，以及调用存储在存储器102内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器101可包括一个或多个处理核心；优选的，处理器101可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器101中。
存储器102可用于存储软件程序以及模块，处理器101通过运行存储在存储器102的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器102可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器102还可以包括存储器控制器，以提供处理器101对存储器102的访问。
电子设备还包括给各个部件供电的电源103，优选的，电源103可以通过电源管理系统与处理器101逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源103还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元104，该输入单元104可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器101会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文本加载到存储器102中，并由处理器101来运行存储在存储器102中的应用程序，从而实现各种功能，如下：
获取待分割图像、以及待分割图像对应的超像素图像，分别对待分割图像、以及超像素图像进行编码操作，得到待分割图像的低层图像特征信息、以及超像素图像的低层边界特征信息，将低层图像特征信息、以及低层边界特征信息进行融合，得到关注待分割图像的边界信息的注意力特征信息，基于低层边界特征信息、以及注意力机制，对注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息，基于低层图像特征信息、以及中层图像特征信息，对高层图像特征信息进行解码操作，得到目标特征信息，基于目标特征信息对待分割图像进行图像分割，得到待分割图像对应的感兴趣区域。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本申请实施例可以获取待分割图像、以及待分割图像对应的超像素图像，分别对待分割图像、以及超像素图像进行编码操作，得到待分割图像的低层图像特征信息、以及超像素图像的低层边界特征信息，将低层图像特征信息、以及低层边界特征信息进行融合，得到关注待分割图像的边界信息的注意力特征信息，基于低层边界特征信息、以及注意力机制，对注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息，基于低层图像特征信息、以及中层图像特征信息，对高层图像特征信息进行解码操作，得到目标特征信息，基于目标特征信息对待分割图像进行图像分割，得到待分割图像对应的感兴趣区域。该方案采用额外的自下而上的分支从超像素图像中提取深层语义，并结合输入图像和超像素图像中的语义来产生空间注意力，从而引导图像编码器，以此达到高精度的图像分割。本申请实施例中设计的把输入图像和输入图像对应的超像素图像结合起来的注意力机制，在保持轻量级的同时综合了残差学习、以及空间和通道注意力的优势，避免了高昂的计算成本。并且由于超像素图像可以通过现有的技术直接得到，因此不会为训练带来额外的开销。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种电子设备，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种图像分割方法中的步骤。例如，该指令可以执行如下步骤：
获取待分割图像、以及待分割图像对应的超像素图像，分别对待分割图像、以及超像素图像进行编码操作，得到待分割图像的低层图像特征信息、以及超像素图像的低层边界特征信息，将低层图像特征信息、以及低层边界特征信息进行融合，得到关注待分割图像的边界信息的注意力特征信息，基于低层边界特征信息、以及注意力机制，对注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息，基于低层图像特征信息、以及中层图像特征信息，对高层图像特征信息进行解码操作，得到目标特征信息，基于目标特征信息对待分割图像进行图像分割，得到待分割图像对应的感兴趣区域。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种图像分割方法中的步骤，因此，可以实现本申请实施例所提供的任一种图像分割方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种图像分割方法、装置、存储介质和电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种图像分割方法，其特征在于，包括：
获取待分割图像、以及所述待分割图像对应的超像素图像，所述待分割图像是三维医学图像；
基于图像分割模型的编码器分别对所述待分割图像、以及所述超像素图像进行编码操作，得到所述待分割图像的低层图像特征信息、以及所述超像素图像的低层边界特征信息，所述图像分割模型通过Dice损失函数和交叉熵损失函数训练得到，所述编码器包括多个编码单元，所述编码单元包括若干卷积核大小相同的卷积层，且所述编码单元中使用残差跳跃连接；
对所述低层边界特征信息进行卷积操作，得到卷积后低层边界特征信息；
融合所述卷积后低层边界特征信息、以及所述低层图像特征信息，得到初始注意力特征信息；
融合所述初始注意力特征信息、以及所述低层图像特征信息，得到关注所述待分割图像的边界信息的注意力特征信息；
基于所述低层边界特征信息、以及注意力机制，对所述注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息；
对所述高层图像特征信息、与所述高层图像特征信息对应的编码图像特征信息进行解码操作，得到目标特征信息，其中，所述编码图像特征信息包括编码操作得到的所述低层图像特征信息、或所述中层图像特征信息；
基于所述目标特征信息对所述待分割图像进行图像分割，得到概率预测图像，并对所述概率预测图像进行二值化处理，得到所述待分割图像对应的感兴趣区域。
2.根据权利要求1所述的图像分割方法，其特征在于，基于所述低层边界特征信息、以及注意力机制，对所述注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息，包括：
分别对所述注意力特征信息、以及所述低层边界特征信息进行编码操作，得到中层图像特征信息、以及中层边界特征信息；
将所述中层图像特征信息、以及所述中层边界特征信息进行融合，得到目标注意力特征信息；
当所述中层图像特征信息所处的层级为预设层级时，对所述目标注意力特征信息进行编码操作，得到高层图像特征信息。
3.根据权利要求2所述的图像分割方法，其特征在于，基于所述低层边界特征信息、以及注意力机制，对所述注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息，还包括：
当所述中层图像特征信息所处的层级不为预设层级时，将所述中层图像特征信息更新为注意力特征信息，将所述中层边界特征信息更新为低层边界特征信息；
返回执行分别对所述注意力特征信息、以及所述低层边界特征信息进行编码操作，得到中层图像特征信息、以及中层边界特征信息的步骤。
4.根据权利要求2所述的图像分割方法，其特征在于，分别对所述注意力特征信息、以及所述低层边界特征信息进行编码操作，得到中层图像特征信息、以及中层边界特征信息，包括：
对所述注意力特征信息进行卷积操作，得到卷积后注意力特征信息；
基于残差连接，融合所述卷积后注意力特征信息、以及所述注意力特征信息，得到提取后注意力特征信息；
对所述提取后注意力特征信息进行特征采样，得到中层图像特征信息；
对所述低层边界特征信息进行编码操作，得到中层边界特征信息。
5.根据权利要求1所述的图像分割方法，其特征在于，对所述高层图像特征信息、与所述高层图像特征信息对应的编码图像特征信息进行解码操作，得到目标特征信息，包括：
确定所述高层图像特征信息对应的编码图像特征信息；
对所述高层图像特征信息、以及所述编码图像特征信息进行解码操作，得到解码后图像特征信息；
将所述解码后图像特征信息更新为高层图像特征信息；
返回执行对所述高层图像特征信息、以及所述编码图像特征信息进行解码操作，得到解码后图像特征信息的步骤，直至所述编码图像特征信息为低层图像特征信息，得到目标特征信息。
6.根据权利要求1所述的图像分割方法，其特征在于，基于所述目标特征信息对所述待分割图像进行图像分割，得到概率预测图像，并对所述概率预测图像进行二值化处理，得到所述待分割图像对应的感兴趣区域，包括：
对所述目标特征信息进行概率预测，得到所述待分割图像对应的概率预测图像；
基于预设阈值对所述概率预测图像进行二值化处理，得到所述待分割图像对应的图像分割结果；
根据所述图像分割结果，从所述待分割图像中确定出感兴趣区域。
7.根据权利要求1所述的图像分割方法，其特征在于，获取待分割图像、以及所述待分割图像对应的超像素图像，包括：
获取初始待分割图像；
基于预设尺寸滑窗在所述初始待分割图像上的滑动操作，确定多个待分割图像；
获取每个待分割图像对应的超像素图像。
8.根据权利要求1所述的图像分割方法，其特征在于，对所述高层图像特征信息、与所述高层图像特征信息对应的编码图像特征信息进行解码操作，得到目标特征信息，包括：
基于图像分割模型的解码器、所述低层图像特征信息、以及所述中层图像特征信息，对所述高层图像特征信息进行解码操作，得到目标特征信息。
9.根据权利要求1所述的图像分割方法，其特征在于，所述方法还包括：
获取样本图像、以及所述样本图像对应的样本超像素图像；
基于预设图像分割模型、以及所述样本超像素图像，预测出所述样本图像对应的样本概率预测图像；
基于所述样本概率预测图像，对所述预设图像分割模型进行训练，得到用于图像分割的图像分割模型。
10.一种图像分割装置，其特征在于，包括：
获取模块，用于获取待分割图像、以及所述待分割图像对应的超像素图像，所述待分割图像是三维医学图像；
第一编码模块，用于基于图像分割模型的编码器分别对所述待分割图像、以及所述超像素图像进行编码操作，得到所述待分割图像的低层图像特征信息、以及所述超像素图像的低层边界特征信息，所述图像分割模型通过Dice损失函数和交叉熵损失函数训练得到，所述编码器包括多个编码单元，所述编码单元包括若干卷积核大小相同的卷积层，且所述编码单元中使用残差跳跃连接；
融合模块，用于对所述低层边界特征信息进行卷积操作，得到卷积后低层边界特征信息；融合所述卷积后低层边界特征信息、以及所述低层图像特征信息，得到初始注意力特征信息；融合所述初始注意力特征信息、以及所述低层图像特征信息，得到关注所述待分割图像的边界信息的注意力特征信息；
第二编码模块，用于基于所述低层边界特征信息、以及注意力机制，对所述注意力特征信息进行多层编码操作，得到中层图像特征信息、以及高层图像特征信息；
解码模块，用于对所述高层图像特征信息、与所述高层图像特征信息对应的编码图像特征信息进行解码操作，得到目标特征信息，其中，所述编码图像特征信息包括编码操作得到的所述低层图像特征信息、或所述中层图像特征信息；
分割模块，用于基于所述目标特征信息对所述待分割图像进行图像分割，得到概率预测图像，并对所述概率预测图像进行二值化处理，得到所述待分割图像对应的感兴趣区域。
11.一种计算机存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1~9任一项所述的图像分割方法。
12.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至9任一项所述方法的步骤。
CN202010341419.9A 2020-04-27 2020-04-27 一种图像分割方法、装置、存储介质和电子设备 Active CN111260653B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010341419.9A CN111260653B (zh) 2020-04-27 2020-04-27 一种图像分割方法、装置、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010341419.9A CN111260653B (zh) 2020-04-27 2020-04-27 一种图像分割方法、装置、存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN111260653A CN111260653A (zh) 2020-06-09
CN111260653B true CN111260653B (zh) 2020-08-25

Family

ID=70953535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010341419.9A Active CN111260653B (zh) 2020-04-27 2020-04-27 一种图像分割方法、装置、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN111260653B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798426B (zh) * 2020-06-30 2022-09-06 天津大学 用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统
CN111951281B (zh) * 2020-08-10 2023-11-28 中国科学院深圳先进技术研究院 图像分割方法、装置、设备及存储介质
CN112101294B (zh) 2020-09-29 2022-08-09 支付宝(杭州)信息技术有限公司 针对图像识别模型的增强训练方法及装置
CN112330642B (zh) * 2020-11-09 2022-11-04 山东师范大学 基于双输入全卷积网络的胰腺图像分割方法及系统
CN112508989B (zh) * 2020-11-20 2024-03-01 腾讯科技（深圳）有限公司 一种图像处理方法、装置、服务器以及介质
CN112949838B (zh) * 2021-04-15 2023-05-23 陕西科技大学 基于四分支注意力机制的卷积神经网络及图像分割方法
CN113128583B (zh) * 2021-04-15 2022-08-23 重庆邮电大学 基于多尺度机制和残差注意力的医学图像融合方法及介质
CN113361567B (zh) * 2021-05-17 2023-10-31 上海壁仞智能科技有限公司 图像处理方法、装置、电子设备和存储介质
CN114140472B (zh) * 2022-02-07 2022-04-15 湖南大学 一种跨级信息融合医学图像分割方法
CN115170934B (zh) * 2022-09-05 2022-12-23 粤港澳大湾区数字经济研究院(福田) 一种图像分割方法、系统、设备及存储介质
CN116503399B (zh) * 2023-06-26 2024-03-22 广东电网有限责任公司湛江供电局 基于yolo-afps的绝缘子污闪检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636905A (zh) * 2018-12-07 2019-04-16 东北大学 基于深度卷积神经网络的环境语义建图方法
CN109919223A (zh) * 2019-03-05 2019-06-21 北京联合大学 基于深度神经网络的目标检测方法及装置
CN110120033A (zh) * 2019-04-12 2019-08-13 天津大学 基于改进的U-Net神经网络三维脑肿瘤图像分割方法
CN110298361A (zh) * 2019-05-22 2019-10-01 浙江省北大信息技术高等研究院 一种rgb-d图像的语义分割方法和系统
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN110648334A (zh) * 2019-09-18 2020-01-03 中国人民解放军火箭军工程大学 一种基于注意力机制的多特征循环卷积显著性目标检测方法
CN110930397A (zh) * 2019-12-06 2020-03-27 陕西师范大学 一种磁共振图像分割方法、装置、终端设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106157319B (zh) * 2016-07-28 2018-11-02 哈尔滨工业大学 基于卷积神经网络的区域和像素级融合的显著性检测方法
CN109035252B (zh) * 2018-06-29 2019-09-24 山东财经大学 一种面向医学图像分割的超像素方法
CN110222784B (zh) * 2019-06-13 2020-05-26 郑州轻工业学院 融合短时和长时深度特征的太阳能电池片缺陷检测方法
CN110992366B (zh) * 2019-11-29 2023-06-06 北京卫星信息工程研究所 一种图像语义分割方法、装置及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636905A (zh) * 2018-12-07 2019-04-16 东北大学 基于深度卷积神经网络的环境语义建图方法
CN109919223A (zh) * 2019-03-05 2019-06-21 北京联合大学 基于深度神经网络的目标检测方法及装置
CN110120033A (zh) * 2019-04-12 2019-08-13 天津大学 基于改进的U-Net神经网络三维脑肿瘤图像分割方法
CN110298361A (zh) * 2019-05-22 2019-10-01 浙江省北大信息技术高等研究院 一种rgb-d图像的语义分割方法和系统
US10482603B1 (en) * 2019-06-25 2019-11-19 Artificial Intelligence, Ltd. Medical image segmentation using an integrated edge guidance module and object segmentation network
CN110648334A (zh) * 2019-09-18 2020-01-03 中国人民解放军火箭军工程大学 一种基于注意力机制的多特征循环卷积显著性目标检测方法
CN110930397A (zh) * 2019-12-06 2020-03-27 陕西师范大学 一种磁共振图像分割方法、装置、终端设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ET-Net：A Generic Edge-aTtention Guidance Network for Medical Image Segmentation;Zhijie Zhang et al;《MICCAI 2019》;20191231;第442-450页 *
Pairwise Semantic Segmentation via Conjugate Fully Convolutional Network;Renzhen Wang et al;《MICCAI 2019》;20191231;第157-165页 *
基于GAN的城市环境图像语义分割;侯津京;《中国优秀硕士学位论文全文数据库信息科技辑》;20190115(第1期);第I138-4036页 *
结合超像素和U型全卷积网络的胰腺分割方法;曹正文 等;《计算机辅助设计与图形学学报》;20191031;第31卷(第10期);第1777-1785页 *

Also Published As

Publication number Publication date
CN111260653A (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
CN111260653B (zh) 一种图像分割方法、装置、存储介质和电子设备
Qin et al. U2-Net: Going deeper with nested U-structure for salient object detection
Chen et al. Multi-modal fusion network with multi-scale multi-path and cross-modal interactions for RGB-D salient object detection
EP3961500B1 (en) Medical image detection method based on deep learning, and related device
US20200311871A1 (en) Image reconstruction method and device
CN112232164B (zh) 一种视频分类方法和装置
CN110689599A (zh) 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
Wu et al. Convolutional reconstruction-to-sequence for video captioning
Xia et al. MC-Net: multi-scale context-attention network for medical CT image segmentation
An et al. Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model
CN113064968B (zh) 一种基于张量融合网络的社交媒体情感分析方法及系统
Wang et al. Ucl-dehaze: Towards real-world image dehazing via unsupervised contrastive learning
CN111754532A (zh) 图像分割模型搜索方法、装置、计算机设备及存储介质
CN110807379B (zh) 一种语义识别方法、装置、以及计算机存储介质
CN116129141B (zh) 医学数据处理方法、装置、设备、介质和计算机程序产品
CN111091010A (zh) 相似度确定、网络训练、查找方法及装置和存储介质
CN114282059A (zh) 视频检索的方法、装置、设备及存储介质
CN117437317A (zh) 图像生成方法、装置、电子设备、存储介质和程序产品
Xie et al. FFUNet: A novel feature fusion makes strong decoder for medical image segmentation
CN117633558A (zh) 基于视觉语言模型的多激励融合零样本病变检测方法
Qin et al. Virtual reality video image classification based on texture features
Li et al. OverSegNet: A convolutional encoder–decoder network for image over-segmentation
Ren et al. Medical image super-resolution based on semantic perception transfer learning
Itoh et al. Stable polyp‐scene classification via subsampling and residual learning from an imbalanced large dataset
Zhang et al. Chronic wounds image generator based on deep convolutional generative adversarial networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40023690

Country of ref document: HK