CN114581462A

CN114581462A - 一种图像分割方法、装置、设备和存储介质

Info

Publication number: CN114581462A
Application number: CN202210193522.2A
Authority: CN
Inventors: 曹琼; 杨玺; 马本腾; 陶大程
Original assignee: Jingdong Technology Information Technology Co Ltd
Current assignee: Jingdong Technology Information Technology Co Ltd
Priority date: 2022-03-01
Filing date: 2022-03-01
Publication date: 2022-06-03

Abstract

本发明实施例公开了一种图像分割方法、装置、设备和存储介质，可以应用于数字医疗领域中。该方法包括：获取待分割的目标图像；确定目标图像中的局部图像块以及与局部图像块尺度相匹配的全局图像块；将局部图像块和全局图像块输入至预设分割网络模型中进行图像分割处理，预设分割网络模型用于：对输入的局部图像块和全局图像块进行特征融合，并基于融合后的目标特征信息进行分割处理；根据预设分割网络模型的输出，确定目标图像对应的分割结果。通过本发明实施例的技术方案，可以保证图像分割的准确性。

Description

一种图像分割方法、装置、设备和存储介质

技术领域

本发明实施例涉及计算机技术，尤其涉及一种图像分割方法、装置、设备和存储介质。

背景技术

随着计算机技术和深度学习的快速发展，可以利用神经网络模型对高分辨率图像进行分割处理。例如，对三维医疗影像进行分割处理，以减少医生工作量，并为医生提供一个定量的参考用于治疗方案制定和手术指导。

目前，可以通过对高分辨率图像进行裁剪，获取图像中的局部图像块，并基于卷积神经网络模型对局部图像块进行分割处理。

然而，在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

由于卷积神经网络模型的卷积算子的感受野具有一定的局限性，从而卷积神经网络模型仅会关注到图像中少量的局部特征，无法获取全局特征，尤其是在处理纹理、形状和大小方面存在较大差异的目标结构时，利用现有的卷积神经网络模型无法有效保证图像分割的准确性。

发明内容

本发明实施例提供了一种图像分割方法、装置、设备和存储介质，以保证图像分割的准确性。

第一方面，本发明实施例提供了一种图像分割方法，包括：

获取待分割的目标图像；

确定所述目标图像中的局部图像块以及与所述局部图像块尺度相匹配的全局图像块；

将所述局部图像块和所述全局图像块输入至预设分割网络模型中进行图像分割处理，所述预设分割网络模型用于：对输入的所述局部图像块和所述全局图像块进行特征融合，并基于融合后的目标特征信息进行分割处理；

根据所述预设分割网络模型的输出，确定所述目标图像对应的分割结果。

第二方面，本发明实施例还提供了一种图像分割装置，包括：

目标图像获取模块，用于获取待分割的目标图像；

图像块确定模块，用于确定所述目标图像中的局部图像块以及与所述局部图像块尺度相匹配的全局图像块；

图像块输入模块，用于将所述局部图像块和所述全局图像块输入至预设分割网络模型中进行图像分割处理，所述预设分割网络模型用于：对输入的所述局部图像块和所述全局图像块进行特征融合，并基于融合后的目标特征信息进行分割处理；

分割结果确定模块，用于根据所述预设分割网络模型的输出，确定所述目标图像对应的分割结果。

第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的图像分割方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本发明任意实施例所提供的图像分割方法。

上述发明中的实施例具有如下优点或有益效果：

通过确定待分割的目标图像中的局部图像块以及与局部图像块尺度相匹配的全局图像块，从而获得保留有完整细节信息的局部图像块以及具有空间上下文信息和邻域依赖关系的全局图像块，并将局部图像块和全局图像块输入至预设分割网络模型中进行图像分割处理，该预设分割网络模型对输入的局部图像块和全局图像块进行特征融合，使得局部图像块所缺失的空间上下文信息和邻域依赖关系可以通过全局图像块得到补充，获得表达能力更加强大的目标特征信息，从而基于融合后的目标特征信息可以更加准确地进行分割处理，有效保证了图像分割的准确性。

附图说明

图1是本发明实施例提供的一种图像分割方法的流程图；

图2是本发明实施例所涉及的一种局部图像块和全局图块的确定示例；

图3是本发明实施例提供的一种图像分割方法的流程图；

图4是本发明实施例所涉及的一种预设分割网络模型的结构示例；

图5是本发明实施例所涉及的一种局部特征编码子模型和特征解码子模型的结构示例；

图6是本发明实施例提供的一种图像分割装置的结构示意图；

图7是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

图1为本发明实施例提供的一种图像分割方法的流程图，本实施例可适用于对高分辨率的图像进行分割的情况，尤其是可以用于对三维医疗影像进行分割的场景。该方法可以由图像分割装置来执行，该装置可以由软件和/或硬件的方式来实现，集成于电子设备中。如图1所示，该方法具体包括以下步骤：

S110、获取待分割的目标图像。

其中，目标图像可以是指具有高分辨率，比如千兆像素分辨率的二维图像或者三维图像。例如，目标图像可以为三维医疗影像。三维医疗影像可以包括但不限于：磁共振成像(Magnetic Resonance Imaging，MRI)、正电子发射断层扫描(Positron Emissiontomography，PET)、计算机断层扫描(Computer Tomography，CT)、锥形束CT或者三维超声成像。

S120、确定目标图像中的局部图像块以及与局部图像块尺度相匹配的全局图像块。

其中，局部图像块可以是指目标图像中的局部图像区域。局部图像块的分辨率与目标图像的原分辨率相同，以使局部图像块保留有完整的细节信息。全局图像块可以是指包含有局部图像块的空间上下文信息和邻域依赖关系的图像块。本实施例中的全局图像块对应的目标图像区域大于局部图像块对应的目标图像区域，以使全局图像块可以包含有局部图像块的空间上下文信息和邻域依赖关系。全局图像块的尺度可以大于或等于局部图像块的尺度。本实施例可以通过下采样方式缩小全局图像块的尺度，使得全局图像块的尺度等于局部图像块的尺度，以便避免增加计算资源的消耗，并且下采样所造成的局部细节信息的丢失可以通过局部图像块得到补充。

具体地，由于目标图像的高分辨率，无法直接输入至网络模型在进行目标图像的分割，从而可以通过采样方式，获取目标图像中的局部图像块，以便利用局部图像块进行目标图像的分割处理。例如，可以通过滑动窗口的方式，确定出目标图像中的每个局部图像块，并通过对目标图像直接进行下采样的方式，确定出与局部图像块尺度相匹配的全局图像块，比如，尺度大于或等于局部图像块的全局图像块。

示例性地，S120可以包括：对目标图像进行裁剪，确定参考图像块；对参考图像块进行再次裁剪，确定局部图像块；对参考图像块进行下采样，确定与局部图像块尺度相匹配的全局图像块。

其中，参考图像块可以是指目标图像中保留有原分辨率的局部图像块。本实施里中的参考图像块的尺度大于局部图像块的尺度，以使参考图像块可以包含有局部图像块的空间上下文信息和邻域依赖关系信息。

具体地，可以通过较大滑动窗口的方式，对目标图像进行裁剪，获得各个参考图像块，此时的参考图像块保持原分辨率。针对每个参考图像块，对参考图像块再次进行裁剪，获得该参考图像块对应的各个局部图像块，使得每个局部图像保持有原分辨率，即保留有完整的细节信息。通过对参考图像块进行下采样，可以获得与局部图像块尺度相匹配的全局图像块，以便降低计算资源的消耗。图2给出了一种局部图像块和全局图块的确定示例。如图2所示，目标图像为腹腔CT图像，可以对腹腔CT图像进行裁剪，获得尺度为D×H×W的参考图像块。对参考图像块进行再次裁剪，获得尺度为nD×nH×nW的局部图像块，其中，n为下采样倍率且0<n<1。为了避免训练模型时增加计算资源的消耗，此时可以对参考图像块进行下采样，将参考图像块的尺度从D×H×W缩小到nD×nH×nW，从而获得尺度为nD×nH×nW的全局图像块，从而局部图像块可以以原分辨率输入到模型中，保留了完整的细节信息，而局部图像块所缺失的空间上下文信息和邻域依赖关系可以在全局图像块中得到补充。

S130、将局部图像块和全局图像块输入至预设分割网络模型中进行图像分割处理，预设分割网络模型用于：对输入的局部图像块和全局图像块进行特征融合，并基于融合后的目标特征信息进行分割处理。

其中，预设分割网络模型可以是预先基于样本数据进行训练获得的，以保证图像分割的准确性。

具体地，可以将具有细节信息的局部图像块和具有更多语义信息的全局图像块输入至预先训练好的预设分割网络模型中。预设分割网络模型可以对输入的局部图像块和全局图像块进行特征提取，并将提取出的局部特征信息和全局特征信息进行特征融合，使得局部图像块所缺失的空间上下文信息和邻域依赖关系可以通过全局图像块得到补充，获得增强后的目标特征信息，即表达能力更加强大的目标特征信息，从而可以从目标特征信息中更加准确地解码出分割掩膜，即局部图像块对应的分割结果并进行输出，进而有效保证了图像分割的准确性。

S140、根据预设分割网络模型的输出，确定目标图像对应的分割结果。

具体地，通过将确定出的每个局部图像块和相应的全局图像块输入至预设分割网络模型中，并基于预设分割网络模型的输出，可以获得每个局部图像块对应的分割结果，并可以基于局部图像块的裁剪顺序将各个分割结果进行拼接，获得整个目标图像对应的分割结果，即分割掩膜。

本实施例的技术方案，通过确定待分割的目标图像中的局部图像块以及与局部图像块尺度相匹配的全局图像块，从而获得保留有完整细节信息的局部图像块以及具有空间上下文信息和邻域依赖关系的全局图像块，并将局部图像块和全局图像块输入至预设分割网络模型中进行图像分割处理，该预设分割网络模型对输入的局部图像块和全局图像块进行特征融合，使得局部图像块所缺失的空间上下文信息和邻域依赖关系可以通过全局图像块得到补充，获得表达能力更加强大的目标特征信息，从而基于融合后的目标特征信息可以更加准确地进行分割处理，有效保证了图像分割的准确性。

图3为本发明实施例提供的图像分割方法的流程图，本实施例在上述各实施例的基础上，预设分割网络模型包括：局部特征编码子模型、全局特征编码子模型、特征融合子模型和特征解码子模型，并在此基础上，对步骤“将局部图像块和全局图像块输入至预设分割网络模型中进行图像分割处理”进行进一步优化，其中与上述各实施例相同或相应的术语的解释在此不再赘述。

参见图3，本实施例提供的图像分割方法具体包括以下步骤：

S310、获取待分割的目标图像。

S320、确定目标图像中的局部图像块以及与局部图像块尺度相匹配的全局图像块。

S330、将局部图像块输入至局部特征编码子模型中，提取局部图像块对应的局部特征信息。

其中，局部特征编码子模型可以是用于提取局部图像块特征的编码器。本实施例中的局部特征信息可以以特征向量的形式进行表征。

具体地，图4给出了一种预设分割网络模型的结构示例。如图4所示，将局部图像块输入至局部特征编码子模型中进行特征提取，获得局部特征信息。

示例性地，局部特征编码子模型可以包括：预设数量的局部特征编码层。相应地，S330可以包括：将局部图像块输入至局部特征编码子模型中的第一个局部特征编码层中进行特征编码操作，并将第一个局部特征编码层输出的局部特征信息输入至下一局部特征编码层中；将最后一个局部特征编码层输出的局部特征信息作为局部图像块对应的局部特征信息。

具体地，图5给出了一种局部特征编码子模型和特征解码子模型的结构示例。如图5所示，预设分割网络模型的骨干网络可以为U型结构。图5中的局部特征编码子模型可以包括5个局部特征编码层(即图5中的5个虚线框)，第一个局部特征编码层可以由一个卷积层组成，后面的4个局部特征编码层可以由一个卷积层和池化层+卷积层组成，并且每个卷积层后面均跟随一个激活函数和实例归一化操作。对于三维医疗影像的分割处理，卷积层可以为一个步长为1的三维卷积，池化层可以为一个步长为2的三维卷积，用于对特征进行下采样并提升特征的通道数。图5中的特征的上方或者下方的数字代表特征的通道数。如图5所示，通过将局部图像块逐层输入至各个局部特征编码层中，一个尺度为nD×nH×nW的局部图像块可以被映射为一个维数为

的高维特征信息，即包含有完整细节的局部特征信息。其中，c为最后一个局部特征编码层中的最后一个卷积层的通道数，比如c＝288。

S340、将全局图像块输入至全局特征编码子模型中，提取全局图像块对应的全局特征信息。

其中，全局特征编码子模型可以是用于提取全局图像块特征的编码器。

具体地，如图4所示，将全局图像块输入至全局特征编码子模型中进行特征提取，获得全局特征信息。本实施例并不对步骤S330和S340的执行顺序进行限定，例如，步骤S330和S340可以同时执行，也可以先执行步骤S330后执行步骤S340，还可以先执行步骤S340后执行步骤S3330。

示例性地，全局特征编码子模型可以包括：预设数量的全局特征编码层。相应地，S340可以包括：将全局图像块输入至全局特征编码子模型中的第一个全局特征编码层中进行特征编码操作，并将第一个全局特征编码层输出的全局特征信息输入至下一全局特征编码层中；将最后一个全局特征编码层输出的全局特征信息作为全局图像块对应的全局特征信息。

具体地，本实施例中的全局特征编码子模型与局部特征编码子模型的网络结构相同，可参见上述局部特征编码子模型的相关描述。

S350、将局部特征信息和全局特征信息输入至特征融合子模型中，基于自注意力机制，对局部特征信息和全局特征信息进行特征融合，确定融合后的目标特征信息。

其中，特征融合子模型可以是指利用自注意力机制融合局部特征信息和全局特征信息的网络模型。

具体地，如图4所示，将局部特征信息和全局特征信息输入至特征融合子模型中，该特征融合子模型可以通过自注意力机制提取输入的局部特征信息与全局特征信息之间的长程相关依赖关系，有效缓解卷积架构中存在的归纳偏差，使得局部特征信息可以利用全局特征信息来增强自己的表达能力，获得增强后的目标特征信息。自注意力机制自带的长程相关特性使得模型可以利用全局的有效信息，并且自注意力机制可以保证模型关注到图像中多个具有区别性的部分，从而进一步保证图像分割的准确性。

示例性地，特征融合子模型可以包括：特征拼接模块和自注意力模块。相应地，S350可以包括：将局部特征信息和全局特征信息输入至特征拼接模块中，将局部特征信息和全局特征信息进行维度展开和拼接处理，确定拼接特征信息；将拼接特征信息输入至自注意力模块中进行注意力处理，确定目标特征信息。

具体地，将尺度均为

的局部特征信息z_l和全局特征信息z_n输入至特征拼接模块中，将z_l和z_n在后三维度(即长、宽和高)上进行展开分别得到尺度均为

的

和

并将

和

在第一维度上进行拼接获得尺度为

的拼接特征信息z_c。将拼接特征信息z_c输入自注意力模块中进行注意力处理，获得特征融合后尺度为

的目标特征信息z_t。

示例性地，自注意力模块包括：可以自注意力层和前馈层。相应地，将拼接特征信息输入至自注意力模块中进行注意力处理，确定目标特征信息，可以包括：将拼接特征信息输入至自注意力层中，对输入的拼接特征信息进行映射，确定查询特征向量和键值对特征向量，并基于查询特征向量和键值对特征向量进行注意力处理，获得注意力处理后的特征信息；将注意力处理后的特征信息输入至前馈层中引入非线性信息，确定目标特征信息。

具体地，自注意力层可以通过全连接层将拼接特征信息z_c映射为查询特征向量Q和一组键值对特征向量(包括键特征向量K和值特征向量V)。通过基于查询特征向量Q、键特征向量K和值特征向量V进行注意力处理，获得的注意力处理后的特征信息Attention(Q,K,V)可以表示如下：

其中，d是指拼接特征信息z_c的通道数，即2c。自注意力层可以从大量信息中有筛选出少量重要信息，并聚焦到这些重要信息上，忽略大多不重要的信息。权重越大越聚焦于其对应的值特征向量V上，即权重代表了信息的重要性。自注意力机制的具体过程可以归纳为两个过程：第一个过程是根据查询特征向量Q和键特征向量K确定权重系数，第二个过程根据权重系数对值特征向量V进行加权求和。其中，第一个过程又可以细分为两个阶段：第一个阶段根据查询特征向量Q和键特征向量K确定两者的相似性或者相关性；第二个阶段对第一阶段的原始分值进行归一化处理，获得归一化后的权重系数。

其中，前馈层可以由第一全连接层-激活函数-第二全连接层-层归一化的形式进行堆叠组成。前馈层的处理过程可以表示如下：

FFN(x)＝max(0，xW₁+b₁)W₂+b₂

其中，FFN(x)为前馈层输出的目标特征信息，W₁，W₂，b₁，b₂分别为第一全连接层和第二全连接层的权重和偏差，x为前馈层的输入，即注意力处理后的特征信息Attention(Q,K,V)，。自注意力层可以用于提取

和

之间的长程相关信息，使得

可以利用

的空间上下文信息来增强自己，前馈层用于将非线性信息引入至自注意模块中，进一步提高图像分割的准确性。

S360、将目标特征信息输入至特征解码子模型中进行特征解码，确定局部图像块对应的分割结果。

具体地，如图4所示，将尺度为

的目标特征信息z_t的重新展开为

的目标特征信息输入至特征解码子模型中进行特征解码，该特征解码子模型可以从目标特征信息中解码出分割掩膜结果。

示例性地，特征解码子模型与局部特征编码子模型的结构类似。例如，特征解码子模型可以包括：预设数量的特征解码层。特征解码层的数量与局部特征编码层的数量相等。其中，局部特征编码层与特征解码层一一对应，局部特征编码层的编码顺序与特征解码层的解码顺序相反，局部特征编码层与相应的特征解码层进行跳跃连接。

示例性地，S360可以包括：将目标特征信息以及与特征解码子模型中的第一个特征解码层进行跳跃连接的局部特征编码层所获得的局部特征信息输入至第一个特征解码层中进行特征解码操作，并将第一个特征解码层输出的解码特征信息以及与下一特征解码层进行跳跃连接的局部特征编码层所获得的局部特征信息输入至下一特征解码层中；基于最后一个特征编码层输出的解码特征信息，确定局部图像块对应的分割结果。

具体地，如图5所示，特征解码子模型包括5个特征解码层(即图5中的5个点虚线框)。前4个特征解码层可以由上采样层+卷积层和一个卷积层组成，最后一个特征解码层可以由一个卷积层组成，前4个特征解码层中的每个卷积层后面均跟随一个激活函数和实例归一化操作。对于三维医疗影像的分割处理，上采样层可以为步长为1的三维反卷积层。后4个局部特征编码层可以通过跳跃连接，将经过局部特征编码层中的卷积层后获得的局部特征信息传递至相应的特征解码层中，以便将详细信息添加到相应的特征解码层中进行解码，进一步提高分割的准确性。例如，将目标特征信息以及最后一个局部特征编码层中经过卷积层后获得的局部特征信息输入至第一个特征解码层中进行特征解码操作，第一个特征解码层对输入的目标特征信息进行上采样处理，并将上采样得到的特征与通过跳跃连接传递过来的局部特征信息进行拼接后再输入后续的卷积层，从而获得第一个特征解码层输出的解码特征信息。同理，依次进行解码操作，直到获得第4个特征解码层输出的解码特征信息。将第4个特征解码层输出的解码特征信息输入至第5个特征解码层中进行解码出最终的分割结果，并进行输出。

S370、根据预设分割网络模型的输出，确定目标图像对应的分割结果。

本实施例的技术方案，通过将局部特征信息和全局特征信息输入至特征融合子模型中，基于自注意力机制提取输入的局部特征信息与全局特征信息之间的长程相关依赖关系，有效缓解卷积架构中存在的归纳偏差，使得局部特征信息可以利用全局特征信息来增强自己的表达能力，获得增强后的目标特征信息，使得模型可以关注到图像中多个具有区别性的部分，从而进一步保证了图像分割的准确性。

在上述技术方案的基础上，预设分割网络模型的训练过程，可以包括如下步骤S301-S305：

S301、基于待训练的预设分割网络模型，确定样本图像对应的输出分割结果。

其中，待训练预设分割网络模型可以包括待训练的局部特征编码子模型、全局特征编码子模型、特征融合子模型和特征解码子模型。

具体地，可以基于确定目标图像中的局部图像块和全局图像块相同的方式，确定出样本图像块中的局部图像块和全局图像块，并将样本图像块中的局部图像块和全局图像块输入至待训练的预设分割网络模型中，并基于待训练的预设分割网络模型的输出，确定样本图像对应的输出分割结果。

S302、基于预设损失函数、输出分割结果以及样本图像对应的标签分割结果，确定训练误差。

其中，预设损失函数可以由一种损失函数组成，也可以由多种损失函数组合而成。例如，预设损失函数可以由交叉熵损失函数

和dice损失函数

组成。交叉熵损失函数

和dice损失函数

可以分别表示如下：

其中，N是分割目标的语义类别，L是每个语义通道中的体素数量，s是一位热码编码的分割标签，s′是经过柔性极大值确定的输出预测结果。S_l,n是第l个体素的语义是第n个语义类别的标准概率，其基于标签分割结果获得；s′_l,n是第l个体素的语义是第n个语义类别的预测概率，其基于输出分割结果获得。

S303、将训练误差反向传播至待训练的预设分割网络模型中的局部特征编码子模型、特征融合子模型和特征解码子模型中，迭代更新局部特征编码子模型、特征融合子模型和特征解码子模型中的权重。

具体地，通过反向传播的方式调整待训练的局部特征编码子模型、特征融合子模型和特征解码子模型中的权重，以最小化预设损失函数。

S304、基于局部特征编码子模型中迭代更新后的权重，对待训练的预设分割网络模型中的全局特征编码子模型中的权重进行迭代更新。

具体地，在训练的每次迭代时，可以利用指数滑动平均(Exponential MovingAverage，EMA)方式，基于局部特征编码子模型中迭代更新后的权重θ_l，更新全局特征编码子模型中的权重θ_n，无需利用反向传播的方式进行更新，从而在获取全局特征信息的同时可以不额外增加计算量，进而降低维护全局特征编码子模型的GPU显存开销。

示例性地，S304可以包括：基于指数滑动平均方式，根据局部特征编码子模型中当次迭代后的权重和待训练的预设分割网络模型中的全局特征编码子模型中上次迭代后的权重，确定全局特征编码子模型中当次迭代后的权重。

具体地，在训练的每次迭代时，通过反向传播方式更新局部特征编码子模型、特征融合子模型和特征解码子模型中的权重后，可以基于局部特征编码子模型中当次迭代后的权重

和待训练的预设分割网络模型中的全局特征编码子模型中上次迭代后的权重

确定出全局特征编码子模型中当次迭代后的权重

即

其中，i为迭代次数，α为超参数，用于控制权重更新的快慢。通过EMA方式，在训练的每一次迭代时，θ_n不需要进行梯度反传而是通过滑动平均θ_l的方式进行更新，从而降低了模型在特征提取阶段近一半的显存消耗，大大提升了显存的利用率。

S305、当达到预设收敛条件时，待训练的预设分割网络模型训练结束，获得预设分割网络模型。

具体地，在达到预设收敛条件时，比如迭代次数等于预设次数时，或者训练误差变化平稳时，确定待训练的预设分割网络模型训练结束，此时可以获得训练好的预设分割网络模型。本实施例通过指数滑动平均方法来更新全局特征编码子模型中的权重，从而可以在获取全局特征的同时节省模型在训练时的计算开销，让模型既具有卷积神经网络模型相对较低的计算量，同时还能拥有自注意力模型的长程相关特性，进一步提高了图像分割的准确性。

以下是本发明实施例提供的图像分割装置的实施例，该装置与上述各实施例的图像分割方法属于同一个发明构思，在图像分割装置的实施例中未详尽描述的细节内容，可以参考上述图像分割方法的实施例。

图6为本发明实施例提供的一种图像分割装置的结构示意图，本实施例可适用于对高分辨率的图像进行分割的情况，尤其是可以用于对三维医疗影像进行分割的场景。该装置具体包括：目标图像获取模块610、图像块确定模块620、图像块输入模块630和分割结果确定模块640。

其中，目标图像获取模块610，用于获取待分割的目标图像；图像块确定模块620，用于确定目标图像中的局部图像块以及与局部图像块尺度相匹配的全局图像块；图像块输入模块630，用于将局部图像块和全局图像块输入至预设分割网络模型中进行图像分割处理，预设分割网络模型用于：对输入的局部图像块和全局图像块进行特征融合，并基于融合后的目标特征信息进行分割处理；分割结果确定模块640，用于根据预设分割网络模型的输出，确定目标图像对应的分割结果。

可选地，图像块确定模块620，具体用于：

对目标图像进行裁剪，确定参考图像块；对参考图像块进行再次裁剪，确定局部图像块；对参考图像块进行下采样，确定与局部图像块尺度相匹配的全局图像块。

可选地，预设分割网络模型包括：局部特征编码子模型、全局特征编码子模型、特征融合子模型和特征解码子模型；

图像块输入模块630，包括：

局部特征提取单元，用于将局部图像块输入至局部特征编码子模型中，提取局部图像块对应的局部特征信息；

全局特征提取单元，用于将全局图像块输入至全局特征编码子模型中，提取全局图像块对应的全局特征信息；

特征融合单元，用于将局部特征信息和全局特征信息输入至特征融合子模型中，基于自注意力机制，对局部特征信息和全局特征信息进行特征融合，确定融合后的目标特征信息；

特征解码单元，用于将目标特征信息输入至特征解码子模型中进行特征解码，确定局部图像块对应的分割结果。

可选地，局部特征编码子模型包括：预设数量的局部特征编码层；

局部特征提取单元，具体用于：将局部图像块输入至局部特征编码子模型中的第一个局部特征编码层中进行特征编码操作，并将第一个局部特征编码层输出的局部特征信息输入至下一局部特征编码层中；将最后一个局部特征编码层输出的局部特征信息作为局部图像块对应的局部特征信息。

可选地，特征融合子模型包括：特征拼接模块和自注意力模块；

特征融合单元，包括：

特征拼接子单元，用于将局部特征信息和全局特征信息输入至特征拼接模块中，将局部特征信息和全局特征信息进行维度展开和拼接处理，确定拼接特征信息；

注意力处理子单元，用于将拼接特征信息输入至自注意力模块中进行注意力处理，确定目标特征信息。

可选地，自注意力模块包括：自注意力层和前馈层；

注意力处理子单元，具体用于：将拼接特征信息输入至自注意力层中，对输入的拼接特征信息进行映射，确定查询特征向量和键值对特征向量，并基于查询特征向量和键值对特征向量进行注意力处理，获得注意力处理后的特征信息；将注意力处理后的特征信息输入至前馈层中引入非线性信息，确定目标特征信息。

可选地，特征解码子模型包括：预设数量的特征解码层，其中，局部特征编码层与特征解码层一一对应，局部特征编码层的编码顺序与特征解码层的解码顺序相反，局部特征编码层与相应的特征解码层进行跳跃连接；

特征解码单元，具体用于：将目标特征信息以及与特征解码子模型中的第一个特征解码层进行跳跃连接的局部特征编码层所获得的局部特征信息输入至第一个特征解码层中进行特征解码操作，并将第一个特征解码层输出的解码特征信息以及与下一特征解码层进行跳跃连接的局部特征编码层所获得的局部特征信息输入至下一特征解码层中；基于最后一个特征编码层输出的解码特征信息，确定局部图像块对应的分割结果。

可选地，该装置还包括：预设分割网络模型训练模块，用于：

基于待训练的预设分割网络模型，确定样本图像对应的输出分割结果；基于预设损失函数、输出分割结果以及样本图像对应的标签分割结果，确定训练误差；将训练误差反向传播至待训练的预设分割网络模型中的局部特征编码子模型、特征融合子模型和特征解码子模型中，迭代更新局部特征编码子模型、特征融合子模型和特征解码子模型中的权重；基于局部特征编码子模型中迭代更新后的权重，对待训练的预设分割网络模型中的全局特征编码子模型中的权重进行迭代更新；当达到预设收敛条件时，待训练的预设分割网络模型训练结束，获得预设分割网络模型。

可选地，预设分割网络模型训练模块，具体用于：

基于指数滑动平均方式，根据局部特征编码子模型中当次迭代后的权重和待训练的预设分割网络模型中的全局特征编码子模型中上次迭代后的权重，确定全局特征编码子模型中当次迭代后的权重。

可选地，目标图像为三维医疗影像。

本发明实施例所提供的图像分割装置可执行本发明任意实施例所提供的图像分割方法，具备执行图像分割方法相应的功能模块和有益效果。

值得注意的是，上述图像分割装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

图7为本发明实施例提供的一种电子设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图7显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发实施例所提供的一种图像分割方法步骤，该方法包括：

获取待分割的目标图像；

确定目标图像中的局部图像块以及与局部图像块尺度相匹配的全局图像块；

将局部图像块和全局图像块输入至预设分割网络模型中进行图像分割处理，预设分割网络模型用于：对输入的局部图像块和全局图像块进行特征融合，并基于融合后的目标特征信息进行分割处理；

根据预设分割网络模型的输出，确定目标图像对应的分割结果。

当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的图像分割方法的技术方案。

本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的图像分割方法步骤，该方法包括：

获取待分割的目标图像；

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims

1.一种图像分割方法，其特征在于，包括：

获取待分割的目标图像；

2.根据权利要求1所述的方法，其特征在于，所述确定所述目标图像中的局部图像块以及与所述局部图像块尺度相匹配的全局图像块，包括：

对所述目标图像进行裁剪，确定参考图像块；

对所述参考图像块进行再次裁剪，确定局部图像块；

对所述参考图像块进行下采样，确定与所述局部图像块尺度相匹配的全局图像块。

3.根据权利要求1所述的方法，其特征在于，所述预设分割网络模型包括：局部特征编码子模型、全局特征编码子模型、特征融合子模型和特征解码子模型；

所述将所述局部图像块和所述全局图像块输入至预设分割网络模型中进行图像分割处理，包括：

将所述局部图像块输入至所述局部特征编码子模型中，提取所述局部图像块对应的局部特征信息；

将所述全局图像块输入至所述全局特征编码子模型中，提取所述全局图像块对应的全局特征信息；

将所述局部特征信息和所述全局特征信息输入至所述特征融合子模型中，基于自注意力机制，对所述局部特征信息和所述全局特征信息进行特征融合，确定融合后的目标特征信息；

将所述目标特征信息输入至所述特征解码子模型中进行特征解码，确定所述局部图像块对应的分割结果。

4.根据权利要求3所述的方法，其特征在于，所述局部特征编码子模型包括：预设数量的局部特征编码层；

所述将所述局部图像块输入至所述局部特征编码子模型中，提取所述局部图像块对应的局部特征信息，包括：

将所述局部图像块输入至所述局部特征编码子模型中的第一个局部特征编码层中进行特征编码操作，并将所述第一个局部特征编码层输出的局部特征信息输入至下一局部特征编码层中；

将最后一个局部特征编码层输出的局部特征信息作为所述局部图像块对应的局部特征信息。

5.根据权利要求3所述的方法，其特征在于，所述特征融合子模型包括：特征拼接模块和自注意力模块；

所述将所述局部特征信息和所述全局特征信息输入至所述特征融合子模型中，基于自注意力机制，对所述局部特征信息和所述全局特征信息进行特征融合，确定融合后的目标特征信息，包括：

将所述局部特征信息和所述全局特征信息输入至所述特征拼接模块中，将所述局部特征信息和所述全局特征信息进行维度展开和拼接处理，确定拼接特征信息；

将所述拼接特征信息输入至所述自注意力模块中进行注意力处理，确定目标特征信息。

6.根据权利要求5所述的方法，其特征在于，所述自注意力模块包括：自注意力层和前馈层；

所述将所述拼接特征信息输入至所述自注意力模块中进行注意力处理，确定目标特征信息，包括：

将所述拼接特征信息输入至所述自注意力层中，对输入的所述拼接特征信息进行映射，确定查询特征向量和键值对特征向量，并基于所述查询特征向量和所述键值对特征向量进行注意力处理，获得注意力处理后的特征信息；

将所述注意力处理后的特征信息输入至所述前馈层中引入非线性信息，确定目标特征信息。

7.根据权利要求3所述的方法，其特征在于，所述特征解码子模型包括：所述预设数量的特征解码层，其中，所述局部特征编码层与所述特征解码层一一对应，所述局部特征编码层的编码顺序与所述特征解码层的解码顺序相反，所述局部特征编码层与相应的所述特征解码层进行跳跃连接；

所述将所述目标特征信息输入至所述特征解码子模型中进行特征解码，确定所述局部图像块对应的分割结果，包括：

将所述目标特征信息以及与所述特征解码子模型中的第一个特征解码层进行跳跃连接的局部特征编码层所获得的局部特征信息输入至所述第一个特征解码层中进行特征解码操作，并将所述第一个特征解码层输出的解码特征信息以及与下一特征解码层进行跳跃连接的局部特征编码层所获得的局部特征信息输入至下一特征解码层中；

基于最后一个特征编码层输出的解码特征信息，确定所述局部图像块对应的分割结果。

8.根据权利要求3所述的方法，其特征在于，所述预设分割网络模型的训练过程，包括：

基于待训练的预设分割网络模型，确定样本图像对应的输出分割结果；

基于预设损失函数、所述输出分割结果以及所述样本图像对应的标签分割结果，确定训练误差；

将所述训练误差反向传播至所述待训练的预设分割网络模型中的局部特征编码子模型、特征融合子模型和特征解码子模型中，迭代更新所述局部特征编码子模型、所述特征融合子模型和所述特征解码子模型中的权重；

基于所述局部特征编码子模型中迭代更新后的权重，对所述待训练的预设分割网络模型中的全局特征编码子模型中的权重进行迭代更新；

当达到预设收敛条件时，所述待训练的预设分割网络模型训练结束，获得所述预设分割网络模型。

9.根据权利要求8所述的方法，其特征在于，所述基于所述局部特征编码子模型中迭代更新后的权重，对所述待训练的预设分割网络模型中的全局特征编码子模型中的权重进行迭代更新，包括：

基于指数滑动平均方式，根据所述局部特征编码子模型中当次迭代后的权重和所述待训练的预设分割网络模型中的全局特征编码子模型中上次迭代后的权重，确定所述全局特征编码子模型中当次迭代后的权重。

10.根据权利要求1-9任一项所述的方法，其特征在于，所述目标图像为三维医疗影像。

11.一种图像分割装置，其特征在于，包括：

目标图像获取模块，用于获取待分割的目标图像；

12.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的图像分割方法。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一所述的图像分割方法。