CN113689435B - 图像分割方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请涉及医疗科技技术领域，具体提供了一种图像分割方法、装置、电子设备及存储介质，其中，该方法包括：对原始图像进行特征提取，得到第一特征图；在对第一特征图进行下采样的过程中执行至少一次编码操作，得到至少一个第二特征图，至少一个第二特征图与至少一次编码操作一一对应；将第一特征图和至少一个第二特征图进行稠密连接，得到融合特征图；基于融合特征图对原始图像中的目标对象进行分割，得到目标对象分割图像。本申请实施例有利于提升图像分割的准确度。

Description

图像分割方法、装置、电子设备及存储介质

技术领域

本申请涉及机器学习技术领域，尤其涉及一种图像分割方法、装置、电子设备及存储介质。

背景技术

随着计算机视觉技术的兴起和发展，图像分割在数字医疗、自动驾驶等领域已经有了较为广泛的应用，尤其是在数字医疗领域，图像分割可以支持疾病辅助诊断，协助医护人员进行健康管理和远程会诊。目前针对医疗图像的处理，在编码阶段主要采用卷积操作进行特征提取，从像素级别分析，由于卷积核的大小和步长确定，这一定程度上限定了某一像素只能和周围小范围内的像素区域产生联系，提取出的特征对于病灶集中的医疗图像的分割是友好的，但是对于病灶分散的情况，有些病灶的位置就难以表征出来，从而使得分割的准确度较低。

发明内容

针对上述问题，本申请提供了一种图像分割方法、装置、电子设备及存储介质，有利于提升图像分割的准确度。

为实现上述目的，本申请实施例第一方面提供了一种图像分割方法，该方法包括：

对原始图像进行特征提取，得到第一特征图；

在对第一特征图进行下采样的过程中执行至少一次编码操作，得到至少一个第二特征图，至少一个第二特征图与至少一次编码操作一一对应；

将第一特征图和至少一个第二特征图进行稠密连接，得到融合特征图；

基于融合特征图对原始图像中的目标对象进行分割，得到目标对象分割图像。

结合第一方面，在一种可能的实施方式中，在对第一特征图进行下采样的过程中执行至少一次编码操作，得到至少一个第二特征图，包括以下步骤：

对第一特征图进行下采样，得到目标待编码特征图；

对目标待编码特征图执行第一次编码操作，得到至少一个第二特征图中的第一个第二特征图；

重复对上一次编码操作得到的第二特征图进行下采样，以及对下采样得到的待编码特征图执行本次编码操作的步骤，直到至少一次编码操作执行完毕，得到至少一个第二特征图中的第N个第二特征图，N为大于等于1的整数；

由第一个第二特征图至第N个第二特征图组成至少一个第二特征图。

结合第一方面，在一种可能的实施方式中，至少一次编码操作中的每次编码操作，包括以下步骤：

采用残差块对下采样得到的待编码特征图进行特征提取，得到第三特征图；

将第三特征图转换为待编码向量序列；

采用Transformer编码器对待编码序列进行编码，得到编码向量序列；

将编码向量序列转换为至少一个第二特征图中的第二特征图。

结合第一方面，在一种可能的实施方式中，至少一个第二特征图中的第二特征图的尺度不同，第一特征图与至少一个第二特征图中的第二特征图的尺度不同，将第一特征图和至少一个第二特征图进行稠密连接，得到融合特征图，包括以下步骤：

按照至少一次解码操作中每次解码操作的输入尺度，对第一特征图和至少一个第二特征图进行尺度归一化处理；

将经过尺度归一化处理的第一特征图和至少一个第二特征图合并，得到至少一个融合特征图。

结合第一方面，在一种可能的实施方式中，至少一个融合特征图为至少一次解码操作的输入，至少一个融合特征图与至少一次解码操作一一对应，基于融合特征图对原始图像中的目标对象进行分割，得到目标对象分割图像，包括以下步骤：

对至少一个融合特征图中的第一个融合特征图执行第一次解码操作，得到目标解码特征图；

对目标解码特征图进行上采样，得到第一个待合并特征图；

重复对至少一个融合特征图中的融合特征图执行解码操作，以及对解码操作得到的解码特征图进行上采样的步骤，直到至少一次解码操作执行完毕，得到与第一特征图尺度相同且未经过上采样的第N个待合并特征图；

基于第一个待合并特征图至第N个待合并特征图对原始图像中的目标对象进行分割，得到目标对象分割图像。

结合第一方面，在一种可能的实施方式中，至少一次解码操作中的每次解码操作，包括以下步骤：

将融合特征图转换为待解码向量序列；

采用Transformer解码器对待解码向量序列进行解码，得到解码向量序列；

将解码向量序列转换为第四特征图；

采用残差块对第四特征图进行特征提取，得到解码特征图。

本申请实施例第二方面提供了一种图像分割装置，该装置包括获取单元和处理单元；

获取单元，用于对原始图像进行特征提取，得到第一特征图；

处理单元，用于在对第一特征图进行下采样的过程中执行至少一次编码操作，得到至少一个第二特征图，至少一个第二特征图与至少一次编码操作一一对应；

处理单元，还用于将第一特征图和至少一个第二特征图进行稠密连接，得到融合特征图；

处理单元，还用于基于融合特征图对原始图像中的目标对象进行分割，得到目标对象分割图像。

本申请实施例第三方面提供了一种电子设备，该电子设备包括输入设备和输出设备，还包括处理器，适于实现一条或多条指令；以及，计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如下步骤：

对原始图像进行特征提取，得到第一特征图；

在对第一特征图进行下采样的过程中执行至少一次编码操作，得到至少一个第二特征图，至少一个第二特征图与至少一次编码操作一一对应；

将第一特征图和至少一个第二特征图进行稠密连接，得到融合特征图；

基于融合特征图对原始图像中的目标对象进行分割，得到目标对象分割图像。

本申请实施例第四方面提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如下步骤：

对原始图像进行特征提取，得到第一特征图；

在对第一特征图进行下采样的过程中执行至少一次编码操作，得到至少一个第二特征图，至少一个第二特征图与至少一次编码操作一一对应；

将第一特征图和至少一个第二特征图进行稠密连接，得到融合特征图；

基于融合特征图对原始图像中的目标对象进行分割，得到目标对象分割图像。

本申请的上述方案至少包括以下有益效果：本申请实施例通过对原始图像进行特征提取，得到第一特征图；在对第一特征图进行下采样的过程中执行至少一次编码操作，得到至少一个第二特征图，至少一个第二特征图与至少一次编码操作一一对应；将第一特征图和至少一个第二特征图进行稠密连接，得到融合特征图；基于融合特征图对原始图像中的目标对象进行分割，得到目标对象分割图像。应理解，在图像分割中，经过下采样得到的多个尺度的特征图包含信息的深浅程度是不一样的，即第一特征图和至少一个第二特征图的信息深浅度不同，相比现有方案中，简单地将层与层之间的特征进行捷径连接(Short-cut)，本方案对各层得到的特征图进行了稠密连接，这样得到的融合特征图实现了图像深层信息和浅层信息的融合，保证了图像原始信息的完整度，从而有利于图像全局特征的提取，不容易产生信息遗漏，进而有利于提升图像分割的准确度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种应用环境的示意图；

图2为本申请实施例提供的一种图像分割方法的流程示意图；

图3A为本申请实施例提供的一种神经网络的架构示意图；

图3B为本申请实施例提供的一种特征提取网络的结构示意图；

图3C为本申请实施例提供的一种编码器的结构示意图；

图3D为本申请实施例提供的一种解码器的结构示意图；

图4为本申请实施例提供的另一种图像分割方法的流程示意图；

图5为本申请实施例提供的一种图像分割装置的结构示意图；

图6为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本申请说明书、权利要求书和附图中出现的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，术语“第一”、“第二”和“第三”等是用于区别不同的对象，而并非用于描述特定的顺序。

本申请实施例提供一种图像分割方法，可基于图1所示的应用环境实施，请参见图1，该应用环境中包括图像采集设备和电子设备，图像采集设备和电子设备通过网络进行连接。其中，图像采集设备用于原始图像的采集，图像采集设备可以是智能手机、摄像机、车载摄像头等常见图像采集设备，也可以是CT造影(Computed Tomography，电子计算机断层扫描)设备、数字影像设备、MRI(Magnetic Resonance Imaging，磁共振成像)设备、眼底照相机等医疗图像采集设备。其中，电子设备中部署有基于改进的U-Net++神经网络，电子设备于接收图像采集设备采集的原始图像，调用上述基于改进的U-Net++神经网络执行本申请提供的图像分割方法。具体而言，本申请提供的图像分割方法会将下采样过程中得到的多尺度特征图进行稠密连接，以实现深层信息和浅层信息的融合，保证图像原始信息的完整度，从而在图像全局特征的提取上表现较好，对于目标对象(比如病灶)较为分散的图像，也能准确分割出目标对象的位置。

基于图1所示的应用环境，以下结合其他附图对本申请实施例提供的图像分割方法进行详细阐述。

请参见图2，图2为本申请实施例提供的一种图像分割方法的流程示意图，该方法应用于电子设备，如图2所示，包括步骤201-204：

201：对原始图像进行特征提取，得到第一特征图。

本申请实施例中，提出一种基于改进的U-Net++神经网络，基于U-Net++的基础结构，在下采样的编码器中融入Transformer编码器，以及在上采样的解码器中融入Transformer解码器，以将Transformer的自注意力机制引入U-Net++，并将每层编码器的输出与解码器进行稠密连接，以实现各层信息的融合。

请参见图3A，本申请实施例以三层架构对上述基于改进的U-Net++神经网络进行说明，如图3A所示，在下采样编码阶段该网络架构主要包括特征提取网络、第一编码器和第二编码器，在上采样解码阶段该网络架构主要包括第一解码器和第二解码器。对于图像采集设备采集的原始图像，采用特征提取网络对其进行特征提取，如图3B所示，特征提取网络采用两层恒等残差块进行特征提取，输入数据经过两次BN(Batch Norm，批量归一化)-ReLU(Rectified Linear Unit，线性激活函数)-Conv(Convolution，卷积)的处理，输出特征与直接映射部分得到的特征进行相加便得到上述第一特征图，该第一特征图与原始图像的尺度相同。其中，该原始图像可以是医疗图像，该医疗图像中可能包括分散的病灶。

202：在对第一特征图进行下采样的过程中执行至少一次编码操作，得到至少一个第二特征图，至少一个第二特征图与至少一次编码操作一一对应。

本申请实施例中，如图3A所示的两个编码器，则在下采样过程中执行两次编码操作，每次编码操作的输出为第二特征图，由此得到至少一个第二特征图。

示例性的，在对第一特征图进行下采样的过程中执行至少一次编码操作，得到至少一个第二特征图，包括以下步骤：

对第一特征图进行下采样，得到目标待编码特征图；

对目标待编码特征图执行第一次编码操作，得到至少一个第二特征图中的第一个第二特征图；

重复对上一次编码操作得到的第二特征图进行下采样，以及对下采样得到的待编码特征图执行本次编码操作的步骤，直到至少一次编码操作执行完毕，得到至少一个第二特征图中的第N个第二特征图，N为大于等于1的整数；

由第一个第二特征图至第N个第二特征图组成至少一个第二特征图。

具体的，目标待编码特征图是指对第一特征图进行下采样得到的特征图，在图3A所示的三层架构中，将执行两次编码操作，首先采用第一编码器对目标待编码特征图进行编码，则第一编码器的输出为至少一个第二特征图中的第一个第二特征图，再对第一个第二特征图进行下采样，得到又一个待编码特征图，采用第二编码器对该待编码特征图进行编码，则第二编码器的输出为至少一个第二特征图中的第二个第二特征图。这样重复对上一次编码操作得到的第二特征图进行下采样，对下采样得到的待编码特征图再次进行编码的步骤，直到得到最后一个编码器的输出，即至少一个第二特征图中的第N个第二特征图，如此便得到上述的至少一个第二特征图。

应理解，在不同的图像分割场景中，基于改进的U-Net++神经网络可以采用更多或更少的网络层，图3A所示的架构不应对本申请实施例造成限定。比如在医疗图像中，病灶表征通常比较细微，则可以采用更多层的架构，随着下采样和编码器的增加，更有利于提取出原始图像中更深层次的信息。

203：将第一特征图和至少一个第二特征图进行稠密连接，得到融合特征图。

本申请实施例中，由于至少一个第二特征图均是对第一特征图进行下采样和编码后得到的，因此，至少一个第二特征图中的每个第二特征图的尺度不同，至少一个第二特征图中的每个第二特征图与第一特征图的尺度也不同。稠密连接可参考稠密连接网络，是指将前面编码部分每一层的输出作为后面解码部分每一层的输入，有利于加强特征的传播和特征的复用，相比较层与层之间的Short-cut操作，稠密连接有利于避免在进行深层信息的连接时，浅层信息被丢弃的情况，从而能够保证图像原始信息的完整度。

示例性的，将第一特征图和至少一个第二特征图进行稠密连接，得到融合特征图，包括以下步骤：

按照至少一次解码操作中每次解码操作的输入尺度，对第一特征图和至少一个第二特征图进行尺度归一化处理；

将经过尺度归一化处理的第一特征图和至少一个第二特征图合并，得到至少一个融合特征图。

具体的，在图3A所示的架构中，存在与编码器数量相同的两个解码器，则上采样过程将执行两次解码操作，且两次解码操作的输入尺度是不同的，第一解码器的输入尺度与上述的第一个第二特征图的尺度相同，因此，按照第一解码器的输入尺度对特征提取网络的输出、第一编码器的输出和第二编码器的输出进行尺度归一化，对第二编码器输出的第二特征图进行填充，得到与第一个第二特征图尺度相同的特征图a，目标待编码特征图是与第一个第二特征图尺度相同的特征图，且是由第一特征图经过下采样得到，则可以将目标待编码特征图、第一个第二特征图相同和特征图a相加，得到融合特征图1。应理解，第二解码器的输入尺度与第一特征图的尺度相同，则按照第二解码器的输入尺度对特征提取网络的输出、第一编码器的输出和第二编码器的输出进行尺度归一化，对第二编码器输出的第二特征图进行填充，得到与第一特征图尺度相同的特征图b，对第一编码器输出的第一个第二特征图进行填充，得到与第一特征图尺度相同的特征图c，将第一特征图、特征图b和特征图c相加，得到融合特征图2，由此得到至少一个融合特征图。

该实施方式中，按照解码操作(或解码器)的输入尺度对特征提取网络的输出、第一编码器的输出和第二编码器的输出进行尺度归一化，再将尺度归一化后的所有特征图进行相加，得到融合特征图，由于融合特征图包含了图像深层信息和浅层信息，这就加强了深层信息和浅层信息的联系，有利于提升网络的鲁棒性。

204：基于融合特征图对原始图像中的目标对象进行分割，得到目标对象分割图像。

本申请实施例中，目标对象可以是自动驾驶中的车道线、路标，可以是医疗诊断中的病灶，还可以是物件缺陷检测中的缺陷，等等。

示例性的，基于融合特征图对原始图像中的目标对象进行分割，得到目标对象分割图像，包括以下步骤：

对至少一个融合特征图中的第一个融合特征图执行第一次解码操作，得到目标解码特征图；

对目标解码特征图进行上采样，得到第一个待合并特征图；

重复对至少一个融合特征图中的融合特征图执行解码操作，以及对解码操作得到的解码特征图进行上采样的步骤，直到至少一次解码操作执行完毕，得到与第一特征图尺度相同且未经过上采样的第N个待合并特征图；

基于第一个待合并特征图至第N个待合并特征图对原始图像中的目标对象进行分割，得到目标对象分割图像。

具体的，至少一个融合特征图为至少一次解码操作的输入，至少一个融合特征图与至少一次解码操作一一对应，比如融合特征图1为第一解码器的输入，融合特征图2为第二解码器的输入。第一个融合特征图可以是融合特征图1，目标解码特征图是指采用第一解码器对融合特征图1执行第一次解码操作输出的特征图，第一个待合并特征图是指对目标解码特征图进行上采样得到的特征图，其尺度与第二解码器的输出尺度相同。针对每次解码操作(或解码器)输出的解码特征图(除最后一个解码器输出的解码特征图外)，均对其进行上采样，这样重复对融合特征图进行解码，对解码特征图进行上采样的步骤，直到得到最后一个解码器的输出，即第N个待合并特征图，基于第一个待合并特征图至第N个待合并特征图对目标对象进行分割。

示例性的，基于第一个待合并特征图至第N个待合并特征图对原始图像中的目标对象进行分割，得到目标对象分割图像，包括以下步骤：

将所述第一个待合并特征图至第N个待合并特征图在通道维度上进行合并，得到待分割特征图；

基于所述待分割特征图对原始图像中的目标对象进行分割，得到目标对象分割图像。

应理解，通道维度上的合并是指将特征图堆叠在一起，以得到高维的待分割特征图，对于该待分割特征图采用1*1的卷积对其进行处理，以对待分割特征图进行降维和深度监督，利用降维后的待分割特征图进行目标对象的分割，得到与原始图像分辨率相同的目标对象分割图像。

示例性的，至少一次编码操作中的每次编码操作，包括以下步骤：

采用残差块对下采样得到的待编码特征图进行特征提取，得到第三特征图；

将第三特征图转换为待编码向量序列；

采用Transformer编码器对待编码序列进行编码，得到编码向量序列；

将编码向量序列转换为至少一个第二特征图中的第二特征图。

本申请实施例中，如图3C所示，每个编码器均采用残差块+Transformer编码器的结构，对于每次下采样得到的待编码特征图，经过包含一次BN-ReLU-Conv残差块的处理得到第三特征图，由于Transformer编码器的输入输出通常是序列，因此需要将第三特征图转换为待编码向量序列，比如将第三特征图中每行特征依次拼接。应理解，Transformer编码器由两个子层构成，自注意力层在对序列中每个向量进行编码时还会建立向量与序列中其他向量之间的联系，以加强图像中上下文之间的联系。自注意力层输出的特征再经过前馈层中前馈神经网络的处理，得到编码向量序列，编码向量经过转换得到编码器输出的第二特征图。

其中，自注意力层采用多头注意力机制计算待编码向量序列中每个向量的注意力向量，其公式表示如下：

其中，Q,K,V分别表示查询向量(query)矩阵、键向量(key)矩阵和值向量(value)矩阵，分别由构建的query向量、key向量和value向量计算得到，d表示待编码向量序列中每个向量的维度。

该实施方式中，基于U-Net++的基础结构，在编码器中引入Transformer编码器，以在编码过程中加强图像局部信息(上下文信息)之间的联系，相对提高了全局特征的提取能力，对目标对象较为分散的图像也有很好的分割效果。

示例性的，至少一次解码操作中的每次解码操作，包括以下步骤：

将融合特征图转换为待解码向量序列；

采用Transformer解码器对待解码向量序列进行解码，得到解码向量序列；

将解码向量序列转换为第四特征图；

采用残差块对第四特征图进行特征提取，得到解码特征图。

本申请实施例中，如图3D所示，与编码器对应的，每个解码器均采用Transformer解码器+残差块的结构，由于Transformer解码器的输入输出通常是序列，因此对于输入的融合特征图需要转换为待解码向量序列，再由Transformer解码器进行解码，得到解码向量序列，解码向量序列经过拼接转换得到第四特征图，第四特征图经过包含一次BN-ReLU-Conv残差块的处理得到解码器输出的解码特征图。应理解，Transformer解码器由三个子层构成，在注意力层和前馈层之间还有编码-解码注意力层，编码-解码注意力层用于关注Transformer解码器的输入序列。该实施方式中，基于U-Net++的基础结构，在解码器中引入Transformer解码器，同样有利于加强图像局部信息之间的联系。

可以看出，本申请实施例通过对原始图像进行特征提取，得到第一特征图；在对第一特征图进行下采样的过程中执行至少一次编码操作，得到至少一个第二特征图，至少一个第二特征图与至少一次编码操作一一对应；将第一特征图和至少一个第二特征图进行稠密连接，得到融合特征图；基于融合特征图对原始图像中的目标对象进行分割，得到目标对象分割图像。应理解，在图像分割中，经过下采样得到的多个尺度的特征图包含信息的深浅程度是不一样的，即第一特征图和至少一个第二特征图的信息深浅度不同，相比现有方案中，简单地将层与层之间的特征进行Short-cut，本方案对各层得到的特征图进行了稠密连接，这样得到的融合特征图实现了图像深层信息和浅层信息的融合，保证了图像原始信息的完整度，从而有利于图像全局特征的提取，不容易产生信息遗漏，进而有利于提升图像分割的准确度。

请参见图4，图4本申请实施例提供的另一种图像分割方法的流程示意图，如图4所示，包括步骤401-407：

401：对原始图像进行特征提取，得到第一特征图；

402：对第一特征图进行下采样，得到目标待编码特征图；

403：对目标待编码特征图执行第一次编码操作，得到第一个第二特征图；

404：重复对上一次编码操作得到的第二特征图进行下采样，以及对下采样得到的待编码特征图执行本次编码操作的步骤，直到至少一次编码操作执行完毕，得到第N个第二特征图，N为大于等于1的整数；

405：由第一个第二特征图至第N个第二特征图组成至少一个第二特征图；

406：将第一特征图和至少一个第二特征图进行稠密连接，得到融合特征图；

407：基于融合特征图对原始图像中的目标对象进行分割，得到目标对象分割图像。

其中，步骤401-407的具体实施方式在图2所示的实施例中已有相关说明，且能达到相同或相似的有益效果，为避免重复，此处不再赘述。

在本申请的一个实施方式中，本申请的方案还可以应用到数字医疗领域，比如通过接收医疗设备采集的医疗图像，通过本申请的图像分割方法对该医疗图像进行分割处理，得到最终的病灶分割图像，例如：患者头部肿瘤的分割图像、眼底血管的分割图像、眼底黄斑的分割图像，等等。由于通过本申请的图像分割方法可获取到病灶位置更为精准的病灶分割图像，即使位置较为分散的病灶也适用，这样可以为医生的诊断提供更为准确的依据，提高医生诊断的准确度。

基于上述图像分割方法实施例的描述，请参见图5，图5为本申请实施例提供的一种图像分割装置的结构示意图，如图5所示，该装置包括获取单元501和处理单元502；

获取单元501，用于对原始图像进行特征提取，得到第一特征图；

处理单元502，用于在对第一特征图进行下采样的过程中执行至少一次编码操作，得到至少一个第二特征图，至少一个第二特征图与至少一次编码操作一一对应；

处理单元502，还用于将第一特征图和至少一个第二特征图进行稠密连接，得到融合特征图；

处理单元502，还用于基于融合特征图对原始图像中的目标对象进行分割，得到目标对象分割图像。

可以看出，在图5所示的图像分割装置中，通过对原始图像进行特征提取，得到第一特征图；在对第一特征图进行下采样的过程中执行至少一次编码操作，得到至少一个第二特征图，至少一个第二特征图与至少一次编码操作一一对应；将第一特征图和至少一个第二特征图进行稠密连接，得到融合特征图；基于融合特征图对原始图像中的目标对象进行分割，得到目标对象分割图像。相比现有方案中，简单地将层与层之间的特征进行捷径连接(Short-cut)，本方案对各层得到的特征图进行了稠密连接，这样得到的融合特征图实现了图像深层信息和浅层信息的融合，保证了图像原始信息的完整度，从而有利于图像全局特征的提取，不容易产生信息遗漏，进而有利于提升图像分割的准确度。

在一种可能的实施方式中，在对第一特征图进行下采样的过程中执行至少一次编码操作，得到至少一个第二特征图方面，处理单元502具体用于：

对第一特征图进行下采样，得到目标待编码特征图；

对目标待编码特征图执行第一次编码操作，得到至少一个第二特征图中的第一个第二特征图；

重复对上一次编码操作得到的第二特征图进行下采样，以及对下采样得到的待编码特征图执行本次编码操作的步骤，直到至少一次编码操作执行完毕，得到至少一个第二特征图中的第N个第二特征图，N为大于等于1的整数；

由第一个第二特征图至第N个第二特征图组成至少一个第二特征图。

在一种可能的实施方式中，在执行至少一次编码操作中的每次编码操作方面，处理单元502具体用于：

采用残差块对下采样得到的待编码特征图进行特征提取，得到第三特征图；

将第三特征图转换为待编码向量序列；

采用Transformer编码器对待编码序列进行编码，得到编码向量序列；

将编码向量序列转换为至少一个第二特征图中的第二特征图。

在一种可能的实施方式中，在将第一特征图和至少一个第二特征图进行稠密连接，得到融合特征图方面，处理单元502具体用于：

按照至少一次解码操作中每次解码操作的输入尺度，对第一特征图和至少一个第二特征图进行尺度归一化处理；

将经过尺度归一化处理的第一特征图和至少一个第二特征图合并，得到至少一个融合特征图。

在一种可能的实施方式中，在基于融合特征图对原始图像中的目标对象进行分割，得到目标对象分割图像方面，处理单元502具体用于：

对至少一个融合特征图中的第一个融合特征图执行第一次解码操作，得到目标解码特征图；

对目标解码特征图进行上采样，得到第一个待合并特征图；

重复对至少一个融合特征图中的融合特征图执行解码操作，以及对解码操作得到的解码特征图进行上采样的步骤，直到至少一次解码操作执行完毕，得到与第一特征图尺度相同且未经过上采样的第N个待合并特征图；

基于第一个待合并特征图至第N个待合并特征图对原始图像中的目标对象进行分割，得到目标对象分割图像。

在一种可能的实施方式中，在执行至少一次解码操作中的每次解码操作方面，处理单元502具体用于：

将融合特征图转换为待解码向量序列；

采用Transformer解码器对待解码向量序列进行解码，得到解码向量序列；

将解码向量序列转换为第四特征图；

采用残差块对第四特征图进行特征提取，得到解码特征图。

根据本申请的一个实施例，图5所示的图像分割装置的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，基于图像分割装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。

根据本申请的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图4中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图5中所示的图像分割装置设备，以及来实现本申请实施例的图像分割方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。

基于上述方法实施例和装置实施例的描述，本申请实施例还提供一种电子设备。请参见图6，该电子设备至少包括处理器601、输入设备602、输出设备603以及计算机存储介质604。其中，电子设备内的处理器601、输入设备602、输出设备603以及计算机存储介质604可通过总线或其他方式连接。

计算机存储介质604可以存储在电子设备的存储器中，所述计算机存储介质604用于存储计算机程序，所述计算机程序包括程序指令，所述处理器601用于执行所述计算机存储介质604存储的程序指令。处理器601(或称CPU(Central Processing Unit，中央处理器))是电子设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。

在一个实施例中，本申请实施例提供的电子设备的处理器601可以用于进行一系列图像分割处理：

对原始图像进行特征提取，得到第一特征图；

在对第一特征图进行下采样的过程中执行至少一次编码操作，得到至少一个第二特征图，至少一个第二特征图与至少一次编码操作一一对应；

将第一特征图和至少一个第二特征图进行稠密连接，得到融合特征图；

基于融合特征图对原始图像中的目标对象进行分割，得到目标对象分割图像。

可以看出，在图6所示的电子设备中，通过对原始图像进行特征提取，得到第一特征图；在对第一特征图进行下采样的过程中执行至少一次编码操作，得到至少一个第二特征图，至少一个第二特征图与至少一次编码操作一一对应；将第一特征图和至少一个第二特征图进行稠密连接，得到融合特征图；基于融合特征图对原始图像中的目标对象进行分割，得到目标对象分割图像。相比现有方案中，简单地将层与层之间的特征进行捷径连接(Short-cut)，本方案对各层得到的特征图进行了稠密连接，这样得到的融合特征图实现了图像深层信息和浅层信息的融合，保证了图像原始信息的完整度，从而有利于图像全局特征的提取，不容易产生信息遗漏，进而有利于提升图像分割的准确度。

再一个实施例中，处理器601执行在对第一特征图进行下采样的过程中执行至少一次编码操作，得到至少一个第二特征图，包括以下步骤：

对第一特征图进行下采样，得到目标待编码特征图；

对目标待编码特征图执行第一次编码操作，得到至少一个第二特征图中的第一个第二特征图；

重复对上一次编码操作得到的第二特征图进行下采样，以及对下采样得到的待编码特征图执行本次编码操作的步骤，直到至少一次编码操作执行完毕，得到至少一个第二特征图中的第N个第二特征图，N为大于等于1的整数；

由第一个第二特征图至第N个第二特征图组成至少一个第二特征图。

再一个实施例中，处理器601执行至少一次编码操作中的每次编码操作，包括以下步骤：

采用残差块对下采样得到的待编码特征图进行特征提取，得到第三特征图；

将第三特征图转换为待编码向量序列；

采用Transformer编码器对待编码序列进行编码，得到编码向量序列；

将编码向量序列转换为至少一个第二特征图中的第二特征图。

再一个实施例中，至少一个第二特征图中的第二特征图的尺度不同，第一特征图与至少一个第二特征图中的第二特征图的尺度不同，处理器601执行将第一特征图和至少一个第二特征图进行稠密连接，得到融合特征图，包括以下步骤：

按照至少一次解码操作中每次解码操作的输入尺度，对第一特征图和至少一个第二特征图进行尺度归一化处理；

将经过尺度归一化处理的第一特征图和至少一个第二特征图合并，得到至少一个融合特征图。

再一个实施例中，至少一个融合特征图为至少一次解码操作的输入，至少一个融合特征图与至少一次解码操作一一对应，处理器601执行基于融合特征图对原始图像中的目标对象进行分割，得到目标对象分割图像，包括以下步骤：

对至少一个融合特征图中的第一个融合特征图执行第一次解码操作，得到目标解码特征图；

对目标解码特征图进行上采样，得到第一个待合并特征图；

重复对至少一个融合特征图中的融合特征图执行解码操作，以及对解码操作得到的解码特征图进行上采样的步骤，直到至少一次解码操作执行完毕，得到与第一特征图尺度相同且未经过上采样的第N个待合并特征图；

基于第一个待合并特征图至第N个待合并特征图对原始图像中的目标对象进行分割，得到目标对象分割图像。

再一个实施例中，处理器601至少一次解码操作中的每次解码操作，包括以下步骤：

将融合特征图转换为待解码向量序列；

采用Transformer解码器对待解码向量序列进行解码，得到解码向量序列；

将解码向量序列转换为第四特征图；

采用残差块对第四特征图进行特征提取，得到解码特征图。

示例性的，上述电子设备可以是电脑、独立的物理服务器，也可以是服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器，或者还可以是具有通信能力和运算能力的终端设备。电子设备包括但不仅限于处理器601、输入设备602、输出设备603以及计算机存储介质604。还可以包括内存、电源、应用客户端模块等。输入设备602可以是键盘、触摸屏、射频接收器等，输出设备603可以是扬声器、显示器、射频发送器等。本领域技术人员可以理解，所述示意图仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。

需要说明的是，由于电子设备的处理器601执行计算机程序时实现上述的图像分割方法中的步骤，因此上述图像分割方法的实施例均适用于该电子设备，且均能达到相同或相似的有益效果。

本申请实施例还提供了一种计算机存储介质(Memory)，所述计算机存储介质是电子设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括终端中的内置存储介质，当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器601加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的，还可以是至少一个位于远离前述处理器601的计算机存储介质。在一个实施例中，可由处理器601加载并执行计算机存储介质中存放的一条或多条指令，以实现上述有关图像分割方法的相应步骤。

示例性的，计算机存储介质的计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。

需要说明的是，由于计算机存储介质的计算机程序被处理器执行时实现上述的图像分割方法中的步骤，因此上述图像分割方法的所有实施例均适用于该计算机存储介质，且均能达到相同或相似的有益效果。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (6)

1.一种图像分割方法，其特征在于，所述方法包括以下步骤：

对原始图像进行特征提取，得到第一特征图；

在对所述第一特征图进行下采样的过程中执行至少一次编码操作，得到至少一个第二特征图，所述至少一个第二特征图与所述至少一次编码操作一一对应；

将所述第一特征图和所述至少一个第二特征图进行稠密连接，得到融合特征图；

基于所述融合特征图对所述原始图像中的目标对象进行分割，得到目标对象分割图像；

所述至少一次编码操作中的每次编码操作，包括以下步骤：

采用残差块对下采样得到的待编码特征图进行特征提取，得到第三特征图；

将所述第三特征图转换为待编码向量序列；

采用Transformer编码器对所述待编码向量序列进行编码，得到编码向量序列；

将所述编码向量序列转换为所述至少一个第二特征图中的第二特征图；

所述至少一个第二特征图中的第二特征图的尺度不同，所述第一特征图与所述至少一个第二特征图中的第二特征图的尺度不同，所述将所述第一特征图和所述至少一个第二特征图进行稠密连接，得到融合特征图，包括以下步骤：

按照至少一次解码操作中每次解码操作的输入尺度，对所述第一特征图和所述至少一个第二特征图进行尺度归一化处理；

将经过尺度归一化处理的所述第一特征图和所述至少一个第二特征图合并，得到至少一个融合特征图；

所述至少一个融合特征图为所述至少一次解码操作的输入，所述至少一个融合特征图与所述至少一次解码操作一一对应，所述基于所述融合特征图对所述原始图像中的目标对象进行分割，得到目标对象分割图像，包括以下步骤：

对所述至少一个融合特征图中的第一个融合特征图执行第一次解码操作，得到目标解码特征图；

对所述目标解码特征图进行上采样，得到第一个待合并特征图；

重复对所述至少一个融合特征图中的所述融合特征图执行解码操作，以及对解码操作得到的解码特征图进行上采样的步骤，直至所述至少一次解码操作执行完毕，得到与所述第一特征图尺度相同且未经过上采样的第N个待合并特征图；

基于所述第一个待合并特征图至所述第N个待合并特征图对所述原始图像中的目标对象进行分割，得到所述目标对象分割图像；

所述至少一次解码操作中的每次解码操作，包括以下步骤：

将所述融合特征图转换为待解码向量序列；

采用Transformer解码器对所述待解码向量序列进行解码，得到解码向量序列；

将所述解码向量序列转换为第四特征图；

采用残差块对所述第四特征图进行特征提取，得到解码特征图。

2.根据权利要求1所述的方法，其特征在于，所述在对所述第一特征图进行下采样的过程中执行至少一次编码操作，得到至少一个第二特征图，包括以下步骤：

对所述第一特征图进行下采样，得到目标待编码特征图；

对所述目标待编码特征图执行第一次编码操作，得到所述至少一个第二特征图中的第一个第二特征图；

重复对上一次编码操作得到的第二特征图进行下采样，以及对下采样得到的待编码特征图执行本次编码操作的步骤，直至所述至少一次编码操作执行完毕，得到所述至少一个第二特征图中的第N个第二特征图，N为大于等于1的整数；

由所述第一个第二特征图至所述第N个第二特征图组成所述至少一个第二特征图。

3.一种图像分割装置，其特征在于，所述装置包括获取单元和处理单元；

所述获取单元，用于对原始图像进行特征提取，得到第一特征图；

所述处理单元，用于在对所述第一特征图进行下采样的过程中执行至少一次编码操作，得到至少一个第二特征图，所述至少一个第二特征图与所述至少一次编码操作一一对应；

所述处理单元，还用于将所述第一特征图和所述至少一个第二特征图进行稠密连接，得到融合特征图；

所述处理单元，还用于基于所述融合特征图对所述原始图像中的目标对象进行分割，得到目标对象分割图像；

在执行至少一次编码操作中的每次编码操作方面，所述处理单元具体用于：

采用残差块对下采样得到的待编码特征图进行特征提取，得到第三特征图；

将所述第三特征图转换为待编码向量序列；

采用Transformer编码器对所述待编码向量序列进行编码，得到编码向量序列；

将所述编码向量序列转换为所述至少一个第二特征图中的第二特征图；

所述至少一个第二特征图中的第二特征图的尺度不同，所述第一特征图与所述至少一个第二特征图中的第二特征图的尺度不同，在将所述第一特征图和所述至少一个第二特征图进行稠密连接，得到融合特征图方面，所述处理单元具体用于：

按照至少一次解码操作中每次解码操作的输入尺度，对所述第一特征图和所述至少一个第二特征图进行尺度归一化处理；

所述至少一个融合特征图为所述至少一次解码操作的输入，所述至少一个融合特征图与所述至少一次解码操作一一对应，在基于所述融合特征图对所述原始图像中的目标对象进行分割，得到目标对象分割图像方面，所述处理单元具体用于：

对所述至少一个融合特征图中的第一个融合特征图执行第一次解码操作，得到目标解码特征图；

对所述目标解码特征图进行上采样，得到第一个待合并特征图；

重复对所述至少一个融合特征图中的所述融合特征图执行解码操作，以及对解码操作得到的解码特征图进行上采样的步骤，直至所述至少一次解码操作执行完毕，得到与所述第一特征图尺度相同且未经过上采样的第N个待合并特征图；

基于所述第一个待合并特征图至所述第N个待合并特征图对所述原始图像中的目标对象进行分割，得到所述目标对象分割图像；

在执行至少一次解码操作中的每次解码操作方面，所述处理单元具体用于：

将所述融合特征图转换为待解码向量序列；

采用Transformer解码器对所述待解码向量序列进行解码，得到解码向量序列；

将所述解码向量序列转换为第四特征图；

采用残差块对所述第四特征图进行特征提取，得到解码特征图。

4.根据权利要求3所述的装置，其特征在于，在对所述第一特征图进行下采样的过程中执行至少一次编码操作，得到至少一个第二特征图方面，所述处理单元具体用于：

对所述第一特征图进行下采样，得到目标待编码特征图；

对所述目标待编码特征图执行第一次编码操作，得到所述至少一个第二特征图中的第一个第二特征图；

重复对上一次编码操作得到的第二特征图进行下采样，以及对下采样得到的待编码特征图执行本次编码操作的步骤，直至所述至少一次编码操作执行完毕，得到所述至少一个第二特征图中的第N个第二特征图，N为大于等于1的整数；

由所述第一个第二特征图至所述第N个第二特征图组成所述至少一个第二特征图。

5.一种电子设备，包括输入设备和输出设备，其特征在于，还包括：

处理器，适于实现一条或多条指令；以及，

计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如权利要求1-2任一项所述的方法。

6.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如权利要求1-2任一项所述的方法。

Images