CN111681273A - 图像分割方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请提供一种图像分割方法、装置、电子设备及可读存储介质，涉及图像处理技术领域。该方法包括：通过特征提取模块对待分割图像进行不同尺度的特征提取，获得X个不同尺度的特征；取i为1至X‑1，通过空间注意力模块分别对第i个尺度的特征进行处理，获得各个尺度的特征对应的空间注意力图；通过金字塔池化模块对第X个尺度的特征进行深度特征提取，获得感兴趣区域特征；通过特征融合模块对空间注意力图以及感兴趣区域特征进行融合处理，获得融合特征；基于融合特征对待分割图像进行分割，获得分割结果。该方案中，通过将特征的关注度以及深度信息进行融合，可强化不同尺度信息的空间注意力，从而可针对不同尺度物体，实现较好的分割效果。

Description

图像分割方法、装置、电子设备及可读存储介质

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种图像分割方法、装置、电子设备及可读存储介质。

背景技术

图像分割是获得图像信息的重要途径，是进行图像理解的基础，图像分割技术是指将图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的计算。

现有技术中，可以对原始图像进行二值化处理，然后基于处理后的结果进行图像分割，但是二值化处理后的图像不能很好地保留隐藏在像素间的细小变化的信息，这使得在分割时不容易将这些信息识别出来，从而导致分割效果不好的问题。

发明内容

本申请实施例的目的在于提供一种图像分割方法、装置、电子设备及可读存储介质，用以改善现有技术中图像分割效果不好的问题。

第一方面，本申请实施例提供了一种图像分割方法，用于通过神经网络模型对图像进行分割，所述方法包括：

通过所述神经网络模型的特征提取模块对待分割图像进行不同尺度的特征提取，获得X个不同尺度的特征，X为大于或等于2的整数；

取i为1至X-1，通过所述神经网络模型的空间注意力模块分别对第i个尺度的特征进行处理，获得各个尺度的特征对应的空间注意力图，所述空间注意力图用于表征各个尺度的特征在所述待分割图像中的注意力权重；

通过所述神经网络模型的金字塔池化模块对第X个尺度的特征进行深度特征提取，获得感兴趣区域特征；

通过所述神经网络模型的特征融合模块对所述空间注意力图以及所述感兴趣区域特征进行融合处理，获得融合特征；

基于所述融合特征对所述待分割图像进行分割，获得分割结果。

在上述实现过程中，通过空间注意力模块获取特征在空间上的关注度，以及通过金字塔池化模块捕捉图像的深度信息，然后将这些信息进行融合，可强化不同尺度信息的空间注意力，实现整体轮廓与深度信息的融合，减少了细节信息的丢失，从而可针对不同尺度物体的分割都能达到较好的分割效果。

可选地，所述特征融合模块包括X-1个特征融合单元，所述通过所述神经网络模型的特征融合模块对所述空间注意力图以及所述感兴趣区域特征进行融合处理，获得融合特征，包括：

通过第X-1个特征融合单元将所述感兴趣区域特征与第X-1个空间注意力图进行融合处理，获得第X-1个融合特征；

依次取j为X-2到1，通过第j个特征融合单元将第j+1个融合特征与第j个空间注意力图进行融合处理，获得第j个融合特征，在j取1时，获得最后的融合特征。

在上述实现过程中，通过特征融合模块可以将待分割图像中的深层特征与浅层特征、以及各个不同尺度的特征进行充分融合，使得融合后的特征具有更全面的信息，进而可有效提高分割的准确性。

可选地，所述金字塔池化模块包括池化层、卷积层、上采样层和拼接层，所述通过所述神经网络模型的金字塔池化模块对第X个尺度的特征进行深度特征提取，获得感兴趣区域特征，包括：

通过所述池化层对所述第X个尺度的特征进行不同尺度的池化操作，获得多个不同尺度的特征；

通过所述卷积层分别对各个不同尺度的特征进行卷积操作，获得对应的卷积特征；

通过所述上采样层对各个卷积特征进行上采样操作，获得相同尺度的特征；

通过所述拼接层将各个相同尺度的特征进行拼接操作，获得感兴趣区域特征。

在上述实现过程中，通过金字塔池化模块的相关处理，可以捕捉图像的多尺度信息，有效解决图像分割准确率低、图像空间细节信息丢失的问题。

可选地，所述空间注意力模块包括X-1个空间注意力单元，每个空间注意力单元包括卷积层和sigmoid函数处理层，所述通过所述神经网络模型的空间注意力模块分别对第i个尺度的特征进行处理，获得各个尺度的特征对应的空间注意力图，包括：

通过第i个空间注意力单元中的卷积层分别对第i个尺度的特征进行特征提取，获得包含像素特征的特征集合；

通过所述第i个空间注意力单元中的sigmoid函数处理层对所述特征集合进行处理，获得对应的空间注意力图。

在上述实现过程中，通过空间注意力模块获得各个尺度特征对应的空间注意力图，从而可以加强各个尺度特征中有用信息的特征并抑制无用信息的特征，使得在进行图像分割时，可以有效提高分割精度。

可选地，所述特征提取模块包括X个特征提取单元，每个特征提取单元包括卷积层和最大值池化层，所述通过所述神经网络模型的特征提取模块对待分割图像进行不同尺度的特征提取，获得X个不同尺度的特征，包括：

通过第一个特征提取单元中的卷积层对所述待分割图像进行卷积处理，获得第一个卷积特征；

通过所述第一个特征提取单元中的最大值池化层对所述卷积特征进行下采样处理，获得第一个尺度的特征；

依次取k为2到X，通过第k个特征提取单元中的卷积层对第k个尺度的特征进行卷积处理，获得第k个卷积特征；

通过所述第k个特征提取单元中的最大值池化层对第k个卷积特征进行下采样处理，获得第k个尺度的特征，在k取X时，共获得X个不同尺度的特征。

在上述实现过程中，通过特征提取模块实现对图像中不同尺度的特征的提取，从而可利于后续对不同尺度物体的分割。

可选地，所述方法还包括：

获取训练图像，所述训练图像包括多个分割区域，所述多个分割区域为标签数据；

利用所述训练图像对所述神经网络模型中的网络参数进行训练，在预设损失函数小于预设值时，确定所述神经网络模型训练完成，获得训练好的神经网络模型。

可选地，所述待分割图像为带有标签的容器的图像，所述获得分割结果后，还包括：

基于所述分割结果，确定所述容器的标签区域；

对所述标签区域进行缺陷检测，获得表征所述容器的标签是否有损坏的检测结果。

在上述实现过程中，基于分割结果实现对容器的标签的检测，从而可快速实现对不合格的标签的识别，有利于针对大量的容器上的标签进行快速质检。

第二方面，本申请实施例提供了一种图像分割装置，用于通过神经网络模型对图像进行分割，所述装置包括：

尺度特征获取模块，用于通过所述神经网络模型的特征提取模块对待分割图像进行不同尺度的特征提取，获得X个不同尺度的特征，X为大于或等于2的整数；

空间注意力图获取模块，用于取i为1至X-1，通过所述神经网络模型的空间注意力模块分别对第i个尺度的特征进行处理，获得各个尺度的特征对应的空间注意力图，所述空间注意力图用于表征各个尺度的特征在所述待分割图像中的注意力权重；

深度特征获取模块，用于通过所述神经网络模型的金字塔池化模块对第X个尺度的特征进行深度特征提取，获得感兴趣区域特征；

融合特征获取模块，用于通过所述神经网络模型的特征融合模块对所述空间注意力图以及所述感兴趣区域特征进行融合处理，获得融合特征；

图像分割模块，用于基于所述融合特征对所述待分割图像进行分割，获得分割结果。

可选地，所述特征融合模块包括X-1个特征融合单元，所述融合特征获取模块，用于：

通过第X-1个特征融合单元将所述感兴趣区域特征与第X-1个空间注意力图进行融合处理，获得第X-1个融合特征；

依次取j为X-2到1，通过第j个特征融合单元将第j+1个融合特征与第j个空间注意力图进行融合处理，获得第j个融合特征，在j取1时，获得最后的融合特征。

可选地，所述金字塔池化模块包括池化层、卷积层、上采样层和拼接层，所述深度特征获取模块，用于：

通过所述池化层对所述第X个尺度的特征进行不同尺度的池化操作，获得多个不同尺度的特征；

通过所述卷积层分别对各个不同尺度的特征进行卷积操作，获得对应的卷积特征；

通过所述上采样层对各个卷积特征进行上采样操作，获得相同尺度的特征；

通过所述拼接层将各个相同尺度的特征进行拼接操作，获得感兴趣区域特征。

可选地，所述空间注意力模块包括X-1个空间注意力单元，每个空间注意力单元包括卷积层和sigmoid函数处理层，所述空间注意力图获取模块，用于：

通过第i个空间注意力单元中的卷积层分别对第i个尺度的特征进行特征提取，获得包含像素特征的特征集合；

通过所述第i个空间注意力单元中的sigmoid函数处理层对所述特征集合进行处理，获得对应的空间注意力图。

可选地，所述特征提取模块包括X个特征提取单元，每个特征提取单元包括卷积层和最大值池化层，所述尺度特征获取模块，用于：

通过第一个特征提取单元中的卷积层对所述待分割图像进行卷积处理，获得第一个卷积特征；

通过所述第一个特征提取单元中的最大值池化层对所述卷积特征进行下采样处理，获得第一个尺度的特征；

依次取k为2到X，通过第k个特征提取单元中的卷积层对第k个尺度的特征进行卷积处理，获得第k个卷积特征；

通过所述第k个特征提取单元中的最大值池化层对第k个卷积特征进行下采样处理，获得第k个尺度的特征，在k取X时，共获得X个不同尺度的特征。

可选地，所述装置还包括：

模型训练模块，用于获取训练图像，所述训练图像包括多个分割区域，所述多个分割区域为标签数据；利用所述训练图像对所述神经网络模型中的网络参数进行训练，在预设损失函数小于预设值时，确定所述神经网络模型训练完成，获得训练好的神经网络模型。

可选地，所述待分割图像为带有标签的容器的图像，所述装置还包括：

标签检测模块，用于基于所述分割结果，确定所述容器的标签区域；对所述标签区域进行缺陷检测，获得表征所述容器的标签是否有损坏的检测结果。

第三方面，本申请实施例提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。

第四方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。

本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种用于执行图像分割方法的电子设备的结构示意图；

图2为本申请实施例提供的一种图像分割方法的流程图；

图3为本申请实施例提供的一种神经网络模型的结构示意图；

图4为本申请实施例提供的一种金字塔池化模块的结构示意图；

图5为本申请实施例提供的一种图像分割装置的结构框图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述。

本申请实施例提供一种图像分割方法，用于通过神经网络模型对图像进行分割，通过神经网络模型中的空间注意力模块获取各个尺度特征的空间注意力图，从而可提高网络在前向推理中对于感兴趣区域的权重，压低了非感兴趣区域的响应，而金字塔池化模块可用于提取感兴趣区域特征，能够有效地提取不同尺度的感兴趣区域的特征，然后通过特征融合模块将这些特征进行有效地融合，从而能够强化不同尺度信息的空间注意力，实现整体轮廓与深度信息的融合，减少了细节信息的丢失，从而可针对不同尺度物体的分割都能达到较好的分割效果。

请参照图1，图1为本申请实施例提供的一种用于执行图像分割方法的电子设备的结构示意图，所述电子设备可以包括：至少一个处理器110，例如CPU，至少一个通信接口120，至少一个存储器130和至少一个通信总线140。其中，通信总线140用于实现这些组件直接的连接通信。其中，本申请实施例中设备的通信接口120用于与其他节点设备进行信令或数据的通信。存储器130可以是高速RAM存储器，也可以是非易失性的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器130可选的还可以是至少一个位于远离前述处理器的存储装置。存储器130中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器110执行时，电子设备执行下述图2所示方法过程，例如，存储器130可用于存储神经网络模型，处理器110在进行图像分割时，从存储器130中调用神经网络模型，然后利用神经网络模型对图像进行分割，获得分割结果。

可以理解，图1所示的结构仅为示意，所述电子设备还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

请参照图2，图2为本申请实施例提供的一种图像分割方法的流程图，该方法包括如下步骤：

步骤S110：通过神经网络模型的特征提取模块对待分割图像进行不同尺度的特征提取，获得X个不同尺度的特征。

待分割图像可以是指任意物体的图像，在本申请实施例提供的应用场景中，为了对酒瓶或水瓶上的标签进行缺陷检测，待分割图像可以是指酒瓶或水瓶的图像，该图像可以通过摄像头采集获得，可以是静态图像也可以是动态图像，摄像头在采集获得待分割图像后，可以将待分割图像发送至电子设备，以通过电子设备利用神经网络模型对待分割图像进行分割，获得标签区域，从而可对标签区域进行缺陷检测。

其中，本申请实施例提供的图像分割方法用于通过神经网络模型对图像进行分割，神经网络模型包括特征提取模块、空间注意力模块、金字塔池化模块和特征融合模块，这些模块可以理解为神经网络模型中的网络层结构，各个网络层依次连接，上一网络层的输出数据作为下一网络层的输入数据。

电子设备在获得待分割图像后，将待分割图像输入神经网络模型的特征提取模块，特征提取模块用于对待分割图像进行不同尺度的特征提取，在具体的实现过程中，特征提取模块可以包括多个特征提取单元，每个特征提取单元用于输出一个尺度的特征，在特征提取单元包括X个时，可输出X个不同尺度的特征，X为大于或等于2的整数。其中，各个特征提取单元的网络深度不同，各个特征提取单元的网络深度可依据输入输出的顺序或者特征提取的顺序由浅至深，各个特征提取单元依次进行特征提取，输出的特征的尺度由小到大。网络深度较浅的特征提取单元提取的特征较多的关注全局信息，网络深度较深的特征提取单元提取的特征较多的关注更细小的特征，这样接口获得各个不同尺度的特征。

另外，本申请实施例中的特征的表现形式包括但不限于：特征图、特征向量或特征矩阵等。

上述中的不同尺度可以理解为不同尺寸，如第一个特征提取单元将输入的待分割图像进行特征提取后，输出尺寸为待分割图像的1/2的第一特征图，然后第二个特征提取单元继续对1/2的第一特征图进行特征提取，输出原图的1/4的第二特征图，如此，可通过该方式，获得X个不同尺度的特征。

步骤S120：取i为1至X-1，通过所述神经网络模型的空间注意力模块分别对第i个尺度的特征进行处理，获得各个尺度的特征对应的空间注意力图。

空间注意力模块用于对X-1个尺度的特征进行处理，获得对应的空间注意力图，如空间注意力模块对上述的第一特征图进行处理，获得对应的第一空间注意力图，对第二特征图进行处理，获得对应的第二空间注意力图，如此可获得X-1个空间注意力图。

在具体实现过程中，空间注意力模块的作用为提高图像中感兴趣区域的权重，压低非感兴趣区域的响应，也即空间注意力模块用于指导图像分割的关注区域，以更好地将图像中的感兴趣区域分割出来。

也就是说，空间注意力图用于表征各个尺度的特征在待分割图像中的注意力权重，注意力权重表征待分割区域中不同区域的关注度。

所以，通过空间注意力模块对各个尺度的特征进行处理，可以将待分割图像中感兴趣区域的特征进行识别，以便于后续进行分割。

步骤S130：通过所述神经网络模型的金字塔池化模块对第X个尺度的特征进行深度特征提取，获得感兴趣区域特征。

金子塔池化模块可以对第X个尺度的特征从不同角度进行特征提取，然后再进行融合，获得感兴趣区域特征，这样可以通过金字塔池化模块对输入的待分割图像进行多角度的特征提取，可以有效提高分割精度。

由于第X个尺度的特征是最后一个经过提取的特征，其包含的语义信息已经很丰富了，而金字塔池化模块可以进一步将不同分辨率的语义进行融合，从而可有效结合语义信息进行更好地分割。

步骤S140：通过所述神经网络模型的特征融合模块对所述空间注意力图以及所述感兴趣区域特征进行融合处理，获得融合特征。

特征融合模块用于对空间注意力图以及感兴趣区域特征进行融合处理，在具体的实现过程中，进行特征融合的方式可以有多种，例如，若获得三个空间注意力图，则可先将第三个空间注意力图与感兴趣区域特征进行融合，获得第一融合特征，然后将第一融合特征与第二个空间注意力图进行融合获得第二融合特征，然后将第二融合特征与第一个空间注意力图进行融合获得第三融合特征，该第三融合特征即可作为最后用于图像分割的融合特征。

如此，将空间注意力图与感兴趣区域特征进行融合后，可进一步加强对待分割图像中感兴趣区域的关注度，从而使得在后续进行图像分割时，可有效将待分割区域中的感兴趣区域从图像中分割出来。

步骤S150：基于所述融合特征对所述待分割图像进行分割，获得分割结果。

在具体进行图像分割的实现过程中，可以将融合特征通过一个sigmoid操作映射到0～1之间，然后根据每个特征点的值按照阈值0.5进行划分，就可以输出类似于真值图的二值化图像，即该二值化图像即为对待分割图像进行分割后的分割图像。

当然，还可以采用其他分割方法进行分割，如区域分割和边缘分割等，其中，区域分割的基本思想是将融合特征中具有相似性质的特征点集合起来构成区域，边缘分割的基本思想是检测灰度级或者结构具有突变的地方，表明一个区域的终结也是另一个区域的开始，区域分割和边缘分割的具体实现过程在此不再详细赘述，本领域技术人员可参照相关的现有实现方式。

在上述实现过程中，通过空间注意力模块获取特征在空间上的关注度，以及通过金字塔池化模块捕捉图像的深度信息，然后将这些信息进行融合，可强化不同尺度信息的空间注意力，实现整体轮廓与深度信息的融合，减少了细节信息的丢失，从而可针对不同尺度物体的分割都能有效地结合上下文信息，达到较好的分割效果。

请参照图3，图3为本申请实施例提供的一种神经网络模型的详细网络结构图，以图3所示的结构为例，下面对利用该神经网络模型进行图像分割的过程进行详细介绍。

其中，特征提取模块210包括X个特征提取单元，每个特征提取单元包括卷积层和最大值池化层，在对待分割图像进行特征提取的过程中，可以先通过第一个特征提取单元211中的卷积层对待分割图像进行卷积处理，获得第一个卷积特征，然后通过第一个特征提取单元211中的最大值池化层对卷积特征进行下采样处理，获得第一个尺度的特征，依次取k为2到X，通过第k个特征提取单元中的卷积层对第k个尺度的特征进行卷积处理，获得第k个卷积特征，然后再通过第k个特征提取单元中的最大值池化层对第k个卷积特征进行下采样处理，获得第k个尺度的特征，如此可获得X个不同尺度的特征。

例如，若X为4，在特征提取模块210包括第一个特征提取单元211、第二个特征提取单元212、第三个特征提取单元213和第四个特征提取单元214，特征提取单元可以理解为4个不同深度的网络层，通过每个特征提取单元中的最大值池化层可以对待分割图像进行下采样，如每个特征提取单元采集的特征尺寸依次是原图的1/2、1/4、1/8、1/16。若特征为特征图是，则从第一个特征提取单元211到第四个特征提取单元214提取的特征图尺寸依次减小，第一个特征提取单元211提取的特征为浅层特征，第四个特征提取单元214提取的特征为深层特征。

为了更好地实现特征的提取，每个特征提取单元包括两个卷积核为3*3的卷积层和一个核为2*2、步长为2的最大值池化层，也即每个特征提取单元包括两个卷积层，两个卷积层依次连接，第一个卷积层的通道数为32，第二个卷积层的通道数为64。例如，待分割图像经过第一个特征提取单元211的第一个卷积层进行特征提取，然后输出特征至第二个卷积层，第二个卷积层继续进行特征处理，输出卷积特征至最大值池化层，最大值池化层用于将卷积特征的尺寸降为原来的1/2，获得第一个尺度的特征。

其余的三个特征提取单元与第一个类似，其两个卷积层的卷积通道数量均在前一个特征提取单元的卷积层的通道数量翻倍，如第二个特征提取单元212的第一个卷积层的通道数为128，第二个卷积层的通道数为256，例如第二个特征提取单元212的第一个卷积层对第一个尺度的特征进行特征提取，输出的特征输入至第二个卷积层，通过第二个卷积层继续对特征进行提取，输出第2个卷积层特征，然后通过第二个特征提取单元212中的最大值池化层对第2个卷积层特征进行下采样，获得第二个尺度的特征，按照该方式，通过四个特征提取单元可输出四个尺度的特征。

也就是说，通过特征提取模块210可以将待分割图像的特征由浅至深进行特征提取，从而可获得多个不同尺度的特征。

需要说明的是，上述每个特征提取单元中的卷积层的数量也可以根据实际需求灵活设置，如每个特征提取单元也可以只包括一个卷积层，也可以包括三个以上的卷积层。而特征提取单元的数量也可以根据实际需求灵活设置，如在待分割图像较为复杂时，为了提高分割精度，可以设置数量较多的特征提取单元，以便于实现对原始图像的特征进行更好地提取。

在上述实现过程中，通过特征提取模块210实现对图像中不同尺度的特征的提取，从而可利于后续对不同尺度物体的分割。

作为一种实施方式，空间注意力模块220可以包括X-1个空间注意力单元，即在X取4时，包括第一个空间注意力单元221、第二个空间注意力单元222和第三个空间注意力单元223，每个空间注意力单元包括卷积层和sigmoid函数处理层，在获得各个尺度的特征对应的空间注意力图的过程中，可以通过第i个空间注意力单元中的卷积层分别对第i个尺度的特征进行特征提取，获得包含像素特征的特征集合，通过第i个空间注意力单元中的sigmoid函数处理层对特征集合进行处理，获得对应的空间注意力图。

其中，卷积层中的卷积核大小为3*3、通道数为1，通过卷积层可以将第i个尺度的特征压缩为大小为1*H*W的特征图，即特征集合，然后通过sigmoid函数处理层通过sigmoid变化将特征集合中每个特征点对应的值映射到0～1之间，用于表示各个特征点在空间不同位置的注意力大小。

由于i取1至X-1，所以在X取4时，i为1-3，在这种情况下，可以通过第一个空间注意力单元221的卷积层对第一个尺度的特征进行特征提取，获得特征集合，通过第一个空间注意力单元221的sigmoid函数处理层对所述特征集合进行处理，获得对应的空间注意力图，即第一个空间注意力图，通过第二个空间注意力单元222的卷积层对第二个尺度的特征进行特征提取获得特征集合，通过第二个空间注意力单元222的sigmoid函数处理层对所述特征集合进行处理，获得对应的空间注意力图，即第二个空间注意力图，按照该方式，可获得三个空间注意力图。

需要说明的是，由于第四个尺度的特征为深层特征，对于第四个尺度的特征可以通过金字塔池化模块230进行相应处理，所以，对于最后一个尺度的特征可以不通过空间注意力模块220获取对应的空间注意力图。

另外，为了减少网络深度，以减少计算量，神经网络模型中可以只包括空间注意力模块220，而为了更好地加强待分割图像中的有用信息的特征并抑制无用信息的特征，神经网络模型中还可以加入通道注意力模块，通道注意力模块可以与空间注意力模块220串行连接，如特征提取单元输出的各个尺度的特征先输入通道注意力模块，由通道注意力模块对这些特征先进行相关处理后再输出至空间注意力模块220。

在具体实现过程中，可以通过通道注意力模块和空间注意力模块220分别在通道和空间轴上学习关键信息，通道注意力模块包括平均汇集层、最大汇集层和随机汇集层，这三种汇集层均为池化层，通过这三个层进行特征提取，压缩全局空间信息为一维向量的通道描述符，并放进多层感知器进行调整，得到的通道注意力向量对输入的特征进行调整并强化特征图关键通道的信息，然后通过空间注意力模块220的处理，获得空间注意力图，空间注意力图对输入的特征进行调整并强化空间位置的信息，进而对通道注意力信息进行补充，这样就可以加强有用信息的特征并抑制无用信息的特征，有效地促进模型内的信息流动。

在上述实现过程中，通过空间注意力模块220获得各个尺度特征对应的空间注意力图，从而可以加强各个尺度特征中有用信息的特征并抑制无用信息的特征，使得在进行图像分割时，可以有效提高分割精度。

作为一种实施方式，请参照图4，图4为本申请实施例提供的一种金字塔池化模块230的结构示意图，金字塔池化模块230可以包括池化层231、卷积层232、上采样层233和拼接层234，在通过金字塔池化模块230对第X个尺度的特征进行深度特征提取，获得感兴趣区域特征的过程中，可以先通过池化层231对第X个尺度的特征进行不同尺度的池化操作，获得多个不同尺度的特征，通过卷积层232分别对各个不同尺度的特征进行卷积操作，获得对应的卷积特征，再通过上采样层233对各个卷积特征进行上采样操作，获得相同尺度的特征，然后通过拼接层234将各个相同尺度的特征进行拼接操作，获得感兴趣区域特征。

其中，金字塔池化模块230中可以包括有四个池化层231、四个上采样层233和四个卷积层232，四个池化层231可以分别对第X个尺度的特征进行四种不同大小的池化，生成四种不同尺寸的特征图，然后各自通过卷积层232和上采样层233后，将不同尺寸的特征图都上采样到相同的尺寸，四个卷积层232具有不同的扩张率，即针对不同尺度的特征得到相同分辨率的特征图，使得具有较小扩张率的卷积层可以学习较小目标的特征，具有较大扩张率的卷积层可以学习到较大目标的特征，再通过拼接层234进行拼接，输出感兴趣区域特征，从而能够捕捉图像的多尺度信息，有效解决图像分割准确率低、图像空间细节信息丢失的问题。

需要说明的是，为了进一步提高图像分割的准确率，还可以在每一个特征提取单元后连接一个金字塔池化模块230，这样可以针对每个尺度的特征均先进行金字塔池化模块230的相关处理后再输出至空间注意力模块220，这样可以先捕捉到图像的多尺度信息，然后通过空间注意力模块220对这些信息进行相关处理，强化不同尺度信息的空间注意力，以便于提高后续对不同尺度的特征的分割的准确率。

在上述实现过程中，通过金字塔池化模块230的相关处理，可以捕捉图像的多尺度信息，有效解决图像分割准确率低、图像空间细节信息丢失的问题。

作为一种实施方式，特征融合模块240包括X-1个特征融合单元，在进行特征融合时，可以先通过第X-1个特征融合单元将感兴趣区域特征与第X-1个空间注意力图进行融合处理，获得第X-1个融合特征，然后依次取j为X-2到1，通过第j个特征融合单元将第j+1个融合特征与第j个空间注意力图进行融合处理，获得第j个融合特征，在j取1时，获得最后的融合特征。

特征融合模块240的大致结构与特征提取模块210呈镜像关系，每个特征融合单元包括两个3*3的卷积层和一个反卷积层，每个特征融合单元的第一个卷积层还会将特征提取模块210输出的对应尺度的特征拷贝过来粘贴到一起，然后再进行卷积，反卷积层则会将特征图尺寸上采样到原图的2倍，最终经过整个特征融合模块240后，最终输出的特征图的尺寸将恢复到原图的大小。

举例来说，在特征融合过程中，以X取4为例，则特征融合模块240包括三个特征融合单元，即第一个特征融合单元241、第二个特征融合单元242和第三个特征融合单元243，在获得第四个尺度的特征后，可以先通过金字塔池化模块230将第四个尺度的特征进行相应处理后获得感兴趣区域特征，然后通过第三个特征融合单元243将感兴趣区域特征与第三个空间注意力图进行融合，获得第三个融合特征；然后通过第二个特征融合单元242将第三个融合特征与第二个空间注意力图进行融合处理，获得第二个融合特征，通过第一个特征融合单元241将第二个融合特征与第一个空间注意力图进行融合处理，获得第一个融合特征，第一个融合特征即为最后获得的融合特征。

另外，为了将特征进行更好的融合，在获得第四个尺度的特征后，还可以先通过一个特征融合单元将第四个尺度的特征与第三个空间注意力图进行融合处理后获得对应的融合特征，然后再将感兴趣区域特征进行上采样后，获得上采样特征，再通过特征融合单元将融合特征与上采样特征进行融合处理，获得第三个融合特征，后续依次将融合特征与对应的空间注意力图进行融合，获得最后的融合特征。

其中，在进行融合时，可以将融合特征与空间注意力图先进行卷积操作，然后再进行反卷积，使得可以将特征图恢复到原始尺寸，如此通过特征融合模块240可以将待分割图像中的深层特征与浅层特征、以及各个不同尺度的特征进行充分融合，使得融合后的特征具有更全面的信息，进而可有效提高分割的准确性。

应理解地，在进行特征融合时，还可以有其他融合方式，如可以将空间注意力图与对应的特征进行点乘或者特征点值相加等方式进行融合，对于其他的融合方式在此不详细介绍。

在上述实现过程中，通过特征融合模块240可以将待分割图像中的深层特征与浅层特征、以及各个不同尺度的特征进行充分融合，使得融合后的特征具有更全面的信息，进而可有效提高分割的准确性。

需要说明的是，上述的神经网络模型为经过训练的模型，在对神经网络模型进行训练的过程中，可以获取大量的训练图像，训练图像包括多个分割区域，训练图像中的多个分割区域作为标签数据，然后可利用这些训练图像对神经网络模型中的网络参数进行训练，在预设损失函数小于预设值时，确定神经网络模型训练完成，获得训练好的神经网络模型。

其中，网络参数可以是指神经网络模型中的卷积层进行卷积运算的权重、偏置等参数，预设损失函数可以是根据实际需求设定的，如预设损失函数可以为均方误差或者交叉熵等，在训练过程中，经过一定次数的迭代更新后，预设损失函数的值趋于稳定，且小于预设值，这就表明神经网络模型训练完成，此时将网络参数保存下来，用于后续利用神经网络模型对图像进行分割，为了描述的简洁，神经网络模型的详细训练过程在此不详细描述。

需要说明的是，图3示出的模型仅仅是神经网络模型的一种可能形式，该模型还可以有很多变形，例如，增加或减少特征提取模块210、特征融合模块240、金字塔池化模块230、空间注意力模块220的网络层，如特征提取模块210可包括五个或六个不同深度的特征提取单元，特征融合模块240也可包括更多的网络层(如包括更多的卷积层)，或者也可以根据需求增加金字塔池化模块230的数量，本申请意图保护神经网络模型的这些变形。且随着神经网络模型的变形，融合方式也可以发生对应的变化，例如，可以将空间注意力图与对应的特征进行任意的融合，并且还可以增加更多的特征提取单元，以增加网络深度来更好地提取图像中的特征，从而使得融合后的特征具有更全面的信息，对图像分割效果更好。

在上述获得分割结果后，在具体实现过程中，若待分割图像为带有标签的容器的图像，如酒瓶图像等，则还可以基于分割结果，确定容器的标签区域，然后对标签区域进行缺陷检测，获得表征容器的标签是否有损坏的检测结果。

可以理解地，分割结果为将待分割图像划分为多个分割区域，还可以对每个分割区域进行识别，从而可识别出标签区域，当然，进行识别的过程也可以采用相关的图像识别模型来进行识别，在此不详细描述。在获得标签区域后，检测标签区域中的标签是否存在损坏，在进行检测的过程中，还可以将提取标签区域的特征信息，然后将标签区域的特征信息与预先设定的各个种类的标签的缺陷图像的特征信息进行比对，基于比对结果则可确定标签区域中的标签是否损坏的概率，若概率超过一定值后，则确定标签有损坏，进而可输出标签有损坏的检测结果，或者输出标签有损坏的相关标识，如标识“1”，作为对应的检测结果。当然，上述进行缺陷检测的过程也可以采用相关训练好的神经网络模型来检测，如可以在上述进行图像分割时采用的神经网络模型后增加相应的网络层用于基于分割结果进行缺陷检测，为了描述的简洁，对于利用神经网络模型进行缺陷检测的过程在此不再详细赘述。

另外，若在检测到标签存在损坏时，则可输出提示信息，以提示质检人员该容器的标签损坏，从而使得质检人员可以快速发现损坏的标签，进而可快速实现对不合格的标签的识别，有利于针对大量的容器上的标签进行快速质检。

请参照图5，图5为本申请实施例提供的一种图像分割装置300的结构框图，该装置300可以是电子设备上的模块、程序段或代码。应理解，该装置300与上述图2方法实施例对应，能够执行图2方法实施例涉及的各个步骤，该装置300具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。

可选地，所述装置300包括：

尺度特征获取模块310，用于通过所述神经网络模型的特征提取模块对待分割图像进行不同尺度的特征提取，获得X个不同尺度的特征，X为大于或等于2的整数；

空间注意力图获取模块320，用于取i为1至X-1，通过所述神经网络模型的空间注意力模块分别对第i个尺度的特征进行处理，获得各个尺度的特征对应的空间注意力图，所述空间注意力图用于表征各个尺度的特征在所述待分割图像中的注意力权重；

深度特征获取模块330，用于通过所述神经网络模型的金字塔池化模块对第X个尺度的特征进行深度特征提取，获得感兴趣区域特征；

融合特征获取模块340，用于通过所述神经网络模型的特征融合模块对所述空间注意力图以及所述感兴趣区域特征进行融合处理，获得融合特征；

图像分割模块350，用于基于所述融合特征对所述待分割图像进行分割，获得分割结果。

可选地，所述特征融合模块包括X-1个特征融合单元，所述融合特征获取模块340，用于：

通过第X-1个特征融合单元将所述感兴趣区域特征与第X-1个空间注意力图进行融合处理，获得第X-1个融合特征；

依次取j为X-2到1，通过第j个特征融合单元将第j+1个融合特征与第j个空间注意力图进行融合处理，获得第j个融合特征，在j取1时，获得最后的融合特征。

可选地，所述金字塔池化模块包括池化层、卷积层、上采样层和拼接层，所述深度特征获取模块330，用于：

通过所述池化层对所述第X个尺度的特征进行不同尺度的池化操作，获得多个不同尺度的特征；

通过所述卷积层分别对各个不同尺度的特征进行卷积操作，获得对应的卷积特征；

通过所述上采样层对各个卷积特征进行上采样操作，获得相同尺度的特征；

通过所述拼接层将各个相同尺度的特征进行拼接操作，获得感兴趣区域特征。

可选地，所述空间注意力模块包括X-1个空间注意力单元，每个空间注意力单元包括卷积层和sigmoid函数处理层，所述空间注意力图获取模块320，用于：

通过第i个空间注意力单元中的卷积层分别对第i个尺度的特征进行特征提取，获得包含像素特征的特征集合；

通过所述第i个空间注意力单元中的sigmoid函数处理层对所述特征集合进行处理，获得对应的空间注意力图。

可选地，所述特征提取模块包括X个特征提取单元，每个特征提取单元包括卷积层和最大值池化层，所述尺度特征获取模块310，用于：

通过第一个特征提取单元中的卷积层对所述待分割图像进行卷积处理，获得第一个卷积特征；

通过所述第一个特征提取单元中的最大值池化层对所述卷积特征进行下采样处理，获得第一个尺度的特征；

依次取k为2到X，通过第k个特征提取单元中的卷积层对第k个尺度的特征进行卷积处理，获得第k个卷积特征；

通过所述第k个特征提取单元中的最大值池化层对第k个卷积特征进行下采样处理，获得第k个尺度的特征，在k取X时，共获得X个不同尺度的特征。

可选地，所述装置300还包括：

模型训练模块，用于获取训练图像，所述训练图像包括多个分割区域，所述多个分割区域为标签数据；利用所述训练图像对所述神经网络模型中的网络参数进行训练，在预设损失函数小于预设值时，确定所述神经网络模型训练完成，获得训练好的神经网络模型。

可选地，所述待分割图像为带有标签的容器的图像，所述装置300还包括：

标签检测模块，用于基于所述分割结果，确定所述容器的标签区域；对所述标签区域进行缺陷检测，获得表征所述容器的标签是否有损坏的检测结果。

该装置实施例的具体实现过程可参照上述方法实施例的具体实现过程，为了描述的简洁，在此不再重复描述。

本申请实施例提供一种可读存储介质，所述计算机程序被处理器执行时，执行如图2所示方法实施例中电子设备所执行的方法过程。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如，包括：通过所述神经网络模型的特征提取模块对待分割图像进行不同尺度的特征提取，获得X个不同尺度的特征，X为大于或等于2的整数；取i为1至X-1，通过所述神经网络模型的空间注意力模块分别对第i个尺度的特征进行处理，获得各个尺度的特征对应的空间注意力图，所述空间注意力图用于表征各个尺度的特征在所述待分割图像中的注意力权重；通过所述神经网络模型的金字塔池化模块对第X个尺度的特征进行深度特征提取，获得感兴趣区域特征；通过所述神经网络模型的特征融合模块对所述空间注意力图以及所述感兴趣区域特征进行融合处理，获得融合特征；基于所述融合特征对所述待分割图像进行分割，获得分割结果。

综上所述，本申请实施例提供一种图像分割方法、装置、电子设备及可读存储介质，该方案中通过空间注意力模块获取特征在空间上的关注度，以及通过金字塔池化模块捕捉图像的深度信息，然后将这些信息进行融合，可强化不同尺度信息的空间注意力，实现整体轮廓与深度信息的融合，减少了细节信息的丢失，从而可针对不同尺度物体的分割都能达到较好的分割效果。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像分割方法，其特征在于，用于通过神经网络模型对图像进行分割，所述方法包括：

通过所述神经网络模型的特征提取模块对待分割图像进行不同尺度的特征提取，获得X个不同尺度的特征，X为大于或等于2的整数；

取i为1至X-1，通过所述神经网络模型的空间注意力模块分别对第i个尺度的特征进行处理，获得各个尺度的特征对应的空间注意力图，所述空间注意力图用于表征各个尺度的特征在所述待分割图像中的注意力权重；

通过所述神经网络模型的金字塔池化模块对第X个尺度的特征进行深度特征提取，获得感兴趣区域特征；

通过所述神经网络模型的特征融合模块对所述空间注意力图以及所述感兴趣区域特征进行融合处理，获得融合特征；

基于所述融合特征对所述待分割图像进行分割，获得分割结果。

2.根据权利要求1所述的方法，其特征在于，所述特征融合模块包括X-1个特征融合单元，所述通过所述神经网络模型的特征融合模块对所述空间注意力图以及所述感兴趣区域特征进行融合处理，获得融合特征，包括：

通过第X-1个特征融合单元将所述感兴趣区域特征与第X-1个空间注意力图进行融合处理，获得第X-1个融合特征；

依次取j为X-2到1，通过第j个特征融合单元将第j+1个融合特征与第j个空间注意力图进行融合处理，获得第j个融合特征，在j取1时，获得最后的融合特征。

3.根据权利要求1所述的方法，其特征在于，所述金字塔池化模块包括池化层、卷积层、上采样层和拼接层，所述通过所述神经网络模型的金字塔池化模块对第X个尺度的特征进行深度特征提取，获得感兴趣区域特征，包括：

通过所述池化层对所述第X个尺度的特征进行不同尺度的池化操作，获得多个不同尺度的特征；

通过所述卷积层分别对各个不同尺度的特征进行卷积操作，获得对应的卷积特征；

通过所述上采样层对各个卷积特征进行上采样操作，获得相同尺度的特征；

通过所述拼接层将各个相同尺度的特征进行拼接操作，获得感兴趣区域特征。

4.根据权利要求1所述的方法，其特征在于，所述空间注意力模块包括X-1个空间注意力单元，每个空间注意力单元包括卷积层和sigmoid函数处理层，所述通过所述神经网络模型的空间注意力模块分别对第i个尺度的特征进行处理，获得各个尺度的特征对应的空间注意力图，包括：

通过第i个空间注意力单元中的卷积层分别对第i个尺度的特征进行特征提取，获得包含像素特征的特征集合；

通过所述第i个空间注意力单元中的sigmoid函数处理层对所述特征集合进行处理，获得对应的空间注意力图。

5.根据权利要求1所述的方法，其特征在于，所述特征提取模块包括X个特征提取单元，每个特征提取单元包括卷积层和最大值池化层，所述通过所述神经网络模型的特征提取模块对待分割图像进行不同尺度的特征提取，获得X个不同尺度的特征，包括：

通过第一个特征提取单元中的卷积层对所述待分割图像进行卷积处理，获得第一个卷积特征；

通过所述第一个特征提取单元中的最大值池化层对所述卷积特征进行下采样处理，获得第一个尺度的特征；

依次取k为2到X，通过第k个特征提取单元中的卷积层对第k个尺度的特征进行卷积处理，获得第k个卷积特征；

通过所述第k个特征提取单元中的最大值池化层对第k个卷积特征进行下采样处理，获得第k个尺度的特征，在k取X时，共获得X个不同尺度的特征。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取训练图像，所述训练图像包括多个分割区域，所述多个分割区域为标签数据；

利用所述训练图像对所述神经网络模型中的网络参数进行训练，在预设损失函数小于预设值时，确定所述神经网络模型训练完成，获得训练好的神经网络模型。

7.根据权利要求1所述的方法，其特征在于，所述待分割图像为带有标签的容器的图像，所述获得分割结果后，还包括：

基于所述分割结果，确定所述容器的标签区域；

对所述标签区域进行缺陷检测，获得表征所述容器的标签是否有损坏的检测结果。

8.一种图像分割装置，其特征在于，用于通过神经网络模型对图像进行分割，所述装置包括：

尺度特征获取模块，用于通过所述神经网络模型的特征提取模块对待分割图像进行不同尺度的特征提取，获得X个不同尺度的特征，X为大于或等于2的整数；

空间注意力图获取模块，用于取i为1至X-1，通过所述神经网络模型的空间注意力模块分别对第i个尺度的特征进行处理，获得各个尺度的特征对应的空间注意力图，所述空间注意力图用于表征各个尺度的特征在所述待分割图像中的注意力权重；

深度特征获取模块，用于通过所述神经网络模型的金字塔池化模块对第X个尺度的特征进行深度特征提取，获得感兴趣区域特征；

融合特征获取模块，用于通过所述神经网络模型的特征融合模块对所述空间注意力图以及所述感兴趣区域特征进行融合处理，获得融合特征；

图像分割模块，用于基于所述融合特征对所述待分割图像进行分割，获得分割结果。

9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-7任一所述的方法。

10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一所述的方法。

Images