CN111369568A - 一种图像分割的方法、系统、设备及可读存储介质 - Google Patents

Abstract

本申请公开了一种图像分割的方法，包括：获取原始图像集；利用骨干网络对所述原始图像集进行特征提取，得到特征图集；利用通道抽取融合模型对所述特征图集进行通道抽取融合处理，得到增强特征图集；利用预设卷积神经网络对所述增强特征图集进行分割，得到图像分割结果。本申请通过利用通道抽取融合模型对所述特征图集进行通道抽取融合处理，得到增强特征图集，使得得到的增强特征图集特征更明显，而且减少了输入通道数，在降低图像分割过程中的计算量的同时，又提高了分割精度。本申请同时还提供了一种图像分割的系统、设备及可读存储介质，具有上述有益效果。

Description

一种图像分割的方法、系统、设备及可读存储介质

技术领域

本申请涉及图像分割领域，特别涉及一种图像分割的方法、系统、设备及可读存储介质。

背景技术

图像分割(image segmentation)技术是计算机视觉领域的重要的研究方向，是图像语义理解的重要一环。图像分割是指将图像分成若干具有相似性质的区域的过程，近些年，图像分割技术有了突飞猛进的发展，该技术相关的场景物体分割、人体前背景分割、人脸人体解析、三维重建等技术已经在无人驾驶、增强现实、安防监控等行业都得到广泛的应用。

众所周知，深度学习来解决图片分类、图像分割和物体检测等计算机视觉领域的问题并且取得了巨大的成功。近年来涌现出了很多优秀的卷积神经网络模型。然而这些模型大部分计算量和大小都很大，只能用于服务器端并且需要高性能GPU加速才能运行，然而智能手机等移动设备对深度学习有着巨大的需求。

因此，如何降低图像分割过程中的计算量并提高分割精度是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种图像分割的方法、系统、设备及可读存储介质，用于降低图像分割过程中的计算量并提高分割精度。

为解决上述技术问题，本申请提供一种图像分割的方法，该方法包括：

获取原始图像集；

利用骨干网络对所述原始图像集进行特征提取，得到特征图集；

利用通道抽取融合模型对所述特征图集进行通道抽取融合处理，得到增强特征图集；

利用预设卷积神经网络对所述增强特征图集进行分割，得到图像分割结果。

可选的，当所述通道抽取融合模型包括第一通道抽取融合子模型时，利用通道抽取融合模型对所述特征图集进行通道抽取融合处理，得到增强特征图集，包括：

启动所述第一通道抽取融合子模型的第一通道选择流程，对所述特征图集进行通道选择，得到第一增强特征子图集；

启动所述第一通道抽取融合子模型的第一特征提取流程，对所述特征图集进行特征提取，得到第二增强特征子图集；

对所述第一增强特征子图集和所述第二增强特征子图集按照通道进行叠加，得到所述增强特征图集。

可选的，所述启动所述第一通道抽取融合子模型的第一通道选择流程，对所述特征图集进行通道选择，得到第一增强特征子图集，包括：

计算所述特征图集中每个特征图的特征向量；

利用激活函数根据每个所述特征向量计算每个所述特征图的权重值；

对每个所述权重值按照由大到小的顺序进行排序，并选择排名在前预设比例内的权重值作为增强权重值；

按照每个所述增强权重值对应的通道位置选取每个所述特征图对应的通道并相乘，得到所述第一增强特征子图集。

可选的，所述启动所述第一通道抽取融合子模型的第一特征提取流程，对所述特征图集进行特征提取，得到第二增强特征子图集，包括：

读取每个所述特征图的权重值，并根据每个所述权重值确定每个通道的抽取概率；

按照每个所述通道的抽取概率抽取预设比例的通道作为增强通道，并确定所述增强通道对应的特征图作为增强特征图；

对每个所述增强特征图进行特征提取，得到特征向量；

利用激活函数根据每个所述特征向量计算每个所述增强特征图的权重值；

按照每个所述权重值对应的通道位置选取每个所述增强特征图对应的通道并相乘，得到所述第二增强特征子图集。

可选的，当所述通道抽取融合模型包括第二通道抽取融合子模型时，利用通道抽取融合模型对所述特征图集进行通道抽取融合处理，得到增强特征图集，包括：

启动所述第二通道抽取融合子模型的第二通道选择流程，对所述特征图集进行通道选择，得到第三增强特征子图集；

启动所述第二通道抽取融合子模型的第二特征提取流程，对所述特征图集进行特征提取，得到第四增强特征子图集；

对所述第三增强特征子图集和所述第四增强特征子图集按照通道进行叠加，得到所述增强特征图集。

可选的，启动所述第二通道抽取融合子模型的第二通道选择流程，对所述特征图集进行通道选择，得到第三增强特征子图集，包括：

对所述特征图集中的每个特征图进行深度可分离卷积操作，得到下采样特征图；

计算每个所述下采样特征图的特征向量，并利用激活函数根据每个所述特征向量计算每个所述下采样特征图的权重值；

按照每个所述权重值对应的通道位置选取每个所述下采样特征图对应的通道并相乘，得到所述第三增强特征子图集。

可选的，启动所述第二通道抽取融合子模型的第二特征提取流程，对所述特征图集进行特征提取，得到第四增强特征子图集，包括：

将所述特征图集中的每个特征图的长宽尺度降低为原来的一半，得到下采样特征图；

计算每个所述下采样特征图的特征向量，并利用激活函数根据每个所述特征向量计算每个所述下采样特征图的权重值；

按照每个所述权重值对应的通道位置选取每个所述下采样特征图对应的通道并相乘，得到所述第四增强特征子图集。

本申请还提供一种图像分割的系统，该系统包括：

获取模块，用于获取原始图像集；

特征提取模块，用于利用骨干网络对所述原始图像集进行特征提取，得到特征图集；

通道抽取融合模块，用于利用通道抽取融合模型对所述特征图集进行通道抽取融合处理，得到增强特征图集；

图像分割模块，用于利用预设卷积神经网络对所述增强特征图集进行分割，得到图像分割结果。

本申请还提供一种图像分割设备，该图像分割设备包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述任一项所述图像分割的方法的步骤。

本申请还提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述图像分割的方法的步骤。

本申请所提供图像分割的方法，包括：获取原始图像集；利用骨干网络对所述原始图像集进行特征提取，得到特征图集；利用通道抽取融合模型对所述特征图集进行通道抽取融合处理，得到增强特征图集；利用预设卷积神经网络对所述增强特征图集进行分割，得到图像分割结果。

本申请所提供的技术方案，通过利用通道抽取融合模型对所述特征图集进行通道抽取融合处理，得到增强特征图集，然后利用预设卷积神经网络对所述增强特征图集进行分割，得到图像分割结果，使得得到的增强特征图集特征更明显，而且减少了输入通道数，在降低图像分割过程中的计算量的同时，又提高了分割精度。本申请同时还提供了一种图像分割的系统、设备及可读存储介质，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种图像分割的方法的流程图；

图2为本申请实施例所提供的一种图像分割的处理过程整体结构图；

图3为图1所提供的一种图像分割的方法中S103的一种实际表现方式的流程图；

图4为图3所提供的一种图像分割的方法中S301的一种实际表现方式的流程图；

图5为本申请实施例所提供的一种第一通道抽取融合子模型的流程示意图；

图6为图3所提供的一种图像分割的方法中S302的一种实际表现方式的流程图；

图7为图1所提供的一种图像分割的方法中S103的另一种实际表现方式的流程图；

图8为图7所提供的一种图像分割的方法中S701的一种实际表现方式的流程图；

图9为本申请实施例所提供的一种第二通道抽取融合子模型的流程示意图；

图10为图7所提供的一种图像分割的方法中S702的一种实际表现方式的流程图；

图11为本申请实施例所提供的一种图像分割的系统的结构图；

图12为本申请实施例所提供的一种图像分割设备的结构图。

具体实施方式

本申请的核心是提供一种图像分割的方法、系统、设备及可读存储介质，用于降低图像分割过程中的计算量并提高分割精度。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例所提供的一种图像分割的方法的流程图。

其具体包括如下步骤：

S101：获取原始图像集；

目前卷积神经网络模型计算量和模型本身大小都很大，动辄几百兆字节，因此很难部署到硬件资源有限的嵌入式系统上。同时，应用程序(Application，APP)软件都是通过应用商店下载更新，对于这些应用软件来说，软件本身的大小显得非常重要，因为如果应用软件本身大小过大，下载过慢，会影响到用户体验，很多用户可能不会下载或者更新这些软件。

现在有很多图像相关的软件都会用到卷积神经网络模型，而目前主流卷积神经网络模型的大小都很大，这就给卷积神经网络模型在智能手机等移动设备上大规模应用造成了很大的障碍。

此外对于大型卷积神经网络来说，运行大型卷积神经网络需要大的内存带宽去读取和计算，并且需要进行很多次浮点运算。这就需要耗费很多电能，

大型网络因为无法完全放置在动态随机存储器里面，因此需要更多次进行动态随机存储器访问，这就需要消耗更多的电量。而智能手机等移动设备电池容量很有限，这给卷积神经网络模型在移动设备上部署造成了一定的障碍。故本申请提供了一种图像分割的方法，用于解决上述问题；

这里提到的原始图像集具体可以为用户输入的图像集，也可以为服务器连接到指定网站进行下载的图像集，本申请对此不做具体限定。

S102：利用骨干网络对原始图像集进行特征提取，得到特征图集；

可选的，这里提到的骨干网络可以包括但不限于Resnet分类网络、卷积神经网络等。

S103：利用通道抽取融合模型对特征图集进行通道抽取融合处理，得到增强特征图集；

在得到特征图集之后，本申请利用通道抽取融合模型对特征图集进行通道抽取融合处理，得到增强特征图集，其目的在于令得到的增强特征图集特征更明显，并减少输入通道数，达到在降低图像分割过程中的计算量的同时提高分割精度的效果；

可选的，这里提到的通道抽取融合模型可以包括第一通道抽取融合子模型和/或第二通道抽取融合子模型，其中，第一通道抽取融合子模型能够对特征图进行筛选，从而为后续计算提供最有利于分割的特征图通道；第二通道抽取融合子模型能够对特征图进行下采样，使得得到的增强特征图集能够融合更高层次的特征。

S104：利用预设卷积神经网络对增强特征图集进行分割，得到图像分割结果。

在得到特征更明显的增强特征图集后，利用预设卷积神经网络对增强特征图集进行分割，使得得到的图像分割结果精度更高。

下面以通道抽取融合模型包括第一通道抽取融合子模型和第二通道抽取融合子模型的情况为例，结合图2进行说明，如图2所示，骨干网络共进行了5次下采样，本申请实施例使用了下采样层2/3/4的输出特征。

对于下采样层2的数据，本申请先利用第一通道抽取融合子模型得到第一增强特征图集，再利用第二通道抽取融合子模型对第一增强特征图集进行进一步的处理，得到第二增强特征图集；

对于下采样层3的数据，本申请先利用拼接层对下采样层3的数据和第二增强特征图集进行拼接，并依次利用第一通道抽取融合子模型和第二通道抽取融合子模型对拼接后的数据进行处理；

对于下采样层4的数据，本申请先利用拼接层对下采样层4的数据和处理后的下采样层3的数据进行拼接，并依次利用第一通道抽取融合子模型、卷积层网络、双线性差值层对拼接后的数据进行处理，并输出最终的处理结果。

基于上述技术方案，本申请所提供的一种图像分割的方法，通过利用通道抽取融合模型对特征图集进行通道抽取融合处理，得到增强特征图集，然后利用预设卷积神经网络对增强特征图集进行分割，得到图像分割结果，使得得到的增强特征图集特征更明显，而且减少了输入通道数，在降低图像分割过程中的计算量的同时，又提高了分割精度。

针对于上一实施例的步骤S103，当通道抽取融合模型包括第一通道抽取融合子模型时，其中所描述的利用通道抽取融合模型对特征图集进行通道抽取融合处理，得到增强特征图集，其具体也可以如图3所示的步骤，下面结合图3进行说明。

请参考图3，图3为图1所提供的一种图像分割的方法中S103的一种实际表现方式的流程图。

其具体包括以下步骤：

S301：启动第一通道抽取融合子模型的第一通道选择流程，对特征图集进行通道选择，得到第一增强特征子图集；

优选的，这里提到的，启动第一通道抽取融合子模型的第一通道选择流程，对特征图集进行通道选择，得到第一增强特征子图集，其具体可以为如图4所示的步骤，图4为图3所提供的一种图像分割的方法中S301的一种实际表现方式的流程图，其具体包括以下步骤：

S401：计算特征图集中每个特征图的特征向量；

S402：利用激活函数根据每个特征向量计算每个特征图的权重值；

S403：对每个权重值按照由大到小的顺序进行排序，并选择排名在前预设比例内的权重值作为增强权重值；

S404：按照每个增强权重值对应的通道位置选取每个特征图对应的通道并相乘，得到第一增强特征子图集。

在一个具体实施例中，第一通道抽取融合子模型整体的输入特征图尺度是H×W×C，H代表高度，W代表宽度，C代表通道数，这个输入特征图也可以写成batchsize×H×W×C，其中batchsize代表输入特征图的张数，因为输入1个和输入batchsize个特征图的计算方法是相同的，所以本申请实施例按照batchsize＝＝1进行描述；请参考图5，图5为本申请实施例所提供的一种第一通道抽取融合子模型的流程示意图，如图5中的第一通道选择流程所示，第一通道抽取融合子模型的第一通道选择流程可以通过如下结构实现：

1)输入即第一通道抽取融合子模型的输入，尺度是H×W×C；

2)下面经过第一通道选择流程，第一通道选择流程的第一层是Avgpool2d网络，该网络层是采样层，将输入特征图H×W×C按照通道C的维度进行遍历，对H×W的特征图求均值，最终该网络输出是：1×C的向量；

3)第二层网络是全连接层(Full connected)，该层输出是1×C的向量。

4)第三层网络是激活函数层——线性整流函数(relu)网络，对输入特征进行非线性映射。

5)第四层网络是全连接层(Full connected网络)，该层输出是1×C的向量。

6)第五层是激活函数层，本申请用到的激活函数是sigmoid函数，本层的输出是1×C。

7)第六层是智能选择(wise select)层，本层的目的是从上一层的输出选取出最优的C/2个通道。方法是根据激活函数层的输出结果进行排序，选出激活函数输出值的最大的C/2个权值,进行输出，其余小的权值抛弃掉。本步骤筛选出有利于分割的通道，用于下一步计算。为后续计算节省计算量，因此减少了后续神经网络层的计算输入通道数。

8)第七层是乘积(multiply)层，该层将第六层挑选出的权重值与对应的输入特征图相乘，即按照权重值对应的通道位置选取输入特征图(H×W×C)的对应的通道，并相乘。本步骤通过对有利于分割的通道增加一个权重值，使更有利于分割的通道获取更大的权重，从而得到更大的表达。这个权重值通过前面第1-6层的训练得到。该层输出是H×W×C/2尺度的特征图和其对应的权重值(C/2)

S302：启动第一通道抽取融合子模型的第一特征提取流程，对特征图集进行特征提取，得到第二增强特征子图集；

优选的，这里提到的，启动第一通道抽取融合子模型的第一通道选择流程，对特征图集进行通道选择，得到第一增强特征子图集，其具体可以为如图6所示的步骤，图6为图3所提供的一种图像分割的方法中S302的一种实际表现方式的流程图，其具体包括以下步骤：

S601：读取每个特征图的权重值，并根据每个权重值确定每个通道的抽取概率；

S602：按照每个通道的抽取概率抽取预设比例的通道作为增强通道，并确定增强通道对应的特征图作为增强特征图；

S603：对每个增强特征图进行特征提取，得到特征向量；

S604：利用激活函数根据每个特征向量计算每个增强特征图的权重值；

S605：按照每个权重值对应的通道位置选取每个增强特征图对应的通道并相乘，得到第二增强特征子图集。

在一个具体实施例中，如图5中的第一特征提取流程所示，第一通道抽取融合子模型的第一特征提取流程可以通过如下结构实现：

1)输入为第一通道抽取融合子模型的输入，尺度是H×W×C；

2)下面首先经过“通道随机读取”模块，该模块实现过程是，读取输入特征图的权重值weight[1×C]，对该权重值进行归一化，该参数的所有元素分布范围属于[0，1]，且所有元素之和等于1，然后，将该归一化的值看成一个概率值，以该概率随机抽取通道，例如：经过通道随机读取模块后，输出特征图的维度是H×W×C/2；

3)经过1个2d卷积层conv2d，本申请选用1×1卷积核，通道数是C/2，该层输出是H×W×C/2；

4)经过DWconv2d(Depthwise separable Conv深度可分离卷积)，该层输出是H×W×C/2；

5)经过一个2d卷积层，本申请选用1×1卷积核，通道数是C/2，该层输出是H×W×C/2；

6)将输入特征图H×W×C/2按照通道”C”的维度进行遍历，对H×W的特征图求均值，最终输出是1×C/2的向量；

7)下面一层是全连接层(Full connected网络)，该层输出是1×C/2的向量；

8)下面一层网络是激活函数层(relu络)，对输入特征进行非线性映射；

9)下面一层网络是全连接层全连接层(Full connected网络)，该层输出是1×C/2的向量；

10)下面一层是激活函数层，本申请用到的激活函数是sigmoid函数，本层的输出是1×C/2；

11)下面一层是乘积(multiply)层，该层将上一层输出值与对应的输入特征图(Amodel_2层的输入特征图)相乘，即按照权重值对应的通道位置选取输入特征图(H×W×C/2)的对应的通道，并相乘。该步通过对输入的特征图通道增加一个权重值，使更有利于分割的通道获取更大的权重，从而得到更大的表达。该层输出是H×W×C/2尺度的特征图和其对应的权重值(C/2)；

12)下面一层是增加(Add)层，该层将F型层的输入特征图与乘积层的输出特征图进行加法，一一对应相加。该层特征图的输出是H×W×C/2。

13)下面一层是连接(concat)层，该层将上一层结果与智能通道选择分支结果按照通道进行叠加，该层的特征图的输出尺度是：H×W×C

14)最后介绍权重合并(Weight aggregate)模块，该模块将智能通道选择(Wisechannel select)分支中乘积层权重输出结果和特征提取(Feature extract)分支中乘积层权重输出结果进行合并，并将合并好的结果输出，为后续网络计算提供支撑。

S303：对第一增强特征子图集和第二增强特征子图集按照通道进行叠加，得到增强特征图集。

针对于上一实施例的步骤S103，当通道抽取融合模型包括第二通道抽取融合子模型时，其中所描述的利用通道抽取融合模型对特征图集进行通道抽取融合处理，得到增强特征图集，其具体也可以如图所示的步骤，下面结合图7进行说明。

请参考图7，图7为图1所提供的一种图像分割的方法中S103的另一种实际表现方式的流程图。

其具体包括以下步骤：

S701：启动第二通道抽取融合子模型的第二通道选择流程，对特征图集进行通道选择，得到第三增强特征子图集；

优选的，这里提到的，启动第一通道抽取融合子模型的第一通道选择流程，对特征图集进行通道选择，得到第一增强特征子图集，其具体可以为如图8所示的步骤，图8为图7所提供的一种图像分割的方法中S701的一种实际表现方式的流程图，其具体包括以下步骤：

S801：对特征图集中的每个特征图进行深度可分离卷积操作，得到下采样特征图；

S802：计算每个下采样特征图的特征向量，并利用激活函数根据每个特征向量计算每个下采样特征图的权重值；

S803：按照每个权重值对应的通道位置选取每个下采样特征图对应的通道并相乘，得到第三增强特征子图集。

在一个具体实施例中，请参考图9，图9为本申请实施例所提供的一种第二通道抽取融合子模型的流程示意图，如图9中的第二特征提取流程所示，第二通道抽取融合子模型的第二特征提取流程可以通过如下结构实现：

1)输入即第二通道抽取融合子模型的输入，尺度是H×W×C；

2)下面进入一个深度可分离卷积(Depthwise separable Conv，DWconv2d)层，该层维持特征图尺度不变，输出特征图尺度为H×W×C；再进入一个DWconv2d层，该层设置步幅stride＝2，使该层输出特征图尺度降低一倍，该层输出特征图尺度为H/2×W/2×C；第三，再进入一个DWconv2d层，该层设置stride＝1，使该层输出特征图尺度保持不变，该层输出特征图尺度为H/2×W/2×C；

3)下面经过第二特征提取流程，第二特征提取流程第一层是Avgpool2d网络，该网络层是采样层，将输入特征图H/2×W/2×C按照通道C的维度进行遍历，对H/2×W/2的特征图求均值，最终该网络输出是：1×C的向量；

4)第二层是全连接层，该层输出是1×C的向量；

5)第三层网络激活函数层，对输入特征进行非线性映射；

6)第四层网络是全连接层，该层输出是1×C的向量；

7)第五层是激活函数层，本申请实施例用到的激活函数是sigmoid函数，本层的输出是1×C；

8)第六层是乘积层，该层将第五层挑选出的权重值与对应通道的输入特征图相乘，即按照权重值对应的通道位置选取输入特征图(H×W×C)的对应的通道，并与之相乘；该步骤通过对有利于分割的通道增加一个权重值，使更有利于分割的通道获取更大的权重，从而得到更大的表达。这个权重值通过前面第1-6层的训练得到，该层输出是H/2×W/2×C尺度的特征图和其对应的权重值(C)。

S702：启动第二通道抽取融合子模型的第二特征提取流程，对特征图集进行特征提取，得到第四增强特征子图集；

优选的，这里提到的，启动第一通道抽取融合子模型的第一特征提取流程，对特征图集进行特征提取，得到第二增强特征子图集，其具体可以为如图10所示的步骤，图10为图7所提供的一种图像分割的方法中S702的一种实际表现方式的流程图，其具体包括以下步骤：

S1001：将特征图集中的每个特征图的长宽尺度降低为原来的一半，得到下采样特征图；

S1002：计算每个下采样特征图的特征向量，并利用激活函数根据每个特征向量计算每个下采样特征图的权重值；

S1003：按照每个权重值对应的通道位置选取每个下采样特征图对应的通道并相乘，得到第四增强特征子图集。

在一个具体实施例中，如图9中的第二特征提取流程所示，第二通道抽取融合子模型的第二特征提取流程可以通过如下结构实现：

1)输入是为第二通道抽取融合子模型的输入，尺度是H×W×C；

2)该分支将输入数据分别送入2个层，一个是1通道，一个是2通道；

Avgpool2d层将输入特征图H、W尺度降低为原来的一半，该层输出尺度为H/2×W/2×C；

2通道首先经过1个conv2d，本申请实施例选用1×1×C卷积核，该层输出是H×W×C；然后经过DWconv2d，该层输出是H/2×W/2×C；然后又经过一个conv2d，通道数是C，该层输出是H/2×W/2×C；

3)下面经过一个Add层，该层将上面1、2两个分支的输出结果元素一一对应相加，该层输出结果为H/2×W/2×C；

4)下面经过第二特征提取流程，第二特征提取流程的第一层是Avgpool2d网络，该网络层是采样层，将输入特征图H/2×W/2×C按照通道C的维度进行遍历，对H/2×W/2的特征图求均值，最终该网络输出是：1×C的向量；

5)下面一层是全连接层，该层输出是1×C的向量；

6)下面一层网络是激活函数层，对输入特征进行非线性映射；

7)下面一层网络是全连接层，该层输出是1×C的向量；

8)下面一层是激活函数层，本层的输出是1×C；

9)下面一层是乘积层，该层将上一层挑选出的权重值与对应的输入特征图(第二特征提取流程的输入特征图)相乘，即按照权重值对应的通道位置选取输入特征图(H/2×W/2×C)的对应的通道，并相乘。该步通过对有利于分割的通道增加一个权重值，使更有利于分割的通道获取更大的权重，从而得到更大的表达。该层输出是H/2×W/2×C尺度的特征图和其对应的权重值(C)；

10)下面一层是Add层，该层将2通道层的输入特征图与乘积层的输出特征图进行加法，一一对应相加，该层特征图的输出是H/2×W/2×C；

11)下面一层是concat层，该层将上一层结果与智能通道选择分支结果按照通道进行叠加，该层的特征图的输出尺度是：H/2×W/2×2C；

12)最后介绍Weight aggregate模块，该模块将智能通道选择分支中乘积层权重输出结果和Feature extract分支中乘积层权重输出结果进行合并，并将合并好的结果输出，为后续网络计算提供支撑。

S703：对第三增强特征子图集和第四增强特征子图集按照通道进行叠加，得到增强特征图集。

请参考图11，图11为本申请实施例所提供的一种图像分割的系统的结构图。

该系统可以包括：

获取模块100，用于获取原始图像集；

特征提取模块200，用于利用骨干网络对原始图像集进行特征提取，得到特征图集；

通道抽取融合模块300，用于利用通道抽取融合模型对特征图集进行通道抽取融合处理，得到增强特征图集；

图像分割模块400，用于利用预设卷积神经网络对增强特征图集进行分割，得到图像分割结果。

可选的，该通道抽取融合模块300可以包括：

第一启动子模块，用于启动第一通道抽取融合子模型的第一通道选择流程，对特征图集进行通道选择，得到第一增强特征子图集；

第二启动子模块，用于启动第一通道抽取融合子模型的第一特征提取流程，对特征图集进行特征提取，得到第二增强特征子图集；

第一叠加子模块，用于对第一增强特征子图集和第二增强特征子图集按照通道进行叠加，得到增强特征图集。

进一步的，该第一启动子模块可以包括：

第一计算单元，用于计算特征图集中每个特征图的特征向量；

第二计算单元，用于利用激活函数根据每个特征向量计算每个特征图的权重值；

第一排序单元，用于对每个权重值按照由大到小的顺序进行排序，并选择排名在前预设比例内的权重值作为增强权重值；

第一选取单元，用于按照每个增强权重值对应的通道位置选取每个特征图对应的通道并相乘，得到第一增强特征子图集。

进一步的，该第二启动子模块可以包括：

读取单元，用于读取每个特征图的权重值，并根据每个权重值确定每个通道的抽取概率；

抽取单元，用于按照每个通道的抽取概率抽取预设比例的通道作为增强通道，并确定增强通道对应的特征图作为增强特征图；

特征提取单元，用于对每个增强特征图进行特征提取，得到特征向量；

第三计算单元，用于利用激活函数根据每个特征向量计算每个增强特征图的权重值；

第二选取单元，用于按照每个权重值对应的通道位置选取每个增强特征图对应的通道并相乘，得到第二增强特征子图集。

可选的，该通道抽取融合模块300可以包括：

第三启动子模块，用于启动第二通道抽取融合子模型的第二通道选择流程，对特征图集进行通道选择，得到第三增强特征子图集；

第四启动子模块，用于启动第二通道抽取融合子模型的第二特征提取流程，对特征图集进行特征提取，得到第四增强特征子图集；

第二叠加子模块，用于对第三增强特征子图集和第四增强特征子图集按照通道进行叠加，得到增强特征图集。

进一步的，该第三启动子模块可以包括：

第一下采样单元，用于对特征图集中的每个特征图进行深度可分离卷积操作，得到下采样特征图；

第四计算单元，用于计算每个下采样特征图的特征向量，并利用激活函数根据每个特征向量计算每个下采样特征图的权重值；

第三选取单元，用于按照每个权重值对应的通道位置选取每个下采样特征图对应的通道并相乘，得到第三增强特征子图集。

进一步的，该第四启动子模块可以包括：

第二下采样单元，用于将特征图集中的每个特征图的长宽尺度降低为原来的一半，得到下采样特征图；

第五计算单元，用于计算每个下采样特征图的特征向量，并利用激活函数根据每个特征向量计算每个下采样特征图的权重值；

第四选取单元，用于按照每个权重值对应的通道位置选取每个下采样特征图对应的通道并相乘，得到第四增强特征子图集。

由于系统部分的实施例与方法部分的实施例相互对应，因此系统部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

请参考图12，图12为本申请实施例所提供的一种图像分割设备的结构图。

该图像分割设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)522(例如，一个或一个以上处理器)和存储器532，一个或一个以上存储应用程序542或数据544的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器532和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对装置中的一系列指令操作。更进一步地，处理器522可以设置为与存储介质530通信，在图像分割设备500上执行存储介质530中的一系列指令操作。

图像分割设备500还可以包括一个或一个以上电源525，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口558，和/或，一个或一个以上操作系统541，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上述图1至图10所描述的图像分割的方法中的步骤由图像分割设备基于该图12所示的结构实现。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置、设备和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，功能调用装置，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上对本申请所提供的一种图像分割的方法、系统、设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种图像分割的方法，其特征在于，包括：

获取原始图像集；

利用骨干网络对所述原始图像集进行特征提取，得到特征图集；

利用通道抽取融合模型对所述特征图集进行通道抽取融合处理，得到增强特征图集；

利用预设卷积神经网络对所述增强特征图集进行分割，得到图像分割结果。

2.根据权利要求1所述的方法，其特征在于，当所述通道抽取融合模型包括第一通道抽取融合子模型时，利用通道抽取融合模型对所述特征图集进行通道抽取融合处理，得到增强特征图集，包括：

启动所述第一通道抽取融合子模型的第一通道选择流程，对所述特征图集进行通道选择，得到第一增强特征子图集；

启动所述第一通道抽取融合子模型的第一特征提取流程，对所述特征图集进行特征提取，得到第二增强特征子图集；

对所述第一增强特征子图集和所述第二增强特征子图集按照通道进行叠加，得到所述增强特征图集。

3.根据权利要求2所述的方法，其特征在于，所述启动所述第一通道抽取融合子模型的第一通道选择流程，对所述特征图集进行通道选择，得到第一增强特征子图集，包括：

计算所述特征图集中每个特征图的特征向量；

利用激活函数根据每个所述特征向量计算每个所述特征图的权重值；

对每个所述权重值按照由大到小的顺序进行排序，并选择排名在前预设比例内的权重值作为增强权重值；

按照每个所述增强权重值对应的通道位置选取每个所述特征图对应的通道并相乘，得到所述第一增强特征子图集。

4.根据权利要求2所述的方法，其特征在于，所述启动所述第一通道抽取融合子模型的第一特征提取流程，对所述特征图集进行特征提取，得到第二增强特征子图集，包括：

读取每个所述特征图的权重值，并根据每个所述权重值确定每个通道的抽取概率；

按照每个所述通道的抽取概率抽取预设比例的通道作为增强通道，并确定所述增强通道对应的特征图作为增强特征图；

对每个所述增强特征图进行特征提取，得到特征向量；

利用激活函数根据每个所述特征向量计算每个所述增强特征图的权重值；

按照每个所述权重值对应的通道位置选取每个所述增强特征图对应的通道并相乘，得到所述第二增强特征子图集。

5.根据权利要求1所述的方法，其特征在于，当所述通道抽取融合模型包括第二通道抽取融合子模型时，利用通道抽取融合模型对所述特征图集进行通道抽取融合处理，得到增强特征图集，包括：

启动所述第二通道抽取融合子模型的第二通道选择流程，对所述特征图集进行通道选择，得到第三增强特征子图集；

启动所述第二通道抽取融合子模型的第二特征提取流程，对所述特征图集进行特征提取，得到第四增强特征子图集；

对所述第三增强特征子图集和所述第四增强特征子图集按照通道进行叠加，得到所述增强特征图集。

6.根据权利要求5所述的方法，其特征在于，启动所述第二通道抽取融合子模型的第二通道选择流程，对所述特征图集进行通道选择，得到第三增强特征子图集，包括：

对所述特征图集中的每个特征图进行深度可分离卷积操作，得到下采样特征图；

计算每个所述下采样特征图的特征向量，并利用激活函数根据每个所述特征向量计算每个所述下采样特征图的权重值；

按照每个所述权重值对应的通道位置选取每个所述下采样特征图对应的通道并相乘，得到所述第三增强特征子图集。

7.根据权利要求5所述的方法，其特征在于，启动所述第二通道抽取融合子模型的第二特征提取流程，对所述特征图集进行特征提取，得到第四增强特征子图集，包括：

将所述特征图集中的每个特征图的长宽尺度降低为原来的一半，得到下采样特征图；

计算每个所述下采样特征图的特征向量，并利用激活函数根据每个所述特征向量计算每个所述下采样特征图的权重值；

按照每个所述权重值对应的通道位置选取每个所述下采样特征图对应的通道并相乘，得到所述第四增强特征子图集。

8.一种图像分割的系统，其特征在于，包括：

获取模块，用于获取原始图像集；

特征提取模块，用于利用骨干网络对所述原始图像集进行特征提取，得到特征图集；

通道抽取融合模块，用于利用通道抽取融合模型对所述特征图集进行通道抽取融合处理，得到增强特征图集；

图像分割模块，用于利用预设卷积神经网络对所述增强特征图集进行分割，得到图像分割结果。

9.一种图像分割设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述图像分割的方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述图像分割的方法的步骤。

Images