CN108961253A - 一种图像分割方法和装置 - Google Patents

Abstract

一种图像分割方法和装置，该方法包括，S10，获得待处理的目标图像；S20，对所述目标图像进行图像特征提取，获得该目标图像的特征图；S30，将所述特征图输入至DenseASPP网络中，得到输出结果；其中，所述DenseASPP网络为采用DenseNet方式构建的ASPP网络；S40，基于所述输出结果，得到所述目标图像所对应的图像分割预测结果。本发明通过在DenseASPP网络中以串联的方式堆叠不同膨胀率的卷积层，然后再结合密集连接，将不同卷积层得到的特征再次进行组合，因此构建出来的特征金字塔的尺度数量远大于使用并联的方式得到的尺度数量，可以更好的覆盖整个尺度空间。

Description

一种图像分割方法和装置

所属技术领域

本发明涉及机器视觉技术领域，特别是涉及一种图像分割方法和装置。

背景技术

图像分割是AI领域中一个重要的分支，是机器视觉技术中关于图像理解的重要一环。图像分割就是预测图像中每一个像素所属的类别或者物体。近年的自动驾驶技术中，也需要用到这种技术。车载摄像头探查到图像，后台计算机可以自动将图像分割归类，以避让行人和车辆等障碍。

对于图像，特别是交通场景的图像进行图像分割时，由于图像天然的透视变换，会存在同样的物体尺度差异较大的问题，比如汽车离摄像头近和远时，在照片中体现出来的大小不同。也就是说，需要进行图像分割的图像中既有非常大的目标，也有非常小的目标。而一个卷积网络往往有其所适用的尺度范围，也就是最适合处理哪个尺度范围的目标对象，举例而言：在膨胀卷积中选择不同的膨胀系数，往往会使得全卷积网络适用不同的尺度范围。并且，卷积网络中，卷积操作提取的特征的尺度范围，不但和卷积层的感受野成正比，同时也和该卷积层的膨胀系数成正比，而且，所提取的特征的尺度如果较大，会导致尺度小的目标对象被忽略。

现有的深度卷积网络对这一差异有一定鲁棒性，但是仅凭深度卷积网络本身并不能满足实用的需求，特别是交通场景下的应用需求。因此，通常的做法是在深度卷积网络提取的特征的基础上构建尺度金字塔以解决该问题。现有技术中比较有代表性的构建尺度金字塔的方式有ASPP(Atrous Patial Pyramid Pooling，即膨胀卷积空间金字塔池化)以及PSPNet(Pyramid Scene Parsing Network，即金字塔场景解析网络)。

现有技术中ASPP结构的全卷积网络，其具体为：构建多个并行分支，每个分支由具有不同膨胀系数的多孔卷积构成，然后综合多个分支的结果进行预测。图1所示为现有技术中PSPNet结构图，与ASPP类似，PSPNet也是通过并行的方式构建空间金字塔。然而，由于采用并行分支的结构，ASPP和PSPNet所能提供的尺度金字塔受分支数量的限制，而增加分支数量的话又会带来计算量剧增。也就是说，ASPP和PSPNet的主要的缺点在于该方法无法在计算量可接受的范围内构建出相对稠密的尺度金字塔。而尺度金字塔的数量多少直接关系图像分割时覆盖的尺度范围。同时ASPP受到膨胀卷积特性的约束无法提供更大的感受野。而较大的感受野对于不少大尺度的物体的特征提取是非常重要的。

发明内容

本发明主要解决的就是深度学习特征提取中的使用的尺度金字塔不够稠密的问题。本发明通过串联的方式堆叠不同膨胀率的卷积层，然后再结合密集连接，将不同卷积层得到的特征再次进行组合。根据卷积网络感受野叠加的原理，通过这样的方式可以使得最后的等效感受野为使用的膨胀卷积的多种排列组合，因此构建出来的特征金字塔的尺度数量远大于使用并联的方式得到的尺度数量，也因此可以更好的覆盖整个尺度空间。

本发明的目的在于提供一种图像分割方法和装置，具体技术方案如下：

第一方面，本发明实施例提供了一种图像分割方法，包括：

S10，获得待处理的目标图像；

S20，对所述目标图像进行图像特征提取，获得该目标图像的特征图；

S30，将所述特征图输入至DenseASPP网络中，得到输出结果；其中，所述DenseASPP网络为采用DenseNet方式构建的ASPP网络；

S40，基于所述输出结果，得到所述目标图像所对应的图像分割预测结果。

其中，所述采用DenseNet方式构建的ASPP网络通过串联方式堆叠多个不同膨胀率的卷积层，再结合密集连接，然后将不同卷积层得到的特征再次进行组合。

其中，所述DenseASPP网络包括第一至第五卷积层组，每个卷积层组包括第一卷积层和第二卷积层，第一卷积层为常规卷积层，第二卷积层为膨胀卷积层。

其中，第一卷积层的卷积核为1*1的，第二卷积层的卷积核为3*3。

其中，目标图像中包含不同尺度范围的目标对象。

其中，步骤S10还包括，获得该目标图像后对图像进行归一化。

其中，在步骤S20中，采用卷积神经网络对所述目标图像进行图像特征提取。

其中，所述卷积神经网络包括，第一至第五卷积层和第一至第三池化层，第一池化层位于第一卷积层之后，第二池化层位于第二卷积层之后，第三池化层位于第三卷积层之后，第四和第五卷积层为膨胀卷积层。

第二方面，本发明实施例提供了一种图像分割装置，包括：

目标图像获得模块410，用于获得待处理的目标图像；

特征图获得模块420，用于对所述目标图像进行图像特征提取，获得该目标图像的特征图；

图像分割模块430，用于将所述特征图输入至DenseASPP网络中，得到输出结果；其中，所述DenseASPP网络为采用DenseNet方式构建的ASPP网络；

结果获得模块440，用于基于该输出结果，得到该目标图像所对应的图像分割结果。

第三方面，本发明还提供了一种图像分割装置，包括存储器和处理器，存储器存储指令；处理器单元用于根据存储在存储器中的指令，执行如下步骤：

S10，获得待处理的目标图像；

S20，对所述目标图像进行图像特征提取，获得该目标图像的特征图；

S30，将所述特征图输入至DenseASPP网络中，得到输出结果；其中，所述DenseASPP网络为采用DenseNet方式构建的ASPP网络；

S40，基于所述输出结果，得到所述目标图像所对应的图像分割预测结果。

本发明实施例中，通过串联的方式堆叠不同膨胀率的卷积层，然后再结合密集连接，将不同卷积层得到的特征再次进行组合。根据卷积网络感受野叠加的原理，通过这样的方式可以使得最后的等效感受野为使用的膨胀卷积的多种排列组合，因此构建出来的特征金字塔的尺度数量远大于使用并联的方式得到的尺度数量，因此既可以处理大尺度范围的目标对象，又能够处理小尺度范围的目标对象，因此既可以处理大尺度范围的目标对象，又能够处理小尺度范围的目标对象，可以更好的覆盖整个尺度空间。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术的PSPNet结构示意图；

图2为本发明实施例的图像分割方法的流程图；

图3为本发明的DenseASPP结构示意图；

图4为本发明实施例的图像分割装置结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为解决深度学习特征提取中使用的尺度金字塔不够稠密的问题，本发明实施例提供了一种图像分割方法和装置。其中，本发明实施例所涉及的图像分割可以指：对图像的语义分割，或者，对图像的场景标记，可选地，还可以指其他对图像中区域进行划分的方式，在此不做限定。

下面首先对本发明实施例所提供的一种图像分割方法进行介绍。

需要说明的是，本发明实施例所提供的一种图像分割方法被一种图像分割装置所执行，其中，该图像分割装置可以为相关技术中独立的图像处理软件，也可以为图像处理软件中的功能插件；另外，该图像分割装置可以应用于电子设备中，该电子设备为终端设备和/或服务器。

如图2所示，本发明实施例提供了一种图像分割方法，包括如下步骤：

S10，获得待处理的目标图像；

S20，对所述目标图像进行图像特征提取，获得该目标图像的特征图；

S30，将所述特征图输入至DenseASPP网络中，得到输出结果；其中，所述DenseASPP网络为采用DenseNet方式构建的ASPP网络；

S40，基于所述输出结果，得到所述目标图像所对应的图像分割预测结果。

本发明主要解决的就是深度学习特征提取中的使用的尺度金字塔不够稠密的问题。本发明通过串联的方式堆叠不同膨胀率的卷积层，然后再结合密集连接，将不同卷积层得到的特征再次进行组合。根据卷积网络感受野叠加的原理，通过这样的方式可以使得最后的等效感受野为使用的膨胀卷积的多种排列组合，因此构建出来的特征金字塔的尺度数量远大于使用并联的方式得到的尺度数量，也因此可以更好的覆盖整个尺度空间。

具体地，该方法包括：

S10，获得待处理的目标图像。

其中，所谓的获得待处理的目标图像包括，从本地获得待处理的目标图像、从网络中下载获得待处理的目标图像、从车载设备获得待处理的目标图像、从路边设备获得待处理的目标图像等。获得的待处理图像可以是任意的RGB图像，也可以是普通的灰度图像、红外图像、16位图等等。并且，该目标图像中包含不同尺度范围的目标对象，例如，当该目标图像为车载摄像头所拍摄的监控图像时，该目标图像中包括属于近景的汽车，还包括属于远景的行人和指示牌，其中，该属于近景的汽车为大尺度范围的目标对象，该属于远景的行人和指示牌为小尺度范围的目标对象。

需要说明的是，大尺度范围和小尺度范围只是相对的说法，并不是限定到某个具体的范围。但是，对于某个训练过的卷积网络来说，其一般只适用于处理某个尺度范围内的目标对象，例如大尺度范围的目标对象或者小尺度范围的目标对象，而通常不是既能处理大尺度范围的目标对象，又适于处理小尺度范围的目标对象，这是现有的卷积网络进行图像分割时的局限性，而本发明通过串联的方式堆叠不同膨胀率的卷积层，然后再结合密集连接，将不同卷积层得到的特征再次进行组合。根据卷积网络感受野叠加的原理，通过这样的方式可以使得最后的等效感受野为使用的膨胀卷积的多种排列组合，因此构建出来的特征金字塔的尺度数量远大于使用并联的方式得到的尺度数量，因此既可以处理大尺度范围的目标对象，又能够处理小尺度范围的目标对象，可以更好的覆盖整个尺度空间。

另外，获得该目标图像后还可以对图像进行预处理，例如进行归一化。归一化是指将图像归一化到满足指定的均值和方差的图像，归一化操作的目的在于减小输入图像因为亮度，对比度等原因导致的差异，从而使得模型更加鲁棒。用于归一化的均值和方差通常使用训练数据集直接统计得到，当然也可以采取其他可能的方式，这属于本领域公知的手段，再次不做具体限定。

S20，对所述目标图像进行图像特征提取，获得该目标图像的特征图。

为了对目标图像进行图像分割，可以获得目标图像的特征图，其中，该特征图能够唯一确定出该目标图像。对于目标图像的特征提取操作可以通过采用任意的卷积神经网络进行。本领域中通常使用ImageNet分类网络进行。传统ImageNet分类网络由5个卷积block结构和最后的分类层组成，每一个block结构都会进行一次池化操作，池化后的特征分辨率变成输入block结构分辨率的1/2。

为了更好地说明该特征提取操作，本发明通过如下实施例进行详细描述，但可以理解地是该实施例并不是对本发明的具体限定。

本发明进行图像特征提取所采用的卷积神经网络，是通过对传统ImageNet分类网络进行修改而得到的。例如，具体方法可以是，首先移除ImageNet分类网络最后的分类层，只留下5个卷积block结构，然后将ImageNet分类网络最后的两层池化层去除，并分别将最后一个block结构和倒数第二个block结构的膨胀率分别设为4和2，使得ImageNet分类网络原先训练好的参数对于新的结构同样适用。经过这样的操作，使得卷积网络提取到的特征图的分辨率保持为原图的1/8，从而在控制计算量的同时尽可能地保留了图像中更多的细节。

具体地说，该特征提取所使用的卷积神经网络包括第一至第五卷积层和第一至第三池化层，所述第一池化层位于第一卷积层之后，所述第二池化层位于第二卷积层之后，所述第三池化层位于第三卷积层之后，所述第四和第五卷积层均为膨胀卷积层，且第四和第五卷积层的膨胀率分别设定为4和2。因此，经过该卷积神经网络提取到的特征图的分辨率保持为原图的1/8，从而在控制计算量的同时尽可能地保留了图像中更多的细节。

S30，将所述特征图输入至DenseASPP网络中，得到输出结果；其中，所述DenseASPP网络为采用DenseNet方式构建的ASPP网络；

所述采用DenseASPP网络具体具体为通过串联方式堆叠多个不同膨胀率的卷积层，再结合密集连接，然后将不同卷积层得到的特征再次进行组合。

如图2所示，对目标图像进行图像特征提取后获得的特征图被输入到DenseASPP网络。DenseASPP网络为采用DenseNet方式构建的ASPP网络。DenseASPP网络通过串联的方式堆叠不同膨胀率的卷积层，通过不同膨胀率的卷积层来抓取多尺度的特征图，然后再结合密集连接，将不同膨胀率的卷积层得到的特征再次进行组合，组合后再接一个卷积层输出预测结果。根据卷积网络感受野叠加的原理，通过这样的方式可以使得最后的等效感受野为使用的膨胀卷积的多种排列组合，因此构建出来的特征金字塔的尺度数量远大于使用并联的方式得到的尺度数量，因此既可以处理大尺度范围的目标对象，又能够处理小尺度范围的目标对象，可以更好的覆盖整个尺度空间。

如图3所示，DenseASPP网络包括第一至第五卷积层组，每个卷积层组由第一卷积层和第二卷积层组成，第一卷积层为常规卷积层，用于对输入的特征图进行降维，第二卷积层为膨胀卷积层，用于提取输入的特征图的特征。其中，第一卷积层的卷积核为1*1的，第二卷积层的卷积核为3*3。第一至第对于第一至第五卷积层组的第一层，即常规卷积层，其结构和工作方式是本领域公知的，可以采用任何可能的卷积结构，在此不对其进行具体限定。

膨胀卷积(Dilated Convolution)，就是将卷积核进行上采样(膨胀)，卷积核原位置权值不变而中间位置补0，膨胀卷积可通过采用不同膨胀因子来提高感受野，获取不同尺度的区域上下文特征，但不会增加网络参数和计算量。对于第一至第五卷积层组的第二层，通过膨胀卷积层提取的特征的尺度范围和卷积层的膨胀系数是成正比的，由于不同膨胀率的卷积层获取的感受野不同，因此将第一至第五层的膨胀卷积层的膨胀率分别设置为[3,6,12,18,24]，可以通过不同膨胀率的卷积层从特征图中获取到不同尺度的特征，从而形成与所分割图像中目标对象的尺度范围相匹配的特征。可以理解地是，这五个膨胀卷积层的膨胀率可以设置为其他数值，只要满足可以获取不同尺度的特征图即可。通常我们按照从前往后逐渐变大的顺序，当然也可以按照从前往后递减的顺序，再次不做具体限定。

如图3所示，DenseASPP网络是一种密集连接的卷积神经网络，该网络的每一层之间都通过密集连接进行信息传递。在该网络中，任何两层之间都有直接的连接，也就是说，网络每一层的输入都是前面所有层输出的并集，而该层所学习的特征图也会被直接传给其后面所有层作为输入。因此，相比于L层仅具有L个连接的传统网络来说，采用密集连接的DenseASPP，具有L*(L+1)/2个连接。从目标图像中提取出的特征图输入该DenseASPP网络处理后，在每个卷积层组分别进行处理，从而获得不同预定尺度范围的特征，然后经过级联处理，最后组合出不同尺度范围的特征。

DenseASPP网络通过使网络中的每一层都直接与其前面层相连，实现了特征的重复利用；由于大量的特征被重复利用，使得使用少量的卷积核就可以生成大量的特征，最终模型的尺寸也比较小。并且，根据卷积网络的感受野叠加原理，经过密集连接中不同通路的特征可以组合出不同尺度范围的特征。因此可以得到尺度空间上非常密集的特征表达。

另外，在每一个卷积层组之前还可以添加一层归一化层，用于对输入的特征图进行归一化，从而减小输入图像因为亮度，对比度等原因导致的差异，使得模型更加鲁棒，该归一化操作可以为Batch Normalization或是Group Normalization等各种可能的归一化方式，在此不做具体限定。

另外，在每一个卷积层组之后还可以包括一个非线性激活层，用于对卷积层处理后的数据进行激活。当然，第五卷积层组后也可以不设置非线性激活层以方便直接输出结果。该非线性激活层的结构和工作方式是本领域公知的，在此不做具体限定。

需要说明的是，上述的DenseASPP网络的层数、膨胀率、卷积核等参数仅是例举，并不局限于前述参数设置，也可以根据实际情况进行确定。

因此，本发明通过串联的方式堆叠不同膨胀率的卷积层，然后再结合密集连接，将不同卷积层得到的特征再次进行组合。根据卷积网络感受野叠加的原理，通过这样的方式可以使得最后的等效感受野为使用的膨胀卷积的多种排列组合，因此构建出来的特征金字塔的尺度数量远大于使用并联的方式得到的尺度数量，因此既可以处理大尺度范围的目标对象，又能够处理小尺度范围的目标对象，可以更好的覆盖整个尺度空间。

S40，基于该输出结果，得到该目标图像所对应的图像分割结果。

经过DenseASPP网络处理后，DenseASPP的输出结果是一个和输入特征图相同分辨率的特征图，该输出结果接一个的卷积层进行映射，再将映射后的结构进行8倍的双线性插值放大，放大后的输出经Softmax概率转换层转换后的输出作为最终需要的每个像素的分类结果。

上述卷积层的卷积核大小为1×1，当然，并不局限于前述参数设置，也可以根据实际情况进行确定。

本发明实施例中，采用DenseNet方式构建ASPP网络，通过串联的方式堆叠不同膨胀率的卷积层，然后再结合密集连接，将不同膨胀率的卷积层得到的特征再次进行组合，组合后再接一个卷积层输出预测结果。通过这样的方式可以使得最后的等效感受野为使用的膨胀卷积的多种排列组合，因此构建出来的特征金字塔的尺度数量远大于使用并联的方式得到的尺度数量，因此既可以处理大尺度范围的目标对象，又能够处理小尺度范围的目标对象，可以更好的覆盖整个尺度空间。

相应于上述方法实施例，本发明实施例还提供了一种图像分割装置。

如图4所示，本发明实施例还提供了一种图像分割装置，包括：

目标图像获得模块410，用于获得待处理的目标图像；

特征图获得模块420，用于对所述目标图像进行图像特征提取，获得该目标图像的特征图；

图像分割模块430，将所述特征图输入至DenseASPP网络中，得到输出结果；其中，所述DenseASPP网络为采用DenseNet方式构建的ASPP网络；

结果获得模块440，用于基于该输出结果，得到该目标图像所对应的图像分割结果。

具体地，该图像分割装置包括：

目标图像获得模块410，用于获得待处理的目标图像。

其中，所谓的获得待处理的目标图像包括，从本地获得待处理的目标图像、从网络中下载获得待处理的目标图像、从车载设备获得待处理的目标图像、从路边设备获得待处理的目标图像等。获得的待处理图像可以是任意的RGB图像，也可以是普通的灰度图像，红外图像，16位图等等。并且，该目标图像中包含不同尺度范围的目标对象，例如，当该目标图像为车载摄像头所拍摄的监控图像时，该目标图像中包括属于近景的汽车，还包括属于远景的行人和指示牌，其中，该属于近景的汽车为大尺度范围的目标对象，该属于远景的行人和指示牌为小尺度范围的目标对象。

需要说明的是，大尺度范围和小尺度范围只是相对的说法，并不是限定到某个具体的范围。但是，对于某个训练过的卷积网络来说，其一般只适用于处理某个尺度范围内的目标对象，例如大尺度范围的目标对象或者小尺度范围的目标对象，而通常不是既能处理大尺度范围的目标对象，又适于处理小尺度范围的目标对象，这是现有的卷积网络进行图像分割时的局限性，而本发明通过串联的方式堆叠不同膨胀率的卷积层，然后再结合密集连接，将不同卷积层得到的特征再次进行组合。根据卷积网络感受野叠加的原理，通过这样的方式可以使得最后的等效感受野为使用的膨胀卷积的多种排列组合，因此构建出来的特征金字塔的尺度数量远大于使用并联的方式得到的尺度数量，因此既可以处理大尺度范围的目标对象，又能够处理小尺度范围的目标对象，可以更好的覆盖整个尺度空间。

另外，获得该目标图像后还可以对图像进行预处理，例如进行归一化。归一化是指将图像归一化到满足指定的均值和方差的图像，归一化操作的目的在于减小输入图像因为亮度，对比度等原因导致的差异，从而使得模型更加鲁棒。用于归一化的均值和方差通常使用训练数据集直接统计得到，当然也可以采取其他可能的方式，这属于本领域公知的手段，再次不做具体限定。

特征图获得模块420，用于对所述目标图像进行图像特征提取，获得该目标图像的特征图；

为了对目标图像进行图像分割，可以获得目标图像的特征图，其中，该特征图能够唯一确定出该目标图像。特征图获得模块对于目标图像的特征提取操作可以通过采用任意的卷积神经网络进行。本领域中通常使用ImageNet分类网络进行。传统ImageNet分类网络由5个卷积block结构和最后的分类层组成，每一个block结构都会进行一次池化操作，特征分辨率变成输入bolck结构分辨率的1/2。

为了更好地说明该特征提取操作，本发明通过如下实施例进行详细描述，但可以理解地是该实施例并不是对本发明的具体限定。

本发明进行图像特征提取所采用的卷积神经网络，是通过对传统ImageNet分类网络进行修改而得到的。例如，具体方法可以是，首先移除ImageNet分类网络最后的分类层，只留下5个卷积block结构，然后将ImageNet分类网络最后的两层池化层去除，并分别将最后一个block结构和倒数第二个block结构的膨胀率分别设为4和2，使得ImageNet分类网络原先训练好的参数对于新的结构同样适用。经过这样的操作，使得卷积网络提取到的特征图的分辨率保持为原图的1/8，从而在控制计算量的同时尽可能地保留了图像中更多的细节。

具体地说，该特征图获得模块使用的卷积神经网络包括第一至第五卷积层、第一至第三池化层、第一膨胀卷积层和第二膨胀卷积层，所述第一池化层位于第一卷积层之后，所述第二池化层位于第二卷积层之后，所述第三池化层位于第三卷积层之后，所述第四和第五卷积层均为膨胀卷积层，且第四和第五卷积层的膨胀率分别设定为4和2。因此，经过该卷积神经网络提取到的特征图的分辨率保持为原图的1/8，从而在控制计算量的同时尽可能地保留了图像中更多的细节。

图像分割模块430，用于将所述特征图输入至DenseASPP网络中，得到输出结果；其中，所述DenseASPP网络为采用DenseNet方式构建的ASPP网络。

所述DenseASPP网络具体为通过串联方式堆叠多个不同膨胀率的卷积层，再结合密集连接，然后将不同卷积层得到的特征再次进行组合。

对目标图像进行图像特征提取后获得的特征图被输入到DenseASPP网络。DenseASPP网络为采用DenseNet方式构建的ASPP网络。DenseASPP网络通过串联的方式堆叠不同膨胀率的卷积层，通过不同膨胀率的卷积层来抓取多尺度的特征图，然后再结合密集连接，将不同膨胀率的卷积层得到的特征再次进行组合，组合后再接一个卷积层输出预测结果。根据卷积网络感受野叠加的原理，通过这样的方式可以使得最后的等效感受野为使用的膨胀卷积的多种排列组合，因此构建出来的特征金字塔的尺度数量远大于使用并联的方式得到的尺度数量，因此既可以处理大尺度范围的目标对象，又能够处理小尺度范围的目标对象，可以更好的覆盖整个尺度空间。

如图3所示，DenseASPP网络包括第一至第五卷积层组，每个卷积层组由第一卷积层和第二卷积层组成，第一卷积层为常规卷积层，用于对输入的特征图进行降维，第二卷积层为膨胀卷积层，用于提取输入的特征图的特征。其中，第一卷积层的卷积核为1*1的，第二卷积层的卷积核为3*3。对于第一至第五卷积层组的第一层，即常规卷积层，其结构和工作方式是本领域公知的，可以采用任何可能的卷积结构，在此不对其进行具体限定。

膨胀卷积(Dilated Convolution)，就是将卷积核进行上采样(膨胀)，卷积核原位置权值不变而中间位置补0，膨胀卷积可通过采用不同膨胀因子来提高感受野，获取不同尺度的区域上下文特征，但不会增加网络参数和计算量。对于第一至第五卷积层组的第二层，通过膨胀卷积层提取的特征的尺度范围和卷积层的膨胀系数是成正比的，由于不同膨胀率的卷积层获取的感受野不同，因此将第一至第五层的膨胀卷积层的膨胀率分别设置为[3,6,12,18,24]，可以通过不同膨胀率的卷积层从特征图中获取到不同尺度的特征，从而形成与所分割图像中目标对象的尺度范围相匹配的特征。可以理解地是，这五个膨胀卷积层的膨胀率可以设置为其他数值，只要满足可以获取不同尺度的特征图即可。通常我们按照从前往后逐渐变大的顺序，当然也可以按照从前往后递减的顺序，再次不做具体限定。

如图3所示，DenseASPP网络是一种密集连接的卷积神经网络，该网络的每一层之间都通过密集连接进行信息传递。在该网络中，任何两层之间都有直接的连接，也就是说，网络每一层的输入都是前面所有层输出的并集，而该层所学习的特征图也会被直接传给其后面所有层作为输入。因此，相比于L层仅具有L个连接的传统网络来说，采用密集连接的DenseASPP，具有L*(L+1)/2个连接。从目标图像中提取出的特征图输入该DenseASPP网络处理后，在每个卷积层组分别进行处理，从而获得不同预定尺度范围的特征，然后经过级联处理，最后组合出不同尺度范围的特征。

DenseASPP网络通过使网络中的每一层都直接与其前面层相连，实现了特征的重复利用；由于大量的特征被重复利用，使得使用少量的卷积核就可以生成大量的特征，最终模型的尺寸也比较小。并且，根据卷积网络的感受野叠加原理，经过密集连接中不同通路的特征可以组合出不同尺度范围的特征。因此可以得到尺度空间上非常密集的特征表达。

另外，在每一个卷积层组之前还可以添加一层归一化层，用于对输入的特征图进行归一化，从而减小输入图像因为亮度，对比度等原因导致的差异，使得模型更加鲁棒，该归一化操作可以为Batch Normalization或是Group Normalization等各种可能的归一化方式，在此不做具体限定。

另外，在每一个卷积层组之后还可以包括一个非线性激活层，用于对卷积层处理后的数据进行激活。该非线性激活层的结构和工作方式是本领域公知的，在此不做具体限定。

需要说明的是，上述的DenseASPP网络的层数、膨胀率、卷积核等参数仅是例举，并不局限于前述参数设置，也可以根据实际情况进行确定。

因此，本发明通过串联的方式堆叠不同膨胀率的卷积层，然后再结合密集连接，将不同卷积层得到的特征再次进行组合。根据卷积网络感受野叠加的原理，通过这样的方式可以使得最后的等效感受野为使用的膨胀卷积的多种排列组合，因此构建出来的特征金字塔的尺度数量远大于使用并联的方式得到的尺度数量，因此既可以处理大尺度范围的目标对象，又能够处理小尺度范围的目标对象，可以更好的覆盖整个尺度空间。

结果获得模块440，用于基于该输出结果，得到该目标图像所对应的图像分割结果。

经过DenseASPP网络处理后，图像分割模块430的输出结果是一个和输入特征图相同分辨率的特征图，该输出结果接一个的卷积层进行映射，再将映射后的结构进行8倍的双线性插值放大，放大后的输出经Softmax概率转换层转换后的输出作为最终需要的每个像素的分类结果。

上述卷积层的卷积核大小为1×1，当然，并不局限于前述参数设置，也可以根据实际情况进行确定。

本发明实施例中，采用DenseNet方式构建ASPP网络，通过串联的方式堆叠不同膨胀率的卷积层，然后再结合密集连接，将不同膨胀率的卷积层得到的特征再次进行组合，组合后再接一个卷积层输出预测结果。通过这样的方式可以使得最后的等效感受野为使用的膨胀卷积的多种排列组合，因此构建出来的特征金字塔的尺度数量远大于使用并联的方式得到的尺度数量，因此既可以处理大尺度范围的目标对象，又能够处理小尺度范围的目标对象，可以更好的覆盖整个尺度空间。

本发明还提供了一种图像分割装置，包括存储器和处理器。

其中，存储器用于存储应用、指令、模块和数据，处理单元通过运行存储在存储单元中的应用、指令、模块和数据，从而执行客户端的各种功能应用(例如本发明的图像分割装置)以及数据处理。存储单元主要包括应用存储区和数据存储区，其中，应用存储区存储操作系统、应用软件(比如声音播放软件、图像播放软件)等；数据存储区存储客户端的使用所创建的数据(比如音频数据、视频数据、电话本)等。存储器包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理单元是客户端的控制中心，用于执行存储在存储单元内的应用软件和/或模块，以及调用存储在存储器内的数据，执行客户端的各种功能和处理数据。

另外，客户端还可以包括摄像头、麦克风、蓝牙模块、传感器、电源等，在此不再赘述。

在本发明实施例中，存储器存储指令；处理器单元用于根据存储在存储器中的指令，执行如下步骤：

S10，获得待处理的目标图像；

S20，对所述目标图像进行图像特征提取，获得该目标图像的特征图；

S30，将所述特征图输入至DenseASPP网络中，得到输出结果；其中，所述DenseASPP网络为采用DenseNet方式构建的ASPP网络；

S40，基于所述输出结果，得到所述目标图像所对应的图像分割预测结果。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的各模块、各指令的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种图像分割方法，包括如下步骤：

S10，获得待处理的目标图像；

S20，对所述目标图像进行图像特征提取，获得该目标图像的特征图；

S30，将所述特征图输入至DenseASPP网络中，得到输出结果；其中，所述DenseASPP网络为采用DenseNet方式构建的ASPP网络；

S40，基于所述输出结果，得到所述目标图像所对应的图像分割预测结果。

2.根据权利要求1所述的方法，其中，所述DenseASPP网络具体为通过串联方式堆叠多个不同膨胀率的卷积层，再结合密集连接，然后将不同卷积层得到的特征再次进行组合。

3.根据权利要求1或2所述的方法，其中，所述DenseASPP网络包括第一至第五卷积层组，每个卷积层组包括第一卷积层和第二卷积层，第一卷积层为常规卷积层，第二卷积层为膨胀卷积层。

4.根据权利要求3所述的方法，其中，第一卷积层的卷积核为1*1的，第二卷积层的卷积核为3*3。

5.根据权利要求1-4中任一项所述的方法，其中，目标图像中包含不同尺度范围的目标对象。

6.根据权利要求1-5中任一项所述的方法，其中，步骤S10还包括，获得该目标图像后对图像进行归一化。

7.根据权利要求1-6中任一项所述的方法，其中，在步骤S20中，采用卷积神经网络对所述目标图像进行图像特征提取。

8.根据权利要求7所述的方法，其中，所述卷积神经网络包括，第一至第五卷积层和第一至第三池化层，第一池化层位于第一卷积层之后，第二池化层位于第二卷积层之后，第三池化层位于第三卷积层之后，第四和第五卷积层为膨胀卷积层。

9.一种图像分割装置，包括：

目标图像获得模块，用于获得待处理的目标图像；

特征图获得模块，用于对所述目标图像进行图像特征提取，获得该目标图像的特征图；

图像分割模块，用于将所述特征图输入至用于图像分割的目标网络中，得到输出结果；其中，所述目标网络为采用DenseNet方式构建的ASPP网络；

结果获得模块，用于基于该输出结果，得到该目标图像所对应的图像分割结果。

10.一种图像分割装置，包括存储器和处理器；其中，所述存储器存储指令；所述处理器用于根据存储在存储器中的指令，执行权利要求1-8中任一项所述的方法。