CN110807463A - 图像分割方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种图像分割方法、装置、计算机设备和存储介质。所述方法包括：获取待分割图像；输入待分割图像至图像分割模型；通过图像分割模型中的卷积网络对待分割图像进行卷积运算，生成卷积特征图；输入卷积特征图至图像分割模型中的反卷积网络，对卷积特征图进行反卷积运算，得到反卷积特征图；根据反卷积特征图确定待分割图像的分割结果。对待分割图像进行卷积运算，提取卷积特征，对提取到的卷积特征进行反卷积运算，提高图像的精度，从而提高图像分割的精确度。

Description

图像分割方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种图像分割方法、装置、计算机设备和存储介质。

背景技术

随着计算机视觉技术的发展，数字图像处理技术被应用到各个领域中，如实时定位系统、监控、安防、支付安全等等。数字图像处理包括图像增强、去燥、分割等等。图像分割是指对图像进行区域分割，得到多个分割区域。常见的图像分割方法包括阈值分割、基于神经网络的分割等等。

基于神经网络的分割，基本上是对图像进行特征提取，根据提取的特征进行分割，由于在提取特征时需要对图像导致图像精度下降，根据精度下降的图像中提取的特征进行图像分割得到的分割结果的分割精度低。

发明内容

为了解决上述技术问题，本申请提供了一种图像分割方法、装置、计算机设备和存储介质。

第一方面，本申请提供了一种图像分割方法，包括：

获取待分割图像；

输入待分割图像至图像分割模型；

通过图像分割模型中的卷积网络对待分割图像进行卷积运算，生成卷积特征图；

输入卷积特征图至图像分割模型中的反卷积网络，对卷积特征图进行反卷积运算，得到反卷积特征图；

根据反卷积特征图确定待分割图像的分割结果。

第二方面，本申请提供了一种图像分割装置，包括：

数据获取模块，用于获取待分割图像；

数据输入模块，用于输入待分割图像至图像分割模型；

卷积模块，用于通过图像分割模型中的卷积网络对待分割图像进行卷积运算，生成卷积特征图；

反卷积模块，用于输入卷积特征图至图像分割模型中的反卷积网络，对卷积特征图进行反卷积运算，得到反卷积特征图；

分割模块，用于根据反卷积特征图确定待分割图像的分割结果。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取待分割图像；

输入待分割图像至图像分割模型；

通过图像分割模型中的卷积网络对待分割图像进行卷积运算，生成卷积特征图；

输入卷积特征图至图像分割模型中的反卷积网络，对卷积特征图进行反卷积运算，得到反卷积特征图；

根据反卷积特征图确定待分割图像的分割结果。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取待分割图像；

输入待分割图像至图像分割模型；

通过图像分割模型中的卷积网络对待分割图像进行卷积运算，生成卷积特征图；

输入卷积特征图至图像分割模型中的反卷积网络，对卷积特征图进行反卷积运算，得到反卷积特征图；

根据反卷积特征图确定待分割图像的分割结果。

上述图像分割方法、装置、计算机设备和存储介质，所述方法包括：获取待分割图像；输入待分割图像至图像分割模型；通过图像分割模型中的卷积网络对待分割图像进行卷积运算，生成卷积特征图；输入卷积特征图至图像分割模型中的反卷积网络，对卷积特征图进行反卷积运算，得到反卷积特征图；根据反卷积特征图确定待分割图像的分割结果。对待分割图像进行卷积运算，提取卷积特征，对提取到的卷积特征进行反卷积运算，提高图像的精度，从而提高图像分割的精确度。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像分割方法的应用环境图；

图2为一个实施例中图像分割方法的流程示意图；

图3为一个实施例中卷积层的网络结构示意图；

图4为一个实施例中反卷积层的网络结构示意图；

图5为一个实施例中图像分割模型的网络结构示意图；

图6为一个实施例中图像分割装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为一个实施例中图像分割方法的应用环境图。参照图1，该图像分割方法应用于图像分割系统。该图像分割系统包括终端110和服务器120。终端110和服务器120通过网络连接。终端110或服务器120获取待分割图像；输入待分割图像至图像分割模型；通过图像分割模型中的卷积网络对待分割图像进行卷积运算，生成卷积特征图；输入卷积特征图至图像分割模型中的反卷积网络，对卷积特征图进行反卷积运算，得到反卷积特征图；根据反卷积特征图确定待分割图像的分割结果。

终端110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

如图2所示，在一个实施例中，提供了一种图像分割方法。本实施例主要以该方法应用于上述图1中的终端110(或服务器120)来举例说明。参照图2，该图像分割方法具体包括如下步骤：

步骤S201，获取待分割图像。

具体地，待分割图像可以为设置在设备上的图像采集实时采集的图像，也可以是从网页上下载的图像等等。待分割图像中包括至少一个待分割区域，其中待分割目标区域可以是整个待分割图像的图像区域，也可以为待分割图像中的任意图像区域。如图像中包括两个待分割区域，如背景区域和前景区域，其中前景区域可以包括多个区域。若图像中包含桌子、椅子和沙发等等。则图像可以分割为桌子区域、椅子区域、沙发区域和背景区域。

步骤S202，输入待分割图像至图像分割模型。

步骤S203，通过图像分割模型中的卷积网络对待分割图像进行卷积运算，生成卷积特征图。

具体地，图像分割模型包括卷积网络和反卷积网络，其中卷积网络包括至少一个卷积层，每个卷积层包括至少一个卷积单元和池化单元，也还可以批正则化单元、激活单元，其中池化单元为最大池化单元。其中卷积单元用于通过卷积核对输入的数据进行卷积运算，批规则化单元用于对数据进行归一化处理，归一化处理可以加快图像分割模型的训练速度，即使用较大的学习率来训练网络；增加归一化层可以提高网络的泛化能力。

在一个实施例中，每个卷积层包括第一卷积单元、第一批正则化单元、第一激活单元和最大池化单元，步骤S203包括：通过第一卷积单元对待分割图像进行卷积运算，得到第一卷积特征图，通过第一批正则化单元对第一卷积特征图进行归一化处理，得到第一归一化特征图，通过第一激活单元对第一归一化特征图进行非线性变换，得到第一变换特征图，通过最大池化单元对第一变换特征图进行最大池化运算，得到池化特征图，池化特征图包括池化索引标识，根据池化特征图生成卷积特征图。

具体地，图像分割模型中卷积层包含一个或多个。各个卷积层中的卷积核大小和卷积核数量根据需求自定义设置。第一批正则化单元为BN(Batch Normalization，批正则化)。第一激活单元为RELU，最大池化单元用于降维和提取特征。池化索引标识为最大池化时选取的特征点的位置信息。

在一个实施例中，当卷积网络包含一个卷积层时，将池化特征图作为卷积特征图。

在另一个实施例中，当卷积网络中卷积层包含多个时，将池化特征图输入卷积网络中的下一个卷积层，通过下一个卷积层中的第一卷积单元、第一批规则化单元、第一激活单元和最大池化单元进行处理，直至得到的池化特征图为图像分割模型中的最后一个卷积层中的最大池化单元输出的池化特征图，将池化特征图作为卷积特征图。保留每个卷积层中的最大池化单元的池化索引标识。不同的卷积层提取不同图像特征，丰富提取的特征。

在一个实施例中，第一激活单元包括多个神经元，第一激活单元中包括状态参数生成函数生成函数，通过第一激活单元对第一归一化特征图进行非线性变换，得到第一变换特征图，包括：随机分配状态参数生成函数生成的状态参数给第一激活单元中的各个神经元，状态参数包括活跃和不活跃；通过第一激活单元的激活函数对第一归一化特征图进行非线性变换；输出状态参数为活跃的各个神经元的特征，得到第一变换特征图。

具体地，第一激活单元中包含多个神经元，各个神经元的状态可以根据状态参数调节，状态参数包括活跃和不活跃两种，其中状态参数为活跃的神经元能够输出对应的特征，状态参数为不活跃的神经元不输出对应的特征。第一激活单元中的各个神经元的状态参数随机生成，由状态参数为活跃的各个神经元输出的特征组成第一变换特征图。

步骤S204，输入卷积特征图至图像分割模型中的反卷积网络，对卷积特征图进行反卷积运算，得到反卷积特征图。

具体地，反卷积网络包括至少一个反卷积层，反卷积层包括上采样单元和反卷积单元，也还可以批正则化单元和激活单元。其中，上采样单元用于对输入的特征图进行上采样处理，反卷积单元，用于对上采样后的图像进行卷积操作。反卷积层中的批正则化单元和激活单元，卷积层中批正则化单元和激活单元具有相同的作用。

在一个实施例中，每个反卷积层包括上采样单元、第二反卷积单元、第二批正则化单元和第二激活单元当池化特征图为卷积网络中的最后一个卷积层的输出特征图时，步骤S204包括：通过上采样单元和池化索引标识对池化特征图进行上采样，得到上采样特征图，通过第二反卷积单元对上采样特征图进行卷积运算，得到第二卷积特征图，通过第二批正则化单元对第二卷积特征图进行归一化处理，得到第二归一化特征图，通过第二激活单元对第二归一化特征图进行非线性变换，得到第二变换特征图，根据第二变换特征图生成反卷积特征图。

在一个实施例中，当反卷积网络包括一个反卷积层时，将第二变化特征图作为反卷积特征图。仅存在一个反卷积层时，直接将该反卷积层输出的第二变化特征图作为反卷积特征图。

在另一个实施例中，当反卷积网络包括多个反卷积层时，将第二变换特征图输入反卷积网络中的下一个反卷积层，直至第二变换特征图为反卷积网络中的最后一个反卷积层的输出特征图，将第二变化特征图作为反卷积特征图。

具体地，对于存在多个反卷积层的反卷积网络，按照各个反卷积层的数据连接方式，上一个反卷积层的输出数据输入至下一个反卷积层，直至下一个反卷积层为反卷积网络中的最后一个卷积层，将最后一个卷积层中输出的第二变换特征图作为反卷积特征图。

步骤S205，根据反卷积特征图确定待分割图像的分割结果。

具体地，其中待分割图像的分割结果包括分割区域和对应的区域类型。其中，区域类型可以根据需求自定义，区域分割模型识别到的区域类型为训练模型时设置的模型类别。如训练时，设定的区域类型包括固定类型和变化类型，如固定类型包括桌子、墙壁、椅子等，变化类型包括人、动物等。区域类型还可以细分为桌子、墙壁、椅子、人、动物等。

在一个实施例中，各个分割区域组成图像与待分割图像为相同尺寸的图像。

在一个实施例中，输入反卷积特征图至softmax层，输出待分割图像的各个分割区域的识别结果和区域信息。

具体地，softmax层用于对反卷积特征图进行归一化和识别，归一化是指将反卷积特征图中的特征值归一化至特定区间，识别是指识别反卷特征图的特征，从而得到待分割图像对应的分割区域的识别结果和区域信息，其中信息包括区域边界信息、区域大小等等。

在一个实施例中，输入反卷积特征图至softmax层，输出待分割图像的各个分割区域的识别结果和区域信息之后，还包括：根据各个分割区域的区域信息获取各个分割区域的边界信息，计算世界坐标系中各个分割区域的边界信息；根据各个分割区域的识别结果和对应的边界信息，生成用于规划预设设备的行驶路径的导航指令，发送导航指令。

具体地，边界信息是指分割区域的边界所在位置，世界坐标系是指现实世界中的定义的坐标系，世界坐标系可以直接定义为设备坐标系，也可以根据设备所在的位置定义世界坐标系，世界坐标系和设备坐标系存在对应关系。可以通过设备坐标系和图像坐标系之间的关系，将图像坐标系中的位置数据转换为设备坐标系的位置数据，进一步根据设备坐标系和世界坐标系之间的对应关系，将设备坐标系中的位置数据转换为世界坐标系中的位置数据。预设设备是指能够根据发送的导航指令进行移动的设备，可移动的设备包括扫地机器人、抽湿机等家电设备，或叉车等运输设备等等。其中待分割图像为搭载在可移动的设备上的图像采集设备采集的图像。导航指令是用于指示预设设备移动的计算机指令。导航指令可以直接通过搭载在预设设备上的处理器生成，也可以由与预设设备能够实现通信的计算机设备完成。

上述图像分割方法，包括：获取待分割图像；输入待分割图像至图像分割模型；通过图像分割模型中的卷积网络对待分割图像进行卷积运算，生成卷积特征图；输入卷积特征图至图像分割模型中的反卷积网络，对卷积特征图进行反卷积运算，得到反卷积特征图；根据反卷积特征图确定待分割图像的分割结果。对待分割图像进行卷积运算，提取卷积特征，对提取到的卷积特征进行反卷积运算，提高图像的精度，从而提高图像分割的精确度。

在一个具体的实施例中，上述图像分割方法得到的分割结果和区域信息可以用于可移动设备的导航，可移动设备包括运输设备和家电设备等等。

采用深度卷积神经网络算法，它由一个多层的卷积编码网络和一个对应有相同层数的反卷积神经网络组成，解码网络后面跟随一个分类层。具体结构参照图3、4和5，深度卷积神经网络(图像分割模型)包括输入层，卷积网络，反卷积网络，像素级别分类层(输出层)，分别对应图5中的Input images、code module、decode module、output images。其中，Input images用来将图片输入到网络，code module是个全卷积神经网络，每层卷积层后都接有下采样层，该卷积编码网络结构与为物体分类而设计的VGG-19网络结构的前16层卷积神经层相似，同时抛弃了VGG-19的全连接层，这样有利于在最深层的编码器中输出高分辨率的特征图，并减少了网络的参数，从而减少网络的训练时间。与之对应的反卷积解码层decode module也有16个卷积层，所以整个网络结构达到了32层。最后的output images是由一个Softmax分类器组成，它用来将对应位置的像素点分类为各个类别，计算出归属于哪个类别的概率，对于障碍物信息的识别来说，主要是将输入图像像素分为N类(一种障碍物信息即为一种类别)。

在卷积网络中，每一次的卷积操作都是通过3x3大小的卷积核对上一层的输出进行特征提取，然后对所提取的特征进行批正则化操作(Batch Normalization)，并利用激活函数ReLu对特征进行非线性映射，再利用Dropout层使得网络中的节点以一定的概率关闭，最后进行池化操作(Pooling)，统一采用最大池化(Max-Pooling)。池化后每个特征的长宽都变为原来的二分之一，最大池化可以获取图像在小空间位移变化上的平移不变性。而多个最大池化可以为分类器获得更加鲁棒性的特征。但不断的进行池化下采样，会造成图片不断失真，边界信息丢失，并不利于图像的分割任务。所以相对应的为后续设置反卷积网络，为了尽可能的还原待分割图像信息，还需要在池化的过程中记录最大特征值的索引位置。

每个反卷积层使用池化过程记录的特征索引对输入特征进行上采样(Upsampleing)，再使用一个可训练的卷积核对上采样的稀疏特征图进行卷积操作得到稠密的特征图，然后卷积过程类似，紧接着进行批正则化、ReLu激活函数进行非线性变换。

最后的图像输出层为SoftMax分类器，单独的为每个像素进行分类，其输出的是每个像素对应的类别概率，每个像素的最大概率的分类就是预测的分类。

在该网络结构中，为了克服深度神经网络难以训练的缺点并加速网络的训练过程，在每个卷积层后添加批正则化层，防止了深度网络在训练过程中容易出现的梯度消失问题，有助于提高训练的收敛速度和模型精度，同时使用Dropout以防止模型出现过拟合的现象。

在一个实施例中，训练得到图像分割模型。采集图片制作训练数据集，训练数据集选取摄像头安装视角下的图片，包含障碍物信息和没有障碍物信息的，并对训练数据集进行标注，将每个像素点分为N种语义类别:为了方便计算机读取数据，分别对每种类别进行one-hot编码(如果分为4类，就需要四位的编码，分别对应0001 0010 0100 1000)。通过梯度下降法训练样本就可以得到障碍物信息的分割模型(图像分割模型)，该模型可以将输入图片进行分割，将其像素点分N类(可以包括桌椅板凳、宠物、沙发、床、墙等)。

根据识别出的障碍物信息像素类别来判断图像中包含的障碍物种类。

图像模块采集的图像经过预处理后，作为输入传递给障碍物信息分割模型，输出按像素分割的结果，所有的像素点都被分为N类。对所有的像素点进行统计，统计像素所属的类别，就可以得到识别的对应的种类了。

目前障碍的类别信息主要为机器人智能化提供信息，例如针对人和宠物等移动的物体会选择相应的等待策略，而面对固定的物体会选择避障策略。

图2为一个实施例中图像分割方法的流程示意图。应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图6所示，提供了一种图像分割装置，包括：

数据获取模块201，用于获取待分割图像。

数据输入模块202，用于输入待分割图像至图像分割模型。

卷积模块203，用于通过图像分割模型中的卷积网络对待分割图像进行卷积运算，生成卷积特征图。

反卷积模块204，用于输入卷积特征图至图像分割模型中的反卷积网络，对卷积特征图进行反卷积运算，得到反卷积特征图。

分割模块205，用于根据反卷积特征图确定待分割图像的分割结果。

在一个实施例中，卷积模块203具体用于通过第一卷积单元对待分割图像进行卷积运算，得到第一卷积特征图，通过第一批正则化单元对第一卷积特征图进行归一化处理，得到第一归一化特征图，通过第一激活单元对第一归一化特征图进行非线性变换，得到第一变换特征图，通过最大池化单元对第一变换特征图进行最大池化运算，得到池化特征图，池化特征图包括池化索引标识，根据池化特征图生成卷积特征图，其中卷积网络包含至少一个卷积层，每个卷积层包括第一卷积单元、第一批正则化单元、第一激活单元和最大池化单元。

在本实施例中，反卷积模块204具体用于当池化特征图为卷积网络中的最后一个卷积层的输出特征图时，通过上采样单元和池化索引标识对卷积特征图进行上采样，得到上采样特征图，通过第二反卷积单元对上采样特征图进行卷积运算，得到第二卷积特征图，通过第二批正则化单元对第二卷积特征图进行归一化处理，得到第二归一化特征图，通过第二激活单元对第二归一化特征图进行非线性变换，得到第二变换特征图，根据第二变换特征图生成反卷积特征图，其中反卷积网络包括至少一个反卷积层，每个反卷积层包括上采样单元、第二反卷积单元、第二批正则化单元和第二激活单元。

在一个实施例中，卷积模块203具体用于当卷积网络包含一个卷积层时，将池化特征图作为所述卷积特征图，当卷积网络包含多个卷积层时，将池化特征图输入卷积网络中的下一个卷积层，直至池化特征图为卷积网络中的最后一个卷积层的输出特征图时，将池化特征图作为卷积特征图。

在一个实施例中，反卷积模块204具体用于当反卷积网络包括一个反卷积层时，将第二变化特征图作为反卷积特征图，当反卷积网络包括多个反卷积层时，将第二变换特征图输入反卷积网络中的下一个反卷积层，直至第二变换特征图为反卷积网络中的最后一个反卷积层的输出特征图，将第二变化特征图作为反卷积特征图。

在一个实施例中，分割模块205具体用于输入反卷积特征图至softmax层，输出待分割图像的各个分割区域的识别结果和区域信息。

在一个实施例中，卷积模块203还用于随机分配状态参数生成函数生成的状态参数给第一激活单元中的各个神经元，状态参数包括活跃和不活跃；通过第一激活单元的激活函数对第一归一化特征图进行非线性变换，输出状态参数为活跃的各个神经元的特征，得到第一变换特征图。

在一个实施例中，上述图像分割装置200，还包括：

位置计算模块，用于根据各个分割区域的区域信息获取各个分割区域的边界信息，计算世界坐标系中各个分割区域的边界信息。

路径规划模块，用于根据各个分割区域的识别结果和对应的的边界信息，生成用于规划预设设备的行驶路径的导航指令，发送导航指令。

在一个实施例中，卷积模块203中的卷积层的网络层数和反卷积模块204中的网络层数相同。

图7示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110(或服务器120)。如图7所示，该计算机设备通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现图像分割方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图像分割方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸网络，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的图像分割装置可以实现为一种计算机程序的形式，计算机程序可在如图7所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像分割装置的各个程序模块，比如，图6所示的数据获取模块201、数据输入模块202、卷积模块203、反卷积模块204和分割模块205。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像分割方法中的步骤。

例如，图7所示的计算机设备可以通过如图6所示的图像分割装置中的数据获取模块201，用于获取待分割图像。计算机设备可以通过数据输入模块202，用于输入待分割图像至图像分割模型。计算机设备可以通过卷积模块203，用于通过图像分割模型中的卷积网络对待分割图像进行卷积运算，生成卷积特征图。计算机设备可以通过反卷积模块204，用于输入卷积特征图至图像分割模型中的反卷积网络，对卷积特征图进行反卷积运算，得到反卷积特征图。计算机设备可以通过分割模块205，用于根据反卷积特征图确定待分割图像的分割结果。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取待分割图像；输入待分割图像至图像分割模型；通过图像分割模型中的卷积网络对待分割图像进行卷积运算，生成卷积特征图；输入卷积特征图至图像分割模型中的反卷积网络，对卷积特征图进行反卷积运算，得到反卷积特征图；根据反卷积特征图确定待分割图像的分割结果。

在一个实施例中，卷积网络包含至少一个卷积层，每个卷积层包括第一卷积单元、第一批正则化单元、第一激活单元和最大池化单元，反卷积网络包括至少一个反卷积层，每个反卷积层包括上采样单元、第二反卷积单元、第二批正则化单元和第二激活单元；通过图像分割模型中的卷积网络对待分割图像进行卷积运算，生成卷积特征图，包括：通过第一卷积单元对待分割图像进行卷积运算，得到第一卷积特征图，通过第一批正则化单元对第一卷积特征图进行归一化处理，得到第一归一化特征图，通过第一激活单元对第一归一化特征图进行非线性变换，得到第一变换特征图，通过最大池化单元对第一变换特征图进行最大池化运算，得到池化特征图，池化特征图包括池化索引标识，根据池化特征图生成卷积特征图；当池化特征图为卷积网络中的最后一个卷积层的输出特征图时，输入卷积特征图至图像分割模型中的反卷积网络，对卷积特征图进行反卷积运算，得到反卷积特征图，包括：通过上采样单元和池化索引标识对卷积特征图进行上采样，得到上采样特征图，通过第二反卷积单元对上采样特征图进行卷积运算，得到第二卷积特征图，通过第二批正则化单元对第二卷积特征图进行归一化处理，得到第二归一化特征图，通过第二激活单元对第二归一化特征图进行非线性变换，得到第二变换特征图，根据第二变换特征图生成反卷积特征图。

在一个实施例中，根据池化特征图生成卷积特征图，包括：当卷积网络包含一个卷积层时，将池化特征图作为卷积特征图；当卷积网络包含多个卷积层时，将池化特征图输入卷积网络中的下一个卷积层，直至池化特征图为卷积网络中的最后一个卷积层的输出特征图时，将池化特征图作为卷积特征图。

在一个实施例中，根据第二变换特征图生成反卷积特征图，包括：当反卷积网络包括一个反卷积层时，将第二变化特征图作为反卷积特征图；当反卷积网络包括多个反卷积层时，将第二变换特征图输入反卷积网络中的下一个反卷积层，直至第二变换特征图为反卷积网络中的最后一个反卷积层的输出特征图，将第二变化特征图作为反卷积特征图。

在一个实施例中，图像分割模型的输出层为softmax层，根据第二变换特征图生成分割图像，包括：输入反卷积特征图至softmax层，输出待分割图像的各个分割区域的识别结果和区域信息。

在一个实施例中，第一激活单元包括多个神经元，第一激活单元中包括状态参数生成函数，通过第一激活单元对第一归一化特征图进行非线性变换，得到第一变换特征图，包括：随机分配状态参数生成函数生成的状态参数给第一激活单元中的各个神经元，状态参数包括活跃和不活跃；通过第一激活单元的激活函数对第一归一化特征图进行非线性变换；输出状态参数为活跃的各个神经元的特征，得到第一变换特征图。

在一个实施例中，待分割图像包括至少两个分割区域，输入反卷积特征图至softmax层，输出待分割图像的各个分割区域的识别结果和区域信息之后，处理器执行计算机程序时还实现以下步骤：根据各个分割区域的区域信息获取各个所述分割区域边界信息，计算世界坐标系中各个分割区域的边界信息；根据各个分割区域的识别结果和对应的边界信息，生成用于规划预设设备的行驶路径的导航指令，发送导航指令。

在一个实施例中，图像分割模型中的卷积网络和反卷积网络的网络层数相同。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取待分割图像；输入待分割图像至图像分割模型；通过图像分割模型中的卷积网络对待分割图像进行卷积运算，生成卷积特征图；输入卷积特征图至图像分割模型中的反卷积网络，对卷积特征图进行反卷积运算，得到反卷积特征图；根据反卷积特征图确定待分割图像的分割结果。

在一个实施例中，卷积网络包含至少一个卷积层，每个卷积层包括第一卷积单元、第一批正则化单元、第一激活单元和最大池化单元，反卷积网络包括至少一个反卷积层，每个反卷积层包括上采样单元、第二反卷积单元、第二批正则化单元和第二激活单元；通过图像分割模型中的卷积网络对待分割图像进行卷积运算，生成卷积特征图，包括：通过第一卷积单元对待分割图像进行卷积运算，得到第一卷积特征图，通过第一批正则化单元对第一卷积特征图进行归一化处理，得到第一归一化特征图，通过第一激活单元对第一归一化特征图进行非线性变换，得到第一变换特征图，通过最大池化单元对第一变换特征图进行最大池化运算，得到池化特征图，池化特征图包括池化索引标识，根据池化特征图生成卷积特征图；当池化特征图为卷积网络中的最后一个卷积层的输出特征图时，输入卷积特征图至图像分割模型中的反卷积网络，对卷积特征图进行反卷积运算，得到反卷积特征图，包括：通过上采样单元和池化索引标识对卷积特征图进行上采样，得到上采样特征图，通过第二反卷积单元对上采样特征图进行卷积运算，得到第二卷积特征图，通过第二批正则化单元对第二卷积特征图进行归一化处理，得到第二归一化特征图，通过第二激活单元对第二归一化特征图进行非线性变换，得到第二变换特征图，根据第二变换特征图生成反卷积特征图。

在一个实施例中，根据池化特征图生成所述卷积特征图，包括：当卷积网络包含一个卷积层时，将池化特征图作为卷积特征图；当卷积网络包含多个卷积层时，将池化特征图输入卷积网络中的下一个卷积层，直至池化特征图为卷积网络中的最后一个卷积层的输出特征图时，将池化特征图作为卷积特征图。

在一个实施例中，根据第二变换特征图生成反卷积特征图，包括：当反卷积网络包括一个反卷积层时，将第二变化特征图作为反卷积特征图；当反卷积网络包括多个反卷积层时，将第二变换特征图输入反卷积网络中的下一个反卷积层，直至第二变换特征图为反卷积网络中的最后一个反卷积层的输出特征图，将第二变化特征图作为反卷积特征图。

在一个实施例中，图像分割模型的输出层为softmax层，根据第二变换特征图生成分割图像，包括：输入反卷积特征图至softmax层，输出待分割图像的各个分割区域的识别结果和区域信息。

在一个实施例中，第一激活单元包括多个神经元，第一激活单元中包括状态参数生成函数，通过第一激活单元对第一归一化特征图进行非线性变换，得到第一变换特征图，包括：随机分配状态参数生成函数生成的状态参数给第一激活单元中的各个神经元，状态参数包括活跃和不活跃；通过第一激活单元的激活函数对第一归一化特征图进行非线性变换；输出状态参数为活跃的各个神经元的特征，得到第一变换特征图。

在一个实施例中，待分割图像包括至少两个分割区域，输入反卷积特征图至softmax层，输出待分割图像的各个分割区域的识别结果和区域信息之后，计算机程序被处理器执行时还实现以下步骤：根据各个分割区域的区域信息获取各个所述分割区域边界信息，计算世界坐标系中各个分割区域的边界信息；根据各个分割区域的识别结果和对应的边界信息，生成用于规划预设设备的行驶路径的导航指令，发送导航指令。

在一个实施例中，图像分割模型中的卷积网络和反卷积网络的网络层数相同。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种图像分割方法，其特征在于，所述方法包括：

获取待分割图像；

输入所述待分割图像至图像分割模型；

通过所述图像分割模型中的卷积网络对所述待分割图像进行卷积运算，生成卷积特征图；

输入所述卷积特征图至所述图像分割模型中的反卷积网络，对所述卷积特征图进行反卷积运算，得到反卷积特征图；

根据所述反卷积特征图确定所述待分割图像的分割结果。

2.根据权利要求1所述的方法，其特征在于，所述卷积网络包含至少一个卷积层，每个所述卷积层包括第一卷积单元、第一批正则化单元、第一激活单元和最大池化单元，所述反卷积网络包括至少一个反卷积层，每个所述反卷积层包括上采样单元、第二反卷积单元、第二批正则化单元和第二激活单元；

所述通过所述图像分割模型中的卷积网络对所述待分割图像进行卷积运算，生成卷积特征图，包括：通过所述第一卷积单元对所述待分割图像进行卷积运算，得到第一卷积特征图，通过所述一批正则化单元对所述第一卷积特征图进行归一化处理，得到第一归一化特征图，通过所述第一激活单元对所述第一归一化特征图进行非线性变换，得到第一变换特征图，通过所述最大池化单元对所述第一变换特征图进行最大池化运算，得到池化特征图，所述池化特征图包括池化索引标识，根据所述池化特征图生成所述卷积特征图；

所述输入所述卷积特征图至所述图像分割模型中的反卷积网络，对所述卷积特征图进行反卷积运算，得到反卷积特征图，包括：通过所述上采样单元和所述池化索引标识对所述卷积特征图进行上采样，得到上采样特征图，通过所述第二反卷积单元对所述上采样特征图进行卷积运算，得到第二卷积特征图，通过所述第二批正则化单元对所述第二卷积特征图进行归一化处理，得到第二归一化特征图，通过所述第二激活单元对所述第二归一化特征图进行非线性变换，得到第二变换特征图，根据所述第二变换特征图生成所述反卷积特征图。

3.根据权利要求2所述的方法，其特征在于，所述根据池化特征图生成所述卷积特征图，包括：

当所述卷积网络包含一个所述卷积层时，将所述池化特征图作为所述卷积特征图；

当所述卷积网络包含多个所述卷积层时，将所述池化特征图输入所述卷积网络中的下一个卷积层，直至所述池化特征图为所述卷积网络中的最后一个卷积层的输出特征图时，将所述池化特征图作为所述卷积特征图。

4.根据权利要求2或3所述的方法，其特征在于，所述根据所述第二变换特征图生成反卷积特征图，包括：

当所述反卷积网络包括一个反卷积层时，将所述第二变化特征图作为所述反卷积特征图；

当所述反卷积网络包括多个反卷积层时，将所述第二变换特征图输入所述反卷积网络中的下一个反卷积层，直至所述第二变换特征图为所述反卷积网络中的最后一个反卷积层的输出特征图，将所述第二变化特征图作为所述反卷积特征图。

5.根据权利要求4所述的方法，其特征在于，所述图像分割模型的输出层为softmax层，所述根据所述反卷积特征图确定所述待分割结果，包括：

输入所述反卷积特征图至softmax层，输出所述待分割图像的各个分割区域的识别结果和区域信息。

6.根据权利要求5所述的方法，其特征在于，所述分割图像包括至少两个分割区域，所述输入所述反卷积特征图至softmax层，输出所述待分割图像的各个分割区域的识别结果和区域信息之后，还包括：

根据各个所述分割区域的区域信息获取各个所述分割区域的边界信息，计算世界坐标系中各个所述分割区域的边界信息；

根据各个所述分割区域的识别结果和对应的所述边界信息，生成用于规划预设设备的行驶路径的导航指令，发送所述导航指令。

7.根据权利要求2或3所述的方法，其特征在于，所述第一激活单元包括多个神经元，所述第一激活单元中包括状态参数生成函数生成函数，所述通过所述第一激活单元对所述第一归一化特征图进行非线性变换，得到第一变换特征图，包括：

随机分配所述状态参数生成函数生成的状态参数给所述第一激活单元中的各个神经元，所述状态参数包括活跃和不活跃；

通过所述第一激活单元的激活函数对所述第一归一化特征图进行非线性变换；

输出所述状态参数为活跃的各个神经元的特征，得到所述第一变换特征图。

8.根据权利要求1所述的方法，其特征在于，所述图像分割模型中的卷积网络和反卷积网络的网络层数相同。

9.一种图像分割装置，其特征在于，所述装置包括：

数据获取模块，用于获取待分割图像；

数据输入模块，用于输入所述待分割图像至图像分割模型；

卷积模块，用于通过所述图像分割模型中的卷积网络对所述待分割图像进行卷积运算，生成卷积特征图；

反卷积模块，用于输入所述卷积特征图至所述图像分割模型中的反卷积网络，对所述卷积特征图进行反卷积运算，得到反卷积特征图；

分割模块，用于根据所述反卷积特征图确定所述待分割图像的分割结果。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

Images