CN110163864B - 图像分割方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种图像分割方法、装置、计算机设备和存储介质，图像分割方法中的神经网络模型不包含传统的图像分割模型中的目标检测网络，其建立预分割的图像中不同对象与神经网络模型输出特征图的通道的对应关系，基于该对应关系可以在输入图像后直接得到包含预设数量个通道的特征图，该特征图的各个通道分别对应输入图像中不同的目标对象，在此基础上，再基于特征图的各个通道分割图像得到分割结果。因此，该方法简化了实例分割模型的网络结构，实例分割效率高。

Description

图像分割方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种图像分割方法、装置、计算机设备和存储介质。

背景技术

随着深度学习的发展和智能终端的普及，图像分割的应用越来约广泛。例如，快速而准确的多人人像分割是现阶段具有需求的技术之一。多人人像分割是实例分割的一种，现有实例分割方法大多面向多类别分割问题，其流程均包含了包括检测在内的多个操作，较为复杂。

以近年来应用最为广泛的Mask R-CNN算法为例，其模型包括卷积网络、Regionproposal network、ROI Align以及检测分类、检测框回归、分割等网络层。其缺陷表现为：模型网络复杂、使用占据资源多；在卷积外还使用了多种自定义的操作，难以在多种不同平台中实现与优化；将检测框区域的特征采样到同一较小尺寸后得到对应分割结果，分割边缘的精确度较低。

此外，尽管在一些针对人像分割的方法中提出了“自底向上”的分割流程，如Richeimer，Bounding Box Embedding for Single Shot Person InstanceSegmentation,arXiv preprint arXiv:1807.07674(2018)，但是，此类图像分割方法仍包含人体检测或关键点检测等操作，其实施具有较高的模型复杂度，难以适用于实际需求。

发明内容

基于此，有必要针对上述技术问题，提供一种能够快速准确的实现的图像分割的方法、装置、计算机设备和存储介质。

第一方面，本申请提出了一种图像分割方法，所述方法包括：

将包含至少一个目标对象的图像输入训练好的神经网络模型，获得具有预设数量个通道的特征图，其中，所述预设数量大于等于图像中目标对象的最大可能数量，所述特征图的每个通道对应不同的至多一个目标对象，对于对应了一个第一目标对象的特征图通道，该特征图通道中有与所述第一目标对象对应的第一区域，所述第一区域与所述第一目标对象在所述图像中的所占区域相对应；所述第一目标对象为所述图像中的任一目标对象；

根据所述特征图的通道得到所述图像的分割结果。

在其中一个实施例中，所述方法还包括：

获取包含至少一个目标对象的训练图像；

对所述训练图像中的各个目标对象所占的区域分别进行标注，根据标注的训练图像生成标注特征图，所述标注特征图具有预设数量个通道，标注特征图的每个通道对应不同的至多一个目标对象，对于对应了一个第二目标对象的标注特征图通道，该标注特征图通道中有与所述第二目标对象对应的第二区域，所述第二区域与所述第二目标对象在所述训练图像中的所占区域相对应；所述第二目标对象为所述训练图像中的任一目标对象；

采用所述训练图像和标注特征图对神经网络模型进行训练，得到训练好的神经网络模型。

在其中一个实施例中，所述采用所述训练图像和标注特征图对神经网络模型进行训练，得到训练好的神经网络模型，包括：

将所述训练图像输入神经网络模型，获得训练特征图；

根据训练特征图和标注特征图，计算神经网络模型的损失函数值；

基于所述损失函数值对所述神经网络模型的参数进行更新，得到训练好的神经网络模型。

在其中一个实施例中，所述对所述训练图像中的各个目标对象分别所占的区域进行标注，根据标注的训练图像生成得到标注特征图，包括：

对所述训练图像中的各个目标对象所占的区域分别进行标注，根据标注的训练图像中各个目标对象所占区域的位置对所述训练图像中的各个目标对象编号，目标对象和与其具有相同编号的所述标注特征图的通道对应，对于对应了一个第二目标对象的标注特征图通道，将该标注特征图的通道中坐标与第二目标对象在所述训练图像中所占区域的坐标相对应的区域作为第二区域，令所述第二区域像素值为第一预设值，该标注特征图通道中除第二区域以外的其他区域的像素值为第二预设值，从而得到标注特征图。

在其中一个实施例中，根据各个目标对象在所述训练图像中所占区域的位置对所述训练图像中的各个目标对象编号，包括：

构建坐标系，以训练图像的长和宽中基本与目标对象矗立方向垂直的方向为坐标轴；

获取所述训练图像中每一目标对象对应的坐标；

按照所述训练图像中每一目标对象对应的坐标数值大小对所述训练图像中每一目标对象顺序编号。

在其中一个实施例中，若所述图像为自拍图像，则所述特征图的通道的预设数量不大于4。

在其中一个实施例中，所述特征图的每个通道与所述图像尺寸相同，所述第一区域与第一目标对象在所述图像中所占区域的位置对应且所占面积相同。

在其中一个实施例中，根据所述特征图的通道得到所述图像的分割结果，包括：

根据所述特征图的各个通道的二值化图像分割所述图像，得到所述图像的分割结果。

在其中一个实施例中，所述神经网络模型包含柔性最大层softmax，

所述softmax层用于计算输入所述softmax层的特征向量属于某一的目标对象的概率，所述特征向量属于某一的目标对象的概率被用于确定所述特征图中各位置的像素值。

在其中一个实施例中，所述神经网络模型为全卷积神经网络模型，神经网络模型包含多个卷积层，神经网络模型的最后一个卷积层的通道数量和特征图的通道的预设数量相同。

第二方面，本申请提出了一种图像分割装置，所述装置包括：

图像分析模块，将包含至少一个目标对象的图像输入训练好的神经网络模型，获得具有预设数量个通道的特征图，其中，所述预设数量大于等于图像中目标对象的最大可能数量，所述特征图的每个通道对应不同的至多一个目标对象，对于对应了一个第一目标对象的特征图通道，该特征图通道中有与所述第一目标对象对应的第一区域，所述第一区域与所述第一目标对象在所述图像中的所占区域相对应；所述第一目标对象为所述图像中的任一目标对象；

分割执行模块，根据所述特征图的通道得到所述图像的分割结果。

第三方面，本申请提出了一种计算机设备，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请任一实施例中的方法的步骤。

第四方面，本申请提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请任一实施例中的方法的步骤。

上述图像分割方法、装置、计算机设备和存储介质，利用预先标注的多目标对象图像数据来训练神经网络模型，将具有多个目标对象的图像输入训练好的神经网络模型后直接得到包含预设数量个通道的特征图，该特征图的各个通道分别对应输入图像中不同的目标对象，在此基础上，再基于特征图的各个通道分割图像得到分割结果。该方法所使用的神经网络模型不包含传统的图像分割模型中的目标检测网络，简化了图像分割模型的网络结构，降低了算力需求，提高了图像分割效率，具有模型参数少、运行速度快、结构简单、利于实现、需要训练数据与标注较少、分割边缘清晰的特点，可应用于手机等有图像分割需求的移动设备中。

附图说明

图1为一个实施例中图像分割方法的应用环境图；

图2为一个实施例中图像分割方法的流程示意图；

图3为一个实施例中步骤201的细化步骤的流程示意图；

图4为一个实施例中步骤205的细化步骤的流程示意图；

图5为一个实施例中标注的训练图像；

图6为一个实施例中包含通道编号的标注的训练图像；

图7为一个实施例中图像分割装置的结构框图；

图8为一个实施例中计算机设备的内部结构图；

图9为一个实施例中图像分割结果。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的图像分割方法，可以应用于如图1所示的应用环境中。其中，处理器100、图像采集装置200之间相互连接。该图像采集装置200用于采集待处理的图像，处理器100用于处理图像采集装置200采集的图像。可选地，该处理器100、图像采集装置200可以为笔记本电脑、智能手机、平板电脑等集图像采集与图像处理于一体的智能终端。可选地，该处理器100、图像采集装置200也可以独立的设备，例如，图像采集装置200为数码相机，处理器100为个人计算机。此时，在需要处理器100对图像采集装置200采集的图像进行图像分割处理时，需首先建立的处理器100与图像采集装置200通信链路，之后再通过该通信链路将图像采集装置200采集的图像传输给处理器100。

进一步地，该处理器100可以运行神经网络模型的相关算法，执行神经网络模型各网络层的相关操作。

在一个实施例中，如图2所示，提供了一种图像分割方法，该图像分割方法使用神经网络模型进行图像处理，以该方法应用于图1中的应用场景，该图像处理过程运行与应用场景中的处理器100上为例进行说明。该方法包括以下步骤：

步骤S201，将包含至少一个目标对象的图像输入训练好的神经网络模型，获得具有预设数量个通道的特征图。

其中，目标对象是预设种类的对象，该对象可以是图像中的人物、物品、动物、植物，或者人物、物品、动物、植物中一种或者几种的特定组合。可选地，还可以将上述对象进一步细分，例如，将植物中的树作为图像中的目标对象。在一个具体的实施方式中，目标对象为人像。需要对某个种类的目标对象进行分割时，可采用包含相应种类的训练图像来训练神经网络模型。具体地，处理器100可以运行该神经网络的相关算法对输入的图像进行处理。在使用神经网络模型处理图像之前，需先对神经网络模型进行训练得到训练好的神经网络模型。该训练好的神经网络模型在输入包含目标对象的图像后会得到具有预设数量个通道的特征图。该特征图的通道的预设数量一般会大于等于图像中目标对象的最大可能数量，以确保所有的目标对象都有与其对应的通道。一般可以根据图像中目标对象的通常数量设定该通道数量。例如，当图像为手机自拍图像时，图像中的目标对象数量一般不超过3人，可将特征图的通道数量预设为4。

该特征图的每个通道对应不同的至多一个目标对象，即特征图的每个通道对应不同的0个或1个目标对象，而不可能有两个以上的目标对象对应于特征图中的同一个通道。

对于对应了一个第一目标对象的特征图通道，该特征图通道中有与所述第一目标对象对应的第一区域，所述第一区域与所述第一目标对象在所述图像中的所占区域相对应；所述第一目标对象为所述图像中的任一目标对象。例如，图像大小为10*10，图像中包含一个第一目标对象，其在图像中所占区域为[(0,0),(1,0),(1,1),(0,1)]，第一目标对象对应大小为10*10的特征图通道A，特征图通道A中有与第一目标对象对应的第一区域，第一区域与第一目标在图像中所占区域按照坐标比例关系对应，第一区域为[(0,0),(1,0),(1,1),(0,1)]。第一区域在特征图通道中可以通过像素值与非第一区域区分。例如，特征图通道可以为一个二值化图像(二值化矩阵)，其中像素值为0的区域为第一区域。特征图的单个通道的大小可以与训练图像的大小相同。

可选地，神经网络模型为全卷积神经网络模型，其输出和输入的空间尺寸(H*W)大小相同，神经网络模型包含多个卷积层，每一次卷积都使用n_i个卷积核作用于其输入，得到n_i通道的特征图，神经网络模型的最后一个卷积层的通道数量和特征图的通道的预设数量相同。

步骤S202，根据所述特征图的通道得到所述图像的分割结果。

图像分割结果可以为图像包含几个目标对象，其在图像中所处的位置，图像分割结果可以通过在图像中对不同目标对象叠加不同的纹理、灰度或颜色来展示，如图9所示。

本实施例尤其适用于以手机自拍图像为代表的人像分割应用场景中。多人人像分割需要解决的基本问题是：1.人像与背景间的差异。2.不同人个体间的区分。传统方法往往基于先检测每个人个体，再分别在检测区域进行二分类分割。这样导致模型复杂，计算量较大，难以应用在具有人像分割需求的手机等移动设备中。手机自拍图像普遍具有两个显著特点：1.人的个体数量较少，多人图像中人的数量也一般不超过三人；2.多人的分布一般按照图像的横向方向呈左右排列，每个人呈头在上，身体在下方的竖直姿态。针对这一情况，本实施例提出了一种多人人像分割方法，使用的端对端模型仅包含卷积层，可经一次前向过程快速得到分割结果。本实施例不使用传统方法中的检测过程，而是让神经网络在得到语义分割结果的同时学习对应的人体的位置，以其位置编号作为网络输出的结果之一。本实施例的方法可以有效的对手机拍摄的多人人像图像获得稳定、精确的实例分割结果。与现有技术相比，这一方法具有模型参数少、运行速度快、结构简单、利于实现、需要训练数据与标注较少、分割边缘清晰的特点。

在其中一个可选地实施例中，在步骤S201之前，需要首先构建神经网络模型的网络结构，之后再使用训练样本训练该神经网络模型，得到网络层收敛的神经网络模型。这时得到的训练好的神经网络模型可以用于执行上述实施例中的图像分割方法的相关步骤。具体地，在步骤S201之前，如图3所示，上述图像分割方法还可以包括如下步骤：

步骤S203，获取包含至少一个目标对象的训练图像。

步骤S204，对所述训练图像中的各个目标对象所占的区域分别进行标注，根据标注的训练图像生成标注特征图。所述标注特征图具有预设数量个通道，标注特征图的每个通道对应不同的至多一个目标对象，对于对应了一个第二目标对象的标注特征图通道，该标注特征图通道中有与所述第二目标对象对应的第二区域，所述第二区域目标对象在其对应的标注特征图的通道中的所占区域与所述第二目标对象在所述训练图像中的所占区域相对应；所述第二目标对象为所述训练图像中的任一目标对象。标注特征图的单个通道的大小可以与训练图像的大小相同。

步骤S205，采用所述训练图像和标注特征图对神经网络模型进行训练，得到训练好的神经网络模型。

在其中一个实施例中，如图4所示，上述步骤S205，可以包括：

步骤S2051，将所述训练图像输入神经网络模型，获得训练特征图。

具体地，将所述训练图像输入神经网络模型后，处理器100会执行构建的神经网络模型各个神经网络的操作(例如卷积、池化等操作)，获得训练特征图。

步骤S2052，根据训练特征图和标注特征图，计算神经网络模型的损失函数值。

具体地，在得到训练特征图后，处理器100会根据训练特征图和标注特征图，计算神经网络模型的损失函数值。

步骤S2053，基于所述损失函数值对所述神经网络模型的参数进行更新，得到训练好的神经网络模型。

具体地，该损失函数值用于神经网络模型的参数的行更新。进一步地，在得到的损失函数小于预设阈值时，可以判定神经网络模型的各个网络层已收敛，即完成了训练，得到了神经网络模型。在得到的损失函数大于等于预设阈值时，需迭代执行步骤S2051-步骤S2053，直至得到的损失函数小于预设阈值，此时神经网络模型的各个网络层收敛。

在其中一个实施例中，步骤S204可以通过下述步骤实现：

步骤S2041：对所述训练图像中的各个目标对象所占的区域分别进行标注，得到标注的训练图像。

在一个具体的实施方式中，标注的训练图像为一个与训练图像大小相同的图像，其中各个目标对象所占区域、除目标对象所占区域以外的区域的像素值各不相同。

对训练图像进行标注时，需要对标注的训练图像中每个目标对象所占区域赋予像素值，并对目标对象所占区域以外的背景区域赋予与目标对象所占区域不同的像素值，用以区分目标对象与背景以及不同的目标对象。例如，可以使训练图像中的3个目标对象所占区域的像素值分别为1、2、3，背景区域像素值为0，如图5所示。

步骤S2042：根据标注的训练图像中各个目标对象所占区域的位置，对所述训练图像中的各个目标对象编号，所述标注特征图的通道通过所述编号与目标对象对应。

在一个具体的实施方式中，标注的训练图像中每个目标对象所占区域的像素值分别为一个互不相同的值，因此处理器100根据标注的训练图像能够获知每个目标对象所占区域的位置，从而能够根据标注的训练图像中各个目标对象所占区域的位置，得到所述训练图像中的各个目标对象的编号。

根据标注的训练图像中各个目标对象所占区域的位置对所述训练图像中的各个目标对象编号，不仅更加直观，而且更加符合用户视觉习惯。例如，可以对训练图像中由左至右的三个目标对象依次编号为0、1、2，如图6所示。如此，标注特征图的通道与编号与其通道号相同的目标对象对应。例如，标注特征图中通道号为0-2的通道与编号为0-2的目标分别对应。可选地，训练图像中目标对象的编号与标注特征图的通道的通道号可以通过预设的规则对应，例如训练图像中目标对象的编号为字母，标注特征图的通道的通道号为数字时，可通过设置训练图像中目标对象的编号与标注特征图的通道号之间的对应关系来使标注特征图的通道与目标对象对应。

步骤S2043：对于对应了一个第二目标对象的标注特征图通道，将该标注特征图的通道中坐标与第二目标对象在所述训练图像中所占区域的坐标相对应的区域作为第二区域，令所述第二区域像素值为第一预设值，该标注特征图通道中除第二区域以外的其他区域的像素值为第二预设值，从而得到标注特征图。第一预设值可以为1，第二预设值可以为0，标注特征图为二值化图像，标注特征图的单个通道的大小可以与训练图像相同，如图4所示。

例如，训练图像大小为10*10，标注特征图的大小为10*10*4，标注特征图所有通道像素值初始化为0。图像中包含两个目标对象。根据标注的训练图像可以获知这两个目标对象在图像中所占区域分别为[(0,0),(1,0),(1,1),(0,1)]和[(2,2),(3,2),(3,3),(2,3)]，根据目标对象所占位置对两个目标对象分别编号为1和2。对于编号为1的目标对象，将标注特征图第1个通道[(0,0),(1,0),(1,1),(0,1)]位置的像素值置为1，对于编号为2的目标对象，将标注特征图第2个通道[(2,2),(3,2),(3,3),(2,3)]位置的像素值置为1。

在一个具体的实施方式中，步骤S2042包括：

S20421：构建坐标系，以训练图像的长和宽中基本与目标对象矗立方向垂直的方向为坐标轴；

S20422：获取所述训练图像中每一目标对象对应的坐标；

S20423：按照所述训练图像中每一目标对象对应的坐标数值大小对所述训练图像中每一目标对象顺序编号。

手机拍摄的图像中，通常情况下，人物在图像中一般呈左右排列，每个人呈头在上，身体在下方的竖直姿态。如果训练图像为横版，目标对象矗立方向基本与训练图像的长边垂直，则以训练图像的长边所在方向为坐标轴；如果训练图像为竖版，目标对象矗立方向基本与训练图像的长边平行，则以训练图像的短边(即宽)所在方向为坐标轴。每一目标对象对应的坐标按照根据用户选择的计算规则计算，例如可以是目标对象在训练图像中所占区域在坐标轴上对应的坐标的平均值，也可以是目标对象在训练图像中所占区域的质心在坐标轴上对应的坐标，也可以是目标对象在训练图像中所占区域在坐标轴上对应的最小坐标或最大坐标，本实施例不做具体限制。获取所述训练图像中每一目标对象对应的坐标后，按照训练图像中每一目标对象对应的坐标数值大小对所述训练图像中每一目标对象按照由小到大或由大到小的顺序编号。例如，当图像为横版，目标对象矗立方向为与图像长边方向垂直，3个目标对象的坐标分别为4，6，7，则按照训练图像中每一目标对象对应的坐标数值大小对所述训练图像中每一目标对象按照由小到大编号时，将这3个目标对象分别编号为0，1，2，分别对象标注特征图的0，1，2号通道。由此，在对训练好的神经网络模型输入图像时，模型总是将位置最靠左侧的人的分割结果作为第一个通道输出，并按顺序在每一通道输出对应顺序的位置的人的分割区域。

作为一种可选地实施方式，步骤S202包括：根据所述特征图的各个通道的二值化图像分割所述图像，得到所述图像的分割结果。

在一种具体的实施方式中，神经网络模型所输出的特征图的各个通道的像素点的像素值表示图像中与该通道中的像素点对应的位置属于该通道对应的目标对象的概率，因此特征图的各个通道的像素点的像素值小于等于第一预设值。特征图通道的像素值越接近第一预设值，图像中与该通道中的像素点对应的位置属于该通道对应的目标对象的概率越高。对于某一位置，其在各通道的对应像素值之和为第一预设值。在一种具体的实施方式中，神经网络模型所输出的特征图的各个通道的像素点的像素值为区间[0-1]内的数值，且对于特征图中的某一位置，其在各通道的对应像素值之和为1。

具体地，可以将所述特征图的通道中原始像素值大于等于预设阈值的位置的像素值设为第一预设值，将特征图的通道中原始像素值小于预设阈值的位置的像素值设为第二预设值，来将特征图二值化得到所述特征图的各个通道的二值化图像。可选地，该预设阈值可以为0.5，第一预设值为1，第二预设值为0。在另一具体实施方式中，可以将某一位置在各个通道对应的像素值中最大的像素值设为第一预设值，其他像素值为第二预设值，来将特征图二值化得到所述特征图的各个通道的二值化图像。例如，对于某一位置，其在各通对应的像素值分别为0.1，0.2，0.1，0.6，可以将0.6所在通道与该位置对应的像素值设为1，其他通道与该位置对应的像素值设为0。如此，图像中的每个像素点都找到了归属，其要么属于特征图的某一通道对应的目标对象，要么不属于任何目标对象。

在一种具体的实施方式中，神经网络模型所输出的已经是特征图各个通道的二值化图像，无需另外的二值化步骤。

在特征图的各个通道的二值化图像中，对于对应了一个目标对象的特征图通道，该特征图通道中像素值为第一预设值的区域即为与该目标对象对应的区域。

根据特征图的各个通道的二值化图像可以获得图像中不同目标对象所占区域，图像分割结果可以通过在图像中对不同目标对象所占区域叠加不同的纹理或颜色来展示。

作为一种可选地实施方式，为了使神经网络模型输出的特征图中的原始像素值为确定值，上述神经网络模型包含柔性最大层softmax层，该softmax层用于计算输入所述softmax层的特征向量属于某一的目标对象的概率，所述特征向量属于某一的目标对象的概率被用于确定所述特征图中各位置的像素值。

应该理解的是，虽然图2-图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图7所示，提供了一种图像分割装置，包括：

图像分析模块710，用于将包含至少一个目标对象的图像输入训练好的神经网络模型，获得具有预设数量个通道的特征图，其中，所述预设数量大于等于图像中目标对象的最大可能数量，所述特征图的每个通道对应不同的至多一个目标对象，对于对应了一个第一目标对象的特征图通道，该特征图通道中有与所述第一目标对象对应的第一区域，所述第一区域与所述第一目标对象在所述图像中的所占区域相对应；所述第一目标对象为所述图像中的任一目标对象；

分割执行模块720，用于根据所述特征图的通道得到所述图像的分割结果。

作为一种可选地实施方式，图像分析模块710还用于获取包含至少一个目标对象的训练图像；对所述训练图像中的各个目标对象所占的区域分别进行标注，根据标注的训练图像生成标注特征图，所述标注特征图具有预设数量个通道，标注特征图的每个通道对应不同的至多一个目标对象，对于对应了一个第二目标对象的标注特征图通道，该标注特征图通道中有与所述第二目标对象对应的第二区域，所述第二区域与所述第二目标对象在所述训练图像中的所占区域相对应；所述第二目标对象为所述训练图像中的任一目标对象；采用所述训练图像和标注特征图对神经网络模型进行训练，得到训练好的神经网络模型。

作为一种可选地实施方式，图像分析模块710，具体用于将所述训练图像输入神经网络模型，获得训练特征图；根据训练特征图和标注特征图，计算神经网络模型的损失函数值；基于所述损失函数值对所述神经网络模型的参数进行更新，得到训练好的神经网络模型。

作为一种可选地实施方式，图像分析模块710，具体用于对所述训练图像中的各个目标对象所占的区域分别进行标注，根据标注的训练图像中各个目标对象所占区域的位置对所述训练图像中的各个目标对象编号，目标对象和与其具有相同编号的所述标注特征图的通道对应，对于对应了一个第二目标对象的标注特征图通道，将该标注特征图的通道中坐标与第二目标对象在所述训练图像中所占区域的坐标相对应的区域作为第二区域，令所述第二区域像素值为第一预设值，该标注特征图通道中除第二区域以外的其他区域的像素值为第二预设值，从而得到标注特征图。

作为一种可选地实施方式，图像分析模块710，具体用于构建坐标系，以训练图像的长和宽中基本与目标对象矗立方向垂直的方向为坐标轴；获取所述训练图像中每一目标对象对应的坐标；按照所述训练图像中每一目标对象对应的坐标数值大小对所述训练图像中每一目标对象顺序编号。

作为一种可选地实施方式，分割执行模块720，具体用于根据所述特征图的各个通道的二值化图像分割所述图像，得到所述图像的分割结果。

关于图像分割装置的具体限定可以参见上文中对于图像分割方法的限定，在此不再赘述。上述图像分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像分割方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：将包含至少一个目标对象的图像输入训练好的神经网络模型，获得具有预设数量个通道的特征图，其中，所述预设数量大于等于图像中目标对象的最大可能数量，所述特征图的每个通道对应不同的至多一个目标对象，对于对应了一个第一目标对象的特征图通道，该特征图通道中有与所述第一目标对象对应的第一区域，所述第一区域与所述第一目标对象在所述图像中的所占区域相对应；所述第一目标对象为所述图像中的任一目标对象；根据所述特征图的通道得到所述图像的分割结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取包含至少一个目标对象的训练图；对所述训练图像中的各个目标对象所占的区域分别进行标注，根据标注的训练图像生成标注特征图，所述标注特征图具有预设数量个通道，标注特征图的每个通道对应不同的至多一个目标对象，对于对应了一个第二目标对象的标注特征图通道，该标注特征图通道中有与所述第二目标对象对应的第二区域，所述第二区域与所述第二目标对象在所述训练图像中的所占区域相对应；所述第二目标对象为所述训练图像中的任一目标对象；采用所述训练图像和标注特征图对神经网络模型进行训练，得到训练好的神经网络模型。

在一个实施例中，处理器执行计算机程序时实现以下步骤：将所述训练图像输入神经网络模型，获得训练特征图；根据训练特征图和标注特征图，计算神经网络模型的损失函数值；基于所述损失函数值对所述神经网络模型的参数进行更新，得到训练好的神经网络模型。

在一个实施例中，处理器执行计算机程序时具体实现以下步骤：对所述训练图像中的各个目标对象所占的区域分别进行标注，根据标注的训练图像中各个目标对象所占区域的位置对所述训练图像中的各个目标对象编号，目标对象和与其具有相同编号的所述标注特征图的通道对应，对于对应了一个第二目标对象的标注特征图通道，将该标注特征图的通道中坐标与第二目标对象在所述训练图像中所占区域的坐标相对应的区域作为第二区域，令所述第二区域像素值为第一预设值，该标注特征图通道中除第二区域以外的其他区域的像素值为第二预设值，从而得到标注特征图。

在一个实施例中，处理器执行计算机程序时具体实现以下步骤：构建坐标系，以训练图像的长和宽中基本与目标对象矗立方向垂直的方向为坐标轴；获取所述训练图像中每一目标对象对应的坐标；按照所述训练图像中每一目标对象对应的坐标数值大小对所述训练图像中每一目标对象顺序编号。

在一个实施例中，处理器执行计算机程序时具体实现以下步骤：根据所述特征图的各个通道的二值化图像分割所述图像，得到所述图像的分割结果。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：将包含至少一个目标对象的图像输入训练好的神经网络模型，获得具有预设数量个通道的特征图，其中，所述预设数量大于等于图像中目标对象的最大可能数量，所述特征图的每个通道对应不同的至多一个目标对象，对于对应了一个第一目标对象的特征图通道，该特征图通道中有与所述第一目标对象对应的第一区域，所述第一区域与所述第一目标对象在所述图像中的所占区域相对应；所述第一目标对象为所述图像中的任一目标对象；根据所述特征图的通道得到所述图像的分割结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取包含至少一个目标对象的训练图；对所述训练图像中的各个目标对象所占的区域分别进行标注，根据标注的训练图像生成标注特征图，所述标注特征图具有预设数量个通道，标注特征图的每个通道对应不同的至多一个目标对象，对于对应了一个第二目标对象的标注特征图通道，该标注特征图通道中有与所述第二目标对象对应的第二区域，所述第二区域与所述第二目标对象在所述训练图像中的所占区域相对应；所述第二目标对象为所述训练图像中的任一目标对象；采用所述训练图像和标注特征图对神经网络模型进行训练，得到训练好的神经网络模型。

在一个实施例中，计算机程序被处理器执行时实现以下步骤：将所述训练图像输入神经网络模型，获得训练特征图；根据训练特征图和标注特征图，计算神经网络模型的损失函数值；基于所述损失函数值对所述神经网络模型的参数进行更新，得到训练好的神经网络模型。

在一个实施例中，计算机程序被处理器执行时具体实现以下步骤：对所述训练图像中的各个目标对象所占的区域分别进行标注，根据标注的训练图像中各个目标对象所占区域的位置对所述训练图像中的各个目标对象编号，目标对象和与其具有相同编号的所述标注特征图的通道对应，对于对应了一个第二目标对象的标注特征图通道，将该标注特征图的通道中坐标与第二目标对象在所述训练图像中所占区域的坐标相对应的区域作为第二区域，令所述第二区域像素值为第一预设值，该标注特征图通道中除第二区域以外的其他区域的像素值为第二预设值，从而得到标注特征图。

在一个实施例中，计算机程序被处理器执行时具体实现以下步骤：构建坐标系，以训练图像的长和宽中基本与目标对象矗立方向垂直的方向为坐标轴；获取所述训练图像中每一目标对象对应的坐标；按照所述训练图像中每一目标对象对应的坐标数值大小对所述训练图像中每一目标对象顺序编号。

在一个实施例中，处理器执行计算机程序时具体实现以下步骤：根据所述特征图的各个通道的二值化图像分割所述图像，得到所述图像的分割结果。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种图像分割方法，其特征在于，所述方法包括：

将包含至少一个目标对象的图像输入训练好的神经网络模型，获得具有预设数量个通道的特征图，其中，所述预设数量大于等于图像中目标对象的最大可能数量，所述特征图的每个通道对应不同的至多一个目标对象，对于对应了一个第一目标对象的特征图通道，该特征图通道中有与所述第一目标对象对应的第一区域，所述第一区域与所述第一目标对象在所述图像中的所占区域相对应；所述第一目标对象为所述图像中的任一目标对象；

根据所述特征图的通道得到所述图像的分割结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取包含至少一个目标对象的训练图像；

对所述训练图像中的各个目标对象所占的区域分别进行标注，根据标注的训练图像生成标注特征图，所述标注特征图具有预设数量个通道，标注特征图的每个通道对应不同的至多一个目标对象，对于对应了一个第二目标对象的标注特征图通道，该标注特征图通道中有与所述第二目标对象对应的第二区域，所述第二区域与所述第二目标对象在所述训练图像中的所占区域相对应；所述第二目标对象为所述训练图像中的任一目标对象；

采用所述训练图像和标注特征图对神经网络模型进行训练，得到训练好的神经网络模型。

3.根据权利要求2所述的方法，其特征在于，所述采用所述训练图像和标注特征图对神经网络模型进行训练，得到训练好的神经网络模型，包括：

将所述训练图像输入神经网络模型，获得训练特征图；

根据训练特征图和标注特征图，计算神经网络模型的损失函数值；

基于所述损失函数值对所述神经网络模型的参数进行更新，得到训练好的神经网络模型。

4.根据权利要求2所述的方法，其特征在于，所述对所述训练图像中的各个目标对象分别所占的区域进行标注，根据标注的训练图像生成得到标注特征图，包括：

对所述训练图像中的各个目标对象所占的区域分别进行标注，根据标注的训练图像中各个目标对象所占区域的位置对所述训练图像中的各个目标对象编号，目标对象和与其具有相同编号的所述标注特征图的通道对应，对于对应了一个第二目标对象的标注特征图通道，将该标注特征图的通道中坐标与第二目标对象在所述训练图像中所占区域的坐标相对应的区域作为第二区域，令所述第二区域像素值为第一预设值，该标注特征图通道中除第二区域以外的其他区域的像素值为第二预设值，从而得到标注特征图。

5.根据权利要求4所述的方法，其特征在于，根据各个目标对象在所述训练图像中所占区域的位置对所述训练图像中的各个目标对象编号，包括：

构建坐标系，以训练图像的长和宽中基本与目标对象矗立方向垂直的方向为坐标轴；

获取所述训练图像中每一目标对象对应的坐标；

按照所述训练图像中每一目标对象对应的坐标数值大小对所述训练图像中每一目标对象顺序编号。

6.根据权利要求1所述的方法，其特征在于，若所述图像为自拍图像，则所述特征图的通道的预设数量不大于4。

7.根据权利要求1所述的方法，其特征在于，所述特征图的每个通道与所述图像尺寸相同，所述第一区域与第一目标对象在所述图像中所占区域的位置对应且所占面积相同。

8.根据权利要求1所述的方法，其特征在于，根据所述特征图的通道得到所述图像的分割结果，包括：

根据所述特征图的各个通道的二值化图像分割所述图像，得到所述图像的分割结果。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述神经网络模型包含柔性最大层softmax，

所述softmax层用于计算输入所述softmax层的特征向量属于某一的目标对象的概率，所述特征向量属于某一的目标对象的概率被用于确定所述特征图中各位置的像素值。

10.根据权利要求1-8任一项所述的方法，其特征在于，所述神经网络模型为全卷积神经网络模型，神经网络模型包含多个卷积层，神经网络模型的最后一个卷积层的通道数量和特征图的通道的预设数量相同。

11.一种图像分割装置，其特征在于，所述装置包括：

图像分析模块，用于将包含至少一个目标对象的图像输入训练好的神经网络模型，获得具有预设数量个通道的特征图，其中，所述预设数量大于等于图像中目标对象的最大可能数量，所述特征图的每个通道对应不同的至多一个目标对象，对于对应了一个第一目标对象的特征图通道，该特征图通道中有与所述第一目标对象对应的第一区域，所述第一区域与所述第一目标对象在所述图像中的所占区域相对应；所述第一目标对象为所述图像中的任一目标对象；

分割执行模块，根据所述特征图的通道得到所述图像的分割结果。

12.一种计算机设备，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述方法的步骤。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。

Images