CN109146885B

CN109146885B - 图像分割方法、设备和计算机可读存储介质

Info

Publication number: CN109146885B
Application number: CN201810942845.0A
Authority: CN
Inventors: 吕仕杰
Original assignee: Shenzhen Lan Pangzi Machine Intelligence Co Ltd
Current assignee: Shenzhen Lan Pangzi Machine Intelligence Co Ltd
Priority date: 2018-08-17
Filing date: 2018-08-17
Publication date: 2021-08-17
Anticipated expiration: 2038-08-17
Also published as: CN109146885A

Abstract

本发明公开一种图像分割方法、设备和计算机可读存储介质，所述图像分割方法包括：获得原始图像；将所述原始图像输入至预先训练的神经网络进行计算，计算分类所述第一图像中的每一物体，获得对应每一物体的像素点集。本发明具有准确分割出物体的每一像素，以达到定位准确和姿态判断准确的效果。

Description

图像分割方法、设备和计算机可读存储介质

技术领域

本发明涉及机器人分拣领域，特别涉及图像分割方法、设备和计算机可读存储介质。

背景技术

目前随着物流自动化的发展，机器人分拣也越来越火热。越来越多的货物需要快速进行分拣。在实际操作中，许多货物堆叠在一起，需要进行区分。

但是，现有的图像分割算法通常仅算出一个大致的矩形边框，不能准确的涵盖物体的所有像素点，包含了大量的背景信息，并造成定位不准确，也无法得到准确的姿态。

发明内容

本发明的主要目的是提供图像分割方法、设备和计算机可读存储介质，旨在准确分割出物体的每一像素，以达到定位准确和姿态判断准确的效果。

一种图像分割方法，用于物流系统中物体分割，所述图像分割方法包括：

获得原始图像；

将所述原始图像输入至预先训练的神经网络进行计算，计算分割所述第一图像中的每一物体，获得对应每一物体的像素点集。

可选的，对原始图像通过神经网络降维算法，获得所述原始图像的降维图像；

根据降维图像和预设的分类模型，对所述降维图像的每一像素进行分类；

将降维图像通过神经网络升维算法，获得与所述原始图像大小相同的分类图像。

可选的，所述分类模型的数量为多个；

所述图像分割方法还包括：

根据多个分类模型获得的分类图像的重叠情况进行调整，获得调整后的分类图像。

可选的，所述图像分割方法还包括：

获得多个训练图像；

根据输入指令获得所述训练图像中完整度达到70％的物体的标注；

根据所述训练图像和对应的标注对神经网络进行训练。

可选的，多个所述训练模型包括处于多种形态，多种角度，多种距离和或多种光线的物体。

本发明还提供了一种图像分割设备，用于物流系统中物体分割，所述图像分割设备包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的图像分割程序，所述图像分割程序被所述处理器执行时实现如下步骤：

获得原始图像；

可选的，所述将所述原始图像输入至预先训练的神经网络进行计算，计算分类所述第一图像中的每一物体，获得对应每一物体的像素点集包括：

对原始图像通过神经网络降维算法，获得所述原始图像的降维图像；

可选的，所述分类模型的数量为多个；

所述图像分割方法还包括：

可选的，所述图像分割方法还包括：

获得多个训练图像；

根据所述训练图像和对应的标注对神经网络进行训练。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有图像分割程序，所述图像分割程序被处理器执行时实现如上述的图像分割方法的步骤。

本发明所提供的图像分割方法，通过获得原始图像。再将所述原始图像输入至预先训练的神经网络进行计算，计算分类所述第一图像中的每一物体，获得对应每一物体的像素点集。从而利用了经过训练的神经网络能够高效和准确进行分类，从而获得对应每一物体的像素点集。从而再进行后续步骤时，能够定位准确，并且得到准确的姿态。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明图像分割方法第一实施例的流程图；

图2为本发明图像分割方法第二实施例的部分流程图；

图3为本发明图像分割方法第三实施例的部分流程图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一

本实施例提供了一种图像分割方法，用于物流系统中物体分割。

请参看图1，所述图像分割方法包括：

步骤S101，获得原始图像。

步骤S102，将所述原始图像输入至预先训练的神经网络进行计算，计算分割所述第一图像中的每一物体，获得对应每一物体的像素点集。

在本实施例中，首先获得原始图像。本实施例中，原始图像为二维的RGB图像。

在获得原始图像之后，再将所述原始图像输入至预先训练的神经网络进行计算，计算分类所述第一图像中的每一物体，获得对应每一物体的像素点集。其中，其中，将原始图像作为神经网络的输入。预先训练的神经网络，能够在获得输入值时，根据预先训练而获得的计算式，计算获得输出值。

其中，神经网络可以通过Fully Convolutional Instance-aware SemanticSegmentation方案来进行卷积，分类和升维的操作。通过对原始图像进行卷积处理，能够高效和准确实施像素分类。在分类之后，再对降维后的图片进行升维处理，从而获得分类图像。而分类图像与第一图像大小相同，则能够便于进行后续步骤中依据每一分类物体的像素点集的识别边框操作。从而为机械手的平移，提供坐标。

本实施例所提供的图像分割方法，通过获得原始图像。再将所述原始图像输入至预先训练的神经网络进行计算，计算分类所述第一图像中的每一物体，获得对应每一物体的像素点集。从而利用了经过训练的神经网络能够高效和准确进行分类，从而获得对应每一物体的像素点集。从而再进行后续步骤时，能够定位准确，并且得到准确的姿态。

实施例二

本实施例提供了一种图像分割方法。本实施例在上述实施例的基础上，对步骤S102进行了进一步说明，请参看图2，具体如下：

请查看图2，所述步骤S102，将所述原始图像输入至预先训练的神经网络进行计算，计算分类所述第一图像中的每一物体，获得对应每一物体的像素点集包括：

步骤S201，对原始图像通过神经网络降维算法，获得所述原始图像的降维图像；

步骤S202，根据降维图像和预设的分类模型，对所述降维图像的每一像素进行分类；

步骤S203，将降维图像通过神经网络升维算法，获得与所述原始图像大小相同的分类图像。

在本实施例中，首先对原始图像通过神经网络降维算法，获得所述原始图像的降维图像。其中，原始图像为拍照获得的二维RGB图像。这些原始图像当中包括需要分割出来的目标，以及背景杂物。神经网络是由大量的神经元N相互连接而成。每个神经元N代表一种特定的输出函数，称为激活函数(activation function)。每两个节点之间的连接代表加权值，称为权重(weight)。不同的权重和激活函数，则会导致神经网络不同的输出。

在本实施例中，在获得降维图像之后，再根据降维图像和预设的分类模型，对所述降维图像的每一像素进行分类。其中，分类模型为预先训练后，获得的分类模型，并且保存在神经网络系统中。分类模型可以是多个，例如通过不同训练样本组单独训练出来的多个分类模型。通过将降维图像作为输入，利用分类模型作为运算过程，则可以获得所需的对每一像素进行分类的输出。

在本实施例中，在对所述降维图像的每一像素进行分类之后，再将降维图像通过神经网络升维算法，获得与所述原始图像大小相同的分类图像。其中，升维算法可以是现有技术中常用的基于卷积神经网络(CNN)的算法，或者全连接卷积神经网络(FCN)的算法。由于之前标记过每一分类模型对应的特定区域，因此分类图像能够针对每一分类进行后续的再匹配对比，或者计算目标物体姿态和位置等流程。

本实施例所提供的图像分割方法，通过对原始图像进行降维，然后进行卷积对比，再将因卷积而降维的图像进行升维处理，以此得到与原始图像大小相同的分类图像。并且由于预先对神经网络进行训练，从而可以使得分类精确到每个像素点。从而再进行后续步骤时，能够定位准确，并且得到准确的姿态。

进一步的，所述分类模型的数量为多个。

所述图像分割方法还包括：

步骤S204，根据多个分类模型获得的分类图像的重叠情况进行调整，获得调整后的分类图像。

其中，多个分类模型可以采用不同的训练样本训练得来。然后，根据多个分类模型获得各自的分类图像。最后根据各个分类图像的重叠情况进行调整，具体可以是重叠的部分保留，而没有重叠的部分去除，等等。

实施例三

本实施例提出了一种图像分割方法，本实施例以上述实施例为基础，额外增加了步骤。具体如下：

所述图像分割方法还包括：

步骤S301，获得多个训练图像；

步骤S302，根据输入指令获得所述训练图像中完整度达到70％的物体的标注；

步骤S303，根据所述训练图像和对应的标注对神经网络进行训练。

在本实施例中，获得多个训练图像。其中，训练图像可以成千上万，通过越多的训练图像能够训练出越精确的分类模型。具体的，多个所述训练模型包括处于多种形态，多种角度，多种距离和或多种光线的物体。从而能够使训练结果具有更强的鲁棒性。

然后，通过人工进行标注，即在训练图像中标注所要分类的物体的像素点。其中，本实施例中，设置完整度达到70％的物体进行标注。完整度是指，在训练图像中，物体仅部分暴露在外，而通过判断暴露在外的区域是否达到物体本身的70％。若是，则完整度达到70％。通过仅标注完整度达到70％的物体，则能够使得训练更具有针对性，能够识别出最上层可供抓取的物体。使得系统在识别原始图像中的物体时，仅仅能够识别到最上层，并且能够抓取的物体。

实施例四

本发明还提供了一种图像分割设备。

所述图像分割设备包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的图像分割程序，所述图像分割程序被所述处理器执行时实现如下步骤：

获得原始图像；

本实施例所提供的图像分割设备，通过获得原始图像。再将所述原始图像输入至预先训练的神经网络进行计算，计算分类所述第一图像中的每一物体，获得对应每一物体的像素点集。从而利用了经过训练的神经网络能够高效和准确进行分类，从而获得对应每一物体的像素点集。

本实施例所提供的图像分割设备，还可以参照上述图像分割方法的实施例进行调整。调整的技术特征以及这些技术特征所带来的有益效果，具体可以参看上述实施例，在此不再赘述。

实施例五

本实施例提供了一种计算机可读存储介质。

所述计算机可读存储介质上存储有图像分割程序，所述图像分割程序被处理器执行时实现如下步骤：

获得原始图像；

本实施例所提供的计算机可读存储介质，通过获得原始图像。再将所述原始图像输入至预先训练的神经网络进行计算，计算分类所述第一图像中的每一物体，获得对应每一物体的像素点集。从而利用了经过训练的神经网络能够高效和准确进行分类，从而获得对应每一物体的像素点集。

本实施例所提供的计算机可读存储介质，还可以参照上述图像分割设备的实施例进行调整。调整的技术特征以及这些技术特征所带来的有益效果，具体可以参看上述实施例，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims

1.一种图像分割方法，用于物流系统中物体分割，其特征在于，所述图像分割方法包括：

获得原始图像；

将降维图像通过神经网络升维算法，获得与所述原始图像大小相同的分类图像；

所述分类模型的数量为多个；根据多个分类模型获得的分类图像的重叠情况进行调整，重叠的部分保留，没有重叠的部分删除，获得调整后的分类图像；

所述图像分割方法还包括：

获得多个训练图像；

根据输入指令获得所述训练图像中完整度达到70％的物体的标注，通过人工进行标注，在训练图像中标注所要分类的物体的像素点；

根据所述训练图像和对应的标注对神经网络进行训练。

2.如权利要求1所述的图像分割方法，其特征在于，多个训练图像包括处于多种形态，多种角度，多种距离和或多种光线的物体。

3.一种图像分割设备，其特征在于，用于物流系统中物体分割，所述图像分割设备包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的图像分割程序，所述图像分割程序被所述处理器执行时实现如下步骤：

获得原始图像；

所述分类模型的数量为多个；

所述图像分割程序被执行时还包括步骤：

根据多个分类模型获得的分类图像的重叠情况进行调整，重叠的部分保留，没有重叠的部分删除，获得调整后的分类图像；

所述图像分割程序被执行时还包括步骤：

获得多个训练图像；

根据所述训练图像和对应的标注对神经网络进行训练。

4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像分割程序，所述图像分割程序被处理器执行时实现如权利要求1或2中任一项所述的图像分割方法的步骤。