CN109086736A

CN109086736A - 目标获取方法、设备和计算机可读存储介质

Info

Publication number: CN109086736A
Application number: CN201810942852.0A
Authority: CN
Inventors: 吕仕杰
Original assignee: Shenzhen Blue Fat Robot Co Ltd
Current assignee: Shenzhen Blue Fat Robot Co Ltd
Priority date: 2018-08-17
Filing date: 2018-08-17
Publication date: 2018-12-25
Also published as: WO2020034872A1

Abstract

本发明公开一种目标获取方法、设备和计算机可读存储介质，所述目标获取方法包括：所述目标获取方法包括：获得通过第一视觉结构拍摄的第一图像；将所述第一图像输入至预先训练的神经网络进行计算，计算分割所述第一图像的二维信息中的每一物体，获得对应每一物体的像素点集；根据所要获取的目标的像素点集获得所述目标的边框信息，以及根据第一图像的三维信息获得所述目标的深度信息；根据所述边框信息和深度信息控制机械手移动并获取目标。本发明具有自动分拣堆叠物体，提高机器人分拣的成功率的效果。

Description

目标获取方法、设备和计算机可读存储介质

技术领域

本发明涉及机器人分拣领域，特别涉及目标获取方法、设备和计算机可读存储介质。

背景技术

目前随着物流自动化的发展，机器人分拣也越来越火热。越来越多的货物需要快速进行分拣。在实际操作中，许多货物堆叠在一起，需要进行分拣。

但是，现有的分拣方案中，货物堆叠在一起，通常采用人工进行分拣，因此效率较低。

发明内容

本发明的主要目的是提供目标获取方法、设备和计算机可读存储介质，旨在自动分拣堆叠物体，提高机器人分拣的成功率。

为实现上述目的，本发明提出的一种目标获取方法，用于机器人分拣重叠物体，所述目标获取方法包括：获得通过第一视觉结构拍摄的第一图像；将所述第一图像输入至预先训练的神经网络进行计算，计算分割所述第一图像的二维信息中的每一物体，根据所要获取的目标的像素点集获得所述目标的边框信息，以及根据第一图像的三维信息获得所述目标的深度信息；根据所述边框信息和深度信息控制机械手移动并获取目标。

可选的，所述目标获取方法还包括：

获得多个训练图像；

根据输入指令获得所述训练图像中完整度达到70％的物体的标注；

根据所述训练图像和对应的标注对神经网络进行训练。

可选的，所述计算分割所述第一图像的二维信息中的每一物体包括：

通过Fully Convolutional Instance-aware Semantic Segmentation分割图片中每一个物体。

可选的，所述根据目标的像素点集获得所述目标的边框信息包括：

根据目标的像素点集以及RANSAC方法提取出目标的边框。

可选的，所述目标获取方法还包括：

获得通过第二视觉结构拍摄所述目标的第二图像；

根据所述第二图像的三维信息获得所述目标的当前姿态；

在所述当前姿态未匹配预设姿态时，控制所述机械手调整姿态，以使所述目标处于预设姿态。

本发明还提供了一种目标获取设备，所述目标获取设备包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的目标获取程序，所述目标获取程序被所述处理器执行时实现如下步骤：

获得通过位于上方的第一视觉结构拍摄的第一图像；

将所述第一图像输入至预先训练的神经网络进行计算，计算分割所述第一图像的二维信息中的每一物体，获得对应每一物体的像素点集；

根据所要获取的目标的像素点集获得目标的边框信息，以及根据第一图像的三维信息获得目标的深度信息；

根据所述边框信息和深度信息控制机械手移动并获取目标。

可选的，所述目标获取程序被所述处理器执行时还实现如下步骤：

获得多个训练图像；

根据所述训练图像和对应的标注对神经网络进行训练。

通过Fully Convolutional Instance-aware Semantic Segmentation分割图片中每一个物体。。

可选的，所述目标获取程序被所述处理器执行时还执行如下步骤：

获得通过位于下方的第二视觉结构拍摄所述目标的第二图像；

根据所述第二图像的三维信息获得所述目标的当前姿态；

在所述当前姿态未匹配预设姿态时，控制所述机械手调整获取动作，以使所述目标处于预设姿态。

本发明还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有目标获取程序，所述目标获取程序被处理器执行时实现如上述的目标获取方法的步骤。

本发明所提供的目标获取方法，通过第一视觉结构获得第一图像，并且通过第一图像中的二维信息来识别需要获取的目标。然后在通过二维信息和三维信息的结合，获得机械手需要横向移动的量，以及需要纵向移动的量。最后通过机械手移动来获取目标。因此，在本实施例中，通过二维和三维信息的结合，达到了拍摄多个物体、从多个物体中识别需要获取的目标，并且获得目标的位置，以供机械手进行获取。该过程全程自动处理，不需要人工干预，从而具有自动化的效果。并且本实施例通过二维和三维的结合，通过二维信息进行目标识别，以及获得目标的边框信息，再通过三维信息获得深度信息，该过程具有高效准确和方案精巧的效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明目标获取方法第一实施例的流程图；

图2为如图1中目标获取方法的应用例的一示意图；

图3为本发明目标获取方法第二实施例的部分流程图；

图4为本发明目标获取方法第三实施例的部分流程图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一

本实施例提出了一种目标获取方法，用于机器人分拣重叠物体。

请结合参看图1和图2，所述目标获取方法包括：

步骤S101，获得通过第一视觉结构100拍摄的第一图像。

步骤S102，将所述第一图像输入至预先训练的神经网络进行计算，计算分割所述第一图像的二维信息中的每一物体，获得对应每一物体的像素点集。

步骤S103，根据所要获取的目标300的像素点集获得所述目标300的边框信息，以及根据第一图像的三维信息获得所述目标300的深度信息。

步骤S104，根据所述边框信息和深度信息控制机械手移动并获取目标300。

在本实施例中，首先过得通过位于上方的第一视觉结构100拍摄的第一图像。其中，第一视觉结构100可以获得RGB图像和以及3D图像，例如安装两个单独的摄像头用于分别获得RGB图像和3D图像；或者采用双目摄像头既获得RGB图像可以通过计算获得3D图像。因此，本系统获得的第一图像中既包括RGB信息又包括3D信息。通常，机械手将由上向下去获取目标，然后带着目标向上移动。因此，本实施例中第一视觉结构100设于上方，朝向下方进行拍摄。

在本实施例中，在获得所述第一图像之后，再将所述第一图像输入至预先训练的神经网络进行计算，计算分割所述第一图像的二维信息中的每一物体，获得对应每一物体的像素点集。其中，系统获取第一图像中的二维信息，例如：直接获得二维图像；或者从三维图像中去掉深度信息，而获得二维图像。然后，对二维图像作为神经网络的输入。预先训练的神经网络，能够在获得输入值时，根据预先训练而获得的计算式，计算获得输出值。

其中，神经网络可以通过Fully Convolutional Instance-aware SemanticSegmentation方案来进行卷积，分类和升维的操作。通过对二维信息进行卷积处理，能够高效和准确实施像素分类。在分类之后，再对降维后的图片进行升维处理，从而获得分类图像，达到分割所述第一图像的二维信息中的每一物体的效果。而分类图像与第一图像大小相同，则能够便于进行后续步骤中依据像素点集的识别边框操作。从而为机械手的平移，提供坐标。

在本实施例中，在获得对应每一物体的像素点集之后，再根据所要获取的目标300的像素点集获得所述目标300的边框信息，以及根据第一图像的三维信息获得所述目标300的深度信息。其中，由于像素点集基本展示了目标300的大部分信息，因此通常能够计算获得目标300的边框，例如可以根据目标300的像素点集以及RANSAC方法提取出目标300的边框。然后从边框信息中获得边框的长度、在二维坐标中所覆盖区域等等。进一步的，该边框信息可以提供用于机械手在前后左右方向的移动信息，通常记为X轴和Y轴方向的移动量。然后在通过第一图像中的三维信息获得目标300所在位置的深度。该深度信息可以提供用于机械手在上下方向的移动信息，通常记为Z轴方向的移动量。

在本实施例中，在获得边框信息和深度信息之后，根据所述边框信息和深度信息控制机械手移动并获取目标300。其中，在获取时，可以通过吸盘进行负压吸取，也可以通过机械手抓取。机械手下降至预设高度时进行减速，并且通过负压传感器或力矩传感器判断是否有碰到目标300。在判断碰到目标300之后，即可保持负压至预设值或者将张开的爪子合拢，以获取目标300。

本实施例所提供的目标获取方法，通过第一视觉结构100获得第一图像，并且通过第一图像中的二维信息来识别需要获取的目标300。然后在通过二维信息和三维信息的结合，获得机械手需要横向移动的量，以及需要纵向移动的量。最后通过机械手移动来获取目标300。因此，在本实施例中，通过二维和三维信息的结合，达到了拍摄多个物体、从多个物体中识别需要获取的目标300，并且获得目标300的位置，以供机械手进行获取。该过程全程自动处理，不需要人工干预，从而具有自动化的效果。并且本实施例通过二维和三维的结合，通过二维信息进行目标300识别，以及获得目标300的边框信息，再通过三维信息获得深度信息，该过程具有高效准确和方案精巧的效果。

实施例二

本实施例提供了一种目标获取方法，本实施例基于上述实施例，额外增加了步骤。请参看图3，具体如下：

步骤S201，获得多个训练图像；

步骤S202，根据输入指令获得所述训练图像中完整度达到70％的物体的标注；

步骤S203，根据所述训练图像和对应的标注对神经网络进行训练。

本实施例的其他步骤和第一实施例相同，具体可以参看第一实施例，在此不再赘述。

在本实施例中，首先获得多个训练图像。其中，训练图像可以成千上万，通过越多的训练图像能够训练出越精确的分类模型。通过将输入值输入至神经网络的分类模型即可获得所需的输出值。

在本实施例中，在获得多个训练图像之后，再根据输入指令获得所述训练图像中完整度达到70％的物体的标注。其中，输入指令即通过人工进行标注，即在训练图像中标注所要识别的物体所包括的像素点。其中，本实施例中，设置完整度达到70％的物体进行标注。完整度是指，在训练图像中，物体仅部分暴露在外，而通过判断暴露在外的区域是否达到物体本身的70％。若是，则完整度达到70％。通过仅标注完整度达到70％的物体，则能够使得训练更具有针对性，能够识别出最上层可供获取的物体。使得系统在识别第一图像中的物体时，仅仅能够识别到最上层，并且能够获取的物体。

在本实施例中，在根据输入指令获得所述训练图像中完整度达到70％的物体的标注之后，再根据所述训练图像和对应的标注对神经网络进行训练。其中，神经网络可以通过自身程序去不断的尝试公式，变化公式，各种公式的组合，从而不断趋近于在训练图像上计算获得如输入指令一样的标注。在趋近程度达到预设值时，则神经网络保存当前获得算法，即分类模型。

实施例三

本实施例提供了一种目标获取方法，本实施例基于上述实施例，在获取目标300之后额外增加了步骤，请结合参看图4和图2，具体如下：

步骤S301，获得通过位于下方的第二视觉结构200拍摄所述目标300的第二图像。

步骤S302，根据所述第二图像的三维信息获得所述目标300的当前姿态。

步骤S303，在所述当前姿态未匹配预设姿态时，控制所述机械手调整姿态，以使所述目标300处于预设姿态。

本实施例的其他步骤和第二实施例相同，具体可以参看第二实施例，在此不再赘述。

在本实施例中，首先获得通过位于下方的第二视觉结构200拍摄所述目标300的第二图像。其中，由于后续步骤中，仅仅需要3D信息，因此第二视觉结构200仅仅需要获得3D信息即可。由于机械手在获取目标300之后，会向上移动，因此，第二视觉结构200将由下向上拍摄目标300。相对第一视觉结构100由上向下拍摄，此时会被机械手挡住，因此难以分割并且获得目标300的姿态。因此，通过布置在下方的第二视觉结构200由下向上拍摄，则目标300不会被机械手挡住，从而拍摄所获得的第二图像能够较为容易实现对目标300的分割并且获得目标300的姿态。

在本实施例中，当获得目标300的第二图像之后，再根据所述第二图像的三维信息获得所述目标300的当前姿态。其中，第二图像的三维信息包括三维点云，可以通过RANSAC方案提取三维点云中的平面。然后所提取出的平面拟合出目标300的形状和姿态。具体的拟合方案例如：将所提取的每一平面以各自正视方向投影到平面，而获得二维平面数据；再根据二维平面数据拟合获得矩形区域。然后，将密度最大且面积超过预设阈值的一矩形区域作为参考平面，并且将法线与参考平面的法线垂直的矩形区域作为相关平面；最后根据所述参考平面和相关平面拟合出箱体区域。从而获得了目标300的姿态信息。

在本实施例中，当获得目标300的当前姿态之后，再判断所述当前姿态是否匹配预设姿态，若否，则控制所述机械手调整姿态，以使所述目标300处于预设姿态。其中，当机械手获取箱子之后，箱子可以是各种东倒西歪的姿态。而为了能够使得箱子能够平稳放入某一位置，则需要对箱子的姿态进行调整。因此，当目标300的当前姿态不匹配预设姿态时，则通过计算获得需要旋转的角度的方向，然后进行相应的调整，使得目标300处于所需的预设姿态。

因此，本实施例所提供的目标获取方法，通过获取第二图像，通过第二图像的三维信息来计算目标300的当前姿态，并且调整目标300至预设姿态。从而能够达到安全稳定将目标300放入预设位置的效果。

实施例四

本实施例提供了一种目标获取设备，所述目标获取设备包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的目标获取程序，所述目标获取程序被所述处理器执行时实现如下步骤：

获得通过位于上方的第一视觉结构100拍摄的第一图像；

根据所要获取的目标300的像素点集获得目标300的边框信息，以及根据第一图像的三维信息获得目标300的深度信息；

根据所述边框信息和深度信息控制机械手移动并获取目标300。

本实施例所提供的目标获取设备，通过第一视觉结构100获得第一图像，并且通过第一图像中的二维信息来识别需要获取的目标300。然后在通过二维信息和三维信息的结合，获得机械手需要横向移动的量，以及需要纵向移动的量。最后通过机械手移动来获取目标300。因此，在本实施例中，通过二维和三维信息的结合，达到了拍摄多个物体、从多个物体中识别需要获取的目标300，并且获得目标300的位置，以供机械手进行获取。该过程全程自动处理，不需要人工干预，从而具有自动化的效果。并且本实施例通过二维和三维的结合，通过二维信息进行目标300识别，以及获得目标300的边框信息，再通过三维信息获得深度信息，该过程具有高效准确和方案精巧的效果。

本实施例所提供的目标获取设备还可以参照上述目标获取方法的实施例进行调整。调整的技术特征以及这些技术特征所带来的有益效果，具体可以参看上述实施例，在此不再赘述。

实施例五

本实施例提供了一种计算机可读存储介质。

所述计算机可读存储介质上存储有目标获取程序，所述目标获取程序被处理器执行时实现如下步骤：

获得通过位于上方的第一视觉结构100拍摄的第一图像；

本实施例所提供的计算机可读存储介质，通过第一视觉结构100获得第一图像，并且通过第一图像中的二维信息来识别需要获取的目标300。然后在通过二维信息和三维信息的结合，获得机械手需要横向移动的量，以及需要纵向移动的量。最后通过机械手移动来获取目标300。因此，在本实施例中，通过二维和三维信息的结合，达到了拍摄多个物体、从多个物体中识别需要获取的目标300，并且获得目标300的位置，以供机械手进行获取。该过程全程自动处理，不需要人工干预，从而具有自动化的效果。并且本实施例通过二维和三维的结合，通过二维信息进行目标300识别，以及获得目标300的边框信息，再通过三维信息获得深度信息，该过程具有高效准确和方案精巧的效果。

本实施例所提供的计算机可读存储介质还可以参照上述目标获取方法的实施例进行调整。调整的技术特征以及这些技术特征所带来的有益效果，具体可以参看上述实施例，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims

1.一种目标获取方法，用于机器人分拣重叠物体，其特征在于，所述目标获取方法包括：

获得通过第一视觉结构拍摄的第一图像；

根据所要获取的目标的像素点集获得所述目标的边框信息，以及根据第一图像的三维信息获得所述目标的深度信息；

根据所述边框信息和深度信息控制机械手移动并获取目标。

2.如权利要求1所述的目标获取方法，其特征在于，所述目标获取方法还包括：

获得多个训练图像；

根据所述训练图像和对应的标注对神经网络进行训练。

3.如权利要求1所述的目标获取方法，其特征在于，所述计算分割所述第一图像的二维信息中的每一物体包括：

4.如权利要求1所述的目标获取方法，其特征在于，所述根据目标的像素点集获得所述目标的边框信息包括：

根据目标的像素点集以及RANSAC方法提取出目标的边框。

5.如权利要求1至4任一项所述的目标获取方法，其特征在于，所述目标获取方法还包括：

获得通过第二视觉结构拍摄所述目标的第二图像；

根据所述第二图像的三维信息获得所述目标的当前姿态；

6.一种目标获取设备，其特征在于，所述目标获取设备包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的目标获取程序，所述目标获取程序被所述处理器执行时实现如下步骤：

获得通过位于上方的第一视觉结构拍摄的第一图像；

根据所述边框信息和深度信息控制机械手移动并获取目标。

7.如权利要求6所述的目标获取设备，其特征在于，所述目标获取程序被所述处理器执行时还实现如下步骤：

获得多个训练图像；

根据所述训练图像和对应的标注对神经网络进行训练。

8.如权利要求6所述的目标获取设备，其特征在于，所述计算分割所述第一图像的二维信息中的每一物体包括：

9.如权利要求6至8任一项所述的目标获取方法，其特征在于，所述目标获取程序被所述处理器执行时还执行如下步骤：

根据所述第二图像的三维信息获得所述目标的当前姿态；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有目标获取程序，所述目标获取程序被处理器执行时实现如权利要求1至5中任一项所述的目标获取方法的步骤。