CN108399639A - 基于深度学习的快速自动抓取与摆放方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的快速自动抓取与摆放方法。该方法采用深度学习的方案，结合GPU和3D相机可以快速、准确的确定物品的位置和姿态。本发明通过快速的标定方案，可以获得3D相机坐标系到机械臂坐标系的转移矩阵。转移矩阵可以将物品的位置和姿态转换到机械臂坐标系下，然后操作机械臂进行抓取。为了精确的将物品以特定的方式放置，本发明对物品进行二次姿态估计。二次姿态估计的方式是，首先将物品以固定姿态抓取到估计位置。此时仅用深度信息将物品比较完整的分割出来。之后将其投影到放置平面上。平面上的信息进行准确的姿态估计，可供机械臂进行放置。

Description

基于深度学习的快速自动抓取与摆放方法

技术领域

本发明涉及计算机视觉、机器人、深度学习、人工智能、工业自动化技术领域，尤其涉及基于深度学习的快速自动抓取与摆放方法。

背景技术

工业自动化对工业生产线、流水线、包装线等的生产效率的提高有重要的意义。随着电子商务的高速发展和人力成本的提高，工业自动化设备和机器人的使用越来越广泛。

当前使用工业机器人的场景一般为多轴机械臂。机械臂自动化的方式相对简单，一般只能处理特定的、规则的物品，且只能按照预定设定的位置和姿态进行物品(零件、产品、包装盒等)进行抓取和摆放。在处理一些复杂的或者不规则的物品时，无法高效地处理。

发明内容

为解决工业领域生产线上抓取、装货的自动化的问题，尤其是生产线的物品位置姿态等不规则时，本发明提出一种基于深度学习的快速自动抓取与摆放方法，本发明采用深度学习和3D相机的方案，结合前沿的算法，能够自动识别出要抓取和摆放的物品，并能利用3D相机对物品进行姿态估计，按照产品的需求进行较高精度、准确的摆放。

本发明解决技术问题所采用的技术方案如下：一种基于深度学习的快速自动抓取与摆放方法，该方法包括如下步骤：

步骤1：安装机械臂和3D相机，使机械臂的操作范围应与3D相机的可视范围重合；

步骤2：对3D相机和机械臂进行标定，确定两个坐标系之间的转移矩阵；

步骤3：3D相机对目标物体进行图片数据的采集和标注，利用CNN(卷积神经网络)对标注好的数据进行训练，获得深度学习模型；

步骤4：3D相机对物体进行图片数据的采集，将采集的图片数据输入到步骤3训练好的深度学习模型中，获得物品在图像中的2D位置信息，结合3D相机的深度信息和相机的内参可以计算出物品中心在相机坐标系下的3D位置信息；

步骤5：通过步骤2获得的转移矩阵，结合步骤4的获得的物品2D和3D位置信息，可以获得物品在机械臂坐标系下的位置信息；

步骤6：根据步骤5获得的物品在机械臂下的坐标，控制机械臂对物品进行抓取，并放置到特定位置，再次利用3D相机进行拍摄，获得物品的深度点云数据，并将点云投影到水平面上，利用最小包围盒的方法，确定物品的位置和姿态，并完成3D的坐标转换，从而完成二次定位的过程；

步骤7：由步骤6获得的位置和姿态，将机械臂末端执行器调整到相应位置和姿态，将物品依照次序整齐摆放在设定地点，完成物品的摆放。

进一步的，所述机械臂采用多轴机械臂。

进一步的，所述3D相机采用结构光相机。

进一步的，本发明采用一种简单快捷的标定方案，可以获得3D相机坐标系到机械臂坐标系的转移矩阵，通过转移矩阵可以获得物品在机械臂坐标系下的位置和姿态，供机械臂进行操作抓取。所述步骤2具体如下：首先将棋盘格放置在机械臂末端执行器处，确定棋盘格在机械臂下的坐标；其次，随机移动机械臂末端执行器，每次移动到一个特定的位置，利用3D相机采集图片，检测出棋盘格中的角点，获得其在3D相机坐标系下的坐标，同时记录这些角点在机械臂下的坐标；采集数次后，获得两组坐标，两组坐标分别对应角点在两个坐标系的位置，最后，采用Matlab进行空间几何转换估计，计算出转移矩阵T。

进一步的，所述步骤3中3D相机对目标物体进行图片数据的采集时需要采集包括不同环境、光线和姿态的数据。

进一步的，所述步骤3中3D相机对目标物体进行图片数据的标注方法是采用包围盒的方式在图片中进行标注。

进一步的，在深度学习模型训练过程中采用GPU进行加速。

进一步的，在步骤4、3D相机对物体进行图片数据的采集，将采集的图片数据输入到步骤3训练好的深度学习模型中，获得物品在图像中的2D位置信息的过程中采用GPU进行加速。

本发明的有益效果如下：1.部署快速方便。本发明采用计算机视觉等智能方案，可在一定范围内容许有较大的摆放自由，故可以在工业现场快速方便部署。2.设备简单。本发明仅采用一个机械臂和一个3D相机的方案，标定板采用普通的即可，故具有简单、成本低廉的特点。3.放置实施准确。由于采用深度学习和二次精确定位的方案，故摆放可以做到毫米级的精度，大大有益于工厂生产线的自动化程度。

附图说明

图1是机械臂和3D相机安装位置关系图；

图2是棋盘格示意图；

图3是矩形物品位姿估计图，其中虚线方框为包围盒，实线框为最小包围盒。

具体实施方式

下面结合附图和实施例对本发明做进一步的说明。

本发明提供一种基于深度学习的快速自动抓取与摆放方法，具体包括：

1.安装方案。首先安装机械臂，3D相机安装在机械臂的侧上方。相机的视野要和机械臂的操作范围尽量重合，可在最大范围内提高操作空间。如图1所示。机械臂采用多轴机械臂，可完成各种姿态和空间范围。3D相机采用结构光相机，能够比较准确的获得视野中的彩色信息和深度信息，深度信息的误差和噪声较小。如存在光线不理想的情况，在上方放置补光灯的方案。

2.相机坐标系到机械臂坐标系的标定。标定的目的是确定步骤1和图1中相机坐标系和机械臂坐标系的转换关系，即转移矩阵T。转移矩阵是4×4的矩阵，包含旋转矩阵R和平移向量t。传统的手眼标定是将相机(眼)放置在机械臂末端执行机构(手)附近，通过相应的手眼标定算法计算出转换关系。在本发明中，采用手、眼分离的方案。即相机(眼)和机械臂分别固定，只留末端执行机构(手)操作。故只需计算手眼坐标系的转移矩阵即可。转移矩阵的旋转矩阵和平移向量各有3个自由度，故转移矩阵共有6个自由度。实际标定中，为减小误差，需要尽量采集多组不同位置数据。

本发明的标定采用如图2所示的棋盘格方案。首先将棋盘格放置在机械臂末端执行器处，可以比较精准的确定棋盘格在机械臂下的坐标；其次，随机移动机械臂末端执行器，每次移动到一个特定的位置，利用3D相机采集图片，检测出棋盘格中的角点，获得其在相机坐标系下的坐标，同时记录这些角点在机械臂下的坐标。采集数次后，获得两组坐标，两组坐标分别对应角点在两个坐标系的位置。最后，采用Matlab进行空间几何转换估计，计算出转移矩阵T。

3.深度学习训练。此步骤的目的是通过对目标物品的数据采集、标注和训练，完成物品识别的学习系统。为获得比较稳定的识别结果，需要至少对2000张图片数据进行采集和标注。样本的采集需要包括不同环境、光线和姿态的数据，数据量越多，识别结果越好。然后，利用CNN(卷积神经网络)对标注好的数据进行训练，获得深度学习模型。标注的方案采用包围盒的方式在图片中进行表示。训练和下一步识别的过程采用GPU进行加速。

4.识别与定位过程。首先将步骤3中的训练结果(模型)载入系统，然后利用3D相机采集数据。3D相机包含两组数据：彩色和深度信息。其中彩色信息用模型结果的输入，可以获得物品在图像中的2D位置信息。此过程可采用GPU进行加速。同时结合相机的深度信息和相机的内参可以计算出物品中心在相机坐标系下的3D信息。

5.物品抓取过程。通过步骤2中计算出的转移矩阵，结合步骤4的识别结果，可以获得物品在机械臂下的坐标。本发明中机械臂支持吸盘或抓手，对进行物品抓取，然后并移动到指定位置，对物品进行二次定位。

6.物品二次定位过程。为了精确的将物品以特定的方式放置，需要对其进行二次姿态估计。二次定位是本发明涉及的整齐摆放方案的关键步骤。在指定位置用3D相机拍摄，利用深度信息对物品进行分割，然后进行滤波和去噪，获得物品的三维点云，然后将点云投影到水平面上，获得物品投影的图片，如图3所示。本发明利用最小包围盒的方法，在图片中确定物品的位置和姿态，并完成3D的坐标转换。本发明利用OpenCV中的轮廓估计方法，结合自适应的参数和去噪方法获得准确的位姿(位置和姿态)，有较高的精度。如图3所示。本发明采用最小包围盒的方式对物品进行姿态估计，能够快速的获取结果，且对一些噪声有较强的鲁棒性。

7.整齐摆放过程。步骤6中的二次定位方案可以获得物品的位姿，将机械臂末端执行器依照次序整齐摆放再设定地点。本发明支持左右平整和上下层叠的摆放方式。然后进入步骤4，进行下一个物品的摆放。

Claims (8)

1.一种基于深度学习的快速自动抓取与摆放方法，其特征在于，该方法包括如下步骤：

步骤1：安装机械臂和3D相机，使机械臂的操作范围应与3D相机的可视范围重合；

步骤2：对3D相机和机械臂进行标定，确定两个坐标系之间的转移矩阵；

步骤3：3D相机对目标物体进行图片数据的采集和标注，利用CNN(卷积神经网络)对标注好的数据进行训练，获得深度学习模型；

步骤4：3D相机对物体进行图片数据的采集，将采集的图片数据输入到步骤3训练好的深度学习模型中，获得物品在图像中的2D位置信息，结合3D相机的深度信息和相机的内参可以计算出物品中心在相机坐标系下的3D位置信息；

步骤5：通过步骤2获得的转移矩阵，结合步骤4的获得的物品2D和3D位置信息，可以获得物品在机械臂坐标系下的位置信息；

步骤6：根据步骤5获得的物品在机械臂下的坐标，控制机械臂对物品进行抓取，并放置到特定位置，再次利用3D相机进行拍摄，获得物品的深度点云数据，并将点云投影到水平面上，利用最小包围盒的方法，确定物品的位置和姿态，并完成3D的坐标转换，从而完成二次定位的过程。

步骤7：由步骤6获得的位置和姿态，将机械臂末端执行器调整到相应位置和姿态，将物品依照次序整齐摆放在设定地点，完成物品的摆放。

2.根据权利要求1所述的一种基于深度学习的快速自动抓取与摆放方法，其特征在于，所述机械臂采用多轴机械臂。

3.根据权利要求1所述的一种基于深度学习的快速自动抓取与摆放方法，其特征在于，所述3D相机采用结构光相机。

4.根据权利要求1所述的一种基于深度学习的快速自动抓取与摆放方法，其特征在于，所述步骤2具体如下：

首先将棋盘格放置在机械臂末端执行器处，确定棋盘格在机械臂下的坐标；其次，随机移动机械臂末端执行器，每次移动到一个特定的位置，利用3D相机采集图片，检测出棋盘格中的角点，获得其在3D相机坐标系下的坐标，同时记录这些角点在机械臂下的坐标；采集数次后，获得两组坐标，两组坐标分别对应角点在两个坐标系的位置，最后，采用Matlab进行空间几何转换估计，计算出转移矩阵T。

5.根据权利要求1所述的一种基于深度学习的快速自动抓取与摆放方法，其特征在于，所述步骤3中3D相机对目标物体进行图片数据的采集时需要采集包括不同环境、光线和姿态的数据。

6.根据权利要求1所述的一种基于深度学习的快速自动抓取与摆放方法，其特征在于，所述步骤3中3D相机对目标物体进行图片数据的标注方法是采用包围盒的方式在图片中进行标注。

7.根据权利要求1所述的一种基于深度学习的快速自动抓取与摆放方法，其特征在于，在深度学习模型训练过程中采用GPU进行加速。

8.根据权利要求1所述的一种基于深度学习的快速自动抓取与摆放方法，其特征在于，在步骤4、3D相机对物体进行图片数据的采集，将采集的图片数据输入到步骤3训练好的深度学习模型中，获得物品在图像中的2D位置信息的过程中采用GPU进行加速。