CN105217324A - 一种新型的拆垛方法和系统 - Google Patents

Abstract

本发明公开了一种基于双目视觉的拆垛方法，主要包括：机械臂前端安装双目相机，使双目相机随着机械臂移动，拆垛系统根据分区情况移动机械臂前端到合适的位置，然后同步采集双目图像，识别定位目标；然后根据拆垛机器人的姿态，将相机坐标系下的目标方位转化为机器人坐标系下的目标方位；拆垛机器人根据目标方位进行抓取，从而实现逐层分区方式进行拆垛。相应地，本发明还公开了一种拆垛系统。实施本发明，可实现准确可靠的机器人自动拆垛，扩大了拆垛机器人的工作空间范围，以及机器人的拆垛范围，提高拆垛灵活性，有效地解决拆垛机器人所面临的定位问题。

Description

一种新型的拆垛方法和系统

技术领域

本发明涉及机器人拆垛技术，特别涉及基于双目立体视觉的机器人拆垛方法，以及一种基于该方法的机器人拆垛系统。

背景技术

拆垛属于工厂生产、物流运输必不可少的一个步骤，目前还是主要以人工拆垛为主。而人工拆垛劳动强度大，效率低下，特别是有毒、有害环境下，同时劳动力成本的上升和市场竞争等，都要求企业必须提高生产效率，由人工转向自动化。拆垛机器人能为企业生产提供更广的生产空间和更多的生产时间，把可控生产落实到工业生产的每一步，为企业带来更宏观的经济效益。这属于全智能工厂的发展方向和未来企业的生产模式。尽管机器人码拆垛技术得到了较大发展，但机器人拆垛技术应用却没有码垛技术应用广泛，这主要是由于拆垛系统需要首先对目标进行定位。

随着机器视觉技术的发展，机器视觉可以为拆垛机器人提供视觉定位。这使得基于视觉定位的机器人拆垛系统具有很好的市场前景。目前视觉定位大多基于单目视觉或者激光扫描方式，如专利CN104669281A采用激光扫描和相机结合的方式获得深度信息从而进行目标定位。激光扫描的方式具有扫描速度慢和工作寿命限制等不足。专利CN104331894A采用了双目视觉获得深度信息并进行目标定位。但这几种方法所使用的相机或者扫描装置都是固定在堆垛上方。这限制了拆垛机器人的工作空间范围，并且限制了堆垛的大小。

有鉴于此，本发明提出了一种基于双目立体视觉的拆垛方法，以及一种基于该方法的拆垛系统，采用把双目相机安装在机器人机械臂上，随着机械臂移动，利用机械臂的移动扩大拆垛范围，实现可靠准确地视觉定位。这样可以有效地解决拆垛机器人所面临的定位问题，从而完成机器人的自动化拆垛。

发明内容

本发明解决的问题是提供一种基于双目视觉的拆垛方法及其系统，能够解决工作空间限制和拆垛范围限制等问题，从而完成机器人的自动化拆垛。

为了解决上述问题，本发明提出了一种基于双目视觉的拆垛方法，包括以下步骤：

目标方位计算，根据机械臂前端的双目相机同步采集的左右图像，进行目标识别定位；

目标方位转换，将相机坐标系的目标方位转换为机器人坐标系中的方位(方向角和位置)；

机器人拆垛操作，机器人根据计算的目标方位对堆垛进行目标抓取，实现逐层分区拆垛。

相应地，本发明还提供了一种基于上述方法的拆垛系统，包括：

双目相机模块，固定双目相机在机械臂前端；

目标方位计算模块，同步采集左右图像，进行目标识别定位；

目标方位转换模块，将相机坐标系的目标方位转换为机器人坐标系中的方位；

拆垛机器人，根据获得的目标方位对目标进行抓取，实现逐层分区拆垛。

因此，本发明通过安装在机器人机械臂前端的双目相机，实现了拆垛系统的目标方位的计算，从而实现了智能拆垛系统。该系统能够有效解决人工拆垛的劳动强度大和效率低下问题，实现自动化拆垛，降低企业生产成本，提高企业的生产效率和经济效益。

附图说明

图1显示为本发明的基于双目视觉的拆垛系统的一个实施例。

图2显示为本发明的目标方位计算单元的一个实施装置。

图3显示为本发明的拆垛方法的流程图。

图4显示为本发明的逐层分区拆垛方式的示意图。

图5显示为本发明的步骤S1处理的详细步骤的流程图。

图6显示为本发明的拆垛系统示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

请参阅图1至图6。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

图1示出了本发明的基于双目视觉的拆垛系统的一个实施例。一种基于双目视觉的拆垛系统的实施例10，包括：

双目相机单元101：同步采集左右图像，作为待处理双目图像；

方位计算单元102：计算深度信息，进行目标识别定位；

方位转换单元103：将相机坐标系的目标方位转换为机器人坐标系的方位；

拆垛机器人104：拆垛机器人抓取堆垛上的目标；

待拆堆垛105：需要分层拆掉的堆垛。

根据本发明的方法，其方位计算处理主要是通过处理单元102来完成。其中，该处理单元设备包括但不限于：1)用户设备；2)网络设备。所述用户设备包括但不限于计算机、智能手机、PDA等；所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。拆垛系统移动拆垛机器人104的机械臂前端到堆垛105的上方，方位计算单元102控制双目相机单元101同步采集左右目图像；方位计算单元102对采集的双目图像进行分析处理，识别其中的目标并进行目标定位；方位转换单元103将单元102得到相机坐标系的目标方位转换为机器人坐标系的目标方位；方位转换单元103将目标方位通过通信接口传输给拆垛机器人104，拆垛机器人104根据目标方位抓取堆垛105最上层的目标，直到该层的目标拆垛完毕；如果双目相机单元101无法完全覆盖整个堆垛105最上层的区域，则移动机器人机械臂，对堆垛105最上层的目标进行分区域拆垛，直到最上层的所有目标拆垛完毕。

如图2所示，给出了上述实施例10所述的拆垛系统实施例的处理单元102的一个实施装置，值得注意的是，方位计算单元102和方位转换单元103可以由相同的实施装置实现。在这个实施装置中，装置系统102包括处理器201和图像输入接口207。在该实施系统中，也包括了处理器201可访问的存储设备202和203。这些存储设备可以是随机存储单元RAM，也可以是程序存储器等，例如硬盘。处理器201从程序存储器加载程序并运行，从而能够输入和处理图像。此外，处理器201也可以连接到显示设备204，以及一些输入输出人机交互设备205，如鼠标、键盘等。一些其他接口设备208也可以与处理器201相连接，实现一些其他处理功能。接口206可以实现一些图像或者视频的输出，而电源209为装置系统提供电源。

图3示出了本发明的拆垛方法的流程图。所述的拆垛系统按照逐层分区进行拆垛，如果双目相机的视野范围完全包含了堆垛的最上层，则对当前层不需要进行分区域，否则需要根据双目相机的视野范围，对当前层进行分区域拆垛。不失一般性，图4给出了分区域的一个实施例。该实施例中，双目相机无法完全包含最上层的目标，需要分区域进行拆垛，相邻区域具有一定的重叠部分，使视野中的待拆目标尽可能完整。当位置A时，视野中的最上层目标拆除完毕，机械臂平移到位置B，同步采集双目图像，根据双目图像进行目标定位，然后进行目标方位转换，拆垛机器人根据转换后的目标方位进行抓取目标，从而对位置B视野中的目标进行拆垛。

在步骤S1中，所述的拆垛系统首先根据分区情况移动机械臂前端到合适的位置，然后同步采集双目图像，识别定位目标。步骤S2根据拆垛机器人的姿态，将相机坐标系下的目标方位转化为机器人坐标系下的目标方位。步骤S3中，拆垛机器人根据目标方位进行抓取。这样拆垛系统按照逐层分区的方式进行拆垛。

图5是表示步骤S1处理的详细步骤的流程图。首先步骤301同步获取双目左右图像，步骤302分别对双目图像进行降噪处理，例如高斯滤波，这样可以减少噪声的影响。根据离线双目标定306得到的标定数据，对降噪后的双目图像进行重映射(re-map)，消除镜头畸变等。步骤303分别对双目图像检测SIFT特征点，并对左右图像的SIFT特征点进行匹配，从而得到SIFT点的匹配对集。步骤304根据离线双目标定306得到的标定数据，计算每个匹配对的视差，从而进一步根据三角测量原理计算得到特征点在相机坐标系中的空间坐标。步骤305根据离线获得的目标特征307进行目标识别(特征匹配)，从而定位目标。不失一般性，这里采用的特征点为SIFT特征点。

所述的步骤304的特征点的三维坐标(x，y，z)，根据三角测量原理计算：

$\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\frac{T}{d}\left[\begin{array}{c}u\\ v\\ f\end{array}\right]---\left(1\right)$

其中，(u，v)为特征点在左图中的像素坐标，f为双目相机的焦距，由于双目相机经过了立体标定，因此左右相机的焦距相同；T为双目相机的光心距离，f和T通过相机的立体标定获得；d为特征点在左右图中的视差，由于双目图像进行了重映射(re-map)，故视差d＝u-u_r，这里u_r为特征点在右图中的像素横坐标。

优选地，所述的步骤305目标的检测通过SIFT特征匹配来实现。由于图像中可能存在多个目标，因此用扫描的方法定位各个目标。定义一个直径R_M的圆形模板M，直径R_M可略小于目标的最大尺寸。对左图进行从左到右、自上而下的扫描。如果以一个点P为中心的圆形模板M内的特征点与样本目标的所有特征点307中特征点匹配的数量大于阈值T_M，一个目标被检测出来。一般地，阈值T_M取点P为中心的圆形模板M内的特征点数量的80％。一个目标被检出来后，一个点P为中心的圆形模板内匹配的特征点不再被用于后续的扫描过程中，避免重复检测。

在步骤S2中，所述的拆垛系统转换相机坐标系的目标方位为机器人坐标系的方位。由于机器人是一个精密系统，其姿态是已知的(位置和角度)，此外，双目相机是固定在机器人机械臂前端，因此双目相机的相机坐标系相对于机器人坐标系的旋转和偏移也是已知的。设相机坐标系是机器人坐标系分别绕X_b、Y_b和Z_b轴旋转α、β和γ角度，并平移T_X、T_y和T_z得到，如下式(2)进行计算

$\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=R\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]+\left[\begin{array}{c}{T}_X\\ T_Y\\ T_Z\end{array}\right]---\left(2\right)$

其中(X，Y，Z)^T为机器人坐标系中的坐标，R为旋转矩阵，根据下式(3)计算

R＝R_x(α)R_y(β)R_z(γ)(3)

其中，R_x、R_y和R_z分别是绕X_b、Y_b和Z_b轴旋转α、β和γ角度的旋转矩阵。

值得注意的是，旋转矩阵R和平移T_X、T_y和T_z为已知的，通过机器人系统可以计算得到。因此，计算得到的相机坐标系中的坐标可以转换为机器人坐标系中的坐标，按照下式(4)计算

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=R^{-1}(\left[\begin{array}{c}x\\ y\\ z\end{array}\right]-\left[\begin{array}{c}{T}_X\\ T_Y\\ T_Z\end{array}\right])---\left(4\right)$

其中，R^-1是旋转矩阵R的逆矩阵。

根据式(4)将一个目标的匹配的特征点的相机坐标系的坐标转换为机器人坐标系中的坐标。由于堆垛上目标的特征点一般位于目标顶层，而目标的顶层可以认为是一个平面，因此离线建立机器人坐标系中标准目标的顶层平面PR，确定顶层平面PR的中心点为C_PA。计算该PR上的特征点与待拆目标的特征点的匹配关系，根据匹配对，采用类似式(2)的变换，并采用最小二乘法计算旋转矩阵R_PR和平移矩阵T_pR。并根据旋转矩阵R_PR和平移矩阵T_pR，按照式(2)的方式，根据顶层平面PR的中心点C_PA计算待拆目标的中心点位置。这样得到了目标的方位。

步骤S3根据步骤S2所计算的目标的位置和姿态(方向角)，指导拆垛机器人对当前层进行分区拆垛，根据目标方位抓取目标，直到当前层所有的目标拆垛完毕，然后进行下一层的拆垛处理。

图6示出了本发明的拆垛系统示意图。所述拆垛系统20实现了图3所示的本发明的基于双目视觉的拆垛方法。该系统包括：双目相机模块401、目标方位计算模块402、目标方位转换模块403和拆垛机器人404。双目相机模块401安装在拆垛机器人404的机械臂前端。根据图3所述的步骤，拆垛系统对堆垛按照逐层分区方式进行拆垛。拆垛系统移动机械臂到合适的位置，目标方位计算模块402通过双目相机模块401同步采集双目图像，计算三维坐标，并识别定位目标。目标方位转换模块403根据拆垛机器人404的已知的方位，将相机坐标系中的坐标转换为机器人坐标系中的坐标，并根据与标准目标的匹配关系，计算目标的方位。拆垛机器人404根据转换模块403所计算的目标方位，对目标进行抓取，，直到当前层所有的目标拆垛完毕。

综上所述，本发明的基于双目立体视觉的拆垛方法及系统通过在机械臂前端安装双目相机，使双目相机随着机械臂移动，这样扩大了拆垛机器人的工作空间范围和机器人的拆垛范围，提高拆垛灵活性；通过双目视觉计算深度信息，从而实现逐层拆垛，克服激光扫描的方式的不足；所提出的基于特征点匹配的目标识别定位方法可以快速定位待拆的多个目标，提高了识别速度；本发明充分利用机器人方位姿态已知的这个特点，将相机坐标系中的坐标快速转换为机器人坐标系坐标；通过离线建立的标准目标的顶层平面，与待拆目标进行匹配，根据匹配对采用最小二乘法计算待拆目标的方位，这样可以提供准确的目标方位，这样机器人有效地解决拆垛机器人所面临的定位问题，从而完成机器人的自动化拆垛。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人员都可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (12)

1.一种基于双目视觉的拆垛方法，其特征在于，具备以下步骤：

1)通过机械臂前端的双目相机同步采集左右图像，进行目标识别定位；

2)目标方位转换计算，将相机坐标系的目标方位转换为机器人坐标系中的方位；

3)机器人拆垛操作，机器人根据计算的目标方位进行目标抓取，实现逐层分区拆垛。

2.根据权利要求1所述的拆垛方法，其特征在于，所述步骤1)包括：

安装双目相机在机器人机械臂前端，根据双目相机的视野范围，对当前层进行分区域拆垛，根据分区情况移动机械臂前端到合适的位置，然后同步采集双目图像。

3.根据权利要求1所述的拆垛方法，其特征在于，所述步骤1)还包括：

用一个直径R_M的圆形模板M扫描图像，识别并定位多个目标。直径R_M可略小于目标的最大尺寸。如果图像中以一个点P为中心的圆形模板M内的特征点与样本目标的特征点匹配的数量大于阈值T_M，一个目标被检测出来。一个目标被检出来后，一个点P为中心的圆形模板内匹配的特征点不再被用于后续的扫描过程中，避免重复检测。

4.根据权利要求1所述的拆垛方法，其特征在于，所述步骤2)包括：

计算得到的相机坐标系中的坐标(x，y，z)^T按照下式转换为机器人坐标系中的坐标(X，Y，Z)^T，

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=R^{-1}(\left[\begin{array}{c}x\\ y\\ z\end{array}\right]-\left[\begin{array}{c}{T}_X\\ T_Y\\ T_Z\end{array}\right])$

其中，R^-1是旋转矩阵R的逆矩阵。相机坐标系是机器人坐标系分别绕X_b、Y_b和Z_b轴旋转α、β和γ角度，并平移T_x、T_y和T_z得到。由于机器人是一个精密系统，其姿态是已知的(位置和角度)，并且双目相机是固定在机器人机械臂前端，因此双目相机的相机坐标系相对于机器人坐标系的旋转和偏移也是已知的，可以通过下式计算，

$\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=R\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]+\left[\begin{array}{c}{T}_X\\ T_Y\\ T_Z\end{array}\right]$

5.根据权利要求1所述的拆垛方法，其特征在于，所述步骤2)还包括：

计算标准目标的顶层平面PR上的特征点与待拆目标的特征点的匹配关系，根据匹配对，并采用最小二乘法计算下式中的旋转矩阵R_PR和平移矩阵T_pR，

$\left[\begin{array}{c}{X}_o\\ Y_o\\ Z_o\end{array}\right]=R_{PR}\left[\begin{array}{c}{X}_s\\ Y_s\\ Z_s\end{array}\right]+T_{PR}$

其中，(X_s，Y_s，Z_s)^T为顶层平面PR上的特征点的坐标，(X_o，Y_o，Z_o)^T为相应的匹配的待拆目标的特征点的坐标。根据旋转矩阵R_PR和平移矩阵T_pR，按照上述计算公式，根据顶层平面PR的中心点，计算待拆目标的中心点位置。这样得到了目标的方位。

6.根据权利要求1和5所述的方法，其中，所述的顶层平面PR，其特征在于：

离线建立机器人坐标系中的标准目标的顶层平面PR，确定顶层平面PR的中心点C_PA，并离线计算标准目标的顶层平面PR上的特征点。

7.一种拆垛系统，其特征在于，具备：

1)双目相机模块，固定在机械臂前端的双目相机，用于通过采集图像；

2)目标方位计算模块，计算深度信息，并识别定位目标；

3)目标方位转换模块，将相机坐标系的目标方位转换为机器人坐标系中的方位；

4)拆垛机器人，机器人根据计算的目标方位进行目标抓取，实现逐层分区拆垛。

8.根据权利要求7所述的拆垛系统，其中，双目相机模块其特征在于：

安装双目相机在机器人机械臂前端，根据双目相机的视野范围，对当前层进行分区域拆垛，根据分区情况移动机械臂前端到合适的位置，然后同步采集双目图像。

9.根据权利要求7所述的系统，所述目标方位计算模块其特征在于：

用一个直径R_M的圆形模板M扫描图像，识别并定位多个目标。直径R_M可略小于目标的最大尺寸。如果图像中以一个点P为中心的圆形模板M内的特征点与样本目标的特征点匹配的数量大于阈值T_M，一个目标被检测出来。一个目标被检出来后，一个点P为中心的圆形模板内匹配的特征点不再被用于后续的扫描过程中，避免重复检测。

10.根据权利要求7所述的系统，其特征在于，所述的目标方位转换模块将计算得到的相机坐标系中的坐标(x，y，z)^T按照下式转换为机器人坐标系中的坐标(X，Y，Z)^T，

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=R^{-1}(\left[\begin{array}{c}x\\ y\\ z\end{array}\right]-\left[\begin{array}{c}{T}_X\\ T_Y\\ T_Z\end{array}\right])$

其中，R^-1是旋转矩阵R的逆矩阵。相机坐标系是机器人坐标系分别绕X_b、Y_b和Z_b轴旋转α、β和γ角度，并平移T_x、T_y和T_z得到。由于机器人是一个精密系统，其姿态是已知的(位置和角度)，并且双目相机是固定在机器人机械臂前端，因此双目相机的相机坐标系相对于机器人坐标系的旋转和偏移也是已知的，可以通过下式计算，

$\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=R\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]+\left[\begin{array}{c}{T}_X\\ T_Y\\ T_Z\end{array}\right]$

11.根据权利要求7所述的系统，其特征在于，所述的目标方位转换模块计算标准目标的顶层平面PR上的特征点与待拆目标的特征点的匹配关系，根据匹配对，并采用最小二乘法计算下式中的旋转矩阵R_PR和平移矩阵T_pR，

$\left[\begin{array}{c}{X}_o\\ Y_o\\ Z_o\end{array}\right]=R_{PR}\left[\begin{array}{c}{X}_s\\ Y_s\\ Z_s\end{array}\right]+T_{PR}$

其中，(X_s，Y_s，Z_s)^T为顶层平面PR上的特征点的坐标，(X_o，Y_o，Z_o)^T为相应的匹配的待拆目标的特征点的坐标。根据旋转矩阵R_PR和平移矩阵T_pR，按照上述计算公式，根据顶层平面PR的中心点，计算待拆目标的中心点位置。这样得到了目标的方位。

12.根据权利要求7和11所述的系统，其中，所述的顶层平面PR，其特征在于：

离线建立机器人坐标系中的标准目标的顶层平面PR，确定顶层平面PR的中心点C_PA，并离线计算标准目标的顶层平面PR上的特征点。