CN104944168B - 一种基于图像三维重构的码垛机器人安全控制方法 - Google Patents

Abstract

该发明公开了一种基于图像三维重构的码垛机器人安全控制方法，涉及的是一种机器人控制方法，具体是面向码垛机器人的安全、高效的机器人控制方法。该方法通过双目摄像头采集机器人工作环境的视觉信息，通过采集到的信息重构出虚拟的实时三维环境图，通过对三维环境图的分析，首先判断机器人工作区域是否发生碰撞，若发生碰撞这立即停止机器人，若未发生碰撞，再判断机器人工作区域是否进入异常物体，是否会发生碰撞，从而该方法充分保证码垛机器人工作的安全性，并提高了其工作效率。

Description

一种基于图像三维重构的码垛机器人安全控制方法

技术领域

本发明涉及的是一种机器人控制方法，具体是面向码垛机器人的安全、高效的机器人控制方法。

背景技术

码垛机器人作为制造业工厂中自动堆码货物的自动化生产工具，在现在的生产中有着不可或缺的地位。而码垛机器人因为其高速重载的特性，在运行过程中，也有着不安全的一面，因为各种原因，码垛机器人会在运行过程中，发生诸如碰撞到作业环境内其他的物体的不安全的现象。当前解决这个问题的方法主要为：1、通过检测伺服驱动或伺服电机返回的过载信息判断当前是否发生碰撞。2、在机器人身上各个部件部署超声波距离传感器，测量当前机器人各个部件在一定的范围内，是否有其他物体靠近。第一个方法的缺点在于，必须当机器人和其他物体发生撞击时，才可判断出机器人已经发生了碰撞，此时再来阻止机器人运动已经来不及。第二个方法的缺点在于，需要在机器人的身上部署很多的超声波传感器，硬件成本较高。中国专利公开号CN 103192414 A公开了一种基于机器视觉的机器人防撞保护装置及方法。用摄像机拍摄机器人所处的环境的静态背景照片，之后当机器人运动起来的时候，根据动态采集的图片和原始的背景图片比较，判断出当前机器人的工作区域内有没有其他的物体进入，如果有则机器人停止作业。然而对于码垛机器人在作业的过程中(尤其一线两跺)，叉车必须要进入机器人的工作范围，叉走成跺的货物。这种做法会导致机器人在工作的时候突然停顿，同时这种方法也没有考虑到机器人在运行过程中可能因为机械故障或者其他的原因，发生和作业区其他物体的碰撞。

发明内容

本发明针对现有技术存在的不足，提供了一种基于图像三维重构的码垛机器人安全控制方法，针对当前码垛机器人在作业运行的过程中无法及时的发现作业区内的碰撞物体提供了一个新的解决方案，充分保证了作业的安全，提高了码垛机器人的安全性。

本发明提供了一种基于图像三维重构的码垛机器人安全控制方法，该方法包括如下步骤：

步骤1：码垛机器人正常运行过程中，通过双目视觉传感器实时采集机器人作业现场的图像信息；

步骤2：从步骤1采集到的图像信息中提取机器人及其作业现场的三维信息，重构出机器人及其作业现场的虚拟三维环境；

步骤3：根据步骤2获得的实时虚拟三维环境，首先判定机器人是否即将与除了货物以外的其他物体发生碰撞，再判定机器人作业区域是否有除了叉车以外的其它外来物体；

步骤4：根据步骤3的判定结果，若机器人即将与除了货物以外的其他物体发生碰撞或机器人作业区域有除了叉车以外的其它外来物体，则停止机器人作业活动并发出报警信息。

步骤5：根据步骤3的判断结果，如果返回的标志位表示为叉车，则判断当前机器人是否将和叉车碰撞，如果有则停止机器人作业活动并发出报警信息。如果没有则机器人继续工作。

所述步骤2的具体步骤为：

步骤2.1：首先对图像进行滤波以消除图像中的噪声，再对图像进行特征点提取和对应点匹配，获得作业区域内的物体的匹配点信息；

步骤2.2：根据步骤2.1所得的作业区域内的物体的匹配点信息，采用空间直线、空间二次曲线的重建方法获得匹配点的三维坐标；

步骤2.3：根据步骤2.2获得匹配点坐标对图像进行三维重构，得到机器人作业区域内的物体的虚拟三维表示模型。

所述步骤3的具体步骤为：

步骤3.1：对于步骤2所获得的实时虚拟三维环境中的各个物体，采用包围盒算法，构造包围盒，形成每个物体的包围盒树；

步骤3.2：根据当前机器人运行的速度和机器人作业的精度，将速度和精度带入线性加权算法，获得当前机器人运行条件下，碰撞预判的阈值；

步骤3.3：将场景中每个物体的包围盒树进行遍历和比较，倘若两个物体之间包围盒的欧式距离已经小于碰撞预判的阈值则判断将要发生碰撞，并返回即将发生碰撞标志位；

步骤3.4：倘若步骤3.3没有即将发生碰撞，则采用图像处理算法，通过背景差法，判断出当前作业区内是否有外来物体；

步骤3.5：倘若有外来物体则采用二值化、去噪、轮廓提取技术，获得作业区外来物体在图像上的目标区域；

步骤3.6：对目标区域采用图像匹配算法提取图像的特征并和特征库中的叉车的特征进行匹配，判断是否为叉车，如果为叉车，则返回一个标志位，表示当前为叉车，否则则返回其他物体进入作业区标志位。

所述步骤5具体步骤为：根据步骤3.2计算出的预判阈值，将机器人与叉车之间的欧式距离与预判距离进行比较，倘若小于预判距离，则返回即将发生碰撞标志位。

本发明提供了一种基于图像三维重构的码垛机器人安全控制系统，该方法充分保证码垛机器人的安全性，提高其工作效率。

附图说明

图1为本发明方法的系统工作流程图。

图2为本发明系统结构图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

参照图2，本实施例程包括：体感3D双目视觉传感器模块、基于图像处理的三维重构模块、安全检测模块、码垛机器人控制系统模块。其中体感3D视觉传感器模块用于在码垛机器人的作业现场，采集整个作业环境的3D信息并将信息回传至基于图像处理的三维重构模块，所述模块根据图像的信息，三维重构机器人以及机器人的作业环境的三维信息，之后安全检测模块根据上述基于图像处理的三维重构模块检测生成的机器人的虚拟三维信息，检测当前机器人作业环境是否安全、合理，最终将此信息发送给码垛机器人控制系统模块，所述模块根据信息做出判断。

所述体感3D视觉传感器模块，采用Kinect做为图像传感器。其为双目视觉传感器，可采集机器人当前作业区域内的所有物体的图像视频信息，并通过串行非屏蔽双绞线回传至本例程的控制计算机中。

所述基于图像处理的三维重构模块，其主要任务为分析并处理所述体感3D模块视觉传感器采集到的图像视频信息，并在计算机中根据图像重构出当前机器人作业环境中各个物体的三维信息。其主要采用以下个几个步骤：

1、采用OpenCV机器视觉处理库，首先对图像进行滤波以消除图像中的噪声。其次对图像进行特征点提取和对应点匹配，之后即可获得作业区域内的物体的匹配点的信息。

2、根据步骤1所得的三维坐标点的信息，首先进行三维重构。空间直线、空间二次曲线的重建的方法获得匹配点的三维坐标，并将其转化为OpenGL库能够识别的信息。

3、根据步骤2，采用OpenGL模块对上述得到的信息进行三维重构，得到机器人作业区域内的物体的虚拟三维表示模型。

所述安全检测模块，采用C++编写，可根据所述基于图像处理的三维重构模块所得到信息，判断出当前区域内是否即将发生碰撞，其工作的步骤如下：

1、首先获取机器人当前运动的速度和机器人工作的精度，将其带入线性加权算法中，获得当前机器人碰撞预判阈值。

2、对于得到的虚拟三维表示模型，采用静态包围盒检测技术、时空相关性技术等，结合预判阈值判断当前作业区是否即将发生碰撞。

3、如果即将发生碰撞则通知码垛机器人控制系统模块停止真实的码垛机器人作业活动。

4、如果没有即将发生碰撞，则继续判断作业区内是否有外来物体，且其是否为叉车，其主要步骤如下：

a.通过背景差法，判断出当前作业区内是否有外来物体。

b.倘若有外来物体则采用二值化、去噪、轮廓提取等技术，获得作业区外来物体在图像上的目标区域。

c.对目标区域采用SHIF算法提取图像的特征并和特征库中的叉车的特征进行匹配，判断是否为叉车。

d.倘若不是叉车，则通知码垛机器人控制系统模块停止作业活动。

e.如果是叉车，则结合步骤1所得的预判阈值，判断当前机器人是否即将和叉车碰撞，如果是，则通知码垛机器人控制系统模块停止作业活动。

所述码垛机器人控制系统模块，采用安川电机，安川伺服，固高运动控制卡、研华工控主机实现，可根据所述安全检测模块的信息，决定是否停止作业，或者正常驱动机器人作业。

图1为本实例实施流程

1)当码垛机器人开启自动运行，并进行正常作业时，双目视觉传感器模块采集机器人作业现场的图像信息，并将信息回传至控制系统计算机等待处理。

2)通过基于图像处理的三维重构模块，处理步骤1)回传的图像信息，从其中提取出机器人及其作业场景中的三维信息，根据这些三维信息，在系统中重构机器人及其机器人的作业场景的虚拟三维环境。

3)根据步骤2)所得的三维环境，安全检测模块开始检测当前是否存在如下的情况：机器人是否在作业范围内即将和除了货物以外的其他物体发生碰撞，例如人、流水线、叉车。倘若发生了所述碰撞，则安全检测模块输出报警信息，如果没则继续判断当前作业区内是否有除了叉车外的物体，如果有则安全检测模块输出报警信息。

4)如果步骤3)中判断为叉车，则判断当前机器人是否将和叉车碰撞，如果有则安全检测模块输出报警信息，如果没有则返回步骤1)。

5)码垛机器人控制系统模块根据步骤3)和步骤4)所返回的信息，决定当前是否停止机器人的运作。如果步骤3)和步骤4)返回了报警信息，则系统立即断电，机器人停止运行，保证事故不会发生。

Claims (4)

1.一种基于图像三维重构的码垛机器人安全控制方法，该方法包括如下步骤：

步骤1：码垛机器人正常运行过程中，通过双目视觉传感器实时采集机器人作业现场的图像信息；

步骤2：从步骤1采集到的图像信息中提取机器人及其作业现场的三维信息，重构出机器人及其作业现场的虚拟三维环境；

步骤3：根据步骤2获得的实时虚拟三维环境，首先判定机器人是否即将与除了货物以外的其他物体发生碰撞，再判定机器人作业区域是否有除了叉车以外的其它外来物体；

步骤4：根据步骤3的判定结果，若机器人即将与除了货物以外的其他物体发生碰撞或机器人作业区域有除了叉车以外的其它外来物体，则停止机器人作业活动并发出报警信息；

步骤5：根据步骤3的判断结果，如果返回的标志位表示为叉车，则判断当前机器人是否将和叉车碰撞，如果有则停止机器人作业活动并发出报警信息；如果没有则机器人继续工作。

2.如权利要求1所述的一种基于图像三维重构的码垛机器人安全控制方法，其特征在于所述步骤2的具体步骤为：

步骤2.1：首先对图像进行滤波以消除图像中的噪声；再对图像进行特征点提取和对应点匹配，获得作业区域内的物体的匹配点信息；

步骤2.2：根据步骤2.1所得的作业区域内的物体的匹配点信息，采用空间直线、空间二次曲线的重建方法获得匹配点的三维坐标；

步骤2.3：根据步骤2.2获得匹配点坐标对图像进行三维重构，得到机器人作业区域内的物体的虚拟三维表示模型。

3.如权利要求1所述的一种基于图像三维重构的码垛机器人安全控制方法，其特征在于所述步骤3的具体步骤为：

步骤3.1：对于步骤2所获得的实时虚拟三维环境中的各个物体，采用包围盒算法，构造包围盒，形成每个物体的包围盒树；

步骤3.2：根据当前机器人运行的速度和机器人作业的精度，将速度和精度带入线性加权算法，获得当前机器人运行条件下，碰撞预判的阈值；

步骤3.3：将场景中每个物体的包围盒树进行遍历和比较，倘若两个物体之间包围盒的欧式距离已经小于碰撞预判的阈值则判断将要发生碰撞，并返回即将发生碰撞标志位；

步骤3.4：倘若步骤3.3没有即将发生碰撞，则采用图像处理算法，通过背景差法，判断出当前作业区内是否有外来物体；

步骤3.5：倘若有外来物体则采用二值化、去噪、轮廓提取技术，获得作业区外来物体在图像上的目标区域；

步骤3.6：对目标区域采用图像匹配算法提取图像的特征并和特征库中的叉车的特征进行匹配，判断是否为叉车，如果为叉车，则返回一个标志位，表示当前为叉车，否则则返回其他物体进入作业区标志位。

4.如权利要求3所述的一种基于图像三维重构的码垛机器人安全控制方法，其特征在于所述步骤5的具体步骤为：

根据步骤3.2计算出的预判阈值，将机器人与叉车之间的欧式距离与预判距离进行比较，倘若小于预判距离，则返回即将发生碰撞标志位。