CN110948491A - 一种基于视觉跟随的工业机器人抓取方法 - Google Patents

Abstract

本发明公开了一种基于视觉跟随的工业机器人抓取方法，涉及工业自动化技术领域。其技术要点包括周期执行的：S31、机器人主控获取编码器输出的传送带位置信号,基于间隔长度值发出拍照命令至视觉系统；S32、机器人主控获取视觉系统拍摄识别物体的靶标位置以及编码器输出的位置信号并记录到检测队列中；S33、机器人主控计算获得的检测队列中靶标的实时位置，并合并检测队列中靶标的实时位置差小于预设的距离差值的队列；S34、机器人主控控制工业机器人对移动至工业机器人的工作范围内且位于检测队列首位的靶标位置执行抓取；其中预设的间隔长度值不大于检测视觉系统拍摄视野的长度值，本发明具有减少工业机器人重复抓取和漏抓的优点。

Description

一种基于视觉跟随的工业机器人抓取方法

技术领域

本发明涉及工业自动化技术领域，更具体地说，它涉及一种基于视觉跟随的工业机器人抓取方法。

背景技术

工业自动化是指机器设备或生产过程在不需要人为直接干预的情况下，按照预期的目标实现测量，操纵等信息处理和过程控制的统称。工业自动化发展到现在，一体化、网络化和智能化成为行业的新方向，但是工业控制设备的智能化还处于初级阶段。

物体抓取是生产线上工业机器人的一项重要技术，目前，生产线上大部分的工业机器人仅能在严格定义的结构化环境中执行预定的指令。现有的物体抓取的系统，其一般将相机安装在工业机器人抓取位置的上方，通过判断相机的视野中是否有物体，驱动工业机器人工作人执行抓取。

而判断视野中是否存在物体的方式，一般在相机拍照进行图像识别，识别图像是否抓取物体相同的轮廓。因此拍照的时间间隔设置极为重要，如果时间间隔设置过小，那么存在对一个物体重复拍照识别的情况，可能导致工业机器人对已经抓取的物体再次抓取。如果间隔设置过大，那么存在物体经过相机拍摄视野后相机还未拍摄的情况。

发明内容

针对现有的技术问题，本发明的目的在于提供一种基于视觉跟随的工业机器人抓取方法，减少工业机器人重复抓取和漏抓的优点。

为实现上述目的，本发明提供了如下技术方案：一种基于视觉跟随的工业机器人抓取方法，其特征在于：包括周期执行的：

S31、机器人主控获取编码器输出的传送带位置信号,基于预设的间隔长度值间歇性的发出拍照命令至视觉系统；

S32、机器人主控获取视觉系统拍摄识别物体的靶标位置以及编码器输出的位置信号并记录到检测队列中；

S33、机器人主控计算获得的检测队列中靶标的实时位置，并合并检测队列中靶标的实时位置差小于预设的距离差值的队列；

S35、机器人主控控制工业机器人对移动至工业机器人的工作范围内且位于检测队列首位的靶标位置执行抓取；

其中步骤S31中的预设的间隔长度值不大于检测视觉系统拍摄视野的长度值。

通过采用上述技术方案，机器人主控获取编码器输出的传送带位置信号，将传送带移动长度作为输出拍照命令的条件；因此传送带速度就算在传送带速度有变化的情况下，也能保证对传送带执行连续的拍摄。而由于设置间隔长度值不大于检测视觉系统拍摄视野的长度值，在理论上能够将传送带上每一处的情况都拍摄下来。而如果出现了拍摄的传输带区域重叠导致一个物体多次被拍摄并记录，由于同一物体被多次拍摄在实时位置上的偏差会很小，因此通过预设距离差值，就能判断检测队列中的物体是否为同一物体，并通过合并相同物体的队列，保证工业机器人只对同一物体抓取一次。从而本方案能够提升工业机器人抓取准确性，具有减少工业机器人重复抓取和漏抓的优点。

本发明进一步设置为：步骤S32中，视觉系统拍摄识别物体的靶标位置的过程包括：

S20、视觉系统获取物体的识别模板的轮廓信息，并基于轮廓信息生成并记录设置于轮廓信息内指定像素位置处的靶标位置；

S21、视觉系统拍摄获得拍摄视野的图像信息；

S22、视觉系统识别拍摄的图像信息，获取图像信息中和识别模板相同的轮廓信息；

S23、视觉系统通过计算获得轮廓信息的指定像素位置处的靶标位置；

S24、视觉系统将靶标位置发送至机器人主控。

通过采用上述技术方案，视觉系统通过对比轮廓信息获取物体信息，在相同的轮廓信息中能够计算出对应的靶标位置并发送机器人主控，使得机器人主控能够准确的获取到靶标位置。

本发明进一步设置为：步骤S33中，距离差值的预设方法包括：

获取物体轮廓信息中各个端点坐标；

逐一计算物体轮廓中各个端点坐标和靶标坐标之间的端点距离；

比较获取最大端点距离，将距离差值设置为两倍的最大端点距离。

通过采用上述技术方案，当两个物体之间的距离为两倍的最大端点距离时，两个物体之间大概率不会出现重叠的情况，因此拍摄出能够让视觉系统识别的轮廓，而当两个物体之间的距离小于两倍的最大端点距离，就很容易会因为物体距离太近重叠，导致视觉系统无法识别，因此直接根据最大端点距离生成距离差值能够较为准确的判断检测列队中列队是否为同一组。

本发明进一步设置为：机器人主控在指定数量的周期后基于检测队列合并的次数和机器人主控发出拍照命令次数的比值判断是否修改间隔长度值，使得间隔长度值增大。

通过采用上述技术方案，检测队列合并的次数和机器人主控发出拍照命令次数的比值越高，则说明同一物体被重复拍摄的次数就多。而一般通过增大机器人主控发出拍照命令的间隔长度，能够在一定程度上减缓这种情况的发生。

本发明进一步设置为：指定数量的周期中机器人主控至少发出十次的拍照命令。

通过采用上述技术方案，当指定数量的周期中拍照命令的次数太少，偶发性就比较高；因此设置十次的拍照命令以上的指定数量的周期能够避免偶尔一个两个物体对检测的影响。

本发明进一步设置为：

S36、机器人主控判断检测队列首位的靶标位置是否处于工业机器人的工作范围内，若否则放弃对检测队列首位的靶标位置的抓取；

S37、机器人主控获取传送带末端计数器的记录的漏抓物体数量和检测队列放弃抓取的物体数量，计算获得视觉系统漏拍数量；

机器人主控基于视觉系统漏拍数量修改间隔长度值，使得间隔长度值减小。

通过采用上述技术方案，末端计数器能够对漏抓的物体进行计数，而计数的数量中包括放弃抓取和为被视觉系统拍照漏拍的数量，通过将漏抓的数量减去放弃抓的数量就是漏拍的数量，而一旦出现漏拍的现象就说明存在传送带的区域没被拍摄到，需要减小间隔长度避免再次出现漏拍。

本发明进一步设置为：所述间隔长度值的最大值不大于检测视觉系统拍摄视野的长度值，所述间隔长度值的最小值不小于检测视觉系统拍摄视野的长度值的70%。

通过采用上述技术方案，使得间隔长度值设置了最大值和最小值，避免检测长度值过度调节导致检测结果不准确。

本发明进一步设置为：末端计数器的计数区间位于工业机器人工作范围的后方。

通过采用上述技术方案，将末端计数器设置在工业机器人的后侧确保末端计数器的数值为漏抓的。

本发明进一步设置为：视觉系统的拍摄视野和工业机器人的工作范围互不重叠。

通过采用上述技术方案，工业机器人的工作范围和视觉系统的视域相错开，增大了工业机器人的对物体可抓取的范围，利于工业机器人抓取传送带上的物体。

与现有技术相比，本发明的有益效果是：

（1）通过工业机器人的工作范围和视觉系统的视域相错开，并控制工业机器人采用跟随的抓取方法，增大了工业机器人的对物体可抓取的范围，利于工业机器人抓取传送带上的物体；

（2）通过编码器获取传送带位置信息，可以在普通电机驱动的传送带上获取传送带的位置信息，可装配性更强；

（3）通过预设距离差值，就能判断检测队列中的物体是否为同一物体，并通过合并相同物体的队列，保证工业机器人只对同一物体抓取一次。

附图说明

图1为一种基于视觉跟随的工业机器人抓取装置的结构示意图；

图2为一种基于视觉跟随的工业机器人抓取方法的流程框图；

图3为工作台坐标标定的示意图；

图4为9点法标定表示的意图；

图5为工业机器人位置与速度控制的控制示意图。

附图标记：1、传送带；2、视觉系统；3、工业机器人；4、编码器；5、末端计数器；6、机器人主控；7、相机；8、图像计算器；9、机器人本体；10、末端执行器；11、增光源。

具体实施方式

下面结合附图和实施例，对本发明进行详细描述。

一种基于视觉跟随的工业机器人抓取装置，如图1所示，包括传送带1、视觉系统2、工业机器人3、编码器4、末端计数器5和机器人主控6。

传送带1水平用于输送物体；视觉系统2、工业机器人3、末端计数器5和编码器4沿传送带1输送方向依次设置。视觉系统2面向传送带1前侧,具有拍摄传送带1前侧图像信息的拍摄视野；工业机器人3在传送带1具有执行抓取的工作范围，视觉系统2的拍摄视野和工业机器人3的工作范围互不重叠，且工业机器人3的工作范围位于拍摄视野的后侧。末端计数器5可以采用红外线的传感器计数也可以采用超声波传感器计数，末端计数器5的计数区间位于工业机器人3工作范围的后方，对脱离工业机器人3工作范围的物体进行计数。编码器4的输出轴和传送带1传动连接，编码器4获取传送带1的传动位置,输出指示传送带1位置的位置信号；因此在其他实施例中编码器4能够安装传送带1的传送方向的任意不阻挡物体传送的位置处。机器人主控6电连接视觉系统2、编码器4、工业机器人3和末端计数器5。机器人主控6基于编码器4和视觉系统2输出的信号，控制工业机器人3执行抓取动作。

具体的，如图1所示，视觉系统2包括相机7和图像计算器8。相机7固定于传送带1的正上方，相机7的镜头正对传送带1，以获取传送带1在台面前侧区域作为拍摄视野。图像计算器8信号连接相机7，图像计算器8获取相机7拍摄图像数据，能够通过轮廓分析计算出物体位置，并输出至机器人主控6。

进一步的，如图1所示，传送主体7上的前侧可设置有提升视觉系统2拍摄视野亮度的增光源11。增光源11提升相机7拍摄的传送带1区域的亮度，以便于在传送带1上识别拍摄的物品。

如图1所示，工业机器人3包括机器人本体9和末端执行器10。机器人本体9采用四轴水平多关节的SCARA机器人。因此机器人本体9的输出轴在机器人主控6的控制下能够执行X轴和Y轴的平移，Z轴的升降和A轴的转动。

如图1所示，末端执行器10安装在机器人本体9的输出轴上，末端执行器10采用吸嘴，吸嘴的上端连接气管，并通过气管连接电磁阀和外部的气泵，机器人主控6电连接电磁阀，能控制电磁阀的通断。气泵为气源提供吸力的动力源，当电磁阀导通吸嘴会产生吸附物体的吸力，而当电磁阀断开吸嘴会失去吸附物体的吸力。因此当需要抓取物体时，机器人主控6将导通电磁阀；而需要放下物体时，机器人主控6会关闭电磁阀。

一种基于视觉跟随的工业机器人3抓取方法，如图2所示，

S10、机器人主控6初始化，启动工业机器人3、传送带1、编码器4、末端计数器5和视觉系统2；

机器人主控6初始化过程包括：

S11、建立工业机器人3和视觉系统2共用的工作台坐标系；

如图3所示，机器人主控6标定一个工作台坐标系。在传送带1上选取三个不共线的点，建立一个工作台坐标系。首先机器人主控6首先控制工业机器人3运行到P1点，记录在P1点时的工业机器人3世界坐标，使用同样的方法记录P2/P3点的世界坐标，已知P1/P2/P3可求出世界坐标系到工作台坐标系的变换矩阵。工作台坐标系的Y轴正方向规定为沿传送带1的运动方向。视觉系统2和工业机器人3的坐标标定均基于工作台坐标系，进一步的，为了便于计算可以将传送带1输送方向标定为Y轴，垂直于传送带1输送方向标定为X轴。

S12、使用9点法标定视觉系统2视野，确定视觉系统2中像素位置和工作台坐标系变换关系；

如图4所示，在工作台坐标系下，让工业机器人3依次运行到标定板上的9个点位，并记录下9个点位对应的工作台坐标系下的坐标值（x,y）。相机7对标定板拍照，并标记9个点在图片中的像素位置，使工作台坐标系下的9个位置坐标值与图片中9个点的像素位置一一对应，可以计算出拍摄视野与工作台坐标系的转换关系。这样拍摄视野中的每个像素点都会对应工作台坐标系下的一个坐标值。因此视觉系统2在拍摄视野的图像变化后，能够将拍摄视野的长度和宽度转化为工业台坐标系的距离距离值，因此机器人主控6在视觉系统2转化好后，能够获取到视觉系统2在拍摄视野的长度和宽度。

S20、视觉系统2获取物体的识别模板的轮廓信息，并基于轮廓信息生成并记录设置于轮廓信息内指定像素位置处的靶标位置。

在抓取物体前，首先制作和物体轮廓相同的供视觉系统2识别的识别模板，之后将物体放在相机7的拍摄视野内拍摄图像。之后可以通过图像计算器8计算出物体的轮廓信息，或者人工在图像计算器8上圈出物体的轮廓信息。

之后通过人工在图像计算器8内移动靶标位置，将靶标位置移动至设置于轮廓信息内的指定像素位置处。图像计算机记录下轮廓信息并在轮廓信息上绑定靶标位置信息。

同时图像计算器8逐一获取物体轮廓信息中各个端点的像素坐标，并逐一计算物体轮廓中各个端点坐标和靶标坐标之间的端点距离；之后图像计算器8通过比较获取最大端点距离，将距离差值设置为两倍的最大端点距离。

当两个物体之间的距离为两倍的最大端点距离时，两个物体之间大概率不会出现重叠的情况，因此相机7能够拍摄出让图像计算机识别的轮廓，而当两个物体之间的距离小于两倍的最大端点距离，就很容易会因为物体距离太近重叠，导致视觉系统2无法识别。当图像识别出的两个物体之间实时位置距离小于两倍的最大端点距离，就能判断出这两个物体实际应该为一个距离。

S30、开始周期；

S31、机器人主控6获取编码器4输出的传送带1位置信号,基于预设的间隔长度值间歇性的发出拍照命令至视觉系统2；

其中步骤S31中的机器人主控6通过获取编码器4输出的传送带1位置信号，能够实时获取到传送带1输送物体的距离。因此通过将传送带1输送物体的距离和预设的间隔长度值比较，能够实现传送带1输送物体达到间隔长度值，就向视觉系统2发送拍照命令。

而在初始情况下，预设的检测长度值基于视觉系统2拍摄视野的长度值生成。预设的检测长度值一般采用视觉系统2拍摄视野的长度值80%至90%，优选为视觉系统2拍摄视野的长度值90%。

当机器人主控6向视觉系统2发送拍照命令后，视觉系统2将执行一下操作。

S21、视觉系统2拍摄获得拍摄视野的图像信息；

S22、视觉系统2识别拍摄的图像信息，获取图像信息中和识别模板相同的轮廓信息；

S23、视觉系统2通过计算获得轮廓信息的指定像素位置处的靶标位置；

S24、视觉系统2将靶标位置发送至机器人主控6。

S32、机器人主控6获取视觉系统2拍摄识别物体的靶标位置以及编码器4输出的位置信号并记录到检测队列中；

值得一提的是，若一张图像信息中存在多个和识别模板相同的轮廓信息，则图像计算机将计算获得多个靶标位置，并传输多个靶标位置至机器人主控6。使得机器人主控6的检测队列中同时记录多个靶标位置，且机器人主控6的检测队列在记录靶标位置时，会将设置位于传送带1后侧的靶标位置记录在检测队列的前侧。

S33、机器人主控6计算获得的检测队列中靶标的实时位置，并合并检测队列中靶标的实时位置差小于预设的距离差值的队列；

检测队列中靶标的实时位置等于传送带1的移动量和视觉系统2拍摄时获得的靶标在工作台坐标系的坐标值。其中传送带1的移动量能够根据编码器4输出的位置信号计算获得，而视觉系统2拍摄时获得的靶标在工作台坐标系的坐标值即视觉系统2拍摄识别物体的靶标位置。

在计算获得检测队列中靶标的实时位置后，由于检测队列中靶标的排序依照传送带1将传入工业机器人3工作范围的顺序排布，因此可以仅计算检测队列中相邻靶标之间的距离差，来减小计算量。相邻靶标之间的距离差通过两靶标在工作台坐标系的实时位置坐标计算获得。当相邻靶标之间的距离小于上述预设的距离差值，则将原本的检测队列中两个队列合并为一个队列，检测队列中靶标的实时位置依据在检测队列中排列靠前的来。

S34、机器人主控6控制工业机器人3对移动至工业机器人3的工作范围内且位于检测队列首位的靶标位置执行抓取；

具体的，机器人主控6对检测队列首位的靶标执行抓取的方法结合图5，机器人主控6获得工业机器人3的位置和检测队列首位的靶标位置；计算工业机器人3和靶标的位置差，基于位置差获得基准速度；基于基准速度和编码器44输出速度，获得工业机器人3参考速度；判断工业机器人3和靶标位置之间的距离和工业机器人3参考速度和编码器4输出速度之间的速度差值是否均小于预设值，若均是则控制工业机器人3执行抓取动作。

S35、机器人主控6判断检测队列首位的靶标位置是否处于工业机器人3的工作范围内，若否则放弃对检测队列首位的靶标位置的抓取；

若在抓取过程中靶标位置不处于工业机器人3的工作范围内，则说明物体通过传送带1已经从工业机器人3的工作范围内移出，无法抓取到。

S36、机器人主控6获取传送带1末端计数器5的记录的漏抓物体数量和检测队列放弃抓取的物体数量，计算获得视觉系统2漏拍数量；

S37、机器人主控6调节间隔长度值。

机器人主控6调节间隔长度值包括机器人主控6在指定数量的周期后基于检测队列合并的次数和机器人主控6发出拍照命令次数的比值判断是否修改间隔长度值，使得间隔长度值增大。机器人主控6基于视觉系统2漏拍数量修改间隔长度值，使得间隔长度值减小。

一般来说，检测队列合并的次数等于拍照时出现同一物体被重复拍照的次数。机器人主控6发出拍照命令次数等于视觉系统2拍照的次数。当同一物体被重复拍照的次数占拍照次数的比值较高时，则说明视觉装置对传送带1上重复拍摄的区域过大，且重复拍摄区域长度都大于传送带1上相邻物体之间的间距。因此在此种情况下增大间隔长度值，减小视觉系统2重复拍摄区域长度，重复拍摄区域长度都略大于甚至小于传送带1上相邻物体之间的间距，就能够减少同一物体被重复拍摄的次数。

而为了积累足够的数据量，间隔长度值增大在指定数量的周期之后才执行一次，其中指定数量的周期是指机器人主控6至少发出十次的拍照命令。优选的，采用发出二十次的拍照命令的周期数，在二十次周期中，若检测队列合并的次数和机器人主控6发出拍照命令次数的比值大于17%，则就增加间隔长度值，增加间隔长度值量为检测视觉系统2拍摄视野的长度值的1%。

当视觉系统2出现漏拍数量时，则说明存在一部分传送带1未被拍摄到，而物体刚好处于那一段未被拍摄的传送带1中。因此在这种情况下减小间隔长度值，能够减少传送带1中未被拍摄到的传送带1长度。优选的，当机器人主控6计算后存在漏拍数量时，则就减小间隔长度值，减小间隔长度值量为检测视觉系统2拍摄视野的长度值的5%。

进一步的，间隔长度值的最大值不大于检测视觉系统2拍摄视野的长度值，所述间隔长度值的最小值不小于检测视觉系统2拍摄视野的长度值的70%。当间隔长度值修改后会超出上述两个数值时，机器人主控6则不进行修改，可以输出声源或光源的报警信号进行指示。

S40、进入一下个周期。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种基于视觉跟随的工业机器人抓取方法，其特征在于：包括周期执行的：

S31、机器人主控(6)获取编码器(4)输出的传送带(1)位置信号,基于预设的间隔长度值间歇性的发出拍照命令至视觉系统(2)；

S32、机器人主控(6)获取视觉系统(2)拍摄识别物体的靶标位置以及编码器(4)输出的位置信号并记录到检测队列中；

S33、机器人主控(6)计算获得的检测队列中靶标的实时位置，并合并检测队列中靶标的实时位置差小于预设的距离差值的队列；

S34、机器人主控(6)控制工业机器人(3)对移动至工业机器人(3)的工作范围内且位于检测队列首位的靶标位置执行抓取；

其中步骤S31中的预设的间隔长度值不大于检测视觉系统(2)拍摄视野的长度值。

2.根据权利要求1所述的基于视觉跟随的工业机器人抓取方法，其特征在于：步骤S32中，视觉系统(2)拍摄识别物体的靶标位置的过程包括：

S20、视觉系统(2)获取物体的识别模板的轮廓信息，并基于轮廓信息生成并记录设置于轮廓信息内指定像素位置处的靶标位置；

S21、视觉系统(2)拍摄获得拍摄视野的图像信息；

S22、视觉系统(2)识别拍摄的图像信息，获取图像信息中和识别模板相同的轮廓信息；

S23、视觉系统(2)通过计算获得轮廓信息的指定像素位置处的靶标位置；

S24、视觉系统(2)将靶标位置发送至机器人主控(6)。

3.根据权利要求2所述的基于视觉跟随的工业机器人抓取方法，其特征在于：步骤S33中，距离差值的预设方法包括：

获取物体轮廓信息中各个端点坐标；

逐一计算物体轮廓中各个端点坐标和靶标坐标之间的端点距离；

比较获取最大端点距离，将距离差值设置为两倍的最大端点距离。

4.根据权利要求1所述的基于视觉跟随的工业机器人抓取方法，其特征在于：

机器人主控(6)在指定数量的周期后基于检测队列合并的次数和机器人主控(6)发出拍照命令次数的比值判断是否修改间隔长度值，使得间隔长度值增大。

5.根据权利要求4所述的基于视觉跟随的工业机器人抓取方法，其特征在于：指定数量的周期中机器人主控(6)至少发出十次的拍照命令。

6.根据权利要求4所述的基于视觉跟随的工业机器人抓取方法，其特征在于：

S35、机器人主控(6)判断检测队列首位的靶标位置是否处于工业机器人(3)的工作范围内，若否则放弃对检测队列首位的靶标位置的抓取；

S36、机器人主控(6)获取传送带(1)末端计数器(5)的记录的漏抓物体数量和检测队列放弃抓取的物体数量，计算获得视觉系统(2)漏拍数量；

机器人主控(6)基于视觉系统(2)漏拍数量修改间隔长度值，使得间隔长度值减小。

7.根据权利要求6所述的基于视觉跟随的工业机器人抓取方法，其特征在于：所述间隔长度值的最大值不大于检测视觉系统(2)拍摄视野的长度值，所述间隔长度值的最小值不小于检测视觉系统(2)拍摄视野的长度值的70%。

8.根据权利要求6所述的基于视觉跟随的工业机器人抓取方法，其特征在于：末端计数器(5)的计数区间位于工业机器人(3)工作范围的后方。

9.根据权利要求1所述的基于视觉跟随的工业机器人抓取方法，其特征在于：所述视觉系统(2)的拍摄视野和工业机器人(3)的工作范围互不重叠。

Images