CN109834712A - 一种机器人抓取顺序优化的方法 - Google Patents

Abstract

本发明公开了一种机器人抓取顺序优化的方法，其包括以下步骤：对目标物体进行图像采集，然后提取出物体的轮廓信息并获取位置坐标；对获取的目标物体的坐标进行分析，对图像进行去重、整合；根据所得坐标，对所有目标物体进行随机排序并计算出所有排序组合的路径S；对得到的路径S_i进行由小到大的排序；对应得到的排序方法，计算出机器人抓取各个物体到放置区域所需时间ti；计算目标区域各个物体从进入机器人工作区间到跑出工作区间的时间T_i；从S1对应的排序方法开始判断，当抓到第i个物体时，若Ti>t1+t2+…+ti成立，则符合，将符合条件S_i的物体排序反馈给机器人，按该顺序进行抓取，若不成立，则对下一个排序方法的路径对应的抓取顺序进行抓取。

Description

一种机器人抓取顺序优化的方法

技术领域

本发明涉及机器人技术领域，更具体的，涉及一种机器人抓取顺序优化的方法。

背景技术

目前，随着自动化水平的不断提高，机器手已经广泛应用于食品、药品、电子等行业的包装、分拣与装配过程中。通过机器视觉技术与工业机器人在生产中的结合，能够更好的应用于各种流水线作业，完成对各种不同形状和状态的物体抓取和搬运，极大的提升了生产效率。在实际生产过程中，高密度的抓取分拣、包装是非常常见的情景，但目前在实际生产过程中，机器人抓取顺序的设定一般都是从上到下、从左到右、从底到顶等，设定较为死板，无法根据来料的实时分布灵活调整抓取顺序。另外，目前对机器人抓取顺序的研究只从路径的角度进行了考虑，认为机器人抓取路径最短即为最优，忽略了在路径最短的情况下目标是否已经跑出机器人工作区间，从而导致机器人有可能出现漏抓情况。因此如何提高机器人抓取速率的同时又能降低机器人漏抓率是研究的关键。本发明通过结合抓取目标跑出机器人工作区间的时间和机器人的抓取路径考虑，提出了一种机器人抓取顺序的优化方法，能够进一步提高机器人工作效率。

发明内容

本发明为了进一步提高机器人抓取速率，同时改善机器人出现漏抓的情况，提出了一种机器人抓取顺序的优化方法。该方法通过对机器人抓取顺序的重新排列，缩短机器人的抓取路径，达到提高抓取速率的目的。同时本发明针对现有的研究只追求机器人抓取路径最短的情况，加入目标物体从进入机器人抓取空间到跑出抓取空间的时间因素，能在提高抓取速率的同时改善机器人漏抓的问题。

为实现上述本发明目的，采用的技术方案如下：一种机器人抓取顺序优化的方法，该方法包括以下步骤：

S1：设定机器人的视觉系统的相机拍照间隔，通过相机采集目标物体图像，并上传至工控机，工控机对目标物体图像进行图像处理，提取目标物体的轮廓信息并获取位置坐标；

S2：对目标图像进行去重、整合处理，对图像中的目标物体进行随机排序，得到每种排序方法的路径S_i；计算路径S_i的距离，计算公式如下：

式中，x_i(t)、y_i为目标物体的实时坐标，c(x,y)表示放置区域的坐标；

其中x_i(t)＝x_i+v*t，其中x_i为相机获取的目标物体i的初始坐标，v为传送带的传送速度，t为视觉系统拍摄目标物体i到机器人抓取该目标物体的时间差；

对获得所有排序方法的路径用集合S，S＝(S₁、S₂、S₃…S_i)，采用快速排序方法进行由小到大的排序，并记录下与之相对应的物体抓取顺序；

S3：结合机器人工作区间的长度L，以第一个目标物体进入机器人工作期间为起始点，求出该时刻各个目标物体坐标A＝{(x_i,y_i,c_i)^T},i＝1,2,3...m，其中(x_i，y_i)表示当传送带上的物体的位置坐标，ci表示的是相应物体对应的角度；从而计算出传送带上每个目标物体从进入机器人工作区间到跑出机器人工作区间的时间Ti，计算公式如下：

Ti＝(x_i+L)/v

式中，v表示传送带的运行速度，x_i表示视觉系统获取的目标物体i的初始坐标；

当机器人从开始抓取目标物体时计算，到抓取传送带L1中各个目标物体的时间差小于相应的Ti时，则是符合条件的，机器人不会漏抓目标物体；

S4：根据目标物体从抓取区域到放置区域的距离和设定的机器人运动参数，计算机器人抓取各个目标物体从抓取区域到放置区域的时间ti；所述机器人运动参数包括机器人抓取或放置目标物体时做出接近、移动和出发三个动作对应的加速度、减速度以及运行速度；所述的接近，以抓取为例子，机器人欲抓取传送带L1上的目标物体，机器人从初始位置运动到目标物体上方附近过程是接近，从目标物体上方运动到刚好抓取物体的位置是移动，抓取到物体后离开过程是出发，这三个过程的对应的加速度、减速度以及运行速度均不相同。

S5：从排序方法的路径最小到最大依次判断，按照路径S_i对应的抓取顺序抓取，若机器人抓取到第i目标物体时，该目标物体对应的Ti<t1+t2+…ti，说明该目标物体跑出机器人工作区间，机器人漏抓目标物体，选择下一个排序方法的路径对应的抓取顺序进行判断，直到机器人抓取到第i目标物体时，该目标物体对应的Ti>t1+t2+…ti，则当前的排序方法符合要求，且为最优解。

优选地，所述拍照间隔包括固定位移距离、固定时间间隔；所述固定时间间隔设置为3000～5000ms。

优选地，所述步骤S1，具体地，所述图像处理包括边缘检测和模板匹配，通过边缘检测提取出目标物体的边缘特征，然后通过与事先建立的模板进行模板匹配，找出目标物体；此外，通过视觉系统标定和传送带标定得到目标物体、传送带与机械手三者的位置关系，然后根据机器人的编码器实时反馈的数据得到目标物体的实时位置。

进一步地，所述步骤S2，对目标图像进行去重、整合处理包括以下步骤：调节视觉系统，选取大小为M×N的视场，因为物体是跟随传送带运动的，因此其运动过程相对传送带是静止的；由于视觉系统的位置不会改变，所以目标物体的竖直坐标不会改变，只有水平方向上发生位移，将第一张图像中目标物体集合用A表示：A＝{(x_i,y_i,c_i)^T},i＝1,2,3...m；第二幅图中目标物体集合用B表示：B＝{(x_j,y_j,c_j)^T},j＝1,2,3...n；将集合A、B中的元素进行比较，如果ds＝x_i-x_j；y_i-y_j＝0；c_i＝c_j，则说明集合B中有重复的目标物体信息，将其进行剔除，其中ds为传送带行使固定的距离。

再进一步地，所述传送带采用皮带式传送带，所述传送带采用伺服电机进行控制，其运动具有准确性。

优选地，所述快速排序方法，具体地，通过一轮的排序将序列分割成独立的两部分，其中一部分序列的数据均比另一部分数据小，继续对长度较短的序列进行同样的分割，最后到达整体有序。

本发明的有益效果如下：

1.本发明相比于现有的实际生产过程中的机器人抓取顺序设置方法，按照本发明的排序方法能够缩短机器人抓取路径，从而提高机器人抓取效率。

2.本发明加入了目标物体跑出机器人工作区域的时间因素，相比于目前寻找最短路径的研究方案来说，可以降低机器人的漏抓率。

附图说明

图1是本实施例机器人抓取顺序优化的方法的流程图。

图2是本实施例所述机器人工作平台示意图。

具体实施方式

下面结合附图和具体实施方式对本发明做详细描述。

实施例1

如图1所示，一种机器人抓取顺序优化的方法，该方法包括以下步骤：

S1：如图2所示，为机器人抓取目标物体的工作平台，设定机器人的视觉系统的相机拍照间隔，本实施例使用3000～5000ms的固定时间间隔为拍照间隔，通过相机采集目标物体图像，并上传至工控机，工控机对目标物体图像进行图像处理，提取目标物体的轮廓信息并获取位置坐标；然后将目标物体的坐标信息输送给控制器，控制器根据目标物体的坐标信息以及工控机控制的编码器的反馈信息来进行机械手的运动轨迹规划和抓取位置计算。

所述图像处理包括边缘检测和模板匹配，通过边缘检测提取出目标物体的边缘特征，然后通过与事先建立的模板进行模板匹配，找出目标物体；此外，通过视觉系统标定和传送带标定得到目标物体、传送带与机械手三者的位置关系，然后根据机器人的编码器实时反馈的数据得到目标物体的实时位置。

S2：在实际生产过程中传送带上的目标物体是源源不断进行的，视觉系统按一定的时间间隔对传送带上的目标物体进行拍照，为了防止目标物体出现遗漏，拍照时间间隔一般设置的很短，所以相邻的图像会出现相同的物体重复出现，因此需要对目标物体的图像进行去重、整合处理。

对目标物体的图像进行去重、整合处理包括以下步骤：调节视觉系统，选取大小为M×N的视场，因为物体是跟随传送带运动的，因此其运动过程相对传送带是静止的；由于视觉系统的位置不会改变，所以目标物体的竖直坐标不会改变，只有水平方向上发生位移，将第一张图像中目标物体集合用A表示：A＝{(x_i,y_i,c_i)^T},i＝1,2,3...m；其中(x_i，y_i)表示当传送带上的物体的位置坐标，ci表示的是相应物体对应的角度；第二幅图中目标物体集合用B表示：B＝{(x_j,y_j,c_j)^T},j＝1,2,3...n；(x_j，y_j)表示当传送带上的物体的位置坐标，c_j表示的是相应物体对应的角度；将集合A、B中的元素进行比较，如果ds＝x_i-x_j；y_i-y_j＝0；c_i＝c_j，则说明集合B中有重复的目标物体信息，将其进行剔除，其中ds为传送带行使固定的距离。

对图像中的目标物体进行随机排序，得到每种排序方法的路径S_i；计算路径S_i的距离，计算公式如下：

式中：S_i为机器人每种排序方法的路径，x_i(t)、y_i为目标物体的实时坐标，c(x,y)表示放置区域的坐标。

其中x_i(t)＝x_i+v*t，其中x_i为相机获取的目标物体i的初始坐标，v为传送带的传送速度，t为视觉系统拍摄目标物体i到机器人抓取该目标物体的时间差；

对获得所有种排序方法的路径用集合S，S＝(S₁、S₂、S₃…S_i)，采用快速排序方法进行由小到大的排序，并记录下与之相对应的物体抓取顺序；

不同的排序方法对应不同的路径，然后对路径S进行由小到大的排序。因为存在多种不同排序方法，对应的路径S的数据量较大，为了快速的对路径S进行排序，选择用快速排序的方法。所述快速排序的方法具体如下：通过一轮的排序将序列分割成独立的两部分，其中一部分序列的数据均比另一部分数据小。继续对长度较短的序列进行同样的分割，最后到达整体有序。在排序过程中，由于已经分开的两部分的元素不需要进行比较，故可以减少了比较次数，降低了排序时间。

S3：结合机器人工作区间的长度L，以第一个目标物体进入机器人工作期间为起始点，求出该时刻各个目标物体坐标A＝{(x_i,y_i,c_i)^T},i＝1,2,3...m，从而计算出传送带上每个目标物体从进入机器人工作区间到跑出机器人工作区间的时间Ti，计算公式如下：

Ti＝(x_i+L)/v

式中，v表示传送带的运行速度；

当机器人从开始抓取目标物体时计算，到抓取传送带L1中各个目标物体的时间差小于相应的Ti时，则是符合条件的，机器人不会漏抓目标物体；

S4：根据目标物体从抓取区域到放置区域的距离和设定的机器人运动参数，计算机器人抓取各个目标物体从抓取区域到放置区域的时间ti；所述机器人运动参数包括机器人抓取或放置目标物体时做出接近、移动和出发三个动作对应的加速度、减速度以及运行速度；所述的接近，以抓取为例子，机器人欲抓取传送带L1上的目标物体，机器人从初始位置运动到目标物体上方附近过程是接近，从目标物体上方运动到刚好抓取物体的位置是移动，抓取到物体后离开过程是出发，这三个过程的对应的加速度、减速度以及运行速度均不相同。

S5：因为机器人路径越短则耗费的时间越短，从排序方法的路径S最小到最大依次判断，按照路径Si的抓取顺序抓取，若机器人抓取到第i目标物体时，该目标物体对应的Ti<t1+t2+…ti，说明该目标物体跑出机器人工作区间，机器人漏抓目标物体，选择下一次排序方法的路径对应的抓取顺序进行判断，直到机器人抓取到第i目标物体时，该目标物体对应的Ti>t1+t2+…ti，则当前的排序方法符合要求，且为最优解。因为在步骤3中，已经对S进行了由小到大的排序，所以第一个符合条件的路径S的排序方法是满足时间限制条件下路径最短的方案。

所述传送带采用皮带式传送带，所述传送带采用伺服电机进行控制，其运动具有准确性。有利于准确计算出，通过传送带的速度关系得出该时间段内传送带移动的距离和求出传送带上目标物体在任意时刻时的具体位置。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.一种机器人抓取顺序优化的方法，其特征在于：该方法包括以下步骤：

S1：设定机器人的视觉系统的相机拍照间隔，通过相机采集目标物体图像，并上传至工控机，工控机对目标物体图像进行图像处理，提取目标物体的轮廓信息并获取位置坐标；

S2：对目标图像进行去重、整合处理，对图像中的目标物体进行随机排序，得到每种排序方法的路径S_i；计算路径S_i的距离，计算公式如下：

式中，x_i(t)、y_i为目标物体的实时坐标，c(x,y)表示放置区域的坐标；

其中x_i(t)＝x_i+v*t，式中x_i为相机获取的目标物体i的初始坐标，v为传送带的传送速度，t为视觉系统拍摄目标物体i到机器人抓取该目标物体的时间差；

对获得所有排序方法的路径用集合S，S＝(S₁、S₂、S₃…S_i)，采用快速排序方法进行由小到大的排序，并记录下与之相对应的物体抓取顺序；

S3：结合机器人工作区间的长度L，以第一个目标物体进入机器人工作期间为起始点，求出该时刻各个目标物体坐标A＝{(x_i,y_i,c_i)^T},i＝1,2,3...m，其中(x_i，y_i)表示当传送带上的物体的位置坐标，ci表示的是相应物体对应的角度；从而计算出传送带上每个目标物体从进入机器人工作区间到跑出机器人工作区间的时间Ti，计算公式如下：

Ti＝(x_i+L)/v

式中，v表示传送带的运行速度，x_i表示视觉系统获取的目标物体i的初始坐标；

当机器人从开始抓取目标物体时计算，到抓取传送带L1中各个目标物体的时间差小于相应的Ti时，则是符合条件的，机器人不会漏抓目标物体；

S4：根据目标物体从抓取区域到放置区域的距离和设定的机器人运动参数，计算机器人抓取各个目标物体从抓取区域到放置区域的时间ti；所述机器人运动参数包括机器人抓取或放置目标物体时做出接近、移动和出发三个动作对应的加速度、减速度以及运行速度；

S5：从排序方法的路径最小到最大依次判断，按照路径S_i对应的抓取顺序抓取，若机器人抓取到第i目标物体时，该目标物体对应的Ti<t1+t2+…ti，说明该目标物体跑出机器人工作区间，机器人漏抓目标物体，选择下一个排序方法的路径对应的抓取顺序进行判断，直到机器人抓取到第i目标物体时，该目标物体对应的Ti>t1+t2+…ti，则当前的排序方法符合要求，且为最优解。

2.根据权利要求1所示的机器人抓取顺序优化的方法，其特征在于：所述拍照间隔包括固定位移距离、固定时间间隔。

3.根据权利要求2所示的机器人抓取顺序优化的方法，其特征在于：所述固定时间间隔设置为3000～5000ms。

4.根据权利要求1所示的机器人抓取顺序优化的方法，其特征在于：所述步骤S1，具体地，所述图像处理包括边缘检测和模板匹配，通过边缘检测提取出目标物体的边缘特征，然后通过与事先建立的模板进行模板匹配，找出目标物体；此外，通过视觉系统标定和传送带标定得到目标物体、传送带与机械手三者的位置关系，然后根据机器人的编码器实时反馈的数据得到目标物体的实时位置。

5.根据权利要求4所示的机器人抓取顺序优化的方法，其特征在于：所述步骤S2，对目标图像进行去重、整合处理包括以下步骤：调节视觉系统，选取大小为M×N的视场，因为物体是跟随传送带运动的，因此其运动过程相对传送带是静止的；由于视觉系统的位置不会改变，所以目标物体的竖直坐标不会改变，只有水平方向上发生位移，将第一张图像中目标物体集合用A表示：A＝{(x_i,y_i,c_i)^T},i＝1,2,3...m；第二幅图中目标物体集合用B表示：B＝{(x_j,y_j,c_j)^T},j＝1,2,3...n；将集合A、B中的元素进行比较，如果ds＝x_i-x_j；y_i-y_j＝0；c_i＝c_j，则说明集合B中有重复的目标物体信息，将其进行剔除，其中ds为传送带行使固定的距离。

6.根据权利要求5所示的机器人抓取顺序优化的方法，其特征在于：所述传送带采用皮带式传送带，所述传送带采用伺服电机进行控制。

7.根据权利要求1所示的机器人抓取顺序优化的方法，其特征在于：所述快速排序方法，具体地，通过一轮的排序将序列分割成独立的两部分，其中一部分序列的数据均比另一部分数据小，继续对长度较短的序列进行同样的分割，最后到达整体有序。