CN106737664B - 分拣多类工件的Delta机器人控制方法及系统 - Google Patents

分拣多类工件的Delta机器人控制方法及系统 Download PDF

Info

Publication number
CN106737664B
CN106737664B CN201611067728.1A CN201611067728A CN106737664B CN 106737664 B CN106737664 B CN 106737664B CN 201611067728 A CN201611067728 A CN 201611067728A CN 106737664 B CN106737664 B CN 106737664B
Authority
CN
China
Prior art keywords
workpiece
grabbing
workpieces
task
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611067728.1A
Other languages
English (en)
Other versions
CN106737664A (zh
Inventor
苏婷婷
王云宽
吴少泓
郑军
胡建华
王欣波
陆浩
张好剑
袁勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Luoyang Robot And Intelligent Equipment Research Institute
Institute of Automation of Chinese Academy of Science
Original Assignee
Innovation Institute For Robot And Intelligent Equipment (luoyang) Casia
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Institute For Robot And Intelligent Equipment (luoyang) Casia, Institute of Automation of Chinese Academy of Science filed Critical Innovation Institute For Robot And Intelligent Equipment (luoyang) Casia
Priority to CN201611067728.1A priority Critical patent/CN106737664B/zh
Publication of CN106737664A publication Critical patent/CN106737664A/zh
Application granted granted Critical
Publication of CN106737664B publication Critical patent/CN106737664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种分拣多类工件的Delta机器人控制方法，包括图像采集与信息处理：采集传送带上工件的图像，记录采集时间，并提取图像中各个工件图像的中心点像素坐标及类别信息；经过透视投影方程得到工件中心点物理坐标；将所述工件图像对应的工件抓取任务增至工件抓取队列；工件分拣：在执行抓取任务前，依据当前工件抓取队列中各工件抓取任务的工件中心物理坐标，选择优先执行的工件抓取任务；采用基于费拉里法的动态抓取算法进行工件的抓取和分类放置坐标的计算，并执行抓取任务。基于此本发明还提出了一种分拣多类工件的Delta机器人系统。本发明实现了通过一台Delta机器人的对多类工件的抓取和分类放置，节省了成本和场地。

Description

分拣多类工件的Delta机器人控制方法及系统
技术领域
本发明涉及工业机器人领域，具体涉及一种分拣多类工件的Delta机器人控制方法及系统。
背景技术
机器人技术日益成熟，并联机器人由于其高速、轻质的特点，在生产线上运用越来越广泛。Delta机器人主要应用于流水线包装线上，尤其适用于传送带上零散工件的快速识别与抓取操作。
目前情况下，各个厂家的Delta机器人针对的大多是起始点及目标点位置固定的工作环境，这可以通过示教或离线编程等方法生成轨迹从而完成任务；少有针对起始点或者目标点未知以及复杂多变的工作环境的情况，例如在前进的传送带中抓取工件。同时传统的工业生产线普遍针对单一特定的某种工件进行分拣，无法实现不同类别的工件分拣，因而无法满足多种类别的任务需求，例如传送带中同时存在贴标签的瓶盖与不贴标签的瓶盖，或者不同颜色或形状的瓶盖类别。一些厂家可以实现不同类别工件的抓取，但是需要多台Delta机器人，机器人需求较大，硬件成本较高。
发明内容
为了解决现有技术中的上述问题，本发明提出了一种分拣多类工件的Delta机器人控制方法及系统，实现了通过一台Delta机器人的对多类工件的抓取和分类。
根据本发明的一方面，提出了一种分拣多类工件的Delta机器人控制方法，包括图像采集与信息处理、以及工件分拣；
图像采集与信息处理：
步骤A1，采集传送带上工件的图像，记录所述图像采集时间，并提取所述图像中各个工件图像的中心点像素坐标及类别信息；
步骤A2，利用透视投影方程，将所述工件图像的中心点像素坐标转换为机器人坐标系下的工件中心物理坐标；
步骤A3，将所述工件图像对应的工件抓取任务添加至工件抓取队列，所述工件抓取队列的每个工件抓取任务包含以下属性:工件的图像采集时间、工件中心物理坐标、工件的类别信息；
工件分拣：
步骤B1，在机器人执行抓取任务前，依据当前工件抓取队列中各工件抓取任务的工件中心物理坐标，选择优先执行的工件抓取任务；
步骤B2，机器人执行步骤B1中所选择优先执行的工件抓取任务，进行工件的抓取和分类放置。
优选地，步骤1中提取所述图像中各个工件图像的中心点像素坐标及类别信息的方法为：利用局部模板匹配算法，将步骤A1中所述工件图像与每个类别工件模板均进行局部模板匹配，得到所述工件图像中心点的像素坐标以及类别信息。
优选地，所述的局部模板匹配，具体包括：
步骤A11，获取对应类别工件模板的表示局部信息的局部模板；其中局部模板以主梯度方向和边缘轮廓片段两个特征为基础对模板进行分割得到；
步骤A12，分别利用该类工件模板对应的局部模板依次遍历步骤A1中所述工件图像，搜索各局部模板的匹配，并记录对应的匹配位置；依据各局部模板匹配中的相似度信息确定步骤A1中所述工件图像的类别信息；
步骤A13，对局部模板的匹配位置依据其与原模板位置关系进行偏移修正，得到各局部模板对应所述工件图像中的候选位置，再对所述候选位置进行霍夫投票得到中心点像素坐标。
优选地，所述工件抓取任务的工件中心物理坐标依据时间和所在传送带的速度在每次抓取任务执行前进行更新。
优选地，步骤B1中选择优先执行的工件抓取任务的方法为：
步骤B11，对当前工件抓取队列中各工件抓取任务的工件中心物理坐标进行判断，若存在超过预设的最佳抓取范围的物理坐标，判断超过预设的最佳抓取范围的物理坐标是否为单个，若为单个则选取该物理坐标对应的工件抓取任务放置队首；若存在多个以上，则越在传送带前端的工件越在抓取任务前面，然后执行步骤B13；若没有超过预设的最佳抓取范围的物理坐标，则执行步骤B12；
步骤B12，优先选取当前工件抓取队列中距离当前工件放置点坐标最近的工件中心物理坐标所对应的工件抓取任务，放置队首，执行步骤B13；
步骤B13，选取当前工件抓取队列中放置队首的工件抓取任务为优先执行的工件抓取任务。
优选地，步骤B2中机器人执行步骤B1中所选择优先执行的工件抓取任务，进行工件的抓取和分类放置的具体方法为：
步骤B21，提出优先执行的工件抓取任务作为当前抓取任务，并更新工件抓取队列，使用基于费拉里法的动态抓取算法计算出机器人运动到当前抓取任务对应工件抓取位置所需的时间长度和抓取对应工件的坐标；其中动态抓取算法中工件运动轨迹为门字形轨迹，运动规律为修正梯形的运动规律；
步骤B22，机器人依据步骤B21所计算的抓取对应工件的坐标抓取工件，并依据当前抓取任务中的工件的类别信息将所抓取工件分类放置。
优选地，步骤B22中在机器人执行当前抓取任务的过程中还包含有下一抓取动作优先执行的工件抓取任务的选择的步骤，具体为：
步骤C1，机器人执行当前抓取任务的过程中，依据步骤B21中所计算的机器人运动到当前抓取任务对应工件抓取位置所需的时间长度以及当前的时间，预测抓取对应工件的时间，并进一步依据上述所计算的抓取对应工件的时间计算工件抓取队列中各工件抓取任务中的工件中心物理坐标，然后采用步骤B11至步骤B13的方法对工件抓取队列中放置队首的工件抓取任务进行更新；
步骤C2，机器人执行当前抓取任务结束时，计算步骤C1中所预测的抓取对应工件的时间与机器人执行当前抓取任务结束时间的差值，若小于设定阈值，则执行步骤C3，否则执行步骤C4；
步骤C3，以此时工件抓取队列中队首的工件抓取任务为下一抓取动作优先执行的工件抓取任务；
步骤C4，依据机器人执行当前抓取任务结束时间更新此时工件抓取队列中各工件抓取任务中的工件中心物理坐标，采用步骤B11至步骤B13的方法对工件抓取队列的工件抓取任务进行更新，以该更新后工件抓取队列中队首的工件抓取任务为下一抓取动作优先执行的工件抓取任务。
优选地，工件分拣过程中设置有应急抓取步骤，具体为：若判断出机器人工作区域内的工件对应工件中心物理坐标距离机器人工作区域第一边界小于设定阈值时，停止传送带运动，机器人对该工件进行抓取和分类放置；
所述机器人工作区域第一边界为工件在来料传送带上离开机器人的工作空间的边界。
优选地，使用基于费拉里法的动态抓取算法计算机器人抓取对应工件的坐标的方法为：
物理坐标系中x轴与传送带平行且其正方向与传送带输送方向一致，y轴与传送带垂直，则在来料传送带输送过程中工件中心点对应y轴上的坐标保持不变，使用费拉里法求解如下一元四次方程得到工件被抓取时中心点对应x轴的坐标即可进一步得到抓取对应工件的坐标；
取所述一元四次方程正实数的解为所需解；若是同时存在一个以上正实数根，取较小的解为所需解；
所述一元四次方程为：
Figure BDA0001162650050000051
其中，
Figure BDA0001162650050000052
Figure BDA0001162650050000053
Figure BDA0001162650050000054
Figure BDA0001162650050000055
Figure BDA0001162650050000056
被抓取工件坐标为(xb,yb,zb)，上一个被抓取工件的放置坐标为(xa,ya,za)，S1为抓取工件后的抬升高度，S3放置工件时的下降高度，v为来料传送带的速度，amax为机器人运动中的最大加速度。
根据本发明的另一方面，还提出了一种分拣多类工件的Delta机器人系统，包括具有抓取控制系统的Delta机器人、用于输送待分类工件的工件来料传送带、用于输送已分类放置工件的工件分类传送带、用于采集工件图像的图像采集装置，所述Delta机器人的抓取控制系统中的设置的抓取控制方法为上述用于分拣多类工件的Delta机器人控制方法；所述工件分类传送带为两条或两条以上。
本发明与现有技术相比，有如下有益效果：
(1)本发明采用了一台Delta机器人分拣多类工件，满足了多种工件的加工与处理需求，减少了不必要的硬件装置，节约了硬件成本，同时也节省空间，提高了性价比，增加了系统的实用功能，非常具有现实意义；
(2)本发明通过与预设模板进行对比的方法实现不同工件的识别，增加了系统的通用性，能适用于不同的工作环境；边缘轮廓片段在尺度处理上有较好效果，有利于角度的计算和遮挡重叠问题的解决；
(3)通过基于费拉里法的动态抓取算法和抓取任务的优化实现工件的动态抓取，实现了系统的实时性,提高了分拣的效率。
附图说明
图1为本发明分拣两类工件的delta机器人控制系统的系统模型示意图；
图2为本发明分拣多类工件的Delta机器人控制方法流程示意图；
图3为本发明提取工件图像中心点像素坐标及类别信息流程示意图；
图4为本发明中机器人执行工件抓取任务的流程示意图；
图5为本发明动态抓取算法机器人的门字形轨迹示意图；
图6为本发明动态目标抓取示意图；
图7为本发明分拣两类工件系统传送带方向和坐标示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明的分拣多类工件的Delta机器人系统，包括具有抓取控制系统的Delta机器人、用于输送待分类工件的工件来料传送带、用于输送已分类放置工件的工件分类传送带、用于采集工件图像的图像采集装置，所述Delta机器人的抓取控制系统中的设置的抓取控制方法为下述的分拣多类工件的Delta机器人控制方法；所述工件分类传送带为两条或两条以上。
为了方便本发明技术方案的说明，以分拣两类工件的Delta机器人系统进行系统展示，如图1所示，采集装置为相机1，工件来料传送带为传送带3，工件分类传送带为传送带4和传送带5，传送带4和传送带5分别设置于传送带3两侧，分别用于放置A工件和B工件，Delta机器人2置于传送带3上方。如图7所示，物理坐标系中x轴与来料传送带平行且其正方向与来料传送带输送方向一致，y轴与来料传送带垂直。
本发明的一种分拣多类工件的Delta机器人控制方法，如图2所示，包括图像采集与信息处理、以及工件分拣；
图像采集与信息处理：
步骤A1，采集传送带上工件的图像(该图像通过相机1对拍摄区域进行拍摄获取)，记录所述图像采集时间，并提取所述图像中各个工件图像的中心点像素坐标及类别信息。所述各工件图像与相机1对应拍照区域内的工件一一对应。
如图3所示，该步骤中提取所述图像中各个工件图像的中心点像素坐标及类别信息的方法为：利用局部模板匹配算法，将步骤A1中所述工件图像与每个类别工件模板均进行局部模板匹配，得到所述工件图像中心点的像素坐标以及类别信息。
所述的局部模板匹配，具体包括：
步骤A11，获取对应类别工件模板的表示局部信息的局部模板；其中局部模板以主梯度方向和边缘轮廓片段两个特征为基础对模板进行分割得到；
步骤A12，分别利用该类工件模板对应的局部模板依次遍历步骤A1中所述工件图像，根据相似度搜索各局部模板的匹配，并记录对应的匹配位置；依据各局部模板匹配中的相似度信息确定步骤A1中所述工件图像的类别信息；
步骤A13，对局部模板的匹配位置依据其与原模板位置关系进行偏移修正，得到各局部模板对应所述工件图像中的候选位置，再对所述候选位置进行霍夫投票得到中心点像素坐标。
步骤A2，利用透视投影方程，将步骤A1中提取的所述工件图像的中心点像素坐标转换为机器人坐标系下的工件中心物理坐标；
步骤A3，将所述工件图像对应的工件抓取任务添加至工件抓取队列，所述工件抓取队列的每个工件抓取任务包含以下属性:工件的图像采集时间、工件中心物理坐标、工件的类别信息。
工件分拣：
步骤B1，在机器人执行抓取任务前，依据当前工件抓取队列中各工件抓取任务的工件中心物理坐标，选择优先执行的工件抓取任务；
该步骤中选择优先执行的工件抓取任务的方法为：
步骤B11，对当前工件抓取队列中各工件抓取任务的工件中心物理坐标进行判断，若存在超过预设的最佳抓取范围的物理坐标，判断超过预设的最佳抓取范围的物理坐标是否为单个，若为单个则选取该物理坐标对应的工件抓取任务放置队首；若存在多个以上，则越在传送带前端的工件越在抓取任务前面,执行步骤B13；若没有超过预设的最佳抓取范围的物理坐标，则执行步骤B12；
步骤B12，优先选取当前工件抓取队列中距离当前工件放置点坐标最近的工件中心物理坐标所对应的工件抓取任务，放置队首，执行步骤B13；
步骤B13，选取当前工件抓取队列中放置队首的工件抓取任务为优先执行的工件抓取任务。
步骤B2，机器人执行步骤B1中所选择优先执行的工件抓取任务，进行工件的抓取和分类放置。如图4所示，具体方法为：
步骤B21，提出优先执行的工件抓取任务作为当前抓取任务，并更新工件抓取队列，使用基于费拉里法的动态抓取算法计算出机器人运动到当前抓取任务对应工件抓取位置所需的时间长度和抓取对应工件的坐标；其中动态抓取算法中工件运动轨迹为门字形轨迹，运动规律为修正梯形的运动规律；
步骤B22，机器人依据步骤B21所计算的抓取对应工件的坐标抓取工件，并依据当前抓取任务中的工件的类别信息将所抓取工件分类放置。
步骤B22中在机器人执行当前抓取任务的过程中还包含有下一抓取动作优先执行的工件抓取任务的选择的步骤，具体为：
步骤C1，机器人执行当前抓取任务的过程中，依据步骤B21中所计算的机器人运动到当前抓取任务对应工件抓取位置所需的时间长度以及当前的时间，预测抓取对应工件的时间，并进一步依据上述所计算的抓取对应工件的时间计算工件抓取队列中各工件抓取任务中的工件中心物理坐标，然后采用步骤B11至步骤B13的方法对工件抓取队列中放置队首的工件抓取任务进行更新；
步骤C2，机器人执行当前抓取任务结束时，计算步骤C1中所预测的抓取对应工件的时间与机器人执行当前抓取任务结束时间的差值，若小于设定阈值，则执行步骤C3，否则执行步骤C4；
步骤C3，以此时工件抓取队列中队首的工件抓取任务为下一抓取动作优先执行的工件抓取任务；
步骤C4，依据机器人执行当前抓取任务结束时间更新此时工件抓取队列中各工件抓取任务中的工件中心物理坐标，采用步骤B11至步骤B13的方法对工件抓取队列的工件抓取任务进行更新，以该更新后工件抓取队列中队首的工件抓取任务为下一抓取动作优先执行的工件抓取任务。
本实施例中工件抓取任务的工件中心物理坐标依据时间和所在传送带的速度在每次抓取任务执行前进行更新。也可以实时更新，但优选前者，这样能有效减低系统运算负荷。例如在当前时刻t2对某一对象(t1,xb,yb,zb,n)更新得到(t2,xb+v*(t2-t1),yb,zb,n)，其中v为传送带速度，n为类别，xb,yb,zb为t1时刻下工件坐标；本发明的分拣多类工件的Delta机器人系统中传送带匀速传送。
另外，本实施例在工件分拣过程中设置有应急抓取步骤，具体为：若判断出机器人工作区域内的工件对应工件中心物理坐标距离机器人工作区域第一边界小于设定阈值时，停止传送带运动，机器人对该工件进行抓取和分类放置；
所述机器人工作区域第一边界为工件在来料传送带上离开机器人工作区域的边界。
其中，所述最佳抓取区，应在机器人的工作空间内；因为机器人位姿误差在xy方向沿坐标轴对称分布，z方向的基本沿原点对称分布，且越靠近边缘的地方，位姿误差数值越大，所以最佳抓取区应按机器人对精度的要求，去除对应的工作空间的边界区域。
动态抓取算法中工件运动轨迹为门字形轨迹，如图5所示，运动规律为修正梯形的运动规律。门字形轨迹如下，机器人在门字形轨迹的水平方向和竖直方向分别用修正梯形加减速运动规律。因此可设T1为P1到P6的时间，T2为P5到P8的时间，T3为P7到P4的时间，P2P1的距离为S1，P3P4的距离为S3，P2P3的距离S2：
修正梯形加减速运动规律加速度如公式(1)所示：
Figure BDA0001162650050000111
amax为运动中的最大加速度，对时间连续2次积分并代入边界条件可得位移表达式。T在P1到P6的过程中取值为T1、在P5到P8的过程中取值为T2、在P7到P4的过程中取值为T3。
假设传送带匀速运动，如图6所示，目前机器人完成了A的分拣，机器人即将抓取B处的工件，由于传送带的运动需要机器人运动到C抓取工件。由图像识别及投影变换，可得到B的坐标，设为(xb,yb,zb)，放置点A坐标已知，为(xa,ya,za)。设传送带速度为v，可得B和C之间的距离lBC如公式(2)所示，
lBC＝Δt*v (2)
则C的坐标为(xb+Δt*v,yb,zb)
因此A和C之间的距离lAC如公式(3)所示
当S1≤S2且S3＜S2时,可得公式(4)，
Figure BDA0001162650050000122
其中S2＝lAC
将公式(4)带入公式(3)得到公式(5)：
Figure BDA0001162650050000123
其中t1、t3、lAB分别如公式(6)、(7)、(8)所示
Figure BDA0001162650050000124
Figure BDA0001162650050000125
Figure BDA0001162650050000126
公式(5)为一元四次方程，使用费拉里法求解。结合实际情况，取公式(5)正实数的解为所需解；若是同时存在一个以上正实数根，取较小的解为所需解；若没有符合要求的解，则放弃该工件的分拣并做漏抓记录。由于在来料传送带输送过程中工件中心点对应y轴上的坐标保持不变，使用费拉里法求解公式(5)得到工件被抓取时中心点对应x轴的坐标xb，进而得到抓取对应工件的坐标(xb,yb,zb)。求解后可确定抓取点位置从而进行该工件的抓取。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种分拣多类工件的Delta机器人控制方法，其特征在于，包括图像采集与信息处理、以及工件分拣；
图像采集与信息处理：
步骤A1，采集传送带上工件的图像，记录所述图像采集时间，并提取所述图像中各个工件图像的中心点像素坐标及类别信息；
步骤A2，利用透视投影方程，将所述工件图像的中心点像素坐标转换为机器人坐标系下的工件中心物理坐标；
步骤A3，将所述工件图像对应的工件抓取任务添加至工件抓取队列，所述工件抓取队列的每个工件抓取任务包含以下属性:工件的图像采集时间、工件中心物理坐标、工件的类别信息；
工件分拣：
步骤B1，在机器人执行抓取任务前，依据当前工件抓取队列中各工件抓取任务的工件中心物理坐标，选择优先执行的工件抓取任务；
步骤B2，机器人执行步骤B1中所选择优先执行的工件抓取任务，进行工件的抓取和分类放置；
其中，步骤B1中选择优先执行的工件抓取任务的方法为：
步骤B11，对当前工件抓取队列中各工件抓取任务的工件中心物理坐标进行判断，若存在超过预设的最佳抓取范围的物理坐标，判断超过预设的最佳抓取范围的物理坐标是否为单个，若为单个则选取该物理坐标对应的工件抓取任务放置队首；若存在多个以上，则越在传送带前端的工件越在抓取任务前面,执行步骤B13；若没有超过预设的最佳抓取范围的物理坐标，则执行步骤B12；
步骤B12，优先选取当前工件抓取队列中距离当前工件放置点坐标最近的工件中心物理坐标所对应的工件抓取任务，放置队首，执行步骤B13；
步骤B13，选取当前工件抓取队列中放置队首的工件抓取任务为优先执行的工件抓取任务。
2.根据权利要求1所述的方法，其特征在于，步骤1中提取所述图像中各个工件图像的中心点像素坐标及类别信息的方法为：利用局部模板匹配算法，将步骤A1中所述工件图像与每个类别工件模板均进行局部模板匹配，得到所述工件图像中心点的像素坐标以及类别信息。
3.根据权利要求2所述的方法，其特征在于，所述的局部模板匹配，具体包括：
步骤A11，获取对应类别工件模板的表示局部信息的局部模板；其中局部模板以主梯度方向和边缘轮廓片段两个特征为基础对模板进行分割得到；
步骤A12，分别利用该类工件模板对应的局部模板依次遍历步骤A1中所述工件图像，搜索各局部模板的匹配，并记录对应的匹配位置；依据各局部模板匹配中的相似度信息确定步骤A1中所述工件图像的类别信息；
步骤A13，对局部模板的匹配位置依据其与原模板位置关系进行偏移修正，得到各局部模板对应所述工件图像中的候选位置，再对所述候选位置进行霍夫投票得到中心点像素坐标。
4.根据权利要求3所述的方法，其特征在于，所述工件抓取任务的工件中心物理坐标依据时间和所在传送带的速度在每次抓取任务执行前进行更新。
5.根据权利要求1所述的方法，其特征在于，步骤B2中机器人执行步骤B1中所选择优先执行的工件抓取任务，进行工件的抓取和分类放置的具体方法为：
步骤B21，提出优先执行的工件抓取任务作为当前抓取任务，并更新工件抓取队列，使用基于费拉里法的动态抓取算法计算出机器人运动到当前抓取任务对应工件抓取位置所需的时间长度和抓取对应工件的坐标，其中动态抓取算法中工件运动轨迹为门字形轨迹，运动规律为修正梯形的运动规律；
步骤B22，机器人依据步骤B21所计算的抓取对应工件的坐标抓取工件，并依据当前抓取任务中的工件的类别信息将所抓取工件分类放置。
6.根据权利要求5所述的方法，其特征在于，步骤B22中在机器人执行当前抓取任务的过程中还包含有下一抓取动作优先执行的工件抓取任务的选择的步骤，具体为：
步骤C1，机器人执行当前抓取任务的过程中，依据步骤B21中所计算的机器人运动到当前抓取任务对应工件抓取位置所需的时间长度以及当前的时间，预测抓取对应工件的时间，并进一步依据上述所计算的抓取对应工件的时间计算工件抓取队列中各工件抓取任务中的工件中心物理坐标，然后采用步骤B11至步骤B13的方法对工件抓取队列中放置队首的工件抓取任务进行更新；
步骤C2，机器人执行当前抓取任务结束时，计算步骤C1中所预测的抓取对应工件的时间与机器人执行当前抓取任务结束时间的差值，若小于设定阈值，则执行步骤C3，否则执行步骤C4；
步骤C3，以此时工件抓取队列中队首的工件抓取任务为下一抓取动作优先执行的工件抓取任务；
步骤C4，依据机器人执行当前抓取任务结束时间更新此时工件抓取队列中各工件抓取任务中的工件中心物理坐标，采用步骤B11至步骤B13的方法对工件抓取队列的工件抓取任务进行更新，以该更新后工件抓取队列中队首的工件抓取任务为下一抓取动作优先执行的工件抓取任务。
7.根据权利要求6所述的方法，其特征在于，工件分拣过程中设置有应急抓取步骤，具体为：若判断出机器人工作区域内的工件对应工件中心物理坐标距离机器人工作区域第一边界小于设定阈值时，停止传送带运动，机器人对该工件进行抓取和分类放置；
所述机器人工作区域第一边界为工件在来料传送带上离开机器人的工作空间的边界。
8.根据权利要求5所述的方法，其特征在于，使用基于费拉里法的动态抓取算法计算机器人抓取对应工件的坐标的方法为：
物理坐标系中x轴与传送带平行且其正方向与传送带输送方向一致，y轴与传送带垂直，则在来料传送带输送过程中工件中心点对应y轴上的坐标保持不变，使用费拉里法求解如下一元四次方程，得到工件被抓取时中心点对应x轴的坐标，即可进一步得到抓取对应工件的坐标；
取所述一元四次方程正实数的解为所需解；若是同时存在一个以上正实数根，取较小的解为所需解；
所述一元四次方程为：
其中，
Figure FDA0002217636630000052
Figure FDA0002217636630000053
Figure FDA0002217636630000061
Figure FDA0002217636630000062
被抓取工件坐标为(xb,yb,zb)，上一个被抓取工件的放置坐标为(xa,ya,za)，S1为抓取工件后的抬升高度，S3放置工件时的下降高度，v为来料传送带的速度，amax为机器人运动中的最大加速度。
9.一种分拣多类工件的Delta机器人系统，包括具有抓取控制系统的Delta机器人、用于输送待分类工件的工件来料传送带、用于输送已分类放置工件的工件分类传送带、用于采集工件图像的图像采集装置，其特征在于，
所述Delta机器人的抓取控制系统中的设置的抓取控制方法为权利要求1～8任一项所述的分拣多类工件的Delta机器人控制方法；所述工件分类传送带的数量至少为两条。
CN201611067728.1A 2016-11-25 2016-11-25 分拣多类工件的Delta机器人控制方法及系统 Active CN106737664B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611067728.1A CN106737664B (zh) 2016-11-25 2016-11-25 分拣多类工件的Delta机器人控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611067728.1A CN106737664B (zh) 2016-11-25 2016-11-25 分拣多类工件的Delta机器人控制方法及系统

Publications (2)

Publication Number Publication Date
CN106737664A CN106737664A (zh) 2017-05-31
CN106737664B true CN106737664B (zh) 2020-02-14

Family

ID=58902329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611067728.1A Active CN106737664B (zh) 2016-11-25 2016-11-25 分拣多类工件的Delta机器人控制方法及系统

Country Status (1)

Country Link
CN (1) CN106737664B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107458875A (zh) * 2017-08-09 2017-12-12 爱维迅自动化科技（昆山）有限公司 一种视觉定位上料机及其操作方法
CN108406177B (zh) * 2018-03-15 2020-07-14 广州中国科学院工业技术研究院 电池焊接设备及电池焊接方法
CN108297084A (zh) * 2018-03-16 2018-07-20 五邑大学 一种基于图像识别的智能传送带式机械臂系统
CN108910508B (zh) * 2018-05-08 2020-12-04 清华大学 高速分拣任务中的多机协同规则及装置
CN109116434A (zh) * 2018-09-06 2019-01-01 广东万濠精密仪器股份有限公司 一种瞬间检测方法
CN109186457B (zh) * 2018-09-14 2021-02-12 天津玛特检测设备有限公司 一种双目的零件识别方法和装置及使用该装置的生产线
CN109514550A (zh) * 2018-10-29 2019-03-26 中国科学院合肥物质科学研究院 一种基于图像处理的机械爪控制方法和系统
CN109483537B (zh) * 2018-11-15 2021-06-01 华南智能机器人创新研究院 一种Delta机器人作业目标选择方法及系统
CN109472788B (zh) * 2018-11-20 2022-03-22 成都信息工程大学 一种飞机铆钉表面的伤痕检测方法
CN110865657A (zh) * 2019-12-03 2020-03-06 泉州华中科技大学智能制造研究院 一种传送带上轮廓轨迹跟踪控制系统及方法
CN111152197B (zh) * 2020-04-08 2020-09-01 广东弓叶科技有限公司 机器人抓手跟踪抓取控制方法及系统
CN111687839B (zh) * 2020-06-03 2021-11-30 北京如影智能科技有限公司 一种夹取物品的方法及装置
CN111932490B (zh) * 2020-06-05 2023-05-05 浙江大学 一种用于工业机器人的视觉系统抓取信息提取方法
CN112008724B (zh) * 2020-08-25 2022-02-18 北京华航唯实机器人科技股份有限公司 轨迹工艺结果的展示方法及装置、电子设备
CN112276908A (zh) * 2020-10-23 2021-01-29 北京配天技术有限公司 工业机器人设备及其工件位置获取方法、系统和装置
CN112456128B (zh) * 2020-12-04 2021-11-05 深圳市宏申工业智能有限公司 一种基于机器视觉的流水线上自动上下料方法和系统
CN112642733B (zh) * 2020-12-07 2023-05-09 广东弓叶科技有限公司 一种机器人一拖多的抓取方法、装置及系统
CN113110132B (zh) * 2021-03-23 2022-12-30 佛山市高明安华陶瓷洁具有限公司 基于工业机器人的堆垛控制方法、控制器及控制系统
CN113524187B (zh) * 2021-07-20 2022-12-13 熵智科技(深圳)有限公司 一种工件抓取顺序的确定方法、装置、计算机设备及介质
CN113538582B (zh) * 2021-07-20 2024-06-07 熵智科技(深圳)有限公司 一种工件抓取顺序的确定方法、装置、计算机设备及介质
CN113877854A (zh) * 2021-12-08 2022-01-04 辰星（天津）自动化设备有限公司 应用于并联机器人的物体分拣方法
CN114742789B (zh) * 2022-04-01 2023-04-07 桂林电子科技大学 一种基于面结构光的通用零件拾取方法、系统及电子设备
CN114802976B (zh) * 2022-06-09 2023-10-03 合肥友高物联网标识设备有限公司 一种针对蜘蛛手自动装箱实现产品一物一码的控制方法
CN115026822B (zh) * 2022-06-14 2023-03-24 广东天太机器人有限公司 一种基于特征点对接的工业机器人控制系统及方法
CN114986520B (zh) * 2022-07-28 2022-10-28 广东毕要科技有限公司 一种基于机器视觉的四轴并联机器人分拣系统及方法
CN115816441B (zh) * 2022-10-31 2023-08-08 实时侠智能控制技术有限公司 基于任务描述的机器人控制方法、装置及可读介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203508417U (zh) * 2013-09-27 2014-04-02 沈阳工业大学 工业机器人分拣系统
CN104624505A (zh) * 2015-01-16 2015-05-20 同济大学 一种基于图像识别的废塑料分离方法与系统
CN106000904A (zh) * 2016-05-26 2016-10-12 北京新长征天高智机科技有限公司 一种生活垃圾自动分拣系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203508417U (zh) * 2013-09-27 2014-04-02 沈阳工业大学 工业机器人分拣系统
CN104624505A (zh) * 2015-01-16 2015-05-20 同济大学 一种基于图像识别的废塑料分离方法与系统
CN106000904A (zh) * 2016-05-26 2016-10-12 北京新长征天高智机科技有限公司 一种生活垃圾自动分拣系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于机器视觉的Delta机器人分拣系统算法;倪鹤鹏等;《机器人》;20160131;第38卷(第1期);第50-54页 *
并联Delta机器人的传送带动态抓取系统设计;邓明星;《中国优秀硕士学位论文全文数据库》;20141015;第9、24-30、38-46页 *

Also Published As

Publication number Publication date
CN106737664A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106737664B (zh) 分拣多类工件的Delta机器人控制方法及系统
US10005107B2 (en) Workpiece sorting system and method
CN106000904B (zh) 一种生活垃圾自动分拣系统
US8442668B2 (en) Handling system, work system, and program
CN109365318A (zh) 一种多机器人协作分拣方法及系统
CN110302981B (zh) 一种固废分拣在线抓取方法和系统
CN111428731B (zh) 基于机器视觉的多类目标识别定位方法、装置和设备
CN111723782A (zh) 基于深度学习的视觉机器人抓取方法及系统
CN111015662B (zh) 一种动态抓取物体方法、系统、设备和动态抓取垃圾方法、系统、设备
WO2021174796A1 (zh) 用于带电作业机器人抓取支线场景下的抓取姿态计算方法
CN112845143A (zh) 一种生活垃圾分类智能分拣系统及方法
CN105225225B (zh) 一种基于机器视觉的皮革自动划线方法和装置
KR102649930B1 (ko) 비전 시스템을 갖는 이미지에서 패턴을 찾고 분류하기 위한 시스템 및 방법
CN114029243B (zh) 一种用于分拣机器手的软物抓取识别方法
CN114749981B (zh) 一种基于多轴机器人的上下料控制系统及方法
CN110125036B (zh) 一种基于模板匹配的自识别分拣方法
Boschetti A picking strategy for circular conveyor tracking
CN115070781B (zh) 一种物体抓取方法及双机械臂协作系统
CN115321090B (zh) 机场行李自动接取方法、装置、设备、系统及介质
CN112192577A (zh) 一种应用于机器人抓取场景的一拍多抓方法
CN113927601B (zh) 一种基于视觉识别实现机械臂精准挑拣的方法及系统
Li et al. Autofeeding system for assembling the CBCs on automobile engine based on 3-D vision guidance
CN117340895A (zh) 一种基于目标检测的机械臂6-dof自主抓取方法
CN113524172B (zh) 机器人及其物品抓取方法、计算机可读存储介质
CN110533681B (zh) 物品抓取方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 100080 No. 95 East Zhongguancun Road, Beijing, Haidian District

Patentee after: INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES

Patentee after: Zhongke (Luoyang) robot and intelligent equipment Research Institute

Address before: 100080 No. 95 East Zhongguancun Road, Beijing, Haidian District

Patentee before: INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES

Patentee before: INNOVATION INSTITUTE FOR ROBOT AND INTELLIGENT EQUIPMENT (LUOYANG), CASIA