CN110963298A - 基于视觉跟随的取料装置及方法 - Google Patents
基于视觉跟随的取料装置及方法 Download PDFInfo
- Publication number
- CN110963298A CN110963298A CN201911331781.1A CN201911331781A CN110963298A CN 110963298 A CN110963298 A CN 110963298A CN 201911331781 A CN201911331781 A CN 201911331781A CN 110963298 A CN110963298 A CN 110963298A
- Authority
- CN
- China
- Prior art keywords
- industrial robot
- robot
- encoder
- conveyor belt
- vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 27
- 239000000463 material Substances 0.000 title claims abstract description 24
- 230000005540 biological transmission Effects 0.000 claims abstract description 14
- 230000009471 action Effects 0.000 claims abstract description 9
- 239000012636 effector Substances 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 239000013589 supplement Substances 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims 1
- 239000002994 raw material Substances 0.000 claims 1
- 230000001502 supplementing effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000001681 protective effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
- B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
- B65G47/90—Devices for picking-up and depositing articles or materials
- B65G47/91—Devices for picking-up and depositing articles or materials incorporating pneumatic, e.g. suction, grippers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G15/00—Conveyors having endless load-conveying surfaces, i.e. belts and like continuous members, to which tractive effort is transmitted by means other than endless driving elements of similar configuration
- B65G15/30—Belts or like endless load-carriers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G21/00—Supporting or protective framework or housings for endless load-carriers or traction elements of belt or chain conveyors
- B65G21/08—Protective roofs or arch supports therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
- B65G43/08—Control devices operated by article or material being fed, conveyed or discharged
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
- B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
- B65G47/90—Devices for picking-up and depositing articles or materials
- B65G47/92—Devices for picking-up and depositing articles or materials incorporating electrostatic or magnetic grippers
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于视觉跟随的取料装置及方法，涉及工业自动化技术领域。其技术要点包括工作台，其顶面设置为水平的台面；传送带，安装于台面上，用于输送物体；视觉系统，其安装在工作台上，其拍摄视野正对在传送带前侧位置处，基于拍摄的图像输出物体的位置信息；工业机器人，其安装传送带后侧位置处，具有对传送带后侧位置执行抓取的工作范围，所述工作范围和视觉系统的视域相错开；编码器，其输出轴和传送带传动连接，用于输出传送带的位置信号；机器人主控，电连接视觉系统、编码器和工业机器人，基于编码器和视觉系统输出的信号，控制工业机器人执行抓取动作，本发明具有延长机器人可抓取物体时长，减少待抓取物体遗漏的优点。
Description
技术领域
本发明涉及工业自动化技术领域，更具体地说，它涉及一种基于视觉跟随的取料装置及方法。
背景技术
工业自动化是指机器设备或生产过程在不需要人为直接干预的情况下，按照预期的目标实现测量，操纵等信息处理和过程控制的统称。工业自动化发展到现在，一体化、网络化和智能化成为行业的新方向，但是工业控制设备的智能化还处于初级阶段。
物体抓取是生产线上工业机器人的一项重要技术，目前，生产线上大部分的工业机器人仅能在严格定义的结构化环境中执行预定的指令。现有的物体抓取的系统，其一般将相机安装在工业机器人抓取位置的上方，通过判断相机的视野中是否有物体，驱动工业机器人工作人执行抓取。而相机的视野和工业机器人的执行区域存在较大的重叠，因此机器人可抓取物体的时长较短，常常无法及时的抓取。
发明内容
针对现有的技术问题，本发明的第一目的在于提供一种基于视觉跟随的取料装置，其具有延长机器人可抓取物体时长，减少待抓取物体遗漏的优点。
本发明的第二目的在于提供一种基于视觉跟随的取料方法，其具有快速抓取传送带移动的物体的优点。
为实现上述第一目的，本发明提供了如下技术方案：一种基于视觉跟随的取料装置，包括：
工作台，其顶面设置为水平的台面；
传送带，安装于台面上，用于输送物体；
视觉系统，其安装在工作台上，其拍摄视野正对在传送带输送方向的靠前侧位置处，基于拍摄的图像输出物体的位置信息；
工业机器人，其安装在工作台上，临近设置于传送带输送方向后侧位置处，具有对传送带输送方向的靠后侧位置处执行抓取的工作范围，所述工业机器人的工作范围和视觉系统的视域相错开；
编码器，其输出轴和传送带传动连接，用于输出传送带的位置信号；
机器人主控，电连接视觉系统、编码器和工业机器人，基于编码器和视觉系统输出的信号，控制工业机器人执行抓取动作。
通过采用上述技术方案，将视觉系统和工业机器人分别设置在传送带的前侧和后侧，使得工业机器人的工作范围和视觉系统的视域相错开，另外在传送带连接编码器；当视觉系统检测到物体时，机器人主控通过视觉系统的物体位置和编码器输出的传送带位置，就能够获取到物体的实时位置；因此只要物体进入到工业机器人的工作范围内之后，工业机器人就能够执行抓取，增大了工业机器人的对物体可抓取的范围，从而延长机器人可抓取物体时长，利于工业机器人抓取传送带上的物体。
本发明进一步设置为：所述传送带包括传送主体和套设在传送主体上的输送带体；所述传送主体上的前侧设置有提升视觉系统拍摄视野亮度的增光源。
通过采用上述技术方案，在传送主体上的前侧设置增光源有提升视觉系统拍摄视野亮度，提升视觉系统对物体的识别率。
本发明进一步设置为：所述增光源包括两根眼传送带输送方向水平设置的补光灯条，两根补光灯条呈相对设置在传送带位于视觉系统拍摄视野的两侧且发光面正对。
通过采用上述技术方案，补光灯条呈沿输送带输送方向的设置的长条状能够对输送带输送方向的区域放出均匀的光强，而两侧的补光灯条互相照射灯光强度互补，能够使输送带垂直输送方向的光强均匀；因此在上述两者相结合就能够达到使得视觉系统的拍摄视野整体补光均匀。
本发明进一步设置为：所述补光灯条的两端和传送主体的外侧壁之间均设置有L型架，L型架包括一端固定在传送主体上的水平架杆和垂直连接于水平架杆另一端的竖直架杆，竖直架杆可水平滑移于水平架杆上，补光灯条可竖直滑移于竖直架杆上。
通过采用上述技术方案，竖直架杆可水平滑移于水平架杆上，补光灯条可竖直滑移于竖直架杆上；使得补光灯条的位置可以根据需求在垂直于输送带输送方向的平面上调节至合适位置并不完全固定。
本发明进一步设置为：所述编码器的一侧固定在传送主体的外侧壁上，编码器的另一侧设置有输出轴，编码器的输出轴上固定连接有同步轮，同步轮抵接传动在传送带上。
通过采用上述技术方案，通过同步轮联动编码器和传送带，可以在普通电机驱动的传送带上获取传送带的位置信息，可装配性更强。
本发明进一步设置为：工业机器人包括工业机器人本体以及安装于工业机器人本体的输出轴上末端执行器，所述工业机器人本体采用SCARA机器人。
通过采用上述技术方案，SCARA机器人为四轴机器人，相比于六轴的工业机器人所需要控制的轴数少。
本发明进一步设置为：所述工业机器人本体的输出轴上水平固定有一片沿径向伸出的固定板，固定板的一端固定在工业机器人本体的输出轴上，末端执行器固定在固定板的另一端。
通过采用上述技术方案，通过固定板连接末端执行器，使得末端执行器和输出轴之间产生间距，有利于末端执行器接线，同时也使得末端执行器能够绕输出轴做圆周运动。
本发明进一步设置为：所述末端执行器采用吸嘴，吸嘴竖直贯穿固定在固定板上，吸嘴的上端连接气管，并通过气管连接电磁阀和外部的供气源。
通过采用上述技术方案，使用吸嘴吸附相比于夹持类的机械手，应用情况更加稳定。
本发明进一步设置为：所述工作台的台面上安装有遮光保护罩,遮光保护罩包括罩体和四根固定在罩体底部四个边角上的支撑杆，四根支撑杆分别固定连接在台面的四个边角上，四根支撑杆将罩体架高，使得输送带体的输送平面和罩体的底面之间存在间距。
通过采用上述技术方案，遮光保护罩既能够起到遮光还能起到保护的效果，保证视觉系统所在的环境下光照情况稳定，且整体装置不易受外部侵扰。
本发明进一步设置为：所述罩体具有四个遮挡面和一面开口，四个遮挡面分别位于顶部以及三个侧部，开口的一面设置在平行于传送带输送方向上。
通过采用上述技术方案，在罩体上开设一个开口，兼顾挡光保护和调试操作。
为实现上述第二目的，本发明提供了如下技术方案：一种应用第一目的所述装置的取料方法，包括，
S10、机器人主控初始化，启动工业机器人、传送带、编码器和视觉系统；
S30、开始周期;
S31、机器人主控基于编码器输出的传送带位置信号间歇性的发出拍照命令至视觉系统；
S32、机器人主控获取视觉系统拍摄识别物体的靶标位置以及对应编码器输出的传送带位置信号并记录到检测队列中；
S33、机器人主控判断检测队列中是否有靶标位置数据，若有执行步骤S34，若无执行步骤S36；
S34、判断队列首位中的靶标位置是否移动至工业机器人的工作范围内，若是执行步骤S35，若无执行步骤S36；
S35、机器人主控控制工业机器人对队列首位中的靶标位置执行抓取，并执行下一周期；
S36、机器人主控控制工业机器人移动返回待机点，并执行下一周期。
通过采用上述技术方案，机器人主控同时记录多个靶标位置，并能够依照检测队列的顺序依据靶标位置的顺序执行抓取，减少了多个物体中间抓取空隙占用的时间。另外，在工业机器人处于待机的状态下，机器人主控会控制其移动到方便抓取物体的待机点，提升首次抓取物品的速度。最后机器人主控周期性的更新工业机器人的位置和速度，能够将工业机器人的位置调整至合适，提升抓取的效率。
本发明进一步设置为：步骤S10机器人主控初始化包括：
S11、建立工业机器人和视觉系统共用的工作台坐标系；
S12、使用9点法标定视觉系统视野，确定视觉系统中像素位置和工作台坐标系变换关系；
通过采用上述技术方案，在机器人主控初始化后，工业机器人的坐标能够和视觉系统中的像素位置对应起来，使得机器人主控能够通过靶标位置和编码器位置计算输出现在的物体位置。
本发明进一步设置为：视觉系统拍摄识别物体的靶标位置的过程包括：
S20、视觉系统获取物体的识别模板的轮廓信息，并基于轮廓信息生成并记录设置于轮廓信息内指定像素位置处的靶标位置；
S21、视觉系统拍摄获得拍摄视野的图像信息；
S22、视觉系统识别拍摄的图像信息，获取图像信息中和识别模板相同的轮廓信息；
S23、视觉系统通过计算获得轮廓信息的指定像素位置处的靶标位置；
S24、视觉系统将靶标位置发送至机器人主控。
通过采用上述技术方案，视觉系统通过对比轮廓信息获取物体信息，在相同的轮廓信息，就能够将对应的靶标位置发送机器人主控，使得机器人主控能够准确的获取到靶标位置。
本发明进一步设置为：步骤S35工业机器人抓取步骤包括：
S351、获得工业机器人和队列首位的靶标位置；
S354、计算工业机器人和靶标的位置差，基于位置差获得基准速度；
S355、基于基准速度和编码器输出速度，获得工业机器人参考速度；
S356、判断工业机器人和靶标位置之间的距离和工业机器人参考速度和编码器输出速度之间的速度差值是否均小于预设值，若是则执行步骤S357，若否进入下一个周期；
S357、工业机器人执行抓取动作,并将队列首位的靶标位置从队列中移出。
通过采用上述技术方案，机器人主控在控制工业机器人移动时，不同的位置差、不同编码器速度，都会影响到工业机器人的速度。因此在每一个周期下机器人主控都会调节工业机器人速度，直至工业机器人的位置和速度都和物体大致一致才进行抓取。
本发明进一步设置为：步骤S35工业机器人抓取步骤还包括：
S352、判断队列首位的靶标位置是否处于工业机器人的工作范围外，若是则跳转步骤S353，若否跳转步骤S354；
S353、将队列首位的靶标位置从队列中移出，放弃此次抓取并进入下一个周期。
通过采用上述技术方案，当靶标移出工作范围，则说明物体已经在传送带的输送下移走，工业机器人无法再抓取到，此时放弃抓取能够节省时间，来进行下一次抓取。
与现有技术相比，本发明的有益效果是：
（1）通过工业机器人的工作范围和视觉系统的视域相错开，并控制工业机器人采用跟随的抓取方法，增大了工业机器人的对物体可抓取的范围，利于工业机器人抓取传送带上的物体；
（2）通过设置补光灯条和遮光罩，使得视觉系统能够处于一个较为稳定的光照环境下，利于视觉系统识别物体；
（3）通过设置通过同步轮联动编码器和传送带，可以在普通电机驱动的传送带上获取传送带的位置信息，可装配性更强。
附图说明
图1为基于视觉跟随的取料装置的凸显技术特征的结构示意图；
图2为基于视觉跟随的取料装置的凸显整体结构的结构示意图；
图3为基于视觉跟随的取料方法的流程框图；
图4为基于视觉跟随的取料方法中机器人主控初始化的流程框图；
图5为工作台坐标标定的示意图；
图6为9点法标定表示的意图；
图7为工业机器人抓取的流程框图；
图8为工业机器人位置与速度控制的控制示意图。
附图标记：1、工作台；2、工业机器人；3、传送带；4、编码器；5、机器人主控；6、视觉系统；7、传送主体；8、输送带体；9、遮光保护罩；10、罩体；11、支撑杆；12、相机；13、图像计算器；14、增光源；15、补光灯条；16、L型架；17、机器人本体；18、末端执行器；19、固定板；20、气管；22、同步轮。
具体实施方式
下面结合附图和实施例，对本发明进行详细描述。
实施例，一种基于视觉跟随的取料装置，如图1所示，包括工作台1、视觉系统6、工业机器人2、传送带3、编码器4和机器人主控5。工作台1的顶面设置为水平的台面；传送带3水平安装于台面上用于输送物体；视觉系统6安装在工作台1上其拍摄视野正对在传送带3输送方向的靠前侧位置处；工业机器人2安装在工作台1上且临近设置于传送带3输送方向的靠后侧位置处,具有对传送带3输送方向的靠后侧位置执行抓取的工作范围，工业机器人2的工作范围和视觉系统6的视域相错开。编码器4的输出轴和传送带3传动连接，编码器4获取传送带3的传动位置,用于输出指示传送带3位置的位置信号。机器人主控5电连接视觉系统6、编码器4和工业机器人2，基于编码器4和视觉系统6输出的信号，控制工业机器人2执行抓取动作。
机器人主控5实时的读取编码器4输出的位置信号来获取传送带3的位置。在传送带3运动固定的长度后，机器人主控5输出一个信号给视觉系统6，视觉系统6收到该信号后开始拍照识别，同时机器人主控5记录下当前的传送带3位置，作为当前视觉系统6识别到的物体的基准位置。
当机器人主控5判断物体运动到工业机器人2的工作范围内时，开始机器人主控5控制工业机器人2执行跟随抓取动作。如果视觉系统6识别到多个物体，那么会有多个数据都会发送至机器人主控5。当机器人主控5控制工业机器人2抓取完成后如果工业机器人2的工作范围还内有物体，那么机器人主控5继续控制工业机器人2执行抓取动作。
如图1、2所示，工作台1上台面呈矩形,传送带3水平安装在工作台1的台面宽度方向的中部。且传送带3的两端分别从台面长度方向的两侧伸出。传送带3包括传送主体7和套设在传送主体7上的输送带体8。
如图1、2所示，工作台1的台面上安装有遮光保护罩9,遮光保护罩9完全罩设于台面的上方。遮光保护罩9包括罩体10和四根固定在罩体10底部四个边角上的支撑杆11，四根支撑杆11分别固定连接在台面的四个边角上，固定罩体10和台面。另外，四根支撑杆11将罩体10架高，使得输送带体8的输送平面和罩体10的底面之间存在一定的间距，使得罩体10不会影响传送带3输送物体。
如图1、2所示，罩体10具有四面的遮挡面和一面的开口，四个遮挡面分别位于顶部以及三个侧部，开口的一面设置在平行于传送带3输送方向。四个遮挡面和一个开口的设置,使得罩体10兼顾了挡光保护和调试操作。
如图1、2所示，视觉系统6包括相机12和图像计算器13。相机12固定于传送带3的正上方罩体10的顶部遮挡面上，相机12的镜头正对传送带3，以获取传送带3在台面前侧区域作为拍摄视野。图像计算器13安装在工作台1上罩体10开口的侧壁上，图像计算器13获取相机12拍摄图像数据，能够通过轮廓分析计算出物体位置，并输出至机器人主控5。
进一步的，如图1、2所示，传送主体7上的前侧设置有提升视觉系统6拍摄视野亮度的增光源14。增光源14包括两根水平设置的补光灯条15，两根补光灯条15呈相对设置在传送带3位于相机12下方的两侧且发光面正对；两根补光灯条15略高于传送带3平面的高度。在两根补光灯条15的补光作用下，能够提升相机12拍摄的传送带3区域的亮度，以便于图像计算器13在传送带3上识别拍摄的物品。
具体的，如图1、2所示，补光灯条15的两端和传送主体7的外侧壁之间均设置有L型架16，L型架16包括一端固定在传送主体7上的水平架杆和垂直连接于水平架杆另一端的竖直架杆。竖直架杆可水平滑移于水平架杆上，补光灯条15可竖直滑移于竖直架杆上；滑移的方式可以在竖直架杆和水平架杆的长度方向性开设长条形的滑孔，而水平架杆和竖直架杆之间和竖直架杆和补光灯条15之间均采用螺钉抵紧的方式固定，使得竖直架杆能够固定在水平架杆的长度方向上长条孔内的任一一处，补光灯条15也能够固定在竖直架杆的长条孔内的任一一处。
如图1、2所示，工业机器人2安装在台面上远离罩体10开口的一侧，位于传送带3的内侧。工业机器人2包括机器人本体17和末端执行器18。机器人本体17采用四轴水平多关节的SCARA机器人。因此机器人本体17的输出轴在机器人主控5的控制下能够执行X轴和Y轴的平移，Z轴的升降和A轴的转动。
如图1、2所示，末端执行器18安装在机器人本体17的输出轴上，具体的，机器人本体17的输出轴上水平固定有一片沿径向伸出的固定板19，末端执行器18固定在固定板19远离机器人本体17的输出轴的一端。因此当机器人本体17的输出轴沿A轴转动时，末端执行器18绕机器人本体17的输出轴的轴线进行圆周运动，圆周运动的半径大致等于固定板19两端之间的长度。
如图1、2所示，末端执行器18采用吸嘴，吸嘴竖直贯穿固定在固定板19，吸嘴的上端连接气管20，并通过气管20连接电磁阀（图中未显示）和外部的气泵，机器人主控5电连接电磁阀，能控制电磁阀的通断。气泵为气源提供吸力的动力源，当电磁阀导通吸嘴会产生吸附物体的吸力，而当电磁阀断开吸嘴会失去吸附物体的吸力。因此当需要抓取物体时，机器人主控5将导通电磁阀；而需要放下物体时，机器人主控5会关闭电磁阀。
如图1、2所示，编码器4的一侧固定在传送主体7的外侧壁上，编码器4的另一端设置有输出轴，编码器4的输出轴上固定连接有同步轮22，同步轮22抵接在输送带体8上，从而在传送带3移动的同时，能够带动同步轮22转动，使得编码器4能够将传送带3位移量转化为编码器4的位置信号。
一种应用基于视觉跟随的取料装置的取料方法，如图3所示，
S10、机器人主控5初始化，启动工业机器人2、传送带3、编码器4和视觉系统6；
见图4，机器人主控5初始化过程包括：
S11、建立工业机器人2和视觉系统6共用的工作台1坐标系；
如图5所示，机器人主控5标定一个工作台1坐标系。在传送带3上选取三个不共线的点，建立一个工作台1坐标系。首先机器人主控5首先控制工业机器人2运行到P1点，记录在P1点时的工业机器人2世界坐标，使用同样的方法记录P2/P3点的世界坐标，已知P1/P2/P3可求出世界坐标系到工作台1坐标系的变换矩阵。工作台1坐标系的Y轴正方向规定为沿传送带3的运动方向。视觉系统6和工业机器人2的坐标标定均基于工作台1坐标系。进一步的，为了便于计算可以将传送带输送方向标定为Y轴，垂直于传送带输送方向标定为X轴。
S12、使用9点法标定视觉系统6视野，确定视觉系统6中像素位置和工作台1坐标系变换关系；
如图6所示，在工作台1坐标系下，让工业机器人2依次运行到标定板上的9个点位，并记录下9个点位对应的工作台1坐标系下的坐标值（x,y）。相机12对标定板拍照，并标记9个点在图片中的像素位置，使工作台1坐标系下的9个位置坐标值与图片中9个点的像素位置一一对应，可以计算出拍摄视野与工作台1坐标系的转换关系。这样拍摄视野中的每个像素点都会对应工作台1坐标系下的一个坐标值。
回到图3。
S20、视觉系统6获取物体的识别模板的轮廓信息，并基于轮廓信息生成并记录设置于轮廓信息内指定像素位置处的靶标位置。
在抓取物体前，首先制作和物体轮廓相同的供视觉系统6识别的识别模板，之后将物体放在相机12的拍摄视野内拍摄图像。之后可以通过图像计算器13计算出物体的轮廓信息，或者人工在图像计算器13上圈出物体的轮廓信息。
之后通过人工在图像计算器13内移动靶标位置，将靶标位置移动至设置于轮廓信息内的指定像素位置处。图像计算器13记录下轮廓信息并在轮廓信息上绑定靶标位置信息。
S30、开始周期；
S31、机器人主控5基于编码器4输出的传送带3位置信号间歇性的发出拍照命令至视觉系统6；
机器人主控5通过获取编码器4输出的位置值，计算获得传送带3移动的距离，当传送带3移动的距离到达了指定的距离后，机器人主控5向视觉系统6发出拍照的命令。
S21、视觉系统6拍摄获得拍摄视野的图像信息；
S22、视觉系统6识别拍摄的图像信息，获取图像信息中和识别模板相同的轮廓信息；
S23、视觉系统6通过计算获得轮廓信息的指定像素位置处的靶标位置；
S24、视觉系统6将靶标位置发送至机器人主控5。
S32、机器人主控5获取视觉系统6拍摄识别物体的靶标位置以及对应编码器4输出的传送带3位置信号并记录到检测队列中；
视觉系统6收到拍摄命令，拍摄获得拍摄视野内的图像信息；图像计算机识别拍摄的图像信息，获取图像信息中和识别模板相同的轮廓信息；当查找到相同的轮廓信息后，图像计算机通过计算获得轮廓信息的指定像素位置处的靶标坐标值。而后图像计算机将靶标的坐标值发送给机器人主控5，同时机器人主控5获取到编码器4输出宏的传送带3位置信号，并将靶标位置以及对应编码器4输出的传送带3位置信号记录到检测队列中。
值得一提的是，若一张图像信息中存在多个和识别模板相同的轮廓信息，则图像计算机将计算获得多个靶标位置，并传输至机器人主控5。使得机器人主控5的检测队列中同时记录多个靶标位置，且机器人主控5的检测队列在记录靶标位置时，会将设置在靶标位置。
S33、机器人主控5判断检测队列中是否有靶标位置数据，若有执行步骤S34，若无执行步骤S36；
S34、机器人主控5判断队列首位中的靶标位置是否移动至工业机器人2的工作范围内，若是执行步骤S35，若无执行步骤S36；
工业机器人2的工作范围为预设的坐标区间；靶标位置会跟随传送带3移动而实时更新。机器人主控5通过判断靶标位置是否属于工业机器人2工作范围的坐标区间，来判断靶标位置是否进入到工业机器人2的工作范围。
S35、机器人主控5控制工业机器人2对队列首位中的靶标位置执行抓取；
如图7所示，步骤S35工业机器人2抓取步骤包括：
S351、获得工业机器人2和队列首位的靶标位置；
S352、判断队列首位的靶标位置是否处于工业机器人2的工作范围外，若是则跳转步骤S353，若否跳转步骤S354；
若在抓取过程中靶标位置不处于工业机器人2的工作范围内，则说明物体通过传送带3已经从工业机器人2的工作范围内移出。
S353、将队列首位的靶标位置从队列中移出，放弃此次抓取，并跳转至步骤S40；
S354、计算工业机器人2和靶标的位置差，基于位置差获得基准速度；
S355、基于基准速度和编码器4输出速度，获得工业机器人2参考速度；
结合图8，工业机器人2参考速度的计算方法：
定义以下符号：
表1.符号定义表
在步骤S354中基准速度Vp(i)计算方式如下：
根据B，D1和D2，求出目标物体的当前位置C：C(i)=B+D2(i)-D1，
工业机器人距离目标物体的距离：rAC(i)=C(i)-A(i)，
位置P控制器输出的基准速度：Vp(i)=rAC(i)*KPp。
在步骤S355中工业机器人参考速度Vr(i)计算方式如下：
位置P控制器输出的参考速度与传送带速度的偏差值：vErr(i)=Vt(i)-Vp(i)；
速度的累计误差：vErrSum(i)+=vErr(i)；
输出机器人的参考速度：Vr(i)=KVp*vErr(i)+KVi*vErrSum(i)。
S356、判断工业机器人2和靶标位置之间的距离和工业机器人2参考速度和编码器4输出速度之间的速度差值是否均小于预设值，若是则执行步骤S357，若否执行步骤S40；
S357、工业机器人2执行抓取动作,并将队列首位的靶标位置从队列中移出。
抓取过程包括：机器人主控5控制工业机器人2保持和物体相同移动速度的情况下，下降机器人本体17的Z轴，打开电磁阀，使吸嘴吸附在物体的靶标位置处；之后机器人主控5控制工业机器人2移动到放置物体的位置处，关闭电磁阀，使吸嘴吸附在物体放置在放置处。
S36、机器人主控5控制工业机器人2移动返回待机点；
待机点的位置设计是为了在工业机器人2未执行抓取物体工作时，使工业机器人2和进入工业机器人2工作范围的物品之间距离减小。因此待机点设置在工业机器人2工作范围接近输送带进入的一侧。
S40、进入一下个周期。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于视觉跟随的取料装置，其特征在于：包括：
工作台(1)，其顶面设置为水平的台面；
传送带(3)，安装于台面上，用于输送物体；
视觉系统(6)，其安装在工作台(1)上，其拍摄视野正对在传送带(3)输送方向的靠前侧位置处，基于拍摄的图像输出物体的位置信息；
工业机器人(2)，其安装在工作台(1)上，临近设置于传送带(3)输送方向后侧位置处，具有对传送带(3)输送方向的靠后侧位置处执行抓取的工作范围，所述工业机器人(2)的工作范围和视觉系统(6)的视域相错开；
编码器(4)，其输出轴和传送带(3)传动连接，用于输出传送带(3)的位置信号；
机器人主控(5)，电连接视觉系统(6)、编码器(4)和工业机器人(2)，基于编码器(4)和视觉系统(6)输出的信号，控制工业机器人(2)执行抓取动作。
2.根据权利要求1所述的基于视觉跟随的取料装置，其特征在于：所述传送带(3)包括传送主体(7)和套设在传送主体(7)上的输送带体(8)；所述传送主体(7)上的前侧设置有提升视觉系统(6)拍摄视野亮度的增光源(14)。
3.根据权利要求2所述的基于视觉跟随的取料装置，其特征在于：所述增光源(14)包括两根眼传送带(3)输送方向水平设置的补光灯条(15)，两根补光灯条(15)呈相对设置在传送带(3)位于视觉系统(6)拍摄视野的两侧且发光面正对。
4.根据权利要求2所述的基于视觉跟随的取料装置，其特征在于：所述编码器(4)的一侧固定在传送主体(7)的外侧壁上，编码器(4)的另一侧设置有输出轴，编码器(4)的输出轴上固定连接有同步轮(22)，同步轮(22)抵接传动在传送带(3)上。
5.根据权利要求2所述的基于视觉跟随的取料装置，其特征在于：工业机器人(2)包括工业机器人(2)本体以及安装于工业机器人(2)本体的输出轴上末端执行器(18)，所述工业机器人(2)本体采用SCARA机器人。
6.一种应用权利要求1中所述装置的取料方法，其特征在于：包括，
S10、机器人主控(5)初始化，启动工业机器人(2)、传送带(3)、编码器(4)和视觉系统(6)；
S30、开始周期;
S31、机器人主控(5)基于编码器(4)输出的传送带(3)位置信号间歇性的发出拍照命令至视觉系统(6)；
S32、机器人主控(5)获取视觉系统(6)拍摄识别物体的靶标位置以及对应编码器(4)输出的传送带(3)位置信号并记录到检测队列中；
S33、机器人主控(5)判断检测队列中是否有靶标位置数据，若有执行步骤S34，若无执行步骤S36；
S34、判断队列首位中的靶标位置是否移动至工业机器人(2)的工作范围内，若是执行步骤S35，若无执行步骤S36；
S35、机器人主控(5)控制工业机器人(2)对队列首位中的靶标位置执行抓取，并执行下一周期；
S36、机器人主控(5)控制工业机器人(2)移动返回待机点，并执行下一周期。
7.根据权利要求6所述的基于视觉跟随的取料方法，其特征在于：步骤S10机器人主控(5)初始化包括：
S11、建立工业机器人(2)和视觉系统(6)共用的工作台(1)坐标系；
S12、使用9点法标定视觉系统(6)视野，确定视觉系统(6)中像素位置和工作台(1)坐标系变换关系。
8.根据权利要求6所述的基于视觉跟随的取料方法，其特征在于：
视觉系统(6)拍摄识别物体的靶标位置的过程包括：
S20、视觉系统(6)获取物体的识别模板的轮廓信息，并基于轮廓信息生成并记录设置于轮廓信息内指定像素位置处的靶标位置；
S21、视觉系统(6)拍摄获得拍摄视野的图像信息；
S22、视觉系统(6)识别拍摄的图像信息，获取图像信息中和识别模板相同的轮廓信息；
S23、视觉系统(6)通过计算获得轮廓信息的指定像素位置处的靶标位置；
S24、视觉系统(6)将靶标位置发送至机器人主控(5)。
9.根据权利要求6所述的基于视觉跟随的取料方法，其特征在于：步骤S35工业机器人(2)抓取步骤包括：
S351、获得工业机器人(2)和队列首位的靶标位置；
S354、计算工业机器人(2)和靶标的位置差，基于位置差获得基准速度；
S355、基于基准速度和编码器(4)输出速度，获得工业机器人(2)参考速度；
S356、判断工业机器人(2)和靶标位置之间的距离和工业机器人(2)参考速度和编码器(4)输出速度之间的速度差值是否均小于预设值，若是则执行步骤S357，若否进入下一个周期；
S357、工业机器人(2)执行抓取动作,并将队列首位的靶标位置从队列中移出。
10.根据权利要求9所述的基于视觉跟随的取料方法，其特征在于：
步骤S35工业机器人(2)抓取步骤还包括：
S352、判断队列首位的靶标位置是否处于工业机器人(2)的工作范围外，若是则跳转步骤S353，若否跳转步骤S354；
S353、将队列首位的靶标位置从队列中移出，放弃此次抓取并进入下一个周期。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911331781.1A CN110963298A (zh) | 2019-12-21 | 2019-12-21 | 基于视觉跟随的取料装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911331781.1A CN110963298A (zh) | 2019-12-21 | 2019-12-21 | 基于视觉跟随的取料装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110963298A true CN110963298A (zh) | 2020-04-07 |
Family
ID=70035603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911331781.1A Pending CN110963298A (zh) | 2019-12-21 | 2019-12-21 | 基于视觉跟随的取料装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110963298A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111483803A (zh) * | 2020-04-17 | 2020-08-04 | 湖南视比特机器人有限公司 | 控制方法、抓取系统和存储介质 |
| CN111899629A (zh) * | 2020-08-04 | 2020-11-06 | 菲尼克斯(南京)智能制造技术工程有限公司 | 柔性机器人教学系统和方法 |
| CN113269085A (zh) * | 2021-05-22 | 2021-08-17 | 深圳市华成工业控制股份有限公司 | 一种直线传送带跟踪控制方法、系统、装置及存储介质 |
| CN113848845A (zh) * | 2021-11-26 | 2021-12-28 | 佛山华数机器人有限公司 | 一种多机器人高效打磨调度方法 |
| CN114088591A (zh) * | 2021-12-06 | 2022-02-25 | 上海易清智觉自动化科技有限公司 | 细颗粒粒度检测装置及方法 |
| CN114671256A (zh) * | 2020-12-24 | 2022-06-28 | 未势能源科技有限公司 | 电堆物料堆叠控制方法、装置及物料拿取机构 |
| CN116061183A (zh) * | 2023-02-23 | 2023-05-05 | 中国民用航空飞行学院 | 一种机器人视觉引导从料框抓取零件的控制方法 |
| CN117532644A (zh) * | 2023-12-26 | 2024-02-09 | 广东亚数智能科技股份有限公司 | 一种三维视觉引导机械手抓取装置及其控制方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120323358A1 (en) * | 2011-06-20 | 2012-12-20 | Kabushiki Kaisha Yaskawa Denki | Picking system |
| CN103895042A (zh) * | 2014-02-28 | 2014-07-02 | 华南理工大学 | 一种基于视觉引导的工业机器人工件定位抓取方法及系统 |
| CN104108579A (zh) * | 2014-07-15 | 2014-10-22 | 上海发那科机器人有限公司 | 一种使用视觉系统对直线传送带上工件定位的装置和方法 |
| CN106934813A (zh) * | 2015-12-31 | 2017-07-07 | 沈阳高精数控智能技术股份有限公司 | 一种基于视觉定位的工业机器人工件抓取实现方法 |
| CN107618030A (zh) * | 2016-07-16 | 2018-01-23 | 深圳市得意自动化科技有限公司 | 基于视觉的机器人动态跟踪抓取方法及系统 |
| CN208453944U (zh) * | 2018-04-18 | 2019-02-01 | 深圳市长荣科机电设备有限公司 | 一种工件跟踪抓取设备及转运设备 |
| CN109834712A (zh) * | 2019-03-01 | 2019-06-04 | 广东工业大学 | 一种机器人抓取顺序优化的方法 |
| CN110509281A (zh) * | 2019-09-16 | 2019-11-29 | 中国计量大学 | 基于双目视觉的位姿识别与抓取的装置与方法 |
| CN211310115U (zh) * | 2019-12-21 | 2020-08-21 | 深圳市华成工业控制股份有限公司 | 基于视觉跟随的取料装置 |
-
2019
- 2019-12-21 CN CN201911331781.1A patent/CN110963298A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120323358A1 (en) * | 2011-06-20 | 2012-12-20 | Kabushiki Kaisha Yaskawa Denki | Picking system |
| CN103895042A (zh) * | 2014-02-28 | 2014-07-02 | 华南理工大学 | 一种基于视觉引导的工业机器人工件定位抓取方法及系统 |
| CN104108579A (zh) * | 2014-07-15 | 2014-10-22 | 上海发那科机器人有限公司 | 一种使用视觉系统对直线传送带上工件定位的装置和方法 |
| CN106934813A (zh) * | 2015-12-31 | 2017-07-07 | 沈阳高精数控智能技术股份有限公司 | 一种基于视觉定位的工业机器人工件抓取实现方法 |
| CN107618030A (zh) * | 2016-07-16 | 2018-01-23 | 深圳市得意自动化科技有限公司 | 基于视觉的机器人动态跟踪抓取方法及系统 |
| CN208453944U (zh) * | 2018-04-18 | 2019-02-01 | 深圳市长荣科机电设备有限公司 | 一种工件跟踪抓取设备及转运设备 |
| CN109834712A (zh) * | 2019-03-01 | 2019-06-04 | 广东工业大学 | 一种机器人抓取顺序优化的方法 |
| CN110509281A (zh) * | 2019-09-16 | 2019-11-29 | 中国计量大学 | 基于双目视觉的位姿识别与抓取的装置与方法 |
| CN211310115U (zh) * | 2019-12-21 | 2020-08-21 | 深圳市华成工业控制股份有限公司 | 基于视觉跟随的取料装置 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111483803A (zh) * | 2020-04-17 | 2020-08-04 | 湖南视比特机器人有限公司 | 控制方法、抓取系统和存储介质 |
| CN111483803B (zh) * | 2020-04-17 | 2022-03-04 | 湖南视比特机器人有限公司 | 控制方法、抓取系统和存储介质 |
| CN111899629B (zh) * | 2020-08-04 | 2022-06-10 | 菲尼克斯(南京)智能制造技术工程有限公司 | 柔性机器人教学系统和方法 |
| CN111899629A (zh) * | 2020-08-04 | 2020-11-06 | 菲尼克斯(南京)智能制造技术工程有限公司 | 柔性机器人教学系统和方法 |
| CN114671256B (zh) * | 2020-12-24 | 2024-05-24 | 未势能源科技有限公司 | 电堆物料堆叠控制方法、装置及物料拿取机构 |
| CN114671256A (zh) * | 2020-12-24 | 2022-06-28 | 未势能源科技有限公司 | 电堆物料堆叠控制方法、装置及物料拿取机构 |
| CN113269085B (zh) * | 2021-05-22 | 2023-05-30 | 深圳市华成工业控制股份有限公司 | 一种直线传送带跟踪控制方法、系统、装置及存储介质 |
| CN113269085A (zh) * | 2021-05-22 | 2021-08-17 | 深圳市华成工业控制股份有限公司 | 一种直线传送带跟踪控制方法、系统、装置及存储介质 |
| CN113848845A (zh) * | 2021-11-26 | 2021-12-28 | 佛山华数机器人有限公司 | 一种多机器人高效打磨调度方法 |
| CN114088591A (zh) * | 2021-12-06 | 2022-02-25 | 上海易清智觉自动化科技有限公司 | 细颗粒粒度检测装置及方法 |
| CN114088591B (zh) * | 2021-12-06 | 2024-05-10 | 上海易清智觉自动化科技有限公司 | 细颗粒粒度检测装置及方法 |
| CN116061183A (zh) * | 2023-02-23 | 2023-05-05 | 中国民用航空飞行学院 | 一种机器人视觉引导从料框抓取零件的控制方法 |
| CN117532644A (zh) * | 2023-12-26 | 2024-02-09 | 广东亚数智能科技股份有限公司 | 一种三维视觉引导机械手抓取装置及其控制方法 |
| CN117532644B (zh) * | 2023-12-26 | 2024-04-12 | 广东亚数智能科技股份有限公司 | 一种三维视觉引导机械手抓取装置及其控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110963298A (zh) | 基于视觉跟随的取料装置及方法 | |
| CN109483531B (zh) | 一种用于机械手定点取放fpc板的机器视觉系统及方法 | |
| CN110948491A (zh) | 一种基于视觉跟随的工业机器人抓取方法 | |
| CN111421539A (zh) | 一种基于计算机视觉的工业零件智能识别与分拣系统 | |
| CN211310115U (zh) | 基于视觉跟随的取料装置 | |
| CN106853639A (zh) | 一种手机电池自动化装配系统及其控制方法 | |
| CN110039523A (zh) | 一种工业机器人视觉伺服系统、伺服方法及装置 | |
| CN108818536A (zh) | 一种机器人手眼标定的在线偏移修正方法及装置 | |
| JP6499273B2 (ja) | ティーチング装置及び制御情報の生成方法 | |
| CN109454638A (zh) | 一种基于视觉引导的机器人抓取系统 | |
| CN108399639A (zh) | 基于深度学习的快速自动抓取与摆放方法 | |
| CN107618030A (zh) | 基于视觉的机器人动态跟踪抓取方法及系统 | |
| CN105083998B (zh) | 一种汽车玻璃成型前的阵列高速定位装置 | |
| CN206124463U (zh) | 机械手式激光打标机 | |
| Miseikis et al. | Automatic calibration of a robot manipulator and multi 3d camera system | |
| CN108500979A (zh) | 一种基于相机通讯连接的机器人抓取方法及其系统 | |
| CN106144524A (zh) | 一种高速运动中用ccd视觉定位方法及装置 | |
| US20220241982A1 (en) | Work robot and work system | |
| CN114193440B (zh) | 基于3d视觉的机器人自动抓取系统及方法 | |
| CN216939325U (zh) | 一种工业配电箱的螺丝智能安装设备 | |
| CN211306310U (zh) | 一种基于工业机器人视觉识别的抓取系统 | |
| CN113290556A (zh) | 一种机器人涂胶路径规划方法 | |
| CN108711174B (zh) | 一种机械臂近似平行视觉定位系统 | |
| JP6499272B2 (ja) | ティーチング装置及び制御情報の生成方法 | |
| CN110900614B (zh) | 一种基于工业机器人视觉识别的抓取系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 518000 area a, 8th floor, zhengqilong building, Gushu 1st Road, Gushu community, Xixiang street, Bao'an District, Shenzhen City, Guangdong Province (Office) Applicant after: Shenzhen Huacheng Industrial Control Co., Ltd Address before: 518000 area a, 8th floor, zhengqilong building, Gushu 1st Road, Gushu community, Xixiang street, Bao'an District, Shenzhen City, Guangdong Province (Office) Applicant before: SHENZHEN HUACHENG INDUSTRIAL CONTROL Co.,Ltd. |
|
| CB02 | Change of applicant information |