CN113103215A - 一种机器人视觉飞拍的运动控制方法 - Google Patents

一种机器人视觉飞拍的运动控制方法 Download PDF

Info

Publication number
CN113103215A
CN113103215A CN202110399470.XA CN202110399470A CN113103215A CN 113103215 A CN113103215 A CN 113103215A CN 202110399470 A CN202110399470 A CN 202110399470A CN 113103215 A CN113103215 A CN 113103215A
Authority
CN
China
Prior art keywords
robot
camera
pose
control method
motion control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110399470.XA
Other languages
English (en)
Other versions
CN113103215B (zh
Inventor
谢小辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huikong Intelligent Technology Co ltd
Original Assignee
Shenzhen Huikong Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huikong Intelligent Technology Co ltd filed Critical Shenzhen Huikong Intelligent Technology Co ltd
Priority to CN202110399470.XA priority Critical patent/CN113103215B/zh
Publication of CN113103215A publication Critical patent/CN113103215A/zh
Application granted granted Critical
Publication of CN113103215B publication Critical patent/CN113103215B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/04—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type by rotating at least one arm, excluding the head movement itself, e.g. cylindrical coordinate type or polar coordinate type
    • B25J9/041—Cylindrical coordinate type
    • B25J9/042—Cylindrical coordinate type comprising an articulated arm
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本发明公开了一种机器人视觉飞拍的运动控制方法，涉及飞拍设备技术领域。本发明机器人视觉飞拍的运动控制方法，包括以下步骤：Step1：取料：SCARA机器人从供料器上吸取物体，先运行到物体上方取料；Step2：纠偏：机器人到达物体上方，高速相机触发光源，同时触发相机拍照；Step3：检测：根据相机纠偏原理实现物体位姿的纠正，并将信息反馈给机器人；Step4：放料：将物体当前位姿与纠偏位姿相加，将物体按照初始化位置放进料盘。本发明机器人视觉飞拍的运动控制方法，通过SCARA机器人做搬运主体，具有速度快，精度高等特点，设备的效率大大提高。

Description

一种机器人视觉飞拍的运动控制方法
技术领域
本发明涉及飞拍设备技术领域，特别是涉及一种机器人视觉飞拍的运动控制方法。
背景技术
飞拍技术，不同于定拍，当被抓取的工件经过相机拍摄范围的时候，不再需要停下来进行拍照，而是直接在机器人运动时候拍照，并将其瞬间位置、姿态的信息进行反馈，对可能产生的工件偏移，进行二次修正纠偏处理，在机器人运动过程中相机拍照，机器人不需要停留，视觉计算物体位姿信息，通过机器视觉飞拍技术可以提高生产效率，随着3C行业的发展，具有高精度高速度的SCARA机器人飞拍技术开始发展，目前SCARA机器人主要是多视觉，触觉传感器融合技术的实用化，操作的智能化等方面发展，机器视觉技术是实现设备精密控制、智能化、自动化、现代化的有效途径和实现计算机集成制造的基础性技术之一，机器视觉既可以替代人工肉眼的检测，又可以识别人工肉眼所看不到的检测范围，随着对生产效益、产能需求的日益增强，高速高精+机器视觉在自动化领域的发展尤为重要；就目前小型工件的搬运而言，有单轴机器人，坐标机器人，水平关节机器人等，相较其他类型的搬运机器人，水平关节机器人的维度有所提高，能够实现将工件在空间(xyz)的移动，并且能够实现工件水平角度的旋转，配合视觉传感器，不仅仅能够实现物品的定位搬运，而且能够实现物品的检测，这样更能够节省大量的人工操作，相较于垂直关节搬运机器人，水平关节的工件搬运机器人虽然自由度少，但是其体积小，速度快，更适合水平面上的小工件的搬运。
图像分割与识别是数字图像处理中的关键技术之一，图像分割是将图像中有意义的特征部分提取出来，其有意义的特征有图像中的边缘、区域等，这是进一步进行图像识别、分析和理解的基础，提高图像分割的速度与准确性是提升飞拍技术的关键，结合高曝光的频闪光源控制器可以提升图像质量，以便于对图像的自适应分割；将视觉与控制结合，可以提升相机的响应速度，使图像识别更加适用于不同场景下工业机器人高速响应的需求，因此工业机器人拍照位置的锁存以及高速IO输出控制尤为重要；
目前机器人飞拍技术往往存在以下不足：①、物体识别准确性较差，受制于机器人控制器位置控制影响，工业机器人不能准确控制机器人抓拍到识别物体，因此错过抓拍物体位置；②、图像识别算法较慢，未能在有限的生产节拍中中识别出定位物体的位姿偏差，这是由于无法准确控制频闪控制器光源响应，导致抓拍图像模糊，成像质量差；③、目前飞拍技术是将相机固定在同一个位置，抓拍物体需要在运动过程中到达相机视野范围内，这就导致相机安装位置所占空间较大，受限工业机器人运动空间；为此，我们提出一种机器人视觉飞拍的运动控制方法。
发明内容
本发明的目的在于提供一种机器人视觉飞拍的运动控制方法，以解决上述背景中提出的问题。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明为一种机器人视觉飞拍的运动控制方法，所述机器人视觉飞拍的运动控制方法，包括以下步骤：
Step1：取料：SCARA机器人从供料器上吸取物体，先运行到物体上方取料；
Step2：纠偏：机器人到达物体上方，高速相机触发光源，同时触发相机拍照；
Step3：检测：根据相机纠偏原理实现物体位姿的纠正，并将信息反馈给机器人；
Step4：放料：将物体当前位姿与纠偏位姿相加，将物体按照初始化位姿放进料盘。
优选地，所述飞拍系统包括上位机、摄像头以及频闪光源、SCARA机器人与抓取设备。
优选地，所述Step2中，机器人运动到拍照点区域，其内部位置控制算法利用高速IO信号触发相机，进行动态无停顿拍照，同时对实际拍照位置进行高速锁存。
优选地，所述Step3中机器人末端的相机对初始化位置信息与当前相机回传的位置数据和机器人高速锁存位置进行比对，实现位置和姿态纠偏。
优选地，所述Step2中相机安装于机器人末端。
优选地，所述上位机与摄像头通过千兆网线连接，所述摄像头将拍到的照片传回到上位机，所述上位机通过算法计算出待搬运工件的位置坐标，然后将位姿偏差信息发送给所述SCARA机器人控制器，实现二次纠偏。
优选地，所述SCARA机器人控制器通过多线程的方式实时读取SCARA轴编码器的位置，检测到拍摄物体进入方形区域内同时触发高速相机与频闪可控光源。
优选地，所述图像处理算法在上位机内开辟一个线程，读取相机触发拍摄的图像，经图像处理算法结束后将位姿偏差结果回传给工业机器人。
优选地，所述位姿纠偏算法为50ms，位姿纠偏算法的主要步骤分为：
步骤一：以标定板纠正像素畸变，自适应阈值分割提取当前拍摄物体的形状信息；
步骤二：通过仿射变换定位到统一视觉坐标系下；
步骤三：计算物体的旋转信息，并与初始位置做比较，计算像素偏移位置；
步骤四：像素偏移值转换为机器人坐标系下物体的偏移位置。
优选地，所述视觉飞拍是眼在手上，手带着眼运动进行飞拍。
本发明具有以下有益效果：
本发明机器人视觉飞拍的运动控制方法通过SCARA机器人做搬运主体，具有速度快，精度高等特点，设备的效率大大提高。
本发明机器人视觉飞拍产品将飞拍系统中的相机放置于机器人末端，保证了作业空间的范围，在不影响空间使用的情况下保证了飞拍功能的实现。
本发明机器人视觉飞拍产品结构简单，小巧，可以满足对C电子、家电、玩具、塑料五金等行业的应用需求。
本发明机器人视觉飞拍产品配合高响应相机以及频闪光源控制器，在不停顿拍照的情况下可以实现抓取物的识别和角度的调整，可以实现动态抓取。
本发明机器人视觉飞拍产品位置判断精准，高速IO输出速度快，识别准确。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种机器人视觉飞拍的运动控制方法的操作方法流程图和机器人末端运动轨迹及相机拍照位置示意图；
图2为本发明的一种机器人视觉飞拍的运动控制方法的机器人的加速、匀速、减速三个阶段时间示意图；
图3为本发明的一种机器人视觉飞拍的运动控制方法的图像处理中纠偏示意图；
图4为本发明的一种机器人视觉飞拍的运动控制方法的各个阶段时长示意图；
图5为本发明的一种机器人视觉飞拍的运动控制方法的时长稳定性测试示意图；
图6为本发明的一种机器人视觉飞拍的运动控制方法的精度稳定性测试示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1-6所示：本发明为一种机器人视觉飞拍的运动控制方法，包括以下步骤：
Step1：取料：SCARA机器人从供料器上吸取物体，先运行到物体上方取料；
Step2：纠偏：机器人到达物体上方，高速相机触发光源，同时触发相机拍照；
Step3：检测：根据相机纠偏原理实现物体位姿的纠正，并将信息反馈给机器人；
Step4：放料：将物体当前位姿与纠偏位姿相加，将物体按照初始化位姿放进料盘。
其中，飞拍系统包括上位机、摄像头以及频闪光源、SCARA机器人与抓取设备。
其中，Step2中，机器人运动到拍照点区域，其内部位置控制算法利用高速IO信号触发相机，进行动态无停顿拍照，同时对实际拍照位置进行高速锁存。
其中，Step3中机器人末端的相机对初始化位置信息与当前相机回传的位置数据和机器人高速锁存位置进行比对，实现位置和姿态纠偏。
其中，Step2中相机安装于机器人末端。
其中，上位机与摄像头通过千兆网线连接，摄像头将拍到的照片传回到上位机，上位机通过算法计算出待搬运工件的位置坐标，然后将位姿偏差信息发送给SCARA机器人控制器，实现二次纠偏。
其中，SCARA机器人控制器通过多线程的方式实时读取SCARA轴编码器的位置，检测到拍摄物体进入方形区域内同时触发高速相机与频闪可控光源。
其中，图像处理算法在上位机内开辟一个线程，读取相机触发拍摄的图像，经图像处理算法结束后将位姿偏差结果回传给工业机器人。
其中，位姿纠偏算法为50ms，位姿纠偏算法的主要步骤分为：
步骤一：以标定板纠正像素畸变，自适应阈值分割提取当前拍摄物体的形状信息；
步骤二：通过仿射变换定位到统一视觉坐标系下；
步骤三：计算物体的旋转信息，并与初始位置做比较，计算像素偏移位置；
步骤四：像素偏移值转换为机器人坐标系下物体的偏移位置。
其中，视觉飞拍是眼在手上，手带着眼运动进行飞拍。
其中，图1机器人末端夹持相机在固定轨迹中高速运动，每当末端到达硬触发区域时机器人高速IO向响应速度达到要求的相机发出一个拍照信号，相机将取得的照片发送给视觉控制器进行图像处理，图2机器人在加速至正常运行速度后开始匀速运动，在经过拍照区域时速度不变，完成拍照后以正常运行速度在即将到达放置点时开始减速至停止，图3在图像处理时通过判断基准物体的坐标及姿态从而确定照片在世界坐标中的坐标和姿态，重新在照片中建立一个以基准物为原点的坐标系，计算拍摄物体在坐标系中的坐标和姿态，并计算与与基准物体坐标和姿态的差值，得到纠偏值，图4相机响应机器人IO信号并完成拍照的时长远小于图像处理时间，并且图像处理时间与触发响应时间的总和在机器人接收反馈信息时间的范围内，所以并不会出现数据来不及接收的情况，图5大量的取图测试显示，图像处理时间均在30-40ms内，图6对同一坐标和姿态的目标物多次拍照并处理，得出：在取图距离250mm，130w像素的图像中图像处理的误差在0.04-0.05个像素坐标之间。
本方案中，视觉飞拍是眼在手上，手带着眼运动进行飞拍；对于应用在3C行业中电子元件的搬运，或者是流水线上产品的搬运来说，其特点就是待搬运物都是在同一平面，并且经常需要调整待搬运物的角度(比如电子元件的焊接是要角度的，需要将电子元件的引脚与线路板上的焊脚相对应，再比如正方形的物品放在正方形的包装盒里，需要角度的矫正)，视觉飞拍需要支持硬件比较输出或者精准输出功能的控制器，当运行到预定的拍照点时，运动轴不停下来，采用运动控制器的精准输出或者硬件比较输出功能，瞬间完成飞行抓拍的功能，这样在实际生产过程中可以加快生产效率，同时，将相机放置在机器人末端可以有效的减小工作设备所占用的空间，更加紧凑。
本方案中，要提高完成飞拍的精度要从几个方面着手，触发拍照的重复位置精度要高，相机触发拍照到得到拍照的成像要快，曝光时间要短，相机的响应时间要短，图像处理速度越快越好，图像处理计算包括亮度处理：
实现方法:加大或减小每个像素的三基色值，计算式:V＝V*(1+d)，其中，V-调整后颜色值，V*-原颜色值，d-亮度调整系数，-1<＝d<＝1；
对比度处理：
实现方法:以亮度的中间值为基准，加大较大的颜色值，减小较小的颜色值，中间值的取法:i固定取127；ii取所有像素点各基色的平均值；计算公式:V＝127+(V*-127)*(1+d)，其中，V-调整后颜色值，V*-原颜色值，d-对比度调整系数，-1<＝d<＝1；
色阶处理：
将给定的输入范围映射到给定的输出范围，输出范围-般默认为[0,255]，公式:V＝(V'-d1])*255/d2-d1；其中，dh-输入范围的下界值，d2-输入范围的上界值；
图像平滑：消除图像中的噪声；
噪声即叠加在图像上的正负随机亮度值，均值平滑:取本身及周围9个像素点的颜色平均值，中值平滑:取本身及周围9个像素点的颜色中间值；
水平-阶微分法：
求各像素点与左侧像素点颜色值的绝对值得到边缘强度值，以各点的边缘强度值为灰度形成；
垂直-阶微分法：
像素点与.上边像素点颜色差值的绝对值；
双向-阶微分法：
水平、垂直分别求边缘值，取最大者；
锐化：即加大边缘处的颜色差异；
双向-阶微分锐化：
对每个像素点的每种基色值，分别求与左侧和.上侧点的差值，将两者均值叠加到当前值上；
镜像：
围绕图像中心点，像素进行左右置换或上下置换；
垂直翻转可逐行进行，水平翻转函数要逐行逐点进行处理。
缩小：
缩小:图像画面面积减小，像素减少，图像等比例缩小；裁剪:图像画面面积减小，像素减少，但图像不变，只是局部处于画面中，多出部分丢弃宽度与高度方向的缩小比例可以不同；
放大：
图像放大:图像画面增大，像素增多，图像等比例放大，画布放大:图像画面增大，图像不变，图像周围为空白画面，实现方法:插值法一线性插值、二次插值、三次插值，采样法：放大采样法的处理程序与缩小采样法程序完全相同。
本方案中，方案的工作流程为：当机器人运动到拍照点区域，其内部位置控制算法会利用高速IO信号触发相机，进行动态无停顿拍照，同时对实际拍照位置进行高速锁存，机器人末端的相机对初始化位置信息与当前相机回传的位置数据和机器人高速锁存位置进行比对，即可实现位置和姿态纠偏，步骤包括取料、纠偏、检测和放料；
请参阅图2所示，方案中前期对所拍摄区域范围位置记录，移动机器人到达拍摄点区域，正负方向范围在30mm，拍照范围预计在一个正方形中，移动机器人上的相机到达拍摄物体上方范围的四个顶点处，读取记录机器人编码器信息，机器人运动过程中实时读取机器人编码器的值，当判定机器人到达拍照区域内，即高速IO同时触发频闪控制器，控制光源的曝光和相机拍照，不同于传统的软触发方式，相机受机器人控制，保证了控制与算法的一致，相机在机器人末端安装，机器人运动过程中，视觉飞拍算法需要计算出物体的位姿偏差信息，并在机器人末端到达放置点之前，将位姿偏差信息发送给SCARA机器人，位姿纠偏算法为50ms左右，其算法的主要步骤分为：①.以标定板纠正像素畸变，自适应阈值分割提取当前拍摄物体的形状信息；②.通过仿射变换定位到统一视觉坐标系下；③.计算物体的旋转信息，并与初始位置做比较，计算像素偏移位置；④.像素偏移值转换为机器人坐标系下物体的偏移位置；
请参阅图3所示，将当前拍摄的物体做位置仿射变换，统一到同一个像素坐标(X,Y)处，再求取偏差角度a,这样做的目的在于，忽略因图像畸变造成的影响，提高求取姿态偏差角度a的准确度，再求取阈值区域的形态学中心，以基准物体的像素形态学中心求取位置X和Y的偏差，在这一过程中，需要高速IO触发频闪控制器触发光源，高曝光率保证了相机成像质量，同时触发相机，在运动过程中，根据视觉抓拍采集的产品像素位置变化，计算出机械坐标偏移量，将偏移量发送给运动控制器,及时修正处理，完善飞拍功能。
本方案产品采用SCARA机器人做搬运主体，借助其精准的定位功能和高速IO输出功能，可以有效提高重复定位精度；产品采用的高速频闪光源控制器受SCARA机器人位置控制，可以在瞬间提高曝光量，减小相机的抓拍响应时间，保证抓拍图像在合理的像素坐标系范围内；方案产品将SCARA机器人与相机控制结合在一起，相机抓拍图像受高速IO控制，保证相机抓拍时序的准确性；本方案图像算法采用自适应阈值分割技术，可以准确提取抓拍物体的形态学信息，以便高速高精度对物体的位姿偏移做矫正。
本方案中，SCARA机器人与视觉传感器相融合，实现了物品的搬运和有序摆放，验证了飞拍系统的准确性，方案系统的结构主要是四部分——上位机、摄像头以及频闪光源、SCARA机器人与抓取设备，上位机与摄像头是通过千兆网线连接，摄像头将拍到的照片传回到上位机，上位机通过算法计算出待搬运工件的位置坐标，然后将位姿偏差信息发送给SCARA机器人控制器，实现二次纠偏，SCARA机器人控制器通过多线程的方式实时读取SCARA轴编码器的位置，检测到拍摄物体进入方形区域内同时触发高速相机与频闪可控光源，图像处理算法在上位机内开辟一个线程，读取相机触发拍摄的图像，经图像处理算法结束后将位姿偏差结果回传给工业机器人。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.一种机器人视觉飞拍的运动控制方法，其特征在于：所述机器人视觉飞拍的运动控制方法，包括以下步骤：Step1：取料：SCARA 机器人从供料器上吸取物体，先运行到物体上
方取料；Step2：纠偏：机器人到达物体上方，高速相机触发光源，同时触发相机拍照；Step3：检测：根据相机纠偏原理实现物体位姿的纠正，并将信息反馈给机器人；Step4：放料：将物体当前位姿与纠偏位姿相加，将物体按照初始化位姿放进料盘。
2.根据权利要求1 所述的一种机器人视觉飞拍的运动控制方法，其特征在于，所述飞拍系统包括上位机、摄像头以及频闪光源、SCARA 机器人与抓取设备。
3.根据权利要求1 所述的一种机器人视觉飞拍的运动控制方法，其特征在于，所述Step2 中，机器人运动到拍照点区域，其内部位置控制算法利用高速IO 信号触发相机，进行动态无停顿拍照，同时对实际拍照位置进行高速锁存。
4.根据权利要求1 所述的一种机器人视觉飞拍的运动控制方法，其特征在于，所述Step3 中机器人末端的相机对初始化位置信息与当前相机回传的位置数据和机器人高速锁存位置进行比对，实现位置和姿态纠偏。
5.根据权利要求1 所述的一种机器人视觉飞拍的运动控制方法，其特征在于，所述Step2 中相机安装于机器人末端。
6.根据权利要求2 所述的一种机器人视觉飞拍的运动控制方法，其特征在于，所述上位机与摄像头通过千兆网线连接，所述摄像头将拍到的照片传回到上位机，所述上位机通过算法计算出待搬运工件的位置坐标，然后将位姿偏差信息发送给所述SCARA 机器人控制器，实现二次纠偏。
7.根据权利要求6 所述的一种机器人视觉飞拍的运动控制方法，其特征在于，所述SCARA 机器人控制器通过多线程的方式实时读取SCARA 轴编码器的位置，检测到拍摄物体进入方形区域内同时触发高速相机与频闪可控光源。
8.根据权利要求7 所述的一种机器人视觉飞拍的运动控制方法，其特征在于，所述图像处理算法在上位机内开辟一个线程，读取相机触发拍摄的图像，经图像处理算法结束后将位姿偏差结果回传给工业机器人。
9.根据权利要求8 所述的一种机器人视觉飞拍的运动控制方法，其特征在于，所述位姿纠偏算法为50ms，位姿纠偏算法的主要步骤分为：步骤一：以标定板纠正像素畸变，自适应阈值分割提取当前拍摄物体的形状信息；步骤二：通过仿射变换定位到统一视觉坐标系下；步骤三：计算物体的旋转信息，并与初始位置做比较，计算像素偏移位置；步骤四：像素偏移值转换为机器人坐标系下物体的偏移位置。
10.根据权利要求9 所述的一种机器人视觉飞拍的运动控制方法，其特征在于，所述视觉飞拍是眼在手上，手带着眼运动进行飞拍。
CN202110399470.XA 2021-04-14 2021-04-14 一种机器人视觉飞拍的运动控制方法 Active CN113103215B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110399470.XA CN113103215B (zh) 2021-04-14 2021-04-14 一种机器人视觉飞拍的运动控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110399470.XA CN113103215B (zh) 2021-04-14 2021-04-14 一种机器人视觉飞拍的运动控制方法

Publications (2)

Publication Number Publication Date
CN113103215A true CN113103215A (zh) 2021-07-13
CN113103215B CN113103215B (zh) 2023-06-27

Family

ID=76716678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110399470.XA Active CN113103215B (zh) 2021-04-14 2021-04-14 一种机器人视觉飞拍的运动控制方法

Country Status (1)

Country Link
CN (1) CN113103215B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113799140A (zh) * 2021-10-14 2021-12-17 友上智能科技(苏州)有限公司 一种应用在复合机器人上的飞行视觉定位取料方法
CN114500828A (zh) * 2021-12-24 2022-05-13 珠海博杰电子股份有限公司 一种基于位置锁存的点胶机Mark点高精度飞拍定位方法
CN114538088A (zh) * 2022-02-11 2022-05-27 珠海市运泰利自动化设备有限公司 基于飞拍的高速高精度取放料方法
CN114813567A (zh) * 2022-05-21 2022-07-29 上海贝特威自动化科技有限公司 一种基于stm32芯片的飞拍自动化视觉设备通用运动控制模块
CN116148186A (zh) * 2023-04-19 2023-05-23 高视科技(苏州)股份有限公司 极片飞拍纠偏方法、电子设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002185193A (ja) * 2000-12-11 2002-06-28 Yamaha Motor Co Ltd 電子部品の実装方法および表面実装機
CH700057A2 (de) * 2008-12-12 2010-06-15 Veltru Ag Verfahren und Vorrichtung zum Handhaben und Positionieren von Gegenständen.
CN101970171A (zh) * 2008-03-17 2011-02-09 本田技研工业株式会社 工件整列系统和工件移动方法
JP2011233947A (ja) * 2010-04-23 2011-11-17 Pasco Corp 航空写真撮影方法
JPWO2013027251A1 (ja) * 2011-08-19 2015-03-05 株式会社安川電機 ロボットシステム、ロボット制御装置、ロボットハンド及びロボットの制御方法
TWM558245U (zh) * 2017-12-15 2018-04-11 Gallant Micro Machining Co Ltd 全自動高速塡盤機
CN107901041A (zh) * 2017-12-15 2018-04-13 中南大学 一种基于图像混合矩的机器人视觉伺服控制方法
CN108155124A (zh) * 2017-12-25 2018-06-12 北京中电科电子装备有限公司 一种芯片贴装装置及方法
CN207738134U (zh) * 2017-12-19 2018-08-17 广州海新智能科技有限公司 一种自动化贴纸设备
CN209565975U (zh) * 2019-02-01 2019-11-01 宇晶机器（长沙）有限公司 翻转抛光机自动取放料装置
CN111376531A (zh) * 2020-05-08 2020-07-07 无锡鼎茂机械制造有限公司 基于机器视觉的制袋机定位系统及裁切方法
CN112605990A (zh) * 2020-12-04 2021-04-06 广东拓斯达科技股份有限公司 一种机器人视觉控制方法和系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002185193A (ja) * 2000-12-11 2002-06-28 Yamaha Motor Co Ltd 電子部品の実装方法および表面実装機
CN101970171A (zh) * 2008-03-17 2011-02-09 本田技研工业株式会社 工件整列系统和工件移动方法
CH700057A2 (de) * 2008-12-12 2010-06-15 Veltru Ag Verfahren und Vorrichtung zum Handhaben und Positionieren von Gegenständen.
JP2011233947A (ja) * 2010-04-23 2011-11-17 Pasco Corp 航空写真撮影方法
JPWO2013027251A1 (ja) * 2011-08-19 2015-03-05 株式会社安川電機 ロボットシステム、ロボット制御装置、ロボットハンド及びロボットの制御方法
TWM558245U (zh) * 2017-12-15 2018-04-11 Gallant Micro Machining Co Ltd 全自動高速塡盤機
CN107901041A (zh) * 2017-12-15 2018-04-13 中南大学 一种基于图像混合矩的机器人视觉伺服控制方法
CN207738134U (zh) * 2017-12-19 2018-08-17 广州海新智能科技有限公司 一种自动化贴纸设备
CN108155124A (zh) * 2017-12-25 2018-06-12 北京中电科电子装备有限公司 一种芯片贴装装置及方法
CN209565975U (zh) * 2019-02-01 2019-11-01 宇晶机器（长沙）有限公司 翻转抛光机自动取放料装置
CN111376531A (zh) * 2020-05-08 2020-07-07 无锡鼎茂机械制造有限公司 基于机器视觉的制袋机定位系统及裁切方法
CN112605990A (zh) * 2020-12-04 2021-04-06 广东拓斯达科技股份有限公司 一种机器人视觉控制方法和系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113799140A (zh) * 2021-10-14 2021-12-17 友上智能科技(苏州)有限公司 一种应用在复合机器人上的飞行视觉定位取料方法
CN114500828A (zh) * 2021-12-24 2022-05-13 珠海博杰电子股份有限公司 一种基于位置锁存的点胶机Mark点高精度飞拍定位方法
CN114500828B (zh) * 2021-12-24 2023-10-13 珠海博杰电子股份有限公司 一种基于位置锁存的点胶机Mark点高精度飞拍定位方法
CN114538088A (zh) * 2022-02-11 2022-05-27 珠海市运泰利自动化设备有限公司 基于飞拍的高速高精度取放料方法
CN114538088B (zh) * 2022-02-11 2024-02-13 珠海市运泰利自动化设备有限公司 基于飞拍的高速高精度取放料方法
CN114813567A (zh) * 2022-05-21 2022-07-29 上海贝特威自动化科技有限公司 一种基于stm32芯片的飞拍自动化视觉设备通用运动控制模块
CN116148186A (zh) * 2023-04-19 2023-05-23 高视科技(苏州)股份有限公司 极片飞拍纠偏方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN113103215B (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
CN113103215A (zh) 一种机器人视觉飞拍的运动控制方法
CN107618030B (zh) 基于视觉的机器人动态跟踪抓取方法及系统
CN106181162B (zh) 一种基于机器视觉的实时焊缝跟踪检测方法
CN108827154B (zh) 一种机器人无示教抓取方法、装置及计算机可读存储介质
CN107138432B (zh) 非刚性物体分拣方法和装置
CN110666805A (zh) 一种基于主动视觉的工业机器人分拣方法
WO2019228523A1 (zh) 物体空间位置形态的确定方法、装置、存储介质及机器人
WO2021228181A1 (zh) 一种3d打印方法和装置
US20220092330A1 (en) Image processing device, work robot, substrate inspection device, and specimen inspection device
CN111524115A (zh) 钢板切割件的定位方法和分拣系统
CN114758236A (zh) 一种非特定形状物体识别、定位与机械手抓取系统及方法
CN113103235B (zh) 一种基于rgb-d图像对柜体表面设备进行垂直操作的方法
CN112658643B (zh) 接插件装配方法
CN114155301A (zh) 一种基于Mask R-CNN和双目相机的机器人目标定位和抓取方法
JP3516067B2 (ja) デパレタイズ用画像作成方法および画像作成装置
CN110980276A (zh) 一种三维视觉配合机器人实施铸件自动下料的方法
CN114714365A (zh) 一种基于云平台的无序工件抓取方法及其系统
CN112001967A (zh) 相机指导机械手搬运物体的方法和装置
CN102780860A (zh) 一种线阵ccd图像扫描方法
CN113021391A (zh) 一种集成视觉机器人夹爪及其使用方法
TW201838400A (zh) 一種移動目標位置追蹤系統
CN109895086A (zh) 一种机器视觉的电梯门板抓举装置及方法
JP5223683B2 (ja) ワーク保持位置姿勢計測システムおよびワーク搬送システム
CN110533717A (zh) 一种基于双目视觉的目标抓取方法及装置
CN113500593B (zh) 一种抓取轴类工件指定部位进行上料的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant