CN110666801A - 一种复杂工件匹配定位的抓取工业机器人 - Google Patents
一种复杂工件匹配定位的抓取工业机器人 Download PDFInfo
- Publication number
- CN110666801A CN110666801A CN201911019908.6A CN201911019908A CN110666801A CN 110666801 A CN110666801 A CN 110666801A CN 201911019908 A CN201911019908 A CN 201911019908A CN 110666801 A CN110666801 A CN 110666801A
- Authority
- CN
- China
- Prior art keywords
- workpiece
- image
- industrial robot
- coordinate system
- circle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 11
- 230000001788 irregular Effects 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims abstract description 5
- 238000004891 communication Methods 0.000 claims description 25
- 230000007246 mechanism Effects 0.000 claims description 25
- 230000000007 visual effect Effects 0.000 claims description 23
- 238000005516 engineering process Methods 0.000 claims description 9
- 239000012636 effector Substances 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000012546 transfer Methods 0.000 abstract description 2
- 210000000707 wrist Anatomy 0.000 description 6
- 238000002955 isolation Methods 0.000 description 5
- 239000003638 chemical reducing agent Substances 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 231100000481 chemical toxicant Toxicity 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000003440 toxic substance Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
- B25J9/106—Programme-controlled manipulators characterised by positioning means for manipulator elements with articulated links
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
一种复杂工件匹配定位的抓取工业机器人，工业机器人控制系统包括示教器、运动控制器，操控系统包括工控机，RGB摄像机观测工件进入视野范围，在视野范围内的工件输送线的中间放置触发器，当工件触碰到触发器时，RGB摄像机捕捉图像，并把捕捉到的图像传递到工控机进行图像处理，对图像进行分析处理后会得到目标工件的形状及抓取位置信息，发送给工业机器人，然后工业机器人指定位置进行抓取，并且根据形状不同，目标工件也会被码垛在工件放置区的不同地方。对采集得到的图像进行分析处理，识别出目标工件的形状，得到目标工件的质心位置，对于不规则形状的复杂工件，使用对比匹配方法获取工件形状，质心定位并进行抓取。
Description
技术领域
本发明属于工业机器人领域，特别涉及一种复杂工件匹配定位的抓取工业机器人。
背景技术
随着当前工业自动化水平越来越高，在各行各业占有越来越重要的地位，它们能够娴熟、精准地执行多种复杂任务，这些任务由于环境或者其他因素的限制可能是人根本无法完成的。工业机器人的应用场景主要有汽车零部件制造和装配、机械自动化制造、有毒化工产品生产、标准流水线作业、高危环境设备安装、核辐射场地作业、极限环境作业等。
但是现有技术中缺少对复杂形状工件的定位和抓取。
发明内容
本发明要解决的技术问题是如何对复杂工件进行设别和抓取，对此本发明提供一种复杂工件匹配定位的抓取工业机器人，
本发明的技术方案为：一种复杂工件匹配定位的抓取工业机器人，包括工业机器人控制系统、传感器系统、操控系统、网络集成控制系统、视觉跟踪系统以及执行机构，传感器系统与工业机器人控制系统连接，
操控系统通过网络集成控制系统接收传感器系统和视觉跟踪系统的数据并向工业机器人控制系统发送控制指令，工业机器人控制系统控制执行机构，传感器系统安装在执行机构上，实时监控执行机构的位姿状态，传感器系统、视觉跟踪系统还与工业机器人控制系统连接用于实时反馈执行机构的工作状态以及监控周围环境，
其中，工业机器人控制系统包括示教器、运动控制器，
其中，操控系统包括工控机，
其中，视觉跟踪系统包括RGB摄像机、激光扫描仪、跟踪摄像机，射频收发射装置，
其中，传感器系统包括多个六轴传感器、光学传感器、运动传感器、霍尔电流传感器，
其中，执行机构包括机械部分和电力部分，
网络集成控制系统搜索局域网内存在的工业机器人并连接到相应的运动控制器，运行运动传感器并清零六轴传感器，运动传感器采集执行机构的末端执行器位姿信息来引导工业机器人的运动，并实时显示在示教器的屏幕上。
工业机器人通信分为两级：第一级通信是操控系统与工业机器人控制系统的通信，采用串行通信技术或者网络通讯技术；第二级通信是工业机器人控制系统与传感器系统、视觉跟踪系统之间的通信，采用工业现场总线通信技术。
RGB摄像机与工件输送线、工件放置区、执行机构构成了工业机器人抓取系统，RGB摄像机实时得到的图像信息经工控机的图像处理后获得目标工件的形状及位置信息，上位机发送控制信息，让工业机器人执行指定的抓取放置操作。
RGB摄像机观测工件进入视野范围，在视野范围内的工件输送线的中间放置触发器，当工件触碰到触发器时，RGB摄像机捕捉图像，并把捕捉到的图像传递到工控机进行图像处理，对图像进行分析处理后会得到目标工件的形状及抓取位置信息，发送给工业机器人，然后工业机器人指定位置进行抓取，并且根据形状不同，目标工件也会被码垛在工件放置区的不同地方。对采集得到的图像进行分析处理，识别出目标工件的形状，得到目标工件的质心位置，
对于不规则形状的复杂工件，使用对比匹配方法获取工件形状，质心定位并进行抓取。
本发明的有益效果：
(1)使用对比匹配方法实现对复杂的形状不规则工件的质心定位，抓取精度得到进一步提高；
(2)使用光耦隔离电路极大提高了硬件的可靠性；
(3)使用二级通信，实现了对工业机器人的灵活控制；
(4)执行机构使用平行四边形，增加了整个结构刚度，增加系统稳定性；。
附图说明
图1为本发明的工业机器人系统框图；
图2为本发明的执行机构的机械结构图；
图3为本发明的工业机器人抓取工作示意图；
图4为本发明的对比匹配定位流程图；
具体实施方式
下面结合附图对本发明作进一步的说明。
一种复杂工件匹配定位的抓取工业机器人，包括工业机器人控制系统、传感器系统、操控系统、网络集成控制系统、视觉跟踪系统以及执行机构，传感器系统与工业机器人控制系统连接，
操控系统通过网络集成控制系统接收传感器系统和视觉跟踪系统的数据并向工业机器人控制系统发送控制指令，工业机器人控制系统控制执行机构，传感器系统安装在执行机构上，实时监控执行机构的位姿状态，传感器系统、视觉跟踪系统还与工业机器人控制系统连接用于实时反馈执行机构的工作状态以及监控周围环境，
其中，工业机器人控制系统包括示教器、运动控制器，
其中，操控系统包括工控机，
其中，视觉跟踪系统包括RGB摄像机、激光扫描仪、跟踪摄像机，射频收发射装置，
其中，传感器系统包括多个六轴传感器、光学传感器、运动传感器、霍尔电流传感器，
其中，执行机构包括机械部分和电力部分，
网络集成控制系统搜索局域网内存在的工业机器人并连接到相应的运动控制器，运行运动传感器并清零六轴传感器，运动传感器采集执行机构的末端执行器位姿信息来引导工业机器人的运动，并实时显示在示教器的屏幕上。
工业机器人通信分为两级：第一级通信是操控系统与工业机器人控制系统的通信，采用串行通信技术或者网络通讯技术；第二级通信是工业机器人控制系统与传感器系统、视觉跟踪系统之间的通信，采用工业现场总线通信技术。
其中，机械部分包括底座、连接件、大臂、小臂、腕部、末端执行器以及旋转关节，旋转关节分别位于底座与连接件之间、连接件与大臂之间、大臂与小臂之间以及腕部与末端执行器之间，底座是承重基础部件，固定在地面或支架上，连接件是大臂的支撑部件，实现机器人的回转功能，连接件在底座上进行旋转，大臂是小臂的支撑部件，大臂的摆动改变末端执行器在水平方向上的行程，小臂的俯仰实现末端执行器在垂直方向上的位置变换，腕部的末端执行器旋转关节调整承载目标的旋转角度和位置。
底座的关节座与轴线垂直于地面的旋转关节联接，关节座安装在底座上，为大臂提供支撑，其上安装有大臂、小臂和保持腕部水平的连杆，大臂、小臂与连杆相互构成平行四边形，增加了整个臂部的刚度，通过串联平行四边形机构的叠加效应，满足腕部的易控性，腕部是法兰盘，根据用户的不同需要，在法兰盘上联接真空吸盘。
该结构增加整个臂部的刚度，平行四边形的相互作用，增加了整个机器人传动系统的刚度，减小了启动与急停情况下造成的机器人颤动，行程放大，减小系统惯量，节约成本，同时增加了系统的稳定性，搬运机器人利用“平行四边形”原理简化了机器人位姿的控制，降低了过程控制的难度，可以缩短机器人的工作周期和研发设计成本。
其中，电力部分包括编码器、解码电路、光耦隔离电路、永磁同步伺服电机(PMSM)、减速器以及智能功率控制模块(IPM)，霍尔电流传感器采集永磁同步伺服电机的U相和V相电流，反馈给运动控制器，编码器通过解码电路实时向运动控制器反馈永磁同步伺服电机实际位置，运动控制器通过串行总线接收目标位置信息，目标位置、实际位置和实际电流在运动控制器内做单轴逻辑控制，通过矢量控制的时序调度输出脉宽调制通过光耦隔离电路提供给智能功率控制模块并转换为功率控制信号，光耦隔离电路实现控制部分电路和功率部分电路完全隔离，极大提高了硬件的可靠性，智能功率控制模块驱动永磁同步伺服电机运转，永磁同步伺服电机输出轴与减速器，减速器与机械部分的旋转关节连接，减速器受运动控制器的控制，实现动作的精细化调整。
其中，RGB摄像机与工件输送线、工件放置区、执行机构构成了工业机器人抓取系统，RGB摄像机实时得到的图像信息经工控机的图像处理后获得目标工件的形状及位置信息，上位机发送控制信息，让工业机器人执行指定的抓取放置操作。
RGB摄像机观测工件进入视野范围，在视野范围内的工件输送线的中间放置触发器，当工件触碰到触发器时，RGB摄像机捕捉图像，并把捕捉到的图像传递到工控机进行图像处理，对图像进行分析处理后会得到目标工件的形状及抓取位置信息，发送给工业机器人，然后工业机器人指定位置进行抓取，并且根据形状不同，目标工件也会被码垛在工件放置区的不同地方。对采集得到的图像进行分析处理，识别出目标工件的形状，得到目标工件的质心位置。
其中，对于不规则形状的复杂工件，使用对比匹配方法获取工件形状，质心定位并进行抓取，具体过程如下：
步骤1，RGB摄像机标定，建立坐标系，
将世界坐标系经过平移和旋转得到RGB摄像机坐标系，然后将RGB摄像机坐标系经三角几何变换得到图像物理坐标系，根据像素和公制单位的比率得到图像像素坐标系。
步骤2，图像预处理
步骤2.1，平滑处理，
消除或抑制图像中的噪声，在平滑处理时用到通滤波器截止高频噪声信号，通过低频信号。
步骤2.2，图像二值化，
将彩色的RGB图像转换成灰度图像，再转换成黑白图像，二值化将像素点的灰度值设置为0和255，0表示黑色、255表示白色。
经过平滑处理后再二值化所得到的图像中几乎没有噪声，得到的图像中工件边缘清晰，方便后续的处理。
步骤3，形状识别，采用霍夫圆变换和霍夫链码进行工件形状的识别。
其中，霍夫圆变换具体为：
步骤3A.1，对输入图像进行边缘检测，获取边界点，对图像进行边缘检测处理；
步骤3A.2，进行坐标变换，将圆形在平面坐标系中的方程变换成参数方程，即由x-y坐标系转换到a-b坐标系，圆形的方程可表示为(a-x)2+(b-y)2＝r2，x-y坐标系中圆形边界上的一点(x0，y0)对应到a-b坐标系中即为一个圆，其中，a、b：圆心坐标，r：半径范围。
步骤3A.3，x-y坐标系中一个圆形边界上有多个点，在a-b坐标系中对应多个圆，在x-y坐标系中这些点都在同一个圆形上，则(a-x)2+(b-y)2＝r2中的a、b满足a-b坐标系中的圆形的方程式，x-y坐标系中圆形边界上的许多点在x-y坐标系中相对应的圆都会相交于一点，交点的坐标即为圆心(a，b)；
步骤3A.4，统计局部交点处圆的个数，取每一个局部最大值，获得原图像中对应的圆形的圆心坐标(a，b)，一旦在某一个r下面检测到圆，r值确定，从而确定圆的a、b、r值，即确定了圆形参数。
其中步骤3的霍夫链码识别步骤为：
步骤3B.1，基于工件的个数把图像分割成多块，即按照每个工件的外接正矩形进行分割；
步骤3B.2，使用霍夫变换检测直线，并得到每条直线的方程；
步骤3B.3，根据直线方程，计算直线的交点，并判断交点是否在分割后得到的图像内，如果在则该点为工件的顶点，计算得到这两条直线的夹角；如果不在，该交点不是工件的顶点，忽略该交点；
步骤3B.4，将计算得到的夹角作为参数构成链码；
步骤3B.5，将获得的链码与模板链码相匹配，根据匹配的结果实现对工件的形状识别。
其中，步骤3B.2的霍夫变换检测直线具体过程如下：
建立在笛卡尔坐标系，生成一条直线：y＝kx+b，k：斜率，b：斜距，相应的在极坐标系中表示为ρ＝x cos θ+y sin θ，其中，ρ：原点到这条直线的距离，θ：直线的垂直线与x轴的夹角，对于直线上的给定点(x0，y0)，每一对(ρ，θ)代表一条通过点(x0，y0)的直线，在极坐标系中画出所有通过点(x0，y0)的直线，得到一条正弦曲线，对同一条直线上的不同点画在极坐标系中，得到的正弦曲线将会在ρ-θ平面中相交，相交点的曲线个数越多，则该直线由越多的点组成，则通过设置曲线的阈值来判别是否检测到直线；
步骤4，工件定位，
步骤4.1，把图像基于工件分割成多个目标块；
步骤4.2，求取目标块边缘上的角点；
步骤4.3，对每个目标块的所有角点求取x轴和y轴方向的最小坐标值imin，jmin、最大坐标值imax，jmax；
步骤4.4，分块结束后考虑到计算时会出现一定的误差，所以为了得到的结果更准确，把x和y轴坐标范围扩大5个像素，使工件能够完全在目标块内，第N个目标块的x轴坐标范围为iN∈(imin+5，imax+5)，y轴坐标范围为jN∈(jmin+5，jmax+5)，
计算一阶y轴惯性矩M10、一阶x轴惯性矩M01以及零阶矩M00；
f(i，j)为目标块的像素质量，
则工件的质心坐标为
该算法简单有效，且可以适用于任意形状。
步骤5，目标工件抓取，
触发器设置在RGB摄像机视野横轴的中心处，每个工件经过触发器时RGB摄像机才获取图像，接触到触发器的工件作为每一张图像的目标工件，该目标工件处于图像横轴中间偏左侧，并将目标工件及其质心标记出来，在得到了目标工件的形状、在图像像素坐标系下的质心位置、获得图像时的质心在参考坐标系下的位置坐标及在参考坐标系中对目标工件进行抓取时的位置坐标后，进行抓取。
以上所述实施方式仅表达了本发明的一种实施方式，但并不能因此而理解为对本发明范围的限制。应当指出，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (10)
1.一种复杂工件匹配定位的抓取工业机器人，包括工业机器人控制系统、传感器系统、操控系统、网络集成控制系统、视觉跟踪系统以及执行机构，传感器系统与工业机器人控制系统连接，工业机器人控制系统包括示教器、运动控制器，操控系统包括工控机，视觉跟踪系统包括RGB摄像机、激光扫描仪、跟踪摄像机，射频收发射装置，传感器系统包括多个六轴传感器、光学传感器、运动传感器、霍尔电流传感器，执行机构包括机械部分和电力部分，RGB摄像机与工件输送线、工件放置区、执行机构构成了工业机器人抓取系统，RGB摄像机实时得到的图像信息经工控机的图像处理后获得目标工件的形状及位置信息，上位机发送控制信息，让工业机器人执行指定的抓取放置操作。
RGB摄像机观测工件进入视野范围，在视野范围内的工件输送线的中间放置触发器，当工件触碰到触发器时，RGB摄像机捕捉图像，并把捕捉到的图像传递到工控机进行图像处理，对图像进行分析处理后会得到目标工件的形状及抓取位置信息，发送给工业机器人，然后工业机器人指定位置进行抓取，并且根据形状不同，目标工件也会被码垛在工件放置区的不同地方。对采集得到的图像进行分析处理，识别出目标工件的形状，得到目标工件的质心位置，对于不规则形状的复杂工件，使用对比匹配方法获取工件形状，质心定位并进行抓取。
2.根据权利要求1所述的一种复杂工件匹配定位的抓取工业机器人，其特征在于使用对比匹配方法获取工件形状，质心定位并进行抓取的具体过程如下：
步骤1，RGB摄像机标定，建立坐标系，将世界坐标系经过平移和旋转得到RGB摄像机坐标系，然后将RGB摄像机坐标系经三角几何变换得到图像物理坐标系，根据像素和公制单位的比率得到图像像素坐标系。
步骤2，图像预处理；
步骤3，形状识别，采用霍夫圆变换和霍夫链码进行工件形状的识别；
步骤4，工件定位；
步骤5，目标工件抓取。
3.根据权利要求2所述的一种复杂工件匹配定位的抓取工业机器人，其特征在于步骤2具体为：
步骤2.1，平滑处理，消除或抑制图像中的噪声，在平滑处理时用到通滤波器截止高频噪声信号，通过低频信号；
步骤2.2，图像二值化，将彩色的RGB图像转换成灰度图像，再转换成黑白图像，二值化将像素点的灰度值设置为0和255，0表示黑色、255表示白色。
4.根据权利要求2所述的一种复杂工件匹配定位的抓取工业机器人，其特征在于霍夫圆变换具体为：
步骤3A.1，对输入图像进行边缘检测，获取边界点，对图像进行边缘检测处理；
步骤3A.2，进行坐标变换，将圆形在平面坐标系中的方程变换成参数方程，即由x-y坐标系转换到a-b坐标系，圆形的方程可表示为(a-x)2+(b-y)2＝r2，x-y坐标系中圆形边界上的一点(x0,y0)对应到a-b坐标系中即为一个圆，其中，a、b：圆心坐标，r：半径范围。
步骤3A.3，x-y坐标系中一个圆形边界上有多个点，在a-b坐标系中对应多个圆，在x-y坐标系中这些点都在同一个圆形上，则(a-x)2+(b-y)2＝r2中的a、b满足a-b坐标系中的圆形的方程式，x-y坐标系中圆形边界上的许多点在x-y坐标系中相对应的圆都会相交于一点，交点的坐标即为圆心(a,b)；
步骤3A.4，统计局部交点处圆的个数，取每一个局部最大值，获得原图像中对应的圆形的圆心坐标(a,b)，一旦在某一个r下面检测到圆，r值确定，从而确定圆的a、b、r值，即确定了圆形参数。
5.根据权利要求2所述的一种复杂工件匹配定位的抓取工业机器人，其特征在于步骤3的霍夫链码识别步骤为：
步骤3B.1，基于工件的个数把图像分割成多块，即按照每个工件的外接正矩形进行分割；
步骤3B.2,使用霍夫变换检测直线，并得到每条直线的方程；
步骤3B.3,根据直线方程，计算直线的交点，并判断交点是否在分割后得到的图像内，如果在则该点为工件的顶点，计算得到这两条直线的夹角；如果不在，该交点不是工件的顶点，忽略该交点；
步骤3B.4,将计算得到的夹角作为参数构成链码；
步骤3B.5,将获得的链码与模板链码相匹配，根据匹配的结果实现对工件的形状识别。
6.根据权利要求5所述的一种复杂工件匹配定位的抓取工业机器人，其特征在于步骤3B.2的霍夫变换检测直线具体过程如下:
建立在笛卡尔坐标系，生成一条直线：y＝kx+b，k：斜率，b：斜距，相应的在极坐标系中表示为ρ＝xcosθ+ysinθ，其中，ρ：原点到这条直线的距离，θ：直线的垂直线与x轴的夹角，对于直线上的给定点(x0,y0)，每一对(ρ,θ)代表一条通过点(x0,y0)的直线，在极坐标系中画出所有通过点(x0,y0)的直线，得到一条正弦曲线，对同一条直线上的不同点画在极坐标系中，得到的正弦曲线将会在ρ-θ平面中相交，相交点的曲线个数越多，则该直线由越多的点组成，则通过设置曲线的阈值来判别是否检测到直线。
7.根据权利要求2所述的一种复杂工件匹配定位的抓取工业机器人，其特征在于步骤4具体为：
步骤4.1，把图像基于工件分割成多个目标块；
步骤4.2，求取目标块边缘上的角点；
步骤4.3，对每个目标块的所有角点求取x轴和y轴方向的最小坐标值imin，jmin、最大坐标值imax，jmax；
步骤4.4，分块结束后考虑到计算时会出现一定的误差，所以为了得到的结果更准确，把x和y轴坐标范围扩大5个像素，使工件能够完全在目标块内，第N个目标块的x轴坐标范围为iN∈(imin+5,imax+5)，y轴坐标范围为jN∈(jmin+5,jmax+5)，计算一阶y轴惯性矩M10、一阶x轴惯性矩M01以及零阶矩M00；
f(i,j)为目标块的像素质量，则工件的质心坐标为
8.根据权利要求1所述的一种复杂工件匹配定位的抓取工业机器人，其特征在于步骤5具体为：触发器设置在RGB摄像机视野横轴的中心处，每个工件经过触发器时RGB摄像机才获取图像，接触到触发器的工件作为每一张图像的目标工件，该目标工件处于图像横轴中间偏左侧，并将目标工件及其质心标记出来，在得到了目标工件的形状、在图像像素坐标系下的质心位置、获得图像时的质心在参考坐标系下的位置坐标及在参考坐标系中对目标工件进行抓取时的位置坐标后，进行抓取。
9.根据权利要求1所述的一种复杂工件匹配定位的抓取工业机器人，其特征在于：操控系统通过网络集成控制系统接收传感器系统和视觉跟踪系统的数据并向工业机器人控制系统发送控制指令，工业机器人控制系统控制执行机构，传感器系统安装在执行机构上，实时监控执行机构的位姿状态，传感器系统、视觉跟踪系统还与工业机器人控制系统连接用于实时反馈执行机构的工作状态以及监控周围环境。
10.根据权利要求1所述的一种复杂工件匹配定位的抓取工业机器人，其特征在于网络集成控制系统搜索局域网内存在的工业机器人并连接到相应的运动控制器，运行运动传感器并清零六轴传感器，运动传感器采集执行机构的末端执行器位姿信息来引导工业机器人的运动，并实时显示在示教器的屏幕上，
工业机器人通信分为两级：第一级通信是操控系统与工业机器人控制系统的通信，采用串行通信技术或者网络通讯技术；第二级通信是工业机器人控制系统与传感器系统、视觉跟踪系统之间的通信，采用工业现场总线通信技术。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2018113204999 | 2018-11-07 | ||
| CN201811320499 | 2018-11-07 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110666801A true CN110666801A (zh) | 2020-01-10 |
Family
ID=69084071
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911019908.6A Pending CN110666801A (zh) | 2018-11-07 | 2019-10-24 | 一种复杂工件匹配定位的抓取工业机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110666801A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111251302A (zh) * | 2020-03-10 | 2020-06-09 | 三一机器人科技有限公司 | 基于视觉系统的工件抓取方法及装置 |
| CN111452038A (zh) * | 2020-03-03 | 2020-07-28 | 重庆大学 | 一种高精度工件组件及高精度工件组件的装配方法 |
| CN111618863A (zh) * | 2020-06-24 | 2020-09-04 | 辽宁工业大学 | 一种四轴工业码垛机器人及其控制方法 |
| CN112198840A (zh) * | 2020-08-11 | 2021-01-08 | 北京如影智能科技有限公司 | 一种机器人任务调度方法及装置 |
| CN112338363A (zh) * | 2020-10-12 | 2021-02-09 | 中兴盛达电气技术（郑州）有限公司 | 基于图像重心确认的激光切割机分拣定位方法 |
| CN112720408A (zh) * | 2020-12-22 | 2021-04-30 | 江苏理工学院 | 一种全地形机器人视觉导航控制方法 |
| CN113146658A (zh) * | 2021-05-12 | 2021-07-23 | 福建渃博特自动化设备有限公司 | 一种机器人自动沉孔方法 |
| CN113269835A (zh) * | 2021-07-19 | 2021-08-17 | 季华实验室 | 基于轮廓特征的工业零件位姿识别方法、装置和电子设备 |
| CN113954072A (zh) * | 2021-11-05 | 2022-01-21 | 中国矿业大学 | 一种视觉引导的木门工件智能识别定位系统及方法 |
| CN116071361A (zh) * | 2023-03-20 | 2023-05-05 | 深圳思谋信息科技有限公司 | 针对工件的视觉定位方法、装置、计算机设备和存储介质 |
| CN117260003A (zh) * | 2023-11-21 | 2023-12-22 | 北京北汽李尔汽车系统有限公司 | 一种汽车座椅骨架自动摆件打钢刻码方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1721144A (zh) * | 2004-07-13 | 2006-01-18 | 中国科学院自动化研究所 | 一种基于物体表面颜色的快速跟踪方法与装置 |
| CN103895042A (zh) * | 2014-02-28 | 2014-07-02 | 华南理工大学 | 一种基于视觉引导的工业机器人工件定位抓取方法及系统 |
| CN104058260A (zh) * | 2013-09-27 | 2014-09-24 | 沈阳工业大学 | 基于视觉处理的机器人自动码垛方法 |
| CN106934813A (zh) * | 2015-12-31 | 2017-07-07 | 沈阳高精数控智能技术股份有限公司 | 一种基于视觉定位的工业机器人工件抓取实现方法 |
| CN107192331A (zh) * | 2017-06-20 | 2017-09-22 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于双目视觉的工件抓取方法 |
| CN107738255A (zh) * | 2017-09-26 | 2018-02-27 | 山东工商学院 | 机械臂及基于Leap Motion的机械臂控制方法 |
-
2019
- 2019-10-24 CN CN201911019908.6A patent/CN110666801A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1721144A (zh) * | 2004-07-13 | 2006-01-18 | 中国科学院自动化研究所 | 一种基于物体表面颜色的快速跟踪方法与装置 |
| CN104058260A (zh) * | 2013-09-27 | 2014-09-24 | 沈阳工业大学 | 基于视觉处理的机器人自动码垛方法 |
| CN103895042A (zh) * | 2014-02-28 | 2014-07-02 | 华南理工大学 | 一种基于视觉引导的工业机器人工件定位抓取方法及系统 |
| CN106934813A (zh) * | 2015-12-31 | 2017-07-07 | 沈阳高精数控智能技术股份有限公司 | 一种基于视觉定位的工业机器人工件抓取实现方法 |
| CN107192331A (zh) * | 2017-06-20 | 2017-09-22 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于双目视觉的工件抓取方法 |
| CN107738255A (zh) * | 2017-09-26 | 2018-02-27 | 山东工商学院 | 机械臂及基于Leap Motion的机械臂控制方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘雷: "基于FPGA的六轴工业机器人伺服系统设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 卢冠男: "基于机器视觉的工业机器人抓取系统的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111452038A (zh) * | 2020-03-03 | 2020-07-28 | 重庆大学 | 一种高精度工件组件及高精度工件组件的装配方法 |
| CN111251302B (zh) * | 2020-03-10 | 2021-12-17 | 三一机器人科技有限公司 | 基于视觉系统的工件抓取方法及装置 |
| CN111251302A (zh) * | 2020-03-10 | 2020-06-09 | 三一机器人科技有限公司 | 基于视觉系统的工件抓取方法及装置 |
| CN111618863A (zh) * | 2020-06-24 | 2020-09-04 | 辽宁工业大学 | 一种四轴工业码垛机器人及其控制方法 |
| CN112198840A (zh) * | 2020-08-11 | 2021-01-08 | 北京如影智能科技有限公司 | 一种机器人任务调度方法及装置 |
| CN112338363A (zh) * | 2020-10-12 | 2021-02-09 | 中兴盛达电气技术（郑州）有限公司 | 基于图像重心确认的激光切割机分拣定位方法 |
| CN112720408A (zh) * | 2020-12-22 | 2021-04-30 | 江苏理工学院 | 一种全地形机器人视觉导航控制方法 |
| CN112720408B (zh) * | 2020-12-22 | 2022-07-08 | 江苏理工学院 | 一种全地形机器人视觉导航控制方法 |
| CN113146658A (zh) * | 2021-05-12 | 2021-07-23 | 福建渃博特自动化设备有限公司 | 一种机器人自动沉孔方法 |
| CN113269835A (zh) * | 2021-07-19 | 2021-08-17 | 季华实验室 | 基于轮廓特征的工业零件位姿识别方法、装置和电子设备 |
| CN113954072A (zh) * | 2021-11-05 | 2022-01-21 | 中国矿业大学 | 一种视觉引导的木门工件智能识别定位系统及方法 |
| CN113954072B (zh) * | 2021-11-05 | 2024-05-28 | 中国矿业大学 | 一种视觉引导的木门工件智能识别定位系统及方法 |
| CN116071361A (zh) * | 2023-03-20 | 2023-05-05 | 深圳思谋信息科技有限公司 | 针对工件的视觉定位方法、装置、计算机设备和存储介质 |
| CN117260003A (zh) * | 2023-11-21 | 2023-12-22 | 北京北汽李尔汽车系统有限公司 | 一种汽车座椅骨架自动摆件打钢刻码方法及系统 |
| CN117260003B (zh) * | 2023-11-21 | 2024-03-19 | 北京北汽李尔汽车系统有限公司 | 一种汽车座椅骨架自动摆件打钢刻码方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110666801A (zh) | 一种复杂工件匹配定位的抓取工业机器人 | |
| CN111791239B (zh) | 一种结合三维视觉识别可实现精确抓取的方法 | |
| CN111462154B (zh) | 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人 | |
| CN105729468B (zh) | 一种基于多深度摄像机增强的机器人工作台 | |
| Chen et al. | Applying a 6-axis mechanical arm combine with computer vision to the research of object recognition in plane inspection | |
| CN110480637B (zh) | 一种基于Kinect传感器的机械臂零件图像识别抓取方法 | |
| CN108182689A (zh) | 应用于机器人搬运打磨领域的板状工件三维识别定位方法 | |
| CN110640741A (zh) | 一种规则形状工件匹配的抓取工业机器人 | |
| CN105217324A (zh) | 一种新型的拆垛方法和系统 | |
| CN113538459B (zh) | 一种基于落点区域检测的多模式抓取避障检测优化方法 | |
| Djajadi et al. | A model vision of sorting system application using robotic manipulator | |
| CN112926503B (zh) | 一种基于矩形拟合的抓取数据集自动生成方法 | |
| Hsu et al. | Development of a faster classification system for metal parts using machine vision under different lighting environments | |
| CN117841041B (zh) | 基于多臂协同的机械臂组合装置 | |
| Jia et al. | Real-time color-based sorting robotic arm system | |
| CN110640744A (zh) | 一种电机模糊控制的工业机器人 | |
| CN110640743A (zh) | 一种具有视觉跟踪的单目工业机器人 | |
| Gao et al. | An automatic assembling system for sealing rings based on machine vision | |
| CN110640739A (zh) | 一种具有中心位置识别的抓取工业机器人 | |
| Reddy et al. | Integration of robotic arm with vision system | |
| Lin et al. | Vision based object grasping of industrial manipulator | |
| Fan et al. | An automatic robot unstacking system based on binocular stereo vision | |
| Funakubo et al. | Recognition and handling of clothes with different pattern by dual hand-eyes robotic system | |
| CN109814124A (zh) | 一种基于结构光3d传感器的机器人定位系统和方法 | |
| Yin et al. | Research on robot control technology based on vision localization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200729 Address after: Room 1207, building 8, block B, R & D Park, Ningbo, Zhejiang Province, 315000 Applicant after: Zhang Huanhuan Address before: 315000 room 014, floor 3, building 2, No.128, Jingyuan Road, hi tech Zone, Ningbo City, Zhejiang Province Applicant before: NINGBO SAILANG TECHNOLOGY Co.,Ltd. |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200110 |