CN110640739A - 一种具有中心位置识别的抓取工业机器人 - Google Patents
一种具有中心位置识别的抓取工业机器人 Download PDFInfo
- Publication number
- CN110640739A CN110640739A CN201911019391.0A CN201911019391A CN110640739A CN 110640739 A CN110640739 A CN 110640739A CN 201911019391 A CN201911019391 A CN 201911019391A CN 110640739 A CN110640739 A CN 110640739A
- Authority
- CN
- China
- Prior art keywords
- workpiece
- industrial robot
- image
- control system
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007246 mechanism Effects 0.000 claims abstract description 28
- 230000000007 visual effect Effects 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 11
- 230000003287 optical effect Effects 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 9
- 235000002566 Capsicum Nutrition 0.000 claims abstract description 4
- 239000006002 Pepper Substances 0.000 claims abstract description 4
- 235000016761 Piper aduncum Nutrition 0.000 claims abstract description 4
- 235000017804 Piper guineense Nutrition 0.000 claims abstract description 4
- 235000008184 Piper nigrum Nutrition 0.000 claims abstract description 4
- 230000002708 enhancing effect Effects 0.000 claims abstract description 4
- 238000013139 quantization Methods 0.000 claims abstract description 4
- 150000003839 salts Chemical class 0.000 claims abstract description 4
- 238000003709 image segmentation Methods 0.000 claims abstract description 3
- 244000203593 Piper nigrum Species 0.000 claims abstract 2
- 238000004891 communication Methods 0.000 claims description 25
- 239000012636 effector Substances 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 12
- 210000000707 wrist Anatomy 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 238000005314 correlation function Methods 0.000 claims description 6
- 238000005260 corrosion Methods 0.000 claims description 4
- 230000007797 corrosion Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 2
- 238000005316 response function Methods 0.000 claims description 2
- 238000002955 isolation Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 239000003638 chemical reducing agent Substances 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 241000722363 Piper Species 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 231100000481 chemical toxicant Toxicity 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000003440 toxic substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
- B25J9/106—Programme-controlled manipulators characterised by positioning means for manipulator elements with articulated links
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
一种具有中心位置识别的抓取工业机器人，包括工业机器人控制系统、传感器系统、操控系统、网络集成控制系统、视觉跟踪系统以及执行机构，传感器系统与工业机器人控制系统连接，使用图像处理获取工件中心位置的具体过程如下：步骤1，获取工件输送线和工件的原始图像，RGB摄像机的镜头光轴与工件输送线保持平行；步骤2，图像增强，对原始图像中的RGB值分别进行滤波去噪。对原始图像的进行滤波去噪，噪声包括设备噪声、椒盐噪声、量化噪声；步骤3，图像分割，获取工件目标图像；步骤4，图像去噪；步骤5，获取工件目标的中心位置。
Description
技术领域
本发明属于工业机器人领域，特别涉及一种具有中心位置识别的抓取工业机器人。
背景技术
随着当前工业自动化水平越来越高,在各行各业占有越来越重要的地位,它们能够娴熟、精准地执行多种复杂任务,这些任务由于环境或者其他因素的限制可能是人根本无法完成的。工业机器人的应用场景主要有汽车零部件制造和装配、机械自动化制造、有毒化工产品生产、标准流水线作业、高危环境设备安装、核辐射场地作业、极限环境作业等。
现有技术中缺少对工件中心的位置有效识别和定位。
发明内容
本发明要解决的技术问题是如何有效识别工件中心位置，对此本发明提供一种具有中心位置识别的抓取工业机器人，
本发明的技术方案为：一种具有中心位置识别的抓取工业机器人，包括工业机器人控制系统、传感器系统、操控系统、网络集成控制系统、视觉跟踪系统以及执行机构，传感器系统与工业机器人控制系统连接，
操控系统通过网络集成控制系统接收传感器系统和视觉跟踪系统的数据并向工业机器人控制系统发送控制指令，工业机器人控制系统控制执行机构，传感器系统安装在执行机构上，实时监控执行机构的位姿状态，传感器系统、视觉跟踪系统还与工业机器人控制系统连接用于实时反馈执行机构的工作状态以及监控周围环境，
其中，工业机器人控制系统包括示教器、运动控制器，
其中，操控系统包括工控机，
其中，视觉跟踪系统包括RGB摄像机、激光扫描仪、跟踪摄像机，射频收发射装置，
其中，传感器系统包括多个六轴传感器、光学传感器、运动传感器、霍尔电流传感器，
其中，执行机构包括机械部分和电力部分，
网络集成控制系统搜索局域网内存在的工业机器人并连接到相应的运动控制器，运行运动传感器并清零六轴传感器，运动传感器采集执行机构的末端执行器位姿信息来引导工业机器人的运动，并实时显示在示教器的屏幕上。
工业机器人通信分为两级：第一级通信是操控系统与工业机器人控制系统的通信，采用串行通信技术或者网络通讯技术；第二级通信是工业机器人控制系统与传感器系统、视觉跟踪系统之间的通信，采用工业现场总线通信技术。
其中，RGB摄像机与工件输送线、工件放置区、执行机构构成了工业机器人抓取系统，RGB摄像机实时得到的图像信息经工控机的图像处理后获得目标工件的形状及位置信息，上位机发送控制信息，让工业机器人执行指定的抓取放置操作。
RGB摄像机观测工件进入视野范围，在视野范围内的工件输送线的中间放置触发器，当工件触碰到触发器时，RGB摄像机捕捉图像，并把捕捉到的图像传递到工控机进行图像处理，对图像进行分析处理后会得到目标工件的形状及抓取位置信息，发送给工业机器人，然后工业机器人指定位置进行抓取，并且根据形状不同，目标工件也会被码垛在工件放置区的不同地方。对采集得到的图像进行分析处理，识别出目标工件的形状，得到目标工件的中心位置。
其中，使用图像处理获取工件中心位置的具体过程如下：
步骤1，获取工件输送线和工件的原始图像，RGB摄像机的镜头光轴与工件输送线保持平行；
步骤2，图像增强，对原始图像中的RGB值分别进行滤波去噪。对原始图像的进行滤波去噪，噪声包括设备噪声、椒盐噪声、量化噪声；
步骤,3，图像分割，获取工件目标图像；
步骤4，图像去噪；
步骤5，获取工件目标的中心位置。
本发明的有益效果：
(1)使用颜色空间函数区分工件和输送线，并准确定位工件的中心位置，实现对工件的准确抓取；
(2)使用光耦隔离电路极大提高了硬件的可靠性；
(3)使用二级通信,实现了对工业机器人的灵活控制；
(4)执行机构使用平行四边形，增加了整个结构刚度,增加系统稳定性；
(5)使用对比匹配方法实现对复杂的形状不规则工件的质心定位，抓取精度得到进一步提高；
附图说明
图1为本发明的工业机器人系统框图；
图2为本发明的执行机构的机械结构图；
图3为本发明的工业机器人抓取工作示意图；
图4为本发明的工件中心位置获取流程图；
具体实施方式
下面结合附图对本发明作进一步的说明。
一种具有中心位置识别的抓取工业机器人，包括工业机器人控制系统、传感器系统、操控系统、网络集成控制系统、视觉跟踪系统以及执行机构，传感器系统与工业机器人控制系统连接，
操控系统通过网络集成控制系统接收传感器系统和视觉跟踪系统的数据并向工业机器人控制系统发送控制指令，工业机器人控制系统控制执行机构，传感器系统安装在执行机构上，实时监控执行机构的位姿状态，传感器系统、视觉跟踪系统还与工业机器人控制系统连接用于实时反馈执行机构的工作状态以及监控周围环境，
其中，工业机器人控制系统包括示教器、运动控制器，
其中，操控系统包括工控机，
其中，视觉跟踪系统包括RGB摄像机、激光扫描仪、跟踪摄像机，射频收发射装置，
其中，传感器系统包括多个六轴传感器、光学传感器、运动传感器、霍尔电流传感器，
其中，执行机构包括机械部分和电力部分，
网络集成控制系统搜索局域网内存在的工业机器人并连接到相应的运动控制器，运行运动传感器并清零六轴传感器，运动传感器采集执行机构的末端执行器位姿信息来引导工业机器人的运动，并实时显示在示教器的屏幕上。
工业机器人通信分为两级：第一级通信是操控系统与工业机器人控制系统的通信，采用串行通信技术或者网络通讯技术；第二级通信是工业机器人控制系统与传感器系统、视觉跟踪系统之间的通信，采用工业现场总线通信技术。
其中，机械部分包括底座、连接件、大臂、小臂、腕部、末端执行器以及旋转关节，旋转关节分别位于底座与连接件之间、连接件与大臂之间、大臂与小臂之间以及腕部与末端执行器之间，底座是承重基础部件，固定在地面或支架上，连接件是大臂的支撑部件，实现机器人的回转功能，连接件在底座上进行旋转，大臂是小臂的支撑部件，大臂的摆动改变末端执行器在水平方向上的行程，小臂的俯仰实现末端执行器在垂直方向上的位置变换，腕部的末端执行器旋转关节调整承载目标的旋转角度和位置。
底座的关节座与轴线垂直于地面的旋转关节联接，关节座安装在底座上，为大臂提供支撑，其上安装有大臂、小臂和保持腕部水平的连杆，大臂、小臂与连杆相互构成平行四边形，增加了整个臂部的刚度，通过串联平行四边形机构的叠加效应,满足腕部的易控性，腕部是法兰盘，根据用户的不同需要，在法兰盘上联接真空吸盘。
该结构增加整个臂部的刚度，平行四边形的相互作用,增加了整个机器人传动系统的刚度,减小了启动与急停情况下造成的机器人颤动，行程放大，减小系统惯量，节约成本，同时增加了系统的稳定性，搬运机器人利用“平行四边形”原理简化了机器人位姿的控制,降低了过程控制的难度,可以缩短机器人的工作周期和研发设计成本。
其中，电力部分包括编码器、解码电路、光耦隔离电路、永磁同步伺服电机(PMSM)、减速器以及智能功率控制模块(I PM)，霍尔电流传感器采集永磁同步伺服电机的U相和V相电流，反馈给运动控制器，编码器通过解码电路实时向运动控制器反馈永磁同步伺服电机实际位置，运动控制器通过串行总线接收目标位置信息，目标位置、实际位置和实际电流在运动控制器内做单轴逻辑控制，通过矢量控制的时序调度输出脉宽调制通过光耦隔离电路提供给智能功率控制模块并转换为功率控制信号，光耦隔离电路实现控制部分电路和功率部分电路完全隔离，极大提高了硬件的可靠性，智能功率控制模块驱动永磁同步伺服电机运转，永磁同步伺服电机输出轴与减速器，减速器与机械部分的旋转关节连接，减速器受运动控制器的控制，实现动作的精细化调整。
其中，RGB摄像机与工件输送线、工件放置区、执行机构构成了工业机器人抓取系统，RGB摄像机实时得到的图像信息经工控机的图像处理后获得目标工件的形状及位置信息，上位机发送控制信息，让工业机器人执行指定的抓取放置操作。
RGB摄像机观测工件进入视野范围，在视野范围内的工件输送线的中间放置触发器，当工件触碰到触发器时，RGB摄像机捕捉图像，并把捕捉到的图像传递到工控机进行图像处理，对图像进行分析处理后会得到目标工件的形状及抓取位置信息，发送给工业机器人，然后工业机器人指定位置进行抓取，并且根据形状不同，目标工件也会被码垛在工件放置区的不同地方。对采集得到的图像进行分析处理，识别出目标工件的形状，得到目标工件的中心位置或质心位置。
其中，使用图像处理获取工件中心位置的具体过程如下：
步骤1，获取工件输送线和工件的原始图像，RGB摄像机的镜头光轴与工件输送线保持平行；
步骤2，图像增强，对原始图像中的RGB值分别进行滤波去噪。对原始图像的进行滤波去噪，噪声包括设备噪声、椒盐噪声、量化噪声，噪声的滤波过程如下式所示：
其中，以原始图像的中心为原点建立直角坐标系x-0-y，fR(x,y)、fG(x,y)、fB(x,y)分别为原始图像中位于坐标(x,y)的像素的R、G、B值函数，其中x＝(0,1,……255),y∈(0,1,……255)，而FR(x,y)、FG(x,y)、FB(x,y)为滤波后的R、G、B值函数，N×N为表示截取的窗口的尺寸，N＝(3,5,7......)，优选为N＝3，P表示窗口内的像素组成的点集；
该滤波方式对像素的RGB值分别进行滤波，抑制无用信息,很好的保留了原始图片的色彩的信息；
步骤,3，图像分割，获取工件目标图像。
步骤3.1，对RGB颜色空间进行转换，生成新的颜色空间U1U2U3。
经过滤波后的FR(x,y)、FG(x,y)、FB(x,y)经过下述转换变为相应的系数函数：
其中，U1(x,y)为红绿相关函数，U2(x,y)为红蓝相关函数，U3(x,y)为绿蓝相关函数；
步骤3.2，工件与工件输送线的区分。
构建工件与工件输送线的分割函数GS(x,y)，使用U1(x,y)、U2(x,y)作为判断条件：
其中，TS为分割阈值；
分割阈值TS可以为预先设定的固定值，例如TS＝4。
步骤4，图像去噪。
经过运算得到目标工件的图像，但是不可避免的存在一些小面积的噪声，即图像上的斑点噪声，这些斑点噪声显然不是工件的图像，需要滤除，这里使用数学形态学的开运算和闭运算进行去噪
步骤4.1，构建二值分割函数G'A(x,y)，在运算前首先将分割函数GA(x,y)进行二值化，二值分割函数为：
步骤4.2，使用开运算，先对二值图像进行腐蚀运算然后在进行膨胀运算；
步骤4.3，使用闭运算。先对二值图像进行膨胀运算然后在进行腐蚀运算；
步骤4.4，生成最终的工件目标函数GF(x,y)。经过开合运算后的二值图像与分割函数G'A(x,y)构成的二值图像进行与运算，在1值的区域将GA(x,y)的值按照坐标逐一赋值，构成最终的工件目标函数GF(x,y)；
步骤5，获取工件目标的中心位置(xcen,ycen)。其目的在于让工业机器人能够定位工件的位置，进而实现抓取。
运用高斯滤波器获取图像中的最大响应值，进而确定图像中目标的中心位置，构建高斯响应值函数为：
其中，δ为尺度因子，可根据实际情况设定；
对GF(x,y)进行卷积计算，得到高斯卷积响应函数：
h(x,y)＝GF(x,y)*g(x,y)，
计算当h(x,y)的最大值时的坐标，即目标的中心位置(xcen,ycen)。
其中，对于不规则形状的复杂工件，使用对比匹配方法获取工件形状，质心定位并进行抓取，具体过程如下：
步骤1，RGB摄像机标定，建立坐标系，
将世界坐标系经过平移和旋转得到RGB摄像机坐标系，然后将RGB摄像机坐标系经三角几何变换得到图像物理坐标系，根据像素和公制单位的比率得到图像像素坐标系。
步骤2，图像预处理
步骤2.1，平滑处理，
消除或抑制图像中的噪声，在平滑处理时用到通滤波器截止高频噪声信号，通过低频信号。
步骤2.2，图像二值化，
将彩色的RGB图像转换成灰度图像，再转换成黑白图像，二值化将像素点的灰度值设置为0和255，0表示黑色、255表示白色。
经过平滑处理后再二值化所得到的图像中几乎没有噪声，得到的图像中工件边缘清晰，方便后续的处理。
步骤3，形状识别，采用霍夫圆变换和霍夫链码进行工件形状的识别。
其中，霍夫圆变换具体为：
步骤3A.1，对输入图像进行边缘检测，获取边界点，对图像进行边缘检测处理；
步骤3A.2，进行坐标变换，将圆形在平面坐标系中的方程变换成参数方程，即由x-y坐标系转换到a-b坐标系，圆形的方程可表示为(a-x)2+(b-y2)＝2r，x-y坐标系中圆形边界上的一点(x0,y0)对应到a-b坐标系中即为一个圆，其中，a、b：圆心坐标，r：半径范围。
步骤3A.3，x-y坐标系中一个圆形边界上有多个点，在a-b坐标系中对应多个圆，在x-y坐标系中这些点都在同一个圆形上，则(a-x)2+(b-y)2＝r2中的a、b满足a-b坐标系中的圆形的方程式，x-y坐标系中圆形边界上的许多点在x-y坐标系中相对应的圆都会相交于一点，交点的坐标即为圆心(a,b)；
步骤3A.4，统计局部交点处圆的个数，取每一个局部最大值，获得原图像中对应的圆形的圆心坐标(a,b)，一旦在某一个r下面检测到圆，r值确定，从而确定圆的a、b、r值，即确定了圆形参数。
其中步骤3的霍夫链码识别步骤为：
步骤3B.1，基于工件的个数把图像分割成多块，即按照每个工件的外接正矩形进行分割；
步骤3B.2,使用霍夫变换检测直线，并得到每条直线的方程；
步骤3B.3,根据直线方程，计算直线的交点，并判断交点是否在分割后得到的图像内，如果在则该点为工件的顶点，计算得到这两条直线的夹角；如果不在，该交点不是工件的顶点，忽略该交点；
步骤3B.4,将计算得到的夹角作为参数构成链码；
步骤3B.5,将获得的链码与模板链码相匹配，根据匹配的结果实现对工件的形状识别。
其中,步骤3B.2的霍夫变换检测直线具体过程如下:
建立在笛卡尔坐标系，生成一条直线：y＝kx+b，k：斜率，b：斜距，相应的在极坐标系中表示为ρ＝x cosθ+y sinθ，其中，ρ：原点到这条直线的距离，θ：直线的垂直线与x轴的夹角，对于直线上的给定点(x0,y0)，每一对(ρ,θ)代表一条通过点(x0,y0)的直线，在极坐标系中画出所有通过点(x0,y0)的直线，得到一条正弦曲线，对同一条直线上的不同点画在极坐标系中，得到的正弦曲线将会在ρ-θ平面中相交，相交点的曲线个数越多，则该直线由越多的点组成，则通过设置曲线的阈值来判别是否检测到直线；
步骤4，工件定位，
步骤4.1，把图像基于工件分割成多个目标块；
步骤4.2，求取目标块边缘上的角点；
步骤4.3，对每个目标块的所有角点求取x轴和y轴方向的最小坐标值imin，jmin、最大坐标值imax，jmax；
步骤4.4，分块结束后考虑到计算时会出现一定的误差，所以为了得到的结果更准确，把x和y轴坐标范围扩大5个像素，使工件能够完全在目标块内，第N个目标块的x轴坐标范围为iN∈(imin+5,imax+5)，y轴坐标范围为jN∈(jmin+5,jmax+5)，
计算一阶y轴惯性矩M10、一阶x轴惯性矩M01以及零阶矩M00；
f(i,j)为目标块的像素质量，
则工件的质心坐标为
该算法简单有效，且可以适用于任意形状。
以上所述实施方式仅表达了本发明的一种实施方式，但并不能因此而理解为对本发明范围的限制。应当指出，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (10)
1.一种具有中心位置识别的抓取工业机器人，包括工业机器人控制系统、传感器系统、操控系统、网络集成控制系统、视觉跟踪系统以及执行机构，传感器系统与工业机器人控制系统连接，工业机器人控制系统包括示教器、运动控制器，操控系统包括工控机，视觉跟踪系统包括RGB摄像机、激光扫描仪、跟踪摄像机，射频收发射装置，传感器系统包括多个六轴传感器、光学传感器、运动传感器、霍尔电流传感器，执行机构包括机械部分和电力部分；
RGB摄像机观测工件进入视野范围，在视野范围内的工件输送线的中间放置触发器，当工件触碰到触发器时，RGB摄像机捕捉图像，并把捕捉到的图像传递到工控机进行图像处理，对图像进行分析处理后会得到目标工件的形状及抓取位置信息，发送给工业机器人，然后工业机器人指定位置进行抓取，并且根据形状不同，目标工件也会被码垛在工件放置区的不同地方。对采集得到的图像进行分析处理，识别出目标工件的形状，得到目标工件的中心位置；
使用图像处理获取工件中心位置的具体过程如下：
步骤1，获取工件输送线和工件的原始图像，RGB摄像机的镜头光轴与工件输送线保持平行；
步骤2，图像增强，对原始图像中的RGB值分别进行滤波去噪。对原始图像的进行滤波去噪，噪声包括设备噪声、椒盐噪声、量化噪声；
步骤3，图像分割，获取工件目标图像；
步骤4，图像去噪；
步骤5，获取工件目标的中心位置。
2.根据权利要求1所述的一种具有中心位置识别的抓取工业机器人，其特征在于步骤2具体为：噪声的滤波过程如下式所示：
其中，以原始图像的中心为原点建立直角坐标系x-0-y，fR(x,y)、fG(x,y)、fB(x,y)分别为原始图像中位于坐标(x,y)的像素的R、G、B值函数，其中x＝(0,1,……255),y∈(0,1,……255)，而FR(x,y)、FG(x,y)、FB(x,y)为滤波后的R、G、B值函数，N×N为表示截取的窗口的尺寸，N＝(3,5,7......)，优选为N＝3，P表示窗口内的像素组成的点集。
3.根据权利要求1所述的一种具有中心位置识别的抓取工业机器人，其特征在于步骤3具体为：
步骤3.1，对RGB颜色空间进行转换，生成新的颜色空间U1U2U3。
经过滤波后的FR(x,y)、FG(x,y)、FB(x,y)经过下述转换变为相应的系数函数：
其中，U1(x,y)为红绿相关函数，U2(x,y)为红蓝相关函数，U3(x,y)为绿蓝相关函数；
步骤3.2，工件与工件输送线的区分。
构建工件与工件输送线的分割函数GS(x,y)，使用U1(x,y)、U2(x,y)作为判断条件：
其中，TS为分割阈值。
4.根据权利要求1所述的一种具有中心位置识别的抓取工业机器人，其特征在于步骤4具体为：
步骤4.1，构建二值分割函数G'A(x,y)，在运算前首先将分割函数GA(x,y)进行二值化，二值分割函数为：
步骤4.2，使用开运算，先对二值图像进行腐蚀运算然后在进行膨胀运算；
步骤4.3，使用闭运算。先对二值图像进行膨胀运算然后在进行腐蚀运算；
步骤4.4，生成最终的工件目标函数GF(x,y)。经过开合运算后的二值图像与分割函数G'A(x,y)构成的二值图像进行与运算，在1值的区域将GA(x,y)的值按照坐标逐一赋值，构成最终的工件目标函数GF(x,y)。
5.根据权利要求1所述的一种具有中心位置识别的抓取工业机器人，其特征在于步骤5具体为：
运用高斯滤波器获取图像中的最大响应值，进而确定图像中目标的中心位置，构建高斯响应值函数为：其中，δ为尺度因子，可根据实际情况设定；
对GF(x,y)进行卷积计算，得到高斯卷积响应函数：
h(x,y)＝GF(x,y)*g(x,y)，
计算当h(x,y)的最大值时的坐标，即目标的中心位置(xcen,ycen)。
6.根据权利要求1所述的一种具有中心位置识别的抓取工业机器人，其特征在于：机械部分包括底座、连接件、大臂、小臂、腕部、末端执行器以及旋转关节，旋转关节分别位于底座与连接件之间、连接件与大臂之间、大臂与小臂之间以及腕部与末端执行器之间，底座是承重基础部件，固定在地面或支架上，连接件是大臂的支撑部件，实现机器人的回转功能，连接件在底座上进行旋转，大臂是小臂的支撑部件，大臂的摆动改变末端执行器在水平方向上的行程，小臂的俯仰实现末端执行器在垂直方向上的位置变换，腕部的末端执行器旋转关节调整承载目标的旋转角度和位置。
7.根据权利要求6所述的一种具有中心位置识别的抓取工业机器人，其特征在于：底座的关节座与轴线垂直于地面的旋转关节联接，关节座安装在底座上，为大臂提供支撑，其上安装有大臂、小臂和保持腕部水平的连杆，大臂、小臂与连杆相互构成平行四边形，增加了整个臂部的刚度，通过串联平行四边形机构的叠加效应,满足腕部的易控性，腕部是法兰盘，根据用户的不同需要，在法兰盘上联接真空吸盘。
8.根据权利要求1所述的一种具有中心位置识别的抓取工业机器人，其特征在于：RGB摄像机与工件输送线、工件放置区、执行机构构成了工业机器人抓取系统，RGB摄像机实时得到的图像信息经工控机的图像处理后获得目标工件的形状及位置信息，上位机发送控制信息，让工业机器人执行指定的抓取放置操作。
9.根据权利要求1所述的一种具有中心位置识别的抓取工业机器人，其特征在于：操控系统通过网络集成控制系统接收传感器系统和视觉跟踪系统的数据并向工业机器人控制系统发送控制指令，工业机器人控制系统控制执行机构，传感器系统安装在执行机构上，实时监控执行机构的位姿状态，传感器系统、视觉跟踪系统还与工业机器人控制系统连接用于实时反馈执行机构的工作状态以及监控周围环境。
10.根据权利要求1所述的一种具有中心位置识别的抓取工业机器人，其特征在于：
网络集成控制系统搜索局域网内存在的工业机器人并连接到相应的运动控制器，运行运动传感器并清零六轴传感器，运动传感器采集执行机构的末端执行器位姿信息来引导工业机器人的运动，并实时显示在示教器的屏幕上，
工业机器人通信分为两级：第一级通信是操控系统与工业机器人控制系统的通信，采用串行通信技术或者网络通讯技术；第二级通信是工业机器人控制系统与传感器系统、视觉跟踪系统之间的通信，采用工业现场总线通信技术。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811321395 | 2018-11-07 | ||
| CN201811321395X | 2018-11-07 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110640739A true CN110640739A (zh) | 2020-01-03 |
Family
ID=69013355
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911019391.0A Pending CN110640739A (zh) | 2018-11-07 | 2019-10-24 | 一种具有中心位置识别的抓取工业机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110640739A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111483803A (zh) * | 2020-04-17 | 2020-08-04 | 湖南视比特机器人有限公司 | 控制方法、抓取系统和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103336966A (zh) * | 2013-07-15 | 2013-10-02 | 山东奥泰机械有限公司 | 一种应用于农业智能机械的杂草图像辨识方法 |
| US20140195053A1 (en) * | 2013-01-07 | 2014-07-10 | Milos Misha Subotincic | Visually controlled end effector |
| CN106934813A (zh) * | 2015-12-31 | 2017-07-07 | 沈阳高精数控智能技术股份有限公司 | 一种基于视觉定位的工业机器人工件抓取实现方法 |
| CN107633501A (zh) * | 2016-07-16 | 2018-01-26 | 深圳市得意自动化科技有限公司 | 机器视觉的图像识别定位方法 |
| CN107738255A (zh) * | 2017-09-26 | 2018-02-27 | 山东工商学院 | 机械臂及基于Leap Motion的机械臂控制方法 |
| CN108161931A (zh) * | 2016-12-07 | 2018-06-15 | 广州映博智能科技有限公司 | 基于视觉的工件自动识别及智能抓取系统 |
-
2019
- 2019-10-24 CN CN201911019391.0A patent/CN110640739A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140195053A1 (en) * | 2013-01-07 | 2014-07-10 | Milos Misha Subotincic | Visually controlled end effector |
| CN103336966A (zh) * | 2013-07-15 | 2013-10-02 | 山东奥泰机械有限公司 | 一种应用于农业智能机械的杂草图像辨识方法 |
| CN106934813A (zh) * | 2015-12-31 | 2017-07-07 | 沈阳高精数控智能技术股份有限公司 | 一种基于视觉定位的工业机器人工件抓取实现方法 |
| CN107633501A (zh) * | 2016-07-16 | 2018-01-26 | 深圳市得意自动化科技有限公司 | 机器视觉的图像识别定位方法 |
| CN108161931A (zh) * | 2016-12-07 | 2018-06-15 | 广州映博智能科技有限公司 | 基于视觉的工件自动识别及智能抓取系统 |
| CN107738255A (zh) * | 2017-09-26 | 2018-02-27 | 山东工商学院 | 机械臂及基于Leap Motion的机械臂控制方法 |
Non-Patent Citations (1)
| Title |
|---|
| 卢冠男: "基于机器视觉的工业机器人抓取系统的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111483803A (zh) * | 2020-04-17 | 2020-08-04 | 湖南视比特机器人有限公司 | 控制方法、抓取系统和存储介质 |
| CN111483803B (zh) * | 2020-04-17 | 2022-03-04 | 湖南视比特机器人有限公司 | 控制方法、抓取系统和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110666801A (zh) | 一种复杂工件匹配定位的抓取工业机器人 | |
| CN109785317B (zh) | 自动码垛桁架机器人的视觉系统 | |
| CN111791239B (zh) | 一种结合三维视觉识别可实现精确抓取的方法 | |
| CN105729468B (zh) | 一种基于多深度摄像机增强的机器人工作台 | |
| CN111462154B (zh) | 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人 | |
| WO2016055031A1 (zh) | 直线检测、图像处理的方法及相关装置 | |
| Chen et al. | Applying a 6-axis mechanical arm combine with computer vision to the research of object recognition in plane inspection | |
| CN110480637B (zh) | 一种基于Kinect传感器的机械臂零件图像识别抓取方法 | |
| CN110640741A (zh) | 一种规则形状工件匹配的抓取工业机器人 | |
| CN113643280B (zh) | 一种基于计算机视觉的板材分拣系统及方法 | |
| CN105217324A (zh) | 一种新型的拆垛方法和系统 | |
| Hsu et al. | Development of a faster classification system for metal parts using machine vision under different lighting environments | |
| CN112926503B (zh) | 一种基于矩形拟合的抓取数据集自动生成方法 | |
| Djajadi et al. | A model vision of sorting system application using robotic manipulator | |
| CN114882109A (zh) | 一种面向遮挡、杂乱场景下的机器人抓取检测方法及系统 | |
| CN108109154A (zh) | 一种工件的新型定位及数据获取方法 | |
| Jia et al. | Real-time color-based sorting robotic arm system | |
| CN110640744A (zh) | 一种电机模糊控制的工业机器人 | |
| CN113034526B (zh) | 一种抓取方法、抓取装置及机器人 | |
| CN110640739A (zh) | 一种具有中心位置识别的抓取工业机器人 | |
| CN113715012A (zh) | 一种遥控器零件自动装配方法和系统 | |
| Lin et al. | Vision based object grasping of industrial manipulator | |
| Fan et al. | An automatic robot unstacking system based on binocular stereo vision | |
| Funakubo et al. | Recognition and handling of clothes with different pattern by dual hand-eyes robotic system | |
| CN109814124A (zh) | 一种基于结构光3d传感器的机器人定位系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200805 Address after: Room 1207, building 8, block B, R & D Park, Ningbo, Zhejiang Province, 315000 Applicant after: Zhang Huanhuan Address before: 315000 No.014, 3 / F, building 2, No.128 Jingyuan Road, Ningbo hi tech Zone, Zhejiang Province Applicant before: NINGBO SAILANG TECHNOLOGY Co.,Ltd. |
|
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200103 |