CN111604909A - 一种四轴工业码垛机器人的视觉系统 - Google Patents

一种四轴工业码垛机器人的视觉系统 Download PDF

Info

Publication number
CN111604909A
CN111604909A CN202010586782.7A CN202010586782A CN111604909A CN 111604909 A CN111604909 A CN 111604909A CN 202010586782 A CN202010586782 A CN 202010586782A CN 111604909 A CN111604909 A CN 111604909A
Authority
CN
China
Prior art keywords
image
camera
pixel
coordinates
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010586782.7A
Other languages
English (en)
Inventor
白锐
高升
王贺彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning University of Technology
Original Assignee
Liaoning University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning University of Technology filed Critical Liaoning University of Technology
Priority to CN202010586782.7A priority Critical patent/CN111604909A/zh
Publication of CN111604909A publication Critical patent/CN111604909A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G61/00—Use of pick-up or transfer devices or of manipulators for stacking or de-stacking articles not otherwise provided for

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种四轴工业码垛机器人的视觉系统，属于视觉系统设计领域。所述视觉系统为利用固定在待码放物品上方的摄像机，通过图像处理技术形成成像模型来实现对形状规则的小型包装盒进行坐标和姿态的识别，同时识别包装盒上附带的二维码信息，从而判断物品的类型；所述视觉系统包括以下步骤：对摄像头采集到的信息进行图片灰度化、图像滤波、图像二值化、图像膨胀处理、获取二维码边缘、二维码解码等步骤，通过这些步骤来判断物体种类、利用手眼标定将像素坐标转化为物体的实际坐标、利用模板匹配确定物体的位姿角度。对于保证产品质量、降低劳动成本、优化作业布局、提高生产效率、增长经济效益、实现生产的自动化等方面具有十分重要的意义。

Description

一种四轴工业码垛机器人的视觉系统
技术领域
本发明涉及一种四轴工业码垛机器人的视觉系统，属于视觉系统设计领域。
背景技术
在工业生产流水线当中，码垛机器人一般处于生产流水线的最末端，主要作用是对目标物体进行抓取和搬运，按照事先设定好的抓取位置和码放位置进行相应的动作，只是简单的重复执行预先设定好的程序，完成既定的动作，这种工作方式较为单一和固定，局限性较大，当生产线上的物体位置或种类发生变化时，传统的码垛机器人缺少必要的辨识能力，不能根据物体的实际情况做出相应的动作调整，这对码垛机器人在工业上的应用造成了很大限制。
随着计算机技术的高速发展，图像的处理和识别技术也得到了质的发展，进入21世纪以来，图像处理技术在越来越多的领域得到广泛应用，图像处理技术也成为智能制造发展的一个重要方向，随着技术的不断成熟，越来越多的企业和机构也投入大量的人力物力到图像处理的研究和应用中来，在物体的辨识、目标的跟踪和物体的检测等都取得了不错的成果。
相比于传统的码垛机器人来说，基于视觉的码垛机器人能够在不同的生产环境下，通过机器人视觉系统进行图像采集、处理和分析，分辨出物体的类型和位置，对不同的物体在码垛时进行快速、准确的定位和判断，从而准确的抓取物体并将其置于指定的位置。本设计为了解决传统码垛机器人的弊端，将图像处理与码垛机械臂结合起来，使码垛机械臂具备识别和定位功能，为实现工业生产制造自动化和智能化提出了解决方案、具有良好的市场发展前景。
发明内容
为了解决上述技术问题，本发明通过摄像头对包装盒的图像信息进行采集，在由C#编写的视觉系统软件进行处理并计算出待抓取包装盒的匹配识别结果、坐标值以及包装盒的偏转角度；能够引导机器人对其进行抓取，最后对抓取后的包装盒进行按要求分类码垛。
本发明采用的技术方案如下：
一种四轴工业码垛机器人的视觉系统，为利用固定在待码放物品上方的摄像机，通过图像处理技术形成成像模型来实现对形状规则的小型包装盒进行坐标和姿态的识别，同时识别包装盒上附带的二维码信息，从而判断物品的类型；所述视觉系统包括以下步骤：对摄像头采集到的信息进行图片灰度化、图像滤波、图像二值化、图像膨胀处理、获取二维码边缘、二维码解码等步骤，通过这些步骤来判断物体种类、利用手眼标定将像素坐标转化为物体的实际坐标、利用模板匹配确定物体的位姿角度。
进一步的，所述成像模型中包括世界坐标系、相机坐标系、图像坐标系和像素坐标系，所述相机的成像过程的数学模型是目标点在这几个坐标系中转化而来。
进一步的，所述视觉系统包括以下步骤：
(1)图片灰度化
在条码定位过程中首先通过灰度化将摄像机采集到的彩色图片转变为灰度图片。灰度化是指在RGB图像中，当三者的值相同时，则彩色表示一种灰度颜色，其值称为灰度值，因此，灰度图像每个像素只需一个字节存放灰度值，灰度范围为0-255；
(2)图像滤波
摄像机在取像时会受到周围环境的影响，从而产生噪音。这样的噪声会引起二维码分割，解码错误。因此在灰度化后需要对灰度图片进行图像滤波处理。图像滤波的目的是在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制，是图像预处理中不可缺少的操作，其处理效果的好坏将直接影响到后续图像处理和分析的有效性和可靠性。本次设计采用高斯滤波对图像进行滤波处理。高斯滤波是一种线性平滑滤波。高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身与其8邻域内的其他像素值经过加权平均后得到；
(3)图像二值化
滤波后的灰度图减少了噪声干扰，但图片的灰度值仍然为0-255之间。此时需要对图像进行二值化处理，利用点运算的阈值理论将采集到的图象变为二值图像，其效果是将图像中深灰和浅灰的图案转换成只有黑或白两种颜色；
(4)图像膨胀处理
二值化后的图片进行首先进行膨胀处理。膨胀就是求局部最大值的操作。从数学角度解释图像的膨胀操作是将图像与核进行卷积。即计算核覆盖的区域的像素点的最大值，并把这个最大值赋值给参考点指定的像素。这样就会使图像中的高亮区域逐渐增长；
(5)获取二维码边缘
对膨胀后的区域进行边缘检测操作，边缘检测后条码区域的边界不是很完整，所以需要进一步的修正边界，然后分割出一个完整的条码区域。首先采用区域增长的方法对符号进行分割，以此修正条码边界。其基本思想是从符号内的一个小区域开始，通过区域增长来修正条码边界，把符号内的所有点都包括在这个边界内。然后通过凸壳计算准确分割出整个符号，之后区域增长和凸壳计算交替进行重复四次，最终获得二维码的轮廓；
(6)二维码解码
对于二维码的解码首先进行网格采样，对网格每一个交点上的图像像素取样，并根据阈值确定是深色块还是浅色块。构造一个位图，用二进制的“1”表示深色像素，“0”表示浅色像素，从而得到条码的原始二进制序列值，然后对这些数据进行纠错和译码，最后根据条码的逻辑编码规则把这些原始的数据位转换成数据码。
进一步的，二维码坐标需要通过手眼标定实现坐标转换得到待抓取物体相对于机器手坐标系的真正坐标值，所述手眼标定为九点标定法标定像素坐标与机器手坐标的转换关系；所述摄像机为无几遍摄像机，摄像机获得的像素坐标值用于手眼标定，即在像素坐标下获取工作平面上九个点的坐标，同时机器手末端遍历这9个点得到在机器手坐标系中的坐标，同一点的两个坐标相互对应，最终求得像素坐标与机器手坐标的转换关系。
进一步的，摄像机在采集物体的二维码信息和物体坐标后，采用基于轮廓的形状匹配方法检测被抓取物体上标志位的信息，从而获得被抓取物体的角度；基于相关性的模板匹配其大概过程为：图像采集，图像预处理，创建模板，匹配模板和清除模板，基于相关性的模板匹配采用NormalizedCrossCorrelation(NCC)算法，可以有效降低光照对图像比较结果的影响，步骤为：预计算模板图像和目标图像的积分图；根据输入的窗口半径大小使用积分图完成NCC计算；根据阈值得到匹配或者不匹配区域；输出结果。
进一步的，图像采集采用工业800万快速自动对焦USB免驱动摄像头，像素尺寸为3.0×3.0μm，镜头长度为6mm，分辨率1280×720，帧数率为30桢/秒，摄像头通过USB电缆与计算机相连。
本发明的有益效果：
本发明的优点和有益效果是将机器视觉与四轴工业码垛机器人结合起来，使之具有识别功能，对于保证产品质量、降低劳动成本、优化作业布局、提高生产效率、增长经济效益、实现生产的自动化等方面具有十分重要的意义。
附图说明
图1为本发明的视觉装置硬件结构图；
图2为本发明像素坐标系和图像坐标系位置示意图；
图3为本发明的相机坐标系与图像坐标系模型图；
图4为本发明的摄像机坐标系与世界坐标系模型图；
图5为本发明的坐标轴旋转示意图；
图6为本发明的二维码信息获取流程图；
图7为本发明的手眼标定流程图；
图8为本发明的模板流程图。
具体实施方式
以下实施例所用材料、方法和仪器，未经特殊说明，均为本领域常规材料、方法和仪器，本领域普通技术人员均可通过商业渠道获得。
在本发明以下的描述中，需要说明的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”和“竖着”等指示方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此，不能理解为对本发明的限制。
在本发明以下的描述中，需要说明的是，除非另有明确规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接连接，也可以是通过中间介质间接连接，可以是两个部件内部的连通。对于本领域的普通技术人员而言，可以是具体情况理解上书术语在本发明中的具体含义。
此外，在本发明以下的描述中，除非另有说明，“多个”、“多组”、“多根”的含义是两个或两个以上。
下面结合附图对本发明做进一步详细说明，但以下详细说明不视为对本发明的限定。
本发明为四轴工业码垛机器人的视觉系统设计，利用固定在待码放物品上方的摄像机，通过图像处理技术来实现对形状规则的小型包装盒进行坐标和姿态的识别，同时识别包装盒上附带的二维码信息，从而判断物品的类型。在此过程中需要对摄像头采集到的信息进行图像滤波、二值化、膨胀、获取边缘、通过对二维码进行解码来判断物体种类、利用手眼标定将像素坐标转化为物体的实际坐标、利用模板匹配确定物体的位姿角度。
1.坐标定位
在相机的成像模型中包含有世界坐标系、相机坐标系、图像坐标系和像素坐标系，相机的成像过程的数学模型就是目标点在这几个坐标系中的转化过程。
如图2所示为像素坐标系和图像坐标系模型图，vO0u是建立在像素上的直角坐标系。原点O0位于图像的左上角，u轴、v轴分别于像面的两边平行。像素坐标系中坐标轴的单位是像素。像素坐标系不利于坐标变换，因此需要建立图像坐标系xo1y，其坐标轴的单位通常为毫米，原点是相机光轴与相面的交点，即图像的中心点，x轴、y轴分别与u轴、v轴平行。
故两个坐标系的转换关系为式(1)，其中dx和dy表示每一列和每一行像素分别代表多少毫米。
Figure BDA0002554092010000051
相机坐标系和图像坐标系属于透视投影，其模型图如图3所示。相机坐标系为OC-XCYCZC以相机的光心为坐标原点。Xc轴和Yc轴分别平行于图像坐标系的x轴和y轴，相机的光轴为Zc轴。xOy为图像坐标系，f为镜头焦距。
由三角形相似原理知，ΔABOC～ΔOCOC,ΔPBOC～ΔpCOC可推出式(2)，(3)。
Figure BDA0002554092010000052
Figure BDA0002554092010000053
通过式(2)，(3)可推出相机坐标系与图像坐标系的转换关系为式(4)。
Figure BDA0002554092010000054
相机坐标系与世界坐标系模型图如图4所示，以Ow为原点建立世界坐标系OwXwYwZw，它是一个三维直角坐标系，以其为基准可以描述相机和待测物体的空间位置。现有一点P，其在相机坐标系下的坐标为(XC，YC，ZC),在世界坐标系下的坐标为(XW，YW，ZW)。
从世界坐标系到相机坐标系，属于刚性变换，只涉及到旋转和平移。即坐标点绕着不同的坐标轴旋转不同的角度，可得到相应的旋转矩阵，旋转示意图如图5所示。
图5为点P绕ZC轴旋转，此时生成旋转矩阵R1，如式(5)。同理，点P绕XC轴旋转生成旋转矩阵R2，点P绕YC轴旋转生成旋转矩阵R3。最终旋转矩阵为R＝R1R2R3。
Figure BDA0002554092010000055
于是，点P在相机坐标系的坐标为式(6)。
Figure BDA0002554092010000056
式(6)中，R为上文所求的三维旋转矩阵，T为平移矩阵。综上可得，相机成像的数学模型为式(7)。
Figure BDA0002554092010000061
2.二维码识别
本设计利用二维码对待码放规则物体的种类进行识别，主要经过灰度化、图象滤波、二值化、获取边缘、解码等步骤。
1)图片灰度化
在条码定位过程中首先通过灰度化将摄像机采集到的彩色图片转变为灰度图片。灰度化是指在RGB图像中，当三者的值相同时，则彩色表示一种灰度颜色，其值称为灰度值，因此，灰度图像每个像素只需一个字节存放灰度值，灰度范围为0-255。某一点的灰度值如式(8)。
Figure BDA0002554092010000062
f(i,j)表示图像中某一像素经灰度化之后的灰度值，R(i,j)表示图像中某一像素的红基础色值，G(i,j)表示图像中某一像素中绿基础色值，B(i,j)表示图像中某一像素的蓝基础色值。
2)图像滤波
摄像机在取像时会受到周围环境的影响，从而产生噪音。这样的噪声会引起二维码分割，解码错误。因此在灰度化后需要对灰度图片进行图像滤波处理。图像滤波的目的是在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制，是图像预处理中不可缺少的操作，其处理效果的好坏将直接影响到后续图像处理和分析的有效性和可靠性。本次设计采用高斯滤波对图像进行滤波处理。高斯滤波是一种线性平滑滤波。高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身与其8邻域内的其他像素值经过加权平均后得到。
3)图像二值化
滤波后的灰度图减少了噪声干扰，但图片的灰度值仍然为0-255之间。此时需要对图像进行二值化处理，利用点运算的阈值理论将采集到的图象变为二值图像，其效果是将图像中深灰和浅灰的图案转换成只有黑或白两种颜色。二值化的数学表达式如式(9)。
Figure BDA0002554092010000063
f(i,j)为某一点像素点的灰度值，k为阈值。当灰度值大于阈值时，该点的灰度值为255，像素呈现白色，反之为黑色。
4)图像膨胀处理
二值化后的图片进行首先进行膨胀处理。膨胀就是求局部最大值的操作。从数学角度解释图像的膨胀操作是将图像与核进行卷积。即计算核覆盖的区域的像素点的最大值，并把这个最大值赋值给参考点指定的像素。这样就会使图像中的高亮区域逐渐增长。f(i,j)为原图像，h(k,l)为相关核，卷积操作如式(10)。
g(i,j)＝∑f(i+k,j+k)h(k,l) (10)
5)获取二维码边缘
对膨胀后的区域进行边缘检测操作，边缘检测后条码区域的边界不是很完整，所以需要进一步的修正边界，然后分割出一个完整的条码区域。首先采用区域增长的方法对符号进行分割，以此修正条码边界。其基本思想是从符号内的一个小区域开始，通过区域增长来修正条码边界，把符号内的所有点都包括在这个边界内。然后通过凸壳计算准确分割出整个符号，之后区域增长和凸壳计算交替进行重复四次，最终获得二维码的轮廓
6)二维码解码
对于二维码的解码首先进行网格采样，对网格每一个交点上的图像像素取样，并根据阈值确定是深色块还是浅色块。构造一个位图，用二进制的“1”表示深色像素，“0”表示浅色像素，从而得到条码的原始二进制序列值，然后对这些数据进行纠错和译码，最后根据条码的逻辑编码规则把这些原始的数据位转换成数据码。
3.手眼标定
二维码坐标为在像素坐标系下的坐标值，还需要进一步的坐标转换才可以得出待抓取物体相对于机器手坐标系的真正坐标值。手眼标定就是得到像素坐标系和空间机器手坐标系的坐标转化关系。本次设计采用九点手眼法标定获取像素坐标与机器手坐标的转换关系。九点法标定是工业上使用广泛的二维手眼标定，所谓二维，即工作平面限制在一个平面上，常用于从固定平面抓取对象进行装配等操作，这种应用场景可以满足大多数的工业现场。本次设计的码垛系统由于抓取的物体高度相同且摄像机的位置固定，因此属于eye-to-hand系统，即摄像机相对于机器手坐标系的位置始终不变，因此完全适用于九点法标定。
由于本次设计采用无畸变摄像机，所以只需考虑摄像机的线性模型，无需进行矫正畸变，因此摄像机获得的像素坐标值可直接用于手眼标定。九点法手眼标定是在像素坐标下获取工作平面上九个点的坐标，同时机器手末端遍历这9个点得到在机器手坐标系中的坐标，同一点的两个坐标相互对应，最终求得像素坐标与机器手坐标的转换关系为式(11)。
Figure BDA0002554092010000071
上式中
Figure BDA0002554092010000072
机器手坐标系的坐标值，[R]为旋转矩阵,其中
Figure BDA0002554092010000073
为像素坐标系的坐标值，[M]为位移矩阵，其中
Figure BDA0002554092010000074
最终求得转换矩阵A，如式(12)。
Figure BDA0002554092010000081
4.模板匹配
本次设计要求摄像机在采集物体的二维码信息和物体坐标后还需获得被抓取物体的角度，因此采用基于轮廓的形状匹配方法检测被抓取物体上标志位的信息，从而获得被抓去物体的角度。
对于物体角度的确定也可通过获取二维码的标志位求得，但是，不同码种类二维码标志位不同，如果通过二维码标志位获取物体角度，那么上位机程序将更为繁琐，且程序的执行效率大大降低。同时，在本次设计过程中为了检测系统的实际运行效果，我们将两种方法实际运行后，发现通过二维码标志位获取物体角度的方法，识别正确率低且检测时间长。因此，该方法不符合工业生产中的要求。
基于相关性的模板匹配其大概过程为：图像采集，图像预处理，创建模板，匹配模板和清除模板。
基于相关性的模板匹配采用Normalized Cross Correlation(NCC)算法，NCC算法为归一化互相关匹配法，是用来比较两幅图像的相似程度。在工业生产环节检测、监控领域对对象检测与识别均有应用。NCC算法可以有效降低光照对图像比较结果的影响。而且NCC最终结果在0到1之间，所以特别容易量化比较结果，只要给出一个阈值就可以判断结果的好与坏。NCC算法的计算公式如(13)。
Figure BDA0002554092010000082
S为搜索图像，尺寸为M×M，T为模板图像，尺寸为N×N。M，N为图像的像素大小。模板T在图像S上平移时，模板所覆盖的子图记作Si,j，(i,j)为子图左上角顶点在搜索图S中的坐标。
NCC算法的步骤为预计算模板图像和目标图像的积分图；根据输入的窗口半径大小使用积分图完成NCC计算；根据阈值得到匹配或者不匹配区域；输出结果。
为了减小计算量，本次设计将输入的图像转换为灰度图像，在灰度图像的基础上完成整个NCC计算检测。
5.视觉系统的硬件设计
本设计图像采集采用工业800万快速自动对焦USB免驱动摄像头，像素尺寸为3.0×3.0μm，镜头长度为6mm，分辨率1280×720，帧数率为30桢/秒，画质清晰成像稳定，摄像头通过USB电缆与计算机相连，视觉装置硬件结构图如图1所示。
6.视觉系统软件设计
视觉系统软件是基于Windows操作系统，利用C#语言并结合图像处理库Halcon编译而成。在软件设计结构上共分为软件登陆界面、注册界面、主界面、特征设置界面、关于界面等；
主界面分为图像显示区、数据信息显示区、控制按钮区、工作状态显示区；在图像显示区数据信息显示区可以显示摄像机采集的实时图像以及对应数据结果；
视觉系统软件主要分为对二维码的信息获取，手眼标定获取坐标和模板匹配部分等。
1)二维码的信息获取
由上文已知二维码信息的获取包括图像灰度化、图像滤波、图像二值化、图像膨胀、凸壳计算、获取轮廓和解码。图6为二维码信息获取的流程图。
2)手眼标定获取坐标
由上文已知，本次设计采用的手眼标定方法为九点标定法。手眼标定的流程图如图7所示。
3)模板匹配部分
由上文已知，本次设计对于目标物体角度的识别采用基于轮廓的模板匹配方法。基于轮廓的形状匹配过程为：图像采集，图像预处理，模板轮廓提取，匹配方法选择和模板轮廓匹配。模板匹配的流程图如图8所示。
虽然本发明已以较佳的实施例公开如上，但其并非用以限定本发明，任何熟悉此技术的人，在不脱离本发明的精神和范围内，都可以做各种改动和修饰，因此本发明的保护范围应该以权利要求书所界定的为准。

Claims (6)

1.一种四轴工业码垛机器人的视觉系统，其特征在于：所述视觉系统为利用固定在待码放物品上方的摄像机，通过图像处理技术形成成像模型来实现对形状规则的小型包装盒进行坐标和姿态的识别，同时识别包装盒上附带的二维码信息，从而判断物品的类型；所述视觉系统包括以下步骤：对摄像头采集到的信息进行图片灰度化、图像滤波、图像二值化、图像膨胀处理、获取二维码边缘、二维码解码等步骤，通过这些步骤来判断物体种类、利用手眼标定将像素坐标转化为物体的实际坐标、利用模板匹配确定物体的位姿角度。
2.根据权利要求1所述的一种四轴工业码垛机器人的视觉系统，其特征在于：所述成像模型中包括世界坐标系、相机坐标系、图像坐标系和像素坐标系，所述相机的成像过程的数学模型是目标点在这几个坐标系中转化而来。
3.根据权利要求1所述的一种四轴工业码垛机器人的视觉系统，其特征在于：所述视觉系统包括以下步骤：
(1)图片灰度化
在条码定位过程中首先通过灰度化将摄像机采集到的彩色图片转变为灰度图片。灰度化是指在RGB图像中，当三者的值相同时，则彩色表示一种灰度颜色，其值称为灰度值，因此，灰度图像每个像素只需一个字节存放灰度值，灰度范围为0-255；
(2)图像滤波
摄像机在取像时会受到周围环境的影响，从而产生噪音。这样的噪声会引起二维码分割，解码错误。因此在灰度化后需要对灰度图片进行图像滤波处理。图像滤波的目的是在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制，是图像预处理中不可缺少的操作，其处理效果的好坏将直接影响到后续图像处理和分析的有效性和可靠性。本次设计采用高斯滤波对图像进行滤波处理。高斯滤波是一种线性平滑滤波。高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身与其8邻域内的其他像素值经过加权平均后得到；
(3)图像二值化
滤波后的灰度图减少了噪声干扰，但图片的灰度值仍然为0-255之间。此时需要对图像进行二值化处理，利用点运算的阈值理论将采集到的图象变为二值图像，其效果是将图像中深灰和浅灰的图案转换成只有黑或白两种颜色；
(4)图像膨胀处理
二值化后的图片进行首先进行膨胀处理。膨胀就是求局部最大值的操作。从数学角度解释图像的膨胀操作是将图像与核进行卷积。即计算核覆盖的区域的像素点的最大值，并把这个最大值赋值给参考点指定的像素。这样就会使图像中的高亮区域逐渐增长；
(5)获取二维码边缘
对膨胀后的区域进行边缘检测操作，边缘检测后条码区域的边界不是很完整，所以需要进一步的修正边界，然后分割出一个完整的条码区域。首先采用区域增长的方法对符号进行分割，以此修正条码边界。其基本思想是从符号内的一个小区域开始，通过区域增长来修正条码边界，把符号内的所有点都包括在这个边界内。然后通过凸壳计算准确分割出整个符号，之后区域增长和凸壳计算交替进行重复四次，最终获得二维码的轮廓；
(6)二维码解码
对于二维码的解码首先进行网格采样，对网格每一个交点上的图像像素取样，并根据阈值确定是深色块还是浅色块。构造一个位图，用二进制的“1”表示深色像素，“0”表示浅色像素，从而得到条码的原始二进制序列值，然后对这些数据进行纠错和译码，最后根据条码的逻辑编码规则把这些原始的数据位转换成数据码。
4.根据权利要求3所述的一种四轴工业码垛机器人的视觉系统，其特征在于：二维码坐标需要通过手眼标定实现坐标转换得到待抓取物体相对于机器手坐标系的真正坐标值，所述手眼标定为九点标定法标定像素坐标与机器手坐标的转换关系；所述摄像机为无几遍摄像机，摄像机获得的像素坐标值用于手眼标定，即在像素坐标下获取工作平面上九个点的坐标，同时机器手末端遍历这9个点得到在机器手坐标系中的坐标，同一点的两个坐标相互对应，最终求得像素坐标与机器手坐标的转换关系。
5.根据权利要求1所述的一种四轴工业码垛机器人的视觉系统，其特征在于：摄像机在采集物体的二维码信息和物体坐标后，采用基于轮廓的形状匹配方法检测被抓取物体上标志位的信息，从而获得被抓取物体的角度；基于相关性的模板匹配其大概过程为：图像采集，图像预处理，创建模板，匹配模板和清除模板，基于相关性的模板匹配采用NormalizedCross Correlation(NCC)算法，可以有效降低光照对图像比较结果的影响，步骤为：预计算模板图像和目标图像的积分图；根据输入的窗口半径大小使用积分图完成NCC计算；根据阈值得到匹配或者不匹配区域；输出结果。
6.根据权利要求1所述的一种四轴工业码垛机器人的视觉系统，其特征在于：图像采集采用工业800万快速自动对焦USB免驱动摄像头，像素尺寸为3.0×3.0μm，镜头长度为6mm，分辨率1280×720，帧数率为30桢/秒，摄像头通过USB电缆与计算机相连。
CN202010586782.7A 2020-06-24 2020-06-24 一种四轴工业码垛机器人的视觉系统 Withdrawn CN111604909A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010586782.7A CN111604909A (zh) 2020-06-24 2020-06-24 一种四轴工业码垛机器人的视觉系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010586782.7A CN111604909A (zh) 2020-06-24 2020-06-24 一种四轴工业码垛机器人的视觉系统

Publications (1)

Publication Number Publication Date
CN111604909A true CN111604909A (zh) 2020-09-01

Family

ID=72194203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010586782.7A Withdrawn CN111604909A (zh) 2020-06-24 2020-06-24 一种四轴工业码垛机器人的视觉系统

Country Status (1)

Country Link
CN (1) CN111604909A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112787185A (zh) * 2021-01-08 2021-05-11 福州大学 一种用于fpc线装配的机器人末端操作治具及其应用
CN112877863A (zh) * 2021-01-14 2021-06-01 北京机科国创轻量化科学研究院有限公司 一种复合材料预制体织造过程中边棒自动放置装置及方法
CN112991461A (zh) * 2021-03-11 2021-06-18 珠海格力智能装备有限公司 物料装配方法及装配装置、计算机可读存储介质、处理器
CN113468905A (zh) * 2021-07-12 2021-10-01 深圳思谋信息科技有限公司 图形码识别方法、装置、计算机设备和存储介质
CN113547525A (zh) * 2021-09-22 2021-10-26 天津施格机器人科技有限公司 码垛专用机器人控制器的控制方法
CN113984761A (zh) * 2021-10-14 2022-01-28 上海原能细胞生物低温设备有限公司 一种二维码批扫设备的二维码快速筛选方法
CN114536323A (zh) * 2021-12-31 2022-05-27 中国人民解放军国防科技大学 一种基于图像处理的分类机器人
CN114627192A (zh) * 2022-03-17 2022-06-14 武昌工学院 收发快递机器人的机器视觉与Arduino控制系统
CN114827625A (zh) * 2022-04-27 2022-07-29 武汉大学 一种基于灰度图压缩算法的高速图像云传输方法
CN115497087A (zh) * 2022-11-18 2022-12-20 广州煌牌自动设备有限公司 一种餐具姿态的识别系统及其方法
CN115936037A (zh) * 2023-02-22 2023-04-07 青岛创新奇智科技集团股份有限公司 二维码的解码方法及装置
CN116118387A (zh) * 2023-02-14 2023-05-16 东莞城市学院 一种裱纸定位贴合系统
CN116167394A (zh) * 2023-02-21 2023-05-26 深圳牛图科技有限公司 一种条码识别方法及系统
CN117142156A (zh) * 2023-10-30 2023-12-01 深圳市金环宇电线电缆有限公司 基于自动定位的线缆码垛控制方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9707682B1 (en) * 2013-03-15 2017-07-18 X Development Llc Methods and systems for recognizing machine-readable information on three-dimensional objects
CN107818577A (zh) * 2017-10-26 2018-03-20 滁州学院 一种基于混合模型的零件识别与定位方法
CN108959998A (zh) * 2018-06-25 2018-12-07 天津英创汇智汽车技术有限公司 二维码识别方法、装置及系统
CN109279373A (zh) * 2018-11-01 2019-01-29 西安中科光电精密工程有限公司 一种基于机器视觉的柔性拆垛码垛机器人系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9707682B1 (en) * 2013-03-15 2017-07-18 X Development Llc Methods and systems for recognizing machine-readable information on three-dimensional objects
CN107818577A (zh) * 2017-10-26 2018-03-20 滁州学院 一种基于混合模型的零件识别与定位方法
CN108959998A (zh) * 2018-06-25 2018-12-07 天津英创汇智汽车技术有限公司 二维码识别方法、装置及系统
CN109279373A (zh) * 2018-11-01 2019-01-29 西安中科光电精密工程有限公司 一种基于机器视觉的柔性拆垛码垛机器人系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
丁可浩: "基于openMV的智能分拣货物机器人", 《电子世界》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112787185A (zh) * 2021-01-08 2021-05-11 福州大学 一种用于fpc线装配的机器人末端操作治具及其应用
CN112877863B (zh) * 2021-01-14 2022-08-23 北京机科国创轻量化科学研究院有限公司 一种复合材料预制体织造过程中边棒自动放置装置及方法
CN112877863A (zh) * 2021-01-14 2021-06-01 北京机科国创轻量化科学研究院有限公司 一种复合材料预制体织造过程中边棒自动放置装置及方法
CN112991461A (zh) * 2021-03-11 2021-06-18 珠海格力智能装备有限公司 物料装配方法及装配装置、计算机可读存储介质、处理器
CN113468905A (zh) * 2021-07-12 2021-10-01 深圳思谋信息科技有限公司 图形码识别方法、装置、计算机设备和存储介质
CN113468905B (zh) * 2021-07-12 2024-03-26 深圳思谋信息科技有限公司 图形码识别方法、装置、计算机设备和存储介质
CN113547525B (zh) * 2021-09-22 2022-01-14 天津施格机器人科技有限公司 码垛专用机器人控制器的控制方法
CN113547525A (zh) * 2021-09-22 2021-10-26 天津施格机器人科技有限公司 码垛专用机器人控制器的控制方法
CN113984761A (zh) * 2021-10-14 2022-01-28 上海原能细胞生物低温设备有限公司 一种二维码批扫设备的二维码快速筛选方法
CN113984761B (zh) * 2021-10-14 2023-07-21 上海原能细胞生物低温设备有限公司 一种二维码批扫设备的二维码快速筛选方法
CN114536323A (zh) * 2021-12-31 2022-05-27 中国人民解放军国防科技大学 一种基于图像处理的分类机器人
CN114627192A (zh) * 2022-03-17 2022-06-14 武昌工学院 收发快递机器人的机器视觉与Arduino控制系统
CN114627192B (zh) * 2022-03-17 2024-04-02 武昌工学院 收发快递机器人的机器视觉与Arduino控制系统
CN114827625A (zh) * 2022-04-27 2022-07-29 武汉大学 一种基于灰度图压缩算法的高速图像云传输方法
CN115497087A (zh) * 2022-11-18 2022-12-20 广州煌牌自动设备有限公司 一种餐具姿态的识别系统及其方法
CN115497087B (zh) * 2022-11-18 2024-04-19 广州煌牌自动设备有限公司 一种餐具姿态的识别系统及其方法
CN116118387A (zh) * 2023-02-14 2023-05-16 东莞城市学院 一种裱纸定位贴合系统
CN116167394A (zh) * 2023-02-21 2023-05-26 深圳牛图科技有限公司 一种条码识别方法及系统
CN115936037A (zh) * 2023-02-22 2023-04-07 青岛创新奇智科技集团股份有限公司 二维码的解码方法及装置
CN117142156B (zh) * 2023-10-30 2024-02-13 深圳市金环宇电线电缆有限公司 基于自动定位的线缆码垛控制方法、装置、设备及介质
CN117142156A (zh) * 2023-10-30 2023-12-01 深圳市金环宇电线电缆有限公司 基于自动定位的线缆码垛控制方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN111604909A (zh) 一种四轴工业码垛机器人的视觉系统
CN109785317B (zh) 自动码垛桁架机器人的视觉系统
CN111062915B (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN108355981B (zh) 一种基于机器视觉的电池连接器质量检测方法
CN111476841B (zh) 一种基于点云和图像的识别定位方法及系统
CN105844622A (zh) 一种基于激光视觉的v型坡口焊缝检测方法
CN112529858A (zh) 一种基于机器视觉的焊缝图像处理方法
CN112560704B (zh) 一种多特征融合的视觉识别方法及系统
CN112907519A (zh) 一种基于深度学习的金属曲面缺陷分析系统及方法
CN110097596A (zh) 一种基于opencv的目标检测系统
WO2019059343A1 (ja) ワーク情報処理装置およびワークの認識方法
CN111553949A (zh) 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法
CN115131587A (zh) 一种基于边缘轮廓的梯度向量特征的模板匹配方法
CN109978940A (zh) 一种sab安全气囊尺寸视觉测量方法
CN114331986A (zh) 一种基于无人机视觉的坝体裂纹识别与测量方法
CN115953550A (zh) 针对线结构光扫描的点云离群点剔除系统及方法
CN113822810A (zh) 一种基于机器视觉的三维空间中工件的定位方法
CN112381783A (zh) 一种基于红色线激光的焊缝轨迹提取方法
CN114494169A (zh) 基于机器视觉的工业柔性物体检测方法
CN115861780B (zh) 一种基于yolo-ggcnn的机械臂检测抓取方法
CN115661110B (zh) 一种透明工件识别与定位的方法
CN115184362B (zh) 一种基于结构光投影的快速缺陷检测方法
CN116823708A (zh) 基于机器视觉的pc构件边模识别与定位研究
CN112734916B (zh) 基于图像处理的彩色共聚焦并行测量三维形貌还原方法
CN115753791A (zh) 基于机器视觉的缺陷检测方法、装置以及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200901