CN112959318A - 基于机器视觉的商标纸全自动抓取装置与方法 - Google Patents

基于机器视觉的商标纸全自动抓取装置与方法 Download PDF

Info

Publication number
CN112959318A
CN112959318A CN202110033316.0A CN202110033316A CN112959318A CN 112959318 A CN112959318 A CN 112959318A CN 202110033316 A CN202110033316 A CN 202110033316A CN 112959318 A CN112959318 A CN 112959318A
Authority
CN
China
Prior art keywords
image
label paper
negative pressure
fixing plate
grabbing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110033316.0A
Other languages
English (en)
Inventor
范礼峰
张弛
戚振栋
杨超
沈黎翔
吕璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Tobacco Zhejiang Industrial Co Ltd
Original Assignee
China Tobacco Zhejiang Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Tobacco Zhejiang Industrial Co Ltd filed Critical China Tobacco Zhejiang Industrial Co Ltd
Priority to CN202110033316.0A priority Critical patent/CN112959318A/zh
Publication of CN112959318A publication Critical patent/CN112959318A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/08Gripping heads and other end effectors having finger members
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1687Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G61/00Use of pick-up or transfer devices or of manipulators for stacking or de-stacking articles not otherwise provided for

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及基于机器视觉的商标纸全自动抓取装置与方法,该装置包括机械手、抓取装置、激光测距单元和工业相机,抓取装置包括运动机构、负压发生器、吸盘、压空分配器、总进气管和支架,压空分配器固定在支架的一端,且压空分配器的进气口与总进气管连接,负压发生器固定在支架的另一端,且负压发生器的进气口与压空分配器的出气口连通,多个吸盘均匀间隔设置在支架的底部,且每个吸盘均通过管道与负压发生器的出气口连通,抓取装置上还设有相机处理模块,机械手上设有总控制器和映像存储模块,本发明的抓取装置的结构体积小巧,精简了管路结构,抓取效果稳定可靠,且能大幅降低装备成本;本发明的商标纸垛定位技术能够准确定位目标抓取物堆放形式,适用于各种复杂工况。

Description

基于机器视觉的商标纸全自动抓取装置与方法
技术领域
本发明涉及烟草加工设备技术领域,具体地说,是涉及一种基于机器视觉的商标纸全自动抓取装置与方法。
背景技术
当前工业生产中,商标纸广泛采用层级堆垛方式,以前都是工人手工加商标纸的包裹纸去除后放入生长线,进行后一道工序的生产,这种方式需要较多的人工,且效率不高,不能满足工业自动化生产的需求。
随着工业技术的发展,已经出现了采用机械手自动抓取的方式来对商标纸进行抓取,但是现有技术中都是一堆完整的商标纸垛到达指定位置后,机械手根据预先设定才能抓取相应的商标纸,若人工已经对完整的商标纸垛进行过取用,破坏了其既定规模,极容易出现空抓、少抓,机械手无法实现正常抓取,极大地影响了工作效率。另外,现有的抓取装置管路较多,结构复杂,且成本较高。而对于那些复杂、未知的抓取对象,物料系统末端的抓取装置是最为核心的部分,对抓取效率和抓取损伤率尤为重要,因此在不影响其功能实现的情况下,有必要对物料抓取装置进行研究。
发明内容
为了解决上述技术问题,本发明的第一个目的在于提供一种基于机器视觉的商标纸全自动抓取装置,该装置结构简单、抓取效率高和成本低,本发明的第二个目的在于提供一种基于机器视觉的商标纸全自动抓取方法,该方法实现了更多复杂工况下商标纸的准确抓取。
为了实现上述第一个发明的目的,本发明采用以下技术方案:
基于机器视觉的商标纸全自动抓取装置,包括机械手、抓取装置、激光测距单元和工业相机,所述抓取装置固定在机械手上,所述激光测距单元和工业相机固定在抓取装置上,所述抓取装置包括运动机构、负压发生器、吸盘、压空分配器、总进气管和支架,所述支架固定在运动机构的下部,所述压空分配器固定在支架的一端,且压空分配器的进气口与总进气管连接,所述负压发生器固定在支架的另一端,且负压发生器的进气口与压空分配器的出气口连通,多个吸盘均匀间隔设置在支架的底部,且每个吸盘均通过管道与负压发生器的出气口连通,所述抓取装置上还设有相机处理模块,所述机械手上设有总控制器和映像存储模块,激光测距单元的模拟信号和工业相机的数据信号直接发送至相机处理单元,相机处理单元将接收的信号处理成三维坐标信息后发送至映像存储模块;机械手的总控制器接收到动作信号后,从映像存储模块调用三维坐标信息;移动至相应位置抓取目标。
作为优选方案,所述支架包括第一固定板、导杆、弹簧和第二固定板,所述导杆穿设在第一固定板上,所述导杆上还设有定位凸沿,所述弹簧套设在导杆上,且弹簧的上部与第一固定板相抵,弹簧的下部与定位凸沿相抵,所述导杆的顶部还设有限位凸环,弹簧使得限位凸环与第一固定板相抵,所述导杆的下部与第二固定板固定。
作为优选方案,所述第一固定板上还固定有负压检测器,每个吸盘上的管道均连接有三通接头,三通接头的另外两个接口分别连接至负压检测器以及负压发生器的出气口。
作为优选方案,所述激光测距单元和工业相机设置在支架的两侧,且工业相机位于负压发生器的一侧。
作为优选方案,所述第一固定板与运动机构固定,所述第二固定板与吸盘固定,且第二固定板的尺寸大于第一固定板的尺寸,且第一固定板的正投影位于第二固定板的中央。
作为优选方案,所述吸盘的形状为椭圆形,材质为软硅胶。
为了实现上述第二个发明的目的,本发明采用以下技术方案:
基于机器视觉的商标纸全自动抓取方法,采用如上所述的全自动抓取装置,具体步骤如下:
步骤1,激光测距单元检测机械手当前位置与商标纸垛的距离,确定当前商标纸垛的层高;工亚相机采集商标纸垛俯视图像,经过图像预处理、图像表面检测、图像特征提取及分割、图像边缘检测、图像模板匹配、图像坐标定义、图像坐标变换多个步骤后,计算出商标纸垛在托盘上堆放的空间位置和堆放形式,完成物料的分布检测与抓取模式的规划;
步骤2,机械手在收到步骤1得出的信息后,按步骤1的规划执行,机械手会移动到目标位置通过抓取装置对商标纸进行抓取操作,由上位系统给出负压发生信号使得抓取装置的吸盘对商标纸进行抓取,在成功抓取目标位置的商标纸之后,将商标纸送至预先设定好的下一工位。
作为优选方案,其中图像特征提取及分割的具体步骤如下:
首先,确定图像商标纸垛与商标纸垛之间像素灰度的分界点A;
特征提取:采用基于灰度差异的快速识别定位算法,阈值采用A;定义CL(k)为第k列灰度值大于A的像素数,0<k≤300;目标区域中CL(k)的最小值定义为特征值Min1,最大值定义为Max1;目标区域中第一列的CL(1)定义为特征值T1,对图像依次行扫描,当判决函数大于特征值T1时,则认为检测到了目标点;检测出的目标点链接起来则形成了单垛商标纸的轮廓,利用商标纸的轮廓将图像分割为多剁商标纸。
作为优选方案,其中图像边缘检测具体步骤如下:
首先计算预处理过后的图像数据,计算xy方向导数;图像数据用D[i,j]表示,其x和y方向的偏导数阵列分别为F[i,j]和G[i,j],于是:
F[i,j]≈D[i,j+1]-D[i,j]+D[i+1,j+1]-D[i+1,j]/2 (1)
G[i,j]≈D[i,j]-D[i+1,j]+D[i,j+1]-D[i+1,j+1]/2 (2)
采用基于方向导数模板求卷积的方法,采用Roberts算子,该算法的算子为:
H[i,j]=|f[i,j]-f[i+1,j+1]|+|f[i+1,j]-f[f,j+1]| (3)
其中,H[i,j]为处理后(i,j)点的灰度值,f[i,j]为处理前该点的灰度值;
使用Robert算子进行卷积运算,得到图像数据中各点的方向导数,来获取其梯度:
Figure BDA0002892452300000021
θ[i,j]=arctan(G[i,j]/F[i,j]) (5)
计算式4、5分别表示图像中任意一个点的梯度值和方向;
局部最大值计算,利用4、5计算出的图像任意一点的梯度值和方向这两个值,采用比较法,确定一个中心点,将它的梯度值与其梯度线方向的两个相邻点相比较,若其值大则保留,否则置零;经过局部最大值处理,得到细化的边缘图。
作为优选方案,其中图像边缘检测具体步骤中,通过采用双阈值方法解决上一步处理后的图像中存在包含噪声引起的对单个边缘的虚假响应问题;通过对信噪比的估计确定高、低阈值;通过直方图的统计结果得到高阈值,低阈值确定为高阈值的1/2,大于高阈值的响应确定为边缘,小于低阈值的响应删除;在二者之间的,检测该点的8个相邻点是否存在大于高阈值的点,若有则可连接该边缘点,形成单垛商标清晰的边缘。
与现有技术相比,本发明的有益效果为:
1、抓取装置的结构体积小巧,精简了管路结构,抓取效果稳定可靠,且能大幅降低装备成本;2、抓取数量灵活,压空分配器依据实际商标纸垛情况,灵活选择一次抓取的数量;3、商标纸垛定位技术能够准确定位目标抓取物堆放形式,适用于各种复杂工况;4、商标纸垛定位技术基于机器视觉,对商标纸垛的图像有极高的处理速度和精确度;5、该方法保证了抓取过程的精准与安全,提高了抓取可靠性,大幅提升了工作效率。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的限定。
图1是本发明的整体结构使用示意图;
图2是本发明的商标纸垛在抓取过程中可能碰到的三类情况示意图,其中(a)为正常工况下商标纸垛顶面示意图;(b)为漏抓工况下商标纸垛顶面示意图;(c)为特殊工况下商标纸垛顶面示意图;
图3是本发明的抓取装置的结构示意图;
图4是本发明的商标纸全自动抓取方法的流程示意图;
图5是本发明的商标纸垛定位技术的算法流程示意图。
图中的附图标记为:1、机械手;2、抓取装置;3、传输皮带;4、商标纸垛;21、运动机构;22、负压检测器;23、负压发生器;24、吸盘;25、弹簧;26、压空分配器;27、总进气管;28、工业相机;29、第一固定板;210、导杆;211、第二固定板;212、三通接头。
具体实施方式
应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、部件和/或它们的组合。
此外,在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上,除非另有明确的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触,也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且,第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方,或仅仅表示第一特征水平高度小于第二特征。
下面结合附图与实施例对本发明作进一步说明:
如图1和图3所示的基于机器视觉的商标纸全自动抓取装置,包括机械手1、抓取装置、激光测距单元和工业相机28,所述抓取装置固定在机械手1上,所述激光测距单元和工业相机28固定在抓取装置上,所述抓取装置包括运动机构21、负压发生器23、吸盘24、压空分配器26、总进气管27和支架,所述支架固定在运动机构21的下部,所述压空分配器26固定在支架的一端,且压空分配器26的进气口与总进气管27连接,所述负压发生器23固定在支架的另一端,且负压发生器23的进气口与压空分配器26的出气口连通,多个吸盘24均匀间隔设置在支架的底部,且每个吸盘24均通过管道与负压发生器23的出气口连通。
所述支架包括第一固定板29、导杆210、弹簧25和第二固定板211,所述导杆210穿设在第一固定板29上,所述导杆210上还设有定位凸沿,所述弹簧25套设在导杆210上,且弹簧25的上部与第一固定板29相抵,弹簧25的下部与定位凸沿相抵,所述导杆210的顶部还设有限位凸环,弹簧25使得限位凸环与第一固定板29相抵,所述导杆210的下部与第二固定板211固定。在整个抓取过程中,缓冲保护结构的弹簧对抓取装置和目标物的接触起到缓冲作用,能够提升抓取效率和降低抓取损伤率。
所述第一固定板29上还固定有负压检测器22,每个吸盘24上的管道均连接有三通接头212,三通接头212的另外两个接口分别连接至负压检测器22以及负压发生器23的出气口。
所述抓取装置上还设有相机处理模块,所述机械手1上设有总控制器和映像存储模块,激光测距单元的模拟信号和工业相机28的数据信号直接发送至相机处理单元,相机处理单元将接收的信号处理成三维坐标信息后通过RJ45普通网口发送至映像存储模块;机械手总控制器从映像存储区调用x.y.z三维坐标;负压检测器信号直接发送至机械手总控制器;上位机系统输出控制使能信号到机械手总控制器;机械手总控制器发送使能信号至压空分配器,移动至相应位置抓取目标。
所述激光测距单元和工业相机28设置在支架的两侧,且工业相机28位于负压发生器23的一侧。所述第一固定板29与运动机构21固定,所述第二固定板211与吸盘24固定,且第二固定板211的尺寸大于第一固定板29的尺寸,且第一固定板29的正投影位于第二固定板211的中央。
抓取装置采用激光测距单元和工业照相机定位,负压吸盘抓取。工业照相机采集抓取对象的图像,通过图像识别定位算法给出机械手运动的平面坐标,激光测距单元给到机械手运动的垂直坐标;抓取装置由以下方式实现:一路正压总进气连接进入压空分配器主管道,经由分配器电磁阀作用可输出三路单独的、可控的压空;三路压空通过负压发生器转换为三路负压,经气动三通管分别接入负压检测装置和三组共6个吸盘装置,由上位系统给出负压发生信号(抓取使能动作),机械手给出压空分配的电磁阀信号;吸盘选用软硅胶椭圆形,对商标纸的抓取效果为最佳。同时,三路负压分别与三个负压检测器相连,起到检测抓取状态的作用。为减小机械损伤,抓取机构内部装有缓冲保护结构,四个弹簧对其抓取过程进行缓冲,同时起到对抓取对象保护的作用。
如图4和图5所示,基于机器视觉的商标纸全自动抓取方法,采用如上所述的全自动抓取装置,具体步骤如下:
1、激光测距仪检测机械手当前位置与商标堆垛的距离,确定当前商标纸垛的层高;工业相机采集商标纸垛俯视图像,经图像采集、图像预处理、图像表面检测、图像特征提取及分割、图像边缘检测、图像模板匹配、图像坐标变换等过程,计算出商标堆垛在托盘上堆放的空间位置和堆放形式,实现物料的分布检测与抓取模式的规划。
2、不同的堆叠方式产生不同的位置输出信号,步骤1中识别到该位置有商标纸,压空分配器的电磁阀才会分别进行动作。
3、在收到抓取位置信息后,机械手会移动到目标位置通过抓取装置对商标纸进行抓取操作,由上位系统给出负压发生信号进行抓取,同时负压检测器检测抓取状态。在成功抓取目标位置的商标之后,将其送至预先设定好的下一工位。
首先,机械手处于初始位置(抓取对象正上方)待机,若安全门未关闭,触发警报等待人工处理;安全门处于关闭状态时,触发工业相机成像系统拍照,激光测距仪测距,同时将采集到的信息发送给相机处理单元,该处理单元的具体处理过程如下:
对商标纸垛通过图像采集、预处理、定位识别等过程,计算出商标纸垛在托盘上堆放的空间位置和堆放形式,将相关信息传送给机械手。
图像采集过程,在生产现场环境中,利用安装在机械手上的相机、镜头等成像系统,在机械手运动到托盘顶部固定位置时,触发成像系统拍照,获取到商标托盘上表面的整体图像。
图像预处理过程,由于图像采集在生成和传输过程中会因各种噪声源的干扰和影响而使图像中包含了各种各样的噪声和畸变,在图像分析和识别中,为了抑制和消除图像中的无效信息,减少系统的数据存储量,或将图像变换成某种标准形式,以易于特征提取和识别,需对采集的图像进行预处理。主要包括:灰度化、高斯滤波、二值化等。商标顶面图像预处理具体过程为:
由于使用的彩色相机,因此首先采用加权平均值法对图像进行灰度化;对灰度图像进行高斯滤波,以消除微小噪点;采用最大类间误差法对灰度图进行二值化,获得二值图像。通过灰度化、滤波、二值化后得到了易于识别的商标托盘表面图像。
图像表面检测过程,对预处理后的图像进行,通过阈值法识别表面是否平整,是否存在异物。并与上一次抓取周期的结果进行比较,确认托盘堆放的商标形态未发生变化。如判断有异常则发出报警信号,本次图像识别定位结束,需人工处理后再重新开始识别流程。
图像特征提取及分割,经过预处理之后图像剔除了干扰,突出了图像的结构信息,为图像特征提取做好了准备。并结合商标堆垛本身的特点和堆叠时具有的一定规则,尽可能利用这些优势提取出其分类信息的特征,并进行图像的分割。图像特征提取及分割的具体步骤如下。
确定图像商标堆垛与堆垛之间像素灰度的分界点A。在分析大量图像的BMP文件后最终确定阈值A为210,亮度大于210的像素认为是分界区域,小于210的像素认为是商标堆垛区域。以分界区域作为目标区域。
特征提取。采用基于灰度差异的快速识别定位算法,阈值采用A。定义CL(K)(0<k≤300)为第k列灰度值大于A的像素数。目标区域中CL(K)的最小值定义为特征值Min1,最大值定义为Max1。目标区域中第一列的CL(1)定义为特征值T1。对图像依次行扫描,当判决函数大于特征值T1时,则认为检测到了目标点。
检测出的目标点链接起来则形成了单垛商标的轮廓。利用商标的轮廓将图像分割为多剁商标。
图像边缘检测过程,边缘提取首先检测出图像局部特性的不连续性,然后再将这些不连续的边缘像素连成完备的边界。在图像预处理和分割的基础上,进一步对分割后的单垛图像进行增强,结合形态学运算得到更清晰的单垛商标轮廓区域。由于单垛商标边缘的特性是沿边缘走向的像素变化平缓而垂直于边缘方向的像素变化剧烈。因此,提取边缘的算法就是检出符合边缘特性的边缘像素的数学算子。边缘检测算子检查每个像素的邻域并对灰度变化率进行量化,也包括方向的确定。具体过程为:
首先计算预处理过后的图像数据计算xy方向导数。图像数据用D[i,j]表示,其x和y方向的偏导数阵列分别为F[i,j]和G[i,j],于是:
F[i,j]≈D[i,j+1]-D[i,j]+D[i+1,j+1]-F[i+1,j]/2 (1)
G[i,j]≈F[i,j]-F[i+1,j]+F[i,j+1]-F[i+1,j+1]/2 (2)
采用基于方向导数模板求卷积的方法。采用用Roberts算子。该算法的算子为:
H[i,j]=|f[i,j]-f[i+1,j+1]|+|f[i+1,j]-f[i,j+1]| (3)
其中,H[i,j]为处理后(i,j)点的灰度值,f[i,j]为处理前该点的灰度值。
使用Robert算子进行卷积运算,得到图像数据中各点的方向导数,来获取其梯度:
Figure BDA0002892452300000061
θ[i,j]=arctan(G[i,j]/F[i,j]) (5)
计算式4、5分别表示图像中任意一个点的梯度值和方向。
局部最大值计算,利用4、5计算出的图像任意一点的梯度值和方向这两个值。采用比较法,确定一个中心点,将它的梯度值与其梯度线方向的两个相邻点相比较,若其值大则保留,否则置零。经过局部最大值处理,可以得到细化的边缘图。
阈值处理,采用双阈值方法解决上一步处理后的图像中存在包含噪声引起的对单个边缘的虚假响应问题。通过对信噪比的估计确定高、低阈值。通过直方图的统计结果得到高阈值,低阈值经试验确定为高阈值的1/2左右。大于高阈值的响应确定为边缘,小于低阈值的响应删除。在二者之间的,检测该点的8个相邻点是否存在大于高阈值的点,若有则可连接该边缘点。形成单垛商标清晰的边缘。
图像模板匹配过程,通过图像分割和边缘检查后,将整个图片分割成5X10的网格,将当前品牌的标准商标图像作为参照物与每个网格进行匹配。计算出每个网格的匹配度。如果匹配度均满足要求,则认为本次模板匹配成功,可以继续下一步操作。
图像坐标过程,以左下角为坐标原点,将每垛的坐标标识如下:
Figure BDA0002892452300000062
图像坐标变换过程,将图像坐标加上托盘高度位置,形成商标的空间坐标系,再根据机械手的位置坐标与空间坐标的关系,进行坐标变换,得到当前抓取对象的整体结构同时输出本次抓取动作的三维坐标。
待系统使能信号置位,机械手收到抓取指令,快速运动到给定的抓取工位正上方约5cm处;机械手到位后,控制电磁阀输出确定的若干路压空;机械手缓慢下降至抓取工位,在负压吸盘的作用下抓起目标物;待负压检测器返回正确的状态信号后,机械手将抓取物按预先设定好的路线运送至释放工位,缓慢下降并控制分配器电磁阀断开吸盘负压,释放目标物;机械手回到初始工位待命。
算例说明:如图2所示是本发明的商标纸堆垛在抓取过程中可能碰到的三类情况。第一类正常工况下,商标纸垛定位程序将会输出如图中灰色商标纸所示的位置坐标,同时机器人控制三路压空电磁阀同时导通,进行抓取操作;第二类漏抓工况下,商标纸垛定位程序将会输出如图中灰色商标纸所示的位置坐标,同时机器人控制前两路压空电磁阀同时导通,进行抓取操作;第三类特殊工况下,商标纸垛定位程序将会输出如图中灰色商标纸所示的位置坐标,同时机器人将运动至如图所示特殊工位,控制前两路压空电磁阀同时导通,进行抓取操作。
抓取完成后,系统模拟计算出抓取后下一次的商标图像基板,供下次图像分割后的验证。
机械手等待释放工位的抓取使能信号,待释放工位料空,机械手调取坐标信息,开始进行抓取动作,快速运动到给定的抓取工位正上方约5cm处;机械手到位后,若当前位置只有一垛商标纸,则电磁阀仅一路动作,电磁阀依实际情况输出确定的若干路压空;机械手缓慢下降至抓取工位,在负压吸盘的作用下抓起目标物,同时进行抓取吸盘的负压检测,如果成功抓取,则机械手将抓取物按预先设定好的路线运送至释放工位,缓慢下降并控制分配器电磁阀断开吸盘负压,释放目标物;若抓取失败,则在发送警告信息的同时仍然完成释放动作;若在运行工程中如果检测到掉件,则报警,等待人工处理。
释放商标之后,机械手自动回到初始位置,开始下一次抓取循环。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。、
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。

Claims (10)

1.基于机器视觉的商标纸全自动抓取装置,包括机械手(1)、抓取装置、激光测距单元和工业相机(28),所述抓取装置固定在机械手(1)上,所述激光测距单元和工业相机(28)固定在抓取装置上,其特征在于,所述抓取装置包括运动机构(21)、负压发生器(23)、吸盘(24)、压空分配器(26)、总进气管(27)和支架,所述支架固定在运动机构(21)的下部,所述压空分配器(26)固定在支架的一端,且压空分配器(26)的进气口与总进气管(27)连接,所述负压发生器(23)固定在支架的另一端,且负压发生器(23)的进气口与压空分配器(26)的出气口连通,多个吸盘(24)均匀间隔设置在支架的底部,且每个吸盘(24)均通过管道与负压发生器(23)的出气口连通,所述抓取装置上还设有相机处理模块,所述机械手(1)上设有总控制器和映像存储模块,激光测距单元的模拟信号和工业相机(28)的数据信号直接发送至相机处理单元,相机处理单元将接收的信号处理成三维坐标信息后发送至映像存储模块;机械手的总控制器接收到动作信号后,从映像存储模块调用三维坐标信息;移动至相应位置抓取目标。
2.根据权利要求1所述的基于机器视觉的商标纸全自动抓取装置,其特征在于,所述支架包括第一固定板(29)、导杆(210)、弹簧(25)和第二固定板(211),所述导杆(210)穿设在第一固定板(29)上,所述导杆(210)上还设有定位凸沿,所述弹簧(25)套设在导杆(210)上,且弹簧(25)的上部与第一固定板(29)相抵,弹簧(25)的下部与定位凸沿相抵,所述导杆(210)的顶部还设有限位凸环,弹簧(25)使得限位凸环与第一固定板(29)相抵,所述导杆(210)的下部与第二固定板(211)固定。
3.根据权利要求2所述的基于机器视觉的商标纸全自动抓取装置,其特征在于,所述第一固定板(29)上还固定有负压检测器(22),每个吸盘(24)上的管道均连接有三通接头(212),三通接头(212)的另外两个接口分别连接至负压检测器(22)以及负压发生器(23)的出气口。
4.根据权利要求1所述的基于机器视觉的商标纸全自动抓取装置,其特征在于,所述激光测距单元和工业相机(28)设置在支架的两侧,且工业相机(28)位于负压发生器(23)的一侧。
5.根据权利要求1所述的基于机器视觉的商标纸全自动抓取装置,其特征在于,所述第一固定板(29)与运动机构(21)固定,所述第二固定板(211)与吸盘(24)固定,且第二固定板(211)的尺寸大于第一固定板(29)的尺寸,且第一固定板(29)的正投影位于第二固定板(211)的中央。
6.根据权利要求1所述的基于机器视觉的商标纸全自动抓取装置,其特征在于,所述吸盘(24)的形状为椭圆形,材质为软硅胶。
7.基于机器视觉的商标纸全自动抓取方法,其特征在于,采用权利要求1至5中任意一项所述的全自动抓取装置,具体步骤如下:
步骤1,激光测距单元检测机械手(1)当前位置与商标纸垛(4)的距离,确定当前商标纸垛(4)的层高;工业相机(28)采集商标纸垛(4)俯视图像,经过图像预处理、图像表面检测、图像特征提取及分割、图像边缘检测、图像模板匹配、图像坐标定义、图像坐标变换多个步骤后,计算出商标纸垛(4)在托盘上堆放的空间位置和堆放形式,完成物料的分布检测与抓取模式的规划;
步骤2,机械手(1)在收到步骤1得出的信息后,按步骤1的规划执行,机械手(1)会移动到目标位置通过抓取装置对商标纸进行抓取操作,由上位系统给出负压发生信号使得抓取装置的吸盘对商标纸进行抓取,在成功抓取目标位置的商标纸之后,将商标纸送至预先设定好的下一工位。
8.根据权利要求7所述的基于机器视觉的商标纸全自动抓取方法,其特征在于,其中图像特征提取及分割的具体步骤如下:
首先,确定图像商标纸垛与商标纸垛之间像素灰度的分界点A;
特征提取:采用基于灰度差异的快速识别定位算法,阈值采用A;定义CL(k)为第k列灰度值大于A的像素数,0<k≤300;目标区域中CL(k)的最小值定义为特征值Min1,最大值定义为Max1;目标区域中第一列的CL(1)定义为特征值T1,对图像依次行扫描,当判决函数大于特征值T1时,则认为检测到了目标点;检测出的目标点链接起来则形成了单垛商标纸的轮廓,利用商标纸的轮廓将图像分割为多剁商标纸。
9.根据权利要求7所述的基于机器视觉的商标纸全自动抓取方法,其特征在于,其中图像边缘检测具体步骤如下:
首先计算预处理过后的图像数据,计算xy方向导数;图像数据用D[i,j]表示,其x和y方向的偏导数阵列分别为F[i,j]和G[i,j],于是:
F[L.j]≈D[i,j+1]-D[i,j]+D[i+1,j+1]-D[i+1,j]/2 (1)
G[i,j]≈D[i,j]-D[i+1,j]+D[i,j+1]-D[i+1,j+1]/2 (2)
采用基于方向导数模板求卷积的方法,采用Roberts算子,该算法的算子为:
H[i,j]=|f[i,j]-f[i+1,j+1]|+|f[i+1,j]-f[i,j+1]| (3)
其中,H[i,j]为处理后(i,j)点的灰度值,f[i,j]为处理前该点的灰度值;
使用Robert算子进行卷积运算,得到图像数据中各点的方向导数,来获取其梯度:
Figure FDA0002892452290000031
θ[i,j]=arctan(G[i,j]/F[i,j]) (5)
计算式4、5分别表示图像中任意一个点的梯度值和方向;
局部最大值计算,利用4、5计算出的图像任意一点的梯度值和方向这两个值,采用比较法,确定一个中心点,将它的梯度值与其梯度线方向的两个相邻点相比较,若其值大则保留,否则置零;经过局部最大值处理,得到细化的边缘图。
10.根据权利要求9所述的基于机器视觉的商标纸全自动抓取方法,其特征在于,其中图像边缘检测具体步骤中,通过采用双阈值方法解决上一步处理后的图像中存在包含噪声引起的对单个边缘的虚假响应问题;通过对信噪比的估计确定高、低阈值;通过直方图的统计结果得到高阈值,低阈值确定为高阈值的1/2,大于高阈值的响应确定为边缘,小于低阈值的响应删除;在二者之间的,检测该点的8个相邻点是否存在大于高阈值的点,若有则可连接该边缘点,形成单垛商标清晰的边缘。
CN202110033316.0A 2021-01-11 2021-01-11 基于机器视觉的商标纸全自动抓取装置与方法 Pending CN112959318A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110033316.0A CN112959318A (zh) 2021-01-11 2021-01-11 基于机器视觉的商标纸全自动抓取装置与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110033316.0A CN112959318A (zh) 2021-01-11 2021-01-11 基于机器视觉的商标纸全自动抓取装置与方法

Publications (1)

Publication Number Publication Date
CN112959318A true CN112959318A (zh) 2021-06-15

Family

ID=76271116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110033316.0A Pending CN112959318A (zh) 2021-01-11 2021-01-11 基于机器视觉的商标纸全自动抓取装置与方法

Country Status (1)

Country Link
CN (1) CN112959318A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117532603A (zh) * 2023-11-02 2024-02-09 广州里工实业有限公司 一种移动机器人上下料快速定位方法、系统及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104411109A (zh) * 2014-11-03 2015-03-11 华中科技大学 一种适应多规格芯片的表面贴装机拾取装置
CN110304464A (zh) * 2019-07-19 2019-10-08 秦皇岛信智信息技术有限公司 一种轮毂码垛机器人
CN110315525A (zh) * 2018-03-29 2019-10-11 天津工业大学 一种基于视觉引导的机器人工件抓取方法
US20190321969A1 (en) * 2018-04-23 2019-10-24 General Electric Company Method and robotic system for manipluating instruments
CN111846977A (zh) * 2020-07-20 2020-10-30 重庆邮电大学 基于机器视觉的自动码垛机器人系统及其操作方法
CN111941422A (zh) * 2020-06-23 2020-11-17 中建科技集团有限公司 一种贴瓷砖机器人系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104411109A (zh) * 2014-11-03 2015-03-11 华中科技大学 一种适应多规格芯片的表面贴装机拾取装置
CN110315525A (zh) * 2018-03-29 2019-10-11 天津工业大学 一种基于视觉引导的机器人工件抓取方法
US20190321969A1 (en) * 2018-04-23 2019-10-24 General Electric Company Method and robotic system for manipluating instruments
CN110304464A (zh) * 2019-07-19 2019-10-08 秦皇岛信智信息技术有限公司 一种轮毂码垛机器人
CN111941422A (zh) * 2020-06-23 2020-11-17 中建科技集团有限公司 一种贴瓷砖机器人系统
CN111846977A (zh) * 2020-07-20 2020-10-30 重庆邮电大学 基于机器视觉的自动码垛机器人系统及其操作方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117532603A (zh) * 2023-11-02 2024-02-09 广州里工实业有限公司 一种移动机器人上下料快速定位方法、系统及装置

Similar Documents

Publication Publication Date Title
CN108171748B (zh) 一种面向机器人智能抓取应用的视觉识别与定位方法
JP7411932B2 (ja) 自動パッケージ登録システム、デバイス、および方法
US10899002B2 (en) Article movement apparatus, article movement method, and article movement control program
JP5558585B2 (ja) ワーク取り出し装置
CN101839692B (zh) 单相机测量物体三维位置与姿态的方法
US20080240511A1 (en) Apparatus for picking up objects
CN110378325B (zh) 一种机器人抓取过程中的目标位姿识别方法
JP2019181687A (ja) 情報処理装置、情報処理方法及びプログラム
JPH0930649A (ja) ピックアップ装置
CN113184276B (zh) 一种商标纸加料系统
CN113602799B (zh) 一种航空港行李箱搬运系统及其控制方法
CN114751153B (zh) 一种全角度的多模板码垛系统
CN107084992A (zh) 一种基于机器视觉的胶囊检测方法及系统
CN113807466B (zh) 一种基于深度学习的物流包裹自主检测方法
US9361695B2 (en) Method of recognizing a position of a workpiece from a photographed image
CN115553132A (zh) 一种基于视觉算法的荔枝识别方法和仿生荔枝采摘机器人
CN112959318A (zh) 基于机器视觉的商标纸全自动抓取装置与方法
CN109571408A (zh) 一种机器人、库存容器的角度校准方法及存储介质
Pan et al. Manipulator package sorting and placing system based on computer vision
CN117291918A (zh) 一种基于三维点云的汽车冲压件缺陷检测方法
CN113538576B (zh) 基于双臂机器人的抓取方法、装置及双臂机器人
CN117372489A (zh) 一种用于双线结构光三维测量的点云配准方法及系统
CN117152417A (zh) 芯片管壳的缺陷检测方法、存储介质及检测设备
CN112720477A (zh) 一种基于局部点云模型的物体最优抓取识别方法
CN112634367A (zh) 一种基于深度神经网络的抗遮挡的物体位姿估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210615

RJ01 Rejection of invention patent application after publication