CN110111317A - 一种基于机器人智能末端的点胶质量视觉检测方法 - Google Patents

一种基于机器人智能末端的点胶质量视觉检测方法 Download PDF

Info

Publication number
CN110111317A
CN110111317A CN201910356388.1A CN201910356388A CN110111317A CN 110111317 A CN110111317 A CN 110111317A CN 201910356388 A CN201910356388 A CN 201910356388A CN 110111317 A CN110111317 A CN 110111317A
Authority
CN
China
Prior art keywords
image
quality
dispensing
width
intelligent robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910356388.1A
Other languages
English (en)
Inventor
要义勇
苗雨晨
王世超
高射
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201910356388.1A priority Critical patent/CN110111317A/zh
Publication of CN110111317A publication Critical patent/CN110111317A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0006Industrial image inspection using a design-rule based approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Abstract

本发明公开了一种基于机器人智能末端的点胶质量视觉检测方法,采用运动学的转移矩阵运算方法,将机器人视觉末端定位于垂直位置,进行视觉采集。并对采集所得的图像进行前置处理、特征提取、参数计算等步骤,后将计算所得的参数传输至携带摄像机的机器人末端的控制单元使之在一个旋转自由度内调整摄像机的姿态以便获得误差更小的原始图像。系统最终分别实现了考虑拍摄角度影响和不考虑拍摄角度影响的宽度检测,并给出以像素为单位的宽度值。

Description

一种基于机器人智能末端的点胶质量视觉检测方法
【技术领域】
本发明属于注塑件点胶条带检测技术领域,涉及一种基于机器人智能末端的点胶质量视觉检测方法。
【背景技术】
点胶工艺广泛应用于各种结构件封装、连接等工况。点胶工艺完成后需要对点胶质量进行检测。由于材料为非金属,硬度、强度等力学性能又较金属相差较多。相当一部分适用于金属加工后质量检测的手段对点胶并不适用。传统的点胶质量检验仍旧较大程度的依赖人工检测,以致质量检测工序成本高、效率越低、精度差。
机器视觉是目前人工智能领域下一个较为热门的分支课题。借助计算机技术和光学技术,通过数码相机获知环境的光线信息并从中提取感兴趣的内容进行分析以完成各种任务。随着上述领域的技术发展,机器视觉逐渐被工业领域广泛用于测量、监控、识别等应用。借助机器视觉完成产品质量检测的技术应用逐渐普及。而利用机器视觉通过对图像的处理分析能够高效精确地完成点胶条带几何参数的检测。
【发明内容】
本发明的目的在于克服上述现有技术的缺点,提供一种简便易行、成本低廉、适用于小型自动化生产线的基于机器人智能末端的点胶质量视觉检测方法
为达到上述目的,本发明采用以下技术方案予以实现:
一种基于机器人智能末端的点胶质量视觉检测方法,包括以下步骤:
步骤1:图像数据获取
获取的图像数据,其突起带的走向与图像的边缘、成像平面以及非突起的基体平面平行;
步骤2:图像处理
通过图像处理程序对获取的图像数据进行筛选分析,得到参数结果,并将参数结果反馈给监控人员,供结果评估;参数结果包括视场范围以内的特征条带最大宽度、平均宽度以及误差的主要影响项角度参数,误差的主要影响项角度参数为特征条带拟合直线与图像边缘所成角度,即偏转角度;
步骤3:结果评估
根据步骤2所反馈的参数结果评估注塑件点胶工序的质量是否达到预设条件,以及智能末端图像拍摄的姿态是否达到预设条件;从最大宽度、平均宽度的绝对值,最大宽度与平均宽度的差值以及与图像坐标所成角度判定其质量好坏。
本发明进一步的改进在于:
步骤2的具体方法如下:
步骤2.1:图像前置处理
按顺序使用灰度化、空间滤波和阈值处理,将目标突起特征以二值图像中低明度区域的形式分离;
步骤2.2:特征提取
以经过前置处理的图像为原始数据,提取图像中感兴趣的低明度区域,寻找其边界并计算封闭边界的最小外接矩形并记录外接矩形的长、宽、中心坐标以及偏转角度;
步骤2.3:参数计算
采用逐列自上而下遍历像素点的方法计算兴趣区域的列宽度值数组,并对用该数组求列均值作为其平均宽度,并将结果反馈给监控人员;
采用自左向右的方式逐行遍历像素求得图像最上侧开始有黑色像素的一行标号与最下侧有黑色像素的一行标号之差作为目标区域的最大宽度,并将结果反馈给监控人员。
步骤3中,注塑件点胶工序质量的预设条件为特征条带宽度在预设的范围以内:
i.直线度满足要求;
ii.特征条带拟合直线走向满足预设要求;
ii.无间断或宽度突变。
步骤3中,拍摄姿态预设条件如下:
能够获得使后续图像处理步骤区分特征区域与非特征区域的图像的拍摄姿态。
步骤3中,针对点胶质量向监控人员提示并反馈评估结果,当时,该突起条带的直线度不足或突起条带的边缘不平整形成凹陷、坑洼或突起,认为注塑件点胶质量不合格。
与现有技术相比,本发明具有以下有益效果:
本发明利用计算机视觉技术,实现点胶工序后的质量检测自动化。减少甚至完全摒弃人工检测,从而提升检测效率,减少人工成本。使用自动化的计算机图像处理检测系统,使得检测工序实现24小时不间断的质量检测。使用既定的处理算法实现点胶特征的宽度检测,配合高分辨率的图像传感器以及高复制比率的显微镜头实现高于人工检测精度。
【附图说明】
图1是本发明的检测环境与对象示意图;
图2是摄像机的拍摄姿态与光照条件布置示意图;
图3是本发明的系统功能框图;
图4是不考虑拍摄角度引起误差的最大宽度计算流程图;
图5是平均宽度计算程序框图;
图6是对典型对象拍摄所得图像进行边缘提取后的结果图;
图7是应用例中摄像机拍摄所得的灰度图;
图8是图7经高斯滤波所得的结果图;
图9是对图8进行阈值处理的结果图。
【具体实施方式】
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,不是全部的实施例,而并非要限制本发明公开的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要的混淆本发明公开的概念。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的,其中为了清楚表达的目的,放大了某些细节,并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的,实际中可能由于制造公差或技术限制而有所偏差,并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明公开的上下文中,当将一层/元件称作位于另一层/元件“上”时,该层/元件可以直接位于该另一层/元件上,或者它们之间可以存在居中层/元件。另外,如果在一种朝向中一层/元件位于另一层/元件“上”,那么当调转朝向时,该层/元件可以位于该另一层/元件“下”。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面结合附图对本发明做进一步详细描述:
参见图1-图3,本发明基于机器人智能末端的点胶质量视觉检测方法,包括以下步骤:
步骤1:图像获取
为了能够准确地分辨出需要识别的特征,在获取图像时,寻找一定的方法将目标特征与其他部分(非特征区域)区分开来。被测对象表面除需要检测宽度的突起带外,仅有一光滑的平面被突起带一分为二。故考虑光源设置让非凸起部分发生镜面反射,使得突起部分与非凸起部分有较为明显的明度差异。因此进行试验寻找合适的光源入射角度,实现的形式如图1。另外,拍摄时尽量使得突起带的走向与图像的边缘平行、成像平面与非突起的基体平面平行,有利于减少图像处理时的复杂度,简单地按像素行或列遍历即可得到相对准确的宽度值而无需额外的计算。
步骤2:图像处理
对获取的图像数据输入图像处理程序进行筛选分析,以求得感兴趣的最大宽度与平均宽度以及误差的主要影响项角度参数并返回供结果评估。
步骤2.1:图像前置处理(信息的筛选与目标信息增强)
按顺序使用灰度化、空间滤波和阈值处理,将目标突起特征以二值图像中低明度区域的形式分理出来。
步骤2.2:特征提取
以经过前置处理的图像为原始数据,提取图像中感兴趣的低明度区域,寻找其边界并计算封闭边界的最小外接矩形并记录外接矩形的长、宽、中心坐标以及偏转角度。
步骤2.3:参数计算
如图4所示,采用逐列自上而下遍历像素点的方法计算兴趣区域(低明度区域)的列宽度值数组,并对用该数组求列均值作为其平均宽度(像素值)并返回。如图5所示采用自左向右的方式逐行遍历像素求得图像最上侧开始有黑色像素的一行标号与最下侧有黑色像素的一行标号之差作为目标区域的最大宽度(像素值)并返回。
步骤3:结果评估:根据步骤2所反馈的参数结果评估注塑件点胶工序的质量是否达标,以及智能末端图像拍摄的姿态是否合适。参数结果为图像处理所得的视场范围以内的特征条带最大宽度、平均宽度与特征条带拟合直线与图像边缘所成角度。注塑件点胶工序质量为特征条带宽度在预设的范围以内;直线度满足要求;特征条带拟合直线走向满足预设要求;无间断或宽度突变。合适的拍摄姿态为能够获得使后续图像处理步骤尽量简单高效地区分特征区域与非特征区域的图像的拍摄姿态是合适的。例如某拍摄姿态使得特征区域均为暗部而非特征区域均为高光的拍摄姿态。拍摄姿态为光源、摄像机和被检测对象三者之间的位置关系。
针对点胶质量向监控人员提示并反馈评估结果,当平均宽度与最大宽度相差较大时,一般为该突起条带的直线度不足或突起条带的边缘不平整形成凹陷、坑洼或突起。可认为注塑件点胶质量较差或不合格。因此,从视觉检测的结果,可从最大宽度、平均宽度的绝对值,最大宽度与平均宽度的差值以及与图像坐标所成角度判定其质量好坏。
实施例:利用本检测方法实现对注塑框架侧边点胶质量进行检测,并完成质量评估。由摄像机拍摄的可用的检测图像(灰度)如图6;在灰度图像的基础上进行高斯滤波并设置阈值使图像二值化如图7;并按思路遍历像素获知图像中特征的最大宽度和平均宽度如图8。此外,再求特征最小外接矩形求其拟合直线走向并计算先前宽度测量的误差值,并将上述所有测得的结果反馈至窗体界面如图9。
以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。

Claims (5)

1.一种基于机器人智能末端的点胶质量视觉检测方法,其特征在于,包括以下步骤:
步骤1:图像数据获取
获取的图像数据,其突起带的走向与图像的边缘、成像平面以及非突起的基体平面平行;
步骤2:图像处理
通过图像处理程序对获取的图像数据进行筛选分析,得到参数结果,并将参数结果反馈给监控人员,供结果评估;参数结果包括视场范围以内的特征条带最大宽度、平均宽度以及误差的主要影响项角度参数,误差的主要影响项角度参数为特征条带拟合直线与图像边缘所成角度,即偏转角度;
步骤3:结果评估
根据步骤2所反馈的参数结果评估注塑件点胶工序的质量是否达到预设条件,以及智能末端图像拍摄的姿态是否达到预设条件;从最大宽度、平均宽度的绝对值,最大宽度与平均宽度的差值以及与图像坐标所成角度判定其质量好坏。
2.根据权利要求1所述的基于机器人智能末端的点胶质量视觉检测方法,其特征在于,步骤2的具体方法如下:
步骤2.1:图像前置处理
按顺序使用灰度化、空间滤波和阈值处理,将目标突起特征以二值图像中低明度区域的形式分离;
步骤2.2:特征提取
以经过前置处理的图像为原始数据,提取图像中感兴趣的低明度区域,寻找其边界并计算封闭边界的最小外接矩形并记录外接矩形的长、宽、中心坐标以及偏转角度;
步骤2.3:参数计算
采用逐列自上而下遍历像素点的方法计算兴趣区域的列宽度值数组,并对用该数组求列均值作为其平均宽度,并将结果反馈给监控人员;
采用自左向右的方式逐行遍历像素求得图像最上侧开始有黑色像素的一行标号与最下侧有黑色像素的一行标号之差作为目标区域的最大宽度,并将结果反馈给监控人员。
3.根据权利要求1所述的基于机器人智能末端的点胶质量视觉检测方法,其特征在于,步骤3中,注塑件点胶工序质量的预设条件为特征条带宽度在预设的范围以内:
i.直线度满足要求;
ii.特征条带拟合直线走向满足预设要求;
ii.无间断或宽度突变。
4.根据权利要求1所述的基于机器人智能末端的点胶质量视觉检测方法,其特征在于,步骤3中,拍摄姿态预设条件如下:
能够获得使后续图像处理步骤区分特征区域与非特征区域的图像的拍摄姿态。
5.根据权利要求1所述的基于机器人智能末端的点胶质量视觉检测方法,其特征在于,步骤3中,针对点胶质量向监控人员提示并反馈评估结果,当时,该突起条带的直线度不足或突起条带的边缘不平整形成凹陷、坑洼或突起,认为注塑件点胶质量不合格。
CN201910356388.1A 2019-04-29 2019-04-29 一种基于机器人智能末端的点胶质量视觉检测方法 Pending CN110111317A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910356388.1A CN110111317A (zh) 2019-04-29 2019-04-29 一种基于机器人智能末端的点胶质量视觉检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910356388.1A CN110111317A (zh) 2019-04-29 2019-04-29 一种基于机器人智能末端的点胶质量视觉检测方法

Publications (1)

Publication Number Publication Date
CN110111317A true CN110111317A (zh) 2019-08-09

Family

ID=67487480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910356388.1A Pending CN110111317A (zh) 2019-04-29 2019-04-29 一种基于机器人智能末端的点胶质量视觉检测方法

Country Status (1)

Country Link
CN (1) CN110111317A (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1991349A (zh) * 2005-12-28 2007-07-04 财团法人工业技术研究院 点胶状态的判断系统及方法
CN101857784A (zh) * 2010-04-26 2010-10-13 屠尖兵 一种双面胶带及其粘胶层涂布机的上胶装置
CN203764488U (zh) * 2013-09-24 2014-08-13 东莞市厚街具力自动化设备厂 视觉自动涂胶机
WO2015018941A1 (en) * 2013-08-09 2015-02-12 Iq Structures S.R.O. Autostereoscopic prismatic printing rasters
CN104792788A (zh) * 2015-03-18 2015-07-22 浙江野马电池有限公司 一种涂胶视觉检测方法及其装置
CN105866136A (zh) * 2015-01-21 2016-08-17 苏州兰叶光电科技有限公司 摄像头模组滤光片涂胶检测装置和方法
CN106066328A (zh) * 2016-07-04 2016-11-02 中国第汽车股份有限公司 机器人涂胶质量在线视觉检测装置及方法
CN106493042A (zh) * 2016-10-18 2017-03-15 凌云光技术集团有限责任公司 点胶方法及点胶系统
CN107726985A (zh) * 2017-11-13 2018-02-23 易思维(天津)科技有限公司 一种三维实时涂胶检测方法与装置
CN107812674A (zh) * 2017-12-07 2018-03-20 沈阳理工大学 一种汽车配件涂胶量自动控制装置及控制方法
CN107883879A (zh) * 2016-09-29 2018-04-06 联合汽车电子有限公司 涂胶质量3d视觉检测系统及其检测方法
CN108621167A (zh) * 2018-07-23 2018-10-09 中南大学 一种基于轮廓边及内包圆特征的视觉伺服解耦控制方法
CN109127461A (zh) * 2018-07-26 2019-01-04 桂林电子科技大学 一种手机点胶质量在线视觉检测装置
CN109127291A (zh) * 2018-10-22 2019-01-04 长兴佰菲特机械有限公司 一种自动点胶工艺

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1991349A (zh) * 2005-12-28 2007-07-04 财团法人工业技术研究院 点胶状态的判断系统及方法
CN101857784A (zh) * 2010-04-26 2010-10-13 屠尖兵 一种双面胶带及其粘胶层涂布机的上胶装置
WO2015018941A1 (en) * 2013-08-09 2015-02-12 Iq Structures S.R.O. Autostereoscopic prismatic printing rasters
CN203764488U (zh) * 2013-09-24 2014-08-13 东莞市厚街具力自动化设备厂 视觉自动涂胶机
CN105866136A (zh) * 2015-01-21 2016-08-17 苏州兰叶光电科技有限公司 摄像头模组滤光片涂胶检测装置和方法
CN104792788A (zh) * 2015-03-18 2015-07-22 浙江野马电池有限公司 一种涂胶视觉检测方法及其装置
CN106066328A (zh) * 2016-07-04 2016-11-02 中国第汽车股份有限公司 机器人涂胶质量在线视觉检测装置及方法
CN107883879A (zh) * 2016-09-29 2018-04-06 联合汽车电子有限公司 涂胶质量3d视觉检测系统及其检测方法
CN106493042A (zh) * 2016-10-18 2017-03-15 凌云光技术集团有限责任公司 点胶方法及点胶系统
CN107726985A (zh) * 2017-11-13 2018-02-23 易思维(天津)科技有限公司 一种三维实时涂胶检测方法与装置
CN107812674A (zh) * 2017-12-07 2018-03-20 沈阳理工大学 一种汽车配件涂胶量自动控制装置及控制方法
CN108621167A (zh) * 2018-07-23 2018-10-09 中南大学 一种基于轮廓边及内包圆特征的视觉伺服解耦控制方法
CN109127461A (zh) * 2018-07-26 2019-01-04 桂林电子科技大学 一种手机点胶质量在线视觉检测装置
CN109127291A (zh) * 2018-10-22 2019-01-04 长兴佰菲特机械有限公司 一种自动点胶工艺

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马潇: "基于视觉的涂胶检测技术研究", 《万方数据知识服务平台》 *

Similar Documents

Publication Publication Date Title
CN106370671A (zh) 基于机器视觉的pcb上元器件检测系统及方法
KR20110095344A (ko) 성형 시트의 결함 검사 장치
CN106855520B (zh) 一种基于机器视觉的工件缺陷检测方法
CN102589516B (zh) 一种基于双目线扫描摄像机的动态距离测量系统
CN106501272B (zh) 机器视觉焊锡定位检测系统
US8103376B2 (en) System and method for the on-machine 2-D contour measurement
CN105989588B (zh) 一种异形材料切割图像校正方法及系统
US8315457B2 (en) System and method for performing multi-image training for pattern recognition and registration
CN109239076A (zh) 一种基于机器视觉的缝纫线迹缺陷检测方法
CN105023018A (zh) 一种喷码检测方法及系统
CN102441581A (zh) 基于机器视觉的型钢断面尺寸在线检测的装置及方法
CN105763871A (zh) 一种摄像机清晰度的实时检测系统及检测方法
CN108416765A (zh) 一种字符缺陷自动检测方法和系统
CN104966283A (zh) 图像分层配准方法
CN109900711A (zh) 基于机器视觉的工件缺陷检测方法
CN107576600B (zh) 一种抹茶粒度等级的快速检测方法
CN108364306B (zh) 一种高速周期运动的视觉实时检测方法
CN110111317A (zh) 一种基于机器人智能末端的点胶质量视觉检测方法
US11049249B2 (en) Method, apparatus and system for cell detection
CN104677906A (zh) 影像信息检测方法
CN109632007B (zh) 一种边缘点提取方法及齿轮高精度视觉测量系统
JPH0875418A (ja) 物体の自動認識方法および自動認識装置
US9311710B1 (en) Method for measuring width of gap of display module
CN106996911A (zh) 二维检测锡膏印刷的定位方法
KR101974638B1 (ko) 식물 영상 처리 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination