CN110111317A - 一种基于机器人智能末端的点胶质量视觉检测方法 - Google Patents

Abstract

本发明公开了一种基于机器人智能末端的点胶质量视觉检测方法，采用运动学的转移矩阵运算方法，将机器人视觉末端定位于垂直位置，进行视觉采集。并对采集所得的图像进行前置处理、特征提取、参数计算等步骤，后将计算所得的参数传输至携带摄像机的机器人末端的控制单元使之在一个旋转自由度内调整摄像机的姿态以便获得误差更小的原始图像。系统最终分别实现了考虑拍摄角度影响和不考虑拍摄角度影响的宽度检测，并给出以像素为单位的宽度值。

Description

一种基于机器人智能末端的点胶质量视觉检测方法

【技术领域】

本发明属于注塑件点胶条带检测技术领域，涉及一种基于机器人智能末端的点胶质量视觉检测方法。

【背景技术】

点胶工艺广泛应用于各种结构件封装、连接等工况。点胶工艺完成后需要对点胶质量进行检测。由于材料为非金属，硬度、强度等力学性能又较金属相差较多。相当一部分适用于金属加工后质量检测的手段对点胶并不适用。传统的点胶质量检验仍旧较大程度的依赖人工检测，以致质量检测工序成本高、效率越低、精度差。

机器视觉是目前人工智能领域下一个较为热门的分支课题。借助计算机技术和光学技术，通过数码相机获知环境的光线信息并从中提取感兴趣的内容进行分析以完成各种任务。随着上述领域的技术发展，机器视觉逐渐被工业领域广泛用于测量、监控、识别等应用。借助机器视觉完成产品质量检测的技术应用逐渐普及。而利用机器视觉通过对图像的处理分析能够高效精确地完成点胶条带几何参数的检测。

【发明内容】

本发明的目的在于克服上述现有技术的缺点，提供一种简便易行、成本低廉、适用于小型自动化生产线的基于机器人智能末端的点胶质量视觉检测方法

为达到上述目的，本发明采用以下技术方案予以实现：

一种基于机器人智能末端的点胶质量视觉检测方法，包括以下步骤：

步骤1：图像数据获取

获取的图像数据，其突起带的走向与图像的边缘、成像平面以及非突起的基体平面平行；

步骤2：图像处理

通过图像处理程序对获取的图像数据进行筛选分析，得到参数结果，并将参数结果反馈给监控人员，供结果评估；参数结果包括视场范围以内的特征条带最大宽度、平均宽度以及误差的主要影响项角度参数，误差的主要影响项角度参数为特征条带拟合直线与图像边缘所成角度，即偏转角度；

步骤3：结果评估

根据步骤2所反馈的参数结果评估注塑件点胶工序的质量是否达到预设条件，以及智能末端图像拍摄的姿态是否达到预设条件；从最大宽度、平均宽度的绝对值，最大宽度与平均宽度的差值以及与图像坐标所成角度判定其质量好坏。

本发明进一步的改进在于：

步骤2的具体方法如下：

步骤2.1：图像前置处理

按顺序使用灰度化、空间滤波和阈值处理，将目标突起特征以二值图像中低明度区域的形式分离；

步骤2.2：特征提取

以经过前置处理的图像为原始数据，提取图像中感兴趣的低明度区域，寻找其边界并计算封闭边界的最小外接矩形并记录外接矩形的长、宽、中心坐标以及偏转角度；

步骤2.3：参数计算

采用逐列自上而下遍历像素点的方法计算兴趣区域的列宽度值数组，并对用该数组求列均值作为其平均宽度，并将结果反馈给监控人员；

采用自左向右的方式逐行遍历像素求得图像最上侧开始有黑色像素的一行标号与最下侧有黑色像素的一行标号之差作为目标区域的最大宽度，并将结果反馈给监控人员。

步骤3中，注塑件点胶工序质量的预设条件为特征条带宽度在预设的范围以内：

i.直线度满足要求；

ii.特征条带拟合直线走向满足预设要求；

ii.无间断或宽度突变。

步骤3中，拍摄姿态预设条件如下：

能够获得使后续图像处理步骤区分特征区域与非特征区域的图像的拍摄姿态。

步骤3中，针对点胶质量向监控人员提示并反馈评估结果，当时，该突起条带的直线度不足或突起条带的边缘不平整形成凹陷、坑洼或突起，认为注塑件点胶质量不合格。

与现有技术相比，本发明具有以下有益效果：

本发明利用计算机视觉技术，实现点胶工序后的质量检测自动化。减少甚至完全摒弃人工检测，从而提升检测效率，减少人工成本。使用自动化的计算机图像处理检测系统，使得检测工序实现24小时不间断的质量检测。使用既定的处理算法实现点胶特征的宽度检测，配合高分辨率的图像传感器以及高复制比率的显微镜头实现高于人工检测精度。

【附图说明】

图1是本发明的检测环境与对象示意图；

图2是摄像机的拍摄姿态与光照条件布置示意图；

图3是本发明的系统功能框图；

图4是不考虑拍摄角度引起误差的最大宽度计算流程图；

图5是平均宽度计算程序框图；

图6是对典型对象拍摄所得图像进行边缘提取后的结果图；

图7是应用例中摄像机拍摄所得的灰度图；

图8是图7经高斯滤波所得的结果图；

图9是对图8进行阈值处理的结果图。

【具体实施方式】

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，不是全部的实施例，而并非要限制本发明公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要的混淆本发明公开的概念。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

本发明公开的上下文中，当将一层/元件称作位于另一层/元件“上”时，该层/元件可以直接位于该另一层/元件上，或者它们之间可以存在居中层/元件。另外，如果在一种朝向中一层/元件位于另一层/元件“上”，那么当调转朝向时，该层/元件可以位于该另一层/元件“下”。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合附图对本发明做进一步详细描述：

参见图1-图3，本发明基于机器人智能末端的点胶质量视觉检测方法，包括以下步骤：

步骤1：图像获取

为了能够准确地分辨出需要识别的特征，在获取图像时，寻找一定的方法将目标特征与其他部分(非特征区域)区分开来。被测对象表面除需要检测宽度的突起带外，仅有一光滑的平面被突起带一分为二。故考虑光源设置让非凸起部分发生镜面反射，使得突起部分与非凸起部分有较为明显的明度差异。因此进行试验寻找合适的光源入射角度，实现的形式如图1。另外，拍摄时尽量使得突起带的走向与图像的边缘平行、成像平面与非突起的基体平面平行，有利于减少图像处理时的复杂度，简单地按像素行或列遍历即可得到相对准确的宽度值而无需额外的计算。

步骤2：图像处理

对获取的图像数据输入图像处理程序进行筛选分析，以求得感兴趣的最大宽度与平均宽度以及误差的主要影响项角度参数并返回供结果评估。

步骤2.1：图像前置处理(信息的筛选与目标信息增强)

按顺序使用灰度化、空间滤波和阈值处理，将目标突起特征以二值图像中低明度区域的形式分理出来。

步骤2.2：特征提取

以经过前置处理的图像为原始数据，提取图像中感兴趣的低明度区域，寻找其边界并计算封闭边界的最小外接矩形并记录外接矩形的长、宽、中心坐标以及偏转角度。

步骤2.3：参数计算

如图4所示，采用逐列自上而下遍历像素点的方法计算兴趣区域(低明度区域)的列宽度值数组，并对用该数组求列均值作为其平均宽度(像素值)并返回。如图5所示采用自左向右的方式逐行遍历像素求得图像最上侧开始有黑色像素的一行标号与最下侧有黑色像素的一行标号之差作为目标区域的最大宽度(像素值)并返回。

步骤3：结果评估：根据步骤2所反馈的参数结果评估注塑件点胶工序的质量是否达标，以及智能末端图像拍摄的姿态是否合适。参数结果为图像处理所得的视场范围以内的特征条带最大宽度、平均宽度与特征条带拟合直线与图像边缘所成角度。注塑件点胶工序质量为特征条带宽度在预设的范围以内；直线度满足要求；特征条带拟合直线走向满足预设要求；无间断或宽度突变。合适的拍摄姿态为能够获得使后续图像处理步骤尽量简单高效地区分特征区域与非特征区域的图像的拍摄姿态是合适的。例如某拍摄姿态使得特征区域均为暗部而非特征区域均为高光的拍摄姿态。拍摄姿态为光源、摄像机和被检测对象三者之间的位置关系。

针对点胶质量向监控人员提示并反馈评估结果，当平均宽度与最大宽度相差较大时，一般为该突起条带的直线度不足或突起条带的边缘不平整形成凹陷、坑洼或突起。可认为注塑件点胶质量较差或不合格。因此，从视觉检测的结果，可从最大宽度、平均宽度的绝对值，最大宽度与平均宽度的差值以及与图像坐标所成角度判定其质量好坏。

实施例：利用本检测方法实现对注塑框架侧边点胶质量进行检测，并完成质量评估。由摄像机拍摄的可用的检测图像(灰度)如图6；在灰度图像的基础上进行高斯滤波并设置阈值使图像二值化如图7；并按思路遍历像素获知图像中特征的最大宽度和平均宽度如图8。此外，再求特征最小外接矩形求其拟合直线走向并计算先前宽度测量的误差值，并将上述所有测得的结果反馈至窗体界面如图9。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (5)

1.一种基于机器人智能末端的点胶质量视觉检测方法，其特征在于，包括以下步骤：

步骤1：图像数据获取

获取的图像数据，其突起带的走向与图像的边缘、成像平面以及非突起的基体平面平行；

步骤2：图像处理

通过图像处理程序对获取的图像数据进行筛选分析，得到参数结果，并将参数结果反馈给监控人员，供结果评估；参数结果包括视场范围以内的特征条带最大宽度、平均宽度以及误差的主要影响项角度参数，误差的主要影响项角度参数为特征条带拟合直线与图像边缘所成角度，即偏转角度；

步骤3：结果评估

根据步骤2所反馈的参数结果评估注塑件点胶工序的质量是否达到预设条件，以及智能末端图像拍摄的姿态是否达到预设条件；从最大宽度、平均宽度的绝对值，最大宽度与平均宽度的差值以及与图像坐标所成角度判定其质量好坏。

2.根据权利要求1所述的基于机器人智能末端的点胶质量视觉检测方法，其特征在于，步骤2的具体方法如下：

步骤2.1：图像前置处理

按顺序使用灰度化、空间滤波和阈值处理，将目标突起特征以二值图像中低明度区域的形式分离；

步骤2.2：特征提取

以经过前置处理的图像为原始数据，提取图像中感兴趣的低明度区域，寻找其边界并计算封闭边界的最小外接矩形并记录外接矩形的长、宽、中心坐标以及偏转角度；

步骤2.3：参数计算

采用逐列自上而下遍历像素点的方法计算兴趣区域的列宽度值数组，并对用该数组求列均值作为其平均宽度，并将结果反馈给监控人员；

采用自左向右的方式逐行遍历像素求得图像最上侧开始有黑色像素的一行标号与最下侧有黑色像素的一行标号之差作为目标区域的最大宽度，并将结果反馈给监控人员。

3.根据权利要求1所述的基于机器人智能末端的点胶质量视觉检测方法，其特征在于，步骤3中，注塑件点胶工序质量的预设条件为特征条带宽度在预设的范围以内：

i.直线度满足要求；

ii.特征条带拟合直线走向满足预设要求；

ii.无间断或宽度突变。

4.根据权利要求1所述的基于机器人智能末端的点胶质量视觉检测方法，其特征在于，步骤3中，拍摄姿态预设条件如下：

能够获得使后续图像处理步骤区分特征区域与非特征区域的图像的拍摄姿态。

5.根据权利要求1所述的基于机器人智能末端的点胶质量视觉检测方法，其特征在于，步骤3中，针对点胶质量向监控人员提示并反馈评估结果，当时，该突起条带的直线度不足或突起条带的边缘不平整形成凹陷、坑洼或突起，认为注塑件点胶质量不合格。