CN108311859B - 一种基于视觉检测技术的绝缘子自动装配方法 - Google Patents

Abstract

本发明涉及一种基于视觉检测技术的绝缘子自动装配方法，包括以步骤：捕获存放绝缘子的安装盒的边界，对安装盒的位置进行定位；通过检测安装盒边界是否平行，验证相机是否倾斜，若倾斜，则进行相机调整；检测绝缘子的类型；检测绝缘子安装板的位置，对安装板上的安装孔进行定位；检测安装板到相机的距离，根据绝缘子的类型及安装孔的位置，通过机械臂对绝缘子采用直插式安装。本发明所述的基于视觉检测技术的绝缘子自动装配方法，能够自动完成绝缘子的装配过程，提高了工作效率，降低了出错率及人工成本。

Description

一种基于视觉检测技术的绝缘子自动装配方法

技术领域

本发明涉及绝缘子装配技术领域，具体涉及一种基于视觉检测技术的绝缘子自动装配方法。

背景技术

基于机器视觉检测系统的特点是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成，是实现计算机集成制造的基础技术。基于视觉检查的绝缘子自动装配系统，是利用视频技术自动对绝缘子检修缺陷检测和自动装配的系统。目前的绝缘子装配，都是基于人工的方法，成本很高，而且很容易出现错误，效率也较低。

发明内容

本发明的目的在于提供一种基于视觉检测技术的绝缘子自动装配方法，能够自动完成绝缘子的装配过程，提高了工作效率，降低了出错率及人工成本。

为实现上述目的，本发明采用了以下技术方案：

一种基于视觉检测技术的绝缘子自动装配方法，包括以下步骤：

(1)捕获存放绝缘子的安装盒的边界，对安装盒的位置进行定位；

(2)通过检测安装盒边界是否平行，验证相机是否倾斜，若倾斜，则进行相机调整；

(3)检测绝缘子的类型；

(4)检测绝缘子安装板的位置，对安装板上的安装孔进行定位；

(5)检测安装板到相机的距离，根据绝缘子的类型及安装孔的位置，通过机械臂对绝缘子采用直插式安装。

进一步的，步骤(1)中，所述捕获存放绝缘子的安装盒的边界，对安装盒的位置进行定位，具体包括以下步骤：

(11)利用安装在机械臂上的工业相机捕获图像；

(12)利用Canny边缘检测算子，提取边缘；

(13)遍历所有的边缘像素，利用Hough直线检测方法，提取直线，同时计算出直线对应的方程；

(14)过滤长度小于20个像素的直线；

(15)对所有长度大于20个像素的直线进行分析，找到共线的直线；

(16)对于两条共线的直线，计算它们对应的边缘像素的最短距离；

(17)如果两条直线是共线直线，并且对应边缘的距离小于20个像素，则可以融合为一条直线；

(18)分析所有的直线检测结果，实现矩形定位。

进一步的，步骤(1)中，所述对安装盒的位置进行定位之后，还需要对安装盒上的绝缘子安装孔进行检测，确定安装孔内是否有绝缘子。

进一步的，所述对安装盒上的绝缘子安装孔进行检测，确定安装孔内是否有绝缘子，具体包括如下步骤：

(A)利用安装孔的检测结果，提取安装孔内部的图像；

(B)根据安装孔内部图像，计算Sobel梯度；

(C)设定阈值，将每个像素的Sobel梯度值大于阈值，作为前景像素；

(D)统计安装孔内部前景像素的数目比例；

(E)前景像素的数目比例超过10％，则存在绝缘子，否则，不存在绝缘子。

进一步的，步骤(3)中，所述检测绝缘子的类型，具体包括如下步骤：

(31)将绝缘子移动到背景灯前，利用相机拍照抓图；

(32)在图像中提取绝缘子的位置，实现定位；

(33)根据绝缘子的柱体的高、宽及引脚长度进行分类。

进一步的，步骤(3)中，所述检测绝缘子的类型之后还需要对绝缘子涂胶进行检测，具体步骤如下：

(31)将绝缘子移动到背景灯前，利用正对着背景灯的相机拍照抓图；

(32)检测当前绝缘子的柱体，判断柱体左右两侧的边界是否平直，若边界平直，则涂胶失败，进行预警；

(33)将当前绝缘子的柱体与模板图比较，若当前柱体图像与模板图做差之后，有多余的前景像素，前景像素的数目多于100个，则说明涂胶成功，否则涂胶失败。

由上述技术方案可知，本发明所述的基于视觉检测技术的绝缘子自动装配方法，能够自动完成绝缘子的装配过程，装配效率高，不会出错，不需要人工成本，可以连续工作。

附图说明

图1是本发明的方法流程图；

图2是本发明绝缘子抓取过程的具体流程图；

图3是本发明安装盒位置定位具体流程图；

图4是本发明的安装板定位具体流程图；

图5是本发明的安装孔检测流程图。

具体实施方式

下面结合附图对本发明做进一步说明：

如图1-5所示，一种基于视觉检测技术的绝缘子自动装配方法，包括以下步骤：

S1：绝缘子的抓取：利用机械臂捕获存放绝缘子的安装盒的边界，对安装盒的位置进行定位，具体定位过程如下：

S11：利用安装在机械臂上的工业相机捕获图像；

S12：利用Canny边缘检测算子，提取边缘；

S13：遍历所有的边缘像素，利用Hough直线检测方法，提取直线，同时计算出直线对应的方程；

S14：过滤长度小于20个像素的直线；

S15：对所有长度大于20个像素的直线进行分析，找到共线的直线：

在分析两条直线是否共线时，只需要利用它们各自对应的直线方程，计算二者的距离。如果两条直线距离小于3个像素，就是共线直线。

S16：对于两条共线的直线，计算它们对应的边缘像素的最短距离，遍历两条直线边缘上的所有的边缘点，得到最近的两个边缘的距离；

S17：如果两条直线是共线直线，并且对应边缘的距离小于20个像素，则可以融合为一条直线；

S18：分析所有的直线检测结果，实现矩形定位；最终得到的四条边，就是安装盒的外部边界位置，则安装盒定位结束。

该步骤中，首先找到所有两条边界，左右两条边界是平行的，彼此距离与预先设定的阈值(1000像素)相差不超过10个像素，左右边界的方向接近90°，然后用同样的类似方法，找到上下两条边界。计算左右边界和上下边界的夹角，夹角范围在[85°，95°]之间时，这四条边可以构成矩形。

因为安装盒上有很多圆孔或者扁长孔，它们是用来放置绝缘子的，为了准确的自动抓取，需要对圆孔位置进行定位，具体定位步骤如下：

S111：利用模板图得到每一个圆孔的大致位置；

S112：检测圆孔的大致位置，在图像中检测圆形：先提取canny边缘，然后利用hough圆形检测算法计算半径和圆心。将半径与预先设定的半径值进行比较。本实施例所述的安装盒上有两种圆孔，半径分别是50像素和100像素。如果检测的圆形的半径与实际设定值超过5个像素，则认为没检测到圆。否则，检测圆孔成功。对所有的圆孔检测结果进行记录，用于后续抓取过程。

安装盒上的扁长孔检测：对扁长孔的定位，需要利用模板匹配的方法来进行，具体如下：

S113：预先存储好扁长孔的模板图，模板图是一幅边缘图，对应扁长孔的外边界；

S114：在图像中，扁长孔所在的局部区域内(200*200像素尺寸)，利用canny边缘检测方法检测边缘；

S115：将模板图与canny边缘图进行逐像素平移匹配：计算模板图上的边缘像素，有多少个能够匹配上的(匹配的定义是：当模板图移动到边缘图中的某个位置时，统计模板图与边缘图都是前景像素的位置的数目。该数目除以模板图中前景像素的总数目，就是匹配度)；找到匹配度最高的位置，此时模板图中心对应的位置，就是所需要的扁长孔的中心位置。

在抓取绝缘子之前，还需要检测安装孔里面是否有绝缘子。在没有绝缘子的时候，安装孔中的图像是黑色的。而存在绝缘子时，可以看到明显的梯度变化。因此该过程可以通过检测圆孔内部图像的梯度规律来完成。具体如下：

(A)利用安装孔的检测结果，提取安装孔内部的图像；

(B)根据安装孔内部图像，计算Sobel梯度；

(C)设定阈值，将每个像素的Sobel梯度值大于阈值，作为前景像素；

(D)统计安装孔内部前景像素的数目比例；

(E)前景像素的数目比例超过10％，则存在绝缘子，否则，不存在绝缘子。

S19：检测安装盒上表面到相机的距离：

在抓取过程中，安装盒到相机和机械臂的距离，对抓取成功影响很大，通过如下方法检测安装盒的距离。

利用安装盒的长和宽在图像中对应的像素尺寸，来验证安装盒的距离。(安装盒的尺寸，与其到相机的距离，存在严格的一一对应关系，只需查表，就可以知道大致的距离。)在系统使用之前，先记录下相机在不同距离时，安装盒的像素尺寸，将该对应关系，记录在表格中。

在实际使用时，可以先抓取图像，利用前面的方法，检测到安装盒，然后对安装盒的长宽尺寸的计算；再根据当前尺寸值，以及表格中的对应关系，利用线性插值的方法，计算得到精准的距离值。

S2：安装盒异常检测：通过检测安装盒边界是否平行，验证相机是否倾斜，若倾斜，则进行相机调整；

有些特殊情形下，相机的光轴方向，与安装盒可能不是垂直关系。通过检测安装盒边界是否平行，验证相机是否倾斜。具体方法如下：

S21：利用前面的方法，提取得到安装盒外部边界；

S22：利用外部边界，分析相机的光轴方向，与安装盒是不是垂直关系；

S23：检测左右边界的长度，是否一致，若安装盒左右边界长度之差超过10个像素，认为不一致；检测安装盒上下边界的长度，是否一致，若上下边界长度之差超过10个像素，认为不一致；检测安装盒左右边界是否平行，若左右边界对应的直线的方向角，超过3度，认为不平行，检测安装盒上下边界是否平行，上下边界对应的直线的方向角，超过3度，认为不平行；检测安装盒四个角是否为90度，若四个角中只要有任何一个角，不在[85°，95°]的范围内，就认为不是直角。以上条件，只要有一个条件不满足，就说明相机角度不对，需要调整和预警。

S3：检测绝缘子的类型；

本本实施例中，共需要安装三种绝缘子，为了提高稳定性，需要检测它们的类型。具体步骤如下：

S31：利用机械臂，将绝缘子移动到背景灯前，利用正对着背景灯的相机拍照抓图；

S32：在图像中提取绝缘子的位置，实现定位；

S33：根据绝缘子的柱体的高、宽及引脚长度进行分类(三种绝缘子的高宽和引脚长度事先都已经记录，只需要与记录的经验值比较，就能够实现分类)，如根据绝缘子的引脚的数量进行分类，扁长绝缘子具有两个引脚，这是很显著的特征。

涂胶结果的检测，在绝缘子装配系统中，有涂胶的过程，所以本实施例需要对涂胶结果进行检测，以防止涂胶失败的绝缘子被错误插入到目标板上。

本实施例采用摄像机和视觉技术来完成该过程，具体如下：

S34：利用机械臂，将绝缘子移动到背景灯前，利用正对着背景灯的相机拍照抓图。

S35：在图像中提取绝缘子的位置，实现定位；

S36：检测当前绝缘子的柱体，左右两侧的边界是否平直，边界如果平直，这说明涂胶失败，要预警(进行了涂胶操作的绝缘子，柱体边界上会出现各种凸起、凹陷等不平整的边缘，利用这个特性，可以知道是否涂胶失败)。

S37：将当前绝缘子的柱体，与模板图比较，事先存储各种绝缘子的柱体的图片，作为模板。如果当前柱体图像，与模板图做差之后，有多余的前景像素，如果前景像素的数目多于100个，则说明涂胶成功，否则涂胶失败。

S4：检测绝缘子安装板的位置，对安装板上的安装孔进行定位；

S41：在将绝缘子安插到安装孔之前，需要提前检测是否存在安装板，否则会出现异常。检测方法具体如下：

系统开启以前，先将安装板放置在工作位置，然后开启摄像机，捕获图像，作为模板图储存；工作时，机械臂与相机运动到安装板正上方，捕获图像；将当前图像与模板图像进行匹配；对当前图像进行逐像素移动，移动范围限定为10个像素；在每个匹配位置，计算两张图图像的匹配度(直接比较每个像素的亮度差值，全图所有像素的亮度差值求和，计算平均值)；然后找到亮度差值最小的匹配位置，若最小平均亮度差值如果小于5，则说明找到安装板，否则，没有安装板，预警。

S42：检测安装板的类型：

安装板具有多种类型，不同安装板上，安装孔的位置、数量、结构完全不一样。因此需要检测各种安装板的类型，从而控制机械臂的安装流程。安装板的类型检测方法，本实施例采用与模板图匹配的方法来进行。具体如下：

提前存储模板图，捕获当前图像，将当前图像与各种模板图进行匹配，找到匹配误差最小的模板图；如果当前匹配效果最好的匹配误差，平均亮度差值小于5，则将匹配误差最小的模板图对应的安装板的类型，作为最终的分类结果。

S43：安装板位置偏差检测：安装板在每次放置到工作位置之后，很可能存在一定的偏移误差，在安装绝缘子之前，需要提前检测到偏差量，在安装时进行具体修正。偏移量的计算，也通过匹配实现。如前所述利用最佳匹配位置，相对于默认位置的平移量，作为具体的偏差位置。

S44：对安装板上安装孔检测：本实施例的安装孔有圆形和扁长形，具体检测步骤如下：

S441：圆形安装孔定位：在前面捕获的安装板图像中，截取局部子图像(200*200像素)；对子图像进行二值化。二值化的阈值是100。像素亮度值低于100的作为前景；连通域分析，找到当前区域内，最大的连通域，作为圆孔对应的连通域；计算连通域的外接矩形的中心点；将该中心点作为初始圆心；计算外接矩形的长和宽的均值；将长宽均值的一半，作为初始半径。

S442：扁长安装孔定位：扁长安装孔的定位需要用到模板匹配，具体步骤与步骤S223-S115的步骤相同。

扁长安装孔，对应的连通域的外接矩形，长宽尺寸与预先设定的经验值比较，误差小于5个像素，可以判断是扁长安装孔。圆形安装孔又可分为大圆孔和小圆孔，安装孔半径与预先设定的经验值比较，误差小于5个像素，可以判断是大圆安装孔，半径与预先设定的经验值比较，误差小于5个像素，可以判断是小圆安装孔。

S5：检测安装板到相机的距离，根据绝缘子的类型及安装孔的位置，通过机械臂对绝缘子采用直插式安装。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (6)

1.一种基于视觉检测技术的绝缘子自动装配方法，其特征在于，包括以下步骤：

（1）捕获存放绝缘子的安装盒的边界，对安装盒的位置进行定位；

（2）通过检测安装盒边界是否平行，验证相机是否倾斜，若倾斜，则进行相机调整；

（3）检测绝缘子的类型；

（4）检测绝缘子安装板的位置，对安装板上的安装孔进行定位；

（5）检测安装板到相机的距离，根据绝缘子的类型及安装孔的位置，通过机械臂对绝缘子采用直插式安装。

2.根据权利要求1所述的基于视觉检测技术的绝缘子自动装配方法，其特征在于：步骤（1）中，所述捕获存放绝缘子的安装盒的边界，对安装盒的位置进行定位，具体包括以下步骤：

（11）利用安装在机械臂上的工业相机捕获图像；

（12）利用Canny边缘检测算子，提取边缘；

（13）遍历所有的边缘像素，利用Hough直线检测方法，提取直线，同时计算出直线对应的方程；

（14）过滤长度小于20个像素的直线；

（15）对所有长度大于20个像素的直线进行分析，找到共线的直线；

（16）对于两条共线的直线，计算它们对应的边缘像素的最短距离；

（17）如果两条直线是共线直线，并且对应边缘的距离小于20个像素，则可以融合为一条直线；

（18）分析所有的直线检测结果，实现矩形定位。

3.根据权利要求1所述的基于视觉检测技术的绝缘子自动装配方法，其特征在于：步骤（1）中，所述对安装盒的位置进行定位之后，还需要对安装盒上的绝缘子安装孔进行检测，确定安装孔内是否有绝缘子。

4.根据权利要求3所述的基于视觉检测技术的绝缘子自动装配方法，其特征在于：所述对安装盒上的绝缘子安装孔进行检测，确定安装孔内是否有绝缘子，具体包括如下步骤：

（A）利用安装孔的检测结果，提取安装孔内部的图像；

（B）根据安装孔内部图像，计算Sobel梯度；

（C）设定阈值，将每个像素的Sobel梯度值大于阈值，作为前景像素；

（D）统计安装孔内部前景像素的数目比例；

（E）前景像素的数目比例超过10%，则存在绝缘子，否则，不存在绝缘子。

5.根据权利要求1所述的基于视觉检测技术的绝缘子自动装配方法，其特征在于：步骤（3）中，所述检测绝缘子的类型，具体包括如下步骤：

（31）将绝缘子移动到背景灯前，利用相机拍照抓图；

（32）在图像中提取绝缘子的位置，实现定位；

（33）根据绝缘子的柱体的高、宽及引脚长度进行分类。

6.根据权利要求1所述的基于视觉检测技术的绝缘子自动装配方法，其特征在于：步骤（3）中，所述检测绝缘子的类型之后还需要对绝缘子涂胶进行检测，具体步骤如下：

（31）将绝缘子移动到背景灯前，利用正对着背景灯的相机拍照抓图；

（32）检测当前绝缘子的柱体，判断柱体左右两侧的边界是否平直，若边界平直，则涂胶失败，进行预警；

（33）将当前绝缘子的柱体与模板图比较，若当前柱体图像与模板图做差之后，有多余的前景像素，前景像素的数目多于100个，则说明涂胶成功，否则涂胶失败。