CN114720473A - 基于机器视觉的车载屏幕背板的缺陷检测方法 - Google Patents

Abstract

本发明涉及一种基于机器视觉的车载屏幕背板的缺陷检测方法，包括以下步骤：1、获取待测样品屏幕背壳的灰度和彩色图像及PCB的排线图像；2、根据屏幕背壳的灰度图像进行导热泡棉检测，判断出每个位置的导热泡棉粘贴是否有缺陷；根据屏幕背壳的彩色图像进行导电泡棉检测，判断出每个位置的导电泡棉粘贴是否有缺陷；根据获取PCB所有排线的彩色图像进行PCB排线检测，并判断每一处PCB排线是否异常。本发明的车载屏幕背板缺陷检测方法简单，便于调试和重用，可对不同尺寸大小的屏幕背板进行缺陷检测,可准确检测屏幕背板的导热泡棉、导热泡棉和排线的缺陷，自动化程度高。

Description

基于机器视觉的车载屏幕背板的缺陷检测方法

技术领域

本发明涉及车载屏幕背板检测领域，具体讲的是一种基于机器视觉的车载屏幕背板的缺陷检测方法。

背景技术

车载屏幕背板上主要装有导热泡棉，导电泡棉以及PCB排线接口。为了生产合格的屏幕产品，在屏幕生产的过程中，需要检测屏幕背板上每个点位是否都粘贴了完整的导热泡棉、导电泡棉，PCB排线是否安装异常，导热泡棉和导电泡棉安装位置精度误差，以及背板上每个PCB排线插口是否插上了排线，排线是否按插有误等。传统的检测方法往往是采用人工来检测，效率低，检测速度慢，精度差。现有的一些机器视觉检测方法，一方面只能检测一种尺寸屏幕背板的几类缺陷，另一方面只能检测不同尺寸屏幕背板的一类缺陷，并且检测装置调整部署不便，检测算法设计复杂，不便于参数调节和算法的复用。

发明内容

本发明要解决的技术问题是提供一种基于机器视觉的车载屏幕背板的缺陷检测方法。本发明采用以下技术方案：

一种基于机器视觉的车载屏幕背板的缺陷检测方法，包括以下步骤：

步骤1、获取待测样品屏幕背壳的灰度和彩色图像及PCB的排线图像；

步骤2、根据屏幕背壳的灰度图像进行导热泡棉检测，得到导热泡棉的轮廓数量，以及每个导热泡棉的位置，对每个导热泡棉进行标记，设置标记序号参数，将每个导热泡棉的位置序号与标准的产品进行对比，判断出每个位置的导热泡棉粘贴是否有缺陷；

根据屏幕背壳的彩色图像进行导电泡棉检测，得到导电泡棉的轮廓数量，以及每个导电泡棉的位置，对每个导电泡棉进行标记，设置标记序号参数，将每个导电泡棉的位置序号与标准的产品进行对比，判断出每个位置的导电泡棉粘贴是否有缺陷；

根据获取PCB所有排线的彩色图像进行PCB排线检测，并判断每一处PCB排线是否异常。

进一步的，进行导热泡棉检测的方法包括以下步骤：

步骤2.1a、获取屏幕背壳的灰度图像，进行灰度图像的前景和背景的分割，遍历所有灰度等级，计算出方差最大的灰度值，并以该阈值为图像二值化分割的最佳阈值，对屏幕背壳的灰度图像进行二值化；

步骤2.2a、对二值化后的图像去除噪点，连接断点，连通区域，去除边角的干扰；

步骤2.3a、对上一步处理后的图像提取矩形区域的轮廓，利用预设导热泡棉过滤条件对矩形区域的轮廓进行筛选，保留符合条件的轮廓作为导热泡棉的轮廓，所述预设过滤条件根据标准导热泡棉的形状、大小以及位置特征设置，包括导热泡棉轮廓尺寸、轮廓起始坐标的位置和最小外接矩形旋转角度阈值参数；

步骤2.4a、经过上述步骤，得到导热泡棉的轮廓数量，以及每个导热泡棉的位置，对每个导热泡棉的轮廓进行标记，设置标记序号参数；

步骤2.5a、将每个导热泡棉的位置序号与标准的产品进行对比，判断出待测样品每个位置的导热泡棉粘贴是否有缺陷。

进一步的，进行导电泡棉检测的方法包括以下步骤：

步骤2.1b、获取屏幕背壳的彩色图像，截取目标区域的位置，将图像进行大小归一化操作；

步骤2.2b、将图像转为HSV格式，根据导电泡棉的颜色特征，进行颜色二值化，然后清除噪点，连接断点，提取连通域，过滤掉干扰区域；

步骤2.3b、对上一步处理后的图像提取矩形区域的轮廓，利用预设导电泡棉过滤条件对矩形区域的轮廓进行筛选，保留符合条件的轮廓作为导电泡棉的轮廓，所述预设过滤条件根据实际导电泡棉的形状、大小以及位置特征设置，包括导电泡棉轮廓尺寸、轮廓起始坐标的位置和最小外接矩形旋转角度阈值参数；

步骤2.4b、经过上述步骤，得到导电泡棉的轮廓数量，以及每个导电泡棉的位置，对每个导电泡棉进行标记，设置标记序号参数；

步骤2.5b、将每个导电泡棉的位置序号与标准的产品进行对比，判断出待测样品每个位置的导电泡棉粘贴是否有缺陷。

进一步的，所述步骤2中，进行PCB排线检测的方法包括以下步骤：

步骤2.1c、获取一处PCB排线的彩色图像，自适应截取目标区域，将图像大小进行归一化，并将图像转换为HSV格式；

步骤2.2c、判断图像颜色是否失真，如果颜色失真，则将图像V通道单通道图像进行二值化处理，转到下一步；若图像没有颜色失真，则进行模糊处理，然后进行二值化处理，转到下一步；

步骤2.3c、将上一步获取的二值化图像进行腐蚀操作，清除噪点，接着进行膨胀操作，连接断点；

步骤2.4c、提取上一步处理后图像的联通区域，通过联通区域的大小、位置和形状特征参数过滤掉干扰的联通区域，得到保留区域；

步骤2.5c、判断保留区域的数量是否为2，若是则转到下一步，否则判断PCB排线异常，检测为缺陷样件，返回异常结果，检测结束；

步骤2.6c、根据区域的高度，区分排线底座区域和白线区域，截取排线底座的中间区域；

步骤2.7c、提取上一步中截取区域中的联通区域，过滤掉不符合排线形状、位置或尺寸参数的区域，然后判断保留区域的数量是否为1；是则提取联通区域，过滤掉不符合排线形状、位置或尺寸参数的区域，转到下一步；否则判断PCB排线异常，检测为缺陷样件，返回异常结果，检测结束；

步骤2.8c、将上一步中提取的联通区域，截取排线底座与白线之间的区域，判断颜色是否失真，若图像颜色失真，则根据V通道图像进行二值化处理，转到下一步；若图像颜色没有失真，则将图像直接进行二值化处理，转到下一步；

步骤2.9c、将二值化后的图像过滤掉离散点，连接断点，并且提取联通区域，过滤掉不符合排线形状、位置或尺寸参数的区域；

步骤2.10c、判断上一步过滤后剩余的联通区域是否为1，若是则计算白线两端与排线底座垂直距离的偏移；否则判断PCB排线异常，检测为缺陷样件，返回异常结果，检测结束；

步骤2.11c、计算白线两端与排线底座垂直距离的偏移量的大小，判断偏移量是否小于预设阈值，若是则判断为正常样件，检测结束；否则判断PCB排线异常，检测为缺陷样件，返回异常结果，检测结束；

进一步的，还包括的PCB背板导热泡棉和导电泡棉粘贴精度检测，具体包括以下步骤：

步骤3.1、通过导热泡棉和导电泡棉后的检测结果，获取每个泡棉区域矩形轮廓的左上点坐标P1和右下点坐标P2；

步骤3.2、获取PCB板上固定圆柱孔的轮廓，提取轮廓的边缘点信息；

步骤3.3、进行圆柱投影边缘点椭圆拟合，设置拟合椭圆的长短轴半径和比例，然后获取拟合椭圆的中心坐标点P；

步骤3.4、分别计算泡棉的矩形像素坐标点P1和P2到P的欧式距离；

步骤3.5、将P1和P2到P的欧式距离分别与对应预设距离精度阈值对比，判断泡棉粘贴精度是否符合质量要求。

本发明采用以上技术方案后，与现有技术相比，具有以下优点：

本发明的车载屏幕背板缺陷检测方法简单，便于调试和重用，可对不同尺寸大小的屏幕背板进行缺陷检测,可准确检测屏幕背板的导热泡棉、导热泡棉和排线的缺陷，自动化程度高。

下面结合附图和实例对本发明进行详细说明。

附图说明

图1是本发明的结构示意图

图2是本发明的屏幕背板导热泡棉检测流程图

图3是本发明的屏幕背板导电泡棉检测流程图

图4是本发明的屏幕背板PCB排线检测流程图

图5是本发明的屏幕背板导电泡棉和导热泡棉检测流程图

附图中，各标号所代表的部件列表如下：

1-运载平台，2-屏幕背壳限位装置，3-第一视觉检测组件，4-第二视觉检测组件，5-第三视觉检测组件

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，一种基于机器视觉的车载屏幕背板的缺陷检测装置，包括不同尺寸屏幕背壳的运载平台1、屏幕背壳限位装置2、第一视觉检测组件3(包括工业相机、工业镜头以及光源)、第二视觉检测组件4以及第三视觉检测组件5。

所述的屏幕运载平台安装在移动导轨上方，且运载平台一次性可以同时运载三个不同尺寸大小的屏幕，包括：IC型屏幕(265*90mm)、ICS型屏幕(254*232mm)、以及FIR型屏幕(172*60mm)，并且根据实际需要可以调整运载平台搭载屏幕的数量和尺寸；

所述的移动导轨以单个运载平台为单位，循环重复地将每个运载平台向前运送到检测位置，所述的屏幕限位装置安装在移动导轨的固定平台上，用来定位每个屏幕的放置位置，从而提升视觉检测的稳定性和精确性；

所述的机器视觉组件，包括三个缺陷检测的工业CCD相机，相机依次平行安装在移动导轨固定平台上方，垂直拍摄每个屏幕的背板，光源安装在相机前面，用来补光，滤光片安装在镜头上，用来滤掉自然光的干扰；

一种基于机器视觉的车载屏幕背板的缺陷检测方法。包括以下步骤：

所述的将运载平台上的屏幕背板静放相机检测工位下方，每个工业相机对应检测运载平台上的一种屏幕背板，每个屏幕需要检测的缺陷项目和数量大小为：ICS型屏幕包括：导热泡棉(4个)缺陷检测、导电泡棉(2个)缺陷检测、排线(4个)缺陷检测以及导热泡棉和导电泡棉的粘贴精度检测；IC型屏幕包括：导热泡棉(5个)缺陷检测、导电泡棉(2个)缺陷检测、排线(2个)缺陷检测以及导热泡棉和导电泡棉的粘贴精度检测；FIR型屏幕包括：导热泡棉(2个)缺陷检测、导电泡棉(2个)缺陷检测、排线(2个)缺陷检测以及导热泡棉和导电泡棉的粘贴精度检测；

进一步的，调整每个相机位置，使屏幕背板完全在相机的视野范围内，并且调整每个相机镜头的焦距、光圈以及曝光时间等参数，使屏幕背板能够清晰成像。调整完成后，锁死每个相机镜头的调焦和调光圈旋钮；

所述的导热泡棉检测包括以下步骤：

步骤1、如图2所示，获取屏幕背壳的灰度图像，统计灰度等级中每个像素在整幅图像中的个数，并计算每个像素在整幅图像中的比例，采用经典的OSTU算法，进行灰度图像的前景和背景的分割，遍历灰度等级[0，255]，计算出方差最大的灰度值，并以该阈值为图像二值化分割的最佳阈值。

步骤2、以上述步骤获取的最佳阈值来对图像进行二值化，对二值化后的图像进行膨、腐蚀操作，去除单独噪点，获取连通区域，去除边角的干扰。

进一步的，寻找导热泡棉的轮廓，获取轮廓的大小，每个导热泡棉的长度和宽度具有固定的比例，获取轮廓的外接矩形的长度、宽度、起始点的二维坐标以及长宽比参数，然后获取每个导热泡棉轮廓最小外接矩形的旋转角度；

步骤3、根据导热泡棉的形状、大小以及位置特征，设置轮廓大小，外接矩形长度、宽度以及起始坐标的自适应阈值参数，然后设置外接矩形的长宽比参数和最小外接矩形旋转角度等阈值参数，利用这些参数来判别所获取的轮廓是否为导热泡棉的轮廓；

步骤4、经过上述步骤，得到导热泡棉的轮廓数量，以及每个导热泡棉的位置，对每个导热泡棉进行标记，设置标记序号参数，用来记录所获取的导热泡棉在屏幕背板上面的位置；

步骤5、将每个导热泡棉的位置序号与标准的产品进行对比，判断出每个位置的导热泡棉粘贴是否有缺陷(没有粘贴导热泡棉或者导热泡棉粘贴倾斜等缺陷)。

所述的导电泡棉检测包括以下步骤：

步骤1、如图3所示，获取屏幕背壳的彩色图像，截取目标区域的位置，将图像进行大小归一化操作；

进一步的，将图像转为HSV格式，根据导电泡棉的颜色特征，进行颜色二值化，然后清除噪点(腐蚀操作)，连接断点(膨胀操作)，提取连通域，过滤掉干扰区域；

步骤2、寻找导电泡棉的轮廓，获取轮廓的大小，外接矩形的长度、宽度、起始点的二维坐标以及外接矩形的长宽比参数；根据导电泡棉的形状、大小以及位置特征，设置轮廓大小，外接矩形长度、宽度以及起始坐标的自适应阈值参数，然后设置外接矩形的长宽比参数阈值参数，利用这些参数来判别所获取的轮廓是否为导电泡棉的轮廓；

步骤3、经过上述步骤，得到导电泡棉的轮廓数量，以及每个导电泡棉的位置，对每个导电泡棉进行标记，设置标记序号参数；

步骤4、将每个导电泡棉的位置序号与标准的产品进行对比，判断出PCB背板当前的位置是否粘贴有导电泡棉以及粘贴导电泡棉是否粘贴倾斜等缺陷。

所述的PCB排线检测包括以下步骤：

步骤1、如图4所示，首先获取PCB排线的彩色图像，排线和排线底座区域主要为白色，PCB背板的颜色主要为绿色，通过颜色区分就能识别出排线所在的区域位置。通过自适应截取目标区域，将图像大小进行归一化，加快计算速度，然后将图像从RGB格式转换为HSV格式；

步骤2、判断图像颜色是否失真，如果颜色失真，则将图像V通道单通道图像进行二值化处理；若图像没有颜色失真，则进行模糊处理，获取图像的最佳分割阈值，对图像进行二值化处理；

步骤3、将上一步获取的二值化图像进行腐蚀操作，清除噪点，接着进行膨胀操作，连接断点；

步骤4、提取处理后图像的联通区域，通过联通区域的大小、位置、形状等特征参数过滤掉干扰的联通区域；

步骤5、通过上述干扰区域的过滤，判断保留区域的数量，若保留下来的联通区域不是只有两个，则判断PCB排线异常，检测为缺陷样件，返回异常结果，检测结束；

步骤6、若判断联通区域数量为两个，则需要根据所获取的联通区域的在图像中的像素高度，区分排线底座区域和白线区域，截取排线底座的中间区域(高度与排线底座保持一致)；

步骤7、提取上一步中截取区域的联通区域，过滤掉不符合条件的区域，然后判断保留区域的数量。若剩下的联通区域数量不等于1，则判断PCB排线异常，检测为缺陷样件，返回异常结果，检测结束；若只有一个联通区域，则提取联通区域，过滤掉不符合条件的区域；

步骤8、将上一步中提取的联通区域，截取排线底座与白线之间的区域，判断颜色是否失真，若图像颜色失真，则根据V通道图像进行二值化处理；若图像颜色没有失真，则将图像直接进行二值化处理；

步骤9、进一步的，将二值化后的图像过滤掉离散点，连接断点，并且提取联通区域，过滤掉不符合条件的区域；

步骤10、进一步的，判断上述联通区域是否只有一个区域，若不是，则判断PCB排线异常，检测为缺陷样件，返回异常结果，检测结束；若只有一个联通区域，则计算白线两端与排线底座垂直距离的偏移；

步骤11、进一步的，计算上述偏移量的大小，若偏移量大于等于设置的阈值(比如阈值设置为10)，则判断PCB排线异常，检测为缺陷样件，返回异常结果，检测结束；若偏移量小于设置的阈值，则判断为正常样件，检测结束；

步骤12、依次获取PCB板其它排线区域，重复以上步骤，检测出PCB板上所有的排线。

所述的PCB背板导热泡棉和导电泡棉粘贴精度检测包括以下步骤：

步骤1、如图5所示，通过导热泡棉和导电泡棉后的检测，获取每个泡棉区域矩形轮廓的左上点坐标P1和右下点坐标P2；

步骤2、进一步的，获取PCB板上固定圆柱孔的轮廓，提取轮廓的边缘点信息；

步骤3、进一步的，进行圆柱投影边缘点椭圆拟合，设置拟合椭圆的长短轴半径和比例，然后获取拟合椭圆的中心坐标点P；

步骤4、进一步的，分别计算泡棉的矩形像素坐标点P1和P2到P的欧式距离；

步骤5、进一步的，设计距离精度阈值，然后判断泡棉粘贴精度是否符合质量要求。

以上所述为本发明最佳实施方式的举例，其中未详细述及的部分均为本领域普通技术人员的公知常识。本发明的保护范围以权利要求的内容为准，任何基于本发明的技术启示而进行的等效变换，也在本发明的保护范围之内。

Claims (5)

1.基于机器视觉的车载屏幕背板的缺陷检测方法，其特征在于，包括以下步骤：

步骤1、获取待测样品屏幕背壳的灰度和彩色图像及PCB的排线图像；

步骤2、根据屏幕背壳的灰度图像进行导热泡棉检测，得到导热泡棉的轮廓数量，以及每个导热泡棉的位置，对每个导热泡棉进行标记，设置标记序号参数，将每个导热泡棉的位置序号与标准的产品进行对比，判断出每个位置的导热泡棉粘贴是否有缺陷；

根据屏幕背壳的彩色图像进行导电泡棉检测，得到导电泡棉的轮廓数量，以及每个导电泡棉的位置，对每个导电泡棉进行标记，设置标记序号参数，将每个导电泡棉的位置序号与标准的产品进行对比，判断出每个位置的导电泡棉粘贴是否有缺陷；

根据获取PCB所有排线的彩色图像进行PCB排线检测，并判断每一处PCB排线是否异常。

2.根据权利要求1所述的基于机器视觉的车载屏幕背板的缺陷检测方法，其特征在于，所述步骤2中，进行导热泡棉检测的方法包括以下步骤：

步骤2.1a、获取屏幕背壳的灰度图像，进行灰度图像的前景和背景的分割，遍历所有灰度等级，计算出方差最大的灰度值，并以该阈值为图像二值化分割的最佳阈值，对屏幕背壳的灰度图像进行二值化；

步骤2.2a、对二值化后的图像去除噪点，连接断点，连通区域，去除边角的干扰；

步骤2.3a、对上一步处理后的图像提取矩形区域的轮廓，利用预设导热泡棉过滤条件对矩形区域的轮廓进行筛选，保留符合条件的轮廓作为导热泡棉的轮廓，所述预设过滤条件根据标准导热泡棉的形状、大小以及位置特征设置，包括导热泡棉轮廓尺寸、轮廓起始坐标的位置和最小外接矩形旋转角度阈值参数；

步骤2.4a、经过上述步骤，得到导热泡棉的轮廓数量，以及每个导热泡棉的位置，对每个导热泡棉的轮廓进行标记，设置标记序号参数；

步骤2.5a、将每个导热泡棉的位置序号与标准的产品进行对比，判断出待测样品每个位置的导热泡棉粘贴是否有缺陷。

3.根据权利要求1所述的基于机器视觉的车载屏幕背板的缺陷检测方法，其特征在于，所述步骤2中，进行导电泡棉检测的方法包括以下步骤：

步骤2.1b、获取屏幕背壳的彩色图像，截取目标区域的位置，将图像进行大小归一化操作；

步骤2.2b、将图像转为HSV格式，根据导电泡棉的颜色特征，进行颜色二值化，然后清除噪点，连接断点，提取连通域，过滤掉干扰区域；

步骤2.3b、对上一步处理后的图像提取矩形区域的轮廓，利用预设导电泡棉过滤条件对矩形区域的轮廓进行筛选，保留符合条件的轮廓作为导电泡棉的轮廓，所述预设过滤条件根据实际导电泡棉的形状、大小以及位置特征设置，包括导电泡棉轮廓尺寸、轮廓起始坐标的位置和最小外接矩形旋转角度阈值参数；

步骤2.4b、经过上述步骤，得到导电泡棉的轮廓数量，以及每个导电泡棉的位置，对每个导电泡棉进行标记，设置标记序号参数；

步骤2.5b、将每个导电泡棉的位置序号与标准的产品进行对比，判断出待测样品每个位置的导电泡棉粘贴是否有缺陷。

4.根据权利要求1所述的基于机器视觉的车载屏幕背板的缺陷检测方法，其特征在于，所述步骤2中，进行PCB排线检测的方法包括以下步骤：

步骤2.1c、获取一处PCB排线的彩色图像，自适应截取目标区域，将图像大小进行归一化，并将图像转换为HSV格式；

步骤2.2c、判断图像颜色是否失真，如果颜色失真，则将图像V通道单通道图像进行二值化处理，转到下一步；若图像没有颜色失真，则进行模糊处理，然后进行二值化处理，转到下一步；

步骤2.3c、将上一步获取的二值化图像进行腐蚀操作，清除噪点，接着进行膨胀操作，连接断点；

步骤2.4c、提取上一步处理后图像的联通区域，通过联通区域的大小、位置和形状特征参数过滤掉干扰的联通区域，得到保留区域；

步骤2.5c、判断保留区域的数量是否为2，若是则转到下一步，否则判断PCB排线异常，检测为缺陷样件，返回异常结果，检测结束；

步骤2.6c、根据区域的高度，区分排线底座区域和白线区域，截取排线底座的中间区域；

步骤2.7c、提取上一步中截取区域中的联通区域，过滤掉不符合排线形状、位置或尺寸参数的区域，然后判断保留区域的数量是否为1；是则提取联通区域，过滤掉不符合排线形状、位置或尺寸参数的区域，转到下一步；否则判断PCB排线异常，检测为缺陷样件，返回异常结果，检测结束；

步骤2.8c、将上一步中提取的联通区域，截取排线底座与白线之间的区域，判断颜色是否失真，若图像颜色失真，则根据V通道图像进行二值化处理，转到下一步；若图像颜色没有失真，则将图像直接进行二值化处理，转到下一步；

步骤2.9c、将二值化后的图像过滤掉离散点，连接断点，并且提取联通区域，过滤掉不符合排线形状、位置或尺寸参数的区域；

步骤2.10c、判断上一步过滤后剩余的联通区域是否为1，若是则计算白线两端与排线底座垂直距离的偏移；否则判断PCB排线异常，检测为缺陷样件，返回异常结果，检测结束；

步骤2.11c、计算白线两端与排线底座垂直距离的偏移量的大小，判断偏移量是否小于预设阈值，若是则判断为正常样件，检测结束；否则判断PCB排线异常，检测为缺陷样件，返回异常结果，检测结束；

5.根据权利要求1所述的基于机器视觉的车载屏幕背板的缺陷检测方法，其特征在于，还包括的PCB背板导热泡棉和导电泡棉粘贴精度检测，具体包括以下步骤：

步骤3.1、通过导热泡棉和导电泡棉后的检测结果，获取每个泡棉区域矩形轮廓的左上点坐标P1和右下点坐标P2；

步骤3.2、获取PCB板上固定圆柱孔的轮廓，提取轮廓的边缘点信息；

步骤3.3、进行圆柱投影边缘点椭圆拟合，设置拟合椭圆的长短轴半径和比例，然后获取拟合椭圆的中心坐标点P；

步骤3.4、分别计算泡棉的矩形像素坐标点P1和P2到P的欧式距离；

步骤3.5、将P1和P2到P的欧式距离分别与对应预设距离精度阈值对比，判断泡棉粘贴精度是否符合质量要求。

Images