CN113838044A - 基于机器视觉的面板缺陷检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于机器视觉的面板缺陷检测方法及系统，包括：将待检测面板放入自适应柔性调节尺度的传送带装置固定；通过多角度分时视觉成像技术，采集待检测面板的缺陷图片；根据待检测面板的型号类别对采集到的缺陷图片进行缺陷位置与种类的数据标注；将进行了数据标注后的缺陷图片与预设的模板图片通过共享卷积主干的方式进行特征减法，得到差异信息；将差异信息输入至预设的组金字塔池网络得到不同尺度预测的检测结果；对不同尺度预测的检测结果应用非极大值抑制方法获得最终的预测结果。有效提高了在不同尺度下检测面板缺陷的能力，提高了缺陷种类的识别准确度。

Description

基于机器视觉的面板缺陷检测方法及系统

技术领域

本发明属于机器视觉技术领域，特别是涉及一种基于机器视觉的面板缺陷检测方法及系统。

背景技术

基于机器视觉的面板缺陷自动检测是保证自动化生产中产品质量的一个非常重要的环节，其广泛地应用在玻璃表面缺陷检测、液晶显示面板缺陷检测、PCB面板缺陷检测等领域，并在光伏面板表面缺陷检测等生产领域具有广阔的应用前景。

Lowe D G.在《Machine learning based imaging system for surface defectinspection》一文中采光度立体图像训练CNN网络来实现轨道表面空洞缺陷分类，Park等人设计了一种简易CNN分类网络,用于自动检测表面零件上的污垢、划痕、毛刺和磨损等缺陷.但是直接利用CNN网络直接分类要求缺陷在图像中需要占一定比例，否则其特征容易被池化掉,同时一般一幅图像中只容许存在一种类别的缺陷。Liong S T在《Automatic defectsegmentation on leather with deep learning》一文中使用Mask R-CNN的图像实例分割方法进行皮革表面缺陷；分割方法相较于检测方法能够更有效的获取信息，但其需要更多的标注数据，消耗更多算力。

2017年，Schlegl等最早提出了深度卷积生成对抗网络AnoGAN，计算正常样本与缺陷样本特征分布之间的异常分数从而判断是否出现缺陷，相比于监督学习的方法,其检测效果并不理想。Chen等采用改进的SSD网络进行接触网支撑装置上的紧固件缺陷区域定位,其主要改进部分在于采用不同层的特征图进行目标检测。这类基于单阶段的缺陷检测网络检测速度较快，但是检测正确率并不高。Kim等设计了一个基于CNN结构的孪生网络对钢表面缺陷图像进行分类，孪生网络明显提高了目标缺陷的显著性，但输入孪生网络的图像对需要具有统一的内容形式，要求比较严格,现阶段还无法适应复杂的工业环境。

针对上述问题，亟需一种面板缺陷检测方法及系统，用于提高检测模型在不同尺度下检测面板缺陷的能力，以及缺陷种类的识别准确度。

发明内容

针对以上技术问题，本发明提供一种提高在不同尺度下检测面板缺陷的能力，以及缺陷种类的识别准确度的基于机器视觉的面板缺陷检测方法及系统。

本发明解决其技术问题采用的技术方案是：

基于机器视觉的面板缺陷检测方法，方法包括以下步骤：

步骤S100：将待检测面板放入自适应柔性调节尺度的传送带装置固定，并通过传送带装置将待检测面板送至预设的面板检测区域；

步骤S200：通过多角度分时视觉成像技术，在预设的面板检测区域采集待检测面板的缺陷图片；

步骤S300：根据待检测面板的型号类别对采集到的缺陷图片进行缺陷位置与种类的数据标注；

步骤S400：将进行了数据标注后的缺陷图片与预设的模板图片通过共享卷积主干的方式进行特征减法，得到差异信息；

步骤S500：将差异信息输入至预设的组金字塔池网络得到不同尺度预测的检测结果；

步骤S600：对不同尺度预测的检测结果应用非极大值抑制方法获得最终的预测结果。

优选地，步骤S100包括：

步骤S110：将待检测面板放入自适应柔性调节尺度的传送带装置；

步骤S120：传送带装置根据待检测面板的尺寸自动进行柔性的尺度调节，当传送带装置中的压力传感器检测到的压力值大于预设阈值时，停止调节；

步骤S130：通过传送带装置将待检测面板送至预设的面板检测区域。

优选地，预设的面板检测区域上方设置有第一光源、第二光源、第三光源和第一工业相机，预设的面板检测区域下方设置有第四光源、第五光源、第六光源和第二工业相机，步骤S200包括：

步骤S210：当放置于传送装置上的待检测面板经过预设的面板检测区域时，第三光源与第六光源亮起，第一工业相机开启，采集一次图像；

步骤S210：第一预设时长后，第三光源与第六光源关闭，第一光源与第二光源亮起，第一工业相机采集一次图像；

步骤S220：第二预设时长后，第一光源与第二光源关闭，第四光源与第五光源亮起，第一工业相机采集一次图像；

步骤S230：第三预设时长后，第四光源与第五光源关闭，第三光源与第六光源亮起，第二工业相机采集一次图像；

步骤S240：第四预设时长后，第三光源与第六光源关闭，第四光源与第五光源亮起，第二工业相机采集一次图像；

步骤S250：第五预设时长后，第四光源与第五光源关闭，第一光源与第二光源亮起，第二工业相机采集一次图像。

步骤S260：重复步骤S210-步骤S250，直到待检测面板离开预设的面板检测区域。

优选地，步骤S300包括：

步骤S310：从采集到的缺陷图片中选取预设数量张采集图片作为样本数据；

步骤S320：根据待检测面板的型号类别以及预设的类别-标注工具对应关系选取对应的标注工具，使用轴对齐的边界框以及一个缺陷类型ID对样本数据进行缺陷位置和种类的数据标注。

优选地，步骤S400包括：

步骤S410：将进行了数据标注后的缺陷图片与预设的模板图片输入至卷积主干，卷积主干从进行了数据标注后的缺陷图片中提取平移和旋转不变性的第一特征，卷积主干从预设的模板图片中提取平移和旋转不变性的第二特征；

步骤S420：根据第一特征和第二特征进行特征减法，得到差异信息。

优选地，步骤S500中的预设的组金字塔池网络包括面板缺陷检测网络和特征融合网络组，面板缺陷检测网络连接特征融合网络组：

面板缺陷检测网络包括六组检测模块，每组均包括依次连接的池化层、卷积层、批量标准化层、Relu激活函数层和上采样层五个模块；其中，第一组检测模块使用2×2大小的池化、1×1的卷积特征、批量标准化层、Relu激活函数层和上采样层来预测带有第一预设大小边界框的待检测面板的缺陷，第二组检测模块使用4×4大小的池化、1×1的卷积特征、批量标准化层、Relu激活函数层和上采样层来预测带有第一预设大小边界框的待检测面板的缺陷，第三组检测模块使用6×6大小的池化、1×1的卷积特征、批量标准化层、Relu激活函数层和上采样层来预测带有第二预设大小边界框的待检测面板的缺陷，第四组检测模块使用12×12大小的池化、1×1的卷积特征、批量标准化层、Relu激活函数层和上采样层来预测带有第二预设大小边界框的待检测面板的缺陷，第五组检测模块使用18×18大小的池化、1×1的卷积特征、批量标准化层、Relu激活函数层和上采样层来预测带有第三预设大小边界框的待检测面板的缺陷，第六组检测模块使用24×24大小的池化、1×1的卷积特征、批量标准化层、Relu激活函数层和上采样层来预测带有第三预设大小边界框的待检测面板的缺陷，其中，第一预设大小边界框小于第二预设大小边界框，第二预设大小边界框小于第三预设大小边界框；

特征融合网络组包括第一特征融合网络、第二特征融合网络和第三特征融合网络，第一组检测模块的上采样层、第二组检测模块的上采样层和第六组检测模块的Relu激活函数层均连接第一特征融合网络，第三组检测模块的上采样层、第四组检测模块的上采样层和第二组检测模块的Relu激活函数层均连接第二特征融合网络；第五组检测模块的上采样层、第六组检测模块的上采样层和第四组检测模块的Relu激活函数层均连接第三特征融合网络。

优选地，步骤S500包括：

步骤S510：将差异信息输入至面板缺陷检测网络，得到第一输出特征图、第二输出特征图、第三输出特征图、第四输出特征图、第五输出特征图、第六输出特征图、第一特征、第二特征和第三特征，将第一输出特征图、第二输出特征图和第一特征输入至第一特征融合网络，将第三输出特征图、第四输出特征图和第二特征输入至第二特征融合网络，将第五输出特征图、第六输出特征图和第三特征输入至第三特征融合网络；

步骤S520：第一特征融合网络根据接收的第一输出特征图、第二输出特征图和第一特征进行特征融合，产生一组预设的第一尺寸的预测检测结果，第二特征融合网络根据接收的第三输出特征图、第四输出特征图和第二特征进行特征融合，产生一组预设的第二尺寸的预测检测结果，第三特征融合网络根据接收的第五输出特征图、第六输出特征图和第三特征进行特征融合，产生一组预设的第三尺寸的预测检测结果，其中，预设的第一尺寸小于预设的预设的第二尺寸，预设的第二尺寸小于预设的第三尺寸。

优选地，步骤S600包括：

步骤S610：将预设的第一尺寸的预测检测结果、预设的第二尺寸的预测检测结果和预设的第三尺寸的预测检测结果分别输入至m×n卷积层，得到预设的第一尺寸的分类结果和定位结果、预设的第二尺寸的分类结果和定位结果以及预设的第三尺寸的分类结果和定位结果，m和n分别为大于零的正整数；

步骤S620：对预设的第一尺寸的分类结果和定位结果、预设的第二尺寸的分类结果和定位结果以及预设的第三尺寸的分类结果和定位结果分别应用非极大值抑制方法，以获得最终的对应尺寸的预测结果。

优选地，步骤S620中对预设的第一尺寸的分类结果和定位结果应用非极大值抑制方法以获得最终的对应第一尺寸的预测结果包括：

步骤S621：从预设的第一尺寸的分类结果和定位结果中获取所有边界框对应的置信度得分，根据置信度得分将所有边界框进行由高到低的排序添加至边界框列表中；

步骤S622：选择置信度最高的边界框添加到最终输出列表中，将置信度最高的边界框从边界框列表中删除；

步骤S623：计算所有边界框的面积，根据所有边界框的面积计算置信度最高的边界框与其它边界框的面积交并比；

步骤S624：删除交并比大于预设阈值的边界框；

步骤S625：重复步骤S621-步骤S624，直至边界框列表为空，得到第一尺寸的预测结果。

基于机器视觉的面板缺陷检测系统，包括：

待检测面板固定模块，用于将待检测面板放入自适应柔性调节尺度的传送带装置固定，并通过传送带装置将待检测面板送至预设的面板检测区域；

缺陷图片采集模块，用于通过多角度分时视觉成像技术，在预设的面板检测区域采集待检测面板的缺陷图片；

缺陷数据标注模块，用于根据待检测面板的型号类别对采集到的缺陷图片进行缺陷位置与种类的数据标注；

差异信息获取模块，用于将进行了数据标注后的缺陷图片与预设的模板图片通过共享卷积主干的方式进行特征减法，得到差异信息；

检测结果预测模块，用于将差异信息输入至预设的组金字塔池网络得到不同尺度预测的检测结果；

预测结果确定模块，用于对不同尺度预测的检测结果应用非极大值抑制方法获得最终的预测结果。

上述基于机器视觉的面板缺陷检测方法和系统，自适应柔性调节尺度的传送带装置能适应各种尺寸面板的自动检测和固定，同时采用多角度分时视觉成像技术，能够有效改善成像质量，提高待检测面板检测数据质量，增加样本数据量，通过组金字塔池网络，有效地提取大范围分辨率的特征，将这些特征按组合融合并以预测相应尺度的面板缺陷，有效提高了在不同尺度下检测面板缺陷的能力，提高了缺陷种类的识别准确度。

附图说明

图1为本发明一实施例提供的基于机器视觉的面板缺陷检测方法流程图；

图2为本发明实施例分时视觉成像的结构示意图；

图3为本发明实施例提供的基于机器视觉的面板缺陷检测方法的算法整体流程图；

图4为本发明实施例提供的基于机器视觉的面板缺陷检测方法的组金字塔池网络结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。

在一个实施例中，如图1所示，基于机器视觉的面板缺陷检测方法，方法包括以下步骤：

步骤S100：将待检测面板放入自适应柔性调节尺度的传送带装置固定，并通过传送带装置将待检测面板送至预设的面板检测区域；

步骤S200：通过多角度分时视觉成像技术，在预设的面板检测区域采集待检测面板的缺陷图片；

步骤S300：根据待检测面板的型号类别对采集到的缺陷图片进行缺陷位置与种类的数据标注；

步骤S400：将进行了数据标注后的缺陷图片与预设的模板图片通过共享卷积主干的方式进行特征减法，得到差异信息；

步骤S500：将差异信息输入至预设的组金字塔池网络得到不同尺度预测的检测结果；

步骤S600：对不同尺度预测的检测结果应用非极大值抑制方法获得最终的预测结果。

上述基于机器视觉的面板缺陷检测方法，自适应柔性调节尺度的传送带装置能适应各种尺寸面板的自动检测和固定，同时采用多角度分时视觉成像技术，能够有效改善成像质量，提高待检测面板检测数据质量，增加样本数据量，通过组金字塔池网络，有效地提取大范围分辨率的特征，将这些特征按组合融合并以预测相应尺度的面板缺陷，有效提高了在不同尺度下检测面板缺陷的能力，提高了缺陷种类的识别准确度。

在一个实施例中，步骤S100包括：

步骤S110：将待检测面板放入自适应柔性调节尺度的传送带装置；

步骤S120：传送带装置根据待检测面板的尺寸自动进行柔性的尺度调节，当传送带装置中的压力传感器检测到的压力值大于预设阈值时，停止调节；

步骤S130：通过传送带装置将待检测面板送至预设的面板检测区域

具体地，将待检面板放入系统，采用自适应柔性调节尺度的传送带装置柔性调节尺度从而固定面板，此时面板被完全固定，能够有效适应不同尺寸面板缺陷的检测，且可减少后续成像过程中抖动偏移导致的误差，避免了传统检测系统需要人工调节传送装置尺寸以达到固定面板的目的的问题。

在一个实施例中，预设的面板检测区域上方设置有第一光源2、第二光源3、第三光源4和第一工业相机1，面板检测区域下方设置有第四光源7、第五光源8、第六光源10和第二工业相机9，步骤S200包括：

步骤S210：当放置于传送装置6上的待检测面板5经过预设的面板检测区域时，第三光源4与第六光源10亮起，第一工业相机1开启，采集一次图像；

步骤S210：第一预设时长后，第三光源4与第六光源10关闭，第一光源2与第二光源3亮起，第一工业相机1采集一次图像；

步骤S220：第二预设时长后，第一光源2与第二光源3关闭，第四光源7与第五光源8亮起，第一工业相机1采集一次图像；

步骤S230：第三预设时长后，第四光源7与第五光源8关闭，第三光源4与第六光源10亮起，第二工业相机9采集一次图像；

步骤S240：第四预设时长后，第三光源4与第六光源10关闭，第四光源7与第五光源8亮起，第二工业相机9采集一次图像；

步骤S250：第五预设时长后，第四光源7与第五光源8关闭，第一光源2与第二光源3亮起，第二工业相机9采集一次图像。

步骤S260：重复步骤S210-步骤S250，直到待检测面板5离开预设的面板检测区域。

具体地，如图2所示，面板检测区域上下分别放置三个光源与一台工业相机，第一工业相机1位于传送装置6的斜左上方45°，第一光源2位于传送装置6的内侧斜上方45°，第二光源3位于传送装置6的外侧斜上方45°，第三光源4位于位于传送装置6的斜右上方45°，第四光源7位于传送装置6的斜左下方45°，第五光源8位于传送装置的斜右下方30°，第二工业相机9位于传送装置6的正下方，第六光源10位于传送装置6的斜右下方60°，当待检测面板5经过时，六个光源按照设定在极短时间内多次组合亮起，两台工业相机依次采集不同打光方式的图像，通过这种多角度分时视觉成像，能够有效改善成像质量，提高了面板检测数据质量，增加了样本多样性，减少错检的情况，有效避免了在面对缺陷分布不均匀，缺陷不明显的情况时无法获得准确清晰的多角度图像数据的问题。

在一个实施例中，步骤S300包括：

步骤S310：从采集到的缺陷图片中选取预设数量张采集图片作为样本数据；

步骤S320：根据待检测面板的型号类别以及预设的类别-标注工具对应关系选取对应的标注工具，使用轴对齐的边界框以及一个缺陷类型ID对样本数据进行缺陷位置和种类的数据标注。

具体地，针对特定型号面板，采用彩色工业相机在不同角度不同打光方式拍摄25张左右图片作为样本数据，目的是尽量获取面板在不同角度下的图片，丰富数据集的图片数量，增加缺陷检测识别的准确性。缺陷类型为已知，对于常见面板来说，一般为开裂，孔洞等，在进行标注时会参考缺陷典型图片，每一类缺陷类型对应一ID(标识号)。

在一个实施例中，步骤S400包括：

步骤S410：将进行了数据标注后的缺陷图片与预设的模板图片输入至卷积主干，卷积主干从进行了数据标注后的缺陷图片中提取平移和旋转不变性的第一特征，卷积主干从预设的模板图片中提取平移和旋转不变性的第二特征；

步骤S420：根据第一特征和第二特征进行特征减法，得到差异信息。

具体地，如图3所示，使用现有的方法进行特征减法，得到特征差异，将特征差异通过tanh激活函数激活后输入至组金字塔池网络进行后续处理。

在一个实施例中，如图4所示，步骤S500中的预设的组金字塔池网络包括面板缺陷检测网络和特征融合网络组，面板缺陷检测网络连接特征融合网络组：

面板缺陷检测网络包括六组检测模块，每组均包括依次连接的池化层、卷积层、批量标准化层、Relu激活函数层和上采样层五个模块；其中，第一组检测模块使用2×2大小的池化、1×1的卷积特征、批量标准化层、Relu激活函数层和上采样层来预测带有第一预设大小边界框的待检测面板的缺陷，第二组检测模块使用4×4大小的池化、1×1的卷积特征、批量标准化层、Relu激活函数层和上采样层来预测带有第一预设大小边界框的待检测面板的缺陷，第三组检测模块使用6×6大小的池化、1×1的卷积特征、批量标准化层、Relu激活函数层和上采样层来预测带有第二预设大小边界框的待检测面板的缺陷，第四组检测模块使用12×12大小的池化、1×1的卷积特征、批量标准化层、Relu激活函数层和上采样层来预测带有第二预设大小边界框的待检测面板的缺陷，第五组检测模块使用18×18大小的池化、1×1的卷积特征、批量标准化层、Relu激活函数层和上采样层来预测带有第三预设大小边界框的待检测面板的缺陷，第六组检测模块使用24×24大小的池化、1×1的卷积特征、批量标准化层、Relu激活函数层和上采样层来预测带有第三预设大小边界框的待检测面板的缺陷，其中，第一预设大小边界框小于第二预设大小边界框，第二预设大小边界框小于第三预设大小边界框；

特征融合网络组包括第一特征融合网络、第二特征融合网络和第三特征融合网络，第一组检测模块的上采样层、第二组检测模块的上采样层和第六组检测模块的Relu激活函数层均连接第一特征融合网络，第三组检测模块的上采样层、第四组检测模块的上采样层和第二组检测模块的Relu激活函数层均连接第二特征融合网络；第五组检测模块的上采样层、第六组检测模块的上采样层和第四组检测模块的Relu激活函数层均连接第三特征融合网络。

具体地，组金字塔池网络将金字塔池化操作划分为具有重叠的组，从金字塔池结构中获取各种分辨率的特征，以更准确地预测不同尺度的待检测面板的缺陷，特征融合网络组中各组与相邻的组还共享部分输入特征，可减少边缘效应。

在一个实施例中，步骤S500包括：

步骤S510：将差异信息输入至面板缺陷检测网络，得到第一输出特征图、第二输出特征图、第三输出特征图、第四输出特征图、第五输出特征图、第六输出特征图、第一特征、第二特征和第三特征，将第一输出特征图、第二输出特征图和第一特征输入至第一特征融合网络，将第三输出特征图、第四输出特征图和第二特征输入至第二特征融合网络，将第五输出特征图、第六输出特征图和第三特征输入至第三特征融合网络；

步骤S520：第一特征融合网络根据接收的第一输出特征图、第二输出特征图和第一特征进行特征融合，产生一组预设的第一尺寸的预测检测结果，第二特征融合网络根据接收的第三输出特征图、第四输出特征图和第二特征进行特征融合，产生一组预设的第二尺寸的预测检测结果，第三特征融合网络根据接收的第五输出特征图、第六输出特征图和第三特征进行特征融合，产生一组预设的第三尺寸的预测检测结果，其中，预设的第一尺寸小于预设的预设的第二尺寸，预设的第二尺寸小于预设的第三尺寸。

具体地，第一特征为第六组检测模块的Relu激活函数层输出的，第二特征为第二组检测模块的Relu激活函数层输出的，第三特征为第四组检测模块的Relu激活函数层输出的。组金字塔池化网络有效地提取大范围分辨率的特征，将这些特征按组合并预测相应尺度的面板缺陷，提高了检测模型在不同尺度下检测面板缺陷的能力，提高了缺陷种类的识别准确度，增强在不同尺度下检测面板缺陷的能力，避免了传统图像处理方法以及常见深度学习方法面对尺度跨度较大的缺陷的检测能力明显下降的问题。

在一个实施例中，步骤S600包括：

步骤S610：将预设的第一尺寸的预测检测结果、预设的第二尺寸的预测检测结果和预设的第三尺寸的预测检测结果分别输入至m×n卷积层，得到预设的第一尺寸的分类结果和定位结果、预设的第二尺寸的分类结果和定位结果以及预设的第三尺寸的分类结果和定位结果，m和n分别为大于零的正整数；

步骤S620：对预设的第一尺寸的分类结果和定位结果、预设的第二尺寸的分类结果和定位结果以及预设的第三尺寸的分类结果和定位结果分别应用非极大值抑制方法，以获得最终的对应尺寸的预测结果。

具体地，如图3所示，在本实施例中，卷积层为3×3的卷积层，用于预测不同尺寸的待检测面板的缺陷检测结果，顶部卷积层输出一个m×n×(3×(classes+4))图用于预测，其中，m和n为卷积大小，可根据缺陷的具体情况主动调节，本发明以典型3×3卷积大小为示例，Classes为缺陷的类型总数，检测边界框的大小手动配置为超参数，其中我们的设置采用输入图像大小的0.04、0.08、0.16(对应于第一尺寸、第二尺寸和第三尺寸)。在每个3×3卷积层的位置，输出分类结果和定位结果，分类结果是指预测类型的缺陷和背景类别，定位结果是指质心之间的平移偏移以及宽度和高度之间的缩放比例的预测边界框和目标。

在一个实施例中，步骤S620中对预设的第一尺寸的分类结果和定位结果应用非极大值抑制方法，以获得最终的对应第一尺寸的预测结果包括：

步骤S621：从预设的第一尺寸的分类结果和定位结果中获取所有边界框对应的置信度得分，根据置信度得分将所有边界框进行由高到低的排序添加至边界框列表中；

步骤S622：选择置信度最高的边界框添加到最终输出列表中，将置信度最高的边界框从边界框列表中删除；

步骤S623：计算所有边界框的面积，根据所有边界框的面积计算置信度最高的边界框与其它边界框的面积交并比；

步骤S624：删除交并比大于预设阈值的边界框；

步骤S625：重复步骤S621-步骤S624，直至边界框列表为空，得到第一尺寸的预测结果。

具体地，对预设的第二尺寸分类结果和定位结果应用非极大值抑制方法以获得最终的对应第二尺寸的预测结果以及对预设的第三尺寸分类结果和定位结果应用非极大值抑制方法以获得最终的对应第三尺寸的预测结果的具体步骤和上述一致，在此不再赘述，抑制冗余的边界框，得到最终的预测结果。

上述基于机器视觉的面板缺陷检测方法，提出了一种多角度分时视觉成像的面板缺陷检测系统以及基于组金字塔池网络的面板缺陷检测方法，为解决面板易反光、尺寸大小不一，缺陷分布不均匀、易漏检、环境光较暗导致相机成效不清晰的问题；其中，面板缺陷检测系统包括工控机、工业相机、光源、可自动调节尺度的传送带等部件，将待检测面板放入系统，经过传送带装置柔性调节尺度从而固定面板，面板检测区域上下分别放置三个光源与一台工业相机，当面板经过时，六个光源按照设定在极短时间内多次组合亮起，两台工业相机依次采集不同打光方式的图像，通过这种多角度分时视觉成像，提高了面板检测数据质量，增加了样本多样性；针对面板缺陷尺度大小不一，种类繁多的问题，提出了一种新的组金字塔池化网络，有效地提取大范围分辨率的特征，将这些特征按组合融合并以预测相应尺度的面板缺陷，提高了检测方法在不同尺度下检测面板缺陷的能力，提高了缺陷种类的识别准确度。

在一个实施例中，基于机器视觉的面板缺陷检测系统，包括：

待检测面板固定模块，用于将待检测面板放入自适应柔性调节尺度的传送带装置固定，并通过传送带装置将待检测面板送至预设的面板检测区域；

缺陷图片采集模块，用于通过多角度分时视觉成像技术，在预设的面板检测区域采集待检测面板的缺陷图片；

缺陷数据标注模块，用于根据待检测面板的型号类别对采集到的缺陷图片进行缺陷位置与种类的数据标注；

差异信息获取模块，用于将进行了数据标注后的缺陷图片与预设的模板图片通过共享卷积主干的方式进行特征减法，得到差异信息；

检测结果预测模块，用于将差异信息输入至预设的组金字塔池网络得到不同尺度预测的检测结果；

预测结果确定模块，用于对不同尺度预测的检测结果应用非极大值抑制方法获得最终的预测结果。

关于基于机器视觉的面板缺陷检测系统的具体限定可以参见上文中对于基于机器视觉的面板缺陷检测方法的限定，在此不再赘述。上述基于机器视觉的面板缺陷检测系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

以上对本发明所提供的基于机器视觉的面板缺陷检方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.基于机器视觉的面板缺陷检测方法，其特征在于，所述方法包括以下步骤：

步骤S100：将待检测面板放入自适应柔性调节尺度的传送带装置固定，并通过所述传送带装置将所述待检测面板送至预设的面板检测区域；

步骤S200：通过多角度分时视觉成像技术，在预设的面板检测区域采集所述待检测面板的缺陷图片；

步骤S300：根据所述待检测面板的型号类别对所述采集到的缺陷图片进行缺陷位置与种类的数据标注；

步骤S400：将所述进行了数据标注后的缺陷图片与预设的模板图片通过共享卷积主干的方式进行特征减法，得到差异信息；

步骤S500：将所述差异信息输入至预设的组金字塔池网络得到不同尺度预测的检测结果；

步骤S600：对所述不同尺度预测的检测结果应用非极大值抑制方法获得最终的预测结果。

2.根据权利要求1所述的方法，其特征在于，步骤S100包括：

步骤S110：将待检测面板放入自适应柔性调节尺度的传送带装置；

步骤S120：所述传送带装置根据所述待检测面板的尺寸自动进行柔性的尺度调节，当所述传送带装置中的压力传感器检测到的压力值大于预设阈值时，停止调节；

步骤S130：通过所述传送带装置将所述待检测面板送至预设的面板检测区域。

3.根据权利要求2所述的方法，其特征在于，所述预设的面板检测区域上方设置有第一光源、第二光源、第三光源和第一工业相机，所述预设的面板检测区域下方设置有第四光源、第五光源、第六光源和第二工业相机，步骤S200包括：

步骤S210：当放置于所述传送带装置上的所述待检测面板经过所述预设的面板检测区域时，所述第三光源与所述第六光源亮起，所述第一工业相机开启，采集一次图像；

步骤S210：第一预设时长后，所述第三光源与所述第六光源关闭，所述第一光源与所述第二光源亮起，所述第一工业相机采集一次图像；

步骤S220：第二预设时长后，所述第一光源与所述第二光源关闭，所述第四光源与所述第五光源亮起，所述第一工业相机采集一次图像；

步骤S230：第三预设时长后，所述第四光源与所述第五光源关闭，所述第三光源与所述第六光源亮起，所述第二工业相机采集一次图像；

步骤S240：第四预设时长后，所述第三光源与所述第六光源关闭，所述第四光源与所述第五光源亮起，所述第二工业相机采集一次图像；

步骤S250：第五预设时长后，所述第四光源与所述第五光源关闭，所述第一光源与所述第二光源亮起，所述第二工业相机采集一次图像。

步骤S260：重复步骤S210-步骤S250，直到所述待检测面板离开所述预设的面板检测区域。

4.根据权利要求3所述的方法，其特征在于，步骤S300包括：

步骤S310：从所述采集到的缺陷图片中选取预设数量张采集图片作为样本数据；

步骤S320：根据所述待检测面板的型号类别以及预设的类别-标注工具对应关系选取对应的标注工具，使用轴对齐的边界框以及一个缺陷类型ID对所述样本数据进行缺陷位置和种类的数据标注。

5.根据权利要求4所述的方法，其特征在于，步骤S400包括：

步骤S410：将所述进行了数据标注后的缺陷图片与预设的模板图片输入至卷积主干，所述卷积主干从所述进行了数据标注后的缺陷图片中提取平移和旋转不变性的第一特征，所述卷积主干从预设的模板图片中提取平移和旋转不变性的第二特征；

步骤S420：根据所述第一特征和所述第二特征进行特征减法，得到差异信息。

6.根据权利要求5所述的方法，其特征在于，步骤S500中的预设的组金字塔池网络包括面板缺陷检测网络和特征融合网络组，所述面板缺陷检测网络连接所述特征融合网络组：

所述面板缺陷检测网络包括六组检测模块，每组均包括依次连接的池化层、卷积层、批量标准化层、Relu激活函数层和上采样层五个模块；其中，第一组检测模块使用2×2大小的池化、1×1的卷积特征、批量标准化层、Relu激活函数层和上采样层来预测带有第一预设大小边界框的待检测面板的缺陷，第二组检测模块使用4×4大小的池化、1×1的卷积特征、批量标准化层、Relu激活函数层和上采样层来预测带有第一预设大小边界框的待检测面板的缺陷，第三组检测模块使用6×6大小的池化、1×1的卷积特征、所述批量标准化层、所述Relu激活函数层和所述上采样层来预测带有第二预设大小边界框的待检测面板的缺陷，第四组检测模块使用12×12大小的池化、1×1的卷积特征、所述批量标准化层、所述Relu激活函数层和所述上采样层来预测带有第二预设大小边界框的待检测面板的缺陷，第五组检测模块使用18×18大小的池化、1×1的卷积特征、所述批量标准化层、所述Relu激活函数层和所述上采样层来预测带有第三预设大小边界框的待检测面板的缺陷，第六组检测模块使用24×24大小的池化、1×1的卷积特征、所述批量标准化层、所述Relu激活函数层和所述上采样层来预测带有第三预设大小边界框的待检测面板的缺陷，其中，第一预设大小边界框小于第二预设大小边界框，第二预设大小边界框小于第三预设大小边界框；

所述特征融合网络组包括第一特征融合网络、第二特征融合网络和第三特征融合网络，所述第一组检测模块的上采样层、第二组检测模块的上采样层和第六组检测模块的Relu激活函数层均连接所述第一特征融合网络，所述第三组检测模块的上采样层、第四组检测模块的上采样层和第二组检测模块的Relu激活函数层均连接所述第二特征融合网络；所述第五组检测模块的上采样层、第六组检测模块的上采样层和第四组检测模块的Relu激活函数层均连接所述第三特征融合网络。

7.根据权利要求6所述的方法，其特征在于，步骤S500包括：

步骤S510：将所述差异信息输入至所述面板缺陷检测网络，得到第一输出特征图、第二输出特征图、第三输出特征图、第四输出特征图、第五输出特征图、第六输出特征图、第一特征、第二特征和第三特征，将所述第一输出特征图、所述第二输出特征图和所述第一特征输入至所述第一特征融合网络，将所述第三输出特征图、所述第四输出特征图和所述第二特征输入至所述第二特征融合网络，将所述第五输出特征图、所述第六输出特征图和所述第三特征输入至所述第三特征融合网络；

步骤S520：所述第一特征融合网络根据接收的所述第一输出特征图、所述第二输出特征图和所述第一特征进行特征融合，产生一组预设的第一尺寸的预测检测结果，所述第二特征融合网络根据接收的所述第三输出特征图、所述第四输出特征图和所述第二特征进行特征融合，产生一组预设的第二尺寸的预测检测结果，所述第三特征融合网络根据接收的所述第五输出特征图、所述第六输出特征图和所述第三特征进行特征融合，产生一组预设的第三尺寸的预测检测结果，其中，所述预设的第一尺寸小于预设的预设的第二尺寸，所述预设的第二尺寸小于预设的第三尺寸。

8.根据权利要求7所述的方法，其特征在于，步骤S600包括：

步骤S610：将所述预设的第一尺寸的预测检测结果、所述预设的第二尺寸的预测检测结果和所述预设的第三尺寸的预测检测结果分别输入至m×n卷积层，得到预设的第一尺寸的分类结果和定位结果、预设的第二尺寸的分类结果和定位结果以及预设的第三尺寸的分类结果和定位结果，m和n分别为大于零的正整数；

步骤S620：对所述预设的第一尺寸的分类结果和定位结果、预设的第二尺寸的分类结果和定位结果以及预设的第三尺寸的分类结果和定位结果分别应用非极大值抑制方法，以获得最终的对应尺寸的预测结果。

9.根据权利要求8所述的方法，其特征在于，步骤S620中对所述预设的第一尺寸的分类结果和定位结果应用非极大值抑制方法，以获得最终的对应第一尺寸的预测结果包括：

步骤S621：从所述预设的第一尺寸的分类结果和定位结果中获取所有边界框对应的置信度得分，根据所述置信度得分将所有边界框进行由高到低的排序添加至边界框列表中；

步骤S622：选择置信度最高的边界框添加到最终输出列表中，将所述置信度最高的边界框从所述边界框列表中删除；

步骤S623：计算所有边界框的面积，根据所有边界框的面积计算置信度最高的边界框与其它边界框的面积交并比；

步骤S624：删除交并比大于预设阈值的边界框；

步骤S625：重复步骤S621-步骤S624，直至所述边界框列表为空，得到第一尺寸的预测结果。

10.基于机器视觉的面板缺陷检测系统，其特征在于，包括：

待检测面板固定模块，用于将待检测面板放入自适应柔性调节尺度的传送带装置固定，并通过所述传送带装置将所述待检测面板送至预设的面板检测区域；

缺陷图片采集模块，用于通过多角度分时视觉成像技术，在预设的面板检测区域采集所述待检测面板的缺陷图片；

缺陷数据标注模块，用于根据所述待检测面板的型号类别对所述采集到的缺陷图片进行缺陷位置与种类的数据标注；

差异信息获取模块，用于将所述进行了数据标注后的缺陷图片与预设的模板图片通过共享卷积主干的方式进行特征减法，得到差异信息；

检测结果预测模块，用于将所述差异信息输入至预设的组金字塔池网络得到不同尺度预测的检测结果；

预测结果确定模块，用于对所述不同尺度预测的检测结果应用非极大值抑制方法获得最终的预测结果。

Images