CN113030108A

CN113030108A - 一种基于机器视觉的涂层缺陷检测系统与方法

Info

Publication number: CN113030108A
Application number: CN202110249102.7A
Authority: CN
Inventors: 沙香港; 吕永胜; 赵辉; 陈宗阳; 沙建军; 房海波; 彭锐晖
Original assignee: Harbin Engineering University
Current assignee: Harbin Engineering University
Priority date: 2021-03-08
Filing date: 2021-03-08
Publication date: 2021-06-25

Abstract

本发明提供一种基于机器视觉的涂层缺陷检测系统与方法，包括图像采集模块、图像采集卡、工控机计算平台、工件传送装置、筛选执行装置、基于神经网络的检测模型；所述图像采集模块包括亮度补偿装置、工业相机、相机夹持装置，所述工件传送装置将待检测工件传输至检测区域和筛选区域，所述图像采集卡连接工业相机和工控机计算平台，所述工控机计算平台将所采集到的待测工件的涂层检测图像进行随机裁切与尺度缩放并实时输入到基于神经网络的检测模型内输出检测分类结果，并将分类结果转换为控制信号发送给筛选执行装置，本发明能够对工件涂层表面缺陷进行自动检测、分类和筛除，具有易于实现与部署、节约人力成本、检测速度快、检测准确率高的优点。

Description

一种基于机器视觉的涂层缺陷检测系统与方法

技术领域

本发明涉及一种涂层缺陷检测系统与方法，尤其涉及一种基于机器视觉的涂层缺陷检测系统与方法，属于机器视觉、涂层缺陷检测领域。

背景技术

随着社会的发展，人们对产品品质要求越来越高。在当前制造业转型升级的背景下，生产企业对产品表面质量的自动化检测存在着强烈需求。涂层是一种很常见的表面处理方法，它是覆盖在金属、织物、复合材料、皮革等基材表面并起到保护、装饰等功能的作用。常见的涂层缺陷，包括龟裂、露底、流挂、橘皮等，其对产品的使用寿命、产品性能、表面外观等影响很大。

自动检测涂层表面缺陷并区分涂层缺陷类型是提升产品表面质量、生产效率和企业效益的必要技术支撑。目前工业生产中表面缺陷检测技术的应用对象多为钢板、纺织物、PCB板等物体；而对涂层表面缺陷检测的研究较少。由于涂层缺陷种类多，基材及涂料不同时的涂膜形成机理各异，对于诸多涂层表面缺陷形成机理及其外在表现形式之间的关系也尚不明确，致使对涂层缺陷的描述不充分，缺陷的特征提取有效性不高，缺陷不易识别且类别更难区分，传统视觉检测方法在检测识别涂层缺陷时的效果并不理想。因此，目前涂层表面缺陷检测仍然较多采用人工检测或基于传统图像处理的方法，检测精度低，并且不易准确区分多类型涂层表面缺陷。

针对上述问题，本专利提出一种一种基于机器视觉的涂层缺陷检测系统与方法，包括图像采集模块、图像采集卡、工控机计算平台和外围的工件传送装置和筛选执行装置，以及基于神经网络的涂层缺陷检测模型。相较传统缺陷检测技术方法，该系统与方法能够对材料涂层表面的产品缺陷进行自动检测，在一定程度上克服了人工检测和传统图像处理检测方法的缺点。在实际应用于工业流水线质检时，能够有效节约人力成本。而且其易于实现与部署、检测速度快、检测准确率高的优点也能够大大提高质检效率。

发明内容

本发明能够对材料涂层表面的产品缺陷进行自动检测，是为了解决当前涂层缺陷工业自动检测中由于涂层缺陷种类多、形成机理各异、特征表征难而导致的检测精度和检测效率不理想的问题。

本发明的目的是这样实现的：

一种基于机器视觉的涂层缺陷检测系统，其特征在于，所述检测系统包括：图像采集模块、图像采集卡、工控机计算平台、工件传送装置、筛选执行装置、基于神经网络的检测模型；所述图像采集模块包括亮度补偿装置、工业相机、相机夹持装置，所述工件传送装置负责将待检测工件传输至检测区域和筛选区域，所述图像采集卡连接工业相机和工控机计算平台，所述工控机计算平台将所采集到的待测工件的涂层检测图像进行随机裁切与尺度缩放并实时输入到基于神经网络的检测模型内输出检测分类结果，并将分类结果转换为控制信号发送给筛选执行装置。

所述筛选执行装置根据工控机计算平台发送信号对有涂层缺陷的工件进行分批剔除筛选；

一种基于机器视觉的涂层缺陷检测方法，其特征在于，包括如下步骤：

s1.工件传送装置将待检测工件传送至图像采集模块下方的待检测区域；

s2.图像采集模块对待检测工件表面涂层图像进行采集，并通过图像采集卡将采集到的涂层表面图像传输至工控机计算平台；

s3.工控机计算平台上运行程序对当前读入的涂层图像进行预处理，并将其加载到已部署在工控机计算平台上的涂层表面缺陷检测神经网络模型内，对当前工件的涂层缺陷类型进行实时识别分类；

s4.检测模型将分类结果实时反馈至与工控机计算平台连接的筛选执行装置，对当前工件进行分批筛选。

所述步骤s3中涂层表面缺陷检测神经网络模型的构建步骤包括：

s1.采集正常涂层和有缺陷涂层样本的涂层样本原始图像；

s2.将采集到的涂层样本原始图像进行图像裁切和尺度缩放处理，生成涂层样本图像数据集；

s3.利用步骤s2中涂层样本图像数据集对神经网络模型进行训练，构建神经网络模型。

所述步骤s1中采集的涂层样本为人为制作的缺陷涂层或喷涂过程中自然形成的缺陷涂层，涂层样本包括正常涂层样本、橘皮缺陷涂层样本、露底缺陷涂层样本、龟裂缺陷涂层样本、流挂缺陷涂层样本；

所述步骤s2中图像裁切的方法包括：均匀网格裁切、随机裁切、随机旋转裁切；尺度缩放方法包括：最近邻算法、双线性插值算法、双三次插值算法；

所述步骤s3中神经网络模型包括：Resnet50、Xception、DenseNet121。

与现有技术相比，本发明的有益效果是：

1.本发明的缺陷检测系统，由图像采集模块、图像处理卡、工控机计算平台和外围的工件传送装置和筛选执行装置等部分所构成。通过该系统实现了对工件表面涂层质量的自动化检测，相较于过去的人工检测，节约了人力成本。同时，自动化检测的过程使得检测时间大大缩短，且可以24小时不间断进行检测，大大提升了工件工业生产中涂层质量检测这一环节的效率。

2.本发明的缺陷检测方法是基于神经网络模型的深度学习方法，通过输入制作好的涂层样本数据集对模型进行训练后，模型能够自动识别多种类型缺陷特征，相较基于传统图像处理的方法，无需手动设计涂层缺陷图像特征和相应判别规则进行判断，而且对同一类型但略有差异的涂层缺陷具有更好的泛化能力，所能达到的识别准确率更高。

3.本发明易于部署与实现，对于现有的人工质检流水线，只需对其进行简易改造就能将该发明的缺陷检测系统加装至现有流水线上完成部署并投入使用。此外，当需要对新的涂层类型进行检测时，只需要重新训练神经网络模型即可，无需改变系统硬件组成。因此该发明在节约人力成本的同时还能够有效节约设备成本。

附图说明

图1为本发明“一种基于机器视觉的涂层缺陷检测系统与方法”的总体示意图；

图2为本发明中涂层缺陷检测系统组成示意图；

图3为本发明中检测模型构建方法流程图；

图4为本发明中涂层缺陷检测方法流程图；

图5为本发明中卷积神经网络模型结构示意图；

图6为本发明实施例中正常涂层样本图像；

图7为本发明实施例中橘皮缺陷涂层样本图像；

图8为本发明实施例中露底缺陷涂层样本图像；

图9为本发明实施例中龟裂缺陷涂层样本图像；

图10为本发明实施例中流挂缺陷涂层样本图像；

图11为本发明实施例中五折交叉验证原理示意图；

图12为本发明实施例中Resnet50网络模型的ROC曲线及AUC；

图13为本发明另一实施例中DenseNet121网络模型的ROC曲线及AUC。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述。

本发明实施例提供了一种基于机器视觉的涂层缺陷检测系统与方法，其中，检测系统包括：图像采集模块、图像采集卡、工控机计算平台、工件传送装置和筛选执行装置。如图2所示。

工件传送装置位于图像采集模块下方，以固定间距将涂层工件放置在工件传送装置上并以一定传动速度周期性地将涂层工件逐个传送至位于工业相机镜头垂直正下方的待检测区域。

在本实施例中，工件传送装置使用流水线生产车间中的可自定义调速电机传送带。传送带的传送速度和检测时静止时间间隔需要根据涂层工件放置间距、涂层图像采集速度、神经网络模型检测速度等条件参数进行设定。

涂层图像采集模块由亮度补偿模块、工业相机、相机夹持装置所组成。涂层图像采集模块能够快速、完整地采集正常和缺陷涂层样本图像或者待测工件涂层检测图像。工业相机通过相机夹持装置架设在工件传送装置上方，在神经网络训练数据集制作过程中，采集正常无缺陷和有不同类型缺陷的涂层样本图像；在对涂层工件进行实时检测分类时，工业相机负责采集待测工件表面涂层图像。亮度补偿模块用于提高待检测目标表面的整体亮度，使工业相机在成像时能够清晰地还原缺陷样式，避免成像过暗所造成的图像噪声大的问题。相机夹持装置用于固定工业相机，以确保相机镜头与待测工件间保持合适的成像距离与角度。

在本实施例中，工业相机选取CCD相机，CCD相机相较其他相机具有更高的稳定性、传输能力和和抗干扰能力，能够满足工业涂层缺陷检测采集图像的要求。在选择CCD相机参数时既需要满足图像实时采集传输的高速率要求，同时还要满足提升检测分类精度的高成像质量要求。具体地，在本实施例中，选择CCD相机的光学分辨率为2048×1536，画幅长宽比4：3，像素深度为12Bit，成像波段为350nm-1000nm，数据接口为以太网RJ45接口，成像速率不低于10幅/秒，相机结构为面阵成像相机。

在本实施例中，相机夹持装置使用磁力式360°万向支架。磁力式360°万向支架可以通过调节主杆、副杆和夹持头实现360°全方位旋转，在使用时通过底部的主动式磁力发生底座可以直接将支架牢固地吸附在工业传送带一侧，方便快捷，省去了安装固定的步骤。通过夹持头将工业相机固定在支架上端，调节支架关节可使工业相机镜头对准传送带上待检测区域并保持合适的成像距离与角度。

在本实施例中，亮度补偿模块由光源控制器和视觉光源组成。光源控制器使用模拟式光源控制器，将视觉光源与模拟式光源控制器连接，在实际使用时根据具体环境亮度，可以无极调节视觉光源的发光强度，增大待检测区域亮度以提升涂层图像成像质量，避免因曝光不足而导致的图像噪声大的问题。视觉光源使用高密度LED同轴光源，高密度LED同轴光源相比环形LED或条形LED光源，具有凸显物体表面不平整，克服物体反光所造成的干扰的特点，且其密集排布的LED灯珠可以使工件表面成像清晰、照射面积内亮度均匀，因此适合在进行工业涂层表面缺陷检测时使用。

图像采集卡连接工业相机和工控机计算平台，将工业相机实时采集到的涂层图像数据高速度、低延迟地传输至工控机计算平台，提升后续图像实时处理分类效率。

在本实施例中，使用PCIE接口图像采集卡。该图像采集卡具有多路以太网口输入，与工业相机的以太网接口相连接接收图像数据，图像采集卡的PCIE输出接口与工控计算机平台板卡上的PCIE插槽相连接，将工业相机通过多路发送的图像数据经由图像采集卡内部高速总线快速传输给工控机计算平台。

工控机计算平台将接收来自图像采集卡的涂层图像数据。在进行神经网络模型训练时，将涂层检测图像进行图像预处理、旋转裁切与尺度缩放后构建涂层样本数据集，输入人工神经网络进行模型训练；在进行实时检测分类时，将当前采集到的涂层检测图像经过预处理后输入到训练完成的神经网络模型内并输出检测分类结果，再将分类结果信息转换为控制信号传输给筛选执行装置，完成涂层缺陷工件的分批剔除。

在本实施例中，工控机计算平台主要由中央处理器、图形计算卡、随机存储器、存储介质所组成。硬件上，工控机计算平台的作用，一是通过PCIE接口与图像采集卡连接并接收采集到的工件涂层原始图像，二是通过串口与筛选执行装置建立通信连接并发送筛选执行装置控制信号。软件上，工控机计算平台所起到的作用，一是在神经网络模型构建时，通过程序代码将人工制作的正常和有缺陷涂层样本图像进行旋转裁剪和尺度缩放后构建涂层样本图像数据集，将其输入进神经网络模型对模型进行训练。二是在神经网络模型完成训练并部署后，通过程序代码将当前实时采集到的涂层检测图像进行图像预处理并加载到神经网络模型内进行检测分类。

筛选执行装置由微型处理器系统和机械手臂所组成，微型处理器系统连接工控机计算平台与机械手臂，将工控计算机平台发送的分类结果信息转换为控制信号操控机械手臂对有涂层缺陷的工件进行分批剔除。

在本实施例中，筛选执行装置由微型处理器系统和机械手臂所组成。微型处理器系统通过串口与工控计算机平台进行连接通信，实时接收工控机发送的当前涂层工件的缺陷类型信号，并根据该信号操控处在传送带后段不同距离上的机械手臂把有缺陷的工件推出传送带，放入不同种类的分选箱中，实现有涂层缺陷工件的筛选分类。在本实施例中，机械手臂使用电机驱动的伸缩式或旋转式小型机械臂，机械臂位于传送带上方与传送带表面平行，当微型处理器系统接收到筛选信号时，通过电机驱动伸缩式机械臂伸出(或旋转式机械臂旋转)将有缺陷的涂层工件推出传送带掉落至不同序号的分选箱中。机械手臂的安置数量与涂层样本种类数量相同且等间距地分布在传送带后端的不同位置处，在传送带上的每个机械手臂下方对应位置放置一个分选箱。系统工作时，微型处理器系统会根据当前涂层工件缺陷类型延迟不同的等待时间，驱动对应位置的机械手臂工作实现分批剔除。

基于神经网络的检测模型经过训练及性能验证后，部署并运行在工控机计算平台上，对待测工件涂层缺陷类型进行实时自动检测和分类。检测模型构建步骤如下，如图3所示。

s1.采集正常涂层和有缺陷涂层工件的涂层原始样本图像；

s2.将采集到的涂层样本图像进行预处理、旋转裁切和尺度缩放，生成涂层样本图像数据集；

s3.构建神经网络模型，利用步骤s2中涂层样本图像数据集对神经网络模型进行训练与测试，验证模型检测分类性能并部署模型；

在本实施例中，上述方法具体包括：

使用图像采集系统采集涂层样本图像。涂层样本为人工喷涂的涂层样本，具体的涂层样本包括正常涂层样本、橘皮缺陷涂层样本、露底缺陷涂层样本、龟裂缺陷涂层样本、流挂缺陷涂层样本，分别如图6-10所示。在本实施例中，分别采集五类涂层原始样本图像100张，共500张原始样本图像。

对采集到的原始样本图像进行旋转裁切和尺度缩放处理，完成涂层样本数据集的构建。旋转裁切的目的是扩充数据集中样本的丰富程度，根据神经网络的特点，训练集规模越大训练出来模型的泛化能力越强、分类准确率越高。图像裁切的方法包括：均匀网格裁切、随机裁切、随机旋转裁切。尺度缩放的目的是确保数据集中涂层样本图像与后续涂层检测图像的尺寸保持一致，图像尺寸缩放方法包括：最近邻算法、双线性插值算法、双三次插值算法等。

在本实施例中，使用随机旋转裁切与双三次插值算法分别进行图像裁切和尺度缩放，将样本原始数据集扩充3倍，生成数据集样本的尺寸为224×224，具体步骤为：

s2.1样本原始图像长宽分别为M＝2048,N＝1536，设置裁切所获得的三张图像P_i长宽分别为m_i和n_i，i∈{1,2,3}，标准样本图像长宽分别为M_S＝224,N_S＝224；

s2.2确定每张裁切图像的随机旋转角度范围为θ_i∈(0°,360°)；根据样本原始图像和裁切图像尺寸确定随机位置坐标(x_i,y_i)取值范围，公式如下：

s2.3根据上述获得的三个随机位置顶点坐标(x_i,y_i),i＝{1,2,3}和随机旋转角度θ_i,i＝{1,2,3}对每一张样本原始图像进行裁切获取三张随机裁切后图像。

s2.5将裁切后的图像进行尺度缩放，将图像尺寸统一调整至标准样本尺寸M_S＝224,N_S＝224。在本实施例中，图像尺度缩放选择双三次插值算法，双三次插值算法计算精度较高，缩放后的图像边缘平滑，图像质量损失少，满足样本图像的画质要求。

在完成涂层样本图像数据集制作后，接下来是构建神经网络模型，并将数据集中涂层样本图像输入模型进行模型训练，验证模型有效性并完成部署。具体包括如下步骤：

s3.1确定神经网络模型类型

s3.2选择模型优化器与代价函数

s3.3设置训练方法

s3.4进行模型性能评价

针对步骤s3.1确定神经网络模型，有：

卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，相对于普通人工神经网络在图像分类、识别检测的正确率等方面具有很大的优势。卷积神经网络一般包括输入层，隐含层，输出层三种网络结构；而隐含层又可分为卷积层、池化层和全连接层3类常见结构，如图2所示。常见的用于分类检测的卷积神经网络模型包括：Resnet50、MobileNetV2、DenseNet121等。

在本实施例中，构建的神经网络模型为Resnet50网络模型。Resnet50网络模型具有残差结构，其特点在于训练网络过程中，前向传播时，浅层的特征可以在深层得到重用，而反向传播时，深层的梯度可以直接传回浅层，该结构使得网络更容易优化，并且能够进一步增加相当的深度来提高准确率。

在另一实施例中，构建的神经网络模型为DenseNet121网络模型。DenseNet121网络采用密集结构设计，使得网络更窄，参数更少，这种连接方式使得特征和梯度的传递更加有效，使得网络也就更加容易训练。

针对步骤s3.2选择模型优化器与代价函数，有：

在深度学习中涉及诸多优化问题，神经网络训练优化是其中最为重要的环节之一，即在对神经网络训练的过程中寻找到一组参数θ，使得代价函数J^*(θ)的值尽可能的小，其计算公式如下：

其中L是每个样本的损失函数，f(x；θ)是输入x时所预测的输出，P_data为数据生成分布，y是目标输出。优化算法包括：随机梯度下降法(SGD)、动量(Momentum)算法、自适应梯度算法(Adagrad)、均方根传播方法(RMSprop)、自适应矩估计(Adam)算法等。

在本实施例中，选择Adam优化器作为模型优化器。这是因为，在Adam算法中，动量直接并入了指数加权的估计；其次Adam包括偏置修正，修正从原点初始化的一阶矩和二阶矩。所以Adam算法对超参数的选择具有非常优秀的鲁棒性。

代价函数为损失函数在训练集内所有样本误差的期望。因此损失函数的选择影响着能否正确、快速的求解代价函数的全局极小值。

在本实施例中，为了评估当前训练得到的概率分布与真实分布的差异情况，代价函数采用交叉熵损失函数，其计算方法见下式：

其中y为期望的输出，a为神经元实际输出。交叉熵损失函数描述的是实际输出与期望输出之间的距离，即交叉熵的值越小，两者之间距离越小，则两个概率分布就越接近。交叉熵损失函数特点在于误差较大时会较快的更新权重，以便快速的寻找全局最优处，而误差较小时，则权重的更新较慢，防止检测模型过拟合。

针对步骤s3.3设置训练方法，有：

主流的深度学习方法往往依靠许多超参数来控制网络在不同数据集上的算法表现。超参数的选择会影响算法的运行速度和存储成本，甚至影响算法对数据集的检测分类性能。超参数选择的基本方法包括手动选择和自动选择。

由于自动选择超参数往往需要非常高的计算成本，因此在本实施例中，采用手动选择方法，经过多次超参数选择实验，给出以下卷积神经网络训练时的参数设置，如下表所示。

检测模型训练设置

鉴于本发明涂层数据集的规模不大(1500张)，涂层缺陷携带的特征较弱且难以表征；若采用传统的数据集分割方法(训练集/测试集＝4:1)训练网络模型，则很容易导致网络模型难以学习到涂层缺陷特征，进而影响模型的检测分类效果。为了避免产生上述情况，在本实施例中，网络模型训练时采用交叉验证方法，具体为K折交叉验证法。针对实施例中数据集规模，若采用研究者较常采用的10折交叉验证，则会使得每折用于训练网络模型的数据较多，导致用于测试模型泛化性能的样本数较少(150张)，而采用5折交叉验证则可保证每折在训练数据充足的情况下，同时满足用于测试模型泛化性能的样本数(300张)。5折交叉验证原理如图10所示。

针对s3.4进行模型性能评价，有：

在机器学习领域，特别是统计分类问题中，混淆矩阵是一种特定的表格布局，可对算法性能进行可视化分析。由混淆矩阵可定量分析计算模型性能评价指标，包括：假阴性、假阳性、真阴性、真阳性、准确性、真阳性预测值、灵敏度或真阳率、F₁分数、特异性或假阳率、马修斯相关系数等。

在本实施例中，根据训练后的模型对测试样本的检测分类结果，使用混淆矩阵，统计归错类和归对类的观测值个数，具体包括：假阴性和假阳性(FalsePositives,FP)为未被正确分类的样本；真阴性(True Negatives,TN)和真阳性(True Positives,TP)为被正确分类的样本。在混淆矩阵基础上，再计算以下四个评价指标分析检测模型在此涂层数据集上的检测分类性能：

(1)精准度(Precision)：

(2)召回率(Recall)：

(3)准确度(Accuracy)：

(4)马修斯相关系数(Matthews correlation coefficient，MCC)：

另外，由混淆矩阵可绘制相应的接收器工作特性曲线(ROC)，其是反应灵敏度(True Positive Rate,FPR)和特异性(False Positive Rate,TPR)连续变量的综合指标；根据ROC曲线形状可以判断模型性能好坏，一般而言曲线越往左上凸，曲线下方面积越大，则模型的检测分类性能越好。ROC曲线下的面积(AUC)也是对模型结果进行定量评价的指标之一，AUC计算公式见下式。本实施例和另一实施例中网络模型ROC曲线及AUC分别如图12、图13所示。

在本实施例中，Resnet50网络模型的检测分类精确度可达95％，召回率为94.7％，准确度可达97.9％，MCC可达0.845，各类涂层的ROC下的面积AUC可达1，说明该检测模型对涂层缺陷具有非常高的检测性能，可满足涂层表面缺陷的工业检测需求。

在另一实施例中，DenseNet121网络模型的检测分类精准度、召回率、准确度与Resnet50网络基本接近，同样说明该检测模型对涂层缺陷具有非常高的检测性能，可满足涂层表面缺陷的工业检测需求。

两实施例中检测模型的上述四类指标的计算结果总结如下表所示。

两种网络模型分类性能

一种基于机器视觉的涂层缺陷检测系统与方法，检测系统包括：图像采集模块、图像采集卡、工控机计算平台、工件传送装置、筛选执行装置、基于神经网络的检测模型。

工件传送装置负责将待检测工件传输至检测区域和筛选区域。

图像采集模块包括：亮度补偿模块、工业相机、相机夹持装置。

工业相机在模型训练过程中，用于采集正常涂层工件和具有不同类型缺陷涂层工件的涂层样本图像；在实时检测涂层工件缺陷时，所述工业相机用于采集待测涂层工件的涂层检测图像。

亮度补偿装置用于增大待检测区域亮度以提升涂层图像成像质量，避免因曝光不足而导致的图像噪声大的问题。

相机夹持装置用于固定工业相机，以确保相机镜头与待测工件间保持合适的成像距离与角度。

图像采集卡连接工业相机和工控机计算平台，用于将工业相机采集到的涂层图像快速传输至工控机计算平台，提升后续图像实时处理分类效率。

工控机计算平台将所采集到的待测工件的涂层检测图像进行随机裁切与尺度缩放并实时输入到神经网络模型内输出检测分类结果，并将分类结果转换为控制信号发送给筛选执行装置。

筛选执行装置与工控机计算平台连接，根据工控机发送信号对有涂层缺陷的工件进行分批剔除筛选。

基于神经网络的检测模型运行在工控机计算平台上，对待测工件涂层缺陷类型进行实时自动检测和分类，检测模型构建步骤包括：

s1.采集正常涂层和有缺陷涂层样本的涂层样本原始图像；

s3.构建神经网络模型，利用步骤s2中涂层样本图像数据集对神经网络模型进行训练；

进一步的，上述检测模型构建步骤s1中采集的涂层样本为人为制作的缺陷涂层或喷涂过程中自然形成的缺陷涂层。在一些实施例中，涂层样本包括正常涂层样本、橘皮缺陷涂层样本、露底缺陷涂层样本、龟裂缺陷涂层样本、流挂缺陷涂层样本。

进一步的，上述检测模型构建步骤s2中图像裁切的方法包括：均匀网格裁切、随机裁切、随机旋转裁切；尺度缩放方法包括：最近邻算法、双线性插值算法、双三次插值算法等。

进一步的，上述检测模型构建步骤s3中神经网络模型为常见的用于分类检测的神经网络模型，包括：Resnet50、Xception、DenseNet121等。

运用上述涂层缺陷检测系统的一种基于机器视觉的涂层缺陷检测方法，可以用于对涂层工件表面缺陷进行自动检测，主要步骤包括：

综上所述：一种基于机器视觉的涂层缺陷检测系统与方法，包括图像采集模块、图像采集卡、工控机计算平台和外围的工件传送装置和筛选执行装置，以及基于神经网络的涂层缺陷检测模型。工件传送装置负责将待检测工件传输至检测区域和筛选区域。图像采集模块负责采集工件涂层表面图像。图像采集卡将工业相机采集的涂层图像传输至工控机计算平台。工控机计算平台将采集到的涂层图像输入进神经网络模型进行检测分类，并将信号传输给工控机计算平台。筛选执行装置负责对已确定的涂层缺陷进行分批剔除。相较传统缺陷检测技术方法，该系统与方法能够对材料涂层表面的产品缺陷进行自动检测，具有易于实现与部署、检测速度快、检测准确率高的优点。

Claims

1.一种基于机器视觉的涂层缺陷检测系统，其特征在于，所述检测系统包括：图像采集模块、图像采集卡、工控机计算平台、工件传送装置、筛选执行装置、基于神经网络的检测模型；所述图像采集模块包括亮度补偿装置、工业相机、相机夹持装置，所述工件传送装置负责将待检测工件传输至检测区域和筛选区域，所述图像采集卡连接工业相机和工控机计算平台，所述工控机计算平台将所采集到的待测工件的涂层检测图像进行随机裁切与尺度缩放并实时输入到基于神经网络的检测模型内输出检测分类结果，并将分类结果转换为控制信号发送给筛选执行装置。

2.根据权利要求1所述的一种基于机器视觉的涂层缺陷检测系统，其特征在于，所述筛选执行装置根据工控机计算平台发送信号对有涂层缺陷的工件进行分批剔除筛选。

3.一种基于机器视觉的涂层缺陷检测方法，其特征在于，包括如下步骤：

4.根据权利要求3所述的一种基于机器视觉的涂层缺陷检测方法，其特征在于，所述步骤s3中涂层表面缺陷检测神经网络模型的构建步骤包括：

s1.采集正常涂层和有缺陷涂层样本的涂层样本原始图像；

5.根据权利要求4所述的一种基于机器视觉的涂层缺陷检测方法，其特征在于，所述步骤s1中采集的涂层样本为人为制作的缺陷涂层或喷涂过程中自然形成的缺陷涂层，涂层样本包括正常涂层样本、橘皮缺陷涂层样本、露底缺陷涂层样本、龟裂缺陷涂层样本、流挂缺陷涂层样本。

6.根据权利要求4所述的一种基于机器视觉的涂层缺陷检测方法，其特征在于，所述步骤s2中图像裁切的方法包括：均匀网格裁切、随机裁切、随机旋转裁切；尺度缩放方法包括：最近邻算法、双线性插值算法、双三次插值算法。

7.根据权利要求4所述的一种基于机器视觉的涂层缺陷检测方法，其特征在于，所述步骤s3中神经网络模型包括：Resnet50、Xception、DenseNet121。