CN115184359A - 一种自动调参的表面缺陷检测系统与方法 - Google Patents

Abstract

本发明涉及工业制造技术领域，特别是一种自动调参的表面缺陷检测系统与方法。本发明的优点在于：本发明通过多相机配置方式和精准控制外部触发信号实现对产品多个管控面的多个检测任务的流水线式的执行控制，改善GPU共享产生的性能损失、提升GPU的利用率、降低检测系统的部署成本，本发明通过强化学习，实现工业视觉检测设备自动调节检测参数和标准参数，以适应产品来料的不稳定及检测环境的不稳定，确保系统检测结果的稳定性。

Description

一种自动调参的表面缺陷检测系统与方法

技术领域

本发明涉及工业制造技术领域，特别是一种自动调参的表面缺陷检测系统与方法。

背景技术

在工业制造中，由于生产技术、工作条件等因素的不足和局限，极易影响制成品的质量。为了保证良品率，必须进行产品表面缺陷检测。表面缺陷检测是指检测样品表面的划痕、缺陷、异物遮挡、颜色污染、孔洞等缺陷，从而获得被测产品表面缺陷的类别、轮廓、位置、大小等一系列相关量化特征信息。

表面缺陷检测方法可分为传统的表面缺陷检测方法和基于深度学习的表面缺陷检测方法。传统的机器视觉检测主要以人工特征提取、分类、识别为主，检测方法具有针对性，系统鲁棒性差。根据特征提取的层级，传统的基于视觉的表面缺陷检测方法可划分为基于纹理特征的方法、基于颜色特征的方法、基于形状特征的方法。随着人工智能技术的不断发展，以神经网络为代表的深度学习技术已逐步应用在机器视觉领域。深度学习利用机器模仿人类思考，实现对图像的理解，被用来解决复杂场景的缺陷检测与分类。其典型应用领域包括目标检测、图像分类、图像分割等。与传统方式相比，深度学习可以在训练过程中自学习局部和全局的相关属性，省去特征工程环节，识别精度更高、更加灵活。因此，将深度学习在表面缺陷检测中快速落地应用成为了工业视觉检测研究的重点。目前，由于工业样本的不足，且深度学习对硬件的内存和计算能力要求较高，很难快速获得一个优秀的模型上线使用。

现有视觉检测方案在工业生产应用中存在诸多不足，具体表现在：

(1)都需要视觉相关专业技术人员，投入较长时间对需求进行评估和应用调试；

(2)传统检测方式对产品来料的稳定性要求很高，采用固定的曝光参数和视觉检测判定参数，会由于现场检测环境的差异导致检测结果不稳定，整个系统鲁棒性弱；

(3)深度学习检测方式上线周期长，且部署硬件成本高；

(4)缺少自动检验产品差异和检验产线环境变更的机制，导致一旦视觉检测系统满足不了产线生产环境变动的需求，则出现检出率低，过漏检多，需投入人力重新手动调整参数；

(5)现有的视觉检测方案都未增加产品缺陷判定标准的先验知识，因此检测结果可解释性不好，容易和人工检测判定标准产生偏差。

发明内容

本发明提出的基于强化学习的自动参数调节表面缺陷检测系统及方法，整合了图像采集、缺陷检测、检测结果融合判定等表面缺陷检测的多个阶段，通过多角度曝光和自动曝光参数调节机制，确保缺陷在图像上的呈现效果，且能适应环境的差异变化采集有效的图像，从而在图像采集阶段就严格降低缺陷漏检的风险，本发明方法中的检测结果融合判定，融合了缺陷的多个特征，更符合人为检测判定的标准，且更灵活，能及时根据线上生产需求调整，实现整个表面缺陷检测系统检测结果的可解释性和检测方案的可行性。

为了解决本发明提出的主要技术问题，提出以下技术方案：

一种自动调参的表面缺陷检测系统，其特征在于：包括图像采集端，图像缺陷检测端、自适应控制调节端，其中图像采集端端包含工业镜头、光源、工业相机硬件采集部分；图像缺陷检测端包含传统视觉检测模块、深度学习缺陷检测模块、OK/NG的融合判定模块；自适应控制调节端包含硬件设备参数的自适应模块、数据分析检测参数自动调节模块；

工业视觉检测系统采集端镜头采用普通镜头，光源组合光源和多角度的光源，针对带方向的划痕和压点缺陷，固定一个角度曝光，可能导致本来面积不够大的缺陷，曝光的结果图像部分缺陷面积丢失，或者整个缺陷都在这一固定角度下的图像上不能呈现，采用多角度方向光源组合的多次曝光方式，再根据光度立体视觉方法，将多角度方向的曝光图像，融合成一张缺陷效果更完整的图像用于检测；

图像缺陷检测端包含传统视觉检测工具、深度学习缺陷检测模块和OK/NG判定模块，传统视觉检测工具针对灰度特征(赃物)和几何形状特征(直线、弧形)比较稳定的缺陷，具有检测耗时短，对检测计算设备性能要求低的优势；

深度学习检测工具针对背景复杂的缺陷，以及形状不规则的微小压点或划痕具有传统检测工具所不具备的检测效果；

图像缺陷检测端通过多相机配置方式，将每个管控面的检测任务划分为触发信号的接收、相机取像、传统视觉检测、深度学习视觉检测、检测结果发送五个步骤；

自适应调节控制端包含设备参数调节模块触发启动的条件、图像采集参数调节、检测参数调节三大部分；

其中参数调节触发启动条件包含，参数调节周期的设定、参数调节条件的设定和参数调节类型的确认判定，参数调节周期可以根据生产样品的稳定性和设备的稳定性等实际情况，可设定为按一天或一个月判断是否要参数调节；

参数调节条件的设定可以为生产的直通率、人员抽检GRR等结果不达标或发生客户投诉产品质量不合格的情况，当参数调节条件满足则会自动触发参数调节类型的判定；

参数调节类型判定，是判定当前工业检测设备系统检测效果的不稳定所发生的环节，通过分析不稳定的因素，从而判定所需要调节参数的类型，比如根据标准件的现有采集图像和已保存的设备稳定时候的采集图像进行对比，发现图像差异在一个合理的范围内，则判定当前检测系统采集端的性能依然处于正常稳定的情况，则不需要调节曝光参数，否则要根据自动调节曝光参数的策略网络模型快速确认合适的曝光参数。在确保图像效果稳定的情况下，如果基于图像端的检出率不满足生产需求，则需要调节缺陷检测判定端的参数。

3.根据权利要求1-2任一项所述的一种检测系统，其特征在于，还包括以下方法：

1)、图像采集端包含检测模型样本图像的离线采集和模型在生产线上部署后在线检测图像的采集，离线采集，需要根据表面缺陷检测待评估的项目(压点、划痕、异物污染)确定相机分辨率的规格与数量，针对细长的无感划痕缺陷、微小的压点缺陷，选用分辨率在500万的工业相机确保缺陷具备五个像素的宽度，针对大片脏污的缺陷、大面粗糙的异常检测，可选用分辨率低(200万)的相机，提高检测速度，根据产品要管控的区域和范围，选用一个管控面采用一个相机进行曝光的方式，避免拖动产品的机构多次移动产生过多耗时；

图像采集模块所选取的光源，针对带方向的划痕缺陷，微小的凹点压点缺陷，选用多个角度的组合光源，以及为了将微小的缺陷曝光的更完整，采用多次曝光，通过对多个方向图像进行合成，确保缺陷在图像上的呈现效果与样品效果偏差更小，从而从图像上降低漏检风险；

2)、离线采集图像评估的时候，根据采集到的图像训练一个基于强化学习自动调节曝光参数的模型，将一个正常样品的某个检测项选用的采集硬件及对应曝光参数曝光的图像保存为基准图像I₀，将曝光参数在基准曝光参数的基础上适当加上抖动调节，采集到对应的参数图像I_i，通过训练一个参数决策网络，状态是基准图像和参数图像，输出一系列的动作(调节曝光、增益、光圈大小)，使得参数图像和基准图像最终在选定的区域满足匹配条件；

2.1状态设计，将基准图像和参数图像通过一个CNN结构，从高维像素信息到一个特征空间后，两者拼接得到状态的表征信息；

2.2动作设计，通过对曝光、增益、光圈大小等参数进行调节操作，动作设置为曝光时间、增益、光圈大小的增加和减小动作。在实现上，每个参数维度都有一个对应的调节粒度，为了确保动作呈现的更连续，采用细粒度的离散动作集；

2.3奖励反馈机制，在执行参数调节动作后，看是否基准图和参数图像更加匹配了，这里采用特定区域的直方图匹配Hist(I′_i,I)来衡量，Reward的设计如下：

2.4项目评估阶段根据已有的样品图像，训练上述的曝光参数自动调节的策略网络，获得曝光参数预测的模型参数。当在线部署检测系统时，同时部署该策略网络，用于曝光参数的自动调节；

3)、在线检测图像的采集，会因生产现场环境的光照影响、机构抖动、光源设备老化，影响检测图像采集的结果产生偏差。在部署的时候，根据现场环境，在基准参数的基础上，通过自动调节曝光参数策略网络快速调节到合适的曝光参数上，确保采集的图像跟基准图像的区域直方图满足一定的匹配度；

4)、采集的图像首先进入传统的视觉检测模块，传统的视觉检测模块包含可配置的定位、缺陷斑点分析、颜色识别、及各种缺陷形状测量管控工具。传统视觉检测通过灰度特征分割、颜色分割等工具将得出缺陷所在的区域、数量、缺陷区域外接矩形面积等特征信息，通过将这些特征信息利用传统的机器学习方法如决策树、多层感知机，训练一个OK/NG的决策分类模型；

5)、产品图像在经过OK/NG的融合判定模型，检测结果如果是NG，则直接通过通讯模块，通知设备排料操作，如果当前结果是OK，则进入(7)；

6)、深度学习检测工具检测，会对OK的产品进一步执行检测。产品图像在经过深度学习检测模块，会检测出与训练不良标注样本同分布的像素或者区域(压点、划痕、脏污等)。深度学习表面缺陷检测的主要步骤如下：

Step1：分割网络设计，分割网络对采集的图像进行像素级别的分类。分割网络包括编码器和解码器，编码器包含多个卷积层和4个最大池化层，每个池化层会把输入的分辨率减半。每个卷积层后面都有一个批标准化和非线性ReLU层，输出为单通道特征图，其分辨率为输入的1/16，解码器通过反卷积层将低分辨率的特征通过上采样的方式还原高分辨率的特征图。分割网络的设计主要为了把缺陷区域在图像上如实的分割出来，分割结果准确性主要依赖样本图像的选取和样本的数量；

Step2：分割网络的损失函数设计，分割网络的损失函数为了支持多类别缺陷的检测，采用多类交叉熵损失函数，其中M表示类别的数量，y_ic是符号函数(0或1)，如果图像样本i的真实类别等于c取1，否则取值为0，p_ic表示样本i预测属于类别c的概率；

Step3：决策网络设计，决策网络使用多层卷积核下采样来确保适合大型复杂形状的容量，使网络不仅可以捕获局部，还可以捕获跨越图像较大区域的全局形状，决策网络不仅使用了分割网络中的mask结果(缺陷类别置信度)，还用了mask区域提取出来的量化特征；

Step4：人工检测缺陷先验知识添加，决策网络融合判定OK/NG模块，是在深度学习视觉检测的基础上，量化人工检测表面缺陷的标准，并将这些量化标准作为判定特征数据，和分割网络得出的mask特征图像一起输入到决策网络。人工检测缺陷，一般是先目测产品上的缺陷类型(划痕、赃物、压点)及对应这些缺陷类型的特征(数量、长度、面积、颜色深浅)，最终根据品质管控部门设定的一些类似的标准、如(数量>N、长度>L、面积>A、深浅>D)判定对应产品为缺陷，因为标定误差和视觉量测结果偏差，品保设定的标准参数(N、L、A、D)一般不能直接适用于视觉方式的检测，所以我们在评估阶段将试跑的一些样品测试数据，得到的缺陷量化特征(数量、长度、面积、颜色深浅)作为特征数据，一起输入到决策网络训练，得到一个有效的OK/NG分类模型；

Step5：决策网络的损失函数设计，决策网络的目的是结合分割结果和人工判定先验特征知识决策出产品OK/NG的类别，所以是一个二分类的问题，采用二分类的交叉熵损失函数。其中y_i表示图像样本i的标签，OK为1，NG为0。p_i表示样本i预测为OK的概率；

Step6：分割网络和决策网络采用分开训练的方法，首先训练分割网络部分，之后分割网络被冻结，再训练决策网络部分；

7)、深度学习视觉检测模型部署为了满足生产的周期要求，提高模型推理检测的速度，采用配备显卡(GPU)的工控机，针对一款产品的多个管控区域的多项缺陷检测任务，在满足推理速度的基础上，采用多步骤任务调度方式；

8)、根据7)、的任务调度方式将每个面的检测任务流程拆分为：触发取像信号接收、相机取像、传统视觉检测、深度学习视觉检测、检测结果发送五个步骤，为了避免各个管控面同时执行深度学习视觉检测任务，出现多个任务同时需要使用显存带宽产生通信碰撞问题和GPU上下文切换问题，从而产生过多的性能损失。本发明采用流水线的调度策略，通过精准控制各个管控面的触发执行时间，实现对GPU的分时复用，确保在同一时间对GPU只提交了一个管控面的推理任务，实现了GPU对检测任务的加速，同时避免GPU共用产生通信碰撞、计算碰撞和上下文切换产生的运行时间长且不稳定的问题，每个管控面相机触发时间顺序的计算如下：

Interval_i＝VCT(i-1)-befT(i) (4)

其中VCT(i-1)表示第i-1个管控面触发后视觉检测任务整个执行周期耗时，befT(i)表示第i个管控面深度学习检测任务前所有步骤的执行时长，Interval_i表示第i个管控面和第i-1个管控面触发等待间隔时间；

9)、自适应参数调节端，控制调节模块的执行可以通过设置执行条件，执行条件可以根据每天小批量的试跑结果而设置，如结果不达标或者客户投诉(出现漏放情况)、或者产品良率不达标(过杀太多))，一旦出现其所设置条件的情况，则启动表面缺陷检测系统设备自我检测过程组，自我检测调节优化的实施操作包含如下：

Step1：根据对标准样品的取图，与标准样品所保存的基准图像进行匹配度测试，如果测试满足条件，则采集模块设备及当前的参数满足条件，则不执行曝光参数的重新修正调节。如果不满足条件，则执行(4)中的参数调节，利用调参策略模型重新获得有效的曝光参数。

Step2:在曝光模块正常的情况下，随机收集小批量(100～500)的样品，标注完送入缺陷分割网络进行验证测试，模型测试的性能指标选用像素平均精度(Mean PixelAccuracy)，像素平均精度(MPA)计算方式如公式(5)，K表示评价的是K+1个类别的分割任务，p_ii为第i类被预测为属于第i类的像素个数，p_ij为第i类被预测为属于第j类的像素个数。

如果当前验证的MPA小于之前模型训练验证时候的MPA且低于所设定的阈值，说明模型的泛化能力不足，待进一步增加误分割样品训练优化模型参数。如果MPA性能指标满足要求，则分割网络依然具有很好的分割效果。

Step3：在图像能有效曝光且缺陷能有效分割的情况下，如果视觉检测系统部署在线上使用的检出率和直通率依然不满足生产要求，则需要补充OK/NG误判的样本自动优化融合判定的网络参数。

本发明具有以下优点：

(1)本发明通过融合传统视觉检测和深度学习视觉检测，整合了两种检测方式的优势，实现工业视觉针对背景复杂、轻微、低对比度的产品缺陷具有很高的检出率；

(2)本发明通过多角度的曝光合成图像，针对带方向角度的点状不连续的划伤压点缺陷能实现更完整的曝光效果，在图像采集过程中有效降低漏检风险；

(3)本发明通过多相机配置方式和精准控制外部触发信号实现对产品多个管控面的多个检测任务的流水线式的执行控制，改善GPU共享产生的性能损失、提升GPU的利用率、降低检测系统的部署成本；

(4)本发明通过强化学习，实现工业视觉检测设备自动调节检测参数和标准参数，以适应产品来料的不稳定及检测环境的不稳定，确保系统检测结果的稳定性；

(5)本发明在视觉检测的基础上，添加了OK/NG的融合判定模块，通过这种给系统添加人工检测先验知识的方式，使得检测结果不仅更具有可解释性，且检测判定结果更准确，能多维度提升检出率。

附图说明

图1为本发明的结构示意图；

图2为本发明的结构示意图；

图3为本发明的结构示意图；

图4为本发明的结构示意图；

图5为本发明的结构示意图；

图中：1-，2-，3-，4-，5-，6-，7-，8-，9-，10-，11-，12-，13-，14-，15-，16-，17-，18-，19-，20-，21-，22-，23-，24-，25-，26-，27-，28-，29-，30-。

具体实施方式

下面结合附图对本发明做进一步的描述，但本发明的保护范围不局限于以下所述。实施例一：一种自动调参的表面缺陷检测系统，其特征在于：包括图像采集端，图像缺陷检测端、自适应控制调节端，其中图像采集端端包含工业镜头、光源、工业相机硬件采集部分；图像缺陷检测端包含传统视觉检测模块、深度学习缺陷检测模块、OK/NG的融合判定模块；自适应控制调节端包含硬件设备参数的自适应模块、数据分析检测参数自动调节模块；

2.根据权利要求1所述的一种自动调参的表面缺陷检测系统，其特征在于：工业视觉检测系统采集端镜头采用普通镜头，光源组合光源和多角度的光源，针对带方向的划痕和压点缺陷，固定一个角度曝光，可能导致本来面积不够大的缺陷，曝光的结果图像部分缺陷面积丢失，或者整个缺陷都在这一固定角度下的图像上不能呈现，采用多角度方向光源组合的多次曝光方式，再根据光度立体视觉方法，将多角度方向的曝光图像，融合成一张缺陷效果更完整的图像用于检测；

图像缺陷检测端包含传统视觉检测工具、深度学习缺陷检测模块和OK/NG判定模块，传统视觉检测工具针对灰度特征(赃物)和几何形状特征(直线、弧形)比较稳定的缺陷，具有检测耗时短，对检测计算设备性能要求低的优势；

深度学习检测工具针对背景复杂的缺陷，以及形状不规则的微小压点或划痕具有传统检测工具所不具备的检测效果；

图像缺陷检测端通过多相机配置方式，将每个管控面的检测任务划分为触发信号的接收、相机取像、传统视觉检测、深度学习视觉检测、检测结果发送五个步骤；

自适应调节控制端包含设备参数调节模块触发启动的条件、图像采集参数调节、检测参数调节三大部分；

其中参数调节触发启动条件包含，参数调节周期的设定、参数调节条件的设定和参数调节类型的确认判定，参数调节周期可以根据生产样品的稳定性和设备的稳定性等实际情况，可设定为按一天或一个月判断是否要参数调节；

参数调节条件的设定可以为生产的直通率、人员抽检GRR等结果不达标或发生客户投诉产品质量不合格的情况，当参数调节条件满足则会自动触发参数调节类型的判定；

参数调节类型判定，是判定当前工业检测设备系统检测效果的不稳定所发生的环节，通过分析不稳定的因素，从而判定所需要调节参数的类型，比如根据标准件的现有采集图像和已保存的设备稳定时候的采集图像进行对比，发现图像差异在一个合理的范围内，则判定当前检测系统采集端的性能依然处于正常稳定的情况，则不需要调节曝光参数，否则要根据自动调节曝光参数的策略网络模型快速确认合适的曝光参数。在确保图像效果稳定的情况下，如果基于图像端的检出率不满足生产需求，则需要调节缺陷检测判定端的参数。

3.根据权利要求1-2任一项所述的一种检测系统，其特征在于，还包括以下方法：

1)、图像采集端包含检测模型样本图像的离线采集和模型在生产线上部署后在线检测图像的采集，离线采集，需要根据表面缺陷检测待评估的项目(压点、划痕、异物污染)确定相机分辨率的规格与数量，针对细长的无感划痕缺陷、微小的压点缺陷，选用分辨率在500万的工业相机确保缺陷具备五个像素的宽度，针对大片脏污的缺陷、大面粗糙的异常检测，可选用分辨率低(200万)的相机，提高检测速度，根据产品要管控的区域和范围，选用一个管控面采用一个相机进行曝光的方式，避免拖动产品的机构多次移动产生过多耗时；

图像采集模块所选取的光源，针对带方向的划痕缺陷，微小的凹点压点缺陷，选用多个角度的组合光源，以及为了将微小的缺陷曝光的更完整，采用多次曝光，通过对多个方向图像进行合成，确保缺陷在图像上的呈现效果与样品效果偏差更小，从而从图像上降低漏检风险；

2)、离线采集图像评估的时候，根据采集到的图像训练一个基于强化学习自动调节曝光参数的模型，将一个正常样品的某个检测项选用的采集硬件及对应曝光参数曝光的图像保存为基准图像I₀，将曝光参数在基准曝光参数的基础上适当加上抖动调节，采集到对应的参数图像I_i，通过训练一个参数决策网络，状态是基准图像和参数图像，输出一系列的动作(调节曝光、增益、光圈大小)，使得参数图像和基准图像最终在选定的区域满足匹配条件；

2.1状态设计，将基准图像和参数图像通过一个CNN结构，从高维像素信息到一个特征空间后，两者拼接得到状态的表征信息；

2.2动作设计，通过对曝光、增益、光圈大小等参数进行调节操作，动作设置为曝光时间、增益、光圈大小的增加和减小动作。在实现上，每个参数维度都有一个对应的调节粒度，为了确保动作呈现的更连续，采用细粒度的离散动作集；

2.3奖励反馈机制，在执行参数调节动作后，看是否基准图和参数图像更加匹配了，这里采用特定区域的直方图匹配Hist(I′_i,I)来衡量，Reward的设计如下：

2.4项目评估阶段根据已有的样品图像，训练上述的曝光参数自动调节的策略网络，获得曝光参数预测的模型参数。当在线部署检测系统时，同时部署该策略网络，用于曝光参数的自动调节；

3)、在线检测图像的采集，会因生产现场环境的光照影响、机构抖动、光源设备老化，影响检测图像采集的结果产生偏差。在部署的时候，根据现场环境，在基准参数的基础上，通过自动调节曝光参数策略网络快速调节到合适的曝光参数上，确保采集的图像跟基准图像的区域直方图满足一定的匹配度；

4)、采集的图像首先进入传统的视觉检测模块，传统的视觉检测模块包含可配置的定位、缺陷斑点分析、颜色识别、及各种缺陷形状测量管控工具。传统视觉检测通过灰度特征分割、颜色分割等工具将得出缺陷所在的区域、数量、缺陷区域外接矩形面积等特征信息，通过将这些特征信息利用传统的机器学习方法如决策树、多层感知机，训练一个OK/NG的决策分类模型；

5)、产品图像在经过OK/NG的融合判定模型，检测结果如果是NG，则直接通过通讯模块，通知设备排料操作，如果当前结果是OK，则进入(7)；

6)、深度学习检测工具检测，会对OK的产品进一步执行检测。产品图像在经过深度学习检测模块，会检测出与训练不良标注样本同分布的像素或者区域(压点、划痕、脏污等)。深度学习表面缺陷检测的主要步骤如下：

Step1：分割网络设计，分割网络对采集的图像进行像素级别的分类。分割网络包括编码器和解码器，编码器包含多个卷积层和4个最大池化层，每个池化层会把输入的分辨率减半。每个卷积层后面都有一个批标准化和非线性ReLU层，输出为单通道特征图，其分辨率为输入的1/16，解码器通过反卷积层将低分辨率的特征通过上采样的方式还原高分辨率的特征图。分割网络的设计主要为了把缺陷区域在图像上如实的分割出来，分割结果准确性主要依赖样本图像的选取和样本的数量；

Step2：分割网络的损失函数设计，分割网络的损失函数为了支持多类别缺陷的检测，采用多类交叉熵损失函数，其中M表示类别的数量，y_ic是符号函数(0或1)，如果图像样本i的真实类别等于c取1，否则取值为0，p_ic表示样本i预测属于类别c的概率；

Step3：决策网络设计，决策网络使用多层卷积核下采样来确保适合大型复杂形状的容量，使网络不仅可以捕获局部，还可以捕获跨越图像较大区域的全局形状，决策网络不仅使用了分割网络中的mask结果(缺陷类别置信度)，还用了mask区域提取出来的量化特征；

Step4：人工检测缺陷先验知识添加，决策网络融合判定OK/NG模块，是在深度学习视觉检测的基础上，量化人工检测表面缺陷的标准，并将这些量化标准作为判定特征数据，和分割网络得出的mask特征图像一起输入到决策网络。人工检测缺陷，一般是先目测产品上的缺陷类型(划痕、赃物、压点)及对应这些缺陷类型的特征(数量、长度、面积、颜色深浅)，最终根据品质管控部门设定的一些类似的标准、如(数量>N、长度>L、面积>A、深浅>D)判定对应产品为缺陷，因为标定误差和视觉量测结果偏差，品保设定的标准参数(N、L、A、D)一般不能直接适用于视觉方式的检测，所以我们在评估阶段将试跑的一些样品测试数据，得到的缺陷量化特征(数量、长度、面积、颜色深浅)作为特征数据，一起输入到决策网络训练，得到一个有效的OK/NG分类模型；

Step5：决策网络的损失函数设计，决策网络的目的是结合分割结果和人工判定先验特征知识决策出产品OK/NG的类别，所以是一个二分类的问题，采用二分类的交叉熵损失函数。其中y_i表示图像样本i的标签，OK为1，NG为0。p_i表示样本i预测为OK的概率；

Step6：分割网络和决策网络采用分开训练的方法，首先训练分割网络部分，之后分割网络被冻结，再训练决策网络部分；

7)、深度学习视觉检测模型部署为了满足生产的周期要求，提高模型推理检测的速度，采用配备显卡(GPU)的工控机，针对一款产品的多个管控区域的多项缺陷检测任务，在满足推理速度的基础上，采用多步骤任务调度方式；

8)、根据7)、的任务调度方式将每个面的检测任务流程拆分为：触发取像信号接收、相机取像、传统视觉检测、深度学习视觉检测、检测结果发送五个步骤，为了避免各个管控面同时执行深度学习视觉检测任务，出现多个任务同时需要使用显存带宽产生通信碰撞问题和GPU上下文切换问题，从而产生过多的性能损失。本发明采用流水线的调度策略，通过精准控制各个管控面的触发执行时间，实现对GPU的分时复用，确保在同一时间对GPU只提交了一个管控面的推理任务，实现了GPU对检测任务的加速，同时避免GPU共用产生通信碰撞、计算碰撞和上下文切换产生的运行时间长且不稳定的问题，每个管控面相机触发时间顺序的计算如下：

Interval_i＝VCT(i-1)-befT(i) (4)

其中VCT(i-1)表示第i-1个管控面触发后视觉检测任务整个执行周期耗时，befT(i)表示第i个管控面深度学习检测任务前所有步骤的执行时长，Interval_i表示第i个管控面和第i-1个管控面触发等待间隔时间；

9)、自适应参数调节端，控制调节模块的执行可以通过设置执行条件，执行条件可以根据每天小批量的试跑结果而设置，如结果不达标或者客户投诉(出现漏放情况)、或者产品良率不达标(过杀太多))，一旦出现其所设置条件的情况，则启动表面缺陷检测系统设备自我检测过程组，自我检测调节优化的实施操作包含如下：

Step1：根据对标准样品的取图，与标准样品所保存的基准图像进行匹配度测试，如果测试满足条件，则采集模块设备及当前的参数满足条件，则不执行曝光参数的重新修正调节。如果不满足条件，则执行(4)中的参数调节，利用调参策略模型重新获得有效的曝光参数。

Step2:在曝光模块正常的情况下，随机收集小批量(100～500)的样品，标注完送入缺陷分割网络进行验证测试，模型测试的性能指标选用像素平均精度(Mean PixelAccuracy)，像素平均精度(MPA)计算方式如公式(5)，K表示评价的是K+1个类别的分割任务，p_ii为第i类被预测为属于第i类的像素个数，p_ij为第i类被预测为属于第j类的像素个数。

如果当前验证的MPA小于之前模型训练验证时候的MPA且低于所设定的阈值，说明模型的泛化能力不足，待进一步增加误分割样品训练优化模型参数。如果MPA性能指标满足要求，则分割网络依然具有很好的分割效果。

Step3：在图像能有效曝光且缺陷能有效分割的情况下，如果视觉检测系统部署在线上使用的检出率和直通率依然不满足生产要求，则需要补充OK/NG误判的样本自动优化融合判定的网络参数。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种自动调参的表面缺陷检测系统，其特征在于：包括图像采集端，图像缺陷检测端、自适应控制调节端；

所述图像采集端端包含工业镜头、光源、工业相机硬件采集部分，用于为视觉检测模块提供高质量的图像数据；

所述图像缺陷检测端包含传统视觉检测模块、深度学习缺陷检测模块、OK/NG的融合判定模块；所述自适应控制调节端包含硬件设备参数的自适应模块、数据分析检测参数自动调节模块。

2.根据权利要求1所述的一种自动调参的表面缺陷检测系统，其特征在于：工业视觉检测系统采集端镜头采用普通镜头，光源选用组合光源和多角度的光源，针对带方向的划痕和压点缺陷，采用多角度方向组合光源的多次曝光方式，根据光度立体视觉法，将多角度方向的曝光图像，融合成一张缺陷效果更完整的图像用于检测。

3.根据权利要求1所述的一种自动调参的表面缺陷检测系统，其特征在于：图像缺陷检测端通过多相机配置方式，将产品多个面管控的检测任务划分为触发信号的接收、相机取像、传统视觉检测、深度学习视觉检测、检测结果发送五个步骤，实现检测端设备的共用。

4.根据权利要求1所述的一种自动调参的表面缺陷检测系统，其特征在于：自适应调节控制端包含设备参数调节模块触发启动的条件、图像采集参数调节、检测参数调节三部分。

5.根据权利要求4所述的一种自动调参的表面缺陷检测系统，其特征在于：所述参数调节触发启动条件包含，参数调节周期的设定、参数调节条件的设定和参数调节类型的确认判定，参数调节周期可以根据生产样品的稳定性和设备的稳定性等实际情况，可设定为按一天或一个月判断是否要参数调节；

所述参数调节条件的设定可以为生产的直通率、人员抽检GRR等结果不达标或发生客户投诉产品质量不合格的情况，当参数调节条件满足则会自动触发参数调节类型的判定；

所述参数调节类型判定，是判定当前工业检测设备系统检测效果的不稳定所发生的环节，通过分析不稳定的因素，从而判定所需要调节参数的类型，比如根据标准件的现有采集图像和已保存的设备稳定时候的采集图像进行对比，发现图像差异在一个合理的范围内，则判定当前检测系统采集端的性能依然处于正常稳定的情况，则不需要调节曝光参数，否则要根据自动调节曝光参数的策略网络模型快速确认合适的曝光参数。在确保图像效果稳定的情况下，如果基于图像端的检出率不满足生产需求，则需要调节缺陷检测判定端的参数。

6.一种自动调参的表面缺陷检测方法，所述方法基于如权利要求1-5任一项所述的一种自动调参的表面缺陷检测系统，其特征是：包括以下步骤：

步骤1：根据待检测项目确定图像采集端的硬件选型。针对细长的无感划痕缺陷、微小的压点缺陷，选用分辨率在500万以上的工业相机确保缺陷具备五个像素的宽度，针对大片脏污的缺陷、大面粗糙的异常检测，可选用分辨率低(200万以下)的相机，可提高检测速度。根据产品要管控的区域和范围，选用一个管控面采用一个相机进行曝光的方式，避免拖动产品的机构多次移动产生过多耗时；

图像采集模块所选取的光源，针对带方向的划痕缺陷，微小的凹点压点缺陷，选用多个角度的组合光源，以及为了将微小的缺陷曝光的更完整，采用多次曝光，对多个方向图像进行合成，将合成后缺陷呈现效果更好的图像送入检测模块；

步骤2：离线采集图像训练一个基于强化学习自动调节曝光参数的模型，将一个OK样品的某个检测项选用的采集硬件及对应曝光参数曝光的图像保存为基准图像I₀，将曝光参数在基准曝光参数的基础上适当加上抖动调节，采集到对应的参数图像I_i，构成强化学习的状态特征，训练一个参数决策网络。当在线部署检测系统时，同时部署该策略网络，用于曝光参数的自动调节；

步骤3：离线采集图像配置传统的视觉检测模块，包含可配置的定位、缺陷斑点分析、颜色识别、及各种缺陷形状测量管控工具。传统视觉检测通过灰度特征分割、颜色分割等工具将得出缺陷所在的区域、数量、缺陷区域外接矩形面积等特征信息，通过将这些特征信息利用传统的机器学习方法如决策树、多层感知机，训练一个OK/NG的决策分类模型；

步骤4：离线采集小批量图像训练深度学习视觉检测模块，包含训练分割网络模型和决策网络模型。分割网络将缺陷区域在图像上进行像素级别的分割，通过量化人工检测表面缺陷的标准，并将这些量化标准作为判定特征数据，和分割网络得出的mask特征图像一起输入到决策网络，训练得到一个OK/NG融合判定的模型。

步骤5：在线检测图像的采集，会因生产现场环境的光照影响、机构抖动、光源设备老化，影响检测图像采集的结果产生偏差。在部署的时候，根据现场环境，在基准参数的基础上，通过自动调节曝光参数策略网络快速调节到合适的曝光参数上，确保采集的图像跟基准图像的区域直方图满足一定的匹配度；

步骤6：在线检测阶段，采集图像首先进入传统的视觉检测模块，检测结果如果是NG，则直接通过通讯模块，通知设备排料操作，如果当前结果是OK，则进入深度学习检测工具检测。深度学习检测工具检测，会对OK的产品进一步执行检测。产品图像在经过深度学习检测模块，会检测出与训练不良标注样本同分布的像素或者区域(压点、划痕、脏污等)，同时通过决策网络得出当前产品OK/NG的判定结果。

7.根据权利6所述的一种自动调参的表面缺陷检测方法，其特征在于：针对一款产品的多个管控区域的多项缺陷检测任务，为了提高GPU的共享使用性能，采用流水线的任务调度策略。将每个面的检测任务流程拆分为：触发取像信号接收、相机取像、传统视觉检测、深度学习视觉检测、检测结果发送五个步骤。通过精准控制各个管控面的触发执行时间，实现对GPU的分时复用，确保在同一时间对GPU只提交了一个管控面的推理任务，实现了GPU对检测任务的加速，同时避免GPU共用产生通信碰撞、计算碰撞和上下文切换产生的运行时间长且不稳定的问题，每个管控面相机触发时间顺序的计算如下：

Interval_i＝VCT(i-1)-befT(i) (1)

其中VCT(i-1)表示第i-1个管控面触发后视觉检测任务整个执行周期耗时，befT(i)表示第i个管控面深度学习检测任务前所有步骤的执行时长，Interval_i表示第i个管控面和第i-1个管控面触发等待间隔时间。

8.根据权利6所述的一种自动调参的表面缺陷检测方法，其特征在于：自适应参数调节端，控制调节模块的执行可以通过设置执行条件，执行条件可以根据每天小批量的试跑结果而设置，如结果不达标或者客户投诉(出现漏放情况)、或者产品良率不达标(过杀太多))，一旦出现其所设置条件的情况，则启动表面缺陷检测系统设备自我检测过程组，自我检测调节优化的实施操作包含如下：

Step1：根据对标准样品的取图，与标准样品所保存的基准图像进行匹配度测试，如果测试满足条件，则采集模块设备及当前的参数满足条件，则不执行曝光参数的重新修正调节。如果不满足条件，则利用调参策略模型重新获得有效的曝光参数。

Step2:在曝光模块正常的情况下，随机收集小批量(100～500)的样品，标注完送入缺陷分割网络进行验证测试，模型测试的性能指标选用像素平均精度(Mean PixelAccuracy)，像素平均精度(MPA)计算方式如公式(2)，K表示评价的是K+1个类别的分割任务，p_ii为第i类被预测为属于第i类的像素个数，p_ij为第i类被预测为属于第j类的像素个数。

如果当前验证的MPA小于之前模型训练验证时候的MPA且低于所设定的阈值，说明模型的泛化能力不足，待进一步增加误分割样品训练优化模型参数。如果MPA性能指标满足要求，则分割网络依然具有很好的分割效果。

Step3：在图像能有效曝光且缺陷能有效分割的情况下，如果视觉检测系统部署在线上使用的检出率和直通率依然不满足生产要求，则需要补充OK/NG误判的样本自动优化融合判定的网络参数。

Images