CN110702688A

CN110702688A - 基于深度学习的白色家电喷漆外壳检测系统及方法

Info

Publication number: CN110702688A
Application number: CN201911026649.XA
Authority: CN
Inventors: 任德均; 付磊; 胡云起; 郜明; 邱吕; 任秋霖; 吴华运
Original assignee: Qingdao Research Institute Of Sichuan University
Current assignee: Qingdao Research Institute Of Sichuan University
Priority date: 2019-10-26
Filing date: 2019-10-26
Publication date: 2020-01-17

Abstract

为实现对白色家电检测升级，本发明提供一种基于深度学习的智能检测单元，其主要特征为设计一套针对白色家电的智能检测线和一套基于串联式语义分割和分类神经网络的检测方法。白色家电的智能检测单元包括输送模块、停留模块、信息收集模块及处理分析模块。输送模块、停留模块为电气间协作使检测对象到达指定的位置，信息收集模块为工业相机获取检测对象的检测区域的图像，处理分析模块通过串联式语义分割与神经网络分类获取缺陷的类型、位置、缺陷大小。通过上诉模块的配合将实物质量信息转为神经网络算法输出的检测信息，能够有效的解决对白色家电的喷漆质量的智能检测问题。

Description

基于深度学习的白色家电喷漆外壳检测系统及方法

技术领域

本发明涉及产品外观智能质量检测领域，具体而言，涉及一种白色家电壳体喷漆智能质量检测系统及方法。

背景技术

白色家电产品及其他金属壳体通常采用喷漆技术来对其进行外壳包装、防腐及产品的颜色个性化，人们对外壳美观度要求高，然而喷漆技术受机器精度及漆的性能等影响易产生喷漆缺陷。其主要有黑点、漏喷、流挂、橘皮及波浪纹等缺陷类型，这些缺陷严重时导致金属外壳被腐蚀，较轻时影响产品美观，如未能及时检测反馈到喷漆工艺将对企业产生较大的生产事故。

因此需要对喷漆外壳及时进行质量检测，目前在企业中其主要依靠人工检测，但是人工检测有以下几点不足：1）生产量的增加、对产品质量严格，相应的需要的检测时间增加。2）对缺陷的评价由个体差别而产生标准不统一。3）在工人疲劳时容易产生误检漏检的情况，并且由于长时间的接触油漆容易导致工人的身体问题。4）不利于及时将检测信息反馈到喷漆工位去纠正生产工艺的问题。为解决喷漆外壳智能检测现代化，本发明提出一种基于分割网络与分类网络融合的喷漆壳体智能质量检测系统及方法。

发明内容

为解决上述喷漆质量检测问题，本发明提供一种新的喷漆外壳外观智能检测系统及方法。

本发明的实现方式如下：

喷漆外壳质量检测系统及方法，用于对喷漆外壳的异常检测，其包括传送模块、停留模块、信息收集模块及处理分析模块。

所述的传送模块包括传送链、气压控制卡盘，所述的传送链与气压控制卡盘穿过信息收集模块，所述的信息收集模块与传送链、气压控制卡盘有一定的检测区域。

所述的停留模块为信息收集模块前的光电传感器，用于触发相机的拍照及光源的开闭，并触发旋转控制台运动及暂停传送链的运动。

所述的信息收集模块包括成像装置、旋转控制台，所述旋转控制台用于控制成像装置的位置，并触发光源相机的动作。

所述的成像装置包括相机与光源，所述的相机可相对靠近或远离检测壳体，所述的光源也可左右、前后的移动及角度的改变。

所述的处理分析模块包括深度学习的图像的预处理、增量模型训练、图片缺陷的评估、缺陷的机器学习的统计分析。

所述的图像预处理为对采集图像处理，其中包括对图像进行检测区域提取、检测图像目标显性化等。

所述的增量模型训练包括语义分割与分类，将预处理图片处理成标注图片、将预处理图片缺陷区域裁剪、并分别进行训练。

所述的图片缺陷的评估包括将预处理后的图片传入到分割模型、分类模型中，依次获取缺陷的信息。

所述缺陷的机器学习统计分析包括对产品的缺陷位置、缺陷的面积及不同缺陷类型的统计分析。

在该发明的某种实施例中，所述的光源、相机在同一侧上，与旋转控制台上连接，光源、相机具体位置受成像效果的指导。

在该发明的某种实施例中，所述的光源位于相机的两侧，其中包括上下、左右，或者是单独一侧。相机的拍摄角度可以调整，光源可沿某固定位置进行转动。

在该发明的某种实施例中，旋转控制台可以升降与悬挂物接触，旋转控制台可按程序在某具体时间内旋转到固定角度。

本发明实际效果是：使用本发明提供的壳体喷漆外观检测系统及方法，可以对喷漆壳体的外观进行检测，尤其是对喷漆外壳的缺陷进行检测，并记录产品的质量信息，使用机器学习分析缺陷信息调整生产工艺，并为后期采用机械臂卸载不合格壳体做好铺垫。

附图说明

此处所使用的说明附图是对本发明说明的进一步补充，并作为本发明的一部分，但该说明附图不对本发明内容有限定作用。在说明附图中;

图1 是该发明某种实施方式提供的喷漆外壳检测系统的第一视角的结构示意图

图2 是该发明实施方式中图像处理流程图

100-防尘外壳，200-传送模块，210-传送链，220-气压控制卡盘；300-定位模块，光电开关；400-产品外壳；500-检测模块，510-旋转控制台，520-成像装置，521-光源，522-相机。

具体实施方式

为了更好的阐述该发明的特征与优势，下面将结合上述附图对该发明的某种实施方案进行详细的描述。显然，在不付出创造性劳动的前提下，还可以根据发明原理与以上附图获得其他相延伸图。都在本发明的保护范围。

实施例

由图1所示，本实施方案提供的喷漆外壳检测系统有一个较为封闭的防尘外壳100，其中包含了传送模块、停留模块、信息收集模块与处理分析模块，喷漆检测系统硬件组成顺序为：传送链210、光电传感器300、气压控制卡盘220、喷漆外壳400、旋转控制台510、成像装置520；传送链根据传送信号依次将抓有喷漆外壳的气压控制卡盘移动，在某一具体位置光电传感器触发，传送链停止传送，信息收集模块中旋转控制台基于预设的程序进行旋转，相机按时序进行采图。

传送模块200由传送链210、气压控制卡盘220组成，传送链210与气压控制卡盘220连接，气压控制卡盘220夹持着喷漆外壳300，通过传送链210的运动实现对喷漆外壳300的运输，传送模块穿过信息收集模块，喷漆外壳300停留在喷漆外壳检测区，对喷漆外壳300进行检测。

停留模块为设置在传送链210的一侧的单个光电开关300，光电开关300与气压控制卡盘220处于同一水平位置，通过光电开关300来控制传送链210的运行及调整喷漆外壳400与相机522的相对位置。

信息收集模块由旋转控制台510与成像装置520组成，旋转控制台510位于喷漆外壳400的下面，通过旋转使其上升至与喷漆外壳400接触，再旋转成像装置520，在固定的位置进行对喷漆外壳400进行拍摄，采集的图像直接输送至算法软件中进行分类，确定喷漆外壳400的缺陷大小与种类。

成像装置由相机522与光源521组成，光源5211、光源5212位于检测外壳的上下两侧，并以一定的角度朝向喷漆外壳，通过光电开关300来控制光源521的开闭，相机522位于光源5211与光源5212的中间。

结合图2，该发明提供的喷漆外壳的智能质量检测方法，其流程为：

步骤1 由信息收集模块将图片进行收集，并且将其传入预处理算法中。

步骤2 在预处理算法对图片进行去噪、获取目标区域、图像增强、图像缩放等。

步骤3 在非检测阶段，将预处理后的图片进行缺陷区域标注，例如将缺陷边缘进行拟合并注释其类型，再通过程序生成缺陷区域的标注图，同时将预处理后的图片的缺陷区域矩形裁剪，并分类。再分别放入不同的分割网络、分类网络中进行训练，通过训练得到新的检测模型，训练过程中语义分割采用的交叉嫡损失函数，函数的公式为：

其中前一个公式为样本均衡时的损失函数，后一个公式为样本不均衡时的损失函数。

步骤4图像检测阶段，预处理后的图像输入模型，得到缺陷区域的语义分割图，通过阈值分割获取缺陷区域的最小面积封闭矩形并裁剪下输入到分类网络，获取缺陷的类型。通过语义分割获取缺陷区域、最小面积封闭矩形的坐标及分类神经网络输出类型，统计产品缺陷的类型、缺陷面积、位置信息。由于裁剪的图片只有两种像素，统计像素数的公式为：

pix为检测图像像数值，a缺陷像素值，PixNum为缺陷像素数。以预处理后相对产品轮廓图像上，缺陷位置为每个缺陷的左上角点与外接最小面积的矩形长宽。

本发明设计的喷漆外壳400检测系统的工作流程为：

传送链210将喷漆机器人喷漆的壳体运输到停留模块光电传感器300，触发光电开关300，暂停传送链210运动，旋转升降台510进行旋转至与喷漆外壳300底部接触，光源521开始照亮喷漆外壳400，相机522采图，成像装置按照程序依次旋转120⁰，光源521闪亮并触发相机522拍照，直至成像装置520还回到起始位置，每采集一次图片便将图片传入处理分析模块进行分析。在处理分析模块处理算法基于深度学习模块获取缺陷的大小、位置、类型。在处理分析模块显示界面显示图片，并在图片上标记缺陷信息。

本发明提供的喷漆外壳400缺陷检测系统，其能对喷漆外壳400的喷漆质量进行检测，尤其是大型圆柱性喷漆外壳400的质量检测，主要实现对黑点、漏喷、流挂、橘皮及波浪纹等缺陷的在线检测。在现有的成像装置及检测算法下，对黑点、流挂等缺陷具有较低的漏检率及误检率。

上述所述的实施方式仅是针对该发明提出的一种较优的设计结构，并不对本发明的权利范围有限制，对于该领域的技术与研究人员，该发明具有各种演化形式。一切在本发明的内涵之内的修改、改进均是本发明的保护范围之内。

Claims

1.一种白色家电喷漆外壳智能检测系统，用于对喷漆外壳产品的质量检测，其特征为一套白色家电检测工艺线与基于语义分割与神经网络分类的串联式检测方法，检测系统包括输送模块，停留模块，信息收集模块及处理分析模块；

所述的输送模块由传送链与气压控制卡盘组成，输送模块穿过检测区域；所述的停留模块由光电开关组成，通过光电开关控制传送链、旋转控制台的运动；所述的信息收集模块包括成像装置、旋转控制台，所述旋转控制台用于控制成像装置的位置，并触发光源相机的动作；所述的处理分析模块由硬件为计算机、软件为语义分割网络与深度学习分类网络串联及检测界面组成；所述的成像装置由光源、相机组成，成像装置与旋转控制台相连，光源、相机位于检测外壳的同一侧。

2.所述的喷漆外壳检测系统的特征在于，所述的气压控制卡盘与传送链相连，并等间隔分布在检测传送链上，通过气压控制卡盘控制喷漆外壳的定位。

3.所述的喷漆外壳检测系统的特征在于，所述的光电开关位于检测模块前，并与检测模块相距一个气压控制卡盘通过有无反射光、反射光的强度来控制传送链的启停与旋转控制台旋转。

4.所述的喷漆外壳检测系统的特征在于，所述的成像装置其由上下两块光源组成、相机组成，并于处于同一侧，根据缺陷效果可在相机的左右两侧安装光源。

5.所述的喷漆外壳检测系统的特征在于，所述的光源可以上下、前后移动，并且可以绕中间周线进行旋转调整角度。

6.所述的喷漆外壳检测系统的特征在于，所述的相机可以前后、左右、上下移动，并可以在某一位置进行转动。

7.所述的喷漆外壳检测系统的特征在于，所述的旋转控制台可进行旋转调整控制台的高度，同时通过外壳的旋转控制成像装置与喷漆外壳的相对位置，在相对位置，光源相机同时触发，对喷漆外壳进行拍照，并传入处理分析模块。

8.所述的喷漆外壳检测系统的特征在于，所述的语义分割与分类串联在于通过语义分割神经网络预测有缺陷的位置，并采用最小面积封闭矩形的方式提取缺陷区域，并裁剪给分类神经网络以获得缺陷类型信息。