CN115601296A - 一种基于深度学习的表面缺陷检测装置及检测方法 - Google Patents

一种基于深度学习的表面缺陷检测装置及检测方法 Download PDF

Info

Publication number
CN115601296A
CN115601296A CN202211027213.4A CN202211027213A CN115601296A CN 115601296 A CN115601296 A CN 115601296A CN 202211027213 A CN202211027213 A CN 202211027213A CN 115601296 A CN115601296 A CN 115601296A
Authority
CN
China
Prior art keywords
image
light source
deep learning
detection
surface defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211027213.4A
Other languages
English (en)
Inventor
孙业国
刘义红
刘磊
张龙
张科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huainan Normal University
Original Assignee
Huainan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huainan Normal University filed Critical Huainan Normal University
Priority to CN202211027213.4A priority Critical patent/CN115601296A/zh
Publication of CN115601296A publication Critical patent/CN115601296A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明属于表面缺陷检测技术领域，具体的说是一种基于深度学习的表面缺陷检测装置及检测方法，该检测装置包括箱体、运输定位模块、图像采集模块、图像预处理模块和深度检测图像模块；通过设置伸缩杆、橡胶膜和灯泡，通过伸缩杆来改变橡胶膜的形状，使橡胶膜内侧的灯泡照射角度发生改变，从而使一号光源的打光方式发生改变，以此适应不同类型的待检测产品，相比较于现有手动更换及调节照明装置，本发明操作简单，且能降低检测软件处理图像的难度，提高待检测产品图像的真实性，以及提高检测软件和检测装置的检测精度及检测效率。

Description

一种基于深度学习的表面缺陷检测装置及检测方法
技术领域
本发明属于表面缺陷检测技术领域，具体的说是一种基于深度学习的表面缺陷检测装置及检测方法。
背景技术
工业化的快速发展使产品的质量要求逐步提高，而产品在生产过程中表面往往会出现一些缺陷，因此产品表面缺陷检测是生产过程中重要工序之一；传统的人工检测是利用人眼对产品表面进行观察，但是有些缺陷特征不明显，导致检测误差大且效率低，因此，诞生了深度学习的表面缺陷检测方法；
对于现有技术中的深度学习的表面缺陷检测方法，其一般的检测过程为：在照明装置的作用下，工业相机对产品表面缺陷进行抓拍，然后抓拍所得图像信息需要通过检测软件进行预处理，最终通过改进型卷积神经网络对缺陷的图像进行特征提取和分类处理，以此来确定缺陷图像的真假及归纳缺陷的种类；
然而，我们在实际使用深度学习的表面缺陷检测方法时发现，恰当的打光方式能够降低检测软件的处理难度，不恰当的打光方式会造成图片的过曝光、眩光、阴影等问题，不同的待检测产品需要不同的打光方式，现有技术通过手动更换及调节照明装置，使打光方式对应着待检测产品，但是该技术手段操作繁琐，且可能导致图像表面出现误差，从而造成降低检测软件或检测装置的准确度及工作效率。
基于此，本发明设计了一种基于深度学习的表面缺陷检测装置及检测方法，以解决上述存在的技术问题。
发明内容
为了弥补不足，解决现有手动更换及调节照明装置，操作繁琐且可能导致待检测产品图像出现误差，从而造成降低检测软件或检测装置的准确度及工作效率的问题，本发明提出了一种基于深度学习的表面缺陷检测装置及检测方法。
本发明解决其技术问题所采用的技术方案是：本发明所述的一种基于深度学习的表面缺陷检测装置，包括：
箱体；
运输定位模块，所述运输定位模块包括定位转盘、光电开关和驱动轴，所述定位转盘在箱体内转动连接，且所述光电开关和驱动轴通过电线与定位转盘相连接，用以将待测产品通过定位转盘运输到拍照位置；
图像采集模块，所述图像采集模块包括一号光源、工业相机、二号光源和支撑机构，所述支撑机构在箱体内固定连接，且所述支撑机构围绕着定位转盘均匀分布，竖直部位的支撑机构内侧固连有伸缩器，而所述一号光源与伸缩器端部相固连，所述工业相机和二号光源位于一号光源上下两侧，且所述一号光源、二号光源和工业相机的中心轴处于同一直线上，而二号光源固连在支撑机构的水平部位内侧；
图像预处理模块，所述图像预处理模块用以将原始图片进行灰度处理、滤波去噪、边缘检测、形态学变换和孔洞填充等预处理操作；
深度检测图像模块，所述深度检测图像模块用以将预处理后的图像通过深度学习算法和深度学习模型来进行分析处理，最终给出产品表面缺陷检测结果。
优选的，所述一号光源由一号固定板、橡胶膜、二号固定板、伸缩杆和灯泡组成，所述一号固定板和二号固定板与伸缩器端部相固连，而所述橡胶膜两端分别与一号固定板和二号固定板相固连，所述伸缩杆一端与一号固定板相固连，而另一端与所述橡胶膜外侧相固连，且所述橡胶膜内侧固连由灯泡，所述灯泡在橡胶膜内设置为并联。
一种基于深度学习的表面缺陷检测装置，该装置适用于上述权利要求1-2中任意一项的所述一种基于深度学习的表面缺陷检测方法，且该装置包括：
S1：插上电源通过键鼠外设使检测软件和装置开启，且使箱体外部的工控机启动，工控机通过光电开关控制着驱动轴转动，使驱动轴带动着定位转盘转动，而定位转盘上放置的待检测产品，随着定位转盘一同转动，当支撑机构上的传感器检测到待检测产品到达指定区域时，传感器将信号传递给工控机；
S2：而检测装置开启后，工控机控制着一号光源和二号光源开启，并且控制着工业相机对待检测产品进行抓拍，然后将得到的待检测产品图像传递到工控机内，使工控机内的检测软件对图像进行预处理；
S3：检测软件首先对图像进行灰度转换、滤波去噪和边缘检测等，将图像中的影响因素去除，并且对图像轮廓或边缘等细节信息进行增强，接着对预处理后的图像进行疑似缺陷检测，若未检测到疑似缺陷，则对图像不进行处理，直接传递到显示屏上，反之检测到存在疑似缺陷，则需要对图像进行缺陷的精确检测识别处理；
S4：通过改进型卷积神经网络对表面有缺陷的图像进行特征提取和分类处理，其中卷积层受到局部感受域概念的启发进行特征提取，然后经过池化层减少数据维度，最终提取的特征通过AdaBoost级联分类器来完成分类，以此来确定疑似缺陷图像的真假以及归纳缺陷的种类。
优选的，S2中，所述一号光源和二号光源设置为LED灯，所述二号光源设置为面型光源，且LED灯的灯光颜色设置有红色、绿色、蓝色和白色。
优选的，S2中，所述灰度转换方法有加权法、最大值法以及平均值法，而本发明采用加权均值法将RGB三通道图像转换为单通道灰度图像，用以在进行卷积运算时，减少所消耗的计算资源与时间。
优选的，S2中，所述滤波方法有均值滤波、中值滤波和高斯滤波，而本发明采用高斯滤波算法来复原或重新构建图像，用以消除图像中的噪声，减少噪声对后续算法产生干扰。
优选的，S2中，所述图像边缘检测方法有Roberts边缘检测法、Sobel边缘检测法和Canny边缘检测法，而本发明通过Canny边缘检测方法来缓解图像轮廓模糊现象，用以减少轮廓边缘信息缺失导致影响初步筛选缺陷所需重要信息的情况出现。
优选的，S3中，所述改进型卷积神经网络中，采用Dropout层来取代线性模型，用以减少过拟合现象的发生，以及减少深层神经网络的训练时间，从而能提高神经网络的鲁棒性。
优选的，S3中，所述改进型卷积神经网络的训练方法为反向传播算法，且所述反向传播算法包括前向传播和反向传播，其中反向传播主要利用损失函数进行计算。
优选的，S4中，所述改进型卷积神经网络中，训练过程中引入迁移学习方法，且由于AdaBoost级联分类器支持向量机，因此将AdaBoost级联分类器来代替传统Softmax分类器。
本发明的有益效果如下：
1.本发明所述的一种基于深度学习的表面缺陷检测装置及检测方法，通过设置伸缩杆、橡胶膜和灯泡，通过伸缩杆来改变橡胶膜的形状，使橡胶膜内侧的灯泡照射角度发生改变，从而使一号光源的打光方式发生改变，以此适应不同类型的待检测产品，相比较于现有手动更换及调节照明装置，本发明操作简单，且能降低检测软件处理图像的难度，提高待检测产品图像的真实性，以及提高检测软件和检测装置的检测精度及检测效率。
2.本发明所述的一种基于深度学习的表面缺陷检测装置及检测方法，通过设置迁移学习、Dropout和AdaBoost级联分类器，通过迁移学习和Dropout使卷积神经网络减少过拟合现象的发生，和减少深层神经网络的训练时间，以及加快网络收敛速度，并且通过AdaBoost级联分类器支持向量机，有助于对特征空间的划分，并且利用核函数可以向高维度空间映射，以此能加快解决非线性分类的问题，从而加强待检测产品缺陷的识别效果，提高检测软件和检测装置的检测效率及准确率。
附图说明
下面结合附图对本发明作进一步说明。
图1是本发明中基于深度学习的表面缺陷检测方法的工艺流程图；
图2是本发明中基于深度学习的表面缺陷检测方法的框图；
图3为本发明中图像预处理模块和深度检测图像模块框图；
图4为本发明中基于深度学习的表面缺陷检测装置的立体图；
图5为图4中支撑机构相关结构示意图；
图6为图4中实施例一和实施例二结构示意图；
图7为图4中实施例三结构示意图；
图8为图4中实施例四结构示意图；
图中：1、箱体；2、定位转盘；21、驱动轴；3、一号光源；31、工业相机；32、二号光源；33、支撑机构；331、伸缩器；34、一号固定板；341、橡胶膜；342、二号固定板；343、伸缩杆；344、灯泡。
具体实施方式
为使本发明实施例的目的、技术手段和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
如图1至8所示，本发明所述的一种基于深度学习的表面缺陷检测装置，包括：
箱体1；
运输定位模块，所述运输定位模块包括定位转盘2、光电开关和驱动轴21，所述定位转盘2在箱体1内转动连接，且所述光电开关和驱动轴21通过电线与定位转盘2相连接，用以将待测产品通过定位转盘2运输到拍照位置；
图像采集模块，所述图像采集模块包括一号光源3、工业相机31、二号光源32和支撑机构33，所述支撑机构33在箱体1内固定连接，且所述支撑机构33围绕着定位转盘2均匀分布，竖直部位的支撑机构33内侧固连有伸缩器331，而所述一号光源3与伸缩器331端部相固连，所述工业相机31和二号光源32位于一号光源3上下两侧，且所述一号光源3、二号光源32和工业相机31的中心轴处于同一直线上，而二号光源32固连在支撑机构33的水平部位内侧；
图像预处理模块，所述图像预处理模块用以将原始图片进行灰度处理、滤波去噪、边缘检测、形态学变换和孔洞填充等预处理操作；
深度检测图像模块，所述深度检测图像模块用以将预处理后的图像通过深度学习算法和深度学习模型来进行分析处理，最终给出产品表面缺陷检测结果。
如图4至8所示，所述一号光源3由一号固定板34、橡胶膜341、二号固定板342、伸缩杆343和灯泡344组成，所述一号固定板34和二号固定板342与伸缩器331端部相固连，而所述橡胶膜341两端分别与一号固定板34和二号固定板342相固连，所述伸缩杆343一端与一号固定板34相固连，而另一端与所述橡胶膜341外侧相固连，且所述橡胶膜341内侧固连由灯泡344，所述灯泡344在橡胶膜341内设置为并联。
采用上述检测装置，根据以下步骤来实现检测：
S1：插上电源通过键鼠外设使检测软件和装置开启，且使箱体1外部的工控机启动，工控机通过光电开关控制着驱动轴21转动，使驱动轴21带动着定位转盘2转动，而定位转盘2上放置的待检测产品，随着定位转盘2一同转动，当支撑机构33上的传感器检测到待检测产品到达指定区域时，传感器将信号传递给工控机；
S2：而检测装置开启后，工控机控制着一号光源3和二号光源32开启，并且控制着工业相机31对待检测产品进行抓拍，然后将得到的待检测产品图像传递到工控机内，使工控机内的检测软件对图像进行预处理；
S3：检测软件首先对图像进行灰度转换、滤波去噪和边缘检测等，将图像中的影响因素去除，并且对图像轮廓或边缘等细节信息进行增强，接着对预处理后的图像进行疑似缺陷检测，若未检测到疑似缺陷，则对图像不进行处理，直接传递到显示屏上，反之检测到存在疑似缺陷，则需要对图像进行缺陷的精确检测识别处理；
S4：通过改进型卷积神经网络对表面有缺陷的图像进行特征提取和分类处理，其中卷积层受到局部感受域概念的启发进行特征提取，然后经过池化层减少数据维度，最终提取的特征通过AdaBoost级联分类器来完成分类，以此来确定疑似缺陷图像的真假以及归纳缺陷的种类。
具体工作流程：
如图2至3所示，通过键鼠外设将检测软件和检测装置启动，使工控机通过光电开关控制着驱动轴21转动，从而使驱动轴21带动着定位转盘2转动，待检测产品通过外部传动带运输到箱体1内，且运输到定位转盘2表面，随着定位转盘2一同转动，同时工控机控制着一号光源3和二号光源32开启，定位转盘2边缘处在一号光源3和二号光源32之间移动，定位转盘2为玻璃材质，二号光源32用于照射待检测产品背面，以此提高待检测产品周围的亮度，而一号光源3用以照射待检测产品正面，且通过控制伸缩杆343来改变橡胶膜341的形状，使橡胶膜341内侧的灯泡344照射角度发生改变，从而使一号光源3的照明方式发生变化；
在支撑机构33上设置有传感器，当定位转盘2带动着待检测产品移动到一号光源3和二号光源32之间时，传感器将信号传递给工控机，控制机控制着工业相机31对待检测产品进行抓拍；然后将得到的待检测产品图像传递到工控机内，使工控机内的检测软件对图像进行预处理，通过对检测软件待检测产品图像进行灰度转换、滤波去噪和边缘检测等处理，使原始图像中能影响检测缺陷因素去除，并且对图像轮廓或边缘等细节信息进行增强，接着对预处理后的图像进行疑似缺陷检测，若未检测到疑似缺陷，则对图像不进行处理，直接传递到显示屏上，反之检测到存在疑似缺陷，则需要对图像进行缺陷的精确检测识别处理；
检测软件采用改进型卷积神经网络对表面疑似缺陷的图像进行分析，使疑似缺陷的图像经过卷积层、池化层和全连接层，卷积层在图像上一个小区域一个小区域的进行特征提取，当该小区域的特征被提取，那么它与其它特征间的位置关系也就能被确定下来，并且通过池化层减少卷积层的输出，减少与特征无关的像素信息，以此保留重要的特征信息，接着特性信息将进入全连接层内，通过全连接层和AdaBoost级联分类器来对特征信息进行识别分类，以此来确定疑似缺陷图像表面是否真有缺陷，以及便于归纳缺陷的种类。
而在检测待检测产品的过程中，恰当的打光方式能够降低检测软件的处理难度，不恰当的打光方式会造成图片的过曝光、眩光、阴影等问题，从而会增加检测软件的识别难度，不同的待检测产品需要不同的打光方式。
实施例一；
如图6所示，当待检测产品表面积大时，工控机控制着伸缩杆343向下移动，使伸缩杆343带动着橡胶膜341向下发生变形，直至橡胶膜341在截面上形成L形状，而橡胶膜341内侧的灯泡344并联，此时部分灯泡344在橡胶膜341内处于水平状态，另一部分灯泡344在橡胶膜341内处于竖直状态，工控机控制着水平状态的灯泡344启动，竖直状态的灯泡344关闭，灯泡344打光方式为垂直照射，由此上述形成一号光源3的打光方式有照射面积大，光照均匀性好效果，其中待检测产品比如有基底、线路板和晶体部件缺陷检查等。
实施例二：
如图6所示，当待检测产品表面划痕或凸起时，橡胶膜341形状与实施例一相同，区别在于：工控机控制着水平状态的灯泡344关闭，竖直状态的灯泡344启动，并且工控机通过伸缩器331带动着一号光源3向下靠近待检测产品表面，使一号光源3与二号光源32之间的距离减少，灯泡344打光方式为低角度照射，由此上述形成一号光源3的打光方式对表面划痕或凸起有良好的变现能力，其中待检测产品比如有晶片或玻璃基片上的划痕检测等。
实施例三：
如图7所示，当待检测产品有孔或字样时，工控机通过伸缩杆343带动着橡胶膜341向上发生变形，使橡胶膜341在截面上形成倾斜的直线，而倾斜的角度可以通过伸缩杆343进行调节成30°、60°或75°等，同时工控机控制着橡胶膜341内测的灯泡344打开，灯泡344打光方式为角度照射，由此上述形成一号光源3的打光方式有光束的集中度高、亮度及均匀性好等特性，其中待检测产品比如塑料容器、工件螺孔和集成电路印字等检查。
实施例四：
如图8所示，当待检测产品表面有弧度时，工控机通过伸缩杆343带动着橡胶膜341向上发生变形，使橡胶膜341在截面上形成半弓形，使灯泡344在橡胶膜341内侧形成不同的角度，而当工控机控制着橡胶膜341内测的灯泡344打开时，使灯泡344以不同角度的光线对待检测产品进行照射，灯泡344打光方式为多角度照射，由此上述形成一号光源3的打光方式有实现待检测产品三维信息提取等功能，其中待检测产品比如有电路板焊锡件等。
综上所述，通过伸缩杆343来改变橡胶膜341的形状，使橡胶膜341内侧的灯泡344照射角度发生改变，从而使一号光源3的打光方式发生改变，以此适应不同类型的待检测产品，相比较于现有手动更换及调节照明装置，本发明操作简单，且能降低检测软件处理图像的难度，提高待检测产品图像的真实性，以及提高检测软件和检测装置的检测精度及检测效率。
作为本发明的一种实施方式，S2中，所述一号光源3和二号光源32设置为LED灯，所述二号光源32设置为面型光源，且LED灯的灯光颜色设置有红色、绿色、蓝色和白色。
本发明中，一号光源3和二号光源32均采用LED灯，根据下列实验表格测试可得，卤素灯和氙气灯虽然亮度高，但是相比于LED，寿命、自由度、发热、响应速度和性价比功能明显差，而荧光灯与其它类型官员相比整体都比较差，因此选用LED作为工业光源，以此可以适应不同待检测产品和不同场合使用；
寿命 自由度 发热 响应速度 性价比 亮度
LED 6 6 3 6 5 5
荧光灯 3 2 4 2 3 3
卤素灯 2 3 4 2 4 6
氙气灯 3 4 5 5 3 6
一号光源3随着待检测产品发生变化，而二号光源32设置为面型光源，用以增强照射待检测产品背面范围；目前LED灯在检测时使用的灯光颜色有红色、绿色、蓝色和白色，检测不同待检测产品，所需要的灯光颜色也有可能不同，比如当待检测产品为金属材料时，LED灯光颜色应设置为白色，由于金属表面涂层为黑色或偏黑色，而金属通常为亮白色，如果金属表面出现破损，那么涂层处将会显示原本的颜色，在白色灯光的照射下，金属表面缺陷区域将会特别突显，因此通过灯光的类型和颜色的设置，进一步地提高工业相机31获取图像的质量，加快提高检测软件和检测装置的检测效率。
作为本发明的一种实施方式，S2中，所述灰度转换方法有加权法、最大值法以及平均值法，而本发明采用加权均值法将RGB三通道图像转换为单通道灰度图像，用以在进行卷积运算时，减少所消耗的计算资源与时间。；
S2中，所述滤波方法有均值滤波、中值滤波和高斯滤波，而本发明采用高斯滤波算法来复原或重新构建图像，用以消除图像中的噪声，减少噪声对后续算法产生干扰。；
S2中，所述图像边缘检测方法有Roberts边缘检测法、Sobel边缘检测法和Canny边缘检测法，而本发明通过Canny边缘检测方法来缓解图像轮廓模糊现象，用以减少轮廓边缘信息缺失导致影响初步筛选缺陷所需重要信息的情况出现。
本发明中，灰度转换的方式有加权法、最大值法以及平均值法，最大值法是指通过比较RGB三通道像素值大小，然后将其最大值作为单通道灰度图像的灰度值，这种方法会使灰度值整体偏大、图像整体偏亮，且使背景过于突出，不便于之后续处理操作；而平均值法是指RGB三通道颜色亮度值的平均值作为单通道灰度图像的灰度值，这种方法会使图像柔化，且降低图像的对比度；加权法是指利用不同大小的比例系数将RGB三通道图像转换为单通道灰度图像，这种方法使各种RGB图像转化为单通道灰度图像，可以减少最大值法与平均值法的缺点，有利于实现图像灰度转换的完整性；
工业相机31自身传感器质量、温度或周围环境等因素的影响会使图像中产生噪声点，而噪声点会弱化图像的纹理、边缘及细节信息，因此需要对图像进行去噪处理，通过适当的算法复原或重新构建图像，以此来消除图像中的噪声点；滤波方法有均值滤波、中值滤波和高斯滤波等，均值滤波是指通过滤波器确定区域，并且将该区域内的所有像素的平均灰度值代替原始图像的灰度值，这种方法能消除灰度值急剧变化而产生的噪声点，但是该方法会使图像出现不同程度的模糊；中值滤波是指该区域内所有像素值的中间值代替原始图像的灰度值，该方法能有效地取出噪声点，且使不同级别的灰度值趋近于相同，但是也会使图像出现模糊的现象，但是模糊程度比均值滤波方法轻；高斯滤波是指通过扫描图像上的每个像素值，然后通过加权计算像素值与相邻像素值的平均值，接着通过平均值来代替原始图像的灰度值，以此来消除图像中的噪声点，虽然也会使图像变得模糊，但是此方法能最大程度的保留图像的细节信息；
而图像的模糊化可以通过边缘检测的方法进行修复，边缘检测的方法有Roberts边缘检测法、Sobel边缘检测法和Canny边缘检测法，Roberts边缘检测法是利用局部差分算子检测，对垂直类型的边缘检测效果好，但是该方法对噪声点敏感，Sobel边缘检测法是利用高散微分算子检测，利用相临近点的灰度值的差值进行边缘的求解，但是该方法打光方式要求高且需要高的滤波去噪模板，而Canny边缘检测法采用去噪处理、计算图像梯度幅值、非极大值抑制和双阈值检测四个步骤进行算子检测，该方法对噪声的抵抗能力强，且图像边缘部位清晰；
综上所述通过灰度转化、滤波去噪和边缘检测等操作对图像进行预处理，使图像中的无关成分去除，并且对图像轮廓边缘等信息进行增强，减少图片直接压缩导致缺陷信息丢失的现象出现，进而提高检测软件和检测装置的检测效率。
作为本发明的一种实施方式，S3中，所述改进型卷积神经网络中，采用Dropout层来取代线性模型，用以减少过拟合现象的发生，以及减少深层神经网络的训练时间，从而能提高神经网络的鲁棒性。
S3中，所述改进型卷积神经网络的训练方法为反向传播算法，且所述反向传播算法包括前向传播和反向传播，其中反向传播主要利用损失函数进行计算。
S4中，所述改进型卷积神经网络中，训练过程中引入迁移学习方法，且由于AdaBoost级联分类器支持向量机，因此将AdaBoost级联分类器来代替传统Softmax分类器。
本发明中，由于部分缺陷细微或相似程度高，导致提高提取特征信息难度，并且卷积神经网络由于层数较多，到后面的网络容易将前面的浅层特征抛弃掉，又或者层数较浅，没有将缺陷的主要特征完全的提取出来，容易影响最终的识别精度，从而使卷积神经网络出现过拟合现象，一般卷积神经网络采用线性模型来解决过拟合现象，而本发明采用Dropout层来取代线性模型，Dropout是减少神经网络中神经元之间的内部连接，以此降低过拟合现象的出现，是通过对神经元进行组合，然后对组合过的神经网络进行训练，使每次训练的神经网络各不相同，最后汇合组合后的网络，以此形成总的神经网络，该方法可以提高神经网络的鲁棒性；
而神经网络训练的方式为反向传播算法，该算法包括前向传播和反向传播，前向传播是指将数据输入神经网络，然后进行隐藏层计算，最终进行神经网络输出，其算法为：
Figure BDA0003816039110000101
Figure BDA0003816039110000102
其中，
Figure BDA0003816039110000103
是第l层第i个神经元的激活值，Sl表示第l层神经元的个数，
Figure BDA0003816039110000104
表示第l-1层的第j个神经元到第l层的第i个神经元的权重，
Figure BDA0003816039110000105
表示第l层i个神经元的偏置，
Figure BDA0003816039110000106
表示第l层的第i个神经元所输入的加权和；
而反向传播主要是利用损失函数求得输出结果和真实值之间的误差，然后更新神经网络中的每一层参数，一般使用梯度优化算法去更新每一层的参数，其中他的损失函数为：
假设样本为(x(i)，y(i))(1≤i≤m)，
Figure BDA0003816039110000107
其中，hw，b(x(i))是神经网络的输出结果，W,b是神经网络中的参数，整体的损失函数为：
Figure BDA0003816039110000111
其中，n表示神经网络中的总层数，参数λ起到衡量两项的相对重要程度；
并且在卷积神经网络中引入迁移学习，迁移学习可以在训练好的模型基础上再次进行训练，从而可以作为一种预训练模型投入到下次训练中，进而具有加快网络收敛速度和减少过拟合的作用，同时为了使特征信息进一步的训练和分类，将AdaBoost级联分类器来代替传统Softmax分类器，两者虽然都是用于解决多分类问题，但是Softmax分类器并没有对网络的输出特征做进一步的分类，而AdaBoost级联分类器支持向量机，有助于对特征空间的划分，并且利用核函数可以向高维度空间映射，以此能加快解决非线性分类的问题，从而使特征信息突显待检测产品表面缺陷的局部特征，进而加强待检测产品缺陷的识别效果，提高检测软件和检测装置的检测效率及准确率。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种基于深度学习的表面缺陷检测装置，其特征在于，包括：
箱体(1)；
运输定位模块，所述运输定位模块包括定位转盘(2)、光电开关和驱动轴(21)，所述定位转盘(2)在箱体(1)内转动连接，且所述光电开关和驱动轴(21)通过电线与定位转盘(2)相连接，用以将待测产品通过定位转盘(2)运输到拍照位置；
图像采集模块，所述图像采集模块包括一号光源(3)、工业相机(31)、二号光源(32)和支撑机构(33)，所述支撑机构(33)在箱体(1)内固定连接，且所述支撑机构(33)围绕着定位转盘(2)均匀分布，竖直部位的支撑机构(33)内侧固连有伸缩器(331)，而所述一号光源(3)与伸缩器(331)端部相固连，所述工业相机(31)和二号光源(32)位于一号光源(3)上下两侧，且所述一号光源(3)、二号光源(32)和工业相机(31)的中心轴处于同一直线上，而二号光源(32)固连在支撑机构(33)的水平部位内侧；
图像预处理模块，所述图像预处理模块用以将原始图片进行灰度处理、滤波去噪、边缘检测、形态学变换和孔洞填充等预处理操作；
深度检测图像模块，所述深度检测图像模块用以将预处理后的图像通过深度学习算法和深度学习模型来进行分析处理，最终给出产品表面缺陷检测结果。
2.根据权利要求1所述的一种基于深度学习的表面缺陷检测装置，其特征在于：所述一号光源(3)由一号固定板(34)、橡胶膜(341)、二号固定板(342)、伸缩杆(343)和灯泡(344)组成，所述一号固定板(34)和二号固定板(342)与伸缩器(331)端部相固连，而所述橡胶膜(341)两端分别与一号固定板(34)和二号固定板(342)相固连，所述伸缩杆(343)一端与一号固定板(34)相固连，而另一端与所述橡胶膜(341)外侧相固连，且所述橡胶膜(341)内侧固连由灯泡(344)。
3.一种基于深度学习的表面缺陷检测装置，其特征在于：该装置适用于上述权利要求1-2中任意一项的所述一种基于深度学习的表面缺陷检测方法，且该装置包括：
S1：插上电源通过键鼠外设使检测软件和装置开启，且使箱体(1)外部的工控机启动，工控机通过光电开关控制着驱动轴(21)转动，使驱动轴(21)带动着定位转盘(2)转动，而定位转盘(2)上放置的待检测产品，随着定位转盘(2)一同转动，当支撑机构(33)上的传感器检测到待检测产品到达指定区域时，传感器将信号传递给工控机；
S2：而检测装置开启后，工控机控制着一号光源(3)和二号光源(32)开启，并且控制着工业相机(31)对待检测产品进行抓拍，然后将得到的待检测产品图像传递到工控机内，使工控机内的检测软件对图像进行预处理；
S3：检测软件首先对图像进行灰度转换、滤波去噪和边缘检测等，将图像中的影响因素去除，并且对图像轮廓或边缘等细节信息进行增强，接着对预处理后的图像进行疑似缺陷检测，若未检测到疑似缺陷，则对图像不进行处理，直接传递到显示屏上，反之检测到存在疑似缺陷，则需要对图像进行缺陷的精确检测识别处理；
S4：通过改进型卷积神经网络对表面有缺陷的图像进行特征提取和分类处理，其中卷积层受到局部感受域概念的启发进行特征提取，然后经过池化层减少数据维度，最终提取的特征通过AdaBoost级联分类器来完成分类，以此来确定疑似缺陷图像的真假以及归纳缺陷的种类。
4.根据权利要求3所述的一种基于深度学习的表面缺陷检测方法，其特征在于：S2中，所述一号光源(3)和二号光源(32)设置为LED灯，且LED灯的灯光颜色设置有红色、绿色、蓝色和白色。
5.根据权利要求3所述的一种基于深度学习的表面缺陷检测方法，其特征在于：S2中，所述灰度转换采用加权均值法将RGB三通道图像转换为单通道灰度图像，用以在进行卷积运算时，减少所消耗的计算资源与时间。
6.根据权利要求5所述的一种基于深度学习的表面缺陷检测方法，其特征在于：S2中，所述滤波去操采用高斯滤波算法来复原或重新构建图像，用以消除图像中的噪声，减少噪声对后续算法产生干扰。
7.根据权利要求6所述的一种基于深度学习的表面缺陷检测方法，其特征在于：S2中，所述图像边缘通过Canny边缘检测方法来缓解图像轮廓模糊现象，用以减少轮廓边缘信息缺失导致影响初步筛选缺陷所需重要信息的情况出现。
8.根据权利要求3所述的一种基于深度学习的表面缺陷检测方法，其特征在于：S3中，所述改进型卷积神经网络中，采用Dropout层来取代线性模型，用以减少过拟合现象的发生，以及减少深层神经网络的训练时间。
9.根据权利要求8所述的一种基于深度学习的表面缺陷检测方法，其特征在于：S3中，所述改进型卷积神经网络的训练方法为反向传播算法，且所述反向传播算法包括前向传播和反向传播。
10.根据权利要求9所述的一种基于深度学习的表面缺陷检测方法，其特征在于：S4中，所述改进型卷积神经网络中，训练过程中引入迁移学习方法，且将AdaBoost级联分类器来代替传统Softmax分类器。
CN202211027213.4A 2022-08-25 2022-08-25 一种基于深度学习的表面缺陷检测装置及检测方法 Pending CN115601296A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211027213.4A CN115601296A (zh) 2022-08-25 2022-08-25 一种基于深度学习的表面缺陷检测装置及检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211027213.4A CN115601296A (zh) 2022-08-25 2022-08-25 一种基于深度学习的表面缺陷检测装置及检测方法

Publications (1)

Publication Number Publication Date
CN115601296A true CN115601296A (zh) 2023-01-13

Family

ID=84842529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211027213.4A Pending CN115601296A (zh) 2022-08-25 2022-08-25 一种基于深度学习的表面缺陷检测装置及检测方法

Country Status (1)

Country Link
CN (1) CN115601296A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452589A (zh) * 2023-06-16 2023-07-18 山东伟国板业科技有限公司 基于图像处理的人造板表面缺陷智能检测方法
CN116664561A (zh) * 2023-07-28 2023-08-29 风凯换热器制造(常州)有限公司 一种换热器管头焊接质量ai智能检测系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452589A (zh) * 2023-06-16 2023-07-18 山东伟国板业科技有限公司 基于图像处理的人造板表面缺陷智能检测方法
CN116452589B (zh) * 2023-06-16 2023-10-20 山东伟国板业科技有限公司 基于图像处理的人造板表面缺陷智能检测方法
CN116664561A (zh) * 2023-07-28 2023-08-29 风凯换热器制造(常州)有限公司 一种换热器管头焊接质量ai智能检测系统及方法
CN116664561B (zh) * 2023-07-28 2023-10-17 风凯换热器制造(常州)有限公司 一种换热器管头焊接质量ai智能检测系统及方法

Similar Documents

Publication Publication Date Title
CN115601296A (zh) 一种基于深度学习的表面缺陷检测装置及检测方法
US20210073975A1 (en) Method for enhancing optical feature of workpiece, method for enhancing optical feature of workpiece through deep learning, and non transitory computer readable recording medium
CN110389127B (zh) 一种金属陶瓷零件识别及表面缺陷检测系统和方法
CN109523541A (zh) 一种基于视觉的金属表面细微缺陷检测方法
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN108876768B (zh) 导光板暗影缺陷检测方法
CN111612737B (zh) 一种人造板表面瑕疵检测装置及检测方法
CN110610496B (zh) 一种对光照变化鲁棒的荧光胶缺陷分割方法
CN113205099B (zh) 一种镀镍金属表面去料字符视觉检测系统及方法
CN109668904A (zh) 一种光学零件疵病检测装置及方法
CN109406529B (zh) 一种aoi缺陷检测系统的性能调节方法
CN109886914B (zh) 基于局部亮度不变性先验的纸张缺陷检测方法
CN115775236B (zh) 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统
CN117876367B (zh) 一种用于电路板印刷的曝光优化方法
CN114119591A (zh) 一种显示屏画面质量检测方法
CN114719749A (zh) 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及系统
CN113808104B (zh) 一种基于分块的金属表面缺陷检测方法及系统
CN116934752B (zh) 一种基于人工智能的玻璃检测方法及系统
CN108805854B (zh) 一种复杂环境下药片快速计数与完整性检测方法
CN116934762B (zh) 锂电池极片表面缺陷的检测系统及方法
CN108171705A (zh) 一种透明玻璃瓶内液体的异物检测算法
CN116500052A (zh) 一种食用油杂质视觉检测系统及其使用方法
CN115861276A (zh) 石墨膜片表面划痕检测方法和装置
CN113504250B (zh) 基于棱镜式rgb色彩提取的花生黄曲霉素检测装置及方法
CN212646436U (zh) 一种人造板表面瑕疵检测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination