CN112017172A - 一种基于树莓派的深度学习产品缺陷检测系统及方法 - Google Patents
一种基于树莓派的深度学习产品缺陷检测系统及方法 Download PDFInfo
- Publication number
- CN112017172A CN112017172A CN202010898682.8A CN202010898682A CN112017172A CN 112017172 A CN112017172 A CN 112017172A CN 202010898682 A CN202010898682 A CN 202010898682A CN 112017172 A CN112017172 A CN 112017172A
- Authority
- CN
- China
- Prior art keywords
- image
- product
- defective product
- detected
- raspberry
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 240000007651 Rubus glaucus Species 0.000 title claims abstract description 52
- 235000011034 Rubus glaucus Nutrition 0.000 title claims abstract description 52
- 235000009122 Rubus idaeus Nutrition 0.000 title claims abstract description 52
- 230000007547 defect Effects 0.000 title claims abstract description 40
- 238000013135 deep learning Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims description 46
- 230000002950 deficient Effects 0.000 claims abstract description 102
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 238000004891 communication Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 24
- 238000013527 convolutional neural network Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 230000001629 suppression Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 235000015108 pies Nutrition 0.000 abstract description 15
- 241001137251 Corvidae Species 0.000 abstract description 2
- 238000004519 manufacturing process Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000003993 interaction Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 238000004806 packaging method and process Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 239000002537 cosmetic Substances 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于树莓派的深度学习产品缺陷检测系统，包括：采集模块，用于采集待检测产品图像；树莓派，与采集模块通信连接，接收并对采集到的待检测产品图像进行预处理，根据预处理后的待检测产品图像，识别缺陷产品并获取缺陷产品图像信息；显示模块，与树莓派通信连接，接收缺陷产品图像信息，并根据缺陷产品图像信息显示缺陷产品图像以及缺陷产品图像轮廓。本发明可以实现缺陷产品的检测识别，其具有成本低廉的优点，具有很高的推广和使用价值。相应地，本发明还提供一种基于树莓派的深度学习产品缺陷检测方法。
Description
技术领域
本发明涉及图像识别技术领域，具体而言，涉及一种基于树莓派的深度学习产品缺陷检测系统及方法。
背景技术
在现代制造业中，机器视觉技术发生了翻天覆地的变化，成为其不可替代的一个环节。基于深度学习的机器视觉技术在机械、包装、化妆品等加工领域得到广泛的应用。比如在疾病诊断中，机器视觉技术可以对各种医学图像做诊断，通过识别眼科OCT图像，可以知道对应的疾病。如在工业制造中，可以通过SVM支持向量机技术实现对产品缺陷的检测，在提升准确率的同时提高了生产效率，减少了人力、材料支出。再如在自动驾驶中，机器视觉技术可以识别汽车行驶过程中周围复杂的情况，将这些信息反馈到计算机进行处理。
在最近发表的一些专利中发现了一些比较新颖的缺陷检测方法，其利用工业CCD以及PLC工控机对产品图像进行采集和处理，并使用Labview的编程来实现产品图像高精度的轮廓检测，以识别缺陷产品。这种方法虽然能够实现对缺陷产品的检测识别，但其成本高昂。
发明内容
基于此，为了解决现有技术中利用工业CCD、PLC工控机以及Labview的编程来实现缺陷产品的检测识别，其成本高昂的问题，本发明提供了一种基于树莓派的深度学习产品缺陷检测系统及方法，其具体技术方案如下：
一种基于树莓派的深度学习产品缺陷检测系统，包括：
采集模块，用于采集待检测产品图像；
树莓派，与采集模块通信连接，接收并对采集到的待检测产品图像进行预处理，根据预处理后的待检测产品图像，识别缺陷产品并获取缺陷产品图像信息；
显示模块，与树莓派通信连接，接收缺陷产品图像信息，并根据缺陷产品图像信息显示缺陷产品图像以及缺陷产品图像轮廓。
树莓派具有体积小、价格便宜且可扩展功能强大的优点，其稳定性在一定范围内是可控的，适合尝试用于工控领域控制，在价格方面具有足够的优势。相对于现有技术中利用工业CCD、PLC工控机以及Labview的编程来实现缺陷产品的检测识别而言，利用上述所述的基于树莓派的深度学习产品缺陷检测系统来实现缺陷产品的检测识别，可以大大降低工厂的生产成本，其具有成本低廉的优点，具有很高的推广和使用价值。
进一步地，所述采集模块为摄像头。
进一步地，所述摄像头与所述树莓派通过串口通信连接。
进一步地，所述显示模块为人机交互界面。
相应地，本发明提供一种基于树莓派的深度学习产品缺陷检测方法，其包括如下步骤：
步骤1，采集待检测产品图像；
步骤2，对采集到的待检测产品图像进行预处理，根据预处理后的待检测产品图像，识别缺陷产品并获取缺陷产品的图像信息；
步骤3，根据缺陷产品的图像信息显示缺陷产品图像以及缺陷产品图像轮廓。
进一步地，在步骤2中，根据预处理后的待检测产品图像，识别缺陷产品并获取缺陷产品的图像信息的具体方法包括：
步骤2a，利用样本数据对深度卷积神经网络进行训练；
步骤2b，利用训练好的深度卷积神经网络对预处理后的待检测产品图像进行特征提取；
步骤2c，根据待检测产品图像的特征，识别缺陷产品并获取缺陷产品的图像信息。
进一步地，在步骤2中，对采集到的待检测产品图像进行预处理的具体方法包括：
步骤2d，对采集到的待检测产品图像进行灰度转换处理；
步骤2e，对灰度转换处理后的待检测产品图像进行图像增强处理；
步骤2f，对图像增强处理后的待检测产品图像进行归一化处理；
步骤2g，将归一化处理后的待检测产品图像转换成深度卷积神经网络所需要的像素大小。
进一步地，在步骤2c中，缺陷产品的图像信息包括缺陷产品的图像轮廓信息，缺陷产品的图像轮廓信息通过对缺陷产品的图像进行边缘提取获得。
进一步地，对缺陷产品的图像进行边缘提取的具体方法包括：
步骤2h，通过高斯滤波对缺陷产品的图像进行平滑处理；
步骤2i，利用Sobel算子计算平滑处理后的缺陷产品的图像的梯度幅值；
步骤2j，对缺陷产品的图像的梯度幅值进行非极大值抑制处理；
步骤2k，对非极大值抑制处理后的缺陷产品的图像进行滞后阈值处理，以对缺陷产品的图像进行边缘连接，并对缺陷产品的图像进行边缘提取。
相应地，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被执行时实现上述所述的基于树莓派的深度学习产品缺陷检测方法。
附图说明
从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在不同的视图中，相同的附图标记指定对应的部分。
图1是本发明实施例中一种基于树莓派的深度学习产品缺陷检测系统的整体结构示意图；
图2是本发明实施例中一种基于树莓派的深度学习产品缺陷检测系统的整体流程示意图；
图3是本发明实施例中识别缺陷产品的具体方法的流程示意图；
图4是本发明实施例中对采集到的待检测产品图像进行预处理的具体方法的流程示意图；
图5是本发明实施例中对缺陷产品的图像进行边缘提取的具体方法的流程示意图。
具体实施方式
为了使得本发明的目的、技术方案及优点更加清楚明白，以下结合其实施例，对本发明进行进一步详细说明。应当理解的是，此处所描述的具体实施方式仅用以解释本发明，并不限定本发明的保护范围。
需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
本发明中所述“第一”、“第二”不代表具体的数量及顺序，仅仅是用于名称的区分。
在现代制造业中，机器视觉技术发生了翻天覆地的变化，成为其不可替代的一个环节。基于深度学习的机器视觉技术在机械、包装、化妆品等加工领域得到广泛的应用。比如在疾病诊断中，机器视觉技术可以对各种医学图像做诊断，通过识别眼科OCT图像，可以知道对应的疾病。如在工业制造中，可以通过SVM支持向量机技术实现对产品缺陷的检测，在提升准确率的同时提高了生产效率，减少了人力、材料支出。再如在自动驾驶中，机器视觉技术可以识别汽车行驶过程中周围复杂的情况，将这些信息反馈到计算机进行处理。
目前在大多数工业生产上，对缺陷产品检测主要还是依赖人工来手工挑选，导致检测的准确率不高。对于这种消耗大量人力物力、效率低下的检测方式，迫切需要对其进行升级。与传统的检测方法不同，基于深度学习的机器视觉检测方法大大提高了检测效率，节省了很多人力成本和材料成本。该方法是新型检测方法，可以准确识别产品中非常小的缺陷，能够做到像素级别的分类。该方法的灵感来源于人体的视觉功能。可以通过对图像进行从局部到全局的识别检测，通过分析图像中一些有用信息，比如颜色，轮廓，亮度，纹理等，来对图像进行检测。因此对深度学习方法的研究应用是具有重要意义的。
目前，对于自动化生产线的检查方式很多地方都还是以人工检查，最后抽检为主。而一些大型的自动化程度高的流水线会采用识别坐标偏移或者检测返回量大小等方法判断产品是否有缺陷。这种方式准确率比较高，但是也有一些不足的，例如该方法对产品检测的光照和背景、坐标检测速度等要求度高，受外界因素影响大。
在最近发表的一些专利中发现了一些比较新颖的缺陷检测方法，其利用工业CCD以及PLC工控机对产品图像进行采集和处理，并使用Labview的编程来实现产品图像高精度的轮廓检测，以识别缺陷产品。这种方法虽然能够实现对缺陷产品的检测识别，但其成本高昂。
如图1所示，本发明一实施例中的一种基于树莓派的深度学习产品缺陷检测系统，包括采集模块、树莓派以及显示模块。
采集模块用于采集待检测产品图像；树莓派与采集模块通信连接，用于接收并对采集到的待检测产品图像进行预处理，根据预处理后的待检测产品图像，识别缺陷产品并获取缺陷产品图像信息；显示模块与树莓派通信连接，接收缺陷产品图像信息，并根据缺陷产品图像信息显示缺陷产品图像以及缺陷产品图像轮廓。
树莓派具有体积小、价格便宜且可扩展功能强大的优点，其稳定性在一定范围内是可控的，适合尝试用于工控领域控制，在价格方面具有足够的优势。相对于现有技术中利用工业CCD、PLC工控机以及Labview的编程来实现缺陷产品的检测识别而言，利用上述所述的基于树莓派的深度学习产品缺陷检测系统来实现缺陷产品的检测识别，可以大大降低工厂的生产成本，其具有成本低廉的优点，具有很高的推广和使用价值。
在其中一个实施例中，所述采集模块为普通的高清摄像头，用来对生产流水线上的产品进行实时图像采集。由于系统是对产品的缺陷部位或者轮廓做识别无需精确采集产品的细节部分，故而不需要具有超高清分辨率的工业CCD。采集模块采用普通的高清摄像头，即可以满足系统对产品图像采集需求，如此大大节省了设备费用。
根据摄像头具体型号，可以单独给摄像头供电，也可以通过树莓派的电源输出端给摄像头供电。
在其中一个实施例中，所述摄像头与所述树莓派通过串口通信连接。
在其中一个实施例中，所述显示模块为人机交互界面。
在其中一个实施例中，系统还包括包括软件部分，该软件部分包括人机交互界面程序，所有的计算机处理过程和结果都可集成在人机交互界面程序中，以方便操作者的统一操作。人机交互界面程序的开发是使用python语言在Eric6编辑器中编写。在人机交互界面中集成系统程序，使得人机交互界面与软件程序一体化，可以简化系统结构。
在其中一个实施例中，人机交互界面中分为三个区域，分别为控制区域、图像显示区域和处理信息显示区域。
控制区域包括摄像头启动/停止按钮、图像预处理按钮、缺陷产品图像保存路径输入按钮、缺陷产品检测按钮以及相关的工作灯。当点击摄像头启动/停止按钮，树莓派会接收到一个信号，然后通过输出串口输出一个高低电平启动对摄像头的供电。供电后，摄像头启动，当树莓派接收到摄像头启动信号，树莓派返回一个摄像头成功启动信号到系统，信号灯亮起，表明摄像头启动完成。系统通过树莓派中python编辑器中的opencv库实现对摄像头的图像信息接收。通过树莓派中python编辑器中的opencv库实现对摄像头的图像信息接收，可以实时对产品进行图像采集，其结构简单，易于实现。缺陷产品图像保存路径输入按钮用于对产品图像进行留底保存，以作为后续抽检的依据。
图像显示区域包括两个子显示区域，一个子显示区域用来显示实时采集到的产品图像，另一个子显示区域用来显示检测到的缺陷产品图像以及缺陷产品图像轮廓。将流水线上的产品图像实时显示在人机交互界面上，可以方便操作着对系统进行调试。两个子显示区域都是随着摄像头采集产品图像进行实时更新的，具有较高的时效性。
处理信息显示区域用于显示产品数量、次品数量(缺陷产品数量)以及成品率。
在其中一个实施例中，树莓派中设有挑选模块，挑选模块用于在检测到缺陷产品时，通过串口输出端输出一个脉冲以控制生产线上的机械臂动作，以实现对缺陷产品的实时挑选。
相应地，如图2所示，本发明提供一种基于树莓派的深度学习产品缺陷检测方法，其包括如下步骤：
步骤1，采集待检测产品图像；
步骤2，对采集到的待检测产品图像进行预处理，根据预处理后的待检测产品图像，识别缺陷产品并获取缺陷产品的图像信息；
步骤3，根据缺陷产品的图像信息显示缺陷产品图像以及缺陷产品图像轮廓。
如图3所示，在其中一个实施例中，在步骤2中，根据预处理后的待检测产品图像，通过深度学习的方法识别缺陷产品并通过形态学方法获取缺陷产品的图像信息的具体方法包括：
步骤2a，利用样本数据对深度卷积神经网络进行训练。
深度卷积神经网络可以是VGG16神经网络，其能够实现对缺陷产品的准确检测识别。
在对采集到的原始产品图像进行缺陷标签标注后，可将原始产品图像及其对应的标签作为样本数据。样本数据经过预处理后即可进行神经网络训练和测试数据的划分。
步骤2b，利用训练好的深度卷积神经网络对预处理后的待检测产品图像进行特征提取；
步骤2c，根据待检测产品图像的特征，识别缺陷产品并获取缺陷产品的图像信息。
在其中一个实施例中，深度卷积神经网络包括输入层、隐含层以及输出层。
输入层用于将预处理后的产品图像和/或样本数据反馈到卷积神经网络中。
隐含层用于对输入层的数据做特征提取，特征融合和信息传递。隐含层包括11层卷积模块、4层最大池化层、两层全连接层和一个层Dropout层。
卷积模块中包含卷积层(convulotion)和激活函数层(ReLU,Rectified LinearUnit)。
输出层，将判断的二值结果输出对应的标签,其采用softmat作为输出层的输出函数，该输出函数为
其中zi为第i个节点的输出值，C为输出节点的个数，即分类的类别数。通过Softmax函数就可以将多分类的输出值转换为范围在[0,1]和为1的概率分布。在缺陷检测系统中，C设置为2，即将产品分类缺陷产品和正常产品。
在其中一个实施例中，深度卷积神经网络使用交叉熵作为损失函数(LossFunction)，即
其中x是没有经过softmat的激活值。
在其中一个实施例中，使用优化器对隐含层中的卷积权值和阈值进行更新处理，所使用的优化器为Adam(Adaptive Moment Estimation)。
经过训练后的深度卷积神经网络可以应用于缺陷产品的实时检测。在应用阶段，需要将训练好的深度卷积神经网络集成到人机交互界面软件里，这里使用Eric6做界面的编程，使用Pyinstaller库做程序的打包。
由于深度卷积神经网络是多层感知机加卷积操作的结合，整张图可以共享同样的特征，在对物体进行检测时不仅不用遍历整张图片，还可以在单次操作中对图片中所有物体进行检测，故而通过深度卷积神经网络对产品进行检测识别，不仅在识别准确率上优于传统方法，而且在识别速度上也比传统方法快，适用于流水线产品的实时检测。
如图4所示，在其中一个实施例中，在步骤2中，对采集到的待检测产品图像进行预处理的具体方法包括：
步骤2d，对采集到的待检测产品图像进行灰度转换处理。如此，单通道的图像信息在不丢失过多原彩色图像结构信息的同时，可以提高数据的处理速度，减少图像体积，加快系统的处理时间。
步骤2e，对灰度转换处理后的待检测产品图像进行图像增强处理。在这里，采用高通滤波器来突出图像的轮廓线，以对待检测产品图像进行增强，如此能够更准确测量轮廓线的形状和长度等信息。
步骤2f，对图像增强处理后的待检测产品图像进行归一化处理。
在一般情况下，某些因素或变换对图像一些性质的影响可通过归一化处理得到消除或减弱，从而可以被选作测量图像的依据。在神经网络中，归一化不改变图像的信息，只是对像素进行0到1的压缩，这是为了匹配训练好的深度卷积神经网络。在深度卷积神经网络的训练阶段，归一化能够归纳统一样本的统计分布性，加快训练网络的收敛性。深度卷积神经网络是以样本在事件中的统计分布几率来进行训练(概率计算)和预测的，归一化是同一在0-1之间的统计概率分布；当所有样本的输入信号都为正值时，与第一隐含层神经元相连的权值只能同时增加或减小，从而导致学习速度很慢。为了避免出现这种情况，加快网络学习速度，可以对输入信号进行归一化，使得所有样本的输入信号其均值接近于0或与其均方差相比很小。如公式
所示，归一化的过程是将所有像素大小映射到0到1的范围，其中xi表示图像像素点值，max(x)，min(x)分别表示图像像素的最大和最小值。
步骤2g，将归一化处理后的待检测产品图像转换成深度卷积神经网络所需要的像素大小。
在其中一个实施例中，在步骤2c中，缺陷产品的图像信息包括缺陷产品的图像轮廓信息，缺陷产品的图像轮廓信息通过对缺陷产品的图像进行边缘提取获得。其中，边缘提取算子为形态学Canny算子。
如图5所示，在其中一个实施例中，对缺陷产品的图像进行边缘提取的具体方法包括：
步骤2h，通过高斯滤波对缺陷产品的图像进行平滑处理；
步骤2i，利用Sobel算子计算平滑处理后的缺陷产品的图像的梯度幅值；
步骤2j，对缺陷产品的图像的梯度幅值进行非极大值抑制处理；
步骤2k，对非极大值抑制处理后的缺陷产品的图像进行滞后阈值处理，以对缺陷产品的图像进行边缘连接，并对缺陷产品的图像进行边缘提取。
相应地，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被执行时实现上述所述的基于树莓派的深度学习产品缺陷检测方法。
上述所述的基于树莓派的深度学习产品缺陷检测系统及方法并不限于对流水线缺陷产品的检测识别，还可以应用在其它如区域检测、温度检测以及产品成分分割检测等领域上，在此不再赘述。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于树莓派的深度学习产品缺陷检测系统，其特征在于，包括：
采集模块，用于采集待检测产品图像；
树莓派，与采集模块通信连接，接收并对采集到的待检测产品图像进行预处理，根据预处理后的待检测产品图像，识别缺陷产品并获取缺陷产品图像信息；
显示模块，与树莓派通信连接，接收缺陷产品图像信息，并根据缺陷产品图像信息显示缺陷产品图像以及缺陷产品图像轮廓。
2.如权利要求1所述的一种基于树莓派的深度学习产品缺陷检测系统，其特征在于，所述采集模块为摄像头。
3.如权利要求2所述的一种基于树莓派的深度学习产品缺陷检测系统，其特征在于，所述摄像头与所述树莓派通过串口通信连接。
4.如权利要求3所述的一种基于树莓派的深度学习产品缺陷检测系统，其特征在于，所述显示模块为人机交互界面。
5.一种基于树莓派的深度学习产品缺陷检测方法，应用于如权利要求1至4中任何一项所述的基于树莓派的深度学习产品缺陷检测系统，其特征在于，包括如下步骤：
步骤1，采集待检测产品图像；
步骤2，对采集到的待检测产品图像进行预处理，根据预处理后的待检测产品图像，识别缺陷产品并获取缺陷产品的图像信息；
步骤3，根据缺陷产品的图像信息显示缺陷产品图像以及缺陷产品图像轮廓。
6.如权利要求5所述的一种基于树莓派的深度学习产品缺陷检测方法，其特征在于，在步骤2中，根据预处理后的待检测产品图像，识别缺陷产品并获取缺陷产品的图像信息的具体方法包括：
步骤2a，利用样本数据对深度卷积神经网络进行训练；
步骤2b，利用训练好的深度卷积神经网络对预处理后的待检测产品图像进行特征提取；
步骤2c，根据待检测产品图像的特征，识别缺陷产品并获取缺陷产品的图像信息。
7.如权利要求6所述的一种基于树莓派的深度学习产品缺陷检测方法，其特征在于，在步骤2中，对采集到的待检测产品图像进行预处理的具体方法包括：
步骤2d，对采集到的待检测产品图像进行灰度转换处理；
步骤2e，对灰度转换处理后的待检测产品图像进行图像增强处理；
步骤2f，对图像增强处理后的待检测产品图像进行归一化处理；
步骤2g，将归一化处理后的待检测产品图像转换成深度卷积神经网络所需要的像素大小。
8.如权利要求7所述的一种基于树莓派的深度学习产品缺陷检测方法，其特征在于，在步骤2c中，缺陷产品的图像信息包括缺陷产品的图像轮廓信息，缺陷产品的图像轮廓信息通过对缺陷产品的图像进行边缘提取获得。
9.如权利要求8所述的一种基于树莓派的深度学习产品缺陷检测方法，其特征在于，对缺陷产品的图像进行边缘提取的具体方法包括：
步骤2h，通过高斯滤波对缺陷产品的图像进行平滑处理；
步骤2i，利用Sobel算子计算平滑处理后的缺陷产品的图像的梯度幅值；
步骤2j，对缺陷产品的图像的梯度幅值进行非极大值抑制处理；
步骤2k，对非极大值抑制处理后的缺陷产品的图像进行滞后阈值处理，以对缺陷产品的图像进行边缘连接，并对缺陷产品的图像进行边缘提取。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被执行时实现如权利要求5至9中任何一项所述的基于树莓派的深度学习产品缺陷检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010898682.8A CN112017172A (zh) | 2020-08-31 | 2020-08-31 | 一种基于树莓派的深度学习产品缺陷检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010898682.8A CN112017172A (zh) | 2020-08-31 | 2020-08-31 | 一种基于树莓派的深度学习产品缺陷检测系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112017172A true CN112017172A (zh) | 2020-12-01 |
Family
ID=73503278
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010898682.8A Pending CN112017172A (zh) | 2020-08-31 | 2020-08-31 | 一种基于树莓派的深度学习产品缺陷检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112017172A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112784769A (zh) * | 2021-01-26 | 2021-05-11 | 江苏师范大学 | 一种基于树莓派和机器视觉的双黄蛋在线识别系统和方法 |
| CN113256570A (zh) * | 2021-05-10 | 2021-08-13 | 郑州轻工业大学 | 基于人工智能的视觉信息处理方法、装置、设备及介质 |
| CN113533348A (zh) * | 2021-07-16 | 2021-10-22 | 陕西科技大学 | 一种基于深度学习的电路板缺陷检测系统及其检测方法 |
| CN114166947A (zh) * | 2021-11-08 | 2022-03-11 | 中国船舶重工集团公司第七一五研究所 | 一种基于树莓派的超声混凝土探测电子系统及方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107819879A (zh) * | 2017-12-07 | 2018-03-20 | 东莞职业技术学院 | 一种基于物联网的工地信息获取系统 |
| CN108711148A (zh) * | 2018-05-11 | 2018-10-26 | 沈阳理工大学 | 一种基于深度学习的轮胎缺陷智能检测方法 |
| CN108897925A (zh) * | 2018-06-11 | 2018-11-27 | 华中科技大学 | 一种基于铸件缺陷预测模型的铸造工艺参数优化方法 |
| CN109461149A (zh) * | 2018-10-31 | 2019-03-12 | 泰州市创新电子有限公司 | 喷漆表面缺陷的智能检测系统及方法 |
| CN110530894A (zh) * | 2019-06-14 | 2019-12-03 | 杭州舜浩科技有限公司 | 导光板亮点缺陷检测方法 |
| CN110658202A (zh) * | 2019-09-30 | 2020-01-07 | 贵州航天云网科技有限公司 | 一种基于深度学习的工业元器件外观缺陷检测方法 |
| CN110689539A (zh) * | 2019-11-12 | 2020-01-14 | 南京大学 | 一种基于深度学习的工件表面缺陷检测方法 |
| CN111179223A (zh) * | 2019-12-12 | 2020-05-19 | 天津大学 | 基于深度学习的工业自动化缺陷检测方法 |
| CN111402238A (zh) * | 2020-03-17 | 2020-07-10 | 苏州光领电子科技有限公司 | 一种通过机器视觉实现的缺陷标识系统 |
-
2020
- 2020-08-31 CN CN202010898682.8A patent/CN112017172A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107819879A (zh) * | 2017-12-07 | 2018-03-20 | 东莞职业技术学院 | 一种基于物联网的工地信息获取系统 |
| CN108711148A (zh) * | 2018-05-11 | 2018-10-26 | 沈阳理工大学 | 一种基于深度学习的轮胎缺陷智能检测方法 |
| CN108897925A (zh) * | 2018-06-11 | 2018-11-27 | 华中科技大学 | 一种基于铸件缺陷预测模型的铸造工艺参数优化方法 |
| CN109461149A (zh) * | 2018-10-31 | 2019-03-12 | 泰州市创新电子有限公司 | 喷漆表面缺陷的智能检测系统及方法 |
| CN110530894A (zh) * | 2019-06-14 | 2019-12-03 | 杭州舜浩科技有限公司 | 导光板亮点缺陷检测方法 |
| CN110658202A (zh) * | 2019-09-30 | 2020-01-07 | 贵州航天云网科技有限公司 | 一种基于深度学习的工业元器件外观缺陷检测方法 |
| CN110689539A (zh) * | 2019-11-12 | 2020-01-14 | 南京大学 | 一种基于深度学习的工件表面缺陷检测方法 |
| CN111179223A (zh) * | 2019-12-12 | 2020-05-19 | 天津大学 | 基于深度学习的工业自动化缺陷检测方法 |
| CN111402238A (zh) * | 2020-03-17 | 2020-07-10 | 苏州光领电子科技有限公司 | 一种通过机器视觉实现的缺陷标识系统 |
Non-Patent Citations (1)
| Title |
|---|
| 黄平: ""低成本视觉检测平台及视觉检测关键技术研究"", 《CNKI优秀硕士学位论文全文库》, pages 4 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112784769A (zh) * | 2021-01-26 | 2021-05-11 | 江苏师范大学 | 一种基于树莓派和机器视觉的双黄蛋在线识别系统和方法 |
| CN112784769B (zh) * | 2021-01-26 | 2022-06-14 | 江苏师范大学 | 一种基于树莓派和机器视觉的双黄蛋在线识别系统和方法 |
| CN113256570A (zh) * | 2021-05-10 | 2021-08-13 | 郑州轻工业大学 | 基于人工智能的视觉信息处理方法、装置、设备及介质 |
| CN113533348A (zh) * | 2021-07-16 | 2021-10-22 | 陕西科技大学 | 一种基于深度学习的电路板缺陷检测系统及其检测方法 |
| CN114166947A (zh) * | 2021-11-08 | 2022-03-11 | 中国船舶重工集团公司第七一五研究所 | 一种基于树莓派的超声混凝土探测电子系统及方法 |
| CN114166947B (zh) * | 2021-11-08 | 2024-06-04 | 中国船舶重工集团公司第七一五研究所 | 一种基于树莓派的超声混凝土探测电子系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112017172A (zh) | 一种基于树莓派的深度学习产品缺陷检测系统及方法 | |
| CN110598736B (zh) | 一种电力设备红外图像故障定位、识别与预测方法 | |
| Gao et al. | A review on recent advances in vision-based defect recognition towards industrial intelligence | |
| CN110210463B (zh) | 基于Precise ROI-Faster R-CNN的雷达目标图像检测方法 | |
| CN110992317B (zh) | 一种基于语义分割的pcb板缺陷检测方法 | |
| CN108596102B (zh) | 基于rgb-d的室内场景物体分割分类器构造方法 | |
| CN107966454A (zh) | 一种基于fpga的端塞缺陷检测装置及检测方法 | |
| CN109781737B (zh) | 一种软管表面缺陷的检测方法及其检测系统 | |
| CN115184359A (zh) | 一种自动调参的表面缺陷检测系统与方法 | |
| CN113177924A (zh) | 一种工业流水线产品瑕疵检测方法 | |
| CN113052295B (zh) | 一种神经网络的训练方法、物体检测方法、装置及设备 | |
| CN114863311A (zh) | 一种变电站机器人巡检目标自动跟踪方法及系统 | |
| CN112052730A (zh) | 一种3d动态人像识别监控设备及方法 | |
| CN113145473A (zh) | 一种水果智能分拣系统及方法 | |
| CN114140373A (zh) | 一种基于LabVIEW深度学习的开关缺陷检测方法 | |
| CN113191352A (zh) | 一种基于目标检测和二值图像检测的水表指针读数识别方法 | |
| CN117095155A (zh) | 一种基于改进的yolo自适应注意力-特征增强网络的多尺度数码管检测方法 | |
| Huang et al. | Mango surface defect detection based on HALCON | |
| CN112183374A (zh) | 一种基于树莓派和深度学习的快递自动分拣装置及方法 | |
| CN114662594B (zh) | 一种目标特征识别分析系统 | |
| CN115861271A (zh) | 基于高分辨率和重参数化的钢材表面缺陷检测方法及系统 | |
| CN112581472B (zh) | 一种面向人机交互的目标表面缺陷检测方法 | |
| CN115131355A (zh) | 利用电子设备数据检测防水布异常的智能方法 | |
| CN112861664B (zh) | 一种基于深度学习的家禽姿态检测方法和系统 | |
| CN114937015A (zh) | 一种锂电池极片制造中智能视觉识别方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |