CN116342502A - 一种基于深度学习的工业视觉检测方法 - Google Patents
一种基于深度学习的工业视觉检测方法 Download PDFInfo
- Publication number
- CN116342502A CN116342502A CN202310208249.0A CN202310208249A CN116342502A CN 116342502 A CN116342502 A CN 116342502A CN 202310208249 A CN202310208249 A CN 202310208249A CN 116342502 A CN116342502 A CN 116342502A
- Authority
- CN
- China
- Prior art keywords
- industrial
- deep learning
- parts
- learning model
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 46
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 230000007547 defect Effects 0.000 claims abstract description 56
- 238000013136 deep learning model Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000002950 deficient Effects 0.000 claims abstract description 15
- 238000005286 illumination Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明涉及工业视觉检测技术领域，尤其涉及一种基于深度学习的工业视觉检测方法。包括以下步骤：通过工业相机在工业光源下对存在瑕疵的工业零件进行拍照，拍摄多个角度的照片并存储在样本库内；将样本库内的照片打乱，并经过软件程序进行标定，标出工业零件上的缺陷处位置并标出缺陷种类；将标出缺陷种类的样本照片作为初始数据集建立深度学习模型；使用工业相机对工业零件进行拍摄，利用深度学习模型，对该工业零件进行检测，识别图像中缺陷种类；判断该工业零件是否为存在缺陷的产品，配合分拣终端完成缺陷产品的分拣。本发明的目的为了解决了学习训练时间长、检测成功率低的技术问题，提出了一种基于深度学习的工业视觉检测方法。
Description
技术领域
本发明涉及工业视觉检测技术领域，尤其涉及一种基于深度学习的工业视觉检测方法。
背景技术
深度学习是学习的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助，它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据，深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术，工业视觉检测系统就是用工业相机代替人眼睛去完成识别、测量、定位等功能，一般视觉检测系统由相机、镜头、光源组合合成，可以代替人工完成条码字符、裂痕、包装、表面图层是否完整、凹陷等检测、使用视觉检测系统能有效的提高生产流水线的检测速度和精度，大大提高产量和质量，降低人工成本，同时防止因为人眼疲劳而产生的误判。
深度学习的工业视觉检测比传统机器学习对工业零件的检测效率更高，同时检测成功率也非常高，但是深度学习的工业视觉检测在对工业零件检测的时候，深度学习的学习训练量大，比传统机器学习耗费很多的训练时间，且虽然对工业零件检测的准确率提升了不少，但检测失误的情况还是会发生。
发明内容
本发明的目的为了解决了学习训练时间长、检测成功率低的技术问题，提出了一种基于深度学习的工业视觉检测方法。
本发明所采用的技术方案为：一种基于深度学习的工业视觉检测方法，其特征在于：包括以下步骤：
步骤一：通过工业相机在工业光源下对存在瑕疵的工业零件进行拍照，拍摄多个角度的照片并存储在样本库内；
步骤二：将样本库内的照片打乱，并经过软件程序进行标定，标出工业零件上的缺陷处位置并标出缺陷种类；
步骤三：将标出缺陷种类的样本照片作为初始数据集建立深度学习模型；
步骤四：把工业零件放在检测系统设置好的零件位置处，同时使用工业光源对零件进行照明，然后使用工业相机对工业零件进行拍摄，实时获取工业零件的外观图像，利用深度学习模型，对该工业零件进行检测，识别图像中缺陷种类；
步骤五：多个角度和位置的产品外观图像被深度学习模型识别后，如果其中某一个或几个图像被识别出缺陷，即可认为该工业零件为存在缺陷的产品，配合分拣终端完成缺陷产品的分拣。
作为进一步的改进，所述工业相机具有多个自由度，调整工业相机的角度和位置可获取多个角度和位置的工业零件外观图像。
作为进一步的改进，所述样本库内的照片被打乱，用以提高图片检测和识别时候的精准度。
作为进一步的改进，所述样本库用于储存工业光源照明下的缺陷图片，通过样本库内工业零件被标定缺陷情况的图片建立深度学习模型。
作为进一步的改进，所述深度学习模型的建立方法包括以下步骤：
S1：采用预设的深度学习模型，通过前向传播方法对样本照片进行计算，得到深度学习模型中预设的多个类别的置信度；
S2：分析各类别置信度，选取最高置信度类别作为样本所包含的缺陷所属的类别；
S3：根据缺陷所属的类别及其实际所属类别和预设的训练参数，采用反向传播方法调整深度学习模型参数，累计训练回合数；
S4：直到训练回合达到预设的次数。
作为进一步的改进，所述分拣设备将工业零件进行分拣，分成不同等级和缺陷产品。
作为进一步的改进，所述不同等级和缺陷的产品的分类方法是通过深度学习模型内的图片和工业零件图片拍摄的图片进行检测和对比，并出具对比结果，所述工业零件分类通过检测和识别出具的对比结果对工业零件进行分类。
作为进一步的改进，所述不同等级和缺陷的产品分拣的同时将工业零件产品分类计数，计数出来之后将产品的不良率和缺陷计数上报给计算机，供于技能人员参考。
本发明的有益效果：本发明自动化程度高，同时可以完成缺陷检测和分类等多项任务，效率非常高；可以对缺陷和品质等问题进行准确的打分和评级，实现专家系统来满足各种复杂场景的工业检测需求，具有很大的应用价值和推广价值。
附图说明
图1是本发明一种基于深度学习的工业视觉检测方法的检测结果产品对比图；
图2是本发明一种基于深度学习的工业视觉检测方法的产品缺陷标记图；
图3是本发明一种基于深度学习的工业视觉检测方法的检测结果图；
图4是本发明一种基于深度学习的工业视觉检测方法的检测结果详情图。
具体实施方式
本发明不受下述实施例的限制，可根据本发明的技术方案与实际情况来确定具体的实施方式。
一种基于深度学习的工业视觉检测方法，其特征在于：包括以下步骤：
步骤一：通过工业相机在工业光源下对存在瑕疵的工业零件进行拍照，拍摄多个角度的照片并存储在样本库内；
步骤二：将样本库内的照片打乱，并经过软件程序进行标定，标出工业零件上的缺陷处位置并标出缺陷种类；
步骤三：将标出缺陷种类的样本照片作为初始数据集建立深度学习模型；
步骤四：把工业零件放在检测系统设置好的零件位置处，同时使用工业光源对零件进行照明，然后使用工业相机对工业零件进行拍摄，实时获取工业零件的外观图像，利用深度学习模型，对该工业零件进行检测，识别图像中缺陷种类；
步骤五：多个角度和位置的产品外观图像被深度学习模型识别后，如果其中某一个或几个图像被识别出缺陷，即可认为该工业零件为存在缺陷的产品，配合分拣终端完成缺陷产品的分拣。
本发明中所述工业相机具有多个自由度，调整工业相机的角度和位置可获取多个角度和位置的工业零件外观图像。
本发明中所述样本库内的照片被打乱，用以提高图片检测和识别时候的精准度。
本发明中所述样本库用于储存工业光源照明下的缺陷图片，通过样本库内工业零件被标定缺陷情况的图片建立深度学习模型。
本发明中所述深度学习模型的建立方法包括以下步骤：
S1：采用预设的深度学习模型，通过前向传播方法对样本照片进行计算，得到深度学习模型中预设的多个类别的置信度；
S2：分析各类别置信度，选取最高置信度类别作为样本所包含的缺陷所属的类别；
S3：根据缺陷所属的类别及其实际所属类别和预设的训练参数，采用反向传播方法调整深度学习模型参数，累计训练回合数；
S4：直到训练回合达到预设的次数。
本发明中所述分拣设备将工业零件进行分拣，分成不同等级和缺陷产品。
本发明中所述不同等级和缺陷的产品的分类方法是通过深度学习模型内的图片和工业零件图片拍摄的图片进行检测和对比，并出具对比结果，所述工业零件分类通过检测和识别出具的对比结果对工业零件进行分类。
本发明中所述不同等级和缺陷的产品分拣的同时将工业零件产品分类计数，计数出来之后将产品的不良率和缺陷计数上报给计算机，供于技能人员参考。
实施例：在对工业零件的缺陷检测中，步骤一：首先通过工业相机在工业光源下对存在瑕疵的工业零件进行拍照，工业相机具有多个自由度，调整工业相机的角度和位置可获取多个角度和位置的工业零件外观图像，拍摄多个角度的照片并存储在样本库内。
步骤二：将样本库内的照片打乱，并经过软件程序进行标定，标出工业零件上的缺陷处位置并标出缺陷种类。
步骤三：将标出缺陷种类的样本照片作为初始数据集建立深度学习模型：采用预设的深度学习模型，通过前向传播方法对样本照片进行计算，得到深度学习模型中预设的多个类别的置信度；分析各类别置信度，选取最高置信度类别作为样本所包含的缺陷所属的类别；根据缺陷所属的类别及其实际所属类别和预设的训练参数，采用反向传播方法调整深度学习模型参数，累计训练回合数；直到训练回合达到预设的次数。
步骤四：把工业零件放在检测系统设置好的零件位置处，同时使用工业光源对零件进行照明，然后使用工业相机对工业零件进行拍摄，实时获取工业零件的外观图像，利用深度学习模型，对该工业零件进行检测，识别图像中缺陷种类；
步骤五：多个角度和位置的产品外观图像被深度学习模型识别后，如果其中某一个或几个图像被识别出缺陷，即可认为该产品为存在缺陷的产品，配合分拣终端完成缺陷产品的分拣；分拣设备将工业零件进行分拣，分成不同等级和缺陷产品，然后分拣的同时将工业零件产品分类计数，计数出来之后将产品的不良率和缺陷计数上报给计算机，供于技能人员参考。
通过本发明在工业视觉检测领域，利用视觉检测，解决了以往工业自动化领域的困难，既解决了行业难题，实现了高速高精检测，又能替代人工，提高检测效率和检测精度，并且检测标准统一，避免了人工的重复性检测。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
Claims (8)
1.一种基于深度学习的工业视觉检测方法，其特征在于：包括以下步骤：
步骤一：通过工业相机在工业光源下对存在瑕疵的工业零件进行拍照，拍摄多个角度的照片并存储在样本库内；
步骤二：将样本库内的照片打乱，并经过软件程序进行标定，标出工业零件上的缺陷处位置并标出缺陷种类；
步骤三：将标出缺陷种类的样本照片作为初始数据集建立深度学习模型；
步骤四：把工业零件放在检测系统设置好的零件位置处，同时使用工业光源对零件进行照明，然后使用工业相机对工业零件进行拍摄，实时获取工业零件的外观图像，利用深度学习模型，对该工业零件进行检测，识别图像中缺陷种类；
步骤五：多个角度和位置的产品外观图像被深度学习模型识别后，如果其中某一个或几个图像被识别出缺陷，即可认为该工业零件为存在缺陷的产品，配合分拣终端完成缺陷产品的分拣。
2.根据权利要求1所述的一种基于深度学习的工业视觉检测方法，其特征在于：所述工业相机具有多个自由度，调整工业相机的角度和位置可获取多个角度和位置的工业零件外观图像。
3.根据权利要求1所述的一种基于深度学习的工业视觉检测方法，其特征在于：所述样本库内的照片被打乱，用以提高图片检测和识别时候的精准度。
4.根据权利要求1所述的一种基于深度学习的工业视觉检测方法，其特征在于：所述样本库用于储存工业光源照明下的缺陷图片，通过样本库内工业零件被标定缺陷情况的图片建立深度学习模型。
5.根据权利要求1所述的一种基于深度学习的工业视觉检测方法，其特征在于：所述深度学习模型的建立方法包括以下步骤：
S1：采用预设的深度学习模型，通过前向传播方法对样本照片进行计算，得到深度学习模型中预设的多个类别的置信度；
S2：分析各类别置信度，选取最高置信度类别作为样本所包含的缺陷所属的类别；
S3：根据缺陷所属的类别及其实际所属类别和预设的训练参数，采用反向传播方法调整深度学习模型参数，累计训练回合数；
S4：直到训练回合达到预设的次数。
6.根据权利要求1所述的一种基于深度学习的工业视觉检测方法，其特征在于：所述分拣设备将工业零件进行分拣，分成不同等级和缺陷产品。
7.根据权利要求6所述的一种基于深度学习的工业视觉检测方法，其特征在于：所述不同等级和缺陷的产品的分类方法是通过深度学习模型内的图片和工业零件图片拍摄的图片进行检测和对比，并出具对比结果，所述工业零件分类通过检测和识别出具的对比结果对工业零件进行分类。
8.根据权利要求6所述的一种基于深度学习的工业视觉检测方法，其特征在于：所述不同等级和缺陷的产品分拣的同时将工业零件产品分类计数，计数出来之后将产品的不良率和缺陷计数上报给计算机，供于技能人员参考。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310208249.0A CN116342502A (zh) | 2023-03-07 | 2023-03-07 | 一种基于深度学习的工业视觉检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310208249.0A CN116342502A (zh) | 2023-03-07 | 2023-03-07 | 一种基于深度学习的工业视觉检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116342502A true CN116342502A (zh) | 2023-06-27 |
Family
ID=86888663
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310208249.0A Pending CN116342502A (zh) | 2023-03-07 | 2023-03-07 | 一种基于深度学习的工业视觉检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116342502A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117289626A (zh) * | 2023-11-27 | 2023-12-26 | 杭州维讯机器人科技有限公司 | 一种用于工业化的虚拟仿真方法及系统 |
-
2023
- 2023-03-07 CN CN202310208249.0A patent/CN116342502A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117289626A (zh) * | 2023-11-27 | 2023-12-26 | 杭州维讯机器人科技有限公司 | 一种用于工业化的虚拟仿真方法及系统 |
| CN117289626B (zh) * | 2023-11-27 | 2024-02-02 | 杭州维讯机器人科技有限公司 | 一种用于工业化的虚拟仿真方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111179251B (zh) | 基于孪生神经网络利用模板比对的缺陷检测系统及方法 | |
| CN110314854A (zh) | 一种基于视觉机器人的工件检测分拣的装置及方法 | |
| CN102303017B (zh) | 机器视觉系统对注射器钢针弯针的自动检测方法 | |
| CN109840900A (zh) | 一种应用于智能制造车间的故障在线检测系统及检测方法 | |
| CN111062961A (zh) | 一种基于深度学习的隐形眼镜边缘缺陷检测方法 | |
| CN112150439A (zh) | 注塑件的自动分拣设备及分拣方法 | |
| CN109726730A (zh) | 自动光学检测图像分类方法、系统及计算机可读介质 | |
| CN116342502A (zh) | 一种基于深度学习的工业视觉检测方法 | |
| CN102303018B (zh) | 机器视觉系统对注射器钢针毛刺的自动检测方法 | |
| CN116559183A (zh) | 一种提高缺陷判定效率的方法及系统 | |
| CN109693140A (zh) | 一种智能化柔性生产线及其工作方法 | |
| CN112881427A (zh) | 可见光和红外热成像的电子元器件缺陷检测装置及方法 | |
| CN113421230A (zh) | 基于目标检测网络的车载液晶屏导光板缺陷视觉检测方法 | |
| CN111929239A (zh) | 一种pcb板零件缺陷的aoi检测装置及检测方法 | |
| CN110687120A (zh) | 法兰外观质量检测系统 | |
| CN114577805A (zh) | 一种MiniLED背光面板缺陷检测方法及装置 | |
| CN114113129B (zh) | 一种镜片微小缺陷识别抓取系统及方法 | |
| CN111060518A (zh) | 一种基于实例分割的冲压件缺陷识别方法 | |
| US20220036371A1 (en) | Identifying and grading system and related methods for collectable items | |
| CN116978834B (zh) | 一种用于晶圆生产的智能监测预警系统 | |
| CN112101060A (zh) | 基于平移不变性和小区域模板匹配的二维码定位方法 | |
| TWI747686B (zh) | 缺陷檢測方法及檢測裝置 | |
| CN115393291A (zh) | 一种YOLOv5和EfficientNet的PCB焊点缺陷检测方法 | |
| CN113267506A (zh) | 木板ai视觉缺陷检测装置、方法、设备及介质 | |
| CN212646436U (zh) | 一种人造板表面瑕疵检测装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |