CN117115114B - 基于yolo的电力电子器件生产工艺目标识别与缺陷检测方法 - Google Patents
基于yolo的电力电子器件生产工艺目标识别与缺陷检测方法 Download PDFInfo
- Publication number
- CN117115114B CN117115114B CN202311096904.4A CN202311096904A CN117115114B CN 117115114 B CN117115114 B CN 117115114B CN 202311096904 A CN202311096904 A CN 202311096904A CN 117115114 B CN117115114 B CN 117115114B
- Authority
- CN
- China
- Prior art keywords
- defect
- photos
- photo
- detection
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 383
- 238000001514 detection method Methods 0.000 title claims abstract description 159
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 17
- 230000002950 deficient Effects 0.000 claims abstract description 12
- 238000013135 deep learning Methods 0.000 claims description 59
- 238000007405 data analysis Methods 0.000 claims description 30
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 3
- 238000007689 inspection Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004801 process automation Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于YOLO的电力电子器件生产工艺目标识别与缺陷检测方法，涉及数据处理技术领域，用于解决现有的工业零件缺陷检测方法对检测对象是否存在缺陷不能进行准确的判断，而且对于细微的缺陷不能发现，且不能对缺陷进行判断，对出现偏差的工艺进行判断并提醒，持续出现大量次品，造成经济损失的问题；该方法通过将检测对象一一与标准照片进行比对，比对的方式采用对像素格照片进行比对的方式，能够准确的对电力电子器件是否存在缺陷进行判定，且能够对细微的缺陷进行判定，通过缺陷比和缺陷数生成缺陷预警信号，便于及时检查工艺并对其进行改善，能够明显降低电力电子器件的缺陷率，提升电力电子器件的质量，降低生产成本。
Description
技术领域
本发明涉及数据处理技术领域，具体涉及基于YOLO的电力电子器件生产工艺目标识别与缺陷检测方法。
背景技术
现代工艺自动化生产中涉及到各种各样的检验、生产监视和零件识别应用，如汽车零配件批量加工的尺寸检查和自动装配的完整性检查、电子转配线的元件自动定位、IC上的字符识别等，通常这种带有高度重复性和智能性的工作都是由肉眼完成的，但是在某些特殊情况下，如对微小尺寸的精确快速测量、形状匹配以及颜色辨识等，依靠肉眼无法进行稳定的进行。
基于深度学习的方法是利用卷积神经网络强大的图像特征提取能力对包含不同芯片缺陷种类的训练样本进行学习，使网络记住不同类别缺陷的特征并具备识别未见过的缺陷图片的能力。随着卷积神经网络的发展，不同的网络模型被提出并应用到工业缺陷检测领域，网络模型根据功能可以分为缺陷分类，缺陷检测和缺陷分割。缺陷检测网络是指利用目标检测网络模型如YOLO(You Look Only Once)，识别图片中的缺陷类别并输出缺陷的包围盒坐标。
YOLO网络通过骨架网络对输入的图片提取特征，对不同卷积层提取的特征进行融合增加网络的感受视野，通过检测探头将特征解码输出检测目标种类和包围盒坐标和置信度。
申请号为CN202010894480.6的专利公开了基于改进YOLO算法的工业零件缺陷检测方法，包括以下步骤：采集工业零件图片数据、数据集选择、划分数据集、图像标注、图像增强、构造模型、训练模型、缺陷长度计算，本发明通过该检测方法可以在实际生产中准确而快速地识别出缺陷并定位其位置，从而在工件进行下一步加工前确定是否继续加工或对工件进行其他决策，进而达到有效提高生产效率并降低生产成本的目的，但仍然存在以下不足之处：该工业零件缺陷检测方法对检测对象是否存在缺陷不能进行准确的判断，而且对于细微的缺陷不能发现，且不能对缺陷进行判断，对出现偏差的工艺进行判断并提醒，持续出现大量次品，造成经济损失。
发明内容
为了克服上述的技术问题，本发明的目的在于提供基于YOLO的电力电子器件生产工艺目标识别与缺陷检测方法：通过图像采集模块采集电力电子器件的照片，并将其标记为检测对象，并将检测对象发送至YOLO学习模型、缺陷检测平台，YOLO学习模型根据标准照片构建标准深度学习网络模型，根据缺陷照片构建缺陷深度学习网络模型，并将构建的标准深度学习网络模型、缺陷深度学习网络模型发送至缺陷检测平台，缺陷检测平台根据标准深度学习网络模型判断检测对象是否存在缺陷，并将存在缺陷的检测对象标记为缺陷对象，并获得缺陷对象的缺陷比和缺陷数，并将缺陷比和缺陷数发送至数据分析模块，根据缺陷深度学习网络模型判断缺陷对象的缺陷类型，数据分析模块根据缺陷比和缺陷数获得缺陷预警信号，并将缺陷预警信号发送至缺陷预警模块，缺陷预警模块接收到缺陷预警信号后对电力电子器件生产工艺进行检查并改善，解决了现有的工业零件缺陷检测方法对检测对象是否存在缺陷不能进行准确的判断，而且对于细微的缺陷不能发现，且不能对缺陷进行判断，对出现偏差的工艺进行判断并提醒，持续出现大量次品，造成经济损失的问题。
本发明的目的可以通过以下技术方案实现：
基于YOLO的电力电子器件生产工艺目标识别与缺陷检测方法，包括以下步骤：
步骤一：图像采集模块采集若干个无缺陷的电力电子器件的照片，并去除无缺陷的电力电子器件的照片中非电力电子器件的轮廓部分，将保留的电力电子器件的轮廓照片标记为标准照片，将标准照片发送至YOLO学习模型；
步骤二：YOLO学习模型收集标准照片基于YOLOv4网络构建标准深度学习网络模型，并将构建的标准深度学习网络模型发送至缺陷检测平台；
步骤三：图像采集模块依次采集位于皮带输送机上输送的若干个的电力电子器件的照片，将电力电子器件的照片中电力电子器件的轮廓照片依次标记为检测对象i，i＝1、……、n；
步骤四：图像采集模块将检测对象i发送至缺陷检测平台；
步骤五：缺陷检测平台将标准照片和检测对象均形成像素格照片，且像素格照片的数量、面积均相同，并将标准照片和检测对象的像素格照片分别标记为标准像素照片和检测像素照片，并将位于第一个的标准像素照片和检测像素照片的位置设置为原点，建立坐标系，其余标准像素照片和检测像素照片相应获得坐标系坐标；
步骤六：缺陷检测平台利用标准深度学习网络模型将检测像素照片按照坐标系坐标一一与标准像素照片进行比对：
若检测像素照片与标准像素照片相同，则将检测像素照片标记为同相片；
若检测像素照片与标准像素照片不相同，则将检测像素照片标记为非相片；
步骤七：缺陷检测平台获取同相片和非相片的数量，获得非相片数量与同相片数量的比值，并将其标记为缺陷比FT；
步骤八：缺陷检测平台将缺陷比FT与预设缺陷阈值FTy进行比较：
若缺陷比FT＞预设缺陷阈值FTy，则将缺陷比FT所对应的检测对象标记为缺陷对象；
步骤九：缺陷检测平台获取所有的非相片，按照坐标系坐标将非相片进行分类，若非相片的坐标系坐标为相邻坐标，则将相对应的非照片归为同一类，相邻坐标表示同X轴或者同Y轴，将同一类的非照片按照坐标系坐标拼接，形成组合照片，并将组合照片发送至器件标记模块；
步骤十：管理人员通过器件标记模块将组合照片进行缺陷类型标记，并将标记后的组合照片标记为缺陷照片，并将缺陷照片发送至YOLO学习模型；
步骤十一：YOLO学习模型收集缺陷照片基于YOLOv4网络构建缺陷深度学习网络模型，并将构建的缺陷深度学习网络模型发送至缺陷检测平台；
步骤十二：缺陷检测平台将组合照片发送至缺陷深度学习网络模型中，获取组合照片所对应的检测对象的缺陷类型，并对检测对象进行缺陷类型标记；
步骤十五：缺陷检测平台获取组合照片的数量，并将其标记为缺陷数QS；
步骤十六：缺陷检测平台将缺陷比FT和缺陷数QS发送至数据分析模块；
步骤十七：数据分析模块将缺陷比FT和缺陷数QS代入公式得到缺陷系数QX，其中q1、q2分别为缺陷比FT和缺陷数QS的预设权重系数，且q1＞q2＞1；
步骤十八：数据分析模块将缺陷系数QX与预设缺陷系数QXy进行比较：
若缺陷系数QX＞预设缺陷系数QXy，则将缺陷系数QX所对应的检测对象为选中对象；
步骤十九：数据分析模块将选中对象后若干位的检测对象标记为预选对象；
步骤二十：数据分析模块将预选对象的缺陷系数QX求和并求取平均值，并将其标记为预选系数YX；
步骤二十一：数据分析模块获取缺陷系数QX、预选系数YX之间的差值，若差值为负数，则产生缺陷预警信号，并将缺陷预警信号发送至缺陷预警模块；
步骤二十二：缺陷预警模块接收到缺陷预警信号后对电力电子器件生产工艺进行检查，并对电力电子器件生产工艺进行改善。
作为本发明进一步的方案：图像采集模块，用于采集电力电子器件的照片，并将其标记为检测对象i，i＝1、……、n，并将检测对象i发送至YOLO学习模型、缺陷检测平台；
YOLO学习模型，用于根据标准照片构建标准深度学习网络模型，根据缺陷照片构建缺陷深度学习网络模型，并将构建的标准深度学习网络模型、缺陷深度学习网络模型发送至缺陷检测平台；
缺陷检测平台，用于根据标准深度学习网络模型判断检测对象是否存在缺陷，并将存在缺陷的检测对象标记为缺陷对象，并获得缺陷对象的缺陷比FT和缺陷数QS，并将缺陷比FT和缺陷数QS发送至数据分析模块，还用于根据缺陷深度学习网络模型判断缺陷对象的缺陷类型；
数据分析模块，用于根据缺陷比FT和缺陷数QS获得缺陷预警信号，并将缺陷预警信号发送至缺陷预警模块；
缺陷预警模块，用于接收到缺陷预警信号后对电力电子器件生产工艺进行检查并改善。
作为本发明进一步的方案：所述图像采集模块的工作过程如下：
采集若干个无缺陷的电力电子器件的照片，并去除无缺陷的电力电子器件的照片中非电力电子器件的轮廓部分，将保留的电力电子器件的轮廓照片标记为标准照片，将标准照片发送至YOLO学习模型；
依次采集位于皮带输送机上输送的若干个的电力电子器件的照片，将电力电子器件的照片中电力电子器件的轮廓照片依次标记为检测对象i，i＝1、……、n；
将检测对象i发送至缺陷检测平台。
作为本发明进一步的方案：所述YOLO学习模型的工作过程如下：
收集标准照片基于YOLOv4网络构建标准深度学习网络模型，并将构建的标准深度学习网络模型发送至缺陷检测平台；
收集缺陷照片基于YOLOv4网络构建缺陷深度学习网络模型，并将构建的缺陷深度学习网络模型发送至缺陷检测平台。
作为本发明进一步的方案：所述缺陷检测平台的工作过程如下：
将标准照片和检测对象均形成像素格照片，且像素格照片的数量、面积均相同，并将标准照片和检测对象的像素格照片分别标记为标准像素照片和检测像素照片，并将位于第一个的标准像素照片和检测像素照片的位置设置为原点，建立坐标系，其余标准像素照片和检测像素照片相应获得坐标系坐标；
将检测像素照片按照坐标系坐标一一与标准像素照片进行比对：
若检测像素照片与标准像素照片相同，则将检测像素照片标记为同相片；
若检测像素照片与标准像素照片不相同，则将检测像素照片标记为非相片；
获取同相片和非相片的数量，获得非相片数量与同相片数量的比值，并将其标记为缺陷比FT；
将缺陷比FT与预设缺陷阈值FTy进行比较：
若缺陷比FT＞预设缺陷阈值FTy，则将缺陷比FT所对应的检测对象标记为缺陷对象；
获取所有的非相片，按照坐标系坐标将非相片进行分类，若非相片的坐标系坐标为相邻坐标，则将相对应的非照片归为同一类，相邻坐标表示同X轴或者同Y轴，将同一类的非照片按照坐标系坐标拼接，形成组合照片，并将组合照片发送至器件标记模块；
将组合照片发送至缺陷深度学习网络模型中，获取组合照片所对应的检测对象的缺陷类型，并对检测对象进行缺陷类型标记；
获取组合照片的数量，并将其标记为缺陷数QS；
将缺陷比FT和缺陷数QS发送至数据分析模块。
作为本发明进一步的方案：所述数据分析模块的工作过程如下：
将缺陷比FT和缺陷数QS代入公式得到缺陷系数QX，其中q1、q2分别为缺陷比FT和缺陷数QS的预设权重系数，且q1＞q2＞1；
将缺陷系数QX与预设缺陷系数QXy进行比较：
若缺陷系数QX＞预设缺陷系数QXy，则将缺陷系数QX所对应的检测对象为选中对象；
将选中对象后若干位的检测对象标记为预选对象；
将预选对象的缺陷系数QX求和并求取平均值，并将其标记为预选系数YX；
获取缺陷系数QX、预选系数YX之间的差值，若差值为负数，则产生缺陷预警信号，并将缺陷预警信号发送至缺陷预警模块。
本发明的有益效果：
本发明的基于YOLO的电力电子器件生产工艺目标识别与缺陷检测方法，通过图像采集模块采集电力电子器件的照片，并将其标记为检测对象，并将检测对象发送至YOLO学习模型、缺陷检测平台，YOLO学习模型根据标准照片构建标准深度学习网络模型，根据缺陷照片构建缺陷深度学习网络模型，并将构建的标准深度学习网络模型、缺陷深度学习网络模型发送至缺陷检测平台，缺陷检测平台根据标准深度学习网络模型判断检测对象是否存在缺陷，并将存在缺陷的检测对象标记为缺陷对象，并获得缺陷对象的缺陷比和缺陷数，并将缺陷比和缺陷数发送至数据分析模块，根据缺陷深度学习网络模型判断缺陷对象的缺陷类型，数据分析模块根据缺陷比和缺陷数获得缺陷预警信号，并将缺陷预警信号发送至缺陷预警模块，缺陷预警模块接收到缺陷预警信号后对电力电子器件生产工艺进行检查并改善；该目标识别与缺陷检测方法通过将检测对象一一与标准照片进行比对，比对的方式采用对像素格照片进行比对的方式，之后再统计像素格照片比对结果的数量，通过缺陷比对检测对象进行判定，能够准确的对电力电子器件是否存在缺陷进行判定，且能够对细微的缺陷进行判定，之后利用组合照片建立缺陷深度学习网络模型，能够对检测对象中的缺陷进行快速的类型辨别，通过缺陷比和缺陷数获得缺陷系数，若缺陷系数持续未进行明显降低或者继续上升，则表明工艺需要完善，则生成缺陷预警信号，便于提醒对电力电子器件生产工艺进行检查，及时检查工艺并对其进行改善，能够明显降低电力电子器件的缺陷率，提升电力电子器件的质量，降低生产成本。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明中基于YOLO的电力电子器件生产工艺目标识别与缺陷检测方法的原理框图。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1：
请参阅图1所示，本实施例为基于YOLO的电力电子器件生产工艺目标识别与缺陷检测方法，包括以下步骤：
步骤一：图像采集模块采集若干个无缺陷的电力电子器件的照片，并去除无缺陷的电力电子器件的照片中非电力电子器件的轮廓部分，将保留的电力电子器件的轮廓照片标记为标准照片，将标准照片发送至YOLO学习模型；
步骤二：YOLO学习模型收集标准照片基于YOLOv4网络构建标准深度学习网络模型，并将构建的标准深度学习网络模型发送至缺陷检测平台；
步骤三：图像采集模块依次采集位于皮带输送机上输送的若干个的电力电子器件的照片，将电力电子器件的照片中电力电子器件的轮廓照片依次标记为检测对象i，i＝1、……、n；
步骤四：图像采集模块将检测对象i发送至缺陷检测平台；
步骤五：缺陷检测平台将标准照片和检测对象均形成像素格照片，且像素格照片的数量、面积均相同，并将标准照片和检测对象的像素格照片分别标记为标准像素照片和检测像素照片，并将位于第一个的标准像素照片和检测像素照片的位置设置为原点，建立坐标系，其余标准像素照片和检测像素照片相应获得坐标系坐标；
步骤六：缺陷检测平台利用标准深度学习网络模型将检测像素照片按照坐标系坐标一一与标准像素照片进行比对：
若检测像素照片与标准像素照片相同，则将检测像素照片标记为同相片；
若检测像素照片与标准像素照片不相同，则将检测像素照片标记为非相片；
步骤七：缺陷检测平台获取同相片和非相片的数量，获得非相片数量与同相片数量的比值，并将其标记为缺陷比FT；
步骤八：缺陷检测平台将缺陷比FT与预设缺陷阈值FTy进行比较：
若缺陷比FT＞预设缺陷阈值FTy，则将缺陷比FT所对应的检测对象标记为缺陷对象；
步骤九：缺陷检测平台获取所有的非相片，按照坐标系坐标将非相片进行分类，若非相片的坐标系坐标为相邻坐标，则将相对应的非照片归为同一类，相邻坐标表示同X轴或者同Y轴，将同一类的非照片按照坐标系坐标拼接，形成组合照片，并将组合照片发送至器件标记模块；
步骤十：管理人员通过器件标记模块将组合照片进行缺陷类型标记，并将标记后的组合照片标记为缺陷照片，并将缺陷照片发送至YOLO学习模型；
步骤十一：YOLO学习模型收集缺陷照片基于YOLOv4网络构建缺陷深度学习网络模型，并将构建的缺陷深度学习网络模型发送至缺陷检测平台；
步骤十二：缺陷检测平台将组合照片发送至缺陷深度学习网络模型中，获取组合照片所对应的检测对象的缺陷类型，并对检测对象进行缺陷类型标记；
步骤十五：缺陷检测平台获取组合照片的数量，并将其标记为缺陷数QS；
步骤十六：缺陷检测平台将缺陷比FT和缺陷数QS发送至数据分析模块；
步骤十七：数据分析模块将缺陷比FT和缺陷数QS代入公式得到缺陷系数QX，其中q1、q2分别为缺陷比FT和缺陷数QS的预设权重系数，且q1＞q2＞1；
步骤十八：数据分析模块将缺陷系数QX与预设缺陷系数QXy进行比较：
若缺陷系数QX＞预设缺陷系数QXy，则将缺陷系数QX所对应的检测对象为选中对象；
步骤十九：数据分析模块将选中对象后若干位的检测对象标记为预选对象；
步骤二十：数据分析模块将预选对象的缺陷系数QX求和并求取平均值，并将其标记为预选系数YX；
步骤二十一：数据分析模块获取缺陷系数QX、预选系数YX之间的差值，若差值为负数，则产生缺陷预警信号，并将缺陷预警信号发送至缺陷预警模块；
步骤二十二：缺陷预警模块接收到缺陷预警信号后对电力电子器件生产工艺进行检查，并对电力电子器件生产工艺进行改善。
实施例2：
请参阅图1所示，本实施例为基于YOLO的电力电子器件生产工艺目标识别与缺陷检测方法，包括以下模块：
图像采集模块采集电力电子器件的照片，并将其标记为检测对象i，i＝1、……、n，并将检测对象i发送至YOLO学习模型、缺陷检测平台；
YOLO学习模型根据标准照片构建标准深度学习网络模型，根据缺陷照片构建缺陷深度学习网络模型，并将构建的标准深度学习网络模型、缺陷深度学习网络模型发送至缺陷检测平台；
缺陷检测平台根据标准深度学习网络模型判断检测对象是否存在缺陷，并将存在缺陷的检测对象标记为缺陷对象，并获得缺陷对象的缺陷比FT和缺陷数QS，并将缺陷比FT和缺陷数QS发送至数据分析模块，还用于根据缺陷深度学习网络模型判断缺陷对象的缺陷类型；
数据分析模块根据缺陷比FT和缺陷数QS获得缺陷预警信号，并将缺陷预警信号发送至缺陷预警模块；
缺陷预警模块接收到缺陷预警信号后对电力电子器件生产工艺进行检查并改善。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上内容仅仅是对本发明所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。
Claims (6)
1.基于YOLO的电力电子器件生产工艺目标识别与缺陷检测方法，其特征在于，包括以下步骤：
步骤一：图像采集模块采集若干个无缺陷的电力电子器件的照片，并去除无缺陷的电力电子器件的照片中非电力电子器件的轮廓部分，将保留的电力电子器件的轮廓照片标记为标准照片，将标准照片发送至YOLO学习模型；
步骤二：YOLO学习模型收集标准照片基于YOLOv4网络构建标准深度学习网络模型，并将构建的标准深度学习网络模型发送至缺陷检测平台；
步骤三：图像采集模块依次采集位于皮带输送机上输送的若干个的电力电子器件的照片，将电力电子器件的照片中电力电子器件的轮廓照片标记为检测对象；
步骤四：图像采集模块将检测对象发送至缺陷检测平台；
步骤五：缺陷检测平台将标准照片和检测对象均形成像素格照片，且像素格照片的数量、面积均相同，并将标准照片和检测对象的像素格照片分别标记为标准像素照片和检测像素照片，并将位于第一个的标准像素照片和检测像素照片的位置设置为原点，建立坐标系，其余标准像素照片和检测像素照片相应获得坐标系坐标；
步骤六：缺陷检测平台利用标准深度学习网络模型将检测像素照片按照坐标系坐标一一与标准像素照片进行比对：
若检测像素照片与标准像素照片相同，则将检测像素照片标记为同相片；
若检测像素照片与标准像素照片不相同，则将检测像素照片标记为非相片；
步骤七：缺陷检测平台获取同相片和非相片的数量，获得非相片数量与同相片数量的比值，并将其标记为缺陷比；
步骤八：缺陷检测平台将缺陷比与预设缺陷阈值进行比较：
若缺陷比＞预设缺陷阈值，则将缺陷比所对应的检测对象标记为缺陷对象；
步骤九：缺陷检测平台获取所有的非相片，按照坐标系坐标将非相片进行分类，若非相片的坐标系坐标为相邻坐标，则将相对应的非照片归为同一类，相邻坐标表示同X轴或者同Y轴，将同一类的非照片按照坐标系坐标拼接，形成组合照片，并将组合照片发送至器件标记模块；
步骤十：管理人员通过器件标记模块将组合照片进行缺陷类型标记，并将标记后的组合照片标记为缺陷照片，并将缺陷照片发送至YOLO学习模型；
步骤十一：YOLO学习模型收集缺陷照片基于YOLOv4网络构建缺陷深度学习网络模型，并将构建的缺陷深度学习网络模型发送至缺陷检测平台；
步骤十二：缺陷检测平台将组合照片发送至缺陷深度学习网络模型中，获取组合照片所对应的检测对象的缺陷类型，并对检测对象进行缺陷类型标记；
步骤十五：缺陷检测平台获取组合照片的数量，并将其标记为缺陷数；
步骤十六：缺陷检测平台将缺陷比和缺陷数发送至数据分析模块；
步骤十七：数据分析模块将缺陷比和缺陷数经过分析得到缺陷系数；
步骤十八：数据分析模块将缺陷系数与预设缺陷系数进行比较：
若缺陷系数＞预设缺陷系数，则将缺陷系数所对应的检测对象为选中对象；
步骤十九：数据分析模块将选中对象后若干位的检测对象标记为预选对象；
步骤二十：数据分析模块将预选对象的缺陷系数求和并求取平均值，并将其标记为预选系数；
步骤二十一：数据分析模块获取缺陷系数、预选系数之间的差值，若差值为负数，则产生缺陷预警信号，并将缺陷预警信号发送至缺陷预警模块；
步骤二十二：缺陷预警模块接收到缺陷预警信号后对电力电子器件生产工艺进行检查，并对电力电子器件生产工艺进行改善。
2.根据权利要求1所述的基于YOLO的电力电子器件生产工艺目标识别与缺陷检测方法，其特征在于：
图像采集模块，用于采集电力电子器件的照片，并将其标记为检测对象，并将检测对象发送至YOLO学习模型、缺陷检测平台；
YOLO学习模型，用于根据标准照片构建标准深度学习网络模型，根据缺陷照片构建缺陷深度学习网络模型，并将构建的标准深度学习网络模型、缺陷深度学习网络模型发送至缺陷检测平台；
缺陷检测平台，用于根据标准深度学习网络模型判断检测对象是否存在缺陷，并将存在缺陷的检测对象标记为缺陷对象，并获得缺陷对象的缺陷比和缺陷数，并将缺陷比和缺陷数发送至数据分析模块，还用于根据缺陷深度学习网络模型判断缺陷对象的缺陷类型；
数据分析模块，用于根据缺陷比和缺陷数获得缺陷预警信号，并将缺陷预警信号发送至缺陷预警模块；
缺陷预警模块，用于接收到缺陷预警信号后对电力电子器件生产工艺进行检查并改善。
3.根据权利要求2所述的基于YOLO的电力电子器件生产工艺目标识别与缺陷检测方法，其特征在于，所述图像采集模块的工作过程如下：
采集若干个无缺陷的电力电子器件的照片，并去除无缺陷的电力电子器件的照片中非电力电子器件的轮廓部分，将保留的电力电子器件的轮廓照片标记为标准照片，将标准照片发送至YOLO学习模型；
依次采集位于皮带输送机上输送的若干个的电力电子器件的照片，将电力电子器件的照片中电力电子器件的轮廓照片标记为检测对象；
将检测对象发送至缺陷检测平台。
4.根据权利要求2所述的基于YOLO的电力电子器件生产工艺目标识别与缺陷检测方法，其特征在于，所述YOLO学习模型的工作过程如下：
收集标准照片基于YOLOv4网络构建标准深度学习网络模型，并将构建的标准深度学习网络模型发送至缺陷检测平台；
收集缺陷照片基于YOLOv4网络构建缺陷深度学习网络模型，并将构建的缺陷深度学习网络模型发送至缺陷检测平台。
5.根据权利要求2所述的基于YOLO的电力电子器件生产工艺目标识别与缺陷检测方法，其特征在于，所述缺陷检测平台的工作过程如下：
将标准照片和检测对象均形成像素格照片，且像素格照片的数量、面积均相同，并将标准照片和检测对象的像素格照片分别标记为标准像素照片和检测像素照片，并将位于第一个的标准像素照片和检测像素照片的位置设置为原点，建立坐标系，其余标准像素照片和检测像素照片相应获得坐标系坐标；
将检测像素照片按照坐标系坐标一一与标准像素照片进行比对：
若检测像素照片与标准像素照片相同，则将检测像素照片标记为同相片；
若检测像素照片与标准像素照片不相同，则将检测像素照片标记为非相片；
获取同相片和非相片的数量，获得非相片数量与同相片数量的比值，并将其标记为缺陷比；
将缺陷比与预设缺陷阈值进行比较：
若缺陷比＞预设缺陷阈值，则将缺陷比所对应的检测对象标记为缺陷对象；
获取所有的非相片，按照坐标系坐标将非相片进行分类，若非相片的坐标系坐标为相邻坐标，则将相对应的非照片归为同一类，相邻坐标表示同X轴或者同Y轴，将同一类的非照片按照坐标系坐标拼接，形成组合照片，并将组合照片发送至器件标记模块；
将组合照片发送至缺陷深度学习网络模型中，获取组合照片所对应的检测对象的缺陷类型，并对检测对象进行缺陷类型标记；
获取组合照片的数量，并将其标记为缺陷数；
将缺陷比和缺陷数发送至数据分析模块。
6.根据权利要求2所述的基于YOLO的电力电子器件生产工艺目标识别与缺陷检测方法，其特征在于，所述数据分析模块的工作过程如下：
将缺陷比和缺陷数经过分析得到缺陷系数；
将缺陷系数与预设缺陷系数进行比较：
若缺陷系数＞预设缺陷系数，则将缺陷系数所对应的检测对象为选中对象；
将选中对象后若干位的检测对象标记为预选对象；
将预选对象的缺陷系数求和并求取平均值，并将其标记为预选系数；
获取缺陷系数、预选系数之间的差值，若差值为负数，则产生缺陷预警信号，并将缺陷预警信号发送至缺陷预警模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311096904.4A CN117115114B (zh) | 2023-08-29 | 2023-08-29 | 基于yolo的电力电子器件生产工艺目标识别与缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311096904.4A CN117115114B (zh) | 2023-08-29 | 2023-08-29 | 基于yolo的电力电子器件生产工艺目标识别与缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117115114A CN117115114A (zh) | 2023-11-24 |
| CN117115114B true CN117115114B (zh) | 2024-01-30 |
Family
ID=88807268
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311096904.4A Active CN117115114B (zh) | 2023-08-29 | 2023-08-29 | 基于yolo的电力电子器件生产工艺目标识别与缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117115114B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2031872A1 (en) * | 2007-08-29 | 2009-03-04 | Harman International Industries, Incorporated | Enhanced presentation of sub-picture information |
| JP2010133744A (ja) * | 2008-12-02 | 2010-06-17 | Omron Corp | 欠陥検出方法およびその方法を用いた視覚検査装置 |
| JP2014130404A (ja) * | 2012-12-28 | 2014-07-10 | Aero Asahi Corp | 路面画像生成システム並びに影除去装置、方法及びプログラム |
| US9547883B1 (en) * | 2016-08-19 | 2017-01-17 | Intelligent Security Systems Corporation | Systems and methods for dewarping images |
| CN108446657A (zh) * | 2018-03-28 | 2018-08-24 | 京东方科技集团股份有限公司 | 手势抖动识别方法及装置、手势识别方法 |
| CN109656647A (zh) * | 2018-09-27 | 2019-04-19 | 平安科技（深圳）有限公司 | 图表图片生成方法、装置、设备及计算机可读存储介质 |
| CN111507134A (zh) * | 2019-01-31 | 2020-08-07 | 北京奇虎科技有限公司 | 人形姿态检测方法、装置、计算机设备及存储介质 |
| KR102256181B1 (ko) * | 2019-12-30 | 2021-05-27 | 한국과학기술원 | 강구조물의 도막 상태 검사 및 평가 방법과 이를 위한 시스템 |
| CN113223046A (zh) * | 2020-07-10 | 2021-08-06 | 浙江大华技术股份有限公司 | 一种监狱人员行为识别的方法和系统 |
| CN114240782A (zh) * | 2021-12-16 | 2022-03-25 | 北京爱芯科技有限公司 | 图像校正方法、系统及电子设备 |
| CN116258682A (zh) * | 2023-01-07 | 2023-06-13 | 湖南科博强电子科技有限公司 | 基于PSPNet和改进YOLOv7的PCB锡膏缺陷检测方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004212221A (ja) * | 2002-12-27 | 2004-07-29 | Toshiba Corp | パターン検査方法及びパターン検査装置 |
| US9098923B2 (en) * | 2013-03-15 | 2015-08-04 | General Instrument Corporation | Detection of long shots in sports video |
| US10368097B2 (en) * | 2014-01-07 | 2019-07-30 | Nokia Technologies Oy | Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures |
-
2023
- 2023-08-29 CN CN202311096904.4A patent/CN117115114B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2031872A1 (en) * | 2007-08-29 | 2009-03-04 | Harman International Industries, Incorporated | Enhanced presentation of sub-picture information |
| JP2010133744A (ja) * | 2008-12-02 | 2010-06-17 | Omron Corp | 欠陥検出方法およびその方法を用いた視覚検査装置 |
| JP2014130404A (ja) * | 2012-12-28 | 2014-07-10 | Aero Asahi Corp | 路面画像生成システム並びに影除去装置、方法及びプログラム |
| US9547883B1 (en) * | 2016-08-19 | 2017-01-17 | Intelligent Security Systems Corporation | Systems and methods for dewarping images |
| CN108446657A (zh) * | 2018-03-28 | 2018-08-24 | 京东方科技集团股份有限公司 | 手势抖动识别方法及装置、手势识别方法 |
| CN109656647A (zh) * | 2018-09-27 | 2019-04-19 | 平安科技（深圳）有限公司 | 图表图片生成方法、装置、设备及计算机可读存储介质 |
| CN111507134A (zh) * | 2019-01-31 | 2020-08-07 | 北京奇虎科技有限公司 | 人形姿态检测方法、装置、计算机设备及存储介质 |
| KR102256181B1 (ko) * | 2019-12-30 | 2021-05-27 | 한국과학기술원 | 강구조물의 도막 상태 검사 및 평가 방법과 이를 위한 시스템 |
| CN113223046A (zh) * | 2020-07-10 | 2021-08-06 | 浙江大华技术股份有限公司 | 一种监狱人员行为识别的方法和系统 |
| CN114240782A (zh) * | 2021-12-16 | 2022-03-25 | 北京爱芯科技有限公司 | 图像校正方法、系统及电子设备 |
| CN116258682A (zh) * | 2023-01-07 | 2023-06-13 | 湖南科博强电子科技有限公司 | 基于PSPNet和改进YOLOv7的PCB锡膏缺陷检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| Multiview Textured Mesh Recovery by Differentiable Rendering;Lixiang Lin;《IEEE Transactions on Circuits and Systems for Video Technology》;全文 * |
| 基于双目图像的行人检测与定位系统研究;杨荣坚;王芳;秦浩;;计算机应用研究(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117115114A (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106568783B (zh) | 一种五金零件缺陷检测系统及方法 | |
| US20190213725A1 (en) | Board defect filtering method and device thereof and computer-readable recording medium | |
| CN114972356B (zh) | 塑料制品表面缺陷检测识别方法及系统 | |
| CN101915769A (zh) | 一种印刷电路板中带电阻元件的自动光学检测方法 | |
| TWI669519B (zh) | 電路板瑕疵篩選方法及其裝置與電腦可讀取記錄媒體 | |
| CN112750113B (zh) | 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置 | |
| CN106251333A (zh) | 元件反件检测方法和系统 | |
| CN113516619B (zh) | 一种基于图像处理技术的产品表面瑕疵识别方法 | |
| CN117798087B (zh) | 基于外观缺陷检测的锂电池视觉分拣系统及终端 | |
| CN118169547B (zh) | 一种电动吻合器单次使用电路检测方法及系统 | |
| CN114549493A (zh) | 一种基于深度学习的磁芯缺陷检测系统及方法 | |
| CN111968082A (zh) | 一种基于机器视觉的产品包装缺陷检测识别方法 | |
| CN117455917B (zh) | 一种蚀刻引线框架误报库建立及误报在线判定筛选方法 | |
| CN112561875A (zh) | 一种基于人工智能的光伏电池板粗栅检测方法 | |
| CN111882547A (zh) | 一种基于神经网络的pcb漏件检测方法 | |
| CN116993725B (zh) | 一种柔性电路板智能贴片信息处理系统 | |
| CN115587993A (zh) | 一种基于ai与机器视觉算法的口罩焊点缺陷检测方法 | |
| CN117664991A (zh) | 一种缺陷检测系统 | |
| CN117975360A (zh) | 一种基于深度学习的堆放物判别方法及判别系统 | |
| CN117115114B (zh) | 基于yolo的电力电子器件生产工艺目标识别与缺陷检测方法 | |
| CN115937555A (zh) | 一种基于标准化流模型的工业缺陷检测算法 | |
| CN111307817A (zh) | 一种智能产线pcb生产过程的在线检测方法及系统 | |
| CN116434258A (zh) | 一种表格数据的自动识别方法 | |
| CN112001396B (zh) | 一种轴承表面形变及文字混合缺陷图像检测方法 | |
| CN117299596B (zh) | 一种自动检测的物料筛选系统及其筛选方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |