CN116881530B - 一种基于深度学习的器件表面缺陷检测系统 - Google Patents

一种基于深度学习的器件表面缺陷检测系统 Download PDF

Info

Publication number
CN116881530B
CN116881530B CN202310728612.1A CN202310728612A CN116881530B CN 116881530 B CN116881530 B CN 116881530B CN 202310728612 A CN202310728612 A CN 202310728612A CN 116881530 B CN116881530 B CN 116881530B
Authority
CN
China
Prior art keywords
target device
detected
defect
state
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310728612.1A
Other languages
English (en)
Other versions
CN116881530A (zh
Inventor
宋永献
夏文豪
张磊
孔永�
刘强
王博
李豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xiaozhuang University
Original Assignee
Nanjing Xiaozhuang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xiaozhuang University filed Critical Nanjing Xiaozhuang University
Priority to CN202310728612.1A priority Critical patent/CN116881530B/zh
Publication of CN116881530A publication Critical patent/CN116881530A/zh
Application granted granted Critical
Publication of CN116881530B publication Critical patent/CN116881530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/908—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及器件缺陷检测技术领域，用于解决现有的在对器件表面缺陷检测的方式，难以做到对检测环境及器件属性的准确分析，导致器件表面缺陷检测结果不准确，也难以对器件缺陷做出准确的预处理的问题，具体为一种基于深度学习的器件表面缺陷检测系统，包括数据采集单元、云数据库、待检器件预分析单元、检测环境分析单元、器件缺陷检测单元、器件缺陷预处理单元和显示终端。本发明，明确了器件的属性状态类型及所处检测环境状态，并以此为依据，又实现了对器件表面的缺陷程度状态的准确分析，并通过分析器件的性能状态以综合选择合适的预处理操作，保证器件表面缺陷检测结果的准确性，且有效降低生产成本和风险。

Description

一种基于深度学习的器件表面缺陷检测系统
技术领域
本发明涉及器件缺陷检测技术领域，具体为一种基于深度学习的器件表面缺陷检测系统。
背景技术
电子器件是指用于电子系统中的各种元器件和电路，包括集成电路、电容、电阻、电感、二极管、三极管、场效应管、光电器件、传感器、电源等。在电子器件的生产和使用过程中，由于各种原因(如制造、运输、存储等)，可能会出现各种缺陷，例如，表面裂纹、划痕、氧化、污染等。这些缺陷可能会导致电子器件的性能下降，寿命缩短，甚至失效。因此，实现对器件表面缺陷检测是电子器件制造过程中非常重要的一步，也是电子器件质量控制最重要的一步。
但现有的在对器件表面缺陷进行检测时，大都是基于人工视觉检测，其检测效率低，且易受主观因素影响，存在较大的误判率和漏检率。且现有的在器件表面缺陷实际检测中，未考虑到检测环境因素以及器件属性造成的检测结果不准确的问题，故无法保证器件表面缺陷检测的准确性，也难以对器件缺陷做出准确的预处理，加大了器件生产线的效率低和质量差的风险。
为了解决上述缺陷，现提供一种技术方案。
发明内容
本发明的目的就在于解决现有的在对器件表面缺陷检测的方式，难以做到对检测环境及器件属性的准确分析，导致器件表面缺陷检测结果不准确，也难以对器件缺陷做出准确的预处理的问题，通过数据模型计算和数据库比对分析的方式，分别明确器件的属性状态类型及所处检测环境状态，并以此为依据，利用并集运算整合、数据赋值标定和分类规整的方式，从而实现了对器件表面的缺陷程度状态的准确分析，并通过分析器件的性能状态以综合选择合适的预处理操作，从而在实现对器件表面缺陷准确检测的同时，也做到了对不同程度缺陷的器件执行不同方式的预处理，以保证电子器件的制造精度，有效降低生产成本和风险，以及极大的保证了器件生产线的效率和质量，而提出一种基于深度学习的器件表面缺陷检测系统。
本发明的目的可以通过以下技术方案实现：一种基于深度学习的器件表面缺陷检测系统，包括：数据采集单元、云数据库、待检器件预分析单元、检测环境分析单元、器件缺陷检测单元、器件缺陷预处理单元和显示终端；
数据采集单元，用于采集目标器件的基础数据信息、检测环境参数信息、缺陷参数信息、电性性能信息，并将各类型数据信息均发送至云数据库中进行暂存；
云数据库，还用于存储形状复杂程度数据表，存储器件属性类型对照表，存储环境状态判定表，存储缺陷状态等级判定表，存储性能状态判定表；
待检器件预分析单元，用于对待检测的目标器的基础数据信息进行监测，由此对待检测的属性状态进行分析，由此得到待检测的目标器件的属性类型；
检测环境分析单元，用于对待检测的目标器件所处环境的检测环境参数信息进行监测，由此对待检测的目标器件所处环境的检测环境状态进行分析，由此得到待检测的目标器件所处环境的环境状态等级；
器件缺陷检测单元，用于对目标器件表面的缺陷参数信息进行监测，由此对目标器件表面的缺陷状态进行分析，由此得到各目标器件的各类型归类集合，依次为集合A、集合B、集合C；
器件缺陷预处理单元，用于对集合A、集合B、集合C中的各目标器件缺陷预处理，并在完成缺陷预处理后通过显示终端进行显示说明。
优选地，所述对待检测的目标器的基础数据信息进行监测及对其属性状态进行分析，其具体过程如下：
通过智能摄像获取待检测的目标器件的轮廓图像，并从轮廓图像中识别到待检测的目标器件的轮廓形状，将待检测的目标器件的轮廓形状与存储在云数据库中的形状复杂程度数据表进行对照匹配分析，由此得到待检测的目标器件的形状复杂值，并将其记作fzl，且每个待检测的目标器件的轮廓形状均有一个形状复杂值与之对应；
实时获取待检测的目标器件的基础数据信息中的器表尺寸和形状复杂值，并将两项基础数据进行计算分析，依据设定的数据模型：bsx＝δ1×dts+δ2×fzl，由此得到待检测的目标器件的基础特征系数bsx，其中，dts表示为器表尺寸，δ1、δ2分别为器表尺寸和形状复杂值的归一因子，且δ1、δ2均为大于0的自然数；
将待检测的目标器件的基础特征系数与存储在云数据库中的器件属性类型对照表进行对照匹配分析，由此得到待检测的目标器件的属性类型，且得到的每个目标器件的基础特征系数均对应一个属性类型，且属性类型包括一级属性、二级属性、三级属性。
优选地，所述对待检测的目标器件所处环境的检测环境状态进行分析，其具体分析过程如下：
实时监测待检测的目标器件所处环境的检测环境参数信息中的光照度、温变值、湿变值和电磁干扰量值，并将其分别标定为gzd、wbl、sbl和crl，并将四项数据进行计算分析，依据设定的数据模型：由此得到待检测的目标器件的实测环境系数mec，其中，k为反比例系数，λ1、λ2、λ3和λ4分别光照度、温变值、湿变值和电磁干扰量值的权重因子系数，且k、λ1、λ2、λ3和λ4均为大于0的自然数；
将待检测的目标器件的实测环境系数与存储在云数据库中的环境状态判定表进行对照匹配分析，由此得到待检测的目标器件所处环境的环境状态等级，且每个目标器件的实测环境系数均对应一个环境状态等级，且环境状态等级包括优环境状态等级、合格环境状态等级、不合格环境状态等级。
优选地，所述对目标器件表面的缺陷状态进行分析，其具体分析过程如下：
将同一待检测的目标器件的环境状态等级和属性类型进行数据综合分析，由此得到综合优级待检信号、综合中上级待检信号、综合中上级待检信号和综合次级待检信号，并由此将得到的各等级综合待检信号进行数据赋值标定，具体的：
将综合优级待检信号赋值标定为ω1单位基量，将综合中上级待检信号赋值标定为ω2单位基量，将综合中上级待检信号赋值标定为ω3单位基量，将综合次级待检信号ω4单位基量，其中，ω1＜ω2＜ω3＜ω4；
由此得到待检测的目标器件的综合待检基量系数，并将其记作bcqi；
实时监测目标器件表面的缺陷参数信息中的裂纹量、划痕量、污点量、凹坑量和腐锈量，并将其分别标定为lw、lh、ld、la和sfx，并将各项数据进行综合分析，依据设定的数据模型：dfc＝(1-bcqi)×[ρ1×(lw+lh+ld)+ρ2×(la+sfx)]，由此得到目标器件表面的缺陷系数dfc，其中，ρ1和ρ2为转化因子系数，且ρ1和ρ2均为大于0的自然数；
将目标器件表面的缺陷系数与存储在云数据库中的缺陷状态等级判定表进行对照匹配分析，由此得到目标器件表面的缺陷等级，且每个目标器件表面的缺陷系数均对应一个缺陷等级，且缺陷等级包括轻度缺陷等级、中度缺陷等级、重度缺陷等级；
将被标定为同一缺陷等级的各目标器件归入同一集合中，具体的：将被标定为轻度缺陷等级的各目标器件归入集合A中，将被标定为中度缺陷等级的各目标器件归入集合B中，将被标定为重度缺陷等级的各目标器件归入集合C中，由此得到集合A、集合B、集合C。
优选地，所述数据综合分析，其具体分析过程如下：
依据待检测的目标器件的环境状态等级建立集合W，将优环境状态等级标定为元素a1，将合格环境状态等级标定为元素a2，将不合格环境状态等级标定为元素a3，且元素a1∈集合W，元素a2∈集合W，元素a3∈集合W；
依据待检测的目标器件的属性类型建立集合V，将三级属性标定为元素b1，将二级属性标定为元素b2，将一级属性标定为元素b3，且元素b1∈集合V，元素b2∈集合V，元素b3∈集合V；
将集合W与V进行并集处理，若W∪V＝{a1，b1}时，则生成综合优级待检信号，若W∪V＝{a1，b2}或{a2，b1}或{a2，b2}时，则均生成综合中上级待检信号，若W∪V＝{a1，b3}或{a3，b1}时，则均生成综合中下级待检信号，若W∪V＝{a3，b3}或{a3，b2}或{a2，b3}时，则均生成综合次级待检信号。
优选地，所述对集合A、集合B、集合C中的各目标器件缺陷预处理，其具体处理过程如下：
实时获取集合A、集合B中的各目标器件的电性性能信息中的电压值、电流值、电阻值和电导值，并将其分别标定为mujh、mcjh、mrjh和mdjh，并将各项数据进行综合分析，依据设定的数据模型：cxpjh＝γ1×mujh+γ2×mcjh+γ3×mrjh+γ4×mdjh由此得到集合A或集合B中各目标器件的性能系数cxpjh，其中，j＝{1，2}，h为大于0的正整数，其中，j＝1表示为集合A，j＝2表示为集合B；
将集合A、集合B中各目标器件的性能系数与存储在云数据库中的性能状态判定表进行对照匹配分析，由此得到对应目标器件的性能状态，且每个目标器件的性能系数均对应一个性能状态，且性能状态包括正常性能状态和异常性能状态；
将集合A中被标定为正常性能状态的各目标器件进行免处理剔除操作，即将被标定为正常性能状态的各目标器件从集合A中剔除，并不做任何处理；
将集合A中被标定为异常性能状态的各目标器件以及集合B中被标定为正常性能状态的各目标器件执行修复处理，即对其进行修补或涂覆处理；
将集合B中被标定为异常性能状态的各目标器件执行重制处理，即对整个器件进行重制操作；
将集合C中各目标器件执行报废处理，即报废返厂进行熔断。
本发明的有益效果：
本发明，通过对待检测的目标器件的基础数据信息进行监测，采用数据模型计算和数据库比对分析的方式，由此明确待检测器件的属性状态类型，又通过对待检测的目标器件所处环境的检测环境参数信息进行监测，又对待检测器件所处检测环境状态进行了明确，并以此为依据，利用并集运算整合、数据赋值标定和分类规整的方式，从而实现了对器件表面的缺陷程度状态的准确分析，并为保证电子器件的质量奠定了基础；
以对各器件的表面缺陷的综合判定以及分类规整的器件的各类型集合为依据，并对归类后的各类型器件的缺陷进行预处理操作，并通过分析器件的性能状态，来综合选择合适的预处理操作，从而在实现对器件表面缺陷准确检测的同时，也做到了对不同程度缺陷的器件执行不同方式的预处理，以保证电子器件的制造精度，有效降低生产成本和风险，以及极大的保证了器件生产线的效率和质量。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明的系统框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为一种基于深度学习的器件表面缺陷检测系统，包括：数据采集单元、云数据库、待检器件预分析单元、检测环境分析单元、器件缺陷检测单元、器件缺陷预处理单元和显示终端。
数据采集单元用于采集目标器件的基础数据信息、检测环境参数信息、缺陷参数信息、电性性能信息，并将各类型数据信息均发送至云数据库中进行暂存。
云数据库还用于存储形状复杂程度数据表，存储器件属性类型对照表，存储环境状态判定表，存储缺陷状态等级判定表，存储性能状态判定表。
待检器件预分析单元用于对待检测的目标器的基础数据信息进行监测，由此对待检测的属性状态进行分析，具体过程如下：
通过智能摄像获取待检测的目标器件的轮廓图像，并从轮廓图像中识别到待检测的目标器件的轮廓形状，将待检测的目标器件的轮廓形状与存储在云数据库中的形状复杂程度数据表进行对照匹配分析，由此得到待检测的目标器件的形状复杂值，并将其记作fzl，且每个待检测的目标器件的轮廓形状均有一个形状复杂值与之对应；
实时获取待检测的目标器件的基础数据信息中的器表尺寸和形状复杂值，并将两项基础数据进行计算分析，依据设定的数据模型：bsx＝δ1×dts+δ2×fzl，由此得到待检测的目标器件的基础特征系数bsx，其中，dts表示为器表尺寸，δ1、δ2分别为器表尺寸和形状复杂值的归一因子，且δ1、δ2均为大于0的自然数，而归一因子用于表示将数据模型中的器表尺寸和形状复杂值转化为无量纲形式的系数；
需要说明的是，器表尺寸值指的目标器件的表面的总尺寸大小，一般用面积值来表示；
将待检测的目标器件的基础特征系数与存储在云数据库中的器件属性类型对照表进行对照匹配分析，由此得到待检测的目标器件的属性类型，且得到的每个目标器件的基础特征系数均对应一个属性类型，且属性类型包括一级属性、二级属性、三级属性；
需要解释说明的是，被标定为一级属性的目标器件的基础结构较为复杂，且对其表面缺陷检测的难度最大，被标定为二级属性的目标器件的基础结构为一般复杂，且对其表面缺陷检测的难度第二大，被标定为三级属性的目标器件的基础结构最为简单，且对其表面缺陷检测的难度相较于其他属性类型的器件来说是最小的。
检测环境分析单元用于对待检测的目标器件所处环境的检测环境参数信息进行监测，由此对待检测的目标器件所处环境的检测环境状态进行分析，具体分析过程如下：
实时监测待检测的目标器件所处环境的检测环境参数信息中的光照度、温变值、湿变值和电磁干扰量值，并将其分别标定为gzd、wbl、sbl和crl，并将四项数据进行计算分析，依据设定的数据模型：由此得到待检测的目标器件的实测环境系数mec，其中，k为反比例系数，λ1、λ2、λ3和λ4分别光照度、温变值、湿变值和电磁干扰量值的权重因子系数，且k、λ1、λ2、λ3和λ4均为大于0的自然数，而权重因子系数用于均衡各项数据在公式计算中的占比权重，从而促进计算结果的准确性；
需要说明的是，温变值指的是目标器件所处环境的温度变化值，当待检测的目标器件所处环境的温度变化较大时，可能会影响器件表面的形态和性质，进而影响缺陷的检测，湿变值指的是目标器件所处环境的湿度变化值，当待检测的目标器件所处环境的湿度变化较大时，可能会影响器件表面的电性能，进而影响缺陷的检测，电磁干扰量值指的是目标器件所处环境的存在的电磁干扰数据群大小的数据量值；
将待检测的目标器件的实测环境系数与存储在云数据库中的环境状态判定表进行对照匹配分析，由此得到待检测的目标器件所处环境的环境状态等级，且每个目标器件的实测环境系数均对应一个环境状态等级，且环境状态等级包括优环境状态等级、合格环境状态等级、不合格环境状态等级。
器件缺陷检测单元，用于对目标器件表面的缺陷参数信息进行监测，由此对目标器件表面的缺陷状态进行分析，具体分析过程如下：
将同一待检测的目标器件的环境状态等级和属性类型进行数据综合分析，具体分析过程如下：
依据待检测的目标器件的环境状态等级建立集合W，将优环境状态等级标定为元素a1，将合格环境状态等级标定为元素a2，将不合格环境状态等级标定为元素a3，且元素a1∈集合W，元素a2∈集合W，元素a3∈集合W；
依据待检测的目标器件的属性类型建立集合V，将三级属性标定为元素b1，将二级属性标定为元素b2，将一级属性标定为元素b3，且元素b1∈集合V，元素b2∈集合V，元素b3∈集合V；
将集合W与V进行并集处理，若W∪V＝{a1，b1}时，则生成综合优级待检信号，若W∪V＝{a1，b2}或{a2，b1}或{a2，b2}时，则均生成综合中上级待检信号，若W∪V＝{a1，b3}或{a3，b1}时，则均生成综合中下级待检信号，若W∪V＝{a3，b3}或{a3，b2}或{a2，b3}时，则均生成综合次级待检信号；
并将得到的各等级综合待检信号进行数据赋值标定，具体的：
将综合优级待检信号赋值标定为ω1单位基量，将综合中上级待检信号赋值标定为ω2单位基量，将综合中上级待检信号赋值标定为ω3单位基量，将综合次级待检信号ω4单位基量，其中，ω1＜ω2＜ω3＜ω4，且ω1、ω2、ω3和ω4的具体数据的设定由本领域技术人员在具体案例中进行具体设置；
由此得到待检测的目标器件的综合待检基量系数，并将其记作bcqi，其中，i＝1，2，3，4，当i＝1时，bcq1表示为ω1单位基量，当i＝2时，bcq2表示为ω2单位基量，当i＝3时，bcq3表示为ω3单位基量，当i＝4时，bcq4表示为ω4单位基量；
实时监测目标器件表面的缺陷参数信息中的裂纹量、划痕量、污点量、凹坑量和腐锈量，并将其分别标定为lw、lh、ld、la和sfx，并将各项数据进行综合分析，依据设定的数据模型：dfc＝(1-bcqi)×[ρ1×(lw+lh+ld)+ρ2×(la+sfx)]，由此得到目标器件表面的缺陷系数dfc，其中，ρ1和ρ2为转化因子系数，且ρ1和ρ2均为大于0的自然数，且转化因子系数用于将数量单位和面积单位的数据参数的物理量转换成同一物理量的数据系数；
需要说明的是，裂纹量指的是器件表面存在的裂纹数量多少的数据量，划痕量指的是器件表面存在的划痕数量多少的数据量，污点量指的是器件表面存在的污染点数量多少的数据量，且污染点包括油污污染点、灰尘污染点，凹坑量指的是器件表面存在的凹坑数量多少的数据量，腐锈量指的是器件表面存在的腐蚀、氧化生锈的面积大小的数据量；
还需指出的是，裂纹量、划痕量、污点量、凹坑量和腐锈量的获取均可以通过高清摄像头采集，并利用深度学习技术进行特征提取和分析，且深度学习主要指的是使用神经网络模型来进行表面缺陷的检测和识别，深度学习是一种机器学习的分支，它利用多层神经网络模型来模拟人类的神经系统，从而实现对数据的学习和处理。在器件表面缺陷检测系统中，通过对大量的器件表面图像进行学习和训练，来提高对表面缺陷的检测和识别能力，一般来说，深度学习的过程包括以：数据准备、模型构建、模型训练、模型评估、模型应用；
将目标器件表面的缺陷系数与存储在云数据库中的缺陷状态等级判定表进行对照匹配分析，由此得到目标器件表面的缺陷等级，且每个目标器件表面的缺陷系数均对应一个缺陷等级，且缺陷等级包括轻度缺陷等级、中度缺陷等级、重度缺陷等级；
将被标定为同一缺陷等级的各目标器件归入同一集合中，具体的：将被标定为轻度缺陷等级的各目标器件归入集合A中，将被标定为中度缺陷等级的各目标器件归入集合B中，将被标定为重度缺陷等级的各目标器件归入集合C中，由此得到集合A、集合B、集合C。
器件缺陷预处理单元，用于对集合A、集合B、集合C中的各目标器件缺陷预处理，具体处理过程如下：
实时获取集合A、集合B中的各目标器件的电性性能信息中的电压值、电流值、电阻值和电导值，并将其分别标定为mujh、mcjh、mrjh和mdjh，并将各项数据进行综合分析，依据设定的数据模型：cxpjh＝γ1×mujh+γ2×mcjh+γ3×mrjh+γ4×mdjh由此得到集合A或集合B中各目标器件的性能系数cxpjh，其中，j＝{1，2}，h为大于0的正整数，其中，j＝1表示为集合A，j＝2表示为集合B；
还需举例说明的是：若得到目标器件的性能系数为cxp12，则表示为集合A中第2个目标器件的性能系数；
将集合A、集合B中各目标器件的性能系数与存储在云数据库中的性能状态判定表进行对照匹配分析，由此得到对应目标器件的性能状态，且每个目标器件的性能系数均对应一个性能状态，且性能状态包括正常性能状态和异常性能状态；
将集合A中被标定为正常性能状态的各目标器件进行免处理剔除操作，即将被标定为正常性能状态的各目标器件从集合A中剔除，并不做任何处理；
将集合A中被标定为异常性能状态的各目标器件以及集合B中被标定为正常性能状态的各目标器件执行修复处理，即对其进行修补或涂覆处理；
将集合B中被标定为异常性能状态的各目标器件执行重制处理，即对整个器件进行重制操作；
将集合C中各目标器件执行报废处理，即报废返厂进行熔断；
并在完成缺陷预处理后通过显示终端进行显示说明。
本发明在使用时，通过对待检测的目标器件的基础数据信息进行监测，采用数据模型计算和数据库比对分析的方式，由此明确待检测器件的属性状态类型，又通过对待检测的目标器件所处环境的检测环境参数信息进行监测，又对待检测器件所处检测环境状态进行了明确，并以此为依据，利用并集运算整合、数据赋值标定和分类规整的方式，从而实现了对器件表面的缺陷程度状态的准确分析，并为保证电子器件的质量奠定了基础；
以对各器件的表面缺陷的综合判定以及分类规整的器件的各类型集合为依据，并对归类后的各类型器件的缺陷进行预处理操作，并通过分析器件的性能状态，来综合选择合适的预处理操作，从而在实现对器件表面缺陷准确检测的同时，也做到了对不同程度缺陷的器件执行不同方式的预处理，以保证电子器件的制造精度，以及极大的保证了器件生产线的效率和质量。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (3)

1.一种基于深度学习的器件表面缺陷检测系统，其特征在于，包括：
数据采集单元，用于采集目标器件的基础数据信息、检测环境参数信息、缺陷参数信息、电性性能信息，并将各类型数据信息均发送至云数据库中进行暂存；
云数据库，还用于存储形状复杂程度数据表，存储器件属性类型对照表，存储环境状态判定表，存储缺陷状态等级判定表，存储性能状态判定表；
待检器件预分析单元，用于对待检测的目标器件的基础数据信息进行监测，由此对待检测目标器件的属性状态进行分析，其具体过程如下：
通过智能摄像获取待检测的目标器件的轮廓图像，并从轮廓图像中识别到待检测的目标器件的轮廓形状，将待检测的目标器件的轮廓形状与存储在云数据库中的形状复杂程度数据表进行对照匹配分析，由此得到待检测的目标器件的形状复杂值，且每个待检测的目标器件的轮廓形状均有一个形状复杂值与之对应；
实时获取待检测的目标器件的基础数据信息中的器表尺寸和形状复杂值，并将两项基础数据进行计算分析，由此得到待检测的目标器件的基础特征系数；
将待检测的目标器件的基础特征系数与存储在云数据库中的器件属性类型对照表进行对照匹配分析，由此得到待检测的目标器件的属性类型，且得到的每个目标器件的基础特征系数均对应一个属性类型，且属性类型包括一级属性、二级属性、三级属性；
检测环境分析单元，用于对待检测的目标器件所处环境的检测环境参数信息进行监测，由此对待检测的目标器件所处检测环境状态进行分析，其具体分析过程如下：
实时监测待检测的目标器件所处环境的检测环境参数信息中的光照度、温变值、湿变值和电磁干扰量值，并将四项数据进行计算分析，由此得到待检测的目标器件的实测环境系数；
将待检测的目标器件的实测环境系数与存储在云数据库中的环境状态判定表进行对照匹配分析，由此得到待检测的目标器件所处环境的环境状态等级，且每个目标器件的实测环境系数均对应一个环境状态等级，且环境状态等级包括优环境状态等级、合格环境状态等级、不合格环境状态等级；
器件缺陷检测单元，用于对目标器件表面的缺陷参数信息进行监测，由此对目标器件表面的缺陷状态进行分析，其具体分析过程如下：
将同一待检测的目标器件的环境状态等级和属性类型进行数据综合分析，由此得到综合优级待检信号、综合中上级待检信号、综合中上级待检信号和综合次级待检信号，并由此将得到的各等级综合待检信号进行数据赋值标定，具体的：
将综合优级待检信号赋值标定为ω1单位基量，将综合中上级待检信号赋值标定为ω2单位基量，将综合中上级待检信号赋值标定为ω3单位基量，将综合次级待检信号ω4单位基量，其中，ω1＜ω2＜ω3＜ω4；
由此得到待检测的目标器件的综合待检基量系数，并将其记作bcqi；
实时监测目标器件表面的缺陷参数信息中的裂纹量、划痕量、污点量、凹坑量和腐锈量，并将其分别标定为lw、lh、ld、la和sfx，并将各项数据进行综合分析，依据设定的数据模型：dfc＝(1-bcqi)×[ρ1×(lw+lh+ld)+ρ2×(la+sfx)]，由此得到目标器件表面的缺陷系数dfc，其中，ρ1和ρ2为转化因子系数，且ρ1和ρ2均为大于0的自然数；
将目标器件表面的缺陷系数与存储在云数据库中的缺陷状态等级判定表进行对照匹配分析，由此得到目标器件表面的缺陷等级，且每个目标器件表面的缺陷系数均对应一个缺陷等级，且缺陷等级包括轻度缺陷等级、中度缺陷等级、重度缺陷等级；
将被标定为同一缺陷等级的各目标器件归入同一集合中，具体的：将被标定为轻度缺陷等级的各目标器件归入集合A中，将被标定为中度缺陷等级的各目标器件归入集合B中，将被标定为重度缺陷等级的各目标器件归入集合C中，由此得到集合A、集合B、集合C；
由此得到各目标器件的各类型归类集合，依次为集合A、集合B、集合C；
器件缺陷预处理单元，用于对集合A、集合B、集合C中的各目标器件缺陷预处理，并在完成缺陷预处理后通过显示终端进行显示说明。
2.根据权利要求1所述的一种基于深度学习的器件表面缺陷检测系统，其特征在于，所述数据综合分析，其具体分析过程如下：
依据待检测的目标器件的环境状态等级建立集合W，将优环境状态等级标定为元素a1，将合格环境状态等级标定为元素a2，将不合格环境状态等级标定为元素a3，且元素a1∈集合W，元素a2∈集合W，元素a3∈集合W；
依据待检测的目标器件的属性类型建立集合V，将三级属性标定为元素b1，将二级属性标定为元素b2，将一级属性标定为元素b3，且元素b1∈集合V，元素b2∈集合V，元素b3∈集合V；
将集合W与V进行并集处理，若W∪V＝{a1，b1}时，则生成综合优级待检信号，若W∪V＝{a1，b2}或{a2，b1}或{a2，b2}时，则均生成综合中上级待检信号，若W∪V＝{a1，b3}或{a3，b1}时，则均生成综合中下级待检信号，若W∪V＝{a3，b3}或{a3，b2}或{a2，b3}时，则均生成综合次级待检信号。
3.根据权利要求1所述的一种基于深度学习的器件表面缺陷检测系统，其特征在于，所述对集合A、集合B、集合C中的各目标器件缺陷预处理，其具体处理过程如下：
实时获取集合A、集合B中的各目标器件的电性性能信息中的电压值、电流值、电阻值和电导值，并将各项数据进行综合分析，由此得到集合A或集合B中各目标器件的性能系数；
将集合A、集合B中各目标器件的性能系数与存储在云数据库中的性能状态判定表进行对照匹配分析，由此得到对应目标器件的性能状态，且每个目标器件的性能系数均对应一个性能状态，且性能状态包括正常性能状态和异常性能状态；
将集合A中被标定为正常性能状态的各目标器件进行免处理剔除操作；
将集合A中被标定为异常性能状态的各目标器件以及集合B中被标定为正常性能状态的各目标器件执行修复处理；
将集合B中被标定为异常性能状态的各目标器件执行重制处理；
将集合C中各目标器件执行报废处理。
CN202310728612.1A 2023-06-20 2023-06-20 一种基于深度学习的器件表面缺陷检测系统 Active CN116881530B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310728612.1A CN116881530B (zh) 2023-06-20 2023-06-20 一种基于深度学习的器件表面缺陷检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310728612.1A CN116881530B (zh) 2023-06-20 2023-06-20 一种基于深度学习的器件表面缺陷检测系统

Publications (2)

Publication Number Publication Date
CN116881530A CN116881530A (zh) 2023-10-13
CN116881530B true CN116881530B (zh) 2024-02-02

Family

ID=88259564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310728612.1A Active CN116881530B (zh) 2023-06-20 2023-06-20 一种基于深度学习的器件表面缺陷检测系统

Country Status (1)

Country Link
CN (1) CN116881530B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351006B (zh) * 2023-12-04 2024-02-02 深圳玖逸行新能源汽车技术有限公司 一种基于深度学习的汽车钣金件表面缺陷检测方法及系统
CN118278653A (zh) * 2024-03-08 2024-07-02 易唯思智能自动化装备无锡有限公司 一种基于视觉机器人的设备缺陷检测系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60207004A (ja) * 1984-03-31 1985-10-18 Toshiba Corp 表面欠陥検査装置
KR20070113032A (ko) * 2006-05-24 2007-11-28 주식회사 포스코 표면결함정보를 이용한 강판 표면품질등급 판정방법
KR20190024447A (ko) * 2017-08-31 2019-03-08 투아이시스(주) 실시간 선로 결함 검측 시스템
CN111242945A (zh) * 2020-02-17 2020-06-05 朱杰虹 一种基于大数据的管道缺陷检测系统
CN112598651A (zh) * 2020-12-24 2021-04-02 武汉吉电科技有限公司 一种智能机器人加工生产检测系统
CN113112098A (zh) * 2021-05-12 2021-07-13 上海野戈智能科技发展有限公司 建筑物缺陷的检测方法及装置
CN115314406A (zh) * 2022-07-26 2022-11-08 国网江苏省电力有限公司淮安供电分公司 一种基于图像分析的输电线路的智能缺陷检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60207004A (ja) * 1984-03-31 1985-10-18 Toshiba Corp 表面欠陥検査装置
KR20070113032A (ko) * 2006-05-24 2007-11-28 주식회사 포스코 표면결함정보를 이용한 강판 표면품질등급 판정방법
KR20190024447A (ko) * 2017-08-31 2019-03-08 투아이시스(주) 실시간 선로 결함 검측 시스템
CN111242945A (zh) * 2020-02-17 2020-06-05 朱杰虹 一种基于大数据的管道缺陷检测系统
CN112598651A (zh) * 2020-12-24 2021-04-02 武汉吉电科技有限公司 一种智能机器人加工生产检测系统
CN113112098A (zh) * 2021-05-12 2021-07-13 上海野戈智能科技发展有限公司 建筑物缺陷的检测方法及装置
CN115314406A (zh) * 2022-07-26 2022-11-08 国网江苏省电力有限公司淮安供电分公司 一种基于图像分析的输电线路的智能缺陷检测方法

Also Published As

Publication number Publication date
CN116881530A (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN116881530B (zh) 一种基于深度学习的器件表面缺陷检测系统
CN106055918B (zh) 一种电力系统负荷数据的辨识及修正方法
CN111950918B (zh) 一种基于电力交易数据的市场风险评估方法
CN108428231B (zh) 一种基于随机森林的多参数零件表面粗糙度学习方法
CN110555596B (zh) 一种基于配电物资质量评价的抽检策略制定方法及系统
KR20190075707A (ko) 딥러닝을 이용한 양품 선별 방법
CN106547265B (zh) 一种轨道交通电子控制装置的现场可靠性评估方法及系统
CN105335692A (zh) 一种轮胎x光图像检测识别方法及系统
CN113838054B (zh) 基于人工智能的机械零件表面损伤检测方法
CN111242123A (zh) 一种基于红外图像的电力设备故障诊断方法
WO2016183921A1 (zh) 珍珠分级方法
CN109034483B (zh) 一种基于质量功能配置的检测规划方法
CN112611754B (zh) 一种清水混凝土外观质量评价方法
CN110568082A (zh) 一种基于声发射信号的缆索断丝的判别方法
CN117890214B (zh) 一种基于机器视觉的铝模板质检检测方法
CN116952155A (zh) 一种电子五金件加工用视觉检测方法
CN109406898A (zh) 一种融合多特征量综合评估油纸绝缘老化程度的方法
CN117741090B (zh) 一种变速箱精密铸件质量缺陷检测方法
CN118212209A (zh) 一种基于智能轮廓扫描粉末喷涂检测系统
CN117783128B (zh) 一种建筑用索体检测系统
CN118211882A (zh) 一种基于大数据的产品质量管理系统及方法
CN110687120A (zh) 法兰外观质量检测系统
Armingol et al. Statistical pattern modeling in vision-based quality control systems
Baker Signal detection theory analysis of quality control inspector performance
CN117217476B (zh) 一种产线测试资源自动化配置方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant