CN116843615B - 一种基于柔性光路的引线框架智能全检方法 - Google Patents

一种基于柔性光路的引线框架智能全检方法 Download PDF

Info

Publication number
CN116843615B
CN116843615B CN202310549612.5A CN202310549612A CN116843615B CN 116843615 B CN116843615 B CN 116843615B CN 202310549612 A CN202310549612 A CN 202310549612A CN 116843615 B CN116843615 B CN 116843615B
Authority
CN
China
Prior art keywords
defect
area
image
defects
lead frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310549612.5A
Other languages
English (en)
Other versions
CN116843615A (zh
Inventor
邓万宇
熊键贤
王辰明
尚鑫磊
蒋泽斌
李召洁
汪朝霞
梁嘉琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Posts and Telecommunications
Original Assignee
Xian University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Posts and Telecommunications filed Critical Xian University of Posts and Telecommunications
Priority to CN202310549612.5A priority Critical patent/CN116843615B/zh
Publication of CN116843615A publication Critical patent/CN116843615A/zh
Application granted granted Critical
Publication of CN116843615B publication Critical patent/CN116843615B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8874—Taking dimensions of defect into account
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computational Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明属于机器视觉技术领域，涉及一种基于柔性光路的引线框架智能全检方法及系统。该方法，集成了柔性光路复合的自适应纹理干扰消除技术、多源协作缺陷检测模型及其全程加速技术、非显著缺陷分类精准辨识及其演进学习和智能化人机协作检测区域编程技术，对烧焦、银黄、漏银、背漏、缺银、划伤、氧化、连脚、蚀崩、脏污、扭曲和测量性缺陷实现全检测，通过模糊逻辑一级分类和神经网络二级分类的方法，在保证准确率的前提下不断提高分类精度，具有检测能力强，检测范围广，检测精度高，检测效率快等优点。

Description

一种基于柔性光路的引线框架智能全检方法
技术领域
本发明属于机器视觉技术领域，涉及工业缺陷检测，具体涉及一种基于柔性光路的引线框架智能全检方法。
背景技术
引线框架作为集成电路的芯片载体，是一种借助于键合材料(金丝、铝丝、铜丝)实现芯片内部电路引出端与外引线的电气连接，形成电气回路的关键结构件，它起到了和外部导线连接的桥梁作用，绝大部分的半导体集成块中都需要使用引线框架，是电子信息产业中重要的基础材料。
引线框架的质量对芯片的封装强度、电气性能、使用寿命具有重要影响。引线框的生产流程较长，涉及曝光、显影、蚀刻、电镀多个环节和工艺，这使得干扰因素大大增多，例如由于机械因素(机械振动)、材料因素(背景纹理差异、厚差造成的位置漂移、板形不良、材料反光特性不一致)、电气因素(现场电磁干扰、非均匀光源、光照变化、陷入光源热点效应区)、外界因素(环境光、车间强光)等干扰，导致图像的背景和前景差异化不明显，成像效果差。引线框架是一种较为精密的金属类产品，测量尺度一般在微米级别，存在难以避免的金属纹理，这使得缺陷具有粒度细小、干扰难辨的特点，导致分割困难。
目前缺陷检测设备的检测方式核心大多集中在检测算法上，而不够重视成像阶段的干扰因素，同时多采用基于模板匹配的检测方法，即先定位匹配，再利用ROI和形态学图像处理方法生成检测区域模板，最后根据阈值筛选出良品与不良品。虽然这种方式可以覆盖大部分缺陷，但是容易受图像对比度以及形态学参数大小的影响，模板检测区域过大容易误检(把良品检测成不良品)；过小则会造成漏检(把不良品检测为良品)，特别是结构边界区域微小的缺陷。通常，设备的模型算法在出厂时已经固定，由于出厂模型是在有限样本基础上训练的结果，无法覆盖后续使用中遇到的缺陷新类别、新特征的增减变化，算法容易止步不前、缺乏增量学习能力。
发明内容
本发明的目的在于克服上述现有技术的缺点，提供一种基于柔性光路的引线框架智能全检方法，具备无漏检、预测性能强、计算复杂度低、能够并行实现、可快速更新、检测与分类结果可靠等优势。
为实现上述目的，本发明提供了如下技术方案：
这种基于柔性光路的引线框架智能全检方法，具体包括以下步骤：
S1、采集引线框架的原始图像，并将获取到的原始图像数据传输到工控机中；
S2、构建当前引线框架的模板图像并存储，分割所述模板图像中的铜材区域、镀银区域、镂空区域，完成检测缺陷的准备；
S3、先对获取到的原始图像进行非均匀校正处理，在所述模板图像的辅助下进行缺陷检测；再对检测到的缺陷进行分割并提取；最后将铜材区域、镀银区域、镂空区域对应的缺陷进行合并，完成前置分类；
S4、根据缺陷属性和缺陷特征，对待分类缺陷进行特征分析，通过混合多分类器模型，对所述待分类缺陷的信息进行置信度计算和危害性评价，完成缺陷的分类识别；再使用演进式的增量更新方法，更新混合多分类器模型。
进一步，所述S1中原始图像通过柔性光路复合和分时多场的图像采集方法采集得到，具体为：
S1.1、部署多台不同角度的工业相机，每台所述工业相机搭配一个光源，利用多个所述光源采集引线框架正面与反面的不同角度垂直角度、低角度、高角度以及混合角度的多张对齐的原始图像；其中，所述不同角度包括垂直角度、低角度(大于0°且小于或等于45°)、高角度(大于45°且小于或等于90°)和混合角度；
S1.2、利用自适应纹理干扰消除处理方法对S1.1中的原始图像进行一致化处理：即利用不同的光源交叉组合，发出多种角度不同、强度不同、颜色不同、光谱不一的光线，对不同类型、不同深浅、不同粗糙度、不同颜色的缺陷进行凸显；再对铜材区域、镀银区域、镂空区域的不同材质表面进行成像效果优化、搜索，获得与对应材质最匹配的成像光路，消除原始图像的非均匀性，使得原始图像背景均匀，缺陷目标更加明显，综合正面校准图像和散射光强度，获得最优成像。
进一步，所述S2中采用智能化人机协作检测区域的编程方法构建当前引线框架的模板图像，具体包括：
S2.1、先对分割的铜材区域、镀银区域、镂空区域的结果进行人工微调和确认；
S2.2、指定检测目标时需要置为背景的区域，指定图像角度矫正和对齐参考区域，指定四面边界搜索区域，根据镀银误差要求指定银位浮动范围。
进一步，所述S3中对原始图像进行缺陷检测的具体过程如下：
对于划痕缺陷，设置多台工业相机以混合角度进行配合，以检出直观明显的划痕；
对于料纹背景影响，设置多台工业相机搭配亮度不同的光源，以消除料纹背景对检测算法的影响；
对于色差类的缺陷，通过不同类型的光源发出不同颜色的光线，以加大缺陷和背景之间的颜色差异，有利于分割缺陷。
进一步，所述S3中缺陷检测采用GPU加速处理方法。
进一步，所述S3中对检测到的缺陷进行分割的具体过程如下：
对于图像中的非显著性缺陷的极限精度，使用自适应熵阈值法进行分割以避免过检；
对于图像中的背景纹理变化进行灰度波动量化，并设定灰度基准，使用自适应双阈值法进行分割，其中，可通过技术或参数调整来适应分割要求；
对于图像中的背景波动进行均值计算，使用自适应双阈值分割方法，能够适应图像背景在指定范围内波动；
对于图像中的异常缺陷，使用固定阈值方法过滤异常数据。
进一步，所述S4中对缺陷特征进行分析具体包括：
S4.1、结合分割区域的色阶分布分别计算缺陷中每个像素属于铜材区域、镀银区域、镂空区域的概率，根据所述概率值计算所有像素的平均概率，作为缺陷的区域隶属特征；采用三通道分离的16色阶直方图构建色彩特征，以降低特征噪音和特征维度；选取与方向无关的形状特征；
S4.2、对所述区域隶属特征、色彩特征、形状特征进行特征变换。
进一步，所述S4中混合多分类器模型，结合缺陷位置、色彩分布、形状尺寸、Hu特征矩，从一级分类和二级分类的角度，分别基于模糊逻辑和浅层神经网络训练方法来构建缺陷分类模型。
进一步，所述S4中的增量更新方法，具体为：通过对比加入增量样本后隐藏矩阵广义逆和原隐藏矩阵广义逆的关系，将新矩阵的逆表示为旧矩阵逆和增量部分矩阵逆的计算形式，从而建立复杂度仅与增量样本规模有关的极限学习机增量更新方法，所求的解能够保持全局最优。
与现有技术相比，本发明提供的技术方案包括以下有益效果：
1)该智能全检方法，通过柔性光路复合和分时多场的图像采集方法采集引线框架正面与反面的垂直角度、低角度、高角度以及混合角度的多张对齐图像，并采用主从节点结构，使多台机器(即从节点)同时完成缺陷检测及前置分类，再把缺陷数据传输到主节点，通过对缺陷进行分割、特征提取并分组、完成特征变换，最后使用混合多分类器进行融合决策，得到缺陷的位置和类别，并进行可视化展示。
2)该智能全检方法将缺陷算法分为两种情况：第一种缺陷是通过传统特征技术分析手段大致可以对其类别属性进行判断；剩下部分缺陷由于难以通过传统模式分析手段对其类型进行分类或预测，则引入更多特征并采用非线性复杂分类模型进行辨识的缺陷。上述两种情况分别使用了模糊逻辑识别方法和神经网络预测方法，故本发明所涉的智能全检算法能够精确检测出烧焦、银黄、漏银、背漏、缺银、划伤、氧化、连脚、蚀崩、脏污、扭曲和测量性缺陷，具有检测能力强、检测精度高，检测效率快的优点。
3)该智能全检方法，能够将图像的背景均匀化和缺陷目标明显化，使缺陷提取算法更易于实现，能够达到很好的成像稳定性；通过多线程并行实现组合分割方法，能够有针对性地分割定位显著性缺陷与非显著性缺陷，其中还包括非均匀性灰度变化程度的缺陷，能够将其控制在理想的范围内，得到较好的缺陷分割效果；通过对比加入增量样本后隐藏矩阵广义逆和原隐藏矩阵广义逆之间的关系，可建立复杂度仅与增量样本规模有关的极限学习机增量更新方法，使混合多分类器模型具有后续演进学习的能力，获得越来越好的缺陷分类结果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于柔性光路的引线框架智能全检方法的流程图；
图2为本发明实施例1提供的基于柔性光路的引线框架智能全检方法的实现流程图；
图3为本发明实施例1提供的应用基于柔性光路的引线框架智能全检方法的系统的层次框架图；
图4为本发明实施例1提供的应用基于柔性光路的引线框架智能全检方法的系统的软件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与所附权利要求书中所详述的、本发明的一些方面相一致的方法的例子。
为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图及实施例对本发明作进一步详细描述。
实施例1
本实施例提供了一种柔性光路复合的引线框架智能全检方法，参见图1，具体包括以下步骤：
S1、通过柔性光路复合和分时多场的图像采集方法，使用多部不同角度的工业相机搭配光源，各个光源交替发亮或同时发亮，基于GPU的软拆分采集引线框架正面与反面的垂直角度、低角度、高角度以及混合角度的多张对齐图像，再将采集到的原始图像数据传输到工控机中；
其中，所述图像采集方法使用柔性光路复合的自适应纹理干扰消除处理方法对原始数据进行一致化处理，通过不同的光源交叉组合，发出多种角度不同、强度不同、颜色不同、光谱不一的光线，对不同类型、不同深浅、不同粗糙度、不同颜色的缺陷进行凸显；再对铜材区域、镀银区域、镂空区域的不同材质表面进行成像效果进行优化、搜索，获得与对应材质最匹配的成像光路，消除原始图像的非均匀性，使得原始图像背景均匀，缺陷目标更加明显，综合正面校准图像和散射光强度，获得最优成像。
S2、通过人机协同的方式构建出当前检测目标的模板图像并存储，精确分割出所述模板图像中的铜材区域、镀银区域、镂空区域等部分，完成检测缺陷的准备；
所述人机协同方式使用了一种智能化人机协作检测区域编程方法，具体包括如下操作：
S2.1、对自动分割的铜材区域、镀银区域、镂空区域的结果进行人工微调和确认；
S2.2、根据镀银误差要求精确指定银位浮动范围，即在浮动范围内的银位高低都不视为缺陷；指定检测目标时需要置为背景的区域，目的是减少一定的干扰；指定图像角度矫正和对齐参考区域；指定四面边界搜索区域。
S3、对原始图像进行缺陷检测的具体过程如下：先对获取到的原始图像经过非均匀校正之后，在所述模板图像的辅助下进行缺陷检测；其次，通过腐蚀、膨胀等规范化处理，再对检测到的缺陷进行分割并提取；最后，将铜材区域、镀银区域、镂空区域等区域的缺陷进行合并，完成前置分类；
所述缺陷检测使用了一种GPU全程加速处理方法，包括：分时数据拆解重组、色阶分布立方体构建，多图协作分割、缺陷图融合、连通域分析与过滤以及缺陷定位信息(像素位置、尺寸及所在芯片单元)生成，该处理方法破除了内存-显存通信效率的带宽瓶颈，获得最优的综合加速比；
所述缺陷分割使用了一种变背景低对比度缺陷分割技术，具体包括如下操作：
对于图像中非显著性缺陷的极限精度，使用自适应熵阈值分割方法以避免过检；
对于图像中的背景纹理变化进行灰度波动量化，并设定灰度基准，使用自适应双阈值法进行分割，其中，可自动通过技术或参数调整来适应分割要求；
对于图像中的背景波动进行均值计算，使用自适应双阈值分割方法，能够适应图像背景在一定范围内波动；
对于图像中的异常缺陷图，使用固定阈值方法过滤异常数据，并为系统提供警示。
S4、根据缺陷属性和缺陷特征，对待分类缺陷进行特征分析，通过混合多分类器模型，对所述待分类缺陷的信息进行置信度计算和危害性评价，完成缺陷的分类识别；再使用演进式的增量更新方法，更新混合多分类器模型；
其中，对缺陷特征进行分析具体包括：
S4.1、结合分割区域的色阶分布分别计算缺陷中每个像素属于铜材区域、镀银区域、镂空区域的概率，根据所述概率值计算所有像素的平均概率，作为缺陷的区域隶属特征；采用三通道分离的16色阶直方图构建色彩特征，以降低特征噪音和特征维度；选取与方向无关的形状特征；
S4.2、对所述区域隶属特征、色彩特征、形状特征进行特征变换。
具体地，所述S4中混合多分类器模型，结合缺陷位置、色彩分布、形状尺寸、Hu特征矩，从一级分类和二级分类的角度，分别基于模糊逻辑和浅层神经网络训练方法来构建缺陷分类模型。
本发明提供的这种柔性光路的引线框架智能全检方法的流程，结合附图2所示，将缺陷分为两大类：第一大类缺陷具有较为明确的判断规则和显著的类别归属特征，可依据模糊逻辑隶属关系进行推理判定的缺陷；第二大类缺陷不易辨识，需要引入更多特征并采用非线性复杂分类模型即神经网络进行辨识的缺陷。整体技术方案的识别过程主要按照复杂度由低到高的顺序进行，只有置信度低的缺陷进入二级分类。
具体地讲，模糊逻辑识别方法在人工确认的准确分割基础上，分别构建铜材区域、镀银区域、镂空区域三种区域的色彩像素分布立方体；以缺陷像素值为下标，通过索引直取方式从分布立方体获得像素属于三种区域的概率，统计缺陷所有像素隶属概率的平均值作为缺陷隶属概率<Ptong,Pyin,Pkong>；以同样的方式获得对应背景图像的隶属概率<Ttong,Tyin,Tkong>；以90％为高置信度为判定阈值，结合确定性的规则知识判定缺陷的类别：
由于上述不确定的缺陷R4、S4是从一级分类的角度得出的，还需要从二级分类的角度、利用下述神经网络预测方法去识别，通过神经网络去判定这些缺陷是属于银黄、银渍、氧化、脏污、划伤中的哪一类别。
第二大类缺陷的神经网络预测方法：首先人工标注一批均衡的缺陷数据集；从缺陷图对应的二值图中提取缺陷的形态特征(包括紧密度、面积、圆度、周长等)，从缺陷图提取三通道独立16位色阶概率特征，并与隶属概率特征一起拼接，形成复合特征向量{X1，X2，…，Xi，…，Xm}，经过特征选择后变为{X1，X2，…，Xi，…，Xn}，交给极限学习机训练。该训练过程包含四步：
①人工指定单隐藏层前馈神经网络的隐含层节点数N；
②对隐含层输入权重与偏差进行随机赋值；
③计算隐含层输出矩阵；
④将神经网络训练转换为线性规划问题，通过广义逆计算获得隐含层输出权重。
当样本进入网络结构时，隐藏层参数开始随机初始化：
Hi(x)＝S(wiXi+bi) 式(1)
式(1)中，Hi(x)表示第i个隐藏层节点的输出，wi和bi表示隐藏层节点参数，并使用Sigmoid作为激活函数，记作S(x),其计算公式如下：
S(x)＝1/[1+exp(-x)] 式(2)
将输入数据映射到新的特征空间，确定隐藏层节点参数后，计算出隐藏层输出矩阵，然后求解输出层的权值β。为了使训练数据具有较好的效果，本发明采用均方差误差函数(RMSE)作为目标函数：
式(3)中，Yi表示预测标签，Ti表示样本标签，则目标函数的最小解就是最优解。在每次训练时，可以调整隐藏层节点个数，使得训练效果达到最佳，误差最小。
上述整个训练过程只需一次样本输入，无需迭代，学习速度快，且所求的解为全局最优解。针对再学习问题，通过比对加入增量样本后隐藏矩阵广义逆和原隐藏矩阵广义间的关系，将新矩阵的逆表示为旧矩阵逆和增量部分矩阵逆的计算形式，由此建立复杂度仅与增量样本规模有关的极限学习机增量更新方法，所求的解仍保持全局最优，判断规则如下：
实施例2
在实施例1的基础上，本实施例给出了一种应用基于柔性光路的引线框架智能全检方法的系统层次框架图，结合图3所示，具体包括：
机械运动层，所述机械运动层包括I/O模块、传感器、PLC控制器、上料机构、运动机构、下料机构和电气部分；所述电气部分由2台TDI多场线阵相机构成的多路信号采集系统组成。
视觉处理层，所述视觉处理层包括带有数据库的数据服务器、一个主节点服务器、两个从节点服务器和一个显示器，所述的显示器用于缺陷的呈现，在整个框架中属于上位机。
人工复判层，所述人工复判层由5台计算机组合而成。
该系统的工作过程具体如下：首先，由所述机械运动层通过正面相机和背面相机完成图像的采集，经过图像采集卡把原始图像传输到2个从节点服务器中；其次，由所述的视觉处理层通过2个从节点并行处理图像，完成缺陷检测及分类工作，再合并到主节点服务器中，并把相关数据存储到数据库中，同时上位机呈现缺陷结果；最后由所述的人工复判层对检测算法识别到的缺陷进行人工复判，进而完成整个流程。
进一步地，所述机械运动层与视觉处理层相互独立，即运动部分在无视觉部分情况下可以按照下位机的设置独立完成所有的上料、下料、计数等工作。所述视觉处理层的检测结果以I/O量的形式向运动部分下发，运动到位通过传感器信号向视觉部分上传，形成两部分的松耦合联动。
进一步地，所述系统设计依据参数主要包括：最大检测宽度、最高检测速度、来料厚度范围、系统像素分辨率、检测最小关注缺陷尺寸。检测宽度范围是指主体装备加工材料可能的最小和最大宽度。检测宽度并不等于最大料宽，而是大于实际最大料宽，因为被测对象在实际加工过程并不是一定在机组中心线位置，甚至有时偏离还较大。另外，被测对象两侧本身也需为自动寻料边留余量。
进一步地，所述系统的检测速度与被测对象的最高运动速度相对应，实际设计最高检测速度应略高于被测对象最高速度，以避免频率超限造成死机的情况发生。
进一步地，所述多路信号采集系统包括相机和光源，所述光源的设计亮度与最高运动速度、像元分辨率相一致并留有一定的余量，支持足够短的曝光时间。光源与相机有编码器信号(高精度成像需采用光栅尺)脉冲频率转换处理后同步触发，触发频率结合像元分辨率进行设置，避免图像畸变失真。
该智能全检系统，系统结构由五个部分组成，包括硬件环境、下位机运动、视觉算法处理、数据库系统和人机接口，根据功能可划分为：下位机运动控制软件、视觉检测与呈现软件、型号编程软件、缺陷复判软件。软件部署运行在下位工控机、高性能图像处理工作站阵列、缺陷存储与复判服务器三级平台上。其中，高性能图像处理工作站阵列采用主从结构，用于处理三个模块(一个主节点、两个从节点，结合图3所示，两个从节点分别接收正面相机、背面相机采集的图像，再经过数据服务器处理后汇总到主节点)，并以多线程方式在各个数据采集通道上并行执行，确保大规模原始图像的实时处理，并可根据主体设备幅宽的不同实现通道数自由配置。第一个模块主要完成图像数据传输和缓冲；第二个模块主要完成数据在线处理与存储；第三个模块主要完成存储数据操作与显示等。前两个模块运行在工作站阵列从节点，而第三个模块运行在主节点。这里分离在线数据处理与数据操作显示是为了提高系统稳定性，避免当操作失误或系统故障时出现数据丢失。
进一步地，结合图4所示，上述系统中的软件结构包括：
硬件环境，所述硬件环境包括PLC控制参数设置和图像采集；
下位机软件，所述下位机软件主要依据系统控制参数设置；
视觉算法与软件，所述视觉算法与软件包括数据缓冲、矫正对齐、缺陷检测、过滤统计、分类识别和分类模型训练与更新；
数据库系统，所述数据库系统包括型号存储、标注数据存储和分类结果存储；
人机接口，所述人机接口包括系统控制参数设置、型号编程、数据标注、人工复判和检测结果显示。
所述系统软件的执行过程如下：
首先，由所述硬件环境进行图像采集，并传输到所述视觉算法与软件中进行数据缓冲；其次，由所述视觉算法与软件对图像数据进行矫正对齐、检测缺陷、过滤统计和分类识别，所述分类识别既要完成分类模型训练与更新，还要传输至所述数据库系统中进行分类结果存储；再者，由所述人机接口对检测目标进行型号编程，还要标注少量均衡的缺陷数据集，并对分类结果进行复判，完成缺陷检测结果的显示；最后，由所述数据库系统对编程过的型号进行存储，还要存储标注过的数据和人工复判的结果，并把标注数据传输到所述视觉算法与软件，进行分类模型的更新，使模型具有后续演进学习的能力，获得越来越好的缺陷分类结果。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。
应当理解的是，本发明并不局限于上述已经描述的内容，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (7)

1.一种基于柔性光路的引线框架智能全检方法，其特征在于，具体包括以下步骤：
S1、采集引线框架的原始图像，并将获取到的原始图像数据传输到工控机中；
S2、构建当前引线框架的模板图像并存储，分割所述模板图像中的铜材区域、镀银区域、镂空区域，完成检测缺陷的准备；
S3、先对获取到的原始图像进行非均匀校正处理，在所述模板图像的辅助下进行缺陷检测；再对检测到的缺陷进行分割并提取；最后将铜材区域、镀银区域、镂空区域对应的缺陷进行合并，完成前置分类；
S4、根据缺陷属性和缺陷特征，对待分类缺陷进行特征分析，通过混合多分类器模型，对所述待分类缺陷的信息进行置信度计算和危害性评价，完成缺陷的分类识别；再使用演进式的增量更新方法，更新混合多分类器模型；
所述S4中混合多分类器模型，结合缺陷位置、色彩分布、形状尺寸、Hu特征矩，从一级分类和二级分类的角度，分别基于模糊逻辑识别方法和浅层神经网络训练方法来构建缺陷分类模型；
所述模糊逻辑识别方法在人工确认的准确分割基础上，分别构建铜材区域、镀银区域、镂空区域三种区域的色彩像素分布立方体；以缺陷像素值为下标，通过索引直取方式从分布立方体获得像素属于三种区域的概率，统计缺陷所有像素隶属概率的平均值作为缺陷隶属概率<Ptong,Pyin,Pkong>；以同样的方式获得对应背景图像的隶属概率<Ttong,Tyin,Tkong>；以90％为高置信度为判定阈值，结合确定性的规则知识判定缺陷的类别：
所述不确定的缺陷R4、S4是从一级分类的角度得出的，还需要从二级分类的角度、利用神经网络预测方法去识别，通过神经网络去判定这些缺陷是属于银黄、银渍、氧化、脏污、划伤中的哪一类别。
2.根据权利要求1所述的基于柔性光路的引线框架智能全检方法，其特征在于，所述S1中原始图像通过柔性光路复合和分时多场的图像采集方法采集得到，具体为：
S1.1、部署多台不同角度的工业相机，每台所述工业相机搭配一个光源，利用多个所述光源采集引线框架正面与反面的不同角度的多张对齐的原始图像；
S1.2、利用自适应纹理干扰消除处理方法对S1.1中的原始图像进行一致化处理：即利用不同的光源交叉组合，发出多种角度不同、强度不同、颜色不同、光谱不一的光线，对不同类型、不同深浅、不同粗糙度、不同颜色的缺陷进行凸显；再对铜材区域、镀银区域、镂空区域的不同材质表面进行成像效果优化、搜索，获得与对应材质最匹配的成像光路，消除原始图像的非均匀性，使得原始图像背景均匀，缺陷目标更加明显，综合正面校准图像和散射光强度，获得最优成像。
3.根据权利要求1所述的基于柔性光路的引线框架智能全检方法，其特征在于，所述S2中采用智能化人机协作检测区域的编程方法构建当前引线框架的模板图像，具体包括：
S2.1、先对分割的铜材区域、镀银区域、镂空区域的结果进行人工微调和确认；
S2.2、指定检测目标时需要置为背景的区域，指定图像角度矫正和对齐参考区域，指定四面边界搜索区域，根据镀银误差要求指定银位浮动范围。
4.根据权利要求1所述的基于柔性光路的引线框架智能全检方法，其特征在于，所述S3中缺陷检测采用GPU加速处理方法。
5.根据权利要求1所述的基于柔性光路的引线框架智能全检方法，其特征在于，所述S3中对检测到的缺陷进行分割的具体过程如下：
对于图像中的非显著性缺陷的极限精度，使用自适应熵阈值法进行分割以避免过检；
对于图像中的背景纹理变化进行灰度波动量化，并设定灰度基准，使用自适应双阈值法进行分割，其中，可通过技术或参数调整来适应分割要求；
对于图像中的背景波动进行均值计算，使用自适应双阈值分割方法，能够适应图像背景在指定范围内波动；
对于图像中的异常缺陷，使用固定阈值方法过滤异常数据。
6.根据权利要求1所述的基于柔性光路的引线框架智能全检方法，其特征在于，所述S4中对缺陷特征进行分析具体包括：
S4.1、结合分割区域的色阶分布分别计算缺陷中每个像素属于铜材区域、镀银区域、镂空区域的概率，根据所述概率值计算所有像素的平均概率，作为缺陷的区域隶属特征；采用三通道分离的16色阶直方图构建色彩特征，以降低特征噪音和特征维度；选取与方向无关的形状特征；
S4.2、对所述区域隶属特征、色彩特征、形状特征进行特征变换。
7.根据权利要求1所述的基于柔性光路的引线框架智能全检方法，其特征在于，所述S4中的增量更新方法，具体为：通过对比加入增量样本后隐藏矩阵广义逆和原隐藏矩阵广义逆的关系，将新矩阵的逆表示为旧矩阵逆和增量部分矩阵逆的计算形式，从而建立复杂度仅与增量样本规模有关的极限学习机增量更新方法，所求的解能够保持全局最优。
CN202310549612.5A 2023-05-16 2023-05-16 一种基于柔性光路的引线框架智能全检方法 Active CN116843615B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310549612.5A CN116843615B (zh) 2023-05-16 2023-05-16 一种基于柔性光路的引线框架智能全检方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310549612.5A CN116843615B (zh) 2023-05-16 2023-05-16 一种基于柔性光路的引线框架智能全检方法

Publications (2)

Publication Number Publication Date
CN116843615A CN116843615A (zh) 2023-10-03
CN116843615B true CN116843615B (zh) 2024-04-12

Family

ID=88164204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310549612.5A Active CN116843615B (zh) 2023-05-16 2023-05-16 一种基于柔性光路的引线框架智能全检方法

Country Status (1)

Country Link
CN (1) CN116843615B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010237018A (ja) * 2009-03-31 2010-10-21 Dainippon Screen Mfg Co Ltd 欠陥検出装置及び欠陥検出方法
CN103593670A (zh) * 2013-10-14 2014-02-19 浙江工业大学 一种基于在线序列极限学习机的铜板带表面缺陷检测方法
CN106650823A (zh) * 2016-12-30 2017-05-10 湖南文理学院 一种基于概率极限学习机集成的泡沫镍表面缺陷分类方法
CN110827256A (zh) * 2019-10-31 2020-02-21 广东华中科技大学工业技术研究院 透明构件缺陷的光学和热红外多级成像检测方法及装置
CN113177934A (zh) * 2021-05-20 2021-07-27 聚时科技(上海)有限公司 一种基于深度学习的引线框架缺陷定位及等级判定方法
CN115082392A (zh) * 2022-06-14 2022-09-20 西安邮电大学 一种半导体引线框架镀银缺陷检测方法及系统
CN115760700A (zh) * 2022-10-20 2023-03-07 四川金湾电子有限责任公司 一种引线框架表面缺陷检测方法、系统、存储介质及终端
CN115861259A (zh) * 2022-12-16 2023-03-28 上海工程技术大学 一种基于模板匹配的引线框架表面缺陷检测方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010237018A (ja) * 2009-03-31 2010-10-21 Dainippon Screen Mfg Co Ltd 欠陥検出装置及び欠陥検出方法
CN103593670A (zh) * 2013-10-14 2014-02-19 浙江工业大学 一种基于在线序列极限学习机的铜板带表面缺陷检测方法
CN106650823A (zh) * 2016-12-30 2017-05-10 湖南文理学院 一种基于概率极限学习机集成的泡沫镍表面缺陷分类方法
CN110827256A (zh) * 2019-10-31 2020-02-21 广东华中科技大学工业技术研究院 透明构件缺陷的光学和热红外多级成像检测方法及装置
CN113177934A (zh) * 2021-05-20 2021-07-27 聚时科技(上海)有限公司 一种基于深度学习的引线框架缺陷定位及等级判定方法
CN115082392A (zh) * 2022-06-14 2022-09-20 西安邮电大学 一种半导体引线框架镀银缺陷检测方法及系统
CN115760700A (zh) * 2022-10-20 2023-03-07 四川金湾电子有限责任公司 一种引线框架表面缺陷检测方法、系统、存储介质及终端
CN115861259A (zh) * 2022-12-16 2023-03-28 上海工程技术大学 一种基于模板匹配的引线框架表面缺陷检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Improved ViBe Algorithm for Defect Detection of the Etching Lead Frame Mould";Deng Wanyu et al.;《2021 IEEE International Conference on Intelligent Systems and Knowledge Engineering》;全文 *
"基于PSO⁃ELM 融合动态加权AdaBoost 的变压器故障诊断方法";黄新波等;《高压电器》;第56卷(第6期);全文 *

Also Published As

Publication number Publication date
CN116843615A (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
CN109977808B (zh) 一种晶圆表面缺陷模式检测与分析方法
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
WO2022236876A1 (zh) 一种玻璃纸缺陷识别方法、系统、装置及存储介质
CN111062915A (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN109461149A (zh) 喷漆表面缺陷的智能检测系统及方法
CN110648310B (zh) 基于注意力机制的弱监督铸件缺陷识别方法
WO2019114380A1 (zh) 木板识别及木板识别的机器学习方法、装置及电子设备
CN109840900B (zh) 一种应用于智能制造车间的故障在线检测系统及检测方法
JP2014511530A (ja) ウェブベース材料内の不均一性の検出システム
CN111612737B (zh) 一种人造板表面瑕疵检测装置及检测方法
CN116188475B (zh) 一种外观缺陷自动光学检测的智慧控制方法、系统及介质
CN111815564B (zh) 一种检测丝锭的方法、装置及丝锭分拣系统
CN113643268B (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
JP2021515885A (ja) 照明条件を設定する方法、装置、システム及びプログラム並びに記憶媒体
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN109215015A (zh) 一种基于卷积神经网络的蚕茧在线视觉检测方法
CN114994061A (zh) 一种基于机器视觉的钢轨智能化检测方法及系统
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN111932639B (zh) 一种基于卷积神经网络的不均衡缺陷样本的检测方法
CN115147363A (zh) 一种基于深度学习算法的影像缺陷检测和分类方法及系统
CN117455917B (zh) 一种蚀刻引线框架误报库建立及误报在线判定筛选方法
CN112967271B (zh) 一种基于改进DeepLabv3+网络模型的铸件表面缺陷识别方法
CN117910073A (zh) 基于3d打印技术的工艺品包装设计优化系统及方法
CN116843615B (zh) 一种基于柔性光路的引线框架智能全检方法
CN117392097A (zh) 基于改进YOLOv8算法的增材制造工艺缺陷检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant