CN111060512A - 智能缺陷识别系统 - Google Patents

智能缺陷识别系统 Download PDF

Info

Publication number
CN111060512A
CN111060512A CN201910978701.5A CN201910978701A CN111060512A CN 111060512 A CN111060512 A CN 111060512A CN 201910978701 A CN201910978701 A CN 201910978701A CN 111060512 A CN111060512 A CN 111060512A
Authority
CN
China
Prior art keywords
module
defect
electronic component
server
capture module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910978701.5A
Other languages
English (en)
Inventor
K·D·洛肯
陈志煜
G·肯克尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seagate Technology LLC
Original Assignee
Seagate Technology LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seagate Technology LLC filed Critical Seagate Technology LLC
Publication of CN111060512A publication Critical patent/CN111060512A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N21/95684Patterns showing highly reflecting parts, e.g. metallic elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8803Visual inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N21/95607Inspecting patterns on the surface of objects using a comparative method
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0006Industrial image inspection using a design-rule based approach
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws
    • G01N2021/8861Determining coordinates of flaws
    • G01N2021/8864Mapping zones of defects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws
    • G01N2021/8877Proximity analysis, local statistics
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N21/95607Inspecting patterns on the surface of objects using a comparative method
    • G01N2021/95615Inspecting patterns on the surface of objects using a comparative method with stored comparision signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N2021/95638Inspecting patterns on the surface of objects for PCB's
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N2021/95638Inspecting patterns on the surface of objects for PCB's
    • G01N2021/95646Soldering
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N2021/95638Inspecting patterns on the surface of objects for PCB's
    • G01N2021/95661Inspecting patterns on the surface of objects for PCB's for leads, e.g. position, curvature
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本申请公开了智能缺陷识别系统。可以使用具有至少服务器的系统智能地识别电子组件中的各种缺陷,该服务器连接到第一捕获模块和第二捕获模块。第一捕获模块可以位于第一生产线附近,且第二捕获模块位于第二生产线附近。在将图像发送到服务器的分类模块之前,可以通过相应的第一捕获模块和第二捕获模块收集第一电子组件和第二电子组件的图像,在该服务器中,利用分类模块同时在第一电子组件和第二电子组件的每一个中自动地检测到至少一个缺陷。

Description

智能缺陷识别系统
发明内容
根据一些实施例,智能缺陷识别系统可以具有连接到第一捕获模块和第二捕获模块的服务器,其中第一捕获模块位于第一电子组件所在的第一生产线附近,第二捕获模块位于第二电子组件所在的第二生产线附近。服务器的分类模块适于同时自动地检测第一电子组件和第二电子组件的每一个中的缺陷。
各种实施例布置了一种智能缺陷识别系统,其中服务器连接到第一捕获模块和第二捕获模块。第一捕获模块可以位于第一生产线附近,且第二捕获模块位于第二生产线附近。在将图像发送到服务器的分类模块之前,可以通过相应的第一捕获模块和第二捕获模块收集第一电子组件和第二电子组件的图像,在该服务器中,利用分类模块同时在第一电子组件和第二电子组件的每一个中自动地检测至少一个缺陷。
在其他实施例中,智能缺陷识别系统具有连接到第一捕获模块和第二捕获模块的服务器。第一捕获模块可以位于第一生产线附近,且第二捕获模块位于第二生产线附近。在将图像发送到服务器的分类模块之前,可以通过相应的第一捕获模块和第二捕获模块收集第一电子组件和第二电子组件的图像,在该服务器中,利用分类模块同时在第一电子组件和第二电子组件的每一个中自动地检测至少一个缺陷。基于至少一个检测到的缺陷,利用服务器的预测模块为每个电子组件预测一个或多个性能指标。
附图简述
图1提供了根据各个实施例布置的示例数据存储系统的一部分的框图。
图2表示能够在图1的数据存储系统中采用的示例电子组件的部分。
图3示出了根据一些实施例可以实施的示例电子组件时间线的框图。
图4示出了示例视觉检查例程,该示例视觉检查例程可以利用图1的数据存储系统的部分来执行。
图5是在一些实施例中利用图1的数据存储系统的部分来执行的示例智能检查例程。
图6描绘了根据各种实施例配置和操作的示例智能缺陷识别系统的部分。
图7传达了可由图6的智能缺陷识别系统采用的示例学习模块。
图8示出了根据各种实施例使用的示例智能缺陷识别系统的部分。
具体实施方式
本公开的各种实施例通常针对智能缺陷识别系统,该系统减少了电子组件的制造时间,同时提高了其准确性。
使用基于规则的分析方法,具有可变形貌和表面光洁度的复杂电子组件的自动检查是很难的。取而代之的是,通常采用人工视觉分析来评估所构造的电子组件中缺陷的存在和严重性。然而,人工参与缺陷识别的速度相对较慢,特别是与商业电子部件制造可以生产要检查的组件的速度相比。
另外,难以通过以提供准确地评估所构造的电子组件是否可以按预期操作的能力的方式的自动测试来可靠地表征缺陷的多种不同类型、尺寸、位置和外观。随着时间的推移,机器学习算法和技术的复杂性可以改善缺陷的自动识别,但仅限于单个测试站一次评估一个所构造的组件,这既繁琐又缓慢。因此,人们一直对优化自动电子组件缺陷分析以提供更快的缺陷识别和高准确性评估感兴趣。
因此,实施例针对缺陷服务器,该缺陷服务器利用驻留在缺陷服务器中的测试模块同时测试多个不同构造的电子组件,以识别至少一个缺陷并预测该至少一个缺陷是否会抑制多个不同的电子组件之一的操作。测试模块可以采用学习模块,其中缺陷评估可以通过使用机器学习技术结合人工监督来改善。通过使用集中式缺陷服务器自动进行缺陷识别和表征,可以同时评估来自不同位置的多个电子组件,这可以减少整体组件的制造时间,而不会牺牲准确性。
图1描绘了根据各种实施例的使用一个或多个电子部件测试的示例数据存储系统100。可以在数据存储系统100中采用任何数量的数据存储设备102。通过有线和/或无线互连106连接到一个或多个远程主机104的那些数据存储设备102可以具有任何容量、数据访问速度和存储器类型。
在图1所示的非限制性示例中,数据存储设备102具有本地控制器108,诸如微处理器或可编程电路,其通过一个或多个换能组件112指导去往/来自旋转数据存储介质110的数据访问和维护、操作。注意,在一些实施例中,旋转介质110和换能组件112可以用固态存储器阵列代替。换能组件112可以包括悬架114,该悬架114将换能滑块116定位在介质110上的预定位置附近,以允许数据写入器118和/或数据读取器120将数据编程到介质110以及从介质110检索数据。
数据存储系统100的任何部分可以由组装或互连在一起的一个或多个电子部件物理地构造。图2示出了可以在图1的数据存储系统100中使用的示例电子组件130的线表示,诸如数据存储设备102或主机104。尽管不是必需的或限制性的,电子组件130是换能滑块,其中单独的键合焊盘132与公共基板136上的导电信号路径134互连。注意,各种键合焊盘132可以是任何数量的电气部件的位置,诸如数据写入器118、数据读取器120或至少一个传感器,类似电阻传感器的差分端热系数。
由于在生产过程中的制造和/或运输,电子组件130可能会遇到一个或多个缺陷。缺陷可以被表征为键合焊盘132、路径134、基板136或物理连接到键合焊盘132的电子部件中的任何瑕疵,这会严重降低电子组件130的任何方面的操作。例如,缺陷可以是允许短期功能操作、但会降低长期可靠性的物理性瑕疵。作为另一个非限制性实施例,缺陷可以降低,但不会停止连接到各种键合焊盘132的一个或多个部件的功能。
尽管不是排他性的或穷举性的,但是图2的示例电子组件130示出了键合焊盘132可能如何具有如区域138所示的不正确的、非对称形状,其可以导致更多或更少的键合焊盘132材料的存在。区域140传达了另一个键合焊盘132缺陷,其中盘132未对准,同时具有正确的对称形状。电子组件130的变化形貌可以带来键合焊盘132的减小厚度的存在,如区域142所示,其中露出诸如铜的底层材料。如在区域144中由分段信号路径134所示的引线键合缺陷也可以降低电子组件的一些或全部的功能和/或性能。
尽管提高了制造公差和更复杂的制造技术,然而电子组件130中可能会无意中出现缺陷。图3传达了活动的示例时间线150,其可以伴随电子组件的生产以减轻运送给终端用户的数据存储设备中缺陷的影响。在步骤152中根据预定布局构造电子组件以定位电气方面,以在集成到数据存储设备中时提供电气功能。然后,步骤154通过一个或多个信号路径互连各个电气方面。
注意,可以在步骤152中进行步骤154的互连。无论如何,电气组件方面的电气互连之后,在步骤156中检查组件。检查可以由机器或人工进行视觉检查,并且可能涉及附加传感器,诸如热、雷达或声纳系统。步骤156中的初步检查可以触发步骤158中的附加检查,其可以冗余地和/或加强检查来评估电气组件的各个部分。在步骤160中,两次检查156/158的故障均可以提示将电气组件丢弃为废品。然而,可以预期的是,步骤158的附加检查可以将电子组件识别为可操作的,其前进至步骤162,在步骤162中将电子组件封装到具有一个或多个其他电气部件(诸如控制器)的数据存储设备中。
双重检查步骤并非总是必要的,并且步骤156中的检查可以导致在步骤162中进行封装之前,将电子组件视为有效且可操作。可以随后在步骤164中在封装的数据存储设备上进行一个或多个功能性测试。测试可以识别缺陷、故障或其他性能降低情况,可以触发步骤160以丢弃一些或全部的数据存储设备。如果在步骤164中验证了封装的数据存储设备的性能,则步骤166会将数据存储设备运送给终端用户用于整合到计算系统,诸如台式计算机、膝上型计算机、平板电脑、智能手机、智能手表、云计算机架、大容量数据存储机柜、或服务器。
通过检查156/158和测试164的活动,可以对电子组件进行彻底的分析以确保功能和性能。然而,对电子组件的结构和性能的认证可以是生产数据存储设备的瓶颈。也就是说,对电子组件的视觉检查可能相对较慢且繁琐,并且受到附加处理和运输风险的困扰。图4是根据各种实施例的示例视觉检查例程170的流程图,该例程可以作为生产图3的时间线150的部分来进行。例程170可以在步骤172中以任何数量的电子组件的构造开始,诸如将电气特征放置在基板上、在基板上形成电气特征、和/或进行光刻以制造电气组件的导电方面。
步骤172中构造的电气特征随后通过一个或多个信号路径在步骤174中电互连。可以预期,在步骤174结束时,除非步骤172和/或174的操作导致存在一个或多个缺陷,否则电气组件在结构上是完整的并且准备好被集成到数据存储设备中。步骤176对完成的电气组件进行视觉检查以识别任何缺陷。这样的视觉检查可以通过人工物理地接合电气组件或从远处光学地感测电气组件来进行。过去,由于基于规则的自动评估和/或检查算法不够先进到足以提供准确的缺陷表征,因此人工参与步骤176来准确评估缺陷的存在和严重性至关重要。
在步骤176中包括的人工检查允许决策178首先识别是否存在一个或多个缺陷。如果是这样,则步骤180随后使用人工检查员来评估每个缺陷。这样的评估可以按照类型、位置、尺寸和严重性来对缺陷进行分类。步骤180的评估可以在决策182中进一步接合人工检查员以推测电子组件的功能,但是由于决策182可以基于预定的评估规则(诸如阈值缺陷尺寸和/或位置)来评估电子组件的功能,所以不需要这种推测。具有降低功能的电子组件触发步骤184以丢弃该组件,这可以涉及返回到步骤172,在步骤172中重新制造该缺陷电子组件的各个部分。
不会不利地影响电子组件功能或性能的缺陷可以使决策182前进到步骤186,在步骤186中,将电子组件集成到数据存储设备中,诸如图3的步骤164的部分。可替代地,由于决策178没有任何缺陷,导致步骤186将电子组件封装到数据存储设备中。尽管从逻辑上讲是简单明了的,但与实施以前无法实现的自动计算智能所能实现的相比,至少在电子装配评估时间方面,人工检查的参与不利于例程170和时间线150。
因此,各种实施例采用集中式计算服务器来同时评估多个不同的电子组件并且表征任何发现的缺陷而无需包含人工。图5的示例智能检查例程200描绘了作为数据存储设备生产的部分,如何对电气组件(诸如数据换能滑块)进行最佳检查。例程200可以类似于例程170开始,其中各种电气特征在一个或多个步骤中放置和互连,从而导致步骤202提交结构上完整的滑块组件用于检查。
在步骤204中,任何数量的传感器(诸如光学透镜、光学相机和形貌检测器)都可以捕获在步骤202中提交的至少一些滑块的静止或运动图像。在步骤206中,通过有线和/或无线网络将来自步骤204的(多个)图像传输到中央服务器,其中使用中央服务器的至少一个控制器通过自动数字分析对(多个)图像进行数字处理。步骤206的数字处理不限于特定的分析,而是可以涉及通过将提交的图像与无缺陷滑块的图像进行比较来生成缺陷图。
步骤206的图像处理对于在不同物理位置处(诸如位于不同城市、国家和全球半球的制造设施)制造的多个不同滑块可以同时发生。可以理解的是,与人工视觉检查各个滑块相比,利用中央服务器对于多个滑块的图像获取、传输和处理能力提供了一种针对时间和效率优化的检查系统。步骤206的数字处理允许决策208快速确定提交的滑块中是否存在缺陷。
检测到的缺陷导致步骤210然后对缺陷进行分类。这样的分类不限于特定的缺陷特征,但是在一些实施例中,通过尺寸、位置、颜色以及与其他缺陷的接近度来对每个检测到的缺陷进行分类。由于中央服务器的计算能力,步骤210的分类可以对于多个不同的所提交的滑块同时进行,这显著快于单个滑块的人工分类。然后,分类的缺陷允许步骤212预测缺陷对于滑块至少功能和性能的影响。
中央服务器可以采用预测模块,该预测模块采用步骤210的缺陷分类并确定滑块是否适合集成到数据存储设备中。确定缺陷是否严重到值得步骤214丢弃滑块或最小化到值得步骤216封装滑块到数据存储设备中的规则由服务器控制器维持,并可以实时更新以适于不断变化的公差、缺陷标识符、缺陷严重性以及缺陷分类对数据存储设备功能和性能的影响。
图6示出了根据一些实施例可以实践例程200的示例缺陷识别系统220的线表示。位于公共或不同物理位置的任何数量(N)的生产线222可以以预定的速率生产电子组件224(诸如滑块),这些生产线可以或可以不使用自动生产技术。每条生产线222都具有捕获模块226,该捕获模块226包含至少一个图像捕获设备,诸如光学传感器和/或相机。可以预期的是,捕获模块226包含多个不同的电子组件成像传感器227,诸如雷达、声呐和声学传感器。
注意,各种捕获模块226不会本地处理图像,相反立即将任何感测到的与所生产的电子组件224相关的数据传送到单个服务器228。与在本地处理感测的数据相反,这样的数据传输允许捕获模块226以最大的效率和准确性进行操作,而服务器228执行复杂的计算机处理以评估和分类感测的用于缺陷的数据。对于各个捕获模块226相对较低的计算要求还允许模块226具有空间和成本效益,诸如用于替换和功率使用。
服务器228不限于特定计算部件,但包含至少本地控制器230,该本地控制器230分别、顺序或同时地引导来自各种捕获模块226的感测数据的处理。注意,可以训练诸如图形处理单元之类的部件以单独地或与服务器228组合操作。由服务器228接收的感测数据可以被暂时存储在本地存储器232中并且被永久存储在日志234中,该日志234组织过去的缺陷识别操作,诸如缺陷的数量、所识别的缺陷的平均严重性以及平均缺陷识别时间。本地控制器230还可以利用映射模块236、分类模块238、预测模块240和学习模块242进行缺陷识别。注意,每个模块236/238/240/242包括可编程电路,该可编程电路可以是独立的或共享的并驻留在服务器228中。
控制器230可以要求映射模块236开始分析一个或多个感测到的电子组件图像以创建缺陷图,该缺陷图突出、强调和/或澄清了指示缺陷的图像区域。映射模块236可以将感测的图像与已知缺陷进行一个或多个比较以创建缺陷图。可以预期的是,映射模块236可以附加地指示关注的区域,该关注的区域不符合任何已知缺陷,这可以发现可能导致降低电子组件操作的新的缺陷和其他结构性问题。
分类模块238可以在缺陷图中集中在强调区域上以确定缺陷是否确实存在。来自映射模块236的缺陷图的使用允许分类模块238更快速和有效地分析感兴趣的区域,而不是分析电子组件图像的整体。结果,分类模块238可以采用多种不同的图像分析算法来重复地分析电子组件图像的集中区域,该集中区域小于图像的整体,以识别存在于电子组件中的缺陷的类型、尺寸、位置和接近度。
利用分类模块238对缺陷进行分类提供了预测模块240所使用的信息,以预测缺陷将如何影响电子组件的操作和/或性能。预测模块240可以采用服务器日志234的已保存的缺陷历史、一个或多个缺陷模型以及至少一种算法来确定如果或当如图1所示电子组件与其他数据存储部件封装在一起时,缺陷或者多个单独的缺陷是否以及何时抑制数据存储设备的操作。
预测模块240可以响应于一个或多个缺陷的存在来预测某些性能指标。例如,预测模块240可以计算由于缺陷的弱化结构引起的电子组件的预测调整寿命。作为另一个非限制性示例,预测模块240可以规定经调整的操作参数,诸如功率使用、热量产生、介质旋转速率和连续操作时间,以允许缺陷电子组件在数据存储设备中使用而不是被丢弃。
映射模块236、分类模块238和预测模块240可以采用学习模块242以准确识别、表征和预测缺陷标准。学习模块242可以提供缺陷识别指令,该指令允许缺陷从一个或多个图像中被发现、分析和表征。这样的识别指令可以产生邻近部件的特定形状、阴影、颜色和/或方向,以允许缺陷被有效识别和处理,以提供准确的预测缺陷性能指标。该识别指令可以进一步被用于训练系统的机器学习,以更准确和/或更有效地识别缺陷。
图7传达了根据各种实施例的可以在缺陷识别系统的服务器中采用的示例学习模块250的框图表示。学习模块250可以存储导出的缺陷标准252,诸如平均尺寸、颜色、阴影和电子组件中的位置。学习模块250还可以存储过去遇到的缺陷254,以允许在以后的时间进行人工验证256。也就是说,学习模块250可以通过存储缺陷图像254以允许人工视觉评估缺陷,来改善导出的缺陷标准252。
作为人工验证256的结果,可以改变缺陷标准252以使其演进并允许更准确、更快地识别缺陷然后进行分类。通过对提供给映射模块236和分类模块238的缺陷标准252的重复调整,缺陷的自动识别将提高准确性和效率。可以预期的是,学习模块250可以产生缺陷准确性指标258,诸如缺陷识别或预测正确的机会百分比。学习模块250可以进一步针对不同类型的缺陷(诸如非对称形状、未对准和引线键合缺陷)计算缺陷准确性指标258。
利用服务器的计算能力,学习模块250可以被同时使用以同时处理多个电子组件。图8示出了根据各种实施例配置的示例智能缺陷识别系统的部分270。映射模块236可以获取多个不同的电子组件图像272,并为每个电子组件产生缺陷图274。尽管并非限制性的,缺陷图274可以利用自然和人工的手段来强调图像272的可能存在缺陷的部分,诸如颜色、缩放的区域和图像增强,诸如线条平滑。
缺陷图274中的强调元素由分类模块238处理以将元素表征为缺陷或异常。缺陷图274的强调可以帮助分类模块238区分缺陷类型并评估缺陷瑕疵的严重性。一旦缺陷被识别和分类,预测模块240可以使用来自缺陷图274的强调缺陷,或原始图像272来预测缺陷电子组件的功能、寿命和性能。与如果由预测模块240执行图像272处理相比,使用缺陷图274的强调部分的能力允许预测模块240在更短的时间内做出更准确的预测。
通过本公开的各种实施例,集中式服务器可以同时评估多个不同的电子组件的缺陷。与人工视觉检查相比,使用单个服务器进行缺陷识别的自动化允许提高缺陷识别的准确性和速度。通过使用计算能力来处理从所构造的电子组件(诸如换能滑块)感测的数据,机器学习、复杂建模和稳定算法可以对缺陷进行分类,使得缺陷的性能影响可以被预测,从而使缺陷电子组件能够以一种实用的方式加以利用,而不是仅仅由于缺陷的存在而被丢弃。
进一步的示例:
示例1.一种装置,包括连接到第一捕获模块和第二捕获模块的服务器,其中所述第一捕获模块位于第一电子组件所在的第一生产线附近,所述第二捕获模块位于第二电子组件所在的第二生产线附近,所述服务器的分类模块适于同时自动检测所述第一电子组件和所述第二电子组件的每一个中的缺陷。
示例2.如示例1所述的装置,其中,所述分类模块由服务器的控制器指导以检测缺陷。
示例3.如示例1所述的装置,其中,每个捕获模块包括相机,所述相机给所述分类模块提供所述第一或第二电子组件的至少一个图像。
示例4.如示例1所述的装置,其中,所述第一和第二生产线物理地位于不同的城市。
示例5.如示例1所述的装置,其中,所述第一捕获模块包括多个不同的传感器。
示例6.如示例1所述的装置,其中,每个电子组件是换能滑块。
示例7.一种方法,包括:连接服务器到第一捕获模块和第二捕获模块,所述第一捕获模块位于第一生产线附近且所述第二模块位于第二生产线附近;使用所述第一生产线制造第一电子组件;使用所述第二生产线制造第二电子组件;使用所述第一捕获模块收集所述第一电子组件的第一图像;使用所述第二捕获模块收集所述第二电子组件的第二图像;将所述第一和第二图像发送到所述服务器的分类模块;以及使用所述分类模块同时对所述第一和第二电子组件中的每一个自动检测至少一个缺陷。
示例8.如示例7所述的方法,其中,所述服务器的映射模块创建所述第一图像的缺陷图。
示例9.如示例8所述的方法,其中,在评估所述缺陷图之后利用所述分类模块检测所述至少一个缺陷。
示例10.如示例8所述的方法,其中,所述缺陷模块强调所述第一图像中可能存在缺陷的至少一个部分。
示例11.如示例10所述的方法,其中,所述映射模块人工加强了所述第一图像以强调所述至少一个部分。
示例12.如示例7所述的方法,其中,所述分类模块使用所述服务器的学习模块来检测所述至少一个缺陷,所述学习模块提供至少一个缺陷标准。
示例13.如示例12所述的方法,其中,所述学习模块针对所述至少一个检测到的缺陷中的每一个生成缺陷准确性指标。
示例14.如示例12所述的方法,其中,所述学习模块输入日志记录的缺陷的人工视觉检查以调整所述至少一个缺陷标准。
示例15.一种方法,包括:将服务器连接到第一捕获模块和第二捕获模块,所述第一捕获模块位于第一生产线附近且所述第二模块位于第二生产线附近;使用所述第一生产线制造第一电子组件;使用所述第二生产线制造第二电子组件;使用所述第一捕获模块收集所述第一电子组件的第一图像;使用所述第二捕获模块收集所述第二电子组件的第二图像;将所述第一和第二图像发送到所述服务器的分类模块;同时对所述第一和第二电子组件中的每一个自动检测至少一个缺陷;以及基于所述至少一个检测到的缺陷,利用所述服务器的预测模块为每个所述电子组件预测一个或多个性能指标。
示例16.如示例15所述的方法,其中,所述预测模块使用由所述服务器的映射模块创建的缺陷图。
示例17.如示例15所述的方法,其中,所述一个或多个性能指标是所述第一或第二电子组件的寿命。
示例18.如示例15所述的方法,其中,所述一个或多个性能指标是所述第一或第二电子组件的经调整的操作参数。
示例19.如示例18所述的方法,其中,所述经调整的操作参数是功率使用。
示例20.如示例18所述的方法,其中,所述经调整的操作参数是温度。

Claims (10)

1.一种装置,包括连接到第一捕获模块和第二捕获模块的服务器,其中所述第一捕获模块位于第一电子组件所在的第一生产线附近,所述第二捕获模块位于第二电子组件所在的第二生产线附近,所述服务器的分类模块适于同时自动检测所述第一电子组件和所述第二电子组件的每一个中的缺陷。
2.如权利要求1所述的装置,其特征在于,所述分类模块由服务器的控制器指导以检测缺陷。
3.如权利要求1所述的装置,其特征在于,每个捕获模块包括相机,所述相机给所述分类模块提供所述第一或第二电子组件的至少一个图像。
4.一种方法,包括:
连接服务器到第一捕获模块和第二捕获模块,所述第一捕获模块位于第一生产线附近且所述第二模块位于第二生产线附近;
使用所述第一生产线制造第一电子组件;
使用所述第二生产线制造第二电子组件;
使用所述第一捕获模块收集所述第一电子组件的第一图像;
使用所述第二捕获模块收集所述第二电子组件的第二图像;
将所述第一和第二图像发送到所述服务器的分类模块;以及
使用所述分类模块同时对所述第一和第二电子组件中的每一个自动检测至少一个缺陷。
5.如权利要求4所述的方法,其特征在于,所述服务器的映射模块创建所述第一图像的缺陷图。
6.如权利要求5所述的方法,其特征在于,在评估所述缺陷图之后利用所述分类模块检测所述至少一个缺陷。
7.如权利要求4所述的方法,其特征在于,所述分类模块使用所述服务器的学习模块来检测所述至少一个缺陷,所述学习模块提供至少一个缺陷标准。
8.如权利要求7所述的方法,其特征在于,所述学习模块针对所述至少一个检测到的缺陷中的每一个生成缺陷准确性指标。
9.一种方法,包括:
将服务器连接到第一捕获模块和第二捕获模块,所述第一捕获模块位于第一生产线附近且所述第二模块位于第二生产线附近;
使用所述第一生产线制造第一电子组件;
使用所述第二生产线制造第二电子组件;
使用所述第一捕获模块收集所述第一电子组件的第一图像;
使用所述第二捕获模块收集所述第二电子组件的第二图像;
将所述第一和第二图像发送到所述服务器的分类模块;
同时对所述第一和第二电子组件中的每一个自动检测至少一个缺陷;以及
基于所述至少一个检测到的缺陷,利用所述服务器的预测模块为每个所述电子组件预测一个或多个性能指标。
10.如权利要求9所述的方法,其特征在于,所述预测模块使用由所述服务器的映射模块创建的缺陷图。
CN201910978701.5A 2018-10-16 2019-10-15 智能缺陷识别系统 Pending CN111060512A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/161,387 2018-10-16
US16/161,387 US11320385B2 (en) 2018-10-16 2018-10-16 Intelligent defect identification system

Publications (1)

Publication Number Publication Date
CN111060512A true CN111060512A (zh) 2020-04-24

Family

ID=70161228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910978701.5A Pending CN111060512A (zh) 2018-10-16 2019-10-15 智能缺陷识别系统

Country Status (2)

Country Link
US (1) US11320385B2 (zh)
CN (1) CN111060512A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11636117B2 (en) * 2019-06-26 2023-04-25 Dallas Limetree, LLC Content selection using psychological factor vectors
US11493453B2 (en) * 2019-06-28 2022-11-08 Kyocera Document Solutions Inc. Belt inspection system, belt inspection method, and recording medium for belt inspection program
US20220307988A1 (en) * 2020-10-21 2022-09-29 Wit Co., Ltd. Inspection system
US20220318667A1 (en) * 2021-03-30 2022-10-06 Accenture Global Solutions Limited Intelligent real-time defect prediction, detection, and ai driven automated correction solution

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040012775A1 (en) * 2000-11-15 2004-01-22 Kinney Patrick D. Optical method and apparatus for inspecting large area planar objects
CN1571019A (zh) * 2003-07-14 2005-01-26 上海乐金广电电子有限公司 光盘装置中的伺服调整方法
CN101477066A (zh) * 2009-01-09 2009-07-08 华南理工大学 基于超分辨率图像重建的电路板元件安装/焊接质量检测方法及系统
CN102809497A (zh) * 2011-06-03 2012-12-05 通用电气公司 用于产出构件的分析的具有设计缺陷的工程构件的制造
US20160293203A1 (en) * 2015-03-31 2016-10-06 Seagate Technology Llc Disk surface defect detection
CN106645180A (zh) * 2017-02-06 2017-05-10 东旭科技集团有限公司 检查基板玻璃缺陷的方法、现场终端及服务器
CN108242054A (zh) * 2018-01-09 2018-07-03 北京百度网讯科技有限公司 一种钢板缺陷检测方法、装置、设备和服务器
CN108564104A (zh) * 2018-01-09 2018-09-21 北京百度网讯科技有限公司 产品缺陷检测方法、装置、系统、服务器及存储介质

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5204912A (en) 1990-02-26 1993-04-20 Gerber Systems Corporation Defect verification and marking system for use with printed circuit boards
US5544256A (en) 1993-10-22 1996-08-06 International Business Machines Corporation Automated defect classification system
US6014461A (en) 1994-11-30 2000-01-11 Texas Instruments Incorporated Apparatus and method for automatic knowlege-based object identification
US5991699A (en) 1995-05-04 1999-11-23 Kla Instruments Corporation Detecting groups of defects in semiconductor feature space
US6021380A (en) 1996-07-09 2000-02-01 Scanis, Inc. Automatic semiconductor wafer sorter/prober with extended optical inspection
US6072574A (en) 1997-01-30 2000-06-06 Micron Technology, Inc. Integrated circuit defect review and classification process
US6021220A (en) 1997-02-11 2000-02-01 Silicon Biology, Inc. System and method for pattern recognition
US6381098B1 (en) * 1997-08-18 2002-04-30 Seagate Technology, Llc Laser textured transducing head slider
WO2002021105A1 (en) 2000-09-10 2002-03-14 Orbotech, Ltd. Reduction of false alarms in pcb inspection
US7356175B2 (en) * 2003-09-25 2008-04-08 Columbia Forest Products, Inc. Identifying defects in decorative wood panels
US7208328B2 (en) 2004-03-16 2007-04-24 Macronix International Co., Ltd. Method and system for analyzing defects of an integrated circuit wafer
US7662648B2 (en) 2005-08-31 2010-02-16 Micron Technology, Inc. Integrated circuit inspection system
US20090060316A1 (en) * 2006-02-22 2009-03-05 Hannu Ruuska Method for Monitoring a Rapidly-Moving Paper Web and Corresponding System
US7738093B2 (en) 2007-05-07 2010-06-15 Kla-Tencor Corp. Methods for detecting and classifying defects on a reticle
WO2009122393A2 (en) * 2008-03-31 2009-10-08 Brightview Systems Ltd. A method and system for photovoltaic cell production yield enhancement
JP5275017B2 (ja) * 2008-12-25 2013-08-28 株式会社日立ハイテクノロジーズ 欠陥検査方法及びその装置
US10996258B2 (en) * 2009-11-30 2021-05-04 Ignis Innovation Inc. Defect detection and correction of pixel circuits for AMOLED displays
US8866890B2 (en) * 2010-11-05 2014-10-21 Teledyne Dalsa, Inc. Multi-camera
KR101246594B1 (ko) * 2012-12-13 2013-03-25 한국기계연구원 확률론적 신경회로망을 이용한 가스용기용 음향방출 진단장치 및 이를 이용한 가스용기의 결함 진단 방법
US10649424B2 (en) * 2013-03-04 2020-05-12 Fisher-Rosemount Systems, Inc. Distributed industrial performance monitoring and analytics
EP2959104A4 (en) * 2014-04-16 2016-05-18 Halliburton Energy Services Inc TIME-FREQUENCY DECOMPOSITION OF AN ULTRASONIC SIGNAL FOR THE EVALUATION OF A BOREHOLE OR INSPECTION OF PIPELINE
EP3397938B1 (en) * 2015-12-28 2019-08-28 Pirelli Tyre S.p.A. Apparatus for checking tyres
US10713776B2 (en) * 2017-04-13 2020-07-14 Instrumental, Inc. Method for predicting defects in assembly units
US9996981B1 (en) * 2016-03-07 2018-06-12 Bao Tran Augmented reality system
US10388011B2 (en) * 2016-05-17 2019-08-20 Abb Schweiz Ag Real-time, full web image processing method and system for web manufacturing supervision
TWI628428B (zh) * 2016-12-16 2018-07-01 由田新技股份有限公司 多視角影像擷取裝置、及其多視角影像檢測設備
US10866197B2 (en) * 2018-09-20 2020-12-15 KLA Corp. Dispositioning defects detected on extreme ultraviolet photomasks

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040012775A1 (en) * 2000-11-15 2004-01-22 Kinney Patrick D. Optical method and apparatus for inspecting large area planar objects
CN1571019A (zh) * 2003-07-14 2005-01-26 上海乐金广电电子有限公司 光盘装置中的伺服调整方法
CN101477066A (zh) * 2009-01-09 2009-07-08 华南理工大学 基于超分辨率图像重建的电路板元件安装/焊接质量检测方法及系统
CN102809497A (zh) * 2011-06-03 2012-12-05 通用电气公司 用于产出构件的分析的具有设计缺陷的工程构件的制造
US20160293203A1 (en) * 2015-03-31 2016-10-06 Seagate Technology Llc Disk surface defect detection
CN106645180A (zh) * 2017-02-06 2017-05-10 东旭科技集团有限公司 检查基板玻璃缺陷的方法、现场终端及服务器
CN108242054A (zh) * 2018-01-09 2018-07-03 北京百度网讯科技有限公司 一种钢板缺陷检测方法、装置、设备和服务器
CN108564104A (zh) * 2018-01-09 2018-09-21 北京百度网讯科技有限公司 产品缺陷检测方法、装置、系统、服务器及存储介质

Also Published As

Publication number Publication date
US11320385B2 (en) 2022-05-03
US20200116650A1 (en) 2020-04-16

Similar Documents

Publication Publication Date Title
CN111060512A (zh) 智能缺陷识别系统
US10539380B2 (en) Method and system for thermographic analysis
EP2776815B1 (en) System and method for improving automated defect detection user interface
CN110136101B (zh) 一种基于孪生距离比对的轮胎x光病疵检测方法
JP3733094B2 (ja) 良否判定装置、良否判定プログラムおよび良否判定方法
KR101744194B1 (ko) 반도체 fab 제조공정에서 유클리드 거리를 활용한 웨이퍼 자동 불량 검사 분류 예측 장치 및 방법
CN112070134A (zh) 电力设备图像分类方法、装置、电力设备及存储介质
US11521120B2 (en) Inspection apparatus and machine learning method
CN114862832A (zh) 缺陷检测模型的优化方法、装置、设备及存储介质
JP6823025B2 (ja) 検査装置及び機械学習方法
JP7056259B2 (ja) 検査システム、識別システム、及び識別器評価装置
CN113205479A (zh) 用于评估资产健康状况的系统和方法
CN112199295A (zh) 一种基于频谱的深度神经网络缺陷定位方法及系统
JP2023145412A (ja) 欠陥検出方法及びシステム
KR20210022278A (ko) 적외선 카메라를 이용한 불량 부품 검출 장치 및 방법
KR102649453B1 (ko) 회전기계의 결함을 진단하는 방법 및 시스템
JP7322560B2 (ja) プログラム、情報処理方法及び情報処理装置
CN112508946A (zh) 一种基于对抗神经网络的电缆隧道异常检测方法
JP2010019561A (ja) 欠陥検査装置および欠陥検査方法
EP3955206A1 (en) Autonomous penetrant testing
CN117828499B (zh) Pcba异常件确定方法、系统、存储介质及电子设备
TWI836175B (zh) 先進在線零件平均測試
JP2023036131A (ja) 検査システム、方法、及びプログラム
KR20230119842A (ko) 인공지능 기반의 제품의 외관 결함을 검사하는 방법 및 장치
US20230095525A1 (en) System and method for evaluating residual life of components made of composite materials

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200424

RJ01 Rejection of invention patent application after publication