CN117455865A - 一种物料缺陷复检显示方法、装置、设备及存储介质 - Google Patents

一种物料缺陷复检显示方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117455865A
CN117455865A CN202311408059.XA CN202311408059A CN117455865A CN 117455865 A CN117455865 A CN 117455865A CN 202311408059 A CN202311408059 A CN 202311408059A CN 117455865 A CN117455865 A CN 117455865A
Authority
CN
China
Prior art keywords
defect
image
display
information
subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311408059.XA
Other languages
English (en)
Inventor
侯晓峰
朱磊
张弛
刘远刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Gantu Network Technology Co Ltd
Original Assignee
Shanghai Gantu Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Gantu Network Technology Co Ltd filed Critical Shanghai Gantu Network Technology Co Ltd
Priority to CN202311408059.XA priority Critical patent/CN117455865A/zh
Publication of CN117455865A publication Critical patent/CN117455865A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/04Manufacturing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image

Abstract

本申请涉及一种物料缺陷复检显示方法、装置、设备及存储介质,应用在缺陷检测领域,其中方法包括:获取待复检物料板的缺陷图像的集合和每个缺陷图像对应的图像信息;基于缺陷所在的PCS信息,确定每个PCS信息对应的缺陷图像子集;根据图像信息,确定每个缺陷图像子集对应的首显图像;基于待复检物料板对应的PCS排列顺序显示缺陷图像子集,在缺陷图像子集中,首先显示缺陷图像子集对应的首显图像,并根据图像信息对首显图像添加显示标记,基于图像信息对缺陷图像子集中的其他缺陷图像排序。本申请具有的技术效果是:缓解了由于人工处理导致的重复检测和检测结果的一致性差等问题,提升了缺陷检测的效率和准确性。

Description

一种物料缺陷复检显示方法、装置、设备及存储介质
技术领域
本申请涉及缺陷检测的技术领域,尤其是涉及一种物料缺陷复检显示方法、装置、设备及存储介质。
背景技术
在制造业和相关领域,对物料和产品的质量控制起着至关重要的作用,由于在生产过程中可能会出现各种缺陷,需要对物料进行检测和评估,以确保产品质量;在对物料缺陷进行检测时,将物料图像进行排序显示,并快速准确地标记缺陷可以提高检测生产线的效率并减少误检的发生。
现有的物料复检系统通常根据缺陷所在物料板PCS(PCS为物料板包含的若干电子元件)的位置依次对该PCS中的所有缺陷进行显示,操作员按照复检系统的缺陷显示顺序对缺陷进行检测,并做出该PCS是否报废的决策。
然而,根据缺陷的位置顺序来显示缺陷图片会导致出现无意义的检测,例如当操作员检测物料中某一PCS的缺陷时,如果在对该PCS的一些可修复的缺陷检测之后,检测到了需要报废的缺陷,就会使得前面的检测变得无意义,从而降低了缺陷检测的效率。
发明内容
为了提升物料缺陷复检的效率,本申请提供一种物料缺陷复检显示方法、装置、设备及存储介质。
第一方面,本申请提供一种一种物料缺陷复检显示方法,采用如下的技术方案:所述方法包括:
获取待复检物料板的缺陷图像的集合和每个所述缺陷图像对应的图像信息,所述图像信息包括缺陷所在的PCS信息;
基于所述缺陷所在的PCS信息,确定每个PCS信息对应的缺陷图像子集;
根据所述图像信息,确定每个所述缺陷图像子集对应的首显图像;
基于所述待复检物料板对应的PCS排列顺序显示所述缺陷图像子集,在所述缺陷图像子集中,首先显示所述缺陷图像子集对应的首显图像,并根据所述图像信息对所述首显图像添加显示标记,基于图像信息对所述缺陷图像子集中的其他缺陷图像排序。
通过上述技术方案,对缺陷所在的PCS信息划分缺陷图像的子集,确定最高优先级的首显图像,并对PCS信息中其他缺陷进行排序的方法,可以依据处理优先级顺序对缺陷图像进行复检,一般来说涉及重大的问题的缺陷可能导致产品无法修复或无法正常工作,相比之下,问题较小的缺陷需要较少的修复操作或调整,通过对缺陷图像进行排序显示,可以快速确定哪些缺陷需要优先处理,以便更有效地利用资源和时间;通过对首显图像添加显示标记,提供了一种直观且易于理解的视觉指引,这种显示标记使操作人员能够快速识别并处理首显图像,并将其置于优先处理的位置,例如将问题严重的物料从生产线上移除、进行更详细的分析或调查等,缓解了由于人工处理导致的重复检测和检测结果的一致性差等问题,进而提升了缺陷检测的效率和准确性。
在一个具体的可实施方案中,所述图像信息还包括缺陷类型和缺陷置信度,所述缺陷类型包括报废级别缺陷,所述报废级别缺陷包括电测不良和普通报废,所述根据所述图像信息,确定每个所述缺陷图像子集对应的首显图像包括:
基于电测不良、普通报废和非报废级别缺陷的顺序划分所述缺陷类型的优先级;
在所述缺陷图像子集中,将优先级最高的所述缺陷类型对应的缺陷图像的集合确定为目标子集,并对所述目标子集中所述缺陷图像对应的缺陷置信度排序;
将所述缺陷置信度排序最高的所述缺陷图像确定为首显图像。
通过上述技术方案,根据图像信息中的缺陷类型,尤其是报废级别缺陷(如电测不良和普通报废),将不同类型的缺陷划分为不同的优先级,这样可以根据缺陷类型的严重程度和影响程度,确定处理缺陷的优先顺序;在缺陷图像子集中,根据缺陷类型的优先级顺序划分,将优先级最高的缺陷类型对应的缺陷图像集合确定为目标子集,这样可以将具有较高优先级的缺陷集中在目标子集中,以便更快速地处理这些重要的缺陷;对目标子集中的缺陷图像,根据缺陷置信度进行排序,缺陷置信度反映了缺陷检出的真实性,通过对缺陷图像按照置信度进行排序,可以确保首显图像是目标子集中置信度最高的缺陷图像,帮助操作人员快速确定需要优先处理的缺陷图像,更好地利用时间和资源对缺陷进行复检。
在一个具体的可实施方案中,根据所述图像信息对所述首显图像添加显示标记包括:
判断所述首显图像对应的缺陷类型;
若所述首显图像对应的缺陷类型是报废级别缺陷,则以第一方式对所述首显图像添加显示标记;
否则,以第二方式对所述首显图像添加显示标记。
通过上述技术方案,对于报废级别缺陷,采用第一方式进行显示标记;而对于其他类型的缺陷,则采用第二方式进行显示标记,可以区分不同级别的缺陷,在显示上给予不同的强调和标识,使操作人员能够更快速地识别和处理重要的缺陷;通过以第一方式对报废级别缺陷的首显图像添加显示标记,将重点放在这些缺陷上,提醒操作人员其严重性,有助于及时处理报废级别缺陷,减少不合格产品的流出;通过以不同方式对非报废级别缺陷类型的首显图像添加显示标记,可以在视觉上区分缺陷的重要性,有助于操作人员快速识别并处理优先级较高的缺陷,提高复检效率和准确性。
在一个具体的可实施方案中,所述在所述缺陷图像子集中,首先显示所述缺陷图像子集对应的首显图像,并根据所述图像信息对所述首显图像添加显示标记之后,还包括:
若所述首显图像对应的缺陷类型为电测不良,则不显示所述缺陷图像子集中的其他缺陷图像。
通过上述技术方案,电测不良缺陷往往具有较高的严重性和影响程度,有最大的可能导致缺陷所在的物料PCS直接报废,若首显图像对应的缺陷类型为电测不良,对其添加标记并显示,使操作人员可以迅速定位到物料PCS中的电测不良缺陷并查看缺陷的严重程度;之后不显示其他缺陷图像,操作人员可以更加专注地处理电测不良缺陷,加快处理速度并减少处理过程中的干扰,有助于提高缺陷复检的处理效率。
在一个具体的可实施方案中,所述图像信息还包括面次信息,所述面次信息包括物料正面和物料反面,所述基于图像信息对所述缺陷图像子集中的其他缺陷图像排序包括:
将所述缺陷类型的优先级确定为第一优先级,将所述面次信息的优先级确定为第二优先级,所述面次信息的优先级顺序为物料正面和物料反面;
根据所述第一优先级和所述第二优先级对所述缺陷图像子集中的其他缺陷图像排序。
通过上述技术方案,通过将缺陷类型和面次信息的优先级结合起来,实现了多维度的排序,将缺陷类型设定为第一优先级,确保优先处理重要的缺陷类型,将面次信息设定为第二优先级,以便操作人员能够根据物料的正面和反面特征进行更加精准的处理;物料的正面和反面被赋予不同的优先级,以便根据需要进行排序,可以根据具体情况确定,例如物料在某些场景下,物料正面更容易出现关键缺陷,因此需要优先处理;通过根据缺陷类型和面次信息的优先级对缺陷图像子集进行排序,该方法能够使操作人员更加有针对性地处理缺陷,首先处理重要的缺陷类型,并根据物料的正面和反面特征进行进一步的处理,从而提高处理效率和准确性。
在一个具体的可实施方案中,若以第一方式对所述首显图像添加显示标记,在所述基于图像信息对所述缺陷图像子集中的其他缺陷图像排序之后,还包括:
在获取到所述缺陷图像的改判指令时,取消以第一方式对所述首显图像添加的显示标记,并以第三方式对所述首显图像添加显示标记;
所述以第三方式对所述首显图像添加显示标记与所述以第一方式对所述首显图像添加显示标记的图案相同,颜色不同。
通过上述技术方案,当出现改判指令时,及时取消之前添加的显示标记,以便进行重新评估或更正,可以确保操作人员根据最新的判定要求进行处理,避免基于过时或错误信息做出决策;通过使用第三方式的显示标记,区别于第一方式的显示标记,可以清晰地表示出首显图像经过改判后的状态,不同颜色的显示标记可以引起操作人员的注意,帮助其迅速识别改判后的图像状态;通过取消第一方式的显示标记并添加第三方式的显示标记这样一种可靠的机制来确保对首显图像进行准确的判定和处理,使得操作人员可以根据不同的显示标记确定图像的处理状态,从而减少错误处理的可能性。
在一个具体的可实施方案中,所述缺陷图像包括缺陷照片图像和与所述缺陷照片图像对应的缺陷CAM图像。
通过上述技术方案,通过同时获取待复检缺陷照片图像和对应的待复检缺陷CAM图像,提供了多维度的缺陷信息,待复检缺陷照片图像通常是通过可见光图像获取的,可以展示缺陷的外观和形态特征,而待复检缺陷CAM图像则基于热成像或红外技术,可以提供额外的信息用于检测和判断,有些缺陷可能在可见光图像中不易察觉,但在热量分布上表现出明显的异常,通过结合两种图像,可以发现更多缺陷隐藏的细节,这种多维度的信息获取有助于更全面地了解缺陷的性质和特点;通过综合分析这两种图像,操作人员可以更准确地识别缺陷的类型、位置和严重程度,进而有助于提高缺陷检测的准确性和可靠性。
第二方面,本申请提供一种物料缺陷复检装置,采用如下技术方案:所述装置包括:
图像获取模块,用于获取待复检物料板的缺陷图像的集合和每个所述缺陷图像对应的图像信息,所述图像信息包括缺陷所在的PCS信息;
图像子集确定模块,用于基于所述缺陷所在的PCS信息,确定每个PCS信息对应的缺陷图像子集;
首显图像确定模块,用于根据所述图像信息,确定每个所述缺陷图像子集对应的首显图像;
排序显示模块,用于基于所述待复检物料板对应的PCS排列顺序显示所述缺陷图像子集,在所述缺陷图像子集中,首先显示所述缺陷图像子集对应的首显图像,并根据所述图像信息对所述首显图像添加显示标记,基于图像信息对所述缺陷图像子集中的其他缺陷图像排序。
第三方面,本申请提供一种计算机设备,采用如下技术方案:包括存储器和处理器,所述存储器上存储有能够被处理器加载并执行如上述任一种物料缺陷复检显示方法的计算机程序。
第四方面,本申请提供一种计算机可读存储介质,采用如下技术方案:存储有能够被处理器加载并执行上述任一种物料缺陷复检显示方法的计算机程序。
综上所述,本申请具有以下有益技术效果:
本申请方案通过缺陷所在的PCS信息划分缺陷图像的子集,确定最高优先级的首显图像,并对PCS信息中其他缺陷进行排序的方法,可以依据处理优先级顺序对缺陷图像进行复检,一般来说涉及重大的问题的缺陷可能导致产品无法修复或无法正常工作,相比之下,问题较小的缺陷需要较少的修复操作或调整,通过对缺陷图像进行排序显示,可以快速确定哪些缺陷需要优先处理,以便更有效地利用资源和时间;通过对首显图像添加显示标记,提供了一种直观且易于理解的视觉指引,这种显示标记使操作人员能够快速识别并处理首显图像,并将其置于优先处理的位置,例如将问题严重的物料从生产线上移除、进行更详细的分析或调查等,缓解了由于人工处理导致的重复检测和检测结果的一致性差等问题,进而提升了缺陷检测的效率和准确性。
附图说明
图1是本申请实施例中物料缺陷复检显示方法的流程图。
图2是本申请实施例中缺陷复检的显示界面。
图3是本申请实施例中物料缺陷复检装置的结构框图。
图4是本申请实施例中用于体现计算机设备的示意图。
附图标记:301、图像获取模块;302、图像子集确定模块;303、首显图像确定模块;304、排序显示模块。
具体实施方式
以下结合附图1-3对本申请作进一步详细说明。
本申请实施例公开一种物料缺陷复检显示方法,该方法用于对完成前工站流程的物料缺陷排序显示用于对其进行复检,也即本申请中的物料缺陷复检显示方法所针对的检测对象为:已经经过前工站的处理并具有前工站检测结果的物料。
如图1所示,该方法包括以下步骤:
S10,获取待复检物料板的缺陷图像的集合和每个缺陷图像对应的图像信息,图像信息包括缺陷所在的PCS信息。
具体来说,待复检物料板是指需要进行缺陷复检的物料板,物料板包括若干个PCS,每个PCS上可能存在多个缺陷,首先,需要获取该物料板上的所有缺陷图像,缺陷图像集合是指由这些缺陷图像组成的集合;除了缺陷图像本身,每个缺陷图像还有对应的图像信息,图像信息是对缺陷进行描述的信息;图像信息中包含了缺陷所在的PCS信息,PCS信息用于标识缺陷在物料板上的具体位置,如图2所示,针对每个图像都会有一个PCS ID与其对应;通过获取缺陷图像集合和每个缺陷图像对应的图像信息,可以为后续步骤提供必要的数据基础,以便更有效地进行物料缺陷复检。
S20,基于缺陷所在的PCS信息,确定每个PCS信息对应的缺陷图像子集。
具体来说,根据缺陷所在的PCS信息,可以将具有相同PCS信息的缺陷图像进行分组,形成缺陷图像的子集,即将同一PCS信息下的缺陷图像归类到一起,形成一个子集;通过将缺陷图像按照PCS信息进行分组,可以更好地组织和管理缺陷图像数据,有助于后续步骤中对子集进行处理、排序和显示,以便更方便地进行缺陷复检和分析。
S30,根据图像信息,确定每个缺陷图像子集对应的首显图像。
具体来说,首显图像是在每个缺陷图像子集中优先显示的图像,用于代表该缺陷图像子集中最严重的缺陷对应的缺陷图片;首显图像可以帮助操作人员快速了解缺陷图像子集中的缺陷特征,并在复检过程中提供指导和决策依据。
S40,基于待复检物料板对应的PCS排列顺序显示缺陷图像子集,在缺陷图像子集中,首先显示缺陷图像子集对应的首显图像,并根据图像信息对首显图像添加显示标记,基于图像信息对缺陷图像子集中的其他缺陷图像排序。
具体来说,首先根据待复检物料板对应的PCS排列顺序,确定缺陷图像子集的显示顺序;对于每个缺陷图像子集,首先显示对应的首显图像,即缺陷图像子集中最严重的缺陷对应的缺陷图片,使得操作人员可以快速了解每个缺陷图像子集的主要缺陷特征;根据图像信息,为首显图像添加显示标记,显示标记可以是特定的图形、颜色或其他标识,用于突出显示首显图像;对于每个子集中的非首显图像,根据图像信息中的特定属性或规则进行排序,以确定它们的显示顺序;通过按照待复检物料板的PCS排列顺序显示缺陷图像子集,并对首显图像进行标记和对其他图像进行排序,可以有序地展示缺陷图像,帮助操作人员更好地观察和分析缺陷情况,并进行有效的复检和判定。
通过物料缺陷复检显示方法,对缺陷所在的PCS信息划分缺陷图像的子集,确定最高优先级的首显图像,并对PCS信息中其他缺陷进行排序的方法,可以依据处理优先级顺序对缺陷图像进行复检,一般来说涉及重大的问题的缺陷可能导致产品无法修复或无法正常工作,相比之下,问题较小的缺陷需要较少的修复操作或调整,通过对缺陷图像进行排序显示,可以快速确定哪些缺陷需要优先处理,以便更有效地利用资源和时间;通过对首显图像添加显示标记,提供了一种直观且易于理解的视觉指引,这种显示标记使操作人员能够快速识别并处理首显图像,并将其置于优先处理的位置,例如将问题严重的物料从生产线上移除、进行更详细的分析或调查等,缓解了由于人工处理导致的重复检测和检测结果的一致性差等问题,进而提升了缺陷检测的效率和准确性。
在一个实施例中,图像信息还包括缺陷类型和缺陷置信度,缺陷类型包括报废级别缺陷,报废级别缺陷包括电测不良和普通报废,为了帮助操作人员快速确定需要优先处理的缺陷图像,根据图像信息,确定每个缺陷图像子集对应的首显图像的步骤可以被具体执行为:
首先基于电测不良、普通报废和非报废级别缺陷的顺序划分缺陷类型的优先级,本申请方案是根据各个缺陷类型对产品质量的重要性和影响程度来确定优先级顺序的;电测不良是指在电子产品制造过程中,产品在电子测试阶段无法通过功能或性能测试的缺陷,这类缺陷可能导致产品的主要功能无法正常工作或性能指标不达标,对产品的质量和性能产生直接影响,因此电测不良缺陷被划分为最高优先级,需要首先处理以确保产品的基本功能和性能能够满足要求;普通报废是指产品制造过程中出现的缺陷,经过检验后无法修复或达到要求,被判定为不合格而报废,这类缺陷可能导致产品的某些功能或性能受限,但通常不会造成严重影响或安全隐患,虽然普通报废缺陷的影响程度较低,但仍然需要优先处理,以确保产品质量的整体可靠性和满足客户要求;非报废级别缺陷是指在产品制造过程中出现的缺陷,虽然存在但不会导致产品整体被判定为不合格或报废,这类缺陷可能是一些小的瑕疵、外观缺陷或对产品功能和性能的次要影响,相对于电测不良和普通报废,非报废级别缺陷的影响程度较低,可以在后续阶段进行修复或处理;如图2所示,针对每个缺陷图像,都会有对应的缺陷种类,每一个缺陷种类都有其属于的范畴,包括电测不良、普通报废和非报废级别等;在缺陷图像子集中,将优先级最高的缺陷类型对应的缺陷图像的集合确定为目标子集,并对目标子集中缺陷图像对应的缺陷置信度排序;将缺陷置信度排序最高的缺陷图像确定为首显图像,使用缺陷置信度是为了在子集中选出唯一的首显图像,以缓解多个相同类型的缺陷图像的情况,当在某个缺陷图像子集中存在多个相同类型的缺陷时,通过比较它们的缺陷置信度可以确定哪个缺陷图像应该作为首显图像;缺陷置信度是用于衡量缺陷检测算法对缺陷存在的程度或可信度的指标,它可以反映每个缺陷图像中缺陷的判断准确性和置信程度,通过对缺陷图像子集中的图像进行缺陷置信度排序,可以选择具有最高置信度的图像作为首显图像;选择具有最高置信度的图像作为首显图像的好处是,它代表了在该子集中最明显或最重要的缺陷,使得操作人员可以首先处理具有最高置信度的缺陷图像,以尽快进行复检和修复,从而提高生产效率和产品质量。
根据图像信息中的缺陷类型,尤其是报废级别缺陷(如电测不良和普通报废),将不同类型的缺陷划分为不同的优先级,这样可以根据缺陷类型的严重程度和影响程度,确定处理缺陷的优先顺序;在缺陷图像子集中,根据缺陷类型的优先级顺序划分,将优先级最高的缺陷类型对应的缺陷图像集合确定为目标子集,这样可以将具有较高优先级的缺陷集中在目标子集中,以便更快速地处理这些重要的缺陷;对目标子集中的缺陷图像,根据缺陷置信度进行排序,缺陷置信度反映了缺陷检出的真实性,通过对缺陷图像按照置信度进行排序,可以确保首显图像是目标子集中置信度最高的缺陷图像,帮助操作人员快速确定需要优先处理的缺陷图像,更好地利用时间和资源对缺陷进行复检。
在一个实施例中,为了对不同级别的缺陷进行区分,根据图像信息对首显图像添加显示标记的步骤可以被具体执行为:
首先判断首显图像对应的缺陷类型;若首显图像对应的缺陷类型是报废级别缺陷,表示这是一个严重的缺陷,可能导致产品无法使用或无法满足质量标准,在这种情况下,以第一方式对首显图像添加显示标记,以凸显其重要性和紧急性;如果判断结果显示首显图像对应的缺陷类型不是报废级别的,即属于其他级别的缺陷,以第二方式对首显图像添加显示标记,这种标记方式可能相对较轻,表示该缺陷对产品的影响程度较低,可以在后续阶段或修复过程中进行处理。
对于报废级别缺陷,采用第一方式进行显示标记;而对于其他类型的缺陷,则采用第二方式进行显示标记,可以区分不同级别的缺陷,在显示上给予不同的强调和标识,使操作人员能够更快速地识别和处理重要的缺陷;通过以第一方式对报废级别缺陷的首显图像添加显示标记,将重点放在这些缺陷上,提醒操作人员其严重性,有助于及时处理报废级别缺陷,减少不合格产品的流出;通过以不同方式对非报废级别缺陷类型的首显图像添加显示标记,可以在视觉上区分缺陷的重要性,有助于操作人员快速识别并处理优先级较高的缺陷,提高复检效率和准确性。
在一个实施例中,为了提高缺陷复检的处理效率,在缺陷图像子集中,首先显示缺陷图像子集对应的首显图像,并根据图像信息对首显图像添加显示标记之后的步骤可以被具体执行为:
若首显图像对应的缺陷类型为电测不良,则不显示缺陷图像子集中的其他缺陷图像;电测不良缺陷往往具有较高的严重性和影响程度,有最大的可能导致缺陷所在的物料PCS直接报废,那么继续显示缺陷图像子集中的其他缺陷图像可能是不必要的,在这种情况下,可以跳过显示缺陷图像子集中的其他缺陷图像的步骤,而只显示首显图像,并对其添加显示标记,让操作人员专注于处理该电测不良缺陷,这种做法可以提高缺陷复检的处理效率,避免操作人员花费时间处理其他次要缺陷,而将重点放在处理最重要的缺陷上,通过直接报废PCS,可以减少不必要的资源和时间浪费,并确保产品质量和安全性。
将缺陷类型为电测不良的首显图像添加标记并显示,使操作人员可以迅速定位到物料PCS中的电测不良缺陷并查看缺陷的严重程度;之后不显示其他缺陷图像,操作人员可以更加专注地处理电测不良缺陷,加快处理速度并减少处理过程中的干扰,有助于提高缺陷复检的处理效率。
在一个实施例中,图像信息还包括面次信息,面次信息包括物料正面和物料反面,为了将缺陷类型和面次信息的优先级结合起来,基于图像信息对缺陷图像子集中的其他缺陷图像排序的步骤可以被具体执行为:
将缺陷类型的优先级确定为第一优先级,意味着不同缺陷类型之间将根据其严重性、影响程度或其他相关因素进行排序,以确定其优先级顺序,使得将处理重要和严重缺陷的工作放在首位;将面次信息的优先级确定为第二优先级,面次信息的优先级顺序为物料正面和物料反面,这是根据物料正面具有更重要的特征、更高的可见性或其他因素,需要更加关注和处理,也可以结合实际场景更换显示的优先级;根据第一优先级和第二优先级对缺陷图像子集中的其他缺陷图像排序,即首先按照缺陷类型的优先级进行排序,然后在同一缺陷类型下,按照面次信息的优先级进行进一步排序。
通过将缺陷类型和面次信息的优先级结合起来,实现了多维度的排序,将缺陷类型设定为第一优先级,确保优先处理重要的缺陷类型,将面次信息设定为第二优先级,以便操作人员能够根据物料的正面和反面特征进行更加精准的处理;物料的正面和反面被赋予不同的优先级,以便根据需要进行排序,可以根据具体情况确定,例如物料在某些场景下,物料正面更容易出现关键缺陷,因此需要优先处理;通过根据缺陷类型和面次信息的优先级对缺陷图像子集进行排序,该方法能够使操作人员更加有针对性地处理缺陷,首先处理重要的缺陷类型,并根据物料的正面和反面特征进行进一步的处理,从而提高处理效率和准确性。
在一个实施例中,为了体现首显图像状态的变化,若以第一方式对首显图像添加显示标记,在基于图像信息对缺陷图像子集中的其他缺陷图像排序之后的步骤可以被具体执行为:
在获取到缺陷图像的改判指令时,取消以第一方式对首显图像添加的显示标记,并以第三方式对首显图像添加显示标记;以第三方式对首显图像添加显示标记与以第一方式对首显图像添加显示标记的图案相同,颜色不同;使得清楚地表达首显图像状态的变化,同时保留了之前添加的显示标记的图案,通过颜色的变化提醒操作人员注意首显图像的改判情况,通过保留之前的显示标记图案,还可以避免重新标记和处理已被确认的缺陷,节省时间和工作量,进而提升缺陷复检的效率。
当出现改判指令时,及时取消之前添加的显示标记,以便进行重新评估或更正,可以确保操作人员根据最新的判定要求进行处理,避免基于过时或错误信息做出决策;通过使用第三方式的显示标记,区别于第一方式的显示标记,可以清晰地表示出首显图像经过改判后的状态,不同颜色的显示标记可以引起操作人员的注意,帮助其迅速识别改判后的图像状态;通过取消第一方式的显示标记并添加第三方式的显示标记这样一种可靠的机制来确保对首显图像进行准确的判定和处理,使得操作人员可以根据不同的显示标记确定图像的处理状态,从而减少错误处理的可能性。
在一个实施例中,为了更全面地了解缺陷的性质和特点,缺陷图像包括缺陷照片图像和与缺陷照片图像对应的缺陷CAM图像;如图2所示,针对每一个缺陷,会同时显示缺陷照片图像,即位于缺陷信息下方的图像,和缺陷CAM图像,即位于缺陷信息左侧或右侧的图像;缺陷照片图像是通过拍摄或捕捉设备采集的图像,用于显示具有缺陷的产品、组件或材料的外观,这些图像通常是在可见光范围内捕获的,并提供了对缺陷外观、形态和位置的视觉呈现,缺陷照片图像可以通过摄像机、显微镜或其他成像设备获取;与缺陷照片图像对应的缺陷CAM图像指的是通过计算机辅助制造技术生成的图像,CAM图像可以是基于CAD(计算机辅助设计)数据、数学模型或其他相关信息生成的,它们通常显示了缺陷的更详细的几何形状、尺寸和特征,以及与缺陷相关的其他技术数据,CAM图像可以提供更深入的了解缺陷的性质和特点,有助于进一步分析和处理。
通过同时获取待复检缺陷照片图像和对应的待复检缺陷CAM图像,提供了多维度的缺陷信息,待复检缺陷照片图像通常是通过可见光图像获取的,可以展示缺陷的外观和形态特征,而待复检缺陷CAM图像则基于热成像或红外技术,可以提供额外的信息用于检测和判断,有些缺陷可能在可见光图像中不易察觉,但在热量分布上表现出明显的异常,通过结合两种图像,可以发现更多缺陷隐藏的细节,这种多维度的信息获取有助于更全面地了解缺陷的性质和特点;通过综合分析这两种图像,操作人员可以更准确地识别缺陷的类型、位置和严重程度,进而有助于提高缺陷检测的准确性和可靠性。
图1是一个实施例中物料缺陷复检显示方法的流程示意图。应该理解的是,虽然图1流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行;除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行;并且图1的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
基于上述方法,本申请实施例还公开一种物料缺陷复检装置。
参照图3,该装置包括以下模块:
图像获取模块301,用于获取待复检物料板的缺陷图像的集合和每个缺陷图像对应的图像信息,图像信息包括缺陷所在的PCS信息;
图像子集确定模块302,用于基于缺陷所在的PCS信息,确定每个PCS信息对应的缺陷图像子集;
首显图像确定模块303,用于根据图像信息,确定每个缺陷图像子集对应的首显图像;
排序显示模块304,用于基于待复检物料板对应的PCS排列顺序显示缺陷图像子集,在缺陷图像子集中,首先显示缺陷图像子集对应的首显图像,并根据图像信息对首显图像添加显示标记,基于图像信息对缺陷图像子集中的其他缺陷图像排序。
在一个实施例中,首显图像确定模块303,具体用于基于电测不良、普通报废和非报废级别缺陷的顺序划分缺陷类型的优先级;在缺陷图像子集中,将优先级最高的缺陷类型对应的缺陷图像的集合确定为目标子集,并对目标子集中缺陷图像对应的缺陷置信度排序;将缺陷置信度排序最高的缺陷图像确定为首显图像。
在一个实施例中,排序显示模块304,具体用于判断首显图像对应的缺陷类型;若首显图像对应的缺陷类型是报废级别缺陷,则以第一方式对首显图像添加显示标记;否则,以第二方式对首显图像添加显示标记。
在一个实施例中,排序显示模块304,具体用于若首显图像对应的缺陷类型为电测不良,则不显示缺陷图像子集中的其他缺陷图像。
在一个实施例中,排序显示模块304,具体用于将缺陷类型的优先级确定为第一优先级,将面次信息的优先级确定为第二优先级,面次信息的优先级顺序为物料正面和物料反面;根据第一优先级和第二优先级对缺陷图像子集中的其他缺陷图像排序。
在一个实施例中,排序显示模块304,具体用于在获取到缺陷图像的改判指令时,取消以第一方式对首显图像添加的显示标记,并以第三方式对首显图像添加显示标记;以第三方式对首显图像添加显示标记与以第一方式对首显图像添加显示标记的图案相同,颜色不同。
在一个实施例中,图像获取模块301,具体用于缺陷图像包括缺陷照片图像和与缺陷照片图像对应的缺陷CAM图像。
本申请实施例提供的物料缺陷复检装置,可以应用于如上述实施例中提供的物料缺陷复检显示方法,相关细节参考上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
需要说明的是:本申请实施例中提供的物料缺陷复检装置在进行物料缺陷复检时,仅以上述各功能模块/功能单元的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块/功能单元完成,即将物料缺陷复检装置的内部结构划分成不同的功能模块/功能单元,以完成以上描述的全部或者部分功能。另外,上述方法实施例提供的物料缺陷复检显示方法的实施方式与本实施例提供的物料缺陷复检装置的实施方式属于同一构思,本实施例提供的物料缺陷复检装置的具体实现过程详见上述方法实施例,这里不再赘述。
本申请实施例还公开一种计算机设备。
具体来说,如图4所示,该计算机设备可以是桌上型计算机、笔记本电脑、掌上电脑以及云端服务器等计算机设备。该计算机设备可以包括,但不限于,处理器和存储器。其中,处理器和存储器可以通过总线或者其他方式连接。其中,处理器可以为中央处理器(Central Processing Unit,CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、图形处理器(Graphics Processing Unit,GPU)、嵌入式神经网络处理器(Neural-network Processing Unit,NPU)或者其他专用的深度学习协处理器、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本申请上述实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施方式中的方法。存储器可以包括存储程序区和存储数据区,其中,存储程序区可存储控制单元、至少一个功能所需要的应用程序;存储数据区可存储处理器所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例还公开一种计算机可读存储介质。
具体来说,计算机可读存储介质用于存储计算机程序,计算机程序被处理器执行时,实现上述方法实施方式中的方法。本领域技术人员可以理解,实现本申请上述实施方式方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施方式的流程。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;存储介质还可以包括上述种类的存储器的组合。
本具体实施例仅仅是对本发明的解释,其并不是对本发明的限制,本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改,但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (10)

1.一种物料缺陷复检显示方法,其特征在于,所述方法包括:
获取待复检物料板的缺陷图像的集合和每个所述缺陷图像对应的图像信息,所述图像信息包括缺陷所在的PCS信息;
基于所述缺陷所在的PCS信息,确定每个PCS信息对应的缺陷图像子集;
根据所述图像信息,确定每个所述缺陷图像子集对应的首显图像;
基于所述待复检物料板对应的PCS排列顺序显示所述缺陷图像子集,在所述缺陷图像子集中,首先显示所述缺陷图像子集对应的首显图像,并根据所述图像信息对所述首显图像添加显示标记,基于图像信息对所述缺陷图像子集中的其他缺陷图像排序。
2.根据权利要求1所述的方法,其特征在于,所述图像信息还包括缺陷类型和缺陷置信度,所述缺陷类型包括报废级别缺陷,所述报废级别缺陷包括电测不良和普通报废,所述根据所述图像信息,确定每个所述缺陷图像子集对应的首显图像包括:
基于电测不良、普通报废和非报废级别缺陷的顺序划分所述缺陷类型的优先级;
在所述缺陷图像子集中,将优先级最高的所述缺陷类型对应的缺陷图像的集合确定为目标子集,并对所述目标子集中所述缺陷图像对应的缺陷置信度排序;
将所述缺陷置信度排序最高的所述缺陷图像确定为首显图像。
3.根据权利要求2所述的方法,其特征在于,根据所述图像信息对所述首显图像添加显示标记包括:
判断所述首显图像对应的缺陷类型;
若所述首显图像对应的缺陷类型是报废级别缺陷,则以第一方式对所述首显图像添加显示标记;
否则,以第二方式对所述首显图像添加显示标记。
4.根据权利要求3所述的方法,其特征在于,所述在所述缺陷图像子集中,首先显示所述缺陷图像子集对应的首显图像,并根据所述图像信息对所述首显图像添加显示标记之后,还包括:
若所述首显图像对应的缺陷类型为电测不良,则不显示所述缺陷图像子集中的其他缺陷图像。
5.根据权利要求4所述的方法,其特征在于,所述图像信息还包括面次信息,所述面次信息包括物料正面和物料反面,所述基于图像信息对所述缺陷图像子集中的其他缺陷图像排序包括:
将所述缺陷类型的优先级确定为第一优先级,将所述面次信息的优先级确定为第二优先级,所述面次信息的优先级顺序为物料正面和物料反面;
根据所述第一优先级和所述第二优先级对所述缺陷图像子集中的其他缺陷图像排序。
6.根据权利要求3所述的方法,其特征在于,若以第一方式对所述首显图像添加显示标记,在所述基于图像信息对所述缺陷图像子集中的其他缺陷图像排序之后,还包括:
在获取到所述缺陷图像的改判指令时,取消以第一方式对所述首显图像添加的显示标记,并以第三方式对所述首显图像添加显示标记;
所述以第三方式对所述首显图像添加显示标记与所述以第一方式对所述首显图像添加显示标记的图案相同,颜色不同。
7.根据权利要求1所述的方法,其特征在于,所述缺陷图像包括缺陷照片图像和与所述缺陷照片图像对应的缺陷CAM图像。
8.一种物料缺陷复检装置,其特征在于,所述装置包括:
图像获取模块(301),用于获取待复检物料板的缺陷图像的集合和每个所述缺陷图像对应的图像信息,所述图像信息包括缺陷所在的PCS信息;
图像子集确定模块(302),用于基于所述缺陷所在的PCS信息,确定每个PCS信息对应的缺陷图像子集;
首显图像确定模块(303),用于根据所述图像信息,确定每个所述缺陷图像子集对应的首显图像;
排序显示模块(304),用于基于所述待复检物料板对应的PCS排列顺序显示所述缺陷图像子集,在所述缺陷图像子集中,首先显示所述缺陷图像子集对应的首显图像,并根据所述图像信息对所述首显图像添加显示标记,基于图像信息对所述缺陷图像子集中的其他缺陷图像排序。
9.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器上存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。
10.一种计算机可读存储介质,其特征在于,存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。
CN202311408059.XA 2023-10-26 2023-10-26 一种物料缺陷复检显示方法、装置、设备及存储介质 Pending CN117455865A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311408059.XA CN117455865A (zh) 2023-10-26 2023-10-26 一种物料缺陷复检显示方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311408059.XA CN117455865A (zh) 2023-10-26 2023-10-26 一种物料缺陷复检显示方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117455865A true CN117455865A (zh) 2024-01-26

Family

ID=89592391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311408059.XA Pending CN117455865A (zh) 2023-10-26 2023-10-26 一种物料缺陷复检显示方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117455865A (zh)

Similar Documents

Publication Publication Date Title
US11488294B2 (en) Method for detecting display screen quality, apparatus, electronic device and storage medium
CN109934814B (zh) 表面缺陷侦测系统及其方法
US10878283B2 (en) Data generation apparatus, data generation method, and data generation program
WO2019117065A1 (ja) データ生成装置、データ生成方法及びデータ生成プログラム
KR102058427B1 (ko) 검사 장치 및 방법
KR20200004825A (ko) 디스플레이 장치 품질 검사 방법, 장치, 전자 장치 및 저장 매체
US8041100B2 (en) System for specifying equipment causing failure
CZ20024260A3 (cs) Systém zpracování zobrazení pro použití v systému kontroly
JP5718781B2 (ja) 画像分類装置および画像分類方法
US10860901B2 (en) Detection system, information processing apparatus, evaluation method, and program
CN111242899B (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
CN113222913B (zh) 一种电路板缺陷检测定位方法、装置和存储介质
CN109462999B (zh) 通过数据平衡基于学习的视觉检查方法以及利用其的视觉检查装置
JP5533196B2 (ja) 座標平面におけるデータ点分布領域の識別方法及びその識別プログラム
TW201606854A (zh) 用於晶粒對資料庫光罩檢查之自動校準樣本選擇
CN112270687A (zh) 布料瑕疵识别模型的训练方法和布料瑕疵的检测方法
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
JP5405245B2 (ja) 画像検査方法及び画像検査装置
CN117372424B (zh) 一种缺陷检测方法、装置、设备及存储介质
TW201512649A (zh) 偵測晶片影像瑕疵方法及其系統與電腦程式產品
CN115588626B (zh) 晶圆的缺陷模式识别方法、设备及存储介质
KR20160105082A (ko) 기판 검사 장치 및 그 검사 방법
CN117455865A (zh) 一种物料缺陷复检显示方法、装置、设备及存储介质
KR20200044227A (ko) 이미지에 대한 기계 학습을 수행하기 위한 방법 및 장치
TWI722861B (zh) 分類方法及分類系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination