CN114881996A - 缺陷检测方法及装置 - Google Patents

缺陷检测方法及装置 Download PDF

Info

Publication number
CN114881996A
CN114881996A CN202210578969.1A CN202210578969A CN114881996A CN 114881996 A CN114881996 A CN 114881996A CN 202210578969 A CN202210578969 A CN 202210578969A CN 114881996 A CN114881996 A CN 114881996A
Authority
CN
China
Prior art keywords
unit
units
tested
detected
suspicious
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210578969.1A
Other languages
English (en)
Inventor
刘童
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202210578969.1A priority Critical patent/CN114881996A/zh
Publication of CN114881996A publication Critical patent/CN114881996A/zh
Priority to PCT/CN2023/092048 priority patent/WO2023226706A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

一种缺陷检测方法及装置，涉及计算机视觉领域，能够降低缺陷检测过程中的计算复杂程度、降低成本、提升检测速度，得到更准确的缺陷检测结果。该缺陷检测方法包括：首先，获取待检测图像帧中的多个待测单元的信息，以及至少一个单元模板；其次，根据多个待测单元的信息，将多个待测单元分别与单元模板进行模板匹配，得到可疑单元，该可疑单元为多个待测单元中与单元模板的匹配度低于预设阈值的待测单元；最后，采用机器学习算法对可疑单元进行分类，得到该可疑单元的缺陷检测类型。

Description

缺陷检测方法及装置
技术领域
本公开涉及计算机视觉技术领域，尤其涉及一种缺陷检测方法及装置。
背景技术
目前，缺陷检测的方法有很多，传统的缺陷检测方法是通过人工肉眼检测，随着计算机视觉领域的应用越来越广泛，可以利用机器学习和计算机视觉技术进行缺陷检测，以提升检测速度和检测质量。但是，当待检测图像帧的分辨率较高时，计算量较大，计算时间较长，导致检测速度较慢，难以匹配工业生产线的速度要求。如果降低待检测图像帧的分辨率，会对缺陷检测结果的准确性造成影响，无法达到检测要求。
发明内容
本公开实施例提供一种缺陷检测方法及装置，降低缺陷检测过程中的计算复杂程度，降低成本，提升检测速度，得到更准确的缺陷检测结果。
为达到上述目的，本公开实施例采用如下技术方案：
一方面，提供一种缺陷检测方法。该方法包括：获取待检测图像帧中的多个待测单元的信息，以及至少一个单元模板；根据多个待测单元的信息，将多个待测单元分别与所述单元模板进行模板匹配，得到可疑单元，所述可疑单元为所述多个待测单元中与所述单元模板的匹配度低于预设阈值的待测单元；采用机器学习算法对所述可疑单元进行分类，得到所述可疑单元的缺陷检测类型。
在一些实施例中，获取所述至少一个单元模板，包括：在所述待检测图像帧的多个待测单元中随机选取M个第一待测单元，以及待测单元组，每个所述待测单元组包括N个第二待测单元，每个所述第一待测单元中对应一个所述待测单元组；分别计算每个所述第一待测单元与该第一待测单元对应的N个第二待测单元的相似度，得到每个所述第一待测单元对应的N个相似度；根据每个所述第一待测单元对应的N个相似度计算所述第一待测单元对应的相似度平均值；将所述M个第一待测单元中，相似度平均值最高的所述第一待测单元确定为所述单元模板。
在一些实施例中，所述多个待测单元的信息包括至少一个所述待测单元的位置信息和偏移量中的至少一种。
在一些实施例中，所述方法还包括：根据所述可疑单元的缺陷检测类型确定所述可疑单元为正常单元或缺陷单元；在所述可疑单元为缺陷单元时，产生告警信息并输出所述可疑单元的缺陷检测类型。
另一方面，提供一种缺陷检测装置，包括：处理器和收发器；所述收发器被配置为，获取待检测图像帧中的多个待测单元的信息，以及至少一个单元模板；所述处理器被配置为：根据所述多个待测单元的信息，将所述多个待测单元分别与所述单元模板进行模板匹配，得到可疑单元，所述可疑单元为所述多个待测单元中与所述单元模板的匹配度低于预设阈值的待测单元；采用机器学习算法对所述可疑单元进行分类，得到所述可疑单元的缺陷检测类型。
在一些实施例中，所述处理器被配置为：在所述待检测图像帧的多个待测单元中随机选取M个第一待测单元，以及待测单元组，每个所述待测单元组包括N个第二待测单元，每个所述第一待测单元中对应一个所述待测单元组；分别计算每个所述第一待测单元与该第一待测单元对应的N个第二待测单元的相似度，得到每个所述第一待测单元对应的N个相似度；根据每个所述第一待测单元对应的N个相似度计算所述第一待测单元对应的相似度平均值；将所述M个第一待测单元中，相似度平均值最高的所述第一待测单元确定为所述单元模板。
在一些实施例中，所述多个待测单元的信息包括至少一个所述待测单元的位置信息和偏移量中的至少一种。
在一些实施例中，所述处理器还被配置为：根据所述可疑单元的缺陷检测类型确定所述可疑单元为正常单元或缺陷单元；在所述可疑单元为缺陷单元时，产生告警信息并输出所述可疑单元的缺陷检测类型。
本公开实施例提供的缺陷检测方法，通过结合传统计算机视觉方法与深度学习技术结合实现快速缺陷检测。采用模板匹配对图像中的待测单元进行筛选，得到可疑单元，对可疑单元采用机器学习算法进行分类，得到该可疑单元的缺陷检测类型。从而能够对模板匹配中无法检测的旋转或大小变化的待测单元再次检测，得到准确的检测结果。使用模板匹配过滤掉正常单元，仅对可疑单元进行分类，能够减少计算量降低计算复杂度，提升缺陷检测速度。
又一方面，提供一种电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一实施例所述的缺陷检测方法。
又一方面，提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一实施例所述的缺陷检测方法。
附图说明
为了更清楚地说明本公开中的技术方案，下面将对本公开一些实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例的附图，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。此外，以下描述中的附图可以视作示意图，并非对本公开实施例所涉及的产品的实际尺寸、方法的实际流程、信号的实际时序等的限制。
图1为根据一些实施例的一种缺陷检测方法的流程图；
图2为根据一些实施例的一种缺陷检测方法的应用示意图；
图3为根据一些实施例的一种自适应获取单元模板的流程图；
图4为根据一些实施例的另一种缺陷检测方法的应用示意图；
图5为根据一些实施例的又一种缺陷检测方法的应用示意图；
图6为根据一些实施例的又一种缺陷检测方法的应用示意图；
图7为根据一些实施例的一种缺陷检测装置的结构图。
具体实施方式
下面将结合附图，对本公开一些实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开所提供的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本公开保护的范围。
除非上下文另有要求，否则，在整个说明书和权利要求书中，术语“包括(comprise)”及其其他形式例如第三人称单数形式“包括(comprises)”和现在分词形式“包括(comprising)”被解释为开放、包含的意思，即为“包含，但不限于”。在说明书的描述中，术语“一个实施例(one embodiment)”、“一些实施例(some embodiments)”、“示例性实施例(exemplary embodiments)”、“示例(example)”、“特定示例(specific example)”或“一些示例(some examples)”等旨在表明与该实施例或示例相关的特定特征、结构、材料或特性包括在本公开的至少一个实施例或示例中。上述术语的示意性表示不一定是指同一实施例或示例。此外，所述的特定特征、结构、材料或特点可以以任何适当方式包括在任何一个或多个实施例或示例中。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在描述一些实施例时，可能使用了“耦接”和“连接”及其衍伸的表达。例如，描述一些实施例时可能使用了术语“连接”以表明两个或两个以上部件彼此间有直接物理接触或电接触。又如，描述一些实施例时可能使用了术语“耦接”以表明两个或两个以上部件有直接物理接触或电接触。然而，术语“耦接”或“通信耦合(communicatively coupled)”也可能指两个或两个以上部件彼此间并无直接接触，但仍彼此协作或相互作用。这里所公开的实施例并不必然限制于本文内容。
“A、B和C中的至少一个”与“A、B或C中的至少一个”具有相同含义，均包括以下A、B和C的组合：仅A，仅B，仅C，A和B的组合，A和C的组合，B和C的组合，及A、B和C的组合。
“A和/或B”，包括以下三种组合：仅A，仅B，及A和B的组合。
如本文中所使用，根据上下文，术语“如果”任选地被解释为意思是“当……时”或“在……时”或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为是指“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。
另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。
如本文所使用的那样，“约”、“大致”或“近似”包括所阐述的值以及处于特定值的可接受偏差范围内的平均值，其中所述可接受偏差范围如由本领域普通技术人员考虑到正在讨论的测量以及与特定量的测量相关的误差(即，测量系统的局限性)所确定。
在整个说明书中，所提到的“一个实施例”意味着所描述的与该实施例相关的特定特征、结构或特性被包括在至少一个实施例中。因此，在整个说明书中，在各个地方出现的短语“在一个实施例中”不一定都指同一个实施例。此外，这些特定特征、结构或特性可以以任意合适的方式组合在一个或多个实施例中。
工业缺陷检测的背景相对固定，对精度要求更高，样本量更少。通常，有两种缺陷检测方法，一种缺陷检测方法是通过模板匹配进行缺陷检测。但是，采用模板匹配进行缺陷检测时，如果待检测图像帧中的待测单元发生旋转或大小变化时，该方法无法识别发生旋转或大小变化的待测单元。另一种缺陷检测方法是通过机器学习和计算机视觉技术进行缺陷检测，该方法虽然可以识别待检测图像帧中发生旋转或大小变化的待测单元，但是当待检测图像帧的分辨率较高时，采用该方法进行缺陷检测的计算量较大，计算时间较长，导致检测速度较慢，难以匹配工业生产线的速度要求。如果降低待检测图像帧的分辨率，会对缺陷检测结果的准确性造成影响，无法达到检测要求。
为此，本公开的一些实施例提供一种缺陷检测方法，通过采用模板匹配对待检测图像帧中的待测单元进行筛选，得到可疑单元，并对可疑单元采用机器学习算法进行分类，得到该可疑单元的缺陷检测类型。如此一来，通过模板匹配过滤掉正常单元，仅对可疑单元采用机器学习算法进行分类，不仅能够减少计算量，降低计算复杂度，提升缺陷检测速度。而且能够检测出发生旋转或大小变化的待测单元，提升缺陷检测的准确性。
在一些实施例中，本公开的缺陷检测方法适用于产品单一具有重复单元、产品排列整齐且待检测图像帧分辨率高的场景，例如显示面板以及工业生产中流水线上的产品。下述实施例以工业生产的饮料瓶为例进行示例性说明，本公开对缺陷检测方法的应用场景并不限定。
本公开的一些实施例提供一种缺陷检测方法，如图1所示，该缺陷检测方法包括步骤101-步骤103。
步骤101、获取待检测图像帧中的多个待测单元的信息，以及至少一个单元模板。
待检测图像帧中的待测单元是指待检测图像帧中最小的重复待测对象，如图2所示，以待检测图像帧为包括多个像素电路的电路图的图像为例，待测单元为每个像素电路的电路图的图像。单元模板是标准的正常单元的图像，单元模板可以作为模板，供模板匹配使用。
多个待测单元的信息包括至少一个待测单元的位置信息和偏移量中的至少一种。待测单元的位置信息可以采用包围框标定。本公开实施例对于包围框的形状并不限定，该包围框与待测单元的类型有关。例如，包围框可以为圆形、矩形、椭圆形、菱形，多边形等形状，下述实施例以包围框为矩形包围框为例进行示例性说明。
在一些实施例中，当多个待测单元的信息包括每个待测单元的位置信息时，该每个待测单元的位置信息可以由人工标定。例如，人工采用矩形包围框标定待检测图像帧中的每个待测单元的位置。
在一些实施例中，当多个待测单元的信息包括至少一个待测单元的位置信息和偏移量时，待测单元的位置信息可以由至少一个待测单元的位置信息和待检测图像帧中相邻单元的偏移量计算得到。例如，根据人工标定的待检测图像帧中的一个待测单元的位置和偏移量，可以确定待检测图像帧中其他待测单元的位置。上述至少一个待测单元的位置信息和偏移量可以由用户预先输入。
在一些实施例中，可以采用固定法获取至少一个单元模板，也可以采用自适应法获取至少一个单元模板。下面分别对采用固定法获取至少一个单元模板的实现方式和采用自适应法获取至少一个单元模板的实现方式进行详细说明。
示例性的，采用固定法获取至少一个单元模板包括：随机选择待检测图像帧，依次将该待检测图像帧中的每个待测单元与正常单元进行匹配，选取与正常单元匹配度最高的待测单元作为单元模板。该单元模板可以作为后续缺陷检测中模板匹配的单元模板。采用固定法获取至少一个单元模板时也可以包括：对不存在缺陷的正常图像帧中的多个正常单元互相进行匹配，并选取配度最高的单元作为单元模板。
在一些实施例中，采用自适应法获取至少一个单元模板时，可以从每个待检测图像帧中选取单元模板，对于不同的待检测图像帧，均可以采用下述步骤301-步骤304获取每个待检测图像帧对应的单元模板。在一些实施例中，如图3所示，采用自适应法获取至少一个单元模板的方法可以包括步骤301-步骤304。
步骤301、在待检测图像帧的多个待测单元中随机选取M个第一待测单元。
在一些实施例中，M为大于等于2的整数，为了获取最标准的单元模板，提升缺陷检测质量，可以将M设置为较大的数值，当M等于待检测图像帧中待测单元的个数时，称为穷尽法。为了保证检测质量的同时减小计算量，在待测单元中随机抽取M个待测单元作为第一待测单元。本公开对M的数值并不限定。
示例性的，如图2所示的待检测图像帧，该待检测图像帧中包括16个待测单元，以M为6为例，可以再16个待测单元中随机选取6个待测单元作为第一待测单元，比如，第一待测单元可以包括图2所示的待测单元M1至待测单元M6。
步骤302、获取每个第一待测单元对应的待测单元组。
每个第一待测单元对应的待测单元组包括N个第二待测单元。在一些实施例中，获取每个第一待测单元对应的待测单元组，可以包括：在待检测图像帧中除该第一待测单元以外的其他待测单元中，随机选取N个待测单元作为该第一待测单元对应的待测单元组，该N个待测单元也可以称为N个第二待测单元。
在一些实施例中，M与N的数值可以相同，也可以不同，本公开对于M与N的数值大小并不限定。M和N可以由用户预先设置并输入缺陷检测系统中。
示例性的，以N＝7为例，如图4所示，当第一待测单元为图4中的第一待测单元M1时，可以在待检测图像帧中除第一待测单元M1以外的其他15个待测单元中，随机选取7个待测单元(第二待测单元)作为第一待测单元M1对应的待测单元组，该7个第二待测单元可以为图4所示的第二待测单元N101至第二待测单元N107。即，第一待测单元M1对应的待测单元组包括第二待测单元N101至第二待测单元N107。可以理解的，获取第一待测单元M2至第一待测单元M6对应的待测单元组的方法与获取第一待测单元M1对应的待测对单元组的方法类似，在此不再赘述。同理，也可以获取第一待测单元M2至第一待测单元M6中每个待测单元对应的待测单元组。
需要说明的是，待检测图像帧中的同一个待测单元可以是第一待测单元，也可以是第二待测单元。例如，如图2所示，待检测图像帧中的待测单元M2可以作为第一待测单元。结合图2，如图4所示，当第一待测单元为图2中的第一待测单元M1时，该第一待测单元M1对应的待测单元组包括7个第二待测单元，分别为图4中的第二待测单元N101至第二待测单元N107。图2中的第一待测单元M2与图4中的第二待测单元N102为同一个待测单元。图2中的第一待测单元M3与图4中的第二待测单元N104为同一个待测单元。也就是说，同一个待测单元可以被选取作为第一待测单元，也可以被选取作为第二待测单元。
在一些实施例中，不同第一待测单元对应的待测单元组分别包括的N个第二待测单元可以至少部分相同，也可以完全不同。例如，不同第一待测单元对应的待测单元组可以包括同一个第二待测单元。
步骤303、分别计算每个第一待测单元与该第一待测单元对应的N个第二待测单元的相似度，得到每个第一待测单元对应的N个相似度。
示例性的，以计算第一待测单元M1的相似度为例，分别将第一待测单元M1与其对应的待测单元组包括的第二待测单元N101至第二待测单元N107进行匹配，得到第一待测单元M1对应的7个相似度数值。同理，也可以计算第一待测单元M2至第一待测单元M6中每个待测单元对应的7个相似度数值。即，可以得到第一待测单元M1至第一待测单元M6中每个待测单元对应的7个相似度数值。
步骤304、将M个第一待测单元中，相似度平均值最高的第一待测单元确定为单元模板。
在一些实施例中，M个第一待测单元中每个待测单元对应N个相似度数值。步骤304可以包括：计算每个第一待测单元对应的N个相似度数值的平均值，得到每个第一待测单元对应的相似度平均值，将M个第一待测单元对应的相似度平均值中，相似度平均值最高的第一待测单元确定为单元模板。
示例性的，结合图2，如图4所示，首先，计算第一待测单元M1对应的7个相似度数值的平均值，得到第一待测单元M1对应的相似度平均值。计算第一待测单元M2对应的7个相似度数值的平均值，得到第一待测单元M2对应的相似度平均值。依次类推，可以得到第一待测单元M3至第一待测单元M6分别对应的相似度平均值。然后，将第一待测单元M1至第一待测单元M6对应的相似度平均值中，数值最高的相似度平均值对应的第一待测单元确定为单元模板。
可以理解的，本公开实施例通过在待检测图像帧中随机选取第一待测单元和该第一待测单元对应的待测单元组，对第一待测单元和其对应的待测单元组中的每个第二待测单元进行匹配得到多个相似度，并计算相似度平均值，将第一待测单元中相似度平均值最高的第一待测单元确定为单元模板。通过自适应法可以在待检测图像帧中选择最合适的单元作为单元模板，解决日常生活中由于多种因素引起的待检测产品接收的光照度不一致，使得待测单元图像亮度不均匀，进而影响所选模板质量的问题。
例如，当待检测图像帧的亮度较高时，如果采用亮度较低的待测单元作为单元模板与亮度较高的待检测图像帧中的待测单元进行匹配，由于亮度不同，可能会导致待检测图像帧中亮度较高的正常单元与亮度较低的单元模板的匹配度较低，认为该亮度较高的正常单元为可疑单元，影响缺陷检测的准确性。而采用上述自适应法在待检测图像帧中确定单元模板时，可以结合亮度等因素确定单元模板。比如，当待检测图像帧中大部分待测单元的亮度较高时，采用上述自适应法确定的单元模板的亮度较高。再比如，当待检测图像帧中大部分待测单元的亮度较低时，采用上述自适应法确定的单元模板的亮度较低。
在一些实施例中，步骤101之前还可以包括获取待检测图像帧，并对待检测图像帧进行图像预处理。
步骤102、根据多个待测单元的信息，将多个待测单元分别与单元模板进行模板匹配，得到可疑单元。
上述可疑单元为多个待测单元中与单元模板的匹配度低于预设阈值的待测单元。可以理解的，通过将多个待测单元与单元模板进行模板匹配，可以过滤待检测图像帧中的正常单元，得到模板匹配中无法确定为正常单元的待测单元，这些无法确定为正常单元的待测单元可以称为可疑单元。由于可疑单元也有概率为正常单元，即可疑单元可以包括正常单元。也就是说，模板匹配得到的可疑单元有可能是正常单元，也有可能是缺陷单元。
在一些实施例中，多个待测单元的位置信息可以采用矩形包围框标定，将每个矩形包围框标定的待测单元与单元模板进行匹配，得到每个待测单元与单元模板的匹配度(也称为相似度)，匹配度高表示待测单元与单元模板相似度高，该待测单元为正常单元的概率值大。匹配度低表示待测单元与单元模板相似度低，该待测单元为正常单元的概率值小。当待测单元与单元模板的匹配度高于或等于预设阈值，确定待测单元为正常单元。当待测单元与单元模板的匹配度低于预设阈值，确定待测单元为可疑单元。上述可疑单元可以进一步通过步骤103确定该可疑单元是否为缺陷单元。
示例性的，上述预设阈值可以由人工预先输入缺陷检测系统，以预设阈值为90％为例，当待测单元与模板的匹配度大于或等于90％，确定该待测单元为正常单元。当待测单元与模板的匹配度低于90％，确定该待测单元为可疑单元。预设阈值越大，模板匹配筛选结果越准确，缺陷检测准确率越高。本公开对于预设阈值的大小并不限定。
步骤103、采用机器学习算法对可疑单元进行分类，得到可疑单元的缺陷检测类型。
在一些实施例中，缺陷检测类型包括正常类型和缺陷类型。由于可疑单元是指模板匹配中与单元模板的匹配度较低的待测单元，模板匹配的自身局限性只能对固定形状区域内的待测单元图像进行匹配，无法检测旋转以及大小发生变化的单元，因此可以采用机器学习算法进一步对可疑单元进行分类，得到可疑单元的缺陷检测类型。
在一些实施例中，缺陷类型可以由用户预先输入。在若干待检测图像帧中，人工判断是否存在缺陷产品，如果存在缺陷产品，进行人工标注。标注的具体步骤为：使用矩形包围框圈出存在缺陷的待测单元，并对不同的缺陷类型依次使用数字进行编号。将所标注的缺陷产品图像，以及编号对应的缺陷类型输入缺陷检测系统。每种缺陷类型至少标注一个缺陷产品作为分类依据的样本。
示例性的，待检测图像帧为包括多个像素电路的电路图的图像时，缺陷类型可以包括：旋转、大小变化、异物、漏固等。如图5所示，采用机器学习算法对待检测图像帧中的可疑单元进行分类，得到待检测图像帧中包括4种缺陷类型，该4种缺陷类型与数字编号的对应关系为：1表示旋转、2表示大小变化、3表示异物、4表示漏固。
在一些实施例中，机器学习算法包括：卷积神经网络算法或传统机器学习算法，卷积神经网络算法的模型包括Densenet、ResNet、Shufflenet或MobileNet，传统机器学习算法包括支持向量机SVM算法或决策树算法。根据缺陷的复杂程度选择合适的卷积神经网络算法的模型，若缺陷复杂度高，选择Densenet或ResNet，若缺陷复杂度低选择Shufflenet或MobileNet。使用传统机器学习决策树时结合LBP，Haar等特征。
图6为本公开一些实施提供的缺陷检测方法的应用示意图，如图6所示，以机器学习算法为卷积神经网络为例，在对待检测图像帧进行缺陷检测时，首先，对输入的待检测图像帧进行划分单元操作，得到待检测图像帧中的多个待测单元。然后，使用自适应法或固定法获取单元模板，并将待检测图像帧中的每个待测单元依次与单元模板进行匹配，得到每个待测单元与单元模板的匹配度。再根据待测单元与单元模板的匹配度与预设阈值进行比较，将待测单元划分为正常单元和可疑单元。然后，筛选掉模板匹配得到的正常单元，得到可疑单元。最后使用卷积神经网络对可疑单元进行分类，得到可疑单元的缺陷检测类型。
在一些实施例中，上述步骤103之后还可以包括：根据可疑单元的缺陷检测类型确定可疑单元为正常单元或缺陷单元；在可疑单元为缺陷单元时，产生告警信息并输出可疑单元的缺陷检测类型。可以理解的，如果可疑单元的缺陷检测类型为任一缺陷类型，确定该可疑单元为缺陷单元，可以产生告警信息并输出该可疑单元的缺陷类型，以使得相关人员及时发现缺陷产品并进行处理。
本公开实施例提供的缺陷检测方法，通过采用模板匹配对待检测图像帧中的待测单元进行筛选，得到可疑单元，并对可疑单元采用机器学习算法进行分类，得到该可疑单元的缺陷检测类型。如此一来，通过模板匹配能够过滤掉待检测图像帧中的正常单元，仅对待检测图像帧中的可疑单元采用机器学习算法进行分类，不仅能够减少计算量，降低计算复杂度，提升缺陷检测速度。而且能够检测出发生旋转或大小变化的待测单元，提升缺陷检测的准确性。
本公开的一些实施例提供了一种缺陷检测装置，如图7所示，该缺陷检测装置700包括处理器701、收发器702。
收发器702被配置为，获取待检测图像帧中的多个待测单元的信息，以及至少一个单元模板。
其中，多个待测单元的信息包括至少一个待测单元的位置信息和偏移量中的至少一种。
处理器701被配置为：根据多个待测单元的信息，将多个待测单元分别与单元模板进行模板匹配，得到可疑单元，可疑单元为多个待测单元中与单元模板的匹配度低于预设阈值的待测单元；采用机器学习算法对可疑单元进行分类，得到可疑单元的缺陷检测类型。
在一些实施例中，机器学习算法包括：卷积神经网络算法或传统机器学习算法，卷积神经网络算法的模型包括Densenet、ResNet、Shufflenet或MobileNet，传统机器学习算法包括支持向量机SVM算法或决策树算法。
处理器701被配置为：在待检测图像帧的多个待测单元中随机选取M个第一待测单元，以及待测单元组，每个待测单元组包括N个第二待测单元，每个第一待测单元中对应一个待测单元组；分别计算每个第一待测单元与该第一待测单元对应的N个第二待测单元的相似度，得到每个第一待测单元对应的N个相似度；根据每个第一待测单元对应的N个相似度计算第一待测单元对应的相似度平均值；将M个第一待测单元中，相似度平均值最高的第一待测单元确定为单元模板。
处理器701还被配置为：根据可疑单元的缺陷检测类型确定可疑单元为正常单元或缺陷单元；在可疑单元为缺陷单元时，产生告警信息并输出可疑单元的缺陷检测类型。
收发器702可以是通信接口，例如，输入输出接口。例如，缺陷检测装置700为芯片时，收发器702为通信接口。该收发器702也可以是射频单元。例如，在缺陷检测装置700是终端设备的情况下，收发器702可以是与天线连接的射频单元。
在一些实施例中，上述缺陷检测装置700还可以包括存储器703，该存储器703用于存储缺陷检测装置700执行上文所提供的任一缺陷检测方法所对应的程序代码和数据。该存储器703可以为只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)等。
本公开的一些实施例提供了一种计算机可读存储介质(例如，非暂态计算机可读存储介质)，该计算机可读存储介质中存储有计算机程序指令，计算机程序指令在计算机(例如，缺陷检测装置)上运行时，使得计算机执行如上述实施例中任一实施例所述的缺陷检测方法。
示例性的，上述计算机可读存储介质可以包括，但不限于：磁存储器件(例如，硬盘、软盘或磁带等)，光盘(例如，CD(Compact Disk，压缩盘)、DVD(Digital VersatileDisk，数字通用盘)等)，智能卡和闪存器件(例如，EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、卡、棒或钥匙驱动器等)。本公开描述的各种计算机可读存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读存储介质。术语“机器可读存储介质”可包括但不限于，无线信道和能够存储、包含和/或承载指令和/或数据的各种其它介质。
本公开的一些实施例还提供了一种计算机程序产品，例如该计算机程序产品存储在非瞬时性的计算机可读存储介质上。该计算机程序产品包括计算机程序指令，在计算机(例如，缺陷检测装置)上执行该计算机程序指令时，该计算机程序指令使计算机执行如上述实施例所述的缺陷检测方法。
本公开的一些实施例还提供了一种计算机程序。当该计算机程序在计算机上执行时，该计算机程序使计算机执行如上述实施例所述的缺陷检测方法。
上述计算机可读存储介质、计算机程序产品及计算机程序的有益效果和上述一些实施例所述的缺陷检测方法的有益效果相同，此处不再赘述。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种缺陷检测方法，其特征在于，所述方法包括：
获取待检测图像帧中的多个待测单元的信息，以及至少一个单元模板；
根据所述多个待测单元的信息，将所述多个待测单元分别与所述单元模板进行模板匹配，得到可疑单元，所述可疑单元为所述多个待测单元中与所述单元模板的匹配度低于预设阈值的待测单元；
采用机器学习算法对所述可疑单元进行分类，得到所述可疑单元的缺陷检测类型。
2.根据权利要求1所述的方法，其特征在于，获取所述至少一个单元模板，包括：
在所述待检测图像帧的多个待测单元中随机选取M个第一待测单元，以及待测单元组，每个所述待测单元组包括N个第二待测单元，每个所述第一待测单元中对应一个所述待测单元组；
分别计算每个所述第一待测单元与该第一待测单元对应的N个第二待测单元的相似度，得到每个所述第一待测单元对应的N个相似度；
根据每个所述第一待测单元对应的N个相似度计算所述第一待测单元对应的相似度平均值；
将所述M个第一待测单元中，相似度平均值最高的所述第一待测单元确定为所述单元模板。
3.根据权利要求1所述的方法，其特征在于，所述多个待测单元的信息包括至少一个所述待测单元的位置信息和偏移量中的至少一种。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述可疑单元的缺陷检测类型确定所述可疑单元为正常单元或缺陷单元；
在所述可疑单元为缺陷单元时，产生告警信息并输出所述可疑单元的缺陷检测类型。
5.一种缺陷检测装置，其特征在于，包括：处理器和收发器；
所述收发器被配置为，获取待检测图像帧中的多个待测单元的信息，以及至少一个单元模板；
所述处理器被配置为：
根据所述多个待测单元的信息，将所述多个待测单元分别与所述单元模板进行模板匹配，得到可疑单元，所述可疑单元为所述多个待测单元中与所述单元模板的匹配度低于预设阈值的待测单元；
采用机器学习算法对所述可疑单元进行分类，得到所述可疑单元的缺陷检测类型。
6.根据权利要求5所述的装置，其特征在于，所述处理器被配置为：
在所述待检测图像帧的多个待测单元中随机选取M个第一待测单元，以及待测单元组，每个所述待测单元组包括N个第二待测单元，每个所述第一待测单元中对应一个所述待测单元组；
分别计算每个所述第一待测单元与该第一待测单元对应的N个第二待测单元的相似度，得到每个所述第一待测单元对应的N个相似度；
根据每个所述第一待测单元对应的N个相似度计算所述第一待测单元对应的相似度平均值；
将所述M个第一待测单元中，相似度平均值最高的所述第一待测单元确定为所述单元模板。
7.根据权利要求5所述的装置，其特征在于，所述多个待测单元的信息包括至少一个所述待测单元的位置信息和偏移量中的至少一种。
8.根据权利要求5所述的装置，其特征在于，所述处理器还被配置为：
根据所述可疑单元的缺陷检测类型确定所述可疑单元为正常单元或缺陷单元；
在所述可疑单元为缺陷单元时，产生告警信息并输出所述可疑单元的缺陷检测类型。
9.一种电子设备，其特征在于，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1至4中任一项所述的缺陷检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1至4中任一项所述的缺陷检测方法。
CN202210578969.1A 2022-05-25 2022-05-25 缺陷检测方法及装置 Pending CN114881996A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210578969.1A CN114881996A (zh) 2022-05-25 2022-05-25 缺陷检测方法及装置
PCT/CN2023/092048 WO2023226706A1 (zh) 2022-05-25 2023-05-04 缺陷检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210578969.1A CN114881996A (zh) 2022-05-25 2022-05-25 缺陷检测方法及装置

Publications (1)

Publication Number Publication Date
CN114881996A true CN114881996A (zh) 2022-08-09

Family

ID=82677973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210578969.1A Pending CN114881996A (zh) 2022-05-25 2022-05-25 缺陷检测方法及装置

Country Status (2)

Country Link
CN (1) CN114881996A (zh)
WO (1) WO2023226706A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116402820A (zh) * 2023-06-07 2023-07-07 合肥联宝信息技术有限公司 一种检测方法、装置、设备及存储介质
WO2023226706A1 (zh) * 2022-05-25 2023-11-30 京东方科技集团股份有限公司 缺陷检测方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583223B (zh) * 2020-05-07 2023-12-19 上海闻泰信息技术有限公司 缺陷检测方法、装置、计算机设备及计算机可读存储介质
CN111640091B (zh) * 2020-05-14 2023-08-22 阿丘机器人科技(苏州)有限公司 产品缺陷的检测方法及计算机存储介质
CN113109348B (zh) * 2021-03-12 2022-03-29 华南理工大学 一种基于机器视觉的桨影移印缺陷识别方法
CN113610801B (zh) * 2021-08-05 2023-06-20 上海众壹云计算科技有限公司 基于最小单元的缺陷分类方法、装置、设备和存储介质
CN114881996A (zh) * 2022-05-25 2022-08-09 京东方科技集团股份有限公司 缺陷检测方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023226706A1 (zh) * 2022-05-25 2023-11-30 京东方科技集团股份有限公司 缺陷检测方法及装置
CN116402820A (zh) * 2023-06-07 2023-07-07 合肥联宝信息技术有限公司 一种检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2023226706A1 (zh) 2023-11-30
WO2023226706A9 (zh) 2024-01-11

Similar Documents

Publication Publication Date Title
US20210374940A1 (en) Product defect detection method, device and system
Zhou et al. Automated visual inspection of glass bottle bottom with saliency detection and template matching
EP3483833B1 (en) Data generation apparatus, data generation method, and data generation program
CN114881996A (zh) 缺陷检测方法及装置
CN115351598A (zh) 一种数控机床轴承检测方法
CN111680750B (zh) 图像识别方法、装置和设备
CN111310826B (zh) 样本集的标注异常检测方法、装置及电子设备
CN110059635B (zh) 一种皮肤瑕疵检测方法及装置
US20220076404A1 (en) Defect management apparatus, method and non-transitory computer readable medium
US11315229B2 (en) Method for training defect detector
CN109283182A (zh) 一种电池焊点缺陷的检测方法、装置及系统
CN111861990A (zh) 一种产品不良外观检测的方法、系统及存储介质
CN111415339A (zh) 一种复杂纹理工业产品图像缺陷检测方法
CN109410241A (zh) 图像区域生长算法的蜕变测试方法
CN113111903A (zh) 智能产线监测系统及监测方法
CN116542984A (zh) 五金件缺陷检测方法、装置、计算机设备及存储介质
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN111311545A (zh) 集装箱检测方法、装置及计算机可读存储介质
CN116342456A (zh) 连接器件检测方法、电子设备及存储介质
CN109447968A (zh) 图像区域生长算法的蜕变测试系统
CN115661160B (zh) 一种面板缺陷检测方法及系统及装置及介质
US11481673B2 (en) Signal analysis device, signal analysis method, and signal analysis program
CN109376619B (zh) 一种细胞检测方法
CN113763384B (zh) 工业质检中的缺陷检测方法、缺陷检测装置
Niskanen et al. Experiments with SOM based inspection of wood

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination