CN111353983A - 缺陷检测识别方法、装置、计算机可读介质及电子设备 - Google Patents

缺陷检测识别方法、装置、计算机可读介质及电子设备 Download PDF

Info

Publication number
CN111353983A
CN111353983A CN202010131234.5A CN202010131234A CN111353983A CN 111353983 A CN111353983 A CN 111353983A CN 202010131234 A CN202010131234 A CN 202010131234A CN 111353983 A CN111353983 A CN 111353983A
Authority
CN
China
Prior art keywords
target product
defect
product image
map
defects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010131234.5A
Other languages
English (en)
Other versions
CN111353983B (zh
Inventor
石康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010131234.5A priority Critical patent/CN111353983B/zh
Publication of CN111353983A publication Critical patent/CN111353983A/zh
Application granted granted Critical
Publication of CN111353983B publication Critical patent/CN111353983B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本申请的实施例提供了一种缺陷检测识别方法、装置、计算机可读介质及电子设备。该缺陷检测识别方法包括：获取目标产品图像；将所述目标产品图像与所述目标产品图像对应的模板图像进行匹配处理，得到所述目标产品图像的第一缺陷图；通过神经网络模型对所述目标产品图像进行缺陷检测处理，得到所述目标产品图像对应的第二缺陷图；结合所述第一缺陷图和所述第二缺陷图，识别所述目标产品图像中所包含的缺陷。本申请实施例的技术方案可以提高质检结果的准确性，同时也能够替代人工质检，有效提高了质检效率。

Description

缺陷检测识别方法、装置、计算机可读介质及电子设备
技术领域
本申请涉及计算机及通信技术领域，具体而言，涉及一种缺陷检测识别方法、装置、计算机可读介质及电子设备。
背景技术
缺陷检测识别在工业生产制造和质量监测等领域都有着广泛的应用，如液晶面板缺陷识别、工件表面质量检测、布匹表面瑕疵识别、航空航天器材质量检测等。通过缺陷检测，可以发现产品表面存在的缺陷，供维修人员及时修正以保证产品质量，为准确判断产品质量是否合格、选择何种工序进行维修等，通常需要在得到疑似包括了产品缺陷的目标产品图像后，对目标产品图像进行仔细分析和精细识别。然而，目前主要都是通过人工质检的方式来保证质检结果的准确性，这种方式成本较高，且效率较低。
发明内容
本申请的实施例提供了一种缺陷检测识别方法、装置、计算机可读介质及电子设备，进而至少在一定程度上可以提高质检结果的准确性，同时也能够替代人工质检，有效提高了质检效率。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面，提供了一种缺陷检测识别方法，包括：获取目标产品图像；将所述目标产品图像与所述目标产品图像对应的模板图像进行匹配处理，得到所述目标产品图像的第一缺陷图；通过神经网络模型对所述目标产品图像进行缺陷检测处理，得到所述目标产品图像对应的第二缺陷图；结合所述第一缺陷图和所述第二缺陷图，识别所述目标产品图像中所包含的缺陷。
根据本申请实施例的一个方面，提供了一种缺陷检测识别装置，包括：获取单元，配置为获取目标产品图像；第一处理单元，配置为将所述目标产品图像与所述目标产品图像对应的模板图像进行匹配处理，得到所述目标产品图像的第一缺陷图；第二处理单元，配置为通过神经网络模型对所述目标产品图像进行缺陷检测处理，得到所述目标产品图像对应的第二缺陷图；识别单元，配置为结合所述第一缺陷图和所述第二缺陷图，识别所述目标产品图像中所包含的缺陷。
在本申请的一些实施例中，基于前述方案，所述识别单元配置为：若所述第一缺陷图和所述第二缺陷图中仅有一个缺陷图中包含有缺陷，则根据包含有缺陷的缺陷图确定所述目标产品图像中所包含的缺陷；若所述第一缺陷图和所述第二缺陷图中均包含有缺陷，则根据所述第一缺陷图或所述第二缺陷图确定所述目标产品图像中所包含的缺陷；若所述第一缺陷图和所述第二缺陷图中均不包含缺陷，则确定所述目标产品图像中不包含有缺陷。
在本申请的一些实施例中，基于前述方案，所述识别单元配置为：将所述第一缺陷图和所述第二缺陷图进行叠加，生成组合缺陷图；若所述组合缺陷图中包含有缺陷，则根据所述组合缺陷图确定所述目标产品图像中所包含的缺陷；若所述组合缺陷图中不包含缺陷，则确定所述目标产品图像中不包含有缺陷。
在本申请的一些实施例中，基于前述方案，所述的缺陷检测识别装置还包括：标识单元，配置为根据所述目标产品图像中所包含的缺陷，标识出所述目标产品图像中的缺陷连通区域；确定单元，配置为根据所述缺陷连通区域的前景图和所述目标产品图像中所包含的指定元件的前景图，确定所述指定元件与所述缺陷连通区域在视觉上的重叠程度；第三处理单元，配置为基于所述指定元件与所述缺陷连通区域在视觉上的重叠程度，确定所述目标产品图像中是否存在断线，或确定所述目标产品图像中是否存在短路。
在本申请的一些实施例中，基于前述方案，所述确定单元配置为：根据所述缺陷连通区域的前景图和所述指定元件的前景图，构建所述指定元件对应的相交矩阵，所述相交矩阵用于表示所述指定元件与所述缺陷连通区域在视觉上的重叠程度，所述相交矩阵中的元素表示如下：
Figure BDA0002395827540000021
其中，Aij表示第j个缺陷连通区域与所述指定元件的第i个实例在视觉上的重叠程度；Si表示所述指定元件的第i个实例的前景图；Sj表示第j个缺陷连通区域的前景图。
在本申请的一些实施例中，基于前述方案，所述第三处理单元配置为：针对所述指定元件的第i个实例，对所述相交矩阵的行元素进行求和，若所述行元素的和值大于或等于设定值，则确定所述第i个实例存在断线；或者
针对第j个缺陷连通区域，对所述相交矩阵的列元素进行求和，若所述列元素的和值大于或等于设定值，则确定所述指定元件的实例在所述第j个缺陷连通区域存在断线；或者
若所述指定元件的第i个实例与第j个缺陷连通区域在视觉上的重叠程度大于或等于设定值，则确定所述第i个实例在所述第j个缺陷连通区域处存在断线。
在本申请的一些实施例中，基于前述方案，所述第三处理单元配置为：对所述目标产品图像中的第一元件对应的相交矩阵和第二元件对应的相交矩阵的转置进行求积运算，得到目标矩阵；计算所述目标矩阵所包含的各个元素的和值；若所述第一元件对应的相交矩阵和所述第二元件对应的相交矩阵不相同，则在所述目标矩阵所包含的各个元素的和值为0的情况下，确定所述目标产品图像中不存在短路。
在本申请的一些实施例中，基于前述方案，所述第三处理单元还配置为：若所述第一元件对应的相交矩阵和所述第二元件对应的相交矩阵相同，则计算所述目标矩阵所包含的各个元素的和值与所述目标矩阵的迹之间的差值；在所述差值为0的情况下，确定所述目标产品图像中不存在短路。
在本申请的一些实施例中，基于前述方案，所述的缺陷检测识别装置还包括：定位单元，配置为定位所述目标产品图像中所包含的种子区域；第四处理单元，配置为基于所述目标产品图像在设计时的周期信息与所述种子区域之间的对应关系，确定所述目标产品图像中所包含的各个元件的位置。
在本申请的一些实施例中，基于前述方案，所述第四处理单元还配置为：根据从所述目标产品图像中所识别出的缺陷，从所述目标产品图像中排除存在缺陷的区域，得到处理后的图像；基于所述处理后的图像估计所述目标产品图像在设计时的周期信息。
在本申请的一些实施例中，基于前述方案，所述的缺陷检测识别装置还包括模板生成单元，所述模板生成单元配置为：获取在所述目标产品图像中所标识出的各个元件的信息；根据所述各个元件的信息生成所述各个元件对应的候选模板；基于所述各个元件对应的候选模板在所述目标产品图像中进行匹配，得到所述各个元件对应的分值图；根据所述各个元件对应的分值图，从所述目标产品图像中选择出至少两个元件；将所述至少两个元件分别对应的候选模板进行合并，以生成所述目标产品图像对应的模板图像。
在本申请的一些实施例中，基于前述方案，所述第二处理单元配置为：获取所述目标产品图像所包含的目标元件的掩膜；根据所述目标元件的掩膜，调整所述目标元件所在位置对应的敏感阈值，所述敏感阈值用于所述神经网络模型识别所述目标产品图像中的感兴趣区域；基于所述敏感阈值，通过神经网络模型检测所述目标产品图像中的缺陷。
根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的缺陷检测识别方法。
根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的缺陷检测识别方法。
在本申请的一些实施例所提供的技术方案中，通过将目标产品图像与模板图像进行匹配处理得到第一缺陷图，并通过神经网络模型对目标产品图像进行缺陷检测处理得到第二缺陷图，然后结合第一缺陷图和第二缺陷图识别目标产品图像中所包含的缺陷，使得能够结合模板匹配的方法和神经网络模型识别的方法来实现缺陷定位，进而可以提高质检结果的准确性，同时也能够替代人工质检，有效提高了质检效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图；
图2示出了根据本申请的一个实施例的缺陷检测识别方法的流程图；
图3示出了根据本申请的一个实施例的生成模板图像的流程图；
图4示出了根据本申请的一个实施例的缺陷检测识别方法的流程图；
图5示出了根据本申请的一个实施例的在LabelMe软件的界面中标记各元件的示意图；
图6示出了根据本申请的一个实施例的生成待匹配模板的流程图；
图7示出了根据本申请的一个实施例的通过级联的方案进行缺陷检测的流程图；
图8示出了根据本申请的一个实施例的通过取并集的方案进行缺陷检测的流程图；
图9示出了根据本申请的一个实施例的产品面板图像的示意图；
图10示出了图9中所示的部件901的mask图；
图11示出了根据本申请的一个实施例的缺陷检测识别装置的框图；
图12示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
人工智能(Artificial Intelligence，简称AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision，简称CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning，简称ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
缺陷检测通常是指对物品表面缺陷的检测，表面缺陷检测是采用先进的计算机视觉检测技术，对工件表面的斑点、凹坑、划痕、色差、缺损等缺陷进行检测。
本申请实施例的技术方案涉及人工智能的机器学习、计算机视觉技术等技术，具体通过如下实施例进行说明:
图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。
参照图1所示，系统架构可以包括计算机设备101和图像采集设备102。其中，计算机设备101可以是台式图形处理器(Graphic Processing Unit，GPU)计算机、GPU计算集群、神经网络计算机等中的至少一种。相关技术人员可以使用该计算机设备101实现对产品图像的处理，找出存在缺陷的产品，保证产品质量。图像采集设备102用于采集产品的图像，并提供给计算机设备101进行处理。
示意性的，计算机设备101在获取到图像采集设备102目标产品图像之后，可以将该目标产品图像与目标产品图像对应的模板图像进行匹配处理，得到目标产品图像的第一缺陷图，并通过神经网络模型对目标产品图像进行缺陷检测处理，得到目标产品图像对应的第二缺陷图，然后结合该第一缺陷图和该第二缺陷图，识别目标产品图像中所包含的缺陷，在识别出目标产品图像中所包含的缺陷之后，可以基于识别到的缺陷确定目标产品图像中是否包含断线及短路的情况。可见，本申请实施例的技术方案能够结合模板匹配的方法和神经网络模型识别的方法来实现缺陷定位，进而可以提高质检结果的准确性，同时也能够替代人工质检，有效提高了质检效率。
需要说明的是，本申请实施例所提供的缺陷检测识别方法一般由计算机设备101执行，相应地，缺陷检测识别装置一般设置于计算机设备101中。
以下对本申请实施例的技术方案的实现细节进行详细阐述：
图2示出了根据本申请的一个实施例的缺陷检测识别方法的流程图，该缺陷检测识别方法可以计算处理设备来执行，该计算处理设备可以是图1中所示的计算机设备101。参照图2所示，该缺陷检测识别方法至少包括步骤S210至步骤S240，详细介绍如下：
在步骤S210中，获取目标产品图像。
在本申请的一个实施例中，目标产品图像可以是液晶面板图像、工件表面图像、布匹表面图像、航空航天器材的图像等需要进行缺陷检测的产品图像。计算处理设备可以通过与之相连的图像采集设备获取到目标产品图像，也可以由相关技术人员将目标产品图像输入到计算处理设备中。
在步骤S220中，将目标产品图像与目标产品图像对应的模板图像进行匹配处理，得到目标产品图像的第一缺陷图。
在本申请的一个实施例中，模板图像包含了目标产品图像中的元器件的信息，通过模板图像与目标产品图像的匹配处理，可以得到目标产品图像的缺陷图。
在本申请的一个实施例中，模板图像可以是预设的，也可以是按照图3所示的流程生成的，具体参照图3所示，包括如下步骤：
步骤S310，获取在目标产品图像中所标识出的各个元件的信息。
在本申请的一个实施例中，工程人员可以在LabelMe软件中标识出目标产品图像中的各个元件，标识完成之后，LabelMe软件可以基于工程人员标识的信息生成json(JavaScript Object Notation，JS对象简谱)文件，该json文件中包含了元件信息和元件位置等。
步骤S320，根据各个元件的信息生成各个元件对应的候选模板。
在本申请的一个实施例中，如果工程人员是在LabelMe软件中标识出目标产品图像中的各个元件，那么可以通过解析该软件导出的json文件来得到各个元件对应的候选模板。
步骤S330，基于各个元件对应的候选模板在目标产品图像中进行匹配，得到各个元件对应的分值图。
在本申请的一个实施例中，分值图即为score map，用于标识通过一个元件的候选模板在目标产品图像中的各位置进行匹配的得分，如果某个位置对应的得分越高，说明该位置与该元件的候选模板越匹配。
步骤S340，根据各个元件对应的分值图，从目标产品图像中选择出至少两个元件。
在本申请的一个实施例中，如果一个分值图中有多个位置对应的得分都很高，那么说明该分值图对应的元件候选模板的匹配效果较差，相反地，如果一个分值图中有较少(如一个)位置对应的得分很高，那么说明该分值图对应的元件候选模板的匹配效果较优，进而可以以此来选择候选模板的匹配效果较优的至少两个元件。
步骤S350，将至少两个元件分别对应的候选模板进行合并，以生成目标产品图像对应的模板图像。
图3所示实施例的技术方案使得无需基于人工经验来选择模板，提高了模板图像生成的效率及准确性。
继续参照图2所示，在步骤S230中，通过神经网络模型对目标产品图像进行缺陷检测处理，得到目标产品图像对应的第二缺陷图。
在本申请的一个实施例中，通过神经网络模型对目标产品图像进行缺陷检测处理的过程，具体可以是获取目标产品图像所包含的目标元件的掩膜，然后根据目标元件的掩膜，调整目标元件所在位置对应的敏感阈值，该敏感阈值用于神经网络模型识别目标产品图像中的感兴趣区域，然后基于该敏感阈值，通过神经网络模型检测目标产品图像中的缺陷。可选地，调整目标元件所在位置对应的敏感阈值可以是调低该敏感阈值，该实施例的技术方案使得能够通过调低敏感阈值的方式来使神经网络模型将目标元件所在区域识别为感兴趣区域，进而可以避免目标元件漏检的问题。
在本申请的一个实施例中，神经网络模型可以是深度学习模型，比如FPN(FeaturePyramid Networks，特征金字塔网络)模型、Mask RCNN(Regions with ConvolutionalNeural Network features)模型、PSPNet(Pyramid Scene Parsing Network，金字塔场景分析网络)模型等。
需要说明的是，图2中的步骤S220和步骤S230之间并没有严格的先后顺序之分，即可以先执行步骤S220，再执行步骤S230，也可以先执行步骤S230，再执行步骤S220，或者同时执行步骤S220和步骤S230。
继续参照图2所示，在步骤S240中，结合第一缺陷图和第二缺陷图，识别目标产品图像中所包含的缺陷。
在本申请的一个实施例中，若第一缺陷图和第二缺陷图中仅有一个缺陷图中包含有缺陷，则可以根据包含有缺陷的缺陷图确定目标产品图像中所包含的缺陷。比如，若第一缺陷图中包含有缺陷，则可以将第一缺陷图中所包含的缺陷识别为目标产品图像中所包含的缺陷；若第二缺陷图中包含有缺陷，则可以将第二缺陷图中所包含的缺陷识别为目标产品图像中所包含的缺陷。
在本申请的一个实施例中，若第一缺陷图和第二缺陷图中均包含有缺陷，则根据第一缺陷图或第二缺陷图确定目标产品图像中所包含的缺陷。比如可以将第一缺陷图中所包含的缺陷识别为目标产品图像中所包含的缺陷，或者可以将第二缺陷图中所包含的缺陷识别为目标产品图像中所包含的缺陷。
在本申请的一个实施例中，若第一缺陷图和第二缺陷图中均不包含缺陷，则确定目标产品图像中不包含有缺陷。
在本申请的一个实施例中，还可以将第一缺陷图和第二缺陷图进行叠加，生成组合缺陷图，如果组合缺陷图中包含有缺陷，则根据组合缺陷图确定目标产品图像中所包含的缺陷，比如将组合缺陷图中所包含的缺陷识别为目标产品图像中所包含的缺陷。如果组合缺陷图中不包含缺陷，则确定目标产品图像中不包含有缺陷。
在本申请的一个实施例中，在将第一缺陷图和第二缺陷图进行叠加时，可以逐元素进行叠加。
在本申请的一个实施例中，在识别目标产品图像中所包含的缺陷之后，如图4所示，本申请实施例的缺陷检测识别方法还可以包括如下步骤S410至步骤S430，详细说明如下：
在步骤S410中，根据目标产品图像中所包含的缺陷，标识出目标产品图像中的缺陷连通区域。
在本申请的一个实施例中，可以将目标产品图像中所包含的各个缺陷标识为不同的缺陷连通区域。
在步骤S420中，根据缺陷连通区域的前景图和目标产品图像中所包含的指定元件的前景图，确定指定元件与缺陷连通区域在视觉上的重叠程度。
在本申请的一个实施例中，可以根据缺陷连通区域的前景图和指定元件的前景图，构建指定元件对应的相交矩阵，相交矩阵用于表示指定元件与缺陷连通区域在视觉上的重叠程度，相交矩阵中的元素表示如下：
Figure BDA0002395827540000111
其中，Aij表示第j个缺陷连通区域与指定元件的第i个实例在视觉上的重叠程度；Si表示指定元件的第i个实例的前景图；Sj表示第j个缺陷连通区域的前景图。
需要说明的是，由于一个元件在目标产品图像中可能会由于周期性重复而出现多次，即目标产品图像中对于同一个元件会有多个，每个称之为一个实例。
在步骤S430中，基于指定元件与缺陷连通区域在视觉上的重叠程度，确定目标产品图像中是否存在断线，或确定目标产品图像中是否存在短路。
在本申请的一个实施例中，若指定元件的第i个实例与第j个缺陷连通区域在视觉上的重叠程度大于或等于设定值，则可以确定第i个实例在第j个缺陷连通区域处存在断线。可选地，设定值可以为0，或者大于0的某个正数。
在本申请的一个实施例中，针对指定元件的第i个实例，对相交矩阵的行元素进行求和，若行元素的和值大于或等于设定值，则可以确定第i个实例存在断线。
在本申请的一个实施例中，针对第j个缺陷连通区域，对相交矩阵的列元素进行求和，若列元素的和值大于或等于设定值，则确定指定元件的实例在第j个缺陷连通区域存在断线。
在本申请的一个实施例中，确定目标产品图像中是否存在短路的过程可以包括：对目标产品图像中的第一元件对应的相交矩阵和第二元件对应的相交矩阵的转置进行求积运算，得到目标矩阵；计算目标矩阵所包含的各个元素的和值；若第一元件对应的相交矩阵和第二元件对应的相交矩阵不相同，则在目标矩阵所包含的各个元素的和值为0的情况下，确定目标产品图像中不存在短路。
在本申请的一个实施例中，若第一元件对应的相交矩阵和第二元件对应的相交矩阵相同，则计算目标矩阵所包含的各个元素的和值与目标矩阵的迹之间的差值；在差值为0的情况下，确定目标产品图像中不存在短路。
在本申请的一个实施例中，在步骤S420中需要获取到目标产品图像中所包含的各个元件的位置，基于此，在本申请实施例的技术方案中，可以先定位目标产品图像中所包含的种子区域，然后基于目标产品图像在设计时的周期信息与种子区域之间的对应关系，确定目标产品图像中所包含的各个元件的位置。
需要说明的是，目标产品在设计时可能存在周期性规律，比如某一部分的元件图是周期性重复的，对于这种情况，种子区域可以是周期性重复的区域，可以通过模板匹配的方式来确定种子区域，然后根据周期信息与种子区域之间的对应关系来推理得到目标产品图像中所包含的各个元件的位置。
在本申请的一个实施例中，可以根据从目标产品图像中所识别出的缺陷，从目标产品图像中排除存在缺陷的区域，得到处理后的图像，然后基于处理后的图像估计目标产品图像在设计时的周期信息。该实施例的技术方案使得能够排除缺陷对周期估计的干扰，进而可以提高估计的周期信息的准确性，以提高确定出的元件位置的准确性。
以下结合图5至图10，对本申请实施例的技术方案的实现细节进行详细阐述：
在本申请的一个实施例中，可以对产品的面板进行缺陷检测，其中面板质检需求对面板规格和产品设计有所理解。首先需要对应解析定位到面板上所有的业务逻辑单元，但考虑到质检任务本身的特性，往往面板的待检测图片中除了产品本身还具有不可预知形态的缺陷，比如缺陷遮挡、缺失、残损等。但是，由于面板产品的设计都呈现周期规律，因此可以定位种子区域，然后通过周期信息与种子区域之间的相对位置关系，进行周期生长推理得到全部元件位置，这种方式可以实现元件定位和分析，解决了缺陷遮挡这一问题。
在本申请的一个实施例中，可以通过语义分割的方式进行种子区域定位，具体可以采用基于卷积神经网络(如深度学习)的端到端的方法来进行语义分割，或者可以采用模板匹配定位的方式进行语义分割。其中，基于深度学习的端到端的方法泛化性能好，能够利用数据迭代的方式提升性能。由于语义分割过程中的元件定位所需要的泛化性更多体现在光照、尺寸、旋转角等系统性泛化能力，而非形态泛化性等语义泛化能力，深度学习的优势并不明显。因此，可以选用模板匹配为主的方案进行元件定位。
但是，单纯的模板匹配并没有办法达到语义分割的目的，并且也难以随时适应业务需求的变更。因此，可以在模板匹配的结果上进行一步后处理，具体地，业务方可以将考核的区域(需要考核的区域可以是需要进行缺陷检测的区域，如整个产品面板等)简单绘制一张二值图作为mask(掩膜)，利用这张二值图叠加到原始模板匹配区域即可完成像素级别的语义分割，且包含了业务考核点。这样的方式成本低，但是没有旋转和缩放不变性，但这一劣势和模板匹配方法本身是重复的，因此要解决的问题并没有增加，因为始终需要在模板匹配前，先进行图像配准以将待匹配图像配准到一个标准的模式。
在本申请的一个实施例中，图像在配准过程中需要解决光照、尺寸和旋转不变性。光照部分采用了比较通用的二值化处理手段，尺寸不变性方面，由于待检图片常包含缺陷，因此传统的周期估计方法会因为缺陷经常估计错误。因此在本申请的实施例中，可以利用缺陷mask的信息来排除缺陷对周期估计的干扰，处理后的信息采用了傅里叶分析来估计周期。具体地，可以在识别出待检测面板的图片中包含的缺陷之后，将缺陷区域去除掉，然后再基于去除了缺陷区域的图片来估计面板产品在设计时的周期。
在本申请的一个实施例中，相交断线判断是面板质检精细化分析关心的主要任务之一。用业务语言描述这一任务如下，产线上的每道制程都会产生不同的缺陷，某些缺陷需要及时发现，即可送修补机台进行修复，否则流入后续制程会变得不可修复而不得不报废。而判断这些缺陷是否需要送修，需要通过制程知识，缺陷电性知识以及电路设计知识进行综合分析。现有的小规模的交付场景，通常由工程人员学习理解相对应的业务知识来做从业务到技术语言的消化，但交付场景大的情况下，如此的成本会陡增。在本申请的实施例中，可以通过制定范式将业务语言转换成算法语言的规则固化，减少工程师的学习门槛，剥离业务逻辑和算法实现逻辑。
在质检这一环节，一个基本的原则是宁可过杀不可漏放。根据制作工艺，在产线的不同制成上，每一道制程虽然都会做质检，都需要定位缺陷，可每道制程关注的区域也都不同。而由于这些区域在基于前景分割的缺陷定位解决方案中均属于背景，没有监督数据进行数据驱动的学习能力。考虑到在相交断线分析上完成了背景分析及元件定位这一任务，结合具体的需求可以利用这一任务的结果来辅佐优化缺陷定位的结果。具体而言，当下基于深度学习的缺陷定位对每个像素都一视同仁地卡阈值进行前景和背景的判别。而在本申请的实施例中，基于对背景的理解和模板匹配的结果，结合业务需求，可以对缺陷定位的score map采用不同的敏感度将其判别为前景缺陷。这样仅仅对要严格考核的区域设置严格的考核规则，从而达到客户需求的前提下不会产生过多的虚检(过杀)结果。
传统的模板匹配过程，在模板准备过程需要抠取多个元件的模板，且需要精细设定模板匹配阈值，步骤繁琐。并且当有镜像模块(如图5所示有mirror字样的元件是没有mirror字样的元件对应的镜像元件，如M1-1-mirror是M1-1的镜像元件)出现时，模板匹配容易出错，此时往往需要专家经验选取合适的模板来避免匹配结果的二义性，这就要求准备模板的人懂得一定的计算机视觉算法知识，而一般的制造业工厂不具备大量的算法工程师来进行开发和运维。针对这种问题，本申请实施例的技术方案可以按照业务规则在LabelMe软件中绘制标识元件图，按照约定的标记进行标识，再经过在模板抠取阶段的自动化处理流程，即可自动生成用于模板匹配的待匹配模板，具体处理流程如图6所示，包括如下步骤：
步骤S601，在LabelMe中标记各元件。
在本申请的一个实施例中，如图5所示为LabelMe软件的界面示意图，在该界面中显示有待检测面板产品的图像，在该图像中可以对各个元件进行标记。如标记M1-1、M1-1-tail、M1-2等。
步骤S602，获取LabelMe软件生成的Json文件。
在本申请的一个实施例中，LabelMe软件生成的Json文件包含了标记出的各元件的信息及位置等。
步骤S603，解析Json文件得到各元件的模板图。
步骤S604，基于各元件的模板图进行模板匹配得到各元件对应的分值图。
在本申请的一个实施例中，分值图即为score map，用于标识通过一个元件的模板图在产品面板图像中的各位置进行匹配的得分，如果某个位置对应的得分越高，说明该位置与该元件的模板越匹配。
步骤S605，根据各元件对应的分值图和选择策略将有二义性的模板进行合并。
在本申请的一个实施例中，存在二义性的模板是匹配效果较优的模板，即在产品面板图像中只有较少(如一个)位置匹配到相应的元件。存在二义性的模板可以通过各元件对应的分值图来确定，具体地，如果一个分值图中有多个位置对应的得分都很高，那么说明该分值图对应的元件模板的匹配效果较差，相反地，如果一个分值图中有较少(如一个)位置对应的得分很高，那么说明该分值图对应的元件模板的匹配效果较优，进而可以以此来选择模板的匹配效果较优的至少两个元件。其中，选择策略可以是选择多少个元件的模板，或者选择哪种二义性程度的模板。
步骤S606，根据合并后的结果和解析的Json文件得到元件描述文件。该元件描述文件即为模板匹配过程中用于模板匹配的待匹配模板。
在本申请的一个实施例中，通过模板比对的方法来进行缺陷检测时，可以像素级别地分析当前位置和一个完好的模板相比是否有差异，有差异则认为是一个异常点。比对的方法具有明显的局限性，即缺少联想能力，它无法根据某种缺陷形态推理出这种缺陷的影响范围可能囊括了视觉上不可见的部分。而这种能力恰好监督学习可以补足，而近年来随着深度学习在模式识别领域的成熟，已经成为监督学习最好的实践法之一。深度学习在自然目标的分割和检测任务上相对成熟，无论是分割还是检测其任务目标是将前景和背景进行区分都能实现较好的效果，然而如果缺陷检测这个任务套用传统检测任务，那么背景应该定义为重复的电路，前景是异常出现缺陷。但是这样的定义会有一个问题，就是如果缺陷是背景电路的缺失或变异，并不是一个额外的“添加型”异物，则完全不是基于深度学习的检测方案擅长的，但这恰好是模板比对方法所擅长的。因此在本申请的实施例中，可以结合模板比对的方法和深度学习的缺陷定位方案来进行可靠的缺陷识别。具体可以通过级联的方案和取并集的方案来进行缺陷检测。
在本申请的一个实施例中，如图7所示为通过级联的方案进行缺陷检测的流程图，其中Mask1是基于模板比对产生的缺陷图，Mask2是基于深度学习分割产生的二值化缺陷图，两者的级联顺序可根据需求进行互换。
具体地，包括如下步骤：
步骤S701，判断Mask1是否为空，如果Mask1为空，那么执行步骤S702来判断Mask2是否为空；如果Mask1不为空，则可以根据Mask1中的缺陷进行缺陷分类得到产品面板图像的缺陷。
步骤S702，判断Mask2是否为空，如果Mask1和Mask2均为空，则说明产品面板图像无缺陷；如果Mask1为空，Mask2不为空，则根据Mask2中的缺陷进行缺陷分类得到产品面板图像的缺陷。
换句话说，对于级联的方案而言，如果Mask1和Mask2中仅有一个缺陷图中包含有缺陷，则根据包含有缺陷的缺陷图确定产品面板图像中所包含的缺陷；如果Mask1和Mask2中均包含有缺陷，则根据Mask1或Mask2确定产品面板图像中所包含的缺陷；如果Mask1和Mask2中均不包含缺陷，则确定产品面板图像中不包含有缺陷。
在本申请的一个实施例中，如图8所示为通过取并集的方案进行缺陷检测的流程图，其中Mask1是基于模板比对产生的缺陷图，Mask2是基于深度学习分割产生的二值化缺陷图。具体包括如下步骤：
步骤S801，将Mask1和Mask2进行逐元素相加，得到缺陷图Mask。其中，图8中所示的加号即表示将Mask1和Mask2进行逐元素相加，缺陷图Mask实则为Mask1和Mask2的并集。
步骤S802，判断Mask中是否包含有缺陷，如果Mask中包含有缺陷，则根据Mask中的缺陷确定产品面板图像中所包含的缺陷；如果Mask中不包含缺陷，则确定产品面板图像中不包含有缺陷。
在本申请的一个实施例中，由于Mask1和Mask2会分别独立产生，因此如何进行拼装会变得十分灵活，在实际应用中，可以根据不同的业务需求实现不同的组装方案。
在本申请的一个实施例中，模板比对的方案可以包括邻域比对、匹配黄金模板的比对等任何无监督比对方案；深度学习方法可以包括FPN、Mask RCNN、PSPNET等方案。
在本申请的一个实施例中，对于深度学习等的分割score map来说，通常的阈值设定是对于每个像素一视同仁的。但是在实际应用中，某些区域是需要特别关注的，比如图9中的部件901是需要特别关注的，此部件若有缺陷不能漏检。因此，在本申请的实施例中，可以根据模板匹配这一无监督检测方法事先对图片背景电路中元件的理解，根据业务需求拿到对应元件的mask图，对其设定局部敏感的阈值。比如图10就是图9中针对部件901的mask图的示例，图10中1001的位置对应于图9中部件901的位置。这种方式使得对应空间部位的score map的阈值变得更低，从而在基于深度学习进行缺陷检测时，可以尽可能将这部分识别为感兴趣区域，保证该部件的缺陷尽量不漏检，同时不会导致其余部分被牵连(虚检)。
在本申请的一个实施例中，为了保证特别关注的区域不被漏检，除了可以根据不同区域设置不同阈值之外，也可以根据不同区域设置不同严格程度的检出方法等。
在本申请的一个实施例中，面板质检贯穿生产的整个流程，对于产线的不同制程，工程人员更加关心工艺在当前制程所产生的缺陷。不同制程往往对应着不同元件的制造，而对于不同元件考核断线与否，判断断线的准则也不尽相同，当中融入的业务知识复杂，对于算法工程师的学习成本颇高。我们的目的是剥离业务知识，同时使得相交断线判断这一需求的开发门槛降低。总得来说，本申请实施例可以使用邻接矩阵来标识元件之间是否要考核短路，使用二元组来表达元件在水平和竖直方向上对于断线的定义(断线要大于一定的比例才认为断路)。然后再在一个标准模板上将元件进行像素级标注和名称标注即可完成相交断线的实现，这样无需编码的实现方式使得制造业的员工可以自己维护和开发新的类似需求。
而做到无需编码即可实现这样的功能有赖于本申请实施例使用了高效的算法语言对相交断线进行了表征。首先，对图片中的缺陷进行连通区域分析，标识为不同的连通区域。然后使用一个矩阵，称之为相交矩阵，来记录一张图片上的缺陷和某一种元件在视觉上的交叠。该相交矩阵中的元素描述如下：
Figure BDA0002395827540000171
其中，Aij表示第j个连通区域与一个元件的第i个实例在视觉上的重叠程度；Si表示该元件的第i个实例的前景图；Sj表示第j个连通区域的前景图。如果Aij＞0，那么说明该元件的第i个实例在第j个连通区域处存在断线。当然，也可以对该相交矩阵进行行列求和来确定哪个元件产生断线，比如可以针对某个元件的第i个实例，对相交矩阵的行元素进行求和，若行元素的和值大于或等于设定值(如0)，则可以确定该元件的第i个实例存在断线；或者也可以针对第j个连通区域，对相交矩阵的列元素进行求和，若列元素的和值大于或等于设定值(如0)，则确定该元件的实例在第j个连通区域存在断线。
在本申请的一个实施例中，对于短路的判断，可以用算法语言描述为：任意缺陷和不同元件实例构成了连通区域则认为可能形成元件之间短路。在实现上，则可转化为由矩阵运算来考察。比如下述矩阵A和B：
Figure BDA0002395827540000181
其中A和B分别代表了两种不同的元件对于缺陷(该缺陷有两个独立连通域，所以有两列)的相交矩阵。根据A和B计算C＝ABT，矩阵C的元素
Figure BDA0002395827540000182
所以对C第一行求和有：
Figure BDA0002395827540000185
很明显，当
Figure BDA0002395827540000186
时，意味着所有连通区域(两列)都没有使得矩阵A关联的元件的第一个实例(第一行)跟矩阵B关联的元件的第一个实例形成相交。所以，综上介绍，只需要简单判断
Figure BDA0002395827540000183
是否为0即可判断是否有缺陷造成元件短路了。值得注意的是，当A＝B时，需要减掉自身的影响，判断依据变为
Figure BDA0002395827540000184
其中tr(C)为矩阵C的迹。
上述的矩阵运算使得可以方便得到缺陷是否造成了哪些元件视觉上的短路或断路。在业务上，还需要根据缺陷的电性来判断是否真的造成了短路或短路，这种电性的知识可以将其固化为一张表格，每一行代表了一个缺陷码，这种缺陷的电性是否影响某种元件的断路或断路可以使用二值来表达是否进行考核。将该表格结合上述相交矩阵的分析结果，得到最后对于缺陷造成短路或断路的判断。
本申请实施例的技术方案通过结合模板比对和深度学习的缺陷定位的方法，可以在保证覆盖率的前提下，将整体漏单率从千分之一降低到万分之五以下，从而达到比人类质检员更低的漏单率，使得保证甚至提升产线良率，替代人类质检成为可能。而通过结合模板匹配元件分析来辅助缺陷定位的方法，可以在满足整体漏单率和覆盖率的前提下，对异常严重需要单独考核的缺陷类型可以实现近乎100％的召回。通过相交断线分析从业务到技术实现的转换范式以及模板生成方案，可以使得不懂得算法的人实现新产品和站点的响应算法模块的开发和维护，极大降低了开发和维护成本，使得工厂端自己建立团队维护算法模块成为可能。
综上，本申请实施例的技术方案可以替代质检产线的大部分人力，实现了产线高度自动化，智能化，达到了比人类质检更加好的稳定性与效率。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的缺陷检测识别方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的缺陷检测识别方法的实施例。
图11示出了根据本申请的一个实施例的缺陷检测识别装置的框图，该缺陷检测识别装置可以设置在计算处理设备内，该计算处理设备可以是图1中所示的计算机设备101。
参照图11所示，根据本申请的一个实施例的缺陷检测识别装置1100，包括：获取单元1102、第一处理单元1104、第二处理单元1106和识别单元1108。
其中，获取单元1102配置为获取目标产品图像；第一处理单元1104配置为将所述目标产品图像与所述目标产品图像对应的模板图像进行匹配处理，得到所述目标产品图像的第一缺陷图；第二处理单元1106配置为通过神经网络模型对所述目标产品图像进行缺陷检测处理，得到所述目标产品图像对应的第二缺陷图；识别单元1108配置为结合所述第一缺陷图和所述第二缺陷图，识别所述目标产品图像中所包含的缺陷。
在本申请的一些实施例中，基于前述方案，识别单元1108配置为：若所述第一缺陷图和所述第二缺陷图中仅有一个缺陷图中包含有缺陷，则根据包含有缺陷的缺陷图确定所述目标产品图像中所包含的缺陷；若所述第一缺陷图和所述第二缺陷图中均包含有缺陷，则根据所述第一缺陷图或所述第二缺陷图确定所述目标产品图像中所包含的缺陷；若所述第一缺陷图和所述第二缺陷图中均不包含缺陷，则确定所述目标产品图像中不包含有缺陷。
在本申请的一些实施例中，基于前述方案，识别单元1108配置为：将所述第一缺陷图和所述第二缺陷图进行叠加，生成组合缺陷图；若所述组合缺陷图中包含有缺陷，则根据所述组合缺陷图确定所述目标产品图像中所包含的缺陷；若所述组合缺陷图中不包含缺陷，则确定所述目标产品图像中不包含有缺陷。
在本申请的一些实施例中，基于前述方案，所述的缺陷检测识别装置1100还包括：标识单元，配置为根据所述目标产品图像中所包含的缺陷，标识出所述目标产品图像中的缺陷连通区域；确定单元，配置为根据所述缺陷连通区域的前景图和所述目标产品图像中所包含的指定元件的前景图，确定所述指定元件与所述缺陷连通区域在视觉上的重叠程度；第三处理单元，配置为基于所述指定元件与所述缺陷连通区域在视觉上的重叠程度，确定所述目标产品图像中是否存在断线，或确定所述目标产品图像中是否存在短路。
在本申请的一些实施例中，基于前述方案，所述确定单元配置为：根据所述缺陷连通区域的前景图和所述指定元件的前景图，构建所述指定元件对应的相交矩阵，所述相交矩阵用于表示所述指定元件与所述缺陷连通区域在视觉上的重叠程度，所述相交矩阵中的元素表示如下：
Figure BDA0002395827540000201
其中，Aij表示第j个缺陷连通区域与所述指定元件的第i个实例在视觉上的重叠程度；Si表示所述指定元件的第i个实例的前景图；Sj表示第j个缺陷连通区域的前景图。
在本申请的一些实施例中，基于前述方案，所述第三处理单元配置为：针对所述指定元件的第i个实例，对所述相交矩阵的行元素进行求和，若所述行元素的和值大于或等于设定值，则确定所述第i个实例存在断线；或者
针对第j个缺陷连通区域，对所述相交矩阵的列元素进行求和，若所述列元素的和值大于或等于设定值，则确定所述指定元件的实例在所述第j个缺陷连通区域存在断线；或者
若所述指定元件的第i个实例与第j个缺陷连通区域在视觉上的重叠程度大于或等于设定值，则确定所述第i个实例在所述第j个缺陷连通区域处存在断线。
在本申请的一些实施例中，基于前述方案，所述第三处理单元配置为：对所述目标产品图像中的第一元件对应的相交矩阵和第二元件对应的相交矩阵的转置进行求积运算，得到目标矩阵；计算所述目标矩阵所包含的各个元素的和值；若所述第一元件对应的相交矩阵和所述第二元件对应的相交矩阵不相同，则在所述目标矩阵所包含的各个元素的和值为0的情况下，确定所述目标产品图像中不存在短路。
在本申请的一些实施例中，基于前述方案，所述第三处理单元还配置为：若所述第一元件对应的相交矩阵和所述第二元件对应的相交矩阵相同，则计算所述目标矩阵所包含的各个元素的和值与所述目标矩阵的迹之间的差值；在所述差值为0的情况下，确定所述目标产品图像中不存在短路。
在本申请的一些实施例中，基于前述方案，所述的缺陷检测识别装置1100还包括：定位单元，配置为定位所述目标产品图像中所包含的种子区域；第四处理单元，配置为基于所述目标产品图像在设计时的周期信息与所述种子区域之间的对应关系，确定所述目标产品图像中所包含的各个元件的位置。
在本申请的一些实施例中，基于前述方案，所述第四处理单元还配置为：根据从所述目标产品图像中所识别出的缺陷，从所述目标产品图像中排除存在缺陷的区域，得到处理后的图像；基于所述处理后的图像估计所述目标产品图像在设计时的周期信息。
在本申请的一些实施例中，基于前述方案，所述的缺陷检测识别装置1100还包括模板生成单元，所述模板生成单元配置为：获取在所述目标产品图像中所标识出的各个元件的信息；根据所述各个元件的信息生成所述各个元件对应的候选模板；基于所述各个元件对应的候选模板在所述目标产品图像中进行匹配，得到所述各个元件对应的分值图；根据所述各个元件对应的分值图，从所述目标产品图像中选择出至少两个元件；将所述至少两个元件分别对应的候选模板进行合并，以生成所述目标产品图像对应的模板图像。
在本申请的一些实施例中，基于前述方案，第二处理单元1106配置为：获取所述目标产品图像所包含的目标元件的掩膜；根据所述目标元件的掩膜，调整所述目标元件所在位置对应的敏感阈值，所述敏感阈值用于所述神经网络模型识别所述目标产品图像中的感兴趣区域；基于所述敏感阈值，通过神经网络模型检测所述目标产品图像中的缺陷。
图12示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图12示出的电子设备的计算机系统1200仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图12所示，计算机系统1200包括中央处理单元(Central Processing Unit，CPU)1201，其可以根据存储在只读存储器(Read-Only Memory，ROM)1202中的程序或者从存储部分1208加载到随机访问存储器(Random Access Memory，RAM)1203中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 1203中，还存储有系统操作所需的各种程序和数据。CPU 1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(Input/Output，I/O)接口1205也连接至总线1204。
以下部件连接至I/O接口1205：包括键盘、鼠标等的输入部分1206；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1207；包括硬盘等的存储部分1208；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至I/O接口1205。可拆卸介质1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以便于从其上读出的计算机程序根据需要被安装入存储部分1208。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1209从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被中央处理单元(CPU)1201执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (15)

1.一种缺陷检测识别方法，其特征在于，包括：
获取目标产品图像；
将所述目标产品图像与所述目标产品图像对应的模板图像进行匹配处理，得到所述目标产品图像的第一缺陷图；
通过神经网络模型对所述目标产品图像进行缺陷检测处理，得到所述目标产品图像对应的第二缺陷图；
结合所述第一缺陷图和所述第二缺陷图，识别所述目标产品图像中所包含的缺陷。
2.根据权利要求1所述的缺陷检测识别方法，其特征在于，结合所述第一缺陷图和所述第二缺陷图，识别所述目标产品图像中所包含的缺陷，包括：
若所述第一缺陷图和所述第二缺陷图中仅有一个缺陷图中包含有缺陷，则根据包含有缺陷的缺陷图确定所述目标产品图像中所包含的缺陷；
若所述第一缺陷图和所述第二缺陷图中均包含有缺陷，则根据所述第一缺陷图或所述第二缺陷图确定所述目标产品图像中所包含的缺陷；
若所述第一缺陷图和所述第二缺陷图中均不包含缺陷，则确定所述目标产品图像中不包含有缺陷。
3.根据权利要求1所述的缺陷检测识别方法，其特征在于，结合所述第一缺陷图和所述第二缺陷图，识别所述目标产品图像中所包含的缺陷，包括：
将所述第一缺陷图和所述第二缺陷图进行叠加，生成组合缺陷图；
若所述组合缺陷图中包含有缺陷，则根据所述组合缺陷图确定所述目标产品图像中所包含的缺陷；
若所述组合缺陷图中不包含缺陷，则确定所述目标产品图像中不包含有缺陷。
4.根据权利要求1所述的缺陷检测识别方法，其特征在于，在识别所述目标产品图像中所包含的缺陷之后，所述缺陷检测识别方法还包括：
根据所述目标产品图像中所包含的缺陷，标识出所述目标产品图像中的缺陷连通区域；
根据所述缺陷连通区域的前景图和所述目标产品图像中所包含的指定元件的前景图，确定所述指定元件与所述缺陷连通区域在视觉上的重叠程度；
基于所述指定元件与所述缺陷连通区域在视觉上的重叠程度，确定所述目标产品图像中是否存在断线，或确定所述目标产品图像中是否存在短路。
5.根据权利要求4所述的缺陷检测识别方法，其特征在于，根据所述缺陷连通区域的前景图和所述目标产品图像中所包含的指定元件的前景图，确定所述指定元件与所述缺陷连通区域在视觉上的重叠程度，包括：
根据所述缺陷连通区域的前景图和所述指定元件的前景图，构建所述指定元件对应的相交矩阵，所述相交矩阵用于表示所述指定元件与所述缺陷连通区域在视觉上的重叠程度，所述相交矩阵中的元素表示如下：
Figure FDA0002395827530000021
其中，Aij表示第j个缺陷连通区域与所述指定元件的第i个实例在视觉上的重叠程度；Si表示所述指定元件的第i个实例的前景图；Sj表示第j个缺陷连通区域的前景图。
6.根据权利要求5所述的缺陷检测识别方法，其特征在于，确定所述目标产品图像中是否存在断线，包括：
针对所述指定元件的第i个实例，对所述相交矩阵的行元素进行求和，若所述行元素的和值大于或等于设定值，则确定所述第i个实例存在断线；或者
针对第j个缺陷连通区域，对所述相交矩阵的列元素进行求和，若所述列元素的和值大于或等于设定值，则确定所述指定元件的实例在所述第j个缺陷连通区域存在断线；或者
若所述指定元件的第i个实例与第j个缺陷连通区域在视觉上的重叠程度大于或等于设定值，则确定所述第i个实例在所述第j个缺陷连通区域处存在断线。
7.根据权利要求5所述的缺陷检测识别方法，其特征在于，确定所述目标产品图像中是否存在短路，包括：
对所述目标产品图像中的第一元件对应的相交矩阵和第二元件对应的相交矩阵的转置进行求积运算，得到目标矩阵；
计算所述目标矩阵所包含的各个元素的和值；
若所述第一元件对应的相交矩阵和所述第二元件对应的相交矩阵不相同，则在所述目标矩阵所包含的各个元素的和值为0的情况下，确定所述目标产品图像中不存在短路。
8.根据权利要求7所述的缺陷检测识别方法，其特征在于，还包括：
若所述第一元件对应的相交矩阵和所述第二元件对应的相交矩阵相同，则计算所述目标矩阵所包含的各个元素的和值与所述目标矩阵的迹之间的差值；
在所述差值为0的情况下，确定所述目标产品图像中不存在短路。
9.根据权利要求4所述的缺陷检测识别方法，其特征在于，还包括：
定位所述目标产品图像中所包含的种子区域；
基于所述目标产品图像在设计时的周期信息与所述种子区域之间的对应关系，确定所述目标产品图像中所包含的各个元件的位置。
10.根据权利要求9所述的缺陷检测识别方法，其特征在于，还包括：
根据从所述目标产品图像中所识别出的缺陷，从所述目标产品图像中排除存在缺陷的区域，得到处理后的图像；
基于所述处理后的图像估计所述目标产品图像在设计时的周期信息。
11.根据权利要求1至10中任一项所述的缺陷检测识别方法，其特征在于，还包括：
获取在所述目标产品图像中所标识出的各个元件的信息；
根据所述各个元件的信息生成所述各个元件对应的候选模板；
基于所述各个元件对应的候选模板在所述目标产品图像中进行匹配，得到所述各个元件对应的分值图；
根据所述各个元件对应的分值图，从所述目标产品图像中选择出至少两个元件；
将所述至少两个元件分别对应的候选模板进行合并，以生成所述目标产品图像对应的模板图像。
12.根据权利要求1至10中任一项所述的缺陷检测识别方法，其特征在于，通过神经网络模型对所述目标产品图像进行缺陷检测处理，包括：
获取所述目标产品图像所包含的目标元件的掩膜；
根据所述目标元件的掩膜，调整所述目标元件所在位置对应的敏感阈值，所述敏感阈值用于所述神经网络模型识别所述目标产品图像中的感兴趣区域；
基于所述敏感阈值，通过神经网络模型检测所述目标产品图像中的缺陷。
13.一种缺陷检测识别装置，其特征在于，包括：
获取单元，配置为获取目标产品图像；
第一处理单元，配置为将所述目标产品图像与所述目标产品图像对应的模板图像进行匹配处理，得到所述目标产品图像的第一缺陷图；
第二处理单元，配置为通过神经网络模型对所述目标产品图像进行缺陷检测处理，得到所述目标产品图像对应的第二缺陷图；
识别单元，配置为结合所述第一缺陷图和所述第二缺陷图，识别所述目标产品图像中所包含的缺陷。
14.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的缺陷检测识别方法。
15.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至12中任一项所述的缺陷检测识别方法。
CN202010131234.5A 2020-02-28 2020-02-28 缺陷检测识别方法、装置、计算机可读介质及电子设备 Active CN111353983B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010131234.5A CN111353983B (zh) 2020-02-28 2020-02-28 缺陷检测识别方法、装置、计算机可读介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010131234.5A CN111353983B (zh) 2020-02-28 2020-02-28 缺陷检测识别方法、装置、计算机可读介质及电子设备

Publications (2)

Publication Number Publication Date
CN111353983A true CN111353983A (zh) 2020-06-30
CN111353983B CN111353983B (zh) 2023-05-23

Family

ID=71194192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010131234.5A Active CN111353983B (zh) 2020-02-28 2020-02-28 缺陷检测识别方法、装置、计算机可读介质及电子设备

Country Status (1)

Country Link
CN (1) CN111353983B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709951A (zh) * 2020-08-20 2020-09-25 成都数之联科技有限公司 目标检测网络训练方法及系统及网络及装置及介质
CN111812545A (zh) * 2020-07-07 2020-10-23 苏州精濑光电有限公司 线路缺陷检测方法、装置、设备及介质
CN112184584A (zh) * 2020-09-29 2021-01-05 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN112801987A (zh) * 2021-02-01 2021-05-14 上海悦易网络信息技术有限公司 一种手机零件异常检测方法及设备
CN112884743A (zh) * 2021-02-22 2021-06-01 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质
CN112991294A (zh) * 2021-03-12 2021-06-18 梅特勒-托利多(常州)测量技术有限公司 异物检测方法、装置及计算机可读介质
CN113744269A (zh) * 2021-11-05 2021-12-03 武汉逸飞激光股份有限公司 圆柱电芯焊接质量检测方法、装置、电子设备及存储介质
CN115063618A (zh) * 2022-08-17 2022-09-16 成都数之联科技股份有限公司 一种基于模板匹配的缺陷定位方法、系统、设备及介质
WO2023029491A1 (zh) * 2021-09-02 2023-03-09 成都数联云算科技有限公司 面板阵列短路检测方法、装置、电子设备及存储介质

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1276577A (zh) * 1999-06-02 2000-12-13 松下电器产业株式会社 图案缺陷检测方法
JP2002288665A (ja) * 2001-03-28 2002-10-04 Seiko Epson Corp 画面欠陥検出方法及び装置並びに画面欠陥検出のためのプログラム
JP2004085503A (ja) * 2002-08-29 2004-03-18 Dainippon Screen Mfg Co Ltd 分類装置、歩留管理システム、分類方法、基板製造方法およびプログラム
JP2006105791A (ja) * 2004-10-05 2006-04-20 Nippon Steel Corp 帯状体や柱状体の周期性疵検出方法およびその装置
US20110026835A1 (en) * 2009-07-30 2011-02-03 Ptucha Raymond W System for matching artistic attributes of secondary image and template to a primary image
JP2011085820A (ja) * 2009-10-16 2011-04-28 Sony Corp 欠陥修正装置および欠陥修正方法
JPWO2011004534A1 (ja) * 2009-07-09 2012-12-13 株式会社日立ハイテクノロジーズ 半導体欠陥分類方法，半導体欠陥分類装置，半導体欠陥分類プログラム
CN102867299A (zh) * 2012-08-09 2013-01-09 东华大学 一种基于奇异值分解的图像分析方法及应用于织物瑕疵检测的方法
CN103380057A (zh) * 2010-09-29 2013-10-30 航空机器股份有限公司 飞机的无损检测的创新系统和方法
TW201351305A (zh) * 2012-04-19 2013-12-16 Applied Materials Israel Ltd 使用以ｃａｄ為基礎之環境背景屬性之缺陷分類
CN105144235A (zh) * 2013-02-04 2015-12-09 Ge传感与检测技术有限公司 用于无损测试测试对象的体积的方法和为了实施这样的方法而配置的测试装置
CN105556449A (zh) * 2013-07-09 2016-05-04 指尖翻动公司 用于数字杂志的动态布局引擎
US20160148074A1 (en) * 2014-11-26 2016-05-26 Captricity, Inc. Analyzing content of digital images
CN105930313A (zh) * 2016-04-13 2016-09-07 平安科技（深圳）有限公司 处理通知信息的方法和装置
CN108510476A (zh) * 2018-03-14 2018-09-07 五邑大学 一种基于机器视觉的手机屏线路检测方法
CN109118482A (zh) * 2018-08-07 2019-01-01 腾讯科技（深圳）有限公司 一种面板缺陷分析方法、装置及存储介质
US20190080443A1 (en) * 2017-09-11 2019-03-14 International Business Machines Corporation Quality evaluation
CN109886950A (zh) * 2019-02-22 2019-06-14 北京百度网讯科技有限公司 电路板的缺陷检测方法和装置
CN110473197A (zh) * 2019-08-13 2019-11-19 树根互联技术有限公司 材料表面缺陷检测方法、装置、设备及存储介质
CN110555839A (zh) * 2019-09-06 2019-12-10 腾讯云计算（北京）有限责任公司 缺陷检测识别方法、装置、计算机设备及存储介质
CN110579479A (zh) * 2019-08-09 2019-12-17 康代影像科技(苏州)有限公司 一种基于假点缺陷检测的pcb检修系统及检修方法
CN110726724A (zh) * 2019-10-22 2020-01-24 北京百度网讯科技有限公司 缺陷检测方法、系统和装置

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1276577A (zh) * 1999-06-02 2000-12-13 松下电器产业株式会社 图案缺陷检测方法
JP2002288665A (ja) * 2001-03-28 2002-10-04 Seiko Epson Corp 画面欠陥検出方法及び装置並びに画面欠陥検出のためのプログラム
JP2004085503A (ja) * 2002-08-29 2004-03-18 Dainippon Screen Mfg Co Ltd 分類装置、歩留管理システム、分類方法、基板製造方法およびプログラム
JP2006105791A (ja) * 2004-10-05 2006-04-20 Nippon Steel Corp 帯状体や柱状体の周期性疵検出方法およびその装置
JPWO2011004534A1 (ja) * 2009-07-09 2012-12-13 株式会社日立ハイテクノロジーズ 半導体欠陥分類方法，半導体欠陥分類装置，半導体欠陥分類プログラム
US20110026835A1 (en) * 2009-07-30 2011-02-03 Ptucha Raymond W System for matching artistic attributes of secondary image and template to a primary image
JP2011085820A (ja) * 2009-10-16 2011-04-28 Sony Corp 欠陥修正装置および欠陥修正方法
CN103380057A (zh) * 2010-09-29 2013-10-30 航空机器股份有限公司 飞机的无损检测的创新系统和方法
TW201351305A (zh) * 2012-04-19 2013-12-16 Applied Materials Israel Ltd 使用以ｃａｄ為基礎之環境背景屬性之缺陷分類
CN102867299A (zh) * 2012-08-09 2013-01-09 东华大学 一种基于奇异值分解的图像分析方法及应用于织物瑕疵检测的方法
CN105144235A (zh) * 2013-02-04 2015-12-09 Ge传感与检测技术有限公司 用于无损测试测试对象的体积的方法和为了实施这样的方法而配置的测试装置
CN105556449A (zh) * 2013-07-09 2016-05-04 指尖翻动公司 用于数字杂志的动态布局引擎
US20160148074A1 (en) * 2014-11-26 2016-05-26 Captricity, Inc. Analyzing content of digital images
CN105930313A (zh) * 2016-04-13 2016-09-07 平安科技（深圳）有限公司 处理通知信息的方法和装置
US20190080443A1 (en) * 2017-09-11 2019-03-14 International Business Machines Corporation Quality evaluation
CN108510476A (zh) * 2018-03-14 2018-09-07 五邑大学 一种基于机器视觉的手机屏线路检测方法
CN109118482A (zh) * 2018-08-07 2019-01-01 腾讯科技（深圳）有限公司 一种面板缺陷分析方法、装置及存储介质
CN109886950A (zh) * 2019-02-22 2019-06-14 北京百度网讯科技有限公司 电路板的缺陷检测方法和装置
CN110579479A (zh) * 2019-08-09 2019-12-17 康代影像科技(苏州)有限公司 一种基于假点缺陷检测的pcb检修系统及检修方法
CN110473197A (zh) * 2019-08-13 2019-11-19 树根互联技术有限公司 材料表面缺陷检测方法、装置、设备及存储介质
CN110555839A (zh) * 2019-09-06 2019-12-10 腾讯云计算（北京）有限责任公司 缺陷检测识别方法、装置、计算机设备及存储介质
CN110726724A (zh) * 2019-10-22 2020-01-24 北京百度网讯科技有限公司 缺陷检测方法、系统和装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
FUSAOMI NAGATA 等: "Defect detection method using deep convolutional neural network, support vector machine and template matching techniques", 《ARTIFCIAL LIFE AND ROBOTICS》 *
SHUYAN REN 等: "Circuit board defect detection based on image processing" *
尚会超 等: "含疵服装样片的提取与匹配算法研究" *
张玙: "PCB缺陷自动检测系统的研究与设计", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
李欣遥: "基于深度学习的工件微小缺陷诊断方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
王晓阳: "基于卷积神经网络的印钞图像二次核查系统", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111812545A (zh) * 2020-07-07 2020-10-23 苏州精濑光电有限公司 线路缺陷检测方法、装置、设备及介质
CN111812545B (zh) * 2020-07-07 2023-05-12 苏州精濑光电有限公司 线路缺陷检测方法、装置、设备及介质
CN111709951A (zh) * 2020-08-20 2020-09-25 成都数之联科技有限公司 目标检测网络训练方法及系统及网络及装置及介质
CN112184584A (zh) * 2020-09-29 2021-01-05 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN112801987A (zh) * 2021-02-01 2021-05-14 上海悦易网络信息技术有限公司 一种手机零件异常检测方法及设备
CN112884743A (zh) * 2021-02-22 2021-06-01 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质
CN112884743B (zh) * 2021-02-22 2024-03-05 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质
CN112991294A (zh) * 2021-03-12 2021-06-18 梅特勒-托利多(常州)测量技术有限公司 异物检测方法、装置及计算机可读介质
WO2023029491A1 (zh) * 2021-09-02 2023-03-09 成都数联云算科技有限公司 面板阵列短路检测方法、装置、电子设备及存储介质
CN113744269A (zh) * 2021-11-05 2021-12-03 武汉逸飞激光股份有限公司 圆柱电芯焊接质量检测方法、装置、电子设备及存储介质
CN113744269B (zh) * 2021-11-05 2022-02-18 武汉逸飞激光股份有限公司 圆柱电芯焊接质量检测方法、装置、电子设备及存储介质
CN115063618B (zh) * 2022-08-17 2022-11-11 成都数之联科技股份有限公司 一种基于模板匹配的缺陷定位方法、系统、设备及介质
CN115063618A (zh) * 2022-08-17 2022-09-16 成都数之联科技股份有限公司 一种基于模板匹配的缺陷定位方法、系统、设备及介质

Also Published As

Publication number Publication date
CN111353983B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN111353983B (zh) 缺陷检测识别方法、装置、计算机可读介质及电子设备
CN112581463B (zh) 图像缺陷的检测方法、装置、电子设备、存储介质及产品
König et al. Optimized deep encoder-decoder methods for crack segmentation
Huyan et al. Detection of sealed and unsealed cracks with complex backgrounds using deep convolutional neural network
Yuan et al. Vision-based defect detection for mobile phone cover glass using deep neural networks
Li et al. A robust instance segmentation framework for underground sewer defect detection
Tao et al. Industrial weak scratches inspection based on multifeature fusion network
Wu et al. Enhanced precision in dam crack width measurement: Leveraging advanced lightweight network identification for pixel-level accuracy
US20220076404A1 (en) Defect management apparatus, method and non-transitory computer readable medium
Tao et al. Gap detection of switch machines in complex environment based on object detection and image processing
CN112801047A (zh) 缺陷检测方法、装置、电子设备及可读存储介质
Yao et al. A feature memory rearrangement network for visual inspection of textured surface defects toward edge intelligent manufacturing
Dlamini et al. Developing a surface mount technology defect detection system for mounted devices on printed circuit boards using a MobileNetV2 with Feature Pyramid Network
Khalid et al. An algorithm to group defects on printed circuit board for automated visual inspection
Beyene et al. Unsupervised domain adaptation-based crack segmentation using transformer network
CN111415326A (zh) 一种用于铁路接触网螺栓异常状态的检测方法及系统
CN116402771A (zh) 缺陷检测方法、装置和模型训练方法、装置
He et al. Unsupervised defect inspection algorithm based on cascaded GAN with edge repair feature fusion
Yang et al. A semantic information decomposition network for accurate segmentation of texture defects
Gu et al. Segmentation and evaluation of crack image from aircraft fuel tank via atrous spatial pyramid fusion and hybrid attention network
Su et al. RFS-Net: Railway Track Fastener Segmentation Network With Shape Guidance
Chang et al. Bilayer Markov random field method for detecting defects in patterned fabric
Andersen et al. Domain adapted probabilistic inspection using deep probabilistic segmentation
Niu et al. Learning Trustworthy Model from Noisy Labels based on Rough Set for Surface Defect Detection
Baranwal et al. Five deep learning recipes for the mask-making industry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40025257

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant