CN112508846A - 缺陷检测方法及装置、电子设备和存储介质 - Google Patents

缺陷检测方法及装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112508846A
CN112508846A CN202011191756.0A CN202011191756A CN112508846A CN 112508846 A CN112508846 A CN 112508846A CN 202011191756 A CN202011191756 A CN 202011191756A CN 112508846 A CN112508846 A CN 112508846A
Authority
CN
China
Prior art keywords
feature
feature point
point
map
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011191756.0A
Other languages
English (en)
Other versions
CN112508846B (zh
Inventor
牛临潇
李�诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202011191756.0A priority Critical patent/CN112508846B/zh
Publication of CN112508846A publication Critical patent/CN112508846A/zh
Priority to PCT/CN2021/096064 priority patent/WO2022088663A1/zh
Priority to JP2022538297A priority patent/JP2023507024A/ja
Application granted granted Critical
Publication of CN112508846B publication Critical patent/CN112508846B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本公开提供了一种缺陷检测方法及装置、电子设备和存储介质，其中，该方法包括：获取模板图像的第一特征图、以及待检测图像的第二特征图；针对第一特征图中的每个第一特征点，从第一特征图中的多个第一特征点中，确定与该第一特征点之间的距离满足预设条件的多个关联特征点；针对每个第一特征点，基于确定的该第一特征点的每个关联特征点与第二特征图中的目标第二特征点之间的相似度，对该第一特征点进行特征增强处理；其中，目标第二特征点为第二特征图中位置与该第一特征点匹配的第二特征点；基于所述第二特征图、以及特征增强处理后的所述第一特征图，确定所述待检测图像对应的缺陷检测结果。该过程能够提升对待检测图像的缺陷检测精度。

Description

缺陷检测方法及装置、电子设备和存储介质
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种缺陷检测方法及装置、电子设备和存储介质。
背景技术
随着科技的发展，现代制造业对于印刷电路板(Printed circuit board， PCB)的需求也日益增长。电子设备性能的优劣不但受电子元器件本身质量和性能的影响，而且在很大程度上取决于PCB质量的好坏。PCB缺陷检测技术是关系到电子系统质量和生产周期的重要环节，自从PCB发明以来就备受重视。当前各种设备的生产厂商对于电路板的要求越来越高，不只是追求更高性能和生产效率，对电路板的良品率等质量因素还有更加严格的要求。
当前通常利用自动光学检测(Automated Optical Inspection，AOI)设备来进行PCB缺陷检测；AOI设备在自动检测时，通过摄像头对PCB进行自动扫描得到PCB图像，然后将PCB图像中的焊点与数据库中合格PCB的模板图像进行比较，以检查出PCB上存在的缺陷；但是实际上，PCB在生产过程中，常常造成PCB上存在生产误差；另外在将PCB的待检测图像和模板图像进行比对时，也会存在图像之间的匹配误差；此外，待检测图像在采集过程也可能存在采集噪声；这些误差导致了当前对PCB的缺陷检测结果存在大量误检区域，造成缺陷检测精度的下降。
发明内容
本公开实施例至少提供一种缺陷检测方法及装置、电子设备和存储介质。
第一方面，本公开实施例提供了一种缺陷检测方法，包括：获取模板图像的第一特征图、以及待检测图像的第二特征图；针对所述第一特征图中的每个第一特征点，从所述第一特征图中的多个第一特征点中，确定与该第一特征点之间的距离满足预设条件的多个关联特征点；针对每个所述第一特征点，基于确定的该第一特征点的每个关联特征点与所述第二特征图中的目标第二特征点之间的相似度，对该第一特征点进行特征增强处理；其中，所述目标第二特征点为所述第二特征图中位置与该第一特征点匹配的第二特征点；基于所述第二特征图、以及特征增强处理后的所述第一特征图，确定所述待检测图像对应的缺陷检测结果。
这样，通过对模板图像的第一特征图进行特征增强，以减小由于待检测图像存在的采集噪声、匹配误差、以及生产误差，所带来的待检测图像和模板图像之间的差异，提升对待检测图像的缺陷检测精度。
一种可能的实施方式中，采用下述方式确定所述每个关联特征点与所述目标第二特征点之间的相似度：基于所述每个关联特征点在所述第一特征图中的位置，以及预设的距离阈值，得到所述每个关联特征点对应的第一特征子图；以及基于所述目标第二特征点在所述第二特征图中的位置、以及所述距离阈值，得到所述目标第二特征点对应的第二特征子图；基于所述第一特征子图、以及所述第二特征子图，确定所述每个关联特征点与所述目标第二特征点之间的相似度。
一种可能的实施方式中，所述基于所述每个关联特征点在所述第一特征图中的位置，以及预设的距离阈值，得到所述每个关联特征点对应的第一特征子图，包括：在所述第一特征图上，确定以所述每个关联特征点为圆心、以所述距离阈值为半径的第一圆形区域，基于所述第一特征图上位于该第一圆形区域内的第一特征点，得到所述第一特征子图；所述基于所述目标第二特征点在所述第二特征图中的位置、以及所述距离阈值，得到所述目标第二特征点对应的第二特征子图，包括：在所述第二特征图上，以所述目标第二特征点为圆心、以所述距离阈值为半径的第二圆形区域，基于所述第二特征图上位于该第二圆形区域内的第二特征点，得到所述第二特征子图。
一种可能的实施方式中，所述基于所述每个关联特征点在所述第一特征图中的位置，以及预设的距离阈值，得到所述每个关联特征点对应的第一特征子图，包括：基于所述距离阈值，确定目标边长；在所述第一特征图上，确定以所述每个关联特征点为中心、以确定的所述目标边长为边长的第一正方形区域，基于所述第一特征图上位于该第一正方形区域内的第一特征点，得到所述第一特征子图；所述基于所述目标第二特征点在所述第二特征图中的位置、以及所述距离阈值，得到所述目标第二特征点对应的第二特征子图，包括：在所述第二特征图上，确定以所述每个目标第二特征点为中心、以确定的所述目标边长为边长的第二正方形区域，基于所述第二特征图上位于该第二正方形区域内的第二特征点，得到所述第二特征子图。
一种可能的实施方式中，所述针对每个所述第一特征点，基于确定的该第一特征点的每个关联特征点与所述第二特征图中的目标第二特征点之间的相似度，对该第一特征点进行特征增强处理，包括：基于该第一特征点的所述每个关联特征点与所述目标第二特征点之间的相似度，以及该第一特征点的多个所述关联特征点分别对应的特征值，对该第一特征点进行特征增强处理。
一种可能的实施方式中，基于该第一特征点的所述每个关联特征点与所述目标第二特征点之间的相似度，以及该第一特征点的多个所述关联特征点分别对应的特征值，对该第一特征点进行特征增强处理，包括：基于所述每个关联特征点与目标第二特征点之间的相似度，对多个所述关联特征点分别对应的特征值进行加权求和，得到第一和值；以及，对多个关联特征点分别对应的相似度进行求和，得到第二和值；将所述第一和值和所述第二和值的比值，作为对该第一特征点进行特征增强处理后的所述第一特征点的特征值。
一种可能的实施方式中，所述基于所述第二特征图、以及特征增强处理后的所述第一特征图，确定所述待检测图像对应的缺陷检测结果，包括：
基于所述第二特征图、以及所述增强处理后的所述第一特征图，生成所述第二特征图的注意力掩码图像；其中，所述注意力掩码图像中任一像素点的像素值，表征该第二特征图中位置与该任一像素点匹配的第二特征点存在缺陷的异常度值；
基于所述注意力掩码图像、以及所述增强处理后的所述第一特征图，确定所述待检测图像对应的缺陷检测结果。
一种可能的实施方式中，所述基于所述注意力掩码图像、以及所述增强处理后的所述第一特征图，确定所述待检测图像对应的缺陷检测结果，包括：
对所述注意力掩码图像、以及所述增强处理后的所述第一特征图进行合并处理，得到合并特征图；
对所述注意力掩码图像、以及所述合并特征图进行特征融合处理，得到特征融合图像；
基于所述特征融合图像，确定所述待检测图像对应的缺陷检测结果。
第二方面，本公开实施例还提供一种缺陷检测装置，包括：获取模块，用于获取模板图像的第一特征图、以及待检测图像的第二特征图；确定模块，用于针对所述第一特征图中的每个第一特征点，从所述第一特征图中的多个第一特征点中，确定与该第一特征点之间的距离满足预设条件的多个关联特征点；特征增强处理模块，用于针对每个所述第一特征点，基于确定的该第一特征点的每个关联特征点与所述第二特征图中的目标第二特征点之间的相似度，对该第一特征点进行特征增强处理；其中，所述目标第二特征点为所述第二特征图中位置与该第一特征点匹配的第二特征点；检测模块，用于基于所述第二特征图、以及特征增强处理后的所述第一特征图，确定所述待检测图像对应的缺陷检测结果。
一种可能的实施方式中，还包括：相似度确定模块，用于采用下述方式确定所述每个关联特征点与所述目标第二特征点之间的相似度：基于所述每个关联特征点在所述第一特征图中的位置，以及预设的距离阈值，得到所述每个关联特征点对应的第一特征子图；以及基于所述目标第二特征点在所述第二特征图中的位置、以及所述距离阈值，得到所述目标第二特征点对应的第二特征子图；基于所述第一特征子图、以及所述第二特征子图，确定所述每个关联特征点与所述目标第二特征点之间的相似度。
一种可能的实施方式中，所述相似度确定模块，在基于所述每个关联特征点在所述第一特征图中的位置，以及预设的距离阈值，得到所述每个关联特征点对应的第一特征子图时，用于：在所述第一特征图上，确定以所述每个关联特征点为圆心、以所述距离阈值为半径的第一圆形区域，基于所述第一特征图上位于该第一圆形区域内的第一特征点，得到所述第一特征子图；所述基于所述目标第二特征点在所述第二特征图中的位置、以及所述距离阈值，得到所述目标第二特征点对应的第二特征子图，包括：在所述第二特征图上，以所述目标第二特征点为圆心、以所述距离阈值为半径的第二圆形区域，基于所述第二特征图上位于该第二圆形区域内的第二特征点，得到所述第二特征子图。
一种可能的实施方式中，所述相似度确定模块，在基于所述每个关联特征点在所述第一特征图中的位置，以及预设的距离阈值，得到所述每个关联特征点对应的第一特征子图时，用于：基于所述距离阈值，确定目标边长；在所述第一特征图上，确定以所述每个关联特征点为中心、以确定的所述目标边长为边长的第一正方形区域，基于所述第一特征图上位于该第一正方形区域内的第一特征点，得到所述第一特征子图；所述相似度确定模块，在基于所述目标第二特征点在所述第二特征图中的位置、以及所述距离阈值，得到所述目标第二特征点对应的第二特征子图时，用于：在所述第二特征图上，确定以所述每个目标第二特征点为中心、以确定的所述目标边长为边长的第二正方形区域，基于所述第二特征图上位于该第二正方形区域内的第二特征点，得到所述第二特征子图。
一种可能的实施方式中，所述特征增强处理模块，在针对每个所述第一特征点，基于确定的该第一特征点的每个关联特征点与所述第二特征图中的目标第二特征点之间的相似度，对该第一特征点进行特征增强处理时，用于：基于该第一特征点的所述每个关联特征点与所述目标第二特征点之间的相似度，以及该第一特征点的多个所述关联特征点分别对应的特征值，对该第一特征点进行特征增强处理。
一种可能的实施方式中，所述特征增强处理模块，在基于该第一特征点的所述每个关联特征点与所述目标第二特征点之间的相似度，以及该第一特征点的多个所述关联特征点分别对应的特征值，对该第一特征点进行特征增强处理时，用于：基于所述每个关联特征点与目标第二特征点之间的相似度，对多个所述关联特征点分别对应的特征值进行加权求和，得到第一和值；以及，对多个关联特征点分别对应的相似度进行求和，得到第二和值；将所述第一和值和所述第二和值的比值，作为对该第一特征点进行特征增强处理后的所述第一特征点的特征值。
一种可能的实施方式中，所述检测模块，在基于所述第二特征图、以及特征增强处理后的所述第一特征图，确定所述待检测图像对应的缺陷检测结果时，用于：基于所述第二特征图、以及所述增强处理后的所述第一特征图，生成所述第二特征图的注意力掩码图像；其中，所述注意力掩码图像中任一像素点的像素值，表征该第二特征图中位置与该任一像素点匹配的第二特征点存在缺陷的异常度值；基于所述注意力掩码图像、以及所述增强处理后的所述第一特征图，确定所述待检测图像对应的缺陷检测结果。
一种可能的实施方式中，所述检测模块，在基于所述注意力掩码图像、以及所述增强处理后的所述第一特征图，确定所述待检测图像对应的缺陷检测结果时，用于：对所述注意力掩码图像、以及所述增强处理后的所述第一特征图进行合并处理，得到合并特征图；对所述注意力掩码图像、以及所述合并特征图进行特征融合处理，得到特征融合图像；基于所述特征融合图像，确定所述待检测图像对应的缺陷检测结果。
第三方面，本公开实施例还提供一种电子设备，包括：相互连接的处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器执行以实现上述第一方面，或第一方面中任一种可能的实施方式中的缺陷检测方法。
第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的缺陷检测方法。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种缺陷检测方法的流程图；
图2示出了本公开实施例所提供的确定每个关联特征点与目标第二特征点之间相似度的具体方法的流程图；
图3示出了本公开实施例所提供的一种缺陷检测装置的示意图；
图4示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
经研究发现，在使用AOI设备对PCB进行缺陷检测时，首先需要专业的工程师根据PCB上焊点的位置，针对PCB进行编程；在编程后，通过 AOI设备上的摄像头自动扫描PCB得到PCB图像，然后将PCB图像中的焊点与数据库中合格图像的金属焊点进行比较；当PCB图像中任一金属焊点与合格图像中对应金属焊点的形状不一致时，则确定该焊点可能存在缺陷，然后将该焊点位置标注出来，并通过AOI设备上的显示设备展示给工程师，以使工程师能够基于缺陷检测结果来进行后续处理。
但是实际上，PCB在生产过程中，常常造成PCB上存在生产误差；另外在将PCB的待检测图像和模板图像进行比对时，也会存在图像之间的匹配误差；此外，待检测图像在采集过程也可能存在采集噪声；这些误差导致了当前对PCB的缺陷检测结果存在大量误检区域，造成缺陷检测精度的下降。
基于上述研究，本公开提供了一种缺陷检测方法及装置、电子设备和存储介质，通过对模板图像的第一特征图进行特征增强，以减小由于待检测图像存在的采集噪声、匹配误差、以及生产误差，所带来的待检测图像和模板图像之间的差异，提升对待检测图像的缺陷检测精度。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种缺陷检测方法进行详细介绍，本公开实施例所提供的缺陷检测方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为专用于进行PCB质量检测的设备，也可以为其他终端设备，例如电脑、移动设备等。在一些可能的实现方式中，该缺陷检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
另外，本公开实施例提供的缺陷检测方法除了能够用于度PCB进行缺陷检测外，还可以对其他物品进行缺陷检测，例如工件、机器部件等。
下面以对PCB进行缺陷检测为例对本公开实施例提供的缺陷检测方法加以详细说明。
参见图1所示，为本公开实施例提供的缺陷检测方法的流程图，所述方法包括步骤S101～S104，其中：
S101：获取模板图像的第一特征图、以及待检测图像的第二特征图；
S102：针对所述第一特征图中的每个第一特征点，从所述第一特征图中的多个第一特征点中，确定与该第一特征点之间的距离满足预设条件的多个关联特征点；
S103：针对每个所述第一特征点，基于确定的该第一特征点的每个关联特征点与所述第二特征图中的目标第二特征点之间的相似度，对该第一特征点进行特征增强处理；其中，所述目标第二特征点为所述第二特征图中位置与该第一特征点匹配的第二特征点；
S104：基于所述第二特征图、以及特征增强处理后的所述第一特征图，确定所述待检测图像对应的缺陷检测结果。
下面分别对上述S101～S104加以详细说明。
I：在上述S101中，模板图像，是指在对PCB进行缺陷检测时所用的对合格的PCB拍摄的图像。待检测图像，是指对待检测的PCB获取的图像。
在获取模板图像的第一特征图和待检测图像的第二特征图时，例如可以采用的特征提取神经网络分别对模板图像和待检测图像进行特征提取，得到模板图像的第一特征图和待检测图像的第二特征图。
在一种可能的实施方式中，在对相同的PCB的待检测图像进行缺陷检测处理时，由于所采用的模板图像都是同一张，因此可以只针对模板图像提取一次第一特征图，并将其第一特征图存储起来；在对多张待检测图像中的每张待检测图像进行缺陷检测处理过程中，在已经存在模板图像的第一特征图的情况下，只需要从存储第一特征图的存储位置中读取第一特征图即可；并利用特征提取网络对待处理图像进行特征提取处理，得到每张待处理图像的第二特征图。
II：在上述S102中，在具体实施中，与第一特征点之间的距离满足预设条件的关联特征点，例如是在第一特征图中，与第一特征点之间的距离小于预设的某一距离阈值L的第一特征点。
示例性的，该距离L例如L1距离、L2距离、欧式距离、或者曼哈顿距离中任一种。
在为每个第一特征点确定多个关联特征点时，可以将第一特征图中所有满足预设条件的第一特征点均确定为该关联特征点；也可以将第一特征图中所有满足预设条件的第一特征点作为备选特征点，然后按照随机采样、或者均匀间隔采样的方式，从多个备选特征点中确定多个关联特征点。
III：在上述S103中，针对每个第一特征点，该第一特征点的目标第二特征点，为在第二特征图中位置与该第一特征点匹配的第二特征点。
示例性的，若第一特征图和第二特征图的尺寸为m×n，第一特征图表示为：
Figure BDA0002752943150000111
第二特征图表示为：
Figure BDA0002752943150000112
对于第一特征图中的任一第一特征点aij，与之位置匹配的目标第二特征点为：bij。
在确定了与第一特征点位置匹配的目标第二特征点后，要确定该第一特征点的各个关联特征点与该目标第二特征点之间的相似度。
参见图2所示，本公开实施例还提供一种确定每个关联特征点与目标第二特征点之间相似度的具体方法，包括：
S201：基于所述每个关联特征点在所述第一特征图中的位置，以及预设的距离阈值，得到所述每个关联特征点对应的第一特征子图；
S202：基于所述目标第二特征点在所述第二特征图中的位置、以及所述距离阈值，得到所述目标第二特征点对应的第二特征子图；
S203：基于所述第一特征子图、以及所述第二特征子图，确定所述每个关联特征点与所述目标第二特征点之间的相似度。
此处，上述S201和S202之间无先后逻辑关系。
在一种可能的实施方式中，在确定任一关联特征点对应的第一特征子图时，例如可以在所述第一特征图上，确定以该任一每个关联特征点为圆心、以该预设的距离阈值为半径的第一圆形区域，并基于所述第一特征图上位于该第一圆形区域内的第一特征点，得到所述第一特征子图。
此处，第一特征子图中的第一特征点，可以包括位于第一圆形区域内的所有第一特征点，也可以仅仅包括位于第一圆形区域内的部分第一特征点。
类似的，在确定目标第二特征点对应的第二特征子图时，例如可以在第二特征图上，以所述目标第二特征点为圆心、以该预设的距离阈值为半径的第二圆形区域，基于所述第二特征图上位于该第二圆形区域内的第二特征点，得到所述第二特征子图。
相同的，第二特征子图中的第二特征点，可以包括位于第二圆形区域内的所有第二特征点，也可以仅仅包括位于第二圆形区域内的部分第二特征点。
示例性的，在第一特征子图中的第一特征点仅仅包括位于第一圆形区域内的部分第一特征点时，第二特征子图中的第二特征点也仅仅包括第二圆形区域内的部分第二特征点；且第一特征子图中的第一特征点和第二子图中的第二特征点位置一一匹配。
在另一种可能的实施方式中，在确定任一关联特征点对应的第一特征子图时，例如还可以基于所述距离阈值，确定目标边长；在所述第一特征图上，确定以所述每个关联特征点为中心、以确定的所述目标边长为边长的第一正方形区域，基于所述第一特征图上位于该第一正方形区域内的第一特征点，得到所述第一特征子图。
此处，目标边长例如满足：2R+1；其中，R表示上述距离阈值。
在确定关联特征点对应的第一特征子图时，第一特征子图包括的第一特征点，例如包括位于第一正方形区域内的所有第一特征点，也可以仅仅包括位于第一正方形区域内的部分第一特征点。
类似的，在确定目标第二特征点对应的第二特征子图时，例如可以在所述第二特征图上，确定以所述每个目标第二特征点为中心、以确定的所述目标边长为边长的第二正方形区域，基于所述第二特征图上位于该第二正方形区域内的第二特征点，得到所述第二特征子图。
在确定目标第二特征点对应的第二特征子图时，第二特征子图包括的第二特征点，例如包括位于第二正方形区域内的所有第二特征点，也可以仅仅包括位于第二正方形区域内的部分第二特征点。
在得到第一特征子图和第二特征子图后，基于第一特征子图确定关联特征点和目标第二特征点之间的相似度。
示例性的，若与任一第一特征点对应的关联特征点有N个，则第n个关联特征点和目标第二特征点之间的相似度的归一化相关系数NCCn满足下述公式(1)：
Figure BDA0002752943150000131
其中，patchA表示第一特征子图；PatchB表示第二特征子图；patchA*PatchB表示将第一特征子图和第二特征子图进行矩阵乘法；sum(·)表示将矩阵中所有元素的元素值求和。
III：在上述S103中，例如可以基于该第一特征点的所述每个关联特征点与所述目标第二特征点之间的相似度，以及该第一特征点的多个所述关联特征点分别对应的特征值，对该第一特征点进行特征增强处理。
在具体实施中，示例性的，在对第一特征点进行特征增强处理时，例如可以采用下述方式：
基于所述每个关联特征点与目标第二特征点之间的相似度，对多个所述关联特征点分别对应的特征值进行加权求和，得到第一和值；以及，对多个关联特征点分别对应的相似度进行求和，得到第二和值；将所述第一和值和所述第二和值的比值，作为对该第一特征点进行特征增强处理后的所述第一特征点的特征值。
示例性的，对于任一第一特征点，该任一第一特征点被特征增强处理后的特征值ft(A)2满足下述公式(2)：
Figure BDA0002752943150000132
其中，ft(A)′n表征第n个关联特征点对应的特征值。
在对第一特征图中的所有第一特征点进行特征增强处理后，得到进行特征增强处理后的第一特征图。
在图像中位置接近的像素点所表征的对象为同一对象时，则像素点的像素值是较为接近的；在对任一特征点进行特征增强处理过程中，该任一特征点的关联特征点与第二特征图中的目标第二特征点之间的相似度较高时，表征该关联特征点与目标第二特征点表征相同对象的可能性较高；在像素低较低时，表征该关联特征点与目标第二特征点表征相同对象的可能性较低；因此利用关联特征点和目标第二特征点之间的相似度对第一特征点进行特征增强处理，能够减少待检测图像存在的采集噪声、匹配误差、以及生产误差等带来的第一特征点和目标第二特征点之间的差异，降低由于上述误差所导致的将待检测图像和模板图像进行配准时所差生的错误的情况。
IV：在基于第二特征图、以及进行了特征增强处理后的第一特征图、确定待检测图像对应的缺陷检测结果时，例如可以按照预设的分割尺寸和预设移动步长，将第一特征图分割为多个小的第一子图，并将第二特征图分割为多个小的第二子图；
针对每个第一子图，从多个第二子图中，确定与该第一子图位置对应的目标第二子图，并计算第一子图与对应的目标第二子图之间的相似度；该两者之间的相似度大于预设的相似度阈值的情况下，则表征在待检测图像中，与该目标第二子图对应的区域未存在缺陷；若该两者之间的相似度小于或者等于该预设相似度阈值，则表征在待检测图像中，与该目标第二子图像对应的区域存在缺陷。
在本公开另一种实施例中，还可以采用其他方法来对待检测图像进行缺陷检测，例如利用预先训练的缺陷检测神经网络，将增强后的第一特征图和第二特征图作为该缺陷检测神经网络的输入，得到待检测图像的缺陷检测结果。
示例性的，本公开实施例提供一种基于第二特征图、和特征增强处理后的所述第一特征图，确定所述待检测图像对应的缺陷检测结果的具体示例，包括：
基于所述第二特征图、以及所述增强处理后的所述第一特征图，生成所述第二特征图的注意力掩码图像；其中，所述注意力掩码图像中任一像素点的像素值，表征该第二特征图中位置与该任一像素点匹配的第二特征点存在缺陷的异常度值；基于所述注意力掩码图像、以及所述增强处理后的所述第一特征图，确定所述待检测图像对应的缺陷检测结果。
在具体实施中，例如可以采用下述方式得到第二特征图对应的注意力掩码图像：针对第二特征图中的每个第二特征点，从第一特征图的多个第一特征点中，确定与该第二特征点对应的多个关联特征点；其中，该第二特征点对应的各个关联特征点，与该第二特征点位置匹配的目标第一特征点之间的距离满足预设条件；基于该第二特征点与每个关联特征点之间的相似度，确定该第二特征点的异常度值。
基于第二特征图中各个第二特征点的异常度值，得到第二特征图对应的注意力掩码图像。
此处，第二特征点对应的关联特征点的具体确定方式、以及确定第二特征点与关联特征点之间的相似度的方式，与上述S102和S103中确定关联特征点的方式类似，在不再赘述。
在确定了第而特征点与每个关联特征点之间的相似度后，例如可以确定多个关联特征点分别与该第二特征点之间的相似度的最大相似度；基于所述最大相似度，确定该第二特征点的异常度值。
任一第二特征点的异常度值S例如满足下述公式(3)：
S＝1-λ×H (3)
其中，H表示最大相似度。λ为预设系数，例如为1、0.5等。具体可以根据实际的需要进行设定。
又例如，可以根据多个关联像素点分别与该第二像素点之间的相似度，确定相似度均值，并基于该相似度均值，确定该第二像素点的异常度值。
在确定了第二特征图中每个第二特征点对应的异常度值后，基于所述第二特征图中各个第二特征点对应的异常度值，得到所述注意力掩码图像；此时，例如可以将所有第二特征点分别对应的异常度值构成的图像，作为注意力掩码图像。
在得到注意力掩码图像后，例如可以采用下述方式基于所述注意力掩码图像、以及所述增强处理后的所述第一特征图，确定所述待检测图像对应的缺陷检测结果：
对所述注意力掩码图像、以及所述增强处理后的所述第一特征图进行合并处理，得到合并特征图；对所述注意力掩码图像、以及所述合并特征图进行特征融合处理，得到特征融合图像；基于所述特征融合图像，确定所述待检测图像对应的缺陷检测结果。
在具体实施中，例如可以将特征增强图像和第二特征图进行叠加，得到合并特征图。
在基于注意力掩码图像、以及合并特征图得到特征融合图像时，例如可以对将注意力掩码图像和合并特征图进行矩阵相乘，得到特征融合图像。
在得到特征融合图像后，例如可以将特征融合图像输入至预先训练的检测网络，对特征融合图像进行缺陷检测处理，得到与待检测图像对应的缺陷检测结果。公开实施例提供的检测网络例如采用全卷积逐像素目标检测(Fully Convolutional One-StageObject Detection，FCOS)网络。其中FCOS 网络能够缺陷类别、缺陷中心度、缺陷框在第一特征图中的位置。
其中，缺陷中心度用于第一特征图中的某个特征点为缺陷框中心的概率。
缺陷框的在第一特征图中的位置，指示了第一特征图中存在缺陷的位置。
本公开实施例通过获取模板图像的第一特征图、和待检测图像的第二特征图，并针对第一特征图中的每个第一特征点，从第一特征图中确定与该第一特征点之间的距离满足预设条件的多个关联特征点；后针对每个第一特征点，基于确定的该第一特征点的关联特征点与第二特征图中与该第一特征点位置匹配的目标第二特征点之间的相似度，对该第一特征点进行特征增强处理；在将第一特征图中所有第一特征点都进行特征增强处理后，基于特征增强处理后的第一特征图和第二特征图，确定待检测图像对应的缺陷检测结果。该过程通过对各第一特征图中的各个第一特征点进行特征增强处理，以减小由于待检测图像存在的采集噪声、匹配误差、以及生产误差，所带来的待检测图像和模板图像之间的差异，提升对待检测图像的缺陷检测精度。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与缺陷检测方法对应的缺陷检测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述缺陷检测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图3所示，为本公开实施例提供的一种缺陷检测装置的示意图，所述装置包括：获取模块31、确定模块32、特征增强处理模块33、以及检测模块34；其中，
获取模块31，用于获取模板图像的第一特征图、以及待检测图像的第二特征图；
确定模块32，用于针对所述第一特征图中的每个第一特征点，从所述第一特征图中的多个第一特征点中，确定与该第一特征点之间的距离满足预设条件的多个关联特征点；
特征增强处理模块33，用于针对每个所述第一特征点，基于确定的该第一特征点的每个关联特征点与所述第二特征图中的目标第二特征点之间的相似度，对该第一特征点进行特征增强处理；其中，所述目标第二特征点为所述第二特征图中位置与该第一特征点匹配的第二特征点；
检测模块34，用于基于特征增强处理后的所述第一特征图、以及所述第二特征图，确定所述待检测图像对应的缺陷检测结果。
一种可能的实施方式中，还包括：相似度确定模块35，用于采用下述方式确定所述每个关联特征点与所述目标第二特征点之间的相似度：基于所述每个关联特征点在所述第一特征图中的位置，以及预设的距离阈值，得到所述每个关联特征点对应的第一特征子图；以及基于所述目标第二特征点在所述第二特征图中的位置、以及所述距离阈值，得到所述目标第二特征点对应的第二特征子图；基于所述第一特征子图、以及所述第二特征子图，确定所述每个关联特征点与所述目标第二特征点之间的相似度。
一种可能的实施方式中，所述相似度确定模块35，在基于所述每个关联特征点在所述第一特征图中的位置，以及预设的距离阈值，得到所述每个关联特征点对应的第一特征子图时，用于：在所述第一特征图上，确定以所述每个关联特征点为圆心、以所述距离阈值为半径的第一圆形区域，基于所述第一特征图上位于该第一圆形区域内的第一特征点，得到所述第一特征子图；所述基于所述目标第二特征点在所述第二特征图中的位置、以及所述距离阈值，得到所述目标第二特征点对应的第二特征子图，包括：在所述第二特征图上，以所述目标第二特征点为圆心、以所述距离阈值为半径的第二圆形区域，基于所述第二特征图上位于该第二圆形区域内的第二特征点，得到所述第二特征子图。
一种可能的实施方式中，所述相似度确定模块35，在基于所述每个关联特征点在所述第一特征图中的位置，以及预设的距离阈值，得到所述每个关联特征点对应的第一特征子图时，用于：基于所述距离阈值，确定目标边长；在所述第一特征图上，确定以所述每个关联特征点为中心、以确定的所述目标边长为边长的第一正方形区域，基于所述第一特征图上位于该第一正方形区域内的第一特征点，得到所述第一特征子图；所述相似度确定模块35，在基于所述目标第二特征点在所述第二特征图中的位置、以及所述距离阈值，得到所述目标第二特征点对应的第二特征子图时，用于：在所述第二特征图上，确定以所述每个目标第二特征点为中心、以确定的所述目标边长为边长的第二正方形区域，基于所述第二特征图上位于该第二正方形区域内的第二特征点，得到所述第二特征子图。
一种可能的实施方式中，所述特征增强处理模块33，在针对每个所述第一特征点，基于确定的该第一特征点的每个关联特征点与所述第二特征图中的目标第二特征点之间的相似度，对该第一特征点进行特征增强处理时，用于：基于该第一特征点的所述每个关联特征点与所述目标第二特征点之间的相似度，以及该第一特征点的多个所述关联特征点分别对应的特征值，对该第一特征点进行特征增强处理。
一种可能的实施方式中，所述特征增强处理模块33，在基于该第一特征点的所述每个关联特征点与所述目标第二特征点之间的相似度，以及该第一特征点的多个所述关联特征点分别对应的特征值，对该第一特征点进行特征增强处理时，用于：基于所述每个关联特征点与目标第二特征点之间的相似度，对多个所述关联特征点分别对应的特征值进行加权求和，得到第一和值；以及，对多个关联特征点分别对应的相似度进行求和，得到第二和值；将所述第一和值和所述第二和值的比值，作为对该第一特征点进行特征增强处理后的所述第一特征点的特征值。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本公开实施例还提供了一种电子设备10，如图4所示，为本公开实施例提供的电子设备10结构示意图，包括：
处理器11和存储器12；所述存储器12存储有所述处理器11可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器执行以实现下述步骤：
获取模板图像的第一特征图、以及待检测图像的第二特征图；
针对所述第一特征图中的每个第一特征点，从所述第一特征图中的多个第一特征点中，确定与该第一特征点之间的距离满足预设条件的多个关联特征点；
针对每个所述第一特征点，基于确定的该第一特征点的每个关联特征点与所述第二特征图中的目标第二特征点之间的相似度，对该第一特征点进行特征增强处理；其中，所述目标第二特征点为所述第二特征图中位置与该第一特征点匹配的第二特征点；
基于特征增强处理后的所述第一特征图、以及所述第二特征图，确定所述待检测图像对应的缺陷检测结果。
上述指令的具体执行过程可以参考本公开实施例中所述的缺陷检测方法的步骤，此处不再赘述。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的缺陷检测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的缺陷检测方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的缺陷检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。
本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种缺陷检测方法，其特征在于，包括：
获取模板图像的第一特征图、以及待检测图像的第二特征图；
针对所述第一特征图中的每个第一特征点，从所述第一特征图中的多个第一特征点中，确定与该第一特征点之间的距离满足预设条件的多个关联特征点；
针对每个所述第一特征点，基于确定的该第一特征点的每个关联特征点与所述第二特征图中的目标第二特征点之间的相似度，对该第一特征点进行特征增强处理；其中，所述目标第二特征点为所述第二特征图中位置与该第一特征点匹配的第二特征点；
基于所述第二特征图、以及特征增强处理后的所述第一特征图，确定所述待检测图像对应的缺陷检测结果。
2.根据权利要求1所述的方法，其特征在于，采用下述方式确定所述每个关联特征点与所述目标第二特征点之间的相似度：
基于所述每个关联特征点在所述第一特征图中的位置，以及预设的距离阈值，得到所述每个关联特征点对应的第一特征子图；以及
基于所述目标第二特征点在所述第二特征图中的位置、以及所述距离阈值，得到所述目标第二特征点对应的第二特征子图；
基于所述第一特征子图、以及所述第二特征子图，确定所述每个关联特征点与所述目标第二特征点之间的相似度。
3.根据权利要求2所述的方法，其特征在于，所述基于所述每个关联特征点在所述第一特征图中的位置，以及预设的距离阈值，得到所述每个关联特征点对应的第一特征子图，包括：
在所述第一特征图上，确定以所述每个关联特征点为圆心、以所述距离阈值为半径的第一圆形区域，基于所述第一特征图上位于该第一圆形区域内的第一特征点，得到所述第一特征子图；
所述基于所述目标第二特征点在所述第二特征图中的位置、以及所述距离阈值，得到所述目标第二特征点对应的第二特征子图，包括：
在所述第二特征图上，以所述目标第二特征点为圆心、以所述距离阈值为半径的第二圆形区域，基于所述第二特征图上位于该第二圆形区域内的第二特征点，得到所述第二特征子图。
4.根据权利要求2所述的方法，其特征在于，所述基于所述每个关联特征点在所述第一特征图中的位置，以及预设的距离阈值，得到所述每个关联特征点对应的第一特征子图，包括：
基于所述距离阈值，确定目标边长；
在所述第一特征图上，确定以所述每个关联特征点为中心、以确定的所述目标边长为边长的第一正方形区域，基于所述第一特征图上位于该第一正方形区域内的第一特征点，得到所述第一特征子图；
所述基于所述目标第二特征点在所述第二特征图中的位置、以及所述距离阈值，得到所述目标第二特征点对应的第二特征子图，包括：
在所述第二特征图上，确定以所述每个目标第二特征点为中心、以确定的所述目标边长为边长的第二正方形区域，基于所述第二特征图上位于该第二正方形区域内的第二特征点，得到所述第二特征子图。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述针对每个所述第一特征点，基于确定的该第一特征点的每个关联特征点与所述第二特征图中的目标第二特征点之间的相似度，对该第一特征点进行特征增强处理，包括：
基于该第一特征点的所述每个关联特征点与所述目标第二特征点之间的相似度，以及该第一特征点的多个所述关联特征点分别对应的特征值，对该第一特征点进行特征增强处理。
6.根据权利要求5所述的方法，其特征在于，所述基于该第一特征点的所述每个关联特征点与所述目标第二特征点之间的相似度，以及该第一特征点的多个所述关联特征点分别对应的特征值，对该第一特征点进行特征增强处理，包括：
基于所述每个关联特征点与目标第二特征点之间的相似度，对多个所述关联特征点分别对应的特征值进行加权求和，得到第一和值；
以及，对多个关联特征点分别对应的相似度进行求和，得到第二和值；
将所述第一和值和所述第二和值的比值，作为对该第一特征点进行特征增强处理后的所述第一特征点的特征值。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述基于所述第二特征图、以及特征增强处理后的所述第一特征图，确定所述待检测图像对应的缺陷检测结果，包括：
基于所述第二特征图、以及所述增强处理后的所述第一特征图，生成所述第二特征图的注意力掩码图像；其中，所述注意力掩码图像中任一像素点的像素值，表征该第二特征图中位置与该任一像素点匹配的第二特征点存在缺陷的异常度值；
基于所述注意力掩码图像、以及所述增强处理后的所述第一特征图，确定所述待检测图像对应的缺陷检测结果。
8.根据权利要求7所述的方法，其特征在于，所述基于所述注意力掩码图像、以及所述增强处理后的所述第一特征图，确定所述待检测图像对应的缺陷检测结果，包括：
对所述注意力掩码图像、以及所述增强处理后的所述第一特征图进行合并处理，得到合并特征图；
对所述注意力掩码图像、以及所述合并特征图进行特征融合处理，得到特征融合图像；
基于所述特征融合图像，确定所述待检测图像对应的缺陷检测结果。
9.一种缺陷检测装置，其特征在于，包括：
获取模块，用于获取模板图像的第一特征图、以及待检测图像的第二特征图；
确定模块，用于针对所述第一特征图中的每个第一特征点，从所述第一特征图中的多个第一特征点中，确定与该第一特征点之间的距离满足预设条件的多个关联特征点；
特征增强处理模块，用于针对每个所述第一特征点，基于确定的该第一特征点的每个关联特征点与所述第二特征图中的目标第二特征点之间的相似度，对该第一特征点进行特征增强处理；其中，所述目标第二特征点为所述第二特征图中位置与该第一特征点匹配的第二特征点；
检测模块，用于基于所述第二特征图、以及特征增强处理后的所述第一特征图，确定所述待检测图像对应的缺陷检测结果。
10.一种电子设备，其特征在于，包括：相互连接的处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器执行以实现如权利要求1至8任一所述的缺陷检测方法。
11.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至8任意一项所述缺陷检测方法。
CN202011191756.0A 2020-10-30 2020-10-30 缺陷检测方法及装置、电子设备和存储介质 Active CN112508846B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011191756.0A CN112508846B (zh) 2020-10-30 2020-10-30 缺陷检测方法及装置、电子设备和存储介质
PCT/CN2021/096064 WO2022088663A1 (zh) 2020-10-30 2021-05-26 缺陷检测方法及装置、电子设备和存储介质
JP2022538297A JP2023507024A (ja) 2020-10-30 2021-05-26 欠陥検出方法及びその装置、電子機器並びに記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011191756.0A CN112508846B (zh) 2020-10-30 2020-10-30 缺陷检测方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN112508846A true CN112508846A (zh) 2021-03-16
CN112508846B CN112508846B (zh) 2023-04-18

Family

ID=74954615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011191756.0A Active CN112508846B (zh) 2020-10-30 2020-10-30 缺陷检测方法及装置、电子设备和存储介质

Country Status (3)

Country Link
JP (1) JP2023507024A (zh)
CN (1) CN112508846B (zh)
WO (1) WO2022088663A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967264A (zh) * 2021-03-19 2021-06-15 深圳市商汤科技有限公司 缺陷检测方法及装置、电子设备和存储介质
CN113406092A (zh) * 2021-08-18 2021-09-17 阿里巴巴（中国）有限公司 数字化生产检测系统、方法、装置、设备及存储介质
CN113506243A (zh) * 2021-06-04 2021-10-15 联合汽车电子有限公司 Pcb焊接缺陷检测方法、装置及存储介质
WO2022088663A1 (zh) * 2020-10-30 2022-05-05 北京市商汤科技开发有限公司 缺陷检测方法及装置、电子设备和存储介质
CN114742791A (zh) * 2022-04-02 2022-07-12 深圳市国电科技通信有限公司 印刷电路板组装的辅助缺陷检测方法、装置及计算机设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631199B (zh) * 2022-12-21 2023-04-14 深圳新视智科技术有限公司 pin针缺陷检测方法、装置、设备及存储介质
CN115965856B (zh) * 2023-02-23 2023-05-30 深圳思谋信息科技有限公司 图像检测模型构建方法、装置、计算机设备及存储介质
CN116721101B (zh) * 2023-08-09 2023-10-20 山东华航高分子材料有限公司 一种塑件表面波流痕的缺陷检测方法
CN116883417B (zh) * 2023-09-08 2023-12-05 武汉东方骏驰精密制造有限公司 基于机器视觉的工件质检方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103456009A (zh) * 2013-08-28 2013-12-18 深圳市中瀛鑫科技股份有限公司 目标检测方法与装置、监控系统
CN106600600A (zh) * 2016-12-26 2017-04-26 华南理工大学 基于特征匹配的晶圆缺陷检测方法
CN106952257A (zh) * 2017-03-21 2017-07-14 南京大学 一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法
US20170278235A1 (en) * 2016-03-24 2017-09-28 Hong Kong Applied Science and Technology Research Institute Company Limited Fast density estimation method for defect inspection application
CN110136160A (zh) * 2019-05-13 2019-08-16 南京大学 一种基于圆投影的快速图像匹配方法
CN111179253A (zh) * 2019-12-30 2020-05-19 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
CN111445467A (zh) * 2020-04-08 2020-07-24 珠海格力电器股份有限公司 亮灯缺陷检测方法、装置、电子设备及存储介质
CN111666974A (zh) * 2020-04-29 2020-09-15 平安科技（深圳）有限公司 图像匹配方法、装置、计算机设备及存储介质
CN111696092A (zh) * 2020-06-11 2020-09-22 深圳市华汉伟业科技有限公司 一种基于特征对比的缺陷检测方法及系统、存储介质
CN111814905A (zh) * 2020-07-23 2020-10-23 上海眼控科技股份有限公司 目标检测方法、装置、计算机设备和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5771561B2 (ja) * 2012-05-30 2015-09-02 株式会社日立ハイテクノロジーズ 欠陥検査方法および欠陥検査装置
CN107492091B (zh) * 2017-07-06 2020-09-04 东莞理工学院 基于机器视觉的标签外观检测方法及终端设备
CN110967851B (zh) * 2019-12-26 2022-06-21 成都数之联科技股份有限公司 一种液晶面板array图像的线路提取方法及系统
CN111160477B (zh) * 2019-12-31 2024-03-19 哈尔滨智兀科技有限公司 一种基于特征点检测的图像模板匹配方法
CN112508846B (zh) * 2020-10-30 2023-04-18 北京市商汤科技开发有限公司 缺陷检测方法及装置、电子设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103456009A (zh) * 2013-08-28 2013-12-18 深圳市中瀛鑫科技股份有限公司 目标检测方法与装置、监控系统
US20170278235A1 (en) * 2016-03-24 2017-09-28 Hong Kong Applied Science and Technology Research Institute Company Limited Fast density estimation method for defect inspection application
CN106600600A (zh) * 2016-12-26 2017-04-26 华南理工大学 基于特征匹配的晶圆缺陷检测方法
CN106952257A (zh) * 2017-03-21 2017-07-14 南京大学 一种基于模板匹配与相似度计算的曲面标签破损缺陷检测方法
CN110136160A (zh) * 2019-05-13 2019-08-16 南京大学 一种基于圆投影的快速图像匹配方法
CN111179253A (zh) * 2019-12-30 2020-05-19 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
CN111445467A (zh) * 2020-04-08 2020-07-24 珠海格力电器股份有限公司 亮灯缺陷检测方法、装置、电子设备及存储介质
CN111666974A (zh) * 2020-04-29 2020-09-15 平安科技（深圳）有限公司 图像匹配方法、装置、计算机设备及存储介质
CN111696092A (zh) * 2020-06-11 2020-09-22 深圳市华汉伟业科技有限公司 一种基于特征对比的缺陷检测方法及系统、存储介质
CN111814905A (zh) * 2020-07-23 2020-10-23 上海眼控科技股份有限公司 目标检测方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WANG WANGUO ET AL.: "Typical Defect Detection Technology of Transmission Line Based on Deep Learning" *
洪奔奔;管声启;任浪;高磊;: "基于特征提取与匹配的带钢缺陷检测" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022088663A1 (zh) * 2020-10-30 2022-05-05 北京市商汤科技开发有限公司 缺陷检测方法及装置、电子设备和存储介质
CN112967264A (zh) * 2021-03-19 2021-06-15 深圳市商汤科技有限公司 缺陷检测方法及装置、电子设备和存储介质
CN113506243A (zh) * 2021-06-04 2021-10-15 联合汽车电子有限公司 Pcb焊接缺陷检测方法、装置及存储介质
CN113406092A (zh) * 2021-08-18 2021-09-17 阿里巴巴（中国）有限公司 数字化生产检测系统、方法、装置、设备及存储介质
CN113406092B (zh) * 2021-08-18 2022-01-11 阿里巴巴（中国）有限公司 数字化生产检测系统、方法、装置、设备及存储介质
CN114742791A (zh) * 2022-04-02 2022-07-12 深圳市国电科技通信有限公司 印刷电路板组装的辅助缺陷检测方法、装置及计算机设备

Also Published As

Publication number Publication date
CN112508846B (zh) 2023-04-18
JP2023507024A (ja) 2023-02-20
WO2022088663A1 (zh) 2022-05-05

Similar Documents

Publication Publication Date Title
CN112508846B (zh) 缺陷检测方法及装置、电子设备和存储介质
CN112750116A (zh) 一种缺陷检测方法、装置、计算机设备及存储介质
CN112288723B (zh) 缺陷检测方法、装置、计算机设备及存储介质
CN107038443B (zh) 一种在电路板上定位感兴趣区域的方法和装置
US10937168B2 (en) System and method for finding and classifying lines in an image with a vision system
CN112700440B (zh) 物体缺陷检测方法、装置、计算机设备及存储介质
US9971954B2 (en) Apparatus and method for producing image processing filter
CN114627092A (zh) 缺陷检测方法、装置、电子设备及可读存储介质
CN110706224A (zh) 基于暗场图像的光学元件弱划痕检测方法、系统和装置
CN110781890A (zh) 身份证识别方法、装置、电子设备及可读取存储介质
CN113554649A (zh) 一种缺陷检测方法、装置、计算机设备及存储介质
CN115482186A (zh) 瑕疵检测方法、电子设备及存储介质
CN111223078A (zh) 瑕疵等级判定的方法及存储介质
CN115131596A (zh) 缺陷分类装置、方法以及程序
CN111340788A (zh) 硬件木马版图检测方法、装置、电子设备和可读存储介质
CN114627113B (zh) 一种印制电路板缺陷检测方法及系统及装置及介质
CN115719326A (zh) Pcb板缺陷检测方法及装置
CN114913118A (zh) 工业视觉检测方法、装置、电子设备以及存储介质
CN113392455A (zh) 基于深度学习的户型图比例尺检测方法、装置及电子设备
CN114897797A (zh) 印刷电路板的缺陷检测方法、装置、设备及存储介质
JP6250526B2 (ja) 計量メータ読取装置及びプログラム
CN117115275B (zh) 畸变参数的确定方法、装置和计算机设备
CN117541832B (zh) 异常检测方法、系统、电子设备及存储介质
US20240078801A1 (en) System and method for finding and classifying lines in an image with a vision system
CN109376739B (zh) 一种编组方式确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40041877

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant