CN112750116A - 一种缺陷检测方法、装置、计算机设备及存储介质 - Google Patents
一种缺陷检测方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112750116A CN112750116A CN202110055119.9A CN202110055119A CN112750116A CN 112750116 A CN112750116 A CN 112750116A CN 202110055119 A CN202110055119 A CN 202110055119A CN 112750116 A CN112750116 A CN 112750116A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel point
- determining
- detected
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 105
- 238000001514 detection method Methods 0.000 title claims abstract description 86
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 49
- 230000002159 abnormal effect Effects 0.000 claims abstract description 29
- 230000005856 abnormality Effects 0.000 claims description 34
- 238000010586 diagram Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 description 12
- 238000004519 manufacturing process Methods 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000003466 welding Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004021 metal welding Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本公开提供了一种缺陷检测方法、装置、计算机设备及存储介质,其中,该方法包括:获取模板图像、以及待检测图像;基于模板图像、以及待检测图像,生成与待检测图像对应的蒙版图像;蒙版图像中每个第一像素点的像素值,表征位置与每个第一像素点匹配的第二像素点存在缺陷的异常度值;第二像素点为待检测图像中位置与第一像素点匹配的像素点;基于蒙版图像,确定待检测图像的缺陷检测结果。本公开实施例基于模板图像和待检测图像,生成待检测图像对应的蒙版图像,该蒙版图像中的每个第一像素点的像素值,表征了在待检测图像中对应位置的第二像素点是否存在缺陷的异常度值,然后根据蒙版图像,确定待检测图像的检测结果,具有更高的检测精度。
Description
技术领域
本公开涉及图像处理技术领域,具体而言,涉及一种缺陷检测方法、装置、计算机设备及存储介质。
背景技术
随着科技的发展,现代制造业对于印刷电路板(Printed circuit board,PCB)的需求也日益增长。电子设备性能的优劣不但受电子元器件本身质量和性能的影响,而且在很大程度上取决于PCB质量的好坏。PCB缺陷检测技术是关系到电子系统质量和生产周期的重要环节,自从PCB发明以来就备受重视。当前各种设备的生产厂商对于电路板的要求越来越高,不只是追求更高性能和生产效率,对电路板的良品率等质量因素还有更加严格的要求。
当前通常利用自动光学检测(Automated Optical Inspection,AOI)设备来进行PCB缺陷检测;AOI设备在自动检测时,通过摄像头对PCB进行自动扫描得到PCB图像,然后将PCB图像中的焊点与数据库中合格PCB的模板图像进行比较,以检查出PCB上存在的缺陷;但是实际上,PCB在生产过程中,常常造成PCB上存在生产误差;另外在将PCB的待检测图像和模板图像进行比对时,也会存在图像之间的匹配误差;此外,待检测图像在采集过程也可能存在采集噪声;这些误差导致了当前对PCB的缺陷检测结果存在大量误检区域,造成缺陷检测精度的下降。
发明内容
本公开实施例至少提供一种缺陷检测方法、装置、计算机设备及存储介质。
第一方面,本公开实施例提供了一种缺陷检测方法,包括:获取模板图像、以及待检测图像;基于所述模板图像、以及所述待检测图像,生成与所述待检测图像对应的蒙版图像;所述蒙版图像中每个第一像素点的像素值,表征第二像素点存在缺陷的异常度值;所述第二像素点为所述待检测图像中位置与所述第一像素点匹配的像素点;基于所述蒙版图像,确定所述待检测图像的缺陷检测结果。
这样,通过模板图像和待检测图像,生成待检测图像对应的蒙版图像,该蒙版图像中的每个第一像素点的像素值,表征了在待检测图像中对应位置的第二像素点是否存在缺陷的异常度值,然后根据蒙版图像,确定待检测图像的检测结果,具有更高的检测精度。
一种可能的实施方式中,所述基于所述模板图像、以及所述待检测图像,生成与所述待检测图像对应的蒙版图像,包括:根据所述待检测图像确定第一图像,以及根据所述模板图像,确定第二图像;针对所述第一图像中的每个第三像素点,从所述第二图像中,确定与该第三像素点对应的多个目标像素点;所述多个目标像素点与所述第二图像中的目标第四像素点之间的距离小于第一距离阈值,所述目标第四像素点为所述第二图像中位置与所述第三像素点匹配的第四像素点;针对每个所述第三像素点,基于所述多个所述目标像素点分别与该第三像素点之间的相似度,确定该第三像素点的异常度值;根据所述第三像素点的异常度值,确定所述待检测图像中与所述第三像素点对应的第二像素点的异常度值。
这样,通过从第二图像中确定与第一图像中的各个第三像素点对应的多个目标像素点,基于多个目标像素点分别与对应第三像素点之间的相似度来确定该对应第三像素点异常度值,进而得到与该第三像素点对应的第二像素点的异常度值,使得第二像素点的异常度值受到模板图像中多个像素点的影响,以降低生产误差、匹配误差、采集噪声等对待检测图像中第二像素点的缺陷检测结果的影响,提升对待处理图像的缺陷检测精度。
一种可能的实施方式中,所述根据所述待检测图像确定第一图像,以及根据所述模板图像,确定第二图像,包括:将所述待检测图像确定为所述第一图像,以及将所述模板图像确定为所述第二图像;或者,所述根据所述待检测图像确定第一图像,以及根据所述模板图像,确定第二图像,包括:获取所述待检测图像的第一特征图,并将所述第一特征图确定为所述第一图像;获取所述模板图像的第二特征图,并将所述第二特征图确定为所述第二图像。
这样,将待检测图像确定为第一图像、将模板图像确定为第二图像,也即直接基于待检测图像和模板图像得到待检测图像的蒙版图像,蒙版图像所表征的待检测图像中各个第二像素点的存在缺陷的异常度值更加精确;将待检测图像的第一特征图作为第一图像、将模板图像的第二特征图作为第二图像,也即基于第一特征图和第二特征图得到待检测图像的蒙版图像,有利于减少生成蒙版图像时所需要耗费的运算量和运算时间,提升检测效率。
一种可能的实施方式中,针对每个所述第三像素点,基于所述多个所述目标像素点分别与该第三像素点之间的相似度,确定该第三像素点的异常度值,包括:确定所述多个目标像素点分别与该第三像素点之间的相似度中的最大相似度;基于所述最大相似度,确定该第三像素点的异常度值。
这样,基于多个目标像素点分别与第三像素点之间的相似度中的最大相似度,来确定第三像素点的异常度值,能够提升蒙版图像所表征的各个第二像素点是否存在异常的精确度。
一种可能的实施方式中,针对所述第一图像中的每个第三像素点,从所述第二图像中,确定与该第三像素点对应的多个目标像素点,包括:针对所述第一图像中的每个第三像素点,从所述第二图像的多个第四像素点中,确定与该第三像素点位置匹配的目标第四像素点;从所述第二图像的多个所述第四像素点中,确定与所述目标第四像素点距离小于第一距离阈值的多个第四像素点,并将确定的第四像素点确定为所述目标像素点。
这样,通过第一距离阈值的限定,确定目标像素点,以基于各个目标像素点与对应第三像素点之间的像素低,来确定蒙版图像,进而降低由于生产误差、采集噪声、匹配误差等对待处理图像的缺陷检测造成的影响。
一种可能的实施方式中,针对每个所述第三像素点,采用下述方式确定每个目标像素点与该第三像素点之间的相似度:基于该第三像素点在所述第一图像中的位置、以及预设的第二距离阈值,得到该第三像素点对应的第一子图;以及基于所述每个目标像素点在所述第二图像中的位置、以及所述第二距离阈值,得到所述每个目标像素点对应的第二子图;基于所述第一子图、以及所述第二子图,确定所述每个目标像素点与该第三像素点之间的相似度。
这样,通过第三像素点周围的区域、以及目标像素点周围的区域,来确定第三像素点和目标像素点之间的像素度,能够降低由于生产误差、采集噪声、匹配误差等对待处理图像的缺陷检测造成的影响。
一种可能的实施方式中,所述基于该第三像素点在所述第一图像中的位置、以及预设的第二距离阈值,得到该第三像素点对应的第一子图,包括:在所述第一图像中,确定以该第三像素点为圆心、以所述第二距离阈值为半径的第一圆形区域,基于所述第一图像上位于该第一圆形区域内的第三像素点,得到所述第一子图;所述基于所述每个目标像素点在所述第二图像中的位置、以及所述第二距离阈值,得到所述每个目标像素点对应的第二子图,包括:在所述第二图像中,确定以所述每个目标像素点为圆心、以所述第二距离阈值为半径的第二圆形区域,基于所述第二图像上位于该第二圆形区域内的第四像素点,得到所述第二子图。
一种可能的实施方式中,所述基于该第三像素点在所述第一图像中的位置、以及预设的第二距离阈值,得到该第三像素点对应的第一子图,包括:基于所述第二距离阈值,确定目标边长;在所述第一图像上,确定以该第三像素点为中心、以确定的所述目标边长为边长的第一正方形区域,基于所述第一图像上位于该第一正方形区域内的第三像素点,得到所述第一子图;所述基于所述每个目标像素点在所述第二图像中的位置、以及所述第二距离阈值,得到所述每个目标像素点对应的第二子图,包括:在所述第二图像上,确定以所述每个目标像素点为中心、以确定的所述目标边长为边长的第二正方形区域;基于所述第二图像上位于该第二正方形区域内的第四像素点,得到所述第二子图。
一种可能的实施方式中,针对所述第一图像为所述待检测图像、所述第二图像为所述模板图像的情况,所述根据所述第三像素点的异常度值,确定所述待检测图像中与所述第三像素点对应的第二像素点的异常度值,包括:将所述第一图像中每个第三像素点的异常度值,确定为所述待检测图像中位置与所述第三像素点匹配的第二像素点的异常度值。
一种可能的实施方式中,针对所述第一图像为所述第一特征图、所述第二图像为所述第二特征图的情况,所述根据所述第三像素点的异常度值,确定所述待检测图像中与所述第三像素点对应的第二像素点的异常度值,包括:根据所述第一子图中各个第三像素点与所述待检测图像中各个第二像素点之间的映射关系、以及所述第一子图中每个第三像素点的异常度值,确定与每个第二像素点对应的异常度值。
第二方面,本公开实施例还提供一种缺陷检测装置,包括:获取模块,用于获取模板图像、以及待检测图像;生成模块,用于基于所述模板图像、以及所述待检测图像,生成与所述待检测图像对应的蒙版图像;所述蒙版图像中每个第一像素点的像素值,表征第二像素点存在缺陷的异常度值;所述第二像素点为所述待检测图像中位置与所述第一像素点匹配的像素点;检测模块,用于基于所述蒙版图像,确定所述待检测图像的缺陷检测结果。
一种可能的实施方式中,所述生成模块,在基于所述模板图像、以及所述待检测图像,生成与所述待检测图像对应的蒙版图像时,用于:根据所述待检测图像确定第一图像,以及根据所述模板图像,确定第二图像;针对所述第一图像中的每个第三像素点,从所述第二图像中,确定与该第三像素点对应的多个目标像素点;所述多个目标像素点与所述第二图像中的目标第四像素点之间的距离小于第一距离阈值,所述目标第四像素点为所述第二图像中位置与所述第三像素点匹配的第四像素点;针对每个所述第三像素点,基于所述多个所述目标像素点分别与该第三像素点之间的相似度,确定该第三像素点的异常度值;根据所述第三像素点的异常度值,确定所述待检测图像中与所述第三像素点对应的第二像素点的异常度值。
一种可能的实施方式中,所述生成模块,在根据所述待检测图像确定第一图像,以及根据所述模板图像,确定第二图像时,用于:将所述待检测图像确定为所述第一图像,以及将所述模板图像确定为所述第二图像;或者,所述根据所述待检测图像确定第一图像,以及根据所述模板图像,确定第二图像,包括:获取所述待检测图像的第一特征图,并将所述第一特征图确定为所述第一图像;获取所述模板图像的第二特征图,并将所述第二特征图确定为所述第二图像。
一种可能的实施方式中,所述生成模块,在针对每个所述第三像素点,基于所述多个所述目标像素点分别与该第三像素点之间的相似度,确定该第三像素点的异常度值时,用于:确定所述多个目标像素点分别与该第三像素点之间的相似度中的最大相似度;基于所述最大相似度,确定该第三像素点的异常度值。
一种可能的实施方式中,所述生成模块,在针对所述第一图像中的每个第三像素点,从所述第二图像中,确定与该第三像素点对应的多个目标像素点时,用于:针对所述第一图像中的每个第三像素点,从所述第二图像的多个第四像素点中,确定与该第三像素点位置匹配的目标第四像素点;从所述第二图像的多个所述第四像素点中,确定与所述目标第四像素点距离小于第一距离阈值的多个第四像素点,并将确定的第四像素点确定为所述目标像素点。
一种可能的实施方式中,针对每个所述第三像素点,所述生成模块,采用下述方式确定每个目标像素点与该第三像素点之间的相似度:基于该第三像素点在所述第一图像中的位置、以及预设的第二距离阈值,得到该第三像素点对应的第一子图;以及基于所述每个目标像素点在所述第二图像中的位置、以及所述第二距离阈值,得到所述每个目标像素点对应的第二子图;基于所述第一子图、以及所述第二子图,确定所述每个目标像素点与该第三像素点之间的相似度。
一种可能的实施方式中,所述生成模块,在基于该第三像素点在所述第一图像中的位置、以及预设的第二距离阈值,得到该第三像素点对应的第一子图时,用于:在所述第一图像中,确定以该第三像素点为圆心、以所述第二距离阈值为半径的第一圆形区域,基于所述第一图像上位于该第一圆形区域内的第三像素点,得到所述第一子图;所述生成模块,在基于所述每个目标像素点在所述第二图像中的位置、以及所述第二距离阈值,得到所述每个目标像素点对应的第二子图时,用于:在所述第二图像中,确定以所述每个目标像素点为圆心、以所述第二距离阈值为半径的第二圆形区域,基于所述第二图像上位于该第二圆形区域内的第四像素点,得到所述第二子图。
一种可能的实施方式中,所述生成模块,在基于该第三像素点在所述第一图像中的位置、以及预设的第二距离阈值,得到该第三像素点对应的第一子图时,用于:基于所述第二距离阈值,确定目标边长;在所述第一图像上,确定以该第三像素点为中心、以确定的所述目标边长为边长的第一正方形区域,基于所述第一图像上位于该第一正方形区域内的第三像素点,得到所述第一子图;所述生成模块,在基于所述每个目标像素点在所述第二图像中的位置、以及所述第二距离阈值,得到所述每个目标像素点对应的第二子图时,用于:在所述第二图像上,确定以所述每个目标像素点为中心、以确定的所述目标边长为边长的第二正方形区域;基于所述第二图像上位于该第二正方形区域内的第四像素点,得到所述第二子图。
一种可能的实施方式中,针对所述第一图像为所述待检测图像、所述第二图像为所述模板图像的情况,所述生成模块,在根据所述第三像素点的异常度值,确定所述待检测图像中与所述第三像素点对应的第二像素点的异常度值时,用于:将所述第一图像中每个第三像素点的异常度值,确定为所述待检测图像中位置与所述第三像素点匹配的第二像素点的异常度值。
一种可能的实施方式中,针对所述第一图像为所述第一特征图、所述第二图像为所述第二特征图的情况,所述生成模块,在根据所述第三像素点的异常度值,确定所述待检测图像中与所述第三像素点对应的第二像素点的异常度值时,用于:根据所述第一子图中各个第三像素点与所述待检测图像中各个第二像素点之间的映射关系、以及所述第一子图中每个第三像素点的异常度值,确定与每个第二像素点对应的异常度值。
第三方面,本公开实施例还提供一种计算机设备,包括:相互连接的处理器和存储器,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述机器可读指令被所述处理器执行以实现上述第一方面,或第一方面中任一种可能的实施方式中的缺陷检测方法。
第四方面,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的缺陷检测方法。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种缺陷检测方法的流程图;
图2示出了本公开实施例所提供的生成与待检测图像的对应的蒙版图像的具体方法的流程图;
图3示出了本公开实施例所提供的确定每个目标像素点和第三像素点之间的相似度的具体方法的流程图;
图4示出了本公开实施例所提供的一种缺陷检测装置的示意图;
图5示出了本公开实施例所提供的一种计算机设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
经研究发现,在使用AOI设备对PCB进行缺陷检测时,首先需要专业的工程师根据PCB上焊点的位置,针对PCB进行编程;在编程后,通过AOI设备上的摄像头自动扫描PCB得到PCB图像,然后将PCB图像中的焊点与数据库中合格图像的金属焊点进行比较;当PCB图像中任一金属焊点与合格图像中对应金属焊点的形状不一致时,则确定该焊点可能存在缺陷,然后将该焊点位置标注出来,并通过AOI设备上的显示设备展示给工程师,以使工程师能够基于缺陷检测结果来进行后续处理。
但是实际上,PCB在生产过程中,常常造成PCB上存在生产误差;另外在将PCB的待检测图像和模板图像进行比对时,也会存在图像之间的匹配误差;此外,待检测图像在采集过程也可能存在采集噪声;这些误差导致了当前对PCB的缺陷检测结果存在大量误检区域,造成缺陷检测精度的下降。
基于上述研究,本公开提供了一种缺陷检测方法及装置,通过模板图像和待检测图像,生成待检测图像对应的蒙版图像,该蒙版图像中的每个第一像素点的像素值,表征了在待检测图像中对应位置的第二像素点是否存在缺陷的异常度值,然后根据蒙版图像,确定待检测图像的检测结果,具有更高的检测精度。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种缺陷检测方法进行详细介绍,本公开实施例所提供的缺陷检测方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为专用于进行PCB质量检测的设备,也可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
另外,本公开实施行例提供的缺陷检测方法除了能够用于度PCB进行缺陷检测外,还可以对其他物品进缺陷检测,例如工件、机器部件等。
下面以对PCB进行缺陷检测为例对本公开实施例提供的缺陷检测方法加以详细说明。
参见图1所示,为本公开实施例提供的缺陷检测方法的流程图,所述方法包括步骤S101~S103,其中:
S101:获取模板图像、以及待检测图像;
S102:基于所述模板图像、以及所述待检测图像,生成与所述待检测图像对应的蒙版图像;所述蒙版图像中每个第一像素点的像素值,表征第二像素点存在缺陷的异常度值;所述第二像素点为所述待检测图像中位置与所述第一像素点匹配的像素点;
S103:基于所述蒙版图像,确定所述待检测图像的缺陷检测结果。
下面对上述S101~S103加以详细说明。
I:在上述S101中,模板图像,是指在对PCB进行缺陷检测时所用的对合格的PCB拍摄的图像。待检测图像,是指对待检测的PCB获取的图像。
在对待检测PCB进行缺陷检测时,例如首先可以获取待检测PCB的型号或者标识;然后根据PCB的型号或者标识,从预先构建的模板图像库中,获取与待检测PCB对应的模板图像;又例如,在模板图像库中不存在待检测PCB的模板图像时,例如可以首先从多个待检测PCB中确定一未存在缺陷的模板PCB,然后获取该模板PCB的图像,以得到模板图像。
待检测图像例如可以通过缺陷检测设备上设置的图像采集模组来获取,也可以接收其他设备传输的待检测图像。
II:在上述S102中,为了降低生产误差、匹配误差、采集噪声等对缺陷检测过程造成的影响,本公开实施例在生成与待检测图像对应的蒙版图像时,使得蒙版图像中任一第一像素点的像素值,受到模板图像中多个像素点的像素值的影响,进而使得蒙版图像中的各个第一像素点,能够更准确的表征在待检测图像中位置匹配的第二像素点存在缺陷的异常度值,进而得到待检测图像更高的缺陷检测结果。
参见图2所示,本公开实施例提供一种基于模板图像、以及待检测图像,生成与待检测图像的对应的蒙版图像的具体方法,包括:
S201:根据所述待检测图像确定第一图像,以及根据所述模板图像,确定第二图像。
此处,在一种可能的实施方式中,可以将待检测图像确定为第一图像,并将模板图像确定为第二图像。
此时,基于第一图像和第二图像生成与待检测图像对应的蒙版图像的过程,实质为直接基于待检测图像和模板图像执行如下述S202~S203的过程,以得到待检测图像的蒙版图像。
在另一种可能的实施方式中,可以获取待检测图像的第一特征图,并将第一特征图确定为第一图像;获取模板图像的第二特征图,并将第二特征图确定为第二图像。
该种情况下,基于第一图像和第二图像生成与待检测图像对应的蒙版图像的过程,是指为基于待检测图像的第一特征图和模板图像的第二特征图执行如下述S202~S204的过程,以得到待检测图像的蒙版图像。
另外,在该种情况下,例如可以采用特征提取神经网络分别对待检测图像和模板图像进行特征提取处理,以得到待检测图像的第一特征图、和模板图像的第二特征图。
此外,在对多个相同型号的PCB的多张待检测图像进行缺陷检测处理时,有所采用的模板图像都是同一张,因此可以针对模板图像只提取一次第二特征图,并将其第二特征图进行存储;在对多张待检测图像中的每张待检测图像进行缺陷检测时,在已经存在模板图像的第二特征图的情况下,值需要从存储第二特征图的存储位置读取第二特诊图,并利用特征提取网络对待处理图像进行特征提取处理,得到每张待处理图像的第一特征图。
S202:针对所述第一图像中的每个第三像素点,从所述第二图像中,确定与该第三像素点对应的多个目标像素点;所述多个目标像素点与所述第二图像中的目标第四像素点之间的距离小于第一距离阈值,所述目标第四像素点为所述第二图像中位置与所述第三像素点匹配的第四像素点。
此处,第一图像由多个第三像素点构成;此处,若第一图像为待检测图像,则第一图像中的各个第三像素点,与待检测图像中的各个第二像素点一一对应;若第一图像为待检测图像的第一特征图,则第一图像中的各个第三像素点,与第一特征图中的各个特征点一一对应。
类似的,第二图像由多个第四像素点构成;若第二图像为模板图像,则第二图像中的各个第四像素点与模板图像中的各个像素点一一对应;若第二图像为模板图像的第二特征图,则第二图像中的各个第四像素点与第二特征图中的各个特征点一一对应。
具体地,本公开实施例提供一种针对每个第三像素点,从第二图像中确定与该第三像素点对应的多个目标像素点的具体方法,包括:针对所述第一图像中的每个第三像素点,从所述第二图像的多个第四像素点中,确定与该第三像素点位置匹配的目标第四像素点;从所述第二图像的多个所述第四像素点中,确定与所述目标第四像素点距离小于第一距离阈值的多个第四像素点,并将确定的第四像素点确定为所述目标像素点。
示例性的,第四像素点与目标第四像素点之间的距离例如包括:L1距离、L2距离、欧式距离、或者曼哈顿距离中任一种。
在为每一个第三像素点确定多个目标像素点时,可以将与目标第四像素点的距离小于第一距离阈值的所有第四像素点均作为目标像素点;也可以将与目标第四像素点的距离小于第一距离阈值的所有第四像素点作为备选像素点,然后按照随机采样、或者均匀间隔采样的方式,从多个备选像素点中确定多个目标像素点。
S203:针对每个所述第三像素点,基于所述多个所述目标像素点分别与该第三像素点之间的相似度,确定该第三像素点的异常度值。
在具体实施中,参见图3所示,本公开实施例提供一种确定每个目标像素点和第三像素点之间的相似度的具体方法,包括:
S301:基于该第三像素点在所述第一图像中的位置、以及预设的第二距离阈值,得到该第三像素点对应的第一子图;基于所述每个目标像素点在所述第二图像中的位置、以及所述第二距离阈值,得到所述每个目标像素点对应的第二子图。
此处,例如可以采用下述方式得到第三像素点对应的第一子图:在所述第一图像中,确定以该第三像素点为圆心、以所述第二距离阈值为半径的第一圆形区域,基于所述第一图像上位于该第一圆形区域内的第三像素点,得到所述第一子图;采用下述方式得到每个目标像素点对应的第二子图:在所述第二图像中,确定以所述每个目标像素点为圆心、以所述第二距离阈值为半径的第二圆形区域,基于所述第二图像上位于该第二圆形区域内的第四像素点,得到所述第二子图。
示例性的,第一子图和第二子图的尺寸相同;且可以基于位于第一圆形区域内的全部第三像素点构成第一子图,并基于位于第二圆形区域内的全部第四像素点构成第二子图。
另外,也可以基于位于第一圆形区域内的部分第三像素点构成第一子图,并基于位于第二圆形区域内的部分第四像素点构成第二子图。在该种情况下,第一子图中的各个第三像素点在第一图像中的位置,与第二子图中的各个第四像素点在第二图像中的位置一一匹配。
另外,在另一种可能的实施方式中,例如还可以采用下述方式得到第三像素点对应的第一子图:基于所述第二距离阈值,确定目标边长;在所述第一图像上,确定以该第三像素点为中心、以确定的所述目标边长为边长的第一正方形区域,基于所述第一图像上位于该第一正方形区域内的第三像素点,得到所述第一子图;采用下述方式得到每个目标像素点对应的第二子图:在所述第二图像上,确定以所述每个目标像素点为中心、以确定的所述目标边长为边长的第二正方形区域;基于所述第二图像上位于该第二正方形区域内的第四像素点,得到所述第二子图。
此处,目标边长L例如满足:L=2r+1;其中,r表示第二距离阈值。
类似的,可以基于位于第一正方形区域内的全部第三像素点构成第一子图,也可以基于位于第二正方形区域内的全部第四像素点构成第二子图。
另外,也可以基于位于第一正方形区域内的部分第三像素点构成第一子图,也可以基于位于第二正方形区域内的部分第四像素点构成第二子图。在该种情况下,第一子图中的各个第三像素点在第一图像中的位置,与第二子图中的各个第四像素点在第二图像中的位置一一匹配。
S302:基于所述第一子图、以及所述第二子图,确定所述每个目标像素点与该第三像素点之间的相似度。
示例性的,若与任一第三像素点对应的目标像素点有N个,则第n个目标像素点和该任一第三像素点之间的相似度满NCCn足下述公式(1):
其中,patchA表示第一子图;PatchB表示第二子图;patchA*PatchB表示将第一子图和第二子图进行矩阵相乘,两者进行矩阵相乘的结果能为一尺寸和第一子图、第二子图相同的矩阵;sum(·)表示将第一子图和第二子图进行矩阵相乘后得到的矩阵中所有元素的元素值求和。
在确定各个第三像素点的多个目标像素点分别和该第三像素点之间的相似度后,例如可以确定所述多个目标像素点分别与该第三像素点之间的相似度中的最大相似度;基于所述最大相似度,确定该第三像素点的异常度值。
此处,该第三像素点的异常度值S例如满足下述公式(2):
S=1-λ×H (2)
其中,H表示最大相似度。λ为预设系数,例如为1、0.5等。具体可以根据实际的需要进行设定。
又例如,可以根据多个目标像素点分别与该第三像素点之间的相似度,确定相似度均值,并基于该相似度均值,确定该第三像素点的异常度值。
基于相似度均值确定异常度值的方式与上述公式(2)类似,在此不再赘述。
承接上述S203,本公开实施例提供的生成与待检测图像的对应的蒙版图像的方法还包括:
S204:根据所述第三像素点的异常度值,确定所述待检测图像中与所述第三像素点对应的第二像素点的异常度值。
在具体实施中,针对将待检测图像确定为第一图像,并将模板图像确定为第二图像的情况,由于在该种情况下,第一图像中的第三像素点和待处理图像中的第二像素点具有一一对应关系,因此,可以将所述第一图像中每个第三像素点的异常度值,确定为所述待检测图像中位置与所述第三像素点匹配的第二像素点的异常度值。
针对将待检测图像的第一特征图作为第一图像,并将模板图像的第二特征图作为第二图像的情况,由于该种情况下,第一图像的第三像素点和第一特征图中的特征点具有一一对应关系,且第一特征图中的特征点和待处理图像中第二特征点具有一定的映射关系,因而第一子图中的各个第三像素点与待检测图像中的各个第二像素点也具有相同的映射关系,因此可以根据所述第一子图中各个第三像素点与所述待检测图像中各个第二像素点之间的映射关系、以及所述第一子图中每个第三像素点的异常度值,确定与每个第二像素点对应的异常度值。
III:在上述S103中,在基于所述蒙版图像,确定所述待检测图像的缺陷检测结果,例如首先可以利用模板图像和待检测图像,确定待检测图像的中间缺陷检测结果;其中,中间缺陷检测结果中,包括了待检测图像中各个第二像素点存在缺陷的第一概率。然后利用该中间检测结果构成一矩阵,该矩阵的尺寸与待检测图像的尺寸一直;该矩阵中任一元素的元素值,为该元素对应的第二像素点存在缺陷的概率,且元素值越大,对应的第二像素点存在缺陷的概率也越大;而在蒙版图像中,各个第一像素点的像素值表征在待检测图像中与第一像素点匹配的第二像素点存在缺陷的异常度值;该异常度值越大,表征该第二像素点存在缺陷的可能性也就越大;然后将该矩阵与蒙版图像进行矩阵相乘,得到待检测图像的缺陷检测结果。在该缺陷检测结果中,包括了待检测图像中各个第二像素点存在缺陷的第二概率。
在中间缺陷检测结果中存在误检测的情况下,例如中间缺陷检测结果表征某个第二像素点存在缺陷的可能较大,但蒙版图像表征该第二像素点未存在缺陷的可能较大,则得到的该第二像素点的第二概率会发生一定数值的变化,该数值的变化指示该第二像素点存在缺陷的概率下降。
又例如,中间缺陷检测结果表征某个第二像素点未存在缺陷的可能较大,但蒙版图像表征该第二像素点存在缺陷的可能较大,则得到的该第二像素点的第二概率所发生的数值的变化,表征该第二像素点存在缺陷的概率上升。
又例如,中间缺陷检测结果表征某个第二像素点存在缺陷的可能较大,蒙版图像表征该第二像素点存在缺陷的可能较大,则得到的该第二像素点的第二概率所发生的数值的变化,表征该第二像素点存在缺陷的概率进一步被加强。
又例如,中间缺陷检测结果表征某个第二像素点未存在缺陷的可能较大,蒙版图像表征该第二像素点未存在缺陷的可能较大,则得到的该第二像素点的第二概率所发生的数值的变化,表征该第二像素点未存在缺陷的概率进一步被加强。
进而通过蒙版图像,辅助得到待检测图像的缺陷检测结果,具有更高的检测精度。
本公开实施例通过模板图像和待检测图像,生成待检测图像对应的蒙版图像,该蒙版图像中的每个第一像素点的像素值,表征了在待检测图像中对应位置的第二像素点是否存在缺陷的异常度值,然后根据蒙版图像,确定待检测图像的检测结果,具有更高的检测精度。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与缺陷检测方法对应的缺陷检测装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述缺陷检测方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图4所示,为本公开实施例提供的一种缺陷检测装置的示意图,所述装置包括:获取模块41、生成模块42、以及检测模块43;其中,
获取模块41,用于获取模板图像、以及待检测图像;
生成模块42,用于基于所述模板图像、以及所述待检测图像,生成与所述待检测图像对应的蒙版图像;所述蒙版图像中每个第一像素点的像素值,表征第二像素点存在缺陷的异常度值;所述第二像素点为所述待检测图像中位置与所述第一像素点匹配的像素点;
检测模块43,用于基于所述蒙版图像,确定所述待检测图像的缺陷检测结果。
一种可能的实施方式中,所述生成模块42,在基于所述模板图像、以及所述待检测图像,生成与所述待检测图像对应的蒙版图像时,用于:
根据所述待检测图像确定第一图像,以及根据所述模板图像,确定第二图像;
针对所述第一图像中的每个第三像素点,从所述第二图像中,确定与该第三像素点对应的多个目标像素点;所述多个目标像素点与所述第二图像中的目标第四像素点之间的距离小于第一距离阈值,所述目标第四像素点为所述第二图像中位置与所述第三像素点匹配的第四像素点;
针对每个所述第三像素点,基于所述多个所述目标像素点分别与该第三像素点之间的相似度,确定该第三像素点的异常度值;
根据所述第三像素点的异常度值,确定所述待检测图像中与所述第三像素点对应的第二像素点的异常度值。
一种可能的实施方式中,所述生成模块42,在根据所述待检测图像确定第一图像,以及根据所述模板图像,确定第二图像时,用于:
将所述待检测图像确定为所述第一图像,以及将所述模板图像确定为所述第二图像;
或者,
所述根据所述待检测图像确定第一图像,以及根据所述模板图像,确定第二图像,包括:
获取所述待检测图像的第一特征图,并将所述第一特征图确定为所述第一图像;获取所述模板图像的第二特征图,并将所述第二特征图确定为所述第二图像。
一种可能的实施方式中,所述生成模块42,在针对每个所述第三像素点,基于所述多个所述目标像素点分别与该第三像素点之间的相似度,确定该第三像素点的异常度值时,用于:
确定所述多个目标像素点分别与该第三像素点之间的相似度中的最大相似度;基于所述最大相似度,确定该第三像素点的异常度值。
一种可能的实施方式中,所述生成模块42,在针对所述第一图像中的每个第三像素点,从所述第二图像中,确定与该第三像素点对应的多个目标像素点时,用于:
针对所述第一图像中的每个第三像素点,从所述第二图像的多个第四像素点中,确定与该第三像素点位置匹配的目标第四像素点;
从所述第二图像的多个所述第四像素点中,确定与所述目标第四像素点距离小于第一距离阈值的多个第四像素点,并将确定的第四像素点确定为所述目标像素点。
一种可能的实施方式中,针对每个所述第三像素点,所述生成模块42,采用下述方式确定每个目标像素点与该第三像素点之间的相似度:
基于该第三像素点在所述第一图像中的位置、以及预设的第二距离阈值,得到该第三像素点对应的第一子图;以及
基于所述每个目标像素点在所述第二图像中的位置、以及所述第二距离阈值,得到所述每个目标像素点对应的第二子图;
基于所述第一子图、以及所述第二子图,确定所述每个目标像素点与该第三像素点之间的相似度。
一种可能的实施方式中,所述生成模块42,在基于该第三像素点在所述第一图像中的位置、以及预设的第二距离阈值,得到该第三像素点对应的第一子图时,用于:
在所述第一图像中,确定以该第三像素点为圆心、以所述第二距离阈值为半径的第一圆形区域,基于所述第一图像上位于该第一圆形区域内的第三像素点,得到所述第一子图;
所述生成模块42,在基于所述每个目标像素点在所述第二图像中的位置、以及所述第二距离阈值,得到所述每个目标像素点对应的第二子图时,用于:
在所述第二图像中,确定以所述每个目标像素点为圆心、以所述第二距离阈值为半径的第二圆形区域,基于所述第二图像上位于该第二圆形区域内的第四像素点,得到所述第二子图。
一种可能的实施方式中,所述生成模块42,在基于该第三像素点在所述第一图像中的位置、以及预设的第二距离阈值,得到该第三像素点对应的第一子图时,用于:
基于所述第二距离阈值,确定目标边长;在所述第一图像上,确定以该第三像素点为中心、以确定的所述目标边长为边长的第一正方形区域,基于所述第一图像上位于该第一正方形区域内的第三像素点,得到所述第一子图;
所述生成模块42,在基于所述每个目标像素点在所述第二图像中的位置、以及所述第二距离阈值,得到所述每个目标像素点对应的第二子图时,用于:
在所述第二图像上,确定以所述每个目标像素点为中心、以确定的所述目标边长为边长的第二正方形区域;基于所述第二图像上位于该第二正方形区域内的第四像素点,得到所述第二子图。
一种可能的实施方式中,针对所述第一图像为所述待检测图像、所述第二图像为所述模板图像的情况,所述生成模块42,在根据所述第三像素点的异常度值,确定所述待检测图像中与所述第三像素点对应的第二像素点的异常度值时,用于:
将所述第一图像中每个第三像素点的异常度值,确定为所述待检测图像中位置与所述第三像素点匹配的第二像素点的异常度值。
一种可能的实施方式中,针对所述第一图像为所述第一特征图、所述第二图像为所述第二特征图的情况,所述生成模块42,在根据所述第三像素点的异常度值,确定所述待检测图像中与所述第三像素点对应的第二像素点的异常度值时,用于:
根据所述第一子图中各个第三像素点与所述待检测图像中各个第二像素点之间的映射关系、以及所述第一子图中每个第三像素点的异常度值,确定与每个第二像素点对应的异常度值。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
本公开实施例还提供了一种计算机设备10,如图5所示,为本公开实施例提供的计算机设备10结构示意图,包括:
处理器11和存储器12;所述存储器12存储有所述处理器11可执行的机器可读指令,当计算机设备运行时,所述机器可读指令被所述处理器执行以实现下述步骤:获取模板图像、以及待检测图像;
基于所述模板图像、以及所述待检测图像,生成与所述待检测图像对应的蒙版图像;所述蒙版图像中每个第一像素点的像素值,表征位置与所述每个第一像素点匹配的第二像素点存在缺陷的异常度值;所述第二像素点为所述待检测图像中位置与所述第一像素点匹配的像素点;
基于所述蒙版图像,确定所述待检测图像的缺陷检测结果。
上述指令的具体执行过程可以参考本公开实施例中所述的缺陷检测方法的步骤,此处不再赘述。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的缺陷检测方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的缺陷检测方法的步骤,具体可参见上述方法实施例,在此不再赘述。
其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
Claims (13)
1.一种缺陷检测方法,其特征在于,包括:
获取模板图像、以及待检测图像;
基于所述模板图像、以及所述待检测图像,生成与所述待检测图像对应的蒙版图像;所述蒙版图像中每个第一像素点的像素值,表征第二像素点存在缺陷的异常度值;所述第二像素点为所述待检测图像中位置与所述第一像素点匹配的像素点;
基于所述蒙版图像,确定所述待检测图像的缺陷检测结果。
2.根据权利要求1所述的方法,其特征在于,所述基于所述模板图像、以及所述待检测图像,生成与所述待检测图像对应的蒙版图像,包括:
根据所述待检测图像确定第一图像,以及根据所述模板图像,确定第二图像;
针对所述第一图像中的每个第三像素点,从所述第二图像中,确定与该第三像素点对应的多个目标像素点;所述多个目标像素点与所述第二图像中的目标第四像素点之间的距离小于第一距离阈值,所述目标第四像素点为所述第二图像中位置与所述第三像素点匹配的第四像素点;
针对每个所述第三像素点,基于所述多个所述目标像素点分别与该第三像素点之间的相似度,确定该第三像素点的异常度值;
根据所述第三像素点的异常度值,确定所述待检测图像中与所述第三像素点对应的第二像素点的异常度值。
3.根据权利要求2所述的方法,其特征在于,所述根据所述待检测图像确定第一图像,以及根据所述模板图像,确定第二图像,包括:
将所述待检测图像确定为所述第一图像,以及将所述模板图像确定为所述第二图像;
或者,
所述根据所述待检测图像确定第一图像,以及根据所述模板图像,确定第二图像,包括:
获取所述待检测图像的第一特征图,并将所述第一特征图确定为所述第一图像;获取所述模板图像的第二特征图,并将所述第二特征图确定为所述第二图像。
4.根据权利要求2或3所述的方法,其特征在于,针对每个所述第三像素点,基于所述多个所述目标像素点分别与该第三像素点之间的相似度,确定该第三像素点的异常度值,包括:
确定所述多个目标像素点分别与该第三像素点之间的相似度中的最大相似度;基于所述最大相似度,确定该第三像素点的异常度值。
5.根据权利要求2-4任一项所述的方法,其特征在于,针对所述第一图像中的每个第三像素点,从所述第二图像中,确定与该第三像素点对应的多个目标像素点,包括:
针对所述第一图像中的每个第三像素点,从所述第二图像的多个第四像素点中,确定与该第三像素点位置匹配的目标第四像素点;
从所述第二图像的多个所述第四像素点中,确定与所述目标第四像素点距离小于第一距离阈值的多个第四像素点,并将确定的第四像素点确定为所述目标像素点。
6.根据权利要求2-5任一项所述的方法,其特征在于,针对每个所述第三像素点,采用下述方式确定每个目标像素点与该第三像素点之间的相似度:
基于该第三像素点在所述第一图像中的位置、以及预设的第二距离阈值,得到该第三像素点对应的第一子图;以及
基于所述每个目标像素点在所述第二图像中的位置、以及所述第二距离阈值,得到所述每个目标像素点对应的第二子图;
基于所述第一子图、以及所述第二子图,确定所述每个目标像素点与该第三像素点之间的相似度。
7.根据权利要求6所述的方法,其特征在于,所述基于该第三像素点在所述第一图像中的位置、以及预设的第二距离阈值,得到该第三像素点对应的第一子图,包括:
在所述第一图像中,确定以该第三像素点为圆心、以所述第二距离阈值为半径的第一圆形区域,基于所述第一图像上位于该第一圆形区域内的第三像素点,得到所述第一子图;
所述基于所述每个目标像素点在所述第二图像中的位置、以及所述第二距离阈值,得到所述每个目标像素点对应的第二子图,包括:
在所述第二图像中,确定以所述每个目标像素点为圆心、以所述第二距离阈值为半径的第二圆形区域,基于所述第二图像上位于该第二圆形区域内的第四像素点,得到所述第二子图。
8.根据权利要求6所述的方法,其特征在于,所述基于该第三像素点在所述第一图像中的位置、以及预设的第二距离阈值,得到该第三像素点对应的第一子图,包括:
基于所述第二距离阈值,确定目标边长;在所述第一图像上,确定以该第三像素点为中心、以确定的所述目标边长为边长的第一正方形区域,基于所述第一图像上位于该第一正方形区域内的第三像素点,得到所述第一子图;
所述基于所述每个目标像素点在所述第二图像中的位置、以及所述第二距离阈值,得到所述每个目标像素点对应的第二子图,包括:
在所述第二图像上,确定以所述每个目标像素点为中心、以确定的所述目标边长为边长的第二正方形区域;基于所述第二图像上位于该第二正方形区域内的第四像素点,得到所述第二子图。
9.根据权利要求3所述的方法,其特征在于,针对所述第一图像为所述待检测图像、所述第二图像为所述模板图像的情况,所述根据所述第三像素点的异常度值,确定所述待检测图像中与所述第三像素点对应的第二像素点的异常度值,包括:
将所述第一图像中每个第三像素点的异常度值,确定为所述待检测图像中位置与所述第三像素点匹配的第二像素点的异常度值。
10.根据权利要求3所述的方法,其特征在于,针对所述第一图像为所述第一特征图、所述第二图像为所述第二特征图的情况,所述根据所述第三像素点的异常度值,确定所述待检测图像中与所述第三像素点对应的第二像素点的异常度值,包括:
根据所述第一子图中各个第三像素点与所述待检测图像中各个第二像素点之间的映射关系、以及所述第一子图中每个第三像素点的异常度值,确定与每个第二像素点对应的异常度值。
11.一种缺陷检测装置,其特征在于,包括:
获取模块,用于获取模板图像、以及待检测图像;
生成模块,用于基于所述模板图像、以及所述待检测图像,生成与所述待检测图像对应的蒙版图像;所述蒙版图像中每个第一像素点的像素值,表征第二像素点存在缺陷的异常度值;所述第二像素点为所述待检测图像中位置与所述第一像素点匹配的像素点;
检测模块,用于基于所述蒙版图像,确定所述待检测图像的缺陷检测结果。
12.一种计算机设备,其特征在于,包括:相互连接的处理器和存储器,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述机器可读指令被所述处理器执行以实现如权利要求1至10任一所述的缺陷检测方法。
13.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至10任意一项所述的缺陷检测方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110055119.9A CN112750116B (zh) | 2021-01-15 | 2021-01-15 | 一种缺陷检测方法、装置、计算机设备及存储介质 |
PCT/CN2021/101788 WO2022151658A1 (zh) | 2021-01-15 | 2021-06-23 | 一种缺陷检测方法、装置、计算机设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110055119.9A CN112750116B (zh) | 2021-01-15 | 2021-01-15 | 一种缺陷检测方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112750116A true CN112750116A (zh) | 2021-05-04 |
CN112750116B CN112750116B (zh) | 2023-08-11 |
Family
ID=75652233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110055119.9A Active CN112750116B (zh) | 2021-01-15 | 2021-01-15 | 一种缺陷检测方法、装置、计算机设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112750116B (zh) |
WO (1) | WO2022151658A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022151658A1 (zh) * | 2021-01-15 | 2022-07-21 | 北京市商汤科技开发有限公司 | 一种缺陷检测方法、装置、计算机设备及计算机可读存储介质 |
CN114820561A (zh) * | 2022-05-16 | 2022-07-29 | 奥蒂玛光学科技(深圳)有限公司 | 一种异常区域检测方法、自动光学检测设备以及存储介质 |
CN115131287A (zh) * | 2022-05-16 | 2022-09-30 | 奥蒂玛光学科技(深圳)有限公司 | 一种图像处理方法、区域检测方法、检测设备和存储介质 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115861233A (zh) * | 2022-12-02 | 2023-03-28 | 深圳市冠森高捷电子技术有限公司 | 基于图像处理的连接器生产表面质量检测方法 |
CN115880248B (zh) * | 2022-12-13 | 2024-02-09 | 哈尔滨耐是智能科技有限公司 | 一种表面划痕缺陷识别方法及视觉检测设备 |
CN115631199B (zh) * | 2022-12-21 | 2023-04-14 | 深圳新视智科技术有限公司 | pin针缺陷检测方法、装置、设备及存储介质 |
CN116452587B (zh) * | 2023-06-15 | 2023-08-18 | 山东兴华钢结构有限公司 | 一种环保建筑结构钢板缺陷识别方法 |
CN116580031B (zh) * | 2023-07-13 | 2023-09-29 | 山东勇嘉包装科技股份有限公司 | 一种无溶剂复合印刷异常检测方法 |
CN117670823B (zh) * | 2023-12-05 | 2024-06-25 | 湖北东禾电子科技有限公司 | 一种基于图像识别的pcba线路板元件检测及评价方法 |
CN117474924B (zh) * | 2023-12-28 | 2024-03-15 | 山东鲁抗医药集团赛特有限责任公司 | 基于机器视觉的标签缺陷检测方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150003741A1 (en) * | 2013-07-01 | 2015-01-01 | Here Global B.V. | Occlusion Resistant Image Template Matching Using Distance Transform |
CN106203511A (zh) * | 2016-06-12 | 2016-12-07 | 湘潭大学 | 一种图像相似块评估方法 |
CN106530275A (zh) * | 2016-10-11 | 2017-03-22 | 广州视源电子科技股份有限公司 | 元件错件检测方法和系统 |
CN109166109A (zh) * | 2018-08-14 | 2019-01-08 | 珠海格力智能装备有限公司 | 缺陷检测方法、装置、存储介质及处理器 |
CN110197180A (zh) * | 2019-05-30 | 2019-09-03 | 新华三技术有限公司 | 字符缺陷检测方法、装置及设备 |
WO2019196542A1 (zh) * | 2018-04-10 | 2019-10-17 | 阿里巴巴集团控股有限公司 | 一种图像处理的方法及装置 |
CN110443803A (zh) * | 2019-09-02 | 2019-11-12 | 河海大学 | 一种印刷品图像质量检测方法及装置 |
CN111553905A (zh) * | 2020-04-30 | 2020-08-18 | 展讯通信(上海)有限公司 | 图像检测方法、设备、装置及存储介质 |
CN112149672A (zh) * | 2020-09-29 | 2020-12-29 | 广州虎牙科技有限公司 | 图像处理方法和装置、电子设备及存储介质 |
US20210012474A1 (en) * | 2019-07-10 | 2021-01-14 | International Business Machines Corporation | Object defect detection |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6642161B2 (ja) * | 2016-03-18 | 2020-02-05 | 株式会社リコー | 検査装置、検査方法及びプログラム |
CN111476780B (zh) * | 2020-04-07 | 2023-04-07 | 腾讯科技(深圳)有限公司 | 一种图像检测方法、装置、电子设备以及存储介质 |
CN112750116B (zh) * | 2021-01-15 | 2023-08-11 | 北京市商汤科技开发有限公司 | 一种缺陷检测方法、装置、计算机设备及存储介质 |
-
2021
- 2021-01-15 CN CN202110055119.9A patent/CN112750116B/zh active Active
- 2021-06-23 WO PCT/CN2021/101788 patent/WO2022151658A1/zh active Application Filing
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150003741A1 (en) * | 2013-07-01 | 2015-01-01 | Here Global B.V. | Occlusion Resistant Image Template Matching Using Distance Transform |
CN106203511A (zh) * | 2016-06-12 | 2016-12-07 | 湘潭大学 | 一种图像相似块评估方法 |
CN106530275A (zh) * | 2016-10-11 | 2017-03-22 | 广州视源电子科技股份有限公司 | 元件错件检测方法和系统 |
WO2019196542A1 (zh) * | 2018-04-10 | 2019-10-17 | 阿里巴巴集团控股有限公司 | 一种图像处理的方法及装置 |
CN109166109A (zh) * | 2018-08-14 | 2019-01-08 | 珠海格力智能装备有限公司 | 缺陷检测方法、装置、存储介质及处理器 |
CN110197180A (zh) * | 2019-05-30 | 2019-09-03 | 新华三技术有限公司 | 字符缺陷检测方法、装置及设备 |
US20210012474A1 (en) * | 2019-07-10 | 2021-01-14 | International Business Machines Corporation | Object defect detection |
CN110443803A (zh) * | 2019-09-02 | 2019-11-12 | 河海大学 | 一种印刷品图像质量检测方法及装置 |
CN111553905A (zh) * | 2020-04-30 | 2020-08-18 | 展讯通信(上海)有限公司 | 图像检测方法、设备、装置及存储介质 |
CN112149672A (zh) * | 2020-09-29 | 2020-12-29 | 广州虎牙科技有限公司 | 图像处理方法和装置、电子设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
ZOUHIR WAKAF等: "Defect detection based on extreme edge of defective region histogram", 《JOURNAL OF KING SAUD UNIVERSITY – COMPUTER AND INFORMATION SCIENCES》, pages 33 - 40 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022151658A1 (zh) * | 2021-01-15 | 2022-07-21 | 北京市商汤科技开发有限公司 | 一种缺陷检测方法、装置、计算机设备及计算机可读存储介质 |
CN114820561A (zh) * | 2022-05-16 | 2022-07-29 | 奥蒂玛光学科技(深圳)有限公司 | 一种异常区域检测方法、自动光学检测设备以及存储介质 |
CN115131287A (zh) * | 2022-05-16 | 2022-09-30 | 奥蒂玛光学科技(深圳)有限公司 | 一种图像处理方法、区域检测方法、检测设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112750116B (zh) | 2023-08-11 |
WO2022151658A1 (zh) | 2022-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112750116A (zh) | 一种缺陷检测方法、装置、计算机设备及存储介质 | |
CN112508846B (zh) | 缺陷检测方法及装置、电子设备和存储介质 | |
CN112115893B (zh) | 仪表盘指针读数识别方法、装置、计算机设备及存储介质 | |
CN112288723A (zh) | 缺陷检测方法、装置、计算机设备及存储介质 | |
CN109740617A (zh) | 一种图像检测方法及装置 | |
CN114018160A (zh) | 一种极耳成像装置和极耳尺寸检测方法 | |
CN113820333B (zh) | 电池极片异常检测方法、装置、上位机及检测系统 | |
CN112700440B (zh) | 物体缺陷检测方法、装置、计算机设备及存储介质 | |
CN112288724A (zh) | 缺陷检测方法及装置、电子设备和存储介质 | |
CN107038443A (zh) | 一种在电路板上定位感兴趣区域的方法和装置 | |
CN115131596A (zh) | 缺陷分类装置、方法以及程序 | |
CN107194971B (zh) | 一种金手指定位方法、装置及计算机可读存储介质 | |
CN114998432A (zh) | 一种基于YOLOv5的电路板检测点定位方法 | |
CN115719326A (zh) | Pcb板缺陷检测方法及装置 | |
CN111401377A (zh) | 一种仪表数据读取方法、装置、电子设备及存储介质 | |
CN114627113B (zh) | 一种印制电路板缺陷检测方法及系统及装置及介质 | |
CN114913118A (zh) | 工业视觉检测方法、装置、电子设备以及存储介质 | |
CN114897797A (zh) | 印刷电路板的缺陷检测方法、装置、设备及存储介质 | |
CN113435908A (zh) | 生成pcba板的溯源信息的方法 | |
CN112435210A (zh) | 一种环形器件的质量检测方法及装置 | |
JP2016099830A (ja) | 文字情報読取装置及びプログラム | |
CN112446895A (zh) | 棋盘格角点自动提取方法、系统、设备及介质 | |
CN114140391B (zh) | 基于机器视觉实现板载显示屏模块快速检测的方法 | |
TWI792351B (zh) | 瑕疵檢測方法、電子設備及儲存介質 | |
TWI737447B (zh) | 影像處理方法、電子裝置和存儲介質 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40045346 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |