CN116468706A - 缺陷检测方法及装置、设备、存储介质 - Google Patents
缺陷检测方法及装置、设备、存储介质 Download PDFInfo
- Publication number
- CN116468706A CN116468706A CN202310454514.3A CN202310454514A CN116468706A CN 116468706 A CN116468706 A CN 116468706A CN 202310454514 A CN202310454514 A CN 202310454514A CN 116468706 A CN116468706 A CN 116468706A
- Authority
- CN
- China
- Prior art keywords
- image
- defect
- detection
- network
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 270
- 230000007547 defect Effects 0.000 title claims abstract description 238
- 238000003860 storage Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 71
- 238000012549 training Methods 0.000 claims description 109
- 230000002950 deficient Effects 0.000 claims description 76
- 238000004590 computer program Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 10
- 230000003247 decreasing effect Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 238000011176 pooling Methods 0.000 description 10
- 238000007689 inspection Methods 0.000 description 5
- 238000000513 principal component analysis Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种缺陷检测方法及装置、设备、存储介质,其中所述方法包括:获取待检测样品的拍摄图像;调用缺陷检测模型对所述拍摄图像进行缺陷检测,得到检测结果;其中,所述检测结果至少用于指示所述待检测样品是否存在缺陷,所述缺陷检测模型至少包括局部检测网络,所述局部检测网络用于按照预设的第一图像大小对所述拍摄图像进行滑动缺陷检测,得到所述检测结果。采用本申请,能够便捷、准确地实现产品的缺陷检测。
Description
技术领域
本申请实施例涉及计算机技术领域,涉及但不限于一种缺陷检测方法及装置、设备、存储介质。
背景技术
随着计算机技术的快速发展和其应用领域的不断扩大,计算机视觉技术已成功应用于产品的质量检验中。目前,现有的产品质量检测通常有基于主成分分析(PrincipalComponent Analysis,PCA)的缺陷检测和基于嵌入式机器视觉的缺陷检测。其中,基于主成分分析的缺陷检测方案受外界条件的影响较大,例如受限于相机曝光时间、环境光照的亮暗等外界因素,导致系统的鲁棒性较差。而基于嵌入式机器视觉的缺陷检测方案需使用脉冲耦合神经网络(Pulse Coupled Neural Network,PCNN)和滤波器来识别产品缺陷,其应用实施场景比较受限,不利于被广泛推广和应用。
因此,如何便捷、准确地实现产品缺陷检测是目前亟需解决的一个重要问题。
发明内容
有鉴于此,本申请实施例提供的一种缺陷检测方法及装置、设备、存储介质,能够便捷、准确地实现产品的缺陷检测。
第一方面,本申请实施例提供一种缺陷检测方法,包括:
获取待检测样品的拍摄图像;
调用缺陷检测模型对所述拍摄图像进行缺陷检测,得到检测结果;
其中,所述检测结果至少用于指示所述待检测样品是否存在缺陷,所述缺陷检测模型至少包括局部检测网络,所述局部检测网络用于按照预设的第一图像大小对所述拍摄图像进行滑动缺陷检测,得到所述检测结果。
在一些实施例中,所述调用缺陷检测模型对所述拍摄图像进行缺陷检测,得到检测结果包括:
调用所述局部检测网络,按照所述第一图像大小对所述拍摄图像进行滑动拆分,得到至少一个图像块;
对每个所述图像块进行缺陷检测,得到所述检测结果;
其中,若任一个所述图像块中存在缺陷,则所述检测结果用于指示所述待检测样品存在缺陷。
在一些实施例中,所述调用缺陷检测模型对所述拍摄图像进行缺陷检测之前,所述方法还包括:
获取第一训练集,所述第一训练集包括至少一个有缺陷样本图像和至少一个无缺陷样本图像;
基于所述第一训练集,采用随机梯度下降优化算法对所述局部检测网络进行迭代训练,以更新所述局部检测网络的参数;
其中,所述随机梯度下降优化算法包括学习率和权重超参数,在所述迭代训练中相邻两次的学习率呈线性递减变化趋势,相邻两次的权重超参数呈递增变化趋势。
在一些实施例中,所述获取第一训练集包括:
获取至少一个有缺陷图像和至少一个无缺陷图像;
对每个所述有缺陷图像进行图像拆分和线性变换,得到至少一个有缺陷样本图像;
按照预设的第二图像大小对每个所述无缺陷图像进行滑动拆分,得到至少一个无缺陷样本图像。
在一些实施例中,所述缺陷检测模型还包括全局分类网络,所述全局分类网络用于对所述拍摄图像进行缺陷分类,得到所述检测结果,所述检测结果还用于指示所述待检测样品所属的目标缺陷分类。
在一些实施例中,所述调用缺陷检测模型对所述拍摄图像进行缺陷检测,得到检测结果之前,所述方法还包括:
对所述拍摄图像进行下采样,得到下采样图像,其中,所述下采样图像的图像大小和所述第一图像大小相同;
所述调用缺陷检测模型对所述拍摄图像进行缺陷检测,得到检测结果还包括:
调用所述全局分类网络对所述下采样图像进行缺陷分类,得到所述检测结果。
在一些实施例中,所述调用缺陷检测模型对所述拍摄图像进行缺陷检测之前,所述方法还包括:
获取第二训练集,所述第二训练集包括至少一个训练图像;
基于所述第二训练集对所述全局分类网络和所述局部检测网络进行训练,以更新所述全局分类网络和所述局部检测网络各自的参数;
其中,所述全局分类网络用于在对所述训练图像进行缺陷分类时获得所述训练图像中的缺陷特征信息,所述局部检测网络用于基于所述训练图像中的缺陷特征信息检测所述训练图像是否存在缺陷。
第二方面,本申请实施例提供一种缺陷检测装置,包括:
获取模块,用于获取待检测样品的拍摄图像;
检测模块,用于调用缺陷检测模型对所述拍摄图像进行缺陷检测,得到检测结果;
其中,所述检测结果至少用于指示所述待检测样品是否存在缺陷,所述缺陷检测模型至少包括局部检测网络,所述局部检测网络用于按照预设的第一图像大小对所述拍摄图像进行滑动缺陷检测,得到所述检测结果。
关于本申请实施例中未介绍或未描述的内容可对应参考前述方法实施例中的相关介绍,这里不再赘述。
第三方面,本申请实施例提供一种计算机设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现本申请实施例所述的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现本申请实施例提供的所述的方法。
与现有技术相比,本申请至少具有如下有益效果:
本申请实施例中,计算机设备获取待检测样品的拍摄图像;调用缺陷检测模型对所述拍摄图像进行缺陷检测,得到检测结果;其中,所述检测结果至少用于指示所述待检测样品是否存在缺陷,所述缺陷检测模型至少包括局部检测网络,所述局部检测网络用于按照预设的第一图像大小对所述拍摄图像进行滑动缺陷检测,得到所述检测结果。可见,本申请能调用缺陷检测模型对待检测样品的拍摄图像进行快速、准确地缺陷检测,从而有利于提升缺陷检测的便捷性和准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。
图1是本申请实施例提供的一种应用场景示意图。
图2是本申请实施例提供的一种缺陷检测方法的流程示意图。
图3是本申请实施例提供的一种缺陷检测模型的结构示意图。
图4是本申请实施例提供的一种图像滑动拆分的示意图。
图5是本申请实施例提供的一种局部检测网络训练方法的流程示意图。
图6是本申请实施例提供的另一种缺陷检测模型的结构示意图。
图7是本申请实施例提供的一种全局分类网络的结构示意图。
图8是本申请实施例提供的一种缺陷检测模型训练方法的流程示意图。
图9是本申请实施例提供的一种缺陷检测装置的结构示意图。
图10是本申请实施例提供的另一种缺陷检测装置的结构示意图。
图11是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请,但不用来限制本申请的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
需要指出,本申请实施例所涉及的术语“第一\第二\第三”用以区别类似或不同的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
申请人在提出本申请的过程中还发现:在产品生产过程中,低质量的产品不仅会影响生产效率,还会提升成本、造成材料浪费,同时也会影响生产厂商的信誉。然而,在产品质量检测过程中,很多厂商仍使用人工方式进行缺陷检测,而人的精力有限,检测工作繁琐、琐碎,很容易出现疲倦、疲劳状态导致缺陷检测效率下降。此外,人为因素还存在不确定性,容易出现产品质量检测失误等问题,甚至会带来重大的经济损失。
基于此,随着计算机技术的不断发展,计算机视觉已成功应用于产品的质量检测中。目前,现有的产品质量检测有两种:基于主成分分析的缺陷检测和基于嵌入式机器视觉的缺陷检测。然而这两种产品质量检测方案都存在一定的局限性,如受限于一些使用条件或环境,并不能被广泛使用和推广,例如并不能适用于手机屏幕表面的缺陷检测。
为解决上述问题,本申请实施例提供一种缺陷检测方法及装置、设备、存储介质。请参见图1是本申请实施例提供的一种可能的应用场景示意图。如图1所示的应用场景中,待检测样品可以流水线的方式排列,以等待进行缺陷检测。在待检测样品的上方设置有摄像头,用于采集待检测样品的拍摄图像。接着,再将待检测样品的拍摄图像传输至计算机设备中,以基于该待检测样品的拍摄图像来检测该待检测样品是否存在缺陷,也就是检测该待检测样品是否合格。可选地,在检测到该待检测样品不存在缺陷时,计算设备可输出通过结果(pass),以指示/表示上述待检测样品未出现缺陷,检测合格。反之,在检测到该待检测样品存在缺陷时,计算机设备可输出失败结果(fail),以指示/表示上述待检测样品出现缺陷,检测不合格。关于如何基于待检测样品的拍摄图像来检测待检测样品是否存在缺陷,将在本申请下文中详细描述,这里不做过多详述。
请参见图2,是本申请实施例提供的一种缺陷检测方法的流程示意图。如图2所示的方法应用于计算机设备中,该方法包括:
S201、获取待检测样品的拍摄图像。
本申请的拍摄图像是指利用拍摄装置对待检测样品进行拍摄获得的图像,该待检测样品的数量可以是一个或多个,其可根据实际需求确定,本申请不做限定。为方便描述,本申请以一个待检测样品为例进行相关内容的阐述,但并不构成限定。
本申请对上述拍摄图像的获取实施方式并不做限定,例如通过摄像装置对待检测样品进行直接拍摄获得;又如通过网络从其他设备(例如终端设备或服务器)获得等。
S202、调用缺陷检测模型对所述拍摄图像进行缺陷检测,得到检测结果;其中,所述检测结果至少用于指示所述待检测样品是否存在缺陷,所述缺陷检测模型至少包括局部检测网络,所述局部检测网络用于按照预设的第一图像大小对所述拍摄图像进行滑动缺陷检测,得到所述检测结果。
下面介绍S202涉及的相关实施例。
在一种实施方式中,请参见图3是本申请实施例提供的一种可能的缺陷检测模型的结构示意图。如图3所示的缺陷检测模型中至少包括局部检测网络。在实施过程中,本申请可调用局部检测网络,按照预设的第一图像大小对上述待检测样品的拍摄图像进行滑动拆分,具体地可采用预设的第一滑动窗口按照预设步幅对上述拍摄图像进行滑动拆分,从而得到至少一个图像块。其中,第一滑动窗口的大小和上述第一图像大小相同。本申请对上述拍摄图像的大小、上述第一图像大小及上述预设步幅的大小均不做限定,其可根据实际情况确定。
举例来说,以上述拍摄图像为512×512的图像为例,第一滑动窗口的大小(即第一图像大小)为128×128为例,请参见图4是本申请实施例提供的一种可能的图像滑动拆分的示意图。如图4所示的例子中,本申请可采用128×128的滑动窗口按照64像素的步幅在整个拍摄图像上分别沿行和列的方向上进行滑动拆分,从而得到49个图像块。
接着在局部检测网络中,对至少一个图像块中的每个图像块进行缺陷检测,从而得到最终的检测结果。其中,如果检测到任意一个图像块中存在缺陷,则上述检测结果可用于指示上述待检测样品存在缺陷,检测不合格。可选地,在此情况下,本申请可将上述拍摄图像标记为有缺陷,以指示/提示上述拍摄图像中的待检测样品存在缺陷。
反之如果检测到至少一个图像块中的每个图像块均不存在缺陷,则上述检测结果可用于指示上述待检测样品不存在缺陷,检测合格。可选地,在此情况下,本申请也可将上述拍摄图像标记为无缺陷,以指示/提示上述拍摄图像中的待检测样品不存在缺陷。
在调用局部检测网络进行缺陷检测之前,还会预先对上述局部检测网络进行训练。请参见图5是本申请实施例提供的一种可能的局部检测网络训练方法的流程示意图。如图5所示的方法包括:
S501、获取第一训练集,所述第一训练集包括至少一个有缺陷样本图像和至少一个无缺陷样本图像。
本申请的第一训练集包括至少一个有缺陷样本图像和至少一个无缺陷样本图像。其中,为了保证网络训练的准确度或精度,通常有缺陷样本图像和无缺陷样本图像各自的数量占比为1:1。本申请对上述有缺陷样本图像和无缺陷样本图像各自的来源/获取途径并不做限定,例如可以通过网络从服务器或网站中获得,又如可以对获取的相应图像进行处理后获得等。下面示例性介绍步骤S501中相应图像的获取实施方式。
为了防止局部检测网络过拟合,本申请可在网络的训练集上应用有效的图像增强。在实施过程中,本申请可获取至少一个有缺陷图像和至少一个无缺陷图像。本申请对有缺陷图像和无缺陷图像各自的获取实施方式并不做限定,例如通过网络从其他设备或网站中获得;又如通过摄像装置直接拍摄获得等。这里的有缺陷图像是针对存在有缺陷的样品进行拍摄获得的图像,无缺陷图像是针对无缺陷的样品进行拍摄获得的图像。也就是说,有缺陷图像中的样品存在有缺陷、无缺陷图像中的样品无缺陷。
针对有缺陷图像来说,本申请可对每个有缺陷图像进行图像拆分和增强,从而得到至少一个有缺陷样本图像。具体地,本申请可先对每个有缺陷图像进行图像拆分,从而获得拆分后的多个图像块;再对拆分后的多个图像块进行图像增强,从而得到多个有缺陷样本图像。其中,本申请对图像拆分的实施方式并不做限定,例如采用预设的第二滑动窗口对上述有缺陷图像进行滑动拆分,从而获得该有缺陷图像拆分后的多个图像块,其可对应参考前述关于滑动拆分的相关介绍这里不再赘述。本申请对上述图像增强的实施方式也不做限定,例如本申请可采用线性变换(例如旋转和镜像变换)对拆分后的多个图像块进行图像增强;或者,本申请也可采用其他的图像增强方式来对拆分后的多个图像块进行增强处理等,本申请不做限定。
针对无缺陷图像来说,本申请可按照预设的第二图像大小来对每个无缺陷图像进行滑动拆分,具体地可采用预设的第三滑动窗口来对上述无缺陷图像进行滑动拆分,从而得到至少一个无缺陷样本图像。其中,该第三滑动窗口的大小和上述第二图像大小相同,例如可为128×128等。在实际应用中,为了缓解有缺陷样本图像和无缺陷样本图像之间数量的不平衡,本申请可采用滑动窗口的方式对上述无缺陷图像分别沿行和列的方向上进行滑动拆分,其对应可参考前述S202中对滑动拆分的相关介绍,这里不再赘述。
需要说明的是,本申请对上述有缺陷样本图像和上述无缺陷样本图像各自的数量并不做限定,通常有缺陷样本图像和无缺陷样本图像各自的数量越多,训练获得的局部检测网络的精度越高。例如,本申请中有缺陷样本图像的数量可以是35000个,无缺陷样本图像的数量可以是39200个等。
S502、基于所述第一训练集,采用随机梯度下降优化算法对所述局部检测网络进行迭代训练,以更新所述局部检测网络的参数;其中,所述随机梯度下降优化算法包括学习率和权重超参数,在所述迭代训练中每次训练采用的学习率呈线性递减变化趋势,每次训练采用的权重超参数呈递增变化趋势。
本申请的随机梯度下降优化算法是一种对损失函数进行优化的算法,通常应用在机器学习中以求解出最佳的局部检测网络。在实施过程中,本申请利用上述第一训练集和预设损失函数,并采用指定学习率和指定动量参数的随机梯度下降优化算法来对局部检测网络进行迭代训练,以更新上述局部检测网络的参数,从而得到最佳的局部检测网络。其中,该预设损失函数为系统或用户自定义设置的损失函数,例如其可以是交叉熵(Cross-Entropy)函数等,该预设损失函数用于反映/指示预测结果和真实结果之间的损失值,该预测结果为采用局部检测网络对第一训练集中的相应图像进行缺陷检测获得的结果,该真实结果是指该相应图像是否真正存在有缺陷的结果。上述指定学习率和指定动量参数均可为系统或用户自定义设置的,例如请参见如下公式(1)示出相邻两次迭代训练过程中涉及的参数更新规则:
其中,i表示第i次迭代训练,即迭代训练的次数。w表示权重超参数,μ表示动量参数,v表示当前速度向量,lr表示学习率,d表示学习率的衰减系数,Δg表示每次迭代训练时w梯度的平均值。μ和d均可为根据实际需求自定义设置的,例如μ可为0.9、d可为0.012等,本申请不做限定。由上公式(1)可知,在上述迭代训练过程中,学习率呈线性递减趋势,权重超参数呈递增趋势。
在又一实施方式中,请参见图6是本申请实施例提供的另一种可能的缺陷检测模型的结构示意图。如图6所示的缺陷检测模型除了包括上述的局部检测网络外,还可以包括全局分类网络,该全局分类网络用于对上述拍摄图像(上述拍摄图像中的待检测样品)进行缺陷分类,从而得到相应的检测结果,该检测结果还用于指示上述待检测样品所属的目标缺陷分类。
本申请对上述缺陷分类的具体类别不做限定,其可根据待检测样品的类型确定,以待检测样品为手机屏幕表面为例,也就是以手机屏幕表面的缺陷检测为例,此场景下的缺陷分类的类别可以有例如划痕、裂纹、变形、边缘断裂、边角破损及零星散点等,本申请不做限定。
在实施过程中,为了降低模型的计算成本,本申请可先对上述拍摄图像进行下采样,使得下采样后的图像(简称为下采样图像)的大小和上述第一图像大小相同,例如下采样图像的大小可以为128×128。接着,再将该下采样图像输入上述全局分类网络中,利用该全局分类网络对下采样图像进行缺陷分类,从而得到相应的检测结果。这里的检测结果可用于指示上述待检测样品所属的目标缺陷分类。
本申请对上述全局分类网络和上述局部检测网络各自的网络结构并不做限定,其可根据实际需求设置,例如其可包括但不限于卷积层、池化层、全连接层或其他自定义功能的网络层等,本申请不做过多限定。举例来说,请参见图7是本申请实施例提供的一种可能的全局分类网络的结构示意图。如图7所示的全局分类网络可以包括按序依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第四卷积层、第三池化层、第一全连接层、第二全连接层和第三全连接层。本申请对全局分类网络中各个网络层的结构和结构参数也不做限定。例如图7中,全局分类网络中各个网络层按序依次为:C1(32,33)—>S1(2,2,2)—>C2(64,3,3)—>S2(2,2,2)—>C3(128,3,3)—>C4(128,3,3)—>S3(2,2,2)—>FC1(1024)—>FC2(1024)—>FC3(6)。
其中,C表示卷积层,S表示池化层,FC表示全连接层。C(n,3,3)表示有n个大小为3×3的滤波器核的卷积层。S(2,2,2)表示有2个大小为2×2的卷积核的池化层。FC(n)表示具有n个神经元的全连接层。
可选地,本申请在利用缺陷检测模型中相应网络层进行处理时,可采用填充方式对处理后获得的特征图进行填充,使得填充后的特征图和上述下采样图像各自的图像大小相同,以加快计算效率,从而提升缺陷检测的效率。举例来说,在上述手机屏幕表面的缺陷检测场景中,采用图7所示的全局分类网络,对手机屏幕表面的拍摄图像(例如图像大小为512×512)进行缺陷检测时,可先对512×512的拍摄图像进行下采样,得到128×128的下采样图像。接着,再将128×128的下采样图像输入图7所示的全局分类网络中,在每次经过卷积层和池化层处理时,可采用填充方式在处理后获得的特征图的周围填充零,以保证每次处理后的特征图的大小相同,也就是保证每个通道输出的特征图大小不变。可选地,本实施例中,所有池化层可采用最大池化方式进行池化处理,以确保在较小失真的情况下,网络依然具有较强的鲁棒性。然后通过最后一个全连接层输出获得一个向量,该向量中的每个数值表示一个分类或类别的概率,在本实施例中,该向量中可以包括6个数值,这6个数值分别表示通过sofmax等归类函数对上述拍摄图像进行分类的分类成员的估计概率,也就是分别表示缺陷分类为划痕、裂纹、变形、边缘断裂、边角破损及零星散点各自的估计概率。
可选地,本申请在利用上述全局分类网络进行缺陷分类,具体可利用全局分类网络中各个网络层进行缺陷分类时,可获得图像中相应的缺陷特征信息,例如各个网络层处理获得的特征图等。本申请可将获得的上述缺陷特征信息应用于后续的局部检测网络中。相应地,局部检测网络可基于上述缺陷特征信息对上述拍摄图像进行缺陷检测,具体地本申请可将上述缺陷检测特征输入局部检测网络中的一个或多个网络层中,以结合上述拍摄图像进行缺陷检测,从而得到最终的检测结果。关于局部检测网络如何进行缺陷检测可对应参考前述实施例中的相关介绍,这里不再赘述。
可选地,本申请缺陷检测模型中的每个网络层的权重参数均服从的随机正态分布,n1表示相邻两个网络层之间的连接数。在实际应用中,本申请可将每一网络层的偏置值初始化设置为0,并选择激活ReLU函数对每个网络层的偏置值进行修正,本申请这里不做过多限定和详述。
本申请在调用缺陷检测模型进行缺陷检测之前,还会预先对上述缺陷检测模型进行训练。请参见图8是本申请实施例提供的一种缺陷检测模型训练方法的流程示意图。如图8所示的方法包括:
S801、获取第二训练集,所述第二训练集包括至少一个训练图像。
本申请的训练图像可以包括有缺陷样本图像和无缺陷样本图像,通常为保证模型训练的可靠性和精确性,上述第二训练集中包括的有缺陷样本图像和无缺陷样本图像各自的数量可以达到1:1的比例。关于第一训练集的获取实施方式可对应参考前述第一训练集获取的相关实施例,本申请这里不再赘述。
S802、基于所述第二训练集对所述全局分类网络和所述局部检测网络进行训练,以更新所述全局分类网络和所述局部检测网络各自的参数;其中,所述全局分类网络用于在对所述训练图像进行缺陷分类时获得所述训练图像中的缺陷特征信息,所述局部检测网络用于基于所述训练图像中的缺陷特征信息检测所述训练图像是否存在缺陷。
为了保证缺陷检测的可靠性和准确性,本申请可利用全局分类网络来辅助训练上述局部检测网络。在实施过程中,本申请可利用上述第二训练集对上述全局分类网络和局部检测网络进行多次训练,以更新上述全局分类网络和局部检测网络各自的参数,从而获得训练好的上述全局分类网络和局部检测网络,即获得上述缺陷检测模型。在每次训练过程中,全局分类网络可对训练使用的训练图像进行缺陷分类,在缺陷分类过程中可以提取获得该训练图像中的缺陷特征信息。再将获得的缺陷特征信息应用于后续的局部检测网络的训练。相应地,局部检测网络可基于上述缺陷特征信息来检测该训练图像是否存在缺陷,具体可基于上述缺陷特征信息和上述训练图像来检测该训练图像是否存在缺陷。关于全局分类网络和局部检测网络的训练可对应参考前述图5所述实施例中的相关介绍,例如可采用损失函数对上述两个网络进行收敛训练等,本申请这里不做过多限定和详述。
通过实施本申请实施例,计算机设备获取待检测样品的拍摄图像;调用缺陷检测模型对所述拍摄图像进行缺陷检测,得到检测结果;其中,所述检测结果至少用于指示所述待检测样品是否存在缺陷,所述缺陷检测模型至少包括局部检测网络,所述局部检测网络用于按照预设的第一图像大小对所述拍摄图像进行滑动缺陷检测,得到所述检测结果。可见,本申请能调用缺陷检测模型对待检测样品的拍摄图像进行快速、准确地缺陷检测,从而有利于提升缺陷检测的便捷性和准确性。
本申请的计算机设备包括但不限于诸如智能手机(如Android手机、IOS手机等)、个人电脑、平板电脑、掌上电脑、电子阅读器、移动互联网设备(MID,Mobile InternetDevices)、穿戴式智能设备或其他具备通信功能的设备等。
应该理解的是,虽然图2至图8的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2至图8中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
基于前述的实施例,本申请实施例提供一种缺陷检测装置,该装置包括所包括的各模块、以及各模块所包括的各单元,可以通过处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
请参见图9,是本申请实施例提供的一种缺陷检测装置的结构示意图。如图9所示的装置包括获取模块901和检测模块902;其中:
所述获取模块901,用于获取待检测样品的拍摄图像;
所述检测模块902,用于调用缺陷检测模型对所述拍摄图像进行缺陷检测,得到检测结果;
其中,所述检测结果至少用于指示所述待检测样品是否存在缺陷,所述缺陷检测模型至少包括局部检测网络,所述局部检测网络用于按照预设的第一图像大小对所述拍摄图像进行滑动缺陷检测,得到所述检测结果。
在一些实施例中,所述检测模块902具体用于:
调用所述局部检测网络,按照所述第一图像大小对所述拍摄图像进行滑动拆分,得到至少一个图像块;
对每个所述图像块进行缺陷检测,得到所述检测结果;
其中,若任一个所述图像块中存在缺陷,则所述检测结果用于指示所述待检测样品存在缺陷。
在一些实施例中,请参见图10是本申请实施例提供的另一种缺陷检测装置的结构示意图。如图10所示的装置除了包括图9所示的模块外,还可以包括处理模块903。在所述调用缺陷检测模型对所述拍摄图像进行缺陷检测之前,
所述获取模块901,还用于获取第一训练集,所述第一训练集包括至少一个有缺陷样本图像和至少一个无缺陷样本图像;
所述处理模块903,用于基于所述第一训练集,采用随机梯度下降优化算法对所述局部检测网络进行迭代训练,以更新所述局部检测网络的参数;
其中,所述随机梯度下降优化算法包括学习率和权重超参数,在所述迭代训练中每次训练采用的学习率呈线性递减变化趋势,每次训练采用的权重超参数呈递增变化趋势。
在一些实施例中,所述获取模块901具体用于:
获取至少一个有缺陷图像和至少一个无缺陷图像;
对每个所述有缺陷图像进行图像拆分和增强,得到至少一个有缺陷样本图像;
按照预设的第二图像大小对每个所述无缺陷图像进行滑动拆分,得到至少一个无缺陷样本图像。
在一些实施例中,所述缺陷检测模型还包括全局分类网络,所述全局分类网络用于对所述拍摄图像进行缺陷分类,得到所述检测结果,所述检测结果还用于指示所述待检测样品所属的目标缺陷分类。
在一些实施例中,所述调用缺陷检测模型对所述拍摄图像进行缺陷检测,得到检测结果之前,所述处理模块903还用于对所述拍摄图像进行下采样,得到下采样图像,其中,所述下采样图像的图像大小和所述第一图像大小相同;
所述检测模块902具体用于调用所述全局分类网络对所述下采样图像进行缺陷分类,得到所述检测结果。
在一些实施例中,所述调用缺陷检测模型对所述拍摄图像进行缺陷检测之前,所述获取模块901还用于获取第二训练集,所述第二训练集包括至少一个训练图像;
所述处理模块902,还用于基于所述第二训练集对所述全局分类网络和所述局部检测网络进行训练,以更新所述全局分类网络和所述局部检测网络各自的参数;
其中,所述全局分类网络用于在对所述训练图像进行缺陷分类时获得所述训练图像中的缺陷特征信息,所述局部检测网络用于基于所述训练图像中的缺陷特征信息检测所述训练图像是否存在缺陷。
以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,本申请实施例中图9和图10所示的缺陷检测装置对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。也可以采用软件和硬件结合的形式实现。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
本申请实施例提供一种计算机设备,该计算机设备可以是掌上电脑,其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种缺陷检测方法。
本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中提供的方法中的步骤。
本申请实施例提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述方法实施例提供的方法中的步骤。
本领域技术人员可以理解,图11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的装置可以实现为一种计算机程序的形式,计算机程序可在如图11所示的计算机设备上运行。计算机设备的存储器中可存储组成该采样装置的各个程序模块,比如,图9和图10所示的获取模块、检测模块和处理模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的缺陷检测方法中的步骤。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取待检测样品的拍摄图像;
调用缺陷检测模型对所述拍摄图像进行缺陷检测,得到检测结果;
其中,所述检测结果至少用于指示所述待检测样品是否存在缺陷,所述缺陷检测模型至少包括局部检测网络,所述局部检测网络用于按照预设的第一图像大小对所述拍摄图像进行滑动缺陷检测,得到所述检测结果。
在一个实施例中,所述调用缺陷检测模型对所述拍摄图像进行缺陷检测,得到检测结果包括:
调用所述局部检测网络,按照所述第一图像大小对所述拍摄图像进行滑动拆分,得到至少一个图像块;
对每个所述图像块进行缺陷检测,得到所述检测结果;
其中,若任一个所述图像块中存在缺陷,则所述检测结果用于指示所述待检测样品存在缺陷。
在一个实施例中,所述调用缺陷检测模型对所述拍摄图像进行缺陷检测之前,处理器执行计算机程序时还实现以下步骤:
获取第一训练集,所述第一训练集包括至少一个有缺陷样本图像和至少一个无缺陷样本图像;
基于所述第一训练集,采用随机梯度下降优化算法对所述局部检测网络进行迭代训练,以更新所述局部检测网络的参数;
其中,所述随机梯度下降优化算法包括学习率和权重超参数,在所述迭代训练中每次训练采用的学习率呈线性递减变化趋势,每次训练采用的权重超参数呈递增变化趋势。
在一个实施例中,所述获取第一训练集包括:
获取至少一个有缺陷图像和至少一个无缺陷图像;
对每个所述有缺陷图像进行图像拆分和增强,得到至少一个有缺陷样本图像;
按照预设的第二图像大小对每个所述无缺陷图像进行滑动拆分,得到至少一个无缺陷样本图像。
在一个实施例中,所述缺陷检测模型还包括全局分类网络,所述全局分类网络用于对所述拍摄图像进行缺陷分类,得到所述检测结果,所述检测结果还用于指示所述待检测样品所属的目标缺陷分类。
在一个实施例中,所述调用缺陷检测模型对所述拍摄图像进行缺陷检测,得到检测结果之前,处理器执行计算机程序时还实现以下步骤:
对所述拍摄图像进行下采样,得到下采样图像,其中,所述下采样图像的图像大小和所述第一图像大小相同;
所述调用缺陷检测模型对所述拍摄图像进行缺陷检测,得到检测结果还包括:
调用所述全局分类网络对所述下采样图像进行缺陷分类,得到所述检测结果。
在一个实施例中,所述调用缺陷检测模型对所述拍摄图像进行缺陷检测之前,处理器执行计算机程序时还实现以下步骤:
获取第二训练集,所述第二训练集包括至少一个训练图像;
基于所述第二训练集对所述全局分类网络和所述局部检测网络进行训练,以更新所述全局分类网络和所述局部检测网络各自的参数;
其中,所述全局分类网络用于在对所述训练图像进行缺陷分类时获得所述训练图像中的缺陷特征信息,所述局部检测网络用于基于所述训练图像中的缺陷特征信息检测所述训练图像是否存在缺陷。
这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质、存储介质和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”或“一些实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“在一些实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如对象A和/或对象B,可以表示:单独存在对象A,同时存在对象A和对象B,单独存在对象B这三种情况。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个模块或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或模块的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的模块可以是、或也可以不是物理上分开的,作为模块显示的部件可以是、或也可以不是物理模块;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部模块来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能模块可以全部集成在一个处理单元中,也可以是各模块分别单独作为一个单元,也可以两个或两个以上模块集成在一个单元中;上述集成的模块既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种缺陷检测方法,其特征在于,所述方法包括:
获取待检测样品的拍摄图像;
调用缺陷检测模型对所述拍摄图像进行缺陷检测,得到检测结果;
其中,所述检测结果至少用于指示所述待检测样品是否存在缺陷,所述缺陷检测模型至少包括局部检测网络,所述局部检测网络用于按照预设的第一图像大小对所述拍摄图像进行滑动缺陷检测,得到所述检测结果。
2.根据权利要求1所述的方法,其特征在于,所述调用缺陷检测模型对所述拍摄图像进行缺陷检测,得到检测结果包括:
调用所述局部检测网络,按照所述第一图像大小对所述拍摄图像进行滑动拆分,得到至少一个图像块;
对每个所述图像块进行缺陷检测,得到所述检测结果;
其中,若任一个所述图像块中存在缺陷,则所述检测结果用于指示所述待检测样品存在缺陷。
3.根据权利要求1所述的方法,其特征在于,所述调用缺陷检测模型对所述拍摄图像进行缺陷检测之前,所述方法还包括:
获取第一训练集,所述第一训练集包括至少一个有缺陷样本图像和至少一个无缺陷样本图像;
基于所述第一训练集,采用随机梯度下降优化算法对所述局部检测网络进行迭代训练,以更新所述局部检测网络的参数;
其中,所述随机梯度下降优化算法包括学习率和权重超参数,在所述迭代训练中每次训练采用的学习率呈线性递减变化趋势,每次训练采用的权重超参数呈递增变化趋势。
4.根据权利要求3所述的方法,其特征在于,所述获取第一训练集包括:
获取至少一个有缺陷图像和至少一个无缺陷图像;
对每个所述有缺陷图像进行图像拆分和增强,得到至少一个有缺陷样本图像;
按照预设的第二图像大小对每个所述无缺陷图像进行滑动拆分,得到至少一个无缺陷样本图像。
5.根据权利要求1所述的方法,其特征在于,所述缺陷检测模型还包括全局分类网络,所述全局分类网络用于对所述拍摄图像进行缺陷分类,得到所述检测结果,所述检测结果还用于指示所述待检测样品所属的目标缺陷分类。
6.根据权利要求5所述的方法,其特征在于,所述调用缺陷检测模型对所述拍摄图像进行缺陷检测,得到检测结果之前,所述方法还包括:
对所述拍摄图像进行下采样,得到下采样图像,其中,所述下采样图像的图像大小和所述第一图像大小相同;
所述调用缺陷检测模型对所述拍摄图像进行缺陷检测,得到检测结果还包括:
调用所述全局分类网络对所述下采样图像进行缺陷分类,得到所述检测结果。
7.根据权利要求5所述的方法,其特征在于,所述调用缺陷检测模型对所述拍摄图像进行缺陷检测之前,所述方法还包括:
获取第二训练集,所述第二训练集包括至少一个训练图像;
基于所述第二训练集对所述全局分类网络和所述局部检测网络进行训练,以更新所述全局分类网络和所述局部检测网络各自的参数;
其中,所述全局分类网络用于在对所述训练图像进行缺陷分类时获得所述训练图像中的缺陷特征信息,所述局部检测网络用于基于所述训练图像中的缺陷特征信息检测所述训练图像是否存在缺陷。
8.一种缺陷检测装置,其特征在于,所述装置包括:
获取模块,用于获取待检测样品的拍摄图像;
检测模块,用于调用缺陷检测模型对所述拍摄图像进行缺陷检测,得到检测结果;
其中,所述检测结果至少用于指示所述待检测样品是否存在缺陷,所述缺陷检测模型至少包括局部检测网络,所述局部检测网络用于按照预设的第一图像大小对所述拍摄图像进行滑动缺陷检测,得到所述检测结果。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310454514.3A CN116468706A (zh) | 2023-04-25 | 2023-04-25 | 缺陷检测方法及装置、设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310454514.3A CN116468706A (zh) | 2023-04-25 | 2023-04-25 | 缺陷检测方法及装置、设备、存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116468706A true CN116468706A (zh) | 2023-07-21 |
Family
ID=87178693
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310454514.3A Pending CN116468706A (zh) | 2023-04-25 | 2023-04-25 | 缺陷检测方法及装置、设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116468706A (zh) |
-
2023
- 2023-04-25 CN CN202310454514.3A patent/CN116468706A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111257341B (zh) | 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法 | |
CN110826520A (zh) | 一种基于改进YOLOv3-tiny算法的港口抓斗检测方法 | |
CN112329702B (zh) | 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质 | |
CN111914654B (zh) | 一种文本版面分析方法、装置、设备和介质 | |
CN113869282B (zh) | 人脸识别方法、超分模型训练方法及相关设备 | |
CN111310826B (zh) | 样本集的标注异常检测方法、装置及电子设备 | |
CN109801275B (zh) | 基于图像识别的马铃薯病害检测方法和系统 | |
CN112884782B (zh) | 生物对象分割方法、装置、计算机设备和存储介质 | |
US11619593B2 (en) | Methods and systems for detecting a defect of a film | |
CN114708437B (zh) | 目标检测模型的训练方法、目标检测方法、装置和介质 | |
Zhang et al. | Deep learning based solder joint defect detection on industrial printed circuit board X-ray images | |
CN112926531A (zh) | 特征信息提取方法、模型训练方法、装置及电子设备 | |
CN115496976B (zh) | 多源异构数据融合的视觉处理方法、装置、设备及介质 | |
CN112580660A (zh) | 图像处理方法、装置、计算机设备和可读存储介质 | |
Sahu et al. | Single image dehazing via fusion of multi-level attention network for vision-based measurement applications | |
CN111507288A (zh) | 图像检测方法、装置、计算机设备和存储介质 | |
CN114841974A (zh) | 一种水果内部结构无损检测方法、系统、电子设备及介质 | |
CN113781468A (zh) | 一种基于轻量级卷积神经网络的舌图像分割方法 | |
CN116468706A (zh) | 缺陷检测方法及装置、设备、存储介质 | |
Zou et al. | YOLOv7‐EAS: A Small Target Detection of Camera Module Surface Based on Improved YOLOv7 | |
CN115115552A (zh) | 图像矫正模型训练及图像矫正方法、装置和计算机设备 | |
CN109543565B (zh) | 一种数量确定方法及装置 | |
CN113642353A (zh) | 一种人脸检测模型的训练方法、存储介质及终端设备 | |
CN117576109B (zh) | 一种缺陷检测方法、装置、设备及存储介质 | |
CN116934733B (zh) | 一种芯片的可靠性测试方法及测试系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |