CN112926437A - 检测方法及装置、检测设备和存储介质 - Google Patents
检测方法及装置、检测设备和存储介质 Download PDFInfo
- Publication number
- CN112926437A CN112926437A CN202110198406.5A CN202110198406A CN112926437A CN 112926437 A CN112926437 A CN 112926437A CN 202110198406 A CN202110198406 A CN 202110198406A CN 112926437 A CN112926437 A CN 112926437A
- Authority
- CN
- China
- Prior art keywords
- classification model
- image
- classification
- template
- template images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 95
- 238000013145 classification model Methods 0.000 claims abstract description 145
- 238000012549 training Methods 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 22
- 230000003321 amplification Effects 0.000 claims description 20
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 20
- 238000013519 translation Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 10
- 238000010008 shearing Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 14
- 235000012431 wafers Nutrition 0.000 description 34
- 238000004422 calculation algorithm Methods 0.000 description 7
- 239000003292 glue Substances 0.000 description 7
- 230000007547 defect Effects 0.000 description 5
- 238000012372 quality testing Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 230000003647 oxidation Effects 0.000 description 2
- 238000007254 oxidation reaction Methods 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
一种检测方法、检测装置、检测设备和非易失性计算机可读存储介质。检测方法包括获取多个具有特征点的模板图像；依据特征点的类型对模板图像进行分类，以确定模板图像的类型；将分类前的多个所述模板图像和分类后的多个所述模板图像作为第一集，输入到分类模型进行训练，以获取训练至收敛的所述分类模型；及依据收敛后的所述分类模型检测待检件的图像的最终类型。通过训练后的分类模型检测待检件的图像时，在检测特征点时受到图像背景的影响较小，能够准确地识别待检件的特征点和背景图像的噪声，以判断待检件的最终类型，从而能够提升检测效果。
Description
技术领域
本申请涉及检测技术领域，特别涉及一种检测方法、检测装置、检测设备和非易失性计算机可读存储介质。
背景技术
目前，基于模板匹配的缺陷检测算法在检测背景复杂的工件的图像时，由于工件的背景本身可能存在与缺陷类似的图像，模板匹配算法无法准确的区分，使得原本不具有缺陷的工件，被识别为存在缺陷，检测效果较差。
发明内容
本申请提供了一种检测方法、检测装置、检测设备和非易失性计算机可读存储介质。
本申请实施方式的检测方法包括获取多个具有特征点的模板图像；依据所述特征点的类型对所述模板图像进行分类，以确定所述模板图像的类型；将分类前的多个所述模板图像和分类后的多个所述模板图像作为第一集，输入到分类模型进行训练，以获取训练至收敛的所述分类模型；及依据收敛后的所述分类模型检测待检件的图像的最终类型。
本申请实施方式的检测装置包括获取模块、分类模块、训练模块和检测模块。所述获取块用于获取多个具有特征点的模板图像；所述分类模块用于依据所述特征点的类型对所述模板图像进行分类，以确定所述模板图像的类型；所述训练模块用于将分类前的多个所述模板图像和分类后的多个所述模板图像作为第一集，输入到分类模型进行训练，以获取训练至收敛的所述分类模型；及检测模块用于依据收敛后的所述分类模型检测待检件的图像的最终类型。
本申请实施方式的检测设备包括处理器。所述处理器用于获取多个具有特征点的模板图像；依据所述特征点的类型对所述模板图像进行分类，以确定所述模板图像的类型；将分类前的多个所述模板图像和分类后的多个所述模板图像作为第一集，输入到分类模型进行训练，以获取训练至收敛的所述分类模型；及依据收敛后的所述分类模型检测待检件的图像的最终类型。
本申请实施方式的一种包含计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，使得所述处理器执行所述检测方法。所述检测方法包括获取多个具有特征点的模板图像；依据所述特征点的类型对所述模板图像进行分类，以确定所述模板图像的类型；将分类前的多个所述模板图像和分类后的多个所述模板图像作为第一集，输入到分类模型进行训练，以获取训练至收敛的所述分类模型；及依据收敛后的所述分类模型检测待检件的图像的最终类型。
本申请的检测方法、检测装置、检测设备和非易失性计算机可读存储介质，通过对具有特征点的模板图像进行特征点分类后，再输入分类模型进行训练，从而得到训练至收敛的分类模型，相较于通过匹配算法检测特征点时，一般通过灰度的模板图像进行匹配，受到待检件的背景图像的影响较大而言，通过训练后的分类模型检测待检件的图像时，在检测特征点时受到图像背景的影响较小，能够准确地识别待检件的特征点和背景图像的噪声，以判断待检件的最终类型，从而能够提升检测效果。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
为了更清楚地说明本申请实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以依据这些附图获得其他的附图。
图1是本申请某些实施方式的检测方法的流程示意图；
图2是本申请某些实施方式的检测装置的模块示意图；
图3是本申请某些实施方式的检测设备的平面示意图；
图4是本申请某些实施方式的检测方法的流程示意图；
图5至图9是本申请某些实施方式的检测方法的原理示意图；
图10至图13是本申请某些实施方式的检测方法的流程示意图；及
图14是本申请某些实施方式的处理器和计算机可读存储介质的连接示意图。
具体实施方式
以下结合附图对本申请的实施方式作进一步说明。附图中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。另外，下面结合附图描述的本申请的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的限制。
请参阅图1至图3，本申请实施方式的检测方法包括以下步骤：
011：获取多个具有特征点的模板图像；
012：依据特征点的类型对模板图像进行分类，以确定模板图像的类型；
013：将分类前的多个模板图像和分类后的多个模板图像作为第一集，输入到分类模型进行训练，以获取训练至收敛的分类模型；及
014：依据收敛后的分类模型检测待检件的图像的最终类型。
本申请实施方式的检测装置10包括获取模块11、分类模块12、训练模块13和检测模块14。获取模块11用于获取多个具有特征点的模板图像；分类模块12用于依据特征点的类型对模板图像进行分类，以确定模板图像的类型；训练模块13用于将分类前的多个模板图像和分类后的多个模板图像作为第一集，输入到分类模型进行训练，以获取训练至收敛的分类模型；检测模块14用于依据收敛后的分类模型检测待检件的图像的最终类型。也即是说，步骤011可以由获取模块11实现、步骤012可以由分类模块12执行、步骤013可以由训练模块13执行和步骤014可以由检测模块14执行。
本申请实施方式的检测设备100包括处理器20。处理器20用于：获取多个具有特征点的模板图像；依据特征点的类型对模板图像进行分类，以确定模板图像的类型；将分类前的多个模板图像和分类后的多个模板图像作为第一集，输入到分类模型进行训练，以获取训练至收敛的分类模型；及依据收敛后的分类模型检测待检件的图像的最终类型。也即是说，步骤011、步骤012、步骤013和步骤014可以由处理器20执行。
具体地，检测设备100可以是测量机。可以理解，检测设备100的具体形式并不限于测量机，还可以是任意能够对待检件200进行检测的设备。
检测设备100包括处理器20、运动平台30和传感器40。处理器20和传感器40均可设置在运动平台30。运动平台30可用于承载待检件200，运动平台30移动以带动传感器40移动，以使得传感器40采集待检件200的信息。
例如，运动平台30包括XY运动平台31和Z运动平台32，传感器40设置在运动平台30上，具体为：传感器40设置在Z运动平台32，其中，XY运动平台31用于控制待检件200沿水平面移动，改变待检件200和传感器40在水平面的相对位置，Z运动平台32用于控制传感器40沿垂直水平面的方向移动，如此，通过XY运动平台31和Z运动平台32配合实现传感器40相对待检件200的三维位置(即，在水平面的相对位置和垂直水平面方向的相对位置)。
可以理解，运动平台30并不限于上述结构，只需能够改变传感器40相对待检件200的三维位置即可。
传感器40可以是一个或多个，多个传感器40可以是不同类型的传感器40，如传感器40可包括可见光摄像头、深度摄像头等。本实施方式中，传感器40为可见光摄像头。
在获取具有特征点的工件的模板图像时，可将预先已经检测的、具有特征点的工件放置在运动平台30，处理器20则控制运动平台30移动，以使得传感器40拍摄工件的原始图像，以作为模板图像。
拍摄原始图像时，处理器20可依据传感器40的视场范围，调整传感器40与工件之间的距离，以使得工件位于视场范围内，从而通过拍摄一次图像即可得到整个工件的原始图像；或者，可使得传感器40每次拍摄时，视场范围仅覆盖工件的部分区域，通过移动拍摄工件的不同区域，以得到多张原始图像，然后将多张原始图像合成以得到整个工件的原始图像。
在选取拍摄原始图像的工件时，选取的多个工件的特征点的类型互不相同，从而使得训练后得到的分类模型能够检测具有不同类型的特征点的工件。本实施方式以工件均为晶圆为例进行说明，特征点指的是晶圆的缺陷，如外来物、残胶、氧化、气泡、褶皱、破裂等。
例如，每个工件只有一种类型的特征点，不同的工件的特征点的类型互不相同。如选取了晶圆A、晶圆B、晶圆C、晶圆D、晶圆E和晶圆F，则晶圆A至F具有的特征点的类型不同，如晶圆A具有外来物的特征点，晶圆B具有残胶的特征点，晶圆C具有氧化的特征点，晶圆D具有气泡的特征点，晶圆E具有褶皱的特征点，晶圆F具有破裂的特征点，从而使得模板图像具有不同类型的特征点的，可提升模板图像的多样性，从而提升训练效果。
再例如，每个工件具有多种类型的特征点，不同的工件的特征点的类型至少部分不同。如选取了晶圆A、晶圆B和晶圆C，则晶圆A至C具有的特征点的类型至少部分不同，如晶圆A具有外来物和残胶的特征点，晶圆B具有残胶、氧化、气泡的特征点，晶圆C具有褶皱和破裂的特征点，从而使得模板图像可包含不同类型的特征点，在提升模板图像的多样性的同时，使得训练后的分类模型能够提升对具有不同类型的特征点的待检件200的图像的检测效果。
另外，为了提升训练效果，在选取晶圆时，可选取晶圆图案、或者晶圆背景图案互不相同的多个晶圆，每种类型的特征点可对应多个晶圆，多个晶圆的背景图案互不相同，从而每种类型的特征点均具有多个图像背景互不相同的模板图像，以提升模板图像的多样性，提升训练效果的同时，还可减少训练后的分类模型受到图像背景的影响，使得分类模型即使在不同图像背景下，依旧能够准确的进行特征点检测，从而识别图像的最终类型。
可以理解，不同类型的工件，出现特征点概率最大的区域是不同的。因此，在获取模板图像时，可截取原始图像中，预定区域的部分以作为模板图像，预定区域即为当前工件出现特征点概率最大的区域，从而保证模板图像尺寸较小以降低计算量。
在一个例子中，工件为晶圆，预定区域一般为晶圆的中心区域，如中心区域为以晶圆中心为圆心，半径为预定半径的圆形区域，预定半径可依据晶圆的半径确定，如预定半径为晶圆的半径的60％、70％、75％、80％、90％等。因此，在拍摄并获取到晶圆的原始图像后，可截取原始图像中与中心区域对应的图像，从而得到模板图像。
在得到模板图像后，可对模板图像中的特征点预先进行分类。例如，质检人员依据经验，对模板图像中的特征点进行分类。如分类出模板图像中特征点的类型，从而确定模板图像的类型。例如，质检人员依据经验识别到模板图像的特征点均为外来物特征点，则可确定当前模板图像的类型为外来物模板；或者质检人员依据经验识别到模板图像的特征点均为残胶特征点，则可确定当前模板图像的类型为残胶模板。
在质检人员依据经验识别到模板图像的特征点同时包括外来物和残胶时，可根据外来物和残胶分别对应的特征点的数量，确定当前模板图像的类型，如以数量最多的特征点的类型为当前模板图像的类型，若不同类型的特征点的数量相同，则以所占面积较大的特征点的类型作为当前模板图像的类型，从而准确地对模板图像进行分类。
或者，处理器20基于预设的匹配算法，首先对模板图像的特征点进行检测，然后由质检人员进行确定，以分类特征点的类型，处理器20根据特征点的类型和数量确定的当前模板图像的类型，如处理器以数量最多的特征点的类型为当前模板图像的类型，从而进一步提升模板图像的种类，提升训练效果。
处理器20可获取分类后的多个模板图像，然后处理器20将分类前的多个模板图像和分类后的多个模板图像作为第一集，输入到分类模型中进行训练，直至分类模型收敛，由于经过分类后的模板图像的类型较为准确，可提升分类模型的检测效果。
其中，分类模型可以基于卷积神经网络模型(Convolutional Neural Networks，CNN)。当然，分类模型还可以基于其他深度学习模型，如局部卷积神经网络模型等，在此不作限制。
经过第一集训练并调整后的分类模型能够准确检测预设的第二集的验证图像的最终类型时，则可认为分类模型收敛。
最后，处理器20依据收敛后的分类模型，在传感器40拍摄到待检件200的图像后，对待检件200的图像进行检测，以识别待检件200的图像的最终类型。
本申请的检测方法、检测装置10和检测设备100，通过对具有特征点的模板图像进行特征点分类后，再输入分类模型进行训练，从而得到训练至收敛的分类模型，相较于通过匹配算法检测特征点时，一般通过灰度的模板图像进行匹配，受到待检件的背景图像的影响较大而言，通过训练后的分类模型检测待检件的图像时，在检测特征点时受到图像背景的影响较小，能够准确地识别待检件的特征点和背景图像的噪声，以判断待检件的最终类型，从而能够提升检测效果。另外，相较于匹配算法会产生过检，故需要质检人员对进行确认，造成大量人力的浪费而言，训练后的分类模型能够准确地检出待检件200的图像的最终类型，无需再次进行人工确认，可节省大量的人力，且避免了质检人员疲劳导致的检测准确性差的问题。
请参阅2、图3和图4，在某些实施方式中，在步骤013之前，检测算法还包括：
015：对多个模板图像进行扩增处理，扩增处理包括镜像、平移、旋转、剪切和变形中至少一种。
在某些实施方式中，检测装置10还包括扩增模块15。扩增模块15用于对多个模板图像进行扩增处理，扩增处理包括镜像、平移、旋转、剪切和变形中至少一种。也即是说，步骤015可以由扩增模块15执行。
在某些实施方式中，处理器20还用于对多个模板图像进行扩增处理，扩增处理包括镜像、平移、旋转、剪切和变形中至少一种。也即是说，步骤015可以由处理器20执行。
具体地，为了进一步提升模板图像的数量和多样性，处理器20可对依据原始图像得到的模板图像进行扩增处理。
请参阅图5，例如，处理器20对每个模板图像P1进行镜像处理，以得到每个模板图像P1的镜像图像P2，并作为新的模板图像P1。镜像处理后的镜像图像P2和模板图像P1镜面对称，且对称轴可以是任意的，如以模板图像P1的任一边为对称轴进行镜像处理(图5则以模板图像P1的最右侧的边作为对称轴进行镜像处理)，或者以模板图像P1的对角线或任意两边中点的连线为对称轴进行镜像处理等，从而通过镜像处理得到多个新的模板图像。
请参阅图6，再例如，处理器20对每个模板图像P1进行平移处理，以得到每个模板图像P1的平移图像P3，并作为新的模板图像P1。具体首先以模板图像P1确定预定的图像区域(即，模板图像P1所占的区域)，然后对模板图像P1进行平移，如左平移、右平移、左上平移等(图6中为向右平移)，然后将预定的图像区域的图像(即，平移图像P3)作为新的模板图像P1，平移后的特征点在图像中的位置发生变化，从而得到多个新的模板图像P1。
请参阅图7，再例如，处理器20对每个模板图像P1进行旋转处理，以得到每个模板图像P1的旋转图像P4，并作为新的模板图像P1。具体首先以模板图像P1确定预定的图像区域，然后对模板图像P1进行旋转，如顺时针或逆时针旋转10度、30度、60度、90度、140度等(图7为逆时针旋转30度)，然后将预定的图像区域的图像(及，旋转图像P4)作为新的模板图像P1，旋转后的特征点在图像中的位置发生变化，从而得到多个新的模板图像P1。
请参阅图8，再例如，处理器20对每个模板图像P1进行剪切处理，以得到每个模板图像的剪切图像P5，并作为新的模板图像P1。具体首先以模板图像P1确定预定的图像区域，然后对模板图像P1进行剪切，如剪切模板图像P1的1/4、1/3、1/2等(图8为剪切模板图像的1/2)，然后将预定的图像区域的图像(即剪切图像P5)作为新的模板图像P1，从而得到多个新的模板图像P1。
请参阅图9，再例如，处理器20对每个模板图像P1进行变形处理，以得到每个模板图像P1的变形图像P6，并作为新的模板图像P1。具体首先以模板图像P1确定预定的图像区域，然后对模板图像P1进行变形，如对模板图像沿横向进行压缩，使得原本矩形的模板图像P1变为带缺口的矩形，然后将预定的图像区域的图像(即变形图像P6)作为新的模板图像P1，变形后的特征点在图像中的位置和形状均发生变化，从而得到多个新的模板图像P1。
当然，处理器20还可同时对模板图像进行平移处理和旋转处理；或者同时进行平移处理、旋转处理和镜像处理；或者同时进行平移处理、旋转处理、镜像处理和剪切处理；或者，同时进行平移处理、旋转处理和镜像处理，且平移处理、旋转处理和镜像处理分别以不同的距离、不同的角度和不同的对称轴分别进行多次等，在此不再一一列举。
通过对模板图像进行扩增处理，无需获取较多原始图像即可获取大量的模板图像且模板图像的多样性较好，可提升对分类模型的训练效果。
请参阅图2、图3和图10，在某些实施方式中，步骤013包括：
0131：输入分类前的模板图像至分类模型，以输出检测结果；
0132：将检测结果与分类后的模板图像进行比对以确定第一调整值；及
0133：依据第一调整值调整分类模型，以使得分类模型收敛。
在某些实施方式中，训练模块13还用于输入分类前的模板图像至分类模型，以输出检测结果；将检测结果与分类后的模板图像进行比对以确定第一调整值；及依据第一调整值调整分类模型，以使得分类模型收敛。也即是说，步骤0131至步骤0133可以由训练模块13执行。
在某些实施方式中，处理器20还用于输入分类前的模板图像至分类模型，以输出检测结果；将检测结果与分类后的模板图像进行比对以确定第一调整值；及依据第一调整值调整分类模型，以使得分类模型收敛。也即是说，步骤0131至步骤0133可以由处理器20执行。
具体地，在训练时，首先输入分类前的模板图像到分类模型，然后分类模型会输出检测结果，检测结果包括模板图像的类型和置信度，然后将检测结果和分类后的模板图像进行对比，如对比检测结果和分类后的模板图像的类型及置信度的差异，从而确定第一调整值；处理器20依据第一调整值调整分类模型，以使得分类模型收敛。
例如，在确定第一调整值时，检测结果可包括分类前的模板图像的每个特征点的类型和对应的置信度，可将检测结果中每个特征点的类型和置信度、和分类后的模板图像中对应位置的特征点的类型和置信度进行比对，以确定第一调整值。
例如，处理器20可根据检测结果中的置信度最大的特征点的类型和置信度、和分类后的模板图像中对应位置的特征点的类型和置信度确定第一调整值，第一调整值可包括类型调整值和置信度调整值，若置信度最大的特征点的类型和分类后的模板图像中对应的特征点的类型相同，则确定类型调整值为0；若置信度最大的特征点的类型和分类后的模板图像中对应的特征点的类型不相同，则确定类型调整值为1；处理器20可依据若置信度最大的特征点的置信度和分类后的模板图像中对应的特征点的置信度的差值，确定置信度调整值，置信度差值越大，则置信度调整值越大。
请参阅图2、图3和图11，在某些实施方式中，0133包括：
01331：对第一集进行变换处理以得到第二集；
01332：输入第二集到调整后分类模型，以输出第二调整值；
01333：在第二调整值小于预设阈值时，确定分类模型收敛；
01334：在第二调整值大于预设阈值时，将第二集作为第一集，再次训练分类模型，直至分类模型收敛。
在某些实施方式中，训练模块13还用于对第一集进行变换处理以得到第二集；输入第二集到调整后的分类模型，以输出第二调整值；在第二调整值小于预设阈值时，确定分类模型收敛；在第二调整值大于预设阈值时，将第二集作为第一集，再次训练分类模型，直至分类模型收敛。也即是说，步骤01331至步骤01334可以由训练模块13执行。
在某些实施方式中，处理器20还用于对第一集进行变换处理以得到第二集；输入第二集到调整后分类模型，以输出第二调整值；在第二调整值小于预设阈值时，确定分类模型收敛；在第二调整值大于预设阈值时，将第二集作为第一集，再次训练分类模型，直至分类模型收敛。也即是说，也即是说，步骤01331至步骤01334可以由处理器20执行。
具体地，在依据第一调整值调整分类模型后，需要确定分类模型是否收敛，此时可对第一集进行变换处理以得到第二集，变换处理可以是对模板图像进行平移、旋转、镜像、剪切和变形中至少一种，具体变换过程可参考扩增处理，在此不再赘述。变换处理后即可得到新的模板图像，将每个模板图像均进行变换处理后，即可得到由多张新的模板图像形成的第二集。第二集包括每个变换后的模板图像，其中，对于分类前后对应的模板图像则进行相同的变换处理，以使得其在第二集中依旧对应。第二集中的模板图像与第一集中的模板图像均不相同，从而使得第二集能够准确验证分类模型是否收敛。
输入第二集到分类模型后，分类模型输出第二调整值，此时处理器20判断第二调整值是否大于预设阈值。若第二调整值小于或等于预设阈值，则说明检测的损失较小，检测准确性已达到要求，可确定分类模型已收敛。
若第二调整值大于预设阈值，则说明检测的损失过大，检测准确性依旧未达到要求，此时可确定分类模型未收敛，需要继续训练。此时则以第二集作为第一集，并可以再次对第一集进行扩增处理以增加第一集的模板图像的数量和多样性，再次对分类模型进行第二轮训练，在训练后，再次通过对第一集进行变换处理以得到第二集，再次验证分类模型是否收敛，在未收敛时，继续以第二集作为第一集并进行扩增处理，再次对分类模型进行第三轮训练，如此循环，直至训练后的分类模型收敛。
请参阅图2、图3和图12，在某些实施方式中，0133包括：
01335：输入预设的第二集到分类模型，以输出第三调整值，第二集与第一集的图像不同；
01336：在第三调整值小于预设阈值时，确定分类模型收敛；
01337：在第三调整值大于预设阈值时，对第一集进行变换处理，并依据变换处理后的第一集再次训练分类模型，直至分类模型收敛。
在某些实施方式中，训练模块13还用于输入预设的第二集到分类模型，以输出第三调整值，第二集与第一集的图像不同；在第三调整值小于预设阈值时，确定分类模型收敛；在第三调整值大于预设阈值时，对第一集进行变换处理，并依据变换处理后的第一集再次训练分类模型，直至分类模型收敛。也即是说，步骤01335至步骤01337可以由训练模块13执行。
在某些实施方式中，处理器20还用于输入预设的第二集到分类模型，以输出第三调整值，第二集与第一集的图像不同；在第三调整值小于预设阈值时，确定分类模型收敛；在第三调整值大于预设阈值时，对第一集进行变换处理，并依据变换处理后的第一集再次训练分类模型，直至分类模型收敛。也即是说，也即是说，步骤01335至步骤01337可以由处理器20执行。
具体地，在依据第一调整值调整分类模型后，需要确定分类模型是否收敛。此时处理器20可先获取预设的第二集，第二集中的图像与第一集中的模板图像均不相同，从而使得第二集能够准确验证分类模型是否收敛。
然后处理器20输入预设的第二集到分类模型后，分类模型输出第三调整值，此时处理器20判断第三调整值是否大于预设阈值。若第三调整值小于预设阈值，则说明检测的损失较小，检测准确性已达到要求，可确定分类模型已收敛。
若第三调整值大于预设阈值，则说明检测的损失过大，检测准确性依旧未达到要求，此时可确定分类模型未收敛，需要继续训练。其中，预设阈值可设置的较小，以使得分类模型对第二集的检测精度达到99％、99.5％、99.8％甚至更高。
此时可再次对第一集进行扩增处理以增加第一集的模板图像的数量和多样性，再次对分类模型进行第二轮训练，在训练后，再次通过预设的第二集验证分类模型是否收敛，在未收敛时，继续对第一集进行扩增处理，再次对分类模型进行第三轮训练，如此循环，直至训练后的分类模型收敛。
请参阅图2、图3和图13，在某些实施方式中，步骤014包括：
0141：依据收敛后的分类模型检测待检件200的图像，以确定待检件200的图像的类型及置信度；
0142：确定最大的置信度对应的待检件200的图像的类型为待检件200的图像的最终类型。
在某些实施方式中，检测模块14还用于依据收敛后的分类模型检测待检件200的图像，以确定待检件200的图像的类型及置信度；确定最大的置信度对应的待检件200的图像的类型为待检件200的图像的最终类型。也即是说，步骤0141和步骤0142可以由检测模块14执行。
在某些实施方式中，处理器20还用于依据收敛后的分类模型检测待检件200的图像，以确定待检件200的图像的类型及置信度；确定最大的置信度对应的待检件200的图像的类型为待检件200的图像的最终类型。也即是说，步骤0141和步骤0142可以由处理器20执行。
具体地，在分类模型训练完成后，检测设备100通过传感器40获取到待检件200的图像，然后处理器20根据分类模型检测待检件200的图像，以确定待检件200的图像的类型和置信度。当置信度大于当前类型对应的置信度阈值时，则可确定待检件200的图像的类型检测准确，从而输出当前待检件200的图像的类型。
其中，置信度阈值与类型对应，不同类型对应不同的置信度阈值，从而针对性的提升类型的检测准确性，且本申请的分类模型为端到端模型，端到端模型仅使用一个模型、一个目标函数，相较于多模块模型训练目标可能存在细微差异导致的训练效果难以达到最优，且不同模块之间的误差会相互影响，影响最终的检测准确性而言，端到端模型的实施和维护均较简单，且能够使得训练后的模型达到最优效果，检测效果较好且工程复杂度较低。
可以理解，当待检件200包括多种类型的特征点时，检测的待检件200的图像的类型可能为多个，因此，处理器20可确定最大的置信度对应的类型为待检件200的图像的最终类型，从而准确地确定当前待检件200的图像的最终类型。且由于仅检测待检件200的图像的类型，检测速度较高。
请参阅图14，本申请实施方式的一个或多个包含计算机程序302的非易失性计算机可读存储介质300，当计算机程序302被一个或多个处理器20执行时，使得处理器20可执行上述任一实施方式的标定方法。
例如，请结合图1至图3，当计算机程序302被一个或多个处理器20执行时，使得处理器20执行以下步骤：
011：获取多个具有特征点的模板图像；
012：依据特征点的类型对模板图像进行分类，以确定模板图像的类型；
013：将分类前的多个模板图像和分类后的多个模板图像作为第一集，输入到分类模型进行训练，以获取训练至收敛的分类模型；及
014：依据收敛后的分类模型检测待检件的图像的最终类型。
再例如，请结合图2、图3和图4，当计算机程序302被一个或多个处理器20执行时，处理器20还可以执行以下步骤：
015：对多个模板图像进行扩增处理，扩增处理包括镜像、平移、旋转、剪切和变形中至少一种。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施方式或示例以及不同实施方式或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括依据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施方式所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (11)
1.一种检测方法，其特征在于，包括：
获取多个具有特征点的模板图像；
依据所述特征点的类型对所述模板图像进行分类，以确定所述模板图像的类型；
将分类前的多个所述模板图像和分类后的多个所述模板图像作为第一集，输入到分类模型进行训练，以获取训练至收敛的所述分类模型；及
依据收敛后的所述分类模型检测待检件的图像的最终类型。
2.根据权利要求1所述的检测方法，其特征在于，特征点的类型相同的多个所述模板图像的图像背景互不相同。
3.根据权利要求1所述的检测方法，其特征在于，所述获取多个具有特征点的模板图像，包括：
获取多个具有所述特征点的工件的多个原始图像；及
获取多个所述原始图像中包含所述特征点的预定区域的图像，以作为所述模板图像。
4.根据权利要求1所述的检测方法，其特征在于，在所述将分类前的多个所述模板图像和分类后的多个所述模板图像作为第一集，输入到分类模型进行训练，以获取训练至收敛的所述分类模型之前，还包括：
对多个所述模板图像进行扩增处理，所述扩增处理包括镜像、平移、旋转、剪切和变形中至少一种。
5.根据权利要求1所述的检测方法，其特征在于，所述将分类前的多个所述模板图像和分类后的多个所述模板图像作为第一集，输入到分类模型进行训练，以获取训练至收敛的所述分类模型，包括：
输入分类前的所述模板图像至所述分类模型，以输出检测结果；
将所述检测结果与分类后的所述模板图像进行比对以确定第一调整值；及
依据所述第一调整值调整所述分类模型，以使得分类模型收敛。
6.根据权利要求5所述的检测方法，其特征在于，所述依据所述第一调整值调整所述分类模型，以使得分类模型收敛，包括：
对所述第一集进行变换处理以得到第二集；
输入所述第二集到调整后所述分类模型，以输出第二调整值；
在所述第二调整值小于预设阈值时，确定所述分类模型收敛；
在所述第二调整值大于所述预设阈值时，将所述第二集作为所述第一集，再次训练所述分类模型，直至所述分类模型收敛。
7.根据权利要求5所述的检测方法，其特征在于，所述依据所述第一调整值调整所述分类模型，以使得分类模型收敛，包括：
输入预设的第二集到所述分类模型，以输出第三调整值，所述第二集与所述第一集的图像不同；
在所述第三调整值小于预设阈值时，确定所述分类模型收敛；
在所述第三调整值大于所述预设阈值时，对所述第一集进行变换处理，并依据变换处理后的所述第一集再次训练所述分类模型，直至所述分类模型收敛。
8.根据权利要求5所述的检测方法，其特征在于，所述依据收敛后的所述分类模型检测待检件的图像的最终类型，包括：
依据收敛后的所述分类模型检测所述待检件的图像，以确定所述待检件的图像的类型及置信度；
确定最大的置信度对应的所述待检件的图像的类型为所述待检件的图像的最终类型。
9.一种检测装置，其特征在于，包括：
获取模块，用于获取多个具有特征点的模板图像；
分类模块，用于依据所述特征点的类型对所述模板图像进行分类，以确定所述模板图像的类型；
训练模块，用于将分类前的多个所述模板图像和分类后的多个所述模板图像作为第一集，输入到分类模型进行训练，以获取训练至收敛的所述分类模型；及
检测模块，用于依据收敛后的所述分类模型检测待检件的图像的最终类型。
10.一种检测设备，其特征在于，包括处理器，所述处理器用于：
获取多个具有特征点的模板图像；
依据所述特征点的类型对所述模板图像进行分类，以确定所述模板图像的类型；
将分类前的多个所述模板图像和分类后的多个所述模板图像作为第一集，输入到分类模型进行训练，以获取训练至收敛的所述分类模型；及
依据收敛后的所述分类模型检测待检件的图像的最终类型。
11.一种包含计算机程序的非易失性计算机可读存储介质，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1-8任意一项所述的检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110198406.5A CN112926437B (zh) | 2021-02-22 | 2021-02-22 | 检测方法及装置、检测设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110198406.5A CN112926437B (zh) | 2021-02-22 | 2021-02-22 | 检测方法及装置、检测设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112926437A true CN112926437A (zh) | 2021-06-08 |
| CN112926437B CN112926437B (zh) | 2024-06-11 |
Family
ID=76170279
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110198406.5A Active CN112926437B (zh) | 2021-02-22 | 2021-02-22 | 检测方法及装置、检测设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112926437B (zh) |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120027288A1 (en) * | 2010-07-29 | 2012-02-02 | Chang Yuan | Methods, Systems and Apparatus for Defect Detection |
| US9739728B1 (en) * | 2016-06-20 | 2017-08-22 | International Business Machines Corporation | Automatic defect detection and classification for high throughput electron channeling contrast imaging |
| CN107543828A (zh) * | 2017-08-25 | 2018-01-05 | 广东工业大学 | 一种工件表面缺陷检测方法及系统 |
| CN109147254A (zh) * | 2018-07-18 | 2019-01-04 | 武汉大学 | 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法 |
| CN109583489A (zh) * | 2018-11-22 | 2019-04-05 | 中国科学院自动化研究所 | 缺陷分类识别方法、装置、计算机设备和存储介质 |
| US20190130230A1 (en) * | 2017-10-26 | 2019-05-02 | Samsung Sds Co., Ltd. | Machine learning-based object detection method and apparatus |
| CN109829483A (zh) * | 2019-01-07 | 2019-05-31 | 鲁班嫡系机器人（深圳）有限公司 | 缺陷识别模型训练方法、装置、计算机设备和存储介质 |
| KR20190111644A (ko) * | 2018-03-23 | 2019-10-02 | (주)브릭 | 반복 패턴 영상의 결함 유형 분류 장치 및 방법 |
| US20190333208A1 (en) * | 2018-04-25 | 2019-10-31 | Applied Materials Israel, Ltd. | Method of defect classification and system thereof |
| CN110659646A (zh) * | 2019-08-21 | 2020-01-07 | 北京三快在线科技有限公司 | 一种多任务证件图像自动处理方法、装置、设备及可读存储介质 |
| CN111160406A (zh) * | 2019-12-10 | 2020-05-15 | 北京达佳互联信息技术有限公司 | 图像分类模型的训练方法、图像分类方法及装置 |
| CN111310800A (zh) * | 2020-01-20 | 2020-06-19 | 世纪龙信息网络有限责任公司 | 图像分类模型生成方法、装置、计算机设备和存储介质 |
| CN111368792A (zh) * | 2020-03-18 | 2020-07-03 | 北京奇艺世纪科技有限公司 | 特征点标注模型训练方法、装置、电子设备及存储介质 |
| CN111640091A (zh) * | 2020-05-14 | 2020-09-08 | 阿丘机器人科技(苏州)有限公司 | 产品缺陷的检测方法及计算机存储介质 |
| CN111652861A (zh) * | 2020-05-27 | 2020-09-11 | 贵州省煤矿设计研究院有限公司 | 一种基于深度学习技术的煤的破坏类型快速识别方法及装置 |
| CN111680746A (zh) * | 2020-06-08 | 2020-09-18 | 平安科技（深圳）有限公司 | 车损检测模型训练、车损检测方法、装置、设备及介质 |
| CN112001902A (zh) * | 2020-08-19 | 2020-11-27 | 上海商汤智能科技有限公司 | 缺陷检测方法和相关装置、设备、存储介质 |
-
2021
- 2021-02-22 CN CN202110198406.5A patent/CN112926437B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120027288A1 (en) * | 2010-07-29 | 2012-02-02 | Chang Yuan | Methods, Systems and Apparatus for Defect Detection |
| US9739728B1 (en) * | 2016-06-20 | 2017-08-22 | International Business Machines Corporation | Automatic defect detection and classification for high throughput electron channeling contrast imaging |
| CN107543828A (zh) * | 2017-08-25 | 2018-01-05 | 广东工业大学 | 一种工件表面缺陷检测方法及系统 |
| US20190130230A1 (en) * | 2017-10-26 | 2019-05-02 | Samsung Sds Co., Ltd. | Machine learning-based object detection method and apparatus |
| KR20190111644A (ko) * | 2018-03-23 | 2019-10-02 | (주)브릭 | 반복 패턴 영상의 결함 유형 분류 장치 및 방법 |
| US20190333208A1 (en) * | 2018-04-25 | 2019-10-31 | Applied Materials Israel, Ltd. | Method of defect classification and system thereof |
| CN109147254A (zh) * | 2018-07-18 | 2019-01-04 | 武汉大学 | 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法 |
| CN109583489A (zh) * | 2018-11-22 | 2019-04-05 | 中国科学院自动化研究所 | 缺陷分类识别方法、装置、计算机设备和存储介质 |
| CN109829483A (zh) * | 2019-01-07 | 2019-05-31 | 鲁班嫡系机器人（深圳）有限公司 | 缺陷识别模型训练方法、装置、计算机设备和存储介质 |
| CN110659646A (zh) * | 2019-08-21 | 2020-01-07 | 北京三快在线科技有限公司 | 一种多任务证件图像自动处理方法、装置、设备及可读存储介质 |
| CN111160406A (zh) * | 2019-12-10 | 2020-05-15 | 北京达佳互联信息技术有限公司 | 图像分类模型的训练方法、图像分类方法及装置 |
| CN111310800A (zh) * | 2020-01-20 | 2020-06-19 | 世纪龙信息网络有限责任公司 | 图像分类模型生成方法、装置、计算机设备和存储介质 |
| CN111368792A (zh) * | 2020-03-18 | 2020-07-03 | 北京奇艺世纪科技有限公司 | 特征点标注模型训练方法、装置、电子设备及存储介质 |
| CN111640091A (zh) * | 2020-05-14 | 2020-09-08 | 阿丘机器人科技(苏州)有限公司 | 产品缺陷的检测方法及计算机存储介质 |
| CN111652861A (zh) * | 2020-05-27 | 2020-09-11 | 贵州省煤矿设计研究院有限公司 | 一种基于深度学习技术的煤的破坏类型快速识别方法及装置 |
| CN111680746A (zh) * | 2020-06-08 | 2020-09-18 | 平安科技（深圳）有限公司 | 车损检测模型训练、车损检测方法、装置、设备及介质 |
| CN112001902A (zh) * | 2020-08-19 | 2020-11-27 | 上海商汤智能科技有限公司 | 缺陷检测方法和相关装置、设备、存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 彭煜;肖书浩;阮金华;汤勃;: "基于Faster R-CNN的刨花板表面缺陷检测研究", 组合机床与自动化加工技术, no. 03, 20 March 2020 (2020-03-20) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112926437B (zh) | 2024-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110659660B (zh) | 利用深度学习系统的自动光学检测分类设备及其训练设备 | |
| US9786045B2 (en) | Wafer defect inspection apparatus and method for inspecting a wafer defect | |
| CN107004123B (zh) | 迭代式缺陷滤除工艺 | |
| US20180253836A1 (en) | Method for automated detection of defects in cast wheel products | |
| CN110889823B (zh) | 一种SiC缺陷的检测方法和系统 | |
| US8045789B2 (en) | Method and apparatus for inspecting defect of pattern formed on semiconductor device | |
| JP2019091249A (ja) | 欠陥検査装置、欠陥検査方法、及びそのプログラム | |
| CN111537517A (zh) | 一种无人智能化冲压缺陷识别方法 | |
| US7869643B2 (en) | Advanced cell-to-cell inspection | |
| CN112884743B (zh) | 检测方法及装置、检测设备和存储介质 | |
| JP7053366B2 (ja) | 検査装置及び検査方法 | |
| KR20220014805A (ko) | 반도체 시편의 검사에 사용가능한 훈련 데이터의 생성 | |
| JP2015049133A (ja) | 表面欠陥検査装置および表面欠陥検査方法 | |
| CN112884744A (zh) | 检测方法及装置、检测设备和存储介质 | |
| CN109701890A (zh) | 磁瓦表面缺陷检测与分拣方法 | |
| CN112926437B (zh) | 检测方法及装置、检测设备和存储介质 | |
| KR20220046824A (ko) | 리튬 이차 전지의 용접부 검사 방법 | |
| JP2005283267A (ja) | 貫通穴計測装置及び方法並びに貫通穴計測用プログラム | |
| CN112926439A (zh) | 检测方法及装置、检测设备和存储介质 | |
| CN113192021A (zh) | 检测方法及装置、检测设备和存储介质 | |
| CN112926438B (zh) | 检测方法及装置、检测设备和存储介质 | |
| JP3652589B2 (ja) | 欠陥検査装置 | |
| CN113267506A (zh) | 木板ai视觉缺陷检测装置、方法、设备及介质 | |
| Ye et al. | Automatic optical apparatus for inspecting bearing assembly defects | |
| CN112884691A (zh) | 数据增强及装置、数据增强设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |