CN113192021A - 检测方法及装置、检测设备和存储介质 - Google Patents
检测方法及装置、检测设备和存储介质 Download PDFInfo
- Publication number
- CN113192021A CN113192021A CN202110456038.XA CN202110456038A CN113192021A CN 113192021 A CN113192021 A CN 113192021A CN 202110456038 A CN202110456038 A CN 202110456038A CN 113192021 A CN113192021 A CN 113192021A
- Authority
- CN
- China
- Prior art keywords
- classification model
- image
- training
- images
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 88
- 238000012549 training Methods 0.000 claims abstract description 189
- 230000007547 defect Effects 0.000 claims abstract description 147
- 238000013145 classification model Methods 0.000 claims abstract description 130
- 238000012545 processing Methods 0.000 claims description 31
- 238000000034 method Methods 0.000 claims description 15
- 238000013519 translation Methods 0.000 claims description 15
- 230000003321 amplification Effects 0.000 claims description 13
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 13
- 238000002372 labelling Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010008 shearing Methods 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 13
- 235000012431 wafers Nutrition 0.000 description 22
- 230000008569 process Effects 0.000 description 9
- 230000002950 deficient Effects 0.000 description 6
- 238000012795 verification Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000003647 oxidation Effects 0.000 description 4
- 238000007254 oxidation reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012372 quality testing Methods 0.000 description 3
- 239000000853 adhesive Substances 0.000 description 2
- 230000001070 adhesive effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003292 glue Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种检测方法、检测装置、检测设备和非易失性计算机可读存储介质。检测方法包括输入样本图像至第一分类模型，以输出所述样本图像的类型；在所述样本图像的类型为缺陷图像时，输入所述样本图像至第二分类模型进行训练，以使得所述第二分类模型收敛；及根据收敛后的所述第二分类模型检测待测件的图像的缺陷。检测方法、检测装置、检测设备和非易失性计算机可读存储介质通过第一分类模型将缺陷样本输入到第二分类模型训练，从而使得第二分类模型能够经过足够数量的缺陷样本训练，可提高第二分类模型对不同缺陷的检测准确性，从而提升检测模型的检测效果。
Description
技术领域
本申请涉及检测技术领域，特别涉及一种检测方法、检测装置、检测设备和非易失性计算机可读存储介质。
背景技术
目前，由于对晶圆进行检测时，一般会采集晶圆的图像作为样本，但由于晶圆的不同类型的缺陷的出现几率不同，其中不具有缺陷的样本占了绝大部分，导致具有不同缺陷的样本的数量差别验证，在根据采集的样本对检测模型进行训练时，对数量较少缺陷的训练效果较差，从而影响检测效果。
发明内容
本申请提供了一种检测方法、检测装置、检测设备和非易失性计算机可读存储介质。
本申请实施方式的检测方法包括输入样本图像至第一分类模型，以输出所述样本图像的类型；在所述样本图像的类型为缺陷图像时，输入所述样本图像至第二分类模型进行训练，以使得所述第二分类模型收敛；及根据收敛后的所述第二分类模型检测待测件的图像的缺陷。
本申请实施方式的检测装置包括输入输出模块、第一获取模块、和检测模块。所述输入输出模块用于输入样本图像至第一分类模型，以输出所述样本图像的类型；所述第一获取模块用于在所述样本图像的类型为缺陷图像时，输入所述样本图像至第二分类模型进行训练，以使得所述第二分类模型收敛；及所述检测模块用于根据收敛后的所述第二分类模型检测待测件的图像的缺陷。
本申请实施方式的检测设备包括处理器。所述处理器用于：输入样本图像至第一分类模型，以输出所述样本图像的类型；在所述样本图像的类型为缺陷图像时，输入所述样本图像至第二分类模型进行训练，以使得所述第二分类模型收敛；及根据收敛后的所述第二分类模型检测待测件的图像的缺陷。
本申请实施方式的一种包含计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，使得所述处理器执行所述检测方法。所述检测方法包括输入样本图像至第一分类模型，以输出所述样本图像的类型；在所述样本图像的类型为缺陷图像时，输入所述样本图像至第二分类模型进行训练，以使得所述第二分类模型收敛；及根据收敛后的所述第二分类模型检测待测件的图像的缺陷。
本申请的检测方法、检测装置、检测设备和非易失性计算机可读存储介质，通过第一分类模型识别具有缺陷的样本和不具有缺陷的样本，然后将缺陷样本输入到第二分类模型训练，从而使得第二分类模型能够经过足够数量的缺陷样本训练，可提高第二分类模型对不同缺陷的检测准确性，从而提升检测模型的检测效果。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
为了更清楚地说明本申请实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请某些实施方式的检测方法的流程示意图；
图2是本申请某些实施方式的检测装置的模块示意图；
图3是本申请某些实施方式的检测设备的平面示意图；
图4是本申请某些实施方式的检测方法的流程示意图；
图5是本申请某些实施方式的检测方法的流程示意图；
图6是本申请某些实施方式的检测方法的流程示意图；
图7至图11是本申请某些实施方式的检测方法的原理示意图；
图12是本申请某些实施方式的检测方法的流程示意图；及
图13是本申请某些实施方式的处理器和计算机可读存储介质的连接示意图。
具体实施方式
以下结合附图对本申请的实施方式作进一步说明。附图中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。另外，下面结合附图描述的本申请的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的限制。
请参阅图1至图3，本申请实施方式的检测方法包括以下步骤：
011：输入样本图像至第一分类模型，以输出样本图像的类型；
012：在样本图像的类型为缺陷图像时，输入样本图像至第二分类模型进行训练，以使得第二分类模型收敛；
013：根据收敛后的第二分类模型检测待测件200的图像的缺陷。
本申请实施方式的检测装置10包括输入输出模块11、第一获取模块12和检测模块13。输入输出模块11用于输入样本图像至第一分类模型，以输出样本图像的类型；第一获取模块12用于在样本图像的类型为缺陷图像时，输入样本图像至第二分类模型进行训练，以使得第二分类模型收敛；及检测模块13用于根据收敛后的第二分类模型检测待测件200的图像的缺陷。也即是说，步骤011可以由输入输出模块11实现、步骤012可以由第一获取模块12执行、步骤013可以由检测模块13执行。
本申请实施方式的检测设备100包括处理器20。处理器20用于：输入样本图像至第一分类模型，以输出样本图像的类型；在样本图像的类型为缺陷图像时，输入样本图像至第二分类模型进行训练，以使得第二分类模型收敛；及根据收敛后的第二分类模型检测待测件200的图像的缺陷。也即是说，步骤011、步骤012和步骤013可以由处理器20执行。
具体地，检测设备100可以是测量机。可以理解，检测设备100的具体形式并不限于测量机，还可以是任意能够对待测件200进行检测的设备。
检测设备100包括处理器20、运动平台30和传感器40。处理器20和传感器40均可设置在运动平台30。运动平台30可用于承载待测件200，运动平台30移动以带动待测件200移动，以使得传感器40采集待测件200的信息。
例如，运动平台30包括XY运动平台31和Z运动平台32，传感器40设置在运动平台30上，具体为：传感器40设置在Z运动平台32，其中，XY运动平台31用于控制待测件200沿水平面移动，改变待测件200和传感器40在水平面的相对位置，Z运动平台32用于控制传感器40沿垂直水平面的方向移动，如此，通过XY运动平台31和Z运动平台32配合实现传感器40相对待测件200的三维位置(即，在水平面的相对位置和垂直水平面方向的相对位置)。
可以理解，运动平台30并不限于上述结构，只需能够改变传感器40相对待测件200的三维位置即可。
传感器40可以是一个或多个，多个传感器40可以是不同类型的传感器40，如传感器40可包括可见光摄像头、深度摄像头等。本实施方式中，传感器40为可见光摄像头。
在获取样本图像时，可将待测件200放置在运动平台30，处理器20则控制运动平台30移动，以使得传感器40拍摄待测件200的原始图像，以生成样本图像。
拍摄原始图像时，处理器20可根据传感器40的视场范围，调整传感器40与待测件200之间的距离，以使得待测件200位于视场范围内，从而通过拍摄一次原始图像即可得到整个待测件200的样本图像；或者，可使得传感器40每次拍摄时，视场范围仅覆盖待测件200的部分区域，通过移动拍摄待测件200的不同区域，以得到多张原始图像，从而生成多张样本图像。
在选取拍摄原始图像的待测件200时，选取的待测件200可以均是同一类型的待测件200(如均为晶圆)，使得后续进行训练后得到的检测模型专门用于检测该类型的待测件200，从而提高对该类型的待测件200的检测准确性。当然，选取的待测件200也可以是包含不同类型的待测件200(如待测件200包括显示面板和晶圆)，从而使得训练后得到的检测模型能够同时实现多种类型待测件200的缺陷，的检测，应用较为广泛。本实施方式以待测件200均为晶圆为例进行说明，晶圆的缺陷一般包括外来物、残胶、氧化、气泡、褶皱、破裂等。
为了提升训练效果，在选取晶圆时，可选取晶圆图案、或者晶圆背景图案互不相同的多个晶圆，从而获取图像背景互不相同的多个样本图像，以提升样本图像的多样性，提升训练效果的同时，还可减少训练后的检测模型受到图像背景的影响，使得检测模型即使在不同图像背景下，依旧能够准确地进行缺陷检测。
此外，在选取晶圆时，还可选取具有不同类型的缺陷晶圆。例如，选取了晶圆A、晶圆B、晶圆C，则晶圆A、晶圆B和晶圆C三者具有的缺陷至少部分不同，如晶圆A具有外来物、残胶和氧化的缺陷，晶圆B具有残胶、氧化和气泡的缺陷，晶圆C具有氧化、气泡、褶皱和破裂的缺陷。从而使得样本图像具有的缺陷存在一定差异，可提升样本图像的多样性，从而提升训练效果。
可以理解，不同类型的待测件200，出现缺陷概率最大的区域是不同的。因此，在获取样本图像时，可截取原始图像中，预定区域的部分以作为样本图像，预定区域即为当前待测件200出现缺陷概率最大的区域，从而保证样本图像尺寸较小以降低计算量的同时，使得样本图像尽可能包含的缺陷以进行后续的训练。
在得到样本图像后，将样本图像输入到第一分类模型中，第一分类模型为预设的二分类模型，即第一分类模型用于根据输入的样本图像输出样本图像的类型，类型包括：缺陷图像和非缺陷图像。
然后将类型为缺陷图像的样本图像输入到第二分类模型中进行训练，使得第二分类模型经过多张类型为缺陷图像的样本图像的训练后收敛，第二分类模型为多分类模型，可检测样本图像中的多种缺陷的类型。
在对第二分类模型训练完成后，可根据第二训练模型检测待测件200的图像，从而检测出待测件200中存在的缺陷。
其中，第一分类模型和第二分类模型可以是二阶检测算法(如Faster R-CNN及其变种)、一阶检测算法(如YOLOV3及其变种)、anchor-free检测算法(如CenterNet及其变种)等，在此不作限制。
本申请的检测方法、检测装置10和检测设备100，通过第一分类模型识别具有缺陷的样本和不具有缺陷的样本，然后将缺陷样本输入到第二分类模型训练，从而使得第二分类模型能够经过足够数量的缺陷样本训练，可提高第二分类模型对不同缺陷的检测准确性，从而提升检测模型的检测效果。
请参阅图2、图3和图4，在某些实施方式中，检测方法还包括：
014：获取多张无缺陷的第一图像及多张包含不同类型缺陷的第二图像，以组成第一训练集，第一图像的数量和第二图像的数量的差值小于预定阈值；
015：输入第一训练集至第一分类模型，以获取训练至收敛的第一分类模型。
在某些实施方式中，检测装置10还包括第二获取模块14和第三获取模块15。第二获取模块14用于获取多张无缺陷的第一图像及多张包含不同类型缺陷的第二图像，以组成第一训练集，第一图像的数量和第二图像的数量的差值小于预定阈值；第三获取模块15用于输入第一训练集至第一分类模型，以获取训练至收敛的第一分类模型。也即是说，步骤014可以由第二获取模块14执行，步骤015可以由第三获取模块15执行。
在某些实施方式中，处理器20还用于获取多张无缺陷的第一图像及多张包含不同类型缺陷的第二图像，以组成第一训练集，第一图像的数量和第二图像的数量的差值小于预定阈值；输入第一训练集至第一分类模型，以获取训练至收敛的第一分类模型。也即是说，步骤014和步骤015可以由处理器20执行。
具体地，在对第一分类模型训练时，可首先获取多张无缺陷的第一图像和多张包含不同类型的缺陷的第二图像，以组成第一训练集，第一图像和第二图像均可从样本图像中选取。
第一图像的数量和第二图像的数量差异应较小，以使得第一分类模型经第一训练集训练至收敛后，对无缺陷图像和有缺陷图像训练效果基本相同。如第一图像的数量和第二图像的数量的差值小于预定阈值(预定阈值可以是0,、1、2等)。
此外，第一图像的数量和第二图像的数量可达到预设阈值，如1000张、2000张等，从而保证对无缺陷图像和有缺陷图像训练效果均较好。
然后，处理器20根据第一分类模型对样本图像进行检测，以输出样本图像的类型，具体为，输入样本图像至第一分类模型后，第一分类模型可输出每个样本图像的类型和置信度。如样本图像1的类型为缺陷图像，置信度为0.9，样本图像2的类型为缺陷图像，置信度为0.7。
根据用户对缺陷类型的检测准确性的要求，可预设一个置信度阈值，在置信度达到置信度阈值时，才确定该置信度对应的类型判断为准确的。如置信度阈值为0.8，则样本图像1位缺陷图像，而样本图像2为非缺陷图像。
请参阅图2、图3和图5，在某些实施方式中，步骤012包括：
0121：获取多个类型为缺陷图像的样本图像，以作为训练图像；
0122：标注训练图像中的缺陷；
0123：将标注前的多个训练图像和标注后的多个训练图像作为第二训练集，输入到第二分类模型进行训练，以获取训练至收敛的第二分类模型。
在某些实施方式中，第一获取模块12还用于获取多个类型为缺陷图像的样本图像，以作为训练图像；标注训练图像中的缺陷；将标注前的多个训练图像和标注后的多个训练图像作为第二训练集，输入到第二分类模型进行训练，以获取训练至收敛的第二分类模型。也即是说，步骤0121、步骤0122和步骤0123可以由第一获取模块12执行。
在某些实施方式中，处理器20还用于获取多个类型为缺陷图像的样本图像，以作为训练图像；标注训练图像中的缺陷；将标注前的多个训练图像和标注后的多个训练图像作为第二训练集，输入到第二分类模型进行训练，以获取训练至收敛的第二分类模型。也即是说，步骤0121、步骤0122和步骤0123可以由处理器20执行。
具体地，在对第二分类模型进行训练时，可首先将获取的多个类型为缺陷图像的样本图像，作为第二分类模型的训练图像，如获取1000张类型为缺陷图像的样本图像，即可获取1000张训练图像。
在得到训练图像后，可对训练图像中的缺陷预先进行标注。例如，质检人员根据经验，对训练图像中的缺陷进行标注。如标注出训练图像中缺陷的类型，然后通过在训练图像中使用缺陷框(如矩形框、圆形框等)框选出缺陷，以作为缺陷的位置。或者，处理器20基于预设的模板匹配算法，首先对训练图像的缺陷进行检测，然后由质检人员进行确定，以框选缺陷的位置并标注缺陷的类型，从而在提高缺陷标注速度的同时，降低质检人员的工作量，降低质检人员因疲劳产生误判的几率。
处理器20可获取标注后的多个训练图像，然后处理器20将标注前的多个训练图像和标注后的多个训练图像作为第二训练集，输入到第二分类模型中进行训练，直至第二分类模型收敛，由于经过标注后的训练图像中的缺陷的类型和位置较为准确，可提升第二分类模型的检测效果。
经过第二训练集训练，并调整后的第二分类模型能够准确检测当前类型的待测件200的缺陷时，则可认为检测模型收敛。
请参阅2、图3和图6，在某些实施方式中，步骤012还包括：
0124：根据训练图像的缺陷的类型，将训练图像进行分类；
0125：获取缺陷的类型对应的训练图像的第一数量；及
0126：在缺陷的类型当前的训练图像的第二数量小于第一数量时，对训练图像进行扩增处理，以获取达到第一数量的缺陷的类型对应的训练图像，扩增处理包括镜像、平移、旋转、剪切和变形中至少一种。
在某些实施方式中，第一获取模块12还用于根据训练图像的缺陷的类型，将训练图像进行分类；获取缺陷的类型对应的训练图像的第一数量；及在缺陷的类型当前的训练图像的第二数量小于第一数量时，对训练图像进行扩增处理，以获取达到第一数量的缺陷的类型对应的训练图像，扩增处理包括镜像、平移、旋转、剪切和变形中至少一种。也即是说，步骤0124、步骤0125和步骤0126可以由第一获取模块12执行。
在某些实施方式中，处理器20还用于根据训练图像的缺陷的类型，将训练图像进行分类；获取缺陷的类型对应的训练图像的第一数量；及在缺陷的类型当前的训练图像的第二数量小于第一数量时，对训练图像进行扩增处理，以获取达到第一数量的缺陷的类型对应的训练图像，扩增处理包括镜像、平移、旋转、剪切和变形中至少一种。也即是说，步骤0124、步骤0125和步骤0126可以由处理器20执行。
具体地，在获取到训练图像后，可根据训练图像中的缺陷的类型进行分类，如将进行图像分为氧化类训练图像、外来物训练图像、残胶训练图像等，并确定每种类型的训练图像的当前数量。然后，处理器20获取每种类型的训练图像对应的第一数量，第一数量为预设值，与训练图像的类型一一对应。
例如，为了使得第二分类模型对不同类型的缺陷的均具有较好的检测效果，则可将每种类型的训练图像的第一数量设置为相同(如1000张)或者使得不同类型的训练图像的差值小于预定阈值(如1、2、3等)；或者，根据实际需求，当需要对特定类型的缺陷重点检测时，可将该特定类型的训练图像的第一数量设置的较高，而其他类型的训练图像的第一数量设置的较低，从而提高第二分类模型对特定类型的缺陷的检测准确性；或者，根据缺陷对待测件200的影响程度，来确定每种类型的训练图像的第一数量，如缺陷对待测件200的影响越大，则对应的第一数量越大；或者，根据缺陷出现的几率大小，确定每种类型的训练图像的第一数量，如缺陷的出现几率越大，则对应的第一数量越大。
如此，可根据实际需求适应性的调整每种类型的训练图像对应的第一数量，从而获取更为符合用户需求的第二分类模型。
在确定当前类型的训练图像的第一数量后，可判断当前类型的训练图像的第二数量(即，每种类型的训练图像的当前数量)是否达到第一数量，当第二数量小于第一数量时，说明当前类型的训练图像的数量不足，需要获取更多的当前类型的训练图像，以保证训练效果。
此时，可再次获取多张样本图像，以选取当前类型的样本图像作为当前类型的训练图像。或者，可不重新获取样本图像，而是通过对具有第二数量的当前类型的训练图像进行扩增处理，以得到更多当前类型的训练图像，直至当前类型的训练图像达到第一数量。如此，当第二数量小于第一数量时，可对每种类型的训练图像均进行上述处理，从而保证每种类型的训练图像的数量均达到对应的第一数量。
扩增处理包括镜像、平移、旋转、剪切和变形中至少一种。
具体地，请参阅图7，例如，处理器20对每个训练图像P1进行镜像处理，以得到每个训练图像P1的镜像图像P2，并作为新的训练图像P1。镜像处理后的镜像图像P2和训练图像P1镜面对称，且对称轴可以是任意的，如以训练图像P1的任一边为对称轴进行镜像处理(图7则以训练图像P1的最右侧的边作为对称轴进行镜像处理)，或者以训练图像P1的对角线或任意两边中点的连线为对称轴进行镜像处理等，从而通过镜像处理得到多个新的训练图像。
请参阅图8，再例如，处理器20对每个训练图像P1进行平移处理，以得到每个训练图像P1的平移图像P3，并作为新的训练图像P1。具体首先以训练图像P1确定预定的图像区域(即，训练图像P1所占的区域)，然后对训练图像P1进行平移，如左平移、右平移、左上平移等(图8中为向右平移)，然后将预定的图像区域的图像(即，平移图像P3)作为新的训练图像P1，平移后的缺陷在图像中的位置发生变化，从而得到多个新的训练图像P1。
请参阅图9，再例如，处理器20对每个训练图像P1进行旋转处理，以得到每个训练图像P1的旋转图像P4，并作为新的训练图像P1。具体首先以训练图像P1确定预定的图像区域，然后对训练图像P1进行旋转，如顺时针或逆时针旋转10度、30度、60度、90度、140度等(图9为逆时针旋转30度)，然后将预定的图像区域的图像(及，旋转图像P4)作为新的训练图像P1，旋转后的缺陷在图像中的位置发生变化，从而得到多个新的训练图像P1。
请参阅图10，再例如，处理器20对每个训练图像P1进行剪切处理，以得到每个训练图像的剪切图像P5，并作为新的训练图像P1。具体首先以训练图像P1确定预定的图像区域，然后对训练图像P1进行剪切，如剪切训练图像P1的1/4、1/3、1/2等(图10为剪切训练图像的1/2)，然后将预定的图像区域的图像(即剪切图像P5)作为新的训练图像P1，从而得到多个新的训练图像P1。
请参阅图11，再例如，处理器20对每个训练图像P1进行变形处理，以得到每个训练图像P1的变形图像P6，并作为新的训练图像P1。具体首先以训练图像P1确定预定的图像区域，然后对训练图像P1进行变形，如对训练图像沿横向进行压缩，使得原本矩形的训练图像P1变为带缺口的矩形，然后将预定的图像区域的图像(即变形图像P6)作为新的训练图像P1，变形后的缺陷在图像中的位置和形状均发生变化，从而得到多个新的训练图像P1。
当然，处理器20还可同时对训练图像进行平移处理和旋转处理；或者同时进行平移处理、旋转处理和镜像处理；或者同时进行平移处理、旋转处理、镜像处理和剪切处理；或者，同时进行平移处理、旋转处理和镜像处理，且平移处理、旋转处理和镜像处理分别以不同的距离、不同的角度和不同的对称轴分别进行多次等，在此不再一一列举。
通过对训练图像进行扩增处理，无需获取较多样本图像即可获取达到第一数量的当前类型的训练图像，且训练图像的多样性较好，可提升对检测模型的训练效果。
请参阅图2、图3和图12，在某些实施方式中，步骤013包括：
0131：根据收敛后的第二分类模型检测待测件200的图像，以确定缺陷的类型、位置及置信度；
0132：在置信度大于缺陷的类型对应的置信度阈值时，输出缺陷的类型和位置。
在某些实施方式中，检测模块13还用于根据收敛后的第二分类模型检测待测件200的图像，以确定缺陷的类型、位置及置信度；在置信度大于缺陷的类型对应的置信度阈值时，输出缺陷的类型和位置。也即是说，步骤0131和步骤0132可以由检测模块13执行。
在某些实施方式中，处理器20还用于根据收敛后的第二分类模型检测待测件200的图像，以确定缺陷的类型、位置及置信度；在置信度大于缺陷的类型对应的置信度阈值时，输出缺陷的类型和位置。也即是说，步骤0131和步骤0132可以由处理器20执行。
具体地，在第二分类模型训练完成后，检测设备100通过传感器40获取到待测件200的图像，然后处理器20根据第二分类模型检测待测件200的图像，以确定缺陷的类型、位置和置信度。当置信度大于当前缺陷的类型对应的置信度阈值时，则可确定当前缺陷检测准确，从而输出当前缺陷的类型、位置和置信度，以作为检测结果。
其中，置信度阈值与缺陷的类型对应，不同类型的缺陷对应不同的置信度阈值，从而针对性的提升不同类型的缺陷的检测准确性。
在某些实施方式中，处理器20还用于输入预设的验证集到第二分类模型，以输出损失值，验证集与训练集的图像不同；在损失值小于预设阈值时，确定第二分类模型收敛；在损失值大于预设阈值时，对第二训练集进行变换处理，并根据变换处理后的第二训练集再次训练第二分类模型，直至第二分类模型收敛。
具体地，为了确定第二分类模型是否收敛，此时处理器20可先获取预设的验证集，验证集中的图像与第二训练集中的训练图像均不相同，从而使得验证集能够准确验证第二分类模型是否收敛。
然后处理器20输入预设的验证集到第二分类模型后，第二分类模型输出损失值，此时处理器20判断损失值是否大于预设阈值。若损失值小于预设阈值，则说明检测的损失较小，检测准确性已达到要求，可确定第二分类模型已收敛。
若损失值大于预设阈值，则说明检测的损失过大，检测准确性依旧未达到要求，此时可确定第二分类模型未收敛，需要继续训练。此时可再次对第二训练集进行扩增处理以增加第二训练集的训练图像的数量和多样性，再次对第二分类模型进行第二轮训练，在训练后，再次通过预设的验证集验证第二分类模型是否收敛，在未收敛时，继续对第二训练集进行扩增处理，再次对第二分类模型进行第三轮训练，如此循环，直至训练后的第二分类模型收敛。
请参阅图13，本申请实施方式的一个或多个包含计算机程序302的非易失性计算机可读存储介质300，当计算机程序302被一个或多个处理器20执行时，使得处理器20可执行上述任一实施方式的标定方法。
例如，请结合图1至图3，当计算机程序302被一个或多个处理器20执行时，使得处理器20执行以下步骤：
011：输入样本图像至第一分类模型，以输出样本图像的类型；
012：在样本图像的类型为缺陷图像时，输入样本图像至第二分类模型进行训练，以使得第二分类模型收敛；
013：根据收敛后的第二分类模型检测待测件200的图像的缺陷。
再例如，请结合图2、图3和图4，当计算机程序302被一个或多个处理器20执行时，处理器20还可以执行以下步骤：
014：获取多张无缺陷的第一图像及多张包含不同类型缺陷的第二图像，以组成第一训练集，第一图像的数量和第二图像的数量的差值小于预定阈值；
015：输入第一训练集至第一分类模型，以获取训练至收敛的第一分类模型。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施方式或示例以及不同实施方式或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施方式所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (10)
1.一种检测方法，其特征在于，包括：
输入样本图像至第一分类模型，以输出所述样本图像的类型；
在所述样本图像的类型为缺陷图像时，输入所述样本图像至第二分类模型进行训练，以使得所述第二分类模型收敛；及
根据收敛后的所述第二分类模型检测待测件的图像的缺陷。
2.根据权利要求1所述的检测方法，其特征在于，还包括：
获取多张无缺陷的第一图像及多张包含不同类型缺陷的第二图像，以组成第一训练集，所述第一图像的数量和所述第二图像的数量的差值小于预定阈值；
输入所述第一训练集至第一分类模型，以获取训练至收敛的所述第一分类模型。
3.根据权利要求1所述的检测方法，其特征在于，所述在所述样本图像的类型为缺陷图像时，输入所述样本图像至第二分类模型进行训练，以使得所述第二分类模型收敛，包括：
获取多个类型为缺陷图像的所述样本图像，以作为训练图像；
标注所述训练图像中的缺陷；
将标注前的多个所述训练图像和标注后的多个所述训练图像作为第二训练集，输入到所述第二分类模型进行训练，以获取训练至收敛的所述第二分类模型。
4.根据权利要求3所述的检测方法，其特征在于，所述在所述样本图像的类型为缺陷图像时，输入所述样本图像至第二分类模型进行训练，以使得所述第二分类模型收敛，还包括：
根据所述训练图像的缺陷的类型，将所述训练图像进行分类；
获取所述缺陷的类型对应的所述训练图像的第一数量；及
在所述缺陷的类型当前的所述训练图像的第二数量小于所述第一数量时，对所述训练图像进行扩增处理，以获取达到所述第一数量的所述缺陷的类型对应的所述训练图像，所述扩增处理包括镜像、平移、旋转、剪切和变形中至少一种。
5.根据权利要求3所述的检测方法，其特征在于，不同所述缺陷的类型对应的所述第一数量相同；或者，所述第一数量根据所述缺陷的类型确定。
6.根据权利要求1所述的检测方法，其特征在于，所述输入样本图像至第一分类模型，以输出所述样本图像的类型，包括：
输入所述样本图像至所述第一分类模型，以输出所述样本图像的所述类型和置信度；
根据预设的置信度阈值和所述置信度确定所述样本图像的最终类型。
7.根据权利要求1所述的检测方法，其特征在于，所述根据收敛后的所述第二分类模型检测待测件的图像的缺陷，包括：
根据收敛后的所述第二分类模型检测所述待测件的图像，以确定所述缺陷的类型、位置及置信度；
在所述置信度大于所述缺陷的类型对应的置信度阈值时，输出所述缺陷的类型和位置。
8.一种检测装置，其特征在于，包括：
输入输出模块，用于输入样本图像至第一分类模型，以输出所述样本图像的类型；
第一获取模块，用于在所述样本图像的类型为缺陷图像时，输入所述样本图像至第二分类模型进行训练，以使得所述第二分类模型收敛；及
检测模块，用于根据收敛后的所述第二分类模型检测待测件的图像的缺陷。
9.一种检测设备，其特征在于，包括处理器，所述处理器用于：
输入样本图像至第一分类模型，以输出所述样本图像的类型；
在所述样本图像的类型为缺陷图像时，输入所述样本图像至第二分类模型进行训练，以使得所述第二分类模型收敛；及
根据收敛后的所述第二分类模型检测待测件的图像的缺陷。
10.一种存储有计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，使得所述处理器执行权利要求1至7中任一项所述的检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110456038.XA CN113192021A (zh) | 2021-04-26 | 2021-04-26 | 检测方法及装置、检测设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110456038.XA CN113192021A (zh) | 2021-04-26 | 2021-04-26 | 检测方法及装置、检测设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113192021A true CN113192021A (zh) | 2021-07-30 |
Family
ID=76979411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110456038.XA Pending CN113192021A (zh) | 2021-04-26 | 2021-04-26 | 检测方法及装置、检测设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113192021A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109583489A (zh) * | 2018-11-22 | 2019-04-05 | 中国科学院自动化研究所 | 缺陷分类识别方法、装置、计算机设备和存储介质 |
| CN109829483A (zh) * | 2019-01-07 | 2019-05-31 | 鲁班嫡系机器人（深圳）有限公司 | 缺陷识别模型训练方法、装置、计算机设备和存储介质 |
| KR20190111644A (ko) * | 2018-03-23 | 2019-10-02 | (주)브릭 | 반복 패턴 영상의 결함 유형 분류 장치 및 방법 |
| CN111160406A (zh) * | 2019-12-10 | 2020-05-15 | 北京达佳互联信息技术有限公司 | 图像分类模型的训练方法、图像分类方法及装置 |
| US20200160083A1 (en) * | 2018-11-15 | 2020-05-21 | International Business Machines Corporation | Efficient defect localization/segmentation for surface defect inspection |
| CN111275684A (zh) * | 2020-01-20 | 2020-06-12 | 东华大学 | 一种基于多尺度特征提取的带钢表面缺陷检测方法 |
| CN111862092A (zh) * | 2020-08-05 | 2020-10-30 | 复旦大学 | 一种基于深度学习的快递外包装缺陷检测方法及装置 |
-
2021
- 2021-04-26 CN CN202110456038.XA patent/CN113192021A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190111644A (ko) * | 2018-03-23 | 2019-10-02 | (주)브릭 | 반복 패턴 영상의 결함 유형 분류 장치 및 방법 |
| US20200160083A1 (en) * | 2018-11-15 | 2020-05-21 | International Business Machines Corporation | Efficient defect localization/segmentation for surface defect inspection |
| CN109583489A (zh) * | 2018-11-22 | 2019-04-05 | 中国科学院自动化研究所 | 缺陷分类识别方法、装置、计算机设备和存储介质 |
| CN109829483A (zh) * | 2019-01-07 | 2019-05-31 | 鲁班嫡系机器人（深圳）有限公司 | 缺陷识别模型训练方法、装置、计算机设备和存储介质 |
| WO2020143592A1 (zh) * | 2019-01-07 | 2020-07-16 | 鲁班嫡系机器人（深圳）有限公司 | 缺陷识别模型训练方法、装置、计算机设备和存储介质 |
| CN111160406A (zh) * | 2019-12-10 | 2020-05-15 | 北京达佳互联信息技术有限公司 | 图像分类模型的训练方法、图像分类方法及装置 |
| CN111275684A (zh) * | 2020-01-20 | 2020-06-12 | 东华大学 | 一种基于多尺度特征提取的带钢表面缺陷检测方法 |
| CN111862092A (zh) * | 2020-08-05 | 2020-10-30 | 复旦大学 | 一种基于深度学习的快递外包装缺陷检测方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 邡鑫;史峥;: "基于卷积神经网络的晶圆缺陷检测与分类算法", 计算机工程, no. 08, 15 August 2018 (2018-08-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107004123B (zh) | 迭代式缺陷滤除工艺 | |
| US9786045B2 (en) | Wafer defect inspection apparatus and method for inspecting a wafer defect | |
| CN110889823B (zh) | 一种SiC缺陷的检测方法和系统 | |
| KR101910484B1 (ko) | 3차원(3d) 비전 검사를 위한 방법 | |
| CN112884743B (zh) | 检测方法及装置、检测设备和存储介质 | |
| JP5543872B2 (ja) | パターン検査方法およびパターン検査装置 | |
| KR100598381B1 (ko) | 인-라인 타입의 자동 웨이퍼결함 분류장치 및 그 제어방법 | |
| US20080175466A1 (en) | Inspection apparatus and inspection method | |
| US11538148B2 (en) | Defect detection of a component in an assembly | |
| CN111951210A (zh) | 数据的处理方法、装置及设备 | |
| CN106030283B (zh) | 用于检验半导体封装的装置与方法 | |
| US20080040064A1 (en) | Surface inspection apparatus and surface inspection method | |
| JP7186521B2 (ja) | 外観検査装置の教師画像生成装置 | |
| CN115375610A (zh) | 检测方法及装置、检测设备和存储介质 | |
| CN115375608A (zh) | 检测方法及装置、检测设备和存储介质 | |
| CN112884744A (zh) | 检测方法及装置、检测设备和存储介质 | |
| CN112834528A (zh) | 3d缺陷检测系统及方法 | |
| CN113192021A (zh) | 检测方法及装置、检测设备和存储介质 | |
| CN113066069A (zh) | 调整方法及装置、调整设备和存储介质 | |
| JP2005283267A (ja) | 貫通穴計測装置及び方法並びに貫通穴計測用プログラム | |
| CN116543247A (zh) | 基于光度立体表面重建的数据集制作方法及验证系统 | |
| TW202319735A (zh) | 半導體取樣的缺陷檢查 | |
| CN115165920A (zh) | 一种三维缺陷检测方法及检测设备 | |
| TW201522949A (zh) | 影像資訊檢測方法 | |
| CN112950563A (zh) | 检测方法及装置、检测设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Chen Lu Inventor after: Xiao Anqi Inventor after: Lv Su Inventor after: Li Qinggele Inventor after: Zhang Song Inventor before: Chen Lu Inventor before: Xiao Anqi Inventor before: Lv Su Inventor before: Li Qinggele Inventor before: Zhang Song |
|
| CB03 | Change of inventor or designer information |