CN112926438B - 检测方法及装置、检测设备和存储介质 - Google Patents

Abstract

一种检测方法、检测装置、检测设备和非易失性计算机可读存储介质。检测方法包括基于预设的匹配算法，检测待检件的图像的第一类型；基于预设的分类模型，检测所述待检件的图像的第二类型；及融合所述第一类型和所述第二类型，以输出最终类型。首先通过匹配算法检测出待检件的图像的第一类型，然后基于分类模型检测待检件的图像的第二类型，然后结合匹配算法检测的第一类型和分类模型检测的第二类型，并进行融合处理，以得到待检件的图像的最终类型，相较于仅通过匹配算法检测的第一类型作为最终类型而言，通过第一类型和第二类型融合处理后得到的最终类型的准确性较高，可提高检测效果。

Description

检测方法及装置、检测设备和存储介质

技术领域

本申请涉及检测技术领域，特别涉及一种检测方法、检测装置、检测设备和非易失性计算机可读存储介质。

背景技术

目前，在对精密工件进行特征点检测时，一般通过匹配算法进行检测，但匹配算法容易将非特征点的部分识别为特征点，检测效果较差。

发明内容

本申请提供了一种检测方法、检测装置、检测设备和非易失性计算机可读存储介质。

本申请实施方式的检测方法包括基于预设的匹配算法，检测待检件的图像的第一类型；基于预设的分类模型，检测所述待检件的图像的第二类型；及融合所述第一类型和所述第二类型，以输出最终类型。

本申请实施方式的检测装置包括第一检测模块、第二检测模块和融合模块。第一检测模块用于基于预设的匹配算法，检测待检件的图像的第一类型；第二检测模块用于基于预设的分类模型，检测所述待检件的图像的第二类型；融合模块用于融合所述第一类型和所述第二类型，以输出最终类型。

本申请实施方式的检测设备包括处理器。所述处理器用于基于预设的匹配算法，检测待检件的图像的第一类型；基于预设的分类模型，检测所述待检件的图像的第二类型；及融合所述第一类型和所述第二类型，以输出最终类型。

本申请实施方式的一种包含计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，使得所述处理器执行所述检测方法。所述检测方法包括基于预设的匹配算法，检测待检件的图像的第一类型；基于预设的分类模型，检测所述待检件的图像的第二类型；及融合所述第一类型和所述第二类型，以输出最终类型。

本申请的检测方法、检测装置、检测设备和非易失性计算机可读存储介质，首先通过匹配算法检测出待检件的图像的第一类型，然后基于分类模型检测待检件的图像的第二类型，然后结合匹配算法检测的第一类型和分类模型检测的第二类型，并进行融合处理，以得到待检件的图像的最终类型，相较于仅通过匹配算法检测的第一类型作为最终类型而言，通过第一类型和第二类型融合处理后得到的最终类型的准确性较高，可提高检测效果。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

为了更清楚地说明本申请实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请某些实施方式的检测方法的流程示意图；

图2是本申请某些实施方式的检测装置的模块示意图；

图3是本申请某些实施方式的检测设备的平面示意图；

图4至图6是本申请某些实施方式的检测方法的流程示意图；

图7和图8是本申请某些实施方式的检测方法的原理示意图；

图9至图14是本申请某些实施方式的检测方法的原理示意图；

图15是本申请某些实施方式的检测方法的流程示意图；及

图16是本申请某些实施方式的处理器和计算机可读存储介质的连接示意图。

具体实施方式

以下结合附图对本申请的实施方式作进一步说明。附图中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。另外，下面结合附图描述的本申请的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的限制。

请参阅图1至图3，本申请实施方式的检测方法包括以下步骤：

011：基于预设的匹配算法，检测待检件的图像的第一类型；

012：基于预设的分类模型，检测所述待检件的图像的第二类型；及

013：融合所述第一类型和所述第二类型，以输出最终类型。

本申请实施方式的检测装置10包括第一检测模块11、第二检测模块12、融合模块13。第一检测模块11用于基于预设的匹配算法，检测待检件的图像的第一类型；第二检测模块12用于基于预设的分类模型，检测所述待检件的图像的第二类型；融合模块13用于融合所述第一类型和所述第二类型，以输出最终类型。也即是说，步骤011可以由第一检测模块11执行、步骤012可以由第二检测模块12执行、步骤013可以由融合模块13执行。

本申请实施方式的检测设备100包括处理器20。处理器20用于基于预设的匹配算法，检测待检件的图像的第一类型；基于预设的分类模型，检测所述待检件的图像的第二类型；及融合所述第一类型和所述第二类型，以输出最终类型。也即是说，步骤011、步骤012和步骤013可以由处理器20执行。

具体地，检测设备100可以是测量机。可以理解，检测设备100的具体形式并不限于测量机，还可以是任意能够对待检件200进行检测的设备。

检测设备100包括处理器20、运动平台30和传感器40。处理器20和传感器40均可设置在运动平台30。运动平台30可用于承载待检件200，运动平台30移动以带动传感器40移动，以使得传感器40采集待检件200的信息。

例如，运动平台30包括XY运动平台31和Z运动平台32，传感器40设置在运动平台30上，具体为：传感器40设置在Z运动平台32，其中，XY运动平台31用于控制待检件200沿水平面移动，改变待检件200和传感器40在水平面的相对位置，Z运动平台32用于控制传感器40沿垂直水平面的方向移动，如此，通过XY运动平台31和Z运动平台32配合实现传感器40相对待检件200的三维位置(即，在水平面的相对位置和垂直水平面方向的相对位置)。

可以理解，运动平台30并不限于上述结构，只需能够改变传感器40相对待检件200的三维位置即可。

传感器40可以是一个或多个，多个传感器40可以是不同类型的传感器40，如传感器40可包括可见光摄像头、深度摄像头等。本实施方式中，传感器40为可见光摄像头。

在获取待检件200的图像时，可将传感器40对准待检件200，以使得待检件200位于传感器40的视场范围内，从而通过一次拍摄直接获取到整个待检件200的图像。待检件200可以是不同类型的工件，如晶圆、显示屏面板、手机前盖、手机后盖、VR眼镜、AR眼镜、智能手表盖板40、玻璃、木材、铁板、任何装置的壳体(例如手机壳)等需要进行检测的工件。本申请实施方式中，以待检件200为晶圆为例进行说明。

然后，处理器20先基于预设的匹配算法，检测待检件200的图像的第一类型。

例如，检测设备100预存有多个不同类型的特征点的模板图像，预设的匹配算法可以是：将待检件200的图像划分为不同图像区域，并将每个图像区域分别与所有模板图像一一进行比对，以确定待检件200的图像中的第一类型。如图像区域与模板图像匹配，即可确定该图像区域内存在该模板图像对应的第一类型，从而检测到待检件200的图像中所有图像区域的第一类型，然后处理器20根据所有图像区域的第一类型即可确定待检件200的图像的第一类型。例如，若能够检测出第一类型的图像区域为一个，则直接将该图像区域的第一类型作为待检件200的图像的第一类型；若能够检测出第一类型的图像区域为多个，则可计算具有相同的第一类型的图像区域的数量，以具有相同的第一类型且数量最多的图像区域的第一类型作为待检件200的图像的第一类型。

可以理解，基于预设的匹配算法检测出来的第一类型并不精确，且晶圆中，不包含特征点但具有与特征点类似的晶圆图案的图像区域也可能和模板图像匹配，从而造成过检。

因此，在基于预设的匹配算法检测待检件200的图像后，此时处理器20再基于预设的分类模型，检测待检件的图像的第二类型。其中，分类模型可以是二阶检测算法(如Faster R-CNN及其变种)、一阶检测算法(如YOLOV3及其变种)、anchor-free检测算法(如CenterNet及其变种)等，在此不作限制。

最后，处理器20融合第一类型和第二类型，以输出最终类型。

融合具体可以是：在第一类型和第二类型不同时，以检测准确性更高的第二类型为最终类型，此时分类模型的检测结果可对匹配算法的检测结果进行校正。而在匹配算法未检测出第一类型(即第一类型不存在)时，则以分类模型检测的第二类型作为最终类型，在分类模型未检测到第二类型(即，第二类型不存在)时，则以匹配算法检测的第一类型作为最终类型。如此，融合匹配算法和分类模型的检测结果，以更为准确地输出待检件200的类型。

本申请的检测方法、检测装置10和检测设备100，首先通过匹配算法检测出待检件的图像的第一类型，然后基于分类模型检测待检件的图像的第二类型，然后结合匹配算法检测的第一类型和分类模型检测的第二类型，并进行融合处理，以得到待检件的图像的最终类型，相较于仅通过匹配算法检测的第一类型作为最终类型而言，通过第一类型和第二类型融合处理后得到的最终类型的准确性较高，可提高检测效果。

请参阅2、图3和图4，在某些实施方式中，在步骤011包括：

0111：获取与待检件200的图像匹配的预设模板；

0112：融合处理预设模板和待检件200的图像，以检测第一类型。

在某些实施方式中，第一检测模块11还用于获取与待检件200的图像匹配的预设模板；融合处理预设模板和待检件200的图像，以检测第一类型。也即是说，步骤0111和步骤0112可以由第一检测模块执行。

在某些实施方式中，处理器20还用于获取与待检件200的图像匹配的预设模板；融合处理预设模板和待检件200的图像，以检测第一类型。也即是说，步骤0111和步骤0112可以由处理器20执行。

具体地，处理器20在基于预设的匹配算法检测待检件200的图像的特征点时，可首先获取与待检件200的图像匹配的预设模板，其中，与待检件200的图像匹配的预设模板可以是不具有特征点的待检件200的图像，如对于晶圆而言，预设模板则是不具有特征点的晶圆图像，且该晶圆的型号与待检件200相同，以保证两者的晶圆图案、本身的形状、图案背景等均是相同的。

然后处理器20将预设模板和待检件200的图像进行融合处理。具体可以是，先将待检件200的图像和预设模板均分为数量相同的多个图像区域，然后将待检件200的图像和预设模板两者位置对应的图像区域进行对比，若两者对应的图像区域不同(即，两者对应的图像区域的图像存在差异)，则根据两者的差异可确定该图像区域的第一类型，从而检测出所有图像区域的第一类型。如此，无需将每个图像区域均与所有不同类型的特征点的模板图像进行匹配，即可确定每个图像区域是否存在第一类型，计算量较小，且不会出现漏检。

在检测到所有的图像区域的第一类型后，处理器20则可确定具有相同的第一类型的图像区域的数量，可确定具有相同的第一类型且数量最大的图像区域的第一类型作为待检件的图像的第一类型。

请参阅图2、图3和图5，在某些实施方式中，步骤0112包括：

01121：对预设模板和待检件200的图像进行差影处理，以得到差值图像；及

01122：计算差值图像的连通域，以检测第一类型。

在某些实施方式中，第一检测模块11还用于对预设模板和待检件200的图像进行差影处理，以得到差值图像；计算差值图像的连通域，以检测第一类型。也即是说，步骤01121和步骤01122可以由第一检测模块11执行。

在某些实施方式中，处理器20还用于对预设模板和待检件200的图像进行差影处理，以得到差值图像；计算差值图像的连通域，以检测第一类型。也即是说，步骤01121和步骤01122可以由处理器20执行。

具体地，处理器20在融合处理预设模板和待检件200的图像时，可将预设模板和待检件200的图像进行差影处理，将预设模板和待检件200的图像位置对应的像素的像素值作差，并将差值作为像素值，以得到差值图像。

一般地，预设模板和待检件200的图像均为同一型号的传感器40拍摄得到的，两者的像素以及待检件200在两个图像中的位置是基本相同的，从而保证两者进行差影处理得到的差值图像中，存在差异的部分是由特征点引起的，使得特征点能够在差值图像中突出的显示出来，提升特征点检测准确性。

处理器20可识别差值图像的连通域，其中，连通域为像素值均大于预定像素值(如10、20、30等)且位置相互连接的多个像素组成的图像区域。例如，预定像素值可以是差值图像的所有像素的像素平均值，可以理解，预定像素值选取的越大，则检测的连通域为特征点的几率越大，可提高第一类型检测的准确性；预定像素值选取的越小，则检测的连通域为特征点的几率越小，可防止漏检。

在识别出差值图像的多个连通域后，可确定每个连通域均对应一个第一类型，处理器20根据所有连通域的第一类型即可确定待检件200的图像的第一类型。

请参阅图2、图3和图6，在某些实施方式中，步骤01122包括以下步骤：

01123：识别差值图像中的多个光斑，并为每个光斑编号；

01124：在相邻两个光斑的距离小于预设距离阈值时，将相邻两个光斑的编号修改为同一编号；

01125：连通编号相同的光斑以作为连通域；及

01126：检测面积大于预设面积阈值的连通域的第一类型，以获取待检件200的图像的第一类型。

在某些实施方式中，第一检测模块11还用于识别差值图像中的多个光斑，并为每个光斑编号；在相邻两个光斑的距离小于预设距离阈值时，将相邻两个光斑的编号修改为同一编号；连通编号相同的光斑以作为连通域；及检测面积大于预设面积阈值的连通域的第一类型，以获取待检件200的图像的第一类型。也即是说，步骤01123、步骤01124、步骤01125和步骤01126可以由第一检测模块11执行。

在某些实施方式中，处理器20还用于识别差值图像中的多个光斑，并为每个光斑编号；在相邻两个光斑的距离小于预设距离阈值时，将相邻两个光斑的编号修改为同一编号；连通编号相同的光斑以作为连通域；及检测面积大于预设面积阈值的连通域的第一类型，以获取待检件200的图像的第一类型。也即是说，步骤01123、步骤01124、步骤01125和步骤01126可以由处理器20实现。

具体地，当然，由于拍摄时间、拍摄环境等隐私的影响，预设模板和待检件200的图像可能存在除了特征点引起的差异之外的差异，从而在差值图像中突出显示出来，或者导致原来为一整块的第一类型部分，被分割为相近的多个小的第一类型部分，即连通域被分为多个不连续的部分。

因此，在确定连通域时，处理器20会先根据预定像素值识别出差值图像中所有的光斑，并依次对光斑进行编号，其中，光斑可以为连通域的一部分，即光斑也为大于预定像素值的相互连接的多个像素组成的图像区域。

在相邻的两个光斑的距离小于预设距离阈值时，可将相邻的两个光斑的编号修改为同一编号。如图7所示，存在5个光斑(分别为光斑1、光斑2、光斑3、光斑4和光斑5)，两个光斑可能是间隔分布，或者邻接分布等，如光斑1和光斑5、光斑5和光斑4间隔分布，光斑2和光斑3邻接分布，在两个光斑之间的距离小于预定距离阈值(如为1个像素、2个像素、3个像素等，以预定距离阈值为2个像素为例)时即可确定两个光斑是连通的，处理器20将连通的光斑的编号修改为同一编号，如光斑1、光斑4和光斑5均编号为1，光斑2和光斑3均编号为2。其中，两个光斑之间的距离为两个光斑的最小距离，如光斑1和光斑5中距离最近的两个像素(分别位于光斑1和光斑5)之间的距离。

然后处理器20将编号相同的光斑连通，以作为一个连通域，如图8所示，光斑1、光斑4和光斑5共同形成连通域a，光斑2和光斑3共同形成连通域b。从而使得原本对应一个特征点的多个光斑连通在一起，防止因连通域面积过小被当作噪声处理，从而出现漏检。

对于不同类型的待检件200而言，其对应的特征点的类型以及特征点的尺寸，是存在经验范围的。例如，对于晶圆而言，一般包括外来物、残胶、氧化、气泡、褶皱、破裂等特征点，且特征点的尺寸(如面积)大于预设面积阈值。

因此，当连通域的面积大于或等于预设面积阈值时，处理器20即可确定该连通域为特征点，从而消除掉为噪声的面积较小的连通域，准确检测出每个连通域的特征点的类型，以作为连通域的第一类型，在检测出所有连通域的第一类型后，处理器20根据所有连通域的第一类型即可确定待检件200的图像的第一类型。

例如，处理器20将面积最大的连通域的第一类型作为待检件200的图像的第一类型；或者，处理器20计算具有相同的第一类型的连通域的总面积，然后将最大的总面积对应的连通域的第一类型作为待检件200的图像的第一类型，从而准确地检测出待检件200的第一类型。

可以理解，在每个连通域的面积均小于预设面积阈值时，可确定待检件200不存在特征点，即，不存在第一类型。

请参阅图2、图3和图9，在某些实施方式中，步骤13包括：

0131：获取多个具有特征点的模板图像；

0132：依据特征点的类型对模板图像进行分类，以确定模板图像的类型；

0133：将分类前的多个模板图像和分类后的多个模板图像作为第一集，输入到分类模型进行训练，以获取训练至收敛的分类模型；及

0134：根据收敛后的分类模型检测待检件200的图像的第二类型。

在某些实施方式中，第二检测模块13还用于获取多个具有特征点的模板图像；依据特征点的类型对模板图像进行分类，以确定模板图像的类型；将分类前的多个模板图像和分类后的多个模板图像作为第一集，输入到分类模型进行训练，以获取训练至收敛的分类模型；及根据收敛后的分类模型检测待检件200的图像的第二类型。也即是说，步骤0131至步骤0134可以由第二检测模块13执行。

在某些实施方式中，处理器20还用于获取多个具有特征点的模板图像；依据特征点的类型对模板图像进行分类，以确定模板图像的类型；将分类前的多个模板图像和分类后的多个模板图像作为第一集，输入到分类模型进行训练，以获取训练至收敛的分类模型；及根据收敛后的分类模型检测待检件200的图像的第二类型。也即是说，步骤0131至步骤0134可以由处理器20执行。

具体地，模板图像为拍摄具有特征点的工件得到。例如，处理器20控制运动平台30移动，可使得传感器40每次拍摄时，视场范围仅覆盖工件中特征点所在的部分区域，通过移动拍摄工件的不同区域，然后将不同区域的图像拼接以获取工件的原始图像；

再例如，处理器20控制运动平台30移动，处理器20可根据传感器40的视场范围，调整传感器40与工件之间的距离，以使得工件位于视场范围内，从而通过一次拍摄即获取整个工件的原始图像。

选取的工件可以均是同一类型的工件，使得后续进行训练后得到的分类模型专门用于检测该类型的工件，从而提高分类模型的检测准确性。当然，选取的工件也可以是包含不同类型的工件，从而使得训练后得到的分类模型能够同时实现多种类型工件的检测，应用较为广泛。本实施方式以工件均为晶圆为例进行说明，晶圆的特征点一般包括外来物、残胶、氧化、气泡、褶皱、破裂等。

为了提升训练效果，在选取晶圆时，可选取晶圆图案、或者晶圆背景图案互不相同的多个晶圆，从而获取图像背景互不相同的多个模板图像，以提升模板图像的多样性，提升训练效果的同时，还可减少训练后的分类模型受到图像背景的影响，使得分类模型即使在不同图像背景下，依旧能够准确地进行第二类型的检测。

此外，在选取晶圆时，还可选取具有至少部分不同类型的特征点的晶圆。例如，选取了晶圆A、晶圆B、晶圆C，则晶圆A、晶圆B和晶圆C三者具有的特征点至少部分不同，如晶圆A具有外来物、残胶和氧化的特征点，晶圆B具有残胶、氧化和气泡的特征点，晶圆C具有氧化、气泡、褶皱和破裂的特征点。从而使得模板图像具有的特征点存在一定差异，可提升模板图像的多样性，从而提升训练效果。

可以理解，不同类型的工件，出现特征点概率最大的区域是不同的。因此，在获取模板图像时，可截取原始图像中，预定区域的部分以作为模板图像，预定区域即为当前工件出现特征点概率最大的区域，从而保证模板图像尺寸较小以降低计算量的同时，使得模板图像具有足够的特征点以进行后续的训练。

在一个例子中，工件为晶圆，预定区域一般为晶圆的中心区域，如中心区域为以晶圆中心为圆心，半径为预定半径的圆形区域，预定半径可根据晶圆的半径确定，如预定半径为晶圆的半径的60％、70％、75％、80％、90％等。因此，在拍摄并获取到晶圆的原始图像后，可截取原始图像中与中心区域对应的图像，从而得到模板图像。

或者，工件的特征点已提前进行标注，处理器20根据被标注的特征点，从原始图像中截取包含一个或多个特征点的区域的图像，以作为模板图像。如将每个特征点所在的区域均截取出来作为一个模板图像，或者同时截取包含多个特征点的所在的区域的图像作为一个模板图像等。本申请实施方式中，处理器20将每个特征点所在的区域均截取出来作为一个模板图像。

在得到模板图像后，可对模板图像进行分类。例如，质检人员根据经验，根据模板图像中特征点的类型对模板图像进行分类，若特征点的类型为外来物，则模板图像的类型为外来物，若特征点的类型为残胶，则模板图像的类型为残胶等。

处理器20可获取分类后的多个模板图像，然后处理器20将分类前的多个模板图像和分类后的多个模板图像作为第一集，输入到分类模型中进行训练，直至分类模型收敛，由于经过分类后的模板图像中的特征点的类型较为准确，可提升分类模型的检测效果。

经过第一集训练并调整后的分类模型能够准确检测待检件200的图像的第二类型时，则可认为分类模型收敛。

最后，处理器20根据收敛后的分类模型，在传感器40拍摄到待检件200的图像后，对待检件200的图像进行检测，以识别待检件200的图像的第二类型。

具体为：处理器20据收敛后的分类模型检测待检件200的图像时，可输出待检件200的图像中每个特征点的第二类型和对应的置信度；若特征点为一个，则在该特征点的置信度大于或等于该特征点的第二类型对应的预设的置信度阈值时，以该特征点的第二类型作为待检件200的图像的第二类型。其中，置信度阈值与特征点的类型对应，不同类型的特征点对应不同的置信度阈值，从而针对性的提升不同类型的特征点的检测准确性；若该特征点的置信度小于该特征点的第二类型对应的置信度阈值时，则可确定待检件200的图像不存在第二类型。

若特征点为多个，则输出的第二类型也为多个，此时处理器以最大的置信度对应的第二类型作为待检件200的图像的第二类型，从而保证了待检件200的图像的第二类型的检测准确性。

如此，通过对具有特征点的模板图像进行特征点分类后，再输入分类模型进行训练，从而得到训练至收敛的分类模型，通过训练后的分类模型检测待检件的图像的特征点，能够准确地识别待检件200的图像的第二类型，在检测特征点时受到图像背景的影响较小，不易产生过检，从而能够提升检测效果。

且本申请的分类模型为端到端模型，端到端模型仅使用一个模型、一个目标函数，相较于多模块模型训练目标可能存在细微差异导致的训练效果难以达到最优，且不同模块之间的误差会相互影响，影响最终的检测准确性而言，端到端模型的实施和维护均较简单，且能够使得训练后的模型达到最优效果，检测效果较好且工程复杂度较低。

在某些实施方式中，处理器20还用于对多个模板图像进行扩增处理，扩增处理包括镜像、平移、旋转、剪切和变形中至少一种。

具体地，为了进一步提升模板图像的数量和多样性，处理器20可对根据原始图像得到的模板图像进行扩增处理。

请参阅图10，例如，处理器20对每个模板图像P1进行镜像处理，以得到每个模板图像P1的镜像图像P2，并作为新的模板图像P1。镜像处理后的镜像图像P2和模板图像P1镜面对称，且对称轴可以是任意的，如以模板图像P1的任一边为对称轴进行镜像处理(图10则以模板图像P1的最右侧的边作为对称轴进行镜像处理)，或者以模板图像P1的对角线或任意两边中点的连线为对称轴进行镜像处理等，从而通过镜像处理得到多个新的模板图像。

请参阅图11，再例如，处理器20对每个模板图像P1进行平移处理，以得到每个模板图像P1的平移图像P3，并作为新的模板图像P1。具体首先以模板图像P1确定预定的图像区域(即，模板图像P1所占的区域)，然后对模板图像P1进行平移，如左平移、右平移、左上平移等(图11中为向右平移)，然后将预定的图像区域的图像(即，平移图像P3)作为新的模板图像P1，平移后的特征点在图像中的位置发生变化，从而得到多个新的模板图像P1。

请参阅图12，再例如，处理器20对每个模板图像P1进行旋转处理，以得到每个模板图像P1的旋转图像P4，并作为新的模板图像P1。具体首先以模板图像P1确定预定的图像区域，然后对模板图像P1进行旋转，如顺时针或逆时针旋转10度、30度、60度、90度、140度等(图12为逆时针旋转30度)，然后将预定的图像区域的图像(及，旋转图像P4)作为新的模板图像P1，旋转后的特征点在图像中的位置发生变化，从而得到多个新的模板图像P1。

请参阅图13，再例如，处理器20对每个模板图像P1进行剪切处理，以得到每个模板图像的剪切图像P5，并作为新的模板图像P1。具体首先以模板图像P1确定预定的图像区域，然后对模板图像P1进行剪切，如剪切模板图像P1的1/4、1/3、1/2等(图13为剪切模板图像的1/2)，然后将预定的图像区域的图像(即剪切图像P5)作为新的模板图像P1，从而得到多个新的模板图像P1。

请参阅图14，再例如，处理器20对每个模板图像P1进行变形处理，以得到每个模板图像P1的变形图像P6，并作为新的模板图像P1。具体首先以模板图像P1确定预定的图像区域，然后对模板图像P1进行变形，如对模板图像沿横向进行压缩，使得原本矩形的模板图像P1变为带缺口的矩形，然后将预定的图像区域的图像(即变形图像P6)作为新的模板图像P1，变形后的特征点在图像中的位置和形状均发生变化，从而得到多个新的模板图像P1。

当然，处理器20还可同时对模板图像进行平移处理和旋转处理；或者同时进行平移处理、旋转处理和镜像处理；或者同时进行平移处理、旋转处理、镜像处理和剪切处理；或者，同时进行平移处理、旋转处理和镜像处理，且平移处理、旋转处理和镜像处理分别以不同的距离、不同的角度和不同的对称轴分别进行多次等，在此不再一一列举。

通过对模板图像进行扩增处理，无需获取较多原始图像即可获取大量的模板图像且模板图像的多样性较好，可提升对分类模型的训练效果。

请参阅图2、图3和图15，在某些实施方式中，步骤0133包括：

01331：输入分类前的模板图像至分类模型，以输出检测结果；

01332：将检测结果与分类后的模板图像进行比对以确定第一调整值；及

01333：根据第一调整值调整分类模型，以使得分类模型收敛。

在某些实施方式中，融合模块13还用于输入分类前的模板图像至分类模型，以输出检测结果；将检测结果与分类后的模板图像进行比对以确定第一调整值；及根据第一调整值调整分类模型，以使得分类模型收敛。也即是说，步骤01331至步骤01333可以由融合模块13执行。

在某些实施方式中，处理器20还用于输入分类前的模板图像至分类模型，以输出检测结果；将检测结果与分类后的模板图像进行比对以确定第一调整值；及根据第一调整值调整分类模型，以使得分类模型收敛。也即是说，步骤01331至步骤01333可以由处理器20执行。

具体地，在训练时，首先输入分类前的模板图像到分类模型，然后分类模型会输出检测结果，检测结果包括每个模板图像的类型和置信度，然后将检测结果和分类后的模板图像进行对比，如对比检测结果和分类后的模板图像的类型和置信度是否相同，从而确定第一调整值；处理器20根据第一调整值调整分类模型，以使得分类模型收敛。例如，根据检测结果中的类型和分类后的模板图像的类型是否相同来调整类型检测参数，根据检测结果中的置信度和分类后的模板图像的置信度(经过人工分类得到的模板图像的置信度一般为1)来调整置信度检测参数，通过包含大量的分类前和分类后的模板图像的第一集进行检测及调整，从而使得分类模型收敛，保证分类模型的检测效果。

在某些实施方式中，处理器20还用于将检测结果中的类型和分类后的模板图像的类型进行比对，以确定类型调整值；将检测结果中的置信度和分类后的模板图像的置信度进行比对，以确定置信度调整值；根据类型调整值和置信度调整值确定第一调整值。

具体地，在确定第一调整值时，可将检测结果中的类型和分类后的模板图像的类型进行比对，以确定类型调整值。若检测结果中的类型和分类后的模板图像的类型相同，则确定调整值为0，若检测结果中的类型和分类后的模板图像的类型不同，则确定调整值为1。

然后可将检测结果中的置信度和分类后的模板图像的置信度进行比对，以确定置信度调整值。如根据检测结果中的置信度和分类后的模板图像的和置信度的差值确定置信度调整值，差值越大，调整值则越大。

由于特征点类型的判断的重要性较高，因此，在根据类型调整值和置信度调整值确定第一调整值时，可赋予类型调整值较大的权值，如第一调整值＝a*类型调整值+b*置信度调整值，其中，a大于b。从而保证处理器20根据第一调整值调整分类模型后，对特征点的类型的检测准确性。

在某些实施方式中，处理器20还用于对第一集进行变换处理以得到第二集；输入第二集到调整后分类模型，以输出第二调整值；在第二调整值小于预设阈值时，确定分类模型收敛；在第二调整值大于预设阈值时，将第二集作为第一集，再次训练分类模型，直至分类模型收敛。

具体地，在根据第一调整值调整分类模型后，需要确定分类模型是否收敛，此时可对第一集进行变换处理以得到第二集，变换处理可以是对模板图像进行平移、旋转、镜像、剪切和变形中至少一种，具体变换过程可参考扩增处理，在此不再赘述。变换处理后即可得到新的模板图像，将每个模板图像均进行变换处理后，即可得到由多张新的模板图像形成的第二集。第二集包括每个变换后的模板图像，其中，对于分类前后对应的模板图像则进行相同的变换处理，以使得其在第二集中依旧对应。第二集中的模板图像与第一集中的模板图像均不相同，从而使得第二集能够准确验证分类模型是否收敛。

输入第二集到分类模型后，分类模型输出第二调整值，此时处理器20判断第二调整值是否小于预设阈值。若第二调整值小于预设阈值，则说明检测的损失较小，检测准确性已达到要求，可确定分类模型已收敛。

若第二调整值大于预设阈值，则说明检测的损失过大，检测准确性依旧未达到要求，此时可确定分类模型未收敛，需要继续训练。此时则以第二集作为第一集，并可以再次对第一集进行扩增处理以增加第一集的模板图像的数量和多样性，再次对分类模型进行第二轮训练，在训练后，再次通过对第一集进行变换处理以得到第二集，再次验证分类模型是否收敛，在未收敛时，继续以第二集作为第一集并进行扩增处理，再次对分类模型进行第三轮训练，如此循环，直至训练后的分类模型收敛。

在某些实施方式中，处理器20还用于输入预设的第二集到分类模型，以输出第三调整值，第二集与第一集的图像不同；在第三调整值小于预设阈值时，确定分类模型收敛；在第三调整值大于预设阈值时，对第一集进行变换处理，并根据变换处理后的第一集再次训练分类模型，直至分类模型收敛。

具体地，在根据第一调整值调整分类模型后，需要确定分类模型是否收敛。此时处理器20可先获取预设的第二集，第二集中的图像与第一集中的模板图像均不相同，从而使得第二集能够准确验证分类模型是否收敛。

然后处理器20输入预设的第二集到分类模型后，分类模型输出第三调整值，此时处理器20判断第三调整值是否大于预设阈值。若第三调整值小于或等于预设阈值，则说明检测的损失较小，检测准确性已达到要求，可确定分类模型已收敛。

若第三调整值大于预设阈值，则说明检测的损失过大，检测准确性依旧未达到要求，此时可确定分类模型未收敛，需要继续训练。此时可再次对第一集进行扩增处理以增加第一集的模板图像的数量和多样性，再次对分类模型进行第二轮训练，在训练后，再次通过预设的第二集验证分类模型是否收敛，在未收敛时，继续对第一集进行扩增处理，再次对分类模型进行第三轮训练，如此循环，直至训练后的分类模型收敛。

请参阅图16，本申请实施方式的一个或多个包含计算机程序302的非易失性计算机可读存储介质300，当计算机程序302被一个或多个处理器20执行时，使得处理器20可执行上述任一实施方式的标定方法。

例如，请结合图1至图3，当计算机程序302被一个或多个处理器20执行时，使得处理器20执行以下步骤：

011：基于预设的匹配算法，检测待检件的图像的第一类型；

012：基于预设的分类模型，检测所述待检件的图像的第二类型；及

013：融合所述第一类型和所述第二类型，以输出最终类型。

再例如，请结合图2、图3和图4，当计算机程序302被一个或多个处理器20执行时，处理器20还可以执行以下步骤：

0111：获取与待检件200的图像匹配的预设模板；

0112：融合处理预设模板和待检件200的图像，以检测第一类型。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施方式或示例以及不同实施方式或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施方式所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (11)

1.一种检测方法，其特征在于，包括：

基于预设的匹配算法，检测待检件的图像的第一类型；

基于预设的分类模型，检测所述待检件的图像的第二类型；及

融合所述第一类型和所述第二类型，以输出最终类型；

所述融合所述第一类型和所述第二类型，以输出最终类型，包括：

在所述第一类型和所述第二类型不同时，确定所述第二类型为所述最终类型；

在所述第一类型不存在时，确定所述第二类型为所述最终类型；

在所述第二类型不存在时，确定所述第一类型为所述最终类型；

其中，所述第二类型的检测准确性高于所述第一类型的检测准确性。

2.根据权利要求1所述的检测方法，其特征在于，所述基于预设的匹配算法，检测待检件的图像的第一类型，包括：

获取与所述待检件的图像匹配的预设模板；

融合处理所述预设模板和所述待检件的图像，以检测所述第一类型。

3.根据权利要求2所述的检测方法，其特征在于，所述融合处理所述预设模板和所述待检件的图像，以检测所述第一类型，包括：

对所述预设模板和所述待检件的图像进行差影处理，以得到差值图像；

计算所述差值图像的连通域，以检测所述第一类型。

4.根据权利要求3所述的检测方法，其特征在于，所述计算所述差值图像的连通域，以检测所述第一类型，包括：

识别所述差值图像中的多个光斑，并为每个所述光斑编号；

在相邻两个所述光斑的距离小于预设距离阈值时，将相邻两个所述光斑的编号修改为同一编号；

连通编号相同的所述光斑以作为所述连通域；及

检测面积大于预设面积阈值的所述连通域的所述第一类型，以获取所述待检件的图像的所述第一类型。

5.根据权利要求4所述的检测方法，其特征在于，所述检测面积大于预设面积阈值的所述连通域的所述第一类型，包括：

将面积最大所述连通域的所述第一类型作为所述待检件的图像的所述第一类型；或

计算具有相同的所述第一类型的所述连通域的总面积；及

将与最大的所述总面积对应的所述连通域的所述第一类型作为所述待检件的图像的所述第一类型。

6.根据权利要求1所述的检测方法，其特征在于，所述基于预设的分类模型，检测所述待检件的图像的第二类型，包括：

获取多个具有特征点的模板图像；

依据所述特征点的类型对所述模板图像进行分类，以确定所述模板图像的类型；

将分类前的多个所述模板图像和分类后的多个所述模板图像作为第一集，输入到分类模型进行训练，以获取训练至收敛的所述分类模型；及

根据收敛后的所述分类模型检测所述待检件的图像的所述第二类型。

7.根据权利要求6所述的检测方法，其特征在于，所述将分类前的多个所述模板图像和分类后的多个所述模板图像作为第一集，输入分类模型进行训练，以获取训练至收敛的所述分类模型，包括：

输入所述分类前的所述模板图像至所述分类模型，以输出检测结果；

将所述检测结果与分类后的所述模板图像进行比对以确定第一调整值；及

根据所述第一调整值调整所述分类模型，以使得所述分类模型收敛。

8.根据权利要求6所述的检测方法，其特征在于，所述待检件的图像的类型为多个，所述依据收敛后的所述分类模型检测所述待检件的图像的所述第二类型，包括：

依据收敛后的所述分类模型检测所述待检件的图像，以确定所述待检件的图像的类型及置信度；及

确定最大的置信度对应的所述待检件的图像的类型为所述待检件的图像的第二类型。

9.一种检测装置，其特征在于，包括：

第一检测模块，用于基于预设的匹配算法，检测待检件的图像的第一类型；

第二检测模块，用于基于预设的分类模型，检测所述待检件的图像的第二类型；

融合模块，用于融合所述第一类型和所述第二类型，以输出最终类型；

所述融合所述第一类型和所述第二类型，以输出最终类型，包括：

在所述第一类型和所述第二类型不同时，确定所述第二类型为所述最终类型；

在所述第一类型不存在时，确定所述第二类型为所述最终类型；

在所述第二类型不存在时，确定所述第一类型为所述最终类型；

其中，所述第二类型的检测准确性高于所述第一类型的检测准确性。

10.一种检测设备，其特征在于，包括处理器，所述处理器用于：

基于预设的匹配算法，检测待检件的图像的第一类型；

基于预设的分类模型，检测所述待检件的图像的第二类型；及

融合所述第一类型和所述第二类型，以输出最终类型；

所述融合所述第一类型和所述第二类型，以输出最终类型，包括：

在所述第一类型和所述第二类型不同时，确定所述第二类型为所述最终类型；

在所述第一类型不存在时，确定所述第二类型为所述最终类型；

在所述第二类型不存在时，确定所述第一类型为所述最终类型；

其中，所述第二类型的检测准确性高于所述第一类型的检测准确性。

11.一种包含计算机程序的非易失性计算机可读存储介质，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1-8任意一项所述的检测方法。