CN114331961A - 用于对象的缺陷检测的方法 - Google Patents

Abstract

本公开涉及一种用于对象的缺陷检测的方法以及装置，通过对目标区域的图像的匹配以及裁剪，能够有效准确地去除由与缺陷检测无关的背景区域，减少了后续图像分割时的运算量，并进一步避免了获取目标区域的图像时由于拍摄图像的角度变化等所带来的影响。此外，能够在必要时进行样本扩充，以对分类器再次进行训练，有效避免过拟合，进一步提高了分类器分割的准确性。本公开还涉及一种用于训练用于对象的缺陷检测的分类器的方法，其同样能够有效准确地去除由与训练无关的背景区域，减少后续图像分割时的运算量，并有效避免过拟合。

Description

用于对象的缺陷检测的方法

技术领域

本公开涉及缺陷检测领域，更具体地，涉及一种用于对象的缺陷检测的方法和装置、用于训练用于对象的缺陷检测的分类器的方法和装置、以及计算机程序产品，其用于执行用于对象的缺陷检测的方法和用于训练用于对象的缺陷检测的分类器的方法。

背景技术

在现代工业制造中，企业所生产的各类零部件中不可避免会有一定概率出现不良品。一方面，为保证产品质量，企业必须将不良品检出并进行后续处理；另一方面，找到不良品并且分析各类缺陷形态特征及占比，对于改良生产工艺、提高产线良率至关重要。

在传统工业制造过程中，企业多采用人工观察的方式对产品进行缺陷检测和分类。然而，例如对于半导体制造、集成电路加工等领域，由于检测对象通常仅具有非常小的空间尺寸，难以直接进行人工观察。如图1A所示，当检测对象为集成电路上的金手指时，其尺寸例如仅为4.8mm*2.1mm，通过肉眼很难直接对其进行缺陷检测。因此，在传统工业制造过程中的缺陷检测通常需要由经过专业培训的人员在显微镜下进行。由此，一方面，对于质检人员而言，存在工作强度大、工作内容单一等问题，导致员工流失率大；另一方面，对于企业而言，存在检测成本大(例如人员成本、检测设备成本等)、质检效率低等问题。

此外，对于检测对象的不同子区域，通常需要设置不同的合格判断准则。如图1B所示出的放大后的金手指的局部区域，当检测对象为集成电路上的金手指时，需要将待检测的金手指区域还细分多个子区域，如所示出的接触区、非接触区、过渡区等。在此，对于落在不同子区域上的缺陷，合格的判断准则也不同。而在采用人工观察的方式对产品进行缺陷检测和分类的情况下，必须借助例如菲灵尺等测量工具，才能对检测对象中不同子区域上的、不同大小的缺陷进行区别判断。由此，检测过程费时费力，进一步增加了检测成本，且检测误差较大。

因此，存在对一种用于缺陷检测的方法的需求，所述方法能够非人工地对检测对象进行检测，实时且精准地判定检测对象上缺陷的类别以及缺陷所位于的位置，并根据企业的合格判断准则自动判定该检测对象是否合格。

发明内容

因此，本公开提供了一种用于对象的缺陷检测的方法和装置，所述方法和装置在对对象的不同子区域进行考虑的情况下，对检测对象的图像进行预处理；并基于机器学习，借助基于语义分割网络的分类器，对目标区域的图像的对象区域进行分割，以确定对象上的缺陷的类型、位置以及形态；并基于针对不同子区域的不同的检测标准，输出缺陷检测结果。

此外，本公开还提供了一种用于训练用于对象的缺陷检测的分类器的方法和装置，所述方法和装置对检测对象的图像进行预处理，并借助预处理后的检测对象的图像作为训练样本，利用机器学习训练所述分类器。

此外，本公开还提供了一种计算机程序产品，所述存储介质上存储有计算机程序或指令，所述计算机程序或指令在被处理器执行时实现上述用于对象的缺陷检测的方法或者用于训练用于对象的缺陷检测的分类器的方法的步骤。

本公开的第一方面涉及一种用于对象的缺陷检测的方法，包括：获取目标区域的图像，所述目标区域包括对象区域以及非对象区域；从所述目标区域的图像中裁剪得到与所述对象区域对应的对象区域图像；对所述对象区域图像进行分割(例如像素级、次像素级分割)，以获得所述对象区域中至少一个候选缺陷的缺陷信息，所述缺陷信息包括缺陷形态信息；以及对于所述至少一个候选缺陷，基于所述缺陷形态信息和检测标准，确定所述候选缺陷是否为最终缺陷。

例如在目标区域为PCB电路板、金属模具等上的目标器件、例如金手指的情况下，除了目标器件以外，获取目标区域的图像通常还包括了无关背景区域，例如PCB电路板的如印刷导线等的纹理结构。这些无关背景区域一方面增加了对目标区域的图像进行分割的难度及运算量，另一方面容易造成大量误检。

而在根据本公开的用于对象的缺陷检测的方法中，首先对目标区域的图像进行了预处理，即，从所述目标区域的图像中定位到(即，裁剪出)需要进行缺陷检测的区域，即所谓的对象区域。由此，可以有效去除由与缺陷检测无关的背景区域所带来的对后续图像分割的额外负担，减少了后续图像分割的运算量，并且排除了无关的背景区域可能带来的背景干扰，进一步提高了后续图像分割以及缺陷信息的准确性。

根据本公开的方法的更详细的实施方式，在所述方法中，所述对象区域被划分为至少两个子区域，并且所述缺陷信息还包括缺陷位置信息，所述缺陷位置信息用于指示缺陷所在的子区域，其中，所述对象区域中至少一部分子区域具有不同的检测标准，其中，确定所述候选缺陷是否为最终缺陷，还包括：对于所述至少一个候选缺陷，基于所述缺陷位置信息确定所述缺陷所在的子区域，并基于所述缺陷形态信息和所述缺陷所在的子区域所对应的检测标准，确定所述候选缺陷是否为最终缺陷。

由此，实现了对缺陷所在子区域的更精确的定位，方便后续针对缺陷所位于的不同子区域利用不同的检测标准进行不同的判断。

根据本公开的方法的更详细的实施方式，在所述方法中，所述从所述目标区域的图像中裁剪得到与所述对象区域对应的对象区域图像包括：根据与所述对象区域相对应的模板图像，对所述目标区域的图像进行匹配以及裁剪，以生成所述对象区域图像，其中，所述模板图像包含对象区域中各子区域的位置信息。

由于针对目标区域的不同子区域，通常需要以不同检测标准来判断其是否合格。故，根据本公开的方法，首先将目标区域的图像与包含对象区域中各子区域的位置信息的模板图像匹配。经由匹配，当确定对象区域图像上的某坐标位置上存在缺陷，则可以根据所述模板图像所包含的各子区域的位置信息，方便地确定该缺陷所属于的子区域。由此，实现了对缺陷所在子区域的更精确的定位，方便后续针对缺陷所位于的不同子区域利用不同的检测标准进行不同的判断。

根据本公开的方法的更详细的实施方式，在所述方法中，对所述目标区域的图像进行匹配以及裁剪，包括：对所述模板图像进行特征提取，确定所述模板图像的各个特征点的梯度信息，以及对所述目标区域的图像进行特征提取，确定所述目标区域的图像的各个特征点的梯度信息，其中，梯度信息包括特征点的梯度值和梯度方向；根据所述模板图像的各个特征点的梯度信息以及所述目标区域的图像的各个特征点的梯度信息，确定所述模板图像的各个特征点与所述目标区域的图像的各个特征点之间的相似度；以及根据所述模板图像的各个特征点与所述目标区域的图像的各个特征点之间的相似度，确定匹配定位信息，其中，所述匹配定位信息包括其间具有最大相似度的所述模板图像的特征点和所述目标区域的图像的特征点的定位信息；根据所述匹配定位信息，对所述目标区域的图像进行匹配以及裁剪。

由此，在此，在进行相似性度量时，不仅考虑了特征点的梯度值，而且还进一步考虑了特征点的梯度方向。由此，即使在光照、纹理复杂的情况下，也可以实现所述模板图像与所述目标区域的图像之间的良好稳定的匹配，进一步提升了后续的匹配稳定性。

此外，可以将待匹配的目标区域的图像中的各个特征点移动至所述模板图像的与其具有最大相似度的相应的特征点处，以实现匹配。由此，方便后续对该对象区域图像进行分割，进一步降低了图像分割时的运算量。

根据本公开的方法的更详细的实施方式，在所述方法中，所述模板图像为利用掩膜图像对初始模板图像进行掩膜过滤得到的图像，其中，所述初始模板图像为与所述对象区域对应的初始区域图像，所述掩模图像为用于对所述初始模板图像中的图案进行掩模提取的图像。

由此，通过掩膜过滤，所述模板图像能够准确地为仅与所述对象区域对应的初始区域图像。通过将所述目标区域的图像与该经由掩膜过滤而得到的模板图像进行匹配并进行裁剪，能够得到同样仅与所述对象区域对应的图像，换言之，实现了对所述对象区域图像的生成。由此，经由掩膜过滤，在目标区域的图像上具有丰富纹理图像等情况下能够将这些丰富纹理图像滤除，进一步实现了对待进行缺陷检测的对象区域的更准确的定位，极大地提升了后续的匹配稳定性。并且由此后续的图像分割也不再针对非对象区域，而是仅针对匹配以及裁剪出的所述对象区域图像，由此，进一步降低了图像分割时的运算量，并进一步提高了后续图像分割以及缺陷信息的准确性。

根据本公开的方法的更详细的实施方式，在所述方法中，所述缺陷信息为与所述对象区域图像对应的灰度图像，其中，与缺陷对应的像素点具有特定灰度值，其中，所述缺陷位置信息对应于与缺陷对应的像素点在所述灰度图像中的空间位置，并且所述缺陷形态信息对应于与缺陷对应的像素点所构成的形状。

由此，利用所述灰度图像显示所述缺陷信息，可以直观地根据具有特定灰度值的缺陷图案在所述灰度图像上的空间位置，判断出该缺陷图案、换言之缺陷所位于的子区域。然后，可以使用与该子区域相对应的检测标准来进行后续判断并生成缺陷检测结果。综上，利用所述灰度图像形式的缺陷信息，进一步方便了后续确定缺陷检测结果。

根据本公开的方法的更详细的实施方式，在所述方法中，所述缺陷信息还包括缺陷类型信息，其中，所述基于所述缺陷形态信息和所述缺陷所在的子区域所对应的检测标准，确定是否将所述候选缺陷作为缺陷检测结果，还包括：基于所述缺陷类型信息、所述缺陷形态信息和所述缺陷所在的子区域所对应的检测标准，确定是否将所述候选缺陷作为缺陷检测结果。

在此，所述缺陷例如为凹陷或突起。由此，在后续确定缺陷检测结果时，不仅对所述缺陷形态信息和所述缺陷所在的子区域进行了考虑，而且还对缺陷的具体缺陷类型进行了考虑，进一步提高了缺陷检测的应用范围。

根据本公开的方法的更详细的实施方式，在所述方法中，利用基于语义分割网络的分类器，对匹配后的对象区域图像进行像素级分割，以输出对象区域中的缺陷信息。

语义分割网络，诸如Deeplab V1、Deeplab V3 Plus等，引入空洞卷积来替换传统的卷积并且利用全连接CRF来实现更精确的定位。并且在最后引入全连接条件随机场来进行平滑处理，综合考虑全局信息，恢复详细的局部结构，如精确图形的轮廓，从而提高定位精度。

根据本公开的方法的更详细的实施方式，所述方法还包括：从具有缺陷的对象样本图像中提取缺陷图形；对所述缺陷图形进行图形变换，以生成至少一个经变换的缺陷图形；将所述至少一个经变换的缺陷图形分别与至少一个候选的对象区域图像进行图像合成，以生成用于训练的至少一个对象区域图像；以及基于所述用于训练的至少一个对象区域图像，对所述分类器进行训练。

由此，在缺乏真实缺陷样本，导致分类器分类分割不准确，但无缺陷样本充足的情况下，可以将所检测到的真实的缺陷图形与至少一个候选的对象区域图像进行图像合成，人为合成逼真的“虚拟的”缺陷样本，并据此再次对分类器进行训练。由此，不再需要采集大量的缺陷样本，实现了对缺陷样本的样本扩充，提高了分类器分类分割的准确性。此外，在根据本发明的方法中，还可以对所述缺陷图形进行图形变换，即例如对所述缺陷图像进行适当的缩放、旋转变换等。由此，进一步提高了缺陷样本的多样性，实现了对缺陷样本的进一步扩充，进一步提高了分类器分类分割的准确性。

根据本公开的方法的更详细的实施方式，所述方法还包括：获取所述缺陷位置信息的历史分布；在考虑缺陷位置的历史分布的情况下，将所述至少一个经变换的缺陷图形分别与至少一个候选的对象区域图像进行图像合成。

由此，在根据本公开的方法中，考虑到金手指具有精细的分区，且不同子区域缺陷分布差异很大，故首先对缺陷位置的历史分布进行记录。由此，进一步提高了缺陷样本的多样性，实现了对缺陷样本的进一步扩充，进一步提高了分类器分类分割的准确性。

根据本公开的方法的更详细的实施方式，所述对象为金手指。

由此，借助根据本公开的方法，首先可以利用模板图像，对包括金手指区域的目标区域的图像进行匹配以及裁剪，去除无效背景区域干扰。然后，例如借助基于语义分割网络的分类器，在金手指区域上对缺陷进行分割、特别是像素级分割，以输出对象区域中的缺陷信息。然后，根据缺陷信息以及所述缺陷所在的子区域所对应的检测标准，输出缺陷检测结果。即，本发明具有上文针对各个实施方式所阐述的优点，在此为简洁起见不再进行赘述。

此外，本公开的第二方面涉及一种用于训练用于对象的缺陷检测的分类器的方法，包括：获取缺陷样本的图像，其中，所述缺陷样本包括对象区域和非对象区域，所述对象区域中包括至少一个缺陷；从所述缺陷样本的图像中裁剪出与所述对象区域对应的对象区域图像作为用于训练的样本图像，并且获得所述至少一个缺陷的缺陷信息；利用所述用于训练的样本图像以及所述缺陷信息，对所述分类器进行训练，其中，所述分类器基于语义分割网络，其对待检测的对象区域图像进行分割、特别是像素级分割，以输出待检测对象区域中的缺陷信息，其中，所述缺陷信息包括缺陷类型信息、缺陷位置信息以及缺陷形态信息中的至少一部分，其中，从所述缺陷样本的图像中裁剪出所述对象区域图像作为用于训练的样本图像包括：根据定位在所述对象区域处的模板图像，对所述缺陷样本的图像进行匹配以及裁剪，以生成所述对象区域图像作为样本图像。

由此，一方面，通过对缺陷样本的图像进行预处理，即，从所述缺陷样本的图像中裁剪出所述对象区域图像作为用于训练的样本图像，可以有效去除由与缺陷检测无关的背景区域所带来的对后续图像分割的额外负担，减少了后续训练分类器的运算量，并且排除了无关的背景区域可能带来的背景干扰，进一步提高了训练出的分类器所提供的缺陷信息的准确性；另一方面，可以方便地利用匹配后具有一致的空间延伸以及空间角度的样本图像对分类器进行训练，减少了后续训练分类器的运算量，并且还进一步提高了训练出的分类器所提供的缺陷信息的准确性。

根据本公开的方法的更详细的实施方式，在所述方法中，对所述缺陷样本的图像进行匹配以及裁剪，包括：对所述模板图像进行特征提取，确定所述模板图像的各个特征点的梯度信息，以及对所述缺陷样本的图像进行特征提取，确定所述缺陷样本的图像的各个特征点的梯度信息，其中，梯度信息包括特征点的梯度值和梯度方向；根据所述模板图像的各个特征点的梯度信息以及所述缺陷样本的图像的各个特征点的梯度信息，确定所述模板图像的各个特征点与所述缺陷样本的图像的各个特征点之间的相似度；以及根据所述模板图像的各个特征点与所述缺陷样本的图像的各个特征点之间的相似度，确定匹配定位信息，其中，所述匹配定位信息包括其间具有最大相似度的所述模板图像的特征点和所述缺陷样本的图像的特征点的定位信息；根据所述匹配定位信息，对所述缺陷样本的图像进行匹配以及裁剪，以生成所述对象区域图像作为样本图像，其中，所述模板图像为利用掩膜图像对初始模板图像进行掩膜过滤得到的图像，其中，所述初始模板图像为与所述对象区域对应的初始区域图像，所述掩模图像为用于对所述初始模板图像中的图案进行掩模提取的图像。

由此，在此，在进行相似性度量时，不仅考虑了特征点的梯度值，而且还进一步考虑了特征点的梯度方向。由此，即使在光照、纹理复杂的情况下，也可以实现所述模板图像与所述目标区域的图像之间的良好稳定的匹配，进一步提升了后续的匹配稳定性。

此外，如上所述，进一步实现了对待进行缺陷检测的对象区域的更准确的定位，极大地提升了后续的匹配稳定性。并且由此后续的图像分割也不再针对非对象区域，而是仅针对匹配以及裁剪出的所述对象区域图像，由此，进一步降低了图像分割时的运算量，并进一步提高了后续图像分割以及缺陷信息的准确性。

根据本公开的方法的更详细的实施方式，在所述方法中，从具有缺陷的对象样本图像中提取缺陷图形；对所述缺陷图形进行图形变换，以生成至少一个经变换的缺陷图形；将所述至少一个经变换的缺陷图形分别与至少一个候选的对象区域图像进行图像合成，以生成用于训练的至少一个对象区域图像；以及基于所述用于训练的至少一个对象区域图像，对所述分类器进行训练。

由此，如上所述，进一步提高了缺陷样本的多样性，实现了对缺陷样本的进一步扩充，有效避免了过拟合，并进一步提高了分类器分类分割的准确性。

此外，本公开的第三方面涉及一种用于缺陷检测的装置，包括：图像获取模块，其被配置为获取目标区域的图像，所述目标区域包括对象区域以及非对象区域；图像预处理模块，其被配置为从所述目标区域的图像中裁剪得到与所述对象区域对应的对象区域图像；分类器，其被配置为对所述对象区域图像进行分割(例如，像素级、次像素级分割)，以获得所述对象区域中至少一个候选缺陷的缺陷信息，所述缺陷信息包括缺陷形态信息；以及判断模块，其被配置为对于所述至少一个候选缺陷，基于所述缺陷形态信息和检测标准，确定所述候选缺陷是否为最终缺陷。

在此，根据本公开的用于缺陷检测的装置具有与上文所述的根据本公开的用于对象的缺陷检测的方法具有对应的优点，故在此为简洁起见不再赘述。

根据本公开的装置的更详细的实施方式，在根据本公开的装置中，所述对象区域被划分为至少两个子区域，并且所述缺陷信息还包括缺陷位置信息，所述缺陷位置信息用于指示缺陷所在的子区域，其中，所述对象区域中至少一部分子区域具有不同的检测标准，其中，所述判断模块还被配置为：对于所述至少一个候选缺陷，基于所述缺陷位置信息确定所述缺陷所在的子区域，并基于所述缺陷形态信息和所述缺陷所在的子区域所对应的检测标准，确定所述候选缺陷是否为最终缺陷。

在此，根据本公开的用于缺陷检测的装置具有与上文所述的根据本公开的用于对象的缺陷检测的方法具有对应的优点，故在此为简洁起见不再赘述。

根据本公开的装置的更详细的实施方式，在根据本公开的装置中，图像预处理模块还被配置为根据与所述对象区域相对应的模板图像，对所述目标区域的图像进行匹配以及裁剪，以生成所述对象区域图像，其中，所述模板图像包含对象区域中各子区域的位置信息。

在此，所述装置具有与上文关于模板图像所述的根据本公开的用于对象的缺陷检测的方法的实施方式相对应的优点，故在此为简洁起见不再赘述。

根据本公开的装置的更详细的实施方式，在根据本公开的装置中，所述图像预处理模块还被配置为：从具有缺陷的对象样本图像中提取缺陷图形；对所述缺陷图形进行图形变换，以生成至少一个经变换的缺陷图形；以及将所述至少一个经变换的缺陷图形分别与至少一个候选的对象区域图像进行图像合成，以生成用于训练的至少一个对象区域图像；以及所述分类器还被配置为，基于所述用于训练的至少一个对象区域图像，再次进行训练。

在此，所述装置具有与上文关于提取缺陷图形并进行图像合成所述的根据本公开的用于对象的缺陷检测的方法的实施方式相对应的优点，故在此为简洁起见不再赘述。

此外，本公开的第四方面涉及一种用于缺陷检测的装置，包括：处理器；存储器，存储计算机程序或指令，所述计算机程序或指令在被处理器执行时实现上述根据本公开的第一方面的用于对象的缺陷检测的方法的步骤，以对对象进行缺陷检测，和/或执行时实现上述根据本公开的第二方面的用于训练用于对象的缺陷检测的分类器的方法的步骤，以对用于对象的缺陷检测的分类器进行训练。在此为简洁起见不再赘述。

此外，根据本公开的第五方面涉及一种计算机程序产品，所述存储介质上存储有计算机程序或指令，所述计算机程序或指令在被处理器执行时实现上述根据本公开的第一方面的用于对象的缺陷检测的方法的步骤或者上述根据本公开的第二方面的用于训练用于对象的缺陷检测的分类器的方法的步骤。在此为简洁起见不再赘述。

综上所述，本公开提供一种用于对象的缺陷检测的方法以及一种用于缺陷检测的装置。一方面，所述方法和所述装置在对对象的不同子区域进行考虑的情况下，对检测对象的图像进行预处理，即匹配以及裁剪。并且用基于语义分割网络的分类器，对匹配以及裁剪出的对象区域进行分割、特别是像素级分割，以确定对象上的缺陷的类型、位置以及形态。并基于针对不同子区域的不同的检测标准，输出缺陷检测结果。另一方面，所述方法和所述装置针对分布信息显示某子区域缺陷较少的情况，还能够实现样本扩充。由此，一方面，根据所述方法和所述装置，能够有效去除由与缺陷检测无关的背景区域所带来的对后续图像分割的额外负担，减少了后续图像分割的运算量，并且排除了无关的背景区域可能带来的背景干扰，进一步提高了后续图像分割以及缺陷信息的准确性。另一方面，根据所述方法和所述装置，进一步提高了缺陷样本的多样性，实现了对缺陷样本的进一步扩充，有效避免过拟合，进一步提高了分类器分类分割的准确性。

此外，本发明还提供了一种用于训练用于对象的缺陷检测的分类器的方法和装置。一方面，所述方法同样对缺陷样本的图像进行预处理，即匹配以及裁剪，并将匹配以及裁剪出的对象区域图像作为用于训练的样本图像，对所述分类器进行训练。另一方面，所述方法针对缺陷较少的情况，还能够实现样本扩充。由此，一方面，根据所述方法，减少了后续训练分类器的运算量，并且排除了无关的背景区域可能带来的背景干扰，进一步提高了训练出的分类器所提供的缺陷信息的准确性。并且另一方面，根据所述方法，进一步提高了缺陷样本的多样性，实现了对缺陷样本的进一步扩充，有效避免过拟合。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例的描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本公开的一些示例性实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

在此，附图中：

图1A示出了作为目标区域的金手指的实物展示图；

图1B示出了金手指的子区域说明图；

图2示出了作为缺陷检测的目标的单个金手指；

图3示出了根据本公开的用于对象的缺陷检测的方法的流程图；

图4示出了根据本公开的用于对象的缺陷检测的方法的更详细的实施方式的流程图；

图5A示例性地示出了模板图像；

图5B示例性地示出了掩膜图像；

图5C示例性地示出了经掩膜过滤的模板图像；

图6示出了根据本公开的对所述目标区域的图像进行匹配以及裁剪的更详细的实施方式的流程图；

图7示例性地示出了匹配以及裁剪出的对象区域图像；

图8示出了根据本公开的方法的关于样本扩充的更详细的实施方式；

图9示例性地示出了所扩充出的用于训练的至少一个对象区域图像；

图10中示出了用于训练用于对象的缺陷检测的分类器的方法的流程图；

图11示出了根据本公开的用于缺陷检测的装置，

图12示出了根据本公开的用于缺陷检测的装置。

具体实施方式

为了使得本公开的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

此外，在本说明书和附图中，具有基本上相同或相似步骤和元素用相同或相似的附图标记来表示，且对这些步骤和元素的重复描述将被省略。

此外，在本说明书和附图中，根据实施例，元素以单数或复数的形式来描述。然而，单数和复数形式被适当地选择用于所提出的情况仅仅是为了方便解释而无意将本公开限制于此。因此，单数形式可以包括复数形式，并且复数形式也可以包括单数形式，除非上下文另有明确说明。

此外，在本说明书和附图中，如使用了流程图用来说明根据本公开实施例的方法的步骤，则应当理解的是，前面或后面的步骤不一定按照顺序来精确的进行。相反，可以按照倒序或同时处理各种步骤，除非本公开实施例明确限定。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步。

作为一个示例，本公开可以应用于与人工智能(Artificial Intelligence，AI)相结合的缺陷检测领域。其中，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/机器学习等几大方向。

当前，随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的虚拟助理、智能音箱、智能营销、自动驾驶、无人机、智能医疗、智能客服等。当前，利用人工智能的感知、推理与决策功能，已经将人工智能与工业自动化领域、特别是工业视觉自动化检测领域相结合并且应用到涉及视觉自动化检测的任意操作、例如目标检测、视频监控、缺陷检测等各种领域中。

如上所述，在传统工业制造过程中，企业多采用人工观察的方式对产品进行缺陷检测和分类。由此，一方面，对于进行人工观察的质检人员而言，存在工作强度大、工作内容单一等问题，导致员工流失率大；另一方面，对于企业而言，存在检测成本大(例如人员成本、检测设备成本等)、质检效率低等问题。

因此，本公开的第一方面涉及一种用于对象的缺陷检测的方法。在此，所述对象例如可以是图案对象，即例如PCB上的金手指所对应的图案对象。图2示意性地示出了作为缺陷检测的目标的单个金手指。图3示出了根据本公开的用于对象的缺陷检测的方法的流程图。以下为清楚起见，结合图2和图3共同阐述了在目标区域为金手指的情况下，根据本公开的用于对象的缺陷检测的方法300。

在此，根据本公开的用于对象的缺陷检测的方法300包括：在步骤S310中，获取目标区域210的图像，所述目标区域包括对象区域220以及非对象区域230；在步骤S320中，从所述目标区域210的图像中裁剪得到与所述对象区域220对应的对象区域图像；在步骤S330中，对所述对象区域图像220进行分割，以获得所述对象区域中至少一个候选缺陷的缺陷信息，所述缺陷信息包括缺陷形态信息；以及在步骤S340中，对于所述至少一个候选缺陷，基于所述缺陷形态信息和检测标准，确定所述候选缺陷是否为最终缺陷。

例如在目标区域为PCB电路板、金属模具等上的目标器件、例如如图1A所示的金手指的情况下，除了目标器件以外，获取目标区域的图像通常还包括了无关背景区域，即例如图2中所示的非对象区域230。如后续整体地对包括对象区域220和非对象区域230进行像素级、次像素级分割，则这些非对象区域230一方面增加了对目标区域的图像210进行分割的难度及运算量，另一方面容易造成大量误检。

而在根据本公开的用于对象的缺陷检测的方法300中，首先在步骤S320中，对目标区域的图像210进行了预处理，即，从所述目标区域的图像210中定位到(即，裁剪出)需要进行缺陷检测的区域，即所谓的对象区域220。由此，可以有效去除由与缺陷检测无关的非对象区域230所带来的对后续图像分割的额外负担，减少了后续图像分割的运算量，并且排除了无关的背景区域可能带来的背景干扰，进一步提高了后续图像分割以及缺陷信息的准确性。

此外，在生产实践中，针对目标区域例如包括多个金手指(如图1A所示)且对于其中的单个金手指区域还需要对其不同子区域(如图1B所示)以不同检测标准进行缺陷检测的情况，则根据本公开的用于对象的缺陷检测的方法300的更详细的实施方式，在所述方法300中，所述对象区域还被划分为至少两个子区域，并且所述缺陷信息还包括缺陷位置信息，所述缺陷位置信息用于指示缺陷所在的子区域；其中，所述对象区域中至少一部分子区域具有不同的检测标准；其中，确定所述候选缺陷是否为最终缺陷，还包括：对于所述至少一个候选缺陷，基于所述缺陷位置信息确定所述缺陷所在的子区域，并基于所述缺陷形态信息和所述缺陷所在的子区域所对应的检测标准，确定所述候选缺陷是否为最终缺陷。即，如图1A、图1B和图3所示，在根据该更详细的实施方式中，所述方法300包括：在步骤S310中，获取目标区域的图像110，所述目标区域包括对象区域120(即，图1A中所示出的红框所框出的区域)以及非对象区域130(即，图1A中所示出的除红框所框出的区域以外的区域)；在步骤S320中，从所述目标区域的图像110中裁剪得到与所述对象区域对应的对象区域图像120；在步骤S330中，对所述对象区域图像120进行分割、即例如像素级分割或次像素级分割，以获得所述对象区域120中至少一个候选缺陷的缺陷信息，其中，所述对象区域120被划分为至少两个子区域，即例如图1B中所示的过渡区、接触区等子区域，所述缺陷信息包括缺陷位置信息以及缺陷形态信息，所述缺陷位置信息用于指示缺陷所在的子区域；以及在步骤S340中，对于每个候选缺陷，基于所述缺陷位置信息，确定所述缺陷所在的子区域，并基于所述缺陷形态信息和所述缺陷所在的子区域所对应的检测标准，确定是否将所述候选缺陷作为缺陷检测结果，其中，所述对象区域120中至少一部分子区域具有不同的检测标准。

由此，通过根据本公开的方法300的更详细的实施方式，针对目标区域的不同子区域，即例如针对金手指的接触区、过渡区、非接触区等，还进一步实现以不同检测标准来判断其是否合格。由此，摆脱了借助菲灵尺等测量工具等工具来繁琐地对对象中不同子区域上的、不同大小的缺陷进行区别判断，进一步降低了检测成本以及检测误差。

此外，除了对所述目标区域的图像进行裁剪之外，还可以利用模板图像对所述目标区域的图像进行匹配，以使裁剪得到的对象区域图像保持一致的空间延伸以及空间角度，方便后续例如利用分类器对其例如进行像素级分割。并且，如上所述，在生产实践中，针对目标区域的不同子区域，即例如针对金手指的接触区、过渡区、非接触区等，通常需要以不同检测标准来判断其是否合格。为此，提出了用于对象的缺陷检测的方法的更详细的实施方式。图4示出了根据本公开的用于对象的缺陷检测的方法的更详细的实施方式的流程图。图5A示例性地示出了在该实施方式中所使用的模板图像501。以下结合图4以及图5A共同进行阐述。

如图4所示，所述步骤S320’还包括：根据与所述对象区域相对应的模板图像501，对所述目标区域的图像进行匹配以及裁剪，以生成所述对象区域图像，其中，所述模板图像501包含对象区域中各子区域的位置信息。

由此，在根据本公开的方法中，首先将目标区域的图像与包含对象区域中各子区域的位置信息的模板图像匹配。一方面，如上所述，在与模板图像匹配后，所生成的各个对象区域图像都将与模板图像保持一致的空间延伸以及空间角度，方便后续例如利用分类器对其进行分割、特别是像素级分割。另一方面，由于所述模板图像还包含对象区域中各子区域的位置信息，故在对所述目标区域的图像110进行匹配以及裁剪后，例如通过将所述目标区域的图像110在空间尺寸方面拉伸或缩小至与所述模板图像501相一致并进行裁剪后，所生成的对象区域图像也将具备与模板图像501对应的各子区域的位置信息。例如，当确定对象区域图像120上的某坐标位置上存在缺陷，则可以根据所述模板图像501所包含的各子区域的位置信息，方便地确定该缺陷所属于的子区域。由此，实现了对缺陷所在子区域的更精确的定位，方便后续针对缺陷所位于的不同子区域利用不同的检测标准进行不同的判断。

针对所述目标区域的图像的匹配以及裁剪，图6示出了根据本公开的对所述目标区域的图像进行匹配以及裁剪的更详细的实施方式的流程图。图5A示例性地示出了在该实施方式中所使用的模板图像501。以下结合图6以及图5A共同进行阐述。

如图6所示，对所述目标区域的图像进行匹配以及裁剪的步骤S320”包括：在子步骤S322中，对所述模板图像501进行特征提取，确定所述模板图像501的各个特征点的梯度信息，以及对所述目标区域的图像110进行特征提取，确定所述目标区域的图像的各个特征点的梯度信息，其中，梯度信息包括特征点的梯度值和梯度方向；在子步骤S323中，根据所述模板图像501的各个特征点的梯度信息以及所述目标区域的图像110的各个特征点的梯度信息，确定所述模板图像501的各个特征点与所述目标区域的图像110的各个特征点之间的相似度；在子步骤S324中，根据所述模板图像501的各个特征点与所述目标区域的图像110的各个特征点之间的相似度，确定匹配定位信息，其中，所述匹配定位信息包括其间具有最大相似度的所述模板图像501的特征点和所述目标区域的图像110的特征点的定位信息；以及在子步骤S325中，根据所述匹配定位信息，对所述目标区域的图像110进行匹配以及裁剪。

为实现如上所述的所述目标区域的图像与所述模板图像的匹配，首先例如利用了sobel算子，来确定了所述模板图像以及所述目标区域的图像的各个特征点的梯度信息。然后通过对其进行相似性度量，确定所述模板图像501的各个特征点与所述目标区域的图像110的各个特征点之间的相似度，并据此确定匹配定位信息，换言之，确定所述模板图像502中与所述目标区域的图像110中各个相匹配的、即其间具有最大相似度的特征点。在此，在进行相似性度量时，不仅考虑了特征点的梯度值，而且还进一步考虑了特征点的梯度方向。由此，即使在光照、纹理复杂的情况下，也可以实现所述模板图像501与所述目标区域的图像110之间的良好稳定的匹配，进一步提升了后续的匹配稳定性。

此外，在确定了匹配定位信息后，为实现匹配，可以将待匹配的目标区域的图像110中的各个特征点移动至所述模板图像501的与其具有最大相似度的相应的特征点处。换言之，将待匹配的目标区域的图像110将被缩放以及旋转，以使其与所述模板图像相匹配。由此，即使在获取目标区域的图像110时用于获取图像的摄像头出现运动，造成各个时刻所获取的目标区域的图像视角、比例各不相同，匹配以及裁剪后所生成的对象区域图像120也都能保持具有与所述模板图像以及与所述掩膜图像一致的空间延伸以及空间角度，即“缩放”或“摆正”得与所述模板图像501一致。由此，方便后续对该对象区域图像进行分割，进一步降低了图像分割时的运算量。

此外，根据本公开，还可以借助掩膜过滤后的模板图像来进行匹配，以实现更精确地从所述目标区域的图像中裁剪得到与所述对象区域对应的对象区域图像。对此，图7示出了由此匹配以及裁剪出的对象区域图像。图5B中示例性地示出了用于对如图5A所示的模板图像进行掩膜过滤的掩模图像502。图5C中示例性地示出了在此所使用的模板图像503。以下结合图7以及图5A至图5C共同进行阐述。

在此，通过利用掩模图像502对包含目标区域的初始模板图像501进行掩模，来得到经由掩膜过滤的模板图像503。即，用于对所述目标区域的图像进行匹配以及裁剪的所述模板图像为利用掩膜图像对初始模板图像进行掩膜过滤得到的图像503，其中，所述初始模板图像为与所述对象区域对应的初始区域图像(参见图5A中所示的模板图像501)，所述掩模图像502为用于对所述初始模板图像501中的图案进行掩模提取的图像。

所述该掩膜图像502可以通过对如图5A中所示出的其中包含目标区域(例如，金手指)的模板图像501进行抠图来得到。所得到的掩膜图像502整体上与对象区域相对应、即例如其轮廓与对象区域、例如PCB电路板上金手指区域的轮廓以及形状一致或成比例。此外，对象区域中各子区域的位置信息例如也可以以不同的灰度值的形式标记在所述掩膜图像502上。具体地，如图5B所示，在所述掩膜图像502上，非接触区子区域510、过渡区子区域520、接触区子区域530以及有效区子区域540所对应的区域例如可以分别以具有不同的灰度值的像素点来显示。据此，在对所述目标区域的图像110进行匹配以及裁剪时，例如通过将所述目标区域的图像110在空间尺寸方面拉伸或缩小至与所述掩膜图像502相一致并进行裁剪，则所生成的对象区域图像也将具备与掩膜图像502对应的各子区域的位置信息。例如，当确定对象区域图像120上的某坐标位置上存在缺陷，则可以根据所述掩膜图像502所包含的各子区域的位置信息、即例如根据所述掩膜图像502上相同坐标位置处的灰度值，方便地确定该缺陷所属于的子区域。由此，实现了对缺陷所在子区域的更精确的定位，方便后续针对缺陷所位于的不同子区域利用不同的检测标准进行不同的判断。

此外，如图5B中所示，所述掩膜图像502例如仅在能够与所述对象区域相对应的区域上具有像素值。在与所述对象区域不对应的区域550、即例如金手指导体迹线之间的区域上，所述像素值的灰度值例如为零(图中表示为黑)。故，通过所述掩膜图像502与所述模板图像501对应像素点处的点乘，即可实现上述掩膜过滤。通过掩膜过滤，得到更准确的仅包含与所述对象区域相对应的区域的模板图像503。如图5A至图5C所示，在图5C中，与图5B中区域550对应的区域为黑、即，被剪除。这意味着相较于图5A所示的模板图像或初始模板图像501，在图5C所示的模板图像503中，金手指导体迹线之间的区域550也进一步被细致地裁剪去除。随后，利用该不包含非对象区域、即不包含可能的干扰区域(如丰富纹理区域)的仅对应于对象区域(如金手指区域)的模板图像503来与所述目标区域的图像110进行匹配，如图7所示，所得到的对象区域图像120同样不再金手指导体迹线之间的区域。由此，进一步实现了在目标区域的图像110上具有丰富纹理图像等情况下对待进行缺陷检测的对象区域的更准确的定位，极大地提升了后续的匹配稳定性。

此外，根据本公开，为显示缺陷信息，在根据本公开的方法300的更详细的实施方式中，所述缺陷信息可以为与如图7所示的对象区域图像120对应的灰度图像，其中，与缺陷对应的像素点具有特定灰度值，其中，所述缺陷位置信息对应于与缺陷对应的像素点在所述灰度图像中的空间位置，并且所述缺陷形态信息对应于与缺陷对应的像素点所构成的形状。

由此，利用所述灰度图像显示所述缺陷信息，在后续确定缺陷检测结果时，能够直观地辨别出具有特定灰度值的缺陷图案。并且由于所述缺陷位置信息对应于与缺陷对应的像素点在所述灰度图像中的空间位置，故在后续确定缺陷检测结果时，可以直观地根据具有特定灰度值的缺陷图案在所述灰度图像上的空间位置，判断出该缺陷图案、换言之缺陷所位于的子区域。然后，可以使用与该子区域相对应的允许标注来进行后续判断并生成缺陷检测结果。综上，利用所述灰度图像形式的缺陷信息，进一步方便了后续确定缺陷检测结果。

此外，根据本公开，在根据本公开的方法300的更详细的实施方式中，确定是否将所述候选缺陷作为缺陷检测结果的步骤S340还包括：基于所述缺陷类型信息、所述缺陷形态信息和所述缺陷所在的子区域所对应的检测标准，确定是否将所述候选缺陷作为缺陷检测结果。

由此，在例如利用分类器对象区域图像的分割时，还可以利用不仅能够提供用于指示缺陷所在的子区域的缺陷位置信息以及用于指示缺陷空间上的走向之外而且还能够提供缺陷类型信息的分类器。所述缺陷例如为凹陷或突起。由此，在后续确定缺陷检测结果时，不仅对所述缺陷形态信息和所述缺陷所在的子区域进行了考虑，而且还对缺陷的具体缺陷类型进行了考虑，进一步提高了缺陷检测的应用范围。

此外，根据本公开的方法的更详细的实施方式，在所述方法中，可以利用基于语义分割网络的分类器，对匹配后的对象区域图像进行像素级分割，以输出对象区域中的缺陷信息。

语义分割网络，诸如Deeplab V1、Deeplab V3 Plus、HRNet、PSPNet等，是一个编码器-解码器网络，编码器通常是一个预训练的分类网络(诸如VGG、ResNet)，用于将特征下采样以得到较低分辨率的特征图，解码器网络用于将编码器学习到的较低分辨率的可判别特征从语义上投影到较高分辨率的像素空间，以获得密集分类。

诸如DeepLab V1网络，DeepLab V1网络结合DCNN和概率图模型来解决像素级分类任务，DCNN网络具有很好的平移不变性，能够很好的处理的图像级别的分类问题，但是由于重复池化和下采样导致分辨率大幅下降，位置信息丢失难以恢复，并且由于空间不变性导致细节信息丢失，因此DeepLab引入空洞卷积来替换传统的卷积并且利用全连接CRF来实现更精确的定位。

DeepLab V1网络结构：针对原有的VGG网络进行了一些变换：使用1x1的卷积层代替全连接层，输出得分图(亦称概率图)；将总步长由32变为8以获得更稠密的得分图；将传统的卷积层替换为空洞卷积以增加感受野；在最后引入全连接条件随机场来进行平滑处理，综合考虑全局信息，恢复详细的局部结构，如精确图形的轮廓，从而提高定位精度。

此外，根据本公开，还考虑到实际应用场景中缺陷样本不足导致需要再次扩充缺陷样本以再次训练分类器的情况。对此，图8示出了根据本公开的方法700的更详细的实施方式。所述方法700还进一步包括对缺陷样本进行扩充的步骤。图9示出了所扩充出的“虚拟的”用于训练的至少一个对象区域图像800。以下结合图8和图9，共同进行阐述，即：

根据本公开的方法700，在步骤710中，从具有缺陷的对象样本图像中提取缺陷图形；在步骤720中，对所述缺陷图形进行图形变换，以生成至少一个经变换的缺陷图形810；在步骤730中，将所述至少一个经变换的缺陷图形810分别与至少一个候选的对象区域图像120进行图像合成，以生成用于训练的至少一个对象区域图像800；以及在步骤740中，基于所述用于训练的至少一个对象区域图像800，对所述分类器进行训练。

该实施方式基于以下构思：对于实际的工业生产，特别是对于PCB电路生产，大部分工厂产线良率都在98％以上。换言之，对象、例如金手指区域上通常没有缺陷。这意味着，真实缺陷样本非常稀少。而在对上述基于语义分割网络的分类器进行训练时，往往需要大量的训练样本，才能让所述分类器充分地学习到有效特征且避免过拟合。为解决上述问题，根据本公开的方法700，在缺乏真实缺陷样本，导致分类器分类分割不准确，但无缺陷样本充足的情况下，可以进行上述关于样本扩充的步骤，即，可以将所检测到的真实的缺陷图形与至少一个候选的对象区域图像120进行图像合成，人为合成逼真的“虚拟的”缺陷样本、即用于训练的至少一个对象区域图像800，并据此再次对分类器进行训练。由此，不再需要采集大量的缺陷样本，实现了对缺陷样本的样本扩充，提高了分类器分类分割的准确性。

根据本公开的方法700的更详细的实施方式，所述方法700还包括：获取所述缺陷位置信息的历史分布；在考虑所述缺陷位置信息的历史分布的情况下，将所述至少一个经变换的缺陷图形分别与至少一个候选的对象区域图像进行图像合成。

由此，在根据本公开的方法700中，考虑到金手指具有精细的分区，且不同子区域缺陷分布差异很大，故首先对缺陷位置的历史分布进行记录，即获取所述缺陷位置信息的历史分布。随后在考虑历史分布的情况下，将所述至少一个经变换的缺陷图形分别与至少一个候选的对象区域图像进行图像合成，即例如针对分布信息显示某子区域缺陷较少的情况，则对应地将缺陷图形合成至该子区域上。由此，进一步提高了缺陷样本的多样性，实现了对缺陷样本的进一步扩充，进一步提高了分类器分类分割的准确性。

根据本公开的方法的更详细的实施方式，所述对象为金手指。

由此，借助根据本公开的方法，首先可以利用模板图像501、503，对包括金手指区域的目标区域的图像110进行匹配以及裁剪，去除无效背景区域干扰。然后，例如借助基于语义分割网络的分类器，在金手指区域上对缺陷进行分割、特别是像素级分割，以输出对象区域中的缺陷信息。然后，根据缺陷信息以及所述缺陷所在的子区域所对应的检测标准，输出缺陷检测结果。即，根据本公开的方法尤其适用于所述对象为金手指的情况，具有上文针对各个实施方式所阐述的优点，在此为简洁起见不再进行赘述。

本公开的第二方面涉及一种用于训练用于对象的缺陷检测的分类器的方法900。图10中示出了用于训练用于对象的缺陷检测的分类器的方法900的流程图，所述方法900包括：在步骤S910中，获取缺陷样本的图像，其中，所述缺陷样本包括对象区域和非对象区域，所述对象区域中包括至少一个缺陷；在步骤S920中，从所述缺陷样本的图像中裁剪出与所述对象区域对应的对象区域图像作为用于训练的样本图像，并且获得所述至少一个缺陷的缺陷信息；在步骤S930中，利用所述用于训练的样本图像以及所述缺陷信息，对所述分类器进行训练，其中，所述分类器基于语义分割网络，其对待检测的对象区域图像进行分割，以输出待检测对象区域中的缺陷信息，其中，所述缺陷信息包括缺陷类型信息、缺陷位置信息以及缺陷形态信息中的至少一部分。

在此，根据本公开的用于训练用于对象的缺陷检测的分类器的方法900与上文所述的根据本公开的用于对象的缺陷检测的方法300具有对应的优点，即，从所述缺陷样本的图像中裁剪出所述对象区域图像作为用于训练的样本图像。由此，可以有效去除由与缺陷检测无关的背景区域所带来的对后续图像分割的额外负担，减少了后续训练分类器的运算量，并且排除了无关的背景区域可能带来的背景干扰，进一步提高了训练出的分类器所提供的缺陷信息的准确性。

根据本公开的用于训练用于对象的缺陷检测的分类器的方法900的更详细的实施方式，在所述方法中，从所述缺陷样本的图像中裁剪出所述对象区域图像作为用于训练的样本图像包括：根据与所述对象区域相对应的模板图像，对所述缺陷样本的图像进行匹配以及裁剪，以生成所述对象区域图像作为样本图像。

在此所使用的掩模图像与根据本公开的用于对象的缺陷检测的方法中所使用的模板图像相同。故，在此所使用的模板图像参见图5A或图5C。根据本公开的用于训练用于对象的缺陷检测的分类器的方法900与上文根据图3所述的根据本公开的用于对象的缺陷检测的方法300具有对应的优点，即，除了将所述对象区域图像裁剪出之外，还进一步对所述缺陷样本的图像与所述掩模图像进行匹配。如上所述，匹配以及裁剪后所生成的对象区域图像也都能保持具有与如图5A或图5C所示的模板图像501、503或如图5B所示的掩模图像502一致的空间延伸以及空间角度，即“缩放”或“摆正”得与所述模板图像一致。由此，可以方便地利用具有一致的空间延伸以及空间角度的样本图像对分类器进行训练，减少了后续训练分类器的运算量，并且还进一步提高了训练出的分类器所提供的缺陷信息的准确性。

在根据本公开的用于训练用于对象的缺陷检测的分类器的方法中，对所述缺陷样本的图像进行匹配以及裁剪的更详细的实施方式与根据本公开的用于对象的缺陷检测的方法中进行匹配以及裁剪的更详细的实施方式相对应。即，包括：对所述模板图像进行特征提取，确定所述模板图像的各个特征点的梯度信息，以及对所述缺陷样本的图像进行特征提取，确定所述缺陷样本的图像的各个特征点的梯度信息，其中，梯度信息包括特征点的梯度值和梯度方向；根据所述模板图像的各个特征点的梯度信息以及所述缺陷样本的图像的各个特征点的梯度信息，确定所述模板图像的各个特征点与所述缺陷样本的图像的各个特征点之间的相似度；以及根据所述模板图像的各个特征点与所述缺陷样本的图像的各个特征点之间的相似度，确定匹配定位信息，其中，所述匹配定位信息包括其间具有最大相似度的所述模板图像的特征点和所述缺陷样本的图像的特征点的定位信息；根据所述匹配定位信息，对所述缺陷样本的图像进行匹配以及裁剪，以生成所述对象区域图像作为样本图像。

由此，根据本公开的用于训练用于对象的缺陷检测的分类器的方法900与上文根据图6所述的实施方式具有对应的优点，在此为简洁起见不再赘述。

在根据本公开的用于训练用于对象的缺陷检测的分类器的方法中，同样可以进行样本扩充，即，从具有缺陷的对象样本图像中提取缺陷图形；对所述缺陷图形进行图形变换，以生成至少一个经变换的缺陷图形；将所述至少一个经变换的缺陷图形分别与至少一个候选的对象区域图像进行图像合成，以生成用于训练的至少一个对象区域图像；以及基于所述用于训练的至少一个对象区域图像，对所述分类器进行训练。

由此，根据本公开的用于训练用于对象的缺陷检测的分类器的方法与上文根据图8以及图9所述的实施方式具有对应的优点，在此为简洁起见不再赘述。

此外，本公开的第三方面涉及一种用于缺陷检测的装置。图11示出了根据本公开的用于缺陷检测的装置1000，其包括：图像获取模块1010，其被配置为获取目标区域的图像，所述目标区域包括如图1A所示的对象区域120以及非对象区域130；图像预处理模块1020，其被配置为从所述目标区域的图像110中裁剪得到与所述对象区域对应的对象区域图像120；分类器1030，其被配置为对所述对象区域图像120进行分割、即例如像素级分割或次像素级分割，以获得所述对象区域中至少一个候选缺陷的缺陷信息，所述缺陷信息包括缺陷形态信息；以及判断模块1040，其被配置为对于所述至少一个候选缺陷，基于所述缺陷形态信息和检测标准，确定所述候选缺陷是否为最终缺陷。

在此，根据本公开的用于缺陷检测的装置具有与上文根据图3所述的根据本公开的用于对象的缺陷检测的方法具有对应的优点，更多细节参见上文所作阐述，在此为简洁起见不再赘述。

根据本公开的装置1000的更详细的实施方式，其中，所述对象区域被划分为至少两个子区域，并且所述缺陷信息还包括缺陷位置信息，所述缺陷位置信息用于指示缺陷所在的子区域，其中，所述对象区域中至少一部分子区域具有不同的检测标准，其中，所述判断模块还被配置为：对于所述至少一个候选缺陷，基于所述缺陷位置信息确定所述缺陷所在的子区域，并基于所述缺陷形态信息和所述缺陷所在的子区域所对应的检测标准，确定所述候选缺陷是否为最终缺陷。

在此，根据本公开的用于缺陷检测的装置具有与上文根据图3所述的根据本公开的用于对象的缺陷检测的方法具有对应的优点，更多细节参见上文所作阐述，在此为简洁起见不再赘述。

根据本公开的装置1000的更详细的实施方式，在根据本公开的装置中，图像预处理模块1020还被配置为根据与所述对象区域相对应的模板图像501、503，对所述目标区域的图像进行匹配以及裁剪，以生成所述对象区域图像120，其中，所述模板图像501、503包含对象区域中各子区域的位置信息。

在此，所述装置1000具有与上文根据图4所述的根据本公开的用于对象的缺陷检测的方法的实施方式相对应的优点，更多细节参见上文所作阐述，在此为简洁起见不再赘述。

根据本公开的装置1000的更详细的实施方式，在根据本公开的装置中，同样可以进行样本扩充，即，所述图像预处理模块1020还被配置为：从具有缺陷的对象样本图像中提取缺陷图形；对所述缺陷图形进行图形变换，以生成至少一个经变换的缺陷图形810；以及将所述至少一个经变换的缺陷图形810分别与至少一个候选的对象区域图像进行图像合成，以生成用于训练的至少一个对象区域图像800；以及所述分类器还被配置为，基于所述用于训练的至少一个对象区域图像800，再次进行训练。

在此，所述装置具有与上文根据图8和图9所述的根据本公开的用于对象的缺陷检测的方法的实施方式相对应的优点，更多细节参见上文所作阐述，在此为简洁起见不再赘述。

此外，本公开的第四方面涉及一种用于缺陷检测的装置。图12示出了根据本公开的用于缺陷检测的装置1100，包括：存储器1130，存储计算机程序或指令，所述计算机程序或指令在被处理器执行时实现上述根据本公开的第一方面的用于对象的缺陷检测的方法300的步骤，以对对象进行缺陷检测，和/或实现上述根据本公开的第二方面的用于训练用于对象的缺陷检测的分类器的方法900的步骤，以对用于对象的缺陷检测的分类器进行训练。所述处理器包括但不限于FPGA、DSP、ARM单片机、CPU等。在此为简洁起见不再赘述。此外，所述用于缺陷检测的装置1100还可以包括图像传感器1110，其被配置为获取目标区域的图像，所述目标区域包括对象区域以及非对象区域；处理器1120。

此外，根据本发明的第五方面涉及一种计算机程序产品，所述计算机程序产品存储在计算机可读的存储介质上并包括计算机程序或指令，所述计算机程序或指令在被处理器执行时实现上述根据本公开的第一方面的用于对象的缺陷检测的方法300的步骤或者上述根据本公开的第二方面的用于训练用于对象的缺陷检测的分类器的方法900的步骤。在此为简洁起见不再赘述。

综上所述，根据本公开的用于对象的缺陷检测的方法以及装置，能够有效准确地去除由与缺陷检测无关的背景区域，减少了后续图像分割时的运算量。并且通过对目标区域的图像的匹配，进一步避免了获取目标区域的图像时由于拍摄图像的角度变化等所带来的影响。并且能够在必要时进行样本扩充，以对用于图像分割的分类器再次进行训练，有效避免过拟合，进一步提高了分类器分类分割的准确性。

此外，根据本公开的用于训练用于对象的缺陷检测的分类器的方法和装置，同样能对检测对象的图像进行预处理，有效准确地去除由与训练无关的背景区域，减少了后续训练分类器时的运算量。并在缺陷样本不足的情况下进行样本扩充，进一步减小了所需要提供的缺陷样本，并且有效避免过拟合，进一步提高了分类器分类分割的准确性。

在上面详细描述的本公开的示例实施例仅仅是说明性的，而不是限制性的。本领域技术人员应该理解，在不脱离本公开的原理和精神的情况下，可对这些实施例或其特征进行各种修改和组合，这样的修改应落入本公开的范围内。

Claims (20)

1.一种用于对象的缺陷检测的方法，包括：

获取目标区域的图像，所述目标区域包括对象区域以及非对象区域；

从所述目标区域的图像中裁剪得到与所述对象区域对应的对象区域图像；

对所述对象区域图像进行分割，以获得所述对象区域中至少一个候选缺陷的缺陷信息，所述缺陷信息包括缺陷形态信息；以及

对于所述至少一个候选缺陷，基于所述缺陷形态信息和检测标准，确定所述候选缺陷是否为最终缺陷。

2.根据权利要求1所述的方法，

其中，所述对象区域被划分为至少两个子区域，并且所述缺陷信息还包括缺陷位置信息，所述缺陷位置信息用于指示缺陷所在的子区域，

其中，所述对象区域中至少一部分子区域具有不同的检测标准，

其中，确定所述候选缺陷是否为最终缺陷，还包括：

对于所述至少一个候选缺陷，基于所述缺陷位置信息确定所述缺陷所在的子区域，并基于所述缺陷形态信息和所述缺陷所在的子区域所对应的检测标准，确定所述候选缺陷是否为最终缺陷。

3.根据权利要求2所述的方法，

其中，所述从所述目标区域的图像中裁剪得到与所述对象区域对应的对象区域图像包括：根据与所述对象区域相对应的模板图像，对所述目标区域的图像进行匹配以及裁剪，以生成所述对象区域图像，

其中，所述模板图像包含对象区域中各子区域的位置信息。

4.根据权利要求3所述的方法，其中，对所述目标区域的图像进行匹配以及裁剪，包括：

对所述模板图像进行特征提取，确定所述模板图像的各个特征点的梯度信息，以及对所述目标区域的图像进行特征提取，确定所述目标区域的图像的各个特征点的梯度信息，其中，梯度信息包括特征点的梯度值和梯度方向；

根据所述模板图像的各个特征点的梯度信息以及所述目标区域的图像的各个特征点的梯度信息，确定所述模板图像的各个特征点与所述目标区域的图像的各个特征点之间的相似度；

根据所述模板图像的各个特征点与所述目标区域的图像的各个特征点之间的相似度，确定匹配定位信息，其中，所述匹配定位信息包括其间具有最大相似度的所述模板图像的特征点和所述目标区域的图像的特征点的定位信息；以及

根据所述匹配定位信息，对所述目标区域的图像进行匹配以及裁剪。

5.根据权利要求3或4所述的方法，

其中，所述模板图像为利用掩膜图像对初始模板图像进行掩膜过滤得到的图像，

其中，所述初始模板图像为与所述对象区域对应的初始区域图像，所述掩模图像为用于对所述初始模板图像中的图案进行掩模提取的图像。

6.根据权利要求2至4中任一项所述的方法，其中，

所述缺陷信息为与所述对象区域图像对应的灰度图像，其中，与缺陷对应的像素点具有特定灰度值，

其中，所述缺陷位置信息对应于与缺陷对应的像素点在所述灰度图像中的空间位置，并且所述缺陷形态信息对应于与缺陷对应的像素点所构成的形状。

7.根据权利要求6所述的方法，其中，所述缺陷信息还包括缺陷类型信息，

其中，所述基于所述缺陷形态信息和所述缺陷所在的子区域所对应的检测标准，确定是否将所述候选缺陷作为缺陷检测结果，还包括：

基于所述缺陷类型信息、所述缺陷形态信息和所述缺陷所在的子区域所对应的检测标准，确定是否将所述候选缺陷作为缺陷检测结果。

8.根据权利要求1所述的方法，其中，

利用基于语义分割网络的分类器，对匹配后的对象区域图像进行像素级分割，以输出对象区域中的缺陷信息。

9.根据权利要求8所述的方法，还包括：

从具有缺陷的对象样本图像中提取缺陷图形；

对所述缺陷图形进行图形变换，以生成至少一个经变换的缺陷图形；

将所述至少一个经变换的缺陷图形分别与至少一个候选的对象区域图像进行图像合成，以生成用于训练的至少一个对象区域图像；以及

基于所述用于训练的至少一个对象区域图像，对所述分类器进行训练。

10.根据权利要求9所述的方法，还包括：

获取缺陷位置的历史分布；

在考虑所述缺陷位置的历史分布的情况下，将所述至少一个经变换的缺陷图形分别与至少一个候选的对象区域图像进行图像合成。

11.根据权利要求1所述的方法，其中，所述对象为金手指。

12.一种用于训练用于对象的缺陷检测的分类器的方法，包括：

获取缺陷样本的图像，其中，所述缺陷样本包括对象区域和非对象区域，所述对象区域中包括至少一个缺陷；

从所述缺陷样本的图像中裁剪出与所述对象区域对应的对象区域图像作为用于训练的样本图像，并且获得所述至少一个缺陷的缺陷信息；

利用所述用于训练的样本图像以及所述缺陷信息，对所述分类器进行训练，

其中，所述分类器基于语义分割网络，其对待检测的对象区域图像进行分割，以输出待检测对象区域中的缺陷信息，其中，所述缺陷信息包括缺陷类型信息、缺陷位置信息以及缺陷形态信息中的至少一部分，

其中，从所述缺陷样本的图像中裁剪出所述对象区域图像作为用于训练的样本图像包括：根据定位在所述对象区域处的模板图像，对所述缺陷样本的图像进行匹配以及裁剪，以生成所述对象区域图像作为样本图像。

13.根据权利要求12所述的方法，其中，对所述缺陷样本的图像进行匹配以及裁剪，包括：

对所述模板图像进行特征提取，确定所述模板图像的各个特征点的梯度信息，以及对所述缺陷样本的图像进行特征提取，确定所述缺陷样本的图像的各个特征点的梯度信息，其中，梯度信息包括特征点的梯度值和梯度方向；

根据所述模板图像的各个特征点的梯度信息以及所述缺陷样本的图像的各个特征点的梯度信息，确定所述模板图像的各个特征点与所述缺陷样本的图像的各个特征点之间的相似度；以及

根据所述模板图像的各个特征点与所述缺陷样本的图像的各个特征点之间的相似度，确定匹配定位信息，其中，所述匹配定位信息包括其间具有最大相似度的所述模板图像的特征点和所述缺陷样本的图像的特征点的定位信息；

根据所述匹配定位信息，对所述缺陷样本的图像进行匹配以及裁剪，以生成所述对象区域图像作为样本图像，

其中，所述模板图像为利用掩膜图像对初始模板图像进行掩膜过滤得到的图像，

其中，所述初始模板图像为与所述对象区域对应的初始区域图像，所述掩模图像为用于对所述初始模板图像中的图案进行掩模提取的图像。

14.根据权利要求12所述的方法，其中，利用所述用于训练的样本图像以及所述缺陷信息，对所述分类器进行训练，还包括：

从所述具有缺陷的对象样本图像中提取缺陷图形；

对所述缺陷图形进行图形变换，以生成至少一个经变换的缺陷图形；

将所述至少一个经变换的缺陷图形分别与至少一个候选的对象区域图像进行图像合成，以生成用于训练的至少一个对象区域图像；以及

基于所述用于训练的至少一个对象区域图像，对所述分类器进行训练。

15.一种用于对象的缺陷检测的装置，包括：

图像获取模块，其被配置为获取目标区域的图像，所述目标区域包括对象区域以及非对象区域；

图像预处理模块，其被配置为从所述目标区域的图像中裁剪得到与所述对象区域对应的对象区域图像；

分类器，其被配置为对所述对象区域图像进行分割，以获得所述对象区域中至少一个候选缺陷的缺陷信息，所述缺陷信息包括缺陷形态信息；以及

判断模块，其被配置为对于所述至少一个候选缺陷，基于所述缺陷形态信息和检测标准，确定所述候选缺陷是否为最终缺陷。

16.根据权利要求15所述的装置，其中，

其中，所述对象区域被划分为至少两个子区域，并且所述缺陷信息还包括缺陷位置信息，所述缺陷位置信息用于指示缺陷所在的子区域，

其中，所述对象区域中至少一部分子区域具有不同的检测标准，

其中，所述判断模块还被配置为：

对于所述至少一个候选缺陷，基于所述缺陷位置信息确定所述缺陷所在的子区域，并基于所述缺陷形态信息和所述缺陷所在的子区域所对应的检测标准，确定所述候选缺陷是否为最终缺陷。

17.根据权利要求16所述的装置，其中，

图像预处理模块还被配置为根据与所述对象区域相对应的模板图像，对所述目标区域的图像进行匹配以及裁剪，以生成所述对象区域图像，

其中，所述模板图像包含对象区域中各子区域的位置信息。

18.根据权利要求15所述的装置，其中，所述图像预处理模块还被配置为：

从具有缺陷的对象样本图像中提取缺陷图形；

对所述缺陷图形进行图形变换，以生成至少一个经变换的缺陷图形；以及

将所述至少一个经变换的缺陷图形分别与至少一个候选的对象区域图像进行图像合成，以生成用于训练的至少一个对象区域图像；以及

所述分类器还被配置为，基于所述用于训练的至少一个对象区域图像，再次进行训练。

19.一种用于缺陷检测的装置，包括：

处理器，

存储器，存储计算机程序或指令，所述计算机程序或指令在被处理器执行时实现根据权利要求1至11中任一项所述的方法的步骤，以对对象进行缺陷检测，和/或实现根据权利要求12至14中任一项所述的方法的步骤，以对用于对象的缺陷检测的分类器进行训练。

20.一种计算机程序产品，所述计算机程序产品存储在计算机可读的存储介质上并包括计算机程序或指令，所述计算机程序或指令在被处理器执行时实现根据权利要求1至14中任一项所述的方法的步骤。

Images