CN115564734A - 一种产品检测方法、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种产品检测方法、电子设备及存储介质，涉及工业视觉技术领域。首先通过获取待检测图像和模板图像。再确定出待检测图像与模板图像之间的空间变换信息。其通过比较待检测图像和模板图像之间的全局特征，并依据空间变换信息对待检测图像进行图像变换，得到待检测图像对应的目标图像。由此两张的空间相关属性具有高度一致性。最后依据目标图像和模板图像中的像素差异信息，确定待检测图像是否存在异常，在待检测图像异常的情况下，确定待检测图像对应的异常区域图像，并进行显示。其对待检测图像进行精确的校正，且具有检测精度高、适应范围广等特点。

Description

一种产品检测方法、电子设备及存储介质

技术领域

本发明涉及工业视觉技术领域，特别是涉及一种产品检测方法、电子设备及存储介质。

背景技术

在工业生产过程中，往往需要对生产的产品表面进行异常检测，从而确定产品外观是否存在缺陷。但是，现有技术中的产品表面检测的方法主要采用尺度不变特征信息转换描述图像的局部特征，根据图像的局部特征对图像进行定位校正，再使用与基于标准模板对比的方法，确定出产品缺陷。此检测方法对待检测图像的稳定性要求较高，适用范围窄。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的产品检测方法、电子设备及存储介质。

依据本发明的第一方面，提供了一种产品检测方法，所述方法包括：

获取待检测图像和模板图像，所述模板图像为待检测产品表面为正常时的产品图像；

确定出所述待检测图像与模板图像之间的空间变换信息；

依据所述空间变换信息，对所述待检测图像进行图像变换，得到所述待检测图像对应的目标图像；

确定所述目标图像和模板图像中的像素差异信息，并依据所述像素差异信息确定所述待检测图像是否存在异常；

在所述待检测图像异常的情况下，确定所述待检测图像对应的异常区域图像，并进行显示。

依据本发明的第二方面，提供了一种产品检测装置，所述装置包括：

图像获取模块，用于获取待检测图像和模板图像，所述模板图像为待检测产品表面为正常时的产品图像。

变换信息确定模块，用于确定出所述待检测图像与模板图像之间的空间变换信息。

目标图像确定模块，用于依据所述空间变换信息，对所述待检测图像进行图像变换，得到所述待检测图像对应的目标图像。

异常确定模块，用于确定所述目标图像和模板图像中的像素差异信息，并依据所述像素差异信息确定所述待检测图像是否存在异常。

异常区域确定模块，用于在所述待检测图像异常的情况下，确定所述待检测图像对应的异常区域图像，并进行显示。

依据本发明的第三方面，提供了一种电子设备，包括：

一个或多个处理器；

存储器；

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述中任一所述的产品检测方法。

依据本发明的第四方面，提供了一种计算机可读存储介质，存储与电子设备结合使用的计算机程序，所述计算机程序可被处理器执行以完成上述中任一所述的产品检测方法。

本发明方案中，首先通过获取待检测图像和模板图像，模板图像为待检测产品表面为正常时的产品图像。再确定出待检测图像与模板图像之间的空间变换信息。其通过比较待检测图像和模板图像之间的全局特征，并依据空间变换信息对待检测图像进行图像变换，得到待检测图像对应的目标图像。由此，目标图像和模板图像的空间相关属性具有高度一致性。最后依据目标图像和模板图像中的像素差异信息，确定待检测图像是否存在异常，在待检测图像异常的情况下，确定待检测图像对应的异常区域图像，并进行显示。其可以对待检测图像进行精确的校正，且具有检测精度高、适应范围广等特点。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。

在附图中：

图1是本发明实施例提供的一种产品检测方法的步骤流程图；

图2是本发明实施例提供的另一种产品检测方法的步骤流程图；

图3是本发明实施例提供的一种检测模型的示例结构示意图；

图4是本发明实施例提供的一种特征提取网络的示例结构示意图；

图5是本发明实施例提供的一种相似度网络的示例结构示意图；

图6是本发明实施例提供的一种过滤网络的示例结构示意图；

图7是本发明实施例提供的一种检测模型的训练步骤的示意流程图；

图8是本发明实施例提供的一种产品检测装置的框图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

在一些产品的表面缺陷检测场景中，可以将摄像设备安装在拍摄到印刷产品的表面。从而通过摄像设备拍摄得到待检测图像和模板图像，并基于下述产品检测方法的各方法实施例确定出对应产品的表面是否存在异常。例如，下述方法实施例可以应用于高精度要求的产品异常检测中，如针对印刷产品等的表面缺陷检测。印刷缺陷主要是产品外观缺陷，在印刷过程中，包括油墨印刷、激光印刷等方式，造成印刷后的产品外观出现印刷字迹残缺、墨点、漏印、脏点、针孔等缺陷等。

参照图1，示出了本发明实施例提供的一种产品检测方法的步骤流程图，所述方法可以包括：

S101、获取待检测图像和模板图像。

本发明实施例中，所述模板图像为待检测产品表面为正常时的产品图像。在进行产品批量生产之前，可以在制作样品的过程中通过摄像设备拍摄到模板图像，并将模板图像进行预先存储。在产品生产过程中，实时拍摄产品的表面图像作为待检测图像。并将待检测图像和模板图像作为一组图像对，执行下一步处理。

S102、确定出所述待检测图像与模板图像之间的空间变换信息。

在一个实施例中，确定出所述待检测图像与模板图像之间的空间变换信息，包括：将所述待检测图像和模板图像输入到检测模型中进行图像识别，确定出所述待检测图像与模板图像之间的空间变换信息。其中，所述空间变换信息用于表征待检测图像相比于模板图像发生的空间变化。例如从空间变换信息中可以确定待检测图像相比于模板图像，是否发生平移、缩放、旋转以及光照变化等空间相关属性的变化情况。

S103、依据所述空间变换信息，对所述待检测图像进行图像变换，得到所述待检测图像对应的目标图像。

本发明实施例中，可以根据所述空间转换信息，对待检测图像进行图像变换，从而将通过深度学习的检测模型，对所述待检测图像进行校正，变换为与模板图像的空间相关属性一致的目标图像。

S104、确定所述目标图像和模板图像中的像素差异信息，并依据所述像素差异信息确定所述待检测图像是否存在异常。

S105、在所述待检测图像异常的情况下，确定所述待检测图像对应的异常区域图像，并进行显示。

本发明实施例中，所述像素差异信息指的是两个图像对应同一像素点的RGB差值的组合。由于变换得到的目标图像与模板图像的空间相关属性(例如光照变化、拍摄角度、缩放比例等)具有高度的统一性，且由于目标图像和模板图像的尺寸相同，则可以通过所述像素差异信息确定出所述待检测图像是否存在异常。在确定出目标图像之后，分别计算出目标图像和模板图像中对应像素点的像素值差值，将两张图像对应所有像素点的像素值差值作为像素差异信息。并通过所述像素差异信息是否满足预设差值条件的方式来确定待检测图像是否存在异常。

一种示例中，所述预设差值条件可以是像素值差值大于或等于差值阈值。若两个图像同一像素点的RGB差值等于或大于差值阈值，则说明像素差异信息满足预设差值条件，确定所述待检测图像对应位置存在异常。即所述像素差异信息中的任一像素值差值满足预设差值条件，均确定所述待检测图像存在异常。若两个图像同一像素点的RGB差值小于差值阈值时，则说明像素差异信息未满足预设差值条件，确定所述待检测图像对应位置正常，只有当所述像素差异信息中的所有像素值差值未满足预设差值条件，才确定所述待检测图像正常。

由于目标图像是待检测图像经过图像变换确定的，因此，若所述待检测图像异常，待检测图像中的异常像素点与目标图像中的异常像素点不一致，需要将目标图像中异常区域进行图像逆变换，从而能够得到待检测图像对应的异常区域图像，并进行显示。上述检测方法可以对待检测图像进行精确的校正，且具有检测精度高、适应范围广等特点。

参照图2和图3，示出了本发明实施例提供的另一种产品检测方法的步骤流程图，检测模型包括特征提取网络、相似度网络以及过滤网络。所述方法可以包括：

S201、获取待检测图像和模板图像，所述模板图像为待检测产品表面为正常时的产品图像。

本发明实施例中，所述模板图像为待检测产品表面为正常时的产品图像。在进行产品批量生产之前，可以在制作样品的过程中通过摄像设备拍摄到模板图像，并将模板图像进行预先存储。在产品生产过程中，实时拍摄产品的表面图像作为待检测图像。并将待检测图像和模板图像作为一组图像对，执行下一步处理。

S202、将所述待检测图像与模板图像分别输入到所述特征提取网络中进行特征提取，得到所述待检测图像对应的检测特征信息和所述模板图像对应的模板特征信息。

本发明实施例中，将所述待检测图像与模板图像分别输入到所述特征提取网络中进行特征提取。为了提取所述待检测图像与模板图像的全部图像特征，且便于后续确定相似度信息，一种示例中，可以将待检测图像与模板图像按照时序先后输入到同一特征提取网络中。另一种示例中，可以设置两个结构相同的特征提取网络，从而可以在获取到图像对之后，将图像对中的两张图像并行输入到两个特征提取网络中。所述特征提取网络在对待检测图像进行特征提取后，得到对应的检测特征信息，所述特征提取网络在对模板图像进行特征提取后，得到对应的模板特征信息。

一种示例中，参照图4所示，所述特征提取网络可以包括依序设置的第一卷积模块、第二卷积模块、第三卷积模块以及第四卷积模块。例如，所述第一卷积模块可以采用7*7的卷积核对图像进行第一次特征提取。将提取到的图像特征输入到第二卷积模块中进行第二次特征提取，其中，所述第二卷积模块、第三卷积模块以及第四卷积模块可以分别包括有若干个block单元，本领域技术人员可以根基实际情况选定上述三个卷积模块的数量，从而执行不同次数的卷积操作。例如，每个block单元由一个残差结构组成。由此先通过一个卷积核1x1的卷积子单元对通道进行降维，再通过一个卷积核3x3的卷积子单元进行特征提取，最后再通过一个卷积核1x1的卷积子单元进行特征恢复。并将所述第四卷积模块的输出作为特征提取网络的输出，即为待检测图像对应的检测特征信息或模板对象对应的模板特征信息。其中，所述特征提取网络输出的特征信息为N*C*H*W，其中，N为一次运行的图像数量，C为一张图像中的通道数量(即图像特征的数量)，H*W指的是每个图像特征的尺寸。因此，也可以将所述检测特征信息和模板特征信息看作是若C个特征矩阵的组合。

S203、将所述检测特征信息和模板特征信息输入到所述相似度网络中进行相似度计算，确定出所述检测特征信息和模板特征信息之间的相似度信息。

本发明实施例中，参照图5所示，所述相似度网络可以执行以下信息计算步骤：将所述检测特征信息对应的若干个特征矩阵以及所述模板特征信息对应的若干个特征矩阵进行矩阵相乘。其中，在矩阵相乘的过程中，可以优先将上述两个特征信息对应的若干个特征矩阵进行矩阵转换和变换，从而使得所述检测特征信息对应的若干个特征矩阵转换为一个新的特征矩阵，使得模板特征信息对应的若干个特征矩阵转换为一个新的特征矩阵，并对两个新的特征矩阵进行矩阵变换，以满足两个矩阵相乘的条件。

在得到矩阵相乘后的相关特征矩阵后，依序通过ReLU激活函数与L2范数分别对相关特征矩阵进行处理。确定出所述检测特征信息和模板特征信息之间的相似度信息。所述相似度信息用于确定待检测图像和模板图像之间各局部特征的匹配分值。其中，ReLU激活函数可以增加神经网络模型的非线性能力，克服梯度消失问题，使得模型训练会更快。L2范数用于将特征值进行归一化。

S204、将所述相似度信息输入到所述过滤网络中进行匹配处理，得到空间变换信息。

S205、依据所述空间变换信息，对所述待检测图像进行图像变换，得到所述待检测图像对应的目标图像。

本发明实施例中，为了提高确定不变特征信息的精确度，还可以通过过滤网络对相似度信息进行匹配处理。其中，参照图6所示，所述过滤网络可以包括多个多维卷积模块构成，每个卷积模块后设置一ReLU激活函数。将所述相似度信息输入到所述过滤网络中，过滤网络可以滤除所述相似度信息中的噪声，并根据经过滤除操作后的相似度信息，计算出待检测图像和模板图像之间的各局部特征之间的匹配分值。从而将匹配分值满足预设相似条件的局部特征作为不变特征信息。例如，所述预设相似条件可以是匹配分值最高的局部特征等。并依据不变特征信息，生成空间变换信息进行输出。其中，不变特征信息指的是待检测图像和模板图像之间对应像素点的RGB特征一致。

一种示例中，所述检测模型还可以包括异常检测定位器(图6中所示的PDetector)，可以将空间变换信息输入到所述异常检测定位器中，所述异常检测定位器依据空间变换信息对所述待检测图像进行图像变换，从而可以依据所述模板图像，对所述待检测图像进行深度校正，将所述待检测图像变换为与所述模板图像的空间相关属性一致的目标图像。

由于所述特征提取网络对待检测图像和模板图像执行的是全局特征的密集、深度提取。因此，在待检测图像相比于模板图像存在严重的偏移、旋转或缩放以及光照变化等情况下，不会对确定出不变特征造成影响。从而可以扩大了产品检测方法的适用范围，同时也可以促进所述方法的异常检测结果，并能够有效地检测出印刷残缺、墨点、漏印、脏点、针孔等微小型印刷缺陷。

S206、确定所述目标图像和模板图像中的像素差异信息，并依据所述像素差异信息确定所述待检测图像是否存在异常。

S207、在所述待检测图像异常的情况下，确定所述目标图像对应的目标区域图像。

S208、将所述目标区域图像进行图像逆变换，确定所述待检测图像对应的异常区域图像，并进行显示。

本发明实施例中，所述像素差异信息指的是两个图像对应同一像素点的RGB差值的组合。由于变换得到的目标图像与模板图像的空间相关属性(例如光照变化、拍摄角度、缩放比例等)具有高度的统一性，且由于目标图像和模板图像的尺寸相同，则可以通过所述像素差异信息确定出所述待检测图像是否存在异常。在确定出目标图像之后，分别计算出目标图像和模板图像中的所有像素点中对应像素点的像素值差值，将两张图像对应所有像素点的像素值差值作为像素差异信息。并通过所述像素差异信息是否满足预设差值条件的方式来确定待检测图像是否存在异常。

一种示例中，所述预设差值条件可以是像素值差值大于或等于差值阈值。若两个图像同一像素点的RGB差值等于或大于差值阈值，则说明像素差异信息满足预设差值条件，确定所述待检测图像对应位置存在异常。即所述像素差异信息中的任一像素值差值满足预设差值条件，均确定所述待检测图像存在异常。若两个图像同一像素点的RGB差值小于差值阈值时，则说明像素差异信息未满足预设差值条件，确定所述待检测图像对应位置正常，只有当所述像素差异信息中的所有像素值差值未满足预设差值条件，才确定所述待检测图像正常。

由于目标图像是待检测图像经过图像变换确定的，因此，若所述待检测图像异常，待检测图像中的异常像素点与目标图像中的异常像素点不一致，可以根据目标图像中异常区域的位置，生成突出异常区域的目标区域图像，例如，目标区域图像可以是二值化图像，其对应的正常区域的RGB值可以是0，其对应异常区域的RGB值可以是255。从而能够明显区分出异常区域。并且，异常检测定位器可以基于空间转换信息将目标区域图像进行图像逆变换，从而得到待检测图像对应的异常区域图像，并进行显示。由此，可以通过异常区域图像快速定位待检测图像中的异常区域。上述检测方法可以对待检测图像进行精确的校正，且具有检测精度高、适应范围广等特点。

一种可选的发明实施例中，所述方法还包括所述检测模型的训练步骤，所述检测模型包括特征提取网络、相似度网络以及过滤网络。参照图7所示，所述训练步骤可以包括：

S701、获取带有预设的图像标签的图像对，所述图像对包括第一样本图像和第二样本图像，所述图像标签用以确定所述第一样本图像和第二样本图像是否为同一类别产品的表面图像。

本发明实施例中，通过建立图像对的形式建立样本集，其中，每个图像对中包括第一样本图像和第二样本图像。在建立样本集的过程中，不需要对每个样本图像进行标注，只需要建立图像对的图像标签。即只需要在建立一组图像对，通过图像标签标记图像对中的两个样本图像是匹配模式还是非匹配模式即可，减轻了数据收集和标注的复杂度。其中，匹配模式指的是第一样本图像和第二样本图像属于同一类别产品的表面图像，第二样本图像可以是对应类别产品表面正常时的图像。针对印刷产品来说，其可以按照印刷图案来划分产品类别。

S702、将所述第一样本图像和第二样本图像分别输入到所述特征提取网络中进行特征提取，得到所述第一样本图像对应的第一特征信息和第二样本图像对应的第二特征信息。

S703、将所述第一特征信息和第二特征信息输入到所述相似度网络中进行相似度计算，确定出所述第一特征信息和第二特征信息之间的相似度信息。

S704、将所述相似度信息和图像标签输入到所述过滤网络中进行匹配处理，得到空间变换信息，其中，所述匹配处理至少包括以下步骤：依据所述相似度信息确定匹配分值，并依据所述匹配分值确定空间变换信息。

S705、依据所述图像标签和匹配分值调整所述检测模型的模型参数，在所述匹配分值符合预设调参条件时，停止调整模型参数并得到训练完成的检测模型。

本发明实施例中，将第一样本图像和第二样本图像输入到特征提取网络中进行特征提取，并将得到的第一样本图像对应的第一特征信息和第二样本图像对应的第二特征信息分别输入到相似度网络中，确定出两个特征信息之间的相似度信息。所述相似度信息指的是待检测图像和模板图像之间各局部特征的相似特征信息。

在确定出相似度信息之后，可以将相似度信息和图像标签输入到过滤网络中，通过过滤网络对相似度信息匹配处理，例如，通过相似度信息确定出待检测图像和模板图像之间的匹配分值。所述匹配分值用于表征待检测图像和模板图像之间各局部特征的相似程度。例如，所述匹配分值越高，说明待检测图像和模板图像之间的相似程度越高，图像一致性越高。又例如，所述匹配分值越低，说明检测图像和模板图像之间的相似程度越低，图像一致性越低。因此，在模型训练过程中，可以根据图像标签和匹配分值来调整模型参数。

一种示例中，所述预设调参条件包括：同一类别产品的表面图像之间的相似度信息对应的匹配分值满足第一预设条件。其中，所述第一预设条件可以是。即所述图像标签为匹配模式时，确定对应的匹配分值，并对特征提取网络、相似度网络以及过滤网络中的模型参数(例如卷积核等)进行调整，从而可以使得匹配模式下的两张图像所对应的匹配分值最大化。并且，不同类别产品的表面图像之间的相似度信息对应的匹配分值满足第二预设条件。所述第二预设条件可以是匹配分值最小化。即所述图像标签为非匹配模式时，确定对应的匹配分值，并对特征提取网络、相似度网络以及过滤网络中的模型参数进行调整，从而可以使得匹配模式下的匹配分值最小化。其中，匹配分值的最大化会使得在匹配模式下的图像对中产生良好识别匹配的理想效果，同样的，匹配分值的最小化会逐渐削弱非匹配模式下的图像对的匹配。并且，可以通过损失函数进行梯度下降法调整参数。

因此，在异常检测过程中，待检测图像和模板图像为同一产品类别，其为匹配模式，经过特征提取网络、相似度网络以及过滤网络依次处理后，得到对应的空间转换信息，其中，空间转换信息是基于最大化后的匹配分值确定的，通过所述空间转换信息对待检测图像进行图像变换得到的目标图像，具有与模板图像的空间相关属性的高度一致性。

综上，本发明实施例提供的一种产品检测方法，首先通过获取待检测图像和模板图像，模板图像为待检测产品表面为正常时的产品图像。再确定出待检测图像与模板图像之间的空间变换信息。其通过比较待检测图像和模板图像之间的全局特征，并依据空间变换信息对待检测图像进行图像变换，得到待检测图像对应的目标图像。由此，目标图像和模板图像的空间相关属性具有高度一致性。最后依据目标图像和模板图像中的像素差异信息，确定待检测图像是否存在异常，在待检测图像异常的情况下，确定待检测图像对应的异常区域图像，并进行显示。其可以对待检测图像进行精确的校正，且具有检测精度高、适应范围广等特点。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。

参照图8，示出了本发明实施例提供的一种产品检测装置，所述装置可以包括：

图像获取模块801，用于获取待检测图像和模板图像，所述模板图像为待检测产品表面为正常时的产品图像。

变换信息确定模块802，用于确定出所述待检测图像与模板图像之间的空间变换信息。

目标图像确定模块803，用于依据所述空间变换信息，对所述待检测图像进行图像变换，得到所述待检测图像对应的目标图像。

异常确定模块804，用于确定所述目标图像和模板图像中的像素差异信息，并依据所述像素差异信息确定所述待检测图像是否存在异常。

异常区域确定模块805，用于在所述待检测图像异常的情况下，确定所述待检测图像对应的异常区域图像，并进行显示。

一种可选的发明实施例，所述变换信息确定模块802可以包括：

特征提取子模块，用于将所述待检测图像与模板图像分别输入到所述特征提取网络中进行特征提取，得到所述待检测图像对应的检测特征信息和所述模板图像对应的模板特征信息。

特征识别子模块，用于将所述检测特征信息和模板特征信息输入到所述图像识别子模型中进行特征识别，确定出所述检测特征信息和模板特征信息之间的空间变换信息。

一种可选的发明实施例，所述图像识别子模块包括相似度网络和过滤网络，所述特征识别子模块还可以包括：

相似度计算单元，用于将所述检测特征信息和模板特征信息输入到所述相似度网络中进行相似度计算，确定出所述检测特征信息和模板特征信息之间的相似度信息。

变换信息确定单元，用于将所述相似度信息输入到所述过滤网络中进行匹配处理，得到空间变换信息。

一种可选的发明实施例，所述异常确定模块804可以包括：

差值计算子模块，用于分别计算出所述目标图像和模板图像中对应像素点的像素值差值。

差异信息确定子模块，用于将若干个像素值差值作为像素差异信息。

一种可选的发明实施例，所述异常确定模块804还可以包括：

异常判定子模块，用于若所述像素差异信息中的任一像素值差值满足预设差值条件，确定所述待检测图像存在异常。

正常判定子模块，用于若所述像素差异信息中的若干个像素值差值未满足预设差值条件，确定所述待检测图像正常。

一种可选的发明实施例，所述异常区域确定模块805还可以包括：

目标区域确定子模块，用于确定所述目标图像对应的目标区域图像。

异常区域确定子模块，用于依据所述空间变换信息，对所述目标区域图像进行图像逆变换，得到所述待检测图像对应的异常区域图像。

一种可选的发明实施例，所述装置还包括用于训练检测模型的训练模块，所述检测模型包括特征提取网络、相似度网络以及过滤网络，所述训练模块可以包括：

图像对获取子模块，用于获取带有预设的图像标签的图像对，所述图像对包括第一样本图像和第二样本图像，所述图像标签用以确定所述第一样本图像和第二样本图像是否为同一类别产品的表面图像之间。

样本特征提取子模块，用于将所述第一样本图像和第二样本图像分别输入到所述特征提取网络中进行特征提取，得到所述第一样本图像对应的第一特征信息和第二样本图像对应的第二特征信息。

相似度计算子模块，用于将所述第一特征信息和第二特征信息输入到所述相似度网络中进行相似度计算，确定出所述第一特征信息和第二特征信息之间的相似度信息。

信息更新子模块，用于将所述相似度信息和图像标签输入到所述过滤网络中进行匹配处理，得到空间变换信息。

参数调整子模块，用于依据所述图像标签和空间变换信息调整所述检测模型的模型参数，在所述匹配分值符合预设调参条件时，停止调整模型参数并得到训练完成的检测模型。

一种可选的发明实施例，所述预设调参条件包括：同一类别产品的表面图像之间的相似度信息对应的匹配分值满足第一预设条件，并且，不同类别产品的表面图像之间的相似度信息对应的匹配分值满足第二预设条件。

综上，本发明实施例提供的一种产品检测装置，首先通过获取待检测图像和模板图像，模板图像为待检测产品表面为正常时的产品图像。再确定出待检测图像与模板图像之间的空间变换信息。其通过比较待检测图像和模板图像之间的全局特征，并依据空间变换信息对待检测图像进行图像变换，得到待检测图像对应的目标图像。由此，目标图像和模板图像的空间相关属性具有高度一致性。最后依据目标图像和模板图像中的像素差异信息，确定待检测图像是否存在异常，在待检测图像异常的情况下，确定待检测图像对应的异常区域图像，并进行显示。其可以对待检测图像进行精确的校正，且具有检测精度高、适应范围广等特点。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域技术人员易于想到的是：上述各个实施例的任意组合应用都是可行的，故上述各个实施例之间的任意组合都是本发明的实施方案，但是由于篇幅限制，本说明书在此就不一一详述了。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

一种电子设备，包括：

一个或多个处理器；

存储器；

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述实施例所述的方法。

一种计算机可读存储介质，存储与电子设备结合使用的计算机程序，所述计算机程序可被处理器执行以完成上述实施例所述的方法。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种产品检测方法和一种产品检测装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种产品检测方法，其特征在于，所述方法包括：

获取待检测图像和模板图像，所述模板图像为待检测产品表面为正常时的产品图像；

确定出所述待检测图像与模板图像之间的空间变换信息；

依据所述空间变换信息，对所述待检测图像进行图像变换，得到所述待检测图像对应的目标图像；

确定所述目标图像和模板图像中的像素差异信息，并依据所述像素差异信息确定所述待检测图像是否存在异常；

在所述待检测图像异常的情况下，确定所述待检测图像对应的异常区域图像，并进行显示。

2.根据权利要求1所述的产品检测方法，其特征在于，所述确定出所述待检测图像与模板图像之间的空间变换信息，包括：

将所述待检测图像与模板图像分别输入到特征提取网络中进行特征提取，得到所述待检测图像对应的检测特征信息和所述模板图像对应的模板特征信息；

将所述检测特征信息和模板特征信息输入到图像识别子模型中进行特征识别，确定出所述检测特征信息和模板特征信息之间的空间变换信息。

3.根据权利要求2所述的产品检测方法，其特征在于，所述图像识别子模块包括相似度网络和过滤网络，所述将所述检测特征信息和模板特征信息输入到所述图像识别子模型中进行特征识别，确定出所述检测特征信息和模板特征信息之间的空间变换信息，包括：

将所述检测特征信息和模板特征信息输入到所述相似度网络中进行相似度计算，确定出所述检测特征信息和模板特征信息之间的相似度信息；

将所述相似度信息输入到所述过滤网络中进行匹配处理，得到空间变换信息。

4.根据权利要求1-3任一项所述的产品检测方法，其特征在于，所述确定所述目标图像和模板图像中的像素差异信息，包括：

分别计算出所述目标图像和模板图像中的所有像素点中对应像素点的像素值差值，得到像素差异信息。

5.根据权利要求4所述的产品检测方法，其特征在于，所述依据所述像素差异信息确定所述待检测图像是否存在异常，包括：

若所述像素差异信息中的任一像素值差值满足预设差值条件，确定所述待检测图像存在异常；

若所述像素差异信息中的若干个像素值差值未满足预设差值条件，确定所述待检测图像正常。

6.根据权利要求5所述的产品检测方法，其特征在于，所述确定所述待检测图像对应的异常区域图像，包括：

确定所述目标图像对应的目标区域图像；

依据所述空间变换信息，对所述目标区域图像进行图像逆变换，得到所述待检测图像对应的异常区域图像。

7.根据权利要求1-3、5或6任一项所述的产品检测方法，其特征在于，所述确定出所述待检测图像与模板图像之间的空间变换信息，包括：将所述待检测图像和模板图像输入到检测模型中进行图像识别，确定出所述待检测图像与模板图像之间的空间变换信息；

所述方法还包括检测模型的训练步骤，所述检测模型包括特征提取网络和图像识别子模型，所述图像识别子模型包括相似度网络和过滤网络，所述训练步骤包括：

获取带有预设的图像标签的图像对，所述图像对包括第一样本图像和第二样本图像，所述图像标签用以确定所述第一样本图像和第二样本图像是否为同一类别产品的表面图像之间；

将所述第一样本图像和第二样本图像分别输入到所述特征提取网络中进行特征提取，得到所述第一样本图像对应的第一特征信息和第二样本图像对应的第二特征信息；

将所述第一特征信息和第二特征信息输入到所述相似度网络中进行相似度计算，确定出所述第一特征信息和第二特征信息之间的相似度信息；

将所述相似度信息和图像标签输入到所述过滤网络中进行匹配处理，得到空间变换信息，其中，所述匹配处理至少包括以下步骤：依据所述相似度信息确定匹配分值，并依据所述匹配分值确定空间变换信息；

依据所述图像标签和匹配分值调整所述检测模型的模型参数，在所述匹配分值符合预设调参条件时，停止调整模型参数并得到训练完成的检测模型。

8.根据权利要求7所述的产品检测方法，其特征在于，所述预设调参条件包括：同一类别产品的表面图像之间的相似度信息对应的匹配分值满足第一预设条件，并且，不同类别产品的表面图像之间的相似度信息对应的匹配分值满足第二预设条件。

9.一种产品检测装置，其特征在于，所述装置包括：

图像获取模块，用于获取待检测图像和模板图像，所述模板图像为待检测产品表面为正常时的产品图像。

变换信息确定模块，用于确定出所述待检测图像与模板图像之间的空间变换信息。

目标图像确定模块，用于依据所述空间变换信息，对所述待检测图像进行图像变换，得到所述待检测图像对应的目标图像。

异常确定模块，用于确定所述目标图像和模板图像中的像素差异信息，并依据所述像素差异信息确定所述待检测图像是否存在异常。

异常区域确定模块，用于在所述待检测图像异常的情况下，确定所述待检测图像对应的异常区域图像，并进行显示。

10.一种电子设备，包括：

一个或多个处理器；

存储器；

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行权利要求1-8中任一所述的产品检测方法。

11.一种计算机可读存储介质，存储与电子设备结合使用的计算机程序，所述计算机程序可被处理器执行以完成权利要求1-8中任一所述的产品检测方法。

Images