CN115393337A - 工业缺陷检测方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种工业缺陷检测方法、装置、设备及计算机可读存储介质。包括如下步骤：对预设正常图片数据集和待预测图片进行边缘特征提取和模板匹配，分别得到与预设正常图片数据集相对应的若干张第一主体图片，以及与待预测图片相对应的第二主体图片；根据预设特征提取模型，对若干张第一主体图片进行特征提取，得到与若干张第一主体图片相对应的第一特征库，以及对第二主体图片进行特征提取，得到与第二主体图片相对应的第二特征库；将第二特征库与第一特征库进行对比，得到待预测图片的目标MAP图；对目标MAP图进行二值化处理，得到待预测图片的异常区域。本发明实现了通过少量缺陷图片完成工业缺陷检测，为工业视觉检测提供准确的检测方案。

Description

工业缺陷检测方法、装置、设备及计算机可读存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种工业缺陷检测方法、装置、设备及计算机可读存储介质。

背景技术

工业视觉检测一直以来都是工业缺陷检测的主要技术手段，随着AI(ArtificialIntelligence人工智能)视觉检测技术的不断发展，越来越多的工业场景开始使用AI技术来替代人工完成产品的缺陷检测，但是目前AI技术还是暴露出一些问题，现阶段的工业视觉检测都需要预先收集大量的缺陷产品的图片才能训练出一个达到产线检测标准的AI模型，然而大部分产品的良率较高，在短时间内很难收集到大量的缺陷产品，因此在项目运行初期很难应用AI技术进行视觉检测，即现阶段基于AI视觉检测技术的应用范围较小。

发明内容

本发明的主要目的在于提供一种工业缺陷检测方法、设备及计算机可读存储介质。旨在解决AI视觉检测技术的应用范围小的问题。

为实现上述目的，本发明提供一种工业缺陷检测方法，所述工业缺陷检测方法包括步骤：

对预设正常图片数据集和待预测图片进行边缘特征提取和模板匹配，分别得到与所述预设正常图片数据集相对应的若干张第一主体图片，以及与所述待预测图片相对应的第二主体图片；

根据预设特征提取模型，对若干张所述第一主体图片进行特征提取，得到与若干张所述第一主体图片相对应的第一特征库，以及对所述第二主体图片进行特征提取，得到与所述第二主体图片相对应的第二特征库；

将所述第二特征库与所述第一特征库进行对比，得到所述待预测图片的目标MAP图；

对所述目标MAP图进行二值化处理，得到所述待预测图片的异常区域。可选地，所述对预设正常图片数据集和待预测图片进行边缘特征提取和模板匹配，得到与所述预设正常图片数据集相对应的若干张第一主体图片，以及与所述待预测图片相对应的第二主体图片的步骤包括：

对预设正常图片数据集中的若干张正常图片进行边缘特征提取，得到与若干张所述正常图片相对应的若干张第一边缘特征图片；

对待预测图片进行边缘特征提取，得到与所述待预测图片相对应的第二边缘特征图片；

根据预设模板图片，对若干张所述第一边缘特征图片进行模板匹配，得到与所述第一边缘特征图片对应的第一主体图片；

根据预设模板图片，对所述第二边缘特征图片进行模板匹配，得到与所述第二边缘特征图片对应的第二主体图片。

可选地，所述根据预设特征提取模型，对若干张所述第一主体图片进行特征提取，得到与若干张所述第一主体图片相对应的第一特征库的步骤包括：

根据所述预设正常图片数据集中正常图片的数量设置预设特征提取模型的权重；

根据所述权重和所述预设特征提取模型，提取所有所述第一主体图片的特征，并对所有所述第一主体图片的特征进行随机采样，得到第一特征库。

可选地，所述对所述第二主体图片进行特征提取，得到与所述第二主体图片相对应的第二特征库的步骤包括：

将所述第二主体图片以预设数量切分为多张子图；

根据所述权重和所述预设特征提取模型，分别提取出与所有所述子图相对应的子图特征，并得到包含所有所述子图特征的第二特征库。

可选地，所述将所述第二特征库与所述第一特征库进行对比，得到所述待预测图片的目标MAP图的步骤包括：

根据所述第一特征库训练得到与所述第一特征库相对应的最小邻近算法模型；

根据所述最小邻近算法模型和所述子图特征分别计算每一个所述子图在所述第一特征库中的评分；

根据所述评分和所述子图，得到所述待预测图片的目标MAP图。

可选地，所述根据所述评分和所述子图，得到所述待预测图片的目标MAP图的步骤包括：

根据所述评分和所述子图，将所述子图组合为与所述预设数量相对应的MAP图；

通过预设的高斯插值算法对所述MAP图进行插值处理，得到与所述待预测图片的大小相同的目标MAP图。

可选地，所述对所述目标MAP图进行二值化处理，检测所述待预测图片的异常区域的步骤之前，还包括：

根据预设图片测试集，设置所述目标MAP图的二值化阈值；

所述对所述目标MAP图进行二值化处理，检测所述待预测图片的异常区域的步骤包括：

根据所述二值化阈值，对所述目标MAP图进行二值化处理，得到所述待预测图片的Mask区域；

将所述待预测图片中的Mask区域的数值为1的区域作为异常区域。

此外，为实现上述目的，本发明还提供一种工业缺陷检测装置，所述工业缺陷检测装置包括：

预处理模块，用于对预设正常图片数据集和待预测图片进行边缘特征提取和模板匹配，分别得到与所述预设正常图片数据集相对应的若干张第一主体图片，以及与所述待预测图片相对应的第二主体图片；

特征提取模块，用于根据预设特征提取模型，对若干张所述第一主体图片进行特征提取，得到与若干张所述第一主体图片相对应的第一特征库，以及对所述第二主体图片进行特征提取，得到与所述第二主体图片相对应的第二特征库；

异常检测模块，用于将所述第二特征库与所述第一特征库进行对比，得到所述待预测图片的目标MAP图；以及

对所述目标MAP图进行二值化处理，得到所述待预测图片的异常区域。

此外，为实现上述目的，本发明还提供一种工业缺陷检测设备，所述工业缺陷检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的工业缺陷检测程序，所述工业缺陷检测程序被所述处理器执行时实现如上所述的工业缺陷检测方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有工业缺陷检测程序，所述工业缺陷检测程序被处理器执行时实现如上所述的工业缺陷检测方法的步骤。

本发明提出一种工业缺陷检测方法、装置、设备及计算机可读存储介质，通过本发明中对预设正常图片数据集和待预测图片进行预处理，得到若干张第一主体图片以及第二主体图片，能够将图片中除了产品主体之外的非产品主体信息屏蔽，分割出产品主体的区域，保证进行后续异常检测中的图片只包含产品主体的信息，提高检测的准确率；通过对第一主体图片和第二主体图片分别进行特征提取，构建第一特征库和第二特征库，能够减少图片特征的数据维度，降低数据的的复杂性，便于对待预测图片进行异常检测；通过将第一特征库和第二特征库进行对比，得到所述待预测图片的目标MAP图，以及对所述目标MAP图进行二值化处理，得到所述待预测图片的异常区域，结合传统视觉以及深度学习的图像分割实现了产品缺陷的检测，避免了在短时间内无法收集到大量缺陷产品，导致无法通过大量的缺陷产品的图片训练出一个达到产线检测标准的AI模型情况发生，扩展了工业缺陷检测方法的应用范围，提高了检测的准确性。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的装置结构示意图；

图2是本发明工业缺陷检测方法中一实施例的流程示意图；

图3是本发明工业缺陷检测方法中一实施例中步骤S20的细化流程示意图；

图4是本发明工业缺陷检测方法中一实施例中步骤S20的另一细化流程示意图；

图5是本发明工业缺陷检测方法中二实施例中步骤S10的细化流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。

本发明实施例终端为工业缺陷检测设备。

如图1所示，该终端可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，DVI接口1004，USB接口1005，存储器1006。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选的用户接口1003还可以包括标准的有线接口、无线接口。DVI接口1004可选的可以包括标准的有线接口，通过DVI线与其他外部设备连接。USB接口1005可选的可以包括标准的有线接口，通过USB连接线与其他外部设备连接。存储器1006可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1006可选的还可以是独立于前述处理器1001的存储装置。

可选地，终端还可以包括音频电路等等，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1006中可以包括操作系统、DVI接口模块、USB接口模块、用户接口模块以及工业缺陷检测程序。

在图1所示的终端中，DVI接口1004主要用于连接外部设备，与外部设备进行数据通信；USB接口1005主要用于连接外部设备，与外部设备进行数据通信；用户接口1003主要用于连接客户端，与客户端进行数据通信；而处理器1001可以用于调用存储器1006中存储的工业缺陷检测程序，并执行以下操作：

对预设正常图片数据集和待预测图片进行边缘特征提取和模板匹配，分别得到与所述预设正常图片数据集相对应的若干张第一主体图片，以及与所述待预测图片相对应的第二主体图片；

根据预设特征提取模型，对若干张所述第一主体图片进行特征提取，得到与若干张所述第一主体图片相对应的第一特征库，以及对所述第二主体图片进行特征提取，得到与所述第二主体图片相对应的第二特征库；

将所述第二特征库与所述第一特征库进行对比，得到所述待预测图片的目标MAP图；

对所述目标MAP图进行二值化处理，得到所述待预测图片的异常区域。

进一步地，处理器1001可以调用存储器1006中存储的工业缺陷检测程序，还执行以下操作：

对预设正常图片数据集中的若干张正常图片进行边缘特征提取，得到与若干张所述正常图片相对应的若干张第一边缘特征图片；

对待预测图片进行边缘特征提取，得到与所述待预测图片相对应的第二边缘特征图片；

根据预设模板图片，对若干张所述第一边缘特征图片进行模板匹配，得到与所述第一边缘特征图片对应的第一主体图片；

根据预设模板图片，对所述第二边缘特征图片进行模板匹配，得到与所述第二边缘特征图片对应的第二主体图片。

进一步地，处理器1001可以调用存储器1006中存储的工业缺陷检测程序，还执行以下操作：

根据所述预设正常图片数据集中正常图片的数量设置预设特征提取模型的权重；

根据所述权重和所述预设特征提取模型，提取所有所述第一主体图片的特征，并对所有所述第一主体图片的特征进行随机采样，得到第一特征库。

进一步地，处理器1001可以调用存储器1006中存储的工业缺陷检测程序，还执行以下操作：

将所述第二主体图片以预设数量切分为多张子图；

根据所述权重和所述预设特征提取模型，分别提取出与所有所述子图相对应的子图特征，并得到包含所有所述子图特征的第二特征库。

进一步地，处理器1001可以调用存储器1006中存储的工业缺陷检测程序，还执行以下操作：

根据所述第一特征库训练得到与所述第一特征库相对应的最小邻近算法模型；

根据所述最小邻近算法模型和所述子图特征分别计算每一个所述子图在所述第一特征库中的评分；

根据所述评分和所述子图，得到所述待预测图片的目标MAP图。

进一步地，处理器1001可以调用存储器1006中存储的工业缺陷检测程序，还执行以下操作：

根据所述评分和所述子图，将所述子图组合为与所述预设数量相对应的MAP图；

通过预设的高斯插值算法对所述MAP图进行插值处理，得到与所述待预测图片的大小相同的目标MAP图。

进一步地，处理器1001可以调用存储器1006中存储的工业缺陷检测程序，还执行以下操作：

根据预设图片测试集，设置所述目标MAP图的二值化阈值；

所述对所述目标MAP图进行二值化处理，检测所述待预测图片的异常区域的步骤包括：

根据所述二值化阈值，对所述目标MAP图进行二值化处理，得到所述待预测图片的Mask区域；

将所述待预测图片中的Mask区域的数值为1的区域作为异常区域。

本发明车辆的具体实施例与下述工业缺陷检测程序各实施例基本相同，在此不作赘述。

请参阅图2，图2为本发明工业缺陷检测方法第一实施例的流程示意图，本实施例提供的工业缺陷检测方法包括如下步骤：

步骤S10，对预设正常图片数据集和待预测图片进行边缘特征提取和模板匹配，分别得到与所述预设正常图片数据集相对应的若干张第一主体图片，以及与所述待预测图片相对应的第二主体图片；

本发明主要应用于工业产品的缺陷检测，例如在精密部件的应用中，很多缺陷已经人眼无法看到，只能通过自动化检测手段来实现，工业缺陷检测方法可以做到的便是这些部件的尺寸检测，包括直径周长等等，以及产品外观划痕，或者产品的破损检测等方面。例如，对一个螺丝进行工业视觉检测，在本发明中只需要采用多张正常螺丝的图片，再将待预测的螺丝图片通过本方案进行检测，即可以得到待预测的螺丝的表面是否生锈，损坏等状态，不需要采用传统的使用多张损坏螺丝的图片进行训练，进而得到AI模型来检测该螺丝是否损坏的方案。本发明只利用少量的NG(缺陷)图片和大量的OK(良品)图片就能训练出一个缺陷检测模型，并结合传统视觉以及深度学习的图像分割实现产品缺陷的检测。

在工业视觉缺陷检测场景中，图片中除了包含产品主体的信息，还包含一些工装等非待检测产品主体的信息，为了保证进行异常检测中的图片只包含待检测产品主体的信息，需要对图像进行预处理，即边缘特征提取和模板匹配，分割出待检测产品主体的区域，屏蔽图片的背景区域。具体的，在本实施例中，所述预设正常图片数据集中包括有多张正常图片，其中，所述正常图片是指包含待测产品的正常形状、尺寸、外观等的图片。所述待预测图片的数量为一张，指的是需要进行视觉工业检测的图片。所述预处理包括边缘特征提取和模板匹配，其中，所述边缘特征提取是指提取预设正常图片数据集中所有正常图片的边缘特征得到第一边缘特征图片，以及提取待预测图片中的边缘特征，得到第二边缘特征图片；所述模板匹配是指，分别将第一边缘特征图片与预设模板图片进行匹配，得到第一主体图片，将第二边缘图片与预设模板图片进行匹配，得到第二主体图片。

步骤S20，根据预设特征提取模型，对若干张所述第一主体图片进行特征提取，得到与若干张所述第一主体图片相对应的第一特征库，以及对所述第二主体图片进行特征提取，得到与所述第二主体图片相对应的第二特征库；

参照图3，在一实施例中，所述步骤S20还包括：

步骤S21，根据所述预设正常图片数据集中正常图片的数量设置预设特征提取模型的权重；

采用的特征提取模型为ResNet50，在正常图片的数量较少时，可以直接选择预训练模型的权重作为特征提取模型的权重，即现有的已经训练完成的权重；当正常图片数量较多时，利用伪标签训练模型，得到特征提取模型的权重。

步骤S22，根据所述权重和所述预设特征提取模型，提取所有所述第一主体图片的特征，并对所有所述第一主体图片的特征进行随机采样，得到第一特征库。

在本实施例中，采用的特征提取模型为ResNet50，并且选取ResNet前几层网络的输出作为特征提取模型的特征输出。由于第一主体图片具有多张，因此，需要对每一张第一主体图片进行特征提取，并根据输出的每一张主体图片对应的特征构建特征库，例如在预设正常图片数据集一共包含N张图片，特征提取模型记为F，第i张图片的特征记为F(i)，则一个包含N张图片的特征库表示为M＝[F(0),F(1),…,F(N)]，并对特征库进行随机采样，得到随机采样之后的第一特征库，记作为M_i。

参照图4，在一实施例中，所述步骤S20还包括：

步骤S23，将所述第二主体图片以预设数量切分为多张子图

步骤S24，根据所述权重和所述预设特征提取模型，分别提取出与所有所述子图相对应的子图特征，并得到包含所有所述子图特征的第二特征库。

在本实施例中，需要将第二主体图片划分为多张子图，再提取每一张子图所对应的特征，例如，例如一张尺寸为M×M第二主体图片记为P，将第二主体图片可切分成N×N个子图，例如，一张尺寸为100×100的第二主体图片，可切分为50×50个子图，则对应的每一个子图的尺寸即为2×2。

同时，由于第二主体图片只有一张，因此需要对第二主体图片进行切分成多个子图后，再进行特征提取，并将提取后得到的特征，构建为第二特征库。

步骤S30，将所述第二特征库与所述第一特征库进行对比，得到所述待预测图片的目标MAP图；

在一实施例中，所述步骤S30还包括：

步骤S31，根据所述第一特征库训练得到与所述第一特征库相对应的最小邻近算法模型；；

在本实施例中，所述算法模型为最小邻近算法KNN(k-NearestNeighbor最邻近算法)，并利用第一特征库M_i训练一个KNN模型，用于实现第二特征库和第一特征库的对比。

步骤S32，根据所述最小邻近算法模型和所述子图特征分别计算每一个所述子图在所述第一特征库中评分；

所述子图是根据第二主体图片进行切分得到的，所述子图特征是通过上述特征提取模型根据对应的子图而得到的。例如一张尺寸为M×M第二主体图片记为P，将第二主体图片可切分成N×N个子图，例如，一张尺寸为100×100的第二主体图片，可切分为50×50个子图，则对应的每一个子图的尺寸即为2×2。其中，每个子图的特征记为F(P_ij)，采用M_i训练得到的KNN模型以及KNN算法，得到一个子图P_i在特征库M_i中的评分为:

S_ij＝KNN(F(P_ij))；其中，S_ij为子图i的评分，F(P_ij)为子图i对应的特征。

其中，所述评分即为子图特征与第一特征库中的特征的相似程度，当评分越高时，表示为子图特征与特征库越不相似；当评分越低时，表示为子图特征与特征库越相似。另外，需要说明的是，在进行子图划分时，当N取值越大时，得到的评分越准确，但KNN算法运行越慢；当N取值越小时，得到的评分越粗糙，但KNN算法运行速度越快。

步骤S33，根据所述评分和所述子图，得到所述待预测图片的目标MAP图；

在一实施例中，所述步骤S33还包括：

步骤A331，根据所述评分和所述子图，将所述子图组合为与所述预设数量相对应的MAP图；

在得到子图及其对应的评分后，将所述评分转换为子图对应的像素值，得到以不同像素值表示的大小为N×N的MAP图。

步骤A332，通过高斯插值算法对所述MAP图进行插值处理，得到与所述待预测图片的大小相同的目标MAP图。

为了将MAP图的大小改变为第二主体图片的大小，需要对MAP图进行插值，具体可以选用高斯插值算法，最终得到与待预测图片大小一致的MAP图。需要说明的是，插值即为利用已知MAP图中邻近像素点的灰度值来产生未知像素点的灰度值，以便由原始图像再生出具有更高分辨率的图像，换言之，即为填补MAP图转换为与待预测图片大小一致时像素之间的空隙。

步骤S40，对所述目标MAP图进行二值化处理，得到所述待预测图片的异常区域。

图像的二值化，就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果。

在一实施例中，所述步骤S40之前，还包括：

步骤A301，根据预设图片测试集，设置所述目标MAP图的二值化阈值；

具体的，所述预设图片测试集包括m张正常的图片，n张异常的图片，还需设置所述测试集的Mask区域标签L_t，其中，所述Mask区域标签即为1或者0，因此，在m张正常的图片中所有的区域均为0，在n张异常图片中，属于异常的区域即为1，正常区域为0。其中，获取二值化阈值的具体步骤为：

将目标MAP图中的像素值归一化到[0,1]，在[0,1]之间等间隔取N个点作为阈值,则第i个点的阈值下的Mask区域标签为L_i,第i个阈值的AUC评分为A_i＝AUC(L_t，L_i)；其中L_t为测试集的Mask区域标签。

最终AUC取最大值时所对应的阈值则为最佳阈值threshold＝argmax(A_i),即可将该阈值作为二值化阈值。

所述步骤S40包括：

步骤A41，根据所述二值化阈值，对所述目标MAP图进行二值化处理，得到所述待预测图片的Mask区域；

步骤A42，将所述待预测图片中的Mask区域数值为1的区域作为异常区域。

在本实施例中，根据所述阈值，将目标MAP图中小于所述阈值的像素点的Mask区域作为0，将大于所述阈值的像素点的Mask区域作为1，进而最终得到图像中异常的区域像素点对应的Mask值为1，正常区域的对应的Mask值为0。

本发明提出一种工业缺陷检测方法，通过本发明中对预设正常图片数据集和待预测图片进行预处理，得到若干张第一主体图片以及第二主体图片，能够将图片中除了产品主体之外的非产品主体信息屏蔽，分割出产品主体的区域，保证进行后续异常检测中的图片只包含产品主体的信息，提高检测的准确率；通过对第一主体图片和第二主体图片分别进行特征提取，构建第一特征库和第二特征库，能够减少图片特征的数据维度，降低数据的的复杂性，便于对待预测图片进行异常检测；通过将第一特征库和第二特征库进行对比，得到所述待预测图片的目标MAP图，以及对所述目标MAP图进行二值化处理，得到所述待预测图片的异常区域，结合传统视觉以及深度学习的图像分割实现了产品缺陷的检测，避免了在短时间内无法收集到大量缺陷产品，导致无法通过大量的缺陷产品的图片训练出一个达到产线检测标准的AI模型情况发生，扩展了工业缺陷检测方法的应用范围，提高了检测的准确性。

进一步地，请参照图5，图5为根据本申请工业缺陷检测方法的第一实施例提出本申请工业缺陷检测方法的第二实施例，在本实施例中，步骤S10还包括：

步骤S11，对预设正常图片数据集中的若干张正常图片进行边缘特征提取，得到与若干张所述正常图片相对应的若干张第一边缘特征图片；

具体的，在进行第一边缘特征提取时的流程为：

步骤a，对预设正常图片数据集中每一张正常图片的所有像素点进行高斯滤波处理，得到所述像素点的灰度值；对于一个位置为(m,n)的像素点，其灰度值为f(m,n)。经过高斯滤波变换后，其灰度值变为：

其中，g_σ(m,n)为像素点对应的灰度值，σ为标准差，m和n均为像素坐标。

步骤b，计算与所述灰度值相对应的梯度值和与所述梯度值相对应的梯度方向；

其中，在图像中通常利用梯度来表示灰度值的变化程度和方向，即梯度值即为灰度值的变化程度，梯度方向即为梯度的变化方向。具体可通过下述公式来计算梯度值和梯度方向：

步骤c，G(m.n)即为像素点的梯度值，gx(m,n)为像素点在x轴上所表示的灰度值，gy(m,n)为像素点在y轴上所表示的灰度值，θ为梯度方向。

步骤d，根据所述梯度值和所述梯度方向，提取所述预设正常图片数据集中的每一张正常图片的边缘特征；

具体的，边缘的定义为灰度值变化较大的像素点的集合,例如，一道黑边与一道白边的中间就是边缘，它的灰度值变化是最大的。在本实施例中，在高斯滤波中，有些边缘被放大了，为了使边缘的宽度尽可能为一个像素点，需要使用一些规则来过滤不是边缘的点，规则如下：

规则1，如果一个像素点在梯度方向上的梯度值最大，则该像素点为边缘点，否则不是边缘点，将灰度值置0；

规则2，利用自定义上下阈值来检测边缘：

利用自定义方法确定一个边缘上阈值和边缘下阈值，位于上下阈值之间的点都可以作为边缘，能提高边缘的准确性。

步骤S12，对待预测图片进行边缘特征提取，得到与所述待预测图片相对应的第二边缘特征图片，

对待预测图片进行边缘特征提取的步骤请参阅对预设正常图片数据集中的正常图片进行边缘特征提取的步骤，本实施例在此不做赘述。

步骤S13，根据预设模板图片，对若干张所述第一边缘特征图片进行模板匹配，得到与所述第一边缘特征图片对应的第一主体图片；

步骤S14，根据预设模板图片，对所述第二边缘特征图片进行模板匹配，得到与所述第二边缘特征图片对应的第二主体图片。

在本实施例中，所述模板匹配即为研究预设模板图片位于第一边缘特征图片和第二边缘特征图片的具体位置，进而识别第一边缘图片和第二边缘图片中的主体位置的一种方式。其具体流程为：

步骤e，设置一个矩形的预设模板图片，其中，所述预设模板图片可以分别从第一边缘特征图片中截取，或者从第二边缘特征图片中截取。还可以从预设正常图片数据集中进行截取，但是在正常图片中进行截取后，还需经过边缘特征提取，才可以作为模板图片进行使用，需要说明的是，在选取预设模板图片时，需要选取预设图片数据集中的所有图片的公共部分。

步骤f，将所述预设模板图片在所述第一边缘特征图片或者第二边缘特征图片上进行平移，且将每一次平移所覆盖的面积子图记作S(i,j)，并计算每个窗口下的图像相似性矩阵R。以在第一边缘特征图片上进行模板平移为例，假设第一边缘特征图片S的尺寸为M×M，模板图片T的尺寸为N×N，其中M>N，M,N代表图像像素大小。模板T在图像S上平移,模板图片所覆盖的面积子图记作S(i,j)，通过下述公式，计算每个窗口下的图像相似性矩阵R

步骤g，根据以下公式即得到与预设模板图片最为相似的区域坐标

i，j＝argmax(R(i，j))

其中，i,j即为区域坐标，R(i,j)即为图像相似性矩阵。

步骤g，根据产品主体与模板图像的相对位置定位出产品主体的位置，得到第一主体图片和第二主体图片。

在本实施例中，由于工业视觉检测中的特殊性，即在对一个零件进行拍照时，只会获取对该零件进行固定方向，且固定大小的图片，因此，当检测到模板图片在第一边缘特征图片和第二边缘特征图片上的具体位置时，即可根据具体位置定位出产品主体位置。

在本发明中，通过对预设正常图片数据集和待预测图片进行边缘特征提取和模板匹配，可将图片中的产品主体与工装背景分离开来，分割出产品主体的区域，保证进行后续异常检测中的图片只包含产品主体的信息，提高检测的准确率。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有工业缺陷检测程序，所述工业缺陷检测程序被处理器执行时实现如下操作：

进一步地，所述工业缺陷检测程序被处理器执行时还实现如下操作：

对预设正常图片数据集和待预测图片进行边缘特征提取和模板匹配，分别得到与所述预设正常图片数据集相对应的若干张第一主体图片，以及与所述待预测图片相对应的第二主体图片；

根据预设特征提取模型，对若干张所述第一主体图片进行特征提取，得到与若干张所述第一主体图片相对应的第一特征库，以及对所述第二主体图片进行特征提取，得到与所述第二主体图片相对应的第二特征库；

将所述第二特征库与所述第一特征库进行对比，得到所述待预测图片的目标MAP图；

对所述目标MAP图进行二值化处理，得到所述待预测图片的异常区域。

进一步地，所述工业缺陷检测程序被处理器执行时还实现如下操作：对预设正常图片数据集中的若干张正常图片进行边缘特征提取，得到与若干张所述正常图片相对应的若干张第一边缘特征图片；

对待预测图片进行边缘特征提取，得到与所述待预测图片相对应的第二边缘特征图片；

根据预设模板图片，对若干张所述第一边缘特征图片进行模板匹配，得到与所述第一边缘特征图片对应的第一主体图片；

根据预设模板图片，对所述第二边缘特征图片进行模板匹配，得到与所述第二边缘特征图片对应的第二主体图片。

进一步地，所述工业缺陷检测程序被处理器执行时还实现如下操作：根据所述预设正常图片数据集中正常图片的数量设置预设特征提取模型的权重；

根据所述权重和所述预设特征提取模型，提取所有所述第一主体图片的特征，并对所有所述第一主体图片的特征进行随机采样，得到第一特征库。

进一步地，所述工业缺陷检测程序被处理器执行时还实现如下操作：将所述第二主体图片以预设数量切分为多张子图；

根据所述权重和所述预设特征提取模型，分别提取出与所有所述子图相对应的子图特征，并得到包含所有所述子图特征的第二特征库。

进一步地，所述工业缺陷检测程序被处理器执行时还实现如下操作：根据所述第一特征库训练得到与所述第一特征库相对应的最小邻近算法模型；

根据所述最小邻近算法模型和所述子图特征分别计算每一个所述子图在所述第一特征库中的评分；

根据所述评分和所述子图，得到所述待预测图片的目标MAP图。

进一步地，所述工业缺陷检测程序被处理器执行时还实现如下操作：根据所述评分和所述子图，将所述子图组合为与所述预设数量相对应的MAP图；

通过预设的高斯插值算法对所述MAP图进行插值处理，得到与所述待预测图片的大小相同的目标MAP图。

进一步地，所述工业缺陷检测程序被处理器执行时还实现如下操作：根据预设图片测试集，设置所述目标MAP图的二值化阈值；

所述对所述目标MAP图进行二值化处理，检测所述待预测图片的异常区域的步骤包括：

根据所述二值化阈值，对所述目标MAP图进行二值化处理，得到所述待预测图片的Mask区域；

将所述待预测图片中的Mask区域的数值为1的区域作为异常区域。

本发明计算机可读存储介质的具体实施例与上述工业缺陷检测程序各实施例基本相同，在此不作赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种工业缺陷检测方法，其特征在于，所述工业缺陷检测方法包括步骤：

对预设正常图片数据集和待预测图片进行边缘特征提取和模板匹配，分别得到与所述预设正常图片数据集相对应的若干张第一主体图片，以及与所述待预测图片相对应的第二主体图片；

根据预设特征提取模型，对若干张所述第一主体图片进行特征提取，得到与若干张所述第一主体图片相对应的第一特征库，以及对所述第二主体图片进行特征提取，得到与所述第二主体图片相对应的第二特征库；

将所述第二特征库与所述第一特征库进行对比，得到所述待预测图片的目标MAP图；

对所述目标MAP图进行二值化处理，得到所述待预测图片的异常区域。

2.如权利要求1所述的工业缺陷检测方法，其特征在于，所述对预设正常图片数据集和待预测图片进行边缘特征提取和模板匹配，得到与所述预设正常图片数据集相对应的若干张第一主体图片，以及与所述待预测图片相对应的第二主体图片的步骤包括：

对预设正常图片数据集中的若干张正常图片进行边缘特征提取，得到与若干张所述正常图片相对应的若干张第一边缘特征图片；

对待预测图片进行边缘特征提取，得到与所述待预测图片相对应的第二边缘特征图片；

根据预设模板图片，对若干张所述第一边缘特征图片进行模板匹配，得到与所述第一边缘特征图片对应的第一主体图片；

根据预设模板图片，对所述第二边缘特征图片进行模板匹配，得到与所述第二边缘特征图片对应的第二主体图片。

3.如权利要求2所述的工业缺陷检测方法，其特征在于，所述根据预设特征提取模型，对若干张所述第一主体图片进行特征提取，得到与若干张所述第一主体图片相对应的第一特征库的步骤包括：

根据所述预设正常图片数据集中正常图片的数量设置预设特征提取模型的权重；

根据所述权重和所述预设特征提取模型，提取所有所述第一主体图片的特征，并对所有所述第一主体图片的特征进行随机采样，得到第一特征库。

4.如权利要求3所述的工业缺陷检测方法，其特征在于，所述对所述第二主体图片进行特征提取，得到与所述第二主体图片相对应的第二特征库的步骤包括：

将所述第二主体图片以预设数量切分为多张子图；

根据所述权重和所述预设特征提取模型，分别提取出与所有所述子图相对应的子图特征，并得到包含所有所述子图特征的第二特征库。

5.如权利要求4所述的工业缺陷检测方法，其特征在于，所述将所述第二特征库与所述第一特征库进行对比，得到所述待预测图片的目标MAP图的步骤包括：

根据所述第一特征库训练得到与所述第一特征库相对应的最小邻近算法模型；

根据所述最小邻近算法模型和所述子图特征分别计算每一个所述子图在所述第一特征库中的评分；

根据所述评分和所述子图，得到所述待预测图片的目标MAP图。

6.如权利要求5所述的工业缺陷检测方法，其特征在于，所述根据所述评分和所述子图，得到所述待预测图片的目标MAP图的步骤包括：

根据所述评分和所述子图，将所述子图组合为与所述预设数量相对应的MAP图；

通过预设的高斯插值算法对所述MAP图进行插值处理，得到与所述待预测图片的大小相同的目标MAP图。

7.如权利要求6所述的工业缺陷检测方法，其特征在于，所述对所述目标MAP图进行二值化处理，检测所述待预测图片的异常区域的步骤之前，还包括：

根据预设图片测试集，设置所述目标MAP图的二值化阈值；

所述对所述目标MAP图进行二值化处理，检测所述待预测图片的异常区域的步骤包括：

根据所述二值化阈值，对所述目标MAP图进行二值化处理，得到所述待预测图片的Mask区域；

将所述待预测图片中的Mask区域的数值为1的区域作为异常区域。

8.一种工业缺陷检测装置，其特征在于，所述工业缺陷检测装置包括：

预处理模块，用于对预设正常图片数据集和待预测图片进行边缘特征提取和模板匹配，分别得到与所述预设正常图片数据集相对应的若干张第一主体图片，以及与所述待预测图片相对应的第二主体图片；

特征提取模块，用于根据预设特征提取模型，对若干张所述第一主体图片进行特征提取，得到与若干张所述第一主体图片相对应的第一特征库，以及对所述第二主体图片进行特征提取，得到与所述第二主体图片相对应的第二特征库；

异常检测模块，用于将所述第二特征库与所述第一特征库进行对比，得到所述待预测图片的目标MAP图；以及

对所述目标MAP图进行二值化处理，得到所述待预测图片的异常区域。

9.一种工业缺陷检测设备，其特征在于，所述工业缺陷检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的工业缺陷检测程序，所述工业缺陷检测程序被所述处理器执行时实现如权利要求1至7中任一项所述的工业缺陷检测方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有工业缺陷检测程序，所述工业缺陷检测程序被处理器执行时实现如权利要求1至7中任一项所述的工业缺陷检测方法的步骤。

Images