CN116188445A - 一种产品表面缺陷的检测定位方法、装置及终端设备 - Google Patents

Abstract

本发明适用于故障检测技术领域，提供了一种产品表面缺陷的检测定位方法、装置和终端设备，方法包括：提取正常图像的多尺度特征，获得基于正常图像的N个图像块特征；对N个图像块特征进行聚类，得到M个图像块簇，并将每个图像块簇的聚类中心作为正常图像的图像块原型，获得M个图像块原型；基于待检测图像提取与N个图像块特征对应的N个深度特征；计算每个深度特征与M个图像块原型之间的平均距离，并构建相关性度量矩阵；根据相关性度量矩阵得到待检测图像的异常分数图，待检测图像的异常分数图表示产品表面的异常情况及异常位置。本发明通过异常分数图，可以实现快速的图像异常检测与定位。

Description

一种产品表面缺陷的检测定位方法、装置及终端设备

技术领域

本发明涉及故障检测技术领域，尤其涉及一种产品表面缺陷的检测定位方法、装置及终端设备。

背景技术

传统的故障检测方法主要为监督学习方法，很大程度上依赖于标记数据，如图像类别标签、边界框标签和精细粒度像素标签的准确性。在实际工业场景中，图像异常检测一直面临着缺陷样本稀缺、标注成本高、缺陷先验知识缺乏等问题。相比于有监督方法，无监督检测方法在训练阶段只包含无缺陷的正常图像，避免了收集缺陷样本的困难，避免了监督学习的高标注成本，也避免了人工标注偏差的影响。因此，无监督异常检测方法被广泛应用于工业上的视觉检测任务，如缺失、污染、变形、破损等缺陷的检测。

目前无监督异常检测方法可分为基于图像重构的方法、基于生成式模型的方法、一类分类方法等。

基于图像重构的方法，通常采用像素级对比指标(MSE)，自编码器网络常选择L1或L2距离训练损失，其输入输出对比仅在像素级，且缺乏语义信息。虽然基于图像重建的方法通常非常直观和可解释，但由于自编码器没有引入任何先验知识，其效果仅取决于潜在空间对无缺陷特征的表达能力。基于生成式模型的方法从训练集中建模真实数据分布，然后利用学习到的模型和分布生产或建模新数据样本。

基于生成模型的方法，只生成正常样本，生成/重构的图像和输入之间的差异就是异常区域。然而，VAE、GAN等生成式模型往往在样本正常区域生成效果不佳，很容易导致错误检测。

基于一类分类方法，通常涉及图像级的异常检测，很多一类分类方法也能被用于定位，主要通过将图像划分为Patches并将Patches分类为异常或正常类别来定位异常区域，实现粗略异常定位结果。因此，将异常检测与一些自监督策略或预先训练的深度特征嵌入方法相结合，是一种有效提高性能的方法。但是，异常检测与异常定位有所区别，异常检测仅能解决图像级的二分类问题，如离群点检测、一类分类等，其结果不具备可解释性，有些区域可能非异常。为得到更精细的结果，通常还需要进行像素级异常定位。

此外，还有结合异常定位和检测任务实现无监督异常检测的方法，但这些方法需要复杂的深度神经网络进行训练，或者在测试时对整个训练集使用K-NN算法，会增加时模型的空复杂度。

发明内容

本发明的主要目的在于提出一种产品表面缺陷的检测定位方法、装置及终端设备，解决目前的无监督异常检测方法，不能实现快速准确的图像异常检测与定位的问题。

为实现上述目的，本发明实施例第一方面提供了一种产品表面缺陷的检测定位方法，包括：

提取正常图像的多尺度特征，获得基于所述正常图像的N个图像块特征；

对N个图像块特征进行聚类，得到M个图像块簇，并将每个图像块簇的聚类中心作为所述正常图像的图像块原型，获得M个图像块原型；

基于待检测图像提取与所述N个图像块特征对应的N个深度特征；

计算每个深度特征与M个图像块原型之间的平均距离，并构建相关性度量矩阵；

根据所述相关性度量矩阵得到待检测图像的异常分数图，所述待检测图像的异常分数图表示产品表面的异常情况及异常位置；

其中，N和M为正整数，M远小于N。

可选地，提取正常图像的多尺度特征，包括：

采用预训练的深度卷积神经网络提取正常图像的多尺度特征；

其中，所述预训练的深度卷积神经网络融合不同金字塔尺度的特征描述正常图像的特征。

可选地，所述预训练的深度卷积神经网络中，每个卷积块后均添加通道关系块。

可选地，提取正常图像的多尺度特征之前，包括：

基于Weber规则对所述正常图像进行光照规范化处理。

可选地，对N个图像块特征进行聚类，得到M个图像块簇之后，包括：

获取每个图像块簇的聚类中心，包括：

设μ＝[μ₁，μ₂，...，μ_k]为所有图像块簇的中心向量，第j个图像块簇的原型向量表示为μ_j；

将图像块特征向量p_i分配给原型向量μ_j聚类的概率S_ij，作为N个图像块特征中的任意两个图像块特征在低维嵌入子空间的相似性度量；

将相似性度量提高为二阶度量，并通过每个图像块簇的频率对其进行归一化；

根据归一化结果获取每个图像块簇的聚类中心。

可选地，所述相似性度量的计算公式为:

其中，j∈(1,...,k),j′∈(1,...,k)，α为自由度；

将相似性度量提高为二阶度量，并通过每个图像块簇的频率对其进行归一化的计算公式为：

其中

为图像块簇的频率。

可选地，计算每个深度特征与M个图像块原型之间的平均距离，并构建相关性度量矩阵，包括：

根据每个深度特征与M个图像块原型之间的平均距离，对每个深度特征与M个图像块原型进行相关性度量，度量结果作为所述相关性度量矩阵的元素；

其中，对第n个深度特征与M个图像块原型之间的距离进行相关性度量，包括：

获取给定阈值；

若第n个深度特征与M个图像块原型之间的平均距离大于所述给定阈值，则所述待检测图像的第n个深度特征判定为异常；

其中，第n个深度特征与M个图像块原型之间的平均距离的计算公式为：

其中，p_n表示待检测图像的图像块，y表示待测检图像。

本发明实施例第二方面提供一种产品表面缺陷的检测定位装置，包括：

图像块特征获取模块，用于提取正常图像的多尺度特征，获得基于所述正常图像的N个图像块特征；

聚类模块，用于对N个图像块特征进行聚类，得到M个图像块簇，并将每个图像块簇的聚类中心作为所述正常图像的图像块原型，获得M个图像块原型；

深度特征提取模块，用于基于待检测图像提取与所述N个图像块特征对应的N个深度特征；

相关性度量矩阵构建模块，计算每个深度特征与M个图像块原型之间的平均距离，并构建相关性度量矩阵；

产品表面缺陷检测定位模块，用于根据所述相关性度量矩阵得到待检测图像的异常分数图，所述待检测图像的异常分数图表示产品表面的异常情况及异常位置；

其中，N和M为正整数，M远小于N。

本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上第一方面所提供的方法的步骤。

本发明实施例的第四方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上第一方面所提供的方法的步骤。

本发明实施例提供的产品表面缺陷检测方法，提取正常图像的不同图像块尺度的特征，即N个图像块特征，使得N个图像块特征融合图像不同尺度的特征，增加特征提取这一步骤上的准确性，然后对图像块特征进行聚类得到多个图像块簇，再将每个簇的聚类中心作为正常图像的图像块原型，最后计算待检测图像的各个深度特征与正常图像所有图像块原型之间的平均距离，构建相关性度量矩阵，从而得到待检测图像的异常分数图，实现快速的图像异常检测与定位。且本发明实施例提供的产品表面缺陷检测方法，并不通过特征对齐的方式进行异常检测，因此不依赖于损失函数，基于不同图像块尺度的特征，本发明实施例对于小目标的识别，如产品表面的缺失、污染、变形、破损等异常状况的识别，也更加准确。

附图说明

图1为本发明实施例提供的产品表面缺陷的检测定位方法的实现流程示意图；

图2为本发明实施例提供的产品表面缺陷的检测定位装置的组成结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本文中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。

如图1所示，本发明实施例提供一种产品表面缺陷的检测定位方法，包括但不限于如下步骤：

S101、提取正常图像的多尺度特征，获得基于所述正常图像的N个图像块特征。

在上述步骤S101中，N个图像块融合了图像不同尺度的特征，本发明实施例将正常图像拆分为N个不同图像块尺度的图像块特征，从而增加最终提取到的特征是异常检测任务相关的特征的可能性。

本发明实施例采用预训练的深度卷积神经网络提取正常图像的多尺度特征。其中，预训练的深度卷积神经网络融合不同金字塔尺度的特征描述正常图像的特征。

需要说明的是，本发明实施例所使用的预训练的深度卷积神经网络中，CNN编码器为金字塔结构，结合了多尺度上下文信息，如，靠前的层级产生高分辨率的要素编码较少的上下文信息，而靠后的层级产生较低分辨率的要素编码更多上下文信息，从而提高定位结果的准确性，即最终提取到的特征是异常检测任务相关的特征的可能性。

在一个实施例中，为提高特征提取的质量，预训练的深度卷积神经网络的每个卷积块后均添加通道关系块，用于自适应地计算通道权重，以显示建模通道之间的相互依赖关系。

示例性地，设F表示全局特征提取器，对于正常图像x_i，提取到的多尺度特征为：

F(x_i，p)＝F(x_i，p，l-1)+F(x_i，p，l)+F(x_i，p，l+1)；

其中，p表示图像块在正常图像中的位置，{l-1，l，l+1}分别表示不同层级特征。

在实际应用中，不同光照会对图像造成影响，从而干扰模型的性能，因此，本实施例基于Weber规则对正常图像进行光照规范化处理，即上述步骤S101之前，还包括：

基于Weber规则对所述正常图像进行光照规范化处理。

在一个实施例中，根据Weber定律，设I为要处理的图像，光照规范化过程示例性的为：

/>

其中，WLD( )表示Weber描述器，A＝{-1，0，1}，{(x-Δx，y-Δy)|Δx∈A，Δy∈A表示点(x，y)的8个近邻区域。

S102、对N个图像块特征进行聚类，得到M个图像块簇，并将每个图像块簇的聚类中心作为所述正常图像的图像块原型，获得M个图像块原型。

其中，N和M为正整数，M远小于N。

在具体应用中，正常图像的同一类的图像块原型表示围绕某一点聚集，本发明实施例通过上述步骤S102将正常图像简化为M个图像块原型，在一定程度上减少时空开销。

上述步骤S102中，寻找正常图像的M个图像块原型的核心是聚类，而广泛使用的聚类方法大都基于聚类策略或相似性度量，如K-Means、DBScan等。这些方法通常对初始值敏感，且不会改变数据分布。本发明实施例采用的深度嵌入式聚类方法，解决了这些限制，可同时学习特征表示和聚类，来改变对象分布，从而使得原型特征表示更具辨别性。

在具体应用中，对N个图像块特征进行聚类，得到M个图像块簇之后，需获取每个图像块簇的聚类中心，才可以将聚类中心作为所述正常图像的图像块原型，获得M个图像块原型。

在一个实施例中，获取每个图像块簇的聚类中心的实现步骤包括：

设μ＝[μ₁，μ₂，...，μ_k]为所有图像块簇的中心向量，第j个图像块簇的原型向量表示为μ_j；

将图像块特征向量p_i分配给原型向量μ_j聚类的概率S_ij，作为N个图像块特征中的任意两个图像块特征在低维嵌入子空间的相似性度量；

将相似性度量提高为二阶度量，并通过每个图像块簇的频率对其进行归一化；

根据归一化结果获取每个图像块簇的聚类中心。

其中，所述相似性度量的计算公式为：

其中，j∈(1,...，k),j′∈(1，...，k)，α为自由度；

需要说明的是，类内相似性越小，类间相似性越大，意味着图像块特征向量p_i与第j个图像块簇的原型向量μ_j属于不同聚类的特征概率越大。因此，对于判别性高且可作为每个图像块簇的聚类中心的图像块特征向量，使用上述相似性度量函数计算的类内特征距离应较小，而类间距离应较大。

其中，将相似性度量提高为二阶度量，并通过每个图像块簇的频率对其进行归一化的计算公式为：

其中

为图像块簇的频率。

S103、基于待检测图像提取与所述N个图像块特征对应的N个深度特征。

需要说明的是，上述步骤S103中，提取待检测图像的N个深度特征使用与上述步骤S101中相同的预训练的深度卷积神经网络。

S104、计算每个深度特征与M个图像块原型之间的平均距离，并构建相关性度量矩阵。

上述步骤S104的一种实现方法可以为：

根据每个深度特征与M个图像块原型之间的平均距离，对每个深度特征与M个图像块原型进行相关性度量，度量结果作为所述相关性度量矩阵的元素。

示例性的，对第n个深度特征与M个图像块原型之间的距离进行相关性度量，包括：

获取给定阈值；

若第n个深度特征与M个图像块原型之间的平均距离大于所述给定阈值，则所述待检测图像的第n个深度特征判定为异常。

其中，第n个深度特征与M个图像块原型之间的平均距离的计算公式为：

其中，p_n表示待检测图像的图像块，y表示待测检图像。

S105、根据所述相关性度量矩阵得到待检测图像的异常分数图，所述待检测图像的异常分数图表示产品表面的异常情况及异常位置。

根据上述步骤S101至步骤S105，由于待检测图像的深度特征与正常图像的图像块特征是对应的，因此，待检测图像的深度特征也相当于待检测图像的图像块，当待检测图像中的某一深度特征，与正常图像的图像块原型之间的距离越近，则待检测图像这一图像块越可能是正常的。则在相关性度量矩阵中，若某元素的数值越大，即第n个深度特征与M个图像块原型之间的平均距离的数值越大，则在异常分数图中，将其的标记颜色RGB值设置得越高，表示其异常程度高，从而可以根据异常分数图直观地得出产品表面的异常情况及异常位置。而第n个深度特征与M个图像块原型之间的相关性度量，准确表示了第n个深度特征所代表的产品表面中，这一图像块的部分是否具有异常情况。

如图2所示，本发明实施例提供一种产品表面缺陷的检测定位装置20，包括：

图像块特征获取模块21，用于提取正常图像的多尺度特征，获得基于所述正常图像的N个图像块特征；

聚类模块22，用于对N个图像块特征进行聚类，得到M个图像块簇，并将每个图像块簇的聚类中心作为所述正常图像的图像块原型，获得M个图像块原型；

深度特征提取模块23，用于基于待检测图像提取与所述N个图像块特征对应的N个深度特征；

相关性度量矩阵构建模块24，计算每个深度特征与M个图像块原型之间的平均距离，并构建相关性度量矩阵；

产品表面缺陷检测定位模块25，用于根据所述相关性度量矩阵得到待检测图像的异常分数图，所述待检测图像的异常分数图表示产品表面的异常情况及异常位置；

其中，N和M为正整数，M远小于N。

本发明实施例还提供一种终端设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述实施例中所述的机器翻译方法中的各个步骤。

本发明实施例还提供一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述实施例中所述的机器翻译方法中的各个步骤。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种产品表面缺陷的检测定位方法，其特征在于，包括：

提取正常图像的多尺度特征，获得基于所述正常图像的N个图像块特征；

对N个图像块特征进行聚类，得到M个图像块簇，并将每个图像块簇的聚类中心作为所述正常图像的图像块原型，获得M个图像块原型；

基于待检测图像提取与所述N个图像块特征对应的N个深度特征；

计算每个深度特征与M个图像块原型之间的平均距离，并构建相关性度量矩阵；

根据所述相关性度量矩阵得到待检测图像的异常分数图，所述待检测图像的异常分数图表示产品表面的异常情况及异常位置；

其中，N和M为正整数，M远小于N。

2.如权利要求1所述的产品表面缺陷的检测定位方法，其特征在于，提取正常图像的多尺度特征，包括：

采用预训练的深度卷积神经网络提取正常图像的多尺度特征；

其中，所述预训练的深度卷积神经网络融合不同金字塔尺度的特征描述正常图像的特征。

3.如权利要求2所述的产品表面缺陷的检测定位方法，其特征在于，所述预训练的深度卷积神经网络中，每个卷积块后均添加通道关系块。

4.如权利要求1所述的产品表面缺陷的检测定位方法，其特征在于，提取正常图像的多尺度特征之前，包括：

基于Weber规则对所述正常图像进行光照规范化处理。

5.如权利要求1所述的产品表面缺陷的检测定位方法，其特征在于，对N个图像块特征进行聚类，得到M个图像块簇之后，包括：

获取每个图像块簇的聚类中心，包括：

设μ＝[μ₁，μ₂，...，μ_k]为所有图像块簇的中心向量，第j个图像块簇的原型向量表示为μ_j；

将图像块特征向量p_i分配给原型向量μ_j聚类的概率S_ij，作为N个图像块特征中的任意两个图像块特征在低维嵌入子空间的相似性度量；

将相似性度量提高为二阶度量，并通过每个图像块簇的频率对其进行归一化；

根据归一化结果获取每个图像块簇的聚类中心。

6.如权利要求5所述的产品表面缺陷的检测定位方法，其特征在于，所述相似性度量的计算公式为：

其中，j∈(1，...，k)，j′∈(1，...，k)，α为自由度；

将相似性度量提高为二阶度量，并通过每个图像块簇的频率对其进行归一化的计算公式为：

其中

为图像块簇的频率。

7.如权利要求1所述的产品表面缺陷的检测定位方法，其特征在于，计算每个深度特征与M个图像块原型之间的平均距离，并构建相关性度量矩阵，包括：

根据每个深度特征与M个图像块原型之间的平均距离，对每个深度特征与M个图像块原型进行相关性度量，度量结果作为所述相关性度量矩阵的元素；

其中，对第n个深度特征与M个图像块原型之间的距离进行相关性度量，包括：

获取给定阈值；

若第n个深度特征与M个图像块原型之间的平均距离大于所述给定阈值，则所述待检测图像的第n个深度特征判定为异常；

其中，第n个深度特征与M个图像块原型之间的平均距离的计算公式为：

其中，p_n为表示待检测图像的图像块，y表示待测检图像。

8.一种产品表面缺陷的检测定位装置，其特征在于，包括：

图像块特征获取模块，用于提取正常图像的多尺度特征，获得基于所述正常图像的N个图像块特征；

聚类模块，用于对N个图像块特征进行聚类，得到M个图像块簇，并将每个图像块簇的聚类中心作为所述正常图像的图像块原型，获得M个图像块原型；

深度特征提取模块，用于基于待检测图像提取与所述N个图像块特征对应的N个深度特征；

相关性度量矩阵构建模块，计算每个深度特征与M个图像块原型之间的平均距离，并构建相关性度量矩阵；

产品表面缺陷检测定位模块，用于根据所述相关性度量矩阵得到待检测图像的异常分数图，所述待检测图像的异常分数图表示产品表面的异常情况及异常位置；

其中，N和M为正整数，M远小于N。

9.一种终端设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1至7任一项所述的产品表面缺陷的检测定位方法中的各个步骤。

10.一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至7任一项所述的产品表面缺陷的检测定位方法中的各个步骤。

Images