CN115994900A - 基于迁移学习的无监督缺陷检测方法和系统、存储介质 - Google Patents

Abstract

基于迁移学习的无监督缺陷检测方法/系统、存储介质，通过将待检测图像输入缺陷检测模型获得其特征描述图，将该特征描述图与预先保存的正常样本图像的核心特征图比较以确定待检测图像的缺陷区域；缺陷检测模型的训练包括：将正常样本图像分批作为当前样本图像，将各当前样本图像分别输入初始化的缺陷检测模型得到各当前样本图像的特征描述图，对当前样本图像的特征描述图进行特征压缩处理后，与上一批次的融合特征图进行特征融合作为新的融合特征图，将最后一个批次获得的融合特征图作为正常样本图像的核心特征图，以核心特征图引导缺陷检测模型训练。由于训练过程中无需缺陷图像参与，相比有监督的检测方式更易于在工业上进行实际应用。

Description

基于迁移学习的无监督缺陷检测方法和系统、存储介质

技术领域

本发明涉及缺陷检测技术领域，具体涉及基于迁移学习的无监督缺陷检测方法和系统、存储介质。

背景技术

现有技术中，在采用机器学习的方法对工业产品进行缺陷检测时，大多需要获取缺陷图像和正常图像，作为训练样本对机器学习模型进行训练，使机器学习模型学习到缺陷图像和正常图像的区别，实现对缺陷的检测、分类等，其中缺陷图像指有缺陷产品的图像，正常图像指正常产品的图像。这种检测方式称为有监督的检测方式。在众多真实的工业生产场景中，有缺陷产品的工业图像数量较少，正常产品的图像占比较大，导致正负样本比例悬殊；并且缺陷呈现的类型复杂多样，且具有不可预知性，在获取方式上，获得大量正常产品的图像是非常容易的，而收集全部缺陷类型的缺陷图像，则代价昂贵，生产企业无法承受。因此在工业生产上的缺陷检测场景中，有监督的检测方式较难进行实际应用。

发明内容

本发明主要解决的技术问题是现实中缺陷图像数量少，导致有监督的缺陷检测方式难以进行实际应用。

根据第一方面，一种实施例中提供一种基于迁移学习的无监督缺陷检测方法，包括：

获取被测物体的待检测图像；

将所述待检测图像输入训练好的缺陷检测模型以得到所述待检测图像的特征描述图；

将所述待检测图像的特征描述图与预先保存的正常样本图像的核心特征图进行比较，根据两者的差异确定所述待检测图像的缺陷区域；

其中所述缺陷检测模型按以下步骤训练得到：

获取由正常样本图像组成的训练样本集；

将所述训练样本集的正常样本图像按批次作为当前样本图像，将各当前样本图像分别输入设置了初始参数的所述缺陷检测模型以得到各当前样本图像的特征描述图，对各当前样本图像的特征描述图进行特征压缩处理得到压缩特征图，并与上一批次获得的融合特征图进行特征融合作为新的融合特征图，保存最后一个批次获得的融合特征图作为正常样本图像的核心特征图，其中第一批次正常样本图像的压缩特征图与0值图像进行特征融合，所述核心特征图与特征描述图的分辨率相同；

使用所述训练样本集对所述缺陷检测模型进行训练，获得最终的模型参数，训练目标为正常样本图像的特征描述图与所述核心特征图的相异处的差异增大、相似处的差异减小。

一种实施例中，所述缺陷检测模型包括特征提取模块和特征描述模块；

所述将所述待检测图像输入训练好的缺陷检测模型以得到所述待检测图像的特征描述图，包括：

将所述待检测图像输入所述特征提取模块以得到所述待检测图像的n层特征子图，将后n-1层特征子图上采样至与第1层特征子图相同的分辨率，然后将第1层特征子图与上采样后的其他特征子图进行通道拼接得到初始特征图，其中n≥2；

将该初始特征图输入所述特征描述模块以增强对该初始特征图的位置信息的表示能力，并提高特征描述能力，得到所述待检测图像的特征描述图；

所述将当前样本图像输入设置了初始参数的所述缺陷检测模型以得到当前样本图像的特征描述图，包括：

将当前样本图像输入设置了初始参数的所述特征提取模块以得到当前样本图像的n层特征子图，将后n-1层特征子图上采样至与第1层特征子图相同的分辨率，然后将第1层特征子图与上采样后的其他特征子图进行通道拼接得到初始特征图；

将该初始特征图输入设置了初始参数的所述特征描述模块以增强对该初始特征图的位置信息的表示能力，并提高特征描述能力，得到当前样本图像的特征描述图。

一种实施例中，所述特征提取模块为一预训练的特征提取网络且该特征提取网络在训练过程中网络参数不变，和/或所述特征描述模块为一坐标卷积网络层。

一种实施例中，根据预设的损失函数对所述缺陷检测模型进行训练，所述损失函数通过以下方式确定：

将正常样本图像的特征描述图中每个像素点的特征向量都分别与所述核心特征图的所有像素点的特征向量计算距离值；

对于正常样本图像的特征描述图的每个像素点，选取其特征向量与所述核心特征图的所有像素点的特征向量的距离值中最小的Y个距离值，并按照从小到大的顺序排列，将其中较小的Y/2个距离值对应的所述核心特征图的像素点的特征向量作为正对比特征向量，将其中较大的Y/2个距离值对应的所述核心特征图的像素点的特征向量作为负对比特征向量，其中Y为不小于2的偶数；

根据正常样本图像的特征描述图的像素点的特征向量和对应的正对比特征向量构建第一损失函数，所述第一损失函数的目标为减小正常样本图像的特征描述图的像素点的特征向量与对应的正对比特征向量间的距离；

根据正常样本图像的特征描述图的像素点的特征向量和对应的负对比特征向量构建第二损失函数，所述第二损失函数的目标为增大正常样本图像的特征描述图的像素点的特征向量与对应的负对比特征向量间的距离；

将第一损失函数和第二损失函数相加作为所述损失函数。

一种实施例中，所述损失函数具体为：

L_total＝L₁+L₂，

其中L₁为第一损失函数，L₂为第二损失函数，且

Z表示正常样本图像的特征描述图的像素数量，K＝Y/2，β_z表示正常样本图像的特征描述图的第z个像素点的特征向量，

表示β_z对应的第k个正对比特征向量，

表示β_z与

之间的欧氏距离；P＝Y/2，

表示β_z对应的第p个负对比特征向量，

表示β_z与

之间的欧氏距离，R和λ为需要通过学习得到的自适应参数。

一种实施例中，所述对当前样本图像的特征描述图进行特征压缩处理得到压缩特征图，并与上一批次获得的融合特征图进行特征融合作为新的融合特征图，包括：

对当前样本图像的特征描述图在批处理维度上执行取平均操作得到压缩特征图g_t：

g_t＝Mean(β)，

其中t表示迭代批次且t≥1，g_t表示第t批次的压缩特征图，β表示当前样本图像的特征描述图，Mean()表示在批处理维度上执行取平均操作；

根据以下公式将压缩特征图g_t与上一批次获得的融合特征图进行特征融合得到新的融合特征图

其中

表示第t批次获得的融合特征图，且

一种实施例中，所述将所述待检测图像的特征描述图与预先保存的正常样本图像的核心特征图进行比较，根据两者的差异确定所述待检测图像的缺陷区域，包括：

将所述待检测图像的特征描述图中每个像素点的特征向量都分别与所述核心特征图的所有像素点的特征向量计算距离值；

对于所述待检测图像的特征描述图的每个像素点，选取其特征向量与所述核心特征图的所有像素点的特征向量的距离值中最小的距离值，组成距离表示图；

对所述距离表示图采用Sigmoid函数处理得到所述待检测图像的预测分数图，所述预测分数图的像素值用于表示对应像素点是异常像素的概率；

对所述待检测图像的预测分数图进行上采样处理，使其分辨率与所述待检测图像相同；

对上采样后的所述待检测图像的预测分数图进行阈值分割，获得所述待检测图像的缺陷区域。

一种实施例中，所述对上采样后的所述待检测图像的预测分数图进行阈值分割，包括：

获取正常样本图像的预测分数图的像素值的平均值

和标准差σ_x；

若上采样后的所述待检测图像的预测分数图的像素值位于区间

内，则判定该像素为正常像素，否则为异常像素，其中k₁为预设系数。

根据第二方面，一种实施例中提供一种基于迁移学习的无监督缺陷检测系统，包括：

待检测图像获取模块，用于获取被测物体的待检测图像；

特征描述图获取模块，用于将所述待检测图像输入训练好的缺陷检测模型以得到所述待检测图像的特征描述图；

特征比较模块，用于将所述待检测图像的特征描述图与预先保存的正常样本图像的核心特征图进行比较，根据两者的差异确定所述待检测图像的缺陷区域；

模型训练模块，用于通过以下方式对所述缺陷检测模型进行训练：

获取由正常样本图像组成的训练样本集；

将所述训练样本集的正常样本图像按批次作为当前样本图像，将各当前样本图像分别输入设置了初始参数的所述缺陷检测模型以得到各当前样本图像的特征描述图，对各当前样本图像的特征描述图进行特征压缩处理得到压缩特征图，并与上一批次获得的融合特征图进行特征融合作为新的融合特征图，保存最后一个批次获得的融合特征图作为正常样本图像的核心特征图，其中第一批次正常样本图像的压缩特征图与0值图像进行特征融合，所述核心特征图与特征描述图的分辨率相同；

使用所述训练样本集对所述缺陷检测模型进行训练，获得最终的模型参数，训练目标为正常样本图像的特征描述图与所述核心特征图的相异处的差异增大、相似处的差异减小。

根据第三方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如上述第一方面所述的无监督缺陷检测方法。

依据上述实施例的基于迁移学习的无监督缺陷检测方法/系统，通过将被测物体的待检测图像输入预先训练好的缺陷检测模型获得待检测图像的特征描述图，将待检测图像的特征描述图与预先保存的正常样本图像的核心特征图进行比较，根据两者的差异来确定待检测图像的缺陷区域；其中缺陷检测模型的训练包括：将训练样本集的正常样本图像按批次作为当前样本图像，对于每一批次，将其中的各当前样本图像分别输入设置了初始参数的缺陷检测模型以得到各当前样本图像的特征描述图，对当前样本图像的特征描述图进行特征压缩处理得到压缩特征图，并与上一批次获得的融合特征图进行特征融合作为新的融合特征图，保存最后一个批次获得的融合特征图作为正常样本图像的核心特征图，以增大正常样本图像的特征描述图与核心特征图相异处的差异、减小相似处的差异为目标，训练缺陷检测模型。由于对正常样本图像的特征描述图进行了特征压缩和特征融合，使得获得的核心特征图不因正常样本图像的增多而增大，从而避免推理时间过长，实时性高。基于迁移学习，使用正常样本图像提取核心特征图，引导缺陷检测模型训练，实现对工业图像的特征自适应。训练过程中无需缺陷图像参与，相比有监督的检测方式更易于在工业上进行实际应用。

附图说明

图1为一种实施例中缺陷检测模型的训练流程图；

图2为一种实施例中缺陷检测模型训练过程的示意图；

图3为一种实施例中由特征描述图每个像素点的特征向量与核心特征图的每个像素点的特征向量的距离值组成的图；

图4为一种实施例中缺陷检测的流程图；

图5为一种实施例中缺陷检测过程的示意图；

图6为一种实施例的基于迁移学习的无监督缺陷检测系统的结构示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

如背景技术中所述，有监督的缺陷检测方式存在着一些局限性，因此一些无监督的缺陷检测方法被开发出来。在工业的实际应用中，无监督的缺陷检测，一般采用距离度量的方法，具体处理方式是，使用预训练模型分别对各张正常图像抽取特征，并将所有正常图像的特征都保存起来作为正常特征，推理时(即进行实际的缺陷检测时)，预训练模型以相同方式对待检测图像抽取特征为检测特征，然后以一定的方式计算检测特征与正常特征的距离，最后通过与预设的阈值比较区分待检测图像是否存在缺陷，距离较大的视为存在缺陷，距离较小的则视为不存在缺陷。

本质上，这种距离度量的方法的作用机理是，正常图像的特征之间的特征相似程度高，而缺陷图像与正常图像的特征差异大，通过合适的阈值可以较好地实现检测的目的。但是，此种方法有两个较大的弊端，一是，对图像提取特征的预训练模型是在大规模自然数据集完成训练的，未实现对工业图像数据的特征适应，在一定程度上，会高估缺陷特征的正常性，出现漏检现象；二是，模型的检测性能随着正常样本数量的增长而提高，有越多的正常图像提取正常特征，就越能提升检测精度，然而推理时间也会随之增加，在检测精度与实时性之间无法较好地平衡。上述两个方面共同作用，导致检测性能下降。

针对以上问题，本发明提出一种基于迁移学习的无监督缺陷检测方法，在训练期间，无需任何缺陷图像的参与，可以以端到端的方式完成模型的训练。训练完成的模型可实现对工业图像的特征自适应，提高了对正常样本的特征表示能力，并且推理时间不受正常样本数量的限制，极大程度地提升了检测性能，实现对工业缺陷图像的精准检测。

本发明的目的之一是解决在只有正常样本参与训练的情况下，完成待检测图像的缺陷分割问题，为此，本发明基于深度学习的迁移学习技术搭建神经网络结构，通过训练得到缺陷检测模型，缺陷检测模型用于提取待检测图像的特征，获得待检测图像的特征描述图，待检测图像的特征描述图与正常特征比较，可分割出其中的缺陷区域。缺陷检测模型的训练流程可参考图1和图2。如图2所示，训练时包含两个阶段，训练初始阶段(Initial)和训练运行阶段(Forward)。对于相同的训练样本集，训练初始阶段(Initial)只需要执行一次，训练运行阶段(Forward)可执行多次。流程顺序上，必须先执行训练初始阶段(Initial)，然后才可以执行训练运行阶段(Forward)。下面先对训练过程进行详细说明。请参考图1，一种实施例中缺陷检测模型的训练流程包括步骤110～130，下面具体说明。

步骤110：获取由正常样本图像组成的训练样本集。

正常样本图像即作为训练样本的正常图像，是被测物体对应的无缺陷正常产品的图像。被测物体可以是工业流水线上的产品、物件箱内的机械零件、操作台上的工具等，不做具体限定。正常样本图像可以是由任意摄像装置对被测物体对应的无缺陷正常产品进行拍摄得到。所有正常样本图像组成了训练样本集。

步骤120：获取正常样本图像的核心特征图。

步骤120为训练初始阶段，主要为获取正常样本图像的核心特征图g。首先将训练样本集的正常样本图像按批次作为当前样本图像，对于每一批次，将其中的各当前样本图像分别输入设置了初始参数的缺陷检测模型以得到各当前样本图像的特征描述图β，对当前样本图像的特征描述图进行特征压缩处理得到压缩特征图，并与上一批次获得的融合特征图进行特征融合作为新的融合特征图，然后保存最后一个批次获得的融合特征图作为正常样本图像的核心特征图g，其中第一批次正常样本图像的压缩特征图与0值图像进行特征融合，所获得的核心特征图g与特征描述图β的分辨率相同。

具体来说，首先对缺陷检测模型设置初始参数，将训练样本集中的正常样本图像分批，每批包含若干张正常样本图像。将一0值图像作为初始的融合特征图，按批次进行迭代，每个批次对融合特征图进行更新，其中0值图像指像素值都为0的图像。具体地，首先将第一批次的正常样本图像作为当前样本图像，将各当前样本图像分别输入设置了初始参数的缺陷检测模型以得到各当前样本图像的特征描述图β，对当前样本图像的特征描述图进行特征压缩处理，以将所有当前样本图像的特征描述图压缩为一个特征图，从而得到压缩特征图，将压缩特征图与0值图像进行特征融合得到新的融合特征图。然后依次将后续每批次的正常样本图像作为当前样本图像，进行相同的操作得到压缩特征图，将压缩特征图与上一批次获得的融合特征图进行特征融合得到新的融合特征图，实现融合特征图的更新。保存最后一个批次获得的融合特征图作为正常样本图像的核心特征图g。

请参考图2，本发明一种实施例中构建的缺陷检测模型包括特征提取模块M和特征描述模块D，特征提取模块M主要用于提取输入图像的特征，获得多层不同分辨率的特征子图，特征描述模块D主要用于增强对所提取特征的位置信息的表示能力，以及更好地描述所提取的特征，提高对输入图像的特征描述能力，实现特征自适应。该实施例中，将当前样本图像输入设置了初始参数的缺陷检测模型以得到当前样本图像的特征描述图的过程包括：将当前样本图像输入设置了初始参数的特征提取模块M以得到当前样本图像n层分辨率递减的特征子图，将后n-1层特征子图上采样至与第1层特征子图相同的分辨率，然后将第1层特征子图与上采样后的其他特征子图进行通道拼接得到初始特征图α，其中n≥2，例如可以为3；将该初始特征图输入设置了初始参数的特征描述模块D以增强对该初始特征图的位置信息的表示能力，并提高特征描述能力，得到当前样本图像的特征描述图β。

下面通过一个例子对特征子图的上采样和通道拼接进行说明。假设n＝3，采用向量[B,C,H,W]的形式表示特征子图的形状，其中B表示批处理维度数值，即批次数，C表示特征子图的通道数，H表示特征子图的高度，W表示特征子图的宽度。假设所提取的3层特征子图的形状分别为[1,256,56,56]，[1,512,28,28]，[1,1024,14,14]，首先分别对提取的第二层特征子图和第三层特征子图执行上采样操作，以提升分辨率至与第一层特征子图一致，获得第二和第三层的特征子图的形状分别为[1,512,56,56]和[1,1024,56,56]，然后将第一层特征子图与上采样之后的两层特征子图在通道维度上执行拼接操作，即是将形状分别为[1,256,56,56]，[1,512,56,56]，[1,1024,56,56]的特征子图拼接成形状为[1,1792,56,56]的初始特征图α。

本发明一种实施例中还提供一种特征压缩和特征融合的方法。进行特征压缩时，对当前样本图像的特征描述图在批处理维度上执行取平均操作得到压缩特征图g_t：

g_t＝Mean(β)，

其中t表示迭代批次且t≥1，g_t表示第t批次的压缩特征图，β表示当前样本图像的特征描述图，这里是指所有当前样本图像的特征描述图，Mean()表示在批处理维度上执行取平均操作，即对一批内的所有当前样本图像的特征描述图取平均。

进行特征压缩时，根据以下公式将压缩特征图g_t与上一批次获得的融合特征图

进行特征融合得到新的融合特征图

其中

表示第t批次获得的融合特征图，且

可以理解，本实施例的特征压缩和特征融合的方法，通过对正常样本图像的特征不断进行压缩和融合，可以保留各正常样本图像的特征并且不使核心特征图增大，提高了核心特征图的特征密度，在不降低检测精度的情况下，使代表正常特征的核心特征图的大小保持恒定。

训练初始阶段对训练样本集只进行一次迭代，不进行重复的迭代，迭代结束后得到的融合特征图则为正常样本图像的核心特征图g。训练初始阶段结束，核心特征图g会被保存并冻结，不再更新。本质上，训练初始阶段的目的就是为了获取正常样本的压缩特征表示，即核心特征图g，核心特征图g代表着正常样本图像的整体正常特征，是进行训练时作为参照的目标特征。

步骤130：使用训练样本集对缺陷检测模型进行训练，获得最终的模型参数，训练目标为正常样本图像的特征描述图与核心特征图的相异处的差异增大、相似处的差异减小。

步骤130为训练运行阶段，主要根据预设的损失函数对缺陷检测模型进行训练，训练目标为正常样本图像的特征描述图与核心特征图的相异处的差异增大、相似处的差异减小，从而增强缺陷检测模型对缺陷特征和正常特征的区分能力。

正常样本图像的特征描述图，同样是通过将正常样本图像输入缺陷检测模型获得。若缺陷检测模型包括特征提取模块M和特征描述模块D，则同样将正常样本图像输入特征提取模块M以得到正常样本图像n层分辨率递减的特征子图，将后n-1层特征子图上采样至与第1层特征子图相同的分辨率，然后将第1层特征子图与上采样后的其他特征子图进行通道拼接得到初始特征图α，其中n≥2，例如可以为3；将该初始特征图输入特征描述模块D以增强对该初始特征图的位置信息的表示能力，并提高特征描述能力，得到正常样本图像的特征描述图β。特征描述图β与核心特征图g进行比较，计算损失函数，根据梯度下降法更新缺陷检测模型的参数。训练运行阶段可进行多次，使用训练样本集进行多次重复的迭代。

一种实施例中，特征提取模块M可以为一预训练的特征提取网络，该特征提取网络在训练过程中网络参数不变，其网络参数加载预训练权重，在整体网络模型训练以及推理的全过程，参数始终保持冻结状态。特征提取网络具体可以采用ResNet-50等。一种实施例中，特征描述模块D可以为一坐标卷积网络层(CoordConv)，具体可以是1×1坐标卷积网络层。特征描述模块D采用坐标卷积网络层的目的是为了使卷积过程能够感知输入特征图的位置信息，实现对缺陷的精准定位。特征描述模块D在训练初始阶段以随机初始化的权重参数运行，无需更新权重参数，在训练运行阶段，特征描述模块D的权重参数将会更新。

一种实施例中，针对缺陷检测模型的训练设计了专门的对比监督损失函数L_total，对比监督损失函数L_total由两部分构成，分别为第一损失函数L₁和第二损失函数L₂。下面对对比监督损失函数的构建进行详细说明。

如图2所示，将特征描述图β与核心特征图g进行TrainOp操作，得到正对比特征向量和负对比特征向量。TrainOp操作包括：将正常样本图像的特征描述图β中每个像素点的特征向量都分别与核心特征图g的所有像素点的特征向量计算距离值，例如欧氏距离，其中像素点的特征向量为各通道上与该像素点位置对应的像素值组成的向量；对于正常样本图像的特征描述图β的每个像素点，选取其特征向量与核心特征图g的所有像素点的特征向量的距离值中最小的Y个距离值，并按照从小到大的顺序排列，将其中较小的Y/2个距离值对应的核心特征图g的像素点的特征向量作为正对比特征向量，将其中较大的Y/2个距离值对应的核心特征图g的像素点的特征向量作为负对比特征向量，其中Y为不小于2的偶数，例如Y＝6。

下面通过一个例子说明TrainOp操作，这里同样以向量[B,C,H,W]的形式表示图像的形状。假设Y＝6，核心特征图g的形状为[1,1792,56,56]，特征描述图β的形状为[1,1792,56,56]，特征描述图β中每个像素点的特征向量都分别与核心特征图g的所有像素点的特征向量计算距离值，那么这些距离值可组成一个只有一列，通道数为56×56＝3136的图j，其形状为[1,3136,3136]，如图3所示。选取图j每个通道最小的6个距离值，并按照从小到大的顺序排列以获得距离表示图h，h的形状为[1,6,3136]。将距离表示图h在通道维度上以通道长度的中点为分离点执行分离操作，获得两个特征距离表示图d⁺和d^—，d⁺由较小的3个距离值组成，其形状为[1,3,3136]，恢复成特征描述图β的分辨率即[1,3,56,56]，d⁺中距离值对应的核心特征图g的像素点的特征向量为正对比特征向量；d^—由较大的3个距离值组成，其形状为[1,3,3136]，恢复成特征描述图β的分辨率即[1,3,56,56]，d^—中距离值对应的核心特征图g的像素点的特征向量为负对比特征向量。

在像素点层面上，d⁺表示正常样本的特征描述图β像素点与核心特征图g相似像素点的距离，d^—表示正常样本的特征描述图β像素点与核心特征图g异常像素点的距离，d⁺应该小于一定数值，d^—应该大于一定数值，从而在缩小相似像素点之间的距离同时增大正常与异常像素点的距离，以达到区分正常样本与缺陷样本的目的。

因此，基于这一思想，在获得正对比特征向量和负对比特征向量后，可以构建第一损失函数和第二损失函数。第一损失函数可以根据正常样本图像的特征描述图的像素点的特征向量和对应的正对比特征向量构建，其目标为减小正常样本图像的特征描述图的像素点的特征向量与对应的正对比特征向量间的距离，即减小d⁺；第二损失函数可以根据正常样本图像的特征描述图的像素点的特征向量和对应的负对比特征向量构建，其目标为增大正常样本图像的特征描述图的像素点的特征向量与对应的负对比特征向量间的距离，即增大d^—。

一种实施例中，第一损失函数和第二损失函数具体可以为：

其中Z表示正常样本图像的特征描述图的像素数量，通常核心特征图与特征描述图等大小，因此Z也表示核心特征图的像素数量，例如正常样本图像的特征描述图的形状为[1,1792,56,56]，那么正常样本图像的特征描述图的像素数量Z为56×56＝3136；K＝Y/2，β_z表示正常样本图像的特征描述图的第z个像素点的特征向量，

表示β_z对应的第k个正对比特征向量，

表示β_z与

之间的欧氏距离；P＝Y/2，

表示β_z对应的第p个负对比特征向量，

表示β_z与

之间的欧氏距离，R和λ为需要通过学习得到的自适应参数，即R和λ也会根据训练过程进行更新。

则对比监督损失函数L_total可以为：

L_total＝L₁+L₂。

通过上述对比监督损失函数控制缺陷检测模型完成迁移学习的训练，可以使得正常样本图像的特征描述图的每一个像素点，与核心特征图中最相似的像素点保持相近，与核心特征图中不相近的像素点拉远，使得模型极大程度地提高对正常特征与缺陷特征的区分度，从而完成缺陷分割的任务。

下面结合图4和图5对缺陷检测过程进行详细说明。请参考图4，一种实施例中缺陷检测的流程包括步骤210～230，下面具体说明。

步骤210：获取被测物体的待检测图像。

关于被测物体的待检测图像的获取，可参考正常样本图像的获取。

步骤220：将待检测图像输入训练好的缺陷检测模型以得到待检测图像的特征描述图。

获取待检测图像的特征描述图的过程与获取正常样本图像的特征描述图的过程相同。请参考图5，在缺陷检测模型包括特征提取模块M和特征描述模块D的实施例中，将待检测图像输入训练好的缺陷检测模型以得到待检测图像的特征描述图的过程包括：将待检测图像x输入特征提取模块M以得到待检测图像的n层分辨率递减的特征子图，将后n-1层特征子图上采样至与第1层特征子图相同的分辨率，然后将第1层特征子图与上采样后的其他特征子图进行通道拼接得到初始特征图α；将该初始特征图输入特征描述模块D以增强对该初始特征图的位置信息的表示能力，并提高特征描述能力，得到待检测图像的特征描述图β。可以理解，此处得到的特征描述图与训练过程得到的特征描述图分辨率相同，因此其分辨率也与核心特征图相同。

步骤230：将待检测图像的特征描述图与预先保存的正常样本图像的核心特征图进行比较，根据两者的差异确定待检测图像的缺陷区域。

请参考图5，一种实施例中步骤230包括TestOp操作操作、Sigmoid函数处理、上采样和阈值分割，下面具体说明。

如图5所示，首先将待检测图像的特征描述图β与核心特征图g进行TestOp操作，得到距离表示图l。TestOp操作包括：将待检测图像的特征描述图β中每个像素点的特征向量都分别与核心特征图g的所有像素点的特征向量计算距离值，例如欧氏距离；对于待检测图像的特征描述图β的每个像素点，选取其特征向量与核心特征图g的所有像素点的特征向量的距离值中最小的距离值，组成距离表示图l。

然后对距离表示图l采用Sigmoid函数处理得到待检测图像的预测分数图u，预测分数图的像素值用于表示对应像素点是异常像素的概率。Sigmoid函数主要将距离表示图l中的距离值映射到(0,1)之间，得到表示概率的数值，数值越小表示正常性越大，反之则表示为缺陷的概率越大。

然后对待检测图像的预测分数图u进行上采样处理，使其分辨率与待检测图像x相同。最后对上采样后的待检测图像的预测分数图u进行阈值分割，获得检测结果s，s的分辨率与待检测图像x一致。如图5所示，检测结果s呈现出了待检测图像x的缺陷区域。其中对上采样后的待检测图像的预测分数图u进行的阈值分割，可以包括以下步骤：获取正常样本图像的预测分数图的像素值的平均值

和标准差σ_x；若上采样后的待检测图像的预测分数图u的像素值位于区间

内，则判定该像素为正常像素，否则为异常像素。其中正常样本图像的预测分数图的获取方式与待检测图像的预测分数图的获取方式相同，k₁为预设系数，可以将其默认值设置为3。

下面通过一个例子说明步骤230，假设待检测图像x的形状为[1,3,224,224]，核心特征图g的形状为[1,1792,56,56]，特征描述图β的形状为[1,1792,56,56]。特征描述图β中每个像素点的特征向量都分别与核心特征图g的所有像素点的特征向量计算距离值，那么这些距离值可组成一个只有一列，通道数为56×56＝3136的图j，其形状为[1,3136,3136]，如图3所示。对图j在通道维度上取一个最小的距离值获得距离表示图l，l的形状为[1,1,3136]，恢复成特征描述图β的分辨率表示即[1,1,56,56]。距离表示图l经过Sigmoid函数处理得到预测分数图u，预测分数图u进行上采样处理以及阈值分割，获得检测结果s，为了恢复到待检测图像x的分辨率，将上采样倍数设为4，即224/56＝4，则获得的检测结果s的形状为[1,1,224,224]。

本发明对于整个缺陷检测模型的训练过程，基于迁移学习的思路设计了对比监督损失函数进行训练，有效提升了模型的最终检测精度。推理时，可以以端到端的方式，直接输出待检测图像的缺陷分割图。

在上述基于迁移学习的无监督缺陷检测方法的基础上，本发明还提供一种基于迁移学习的无监督缺陷检测系统，请参考图6，一种实施例中该系统包括待检测图像获取模块1、特征描述图获取模块2、特征比较模块3和模型训练模块4，下面分别说明。

待检测图像获取模块1用于获取被测物体的待检测图像。

特征描述图获取模块2用于将待检测图像输入训练好的缺陷检测模型以得到待检测图像的特征描述图。

请参考图5，一种实施例的缺陷检测模型包括特征提取模块M和特征描述模块D，特征提取模块M主要用于提取输入图像的特征，获得多层不同分辨率的特征子图，特征描述模块D主要用于增强对所提取特征的位置信息的表示能力，以及更好地描述所提取的特征，提高对输入图像的特征描述能力，实现特征自适应。该实施例中特征描述图获取模块2具体用于：将待检测图像x输入特征提取模块M以得到待检测图像的n层分辨率递减的特征子图，将后n-1层特征子图上采样至与第1层特征子图相同的分辨率，然后将第1层特征子图与上采样后的其他特征子图进行通道拼接得到初始特征图α，其中n≥2，例如可以为3；将该初始特征图输入特征描述模块D以增强对该初始特征图的位置信息的表示能力，并提高特征描述能力，得到待检测图像的特征描述图β。

特征比较模块3用于将待检测图像的特征描述图与预先保存的正常样本图像的核心特征图进行比较，根据两者的差异确定待检测图像的缺陷区域。

一种实施例中，特征比较模块3可具体用于：将待检测图像的特征描述图中每个像素点的特征向量都分别与核心特征图的所有像素点的特征向量计算距离值，例如欧氏距离，其中像素点的特征向量为各通道上与该像素点位置对应的像素值组成的向量；对于待检测图像的特征描述图的每个像素点，选取其特征向量与核心特征图的所有像素点的特征向量的距离值中最小的距离值，组成距离表示图；对距离表示图采用Sigmoid函数处理得到预测分数图，其中预测分数图的像素值用于表示对应像素点是异常像素的概率；对预测分数图进行上采样处理，使其分辨率与待检测图像相同；对上采样后的预测分数图进行阈值分割，获得待检测图像的缺陷区域。本实施例中特征比较模块3具体的工作过程可参考步骤230，在此不再赘述。

模型训练模块4用于通过以下方式对缺陷检测模型进行训练：获取由正常样本图像组成的训练样本集；将训练样本集的正常样本图像按批次作为当前样本图像，将各当前样本图像分别输入设置了初始参数的缺陷检测模型以得到各当前样本图像的特征描述图，对各当前样本图像的特征描述图进行特征压缩处理得到压缩特征图，并与上一批次获得的融合特征图进行特征融合作为新的融合特征图，保存最后一个批次获得的融合特征图作为正常样本图像的核心特征图，其中第一批次正常样本图像的压缩特征图与0值图像进行特征融合，所获得的核心特征图与特征描述图的分辨率相同；使用训练样本集对缺陷检测模型进行训练，获得最终的模型参数，训练目标为正常样本图像的特征描述图与核心特征图的相异处的差异增大、相似处的差异减小。

请参考图2，在缺陷检测模型包括特征提取模块M和特征描述模块D的实施例中，模型训练模块4具体用于：将当前样本图像输入设置了初始参数的特征提取模块M以得到当前样本图像n层分辨率递减的特征子图，将后n-1层特征子图上采样至与第1层特征子图相同的分辨率，然后将第1层特征子图与上采样后的其他特征子图进行通道拼接得到初始特征图α；将该初始特征图输入设置了初始参数的特征描述模块D以进一步提取特征的位置信息，得到当前样本图像的特征描述图β。关于特征提取模块M和特征描述模块D可参考步骤130中的介绍，在此不再赘述。

一种实施例中，模型训练模块4通过以下方式对各当前样本图像的特征描述图进行特征压缩处理得到压缩特征图，并与上一批次获得的融合特征图进行特征融合作为新的融合特征图：

对当前样本图像的特征描述图在批处理维度上执行取平均操作得到压缩特征图g_t：

g_t＝Mean(β)，

其中t表示迭代批次且t≥1，g_t表示第t批次的压缩特征图，β表示当前样本图像的特征描述图，这里是指所有当前样本图像的特征描述图，Mean()表示在批处理维度上执行取平均操作，即对一批内的所有当前样本图像的特征描述图取平均；根据以下公式将压缩特征图g_t与上一批次获得的融合特征图g_t-1进行特征融合得到新的融合特征图

其中

表示第t批次获得的融合特征图，且

关于特征描述图β和核心特征图g的获取可参考步骤120，在此不再赘述。

一种实施例中，模型训练模块4还用于根据预设的对比监督损失函数对缺陷检测模型进行训练，其中对比监督损失函数通过以下方式确定：将正常样本图像的特征描述图β中每个像素点的特征向量都分别与核心特征图g的所有像素点的特征向量计算距离值，例如欧氏距离；对于正常样本图像的特征描述图β的每个像素点，选取其特征向量与核心特征图g的所有像素点的特征向量的距离值中最小的Y个距离值，并按照从小到大的顺序排列，将其中较小的Y/2个距离值对应的核心特征图g的像素点的特征向量作为正对比特征向量，将其中较大的Y/2个距离值对应的核心特征图g的像素点的特征向量作为负对比特征向量；根据正常样本图像的特征描述图的像素点的特征向量和对应的正对比特征向量构建第一损失函数，第一损失函数的目标为减小正常样本图像的特征描述图的像素点的特征向量与对应的正对比特征向量间的距离；根据正常样本图像的特征描述图的像素点的特征向量和对应的负对比特征向量构建第二损失函数，第二损失函数的目标为增大正常样本图像的特征描述图的像素点的特征向量与对应的负对比特征向量间的距离；将第一损失函数和第二损失函数相加作为对比监督损失函数。

关于第一损失函数、第二损失函数和对比监督损失函数的具体表达式可参考步骤130。通过对比监督损失函数控制缺陷检测模型完成迁移学习的训练，可以使得正常样本图像的特征描述图的每一个像素点，与核心特征图中最相似的像素点保持相近，与核心特征图中不相近的像素点拉远，使得模型极大程度地提高对正常特征与缺陷特征的区分度，从而完成缺陷分割的任务。

依据上述实施例的基于迁移学习的无监督缺陷检测方法/系统，基于迁移学习，使用正常样本图像提取核心特征图，引导缺陷检测模型训练，实现了对工业图像的特征自适应。训练过程中无需缺陷图像参与，相比有监督的检测方式更易于在工业上进行实际应用。在推理阶段通过将待检测图像的特征描述图与核心特征图进行比较进行缺陷分割，其中核心特征图是通过缺陷检测模型获得正常样本图像的特征描述图，对正常样本图像的特征描述图进行特征压缩和特征融合得到，使得获得的核心特征图不因正常样本图像的增多而增大，提高了核心特征图的特征密度，在不降低检测精度的情况下，使核心特征图的大小保持恒定，可以减少在推理阶段将待检测图像的特征描述图与核心特征图进行比较的时间，从而避免推理时间过长，实时性高。由于以增大正常样本图像的特征描述图与核心特征图相异处的差异、减小相似处的差异为目标训练缺陷检测模型，可以使得正常样本图像的特征描述图与核心特征图中最相似之处保持接近，与核心特征图中不相似之处拉远，使得模型极大程度地提高对正常特征与缺陷特征的区分度，从而完成缺陷分割的任务。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种基于迁移学习的无监督缺陷检测方法，其特征在于，包括：

获取被测物体的待检测图像；

将所述待检测图像输入训练好的缺陷检测模型以得到所述待检测图像的特征描述图；

将所述待检测图像的特征描述图与预先保存的正常样本图像的核心特征图进行比较，根据两者的差异确定所述待检测图像的缺陷区域；

其中所述缺陷检测模型按以下步骤训练得到：

获取由正常样本图像组成的训练样本集；

将所述训练样本集的正常样本图像按批次作为当前样本图像，对于每一批次，将其中的各当前样本图像分别输入设置了初始参数的所述缺陷检测模型以得到各当前样本图像的特征描述图，对当前样本图像的特征描述图进行特征压缩处理得到压缩特征图，并与上一批次获得的融合特征图进行特征融合作为新的融合特征图，保存最后一个批次获得的融合特征图作为正常样本图像的核心特征图，其中第一批次正常样本图像的压缩特征图与0值图像进行特征融合，所述核心特征图与特征描述图的分辨率相同；

使用所述训练样本集对所述缺陷检测模型进行训练，获得最终的模型参数，训练目标为正常样本图像的特征描述图与所述核心特征图的相异处的差异增大、相似处的差异减小。

2.如权利要求1所述的无监督缺陷检测方法，其特征在于，所述缺陷检测模型包括特征提取模块和特征描述模块；

所述将所述待检测图像输入训练好的缺陷检测模型以得到所述待检测图像的特征描述图，包括：

将所述待检测图像输入所述特征提取模块以得到所述待检测图像的n层特征子图，将后n-1层特征子图上采样至与第1层特征子图相同的分辨率，然后将第1层特征子图与上采样后的其他特征子图进行通道拼接得到初始特征图，其中n≥2；

将该初始特征图输入所述特征描述模块以增强对该初始特征图的位置信息的表示能力，并提高特征描述能力，得到所述待检测图像的特征描述图；

所述将当前样本图像输入设置了初始参数的所述缺陷检测模型以得到当前样本图像的特征描述图，包括：

将当前样本图像输入设置了初始参数的所述特征提取模块以得到当前样本图像的n层特征子图，将后n-1层特征子图上采样至与第1层特征子图相同的分辨率，然后将第1层特征子图与上采样后的其他特征子图进行通道拼接得到初始特征图；

将该初始特征图输入设置了初始参数的所述特征描述模块以增强对该初始特征图的位置信息的表示能力，并提高特征描述能力，得到当前样本图像的特征描述图。

3.如权利要求2所述的无监督缺陷检测方法，其特征在于，所述特征提取模块为一预训练的特征提取网络且该特征提取网络在训练过程中网络参数不变，和/或所述特征描述模块为一坐标卷积网络层。

4.如权利要求1至3中任一项所述的无监督缺陷检测方法，其特征在于，根据预设的损失函数对所述缺陷检测模型进行训练，所述损失函数通过以下方式确定：

将正常样本图像的特征描述图中每个像素点的特征向量都分别与所述核心特征图的所有像素点的特征向量计算距离值；

对于正常样本图像的特征描述图的每个像素点，选取其特征向量与所述核心特征图的所有像素点的特征向量的距离值中最小的Y个距离值，并按照从小到大的顺序排列，将其中较小的Y/2个距离值对应的所述核心特征图的像素点的特征向量作为正对比特征向量，将其中较大的Y/2个距离值对应的所述核心特征图的像素点的特征向量作为负对比特征向量，其中Y为不小于2的偶数；

根据正常样本图像的特征描述图的像素点的特征向量和对应的正对比特征向量构建第一损失函数，所述第一损失函数的目标为减小正常样本图像的特征描述图的像素点的特征向量与对应的正对比特征向量间的距离；

根据正常样本图像的特征描述图的像素点的特征向量和对应的负对比特征向量构建第二损失函数，所述第二损失函数的目标为增大正常样本图像的特征描述图的像素点的特征向量与对应的负对比特征向量间的距离；

将第一损失函数和第二损失函数相加作为所述损失函数。

5.如权利要求4所述的无监督缺陷检测方法，其特征在于，所述损失函数具体为：

L_total＝L₁+L₂，

其中L₁为第一损失函数，L₂为第二损失函数，且

Z表示正常样本图像的特征描述图的像素数量，K＝Y/2，β_z表示正常样本图像的特征描述图的第z个像素点的特征向量，

表示β_z对应的第k个正对比特征向量，

表示β_z与

之间的欧氏距离；P＝Y/2，

表示β_z对应的第p个负对比特征向量，

表示β_z与

之间的欧氏距离，R和λ为需要通过学习得到的自适应参数。

6.如权利要求1所述的无监督缺陷检测方法，其特征在于，所述对当前样本图像的特征描述图进行特征压缩处理得到压缩特征图，并与上一批次获得的融合特征图进行特征融合作为新的融合特征图，包括：

对当前样本图像的特征描述图在批处理维度上执行取平均操作得到压缩特征图g_t：

g_t＝Mean(β)，

其中t表示迭代批次且t≥1，g_t表示第t批次的压缩特征图，β表示当前样本图像的特征描述图，Mean()表示在批处理维度上执行取平均操作；

根据以下公式将压缩特征图g_t与上一批次获得的融合特征图进行特征融合得到新的融合特征图

其中

表示第t批次获得的融合特征图，且

7.如权利要求1所述的无监督缺陷检测方法，其特征在于，所述将所述待检测图像的特征描述图与预先保存的正常样本图像的核心特征图进行比较，根据两者的差异确定所述待检测图像的缺陷区域，包括：

将所述待检测图像的特征描述图中每个像素点的特征向量都分别与所述核心特征图的所有像素点的特征向量计算距离值；

对于所述待检测图像的特征描述图的每个像素点，选取其特征向量与所述核心特征图的所有像素点的特征向量的距离值中最小的距离值，组成距离表示图；

对所述距离表示图采用Sigmoid函数处理得到所述待检测图像的预测分数图，所述预测分数图的像素值用于表示对应像素点是异常像素的概率；

对所述待检测图像的预测分数图进行上采样处理，使其分辨率与所述待检测图像相同；

对上采样后的所述待检测图像的预测分数图进行阈值分割，获得所述待检测图像的缺陷区域。

8.如权利要求7所述的无监督缺陷检测方法，其特征在于，所述对上采样后的所述待检测图像的预测分数图进行阈值分割，包括：

获取正常样本图像的预测分数图的像素值的平均值

和标准差σ_x；

若上采样后的所述待检测图像的预测分数图的像素值位于区间

内，则判定该像素为正常像素，否则为异常像素，其中k₁为预设系数。

9.一种基于迁移学习的无监督缺陷检测系统，其特征在于，包括：

待检测图像获取模块，用于获取被测物体的待检测图像；

特征描述图获取模块，用于将所述待检测图像输入训练好的缺陷检测模型以得到所述待检测图像的特征描述图；

特征比较模块，用于将所述待检测图像的特征描述图与预先保存的正常样本图像的核心特征图进行比较，根据两者的差异确定所述待检测图像的缺陷区域；

模型训练模块，用于通过以下方式对所述缺陷检测模型进行训练：

获取由正常样本图像组成的训练样本集；

将所述训练样本集的正常样本图像按批次作为当前样本图像，将各当前样本图像分别输入设置了初始参数的所述缺陷检测模型以得到各当前样本图像的特征描述图，对各当前样本图像的特征描述图进行特征压缩处理得到压缩特征图，并与上一批次获得的融合特征图进行特征融合作为新的融合特征图，保存最后一个批次获得的融合特征图作为正常样本图像的核心特征图，其中第一批次正常样本图像的压缩特征图与0值图像进行特征融合，所述核心特征图与特征描述图的分辨率相同；

使用所述训练样本集对所述缺陷检测模型进行训练，获得最终的模型参数，训练目标为正常样本图像的特征描述图与所述核心特征图的相异处的差异增大、相似处的差异减小。

10.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1-8中任一项所述的无监督缺陷检测方法。

Images