CN112598657B - 缺陷检测方法、装置、模型构造方法和计算机设备 - Google Patents

Abstract

本发明实施例公开了缺陷检测方法、装置、模型构造方法和计算机设备，该方法包括：获取待检测图像的标准特征图；利用预先训练达标的缺陷检测模型的第i个自适应特征增强层对第i‑1特征增强图进行自适应特征增强以获取第i特征增强图，在i＝1时，第0特征增强图为所述标准特征图，1≤i≤N；根据第N特征增强图检测所述待检测图像的真实缺陷位置。本发明利用新的、轻量级的缺陷检测模型可以在硬件资源和计算资源有限的嵌入式系统上实现对产品表面的缺陷检测，有效降低硬件资源和计算资源的使用成本。

Description

缺陷检测方法、装置、模型构造方法和计算机设备

技术领域

本发明涉及图像处理领域，尤其涉及一种缺陷检测方法、装置、模型构造方法和计算机设备。

背景技术

各类物品或产品在生产过程中很容易出现各类缺陷，这些缺陷可能会影响产品的使用寿命和可靠度，因此，表面缺陷检测是品质管控的关键环节。基于机器视觉的表面缺陷检测方法具有效率高、准确性高、实时性高等优点，在缺陷检测领域得到广泛的研究和应用。但是，由于缺陷类型繁多，特征难以定义，且只发生在生产过程中，使得基于计算机视觉的物品或产品表面缺陷检测方法遇到困难。并且，流行的卷积神经网络模型为了提高检测精度，大都具有复杂的网络结构和大量的模型参数，这使得卷积神经模型难以部署在硬件资源和计算资源有限的嵌入式系统上，也无法实现对物品或产品表面缺陷的有效检测。

发明内容

鉴于上述问题，本发明提出一种缺陷检测方法、装置、模型构造方法和计算机设备。

本发明实施例提出一种缺陷检测方法，其该方法包括：

获取待检测图像的标准特征图；

利用预先训练达标的缺陷检测模型的第i个自适应特征增强层对第i-1特征增强图进行自适应特征增强以获取第i特征增强图，在i＝1时，第0特征增强图为所述标准特征图，1≤i≤N；

根据第N特征增强图检测所述待检测图像的真实缺陷位置。

本发明实施例所述的缺陷检测方法，所述根据第N特征增强图检测所述待检测图像的缺陷位置，包括：

利用所述缺陷检测模型的特征融合层对所述第N特征增强图和第M特征增强图进行特征融合以获取融合特征图，M＜N；

利用所述缺陷检测模型的第一输出层检测所述第N特征增强图中的预测缺陷位置；和/或，利用所述缺陷检测模型的第二输出层检测所述融合特征图中预测缺陷位置；

确定各个预测缺陷位置对应的置信度。

本发明实施例所述的缺陷检测方法，所述自适应特征增强层包括：因式分解卷积层、多维特征激活层和点卷积层。

本发明实施例所述的缺陷检测方法，每一因式分解卷积层用于对当前校准的特征图进行因式分解卷积操作，并将经过所述因式分解卷积操作的特征图分别沿平面方向进行全局平均池化操作和沿通道方向进行最大值池化操作；

所述因式分解卷积操作利用以下公式表示：

V_(h，w)表示第一卷积核V的中心落在所述当前校准的特征图的第h行第w列，X^H×W表示H×W维的当前校准的特征图，D^H×W表示H×W维的当前校准的特征图对应的H×W维的因式分解卷积输出特征图；

所述全局平均池化操作利用以下公式表示：

D_(h，w)表示H×W×1维的因式分解卷积输出特征图的第h行第w列的特征元素，α_c表示因式分解卷积层的第c个通道的H×W×1维的因式分解卷积输出特征图的全局平均池化值；

所述最大值池化操作利用以下公式表示：

α_h,w＝Max(D_(c))，D_(c)表示第c个通道对应的因式分解卷积层所有特征图上在同一位置上的像素点灰度值，α_h,w表示因式分解卷积输出特征图的第h行第w列的特征元素在所有C个通道上的最大值池化值。

本发明实施例所述的缺陷检测方法，每一多维特征激活层用于分别对当前全局平均池化值和当前最大值池化值进行一次非线性的全连接操作，并利用各个非线性的全连接操作的输出结果对特征图进行校准；

对当前全局平均池化值进行一次非线性的全连接操作根据以下公式表示：

σ表示sigmoid函数，γ为relu激活函数对应的权重，W₁为当前全局平均池化值全连接层对应的权重，β_c表示多维特征激活层的第c个通道的所述当前全局平均池化值α_c对应的激活权重值；

对当前最大值池化值进行一次非线性的全连接操作根据以下公式表示：

τ表示Tanh激活函数，W₂为当前最大值池化值全连接层对应的权重，β_h,w表示所述当前最大值池化值α_h,w对应的激活权重值；

所述对特征图进行校准利用以下公式表示：

Q_(h,w,c)＝D_(h,w)·β_c+D_(c)·β_h,w，Q_(h，w，c)表示第c个通道对应的因式分解卷积输出特征图第h行第w列的特征元素校准后对应的校准元素。

本发明实施例所述的缺陷检测方法，每一点卷积层用于对各个通道校准后的因式分解卷积输出特征图进行点卷积操作；

所述点卷积操作利用以下公式表示：

表示卷积层的第c个通道对应的子特征增强图，V_c表示第c个通道对应的卷积核，C表示卷积层的通道总数，P表示利用点卷积将各个通道上的特征增强图进行特征融合后的特征增强图。

本发明实施例提出一种缺陷检测装置，该装置包括：

标准特征图获取模块，用于获取待检测图像的标准特征图；

自适应特征增强模块，用于利用预先训练达标的缺陷检测模型的第i个自适应特征增强层对第i-1特征增强图进行自适应特征增强以获取第i特征增强图，在i＝1时，第0特征增强图为所述标准特征图，1≤i≤N；

缺陷位置检测模块，用于根据第N特征增强图检测所述待检测图像的缺陷位置。

本发明实施例提出一种缺陷检测模型构造方法，该方法包括：

利用因式分解卷积层、多维特征激活层和点卷积层构建自适应特征增强层；

利用多个自适应特征增强层构建所述缺陷检测模型；

将训练图像输入至所述缺陷检测模型；

利用转置卷积输出各个自适应特征增强层校准后的所述训练图像对应的可视化特征图；

根据各个可视化特征图确定所述缺陷检测模型的自适应特征增强层的层数。

本发明实施例涉及一种终端设备，包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器上运行时执行本发明实施例所述的缺陷检测方法或本发明实施例所述的缺陷检测模型构造方法。

本发明实施例涉及一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行本发明实施例所述的缺陷检测方法或本发明实施例所述的缺陷检测模型构造方法。

本发明公开的缺陷检测方法包括：获取待检测图像的标准特征图；利用预先训练达标的缺陷检测模型的第i个自适应特征增强层对第i-1特征增强图进行自适应特征增强以获取第i特征增强图，在i＝1时，第0特征增强图为所述标准特征图，1≤i≤N；根据第N特征增强图检测所述待检测图像的真实缺陷位置。本发明利用新的、轻量级的缺陷检测模型可以在硬件资源和计算资源有限的嵌入式系统上实现对产品表面的缺陷检测，有效降低硬件资源和计算资源的使用成本。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。

图1示出了本发明实施例提出的一种缺陷检测方法的流程示意图；

图2示出了本发明实施例提出的另一种缺陷检测方法的流程示意图；

图3示出了本发明实施例提出的一种缺陷检测方法的过程示意图；

图4示出了本发明实施例提出的另一种缺陷检测模型构造方法的流程示意图；

图5示出了本发明实施例提出的一种缺陷检测装置的结构示意图。

主要元件符号：

100-缺陷检测装置；110-标准特征图获取模块；120-自适应特征增强模块；130-缺陷位置检测模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。

针对目前卷积神经网络存在模型复杂、计算量大、检测速度慢等问题，本发明提出了一种轻量级的缺陷检测模型，缺陷检测模型由预设数目个自适应特征增强层组成，每个自适应特征增强层包括因式分解卷积层、多维特征激活层和点卷积层，可以用于检测体积微小、灰度值相对于背景不突出的物品或产品表面缺陷。自适应特征增强层通过融合深度可分离卷积与sigmoid激活函数，构造一个特征提取能力很强的高速卷积模块，实现对通道和区域分别进行卷积操作，并对卷积层的各个通道实现自适应特征增强，在使网络计算量大幅下降的同时，增强了网络对有效特征的表达能力；在特征提取部分，采用多尺度特征提取方法，从不同下采样的特征图中提取特征，提高模型对各种尺寸疵点目标的检测能力。

实施例1

本实施例，参见图1，示出了一种缺陷检测方法包括以下步骤：

S100：获取待检测图像的标准特征图。

可以利用图像采集系统对物品或产品表面进行扫描以采集物品或产品表面图像，并对图像进行预处理，以获取待检测图像。预处理方法包括：对采集的物品或产品表面图像进行剪切和缩放，得到预定尺寸大小的图像，并对图像进行旋转、翻转、调整对比度至标准对比度、调整亮度至标准亮度。可以理解，物品或产品包括医疗器械产品、工业产品、印刷品、产品外包装和食品外包装等，本实施例在此不做限定。

将待检测图像输入至预先训练达标的缺陷检测模型，利用缺陷检测模型的标准卷积层对待检测图像进行标准化卷积处理，以获取待检测图像的标准特征图。

S200：利用预先训练达标的缺陷检测模型的第i个自适应特征增强层对第i-1特征增强图进行自适应特征增强以获取第i特征增强图，在i＝1时，第0特征增强图为所述标准特征图，1≤i≤N。

自适应特征增强层包括：因式分解卷积层、多维特征激活层和点卷积层。

进一步的，因式分解卷积层包括深度卷积层、第一BN层、第一relu激活层和全局池化层。点卷积层包括全连接层、第二relu激活层、第二BN层和点卷积子层。

每一因式分解卷积层用于对当前校准的大小为H×W×C的特征图进行因式分解卷积操作，并将因式分解卷积输出所得的H×W×C特征图分别沿平面方向进行全局平均池化操作，沿通道轴方向进行最大值池化操作。

可以理解，因式分解卷积操作需要使用与当前校准的特征图通道数相同的卷积核来对输入特征图进行卷积操作，因此，因式分解卷积操作输出的特征图大小仍为H×W×C。

所述因式分解卷积操作利用以下公式表示：

V_(h，w)表示卷积核V的中心落在所述当前校准的特征图的第h行第w列，X^H×W表示H×W维的当前校准的特征图，D^H×W表示H×W维的当前校准的特征图对应的H×W维的因式分解卷积输出特征图。其中，卷积核V的中心以步长2进行滑动，可以理解，对于3*3的卷积核V的卷积核，如果步长为1，那么相邻步感受野之间就会有重复区域；如果步长为2，那么相邻感受野不会重复，也不会有覆盖不到的地方；如果步长为3，那么相邻步感受野之间会有一道大小为1的缝隙，从某种程度来说，这样就遗漏了原图的信息。

所述全局平均池化操作利用以下公式表示：

D_(h，w)表示H×W×1维的因式分解卷积输出特征图的第h行第w列的特征元素，α_c表示因式分解卷积层的第c个通道的H×W×1维的因式分解卷积输出特征图的全局平均池化值；

可以理解，因式分解卷积层的因式分解卷积操作使用与当前校准的特征图通道数相同的卷积核对输入特征图进行卷积操作，卷积过程中每个通道上的卷积核只和与之对应通道上的特征图进行卷积操作。因式分解卷积层沿空间平面方向的全局平均池化操作将因式分解卷积输出的每一张特征图D^H×W压缩成一个数值α_c。

所述最大值池化操作利用以下公式表示：

α_h,w＝Max(D_(c))，D_(c)表示第c个通道对应的因式分解卷积层所有特征图上在同一位置上的像素点灰度值，α_h,w表示因式分解卷积输出特征图的第h行第w列的特征元素在所有C个通道上的最大值池化值。

可以理解，因式分解卷积层沿通道轴方向的最大值池化操作将C个通道的因式分解卷积输出特征图在相同位置上的像素点灰度值取最大值保留，因此，因式分解卷积层沿通道轴方向的最大值池化操作将因式分解卷积输出H×W×C维特征图压缩成一个平面α_h,w。

每一多维特征激活层用于分别对当前全局平均池化值和当前最大值池化值进行一次非线性的全连接操作，并利用各个非线性的全连接操作的输出结果对特征图进行校准。

对当前全局平均池化值进行一次非线性的全连接操作根据以下公式表示：

σ表示sigmoid函数，γ为relu激活函数对应的权重，W₁为当前全局平均池化值全连接层对应的权重，β_c表示多维特征激活层的第c个通道的所述当前全局平均池化值α_c对应的激活权重值。

可以理解，多维特征激活层可以对各个通道对应的α_c进行一次非线性的全连接操作，可以实现各个通道间的特征融合，并为每一层通道赋予一个权重值，用Sigmoid函数对各个通道的权重值进行激励计算，使得原本较大的权重值变得更大，原本小的权重值变得更小。

对当前最大值池化值进行一次非线性的全连接操作根据以下公式表示：

τ表示Tanh激活函数，W₂为当前最大值池化值全连接层对应的权重，β_h,w表示所述当前最大值池化值α_h,w对应的激活权重值。

可以理解，Tanh激活函数可以对平面上各个像素点对应的α_h,w进行一次非线性的全连接操作，可以实现平面上各个像素点间的特征融合，并为每一个像素点赋予一个权重值，用Tanh激活函数对各个像素点的权重值进行激励计算，相较于Sigmoid激活函数，Tanh激活函数可以使当该像素点对模型检测到正确目标起反面作用时，给与该点的激励信号为负数，进而强化对干扰信号的削弱效果。

所述对特征图进行校准利用以下公式表示：

Q_(h,w,c)＝D_(h,w)·β_c+D_(c)·β_h,w，Q_(h，w，c)表示第c个通道对应的因式分解卷积输出特征图第h行第w列的特征元素校准后对应的校准元素。

每一点卷积层用于对各个卷积层的通道和空间信息进行校准后的多维特征激活层输出特征图进行点卷积操作。

对各个通道校准后的因式分解卷积输出特征图进行点卷积操作利用以下公式表示：

表示卷积层的第c个通道对应的子特征增强图，V_c表示第c个通道对应的卷积核，C表示卷积层的通道总数，P表示利用点卷积将各个通道上的特征增强图进行特征融合后的特征增强图。

可以了解，点卷积层利用对应的激活权重值校准对应的H*W*C维的因式分解卷积输出特征图，实现了将因式分解卷积输出特征图中对于检测目标有效的特征进行增强，对干扰的特征进行抑制。进一步的，对卷积层的各个通道校准后的因式分解卷积输出特征图进行点卷积操作，实现将各个通道上的子特征增强图进行特征融合。

S300：根据第N特征增强图检测所述待检测图像的真实缺陷位置。

可以根据缺陷检测模型第N个自适应特征增强层输出的第N特征增强图检测所述待检测图像的真实缺陷位置，检测出图像中的物品或产品表面的缺陷及缺陷位置的坐标，并在图像中框出缺陷的目标位置。

本实施例公开的缺陷检测方法包括：获取待检测图像的标准特征图；利用预先训练达标的缺陷检测模型的第i个自适应特征增强层对第i-1特征增强图进行自适应特征增强以获取第i特征增强图，在i＝1时，第0特征增强图为所述标准特征图，1≤i≤N；根据第N特征增强图检测所述待检测图像的真实缺陷位置。本实施例利用新的、轻量级的缺陷检测模型可以在硬件资源和计算资源有限的嵌入式系统上实现对物品或产品表面的缺陷检测，有效降低硬件资源和计算资源的使用成本。

实施例2

本实施例，参见图2，示出了缺陷检测方法的步骤S300包括以下步骤：

S310：利用所述缺陷检测模型的特征融合层对所述第N特征增强图和第M特征增强图进行特征融合以获取融合特征图，M＜N。

示范性的，预先构建的缺陷检测模型可以包括6个自适应特征增强层，如下表所示。

由于物品或产品表面缺陷目标往往尺寸较小，灰度不明显，所以当缺陷检测模型的网络到达一定深度后，缺陷目标的特征信息就会消失，因此，根据网络各层特征图所含表面缺陷特征信息确定网络的深度，搭建出最优的网络框架，如上表所示。

可以将神经网络的各层特征图经过反池化层、转置卷积层和激活函数后，实现将网络各层提取到的特征信息还原成可视化的像素值信息，生成可视化的RGB图像，可以直观的观察到网络各层所提取的特征信息。通过观察多种不同物品或产品表面缺陷目标的特征图，发现对于大多数的物品或产品，当网络的自适应特征增强层的深度达到第7层后，特征图中就仅包含十分少量的目标特征信息，因此本网络的自适应特征增强层的深度最终确定为6层，即从第六自适应特征增强层中进行特征提取，检测目标，即N＝6。

进一步的，物品或产品表面缺陷图像往往具有复杂的纹理特性，且大部分的缺陷十分微小，不易观察。而在卷积神经网络中，不同层中的特征图具有不同的感受野，可以提取到不同分辨率的特征信息。因此，不同尺寸，不同形状的缺陷目标，其特征也会在不同深度的特征图中得到显现。所以，采用多尺度特征提取方法，在不同尺度区域特征进行特征提取，提高对各类缺陷目标的特征提取能力。

为测试不同大小感受野的检测效果，除了从第六自适应特征增强层的16×16大小特征图上提取特征外，又依次对网络中32×32，64×64，128×128大小的特征图进行特征提取并测试检测效果，测试结果表明从16×16与32×32大小的特征图中进行检测得到的检测效果最好，因此，本实施例将第四自适应特征增强层的第四特征增强图和第六自适应特征增强层的第六特征增强图进行特征融合以获取融合特征图，可以实现多尺度特征提取。

S320：利用所述缺陷检测模型的第一输出层检测所述第N特征增强图中的预测缺陷位置；和/或，利用所述缺陷检测模型的第二输出层检测所述融合特征图中预测缺陷位置。

可以利用所述缺陷检测模型的第一输出层检测所述第四特征增强图中的预测缺陷位置；还可以利用所述缺陷检测模型的第二输出层检测融合特征图中预测缺陷位置；还可以同时输出第四特征增强图中的预测缺陷位置和融合特征图中预测缺陷位置。

S330：确定各个预测缺陷位置对应的置信度。

当同时输出多个缺陷位置时，可以确定各个预测缺陷位置对应的置信度。

示范性的，如图3所示，缺陷检测模型的第四自适应特征增强层输出的第四特征增强图的大小为32×32，第六自适应特征增强层输出的第六特征增强图的大小为16×16，可以理解，缺陷检测模型的第六自适应特征增强层输出大小为16×16的第六特征增强图为原图32倍下采样后得到的特征图，再将第六自适应特征增强层提取的大小为16×16的第六特征增强图进行2倍的上采样得到大小为32×32的第六特征增强图，并与第四自适应再校准层输出为原图16倍下采样的大小为32×32的第四特征增强图进行特征融合，得到经过特征融合的16倍下采样融合特征图，即大小为32×32的融合特征图。

缺陷检测模型分别在大小为16×16的第六特征增强图和32×32的第四特征增强图中进行特征提取，可以同时得到高语义及高细粒度的特征信息。

进一步的，缺陷检测模型在大小为16×16的第六特征增强图上检测缺陷位置，可以得到高语义的特征信息。

进一步的，缺陷检测模型在大小为32×32的融合特征图上检测缺陷位置，得到高细粒度的特征信息。

实施例3

本实施例，参见图4，示出了一种缺陷检测模型构造方法，该方法包括：

S10：利用因式分解卷积层、多维特征激活层和点卷积层构建自适应特征增强层。

可以将传统的卷积操作分解为3×3的因式分解卷积层和1×1的点卷积层，并在因式分解卷积层和点卷积层之间添加一个多维特征激活层，使因式分解卷积层中各个特征图赋予一个权重值后再使用点卷积进行特征融合，实现对有效的特征进行增强，对干扰的特征进行抑制。

S20：利用多个自适应特征增强层构建所述缺陷检测模型。

S30：将训练图像输入至所述缺陷检测模型。

S40：利用转置卷积输出各个自适应特征增强层校准后的所述训练图像对应的可视化特征图。

S50：根据各个可视化特征图确定所述缺陷检测模型的自适应特征增强层的层数。

可以将神经网络的各层特征图经过反池化层、转置卷积层和激活函数后，实现将网络各层提取到的特征信息还原成可视化的像素值信息，生成可视化的RGB图像，可以直观的观察到网络各层所提取的特征信息。通过观察多种不同物品或产品表面缺陷目标的特征图，发现对于大多数的物品或产品，当网络的自适应特征增强层的深度达到第7层后，特征图中就仅包含十分少量的目标特征信息，因此，缺陷检测模型可以确定为：输入层—标准卷积层—第一自适应特征增强层—第二自适应特征增强层—第三自适应特征增强层—第四自适应特征增强层—第一输出层—第五自适应特征增强层—第六自适应特征增强层—第二输出层。

进一步的，对构建好的缺陷检测模型进行训练。

首先，可以利用图像采集系统采集物品或产品表面缺陷图像并进行预处理，利用图像分割方法对采集的物品或产品表面缺陷图像进行剪切和缩放，将原始图像统一裁剪为尺寸大小512×512的物品或产品表面缺陷图像，从中挑选出有效样本图片作为数据集，再将这些物品或产品表面图像通过图像旋转、翻转、改变对比度、调整亮度的处理方式，实现对数据集的数据扩充；然后通过标注工具Labelimg标注数据集中的预处理后物品或产品表面缺陷图像中的缺陷的位置坐标，得到包含每个缺陷的种类名称及位置坐标信息xml文件，并与物品或产品表面缺陷图像一一对应后作为物品或产品表面图像数据集，其中，物品或产品表面图像数据集包括训练集和测试集，且训练集和测试集的数量比例为2:1。

将训练集输入缺陷检测模型中进行训练，并利用异步梯度下降的训练策略调整缺陷检测模型的参数，得到训练好的缺陷检测模型。

示范性的，缺陷检测模型训练方法包括：

S51：设置输入图像的大小为M'×M'，M'＝512，类别为1，设置学习率θ＝0.001和权重衰减W＝0.0005，设置最大迭代次数tmax＝500200。

S52：随机选取训练集中的N'张原始图像及其缺陷的位置坐标输入缺陷检测模型中，其中N'＝5。

S53：将缺陷检测模型的第四自适应特征增强层以及第六自适应特征增强层提取的特征图分别划分为32×32、16×16的网格，其中，每个网格预测出3个边界框。

S54：通过缺陷检测模型预测每个网格中的边界框的数量，利用logistic分类器预测每个边界框中缺陷目标的置信度值，并给出每个边界框的中心坐标和长宽值。

采用logistic分类器来预测出每个边界框中是缺陷目标的置信度值。在网络迭代过程中，需要使用损失函数Loss计算神经网络的输出和所预期的输出之间的差异值来确定迭代的调整方向。而损失函数Loss能够反映出当前网络的输出和实际结果之间一种量化之后的不一致程度，从而在迭代过程中对网络参数进行调整。缺陷检测模型使用平方和误差计算损失，即损失函数为所有网格预测值和真实值的均方差，包括坐标误差、置信度(IOU)误差和分类误差。

缺陷检测模型的损失函数表示为：

Loss＝L_coord+L_cls+L_iou

其中，L_coord为边界框损失函数，L_cls为logistic分类器损失函数，L_iou为置信度损失函数。

边界框损失函数由中心坐标的误差和边界框宽与高的误差构成，计算公式为：

S表示该特征图共有S个像素点；i＝0,1,...,S表示其中第i个像素点；B表示为每个像素点上预测边界框的数量；j＝0,1,...,B为每个像素点上的第j个边界框；β_ij定义为第i个像素点上的第j个预测框中是否存在缺陷目标，如果存在则取1，否则取0；(x,y)为每个预测框的中心坐标；(ω,h)为真值框的长度和宽度，

表示相对应的预测值。

分类损失的计算公式为：

p_i(c)为目标真实类别得分；

为预测的目标类别得分；

置信度(IOU)的损失函数为：

η,χ表示第i个网格中的第j个边界框中是否存在缺陷目标，若存在则η＝1,χ＝0，若不存在则η＝0,χ＝1，C_i为目标类别的置信度，

为预测框与真实框的重合比例。

S55：通过损失函数计算步骤S54中预测的缺陷目标的置信度值与步骤S52中缺陷的位置坐标之间的差异值。

S56：根据学习率θ、权重衰减w和步骤S55中的差异值调整缺陷检测模型的参数，返回步骤S52，直到遍历完训练集中所有的图像。

S57：迭代次数增加1，循环执行步骤S52至步骤S56，直至达到最大迭代次数tmax时，缺陷检测模型停止训练，保存最后一次迭代的缺陷检测模型的参数，缺陷检测模型训练完成。

实施例4

本实施例，参见图5，示出了一种缺陷检测装置100包括：标准特征图获取模块110、自适应特征增强模块120和缺陷位置检测模块130。

标准特征图获取模块110，用于获取待检测图像的标准特征图；自适应特征增强模块120，用于利用预先训练达标的缺陷检测模型的第i个自适应特征增强层对第i-1特征增强图进行自适应特征增强以获取第i特征增强图，在i＝1时，第0特征增强图为所述标准特征图，1≤i≤N；缺陷位置检测模块130，用于根据第N特征增强图检测所述待检测图像的缺陷位置。

进一步的，缺陷位置检测模块130包括：

融合特征图获取单元，用于利用所述缺陷检测模型的特征融合层对所述第N特征增强图和第M特征增强图进行特征融合以获取融合特征图，M＜N；

缺陷位置预测单元，用于利用所述缺陷检测模型的第一输出层检测所述第N特征增强图中的预测缺陷位置；和/或，利用所述缺陷检测模型的第二输出层检测所述融合特征图中预测缺陷位置；

缺陷位置确定单元，用于根据各个预测缺陷位置的置信度确定所述待检测图像的真实缺陷位置。

进一步的，所述自适应特征增强层包括：因式分解卷积层、多维特征激活层和点卷积层。

进一步的，每一因式分解卷积层用于对当前校准的特征图进行因式分解卷积操作，并将经过所述因式分解卷积操作的特征图分别沿平面方向进行全局平均池化操作和沿通道方向进行最大值池化操作；

所述因式分解卷积操作利用以下公式表示：

V_(h，w)表示第一卷积核V的中心落在所述当前校准的特征图的第h行第w列，X^H×W表示H×W维的当前校准的特征图，D^H×W表示H×W维的当前校准的特征图对应的H×W维的因式分解卷积输出特征图；

所述全局平均池化操作利用以下公式表示：

D_(h，w)表示H×W×1维的因式分解卷积输出特征图的第h行第w列的特征元素，α_c表示因式分解卷积层的第c个通道的H×W×1维的因式分解卷积输出特征图的全局平均池化值；

所述最大值池化操作利用以下公式表示：

α_h,w＝Max(D_(c))，D_(c)表示第c个通道对应的因式分解卷积层所有特征图上在同一位置上的像素点灰度值，α_h,w表示因式分解卷积输出特征图的第h行第w列的特征元素在所有C个通道上的最大值池化值。

进一步的，每一多维特征激活层用于分别对当前全局平均池化值和当前最大值池化值进行一次非线性的全连接操作；

对当前全局平均池化值进行一次非线性的全连接操作根据以下公式表示：

σ表示sigmoid函数，γ为relu激活函数对应的权重，W₁为全连接层对应的权重，β_c表示多维特征激活层的第c个通道的所述当前全局平均池化值α_c对应的激活权重值；

对当前最大值池化值进行一次非线性的全连接操作根据以下公式表示：

τ表示Tanh激活函数，β_h,w表示所述当前最大池化值α_h,w对应的激活权重值。

进一步的，每一点卷积层用于利用对应的激活权重值校准对应的H*W*C维的因式分解卷积输出特征图，并对各个卷积层的通道和空间信息进行校准后的多维特征激活层输出特征图进行点卷积操作；

所述校准对应的H*W*C维的因式分解卷积输出特征图利用以下公式表示：

Q_(h,w,c)＝D_(h,w)·β_c+D_(c)·β_h,w，Q_(h，w，c)表示第c个通道对应的因式分解卷积输出特征图第h行第w列的特征元素校准后对应的校准元素；

对各个通道校准后的因式分解卷积输出特征图进行点卷积操作利用以下公式表示：

表示卷积层的第c个通道对应的子特征增强图，V_c表示第c个通道对应的卷积核，C表示卷积层的通道总数，P表示利用点卷积将各个通道上的特征增强图进行特征融合后的特征增强图。

本实施例公开的缺陷检测装置100通过标准特征图获取模块110、自适应特征增强模块120和缺陷位置检测模块130的配合使用，用于执行上述实施例的缺陷检测方法，上述实施例所涉及的实施方案以及有益效果在本实施例中同样适用，在此不再赘述。

可以理解，本发明实施例涉及一种终端设备，包括存储器和处理器，存储器用于存储计算机程序，计算机程序在处理器上运行时执行本发明实施例的缺陷检测方法或本发明实施例的缺陷检测模型构造方法。

可以理解，本发明实施例涉及一种可读存储介质，其存储有计算机程序，计算机程序在处理器上运行时执行本发明实施例的缺陷检测方法或本发明实施例的缺陷检测模型构造方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种缺陷检测方法，其特征在于，该方法包括：

获取待检测图像的标准特征图；

利用预先训练达标的缺陷检测模型的第i个自适应特征增强层对第i-1特征增强图进行自适应特征增强以获取第i特征增强图，在i＝1时，第0特征增强图为所述标准特征图，1≤i≤N；

根据第N特征增强图检测所述待检测图像的缺陷位置；

所述自适应特征增强层包括因式分解卷积层、多维特征激活层和点卷积层，每一因式分解卷积层用于对当前校准的特征图进行因式分解卷积操作，并将经过所述因式分解卷积操作的特征图分别沿平面方向进行全局平均池化操作和沿通道方向进行最大值池化操作；

所述因式分解卷积操作利用以下公式表示：

V_(h，w)表示卷积核V的中心落在所述当前校准的特征图的第h行第w列，X^H×W表示H×W维的当前校准的特征图，D^H×W表示H×W维的当前校准的特征图对应的H×W维的因式分解卷积输出特征图；

所述全局平均池化操作利用以下公式表示：

D_(h，w)表示H×W×1维的因式分解卷积输出特征图的第h行第w列的特征元素，α_c表示因式分解卷积层的第c个通道的H×W×1维的因式分解卷积输出特征图的全局平均池化值；

所述最大值池化操作利用以下公式表示：

α_h,w＝Max(D_(c))，D_(c)表示第c个通道对应的因式分解卷积层所有特征图上在同一位置上的像素点灰度值，α_h,w表示因式分解卷积输出特征图的第h行第w列的特征元素在所有C个通道上的最大值池化值。

2.根据权利要求1所述的缺陷检测方法，其特征在于，所述根据第N特征增强图检测所述待检测图像的缺陷位置，包括：

利用所述缺陷检测模型的特征融合层对所述第N特征增强图和第M特征增强图进行特征融合以获取融合特征图，M＜N；

利用所述缺陷检测模型的第一输出层检测所述第N特征增强图中的预测缺陷位置；和/或，利用所述缺陷检测模型的第二输出层检测所述融合特征图中预测缺陷位置；

确定各个预测缺陷位置对应的置信度。

3.根据权利要求1所述的缺陷检测方法，其特征在于，每一多维特征激活层用于分别对当前全局平均池化值和当前最大值池化值进行一次非线性的全连接操作，并利用各个非线性的全连接操作的输出结果对特征图进行校准；

对当前全局平均池化值进行一次非线性的全连接操作根据以下公式表示：

σ表示sigmoid函数，γ为relu激活函数对应的权重，W₁为当前全局平均池化值全连接层对应的权重，β_c表示多维特征激活层的第c个通道的所述当前全局平均池化值α_c对应的激活权重值；

对当前最大值池化值进行一次非线性的全连接操作根据以下公式表示：

τ表示Tanh激活函数，W₂为当前最大值池化值全连接层对应的权重，β_h,w表示所述当前最大值池化值α_h,w对应的激活权重值；

所述对特征图进行校准利用以下公式表示：

Q_(h,w,c)＝D_(h,w)·β_c+D_(c)·β_h,w，Q_(h，w，c)表示第c个通道对应的因式分解卷积输出特征图第h行第w列的特征元素校准后对应的校准元素。

4.根据权利要求3所述的缺陷检测方法，其特征在于，每一点卷积层用于对各个通道校准后的因式分解卷积输出特征图进行点卷积操作；

所述点卷积操作利用以下公式表示：

表示卷积层的第c个通道对应的子特征增强图，V_c表示第c个通道对应的卷积核，C表示卷积层的通道总数，P表示利用点卷积将各个通道上的特征增强图进行特征融合后的特征增强图。

5.根据权利要求1所述的缺陷检测方法，其特征在于，所述缺陷检测模型利用以下方法构造：

利用因式分解卷积层、多维特征激活层和点卷积层构建自适应特征增强层；

利用多个自适应特征增强层构建所述缺陷检测模型；

将训练图像输入至所述缺陷检测模型；

利用转置卷积输出各个自适应特征增强层校准后的所述训练图像对应的可视化特征图；

根据各个可视化特征图确定所述缺陷检测模型的自适应特征增强层的层数。

6.一种缺陷检测装置，其特征在于，该装置包括：

标准特征图获取模块，用于获取待检测图像的标准特征图；

自适应特征增强模块，用于利用预先训练达标的缺陷检测模型的第i个自适应特征增强层对第i-1特征增强图进行自适应特征增强以获取第i特征增强图，在i＝1时，第0特征增强图为所述标准特征图，1≤i≤N；

所述自适应特征增强层包括因式分解卷积层、多维特征激活层和点卷积层，每一因式分解卷积层用于对当前校准的特征图进行因式分解卷积操作，并将经过所述因式分解卷积操作的特征图分别沿平面方向进行全局平均池化操作和沿通道方向进行最大值池化操作；

所述因式分解卷积操作利用以下公式表示：

V_(h，w)表示卷积核V的中心落在所述当前校准的特征图的第h行第w列，X^H×W表示H×W维的当前校准的特征图，D^H×W表示H×W维的当前校准的特征图对应的H×W维的因式分解卷积输出特征图；

所述全局平均池化操作利用以下公式表示：

D_(h，w)表示H×W×1维的因式分解卷积输出特征图的第h行第w列的特征元素，α_c表示因式分解卷积层的第c个通道的H×W×1维的因式分解卷积输出特征图的全局平均池化值；

所述最大值池化操作利用以下公式表示：

α_h,w＝Max(D_(c))，D_(c)表示第c个通道对应的因式分解卷积层所有特征图上在同一位置上的像素点灰度值，α_h,w表示因式分解卷积输出特征图的第h行第w列的特征元素在所有C个通道上的最大值池化值；

缺陷位置检测模块，用于根据第N特征增强图检测所述待检测图像的缺陷位置。

7.一种终端设备，其特征在于，包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器上运行时执行权利要求1至5任一项所述的缺陷检测方法。

8.一种可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至5任一项所述的缺陷检测方法。

Images