CN114299000A - 一种基于可微分神经网络架构搜索的缺陷检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于可微分神经网络架构搜索的缺陷检测方法及系统。所述方法，将待检测样本和正常背景样本输入缺陷检测模型中，得到待检测样本的缺陷检测结果；其中，缺陷检测模型包括依次连接的训练好的骨干网络、正常样本参考模块、多尺度融合模块和分割网络；骨干网络是采用可微分神经网络架构进行搜索得到的；正常样本参考模块输出多尺度对比参考图，为缺陷检测过程提供正常样本参考机制；多尺度融合模块基于多尺度信息融合机制得到待检测样本的融合特征图；分割网络基于多尺度对比参考图对待检测样本的融合特征图进行分割，得到待检测样本的缺陷检测结果。本发明能实现对产品缺陷的自动检测，提高检测的准确度和泛化性。

Description

一种基于可微分神经网络架构搜索的缺陷检测方法及系统

技术领域

本发明涉及缺陷检测领域，特别是涉及一种基于可微分神经网络架构搜索的缺陷检测方法及系统。

背景技术

产品的质量和生产的效率是工业制造能力的重要体现。检测产品表面是否出现缺陷是保证产品质量的重要一环。随着机械水平的提高以及控制技术的发展，一件产品从零部件的生成到组装过程中所需要的人力越来越少。然而在产品组装完成后的质检环节往往还是由人工肉眼完成。由于产品表面缺陷的特殊性、复杂性以及专业性，人工检测的速率和准确率低下，长期的肉眼检测工作对质检工人的健康也会造成伤害。上述事实和工业自动化的大趋势以及高精度的检测要求背道而驰。基于机器视觉和计算器视觉的缺陷检测方法逐渐兴起并逐渐发挥作用，对于提高工业自动化水平非常重要。

传统的缺陷检测主要依靠基于手工特征的机器视觉方法来设计缺陷检测系统。学者和专家通过对特定工业产品表面的颜色、纹理以及几何形状规律等进行总结，再设计出适用于特定类别及场景的工业产品表面缺陷检测方法。基于传统机器视觉的检测方法在一定程度上提高了检测自动化水平，并在产品生产线上起到了作用。然而对于某一种工业产品，手动提取特征的方法需要专家和学者对数据进行大量的主观分析，然后按照自我意识决定需要提取的特征并应用到算法里。世界中的产品多种多样，那么手工特征的方法对一种产品就需要专门一次的分析和设计，一种产品进行一次更新换代后也需要一次的分析和设计。虽然在一定程度上代替了人工进行质检，然而却需要学者和专家付出精力进行繁琐的人工设计，自动化水平在很大程度上看并不高。在复杂的工业成像场景下，受光照等一系列因素的影响，这种检测方法的准确率和泛化性也难以取得较好的效果。

发明内容

基于此，本发明实施例提供一种基于可微分神经网络架构搜索的缺陷检测方法及系统，实现对产品缺陷的自动检测，提高检测的准确度和泛化性。

为实现上述目的，本发明提供了如下方案：

一种基于可微分神经网络架构搜索的缺陷检测方法，包括：

获取待检测样本和正常背景样本；

将所述待检测样本和所述正常背景样本输入缺陷检测模型中，得到所述待检测样本的缺陷检测结果；

其中，所述缺陷检测模型包括依次连接的训练好的骨干网络、正常样本参考模块、多尺度融合模块和分割网络；

所述训练好的骨干网络是采用数据集对骨干网络进行训练得到的；所述骨干网络是采用可微分神经网络架构进行搜索得到的；所述训练好的骨干网络用于输出所述待检测样本的多尺度特征图和所述正常背景样本的多尺度特征图；

所述正常样本参考模块用于计算所述待检测样本的多尺度特征图中的每一个像素点与最优匹配点之间的距离，并输出由所有像素点对应的距离构成的多尺度对比参考图；所述最优匹配点为所述正常背景样本的多尺度特征图中与所述待检测样本的多尺度特征图中的像素点对应的像素点；

所述多尺度融合模块用于将所述待检测样本的多尺度特征图进行融合，得到所述待检测样本的融合特征图；

所述分割网络用于基于所述多尺度对比参考图对所述待检测样本的融合特征图进行分割，并将分割结果确定为所述待检测样本的缺陷检测结果。

可选的，所述训练好的骨干网络的确定方法为：

确定骨干网络；所述骨干网络包括多通道神经网络结构搜索空间和节点间搜索空间；

在所述骨干网络的输出连接多尺度融合分割头；所述多尺度融合分割头是采用上采样串联特征图对应像素相加法确定的；

将所述数据集输入所述骨干网络，所述多尺度融合分割头对所述骨干网络输出的所述数据集的多尺度特征图进行融合，并对所述数据集的融合特征图进行分割，得到分割预测结果；所述数据集包括训练集和验证集；

基于所述分割预测结果，采用梯度下降法对所述骨干网络中的参数进行训练，得到骨干训练网络；

采用最大保留法和固定末尾节点的最优路径保留法对所述骨干训练网络进行离散化，得到离散化网络，并将所述散化网络确定为训练好的骨干网络。

可选的，所述多通道神经网络结构搜索空间包括M条串连通道；每条所述串联通道均包括多个串联而成的通道单元，每个所述通道单元由多个节点依次连接而成，每个所述通道单元的末尾节点以跳跃的方式融合该通道单元除末尾节点之外的节点；从第一条串连通道到第M条串连通道，每条串连通道中的节点依次减少一个；所述第一条串连通道用于输入图像；相邻所述串连通道之间以上采样和下采样的方式连接；每条所述串连通道输出的特征图的尺度不同。

可选的，所述节点间搜索空间包括两个节点之间的不变尺度连接、下采样连接以及上采样连接；所述不变尺度连接为两个节点之间通过候选变化操作连接；所述下采样连接为两个节点之间依次通过候选变化操作、分辨率变化操作和尺度变换操作连接；所述上采样连接与所述下采样连接相同；所述候选变化操作包括跳跃直连、第一卷积、空洞卷积、可变形卷积和可分离卷积；所述分辨率变化操作为双边线性插值；所述尺度变换操作为第二卷积。

可选的，所述正常样本参考模块采用的机制为基于语义嵌入向量的正常样本参考机制。

可选的，所述多尺度融合模块包括多个尺度融合单元和元素相加单元；

每个所述融合单元用于融合所述待检测样本的多尺度特征图中的两个不同尺度的特征图，得到融合子图；每个所述融合单元对应的两个不同尺度的特征图的尺度差的倍数相同；

所述元素相加单元用于将所有的融合单元输出的融合子图相加，得到所述待检测样本的融合特征图。

可选的，所述多通道神经网络结构搜索空间包括四条串连通道；

其中，第二条串连通道和第三条串联通道中的节点输入为：

X_i，j＝β_down×f_down(X_i-1，j-1)+β_keep×f_keep(X_i，j-1)+β_up×f_up(X_i+1，j-1)；

其中，i表示串连通道的序号，i＝2或3；j表示节点序号；X_i，j表示第i个串连通道中第j个节点的输入；X_i，j-1表示第i个串连通道中第j-1个节点的输入；X_i-1，h-1表示第i-1个串连通道中第j-1个节点的输入；X_i+1，j-1表示第i+1个串连通道中第j-1个节点的输入；f_keep(X_i，j-1)表示对X_i，j-1的不变尺度连接的变换；f_up(X_i+1，j-1)表示对X_i+1，j-1的上采样连接的变换；f_dowm(X_i-1，j-1)表示对X_i-1，j-1的下采样连接的变换；β_keep表示对不变尺度连接的参数求Softmax得到的值；β_down表示对下采样连接的参数求Softmax得到的值；β_up表示对上采样连接的参数求Softmax得到的值。

可选的，所述候选变化操作的输出为：

y_m＝∑_o∈Oβ_o×f_o(x_m)；

其中，x_m表示节点间搜索空间中的一个节点；y_m表示x_m经过候选变化操作后的输出；O表示候选变化操作集合，O＝{skip，conv，diated，deform，sep}，f_skip表示跳跃直连；f_conv表示第一卷积；f_diated表示空洞卷积；f_deform表示可变形卷积；f_sep表示可分离卷积；β_skip表示对跳跃直连的参数求Softmax得到的值；β_conv表示对第一卷积的参数求Softmax得到的值；β_diated表示对空洞卷积的参数求Softmax得到的值；β_deform表示对可变形卷积的参数求Softmax得到的值；β_sep表示对可分离卷积的参数求Softmax得到的值。

可选的，所述距离的计算公式为：

其中，p表示待检测样本的多尺度特征图中的像素点；q表示正常背景样本的多尺度特征图中与p对应的像素点；dis(p，q)表示p与q之间的距离；e_p表示p对应的语义嵌入向量；e_q表示q对应的语义嵌入向量。

本发明还提供了一种基于可微分神经网络架构搜索的缺陷检测系统，包括：

样本获取模块，用于获取待检测样本和正常背景样本；

缺陷检测模块，用于将所述待检测样本和所述正常背景样本输入缺陷检测模型中，得到所述待检测样本的缺陷检测结果；

其中，所述缺陷检测模块中的所述缺陷检测模型包括依次连接的训练好的骨干网络、正常样本参考模块、多尺度融合模块和分割网络；

所述训练好的骨干网络是采用数据集对骨干网络进行训练得到的；所述骨干网络是采用可微分神经网络架构进行搜索得到的；所述训练好的骨干网络用于输出所述待检测样本的多尺度特征图和所述正常背景样本的多尺度特征图；

所述正常样本参考模块用于计算所述待检测样本的多尺度特征图中的每一个像素点与最优匹配点之间的距离，并输出由所有像素点对应的距离构成的多尺度对比参考图；所述最优匹配点为所述正常背景样本的多尺度特征图中与所述待检测样本的多尺度特征图中的像素点对应的像素点；

所述多尺度融合模块用于将所述待检测样本的多尺度特征图进行融合，得到所述待检测样本的融合特征图；

所述分割网络用于基于所述多尺度对比参考图对所述待检测样本的融合特征图进行分割，并将分割结果确定为所述待检测样本的缺陷检测结果。

与现有技术相比，本发明的有益效果是：

本发明实施例提出了一种基于可微分神经网络架构搜索的缺陷检测方法及系统，采用缺陷检测模型实现对待检测样本的缺陷检测，缺陷检测模型包括依次连接的训练好的骨干网络、正常样本参考模块、多尺度融合模块和分割网络。其中，骨干网络是采用可微分神经网络架构进行搜索得到的，而采用可微分神经网络架构搜索出的网络，能避免了人为的过多干预，减少人们主观因素的影响，实现很好的泛化性；同时自动搜索出的神经网络能够更好的表现数据的特点，从而挖掘出更多显著性信息，突破人工设计网络的瓶颈，在差异大的数据集中依然表现稳定。正常样本参考模块输出多尺度对比参考图，为缺陷检测过程提供正常样本参考机制，该机制对于产品图像是否对齐并不敏感，并且具备对样本缺陷类别分类的能力，能提升自动化水平；多尺度融合模块基于多尺度信息融合机制得到待检测样本的融合特征图，在多尺度信息融合机制的加持下以及神经网络架构搜索的得到的骨干网络作用下，能实现高精度的检测。因此，本发明实现了对产品缺陷的自动检测，提高了检测的准确度和泛化性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于可微分神经网络架构搜索的缺陷检测方法的流程图；

图2为本发明实施例提供的缺陷检测模型的框架图；

图3为本发明实施例提供的多通道神经网络结构搜索空间的结构图；

图4为本发明实施例提供的节点间搜索空间的结构图；

图5为本发明实施例提供的多尺度融合分割头的结构示意图；

图6为本发明实施例提供的训练好的骨干网络的确定方法的流程图；

图7为本发明实施例提供的查询机制的示意图；

图8为本发明实施例提供的多尺度融合模块的结构图；

图9为本发明实施例提供的分割网络的结构图；

图10为本发明实施例提供的训练流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

1、可微分神经网络架构搜索

基于深度卷积神经网络的缺陷检测算法在更大程度上替代人工完成自动化质检，但面对复杂各异的缺陷检测场景，依然需要学者进行相关的调整，无法进一度提高自动化水平。而神经网络架构搜索尤其是可微分神经网络架构搜索技术的出现极大程度上解决了上述的问题。神经网络架构搜索技术的核心是根据数据样本分布特点在离散的搜索空间中搜索出适合特定场景和数据集的网络结构，从而在避免人为过多参与网络结构设计的情况下得到候选的网络，并实现具有竞争力的性能。而可微分的神经网络架构搜索方法将原本离散的搜索空间弱化为连续空间结构并构成一种有向无环图，在每次优化完模型权重后直接评估中间模型的性能，对搜索权重进行梯度下降，使得搜索过程使用的资源大幅度减少，为基于神经网络架构搜索的产品表面缺陷检测算法实现提供了可能，进一步地提高了检测自动化水平。因此，使用可微分的神经网络架构搜索技术来设计产品表面的缺陷检测方法是具有现实意义的。

2、正常样本参考机制以及对正常样本参考的应用。

随着机械加工工艺的提高，日益完善的生产线所产生的缺陷样本数据量非常少，而正常样本的数量则是不计其数。数据驱动的深度卷积神经网络算法只使用缺陷样本进行训练便造成了正常样本数据的浪费。从缺陷的定义着眼，缺陷的语义相比于通用场景中的语义如“动物”，“建筑”等也有着差别，缺陷更偏向是一个相对语义即非正常样本即为缺陷样本，在数据中表现为形状、颜色以及面积等区别。一个现实是：有经验的质检工人在判断产品表面上某个部位是否出现了缺陷，也经常会对比着无缺陷的产品来衡量，这给产品表面的缺陷检测算法也带了启发：在卷积神经网络训练结束后，通过输入正常样本得到特征分布作为对照量，在对待检测图像进行缺陷分割时，以该特征作为基准，分析两者之间的差别来提升对缺陷部位的判别力。在理论上将，卷积神经网络训练过程可以认为是算法对于样本缺陷特点的总结，而对照则可以认为是一种测量。同时一个重要的事实是生产线上用于样本影像拍摄的摄像头通常是以某个特定角度固定在特定的位置，而产品的姿态引起部位的不同以及摆放位置的不同通常会有某种程度上的区别，即产品成像不会完全对齐，但不会变化过大。基于以上事实的分析，在缺陷检测场景中使用正常样本作为对比有着必要性和可实现性。

在过去的研究中，对于正常样本的使用主要有两种方式。第一种是通过自编码器或者GAN建立一种重构网络。自编码器重构网络会将输入的待检测图像压缩到低维空间中提取到代表性的信息，然后通过解码器进行重塑。GAN则同样使用相同的原理，只不过图像的重构是通过生成器产生。在训练的过程中只使用正常样本而完全忽略掉带缺陷的样本，重构器认识到正常样本的特点。在实际检测的过程中，使用网络输出与输入的差值来判别缺陷的存在与否。而第二种方法则是使用孪生网络，在训练和测试的过程中通过构建缺陷样本和正常样本对，以网络输出的缺陷样本热度图与正常样本热度图差来表征缺陷样本的位置。

基于重构网络的算法只能在背景纹理比较均匀的场景中才能奏效，并且由于没有对缺陷数据的学习也无法对缺陷类别做出判断。而基于孪生网络对比热度的方法由于是直接做热度图的像素相减，因此必须要求产品影像是完全对齐的，这和大部分缺陷检测场景并不符。

基于以上的分析，在缺陷检测场景中利用正常样本作为参考，并设计一种较为通用的对比方法以及使用合理的使用对比显著性结果校正网络的分割结果，是学术界和工业界迫切需要的，对提高工业自动化水平有着重要的现实意义。

3、多尺度信息融合机制

在卷积神经网络中，输入的图像经过更多的卷积变换会得到更具有辨识度的语义信息，提高对于确定图像某个区域是否为缺陷的判别度。然而在连续卷积和下采样的变换下，特征图所包含的纹理细节信息则越来越少，对于确定目标区域的边界造成了影响。在搜索空间得到的网络结构中，大尺度的特征往往经经历更少的卷积编码因而具有更充分的细节信息，而小尺度的特征则是经过了池化以及更多的卷积而具有丰富的语义信息。因此对于多尺度信息的融合机制一直是卷积神经网络领域中重要的研究点之一。

在缺陷检测场景下尤为重要。缺陷部位偏向于颜色、纹理以及形状等低层次特征不同于正常部位，这和通用场景下更注重高层次特征不同。因此，一个合适的多尺度融合机制能够帮助算法提高准确度，存在要求的必要。

基于上述三点，本实施例提供了一种基于可微分神经网络架构搜索的缺陷检测方法，如图1所示，该方法融合了正常样本参考机制和多尺度信息融合机制。所述方法：包括：

步骤101：获取待检测样本和正常背景样本。所述正常背景样本即无缺陷的样本。

步骤102：将所述待检测样本和所述正常背景样本输入缺陷检测模型中，得到所述待检测样本的缺陷检测结果；所述缺陷检测模型包括依次连接的训练好的骨干网络1、正常样本参考模块2、多尺度融合模块3和分割网络4。缺陷检测模型的框架如图2所示。其中，缺陷检测结果即表面缺陷部位的像素级分割结果。

1)训练好的骨干网络

所述训练好的骨干网络是采用数据集对骨干网络进行训练得到的；所述骨干网络是采用可微分神经网络架构搜索得到的；所述训练好的骨干网络用于输出所述待检测样本的多尺度特征图和所述正常背景样本的多尺度特征图。

所述训练好的骨干网络的确定方法为：

①确定骨干网络。使用可微分神经网络架构搜索技术针对于数据集的特点确定出合适的网络架构作为整体方法的骨干网络。骨干网络的搜索空间包括多通道神经网络结构搜索空间和节点间搜索空间。该步骤中包括一系列的关于可微分神经网络搜索的子步骤，具体为：

步骤1.1多通道神经网络结构搜索空间的设置

本实施例采用了一种多通道并行以及通道密集连接的网络搜索空间。所述多通道神经网络结构搜索空间包括M条串连通道；每条所述串联通道均包括多个串联而成的通道单元，每个所述通道单元由多个节点依次连接而成，每个所述通道单元的末尾节点以跳跃的方式融合该通道单元除末尾节点之外的节点；从第一条串连通道到第M条串连通道，每条串连通道中的节点依次减少一个；所述第一条串连通道输入图像；相邻所述串连通道之间以上采样和下采样的方式连接；每条所述串连通道输出的特征图的尺度不同。

下面以四条串联通道为例，进行详细说明。该四通道神经网络结构搜索空间中对图像下采样的倍率设置了四种尺度，假设输入图像在卷积下采样后的分辨率为S，则搜索空间的四种尺度的分辨率分别为的S、S/2、S/4和S/8。设分辨率为S的第一条串联通道包含了L个节点，往下每条串联通道依次减少一个节点，这样是为了保证从输入到一列各个尺度节点的操作数一致，相邻串联通道之间以上采样和下采样连接进行密集的交互，如图3所示。

对于弱化的连续空间分析，假设搜索空间中的第i个串连通道中第j个节点的输入表示为X_i，j(即以分辨率为S/2的第二条串连通道和分辨率为S/4的第二条串连通道的非合并节点为例，其他串连通道的输入连接数为2),输入有不变尺度输入X_i，j-1,下采样输入X_i-1，j-1以及上采样输入X_i+1，j-1,假设三种连接的变换为f_keep，f_up,f_dowm。三种连接的架构参数分别设置为α_i，keep,α_i，up以及α_i，down,则第i个串连通道中第j个节点的输入表示为：

X_i，j＝β_down×f_down(X_i-1，h-1)+β_keep×f_keep(X_i，j-1)+β_up×f_up(X_i+1，j-1)；

其中，i表示串连通道的序号，i＝2或3；j表示节点序号；X_i，j-1表示第i个串连通道中第j-1个节点的输入，即X_i，j的不变尺度输入；X_i-1，j-1表示第i-1个串连通道中第j-1个节点的输入，即X_i，j的下采样输入；X_i+1，j-1表示第i+1个串连通道中第j-1个节点的输入，即X_i，j的上采样输入；f_keep(X_i，j-1)表示对X_i，j-1的不变尺度连接的变换；f_up(X_i+1，j-1)表示对X_i+1，j-1的上采样连接的变换；f_dowm(X_i-1，j-1)表示对X_i-1，j-1的下采样连接的变换；β_keep表示对不变尺度连接的参数α_i，keep求Softmax得到的值；β_down表示对下采样连接的参数α_i，down求Softmax得到的值；β_up表示对上采样连接的参数α_i，up求Softmax得到的值。

以β_keep为例，计算公式如下：

α作为架构参数在搜索过程中与模型权重参数进行交替优化，同一个节点三条输入之间存在竞争关系，在网络搜索结束后会使用相关的方法保留显著性高的连接。

步骤1.2节点间搜索空间的设置

本实施例的多通道搜索空间中节点和节点之间的边表示为候选连接操作，而边根据连接节点的不同分为不变尺度连接、下采样连接以及上采样连接。对于节点和节点之间的搜索空间，本实施例采用的节点间搜索空间如图4所示。

所述节点间搜索空间包括两个节点之间的不变尺度连接、下采样连接以及上采样连接。不变尺度连接负责对于特征图的处理和变化，主要的候选变化操作如卷积、池化或者跳跃连接。而下采样连接和上采样连接除了使用不变尺度连接里的操作外还需要额外的模块来实现分辨率的改变，主要考虑的候选操作有池化、线性插值和转置卷积等。本实施例所设计的搜索空间最终是为了服务于产品表面的缺陷检测，因此结合了缺陷检测场景中的技术难点以及部署到工业场景中的要求。

参见图4，所述不变尺度连接为两个节点之间通过候选变化操作连接。所述下采样连接为两个节点之间依次通过候选变化操作、分辨率变化操作和尺度变换操作连接。所述上采样连接与所述下采样连接相同。所述候选变化操作包括跳跃直连、第一卷积、空洞卷积、可变形卷积和可分离卷积，其中第一卷积可以为3x3卷积，空洞卷积可以为倍率为2的空洞卷积，可变形卷积可以为3x3的可变形卷积，可分离卷积可以为叠加的3x3深度可分离卷积。对于上下采样连接则在核心设计的输出后填加分辨率变化操作，如双边线性插值来完成分辨率的变化以及采用第二卷积，如1x1的卷积完成通道尺度的变换。

所述候选变化操作的输出可表示：

y_m＝∑_o∈Oβ_o×f_o(x_m)；

其中，x_m表示节点间搜索空间中的一个节点；y_m表示x_m经过候选变化操作后的输出；O表示候选变化操作集合，O＝{skip，conv，diated，deform，sep}，f_skip表示跳跃直连；f_conv表示第一卷积；f_diated表示空洞卷积；f_deform表示可变形卷积；f_sep表示可分离卷积；β_skip表示对跳跃直连的参数α_skip求Softmax得到的值；β_conv表示对第一卷积的参数α_conv求Softmax得到的值；β_diated表示对空洞卷积的参数α_diated求Softmax得到的值；β_deform表示对可变形卷积的参数α_deform求Softmax得到的值；β_sep表示对可分离卷积的参数α_sep求Softmax得到的值。以β_skip为例，其计算公式如下：

图4中的β表示的直连连接，以避免“直连富集”现象，β的值为一个超参数，随着网络训练的进行线性衰减为0。

②设计搜索用分割头，在所述骨干网络的输出连接多尺度融合分割头；所述多尺度融合分割头是采用上采样串联特征图对应像素相加法确定的。具体如步骤1.3所示：

步骤1.3多尺度融合分割头的设计

搜索出对数据集适应性强的网络结构作为骨干网络后，接上正常样本参考模块以及多尺度融合模块以及分割网络形成最终网络结构。如果直接在最终网络结构上进行骨干网络结构的搜索，会因为整体任务的复杂性而出现过拟合的情况。因此，对于网络结构进行搜索时，对多尺度的输出连接一个简单的多尺度融合分割头并完成网络的训练、搜索以及解码工作。

多尺度融合分割头的设计采用了简单的上采样串联特征图对应像素相加的做法，如图5所示。多尺度搜索空间输出了四种尺度的特征结果，分别表示为x_s，x_s/2，x_s/4，x_s/8。融合分割头使用x_s/8经转置卷积得到上采样两倍的特征图，并于x_s/4求和得到y_s/4。同样的方式，可以得到y_s/2和y_s。经过卷积得到预测结果pre_s，pre_s/2，pre_s/4,标注真值进行多尺度的变换后进行多尺度的监督训练。

③可微分神经网络架构搜索。将所述数据集输入所述骨干网络，所述多尺度融合分割头对所述骨干网络输出的所述数据集的多尺度特征图进行融合，并对所述数据集的融合特征图进行分割，得到分割预测结果；基于所述分割预测结果，采用梯度下降法对所述骨干网络中的参数进行训练，得到骨干训练网络。所述数据集包括训练集和验证集。具体如步骤1.4所示：

步骤1.4可微分神经网络架构搜索

该步骤采用搜索方法进行梯度下降。假设网络搜索空间中的架构参数为α，模型中的权重为w，则搜素过程的优化目标为：

min_αL_val(w^*(α)，α)

s.t.w^*(α)＝argmin_wL_train(w，α)

其中，L_val为网络在验证集上的损失，L_train为网络在训练集上的损失。上式可表示为经典的双层优化问题，其中α为上层变量，w为下层变量。对架构参数α的优化可使用梯度下降进行，然而梯度的准确计算则需要对权重参数优化到最佳，这个过程所消耗的计算量非常大。因此可微分神经网络架构搜索技术做出了这样的近似：

即以一步的优化代替全局的优化。因此搜索过程可简单总结如下：

a.将数据集划分为训练集和验证集。

b.使用验证集损失对架构参数进行梯度下降，更新架构参数。

c.使用训练集损失对模型权重参数进行梯度下降，更新模型参数。

④网络空间解码方法。采用最大保留法对所述骨干训练网络进行离散化，得到离散化网络，并将所述散化网络确定为训练好的骨干网络。具体如步骤1.5所示：

步骤1.5网络空间解码方法

在模型搜索结束后，需要根据架构权重参数离散化出网络结构，也称为连续空间的解码。在节点间的局部搜索空间内，候选操作需要根据架构参数值进行选择，本实施例采用了最简单的方法——最大保留法。

在本实施例所提出的产品表面缺陷检测方法中，一个前提是网络结构搜索是为了给缺陷检测的分割头提供适应性的骨架网络，而分割头需要骨架网络输出的多种尺度的特征。因此需要保留所有的终止节点，搜索出从起始节点开始到每一个终止节点的最优路径作为最终的离散化网络，网络结构中会保留四条路径，为了能够进一步保留更多的轮径，本实施例将到每个终止节点的路径保留数设置为k，可进行选择。

对于路径保留的算法，本实施例采用了基于动态规划的路径保留法则，称为固定末尾节点的最优路径保留法。

假设搜索空间分辨率为S的串联通道的节点数为L,则分辨率为S/2，S/4，S/8的串联通道的节点数分别为L-1，L-2和L-3,设置

为从起始节点到终止节点分辨率为S_x的第i个节点的最优距离，其中i是相对于起始节点计算的，

表示从分辨率为S₁的第i个节点到分辨率为S₂的第1个节点的连接架构权重，本实施例得到的一般性的转移方程如下：

dp_i，s＝max(dp_i-1，s+β_i-1，s，s，dp_i-1，s/2+β_{i-1，s/2，s})

对于步骤1)的整体流程如下图6所示。

2)正常样本参考模块

所述正常样本参考模块用于计算所述待检测样本的多尺度特征图中的每一个像素点与最优匹配点之间的距离，并输出由所有像素点对应的距离构成的多尺度对比参考图；所述最优匹配点为所述正常背景样本的多尺度特征图中与所述待检测样本的多尺度特征图中的像素点对应的像素点。

本实施例中所述正常样本参考模块采用的机制为基于语义嵌入向量(semanticembedding)的正常样本参考机制。对待检测样本的多尺度特征图上的每一个像素，都在正常背景样本的多尺度特征图中寻找最优匹配点，并根据与最优匹配点之间的距离作为该像素点的对比结果。整张图的对比结果作为图像分割网络的输入之一。由于是全局的匹配，因此不需要考虑产品影像对齐的问题。同时网络使用缺陷样本图像作为训练集，对于图像的缺陷类别依然可以进行判断。

语义嵌入向量以及嵌入空间是在度量学习领域中重要的概念。在该领域中认为相同物体的语义嵌入向量间的距离接近而不同物体间的语义嵌入向量之间的距离远离，度量学习常常使用不同物体图像对或者正负样本图像进行语义嵌入向量的距离损来训练相关的神经网络。

本实施例步骤1)的训练好的骨干网络输出的特征图F_H，W，C认为是一个嵌入空间，其中H、W和C分别是特征图的高度、宽度以及通道数。对特征图在第一和第二维度上进行切片，形成H*W个维度为C的特征向量，这些特征向量便可以表示为语义嵌入向量。

假设在特征图中F_G，W，C中的两个像素点p和q，p表示待检测样本的多尺度特征图中的像素点；q表示正常背景样本的多尺度特征图中与p对应的像素点；则p与q之间的距离的计算公式为：

其中，dis(p，q)表示p与q之间的距离；e_p表示p对应的语义嵌入向量；e_q表示q对应的语义嵌入向量。

dis的范围为0到1之间。当两个像素完全相同时：

而当两个像素完全不相似时:

假设待检测样本的多尺度特征图为P，输入的正常背景样本的多尺度特征图为Q，设正样本参考结果为D^W*H，查询机制如图7所示，计算公式如下：

其中min^*表示的所有距离中最小top5％-top10％的平均值，这样的做法是为了避免噪声的影响。

3)多尺度融合模块

与通用场景下的检测不同，产品表面的缺陷区域和正常区域的视觉差异主要表现在纹理和颜色等低阶特征上，而本实施例设计的多尺度融合模块，主要以高阶特征信息引导低阶特征信息，并在多种尺度特征中进行逐步融合。所述多尺度融合模块用于将所述待检测样本的多尺度特征图进行融合，得到所述待检测样本的融合特征图。所述多尺度融合模块包括多个尺度融合单元和元素相加单元。每个所述融合单元用于融合所述待检测样本的多尺度特征图中的两个不同尺度的特征图，得到融合子图；每个所述融合单元对应的两个不同尺度的特征图的尺度差的倍数相同。所述元素相加单元用于将所有的融合单元输出的融合子图相加，得到所述待检测样本的融合特征图。具体的：

以对四条串联通道输出的四种不同尺度的特征图进行融合为例，多尺度融合模块的具体结构如图8所示。

整体上看，本实施例将四种尺度的特征图分为了两组：分辨率为s和s/4的特征图为一组，而分辨率为s/2和s/8的特征图分为另外一组。随着尺度的减少，特征中所包含的细节信息越低而语义信息越高。尺度变化的越大而差异也越大，因此本实施例选择了尺度差4倍的特征图先进行第一步的融合。以尺度s和尺度为s/4的一组举例：尺度s的特征图先经过深度卷积来进行单张特征图的信息加工，随后经过批量标准化(Batch Normalization，BN)进行数据的标准化和再映射，最后通过1x1的卷积即对不同特征图上同一个像素点的各个元素进行变换，输出特征图F_detail。而对于尺度s/4的特征图，先使用转置卷积使其上采样一倍，即变为尺度s/2，随后使用深度转空间模块D2S进行信息的重组，变为尺度为s的特征图F_semantic。计划使用F_semantic对F_detail通过下列的式子进行语义的填充：

F_full，s＝F_detial×sigmoid(F_semantic)；

同样，对于分辨率为s/2和s/8用同样的策略生成F_full，s/2。之后对F_full，s进行通道的缩减转化尺寸为HxWxC/2，对于尺度原本为H/2xW/2x2C的F_full，s/2，再一次使用深度转空间模块D2S转化为HxWxC/2的特征图，对两者的特征图进行了对应像素相加得到最后的特征融合结果，即融合特征图。

4)分割网络

所述分割网络用于基于所述多尺度对比参考图对所述待检测样本的融合特征图进行分割，并将分割结果确定为所述待检测样本的缺陷检测结果。具体的：

本实施例在网络训练的过程中没有给正常样本对比结果添加直接的距离监督信息。而是将与正常样本的对比结果输入到分割头中，以分割的损失进行间接的监督。因此，在本实施例中正样本对比结果不是作为直接的分割结果来使用的，而是作为类似于注意力机制的存在。分割网络如图9所示，图9中将融合特征图(融合后特征图)和尺度对比参考图(正常样本参考结果)输入依次连接的三个卷积层，经串联卷积后再采用softmax函数进行阈值处理，得到分割结果。

在步骤1)进行完毕后，会搜素出第一阶段的一个骨干网络。步骤2)-4)则是构建了第二个阶段的功能组件，接下来会展示整个方法的一个整体训练流程。

超网也就是弱化的连续搜索空间。卷积神经网络模型的权重参数通常使用随机初始化的方法赋值，在训练前期网络的性能较差，各个候选连接所带来的效果不能直接反映该连接的作用。而可微分的神经网络架构搜索方法将一步调优后的模型权重值代替最优的模型权重，然而当模型权重非常差的时候，一步调优之后整体结果还是较差。因此在网络搜索前期，会冻结架构参数，对模型权重参数进行大约20代的训练，这个阶段称为超网训练。

训练的第二个阶段便是对神经网络架构的搜索。训练数据集会被分成两部分，分别用于模型权重的优化和架构权重的优化，两者的梯度下降交替进行，直到网络的收敛。第三个阶段为网络的解码阶段，通过步骤1.5提出的解码方法对已经搜索后的连续空间进行离散化，得到结果网络。

预训练模型可以加快神经网络的收敛速度以及提高泛化性，对于网络的训练有很大的帮助。在训练的第四个阶段我们替换掉简易分割头中的类别数，使用PASCAL VOC数据集进行模型的预训练，并将收敛后的骨干神经网络模型权重保存下来，完成模型的预训练。

在网络训练的第五个阶段，组合了搜索出的神经网络结构、正常样本参考机制、多尺度融合模块以及分割网络构成最终的模型，使用第四个阶段保存下来的预训练模型初始化骨干网络模型权重，并在缺陷数据集上进行梯度优化。

训练流程如图10所示。

上述实施例的基于可微分神经网络架构搜索的缺陷检测方法，具有如下优点：

1、稳定性好。由于采用了可微分神经网络架构搜索根据数据集特点搜索出合适的网络结构，因此避免了人为的过多干预，能够减少人们主观因素的影响，实现很好的泛化性。同时自动搜索出的神经网络能够更好的表现数据的特点，从而挖掘出更多显著性信息，突破人工设计网络的瓶颈，在差异大的数据集中依然表现稳定。

2、通用性强。所使用的正常样本对比机制考虑了全局的语义嵌入向量，因而对于产品图像是否对齐并不敏感，并且具备对样本缺陷类别分类的能力。

3、精度高。在多尺度信息融合机制的加持下以及神经网络架构搜索的得到的骨干网络作用下，通过一套完整的训练流程，使得算法能够实现高精度。

本发明还提供了一种基于可微分神经网络架构搜索的缺陷检测系统，包括：

样本获取模块，用于获取待检测样本和正常背景样本。

缺陷检测模块，用于将所述待检测样本和所述正常背景样本输入缺陷检测模型中，得到所述待检测样本的缺陷检测结果。

其中，所述缺陷检测模块中的所述缺陷检测模型包括依次连接的训练好的骨干网络、正常样本参考模块、多尺度融合模块和分割网络。

所述训练好的骨干网络是采用数据集对骨干网络进行训练得到的；所述骨干网络是采用可微分神经网络架构进行搜索得到的；所述训练好的骨干网络用于输出所述待检测样本的多尺度特征图和所述正常背景样本的多尺度特征图。

所述正常样本参考模块用于计算所述待检测样本的多尺度特征图中的每一个像素点与最优匹配点之间的距离，并输出由所有像素点对应的距离构成的多尺度对比参考图；所述最优匹配点为所述正常背景样本的多尺度特征图中与所述待检测样本的多尺度特征图中的像素点对应的像素点。

所述多尺度融合模块用于将所述待检测样本的多尺度特征图进行融合，得到所述待检测样本的融合特征图。

所述分割网络用于基于所述多尺度对比参考图对所述待检测样本的融合特征图进行分割，并将分割结果确定为所述待检测样本的缺陷检测结果。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于可微分神经网络架构搜索的缺陷检测方法，其特征在于，包括：

获取待检测样本和正常背景样本；

将所述待检测样本和所述正常背景样本输入缺陷检测模型中，得到所述待检测样本的缺陷检测结果；

其中，所述缺陷检测模型包括依次连接的训练好的骨干网络、正常样本参考模块、多尺度融合模块和分割网络；

所述训练好的骨干网络是采用数据集对骨干网络进行训练得到的；所述骨干网络是采用可微分神经网络架构进行搜索得到的；所述训练好的骨干网络用于输出所述待检测样本的多尺度特征图和所述正常背景样本的多尺度特征图；

所述正常样本参考模块用于计算所述待检测样本的多尺度特征图中的每一个像素点与最优匹配点之间的距离，并输出由所有像素点对应的距离构成的多尺度对比参考图；所述最优匹配点为所述正常背景样本的多尺度特征图中与所述待检测样本的多尺度特征图中的像素点对应的像素点；

所述多尺度融合模块用于将所述待检测样本的多尺度特征图进行融合，得到所述待检测样本的融合特征图；

所述分割网络用于基于所述多尺度对比参考图对所述待检测样本的融合特征图进行分割，并将分割结果确定为所述待检测样本的缺陷检测结果。

2.根据权利要求1所述的一种基于可微分神经网络架构搜索的缺陷检测方法，其特征在于，所述训练好的骨干网络的确定方法为：

确定骨干网络；所述骨干网络包括多通道神经网络结构搜索空间和节点间搜索空间；

在所述骨干网络的输出连接多尺度融合分割头；所述多尺度融合分割头是采用上采样串联特征图对应像素相加法确定的；

将所述数据集输入所述骨干网络，所述多尺度融合分割头对所述骨干网络输出的所述数据集的多尺度特征图进行融合，并对所述数据集的融合特征图进行分割，得到分割预测结果；所述数据集包括训练集和验证集；

基于所述分割预测结果，采用梯度下降法对所述骨干网络中的参数进行训练，得到骨干训练网络；

采用最大保留法和固定末尾节点的最优路径保留法对所述骨干训练网络进行离散化，得到离散化网络，并将所述散化网络确定为训练好的骨干网络。

3.根据权利要求2所述的一种基于可微分神经网络架构搜索的缺陷检测方法，其特征在于，所述多通道神经网络结构搜索空间包括M条串连通道；每条所述串联通道均包括多个串联而成的通道单元，每个所述通道单元由多个节点依次连接而成，每个所述通道单元的末尾节点以跳跃的方式融合该通道单元除末尾节点之外的节点；从第一条串连通道到第M条串连通道，每条串连通道中的节点依次减少一个；所述第一条串连通道用于输入图像；相邻所述串连通道之间以上采样和下采样的方式连接；每条所述串连通道输出的特征图的尺度不同。

4.根据权利要求2所述的一种基于可微分神经网络架构搜索的缺陷检测方法，其特征在于，所述节点间搜索空间包括两个节点之间的不变尺度连接、下采样连接以及上采样连接；所述不变尺度连接为两个节点之间通过候选变化操作连接；所述下采样连接为两个节点之间依次通过候选变化操作、分辨率变化操作和尺度变换操作连接；所述上采样连接与所述下采样连接相同；所述候选变化操作包括跳跃直连、第一卷积、空洞卷积、可变形卷积和可分离卷积；所述分辨率变化操作为双边线性插值；所述尺度变换操作为第二卷积。

5.根据权利要求1所述的一种基于可微分神经网络架构搜索的缺陷检测方法，其特征在于，所述正常样本参考模块采用的机制为基于语义嵌入向量的正常样本参考机制。

6.根据权利要求1所述的一种基于可微分神经网络架构搜索的缺陷检测方法，所述多尺度融合模块包括多个尺度融合单元和元素相加单元；

每个所述融合单元用于融合所述待检测样本的多尺度特征图中的两个不同尺度的特征图，得到融合子图；每个所述融合单元对应的两个不同尺度的特征图的尺度差的倍数相同；

所述元素相加单元用于将所有的融合单元输出的融合子图相加，得到所述待检测样本的融合特征图。

7.根据权利要求3所述的一种基于可微分神经网络架构搜索的缺陷检测方法，所述多通道神经网络结构搜索空间包括四条串连通道；

其中，第二条串连通道和第三条串联通道中的节点输入为：

X_i，j＝β_down×f_down(X_i-1，j-1)+β_keep×f_keep(X_i，j-1)+β_up×f_up(X_i+1，j-1)；

其中，i表示串连通道的序号，i＝2或3；j表示节点序号；X_i，j表示第i个串连通道中第j个节点的输入；X_i，j-1表示第i个串连通道中第j-1个节点的输入；X_i-1，j-1表示第i-1个串连通道中第j-1个节点的输入；X_i+1，j-1表示第i+1个串连通道中第j-1个节点的输入；f_keep(X_i，j-1)表示对X_i，j-1的不变尺度连接的变换；f_up(X_i+1，j-1)表示对X_i+1，j-1的上采样连接的变换；f_dowm(X_i-1，j-1)表示对X_i-1，j-1的下采样连接的变换；β_keep表示对不变尺度连接的参数求Softmax得到的值；β_down表示对下采样连接的参数求Softmax得到的值；β_up表示对上采样连接的参数求Softmax得到的值。

8.根据权利要求4所述的一种基于可微分神经网络架构搜索的缺陷检测方法，所述候选变化操作的输出为：

y_m＝∑_o∈Oβ_o×f_o(x_m)；

其中，x_m表示节点间搜索空间中的一个节点；y_m表示x_m经过候选变化操作后的输出；O表示候选变化操作集合，O＝{skip，conv，diated，deform，sep}，f_skip表示跳跃直连；f_conv表示第一卷积；f_diated表示空洞卷积；f_deform表示可变形卷积；f_sep表示可分离卷积；β_skip表示对跳跃直连的参数求Softmax得到的值；β_conv表示对第一卷积的参数求Softmax得到的值；β_diated表示对空洞卷积的参数求Softmax得到的值；β_deform表示对可变形卷积的参数求Softmax得到的值；β_sep表示对可分离卷积的参数求Softmax得到的值。

9.根据权利要求5所述的一种基于可微分神经网络架构搜索的缺陷检测方法，所述距离的计算公式为：

其中，p表示待检测样本的多尺度特征图中的像素点；q表示正常背景样本的多尺度特征图中与p对应的像素点；dis(p，q)表示p与q之间的距离；e_p表示p对应的语义嵌入向量；e_q表示q对应的语义嵌入向量。

10.一种基于可微分神经网络架构搜索的缺陷检测系统，其特征在于，包括：

样本获取模块，用于获取待检测样本和正常背景样本；

缺陷检测模块，用于将所述待检测样本和所述正常背景样本输入缺陷检测模型中，得到所述待检测样本的缺陷检测结果；

其中，所述缺陷检测模块中的所述缺陷检测模型包括依次连接的训练好的骨干网络、正常样本参考模块、多尺度融合模块和分割网络；

所述训练好的骨干网络是采用数据集对骨干网络进行训练得到的；所述骨干网络是采用可微分神经网络架构进行搜索得到的；所述训练好的骨干网络用于输出所述待检测样本的多尺度特征图和所述正常背景样本的多尺度特征图；

所述正常样本参考模块用于计算所述待检测样本的多尺度特征图中的每一个像素点与最优匹配点之间的距离，并输出由所有像素点对应的距离构成的多尺度对比参考图；所述最优匹配点为所述正常背景样本的多尺度特征图中与所述待检测样本的多尺度特征图中的像素点对应的像素点；

所述多尺度融合模块用于将所述待检测样本的多尺度特征图进行融合，得到所述待检测样本的融合特征图；

所述分割网络用于基于所述多尺度对比参考图对所述待检测样本的融合特征图进行分割，并将分割结果确定为所述待检测样本的缺陷检测结果。

Images