CN114550021B - 基于特征融合的表面缺陷检测方法及设备 - Google Patents

Abstract

本发明实施例提供一种基于特征融合的表面缺陷检测方法及设备，该方法包括：获取目标物体的二维图像数据，二维图像数据包括灰度信息，用于反映目标物体表面的纹理信息；获取目标物体的三维图像数据，三维图像数据包括高度信息，用于反映目标物体表面的形貌信息；采用第一特征提取网络提取二维图像数据中的纹理信息，得到第一特征图；采用第二特征提取网络提取三维图像数据中的形貌信息，得到第二特征图；对第一特征图和第二特征图进行通道拼接，得到融合特征图；基于融合特征图进行缺陷分割处理，得到目标物体的缺陷特征。通过特征层面的融合，充分利用目标物体表面的纹理信息和形貌信息进行缺陷分割，有助于提高表面缺陷检测的准确率。

Description

基于特征融合的表面缺陷检测方法及设备

技术领域

本发明实施例涉及图像处理技术领域，具体涉及一种基于特征融合的表面缺陷检测方法及设备。

背景技术

表面缺陷是指存在于产品表面上的诸如斑点、凹陷、划痕、开裂、缺损等缺陷，不仅会影响产品的外观，而且会影响产品的质量和性能，因此对于表面缺陷的检测具有重要意义，已广泛应用于工业生产中，如用于焊缝检测、晶元检测等。

早期对于表面缺陷的检测常采用目视检测，由检测人员通过放大镜、游标卡尺、咬边测量器等检测工具，结合产品的检验标准及自身的专业知识和检测经验，对产品表面的质量状态进行评判，存在效率低、主观性高等缺点。随着图像处理技术的不断发展，基于产品图像对表面缺陷进行自动化检测，因具有效率高、成本低等优点而在实际应用中备受青睐。

现有基于产品图像对表面缺陷进行自动化检测的方法，主要是通过采集产品的二维图像数据，通过对二维图像数据的处理来实现对表面缺陷的自动化检测。二维图像数据虽然可以反映产品表面的纹理信息，但是无法体现产品的形貌信息，从而导致在表面缺陷检测时存在漏检、误检等问题。

发明内容

本发明实施例提供一种基于特征融合的表面缺陷检测方法及设备，旨在提高表面缺陷检测的准确率。

第一方面，本发明实施例提供一种基于特征融合的表面缺陷检测方法，包括：

获取目标物体的二维图像数据，二维图像数据包括灰度信息，用于反映目标物体表面的纹理信息；

获取目标物体的三维图像数据，三维图像数据包括高度信息，用于反映目标物体表面的形貌信息；

采用第一特征提取网络提取二维图像数据中的纹理信息，得到第一特征图；

采用第二特征提取网络提取三维图像数据中的形貌信息，得到第二特征图；

对第一特征图和第二特征图进行通道拼接，得到融合特征图；

基于融合特征图进行缺陷分割处理，得到目标物体的缺陷特征。

一种实施例中，基于融合特征图进行缺陷分割处理，得到目标物体的缺陷特征包括：

对融合特征图进行连续多次的下采样处理，得到融合特征图对应的多个不同分辨率的子图像；

对多个不同分辨率的子图像分别进行卷积处理，得到不同分辨率的子图像所对应的特征子图；

对各个不同分辨率的子图像所对应的特征子图分别进行上采样处理，得到多个与融合特征图大小相同的特征子图；

将融合特征图及多个与融合特征图大小相同的特征子图进行通道拼接，得到特征向量集合；

采用激活函数对特征向量集合进行激活处理，得到目标物体的缺陷特征。

一种实施例中，采用第一特征提取网络提取二维图像数据中的纹理信息，得到第一特征图包括：

对二维图像数据依次进行卷积处理和最大池化操作；

采用三层残差网络从最大池化操作的输出中抽取特征，得到第一特征图。

一种实施例中，采用第一特征提取网络提取所述二维图像数据中的纹理信息和采用第二特征提取网络提取三维图像数据中的形貌信息之前，所述方法还包括：

对二维图像数据和三维图像数据分别进行数据增强的预处理，预处理包括平移、旋转、缩放和增强对比度中的一种或者多种。

一种实施例中，第二特征提取网络包括初级特征提取网络、无效像素掩膜模块、高度自适应模块和高级特征提取网络，采用第二特征提取网络提取三维图像数据中的形貌信息，得到第二特征图包括：

采用初级特征提取网络对三维图像数据进行特征提取，得到目标物体的初级特征图；

采用无效像素掩膜模块对初级特征图进行处理，滤除无效像素对应的特征图，得到有效像素对应的特征图；

采用高度自适应模块对有效像素对应的特征图进行处理，将有效像素对应的特征图转换为基于相同基准面的特征图；

采用高级特征提取网络对基于相同基准面的特征图进行处理，得到第二特征图。

一种实施例中，无效像素掩膜模块包括第一卷积层、第一激活层、第二卷积层、第二激活层和第三卷积层，第三卷积层的卷积核大小为1×1，采用无效像素掩膜模块对初级特征图进行处理包括：

对初级特征图进行两层卷积与激活处理后，再进行1×1的卷积得到与初级特征图等大的掩膜数据，掩膜数据用于标识初级特征图中无效像素对应的特征图和/或有效像素对应的特征图；

采用掩膜数据对初级特征图进行特征裁剪，得到有效像素对应的特征图。

一种实施例中，采用高度自适应模块对有效像素对应的特征图进行处理包括：

对有效像素对应的特征图进行卷积操作，得到卷积特征图；

对卷积特征图进行全局平均池化操作处理后，经过第一全连接层进行降维，得到降维后的特征图；

根据降维后的特征图确定各个通道上的均值特征数据；

根据各个通道上的均值特征数据在各个通道上生成与卷积特征图等大的均值特征图；

在各个通道上对卷积特征图和均值特征图进行像素级减法，得到基于相同基准面的特征图。

一种实施例中，高度自适应模块是根据第一损失函数采用反向传播算法进行训练得到的，第一损失函数根据如下表达式确定：

其中，L ₁表示第一损失函数的值，x表示输入高度自适应模块的特征向量，z表示高度自适应模块输出的特征向量，μ表示高度自适应模块所确定的均值特征向量。

第二方面，本发明实施例提供一种表面缺陷检测设备，包括：第一图像采集装置、第二图像采集装置和处理器；

第一图像采集装置用于获取目标物体的二维图像数据；

第二图像采集装置用于获取目标物体的三维图像数据；

处理器用于执行如第一方面任一项的基于特征融合的表面缺陷检测方法。

第三方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如第一方面任一项的基于特征融合的表面缺陷检测方法。

本发明实施例提供的基于特征融合的表面缺陷检测方法及设备，通过获取目标物体的二维图像数据和三维图像数据，从中提取用于反映目标物体纹理信息的第一特征图和用于反映目标物体形貌信息的第二特征图，并且在通道上对第一特征图和第二特征图进行拼接融合，增强了特征表示能力，得到既能够反映纹理信息又能够反映形貌信息的融合特征图，基于融合特征图进行缺陷分割处理兼顾了目标物体表面的纹理信息和形貌信息，有助于提高表面缺陷检测的稳定性和准确率。进一步的，本发明实施例中采用了结构化的三维图像数据，可以减少数据处理量，提高效率，使得该方法更适合在嵌入式设备中运行，便于进行工业应用。

附图说明

图1为本发明一实施例提供的基于特征融合的表面缺陷检测方法的流程图；

图2为本发明又一实施例提供的基于特征融合的表面缺陷检测方法的流程图；

图3为图2所提供方法的过程示意图；

图4为本发明一实施例提供的第二特征提取网络的结构示意图；

图5为本发明另一实施例提供的基于特征融合的表面缺陷检测方法的流程图；

图6为本发明一实施例提供的高度自适应模块的结构示意图；

图7为本发明又一实施例提供的基于特征融合的表面缺陷检测方法的流程图；

图8为本发明一实施例提供的缺陷分割效果的示意图；

图9为本发明一实施例提供的表面缺陷检测设备的结构示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接（联接）。

请参考图1，本发明一实施例提供的基于特征融合的表面缺陷检测方法可以包括：

S101、获取目标物体的二维图像数据，二维图像数据包括灰度信息，用于反映目标物体表面的纹理信息。

本实施例中例如可以通过2D视觉传感器来获取目标物体的二维图像数据，二维图像数据例如可以是灰度图像，也可以是彩色图像。当采集到的二维图像数据为彩色图像时，可以将其转换为灰度图像，以获取灰度信息。二维图像数据可以反映目标物体表面的纹理信息。

S102、获取目标物体的三维图像数据，三维图像数据包括高度信息，用于反映目标物体表面的形貌信息。

本实施例中例如可以通过3D视觉传感器来获取目标物体的三维图像数据，三维图像数据包括高度信息。三维图像数据是结构化数据，目标物体的三维图像数据例如可以采用二维矩阵来表示，矩阵中每个元素的值表示对应像素的高度信息。像素的高度信息可以根据该像素与3D视觉传感器之间的距离来确定。

需要特别强调的是，结构化的三维图像数据相较于非结构化的三维点云数据，数据量会大幅减少。本申请中采用结构化的三维图像数据，可以减少数据处理量，提高数据处理效率，使得该方法更适合在嵌入式设备中运行，便于工业应用。

需要说明的是，本实施例中并不限定S101和S102的执行顺序，例如可以依次先后执行，也可以同时执行。

可以理解的是，受图像采集设备、采集角度、采集距离等多种因素的影响，获取到的目标物体的二维图像数据和三维图像数据可能会存在像素未对齐的现象。因此，在获取到目标物体的二维图像数据和三维图像数据之后，可以对其进行图像配准，例如进行旋转、缩放、空间变换等操作，以便将像素对齐。通过图像配准，便于后续进行特征融合，可以提高表面缺陷检测的准确性。

S103、采用第一特征提取网络提取二维图像数据中的纹理信息，得到第一特征图。

纹理是一种反映图像中同质现象的视觉特征，体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性。为了提取二维图像数据中的纹理信息，可以预先构建第一特征提取网络。第一特征提取网络既可以采用传统方法构建，例如可以采用基于统计的方法（如灰度共生矩阵）、基于模型的方法（如滑动平均模型）、基于结构的方法（如特征滤波器）、基于信号处理的方法（如小波变换）……，也可以采用基于深度学习的方法构建，例如基于训练数据集训练得到纹理信息提取网络，本实施例对此不作限制。

一种可选的实施方式中，采用第一特征提取网络提取二维图像数据中的纹理信息，得到第一特征图可以包括：对二维图像数据依次进行卷积处理和最大池化操作，标准化特征，避免特征分布发生偏移；采用三层残差网络从最大池化操作的输出中抽取特征，得到第一特征图。

本实施例中采用预先构建的第一特征提取网络从二维图像数据中提取目标物体的纹理信息，获得第一特征图，即第一特征图是用于反映目标物体的纹理信息的特征图。

S104、采用第二特征提取网络提取三维图像数据中的形貌信息，得到第二特征图。

为了提取三维图像数据中的形貌信息，可以预先构建第二特征提取网络。第二特征提取网络既可以采用传统方法构建，也可以采用基于深度学习的方法构建，例如基于训练数据集训练得到形貌信息提取网络，本实施例对此不作限制。本实施例中采用预先构建的第二特征提取网络从三维图像数据中提取目标物体的形貌信息，获得第二特征图，即第二特征图是用于反映目标物体的形貌信息的特征图。

需要说明的是，本实施例中并不限定S103和S104的执行顺序，例如可以依次先后执行，也可以同时执行。

S105、对第一特征图和第二特征图进行通道拼接，得到融合特征图。

第一特征图虽然可以反映目标物体的纹理信息，但是无法捕捉目标物体的形貌信息，采用单一的第一特征图进行缺陷分割处理易产生漏检、误检等问题。而且在低对比度、目标物体为黑色等场景下难于获取目标物体的二维图像数据，无法解决成像问题。第二特征图虽然可以反映目标物体的形貌信息，但是由于三维图像数据难以捕捉目标物体表面的小缺陷，例如面积小于0.2平方毫米的小针孔（在三维图像数据中可能会表现为无效像素），采用单一的第二特征图进行缺陷分割处理时无法检测出目标物体表面的小缺陷，无法满足高精度的检测需求。

因此本实施例中在获得用于反映目标物体纹理信息的第一特征图和用于反映目标物体形貌信息的第二特征图之后，可以在通道上对第一特征图和第二特征图进行拼接融合，以得到能够同时反映目标物体的纹理信息和形貌信息的融合特征图。需要说明的是，本实施例中的融合是特征级别的融合，通过特征级别的融合增强了特征表示能力。

S106、基于融合特征图进行缺陷分割处理，得到目标物体的缺陷特征。

本实施例中在得到既包括纹理信息又包括形貌信息的融合特征图之后，便基于融合特征图进行缺陷分割处理，以得到目标物体的缺陷特征。用于进行缺陷分割处理的方法例如可以是非线性量度学习，基于聚类分析的图像分割方法，基于边缘、区域或阈值的图像分割方法，基于神经网络算法或遗传算法的图像分割方法，本实施例中对此不做具体限制。一种可选的实施方式中，可以将融合特征图输入至预设的缺陷分割网络中，利用缺陷分割网络对融合特征图进行非线性的量度处理，以得到目标物体的缺陷特征。

本实施例提供的基于特征融合的表面缺陷检测方法，通过获取目标物体的二维图像数据和三维图像数据，从中提取用于反映目标物体纹理信息的第一特征图和用于反映目标物体形貌信息的第二特征图，并且在通道上对第一特征图和第二特征图进行拼接融合，通过特征级别的融合增强了特征表示能力，得到既能够反映纹理信息又能够反映形貌信息的融合特征图，基于融合特征图进行缺陷分割处理兼顾了目标物体表面的纹理信息和形貌信息，有助于提高表面缺陷检测的稳定性和准确率。进一步的，本实施例中采用了结构化的三维图像数据，可以减少数据处理量，提高效率，使得该方法更适合在嵌入式设备中运行，便于进行工业应用。

为了提升泛化能力和场景适应性，在采用第一特征提取网络提取二维图像数据中的纹理信息和采用第二特征提取网络提取三维图像数据中的形貌信息之前，所述方法还可以包括：对二维图像数据和三维图像数据分别进行数据增强的预处理，预处理包括平移、旋转、缩放和增强对比度中的一种或者多种。

请参考图2，在上述实施例的基础上，为了进一步提高表面缺陷检测的准确率，本实施例提供的基于特征融合的表面缺陷检测方法中，基于融合特征图进行缺陷分割处理，得到目标物体的缺陷特征可以包括：

S1061、对融合特征图进行连续多次的下采样处理，得到融合特征图对应的多个不同分辨率的子图像。

本实施例中在得到融合特征图之后，可以对融合特征图进行连续多次的下采样处理，例如对融合特征图进行金字塔池化，以得到融合特征图对应的多个不同分辨率的子图像。不同分辨率的子图像体现了不同大小的感受野。

S1062、对多个不同分辨率的子图像分别进行卷积处理，得到不同分辨率的子图像所对应的特征子图。

对多个不同分辨率的子图像分别进行卷积处理，基于不同大小的感受野进行特征提取，以得到不同分辨率的子图像所对应的特征子图。

S1063、对各个不同分辨率的子图像所对应的特征子图分别进行上采样处理，得到多个与融合特征图大小相同的特征子图。

不同分辨率的子图像所对应的特征子图虽然能够体现不同大小感受野下的特征，但是却损失了位置信息。为了兼顾感受野与位置信息，对各个不同分辨率的子图像所对应的特征子图分别进行上采样处理，将其转换为相同大小的特征子图。进一步的，为了将特征子图与融合特征图进行特征级别的融合，将各特征子图转换为与融合特征图大小相同的特征子图。

S1064、将融合特征图及多个与融合特征图大小相同的特征子图进行通道拼接，得到特征向量集合。

在通道上将融合特征图及多个与融合特征图大小相同的特征子图进行拼接融合，进一步增强了特征表示能力。所得到的特征向量集合能够体现目标物体在不同大小的感受野下的纹理信息和形貌信息。

S1065、采用激活函数对特征向量集合进行激活处理，得到目标物体的缺陷特征。

最后采用激活函数，如可以采用sigmoid激活函数，对特征向量集合进行激活处理，得到目标物体的缺陷特征。

本实施例提供的基于特征融合的表面缺陷检测方法的实现过程可以参考图3所示。

本实施例提供的基于特征融合的表面缺陷检测方法，在上述实施例的基础上，进一步地通过对融合特征图进行连续多次的下采样处理，并且对下采样处理得到的多个不同分辨率的子图像分别进行卷积处理，基于不同大小的感受野获取特征子图，再将融合特征图与通过上采样处理得到的多个与融合特征图大小相同的特征子图进行通道拼接，得到特征向量集合，进一步增强了特征表示能力。特征向量集合能够体现目标物体在不同大小的感受野下的纹理信息和形貌信息，兼顾了感受野与位置信息，基于特征向量得到目标物体的缺陷特征，能够进一步提高表面缺陷检测的准确率。

为了获取目标物体表面的形貌特征，本申请中采用了结构化的三维图像数据。3D视觉传感器输出的三维图像数据虽然可以为表面缺陷检测提供更加丰富的信息，但是受采集环境的影响，例如遮挡、反光、多重反射等原因，常常会导致无法获得像素点的高度信息，也就是说3D视觉传感器输出的三维图像数据中通常会存在无效像素。同时还会因姿态、距离等相关原因，导致3D图像基准面的不统一，使得到的三维图像数据的高度分布不一致，高度范围的变化和差异较大。无效像素的存在以及3D图像基准面的不统一都会导致表面缺陷检测准确性的降低。下面将通过具体的实施例来说明如何降低无效像素以及基准面不统一带来的影响，从而进一步提高表面缺陷检测的准确率。

请参考图4，本发明一实施例提供的第二特征提取网络可以包括初级特征提取网络401、无效像素掩膜模块402、高度自适应模块403和高级特征提取网络404。其中，初级特征提取网络401用于对三维图像数据进行初级特征提取，以得到目标物体的初级特征图；无效像素掩膜模块402用于对初级特征图进行处理，滤除无效像素对应的特征图，得到有效像素对应的特征图，即在特征层面降低无效像素的影响；高度自适应模块403用于对有效像素对应的特征图进行处理，将有效像素对应的特征图转换为基于相同基准面的特征图，即在特征层面解决基准面不统一的问题；高级特征提取网络404用于对基于相同基准面的特征图进行处理，即从中提取高级特征，以得到第二特征图。需要说明的是，本实施例中的初级特征对应机器学习中的Low level特征，初级特征提取网络401可以采用现有用于提取Lowlevel特征的网络；本实施例中的高级特征对应机器学习中的High level特征，高级特征提取网络404可以采用现有用于提取High level特征的网络。本实施例对于初级特征提取网络401和高级特征提取网络404的具体实现方式不做限制。

请参考图5，在上述任一实施的基础上，基于图4所提供的第二特征提取网络，本实施例提供的基于特征融合的表面缺陷检测方法中，采用第二特征提取网络提取三维图像数据中的形貌信息，得到第二特征图可以包括：

S1041、采用初级特征提取网络对三维图像数据进行特征提取，得到目标物体的初级特征图。

S1042、采用无效像素掩膜模块对初级特征图进行处理，滤除无效像素对应的特征图，得到有效像素对应的特征图。

S1043、采用高度自适应模块对有效像素对应的特征图进行处理，将有效像素对应的特征图转换为基于相同基准面的特征图。

本实施例中的高度自适应模块主要是为了消除基准面不统一所带来的数据分布不一致问题。具体的，可以将有效像素对应的特征图从一个特征空间映射到另一个特征空间，但是使特征的均值发生变化，具体地将特征的均值变换为相同的预设均值，从而在特征层面实现基准面的统一。

高度自适应模块可以通过训练数据集进行预训练得到，可以通过学习训练数据集的图像相对统一基准平面来获得自适应参数。请参考图6，一实施例提供的高度自适应模块主要包含F _tr 、F _sq 和F _ex 三个操作和一个像素级减法“-”操作。

其中，F _tr 表示特征图的卷积操作，具体的：

F _tr ∶X→U，X∈R ^{H’×W’×C’} ，U→R ^H×W×C ；

X和U分别表示相邻两网络层的特征图，H’、W’和C’分别表示X的长、宽和通道数，H、W和C分别表示U的长、宽和通道数。

F _sq 表示全局平均池化(Global Average Pooling)操作，具体的：

H和W分别表示特征图的长和宽，u _i,j 表示特征图中第i行第j列的元素。

F _ex 采用一个全连接层用于降维，以降低计算量，提高运算效率。获得各个通道上的均值特征数据之后，在通道上进行像素级相减“-”操作。通过像素级的减法，减掉特征上高度带来的影响。

S1044、采用高级特征提取网络对基于相同基准面的特征图进行处理，得到第二特征图。

本实施例提供的基于特征融合的表面缺陷检测方法，在上述实施例的基础上，进一步地通过采用无效像素掩膜模块对初级特征图进行处理，滤除无效像素对应的特征图，得到有效像素对应的特征图，并且采用高度自适应模块对有效像素对应的特征图进行处理，将有效像素对应的特征图转换为基于相同基准面的特征图，在特征层面降低了无效像素以及基准面不统一带来的影响，进一步提高了表面缺陷检测的准确率。

一种可选的实施方式中，无效像素掩膜模块可以包括第一卷积层、第一激活层、第二卷积层、第二激活层和第三卷积层，第三卷积层的卷积核大小为1×1，采用无效像素掩膜模块对初级特征图进行处理包括：

对初级特征图进行两层卷积与激活处理后，再进行1×1的卷积得到与初级特征图等大的掩膜数据，掩膜数据用于标识初级特征图中无效像素对应的特征图和/或有效像素对应的特征图；采用掩膜数据对初级特征图进行特征裁剪，得到有效像素对应的特征图。

本实施例中得到的掩膜数据与初级特征图等大，这里的等大是指至少与初级特征图的长和宽保持一致，掩膜数据的通道数可以为1，也可以与初级特征图的通道数相同。本实施例中的掩膜数据可以仅标识出无效像素的位置信息，也可以仅标识出有效像素的位置信息，还可以同时标识出无效像素和有效像素的位置信息。一种可选的实施方式中，可以采用第一标识符标识无效像素的位置信息，采用第二标识符标识有效像素的位置信息，例如采用0标识无效像素的位置信息，采用1标识有效像素的位置信息。

本实施例中的无效像素掩膜模块可以根据第二损失函数采用反向传播算法进行训练得到，第二损失函数根据如下表达式确定：

其中，L ₂表示第二损失函数的值，

表示预设的权重，

表示预测的置信度信息，

表示标注的置信度信息。

可以采用训练数据集对无效像素掩膜模块进行预训练。训练数据集中包含若干三维图像数据的初级特征图及其对应的掩膜数据的标注。在进行预训练时，以三维图像数据的初级特征图作为无效像素掩膜模块的输入，以其对应的掩膜数据的标注作为期望输出，以最小化第二损失函数为目标进行迭代训练，直至第二损失函数的值小于预设阈值时，得到预训练好的无效像素掩膜模块。将初级特征图输入预训练好的无效像素掩膜模块后，经过两层卷积与激活处理后，再经过1×1卷积，然后采用Softmax激活函数激活后，便可以获得与输入的初级特征图等大的掩膜数据。

相较于传统的通过二值化的方式在图像数据层面来获取无效像素的掩膜数据，本实施例中通过无效像素掩膜模块来获取掩膜数据的方式耗时更短，且在特征层面来获取无效像素的掩膜数据更加稳定。

请参考图7，在上述任一实施例的基础上，本发明一实施例提供的基于特征融合的表面缺陷检测方法中，采用高度自适应模块对有效像素对应的特征图进行处理包括：

S10431、对有效像素对应的特征图进行卷积操作，得到卷积特征图。

S10432、对卷积特征图进行全局平均池化操作处理后，经过第一全连接层进行降维，得到降维后的特征图。

可以理解的是，将一个1000×1000的图像缩小至100×100时，其像素均值近似相等。也就是说，通过降维只会大幅降低计算量，提高运算效率，并不会大幅改变像素均值，降维后的特征图与原卷积特征图在各个通道上的均值近似相等。

S10433、根据降维后的特征图确定各个通道上的均值特征数据。

根据降维后的特征图，在特征层面，确定各个通道上的均值特征数据。

S10434、根据各个通道上的均值特征数据在各个通道上生成与卷积特征图等大的均值特征图。

S10435、在各个通道上对卷积特征图和均值特征图进行像素级减法，得到基于相同基准面的特征图。

假设有C个通道，则根据降维后的特征图可以确定C个均值特征数据。为了提高处理速度以便于工业应用，可以在各个通道上生成一个与卷积特征图等大的矩阵，矩阵中的每个元素取值均为该通道上的均值特征数据，得到该通道上的均值特征图。则卷积特征图与均值特征图之间的像素级减法可以简化为矩阵减法操作，提高了处理速度。

通过卷积特征图与均值特征图之间的像素级减法，减掉特征上高度带来的影响，转化为基于相同基准面的特征图。

相较于通过对图像数据进行处理，在图像数据层面来获取像素均值，本实施例中采用高度自适应模块对有效像素对应的特征图进行处理的方式耗时更短，且针对有效像素对应的特征图在特征层面来确定各个通道上的均值特征数据也更加稳定。

一种可选的实施方式中，高度自适应模块是根据第一损失函数采用反向传播算法进行训练得到的，第一损失函数根据如下表达式确定：

其中，L ₁表示第一损失函数的值，x表示输入高度自适应模块的特征向量，z表示高度自适应模块输出的特征向量，μ表示高度自适应模块所确定的均值特征向量。

本发明实施例提供的基于特征融合的表面缺陷检测方法，通过在特征层面对二维图像数据和三维图像数据的特征图进行融合，兼顾纹理信息和形貌信息，增强了特征表示能力，基于融合特征图进行缺陷分割处理，有助于提高表面缺陷检测的稳定性和准确率。请参考图8，图8为本发明一实施例提供的缺陷分割效果的示意图。

本发明实施例还提供一种表面缺陷检测设备，请参见图9所示，本发明实施例仅以图9为例进行说明，并不表示本发明仅限于此。图9为本发明一实施例提供的表面缺陷检测设备的结构示意图。如图9所示，本实施例提供的表面缺陷检测设备50可以包括：第一图像采集装置501、第二图像采集装置502和处理器503。各元件之间可以采用总线的方式实现连接，也可以采用其他方式连接。

其中，第一图像采集装置501用于获取目标物体的二维图像数据；第二图像采集装置502用于获取目标物体的三维图像数据；处理器503用于执行如上述任一实施例所提供的基于特征融合的表面缺陷检测方法。

第一图像采集装置501例如可以采用2D视觉传感器，或者其他能够获取二维图像数据的装置。第二图像采集装置502例如可以采用3D视觉传感器，或者其他能够获取结构化三维图像数据的装置。处理器503可以是一种集成电路芯片，具有信号的处理能力。上述的处理器503可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(Network Processor，简称：NP)等。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

可以理解，图9的结构仅为示意，还可以包括比图9中所示更多或者更少的组件，或者具有与图9所示不同的配置。图9中所示的各组件可以采用硬件和/或软件实现。例如表面缺陷检测设备50还可以包括存储器（图中未示出），用于存储采集到的目标物体结构化的三维图像数据，用于存储可以被处理器503执行以实现上述任一方法实施例提供的基于特征融合的表面缺陷检测方法的技术方案的计算机程序。存储器可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(Programmable Read-Only Memory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。

本文参照了各种示范实施例进行说明。然而，本领域的技术人员将认识到，在不脱离本文范围的情况下，可以对示范性实施例做出改变和修正。例如，各种操作步骤以及用于执行操作步骤的组件，可以根据特定的应用或考虑与系统的操作相关联的任何数量的成本函数以不同的方式实现（例如一个或多个步骤可以被删除、修改或结合到其他步骤中）。

另外，如本领域技术人员所理解的，本文的原理可以反映在计算机可读存储介质上的计算机程序产品中，该可读存储介质预装有计算机可读程序代码。任何有形的、非暂时性的计算机可读存储介质皆可被使用，包括磁存储设备（硬盘、软盘等）、光学存储设备（CD-ROM、DVD、Blu Ray盘等）、闪存和/或诸如此类。这些计算机程序指令可被加载到通用计算机、专用计算机或其他可编程数据处理设备上以形成机器，使得这些在计算机上或其他可编程数据处理装置上执行的指令可以生成实现指定的功能的装置。这些计算机程序指令也可以存储在计算机可读存储器中，该计算机可读存储器可以指示计算机或其他可编程数据处理设备以特定的方式运行，这样存储在计算机可读存储器中的指令就可以形成一件制造品，包括实现指定功能的实现装置。计算机程序指令也可以加载到计算机或其他可编程数据处理设备上，从而在计算机或其他可编程设备上执行一系列操作步骤以产生一个计算机实现的进程，使得在计算机或其他可编程设备上执行的指令可以提供用于实现指定功能的步骤。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (9)

1.一种基于特征融合的表面缺陷检测方法，其特征在于，包括：

获取目标物体的二维图像数据，所述二维图像数据包括灰度信息，用于反映所述目标物体表面的纹理信息；

获取目标物体的三维图像数据，所述三维图像数据包括高度信息，用于反映所述目标物体表面的形貌信息；

采用第一特征提取网络提取所述二维图像数据中的纹理信息，得到第一特征图；

采用第二特征提取网络提取所述三维图像数据中的形貌信息，得到第二特征图，所述第二特征提取网络包括初级特征提取网络、无效像素掩膜模块、高度自适应模块和高级特征提取网络，所述采用第二特征提取网络提取所述三维图像数据中的形貌信息，得到第二特征图包括：

采用所述初级特征提取网络对所述三维图像数据进行特征提取，得到所述目标物体的初级特征图；

采用所述无效像素掩膜模块对所述初级特征图进行处理，滤除无效像素对应的特征图，得到有效像素对应的特征图；

采用所述高度自适应模块对所述有效像素对应的特征图进行处理，将所述有效像素对应的特征图转换为基于相同基准面的特征图；

采用所述高级特征提取网络对所述基于相同基准面的特征图进行处理，得到所述第二特征图；

对所述第一特征图和所述第二特征图进行通道拼接，得到融合特征图；

基于所述融合特征图进行缺陷分割处理，得到所述目标物体的缺陷特征。

2.如权利要求1所述的方法，其特征在于，所述基于所述融合特征图进行缺陷分割处理，得到所述目标物体的缺陷特征包括：

对所述融合特征图进行连续多次的下采样处理，得到所述融合特征图对应的多个不同分辨率的子图像；

对多个所述不同分辨率的子图像分别进行卷积处理，得到不同分辨率的子图像所对应的特征子图；

对各个不同分辨率的子图像所对应的特征子图分别进行上采样处理，得到多个与所述融合特征图大小相同的特征子图；

将所述融合特征图及多个与所述融合特征图大小相同的特征子图进行通道拼接，得到特征向量集合；

采用激活函数对所述特征向量集合进行激活处理，得到所述目标物体的缺陷特征。

3.如权利要求1所述的方法，其特征在于，所述采用第一特征提取网络提取所述二维图像数据中的纹理信息，得到第一特征图包括：

对所述二维图像数据依次进行卷积处理和最大池化操作；

采用三层残差网络从最大池化操作的输出中抽取特征，得到所述第一特征图。

4.如权利要求1所述的方法，其特征在于，所述采用第一特征提取网络提取所述二维图像数据中的纹理信息和所述采用第二特征提取网络提取所述三维图像数据中的形貌信息之前，所述方法还包括：

对所述二维图像数据和所述三维图像数据分别进行数据增强的预处理，所述预处理包括平移、旋转、缩放和增强对比度中的一种或者多种。

5.如权利要求1所述的方法，其特征在于，所述无效像素掩膜模块包括第一卷积层、第一激活层、第二卷积层、第二激活层和第三卷积层，所述第三卷积层的卷积核大小为1×1，所述采用所述无效像素掩膜模块对所述初级特征图进行处理包括：

对所述初级特征图进行两层卷积与激活处理后，再进行1×1的卷积得到与所述初级特征图等大的掩膜数据，所述掩膜数据用于标识所述初级特征图中无效像素对应的特征图和/或有效像素对应的特征图；

采用所述掩膜数据对所述初级特征图进行特征裁剪，得到有效像素对应的特征图。

6.如权利要求1所述的方法，其特征在于，所述采用所述高度自适应模块对所述有效像素对应的特征图进行处理包括：

对所述有效像素对应的特征图进行卷积操作，得到卷积特征图；

对所述卷积特征图进行全局平均池化操作处理后，经过第一全连接层进行降维，得到降维后的特征图；

根据所述降维后的特征图确定各个通道上的均值特征数据；

根据所述各个通道上的均值特征数据在各个通道上生成与所述卷积特征图等大的均值特征图；

在各个通道上对所述卷积特征图和所述均值特征图进行像素级减法，得到基于相同基准面的特征图。

7.如权利要求6所述的方法，其特征在于，所述高度自适应模块是根据第一损失函数采用反向传播算法进行训练得到的，所述第一损失函数根据如下表达式确定：

其中，L ₁表示第一损失函数的值，x表示输入所述高度自适应模块的特征向量，z表示所述高度自适应模块输出的特征向量，μ表示所述高度自适应模块所确定的均值特征向量。

8.一种表面缺陷检测设备，其特征在于，包括：第一图像采集装置、第二图像采集装置和处理器；

所述第一图像采集装置用于获取目标物体的二维图像数据；

所述第二图像采集装置用于获取目标物体的三维图像数据；

所述处理器用于执行如权利要求1-7任一项所述的基于特征融合的表面缺陷检测方法。

9.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1-7任一项所述的基于特征融合的表面缺陷检测方法。

Images