CN112958313B - 使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法 - Google Patents

Abstract

本申请涉及智能制造领域中的智能区域喷漆操作参数控制，其具体地公开了一种使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法，其基于深度神经网络对提取到的待作业的工业用品的表面凹凸特性的高维特征进行编码，以获得用于补偿的自动喷漆装置的喷漆参数。具体地，在编码过程中，通过计算表达各个小区域之间的特征关联以及与整个区域的整体之间的特征关联的距离矩阵，并将所述距离矩阵与工业用品的表面的纹理特征进一步加权融合再通过编码器编码，这样，获得的编码值可根据待作业的工业用品的表面凹凸特性来智能控制自动喷漆装置的喷漆参数。

Description

使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法

技术领域

本发明涉及智能制造领域中的智能区域喷漆操作参数控制，且更为具体地，涉及一种使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法、使用距离矩阵加权特征的智能区域补偿喷漆参数控制系统和电子设备。

背景技术

工业用品表面喷漆处理是常见的一种防锈方式，但是由于油漆对工人本身有一定的损伤，现在越来越多地采用自动喷漆装置来进行工业用品表面喷漆的操作。另外，如果自动喷漆装置在喷漆完成之后进行打磨等工序，虽然能够保证工业用品的表面光滑度，但是在一定的程度上降低了加工效率。

因此，期望提供一种能够保证一定程度的表面光滑度的自动喷漆装置的控制方法。

目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

深度学习以及神经网络的发展为自动喷漆装置的喷漆参数的智能控制提供了新的解决思路和方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法、使用距离矩阵加权特征的智能区域补偿喷漆参数控制系统和电子设备，其基于深度神经网络对提取到的待作业的工业用品的表面凹凸特性的高维特征进行编码，以获得用于补偿的自动喷漆装置的喷漆参数。具体地，在编码过程中，通过计算表达各个小区域之间的特征关联以及与整个区域的整体之间的特征关联的距离矩阵，并将所述距离矩阵与工业用品的表面的纹理特征进一步加权融合再通过编码器编码，这样，获得的编码值可根据待作业的工业用品的表面凹凸特性来智能控制自动喷漆装置的喷漆参数。

根据本申请的一个方面，提供了一种使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法，其包括：

获取待作业的工作用品的表面图像；

将所述表面图像输入深度卷积神经网络，以从所述表面图像中提取出对应于所述表面图像的初始特征图并从所述深度卷积神经网络的纹理提取层提取出对应于所述表面图像的纹理特征图；

将所述初始特征图划分为m个局部区域，每个所述局部区域为具有预定大小的特征图；

计算所述m个局部区域中每两个所述局部区域之间的距离，以构建尺寸为m*m的区域间距离矩阵；

计算所述m个局部区域中每个所述局部区域与所述初始特征图之间的距离以获得维度为m的距离向量，并将所述距离向量乘以其转置以获得尺寸为m*m的整体距离矩阵；

以所述区域间距离矩阵和所述整体距离矩阵作为第一加权系数和第二加权系数分别对所述初始特征图进行加权，以获得第一加权特征图和第二加权特征图；

融合所述第一加权特征图、第二加权特征图和所述纹理特征图，以获得编码特征图；以及

将所述编码特征图通过编码器，所述编码器的最后一层的输出位的位数为m个，以获得m个编码值，所述m个编码值用于表示对应于待作业的工业用品的表面的每个小区域的喷漆参数。

在上述使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法中，从所述深度卷积神经网络的纹理提取层提取出对应于所述表面图像的纹理特征图，包括：从所述深度卷积神经网络的第N层提取出对应于所述表面图像的纹理特征图，其中，N为大于等于4且小于等于6的正整数。

在上述使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法中，计算所述m个局部区域中每两个所述局部区域之间的距离，以构建尺寸为m*m的区域间距离矩阵，包括：计算所述m个局部区域中每两个所述局部区域之间的均方差，以构建尺寸为m*m的区域间距离矩阵。

在上述使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法中，计算所述m个局部区域中每两个所述局部区域之间的距离，以构建尺寸为m*m的区域间距离矩阵，包括：计算所述m个局部区域中每两个所述局部区域之间的差分，以获得差分特征图；以及，对所述差分特征图进行全局平均值池化，以获得全局平均特征值作为对应两个所述局部区域之间的距离。

在上述使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法中，计算所述m个局部区域中每个所述局部区域与所述初始特征图之间的距离以获得维度为m的距离向量，并将所述距离向量乘以其转置以获得尺寸为m*m的整体距离矩阵，包括：计算所述m个局部区域中每个所述局部区域与所述初始特征图之间的均方差以获得维度为m的距离向量，并将所述距离向量乘以其转置以获得尺寸为m*m的整体距离矩阵。

在上述使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法中，以所述区域间距离矩阵和所述整体距离矩阵作为第一加权系数和第二加权系数分别对所述初始特征图进行加权，以获得第一加权特征图和第二加权特征图，包括：分别计算所述初始特征图中每个局部区域内的所有位置的特征值的平均值，以获得尺寸为m*m的降维特征图；计算所述区域间距离矩阵与所述降维特征图之间的按像素位置的点加，以获得所述第一加权特征图；以及，计算所述整体距离矩阵与所述降维特征图之间的按像素位置的点加，以获得所述第二加权特征图。

在上述使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法中，所述编码器为深度全连接神经网络。

根据本申请的另一方面，提供了一种使用距离矩阵加权特征的智能区域补偿喷漆参数控制系统，其包括：

图像获取单元，用于获取待作业的工作用品的表面图像；

特征图提取单元，用于将所述图像获取单元获得的所述表面图像输入深度卷积神经网络，以从所述表面图像中提取出对应于所述表面图像的初始特征图并从所述深度卷积神经网络的纹理提取层提取出对应于所述表面图像的纹理特征图；

局部区域划分单元，用于将所述特征图提取单元获得的所述初始特征图划分为m个局部区域，每个所述局部区域为具有预定大小的特征图；

区域间距离矩阵生成单元，用于计算所述局部区域划分单元获得的所述m个局部区域中每两个所述局部区域之间的距离，以构建尺寸为m*m的区域间距离矩阵；

整体距离矩阵生成单元，用于计算所述局部区域划分单元获得的所述m个局部区域中每个所述局部区域与所述特征图提取单元获得的所述初始特征图之间的距离以获得维度为m的距离向量，并将所述距离向量乘以其转置以获得尺寸为m*m的整体距离矩阵；

加权特征图生成单元，用于以所述区域间距离矩阵生成单元获得的所述区域间距离矩阵和所述整体距离矩阵生成单元获得的所述整体距离矩阵作为第一加权系数和第二加权系数分别对所述初始特征图进行加权，以获得第一加权特征图和第二加权特征图；

编码特征图生成单元，用于融合所述加权特征图生成单元获得的所述第一加权特征图、第二加权特征图和所述特征图提取单元获得的所述纹理特征图，以获得编码特征图；以及

编码值生成单元，用于将所述编码特征图生成单元获得的所述编码特征图通过编码器，所述编码器的最后一层的输出位的位数为m个，以获得m个编码值，所述m个编码值用于表示对应于待作业的工业用品的表面的每个小区域的喷漆参数。

在上述使用距离矩阵加权特征的智能区域补偿喷漆参数控制系统中，所述特征图提取单元，进一步用于：从所述深度卷积神经网络的第N层提取出对应于所述表面图像的纹理特征图，其中，N为大于等于4且小于等于6的正整数。

在上述使用距离矩阵加权特征的智能区域补偿喷漆参数控制系统中，所述区域间距离矩阵生成单元，进一步用于：计算所述m个局部区域中每两个所述局部区域之间的均方差，以构建尺寸为m*m的区域间距离矩阵。

在上述使用距离矩阵加权特征的智能区域补偿喷漆参数控制系统中，所述区域间距离矩阵生成单元，包括：差分特征图生成子单元，用于计算所述m个局部区域中每两个所述局部区域之间的差分，以获得差分特征图；以及，池化子单元，用于对所述差分特征图生成子单元获得的所述差分特征图进行全局平均值池化，以获得全局平均特征值作为对应两个所述局部区域之间的距离。

在上述使用距离矩阵加权特征的智能区域补偿喷漆参数控制系统中，所述整体距离矩阵生成单元，进一步用于：计算所述m个局部区域中每个所述局部区域与所述初始特征图之间的均方差以获得维度为m的距离向量，并将所述距离向量乘以其转置以获得尺寸为m*m的整体距离矩阵。

在上述使用距离矩阵加权特征的智能区域补偿喷漆参数控制系统中，所述加权特征图生成单元，包括：降维特征图生成子单元，用于分别计算所述初始特征图中每个局部区域内的所有位置的特征值的平均值，以获得尺寸为m*m的降维特征图；第一加权特征图生成子单元，用于计算所述区域间距离矩阵与所述降维特征图生成子单元获得的所述降维特征图之间的按像素位置的点加，以获得所述第一加权特征图；以及，第二加权特征图生成子单元，用于计算所述整体距离矩阵与所述降维特征图生成子单元获得的所述降维特征图之间的按像素位置的点加，以获得所述第二加权特征图。

在上述使用距离矩阵加权特征的智能区域补偿喷漆参数控制系统中，所述编码器为深度全连接神经网络。

根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法。

根据本申请的再又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法。

与现有技术相比，本申请提供的使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法、使用距离矩阵加权特征的智能区域补偿喷漆参数控制系统和电子设备，其基于深度神经网络对提取到的待作业的工业用品的表面凹凸特性的高维特征进行编码，以获得用于补偿的自动喷漆装置的喷漆参数。具体地，在编码过程中，通过计算表达各个小区域之间的特征关联以及与整个区域的整体之间的特征关联的距离矩阵，并将所述距离矩阵与工业用品的表面的纹理特征进一步加权融合再通过编码器编码，这样，获得的编码值可根据待作业的工业用品的表面凹凸特性来智能控制自动喷漆装置的喷漆参数。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法的应用场景图；

图2图示了根据本申请实施例的使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法的流程图；

图3图示了根据本申请实施例的使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法的系统架构示意图；

图4图示了根据本申请实施例的使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法中，计算所述m个局部区域中每两个所述局部区域之间的距离，以构建尺寸为m*m的区域间距离矩阵的流程图；

图5图示了根据本申请实施例的使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法中，以所述区域间距离矩阵和所述整体距离矩阵作为第一加权系数和第二加权系数分别对所述初始特征图进行加权，以获得第一加权特征图和第二加权特征图的流程图；

图6图示了根据本申请实施例的使用距离矩阵加权特征的智能区域补偿喷漆参数控制系统的框图；

图7图示了根据本申请实施例的使用距离矩阵加权特征的智能区域补偿喷漆参数控制系统中区域间距离矩阵生成单元的框图；

图8图示了根据本申请实施例的使用距离矩阵加权特征的智能区域补偿喷漆参数控制系统中加权特征图生成单元的框图；

图9图示了根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

如前所述，工业用品表面喷漆处理是常见的一种防锈方式，现在越来越多地采用自动喷漆装置来进行工业用品表面喷漆的操作。如果自动喷漆装置在喷漆完成之后进行打磨等工序，虽然能够保证工业用品的表面光滑度，但是在一定的程度上降低了加工效率。因此，期望提供一种能够保证一定程度的表面光滑度的自动喷漆装置的控制方法。

由于自动喷漆装置本身可以保证喷出的漆料的均匀性，因此经过喷漆处理的工业用品的表面光滑度主要取决于待作业的工业用品的表面凹凸特性，也就是，如果能够基于待作业的工业用品的表面凹凸特性来适当地调整自动喷漆装置的喷漆参数，则可以补偿由于待作业的工业用品的表面凹凸不平所导致的工业用品的表面光滑度问题。

基于此，本申请的发明人考虑通过基于深度学习的计算机视觉技术，来通过对待作业的工业用品的表面凹凸特性进行特征提取，并基于提取到的高维特征进行特征编码，以获得用于补偿的自动喷漆装置的喷漆参数。并且，进一步考虑到待作业的工业用品的表面凹凸特性可以在视觉上直观地表现为纹理特性，因此考虑在由卷积神经网络提取到的高维特征上进一步结合略微浅层的纹理特征。

另外，由于自动喷漆装置在对整个表面进行喷漆作业的工程中，需要针对每个小区域来调整喷漆参数，因此各个小区域之间的特征关联以及与整个区域的整体之间的特征关联也非常重要，所以在用于编码的高维特征中，需要充分包含这些关联性的知识。

基于此，本申请提出了一种使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法，其包括：获取待作业的工作用品的表面图像；将所述表面图像输入深度卷积神经网络，以从所述表面图像中提取出对应于所述表面图像的初始特征图并从所述深度卷积神经网络的纹理提取层提取出对应于所述表面图像的纹理特征图；将所述初始特征图划分为m个局部区域，每个所述局部区域为具有预定大小的特征图；计算所述m个局部区域中每两个所述局部区域之间的距离，以构建尺寸为m*m的区域间距离矩阵；计算所述m个局部区域中每个所述局部区域与所述初始特征图之间的距离以获得维度为m的距离向量，并将所述距离向量乘以其转置以获得尺寸为m*m的整体距离矩阵；以所述区域间距离矩阵和所述整体距离矩阵作为第一加权系数和第二加权系数分别对所述初始特征图进行加权，以获得第一加权特征图和第二加权特征图；融合所述第一加权特征图、第二加权特征图和所述纹理特征图，以获得编码特征图，以及，将所述编码特征图通过编码器，所述编码器的最后一层的输出位的位数为m个，以获得m个编码值，所述m个编码值用于表示对应于待作业的工业用品的表面的每个小区域的喷漆参数。

图1图示了根据本申请实施例的使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法的应用场景图。

如图1所示，在该应用场景中，首先通过摄像头(例如，如图1中所示意的C)获取待作业的工作用品的表面图像；然后，将所述表面图像输入至部署有使用距离矩阵加权特征的智能区域补偿喷漆参数控制算法的服务器中(例如，如图1中所示意的S)，其中，所述服务器能够使用距离矩阵加权特征的智能区域补偿喷漆参数控制算法对所述表面图像进行处理，以生成表示对应于待作业的工业用品的表面的每个小区域的喷漆参数的编码值。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性方法

图2图示了使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法的流程图。如图2所示，根据本申请实施例的使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法，包括：S110，获取待作业的工作用品的表面图像；S120，将所述表面图像输入深度卷积神经网络，以从所述表面图像中提取出对应于所述表面图像的初始特征图并从所述深度卷积神经网络的纹理提取层提取出对应于所述表面图像的纹理特征图；S130，将所述初始特征图划分为m个局部区域，每个所述局部区域为具有预定大小的特征图；S140，计算所述m个局部区域中每两个所述局部区域之间的距离，以构建尺寸为m*m的区域间距离矩阵；S150，计算所述m个局部区域中每个所述局部区域与所述初始特征图之间的距离以获得维度为m的距离向量，并将所述距离向量乘以其转置以获得尺寸为m*m的整体距离矩阵；S160，以所述区域间距离矩阵和所述整体距离矩阵作为第一加权系数和第二加权系数分别对所述初始特征图进行加权，以获得第一加权特征图和第二加权特征图；S170，融合所述第一加权特征图、第二加权特征图和所述纹理特征图，以获得编码特征图；以及，S180，将所述编码特征图通过编码器，所述编码器的最后一层的输出位的位数为m个，以获得m个编码值，所述m个编码值用于表示对应于待作业的工业用品的表面的每个小区域的喷漆参数。

图3图示了根据本申请实施例的使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法的架构示意图。如图3所示，在所述使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法的网络架构中，首先，将获取的待作业的工作用品的表面图像(例如，如图3中所示意的IN1)通过深度卷积神经网络(例如，如图3中所示意的CNN)以从所述表面图像中提取出对应于所述表面图像的初始特征图(例如，如图3中所示意的F1)，并从所述深度卷积神经网络的纹理提取层提取出对应于所述表面图像的纹理特征图(例如，如图3中所示意的F2)；接着，将所述初始特征图划分为m个局部区域(例如，如图3中所示意的Fp1到Fpm)；接着，计算所述m个局部区域中每两个所述局部区域之间的距离，以构建尺寸为m*m的区域间距离矩阵(例如，如图3中所示意的M1)；接着，计算所述m个局部区域中每个所述局部区域与所述初始特征图之间的距离以获得维度为m的距离向量，并将所述距离向量乘以其转置以获得尺寸为m*m的整体距离矩阵(例如，如图3中所示意的M2)；接着，以所述区域间距离矩阵和所述整体距离矩阵作为第一加权系数和第二加权系数分别对所述初始特征图进行加权，以获得第一加权特征图(例如，如图3中所示意的Fw1)和第二加权特征图(例如，如图3中所示意的Fw2)；接着，融合所述第一加权特征图、第二加权特征图和所述纹理特征图，以获得编码特征图(例如，如图3中所示意的Fc)；然后，将所述编码特征图通过编码器(例如，如图3中所示意的编码器)，所述编码器的最后一层的输出位的位数为m个，以获得m个编码值。

在步骤S110中，获取待作业的工作用品的表面图像。如前所述，本申请期待基于待作业的工业用品的表面凹凸特性来适当地调整自动喷漆装置的喷漆参数，以补偿由于待作业的工业用品的表面凹凸不平所导致的工业用品的表面光滑度问题。具体地，在本申请实施例中，可通过普通相机获取所述待作业的工作用品的表面图像。

在步骤S120中，将所述表面图像输入深度卷积神经网络，以从所述表面图像中提取出对应于所述表面图像的初始特征图并从所述深度卷积神经网络的纹理提取层提取出对应于所述表面图像的纹理特征图。也就是，以深度卷积神经网络提取出所述表面图像中的各高维特征。

具体地，在本申请实施例中，从所述深度卷积神经网络的纹理提取层提取出对应于所述表面图像的纹理特征图的过程，包括：从所述深度卷积神经网络的第N层提取出对应于所述表面图像的纹理特征图，其中，N为大于等于4且小于等于6的正整数。应可以理解，待作业的工业用品的表面凹凸特性可以在视觉上直观地表现为纹理特性，因此，考虑在由卷积神经网络提取到的高维特征上进一步结合略微浅层的纹理特征。本领域普通技术人员应知晓，卷积神经网络在提取特征方面，前一到三层提取的是形状、边缘、角落等特征，后四到六层提取的是纹理特征。因此，在本申请的技术方案中，从所述深度卷积神经网络的第4到6层中提取出对应于所述表面图像的纹理特征图。

特别地，在本申请实施例中，所述深度卷积神经网络为深度残差神经网络，例如，ResNet50。本领域普通技术人员应知晓，相较于传统的卷积神经网络，深度残差网络为在传统卷积神经网络的基础上提出的一种优化网络结构，其主要解决在训练过程中的梯度消失的问题。深度残差网络引入了残差网络结构，通过残差网络结构可以把网络层弄得更深，并且，不会发生梯度消失的问题。残差网络借鉴了高速网络的跨层链接思想，其打破了传统的神经网络从N-1层的输入层只能给N层作为输入的惯例，使某一层的输出可以直接跨过几层作为后面某一层的输入，其意义在于为迭加多层网络而使得整个学习模型的错误率不降反升的难题提供了新的方向。

在步骤S130中，将所述初始特征图划分为m个局部区域，每个所述局部区域为具有预定大小的特征图。应可以理解，由于自动喷漆装置在对整个表面进行喷漆作业的工程中，需要针对每个小区域来调整喷漆参数，因为卷积神经网络的特征提取的位置不变性，可以直接将初始特征图划分为m个小区域，其中每个区域为预定大小的特征图。

在步骤S140中，计算所述m个局部区域中每两个所述局部区域之间的距离，以构建尺寸为m*m的区域间距离矩阵。应可以理解，所述m个局部区域中每两个所述局部区域之间的距离，可以表达各个小区域之间的特征关联。

具体地，在本申请实施例中，计算所述m个局部区域中每两个所述局部区域之间的距离，以构建尺寸为m*m的区域间距离矩阵的过程，包括：计算所述m个局部区域中每两个所述局部区域之间的均方差，以构建尺寸为m*m的区域间距离矩阵。本领域普通技术人员应了解，均方差又称为标准差，是方差的算术平方根，用σ表示，在概率统计中最常使用作为统计分布程度上的测量依据，能反映一个数据集的离散程度。应可以理解，在本申请中，计算所述m个局部区域中每两个所述局部区域之间的均方差，以获得所述m*m的区域间距离矩阵，所述区域间距离矩阵能够反映每两个所述局部区域之间的差异。

值得一提的是，在本申请的其他示例中，还可以通过其他方式来构建区域间距离矩阵，例如，在本申请的另一示例中，计算所述m个局部区域中每两个所述局部区域之间的距离，以构建尺寸为m*m的区域间距离矩阵的过程，包括：首先，计算所述m个局部区域中每两个所述局部区域之间的差分，以获得差分特征图，也就是，计算每两个所述局部区域之间的按像素位置的距离，以获得差分特征图，差分特征图表现两个局部区域在高维隐含空间的差异。然后，对所述差分特征图进行全局平均值池化，以获得全局平均特征值作为对应两个所述局部区域之间的距离。本领域普通技术人员应了解，对所述差分特征图进行全局平均值池化，所提取的特征值更多地表征图像的背景部分，以全局平均特征值作为距离，能够引入背景信息作为信息补偿。

图4图示了根据本申请实施例的使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法中，计算所述m个局部区域中每两个所述局部区域之间的距离，以构建尺寸为m*m的区域间距离矩阵的流程图。如图4所示，在本申请实施例中，计算所述m个局部区域中每两个所述局部区域之间的距离，以构建尺寸为m*m的区域间距离矩阵，包括：S210，计算所述m个局部区域中每两个所述局部区域之间的差分，以获得差分特征图；以及，S220，对所述差分特征图进行全局平均值池化，以获得全局平均特征值作为对应两个所述局部区域之间的距离。

在步骤S150中，计算所述m个局部区域中每个所述局部区域与所述初始特征图之间的距离以获得维度为m的距离向量，并将所述距离向量乘以其转置以获得尺寸为m*m的整体距离矩阵。应可以理解，所述m个局部区域中每个所述局部区域与所述初始特征图之间的距离，可以表达各个小区域与整个区域的整体之间的特征关联。

具体地，在本申请实施例中，计算所述m个局部区域中每个所述局部区域与所述初始特征图之间的距离以获得维度为m的距离向量，并将所述距离向量乘以其转置以获得尺寸为m*m的整体距离矩阵的过程，包括：计算所述m个局部区域中每个所述局部区域与所述初始特征图之间的均方差以获得维度为m的距离向量，并将所述距离向量乘以其转置以获得尺寸为m*m的整体距离矩阵。也就是，计算所述m个局部区域分别与该初始特征图之间的均方差作为距离，以获得维度为m的距离向量，将所述距离向量乘以其转置以获得尺寸为m*m的整体距离矩阵，所述整体距离矩阵能够反映每个所述局部区域与整体区域之间的差异。

在步骤S160中，以所述区域间距离矩阵和所述整体距离矩阵作为第一加权系数和第二加权系数分别对所述初始特征图进行加权，以获得第一加权特征图和第二加权特征图。应可以理解，以所述区域间距离矩阵和所述整体距离矩阵作为第一加权系数和第二加权系数分别对所述初始特征图进行加权，获得的第一加权特征图充分融合了各个小区域之间的特征关联信息，获得的第二加权特征图充分融合了各个小区域与整个区域的整体之间的特征关联信息。

具体地，在本申请实施例中，以所述区域间距离矩阵和所述整体距离矩阵作为第一加权系数和第二加权系数分别对所述初始特征图进行加权，以获得第一加权特征图和第二加权特征图的过程，包括：首先，分别计算所述初始特征图中每个局部区域内的所有位置的特征值的平均值，以获得尺寸为m*m的降维特征图，也就是，对所述初始特征图中每个局部区域进行平均值池化，通过平均值池化，可以将初始特征图的尺寸缩减为与区域间距离矩阵和整体距离矩阵保持一致，以便于后续计算。接着，计算所述区域间距离矩阵与所述降维特征图之间的按像素位置的点加，以获得所述第一加权特征图。然后，计算所述整体距离矩阵与所述降维特征图之间的按像素位置的点加，以获得所述第二加权特征图。

图5图示了根据本申请实施例的使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法中，以所述区域间距离矩阵和所述整体距离矩阵作为第一加权系数和第二加权系数分别对所述初始特征图进行加权，以获得第一加权特征图和第二加权特征图的流程图。如图5所示，在本申请实施例中，以所述区域间距离矩阵和所述整体距离矩阵作为第一加权系数和第二加权系数分别对所述初始特征图进行加权，以获得第一加权特征图和第二加权特征图，包括：S310，分别计算所述初始特征图中每个局部区域内的所有位置的特征值的平均值，以获得尺寸为m*m的降维特征图；S320，计算所述区域间距离矩阵与所述降维特征图之间的按像素位置的点加，以获得所述第一加权特征图；以及，S330，计算所述整体距离矩阵与所述降维特征图之间的按像素位置的点加，以获得所述第二加权特征图。

在步骤S170中，融合所述第一加权特征图、第二加权特征图和所述纹理特征图，以获得编码特征图。应可以理解，由于待作业的工业用品的表面凹凸特性可以在视觉上直观地表现为纹理特性，且自动喷漆装置在对整个表面进行喷漆作业的工程中，需要针对每个小区域来调整喷漆参数，因此，在基于深度学习的计算机视觉技术来获得用于补偿的自动喷漆装置的喷漆参数的过程中，需要考虑待作业的工作用品的表面图像略微浅层的纹理特征并结合各个小区域之间的特征关联以及与整个区域的整体之间的特征关联。因此，在本申请中，对所述第一加权特征图、第二加权特征图和所述纹理特征图进行融合以获得编码特征图。

在步骤S180中，将所述编码特征图通过编码器，所述编码器的最后一层的输出位的位数为m个，以获得m个编码值，所述m个编码值用于表示对应于待作业的工业用品的表面的每个小区域的喷漆参数。也就是，采用编码器对所述编码特征图进行编码，以充分利用编码特征图中各个位置的信息，以获得编码值。具体地，在本申请实施例中，所述编码器为深度全连接神经网络，所述深度全连接神经网络包括多个全连接层，并且，全部都是全连接层，所述多个全连接层中的最后一层的输出位数为m，以获得m个编码值。应可以理解，所述编码器全部都是全连接层，可以减少编码过程中的信息损失，这样，提高编码精度。

综上，本申请实施例的使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法被阐明，其基于深度神经网络对提取到的待作业的工业用品的表面凹凸特性的高维特征进行编码，以获得用于补偿的自动喷漆装置的喷漆参数。具体地，在编码过程中，通过计算表达各个小区域之间的特征关联以及与整个区域的整体之间的特征关联的距离矩阵，并将所述距离矩阵与工业用品的表面的纹理特征进一步加权融合再通过编码器编码，这样，获得的编码值可根据待作业的工业用品的表面凹凸特性来智能控制自动喷漆装置的喷漆参数。

示例性系统

图6图示了根据本申请实施例的使用距离矩阵加权特征的智能区域补偿喷漆参数控制系统的框图。

如图6所示，根据本申请实施例的使用距离矩阵加权特征的智能区域补偿喷漆参数控制系统600，包括：图像获取单元610，用于获取待作业的工作用品的表面图像；特征图提取单元620，用于将所述图像获取单元610获得的所述表面图像输入深度卷积神经网络，以从所述表面图像中提取出对应于所述表面图像的初始特征图并从所述深度卷积神经网络的纹理提取层提取出对应于所述表面图像的纹理特征图；局部区域划分单元630，用于将所述特征图提取单元620获得的所述初始特征图划分为m个局部区域，每个所述局部区域为具有预定大小的特征图；区域间距离矩阵生成单元640，用于计算所述局部区域划分单元630获得的所述m个局部区域中每两个所述局部区域之间的距离，以构建尺寸为m*m的区域间距离矩阵；整体距离矩阵生成单元650，用于计算所述局部区域划分单元630获得的所述m个局部区域中每个所述局部区域与所述特征图提取单元620获得的所述初始特征图之间的距离以获得维度为m的距离向量，并将所述距离向量乘以其转置以获得尺寸为m*m的整体距离矩阵；加权特征图生成单元660，用于以所述区域间距离矩阵生成单元640获得的所述区域间距离矩阵和所述整体距离矩阵生成单元650获得的所述整体距离矩阵作为第一加权系数和第二加权系数分别对所述初始特征图进行加权，以获得第一加权特征图和第二加权特征图；编码特征图生成单元670，用于融合所述加权特征图生成单元660获得的所述第一加权特征图、第二加权特征图和所述特征图提取单元620获得的所述纹理特征图，以获得编码特征图；以及，编码值生成单元680，用于将所述编码特征图生成单元670获得的所述编码特征图通过编码器，所述编码器的最后一层的输出位的位数为m个，以获得m个编码值，所述m个编码值用于表示对应于待作业的工业用品的表面的每个小区域的喷漆参数。

在一个示例中，在上述智能控制系统600中，所述特征图提取单元620，进一步用于：从所述深度卷积神经网络的第N层提取出对应于所述表面图像的纹理特征图，其中，N为大于等于4且小于等于6的正整数。

在一个示例中，在上述智能控制系统600中，所述区域间距离矩阵生成单元640，进一步用于：计算所述m个局部区域中每两个所述局部区域之间的均方差，以构建尺寸为m*m的区域间距离矩阵。

在另一个示例中，在上述智能控制系统600中，如图7所示，所述区域间距离矩阵生成单元640，包括：差分特征图生成子单元641，用于计算所述m个局部区域中每两个所述局部区域之间的差分，以获得差分特征图；以及，池化子单元642，用于对所述差分特征图生成子单元641获得的所述差分特征图进行全局平均值池化，以获得全局平均特征值作为对应两个所述局部区域之间的距离。

在一个示例中，在上述智能控制系统600中，所述整体距离矩阵生成单元650，进一步用于：计算所述m个局部区域中每个所述局部区域与所述初始特征图之间的均方差以获得维度为m的距离向量，并将所述距离向量乘以其转置以获得尺寸为m*m的整体距离矩阵。

在一个示例中，在上述智能控制系统600中，如图8所示，所述加权特征图生成单元660，包括：降维特征图生成子单元661，用于分别计算所述初始特征图中每个局部区域内的所有位置的特征值的平均值，以获得尺寸为m*m的降维特征图；第一加权特征图生成子单元662，用于计算所述区域间距离矩阵与所述降维特征图生成子单元661获得的所述降维特征图之间的按像素位置的点加，以获得所述第一加权特征图；以及，第二加权特征图生成子单元663，用于计算所述整体距离矩阵与所述降维特征图生成子单元661获得的所述降维特征图之间的按像素位置的点加，以获得所述第二加权特征图。

在一个示例中，在上述智能控制系统600中，所述编码器为深度全连接神经网络。

这里，本领域技术人员可以理解，上述智能控制系统600中的各个单元和模块的具体功能和操作已经在上面参考图1到图5的使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法的描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本申请实施例的智能控制系统600可以实现在各种终端设备中，例如用于补偿自动喷漆装置的喷漆参数的服务器等。在一个示例中，根据本申请实施例的智能控制系统600可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该智能控制系统600可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该智能控制系统600同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该智能控制系统600与该终端设备也可以是分立的设备，并且该智能控制系统600可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

示例性电子设备

下面，参考图9来描述根据本申请实施例的电子设备。

图9图示了根据本申请实施例的电子设备的框图。

如图9所示，电子设备包括10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如区域间距离矩阵、整体距离矩阵等各种内容。

在一个示例中，电子设备10还可以包括：输入系统13和输出系统14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入系统13可以包括例如键盘、鼠标等等。

该输出系统14可以向外部输出各种信息，包括编码值等。该输出系统14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图9中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

Claims (10)

1.一种使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法，其特征在于，包括：

获取待作业的工作用品的表面图像；

将所述表面图像输入深度卷积神经网络，以从所述表面图像中提取出对应于所述表面图像的初始特征图并从所述深度卷积神经网络的纹理提取层提取出对应于所述表面图像的纹理特征图；

将所述初始特征图划分为m个局部区域，每个所述局部区域为具有预定大小的特征图；

计算所述m个局部区域中每两个所述局部区域之间的距离，以构建尺寸为m*m的区域间距离矩阵；

计算所述m个局部区域中每个所述局部区域与所述初始特征图之间的距离以获得维度为m的距离向量，并将所述距离向量乘以其转置以获得尺寸为m*m的整体距离矩阵；

以所述区域间距离矩阵和所述整体距离矩阵作为第一加权系数和第二加权系数分别对所述初始特征图进行加权，以获得第一加权特征图和第二加权特征图；

融合所述第一加权特征图、第二加权特征图和所述纹理特征图，以获得编码特征图；

将所述编码特征图通过编码器，所述编码器的最后一层的输出位的位数为m个，以获得m个编码值，所述m个编码值用于表示对应于待作业的工业用品的表面的每个小区域的喷漆参数。

2.根据权利要求1所述的使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法，其中，从所述深度卷积神经网络的纹理提取层提取出对应于所述表面图像的纹理特征图，包括：

从所述深度卷积神经网络的第N层提取出对应于所述表面图像的纹理特征图，其中，N为大于等于4且小于等于6的正整数。

3.根据权利要求1所述的使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法，其中，计算所述m个局部区域中每两个所述局部区域之间的距离，以构建尺寸为m*m的区域间距离矩阵，包括：

计算所述m个局部区域中每两个所述局部区域之间的均方差，以构建尺寸为m*m的区域间距离矩阵。

4.根据权利要求1所述的使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法，其中，计算所述m个局部区域中每两个所述局部区域之间的距离，以构建尺寸为m*m的区域间距离矩阵，包括：

计算所述m个局部区域中每两个所述局部区域之间的差分，以获得差分特征图；以及

对所述差分特征图进行全局平均值池化，以获得全局平均特征值作为对应两个所述局部区域之间的距离。

5.根据权利要求1所述的使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法，其中，计算所述m个局部区域中每个所述局部区域与所述初始特征图之间的距离以获得维度为m的距离向量，并将所述距离向量乘以其转置以获得尺寸为m*m的整体距离矩阵，包括：

计算所述m个局部区域中每个所述局部区域与所述初始特征图之间的均方差以获得维度为m的距离向量，并将所述距离向量乘以其转置以获得尺寸为m*m的整体距离矩阵。

6.根据权利要求1所述的使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法，其中，以所述区域间距离矩阵和所述整体距离矩阵作为第一加权系数和第二加权系数分别对所述初始特征图进行加权，以获得第一加权特征图和第二加权特征图，包括：

分别计算所述初始特征图中每个局部区域内的所有位置的特征值的平均值，以获得尺寸为m*m的降维特征图；

计算所述区域间距离矩阵与所述降维特征图之间的按像素位置的点加，以获得所述第一加权特征图；以及

计算所述整体距离矩阵与所述降维特征图之间的按像素位置的点加，以获得所述第二加权特征图。

7.根据权利要求1所述的使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法，其中，所述编码器为深度全连接神经网络。

8.一种使用距离矩阵加权特征的智能区域补偿喷漆参数控制系统，其特征在于，包括：

图像获取单元，用于获取待作业的工作用品的表面图像；

特征图提取单元，用于将所述图像获取单元获得的所述表面图像输入深度卷积神经网络，以从所述表面图像中提取出对应于所述表面图像的初始特征图并从所述深度卷积神经网络的纹理提取层提取出对应于所述表面图像的纹理特征图；

局部区域划分单元，用于将所述特征图提取单元获得的所述初始特征图划分为m个局部区域，每个所述局部区域为具有预定大小的特征图；

区域间距离矩阵生成单元，用于计算所述局部区域划分单元获得的所述m个局部区域中每两个所述局部区域之间的距离，以构建尺寸为m*m的区域间距离矩阵；

整体距离矩阵生成单元，用于计算所述局部区域划分单元获得的所述m个局部区域中每个所述局部区域与所述特征图提取单元获得的所述初始特征图之间的距离以获得维度为m的距离向量，并将所述距离向量乘以其转置以获得尺寸为m*m的整体距离矩阵；

加权特征图生成单元，用于以所述区域间距离矩阵生成单元获得的所述区域间距离矩阵和所述整体距离矩阵生成单元获得的所述整体距离矩阵作为第一加权系数和第二加权系数分别对所述初始特征图进行加权，以获得第一加权特征图和第二加权特征图；

编码特征图生成单元，用于融合所述加权特征图生成单元获得的所述第一加权特征图、第二加权特征图和所述特征图提取单元获得的所述纹理特征图，以获得编码特征图；以及

编码值生成单元，用于将所述编码特征图生成单元获得的所述编码特征图通过编码器，所述编码器的最后一层的输出位的位数为m个，以获得m个编码值，所述m个编码值用于表示对应于待作业的工业用品的表面的每个小区域的喷漆参数。

9.根据权利要求8所述的使用距离矩阵加权特征的智能区域补偿喷漆参数控制系统，其中，所述区域间距离矩阵生成单元，包括：

差分特征图生成子单元，用于计算所述m个局部区域中每两个所述局部区域之间的差分，以获得差分特征图；以及

池化子单元，用于对所述差分特征图生成子单元获得的所述差分特征图进行全局平均值池化，以获得全局平均特征值作为对应两个所述局部区域之间的距离。

10.一种电子设备，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-7中任一项所述的使用距离矩阵加权特征的智能区域补偿喷漆参数控制方法。

Images