CN116858509A - 汽车零部件用加工系统及其方法 - Google Patents

Abstract

本申请涉及智能检测技术领域，且更为具体地公开了一种汽车零部件用加工系统及其方法，其通过模拟不同的环境温度，观测其对汽车零部件状态的影响，将环境温度信息和汽车零部件状态信息结合起来，以评估汽车零部件在极端温度下的性能和稳定性，判断该零部件的质量是否符合标准。该方案可以有效提高产品的安全性，对汽车零部件状态进行自动化的质量检测，提高生产效率和产品质量，并且避免人工质检的主观性和误差性，提高质检效率和准确率。

Description

汽车零部件用加工系统及其方法

技术领域

本申请涉及智能检测技术领域，且更为具体地，涉及一种汽车零部件用加工系统及其方法。

背景技术

汽车零部件在实际使用过程中可能会经受到复杂的温度变化，如高温、低温等。高温环境会产生热效应，使汽车零部件出现软化、膨胀、气化、龟裂、溶融及老化等现象；低温环境会使汽车零部件出现物理收缩、机械强度降低、脆化及结冰等现象。这些温度变化会对零部件的性能表现、稳定性以及使用寿命产生较大影响。

汽车部件质量的优劣直接决定整车的质量，为了确保汽车零部件实际使用中在极端的温度环境下仍然具有正常的功能和性能，必须对其进行质量检测。

因此，期待一种汽车零部件用加工系统及其方法。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种汽车零部件用加工系统及其方法，其通过模拟不同的环境温度，观测其对汽车零部件状态的影响，将环境温度信息和汽车零部件状态信息结合起来，以评估汽车零部件在极端温度下的性能和稳定性，判断该零部件的质量是否符合标准。该方案可以有效提高产品的安全性，对汽车零部件状态进行自动化的质量检测，提高生产效率和产品质量，并且避免人工质检的主观性和误差性，提高质检效率和准确率。

相应地，根据本申请的一个方面，提供了一种汽车零部件用加工系统，其包括：

数据采集模块，用于获取由摄像头采集的预定时间段内的汽车零部件状态监控视频，以及所述预定时间段内多个预定时间点的环境温度值；

关键帧提取模块，用于从所述汽车零部件状态监控视频提取多个零部件状态关键帧；

零部件状态变化特征提取模块，用于将所述多个零部件状态关键帧排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络模型以得到零部件状态变化特征图；

空间增强模块，用于将所述零部件状态变化特征图通过空间注意力模块以得到增强零部件状态变化特征图；

降维模块，用于对所述增强零部件状态变化特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到增强零部件状态变化特征向量；

多尺度温度特征提取模块，用于将所述预定时间内的多个预定时间点的温度值按照时间维度排列为温度输入向量后通过多尺度邻域特征提取模块以得到温度特征向量；

空间联立模块，用于对所述增强零部件状态变化特征向量和所述温度特征向量进行基于特征集合的各子维度之间的空间联立投影以得到分类特征矩阵；以及

管理结果生成模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果表示该汽车零部件的质量是否合格。

在上述汽车零部件用加工系统中，所述关键帧提取模块，用于：以预定采样频率从所述汽车零部件状态监控视频提取多个零部件状态关键帧。

在上述汽车零部件用加工系统中，所述零部件状态变化特征提取模块，包括：使用所述使用三维卷积核的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述使用三维卷积核的第一卷积神经网络的最后一层的输出为所述零部件状态变化特征图，所述使用三维卷积核的第一卷积神经网络的第一层的输入为所述三维特征张量。

在上述汽车零部件用加工系统中，所述空间增强模块，包括：深度卷积编码单元，用于使用所述空间注意力模块的卷积编码部分对所述零部件状态变化特征图进行深度卷积编码以得到初始卷积特征图；空间注意力单元，用于将所述初始卷积特征图输入所述空间注意力模块的空间注意力部分以得到空间注意力图；激活单元，用于将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；以及，计算单元，用于计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到所述增强零部件状态变化特征图。

在上述汽车零部件用加工系统中，所述多尺度邻域特征提取模块，包括：第一卷积层、与所述第一卷积层并行的第二卷积层，以及，与所述第一卷积层和所述第二卷积层连接的级联层，其中，所述第一卷积层使用具有第一尺度的一维卷积核，所述第二卷积核使用具有第二尺度的一维卷积核。

在上述汽车零部件用加工系统中，所述多尺度温度特征提取模块，包括：第一尺度温度特征提取单元，用于将所述温度输入向量输入所述多尺度邻域特征提取模块的第一卷积层以得到第一尺度温度特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核；第二尺度温度特征提取单元，用于将所述温度输入向量输入所述多尺度邻域特征提取模块的第二卷积层以得到第二尺度温度特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及，多尺度级联单元，用于将所述第一尺度温度特征向量和所述第二尺度温度特征向量进行级联以得到所述温度特征向量。

在上述汽车零部件用加工系统中，所述空间联立模块，包括：计算所述增强零部件状态变化特征向量和所述温度特征向量之间的协方差矩阵；对所述协方差矩阵进行特征值分解以得到多个特征值和与所述多个特征值对应的多个特征向量；以及，将所述多个特征向量排列为核心特征矩阵，并计算所述协方差矩阵与所述核心特征矩阵之间的矩阵乘积以得到所述分类特征矩阵。

根据本申请的另一个方面，提供了一种汽车零部件用加工方法，其包括：

获取由摄像头采集的预定时间段内的汽车零部件状态监控视频，以及所述预定时间段内多个预定时间点的环境温度值；

从所述汽车零部件状态监控视频提取多个零部件状态关键帧；

将所述多个零部件状态关键帧排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络模型以得到零部件状态变化特征图；

将所述零部件状态变化特征图通过空间注意力模块以得到增强零部件状态变化特征图；

对所述增强零部件状态变化特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到增强零部件状态变化特征向量；

将所述预定时间内的多个预定时间点的温度值按照时间维度排列为温度输入向量后通过多尺度邻域特征提取模块以得到温度特征向量；

对所述增强零部件状态变化特征向量和所述温度特征向量进行基于特征集合的各子维度之间的空间联立投影以得到分类特征矩阵；以及

将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果表示该汽车零部件的质量是否合格。

在上述汽车零部件用加工方法中，从所述汽车零部件状态监控视频提取多个零部件状态关键帧，用于：以预定采样频率从所述汽车零部件状态监控视频提取多个零部件状态关键帧。

在上述汽车零部件用加工方法中，将所述多个零部件状态关键帧排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络模型以得到零部件状态变化特征图，包括：使用所述使用三维卷积核的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述使用三维卷积核的第一卷积神经网络的最后一层的输出为所述零部件状态变化特征图，所述使用三维卷积核的第一卷积神经网络的第一层的输入为所述三维特征张量。

与现有技术相比，本申请提供的汽车零部件用加工系统及其方法，其通过模拟不同的环境温度，观测其对汽车零部件状态的影响，将环境温度信息和汽车零部件状态信息结合起来，以评估汽车零部件在极端温度下的性能和稳定性，判断该零部件的质量是否符合标准。该方案可以有效提高产品的安全性，对汽车零部件状态进行自动化的质量检测，提高生产效率和产品质量，并且避免人工质检的主观性和误差性，提高质检效率和准确率。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的汽车零部件用加工系统的应用场景图。

图2为根据本申请实施例的汽车零部件用加工系统的框图。

图3为根据本申请实施例的汽车零部件用加工系统的架构示意图。

图4为根据本申请实施例的汽车零部件用加工系统中空间增强模块的框图。

图5为根据本申请实施例的汽车零部件用加工系统中多尺度温度特征提取模块的框图。

图6为根据本申请实施例的汽车零部件用加工方法的流程图。

图7为根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

针对上述问题，本申请的技术构思是通过模拟不同的环境温度，观测其对汽车零部件状态的影响，将环境温度信息和汽车零部件状态信息结合起来，以评估汽车零部件在极端温度下的性能和稳定性，判断该零部件的质量是否符合标准。该方案可以有效提高产品的安全性，对汽车零部件状态进行自动化的质量检测，提高生产效率和产品质量，并且避免人工质检的主观性和误差性，提高质检效率和准确率。

在汽车生产过程中，为了确保零部件具有良好的耐久性和可靠性，需要进行严格的质量检测。而在极端温度环境下，汽车零部件的性能和稳定性可能会受到影响，因此需要对其在不同温度条件下的工作状态进行实时监测和评估。因此，通过获取由摄像头采集的预定时间段内的汽车零部件状态监控视频，以及所述预定时间段内多个预定时间点的环境温度值，可以全面、准确地评估汽车零部件在极端温度环境下的性能和稳定性。

在汽车生产过程中，为了保证零部件的质量和可靠性，需要对其在不同工作状态下的表现进行测试和分析。而汽车零部件状态监控视频可以提供零部件的状态信息，但由于视频数据量大且包含冗余信息，因此需要从其中提取关键帧，即具有代表性和重要性的帧，以便更加准确地描述和分析汽车零部件的工作状态。

在该方案中，将提取的多个零部件状态关键帧按时间轴排列成为三维张量，并通过使用三维卷积核的第一卷积神经网络模型进行特征提取和计算，可以得到用于表示零部件状态变化特征的特征图。这些特征图反映了零部件在不同时间点的状态变化情况，可用于判断零部件是否正常运行、是否受到异常或损伤，以及是否存在潜在的质量问题等。具体而言，通过使用卷积神经网络模型，可以自动地学习零部件状态变化的特征信息，并提取出与汽车零部件质量相关的有效特征。然后，通过进一步的处理和分析，可以得到更加准确和全面的汽车零部件状态变化特征，从而实现对其性能和稳定性的评估。

在前面的步骤中，我们已经得到了用于表示零部件状态变化特征的特征图。但是，在特征图中存在许多无关信息和噪声，这些信息会对后续的分类和质检操作产生干扰和影响。因此，需要对特征图进行进一步的处理和优化，以提取出与汽车零部件质量相关的有效特征，并去除无关信息和噪声。在该方案中，采用了空间注意力模块来增强零部件状态变化特征图，其主要作用是对特征图进行加权平均池化，从而突出重点区域的特征信息，去除噪声和无关信息。具体而言，空间注意力模块可以自适应地学习不同区域之间的空间关系，对每个区域的重要性进行加权处理，然后将加权结果与原始特征图相乘得到增强零部件状态变化特征图。通过使用空间注意力模块可以提高特征图的区分度和鲁棒性，使得特征更加准确、全面和可靠。

为了将复杂的特征信息转换为更加简单的向量表示，便于后续的分类和质检操作，对所述增强零部件状态变化特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到增强零部件状态变化特征向量。在该方案中，我们已经通过深度学习模型对零部件状态变化特征进行了提取和优化，得到了增强零部件状态变化特征图。但是，由于特征图的尺寸较大且包含大量的信息，不利于进一步的处理和分析。因此，需要将其转化为更加简单、紧凑的向量形式，以方便后续的分类和质检操作。在这里，采用了全局均值池化的方式来实现特征图到特征向量的转换。具体而言，对特征图沿通道维度的各个特征矩阵进行均值池化，得到增强零部件状态变化特征向量。通过使用全局均值池化可以有效地降低特征维度，使得特征更加简单、紧凑和易于处理，并且不会影响特征的区分度和鲁棒性。

在该方案中，我们需要对汽车零部件在不同温度条件下的工作状态进行监测和评估。其中，温度是影响汽车零部件性能和稳定性的重要因素之一，因此需要获取预定时间内的多个预定时间点的环境温度值，并将其按照时间维度排列为温度输入向量，采用多尺度邻域特征提取模块来提取温度特征向量。该模块可以自动地学习温度特征的空间和时间信息，并抽取与汽车零部件质量相关的有效特征。具体而言，多尺度邻域特征提取模块可以根据不同的尺度和邻域范围提取特征，从而更好地描述和分析温度变化的规律和趋势。通过使用多尺度邻域特征提取模块可以有效地提高温度特征的鲁棒性和区分度，使得温度特征更加准确、全面和可靠。

为了将不同类型的特征进行融合，并得到更加综合、全面和准确的汽车零部件质量特征表示，将所述增强零部件状态变化特征向量和所述温度特征向量进行关联编码。在该方案中，我们已经从多个角度提取和优化了汽车零部件状态变化特征和温度特征。这些特征可以反映零部件的工作状态和品质状况，对于实现对汽车零部件质量智能化监测和控制具有重要意义。但是，这些特征存在着不同的表示形式和维度，需要进行进一步的融合和编码，以便于后续的分类和质检操作。因此，我们采用了关联编码的方法来融合增强零部件状态变化特征向量和温度特征向量，得到综合的分类特征矩阵。具体而言，关联编码是一种将多个异构数据进行结合的方法，它可以自适应地学习不同特征之间的相关性和权重，并将其转换为特定的表示形式。通过使用关联编码可以将增强零部件状态变化特征向量和温度特征向量进行融合，从而得到更加全面、准确和有区分度的特征表示，便于后续的分类和质检操作。

特别地，在本申请的技术方案中，在对所述增强零部件状态变化特征向量和所述温度特征向量进行关联编码以得到分类特征矩阵时，所述分类特征矩阵用于表示零部件表面状态特征与温度时序特征的融合特征表达。通常，以计算所述增强零部件状态变化特征向量的转置向量与所述温度特征向量之间的乘积的方式来得到所述分类特征矩阵，也就是，在数据层面，所述分类特征矩阵用于表示增强零部件状态变化特征向量和所述温度特征向量之间的逐位置响应。但是，在本申请的技术方案中，所述增强零部件状态变化特征向量通过对所述多个零部件状态关键帧进行三维卷积编码、空间注意力强化和特征维度重构得到，而所述温度特征向量通过对温度值的离散分布进行多尺度一维卷积编码得到，因编码的深度、梯次和方式都存在差异，导致所述增强零部件状态变化特征向量和所述温度特征向量的各子维度之间的数据变化方向和幅度差异较大。在上述前提下，如果直接计算所述增强零部件状态变化特征向量的转置向量与所述温度特征向量之间的乘积的方式来得到所述分类特征矩阵，会使得所述分类特征矩阵在特征局部结构发生模糊或者偏差，影响所述分类特征矩阵的分类判断的精准度。

基于此，在本申请的技术方案中，对所述增强零部件状态变化特征向量和所述温度特征向量进行基于特征集合的各子维度之间的空间联立投影以得到所述分类特征矩阵。具体地，首先计算所述增强零部件状态变化特征向量和所述温度特征向量之间的协方差矩阵；进而，对所述协方差矩阵进行特征值分解以得到多个特征值和与所述多个特征值对应的多个特征向量；接着，将所述多个特征向量排列为核心特征矩阵，并计算所述协方差矩阵与所述核心特征矩阵之间的矩阵乘积以得到所述分类特征矩阵。

这样，对所述增强零部件状态变化特征向量和所述温度特征向量进行基于特征集合的各子维度之间的空间联立投影，可充分考虑所述增强零部件状态变化特征向量和所述温度特征向量的数据变化方向和幅度，使得空间联立投影得到的所述分类特征矩阵能够最大程度地保留所述增强零部件状态变化特征向量和所述温度特征向量的主要特征信息且减少数据中的噪声和冗余信息，通过这样的方式，可更好地观察和分析数据中的模式和规律。这样，提高所述分类特征矩阵的分类判断的精准度。

分类器可以根据所述分类特征矩阵学习不同特征之间的关系，建立数学模型，将样本划分成不同的类别，从而实现对汽车零部件质量的评估和分类。具体而言，分类器可以使用监督学习方法，根据已有的质检样本数据集，训练出一个能够对新样本进行分类的模型。通过将所述分类特征矩阵输入到分类器中，可以得到该汽车零部件的质量是否合格的分类结果。

图1为根据本申请实施例的汽车零部件用加工系统的应用场景图。如图1所示，在该应用场景中，首先，通过摄像头(例如，如图1中所示意的C)采集的预定时间段内的汽车零部件状态监控视频，以及，通过温度传感器(例如，如图1中所示意的T)采集的所述预定时间段内多个预定时间点的环境温度值。然后，将采集的汽车零部件状态监控视频和多个预定时间点的环境温度值输入至部署有汽车零部件用加工算法的服务器中(例如，图1中所示意的S)，其中，所述服务器能够使用所述汽车零部件用加工算法对所述汽车零部件状态监控视频和所述环境温度值进行处理以生成用于表示该汽车零部件的质量是否合格的分类结果。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统

图2为根据本申请实施例的汽车零部件用加工系统的框图。如图2所示，根据本申请实施例的汽车零部件用加工系统100，包括：数据采集模块110，用于获取由摄像头采集的预定时间段内的汽车零部件状态监控视频，以及所述预定时间段内多个预定时间点的环境温度值；关键帧提取模块120，用于从所述汽车零部件状态监控视频提取多个零部件状态关键帧；零部件状态变化特征提取模块130，用于将所述多个零部件状态关键帧排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络模型以得到零部件状态变化特征图；空间增强模块140，用于将所述零部件状态变化特征图通过空间注意力模块以得到增强零部件状态变化特征图；降维模块150，用于对所述增强零部件状态变化特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到增强零部件状态变化特征向量；多尺度温度特征提取模块160，用于将所述预定时间内的多个预定时间点的温度值按照时间维度排列为温度输入向量后通过多尺度邻域特征提取模块以得到温度特征向量；空间联立模块170，用于对所述增强零部件状态变化特征向量和所述温度特征向量进行基于特征集合的各子维度之间的空间联立投影以得到分类特征矩阵；以及，管理结果生成模块180，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果表示该汽车零部件的质量是否合格。

图3为根据本申请实施例的汽车零部件用加工系统的架构示意图。如图3所示，首先，获取由摄像头采集的预定时间段内的汽车零部件状态监控视频，以及所述预定时间段内多个预定时间点的环境温度值。然后，从所述汽车零部件状态监控视频提取多个零部件状态关键帧。接着，将所述多个零部件状态关键帧排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络模型以得到零部件状态变化特征图。其次，将所述零部件状态变化特征图通过空间注意力模块以得到增强零部件状态变化特征图。接着，对所述增强零部件状态变化特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到增强零部件状态变化特征向量。同时，将所述预定时间内的多个预定时间点的温度值按照时间维度排列为温度输入向量后通过多尺度邻域特征提取模块以得到温度特征向量。接着，对所述增强零部件状态变化特征向量和所述温度特征向量进行基于特征集合的各子维度之间的空间联立投影以得到分类特征矩阵。最后，将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果表示该汽车零部件的质量是否合格。

在上述汽车零部件用加工系统100中，所述数据采集模块110，用于获取由摄像头采集的预定时间段内的汽车零部件状态监控视频，以及所述预定时间段内多个预定时间点的环境温度值。在汽车生产过程中，为了确保零部件具有良好的耐久性和可靠性，需要进行严格的质量检测。而在极端温度环境下，汽车零部件的性能和稳定性可能会受到影响，因此需要对其在不同温度条件下的工作状态进行实时监测和评估。针对上述问题，本申请的技术构思是通过模拟不同的环境温度，观测其对汽车零部件状态的影响，将环境温度信息和汽车零部件状态信息结合起来，以评估汽车零部件在极端温度下的性能和稳定性，判断该零部件的质量是否符合标准。该方案可以有效提高产品的安全性，对汽车零部件状态进行自动化的质量检测，提高生产效率和产品质量，并且避免人工质检的主观性和误差性，提高质检效率和准确率。因此，在本申请的技术方案中，首先，获取由摄像头采集的预定时间段内的汽车零部件状态监控视频，以及所述预定时间段内多个预定时间点的环境温度值。

在上述汽车零部件用加工系统100中，所述关键帧提取模块120，用于从所述汽车零部件状态监控视频提取多个零部件状态关键帧。在汽车生产过程中，为了保证零部件的质量和可靠性，需要对其在不同工作状态下的表现进行测试和分析。而汽车零部件状态监控视频可以提供零部件的状态信息，但由于视频数据量大且包含冗余信息，因此需要从其中提取关键帧，即具有代表性和重要性的帧，以便更加准确地描述和分析汽车零部件的工作状态。在一个具体实施例中，所述关键帧提取模块120，用于以预定采样频率从所述汽车零部件状态监控视频提取多个零部件状态关键帧。

在上述汽车零部件用加工系统100中，所述零部件状态变化特征提取模块130，用于将所述多个零部件状态关键帧排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络模型以得到零部件状态变化特征图。在该方案中，将提取的多个零部件状态关键帧按时间轴排列成为三维张量，并通过使用三维卷积核的第一卷积神经网络模型进行特征提取和计算，可以得到用于表示零部件状态变化特征的特征图。这些特征图反映了零部件在不同时间点的状态变化情况，可用于判断零部件是否正常运行、是否受到异常或损伤，以及是否存在潜在的质量问题等。具体而言，通过使用卷积神经网络模型，可以自动地学习零部件状态变化的特征信息，并提取出与汽车零部件质量相关的有效特征。然后，通过进一步的处理和分析，可以得到更加准确和全面的汽车零部件状态变化特征，从而实现对其性能和稳定性的评估。

相应地，在一个具体示例中，所述零部件状态变化特征提取模块130，包括：使用所述使用三维卷积核的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述使用三维卷积核的第一卷积神经网络的最后一层的输出为所述零部件状态变化特征图，所述使用三维卷积核的第一卷积神经网络的第一层的输入为所述三维特征张量。

在上述汽车零部件用加工系统100中，所述空间增强模块140，用于将所述零部件状态变化特征图通过空间注意力模块以得到增强零部件状态变化特征图。经过前面的步骤已经得到了用于表示零部件状态变化特征的特征图。但是，在特征图中存在许多无关信息和噪声，这些信息会对后续的分类和质检操作产生干扰和影响。因此，需要对特征图进行进一步的处理和优化，以提取出与汽车零部件质量相关的有效特征，并去除无关信息和噪声。在该方案中，采用了空间注意力模块来增强零部件状态变化特征图，其主要作用是对特征图进行加权平均池化，从而突出重点区域的特征信息，去除噪声和无关信息。具体而言，空间注意力模块可以自适应地学习不同区域之间的空间关系，对每个区域的重要性进行加权处理，然后将加权结果与原始特征图相乘得到增强零部件状态变化特征图。通过使用空间注意力模块可以提高特征图的区分度和鲁棒性，使得特征更加准确、全面和可靠。

图4为根据本申请实施例的汽车零部件用加工系统中空间增强模块的框图。如图4所示，所述空间增强模块140，包括：深度卷积编码单元141，用于使用所述空间注意力模块的卷积编码部分对所述零部件状态变化特征图进行深度卷积编码以得到初始卷积特征图；空间注意力单元142，用于将所述初始卷积特征图输入所述空间注意力模块的空间注意力部分以得到空间注意力图；激活单元143，用于将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；以及，计算单元144，用于计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到所述增强零部件状态变化特征图。

在上述汽车零部件用加工系统100中，所述降维模块150，用于对所述增强零部件状态变化特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到增强零部件状态变化特征向量。为了将复杂的特征信息转换为更加简单的向量表示，便于后续的分类和质检操作，对所述增强零部件状态变化特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到增强零部件状态变化特征向量。在该方案中，我们已经通过深度学习模型对零部件状态变化特征进行了提取和优化，得到了增强零部件状态变化特征图。但是，由于特征图的尺寸较大且包含大量的信息，不利于进一步的处理和分析。因此，需要将其转化为更加简单、紧凑的向量形式，以方便后续的分类和质检操作。在这里，采用了全局均值池化的方式来实现特征图到特征向量的转换。具体而言，对特征图沿通道维度的各个特征矩阵进行均值池化，得到增强零部件状态变化特征向量。通过使用全局均值池化可以有效地降低特征维度，使得特征更加简单、紧凑和易于处理，并且不会影响特征的区分度和鲁棒性。

在上述汽车零部件用加工系统100中，所述多尺度温度特征提取模块160，用于将所述预定时间内的多个预定时间点的温度值按照时间维度排列为温度输入向量后通过多尺度邻域特征提取模块以得到温度特征向量。在该方案中，需要对汽车零部件在不同温度条件下的工作状态进行监测和评估。因此需要获取预定时间内的多个预定时间点的环境温度值，并将其按照时间维度排列为温度输入向量，采用多尺度邻域特征提取模块来提取温度特征向量。该模块可以自动地学习温度特征的空间和时间信息，并抽取与汽车零部件质量相关的有效特征。具体而言，多尺度邻域特征提取模块可以根据不同的尺度和邻域范围提取特征，从而更好地描述和分析温度变化的规律和趋势。通过使用多尺度邻域特征提取模块可以有效地提高温度特征的鲁棒性和区分度，使得温度特征更加准确、全面和可靠。

相应地，在一个具体示例中，所述多尺度邻域特征提取模块，包括：第一卷积层、与所述第一卷积层并行的第二卷积层，以及，与所述第一卷积层和所述第二卷积层连接的级联层，其中，所述第一卷积层使用具有第一尺度的一维卷积核，所述第二卷积核使用具有第二尺度的一维卷积核。

图5为根据本申请实施例的汽车零部件用加工系统中多尺度温度特征提取模块的框图。如图5所示，所述多尺度温度特征提取模块160，包括：第一尺度温度特征提取单元161，用于将所述温度输入向量输入所述多尺度邻域特征提取模块的第一卷积层以得到第一尺度温度特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核；第二尺度温度特征提取单元162，用于将所述温度输入向量输入所述多尺度邻域特征提取模块的第二卷积层以得到第二尺度温度特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及，多尺度级联单元163，用于将所述第一尺度温度特征向量和所述第二尺度温度特征向量进行级联以得到所述温度特征向量。

在上述汽车零部件用加工系统100中，所述空间联立模块170，用于对所述增强零部件状态变化特征向量和所述温度特征向量进行基于特征集合的各子维度之间的空间联立投影以得到分类特征矩阵。为了将不同类型的特征进行融合，并得到更加综合、全面和准确的汽车零部件质量特征表示，将所述增强零部件状态变化特征向量和所述温度特征向量进行关联编码。在该方案中，我们已经从多个角度提取和优化了汽车零部件状态变化特征和温度特征。这些特征可以反映零部件的工作状态和品质状况，对于实现对汽车零部件质量智能化监测和控制具有重要意义。但是，这些特征存在着不同的表示形式和维度，需要进行进一步的融合和编码，以便于后续的分类和质检操作。因此，我们采用了关联编码的方法来融合增强零部件状态变化特征向量和温度特征向量，得到综合的分类特征矩阵。具体而言，关联编码是一种将多个异构数据进行结合的方法，它可以自适应地学习不同特征之间的相关性和权重，并将其转换为特定的表示形式。通过使用关联编码可以将增强零部件状态变化特征向量和温度特征向量进行融合，从而得到更加全面、准确和有区分度的特征表示，便于后续的分类和质检操作。

特别地，在本申请的技术方案中，在对所述增强零部件状态变化特征向量和所述温度特征向量进行关联编码以得到分类特征矩阵时，所述分类特征矩阵用于表示零部件表面状态特征与温度时序特征的融合特征表达。通常，以计算所述增强零部件状态变化特征向量的转置向量与所述温度特征向量之间的乘积的方式来得到所述分类特征矩阵，也就是，在数据层面，所述分类特征矩阵用于表示增强零部件状态变化特征向量和所述温度特征向量之间的逐位置响应。但是，在本申请的技术方案中，所述增强零部件状态变化特征向量通过对所述多个零部件状态关键帧进行三维卷积编码、空间注意力强化和特征维度重构得到，而所述温度特征向量通过对温度值的离散分布进行多尺度一维卷积编码得到，因编码的深度、梯次和方式都存在差异，导致所述增强零部件状态变化特征向量和所述温度特征向量的各子维度之间的数据变化方向和幅度差异较大。在上述前提下，如果直接计算所述增强零部件状态变化特征向量的转置向量与所述温度特征向量之间的乘积的方式来得到所述分类特征矩阵，会使得所述分类特征矩阵在特征局部结构发生模糊或者偏差，影响所述分类特征矩阵的分类判断的精准度。

基于此，在本申请的技术方案中，对所述增强零部件状态变化特征向量和所述温度特征向量进行基于特征集合的各子维度之间的空间联立投影以得到所述分类特征矩阵。具体地，首先计算所述增强零部件状态变化特征向量和所述温度特征向量之间的协方差矩阵；进而，对所述协方差矩阵进行特征值分解以得到多个特征值和与所述多个特征值对应的多个特征向量；接着，将所述多个特征向量排列为核心特征矩阵，并计算所述协方差矩阵与所述核心特征矩阵之间的矩阵乘积以得到所述分类特征矩阵。

这样，对所述增强零部件状态变化特征向量和所述温度特征向量进行基于特征集合的各子维度之间的空间联立投影，可充分考虑所述增强零部件状态变化特征向量和所述温度特征向量的数据变化方向和幅度，使得空间联立投影得到的所述分类特征矩阵能够最大程度地保留所述增强零部件状态变化特征向量和所述温度特征向量的主要特征信息且减少数据中的噪声和冗余信息，通过这样的方式，可更好地观察和分析数据中的模式和规律。这样，提高所述分类特征矩阵的分类判断的精准度。

在上述汽车零部件用加工系统100中，所述管理结果生成模块180，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果表示该汽车零部件的质量是否合格。分类器可以根据所述分类特征矩阵学习不同特征之间的关系，建立数学模型，将样本划分成不同的类别，从而实现对汽车零部件质量的评估和分类。具体而言，分类器可以使用监督学习方法，根据已有的质检样本数据集，训练出一个能够对新样本进行分类的模型。通过将所述分类特征矩阵输入到分类器中，可以得到该汽车零部件的质量是否合格的分类结果。

综上，根据本申请实施例的汽车零部件用加工系统被阐明，其通过模拟不同的环境温度，观测其对汽车零部件状态的影响，将环境温度信息和汽车零部件状态信息结合起来，以评估汽车零部件在极端温度下的性能和稳定性，判断该零部件的质量是否符合标准。该方案可以有效提高产品的安全性，对汽车零部件状态进行自动化的质量检测，提高生产效率和产品质量，并且避免人工质检的主观性和误差性，提高质检效率和准确率。

示例性方法

图6为根据本申请实施例的汽车零部件用加工方法的流程图。如图6所示，根据本申请实施例的汽车零部件用加工方法，包括步骤：S110，获取由摄像头采集的预定时间段内的汽车零部件状态监控视频，以及所述预定时间段内多个预定时间点的环境温度值；S120，从所述汽车零部件状态监控视频提取多个零部件状态关键帧；S130，将所述多个零部件状态关键帧排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络模型以得到零部件状态变化特征图；S140，将所述零部件状态变化特征图通过空间注意力模块以得到增强零部件状态变化特征图；S150，对所述增强零部件状态变化特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到增强零部件状态变化特征向量；S160，将所述预定时间内的多个预定时间点的温度值按照时间维度排列为温度输入向量后通过多尺度邻域特征提取模块以得到温度特征向量；S170，对所述增强零部件状态变化特征向量和所述温度特征向量进行基于特征集合的各子维度之间的空间联立投影以得到分类特征矩阵；以及，S180，将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果表示该汽车零部件的质量是否合格。

在一个具体示例中，在上述汽车零部件用加工方法中，所述步骤S120，从所述汽车零部件状态监控视频提取多个零部件状态关键帧，用于：以预定采样频率从所述汽车零部件状态监控视频提取多个零部件状态关键帧。

在一个具体示例中，在上述汽车零部件用加工方法中，所述步骤S130，将所述多个零部件状态关键帧排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络模型以得到零部件状态变化特征图，包括：使用所述使用三维卷积核的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述使用三维卷积核的第一卷积神经网络的最后一层的输出为所述零部件状态变化特征图，所述使用三维卷积核的第一卷积神经网络的第一层的输入为所述三维特征张量。

在一个具体示例中，在上述汽车零部件用加工方法中，所述步骤S140，将所述零部件状态变化特征图通过空间注意力模块以得到增强零部件状态变化特征图，包括：使用所述空间注意力模块的卷积编码部分对所述零部件状态变化特征图进行深度卷积编码以得到初始卷积特征图；将所述初始卷积特征图输入所述空间注意力模块的空间注意力部分以得到空间注意力图；将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；以及，计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到所述增强零部件状态变化特征图。

在一个具体示例中，在上述汽车零部件用加工方法中，所述多尺度邻域特征提取模块，包括：第一卷积层、与所述第一卷积层并行的第二卷积层，以及，与所述第一卷积层和所述第二卷积层连接的级联层，其中，所述第一卷积层使用具有第一尺度的一维卷积核，所述第二卷积核使用具有第二尺度的一维卷积核。

在一个具体示例中，在上述汽车零部件用加工方法中，所述步骤S160，将所述预定时间内的多个预定时间点的温度值按照时间维度排列为温度输入向量后通过多尺度邻域特征提取模块以得到温度特征向量，包括：将所述温度输入向量输入所述多尺度邻域特征提取模块的第一卷积层以得到第一尺度温度特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核；将所述温度输入向量输入所述多尺度邻域特征提取模块的第二卷积层以得到第二尺度温度特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及，将所述第一尺度温度特征向量和所述第二尺度温度特征向量进行级联以得到所述温度特征向量。

在一个具体示例中，在上述汽车零部件用加工方法中，所述步骤S170，对所述增强零部件状态变化特征向量和所述温度特征向量进行基于特征集合的各子维度之间的空间联立投影以得到分类特征矩阵，包括：计算所述增强零部件状态变化特征向量和所述温度特征向量之间的协方差矩阵；对所述协方差矩阵进行特征值分解以得到多个特征值和与所述多个特征值对应的多个特征向量；以及，将所述多个特征向量排列为核心特征矩阵，并计算所述协方差矩阵与所述核心特征矩阵之间的矩阵乘积以得到所述分类特征矩阵。

这里，本领域技术人员可以理解，上述汽车零部件用加工方法中的各个步骤的具体操作已经在上面参考图2到图5的汽车零部件用加工系统的描述中得到了详细介绍，并因此，将省略其重复描述。

示例性电子设备

下面，参考图7来描述根据本申请实施例的电子设备。图7为根据本申请实施例的电子设备的框图。如图7所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的汽车零部件用加工系统中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如汽车零部件状态监控视频和环境温度值等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入装置13可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括分类结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图7中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的汽车零部件用加工方法中的功能中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的汽车零部件用加工方法中的功能中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

Claims (10)

1.一种汽车零部件用加工系统，其特征在于，包括：

数据采集模块，用于获取由摄像头采集的预定时间段内的汽车零部件状态监控视频，以及所述预定时间段内多个预定时间点的环境温度值；

关键帧提取模块，用于从所述汽车零部件状态监控视频提取多个零部件状态关键帧；

零部件状态变化特征提取模块，用于将所述多个零部件状态关键帧排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络模型以得到零部件状态变化特征图；

空间增强模块，用于将所述零部件状态变化特征图通过空间注意力模块以得到增强零部件状态变化特征图；

降维模块，用于对所述增强零部件状态变化特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到增强零部件状态变化特征向量；

多尺度温度特征提取模块，用于将所述预定时间内的多个预定时间点的温度值按照时间维度排列为温度输入向量后通过多尺度邻域特征提取模块以得到温度特征向量；

空间联立模块，用于对所述增强零部件状态变化特征向量和所述温度特征向量进行基于特征集合的各子维度之间的空间联立投影以得到分类特征矩阵；以及

管理结果生成模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果表示该汽车零部件的质量是否合格。

2.根据权利要求1所述的汽车零部件用加工系统，其特征在于，所述关键帧提取模块，用于：以预定采样频率从所述汽车零部件状态监控视频提取多个零部件状态关键帧。

3.根据权利要求2所述的汽车零部件用加工系统，其特征在于，所述零部件状态变化特征提取模块，包括：使用所述使用三维卷积核的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：

对输入数据进行卷积处理以得到卷积特征图；

对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及

对所述池化特征图进行非线性激活以得到激活特征图；

其中，所述使用三维卷积核的第一卷积神经网络的最后一层的输出为所述零部件状态变化特征图，所述使用三维卷积核的第一卷积神经网络的第一层的输入为所述三维特征张量。

4.根据权利要求3所述的汽车零部件用加工系统，其特征在于，所述空间增强模块，包括：

深度卷积编码单元，用于使用所述空间注意力模块的卷积编码部分对所述零部件状态变化特征图进行深度卷积编码以得到初始卷积特征图；

空间注意力单元，用于将所述初始卷积特征图输入所述空间注意力模块的空间注意力部分以得到空间注意力图；

激活单元，用于将所述空间注意力图通过Softmax激活函数以得到空间注意力特征图；以及

计算单元，用于计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到所述增强零部件状态变化特征图。

5.根据权利要求4所述的汽车零部件用加工系统，其特征在于，所述多尺度邻域特征提取模块，包括：第一卷积层、与所述第一卷积层并行的第二卷积层，以及，与所述第一卷积层和所述第二卷积层连接的级联层，其中，所述第一卷积层使用具有第一尺度的一维卷积核，所述第二卷积核使用具有第二尺度的一维卷积核。

6.根据权利要求5所述的汽车零部件用加工系统，其特征在于，所述多尺度温度特征提取模块，包括：

第一尺度温度特征提取单元，用于将所述温度输入向量输入所述多尺度邻域特征提取模块的第一卷积层以得到第一尺度温度特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核；

第二尺度温度特征提取单元，用于将所述温度输入向量输入所述多尺度邻域特征提取模块的第二卷积层以得到第二尺度温度特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；以及

多尺度级联单元，用于将所述第一尺度温度特征向量和所述第二尺度温度特征向量进行级联以得到所述温度特征向量。

7.根据权利要求6所述的汽车零部件用加工系统，其特征在于，所述空间联立模块，包括：

计算所述增强零部件状态变化特征向量和所述温度特征向量之间的协方差矩阵；

对所述协方差矩阵进行特征值分解以得到多个特征值和与所述多个特征值对应的多个特征向量；以及

将所述多个特征向量排列为核心特征矩阵，并计算所述协方差矩阵与所述核心特征矩阵之间的矩阵乘积以得到所述分类特征矩阵。

8.一种汽车零部件用加工方法，其特征在于，包括：

获取由摄像头采集的预定时间段内的汽车零部件状态监控视频，以及所述预定时间段内多个预定时间点的环境温度值；

从所述汽车零部件状态监控视频提取多个零部件状态关键帧；

将所述多个零部件状态关键帧排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络模型以得到零部件状态变化特征图；

将所述零部件状态变化特征图通过空间注意力模块以得到增强零部件状态变化特征图；

对所述增强零部件状态变化特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到增强零部件状态变化特征向量；

将所述预定时间内的多个预定时间点的温度值按照时间维度排列为温度输入向量后通过多尺度邻域特征提取模块以得到温度特征向量；

对所述增强零部件状态变化特征向量和所述温度特征向量进行基于特征集合的各子维度之间的空间联立投影以得到分类特征矩阵；以及

将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果表示该汽车零部件的质量是否合格。

9.根据权利要求8所述的汽车零部件用加工方法，其特征在于，从所述汽车零部件状态监控视频提取多个零部件状态关键帧，用于：以预定采样频率从所述汽车零部件状态监控视频提取多个零部件状态关键帧。

10.根据权利要求9所述的汽车零部件用加工方法，其特征在于，将所述多个零部件状态关键帧排列为三维输入张量后通过使用三维卷积核的第一卷积神经网络模型以得到零部件状态变化特征图，包括：使用所述使用三维卷积核的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：

对输入数据进行卷积处理以得到卷积特征图；

对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及

对所述池化特征图进行非线性激活以得到激活特征图；

其中，所述使用三维卷积核的第一卷积神经网络的最后一层的输出为所述零部件状态变化特征图，所述使用三维卷积核的第一卷积神经网络的第一层的输入为所述三维特征张量。