CN115647819A - 车磨一体复合机及其控制方法 - Google Patents

Abstract

本申请涉及车磨机床技术领域，其具体地公开了一种车磨一体复合机及其控制方法，其通过使用时间注意力机制的卷积神经网络模型对由摄像头采集的预定时间段的磨削加工监控视频进行特征提取以得到磨削跟踪特征图，并对所述磨削跟踪特征图进行降维和优化以得到优化磨削跟踪特征向量，同时，为了提高对磨削过程监控的精准度以避免磨削烧伤的发生，进一步地通过多尺度邻域特征提取模块对所述预定时间段内多个预定时间点的温度值进行适当编码，最后，融合两者以得到融合特征向量，并将其通过分类器以得到用于表示是否产生磨削烧伤预警提示的分类结果，通过这样的方式，从而准确的在磨削过程中进行磨削监控，以防止套圈磨削表面烧伤。

Description

车磨一体复合机及其控制方法

技术领域

本申请涉及车磨机床技术领域，且更为具体地，涉及一种车磨一体复合机及其控制方法。

背景技术

轴承套圈在淬火处理后，需要进行精加工，在磨床上依次进行粗磨和精磨。轴承的尺寸越大，则套圈的磨削余量越大，这就给磨削效率的提高带来很大困难，如果磨削进给量加大，会使套圈磨削表面烧伤而成为废品。

从磨削加工机理分析，是因为套圈磨削加工时磨削区的温度很高，约为1000℃左右，磨削铁屑无法带走磨削产生的热量，磨削区冷却不理想，导致套圈磨削表面烧伤。

因此，期待一种车磨一体复合机，其能够在磨削过程中进行磨削监控，以防止套圈磨削表面烧伤。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种车磨一体复合机及其控制方法，其通过使用时间注意力机制的卷积神经网络模型对由摄像头采集的预定时间段的磨削加工监控视频进行特征提取以得到磨削跟踪特征图，并对所述磨削跟踪特征图进行降维和优化以得到优化磨削跟踪特征向量，同时，为了提高对磨削过程监控的精准度以避免磨削烧伤的发生，进一步地通过多尺度邻域特征提取模块对所述预定时间段内多个预定时间点的温度值进行适当编码，最后，融合两者以得到融合特征向量，并将其通过分类器以得到用于表示是否产生磨削烧伤预警提示的分类结果，通过这样的方式，从而准确的在磨削过程中进行磨削监控，以防止套圈磨削表面烧伤。

根据本申请的一个方面，提供了一种车磨一体复合机，其包括：

磨削监控模块，用于获取由摄像头采集的预定时间段的磨削加工监控视频以及所述预定时间段内多个预定时间点的温度值；

磨削监控视频编码模块，用于将所述磨削加工监控视频通过使用时间注意力机制的卷积神经网络模型以得到磨削跟踪特征图；

特征降维模块，用于对所述磨削跟踪特征图的沿通道维度的各个特征矩阵进行全局均值池化处理以得到磨削跟踪特征向量；

优化模块，用于基于所述磨削跟踪特征向量中所有位置的特征值的统计特征，对所述磨削跟踪特征向量中各个位置的特征值进行优化以得到优化磨削跟踪特征向量；

磨削温度编码模块，用于将所述预定时间段内多个预定时间点的温度值排列为温度输入向量后通过多尺度邻域特征提取模块以得到多尺度温度特征向量；

特征融合模块，用于融合所述优化磨削跟踪特征向量和所述多尺度温度特征向量以得到融合特征向量；以及

磨削预警模块，用于将所述融合特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生磨削烧伤预警提示。

根据本申请的另一方面，提供了一种车磨一体复合机的控制方法，其包括：

获取由摄像头采集的预定时间段的磨削加工监控视频以及所述预定时间段内多个预定时间点的温度值；

将所述磨削加工监控视频通过使用时间注意力机制的卷积神经网络模型以得到磨削跟踪特征图；

对所述磨削跟踪特征图的沿通道维度的各个特征矩阵进行全局均值池化处理以得到磨削跟踪特征向量；

基于所述磨削跟踪特征向量中所有位置的特征值的统计特征，对所述磨削跟踪特征向量中各个位置的特征值进行优化以得到优化磨削跟踪特征向量；

将所述预定时间段内多个预定时间点的温度值排列为温度输入向量后通过多尺度邻域特征提取模块以得到多尺度温度特征向量；

融合所述优化磨削跟踪特征向量和所述多尺度温度特征向量以得到融合特征向量；以及

将所述融合特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生磨削烧伤预警提示。

与现有技术相比，本申请提供的一种车磨一体复合机及其控制方法，其通过使用时间注意力机制的卷积神经网络模型对由摄像头采集的预定时间段的磨削加工监控视频进行特征提取以得到磨削跟踪特征图，并对所述磨削跟踪特征图进行降维和优化以得到优化磨削跟踪特征向量，同时，为了提高对磨削过程监控的精准度以避免磨削烧伤的发生，进一步地通过多尺度邻域特征提取模块对所述预定时间段内多个预定时间点的温度值进行适当编码，最后，融合两者以得到融合特征向量，并将其通过分类器以得到用于表示是否产生磨削烧伤预警提示的分类结果，通过这样的方式，从而准确的在磨削过程中进行磨削监控，以防止套圈磨削表面烧伤。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的车磨一体复合机的应用场景图。

图2图示了根据本申请实施例的车磨一体复合机的框图示意图。

图3图示了根据本申请实施例的车磨一体复合机中磨削监控视频编码模块的框图。

图4图示了根据本申请实施例的车磨一体复合机中时间注意力卷积编码单元的框图。

图5图示了根据本申请实施例的车磨一体复合机中磨削温度编码模块的框图。

图6图示了根据本申请实施例的车磨一体复合机的控制方法的流程图。

图7图示了根据本申请实施例的车磨一体复合机的控制方法的系统架构的示意图。

图8图示了根据本申请实施例的车磨一体复合机的控制方法中，将所述磨削加工监控视频通过使用时间注意力机制的卷积神经网络模型以得到磨削跟踪特征图的流程图。

图9图示了根据本申请实施例的车磨一体复合机的控制方法中，将所述多个磨削加工关键帧输入所述使用时间注意力机制的卷积神经网络模型以得到所述磨削跟踪特征图的流程图。

图10图示了根据本申请实施例的车磨一体复合机的控制方法中，将所述预定时间段内多个预定时间点的温度值排列为温度输入向量后通过多尺度邻域特征提取模块以得到多尺度温度特征向量的流程图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

如上所述，套圈磨削加工时磨削区的温度很高，约为1000℃左右，磨削铁屑无法带走磨削产生的热量，磨削区冷却不理想，导致套圈磨削表面烧伤。因此，期待一种车磨一体复合机，其能够在磨削过程中进行磨削监控，以防止套圈磨削表面烧伤。

相应地，在本申请的技术方案中，本申请人考虑到在进行磨削时可通过磨削监控视频来对磨削过程进行监控，但磨削监控视频更多地关注磨削过程，而对磨削过程中所产生的热量不敏感，因此，为了提高对磨削过程监控的精准度以避免磨削烧伤的发生，进一步地对磨削过程中所产生的温度数据进行监控，以综合两者来构建磨削烧伤预警方案。

具体地，首先获取由摄像头采集的预定时间段的磨削加工监控视频以及所述预定时间段内多个预定时间点的温度值。因磨削加工速度相对较高，因此，优选地采用高帧率相机来采集所述磨削加工视频。

然后，将所述磨削加工监控视频通过使用时间注意力机制的卷积神经网络模型以得到磨削跟踪特征图。这里，相较于传统的视频分析技术，卷积神经网络模型已经证明在图像特征提取方面具有优异性能表现，其不仅拥有更强的特征提取能力，且不需要依赖于专家知识。具体地，在本申请的技术方案中，所述使用时间注意力机制的卷积神经网络模型对所述磨削加工监控视频的编码过程，包括：首先对所述磨削加工监控视频进行关键帧提取，例如，以预定采样频率从所述磨削加工监控视频提取多个磨削加工关键帧，这样处理的原因为磨削加工监控视频中有诸多冗余信息，如果直接以磨削加工监控视频作为神经网络的输入，不仅会带来额外的计算负载，而且冗余信息的干扰会降低特征提取的精准度。然后，将所述多个磨削加工关键帧作为神经网络的输入进行磨削加工动态特征提取。

为了使得所述卷积神经网络模型能够更加关注磨削加工过程中的动态特征，在本申请的技术方案中，将时间注意力机制集成于所述卷积神经网络模型。所述时间注意力机制的核心为对不同时间点的磨削加工特征在时间序列上的分布施加不同的注意力权重以使得磨削特征在时间维度上的变化具有更强的特征表现力和可鉴别性。

接着，将所述预定时间段内多个预定时间点的温度值排列为温度输入向量后通过多尺度邻域特征提取模块以得到多尺度温度特征向量。也就是，使用具有多个一维卷积层的多尺度邻域特征提取模块对所述温度输入向量进行不同尺度的一维卷积编码以提取所述温度输入向量中不同时间跨度范围内的温度分布的高维隐含关联特征，这样可充分挖掘温度分布在时间序列上的高维隐含关联信息。

接着，融合所述磨削跟踪特征图和所述多尺度温度特征向量就可以得到包含温度特征和磨削加工特征的融合特征表示，并以分类器对融合特征表示进行处理就可以得到用于表示是否产生磨削烧伤预警提示的分类结果。具体地，考虑到所述磨削跟踪特征图是三维特征张量，而所述多尺度温度特征向量为一维特征向量，两者在数据结构维度上存在异构性，因此，首先对所述磨削跟踪特征图和所述多尺度温度特征向量进行维度统一。在本申请的技术方案中，对所述磨削跟踪特征图的沿通道维度的各个特征矩阵进行全局均值池化处理以得到磨削跟踪特征向量，接着，以计算所述磨削跟踪特征向量和所述多尺度温度特征向量的按位置加权和的方式将两者进行融合以得到用于分类的特征表示。

这里，在计算所述磨削跟踪特征图的沿通道维度的各个特征矩阵的全局均值以得到磨削跟踪特征向量时，由于所述特征矩阵的全局池化降低了所述磨削跟踪特征向量的各个位置的特征值之间的分布相关性，因此，为了提高所述磨削跟踪特征向量的各个位置的特征值之间的分布相关性，从而获得所述磨削跟踪特征向量的各个位置的特征值之间的表达一致性，对所述磨削跟踪特征向量进行通道递归的压榨-激励优化，具体为：

其中，μ表示特征集合v_i∈V的均值，σ表示特征集合v_i∈V的方差，v_i表示所述磨削跟踪特征向量V的特征值，exp(-σ)表示计算以特征集合v_i∈V的方差的相反数为幂的自然指数函数值，ReLU(·)表示ReLU函数，Sigmoid|·|表示Sigmoid函数，且v_i'表示优化磨削跟踪特征向量的特征值。

也就是，基于所述磨削跟踪特征向量的沿所述磨削跟踪特征图的通道维度的特征集合的统计特性来激活所述磨削跟踪特征向量的特征分布的通道递归，从而推断所述磨削跟踪特征向量的每个位置的特征值在所述磨削跟踪特征图的每个通道采样位置的通道维度分布，同时，采用由ReLU-Sigmoid函数构成的压榨-激励机制，来获取所述磨削跟踪特征图的通道方向上注意力增强的置信度值，以增强所述磨削跟踪特征向量在其分布方向上的分布相关性，也就会，获得具有高表达一致性的磨削跟踪特征向量。这样，提高对磨削过程是否产生磨削烧伤预警的判断精准度。

基于此，本申请提供了一种车磨一体复合机，其包括：磨削监控模块，用于获取由摄像头采集的预定时间段的磨削加工监控视频以及所述预定时间段内多个预定时间点的温度值；磨削监控视频编码模块，用于将所述磨削加工监控视频通过使用时间注意力机制的卷积神经网络模型以得到磨削跟踪特征图；特征降维模块，用于对所述磨削跟踪特征图的沿通道维度的各个特征矩阵进行全局均值池化处理以得到磨削跟踪特征向量；优化模块，用于基于所述磨削跟踪特征向量中所有位置的特征值的统计特征，对所述磨削跟踪特征向量中各个位置的特征值进行优化以得到优化磨削跟踪特征向量；磨削温度编码模块，用于将所述预定时间段内多个预定时间点的温度值排列为温度输入向量后通过多尺度邻域特征提取模块以得到多尺度温度特征向量；特征融合模块，用于融合所述优化磨削跟踪特征向量和所述多尺度温度特征向量以得到融合特征向量；以及，磨削预警模块，用于将所述融合特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生磨削烧伤预警提示。

图1图示了根据本申请实施例的车磨一体复合机的应用场景图。如图1所示，在该应用场景中，通过部署在机床(例如，图1中所示意的M)的摄像头(例如，图1中所示意的C)采集预定时间段的磨削加工监控视频，同时，通过部署于机床的温度传感器(例如，图1中所示意的T)采集所述预定时间段内多个预定时间点的温度值。然后，将采集的所述磨削加工监控视频和所述预定时间段内多个预定时间点的温度值输入至部署有车磨一体复合机的控制算法的服务器中(例如，图1中所示意的S)，其中，所述服务器能够使用所述车磨一体复合机的控制算法对所述磨削加工监控视频和所述预定时间段内多个预定时间点的温度值进行处理以生成分类结果，分类结果用于表示是否产生磨削烧伤预警提示。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统

图2图示了根据本申请实施例的车磨一体复合机的框图示意图。如图2所示，根据本申请实施例的所述车磨一体复合机100，包括：磨削监控模块110，用于获取由摄像头采集的预定时间段的磨削加工监控视频以及所述预定时间段内多个预定时间点的温度值；磨削监控视频编码模块120，用于将所述磨削加工监控视频通过使用时间注意力机制的卷积神经网络模型以得到磨削跟踪特征图；特征降维模块130，用于对所述磨削跟踪特征图的沿通道维度的各个特征矩阵进行全局均值池化处理以得到磨削跟踪特征向量；优化模块140，用于基于所述磨削跟踪特征向量中所有位置的特征值的统计特征，对所述磨削跟踪特征向量中各个位置的特征值进行优化以得到优化磨削跟踪特征向量；磨削温度编码模块150，用于将所述预定时间段内多个预定时间点的温度值排列为温度输入向量后通过多尺度邻域特征提取模块以得到多尺度温度特征向量；特征融合模块160，用于融合所述优化磨削跟踪特征向量和所述多尺度温度特征向量以得到融合特征向量；以及，磨削预警模块170，用于将所述融合特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生磨削烧伤预警提示。

在本申请实施例中，所述磨削监控模块110，用于获取由摄像头采集的预定时间段的磨削加工监控视频以及所述预定时间段内多个预定时间点的温度值。如上所示，套圈磨削加工时磨削区的温度很高，约为1000℃左右，磨削铁屑无法带走磨削产生的热量，磨削区冷却不理想，导致套圈磨削表面烧伤，这种烧伤可以通过监控视频反应。因此，为了能够在磨削过程中进行磨削监控，以防止套圈磨削表面烧伤，可通过对磨削加工监控视频的变化特征进行分析来判断是否产生磨削烧伤预警提示。这本质上一个分类问题，也就是，通过深度神经网络模型来对于预定时间段的磨削加工监控视频的高维隐含特征进行提取，然后将提取到的工监控视频的隐含特征通过分类器进行是否产生磨削烧伤预警提示的分类判断，从而实现在磨削过程中进行磨削监控，以防止套圈磨削表面烧伤。

相应地，在本申请的技术方案中，本申请人考虑到在进行磨削时可通过磨削监控视频来对磨削过程进行监控，但磨削监控视频更多地关注磨削过程，而对磨削过程中所产生的热量不敏感，因此，为了提高对磨削过程监控的精准度以避免磨削烧伤的发生，进一步地对磨削过程中所产生的温度数据进行监控，以综合两者来构建磨削烧伤预警方案。

在本申请一个具体的实施例中，通过部署在机床旁的摄像头采集预定时间段的磨削加工监控视频，因磨削加工速度相对较高，因此，优选地采用高帧率相机来采集所述磨削加工视频。同时，通过部署在机床上的温度传感器采集所述预定时间段内多个预定时间点的温度值。

在本申请实施例中，所述磨削监控视频编码模块120，用于将所述磨削加工监控视频通过使用时间注意力机制的卷积神经网络模型以得到磨削跟踪特征图。应可以理解，相较于传统的视频分析技术，卷积神经网络模型已经证明在图像特征提取方面具有优异性能表现，其不仅拥有更强的特征提取能力，且不需要依赖于专家知识。进一步的，为了使得所述卷积神经网络模型能够更加关注磨削加工过程中的动态特征，在本申请的技术方案中，将时间注意力机制集成于所述卷积神经网络模型。所述时间注意力机制的核心为对不同时间点的磨削加工特征在时间序列上的分布施加不同的注意力权重以使得磨削特征在时间维度上的变化具有更强的特征表现力和可鉴别性。

图3图示了根据本申请实施例的车磨一体复合机中磨削监控视频编码模块的框图。如图3所示，在本申请一个具体的实施例中，所述磨削监控视频编码模块120，包括：采样单元121，用于以预定采样频率从所述磨削加工监控视频提取多个磨削加工关键帧，应可以理解，因为磨削加工监控视频中有诸多冗余信息，如果直接以磨削加工监控视频作为神经网络的输入，不仅会带来额外的计算负载，而且冗余信息的干扰会降低特征提取的精准度，所以需要以预定采样频率从所述磨削加工监控视频提取多个磨削加工关键帧。以及，时间注意力卷积编码单元122，用于将所述多个磨削加工关键帧输入所述使用时间注意力机制的卷积神经网络模型以得到所述磨削跟踪特征图。

图4图示了根据本申请实施例的车磨一体复合机中时间注意力卷积编码单元的框图。如图4所示，在本申请一个具体的实施例中，所述时间注意力卷积编码单元122，包括：相邻帧提取子单元1221，用于从所述多个磨削加工关键帧中提取相邻的第一磨削加工关键帧和第二磨削加工关键帧；第一卷积编码单元1222，用于将所述第一磨削加工关键帧所述第二磨削加工关键帧分别通过所述卷积神经网络模型的第一卷积层和第二卷积层以得到第一卷积特征图和第二卷积特征图；时间注意力单元1223，用于计算所述第一卷积特征图和所述第二卷积特征图之间的按位置点乘以得到时间注意力图；注意力激活单元1224，用于将所述时间注意力图输入Softmax激活函数以得到时间注意力特征图；第二卷积编码单元1225，用于将所述第二磨削加工关键帧通过所述卷积神经网络模型的第三卷积层以得到第三卷积特征图；以及，注意力施加单元1226，用于计算所述第三卷积特征图和所述时间注意力特征图之间的按位置点乘以得到对应于所述第二磨削加工关键帧的时间注意力特征图。

在本申请实施例中，所述特征降维模块130，用于对所述磨削跟踪特征图的沿通道维度的各个特征矩阵进行全局均值池化处理以得到磨削跟踪特征向量。应可以理解，后续需要将磨削加工特征和磨削温度特征进行融合，考虑到而后续处理得到的多尺度温度特征向量是向量，而所述磨削跟踪特征图是三维特征张量，两者在数据结构维度上存在异构性，因此，需要对所述磨削跟踪特征图和所述多尺度温度特征向量进行维度统一。在本申请的技术方案中，对所述磨削跟踪特征图的沿通道维度的各个特征矩阵进行全局均值池化处理以得到磨削跟踪特征向量。

在本申请实施例中，所述优化模块140，用于基于所述磨削跟踪特征向量中所有位置的特征值的统计特征，对所述磨削跟踪特征向量中各个位置的特征值进行优化以得到优化磨削跟踪特征向量。应可以理解，在计算所述磨削跟踪特征图的沿通道维度的各个特征矩阵的全局均值以得到磨削跟踪特征向量时，由于所述特征矩阵的全局池化降低了所述磨削跟踪特征向量的各个位置的特征值之间的分布相关性，因此，为了提高所述磨削跟踪特征向量的各个位置的特征值之间的分布相关性，从而获得所述磨削跟踪特征向量的各个位置的特征值之间的表达一致性，对所述磨削跟踪特征向量进行通道递归的压榨-激励优化。

在本申请一个具体的实施例中，所述优化模块140，进一步用于：基于所述磨削跟踪特征向量中所有位置的特征值的统计特征，以如下公式对所述磨削跟踪特征向量中各个位置的特征值进行优化以得到优化磨削跟踪特征向量

其中，所述公式为：

其中，μ表示特征集合v_i∈V的均值，σ表示特征集合v_i∈V的方差，v_i表示所述磨削跟踪特征向量V的特征值，exp(-σ)表示计算以特征集合v_i∈V的方差的相反数为幂的自然指数函数值，ReLU(·)表示ReLU函数，Sigmoid|·|表示Sigmoid函数，且v_i'表示所述优化磨削跟踪特征向量的特征值。

也就是，基于所述磨削跟踪特征向量的沿所述磨削跟踪特征图的通道维度的特征集合的统计特性来激活所述磨削跟踪特征向量的特征分布的通道递归，从而推断所述磨削跟踪特征向量的每个位置的特征值在所述磨削跟踪特征图的每个通道采样位置的通道维度分布，同时，采用由ReLU-Sigmoid函数构成的压榨-激励机制，来获取所述磨削跟踪特征图的通道方向上注意力增强的置信度值，以增强所述磨削跟踪特征向量在其分布方向上的分布相关性，也就会，获得具有高表达一致性的磨削跟踪特征向量。这样，提高对磨削过程是否产生磨削烧伤预警的判断精准度。

在本申请实施例中，所述磨削温度编码模块150，用于将所述预定时间段内多个预定时间点的温度值排列为温度输入向量后通过多尺度邻域特征提取模块以得到多尺度温度特征向量。应可以理解，卷积神经网络最初是应用在图像领域中的模型，但其局部特征提取的思想同样可以应用到时序数据分析中。对于时序数据输入，卷积核以滑动窗口的形式沿时间维度移动，并输出每个时序片段内数据的加权和。每个卷积单元堆叠了多个卷积核从而输出多维特征。大卷积核会从大尺度时序邻域内提取特征，其中邻域内每项数值产生的影响更小，从而减弱输入数据的波动，减轻其中噪点对输出特征的影响。但大尺度卷积核减弱了数值变化的差异，容易导致平滑过度的问题，使得输出特征失去判别能力。与之相对的，小尺度卷积核能够较好地保留输入数据中的信息，但是也更容易受到其中噪点的干扰。考虑到不同尺度卷积的特点，组合使用不同大小的卷积单元提取不同时序尺度的特征。然后采用特征拼接的方式完成特征融合，从而得到多尺度邻域特征。通过这种方式，输出的特征既包含了平滑后的特征，也保存了原始输入的特征。也就是，使用具有多个一维卷积层的多尺度邻域特征提取模块对所述温度输入向量进行不同尺度的一维卷积编码以提取所述温度输入向量中不同时间跨度范围内的温度分布的高维隐含关联特征，这样可充分挖掘温度分布在时间序列上的高维隐含关联信息。

图5图示了根据本申请实施例的车磨一体复合机中磨削温度编码模块的框图。如图5所示，在本申请一个具体的实施例中，所述磨削温度编码模块150，包括：第一尺度邻域特征提取单元151，用于将所述温度输入向量输入所述多尺度邻域特征提取模块的第一卷积层以得到第一邻域尺度温度特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核；第二尺度邻域特征提取单元152，用于将所述温度输入向量输入所述多尺度邻域特征提取模块的第二卷积层以得到第二邻域尺度温度特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；多尺度级联单元153，用于将所述第一邻域尺度温度特征向量和所述第二邻域尺度温度特征向量进行级联以得到所述多尺度温度特征向量。

在本申请一个具体的实施例中，所述第一尺度邻域特征提取单元151，进一步用于：使用所述多尺度邻域特征提取模块的第一卷积层以如下公式对所述温度输入向量进行一维卷积编码以得到第一邻域尺度温度特征向量；

其中，所述公式为：

其中，a为第一卷积核在x方向上的宽度、F(a)为第一卷积核参数向量、G(x-a)为与卷积核函数运算的局部向量矩阵，w为第一卷积核的尺寸，X表示所述温度输入向量；

在本申请一个具体的实施例中，所述第二尺度邻域特征提取单元152，进一步用于：使用所述多尺度邻域特征提取模块的第二卷积层以如下公式对所述温度输入向量进行一维卷积编码以得到所述第二邻域尺度温度特征向量；

其中，所述公式为：

其中，b为第二卷积核在x方向上的宽度、F(b)为第二卷积核参数向量、G(x-b)为与卷积核函数运算的局部向量矩阵，m为第二卷积核的尺寸，X表示所述温度输入向量。

在本申请实施例中，所述特征融合模块160，用于融合所述优化磨削跟踪特征向量和所述多尺度温度特征向量以得到融合特征向量。也就是，以计算所述磨削跟踪特征向量和所述多尺度温度特征向量的按位置加权和的方式将两者包含的磨削加工特征和磨削温度特征进行融合以得到用于分类的特征表示。

在本申请一个具体的实施例中，所述特征融合模块160，进一步用于：以如下公式融合所述优化磨削跟踪特征向量和所述多尺度温度特征向量以得到融合特征向量；

其中，所述公式为：

其中，V为所述融合特征向量，V₁为所述优化磨削跟踪特征向量，V₂为所述多尺度温度特征向量，α和β为用于控制所述融合特征向量中所述优化磨削跟踪特征向量和所述多尺度温度特征向量之间的平衡的加权参数，

表示向量的按位置加法。

在本申请实施例中，所述磨削预警模块170，用于将所述融合特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生磨削烧伤预警提示。

在本申请一个具体的实施例中，所述磨削预警模块170，包括：全连接编码单元，用于使用所述分类器的至少一个全连接层对所述融合特征向量进行全连接编码以得到分类特征向量；以及，分类单元，用于将所述分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。

也就是，在本申请实施例中，所述分类器以至少一个全连接层作为编码器将所述分类特征矩阵投影为一维的特征向量。接着，将所述分类特征向量输入所述Softmax分类函数以计算所述分类特征向量的Softmax函数值，即，所述分类特征向量归属于各个分类标签的概率值，在本申请实施例中，所述分类标签包括产生磨削烧伤预警提示(第一标签)以及不产生磨削烧伤预警提示(第二标签)。最后，将概率值较大者对应的标签作为所述分类结果。

更进一步的，在本申请的一个实施例中，还设置有报警器，当分类结果为产生磨削烧伤预警提示时，报警器进行报警。

综上，基于本申请实施例的所述车磨一体复合机，其通过使用时间注意力机制的卷积神经网络模型对由摄像头采集的预定时间段的磨削加工监控视频进行特征提取以得到磨削跟踪特征图，并对所述磨削跟踪特征图进行降维和优化以得到优化磨削跟踪特征向量，同时，为了提高对磨削过程监控的精准度以避免磨削烧伤的发生，进一步地通过多尺度邻域特征提取模块对所述预定时间段内多个预定时间点的温度值进行适当编码，最后，融合两者以得到融合特征向量，并将其通过分类器以得到用于表示是否产生磨削烧伤预警提示的分类结果，通过这样的方式，从而准确的在磨削过程中进行磨削监控，以防止套圈磨削表面烧伤。

如上所述，根据本申请实施例的所述车磨一体复合机100可以实现在各种终端设备中，例如部署有车磨一体复合机的控制算法的服务器等。在一个示例中，根据车磨一体复合机100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该车磨一体复合机100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该车磨一体复合机100同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该车磨一体复合机100与该终端设备也可以是分立的设备，并且车磨一体复合机100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

示例性方法

图6图示了根据本申请实施例的车磨一体复合机的控制方法的流程图。如图6所示，根据本申请实施例的所述车磨一体复合机的控制方法，包括：S110，获取由摄像头采集的预定时间段的磨削加工监控视频以及所述预定时间段内多个预定时间点的温度值；S120，将所述磨削加工监控视频通过使用时间注意力机制的卷积神经网络模型以得到磨削跟踪特征图；S130，对所述磨削跟踪特征图的沿通道维度的各个特征矩阵进行全局均值池化处理以得到磨削跟踪特征向量；S140，基于所述磨削跟踪特征向量中所有位置的特征值的统计特征，对所述磨削跟踪特征向量中各个位置的特征值进行优化以得到优化磨削跟踪特征向量；S150，将所述预定时间段内多个预定时间点的温度值排列为温度输入向量后通过多尺度邻域特征提取模块以得到多尺度温度特征向量；S160，融合所述优化磨削跟踪特征向量和所述多尺度温度特征向量以得到融合特征向量；以及，S170，将所述融合特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生磨削烧伤预警提示。

图7图示了根据本申请实施例的车磨一体复合机的控制方法的系统架构的示意图。如图7所示，在本申请实施例的所述车磨一体复合机的控制方法的系统架构中，首先，获取摄像头采集的预定时间段的磨削加工监控视频，并将所述磨削加工监控视频通过使用时间注意力机制的卷积神经网络模型以得到磨削跟踪特征图。然后，对所述磨削跟踪特征图的沿通道维度的各个特征矩阵进行全局均值池化处理以得到磨削跟踪特征向量，并基于所述磨削跟踪特征向量中所有位置的特征值的统计特征，对所述磨削跟踪特征向量中各个位置的特征值进行优化以得到优化磨削跟踪特征向量。同时，获取所述预定时间段内多个预定时间点的温度值，并将所述预定时间段内多个预定时间点的温度值排列为温度输入向量后通过多尺度邻域特征提取模块以得到多尺度温度特征向量。接着，融合所述优化磨削跟踪特征向量和所述多尺度温度特征向量以得到融合特征向量。最后，将所述融合特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生磨削烧伤预警提示。

图8图示了根据本申请实施例的车磨一体复合机的控制方法中，将所述磨削加工监控视频通过使用时间注意力机制的卷积神经网络模型以得到磨削跟踪特征图的流程图。如图8所示，在本申请一个具体的实施例中，所述将所述磨削加工监控视频通过使用时间注意力机制的卷积神经网络模型以得到磨削跟踪特征图，包括：S210，以预定采样频率从所述磨削加工监控视频提取多个磨削加工关键帧；以及，S220，将所述多个磨削加工关键帧输入所述使用时间注意力机制的卷积神经网络模型以得到所述磨削跟踪特征图。

图9图示了根据本申请实施例的车磨一体复合机的控制方法中，将所述多个磨削加工关键帧输入所述使用时间注意力机制的卷积神经网络模型以得到所述磨削跟踪特征图的流程图。如图9所示，在本申请一个具体的实施例中，所述将所述多个磨削加工关键帧输入所述使用时间注意力机制的卷积神经网络模型以得到所述磨削跟踪特征图，包括：S310，从所述多个磨削加工关键帧中提取相邻的第一磨削加工关键帧和第二磨削加工关键帧；S320，将所述第一磨削加工关键帧所述第二磨削加工关键帧分别通过所述卷积神经网络模型的第一卷积层和第二卷积层以得到第一卷积特征图和第二卷积特征图；S330，计算所述第一卷积特征图和所述第二卷积特征图之间的按位置点乘以得到时间注意力图；S340，将所述时间注意力图输入Softmax激活函数以得到时间注意力特征图；S350，将所述第二磨削加工关键帧通过所述卷积神经网络模型的第三卷积层以得到第三卷积特征图；以及，S360，计算所述第三卷积特征图和所述时间注意力特征图之间的按位置点乘以得到对应于所述第二磨削加工关键帧的时间注意力特征图。

在本申请一个具体的实施例中，所述于所述磨削跟踪特征向量中所有位置的特征值的统计特征，对所述磨削跟踪特征向量中各个位置的特征值进行优化以得到优化磨削跟踪特征向量，包括：基于所述磨削跟踪特征向量中所有位置的特征值的统计特征，以如下公式对所述磨削跟踪特征向量中各个位置的特征值进行优化以得到优化磨削跟踪特征向量

其中，所述公式为：

其中，μ表示特征集合v_i∈V的均值，σ表示特征集合v_i∈V的方差，v_i表示所述磨削跟踪特征向量V的特征值，exp(-σ)表示计算以特征集合v_i∈V的方差的相反数为幂的自然指数函数值，ReLU(·)表示ReLU函数，Sigmoid|·|表示Sigmoid函数，且v_i'表示所述优化磨削跟踪特征向量的特征值。

图10图示了根据本申请实施例的车磨一体复合机的控制方法中，将所述预定时间段内多个预定时间点的温度值排列为温度输入向量后通过多尺度邻域特征提取模块以得到多尺度温度特征向量的流程图。如图10所示，在本申请一个具体的实施例中，所述将所述预定时间段内多个预定时间点的温度值排列为温度输入向量后通过多尺度邻域特征提取模块以得到多尺度温度特征向量，包括：S410，将所述温度输入向量输入所述多尺度邻域特征提取模块的第一卷积层以得到第一邻域尺度温度特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核；S420，将所述温度输入向量输入所述多尺度邻域特征提取模块的第二卷积层以得到第二邻域尺度温度特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；S430，将所述第一邻域尺度温度特征向量和所述第二邻域尺度温度特征向量进行级联以得到所述多尺度温度特征向量。

在本申请一个具体的实施例中，所述将所述温度输入向量输入所述多尺度邻域特征提取模块的第一卷积层以得到第一邻域尺度温度特征向量，包括：使用所述多尺度邻域特征提取模块的第一卷积层以如下公式对所述温度输入向量进行一维卷积编码以得到第一邻域尺度温度特征向量；

其中，所述公式为：

其中，a为第一卷积核在x方向上的宽度、F(a)为第一卷积核参数向量、G(x-a)为与卷积核函数运算的局部向量矩阵，w为第一卷积核的尺寸，X表示所述温度输入向量；

在本申请一个具体的实施例中，所述将所述温度输入向量输入所述多尺度邻域特征提取模块的第二卷积层以得到第二邻域尺度温度特征向量，包括：使用所述多尺度邻域特征提取模块的第二卷积层以如下公式对所述温度输入向量进行一维卷积编码以得到所述第二邻域尺度温度特征向量；

其中，所述公式为：

其中，b为第二卷积核在x方向上的宽度、F(b)为第二卷积核参数向量、G(x-b)为与卷积核函数运算的局部向量矩阵，m为第二卷积核的尺寸，X表示所述温度输入向量。

在本申请一个具体的实施例中，所述融合所述优化磨削跟踪特征向量和所述多尺度温度特征向量以得到融合特征向量，包括：以如下公式融合所述优化磨削跟踪特征向量和所述多尺度温度特征向量以得到融合特征向量；

其中，所述公式为：

其中，V为所述融合特征向量，V₁为所述优化磨削跟踪特征向量，V₂为所述多尺度温度特征向量，α和β为用于控制所述融合特征向量中所述优化磨削跟踪特征向量和所述多尺度温度特征向量之间的平衡的加权参数，

表示向量的按位置加法。

在本申请一个具体的实施例中，所述将所述融合特征向量通过分类器以得到分类结果，包括：使用所述分类器的至少一个全连接层对所述融合特征向量进行全连接编码以得到分类特征向量；以及，将所述分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。

这里，本领域技术人员可以理解，上述车磨一体复合机的控制方法中的各个步骤的具体操作已经在上面参考图1到图5的车磨一体复合机的描述中得到了详细介绍，并因此，将省略其重复描述。

综上，基于本申请实施例的所述车磨一体复合机的控制方法，其通过使用时间注意力机制的卷积神经网络模型对由摄像头采集的预定时间段的磨削加工监控视频进行特征提取以得到磨削跟踪特征图，并对所述磨削跟踪特征图进行降维和优化以得到优化磨削跟踪特征向量，同时，为了提高对磨削过程监控的精准度以避免磨削烧伤的发生，进一步地通过多尺度邻域特征提取模块对所述预定时间段内多个预定时间点的温度值进行适当编码，最后，融合两者以得到融合特征向量，并将其通过分类器以得到用于表示是否产生磨削烧伤预警提示的分类结果，通过这样的方式，从而准确的在磨削过程中进行磨削监控，以防止套圈磨削表面烧伤。

Claims (10)

1.一种车磨一体复合机，其特征在于，包括：

磨削监控模块，用于获取由摄像头采集的预定时间段的磨削加工监控视频以及所述预定时间段内多个预定时间点的温度值；

磨削监控视频编码模块，用于将所述磨削加工监控视频通过使用时间注意力机制的卷积神经网络模型以得到磨削跟踪特征图；

特征降维模块，用于对所述磨削跟踪特征图的沿通道维度的各个特征矩阵进行全局均值池化处理以得到磨削跟踪特征向量；

优化模块，用于基于所述磨削跟踪特征向量中所有位置的特征值的统计特征，对所述磨削跟踪特征向量中各个位置的特征值进行优化以得到优化磨削跟踪特征向量；

磨削温度编码模块，用于将所述预定时间段内多个预定时间点的温度值排列为温度输入向量后通过多尺度邻域特征提取模块以得到多尺度温度特征向量；

特征融合模块，用于融合所述优化磨削跟踪特征向量和所述多尺度温度特征向量以得到融合特征向量；以及

磨削预警模块，用于将所述融合特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生磨削烧伤预警提示。

2.根据权利要求1所述的车磨一体复合机，其特征在于，所述磨削监控视频编码模块，包括：

采样单元，用于以预定采样频率从所述磨削加工监控视频提取多个磨削加工关键帧；以及

时间注意力卷积编码单元，用于将所述多个磨削加工关键帧输入所述使用时间注意力机制的卷积神经网络模型以得到所述磨削跟踪特征图。

3.根据权利要求2所述的车磨一体复合机，其特征在于，所述时间注意力卷积编码单元，包括：

相邻帧提取子单元，用于从所述多个磨削加工关键帧中提取相邻的第一磨削加工关键帧和第二磨削加工关键帧；

第一卷积编码单元，用于将所述第一磨削加工关键帧所述第二磨削加工关键帧分别通过所述卷积神经网络模型的第一卷积层和第二卷积层以得到第一卷积特征图和第二卷积特征图；

时间注意力单元，用于计算所述第一卷积特征图和所述第二卷积特征图之间的按位置点乘以得到时间注意力图；

注意力激活单元，用于将所述时间注意力图输入Softmax激活函数以得到时间注意力特征图；

第二卷积编码单元，用于将所述第二磨削加工关键帧通过所述卷积神经网络模型的第三卷积层以得到第三卷积特征图；以及

注意力施加单元，用于计算所述第三卷积特征图和所述时间注意力特征图之间的按位置点乘以得到对应于所述第二磨削加工关键帧的时间注意力特征图。

4.根据权利要求3所述的车磨一体复合机，其特征在于，所述优化模块，进一步用于：基于所述磨削跟踪特征向量中所有位置的特征值的统计特征，以如下公式对所述磨削跟踪特征向量中各个位置的特征值进行优化以得到优化磨削跟踪特征向量

其中，所述公式为：

其中，μ表示特征集合v_i∈V的均值，σ表示特征集合v_i∈V的方差，v_i表示所述磨削跟踪特征向量V的特征值，exp(-σ)表示计算以特征集合v_i∈V的方差的相反数为幂的自然指数函数值，ReLU(·)表示ReLU函数，Sigmoid|·|表示Sigmoid函数，且v_i'表示所述优化磨削跟踪特征向量的特征值。

5.根据权利要求4所述的车磨一体复合机，其特征在于，所述磨削温度编码模块，包括：

第一尺度邻域特征提取单元，用于将所述温度输入向量输入所述多尺度邻域特征提取模块的第一卷积层以得到第一邻域尺度温度特征向量，其中，所述第一卷积层具有第一长度的第一一维卷积核；

第二尺度邻域特征提取单元，用于将所述温度输入向量输入所述多尺度邻域特征提取模块的第二卷积层以得到第二邻域尺度温度特征向量，其中，所述第二卷积层具有第二长度的第二一维卷积核，所述第一长度不同于所述第二长度；

多尺度级联单元，用于将所述第一邻域尺度温度特征向量和所述第二邻域尺度温度特征向量进行级联以得到所述多尺度温度特征向量。

6.根据权利要求5所述的车磨一体复合机，其特征在于，所述第一尺度邻域特征提取单元，进一步用于：使用所述多尺度邻域特征提取模块的第一卷积层以如下公式对所述温度输入向量进行一维卷积编码以得到第一邻域尺度温度特征向量；

其中，所述公式为：

其中，a为第一卷积核在x方向上的宽度、F(a)为第一卷积核参数向量、G(x-a)为与卷积核函数运算的局部向量矩阵，w为第一卷积核的尺寸，X表示所述温度输入向量。

7.根据权利要求6所述的车磨一体复合机，其特征在于，所述第二尺度邻域特征提取单元，进一步用于：使用所述多尺度邻域特征提取模块的第二卷积层以如下公式对所述温度输入向量进行一维卷积编码以得到所述第二邻域尺度温度特征向量；

其中，所述公式为：

其中，b为第二卷积核在x方向上的宽度、F(b)为第二卷积核参数向量、G(x-b)为与卷积核函数运算的局部向量矩阵，m为第二卷积核的尺寸，X表示所述温度输入向量。

8.根据权利要求7所述的车磨一体复合机，其特征在于，所述特征融合模块，进一步用于：以如下公式融合所述优化磨削跟踪特征向量和所述多尺度温度特征向量以得到融合特征向量；

其中，所述公式为：

V＝αV₁⊕βV₂

其中，V为所述融合特征向量，V₁为所述优化磨削跟踪特征向量，V₂为所述多尺度温度特征向量，α和β为用于控制所述融合特征向量中所述优化磨削跟踪特征向量和所述多尺度温度特征向量之间的平衡的加权参数，⊕表示向量的按位置加法。

9.根据权利要求8所述的车磨一体复合机，其特征在于，所述磨削预警模块，包括：

全连接编码单元，用于使用所述分类器的至少一个全连接层对所述融合特征向量进行全连接编码以得到分类特征向量；以及

分类单元，用于将所述分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。

10.一种车磨一体复合机的控制方法，其特征在于，包括：

获取由摄像头采集的预定时间段的磨削加工监控视频以及所述预定时间段内多个预定时间点的温度值；

将所述磨削加工监控视频通过使用时间注意力机制的卷积神经网络模型以得到磨削跟踪特征图；

对所述磨削跟踪特征图的沿通道维度的各个特征矩阵进行全局均值池化处理以得到磨削跟踪特征向量；

基于所述磨削跟踪特征向量中所有位置的特征值的统计特征，对所述磨削跟踪特征向量中各个位置的特征值进行优化以得到优化磨削跟踪特征向量；

将所述预定时间段内多个预定时间点的温度值排列为温度输入向量后通过多尺度邻域特征提取模块以得到多尺度温度特征向量；

融合所述优化磨削跟踪特征向量和所述多尺度温度特征向量以得到融合特征向量；以及

将所述融合特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生磨削烧伤预警提示。

Images