CN114871486A - 龙门刨床及其加工控制方法 - Google Patents

Abstract

本申请涉及智能制造的领域，其具体地公开了一种龙门刨床及其加工控制方法，其通过三维卷积神经网络模型从所述待加工工件的正面图像和所述待加工工件的拉丝面图像的感兴趣区域中提取所述待加工工件的拉丝面和直径的动态变化特征，并且以尺度迁移确定性对特征融合后的分类矩阵进行约束，这样不仅保持了所述拉丝面特征和所述横断面特征到关联特征空间的尺度迁移确定性关系，而且也保持了所述分类矩阵与所述拉丝面特征和所述横断面特征的一定程度的一致性，进而提高了分类效果。这样，就能够基于拉丝过程中待拉丝件的实时截面尺寸来微调拉丝轮的高度，以保证在拉丝过程中丝路的均匀一致性。

Description

龙门刨床及其加工控制方法

技术领域

本发明涉及智能制造的领域，且更为具体地，涉及一种龙门刨床及其加工控制方法。

背景技术

龙门刨床主要用于刨削大型工件，也可在工作台上装夹多个零件同时加工，是工业的母机。龙门刨床的工作台带着工件通过门式框架作直线往复运动，空行程速度大于工作行程速度。横梁上一般装有两个垂直刀架，刀架滑座可在垂直面内回转一个角度，并可沿横梁作横向进给运动，拉丝是一种金属加工工艺，具体是指在金属压力加工中，在外力作用下使金属强行通过模具，金属横截面积被压缩，并获得所要求的横截面积形状和尺寸的技术加工方法，拉丝主要应用于家用电器面板、各种数码产品外设和面板、笔记本电脑面板中，用于制作各种标识等。

在对加工件进行拉丝处理时，需要根据加工件尺寸和拉丝深度对拉丝轮进行相应的调节，而目前对拉丝轮进行调节时主要是通过人工调节，该调节方式操作步骤较为繁琐且调节的精度不能得到保证，需要对调节后的拉丝轮进行数据测量比对，拉丝轮的调节难度高，效率不佳，不能满足使用需求。

并且，现有的基于龙门刨床的拉丝装置在利用拉丝轮进行拉丝时，拉丝轮保持于特定的高度。但在实际工作中，由于待拉丝工件并非理想工件，也就是，待拉丝工件沿其径向方向上会发生直径的变化，因此，在进行拉丝过程中，为了使得丝路均匀一致，期待一种优化的控制方案，其能够基于拉丝过程中待拉丝件的实时截面尺寸来微调拉丝轮的高度。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种龙门刨床及其加工控制方法，其通过三维卷积神经网络模型从所述待加工工件的正面图像和所述待加工工件的拉丝面图像的感兴趣区域中提取所述待加工工件的拉丝面和直径的动态变化特征，并且以尺度迁移确定性对特征融合后的分类矩阵进行约束，这样不仅保持了所述拉丝面特征和所述横断面特征到关联特征空间的尺度迁移确定性关系，而且也保持了所述分类矩阵与所述拉丝面特征和所述横断面特征的一定程度的一致性，进而提高了分类效果。这样，就能够基于拉丝过程中待拉丝件的实时截面尺寸来微调拉丝轮的高度，以保证在拉丝过程中丝路的均匀一致性。

根据本申请的一个方面，提供了一种龙门刨床，其包括：图像采集模块，用于通过部署于龙门刨床且与所述龙门刨床随动的第一摄像头和第二摄像头采集待拉丝件的第一监控视频和第二监控视频，其中，所述第一摄像头对应于所述待拉丝件的拉丝面，所述第二摄像头对应于所述待拉丝件的横断面；采样模块，用于从所述第一监控视频中提取包含当前时间点在内的多个预定时间点的多个第一图像帧和从所述第二监控视频中提取所述多个预定时间点的多个第二图像帧；第一编码模块，用于将所述多个第一图像帧按照时间维度构造为拉丝面三维张量后通过使用三维卷积核的第一卷积神经网络以得到拉丝面特征向量；第二编码模块，用于将所述多个第二图像帧按照时间维度构造为横断面三维张量后通过使用三维卷积核的第二卷积神经网路以得到横断面特征向量；关联编码模块，用于对所述拉丝面特征向量和所述横断面特征向量进行基于位置关联的关联编码以得到分类特征矩阵，其中，所述基于位置关联的关联编码基于所述拉丝面特征向量乘以所述横断面特征向量的转置向量所得到的特征矩阵除以所述特征矩阵的Frobenius范数来进行；以及拉丝控制结果生成模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的拉丝轮高度应降低、保持不变或应抬高。

在上述龙门刨床中，所述第一编码模块，包括：感兴趣区域提取单元，用于以候选框提取网络对所述拉丝面三维张量中各个图像帧进行感兴趣区域提取以获得由多个感兴趣区域图像组成的拉丝面感兴趣区域三维张量；以及，第一三维卷积编码单元，用于将所述拉丝面感兴趣区域三维张量通过所述使用三维卷积核的第一卷积神经网络以得到拉丝面特征向量。

在上述龙门刨床中，所述使用三维卷积核的第一卷积神经网络在层的正向传递中对输入数据分别进行：基于所述三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络的最后一层的输出为所述拉丝面特征向量，所述第一卷积神经网络的第一层的输入为所述拉丝面感兴趣区域三维张量。

在上述龙门刨床中，所述关联编码模块，进一步用于：以如下公式对所述拉丝面特征向量和所述横断面特征向量进行基于位置关联的关联编码以得到所述分类特征矩阵；其中，所述公式为：

其中

表示所述分类特征矩阵，

表示所述拉丝面特征向量,

表示所述横断面特征向量，

和

均为列向量，

表示矩阵的Frobenius范数，

表示矩阵的指数运算。

在上述龙门刨床中，所述拉丝控制结果生成模块，进一步用于：所述分类器以如下公式对所述分类特征矩阵进行处理以生成分类结果，其中，所述公式为：

，其中

表示将所述分类特征矩阵投影为向量，

至

为各层全连接层的权重矩阵，

至

表示各层全连接层的偏置矩阵。

根据本申请的另一方面，一种龙门刨床的加工控制方法，其包括：通过部署于龙门刨床且与所述龙门刨床随动的第一摄像头和第二摄像头采集待拉丝件的第一监控视频和第二监控视频，其中，所述第一摄像头对应于所述待拉丝件的拉丝面，所述第二摄像头对应于所述待拉丝件的横断面；从所述第一监控视频中提取包含当前时间点在内的多个预定时间点的多个第一图像帧和从所述第二监控视频中提取所述多个预定时间点的多个第二图像帧；将所述多个第一图像帧按照时间维度构造为拉丝面三维张量后通过使用三维卷积核的第一卷积神经网络以得到拉丝面特征向量；将所述多个第二图像帧按照时间维度构造为横断面三维张量后通过使用三维卷积核的第二卷积神经网路以得到横断面特征向量；对所述拉丝面特征向量和所述横断面特征向量进行基于位置关联的关联编码以得到分类特征矩阵，其中，所述基于位置关联的关联编码基于所述拉丝面特征向量乘以所述横断面特征向量的转置向量所得到的特征矩阵除以所述特征矩阵的Frobenius范数来进行；以及将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的拉丝轮高度应降低、保持不变或应抬高。

在上述龙门刨床的加工控制方法中，从所述第一监控视频中提取包含当前时间点在内的多个预定时间点的多个第一图像帧和从所述第二监控视频中提取所述多个预定时间点的多个第二图像帧，包括：将所述多个第一图像帧按照时间维度构造为拉丝面三维张量后通过使用三维卷积核的第一卷积神经网络以得到拉丝面特征向量，包括：以候选框提取网络对所述拉丝面三维张量中各个图像帧进行感兴趣区域提取以获得由多个感兴趣区域图像组成的拉丝面感兴趣区域三维张量；以及，将所述拉丝面感兴趣区域三维张量通过所述使用三维卷积核的第一卷积神经网络以得到拉丝面特征向量。

在上述龙门刨床的加工控制方法中，所述使用三维卷积核的第一卷积神经网络在层的正向传递中对输入数据分别进行：基于所述三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络的最后一层的输出为所述拉丝面特征向量，所述第一卷积神经网络的第一层的输入为所述拉丝面感兴趣区域三维张量。

在上述龙门刨床的加工控制方法中，对所述拉丝面特征向量和所述横断面特征向量进行基于位置关联的关联编码以得到分类特征矩阵，包括；以如下公式对所述拉丝面特征向量和所述横断面特征向量进行基于位置关联的关联编码以得到所述分类特征矩阵；

其中，所述公式为：

其中

表示所述分类特征矩阵，

表示所述拉丝面特征向量,

表示所述横断面特征向量，

和

均为列向量，

表示矩阵的Frobenius范数，

表示矩阵的指数运算。

在上述龙门刨床的加工控制方法中，将所述分类特征矩阵通过分类器以得到分类结果，包括：所述分类器以如下公式对所述分类特征矩阵进行处理以生成分类结果，其中，所述公式为：

，其中

表示将所述分类特征矩阵投影为向量，

至

为各层全连接层的权重矩阵，

至

表示各层全连接层的偏置矩阵。

与现有技术相比，本申请提供的龙门刨床及其加工控制方法，其通过三维卷积神经网络模型从所述待加工工件的正面图像和所述待加工工件的拉丝面图像的感兴趣区域中提取所述待加工工件的拉丝面和直径的动态变化特征，并且以尺度迁移确定性对特征融合后的分类矩阵进行约束，这样不仅保持了所述拉丝面特征和所述横断面特征到关联特征空间的尺度迁移确定性关系，而且也保持了所述分类矩阵与所述拉丝面特征和所述横断面特征的一定程度的一致性，进而提高了分类效果。这样，就能够基于拉丝过程中待拉丝件的实时截面尺寸来微调拉丝轮的高度，以保证在拉丝过程中丝路的均匀一致性。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的龙门刨床的应用场景图。

图2为根据本申请实施例的龙门刨床的框图。

图3为根据本申请实施例的龙门刨床的加工控制方法的流程图。

图4为根据本申请实施例的龙门刨床的加工控制方法的架构示意图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

如前所述，龙门刨床主要用于刨削大型工件，也可在工作台上装夹多个零件同时加工，是工业的母机。龙门刨床的工作台带着工件通过门式框架作直线往复运动，空行程速度大于工作行程速度。横梁上一般装有两个垂直刀架，刀架滑座可在垂直面内回转一个角度，并可沿横梁作横向进给运动，拉丝是一种金属加工工艺，具体是指在金属压力加工中，在外力作用下使金属强行通过模具，金属横截面积被压缩，并获得所要求的横截面积形状和尺寸的技术加工方法，拉丝主要应用于家用电器面板、各种数码产品外设和面板、笔记本电脑面板中，用于制作各种标识等。

在对加工件进行拉丝处理时，需要根据加工件尺寸和拉丝深度对拉丝轮进行相应的调节，而目前对拉丝轮进行调节时主要是通过人工调节，该调节方式操作步骤较为繁琐且调节的精度不能得到保证，需要对调节后的拉丝轮进行数据测量比对，拉丝轮的调节难度高，效率不佳，不能满足使用需求。

并且，现有的基于龙门刨床的拉丝装置在利用拉丝轮进行拉丝时，拉丝轮保持于特定的高度。但在实际工作中，由于待拉丝工件并非理想工件，也就是，待拉丝工件沿其径向方向上会发生直径的变化，因此，在进行拉丝过程中，为了使得丝路均匀一致，期待一种优化的控制方案，其能够基于拉丝过程中待拉丝件的实时截面尺寸来微调拉丝轮的高度。

深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

深度学习以及神经网络的发展，为拉丝轮高度的微调控制提供了新的解决思路和方案。

具体地，在本申请的技术方案中，首先通过部署于龙门刨床的随动的两个摄像头分别获取包含当前时间点在内的多个预定时间点的待拉丝件的监控视频。特别地，这里，其中一个摄像头以俯视之视角用于采集所述待拉丝件的拉丝面图像视频以获得所述第一监控视频，另一个摄像头用于采集所述待拉丝件的横断面图像视频以获得所述第二监控视频。然后，从所述第一监控视频中提取包含当前时间点在内的多个预定时间点的多个第一图像帧和从所述第二监控视频中提取所述多个预定时间点的多个第二图像帧，以便于后续的特征提取。这里，所述待拉丝件的拉丝面图像用于表征所述待拉丝部位的表面情况，而所述待拉丝件的横断面图像则用于表示所述待拉丝件的直径变化。

为了防止图像中背景区域的干扰，进一步以候选框网络分别从所述正面图像和所述拉丝面图像中提取感兴趣区域以获得第一感兴趣区域图像的序列和第二感兴趣区域图像的序列。

然后，将所述第一感兴趣区域图像的序列构造为三维张量后通过三维卷积神经网络以得到拉丝面特征向量，用于表示拉丝面的动态变化，并且将所述第二感兴趣区域图像的序列构造为三维张量后通过三维卷积神经网络以得到横断面特征向量，用于表示直径的动态变化。

这样，直接融合拉丝面特征向量和横断面特征向量来进行分类，就可以获得当前时间点的拉丝架高度应增加或应降低的分类结果。

但是，由于拉丝面特征向量

用于表达拉丝面图像语义特征，横断面特征向量

用于表达横断面图像语义特征，其基于同一对象而在高维特征空间中会存在连续性和关联性，因此计算两者的关联矩阵来获得分类矩阵

。但是，考虑到关联性和连续性的波动可能在高维空间内的特征表达上导致特征分布的位置偏移，因此对分类矩阵

约束其尺度迁移确定性，具体为：

表示矩阵的Frobenius范数，拉丝面特征向量

和横断面特征向量

均为列向量，

表示矩阵的指数运算，矩阵除法表示以分子矩阵中各个位置的特征值分别除以分母，对矩阵进行指数运算表示以矩阵中各个位置的特征值为幂的自然指数函数值。

也就是，通过拉丝面特征向量

和横断面特征向量

的按位置关联特征表达，并进行关联矩阵的低秩表达约束，保持了拉丝面特征向量

和横断面特征向量

到关联特征空间的尺度迁移确定性关系，由此，分类矩阵

在分类概率下也保持了与拉丝面特征向量

和横断面特征向量

的一定程度的一致性，提高了分类效果。

基于此，本申请提出了一种龙门刨床，其包括：图像采集模块，用于通过部署于龙门刨床且与所述龙门刨床随动的第一摄像头和第二摄像头采集待拉丝件的第一监控视频和第二监控视频，其中，所述第一摄像头对应于所述待拉丝件的拉丝面，所述第二摄像头对应于所述待拉丝件的横断面；采样模块，用于从所述第一监控视频中提取包含当前时间点在内的多个预定时间点的多个第一图像帧和从所述第二监控视频中提取所述多个预定时间点的多个第二图像帧；第一编码模块，用于将所述多个第一图像帧按照时间维度构造为拉丝面三维张量后通过使用三维卷积核的第一卷积神经网络以得到拉丝面特征向量；第二编码模块，用于将所述多个第二图像帧按照时间维度构造为横断面三维张量后通过使用三维卷积核的第二卷积神经网路以得到横断面特征向量；关联编码模块，用于对所述拉丝面特征向量和所述横断面特征向量进行基于位置关联的关联编码以得到分类特征矩阵，其中，所述基于位置关联的关联编码基于所述拉丝面特征向量乘以所述横断面特征向量的转置向量所得到的特征矩阵除以所述特征矩阵的Frobenius范数来进行；以及，拉丝控制结果生成模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的拉丝轮高度应降低、保持不变或应抬高。

图1图示了根据本申请实施例的龙门刨床的应用场景图。如图1所示，在该应用场景中，首先，通过部署于龙门刨床（例如，如图1中所示意的P）且与所述龙门刨床随动的第一摄像头（例如，如图1中所示意的C1）和第二摄像头（例如，如图1中所示意的C2）采集待拉丝件（例如，如图1中所示意的W）的第一监控视频和第二监控视频，其中，所述第一摄像头对应于所述待拉丝件的拉丝面，所述第二摄像头对应于所述待拉丝件的横断面。然后，将获得的所述第一监控视频和所述第二监控视频输入至部署有龙门刨床算法的服务器中（例如，如图1中所示意的服务器S），其中，所述服务器能够以龙门刨床算法对所述第一监控视频和所述第二监控视频进行处理，以获得用于表示当前时间点的拉丝轮高度应降低、保持不变或应抬高的分类结果。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统

图2图示了根据本申请实施例的龙门刨床的框图。如图2所示，根据本申请实施例的龙门刨床 200，包括：图像采集模块 210，用于通过部署于龙门刨床且与所述龙门刨床随动的第一摄像头和第二摄像头采集待拉丝件的第一监控视频和第二监控视频，其中，所述第一摄像头对应于所述待拉丝件的拉丝面，所述第二摄像头对应于所述待拉丝件的横断面；采样模块 220，用于从所述第一监控视频中提取包含当前时间点在内的多个预定时间点的多个第一图像帧和从所述第二监控视频中提取所述多个预定时间点的多个第二图像帧；第一编码模块 230，用于将所述多个第一图像帧按照时间维度构造为拉丝面三维张量后通过使用三维卷积核的第一卷积神经网络以得到拉丝面特征向量；第二编码模块 240，用于将所述多个第二图像帧按照时间维度构造为横断面三维张量后通过使用三维卷积核的第二卷积神经网路以得到横断面特征向量；关联编码模块 250，用于对所述拉丝面特征向量和所述横断面特征向量进行基于位置关联的关联编码以得到分类特征矩阵，其中，所述基于位置关联的关联编码基于所述拉丝面特征向量乘以所述横断面特征向量的转置向量所得到的特征矩阵除以所述特征矩阵的Frobenius范数来进行；以及，拉丝控制结果生成模块 260，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的拉丝轮高度应降低、保持不变或应抬高。

具体地，在本申请实施例中，所述图像采集模块 210和所述采样模块 220，用于通过部署于龙门刨床且与所述龙门刨床随动的第一摄像头和第二摄像头采集待拉丝件的第一监控视频和第二监控视频，其中，所述第一摄像头对应于所述待拉丝件的拉丝面，所述第二摄像头对应于所述待拉丝件的横断面，并从所述第一监控视频中提取包含当前时间点在内的多个预定时间点的多个第一图像帧和从所述第二监控视频中提取所述多个预定时间点的多个第二图像帧。如前所述，由于现有的基于龙门刨床的拉丝装置在利用拉丝轮进行拉丝时，所述拉丝轮保持于特定的高度。但在实际工作中，由于待拉丝工件并非理想工件，也就是，所述待拉丝工件沿其径向方向上会发生直径的变化，因此，在本申请的技术方案中，在进行拉丝过程中，为了使得丝路均匀一致，期望在拉丝的过程中能够基于所述待拉丝件的实时截面尺寸来微调拉丝轮的高度。

也就是，具体地，在本申请的技术方案中，首先通过部署于龙门刨床的随动的两个摄像头分别获取包含当前时间点在内的多个预定时间点的待拉丝件的监控视频。特别地，这里，其中一个摄像头以俯视之视角用于采集所述待拉丝件的拉丝面图像视频以获得所述第一监控视频，另一个摄像头用于采集所述待拉丝件的横断面图像视频以获得所述第二监控视频。然后，从所述第一监控视频中提取包含当前时间点在内的多个预定时间点的多个第一图像帧和从所述第二监控视频中提取所述多个预定时间点的多个第二图像帧，以便于后续的特征提取。这里，所述待拉丝件的拉丝面图像用于表征所述待拉丝部位的表面情况，而所述待拉丝件的横断面图像则用于表示所述待拉丝件的直径变化。

具体地，在本申请实施例中，所述第一编码模块 230和所述第二编码模块 240，用于将所述多个第一图像帧按照时间维度构造为拉丝面三维张量后通过使用三维卷积核的第一卷积神经网络以得到拉丝面特征向量，并将所述多个第二图像帧按照时间维度构造为横断面三维张量后通过使用三维卷积核的第二卷积神经网路以得到横断面特征向量。应可以理解，在本申请实施例中，为了防止图像中背景区域的干扰，进一步以候选框网络分别从所述正面图像和所述拉丝面图像中提取感兴趣区域以获得第一感兴趣区域图像的序列和第二感兴趣区域图像的序列。然后，将所述第一感兴趣区域图像的序列构造为三维张量后通过三维卷积神经网络以得到拉丝面特征向量，用于表示在时序维度上拉丝面的动态变化特征，并且将所述第二感兴趣区域图像的序列构造为三维张量后通过三维卷积神经网络以得到横断面特征向量，用于表示在时序维度上直径的动态变化特征表示。

更具体地，在本申请实施例中，所述第一编码模块，包括：感兴趣区域提取单元，用于以候选框提取网络对所述拉丝面三维张量中各个图像帧进行感兴趣区域提取以获得由多个感兴趣区域图像组成的拉丝面感兴趣区域三维张量。第一三维卷积编码单元，用于将所述拉丝面感兴趣区域三维张量通过所述使用三维卷积核的第一卷积神经网络以得到拉丝面特征向量。特别地，这里，所述使用三维卷积核的第一卷积神经网络在层的正向传递中对输入数据分别进行：首先，基于所述三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；然后，对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；最后，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络的最后一层的输出为所述拉丝面特征向量，所述第一卷积神经网络的第一层的输入为所述拉丝面感兴趣区域三维张量。

具体地，在本申请实施例中，所述关联编码模块 250，用于对所述拉丝面特征向量和所述横断面特征向量进行基于位置关联的关联编码以得到分类特征矩阵，其中，所述基于位置关联的关联编码基于所述拉丝面特征向量乘以所述横断面特征向量的转置向量所得到的特征矩阵除以所述特征矩阵的Frobenius范数来进行。应可以理解，在本申请的技术方案中，进一步直接融合所述拉丝面特征向量和所述横断面特征向量来进行分类，就可以获得当前时间点的拉丝架高度应增加或应降低的分类结果。但是，由于所述拉丝面特征向量

用于表达拉丝面图像语义特征，所述横断面特征向量

用于表达横断面图像语义特征，其基于同一对象而在高维特征空间中会存在连续性和关联性。因此，在本申请的技术方案中，进一步计算两者的关联矩阵来获得分类矩阵

。

但是，考虑到关联性和连续性的波动可能在高维空间内的特征表达上导致特征分布的位置偏移，因此还需对所述分类矩阵

约束其尺度迁移确定性。应可以理解，通过所述拉丝面特征向量

和所述横断面特征向量

的按位置关联特征表达，并进行所述关联矩阵的低秩表达约束，保持了所述拉丝面特征向量

和所述横断面特征向量

到关联特征空间的尺度迁移确定性关系，由此，所述分类矩阵

在分类概率下也保持了与所述拉丝面特征向量

和所述横断面特征向量

的一定程度的一致性，提高了分类效果。

更具体地，在本申请实施例中，所述关联编码模块，进一步用于：以如下公式对所述拉丝面特征向量和所述横断面特征向量进行基于位置关联的关联编码以得到所述分类特征矩阵；其中，所述公式为：

其中

表示所述分类特征矩阵，

表示所述拉丝面特征向量,

表示所述横断面特征向量，

和

均为列向量，

表示矩阵的Frobenius范数，

表示矩阵的指数运算。并且，矩阵除法表示以分子矩阵中各个位置的特征值分别除以分母，对矩阵进行指数运算表示以矩阵中各个位置的特征值为幂的自然指数函数值。

具体地，在本申请实施例中，所述拉丝控制结果生成模块 260，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的拉丝轮高度应降低、保持不变或应抬高。相应地，在一个具体示例中，所述拉丝控制结果生成模块，进一步用于：所述分类器以如下公式对所述分类特征矩阵进行处理以生成分类结果，其中，所述公式为：

，其中

表示将所述分类特征矩阵投影为向量，

至

为各层全连接层的权重矩阵，

至

表示各层全连接层的偏置矩阵。

综上，基于本申请实施例的所述龙门刨床 200被阐明，其通过三维卷积神经网络模型从所述待加工工件的正面图像和所述待加工工件的拉丝面图像的感兴趣区域中提取所述待加工工件的拉丝面和直径的动态变化特征，并且以尺度迁移确定性对特征融合后的分类矩阵进行约束，这样不仅保持了所述拉丝面特征和所述横断面特征到关联特征空间的尺度迁移确定性关系，而且也保持了所述分类矩阵与所述拉丝面特征和所述横断面特征的一定程度的一致性，进而提高了分类效果。这样，就能够基于拉丝过程中待拉丝件的实时截面尺寸来微调拉丝轮的高度，以保证在拉丝过程中丝路的均匀一致性。

如上所述，根据本申请实施例的龙门刨床 200可以实现在各种终端设备中，例如龙门刨床算法的服务器等。在一个示例中，根据本申请实施例的龙门刨床 200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该龙门刨床 200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该龙门刨床 200同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该龙门刨床 200与该终端设备也可以是分立的设备，并且该龙门刨床 200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

示例性方法

图3图示了龙门刨床的加工控制方法的流程图。如图3所示，根据本申请实施例的龙门刨床的加工控制方法，包括步骤：S110，通过部署于龙门刨床且与所述龙门刨床随动的第一摄像头和第二摄像头采集待拉丝件的第一监控视频和第二监控视频，其中，所述第一摄像头对应于所述待拉丝件的拉丝面，所述第二摄像头对应于所述待拉丝件的横断面；S120，从所述第一监控视频中提取包含当前时间点在内的多个预定时间点的多个第一图像帧和从所述第二监控视频中提取所述多个预定时间点的多个第二图像帧；S130，将所述多个第一图像帧按照时间维度构造为拉丝面三维张量后通过使用三维卷积核的第一卷积神经网络以得到拉丝面特征向量；S140，将所述多个第二图像帧按照时间维度构造为横断面三维张量后通过使用三维卷积核的第二卷积神经网路以得到横断面特征向量；S150，对所述拉丝面特征向量和所述横断面特征向量进行基于位置关联的关联编码以得到分类特征矩阵，其中，所述基于位置关联的关联编码基于所述拉丝面特征向量乘以所述横断面特征向量的转置向量所得到的特征矩阵除以所述特征矩阵的Frobenius范数来进行；以及，S160，将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的拉丝轮高度应降低、保持不变或应抬高。

图4图示了根据本申请实施例的龙门刨床的加工控制方法的架构示意图。如图4所示，在所述龙门刨床的加工控制方法的网络架构中，首先，从获得的所述第一监控视频（例如，如图4中所示意的P1）中提取包含当前时间点在内的多个预定时间点的多个第一图像帧（例如，如图4中所示意的P2）和从获得的所述第二监控视频（例如，如图4中所示意的Q1）中提取所述多个预定时间点的多个第二图像帧（例如，如图4中所示意的Q2）；接着，将所述多个第一图像帧按照时间维度构造为拉丝面三维张量（例如，如图4中所示意的T1）后通过使用三维卷积核的第一卷积神经网络（例如，如图4中所示意的CNN1）以得到拉丝面特征向量（例如，如图4中所示意的VF1）；然后，将所述多个第二图像帧按照时间维度构造为横断面三维张量（例如，如图4中所示意的T2）后通过使用三维卷积核的第二卷积神经网路（例如，如图4中所示意的CNN2）以得到横断面特征向量（例如，如图4中所示意的VF2）；接着，对所述拉丝面特征向量和所述横断面特征向量进行基于位置关联的关联编码以得到分类特征矩阵（例如，如图4中所示意的MF）；以及，最后，将所述分类特征矩阵通过分类器（例如，如图4中所示意的分类器）以得到分类结果，所述分类结果用于表示当前时间点的拉丝轮高度应降低、保持不变或应抬高。

更具体地，在步骤S110和S120中，通过部署于龙门刨床且与所述龙门刨床随动的第一摄像头和第二摄像头采集待拉丝件的第一监控视频和第二监控视频，其中，所述第一摄像头对应于所述待拉丝件的拉丝面，所述第二摄像头对应于所述待拉丝件的横断面，并从所述第一监控视频中提取包含当前时间点在内的多个预定时间点的多个第一图像帧和从所述第二监控视频中提取所述多个预定时间点的多个第二图像帧。也就是，具体地，在本申请的技术方案中，首先通过部署于龙门刨床的随动的两个摄像头分别获取包含当前时间点在内的多个预定时间点的待拉丝件的监控视频。特别地，这里，其中一个摄像头以俯视之视角用于采集所述待拉丝件的拉丝面图像视频以获得所述第一监控视频，另一个摄像头用于采集所述待拉丝件的横断面图像视频以获得所述第二监控视频。然后，从所述第一监控视频中提取包含当前时间点在内的多个预定时间点的多个第一图像帧和从所述第二监控视频中提取所述多个预定时间点的多个第二图像帧，以便于后续的特征提取。这里，所述待拉丝件的拉丝面图像用于表征所述待拉丝部位的表面情况，而所述待拉丝件的横断面图像则用于表示所述待拉丝件的直径变化。

更具体地，在步骤S130和S140中，将所述多个第一图像帧按照时间维度构造为拉丝面三维张量后通过使用三维卷积核的第一卷积神经网络以得到拉丝面特征向量，并将所述多个第二图像帧按照时间维度构造为横断面三维张量后通过使用三维卷积核的第二卷积神经网路以得到横断面特征向量。应可以理解，在本申请实施例中，为了防止图像中背景区域的干扰，进一步以候选框网络分别从所述正面图像和所述拉丝面图像中提取感兴趣区域以获得第一感兴趣区域图像的序列和第二感兴趣区域图像的序列。然后，将所述第一感兴趣区域图像的序列构造为三维张量后通过三维卷积神经网络以得到拉丝面特征向量，用于表示在时序维度上拉丝面的动态变化特征，并且将所述第二感兴趣区域图像的序列构造为三维张量后通过三维卷积神经网络以得到横断面特征向量，用于表示在时序维度上直径的动态变化特征表示。

具体地，在本申请实施例中，将所述多个第一图像帧按照时间维度构造为拉丝面三维张量后通过使用三维卷积核的第一卷积神经网络以得到拉丝面特征向量，包括：感兴趣区域提取单元，用于以候选框提取网络对所述拉丝面三维张量中各个图像帧进行感兴趣区域提取以获得由多个感兴趣区域图像组成的拉丝面感兴趣区域三维张量。第一三维卷积编码单元，用于将所述拉丝面感兴趣区域三维张量通过所述使用三维卷积核的第一卷积神经网络以得到拉丝面特征向量。特别地，这里，所述使用三维卷积核的第一卷积神经网络在层的正向传递中对输入数据分别进行：首先，基于所述三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；然后，对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；最后，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络的最后一层的输出为所述拉丝面特征向量，所述第一卷积神经网络的第一层的输入为所述拉丝面感兴趣区域三维张量。

更具体地，在步骤S150中，对所述拉丝面特征向量和所述横断面特征向量进行基于位置关联的关联编码以得到分类特征矩阵，其中，所述基于位置关联的关联编码基于所述拉丝面特征向量乘以所述横断面特征向量的转置向量所得到的特征矩阵除以所述特征矩阵的Frobenius范数来进行。应可以理解，在本申请的技术方案中，进一步直接融合所述拉丝面特征向量和所述横断面特征向量来进行分类，就可以获得当前时间点的拉丝架高度应增加或应降低的分类结果。但是，由于所述拉丝面特征向量

用于表达拉丝面图像语义特征，所述横断面特征向量

用于表达横断面图像语义特征，其基于同一对象而在高维特征空间中会存在连续性和关联性。因此，在本申请的技术方案中，进一步计算两者的关联矩阵来获得分类矩阵

。

但是，考虑到关联性和连续性的波动可能在高维空间内的特征表达上导致特征分布的位置偏移，因此还需对所述分类矩阵

约束其尺度迁移确定性。应可以理解，通过所述拉丝面特征向量

和所述横断面特征向量

的按位置关联特征表达，并进行所述关联矩阵的低秩表达约束，保持了所述拉丝面特征向量

和所述横断面特征向量

到关联特征空间的尺度迁移确定性关系，由此，所述分类矩阵

在分类概率下也保持了与所述拉丝面特征向量

和所述横断面特征向量

的一定程度的一致性，提高了分类效果。

更具体地，在步骤S160中，将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的拉丝轮高度应降低、保持不变或应抬高。相应地，在一个具体示例中，所述拉丝控制结果生成模块，进一步用于：所述分类器以如下公式对所述分类特征矩阵进行处理以生成分类结果，其中，所述公式为：

，其中

表示将所述分类特征矩阵投影为向量，

至

为各层全连接层的权重矩阵，

至

表示各层全连接层的偏置矩阵。

综上，基于本申请实施例的所述龙门刨床的加工控制方法被阐明，其通过三维卷积神经网络模型从所述待加工工件的正面图像和所述待加工工件的拉丝面图像的感兴趣区域中提取所述待加工工件的拉丝面和直径的动态变化特征，并且以尺度迁移确定性对特征融合后的分类矩阵进行约束，这样不仅保持了所述拉丝面特征和所述横断面特征到关联特征空间的尺度迁移确定性关系，而且也保持了所述分类矩阵与所述拉丝面特征和所述横断面特征的一定程度的一致性，进而提高了分类效果。这样，就能够基于拉丝过程中待拉丝件的实时截面尺寸来微调拉丝轮的高度，以保证在拉丝过程中丝路的均匀一致性。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种龙门刨床，其特征在于，包括：图像采集模块，用于通过部署于龙门刨床且与所述龙门刨床随动的第一摄像头和第二摄像头采集待拉丝件的第一监控视频和第二监控视频，其中，所述第一摄像头对应于所述待拉丝件的拉丝面，所述第二摄像头对应于所述待拉丝件的横断面；采样模块，用于从所述第一监控视频中提取包含当前时间点在内的多个预定时间点的多个第一图像帧和从所述第二监控视频中提取所述多个预定时间点的多个第二图像帧；第一编码模块，用于将所述多个第一图像帧按照时间维度构造为拉丝面三维张量后通过使用三维卷积核的第一卷积神经网络以得到拉丝面特征向量；第二编码模块，用于将所述多个第二图像帧按照时间维度构造为横断面三维张量后通过使用三维卷积核的第二卷积神经网路以得到横断面特征向量；关联编码模块，用于对所述拉丝面特征向量和所述横断面特征向量进行基于位置关联的关联编码以得到分类特征矩阵，其中，所述基于位置关联的关联编码基于所述拉丝面特征向量乘以所述横断面特征向量的转置向量所得到的特征矩阵除以所述特征矩阵的Frobenius范数来进行；拉丝控制结果生成模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的拉丝轮高度应降低、保持不变或应抬高。

2.根据权利要求1所述的龙门刨床，其中，所述第一编码模块，包括：感兴趣区域提取单元，用于以候选框提取网络对所述拉丝面三维张量中各个图像帧进行感兴趣区域提取以获得由多个感兴趣区域图像组成的拉丝面感兴趣区域三维张量；以及第一三维卷积编码单元，用于将所述拉丝面感兴趣区域三维张量通过所述使用三维卷积核的第一卷积神经网络以得到拉丝面特征向量。

3.根据权利要求2所述的龙门刨床，其中，所述使用三维卷积核的第一卷积神经网络在层的正向传递中对输入数据分别进行：基于所述三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络的最后一层的输出为所述拉丝面特征向量，所述第一卷积神经网络的第一层的输入为所述拉丝面感兴趣区域三维张量。

4.根据权利要求3所述的龙门刨床，其中，所述关联编码模块，进一步用于：以如下公式对所述拉丝面特征向量和所述横断面特征向量进行基于位置关联的关联编码以得到所述分类特征矩阵；其中，所述公式为：

其中

表示所述分类特征矩阵，

表示所述拉丝面特征向量,

表示所述横断面特征向量，

和

均为列向量，

表示矩阵的Frobenius范数，

表示矩阵的指数运算。

5.根据权利要求4所述的龙门刨床，其中，所述拉丝控制结果生成模块，进一步用于：所述分类器以如下公式对所述分类特征矩阵进行处理以生成分类结果，其中，所述公式为：

，其中

表示将所述分类特征矩阵投影为向量，

至

为各层全连接层的权重矩阵，

至

表示各层全连接层的偏置矩阵。

6.一种龙门刨床的加工控制方法，其特征在于，包括：通过部署于龙门刨床且与所述龙门刨床随动的第一摄像头和第二摄像头采集待拉丝件的第一监控视频和第二监控视频，其中，所述第一摄像头对应于所述待拉丝件的拉丝面，所述第二摄像头对应于所述待拉丝件的横断面；从所述第一监控视频中提取包含当前时间点在内的多个预定时间点的多个第一图像帧和从所述第二监控视频中提取所述多个预定时间点的多个第二图像帧；将所述多个第一图像帧按照时间维度构造为拉丝面三维张量后通过使用三维卷积核的第一卷积神经网络以得到拉丝面特征向量；将所述多个第二图像帧按照时间维度构造为横断面三维张量后通过使用三维卷积核的第二卷积神经网路以得到横断面特征向量；对所述拉丝面特征向量和所述横断面特征向量进行基于位置关联的关联编码以得到分类特征矩阵，其中，所述基于位置关联的关联编码基于所述拉丝面特征向量乘以所述横断面特征向量的转置向量所得到的特征矩阵除以所述特征矩阵的Frobenius范数来进行；以及将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的拉丝轮高度应降低、保持不变或应抬高。

7.根据权利要求6所述的龙门刨床的加工控制方法，其中，将所述多个第一图像帧按照时间维度构造为拉丝面三维张量后通过使用三维卷积核的第一卷积神经网络以得到拉丝面特征向量，包括：以候选框提取网络对所述拉丝面三维张量中各个图像帧进行感兴趣区域提取以获得由多个感兴趣区域图像组成的拉丝面感兴趣区域三维张量；以及将所述拉丝面感兴趣区域三维张量通过所述使用三维卷积核的第一卷积神经网络以得到拉丝面特征向量。

8.根据权利要求7所述的龙门刨床的加工控制方法，其中，所述使用三维卷积核的第一卷积神经网络在层的正向传递中对输入数据分别进行：基于所述三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络的最后一层的输出为所述拉丝面特征向量，所述第一卷积神经网络的第一层的输入为所述拉丝面感兴趣区域三维张量。

9.根据权利要求8所述的龙门刨床的加工控制方法，其中，对所述拉丝面特征向量和所述横断面特征向量进行基于位置关联的关联编码以得到分类特征矩阵，包括；以如下公式对所述拉丝面特征向量和所述横断面特征向量进行基于位置关联的关联编码以得到所述分类特征矩阵；其中，所述公式为：

其中

表示所述分类特征矩阵，

表示所述拉丝面特征向量,

表示所述横断面特征向量，

和

均为列向量，

表示矩阵的Frobenius范数，

表示矩阵的指数运算。

10.根据权利要求9所述的龙门刨床的加工控制方法，其中，将所述分类特征矩阵通过分类器以得到分类结果，包括：所述分类器以如下公式对所述分类特征矩阵进行处理以生成分类结果，其中，所述公式为：

，其中

表示将所述分类特征矩阵投影为向量，

至

为各层全连接层的权重矩阵，

至

表示各层全连接层的偏置矩阵。

Images