CN112947180B - 重型机械作业状态识别预测方法、装置、设备及存储介质 - Google Patents

Abstract

本发明提供了一种重型机械作业状态识别预测方法、装置、设备及存储介质，该方法包括：实时采集重型机械的运动关键点的当前位姿数据；通过欧式距离算法识别重型机械的当前作业状态；将当前位姿数据和当前作业状态通过训练好的GRU模型预测下一时刻位姿数据和下一时刻第一作业状态；再次通过欧式距离算法识别下一时刻第二作业状态；根据下一时刻第一作业状态和下一时刻第二作业状态计算下一时刻作业状态。本发明对重型机械运动关键点位置数据采集并进行作业状态识别，结合GRU模型，实现对施工机械的关键点位姿状态的预测估计；并根据施工机械各关键点的预测估计结果，通过欧式距离算法在线实时的识别预测重型机械的作业状态。

Description

重型机械作业状态识别预测方法、装置、设备及存储介质

技术领域

本发明涉及施工现场安全监测技术领域，尤其涉及一种重型机械作业状态识别预测方法、装置、设备及存储介质。

背景技术

在施工现场，大型施工机械的作业动作及不同机械之间的交互是造成安全隐患的主要原因之一，因此，对重型机械在工地上的作业运动情况的监测是十分重要的。通常情况下，当施工现场中多个物体(人、机械)相互移动时，很可能发生事故。基于这种认知，当前施工现场安全管理人员主要关注施工机械、人员的位置变化轨迹来判断安全风险情况。通过施工现场的监控摄像头和预装在机械设备上的传感器获取的数据信息，对施工机械、人员等的位置进行自动监控，帮助现场管理人员对施工现场进行传统上容易出错、繁琐的安全检查。但这样的方案面临两类问题：

1)当大型施工机械的在施工现场作业时，经常是整体位置不变，但局部的机械部件进行作业操作，比如挖掘机的作业过程中，其行走装置固定不动，但上部转台及工作装置通过位置与姿态的变化进行作业，此时仍有发生事故的可能。

2)现场管理人员通过观看监控视频和人工评估潜在的风险来监控现场的机械作业动作，依赖于管理人员的主观判断和专业知识水平，并且长时间的观察现场十分消耗时间精力，容易因疲劳导致出错。

因此，现有方法无法对重型机械的局部位姿变化形成的作业动作进行有效的识别预测，且过多的依赖于现场管理人员，存在很多主观性和不可预测性，容易引发安全事故。

发明内容

本发明中提出了一种重型机械作业状态识别预测方法、装置、设备及存储介质，旨在解决现有方法无法对重型机械的局部位姿变化形成的作业动作进行有效的识别预测，且过多的依赖于现场管理人员的技术问题。

为了实现上述目的，本发明提供了一种重型机械作业状态识别预测方法，所述重型机械作业状态识别预测方法包括以下步骤：

实时采集重型机械的运动关键点的当前位姿数据；

根据所述当前位姿数据通过欧式距离算法识别所述重型机械的当前作业状态；

将所述当前位姿数据和所述当前作业状态通过训练好的GRU(门控循环单元)模型预测所述重型机械的下一时刻位姿数据和下一时刻第一作业状态Act₁；

根据所述下一时刻位姿数据通过所述欧式距离算法识别所述重型机械的下一时刻第二作业状态Act₂；

根据所述下一时刻第一作业状态和所述下一时刻第二作业状态计算所述重型机械的下一时刻作业状态Act：

优选地，所述实时采集重型机械的运动关键点的当前位姿数据的步骤包括：

实时采集重型机械的运动关键点的当前姿态数据

其中，θ代表关键点的欧拉角，

分别横滚角、俯仰角和偏航角；

实时采集重型机械的运动关键点的当前位置数据P＝(x,y,z)；

综合所述当前姿态数据和所述当前位置数据得到所述重型机械的运动关键点的当前位姿数据。

优选地，所述重型机械包括挖掘机和卡车，所述综合所述当前姿态数据和所述当前位置数据得到所述重型机械的运动关键点的当前位姿数据的步骤包括：

挖掘机的运动关键点的当前位姿数据为X_E＝[X₁,X₂,...,X_i]，X_i＝[P_i,θ_i]^T，其中i＝1,2,3,4，关键点i＝1为挖掘机的尾部；关键点i＝2为挖掘机的重心位置；关键点i＝3为挖掘机的斗杆起始位置；关键点i＝4为挖掘机铲斗的尾端；

卡车的运动关键点的当前位姿数据为X_T＝[X₁,X₂,...,X_j]，X_j＝[P_j,θ_j]^T，其中j＝1,2,3,4，关键点j＝1,2,3,4分别为在卡车翻斗的边缘四角。

优选地，所述根据所述当前位姿数据通过欧式距离算法识别所述重型机械的当前作业状态的步骤包括：

根据所述当前位姿数据计算得到所述挖掘机和所述卡车之间的关键点欧式距离D_i,j，所述关键点欧式距离D_i,j的计算公式为：

根据所述关键点欧式距离D_i,j计算得到当前时刻与上一时刻的关键点欧式距离一阶差分ΔD_k(t)，所述关键点欧式距离一阶差分ΔD_k(t)的计算公式为：ΔD_k(t)＝D_k(t)-D_k(t-1)，其中，k＝i,j是运动关键点索引，i＝1,2,3,4为挖掘机的运动关键点，j＝1,2,3,4为卡车的运动关键点；

判断所述关键点欧式距离一阶差分的大小：

a)若所有关键点欧式距离一阶差分为0，即ΔD_k(t)＝0,k＝all，则认定挖掘机当前处于空闲状态；

b)若ΔD_1,j≠0,j＝1,2,3,4且其欧拉角变化Δθ₁≠0，则认定挖掘机当前处于转动作业状态；

c)若

则认定挖掘机当前处于挖掘作业状态，在所述挖掘机当前处于挖掘作业状态时，再根据ED_k的值判断挖掘机的机臂状态，若D_3,j＞D_2,j，则认定所述挖掘机的机臂状态是伸出挖掘；若D_3,j＜D_2,j，则认定所述挖掘机的机臂状态是往回收回；

d)若D_4,j＜D_3,j＜D_2,j＜D_1,j，则认定挖掘机当前处于倾倒作业状态，或，若挖掘机关键点i＝4的位置处于卡车四个关键点范围内，则认定挖掘机当前处于倾倒作业状态。

优选地，所述将所述当前位姿数据和所述当前作业状态通过训练好的GRU模型预测所述重型机械的下一时刻位姿数据和下一时刻第一作业状态的步骤包括：

将所述当前位姿数据和所述当前作业状态合并为当前位姿状态x_t＝[X_E,X_T,A]_t；其中，t表示当前时刻，X_E是挖掘机的运动关键点的当前位姿数据，X_T是卡车的运动关键点的当前位姿数据，A是挖掘机的当前作业状态，A＝0表示挖掘机处于空闲状态，A＝1表示挖掘机处于挖掘作业状态，A＝2表示挖掘机处于转动作业状态，A＝3表示挖掘机处于倾倒作业状态；

将所述当前位姿状态通过训练好的GRU模型预测所述重型机械的下一时刻位姿数据和下一时刻第一作业状态。

优选地，所述训练好的GRU模型的训练过程包括：

基于pytorch深度学习框架，采用监督学习方法进行GRU模型参数训练，所述模型参数包括：更新门单元的权值参数矩阵W_z、重置门单元的权值参数矩阵W_r和需要训练的权值参数矩阵W，在训练过程中使用的损失函数为：

其中，M是测试数据集的样本数量，K是重型机械的运动关键点总数，k是运动关键点索引，d_k是第k个运动关键点的位姿数据预测值和真实值之间的误差，ΔA是预测作业状态和实际作业状态之间的误差；

当满足训练的迭代条件时，终止训练，获得训练好的GRU模型。

此外，为了实现上述目的，本发明还提供了一种重型机械作业状态识别预测设备，所述重型机械作业状态识别预测设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的重型机械作业状态识别预测程序，所述重型机械作业状态识别预测程序被所述处理器执行时实现上述重型机械作业状态识别预测方法的步骤。

此外，为了实现上述目的，本发明还提供了一种存储介质，所述存储介质上存储有重型机械作业状态识别预测程序，所述重型机械作业状态识别预测程序被处理器执行时实现上述重型机械作业状态识别预测方法的步骤。

此外，为了实现上述目的，本发明还提供了一种重型机械作业状态识别预测装置，所述重型机械作业状态识别预测装置包括：

采集模块，用于实时采集重型机械的运动关键点的当前位姿数据；

识别模块，用于根据所述当前位姿数据通过欧式距离算法识别所述重型机械的当前作业状态；

预测模块，用于将所述当前位姿数据和所述当前作业状态通过训练好的GRU模型预测所述重型机械的下一时刻位姿数据和下一时刻第一作业状态；

所述识别模块，还用于根据所述下一时刻位姿数据通过所述欧式距离算法识别所述重型机械的下一时刻第二作业状态；

计算模块，用于根据所述下一时刻第一作业状态和所述下一时刻第二作业状态计算所述重型机械的下一时刻作业状态。

优选地，所述重型机械的运动关键点的当前位姿数据包括姿态数据和修订后的位置数据；

所述采集模块包括：

IMU(惯性)传感器，用于实时采集所述重型机械的运动关键点的姿态数据；

GPS传感器，用于实时采集所述重型机械的运动关键点的位置数据；

气压计传感器，用于实时对所述位置信息进行修正，获得修正后的位置数据。

本发明的有益效果：本发明充分考虑施工现场的实际情况，以重型机械的作业状态监测为目标，结合其作业状态与其它重型器械的相互关联性，提供了一种基于位姿数据的作业状态识别预测方法，相对于传统的基于安全员观察的方法，本方法不受光线、遮挡等影响导致错误的判断，同时可以提供24小时全天候的监测，可以有效提升对施工现场的安全管理，降低因施工机械造成的事故风险发生。

附图说明

图1为本发明实施例一种重型机械作业状态识别预测方法执行流程图；

图2为本发明实施例挖掘机和卡车运动关键点位置示意图；

图3为本发明实施例GRU模型预测重型机械作业状态实现流程图；

图4为本发明实施例一种重型机械作业状态识别预测装置结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。

请参考图1，图1为本发明实施例一种重型机械作业状态识别预测方法执行流程图；

本发明实施例提供的一种重型机械作业状态识别预测方法，包括以下步骤：

S1、实时采集重型机械的运动关键点的当前位姿数据；

步骤S1具体包括：

实时采集重型机械的运动关键点的当前姿态数据

其中，θ代表关键点的欧拉角，

分别为：横滚角Roll、俯仰角Pitch和偏航角Yaw，本实施例重点关注的是偏航角yaw，用于判断重型机械是否进行转动；

实时采集重型机械的运动关键点的当前位置数据P＝(x,y,z)；

综合所述当前姿态数据和所述当前位置数据得到所述重型机械的运动关键点的当前位姿数据。

请参考图2，在本实施例中，以挖掘机和卡车这两种重型机械为目标对象，分别对挖掘机和卡车选取四个运动关键点，并在运动关键点处进行位姿数据采集，则挖掘机的运动关键点的当前位姿数据为X_E＝[X₁,X₂,...,X_i]，X_i＝[P_i,θ_i]^T，其中i＝1,2,3,4，关键点i＝1为挖掘机的尾部；关键点i＝2为挖掘机的重心位置；关键点i＝3为挖掘机的斗杆起始位置；关键点i＝4为挖掘机铲斗的尾端；

卡车的运动关键点的当前位姿数据为X_T＝[X₁,X₂,...,X_j]，X_j＝[P_j,θ_j]^T，其中j＝1,2,3,4，关键点j＝1,2,3,4分别为在卡车翻斗的边缘四角。

S2、根据所述当前位姿数据通过欧式距离算法识别所述重型机械的当前作业状态；

步骤S2具体包括：

根据所述当前位姿数据计算得到所述挖掘机和所述卡车之间的关键点欧式距离D_i,j，所述关键点欧式距离D_i,j的计算公式为：

根据所述关键点欧式距离D_i,j计算得到当前时刻与上一时刻的关键点欧式距离一阶差分ΔD_k(t)，所述关键点欧式距离一阶差分ΔD_k(t)的计算公式为：ΔD_k(t)＝D_k(t)-D_k(t-1)，其中，k＝i,j是运动关键点索引，i＝1,2,3,4为挖掘机的运动关键点，j＝1,2,3,4为卡车的运动关键点；

在施工现场以挖掘机为例，其作业状态分为：空闲、转动、挖掘、倾倒四种状态：通过判断所述关键点欧式距离一阶差分的大小进而实现对四种作业状态的识别：

a)若所有关键点欧式距离一阶差分为0，即ΔD_k(t)＝0,k＝all，则认定挖掘机当前处于空闲状态；

b)若ΔD_1,j≠0,j＝1,2,3,4且欧拉角变化Δθ₁≠0，则认定挖掘机当前处于转动作业状态；

c)若ΔD_1,j＝0,(ΔD_3,j≠0)∪(ΔD_2,j≠0)，则认定挖掘机当前处于挖掘作业状态，在所述挖掘机当前处于挖掘作业状态时，再根据D_k的值判断挖掘机的机臂状态，若D_3,j＞D_2,j，则认定所述挖掘机的机臂状态是伸出挖掘；若D_3,j＜D_2,j，则认定所述挖掘机的机臂状态是往回收回；

d)若D_4,j＜D_3,j＜D_2,j＜D_1,j，则认定挖掘机当前处于倾倒作业状态，或，若挖掘机关键点i＝4的位置处于卡车四个关键点范围内，则认定挖掘机当前处于倾倒作业状态。

S3、将所述当前位姿数据和所述当前作业状态通过训练好的GRU模型预测所述重型机械的下一时刻位姿数据和下一时刻第一作业状态Act₁；

步骤S3具体包括：

S31、将所述当前位姿数据和所述当前作业状态合并为当前位姿状态x_t＝[X_E,X_T,A]_t；其中，t表示当前时刻，X_E是挖掘机的运动关键点的当前位姿数据，X_T是卡车的运动关键点的当前位姿数据，A是挖掘机的当前作业状态，A＝0表示挖掘机处于空闲状态，A＝1表示挖掘机处于挖掘作业状态，A＝2表示挖掘机处于转动作业状态，A＝3表示挖掘机处于倾倒作业状态；

S32、将所述当前位姿状态通过训练好的GRU模型预测所述重型机械的下一时刻位姿数据和下一时刻第一作业状态。

步骤S32的实现流程请参考图3，具体流程如下：

a)更新门运算z_t＝σ(W_z[h_t-1,x_t])：

z_t表示更新门，h_t-1是上一时刻的预测结果，W_z是更新门单元的权值参数矩阵，在训练中学习，在训练结束时确定。σ(·)代表sigmoid函数：Sigmoid(z)＝1/(1+e^-z)。通过sigmoid函数后，z_t的输出结果在(0,1)范围内，表示上次预测的结果有多少信息被保留下来，当前状态中的新内容有多少需要被记忆。

b)重置门运算r_t＝σ(W_r[h_t-1,x_t])：

r_t表示重置门，其公式跟更新门一致，但不同的是参数W_r是重置门单元的权值参数矩阵。r_t的结果表示以前预测的结果有多少需要被遗忘。

c)记忆更新内容

表示新的需记忆内容，W是需要训练的权值参数矩阵，tanh(·)为表激活函数，其表达式为：tanh(z)＝(e^z-e^-z)/(e^z+e^-z)。

d)预测结果

基于上一时刻的预测结果h_t-1，以及需要更新的记忆内容z_t，得到当前时间步的预测结果h_t。

综上得到了施工现场重型机械(如挖掘机)的关键点位姿数据预测结果

GRU模型参数的训练过程包括：

基于pytorch深度学习框架，采用有监督学习方法进行GRU模型参数训练，所述模型参数包括：更新门单元的权值参数矩阵W_z、重置门单元的权值参数矩阵W_r和需要训练的权值参数矩阵W，在训练过程中使用的损失函数为：

其中，M是测试数据集的样本数量，K是重型机械的运动关键点总数，k是运动关键点索引，d_k是第k个运动关键点的位姿数据预测值和真实值之间的误差，ΔA是预测作业状态和实际作业状态之间的误差；

当满足迭代训练次数时，终止训练，获得训练好的GRU模型。

训练好的GRU模型在实际应用时，将根据各个关键点的位姿数据预测重型机械的下一时刻位姿数据和下一时刻第一作业状态Act₁。

S4、根据所述下一时刻位姿数据通过所述欧式距离算法识别所述重型机械的下一时刻第二作业状态Act₂；

步骤S4具体包括：

考虑时间参数，并根据GRU模型预测得到的下一时刻位姿数据，可以得到t+1时刻(下一时刻)的欧式距离一阶差分：

ΔD_k(t+1)＝D_k(t+1)-D_k(t)，k＝i,j是运动关键点索引。t+1时刻(下一时刻)的欧式距离的计算根据GRU模型预测的结果，t时刻(当前时刻)的欧式距离的计算根据采集模块实际采集的结果。

根据t+1时刻的各个关键点的欧式距离一阶差分结果可以得到重型机械的下一时刻第二作业状态Act₂。

S5、根据所述下一时刻第一作业状态和所述下一时刻第二作业状态计算所述重型机械的下一时刻作业状态Act，具体计算公式为：

Act＝λ·Act₁+(1-λ)·Act₂，

其中λ为权重因子，一般取0.5。

此外，请参考图4，本发明具体实施例还提供了一种重型机械作业状态识别预测装置，所述重型机械作业状态识别预测装置包括：

采集模块1，用于实时采集重型机械的运动关键点的当前位姿数据；

识别模块2，用于根据所述当前位姿数据通过欧式距离算法识别所述重型机械的当前作业状态；

预测模块3，用于将所述当前位姿数据和所述当前作业状态通过训练好的GRU模型预测所述重型机械的下一时刻位姿数据和下一时刻第一作业状态；

所述识别模块2，还用于根据所述下一时刻位姿数据通过所述欧式距离算法识别所述重型机械的下一时刻第二作业状态；

计算模块4，用于根据所述下一时刻第一作业状态和所述下一时刻第二作业状态计算所述重型机械的下一时刻作业状态。

其中，所述重型机械的运动关键点的当前位姿数据包括姿态数据和修订后的位置数据；

所述采集模块1包括：

IMU传感器，用于实时采集所述重型机械的运动关键点的姿态数据；

GPS传感器，用于实时采集所述重型机械的运动关键点的位置数据；

气压计传感器，用于实时对所述位置信息进行修正，获得修正后的位置数据。

此外，本发明具体实施例还提供了一种重型机械作业状态识别预测设备，所述重型机械作业状态识别预测设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的重型机械作业状态识别预测程序，所述重型机械作业状态识别预测程序被所述处理器执行时实现上述重型机械作业状态识别预测方法的步骤。

此外，本发明具体实施例还提供了一种存储介质，所述存储介质上存储有重型机械作业状态识别预测程序，所述重型机械作业状态识别预测程序被处理器执行时实现上述重型机械作业状态识别预测方法的步骤。

本发明充分考虑施工现场的实际情况，以重型机械的作业状态监测为目标，结合其作业状态与其它重型器械的相互关联性，提供了一种基于位姿数据的作业状态识别预测方法，相对于传统的基于安全员观察的方法，本方法不受光线、遮挡等影响导致错误的判断，同时可以提供24小时全天候的监测，可以有效提升对施工现场的安全管理，降低因施工机械造成的事故风险发生。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种重型机械作业状态识别预测方法，其特征在于，所述重型机械作业状态识别预测方法包括以下步骤：

实时采集重型机械的运动关键点的当前位姿数据；

根据所述当前位姿数据通过欧式距离算法识别所述重型机械的当前作业状态；

所述根据所述当前位姿数据通过欧式距离算法识别所述重型机械的当前作业状态的步骤包括：

根据所述当前位姿数据计算得到挖掘机和卡车之间的关键点欧式距离D_i,j，所述关键点欧式距离D_i,j的计算公式为：

根据所述关键点欧式距离D_i,j计算得到当前时刻与上一时刻的关键点欧式距离一阶差分ΔD_k(t)，所述关键点欧式距离一阶差分ΔD_k(t)的计算公式为：ΔD_k(t)＝D_k(t)-D_k(t-1)，其中，k＝i,j是运动关键点索引，i＝1,2,3,4为挖掘机的运动关键点，j＝1,2,3,4为卡车的运动关键点；

判断所述关键点欧式距离一阶差分的大小：

a)若所有关键点欧式距离一阶差分为0，即ΔD_k(t)＝0,k＝all，则认定挖掘机当前处于空闲状态；

b)若ΔD_1,j≠0,j＝1,2,3,4且欧拉角变化Δθ₁≠0，则认定挖掘机当前处于转动作业状态；

c)若ΔD_1,j＝0,{ΔD_3,j≠0}∪{ΔD_2,j≠0}，则认定挖掘机当前处于挖掘作业状态，在所述挖掘机当前处于挖掘作业状态时，再根据D_k的值判断挖掘机的机臂状态，若D_3,j＞D_2,j，则认定所述挖掘机的机臂状态是伸出挖掘；若D_3,j＜D_2,j，则认定所述挖掘机的机臂状态是往回收回；

d)若D_4,j＜D_3,j＜D_2,j＜D_1,j，则认定挖掘机当前处于倾倒作业状态，或，若挖掘机关键点i＝4的位置处于卡车四个关键点范围内，则认定挖掘机当前处于倾倒作业状态；

将所述当前位姿数据和所述当前作业状态通过训练好的GRU模型预测所述重型机械的下一时刻位姿数据和下一时刻第一作业状态Act₁；

根据所述下一时刻位姿数据通过所述欧式距离算法识别所述重型机械的下一时刻第二作业状态Act₂；

根据所述下一时刻第一作业状态和所述下一时刻第二作业状态计算所述重型机械的下一时刻作业状态Act。

2.如权利要求1所述的重型机械作业状态识别预测方法，其特征在于，所述实时采集重型机械的运动关键点的当前位姿数据的步骤包括：

实时采集重型机械的运动关键点的当前姿态数据

其中，θ代表关键点的欧拉角，

分别横滚角、俯仰角和偏航角；

实时采集重型机械的运动关键点的当前位置数据P＝(x,y,z)；

综合所述当前姿态数据和所述当前位置数据得到所述重型机械的运动关键点的当前位姿数据。

3.如权利要求2所述的重型机械作业状态识别预测方法，其特征在于，所述重型机械包括挖掘机和卡车，所述综合所述当前姿态数据和所述当前位置数据得到所述重型机械的运动关键点的当前位姿数据的步骤包括：

挖掘机的运动关键点的当前位姿数据为X_E＝[X₁,X₂,...,X_i]，X_i＝[P_i,θ_i]^T，其中i＝1,2,3,4，关键点i＝1为挖掘机的尾部；关键点i＝2为挖掘机的重心位置；关键点i＝3为挖掘机的斗杆起始位置，关键点i＝4为挖掘机铲斗的尾端；

卡车的运动关键点的当前位姿数据为X_T＝[X₁,X₂,...,X_j]，X_j＝[P_j,θ_j]^T，其中j＝1,2,3,4，关键点j＝1,2,3,4分别为在卡车翻斗的边缘四角。

4.如权利要求3所述的重型机械作业状态识别预测方法，其特征在于，所述将所述当前位姿数据和所述当前作业状态通过训练好的GRU模型预测所述重型机械的下一时刻位姿数据和下一时刻第一作业状态的步骤包括：

将所述当前位姿数据和所述当前作业状态合并为当前位姿状态x_t＝[X_E,X_T,A]_t；其中，t表示当前时刻，X_E是挖掘机的运动关键点的当前位姿数据，X_T是卡车的运动关键点的当前位姿数据，A是挖掘机的当前作业状态，A＝0表示挖掘机处于空闲状态，A＝1表示挖掘机处于挖掘作业状态，A＝2表示挖掘机处于转动作业状态，A＝3表示挖掘机处于倾倒作业状态；

将所述当前位姿状态通过训练好的GRU模型预测所述重型机械的下一时刻位姿数据和下一时刻第一作业状态。

5.如权利要求1所述的重型机械作业状态识别预测方法，其特征在于，所述训练好的GRU模型的训练过程包括：

基于pytorch深度学习框架，采用监督学习方法进行GRU模型参数训练，所述模型参数包括：更新门单元的权值参数矩阵W_z、重置门单元的权值参数矩阵W_r和需要训练的权值参数矩阵W，在训练过程中使用的损失函数为：

其中，N是测试数据集的样本数量，K是重型机械的运动关键点总数，k是运动关键点索引，d_k是第k个运动关键点的位姿数据预测值和真实值之间的误差，ΔA是预测作业状态和实际作业状态之间的误差；

当满足训练的迭代条件时，终止训练，获得训练好的GRU模型。

6.一种重型机械作业状态识别预测装置，其特征在于，所述重型机械作业状态识别预测装置包括：

采集模块，用于实时采集重型机械的运动关键点的当前位姿数据；

识别模块，用于根据所述当前位姿数据通过欧式距离算法识别所述重型机械的当前作业状态；

所述根据所述当前位姿数据通过欧式距离算法识别所述重型机械的当前作业状态的步骤包括：

根据所述当前位姿数据计算得到挖掘机和卡车之间的关键点欧式距离D_i,j，所述关键点欧式距离D_i,j的计算公式为：

根据所述关键点欧式距离D_i,j计算得到当前时刻与上一时刻的关键点欧式距离一阶差分ΔD_k(t)，所述关键点欧式距离一阶差分ΔD_k(t)的计算公式为：ΔD_k(t)＝D_k(t)-D_k(t-1)，其中，k＝i,j是运动关键点索引，i＝1,2,3,4为挖掘机的运动关键点，j＝1,2,3,4为卡车的运动关键点；

判断所述关键点欧式距离一阶差分的大小：

a)若所有关键点欧式距离一阶差分为0，即ΔD_k(t)＝0,k＝all，则认定挖掘机当前处于空闲状态；

b)若ΔD_1,j≠0,j＝1,2,3,4且欧拉角变化Δθ₁≠0，则认定挖掘机当前处于转动作业状态；

c)若ΔD_1,j＝0,{ΔD_3,j≠0}∪{ΔD_2,j≠0}，则认定挖掘机当前处于挖掘作业状态，在所述挖掘机当前处于挖掘作业状态时，再根据D_k的值判断挖掘机的机臂状态，若D_3,j＞D_2,j，则认定所述挖掘机的机臂状态是伸出挖掘；若D_3,j＜D_2,j，则认定所述挖掘机的机臂状态是往回收回；

d)若D_4,j＜D_3,j＜D_2,j＜D_1,j，则认定挖掘机当前处于倾倒作业状态，或，若挖掘机关键点i＝4的位置处于卡车四个关键点范围内，则认定挖掘机当前处于倾倒作业状态；

预测模块，用于将所述当前位姿数据和所述当前作业状态通过训练好的GRU模型预测所述重型机械的下一时刻位姿数据和下一时刻第一作业状态；

所述识别模块，还用于根据所述下一时刻位姿数据通过所述欧式距离算法识别所述重型机械的下一时刻第二作业状态；

计算模块，用于根据所述下一时刻第一作业状态和所述下一时刻第二作业状态计算所述重型机械的下一时刻作业状态。

7.如权利要求6所述的重型机械作业状态识别预测装置，其特征在于，所述重型机械的运动关键点的当前位姿数据包括姿态数据和修订后的位置数据；

所述采集模块包括：

IMU传感器，用于实时采集所述重型机械的运动关键点的姿态数据；

GPS传感器，用于实时采集所述重型机械的运动关键点的位置数据；

气压计传感器，用于实时对所述位置数据 进行修正，获得修正后的位置数据。

8.一种重型机械作业状态识别预测设备，其特征在于，所述重型机械作业状态识别预测设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的重型机械作业状态识别预测程序，所述重型机械作业状态识别预测程序被所述处理器执行时实现如权利要求1至5中任一项所述的重型机械作业状态识别预测方法的步骤。

9.一种存储介质，其特征在于，所述存储介质上存储有重型机械作业状态识别预测程序，所述重型机械作业状态识别预测程序被处理器执行时实现如权利要求1至5中任一项所述的重型机械作业状态识别预测方法的步骤。

Images