CN113128312A - 挖掘机位置和工作状态检测方法及装置 - Google Patents

Abstract

本发明实施例提供一种挖掘机位置和工作状态检测方法及装置，所述方法包括：获取监控视频，并将监控视频逐帧输入至多任务检测模型进行挖掘机检测，输出当前帧中是否存在挖掘机、挖掘机位置以及挖掘机特征点位置；若存在挖掘机，则判断挖掘机的当前状态是否为初始状态，若是，则记录所述挖掘机位置以及挖掘机特征点位置，继续对下一帧进行检测，否则，对挖掘机的当前状态与前一状态进行软匹配；基于软匹配结果，确定挖掘机工作状态。本发明实施例在不增加检测算法计算量的同时能够输出用于状态计算的特征点位置，节约计算成本，提升计算效率，同时通过对当前状态与前一状态进行软匹配，实现了算法鲁棒性和高效性，能够很好地应用于边缘终端。

Description

挖掘机位置和工作状态检测方法及装置

技术领域

本发明涉及计算机技术领域，更具体地，涉及一种挖掘机位置和工作状态检测方法及装置。

背景技术

随着科技的进步，挖掘机等重型设备的使用提高了生产力和生产效率，但与此同时，在一些特殊的场景中，挖掘机的作业给通信光缆、电缆的正常使用带来了威胁，正确检测重型设备及工作状态对重点区域的保护起着至关重要的作用。

为了能够解决上述问题，相关技术通常采用GPS定位、传感器相结合或者采用动态检测、机器学习或深度学习定位结合的方式。

基于GPS定位和传感器工作状态的方法，适用于对特定的挖掘机的行为检测，监测位置及工作时间，难以适用光缆等重点区域监测的要求。基于机器学习的方法，往往难以对抗复杂多变的环境，通过对图片严格的归一化和多种特征提取方法结合的方式来解决场景、光照等环境变化的要求，从而提高结果的泛化能力和鲁棒性，增加了计算的复杂度，并且随着计算复杂度的增加也失去了机器学习相较于深度学习的轻量级的优势。深度学习面对复杂的环境，基于其丰富的训练数据和深度计算有着相当大的优势，但往往需要性能较高服务器的硬件要求，无法在较低配的硬件设备(边缘终端)上实现，无法满足成本节约和实时性的要求。基于动态检测的挖掘机工作状态的判断，取决于动态检测的精度，也存在精度与复杂度之间的取舍，同时状态检测和位置检测分离，增加了额外的计算量。

发明内容

为了解决现有技术存在的难以适用应用场景、计算复杂度高、对硬件要求高、难以适用于边缘终端，存在精度与复杂度之间的取舍、状态检测和位置检测分离增加了额外计算量的问题，本发明实施例提供一种挖掘机位置和工作状态检测方法及装置。

第一方面，本发明实施例提供一种挖掘机位置和工作状态检测方法，包括：

获取监控视频，并将所述监控视频逐帧输入至多任务检测模型进行挖掘机检测，输出所述监控视频的当前帧中是否存在挖掘机、挖掘机位置以及挖掘机特征点位置；

若所述当前帧中存在挖掘机，则判断所述挖掘机的当前状态是否为初始状态，若是，则记录所述挖掘机位置以及挖掘机特征点位置，继续对所述监控视频的下一帧进行检测，否则，对所述挖掘机的当前状态与前一状态进行软匹配；

基于软匹配结果，确定挖掘机工作状态；

其中，所述多任务检测模型是预先以挖掘机监控图像为样本，以所述挖掘机监控图像对应的是否存在挖掘机、挖掘机位置和挖掘机特征点位置为样本标签进行训练获得的。

其中，训练获得所述多任务检测模型的步骤，具体包括：

采集包括不同角度、光照、位置和工作状态的不同条件下的挖掘机监控图像，并通过自动标定和人工矫正的方式对所述挖掘机监控图像中是否存在挖掘机、挖掘机位置和挖掘机特征点位置进行标记，构建训练样本集；

构建多任务检测模型，所述多任务检测模型包括基础特征提取模型和用于进行目标检测和特征点检测的多任务多尺度检测MT-SSD模型；

将所述训练样本集中的挖掘机监控图像输入至所述基础特征提取模型中，输出所述挖掘机监控图像的基础特征；

将所述基础特征输入至所述MT-SSD模型中，输出是否存在挖掘机、挖掘机位置和挖掘机特征点位置；

基于预先标记的所述挖掘机监控图像中是否存在挖掘机、挖掘机位置和挖掘机特征点位置，以及所述MT-SSD模型输出的是否存在挖掘机、挖掘机位置和挖掘机特征点位置，对所述多任务检测模型进行训练，其中，训练过程中利用多任务损失函数计算多任务损失，所述多任务损失包括是否存在挖掘机分类损失、挖掘机位置损失和挖掘机特征点位置损失三个部分；

训练结束后保存当前迭代所述多任务检测模型的参数，获得训练完成的多任务检测模型。

其中，所述多任务损失函数具体为：

其中，α_loc为挖掘机位置检测任务的权重，α_cls为挖掘机检测任务的权重，α_landmark为挖掘机特征点位置检测任务的权重，

为第i个样本的挖掘机位置损失，

为第i个样本的是否存在挖掘机分类损失，

为第i个样本的挖掘机特征点位置损失，N为所述训练样本集的样本数量。

其中，第i个样本的挖掘机特征点位置损失采用如下公式计算：

其中，K为特征点的个数，||·||₂为欧式距离，

为所述MT-SSD模型输出的第i个样本的挖掘机特征点k的位置，

为对应的预先标记的挖掘机特征点的位置。

其中，所述基础特征提取模型具体为Mobilenet模型。

其中，对所述挖掘机的当前状态与前一状态进行软匹配，具体包括：

利用相邻帧相似度软匹配函数对所述当前帧的挖掘机特征点位置与前一帧的挖掘机特征点位置，以及当前帧与前一帧的边框一致性进行软匹配；

其中，所述相邻帧相似度软匹配函数具体为：

d(p^t,p^t-1)＝H_sim(p^t,p^t-1|σ₁,λ)+μB_sim(box^t,box^t-1|σ₂)

其中，

其中，H_sim(p^t,p^t-1|σ₁,λ)为特征点之间的距离，ε为软间隔参数，当所述距离小于ε时，认为点是重合的，p^t表示当前帧特征点的位置坐标，p^t-1为前一帧特征点的位置坐标，λ_k表示不同特征点用于衡量挖掘机工作状态的重要程度，

B_sim(box^t,box^t-1|σ₂)为边框一致性计算结果，box^t表示当前帧检测到的边框，box^t-1用于表示前一帧检测到的边框，w^t和h^t为当前帧检测到的边框的宽度和高度，w^t-1和h^t-1为前一帧检测到的边框的宽度和高度；μ为特征点相似度和边框相似度的平衡参数，σ₁、σ₂为标准差。

其中，所述基于软匹配结果，确定挖掘机工作状态，具体包括：

基于软匹配结果，若获知所述挖掘机的当前状态与前一状态一致，则继续对所述监控视频的下一帧进行检测，否则，确定所述挖掘机处于工作状态，向平台或客户端发送警报。

第二方面，本发明实施例提供一种挖掘机位置和工作状态检测装置，包括：

多任务检测模块，用于获取监控视频，并将所述监控视频逐帧输入至多任务检测模型进行挖掘机检测，输出所述监控视频的当前帧中是否存在挖掘机、挖掘机位置以及挖掘机特征点位置；

软匹配模块，用于若所述当前帧中存在挖掘机，则判断所述挖掘机的当前状态是否为初始状态，若是，则记录所述挖掘机位置以及挖掘机特征点位置，否则，对所述挖掘机的当前状态与前一状态进行软匹配；

工作状态确定模块，用于基于软匹配结果，确定挖掘机工作状态；

其中，所述多任务检测模型是预先以挖掘机监控图像为样本，以所述挖掘机监控图像对应的是否存在挖掘机、挖掘机位置和挖掘机特征点位置为样本标签进行训练获得的。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的挖掘机位置和工作状态检测方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的挖掘机位置和工作状态检测方法的步骤。

本发明实施例提供的挖掘机位置和工作状态检测方法及装置，在挖掘机检测时同时输出目标的位置以及关键点相较于检测边框的相对位置，在不增加检测算法计算量的同时能够输出用于状态计算的特征点位置，节约计算成本，有效地提升计算效率，同时通过对当前状态与前一状态进行软匹配，判断两个检测的状态是否一致，以此来判断挖掘机是否处于工作状态，在容忍特征点计算误差的同时不需要依靠其他算法判断工作状态，实现了算法鲁棒性和高效性，本发明实施例提供的挖掘机位置和工作状态检测方法能够很好地应用于边缘终端。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种挖掘机位置和工作状态检测方法的流程示意图；

图2为本发明实施例提供的挖掘机位置和挖掘机特征点位置的示意图；

图3为本发明实施例提供的多任务检测模型的结构示意图；

图4为本发明实施例提供的一种挖掘机位置和工作状态检测装置的结构示意图；

图5为本发明实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出一种适用于边缘终端的智能检测系统，用于挖掘机的检测定位和工作状态的检测。基于轻量级检测模型，增加特征点检测任务，使得模型在输出挖掘机位置的同时输出挖掘机工作装置的特征点，然后通过视频帧之间特征点的相似度软匹配函数判断挖掘机是否处于工作状态。基于改进的轻量级的多任务神经网络模型和状态软匹配机制实现在较低配的硬件设备的满足实时性、准确性的检测要求。

如图1所示，为本发明实施例提供的一种挖掘机位置和工作状态检测方法的流程示意图，包括：

步骤100、获取监控视频，并将所述监控视频逐帧输入至多任务检测模型进行挖掘机检测，输出所述监控视频的当前帧中是否存在挖掘机、挖掘机位置以及挖掘机特征点位置；

具体地，所述多任务检测模型为改进的深度学习模型，与现有SSD检测模型的不同之处在于，所述多任务检测模型在对视频帧中的挖掘机和挖掘机的位置进行检测的同时，还输出挖掘机的特征点位置。图2为本发明实施例提供的挖掘机位置和挖掘机特征点位置的示意图。如图2所示，挖掘机用一个检测边框框起来了，检测边框即表示了挖掘机的位置，边框具有不同的表示形式，可以是(x_left,y_up,x_right,y_bottom)或者(x_left,y_up,width,height)；P₀、P₁、P₂、P₃、P₄为特征点。

其中，所述多任务检测模型是预先以挖掘机监控图像为样本，以所述挖掘机监控图像对应的是否存在挖掘机、挖掘机位置和挖掘机特征点位置为样本标签进行训练获得的。

通过自动标定和人工矫正相结合的方式对所述挖掘机监控图像中的挖掘机位置和挖掘机特征点位置进行标记。

将所述监控视频按照帧序列逐视频帧输入到所述多任务检测模型中，输出所述监控视频的当前帧中是否存在挖掘机，若所述当前帧中存在挖掘机，则同时输出挖掘机位置以及挖掘机特征点位置，否则，若所述当前帧中不存在挖掘机，则继续对所述监控视频的下一帧进行挖掘机检测。

步骤101、若所述当前帧中存在挖掘机，则判断所述挖掘机的当前状态是否为初始状态，若是，则记录所述挖掘机位置以及挖掘机特征点位置，继续对所述监控视频的下一帧进行检测，否则，对所述挖掘机的当前状态与前一状态进行软匹配；

具体地，若当前帧中存在挖掘机，则根据挖掘机位置以及挖掘机特征点位置判断挖掘机的当前状态是否为初始状态，如果是，则对当前状态对应的挖掘机位置以及挖掘机特征点位置进行记录，如果不是，说明存在前一状态，则对所述挖掘机的当前状态与前一状态进行软匹配，具体地，对所述当前帧的挖掘机特征点位置与前一帧的挖掘机特征点位置，以及当前帧与前一帧的检测边框一致性进行软匹配。

步骤102、基于软匹配结果，确定挖掘机工作状态；

具体地，根据软匹配结果判断挖掘机是处于工作状态还是停机状态，若获知所述挖掘机的当前状态与前一状态一致，则确定所述挖掘机处于停机状态，则继续对所述监控视频的下一帧进行检测，若所述挖掘机的当前状态与前一状态不一致，则说明所述挖掘机处于工作状态，在一个实施例中，可以向平台或客户端发送警报。

本发明实施例提供的挖掘机位置和工作状态检测方法，在挖掘机检测时同时输出目标的位置以及关键点相较于检测边框的相对位置，在不增加检测算法计算量的同时能够输出用于状态计算的特征点位置，节约计算成本，有效地提升计算效率，同时通过对当前状态与前一状态进行软匹配，判断两个检测的状态是否一致，以此来判断挖掘机是否处于工作状态，在容忍特征点计算误差的同时不需要依靠其他算法判断工作状态，实现了算法鲁棒性和高效性，本发明实施例提供的挖掘机位置和工作状态检测方法能够很好地应用于边缘终端。

基于上述实施例的内容，训练获得所述多任务检测模型的步骤，具体包括：

采集包括不同角度、光照、位置和工作状态的不同条件下的挖掘机监控图像，并通过自动标定和人工矫正的方式对所述挖掘机监控图像中是否存在挖掘机、挖掘机位置和挖掘机特征点位置进行标记，构建训练样本集；

构建多任务检测模型，所述多任务检测模型包括基础特征提取模型和用于进行目标检测和特征点检测的多任务多尺度检测MT-SSD模型；

将所述训练样本集中的挖掘机监控图像输入至所述基础特征提取模型中，输出所述挖掘机监控图像的基础特征；

将所述基础特征输入至所述MT-SSD模型中，输出是否存在挖掘机、挖掘机位置和挖掘机特征点位置；

基于预先标记的所述挖掘机监控图像中是否存在挖掘机、挖掘机位置和挖掘机特征点位置，以及所述MT-SSD模型输出的是否存在挖掘机、挖掘机位置和挖掘机特征点位置，对所述多任务检测模型进行训练，其中，训练过程中利用多任务损失函数计算多任务损失，所述多任务损失包括是否存在挖掘机分类损失、挖掘机位置损失和挖掘机特征点位置损失三个部分；

训练结束后保存当前迭代所述多任务检测模型的参数，获得训练完成的多任务检测模型。

具体地，本发明实施例中，采集包括不同角度、光照、位置和工作状态等各种不同条件下的挖掘机监控图像作为训练样本，并通过自动标定和人工矫正相结合的方式，对所采集的挖掘机监控图像中是否存在挖掘机、挖掘机位置和挖掘机特征点位置进行标记，以预先标记的所述挖掘机监控图像对应的是否存在挖掘机、挖掘机位置和挖掘机特征点位置为样本标签，从而构建了训练样本集；

值得说明的是，为了实现在进行挖掘机检测、挖掘机位置检测的同时对挖掘机特征点位置进行检测，本发明实施例对SSD(Single Shot MultiBox Detector)检测模型进行了改进，构建了多任务多尺度检测MT-SSD模型(Multi Task SSD)，所述MT-SSD模型，在SSD分类任务和目标检测任务的基础上，增加了对目标的特征点的检测。由于三个任务之间具有相关性，所述MT-SSD模型既能促进单任务的学习又能使得多任务模型的联合提高。

多任务检测模型还包括基础特征提取模型，用于对所述训练样本集中的挖掘机监控图像进行基础特征提取。

在一个实施例中，所述基础特征提取模型具体为Mobilenet模型。

将基于Mobilenet网络结构构建的模型作为基础特征提取模型，使得本发明实施例所构建的多任务检测模型可以结合基于Mobilenet的轻量级的运算优势和多尺度检测算法SSD的检测精度的优势，在不明显增加运算量的同时，既能定位出目标的位置又能生成可用于状态描述的特征点，节约计算成本，提升计算效率。图3为本发明实施例提供的多任务检测模型的结构示意图。

下面开始对所构建的多任务检测模型进行训练。

将所构建的训练样本集中的样本输入至所构建的多任务检测模型中，具体为：

将所述训练样本集中的挖掘机监控图像输入至所述基础特征提取模型中，输出所述挖掘机监控图像的基础特征；

将所述基础特征输入至所述MT-SSD模型中，输出是否存在挖掘机、挖掘机位置和挖掘机特征点位置；

然后，基于预先标记的所述挖掘机监控图像中是否存在挖掘机、挖掘机位置和挖掘机特征点位置，以及所述MT-SSD模型输出的是否存在挖掘机、挖掘机位置和挖掘机特征点位置，对所述多任务检测模型进行训练；

其中，训练过程中利用多任务损失函数计算多任务损失，所述多任务损失包括是否存在挖掘机分类损失、挖掘机位置损失和挖掘机特征点位置损失三个部分；

其中，所述多任务损失函数建立如下：

其中，α_loc为挖掘机位置检测任务的权重，α_cls为挖掘机检测任务的权重，α_landmark为挖掘机特征点位置检测任务的权重，

为第i个样本的挖掘机位置损失，

为第i个样本的是否存在挖掘机分类损失，

为第i个样本的挖掘机特征点位置损失，N为所述训练样本集的样本数量。

其中，第i个样本的挖掘机特征点位置损失采用如下公式计算：

其中，K为特征点的个数，||·||₂为欧式距离，

为所述MT-SSD模型输出的第i个样本的挖掘机特征点k的位置，

为对应的预先标记的挖掘机特征点的位置。

由于特征点的定位难以回归以及其定位与挖掘机检测边框存在一定的关系，因此，本发明实施例中，将特征点位置设置为距离检测边框左上角的相对位置。

值得说明的是，挖掘机位置损失和是否存在挖掘机分类损失的计算公式可以同现有SSD检测模型中的损失函数计算公式相同，在此不再赘述。

当某次迭代过程中，多任务损失满足训练结束条件时，保存当前迭代所述多任务检测模型的参数，从而获得训练完成的多任务检测模型。

基于上述实施例的内容，对所述挖掘机的当前状态与前一状态进行软匹配，具体包括：

利用相邻帧相似度软匹配函数对所述当前帧的挖掘机特征点位置与前一帧的挖掘机特征点位置，以及当前帧与前一帧的边框一致性进行软匹配；

其中，所述相邻帧相似度软匹配函数具体为：

d(p^t,p^t-1)＝H_sim(p^t,p^t-1|σ₁,λ)+μB_sim(box^t,box^t-1|σ₂)

其中，

其中，H_sim(p^t,p^t-1|σ₁,λ)为特征点之间的距离，ε为软间隔参数，当所述距离小于ε时，认为点是重合的，p^t表示当前帧特征点的位置坐标，p^t-1为前一帧特征点的位置坐标，λ_k表示不同特征点用于衡量挖掘机工作状态的重要程度，

B_sim(box^t,box^t-1|σ₂)为边框一致性计算结果，box^t表示当前帧检测到的边框，box^t-1用于表示前一帧检测到的边框，w^t和h^t为当前帧检测到的边框的宽度和高度，w^t-1和h^t-1为前一帧检测到的边框的宽度和高度；μ为特征点相似度和边框相似度的平衡参数，σ₁、σ₂为标准差。

具体地，由于特征点的计算准确率是基于检测边框的准确率，而且在特征点标定时取值范围较大，预测在标签附近的点同样是正确的选择，但如果严格按照角度偏移计算则存在较大的误差。因此，将相邻帧之间的特征点位置进行软匹配而不是直接计算单帧特征点的相对角度会降低对于挖掘机状态变化的计算。

本发明实施例提出一种相似度计算的软匹配函数，通过特征点的距离容忍计算和边框一致计算，判断两个检测的状态是否一致，以此来判断挖掘机是否处于工作状态。在容忍特征点计算误差的同时不需要依靠其他算法判断工作状态，实现算法鲁棒性和高效性。

如图4所示，为本发明实施例提供的一种挖掘机位置和工作状态检测装置的结构示意图，包括：多任务检测模块410、软匹配模块420和工作状态确定模块430，其中，

多任务检测模块410，用于获取监控视频，并将所述监控视频逐帧输入至多任务检测模型进行挖掘机检测，输出所述监控视频的当前帧中是否存在挖掘机、挖掘机位置以及挖掘机特征点位置；

具体地，所述多任务检测模型为改进的深度学习模型，与现有SSD检测模型的不同之处在于，所述多任务检测模型在对视频帧中的挖掘机和挖掘机的位置进行检测的同时，还输出挖掘机的特征点位置。所述多任务检测模型是预先以挖掘机监控图像为样本，以所述挖掘机监控图像对应的是否存在挖掘机、挖掘机位置和挖掘机特征点位置为样本标签进行训练获得的。

多任务检测模块410将所述监控视频按照帧序列逐视频帧输入到所述多任务检测模型中，输出所述监控视频的当前帧中是否存在挖掘机，若所述当前帧中存在挖掘机，则同时输出挖掘机位置以及挖掘机特征点位置，否则，若所述当前帧中不存在挖掘机，则继续对所述监控视频的下一帧进行挖掘机检测。

软匹配模块420，用于若所述当前帧中存在挖掘机，则判断所述挖掘机的当前状态是否为初始状态，若是，则记录所述挖掘机位置以及挖掘机特征点位置，否则，对所述挖掘机的当前状态与前一状态进行软匹配；

具体地，若当前帧中存在挖掘机，则软匹配模块420根据挖掘机位置以及挖掘机特征点位置判断挖掘机的当前状态是否为初始状态，如果是，则对当前状态对应的挖掘机位置以及挖掘机特征点位置进行记录，如果不是，说明存在前一状态，则对所述挖掘机的当前状态与前一状态进行软匹配，具体地，对所述当前帧的挖掘机特征点位置与前一帧的挖掘机特征点位置，以及当前帧与前一帧的检测边框一致性进行软匹配。

工作状态确定模块430，用于基于软匹配结果，确定挖掘机工作状态；

具体地，工作状态确定模块430根据软匹配结果判断挖掘机是处于工作状态还是停机状态，若获知所述挖掘机的当前状态与前一状态一致，则确定所述挖掘机处于停机状态，则继续对所述监控视频的下一帧进行检测，若所述挖掘机的当前状态与前一状态不一致，则说明所述挖掘机处于工作状态，在一个实施例中，可以向平台或客户端发送警报。

本发明实施例提供的挖掘机位置和工作状态检测装置，在挖掘机检测时同时输出目标的位置以及关键点相较于检测边框的相对位置，在不增加检测算法计算量的同时能够输出用于状态计算的特征点位置，节约计算成本，有效地提升计算效率，同时通过对当前状态与前一状态进行软匹配，判断两个检测的状态是否一致，以此来判断挖掘机是否处于工作状态，在容忍特征点计算误差的同时不需要依靠其他算法判断工作状态，实现了算法鲁棒性和高效性，本发明实施例提供的挖掘机位置和工作状态检测方法能够很好地应用于边缘终端。

图5为本发明实施例提供的电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储在存储器530上并可在处理器510上运行的计算机程序，以执行上述各方法实施例所提供的挖掘机位置和工作状态检测方法，例如包括：获取监控视频，并将所述监控视频逐帧输入至多任务检测模型进行挖掘机检测，输出所述监控视频的当前帧中是否存在挖掘机、挖掘机位置以及挖掘机特征点位置；若所述当前帧中存在挖掘机，则判断所述挖掘机的当前状态是否为初始状态，若是，则记录所述挖掘机位置以及挖掘机特征点位置，继续对所述监控视频的下一帧进行检测，否则，对所述挖掘机的当前状态与前一状态进行软匹配；基于软匹配结果，确定挖掘机工作状态；其中，所述多任务检测模型是预先以挖掘机监控图像为样本，以所述挖掘机监控图像对应的是否存在挖掘机、挖掘机位置和挖掘机特征点位置为样本标签进行训练获得的。

此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例提供的挖掘机位置和工作状态检测方法，例如包括：获取监控视频，并将所述监控视频逐帧输入至多任务检测模型进行挖掘机检测，输出所述监控视频的当前帧中是否存在挖掘机、挖掘机位置以及挖掘机特征点位置；若所述当前帧中存在挖掘机，则判断所述挖掘机的当前状态是否为初始状态，若是，则记录所述挖掘机位置以及挖掘机特征点位置，继续对所述监控视频的下一帧进行检测，否则，对所述挖掘机的当前状态与前一状态进行软匹配；基于软匹配结果，确定挖掘机工作状态；其中，所述多任务检测模型是预先以挖掘机监控图像为样本，以所述挖掘机监控图像对应的是否存在挖掘机、挖掘机位置和挖掘机特征点位置为样本标签进行训练获得的。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种挖掘机位置和工作状态检测方法，其特征在于，包括：

获取监控视频，并将所述监控视频逐帧输入至多任务检测模型进行挖掘机检测，输出所述监控视频的当前帧中是否存在挖掘机、挖掘机位置以及挖掘机特征点位置；

若所述当前帧中存在挖掘机，则判断所述挖掘机的当前状态是否为初始状态，若是，则记录所述挖掘机位置以及挖掘机特征点位置，继续对所述监控视频的下一帧进行检测，否则，对所述挖掘机的当前状态与前一状态进行软匹配；

基于软匹配结果，确定挖掘机工作状态；

其中，所述多任务检测模型是预先以挖掘机监控图像为样本，以所述挖掘机监控图像对应的是否存在挖掘机、挖掘机位置和挖掘机特征点位置为样本标签进行训练获得的。

2.根据权利要求1所述的挖掘机位置和工作状态检测方法，其特征在于，训练获得所述多任务检测模型的步骤，具体包括：

采集包括不同角度、光照、位置和工作状态的不同条件下的挖掘机监控图像，并通过自动标定和人工矫正的方式对所述挖掘机监控图像中是否存在挖掘机、挖掘机位置和挖掘机特征点位置进行标记，构建训练样本集；

构建多任务检测模型，所述多任务检测模型包括基础特征提取模型和用于进行目标检测和特征点检测的多任务多尺度检测MT-SSD模型；

将所述训练样本集中的挖掘机监控图像输入至所述基础特征提取模型中，输出所述挖掘机监控图像的基础特征；

将所述基础特征输入至所述MT-SSD模型中，输出是否存在挖掘机、挖掘机位置和挖掘机特征点位置；

基于预先标记的所述挖掘机监控图像中是否存在挖掘机、挖掘机位置和挖掘机特征点位置，以及所述MT-SSD模型输出的是否存在挖掘机、挖掘机位置和挖掘机特征点位置，对所述多任务检测模型进行训练，其中，训练过程中利用多任务损失函数计算多任务损失，所述多任务损失包括是否存在挖掘机分类损失、挖掘机位置损失和挖掘机特征点位置损失三个部分；

训练结束后保存当前迭代所述多任务检测模型的参数，获得训练完成的多任务检测模型。

3.根据权利要求2所述的挖掘机位置和工作状态检测方法，其特征在于，所述多任务损失函数具体为：

其中，α_loc为挖掘机位置检测任务的权重，α_cls为挖掘机检测任务的权重，α_landmark为挖掘机特征点位置检测任务的权重，

为第i个样本的挖掘机位置损失，

为第i个样本的是否存在挖掘机分类损失，

为第i个样本的挖掘机特征点位置损失，N为所述训练样本集的样本数量。

4.根据权利要求3所述的挖掘机位置和工作状态检测方法，其特征在于，第i个样本的挖掘机特征点位置损失采用如下公式计算：

其中，K为特征点的个数，||·||₂为欧式距离，

为所述MT-SSD模型输出的第i个样本的挖掘机特征点k的位置，

为对应的预先标记的挖掘机特征点的位置。

5.根据权利要求2所述的挖掘机位置和工作状态检测方法，其特征在于，所述基础特征提取模型具体为Mobilenet模型。

6.根据权利要求1所述的挖掘机位置和工作状态检测方法，其特征在于，对所述挖掘机的当前状态与前一状态进行软匹配，具体包括：

利用相邻帧相似度软匹配函数对所述当前帧的挖掘机特征点位置与前一帧的挖掘机特征点位置，以及当前帧与前一帧的边框一致性进行软匹配；

其中，所述相邻帧相似度软匹配函数具体为：

d(p^t,p^t-1)＝H_sim(p^t,p^t-1|σ₁,λ)+μB_sim(box^t,box^t-1|σ₂)

其中，

其中，H_sim(p^t,p^t-1|σ₁,λ)为特征点之间的距离，ε为软间隔参数，当所述距离小于ε时，认为点是重合的，p^t表示当前帧特征点的位置坐标，p^t-1为前一帧特征点的位置坐标，λ_k表示不同特征点用于衡量挖掘机工作状态的重要程度，

B_sim(box^t,box^t-1|σ₂)为边框一致性计算结果，box^t表示当前帧检测到的边框，box^t-1用于表示前一帧检测到的边框，w^t和h^t为当前帧检测到的边框的宽度和高度，w^t-1和h^t-1为前一帧检测到的边框的宽度和高度；μ为特征点相似度和边框相似度的平衡参数，σ₁、σ₂为标准差。

7.根据权利要求1所述的挖掘机位置和工作状态检测方法，其特征在于，其特征在于，所述基于软匹配结果，确定挖掘机工作状态，具体包括：

基于软匹配结果，若获知所述挖掘机的当前状态与前一状态一致，则继续对所述监控视频的下一帧进行检测，否则，确定所述挖掘机处于工作状态，向平台或客户端发送警报。

8.一种挖掘机位置和工作状态检测装置，其特征在于，包括：

多任务检测模块，用于获取监控视频，并将所述监控视频逐帧输入至多任务检测模型进行挖掘机检测，输出所述监控视频的当前帧中是否存在挖掘机、挖掘机位置以及挖掘机特征点位置；

软匹配模块，用于若所述当前帧中存在挖掘机，则判断所述挖掘机的当前状态是否为初始状态，若是，则记录所述挖掘机位置以及挖掘机特征点位置，否则，对所述挖掘机的当前状态与前一状态进行软匹配；

工作状态确定模块，用于基于软匹配结果，确定挖掘机工作状态；

其中，所述多任务检测模型是预先以挖掘机监控图像为样本，以所述挖掘机监控图像对应的是否存在挖掘机、挖掘机位置和挖掘机特征点位置为样本标签进行训练获得的。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述挖掘机位置和工作状态检测方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述挖掘机位置和工作状态检测方法的步骤。

Images