CN112001420A - 一种矿井工人钻杆智能计时计数方法、设备及存储设备 - Google Patents

Abstract

本发明提供了一种矿井工人钻杆钻进智能计时计数方法、设备及存储设备，其方法包括：像素轨迹法计算光流，然后通过两个VGG16网络分别对视频帧和光流进行特征提取，使用全连接层进行特征融合，接着通过双向长短期记忆网络来编码时间上下文信息，使用一个置信度模块辅助Softmax完成帧级别的分类，使用一个简单平滑方法对预测结果进行后处理，得到整个视频的时序工作状态序列，根据状态序列计算钻杆钻进次数与时间，进而估算井下钻进距离。本发明的有益效果是：使用像素轨迹法计算光流，补充视频运动信息，提高检测性能；使用两个VGG16分别对视频帧和光流做特征提取，能够自主学习，不断优化特征可分性；使用BLSTM整合时间信息，从帧级别对视频进行分类。

Description

一种矿井工人钻杆智能计时计数方法、设备及存储设备

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种矿井工人钻杆智能计时计数方法、设备及存储设备。

背景技术

视频监控系统是计算机、机器视觉、模式识别和自动化等技术交叉融合的产物。随着社会的不断发展，视频监控系统也越来越成熟，会不断地融进新的研究领域，比如地理学、生物学等。随着“数字化矿山”理念的提出，使得智能监控技术在煤矿行业得到广泛应用，逐步实现了煤矿通信、瓦斯浓度控制、胶带运输机速度控制等方面的自动化，减少了矿难的发生，提高了煤炭行业的生产效率。

煤矿井下环境恶劣、空间狭窄、地形复杂，在打钻过程中。钻杆周期性地重复打入和打出，钻杆的往返动作通常需要记录次数和时间，帮助施工者分析土质环境以及记录工作进度。现阶段钻杆计数一般情况下都是人工记录，人为失误不仅会使钻杆计数不准确，并且效率低下。施工现场有摄像头记录工人施工过程，所以可以通过计算机视觉技术对监控视频进行工人钻杆过程检测，进而实现对钻杆数量和时间的准确、稳定、有效的记录从而估计井下钻进距离。

发明内容

为了解决上述问题，本发明提供了一种矿井工人钻杆智能计时计数方法，深度学习中的神经网络方法，解决使用计算机自动计算出钻杆钻进次数与时间的问题，并使用一个双向循环网络，关联视频的时序信息，提高检测精度，最后通过钻杆钻进次数与钻杆长度的乘积估计钻进距离。

所述一种矿井工人钻杆智能计时计数方法，应用于矿井钻进距离估计过程中；具体包括以下步骤：

S101：提取钻进施工监控视频的视频帧，按像素轨迹法计算所述视频帧对应的光流图，以表示视频帧与视频帧之间的运动信息；

S102：采用两个经过预训练的VGG16网络分别对所述视频帧与所述光流图的视频特征进行提取，得到的视频帧的时序特征序列{f₁,f₂,…,f_t}和光流图的时序特征序列{o₁,o₂,…,o_t}；其中，t为视频帧的序号，序号相同的视频帧和光流图定义为一对视频帧和光流图；

S103：将每一对视频帧与光流图拼接起来，并使用两层全连接层对拼接的特征做特征融合，得到对应的融合特征序列{F₁,F₂,…,F_t}；

S104：每20个融合特征作为一个整体，输入到双向长短期网络BLSTM，得到融合特征对应的输出{H₁,H₂,…,H_t}；

然后通过softmax层对每一个BLSTM输出计算一个分类结果，得到一个分类结果序列

S105：使用平滑算法消除所述分类结果序列中的毛刺，得到最终的帧级别分类结果序列；

S106：采用一个时间间隔准则，通过分类所述的最终的帧级别分类结果序列计算出钻进次数，并由钻进次数乘以钻杆长度估计钻进距离。

进一步地，步骤S101中，按照步长为6帧，长度为7帧的滑动窗口，遍历所述钻进施工监控视频，取出视频中的若干长度为7帧的片段；将片段中的第四帧与其他6帧分别计算光流图，则一个7帧的片段能够计算出6个光流图；由于步长为6，最终的光流图个数比视频帧少1，因此去掉所述钻进施工监控视频的最后一帧，得到等长度的视频帧与光流图，然后将视频帧与光流图的大小均调整为256像素×256像素，作为对应VGG16网络的输入。

进一步地，步骤S103中，针对每一对视频帧和光流图：先拼接视频帧和光流的特征，然后将拼接后的特征输入至顺次连接的两个全连接层，使用两个全连接层对拼接的特征进行融合，得到对应的融合特征；各视频帧和光流图对应的融合特征组成融合特征序列{F₁,F₂,…,F_t}。

进一步地，步骤S104中，所述双向长短期网络BLSTM，输入融合特征F_t得到正向输出h_t和反向输出h′_t；将正向输出和反向输出分别输入至一个全连接层，然后将两个输出取平均值作为BLSTM最终的输出H_t；使用一个Softmax分类器将BLSTM输出H_t转化为分类结果

循环执行，直至得到所有融合特征的分类结果。

进一步地，步骤S105中，使用平滑算法消除所述分类结果序列中的毛刺，得到最终的帧级别分类结果序列；具体为：

将每10个分类结果做为一个片段；针对每个片段，将整个片段的分类结果均替换为该片段中分类结果个数占比最多的分类结果。

进一步地，步骤S106中，采用一个时间间隔准则，通过分类所述的最终的帧级别分类结果序列计算出钻进次数，并由钻进次数乘以钻杆长度估计钻进距离；具体包括：将分类结果为“钻进过程”的连续视频帧作为一段钻进过程；钻进过程的总段数就为钻进次数；时间间隔准则为：若一段钻进过程距离上一段钻进过程的距离小于200帧，则将该段钻进过程和上一段钻进过程作为同一段钻进过程；

预估钻进距离＝钻进次数×钻杆长度。

进一步地，两个VGG16网络、各全连接层、双向长短期网络BLSTM和Softmax分类器组成的整个网络为预先采用梯度下降法训练好的网络；训练时加入置信度模块，以提高网络训练的精度；所述置信度模块包括：两层顺次连接的全连接层；具体如下：

训练时，将BLSTM的每一个前向输出h_t和反向输出h′_t分别输入至置信度模块，通过两层全连接层回归一个当前时刻工人开始施工的可能性,并将对应的两个输出求平均值后得到对应的置信度

所述置信度用来表示某一帧是工作开始阶段的概率，取值范围为(0,1]。

进一步地，训练时损失函数包括交叉熵损失和置信度回归损失两部分，表达式如下：

M为工作状态类别个数，为预设值；N为视频的总帧数，z_t,k代表第t个视频帧是否为第k类，取0或者1，0代表不是，取1代表是；λ为权重，且λ＝1；

表示第t个视频帧的预测置信度；

表示第t个视频帧的置信度真值，按照第t个视频帧与最近的工作开始时刻的距离计算，服从高斯分布；计算公式如下：

其中，t为第t个视频帧所在的时刻，s为距离第t个视频帧最近的施工开始时刻,s∈{s₁,s₂,…,s_n}；s₁,s₂,…,s_n分别表示第1个施工开始时刻时间至第n个施工开始时刻时间，为预先给定值；

v_t表示第t个视频帧；P(y_t,k|v₀,…,v_t)表示把第t个视频帧v_t分类为第k类的概率，即分类结果

一种计算机可读存储介质，所述计算机可读存储介质存储指令及数据用于实现一种矿井工人钻杆智能计时计数方法。

一种矿井工人钻杆智能计时计数设备，包括：处理器及所述存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现一种矿井工人钻杆智能计时计数方法。

本发明提供的技术方案带来的有益效果是：本发明所提出的技术方案使用深度学习中的神经网络方法，解决使用计算机自动计算出钻杆钻进次数与时间的问题，并使用一个双向循环网络，关联视频的时序信息，提高检测精度，最后通过钻杆钻进次数与钻杆长度的乘积估计钻进距离。具备以下优点：

(1)使用像素轨迹法代替迭代光流法计算光流，在像素轨迹中，只有光流图像的强度发生变化，其位置是固定的。而在堆叠光流中，对应于场景中一个特定移动点的运动矢量会从一帧到下一帧改变它们的像素位置。因此，网络可以学习每个像素的轨迹比从堆叠流场更容易。

(2)结构中加入双向长短期记忆网络能够利用时间上下文信息，使每个时间点的特征能够与附近时间点相关联，提高了帧级别分类的准确率。

附图说明

图1是本发明实施例中一种矿井工人钻杆智能计时计数方法的流程图；

图2是本发明实施例中BLSTM结构图；

图3是本发明实施例中置信度模块原理示意图；

图4是本发明实施例中硬件设备工作的示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

本发明的实施例提供了一种矿井工人钻杆智能计时计数方法、设备及存储设备。

请参阅图1，图1是本发明实施例中一种矿井工人钻杆智能计时计数方法的流程图，具体包括以下步骤：

S101：提取钻进施工监控视频的视频帧，按像素轨迹法计算所述视频帧对应的光流图，以表示视频帧与视频帧之间的运动信息；

S102：采用两个经过预训练的VGG16网络分别对所述视频帧与所述光流图的视频特征进行提取，得到的视频帧的时序特征序列{f₁,f₂,…,f_t}和光流图的时序特征序列{o₁,o₂,…,o_t}；其中，t为视频帧的序号，序号相同的视频帧和光流图定义为一对视频帧和光流图；

S103：将每一对视频帧与光流图拼接起来，并使用两层全连接层对拼接的特征做特征融合，得到对应的融合特征序列{F₁,F₂,…,F_t}；

S104：每20个融合特征作为一个整体，输入到双向长短期网络BLSTM，得到融合特征对应的输出{H₁,H₂,…,H_t}；

然后通过softmax层对每一个BLSTM输出计算一个分类结果，得到一个分类结果序列

S105：使用平滑算法消除所述分类结果序列中的毛刺，得到最终的帧级别分类结果序列；

S106：采用一个时间间隔准则，通过分类所述的最终的帧级别分类结果序列计算出钻进次数，并由钻进次数乘以钻杆长度估计钻进距离。

步骤S101中，按照步长为6帧，长度为7帧的滑动窗口，遍历所述钻进施工监控视频，取出视频中的若干长度为7帧的片段；将片段中的第四帧与其他6帧分别计算光流图，则一个7帧的片段能够计算出6个光流图；由于步长为6，最终的光流图个数比视频帧少1，因此去掉所述钻进施工监控视频的最后一帧，得到等长度的视频帧与光流图，然后将视频帧与光流图的大小均调整为256像素×256像素，作为对应VGG16网络的输入。

S103中，针对每一对视频帧和光流图：先拼接视频帧和光流的特征，然后将拼接后的特征输入至顺次连接的两个全连接层，使用两个全连接层对拼接的特征进行融合，得到对应的融合特征；各视频帧和光流图对应的融合特征组成融合特征序列{F₁,F₂,…,F_t}。

S104中，所述双向长短期网络BLSTM，输入融合特征F_t得到正向输出h_t和反向输出h′_t；将正向输出和反向输出分别输入至一个全连接层，然后将两个输出取平均值作为BLSTM最终的输出H_t；使用一个Softmax分类器将BLSTM输出H_t转化为分类结果

循环执行，直至得到所有融合特征的分类结果。

S105中，使用平滑算法消除所述分类结果序列中的毛刺，得到最终的帧级别分类结果序列；具体为：

将每10个分类结果做为一个片段；针对每个片段，将整个片段的分类结果均替换为该片段中分类结果个数占比最多的分类结果。

例如，一个片段中的十个结果分别为{1,2,2,2,2,2,3,1,1,2}，其中1、2、3分别代表三种不同的类别，则将该片段替换为{2,2,2,2,2,2,2,2,2,2}。

S106中，采用一个时间间隔准则，通过分类所述的最终的帧级别分类结果序列计算出钻进次数，并由钻进次数乘以钻杆长度估计钻进距离；具体包括：将分类结果为“钻进过程”的连续视频帧作为一段钻进过程；钻进过程的总段数就为钻进次数；时间间隔准则为：若一段钻进过程距离上一段钻进过程的距离小于200帧(大约6秒)，则将该段钻进过程和上一段钻进过程作为同一段钻进过程；预估钻进距离＝钻进次数×钻杆长度。

两个VGG16网络、各全连接层、双向长短期网络BLSTM和Softmax分类器组成的整个神经网络为预先采用梯度下降法训练好的网络；训练时加入置信度模块，以提高网络训练的精度；所述置信度模块包括：两层顺次连接的全连接层；具体如下：

训练时，将BLSTM的每一个前向输出h_t和反向输出h′_t分别输入至置信度模块，通过两层全连接层回归一个当前时刻工人开始施工的可能性,并将对应的两个输出求平均值后得到对应的置信度

所述置信度用来表示某一帧是工作开始阶段的概率，取值范围为(0,1]。

训练时损失函数包括交叉熵损失和置信度回归损失两部分，表达式如下：

M为工作状态类别个数，为预设值；N为视频的总帧数，z_t,k代表第t个视频帧是否为第k类，取0或者1，0代表不是，取1代表是(z_t,k为预先给定的标签)；λ为权重，且本发明实施例中，λ＝1；

表示第t个视频帧的预测置信度；

本发明实施例中，工作状态类别个数包括7个，分别为：1没工作、2钻进过程、3钻出过程；其中，2钻进过程又包括：21工人把钻杆安装上去、22机器把钻杆钻进去、23机器回到之前安装的位置；3钻出过程又包括：31机器把钻杆钻出来、32工人把钻杆拆卸下来、33机器回到之前安装的位置。

表示第t个视频帧的置信度真值，按照第t个视频帧与最近的工作开始时刻的距离计算，服从高斯分布；计算公式如下：

其中，t为第t个视频帧所在的时刻，s为距离第t个视频帧最近的施工开始时刻,s∈{s₁,s₂,…,s_n}；s₁,s₂,…,s_n分别表示第1个施工开始时刻时间至第n个施工开始时刻时间，为人工事先看过监控视频后给出的预设值；

v_t表示第t个视频帧；P(y_t,k|v₀,…,v_t)表示把第t个视频帧v_t分类为第k类的概率，即分类结果

(1)对特征提取器VGG16网络做如下具体说明：

使用经过预训练的VGG16作为特征提取器。在VGG16中，使用了3个3x3卷积核来代替7x7卷积核，使用了2个3x3卷积核来代替5*5卷积核，16个隐藏层(13个卷积层和3个全连接层)，这样做的主要目的是在保证具有相同感知野的条件下，提升了网络的深度，在一定程度上提升了神经网络的效果。

(2)对特征融合网络做如下具体说明：

帧和光流分别输入到两个VGG16得到对应的特征，将帧和光流的特征拉长成向量并拼接起来，使用两层依次连接的全连接层进行特征融合，得到融合特征序列{F₁,F₂,…,F_t}。

(3)对双向长短期记忆网络BLSTM做如下具体说明：

如图2所示，图2是本发明实施例中BLSTM的结构图；LSTM不能存储当前状态与下一个时间点的状态，而在事件检测中为了保证准确度，我们还希望除了上一个时间点的状态，下一个时间点的状态也能加入当前时间点状态的计算，因此采用了双向LSTM也就是BLSTM来获取视频帧的时序上下文信息。

BLSTM结构中由Forward层和Backward层共同连接输出层，我们使用步长为20的BLSTM，即Forward层从1时刻到20时刻正向计算一遍，得到并保存每个时刻向前隐含层的输出。Backward层沿着时刻20到时刻1反向计算一遍，得到并保存每个时刻向后隐含层的输出。最后在每个时刻结合Forward层和Backward层的相应时刻输出的结果得到最终的输出，用公式表达式如下：

h_t＝BLSTM(x_t，h_t-1)

h′_t＝BLSTM(x_t，h′_t+1)

H_t＝g(W_hth_t+W_hth_t)

上式中，x_t＝F_t，为BLSTM的输入；W_ht、W_ht为权重参数，通过训练得到；h_t是Forward层中第t个融合特征F_t输入后得到的正向输出结果，{h₁，h₂，...，h_t}表示Forward层中沿着第1个融合特征到第t个融合特征的正向输出结果，h′_t是Backward层中第t个融合特征F_t输入后得到的反向输出结果；{h₁，h₂，...，h_t}表示Backward层中沿着第t个融合特征到第1个融合特征的反向输出结果；

通过设置一个全连接层整合了正向输出结果和反向输出结果，将正向输出结果和反向输出结果经过全连接层，得到对应输出，然后取平均值得到输出BLSTM的最终输出Ht。将输出Ht输入到Softmax分类器计算得到分类结果

为一个1×M的向量，从第1个元素到M个元素依次代表第t个视频帧属于第1个类别到第M个类别的概率。

(4)对置信度模块做如下具体说明

如图3所示，为置信度模块的原理示意图；将BLSTM的前向输出h_t和反向输出h′_t作为置信度模块的输入，分别通过两个大小相同[第一FC(第一全连接层)的输入为1×60，输出为1×60；第二FC(第二全连接层)的输入为1×60，输出为1×1]的两层全连接层后取平均值，得到置信度

(8)对井下钻进距离估计模块做如下说明

使用去毛刺方法后，帧级别分类序列仍可能不够平滑，同一次钻进过程的结果中可能存在间隙，考虑到两次钻进之间有一定时间间隔，加入一个额外的时间间隔准则用来优化钻进次数的计算：一段钻进过程距离上一段的距离小于200帧时，将当前段与上一段看作同一段钻进过程。综上，对平滑后的帧级别分类序列统计出钻进过程的次数，使用时间间隔准则去掉冗余段，得到最终的钻进次数，然后用钻进次数乘以钻杆长度估计钻进距离。

请参见图4，图4是本发明实施例的硬件设备工作示意图，所述硬件设备具体包括：一种矿井工人钻杆智能计时计数设备401、处理器402及存储设备403。

一种矿井工人钻杆智能计时计数设备401：所述一种矿井工人钻杆智能计时计数设备401实现所述一种矿井工人钻杆智能计时计数方法。

处理器402：所述处理器402加载并执行所述存储设备403中的指令及数据用于实现所述一种矿井工人钻杆智能计时计数方法。

计算机可读存储介质403：所述计算机可读存储介质403存储指令及数据；所述存储设备403用于实现所述一种矿井工人钻杆智能计时计数方法。

本发明的有益效果是：本发明所提出的技术方案使用深度学习中的神经网络方法，解决使用计算机自动计算出钻杆钻进次数与时间的问题，并使用一个双向循环网络，关联视频的时序信息，提高检测精度，最后通过钻杆钻进次数与钻杆长度的乘积估计钻进距离。具备以下优点：

(1)使用像素轨迹法代替迭代光流法计算光流，在像素轨迹中，只有光流图像的强度发生变化，其位置是固定的。而在堆叠光流中，对应于场景中一个特定移动点的运动矢量会从一帧到下一帧改变它们的像素位置。因此，网络可以学习每个像素的轨迹比从堆叠流场更容易。

(2)结构中加入双向长短期记忆网络能够利用时间上下文信息，使每个时间点的特征能够与附近时间点相关联，提高了帧级别分类的准确率。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种矿井工人钻杆钻进智能计时计数方法，应用于矿井钻进距离估计过程中；其特征在于，所述一种矿井工人钻杆钻进智能计时计数方法，包括以下步骤：

S101：提取钻进施工监控视频的视频帧，按像素轨迹法计算所述视频帧对应的光流图；

S102：采用两个经过预训练的VGG16网络分别对所述视频帧与所述光流图的视频特征进行提取，得到的视频帧的时序特征序列{f₁,f₂,…,f_t}和光流图的时序特征序列{o₁,o₂,…,o_t}；其中，t为视频帧的序号，序号相同的视频帧和光流图定义为一对视频帧和光流图；

S103：将每一对视频帧与光流图拼接起来，并使用两层全连接层对拼接的特征做特征融合，得到对应的融合特征序列{F₁,F₂,…,F_t}；

S104：每20个融合特征作为一个整体，输入到双向长短期网络BLSTM，得到融合特征对应的输出{H₁,H₂,…,H_t}；

然后通过softmax层对每一个BLSTM输出计算一个分类结果，得到一个分类结果序列

S105：使用平滑算法消除所述分类结果序列中的毛刺，得到最终的帧级别分类结果序列；

S106：采用一个时间间隔准则，通过分类所述的最终的帧级别分类结果序列计算出钻进次数，并由钻进次数乘以钻杆长度估计钻进距离。

2.如权利要求1所述的一种矿井工人钻杆智能计时计数方法，其特征在于：步骤S101中，按照步长为6帧，长度为7帧的滑动窗口，遍历所述钻进施工监控视频，取出视频中的若干长度为7帧的片段；将片段中的第四帧与其他6帧分别计算光流图，然后将视频帧与光流图的大小调整后作为对应VGG16网络的输入。

3.如权利要求1所述的一种矿井工人钻杆智能计时计数方法，其特征在于：S103中，针对每一对视频帧和光流图：先拼接视频帧和光流的特征，然后将拼接后的特征输入至顺次连接的两个全连接层，使用两个全连接层对拼接的特征进行融合，得到对应的融合特征；各视频帧和光流图对应的融合特征组成融合特征序列{F₁,F₂,…,F_t}。

4.如权利要求1所述的一种矿井工人钻杆智能计时计数方法，其特征在于：S104中，所述双向长短期网络BLSTM，输入融合特征F_t得到正向输出h_t和反向输出h′_t；将正向输出和反向输出分别输入至一个全连接层，然后将两个输出取平均值作为BLSTM最终的输出H_t；使用一个Softmax分类器将BLSTM输出H_t转化为分类结果

5.如权利要求1所述的一种矿井工人钻杆智能计时计数方法，其特征在于：S105中，使用平滑算法消除所述分类结果序列中的毛刺，得到最终的帧级别分类结果序列；具体为：

将每10个分类结果做为一个片段；针对每个片段，将整个片段的分类结果均替换为该片段中分类结果个数占比最多的分类结果。

6.如权利要求1所述的一种矿井工人钻杆智能计时计数方法，其特征在于：S106中，采用一个时间间隔准则，通过分类所述的最终的帧级别分类结果序列计算出钻进次数，并由钻进次数乘以钻杆长度估计钻进距离；具体包括：将分类结果为“钻进过程”的连续视频帧作为一段钻进过程；钻进过程的总段数就为钻进次数；时间间隔准则为：若一段钻进过程距离上一段钻进过程的距离小于200帧，则将该段钻进过程和上一段钻进过程作为同一段钻进过程；

预估钻进距离＝钻进次数×钻杆长度。

7.如权利要求1所述的一种矿井工人钻杆智能计时计数方法，其特征在于：两个VGG16网络、各全连接层、双向长短期网络BLSTM和Softmax分类器组成的整个网络为预先采用梯度下降法训练好的网络；训练时加入置信度模块，以提高网络训练的精度；所述置信度模块包括：两层顺次连接的全连接层；具体如下：

训练时，将BLSTM的每一个前向输出h_t和反向输出h′_t分别输入至置信度模块，通过两层全连接层回归一个当前时刻工人开始施工的可能性,并将对应的两个输出求平均值后得到对应的置信度

所述置信度用来表示某一帧是钻进过程开始阶段的概率，取值范围为(0,1]。

8.如权利要求1所述的一种矿井工人钻杆智能计时计数方法，其特征在于：训练时损失函数包括交叉熵损失和置信度回归损失两部分，表达式如下：

M为工作状态类别个数，为预设值；N为视频的总帧数，z_t,k代表第t个视频帧是否为第k类，取0或者1，0代表不是，取1代表是；λ为权重，且λ＝1；

表示第t个视频帧的预测置信度；

表示第t个视频帧的置信度真值；计算公式如下：

其中，t为第t个视频帧所在的时刻，s为距离第t个视频帧最近的施工开始时刻,为预先给定值；

v_t表示第t个视频帧。

9.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储指令及数据用于实现权利要求1～8所述的任意一种矿井工人钻杆智能计时计数方法。

10.一种矿井工人钻杆智能计时计数设备，其特征在于：包括：处理器及存储设备；所述处理器加载并执行存储设备中的指令及数据用于实现权利要求1～8所述的任意一种矿井工人钻杆智能计时计数方法。

Images