CN112668538A

CN112668538A - 一种装药操作行为规范监控方法

Info

Publication number: CN112668538A
Application number: CN202110011202.6A
Authority: CN
Inventors: 张耿城; 廖耀福; 田思雨; 肖成勇; 白镕宇; 张日强; 刘万义; 耿图禹
Original assignee: Angang Mining Blasting Co ltd
Current assignee: Angang Mining Blasting Co ltd
Priority date: 2021-01-06
Filing date: 2021-01-06
Publication date: 2021-04-16

Abstract

本发明公开一种装药操作行为规范监控方法，步骤为：图像数据获取，通过摄像头获取图像数据，经路由器传输并存储到图像数据单元中；目标检测：采用YOLO模型实时地检测图像中操作人员的操作行为；目标追踪:基于deepsort的目标跟踪算法,对当前目标的位置进行初步预测和判断，锁定要追踪的目标；动作识别：使用三维卷积神经网络，对目标图像二维方向进行建模，提取时间序列上的特征，从而得到准确的动作识别结果；根据实时检测到的人物动作识别结果，在监控室显示的监控视频中标注出动作类别，并对不规范的动作进行响应。本发明有效解决了因操作不当造成的安全隐患，提高了装药操作现场的安全性，降低人工看管成本，提高了看管效率。

Description

一种装药操作行为规范监控方法

技术领域

本发明涉及一种爆破领域的行为规范评价技术，具体为一种装药操作行为规范监控方法。

背景技术

爆破技术是利用炸药爆炸的能量破坏某种物体的原结构，并实现不同工程目的所采取的药包布置和起爆方法的一种工程技术，作为工程爆破能源的炸药，蕴藏着巨大的能量。工业炸药必须用雷管才能引爆，比较安全。现代起爆方法有电和非电两种方式，前者由电热点燃电雷管内的灼热桥丝引爆炸药；后者则由导火索的火焰或导爆索、导爆管传递的冲击波引爆雷管，从而起爆药包。两种起爆方式都能做到由毫秒到秒量的时间间隔，按设计要求依次起爆每个药包，而作为提高各种爆破效果的重要手段。爆破作业的步骤是向要爆破的介质钻出的炮孔或开挖的药室或在其表面敷设炸药，放入起爆雷管，然后引爆。

装药操作是爆破现场施工过程中的重要环节，目前，由于没有有效的方法来监测工人装药操作的规范性，装药操作的规范行为难以保证，有可能影响爆破效果和危及操作人员安全。

发明内容

针对现有技术中存在的上述不足，本发明要解决的问题是提供一种可提升爆破施工管理与本质安全水平的装药操作行为规范监控方法。

为解决上述技术问题，本发明采用的技术方案是：

本发明提供一种装药操作行为规范监控方法，包括以下步骤：

1)图像数据获取，通过摄像头获取图像数据，经路由器传输并存储到图像数据单元中；

2)目标检测：采用YOLO模型实时地检测图像中操作人员的操作行为；

3)目标追踪:基于deepsort的目标跟踪算法,对当前目标的位置进行初步预测和判断，锁定要追踪的目标；

4)动作识别：使用三维卷积神经网络，对目标图像二维方向进行建模，提取时间序列上的特征，从而得到准确的动作识别结果；

5)根据实时检测到的人物动作识别结果，在监控室显示的监控视频中标注出动作类别，并对不规范的动作进行响应。

步骤2)中，目标检测包括：

201)将现场采集到的装药操作视频切分成每一帧，得到每一帧的图像，帧率设置为60Hz，并对图像进行预处理，平衡图像亮度；

202)将每幅图像分成N×N个网格，如果一个实际物体的中心落在某个网格中，那么这个网格就负责预测这个物体；

203)每个网格还需要预测多个框选区域，每个框选区域包括自身的位置和置信度参数，置信度参数为一个物体做为预测物体的可信度。

还包括以下步骤：

204)对这些候选框进行过滤操作,将多余的候选框合并，将不必要的候选框舍去，具体为：计算每两个候选框的交并程度，在交并比大于阈值的情况下，取置信度最高的框作为最终的结果；将其他的置信度低于设定阈值的候选框舍去，得到最终预测的包围框，实时检测到图像中的人；

步骤3)中，目标追踪包括：

301)通过目标检测网络得到操作人员的检测框，并且提取检测框的深度特征得到框的位置和大小；

302)使用卡尔曼滤波对预测跟踪目标在当前图像帧的位置，执行卡尔曼滤波的公式，通过状态转移矩阵进行预测，对于当前目标的位置有一个初步的预测，方便后续的工作；

303)更新卡尔曼滤波的参数及特征集，对已有目标消失和新目标出现进行判断，对检测到的目标的追踪器进行区分，确定追踪器的状态是否已经被确认；

304)对于已经确认状态的追踪器进行级联匹配，如匹配成功，则认为是同一目标在不同时间序列上的表现；

305)更新卡尔曼滤波器参数，将新的时间序列更新到卡尔曼滤波模型，并且对于匹配未成功的框进行删除，为下一次的跟踪做准备，继续循环执行上述匹配过程。

还包括步骤306)中，对于未确定的追踪器，首先计算交并比，对于预测结果和追踪器的交并比在大于阈值范围内的情况，将代价矩阵对应的位置设为1e+6，采用匈牙利算法进行指派，从而匹配跟踪目标的位置。

步骤4)动作识别包括：使用三维卷积神经网络，对目标图像二维方向进行建模，提取时间序列上的特征，从而得到准确的动作识别结果。

401)将跟踪模型的结果按照操作人员的序号保存到临时存储区，并且将人物区域的大小重置为U×V；

402)将临时存储区中存储的数据保存到16帧或32帧开始识别，识别完成后将新的一帧入队，将队列中的前一帧出队，实现实时识别；

403)在得到足够的数据后，将数据送入提前训练好的三维卷积神经网络中，提取数据特征；

404)模型的最后一层采用softmax网络层对数据进行分类，将一段动作视频分到提前设定好的类中，将未知视频动作变为已知类，识别人物动作的变化。

本发明具有以下有益效果及优点：

1.本发明装药操作行为规范监控方法是基于深度学习模型的前提下，通过训练相关的模型，针对炸药车装药操作问题进行了规范，有效解决了工人因操作不当造成的安全隐患，提高了装药操作现场的安全性，并且降低人工看管成本，提高了看管效率，同时降低了企业的运行成本，帮助企业更好地分配任务。

2.本发明针对爆破现场装药行为的安全性和规范性要求，制定工人装药操作规范，研发基于连续视频的装药操作行为智能感知技术，为爆破管理信息化、现场施工规范化、安全管理科学化提供有效的手段，提升爆破施工管理与本质安全水平。

附图说明

图1为本发明装药操作行为规范监控方法采用的系统框图；

图2为本发明方法中目标跟踪算法流程图；

图3为本发明方法中动作识别网络模型结构框图。

具体实施方式

下面结合说明书附图对本发明作进一步阐述。

本发明方法采用的系统框图如图1所示，包括：

数据获取模块，用于传输并存储设备获取到的视频数据，包括摄像头、路由器等硬件设备；本实施例采用海康网络摄像头作为视频捕捉设备；

目标检测模块，用于将存储数据切分成帧，，随后进行数据预处理，接着对每一帧进行目标检测，检测每一帧图像中的人，并且用包围框标注出来；本实施例采用YOLO模型作为行人检测模型，检测出视频中人的区域，并保存相应的框的坐标；

目标跟踪模块，用于对目标检测到的人分别进行跟踪，用于视频出现多人工作的情况；本实施例采用Deep Sort模型对前一模块中的每个包围框进行跟踪，并且分别保存框内的各个人的行为图像，然后送入下一模块进行后续的步骤；

动作识别模块，用于对前面模块跟踪到的一连串动作进行识别，并且能够自动创建队列，从而实现延迟很小的识别效果；

展示及报警模块，根据实时检测到的人物动作，在监控室显示的监控视频中标注出动作类别，并对不规范的动作进行响应，当操作人员出现错误的动作时，监控室的值守人员将得到报警信息，及时通过广播等形式纠正工人的动作，报警的同时也会记录在数据库的表格中，方便后续指导操作人员进行动作的改正。

步骤1)中，图像数据获取，需要将摄像头布置在爆破装药现场。

步骤2)中，目标检测包括：

202)将每幅图像分成N×N个网格，如果一个实际物体的中心落在这某个网格中，那么这个网格就负责预测这个物体；

203)每个网格还需要预测多个框选区域，每个框选区域包括自身的位置和置信度参数，置信度参数为一个物体做为预测物体的可信度；

经过步骤201)～203)可以得到很多的候选框，所以接下来需要对这些候选框进行过滤操作：

204)对这些候选框进行过滤操作，将多余的候选框合并，将不必要的候选框舍去，过滤用到的方法是，计算每两个候选框的交并程度，在交并比大于阈值的情况下，取置信度最高的框作为最终的结果；将其他的置信度低于设定阈值的候选框舍去，得到最终预测的包围框，实时检测到图像中的人。

步骤2)中，目标检测的目的是将每一帧的人都用框标注出来，获取每一个人的位置信息，具体做法是将每幅图像分成N×N个网格，本实施例为512×512个网格，如果对于实际物体，某个物体的中心落在这个网格中，那么这个网格就负责预测这个物体；除此之外，每个网格还需要预测多个框选区域，框选区域除了包括了自身的位置，还包括一个模型预测的置信度参数，置信度参数是该物体为预测物体的可信度；经过前面的步骤，可以得到很多的候选框，所以接下来需要把这些候选框过滤，把多余的候选框合并，把不必要的候选框舍去。这里用到的方法是，计算每两个候选框的交并程度，大于一定阈值的框取置信度最高的；低于设定阈值的候选框全部舍去，这样就得到了模型最终预测的包围框，就可以实时地检测到图像中的人。

步骤3)中，目标追踪包括：

步骤3)中，使用deepsort算法(流程图如图2所示)，设定合适的阈值，对低于阈值的检测框舍弃，符合条件的框先判断是否确认状态，对于已经确认状态的框，计算卡尔曼滤波预测的位置和新的位置之间的马氏距离，并运行匈牙利算法进行指派操作，即级联匹配；对于未确认的框，采用计算交并比的方法，过滤掉多余的框，然后再运行匈牙利算法进行指派，从而获得匹配；算法的最后需要删除掉未匹配的包围框，并更新卡尔曼滤波的参数，确保下一次算法的运行。

步骤3)通过目标检测网络，得到了操作人员的检测框，并且提取检测框的深度特征。目标跟踪需要使用

来进行运动估计，其中(u,v)表示包围框的中心坐标，γ表示长宽比，h表示高度，其余的四个变量表示对应的图像在坐标系中的速度信息，并且会在后面的步骤中作为输入，输入卡尔曼滤波模型，预测(u，vγ，h)

使用卡尔曼滤波模型对预测跟踪目标在当前图像帧的位置，主要的做法是执行卡尔曼滤波的公式，通过状态转移矩阵来预测，从而使得模型对于当前目标的位置有一个初步的预测，后续需要匹配卡尔曼滤波的结果；

更新卡尔曼滤波的参数及特征集的同时，还需要进行对已有目标消失和新目标出现的判断。接下来需要对检测到的目标的追踪器进行区分，需要区分出追踪器的状态是否已经被确认；

对于已经确认状态的追踪器，可以开始进行级联匹配，匹配的思路是计算出卡尔曼滤波预测出框的位置和当前帧的目标检测出框的位置之间的马氏距离，并且按顺序构成马氏距离矩阵，将大于设定阈值的矩阵对应位置设为极大值1e+6，然后对该矩阵使用匈牙利算法进行指派，这样就可以区分是否匹配成功了，匹配成功的就可以认为是同一目标在不同时间序列上的表现；马氏距离的公式如下，其中d_j表示第j个间隔框的位置，y_i表示第i个追踪器对目标的预测位置，S_i表示检测位置与平均追踪位置之间的协方差矩阵，用该公式来计算马氏距离，并且与设定的阈值相比较，得到结果；

d⁽¹⁾(i,j)＝(d_j-y_i)^TS_i(d_j-y_y)

对于未确定的追踪器，与确定的追踪器的不同之处在于，步骤306)需要首先计算交并比，对于预测结果和追踪器的交并比在大于阈值范围内的情况，将代价矩阵(对应前面的马氏距离矩阵)对应的位置设为1e+6，然后和前面的步骤一样，采用匈牙利算法进行指派，从而匹配跟踪目标的位置，这个过程称为交并匹配；

401)将跟踪模型的结果按照操作人员的序号保存到临时存储区，并且将人物区域的大小重置为128×171(输入任意大小的图像，送入模型后自动调整成128×171)；

402)将临时存储区中存储的数据保存到16帧开始识别，识别完成后将新的一帧入队，将队列中的前一帧出队，实现实时识别；

403)在得到足够的数据后，将数据送入提前训练好的三维卷积神经网络(如图3所示)中，提取数据特征；

步骤4)使用C3D模型对跟踪到的一连串图像进行建模，得到该时间段内该工人的行为类别，确定工人的动作行为；由于设计中的模型需要时间序列上的特征，所以在临时存储区中存储的数据需要保存到16帧才可以开始识别，并且在接下来的操作是将新的一帧入队，将队列中的第一帧出队，这样就可以实现一种接近实时地识别。

步骤5)中，通过可视化的界面对识别结果进行展示，实时地将装药现场的图像传输到监控室的电脑中，监管者可以随时观察工人的行为，并且系统也会在工人出现操作不当的时候，提醒监管者，帮助监管者更好的监管现场，约束工人的行为。

本实施例以炸药埋设引线动作为例，首先摄像机安装在一定位置上，获取视频流；然后对视频流图像进行分帧，对每一帧图像进行行人检测，并对单帧中的每个人区域放入到Deep Sort模型中，用来进行行人跟踪，并将框选区域存于系统的内存中；最后分别对每个人的一系列图片进行行为识别，并对他们的行为进行分类，如果该行为符合安全规范，则无反应，如果出现交流、行为顺序错误和人物对应动作错误等情况时，在中控室进行提示报警。

本发明方法针对爆破现场装药行为的安全性和规范性要求，制定工人装药操作规范，研发基于连续视频的装药操作行为智能感知技术，为爆破管理信息化、现场施工规范化、安全管理科学化提供有效的手段，提升爆破施工管理与本质安全水平。本发明基于深度学习模型的前提，通过训练相关的模型，针对炸药车装药操作问题进行了规范，有效解决了工人因操作不当造成的安全隐患，提高了装药操作现场的安全性，并且降低人工看管成本，提高了看管效率，同时降低了企业的运行成本，帮助企业更好地分配任务。

Claims

1.一种装药操作行为规范监控方法，其特征在于包括以下步骤：

1）图像数据获取，通过摄像头获取图像数据，经路由器传输并存储到图像数据单元中；

2）目标检测：采用YOLO模型实时地检测图像中操作人员的操作行为；

3）目标追踪: 基于deepsort的目标跟踪算法,对当前目标的位置进行初步预测和判断，锁定要追踪的目标；

4）动作识别：使用三维卷积神经网络，对目标图像二维方向进行建模，提取时间序列上的特征，从而得到准确的动作识别结果；

5）根据实时检测到的人物动作识别结果，在监控室显示的监控视频中标注出动作类别，并对不规范的动作进行响应。

2.根据权利要求1所述的装药操作行为规范监控方法，其特征在于：步骤2）中，目标检测包括：

201）将现场采集到的装药操作视频切分成每一帧，得到每一帧的图像，帧率设置为60Hz，并对图像进行预处理，平衡图像亮度；

202）将每幅图像分成N×N个网格，如果一个实际物体的中心落在某个网格中，那么这个网格就负责预测这个物体；

203）每个网格还需要预测多个框选区域，每个框选区域包括自身的位置和置信度参数，置信度参数为一个物体做为预测物体的可信度。

3.根据权利要求2所述的装药操作行为规范监控方法，其特征在于：还包括以下步骤：

204）对这些候选框进行过滤操作,将多余的候选框合并，将不必要的候选框舍去，具体为：计算每两个候选框的交并程度，在交并比大于阈值的情况下，取置信度最高的框作为最终的结果；将其他的置信度低于设定阈值的候选框舍去，得到最终预测的包围框，实时检测到图像中的人；

根据权利要求1所述的装药操作行为规范监控方法，其特征在于：步骤3）中，目标追踪包括：

301）通过目标检测网络得到操作人员的检测框，并且提取检测框的深度特征得到框的位置和大小；

302）使用卡尔曼滤波对预测跟踪目标在当前图像帧的位置，执行卡尔曼滤波的公式，通过状态转移矩阵进行预测，对于当前目标的位置有一个初步的预测，方便后续的工作；

303）更新卡尔曼滤波的参数及特征集，对已有目标消失和新目标出现进行判断，对检测到的目标的追踪器进行区分，确定追踪器的状态是否已经被确认；

304）对于已经确认状态的追踪器进行级联匹配，如匹配成功，则认为是同一目标在不同时间序列上的表现；

305）更新卡尔曼滤波器参数，将新的时间序列更新到卡尔曼滤波模型，并且对于匹配未成功的框进行删除，为下一次的跟踪做准备，继续循环执行上述匹配过程。

4.根据权利要求4所述的装药操作行为规范评价方法，其特征在于：还包括步骤306）中，对于未确定的追踪器，首先计算交并比，对于预测结果和追踪器的交并比在大于阈值范围内的情况，将代价矩阵对应的位置设为1e+6，采用匈牙利算法进行指派，从而匹配跟踪目标的位置。

5.根据权利要求1所述的装药操作行为规范监控方法，其特征在于：步骤4）动作识别包括：使用三维卷积神经网络，对目标图像二维方向进行建模，提取时间序列上的特征，从而得到准确的动作识别结果。

6.401）将跟踪模型的结果按照操作人员的序号保存到临时存储区，并且将人物区域的大小重置为U×V；

402）将临时存储区中存储的数据保存到16帧或32帧开始识别，识别完成后将新的一帧入队，将队列中的前一帧出队，实现实时识别；

403）在得到足够的数据后，将数据送入提前训练好的三维卷积神经网络中，提取数据特征；

404）模型的最后一层采用softmax网络层对数据进行分类，将一段动作视频分到提前设定好的类中，将未知视频动作变为已知类，识别人物动作的变化。