CN116503957A

CN116503957A - 一种燃气入户作业行为识别方法

Info

Publication number: CN116503957A
Application number: CN202310753998.1A
Authority: CN
Inventors: 鄢章发; 朱炼; 王孜; 刘勋; 常关羽; 彭大江
Original assignee: Chengdu Qianjia Technology Co Ltd
Current assignee: Chengdu Qianjia Technology Co Ltd
Priority date: 2023-06-26
Filing date: 2023-06-26
Publication date: 2023-07-28
Anticipated expiration: 2043-06-26
Also published as: CN116503957B

Abstract

本发明涉及一种燃气入户作业行为识别方法，包括步骤：采集作业人员的第一视角作业视频；使用YOLO V5s模型对第一视角作业视频中的作业仪器目标进行识别，使用MoveNet模型对第一视角作业视频中的作业人员手部进行识别；采用DeepSORT目标跟踪算法对识别得到的作业仪器目标和作业人员手部进行跟踪，获取时序坐标序列，以作业仪器目标和作业人员手部的中心坐标序列形成时序特征；将得到的时序特征与规定作业行为的时序特征进行相似度计算，若相似度大于阈值，则判定作业人员为规范作业行为。本发明识别出燃气入户安全检测规范中的规定作业行为，监督作业人员完成规定作业，保障燃气安全隐患的排查。

Description

一种燃气入户作业行为识别方法

技术领域

本发明涉及图像识别技术领域，特别涉及一种燃气入户作业行为识别方法。

背景技术

燃气安全作业行为识别通常使用视频监控、智能感知等技术，对工人的作业行为进行实时监测和分析，以识别出不安全的行为并预防事故发生。目前，安全作业行为识别方法已经在工业、化工、冶金等领域得到了广泛应用，在提高生产安全水平、降低事故发生率方面取得了良好的效果。

现有的燃气安全作业行为识别通常是通过全局监控视频，利用姿态监测模型识别出作业人员的人体关键点，再通过目标跟踪算法提取时序动作特征，识别出异常行为或者违规行为，进而约束作业人员的行为，防止安全事故的发生。

现有的技术中，首要的问题是通过识别异常行为或违规行为来约束作业人员的方法，不能对标准作业或者规范作业进行识别，也就不能监督作业人员是否按照流程完成规定的作业行为。其次，通过监控视频对作业行为进行全程监测，则将作业行为的监测局限于工厂、车间等固定场所，对于需要户外作业甚至上门服务的作业来说，无法做到有效的识别和监管。

发明内容

本发明的目的在于识别出燃气入户安全检测规范中的规定作业行为，包括压力检测、软管检测和泄漏检测等作业行为，进而监督作业人员完成规定作业，保障燃气安全隐患的排查，完善燃气公司的监管工作，提供一种燃气入户作业行为识别方法。

为了实现上述发明目的，本发明实施例提供了以下技术方案：

一种燃气入户作业行为识别方法，包括以下步骤：

步骤1，采集作业人员的第一视角作业视频；

步骤2，基于第一视角作业视频，使用YOLO V5s模型对第一视角作业视频中的作业仪器目标进行识别，使用MoveNet模型对第一视角作业视频中的作业人员手部进行识别；

步骤3，采用DeepSORT目标跟踪算法对步骤2识别得到的作业仪器目标和作业人员手部进行跟踪，获取时序坐标序列，以作业仪器目标和作业人员手部的中心坐标序列形成时序特征；

步骤4，将步骤3得到的时序特征与规定作业行为的时序特征进行相似度计算，若相似度大于阈值，则判定作业人员为规范作业行为。

与现有技术相比，本发明的有益效果：

本发明能够识别出燃气入户安全规范中的规定作业行为，包括压力检测、软管检测和泄漏检测等作业行为，进而监督作业人员完成规定作业，保障燃气安全隐患的排查，完善燃气公司的监管工作。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明方法流程图；

图2为本发明实施例YOLO V5s模型的网络结构示意图；

图3为本发明实施例交并比计算示意图；

图4为本发明实施例识别结果示意图；

图5为本发明实施例轨迹示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性，或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。另外，术语“相连”、“连接”等可以是元件之间直接相连，也可以是经由其他元件的间接相连。

实施例1：

本发明通过下述技术方案实现，如图1所示，一种燃气入户作业行为识别方法，包括以下步骤：

步骤1，采集作业人员的第一视角作业视频。

作业人员户外作业或者上门服务作业时，使用可穿戴摄像设备，如智慧安全帽，即在安全帽上安装有摄像仪，最好安装在安全帽的正前方，用于采集作业人员的第一视角作业视频。

步骤2，基于第一视角作业视频，使用YOLO V5s模型对第一视角作业视频中的作业仪器目标进行识别，使用MoveNet模型对第一视角作业视频中的作业人员手部进行识别。

请参见图2为YOLO V5s模型的网络结构，所述YOLO V5s模型包括骨干网络、颈部网络、检测器（Detect），所述骨干网络包括多个卷积层（Conv）、多个残差层（C3），最后由金字塔池化层（SPFF）结尾；所述颈部网络也包括多个卷积层（Conv）、多个残差层（C3），使用跳跃连接层（Concat）将不同卷积层的输出特征进行连接；最后由检测器融合特征后输出。

使用训练好的YOLO V5s模型对第一视角作业视频中的作业仪器目标进行识别，并标注出作业仪器目标的最大外接矩形框，后续简称为矩形框，输出该矩形框在当前帧的坐标信息(cx,cy,w,h)，其中(cx,cy)表示矩形框的中心点坐标，(w,h)表示矩形框的宽和高。

所述YOLO V5s模型在训练时的总损失函数由三个部分组成：位置损失函数、置信度损失函数、类别损失函数。其总损失函数为：

其中，K表示输出特征图的数量，k表示第k张输出特征图；S²表示网格（cell）的数量，i表示i个网格；B表示每个网格上矩形框（anchor）的数量，j表示第j个矩形框；L_CIoU表示位置损失函数，表示位置损失函数的权重，取/>；L_obj表示置信度损失函数，表示置信度损失函数的权重，取/>；L_cls表示类别损失函数，/>表示类别损失函数的权重，取/>；/>表示第k张输出特征图的第i个网格中第j个矩形框是否为正样本，若是正样本，则/>，反之/>；t_p表示预测向量，t_gt表示真实向量；/>用于平衡每个尺度的输出特征图的权重，默认取值[4.0,1.0,0.4]，依次对应尺度为40*40、20*20、10*10的输出特征图。

所述位置损失函数L_CIoU为：

其中。IoU表示交并比，即预测矩形框和真实矩形框的重叠部分面积与并集区域面积的比值；CIoU是IoU的一种改进表征方式，CIoU还表示了矩形框中心点距离和矩形框的对角线之间的关系；v为中间参数；表示两个相交矩形框的中心点距离，/>表示矩形框对角线距离；w_gt表示真实矩形框的宽，h_gt表示真实矩形框的高；b_w表示预测矩形框中心和真实矩形框中心在宽度上的偏移量，b_h表示预测矩形框中心和真实矩形框中心在高度上的偏移量。

在进一步的方案中，对位置损失函数L_CIoU进行改进，改进后的位置损失函数L_WIoU为：

其中，如图3所示，(x_a1,y_a1)、(x_a2,y_a2)分别表示预测矩形框的左上、右下两个对角点坐标；(x_b1,y_b1)、(x_b2,y_b2)分别表示真实预矩形框的左上、右下两个对角点坐标；S表示预测最大外接矩形框面积，S_gt表示真实最大外接矩形框面积；W_g、H_g分别表示预测矩形框和真实矩形框有重叠区域时，该重叠矩形框的宽和高；x、y分别表示预测矩形框中心点的横坐标、纵坐标；x_gt、y_gt分别表示真实矩形框中心点的横坐标、纵坐标。

因此，改进后的总损失函数为：

由于训练数据中难以避免地包含低质量样本，如距离、纵横比之类的几何度量都会加剧对低质量样本的惩罚，从而使YOLO V5s模型的泛化能力下降。因此在改进损失函数时，增加的注意力机制能够在预测矩形框与真实矩形框较好的重合时，削弱几何度量的惩罚，不过多的干预训练，使YOLO V5s模型具有更好的泛化能力。

使用训练好的MoveNet模型对第一视角作业视频中的作业人员手部进行识别，并标注出作业人员手部的最大外接矩形框，后续简称为矩形框，输出该矩形框在当前帧的坐标信息(cx`,cy`,w`,h`)，其中(cx`,cy`)表示矩形框的中心点坐标，(w`,h`)表示矩形框的宽和高。

所述MoveNet模型在训练时采用均方差损失函数（MSE，Mean Squared ErrorLoss）：

其中，n表示样本数量，i表示第i个样本；表示样本i的预测值，/>表示样本i的真实值。

由于存在类别不均衡和难易样本区分的问题，本方案采用加权均方差损失（WMSE），引入了权重和调节因子：

其中，表示调节因子，用于降低易分类样本权重；/>表示可调节的聚焦参数，聚焦于困难样本的训练，参考取值[0,5]；/>为权重因子，用于协调类别不均衡。

步骤3，采用DeepSORT目标跟踪算法对步骤2识别得到的作业仪器目标和作业人员手部进行跟踪，获取时序坐标序列，以作业仪器目标和作业人员手部的中心坐标序列形成时序特征。

DeepSORT目标跟踪算法可描述为：假如目标在当前帧的坐标信息为X0=[u,v,s,r]^T，其中，u、v分别表示目标中心的水平和垂直像素位置，s、r分别表示目标的边界框的刻度（面积）和纵横比。通过卡尔曼滤波预测目标在下一帧的位置，其中，/>、/>分别表示下一帧预测的目标中心的水平和垂直像素位置，/>表示下一帧预测的目标的边界框的刻度，并将预测的位置于下一帧实际检测到的位置做识别目标区域的交并比（IoU）计算，得到相邻两帧目标的相似度。如果检测与目标相关联，检测到的边界框用于更新目标状态；如果检测与目标非相关联，则使用线速度模型预测其状态，而不进行校正。最后，利用匈牙利算法匹配得到相邻两帧的对应目标，将前一帧中的跟踪框与当前帧的检测框进行关联，通过IoU来计算代价矩阵，输出目标的时序坐标信息。

由于每张图片中目标所占图片大小和所在位置完全不同，因此不能直接以图片左上角为原点去记录目标的坐标，因此需要对坐标信息做归一化处理。利用某个关键部位作为原点(x₀,y₀)，如手腕中心点坐标作为原点，图像大小为(w0,h0)，则第1个时刻手腕中心点(x₁,y₁)的相对坐标为=(x₁`,y₁`)。

作业仪器目标和作业人员手部的中心坐标序列形成时序特征：

R={(x₁`,y₁`),(x₂`,y₂`),...,(x_n`,y_n`)}

其中，n表示n个时刻；(x_n`,y_n`)表示第n个时刻的中心坐标。

采用改进的基于斜率表示的时间序列相似性度量方法，对斜率距离的计算进行改进，计算时间序列的关联度。基于斜率表示的时间序列相似性度量方法可以描述为：

（1）首先对检测到的作业人员手部轨迹的相对坐标时间序列R={(x₁`,y₁`),(x₂`,y₂`),...,(x_n`,y_n`)}和规定作业行为轨迹的相对坐标时间序列D={(m₁,c₁),(m₂,c₂),...,(m_n,c_n)}进行斜率表示：

其中，R`为R的斜率表示序列，D`为D的斜率表示序列；r_i为R`中第i个时刻的斜率，，d_i为D`中第i个时刻的斜率，/>，i=1,2,...,n。

（2）对斜率表示的序列进行绝对距离计算：

其中，t_n为结束时刻，t_i-t_i-1表示当前时间段的时长。当S(R,D)=0时两个序列表现为完全相似，实际上这种情况出现的概率很低，或者不存在，因此S(R,D)值越小，表明两序列相似度越高。因此，在本方案中，用表示将步骤3得到的时序特征与规定作业行为的时序特征的相似度。

可设定阈值T`，当时，表示判定作业人员为规范作业行为；否则，作业人员为不规范作业行为。

实施例2：

本实施例在实施例1的基础上给出实验数据。

利用本方案的YOLO V5s模型、MoveNet模型进行作业仪器目标和作业人员手部识别，准确率能达到95%以上。请参见图4，YOLO V5s模型识别到的作业仪器目标包括窗口window、可燃气体检测仪instrument以及放散软管base；MoveNet模型能够准确识别出作业人员手部hand，并且分别输出矩形框的相对坐标位置，如表1所示。

表1 识别矩形框相对坐标

记录hand的轨迹信息，与规定作业行为的轨迹信息进行相似度计算，图5显示了5个作业行为的动作与规定作业行为的hand轨迹变化对比，表2相似度计算结果。

表2 相似度计算结果

从图5的动作轨迹可以看出，动作1和动作4与规定作业行为接近，在相似度计算中，相似度分别为0.7257、0.7001，因此将相似度阈值T`设为0.7时，动作1和动作4判定为规范作业行为，动作2、动作3和动作5则为不规范作业行为。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种燃气入户作业行为识别方法，其特征在于：包括以下步骤：

步骤1，采集作业人员的第一视角作业视频；

2.根据权利要求1所述的一种燃气入户作业行为识别方法，其特征在于：所述步骤2中，使用YOLO V5s模型对第一视角作业视频中的作业仪器目标进行识别的步骤，包括：

使用训练好的YOLO V5s模型对第一视角作业视频中的作业仪器目标进行识别，并标注出作业仪器目标的最大外接矩形框，输出该最大外接矩形框在当前帧的坐标信息(cx,cy,w,h)，其中(cx,cy)表示最大外接矩形框的中心点坐标，(w,h)表示最大外接矩形框的宽和高。

3.根据权利要求1所述的一种燃气入户作业行为识别方法，其特征在于：所述YOLO V5s模型的总损失函数为：

其中，K表示输出特征图的数量，k表示第k张输出特征图；S²表示网格的数量，i表示i个网格；B表示每个网格上的最大外接矩形框的数量，j表示第j个最大外接矩形框；L_WIoU表示位置损失函数，表示位置损失函数的权重；L_obj表示置信度损失函数，/>表示置信度损失函数的权重；L_cls表示类别损失函数，/>表示类别损失函数的权重；/>表示第k张输出特征图的第i个网格中第j个最大外接矩形框是否为正样本，若是正样本，则/>，反之/>；t_p表示预测向量，t_gt表示真实向量；/>用于平衡每个尺度的输出特征图的权重。

4.根据权利要求3所述的一种燃气入户作业行为识别方法，其特征在于：所述位置损失函数L_WIoU为：

其中，(x_a1,y_a1)、(x_a2,y_a2)分别表示预测最大外接矩形框的左上、右下两个对角点坐标；(x_b1,y_b1)、(x_b2,y_b2)分别表示真实最大外接预矩形框的左上、右下两个对角点坐标；S表示预测最大外接矩形框面积，S_gt表示真实最大外接矩形框面积；W_g、H_g分别表示预测最大外接矩形框和真实最大外接矩形框有重叠区域时，该重叠矩形框的宽和高；x、y分别表示预测最大外接矩形框中心点的横坐标、纵坐标；x_gt、y_gt分别表示真实最大外接矩形框中心点的横坐标、纵坐标。

5.根据权利要求1所述的一种燃气入户作业行为识别方法，其特征在于：所述步骤2中，使用MoveNet模型对第一视角作业视频中的作业人员手部进行识别的步骤，包括：

使用训练好的MoveNet模型对第一视角作业视频中的作业人员手部进行识别，并标注出作业人员手部的最大外接矩形框，输出该最大外接矩形框在当前帧的坐标信息(cx`,cy`,w`,h`)，其中(cx`,cy`)表示最大外接矩形框的中心点坐标，(w`,h`)表示最大外接矩形框的宽和高。

6.根据权利要求1所述的一种燃气入户作业行为识别方法，其特征在于：所述MoveNet模型的损失函数为：

其中，表示调节因子，用于降低易分类样本权重；/>表示可调节的聚焦参数，聚焦于困难样本的训练；/>为权重因子，用于协调类别不均衡。

7.根据权利要求1所述的一种燃气入户作业行为识别方法，其特征在于：所述步骤3具体包括以下步骤：选择作业仪器目标和作业人员手部的某个关键部位作为坐标原点(x₀,y₀)，图像大小为(w0,h0)，作业仪器目标和作业人员手部的中心坐标序列形成时序特征：

R={(x₁`,y₁`),(x₂`,y₂`),...,(x_n`,y_n`)}

其中，n表示n个时刻；(x_n`,y_n`)表示第n个时刻中心坐标(x_n,y_n)的相对坐标，(x_n`,y_n`)=。

8.根据权利要求7所述的一种燃气入户作业行为识别方法，其特征在于：所述步骤4具体包括以下步骤：

对检测到的作业人员手部轨迹的相对坐标时间序列R={(x₁`,y₁`),(x₂`,y₂`),...,(x_n`,y_n`)}和规定作业行为轨迹的相对坐标时间序列D={(m₁,c₁),(m₂,c₂),...,(m_n,c_n)}进行斜率表示：

其中，R`为R的斜率表示序列，D`为D的斜率表示序列；r_i为R`中第i个时刻的斜率，;(x_i`,y_i`)表示第i个时刻中心坐标(x_i,y_i)的相对坐标；d_i为D`中第i个时刻的斜率，/>，i=1,2,...,n；

对斜率表示的序列进行绝对距离计算：

其中，t_n为结束时刻，t_i-t_i-1表示当前时间段的时长；

设定阈值T`，当时，判定作业人员为规范作业行为；否则，作业人员为不规范作业行为。