CN117197728B - 通过可穿戴摄像设备进行实时燃气放散作业识别的方法 - Google Patents

Abstract

本发明涉及图像识别技术领域，提出通过可穿戴摄像设备进行实时燃气放散作业识别的方法，包括步骤：通过可穿戴摄像设备采集作业人员的第一视角作业视频；基于第一视角作业视频，使用YOLOv8n模型对第一视角作业视频中的类窗体、放散导管和手中检测仪的识别；对识别出来的类窗体、放散导管和手中检测仪进行目标间的空间关系分析，确定最大面积重叠区域；根据最大面积重叠区域判定是否完成放散作业行为。本发明识别放散作业过程中的类窗体、放散导管和手中检测仪时，通过改进算法降低模型和数据的存储空间、计算资源，提高目标识别的实时性。

Description

通过可穿戴摄像设备进行实时燃气放散作业识别的方法

技术领域

本发明涉及图像识别技术领域，特别涉及通过可穿戴摄像设备进行实时燃气放散作业识别的方法。

背景技术

燃气作业行为识别是安全作业行为识别的新方向，通常通过可穿戴摄像设备对第一视角作业视频进行记录，在服务器端采用人工复验或者深度学习进行视频分析，从而完成作业行为的判定。目前，燃气作业行为识别已经在燃气公司入户安检方面得到了一定的应用，在监督人工安全、规范完成工作内容方面取得了良好的效果。比如，公开号为CN116503957B的专利公开了室内燃气作业行为识别方法为使用目标检测技术和跟踪技术，分析场景目标、作业仪器和人体关键点的轨迹，再与规定作业的目标相关轨迹进行相似度计算，从而判定当前作业人员是否完成了规定的作业行为。

但现有技术的主要问题是实时性不足，仪器目标检测模型和人体关键点检测模型占用较大的存储空间和计算资源，比如专利CN116503957B中所使用的YOLO V5s模型所占用存储空间为14.1MB，计算实时性为3fps，在存储空间较小和计算能力较低的可穿戴设备上运行时，行为识别的实时性有待提高。

发明内容

本发明的目的在于识别放散作业过程中的类窗体、放散导管和手中检测仪时，通过改进算法降低模型和数据的存储空间、计算资源，提高目标识别的实时性，提供一种通过可穿戴摄像设备进行实时燃气放散作业识别的方法。

为了实现上述发明目的，本发明实施例提供了以下技术方案：

通过可穿戴摄像设备进行实时燃气放散作业识别的方法，包括以下步骤：

步骤1，通过可穿戴摄像设备采集作业人员的第一视角作业视频；

步骤2，基于第一视角作业视频，使用YOLOv8n模型对第一视角作业视频中的类窗体、放散导管和手中检测仪的识别；

步骤3，对识别出来的类窗体、放散导管和手中检测仪进行目标间的空间关系分析，确定最大面积重叠区域；

步骤4，根据最大面积重叠区域判定是否完成放散作业行为。

所述YOLOv8n模型的损失函数为：

其中，L_MPDIoU(B_p,B_g)表示损失函数；B_p表示真实框，真实框的左上角坐标为(x_g1,y_g1)，右下角坐标为(x_g2,y_g2)；B_g表示预测框，预测框的左上角坐标为(x_p1,y_p1)，右下角坐标为(x_p2,y_p2)；IoU表示交并比，即预测框和真实框的重叠区域面积与并集区域面积的比值；MPDIoU是IoU的一种改进表征方式；w、h分别为输入图像的宽、高；S_G表示真实框的面积，S_P表示预测框的面积，S_I表示真实框和预测框重叠区域的面积；d₁表示真实框的左上角和预测框的左上角之间的距离，d₂表示真实框的右下角和预测框的右下角之间的距离。

所述步骤2中，使用YOLOv8n模型对第一视角作业视频中的类窗体、放散导管和手中检测仪的识别的步骤，包括：

设定阈值Tc，对某一类别的目标框的置信度进行阈值过滤，去除置信度小于阈值Tc的目标，类别包括类窗体、放散导管、手中检测仪；

对剩余的目标框进行置信度排序，选择置信度最大的目标框作为该类别的目标框，并将其与该类别剩余的其他目标框分别进行IoU计算，若IoU计算结果不等于0，则去除对应的目标框；

若IoU计算结果等于0，则计算该目标框与选择出来的该类别的目标框之间的中心点距离，若距离大于w/2，则保留该目标框，否则仅保留选择出来的该类别的目标框，w为输入图像的宽。

所述步骤3具体包括以下步骤：

采用最大面积重叠区域的方式度量类窗体、放散导管和手中检测仪的目标框的重叠区域：

其中，IoMax表示各类目标框的最大面积重叠区域；W、H、B分别表示类窗体、手中检测仪和放散导管的目标框区域；S_W表示类窗体的目标框面积，S(W∩H∩B)表示类窗体、手中检测仪和放散导管的重叠区域面积。

所述步骤4具体包括以下步骤：

设置阈值To，当IoMax超过To时，判定为放散作业正在进行；

设置规定时长t，当放散作业的动作保持规定时长，则确定放散作业已经完成。

与现有技术相比，本发明的有益效果：

本发明识别放散作业过程中的类窗体、放散导管和手中检测仪时，通过改进算法降低模型和数据的存储空间、计算资源，提高目标识别的实时性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明方法流程图；

图2为本发明训练YOLOv8n模型时目标的真实框和预测框的几何参数示意图；

图3为本发明实施例目标识别示意图，图3中的（a）展示了类窗体，图3中的（b）展示了放散导管，图3中的（c）展示了手中检测仪；

图4为本发明实施例识别手中检测仪时产生多个目标框的示意图；

图5为本发明实施例识别类窗体、放散导管和手中检测仪时的示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性，或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。另外，术语“相连”、“连接”等可以是元件之间直接相连，也可以是经由其他元件的间接相连。

本发明通过下述技术方案实现，如图1所示，一种通过可穿戴摄像设备进行实时燃气放散作业识别的方法，包括以下步骤：

步骤1，通过可穿戴摄像设备采集作业人员的第一视角作业视频。

作业人员户外作业或者上门服务作业时，使用可穿戴摄像设备，如智慧安全帽，即在安全帽上安装有摄像仪，最好安装在安全帽的正前方，用于采集作业人员的第一视角作业视频。

步骤2，基于第一视角作业视频，使用YOLOv8n模型对第一视角作业视频中的类窗体、放散导管和手中检测仪的识别。

本方案需要对第一视角作业视频中识别的目标类别包括类窗体、放散导管、手中检测仪。使用训练好的YOLOv8n模型对第一视角作业视频中的类窗体、放散导管和手中检测仪进行识别。请参见图3，图3中的（a）展示了类窗体，包括窗户、门、阳台等室内与室外分界结构体；图3中的（b）展示了放散导管，为放散作业时连接家庭燃气管道的用于排气的软管；图3中的（c）展示了手中检测仪，为作业人员的手部与所持燃气泄漏检测仪的整体。

本方案对训练YOLOv8n模型时所使用的损失函数做了改进，请参见图2，使用位置损失函数对YOLOv8n模型进行训练，位置损失函数由L_CIoU改进为L_MPDIoU：

其中，L_MPDIoU(B_p,B_g)表示损失函数；B_p表示真实框，真实框的左上角坐标为(x_g1,y_g1)，右下角坐标为(x_g2,y_g2)；B_g表示预测框，预测框的左上角坐标为(x_p1,y_p1)，右下角坐标为(x_p2,y_p2)；IoU表示交并比，即预测框和真实框的重叠区域面积与并集区域面积的比值；MPDIoU是IoU的一种改进表征方式；w、h分别为输入图像的宽、高；S_G表示真实框的面积，S_P表示预测框的面积，S_I表示真实框和预测框重叠区域的面积；d₁表示真实框的左上角和预测框的左上角之间的距离，d₂表示真实框的右下角和预测框的右下角之间的距离。

在使用YOLOv8n模型进行目标检测时，可能对同一目标产生多个目标框，如图4所示，因此本方案加入改进的非极大值抑制算法（NMS）确保一个目标仅保留一个目标框。

传统的非极大值抑制算法的过程为：

（1）对候选目标框的置信度进行阈值过滤，目标框的置信度表示目标框属于某一类别的概率，比如图4中对属于“手中检测仪（Hwl）”的目标框的置信度按照置信度小于阈值Tc=0.5进行去除后，剩余了五个目标框，分别为A框Hwl=0.95、C框Hwl=0.85、B框Hwl=0.78、E框Hwl=0.72、D框Hwl=0.63。

（2）对剩余的目标框按照置信度进行排序，置信度最高的A框被确定为“手中检测仪（Hwl）”这一类别，该类别剩下的其他目标框分别与A框进行IoU计算，如果IoU计算结果大于设定的阈值T_IoU，说明该目标框与A框的重叠区域较大，则将该目标框的置信度重置为0。比如设定阈值T_IoU=0.35，B框、C框、E框、D框分别与A框计算的IoU计算结果依次为0.38、0.51、0.012、0，则重置后的置信度为B框Hwl=0、C框Hwl=0、E框Hwl=0.72、D框Hwl=0.63。

（3）去除置信度为0的目标框，对剩下的候选目标框继续进行步骤（2）操作，即将E框作为“手中检测仪（Hwl）”这一类别，计算D框与E框的IoU值为0.61，大于T_IoU，因此D框置信度被重置为0，也被去除，则最后保留了A框和E框作为识别的“手中检测仪”。

通过以上传统的非极大值抑制算法可见，将置信度阈值Tc设定为0.5后，最终E框被保留下来，然而E框实际上并不是手中检测仪这一类别，因此，传统的非极大值抑制算法的效果依赖阈值的设定，且当候选框较多时，这种循环遍历的计算方式将会耗时严重，最后保留较多的冗余目标框。

因此，本方案将应用于可穿戴摄像设备，在有限的算力条件下对实时性要求较高，非极大值抑制算法这种循环遍历的处理模式，在目标框较多的情况下运算效率较低，处理时间较长。考虑到以上两个局限性，本方案对非极大值抑制算法进行了如下改进：

（1）直接去掉重叠的候选框。对目标框的置信度进行阈值过滤，比如图4中对属于“手中检测仪（Hwl）”的目标框的置信度按照置信度小于阈值Tc=0.5进行去除后，剩余了A框Hwl=0.95、C框Hwl=0.85、B框Hwl=0.78、E框Hwl=0.72、D框Hwl=0.63。放散作业中，由于只有手中检测仪只会有一台，因此，只对置信度最大的目标框进行保留，即A框被确定为“手中检测仪（Hwl）”这一类别，其他目标框分别与A框进行IoU计算后，B框、C框、D框分别与A框的IoU计算结果不等于0，说明B框、C框、D框和A框都有重叠，则直接去除B框、C框、D框，而E框与A框的IoU计算结果等于0，说明E框和A框没有重叠，则此时E框不再循环遍历进行IoU计算，而是进入下一步骤。

（2）计算E框与A框的中心点距离，若该距离大于w/2时保留E框，否则去除，w为输入图像的宽。由于工作人员在实际放散作业操作中，动作很快，采集图像时会出现残影，此时同一个目标会有多个目标框不重叠或IoU计算结果较小的现象，因此经过上述改进的非极大值抑制算法能够保证放散作业动作较快时，目标识别失败时有多项候选目标框。比如动作很快时对于同一目标会连续出现多个目标框，产生多个目标框的原因是动作较快，所以目标框之间的距离会较近，由于追踪的是同一个目标，所以计算两目标框之间的中心点距离，该距离小于w/2则去除置信度较低的那个目标框。

对于类窗体、放散导管的识别也是如上相同的方式，此处不再赘述。

步骤3，对识别出来的类窗体、放散导管和手中检测仪进行目标间的空间关系分析，确定最大面积重叠区域。

由于在进行放散作业时，类窗体、放散导管和手中检测仪存在特定的空间关系，如图5所示，三者的目标框存在共同重叠的区域，本方案采用最大面积重叠区域（Intersection over Max-area）的方法来度量三者的重叠区域：

（1）

其中，IoMax表示各类目标框的最大面积重叠区域。W、H、B分别表示类窗体、手中检测仪和放散导管的目标框区域；S_W表示类窗体的目标框面积，S(W∩H∩B)表示类窗体、手中检测仪和放散导管的重叠区域面积。

比如在步骤2中识别到“手中检测仪（Hwl）”有A框、E框两个目标框，则在进行IoMax计算时，首先用A框、类窗体目标框和放散导管目标框的重叠区域面积S(W∩H∩B)代入式（1）进行计算，若式（1）的分子为0，则表示类窗体、放散导管和手中检测仪三者没有共同重叠的区域；则更换E框、类窗体目标框和放散导管目标框的重叠区域面积S(W∩H∩B)再代入式（1）进行计算，若式（1）的分子还是为0，则表明当前各目标的位置关系不符合放散作业要求。对于类窗体的目标框、放散导管的目标框存在多个时也是同理。

此处将类窗体S_W作为分母，是因为在进行放散作业时，如图5所示，一定是将放散导管由类窗体所在的室内置于室外，且手中检测仪也是用于检测类窗体处放散导管处的燃气，因此以类窗体为放散作业过程中的识别基础，作为IoMax的分母，当分母不为0时，进行下一步放散作业行为的判定。

步骤4，根据最大面积重叠区域判定是否完成放散作业行为。

设置阈值To，当IoMax超过To时，判定为放散作业正在进行。在实际应用中，如果动作保持规定时长，如10s，则确定放散作业已经完成。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (3)

1.通过可穿戴摄像设备进行实时燃气放散作业识别的方法，其特征在于：包括以下步骤：

步骤1，通过可穿戴摄像设备采集作业人员的第一视角作业视频；

步骤2，基于第一视角作业视频，使用YOLOv8n模型对第一视角作业视频中的类窗体、放散导管和手中检测仪的识别；

步骤3，对识别出来的类窗体、放散导管和手中检测仪进行目标间的空间关系分析，确定最大面积重叠区域；

所述步骤3具体包括以下步骤：

采用最大面积重叠区域的方式度量类窗体、放散导管和手中检测仪的目标框的重叠区域：

其中，IoMax表示各类目标框的最大面积重叠区域；W、H、B分别表示类窗体、手中检测仪和放散导管的目标框区域；S_W表示类窗体的目标框面积，S(W∩H∩B)表示类窗体、手中检测仪和放散导管的重叠区域面积；

步骤4，根据最大面积重叠区域判定是否完成放散作业行为；

所述步骤4具体包括以下步骤：

设置阈值To，当IoMax超过To时，判定为放散作业正在进行；

设置规定时长t，当放散作业的动作保持规定时长，则确定放散作业已经完成。

2.根据权利要求1所述的通过可穿戴摄像设备进行实时燃气放散作业识别的方法，其特征在于：所述YOLOv8n模型的损失函数为：

其中，L_MPDIoU(B_p,B_g)表示损失函数；B_p表示真实框，真实框的左上角坐标为(x_g1,y_g1)，右下角坐标为(x_g2,y_g2)；B_g表示预测框，预测框的左上角坐标为(x_p1,y_p1)，右下角坐标为(x_p2,y_p2)；IoU表示交并比，即预测框和真实框的重叠区域面积与并集区域面积的比值；MPDIoU是IoU的一种改进表征方式；w、h分别为输入图像的宽、高；S_G表示真实框的面积，S_P表示预测框的面积，S_I表示真实框和预测框重叠区域的面积；d₁表示真实框的左上角和预测框的左上角之间的距离，d₂表示真实框的右下角和预测框的右下角之间的距离。

3.根据权利要求1所述的通过可穿戴摄像设备进行实时燃气放散作业识别的方法，其特征在于：所述步骤2中，使用YOLOv8n模型对第一视角作业视频中的类窗体、放散导管和手中检测仪的识别的步骤，包括：

设定阈值Tc，对某一类别的目标框的置信度进行阈值过滤，去除置信度小于阈值Tc的目标，类别包括类窗体、放散导管、手中检测仪；

对剩余的目标框进行置信度排序，选择置信度最大的目标框作为该类别的目标框，并将其与该类别剩余的其他目标框分别进行IoU计算，若IoU计算结果不等于0，则去除对应的目标框；

若IoU计算结果等于0，则计算该目标框与选择出来的该类别的目标框之间的中心点距离，若距离大于w/2，则保留该目标框，否则仅保留选择出来的该类别的目标框，w为输入图像的宽。