CN115631368A - 一种识别消防员及头盔佩戴状态的方法 - Google Patents

Abstract

本发明提出了一种识别消防员及头盔佩戴状态的方法，涉及消防安全技术领域，包括以下步骤：S1，从数据库中提取图片，对其重采样原始图片，输入四层卷积层进行特征提取，输出特征图；S2，对输入做最大池化后，将特征图输入到扩展高效长期注意力网络，输出特征1，重复上述步骤2次，得到特征2和特征3；S3，采用可学习的fpn思想，实现三个特征自顶向下的融合，输出三个不同感受野的特征，得到识别消防员的结果图；S4，对识别消防员的结果图重复步骤S2‑S3，得到识别消防员及其头盔佩戴状态的结果图。本发明采用定位二次识别的思路，在识别消防员的基础上，识别消防员是否配搭好头盔，从而避免发生安全事故，用于识别消防员及其消防头盔的佩戴状态。

Description

一种识别消防员及头盔佩戴状态的方法

技术领域

本发明涉及消防安全技术领域，尤其涉及一种识别消防员及头盔佩戴状态的方法。

背景技术

消防员进行抢险救灾时，往往需要佩戴好防护器具，消防头盔就是其中重要的防护器件之一，消防头盔具有防撞击、抗高温性能优良、增加对耳部和后脑部的防护等功能，然而消防员出任务时，可能存在因过于匆忙而未能及时佩戴消防头盔的情况。

中国专利CN108464554A《基于人工智能图像识别的消防AR头盔、警用AR眼镜及应用》公开了一种基于人工智能图像识别的消防AR头盔、警用AR眼镜及应用，通过3D图像建模算法结合深度学习人工智能图像识别算法，对消防员进行识别，然而并不会对消防员是否佩戴消防头盔进行识别，存在安全隐患。

发明内容

有鉴于此，本发明提出了一种识别消防员及头盔佩戴状态的方法，用于识别消防员和其消防头盔佩戴状态。

本发明的技术方案是这样实现的：本发明提供了一种识别消防员及头盔佩戴状态的方法，其特征在于，包括以下步骤，

S1，从数据库中提取图片，对其重采样原始图片，输入四层卷积层进行特征提取，输出特征图；

S2，对输入做最大池化后，将特征图输入到扩展高效长期注意力网络，输出特征1，重复上述步骤2次，得到特征2和特征3；

S3，采用可学习的fpn思想，实现三个特征自顶向下的融合，输出三个不同感受野的特征，得到识别消防员的结果图；

S4，对识别消防员的结果图重复步骤S2-S3，得到识别消防员及其头盔佩戴状态的结果图。

优选的，步骤S1具体包括：

对输入的图片重采样原始图片为640*640，输入四层卷积层进行特征提取，每层融合了卷积算子、归一化方法和激活函数，每层采用不同卷积核，输出160*160*128的特征图。

优选的，步骤S2具体包括：

特征1为80*80*128，特征2为20*20*512，特征3为40*40*256；

扩展高效长期注意力网络，自上而下由四层卷积层组成，第二卷积层和第三卷积层之间还存在三层卷积层。

优选的，步骤S3具体包括：

可学习的fpn：

在特征融合之前，对不同尺度特征进行一致监督；

在特征融合时，通过残差特征增强提取比率不变的上下文信息；

在特征融合之后，对特征进行软RoI选择。

优选的，步骤S3还包括：

自顶向下的融合包括卷积上/下采样、最大池化以及拼接；

识别消防员的结果图包括消防员个数，且图中区分消防员和非消防员。

优选的，步骤S4具体包括：

对步骤S3得到的识别消防员的结果图做最大池化，输入到扩展高效长期注意力网络，输出特征4，重复2次，得到特征5和特征6；

特征4为80*80*128，特征5为20*20*512，特征6为40*40*256。

优选的，步骤S4还包括：

对特征4、特征5和特征6采用可学习的fpn思想，实现三个特征自顶向下的融合，输出对应三个不同感受野的特征，从而得到识别消防员及其头盔佩戴状态的结果图。

优选的，步骤S4还包括：

识别消防员及其头盔佩戴状态的结果图包括消防员个数和其中佩戴消防头盔人数。

本发明的一种识别消防员及头盔佩戴状态的方法相对于现有技术具有以下有益效果：

(1)采用可学习的fpn算法缩小不同尺度特征之间的语义差距，使用残差特征增强提取比率不变的上下文信息，用以减少特征图的信息损失，并且在特征融合后使用软RoI选择，自适应学习更好的RoI特征；

(2)采用定位二次识别的设计思路，在检测行人的基础上，通过行人目标分类识别识别出消防员，并针对消防员的范围进行头盔检，最终识别出现场消防员数量，以及佩戴头盔的消防员数量，即有效的识别是否佩戴头盔，又减少了做全图识别带来的性能损耗，在实际业务上也保证确认了一人佩戴一头盔；

(3)设计二分类的交叉熵作为损失函数，对图片做长尾识别处理，增强消防员特征表征强度，放置实际样本较少的消防员特征被其他路人和工作人员的特征干扰。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种识别消防员及头盔佩戴状态的方法流程图。

具体实施方式

下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

实施例一

提供一种识别消防员及头盔佩戴状态的方法，如图1所示，包括以下步骤：

S1，从数据库中提取图片，对其重采样原始图片，输入四层卷积层进行特征提取，输出特征图；

S2，对输入做最大池化后，将特征图输入到扩展高效长期注意力网络，输出特征1，重复上述步骤2次，得到特征2和特征3；

S3，采用可学习的fpn(Feature Pyramid Networks，特征金字塔)思想，实现三个特征自顶向下的融合，输出三个不同感受野的特征，得到识别消防员的结果图；

S4，对识别消防员的结果图重复步骤S2-S3，得到识别消防员及其头盔佩戴状态的结果图。

头盔识别算法采用定位二次识别的设计思路，在检测行人的基础上，通过行人目标分类识别识别出消防员，并针对消防员的范围进行头盔检，最终识别出现场消防员数量，以及佩戴头盔的消防员数量，即有效的识别是否佩戴头盔，又减少了做全图识别带来的性能损耗，在实际业务上也保证确认了一人佩戴一头盔。

步骤S1具体包括：

对输入的图片重采样原始图片为640*640，输入四层卷积层进行特征提取，每层融合了卷积算子、归一化方法和激活函数，每层采用不同卷积核，输出160*160*128的特征图。

激活函数公式如下：

对于归一化方法输出的特征值做进一步处理。

步骤S2具体包括：

特征1为80*80*128，特征2为20*20*512，特征3为40*40*256；

扩展高效长期注意力网络，自上而下由四层卷积层组成，第二卷积层和第三卷积层之间还存在三层卷积层。

步骤S3具体包括：

可学习的fpn：

在特征融合之前，对不同尺度特征进行一致监督；

在特征融合时，通过残差特征增强提取比率不变的上下文信息；

在特征融合之后，对特征进行软RoI选择。

传统fpn存在以下不足：

在特征融合之前，不同特征层的语义也不尽相同(存在语义差距)。

在特征融合时，存在信息丢失的情况。(高层特征的语义信息传向低层特征时，会出现信息损失)。

在特征融合后，候选区域通过每个特征层启发式地产生，但是，这样容易忽略其他层的特征，忽略的其他层的特征可能有利于目标的分类或回归。

在特征融合之前，对不同尺度特征进行一致监督，缩小了不同尺度特征之间的语义差距；

在特征融合时，通过残差特征增强提取比率不变的上下文信息，减小了特征图在最高金字塔级别的信息损失；

在特征融合之后，对特征进行软RoI选择，使得目标能自适应地学习更好的RoI特征。

自顶向下的融合包括卷积上/下采样、最大池化以及拼接；

识别消防员的结果图包括消防员个数，且图中区分消防员和非消防员。

识别消防员的结果图会显示消防员数量，且与其他路人和工作人员区分开。

步骤S4具体包括：

对步骤S3得到的识别消防员的结果图做最大池化，输入到扩展高效长期注意力网络，输出特征4，重复2次，得到特征5和特征6；

特征4为80*80*128，特征5为20*20*512，特征6为40*40*256。

对识别消防员的结果图再次识别，能针对消防员的范围进行头盔检，最终识别出现场消防员数量，以及佩戴头盔的消防员数量，即有效的识别是否佩戴头盔，又减少了做全图识别带来的性能损耗，减小安全隐患。

对特征4、特征5和特征6采用可学习的fpn思想，实现三个特征自顶向下的融合，输出对应三个不同感受野的特征，从而得到识别消防员及其头盔佩戴状态的结果图。

识别消防员及其头盔佩戴状态的结果图包括消防员个数和其中佩戴消防头盔人数。

实施例二

监管人员接收到任务后，开始识别任务，通过图像识别仪器识别任务地点的图片，对图片先做长尾识别处理，提高消防员特征权重比，然后对图片做重采集，然后输入四层卷积层进行特征提取，得到特征图。

对该特征图先做最大池化处理后，输入扩展高效长期注意力网络进行计算，结果分别取三个不同的特征；然后采用可学习的fpn思想，形成卷积金字塔,通过卷积、上/下采样、最大池化、拼接等步骤，实现三个特征自顶向下的融合后，最终输出三个不同感受野的特征。

具体表现在图片上，会将消防员或者行人标注为两种类别，且还会显示识别效果参数，识别效果参数大于零小于一，识别效果参数越大，说明识别结果越有把握。

根据识别的结果，监管人员会提醒消防员佩戴消防头盔，以免发生安全事故。

实施例三

消防员进入灾害现场进行消防救援以及日常训练等场景下，作为对现场消防员的安全保障手段之一，需要对消防员是否佩戴头盔进行检测，当检测到消防员未佩戴头盔，指挥中心通过对讲系统提醒该消防员，并将对应图像和检测作为事后考核依据。具体实现方法如下：

首先，通过接口接入现场视频，一般采用RTMP方式直接从现场监控设备获取实时视频流；对视频流进行解码，形成帧图像；

其次，对图像进行一次识别，包括重采样以及特征提取等处理方式，识别出消防员区域，对识别出来的区域进行抠图，识别是否全身/上半身像；

然后，进行二次识别，在一次识宝的基础上，对消防员区域再次进行识别，识别是否佩戴头盔；

最后，将数据和图片结果发送到指挥中心，指挥中心判断未佩戴头盔的情况，结合视频流关联的现场监控设备的地址，结合指挥信息、图像信息，判断出消防员后发送提醒命令，并记录到后台。

以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种识别消防员及头盔佩戴状态的方法，其特征在于，包括以下步骤，

S1，从数据库中提取图片，对其重采样原始图片，输入四层卷积层进行特征提取，输出特征图；

S2，对输入做最大池化后，将特征图输入到扩展高效长期注意力网络，输出特征1，重复上述步骤2次，得到特征2和特征3；

S3，采用可学习的fpn思想，实现三个特征自顶向下的融合，输出三个不同感受野的特征，得到识别消防员的结果图；

S4，对识别消防员的结果图重复步骤S2-S3，得到识别消防员及其头盔佩戴状态的结果图。

2.如权利要求1所述的一种识别消防员及头盔佩戴状态的方法，其特征在于，所述步骤S1具体包括：

对输入的图片重采样原始图片为640*640，输入四层卷积层进行特征提取，每层融合了卷积算子、归一化方法和激活函数，每层采用不同卷积核，输出160*160*128的特征图。

3.如权利要求2所述的一种识别消防员及头盔佩戴状态的方法，其特征在于，所述步骤S2具体包括：

特征1为80*80*128，特征2为20*20*512，特征3为40*40*256；

扩展高效长期注意力网络，自上而下由四层卷积层组成，第二卷积层和第三卷积层之间还存在三层卷积层。

4.如权利要求3所述的一种识别消防员及头盔佩戴状态的方法，其特征在于，所述步骤S3具体包括：

可学习的fpn：

在特征融合之前，对不同尺度特征进行一致监督；

在特征融合时，通过残差特征增强提取比率不变的上下文信息；

在特征融合之后，对特征进行软RoI选择。

5.如权利要求4所述的一种识别消防员及头盔佩戴状态的方法，其特征在于，所述步骤S3还包括：

自顶向下的融合包括卷积上/下采样、最大池化以及拼接；

识别消防员的结果图包括消防员个数，且图中区分消防员和非消防员。

6.如权利要求5所述的一种识别消防员及头盔佩戴状态的方法，其特征在于，所述步骤S4具体包括：

对步骤S3得到的识别消防员的结果图做最大池化，输入到扩展高效长期注意力网络，输出特征4，重复2次，得到特征5和特征6；

特征4为80*80*128，特征5为20*20*512，特征6为40*40*256。

7.如权利要求6所述的一种识别消防员及头盔佩戴状态的方法，其特征在于，所述步骤S4还包括：

对特征4、特征5和特征6采用可学习的fpn思想，实现三个特征自顶向下的融合，输出对应三个不同感受野的特征，从而得到识别消防员及其头盔佩戴状态的结果图。

8.如权利要求7所述的一种识别消防员及头盔佩戴状态的方法，其特征在于，所述步骤S4还包括：

识别消防员及其头盔佩戴状态的结果图包括消防员个数和其中佩戴消防头盔人数。

9.如权利要求1所述的一种识别消防员及头盔佩戴状态的方法，其特征在于，所述步骤S1具体包括：

设计二分类的交叉熵作为损失函数，对图片重采集之前使用损失函数对图片做长尾识别，损失函数如下：

其中，P为真实值，

为输出值。

Images