CN117253191A - 一种基于detr模型的安全帽佩戴检测方法 - Google Patents

Abstract

本发明提出一种基于DETR模型的安全帽佩戴检测方法，属于图像识别和深度学习的技术领域。包括以下步骤：采集安全帽数据集；采用Mosaic数据增强等方法对数据集里的图片进行预处理；采用ResNet‑50作为骨干网络对预处理后的图片进行特征提取，选取不同层的图片特征图输入Transformer模型；采用特征金字塔网络对图片进行特征融合，输出融合特征图；Transformer模型中的解码器对融合特征图进行解码处理，获得优化安全帽检测模型；通过使用采集的数据集对优化安全帽检测DETR模型进行训练，获取最终安全帽检测模型；根据获得的最终安全帽检测模型进行安全帽检测。

Description

一种基于DETR模型的安全帽佩戴检测方法

技术领域

本发明涉及施工环境安全工业领域和深度学习领域，具体涉及到一种基于DETR模型的安全帽佩戴检测方法。

背景技术

针对石化、煤炭、电力、建筑等特殊行业，在我国这些部门的职业安全事故发生率较高，因此安全生产是企业生存和发展的第一要素。根据我国的相关要求，进入施工现场必须佩戴安全帽，而且各行业的作业规范也对此做了严格的规定。但是，如果在进入工地时不戴安全帽，就可能会被施工地物品砸伤，这种情况时有发生，一旦发生事故可能会造成不可挽回的损失。

一般的目标检测方法仅需在图片上判断是否存在检测目标，并获得目标数量，标记目标位置。对于安全帽佩戴检测算法，由于施工现场环境复杂，在此基础上还要求针对动态视频实时识别、深度优化，达到较高的识别跟踪精度；对光线、阴天等不同环境适应性强，且不受人员眼镜、胡须、发型、表情等遮挡影响；也不受到人员正面、背面、侧面、跑动、低头等不同姿态影响。DETR是英文DEtectionTransformer缩写，与传统目标检测方法相比，DETR兼具高效性、灵活性和更强的鲁棒性，但如简单地将DETR移植应用于安全帽识别领域，会因参数量大，训练时间长，导致收敛速度慢的问题难以解决，训练过程中还会出现网络退化和梯度消失的问题。

发明内容

为解决当前技术存在的缺点和不足问题，本发明提出了一种基于DETR模型的安全帽佩戴检测方法，以高效便捷的为电网施工安全方面提供技术帮助以保障工人的安全及电网系统的稳定。

本发明采用的技术方案如下：

一种基于DETR模型的安全帽佩戴检测方法，包括以下步骤：

S1：采集安全帽数据图像，使用软件进行标注，获取安全帽数据集，对数据集进行预处理；

S2：构建安全帽佩戴检测DETR模型，将处理后的数据集导入检测模型进行训练，得到优化后的安全帽佩戴检测DETR模型；

S3：设置图像采集设备，捕获现场图像数据，通过安全帽佩戴检测DETR模型进行安全帽检测，判断来往人员是否佩戴安全帽。

进一步地，步骤S1的获取安全帽数据集具体为，通过图像采集设备与网络收集采集不同参数条件下的人员的头部图像，并使用软件进行标注，获取安全帽数据集，对安全帽数据集图像集进行预处理，去除无效样本图像，然后将数据集划分为训练集和验证集。

进一步地，步骤S2的数据预处理流程包括：数据增强、提取图片特征、特征融合。

其中，数据增强具体为：采用缩放、平移、旋转、色彩变换以及加入噪声等操作，同时，还使用了Mosaic数据增强方法。

其中，提取图片特征具体为：采用ResNet-50作为骨干网络对预处理后的图片进行特征提取，得到图片特征图，选取不同层的图片特征图输入至Transformer模型。

其中，选取不同层的图片特征图输入至Transformer模型的步骤具体为：选取第3、4和5层的图片特征图输入至Transformer模型。

进一步地，特征融合具体包括：采用特征金字塔网络(Feature Pyramid Network，FPN)将Transformer模型编码器输出的不同层的特征图融合，并将融合后的特征图输入Transformer模型的解码器进行处理。

其中，所述解码器中的每个解码层具有相同的结构，包含一个多头自注意力机制、一个多头交叉注意力机制、一个前馈网络以及层归一化操作；将编码器输出的特征和N个需要训练的对象检测参数计算后输出N个独立的特征张量，使用前馈神经网络(Feed ForwardNetworks,FNN)模块对N个输出进行解码作为最终结果，FFN的输入是解码器解码后的输出，输出为类别预测和损失函数。

进一步地，S2构建的安全帽佩戴检测DETR模型，其训练方法包括：使用处理好的安全帽数据集中的训练集对安全帽检测模型进行训练，利用损失函数进行模型优化，以获得优化安全帽检测模型。

其中，模型优化算法包括：

通过二分最大匹配算法在预测对象和真实值对象之间产生了最优的二分匹配，然后优化对象特定的损失，其公式(1)如下：

其中，是真值y_i与预测序列/>之间的二值匹配损失，S_N表示N个元素的排列，N表示固定大小的预测集，在当前数据集中，人工标记的区域为真值集；二值匹配通过使用匈牙利算法有效地计算得到，公式(2)如下：

其中是公式(1)中计算的最优分配，box损失函数结合了L1损失函数和GLOU损失函数，公式(3)如下：

其中L_box()是对边界框进行评分，为超参数，这两个损失是根据批处理中目标的数量规范化的。

本发明的有益效果：

(1)本发明通过多种渠道获取施工环境安全领域的安全帽数据集，采用缩放、平移、旋转、色彩变换等方法对数据进行预处理，利用安全帽数据训练构建的安全帽检测模型，为电网施工领域提供安全保障。

(2)本发明利用ResNet-50模型作为骨干网络提取图片特征，利用特征金字塔网络对提取到不同尺度的特征进行融合，提高了网络的准确度并降低了计算复杂度，提高计算速度，通过直接获取模型并根据模型进行安全帽检测，实现了端到端的安全帽检测，无需人工先验知识，减少人工设置及超参数，降低人工设置带来的网络性能和检测效果的下降的可能性，提高检测网络的鲁棒性及可移植性。与原始DETR相比，加入特征金字塔网络将不同层级的特征图进行融合，可以捕捉到更丰富的目标特征，包括大小、形状、纹理等，从而提高了目标检测的精度。

(3)本发明以解决现有安全帽检测技术在电网施工安全领域的不足为出发点，通过研究和分析目前面对的问题，DETR模型在电力场景下进行了一些优化，包括实时性、精准性和多目标检测等，使其更适用于对电力人员的监测任务，提高了电力系统的可靠性和稳定性。

附图说明

图1是本发明方法流程原理图。

图2是本发明所提供的DETR模型图。

具体实施方式

下面介绍本发明的实施例，并对使用的技术方案进行清晰、完整的描述。需要指出的是，所描述的实施例仅作为本发明的部分实施例，而非全部实施例。基于本发明的实施例，该领域的技术人员可以在未进行创造性劳动的前提下，获得本发明所保护的所有其他实施例。

如图1所示，本发明的具体实施过程包括以下步骤：

S1：采集安全帽数据图像，使用软件进行标注，获取安全帽数据集，对数据集进行预处理；

S2：构建安全帽佩戴检测DETR模型，将处理后的数据集导入检测模型进行训练，得到优化后的安全帽佩戴检测DETR模型；

S3：设置图像采集设备，捕获现场图像数据，通过安全帽佩戴检测DETR模型进行安全帽检测，判断来往人员是否佩戴安全帽。

步骤S1得获取安全帽数据集具体为通过摄像头与网络收集并使用软件进行标注的方法获取安全帽数据集，对安全帽数据集图像集合进行预处理，去除无效样本图像，然后将数据集划分为训练集和验证集。

其中训练集数目：2000,验证集数目：200,测试集数目：200。训练集和测试集中的图片严格独立。

本实施例中，对数据进行预处理，其流程包括：数据增强、提取图片特征、特征融合。

其中，基于已经构建的安全帽数据集中的图像数据，采用了多种方法进行数据增强，包括缩放、平移、旋转、色彩变换以及加入噪声等操作。同时，还使用了Mosaic数据增强方法，其主要思想是将4张图片随机裁剪并缩放，然后随机排列拼接成一张图片。这样可以丰富数据集，增强小样本目标，提升网络训练速度，更适合识别施工现场这样的混乱环境。

本实施例中，对预处理图片进行提取特征，具体实现方式为：采用ResNet-50作为骨干网络对预处理后的图片进行特征提取，得到图片特征图，选取不同层的特征图作为Transformer模型的输入。根据ResNet-50神经网络模块对图像训练集的安全帽图像X_img∈R^3×H×W进行特征提取，生成激活特征图。本实例中输入图像X_img∈R^3×224×224在ResNet-50模型中经过了4个Block，每一个Block中分别有3，4，6，3个Bottleneck。X_img经过ResNet-50模型不同特征提取层输出图片特征。ResNet-50很大程度上解决了深度网络训练过程中的网络退化和梯度消失的问题。通过使用残差网络结构h(x)＝F(x)+x代替原本没有shortcut连接的h(x)＝x结构，更新冗余层的参数时学习F(x)＝0比h(x)＝x更加容易，而且shortcut连接的结构还保证了反向传播更新参数时几乎不会有梯度为0的现象，从而避免了梯度消失的问题。式中x为输入值，F(x)是经过一层线性变化并激活后的输出，h(x)是由几个堆叠层匹配的底层映射。其中图片特征图提取的步骤中选取不同层的图片特征图输入至Transformer模型的步骤具体为：选取第3、4和5层的图片特征图输入至Transformer模型。

本实施例中，对提取的图片特征进行融合，采用特征金字塔网络(FeaturePyramid Network，FPN)将Transformer模型编码器输出的不同层的特征图融合，并将融合后的特征图输入Transformer模型的解码器进行处理。特征金字塔网络能够对不同尺度的图像进行特征提取，产生多尺度的特征表示。它生成的特征图在各个级别上都包含丰富的语义信息，包括一些高分辨率的特征图。将ResNet-50网络的各层输出图片特征图的通道数通过FPN进行特种融合，为提高目标检测的精度，尤其是在小物体检测上的精度，FPN可提取多尺度的特征信息并进行融合。所述解码器和标准的Transformer的Decoder结构有些不同，解码器中的每个解码层具有相同的结构，包含一个多头自注意力机制、一个多头交叉注意力机制、一个前馈网络以及层归一化操作；将编码器输出的特征和N个需要训练的对象检测参数计算后输出N个独立的特征张量。使用前馈神经网络(Feed Forward Networks,FNN)模块对N个输出进行解码作为最终结果，FFN的输入是解码器解码后的输出，输出为类别预测和损失函数。

本实施例中，步骤S2构建的安全帽佩戴检测DETR模型，其训练方法包括：使用处理好的安全帽数据集中的训练集对安全帽检测模型进行训练，利用损失函数进行模型优化，以获得优化安全帽检测模型。

其中包括：通过二分最大匹配算法在预测对象和真实值对象之间产生了最优的二分匹配，然后优化对象特定的损失。公式(1)如下：

其中，是真值y_i与预测序列/>之间的二值匹配损失，S_N表示N个元素的排列，N表示固定大小的预测集，在当前数据集中，人工标记的区域为真值集；二值匹配通过使用匈牙利算法有效地计算得到，公式(2)如下：

其中是公式(1)中计算的最优分配，在实践中，当/>以考虑类不平衡时我们降低了对数概率项的权重。box损失函数结合了L1损失函数和GLOU损失函数，公式(3)如下：

其中L_box()是对边界框进行评分，为超参数，这两个损失是根据批处理中目标的数量规范化的。

使用测试集对安全帽检测模型进行评估，调整模型参数并重复训练，直到损失函数的值低于设定阈值，从而获得安全帽检测模型。

最后，通过在电网施工现场设置摄像头，获取实时施工环境下施工人员图像，通过安全帽检测模型进行检测，判断是否出现工人施工未佩戴安全帽情况：本实施例中，根据现场摄像头捕获实时电网施工现场图像，对其进行预处理；将预处理之后的实时图像输入至安全帽检测模型中，输出检测结果。若检测到施工人员违规行为则发出警告。最终实现电力施工的不安全行为检测，保障电网施工人员的安全工作。

上述部分所述仅代表本发明的最佳实施例，不应限制本发明。在符合本发明精神和原则的前提下，任何修改、等效替换、改进等都应包含在本发明的保护范围内。

Claims (10)

1.一种基于DETR模型的安全帽佩戴检测方法，其特征在于，包括以下步骤：

S1：采集安全帽数据图像，使用软件进行标注，获取安全帽数据集，对数据集进行预处理；

S2：构建安全帽佩戴检测DETR模型，将处理后的数据集导入检测模型进行训练，得到优化后的安全帽佩戴检测DETR模型；

S3：设置图像采集设备，捕获现场图像数据，通过安全帽佩戴检测DETR模型进行安全帽检测，判断来往人员是否佩戴安全帽。

2.如权利要求1所述的一种基于DETR模型的安全帽佩戴检测方法，其特征在于，所述步骤S1的获取安全帽数据集具体为，通过图像采集设备与网络收集采集不同参数条件下的人员的头部图像，并使用软件进行标注，获取安全帽数据集，对安全帽数据集图像集进行预处理，去除无效样本图像，然后将数据集划分为训练集和验证集。

3.如权利要求1所述的一种基于DETR模型的安全帽佩戴检测方法，其特征在于，所述步骤S1的数据预处理流程包括：数据增强、提取图片特征、特征融合。

4.如权利要求3所述的一种基于DETR模型的安全帽佩戴检测方法，其特征在于，所述数据增强具体包括：采用缩放、平移、旋转、色彩变换以及加入噪声等操作增强数据，同时，还使用了Mosaic数据增强方法。

5.如权利要求3所述的一种基于DETR模型的安全帽佩戴检测方法，其特征在于，所述提取图片特征具体为：采用ResNet-50作为骨干网络对预处理后的图片进行特征提取，得到图片特征图，选取不同层的图片特征图输入至Transformer模型。

6.如权利要求5所述的一种基于DETR模型的安全帽佩戴检测方法，其特征在于，所述选取不同层的图片特征图输入至Transformer模型的步骤具体为：选取第3、4和5层的图片特征图输入至Transformer模型。

7.如权利要求3所述的一种基于DETR模型的安全帽佩戴检测方法，其特征在于，所述特征融合具体包括：采用特征金字塔网络(Feature Pyramid Network，FPN)将Transformer模型编码器输出的不同层的特征图融合，并将融合后的特征图输入Transformer模型的解码器进行处理。

8.如权利要求7所述的一种基于DETR模型的安全帽佩戴检测方法，其特征在于，所述解码器中的每个解码层具有相同的结构，包含一个多头自注意力机制、一个多头交叉注意力机制、一个前馈网络以及层归一化操作；将编码器输出的特征和N个需要训练的对象检测参数计算后输出N个独立的特征张量，使用前馈神经网络(Feed Forward Networks,FNN)模块对N个输出进行解码作为最终结果，FFN的输入是解码器解码后的输出，输出为类别预测和损失函数。

9.如权利要求1所述的一种基于DETR模型的安全帽佩戴检测方法，其特征在于，所述步骤S2构建的安全帽佩戴检测DETR模型，其训练方法包括：使用处理好的安全帽数据集中的训练集对安全帽检测模型进行训练，利用损失函数进行模型优化，以获得优化安全帽检测模型。

10.如权利要求9所述的一种基于DETR模型的安全帽佩戴检测方法，其特征在于，所述模型优化算法包括：

通过二分最大匹配算法在预测对象和真实值对象之间产生了最优的二分匹配，然后优化对象特定的损失，其公式(1)如下：

其中，是真值y_i与预测序列/>之间的二值匹配损失，S_N表示N个元素的排列，N表示固定大小的预测集，在当前数据集中，人工标记的区域为真值集；二值匹配通过使用匈牙利算法有效地计算得到，公式(2)如下：

其中是公式(1)中计算的最优分配，box损失函数结合了L1损失函数和GLOU损失函数，公式(3)如下：

其中L_box()是对边界框进行评分，为超参数，这两个损失是根据批处理中目标的数量规范化的。