CN117278696B - 一种建造现场实时个人防护装备违规视频剪辑方法 - Google Patents

Abstract

本发明涉及工程建造技术领域，提供一种建造现场实时个人防护装备违规视频剪辑方法，包括：S1：从建造现场监控设备中获取实时传输的视频流；S2：训练建造现场个人防护装备检测模型；S3：设置不同角色在不同监控设备所处位置的个人防护装备穿戴规则，并判断个人防护装备是否违规；S4：将其中违规的视频片段剪辑出来。本发明能够较佳地进行个人防护装备违规视频剪辑；能够通过安全帽的颜色来区分不同角色，然后根据角色及所处位置来定义不同的个人防护装备穿戴规则；能够提高建造现场个人防护装备违规穿戴的检测精度和效率。

Description

一种建造现场实时个人防护装备违规视频剪辑方法

技术领域

本发明涉及工程建造技术领域，具体地说，涉及一种建造现场实时个人防护装备违规视频剪辑方法。

背景技术

建造现场人工检测个人防护装备违规成本高昂、耗时且容易出错。虽然，建造现场安装的大量监控摄像头可以记录工人的穿戴个人防护装备，并且可以通过监控视频来进行安全检查。但是，从大量视频中识别工人违规信息既耗时又费力。因为，安全管理人员难以不休息的同时查看多段视频。同时，建造现场监控视频中包含大量的无效视频片段，长时间看视频画面很容易让人产生疲劳。目前有一些研究使用计算机视觉的方法来检测工人是否合规穿戴个人防护装备。例如，有学者基于YOLOv3目标检测算法检测工人安全帽和安全背心使用的合规性。有学者提出一种适用于嵌入式平台近实时的个人防护装备检测框架，该框架结合了目标检测和模糊过滤。有学者通过在个人防护装备识别类别中增加未穿戴个人防护装备的部位来判断工人是否违规个人防护装备，例如通过检查手来判断是否穿戴防护手套。但是，这些方法仍然存在很多不足以至于难以在实际的建造现场中使用。

现有技术在判别建造现场个人防护装备违规穿戴检测上存在以下三点不足：

一是，这些技术缺乏灵活性。虽然能检测图像中从业人员穿戴了什么个人防护装备或没有穿戴什么个人防护装备，但是忽略了建造现场不同角色穿戴个人防护装备的差异。例如，在建造现场工作区域，管理人员可以不用佩戴防护手套。同时，也没有考虑由于从业人员所处位置穿戴个人防护装备的差异；

二是，这些研究没有考虑目标检测算法检测能力的限制。由于建造现场识别距离较远使得个人防护装备检测不出来或错误的检测导致的错误判断。例如：Zhafran 等使用Faster RCNN在不同的距离检测个人防护装备的实验结果表明，在五米处时的检测精度出现急剧的下降；

三是，现有的这些技术缺乏对建造现场监控视频的处理。以往的研究仅识别单张图像而没有考虑建造现场视频中帧与帧之间的连续关系。并且，没有进一步将违规视频片段剪辑出来，便于建造安全管理人员检查和统计。

发明内容

本发明的内容是提供一种建造现场实时个人防护装备违规视频剪辑方法，其能够较佳地进行个人防护装备违规视频剪辑。

根据本发明的一种建造现场实时个人防护装备违规视频剪辑方法，其包括以下步骤：

S1：从建造现场监控设备中获取实时传输的视频流S；

S2：首先，训练建造现场个人防护装备检测模型；然后，将视频流S中的每一帧按照先后顺序依次作为检测模型的输入数据，获得个人防护装备检测结果；

S3：设置不同角色在不同监控设备所处位置的个人防护装备穿戴规则，并判断个人防护装备是否违规；

S4：将违规的视频片段剪辑出来。

作为优选，S2中，个人防护装备检测结果；，其中，c _i 表示检测的类别，b _i 表示对应的目标边界框的坐标，N表示检测目标边界框的数量。

作为优选，S2中，使用如下步骤训练建造现场个人防护装备检测模型：

S21：收集建造现场个人防护装备图像，并对图像进行标注；最终获得用于模型训练的建造现场个人防护装备数据集；

S22：基于准备的数据集，使用目标检测算法训练个人防护装备检测模型；最后，训练过程中检测精度最高的模型作为最终建造现场实时使用的检测模型。

作为优选，S21中，标注的类别至少包括以下13种类别，具体为：白色安全头盔、蓝色安全头盔、红色安全头盔、黄色安全头盔、背心、护目镜、头、人、无手套、手套、鞋、无鞋、面罩。

作为优选，S3中，具体为：首先，建造现场安全管理人员根据不同颜色的安全帽和监控设备所处位置设置对应需要穿戴的个人防护装备，并以此作为个人防护装备违规判断算法判断规则，其中，C _j 为对应的监控设备ID，r _j 为对应的个人防护装备穿戴规则，M为建造现场监控设备的数量；然后将个人防护装备实时检测结果和对应监控设备ID作为个人防护装备违规判断算法的输入数据，从而获取当前的视频帧中是否存在违规及对应的个人防护装备违规类别。

作为优选，S3中，使用如下步骤判断视频帧中是否存在违规：

S31：初始化三个空集合V、P、R；V表示个人防护装备违规类型，P表示人类别对应矩形框，R表示需要佩戴的个人防护装备；

S32：获取所有的人类别对应矩形框并存储到集合P中；

S33：通过遍历人类别对应矩形框内是否含有不同颜色的安全帽类矩形框和摄像设备ID号d来确定当前工人的个人防护装备的穿戴规则；如果人类别对应矩形框内包含头类别的矩形框，则该工人没有佩戴安全帽，并添加到违规类别V中；最后，人类别对应矩形框内相交或者包含的个人防护装备类别保存在临时集合S中；其中，两个矩形框相交或者包含通过交并比IOU计算两个框之间相交或包含的关系，IOU计算公式如下所示：

；

其中，表示a, b两个矩形框相交的面积，/>表示a,b 两个矩形框的并集，当a, b 两个矩形框存在相交或包含关系时，此时的；

S34：通过确定个人防护装备穿戴规则R寻找集合S内是否存在对应个人防护装备类，如果不存在则将个人防护装备类违规添加到违规集合V内；当个人防护装备穿戴规则中R中含有鞋或者手套时，此时个人防护装备检测规则为判断是否存在无鞋或者无手套类，当存在则将对应的个人防护装备违规添加到违规集合V内。

作为优选，S4中，具体为：

基于视频每一帧的个人防护装备违规检测结果，得到个人防护装备违规的序列V _l ~V _m ；两个相邻违规帧之间的时间间距定义为VFT；当两个相邻违规帧的VFT大于设定的阈值t时，此时两个违规帧之间的视频片段是无违规片段L _R ；当两个相邻违规视频帧的VFT小于t时，则为疑似违规视频帧序列L _P ；然后，将所有连续的疑似违规视频帧序列L _P 拼接在一起，得到一个疑似违规视频片段L _V ；最后，如果L _V 内的违规帧数大于一个阈值，则这个可疑违规视频片段为违规视频片段Ls；最后将违规视频片段Ls连同对应违规类别V一同存储在违规视频库中，并发送给建造安全管理者。

本发明在实际建造现场使用将产生如下有益效果：

（1）能够通过安全帽的颜色来区分不同角色，然后根据角色来定义不同的个人防护装备穿戴规则，这更加符合建造管理要求，因此能灵活运用在不同的建造项目中。

（2）减少了由于目标检测模型检测精度不佳或错误检测导致对个人防护装备违规的错误判断，提高了建造现场个人防护装备违规穿戴的检测精度和效率。

（3）通过对建造现场监控视频进行个人防护装备违规视频片段剪辑，能提高建造安全管理者的管理效率和建造现场监控视频的利用价值，并减少安全管理人员的负担。同时，可以通过实时收集的建造现场个人防护装备违规数据进一步用来对建造现场进行安全风险评估，进而辅助建造安全管理决策。此外，通过对建造现场实时的个人防护装备违规检测可以提高现场工人的安全氛围。

附图说明

图1为实施例中一种建造现场实时个人防护装备违规视频剪辑方法的示意图；

图2为实施例中IOU示意图；

图3为实施例TIoU计算的示意图。

实施方式

为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。应当理解的是，实施例仅仅是对本发明进行解释而并非限定。

实施例：如图1所示，本实施例提供了一种建造现场实时个人防护装备违规视频剪辑方法，其包括以下步骤：

S1：从建造现场监控设备中获取实时传输的视频流S；

S2：首先，训练建造现场个人防护装备检测模型；然后，将视频流S中的每一帧按照先后顺序依次作为检测模型的输入数据，获得个人防护装备检测结果，其中，c _i 表示检测的类别，b _i 表示对应的目标边界框的坐标，N表示检测目标边界框的数量；

S2中，使用如下步骤训练建造现场个人防护装备检测模型：

S21：收集建造现场个人防护装备图像，并对图像进行标注；其中标注的类别至少要包含13种类别，具体为：安全头盔(白色、蓝色、红色、黄色)、背心、护目镜、头、人、无手套、手套、鞋、无鞋、面罩；最终获得用于模型训练的建造现场个人防护装备数据集；

S22：基于准备的数据集，使用目标检测算法（如YOLO、SSD等）训练个人防护装备检测模型；最后，训练过程中识别精度最高的模型作为最终建造现场实时使用的检测模型。

S3：首先，建造现场安全管理人员根据不同颜色的安全帽和监控设备所处位置设置对应需要穿戴的个人防护装备，并以此作为个人防护装备违规判断算法判断规则，其中，C _j 为对应的监控设备ID，r _j 为对应的个人防护装备穿戴规则，M为建造现场监控设备的数量；然后将个人防护装备实时检测结果和对应监控设备ID作为个人防护装备违规判断算法的输入数据，从而获取当前的视频帧中是否存在违规及对应的个人防护装备违规类别；

S3中，使用如下步骤判断视频帧中是否存在违规：

S31：伪代码的第1行初始化三个空集合V（个人防护装备违规类型）、P（“人”类别对应矩形框）、R（需要佩戴的个人防护装备）；

S32：伪代码的第2行到第5行获取所有的“人”类别对应矩形框并存储到集合P中；

S33：伪代码的第9行到17行通过遍历“人”类别对应矩形框内是否含有不同颜色的安全帽类矩形框和摄像设备ID号d来确定当前工人的个人防护装备的穿戴规则。如果“人”类别对应矩形框内包含“头”类别的矩形框，则该工人没有佩戴安全帽，并添加到违规类别V中。最后，“人”类别对应矩形框内相交或者包含的个人防护装备类别保存在临时集合S中（除了头盔及“头”类别）。其中，两个矩形框相交或者包含通过IOU计算两个框之间相交或包含的关系，IOU计算公式如下所示：

IOU计算公式如下所示：

（1）；

其中，a, b如示例图2中的(a)部分所示。表示a, b两个矩形框相交的面积，如图2中的(b)部分中所示。/>表示a, b 两个矩形框的并集，图2中的(c)部分所示。当a, b 两个矩形框存在相交或包含关系时，此时的/>；

S34：伪代码的第19行到23行通过确定个人防护装备穿戴规则R寻找集合S内是否存在对应个人防护装备类，如果不存在则将个人防护装备类违规添加到违规集合V内。值得说明的是，当个人防护装备穿戴规则中R中含有“鞋”或者“手套”时，此时个人防护装备检测规则为判断是否存在“无鞋”或者“无手套”类，当存在则将对应的个人防护装备违规添加到违规集合V内。

具体算法的伪代码如下：

；

；

S4：基于视频每一帧的个人防护装备违规检测结果，得到个人防护装备违规的序列V _l ~V _m ；两个相邻违规帧之间的时间间距定义为VFT；当两个相邻违规帧的VFT大于设定的阈值t时，此时两个违规帧之间的视频片段是无违规片段L _R (V _n ~V _m )；当两个相邻违规视频帧的VFT小于t时，则为疑似违规视频帧序列L _P ；然后，将所有连续的疑似违规视频帧序列L _P 拼接在一起，得到一个疑似违规视频片段L _V (V _l ~V _n )。最后，如果L _V 内的违规帧数大于一个阈值，则这个可疑违规视频片段为违规视频片段Ls；最后将违规视频片段Ls连同对应违规类别V一同存储在违规视频库中，并发送给建造安全管理者。因此，建造现场安全管理者可以基于违规视频片段统计数据快速确定当前建造现场个人防护装备穿戴使用状况，从而制定后续的安全管理措施。

下面为具体实施案例：

一、案例实施细节

准备用于训练个人防护装备检测模型的数据集。首先，通过获取现有公开建造现场个人防护装备数据集中的图像和真实建造现场拍摄的工人穿戴个人防护装备的图像。然后，使用目标检测图像标注工具Labelimg对收集的图片进行标注，标注共计13种类别，分别是：安全头盔(白色、蓝色、红色、黄色)、背心、护目镜、头、人、无手套、手套、鞋、无鞋。最终，获得2612个标注的图像数据集，并按照8:1:1的比例划分训练集、验证集和测试集。然后，基于单阶段的目标检测模型YOLOv5训练建造现场个人防护装备检测模型。使用训练精度最高的目标检测模型，进一步用于本案例中检测建造现场实时监控视频每一帧图像中的个人防护装备。

选取了一个真实的建造项目用于验证本实施例的技术路线。该建造项目属于住宅建筑类型，本实施例中分别选取了建造现场三个不同位置（A、B、C）的监控设备拍摄的现场监控视频。位置A位于工人生活区入口，位置B位于建造通道入口处，位置C位于正在建造的住宅楼楼栋出入口处。选择位置A的原因是，生活区工人穿戴个人防护装备会不受限制，因此有更多的个人防护装备穿戴违规片段，可以更好检测算法的性能。例如，生活区可以出现的不佩戴安全帽的情况。每个位置实时检测的监控视频时长大约为30分钟，视频大小为1920×1080，30帧每秒。同样，通过与建造现场安全管理人员的讨论，确定了不同位置下安全帽颜色检测的个人防护装备类别，据此作为算法规则设定来判断建造现场人员是否违规。在本实施例中的三个位置的监控设备ID对应的个人防护装备穿戴规则为：佩戴白色、蓝色和红色安全帽的人员需要穿戴劳保鞋和安全背心；佩戴黄色安全帽的人员需要佩戴安全背心、劳保鞋、防护手套。基于上述定义的规则判断个人防护装备是否违规。

在个人防护装备违规穿戴视频剪辑阶段，VFT值取2s，违规帧数量阈值取20。使用一台 NVIDIA GeForceRTX 3090(6GB显存)的笔记本电脑进行实时的视频流检测并输出违规视频剪辑片段和对应的违规类型。

二、一些评价指标

一些评价指标用于综合性的评价上述案例中使用本发明的提出方法的有效性，分别是精度、召回率、F1值、平均精度和平均精度均值。精度表示精确率衡量模型在预测为正样本的样本中的正确率，如公式(2)所示。召回率衡量模型正确检测出的正样本占所有正样本的比例，如公式(3)所示。其中，TP、TN、FP和FN分别表示真阳性，真阴性，假阳性，假阴性。F1为精度和召回率的综合，能反映模型查得又准又全的能力，如公式(4)。

（2）；

（3）;

（4）；

其中，正确的个人防护装备违规片段通过TIoU来决定，如公式(5)所示。如图3所示，A表示人工标注正确的个人防护装备违规片段，B表示本研究提出算法剪辑出的视频片段。当TIoU大于0.5时，并且A对应的违规类型与B对应的违规类型相同时，则违规片段为正确片段。

（5）

三、结果

剪辑出的违规视频的右上角实时显示对应的违规类型，并将违规视频片段起始信息、违规等信息记录在Excel文件当中。从违规视频片段中截取的目标检测效果结果可知，目标检测算法能精准的识别出建造现场工人的穿戴的个人防护装备。特别是劳保鞋和手套等小物体也能精准的检测出来。并能根据设置的个人防护装备穿戴规则判断当前图片中是否含有违规类型。检测出的主要违规类型为没有穿戴安全帽、安全背心和手套。

表1建筑工地不同位置违反个人防护装备的视频剪辑效果表

；

表1展示了建造现场三个不同的位置的违规视频片段剪辑效果。从表中可以看到，三个位置的视频剪辑平均精度达到92.56%、平均召回率达到94.69%。并且，三个位置的F1都高于90%，且平均值达到93.53%。其中位置B的F1最高，达到97.67%。目标检测时的FPS可以达到60左右。也就是说，一秒可以识别60个视频帧。输出的个人防护装备违规穿戴结果数据可以进一步作为建造现场安全管理人员的安全教育措施制定的依据。

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (5)

1.一种建造现场实时个人防护装备违规视频剪辑方法，其特征在于：包括以下步骤：

S1：从建造现场监控设备中获取实时传输的视频流S；

S2：首先，训练建造现场个人防护装备检测模型；然后，将视频流S中的每一帧按照先后顺序依次作为检测模型的输入数据，获得个人防护装备检测结果；

S3：设置不同角色在不同监控设备所处位置的个人防护装备穿戴规则，并判断个人防护装备是否违规；

S3中，具体为：首先，建造现场安全管理人员根据不同颜色的安全帽和监控设备所处位置设置对应需要穿戴的个人防护装备，并以此作为个人防护装备违规判断算法判断规则，其中，C _j 为对应的监控设备ID，r _j 为对应的个人防护装备穿戴规则，M为建造现场监控设备的数量；然后将个人防护装备实时检测结果和对应监控设备ID作为个人防护装备违规判断算法的输入数据，从而获取当前的视频帧中是否存在违规及对应的个人防护装备违规类别；

S3中，使用如下步骤判断视频帧中是否存在违规：

S31：初始化三个空集合V、P、R；V表示个人防护装备违规类型，P表示人类别对应矩形框，R表示需要佩戴的个人防护装备；

S32：获取所有的人类别对应矩形框并存储到集合P中；

S33：通过遍历人类别对应矩形框内是否含有不同颜色的安全帽类矩形框和摄像设备ID号d来确定当前工人的个人防护装备的穿戴规则；如果人类别对应矩形框内包含头类别的矩形框，则该工人没有佩戴安全帽，并添加到违规类别V中；最后，人类别对应矩形框内相交或者包含的个人防护装备类别保存在临时集合S中；其中，两个矩形框相交或者包含通过交并比IOU计算两个框之间相交或包含的关系，IOU计算公式如下所示：

；

其中，表示a, b两个矩形框相交的面积，/>表示a, b 两个矩形框的并集，当a, b 两个矩形框存在相交或包含关系时，此时的/>；

S34：通过确定个人防护装备穿戴规则R寻找集合S内是否存在对应个人防护装备类，如果不存在则将个人防护装备类违规添加到违规集合V内；当个人防护装备穿戴规则中R中含有鞋或者手套时，此时个人防护装备检测规则为判断是否存在无鞋或者无手套类，当存在则将对应的个人防护装备违规添加到违规集合V内；

S4：将违规的视频片段剪辑出来。

2.根据权利要求1所述的一种建造现场实时个人防护装备违规视频剪辑方法，其特征在于：S2中，个人防护装备检测结果，其中，c _i 表示检测的类别，b _i 表示对应的目标边界框的坐标，N表示检测目标边界框的数量。

3.根据权利要求2所述的一种建造现场实时个人防护装备违规视频剪辑方法，其特征在于：S2中，使用如下步骤训练建造现场个人防护装备检测模型：

S21：收集建造现场个人防护装备图像，并对图像进行标注；最终获得用于模型训练的建造现场个人防护装备数据集；

S22：基于准备的数据集，使用目标检测算法训练个人防护装备检测模型；最后，训练过程中检测精度最高的模型作为最终建造现场实时使用的检测模型。

4.根据权利要求3所述的一种建造现场实时个人防护装备违规视频剪辑方法，其特征在于：S21中，标注的类别至少包括以下13种类别，具体为：白色安全头盔、蓝色安全头盔、红色安全头盔、黄色安全头盔、背心、护目镜、头、人、无手套、手套、鞋、无鞋、面罩。

5.根据权利要求4所述的一种建造现场实时个人防护装备违规视频剪辑方法，其特征在于：S4中，具体为：

基于视频每一帧的个人防护装备违规检测结果，得到个人防护装备违规的序列V _l ~V _m ；两个相邻违规帧之间的时间间距定义为VFT；当两个相邻违规帧的VFT大于设定的阈值t时，此时两个违规帧之间的视频片段是无违规片段L _R ；当两个相邻违规视频帧的VFT小于t时，则为疑似违规视频帧序列L _P ；然后，将所有连续的疑似违规视频帧序列L _P 拼接在一起，得到一个疑似违规视频片段L _V ；最后，如果L _V 内的违规帧数大于一个阈值，则这个可疑违规视频片段为违规视频片段Ls；最后将违规视频片段Ls连同对应违规类别V一同存储在违规视频库中，并发送给建造安全管理者。