CN108647619A - 一种基于深度学习的视频中安全帽佩戴的检测方法及装置 - Google Patents

Abstract

本发明公开了一种基于深度学习的视频中安全帽佩戴的检测方法及装置，方法包括：从搜集的视频数据中取M张图片；将M张中的N张图片进行标注，对M张图片进行标注获取行人正样本数据、行人负样本数据、安全帽正样本数据、安全帽负样本数据；使用行人正样本数据和行人负样本数据训练行人检测网络，使用安全帽正样本数据和安全帽负样本数据训练安全帽检测网络；获取待检测图片，通过背景差分法获取待检测区域；将待检测区域输入到训练后的行人检测网络，判断待检测区域中是否存在行人；若是，执行将所述存在行人的待检测区域中的预设区域输入到训练后的安全帽检测网络中进行检测；若未检测到，发出警报。应用本发明实施例，可以提高检测效率。

Description

一种基于深度学习的视频中安全帽佩戴的检测方法及装置

技术领域

本发明涉及一种安全帽检测方法及器件，更具体涉及一种一种基于深度学习的视频中安全帽佩戴的检测方法及装置。

背景技术

安全帽是矿工、电工、建筑工人等工种在工作中要求佩戴的，能够有效的保护人员的安全，但是一系列因为未佩戴安全帽而引发的事故，给我们敲响了警钟，有些员工上岗时未佩戴安全帽本身就会增加安全隐患，还有少数人，喜欢将安全帽当凳子坐，稍不注意，就有可能“坐”出安全隐患或事故。为了减少此类情况的发生，很多工作环境都安装有监控摄像头，通过视频监控技术，及时了解员工安全帽佩戴情况，然而，目前监控视频监控主要是由工作人员不停地观看监控画面，通常一人要同时观看多组画面，视线需要不停的移动，在这种状态下长时间工作，容易导致监控人员精力下降，可能会错过一些危险情况，监控人员有时会因故暂时离开工作岗位，这就为安全埋下了隐患，监控也就失去了作用。

目前对员工是否正确佩戴安全帽的检测方法为：利用利用两帧图像灰度差值获得运动区域，对于获得的运动区域内使用团块检测方法获得候选区域；对于获得的候选区域通过可变形的组件模型系统检测，得到明确的目标头肩区域；对于得到的目标头肩区域，进行级联系统检测以获得目标头部区域，然后对于目标头部区域进行HSV颜色空间转换；对于得到的HSV颜色空间下的头部区域，用神经网络对于头部区域图像进行分类判断，确定目标是否佩戴安全帽，随后通过HSV颜色空间，判断安全帽颜色；输出头部区域以及安全帽佩戴检测结果。

但是，现有技术的在获取待检测区域后，还需要进行头肩区域的检测，然后再利用神经网络对HSV颜色空间的图片进行安全帽检测，整个检测过程步骤较多，导致计算量过大，进而导致检测效率不高。

发明内容

本发明所要解决的技术问题在于提供了一种基于深度学习的视频中安全帽佩戴的检测方法及装置，以解决现有技术中检测效率不高的缺点。

本发明是通过以下技术方案解决上述技术问题的：

本发明实施例提供了一种基于深度学习的视频中安全帽佩戴的检测方法，所述方法包括：

步骤1：从搜集的视频数据中抽取M张图片；

步骤2：将所述M张图片中的N张图片进行标注，将标注后的N张含有行人的图片作为行人正样本数据；将M-N张不含有行人的图片作为行人负样本数据；将标注后的所述N张图片中的带有安全帽的区域标注为安全帽正样本数据；将所述安全帽正样本数据中的各个安全帽遮盖，作为安全帽负样本数据；且M、N均为正整数；

步骤3：使用行人正样本数据和行人负样本数据训练行人检测网络，使用安全帽正样本数据和安全帽负样本数据训练安全帽检测网络；

步骤4：获取待检测图片，并通过背景差分法获取所述待检测图片中的待检测区域；

步骤5：将所述待检测区域输入到训练后的行人检测网络，判断所述待检测区域中是否存在行人；若是，执行步骤6；

步骤6：将所述存在行人的待检测区域中的预设区域输入到训练后的安全帽检测网络中进行检测，若检测到安全帽，通过HSV颜色空间判断安全帽的类型；若未检测到，发出警报。

可选的，所述步骤1具体包括：

对搜集的视频数据进行筛选，选择出分辨率大于第一预设阈值的视频文件；

从筛选出的视频文件中按照预设的时间间隔抽取预设数量个图片。

可选的，所述将所述M张图片中的N张含有行人的图片进行标注，将标注后的N张图片作为行人正样本数据，包括：

将所述M张图片中的N张含有行人的图片中的行人区域用矩形框选中，所述矩形框要略大于行人的轮廓；

将矩形框中的区域作为标注后的行人正样本数据。

可选的，所述将标注后的所述N张图片中的带有安全帽的区域标注为安全帽正样本数据，包括：

将行人戴安全帽时所对应矩形框的上部的二分之一区域作为标注后的安全帽正样本数据。

可选的，所述获取待检测图片，包括：

周期性的从监控视频中获取待检测图片。

可选的，所述通过背景差分法获取所述待检测图片中的待检测区域，包括：

通过背景差分法，检测出待检测图片中的运动物体的位置，并用矩形框框选所述运动物体，获得待检测区域，且所述背景差分法用到的背景为，当前时刻的前预设时段内的不含有行人的视频帧含有的像素。

可选的，所述将所述存在行人的待检测区域中的预设区域输入到训练后的安全帽检测网络中进行检测，包括：

将待检测区域的上部五分之二区域输入到训练后的安全帽检测网络中进行检测。

本发明实施例还提供了一种基于深度学习的视频中安全帽佩戴的检测装置，所述装置包括：

抽取模块，用于从搜集的视频数据中抽取M张图片；

设置模块，用于将所述M张图片中的N张图片进行标注，将标注后的N张含有行人的图片作为行人正样本数据；将M-N张图片作为行人负样本数据；将标注后的所述N张图片中的带有安全帽的区域标注为安全帽正样本数据；将所述安全帽正样本数据中的各个安全帽遮盖，作为安全帽负样本数据；且M、N均为正整数；

训练模块，用于使用行人正样本数据和行人负样本数据训练行人检测网络，使用安全帽正样本数据和安全帽负样本数据训练安全帽检测网络；

获取模块，用于获取待检测图片，并通过背景差分法获取所述待检测图片中的待检测区域；

判断模块，用于将所述待检测区域输入到训练后的行人检测网络，判断所述待检测区域中是否存在行人；若是，触发输入模块；

输入模块，用于将所述存在行人的待检测区域中的预设区域输入到训练后的安全帽检测网络中进行检测，若检测到安全帽，通过HSV颜色空间判断安全帽的类型；若未检测到，发出警报。

可选的，所述抽取模块，还用于：

对搜集的视频数据进行筛选，选择出分辨率大于第一预设阈值的视频文件；

从筛选出的视频文件中按照预设的时间间隔抽取预设数量个图片。

可选的，所述设置模块，还用于：

将所述M张图片中的N张含有行人的图片中的行人区域用矩形框选中，所述矩形框要略大于行人的轮廓；

将矩形框中的区域作为标注后的行人正样本数据。

本发明相比现有技术具有以下优点：

应用本发明实施例，在获取待检测区域后，利用神经网络模型进行安全帽检测，相对于现有技术中在获取待检测区域后，还需要进行头肩区域的检测，然后再利用神经网络对HSV颜色空间的图片进行安全帽检测，减少了头肩区域的检测和HSV颜色空间的转换过程，降低了检测过程中的计算量，进而提高了检测效率。

附图说明

图1为本发明实施例提供的一种基于深度学习的视频中安全帽佩戴的检测方法的流程示意图；

图2为本发明实施例提供的一种基于深度学习的视频中安全帽佩戴的检测方法的原理示意图；

图3为本发明实施例提供的一种行人正样本数据的标注结果示意图；

图4为本发明实施例提供的一种安全帽正样本数据的标注结果示意图；

图5为本发明实施例提供的一种安全帽负样本数据的标注结果示意图；

图6为本发明实施例提供的一种基于深度学习的视频中安全帽佩戴的检测装置的结构示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本发明实施例提供了一种基于深度学习的视频中安全帽佩戴的检测方法及装置，下面首先就本发明实施例提供的一种基于深度学习的视频中安全帽佩戴的检测方法进行介绍。

图1为本发明实施例提供的一种基于深度学习的视频中安全帽佩戴的检测方法的流程示意图，图2为本发明实施例提供的一种基于深度学习的视频中安全帽佩戴的检测方法的原理示意图；如图1和图2所示，所述方法包括：

S101：从搜集的视频数据中抽取M张图片。

具体的，可以对搜集的视频数据进行筛选，选择出分辨率大于第一预设阈值的视频文件；从筛选出的视频文件中按照预设的时间间隔抽取预设数量个图片。

示例性的，可以搜集不同工作场景的监控视频，挑选出其中分辨率大于640*480的视频共计50个视频。

视频中每50帧截取一帧保存，从截取的图片中，筛选出10000张人物特征和/或安全帽特征明显的图片。

在实际应用中，对于分辨率较大，例如分辨率大于640*480的图片，要进行缩放处理，使其处理后的大小保持在640*480左右，不改变处理前后图片的长宽比例。

S102：将所述M张图片中的N张图片进行标注，将标注后的N张含有行人的图片作为行人正样本数据；将M-N张不含有行人的图片作为行人负样本数据；将标注后的所述N张图片中的带有安全帽的区域标注为安全帽正样本数据；将所述安全帽正样本数据中的各个安全帽遮盖，作为安全帽负样本数据；且M、N均为正整数。

具体的，可以将所述M张图片中的N张含有行人的图片中的行人区域用矩形框选中，所述矩形框要略大于行人的轮廓；将矩形框中的区域作为标注后的行人正样本数据。

具体的，可以将行人戴安全帽时所对应矩形框的上部的二分之一区域作为标注后的安全帽正样本数据。

示例性的，将S101步骤中抽取的10000张图片中的有8000张含有人员的图片作为行人正样本数据，将其余的2000张没有人员的图片作为行人负样本数据。对于行人正样本数据，要用矩形框进行人工标注，即用矩形框框选人员所在区域，标注后的效果如图3所示，图3为本发明实施例提供的一种行人正样本数据的标注结果示意图，在图3中，301为矩形框，302为行人。

将8000张标注过行人的图片中被矩形框框选的区域的，上部一半区域作为安全帽正样本数据，并用矩形框将安全帽正样本数据中的安全帽标注出来，标注效果如图4所示，图4为本发明实施例提供的一种安全帽正样本数据的标注结果示意图，在图4中，401为矩形框；402为安全帽。

然后将8000张安全帽正样本数据中的安全帽区域，用图片中的背景进行遮盖，然后将遮盖后的图片的集合作为安全帽负样本数据，如图5所示，图5为本发明实施例提供的一种安全帽负样本数据的标注结果示意图，在图5中，501为用于遮盖安全帽区域的背景像素。

S103：使用行人正样本数据和行人负样本数据训练行人检测网络，使用安全帽正样本数据和安全帽负样本数据训练安全帽检测网络。

示例性的，将行人正样本数据和行人负样本数据作为样本输入到用于进行行人检测的深度学习网络，将迭代10000次后的深度学习网络作为行人检测网络。

将安全帽正样本数据和安全帽负样本数据作为样本输入到用于进行安全帽检测的深度学习网络，将迭代60000次后的深度学习网络作为安全帽检测网络。

需要说明的是，行人检测模型迭代次数少，目的是减少行人检测时间，只需获得行人的大概位置即可。

在实际应用中，可以使用如下的损失函数公式衡量行人检测网络和安全帽检测网络的训练结果：

其中，为训练的行人检测网络或者安全帽检测网络对应的损失结果；B为每次迭代输入样本的数量；x_i为样本；y_i为样本对应的样本标签，如含有行人、含有安全帽、含有被遮盖的安全帽；p为概率；i为样本的序号。

S104：获取待检测图片，并通过背景差分法获取所述待检测图片中的待检测区域，且所述背景差分法用到的背景为，当前时刻的前预设时段内的不含有行人的视频帧含有的像素。

具体的，可以周期性的从监控视频中获取待检测图片、

具体的，可以通过背景差分法，检测出待检测图片中的运动物体的位置，并用矩形框框选所述运动物体，获得待检测区域。

示例性的，从监控视频中周期性的抽取待检测图片，方法可以按照S101步骤中的方法进行。通过背景差分法，检测出待检测图片中存在的运动物体位置，用矩形框包围物体，得到待检测区域。在实际应用中，矩形框要大于运动物体区域，对于小于预设大小的运动物体区域，不需要用矩形框包围，进而避免非人型物体对检测的干扰，或者避免距离较远的人体被纳入识别，进而避免错误识别情况的发生。

另外，可以每隔10分钟将当前时刻的前10分钟内的没有行人的图片，作为当前时刻之后的10分钟内的背景图片，进而利用背景差分法检测出待检测图片中的运动物体的位置。

S105：将所述待检测区域输入到训练后的行人检测网络，判断所述待检测区域中是否存在行人；若是，执行步骤S106。

示例性的，将S104步骤中获取的待检测区域作为行人检测网络的输入，输出为判断视频帧中有没人。

若待检测区域中无人，则进行当前帧的下一帧的检测。在实际应用中，可以每隔20或者5帧作为当前帧的下一帧，以减少计算量，提高检测效率。若待检测区域中有人，将行人位置检测出，然后执行S106步骤。

S106：将所述存在行人的待检测区域中的预设区域输入到训练后的安全帽检测网络中进行检测，若检测到安全帽，通过HSV颜色空间判断安全帽的类型；若未检测到，发出警报。

具体的，可以将待检测区域的上部五分之二区域输入到训练后的安全帽检测网络中进行检测。

通常情况下，人是头向上站立的，因此直接按照预设比例获取图像的上部区域，然后将该五分之二区域作为输入，利用安全帽检测网络进行安全帽的检测，判断是否佩戴安全帽；若佩戴安全帽，则将安全帽检测出，并利用HSV颜色空间判断安全帽类型；若没有佩戴安全帽，则发出警报，提醒视频监控人员。

需要说明的是，安全帽的类型可以为根据安全帽的颜色区分的安全帽的类型，例如，白色安全帽为监理人员安全帽、橙色安全帽为一线操作人员安全帽、红色安全帽为访客安全帽。

应用本发明上述实施例，可以进一步减少计算量，进而降低安全帽检测时间，提高检测效率。

应用本发明图1所示实施例，在获取待检测区域后，利用神经网络模型进行安全帽检测，相对于现有技术中在获取待检测区域后，还需要进行头肩区域的检测，然后再利用神经网络对HSV颜色空间的图片进行安全帽检测，减少了头肩区域的检测和HSV颜色空间的转换过程，降低了检测过程中的计算量，进而提高了检测效率。

图6为本发明实施例提供的一种基于深度学习的视频中安全帽佩戴的检测装置的结构示意图，如图6所示，所述装置包括：

抽取模块601，用于从搜集的视频数据中抽取M张图片。

具体的，所述抽取模块601，还用于：对搜集的视频数据进行筛选，选择出分辨率大于第一预设阈值的视频文件；从筛选出的视频文件中按照预设的时间间隔抽取预设数量个图片。

设置模块602，用于将所述M张图片中的N张图片进行标注，将标注后的N张含有行人的图片作为行人正样本数据；将M-N张图片作为行人负样本数据；将标注后的所述N张图片中的带有安全帽的区域标注为安全帽正样本数据；将所述安全帽正样本数据中的各个安全帽遮盖，作为安全帽负样本数据；且M、N均为正整数。

具体的，所述设置模块，还用于：将所述M张图片中的N张含有行人的图片中的行人区域用矩形框选中，所述矩形框要略大于行人的轮廓；将矩形框中的区域作为标注后的行人正样本数据。

训练模块603，用于使用行人正样本数据和行人负样本数据训练行人检测网络，使用安全帽正样本数据和安全帽负样本数据训练安全帽检测网络；

获取模块604，用于获取待检测图片，并通过背景差分法获取所述待检测图片中的待检测区域；

判断模块605，用于将所述待检测区域输入到训练后的行人检测网络，判断所述待检测区域中是否存在行人；若是，触发输入模块606；

输入模块606，用于将所述存在行人的待检测区域中的预设区域输入到训练后的安全帽检测网络中进行检测，若检测到安全帽，通过HSV颜色空间判断安全帽的类型；若未检测到，发出警报。

应用本发明图6所示实施例，在获取待检测区域后，利用神经网络模型进行安全帽检测，相对于现有技术中在获取待检测区域后，还需要进行头肩区域的检测，然后再利用神经网络对HSV颜色空间的图片进行安全帽检测，减少了头肩区域的检测和HSV颜色空间的转换过程，降低了检测过程中的计算量，进而提高了检测效率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的视频中安全帽佩戴的检测方法，其特征在于，所述方法包括：

步骤1：从搜集的视频数据中抽取M张图片；

步骤2：将所述M张图片中的N张图片进行标注，将标注后的N张含有行人的图片作为行人正样本数据；将M-N张不含有行人的图片作为行人负样本数据；将标注后的所述N张图片中的带有安全帽的区域标注为安全帽正样本数据；将所述安全帽正样本数据中的各个安全帽遮盖，作为安全帽负样本数据；且M、N均为正整数；

步骤3：使用行人正样本数据和行人负样本数据训练行人检测网络，使用安全帽正样本数据和安全帽负样本数据训练安全帽检测网络；

步骤4：获取待检测图片，并通过背景差分法获取所述待检测图片中的待检测区域；

步骤5：将所述待检测区域输入到训练后的行人检测网络，判断所述待检测区域中是否存在行人；若是，执行步骤6；

步骤6：将所述存在行人的待检测区域中的预设区域输入到训练后的安全帽检测网络中进行检测，若检测到安全帽，通过HSV颜色空间判断安全帽的类型；若未检测到，发出警报。

2.根据权利要求1所述的一种基于深度学习的视频中安全帽佩戴的检测方法，其特征在于，所述步骤1具体包括：

对搜集的视频数据进行筛选，选择出分辨率大于第一预设阈值的视频文件；

从筛选出的视频文件中按照预设的时间间隔抽取预设数量个图片。

3.根据权利要求1所述的一种基于深度学习的视频中安全帽佩戴的检测方法，其特征在于，所述将所述M张图片中的N张含有行人的图片进行标注，将标注后的N张图片作为行人正样本数据，包括：

将所述M张图片中的N张含有行人的图片中的行人区域用矩形框选中，所述矩形框要略大于行人的轮廓；

将矩形框中的区域作为标注后的行人正样本数据。

4.根据权利要求3所述的一种基于深度学习的视频中安全帽佩戴的检测方法，其特征在于，将标注后的所述N张图片中的带有安全帽的区域标注为安全帽正样本数据，包括：

将行人戴安全帽时所对应矩形框的上部的二分之一区域作为标注后的安全帽正样本数据。

5.根据权利要求1所述的一种基于深度学习的视频中安全帽佩戴的检测方法，其特征在于，所述获取待检测图片，包括：

周期性的从监控视频中获取待检测图片。

6.根据权利要求1所述的一种基于深度学习的视频中安全帽佩戴的检测方法，其特征在于，所述通过背景差分法获取所述待检测图片中的待检测区域，包括：

通过背景差分法，检测出待检测图片中的运动物体的位置，并用矩形框框选所述运动物体，获得待检测区域，且所述背景差分法用到的背景为，当前时刻的前预设时段内的不含有行人的视频帧含有的像素。

7.根据权利要求1所述的一种基于深度学习的视频中安全帽佩戴的检测方法，其特征在于，所述将所述存在行人的待检测区域中的预设区域输入到训练后的安全帽检测网络中进行检测，包括：

将待检测区域的上部五分之二区域输入到训练后的安全帽检测网络中进行检测。

8.一种基于深度学习的视频中安全帽佩戴的检测装置，其特征在于，所述装置包括：

抽取模块，用于从搜集的视频数据中抽取M张图片；

设置模块，用于将所述M张图片中的N张图片进行标注，将标注后的N张含有行人的图片作为行人正样本数据；将M-N张图片作为行人负样本数据；将标注后的所述N张图片中的带有安全帽的区域标注为安全帽正样本数据；将所述安全帽正样本数据中的各个安全帽遮盖，作为安全帽负样本数据；且M、N均为正整数；

训练模块，用于使用行人正样本数据和行人负样本数据训练行人检测网络，使用安全帽正样本数据和安全帽负样本数据训练安全帽检测网络；

获取模块，用于获取待检测图片，并通过背景差分法获取所述待检测图片中的待检测区域；

判断模块，用于将所述待检测区域输入到训练后的行人检测网络，判断所述待检测区域中是否存在行人；若是，触发输入模块；

输入模块，用于将所述存在行人的待检测区域中的预设区域输入到训练后的安全帽检测网络中进行检测，若检测到安全帽，通过HSV颜色空间判断安全帽的类型；若未检测到，发出警报。

9.根据权利要求8所述的一种基于深度学习的视频中安全帽佩戴的检测装置，其特征在于，所述抽取模块，还用于：

对搜集的视频数据进行筛选，选择出分辨率大于第一预设阈值的视频文件；

从筛选出的视频文件中按照预设的时间间隔抽取预设数量个图片。

10.根据权利要求8所述的一种基于深度学习的视频中安全帽佩戴的检测装置，其特征在于，所述设置模块，还用于：

将所述M张图片中的N张含有行人的图片中的行人区域用矩形框选中，所述矩形框要略大于行人的轮廓；

将矩形框中的区域作为标注后的行人正样本数据。