CN108564069A - 一种工业佩戴安全帽视频检测方法 - Google Patents

Abstract

本发明一种工业佩戴安全帽视频检测方法属于视频处理领域；步骤a、获取视频序列；步骤b、通过深度学习检测器对所述视频序列进行检测；当检测到目标时，进行步骤c；当未检测到目标时，进行步骤d；步骤c、深度学习检测器检测到目标时，初始化跟踪器，获取目标信息，进行步骤e；步骤d、深度学习检测器未检测到目标时，判断是否初始化跟踪器，若否，进行步骤a；若是，进行步骤f；步骤e、通过决策器输出所述目标信息，进行步骤a；步骤f、运行跟踪器，进行遮挡判断，跟踪目标是否被遮挡，若否，进行步骤e；若是，停止所述跟踪器，进行步骤a；本发明能够在目标遮挡形变或者跟踪器误跟踪时快速检测出场景中工人佩戴安全帽情况。

Description

一种工业佩戴安全帽视频检测方法

技术领域

本发明属于视频处理领域，具体涉及一种工业佩戴安全帽视频检测方法。

背景技术

许多作业场合，如建筑工地、码头、油田煤矿、电力基站等，由于工人安全防范意识低、物体容易坠落等原因，每年都会出现不少因为未佩戴安全帽而酿成的事故。因此，为了有效的减少人员的伤害隐患，在这些场所对工人佩戴安全帽情况进行实时检测是很有必要的。但是总有很多人不佩戴安全帽，造成了很大的安全隐患。

发明内容

针对上述问题，本发明的目的在于提供一种工业佩戴安全帽视频检测方法。

本发明的目的是这样实现的：

一种工业佩戴安全帽视频检测方法，包括下列步骤：

步骤a、获取视频序列；

步骤b、通过深度学习检测器对所述视频序列进行检测；当检测到目标时，进行步骤c；当未检测到目标时，进行步骤d；

步骤c、深度学习检测器检测到目标时，初始化跟踪器，获取目标信息，进行步骤e；

步骤d、深度学习检测器未检测到目标时，判断是否初始化跟踪器，若否，进行步骤a；若是，进行步骤f；

步骤e、通过决策器输出所述目标信息，进行步骤a；

步骤f、运行跟踪器，进行遮挡判断，跟踪目标是否被遮挡，若否，进行步骤e；若是，停止所述跟踪器，进行步骤a。

进一步地，所述深度学习检测器包括以下方法：

将视频序列中的图像分成S*S个网格，每个网格预测出B个目标框及每个目标框的置信度分C，置信度得分反映出目标框中包含目标的置信值以及目标框的准确度信息，定义置信度得分的公式为：

式(1)中P(O_bject)表示目标框中含有目标的置信度，表示预测的目标框和物体真实所在区域的交并比，即目标真实框与预测框的重叠面积占目标真实框与预测框并集面积的比例；

得到置信度，获取每个目标框的中心位置坐标(X,Y)与宽w、高h的信息，并在每个网格中预测出2个类别信息，分别是头部head和安全帽hat两类，即在已判定目标框中含有目标物体后判断所述目标属于哪一类，分类的可能性用条件概率表示；将类别信息的概率值、目标框的准确度和置信度进行相乘，得到每个目标框的类别置信度：

由式(2)得到每个目标框的类别置信度得分后，根据设置的阈值可滤除准确度低的目标框，对剩下的目标框进行非极大值抑制得到最终的检测结果。

进一步地，所述跟踪器采用KCF跟踪算法，KCF跟踪算法包括跟踪器训练、快速目标检测和目标遮挡判断，所示跟踪器训练包括以下方法：

对初始第一帧图像中选定的目标进行特征提取和加窗滤波，得到样本图像f，经核相关训练得到滤波模板h，使当前目标的响应值大，背景的响应值小，如式(3)所示：

式(3)中g表示的高斯响应输出，g为任意形状的响应输出；通过目标样本循环偏移构建出大量训练样本，样本矩阵变成一个循环矩阵，利用循环矩阵的性质，将式(3)转换到频域运算，利用傅里叶变大幅减小运算时间开销，如式(4)所示：

式(4)中表示傅里叶变换，把特征空间映射到高维空间中，将非线性求解变为线性求解，通过核函数后的原始目标函数表述如式(5)所示：

式(5)中k表示测试样本z和训练样本X_i的核函数，式(5)将训练求h变为求取最优α的过程，利用核技巧，将式(5)训练公式简化为如式(6)所示：

α＝(K+λI)^-1y (6)

式(6)中k为核相关矩阵，利用循环矩阵的性质，转到复频域，求出未知参数α，完成跟踪器的训练。

进一步地，根据所述公式(4)，设定f所含的像素个数为n，由卷积定理可知所述公式(6)的计算复杂度为O(n*n)，而傅里叶后的计算复杂度为O(n*logn)；设定得出：连续帧的模板更新是结合时间的方式进行的：

H_t＝(1-p)H_t-1+pH(t) (7)

H(t)表示在第t帧求得的滤波模板，H_t-1为前一帧求得的模板，p表示更新率是一个经验值；在跟踪的过程中，把当前帧求出的模板与下一帧的图像进行操作，即相当于在二维平面上平移模板，得到的结果响应矩阵中最大的点对应的坐标作为目标所在位置。

进一步地，所述快速目标检测包括以下方法：

找到新输入的一帧图像中目标的新位置，将滤波模板h与新图像f相卷积，响应值最高的位置为新的目标位置；对于新的待检测的目标图像块z，利用已经求出参数α，离散傅里叶变换化简运算得到频域表达式如式(8)：

式(8)中K^xz为简化后特征矩阵的第一行向量，利用核函数快速求得最优解，将结果逆变换找到矩阵最大值对应的图像块，即是新的目标。

进一步地，所述目标遮挡判断包括以下方法：

目标准确性判据如式(9)，通过计算响应图的平均峰值相关能量来判断跟踪目标的准确程度；

式(9)中F_max，F_min，F_x,y分别表示响应最高、最低和(x,y)位置上的响应值，Mean表示计算后式的均值；Mean反映响应图的振荡程度，判断是否出现多峰现象；

当出现目标被遮挡或者目标丢失的情况时，出现多个峰值响应，响应矩阵剧烈波动，判据会突然减小，是无效跟踪；

正常情况时判据大于历史均值，继续正常进行相关滤波跟踪；用以解决由于遮挡和目标出界等原因产生的模型漂移的问题；

当跟踪发生错误时，停止对分类器模型的更新，减少错误率，以增强跟踪算法的准确性和可靠性，学习率如式(10)处理：

x_i为每帧图像样本训练的结果，表示当前帧的目标模板，用于后续帧的目标检测；α_i是每帧求得的目标检测器参数，用于检测部分中结果的计算；η为更新模型的学习率。

有益效果：

本发明提供了一种工业佩戴安全帽视频检测方法，本发明采用深度学习检测器检测出场景中工人佩戴安全帽的情况，快速的对安全帽进行训练识别，使本发明在实际应用中适应目标大小姿态以及应用场景的多变，通过跟踪器辅助深度学习检测器对目标进行跟踪器训练、快速目标检索及目标形变和遮挡判断，使本发明在检测不到人头、安全帽或漏检时；对跟踪器进行了遮挡判断，解决了目标遮挡形变时或者跟踪器误跟踪的情况。

附图说明

图1是一种工业佩戴安全帽视频检测方法原理图。

图2是一种工业佩戴安全帽视频检测方法流程图。

图3是YOLOv2算法网络结构图。

图4是跟踪训练原理图。

图5是快速目标检测原理图。

图6是目标遮挡判断原理图。

具体实施方式

下面结合附图对本发明具体实施方式作进一步详细描述。

一种工业佩戴安全帽视频检测方法，如图1和图2所示，包括下列步骤：

步骤a、获取视频序列；

步骤b、通过深度学习检测器对所述视频序列进行检测；当检测到目标时，进行步骤c；当未检测到目标时，进行步骤d；

步骤c、深度学习检测器检测到目标时，初始化跟踪器，获取目标信息，进行步骤e；

步骤d、深度学习检测器未检测到目标时，判断是否初始化跟踪器，若否，进行步骤a；若是，进行步骤f；

步骤e、通过决策器输出所述目标信息，进行步骤a；

步骤f、运行跟踪器，进行遮挡判断，跟踪目标是否被遮挡，若否，进行步骤e；若是，停止所述跟踪器，进行步骤a。

具体地，为了有效检测出场景中工人佩戴安全帽的清楚，所述深度学习检测器采用基于YOLOv2的卷积神经网络，YOLOv2是Joseph Redmon等人2016年对YOLO检测算法的改进，该算法是基于单个神经网络的目标检测算法，与其它目标检测算法需要提取特征区域再进行分类不同的是，YOLOv2是端到端的网络，直接将整幅图像输入到卷积神经网络(CNN)；在输出层输出目标物体类别和位置信息，在保证精确度的基础上该算法具有很好的实时性，而且YOLOv2的卷积神经网络具有性能高，速度快的特点，并且较高的准确率；YOLOv2的卷积神经网络包括以下方法：

YOLOv2将视频序列中的图像分成S*S个网格，当待检测物体的中心落入某网格内，所述网格负责预测所述物体的类别，每个网格预测出B个目标框及每个目标框的置信度分C，置信度得分反映出目标框中包含目标的置信值以及目标框的准确度信息，定义置信度得分的公式为：

式(1)中P(O_bject)表示目标框中含有目标的置信度，表示预测的目标框和物体真实所在区域的交并比，即目标真实框与预测框的重叠面积占目标真实框与预测框并集面积的比例；若预测的目标框中不含有目标，则P(O_bject)＝0，反之预测的目标框中含有目标，则P(O_bject)＝1；

得到置信度，获取每个目标框的中心位置坐标(X,Y)与宽w、高h的信息，并在每个网格中预测出C个类别信息，即在以判定目标中框中含有目标物体后判断所述目标物体属于C类中的哪一类，分类的可能性用条件概率表示，YOLOv2的卷积神经网络用于判定工人是否佩戴安全帽，所以只考虑两种类别标签，分别是头部head和安全帽hat两类；将类别信息的概率值、目标框的准确度和置信度进行相乘，得到每个目标框的类别置信度：

由式(2)得到每个目标框的类别置信度得分后，根据设置的阈值可滤除准确度低的目标框，对剩下的目标框进行非极大值抑制得到最终的检测结果。

本发明选择参数S＝7，B＝2，预测结果是一个7*7*12的张量，神经网络输入图像尺寸为448*448，原理如图3所示，本发明的YOLOv2的卷积神经网络使用了23个卷积层与两个全链接层的卷积神经网络结构，最终能够实现精确实时地检测出监控视频中工人佩戴头盔的情况。各卷积的参数设置如表1所示，在网络结构中所有卷积操作的步长以及零填充大小都为1。

具体地，在深度学习的训练中，由于训练样本不能完全体现出摄像机角度改变、人的各种形态转变和光照变化等各种情况，在检测过程中当人出现侧身、低头、尺度缩小等情况后，YOLOv2可能检测不到人头或安全帽，造成准确度降低。针对这个问题，提出使用跟踪器对检测的目标进行跟踪，减少漏检，提高检测率。

所述跟踪器采用KCF跟踪算法，KCF跟踪算法包括跟踪器训练、快速目标检测和目标遮挡判断，所示跟踪器训练包括以下方法：

如图4所示，对初始第一帧图像中选定的目标进行特征提取和加窗滤波，得到样本图像f，经核相关训练得到滤波模板h，使当前目标的响应值大，背景的响应值小，如式(3)所示：

式(3)中g表示的高斯响应输出，g为任意形状的响应输出；通过目标样本循环偏移构建出大量训练样本，样本矩阵变成一个循环矩阵，利用循环矩阵的性质，将式(3)转换到频域运算，利用傅里叶变大幅减小运算时间开销，如式(4)所示：

式(4)中表示傅里叶变换，引入核函数高维求解的概念，把特征空间映射到高维空间中，将非线性求解变为线性求解，使得滤波器性能更具有稳健性，适应性更强；通过核函数后的原始目标函数表述如式(5)所示：

式(5)中k表示测试样本z和训练样本X_i的核函数，式(5)将训练求h变为求取最优α的过程，利用核技巧，将式(5)训练公式简化为如式(6)所示：

α＝(K+λI)^-1y (6)

式(6)中K为核相关矩阵，利用循环矩阵的性质，转到复频域，求出未知参数α，完成跟踪器的训练。

更具体地，根据所述公式(4)，设定f所含的像素个数为n，由卷积定理可知所述公式(6)的计算复杂度为O(n*n)，而傅里叶后的计算复杂度为O(n*logn)；通过快速傅里叶变换大幅减少了运算过程的时间开销，提高了跟踪器的速度，设定得出：连续帧的模板更新是结合时间上下文的信息，按照图3中B所示的方式进行的：

H_t＝(1-p)H_t-1+pH(t) (7)

H(t)表示在第t帧求得的滤波模板，H_t-1为前一帧求得的模板，p表示更新率是一个经验值；在跟踪的过程中，把当前帧求出的模板与下一帧的图像进行操作，即相当于在二维平面上平移模板，得到的结果响应矩阵中最大的点对应的坐标作为目标所在位置。

具体地，如图5所示，所述快速目标检测包括以下方法：

找到新输入的一帧图像中目标的新位置，将滤波模板h与新图像f相卷积，响应值最高的位置为新的目标位置；对于新的待检测的目标图像块z，利用已经求出参数α，离散傅里叶变换化简运算得到频域表达式如式(8)：

式(8)中K^xz为简化后特征矩阵的第一行向量，利用核函数快速求得最优解，将结果逆变换找到矩阵最大值对应的图像块，即是新的目标。

具体地，为避免引入错误信息导致跟踪失败，本发明对目标被遮挡或丢失进行判断，并在目标丢失时停止目标的更新；通过分析并实验验证相关滤波类跟踪算法结果图，当跟踪的结果准确无干扰时,响应图是一个峰值很明显的二维高斯分布图；当跟踪过程中出现遮挡、丢失和相似物体干扰等情况时，结果响应图会发生剧烈振荡，出现多峰值现象，如图6中C所示，所述目标遮挡判断包括以下方法：

目标准确性判据如式(9)，通过计算响应图的平均峰值相关能量来判断跟踪目标的准确程度；

式(9)中F_max，F_min，F_x,y分别表示响应最高、最低和(x,y)位置上的响应值，Mean表示计算后式的均值；Mean反映响应图的振荡程度，判断是否出现多峰现象；

当出现目标被遮挡或者目标丢失的情况时，出现多个峰值响应，响应矩阵剧烈波动，判据会突然减小，是无效跟踪；

正常情况时判据大于历史均值，继续正常进行相关滤波跟踪；用以解决由于遮挡和目标出界等原因产生的模型漂移的问题；

当跟踪发生错误时，停止对模型的更新，减少错误率，以增强跟踪算法的准确性和可靠性，学习率如式(10)处理：

x_i为每帧图像样本训练的结果，表示当前帧的目标模板，用于后续帧的目标检测；α_i是每帧求得的目标检测器参数，用于检测部分中结果的计算；η为更新模型的学习率，当跟踪发生错误时，停止模型的更新，防止跟踪出现错误。

决策器根据检测器和跟踪器的输出决定最终输出的目标信息，以检测器的输出结果为主；当检测器检测到目标则以输出检测器的目标；只有检测器失效，并且跟踪器正常运行才输出跟踪器的结果；决策器综合检测器和跟踪器的输出结果，最终决定佩戴安全帽情况。

Claims (6)

1.一种工业佩戴安全帽视频检测方法，其特征在于，包括下列步骤：

步骤a、获取视频序列；

步骤b、通过深度学习检测器对所述视频序列进行检测；当检测到目标时，进行步骤c；当未检测到目标时，进行步骤d；

步骤c、深度学习检测器检测到目标时，初始化跟踪器，获取目标信息，进行步骤e；

步骤d、深度学习检测器未检测到目标时，判断是否初始化跟踪器，若否，进行步骤a；若是，进行步骤f；

步骤e、通过决策器输出所述目标信息，进行步骤a；

步骤f、运行跟踪器，进行遮挡判断，跟踪目标是否被遮挡，若否，进行步骤e；若是，停止所述跟踪器，进行步骤a。

2.根据权利要求1所述一种工业佩戴安全帽视频检测方法，其特征在于，所述深度学习检测器包括以下方法：

将视频序列中的图像分成S*S个网格，每个网格预测出B个目标框及每个目标框的置信度分C，置信度得分反映出目标框中包含目标的置信值以及目标框的准确度信息，定义置信度得分的公式为：

式(1)中P(O_bject)表示目标框中含有目标的置信度，表示预测的目标框和物体真实所在区域的交并比，即目标真实框与预测框的重叠面积占目标真实框与预测框并集面积的比例；

得到置信度，获取每个目标框的中心位置坐标(X,Y)与宽w、高h的信息，并在每个网格中预测出2个类别信息，分别是头部head和安全帽hat两类，即在已判定目标框中含有目标物体后判断所述目标属于哪一类，分类的可能性用条件概率表示；将类别信息的概率值、目标框的准确度和置信度进行相乘，得到每个目标框的类别置信度：

由式(2)得到每个目标框的类别置信度得分后，根据设置的阈值可滤除准确度低的目标框，对剩下的目标框进行非极大值抑制得到最终的检测结果。

3.根据权利要求1所述一种工业佩戴安全帽视频检测方法，其特征在于，所述跟踪器采用KCF跟踪算法，KCF跟踪算法包括跟踪器训练、快速目标检测和目标遮挡判断，所示跟踪器训练包括以下方法：

对初始第一帧图像中选定的目标进行特征提取和加窗滤波，得到样本图像f，经核相关训练得到滤波模板h，使当前目标的响应值大，背景的响应值小，如式(3)所示：

式(3)中g表示的高斯响应输出，g为任意形状的响应输出；通过目标样本循环偏移构建出大量训练样本，样本矩阵变成一个循环矩阵，利用循环矩阵的性质，将式(3)转换到频域运算，利用傅里叶变大幅减小运算时间开销，如式(4)所示：

式(4)中表示傅里叶变换，把特征空间映射到高维空间中，将非线性求解变为线性求解，通过核函数后的原始目标函数表述如式(5)所示：

式(5)中k表示测试样本z和训练样本X_i的核函数，式(5)将训练求h变为求取最优α的过程，利用核技巧，将式(5)训练公式简化为如式(6)所示：

α＝(K+λI)^-1y (6)

式(6)中K为核相关矩阵，利用循环矩阵的性质，转到复频域，求出未知参数α，完成跟踪器的训练。

4.根据权利要求3所述一种工业佩戴安全帽视频检测方法，其特征在于，根据所述公式(4)，设定f所含的像素个数为n，由卷积定理可知所述公式(6)的计算复杂度为O(n*n)，而傅里叶后的计算复杂度为O(n*logn)；设定得出：连续帧的模板更新是结合时间的方式进行的：

H_t＝(1-p)H_t-1+pH(t) (7)

H(t)表示在第t帧求得的滤波模板，H_t-1为前一帧求得的模板，p表示更新率是一个经验值；在跟踪的过程中，把当前帧求出的模板与下一帧的图像进行操作，即相当于在二维平面上平移模板，得到的结果响应矩阵中最大的点对应的坐标作为目标所在位置。

5.根据权利要求3所述一种工业佩戴安全帽视频检测方法，其特征在于，所述快速目标检测包括以下方法：

找到新输入的一帧图像中目标的新位置，将滤波模板h与新图像f相卷积，响应值最高的位置为新的目标位置；对于新的待检测的目标图像块z，利用已经求出参数α，离散傅里叶变换化简运算得到频域表达式如式(8)：

式(8)中K^xz为简化后特征矩阵的第一行向量，利用核函数快速求得最优解，将结果逆变换找到矩阵最大值对应的图像块，即是新的目标。

6.根据权利要求4所述一种工业佩戴安全帽视频检测方法，其特征在于，所述目标遮挡判断包括以下方法：

目标准确性判据如式(9)，通过计算响应图的平均峰值相关能量来判断跟踪目标的准确程度；

式(9)中F_max，F_min，F_x,y分别表示响应最高、最低和(x,y)位置上的响应值，Mean表示计算后式的均值；Mean反映响应图的振荡程度，判断是否出现多峰现象；

当出现目标被遮挡或者目标丢失的情况时，出现多个峰值响应，响应矩阵剧烈波动，判据会突然减小，是无效跟踪；

正常情况时判据大于历史均值，继续正常进行相关滤波跟踪；用以解决由于遮挡和目标出界等原因产生的模型漂移的问题；

当跟踪发生错误时，停止对分类器模型的更新，减少错误率，以增强跟踪算法的准确性和可靠性，学习率如式(10)处理：

x_i为每帧图像样本训练的结果，表示当前帧的目标模板，用于后续帧的目标检测；α_i是每帧求得的目标检测器参数，用于检测部分中结果的计算；η为更新模型的学习率。