CN105469069A - 面向生产线数据采集终端的安全帽视频检测方法 - Google Patents

Abstract

本发明涉及一种面向生产线数据采集终端的安全帽视频检测方法，利用已构造人脸LBP特征级联分类器检测人脸区域，锁定目标后定位人体头部的待检测区域，对头部的待检彩色区域进行图像增强，接着检测HSV模型的V分量相似度，最后检测其多帧图像相似度均值和方差，由此实现正确佩戴安全帽的检测。无需现场装其他图像处理设备，直接使用生产线数据采集终端机器就能够方便、及时检测操作人员的安全帽是正确佩戴情况，大大降低了监管人员工作量，消除了安全隐患，同时占用内存较小，图形处理速度较快，保证了目标检测的实时性和终端操作的流畅性。大大降低了监管人员工作量，消除了安全隐患。

Description

面向生产线数据采集终端的安全帽视频检测方法

技术领域

本发明涉及一种安全监测技术，特别涉及一种面向生产线数据采集终端的安全帽视频检测方法。

背景技术

当前在大型锅炉，钢铁等制造业、机械加工等行业中，很多工厂开始使用MES精益制造管理系统，其中装有生产线数据采集MES制造执行系统软件的工业平板电脑大量用于产线上，按照行业规定操作MES终端的人员需要正确佩戴安全帽。目前，行业传统的方法是使用监管人员对于现场人员予以监管，这样就需要大量的人员全天分时段在现场予以监管，这是一个费时费力的方式。因此，需要研究一种实现安全帽正确佩戴的自动检测方法，从而形成一套有效的信息化报警机制。

发明内容

本发明是针对传统检测方法计算量大，耗时较长，对于MES终端的工业电脑性能一般，现场情况复杂，检测率低下不能满足需要的问题，提出了一种面向生产线数据采集终端的安全帽视频检测方法，利用现场MES终端的工业电脑，引入图像处理技术对操作人员是否正确佩戴安全帽进行自动进行检测。

本发明的技术方案为：一种面向生产线数据采集终端的安全帽视频检测方法，具体包括如下步骤：

1)视频采集设备对头像进行采集，将取得的彩色图像转为灰度图像并直方图均衡化；

2)利用已训练好的人脸LBP特征级联分类器检测人脸区域，锁定目标后计算安全帽待识别区域ROI；

3)将头部的待识别区域ROI的RGB格式彩色图转换为YUV模型并对Y分量进行直方图均衡化处理；

4)将该区域均衡化后的YUV彩色图转换为HSV彩色模型并计算V分量的直方图；

5)选用一个标准的未待安全帽的模板图像，对其HSV格式彩色图中的V分量计算直方图并归一化；

6)计算步骤5)模板的V分量直方图和步骤4)的ROI区域V分量彩色图两直方图的相似性；

7)对得到的相似性做一次判断若相似性低则说明安全帽正确佩戴，若相似度大于1.0则判定为疑似未带安全帽；

8)若当前帧图像被判为疑似未带安全帽图像，则继续获取接下来的视频序列并依次按照步骤1)至6)计算直方图相似性，连续计算4帧待检区域与未带安全帽模板的相似度，若其中有一个帧图像相似性低则认为该连续的几个序列帧中的操作人员均正确佩戴安全帽，若全部帧相似度大于1.0则将该几帧图像的相似度求均值和方差；

9)对求得的均值和方差进行判断，若均值大于1.7方差小于0.5则判断操作MES终端的人员安全帽未正确佩戴安全帽；若不是，则丢弃之前数据重新获取图像接测。

本发明的有益效果在于：本发明面向生产线数据采集终端的安全帽视频检测方法，在数字化工业现场，利用现场操作MES终端，使用数字图像处理技术智能检测操作人员是否正确佩戴安全帽，大大降低了监管人员工作量，消除了安全隐患。

附图说明

图1为本发明面向生产线数据采集终端的安全帽视频检测方法流程图。

具体实施方式

方法包括：基于LBP人脸特征的级联分类器算法定位人脸之后定位头部佩戴安全帽位置，直方图均衡化消除光照影响的方法，两直方图测量相似度的方法，直方图相似度数据均值方差的计算方法。

一种面向MES终端的安全帽视频检测方法，所涉及的方法包括使用级联分类器检测人脸方法、直方图均衡化方法、彩色RGB、YUV和HSV格式的转换方法、直方图相似度计算以及相似度均值和方差计算方法。

如图1所示面向生产线数据采集终端的安全帽视频检测方法流程图，具体包括如下步骤：

1)视频采集设备对头像进行采集，针对现场实时性和步骤2)中LBP特征提取技术的要求，将取得的彩色图像转为灰度图像提高实时性并对灰度图像直方图均衡化以降低外部光线不均对检测的干扰；

2)利用已训练好的人脸LBP特征级联分类器检测人脸区域，锁定目标后计算安全帽待识别区域ROI；

3)将头部的待识别区域ROI的RGB格式彩色图转换为YUV模型并对Y分量进行直方图均衡化以减少Y分量噪声干扰；

4)经现场采集视频实验后发现使用HSV模型的V分量检测效果好于使用YUV模型的Y分量，故将均衡化后的YUV彩色图转换为HSV彩色模型并计算V分量的直方图；

5)选用一个标准的未待安全帽的模板图像，对其HSV格式彩色图中的V分量计算直方图并归一化；

6)计算步骤5)模板的V分量直方图和步骤4)的ROI区域V分量彩色图两直方图的相似性，相似计算使用相交系数的方法，该方法运算速度快，耗时少同时准确率较高适合现场实时性和准确性要求；

7)对得到的相似性做一次判断若相似性低则说明安全帽正确佩戴，经大量实验发现若相似度大于1.0则可判定为疑似未带安全帽；

8)若当前帧图像被判为疑似未带安全帽图像，则继续获取接下来的视频序列并依次按照步骤1)至6)计算直方图相似性，连续计算4帧待检区域与未带安全帽模板的相似度，若其中有一个帧图像相似性低则认为该连续的几个序列帧中的操作人员均正确佩戴安全帽，若全部帧相似度大于1.0则将该几帧图像的相似度求均值和方差；

9)对求得的均值和方差进行判断，若均值大于1.7方差小于0.5则判断操作MES终端的人员安全帽未正确佩戴安全帽；若不是，则丢弃之前数据重新获取图像检测。由于现场环境光线复杂，通过计算均值和方差即解决了连续帧相似度波动大导致误检的问题。

1)人脸区域检测的步骤：

(1)对视频帧的RGB彩色图像使用公式转化成灰度图像

Gray＝R*0.299+G*0.587+B*0.114(1)

其中R是红色分量，G是绿色分量，B是蓝色分量，Gray表示转换后的灰度值，然后将灰度图像直方图均衡化，即把灰度图像中灰度级r_k出现的概率近似为：

$p_k\left(r_k\right)=\frac{n_k}{n},k=0,1,...,L-1;---\left(2\right)$

其中，n是图像中像素的总和，n_k是灰度极为r_k的像素个数，L为图像中灰度级总数，接着使用累计分布函数作为映射函数其离散形式为：

$s_k=T\left(r_k\right)=\underset{j=0}{\overset{k}{\Σ}}{p}_r\left(r_j\right)=\underset{j=0}{\overset{k}{\Σ}}\frac{n_k}{n},k=0,1,...,L-1;---\left(3\right)$

因此，输出图像是将输入图像中灰度级为r_k各个像素映射到输出图像中灰度级为s_k的对应像素得到。

(2)使用90*90的尺度模板依次计算灰度图像的LBP特征，对计算好的LBP特征值放入使用LBP特征训练好的人脸级联分类器中判断，若判断出人脸则返回该模板的相应坐标值。

2)安全帽待识别区域ORI步骤：

计算出检测出的人脸矩形的宽W，高H以及中心点(x，y)，则安全帽待识别区域ROI的宽为0.8*W,高为0.6*H，中心点为(x，y-0.3*H)。

3)彩色模型转换步骤：

(1)对于ROI区域的RGB格式转换YUV格式时公式如下，对ROI区域的每个RGB像素点都使用该公式，整型运算代替浮点运算，最后判断计算的结果是否在范围内：

$\left[\begin{array}{c}Y\\ U\\ V\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.581& 0.114\\ -0.147& -0.289& 0.436\\ 0.615& -0.515& -0.100\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(4\right)$

(2)对于YUV彩色图转为HSV格式时，首先将YUV格式转为RGB格式，公式如下：

R＝Y+1.402(V-128)(5)

G＝Y-0.34414(U-128)-0.71414(V-128)(6)

B＝Y+1.772(U-128)(7)

然后将RGB格式转为HSV格式公式如下：

定义max＝max(R,G,B)以及min＝min(R,G,B)，

$S=\left\{\begin{array}{cc}0& max=0\\ \frac{max-min}{max}& others\end{array}\right.---\left(9\right)$

V＝max(10)

(3)其中色调(H)分量取值为0到360度，饱和度(S)分量取值为0到1，亮度(V)分量取值为0到255。最后将亮度(V)分量归一化后用于相似度计算。

4)疑似未带安全帽的检测步骤：

分别计算两个V分量的直方图函数，接着使用相交系数方式公式如下，计算两个直方图的相似性：

$d(H_1,H_2)=\underset{i=0}{\overset{255}{\Σ}}min\left(H_1\right(i),H_2(i\left)\right)---\left(11\right)$

其中H₁是模板的V分量直方图函数，H₂是ROI区域的V分量直方图函数，i是V分量的取值范围，最后若相似度大于1.0则定为疑似未带安全帽并做进一步检测。

5)相似度的均值和方差计算步骤：

获取当前疑似未带安全帽的相似度值N₁，接着继续获取接下来的视频序列并依次按照之前步骤计算直方图相似性，若之中有一帧图像相似性低则认为该连续的几个序列帧中的操作人员均正确佩戴安全帽，若不是则将该几帧图像的相似度分别标记为N₂，N₃，N₄，N₅并使用如下公式求取均值和方差：

$\stackrel{\‾}{N}=\frac{\underset{j=1}{\overset{5}{\Σ}}{N}_j}{5}---\left(12\right)$

$S=\frac{\underset{j=1}{\overset{5}{\Σ}}\left|N_j-\stackrel{\‾}{N}\right|}{5}---\left(13\right)$

其中，表示均值，S表示方差。若计算出的均值大于1.7，方差小于0.5则认为该序列帧存在未带安全帽的情况。

本发明所述的一种面向MES终端的安全帽视频检测方法，利用已构造人脸LBP特征级联分类器检测人脸区域，锁定目标后定位人体头部的待检测区域，对头部的待检彩色区域进行图像增强，接着检测HSV模型的V分量相似度，最后检测其多帧图像相似度均值和方差，由此实现正确佩戴安全帽的检测。

本发明无需现场装其他图像处理设备，直接使用MES终端机器就能够方便、及时检测操作人员的安全帽是正确佩戴情况，同时占用内存较小，图形处理速度较快，保证了目标检测的实时性和终端操作的流畅性。

Claims (1)

1.一种面向生产线数据采集终端的安全帽视频检测方法，其特征在于，具体包括如下步骤：

1）视频采集设备对头像进行采集，将取得的彩色图像转为灰度图像并直方图均衡化；

2）利用已训练好的人脸LBP特征级联分类器检测人脸区域，锁定目标后计算安全帽待识别区域ROI；

3）将头部的待识别区域ROI的RGB格式彩色图转换为YUV模型并对Y分量进行直方图均衡化处理；

4）将该区域均衡化后的YUV彩色图转换为HSV彩色模型并计算V分量的直方图；

5）选用一个标准的未待安全帽的模板图像，对其HSV格式彩色图中的V分量计算直方图并归一化；

6）计算步骤5）模板的V分量直方图和步骤4）的ROI区域V分量彩色图两直方图的相似性；

7）对得到的相似性做一次判断若相似性低则说明安全帽正确佩戴，若相似度大于1.0则判定为疑似未带安全帽；

8）若当前帧图像被判为疑似未带安全帽图像，则继续获取接下来的视频序列并依次按照步骤1）至6）计算直方图相似性，连续计算4帧待检区域与未带安全帽模板的相似度，若其中有一个帧图像相似性低则认为该连续的几个序列帧中的操作人员均正确佩戴安全帽，若全部帧相似度大于1.0则将该几帧图像的相似度求均值和方差；

9）对求得的均值和方差进行判断，若均值大于1.7方差小于0.5则判断操作MES终端的人员安全帽未正确佩戴安全帽；若不是，则丢弃之前数据重新获取图像接测。