CN102999749A - 基于人脸检测的安全带违章事件智能检测方法 - Google Patents

Abstract

本发明公开了基于人脸检测的安全带违章事件智能检测方法，先将图像按设定比例进行缩小，再在图像中进行车牌定位，然后根据车牌位置提取车窗，在车窗内用Haar方法进行人脸检测，最后在人脸的附近进行安全带检测，如果有人脸的座位没带安全带，则判为非法驾驶，否则为合法驾驶。本发明没有复杂的训练过程，直接对源图片进行自动检测，检测速度快，准确率高。

Description

基于人脸检测的安全带违章事件智能检测方法

技术领域

本发明一般涉及图像处理以及模式识别领域，具体涉及安全带违章的自动检测方法。

背景技术

现在已经进入了信息时代，各种信息显现爆炸式增长，如何更好的处理海量信息已成为社会热门话题。随着城市的发展，交通监控进入一个新的时代，如果还是通过人工监控，只会越来越吃力。在交通系统的安全带检测中，目前主要都是用人眼的方式去识别，效率非常低。将安全带检测自动化，智能化，高效化，我们可以更高效、更精确的处理海量的交通信息，从而节约交通监控的处理时间、人力。

现有的主流安全带识别方法主要通过定位车辆车牌然后估算出主驾驶员的位置再利用霍夫直线检测去检测安全带的存在。这种方法不能准确地找出驾驶员的位置，精确度不高，而且仅能找出主驾座的安全带，副驾驶座的安全带无法识别。

发明内容

本发明针对当前交通监控图片量巨大，图片审核人力资源缺乏的情况，提供了基于人脸检测的安全带违章事件智能检测方法。本发明目的在于帮助交通监控图片人员自动、快速找出没有带安全带的车辆。具体技术方案如下所述。

基于人脸检测的安全带违章事件智能检测方法，包括以下步骤：

(1)读取一张格式为JPG、BMP或PNG的本地图像文件；

(2)根据步骤(1)读取的图像中的RGB颜色信息和结构特征的定位车牌的位置；

(3)根据梯度直方图信息及车牌位置定位车窗矩形框；

(4)在车窗矩形框内进行基于Haar特征的人脸检测；

(5)根据车窗和人脸检测进行安全带检测；

(6)判断是否违章驾驶，如果主驾驶座没检测到安全带，则判定为违章驾驶；如果主驾驶座检测到有安全带，同时副驾驶座检测到有人脸但却没有检测到安全带也判断为违章驾驶；其他情况为合法驾驶。具体的，步骤(2)中定位车牌的位置包括以下步骤：

(2.1)遍历步骤(1)所读取的图像的每一个像素点，提取并记录每个像素点的红、绿、蓝3个颜色分量的值分别为r、g、b，将满足不等式组 $\left\{\begin{array}{c}b>k\&times;r\\ g>r\\ b>1.2\&times;g\\ b>50\end{array}\right.$ 的像素点标记为蓝色车牌像素，将满足不等式组 $\left\{\begin{array}{c}g<1.2\&times;r\\ g>1.9\&times;b\end{array}\right.$ 的像素点标记为黄色车牌像素，其中k根据输入图像的亮度，线性地在1.3～3之间取值；

(2.2)在灰度图中将标记为车牌颜色的像素点的值设为255，其它像素点的值设为0；

(2.3)进行形态学处理，先用3x1的矩形元素对图像进行膨胀一次，接着在3x3的矩形元素对图像膨胀2次，最后用3x3的矩形元素对图像腐蚀3次；

(2.4)对经步骤(2.3)处理得到的二值图像进行连通区域划分，使用多边形逼近法对各个区域进行标记，最后将宽度和高度比在2～7范围内的区域标记为车牌区域。

更具体的，步骤(3)中定位车窗矩形框包括以下步骤：

(3.1)将原始图像转化为灰度图；

(3.2)使用Prewitt算子得到水平梯度值和垂直梯度值，分别记为gy、gx，然后计算每个像素点的梯度方向： $\mathrm{angle}={\tan }^{-1}\left(\frac{\mathrm{gy}}{\mathrm{gx}}\right)\&times;\frac{180}{\mathrm{\&pi;}}\&CenterDot;$

(3.3)将垂直方向的像素点的值设为255，其余像素点的值设为0。

(3.4)在步骤(3.3)中得到的二值图像中，沿着垂直方向进行投影，得到的投影图中将最高的2个波峰的x坐标定为车窗左右边界的x坐标。

(3.5)根据步骤(2)所得车牌的位置及长度确定车窗的上下边界的y坐标。记车牌宽度为，如果车窗宽度大于，车窗下边界取车牌y轴中点往上位置；否则车窗下边界去车牌y轴中点往上的位置。确定了车窗下边界后，去车窗高度为0.65倍车窗宽度，得到车窗上边界。

更具体的，步骤(4)中的人脸检测方法是采用opencv开源库中基于Haar分类器的人脸检测算法。

更具体的，步骤(5)中的安全带检测包括以下步骤：

(5.1)对于主驾驶座，将人脸的右下方矩形框定位为安全带检测区域，检测区域左上角的坐标为主驾人脸矩形左上角坐标向右平移0.3倍人脸矩形宽度得到，检测区域的宽度为人脸矩形宽度的2.3倍，高度人脸矩形高度的2.5倍。副驾驶座的安全带检测区域的定位方法和主驾的定位方法类似，对称处理即可；

(5.2)将原始图像转化为灰度图，使用3x3核进行高斯平滑；

(5.3)使用 $\left[\begin{array}{ccccc}0& 0& 1& 1& 0\\ 0& 1& 1& 0& -1\\ 1& 1& 0& -1& -1\\ 1& 0& -1& -1& 0\\ 0& -1& -1& 0& 0\end{array}\right],$ $\left[\begin{array}{ccccc}0& -1& 1& 0& 0\\ 1& 0& -1& -1& 0\\ 1& 1& 0& -1& -1\\ 0& 1& 1& 0& -1\\ 0& 0& 1& 1& 0\end{array}\right],$ $\left[\begin{array}{ccccc}1& 0& 0& 0& 1\\ 1& 1& 1& 1& 1\\ 0& 0& 0& 0& 0\\ -1& -1& -1& -1& -1\\ -1& 0& 0& 0& -1\end{array}\right],$ $\left[\begin{array}{ccccc}1& 1& 0& -1& -1\\ 0& 1& 0& -1& 0\\ 0& 1& 0& -1& 0\\ 0& 1& 0& -1& 0\\ 1& 1& 0& -1& -1\end{array}\right]$ 4个算子分别作用于图像，分别计算出斜线走向，反斜线走向、水平走向及垂直走向的轮廓的值，并将四者的计算结果最大的一个作为该点的轮廓走向，并得到斜线走向轮廓图和反斜线走向轮廓图。

(5.4)对斜线走向的轮廓图和反斜线走向的轮廓图分别使用和进行一次腐蚀。

(5.5)对斜线走向的轮廓图和反斜线走向的轮廓图分别进行连通区域检测，并将连通域的外界矩形框的对角线长度作为该区域的斜线或者反斜线的长度，对图像中长度最长的斜线进行判定，大于阈值的可认为是安全带，小于阈值的认为没有佩戴安全带。

更具体的，步骤5.5)中阈值的的值为车牌宽度的三分之一。

与现有技术相比，本发明具有如下优点和技术效果：

现有的安全带检测技术只能找出主驾驶座是否有带安全带，副驾驶座无法识别，而且精确度不高。基于人脸检测的安全带违章检测方法是利用车辆车牌位置及车身的轮廓信息定位车辆挡风玻璃，再在挡风玻璃区域内进行人脸检测，利用人脸的位置能得到比其他方法更准确的安全带位置，同时使用了特殊设计的检测算子来检测安全带的边缘，提高安全带的识别精度；另外本方法能同时对主驾驶座和副驾驶座的安全带进行识别。

附图说明

图1为本发明所述基于人脸检测的安全带违章事件智能检测方法流程示意图。

图2为本发明所述基于人脸检测的安全带违章事件智能检测方法中第二步定位车牌位置的流程示意图。

图3为本发明所述基于人脸检测的安全带违章事件智能检测方法中第三步定位车窗矩形框的流程示意图。

图4为本发明所述基于人脸检测的安全带违章事件智能检测方法中第五步安全带检测的流程示意图。

具体实施方式

以下结合附图对实施例对本发明的实施方式作进一步说明，但本发明的实施不限于此。

如图1所示，本发明基于人脸检测的安全带违章事件智能检测方法主要包括以下步骤：

第一步，读取一张格式为JPG、BMP或PNG的本地图像文件

读取图片和保存图片都是采OpenCV开源库中的方法和数据结构，图片的颜色通道为R、G、B三个通道。

第二步，跟据RGB颜色信息和结构特征的定位车牌的位置

该步骤用车牌的颜色特征和形状特征来定位车牌的位置，本发明专利中只考虑蓝色车牌和黄色车牌的情况，在进行了颜色检测后，车牌上面的字会使检测到的连通区域切断，所以要进行一系列的形态学处理使车牌连接起来。如图2所示，具体步骤如下：

(2.1)遍历图像每一个像素点，提取并记录每个像素点的红、绿、蓝3个颜色分量的值分别为r、g、b，将满足不等式组 $\left\{\begin{array}{c}b>k\&times;r\\ g>r\\ b>1.2\&times;g\\ b>50\end{array}\right.$ 的像素点标记为蓝色车牌像素，将满足不等式组 $\left\{\begin{array}{c}g<1.2\&times;r\\ g>1.9\&times;b\end{array}\right.$ 的像素点标记为黄色车牌像素，其中k根据输入图像的亮度，线性地在1.3～3之间取值；

(2.2)在灰度图中将标记为车牌颜色的像素点的值设为255，其它像素点的值设为0；

(2.3)进行形态学处理，先用3x1的矩形元素对图像进行膨胀一次，接着在3x3的矩形元素对图像膨胀2次，最后用3x3的矩形元素对图像腐蚀3次；

(2.4)对经步骤(2.3)处理得到的二值图像进行连通区域划分，使用多边形逼近法对各个区域进行标记，最后将宽度和高度比在2～7范围内的区域标记为车牌区域。

第三步，根据梯度直方图信息及车牌位置定位车窗矩形框

该步骤用车辆的外围轮廓垂直方向的梯度特性对车窗的x坐标进行定位，利用车牌位置和水平方向的梯度信息对车窗的y坐标进行定位，如图3所示具体步骤如下：

(3.1)将原始图像转化为灰度图；

(3.2)使用Prewitt算子得到水平梯度值和垂直梯度值，分别记为gy、gx，然后计算每个像素点的梯度方向： $\mathrm{angle}={\tan }^{-1}\left(\frac{\mathrm{gy}}{\mathrm{gx}}\right)\&times;\frac{180}{\mathrm{\&pi;}}\&CenterDot;$

(3.3)将垂直方向的像素点的值设为255，其余像素点的值设为0。

(3.4)在步骤(3.3)中得到的二值图像中，沿着垂直方向进行投影，得到的投影图中将最高的2个波峰的x坐标定为车窗左右边界的x坐标。

(3.5)根据第二步所得车牌的位置及长度确定车窗的上下边界的y坐标。记车牌宽度为，如果车窗宽度大于，车窗下边界取车牌y轴中点往上位置；否则车窗下边界去车牌y轴中点往上的位置。确定了车窗下边界后，去车窗高度为0.65倍车窗宽度，得到车窗上边界。

第四步，在车窗矩形框内进行基于Haar特征的人脸检测

该步骤的人脸检测采用OpenCV开源库中基于Haar特征的人脸检测算法，采用的检测模型文件是haarcascade_frontalface_alt_tree.xml文件。

第五步，根据车窗和人脸检测进行安全带检测

用斜线检测算子对车窗内人脸周围的位置进行斜线轮廓检测，进行形态学处理之后对斜线长度与阈值进行比较，如果大于，则判定为安全带，否则判定为没带安全带，的值为车牌宽度的三分之一。如图4所示具体步骤如下：

(5.1)对于主驾驶座，将人脸的右下方矩形框定位为安全带检测区域，检测区域左上角的坐标为主驾人脸矩形左上角坐标向右平移0.3倍人脸矩形宽度得到，检测区域的宽度为人脸矩形宽度的2.3倍，高度人脸矩形高度的2.5倍。副驾驶座的安全带检测区域的定位方法和主驾的定位方法类似，对称处理即可；

(5.2)将原始图像转化为灰度图，使用3x3核进行高斯平滑；

(5.3)使用 $\left[\begin{array}{ccccc}0& 0& 1& 1& 0\\ 0& 1& 1& 0& -1\\ 1& 1& 0& -1& -1\\ 1& 0& -1& -1& 0\\ 0& -1& -1& 0& 0\end{array}\right],$ $\left[\begin{array}{ccccc}0& -1& 1& 0& 0\\ 1& 0& -1& -1& 0\\ 1& 1& 0& -1& -1\\ 0& 1& 1& 0& -1\\ 0& 0& 1& 1& 0\end{array}\right],$ $\left[\begin{array}{ccccc}1& 0& 0& 0& 1\\ 1& 1& 1& 1& 1\\ 0& 0& 0& 0& 0\\ -1& -1& -1& -1& -1\\ -1& 0& 0& 0& -1\end{array}\right],$ $\left[\begin{array}{ccccc}1& 1& 0& -1& -1\\ 0& 1& 0& -1& 0\\ 0& 1& 0& -1& 0\\ 0& 1& 0& -1& 0\\ 1& 1& 0& -1& -1\end{array}\right]$ 4个算子分别作用于图像，分别计算出斜线走向，反斜线走向、水平走向及垂直走向的轮廓的值，并将四者的计算结果最大的一个作为该点的轮廓走向，并得到斜线走向轮廓图和反斜线走向轮廓图。

(5.4)对斜线走向的轮廓图和反斜线走向的轮廓图分别使用和进行一次腐蚀。

(5.5)对斜线走向的轮廓图和反斜线走向的轮廓图分别进行连通区域检测，并将连通域的外界矩形框的对角线长度作为该区域的斜线或者反斜线的长度，对图像中长度最长的斜线进行判定，大于阈值的可认为是安全带，小于阈值的认为没有佩戴安全带。

第六步，判断否违章驾驶，如果主驾驶座没检测到安全带，则判定为违章驾驶；如果主驾驶座检测到有安全带，同时副驾驶座检测到有人脸但却没有检测到安全带也判断为违章驾驶；其他情况为合法驾驶。

本实施例只是本发明的较优实施方式，需要说明的是，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.基于人脸检测的安全带违章事件智能检测方法，其特征在于，包括以下步骤：

(1)读取一张格式为JPG、BMP或PNG的本地图像文件；

(2)根据步骤(1)读取的图像中的RGB颜色信息和结构特征的定位车牌的位置；

(3)根据梯度直方图信息及车牌位置定位车窗矩形框；

(4)在车窗矩形框内进行基于Haar特征的人脸检测；

(5)根据车窗和人脸检测进行安全带检测；

(6)判断是否违章驾驶，如果主驾驶座没检测到安全带，则判定为违章驾驶，如果主驾驶座检测到有安全带，同时副驾驶座检测到有人脸但却没有检测到安全带也判断为违章驾驶；其他情况为合法驾驶。

2.根据权利要求1所述基于人脸检测的安全带违章事件智能检测方法，其特征在于：步骤(2)中定位车牌的位置包括以下步骤：

(2.1)遍历步骤(1)读取的图像的每一个像素点，提取并记录每个像素点的红、绿、蓝3个颜色分量的值分别为r、g、b，将满足不等式组

$\left\{\begin{array}{c}b>k\&times;r\\ g>r\\ b>1.2\&times;g\\ b>50\end{array}\right.$ 的像素点标记为蓝色车牌像素，将满足不等式组 $\left\{\begin{array}{c}g<1.2\&times;r\\ g>1.9\&times;b\end{array}\right.$ 的像素点标记为黄色车牌像素，其中k根据输入图像的亮度，线性地在1.3～3之间取值；

(2.2)在经步骤(2.1)处理得到的灰度图中将标记为车牌颜色的像素点的值设为255，其它像素点的值设为0；

(2.3)对经步骤(2.2)处理得到的图像进行形态学处理：先用3x1的矩形元素对图像进行膨胀一次，接着在3x3的矩形元素对图像膨胀2次，最后用3x3的矩形元素对图像腐蚀3次；

(2.4)对经步骤(2.3)处理得到的二值图像进行连通区域划分，使用多边形逼近法对各个区域进行标记，最后将宽度和高度比在2～7范围内的区域标记为车牌区域。

3.根据权利要求1所述基于人脸检测的安全带违章事件智能检测方法，其特征在于：步骤(3)中定位车窗矩形框包括以下步骤：

(3.1)将步骤(1)读取的图像转化为灰度图；

(3.2)使用Prewitt算子得到水平梯度值和垂直梯度值，分别记为gy、gx，然后计算每个像素点的梯度方向： $\mathrm{angle}={\tan }^{-1}\left(\frac{\mathrm{gy}}{\mathrm{gx}}\right)\&times;\frac{180}{\mathrm{\&pi;}};$

(3.3)将垂直方向的像素点的值设为255，其余像素点的值设为0；

(3.4)在步骤(3.3)中得到的二值图像中，沿着垂直方向进行投影，得到的投影图中将最高的2个波峰的x坐标定为车窗左右边界的x坐标；

(3.5)根据步骤(2)所得车牌的位置及长度确定车窗的上下边界的y坐标，记车牌宽度为，如果车窗宽度大于，车窗下边界取车牌y轴中点往上位置；否则车窗下边界去车牌y轴中点往上的位置，确定了车窗下边界后，去车窗高度为0.65倍车窗宽度，得到车窗上边界。

4.根据权利要求1所述基于人脸检测的安全带违章事件智能检测方法，其特征在于：步骤(4)中的人脸检测方法是采用opencv开源库中基于Haar分类器的人脸检测算法。

5.根据权利要求1所述基于人脸检测的安全带违章事件智能检测方法，其特征在于：步骤(5)中的安全带检测包括以下步骤：

(5.1)对于主驾驶座，将人脸的右下方矩形框定位为安全带检测区域，检测区域左上角的坐标为主驾人脸矩形左上角坐标向右平移0.3倍人脸矩形宽度得到，检测区域的宽度为人脸矩形宽度的2.3倍，高度人脸矩形高度的2.5倍；副驾驶座的安全带检测区域的定位方法和主驾的定位方法类似，对称处理即可；

(5.2)将原始图像转化为灰度图，使用3x3核进行高斯平滑；

(5.3)使用 $\left[\begin{array}{ccccc}0& 0& 1& 1& 0\\ 0& 1& 1& 0& -1\\ 1& 1& 0& -1& -1\\ 1& 0& -1& -1& 0\\ 0& -1& -1& 0& 0\end{array}\right],$ $\left[\begin{array}{ccccc}0& -1& 1& 0& 0\\ 1& 0& -1& -1& 0\\ 1& 1& 0& -1& -1\\ 0& 1& 1& 0& -1\\ 0& 0& 1& 1& 0\end{array}\right],$ $\left[\begin{array}{ccccc}1& 0& 0& 0& 1\\ 1& 1& 1& 1& 1\\ 0& 0& 0& 0& 0\\ -1& -1& -1& -1& -1\\ -1& 0& 0& 0& -1\end{array}\right],$ $\left[\begin{array}{ccccc}1& 1& 0& -1& -1\\ 0& 1& 0& -1& 0\\ 0& 1& 0& -1& 0\\ 0& 1& 0& -1& 0\\ 1& 1& 0& -1& -1\end{array}\right]$ 4个算子分别作用于图像，分别计算出斜线走向，反斜线走向、水平走向及垂直走向的轮廓的值，并将四者的计算结果最大的一个作为该点的轮廓走向，并得到斜线走向轮廓图和反斜线走向轮廓图；

(5.4)对斜线走向的轮廓图和反斜线走向的轮廓图分别使用和进行一次腐蚀；

(5.5)对斜线走向的轮廓图和反斜线走向的轮廓图分别进行连通区域检测，并将连通域的外界矩形框的对角线长度作为该区域的斜线或者反斜线的长度，对图像中长度最长的斜线进行判定，大于阈值的可认为是安全带，小于阈值的认为没有佩戴安全带。

6.根据权利要求5所述基于人脸检测的安全带违章事件智能检测方法，其特征在于，步骤(5.5)中阈值的值为车牌宽度的三分之一。

Images