CN104680156A - 基于机器视觉的机动车前排未系安全带识别系统及方法 - Google Patents

Abstract

本发明提供了一种基于机器视觉的机动车前排未系安全带识别系统及方法，包括车牌定位分割模块，安全带区域定位模块和安全带识别检测模块，所述车牌定位模块检测到车牌后对车牌进行提取，然后根据二值图像判断车型大小，往图像上方采用所述安全带定位模块实现安全带检测区域的获取，然后采用安全带识别模块对司机是否佩戴安全带进行识别。本发明将基于机器视觉技术的机动车前排未系安全带识别系统及方法应用到实际生活中，可以提高交警执法效率，增强司机安全驾驶意识，减少交通事故中的死亡率，促进交通事业的智能化发展。

Description

基于机器视觉的机动车前排未系安全带识别系统及方法

技术领域

本发明涉及一种基于机器视觉的机动车前排未系安全带识别系统及方法，属于智能交通领域。

背景技术

目前机动车未系安全带违章检测主要依靠人工肉眼识别，而人工违章检测的效率低、准确性差，人为干扰非常明显。利用机器视觉技术，并且基于目前各路口架设的高清电子警察监控，可以有效地对机动车驾驶员是否佩戴安全带进行识别，提高交警执法效率，增强驾驶员安全驾驶意识。

随着机器视觉技术在智能交通系统中的不断应用发展，车牌识别技术、超速检测、闯红灯检测技术已日趋成熟，逐渐实现了相关交通违章的自动化和智能化，为减少交通事故做出了积极贡献，但目前安全带识别技术尚不成熟，识别处理能力满足不了交通系统要求。因此，将基于机器视觉的机动车前排未系安全带识别系统及方法应用到实际使用过程中，对完善智能交通系统，提高我国交通智能化技术水平具有重要意义。

发明内容

将基于机器视觉技术的机动车前排未系安全带识别系统及方法应用到实际生活中，可以提高交警执法效率，增强司机安全驾驶意识，减少交通事故中的死亡率，促进交通事业的智能化发展。为实现未系安全带快速识别，本发明提供了一种基于机器视觉技术的机动车前排未系安全带识别系统及方法。

一种基于机器视觉技术的机动车前排未系安全带识别系统及方法主要分为三部分：第一，实现车牌的定位及分割；第二，对安全带检测区域图像的提取；第三，对是否佩戴安全带进行检测。

本发明所采取的技术方案是，提供一种基于机器视觉的机动车前排未系安全带识别系统，包括车牌定位分割模块，安全带区域定位模块和安全带识别检测模块，其特征在于：所述车牌定位模块检测到车牌后对车牌进行提取，然后根据二值图像判断车型大小(本系统中大型车主要指公交车、大型客车、卡车；小型车主要指面包车、轿车、越野车SUV等)，往图像上方采用所述安全带定位模块实现安全带检测区域(驾驶员肩部附近位置)的获取，然后采用安全带识别模块对司机是否佩戴安全带进行识别。

作为优选，所述的基于机器视觉的机动车前排未系安全带识别系统，其中所述的车牌定位分割模块实现对车牌的精准定位及分割，获取车牌图像信息，其中车牌精准定位采用Haar分类器算法，基于Haar特征对图像中的车牌进行检测分割，通过对大量车牌样本训练，获取分类器，实现车牌提取。

作为优选，所述的基于机器视觉的机动车前排未系安全带识别系统，其中所述的安全带区域定位模块对车型大小的判断采用二值化图像判别法，首先对图像进行二值化处理，然后对车辆二值化图像进行边界扫描并计算车型图像在整幅图像中所占比例，通过车辆在图像中所占比例，判别车辆车型大小。其中大型车指客车、公交车、重型以及大型卡车，特种大型工程车辆等；小型车是指面包车、轿车、越野车等；以车牌中心线为参照，根据车型大小往图像上方偏移一定距离(大型车偏移500像素距离，小型车偏移300像素距离)切取车辆右部分驾驶位图像。

作为优选，所述的基于机器视觉的机动车前排未系安全带识别系统，其中所述的安全带区域定位模块利用已定位的车牌中心为参考，根据车型大小分别实现对不同车型的驾驶位车窗定位，然后对安全带检测区域进行分割，获取安全带检测区域图像。

作为优选，所述的基于机器视觉的机动车前排未系安全带识别系统，其中所述的安全带区域定位模块对车窗定位采用的是三点定位法，对所述的驾驶位图像进行灰度化处理，然后在图像X方向及Y方向各选取一列并获取灰度值，对灰度值进行梯度计算，由于灰度图像中车窗边框处梯度变化非常明显，以此为依据对梯度进行大小比较，确定车窗上、下部分及右侧车窗边框梯度变化最大点的坐标值，然后以坐标点为参照对安全带检测区域进行切割，通过计算定位出安全带位置区域，进行区域图像提取。

作为优选，所述的基于机器视觉的机动车前排未系安全带识别系统，其中所述的安全带识别模块采用基于BP神经网络算法，通过对安全带检测区域图像的15种纹理特征进行分类识别，判断司机是否佩戴安全带，输出包括未系安全带车辆的原始监控图像以及车牌图像信息。

作为优选，所述的基于机器视觉的机动车前排未系安全带识别系统，其中所述的安全带检测区域图像的15种纹理特征包括小梯度优势、大梯度优势、灰度分布的不均匀性、梯度分布的不均匀性、能量、灰度平均、梯度平均、灰度均方差、梯度均方差、相关性、灰度熵、梯度熵、混合熵、惯性、逆差矩。

本发明还提供一种基于机器视觉的机动车前排未系安全带识别方法，包括如下步骤：

1)对图像中的车辆车牌进行识别提取，其中车牌精准定位采用Haar分类器算法，基于Haar特征对图像中的车牌进行检测分割；

2)对车辆车型进行判别，对车型大小的判断采用二值化图像判别法，首先对图像进行二值化处理，然后对车辆二值化图像进行边界扫描并计算车型图像在整幅图像中所占比例，以车牌中心线为参照，根据车型大小往图像上方偏移一定距离切取车辆右部分驾驶位图像；

3)对安全带检测区域图像进行检测，利用已定位的车牌中心为参考，根据车型大小分别实现对不同车型的驾驶位车窗定位，然后对安全带检测区域进行分割，获取安全带检测区域图像，另外，对车窗定位采用的是三点定位法，对所述的驾驶位图像进行灰度化处理，然后在图像X方向及Y方向各选取一列并获取灰度值，对灰度值进行梯度计算，由于灰度图像中车窗边框处梯度变化非常明显，以此为依据对梯度进行大小比较，确定车窗上、下部分及右侧车窗边框梯度变化最大点的坐标值，然后以坐标点为参照对安全带检测区域进行切割；

4)检测到安全带识别区域后对是否佩戴安全带进行检测，采用BP神经网络算法对安全带检测区域图像的15种纹理特征进行分类识别，判断驾驶员是否佩戴安全带，输出未系安全带图像的原始图像、车牌图像信息等。

附图说明

图1是基于机器视觉的机动车前排未系安全带识别方法的工作流程图；

图2是Haar分类器部分正样本图像；

图3是Haar分类器部分负样本图像；

图4是提取的车牌图像；

图5是车辆二值图像；

图6是驾驶位图像；

图7是安全带区域图像。

具体实施方式

以下实施方式用于说明本发明，但不用来限制本发明的范围。

如图1所示的本发明的未系安全带识别系统及方法识别流程，本发明以高清卡口图像为基础，共包括3大处理模块：①车牌定位模块；②安全带区域定位模块；③安全带识别检测模块。

在本实施例中，车牌定位模块采用Haar分类器算法，利用大量样本训练获得的分类器对卡口图像进行车牌的定位，具体步骤如下：

1)分类器获取：以大量的车牌字头部分图像，即“省简称+市级代码”图像为正样本。以不含车牌的图像为负样本进行Haar分类器训练，部分样本图像如图2和图3中所示，获取分类器。该方法使用不仅保证了类Haar特征的有效性，而且减少了分类器训练时间，提高了分类识别的精确度。

2)对卡口图像进行预处理，包括图像削边、灰度化处理，中值滤波。对图像进行削边是为了消除图像边框的冗余数据，降低数据量，同时建立参照坐标系，便于后期处理；灰度化处理指将彩色图像转换成灰度值在0～255之间的灰度图像，这样有利于减少数据计算量，加快系统处理效率；中值滤波是图像增强的一种，对图像进行降噪。

3)在程序中加载分类器，实现对车牌的定位。分类器包含车牌的类Haar特征，分类器对图像信息进行比对，只有当所有类haar特征都符合车牌正样本信息时，才可实现车牌定位。

4)提取车牌图像并保存，保存的车牌图像如图4所示。

安全带区域定位模块，主要包括对车型的判定，对驾驶位图像的提取和对安全带检测区域图像的定位切割，具体步骤如下：

1)对削边的灰度化图像进行二值化处理，阈值设置为200，二值化图像如图5所示。

2)对图像5进行扫描：自上而下扫描，当灰度值为0的像素数大于300时，表示找到车辆图像上边界，记录行位置H_top；自下而上扫描，当灰度值为0的像素数大于300时，表示找到车辆图像下边界，记录行位置H_bottom。ΔH为High_bottom与H_high的差值，当ΔH大于图像高度的60％，视为大型车，否则为小型车。

3)使用车牌定位模块结果，以车牌中心为参照点，往图像上方偏移一定像素距离，切割驾驶位图像。大型车偏移量为500像素距离，小型车偏移量为300像素距离，切取大小为250像素*350像素的驾驶位图像，如图6所示。

4)对驾驶位图像进行灰度化处理，选取图像特定某一行及某一列为扫描线(特定行及列要保证在图像车窗范围内，本系统选用图像第125行及第60列为扫描线)，获取灰度值并计算变化梯度。梯度公式如下：

$\mathrm{\Δ}=\frac{\left(\mathrm{data}\right[j+1].p-\mathrm{data}[j].p)}{\mathrm{data}\left[j\right].p}$

其中，Δ表示梯度；data[j].p表示(j,125)处的灰度值，或在(60，j)处的灰度值。获得的部分样本的灰度值及梯度如表1所示：

表1部分样本灰度值及梯度表

根据梯度值，求出在车窗上部梯度最大点的坐标(pt1.x,pt1.y)，车窗下部梯度最大点的坐标(pt2.x,pt2.y)和右侧车窗梯度最大点坐标(pt3.x,pt3.y)。则安全带检测区域坐标原点可求：

rect.x＝pt3.x-120；

$\mathrm{rect}.y=\frac{\mathrm{pt}1.y+\mathrm{pt}2.y}{2}-55;$

根据坐标原点获取安全带区域图像，大小为70像素*60像素，如图7所示。

安全带检测模块采用BP神经网络算法对安全带区域图像进行分类识别。其中输入量为安全带区域图像的15个纹理特征，包括：小梯度优势、大梯度优势、灰度分布的不均匀性、梯度分布的不均匀性、能量、灰度平均、梯度平均、灰度均方差、梯度均方差、相关性、灰度熵、梯度熵、混合熵、惯性、逆差矩。部分样本的纹理特征如图2和图3中所示，如果司机未佩戴安全带，输出原始监控图像及车牌信息。

表2部分样本纹理特征统计表

目前，在交通违法检测中，尚未实现未系安全带违章的自动化处理。本系统及方法能够简单有效地快速识别驾驶员是否佩戴安全带。提高我国交通智能化水平，促进我国智能交通事业的快速发展。

以上所述及图中所示仅为本发明的优选实施方式。在不脱离本发明的精神和范围的情况下做出的各种变化和变型、所有等同的技术方案也属于本发明的范畴。

Claims (8)

1.一种基于机器视觉的机动车前排未系安全带识别系统，包括车牌定位分割模块，安全带区域定位模块和安全带识别检测模块，其特征在于：所述车牌定位模块检测到车牌后对车牌进行提取，然后根据二值图像判断车型大小，往图像上方采用所述安全带定位模块实现安全带检测区域的获取，然后采用安全带识别模块对司机是否佩戴安全带进行识别。

2.如权利要求1所述的基于机器视觉技术的机动车前排未系安全带识别系统，其特征在于：其中所述的车牌定位分割模块实现对车牌的精准定位及分割，获取车牌图像信息，其中车牌精准定位采用Haar分类器算法，基于Haar特征对图像中的车牌进行检测分割。

3.如权利要求1或2所述的基于机器视觉技术的机动车前排未系安全带识别系统，其特征在于：其中所述的安全带区域定位模块对车型大小的判断采用二值化图像判别法，首先对图像进行二值化处理，然后对车辆二值化图像进行边界扫描并计算车型图像在整幅图像中所占比例，以车牌中心线为参照，根据车型大小往图像上方偏移一定距离切取车辆右部分驾驶位图像。

4.如权利要求3所述的基于机器视觉技术的机动车前排未系安全带识别系统，其特征在于：其中所述的安全带区域定位模块利用已定位的车牌中心为参考，根据车型大小分别实现对不同车型的驾驶位车窗定位，然后对安全带检测区域进行分割，获取安全带检测区域图像。

5.如权利要求4所述的基于机器视觉技术的机动车前排未系安全带检测系统，其特征在于：其中所述的安全带区域定位模块对车窗定位采用的是三点定位法，对所述的驾驶位图像进行灰度化处理，然后在图像X方向及Y方向各选取一列并获取灰度值，对灰度值进行梯度计算，由于灰度图像中车窗边框处梯度变化非常明显，以此为依据对梯度进行大小比较，确定车窗上、下部分及右侧车窗边框梯度变化最大点的坐标值，然后以坐标点为参照对安全带检测区域进行切割。

6.如权利要求1所述的基于机器视觉技术的机动车前排未系安全带识别系统，其特征在于：其中所述的安全带识别模块采用BP神经网络算法对安全带检测区域图像的15种纹理特征进行分类识别，输出包括未系安全带图像的原始图像、车牌图像信息。

7.如权利要求6所述的基于机器视觉技术的机动车前排未系安全带识别系统，其特征在于：所述的安全带检测区域图像的15种纹理特征包括小梯度优势、大梯度优势、灰度分布的不均匀性、梯度分布的不均匀性、能量、灰度平均、梯度平均、灰度均方差、梯度均方差、相关性、灰度熵、梯度熵、混合熵、惯性、逆差矩。

8.一种基于机器视觉的机动车前排未系安全带识别方法，其特征在于包括以下步骤：

1)对图像中的车辆车牌进行识别提取，其中车牌精准定位采用Haar分类器算法，基于Haar特征对图像中的车牌进行检测分割；

2)对车辆车型进行判别，对车型大小的判断采用二值化图像判别法，首先对图像进行二值化处理，然后对车辆二值化图像进行边界扫描并计算车型图像在整幅图像中所占比例，以车牌中心线为参照，根据车型大小往图像上方偏移一定距离切取车辆右部分驾驶位图像；

3)对安全带检测区域图像进行检测，利用已定位的车牌中心为参考，根据车型大小分别实现对不同车型的驾驶位车窗定位，然后对安全带检测区域进行分割，获取安全带检测区域图像，另外，对车窗定位采用的是三点定位法，对所述的驾驶位图像进行灰度化处理，然后在图像X方向及Y方向各选取一列并获取灰度值，对灰度值进行梯度计算，由于灰度图像中车窗边框处梯度变化非常明显，以此为依据对梯度进行大小比较，确定车窗上、下部分及右侧车窗边框梯度变化最大点的坐标值，然后以坐标点为参照对安全带检测区域进行切割；

4)检测到安全带识别区域后对是否佩戴安全带进行检测，采用BP神经网络算法对安全带检测区域图像的15种纹理特征进行分类识别，输出未系安全带图像的原始图像、车牌图像信息等。