CN107766802A

CN107766802A - 一种机动车前排驾乘人员未扣安全带的自适应检测方法

Info

Publication number: CN107766802A
Application number: CN201710904842.3A
Authority: CN
Inventors: 莫文英; 高鹰
Original assignee: Guangzhou University
Current assignee: Guangzhou University
Priority date: 2017-09-29
Filing date: 2017-09-29
Publication date: 2018-03-06
Anticipated expiration: 2037-09-29
Also published as: CN107766802B

Abstract

本发明公开了一种机动车前排驾乘人员未扣安全带的自适应检测方法，该方法包括如下步骤：读取道路卡口图片后通过定位车牌，初步确定车辆前挡风玻璃区域；将挡风玻璃区域分为主驾驶区域和副驾驶区域；精确定位主驾驶和副驾驶的挡风玻璃区域；计算主驾驶安全带检测区域和副驾驶安全带检测区域，分别记作MBelt和SBelt；分别对MBelt和SBelt做canny边缘提取，过滤背景噪声；提取疑似安全带斜线；疑似安全带斜线段做连接处理。本发明以机器视觉自动检测替代人眼检测，完成对大量卡口图片及视频图像中驾乘人员安全带佩戴的检测工作，节省了大量的人力与物力，有利于推动“智慧城市”建设。

Description

一种机动车前排驾乘人员未扣安全带的自适应检测方法

技术领域

本发明涉及驾驶人员安全带检测，特别是涉及一种机动车前排驾乘人员未扣安全带的自适应检测方法；具体涉及一种对道路交通卡口视频及图像中车辆前排驾乘人员安全带佩戴情况的自动检测方法，属于数字图像处理与模式识别技术的机器视觉领域。

背景技术

安全带是机动车在行驶过程中发生碰撞时用于保障驾驶员以及乘客免于二次碰撞伤害的重要保护设施。车辆行驶过程中，驾乘人员佩戴安全带能有效降低交通事故的死亡率,作用重大。检测行驶车辆中驾乘人员是否佩戴安全带具有重要意义。在一般的道路卡口视频及图像中，车辆前排驾乘人员的安全带佩戴情况基本上是可视的。目前相关执法部门检测机动车前排人员是否佩戴安全带的主要方法还是依靠人工逐张图片检查，此方法需耗大量的人力与物力，并且由于长时间盯着屏幕看着相似的内容，人眼很容易产生视觉疲劳，因而会导致大量的错检、漏检情况。再者，人工检测准确性与有效性与其工作的积极性关系密切，且因人而异，因此，结果难以把握。

中国发明专利2014104425941公开了一种基于间隔最大化多示例字典学习的方法来对驾驶员是否系安全带进行检测识别。将数据集中的右半车挡风玻璃包含驾驶员部分作为输入要处理的图像，对每一幅图像获取特征向量表示，用间隔最大化多示例对训练数据集进行字典学习过程，对训练数据集中每一类聚类之后分别训练多类SVM分类器得到分类模型，然后用得到的字典对训练数据进行编码，用编码之后的特征向量训练分类器，最后利用训练好的分类器对待识别的图像进行检测和识别，判断待识别的图像中是否有带安全带。本发明安全带检测与识别过程简单易行，推广能力强，检测识别准确率高，速度较快，且能够有效克服光照、噪声等不利因素的影响。但该技术存在训练过程长，训练样本的建立会出现不能穷尽各种安全带扣带形式的问题，因此必然造成检测过程中会有很多样本漏检。

中国发明专利申请2015101162506公开了一种基于深度学习的安全带佩戴识别方法，包括如下步骤：1)前排乘客区域定位及图像预处理。利用RGB色彩空间下车牌图像中白色像素在蓝色像素点内所占比例来确定车牌位置；根据车牌位置，结合hough直线检测，确定车窗区域W(x,y,w,h)；在车窗区域中，采用haar特征空间来检测人脸，如果能检测到人脸，则根据人脸区域，确定前排乘客区域C，如果未能检测到人脸，则对车窗区域范围作进一步缩小，并将车窗区域分为主驾驶区域和副驾驶区域，作为前排乘客区域C。对前排乘客区域进行图像预处理，获得处理后的前排乘客区域图像C'；2)感兴趣区域获取；3)模型数据集建立；4)深度学习算法模型建立；5)安全带佩戴识别。本发明抗干扰能力较强，检测方式新颖。但是该技术存在车牌定位方法的缺陷，目前的车牌除了蓝底白字的情况，还有黄底黑字(大型车)、白底红字加白底黑字(军警车辆)等，农用车则是绿底的，因此该技术对这些车辆均不能适用。在RGB色彩空间，车牌颜色在不同的环境光照下会出现严重干扰，其前景与背景的颜色中心位置会大幅度漂移，光照不足时均会判断成黑色，此方法定位车牌会造成大量的车牌丢失或错误定位。Hough直线检测对于实际的卡口图片的挡风玻璃边界检测效果比较差，原因是这些图片由于挡风玻璃上缘具有一定的半透明喷涂带以及反光的影响，其边界是不清晰的，很多情况下Hough方法检不出直线，造成Hough直线检测失败；使用Haar小波检测人脸，对于挡风玻璃下的人脸在很多情况下是完全无效的，因为挡风玻璃高反光、驾驶舱区域低照度、拍摄位置居高致使只有半张脸可以观测到等原因，Haar检测在这些情况下均无作用。因此，该技术安全带检测的前置条件在很多情况下是无法满足的，造成无法检测出安全带。

发明内容

本发明的目的是解决现有依靠人眼逐张检测行驶中车辆前排驾乘人员是否佩戴安全带耗费大量人力物力的问题，以及解决现有机器识别安全带技术中存在大量漏检的问题，提供了一种高准确率，避免漏检的车辆前排驾乘人员安全带佩戴自动检测方法。

本发明通过图像理解的方法解决安全带佩戴人工检测问题，用机器视觉代替人眼，实现安全带佩戴状态自动检测。

本发明通过如下技术方案实现：

一种机动车前排驾乘人员未扣安全带的自适应检测方法，包括如下步骤：

(1)读取道路卡口图片后通过定位车牌，初步确定车辆前挡风玻璃区域；

(2)计算车牌的横向中心坐标，以横向中心作为分界线，将挡风玻璃区域分为主驾驶区域和副驾驶区域；

(3)分别提取主驾驶区域和副驾驶区域的挡风玻璃边界特征，精确定位主驾驶和副驾驶的挡风玻璃区域；

所述的精确定位主驾驶和副驾驶的挡风玻璃区域的方法包括如下步骤：

31)对主驾驶区和副驾驶区域的图像做灰度变换，然后使用式(1)中的Sobel算子提取图像边缘，通过形态学滤波结合水平方向投影，定位挡风玻璃的上下边界；

32)对主驾驶区和副驾驶区域的灰度图像做canny梯度运算，然后分别使用式(2)、式(3)滤波算子对主驾驶和副驾驶的梯度图像做背景滤波，再结合形态学滤波及垂直方向投影，定位挡风玻璃的左、右边界，完成驾驶区和副驾驶区域挡风玻璃区域的精确定位；

(4)分别对主驾驶区和副驾驶区域做人脸检测，根据检测到的人脸坐标计算主驾驶安全带检测区域和副驾驶安全带检测区域，分别记作MBelt和SBelt；

(5)若主驾驶区域未能检测出人脸，则根据驾驶座位与挡风玻璃边界的相对位置关系计算MBelt；若副驾驶区域未能检测出人脸，则不对副驾驶区域做安全带检测处理；

(6)分别对MBelt和SBelt做canny边缘提取，然后使用滤波算子和根据安全带近似斜线的特征过滤背景噪声；

(7)根据车牌宽度计算斜线算子的大小，自适应生成合适的安全带斜线算子，使用安全带斜线算子对步骤(6)滤噪后的图像做三次遍历叠加运算，提取疑似安全带斜线；

(8)对断裂的处于同一直线位置上的疑似安全带斜线段做连接处理；

(9)根据自适应长度阈值确认安全带斜线，完成安全带自动检测。

为进一步实现本发明目的，优选地，步骤(1)所述的初步确定车辆前挡风玻璃区域的方法包括如下步骤：

11)先使用车牌定位技术定位车牌位置，获取车牌所在图片中坐标值和车牌宽度PL；

12)根据大型车、小型车的一般车型结构和比例，定位车辆前挡风玻璃的大概区域，并从图像中把该区域分割出来。

优选地，步骤(4)中所述人脸检测是需根据车牌的宽度计算出合理的人脸大小取值区间，过滤检测结果中的虚警。

优选地，所述人脸检测使用Viola-Jones算法进行。

优选地，步骤(6)中所述的过滤背景噪声的方法是对MBelt的canny边缘图像使用公式(3)滤波算子滤波，对SBelt的canny边缘图像使用公式(2)滤波算子滤波，再结合形态学特征滤除细碎的边缘线段，滤除背景噪声。

优选地，步骤(7)所述的提取疑似安全带斜线段方法如下：

71)安全带斜线算子分为两组，一组是主驾驶安全带检测算子，另一组是副驾驶安全带检测算子，每组分别由3个算子组成，每个算子都是一个n×n二值矩阵，算子的大小n根据公式(4)计算获得的不同倾斜度和一定宽度的斜线，其中主驾驶安全带检测算子的倾斜度分别是45°、53°和37°，副驾驶安全带检测算子的倾斜度分别是135°、143°和127°；

n＝[αLP+0.5] (4)

其中的LP表示车牌的宽度，以像素为单位，α取值0.147；

72)三次遍历叠加运算是指使用相对应的检测算子组对完成步骤(6)处理后的主、副驾驶安全带检测区域图像进行滑动检测运算，设定阈值为0.8n,对结果大于阈值的区域用倾斜度与当前算子一致的宽度为1个像素的斜线模板替换，否则转化为背景；

一组算子是3个，共计三次遍历；

将完成不同倾斜度算子检测后的3个图像进行叠加，完成疑似安全带斜线提取。

相对于现有技术，本发明具有如下优点：

1)本发明提供一种针对道路卡口图片中车辆前排驾乘人员安全带佩戴自动检测方法。目前在该领域中，使用图像处理方法检测安全带的效果不佳，识别率低，根本原因在于现有方法难以解决由于反光，或者拍摄距离较远时图像中前排驾乘人员模糊不清和安全带颜色与服装颜色对比度不鲜明的情况，而实际上这样的图片是大量存在的。本发明在定位安全带检测区域的情况下，提取canny精细边缘，使得不清晰的安全带斜线边缘都能提取出来，由于边缘提取时安全带斜线上会粘连着很多毛边噪声。为了避免因受这些噪声的影响而把安全带斜线误当噪声处理，本发明设计了具有一定宽度的斜线算子，使得只要在算子有效区域内呈直线状态的像素均被保留下来，而它周围粘连着的毛边噪声则被全部滤除。再考虑到不同人员坐姿习惯各异，造成图像中安全带倾斜的角度差异，本发明设计了3种倾斜度的斜线算子，充分照顾到不同的情况。

2)本发明可直接应用到各种卡口实际图像中的安全带检测，免去了提前训练的大量时间消耗，更具实用性。并且本发明对于驾乘人员安全带检测区域的定位不仅仅依靠人脸检测的现有算法，在现有人脸检测算法无法检测出人脸的情况下，利用挡风玻璃的边界位置信息确定驾乘人员的大概区域，避免了大量的漏检情况。本发明应用于实际情况中各种复杂图片的安全带检测，识别率高于现有方法，具有明显优势。

3)本发明方法不需要训练，克服了中国发明专利2014104425941的不足；而且更为重要的是，本发明还可以检测主驾驶和副驾驶未扣安全带的情况，而中国发明专利2014104425941对副驾驶未扣安全带的情况则完全不能检测。

4)本发明方法则在车牌定位考虑了不同车型的不同车牌颜色，并在YCrCb高抗噪空间实现，对外界光照干扰的抗噪能力强，并通过直接对安全带区域使用检测算子扫描前排驾乘人员区域直接检测，同时提取车辆挡风玻璃区域考虑到半透明带和噪声干扰，避免了中国发明专利申请2015101162506的不足。

总体而言，本发明使用机器视觉技术，从图像信息区域提取佩戴安全带的图像特征，实现车辆前排驾乘人员安全带佩戴情况的自动检测，与上述现有技术相比较，本发明在车牌定位、驾乘人员区域定位、副驾驶安全带检测、适用范围、检测的及时性(无需训练过程)等方面均有明显优势。

附图说明

图1为基于自适应斜线算子的安全带自动检测方法流程图。

具体实施方式

为了更好地理解本发明，下面结合附图对本发明做进一步的说明，但本发明的实施方式不限如此。

如图1所示，一种机动车前排驾乘人员未扣安全带的自适应检测方法，包括如下步骤：

1)读取道路卡口图片后通过定位车牌，初步定位车辆前挡风玻璃区域；其中，读取道路卡口图片是读取待处理图像，将图像数据读取到变量中。

初定位车辆前挡风玻璃区域是根据车牌的位置，推断挡风玻璃的大致区域。初步定位车辆前挡风玻璃区域方法如下：先使用车牌定位技术定位车牌位置，获取车牌所在图片中的坐标值和车牌宽度LP(LP以像素为单位)；以车牌的宽度作为标尺，结合大型车、小型车的一般车型结构和比例，定位车辆前挡风玻璃的大致区域，并从图像中把该区域分割出来。

2)计算车牌的横向中心坐标，以横向中心坐标作为分界线将挡风玻璃区域分为主驾驶区域和副驾驶区域；

3)分别提取主驾驶区域和副驾驶区域的挡风玻璃边界特征，精确定位主驾驶和副驾驶的挡风玻璃区域；

精确定位主驾驶和副驾驶的挡风玻璃区域的具体方法说明如下，这时处理对象为在实际交通卡口图片完成挡风玻璃粗定位后分割出来的主驾驶区域：

对主驾驶和副驾驶区域图像做灰度变换，然后使用式(1)中的Sobel算子(但不限于此)提取图像边缘。以像素行为单位，对该处理结果的每一行进行统计，对于连续像素少于6个(但不限于此)的直线予以滤除，目的是过滤大量的非挡风玻璃上下边缘的背景噪声。对留下来的线段中断裂距离较短的线段做连接处理，形成较长的边缘线。再对线段中垂直距离少于阈值0.33LP(但不限于此)的线段做垂直方向连接，然后做垂直方向的直方图投影，提取直方图的峰值排序，最大与次大边界值之间为挡风玻璃区域。

对主驾驶、副驾驶区域的灰度图像做canny梯度运算，然后分别使用式(2)、(3)滤波算子对主、副驾驶的梯度图像做背景滤波。以主驾驶为例，挡风玻璃的侧边界线是向左倾斜的，使用滤波算子(2)做卷积运算，用卷积前的图像与卷积后的图像相减，滤除向右连接的像素，这样图像中向右倾斜的边缘线都断裂成比较短的线段。然后通过形态学滤波，即将高度小于0.5LP且宽度小于0.2LP的线段滤除。将滤噪后的结果做水平方向直方图投影，提取直方图的最大值，确定为挡风玻璃的右边界，完成主驾驶挡风玻璃区域的精确定位，副驾驶挡风玻璃区域精确的定位方法原理与主驾驶一致；

4)分别对主驾驶和副驾驶区域做人脸检测，根据检测到的人脸坐标计算主驾驶安全带检测区域和副驾驶安全带检测区域，分别记作MBelt和SBelt；其中，人脸检测优选使用Viola-Jones算法(但不限于此，如人脸模板匹配，ASM，AAM方法)进行检测，根据车牌的宽度计算出合理的人脸大小取值区间，对于不满足取值区间的人脸虚景予以滤滤除。

人脸宽度的取值范围根据公式(4)计算获得，其中β₁和β₂分别取值为0.22和0.36，该取值是本发明根据大量实际图像处理实验获得的经验值；

[β₁LP,β₂LP] (4)

5)若主驾驶区域未能检测出人脸，则根据驾驶座位与挡风玻璃边界的相对位置关系计算MBelt；若副驾驶区域未能检测出人脸，则不对副驾驶区域做安全带检测；

定位主、副驾驶安全带检测区域分两种情况，一是主、副驾驶区域能检测出人脸，获取人脸以下的局部区域确定为安全带检测区域；二是主、副驾驶区域未能检测出人脸的情况，此时，主驾驶区域根据挡风玻璃边界位置来确定检测区域。由于挡风玻璃区域可能会非常模糊，再加上驾驶员的脸是几乎是180^。的侧脸，人脸检测算法无法检测出人脸，通过对大量实际卡口图片的观察经验，根据挡风玻璃上边界与侧边界具体位置能够比较准确地定位安全带的有效检测区域MBelt，而副驾驶区域则不作安全带检测处理。

6)分别对MBelt和SBelt做canny边缘提取，获取检测区域的精细边缘。然后使用滤波算子和根据安全带斜线特征过滤背景噪声；其中，滤噪方法是对MBelt的canny边缘图像使用式(3)滤波算子滤波，对SBelt的canny边缘图像使用式(2)滤波算子滤波，再结合形态学特征滤除细碎的边缘线段，实现大量背景噪声的滤除，操作原理与本具体实施方式中步骤3)中提取挡风玻璃右侧边界线的方法一致；

7)根据车牌宽度计算斜线算子的大小，自适应生成合适的安全带斜线检测算子，使用斜线算子对步骤6)滤噪后的图像做三次遍历叠加运算，提取疑似安全带斜线段；

提取疑似安全带斜线的方法如下：

安全带斜线算子分为两组，一组是主驾驶安全带斜线提取算子，另一组是副驾驶安全带斜线提取算子，每组分别由3个算子组成，每个算子都是一个n×n的二值矩阵，算子的大小n可以根据公式(4)计算获得；

n＝[αLP+0.5] (5)

上述公式(5)中的LP表示车牌的宽度，以像素为单位，根据目前的卡口图片的统计分辨率，我们选择检测算子的尺度为25，即LP宽度的五分之一。由于不同交通卡口图片的分辨率以及图片中车辆拍摄距离的远近是不一样的，而从图片中提取的安全带斜线的长度是以像素为单位的，因此不同的卡口图片提取的安全带斜线的整体长度会有较大差异。又因为车牌是统一制作的，尺寸一致，且相对容易检测。因此，以图片中的车牌宽度作为标尺调整检测算子的大小以保证适用于不同卡口图片的安全带检测。α取值0.147(但不限于此α的取值是通过大量的实验统计获得，对实际的图片能达到较好的噪声滤除以及安全带斜线提取效果)。

检测算子是由0、1矩阵构成，0表示背景，1表示前景。根据25*25个大小的检测算子中前景部分就是一条3个像素宽的斜线，设计宽算子是考虑到受光照不均、阴影、遮挡等因素带来的噪声影响，从实际图片中提取出来的安全带斜线并非倾斜的绝对直线，该安全带斜线就是一条局部失真，整体呈近似45°的斜线，具备一定宽度的斜线算子可以覆盖失真的安全带斜线，从而提取出该有效数据。然而算子的宽度又并非越宽越有利的，因为过宽的算子会把大量的背景噪声包含进来。本实例算子的斜线宽度是经过大量的实验优选出来的，对提取实际图像中的安全带斜线有较好的效果。另一方面，由于受驾乘人员的坐姿习惯、拍摄角度等的影响，导致安全带变形，其倾斜程度有一定的差异，很多情况下，一条安全带斜线上的局部倾斜度都是有差异的。为解决这个问题，本实施例对同一侧安全带检测采用3种不同倾斜度的检测算子，其中主驾驶安全带检测算子的倾斜度分别是45°、53°和37°(本实施例优选该角度，但不限于此)，副驾驶安全带检测算子的倾斜度分别是135°、143°和127°(本实施例优选该角度，但不限于此)。这样形成两组算子；遍历叠加运算在本实施方式是三次遍历叠加运算，是指使用相对应的检测算子组对完成步骤(6)处理后的主驾驶、副驾驶安全带检测区域图像进行遍历，对结果大于设定阈值0.8n的区域使用当前算子倾斜度且宽度为1个像素的斜线替换，否则转化为背景。一组算子是3个，因此是三次遍历。将3个使用不同倾斜度算子做安全带检测后的图像进行叠加，完成疑似安全带斜线提取。

具体而言，对主驾驶安全带检测，使用斜率为37°、45°和53°的斜线算子。分别使用这三种斜率的算子先后对当前滑动窗内的图像数据做点乘运算，然后对三个结果横向求和，并对求和结果做二值化处理，阈值取1。接着是对二值化后的矩阵求和，获得各斜线算子对该图像当前处理区域的安全带斜线提取结果。对于斜率等于37°的斜线算子的计算结果须乘以系数1.1(但不限于此)。比较出三个结果中的最大值，如果最大值小于斜线算子高度的80％(但不限于此)，即认为图像的当前处理区域无安全带斜线，否则，将提取结果的最大值所对应的斜线算子模板叠加于与主驾驶安全带识别处理区域图像尺寸相等的空白背景图像中的相应区域，斜线算子模板线宽等于1个像素。通过滑动窗如此重复，直到滑动窗遍历结束后，将图像做二值化处理，阈值取1。

8)对断裂的基本处于同一直线位置上的疑似安全带斜线段做连接处理；断裂安全带斜线连接通过计算各疑似安全带斜线的斜率，对斜率基本相等的斜线再计算其连接线的斜率，如果连接线斜率也与两斜线斜率基本相等，即可将两斜线首尾相连。目的是为了避免安全带被遮挡产生的断裂，由于长度没有达到阈值而被当噪声滤除。

9)根据自适应长度阈值确认安全带斜线，完成安全带自动检测。

目前在车辆前排驾乘人员安全带佩戴自动识别技术领域中对于驾乘人员安全带佩戴识别的效果不佳，识别率较低，漏检率高。根本原因有两个：一是受驾乘人员动作的影响，安全带存在局部被遮挡和一定程度的变形、弯曲；二是驾乘人员穿着的服饰的颜色和图案多种多样，使得识别安全带的背景相当复杂，这是安全带识别效果不佳的最重要原因。本发明则从根本上解决上述问题，大幅度降低高噪声背景和安全带变形失真的影响。对超过10000个以上实际卡口图片的安全带检测，识别准确率达到91.6％。本发明以机器视觉自动检测替代人眼检测，完成对大量卡口图片及视频图像中驾乘人员安全带佩戴的检测工作，识别准确率，节省了大量的人力与物力，有利于推动“智慧城市”建设；相比现有方法，具有明显优势。

Claims

1.一种机动车前排驾乘人员未扣安全带的自适应检测方法，其特征在于包括如下步骤：

2.根据权利要求1所述的一种机动车前排驾乘人员未扣安全带的自适应检测方法，其特征在于，步骤(1)所述的初步确定车辆前挡风玻璃区域的方法包括如下步骤：

3.根据权利要求1所述的一种机动车前排驾乘人员未扣安全带的自适应检测方法，其特征在于，步骤(4)中所述人脸检测是需根据车牌的宽度计算出合理的人脸大小取值区间，过滤检测结果中的虚警。

4.根据权利要求3所述的一种机动车前排驾乘人员未扣安全带的自适应检测方法，其特征在于，所述人脸检测使用Viola-Jones算法进行。

5.根据权利要求1所述的一种机动车前排驾乘人员未扣安全带的自适应检测方法，其特征在于，步骤(6)中所述的过滤背景噪声的方法是对MBelt的canny边缘图像使用公式(3)滤波算子滤波，对SBelt的canny边缘图像使用公式(2)滤波算子滤波，再结合形态学特征滤除细碎的边缘线段，滤除背景噪声。

6.根据权利要求1所述的一种机动车前排驾乘人员未扣安全带的自适应检测方法，其特征在于，步骤(7)所述的提取疑似安全带斜线段方法如下：

n＝[αLP+0.5] (4)

其中的LP表示车牌的宽度，以像素为单位，α取值0.147；

一组算子是3个，共计三次遍历；