CN107944341A - 基于交通监控图像的司机未系安全带自动检测系统 - Google Patents

基于交通监控图像的司机未系安全带自动检测系统 Download PDF

Info

Publication number
CN107944341A
CN107944341A CN201711024522.5A CN201711024522A CN107944341A CN 107944341 A CN107944341 A CN 107944341A CN 201711024522 A CN201711024522 A CN 201711024522A CN 107944341 A CN107944341 A CN 107944341A
Authority
CN
China
Prior art keywords
safety belt
driver
detection
region
car plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711024522.5A
Other languages
English (en)
Inventor
扆冰礼
车雨琴
扆冰蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingmen Chengyuan Electronic Technology Co Ltd
Original Assignee
Jingmen Chengyuan Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingmen Chengyuan Electronic Technology Co Ltd filed Critical Jingmen Chengyuan Electronic Technology Co Ltd
Priority to CN201711024522.5A priority Critical patent/CN107944341A/zh
Publication of CN107944341A publication Critical patent/CN107944341A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供的基于交通监控图像的司机未系安全带自动检测系统，包括安全带待检测区域提取模块和司机是否系安全带判别模块；所述安全带待检测区域提取模块包括车牌检测子模块、司机区域提取子模块、图像增强子模块、人脸检测子模块和安全带检测区域提取子模块；司机是否系安全带判别模块采用以直线检测为基础的安全带判别方法，直线检测为基础的安全带判别方法使用Canny边缘检测算法和累计概率霍夫变换直线检测算法检测安全带的边缘直线段。本发明能够准确快速的对司机未系安全带的行为进行检测记录，有效解决了人工识别人力成本高，易疲劳，易疏忽等弊端，有效抑制司机未系安全带上路行为的发生。

Description

基于交通监控图像的司机未系安全带自动检测系统
技术领域
本发明涉及一种司机未系安全带自动检测系统，特别涉及基于交通监控图像的司机未系安全带自动检测系统，属于道路交通违法行为智能监测处理技术领域。
背景技术
汽车安全带是一种车辆安全装置，它的目的是在汽车发生碰撞或突然停车时防止人体发生可能会导致人员伤亡的有害运动。安全带的功能是通过减少人体与汽车内部发生碰撞时的二次冲击来减少交通事故中的死亡率及严重受伤的可能性。通过保持佩戴者的正确位置可以使安全气囊发挥最大的效能，并且能在车辆发生碰撞防或翻转时防止驾乘人员被弹出车外。在行进过程中，司机和乘客行进速度与汽车的相同。如果汽车突然停止，司机和乘客将会保持汽车停止前的速度。安全带给司机和乘客一个相反的力，以防止他们被甩出车外或者与汽车内部发生碰撞。
行车过程中不使用安全带是造成道路交通伤害及驾乘人员死亡的主要危险因素。当机动车辆发生碰撞发生时，没有系安全带的驾乘人员将继续以与该车辆在发生碰撞之前相同的速度向前移动，并且将被向前弹到车辆的前面板上，如果是司机最可能撞向方向盘。另外，不使用安全带可能会导致司机或乘客被完全从车辆中甩出，大大增加了重伤或死亡的风险。佩戴安全带可以降低司机和前排乘客40-50％受致命伤的风险，对于后座乘客则可以降低25-75％。《中华人民共和国道路交通安全法》第五十一条规定：机动车行驶时，驾驶人、乘坐人员应当按规定使用安全带。人们对行车过程中佩戴安全带的意识还不足，在加大宣传力度的同时，加大监管力度也是现如今所迫切需要的。
由此可见系安全带对于保障司机和乘客的生命安全具有至关重要的作用，但在现实生活中，未系安全带的事件屡屡发生，人们对行车过程中佩戴安全带的意识还不足，在加大宣传力度的同时，加大监管力度也是现如今所迫切需要的。对于该违法行为，现有技术使用的道路违章监控系统并没有给出有效解决方法，出现了电子执法的盲区，虽然随着道路上监控摄像头的增加与覆盖范围的完善，交警可以对路上的行车进行更有效的监管。其中车牌的检测与识别、超速驾驶、闯红灯等都可以由计算机自动完成识别，但在对驾乘人员使用安全带情况的监管方面，现阶段仍然以人工识别为主，效率低下并且耗费人力，这不仅增加了额外的行政支出成本，而且无法保证执法的全面性和及时性。基于交通监控图像的司机未系安全带自动检测系统可以对道路上的司机未系安全带的事件进行实时监控，自动捕获车辆信息和记录司机未系安全带的行为，能减少监管时的人力投入并且提高效率，使司机自觉遵守交通规则，减少交通事故的伤亡，具有非常好的应用前景和市场价值。
目前，随着智能交通系统的快速发展，越来越多的研究人员和研究企业投入到基于交通监控图像的司机未系安全带检测系统的开发中来，就目前的研究现状来看，该系统的关键在于两个步骤，一是车内司机定位，二是是否系安全带的判别。
但是，对于未系安全带自动检测这一领域的应用，现有技术在交通实际场景中应用较少。现有技术在实现未系安全带自动检测上存在着一些困难：一是高质量图像获取困难，由于不同拍摄的道路环境差异、机动车车窗材料的差异、天气与光照的影响，导致难以获取优质的图像数据，大大提高了识别的难度；二是待检测目标识别困难:安全带的位置在大货车与小汽车中有很大的区别，各人佩戴安全带的方式习惯各有不同，这会造成安全带区域定位的误差，引起错误的识别；三是司机所穿衣服的某些颜色、条纹均会对识别造成影响，降低识别的正确率；四是在实际监控场景中，存在着很多外界因素变化的干扰，如环境的光照变化，包括光照渐变和光照突变等；运动变化，恶劣天气导致的摄像机位置抖动和树叶、波纹等背景物体的周期性运动等，背景形态的变化，这一点在未系安全带自动检测的交通场景中表现的尤为突出；五是在车辆检测也依然存在许多难点，包括动态场景的影响，在实际交通监控场景中，背景图像往往并非静止的，容易导致大范围的复杂干扰，严重增加了车辆检测的难度；遮挡粘连的影响，物体之间的遮挡会造成物体彼此粘连，这些都会给目标跟踪中的特征匹配造成困难，视频图像存在多个物体时，难免会存在彼此间的遮挡粘连，进而对车辆跟踪造成干扰；六是实现未系安全带自动检测系统的整体设计难度较大，系统的架构设计、概要设计、软件功能实现都较为复杂。系统可扩展性、功能相对独立、稳定性要求高。取证要求车辆特征可辨率高，系统要求高清网络球机，对目标车辆拉近后可辨别车牌号码，球机控制速度，响应速度，抓拍操作流畅度都有很高要求。
发明内容
针对现有技术的不足，本发明提供的基于交通监控图像的司机未系安全带自动检测系统，主要针对城市道路、高速公路等各种交通场景，对司机未系安全带的行为进行高效准确的自动检测，是安全带检测、人脸识别和车牌检测等技术的全新研究与应用。本系统通过计算机视觉代替人工视觉，通过计算机图像识别代替人工识别，体现机器连续、准确、高效的工作优势。能够准确、快速地对司机未系安全带的行为进行检测记录，一体化设计便于使用，有效解决了人工识别人力成本高，易疲劳，易疏忽等弊端，有效抑制司机未系安全带上路行为的发生。该系统采用了多线程、模块化的设计方法，本发明对系统的架构设计、概要设计、软件功能实现都进行了详尽的论述和设计。在好天气或者坏天气等不同天气状况下对系统进行了测试，测试结果表明系统抓拍准确率在87％以上，系统可扩展性强、功能相对独立、稳定性强。有效解放警力，提高违法抓拍效率，培养司机系安全带驾车的良好习惯。
为达到以上技术效果，本发明所采用的技术方案如下：
基于交通监控图像的司机未系安全带自动检测系统，包括安全带待检测区域提取模块和司机是否系安全带判别模块；所述安全带待检测区域提取模块包括车牌检测子模块、司机区域提取子模块、图像增强子模块、人脸检测子模块和安全带检测区域提取子模块；所述司机是否系安全带判别模块采用以直线检测为基础的安全带判别方法，所述以直线检测为基础的安全带判别方法使用Canny边缘检测算法和累计概率霍夫变换直线检测算法检测安全带的边缘直线段，具体为由安全带待检测区域提取模块中人脸检测子模块检测到的人脸位置与大小，提取出人脸右侧正方形区域与下侧的长方形区域，分别进行Canny边缘检测，之后将两个区域合并起来并做适当膨胀操作后使用累计概率霍夫变换进行线段检测，最后对所检测到的线段进行条件判别来区分是否系安全带。
基于交通监控图像的司机未系安全带自动检测系统，进一步的，所述车牌检测子模块采用Roberts边缘检测算子进行车牌检测，车牌检测简要步骤为：
第一步，对待检测图片进行固定比例缩放，后使用Roberts算子进行梯度求取；
第二步，进行二值化处理；
第三步，进行形态学操作；
第四步，连通区轮廓提取；
第五步，以先验知识对所提取出来的矩形框进行筛选定位车牌。
基于交通监控图像的司机未系安全带自动检测系统，进一步的，所述司机区域提取子模块根据车牌颜色确定车型，并根据先验知识与车牌的位置、大小定位司机区域，具体为：
先以车牌位置与大小初步定位司机区域，
司机区域左上角横坐标＝车牌左上角横坐标+0.5×车牌宽度；
司机区域左上角纵坐标＝车牌左上角纵坐标–3.9×车牌宽度；
司机区域右下角横坐标＝车牌左上角横坐标+2.3×车牌宽度，且需使司机区域宽度在400像素以下；
司机区域右下角纵坐标＝车牌左上角纵坐标–1.5×车牌宽度，且需使司机区域高度在300像素以上；
后将车牌区域映射到HSV色彩空间，根据区域占比最多的颜色来获取车牌底色，且其占总像素数比重需超过限定值，否则判为非车牌，根据牌照底色确定车型仅考虑蓝色与黄色车牌，并且对于黄色车牌均认为是大车。接下来对于黄牌车即大型车与蓝牌车即小型车进行不同的微调，对于大型车，将司机区域左上角纵坐标向上移动250像素，司机区域右下角纵坐标向右移动1.5个车牌宽度的距离，且需使司机区域宽度在350像素以下，高度限制在700像素以下，对于小型车，将司机区域宽度限制在300像素以下，高度限制在700像素以下，获取最终司机区域。
基于交通监控图像的司机未系安全带自动检测系统，进一步的，所述图像增强子模块对获取的司机区域进行预处理，先使用带色彩恢复的多尺度视网膜增强算法去除光照影响，再使用直方图均衡化方法增强图像对比度以突显安全带，方便后续的检测。
基于交通监控图像的司机未系安全带自动检测系统，进一步的，所述人脸检测子模块采用Haar-like特征加上AdaBoost分类器完成车内人脸的检测，Haar-like特征采用基于块的特征，将Haar-like特征分为四类：边缘特征、线特征、中心环绕特征与对角线特征，AdaBoost分类器在训练过程中只选择可以提高模型的预测能力的那些特征，采集符合实际情况的人脸训练样本2000张以上为正样本，统一缩放为20*20像素，所述符合实际情况的人脸训练样本考虑车窗内人脸的特殊性，加入部分受光照影响、车窗材质影响、部分遮挡的训练样本，并且采集无人脸的车辆道路图片1500张以上为负样本，统一缩放为20*20像素，使用Harr-like特征训练AdaBoost分类器，检测车窗内的人脸。
基于交通监控图像的司机未系安全带自动检测系统，进一步的，所述安全带检测区域提取子模块以人脸区域左上角为起始点，两倍的人脸宽度为宽和高，提取出安全带检测区域；对于小车，人脸右侧的正方形区域为安全带明显区域，且干扰较少，对于大车，人脸下方的长方形区域为安全带明显区域，且干扰较少。
基于交通监控图像的司机未系安全带自动检测系统，进一步的，Canny边缘检测器是高斯函数的一阶导数，Canny边缘检测算法的基本流程为：
第1步，用高斯滤波器平滑图像，高斯平滑函数：
其中(x,y)为点坐标，σ是高斯分布的标准差，以h(x,y,σ)与源图像f(x,y)做卷积即可得到平滑后的图像g(x,y)；
第2步，用一阶有限差分代替一阶偏导数计算梯度幅值和方向；
第3步，采用非极大值抑制处理得到的梯度幅值；
第4步，用双阈值法检测和连接边缘；首先选取高阈值Th和低阈值Tl，然后遍历整幅候选边缘图像，对候选边缘图像中被标记为候选边缘的像素点(x,y)进行检测，若点(x,y)梯度幅值高于高阈值Th，则认为该点是边缘点，若点(x,y)梯度幅值低于低阈值Tl，则认为该点不是边缘点；而对于梯度幅值处于Th与Tl之间的像素点，则将其标记为待定边缘点，再根据图像的边缘大都是连续的原则对其进行进一步的判别：若待定边缘点与被判定为边缘点的像素点相邻，则将该待定边缘点判为边缘点，否则将该点判为非边缘点，最终完成对边缘的检测。
基于交通监控图像的司机未系安全带自动检测系统，进一步的，累计概率霍夫变换直线检测算法采用将原始图像空间映射到极坐标参数空间的方法进行直线检测，直线在极坐标系下可以由式：ρ＝x cos(θ)+y sin(θ)表示，直角坐标系中一个点(x0，y0)为ρ-θ空间中的一条正弦曲线：ρ＝x0cos(θ)+y0sin(θ)，多个点在ρ-θ平面上就是多条正弦曲线，多条正弦曲线的交点就是直角坐标系中的直线，对检测到的直线由累计概率霍夫变换直线检测算法返回线段的长度L和斜率K,将线段的长度L和斜率K作为安全带的判定条件。
基于交通监控图像的司机未系安全带自动检测系统，进一步的，判定司机系有安全带的条件为，存在检测到的线段长度L和斜率K满足条件：L＞人脸长度×4/5且2＞K＞0.8；判定司机未系有安全带的条件为，不存在检测到的线段长度L和斜率K满足条件：L＞人脸长度×4/5且2＞K＞0.8。
与现有技术相比，本发明的优点在于：
1.本发明提供的基于交通监控图像的司机未系安全带自动检测系统，主要针对城市道路、高速公路等各种交通场景，对司机未系安全带的行为进行高效准确的自动检测，是安全带检测、人脸识别和车牌检测等技术的全新研究与应用。本系统通过计算机视觉代替人工视觉，通过计算机图像识别代替人工识别，体现机器连续、准确、高效的工作优势。能够准确、快速地对司机未系安全带的行为进行检测记录，一体化设计便于使用，有效解决了人工识别人力成本高，易疲劳，易疏忽等弊端，有效抑制司机未系安全带上路行为的发生。
2.本发明提供的基于交通监控图像的司机未系安全带自动检测系统，针对安全带自动检测中的车牌检测的具体应用，采用了Roberts边缘检测算子。此算法适用于对噪声较少且边缘较明显的图像进行处理。在车牌检测中，由于车牌本身的边缘十分明显，所以选用Roberts算子进行检测，在准确度上不会有太大的损失，却可以提升检测时间。通过测试实验可以得出，车牌检测子模块在测试数据集上的正确率达到了84.83％，未检测到的情况为14.72％，取得了很好的效果，为后续步骤奠定了很好的基础。
3.本发明提供的基于交通监控图像的司机未系安全带自动检测系统，司机区域提取子模块根据车牌颜色、先验知识与车牌的位置、大小定位司机区域，该方法充分利用了车牌颜色确定车型，根据先验知识与车牌的位置、大小与司机区域的关系，方法非常简单巧妙且具有很强的创新性，人脸检测子模块在测试数据集上的正确率达到75.72％，错误率为0.11％，漏检率分别为24.17％，说明该方法简单有效和可靠。
4.本发明提供的基于交通监控图像的司机未系安全带自动检测系统，通过图像增强子模块对获取的司机区域进行预处理，先使用带色彩恢复的多尺度视网膜增强算法去除光照影响，再使用直方图均衡化方法增强图像对比度以突显安全带，安全带检测区域提取子模块以人脸区域左上角为起始点，两倍的人脸宽度为宽和高，提取出安全带检测区域，对于小车和大车，分别选择不同区域，干扰较少且特征明显，准确提取安全带检测区域。
5.本发明提供的基于交通监控图像的司机未系安全带自动检测系统，司机是否系安全带判别模块以基于霍夫变换的直线检测为基础，对于未系安全带的正确率为96.22％，识别率为87.40％，可见该方法在正确率与识别率上均较有保证。少量错误的将未系安全带的判为了系了安全带的情况也比较特殊，从整体上，司机未系安全带自动检测系统准确性和鲁棒性都非常好。
6.本发明提供的基于交通监控图像的司机未系安全带自动检测系统，实现了司机未系安全带全自动抓拍系统。该系统采用了多线程、模块化的设计方法，本发明对系统的架构设计、概要设计、软件功能实现都进行了详尽的论述和设计。在好天气或者坏天气等不同天气状况下对系统进行了测试，测试结果表明系统抓拍准确率在87％以上，系统可扩展性强、功能相对独立、稳定性强。
7.本发明提供的基于交通监控图像的司机未系安全带自动检测系统，实现了司机未系安全带全自动抓拍系统，有效解放警力，提高违法抓拍效率。系统不需要民警到路上巡查执勤，也不需要民警根据视频图像逐一筛选，所有点位拍摄的违法数据只需要一人进行核对审查，大大解放了警力。其次，目前存在一些司机见到警察就系安全带，离开民警检查区域后，司机就马上取下安全带的情况，如此与执勤民警“周旋”，管理难度较大，未系安全带自动检测抓拍系统则可以有效解决此类问题，起到有效震慑和预防效果，培养司机系安全带驾车的良好习惯。
附图说明
图1是本发明的基于交通监控图像的司机未系安全带自动检测系统的总体流程图。
图2是本发明的安全带检测区域提取范围示意图。
图3是本发明的Canny边缘检测算子G x和G y示意图。
图4是本发明将梯度方向离散化后使用3×3的窗口做NMS的方法示意图。
图5是霍夫变换中直角坐标系中的点变换到ρ-θ平面示意图。
图6是本发明的安全带自动检测系统模块整合与判别逻辑示意图。
图7是本发明的安全带自动检测系统主界面示例图。
图8是本发明的安全带检测系统测试结果示例图。
图9是本发明的安全带检测系统批处理界面示例图。
具体实施方式
下面结合附图，对本发明提供的基于交通监控图像的司机未系安全带自动检测系统的技术方案进行进一步的描述，使本领域的技术人员可以更好的理解本发明并能予以实施。
参见图1至图9，本发明提供的基于交通监控图像的司机未系安全带自动检测系统，包括安全带待检测区域提取模块和司机是否系安全带判别模块；所述安全带待检测区域提取模块包括车牌检测子模块、司机区域提取子模块、图像增强子模块、人脸检测子模块和安全带检测区域提取子模块；所述司机是否系安全带判别模块采用以直线检测为基础的安全带判别方法，所述以直线检测为基础的安全带判别方法使用Canny边缘检测算法和累计概率霍夫变换直线检测算法检测安全带的边缘直线段，具体为由安全带待检测区域提取模块中人脸检测子模块检测到的人脸位置与大小，提取出人脸右侧正方形区域与下侧的长方形区域，分别进行Canny边缘检测，之后将两个区域合并起来并做适当膨胀操作后使用累计概率霍夫变换进行线段检测，最后对所检测到的线段进行条件判别来区分是否系安全带。
本发明提供的基于交通监控图像的司机未系安全带自动检测系统，主要针对城市道路、高速公路等各种交通场景，对司机未系安全带的行为进行高效准确的自动检测，是安全带检测、人脸识别和车牌检测等技术的全新应用。本系统通过计算机视觉代替人工视觉，通过计算机图像识别代替人工识别，体现机器连续、准确、高效的工作优势。能够准确、快速地对司机未系安全带的行为进行检测记录，一体化设计便于使用，有效解决了人工识别人力成本高，易疲劳，易疏忽等弊端，有效抑制司机未系安全带上路行为的发生。实现了司机未系安全带全自动抓拍系统，有效解放警力，提高违法抓拍效率。系统不需要民警到路上巡查执勤，也不需要民警根据视频图像逐一筛选，所有点位拍摄的违法数据只需要一人进行核对审查，大大解放了警力，培养了系安全带驾车的良好习惯。
参见图1，该系统采用了多线程、模块化的设计方法，本发明对系统的架构设计、概要设计、软件功能实现都进行了详尽的论述和设计。在好天气或者坏天气等不同天气状况下对系统进行了测试，测试结果表明系统抓拍准确率在87％以上，系统可扩展性强、功能相对独立、稳定性强。
一、安全带待检测区域提取模块
安全带待检测区域提取模块以提取安全带检测区域为目标，流程按顺序分别为车牌检测、司机区域提取、图像增强、人脸检测和安全带待检测区域提取。
1.车牌检测子模块
车牌检测子模块采用Roberts边缘检测算子进行车牌检测，Roberts算子是一种简单的边缘检测算子，它利用局部差分来寻找边缘，采用对角线方向相邻两象素之差近似梯度幅值检测边缘。用Roberts算子对斜向边缘的检测效果比对垂直边缘的检测效果要差，虽然对边缘的定位精度较高，但未能抑制噪声的干扰，即对噪声敏感。故Roberts算子适用于对噪声较少且边缘较明显的图像进行处理。在车牌检测中，由于车牌本身的边缘十分明显，所以用Roberts算子进行检测，在准确度上不会有太大的损失，却可以提升检测时间。
车牌检测的简要步骤为：
(1)先对待检测图片进行固定比例缩放，后使用Roberts算子进行梯度求取；
(2)进行二值化处理；
(3)进行形态学操作；
(4)连通区轮廓提取；
(5)以先验知识对所提取出来的矩形框进行筛选定位车牌。
对于蓝色牌照，长440mm，宽140mm前后等大；对于黄色牌照，前长440mm，宽140mm，后长440mm，宽220mm。而本发明中只需要检测迎面开来的车，故只需考虑前面的牌照，均为440mm×140mm。在筛选时，由于图片为从上往下拍的，长宽比要则大于440:140。根据以上车牌大小形状信息，在第五步中即可筛除非车牌区域，并且本发明所要检测的图片每一张只对应于一辆车，所以最终只保留离图像底端较近的。
2.司机区域提取子模块
司机区域提取子模块根据车牌颜色确定车型，并根据先验知识与车牌的位置、大小定位司机区域，具体为：
先以车牌位置与大小初步定位司机区域，
司机区域左上角横坐标＝车牌左上角横坐标+0.5×车牌宽度；
司机区域左上角纵坐标＝车牌左上角纵坐标–3.9×车牌宽度；
司机区域右下角横坐标＝车牌左上角横坐标+2.3×车牌宽度，且需使司机区域宽度在400像素以下；
司机区域右下角纵坐标＝车牌左上角纵坐标-1.5×车牌宽度，且需使司机区域高度在300像素以上；
表1 HSV色彩空间中像素颜色对应的H、S、V各值的区间
蓝色 84＜H＜134 62＜S＜282 36＜V＜256
黄色 10＜H＜50 44＜S＜264 7＜V＜227
后将车牌区域映射到HSV色彩空间，根据区域占比最多的颜色来获取车牌底色，且其占总像素数比重需超过限定值，否则判为非车牌，根据牌照底色确定车型仅考虑蓝色与黄色车牌，并且对于黄色车牌均认为是大车。接下来对于黄牌车即大型车与蓝牌车即小型车进行不同的微调，对于大型车，将司机区域左上角纵坐标向上移动250像素，司机区域右下角纵坐标向右移动1.5个车牌宽度的距离，且需使司机区域宽度在350像素以下，高度限制在700像素以下，对于小型车，将司机区域宽度限制在300像素以下，高度限制在700像素以下，获取最终司机区域。
3.图像增强子模块
由于天气、光照等的影响，所需处理的图片质量参差不齐，故需对其进行预处理。本发明中使用带色彩恢复的多尺度视网膜增强算法去除光照影响，再使用直方图均衡化技术增强图像对比度以突显安全带，方便后续的检测。
(一)带色彩恢复的多尺度视网膜增强算法
物体的颜色是由物体对长波、中波和短波光线的反射能力决定的，而不是由反射光强度的绝对值决定的；物体的色彩具有一致性，不会受到外部光照的非均匀性影响。
根据上述理论可知，人眼感知到的物体的色彩亮度取决于光与物质的相互最用，即光照及物体表面对光照的反射特性，其数学表达式为：
I(x，y)＝L(x，y)×R(x，y)
式中，I(x，y)代表被人眼或传感器接收到的图像信号；L(x，y)代表环境光的照射分量；R(x，y)表示目标物体的反射分量，它携带有图像细节信息。
将上式两边取对数，则可得到如下关系式，去除环境光照分量得到目标物体的原始反射分量：
Log[R(x，y)]＝Log[I(x，y)]-Log[L(x，y)]
L(x，y)可以通过对图像数据I(x，y)进行高斯模糊而得到，有了L(x，y)与I(x，y)即可得到恢复后的图像。
以上为单尺度视网膜增强(SSR)算法的原理。多尺度视网膜增强(MSR)算法则在计算Log[R(x,y)]时，对图像进行多个不同尺度的高斯模糊，如下式对每个尺度进行累加计算：
Log[R(x，y)]＝Log[R(x，y)]+Weight(i)×(Log[Ii(x，y)]-Log[Li(x，y)])
其中Weight(i)表示每个尺度下对应的权重，且所有尺度下的权重之和为1。
在SSR与MSR的基础上，为了解决两者均会导致的色偏问题，本发明提出了采用MSRCR，在MSR的基础上加入以下步骤去除色偏：
(1)分别计算出R(x,y)在R/G/B各通道的均值Mean和均方差Var。
(2)利用下式计算各通道的Min和Max值：
Min＝Mean-Dynamic×Var
Max＝Mean+Dynamic×Var
Dynamic取值越小，图像的对比度越强。一般来说Dynamic取值2-5之间能取得较为明显的效果，即能取得很自然过渡去除色偏的效果，又能保持图像的清晰度适度增强。
(3)对R(x,y)的每一个值Value，进行线性映射：
R(x，y)＝(Value-Min)/(Max-Min)×(255-0)，
if(R(x，y)＞255)R(x，y)＝２５５；else if(R(x，y)＜0)R(x，y)＝0
MSRCR的效果十分明显，使人脸与安全带都更加清晰可见。考虑到要尽量缩短处理时间，并且车牌本身比较明显，本发明不对全图使用MSRCR，而在定位司机区域与定位安全带检测区域之后分别使用MSRCR与直方图均衡化，以提高人脸检测的准确率并且突显出安全带的边缘特征。
(二)直方图均衡化
直方图均衡化的基本思想是把原始图像的直方图分布变换为均匀分布的形式，增加像素灰度值的动态范围，从而可以使整幅图像的对比度得到增强。
设原始灰度图像f的强度的取值范围为0到L-1。L为可能出现的强度值数量，在f为灰度图像的情况下取值为256。令p为f对于每个可能出现的强度值的归一化的直方图，有：
直方图均衡化后的图像g可以定义为：
其中floor()为向下取整。上式相当于将原始图像f的各像素强度k通过下式进行转换：
如上变换的动机来自于将原始图像f和直方图均衡化后的图像g的强度值想象成是连续的随机变量X,Y∈[0,L-1]，这里的Y可以通过下式由X得到：
其中pX为原始图像f的概率密度函数。T是X的累积分布函数乘以(L-1)。为方便起见，设T是可微且可逆的。然后，可以证明由T(X)定义的Y在[0,L-1]上是均匀分布的，即
由可得：
即可得
在定位司机区域与定位安全带检测区域之后分别使用MSRCR与直方图均衡化，提高人脸检测的准确率并且突显出安全带的边缘特征。
4.人脸检测子模块
人脸检测子模块采用Haar-like特征加上AdaBoost分类器完成车内人脸的检测，Haar-like特征是计算机视觉中一种特征描述算子，用于人脸描述。相对于基于像素的人脸检测算法所需要消耗的大量的计算成本，Haar-like特征则是基于“块”的特征，能够有效地降低计算成本。Haar-like特征分为四类：边缘特征、线特征、中心环绕特征与对角线特征。
AdaBoost分类器在训练过程中只选择可以提高模型的预测能力的那些特征，由于不需要计算不相关的特征，降低了特征的维数和潜在的用于改进的时间。
以下为训练一个AdaBoost二分类器的步骤：
在第5步中更新样本分布时，有下式：
因此，在为样本分布为Dt时求得的一个最优化的弱分类器ht之后，对于样本xi的权重，如果分类器ht正确分类了xi则降低，如果分类器ht错误分类了xi则降低。这样可以在为样本分布为Dt+1时训练弱分类器时，更加关注于之前的分类器分错的样本，使最终得到的分类器能够更准确的完成分类。理论证明，只要加入的弱分类器的效果比随机猜测好一些(例如在二分类问题上正确率50％以上)，就能改善最终分类器的效果，当弱分类器数量趋近于无穷个时，最终将可以得到一个错误率接近于零的强分类器。
考虑到车窗内人脸的特殊性：光照影响、车窗材质的影响、部分遮挡等，本发明中采集了采集符合实际情况的人脸训练样本2000张以上为正样本，统一缩放为20*20像素，所述符合实际情况的人脸训练样本考虑车窗内人脸的特殊性，加入部分受光照影响、车窗材质影响、部分遮挡的训练样本，并且采集无人脸的车辆道路图片1500张以上为负样本，统一缩放为20*20像素，使用Harr-like特征训练AdaBoost分类器，检测车窗内的人脸。
5.安全带检测区域提取子模块
参见图2，通过对大量实际卡口抓拍图片的观察与分析，安全带检测区域提取子模块以人脸区域左上角为起始点，两倍的人脸宽度为宽高，提取出安全带检测区域。对于小车，人脸右侧的正,方形区域为安全带明显区域，且干扰较少；对于大车，人脸下方的长方形区域为安全带明显区域，且干扰较少。
二、安全带待检测区域提取模块
安全带待检测区域提取模块采用以直线检测为基础的安全带判别方法，使用Canny边缘检测算法和累计概率霍夫变换直线检测算法检测安全带的边缘直线段，具体为由安全带待检测区域提取模块中人脸检测子模块检测到的人脸位置与大小，提取出人脸右侧正方形区域与下侧的长方形区域，分别进行Canny边缘检测，之后将两个区域合并起来并做适当膨胀操作后使用累计概率霍夫变换进行线段检测，最后对所检测到的线段进行条件判别来区分是否系安全带。
1.Canny边缘检测
Canny边缘检测器是高斯函数的一阶导数，是对信噪比与定位之乘积的最优化逼近算子，边缘检测算法具有如下3个特点：(1)低概率漏标真实边缘点和低概率的误标非边缘点；(2)检测出来的边缘点应该与实际边缘的中心重合或者尽可能的靠近；(3)边缘响应应该是单值的。
以下为Canny边缘检测算法基本流程：
第1步，用高斯滤波器平滑图像
高斯平滑函数：
其中(x,y)为点坐标，σ是高斯分布的标准差，以h(x,y,σ)与源图像f(x,y)做卷积即可得到平滑后的图像g(x,y)；
第2步，用一阶有限差分代替一阶偏导数计算梯度幅值和方向；
参见图3，通过计算如图所示的2×2领域的一阶有限差分来近似的计算g(x，y)对x与y的两个偏导数f′x(x，y)与f′y(x，y)：
fx′(x，y)≈Gx＝[f(x+1，y)-f(x，y)+f(x+1，y+1)-f(x，y+1)]/2
fy′(x，y)≈Gy＝[f(x，y+1)-f(x，y)+f(x+1，y+1)-f(x+1，y)]/2
图像中某点的梯度幅值M[x，y]和方位角θ[x，y]可由如下二式计算：
θ[x，y]＝arctan(Gx(x，y)/Gy(x，y))
第3步，采用非极大值抑制处理得到的梯度幅值；
在图像中，M[x，y]相对于全局的大小并不能确定该点就是边缘点，为确定准确的边缘位置需要考虑梯度幅值的局部大小，故在此加入非极大值抑制(NMS)算法。如图4所示，将梯度方向离散化以便使用3×3的窗口做NMS。对于每一个像素点，将它的梯度幅值M[x，y]与沿着梯度线方向的相邻的另外两个像素点的梯度幅值做比较。如果M[x，y]不比沿梯度线方向的两个像素点的幅值都大，则令M[x，y]＝0。
第4步，用双阈值法检测和连接边缘；
首先选取高阈值Th和低阈值T1，然后遍历整幅候选边缘图像，对由前面的步骤得到的候选边缘图像中被标记为候选边缘的像素点(x，y)进行检测，若点(x，y)梯度幅值高于高阈值Th，则认为该点是边缘点，若点(x，y)梯度幅值低于低阈值T1，则认为该点不是边缘点；而对于梯度幅值处于Th与T1之间的像素点，则将其标记为待定边缘点，再根据图像的边缘大都是连续的原则对其进行进一步的判别：若待定边缘点与被判定为边缘点的像素点相邻，则将该待定边缘点判为边缘点，否则将该点判为非边缘点，最终完成对边缘的检测。
2.累计概率霍夫变换直线检测
霍夫变换是图像处理中的一个检测直线、圆等简单几何形状的方法。它最初是用于在二值化的图像中进行直线检测。在直角坐标系中，可以将图像上的一条直线表示为：y＝kx+b的形式。那么，该直线上任意一点(x，y)变换到k-b参数空间将都会聚集在一个“点”上。也就是说，将图像空间中在一条直线上的所有非零像素转换到k-b参数空间时，它们将会汇聚在该参数空间中的一个点上。由此可以知道，可以通过在k-b参数空间中寻找局部峰值点来求得原始图像空间中的直线。不过，考虑到斜率无穷大及斜率无限小的直线的存在，在k-b参数空间中对于这些直线将无法进行很好的表示，将会对该类直线的检测产生影响。所以，研究人员提出采用将原始图像空间映射到极坐标参数空间的方法进行直线检测。直线在极坐标系下可以由式：ρ＝x cos(θ)+y sin(θ)表示，直角坐标系中一个点(x0，y0)为ρ-θ空间中的一条正弦曲线：ρ＝x0cos(θ)+y0sin(θ)，多个点在ρ-θ平面上就是多条正弦曲线，多条正弦曲线的交点就是直角坐标系中的直线，如图5所示。
在具体的应用中，可以使用open CV里的函数来处理过平滑图像(高斯滤波)、边缘检测(canny算法)，这些都是直接调用后可以直接得出图像的结果，然后显示出来，对于霍夫变换返回的结果是直线的参数。open CV里处理霍夫变换检测直线的函数可选择CvHoughLine2，CvHoughLine2可以使用三种霍夫变换的方法，分别是标准霍夫变换(SHT)、多尺度标准霍夫变换(MSHT)、累计概率霍夫变换(PPHT)。PPHT实际上是标准霍夫变换的变种，计算单独线段的方向以及范围。之所以称之是概率，是因为并不将累加器平面内的所有可能得点相累加，而是只累加其中的一部分。如果峰值将要足够的高，只用一小部分时间去寻找它就足够了，这样可以大大节省时间。
对检测到的直线由累计概率霍夫变换直线检测算法可以返回线段的长度L和斜率K,将线段的长度L和斜率K作为安全带的判定条件。
判定司机系有安全带的条件为，存在检测到的线段长度L和斜率K满足条件：L＞人脸长度×4/5且2＞K＞0.8；判定司机未系有安全带的条件为，不存在检测到的线段长度L和斜率K满足条件：L＞人脸长度×4/5且2＞K＞0.8。即可完成基于交通监控图像的司机未系安全带自动检测。
三、系统测试结果与分析
1.测试数据库建立
为测试系统性能本实施例选取了不同地点、不同时段由卡口抓拍到的行车图片，建立了测试用数据库。
测试数据库A：以测试系统中各模块的性能，分别就车牌检测、人脸检测、安全带检测模块建立各自独立的测试数据集。
表2测试数据库A
2.测试系统搭建
(一)系统搭建
整合车牌检测子模块、司机区域提取子模块、图像增强子模块、人脸检测子模块和安全带检测区域提取子模块、司机是否系安全带判别模块，构建完整的基于交通监控图像的未系安全带检测系统。考虑到本系统的主要目的为检出未系安全带的图片，并且检出的未系安全带的图片应均为实际未系的，以此为基础提高检出率。所以，本实施例中，对于未检测到车牌、未检测到人脸的图片均判别为系了安全带。如图6，为安全带检测系统模块整合与判别逻辑图。
(二)测试界面设计
以Microsoft Visual Studio 2010为工具搭建MFC演示界面平台。如图7，为安全带检测系统主界面图。
初始界面为单张测试，菜单栏包括功能：打开图片、保存图片、前一张图片、后一张图片、调用Windows照片查看器打开图片，下方为图片显示区域，右上角为批处理按钮，下方依次为：测试方法选择(累计概率霍夫变换直线检测方法)、车牌显示区、司机正脸显示区、检测结果显示区。如图8，为安全带检测系统测试结果示例图。
点击批处理按钮可进入批处理界面。其中分别需要选择输入路径与输出路径，统计测试选项若被勾选则使用测试模式，此时输入路径中的图片需预先分为系安全带与未系两类，统计结果将在测试结果区域显示。如图9，为安全带检测系统批处理界面示例图。
3.测试结果
考虑到实际的使用中，是对由卡口抓拍到的图片进行处理后给出未系安全带的图片，而对于这部分需要保证它的准确率(即尽可能少的将系了安全带的图片判别为未系)，在保证了前述要求后希望能够检测出更多的未系安全带的图片(即尽可能的将未系安全带的图片全都检测出来)。在此，本实施例使用了一种更能体现系统效果的结果统计方式，如下表所示。
表4测试结果统计方式
待识别图片 识别结果 正确 正确率 检出率
系安全带 A Ar Aa Aa/Ar Aa/A
未系安全带 B Br Bb Bb/Br Bb/B
其中，A：待识别图片中系了安全带的总数；B：待识别图片中未系安全带的总数；Ar：检测结果中被判为系了安全带的总数；Br：检测结果中被判为未系安全带的总数；Aa：检测结果中实际为系了安全带的总数；Bb：检测结果中实际为未系安全带的总数。在此，根据前述，最重要的两个指标分别为Bb/Br及Bb/B，即检测结果中未系安全带图片的正确率与正确检测出来的未系安全带的图片占总数的百分比(检出率)。
表5车牌检测结果
总数 265 占总数的百分比
正确 224 84.83％
未检测到 39 14.72％
错误 2 0.75％
表6人脸检测结果(测试数据均为车牌检测正确)
总数 869 占总数的百分比
正确 658 75.72％
未检测到 210 24.17％
错误 1 0.11％
表7直线检测方法安全带检测结果(测试数据均为车牌+人脸检测正确)
4.测试结果分析
车牌检测子模块在测试数据集上的正确率为84.83％，未检测到的情况14.72％，其中，有部分图片内确实无车牌或者没有完整的车牌，还有一些情况为车型并不在本实施例的考虑之中，车牌底色即不为蓝色也不为黄色，直接在底色筛选时被判为无车牌。另外，也有一些图片中车牌较明显，但是仍未检测到，检测错误的比率为0.75％，可见在错误率上较低，车牌检测模块在测试数据集上的正确率较高，这样可以极大程度的减少因车牌定位错误而导致的后续判别错误。
人脸检测子模块在测试数据集上的正确率为75.72％，错误率为0.11％，漏检率分别为24.17％。错误检测人脸将导致后续的安全带判别在错误的区域进行导致结果错误，是比漏检更为严重的问题，但整体上看，人脸检测子模块在测试数据集上的正确率超过了75％，并且只出现了一次错误的人脸检测，所以人脸检测子模块的测试准确性比较高，为后续的安全带判别奠定了较好的基础。
在测试数据库中，摒除了车牌、人脸定位错误的影响，以基于霍夫变换的直线检测为基础的方法对于未系安全带的正确率为96.22％，识别率为87.40％，可见该方法在正确率与识别率上均较有保证。少量错误的将未系安全带的判为了系了安全带的情况也比较特殊，比如在司机的衣领与方向盘位置均检测到了符合条件的直线段，而且司机的上衣花纹也对判别造成极大影响，或者安全带判别区域内本身较为昏暗并且安全带与司机所穿衣物均为深色，安全带的边缘提取十分困难。除去一小部分较特殊的情况，从整体上，司机未系安全带自动检测系统准确性和鲁棒性都非常好。
在对结果的进一步仔细查看过程中也发现了一些其他问题，司机区域定位也有个别出错的情况，车辆相对于监控摄像头的方位与角度错开太多的时候，以车牌中线为基准的司机区域提取方法将无法框住人脸，并且有些车辆的车牌位置较为特殊，同样的司机区域提取的先验知识在此时将失去作用，直接影响到后续的判别结果，这些问题的进一步研究将有助于本发明的进一步改进。
以上显示和描述了本发明的基本原理、主要特征和优点。尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.基于交通监控图像的司机未系安全带自动检测系统，其特征在于，包括安全带待检测区域提取模块和司机是否系安全带判别模块；所述安全带待检测区域提取模块包括车牌检测子模块、司机区域提取子模块、图像增强子模块、人脸检测子模块和安全带检测区域提取子模块；所述司机是否系安全带判别模块采用以直线检测为基础的安全带判别方法，所述以直线检测为基础的安全带判别方法使用Canny边缘检测算法和累计概率霍夫变换直线检测算法检测安全带的边缘直线段，具体为由安全带待检测区域提取模块中人脸检测子模块检测到的人脸位置与大小，提取出人脸右侧正方形区域与下侧的长方形区域，分别进行Canny边缘检测，之后将两个区域合并起来后使用累计概率霍夫变换进行线段检测，最后对所检测到的线段进行条件判别来区分是否系安全带。
2.根据权利要求1所述的基于交通监控图像的司机未系安全带自动检测系统，其特征在于，所述车牌检测子模块采用Roberts边缘检测算子进行车牌检测，车牌检测简要步骤为：
第一步，对待检测图片进行固定比例缩放，后使用Roberts算子进行梯度求取；
第二步，进行二值化处理；
第三步，进行形态学操作；
第四步，连通区轮廓提取；
第五步，以先验知识对所提取出来的矩形框进行筛选定位车牌。
3.根据权利要求1所述的基于交通监控图像的司机未系安全带自动检测系统，其特征在于，所述司机区域提取子模块根据车牌颜色确定车型，并根据先验知识与车牌的位置、大小定位司机区域，具体为：
先以车牌位置与大小初步定位司机区域，
司机区域左上角横坐标＝车牌左上角横坐标+0.5×车牌宽度；
司机区域左上角纵坐标＝车牌左上角纵坐标–3.9×车牌宽度；
司机区域右下角横坐标＝车牌左上角横坐标+2.3×车牌宽度，且需使司机区域宽度在400像素以下；
司机区域右下角纵坐标＝车牌左上角纵坐标–1.5×车牌宽度，且需使司机区域高度在300像素以上；
后将车牌区域映射到HSV色彩空间，根据区域占比最多的颜色来获取车牌底色，且其占总像素数比重需超过限定值，否则判为非车牌，根据牌照底色确定车型仅考虑蓝色与黄色车牌，并且对于黄色车牌均认为是大车。接下来对于黄牌车即大型车与蓝牌车即小型车进行不同的微调，对于大型车，将司机区域左上角纵坐标向上移动250像素，司机区域右下角纵坐标向右移动1.5个车牌宽度的距离，且需使司机区域宽度在350像素以下，高度限制在700像素以下，对于小型车，将司机区域宽度限制在300像素以下，高度限制在700像素以下，获取最终司机区域。
4.根据权利要求1所述的基于交通监控图像的司机未系安全带自动检测系统，其特征在于，所述图像增强子模块对获取的司机区域进行预处理，先使用带色彩恢复的多尺度视网膜增强算法去除光照影响，再使用直方图均衡化方法增强图像对比度以突显安全带，方便后续的检测。
5.根据权利要求1所述的基于交通监控图像的司机未系安全带自动检测系统，其特征在于，所述人脸检测子模块采用Haar-like特征加上AdaBoost分类器完成车内人脸的检测，Haar-like特征采用基于块的特征，将Haar-like特征分为四类：边缘特征、线特征、中心环绕特征与对角线特征，AdaBoost分类器在训练过程中只选择可以提高模型的预测能力的那些特征，采集符合实际情况的人脸训练样本2000张以上为正样本，统一缩放为20*20像素，所述符合实际情况的人脸训练样本考虑车窗内人脸的特殊性，加入部分受光照影响、车窗材质影响、部分遮挡的训练样本，并且采集无人脸的车辆道路图片1500张以上为负样本，统一缩放为20*20像素，使用Harr-like特征训练AdaBoost分类器，检测车窗内的人脸。
6.根据权利要求1所述的基于交通监控图像的司机未系安全带自动检测系统，其特征在于，所述安全带检测区域提取子模块以人脸区域左上角为起始点，两倍的人脸宽度为宽和高，提取出安全带检测区域；对于小车，人脸右侧的正方形区域为安全带明显区域，且干扰较少，对于大车，人脸下方的长方形区域为安全带明显区域，且干扰较少。
7.根据权利要求1所述的基于交通监控图像的司机未系安全带自动检测系统，其特征在于，Canny边缘检测器是高斯函数的一阶导数，Canny边缘检测算法的基本流程为：
第1步，用高斯滤波器平滑图像，高斯平滑函数：
<mrow> <mi>h</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>&amp;sigma;</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mn>2</mn> <msup> <mi>&amp;pi;&amp;sigma;</mi> <mn>2</mn> </msup> </mrow> </mfrac> <msup> <mi>e</mi> <mrow> <mo>-</mo> <mfrac> <mrow> <msup> <mi>x</mi> <mn>2</mn> </msup> <mo>+</mo> <msup> <mi>y</mi> <mn>2</mn> </msup> </mrow> <mrow> <mn>2</mn> <msup> <mi>&amp;sigma;</mi> <mn>2</mn> </msup> </mrow> </mfrac> </mrow> </msup> </mrow>
其中(x,y)为点坐标，σ是高斯分布的标准差，以h(x,y,σ)与源图像f(x,y)做卷积即可得到平滑后的图像g(x,y)；
第2步，用一阶有限差分代替一阶偏导数计算梯度幅值和方向；
第3步，采用非极大值抑制处理得到的梯度幅值；
第4步，用双阈值法检测和连接边缘；首先选取高阈值Th和低阈值Tl，然后遍历整幅候选边缘图像，对候选边缘图像中被标记为候选边缘的像素点(x,y)进行检测，若点(x,y)梯度幅值高于高阈值Th，则认为该点是边缘点，若点(x,y)梯度幅值低于低阈值Tl，则认为该点不是边缘点；而对于梯度幅值处于Th与Tl之间的像素点，则将其标记为待定边缘点，再根据图像的边缘大都是连续的原则对其进行进一步的判别：若待定边缘点与被判定为边缘点的像素点相邻，则将该待定边缘点判为边缘点，否则将该点判为非边缘点，最终完成对边缘的检测。
8.根据权利要求1所述的基于交通监控图像的司机未系安全带自动检测系统，其特征在于，累计概率霍夫变换直线检测算法采用将原始图像空间映射到极坐标参数空间的方法进行直线检测，直线在极坐标系下可以由式：ρ＝x cos(θ)+y sin(θ)表示，直角坐标系中一个点(x0，y0)为ρ-θ空间中的一条正弦曲线：ρ＝x0 cos(θ)+y0 sin(θ)，多个点在ρ-θ平面上就是多条正弦曲线，多条正弦曲线的交点就是直角坐标系中的直线，对检测到的直线由累计概率霍夫变换直线检测算法返回线段的长度L和斜率K,将线段的长度L和斜率K作为安全带的判定条件。
9.根据权利要求8所述的基于交通监控图像的司机未系安全带自动检测系统，其特征在于，判定司机系有安全带的条件为，存在检测到的线段长度L和斜率K满足条件：L＞人脸长度×4/5且2＞K＞0.8；判定司机未系有安全带的条件为，不存在检测到的线段长度L和斜率K满足条件：L＞人脸长度×4/5且2＞K＞0.8。
CN201711024522.5A 2017-10-27 2017-10-27 基于交通监控图像的司机未系安全带自动检测系统 Pending CN107944341A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711024522.5A CN107944341A (zh) 2017-10-27 2017-10-27 基于交通监控图像的司机未系安全带自动检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711024522.5A CN107944341A (zh) 2017-10-27 2017-10-27 基于交通监控图像的司机未系安全带自动检测系统

Publications (1)

Publication Number Publication Date
CN107944341A true CN107944341A (zh) 2018-04-20

Family

ID=61935815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711024522.5A Pending CN107944341A (zh) 2017-10-27 2017-10-27 基于交通监控图像的司机未系安全带自动检测系统

Country Status (1)

Country Link
CN (1) CN107944341A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549880A (zh) * 2018-04-28 2018-09-18 深圳市商汤科技有限公司 碰撞控制方法及装置、电子设备和存储介质
CN109602374A (zh) * 2018-12-06 2019-04-12 余姚市盈宝电器有限公司 漏水水体防蔓延机构
CN109635758A (zh) * 2018-12-18 2019-04-16 武汉市蓝领英才科技有限公司 智慧工地基于视频的高空作业人员安全带穿戴检测方法
CN110008834A (zh) * 2019-02-28 2019-07-12 中电海康集团有限公司 一种基于视觉的方向盘干预检测与统计方法
CN110084184A (zh) * 2019-04-25 2019-08-02 浙江吉利控股集团有限公司 一种基于图像处理技术的安全带未系探测系统和方法
CN110322465A (zh) * 2019-06-29 2019-10-11 东南大学苏州医疗器械研究院 肿瘤微球的轮廓检测方法及装置
CN110807384A (zh) * 2019-10-24 2020-02-18 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 低能见度下的小目标检测方法和系统
CN110969162A (zh) * 2019-12-05 2020-04-07 四川大学 一种机动车车窗定位方法
CN111062272A (zh) * 2019-11-29 2020-04-24 南京甄视智能科技有限公司 基于色彩恢复的图像处理、行人识别方法、装置与可读存储介质
CN111950348A (zh) * 2020-06-29 2020-11-17 北京百度网讯科技有限公司 安全带的佩戴状态识别方法、装置、电子设备和存储介质
CN112132040A (zh) * 2020-09-24 2020-12-25 明见(厦门)软件开发有限公司 基于视觉的安全带实时监测方法、终端设备及存储介质
CN112215862A (zh) * 2020-10-12 2021-01-12 虎博网络技术(上海)有限公司 静态标识检测方法、装置、终端设备和可读存储介质
CN112329576A (zh) * 2020-10-27 2021-02-05 南京大学 一种汽车安全带卷簧位置识别方法
CN112651322A (zh) * 2020-12-22 2021-04-13 北京眼神智能科技有限公司 脸颊遮挡检测方法、装置及电子设备
CN112967303A (zh) * 2021-03-08 2021-06-15 南京理工大学 一种图像边缘检测及其边缘精度验证方法
CN113191295A (zh) * 2021-05-12 2021-07-30 捷佳润科技集团股份有限公司 一种基于图像识别的火龙果成熟度识别的方法
US11151372B2 (en) 2019-10-09 2021-10-19 Elsevier, Inc. Systems, methods and computer program products for automatically extracting information from a flowchart image
CN113936003A (zh) * 2021-12-20 2022-01-14 武汉安泰三山门窗装饰有限公司 一种门窗制造质量检测方法
CN115409890A (zh) * 2022-11-02 2022-11-29 山东大学 基于msr和广义霍夫变换的自定义标志检测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070195990A1 (en) * 2006-02-16 2007-08-23 Uri Levy Vision-Based Seat Belt Detection System
CN103268468A (zh) * 2012-07-06 2013-08-28 华南理工大学 机动车前排就坐者是否扣带安全带的自动检测方法
CN104966066A (zh) * 2015-06-26 2015-10-07 武汉大学 一种面向交通卡口监控的车内人脸检测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070195990A1 (en) * 2006-02-16 2007-08-23 Uri Levy Vision-Based Seat Belt Detection System
CN103268468A (zh) * 2012-07-06 2013-08-28 华南理工大学 机动车前排就坐者是否扣带安全带的自动检测方法
CN104966066A (zh) * 2015-06-26 2015-10-07 武汉大学 一种面向交通卡口监控的车内人脸检测方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
何春 等: "《基于MSRCR理论的算法实现》", 《智能计算机与应用》 *
石时需 等: "《基于高速公路交通图像的安全带自动识别算法》", 《计算机与现代化》 *
程伟: "《基于图像分析的未系安全带自动检测方法研究》", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *
苏强: "《单张图像高速去雾增强算法研究》", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
那彦，焦李成: "《基于多分辨分析理论的图像融合方法》", 31 May 2007 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549880A (zh) * 2018-04-28 2018-09-18 深圳市商汤科技有限公司 碰撞控制方法及装置、电子设备和存储介质
CN109602374A (zh) * 2018-12-06 2019-04-12 余姚市盈宝电器有限公司 漏水水体防蔓延机构
CN109635758A (zh) * 2018-12-18 2019-04-16 武汉市蓝领英才科技有限公司 智慧工地基于视频的高空作业人员安全带穿戴检测方法
CN109635758B (zh) * 2018-12-18 2021-07-09 武汉市蓝领英才科技有限公司 智慧工地基于视频的高空作业人员安全带穿戴检测方法
CN110008834A (zh) * 2019-02-28 2019-07-12 中电海康集团有限公司 一种基于视觉的方向盘干预检测与统计方法
CN110008834B (zh) * 2019-02-28 2021-04-06 中电海康集团有限公司 一种基于视觉的方向盘干预检测与统计方法
CN110084184A (zh) * 2019-04-25 2019-08-02 浙江吉利控股集团有限公司 一种基于图像处理技术的安全带未系探测系统和方法
CN110084184B (zh) * 2019-04-25 2021-06-11 浙江吉利控股集团有限公司 一种基于图像处理技术的安全带未系探测系统和方法
CN110322465B (zh) * 2019-06-29 2020-12-25 东南大学苏州医疗器械研究院 肿瘤微球的轮廓检测方法及装置
CN110322465A (zh) * 2019-06-29 2019-10-11 东南大学苏州医疗器械研究院 肿瘤微球的轮廓检测方法及装置
US11151372B2 (en) 2019-10-09 2021-10-19 Elsevier, Inc. Systems, methods and computer program products for automatically extracting information from a flowchart image
US11704922B2 (en) 2019-10-09 2023-07-18 Elsevier, Inc. Systems, methods and computer program products for automatically extracting information from a flowchart image
CN110807384A (zh) * 2019-10-24 2020-02-18 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 低能见度下的小目标检测方法和系统
CN111062272A (zh) * 2019-11-29 2020-04-24 南京甄视智能科技有限公司 基于色彩恢复的图像处理、行人识别方法、装置与可读存储介质
CN110969162A (zh) * 2019-12-05 2020-04-07 四川大学 一种机动车车窗定位方法
JP2021152966A (ja) * 2020-06-29 2021-09-30 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド シートベルト着用状態の認識方法、認識装置、電子機器及び記憶媒体
CN111950348A (zh) * 2020-06-29 2020-11-17 北京百度网讯科技有限公司 安全带的佩戴状态识别方法、装置、电子设备和存储介质
CN112132040B (zh) * 2020-09-24 2024-03-15 明见(厦门)软件开发有限公司 基于视觉的安全带实时监测方法、终端设备及存储介质
CN112132040A (zh) * 2020-09-24 2020-12-25 明见(厦门)软件开发有限公司 基于视觉的安全带实时监测方法、终端设备及存储介质
CN112215862A (zh) * 2020-10-12 2021-01-12 虎博网络技术(上海)有限公司 静态标识检测方法、装置、终端设备和可读存储介质
CN112215862B (zh) * 2020-10-12 2024-01-26 虎博网络技术(上海)有限公司 静态标识检测方法、装置、终端设备和可读存储介质
CN112329576A (zh) * 2020-10-27 2021-02-05 南京大学 一种汽车安全带卷簧位置识别方法
CN112329576B (zh) * 2020-10-27 2023-11-28 南京大学 一种汽车安全带卷簧位置识别方法
CN112651322A (zh) * 2020-12-22 2021-04-13 北京眼神智能科技有限公司 脸颊遮挡检测方法、装置及电子设备
CN112651322B (zh) * 2020-12-22 2024-05-24 北京眼神智能科技有限公司 脸颊遮挡检测方法、装置及电子设备
CN112967303B (zh) * 2021-03-08 2022-10-21 南京理工大学 一种图像边缘检测及其边缘精度验证方法
CN112967303A (zh) * 2021-03-08 2021-06-15 南京理工大学 一种图像边缘检测及其边缘精度验证方法
CN113191295A (zh) * 2021-05-12 2021-07-30 捷佳润科技集团股份有限公司 一种基于图像识别的火龙果成熟度识别的方法
CN113936003A (zh) * 2021-12-20 2022-01-14 武汉安泰三山门窗装饰有限公司 一种门窗制造质量检测方法
CN115409890A (zh) * 2022-11-02 2022-11-29 山东大学 基于msr和广义霍夫变换的自定义标志检测方法及系统

Similar Documents

Publication Publication Date Title
CN107944341A (zh) 基于交通监控图像的司机未系安全带自动检测系统
CN102043950B (zh) 基于canny算子和边缘点统计的车辆轮廓识别方法
CN105631414B (zh) 一种基于贝叶斯分类器的车载多障碍物分类装置及方法
US8811664B2 (en) Vehicle occupancy detection via single band infrared imaging
KR100912746B1 (ko) 교통 표지판 탐지를 위한 방법
Chen et al. Nighttime brake-light detection by Nakagami imaging
Wu et al. Applying a functional neurofuzzy network to real-time lane detection and front-vehicle distance measurement
CN106652465A (zh) 一种道路异常驾驶行为的识别方法及系统
CN107031623A (zh) 一种基于车载盲区相机的道路预警方法
JP6723328B2 (ja) 車両検出方法、動的光強度に基づく夜間の車両検出方法及びそのシステム
CN105404857A (zh) 一种基于红外的夜间智能车前方行人检测方法
CN104951784A (zh) 一种车辆无牌及车牌遮挡实时检测方法
CN107316486A (zh) 基于双摄像头的无人驾驶汽车视觉识别系统
CN106203499A (zh) 一种基于深度cnn的安全带检测方法
CN107891808A (zh) 行车提醒方法、装置及车辆
Tourani et al. Vehicle counting method based on digital image processing algorithms
CN107704853A (zh) 一种基于多分类器的交通信号灯的识别方法
CN107766802B (zh) 一种机动车前排驾乘人员未扣安全带的自适应检测方法
CN106778646A (zh) 基于卷积神经网络的车型识别方法及装置
CN103034843A (zh) 一种基于单目视觉的夜间车辆检测方法
CN107886034A (zh) 行车提醒方法、装置及车辆
CN106407951A (zh) 一种基于单目视觉的夜间前方车辆检测方法
CN112287861A (zh) 基于夜间环境感知的道路信息增强与驾驶预警方法
CN106203273A (zh) 多特征融合的车道线检测系统、方法及高级驾驶辅助系统
Belaroussi et al. A real-time road sign detection using bilateral chinese transform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180420

RJ01 Rejection of invention patent application after publication