CN106709420B - 一种监测营运车辆驾驶人员驾驶行为的方法 - Google Patents

Abstract

本发明一种监测营运车辆驾驶人员驾驶行为的方法，对采集的每一帧图像，根据图像分辨率先设定一个图像检测区域，在图像检测区域内进行人脸的识别和定位，在识别出驾驶员的人脸位置区域后，根据该人脸位置区域进一步识别是否存在人眼、香烟、手机和安全带，判断驾驶员在驾驶过程中是否存在注意力不集中、打电话或者抽烟、未绑安全带的违反安全规定的行为，若监测到，则按照预置策略进行告警；本发明适用于所有营运类型的车辆，准确检测又不会干扰到正常驾驶行为，一方面提醒驾驶员注意自身驾驶行为，另一方面可以让乘客对驾驶员进行监督，确保驾驶员规范驾驶，构建更安全的道路交通。

Description

一种监测营运车辆驾驶人员驾驶行为的方法

技术领域

本发明涉及一种监测营运车辆驾驶人员驾驶行为的方法。

背景技术

营运车辆作为最普及的公众交通工具，相比私家车辆，驾驶员的行为事关更多人的人身和财产安全，要求驾驶员驾驶行为符合驾驶安全规定的重要性不言而喻，所以对于营运车辆驾驶员的驾驶行为的检测一直是国内外研究上的热门。

在营运车辆的驾驶安全规定中，要求营运车辆驾驶员在行驶过程中，具有代表性的安全行车规范如必须系好安全带、在行驶过程中不得有打电话或者抽烟的行为。目前营运车辆车载系统极少有配置类似私家车辆对安全带的检测，打电话、抽烟等行为更是无法判断。

通过图像信息检测驾驶疲劳状态的方式对图像的依赖程度很高，当太阳光比较强烈且直晒到检测区域的时候，会对检测的效果有一定的干扰。香烟因为角度多变，在处于点燃状态或者与摄像头角度大的时候较易识别，而未点燃且在指向摄像头的时候，识别难度较大。

发明内容

本发明的目的在于提供一种监测营运车辆驾驶人员驾驶行为的方法，可以在营运车辆上对驾驶员的驾驶行为进行监测，若监测到注意力不集中、未绑安全带、打电话或者抽烟等违反安全规定的行为，主动发出告警，一方面提醒驾驶员注意自身驾驶行为，另一方面可以让乘客对驾驶员进行监督，确保驾驶员规范驾驶，构建更安全的道路交通。

本发明一种监测营运车辆驾驶人员驾驶行为的方法，通过一监控装置进行实时的图像采集，该监控装置安装于不影响驾驶员的驾驶且又能完整地捕捉到驾驶员正脸以及驾驶员的上半身和方向盘的位置；对实时采集的图像进行算法识别和分析后，判断驾驶员在驾驶过程中是否存在注意力不集中、打电话、抽烟、未绑安全带的行为，若监测到上述任一违反安全规定的行为，立即向驾驶员和/或乘客发出告警提示，对采集的每一帧图像做如下具体处理：

步骤1、在系统初始化时，根据图像分辨率设定一个图像检测区域，在图像检测区域内进行人脸的识别和定位，如果人脸不在此区域内或者侧脸偏转超过阈值角度的时候，视为无人脸；在无人脸的情况下，若存在人脸位置区域的历史保存记录，则继续进行步骤2，如果没有人脸位置区域历史保存记录的,作为人脸丢失情况，若人脸丢失的情况持续超过设定的时间，发出告警声音提示车上的成员，返回步骤1开始下一帧图像的处理；若在图像检测区域识别出人脸, 则将该人脸出现区域保存为人脸位置区域，继续步骤2；若识别出人脸且识别出多张人脸时，则选取最大尺寸的人脸作为驾驶员的人脸，将该人脸出现区域保存为人脸位置区域，继续步骤2；

步骤2、如果当前帧图像中检测到人脸,则使用当前帧人脸位置区域进行人眼识别，否则调取保存的人脸位置区域记录进行人眼识别，若识别出人眼，则表示有脸有眼为正常状态，继续步骤3；若无法识别出人眼时，结合步骤1的人脸识别结果，若无人脸无人眼，则认为司机不在驾驶位置，若该情况持续超过设定的时间，发出告警声音提示车上的成员；若有人脸无人眼，则认为此帧图像内司机处于闭眼状态，再根据之前预置数量帧的图像内的人脸人眼的识别结果来判定驾驶员是否处于注意力不集中或疲劳驾驶的情况，若判断驾驶员的状态存在注意力不集中或疲劳驾驶的情况，结合当前车速对该驾驶行为进行分级告警处理；

当步骤1中无法识别到人脸，若在本步骤人眼识别成功，则继续保存该人脸出现区域作为当前帧图像的人脸位置区域，继续执行步骤3；若在本步骤无法识别到人眼，则判断此帧图像无人脸，清除保存的人脸位置区域历史记录，返回步骤1；

步骤3、锁定当前帧图像中驾驶员的人脸位置区域，通过滑动窗口在人脸的下半区域，由左上角滑动至右下角，利用之前样本训练产生的香烟分类器来判断滑动窗口里是否有香烟的存在，若没有，则进入步骤4，若判断存在香烟，且判断香烟存在的图像帧数超过阈值值，即刻发出告警，否则进入步骤4；

步骤4、将当前帧人脸位置区域分为左半脸和右半脸两个区域，在这两个区域中分别利用之前样本训练产生的手机分类器来判断滑动窗口里是否有手机的存在，若没有，则进入步骤5，若判断存在手机，且判断手机存在的图像帧数超过阈值值，即刻发出告警，否则进入步骤5；

步骤5、根据当前帧人脸位置区域来定位左肩部区域，胸部区域以及右下腹部区域，在这三个区域分别利用之前样本训练产生的安全带分类器来判断滑动窗口里是否有安全带的存在，只要有一个区域里判断安全带存在，即认定安全带已系上，若在三个区域无法识别出安全带，则立即发出告警提示驾驶员系好安全带，返回步骤1。

进一步，该监控装置可以固定在A柱的位置，或者安装在车载后视镜左下角的位置。

进一步，在步骤1之前，先对每一帧的图像进行亮度判断，确定是否属于预置的最优亮度区间内，若不属于，则根据判断结果依照自定策略对sensor进行参数修改，直至将亮度调整到最优亮度区间范围内。

进一步，所有的步骤中，在第一次识别失败的情况下，对相应的识别区域进行对比度增强处理，再进行二次识别。

本发明的技术方案适用于所有营运类型的车辆，在各个场景的使用情况都有良好的表现，准确检测又不会干扰到正常驾驶行为，具有如下的有益效果：

一、对人群的适应性。虽然对于被检测的驾驶员每个人的外观不一，作为重要判别依据的人脸在大小上也有很大的区别。由于摄像头的安装位置与驾驶座位两者相对固定，因此采集到的图像里驾驶员在开车时候的位置也是在一定区域内固定，本发明根据图像分辨率先设定一个图像检测区域，在图像检测区域内进行人脸的识别和定位，若识别出多个人脸，选取其中最大的人脸作为驾驶员的人脸。本发明按照相对固定的位置和相对的大小来判定驾驶员人脸，不受驾驶员个体特征的影响。

二、对环境的适应性。本发明将有独立补光的红外光摄像头安装在车载后视镜左下角，不影响驾驶员的驾驶行为，且能完整的捕捉到驾驶员正脸，对外界光源没有依赖。

三、对驾驶行为的适应性。由于驾驶员在不同车速的情况下注意力不集中驾驶行为的规范应有所不同，所以借助当前车速对注意力不集中的驾驶行为进行分级预警处理，在准确进行预警的情况下不会影响驾驶员的情绪。

附图说明

图1为本发明图像识别出人脸的流程图；

图2为本发明对识别出人脸区域后的具体处理流程图。

以下结合附图和具体实施例对本发明做进一步详述。

具体实施方式

本发明一种监测营运车辆驾驶人员驾驶行为的方法，通过一监控装置进行实时的图像采集，该监控装置可以固定在A柱的位置，或者安装在车载后视镜左下角，安装位置的高度略高于驾驶员头顶，不影响驾驶员的驾驶行为，又能完整的捕捉到驾驶员正脸以及驾驶员的上半身和方向盘；另外，该监控装置上采用大角度、单通940nm红外光摄像头，可以独立补光，使得监控装置在夜间能正常使用且在日间受外界的光线影响较小；对实时采集的图像进行算法识别和分析后，判断驾驶员在驾驶过程中是否存在注意力不集中、未绑安全带、打电话或者抽烟的行为，若监测到上述任一违反安全规定的行为，立即向驾驶员和/或乘客发出告警提示，对采集的每一帧图像做如下具体处理：

步骤1、对每一帧采集的图像进行亮度判断，是否属于预置的最优亮度区间内，若不属于，则根据判断结果依照自定策略对sensor的参数进行修改，在后面的十帧图像以内将亮度调整到最优亮度区间范围内；

步骤2、由于摄像头的安装位置与驾驶座位两者相对固定，因此采集到的图像里驾驶员在开车时候的位置也是在一定区域内固定，因此在系统初始化时，根据图像分辨率设定一个图像检测区域，对选取的图像检测区域进行人脸的识别和定位，如果人脸不在此区域内或者侧脸偏转超过阈值角度的时候，视为无人脸，在无人脸的情况下，若存在人脸位置区域的历史保存记录，则继续进行步骤3，如果没有人脸位置区域历史保存记录的,作为人脸丢失情况，若人脸丢失的情况持续超过设定的时间，发出告警声音提示车上的成员，返回步骤1开始下一帧图像的处理；返回步骤1开始下一帧图像的处理；若在图像检测区域识别出人脸, 则将该人脸出现区域保存为人脸位置区域，继续步骤3；若识别出人脸且识别出多张人脸时，则选取最大尺寸的人脸作为驾驶员的人脸，将该人脸出现区域保存为人脸位置区域，继续步骤3，如图1所示；

步骤3、如果当前帧图像中检测到人脸,则使用当前帧人脸位置区域进行人眼识别，否则调取保存的人脸位置区域记录进行人眼识别，若识别出人眼，则表示有脸有眼为正常状态；若无法识别出人眼，则对人脸位置区域的上半部分进行对比度增强处理，进行二次人眼识别，避免受复杂光线影响而导致识别失败，同样，若识别出人眼，则表示有脸有眼为正常状态，若依旧无法识别时，结合步骤2的人脸识别结果，若无人脸无人眼，则认为司机不在驾驶位置，若该情况持续超过设定的时间，发出告警声音提示车上的成员；若有人脸无人眼，则认为此帧图像内司机处于闭眼状态，再根据之前预置数量帧的图像内的人脸人眼的识别结果来判定驾驶员是否处于注意力不集中或疲劳驾驶的情况，若判断驾驶员的状态存在注意力不集中或疲劳驾驶的情况，结合当前车速对该驾驶行为进行分级告警处理，如图2所示；

当步骤2中无法识别到人脸，若在本步骤人眼识别成功，则继续保存该人脸出现区域作为当前帧图像的人脸位置区域，继续执行步骤4；若在本步骤无法识别到人眼，则判断此帧图像无人脸，清除保存的人脸位置区域历史记录，返回步骤1；

步骤4、锁定当前帧图像中驾驶员的人脸位置区域，通过滑动窗口在人脸的下半区域，由左上角滑动至右下角，利用之前样本训练产生的香烟分类器来判断滑动窗口里是否有香烟的存在，若没有，则进入步骤5，若判断存在香烟，且判断香烟存在的图像帧数超过阈值值，即刻发出告警，否则进入步骤5；

步骤5、将当前帧人脸位置区域分为左半脸和右半脸两个区域，在这两个区域中分别利用之前样本训练产生的手机分类器来判断滑动窗口里是否有手机的存在，若没有，则进入步骤6，若判断存在手机，且判断手机存在的图像帧数超过阈值值，即刻发出告警，否则进入步骤6；

步骤6、根据当前帧人脸位置区域来定位左肩部区域，胸部区域以及右下腹部区域，在这三个区域分别利用之前样本训练产生的安全带分类器来判断滑动窗口里是否有安全带的存在，只要有一个区域里判断安全带存在，即认定安全带已系上，若在这三个区域中都未检测出安全带，在这三个区域增强对比度后进行二次识别，若依旧无法识别出安全带，则立即发出告警提示驾驶员系好安全带，返回步骤1。

上述步骤4至步骤6的顺序不限，可以有先后，也可以并行处理。

本发明的重点在于：对采集的每一帧图像，根据图像分辨率先设定一个图像检测区域，在图像检测区域内进行人脸的识别和定位，在识别出驾驶员的人脸位置区域后，根据该人脸位置区域进一步识别是否存在人眼、香烟、手机和安全带，判断驾驶员在驾驶过程中是否存在注意力不集中、未绑安全带、打电话或者抽烟的违反安全规定的行为，若监测到，则按照预置策略进行告警。

本发明根据大多数驾驶员的驾驶习惯，选取监测图像中特定位置来进行算法判断，结合每一帧图像的判断结果、时间、车速来决定是否需要告警，相较于对每个驾驶行为的监测都通过整幅图像来运行识别算法，整体运算更节省资源，且能排除背景画面里中很多易误识（尤其前排乘客）的干扰信息，提高了效率同时保证了识别效果。

以上所述，仅是本发明较佳实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (4)

1.一种监测营运车辆驾驶人员驾驶行为的方法，其特征在于：通过一监控装置进行实时的图像采集，该监控装置安装于不影响驾驶员的驾驶且又能完整地捕捉到驾驶员正脸以及驾驶员的上半身和方向盘的位置；对实时采集的图像进行算法识别和分析后，判断驾驶员在驾驶过程中是否存在注意力不集中、打电话、抽烟、未绑安全带的行为，若监测到上述任一违反安全规定的行为，立即向驾驶员和/或乘客发出告警提示，对采集的每一帧图像做如下具体处理：

步骤1、在系统初始化时，根据图像分辨率设定一个图像检测区域，在图像检测区域内进行人脸的识别和定位，如果人脸不在此区域内或者侧脸偏转超过阈值角度的时候，视为无人脸；在无人脸的情况下，若存在人脸位置区域的历史保存记录，则继续进行步骤2，如果没有人脸位置区域历史保存记录的,作为人脸丢失情况，若人脸丢失的情况持续超过设定的时间，发出告警声音提示车上的成员，返回步骤1开始下一帧图像的处理；若在图像检测区域识别出人脸, 则将该人脸出现区域保存为人脸位置区域，继续步骤2；若识别出人脸且识别出多张人脸时，则选取最大尺寸的人脸作为驾驶员的人脸，将该人脸出现区域保存为人脸位置区域，继续步骤2；

步骤2、如果当前帧图像中检测到人脸,则使用当前帧人脸位置区域进行人眼识别，否则调取保存的人脸位置区域记录进行人眼识别，若识别出人眼，则表示有脸有眼为正常状态，继续步骤3；若无法识别出人眼时，结合步骤1的人脸识别结果，若无人脸无人眼，则认为司机不在驾驶位置，若该情况持续超过设定的时间，发出告警声音提示车上的成员；若有人脸无人眼，则认为此帧图像内司机处于闭眼状态，再根据之前预置数量帧的图像内的人脸人眼的识别结果来判定驾驶员是否处于注意力不集中或疲劳驾驶的情况，若判断驾驶员的状态存在注意力不集中或疲劳驾驶的情况，结合当前车速对该驾驶行为进行分级告警处理；

当步骤1中无法识别到人脸，若在本步骤人眼识别成功，则继续保存该人脸出现区域作为当前帧图像的人脸位置区域，继续执行步骤3；若在本步骤无法识别到人眼，则判断此帧图像无人脸，清除保存的人脸位置区域历史记录，返回步骤1；

步骤3、锁定当前帧图像中驾驶员的人脸位置区域，通过滑动窗口在人脸的下半区域，由左上角滑动至右下角，利用之前样本训练产生的香烟分类器来判断滑动窗口里是否有香烟的存在，若没有，则进入步骤4，若判断存在香烟，且判断香烟存在的图像帧数超过阈值值，即刻发出告警，否则进入步骤4；

步骤4、将当前帧人脸位置区域分为左半脸和右半脸两个区域，在这两个区域中分别利用之前样本训练产生的手机分类器来判断滑动窗口里是否有手机的存在，若没有，则进入步骤5，若判断存在手机，且判断手机存在的图像帧数超过阈值值，即刻发出告警，否则进入步骤5；

步骤5、根据当前帧人脸位置区域来定位左肩部区域，胸部区域以及右下腹部区域，在这三个区域分别利用之前样本训练产生的安全带分类器来判断滑动窗口里是否有安全带的存在，只要有一个区域里判断安全带存在，即认定安全带已系上，若在三个区域无法识别出安全带，则立即发出告警提示驾驶员系好安全带，返回步骤1。

2.根据权利要求1所述的一种监测营运车辆驾驶人员驾驶行为的方法，其特征在于：该监控装置可以固定在A柱的位置，或者安装在车载后视镜左下角的位置。

3.根据权利要求1所述的一种监测营运车辆驾驶人员驾驶行为的方法，其特征在于：在步骤1之前，先对每一帧的图像进行亮度判断，确定是否属于预置的最优亮度区间内，若不属于，则根据判断结果依照自定策略对sensor进行参数修改，直至将亮度调整到最优亮度区间范围内。

4.根据权利要求1所述的一种监测营运车辆驾驶人员驾驶行为的方法，其特征在于：所有的步骤中，在第一次识别失败的情况下，对相应的识别区域进行对比度增强处理，再进行二次识别。

Images