CN114212093B - 一种安全驾驶监控方法、系统及可存储介质 - Google Patents
一种安全驾驶监控方法、系统及可存储介质 Download PDFInfo
- Publication number
- CN114212093B CN114212093B CN202111495952.1A CN202111495952A CN114212093B CN 114212093 B CN114212093 B CN 114212093B CN 202111495952 A CN202111495952 A CN 202111495952A CN 114212093 B CN114212093 B CN 114212093B
- Authority
- CN
- China
- Prior art keywords
- signal
- driving
- trough
- vehicle state
- wave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012544 monitoring process Methods 0.000 title claims abstract description 27
- 230000006399 behavior Effects 0.000 claims abstract description 87
- 238000001514 detection method Methods 0.000 claims abstract description 43
- 238000007689 inspection Methods 0.000 claims abstract description 40
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 238000005259 measurement Methods 0.000 claims abstract description 9
- 230000001133 acceleration Effects 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 230000007704 transition Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 230000003595 spectral effect Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000007547 defect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 238000002604 ultrasonography Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种安全驾驶监控方法、系统及可存储介质，涉及安全驾驶技术领域，该方法包括：通过智能手机的声学传感器和惯性测量单元，采集声学传感器信号和IMU信号；基于所述IMU信号中固定时间段内波峰和波谷对应关系，判断车辆状态，即正常驾驶、变道、转弯、离开环岛；基于所述声学传感器信号，并利用多普勒轮廓和深度神经网络对不同车辆状态时驾驶员的分心驾驶行为、后视镜检查行为进行检测，获取检测结果。本发明针对现有分心驾驶检测技术的缺陷进行改进，解决了现有检测技术中侵犯用户隐私及微小转动难以检测等问题，提高了分心驾驶识别精度的同时能够保障用户隐私。
Description
技术领域
本发明涉及安全驾驶技术领域，更具体的说是涉及一种安全驾驶监控方法、系统及可存储介质。
背景技术
分心驾驶往往与大量的车祸相关，大多数现有的分心驾驶检测工作是利用相机和图像处理技术来识别分心驾驶行为和检查后视镜行为。然而，基于摄像头的系统可能会侵犯用户的隐私。比如，特斯拉车辆可以在不经过司机同意的情况下通过摄像头获得丰富的车内信息。
替代解决方案是利用智能手机上的丰富传感器来检测驾驶行为，但基于传感器的方法只能涉及大规模身体运动的分心驾驶行为，无法检测到仅涉及头部轻微运动的检查后视镜行为。因此，目前迫切需要一种既能保护隐私，又能准确检测各种分心驾驶行为的检测系统。
1.基于摄像头的驾驶行为检测。许多工作者提出使用照相机和图像处理技术来检测司机的驾驶行为：Li等人利用从CAN-Bus和相机中提取的多模态信息来检测驾驶员的后视镜检查行为的持续时间和频率；Xing等人使用摄像头来检测驾驶行为，包括后视镜检查，使用车载设备、发短信和打电话；Hu等人利用深度摄像机中的点云来估计驾驶员的头部姿势；Murphy等人采用一种对可见光和近红外光敏感的单目摄像机来估计驾驶员的头部姿势；Borghi等人提出了一个基于深度图像的驾驶员头部定位和姿势估计的深度学习框架；Yuan等人提出了一种基于几何的方法来估计单一二维面部图像的驾驶员头部姿态；Hu等人提出采用伯努利热图，通过估计单个RGB图像来估计头部姿态。汽车保险箱利用后置摄像头来跟踪道路状况，并使用前置摄像头来检测司机是疲劳还是分心。InSight使用智能手机摄像头监控昏暗照明条件下司机的疲劳和分心情况；DarNet基于摄像头和车内惯性测量单元(IMU)对分心驾驶行为进行检测和分类；Baheti等人调整了深度学习模型，能够基于图像判别分心驾驶行为。然而，基于摄像头的方法可能会侵犯司机的隐私。
2.基于传感器的驾驶行为检测。由于智能手机配备了许多传感器，人们可以在智能手机上使用传感器来检测驾驶行为：ER通过智能手机上的麦克风检测到四种分心驾驶行为，包括向前拿东西、摇车窗、转身和吃喝；D3-Guard使用智能手机中的声学传感器检测三种昏昏欲睡的行为；HearSmoking通过智能手机上的音频传感器检测驾驶过程中的吸烟事件；TEXIVE利用智能手机中的惯性传感器来检测驾驶过程中发短信的分心行为。然而，现有的基于传感器的系统只能执行分心驾驶行为检测，不能检测到后视镜检查行为。
因此，如何解决现有技术中侵犯用户隐私及微小转动难以检测的问题，实现对后视镜检查行为和分心驾驶行为的检测是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种安全驾驶监控方法、系统及可存储介质，解决了现有检测技术中侵犯用户隐私及微小转动难以检测等问题，提高了分心驾驶识别精度的同时能够保障用户隐私。
为了实现上述目的，本发明提供如下技术方案：
一种安全驾驶监控方法，包括以下步骤：
通过智能手机的声学传感器和惯性测量单元，采集声学传感器信号和IMU信号；
基于所述IMU信号中固定时间段内波峰和波谷对应关系，判断车辆状态；
基于所述声学传感器信号，对不同车辆状态时驾驶员的驾驶行为进行分心事件检测和后视镜检测，获取检测结果。
可选的，所述判断车辆状态，包括以下步骤：
当采集的IMU信号中的加速度X轴信号在固定时间段内存在一个波峰和一个波谷，且出现波峰/波谷的时间小于对应出现的波谷/波峰的时间的两倍时，车辆状态为变道；
当采集的IMU信号中的加速度X轴信号在固定时间段内仅存在一个波峰或仅存在一个波谷时，车辆状态为转弯；
当采集的IMU信号中的加速度X轴信号在固定时间段内存在一个波峰和一个波谷，且出现波谷的时间为出现波峰的时间的两倍、波峰值/波谷值的绝对值为对应的波谷值/波峰值的绝对值的两倍时，车辆状态为离开环岛；
当采集的IMU信号中的加速度X轴信号不存在以上任一情况时，车辆状态为正常驾驶。
可选的，对变道和转弯时的车辆状态进一步判断，具体包括以下步骤：
在固定时间段内先后出现波峰和波谷，且出现波谷的时间小于出现波峰的时间的两倍时，车辆状态为左转变道；
在固定时间段内先后出现波谷和波峰，且出现波峰的时间小于出现波谷的时间的两倍时，车辆状态为右转变道；
在固定时间段内仅出现波峰，车辆状态为左转；
在固定时间段内仅出现波谷，车辆状态为右转。
上述的技术方案中公开了通过IMU信号对车辆状态进行判断的具体步骤，不同的车辆状态对应不同的IMU信号模式，通过IMU得到的加速度X轴信号出现波峰波谷的情况判断车辆状态，即正常驾驶、变道、转弯、离开环岛。
可选的，对不同车辆状态时驾驶员的驾驶行为进行检测，包括以下情况：
当检测到车辆状态为正常驾驶时，基于所述声学传感器信号，对驾驶员的分心驾驶行为进行检测；
当检测到车辆状态为变道、转弯或离开环岛时，基于所述声学传感器信号，对驾驶员的后视镜检查行为进行检测。
可选的，对驾驶员的分心驾驶行为进行检测，包括以下步骤：
对所述声学传感器信号进行短时傅里叶变换，获取短时傅里叶变换信号；将所述短时傅里叶变换信号分成包括导频音调的上下频移在内的两个容器；采用主成分分析，对两个容器进行降噪和降维；
沿着由短时傅里叶变换得到的功率谱密度的频率轴求和，获取分心驾驶行为的多普勒轮廓并对所述多普勒轮廓进行平滑滤波，提取特征；
构建分心驾驶事件的候选点集Cs，在所述候选点集Cs中的每个点周围展开固定时间，得到分心驾驶事件集Sevent(n)，其中n表示分心驾驶事件的数量；
通过分心驾驶事件集Sevent(n)对深度神经网络进行训练，得到训练好的深度神经网络，并将输出的特征输入分类器中，得到驾驶员的分心驾驶事件结果。
可选的，对驾驶员的后视镜检查行为进行检测，包括以下步骤：
根据不同的车辆状态，选取所述声学传感器信号中不同的超声信号片段；基于背景噪声模型BNn＝(1-β)*BNn-1+Bini*β，对所述超声信号片段进行降噪处理；其中，BNn表示当前的背景噪声，β表示背景噪声的更新率，BNn-1表示上一个时刻的背景噪声，Bini表示第i个容器的信号；采用快速傅里叶变换，将进行降噪处理后的信号划分为不同的容器；
沿着由快速傅里叶变换得到的功率谱密度的频率轴求和，获取后视镜检查行为的多普勒轮廓并对所述多普勒轮廓进行平滑滤波，提取特征；
选取固定频率段的容器并输入深度神经网络中进行训练，得到训练好的深度神经网络，并将输出的特征输入分类器中，得到驾驶员的后视镜检查结果。
本发明还公开了一种安全驾驶监控系统，其特征在于，包括：
数据采集模块，通过智能手机的声学传感器和惯性测量单元，采集声学传感器信号和IMU信号；
汽车状态检测模块，基于所述IMU信号中固定时间段内波峰波谷对应关系，判断车辆状态；
驾驶行为检测模块，基于所述声学传感器信号，对不同车辆状态时驾驶员的驾驶行为进行分心事件检测和后视镜检测，获取检测结果。
可选的，所述车辆状态包括正常驾驶、变道、转弯、离开环岛。
本发明还公开了一种计算机可存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述安全驾驶监控方法的步骤。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种安全驾驶监控方法、系统及可存储介质，具有以下有益效果：本发明通过智能手机的声学传感器和惯性测量单元收集数据，利用IMU信号推断车辆状态，即正常驾驶、变道、转弯、离开环岛；基于声学传感器信号，通过多普勒轮廓和深度神经网络，对驾驶员的分心驾驶行为和后视镜检查行为进行检测，解决了现有检测技术中侵犯用户隐私及微小转动难以检测等问题，提高了分心驾驶识别精度的同时能够保障用户隐私。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为安全驾驶监控方法的流程示意图；
图2为安全驾驶监控方法的具体结构示意图；
图3(a)、图3(b)分别为不同驾驶员在车辆状态变化时后视镜检查行为、分心驾驶行为的检测精度示意图；
图4(a)、图4(b)分别为车辆状态变化期间后视镜检查行为、分心驾驶行为的精度、召回率和F1分数示意图；
图5(a)、图5(b)分别为后视镜检查行为、分心驾驶行为检测的缺失报警和误报警率示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本发明实施例公开了一种安全驾驶监控方法，如图1所示，包括以下步骤：
通过智能手机的声学传感器和惯性测量单元，采集声学传感器信号和IMU信号；
基于IMU信号中固定时间段内波峰和波谷对应关系，判断车辆状态，即正常驾驶、变道、转弯、离开环岛；
基于声学传感器信号，对不同车辆状态时驾驶员的驾驶行为进行分心事件检测和后视镜检测，获取检测结果。
如图2所示为安全驾驶监控方法的具体结构示意图。为了方便数据收集过程，通过Android应用程序自动收集IMU信号和声学传感器信号。为了避免干扰驾驶体验，通过超声波进行声学传感。成人听力范围内的最大频率为15kHz，人类听力范围内的最大频率为18kHz。因此，将试点基调设置为20kHz，这是大多数现在已有的智能手机扬声器所支持的，利用内置麦克风来收集具有44.1kHz采样率的反射超声信号，IMU数据的采样速率为50Hz。
进一步地，通过IMU信号判断车辆状态，不同的车辆状态存在不同的IMU信号模式，IMU信号包括陀螺仪信号和加速度信号，通过加速度X轴信号出现波峰波谷的情况对车辆状态进行判断，具体包括以下步骤：
车辆变道时，短时间内加速度X轴信号会出现一对波峰和波谷，因此，当采集的加速度X轴信号在固定时间段内存在一个波峰和一个波谷，且出现波峰/波谷的时间小于对应出现的波谷/波峰的时间的两倍时，车辆状态为变道；
车辆转弯时，加速度X轴信号只有一个持续时间较长的波峰或波谷，因此，当采集的加速度X轴信号在固定时间段内仅存在一个波峰或仅存在一个波谷时，车辆状态为转弯；
车辆离开环岛时，加速度X轴信号也存在一个波峰和一个波谷，但波峰和波谷在时间上的距离比车辆变道时更长，因此，当采集的加速度X轴信号在固定时间段内存在一个波峰和一个波谷，且出现波谷的时间为出现波峰的时间的两倍、波峰值/波谷值的绝对值为对应的波谷值/波峰值的绝对值的两倍时，车辆状态为离开环岛；
当采集的加速度X轴信号不存在以上任一情况时，车辆状态为正常驾驶。
进一步地，对变道和转弯时的车辆状态进一步判断，具体包括以下步骤：
在固定时间段内先后出现波峰和波谷，且出现波谷的时间小于出现波峰的时间的两倍时，车辆状态为左转变道(左转变道时，驾驶员逆时针旋转方向盘驱动车辆向左，在此期间加速度X轴信号产生一个很大的峰值；车辆到达左车道后，驾驶员顺时针转动方向盘，使车辆再次直线运行，加速度X轴信号产生一个波谷)；
在固定时间段内先后出现波谷和波峰，且出现波峰的时间小于出现波谷的时间的两倍时，车辆状态为右转变道；
在固定时间段内仅出现波峰，车辆状态为左转；
在固定时间段内仅出现波谷，车辆状态为右转。
进一步地，对不同车辆状态时驾驶员的驾驶行为进行检测，具体包括以下步骤：
当检测到车辆状态为正常驾驶时，基于声学传感器信号，对驾驶员的分心驾驶行为进行检测；
当检测到车辆状态为变道、转弯或离开环岛时，基于声学传感器信号，对驾驶员的后视镜检查行为进行检测。
其中，对驾驶员的分心驾驶行为进行检测，具体包括以下步骤：
对声学传感器信号进行短时傅里叶变换(STFT)，获取短时傅里叶变换信号；将短时傅里叶变换信号分成包括导频音调的上下频移在内的两个容器；采用主成分分析，对两个容器进行降噪和降维；
沿着由短时傅里叶变换得到的功率谱密度的频率轴求和，获取分心驾驶行为的多普勒轮廓并对多普勒轮廓进行平滑滤波，提取特征；
构建分心驾驶事件的候选点集Cs，在候选点集Cs中的每个点周围展开固定时间，得到分心驾驶事件集Sevent(n)，其中n表示分心驾驶事件的数量；
通过分心驾驶事件集Sevent(n)对深度神经网络进行训练，得到训练好的深度神经网络，并将输出的特征输入分类器中，得到驾驶员的分心驾驶事件结果。
具体地，基于实验了解到分心驾驶行为的频移在[-200,200]Hz范围内，因此，采用一个通带范围从19.8kHz到20.2kHz的带通滤波器。对多普勒轮廓进行平滑滤波后，更新阈值并选择高于阈值的点，即存在分心驾驶行为；然后，构建分心驾驶事件的候选点集Cs，将当前点放到一个事件Tp的临时集合中，对临时集合中所有点时间取平均值即得到该事件的中心点(也就说，检测驾驶员的动作在时间上的区间，比如，捡东西持续1秒钟，那么捡东西事件的中心点就是0.5s)，再将当前临时集合放到所有事件Cs的候选集中，在Cs中的每个点周围展开固定时间段，形成分心驾驶事件Sevent(n)，其中n表示分心驾驶事件的数量。
进一步地，对驾驶员的后视镜检查行为进行检测，包括以下步骤：
根据不同的车辆状态，选取声学传感器信号中不同的超声信号片段；基于背景噪声模型BNn＝(1-β)*BNn-1+Bini*β，对超声信号片段进行降噪处理；其中，BNn表示当前的背景噪声，β表示背景噪声的更新率，BNn-1表示上一个时刻的背景噪声，Bini表示第i个容器的信号；采用快速傅里叶变换，将进行降噪处理后的信号划分为不同的容器；
沿着由快速傅里叶变换得到的功率谱密度的频率轴求和，获取后视镜检查行为的多普勒轮廓并对多普勒轮廓进行平滑滤波，提取特征；
选取固定频率段的容器并输入深度神经网络中进行训练，得到训练好的深度神经网络，并将输出的特征输入分类器中，得到驾驶员的后视镜检查结果。
具体地，由于后视镜检查行为的大小比分心驾驶行为要小得多，因此不能将分心驾驶行为的预处理技术应用于后视镜检查行为。后视镜检查行为通常在5秒内完成，所以在感兴趣的车辆状态(变道、转弯、离开环岛)之前提取5秒的超声信号片段；通过快速傅里叶变换将信号划分为不同的容器，由于后视镜检查行为在[-60,60]Hz内有频移，所以选择频率在19.94kHz到20.06kHz以内的容器；由于车内环境可能会发生改变(比如窗口打开)，因此对每个频率容器采用背景干扰消除算法，消除背景噪声的影响。
本发明实施例还公开了一种计算机可存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述安全驾驶监控方法的步骤。
实施例2
本发明实施例公开了一种安全驾驶监控系统，包括：
数据采集模块，通过智能手机的声学传感器和惯性测量单元，采集声学传感器信号和IMU信号；
汽车状态检测模块，基于IMU信号中固定时间段内波峰波谷对应关系，判断车辆状态；其中，车辆状态包括正常驾驶、变道、转弯、离开环岛；
驾驶行为检测模块，基于声学传感器信号，对不同车辆状态时驾驶员的驾驶行为进行分心事件检测和后视镜检测，获取检测结果。
接下来，对本发明建立的安全驾驶监控系统的整体性能进行评估。
图3(a)显示了车辆状态变化时后视镜检查行为的检测精度，结果表明，该系统的后视镜检查行为的平均精度达到了95.96％，在8个驾驶员中，后视镜检查行为的平均准确率分别为98.87％、95.58％、97.31％、96.31％和91.73％。由于转向方向盘的干扰，离开环岛的后视镜检查行为检测值最低。图4(a)显示了车辆状态变化期间后视镜检查行为的精度、召回率和F1分数，5种状态的后视镜检查行为检测的精度不小于91.17％，召回率不小于88.98％，F1分数不低于89.73％，以上结果验证了安全驾驶监控系统在检测后视镜检查行为方面的有效性和稳定性。
图3(b)显示了分心驾驶行为的检测准确性，结果表明，该系统检测分心驾驶行为的平均准确率为98.39％，参见图4(b)，在8名驾驶员和4种分心驾驶行为中，分心事件的平均精度、召回率、F1分数分别为98.66％、98.4％和98.47％，以上结果验证了安全驾驶监控系统在检测分心驾驶行为方面的有效性和稳定性。
图5(a)显示后视镜检查行为检测的缺失报警和误报率，误报率不超过2.7％，缺报率不超过2.6％；图5(b)显示分心驾驶行为检测的缺失报警和误报警率，误报率不超过0.41％，缺报率不超过0.47％，以上结果表明，若驾驶员粗心驾驶，该系统可以可靠地提醒驾驶员。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (5)
1.一种安全驾驶监控方法，其特征在于，包括以下步骤：
通过智能手机的声学传感器和惯性测量单元，采集声学传感器信号和IMU信号；
基于所述IMU信号中固定时间段内波峰波谷对应关系，判断车辆状态；
基于所述声学传感器信号，对不同车辆状态时驾驶员的驾驶行为进行分心事件检测和驾驶员的后视镜检查行为检测，获取检测结果；
所述判断车辆状态，包括以下步骤：
当采集的IMU信号中的加速度X轴信号在固定时间段内存在一个波峰和一个波谷，且出现波峰/波谷的时间小于对应出现的波谷/波峰的时间的两倍时，车辆状态为变道；
当采集的IMU信号中的加速度X轴信号在固定时间段内仅存在一个波峰或仅存在一个波谷时，车辆状态为转弯；
当采集的IMU信号中的加速度X轴信号在固定时间段内存在一个波峰和一个波谷，且出现波谷的时间为出现波峰的时间的两倍、波峰值/波谷值的绝对值为对应的波谷值/波峰值的绝对值的两倍时，车辆状态为离开环岛；
当采集的IMU信号中的加速度X轴信号不存在以上任一情况时，车辆状态为正常驾驶；
对不同车辆状态时驾驶员的驾驶行为进行检测，具体包括以下步骤：
当检测到车辆状态为正常驾驶时，基于所述声学传感器信号，对驾驶员的分心驾驶行为进行检测；
当检测到车辆状态为变道、转弯或离开环岛时，基于所述声学传感器信号，对驾驶员的后视镜检查行为进行检测；
对驾驶员的后视镜检查行为进行检测，包括以下步骤：
根据不同的车辆状态，选取所述声学传感器信号中不同的超声信号片段；基于背景噪声模型BNn＝(1-β)*BNn-1+Bini*β，对所述超声信号片段进行降噪处理；其中，BNn表示当前的背景噪声，β表示背景噪声的更新率，BNn-1表示上一个时刻的背景噪声，Bini表示第i个容器的信号；采用快速傅里叶变换，将进行降噪处理后的信号划分为不同的容器；
沿着由快速傅里叶变换得到的功率谱密度的频率轴求和，获取后视镜检查行为的多普勒轮廓并对所述多普勒轮廓进行平滑滤波，提取特征；
选取固定频率段的容器并输入深度神经网络中进行训练，得到训练好的深度神经网络，并将输出的特征输入分类器中，得到驾驶员的后视镜检查结果。
2.根据权利要求1所述的一种安全驾驶监控方法，其特征在于，对变道和转弯时的车辆状态进一步判断，具体包括以下步骤：
在固定时间段内先后出现波峰和波谷，且出现波谷的时间小于出现波峰的时间的两倍时，车辆状态为左转变道；
在固定时间段内先后出现波谷和波峰，且出现波峰的时间小于出现波谷的时间的两倍时，车辆状态为右转变道；
在固定时间段内仅出现波峰，车辆状态为左转；
在固定时间段内仅出现波谷，车辆状态为右转。
3.根据权利要求1所述的一种安全驾驶监控方法，其特征在于，对驾驶员的分心驾驶行为进行检测，包括以下步骤：
对所述声学传感器信号进行短时傅里叶变换，获取短时傅里叶变换信号；将所述短时傅里叶变换信号分成包括导频音调的上下频移在内的两个容器；采用主成分分析，对两个容器进行降噪和降维；
沿着由短时傅里叶变换得到的功率谱密度的频率轴求和，获取分心驾驶行为的多普勒轮廓并对所述多普勒轮廓进行平滑滤波，提取特征；
构建分心驾驶事件的候选点集Cs，在所述候选点集Cs中的每个点周围展开固定时间，得到分心驾驶事件集Sevent(n)，其中n表示分心驾驶事件的数量；
通过分心驾驶事件集Sevent(n)对深度神经网络进行训练，得到训练好的深度神经网络，并将输出的特征输入分类器中，得到驾驶员的分心驾驶事件结果。
4.一种安全驾驶监控系统，其特征在于，包括：
数据采集模块，通过智能手机的声学传感器和惯性测量单元，采集声学传感器信号和IMU信号；
汽车状态检测模块，基于所述IMU信号中固定时间段内波峰波谷对应关系，判断车辆状态；
驾驶行为检测模块，基于所述声学传感器信号，对不同车辆状态时驾驶员的驾驶行为进行分心事件检测和驾驶员的后视镜检查行为检测，获取检测结果；
所述判断车辆状态，包括以下步骤：
当采集的IMU信号中的加速度X轴信号在固定时间段内存在一个波峰和一个波谷，且出现波峰/波谷的时间小于对应出现的波谷/波峰的时间的两倍时，车辆状态为变道；
当采集的IMU信号中的加速度X轴信号在固定时间段内仅存在一个波峰或仅存在一个波谷时，车辆状态为转弯；
当采集的IMU信号中的加速度X轴信号在固定时间段内存在一个波峰和一个波谷，且出现波谷的时间为出现波峰的时间的两倍、波峰值/波谷值的绝对值为对应的波谷值/波峰值的绝对值的两倍时，车辆状态为离开环岛；
当采集的IMU信号中的加速度X轴信号不存在以上任一情况时，车辆状态为正常驾驶；
对不同车辆状态时驾驶员的驾驶行为进行检测，具体包括以下步骤：
当检测到车辆状态为正常驾驶时，基于所述声学传感器信号，对驾驶员的分心驾驶行为进行检测；
当检测到车辆状态为变道、转弯或离开环岛时，基于所述声学传感器信号，对驾驶员的后视镜检查行为进行检测；
对驾驶员的后视镜检查行为进行检测，包括以下步骤：
根据不同的车辆状态，选取所述声学传感器信号中不同的超声信号片段；基于背景噪声模型BNn＝(1-β)*BNn-1+Bini*β，对所述超声信号片段进行降噪处理；其中，BNn表示当前的背景噪声，β表示背景噪声的更新率，BNn-1表示上一个时刻的背景噪声，Bini表示第i个容器的信号；采用快速傅里叶变换，将进行降噪处理后的信号划分为不同的容器；
沿着由快速傅里叶变换得到的功率谱密度的频率轴求和，获取后视镜检查行为的多普勒轮廓并对所述多普勒轮廓进行平滑滤波，提取特征；
选取固定频率段的容器并输入深度神经网络中进行训练，得到训练好的深度神经网络，并将输出的特征输入分类器中，得到驾驶员的后视镜检查结果。
5.一种计算机可存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-3任一项所述安全驾驶监控方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111495952.1A CN114212093B (zh) | 2021-12-08 | 2021-12-08 | 一种安全驾驶监控方法、系统及可存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111495952.1A CN114212093B (zh) | 2021-12-08 | 2021-12-08 | 一种安全驾驶监控方法、系统及可存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114212093A CN114212093A (zh) | 2022-03-22 |
| CN114212093B true CN114212093B (zh) | 2024-03-12 |
Family
ID=80700366
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111495952.1A Active CN114212093B (zh) | 2021-12-08 | 2021-12-08 | 一种安全驾驶监控方法、系统及可存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114212093B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130042969A (ko) * | 2011-10-19 | 2013-04-29 | 현대자동차주식회사 | 하이브리드 차량의 차간거리 제어장치 및 방법 |
| CN106335432A (zh) * | 2016-08-29 | 2017-01-18 | 赵谕 | 具有行车辅助系统的智能后视镜、控制系统及处理方法 |
| CN108859967A (zh) * | 2018-05-24 | 2018-11-23 | 浦瀚 | 一种车辆智能内后视镜装置及其使用方法 |
| CN109965889A (zh) * | 2019-04-01 | 2019-07-05 | 北京理工大学 | 一种利用智能手机扬声器和麦克风的疲劳驾驶检测方法 |
| CN110348338A (zh) * | 2019-06-26 | 2019-10-18 | 深圳市微纳集成电路与系统应用研究院 | 基于深度学习的驾驶员辅助驾驶后视镜及包含其的系统 |
| CN111149141A (zh) * | 2017-09-04 | 2020-05-12 | Nng软件开发和商业有限责任公司 | 用于收集并使用来自交通工具的传感器数据的方法和装置 |
| EP3739356A1 (en) * | 2019-05-12 | 2020-11-18 | Origin Wireless, Inc. | Method, apparatus, and system for wireless tracking, scanning and monitoring |
| JP2021018083A (ja) * | 2019-07-17 | 2021-02-15 | アイシン精機株式会社 | 顔向き推定装置 |
| CN112677983A (zh) * | 2021-01-07 | 2021-04-20 | 浙江大学 | 一种识别驾驶员驾驶风格的系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190367038A1 (en) * | 2018-06-04 | 2019-12-05 | Sharp Kabushiki Kaisha | Driver monitoring device |
-
2021
- 2021-12-08 CN CN202111495952.1A patent/CN114212093B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130042969A (ko) * | 2011-10-19 | 2013-04-29 | 현대자동차주식회사 | 하이브리드 차량의 차간거리 제어장치 및 방법 |
| CN106335432A (zh) * | 2016-08-29 | 2017-01-18 | 赵谕 | 具有行车辅助系统的智能后视镜、控制系统及处理方法 |
| CN111149141A (zh) * | 2017-09-04 | 2020-05-12 | Nng软件开发和商业有限责任公司 | 用于收集并使用来自交通工具的传感器数据的方法和装置 |
| CN108859967A (zh) * | 2018-05-24 | 2018-11-23 | 浦瀚 | 一种车辆智能内后视镜装置及其使用方法 |
| CN109965889A (zh) * | 2019-04-01 | 2019-07-05 | 北京理工大学 | 一种利用智能手机扬声器和麦克风的疲劳驾驶检测方法 |
| EP3739356A1 (en) * | 2019-05-12 | 2020-11-18 | Origin Wireless, Inc. | Method, apparatus, and system for wireless tracking, scanning and monitoring |
| CN110348338A (zh) * | 2019-06-26 | 2019-10-18 | 深圳市微纳集成电路与系统应用研究院 | 基于深度学习的驾驶员辅助驾驶后视镜及包含其的系统 |
| JP2021018083A (ja) * | 2019-07-17 | 2021-02-15 | アイシン精機株式会社 | 顔向き推定装置 |
| CN112677983A (zh) * | 2021-01-07 | 2021-04-20 | 浙江大学 | 一种识别驾驶员驾驶风格的系统 |
Non-Patent Citations (4)
| Title |
|---|
| 基于多屏平动扫描的体积显示;李立新;沈海锋;江玉刚;李小虎;;光电工程;20100915(第09期);全文 * |
| 李立新 ; 沈海锋 ; 江玉刚 ; 李小虎 ; .基于多屏平动扫描的体积显示.光电工程.2010,(第09期),全文. * |
| 视觉分心时驾驶人注视行为特性分析;马勇;付锐;王畅;郭应时;袁伟;宋殿明;;中国安全科学学报;20130515(第05期);全文 * |
| 马勇 ; 付锐 ; 王畅 ; 郭应时 ; 袁伟 ; 宋殿明 ; .视觉分心时驾驶人注视行为特性分析.中国安全科学学报.2013,(第05期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114212093A (zh) | 2022-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11375338B2 (en) | Method for smartphone-based accident detection | |
| CN106571015A (zh) | 基于互联网络的驾驶行为数据采集方法 | |
| Xu et al. | ER: Early recognition of inattentive driving leveraging audio devices on smartphones | |
| CN106913333B (zh) | 一种持续性注意水平的敏感性特征指标的选取方法 | |
| CN109965889B (zh) | 一种利用智能手机扬声器和麦克风的疲劳驾驶检测方法 | |
| JP2015529512A (ja) | 眠気を検知するための、まぶたの動きに関する処理 | |
| Son et al. | Detection of cognitive and visual distraction using radial basis probabilistic neural networks | |
| JP6754228B2 (ja) | 目の開度のための参照レベルを供給する方法および装置 | |
| WO2017189203A1 (en) | System and method for identifying and responding to passenger interest in autonomous vehicle events | |
| CN116386277A (zh) | 疲劳驾驶检测方法、装置、电子设备及介质 | |
| CN108898795B (zh) | 一种基于移动设备的行人状态实时分析方法及系统 | |
| EP3056375A1 (en) | Sleepiness detecting device | |
| CN114212093B (zh) | 一种安全驾驶监控方法、系统及可存储介质 | |
| CN117842085A (zh) | 驾驶状态检测与预警方法、系统、电子设备及存储介质 | |
| US10945651B2 (en) | Arousal level determination device | |
| CN116798189A (zh) | 一种状态的检测方法、装置及存储介质 | |
| Zhou et al. | Development of a camera-based driver state monitoring system for cost-effective embedded solution | |
| Lashkov et al. | Aggressive behavior detection based on driver heart rate and hand movement data | |
| CN113573939B (zh) | 用于智能设备上的基于顺序微活动的驾驶员检测的方法和系统 | |
| CN205428140U (zh) | 一种基于手机的疲劳驾驶检测报警系统 | |
| JP2020013554A (ja) | 覚醒度判定装置 | |
| KASHEVNIK et al. | PERSONALIZED DANGEROUS SITUATION DETECTION IN VEHICLE CABINS USING SMARTPHONE SENSORS | |
| CN113561989B (zh) | 基于心电信号的危险驾驶状态检测方法、设备及存储介质 | |
| CN115578835B (zh) | 基于方向盘的驾驶员疲劳检测方法及装置 | |
| CN117582228A (zh) | 基于脑电信号的机动车驾驶人疲劳驾驶预警及干预的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |