CN112365680A - 一种基于ai识别的主动安全预警方法及系统 - Google Patents

Abstract

本发明涉及一种基于AI识别的主动安全预警方法及系统，系统结合了生理心理学相关理论，包括基于非生理信号和生理信号的全方位识别，系统后台静默监测，预测疲劳或情绪会对驾驶安全造成影响时，主动提醒驾驶员控制情绪小心驾驶及时上报云服务监控中心，系统准确有效的针对驾驶员的疲劳状态监测、预警，有助于提高行车安全。

Description

一种基于AI识别的主动安全预警方法及系统

技术领域

本发明涉及交通技术领域，是一种基于AI识别的主动安全预警方法及 系统。

背景技术

随着社会经济的快速发展，车辆的日益增多，驾驶员及乘车人员的情 绪，无形中对驾驶员的反应、决策有着直接的影响。相关部门数据调查分 析，20％～30％的交通事故都是由于疲劳驾驶所引起的，驾驶员疲劳检测技术 的研究，对于预防交通事故有着重要意义。我国《道路交通安全法实施条 例》第六十二条第七款规定：不得连续驾驶机动车超过4小时未停车休息 或者停车休息时间少于20分钟。

现有技术，主要通过车载监控终端I/O信号检测线接车辆ACC线路， 通过检测ACC连续通电或关闭时长判断驾驶时长，连续驾驶机动车超过4 小时未停车休息或者停车休息时间少于20分钟，为疲劳驾驶。较为先进的 有通过驾驶员状态监测DSM摄像头监控司机状态，利用DSM摄像头获取的 图像，通过视觉跟踪，人脸识别、目标检测、动作识别等对驾驶员的驾驶 行为进行检测，当驾驶员发生疲劳、分心、打电话、抽烟等危险情况时， 在系统设定时间内报警以避免事故发生。

以上通过检测ACC状态的方法，可以检测到车辆的运行时长，但不能 有效的实时判断驾驶员实际疲劳状况，假如驾驶员精神状态较差理应停车 休息，避免影响驾驶安全。目前，现有利用DSM摄像头司机状态监测，主 要基于动作识别，如打哈欠、闭眼睛超过预设时长判定为疲劳驾驶。然而， 眼睛的大小、张嘴或其他动作均有可能触发报警的情况，不能准确判断驾 驶员情绪及生理状态，更不能知道乘车人员情绪是否影响到行车安全。

发明内容

针对上述问题，本发明提出一种基于AI识别的主动安全预警方法及系 统。

本发明通过以下技术方案予以实现：

一种基于AI识别的主动安全预警系统，包括以下步骤：

1)获取驾驶员的胸腔的震动曲线；

2)检测识别驾驶员的驾驶行为及情绪；

3)通过高精度北斗/INS组合导航捕捉车辆的行驶轨迹，分析车辆的平 稳状态；

4)通过ADAS获取车辆所在车道偏移度；

5)获取驾驶员的音频信号，并根据音频信号识别其音阶及音调；

6)获取驾驶员的驾驶时长；

7)将1)-6)获得的特征数据与API特征数据进行比对，获得1)-6) 特征数据所对应的疲劳值、疲劳值准确度与情绪值、情绪值准确度，并根 据API特征数据限定出疲劳程度及情绪影响程度的判断阈值；其中API特 征数据经过前期各传感器识别单元大量数据采样，通过支持向量机、分类 器训练得到疲劳、情绪特征数据库样本；

8)将1)-6)各项获得的疲劳值与疲劳值准确度乘积之和比去疲劳值 准确度之和，求得综合疲劳值

将1)-6)各项获得的情绪值与情绪值准 确度乘积之和比去情绪值准确度之和，求得综合情绪值ū；

9)当求得的综合疲劳值

综合情绪值ū超过限定的疲劳程度及情绪 影响程度的判断阈值时，进行安全预警。

进一步的，其中1)具体包括以下步骤：

1.1)通过距离分辨率4cm，震动测量精度<1mm的77GHz的毫米波雷达， 检测同一个距离位置上面反射信号的相位变化，反向推导出距离的变化， 同时利用相对差分方法消除人体间的相对位移分量，获得人体胸腔震动原 始数据；

1.2)将获得的人体胸腔震动原始数据进行降噪处理，通过0.1～0.6Hz 和0.8～4.0Hz带通滤波器分离出呼吸和心跳信号，经过傅里叶变换后得到 距离的曲线，通过相位与距离的变化关系得到胸腔的震动曲线。

进一步的，其中2)具体包括以下步骤：

2.1)利用DSM摄像头获取图像；

2.2)通过预设检测识别方法对图像中驾驶员的驾驶行为及情绪进行识 别；其中预设检测识别方法包括但不限于视觉跟踪、人脸识别、目标检测、 动作识别及AI动态情绪识别。

进一步的，其中3)中车辆平稳状态分析包括急加、急减、急转弯、振 动频率。

进一步的，其中6)中通过检测ACC状态获取驾驶员的驾驶时长。

进一步的，其中9)中安全预警方式包括语音提醒、将相关人员情绪值 及车辆数据、音视频等数据上报云服务监控中心。

本发明还进一步提供了一种AI识别的主动安全预警系统，包括驾驶员 动态情绪监测系统与云服务监控中心；驾驶员动态情绪监测系统通过4G/5G 网络与云服务监控中心数据交互；

所述驾驶员动态情绪监测系统包括

毫米波雷达AI情绪识别单元，用于获取驾驶员的胸腔的震动曲线；

疲劳监测单元，用于检测识别驾驶员的驾驶行为及情绪；

惯性导航单元，用于分析车辆的平稳状态；

ADAS车道偏移检测单元，用于获取车辆所在车道偏移度；

I/O信号检测单元，其通过信号检测线接车辆ACC线路，用于获取驾驶 员的驾驶时长；

拾音器，用于获取音频信号；

扬声器，用于播放语音提醒；

处理器MCU，其分别与毫米波雷达AI情绪识别单元、疲劳监测单元、 惯性导航单元、ADAS车道偏移检测单元、I/O信号检测单元、拾音器与扬 声器进行电性连接，所述处理器MCU内含语音处理模块及加权平均数算法 模块；语音处理模块，用于分离识别音频信号中分离出音阶、音调；加权 平均数算法模块，用于测算综合疲劳值与综合情绪值，并分别将测算值与 对应的阀值进行比较；处理器MCU通过4G/5G网络与互联网进行信息交互；

所述云服务监控中心，用于进行情绪超阀值时的预警提示与反馈。

进一步的，所述云服务监控中心包括但不仅限于网关、数据库服务与 业务系统。

与现有技术相比，本发明具有以下有益效果：

1.本发明提供的基于AI识别的主动安全预警方法及系统，有效监督营 运车辆驾驶行为，有效的提高了疲劳驾驶及情绪识别的准确性。

2.通过多目标识别、智能分析、语音播报技术，在关键时刻提醒驾驶 员控制情绪，防止行车安全受到乘车人员情绪干扰。

3.系统通过驾驶员疲劳、综合情绪AI识别及大数据分析，便于驾驶安 全系数考核。

4.使用高精度、高性能毫米波雷达，动态监测驾乘人员的生命特征， 为突发事件争取更多的时间。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，对本发 明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实 施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发 明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下 所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下 提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发 明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实 施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的 所有其他实施方式，都属于本发明保护的范围。

一种基于AI识别的主动安全预警系统，包括以下步骤：

1)获取驾驶员的胸腔的震动曲线；

其中1)具体包括以下步骤：

1.1)通过距离分辨率4cm，震动测量精度<1mm的77GHz的毫米波雷达， 检测同一个距离位置上面反射信号的相位变化，反向推导出距离的变化， 同时利用相对差分方法消除人体间的相对位移分量(即人驾驶过程中的身 位变化)，提高心跳和呼吸计数的准确性，获得人体胸腔震动原始数据；

1.2)将获得的人体胸腔震动原始数据进行降噪处理，通过0.1～0.6Hz 和0.8～4.0Hz带通滤波器分离出呼吸和心跳信号，经过傅里叶变换后得到 距离的曲线，通过相位与距离的变化关系得到胸腔的震动曲线。

2)检测识别驾驶员的驾驶行为及情绪；

其中2)具体包括以下步骤：

2.1)利用DSM摄像头获取图像；

2.2)通过预设检测识别方法对图像中驾驶员的驾驶行为及情绪进行识 别；其中预设检测识别方法包括但不限于视觉跟踪、人脸识别、目标检测、 动作识别及AI动态情绪识别。当驾驶员发生疲劳、分心、打电话、抽烟、 情绪过激等危险情况时，结合毫米波识别、惯导传感单元、ADAS车辆所在 车道偏移等判断结果，通过AI算法多元融合计算，实现驾驶安全系数、平 稳度涉及的多项几何参数的高效监测，在系统设定时间内报警以避免事故发生。

3)通过高精度北斗/INS组合导航捕捉车辆的行驶轨迹，分析车辆的平 稳状态；其中3)中车辆平稳状态分析包括急加、急减、急转弯、振动频率。 结合前面所述毫米波雷达、摄像机AI动态情绪识别及疲劳系数，进一步验 证驾驶员的注意力集中程度。

4)通过ADAS获取车辆所在车道偏移度；

5)获取驾驶员的音频信号，并根据音频信号识别其音阶及音调；

6)获取驾驶员的驾驶时长；其中6)中通过检测ACC状态获取驾驶员 的驾驶时长。

7)将1)-6)获得的特征数据与API特征数据进行比对，获得1)-6) 特征数据所对应的疲劳值、疲劳值准确度与情绪值、情绪值准确度，并根 据API特征数据限定出疲劳程度及情绪影响程度的判断阈值；其中API特 征数据经过前期各传感器识别单元大量数据采样，通过支持向量机、分类 器训练得到疲劳、情绪特征数据库样本；

8)通过加权平均数算法将1)-6)各项获得的疲劳值与疲劳值准确度 乘积之和比去疲劳值准确度之和，求得综合疲劳值

将1)-6)各项获得 的情绪值与情绪值准确度乘积之和比去情绪值准确度之和，求得综合情绪 值ū；

9)当求得的综合疲劳值

综合情绪值ū超过限定的疲劳程度及情绪 影响程度的判断阈值时，进行安全预警。其中9)中安全预警方式包括语音 提醒、将相关人员情绪值及车辆数据、音视频等数据上报云服务监控中心。

本发明还进一步提供了一种AI识别的主动安全预警系统，包括驾驶员 动态情绪监测系统与云服务监控中心；驾驶员动态情绪监测系统通过4G/5G 网络与云服务监控中心数据交互；

驾驶员动态情绪监测系统包括

毫米波雷达AI情绪识别单元，用于获取驾驶员的胸腔的震动曲线；

疲劳监测单元，通过AI摄像机检测识别驾驶员的驾驶行为及情绪；

惯性导航单元，用于分析车辆的平稳状态；

ADAS车道偏移检测单元，用于获取车辆所在车道偏移度；

I/O信号检测单元，其通过信号检测线接车辆ACC线路，用于获取驾驶 员的驾驶时长；

拾音器，用于获取音频信号；

扬声器，用于播放语音提醒；

处理器MCU，其分别与毫米波雷达AI情绪识别单元、疲劳监测单元、 惯性导航单元、ADAS车道偏移检测单元、I/O信号检测单元、拾音器与扬 声器进行电性连接，处理器MCU内含语音处理模块及加权平均数算法模块； 语音处理模块，用于分离识别音频信号中分离出音阶、音调；加权平均数 算法模块，用于测算综合疲劳值与综合情绪值，并分别将测算值与对应的 阀值进行比较；

云服务监控中心，用于进行情绪超阀值时的预警提示与反馈。

进一步的，云服务监控中心包括但不仅限于网关、数据库服务与业务 系统。

上述加权平均数算法求解驾驶员疲劳程度及情绪状况进一步如下所 示：

定义疲劳值x(取值范围0～100)情绪值u(取值范围0～100)且定位 疲劳值准确度w，情绪值准确度为W如表所示：

其中上表中的疲劳值及情绪值为对应识别单元检测的特征数据在对应 API特征数据中所对应的数值。(例如通过大数据统计在毫米波识别的该胸 腔震动曲线下驾驶员所对应的疲劳值及情绪值；疲劳值准确度及情绪值准 确度为该胸腔震动曲线下疲劳值及情绪值数值是否准确，因为在同一胸腔 震动曲线下不同的人会体现处不同的疲劳值及情绪值，因此引入疲劳值准 确度及情绪值准确度，其定义为相同胸腔震动曲线下，该疲劳值及情绪值 人数占总人数的比例。AI摄像机、音频识别、惯导传感单元、ADAS偏移度 及驾驶时长中疲劳值、情绪值、疲劳值准确度、情绪值准确度的定义方式 同上。)

通过加权平均数算法求解综合疲劳值

即各单元疲劳值与疲劳值准确 度乘积之和比去疲劳值准确度之和。将疲劳程度分为无疲劳、一级、二级 三个疲劳等级，假设a、b为疲劳程度判断阈值，则可以通过综合疲劳值，

无疲劳,

一级疲劳(轻度),

二级疲劳(中度)判断疲劳 程度；同时，将综合情绪划分情绪平静、一级情绪、二级三个情绪等级， 假设c、d为情绪影响程度判断阈值，则可以通过综合情绪值，ū<c情绪平 静,c≤ū≤d一级情绪(轻度),ū>d二级情绪(中度)判断情绪影响程 度；

各识别单元数据进一步利用本系统方法评估结果、结合云服务中心综 合判断结果得出的误差修正系数，对各单元识别模块误差修正，形成准确 度优化的闭环。

进一步举一数据示例进行说明，具体如下：

通过前面的公式得到疲劳值加权平均数

据调查统计结果及大 数据分析得出a、b最优取值为30、60，则

可以判断为驾驶员一级 疲劳(轻度)，系统自动提醒驾驶员小心驾驶。

同理，计算出情绪值加权平均值ū＝27.7，据调查统计结果及大数据分 析得出c、d最优取值为30、60，则ū<b可以判断驾驶员情绪平静、无异 常。

由于摄像机AI识别存在准备角度、安装高度及侧立面等因素，仅依靠 摄像机AI捕获识别是完全不够的。本系统通过毫米波雷达能够准确识别范 围内的所有人员情绪，对准姿态没有要求。通过一种基于AI识别的主动安 全预警方法及系统，判断驾驶员情绪的稳定性，以便系统提醒驾驶员及乘 客注意控制情绪。在监测范围内，系统识别到情绪影响程度度超过预设阈 值时，主动将相关人员情绪值及车辆数据、音视频等数据上报云服务监控中心，监控中心收到报警后，通过设备对讲等通道远程连线车辆，并指挥、 调度决策制止，以防交通危险事件或事故的发生。

以上所述仅为本发明的优选实施方式而已，并不用于限制本发明，对 于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的 精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发 明的保护范围之内。

Claims (8)

1.一种基于AI识别的主动安全预警方法，其特征在于,包括以下步骤：

1)获取驾驶员的胸腔的震动曲线；

2)检测识别驾驶员的驾驶行为及情绪；

3)通过高精度北斗/INS组合导航捕捉车辆的行驶轨迹，分析车辆的平稳状态；

4)通过ADAS获取车辆所在车道偏移度；

5)获取驾驶员的音频信号，并根据音频信号识别其音阶及音调；

6)获取驾驶员的驾驶时长；

7)将1)-6)获得的特征数据与API特征数据进行比对，获得1)-6)特征数据所对应的疲劳值、疲劳值准确度与情绪值、情绪值准确度，并根据API特征数据限定出疲劳程度及情绪影响程度的判断阈值；其中API特征数据经过前期各传感器识别单元大量数据采样，通过支持向量机、分类器训练得到疲劳、情绪特征数据库样本；

8)将1)-6)各项获得的疲劳值与疲劳值准确度乘积之和比去疲劳值准确度之和，求得综合疲劳值

将1)-6)各项获得的情绪值与情绪值准确度乘积之和比去情绪值准确度之和，求得综合情绪值ū；

9)当求得的综合疲劳值

综合情绪值ū超过限定的疲劳程度及情绪影响程度的判断阈值时，进行安全预警。

2.根据权利要求1所述的基于AI识别的主动安全预警方法，其特征在于，其中1)具体包括以下步骤：

1.1)通过距离分辨率4cm，震动测量精度<1mm的77GHz的毫米波雷达，检测同一个距离位置上面反射信号的相位变化，反向推导出距离的变化，同时利用相对差分方法消除人体间的相对位移分量，获得人体胸腔震动原始数据；

1.2)将获得的人体胸腔震动原始数据进行降噪处理，通过0.1～0.6Hz和0.8～4.0Hz带通滤波器分离出呼吸和心跳信号，经过傅里叶变换后得到距离的曲线，通过相位与距离的变化关系得到胸腔的震动曲线。

3.根据权利要求1所述的基于AI识别的主动安全预警方法，其特征在于，其中2)具体包括以下步骤：

2.1)利用DSM摄像头获取图像；

2.2)通过预设检测识别方法对图像中驾驶员的驾驶行为及情绪进行识别；其中预设检测识别方法包括但不限于视觉跟踪、人脸识别、目标检测、动作识别及AI动态情绪识别。

4.根据权利要求1所述的基于AI识别的主动安全预警方法，其特征在于，其中3)中车辆平稳状态分析包括急加、急减、急转弯、振动频率。

5.根据权利要求1所述的基于AI识别的主动安全预警方法，其特征在于，其中6)中通过检测ACC状态获取驾驶员的驾驶时长。

6.根据权利要求1所述的基于AI识别的主动安全预警方法，其特征在于，其中9)中安全预警方式包括语音提醒、将相关人员情绪值及车辆数据、音视频等数据上报云服务监控中心。

7.一种AI识别的主动安全预警系统，其特征在于,包括：包括驾驶员动态情绪监测系统与云服务监控中心；驾驶员动态情绪监测系统通过4G/5G网络与云服务监控中心数据交互；

所述驾驶员动态情绪监测系统包括

毫米波雷达AI情绪识别单元，用于获取驾驶员的胸腔的震动曲线；

疲劳监测单元，用于检测识别驾驶员的驾驶行为及情绪；

惯性导航单元，用于分析车辆的平稳状态；

ADAS车道偏移检测单元，用于获取车辆所在车道偏移度；

I/O信号检测单元，其通过信号检测线接车辆ACC线路，用于获取驾驶员的驾驶时长；

拾音器，用于获取音频信号；

扬声器，用于播放语音提醒；

处理器MCU，其分别与毫米波雷达AI情绪识别单元、疲劳监测单元、惯性导航单元、ADAS车道偏移检测单元、I/O信号检测单元、拾音器与扬声器进行电性连接，所述处理器MCU内含语音处理模块及加权平均数算法模块；语音处理模块，用于分离识别音频信号中分离出音阶、音调；加权平均数算法模块，用于测算综合疲劳值与综合情绪值，并分别将测算值与对应的阀值进行比较；处理器MCU通过4G/5G网络与互联网进行信息交互；

所述云服务监控中心，用于进行情绪超阀值时的预警提示与反馈。

8.根据权利要求7所述的AI识别的主动安全预警系统，其特征在于，所述云服务监控中心包括但不仅限于网关、数据库服务与业务系统。