CN113479211A - 基于机器视觉的汽车驾驶安全行为识别和提醒方法及系统 - Google Patents

Abstract

本发明公开了一种基于机器视觉的汽车驾驶安全行为识别和提醒方法及系统，涉及汽车智能系统技术领域，其包括方法，方法包括：根据安全驾驶模型处理实时记录的车辆驾驶状态，判定是否执行报警提示驾驶员，并与预设的云服务器做数据交互；以及，接收从云服务器反馈的实时更新的安全驾驶模型。本申请具有实时分析驾驶员的驾驶行为，对驾驶员的危险驾驶行为进行有效警醒；同时，将驾驶数据进行汇聚对安全驾驶模型进行更新迭代，大大提高行车安全性，降低道路事故发生率的效果。

Description

基于机器视觉的汽车驾驶安全行为识别和提醒方法及系统

技术领域

本申请涉及汽车智能系统技术领域，尤其是涉及一种基于机器视觉的汽车驾驶安全行为识别和提醒方法及系统。

背景技术

随着社会生产力的不断发展，国民经济水平日渐提高，汽车的价格边得越来越亲民，更多的家庭可以购买汽车，享受更加便利的生活。家庭购车潮已然兴起，小轿车俨然有了成为家庭标配的趋势，国内汽车保有量大幅度上升。

由于道路上车辆不断增多，各种路况边得复杂，而在汽车行驶过程中，部分驾驶员存在着注意力不集中、开车玩手机或抽烟、与乘客闲聊等威胁驾驶安全的不良习惯；而且，有驾驶员为的图一时之便而违规，如超速行驶，违规变道等，引发各类交通事故。

针对上述内容，本申请提出一种新的技术方案。

发明内容

为了改善驾驶行为，降低交通事故发生率，优化道路行驶环境，本申请提供一种基于机器视觉的汽车驾驶安全行为识别和提醒方法及系统。

第一方面，本申请提供一种基于机器视觉的汽车驾驶安全行为识别和提醒方法，采用如下的技术方案：

一种基于机器视觉的汽车驾驶安全行为识别和提醒方法，包括：

根据安全驾驶模型处理实时记录的车辆驾驶状态，判定是否进行报警，并与预设的云服务器做数据交互；以及，

接收云服务器根据反馈数据更新的安全驾驶模型。

可选的，记录的车辆驾驶状态包括：

从云服务器获取实时时间，累计驾驶时长，并关联从车载系统获取的行车数据；

从预设于车辆的定位模块或从车载系统获取车辆的位置信息，用于根据位置信息从云服务器获取当前时间点当前路段的交通安全行车数据；以及，

从车载摄像头获取采集的驾驶员人脸信息、驾驶员启动车辆时的图像信息以及驾驶员驾驶车辆时的图像信息。

可选的，根据实时行车数据判断车辆是否为停车但发动机未停止，如果是，则识别车辆再次移动时的驾驶员人脸信息，并与本次驾驶过程的初始驾驶员人脸信息对比；

当对比结果为驾驶员人脸信息不一致，则对驾驶时长归零；

当对比结果为驾驶员人脸信息一致，则识别驾驶员驾驶车辆时的图像信息，判断驾驶员是否处于休息，如果是，则对驾驶时长归零；如果否，则继续累计驾驶时长。

可选的，所述安全驾驶模型处理包括：判断驾驶时长是否超出预设安全指数范围内，如果是，则执行报警。

可选的，所述安全驾驶模型处理还包括：判断实时的行车数据是否符合当前路段交通安全行车数据，如果否，则执行报警。

可选的，当根据行车数据判别车辆在当前路段超速，进行事故警示；所述事故警示包括：从云服务器获取该路段过往事故发生数据，并在报警时输出用于提示。

可选的，所述事故警示还包括：从预设于车辆的测距雷达获取跟车距离，根据预设的止动距离算法处理跟车距离和行车数据，计算出当前止动距离，并在报警时输出用于提示。

可选的，所述安全驾驶模型处理还包括：

识别驾驶员驾驶车辆时的图像信息，结合驾驶时长，得到疲劳危险驾驶行为、非疲劳危险驾驶行为；以及，

分类统计两种危险驾驶行为在T1时段中的次数并与安全驾驶模型的阈值比对，判别出超出安全指数范围的危险驾驶行为，并执行报警。

可选的，所述报警包括发送语音、动作提示指令至某个、某几个预设于车辆内的用于与驾驶员互动的设备；其中，至少一个设备用于执行安全带拉紧动作。

可选的，当判别出超出安全指数范围的危险驾驶行为报警，发送询问是否需音乐提神和/或调节车内温湿度的语音指令，并获取车内语音信息，识别和响应控制车辆内预连接的设备。

可选的，当在音乐提神和/或车内温湿度调节后，判断安全指数范围的危险驾驶行为出现的频次在T2时段及T2+ X1时段与相应预设阈值的关系，如果T2时段、T2+X1时段均超出阈值，则再次询问是否需音乐提神和/或调节车内温湿度的语音指令；其中，T2时段的阈值大于T2+X1时段的阈值，且T2、X1均为非0正数。

可选的，还包括：基于识别出的驾驶员驾驶车辆时的图像信息，判断驾驶过程中是否系好安全带，如果否，则报警。

可选的，还包括：

获取车外的环境图像信息，并识别天气类型；以及，

当判别天气类型为恶劣天气，执行报警，且根据安全驾驶模型输出行车建议作为报警信息播报。

第二方面，本申请提供一种基于机器视觉的汽车驾驶安全行为识别和提醒系统，采用如下的技术方案：

一种基于机器视觉的汽车驾驶安全行为识别和提醒系统，包括：

车载终端，其被配置为：用于加载执行如上所述方法的计算机程序；

服务器，其被配置为：用于连接车载终端，根据预设的神经网络训练方法处理反馈信息，更新安全驾驶模型并回传至车载终端。

综上所述，本申请包括以下至少一种有益技术效果：本申请可用于对驾驶员驾驶行为图像数据、路段交通数据、实时车辆行驶数据进行收集，并实时通过安全驾驶模型分析驾驶员的驾驶行为，对驾驶员的危险驾驶行为进行有效预警和实时提醒； 同时，反馈驾驶相关数据至云端服务器用于通过神经网络训练模型，对安全驾驶模型进行更新迭代，提高识别分析准确性，提高行车安全性，降低道路事故发生率。

附图说明

图1是本申请的安全驾驶模型构建图；

图2是本申请的系统架构图。

具体实施方式

以下结合附图1-2对本申请作进一步详细说明。

本申请实施例公开一种基于机器视觉的汽车驾驶安全行为识别和提醒方法。

就当前技术而言，更多的驾驶员只能通过自身驾驶经验对驾驶状况是否危险进行判断，更有甚者明知驾驶行为不安全或是违反交通规则仍一意孤行。正因为驾驶员自身经验对驾驶的安全性进行判断是有所欠缺的，所以需要一个更为客观的第三方对驾驶的安全性进行判断，并对驾驶员进行有效提醒，进而提高驾驶安全性，降低交通事故发生率，优化道路行驶环境。

参照图1和图2，基于机器视觉的汽车驾驶安全行为识别和提醒方法，以下通过系统的形式进行详细说明，该系统包括车载终端和云服务器。

其中，车载终端，其被配置为：实时记录车辆的驾驶状态，集中处理时间、图像、位置等数据并与云服务器进行沟通；当（驾驶状态）参数超过预设安全指数范围时，下达报警指令，并把驾驶数据上传至云服务器。终端具体包括：时间模块、定位模块、图像识别模块、车载控制中心和报警模块。

云服务器，其被配置为：用于连接车载控制中心，将通过神经网络训练后的安全驾驶模型传输至车载终端，并回收车载控制中心的驾驶数据，用于再次训练，更新完善安全驾驶模型。

具体的，当车辆挂入空挡时，车载终端将这一驾驶时间段内的驾驶行为相关数据上传至云服务器。云服务器根据不同的危险驾驶行为信息，对安全驾驶模型进行迭代升级，在升级完毕后，将最新安全驾驶模型传输至车载终端，使得车载终端所用模型的准确度实时提高。

上述时间模块：用于实时监测各时间段车辆行车数据。如车辆启动时，驾驶员需要进行挂挡操作；此时，时间模块被激活（结合后文可知结合图像识别实现），再通过内置的5G无线通讯模块与云服务器进行数据交互，获取实时时间；同时，进行驾驶时长记录。本系统与车载系统预设为保持数据交互，车辆行驶过程中行车数据，如车辆速度、加速度、发动机运行数据等分享至时间模块，以供分析驾驶员的驾驶状态。

可以理解的是，该时间模块需具有获取实时时间、计算时长以及获取行车数据等功能，因而虽然普遍车辆具有获取实时时间的功能，但并不能替换本发明所提及的时间模块。

定位模块：用于实时获取车辆位置信息。如果车辆已有定位导航功能，可以不添加单独的定位模块，连接车辆已有模块，获取位置导航信息即可。

图像采集与识别模块：用于获取驾驶员的图像信息并识别。其可通过内置的车载摄像头采集驾驶员的图像信息，来获取驾驶员的图像信息，用以监测驾驶员的危险驾驶行为；驾驶员的图像信息包括驾驶员人脸信息、驾驶员启动车辆时的图像信息以及驾驶员驾驶车辆时的图像信息。

控制中心：用于与云服务器连接并控制车载终端的各大模块，实时集中处理各模块收集的车辆驾驶状态，将其与从云服务器下载的安全驾驶模型进行参数比对，当参数超过预设安全指数范围时，下达报警指令。

报警模块：用于对驾驶员危险驾驶行为发出警示。本申请包括两种，一为通过预连接的车载音响播报的语音警示，二为安全带松紧动作警示。该模块用于预警和即时提醒。例如：关于预警功能，在前方路况复杂或有特殊交通规则限制时，报警模块提前告知驾驶员注意事项，如“前方道路限速”等；关于即时提醒功能，当识别到驾驶员有危险驾驶行为时，报警模块发出对应提示音，如“请勿疲劳驾驶”“请勿接打手机”等，并通过内置于安全带端头安装部的电机收紧安全带提示驾驶员。

在驾驶员停止危险驾驶行为后，报警模块通过车载音频系统，询问驾驶员是否需要音乐提神或是否调节车内温湿度，以提醒驾驶员安全驾驶，并为其提神。

进一步的，报警模块：还用于根据反馈信息确定音乐提神和/或车内温湿度调节后，判断安全指数范围的危险驾驶行为出现的频次在T2时段及T2+ X1时段与相应预设阈值的关系，如果T2时段、T2+X1时段均超出阈值，则再次询问是否需音乐提神和/或调节车内温湿度的语音指令。

其中，T2时段，其根据触发报警的危险行为频次确定通过查找预设关系表获取；关系表由实际验证所得，如：当触发报警的危险行为的频次在1分钟N次-2分钟N次之间（N≥1），T2时段为3分钟；否则T2时段可为5分钟、9分钟以及15分钟；触发报警的危险行为的频次越低，T2时段越长。

同时，此时触发再次询问的阈值A，其在T2时段大于或等于原触发报警时阈值；在T2时段后，即T2+X1时段，阈值A小于原触发报警时阈值。

此时，可通过T2时段、T2+ X1时段的危险行为的频次变化，来判别出原有提神指令是否有效；如前、后均超出阈值，则认为原提神指令无效，再次询问是否需要新的提升指令。T2、X1均为非0正数。

本系统在实际驾驶中的应用及过程，具体包括：

当车辆启动时，图像采集与识别模块被激活，开始工作；车载摄像头对车辆内图像信息进行初步的录入，如对驾驶员的图像录入，用以后续驾驶状态的比对；而后，摄像头实时获取驾驶员的驾驶状态图像信息。

当根据预设的行为数据库识别出驾驶员进行挂挡操作后，时间模块和定位模块进行工作。

时间模块通过云端服务器获取实时时间，定位模块实时获取车辆位置信息，车载控制中心结合实时时间和车辆位置信息，从云端服务器获取该时间点该路段的所规定的交通安全行驶数据，用以预警驾驶员前方路况以及报警。

可以理解的是，在不同时间，不同路段交通部门对车辆行驶都有不一样的规则；如在进入某些单行道上，控制中心根据云端数据，提前给报警模块下达语音提示命令，提示驾驶员前方为单行道；或是在限速路段，提前告知驾驶员前方限速。

同时，若驾驶员在某一路段强行超速行驶，控制中心将判定此为危险驾驶，向报警模块下达执行指令，利用车载音响发出“请勿超速行驶”的电子提示音并控制相关电机，驱使收紧安全带提示驾驶员，直至驾驶员停止该危险驾驶行为。

由于部分驾驶人员对于超速的态度不当，为控制中心还配置为：用于当根据行车数据判别车辆在当前路段超速，进行事故警示；事故警示包括：从云服务器获取该路段过往事故发生数据，并在报警时输出用于提示； 同时，其还从预设于车辆的测距雷达获取跟车距离，根据预设的止动距离算法处理跟车距离和行车数据，计算出当前止动距离，并在报警时输出用于提示，以便通过事故数据、止动距离，提醒驾驶人员发生危险的几率，使其能更认真对待超速行为。

除了以上，本申请还对驾驶人员的行为做规范引导；

在驾驶过程中，图像采集与识别模块，识别出驾驶人员抽烟、接打电话、闭眼、打呵欠、未系好安全带等；且结合时间模块，判别出驾驶人员长时间单手操作方向盘、长时间驾驶。

具体的，闭眼、打呵欠、长时间驾驶等均为疲劳危险驾驶行为；抽烟、长时间单手操作方向盘、接打电话、未系好安全带等均视为非疲劳危险驾驶行为。

需要注意的是，对于其中的“未系好安全带”，本申请设置为基于图像识别，而非传统的车载系统的传感器反馈，以防止车载人员单纯扣合安全带，而未系好安全带在身上，以提高系统的判别准确性。

在行驶过程中识别出上述行为，并传输至控制中心，控制中心对某一时间段（T1时段），将该危险驾驶行为出现的次数与安全驾驶模型的阈值进行比对，判别出超出安全指数范围的危险驾驶行为；如果判定为危险驾驶状态，则控制中心立即向报警模块发出指令，以提醒驾驶员停止危险驾驶行为。

由于在长途驾驶过程中，为保证驾驶安全会出现不同驾驶员交替驾驶车辆，即当行进过程中车辆临时停车但发动机仍处于工作状态，可能正处于驾驶员变换过程，因此控制中心被配置为：

用于根据实时行车数据判断车辆是否为停车但发动机未停止，如果是，则通过图像采集与识别模块，识别车辆再次移动时的驾驶员人脸信息，并与本次驾驶过程的初始驾驶员人脸信息对比；

当对比结果为驾驶员人脸信息不一致，则说明驾驶员进行了更换，由时间模块对本次驾驶时长进行清零，等待下一次挂挡操作时重新开启计时；

当对比结果为驾驶员人脸信息一致，则识别驾驶员驾驶车辆时的图像信息，判断驾驶员是否处于休息，如果是，则对驾驶时长归零；如果否，则继续累计驾驶时长。

除了车内，图像采集与识别模块还基于对外的摄像头（行车记录仪）被配置为：

用于获取车外的环境图像信息，并根据数据库识别天气类型；以及，

当判别天气类型为恶劣天气，执行报警，且根据安全驾驶模型输出行车建议作为报警信息播报。

具体如在面对突发的大雨时，系统不仅会检测驾驶员的连续驾驶时间，系安全带以及开车习惯等方面的常规检测，还会根据雨势大小给出合理的行车时速和路径规划，提醒车主打开警示灯等措施。可包括：恶劣天气为雨、雪天，且能见度为200、50（基于气象、交通部门发布信息），在高速、乡间小路、城市道路分别给出预设的行车意见；行车意见可为人工设置，或云端聚类分析过往对应路段、路况的行车数据，获取的大众优选的能安全通行的相关数据。

更进一步的，为保障本申请的效用，本申请的图像分析处理，其设置为两类：一类，车载终端与云端服务器正常通信互连，此时，可将预选定的多个图像分析处理转为由云端服务器进行，以提高识别的准确性，并提高车载系统运行流畅性；一类，车载终端与云端服务器断开通信，如进入山区等信号差的位置时，此时分析处理交由车载终端进行，且在通信恢复后，上传过程数据，交由某一备用工艺提升的用服务器分析，是否存在故障、错误等，并记录；等待后期，相关单元用于查找车载终端的缺陷，改善汽车的中控系统。

综上所述，本申请可用于对驾驶员驾驶行为图像数据、路段交通数据、实时车辆行驶数据进行收集，并能实时分析驾驶员的驾驶行为，对驾驶员的危险驾驶行为进行有效预警和实时提醒；同时，实时对驾驶数据进行汇聚用于对安全驾驶模型进行更新迭代，大大提高行车安全性，降低道路事故发生率。

以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims (10)

1.一种基于机器视觉的汽车驾驶安全行为识别和提醒方法，其特征在于，包括：

根据安全驾驶模型处理实时记录的车辆驾驶状态，判定是否进行报警，并与预设的云服务器做数据交互；以及，

接收云服务器根据反馈数据更新的安全驾驶模型；

其中，记录的车辆驾驶状态包括：

从云服务器获取实时时间，累计驾驶时长，并关联从车载系统获取的行车数据；

从预设于车辆的定位模块或从车载系统获取车辆的位置信息，用于根据位置信息从云服务器获取当前时间点当前路段的交通安全行车数据；以及，

获取采集的驾驶员人脸信息、驾驶员启动车辆时的图像信息以及驾驶员驾驶车辆时的图像信息。

2.根据权利要求1所述的基于机器视觉的汽车驾驶安全行为识别和提醒方法，其特征在于：

根据实时行车数据判断车辆是否为停车但发动机未停止，如果是，则识别车辆再次移动时的驾驶员人脸信息，并与本次驾驶过程的初始驾驶员人脸信息对比；

当对比结果为驾驶员人脸信息不一致，则对驾驶时长归零；

当对比结果为驾驶员人脸信息一致，则识别驾驶员驾驶车辆时的图像信息，判断驾驶员是否处于休息，如果是，则对驾驶时长归零；如果否，则继续累计驾驶时长。

3.根据权利要求1所述的基于机器视觉的汽车驾驶安全行为识别和提醒方法，其特征在于，所述安全驾驶模型处理包括：判断驾驶时长是否超出预设安全指数范围内，如果是，则进行报警。

4.根据权利要求1所述的基于机器视觉的汽车驾驶安全行为识别和提醒方法，其特征在于，所述安全驾驶模型处理还包括：判断实时的行车数据是否符合当前路段交通安全行车数据，如果否，则进行报警。

5.根据权利要求4所述的基于机器视觉的汽车驾驶安全行为识别和提醒方法，其特征在于：当根据行车数据判别车辆在当前路段超速，进行事故警示；所述事故警示包括：

从云服务器获取该路段过往事故发生数据，并在报警时输出用于提示；以及，

从预设于车辆的测距雷达获取跟车距离，根据预设的止动距离算法处理跟车距离和行车数据，计算出当前止动距离，并在报警时输出用于提示。

6.根据权利要求1所述的基于机器视觉的汽车驾驶安全行为识别和提醒方法，其特征在于，所述安全驾驶模型处理还包括：

识别驾驶员驾驶车辆时的图像信息，结合驾驶时长，得到疲劳危险驾驶行为、非疲劳危险驾驶行为；以及，

分类统计两种危险驾驶行为在T1时段中的次数并与安全驾驶模型的阈值比对，判别出超出安全指数范围的危险驾驶行为，并进行报警。

7.根据权利要求6所述的基于机器视觉的汽车驾驶安全行为识别和提醒方法，其特征在于：当判别出超出安全指数范围的危险驾驶行为报警，发送询问是否需音乐提神和/或调节车内温湿度的语音指令，并获取车内语音信息，识别和响应控制车辆内预连接的设备。

8.根据权利要求7所述的基于机器视觉的汽车驾驶安全行为识别和提醒方法，其特征在于：当在音乐提神和/或车内温湿度调节后，判断安全指数范围的危险驾驶行为出现的频次在T2时段及T2+X1时段与相应预设阈值的关系，如果T2时段、T2+X1时段均超出阈值，则再次询问是否需音乐提神和/或调节车内温湿度的语音指令；其中，T2时段的阈值大于T2+X1时段的阈值，且T2、X1均为非0正数。

9.根据权利要求1所述的基于机器视觉的汽车驾驶安全行为识别和提醒方法，其特征在于，还包括：

获取车外的环境图像信息，并识别天气类型；以及，

当判别天气类型为恶劣天气，进行报警，且根据安全驾驶模型输出行车建议作为报警信息播报。

10.一种基于机器视觉的汽车驾驶安全行为识别和提醒系统，其特征在于，包括：

车载终端，其被配置为：用于加载执行如权利要求1-9任一所述方法的计算机程序；以及，

服务器，其被配置为：用于连接车载终端，根据预设的神经网络训练方法处理反馈信息，更新安全驾驶模型并回传至车载终端。

Images