CN115841735A - 基于人、道路、环境动态耦合的安全驾驶辅助系统 - Google Patents

基于人、道路、环境动态耦合的安全驾驶辅助系统 Download PDF

Info

Publication number
CN115841735A
CN115841735A CN202211079102.8A CN202211079102A CN115841735A CN 115841735 A CN115841735 A CN 115841735A CN 202211079102 A CN202211079102 A CN 202211079102A CN 115841735 A CN115841735 A CN 115841735A
Authority
CN
China
Prior art keywords
driver
early warning
driving
road
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211079102.8A
Other languages
English (en)
Inventor
张雷
李冰
陈智超
张晨星
王天培
赵浩博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Jiaotong University
Original Assignee
Chongqing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Jiaotong University filed Critical Chongqing Jiaotong University
Priority to CN202211079102.8A priority Critical patent/CN115841735A/zh
Publication of CN115841735A publication Critical patent/CN115841735A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Abstract

基于人、道路、环境动态耦合的安全驾驶辅助系统,其中,动态耦合子系统以驾驶员、车辆、道路和环境作为行车危险预测的特征指标集,构建基于BP神经网络的行驶危险回归预测模型,通过行驶危险回归预测模型预测驾驶员行驶过程中即将遇到的危险,并判断危险级别及采取对应等级的预警方案;三级预警子系统根据危险等级预测进行三级预警方案,三级预警方案包括语音预警、联系紧急联系人和自动定位报警;预警追踪子系统中,当对驾驶员实行三级预警后采取预警追踪,预警追踪内容包括驾驶员对三级预警的反应,及是否采取相应的驾驶决策行为。本发明有效提升汽车驾驶的舒适性与安全性,减少交通事故发生次数,为社会公共安全提供基础保障。

Description

基于人、道路、环境动态耦合的安全驾驶辅助系统
技术领域
本发明属于辅助驾驶技术领域,具体涉及一种基于人、道路、环境动态耦合的安全驾驶辅助系统。
背景技术
目前,驾驶员安全驾驶辅助系统主要从道路前方环境,或者是驾驶员面部特征进行考虑,忽略了实际汽车驾驶的复杂性,在预警策略上缺乏人性化考量,存在功能单一、不够创新、价格昂贵、覆盖面窄的缺点。对于危险检测不全面,驾驶员的危险不能通过现有的系统进行多源分析。
如车内测温—人脸识别一体机,只能实现对额头、手腕等温度的测量,以及人脸识别,并不能做到对人体健康系统的评判以及驾驶员行为状态(如打瞌睡、抽烟、玩手机等不规范驾驶等)。再如车外惯性导航系统,虽然能够有效规避驾驶安全,但是又不能有效对车内状况进行一个评估,在适用性以及安全性方面依然略显不足。如何提高传统汽车驾驶危险检测的准确性、操作性、效率性,减少交通事故发生次数具有现实的应用意义。
发明内容
为此,本发明提供基于人、道路、环境动态耦合的安全驾驶辅助系统,解决因驾驶员主观因素或因道路状况不佳而导致的交通事故频发,汽车驾驶危险检测准确性差、操作性弱、效率性低的问题。
为了实现上述目的,本发明提供如下技术方案:一种基于人、道路、环境动态耦合的安全驾驶辅助系统,包括:
驾驶员驾驶行为监测预警子系统:采用摄像组件进行驾驶员状态识别,并检测驾驶员在行车途中是否出现危险驾驶行为,当驾驶员出现危险驾驶行为时进行预警;
健康检测及紧急事故自动定位报警子系统:检测驾驶员的生理数据,判断驾驶员是否存在酒驾行为,及判断驾驶员生命体征数据是否异常,当驾驶员存在酒驾行为或生命体征数据异常时,获取驾驶员的地理位置进行定位报警;
车身周围环境感知子系统:预先采集车辆即将到达地区的包括交通、路况两类信息的实时数据,预测车辆到达相应地区的道路交通环境并进行危险等级判别;
动态耦合子系统:以驾驶员、车辆、道路和环境作为行车危险预测的特征指标集,构建基于BP神经网络的行驶危险回归预测模型,通过行驶危险回归预测模型预测驾驶员行驶过程中即将遇到的危险,并判断危险级别及采取对应等级的预警方案;
三级预警子系统:根据危险等级预测进行三级预警方案,三级预警方案包括语音预警、联系紧急联系人和自动定位报警;
预警追踪子系统:当对驾驶员实行三级预警后采取预警追踪,预警追踪内容包括驾驶员对三级预警的反应,及是否采取相应的驾驶决策行为。
作为基于人、道路、环境动态耦合的安全驾驶辅助系统优选方案,驾驶员驾驶行为监测预警子系统中,采用Dlib人脸特征点检测算法,通过人脸区域检测、视角放射校正、人脸区域缩放对人脸特征点进行输出,检测驾驶员在行车途中是否出现疲劳驾驶、闭眼、发呆、打哈欠、抽烟、玩手机、打电话危险驾驶行为。
作为基于人、道路、环境动态耦合的安全驾驶辅助系统优选方案,健康检测及紧急事故自动定位报警子系统中,通过酒精传感器检测驾驶员是否存在酒驾行为;通过生命体征采集装置利用波长反射强度获取包含有心搏功能、血液流动的生理信息。
作为基于人、道路、环境动态耦合的安全驾驶辅助系统优选方案,健康检测及紧急事故自动定位报警子系统中设有紧急启动装置,紧急启动装置设有无线传输模块、北斗导航模块和紧急按钮,当检测到驾驶员存在酒驾行为时,紧急启动装置直接进行自动报警。
作为基于人、道路、环境动态耦合的安全驾驶辅助系统优选方案,车身周围环境感知子系统中,对于车辆路面情况通过目标检测方式采用Yolo-Fatest算法进行识别;对车辆偏航情况通过语义分割算法,及北斗导航组件和陀螺仪所构建的惯性导航模块进行判断;
通过道路宽度几何检测算法和基于模糊算法的运动车辆判定方法来判别汽车与障碍物发生危险的可能性,判断道路交通环境复杂程度。
作为基于人、道路、环境动态耦合的安全驾驶辅助系统优选方案,基于BP神经网络的行驶危险回归预测模型中,将基于模糊算法的运动车辆判定算法结果、基于路沿光阵的道路几何检测算法结果、基于人脸特征点的驾驶员异常检测算法结果作为输入值,通过权重进行连接,预测驾驶员行驶过程中即将遇到的危险,并判断危险级别及采取对应等级的预警方案。
作为基于人、道路、环境动态耦合的安全驾驶辅助系统优选方案,基于模糊算法的运动车辆判定算法包括:摄像头图像输入;ROI区域选择;卷积算子特征强化;模糊数学概率估计;概率结果后处理和车辆位置估计;
基于路沿光阵的道路几何检测算法包括:摄像头图像输入;图像边缘增强;SCNN算子特征强化;车道线概率云输出;道路线插补延长和车道线位置估计;
基于人脸特征点的驾驶员异常检测算法包括:摄像头图像输入;人脸区域检测;视角矫正仿射;人脸区域缩放;Dlib人脸关键点输出和驾驶员状态判定。
作为基于人、道路、环境动态耦合的安全驾驶辅助系统优选方案,通过前方是否出现不可避免的危险、驾驶员是否有危险驾驶行为、道路状况是否影响行车安全和前方路况环境是否符合驾驶员当前驾驶行为现象的出现,实行三级预警方式并行模式。
作为基于人、道路、环境动态耦合的安全驾驶辅助系统优选方案,语音预警过程,通过语音播报系统对驾驶员危险驾驶行为、车身周围环境、道路交通环境预测进行一级预警;
联系紧急联系人过程,当驾驶员出现生命体征异常以及酒驾影响驾驶员正常驾驶的现象,启动一级预警响应并将驾驶员地理位置信息报送给紧急联系人;
当判断出驾驶员处于生命危险的状态时,将进行自动定位报警。
本发明具有如下优点:驾驶员驾驶行为监测预警子系统采用摄像组件进行驾驶员状态识别,并检测驾驶员在行车途中是否出现危险驾驶行为,当驾驶员出现危险驾驶行为时进行预警;健康检测及紧急事故自动定位报警子系统检测驾驶员的生理数据,判断驾驶员是否存在酒驾行为,及判断驾驶员生命体征数据是否异常,当驾驶员存在酒驾行为或生命体征数据异常时,获取驾驶员的地理位置进行定位报警;车身周围环境感知子系统预先采集车辆即将到达地区的包括交通、路况两类信息的实时数据,预测车辆到达相应地区的道路交通环境并进行危险等级判别;动态耦合子系统以驾驶员、车辆、道路和环境作为行车危险预测的特征指标集,构建基于BP神经网络的行驶危险回归预测模型,通过行驶危险回归预测模型预测驾驶员行驶过程中即将遇到的危险,并判断危险级别及采取对应等级的预警方案;三级预警子系统根据危险等级预测进行三级预警方案,三级预警方案包括语音预警、联系紧急联系人和自动定位报警;预警追踪子系统中,当对驾驶员实行三级预警后采取预警追踪,预警追踪内容包括驾驶员对三级预警的反应,及是否采取相应的驾驶决策行为。本发明可以提高汽车驾驶危险检测的准确性、操作性、效率性,有效提升汽车驾驶的舒适性与安全性,减少交通事故发生次数,为社会公共安全提供基础保障。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图引申获得其他的实施附图。
本说明书所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容能涵盖的范围内。
图1为本发明实施例中提供的基于人、道路、环境动态耦合的安全驾驶辅助系统示意图;
图2为本发明实施例中提供的基于人、道路、环境动态耦合的安全驾驶辅助系统中人脸定位示意图;
图3为本发明实施例中提供的基于人、道路、环境动态耦合的安全驾驶辅助系统中车身周围环境感知示意图;
图4为本发明实施例中提供的基于人、道路、环境动态耦合的安全驾驶辅助系统中三类算法实施流程图;
图5为本发明实施例中提供的基于人、道路、环境动态耦合的安全驾驶辅助系统中行驶危险回归预测模型训练结果;
图6为本发明实施例中提供的基于人、道路、环境动态耦合的安全驾驶辅助系统中三级预警示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,本发明实施例提供一种基于人、道路、环境动态耦合的安全驾驶辅助系统,包括:
驾驶员驾驶行为监测预警子系统1:采用摄像组件进行驾驶员状态识别,并检测驾驶员在行车途中是否出现危险驾驶行为,当驾驶员出现危险驾驶行为时进行预警;
健康检测及紧急事故自动定位报警子系统2:检测驾驶员的生理数据,判断驾驶员是否存在酒驾行为,及判断驾驶员生命体征数据是否异常,当驾驶员存在酒驾行为或生命体征数据异常时,获取驾驶员的地理位置进行定位报警;
车身周围环境感知子系统3:预先采集车辆即将到达地区的包括交通、路况两类信息的实时数据,预测车辆到达相应地区的道路交通环境并进行危险等级判别;
动态耦合子系统4:以驾驶员、车辆、道路和环境作为行车危险预测的特征指标集,构建基于BP神经网络的行驶危险回归预测模型,通过行驶危险回归预测模型预测驾驶员行驶过程中即将遇到的危险,并判断危险级别及采取对应等级的预警方案;
三级预警子系统5:根据危险等级预测进行三级预警方案,三级预警方案包括语音预警、联系紧急联系人和自动定位报警;
预警追踪子系统6:当对驾驶员实行三级预警后采取预警追踪,预警追踪内容包括驾驶员对三级预警的反应,及是否采取相应的驾驶决策行为。
本实施例中,驾驶员驾驶行为监测预警子系统中,采用Dlib人脸特征点检测算法,通过人脸区域检测、视角放射校正、人脸区域缩放对人脸特征点进行输出,检测驾驶员在行车途中是否出现疲劳驾驶、闭眼、发呆、打哈欠、抽烟、玩手机、打电话危险驾驶行为。
具体的,采用摄像组件进行驾驶员状态识别,再将采集到的数据传入嵌入式主板进行处理。基于Dlib特征点检测算法,通过人脸区域检测、视角放射校正、人脸区域缩放等对人脸特征点进行输出,进而检测驾驶员在行车途中是否出现疲劳驾驶、闭眼、发呆、打哈欠、抽烟、玩手机、打电话等危险驾驶行为,并发出语音预警,从而保障驾驶员的行驶安全。
辅助图2,对于车内人脸特征点检测,使用了Mobilenet-V2的基于Dlib特征点检测算法,针对驾驶员抽烟玩手机等行为,则使用目标检测算法。
通过基于级联回归的68点位人脸特征算法进行人脸的定位。其中左眼特征点为36到41,右眼特征点为42到47,嘴部特征点为48到68。针对驾驶员打瞌睡闭眼状态、通过计算眼睛长宽比,当人眼在睁开状态下,个体之间差异很小,得出数值相对稳定,而在闭合状态下会引起较大数据变化,因此该方法在针对人眼特征点识别时,具有普适性。根据特征点位置,眼睛长宽比计算式如下:
Figure BDA0003832997710000071
右眼同理。通过取两眼平均值作为双眼疲劳特征的具体反应。针对驾驶员打哈欠状态、嘴部特征同样使用基于级联回归数算法,使用长宽比来进行计算。
本实施例中,健康检测及紧急事故自动定位报警子系统中,通过酒精传感器检测驾驶员是否存在酒驾行为;通过生命体征采集装置利用波长反射强度获取包含有心搏功能、血液流动的生理信息。
具体的,使用半导体部件搭建微型酒精传感器,具有轻量级,电平监测等高效特点,达到半导体阈值便可触发报警。生命体征采集装置中,通过波长反射强度获取包含有心搏功能、血液流动等诸多心血管系统的重要生理信息。同时,容积脉搏血流主要存在于外周血管中的微动脉、毛细血管等微血管中,所以容积脉搏血流同样包含有丰富的微循环生理病理信息,通过使用光电容积脉搏波描记法,具有操作简便、性能稳定,具有无创伤和适应性强等诸多优点。
本实施例中,健康检测及紧急事故自动定位报警子系统中设有紧急启动装置,紧急启动装置设有无线传输模块、北斗导航模块和紧急按钮,当检测到驾驶员存在酒驾行为时,紧急启动装置直接进行自动报警。
具体的,紧急启动装置包括无线传输模块、北斗导航模块和紧急按钮等。当检测到酒驾行为时,无需摁紧急按钮,直接进行自动报警。无线传输模块使用Lora模块以及线上服务端,可做到有效预警。北斗导航模块内置卡尔曼滤波器,有效解决飘点问题,保障系统的准确定位。紧急按钮使用类似于继电器触发式电平按钮,当控制器检测到电平时,可通过无线传输模块进行实际报警并且发送定位短信。
本实施例中,车身周围环境感知子系统中,对于车辆路面情况通过目标检测方式采用Yolo-Fatest算法进行识别;对车辆偏航情况通过语义分割算法,及北斗导航组件和陀螺仪所构建的惯性导航模块进行判断;通过道路宽度几何检测算法和基于模糊算法的运动车辆判定方法来判别汽车与障碍物发生危险的可能性,判断道路交通环境复杂程度。
辅助图3,车身周围环境感知子系统通过构建前方道路交通环境预测模块可以实现全时空动态交通信息的整合及判断,补充基于人-道路-环境协同技术的预警系统的危险评价指标,进而提高系统的危险感知能力。车身周围环境感知子系统能够提前采集车辆即将到达的地区的交通、路况两类信息的实时数据,预测车辆到达该地区的道路交通环境并进行风险等级判别,完成全景交通信息环境下的多角度危险判定的前期采集工作。车辆通过道路宽度几何检测算法和基于模糊算法的运动车辆判定方法来实现对道路交通环境的预测,并且建立BP神经网络来进行风险等级判别。
其中,针对车辆路面情况主要通过目标检测方式进行,本实施例采用Yolo-Fatest算法进行具体识别。Yolo-Fatest是现在已知开源最快的最轻量的改进版Yolo通用目标检测算法,在行进过程中其运算效率非常快,可以做到针对运行过程中的高速检测。而针对车辆的偏航情况则需要通过语义分割算法以及北斗导航模块和陀螺仪所构建的惯性导航模块来进行具体实现。针对户外车道线的识别采用以unet算法为基础的语义分割模型。
其中,车身周围环境感知子系统以嵌入式主板为硬件平台基础,通过摄像组件采集道路交通环境数据,并对输入图像进行处理和分析以达到识别车辆前方障碍物的目的。系统通过道路宽度几何检测算法和基于模糊算法的运动车辆判定方法来判别汽车与障碍物发生危险的可能性,判断道路交通环境复杂程度,触发预警。参见表1,为车身周围环境感知数据采集情况:
表1 车身周围环境感知采集
Figure BDA0003832997710000081
辅助图4,本实施例中,基于BP神经网络的行驶危险回归预测模型中,将基于模糊算法的运动车辆判定算法结果、基于路沿光阵的道路几何检测算法结果、基于人脸特征点的驾驶员异常检测算法结果作为输入值,通过权重进行连接,预测驾驶员行驶过程中即将遇到的危险,并判断危险级别及采取对应等级的预警方案。基于模糊算法的运动车辆判定算法包括:摄像头图像输入;ROI区域选择;卷积算子特征强化;模糊数学概率估计;概率结果后处理和车辆位置估计;基于路沿光阵的道路几何检测算法包括:摄像头图像输入;图像边缘增强;SCNN算子特征强化;车道线概率云输出;道路线插补延长和车道线位置估计;基于人脸特征点的驾驶员异常检测算法包括:摄像头图像输入;人脸区域检测;视角矫正仿射;人脸区域缩放;Dlib人脸关键点输出和驾驶员状态判定。
需要说明的是,基于模糊算法的运动车辆判定、基于路沿光阵的道路几何检测算法在发明人的相关申请中存在具体公开,在此不再赘述。
区别于传统的智能安全驾驶辅助系统,本实施例中动态耦合本质是以驾驶员、车辆、道路和环境作为新的行车危险预测的特征指标集,建立基于BP神经网络的行驶危险的回归预测模型。
其中,BP神经网络还可称为反向神经网络,有四个重要的概念:输入层,隐藏层,输出层和权重。针对BP神经网络,所有的网络都可以理解为由这三层和各层之间的权重组成的网络,只是隐藏层的层数和节点数会多很多。
具体的,记输入层有n_in个神经元,输出层有n_out个神经元。目的在于找到合适的所有隐藏层和输出层对应的线性系数矩阵W,偏移系数b,让所有的训练样本输入计算出的输出尽可能地等于或很接近样本输出。
辅助图5,为了度量训练样本计算出的输出与真实的训练样本输出之间的损失,在进行反向传播算法前,需要选择一个损失函数。损失函数优化极值求解答过程最常见的一般是通过梯度下降法来一步步迭代完成,也可以是其他的迭代方法。可以采用最常见的均方差来度量损失。即对于每个样本,期望均方差最小:
Figure BDA0003832997710000091
其中,aL和y为特征维度为n_out的向量,而
Figure BDA0003832997710000101
为aL-y的L2范数。具体梯度下降法迭代求救每一层的w与b的过程如下:
首先是输出层第L层,输出层的W,b满足下式:
aL=σ(zL)=σ(WLaL-1+bL)
对于输出层的参数,损失函数为:
Figure BDA0003832997710000102
求解w,b的梯度:
Figure BDA0003832997710000103
Figure BDA0003832997710000104
其中,⊙表示Hadamard积。
对于公共的部分
Figure BDA0003832997710000105
记:
Figure BDA0003832997710000106
对于第l层的未激活输出zl,它的梯度可以表示为:
Figure BDA0003832997710000107
根据前向传播算法,有:
zl=Wlal-1+bl
所以计算出第l层的Wl,bl的梯度如下:
Figure BDA0003832997710000108
Figure BDA0003832997710000109
之后采用数学归纳法,对于第l层的δl
Figure BDA0003832997710000111
此时,观察zl+1与zl的关系:
zl+1=Wl+1al+bl+1=Wl+1σ(zl)+bl+1
从而得出:
Figure BDA0003832997710000112
将上述式子带入δl+1与δl关系式后,得到:
Figure BDA0003832997710000113
现在得到了δl的递推关系式,只要求出某一层的δl,Wl,bl的对应梯度也可求出。
通过机器学习驾驶员、车辆、道路和环境等行车危险预测的特征指标集的关联性,预测驾驶员行驶过程中即将遇到的危险,并判断其危险级别并采取不同等级的预警方案,从而避免连续低效预警驾驶员能够自主意识到的单一潜在风险,引起驾驶员反感的情况发生。
辅助图6,本实施例中,通过前方是否出现不可避免的危险、驾驶员是否有危险驾驶行为、道路状况是否影响行车安全和前方路况环境是否符合驾驶员当前驾驶行为现象的出现,实行三级预警方式并行模式。语音预警过程,通过语音播报系统对驾驶员危险驾驶行为、车身周围环境、道路交通环境预测进行一级预警;联系紧急联系人过程,当驾驶员出现生命体征异常以及酒驾影响驾驶员正常驾驶的现象,启动一级预警响应并将驾驶员地理位置信息报送给紧急联系人;当判断出驾驶员处于生命危险的状态时,将进行自动定位报警。
其中,预警是一个反复的过程,对驾驶员实行三级预警后,采取预警追踪。预警追踪内容包括:驾驶员对三级预警的反应,是否采取相应的驾驶决策行为。预警追踪是三级预警的有效保障,是实现有效预警的重要途径,同时有利于提高检测准确度。避免无效预警对驾驶员操作产生的干扰,减少驾驶员对无效预警的反感。
综上所述,本发明驾驶员驾驶行为监测预警子系统采用摄像组件进行驾驶员状态识别,并检测驾驶员在行车途中是否出现危险驾驶行为,当驾驶员出现危险驾驶行为时进行预警;健康检测及紧急事故自动定位报警子系统检测驾驶员的生理数据,判断驾驶员是否存在酒驾行为,及判断驾驶员生命体征数据是否异常,当驾驶员存在酒驾行为或生命体征数据异常时,获取驾驶员的地理位置进行定位报警;车身周围环境感知子系统预先采集车辆即将到达地区的包括交通、路况两类信息的实时数据,预测车辆到达相应地区的道路交通环境并进行危险等级判别;动态耦合子系统以驾驶员、车辆、道路和环境作为行车危险预测的特征指标集,构建基于BP神经网络的行驶危险回归预测模型,通过行驶危险回归预测模型预测驾驶员行驶过程中即将遇到的危险,并判断危险级别及采取对应等级的预警方案;三级预警子系统根据危险等级预测进行三级预警方案,三级预警方案包括语音预警、联系紧急联系人和自动定位报警;预警追踪子系统中,当对驾驶员实行三级预警后采取预警追踪,预警追踪内容包括驾驶员对三级预警的反应,及是否采取相应的驾驶决策行为。本发明基于人脸特征点的驾驶员异常检测算法、基于模糊算法的运动车辆判定算法及基于路沿光阵的道路几何检测算法三种算法融合构建辅助驾驶系统,三种算法通过现场实车实验成功进行了验证,主要检测车内驾驶员状态以及车外路况状态,针对车内驾驶员检测主要检测驾驶员玩手机、抽烟、打瞌睡、打哈欠、发呆等状态。针对车外路况状态,主要根据车辆判定算法以及几何检测算法通过目标检测方式判定路上以及路口状态;能够实现对人、道路、环境数据自动化采集和辨识,克服了当前市场行车辅助驾驶系统功能彼此独立、识别算法单一的典型问题,实现了功能上的创新。本发明利用BP神经网络算法,融合驾驶员、车辆、道路及行驶环境多源要素,使驾驶员、道路、行驶环境三合一,综合判断行车风险,大幅提高了驾驶员对未知危险的预知度和判断力,能有效减少交通事故出现的可能性。而如今模型多只运用单一算法,并不进行多算法融合,不能做到广泛功能性以及高效性。本发明实现了多级别递进预警,并且设立了三级预警模式,可根据不同情况给予不同预警模式,处置灵活多变,特别适合于复杂行车环境。相较于当前市场上多种辅助驾驶系统,本发明能够更完善的对驾驶员完成辅助驾驶,从多方面进行系统设计,让驾驶员能够从上车开始便接受安全系统的监测、分析,尽可能做到全方位的、更完善的行驶辅助,为驾驶员提供更全面的安全保障。
虽然,上文中已经用一般性说明及具体实施例对本发明作了详尽的描述,但在本发明基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本发明精神的基础上所做的这些修改或改进,均属于本发明要求保护的范围。

Claims (9)

1.基于人、道路、环境动态耦合的安全驾驶辅助系统,其特征在于,包括:
驾驶员驾驶行为监测预警子系统:采用摄像组件进行驾驶员状态识别,并检测驾驶员在行车途中是否出现危险驾驶行为,当驾驶员出现危险驾驶行为时进行预警;
健康检测及紧急事故自动定位报警子系统:检测驾驶员的生理数据,判断驾驶员是否存在酒驾行为,及判断驾驶员生命体征数据是否异常,当驾驶员存在酒驾行为或生命体征数据异常时,获取驾驶员的地理位置进行定位报警;
车身周围环境感知子系统:预先采集车辆即将到达地区的包括交通、路况两类信息的实时数据,预测车辆到达相应地区的道路交通环境并进行危险等级判别;
动态耦合子系统:以驾驶员、车辆、道路和环境作为行车危险预测的特征指标集,构建基于BP神经网络的行驶危险回归预测模型,通过行驶危险回归预测模型预测驾驶员行驶过程中即将遇到的危险,并判断危险级别及采取对应等级的预警方案;
三级预警子系统:根据危险等级预测进行三级预警方案,三级预警方案包括语音预警、联系紧急联系人和自动定位报警;
预警追踪子系统:当对驾驶员实行三级预警后采取预警追踪,预警追踪内容包括驾驶员对三级预警的反应,及是否采取相应的驾驶决策行为。
2.根据权利要求1所述的基于人、道路、环境动态耦合的安全驾驶辅助系统,其特征在于,驾驶员驾驶行为监测预警子系统中,采用Dlib人脸特征点检测算法,通过人脸区域检测、视角放射校正、人脸区域缩放对人脸特征点进行输出,检测驾驶员在行车途中是否出现疲劳驾驶、闭眼、发呆、打哈欠、抽烟、玩手机、打电话危险驾驶行为。
3.根据权利要求1所述的基于人、道路、环境动态耦合的安全驾驶辅助系统,其特征在于,健康检测及紧急事故自动定位报警子系统中,通过酒精传感器检测驾驶员是否存在酒驾行为;通过生命体征采集装置利用波长反射强度获取包含有心搏功能、血液流动的生理信息。
4.根据权利要求3所述的基于人、道路、环境动态耦合的安全驾驶辅助系统,其特征在于,健康检测及紧急事故自动定位报警子系统中设有紧急启动装置,紧急启动装置设有无线传输模块、北斗导航模块和紧急按钮,当检测到驾驶员存在酒驾行为时,紧急启动装置直接进行自动报警。
5.根据权利要求1所述的基于人、道路、环境动态耦合的安全驾驶辅助系统,其特征在于,车身周围环境感知子系统中,对于车辆路面情况通过目标检测方式采用Yolo-Fatest算法进行识别;对车辆偏航情况通过语义分割算法,及北斗导航组件和陀螺仪所构建的惯性导航模块进行判断;
通过道路宽度几何检测算法和基于模糊算法的运动车辆判定方法来判别汽车与障碍物发生危险的可能性,判断道路交通环境复杂程度。
6.根据权利要求5所述的基于人、道路、环境动态耦合的安全驾驶辅助系统,其特征在于,基于BP神经网络的行驶危险回归预测模型中,将基于模糊算法的运动车辆判定算法结果、基于路沿光阵的道路几何检测算法结果、基于人脸特征点的驾驶员异常检测算法结果作为输入值,通过权重进行连接,预测驾驶员行驶过程中即将遇到的危险,并判断危险级别及采取对应等级的预警方案。
7.根据权利要求6所述的基于人、道路、环境动态耦合的安全驾驶辅助系统,其特征在于,基于模糊算法的运动车辆判定算法包括:摄像头图像输入;ROI区域选择;卷积算子特征强化;模糊数学概率估计;概率结果后处理和车辆位置估计;
基于路沿光阵的道路几何检测算法包括:摄像头图像输入;图像边缘增强;SCNN算子特征强化;车道线概率云输出;道路线插补延长和车道线位置估计;
基于人脸特征点的驾驶员异常检测算法包括:摄像头图像输入;人脸区域检测;视角矫正仿射;人脸区域缩放;Dlib人脸关键点输出和驾驶员状态判定。
8.根据权利要求1所述的基于人、道路、环境动态耦合的安全驾驶辅助系统,其特征在于,通过前方是否出现不可避免的危险、驾驶员是否有危险驾驶行为、道路状况是否影响行车安全和前方路况环境是否符合驾驶员当前驾驶行为现象的出现,实行三级预警方式并行模式。
9.根据权利要求8所述的基于人、道路、环境动态耦合的安全驾驶辅助系统,其特征在于,语音预警过程,通过语音播报系统对驾驶员危险驾驶行为、车身周围环境、道路交通环境预测进行一级预警;
联系紧急联系人过程,当驾驶员出现生命体征异常以及酒驾影响驾驶员正常驾驶的现象,启动一级预警响应并将驾驶员地理位置信息报送给紧急联系人;
当判断出驾驶员处于生命危险的状态时,将进行自动定位报警。
CN202211079102.8A 2022-09-05 2022-09-05 基于人、道路、环境动态耦合的安全驾驶辅助系统 Pending CN115841735A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211079102.8A CN115841735A (zh) 2022-09-05 2022-09-05 基于人、道路、环境动态耦合的安全驾驶辅助系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211079102.8A CN115841735A (zh) 2022-09-05 2022-09-05 基于人、道路、环境动态耦合的安全驾驶辅助系统

Publications (1)

Publication Number Publication Date
CN115841735A true CN115841735A (zh) 2023-03-24

Family

ID=85575412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211079102.8A Pending CN115841735A (zh) 2022-09-05 2022-09-05 基于人、道路、环境动态耦合的安全驾驶辅助系统

Country Status (1)

Country Link
CN (1) CN115841735A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117022294A (zh) * 2023-08-17 2023-11-10 山东理工大学 一种危险驾驶行为识别及预警方法与系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117022294A (zh) * 2023-08-17 2023-11-10 山东理工大学 一种危险驾驶行为识别及预警方法与系统
CN117022294B (zh) * 2023-08-17 2024-05-14 山东理工大学 一种危险驾驶行为识别及预警方法与系统

Similar Documents

Publication Publication Date Title
CN111741884B (zh) 交通遇险和路怒症检测方法
US11392131B2 (en) Method for determining driving policy
US20210012128A1 (en) Driver attention monitoring method and apparatus and electronic device
US7362885B2 (en) Object tracking and eye state identification method
CN105769120A (zh) 疲劳驾驶检测方法和装置
CN111353451A (zh) 电瓶车检测方法、装置、计算机设备及存储介质
CN111666818A (zh) 一种驾驶员异常姿态检测方法
CN111259704A (zh) 一种虚线车道线端点检测模型的训练方法
CN112286991A (zh) 一种基于多源海上目标数据的智能挖掘模型建立方法
CN112149618B (zh) 适用于巡检车的行人异常行为检测方法与装置
CN115841735A (zh) 基于人、道路、环境动态耦合的安全驾驶辅助系统
WO2022242465A1 (zh) 一种多传感器数据的融合方法及装置
CN115171336A (zh) 一种海滩监控溺水防护系统
CN113269111B (zh) 一种基于视频监控的电梯异常行为检测方法及系统
CN111222477B (zh) 一种基于视觉的双手离开方向盘检测方法及装置
CN109960990B (zh) 障碍物侦测可信度评估方法
CN116434173A (zh) 道路图像检测方法、装置、电子设备及存储介质
CN113312958B (zh) 一种基于司机状态的派单优先度调整方法及装置
CN113283286B (zh) 一种驾驶员异常行为检测方法和装置
CN113468956A (zh) 注意力判定方法、模型训练方法及对应装置
EP3654246B1 (en) Method, vehicle, system, and storage medium for indicating anomalous vehicle scenario using encoder network and replay buffer
CN113901866A (zh) 一种机器视觉的疲劳驾驶预警方法
Li et al. Vehicle safety evaluation based on driver drowsiness and distracted and impaired driving performance using evidence theory
US20230169782A1 (en) Cabin monitoring and situation understanding perceiving method and system thereof
CN113570901B (zh) 车辆驾驶的辅助方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination