CN112382115B - 基于视觉感知的驾驶风险预警装置及方法 - Google Patents

基于视觉感知的驾驶风险预警装置及方法 Download PDF

Info

Publication number
CN112382115B
CN112382115B CN202011182851.4A CN202011182851A CN112382115B CN 112382115 B CN112382115 B CN 112382115B CN 202011182851 A CN202011182851 A CN 202011182851A CN 112382115 B CN112382115 B CN 112382115B
Authority
CN
China
Prior art keywords
vehicle
risk
driving
network
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011182851.4A
Other languages
English (en)
Other versions
CN112382115A (zh
Inventor
刘亦安
吴东旭
徐平
祝磊
严明
薛凌云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202011182851.4A priority Critical patent/CN112382115B/zh
Publication of CN112382115A publication Critical patent/CN112382115A/zh
Application granted granted Critical
Publication of CN112382115B publication Critical patent/CN112382115B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Atmospheric Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开基于视觉感知的驾驶风险预警装置及方法。本发明通过在汽车的四个方向安装若干摄像头实时采集车辆行驶过程中车辆周边环境的视频，并通过深度学习的算法计算出自身车辆的行驶风险类型和周边运动车辆的风险等级。本发明可以同时利用实时系统的实时性对当前深度卷积神经网络的模型进行实时切换，在保证风险驾驶行为预测的准确性和实时性的基础上，有效的避免了计算资源的浪费。本发明可以通知感知周围车辆的驾驶行为风险和本车的驾驶行为风险，为车辆动态风险的预测提供了更全面的信息。

Description

基于视觉感知的驾驶风险预警装置及方法
技术领域
本发明属于无人驾驶技术领域，涉及一种基于深度学习网络的车辆驾驶风险预警的装置及方法。
背景技术
近年来，世界经济与科技的高速发展大大促进了交通运输行业的发展。交通运输行业发展的同时，大量触目惊心的交通事故也在不停地发生，在大部分情况下完全依靠驾驶员自身来规避危险显然并不可靠，因此如果车载预警装置在遇到危险时可以提前感知驾驶风险，那么交通事故的数量就可以大大减少。
驾驶风险预警装置目前多数是基于自身驾驶的风险评估，基本没有考虑道路环境中周围车辆的驾驶行为风险对自身驾驶风险的影响。
本发明通过在汽车的四个方向安装若干摄像头实时采集车辆行驶过程中车辆周边环境的视频，并通过深度学习的算法计算出自身车辆的行驶风险类型和周边运动车辆的风险等级。
发明内容
本发明所要解决的技术问题至少是如何结合周围车辆驾驶行为对自身驾驶行为的风险影响，提供一种基于混合深度学习模型的考虑周围车辆驾驶行为的驾驶风险评估方法。
本发明方法具体包括以下步骤：
步骤(1)、在汽车行驶过程中，四个摄像头实时采集周边视频；四个摄像头采集到的视频分别经过视频解码器转化为四组数字图像信息序列；每一组数字图像信息序列可以用矩阵的方式表示：
Figure GDA0003171332800000011
其中fig.n表示视频序列中的第n张图片，sequence描述了fig_num张大小为width×height的图片组成的图片序列。
步骤(2)、每一组数字图像分别输入到混合深度学习模型获取风险评估结果；混合深度学习模型由VGG网络、faster-rcnn网络和LSTM网络组成，具体是：
2.1VGG网络的输入为步骤(1)数字图像，输出为图像特征序列；
2.2faster-rcnn网络的输入为VGG网络输出的图像特征序列，输出为周边车辆的对应位置；
2.3第一LSTM网络的输入为每个周边车辆在每一帧图像中的相对风险系数，输出为每个周边车辆的风险结果P周边车辆j；
所述的每个周边车辆在每一帧图像中周边车辆的相对风险系数由faster-rcnn网络输出的周边车辆的对应位置与风险估计矩阵相乘所得；
Figure GDA0003171332800000021
其中
Figure GDA0003171332800000022
表示风险估计矩阵，由所有的周边车辆相关风险系数组成，wij表示了周边车辆中第j辆车对于第i辆车的风险影响的权重大小；obji表示第i辆周边车辆的位置，resi表示第i辆周边车辆的相对风险系数，n表示矩阵大小，为经验值,可根据装置的分辨率和镜头的视场角来决定(n通常设置为100)。
2.4第二LSTM网络的输入为VGG网络输出的图像特征序列，输出为自身车辆的驾驶行为分类，包括实线变道、虚线变道、跟车过近、变道超车、正常行驶；
步骤(3)、考虑结合车身CAN数据总线获取的转向灯状态的自身车辆的驾驶行为变道风险系数，以及自身车辆的车速信息，根据公式(2)获得自身车辆的风险结果。
P自身车辆＝xi*yi 公式(2)
其中xi表示第i种驾驶行为的变道风险系数，yi表示第i种驾驶行为的车速风险系数，i＝1、2、3、4、5，分别表示实线变道、虚线变道、跟车过近、变道超车、正常行驶五种驾驶行为。
若驾驶行为为虚线变道、变道超车时，
变道风险系数
Figure GDA0003171332800000023
其中a1为常数，根据经验值设定。
若驾驶行为为实线变道、跟车过近时，
变道风险系数
Figure GDA0003171332800000031
其中a2、a3为常数，根据经验值设定。
若驾驶行为为正常行驶时，驾驶行为风险系数xi＝0。
若驾驶行为为实线变道、虚线变道、跟车过近或变道超车时，
车速风险系数
Figure GDA0003171332800000032
其中a4、a5、a6、a7、a8、a9为常数，根据经验值设定；Ai表示第i驾驶行为车速风险权重系数；v表示自身车辆的当前车速。
步骤(4)、将步骤2.3中周围车辆风险的结果进行从大到小的降序排序，如果最大值超过阈值且车速大于阈值(例如20km/小时)，则视频智算单元将发送报警提示消息给中控显示屏，提示周围车辆出现风险；反之则不发送给中控显示屏。
步骤(5)、综合周边车辆的风险信息和车辆自身的风险信息，根据以下公式(3)获得综合风险评估结果：
P综合＝Max(P周边车辆1，P周边车辆2，…，P周边车辆N)+P自身车辆 公式(3)
步骤(6)、综合风险评估结果传送至实时决策处理单元，若综合风险评估结果大于阈值，则通过CAN数据总线发送“辅助刹车请求”指令给车辆的整车控制器VCU；如果未出现风险则不向CAN数据总线发送信息。
步骤(7)、步骤(3)自身车辆风险传送至实时决策处理单元，若自身车辆风险大于阈值，实时决策处理单元将刹车和方向盘转向信号以中断信号的方式将数据传输给微处理器MPU。如果车辆风险值小于阈值，实时决策处理单元持续采集车辆CAN数据。
本发明的另一个目的是提供一种驾驶风险预警装置。
驾驶风险预警装置包括视频采集智算单元、实时决策处理单元、GPS定位模块，其中视频采集智算单元包括摄像头、混合深度学习模型模块NPU、微处理器MPU；
所述摄像头至少为4个分别安装在车身的四周，用于采集车辆行驶过程中周围环境的视频信息，然后传输给微处理器MPU；微处理器MPU反馈调控摄像头的采样频率；
所述四个摄像头的安装位置分别为：挡风玻璃下的前视宽视野摄像头，车辆左右两侧的侧方前视摄像头和车尾的后视摄像头。其中前视宽视野摄像头的视角为120度，左右两侧摄像头的视角为90度，尾部的后视摄像头的视角为120度。视频的采样频率为30帧/秒、20帧/秒或者10帧/秒,根据车辆当前车速选择对应的采样频率。
所述混合深度学习模型模块包括VGG网络、faster-rcnn网络和第一LSTM网络、第二LSTM网络、第一计算模块；VGG网络根据微处理器MPU的数字图像进行图像特征序列提取；faster-rcnn网络根据VGG网络输出的图像特征序列进行周边车辆的对应位置提取；第一计算模块根据faster-rcnn网络输出的周边车辆的对应位置与风险估计矩阵相乘获得周边车辆相对风险系数；第一LSTM网络根据周边车辆相对风险系数进行周边车辆的风险结果获取；第二LSTM网络根据VGG网络输出的图像特征序列进行自身车辆的驾驶行为分类；最后将周边车辆的风险结果和自身车辆驾驶行为分类传输至微处理器MPU；
所述实时决策处理单元是用于监控车辆自身信息的单元，从车身CAN数据总线获取车辆的刹车、油门、转向灯、车速、启动与熄灯等车辆状态信息，并通过UART异步收发传输器传输到微处理器MPU；同时若自身车辆风险大于阈值，实时决策处理单元将刹车和方向盘转向信号以中断信号的方式将数据传输给微处理器MPU；同时若综合风险评估结果大于阈值，实时决策处理单元通过CAN总线发送“辅助刹车请求”指令给车辆的整车控制器VCU；
作为优选，所述实时决策处理单元采用cortex-m3处理器。
所述微处理器MPU接收摄像头采集到的视频信息并对其进行解码压缩，获得数字图像，并传送至混合深度学习模型模块；接收混合深度学习模型模块反馈的自身车辆驾驶行为分类、周围车辆位置与风险结果；将自身车辆驾驶行为分类与转向灯状态结合考虑，获得自身车辆变道风险和车速风险的结果；并对周围车辆风险结果分析判断，若大于阈值则通过LVDS传输方式将发送报警提示消息给车内中控显示屏；同时综合周边车辆的风险信息和车辆自身的风险信息，获得综合风险评估结果，将其传送至实时决策处理单元，同时微处理器MPU判断综合风险评估结果以及自身车辆风险是否大于阈值；
所述GPS定位模块用于实时地获取道路交通信息，并通过UART传输到微处理器MPU。
所述车内中控屏还可以搭载语音播报系统，用以实时提醒驾驶员车辆风险。
本装置还可以包括移动客户端，微处理器MPU通过WIFI/4G/5G的方式将数据信息同步共享到移动客户端和后台数据中心。
本发明的有益效果如下：
1、提出一种基于周围车辆风险感知的车辆驾驶风险预警感知系统，传统车辆风险的感知主要以本车的驾驶风险感知为主，本发明专利可以通知感知周围车辆的驾驶行为风险和本车的驾驶行为风险，为车辆动态风险的预测提供了更全面的信息。
2、提出的一种基于实时系统和深度卷积神经网络相结合的系统架构，可以同时利用实时系统的实时性对当前深度卷积神经网络的模型进行实时切换，在保证风险驾驶行为预测的准确性和实时性的基础上，有效的避免了计算资源的浪费。
3、提出了基于视觉图像的实线变道、虚线变道、跟车过近和变道超车四种驾驶行为同时检测的驾驶风险预测方法，并能够同时检测出风险的等级类型。
4、本发明使用深度学习的方法感知动态路环境变化，实现准确率高，速度快的驾驶风险预警，并且相比之下受天气因素影响较小，鲁棒性较高。本专利使用一种名为VGG的CNN网络用于提取图片序列中的特征信息，相比于传统方法，它需要处理的冗余信息要少得多，因此处理的速度很快，在车辆行驶过程中这种高效的实时检测是有必要的，它能帮我们更好的分辨车辆风险的类型、给出风险的评估等级。
附图说明
图1是本发明装置的结构示意图；
图2是本发明混合深度学习模型流程图；
图3是本发明方法流程图；
图4为VGG网络结构图；
图5为faster-rcnn网络数据集标注流程图；
图6为第二LSTM网络单元结构图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的分析。
如图1所示，本发明驾驶风险预警装置包括视频采集智算单元、实时决策处理单元、GPS定位模块，其中视频采集智算单元包括摄像头、混合深度学习模型模块NPU、微处理器MPU；
所述摄像头为4个，安装位置分别为：挡风玻璃下的前视宽视野摄像头，车辆左右两侧的侧方前视摄像头和车尾的后视摄像头。其中前视宽视野摄像头的视角为120度，左右两侧摄像头的视角为90度，尾部的后视摄像头的视角为120度。视频的采样频率为30帧/秒、20帧/秒或者10帧/秒,根据车辆当前车速选择对应的采样频率。
如图1所述混合深度学习模型模块包括VGG网络、faster-rcnn网络和第一LSTM网络、第二LSTM网络、第一计算模块；
VGG网络根据微处理器MPU的数字图像进行图像特征序列提取。VGG网络采用VGG16的网络结构(如图4所示)，训练时根据cityspace和AppoloScape的数据集进行预训练，然后使用训练好的VGG进行图片特征提取，经过特征提取后得到的特征图序列的大小为1*1000。
faster-rcnn网络根据VGG网络输出的图像特征序列进行周边车辆的对应位置提取。训练时根据cityspace和AppoloScape的数据集进行预训练。在预训练完成后，使用实车数据通过标记后再次训练一遍，以提升对周边车辆的检测精度。数据集标注使用labelme软件，该软件能够实现对车辆车道线的标注工作，如果所示对周边车辆进行分类标记。数据集标注的流程图如图5。
实车标记的数据共包含220K，其中200K张不同的道路行驶图片用于对faster-rcnn模型进行训练，20K张标记的图片用于对模型进行验证。公式(1)的输出结果将会输入到一个拥有50个GRU单元的LSTM网络，并采用Adam优化器。
第一计算模块根据faster-rcnn网络输出的周边车辆的对应位置与风险估计矩阵相乘获得周边车辆相对风险系数；faster-rcnn输出周边车辆的位置，根据公式(1)得到周边车辆的相对风险系数。其中wij采用统计方法得到，
Figure GDA0003171332800000071
Figure GDA0003171332800000072
disti,j是周边第i和j辆车之间的距离，αij根据实验进行微整。
第一LSTM网络根据周边车辆相对风险系数进行周边车辆的风险结果提取；第一LSTM网络拥有50个GRU单元，并采用Adam优化器。
第二LSTM网络根据VGG网络输出的图像特征序列进行自身车辆的驾驶行为分类；最后将周边车辆的风险结果和自身车辆驾驶行为分类传输至微处理器MPU；第二LSTM网络拥有100个GRU单元，单元结构如图6。
上述VGG网络、faster-rcnn网络、第一LSTM网络、第二LSTM网络不详解的地方为本领域技术人员所熟知的常规技术。
所述实时决策处理单元是用于监控车辆自身信息的单元，使用cortex-m3处理器，从车身CAN数据总线获取车辆的刹车、油门、转向灯、车速、启动与熄灯等车辆状态信息，并综合处理通过UART通用异步收发传输器传输到微处理器MPU；同时若自身车辆风险大于阈值，实时决策处理单元将刹车和方向盘转向信号以中断的方式将数据传输给微处理器MPU；同时若综合风险评估结果大于阈值，实时决策处理单元通过CAN数据总线发送“辅助刹车请求”指令给车辆的整车控制器VCU；
所述微处理器MPU接收摄像头采集到的视频信息并对其进行解码压缩，获得数字图像，并传送至混合深度学习模型模块；接收混合深度学习模型模块反馈的自身车辆驾驶行为分类、周围车辆位置与风险结果；将自身车辆驾驶行为分类与转向灯状态结合考虑，获得自身车辆的风险结果；并对周围车辆风险结果分析判断，若大于阈值则通过LVDS传输方式将发送报警提示消息给车内中控显示屏；同时综合周边车辆的风险信息和车辆自身的风险信息，获得综合风险评估结果，将其传送至实时决策处理单元，同时微处理器MPU判断综合风险评估结果以及自身车辆风险是否大于阈值；
所述GPS定位模块用于实时地获取道路交通信息，并通过UART传输到微处理器MPU。
所述车内中控屏可以搭载语音播报系统，用以实时提醒驾驶员车辆风险。
本装置还可以包括移动客户端，微处理器MPU通过WIFI/4G/5G的方式将数据信息同步共享到移动客户端和后台数据中心。
如图3基于上述装置的驾驶风险预警方法具体包括以下步骤：
步骤(1)、在汽车行驶过程中，四个摄像头实时采集周边视频；四个摄像头采集到的视频分别经过视频解码转化为四组数字图像信息序列；每一组数字图像信息序列可以用矩阵的方式表示：
Figure GDA0003171332800000081
其中fig.n表示视频序列中的第n张图片，sequence描述了num张大小为width×height的图片组成的图片序列。
步骤(2)、每一组数字图像分别输入到混合深度学习模型获取风险评估结果；，混合深度学习模型由VGG网络、faster-rcnn网络和LSTM网络组成，如图2具体是：
2.1VGG网络的输入为步骤(1)数字图像，输出为图像特征序列；
2.2faster-rcnn网络的输入为VGG网络输出的图像特征序列，输出为周边车辆的对应位置；
2.3第一LSTM网络的输入为每个周边车辆在每一帧图像中的相对风险系数，输出为每个周边车辆的风险结果P周边车辆j；
所述的每个周边车辆在每一帧图像中周边车辆的相对风险系数由faster-rcnn网络输出的周边车辆的对应位置与风险估计矩阵相乘所得；
Figure GDA0003171332800000082
其中
Figure GDA0003171332800000083
表示风险估计矩阵，由所有的周边车辆相关风险系数组成，wij表示了周边车辆中第j辆车对于第i辆车的风险影响的权重大小；obji表示第i辆周边车辆的位置，resi表示第i辆周边车辆的相对风险系数，n表示矩阵大小，为经验值,可根据装置的分辨率和镜头的视场角来决定(n通常设置为100)。
2.4第二LSTM网络的输入为VGG网络输出的图像特征序列，输出为自身车辆的驾驶行为分类，包括实线变道、虚线变道、跟车过近、变道超车、正常行驶；
步骤(3)、考虑结合车身CAN数据总线获取的转向灯状态的自身车辆的驾驶行为变道风险系数，以及自身车辆的车速信息，根据公式(2)获得自身车辆的风险结果。
P自身车辆＝xi*yi 公式(2)
其中xi表示第i种驾驶行为的变道风险系数，yi表示第i种驾驶行为的车速风险系数，i＝1、2、3、4、5，分别表示实线变道、虚线变道、跟车过近、变道超车、正常行驶五种驾驶行为。
若驾驶行为为虚线变道、变道超车时，
变道风险系数
Figure GDA0003171332800000091
其中a1为常数，根据经验值设定。
若驾驶行为为实线变道、跟车过近时，
变道风险系数
Figure GDA0003171332800000092
其中a2、a3为常数，根据经验值设定。
若驾驶行为为正常行驶时，驾驶行为风险系数xi＝0。
若驾驶行为为实线变道、虚线变道、跟车过近或变道超车时，
车速风险系数
Figure GDA0003171332800000093
其中a4、a5、a6、a7、a8、a9为常数，根据经验值设定；Ai表示第i驾驶行为车速风险权重系数；v表示自身车辆的当前车速。
表1车速风险系数
Figure GDA0003171332800000094
Figure GDA0003171332800000101
步骤(4)、将步骤2.3中周围车辆风险的结果进行从大到小的降序排序，如果最大值超过阈值且车速大于阈值(例如20km/小时)，则视频智算单元将发送报警提示消息给中控显示屏，提示周围车辆出现风险；反之则不发送给中控显示屏。
步骤(5)、综合周边车辆的风险信息和车辆自身的风险信息，根据以下公式(3)获得综合风险评估结果：
P综合＝Max(P周边车辆1，P周边车辆2，…，P周边车辆N)+P自身车辆 公式(3)
步骤(6)、综合风险评估结果传送至实时决策处理单元，若综合风险评估结果大于阈值，则通过CAN数据总线发送“辅助刹车请求”指令给车辆的整车控制器VCU；
步骤(7)、步骤(3)自身车辆风险传送至实时决策处理单元，若自身车辆风险大于阈值(例如为4)，实时决策处理单元将刹车和方向盘转向信号以中断的方式将数据传输给微处理器MPU。
上述实施例并非是对于本发明的限制，本发明并非仅限于上述实施例，只要符合本发明要求，均属于本发明的保护范围。

Claims (8)

1.基于视觉感知的驾驶风险预警方法，其特征在于该方法包括以下步骤：
步骤(1)、在汽车行驶过程中，摄像头实时采集周边视频；
摄像头采集到的视频分别经过视频解码器转化为数字图像信息序列；
步骤(2)、将步骤(1)图像输入到混合深度学习模型获取风险评估结果；混合深度学习模型包括VGG网络、faster-rcnn网络、第一LSTM网络、第二LSTM网络；具体是：
2.1 VGG网络的输入为步骤(1)图像，输出为图像特征序列；
2.2 faster-rcnn网络的输入为VGG网络输出的图像特征序列，输出为周边车辆的对应位置；
2.3第一LSTM网络的输入为每个周边车辆在每一帧图像中的相对风险系数，输出为每个周边车辆的风险结果P周边车辆j；
所述的每个周边车辆在每一帧图像中的相对风险系数由faster-rcnn网络输出的周边车辆的对应位置与风险估计矩阵相乘所得；
Figure FDA0003171332790000011
其中
Figure FDA0003171332790000012
表示风险估计矩阵，由所有的周边车辆相关风险系数组成，wij表示了周边车辆中第j辆车对于第i辆车的风险影响的权重大小；obji表示第i辆周边车辆的位置，resi表示第i辆周边车辆的相对风险系数，n表示矩阵大小；
2.4第二LSTM网络的输入为VGG网络输出的图像特征序列，输出为自身车辆的驾驶行为分类，包括实线变道、虚线变道、跟车过近、变道超车、正常行驶；
步骤(3)、考虑结合车身CAN数据总线获取的转向灯状态的自身车辆的驾驶行为变道风险系数，以及自身车辆的车速信息，根据公式(2)获得自身车辆的风险结果；
P自身车辆＝xi*yi 公式(2)
其中xi表示第i种驾驶行为的变道风险系数，yi表示第i种驾驶行为的车速风险系数，i＝1、2、3、4、5，分别表示实线变道、虚线变道、跟车过近、变道超车、正常行驶五种驾驶行为；
步骤(4)、将步骤2.3中周边车辆的风险结果进行从大到小的降序排序，如果最大值超过阈值且车速大于阈值，则视频智算单元将发送报警提示消息给中控显示屏，提示周边车辆出现风险；
步骤(5)、综合周边车辆的风险信息和车辆自身的风险信息，根据以下公式(3)获得综合风险评估结果：
P综合＝Max(P周边车辆1，P周边车辆2，…，P周边车辆N)+P自身车辆公式(3)
步骤(6)、综合风险评估结果传送至实时决策处理单元，若综合风险评估结果大于阈值，则通过CAN数据总线发送“辅助刹车请求”指令给车辆的整车控制器VCU；反之则不向CAN数据总线发送信息；
步骤(7)、步骤(3)自身车辆风险传送至实时决策处理单元，若自身车辆风险大于阈值，实时决策处理单元将刹车和方向盘转向信号以中断信号的方式将数据传输给微处理器MPU；反之则实时决策处理单元持续采集车辆CAN数据。
2.如权利要求1所述的基于视觉感知的驾驶风险预警方法，其特征在于每一组数字图像信息序列用矩阵的方式表示：
Figure FDA0003171332790000021
其中fig.n表示视频序列中的第n张图片，sequence描述了fig_num张大小为width×height的图片组成的图片序列。
3.如权利要求1所述的基于视觉感知的驾驶风险预警方法，其特征在于步骤(3)第i种驾驶行为的变道风险系数xi具体是：
若驾驶行为为虚线变道、变道超车时，
Figure FDA0003171332790000022
其中a1为常数，根据经验值设定；
若驾驶行为为实线变道、跟车过近时，
Figure FDA0003171332790000023
其中a2、a3为常数，根据经验值设定；
若驾驶行为为正常行驶时，驾驶行为风险系数xi＝0；
若驾驶行为为实线变道、虚线变道、跟车过近或变道超车时，
Figure FDA0003171332790000031
其中a4、a5、a6、a7、a8、a9为常数，根据经验值设定；Ai表示第i种驾驶行为车速风险权重系数；v表示自身车辆的当前车速。
4.一种驾驶风险预警装置，其特征在于包括视频采集智算单元、实时决策处理单元、GPS定位模块，其中视频采集智算单元包括摄像头、混合深度学习模型模块NPU、微处理器MPU；
所述摄像头用于采集车辆行驶过程中周围环境的视频信息，然后传输给微处理器MPU；微处理器MPU反馈调控摄像头的采样频率；
所述混合深度学习模型模块包括VGG网络、faster-rcnn网络、第一LSTM网络、第二LSTM网络、第一计算模块；VGG网络根据微处理器MPU的数字图像进行图像特征序列提取；faster-rcnn网络根据VGG网络输出的图像特征序列进行周边车辆的对应位置提取；第一计算模块根据faster-rcnn网络输出的周边车辆的对应位置与风险估计矩阵相乘获得周边车辆相对风险系数；第一LSTM网络根据周边车辆相对风险系数进行周边车辆的风险结果获取；第二LSTM网络根据VGG网络输出的图像特征序列进行自身车辆的驾驶行为分类；最后将周边车辆的风险结果和自身车辆驾驶行为分类传输至微处理器MPU；
所述实时决策处理单元是用于监控车辆自身信息的单元，从车身CAN数据总线获取车辆的刹车、油门、转向灯、车速、启动与熄灯车辆状态信息，并通过UART异步收发传输器传输到微处理器MPU；同时若自身车辆风险大于阈值，实时决策处理单元将刹车和方向盘转向信号以中断信号的方式将数据传输给微处理器MPU；同时若综合风险评估结果大于阈值，实时决策处理单元通过CAN总线发送“辅助刹车请求”指令给车辆的整车控制器VCU；
所述微处理器MPU接收摄像头采集到的视频信息并对其进行解码压缩，获得数字图像，并传送至混合深度学习模型模块；接收混合深度学习模型模块反馈的自身车辆驾驶行为分类、周边车辆位置与风险结果；将自身车辆驾驶行为分类与转向灯状态结合考虑，获得自身车辆变道风险和车速风险的结果；并对周边车辆风险结果分析判断，若大于阈值则通过LVDS传输方式将发送报警提示消息给车内中控显示屏；同时综合周边车辆的风险信息和车辆自身的风险信息，获得综合风险评估结果，将其传送至实时决策处理单元，同时微处理器MPU判断综合风险评估结果以及自身车辆风险是否大于阈值；
所述GPS定位模块用于实时地获取道路交通信息，并通过UART传输到微处理器MPU。
5.如权利要求4所述的一种驾驶风险预警装置，其特征在于所述摄像头至少为4个，分别安装在车身的四周。
6.如权利要求4所述的一种驾驶风险预警装置，其特征在于所述实时决策处理单元采用cortex-m3处理器。
7.如权利要求4所述的一种驾驶风险预警装置，其特征在于所述车内中控屏还搭载语音播报系统，用以实时提醒驾驶员车辆风险。
8.如权利要求4所述的一种驾驶风险预警装置，其特征在于还包括移动客户端，微处理器MPU通过WIFI/4G/5G的方式将数据信息同步共享到移动客户端和后台数据中心。
CN202011182851.4A 2020-10-29 2020-10-29 基于视觉感知的驾驶风险预警装置及方法 Active CN112382115B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011182851.4A CN112382115B (zh) 2020-10-29 2020-10-29 基于视觉感知的驾驶风险预警装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011182851.4A CN112382115B (zh) 2020-10-29 2020-10-29 基于视觉感知的驾驶风险预警装置及方法

Publications (2)

Publication Number Publication Date
CN112382115A CN112382115A (zh) 2021-02-19
CN112382115B true CN112382115B (zh) 2021-09-14

Family

ID=74577822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011182851.4A Active CN112382115B (zh) 2020-10-29 2020-10-29 基于视觉感知的驾驶风险预警装置及方法

Country Status (1)

Country Link
CN (1) CN112382115B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516846B (zh) * 2021-06-24 2022-12-13 长安大学 车辆换道行为预测模型构建、预测预警方法及系统
CN113635905B (zh) * 2021-08-24 2023-04-18 桂林航天工业学院 一种面向驾驶行为保险的风险实时提示系统及装置
CN114228709A (zh) * 2021-12-06 2022-03-25 首都经济贸易大学 一种高速自动驾驶预警系统及其预警方法
CN114604199A (zh) * 2022-04-08 2022-06-10 中国第一汽车股份有限公司 一种车辆保护系统及方法
CN115171428B (zh) * 2022-06-24 2023-06-30 重庆长安汽车股份有限公司 一种基于视觉感知的车辆切入预警方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700657A (zh) * 2013-12-06 2015-06-10 大连东浦机电有限公司 一种基于人工神经网络的周边车辆行为预判系统
CN108573617A (zh) * 2017-03-09 2018-09-25 奥迪股份公司 驾驶辅助装置、车辆及其方法
CN111104969A (zh) * 2019-12-04 2020-05-05 东北大学 一种无人驾驶车辆与周边车辆的碰撞可能性预判方法
CN111311945A (zh) * 2020-02-20 2020-06-19 南京航空航天大学 一种融合视觉和传感器信息的驾驶决策系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7804423B2 (en) * 2008-06-16 2010-09-28 Gm Global Technology Operations, Inc. Real time traffic aide
US10679099B2 (en) * 2018-05-08 2020-06-09 Toyta Research Institute, Inc. Method and apparatus for a manifold view of space

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700657A (zh) * 2013-12-06 2015-06-10 大连东浦机电有限公司 一种基于人工神经网络的周边车辆行为预判系统
CN108573617A (zh) * 2017-03-09 2018-09-25 奥迪股份公司 驾驶辅助装置、车辆及其方法
CN111104969A (zh) * 2019-12-04 2020-05-05 东北大学 一种无人驾驶车辆与周边车辆的碰撞可能性预判方法
CN111311945A (zh) * 2020-02-20 2020-06-19 南京航空航天大学 一种融合视觉和传感器信息的驾驶决策系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于深度视觉注意神经网络的端到端自动驾驶模型;胡学敏 等;《计算机应用》;20200710;第40卷(第7期);第1926-1931页 *
道路交通行车安全预警算法研究;陈计伟 等;《电子测量技术》;20190308;第42卷(第5期);第6-10页 *

Also Published As

Publication number Publication date
CN112382115A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN112382115B (zh) 基于视觉感知的驾驶风险预警装置及方法
US10877485B1 (en) Handling intersection navigation without traffic lights using computer vision
US12067764B2 (en) Brake light detection
KR101772178B1 (ko) 차량용 랜드마크 검출 장치 및 방법
CN113147733B (zh) 雨雾沙尘天气汽车智能限速系统及方法
CN105825696A (zh) 基于信号灯信息提示的驾驶辅助系统
KR102310782B1 (ko) 차량운전 보조장치, 이를 포함하는 차량, 및 차량안전 시스템
US9305221B2 (en) Method and apparatus for identifying a possible collision object
CN111489560B (zh) 基于浅层卷积神经网络探测前车起步检测方法及控制方法
CN113012469A (zh) 一种基于目标识别的智能交通预警系统
CN111985388B (zh) 行人注意力检测驾驶辅助系统、装置和方法
CN111540191B (zh) 基于车联网的行车示警方法、系统、设备及存储介质
CN112926404B (zh) 一种主动交互式人车通行系统及方法
CN112698660B (zh) 基于9轴传感器的驾驶行为视觉感知装置及方法
CN210760742U (zh) 智能车辆辅助驾驶系统
CN108932503A (zh) 恶劣天气下车前障碍的识别方法及装置、存储介质、终端
CN211844253U (zh) 一种多功能智能识别车载后视镜
CN115123237A (zh) 一种易安装式智能变道辅助系统
CN113449589B (zh) 一种无人驾驶汽车在城市交通场景中驾驶策略计算方法
CN114663849B (zh) 一种两轮车转向判决及行驶环境目标检测策略
CN111276008B (zh) 一种于加速车道对车速进行个性化引导的装置及方法
US20230406356A1 (en) Fail-safe corrective actions based on vision information for autonomous vehicles
CN202694585U (zh) 一种车载视觉的交通信号灯智能探测装置
CN118521987A (zh) 一种草原公路行驶动物风险预警方法及系统
CN106494303B (zh) 车用多功能摄像头系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Liu Yian

Inventor after: Wu Dongxu

Inventor after: Xu Ping

Inventor after: Zhu Lei

Inventor after: Yan Ming

Inventor after: Xue Lingyun

Inventor before: Liu Yian

Inventor before: Xu Ping

Inventor before: Zhu Lei

Inventor before: Yan Ming

Inventor before: Xue Lingyun

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210219

Assignee: Hangzhou Yixing new energy automobile service Co., Ltd

Assignor: HANGZHOU DIANZI University

Contract record no.: X2021330000780

Denomination of invention: Driving risk early warning device and method based on visual perception

Granted publication date: 20210914

License type: Common License

Record date: 20211202