CN114043989B - 一种基于递归图和卷积神经网络的驾驶风格识别模型、换道决策模型及决策方法 - Google Patents

一种基于递归图和卷积神经网络的驾驶风格识别模型、换道决策模型及决策方法 Download PDF

Info

Publication number
CN114043989B
CN114043989B CN202111432080.4A CN202111432080A CN114043989B CN 114043989 B CN114043989 B CN 114043989B CN 202111432080 A CN202111432080 A CN 202111432080A CN 114043989 B CN114043989 B CN 114043989B
Authority
CN
China
Prior art keywords
vehicle
data
speed
driving
decision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111432080.4A
Other languages
English (en)
Other versions
CN114043989A (zh
Inventor
蔡英凤
赵锐东
滕成龙
张雪翔
刘擎超
李祎承
熊晓夏
孙晓强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202111432080.4A priority Critical patent/CN114043989B/zh
Publication of CN114043989A publication Critical patent/CN114043989A/zh
Application granted granted Critical
Publication of CN114043989B publication Critical patent/CN114043989B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18163Lane change; Overtaking manoeuvres
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0019Control system elements or transfer functions
    • B60W2050/0022Gains, weighting coefficients or weighting functions
    • B60W2050/0025Transfer function weighting factor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0019Control system elements or transfer functions
    • B60W2050/0028Mathematical models, e.g. for simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于递归图和卷积神经网络的驾驶风格识别模型、换道决策模型及决策方法,首先,引入驾驶风格作为综合判定依据,获取加速踏板、制动踏板以及方向盘转角信号,通过车载相机以及激光雷达获取当前车辆的驾驶环境和周围车辆的行驶信息。其次,将数据采样至同一频率,并归一化处理,接着将数据利用递归图生成算法生成自车和周围车辆的递归图。然后,将递归图输入卷积神经网络,得到每一车辆对应的驾驶风格。最后,引入决策成本函数,综合考虑自车以及周围车辆的驾驶风格因素,通过调整所述决策成本函数的权重系数的方式,建立换道决策方法,使得换道决策结果具有倾向性,贴合自车的驾驶风格,实现人性化和安全合理的驾驶操作。

Description

一种基于递归图和卷积神经网络的驾驶风格识别模型、换道 决策模型及决策方法
技术领域
本发明涉及智能汽车技术领域,尤其涉及一种基于递归图和卷积神经网络的驾驶风格识别模型、换道决策模型及决策方法。
背景技术
随着智能驾驶技术的发展,基于人机共驾技术开发的智能汽车在高速路、城市快速路等简单场景下得到了成功应用。然而,当前智能汽车的换道决策方法没有考虑驾驶风格因素,不能很好的识别和处理鲁莽切入、随意变道等危险驾驶行为,给驾乘人员带来安全隐患。如何在人机共驾的变道场景中考虑到自车的驾驶风格,并在决策时融入周边车辆的驾驶风格,以做出安全合理的换道决策,是当前亟待解决的关键问题。
随着激光雷达和摄像头等传感器广泛应用,以及驾驶环境感知方法的快速发展,智能汽车已经能够获取自车和周围车辆的行驶信息,从而得到行驶信息的多元时间序列。递归图是分析时间序列周期性、混沌性以及非平稳性的一个重要方法,通过递归图方法可以将时间序列重构成二维图片,进一步揭示时间序列的内部结构,从而得到驾驶行为相似性、关联性和预测性的先验知识。当前,卷积神经网络在图像分类、特征提取等方面表现优异,大大提高了图像分类的准确性,实现了特征提取的有效封装。本发明融合使用自车与周围车辆行驶参数的时间序列,基于递归图和卷积神经网络,实现驾驶风格的自动识别,进一步建立了换道决策方法,用于产生安全合理的换道策略,以更好的应用于人机共驾的智能汽车。
发明内容
为解决上述技术难题,本发明提出一种基于递归图和卷积神经网络的驾驶风格识别模型、换道决策模型及决策方法,包括驾驶风格特征图的生成,基于特征图的驾驶风格分类以及成本函数换道决策方法。首先,针对不同驾驶员操作车辆的习惯性差异,引入驾驶风格作为综合判定依据。通过解析自车CAN协议获取加速踏板、制动踏板以及方向盘转角信号,通过车载相机以及激光雷达获取当前车辆的驾驶环境和周围车辆的行驶信息。其次,将数据采样至同一频率,并进行归一化处理,接着将数据输入递归图生成算法,生成自车和周围车辆的递归图。然后,将递归图输入卷积神经网络,得到每一车辆对应的驾驶风格,所述驾驶风格分为三类:激进型Aggressive、普通型Normal以及保守型Conservative。最后,引入决策成本函数,综合考虑自车以及周围车辆的驾驶风格因素,通过调整所述决策成本函数的权重系数的方式,建立换道决策方法,使得换道决策结果具有倾向性,贴合自车的驾驶风格,实现人性化和安全合理的驾驶操作。
本发明基于递归图和卷积神经网络的驾驶风格识别模型的技术方案是:包括自车参数测量模块、环境数据测量模块、数据处理模块、特征递归图生成模块、驾驶风格识别模块。
所述自车参数测量模块,是从车辆的CAN总线中获取高低电平数据,通过协议解析得到自车的行驶信息。所述自车的行驶信息包括行驶速度u、方向盘转角δd、方向盘转向δ0、加速踏板开度γa、制动主缸压力Pb,并将数据传送给数据处理模块。
所述环境数据测量模块,是从外接传感器(如:激光雷达、车载摄像头、毫米波雷达)中获取自车行驶的车道线li、偏航角θ、与周围车辆的距离di、与前车的碰撞时间TTC,以及周围车辆的速度加速度/>车道线信息/>并将数据传送给数据处理模块。
所述数据处理模块,是接收自车参数测量模块和环境数据测量模块的数据,通过降采样和归一化方法,构建当前时刻下自车和周围车辆的行驶特征参数集合C,并将数据传送给特征递归图生成模块。
所述特征递归图生成模块,是将来自数据处理模块的数据集合C生成递归图。首先对数据进行滑动窗口处理,再将其输入递归图生成算法,最后将生成的递归图传送给驾驶风格识别模块。
所述驾驶风格识别模块,是通过卷积神经网络CNN进行对输入的递归图进行特征提取、池化、全连接操作,输出递归图所代表的驾驶风格类别,所述驾驶风格分为三类:激进型Aggressive、普通型Normal和保守型Conservative。
基于上述驾驶风格识别模型,本发明还提出了一种换道决策模型,除包含上述模块之外,该换道决策模型还包括换道决策模块;
所述换道决策模块,是对目标车道进行选择。首先在换道决策模块中预设三组权重系数不同的决策成本函数,用以代表三类驾驶风格,再将所有车辆的驾驶风格与决策成本函数送到全连接神经网络FC,最后得到换道决策结果。所述全连接神经网络FC,其权重通过使用从highD数据集提取到的换道行为数据训练得到。换道决策目标是在出行效率pe、车辆加速度va、速度增益sg和驾驶安全ds之间取得平衡。
所述决策成本函数的权重系数,是在决策成本函数的各项组成之前所乘的系数,通过匹配不同的权重系数使得决策成本函数呈现出不同的侧重方向,从而在换道决策时体现出不同的驾驶风格。
基于上述换道决策模型,本发明还提出了一种换道决策方法,采用的技术方案包括以下步骤:
步骤1):使用CANoe设备,通过CAN协议解析自车行驶数据,获得以下参数:行驶速度u、方向盘转角δd、方向盘转向δ0、加速踏板开度γa、制动主缸压力Pb
步骤2):通过激光雷达、摄像头和毫米波雷达获取自车行驶的车道线li、偏航角θ、与周围车辆的距离di、与前车的碰撞时间TTC;周围车辆的速度加速度/>车道线信息/>通过提取出的自车以及周边车辆行驶参数,构建出当前自车行驶的周围环境信息,确定自车与周围车辆的相对距离、相对速度。
步骤3):对收集到的自车和环境数据进行处理,具体步骤为:
(A)将采集到的方向盘转向δ0数据中的1值替换成-1、0值替换成1,并与转角数据δd相乘,得到方向盘转角δ。使得转角δ在左转向时为负值,右转向时为正值。自车行驶速度u、加速踏板开度γa和制动主缸压力Pb传输频率为100Hz方向盘转角δ的传输频率为50Hz,摄像头的数据为25Hz,数据传输的频率不统一。因此将100Hz的数据统一采样至50Hz,将25Hz的数据插值到50Hz,方便进行后续的处理。
(B)对采集到的数据进行归一化。将行驶速度u除以道路最高限速120km/h;将加速度/>除以重力加速度9.8m/s2;将制动主缸压力Pb除以该车紧急制动时的制动主缸压力数值Pmax;将方向盘转角δ除以该车方向盘从最左位置转到最右位置所经历的角度;将车道信息l按道路信息转换成0.25、0.5、0.75中的数值。构建当前时刻下自车和周围车辆的行驶特征参数集合C。
步骤4):构造数据特征模型,用于描述数据的驾驶特征风格。每5s从参数集合C中提取时长60s的参数矩阵将/>输入到递归图生成模块中。递归图生成模块从数据中提取维度m与时间延迟τ,将参数矩阵/>转换成图像Pj,实现将数据流转换成递归图。
步骤5):采用卷积神经网络CNN对生成的图片进行特征提取、池化、全连接操作,输出递归图所代表的驾驶风格类别,所述驾驶风格分为三类:激进型Aggressive、普通型Normal和保守型Conservative。
步骤6):设置决策成本函数K。所述决策成本函数K为当前换道决策的成本,由出行效率pe、车辆加速度va、速度增益sg(反应执行决策后的速度变化幅度)以及驾驶安全ds组成。根据自车的驾驶风格,给决策成本函数匹配上不同的权重系数jpe、jva、jsg、jds,在决策时体现出不同的风格。
步骤7):将采集到的自车与周围车辆的驾驶风格、行驶数据以及决策的成本函数送入全连接神经网络FC中。所述全连接神经网络FC,其权重通过使用从highD数据集提取到的换道行为数据训练得到。换道决策目标是在出行效率pe、车辆加速度va、速度增益sg和驾驶安全ds之间取得平衡。最后由网络输出换道的目标车道,决策贴合自车的驾驶风格,实现人性化和安全合理的驾驶操作。
本发明的有益效果为:
1.本发明提出的自车与周围车辆的行驶数据采集与获取方法,融合了自车的底层CAN数据以及车载传感器所采集到的数据,同时在数据处理时将数据统一采样至50Hz,方便了后期处理。进行数据融合能够有效避免单一数据类型带来的检测精度下降问题,为驾驶风格识别模型以及换道决策模型建立数据基础。
2.本发明提出的驾驶风格检测模型,使用递归图将数据转换成图片格式,方便将多种数据融合到一起,同时可以根据驾驶环境实时更新数据,识别得到当前时刻下最新的驾驶风格数据,避免了突发的交通行为造成的驾驶风格误判。
3.本发明在识别出自车驾驶风格特征的同时,还可以通过车载传感器采集到的周围车辆的行驶数据,检测出对应车辆的风格信息,不需要进行车辆间通讯等复杂的操作,成本较低。同时还可以为自车的后续决策提供周围环境信息,提高决策的正确性。
4.本发明所提出的换道模型,可以根据当前自车的驾驶风格调整成本函数的权重系数,实现对驾驶风格的模拟,换道模型更加人性化。
附图说明
图1是驾驶风格识别模型及换道决策方法框架图
图2是车辆行驶数据获取流程图
图3是驾驶风格特征识别结构流程图
图4是换道决策模块图
具体实施方式
下面结合附图对本发明的具体实施作进一步说明。
如图1所示,是本发明框架图。自车参数测量模块和环境数据测量模块将获取的数据传输到数据处理模块。数据处理模块对数据进行处理,生成数据集合C并传送给特征递归图生成模块。特征递归图生成模块将数据集合C转换成递归图,并由接下来的驾驶风格识别模块识别出驾驶风格。换道决策模块接受驾驶风格识别模块识别出的风格特征,并结合自车参数测量模块和环境数据测量模块获取的数据,决策换道的目标车道。
如图2所示,是车辆行驶数据获取流程,由自车参数测量模块和环境数据测量模块构成。首先,通过自车的CAN总线解析出自车行驶速度u、方向盘转角δd、方向盘转向δ0、加速踏板开度γa、制动主缸压力Pb信号。通过摄像头、激光雷达和毫米波雷达感知获得自车行驶的车道线li、偏航角θ、与周围车辆的距离di、与前车的碰撞时间TTC,周围车辆的速度加速度/>车道线信息/>使用上述数据构建当前时刻下自车和周围车辆的行驶特征参数集合C。
C=(y0,env,y1,y2,y3,…),其中y0为自车的行驶信息,包括行驶速度u、方向盘转角δd、方向盘转向δ0、加速踏板开度γa、制动主缸压力Pb信号。env是驾驶环境信息包括自车行驶的车道线li、偏航角θ、与周围车辆的距离di、与前车的碰撞时间TTC。y1,y2,y3,…为周围车辆的行驶信息,包括周围车辆的速度加速度/>车道线信息/>通过摄像头与激光雷达的算法感知得到,受限于当前的算力以及成本与成本因素,信号频率为25Hz。
如图3所示,驾驶风格特征识别结构流程,由数据处理模块、特征递归图生成模块和驾驶风格识别模块构成。
首先,由于车CAN的一般通讯频率为100Hz与50Hz,而摄像头与毫米波雷达、激光雷达等的采样频率为25Hz,因此通过插帧的方式将25Hz的数据扩充为50Hz,将100Hz的数据降采样为50Hz,保持风格识别精度的同时降低生成的递归图尺寸,减轻运算压力。
接着,将已采样至同一频率的行驶数据采用滑动窗口的方式分成每Tt=60s,Ts=5s的参数矩阵i对应不同信号y0,y1,y2,y3,env,…,j对应不同时刻下的数据,不同种类的数据将分别输入到递归图生成模块中。
再由递归图生成算法将转换成递归图,具体流程如下:/>中每一项数据为时间序列(x1,x2,...,xn),将其进行相空间重构,从中提取到的轨迹为:
其中:m是轨迹的维数,τ是时延,本发明中设为60s。递归图R是轨迹之间的成对距离,计算如下:
其中:θ为Heaviside函数,ε为阈值。
如果Ri,j=1,则递归图在图片坐标(i,j)处放置一个有色点,反之为白色。将i、j值从1至n-(m-1)τ遍历即可得到一组数据对应的图像。
将每组数据对应RGB图像中的一个信号通道,由于递归图沿对角线对称,因此可以将重复的部分删除,一张图片可以使用6组数据,多余的数据再生成图片并与原图片进行拼接。
最后由驾驶风格识别模块进行风格识别。将生成的递归图通过卷积神经网络CNN进行特征提取、池化等操作,获得不同图片中相似的特征,得到当数据所属车辆的驾驶风格。所述卷积神经网络CNN,包含2个卷积层,其中第一个包含16个大小为4的内核,第二个包含32个大小为5的内核。有4个全连接层,其中第一层为50个神经元,第二层为128个神经元,第三层为32个,最后一层为3个,输出对应的驾驶风格。网络训练时选择的学习率为0.001,批处理大小为16的Adam优化器来训练模型,使用交叉熵函数作为损失函数。通过将不同车辆的数据输入到训练完的网络中,即可得到当前时刻下自车的周围车辆的驾驶风格,从分类的准确性与速度相平衡来看。分成三类激进型Aggressive、普通型Normal和保守型Conservative。
如图4所示,为换道决策模块。首先,神经网络FC的输入为车辆的驾驶风格和决策成本函数。决策成本函数K使用行驶参数作为输入,包括行驶速度u、与周围车辆的距离di、自车行驶的车道线li、偏航角θ、与前车的碰撞时间TTC,以及周围车辆的速度加速度/>车道线信息/>决策成本函数K为当前换道的成本,主要是四个方面,出行效率、车辆加速度、速度增益(反应执行决策后的速度变化幅度)以及行驶安全性。
K=jpeKpe+jvaKva+jsgKsg+jdsKds
其中K为总的决策成本函数,Kpe、Kva、Ksg、Kds分别代表出行效率、车辆加速度、速度增益和驾驶安全的成本函数。jpe、jva、jsg、jds是四个单一的成本函数在总体成本中的权重系数。
行驶效率成本函数与速度有关,主要集中在自车、前车以及道路限速中:
式中,v为决策是自车车速,vmax为道路的最高限速,vl是前车车速。
车辆加速度值只与自车的横向和纵向加速度相关联,通过引入θ系数调整:
Kva=θax 2+(1-θ)ay 2
速度增益值成本函数的主要影响因素为目标车道前车车速以及当前道路允许的最大车速值:
Ksg=(v-vtar)2,vtar=min(vmax,vtar-l)
vtar-l为换到目标车道的前车车速,若没有前车则为无限大的数值。
行驶安全成本函数牵扯到的数值较多,主要是换道之前的预期碰撞时间TTC与换道过程中与目标车道前后车的距离与速度,该模型主要考虑换道之前的TTC:
Kds=(TTC-TTClim)2
式中,TTClim为结合当前自车与前车车速、距离以及道路附着情况下的最小阈值。
针对自车的不同驾驶风格类型,匹配上不同的权重系数,使得决策出的结果有不同的偏向性,体现出不同的驾驶风格。
表1给出了在不同风格下的四项权重系数。随着风格逐渐平缓,表征行车安全的jds权重系数逐渐升高,而出行效率与速度增益的系数逐渐降低。
表1
通过对权重系数的调整,在同一个换道场景下可以对换道开始时间、是否换道等决策因素造成影响,实现对不同驾驶风格的模拟。换道决策目标是在出行效率pe、车辆加速度va、速度增益sg和驾驶安全ds之间取得平衡。
最后先使用通过使用从highD数据集提取到的换道行为数据训练全连接神经网络FC,得到网络的权重。再将驾驶风格和成本函数输入就可以得到换道的目标车道,决策贴合自车的驾驶风格,实现人性化和安全合理的驾驶操作。
本发明换道决策方法的实施包括以下步骤:
步骤1):使用CANoe设备,通过CAN协议解析自车行驶数据,获得以下参数:行驶速度u、方向盘转角δd、方向盘转向δ0、加速踏板开度γa、制动主缸压力Pb
步骤2):通过激光雷达、摄像头和毫米波雷达获取自车行驶的车道线li、偏航角θ、与周围车辆的距离di、与前车的碰撞时间TTC;周围车辆的速度加速度/>车道线信息通过提取出的自车以及周边车辆行驶参数,构建出当前自车和周围车辆的行驶特征参数集合C。
C=(y0,env,y1,y2,y3,…),其中y0为自车的行驶信息,包括行驶速度u、方向盘转角δd、方向盘转向δ0、加速踏板开度γa、制动主缸压力Pb信号。env是驾驶环境信息包括自车行驶的车道线li、偏航角θ、与周围车辆的距离di、与前车的碰撞时间TTC。y1,y2,y3,…为周围车辆的行驶信息,包括周围车辆的速度加速度/>车道线信息/>
步骤3):对收集到的自车和环境数据进行处理,具体步骤为:
(A)将采集到的方向盘转向δ0数据中的1值替换成-1、0值替换成1,并与转向数据δ0相乘,得到方向盘转角δ。使得转角δ在左转向时为负值,右转向时为正值。自车行驶速度u、加速踏板开度γa和制动主缸压力Pb传输频率为100Hz方向盘转角δ的传输频率为50Hz,摄像头的数据为25Hz,数据传输的频率不统一。因此将100Hz的数据统一采样至50Hz,将25Hz的数据插值到50Hz,方便进行后续的处理。
(B)对采集到的数据进行归一化。将行驶速度u、除以道路最高限速120km/h;将加速度/>除以重力加速度9.8m/s2;将制动主缸压力Pb除以该车紧急制动时的制动主缸压力数值Pmax;将方向盘转角δ除以该车方向盘从最左位置转到最右位置所经历的角度;将车道信息l按道路信息转换成0.25、0.5、0.75中的数值。构建当前时刻下自车和周围车辆的行驶特征参数集合C。
步骤4):构造数据特征模型,用于描述数据的驾驶特征风格。每5s从参数集合C中提取时长60s的参数矩阵由递归图生成算法将/>转换成递归图,具体流程如下:/>中每一项数据为时间序列(x1,x2,…,xn),将其进行相空间重构,从中提取到的轨迹为:
其中:m是轨迹的维数,τ是时延,本发明中为60s。递归图R是轨迹之间的成对距离,计算如下:
其中:θ为Heaviside函数,ε为阈值。
如果Ri,j=1,则递归图在图片坐标(i,j)处放置一个有色点,反之为白色。将i、j值从1至n-(m-1)τ遍历即可得到一组数据对应的图像。
将每组数据对应RGB图像中的一个信号通道,由于递归图沿对角线对称,因此可以将重复的部分删除,一张图片可以使用6组数据,多余的数据再生成图片并与原图片进行拼接。
递归图生成模块从数据中提取维度m与时间延迟τ,将参数矩阵转换成图像Pj,实现将数据流转换成递归图。
步骤5):采用卷积神经网络CNN对生成的图片进行特征提取、池化、全连接操作,输出递归图所代表的驾驶风格类别,所述驾驶风格分为三类:激进型Aggressive、普通型Normal和保守型Conservative。
步骤6):设置决策成本函数K。所述决策成本函数K为当前换道决策的成本,由出行效率pe、车辆加速度va、速度增益sg和驾驶安全ds、速度增益sg(反应执行决策后的速度变化幅度)以及驾驶安全ds组成。根据自车的驾驶风格,给决策成本函数匹配上不同的权重系数jpe、jva、jsg、jds,在决策时体现出不同的风格。
步骤7):将采集到的自车与周围车辆的驾驶风格、行驶数据以及决策的成本函数送入全连接神经网络FC中。所述全连接神经网络FC,其权重通过使用从highD数据集提取到的换道行为数据训练得到。换道决策目标是在出行效率pe、车辆加速度va、速度增益sg和驾驶安全ds之间取得平衡。最后由网络输出换道的目标车道,决策贴合自车的驾驶风格,实现人性化和安全合理的驾驶操作。
本发明的具体实例:使用CANoe采集设备构成自车参数测量模块,使用激光雷达和摄像头等构成外部环境感知模块,使用Python编写驾驶风格识别算法、换道决策模块,实现自车在不同驾驶风格和驾驶环境下的换道决策。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明,它们并非用以限制本发明的保护范围,凡未脱离本发明技术所创的等效方式或变更均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于递归图和卷积神经网络的驾驶风格识别模型,其特征在于,包括自车参数测量模块、环境数据测量模块、数据处理模块、特征递归图生成模块、驾驶风格识别模块;
所述自车参数测量模块,通过自车的CAN总线解析出自车行驶速度u、方向盘转角δd、方向盘转向δ0、加速踏板开度γa、制动主缸压力Pb信号,并将数据传送给数据处理模块;
所述环境数据测量模块,获取自车行驶的车道线li、偏航角θ、与周围车辆的距离di、与前车的碰撞时间TTC,以及周围车辆的速度加速度/>车道线信息/>并将数据传送给数据处理模块;
所述数据处理模块,接收自车参数测量模块和环境数据测量模块的数据,通过降采样和归一化方法,构建当前时刻下自车和周围车辆的行驶特征参数集合C,并将数据传送给特征递归图生成模块;
所述特征递归图生成模块,是将来自数据处理模块的数据集合C生成递归图;首先对数据进行滑动窗口处理,再将其利用递归图生成算法,最后将生成的递归图传送给驾驶风格识别模块;
所述驾驶风格识别模块,通过卷积神经网络CNN进行对输入的递归图进行特征提取、池化、全连接操作,输出递归图所代表的驾驶风格类别;
所述行驶特征参数集合C=(y0,env,y1,y2,y3,…),其中y0为自车的行驶信息,包括行驶速度u、方向盘转角δd、方向盘转向δ0、加速踏板开度γa、制动主缸压力Pb信号,env是驾驶环境信息包括自车行驶的车道线li、偏航角θ、与周围车辆的距离di、与前车的碰撞时间TTC;y1,y2,y3,…为周围车辆的行驶信息,包括周围车辆的速度加速度/>车道线信息/>
2.根据权利要求1所述的一种基于递归图和卷积神经网络的驾驶风格识别模型,其特征在于,所述特征递归图生成模块具体内容包括:
将已采样至同一频率的行驶数据采用滑动窗口的方式,每隔5s从参数集合C中提取时长60s的参数矩阵i对应不同信号y0,y1,y2,y3,env,…,j对应不同时刻下的数据,不同种类的数据将分别输入到递归图生成,由递归图生成算法将/>转换成递归图,具体如下:
中每一项数据为时间序列(x1,x2,...,xn),将其进行相空间重构,从中提取到的轨迹为:
其中:m是轨迹的维数,τ是时延,设为60s,递归图R是轨迹之间的成对距离,计算如下:
其中:θ为Heaviside函数,ε为阈值;
如果Ri,j=1,则递归图在图片坐标(i,j)处放置一个有色点,反之为白色,将i、j值从1至n-(m-1)τ遍历即可得到一组数据对应的图像。
3.根据权利要求1所述的一种基于递归图和卷积神经网络的驾驶风格识别模型,其特征在于,所述驾驶风格识别模块的卷积神经网络CNN,包含2个卷积层,其中第一个包含16个大小为4的内核,第二个包含32个大小为5的内核;有4个全连接层,其中第一层为50个神经元,第二层为128个神经元,第三层为32个,最后一层为3个,输出对应的驾驶风格;网络训练时选择的学习率为0.001,批处理大小为16的Adam优化器来训练模型,使用交叉熵函数作为损失函数。
4.根据权利要求1-3任一项所述的一种基于递归图和卷积神经网络的驾驶风格识别模型的换道决策模型,其特征在于,还包括换道决策模块,用于对目标车道进行选择;在换道决策模块中预设三组权重系数不同的决策成本函数,用以代表三类驾驶风格,再将所有车辆的驾驶风格与决策成本函数送到全连接神经网络FC,得到换道决策结果;
所述全连接神经网络FC,其权重通过使用从highD数据集提取到的换道行为数据训练得到;换道决策目标是在出行效率pe、车辆加速度va、速度增益sg和驾驶安全ds之间取得平衡;
所述决策成本函数的权重系数,是决策成本函数的各项组成之前所乘的系数,通过匹配不同的权重系数使得决策成本函数呈现出不同的侧重方向,从而在换道决策时体现出不同的驾驶风格。
5.根据权利要求4所述的换道决策模型,其特征在于,所述换道决策模块中,神经网络FC的输入为车辆的驾驶风格和决策成本函数;决策成本函数K使用行驶参数作为输入,包括行驶速度u、与周围车辆的距离di、自车行驶的车道线li、偏航角θ、与前车的碰撞时间TTC,以及周围车辆的速度加速度/>车道线信息/>决策成本函数K为当前换道的成本,主要包括四个方面:出行效率、车辆加速度、速度增益以及行驶安全性;
K=jpeKpe+jvaKva+jsgKsg+jdsKds
其中K为总的决策成本函数,Kpe、Kva、Ksg、Kds分别代表出行效率、车辆加速度、速度增益和驾驶安全的成本函数,jpe、jva、jsg、jds是四个单一的成本函数在总体成本中的权重系数;
行驶效率成本函数与速度有关,体现在自车、前车以及道路限速中:
式中,v为决策时自车车速,vmax为道路的最高限速,vl是前车车速;
车辆加速度值只与自车的横向和纵向加速度相关联,通过引入θ系数调整:
Kva=θax 2+(1-θ)ay 2
速度增益值成本函数的主要印象因素为目标车道前车车速以及当前道路允许的最大车速值:
Ksg=(v-vtar)2,vtar=min(vmax,vtar-l)
vtar-l为换到目标车道的前车车速,若没有前车则为无限大的数值;
行驶安全成本函数牵扯到的参数包括换道之前的预期碰撞时间TTC与换道过程中与目标车道前后车的距离与速度,考虑换道之前的TTC计算如下:
Kds=(TTC-TTClim)2
式中,TTClim为结合当前自车与前车车速、距离以及道路附着情况下的最小阈值;
针对自车的不同驾驶风格类型,匹配上不同的权重系数,使得决策出的结果有不同的偏向性,体现出不同的驾驶风格。
6.一种换道决策方法,其特征在于,包括如下步骤:
步骤1):获取自车行驶数据,包括:行驶速度u、方向盘转角δd、方向盘转向δ0、加速踏板开度γa、制动主缸压力Pb
步骤2):获取自车行驶的车道线li、偏航角θ、与周围车辆的距离di、与前车的碰撞时间TTC,以及周围车辆的速度加速度/>车道线信息/>
步骤3):对收集到的自车和环境数据进行处理,构建当前时刻下自车和周围车辆的行驶特征参数集合C:C=(y0,env,y1,y2,y3,…),其中y0为自车的行驶信息,包括行驶速度u、方向盘转角δd、方向盘转向δ0、加速踏板开度γa、制动主缸压力Pb信号,env是驾驶环境信息包括自车行驶的车道线li、偏航角θ、与周围车辆的距离di、与前车的碰撞时间TTC;y1,y2,y3,…为周围车辆的行驶信息,包括周围车辆的速度加速度/>车道线信息/>
步骤4):构造数据特征模型,用于描述数据的驾驶特征风格;每隔5s从参数集合C中提取时长60s的参数矩阵由递归图生成算法将/>转换成递归图;
步骤5):采用卷积神经网络CNN对生成的图片进行特征提取、池化、全连接操作,输出递归图所代表的驾驶风格类别,所述驾驶风格分为三类:激进型Aggressive、普通型Normal和保守型Conservative;
所述卷积神经网络CNN,包含2个卷积层,其中第一个包含16个大小为4的内核,第二个包含32个大小为5的内核;有4个全连接层,其中第一层为50个神经元,第二层为128个神经元,第三层为32个,最后一层为3个,输出对应的驾驶风格;网络训练时选择的学习率为0.001,批处理大小为16的Adam优化器来训练模型,使用交叉熵函数作为损失函数;
步骤6):设置决策成本函数K,所述决策成本函数K为当前换道决策的成本,由出行效率pe、车辆加速度va、速度增益sg以及驾驶安全ds组成;根据自车的驾驶风格,给决策成本函数匹配上不同的权重系数jpe、jva、jsg、jds,在决策时体现出不同的风格;
步骤7):将采集到的自车与周围车辆的驾驶风格、行驶数据以及决策的成本函数送入全连接神经网络FC中,所述全连接神经网络FC,其权重通过使用从highD数据集提取到的换道行为数据训练得到,换道决策目标是在出行效率pe、车辆加速度va、速度增益sg和驾驶安全ds之间取得平衡,最后由网络输出换道的目标车道,决策贴合自车的驾驶风格,实现人性化和安全合理的驾驶操作。
7.根据权利要求6所述的一种换道决策方法,其特征在于,所述步骤3)的具体处理方法包括:
(A)将采集到的方向盘转向δ0数据中的1值替换成-1、0值替换成1,并与转向数据δ0相乘,得到方向盘转角δ,使得转角δ在左转向时为负值,右转向时为正值;针对自车行驶速度u、加速踏板开度γa和制动主缸压力Pb传输频率为100Hz,方向盘转角δ的传输频率为50Hz,摄像头的数据为25Hz,这种数据传输的频率不统一的问题,将100Hz的数据统一采样至50Hz,将25Hz的数据插值到50Hz;
(B)对采集到的数据进行归一化;将行驶速度u、除以道路最高限速120km/h;将加速度/>除以重力加速度9.8m/s2;将制动主缸压力Pb除以该车紧急制动时的制动主缸压力数值Pmax;将方向盘转角δ除以该车方向盘从最左位置转到最右位置所经历的角度;将车道信息l按道路信息转换成0.25、0.5、0.75中的数值。
8.根据权利要求6所述的一种换道决策方法,其特征在于,所述步骤4)的递归图生成算法具体如下:
中每一项数据为时间序列(x1,x2,…,xn),将其进行相空间重构,从中提取到的轨迹为:
其中:m是轨迹的维数,τ是时延,设为60s,递归图R是轨迹之间的成对距离,计算如下:
其中:θ为Heaviside函数,ε为阈值;
如果Ri,j=1,则递归图在图片坐标(i,j)处放置一个有色点,反之为白色,将i、j值从1至n-(m-1)τ遍历即可得到一组数据对应的图像;
将每组数据对应RGB图像中的一个信号通道,由于递归图沿对角线对称,因此可以将重复的部分删除,一张图片可以使用6组数据,多余的数据再生成图片并与原图片进行拼接;从数据中提取维度m与时间延迟τ,将参数矩阵转换成图像Pj,实现将数据流转换成递归图。
9.根据权利要求6所述的一种换道决策方法,其特征在于,所述步骤6)中,决策成本函数K使用行驶参数作为输入,包括行驶速度u、与周围车辆的距离di、自车行驶的车道线li、偏航角θ、与前车的碰撞时间TTC,以及周围车辆的速度加速度/>车道线信息/>决策成本函数K为当前换道的成本,包括四个方面:出行效率、车辆加速度、速度增益以及行驶安全性;
K=jpeKpe+jvaKva+jsgKsg+jdsKds
其中K为总的决策成本函数,Kpe、Kva、Ksg、Kds分别代表出行效率、车辆加速度、速度增益和驾驶安全的成本函数,jpe、jva、jsg、jds是四个单一的成本函数在总体成本中的权重系数;
行驶效率成本函数与速度有关,体现在自车、前车以及道路限速中:
式中,v为决策时自车车速,vmax为道路的最高限速,vl是前车车速;
车辆加速度值只与自车的横向和纵向加速度相关联,通过引入θ系数调整:
Kva=θax 2+(1-θ)ay 2
速度增益值成本函数的主要印象因素为目标车道前车车速以及当前道路允许的最大车速值:
Ksg=(v-vtar)2,vtar=min(vmax,vtar-l)
vtar-l为换到目标车道的前车车速,若没有前车则为无限大的数值;
行驶安全成本函数涉及的换道之前的TTC计算如下:
Kds=(TTC-TTClim)2
式中,TTClim为结合当前自车与前车车速、距离以及道路附着情况下的最小阈值;
针对自车的不同驾驶风格类型,匹配上不同的权重系数,使得决策出的结果有不同的偏向性,体现出不同的驾驶风格。
CN202111432080.4A 2021-11-29 2021-11-29 一种基于递归图和卷积神经网络的驾驶风格识别模型、换道决策模型及决策方法 Active CN114043989B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111432080.4A CN114043989B (zh) 2021-11-29 2021-11-29 一种基于递归图和卷积神经网络的驾驶风格识别模型、换道决策模型及决策方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111432080.4A CN114043989B (zh) 2021-11-29 2021-11-29 一种基于递归图和卷积神经网络的驾驶风格识别模型、换道决策模型及决策方法

Publications (2)

Publication Number Publication Date
CN114043989A CN114043989A (zh) 2022-02-15
CN114043989B true CN114043989B (zh) 2024-06-07

Family

ID=80211485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111432080.4A Active CN114043989B (zh) 2021-11-29 2021-11-29 一种基于递归图和卷积神经网络的驾驶风格识别模型、换道决策模型及决策方法

Country Status (1)

Country Link
CN (1) CN114043989B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115476884A (zh) * 2022-10-31 2022-12-16 重庆长安汽车股份有限公司 一种自动驾驶中横向偏移方法及装置、电子设备、存储介质
CN115630232B (zh) * 2022-11-22 2023-08-18 江苏博宇鑫信息科技股份有限公司 基于图神经网络的最优车道推荐方法
CN117207976B (zh) * 2023-09-25 2024-08-06 赛力斯汽车有限公司 一种基于驾驶风格的换道方法、装置及存储介质
CN118238847B (zh) * 2024-03-25 2024-08-30 安徽大学 一种自适应不同驾驶风格和路面环境的自主换道决策规划方法和系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106641227A (zh) * 2017-01-19 2017-05-10 西华大学 一种适用于换挡规律多性能综合优化的驾驶意图识别方法
CN110164183A (zh) * 2019-05-17 2019-08-23 武汉理工大学 一种在车车通信条件下考虑他车驾驶意图的安全辅助驾驶预警方法
CN111247565A (zh) * 2017-09-06 2020-06-05 瑞士再保险有限公司 用于移动远程信息处理装置的电子日志记录和跟踪识别系统及其对应方法
CN111931905A (zh) * 2020-07-13 2020-11-13 江苏大学 一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法
CN112347567A (zh) * 2020-11-27 2021-02-09 青岛莱吉传动系统科技有限公司 一种车辆意图和轨迹预测的方法
CN112907967A (zh) * 2021-01-29 2021-06-04 吉林大学 一种基于不完全信息博弈的智能车换道决策方法
CN113291308A (zh) * 2021-06-02 2021-08-24 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种考虑驾驶行为特性的车辆自学习换道决策系统及方法
CN113511204A (zh) * 2020-03-27 2021-10-19 华为技术有限公司 一种车辆换道行为识别方法及相关设备
CN113591780A (zh) * 2021-08-11 2021-11-02 山东大学 一种驾驶员行车风险鉴定方法及系统
CN113657036A (zh) * 2021-08-17 2021-11-16 上海交通大学 基于神经网络和物理模型的车辆动力学模拟实现方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106641227A (zh) * 2017-01-19 2017-05-10 西华大学 一种适用于换挡规律多性能综合优化的驾驶意图识别方法
CN111247565A (zh) * 2017-09-06 2020-06-05 瑞士再保险有限公司 用于移动远程信息处理装置的电子日志记录和跟踪识别系统及其对应方法
CN110164183A (zh) * 2019-05-17 2019-08-23 武汉理工大学 一种在车车通信条件下考虑他车驾驶意图的安全辅助驾驶预警方法
CN113511204A (zh) * 2020-03-27 2021-10-19 华为技术有限公司 一种车辆换道行为识别方法及相关设备
CN111931905A (zh) * 2020-07-13 2020-11-13 江苏大学 一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法
CN112347567A (zh) * 2020-11-27 2021-02-09 青岛莱吉传动系统科技有限公司 一种车辆意图和轨迹预测的方法
CN112907967A (zh) * 2021-01-29 2021-06-04 吉林大学 一种基于不完全信息博弈的智能车换道决策方法
CN113291308A (zh) * 2021-06-02 2021-08-24 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种考虑驾驶行为特性的车辆自学习换道决策系统及方法
CN113591780A (zh) * 2021-08-11 2021-11-02 山东大学 一种驾驶员行车风险鉴定方法及系统
CN113657036A (zh) * 2021-08-17 2021-11-16 上海交通大学 基于神经网络和物理模型的车辆动力学模拟实现方法

Also Published As

Publication number Publication date
CN114043989A (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
CN114043989B (zh) 一种基于递归图和卷积神经网络的驾驶风格识别模型、换道决策模型及决策方法
CN105892471B (zh) 汽车自动驾驶方法和装置
CN110356412B (zh) 用于自主驾驶的自动规则学习的方法和设备
WO2019213983A1 (zh) 行车风险辨识模型的标定方法和系统
CN110991377B (zh) 一种基于单目视觉神经网络的汽车安全辅助系统前方目标识别方法
CN112507862A (zh) 基于多任务卷积神经网络的车辆朝向检测方法及系统
CN112417973A (zh) 一种基于车联网的无人驾驶系统
EP4257443A1 (en) Method and system for automatic driving data collection and closed-loop management
CN115451987A (zh) 一种自动驾驶汽车的路径规划学习方法
CN117152715A (zh) 一种基于改进yolop的全景驾驶感知系统及方法
WO2022147785A1 (zh) 车辆驾驶场景识别方法及装置
CN113954855A (zh) 一种汽车驾驶模式自适应匹配方法
CN114120270A (zh) 一种基于注意力和采样学习的点云目标检测方法
CN113870246A (zh) 一种基于深度学习的障碍物探测和识别方法
CN113306558A (zh) 一种基于换道交互意图的换道决策方法及系统
CN115668285A (zh) 信息处理装置、信息处理方法、信息处理系统及程序
CN112509321A (zh) 一种基于无人机的城市复杂交通情景的驾驶控制方法、系统及可读存储介质
CN117755336A (zh) 基于大模型的车辆自动驾驶方法及系统
CN113859257B (zh) 基于灰色熵权和侧向椭圆阈的周围车辆驾驶意图识别方法
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质
CN115223144A (zh) 一种基于云端数据的无人驾驶矿车传感器数据筛选方法及装置
CN116022134A (zh) 一种车辆低速紧急制动方法、系统、电子设备及存储介质
CN115129886A (zh) 驾驶场景的识别方法、装置及车辆
CN112977477B (zh) 一种基于神经网络的混合车车协同汇流系统和方法
JP2011214961A (ja) 基準パターン情報生成装置、方法、プログラムおよび一般車両位置特定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant