CN110509983B - 一种适用于不同驾驶需求的线控转向路感反馈装置 - Google Patents
一种适用于不同驾驶需求的线控转向路感反馈装置 Download PDFInfo
- Publication number
- CN110509983B CN110509983B CN201910904411.6A CN201910904411A CN110509983B CN 110509983 B CN110509983 B CN 110509983B CN 201910904411 A CN201910904411 A CN 201910904411A CN 110509983 B CN110509983 B CN 110509983B
- Authority
- CN
- China
- Prior art keywords
- driver
- information
- road feel
- demand
- abnormal state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000002159 abnormal effect Effects 0.000 claims abstract description 112
- 238000013528 artificial neural network Methods 0.000 claims abstract description 88
- 230000000391 smoking effect Effects 0.000 claims abstract description 13
- 230000005540 biological transmission Effects 0.000 claims description 43
- 230000008451 emotion Effects 0.000 claims description 40
- 238000004364 calculation method Methods 0.000 claims description 34
- 238000012360 testing method Methods 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 25
- 230000006399 behavior Effects 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 15
- 210000003205 muscle Anatomy 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 230000001133 acceleration Effects 0.000 claims description 9
- 230000001815 facial effect Effects 0.000 claims description 6
- 210000003128 head Anatomy 0.000 claims description 6
- 230000005236 sound signal Effects 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000000994 depressogenic effect Effects 0.000 claims description 5
- 239000000779 smoke Substances 0.000 claims description 4
- 230000003111 delayed effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 230000036651 mood Effects 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 description 12
- 206010016256 fatigue Diseases 0.000 description 10
- 230000006870 function Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006386 memory function Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003867 tiredness Effects 0.000 description 1
- 208000016255 tiredness Diseases 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D5/00—Power-assisted or power-driven steering
- B62D5/04—Power-assisted or power-driven steering electrical, e.g. using an electric servo-motor connected to, or forming part of, the steering gear
- B62D5/0457—Power-assisted or power-driven steering electrical, e.g. using an electric servo-motor connected to, or forming part of, the steering gear characterised by control features of the drive means as such
- B62D5/046—Controlling the motor
Landscapes
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
一种适用于不同驾驶需求的线控转向路感反馈装置,利用传感器感知驾驶员信息和道路信息,并通过多个神经网络辨识驾驶员对路感反馈力矩的需求,再结合驾驶员指令信息和车辆状态信息利用神经网络即时计算符合驾驶员需求的路感反馈力矩,最后通过控制路感电机实现路感反馈。本装置还有驾驶员异常状态提醒干预功能,通过传感器对驾驶员进行监视,利用神经网络对使用手机、抽烟、疲劳和分心异常状态进行辨识,并在不影响安全的前提下通过路感反馈和声音的形式对驾驶员异常状态进行干预,使驾驶员脱离异常状态。
Description
技术领域
本专利涉及汽车线控转向领域,具体涉及一种适用于不同驾驶需求的线控转向路感反馈装置。
背景技术
随着汽车向智能化、电动化的方向发展,线控转向因为有较高控制自由度和容易与其他智能控制系统集成,被视为转向方式的未来方向。在线控转向系统中,转向车轮与方向盘之间没有机械连接,方向盘上的路感反馈力矩需要通过与之连接的路感电机提供。而方向盘路感反馈力矩包含轮胎与路面的接触信息和车辆运动状态信息,是驾驶员做出正确操作的重要根据。为驾驶员提供能满足其需求的路感反馈力矩是线控系统的关键问题。
现有的线控转向路感反馈装置中,路感反馈力矩大小只取决于车辆工况和方向盘转角。驾驶员的生理特征各不相同,对路感反馈力矩的需求也各不相同。对力量较大的驾驶员,如果路感反馈力矩过小,驾驶员会感觉“发飘”,失去对路面信息的很好掌握;对力量较小的驾驶员,如果路感反馈力矩过大,驾驶员会感觉方向盘过于沉重,容易产生疲劳。现有线控转向路感反馈装置无法适应不同驾驶员的需求。
发明内容
为了解决现有技术中存在的问题,本发明提出一种适用于不同驾驶需求的线控转向路感反馈装置。
本发明解决其技术问题所采用的技术方案和其有益效果是:
一种适用于不同驾驶需求的线控转向路感反馈装置,包括多传感器采集传输系统、驾驶员身份辨识系统、驾驶员特征辨识系统、驾驶员需求辨识系统、驾驶员信息存储管理系统、路感计算系统、路感执行系统、驾驶员异常状态辨识系统和驾驶员异常状态提醒干预系统;
所述多传感器采集传输系统用于获取驾驶员状态信息、线控指令信息、车辆状态信息和道路类型信息,并输出给所述驾驶员身份辨识系统、驾驶员特征辨识系统、驾驶员需求辨识系统、驾驶员信息存储管理系统和驾驶员异常状态辨识系统;
所述驾驶员身份辨识系统用于判断所述多传感器采集传输系统输出的驾驶员状态信息和所述驾驶员信息存储管理系统输出的驾驶员状态信息是否匹配;
所述驾驶员特征辨识系统用于根据所述驾驶员状态信息来辨识驾驶员生理特征信息和驾驶员行为信息,并将所述驾驶员生理特征信息输出给驾驶员需求辨识系统,将所述和驾驶员行为信息输出给驾驶员异常状态辨识系统;
所述驾驶员需求辨识系统用于根据所述驾驶员生理特征信息和道路类型信息来辨识驾驶员需求信息,并将所述驾驶员需求信息输出给路感计算系统和驾驶员信息存储管理系统;
所述驾驶员信息存储管理系统用于存储所述驾驶员状态信息和驾驶员需求信息,并管理所述多传感器采集传输系统、驾驶员身份辨识系统、驾驶员特征辨识系统和驾驶员需求辨识系统;
所述路感计算系统用于根据所述驾驶员需求信息、线控指令信息、车辆状态信息和驾驶员异常状态计算得出作用于方向盘上的目标反馈力矩值,并输出给路感执行系统;
所述路感执行系统用于根据所述目标反馈力矩值和驾驶员异常状态在方向盘上作用路感反馈力矩;
所述驾驶员异常状态辨识系统用于根据驾驶员行为信息、线控指令信息和车辆状态信息辨识驾驶员异常状态,为所述驾驶员异常状态提醒干预系统提供驾驶员异常状态信息;
所述驾驶员异常状态提醒干预系统用于在进入驾驶员异常状态时,控制所述路感计算系统和路感执行系统发出路感信号,控制车载扬声器发出声音信号,通过所述路感信号和声音信号对驾驶员异常状态进行干预;
所述多传感器采集传输系统包括图像传感器、驾驶员体重信息传感器组、方向盘指纹传感器、方向盘转角和转矩传感器、INS/GPS系统和云端地图系统;
所述图像传感器,用于获得驾驶员图像信息和驾驶员虹膜信息,并用于监控驾驶员异常状态;
所述驾驶员体重信息传感器组,包括椅背压力传感器、坐垫压力传感器和驾驶舱地面压力传感器,所述三个压力传感器分别布置于椅背中心下方、坐垫中心下方和驾驶舱地面下方,用于获得驾驶员的体重信息,所述体重信息的计算公式是:
所述方向盘转角和转矩传感器,用于获得汽车线控指令信息,包括方向盘转角信息、方向盘转速信息和方向盘转矩信息;
所述INS/GPS系统,安装在汽车质心位置,用于测量车辆状态信息,所述车辆状态信息包括汽车车速信息、横摆角速度信息、侧向加速度信息、纵向俯仰角信息、侧向俯仰角信息和车辆地理位置信息;
所述车辆地理位置信息包括车辆所处地理位置的经纬度信息和高度信息;
所述云端地图系统用于在云端地图上查询所述车辆地理位置信息,获得道路类型信息;
所述道路类型信息取值范围包括城市道路、高速公路和除高速公路以外的公路。
所述驾驶员身份辨识系统包括面部识别模块、虹膜识别模块和指纹识别模块,所述面部识别模块用于对比当前从多传感器采集传输系统获取的驾驶员图像信息、驾驶员虹膜信息与驾驶员信息存储管理系统中存在的驾驶员图像信息,判断当前从多传感器采集传输系统获取的驾驶员图像信息、驾驶员虹膜信息与驾驶员信息存储管理系统中存在的驾驶员图像信息、驾驶员虹膜信息是否匹配;所述指纹识别模块用于对比当前从多传感器采集传输系统获取的驾驶员指纹信息与驾驶员信息存储管理系统中存在的驾驶员指纹信息,判断当前从多传感器采集传输系统获取的驾驶员指纹信息与驾驶员信息存储管理系统中存在的驾驶员指纹信息是否匹配;若所述面部识别系统、虹膜识别模块和指纹识别系统都得出匹配的结论,且匹配的驾驶员图像信息、驾驶员虹膜信息和匹配的驾驶员指纹信息在所述驾驶员信息存储管理系统中属于同一组,则输出匹配信息到所述驾驶员信息存储管理系统。
使用面部识别模块、虹膜识别模块和指纹识别模块共同辨识驾驶员身份的有益效果是,可以防止单特征辨识驾驶员身份被干扰,能更好地识别驾驶员。
所述驾驶员特征辨识系统包括特征辨识神经网络;
所述特征辨识神经网络是部分共享多任务卷积神经网络,其中包括10个专用网络和1个共享网络,特征辨识神经网络在使用前提前训练,用于输入所述驾驶员图像信息,输出驾驶员生理特征信息,包括性别信息、年龄信息、种族信息和肌肉强度信息,以及输出驾驶员行为信息,包括是否使用手机、是否抽烟、情绪信息、是否闭眼、头部朝向、注视点水平坐标和注视点垂直坐标;所述注视点水平坐标和注视点垂直坐标的识别属于同一个任务专用网络;
使用部分共享多任务卷积神经网络的有益效果是,这种神经网络以卷积神经网络为基础,对图像信息的分析能力强,数个专用网络和一个共享网络互相共享信息,体现了神经网络可迁移的特征,有利于多任务的条件下简化神经网络和加速学习。
所述情绪信息取值范围包括“平静”、“轻松”、“快乐”、“紧张”、“愤怒”和“沮丧”。
所述驾驶员需求辨识系统包括需求辨识神经网络;
所述需求辨识神经网络用于根据所述性别信息、年龄信息、种族信息、肌肉强度信息和体重信息输出驾驶员需求信息;
所述驾驶员需求信息是一个常数,取值范围从-1到1,数值越大代表驾驶员所需要的路感反馈力矩越小;数值越小代表驾驶员所需要路感反馈力矩越大;
需求信息取值范围从-1到1的有益效果是,在之后的神经网络训练中,为了把不同的特征的数量级统一,要将所有数据归一化,归一化的方法就是把不同的特征的值都映射到-1到1的区间内,这样在梯度下降等训练方法中,对各个特征的训练速度相似,训练速度快,把需求信息取值范围设定在-1到1之间相当于提前把数据归一化,简化了数据处理。
所述需求辨识神经网络是三层的误差逆向传播神经网络;
使用神经网络来辨识驾驶员需求信息的有益效果是,所述性别信息、年龄信息、种族信息、肌肉强度信息、体重信息和道路类型信息对驾驶员需求信息的影响都不是线性的,而且不同因素互相影响,神经网络可以很好地拟合这种非线性的关系。
所述需求辨识神经网络的训练通过需求辨识实车试验完成,所述需求辨识实车试验的试验平台的搭建方法是,基于助力大小可调的电子助力转向车辆,在所述电子助力转向车辆上安装好所述多传感器采集传输系统,将试验平台的电子助力从关闭到全开平均分成21档,对应驾驶员需求信息值从-1到1平均分为21档,每档驾驶员需求信息分别为:-1,-0.9,-0.8,-0.7,-0.6,-0.5,-0.4,-0.3,-0.2,-0.1,0,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1,助力大小设置与所述驾驶员需求信息的大小一一对应,驾驶员需求信息为-1时电子助力关闭,驾驶员需求信息为1时电子助力全开,在每一档设置下,令不同性别信息、年龄信息、种族信息、肌肉强度信息和体重信息的驾驶员驾驶所述实验平台,在城市道路、高速公路和除高速公路以外的公路进行正常驾驶,然后驾驶员通过主观评分分别选择在城市道路、高速公路和除高速公路以外的公路驾驶时最符合需求的助力大小设置,即驾驶员需求信息取值,使用多组有性别信息、年龄信息、种族信息、肌肉强度信息、体重信息和道路类型信息作为输入标签以及驾驶员需求信息值作为输出标签的数据完成需求辨识神经网络的训练。
将需求信息平均分成21档的有益效果是,驾驶员需求信息不为无限循环小数,方便记录。
在不同类型道路进行实验的有益效果是,有利于驾驶员更好地感受不同道路类型和不同路感力矩大小下的感受,有利于驾驶员完成对不同道路类型下不同大小路感力矩的主观评分。
所述驾驶员信息存储管理系统包括驾驶员信息数据库模块和驾驶员信息管理模块;
所述驾驶员信息数据库模块用于存储所述驾驶员图像信息、驾驶员虹膜信息、驾驶员指纹信息和驾驶员需求信息,信息按照结构化的方法存储,同一个驾驶员的所述驾驶员图像信息、驾驶员虹膜信息、驾驶员指纹信息和驾驶员需求信息存储为一组;
所述驾驶员信息管理模块用于控制所述多传感器采集传输系统、驾驶员身份辨识系统、驾驶员特征辨识系统和驾驶员需求辨识系统的工作和信息存储,工作步骤是,
首先,在驾驶员启动汽车后的5秒内,从所述多传感器采集传输系统获取驾驶员图像信息、驾驶员虹膜信息和驾驶员指纹信息;
然后,所述驾驶员身份辨识系统工作,对比当前获取的驾驶员图像信息、驾驶员虹膜信息和驾驶员指纹信息与驾驶员信息数据库模块中存在的驾驶员图像信息、驾驶员虹膜信息和驾驶员指纹信息,若收到所述驾驶员身份辨识系统输出的所述匹配信息,则将当前获取的驾驶员图像信息、驾驶员虹膜信息和驾驶员指纹信息保存在驾驶员信息数据库模块中,并覆盖原本保存的同一驾驶员的驾驶员图像信息、驾驶员虹膜信息和驾驶员指纹信息,此时,若当前驾驶员的驾驶员需求信息未经过更改的时间超过60日,则启动所述驾驶员需求辨识系统,输出驾驶员需求信息,然后保存在驾驶员信息数据库模块中,覆盖原本保存的同一驾驶员的驾驶员需求信息,并输出到所述路感计算系统,若当前驾驶员的驾驶员需求信息未经过更改的时间未超过60日,则把驾驶员信息数据库模块中保存的驾驶员需求信息输出到所述路感计算系统;
上述每一次驾驶车辆覆盖驾驶员图像信息和驾驶员指纹信息,每60日覆盖更新一次驾驶员需求信息的有益效果是,驾驶员的外观总是在变化的,常更新信息可以令保存的驾驶员图像信息、驾驶员虹膜信息和驾驶员指纹信息始终与驾驶员近期的状态类似,防止驾驶员的外观与原本保存的内容差别越来越大,影响识别。60日覆盖更新一次驾驶员需求信息,可以在驾驶员的需求发生缓慢变化时,令保存的驾驶员需求信息可以更好地随驾驶员的实际需求的变化而发生改变。
最后,若当前驾驶员与驾驶员信息数据库模块中存在的每一驾驶员都不匹配,则把当前获取的驾驶员图像信息、驾驶员虹膜信息和驾驶员指纹信息保存在驾驶员信息数据库模块中,并启动所述驾驶员需求辨识系统输出驾驶员需求信息,保存在驾驶员信息数据库模块中,并输出到所述路感计算系统。
进行数据库的记录和驾驶员身份的辨识的有益效果是,对同一驾驶员无需时刻启动驾驶员需求辨识系统,防止驾驶员需求信息在正常驾驶过程中变化,导致路感突变。
所述路感计算系统包括路感拟合神经网络;所述路感拟合神经网络是三层的带外部输入的动态非线性自回归神经网络,所述路感拟合神经网络是加上输入和输出的反馈的误差反向传播神经网络,输入变量和输出变量经过延迟1倍采样周期、2倍采样周期和3倍采样周期后输入所述路感拟合神经网络进行计算,得出当前时刻的输出变量;输入变量和输出变量的关系公式是,
y(t)=f(y(t-T),y(t-2T),y(t-3T),u(t-T),u(t-2T),u(t-3T))
其中y是所述输出变量,f是所述路感拟合神经网络对输入变量和输出变量的非线性映射关系,t是时间变量,T是采样周期,u是所述输入变量;
所述输入变量包括所述驾驶员需求信息,线控指令信息包括方向盘转角信息、方向盘转速信息和方向盘转矩信息,车辆状态信息包括汽车车速信息、汽车横摆角速度信息、汽车侧向加速度信息、纵向俯仰角信息和侧向俯仰角信息,所述输出变量是目标反馈力矩值;
使用带外部输入的动态非线性自回归神经网络的有益效果是,把输入变量和输出变量经过延迟1倍采样周期、2倍采样周期和3倍采样周期后输入所述路感拟合神经网络进行计算,相当于把输入变量和输出变量和其一阶导数、二阶导数输入神经网络进行计算,所以这种网络有一定的记忆功能,而且可以辨识所述线控指令信息和车辆状态信息的动态变化趋势,对车辆这种非线性的模型有可以很好地模拟,有利于路感拟合的真实性。
路感拟合神经网络的训练通过进行路感拟合实车试验完成,所述路感拟合实车试验使用所述需求辨识实车试验使用的所述试验平台,在每一档电子助力设置下,令实验员在试验场地内驾驶所述实验平台,在城市道路、高速公路和除高速公路以外的公路进行正常驾驶,过程中采集车速信息、方向盘转角信息、方向盘转速信息、方向盘转矩信息、横摆角速度信息、侧向加速度信息、纵向俯仰角信息、侧向俯仰角信息和驾驶员需求信息值作为输入标签以及对应时刻的路感反馈力矩作为输出标签的数据,对路感拟合神经网络进行训练。
在不同类型道路进行实验的有益效果是,可以很好地模仿所述驾驶平台在各种车速和路况下进行转弯和换道的情况,有利于神经网络对各种工况下路感的拟合。
所述驾驶员异常状态包括使用手机和抽烟异常状态、疲劳和分心异常状态和负面情绪异常状态。
所述使用手机和抽烟异常状态的辨识方法是,根据所述驾驶员特征辨识系统输出的所述驾驶员行为信息中的是否使用手机和是否抽烟进行辨识;
所述疲劳和分心异常状态的辨识方法是,使用提前训练完成的门控循环单元神经网络进行辨识,所述门控循环单元神经网络由门控循环单元连接而成,将方向盘转角、方向盘转速、横摆角速度、头部朝向、注视点水平坐标、注视点垂直坐标和是否闭眼这几个参数一起按时间顺序输入所述门控循环单元神经网络,每个门控循环单元的输入与输出关系公式是,
ft=sigm(Wf[ht-1,xt]+bf)
it=sigm(Wi[ht-1,xt]+bi)
Ct=tanh(WC[it*ht-1,xt]+bc)
ht=(1-ft)*ht-1+ft*Ct
其中ft、it和Ct是临时变量,sigm()是sigmoid函数,tanh()是双曲正切函数,W是权重值,b是偏置值,x是门控循环单元的输入参数,h是门控循环单元的输出参数,下标t代表当前时刻,t-1代表上一时刻,[]表示两个向量相连,*表示矩阵的乘积;
所述门控循环单元神经网络中的每个门控循环单元进行计算和输出传递,输出驾驶员是否处于疲劳异常状态和分心异常状态;
使用门控循环单元神经网络的有益效果是,这种神经网络有记忆功能,可以通过一段时间内驾驶员行为信息的变化来判断驾驶员是否疲劳和分心,而不是通过某一帧图像信息来判断,这种神经网络对时间序列信息的处理能力很强,对驾驶员疲劳和分心的异常状态辨识能力强。
所述负面情绪异常状态的辨识方法是,根据所述特征辨识神经网络输出的驾驶员行为信息中的情绪信息进行辨识,当情绪信息为“紧张”超过5秒,或情绪信息为“愤怒”或“沮丧”超过10秒时,判定驾驶员进入负面情绪异常状态,此后情绪信息不为“紧张”超过5秒,或情绪信息不为“愤怒”或“沮丧”超过10秒时,判定驾驶员脱离负面情绪异常状态。
所述驾驶员异常状态提醒干预系统接收到驾驶员处于所述使用手机、抽烟、疲劳和分心异常状态时,暂时切断方向盘通过线控转向系统对车轮的控制,暂时停止所述路感执行系统根据所述目标反馈力矩值作用路感反馈力矩,并控制所述路感执行系统带动方向盘振动从而提醒驾驶员方向盘振动频率为5Hz,振动幅度为由0°增大到5°再减小到0°,振幅的变化公式如下,
其中A为方向盘振幅,单位为°,t为时间,单位为秒,振动波形为三角形波,同时通过车载扬声器播放语音提示提醒驾驶员,振动1秒之后停止振动,恢复方向盘通过线控转向系统对车轮的控制,恢复所述路感执行系统根据所述目标反馈力矩值作用路感反馈力矩,并暂停检测异常状态10秒;
暂停检测异常状态10秒的有益效果是,防止短时间内重复检测异常状态使方向盘反复振动,驾驶员失去对方向的控制;
所述驾驶员异常状态提醒干预系统接收到驾驶员进入所述负面情绪异常状态时,修改所述路感计算系统中使用的驾驶员需求信息,将所述驾驶员需求信息增大0.2,且最大增加到1,当驾驶员脱离负面情绪异常状态,使驾驶员需求信息恢复到增大之前。
在负面情绪异常状态时将驾驶员需求信息增大0.2的有益效果是,可以降低路感反馈力矩的大小,减小方向盘对驾驶员手的冲击,缓和驾驶员紧张、愤怒和沮丧的情绪。
本发明的有益效果是:
利用传感器感知驾驶员信息和道路类型信息,并通过多个神经网络辨识驾驶员对路感反馈力矩的需求,再结合驾驶员指令信息和车辆状态信息利用神经网络即时计算符合驾驶员需求的路感反馈力矩,最后通过控制路感电机实现路感反馈。实现了自动完成适合不同驾驶员在不同道路上行驶所需求的线控系统路感反馈。
本发明还有异常状态提醒功能,通过传感器对驾驶员进行监视,利用神经网络对使用手机和抽烟异常状态、疲劳异常状态、分心异常状态和负面情绪异常状态进行辨识,并在不影响安全的前提下通过路感反馈和声音的形式对驾驶员异常状态进行干预,使驾驶员脱离异常状态。
附图说明
下面结合附图和实施例对本专利进一步说明:
图1为本发明线控转向路感反馈装置的示意图。
具体实施方式
【实施例1】
包括多传感器采集传输系统、驾驶员身份辨识系统、驾驶员特征辨识系统、驾驶员需求辨识系统、驾驶员信息存储管理系统、路感计算系统、路感执行系统、驾驶员异常状态辨识系统和驾驶员异常状态提醒干预系统;
所述多传感器采集传输系统用于获取驾驶员状态信息、线控指令信息、车辆状态信息和道路类型信息,并输出给所述驾驶员身份辨识系统、驾驶员特征辨识系统、驾驶员需求辨识系统、驾驶员信息存储管理系统和驾驶员异常状态辨识系统;
所述驾驶员身份辨识系统用于判断所述多传感器采集传输系统输出的驾驶员状态信息和所述驾驶员信息存储管理系统输出的驾驶员状态信息是否匹配;
所述驾驶员特征辨识系统用于根据所述驾驶员状态信息来辨识驾驶员生理特征信息和驾驶员行为信息,并将所述驾驶员生理特征信息输出给驾驶员需求辨识系统,将所述和驾驶员行为信息输出给驾驶员异常状态辨识系统;
所述驾驶员需求辨识系统用于根据所述驾驶员生理特征信息和道路类型信息来辨识驾驶员需求信息,并将所述驾驶员需求信息输出给路感计算系统和驾驶员信息存储管理系统;
所述驾驶员信息存储管理系统用于存储所述驾驶员状态信息和驾驶员需求信息,并管理所述多传感器采集传输系统、驾驶员身份辨识系统、驾驶员特征辨识系统和驾驶员需求辨识系统;
所述路感计算系统用于根据所述驾驶员需求信息、线控指令信息、车辆状态信息和驾驶员异常状态计算得出作用于方向盘上的目标反馈力矩值,并输出给路感执行系统;
所述路感执行系统用于根据所述目标反馈力矩值和驾驶员异常状态在方向盘上作用路感反馈力矩;
所述驾驶员异常状态辨识系统用于根据驾驶员行为信息、线控指令信息和车辆状态信息辨识驾驶员异常状态,为所述驾驶员异常状态提醒干预系统提供驾驶员异常状态信息;
所述驾驶员异常状态提醒干预系统用于在进入驾驶员异常状态时,控制所述路感计算系统和路感执行系统发出路感信号,控制车载扬声器发出声音信号,通过所述路感信号和声音信号对驾驶员异常状态进行干预;
所述驾驶员状态信息包括驾驶员图像信息、驾驶员虹膜信息、驾驶员体重信息和驾驶员指纹信息。
所述多传感器采集传输系统包括图像传感器、驾驶员体重信息传感器组、方向盘指纹传感器、方向盘转角和转矩传感器、INS/GPS系统和云端地图系统;
所述图像传感器,用于获得驾驶员图像信息和驾驶员虹膜信息,并用于监控驾驶员异常状态;
所述方向盘指纹传感器位于方向盘后侧,识别区域呈条状,覆盖方向盘后侧的整个圆周,用于在驾驶员以任意角度握持方向盘时识别驾驶员左手和右手的食指、中指和无名指指纹信息;
所述驾驶员体重信息传感器组,包括椅背压力传感器、坐垫压力传感器和驾驶舱地面压力传感器,所述三个压力传感器分别布置于椅背中心下方、坐垫中心下方和驾驶舱地面下方,用于获得驾驶员的体重信息,所述体重信息的计算公式是:
所述方向盘转角传感器,用于获得汽车线控指令信息,包括方向盘转角信息、方向盘转速信息和方向盘转矩信息;
所述INS/GPS系统,安装在汽车质心位置,用于测量车辆状态信息,所述车辆状态信息包括汽车车速信息、横摆角速度信息、侧向加速度信息、纵向俯仰角信息、侧向俯仰角信息和车辆地理位置信息;
所述方向盘转角和转矩传感器采用多功能方向盘转矩传感器采集方向盘转矩信息,实现方向盘转矩信息的三路输出,互为校验,同时内置计算芯片计算方向盘转矩一阶、二阶输出,保证信号的同步性和实时性;
所述车辆地理位置信息包括车辆所处地理位置的经纬度信息和高度信息;
所述云端地图系统用于在云端地图上查询所述车辆地理位置信息,获得道路类型信息;
所述道路类型信息取值范围包括城市道路、高速公路和除高速公路以外的公路。
所述驾驶员身份辨识系统包括面部识别模块、虹膜识别模块和指纹识别模块,所述面部识别模块用于对比当前从多传感器采集传输系统获取的驾驶员图像信息、驾驶员虹膜信息与驾驶员信息存储管理系统中存在的驾驶员图像信息,判断当前从多传感器采集传输系统获取的驾驶员图像信息、驾驶员虹膜信息与驾驶员信息存储管理系统中存在的驾驶员图像信息、驾驶员虹膜信息是否匹配;所述指纹识别模块用于对比当前从多传感器采集传输系统获取的驾驶员指纹信息与驾驶员信息存储管理系统中存在的驾驶员指纹信息,判断当前从多传感器采集传输系统获取的驾驶员指纹信息与驾驶员信息存储管理系统中存在的驾驶员指纹信息是否匹配;若所述面部识别系统、虹膜识别模块和指纹识别系统都得出匹配的结论,且匹配的驾驶员图像信息、驾驶员虹膜信息和匹配的驾驶员指纹信息在所述驾驶员信息存储管理系统中属于同一组,则输出匹配信息到所述驾驶员信息存储管理系统。
所述驾驶员特征辨识系统包括特征辨识神经网络;
所述特征辨识神经网络是部分共享多任务卷积神经网络,其中包括10个专用网络和1个共享网络,特征辨识神经网络在使用前提前训练,用于输入所述驾驶员图像信息,输出驾驶员生理特征信息,包括性别信息、年龄信息、种族信息和肌肉强度信息,以及输出驾驶员行为信息,包括是否使用手机、是否抽烟、情绪信息、是否闭眼、头部朝向、注视点水平坐标和注视点垂直坐标;所述注视点水平坐标和注视点垂直坐标的识别属于同一个任务专用网络;
所述情绪信息取值范围包括平静、轻松、快乐、紧张、愤怒和沮丧。
所述驾驶员需求辨识系统包括需求辨识神经网络;
所述需求辨识神经网络用于根据所述性别信息、年龄信息、种族信息、肌肉强度信息、体重信息和道路类型信息输出驾驶员需求信息;
所述驾驶员需求信息是一个常数,取值范围从-1到1,数值越大代表驾驶员所需要的路感反馈力矩越小;数值越小代表驾驶员所需要路感反馈力矩越大;
所述需求辨识神经网络是三层的误差逆向传播神经网络;
所述需求辨识神经网络的训练通过需求辨识实车试验完成,所述需求辨识实车试验的试验平台的搭建方法是,基于助力大小可调的电子助力转向车辆,并在所述电子助力转向车辆上安装好所述多传感器采集传输系统,将试验平台的电子助力从关闭到全开平均分成21档,对应驾驶员需求信息值从-1到1平均分为21档,助力大小设置与所述驾驶员需求信息的大小一一对应,驾驶员需求信息为-1时电子助力关闭,驾驶员需求信息为1时电子助力全开,在每一档设置下,令不同性别信息、年龄信息、种族信息、肌肉强度信息和体重信息的驾驶员驾驶所述实验平台,在城市道路、高速公路和除高速公路以外的公路进行正常驾驶,然后驾驶员通过主观评分分别选择在城市道路、高速公路和除高速公路以外的公路驾驶时最符合需求的助力大小设置,即驾驶员需求信息取值,使用多组有性别信息、年龄信息、种族信息、肌肉强度信息、体重信息和道路类型信息作为输入标签以及驾驶员需求信息值作为输出标签的数据完成需求辨识神经网络的训练。
所述驾驶员信息存储管理系统包括驾驶员信息数据库模块和驾驶员信息管理模块;
所述驾驶员信息数据库模块用于存储所述驾驶员图像信息、驾驶员虹膜信息、驾驶员指纹信息和驾驶员需求信息,信息按照结构化的方法存储,同一个驾驶员的所述驾驶员图像信息、驾驶员虹膜信息、驾驶员指纹信息和驾驶员需求信息存储为一组;
所述驾驶员信息管理模块用于控制所述多传感器采集传输系统、驾驶员身份辨识系统、驾驶员特征辨识系统和驾驶员需求辨识系统的工作和信息存储,工作步骤是,
首先,在驾驶员启动汽车后的5秒内,从所述多传感器采集传输系统获取驾驶员图像信息、驾驶员虹膜信息和驾驶员指纹信息;
然后,所述驾驶员身份辨识系统工作,对比当前获取的驾驶员图像信息、驾驶员虹膜信息和驾驶员指纹信息与驾驶员信息数据库模块中存在的驾驶员图像信息、驾驶员虹膜信息和驾驶员指纹信息,若收到所述驾驶员身份辨识系统输出的所述匹配信息,则将当前获取的驾驶员图像信息、驾驶员虹膜信息和驾驶员指纹信息保存在驾驶员信息数据库模块中,并覆盖原本保存的同一驾驶员的驾驶员图像信息、驾驶员虹膜信息和驾驶员指纹信息,此时,若当前驾驶员的驾驶员需求信息未经过更改的时间超过60日,则启动所述驾驶员需求辨识系统,输出驾驶员需求信息,然后保存在驾驶员信息数据库模块中,覆盖原本保存的同一驾驶员的驾驶员需求信息,并输出到所述路感计算系统,若当前驾驶员的驾驶员需求信息未经过更改的时间未超过60日,则把驾驶员信息数据库模块中保存的驾驶员需求信息输出到所述路感计算系统;
最后,若当前驾驶员与驾驶员信息数据库模块中存在的每一驾驶员都不匹配,则把当前获取的驾驶员图像信息、驾驶员虹膜信息和驾驶员指纹信息保存在驾驶员信息数据库模块中,并启动所述驾驶员需求辨识系统输出驾驶员需求信息,保存在驾驶员信息数据库模块中,并输出到所述路感计算系统。
所述路感计算系统包括路感拟合神经网络;所述路感拟合神经网络是三层的带外部输入的动态非线性自回归神经网络,所述路感拟合神经网络是加上输入和输出的反馈的误差反向传播神经网络,输入变量和输出变量经过延迟1倍采样周期、2倍采样周期和3倍采样周期后输入所述路感拟合神经网络进行计算,得出当前时刻的输出变量;输入变量和输出变量的关系公式是,
y(t)=f(y(t-T),y(t-2T),y(t-3T),u(t-T),u(t-2T),u(t-3T))
其中y是所述输出变量,f是所述路感拟合神经网络对输入变量和输出变量的非线性映射关系,t是时间变量,T是采样周期,u是所述输入变量;
所述输入变量包括所述驾驶员需求信息,线控指令信息包括方向盘转角信息、方向盘转速信息和方向盘转矩信息,车辆状态信息包括汽车车速信息、横摆角速度信息、侧向加速度信息、纵向俯仰角信息和侧向俯仰角信息,所述输出变量是目标反馈力矩值;
路感拟合神经网络的训练通过进行路感拟合实车试验完成,所述路感拟合实车试验使用所述需求辨识实车试验使用的所述试验平台,在每一档电子助力设置下,令实验员在试验场地内驾驶所述实验平台,在城市道路、高速公路和除高速公路以外的公路进行正常驾驶,过程中采集车速信息、方向盘转角信息、方向盘转速信息、方向盘转矩信息、横摆角速度信息、侧向加速度信息、纵向俯仰角信息、侧向俯仰角信息和驾驶员需求信息值作为输入标签以及对应时刻的路感反馈力矩作为输出标签的数据,对路感拟合神经网络进行训练。
所述驾驶员异常状态包括使用手机和抽烟异常状态、疲劳和分心异常状态和负面情绪异常状态;
所述使用手机和抽烟异常状态的辨识方法是,根据所述驾驶员特征辨识系统输出的所述驾驶员行为信息中的是否使用手机和是否抽烟进行辨识;
所述疲劳异常状态和分心异常状态的辨识方法是,使用提前训练完成的门控循环单元神经网络进行辨识,所述门控循环单元神经网络由门控循环单元连接而成,将方向盘转角、方向盘转速、横摆角速度、头部朝向、注视点水平坐标、注视点垂直坐标和是否闭眼这几个参数一起按时间顺序输入所述门控循环单元神经网络,每个门控循环单元的输入与输出关系公式是,
ft=sigm(Wf[ht-1,xt]+bf)
it=sigm(Wi[ht-1,xt」+bi)
Ct=tanh(WC[it*ht-1,xt]+bc)
ht=(1-ft)*ht-1+ft*Ct
其中ft、it和Ct是临时变量,sigm()是sigmoid函数,tanh()是双曲正切函数,W是权重值,b是偏置值,x是门控循环单元的输入参数,h是门控循环单元的输出参数,下标t代表当前时刻,t-1代表上一时刻,[]表示两个向量相连,*表示矩阵的乘积;
所述门控循环单元神经网络中的每个门控循环单元进行计算和输出传递,输出驾驶员是否处于疲劳和分心异常状态;
所述负面情绪异常状态的辨识方法是,根据所述特征辨识神经网络输出的驾驶员行为信息中的情绪信息进行辨识,当情绪信息为紧张超过5秒,或情绪信息为愤怒或沮丧超过10秒时,判定驾驶员进入负面情绪异常状态,此后情绪信息不为紧张超过5秒,或情绪信息不为愤怒或沮丧超过10秒时,判定驾驶员脱离负面情绪异常状态。
所述驾驶员异常状态提醒干预系统接收到驾驶员处于所述使用手机、抽烟、疲劳和分心异常状态时,暂时切断方向盘通过线控转向系统对车轮的控制,暂时停止所述路感执行系统根据所述目标反馈力矩值作用路感反馈力矩,并控制所述路感执行系统带动方向盘振动从而提醒驾驶员,方向盘振动频率为5Hz,振动幅度为由0°增大到5°再减小到0°,振幅的变化公式如下,
其中A为方向盘振幅,单位为°,t为时间,单位为秒,振动波形为三角形波,同时通过车载扬声器播放语音提示提醒驾驶员,振动1秒之后停止振动,恢复方向盘通过线控转向系统对车轮的控制,恢复所述路感执行系统根据所述目标反馈力矩值作用路感反馈力矩,并暂停检测异常状态10秒;
所述驾驶员异常状态提醒干预系统接收到驾驶员进入所述负面情绪异常状态时,修改所述路感计算系统中使用的驾驶员需求信息,将所述驾驶员需求信息增大0.2,且最大增加到1,当驾驶员脱离负面情绪异常状态,使驾驶员需求信息恢复到增大之前。
Claims (9)
1.一种适用于不同驾驶需求的线控转向路感反馈装置,其特征在于,包括多传感器采集传输系统、驾驶员身份辨识系统、驾驶员特征辨识系统、驾驶员需求辨识系统、驾驶员信息存储管理系统、路感计算系统、路感执行系统、驾驶员异常状态辨识系统和驾驶员异常状态提醒干预系统;
所述多传感器采集传输系统用于获取驾驶员状态信息、线控指令信息、车辆状态信息和道路类型信息,并输出给所述驾驶员身份辨识系统、驾驶员特征辨识系统、驾驶员需求辨识系统、驾驶员信息存储管理系统和驾驶员异常状态辨识系统;
所述驾驶员状态信息包括驾驶员图像信息、驾驶员虹膜信息、驾驶员体重信息和驾驶员指纹信息;
所述驾驶员身份辨识系统用于判断所述多传感器采集传输系统输出的所述驾驶员状态信息和所述驾驶员信息存储管理系统中存在的所述驾驶员状态信息是否匹配;
所述驾驶员特征辨识系统用于根据所述多传感器采集传输系统输出的所述驾驶员状态信息来辨识驾驶员生理特征信息和驾驶员行为信息,并将所述驾驶员生理特征信息输出给驾驶员需求辨识系统,将所述驾驶员行为信息输出给驾驶员异常状态辨识系统;
所述驾驶员需求辨识系统用于根据所述驾驶员生理特征信息和道路类型信息来辨识驾驶员需求信息,并将所述驾驶员需求信息输出给路感计算系统和驾驶员信息存储管理系统;
所述驾驶员信息存储管理系统用于存储所述多传感器采集传输系统输出的所述驾驶员状态信息和所述驾驶员需求辨识系统输出的所述驾驶员需求信息,并管理所述多传感器采集传输系统、驾驶员身份辨识系统、驾驶员特征辨识系统和驾驶员需求辨识系统;
所述路感计算系统用于根据所述驾驶员需求信息、线控指令信息、车辆状态信息和驾驶员异常状态计算得出作用于方向盘上的目标反馈力矩值,并输出给路感执行系统;
所述路感执行系统用于根据所述目标反馈力矩值和驾驶员异常状态在方向盘上作用路感反馈力矩;
所述驾驶员异常状态辨识系统用于根据驾驶员行为信息、线控指令信息和车辆状态信息辨识驾驶员异常状态,为所述驾驶员异常状态提醒干预系统提供驾驶员异常状态信息;
所述驾驶员异常状态提醒干预系统用于在进入驾驶员异常状态时,控制所述路感计算系统和路感执行系统发出路感信号,控制车载扬声器发出声音信号,通过所述路感信号和声音信号对驾驶员异常状态进行干预。
2.根据权利要求1所述的一种适用于不同驾驶需求的线控转向路感反馈装置,其特征在于,所述多传感器采集传输系统包括图像传感器、驾驶员体重信息传感器组、方向盘指纹传感器、方向盘转角和转矩传感器、INS/GPS系统和云端地图系统;
所述图像传感器,用于获得驾驶员图像信息和驾驶员虹膜信息,并用于监控驾驶员异常状态;
所述驾驶员体重信息传感器组,包括椅背压力传感器、坐垫压力传感器和驾驶舱地面压力传感器,所述椅背压力传感器、坐垫压力传感器和驾驶舱地面压力传感器分别布置于椅背中心下方、坐垫中心下方和驾驶舱地面下方,用于获得驾驶员的体重信息,所述体重信息的计算公式是:
所述方向盘转角和转矩传感器,用于获得汽车线控指令信息,包括方向盘转角信息、方向盘转速信息和方向盘转矩信息;
所述INS/GPS系统,安装在汽车质心位置,用于测量车辆状态信息,所述车辆状态信息包括汽车车速信息、横摆角速度信息、侧向加速度信息、纵向俯仰角信息、侧向俯仰角信息和车辆地理位置信息;
所述车辆地理位置信息包括车辆所处地理位置的经纬度信息和高度信息;
所述云端地图系统用于在云端地图上查询所述车辆地理位置信息,获得道路类型信息;
所述道路类型信息取值范围包括高速公路和除高速公路以外的公路。
3.根据权利要求2所述的一种适用于不同驾驶需求的线控转向路感反馈装置,其特征在于,所述驾驶员身份辨识系统包括面部识别模块、虹膜识别模块和指纹识别模块,所述面部识别模块用于对比当前从多传感器采集传输系统获取的驾驶员图像信息与驾驶员信息存储管理系统中存在的驾驶员图像信息,判断当前从多传感器采集传输系统获取的驾驶员图像信息与驾驶员信息存储管理系统中存在的驾驶员图像信息是否匹配;所述虹膜识别模块用于对比当前从多传感器采集传输系统获取的驾驶员虹膜信息与驾驶员信息存储管理系统中存在的驾驶员虹膜信息,判断当前从多传感器采集传输系统获取的驾驶员虹膜信息与驾驶员信息存储管理系统中存在的驾驶员虹膜信息是否匹配;所述指纹识别模块用于对比当前从多传感器采集传输系统获取的驾驶员指纹信息与驾驶员信息存储管理系统中存在的驾驶员指纹信息,判断当前从多传感器采集传输系统获取的驾驶员指纹信息与驾驶员信息存储管理系统中存在的驾驶员指纹信息是否匹配;若所述面部识别模块、虹膜识别模块和指纹识别模块都得出匹配的结论,且匹配的驾驶员图像信息、驾驶员虹膜信息和匹配的驾驶员指纹信息在所述驾驶员信息存储管理系统中属于同一组,则输出匹配信息到所述驾驶员信息存储管理系统。
4.根据权利要求3所述的一种适用于不同驾驶需求的线控转向路感反馈装置,其特征在于,所述驾驶员特征辨识系统包括特征辨识神经网络;
所述特征辨识神经网络是部分共享多任务卷积神经网络,其中包括10个专用网络和1个共享网络,特征辨识神经网络在使用前提前训练,用于输入所述驾驶员图像信息,输出驾驶员生理特征信息,包括性别信息、年龄信息、种族信息和肌肉强度信息,以及输出驾驶员行为信息,包括是否使用手机、是否抽烟、情绪信息、是否闭眼、头部朝向、注视点水平坐标和注视点垂直坐标;所述注视点水平坐标和注视点垂直坐标的识别属于同一个任务专用网络;
所述情绪信息取值范围包括平静、轻松、快乐、紧张、愤怒和沮丧。
5.根据权利要求4所述的一种适用于不同驾驶需求的线控转向路感反馈装置,其特征在于,所述驾驶员需求辨识系统包括需求辨识神经网络;
所述需求辨识神经网络用于根据所述性别信息、年龄信息、种族信息、肌肉强度信息、体重信息和道路类型信息输出驾驶员需求信息;
所述驾驶员需求信息是一个常数,取值范围从-1到1,数值越大代表驾驶员所需要的路感反馈力矩越小;数值越小代表驾驶员所需要路感反馈力矩越大;
所述需求辨识神经网络是三层的误差逆向传播神经网络;
所述需求辨识神经网络的训练通过需求辨识实车试验完成,所述需求辨识实车试验的试验平台的搭建方法是,基于助力大小可调的电子助力转向车辆,并在所述电子助力转向车辆上安装好所述多传感器采集传输系统,将试验平台的电子助力从关闭到全开平均分成21档,对应驾驶员需求信息值从-1到1平均分为21档,助力大小设置与所述驾驶员需求信息的大小一一对应,驾驶员需求信息为-1时电子助力关闭,驾驶员需求信息为1时电子助力全开,在每一档电子助力设置下,令不同性别信息、年龄信息、种族信息、肌肉强度信息和体重信息的驾驶员驾驶所述试验平台,在高速公路和除高速公路以外的公路进行正常驾驶,然后驾驶员通过主观评分分别选择在高速公路和除高速公路以外的公路驾驶时最符合需求的助力大小设置,即驾驶员需求信息取值,使用多组有性别信息、年龄信息、种族信息、肌肉强度信息、体重信息和道路类型信息作为输入标签以及驾驶员需求信息值作为输出标签的数据完成需求辨识神经网络的训练。
6.根据权利要求5所述的一种适用于不同驾驶需求的线控转向路感反馈装置,其特征在于,所述驾驶员信息存储管理系统包括驾驶员信息数据库模块和驾驶员信息管理模块;
所述驾驶员信息数据库模块用于存储所述驾驶员图像信息、驾驶员虹膜信息、驾驶员指纹信息和驾驶员需求信息,信息按照结构化的方法存储,同一个驾驶员的所述驾驶员图像信息、驾驶员虹膜信息、驾驶员指纹信息和驾驶员需求信息存储为一组;
所述驾驶员信息管理模块用于控制所述多传感器采集传输系统、驾驶员身份辨识系统、驾驶员特征辨识系统和驾驶员需求辨识系统的工作和信息存储,工作步骤是,
首先,在驾驶员启动汽车后的5秒内,从所述多传感器采集传输系统获取驾驶员图像信息、驾驶员虹膜信息和驾驶员指纹信息;
然后,所述驾驶员身份辨识系统工作,对比当前获取的驾驶员图像信息、驾驶员虹膜信息和驾驶员指纹信息与驾驶员信息数据库模块中存在的驾驶员图像信息、驾驶员虹膜信息和驾驶员指纹信息,若收到所述驾驶员身份辨识系统输出的所述匹配信息,则将当前获取的驾驶员图像信息、驾驶员虹膜信息和驾驶员指纹信息保存在驾驶员信息数据库模块中,并覆盖原本保存的同一驾驶员的驾驶员图像信息、驾驶员虹膜信息和驾驶员指纹信息,此时,若当前驾驶员的驾驶员需求信息未经过更改的时间超过60日,则启动所述驾驶员需求辨识系统,输出驾驶员需求信息,然后保存在驾驶员信息数据库模块中,覆盖原本保存的同一驾驶员的驾驶员需求信息,并输出到所述路感计算系统,若当前驾驶员的驾驶员需求信息未经过更改的时间未超过60日,则把驾驶员信息数据库模块中保存的驾驶员需求信息输出到所述路感计算系统;
最后,若当前驾驶员与驾驶员信息数据库模块中存在的每一驾驶员都不匹配,则把当前获取的驾驶员图像信息、驾驶员虹膜信息和驾驶员指纹信息保存在驾驶员信息数据库模块中,并启动所述驾驶员需求辨识系统输出驾驶员需求信息,保存在驾驶员信息数据库模块中,并输出到所述路感计算系统。
7.根据权利要求6所述的一种适用于不同驾驶需求的线控转向路感反馈装置,其特征在于,所述路感计算系统包括路感拟合神经网络;所述路感拟合神经网络是三层的带外部输入的动态非线性自回归神经网络,所述路感拟合神经网络是加上输入和输出的反馈的误差反向传播神经网络,输入变量和输出变量经过延迟1倍采样周期、2倍采样周期和3倍采样周期后输入所述路感拟合神经网络进行计算,得出当前时刻的输出变量;输入变量和输出变量的关系公式是,
y(t)=f(y(t-T),y(t-2T),y(t-3T),u(t-T),u(t-2T),u(t-3T))
其中y是所述输出变量,f是所述路感拟合神经网络对输入变量和输出变量的非线性映射关系,t是时间变量,T是采样周期,u是所述输入变量;
所述输入变量包括所述驾驶员需求信息,线控指令信息包括方向盘转角信息、方向盘转速信息和方向盘转矩信息,车辆状态信息包括汽车车速信息、横摆角速度信息、侧向加速度信息、纵向俯仰角信息和侧向俯仰角信息,所述输出变量是目标反馈力矩值;
路感拟合神经网络的训练通过进行路感拟合实车试验完成,所述路感拟合实车试验使用所述需求辨识实车试验使用的所述试验平台,在每一档电子助力设置下,令实验员在试验场地内驾驶所述试验平台,在高速公路和除高速公路以外的公路进行正常驾驶,过程中采集车速信息、方向盘转角信息、方向盘转速信息、方向盘转矩信息、横摆角速度信息、侧向加速度信息、纵向俯仰角信息、侧向俯仰角信息和驾驶员需求信息值作为输入标签以及对应时刻的路感反馈力矩作为输出标签的数据,对路感拟合神经网络进行训练。
8.根据权利要求7所述的一种适用于不同驾驶需求的线控转向路感反馈装置,其特征在于,所述驾驶员异常状态包括使用手机和抽烟异常状态、疲劳异常状态、分心异常状态和负面情绪异常状态;
所述使用手机和抽烟异常状态的辨识方法是,根据所述驾驶员特征辨识系统输出的所述驾驶员行为信息中的是否使用手机和是否抽烟进行辨识;
所述疲劳异常状态和分心异常状态的辨识方法是,使用提前训练完成的门控循环单元神经网络进行辨识,所述门控循环单元神经网络由门控循环单元连接而成,将方向盘转角、方向盘转速、横摆角速度、头部朝向、注视点水平坐标、注视点垂直坐标和是否闭眼这几个参数一起按时间顺序输入所述门控循环单元神经网络,每个门控循环单元的输入与输出关系公式是,
ft=sigm(Wf[ht-1,xt]+bf)
it=sigm(Wi[ht-1,xt]+bi)
Ct=tanh(WC[it*ht-1,xt]+bc)
ht=(1-ft)*ht-1+ft*Ct
其中ft、it和Ct是临时变量,sigm( )是sigmoid函数,tanh( )是双曲正切函数,Wf、Wi、WC是权重值,bf、bi、bc是偏置值,x是门控循环单元的输入参数,h是门控循环单元的输出参数,下标t代表当前时刻,t-1代表上一时刻,[]表示两个向量相连,*表示矩阵的乘积;
所述门控循环单元神经网络中的每个门控循环单元进行计算和输出传递,输出驾驶员是否处于疲劳异常状态和分心异常状态;
所述负面情绪异常状态的辨识方法是,根据所述特征辨识神经网络输出的驾驶员行为信息中的情绪信息进行辨识,当情绪信息为紧张超过5秒,或情绪信息为愤怒或沮丧超过10秒时,判定驾驶员进入负面情绪异常状态,此后情绪信息不为紧张超过5秒,或情绪信息不为愤怒或沮丧超过10秒时,判定驾驶员脱离负面情绪异常状态。
9.根据权利要求8所述的一种适用于不同驾驶需求的线控转向路感反馈装置,其特征在于,所述驾驶员异常状态提醒干预系统接收到驾驶员处于所述使用手机和抽烟异常状态、疲劳异常状态和分心异常状态时,暂时切断方向盘通过线控转向系统对车轮的控制,暂时停止所述路感执行系统根据所述目标反馈力矩值作用路感反馈力矩,并控制所述路感执行系统带动方向盘振动从而提醒驾驶员,方向盘振动频率为5Hz,振动幅度为由0°增大到2.5°再减小到0°,振幅的变化公式如下,
其中A为方向盘振幅,单位为°,t为时间,单位为秒,振动波形为三角形波,同时通过车载扬声器播放语音提示提醒驾驶员,振动1秒之后停止振动,恢复方向盘通过线控转向系统对车轮的控制,恢复所述路感执行系统根据所述目标反馈力矩值作用路感反馈力矩,并暂停检测异常状态10秒;
所述驾驶员异常状态提醒干预系统接收到驾驶员进入所述负面情绪异常状态时,修改所述路感计算系统中使用的驾驶员需求信息,将所述驾驶员需求信息增大0.2,且最大增加到1,当驾驶员脱离负面情绪异常状态,使驾驶员需求信息恢复到增大之前。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910904411.6A CN110509983B (zh) | 2019-09-24 | 2019-09-24 | 一种适用于不同驾驶需求的线控转向路感反馈装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910904411.6A CN110509983B (zh) | 2019-09-24 | 2019-09-24 | 一种适用于不同驾驶需求的线控转向路感反馈装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110509983A CN110509983A (zh) | 2019-11-29 |
CN110509983B true CN110509983B (zh) | 2021-07-16 |
Family
ID=68633461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910904411.6A Expired - Fee Related CN110509983B (zh) | 2019-09-24 | 2019-09-24 | 一种适用于不同驾驶需求的线控转向路感反馈装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110509983B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111661140B (zh) * | 2020-01-09 | 2021-06-11 | 吉林大学 | 一种电动助力转向系统助力特性表计算方法 |
CN112182785A (zh) * | 2020-11-03 | 2021-01-05 | 浙江天行健智能科技有限公司 | 一种基于数据驱动的汽车方向盘力感建模方法 |
CN112623027A (zh) * | 2020-12-26 | 2021-04-09 | 浙江天行健智能科技有限公司 | 一种基于bp神经网络的路感模拟方法 |
CN112528568B (zh) * | 2020-12-26 | 2021-09-24 | 浙江天行健智能科技有限公司 | 一种基于K-Means和BP神经网络的路感模拟方法 |
CN112685956B (zh) * | 2020-12-29 | 2024-02-09 | 浙江天行健智能科技有限公司 | 基于cart回归树的路感模拟方法 |
CN112749508B (zh) * | 2020-12-29 | 2024-03-05 | 浙江天行健智能科技有限公司 | 一种基于gmm和bp神经网络的路感模拟方法 |
CN112632705B (zh) * | 2020-12-29 | 2024-02-06 | 浙江天行健智能科技有限公司 | 一种基于gmm和高斯过程回归的路感模拟方法 |
CN112651134A (zh) * | 2020-12-29 | 2021-04-13 | 浙江天行健智能科技有限公司 | 基于高斯过程回归的转向路感模拟方法 |
CN112632706B (zh) * | 2020-12-29 | 2024-03-05 | 浙江天行健智能科技有限公司 | 一种基于gmm和cart回归树的路感模拟方法 |
CN113104100B (zh) * | 2021-05-27 | 2022-07-19 | 清华大学 | 一种面向节能型智能电液转向系统的控制方法和系统 |
CN115636012B (zh) * | 2022-11-15 | 2024-05-17 | 阿维塔科技(重庆)有限公司 | 一种车辆转向系统的控制方法、装置及存储介质 |
CN116088520A (zh) * | 2023-02-07 | 2023-05-09 | 睿羿科技(山东)有限公司 | 一种无人驾驶铰链车辆的精准方向控制方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101708735A (zh) * | 2009-11-17 | 2010-05-19 | 北京科技大学 | 一种基于信息融合专家系统的电动助力转向系统控制方法 |
JP4534800B2 (ja) * | 2005-03-02 | 2010-09-01 | 横浜ゴム株式会社 | 車輪操舵システムおよび操舵反力制御方法 |
KR20140117166A (ko) * | 2013-03-26 | 2014-10-07 | 주식회사 만도 | 차량의 조향 장치 및 그의 전류제어방법 |
CN105426638A (zh) * | 2015-12-24 | 2016-03-23 | 吉林大学 | 一种驾驶员行为特性辨识装置 |
CN106741137A (zh) * | 2016-12-15 | 2017-05-31 | 吉林大学 | 一种个性化的电动助力转向系统及控制方法 |
CN107223101A (zh) * | 2016-06-23 | 2017-09-29 | 驭势科技(北京)有限公司 | 车辆自动驾驶方法和车辆自动驾驶系统 |
CN108248610A (zh) * | 2018-01-15 | 2018-07-06 | 合肥工业大学 | 一种自适应分心驾驶行为的监测及干预装置 |
CN109823345A (zh) * | 2019-04-03 | 2019-05-31 | 吉林大学 | 一种基于生理信息的安全驾驶系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170217445A1 (en) * | 2016-01-29 | 2017-08-03 | GM Global Technology Operations LLC | System for intelligent passenger-vehicle interactions |
-
2019
- 2019-09-24 CN CN201910904411.6A patent/CN110509983B/zh not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4534800B2 (ja) * | 2005-03-02 | 2010-09-01 | 横浜ゴム株式会社 | 車輪操舵システムおよび操舵反力制御方法 |
CN101708735A (zh) * | 2009-11-17 | 2010-05-19 | 北京科技大学 | 一种基于信息融合专家系统的电动助力转向系统控制方法 |
KR20140117166A (ko) * | 2013-03-26 | 2014-10-07 | 주식회사 만도 | 차량의 조향 장치 및 그의 전류제어방법 |
CN105426638A (zh) * | 2015-12-24 | 2016-03-23 | 吉林大学 | 一种驾驶员行为特性辨识装置 |
CN107223101A (zh) * | 2016-06-23 | 2017-09-29 | 驭势科技(北京)有限公司 | 车辆自动驾驶方法和车辆自动驾驶系统 |
CN106741137A (zh) * | 2016-12-15 | 2017-05-31 | 吉林大学 | 一种个性化的电动助力转向系统及控制方法 |
CN108248610A (zh) * | 2018-01-15 | 2018-07-06 | 合肥工业大学 | 一种自适应分心驾驶行为的监测及干预装置 |
CN109823345A (zh) * | 2019-04-03 | 2019-05-31 | 吉林大学 | 一种基于生理信息的安全驾驶系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110509983A (zh) | 2019-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110509983B (zh) | 一种适用于不同驾驶需求的线控转向路感反馈装置 | |
Miyajima et al. | Driver modeling based on driving behavior and its evaluation in driver identification | |
CN112277955B (zh) | 辅助驾驶方法、装置、设备及存储介质 | |
Eren et al. | Estimating driving behavior by a smartphone | |
CN103714660B (zh) | 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统 | |
WO2021217572A1 (zh) | 车内用户定位方法、车载交互方法、车载装置及车辆 | |
CN106971194A (zh) | 一种基于改进hmm和svm双层算法的驾驶意图识别方法 | |
CN108563891B (zh) | 一种基于惯性测量单元智能预防交通事故的方法 | |
CN106882141B (zh) | 驾驶行为检测方法及装置 | |
CN108248610B (zh) | 一种自适应分心驾驶行为的监测及干预装置 | |
Wu et al. | Reasoning-based framework for driving safety monitoring using driving event recognition | |
Shirazi et al. | Detection of intoxicated drivers using online system identification of steering behavior | |
CN112109708B (zh) | 一种考虑驾驶行为的自适应巡航控制系统及其控制方法 | |
CN113743471B (zh) | 一种驾驶评估方法及其系统 | |
CN111717217B (zh) | 一种基于概率修正的驾驶员意图识别方法 | |
KR20210120853A (ko) | 운전자의 기술 수준 및 신뢰 수준의 자동 추정 | |
CN111341349A (zh) | 情绪推断装置、情绪推断方法、及存储介质 | |
CN107662613B (zh) | 一种基于移动群智感知的极端驾驶行为识别方法及系统 | |
CN108682119A (zh) | 基于智能手机和智能手表的驾驶员疲劳状态检测方法 | |
JP4650283B2 (ja) | 運転者適応型運転行動推定装置 | |
US20220234603A1 (en) | Vehicle Lateral-Control System with Adjustable Parameters | |
CN112991685A (zh) | 考虑驾驶人疲劳状态影响的交通系统风险评估及预警方法 | |
Miyajima et al. | Cepstral analysis of driving behavioral signals for driver identification | |
CN114735010A (zh) | 基于情绪识别的智能车辆行驶控制方法、系统及存储介质 | |
CN115743137A (zh) | 一种基于人机增强感知的驾驶情境理解方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210716 |