CN115534994A - 基于车内外协同感知的人机共驾控制权自适应切换方法 - Google Patents

基于车内外协同感知的人机共驾控制权自适应切换方法 Download PDF

Info

Publication number
CN115534994A
CN115534994A CN202211209546.9A CN202211209546A CN115534994A CN 115534994 A CN115534994 A CN 115534994A CN 202211209546 A CN202211209546 A CN 202211209546A CN 115534994 A CN115534994 A CN 115534994A
Authority
CN
China
Prior art keywords
driving
vehicle
risk
driver
automobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211209546.9A
Other languages
English (en)
Inventor
张名芳
王子茜
马健
李桂林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China University of Technology
Original Assignee
North China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China University of Technology filed Critical North China University of Technology
Priority to CN202211209546.9A priority Critical patent/CN115534994A/zh
Publication of CN115534994A publication Critical patent/CN115534994A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0051Handover processes from occupants to vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0059Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种基于车内外协同感知的人机共驾控制权自适应切换方法。该方法包括:S11,由驾驶人控制人机共驾汽车;S12,利用车外感知模块判断外部环境行车风险等级,同时利用车内感知模块识别驾驶人分心危险等级;S13,耦合行车风险等级判别结果与驾驶人分心危险等级识别结果对自车驾驶状态进行判定;S14,根据自车驾驶状态判定结果,进一步分析是否满足自动驾驶系统接管人机共驾汽车的条件;S15,如果满足,则自适应分配驾驶人和自动驾驶系统对人机共驾汽车的控制权重,否则继续由驾驶人控制人机共驾汽车;S16,根据计算得到的控制权重,将控制权逐渐切换给自动驾驶系统,最终由自动驾驶系统控制人机共驾汽车。本发明通过融合感知到的周围环境信息和车内驾驶人状态信息自适应调整人机之间的控制权,以此提高人机协同率,减少人机冲突,同时提高行驶安全性。

Description

基于车内外协同感知的人机共驾控制权自适应切换方法
技术领域
本发明涉及汽车自动驾驶技术领域和人机共驾技术领域,特别涉及基于车内外协同感知的人机共驾汽车控制权自适应切换方法。
背景技术
自动驾驶技术是降低交通事故发生率和减少驾驶人工作量的有效途径,近年来吸引了大量企业和学者的研究。考虑到城市道路交通环境复杂性,在自动驾驶技术完全成熟之前,将有较长一段时间需要驾驶人参与自动驾驶汽车的控制过程,也就是介于人工驾驶和完全自动驾驶之间的人机共驾模式将长期存在。
人机共驾技术是一种由人类驾驶员和自动驾驶系统通过共享控制系统共同操控车辆的新模式,旨在解决L3(高度自动驾驶)级别中的驾驶控制权转换问题。当车辆处在危险场景下,共享控制中的驾驶主体(驾驶人和自动驾驶系统)可以利用他们各自的优势控制车辆,提高行车安全性。当前,驾驶人和自动驾驶系统控制权的分配问题成为自动驾驶技术领域和人机共驾技术领域关注的焦点之一,如中国发明专利(CN201910700881)公开一种人机共驾环境下考虑驾驶人状态的驾驶权限切换系统,通过融合车速、方向盘转角和GPS定位信息等车辆状态参数以及驾驶人生理信息分别判断车辆和驾驶人是否处于不安全状态,根据安全状态判断结果硬性切换驾驶控制权;中国发明专利(CN202110848303)通过拟合行车状态与自车加速度的数据,建立基于方法偏差的人机共驾模型,间接调整驾驶人的危险操作,但该模型仅根据驾驶人对车辆周围环境风险的响应进行控制权切换研究。这些控制权切换方法较少考虑车辆行驶风险和驾驶人分心状态的耦合关系,难以保证驾驶人和自动化系统的协同一致性。
因此,在人机共驾状态下,如何融合车内外感知信息自适应分配人机共驾汽车控制权是亟需解决的关键问题。
发明内容
针对现有研究不足,本发明提供一种基于车内外协同感知的人机共驾汽车控制权自适应切换方法,通过实时检测周围行车环境和识别驾驶人分心状态,自适应分配驾驶人和自动驾驶系统的驾驶控制权,增强转换中和转换后自动驾驶系统对车辆的操控能力。
本发明为了实现上述目的具体采用以下技术方案:
一种基于车内外协同感知的人机共驾汽车控制权自适应切换方法,该方法包括:
S11,由驾驶人控制人机共驾汽车;
S12,利用车外感知模块判断外部环境行车风险等级,同时利用车内感知模块识别驾驶人分心危险等级。利用车外感知模块判断外部环境行车风险等级,包括数据采集、计算驾驶风险场的场力、计算风险指数、判断行车风险等级;其中,所述行车风险等级为无风险、低风险和高风险。利用车内感知模块识别驾驶人分心危险等级,包括将驾驶人常见分心行为分类并划分危险等级、构建带注意力机制的长短时记忆神经网络模型用于驾驶人分心行为识别;其中,所述驾驶人分心行为和危险等级的对应关系为:驾驶人安全驾驶为无分心,驾驶人手伸到后面或与乘客聊天为低分心,驾驶人化妆或调整车载设备为中分心,驾驶人使用手机发短信或打电话为高分心。
S13,判定自车驾驶状态。耦合行车风险等级与驾驶人分心危险等级,判定当前时刻自车驾驶状态,包括无危险、危险和非常危险三种驾驶状态。
S14,根据自车驾驶状态判定结果,进一步分析是否满足自动驾驶系统接管人机共驾汽车的条件,即当自车驾驶状态处于危险或非常危险驾驶状态时,执行步骤S15,否则执行步骤S11。
S15,根据行车风险指数、行车风险等级和驾驶人分心危险等级自适应分配驾驶人和自动驾驶系统对人机共驾汽车的控制权重,必要时将驾驶控制权平稳地转换给自动驾驶系统。
S16,由自动驾驶系统控制人机共驾汽车。自动驾驶系统完成接管后,继续执行驾驶任务直至通过危险路段,当人机共驾汽车顺利通过危险路段后,驾驶人可以选择继续操控车辆,也可选择由自动驾驶系统继续驾驶。
进一步的,所述的利用车外感知模块判断外部环境行车风险等级还包括:
数据采集。利用CAN总线和车载激光雷达传感器实时采集车辆数据,包括自车和周围其他车辆的速度、加速度和车头间距等;
计算风险场的场力。根据车载摄像头检测到的车道线信息,建立与车道有关的车道线势能场的驾驶风险场模型;
计算行车风险指数。根据建立周围行车环境的风险场模型,计算行车风险指数;
判断行车风险等级。将各时刻风险指数与不同驾驶风险阈值进行对比,判断当前时刻周围环境行车风险等级。
进一步的,所述利用车外感知模块判断外部环境行车风险等级具体包括如下步骤:
S211,数据采集
利用CAN总线和车载激光雷达传感器实时采集车辆数据,包括自车和周围其他车辆的速度、加速度和车头间距;
S212,计算风险场的场力
根据车载摄像头检测到的车道线信息,将车道线方向作为道路坐标系的Y轴,车道线垂直方向作为道路坐标系的X轴,建立与车道有关势能场的驾驶风险场模型:
ET=EL+EB+EV (1)
式(1)中,ET为驾驶风险场的总场强,EL为车道线势能场场强,EB为表示的道路边界势能场场强,EV为车辆势能场场强;
式(1)中,道路环境中由分道线势能场和双黄线势能场组成的车道线势能场场强采用下式(2)计算得到:
Figure BDA0003873990500000031
式(2)中,Ai(i=1,2)表示不同类型车道线势能场的场强系数,x表示道路坐标系下自车所在位置的横坐标值,xl,j表示第j个车道线沿X轴方向的位置坐标,
Figure BDA0003873990500000032
表示自车到第j个车道线的距离,ρ表示车道线势能场随自车靠近或远离车道线的速度变化率;
式(1)中,道路左右边界处生成的道路边界势能场场强采用下式(3)计算得到:
Figure BDA0003873990500000041
式(3)中,xb,z表示第z个道路边界线沿X轴方向的位置坐标,
Figure BDA0003873990500000042
表示自车到第z个道路边界线的距离,η表示道路边界场强系数;
式(1)中,包含运动状态信息的车辆势能场场强采用下式(4)计算得到:
Figure BDA0003873990500000043
式(4)中,M表示自车的等效质量,m表示自车的实际质量,v表示当前时刻自车的行驶速度,d'表示从某一周围车辆质心的空间坐标(x0,y0)到自车质心的空间坐标(x,y)的安全距离,τ表示周围车辆与自车安全距离的临界阈值,θ表示某一周围车辆质心与自车质心的连线与车辆运动方向形成的夹角,a表示当前时刻自车的加速度;
S213,计算行车风险指数
根据式(1)建立周围行车环境的风险场模型,计算t时刻行车风险指数RIt
Figure BDA0003873990500000044
式(5)中,F表示自车所受到风险场的场力,F*表示标准风险指数;
S214,判断行车风险等级
设定ω1和ω2分别为低风险、高风险驾驶阈值,将计算得到的行车风险指数RIt与不同驾驶风险阈值进行对比,判断当前时刻周围环境行车风险等级Rt,具体过程为:
(1)如果RIt1,则Rt=R0,即当前行车风险等级为R0,表示周围行车环境为无风险,该等级风险强度赋值为
Figure BDA0003873990500000051
(2)如果ω1<RIt2,则Rt=R1,即当前行车风险等级为R1,表示周围行车环境为低风险,该等级风险强度赋值为
Figure BDA0003873990500000052
(3)如果RIt2,则Rt=R2,即当前行车风险等级为R2,表示周围行车环境为高风险,该等级风险强度赋值为
Figure BDA0003873990500000053
进一步的,所述的利用车内感知模块识别驾驶人分心危险等级还包括:
将驾驶人常见分心行为分类。对公开数据集State Farm Distracted DriverDetection中车内的驾驶人分心行为视频和图片进行预处理,得到六类常见分心驾驶行为,包括驾驶人手伸到后面、驾驶人与乘客聊天、驾驶人化妆、驾驶人调整车载设备、驾驶人使用手机发短信和打电话;
划分常见分心行为的危险等级。根据每类分心行为的危险程度划分四种危险等级,具体对应关系如下:驾驶人安全驾驶标为无分心D0,驾驶人手伸到后面或与乘客聊天标为低分心D1,驾驶人化妆或调整车载设备为中分心D2,驾驶人使用手机发短信或打电话为高分心D3。对采集到的22424张驾驶图像进行分心危险等级标记,其中每种危险等级行为的样本数量约5600张。对预标记后的数据集按照9:1的比例切分为训练集和测试集,其中训练集用来优化驾驶人分心行为识别模型,测试集用来测试该识别模型的分类准确率。训练集和测试集中均包含驾驶人无分心、低分心、中分心和高分心的行为;
构建带注意力机制的长短时记忆神经网络模型用于驾驶人分心行为识别。带注意力机制的长短时记忆神经网络模型包括:网络第一层为特征数据输入层,第二层为带注意力机制的长短时记忆神经网络层,第三层为输出识别结果层。其中,带注意力机制的长短时记忆神经网络层由输入门、遗忘门和输出门三部分组成,添加的注意力机制为每个隐藏状态提供相应的权重,并更好地捕捉驾驶人分心行为特点,以增强长短时记忆神经网络的结构,最后通过具有SoftMax分类器的全连接层输出驾驶人分心行为的危险等级。
进一步的,所述的判定自车驾驶状态还包括:
耦合行车风险等级与驾驶人分心危险等级,判定当前时刻自车驾驶状态,包括无危险、危险和非常危险三种驾驶状态。
进一步的,所述的自适应分配驾驶人和自动驾驶系统对人机共驾汽车的控制权重,还包括:
根据行车风险指数、行车风险等级和驾驶人分心危险等级自适应计算出驾驶人和自动驾驶系统相应的驾驶控制权重,必要时将驾驶控制权平稳地转换给自动驾驶系统。
本发明由于采取以上技术方案,其具有以下优点:
1、利用驾驶风险场判断行车风险等级,能够很好地量化和预测行车碰撞风险;
2、采用带注意力机制的长短时记忆网络识别驾驶人分心危险等级,能够捕获连续帧序列中驾驶人分心行为的时间特征,较好地识别不同危险等级的分心行为;
3、通过融合行车风险等级判断结果和驾驶人分心危险等级识别结果,判定当前自车驾驶状态,自适应分配驾驶人和自动驾驶系统相应的驾驶控制权重,能够有效减少人机冲突,增强自动驾驶系统对车辆的操控能力。
本发明提出了一种基于车内外协同感知的人机共驾汽车控制权自适应切换方法,通过融合感知到的周围环境信息和车内驾驶人状态信息自适应调整人机之间的控制权,以此提高人机协同率和行驶安全性。
附图说明
图1附图为本发明实施案例提供的一种基于车内外协同感知的人机共驾汽车控制权自适应切换方法的工作流程示意图;
图2附图为本发明实施例所提出的利用车外感知模块判断外部环境行车风险等级的工作流程图;
图3附图为计算风险场的场力中的车道线势能场场强三维立体示意图;
图4附图为计算风险场的场力中的道路边界势能场场强三维立体示意图;
图5附图为计算风险场的场力中的车辆势能场场强三维立体示意图;
图6附图为本发明实施例所提出的利用车内感知模块识别驾驶人分心危险等级的工作流程图;
图7附图为本发明实施例所提出的控制权自适应切换模块的工作流程图。
具体实施方式
为了清楚地展示本发明实施例的技术方案,下面将结合具体实施例和附图对本发明进行介绍。
图1为本发明实施例所提出的基于车内外协同感知的人机共驾汽车控制权自适应切换方法的工作流程图,包括具体步骤:
S11,由驾驶人控制人机共驾汽车。此阶段驾驶人全程操控人机共驾汽车,自动驾驶系统处于等待状态。
S12,利用车外感知模块判断外部环境行车风险等级,同时利用车内感知模块识别驾驶人分心危险等级。利用车外感知模块判断外部环境行车风险等级,包括数据采集、计算驾驶风险场的场力、计算风险指数、判断行车风险等级。所述行车风险等级为无风险、低风险和高风险。利用车内感知模块识别驾驶人分心危险等级,包括将驾驶人常见分心行为分类并划分危险等级、构建带注意力机制的长短时记忆神经网络模型用于驾驶人分心行为识别。所述驾驶人分心行为和危险等级的对应关系为:驾驶人安全驾驶为无分心,驾驶人手伸到后面或与乘客聊天为低分心,驾驶人化妆或调整车载设备为中分心,驾驶人使用手机发短信或打电话为高分心。
S13,判定自车驾驶状态。耦合S12得到的行车风险等级与驾驶人分心危险等级,判定当前时刻自车驾驶状态,包括无危险、危险和非常危险三种驾驶状态。
S14,根据自车驾驶状态判定结果,进一步分析是否满足自动驾驶系统接管人机共驾汽车的条件,即当自车驾驶状态处于危险或非常危险驾驶状态时,执行步骤S15,否则执行步骤S11。
S15,根据行车风险指数、行车风险等级和驾驶人分心危险等级自适应分配驾驶人和自动驾驶系统对人机共驾汽车的控制权重,必要时将驾驶控制权平稳地转换给自动驾驶系统。
S16,由自动驾驶系统控制人机共驾汽车。自动驾驶系统完成接管后,继续执行驾驶任务直至通过危险路段,当人机共驾汽车顺利通过危险路段后,驾驶人可以选择继续操控车辆,也可选择由自动驾驶系统继续驾驶。
图2为本发明实施例所提出的利用车外感知模块判断外部环境行车风险等级的工作流程图,图1中的判断外部环境行车风险等级可以通过图2所示的车外感知模块来实现,包括具体步骤:
S211,数据采集。利用CAN总线和车载激光雷达传感器实时采集车辆数据,包括自车和周围其他车辆的速度、加速度和车头间距等。
S212,计算风险场的场力。根据车载摄像头检测到的车道线信息,将车道线方向作为道路坐标系的Y轴,车道线垂直方向作为道路坐标系的X轴,建立与车道有关势能场的驾驶风险场模型:
ET=EL+EB+EV (1)
式(1)中,ET为驾驶风险场的总场强,EL为车道线势能场场强,EB为表示的道路边界势能场场强,EV为车辆势能场场强;
式(1)中,道路环境中由分道线势能场和双黄线势能场组成的车道线势能场场强采用下式(2)计算得到:
Figure BDA0003873990500000081
式(2)中,Ai(i=1,2)表示不同类型车道线势能场的场强系数,它决定了车道线场强的最大值,其中,A1表示分道线势能场的场强系数,A2表示双黄线势能场的场强系数,通常A2>A1。x表示道路坐标系下自车所在位置的横坐标值,xl,j表示第j个车道线沿X轴方向的位置坐标,
Figure BDA0003873990500000082
表示自车到第j个车道线的距离,ρ表示车道线势能场随自车靠近或远离车道线的速度变化率;
周围车辆与自车生成的车道线势能场场强如图3所示。图中,x=3.75m和x=7.5m分别为两条车道分界线,x=11.25m为一条双黄线。由该图可以看出车道分界线的势能场强度远低于双黄线,并且每条车道中间的势能场强度最低,能够满足车辆尽可能保持在车道中间行驶的要求;
式(1)中,道路左右边界处生成的道路边界势能场场强采用下式(3)计算得到:
Figure BDA0003873990500000091
式(2)中,xb,z表示第z个道路边界线沿X轴方向的位置坐标,
Figure BDA0003873990500000092
表示自车到第z个道路边界线的距离,η表示道路边界场强系数;
周围车辆与自车生成的道路边界势能场场强如图4所示。图中道路边界设在道路最左侧,与道路边界的距离越小则道路边界势能场越大,并在道路最左侧达到无穷大;
式(1)中,包含运动状态信息的车辆势能场场强采用下式(4)计算得到:
Figure BDA0003873990500000093
式(4)中,M表示自车的等效质量,m表示自车的实际质量,v表示当前时刻自车的行驶速度,d'表示从某一周围车辆质心的空间坐标(x0,y0)到自车质心的空间坐标(x,y)的安全距离,τ表示周围车辆与自车安全距离的临界阈值,θ表示某一周围车辆质心与自车质心的连线与车辆运动方向形成的夹角,a表示当前时刻自车的加速度;
周围车辆与自车生成的车辆势能场场强如图5所示。图中车辆势场整体呈椭圆分布,表明行驶过程中允许车辆相对靠近侧方车辆或车道线,车辆势场强度在车辆中心处达到最大值,并随着安全距离d'的增加而逐渐减小;
S213,计算行车风险指数。根据式(1)建立周围行车环境的风险场模型,计算t时刻行车风险指数RIt
Figure BDA0003873990500000101
式(5)中,F表示自车所受到风险场的场力,F*表示标准风险指数。其中,以往的研究中碰撞时间差(TTC)和跟车时距(THW)已经被广泛认为可以衡量车辆在危险场景中的潜在驾驶风险。1s的THW和4s的TTC是建议的警告标准,因此将车辆在TTC为4s处所受的场力值F*作为标准风险指数;
S214,判断行车风险等级。设定ω1和ω2分别为低风险、高风险驾驶阈值,将计算得到的行车风险指数RIt与不同驾驶风险阈值进行对比,判断当前时刻周围环境行车风险等级Rt,具体过程为:
(1)如果RIt1,则Rt=R0,即当前行车风险等级为R0,表示周围行车环境为无风险,该等级风险强度赋值为
Figure BDA0003873990500000102
(2)如果ω1<RIt2,则Rt=R1,即当前行车风险等级为R1,表示周围行车环境为低风险,该等级风险强度赋值为
Figure BDA0003873990500000103
(3)如果RIt2,则Rt=R2,即当前行车风险等级为R2,表示周围行车环境为高风险,该等级风险强度赋值为
Figure BDA0003873990500000104
图6是本发明实施例所提出的利用车内感知模块识别驾驶人分心危险等级的工作流程图,图1中的识别驾驶人分心危险等级通过图6所示的车内感知模块来实现,包括具体步骤:
S221,将驾驶人常见分心行为分类。对公开数据集State Farm DistractedDriver Detection中车内的驾驶人分心行为视频和图片进行预处理,得到六类常见分心驾驶行为,包括驾驶人手伸到后面、驾驶人与乘客聊天、驾驶人化妆、驾驶人调整车载设备、驾驶人使用手机发短信和打电话;
S222,划分常见分心行为的危险等级。根据每类分心行为的危险程度划分四种危险等级,具体对应关系如下:驾驶人安全驾驶标为无分心D0,驾驶人手伸到后面或与乘客聊天标为低分心D1,驾驶人化妆或调整车载设备为中分心D2,驾驶人使用手机发短信或打电话为高分心D3。对采集到的22424张驾驶图像进行分心危险等级标记,其中每种危险等级行为的样本数量约5600张。对预标记后的数据集按照9:1的比例切分为训练集和测试集,其中训练集用来优化驾驶人分心行为识别模型,测试集用来测试该识别模型的分类准确率。训练集和测试集中均包含驾驶人无分心、低分心、中分心和高分心的行为;
S223,构建带注意力机制的长短时记忆神经网络模型用于驾驶人分心行为识别,其特征在于:将预标记后的数据图像传输到长短时记忆(Long short-term memory,LSTM)神经网络中,LSTM网络是一种特殊的、具有内部细胞的循环神经网络结构,这些细胞提供长期和短期记忆,并帮助网络处理较长的数据序列。带注意力机制的长短时记忆神经网络层由输入门、遗忘门和输出门三部分组成。其中,设有h个隐藏单元,批量大小为n,输入数为d,输入为Xt∈Rn×d,前一时间步t-1的隐藏状态为Ht-1∈Rn×h,则带注意力机制的LSTM内部细胞的计算过程如下:
第一步是使用遗忘门Ft决定细胞将要遗忘的信息,公式如下:
Ft=σ(XtWxf+Ht-1Whf+bf) (6)
式(6)中,σ表示sigmoid激活函数,Wxf和Whf表示遗忘门的权重参数,bf表示遗忘门的偏置参数。
第二步是决定单元将使用输入门It、候选记忆元
Figure BDA0003873990500000111
和记忆元Ct保存信息的内容,公式如下:
It=σ(XtWxi+Ht-1Whi+bi) (7)
Figure BDA0003873990500000112
Figure BDA0003873990500000113
式(7)-式(9)中,Wxi和Whi表示输入门的权重参数,Wxc和Whc表示候选记忆门的权重参数,bi和bc分别表示输入门和候选记忆元的偏置参数,Ct-1表示前一时间步t-1的记忆元。
第三步是使用输出单元来决定单元的输出门Ot和隐藏状态Ht,公式如下:
Ot=σ(XtWxo+Ht-1Who+bo) (10)
Ht=Ct⊙tanh(Ot) (11)
式(10)中,Wxo和Who表示输出门的权重参数,bo表示输出门的偏置参数。
为了充分利用最后一层中LSTM存储单元的所有隐藏状态,在LSTM层添加注意力机制,为每个隐藏状态分配可训练的权重值,更好地捕捉驾驶人分心行为特点。公式如下:
Figure BDA0003873990500000121
式(12)中,N表示LSTM层输出的特征向量,ε表示可训练的权重向量,α表示分布系数矩阵,
Figure BDA0003873990500000122
是注意力机制模型输出的特征向量。
最后,通过具有SoftMax分类器的全连接层输出t时刻驾驶人分心行为的危险等级,输出结果为Dt∈[0,1,2,3]。当Dt=0,则分心危险等级识别结果为无分心D0,该等级分心强度赋值为S0=0;当Dt=1,则分心危险等级识别结果为低分心D1,该等级分心强度赋值为S1=1.5;当Dt=2,则分心危险等级识别结果为中分心D2,该等级分心强度赋值为S2=2;当Dt=3,则分心危险等级识别结果为高分心D3,该等级分心强度赋值为S3=2.5。
图1中的判定自车驾驶状态S13,包括具体步骤:
耦合S12得到的行车风险等级与驾驶人分心危险等级,判定当前时刻自车驾驶状态,包括无危险、危险和非常危险三种驾驶状态,具体过程如下:
当周围行车风险等级为无风险R0且驾驶人分心危险等级为无分心D0时,说明车辆周围不存在风险且驾驶人不存在分心行为,应由驾驶人掌握全部驾驶控制权,此时自车驾驶状态处于无危险状态;
当周围行车风险等级为无风险R0,驾驶人分心危险等级为低分心D1、中分心D2和高分心D3时,说明车辆周围不存在风险,但是由于驾驶人产生不同等级的分心行为无法较好地控制车辆,应由自动驾驶系统掌握一部分驾驶控制权,此时自车驾驶状态处于危险状态;
当周围行车风险等级为低风险R1,驾驶人分心危险等级为无分心D0、低分心D1、中分心D2和高分心D3时,说明周围行车风险低,但是由于驾驶人产生部分分心危险行为导致车辆行驶不稳定,应由自动驾驶系统掌握一部分驾驶控制权,此时自车驾驶状态处于危险状态;
当周围行车风险等级为高风险R2,驾驶人分心危险等级为无分心D0、低分心D1和中分心D2时,说明周围行车风险高,但驾驶人执行较低分心的驾驶任务时注意力大部分处在观察当前驾驶环境变化,应由自动驾驶系统掌握一部分驾驶控制权,此时自车驾驶状态处于为危险状态;
当周围行车风险等级为高风险R2且驾驶人分心危险等级为高分心D3时,说明周围行车风险非常高且驾驶人受到分心行为影响,此时自车驾驶状态为非常危险状态。
图7为本发明实施例所提出的控制权自适应切换模块的工作流程图,图1中的自适应分配驾驶人和自动驾驶系统对人机共驾汽车的控制权重可以通过图7所示的控制权自适应切换模块来实现,包括具体步骤:
S411,若满足自动驾驶系统接管人机共驾汽车的条件,即当自车驾驶状态处于危险或非常危险驾驶状态时,根据行车风险指数、行车风险等级和驾驶人分心危险等级自适应分配驾驶人和自动驾驶系统对人机共驾汽车的控制权重,必要时将驾驶控制权平稳地转换给自动驾驶系统,具体过程如下:
基于S13中R0D1、R0D2、R0D3、R1D0、R1D1、R1D2、R1D3、R2D0、R2D1和R2D2这十种危险驾驶状态,在不同行车风险等级下,车内驾驶人的一部分注意力会被分心行为所影响,但大部分驾驶人仍有能力控制部分驾驶权,为了保证行车安全性,利用声音预警告知驾驶人即将转换驾驶控制权,同时将驾驶控制权逐渐转移给自动驾驶系统,此时驾驶人和自动驾驶系统的驾驶控制权为:
Figure BDA0003873990500000131
式(13)中,μ(t)为自动驾驶系统的控制权重,ν(t)为驾驶人的控制权重,RIm为通过大量危险驾驶数据集计算得到的最大行车风险指数,取RIm=2;
基于S13中R2D3这一种非常危险驾驶状态,周围行车风险非常高且驾驶人受到分心行为影响,需通过紧急声音预警告知驾驶人的同时会立即转换驾驶控制权,自动驾驶系统进行紧急接管,公式如下:
Figure BDA0003873990500000141
最后需要说明的是,以上是对本发明的具体实施方式进行具体地解释和说明,仅体现本发明的方法和核心设计概念,但不局限于上述实施方法。本领域的技术人员可在不违反本说明书的原则和精神的基础上进行同等变形或改进,且这些改变均应在保护范围之内。

Claims (6)

1.一种基于车内外协同感知的人机共驾控制权自适应切换方法,其特征在于,该方法包括如下步骤:
S11,由驾驶人控制人机共驾汽车;
S12,利用车外感知模块判断外部环境行车风险等级,同时利用车内感知模块识别驾驶人分心危险等级;
S13,耦合行车风险等级判别结果与驾驶人分心危险等级识别结果对自车驾驶状态进行判定;
S14,根据自车驾驶状态判定结果,进一步分析是否满足自动驾驶系统接管人机共驾汽车的条件;
S15,如果满足,则自适应分配驾驶人和自动驾驶系统对人机共驾汽车的控制权重,否则继续由驾驶人控制人机共驾汽车;
S16,根据计算得到的控制权重,将控制权逐渐切换给自动驾驶系统,最终由自动驾驶系统控制人机共驾汽车。
2.根据权利要求1所述的一种基于车内外协同感知的人机共驾汽车控制权自适应切换方法,其特征在于,所述的利用车外感知模块判断外部环境行车风险等级,还包括:数据采集、计算驾驶风险场的场力、计算行车风险指数、判断行车风险等级;其中,所述行车风险等级为无风险、低风险和高风险。
3.根据权利要求2所述的一种基于车内外协同感知的人机共驾汽车控制权自适应切换方法,其特征在于,所述利用车外感知模块判断外部环境行车风险等级具体包括如下步骤:
S211,数据采集
利用CAN总线和车载激光雷达传感器实时采集车辆数据,包括自车和周围其他车辆的速度、加速度和车头间距;
S212,计算风险场的场力
根据车载摄像头检测到的车道线信息,将车道线方向作为道路坐标系的Y轴,车道线垂直方向作为道路坐标系的X轴,建立与车道有关势能场的驾驶风险场模型:
ET=EL+EB+EV(1)
式(1)中,ET为驾驶风险场的总场强,EL为车道线势能场场强,EB为表示的道路边界势能场场强,EV为车辆势能场场强;
式(1)中,道路环境中由分道线势能场和双黄线势能场组成的车道线势能场场强采用下式(2)计算得到:
Figure FDA0003873990490000021
式(2)中,Ai(i=1,2)表示不同类型车道线势能场的场强系数,x表示道路坐标系下自车所在位置的横坐标值,xl,j表示第j个车道线沿X轴方向的位置坐标,
Figure FDA0003873990490000022
表示自车到第j个车道线的距离,ρ表示车道线势能场随自车靠近或远离车道线的速度变化率;
式(1)中,道路左右边界处生成的道路边界势能场场强采用下式(3)计算得到:
Figure FDA0003873990490000023
式(3)中,xb,z表示第z个道路边界线沿X轴方向的位置坐标,
Figure FDA0003873990490000024
表示自车到第z个道路边界线的距离,η表示道路边界场强系数;
式(1)中,包含运动状态信息的车辆势能场场强采用下式(4)计算得到:
Figure FDA0003873990490000025
式(4)中,M表示自车的等效质量,m表示自车的实际质量,v表示当前时刻自车的行驶速度,d'表示从某一周围车辆质心的空间坐标(x0,y0)到自车质心的空间坐标(x,y)的安全距离,τ表示周围车辆与自车安全距离的临界阈值,θ表示某一周围车辆质心与自车质心的连线与车辆运动方向形成的夹角,a表示当前时刻自车的加速度;
S213,计算行车风险指数
根据式(1)建立周围行车环境的风险场模型,计算t时刻行车风险指数RIt
Figure FDA0003873990490000031
式(5)中,F表示自车所受到风险场的场力,F*表示标准风险指数;
S214,判断行车风险等级
设定ω1和ω2分别为低风险、高风险驾驶阈值,将计算得到的行车风险指数RIt与不同驾驶风险阈值进行对比,判断当前时刻周围环境行车风险等级Rt,具体过程为:
(1)如果RIt1,则Rt=R0,即当前行车风险等级为R0,表示周围行车环境为无风险,该等级风险强度赋值为
Figure FDA0003873990490000032
(2)如果ω1<RIt2,则Rt=R1,即当前行车风险等级为R1,表示周围行车环境为低风险,该等级风险强度赋值为
Figure FDA0003873990490000033
(3)如果RIt2,则Rt=R2,即当前行车风险等级为R2,表示周围行车环境为高风险,该等级风险强度赋值为
Figure FDA0003873990490000034
4.根据权利要求1所述的一种基于车内外协同感知的人机共驾汽车控制权自适应切换方法,其特征在于,所述的利用车内感知模块识别驾驶人分心危险等级,还包括:将驾驶人常见分心行为分类并划分危险等级、构建带注意力机制的长短时记忆神经网络模型用于驾驶人分心行为识别;其中,所述驾驶人分心行为和危险等级的对应关系为:驾驶人安全驾驶为无分心,驾驶人手伸到后面或与乘客聊天为低分心,驾驶人化妆或调整车载设备为中分心,驾驶人使用手机发短信或打电话为高分心。
5.根据权利要求1所述的一种基于车内外协同感知的人机共驾汽车控制权自适应切换方法,其特征在于,所述的判定自车驾驶状态,还包括:耦合行车风险等级与驾驶人分心危险等级,判定当前时刻自车驾驶状态,包括无危险、危险和非常危险三种驾驶状态。
6.根据权利要求1所述的一种基于车内外协同感知的人机共驾汽车控制权自适应切换方法,所述的自适应分配驾驶人和自动驾驶系统对人机共驾汽车的控制权重方法,其特征在于:若自车驾驶状态满足自动驾驶系统接管人机共驾汽车的条件,即自车驾驶状态处于危险或非常危险驾驶状态时,则根据行车风险指数、行车风险等级和驾驶人分心危险等级自适应分配驾驶人和自动驾驶系统相应的驾驶控制权重,必要时将驾驶控制权平稳地转换给自动驾驶系统。
CN202211209546.9A 2022-09-30 2022-09-30 基于车内外协同感知的人机共驾控制权自适应切换方法 Pending CN115534994A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211209546.9A CN115534994A (zh) 2022-09-30 2022-09-30 基于车内外协同感知的人机共驾控制权自适应切换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211209546.9A CN115534994A (zh) 2022-09-30 2022-09-30 基于车内外协同感知的人机共驾控制权自适应切换方法

Publications (1)

Publication Number Publication Date
CN115534994A true CN115534994A (zh) 2022-12-30

Family

ID=84731885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211209546.9A Pending CN115534994A (zh) 2022-09-30 2022-09-30 基于车内外协同感知的人机共驾控制权自适应切换方法

Country Status (1)

Country Link
CN (1) CN115534994A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116279572A (zh) * 2023-02-08 2023-06-23 中南大学 一种车辆安全态势评估与稳态驾驶模式切换方法及系统
CN117037545A (zh) * 2023-10-09 2023-11-10 济南卓伦智能交通技术有限公司 一种多车超视距协同感知方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116279572A (zh) * 2023-02-08 2023-06-23 中南大学 一种车辆安全态势评估与稳态驾驶模式切换方法及系统
CN116279572B (zh) * 2023-02-08 2024-01-30 中南大学 一种车辆安全态势评估与稳态驾驶模式切换方法及系统
CN117037545A (zh) * 2023-10-09 2023-11-10 济南卓伦智能交通技术有限公司 一种多车超视距协同感知方法
CN117037545B (zh) * 2023-10-09 2024-01-12 济南卓伦智能交通技术有限公司 一种多车超视距协同感知方法

Similar Documents

Publication Publication Date Title
CN115534994A (zh) 基于车内外协同感知的人机共驾控制权自适应切换方法
CN108995655B (zh) 一种驾驶员驾驶意图识别方法及系统
CN109789777B (zh) 非预期脉冲变化碰撞检测器
CN109885040B (zh) 一种人机共驾中的车辆驾驶控制权分配系统
CN107544518B (zh) 基于拟人驾驶的acc/aeb系统及车辆
Althoff et al. Model-based probabilistic collision detection in autonomous driving
CN113056749A (zh) 用于自主机器应用的未来对象轨迹预测
CN111079834A (zh) 一种考虑多车交互的智能车辆安全态势评估方法
CN110077398B (zh) 一种用于智能驾驶的危险处理方法
CN110182210A (zh) 车辆控制装置和车辆控制方法
CN111452789A (zh) 自动驾驶超车控制方法及系统
CN107521501A (zh) 基于博弈论的驾驶员辅助系统决策方法、系统及其他
CN113392692A (zh) 以驾驶员为中心的风险评估:经由意图感知驾驶模型的因果推理进行风险对象识别
CN113012469A (zh) 一种基于目标识别的智能交通预警系统
CN106218612B (zh) 一种汽车安全行驶的方法、装置以及终端
CN115027484A (zh) 一种面向高度自动驾驶的人机融合感知方法
CN113147752A (zh) 一种无人驾驶方法及系统
CN112046494A (zh) 一种车辆控制方法、装置、设备及存储介质
CN110634296A (zh) 用于智能驾驶的紧急事项处理系统及方法
CN117141519A (zh) 一种基于图像处理的无人驾驶系统及方法
CN111301428A (zh) 机动车驾驶员分心检测警示方法、系统及机动车
CN112874515B (zh) 利用驾驶姿态对驾驶辅助系统进行安全提醒的系统和方法
CN114274954A (zh) 一种车内外感知结合的车辆主动接管系统及方法
CN111038521A (zh) 一种自动驾驶“意识决定”模型的构成方法
Maaz et al. Iot programming to develop self driving robotics car using opencv and other emerging technologies

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination