CN110775057B - 基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法 - Google Patents

基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法 Download PDF

Info

Publication number
CN110775057B
CN110775057B CN201910811032.2A CN201910811032A CN110775057B CN 110775057 B CN110775057 B CN 110775057B CN 201910811032 A CN201910811032 A CN 201910811032A CN 110775057 B CN110775057 B CN 110775057B
Authority
CN
China
Prior art keywords
vehicle
lane
blind area
steering torque
visual scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910811032.2A
Other languages
English (en)
Other versions
CN110775057A (zh
Inventor
缪其恒
骆超杰
金智
王江明
许炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Zero Run Technology Co Ltd
Original Assignee
Zhejiang Leapmotor Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Leapmotor Technology Co Ltd filed Critical Zhejiang Leapmotor Technology Co Ltd
Priority to CN201910811032.2A priority Critical patent/CN110775057B/zh
Publication of CN110775057A publication Critical patent/CN110775057A/zh
Application granted granted Critical
Publication of CN110775057B publication Critical patent/CN110775057B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B60W2710/202—Steering torque

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法：①基于深度卷积神经网络，对车辆盲区视觉场景输入进行车辆以及道路标识线联合分析，输出当前车辆所处车道的边界信息以及相邻车道的同向车辆信息；②估算侧后方车辆以及自身车辆所在车道边界与自身车辆的相对距离，计算自身车辆与盲区车辆预碰撞时间以及自身车辆车道预偏离时间；③通过声音以及图形界面两种交互方式向驾驶者发出分级预警；④用PID控制器通过电子转向系统对车辆进行转向扭矩控制，使得车辆在无变道意图且即将偏离行驶车道或有变道意图且有碰撞风险时能够回到当前行驶车道。本发明能主动避免相应潜在事故的发生，提升车辆自动驾驶的主动安全性能。

Description

基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法
技术领域
本发明涉及汽车自动驾驶技术领域，尤其涉及一种基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法。
背景技术
智能化是如今汽车行业发展的重要趋势之一，预计2020～2030期间智能驾驶技术与系统将在世界范围内快速发展。绝大部分整车制造商在智能化领域的技术路线规划稳步从L1级、L2级辅助驾驶系统向L3级及以上级别辅助驾驶系统过渡与升级。对于量产车型而言，辅助驾驶系统的功能集成化程度以及成本是整车企业关注的重点。现有高级辅助驾驶系统在高速场景工况下，大多依据前向以及盲区视觉或毫米波雷达系统输入进行相应预警或辅助车辆控制；在低速场景工况下，大多依据360°环视系统以及超声波雷达系统输入进行相应预警或辅助车辆控制。
现有车道级辅助驾驶系统主要包括车辆变道辅助系统(LCAS)与车道偏离预警系统(LDAS)两类。现有此类量产系统主要以预警应用为主，车辆完全由驾驶者操控。车辆变道辅助系统，对驾驶员有变道意图的情况下在车辆盲区范围内存在快速行驶车辆的情况做出预警，以避免潜在变道交通事故的发生。车道偏离预警系统，对驾驶员无变道意图情况下的车道偏离现象做出预警，从而避免潜在变道交通事故或违规驾驶行为(实线变道)的发生。现有此类量产系统功能是基于不同的视觉系统或毫米波雷达系统输入完成的(LDAS由前向视觉算法实现，LCAS则通过盲区视觉/雷达算法完成)。
现有通过车辆盲区监视实现变道辅助的系统(LCAS)感知方案主要分为两大类：一类基于毫米波雷达，另一类基于视觉系统。其中，基于毫米波雷达的方案相对成本较高，且中近距离物体检测虚报率偏高。基于视觉系统的方案，利用稀疏光流算法聚类具图像ROI区域有相似运动特征的障碍物，算法实时性好，但检测准确性较差，且易受极端天气影响。现有车道偏离预警系统(LDAS)主要基于前视单目相机的图像分析与处理，提取车道线信息、计算预警指标以及做出相应应用决策。综上所述，现有上述两个系统需要基于不同的感知输入，单一系统车道级的辅助驾驶功能应用不完善并且系统输出仅限于L0级的预警应用，在驾驶员对预警信号无法做出正确响应的情况下难以避免潜在交通事故的发生。
发明内容
本发明为了解决上述技术问题，提供一种基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法，能够在无变道意图车辆偏离时或主动变道存在碰撞风险时，通过方向盘扭矩回正控制使车辆回归当前车道，从而避免相应潜在事故的发生，主动安全性好，有效提高中高速工况车辆车道保持以及变道行驶的安全性能。
本发明的上述技术问题主要是通过下述技术方案得以解决的：本发明基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法，包括下列步骤：
①盲区视觉场景输入分析：基于深度卷积神经网络，对车辆盲区视觉场景输入进行车辆以及道路标识线联合分析，输出当前车辆所处车道的边界信息以及相邻车道的同向车辆信息；
②视觉场景分析结果后处理：基于盲区相机安装参数，估算侧后方车辆以及自身车辆所在车道边界与自身车辆的相对距离，计算自身车辆与盲区车辆预碰撞时间以及自身车辆车道预偏离时间；
③转向扭矩控制：用PID控制器通过电子转向系统对车辆进行转向扭矩控制，使得车辆在无变道意图且即将偏离行驶车道时或有变道意图且有碰撞风险时能够回到当前行驶车道。
本发明通过盲区视觉场景结构化数据分析，能够在无变道意图车辆偏离时或主动变道存在碰撞风险时，通过对车辆进行转向扭矩控制，使车辆回归当前行驶车道，从而避免相应潜在事故的发生。
作为优选，所述的步骤①包括下列步骤：
(1.1)多任务卷积神经网络拓扑：输入为三通道RGB图像，经共享卷积特征编码描述后，分支解码输出目标检测结果以及路面语义分割结果；
(1.2)离线模型训练：采集不同时间、不同天气以及不同驾驶工况的盲区场景驾驶视频，按固定时间间隔选取时序离散训练样本，人工标注生成训练标签；
(1.3)模型压缩：按照嵌入式平台运算特性，将步骤(1.2)中离线模型训练所得模型参数进行压缩操作，经精度验证与重训练后，将精简模型部署于嵌入式平台；
(1.4)在线模型推理：按步骤(1.1)中网络拓扑定义的网络输入尺寸，截取并缩放图像原始数据ROI部分，进行图像预处理，将预处理完的图像输入压缩后的神经网络，经模型前向运算后输出模型定义盲区场景分析结果。
作为优选，所述的步骤②包括下列步骤：
(2.1)神经网络输出后处理，包括目标输出后处理以及路面语义输出后处理；
(2.2)计算图像坐标对应的路面现实距离；
(2.3)盲区车辆跟踪；
(2.4)车道线跟踪；
(2.5)计算自身车辆与盲区车辆预碰撞时间TTC，计算自身车辆车道预偏离时间TLC。
作为优选，所述的步骤(2.1)具体为：
目标输出后处理：按如下公式计算目标序列中同类目标的图像区域重合度IOU，将重合度大于设定阈值的同类目标定义为相同目标，选取置信度最高的目标位置作为该目标的最终输出结果；
Figure BDA0002184416100000041
其中，areai为目标i的图像区域面积；
路面语义输出后处理：将路面语义图层按如下公式进行输出通道压缩后，送入车道边界回归网络进行车道线二阶拟合解析参数回归，输出车道线解析参数a，b，c；
Figure BDA0002184416100000042
其中，chi(x，y)为路面语义图层通道i在(x，y)坐标处的置信度，Rmin为预设置信度阈值。
作为优选，所述的步骤(2.2)具体为：
根据离线盲区相机标定的道路平面映射矩阵HL/R，按如下公式计算图像坐标对应的路面现实距离；
Figure BDA0002184416100000043
其中，
Figure BDA0002184416100000044
为实际坐标，
Figure BDA0002184416100000045
为图像坐标，下标L、R分别对应左、右盲区相机。
作为优选，所述的步骤(2.3)盲区车辆跟踪具体为：
利用卡尔曼滤波基于匀速运动学模型，预测盲区车辆运动：
Xt＝Xt-1+vx，t-1Δt
Yt＝Yt-1+vy，t-1Δt
Wt＝Wt-1
Ht＝Ht-1
vx，t＝vx，t-1
vy，t＝vy，t-1
其中，(Xt，Yt)为目标的相对位置，(Wt，Ht)为目标的宽度和高度，(vx，t，vy，t)为目标的相对速度。
作为优选，所述的步骤(2.4)车道线跟踪具体为：
由于车道线为静止物体，利用车辆自身运动按如下公式更新车辆坐标系原点位置，从而更新车道线解析参数：
Figure BDA0002184416100000053
Figure BDA0002184416100000054
ψt＝ψt-1+ωtΔt
其中，(XO，t，YO，t)为原点坐标，ψt为横摆角。
作为优选，所述的步骤(2.5)具体为：
计算自身车辆与盲区车辆预碰撞时间TTC：公式如下，其中Di为自身车辆和盲区车辆间的距离，
Figure BDA0002184416100000051
为盲区车辆的相对速度，
Figure BDA0002184416100000052
计算自身车辆车道预偏离时间TLC：公式如下，其中Li为单侧车道线和自身车辆间的距离，θi为该车道线在车辆坐标系下与自身车辆航向的夹角，Vego为自身车辆车速，
Figure BDA0002184416100000061
作为优选，所述的步骤③具体为：
当自身车辆和盲区车辆间的距离小于预设阈值或单侧车道线和自身车辆间的距离小于预设阈值时，进行转向扭矩控制，转向扭矩控制方法包括回调阶段和回正阶段，计算综合偏移量dy，
dy＝K1dy0+K2sin(θ)+K3ψ-K4ρ
dy0为车辆中心相对车道中心的距离，θ为车身偏航角，ψ为车身偏航率，ρ为车道线曲率，v为车身纵向速度；其中，K1，K2，K3和K4是四个与速度相关的可调参数，对应回调阶段和回正阶段，分别设立回调阶段可调参数表和回正阶段可调参数表；
综合偏移量输入给PID控制器，通过PID控制方法，PID控制器输出转向扭矩给电子转向系统对车辆进行转向扭矩控制，使得车辆在无变道意图且即将偏离行驶车道时或有变道意图且有碰撞风险时能够回到当前行驶车道。
作为优选，所述的步骤②和步骤③之间设有预警方法：将步骤②计算所得的自身车辆与盲区车辆预碰撞时间以及自身车辆车道预偏离时间，分别和盲区车辆预碰撞时间预设阈值及车道预偏离时间预设阈值进行比对，判断分级预警的级别，通过声音以及图形界面两种交互方式向驾驶者发出分级预警。
本发明的有益效果是：通过盲区视觉场景结构化数据分析，结合驾驶员的变道操作意图识别，在无变道意图车辆偏离时或主动变道存在碰撞风险时，通过方向盘扭矩回正控制使车辆回归当前车道，同时通过声音以及可视化界面进行分级预警以提前告知驾驶者。相较于已有盲区辅助系统，本发明具备主动安全性能，即能够在驾驶员未及时相应预警信号时自主避免相应潜在驾驶危险，有效提高中高速工况车辆车道保持以及变道行驶的安全性能。
附图说明
图1是本发明的一种流程图。
图2是本发明中盲区视觉分析神经网络的一种拓扑图。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例：本实施例的基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法，如图1所示，盲区相机、车速、方向盘扭矩、转向灯以及系统开关信号为车道辅助系统的输入，车道辅助预警信号以及目标方向盘扭矩信号为车道辅助系统的输出。本实施例的车道辅助方法，详细步骤如下：
①盲区视觉场景输入分析：基于深度卷积神经网络，对车辆盲区视觉场景输入进行车辆以及道路标识线联合分析，输出当前车辆所处车道的边界信息以及相邻车道的同向车辆信息；主要包括离线模型训练以及在线模型部署与推理两部分：
(1.1)多任务卷积神经网络拓扑：如图2所示，输入为640×320×3三通道RGB图像，经共享卷积特征编码描述后，分支解码输出目标检测结果(目标序列c，x，y，w，h)以及路面语义分割结果(语义图层640×320×3)；特征编码部分主要由卷积、归一化以及激活等神经网络运算操作完成；解码输出部分主要由反卷积、全连接等神经网络运算操作完成；
(1.2)离线模型训练：采集不同时间(白天、傍晚、夜晚等)、不同天气(晴、阴、雨、雪等)以及不同驾驶工况(城市、高速、乡村等)的盲区场景驾驶视频，按固定时间间隔选取时序离散训练样本，人工标注生成训练标签，包含目标框标签以及像素级场景语义标签，标签定义同(1.1)中神经网络输出定义；
(1.3)模型压缩：按照嵌入式平台运算特性，将步骤(1.2)中离线模型训练所得模型参数进行数据量化与稀疏化等压缩操作，经精度验证与重训练后，将精简模型部署于嵌入式平台；
(1.4)在线模型推理：按步骤(1.1)中网络拓扑定义的网络输入尺寸，截取并缩放图像原始数据ROI部分，进行增益、对比度调节等图像预处理，将预处理完的图像输入压缩后的神经网络，经模型前向运算后输出模型定义盲区场景分析结果。
②视觉场景分析结果后处理：基于盲区相机安装参数，估算侧后方车辆以及自身车辆所在车道边界与自身车辆的相对距离，并利用卡尔曼滤波对感兴趣目标(快速车辆以及车道边界)进行跟踪，计算自身车辆与盲区车辆预碰撞时间以及自身车辆车道预偏离时间；详细内容如下：
(2.1)神经网络输出后处理，主要包括目标输出后处理以及路面语义输出后处理两部份；
目标输出后处理：按如下公式计算目标序列中同类目标的图像区域重合度IOU，将重合度大于设定阈值的同类目标定义为相同目标，选取置信度最高的目标位置作为该目标的最终输出结果；
Figure BDA0002184416100000081
其中，areai为目标i的图像区域面积；
路面语义输出后处理：将路面语义图层按如下公式进行输出通道压缩后，送入车道边界回归网络进行车道线二阶拟合解析参数回归，输出车道线解析参数a，b，c；
Figure BDA0002184416100000091
其中，chi(x，y)为路面语义图层通道i在(x，y)坐标处的置信度，Rmin为预设置信度阈值；
(2.2)距离估算：根据离线盲区相机标定的道路平面映射矩阵HL/R，按如下公式计算相应图像坐标对应的路面现实距离；车辆按目标中心与路面交点处图像坐标计算该目标相对距离，车道线按预设关键点图像位置计算该点相对距离；
Figure BDA0002184416100000092
其中，
Figure BDA0002184416100000093
为实际坐标，
Figure BDA0002184416100000094
为图像坐标，下标L、R分别对应左、右盲区相机；
(2.3)盲区车辆跟踪：利用卡尔曼滤波基于匀速运动学模型，预测盲区车辆运动：
Xt＝Xt-1+vx，t-1Δt
Yt＝Yt-1+vy，t-1Δt
Wt＝Wt-1
Ht＝Ht-1
vx，t＝vx，t-1
vy，t＝vy，t-1
其中，(Xt，Yt)为目标(盲区车辆)的相对位置，(Wt，Ht)为目标的宽度和高度，(vx，t，vy，t)为目标的相对速度；
(2.4)车道线跟踪：由于车道线为静止物体，利用车辆自身运动按如下公式更新车辆坐标系原点位置，从而更新车道线解析参数：
Figure BDA0002184416100000101
Figure BDA0002184416100000102
ψt＝ψt-1+ωtΔt
其中，(XO，t，YO，t)为原点坐标，ψt为横摆角；
(2.5)计算自身车辆与盲区车辆预碰撞时间TTC，计算自身车辆车道预偏离时间TLC，具体计算方式如下：
计算自身车辆与盲区车辆预碰撞时间TTC：公式如下，其中Di为自身车辆和盲区车辆间的距离，
Figure BDA0002184416100000103
为盲区车辆的相对速度，
Figure BDA0002184416100000104
计算自身车辆车道预偏离时间TLC：公式如下，其中Li为单侧车道线和自身车辆间的距离，θi为该车道线在车辆坐标系下与自身车辆航向的夹角，Vego为自身车辆车速，
Figure BDA0002184416100000105
③预警方法：基于上述计算所得的自身车辆与盲区车辆预碰撞时间TTC以及自身车辆车道预偏离时间TLC，通过声音以及图形界面两种交互方式向驾驶者发出分级预警；详细内容如下：
(3.1)变道碰撞预警方法：基于(2.1)中所计算的自身车辆和盲区车辆间的距离Di以及(2.5)中所计算的自身车辆与盲区车辆预碰撞时间测量值TTCi设置如下分级预警条件：
a.若满足条件{Di大于预设阈值D0}或{Di小于预设阈值D0且大于预设阈值D1且TTCi大于预设阈值TTC0}，系统不触发预警；
b.若满足条件{Di小于预设阈值D0且大于预设阈值D1且TTCi小于预设阈值TTCO}，系统触发二级预警；
c.若满足条件{Di小于预设阈值D1}，系统触发一级预警；
(3.2)车道偏离预警方法：基于2.1中所计算的左侧(或右侧)车道线和自身车辆间的距离Li以及(2.5)中所计算的自身车辆车道预偏离时间(即车辆预压线时间)测量值TLCi设置如下分级预警条件：
a.若满足条件{Li大于预设阈值L0}或{Li小于预设阈值L0且大于预设阈值L1且TLCi大于预设阈值TLC0}，系统不触发预警；
b.若满足条件{Li小于预设阈值L0且大于预设阈值L1且TLCi小于预设阈值TLC0}，系统触发二级预警；
c.若满足条件{Li小于预设阈值L1}，系统触发一级预警；
(3.3)预警方式：通过视觉与听觉两方面信号提示驾驶者相应预警信号，由于碰撞预警和偏离预警两功能开启条件完全互斥，因而无需设置应用优先级，需确保两系统预警信号在视觉及听觉两方面有区分度。
④转向扭矩控制：基于盲区视觉场景分析结果，用PID控制器通过电子转向系统(EPS)对车辆进行转向扭矩控制，使得车辆在无变道意图且即将偏离行驶车道时或有变道意图且有碰撞风险时能够回到当前行驶车道；主要包括如下内容：
(4.1)系统状态诊断：故障检测模块需要检测数据处理模块接收到的输入信号的可靠性，同时确保输出扭矩信号被EPS正确执行。被诊断器件包括：盲区相机、EPS以及VCU等。对于各被诊断器件诊断内容主要包括：是否有故障信息以及生命信号是否连续未中断等；
(4.2)变道碰撞回正触发条件：若{(3.1)中c的变道碰撞一级预警触发T0秒内无响应}或{Di小于预设阈值D2}且{系统使能，无故障代码}，则触发变道碰撞回正扭矩控制，D2＜D1＜D0；
(4.3)车道偏离回正触发条件：若{(3.2)中c的车道偏离一级预警触发T0秒内无响应}或{Li小于预设阈值L2}且{系统使能，无故障代码}，则触发车道偏离回正扭矩控制，L2＜L1＜L0；
(4.4)转向扭矩控制方法：本发明所提出的扭矩回正控制方法主要包括两个阶段，即回调阶段与回正阶段。回调阶段的主要目的是尽快纠正车辆的偏离趋势；回正阶段的主要目的是稳定车身姿态，使车辆回到车道中心附近位置；
计算综合偏移量dy，
dy＝K1dy0+K2sin(θ)+K3ψ-K4ρ
dy0为车辆中心相对车道中心的距离，θ为车身偏航角，ψ为车身偏航率，p为车道线曲率，v为车身纵向速度；其中，K1，K2，K3和K4是四个与速度相关的可调参数，对应回调阶段和回正阶段，分别设立回调阶段可调参数表和回正阶段可调参数表；
综合偏移量输入给PID控制器，通过PID控制方法，PID控制器输出转向扭矩给电子转向系统对车辆进行转向扭矩控制，使得车辆在无变道意图且即将偏离行驶车道时或有变道意图且有碰撞风险时能够回到当前行驶车道。
PID控制器参数根据车速的不同进行分阶段离线整定，以映射表的形式存于控制器初始化配置参数中。车速越高，整体输出的扭矩越小。
⑤车辆驾驶状态识别与交互：利用方向盘扭矩传感器信号，进行驾驶者双手脱离方向盘状态识别，并按照预设规则提示驾驶者对车辆进行正常监管。利用扭矩传感器识别驾驶者介入状态，按照预设规则(以人为驾驶意图优先的原则)在驾驶者介入情况下确保系统安全工作。
相较于已有车道相关辅助驾驶系统，本发明的优势在于：(i).集成程度更高，硬件成本低，仅基于盲区输入，既能保障单独车道驾驶时的行车安全，也可保障变道操作时的行车安全；(ii).利用深度卷积神经网络进行盲区视觉场景分析，车道以及车辆检测效果明显提升；(iii).自动化程度提升，以转向扭矩回正控制系统替代预警系统，从而进一步提升车辆自动驾驶的主动安全性能。

Claims (8)

1.一种基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法，其特征在于包括下列步骤：
①盲区视觉场景输入分析：基于深度卷积神经网络，对车辆盲区视觉场景输入进行车辆以及道路标识线联合分析，输出当前车辆所处车道的边界信息以及相邻车道的同向车辆信息；
②视觉场景分析结果后处理：基于盲区相机安装参数，估算侧后方车辆以及自身车辆所在车道边界与自身车辆的相对距离，计算自身车辆与盲区车辆预碰撞时间以及自身车辆车道预偏离时间；
③转向扭矩控制：用PID控制器通过电子转向系统对车辆进行转向扭矩控制，使得车辆在无变道意图且即将偏离行驶车道时或有变道意图且有碰撞风险时能够回到当前行驶车道；
所述的步骤①包括下列步骤：
（1.1） 多任务卷积神经网络拓扑：输入为三通道RGB图像，经共享卷积特征编码描述后，分支解码输出目标检测结果以及路面语义分割结果；
（1.2） 离线模型训练：采集不同时间、不同天气以及不同驾驶工况的盲区场景驾驶视频，按固定时间间隔选取时序离散训练样本，人工标注生成训练标签；
（1.3） 模型压缩：按照嵌入式平台运算特性，将步骤（1.2）中离线模型训练所得模型参数进行压缩操作，经精度验证与重训练后，将精简模型部署于嵌入式平台；
（1.4） 在线模型推理：按步骤（1.1）中网络拓扑定义的网络输入尺寸，截取并缩放图像原始数据ROI部分，进行图像预处理，将预处理完的图像输入压缩后的神经网络，经模型前向运算后输出模型定义盲区场景分析结果。
2.根据权利要求1所述的基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法，其特征在于所述的步骤②包括下列步骤：
（2.1） 神经网络输出后处理，包括目标输出后处理以及路面语义输出后处理；
（2.2） 计算图像坐标对应的路面现实距离；
（2.3）盲区车辆跟踪；
（2.4）车道线跟踪；
（2.5）计算自身车辆与盲区车辆预碰撞时间TTC，计算自身车辆车道预偏离时间TLC。
3.根据权利要求2所述的基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法，其特征在于所述的步骤（2.1）具体为：
目标输出后处理：按如下公式计算目标序列中同类目标的图像区域重合度IOU，将重合度大于设定阈值的同类目标定义为相同目标，选取置信度最高的目标位置作为该目标的最终输出结果；
Figure DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE004
为目标i的图像区域面积；
路面语义输出后处理：将路面语义图层按如下公式进行输出通道压缩后，送入车道边界回归网络进行车道线二阶拟合解析参数回归，输出车道线解析参数 a, b, c；
Figure DEST_PATH_IMAGE006
其中，
Figure DEST_PATH_IMAGE008
为路面语义图层通道i在(x,y)坐标处的置信度，
Figure DEST_PATH_IMAGE010
为预设置信度阈值。
4.根据权利要求2所述的基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法，其特征在于所述的步骤（2.2）具体为：
根据离线盲区相机标定的道路平面映射矩阵
Figure DEST_PATH_IMAGE012
，按如下公式计算图像坐标对应的路面现实距离；
Figure DEST_PATH_IMAGE014
其中，
Figure DEST_PATH_IMAGE016
为实际坐标，
Figure DEST_PATH_IMAGE018
为图像坐标，下标L、R分别对应左、右盲区相机。
5.根据权利要求2所述的基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法，其特征在于所述的步骤（2.3）盲区车辆跟踪具体为：
利用卡尔曼滤波基于匀速运动学模型，预测盲区车辆运动：
Figure DEST_PATH_IMAGE020
Figure DEST_PATH_IMAGE022
Figure DEST_PATH_IMAGE024
Figure DEST_PATH_IMAGE026
Figure DEST_PATH_IMAGE028
Figure DEST_PATH_IMAGE030
其中，(
Figure DEST_PATH_IMAGE032
)为目标的相对位置，(
Figure DEST_PATH_IMAGE034
) 为目标的宽度和高度，(
Figure DEST_PATH_IMAGE036
)为目标的相对速度,
Figure DEST_PATH_IMAGE038
为t-1时刻到t时刻的相对时间。
6.根据权利要求2所述的基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法，其特征在于所述的步骤（2.5）具体为：
计算自身车辆与盲区车辆预碰撞时间TTC：公式如下，其中Di为自身车辆和盲区车辆间的距离，
Figure DEST_PATH_IMAGE040
为盲区车辆的相对速度，
Figure DEST_PATH_IMAGE042
；
计算自身车辆车道预偏离时间TLC：公式如下，其中Li为单侧车道线和自身车辆间的距离，
Figure DEST_PATH_IMAGE044
为该车道线在车辆坐标系下与自身车辆航向的夹角，
Figure DEST_PATH_IMAGE046
为自身车辆车速，
Figure DEST_PATH_IMAGE048
。
7.根据权利要求1所述的基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法，其特征在于所述的步骤③具体为：
当自身车辆和盲区车辆间的距离小于预设阈值或单侧车道线和自身车辆间的距离小于预设阈值时，进行转向扭矩控制，转向扭矩控制方法包括回调阶段和回正阶段，计算综合偏移量
Figure DEST_PATH_IMAGE050
，
Figure DEST_PATH_IMAGE052
Figure DEST_PATH_IMAGE054
，
Figure DEST_PATH_IMAGE056
为车身偏航角，
Figure DEST_PATH_IMAGE058
为车身偏航率，
Figure DEST_PATH_IMAGE060
为车道线曲率，
Figure DEST_PATH_IMAGE062
为车身纵向速度；其中，
Figure DEST_PATH_IMAGE064
，
Figure DEST_PATH_IMAGE066
，
Figure DEST_PATH_IMAGE068
和
Figure DEST_PATH_IMAGE070
是四个与速度相关的可调参数，对应回调阶段和回正阶段，分别设立回调阶段可调参数表和回正阶段可调参数表；
综合偏移量输入给PID控制器，通过PID控制方法，PID控制器输出转向扭矩给电子转向系统对车辆进行转向扭矩控制，使得车辆在无变道意图且即将偏离行驶车道时或有变道意图且有碰撞风险时能够回到当前行驶车道。
8.根据权利要求1或2或7所述的基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法，其特征在于所述的步骤②和步骤③之间设有预警方法：将步骤②计算所得的自身车辆与盲区车辆预碰撞时间以及自身车辆车道预偏离时间，分别和盲区车辆预碰撞时间预设阈值及车道预偏离时间预设阈值进行比对，判断分级预警的级别，通过声音以及图形界面两种交互方式向驾驶者发出分级预警。
CN201910811032.2A 2019-08-29 2019-08-29 基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法 Active CN110775057B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910811032.2A CN110775057B (zh) 2019-08-29 2019-08-29 基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910811032.2A CN110775057B (zh) 2019-08-29 2019-08-29 基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法

Publications (2)

Publication Number Publication Date
CN110775057A CN110775057A (zh) 2020-02-11
CN110775057B true CN110775057B (zh) 2020-12-15

Family

ID=69383364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910811032.2A Active CN110775057B (zh) 2019-08-29 2019-08-29 基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法

Country Status (1)

Country Link
CN (1) CN110775057B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111207875B (zh) * 2020-02-25 2021-06-25 青岛理工大学 基于多粒度并联cnn模型的肌电信号-扭矩匹配方法
CN113760419A (zh) * 2020-09-23 2021-12-07 北京沃东天骏信息技术有限公司 显示图像的方法、装置、设备和计算机可读介质
CN112429081A (zh) * 2020-11-27 2021-03-02 奇瑞汽车股份有限公司 一种辅助车辆转向的方法、装置及车辆
CN112590793B (zh) * 2020-12-24 2022-03-15 奇瑞汽车股份有限公司 汽车的变道控制方法、装置及计算机存储介质
GB2602476A (en) * 2020-12-31 2022-07-06 Zf Automotive Uk Ltd Automotive vehicle lane keep assist system
GB2602477A (en) * 2020-12-31 2022-07-06 Zf Automotive Uk Ltd Automotive vehicle control circuit
CN113239912B (zh) * 2021-07-13 2021-09-17 天津所托瑞安汽车科技有限公司 Bsd图像有效区域的确定方法、设备和存储介质
CN115050006B (zh) * 2022-06-21 2023-07-18 荆州职业技术学院 一种基于卷积神经网络的车道偏离预警方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202345534U (zh) * 2011-11-14 2012-07-25 长安大学 一种智能化的汽车车道变换预警系统
KR101428165B1 (ko) * 2012-06-29 2014-08-07 엘지이노텍 주식회사 차선이탈 경고 시스템 및 차선이탈 경고 방법
CN107031661A (zh) * 2017-03-16 2017-08-11 浙江零跑科技有限公司 一种基于盲区相机输入的变道预警方法及系统
CN107229906A (zh) * 2017-05-08 2017-10-03 上海工程技术大学 一种基于可变部件模型算法的汽车超车预警方法
CN109934076A (zh) * 2017-12-19 2019-06-25 广州汽车集团股份有限公司 视觉盲区的场景图像的生成方法、装置、系统及终端设备
CN109409215A (zh) * 2018-09-14 2019-03-01 广州大学 基于深度卷积神经网络的前方车辆半遮挡人体的检测方法

Also Published As

Publication number Publication date
CN110775057A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
CN110775057B (zh) 基于车载盲区视觉场景分析控制转向扭矩的车道辅助方法
CN109649393B (zh) 一种自动驾驶变换车道的路径规划方法及装置
CN108986540B (zh) 车辆控制系统和方法、以及行驶辅助服务器
US10988139B2 (en) Vehicle position control method and device vehicle position control device for correcting position in drive-assisted vehicle
CN109789873B (zh) 车辆控制装置
US9983591B2 (en) Autonomous driving at intersections based on perception data
US11182628B2 (en) Automatically perceiving travel signals
JP2008049918A (ja) 車両用制御装置、及び、車両用表示装置
US10650256B2 (en) Automatically perceiving travel signals
CN110045736B (zh) 一种基于无人机的弯道障碍物避让方法
US20180299893A1 (en) Automatically perceiving travel signals
US20210070288A1 (en) Driving assistance device
JP2023126642A (ja) 情報処理装置、情報処理方法、及び、情報処理システム
US11042759B2 (en) Roadside object recognition apparatus
CN110796102B (zh) 一种车辆目标感知系统及方法
Gern et al. Robust vehicle tracking fusing radar and vision
CN110576849A (zh) 车辆的行驶控制装置
CN110647801A (zh) 设置感兴趣区域的方法、装置、存储介质及电子设备
US20180300566A1 (en) Automatically perceiving travel signals
EP4184452A1 (en) Vehicle light classification system
CN111103882A (zh) 一种无人驾驶电动汽车的自主跟车控制方法
CN113228131A (zh) 用于提供周围环境数据的方法和系统
CN113200044A (zh) 用于低速驾驶辅助的方法和设备
US20220348199A1 (en) Apparatus and method for assisting driving of vehicle
CN114954452A (zh) 一种基于自适应巡航的车速控制方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 310051 1st and 6th floors, no.451 Internet of things street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Zhejiang Zero run Technology Co.,Ltd.

Address before: 310051 1st and 6th floors, no.451 Internet of things street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: ZHEJIANG LEAPMOTOR TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder