CN113942524A - 一种车辆行驶控制方法、系统及计算机可读存储介质 - Google Patents

一种车辆行驶控制方法、系统及计算机可读存储介质 Download PDF

Info

Publication number
CN113942524A
CN113942524A CN202010682654.2A CN202010682654A CN113942524A CN 113942524 A CN113942524 A CN 113942524A CN 202010682654 A CN202010682654 A CN 202010682654A CN 113942524 A CN113942524 A CN 113942524A
Authority
CN
China
Prior art keywords
track
predicted
vehicle
lane
running
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010682654.2A
Other languages
English (en)
Other versions
CN113942524B (zh
Inventor
王丹
王灿烨
王玉龙
裴锋
李智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Automobile Group Co Ltd
Original Assignee
Guangzhou Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Automobile Group Co Ltd filed Critical Guangzhou Automobile Group Co Ltd
Priority to CN202010682654.2A priority Critical patent/CN113942524B/zh
Publication of CN113942524A publication Critical patent/CN113942524A/zh
Application granted granted Critical
Publication of CN113942524B publication Critical patent/CN113942524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明提供一种车辆行驶控制方法、系统和计算机可读存储介质，其中，该方法包括：获取第一时刻的前方图像；利用预先训练好的第一神经网络模型对所述第一时刻的前方图像进行处理，获得第一预测轨迹；以及对所述第一时刻的前方图像进行图像识别获得第一环境感知结果，并根据所述第一环境感知结果和当前车速生成第二预测轨迹；根据所述第一预测轨迹和所述第二预测轨迹确定车辆的最终行驶轨迹；根据所述最终行驶轨迹生成行驶指令，并将所述行驶指令发送至车辆的行驶执行机构，以控制所述行驶执行机构执行所述行驶指令。本方法使无人车辆遵守交通规则，避免发生碰撞等危险行为，提高了自动驾驶的安全性，降低了自动驾驶中人工干预次数。

Description

一种车辆行驶控制方法、系统及计算机可读存储介质
技术领域
本发明涉及车辆驾驶控制技术领域，尤其涉及一种车辆行驶控制方法、系统及计算机可读存储介质。
背景技术
在现有的自动驾驶中，都是采用基于规则的模块化方法，一般分为感知、决策规划和控制。模块化的方案依赖于各个模块化的精细复杂设计，而人为设计的系统往往覆盖不了各种驾驶场景，比如感知模块需要以一种有意义的表示形式完美地表征外部环境，才能有助于决策与控制模块，而端到端方案更接近于人类本质，是一种模仿学习的纯AI算法，但端到端算法缺乏一定的可解释行和与安全性。
发明内容
本发明所要解决的技术问题在于，提供一种车辆行驶控制方法、系统和计算机可读介质，以解决现有技术中单独使用基于规则的模块化进行控制或单独使用端到端算法进行控制而存在的驾驶不安全的问题。
为了解决上述技术问题，本发明一方面提供一种车辆行驶控制方法，包括如下步骤：
获取第一时刻的前方图像；
利用预先训练好的第一神经网络模型对所述第一时刻的前方图像进行处理，生成第一预测轨迹；以及对所述第一时刻的前方图像进行图像识别获得第一环境感知结果，根据所述第一环境感知结果生成第二预测轨迹；
根据所述第一预测轨迹和所述第二预测轨迹确定车辆的最终行驶轨迹；
根据所述最终行驶轨迹生成行驶指令，并将所述行驶指令发送至车辆的行驶执行机构，以控制所述行驶执行机构执行所述行驶指令。
其中，所述利用预先训练好的第一神经网络模型对所述第一时刻的前方图像进行处理，获得第一预测轨迹具体包括：
将所述第一时刻的前方图像输入预先训练好的第一神经网络模型中，获得设定数量的预测轨迹点的坐标；
对所述设定数量的预测轨迹点的坐标进行拟合，生成第一预测轨迹。
其中，所述对所述第一时刻的前方图像进行图像识别获得第一环境感知结果，并根据所述第一环境感知结果生成第二预测轨迹具体包括：
将所述第一时刻的前方图像输入预先训练好的第二神经网络模型中，获得所述第一环境感知结果；以及根据所述车辆当前位置信息和车速信息生成多个初始预测轨迹，其中，所述第一环境感知结果至少包括第一障碍物信息；
利用所述第一障碍物信息对所述多个初始预测轨迹进行碰撞检测，并根据碰撞检测结果获得安全轨迹；
计算所述安全轨迹的损失函数值，将损失函数值最小的安全轨迹确定为所述第二预测轨迹。
其中，所述利用所述第一障碍物信息对所述多个初始预测轨迹进行碰撞检测，并根据碰撞检测结果获得安全轨迹具体包括：
计算所述初始预测轨迹的路径点与所述第一障碍物之间的欧式距离；
判断所述欧式距离是否满足预设条件，将满足预设条件的初始预测轨迹确定为安全轨迹。
其中，所述根据所述第一预测轨迹和所述第二预测轨迹确定车辆的最终行驶轨迹具体包括：
获取第二时刻的前方图像，根据所述第二时刻的前方图像获得第二感知结果，其中，所述第二时刻滞后于所述第一时刻，所述第二环境感知结果至少包括第二障碍物信息和车辆当前行驶车道的车道线信息；
根据所述车道线信息分别确定所述第一预测轨迹和所述第二预测轨迹是否偏离车道线；以及利用所述第二障碍物信息分别对所述第一预测轨迹和所述第二预测轨迹进行碰撞检测；
若第一预测轨迹和第二预测轨迹均不与所述障碍物发生碰撞，且所述第一预测轨迹和所述第二预测轨迹均未偏离当前行驶车道，则分别计算所述第一预测轨迹和所述第二预测轨迹与当前行驶车道的车道中线的距离值，将距离值小的预测轨迹确定为最终行驶路径，若在所述第一预测轨迹和第二预测轨迹中，只有其中一条预测轨迹与第二障碍物发生碰撞或偏离车道，则将未与所述第二障碍物发生碰撞并且未偏离车道的预测轨迹确定为最终行驶路径，若所述第一预测轨迹与所述第二障碍物发生碰撞或偏离车道，并且所述第二预测轨迹与所述第二障碍物发生碰撞或偏离车道，则控制车辆停车。
其中，所述根据所述最终行驶轨迹生成行驶指令具体包括：
根据所述最终行驶路径计算所述车辆的前轮偏角，根据车辆的当前行驶速度和所述最终行驶路径对应的目标行驶速度计算所述车辆的踏板力度，并输出所述前轮偏角和所述踏板力度。
本发明第二方面还提供一种车辆行驶控制系统，包括：
获取单元，用于实时获取车辆前方图像；
第一预测轨迹确定单元，用于利用预先训练好的第一神经网络模型对所述第一时刻的前方图像进行处理，获得第一预测轨迹；
第二预测轨迹确定单元，用于对所述第一时刻的前方图像进行图像识别获得第一环境感知结果，并根据所述第一环境感知结果和当前车速生成第二预测轨迹；
最终行驶轨迹确定单元，用于根据所述第一预测轨迹和所述第二预测轨迹确定车辆的最终行驶轨迹；
控制指令生成单元，用于根据所述最终行驶轨迹生成行驶指令，并将所述行驶指令发送至车辆的行驶执行机构，以控制所述行驶执行机构执行所述行驶指令。
其中，所述第一预测轨迹确定单元具体包括：
预测点坐标生成单元，用于将所述第一时刻的前方图像输入预先训练好的第一神经网络模型中，获得设定数量的预测轨迹点的坐标；
第一预测轨迹生成单元，用于对所述设定数量的预测轨迹点的坐标进行拟合，根据拟合结果生成第一预测轨迹。
其中，所述第二预测轨迹确定单元具体包括：
第一环境感知结果输出单元，用于将所述第一时刻的前方图像输入预先训练好的第二神经网络模型中，获得所述第一环境感知结果，其中，所述第一环境感知结果至少包括第一障碍物信息；
初始预测轨迹生成单元，用于根据所述车辆当前位置信息和车速信息生成多个初始预测轨迹；
安全轨迹确定单元，用于利用所述第一障碍物信息对所述多个初始预测轨迹进行碰撞检测，并根据碰撞检测结果获得安全轨迹；
第二预测轨迹生成单元，用于计算所述安全轨迹的损失函数值，将损失函数值最小的安全轨迹确定为所述第二预测轨迹。
其中，所述安全轨迹确定单元具体包括：
欧式距离计算单元，用于计算所述初始预测轨迹的路径点与所述障碍物点之间的欧式距离；
判断单元，用于判断所述欧式距离是否满足预设条件，将满足预设条件的初始预测轨迹确定为安全轨迹。
其中，所述最终行驶路径确定单元具体包括：
第二环境感知结果输出单元，用于获取第二时刻的前方图像，根据所述第二时刻的前方图像获得第二感知结果，其中，所述第二时刻滞后于所述第一时刻，所述第二环境感知结果至少包括第二障碍物信息和车辆当前行驶车道的车道线信息；
检测单元，用于根据所述车道线信息确定所述第一预测轨迹和所述第二预测轨迹是否偏离车道线，并利用所述第二障碍物信息分别对所述第一预测轨迹和所述第二预测轨迹进行碰撞检测；
最终行驶路径生成单元，用于在第一预测轨迹和第二预测轨迹均不与所述障碍物发生碰撞，且所述第一预测轨迹和所述第二预测轨迹均未偏离车道，则分别计算所述第一预测轨迹和所述第二预测轨迹与车道中线的距离，将距离值小对应的预测轨迹确定为最终行驶路径，在所述第一预测轨迹和第二预测轨迹中，只有其中一条路径与第二障碍物发生碰撞或偏离车道，则将未与所述第二障碍物发生碰撞并且未偏离车道的预测轨迹确定为最终行驶路径，所述第一预测轨迹与所述第二障碍物发生碰撞或偏离车道，并且所述第二预测轨迹与所述第二障碍物发生碰撞或偏离车道，则控制车辆停车。
其中，所述控制指令生成单元包括：
前轮偏角计算单元，用于根据所述最终行驶路径计算所述车辆的前轮偏角；
踏板力度计算单元，用于根据所述最终行驶路径对应的目标行驶速度和车辆的当前行驶速度计算所述车辆的踏板力度；
输出单元，用于输出所述前轮偏角和所述踏板力度。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述方法的步骤。
本发明实施例的有益效果在于：通过获取第一时刻的前方图像，将第一时刻的前方图像分别输入第一神经网络模型和第二神经网络模型中，第一神经网络模型采用端到端的深度学习方法获得第一预测轨迹，第二神经网络通过获得第一环境感知结果，并根据所述第一环境感知结果获得第二预测轨迹，通过对第一预测轨迹和第二预测轨迹进行校验获得最终的行驶路径，并根据最终行驶路径生成控制指令以控制车辆行驶。该方法使无人车辆遵守交通规则，避免发生碰撞等危险行为，提高了自动驾驶的安全性，降低了自动驾驶中人工干预次数。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一种车辆行驶控制方法的流程示意图；
图2是本发明实时例一种车辆行驶控制方法的一具体步骤的流程示意图；
图3是本发明实施例一种车辆行驶控制系统的结构示意图。
具体实施方式
以下各实施例的说明是参考附图，用以示例本发明可以用以实施的特定实施例。
以下参照图1所示，本发明实施例一提供一种车辆行驶控制方法，包括如下步骤：
S1、实时获取车辆前方图像。
具体地，利用车辆自身的传感器实时采集车辆前方的图像。
S2、利用预先训练好的第一神经网络模型对所述第一时刻的前方图像进行处理，生成第一预测轨迹；以及对所述第一时刻的前方图像进行图像识别获得第一环境感知结果，根据所述第一环境感知结果生成第二预测轨迹。
为了训练第一神经网络模型，需要先确定用于训练所述第一神经网络模型的训练集、设计所述第一神经网络模型的深度学习网络，其中，确定训练集即需要确定训练集中的输入历史图像对应的数据标签输出。
在一具体实施方式中，所述第一神经网络模型的数据标签输出可以是通过记录的汽车历史状态数据表计算出来车辆未来行驶轨迹。该数据表为实际行车时对CAN数据的录制，包括车辆的方向盘转角。其中，方向盘转角可通过下面公式转换得到两轮车模型对应的前轮转角。
Figure BDA0002586399870000061
其中，Wac是前轮转角，x是方向盘转角。车辆短距离的未来行驶轨迹可以根据当前车辆的状态推测，短距离内我们默认汽车的状态没有改变，即方向盘转角未发生变化。通过阿克曼转向将汽车转换为两轮车模型，车辆位置为后轴中心坐标。通过两轮车模型，只要得到前轮转向角度及短距离行程，通过几何计算即可知道执行该行程后车辆的轨迹。整个车辆行驶轨迹等效于设定距离的轨迹点集合。该设定距离的轨迹点的集合为第一神经网络模型的数据标签输出。
更具体地，该设定距离可以设定为30米，每1米的距离选取一个轨迹点，未来行驶轨迹是由30个轨迹点构成，在车辆坐标系下对30个轨迹点进行三次线性拟合，然后在Y向等距离下采样到5个轨迹点，下采样后Y向坐标点值固定为(6米，12米，18米，24米，30米)，分别找到Y像坐标点固定值对应的X向坐标点值。通过摄像头的内外参数做透视变换，可以将车辆坐标系下俯视图的轨迹点转换成摄像头图像视角的轨迹点，第一模型输出转换后的这5个点的坐标值。
在一具体实施方式中，第一神经网络模型基于CNN和RNN来预测车辆的第一行驶轨迹。其中，CNN用于场景特征提取，采用经典的残差网络结构ResNet，迁移了在ILSVRC2012图像分类上预训练过的ResNet50模型，特征提取网络的最后一层feature是2048维度。RNN采用Encoder-Decoder网络结构，如图2所示，使用灵活性较大的Raw_rnn形式，由一层LSTMcell构成，神经元的大小为128，序列长度设置为5。上一时间序列轨迹点的LSTM网络结构的输出状态可作为当前时间序列的LSTM网络结构初始化状态值，同时当前时间序列LSTM网络结构中的每一时刻的输入不仅包含隐藏层状态，还包括上一时刻的输出轨迹点坐标以及当前时刻的场景特征，即2048维特征。FC层用来输出5个预测坐标点值。
将所述第一时刻的前方图像输入预先训练好的第一神经网络模型中，获得5个预测点坐标点值，对所述5个坐标点值进行拟合，获得第一预测轨迹。
在一具体实施方式中，对所述第一时刻的前方图像进行图像识别获得第一环境感知结果，并根据所述第一环境感知结果和当前车速生成第二预测轨迹，如图2所示，具体包括：
S21、将所述第一时刻的前方图像输入预先训练好的第二神经网络模型中，获得所述第一环境感知结果；以及根据所述车辆当前位置信息和车速信息生成多个初始预测轨迹，其中，所述第一环境感知结果至少包括第一障碍物信息。
具体地，所述第二神经网络模型采用AI算法对第一时刻的前方图像中的环境信息进行检测、识别和跟踪，获得第一环境感知结果，所述第一环境感知结果包括车辆周围的第一障碍物信息、车道线和红路灯等，其中第一障碍物信息包括所述车辆周围正在行驶的车辆、行人等。
更具体地，采用AI算法对环境信息进行检测、识别和跟踪具体包括：
S21a、建立一个空的目标集合，所述目标集合用于记录当前所跟踪的所有目标，所述所有的目标包括本车周围正在行驶的车辆、行人、车道线和红绿灯等。
S22b、将第一时刻的前方图像输入第二神经网络模型中进行检测，输出结果经过后处理得到当前帧的所有目标。
具体地，车辆、行人、红绿灯的检测均采用的是YOLO-v3，网络输入为第一时刻的前方图像，输出为3个不同尺度的特征图，然后采用多个尺度融合的方式做边框预测，接着通过设置目标置信度阈值和NMS操作对全部边框进行筛选，最后选择符合条件的边框信息(x,y,w,h)输出。
具体地，车道线检测采用类似Inception v1网络结构，将图片划分为18*32网格，每个网格预测一条车道线，而且对每条车道线最多预测72个点，这72个点的y值为固定值，分别为(3，7，…，283，287)，然后根据车道高度预测值取部分或全部y值。每条车道线分为上车道线和下车道线，分别预测每个点的偏移值得到预测点的x坐标，然后将上下车道线的点组合成一条车道线，最后通过NMS、排序及坐标缩放等操作得到车道线点集。
S23c、选取目标的特征作为跟踪特征，采用匈牙利匹配算法将处理后的目标特征与当前正在跟踪的目标进行匹配，若匹配成功，则使用卡尔曼滤波算法对其进行更新，反之，若匹配失败，则直接将它加入当前需跟踪的目标集合中并赋予新的标号，另外，若集合中的元素多次匹配失败，则将之删除。
具体地，比如以车辆中心在图片中的坐标和宽度、高度作为车辆的特征；使用三次多项式对当前帧的每条车道线的点进行拟合，拟合后的多项式系数作为车道线的特征；采用匈牙利匹配算法将处理后的目标特征与当前正在跟踪的目标进行匹配，若匹配成功，则使用卡尔曼滤波算法对其进行更新，反之，若匹配失败，则直接将它加入当前需跟踪的目标集合中并赋予新的标号，另外，若集合中的元素多次匹配失败，则将之删除。
S22、根据所述车辆当前位置信息和车速信息生成多个初始预测轨迹。
在一具体实施方式中，根据所述车辆当前车速和车辆当前位置信息采用触须法生成多条初始预测轨迹。
S23、利用所述第一障碍物信息对所述多个初始预测轨迹进行碰撞检测，并根据碰撞检测结果获得安全轨迹。
S24、计算所述安全轨迹的损失函数值，将损失函数值最小的安全轨迹确定为所述第二预测轨迹。
在一具体实施方式中，利用第一障碍物信息对所述初始预测轨迹机进行碰撞检测具体包括：将初始预测轨迹进行离散，获得初始预测轨迹的离散点，采用下式计算初始预测轨迹的离散点与障碍物点之间的欧式距离，若所述欧式距离小于设定的阈值，则认为所述初始预测轨迹与障碍物具有碰撞风险，剔除该路径，若所述欧式距离大于或等于所述设定的阈值，则进一步计算所述安全轨迹的损失函数，将损失函数最小值对应的安全轨迹确定为第二预测轨迹。具体如下：
Figure BDA0002586399870000091
其中(xp,yp)∈P为初始预测轨迹的离散路径点，(xq,yq)∈Q为障碍物点集，v为车辆当前速度，e为经验值，此处取0.2。
L＝ccyc+chesyhes+cwyw
其中，L为损失函数值，yc代表预测路径终点与车辆在Y轴方向上的距离，yhes代表此次预测路径终点与上一时刻预测路径终点在Y轴方向上的距离，yw代表预测路径终点与导航路点在Y轴方向上的距离；cc、ches、cw分别是上述三个变量的系数。
S3、根据所述第一预测轨迹和所述第二预测轨迹确定车辆的最终行驶轨迹。
具体地，接收第二时刻的前方图像，根据所述第二时刻的前方图像输出第二感知结果，其中，所述第二时刻滞后于所述第一时刻，所述第二环境感知结果至少包括第二障碍物信息和车辆当前行驶车道的车道线信息，根据所述车道线信息检测第一预测轨迹和第二预测轨迹是否偏离车道并根据所述第二障碍物信息分别对所述第一预测轨迹和所述第二预测轨迹进行碰撞检测，
若第一预测路径和第二预测路径均不与所述障碍物发生碰撞，且所述第一预测路径和所述第二预测路径均未偏离车道，则分别计算所述第一预测路径和所述第二预测路径与车道中线的距离，将距离值小对应的预测路径确定为最终行驶路径，若在所述第一预测路径和第二预测路径中，只有其中一条路径与第二障碍物发生碰撞或偏离车道，则将未与所述第二障碍物发生碰撞并且未偏离车道的预测路径确定为最终行驶路径，若所述第一预测路径与所述第二障碍物发生碰撞或偏离车道，并且所述第二预测路径与所述第二障碍物发生碰撞或偏离车道，则控制车辆停车。
具体地，判断所述第一预测轨迹和所述第二预测轨迹与所述第二障碍物是否碰撞的方法与所述初始预测轨迹与所述第一障碍物是否碰撞的方法相同，因而在此不再赘述。
具体地，对于第一预测轨迹，通过判断第一预测轨迹是否在当前车道线的范围内，若第一预测轨迹在当前车道线的范围内，则所述第一预测轨迹没有偏离车道，否则第一预测轨迹偏离当前车道。
具体地，对于第二预测轨迹，其是否偏离车道的判断方法与第一预测轨迹偏离车道的判断方向相同，因而不再赘述。
S4、根据所述最终行驶轨迹生成行驶指令，并将所述行驶指令发送至车辆的行驶执行机构，以控制所述行驶执行机构执行所述行驶指令。
在一具体实施方式中，根据所述最终行驶路径计算所述车辆的前轮偏角，根据所述最终行驶路径对应的目标行驶速度和车辆的当前行驶速度计算所述车辆的踏板力度，并输出所述前轮偏角和所述踏板力度。
具体地，根据车辆速度选择跟随点，并计算跟随点与车辆质心在X轴方向的距离；
Figure BDA0002586399870000101
其中，Lfw为跟随点与车辆质心在X轴方向的距离，v为车辆的当前行驶速度。
具体地，采用下式确定车辆质心与跟随点之间的欧式距离L：
Figure BDA0002586399870000111
其中，lfw为欧式距离，(xi,yi)为跟随点坐标，(x,y)为车辆质心坐标。
具体地，采用下式计算车辆前轮偏角：
Figure BDA0002586399870000112
其中，θ为车辆朝向与跟随点连线之间夹角，s为车辆轴距。
本发明实施例的车辆行驶控制方法，通过获取第一时刻的前方图像，将第一时刻的前方图像分别输入第一神经网络模型和第二神经网络模型中，第一神经网络模型采用端到端的深度学习方法获得第一预测轨迹，第二神经网络通过获得第一环境感知结果，并根据所述第一环境感知结果获得第二预测轨迹，通过对第一预测轨迹和第二预测轨迹进行校验获得最终的行驶路径，并根据最终行驶路径生成控制指令以控制车辆行驶。该方法使无人车辆遵守交通规则，避免发生碰撞等危险行为，提高了自动驾驶的安全性，降低了自动驾驶中人工干预次数。
基于本发明实施例一，本发明实施例二提供一种车辆行驶控制系统，如图3所示，该系统100，包括：获取单元1、第一预测轨迹确定单元2、第二预测轨迹确定单元3、最终行驶轨迹确定单元4和控制指令生成单元5，其中，获取单元1用于实时获取车辆前方图像；第一预测轨迹确定单元2用于利用预先训练好的第一神经网络模型对所述第一时刻的前方图像进行处理，获得第一预测轨迹；第二预测轨迹确定单元3用于对所述第一时刻的前方图像进行图像识别获得第一环境感知结果，并根据所述第一环境感知结果和当前车速生成第二预测轨迹；最终行驶轨迹确定单元4用于根据所述第一预测轨迹和所述第二预测轨迹确定车辆的最终行驶轨迹；控制指令生成单元5用于根据所述最终行驶轨迹生成行驶指令，并将所述行驶指令发送至车辆的行驶执行机构，以控制所述行驶执行机构执行所述行驶指令。
其中，所述第一预测轨迹确定单元2具体包括：预测点坐标生成单元，用于将所述第一时刻的前方图像输入预先训练好的第一神经网络模型中，获得设定数量的预测轨迹点的坐标；第一预测轨迹生成单元，用于对所述设定数量的预测轨迹点的坐标进行拟合，根据拟合结果生成第一预测轨迹。
其中，所述第二预测轨迹确定单元3具体包括：第一环境感知结果输出单元，用于将所述第一时刻的前方图像输入预先训练好的第二神经网络模型中，获得所述第一环境感知结果，其中，所述第一环境感知结果至少包括第一障碍物信息；初始预测轨迹生成单元，用于根据所述车辆当前位置信息和车速信息生成多个初始预测轨迹；安全轨迹确定单元，用于利用所述第一障碍物信息对所述多个初始预测轨迹进行碰撞检测，并根据碰撞检测结果获得安全轨迹；第二预测轨迹生成单元，用于计算所述安全轨迹的损失函数值，将损失函数值最小的安全轨迹确定为所述第二预测轨迹。
其中，所述安全轨迹确定单元具体包括：欧式距离计算单元，用于计算所述初始预测轨迹的路径点与所述障碍物点之间的欧式距离；
判断单元，用于判断所述欧式距离是否满足预设条件，将满足预设条件的初始预测轨迹确定为安全轨迹。
其中，所述最终行驶路径确定单元4具体包括：第二环境感知结果输出单元，用于获取第二时刻的前方图像，根据所述第二时刻的前方图像获得第二感知结果，其中，所述第二时刻滞后于所述第一时刻，所述第二环境感知结果至少包括第二障碍物信息和车辆当前行驶车道的车道线信息；检测单元，用于根据所述车道线信息确定所述第一预测轨迹和所述第二预测轨迹是否偏离车道线，并利用所述第二障碍物信息分别对所述第一预测轨迹和所述第二预测轨迹进行碰撞检测；最终行驶路径生成单元，用于在第一预测轨迹和第二预测轨迹均不与所述障碍物发生碰撞，且所述第一预测轨迹和所述第二预测轨迹均未偏离车道，则分别计算所述第一预测轨迹和所述第二预测轨迹与车道中线的距离，将距离值小对应的预测轨迹确定为最终行驶路径，在所述第一预测轨迹和第二预测轨迹中，只有其中一条路径与第二障碍物发生碰撞或偏离车道，则将未与所述第二障碍物发生碰撞并且未偏离车道的预测轨迹确定为最终行驶路径，所述第一预测轨迹与所述第二障碍物发生碰撞或偏离车道，并且所述第二预测轨迹与所述第二障碍物发生碰撞或偏离车道，则控制车辆停车。
其中，所述控制指令生成单元5包括：前轮偏角计算单元，用于根据所述最终行驶路径计算所述车辆的前轮偏角；踏板力度计算单元，用于根据所述最终行驶路径对应的目标行驶速度和车辆的当前行驶速度计算所述车辆的踏板力度；输出单元，用于输出所述前轮偏角和所述踏板力度。
基于本发明实施例一，本发明实施例三还提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述方法的步骤。
有关本实施例的工作原理以及所带来的有益效果请参照本发明实施例一的说明，此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)以及存储器总线动态RAM(RDRAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (13)

1.一种车辆行驶控制方法，其特征在于，包括如下步骤：
获取第一时刻的前方图像；
利用预先训练好的第一神经网络模型对所述第一时刻的前方图像进行处理，生成第一预测轨迹；以及对所述第一时刻的前方图像进行图像识别获得第一环境感知结果，根据所述第一环境感知结果生成第二预测轨迹；
根据所述第一预测轨迹和所述第二预测轨迹确定车辆的最终行驶轨迹；
根据所述最终行驶轨迹生成行驶指令，并将所述行驶指令发送至车辆的行驶执行机构，以控制所述行驶执行机构执行所述行驶指令。
2.根据权利要求1所述的方法，其特征在于，所述利用预先训练好的第一神经网络模型对所述第一时刻的前方图像进行处理，生成第一预测轨迹具体包括：
将所述第一时刻的前方图像输入预先训练好的第一神经网络模型中，获得设定数量的预测轨迹点的坐标；
对所述设定数量的预测轨迹点的坐标进行拟合，生成第一预测轨迹。
3.根据权利要求1或2所述的方法，其特征在于，所述对所述第一时刻的前方图像进行图像识别获得第一环境感知结果，并根据所述第一环境感知结果生成第二预测轨迹具体包括：
将所述第一时刻的前方图像输入预先训练好的第二神经网络模型中，获得所述第一环境感知结果；以及根据所述车辆当前位置信息和车速信息生成多个初始预测轨迹，其中，所述第一环境感知结果至少包括第一障碍物信息；
利用所述第一障碍物信息对所述多个初始预测轨迹进行碰撞检测，并根据碰撞检测结果获得安全轨迹；
计算所述安全轨迹的损失函数值，将损失函数值最小的安全轨迹确定为所述第二预测轨迹。
4.根据权利要求3所述的方法，其特征在于，所述利用所述第一障碍物信息对所述多个初始预测轨迹进行碰撞检测，并根据碰撞检测结果获得安全轨迹具体包括：
计算所述初始预测轨迹的路径点与所述第一障碍物之间的欧式距离；
判断所述欧式距离是否满足预设条件，将满足预设条件的初始预测轨迹确定为安全轨迹。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一预测轨迹和所述第二预测轨迹确定车辆的最终行驶轨迹具体包括：
获取第二时刻的前方图像，根据所述第二时刻的前方图像获得第二感知结果，其中，所述第二时刻滞后于所述第一时刻，所述第二环境感知结果至少包括第二障碍物信息和车辆当前行驶车道的车道线信息；
根据所述车道线信息分别确定所述第一预测轨迹和所述第二预测轨迹是否偏离车道线；以及利用所述第二障碍物信息分别对所述第一预测轨迹和所述第二预测轨迹进行碰撞检测；
若第一预测轨迹和第二预测轨迹均不与所述障碍物发生碰撞，且所述第一预测轨迹和所述第二预测轨迹均未偏离当前行驶车道，则分别计算所述第一预测轨迹和所述第二预测轨迹与当前行驶车道的车道中线的距离值，将距离值小的预测轨迹确定为最终行驶路径，若在所述第一预测轨迹和第二预测轨迹中，只有其中一条预测轨迹与第二障碍物发生碰撞或偏离车道，则将未与所述第二障碍物发生碰撞并且未偏离车道的预测轨迹确定为最终行驶路径，若所述第一预测轨迹与所述第二障碍物发生碰撞或偏离车道，并且所述第二预测轨迹与所述第二障碍物发生碰撞或偏离车道，则控制车辆停车。
6.根据权利要求5所述的方法，其特征在于，所述根据所述最终行驶轨迹生成行驶指令具体包括：
根据所述最终行驶路径计算所述车辆的前轮偏角，根据车辆的当前行驶速度和所述最终行驶路径对应的目标行驶速度计算所述车辆的踏板力度，并输出所述前轮偏角和所述踏板力度。
7.一种车辆行驶控制系统，其特征在于，包括：
获取单元，用于获取车辆前方图像；
第一预测轨迹确定单元，用于利用预先训练好的第一神经网络模型对所述第一时刻的前方图像进行处理，生成第一预测轨迹；
第二预测轨迹确定单元，用于对所述第一时刻的前方图像进行图像识别获得第一环境感知结果，根据所述第一环境感知结果生成第二预测轨迹；
最终行驶轨迹确定单元，用于根据所述第一预测轨迹和所述第二预测轨迹确定车辆的最终行驶轨迹；
控制指令生成单元，用于根据所述最终行驶轨迹生成行驶指令，并将所述行驶指令发送至车辆的行驶执行机构，以控制所述行驶执行机构执行所述行驶指令。
8.根据权利要求7所述的系统，其特征在于，所述第一预测轨迹确定单元具体包括：
预测点坐标生成单元，用于将所述第一时刻的前方图像输入预先训练好的第一神经网络模型中，获得设定数量的预测轨迹点的坐标；
第一预测轨迹生成单元，用于对所述设定数量的预测轨迹点的坐标进行拟合，生成第一预测轨迹。
9.根据权利要求7或8所述的系统，其特征在于，所述第二预测轨迹确定单元具体包括：
第一环境感知结果输出单元，用于将所述第一时刻的前方图像输入预先训练好的第二神经网络模型中，获得所述第一环境感知结果，其中，所述第一环境感知结果至少包括第一障碍物信息；
初始预测轨迹生成单元，用于根据所述车辆当前位置信息和车速信息生成多个初始预测轨迹；
安全轨迹确定单元，用于利用所述第一障碍物信息对所述多个初始预测轨迹进行碰撞检测，并根据碰撞检测结果获得安全轨迹；
第二预测轨迹生成单元，用于计算所述安全轨迹的损失函数值，将损失函数值最小的安全轨迹确定为所述第二预测轨迹。
10.根据权利要求9所述的系统，其特征在于，所述安全轨迹确定单元具体包括：
欧式距离计算单元，用于计算所述初始预测轨迹的路径点与所述障碍物点之间的欧式距离；
判断单元，用于判断所述欧式距离是否满足预设条件，将满足预设条件的初始预测轨迹确定为安全轨迹。
11.根据权利要求10所述的系统，其特征在于，所述最终行驶路径确定单元具体包括：
第二环境感知结果输出单元，用于获取第二时刻的前方图像，根据所述第二时刻的前方图像获得第二感知结果，其中，所述第二时刻滞后于所述第一时刻，所述第二环境感知结果至少包括第二障碍物信息和车辆当前行驶车道的车道线信息；
检测单元，用于根据所述车道线信息确定所述第一预测轨迹和所述第二预测轨迹是否偏离车道线，并利用所述第二障碍物信息分别对所述第一预测轨迹和所述第二预测轨迹进行碰撞检测；
最终行驶路径生成单元，用于在第一预测轨迹和第二预测轨迹均不与所述障碍物发生碰撞，且所述第一预测轨迹和所述第二预测轨迹均未偏离当前行驶车道，则分别计算所述第一预测轨迹和所述第二预测轨迹与当前行驶车道的车道中线的距离值，将距离值小的预测轨迹确定为最终行驶路径，在所述第一预测轨迹和第二预测轨迹中，只有其中一条预测轨迹与第二障碍物发生碰撞或偏离车道，则将未与所述第二障碍物发生碰撞并且未偏离车道的预测轨迹确定为最终行驶路径，在所述第一预测轨迹与所述第二障碍物发生碰撞或偏离车道，并且所述第二预测轨迹与所述第二障碍物发生碰撞或偏离车道，则控制车辆停车。
12.根据权利要求11所述的系统，其特征在于，所述控制指令生成单元包括：
前轮偏角计算单元，用于根据所述最终行驶路径计算所述车辆的前轮偏角；
踏板力度计算单元，用于根据所述最终行驶路径对应的目标行驶速度和车辆的当前行驶速度计算所述车辆的踏板力度；
输出单元，用于输出所述前轮偏角和所述踏板力度。
13.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述方法的步骤。
CN202010682654.2A 2020-07-15 2020-07-15 一种车辆行驶控制方法、系统及计算机可读存储介质 Active CN113942524B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010682654.2A CN113942524B (zh) 2020-07-15 2020-07-15 一种车辆行驶控制方法、系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010682654.2A CN113942524B (zh) 2020-07-15 2020-07-15 一种车辆行驶控制方法、系统及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113942524A true CN113942524A (zh) 2022-01-18
CN113942524B CN113942524B (zh) 2023-08-08

Family

ID=79326125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010682654.2A Active CN113942524B (zh) 2020-07-15 2020-07-15 一种车辆行驶控制方法、系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113942524B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116499487A (zh) * 2023-06-28 2023-07-28 新石器慧通（北京）科技有限公司 一种车辆的路径规划方法、装置、设备及介质
CN116560377A (zh) * 2023-05-31 2023-08-08 北京百度网讯科技有限公司 用于预测位置轨迹的自动驾驶模型及其训练方法
CN117775078A (zh) * 2024-02-28 2024-03-29 山西阳光三极科技股份有限公司 一种基于深度学习的矿内货运列车行驶方向判断方法
WO2024081190A1 (en) * 2022-10-14 2024-04-18 Motional Ad Llc Ensemble-based vehicle motion planner

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107438754A (zh) * 2015-02-10 2017-12-05 御眼视觉技术有限公司 用于自主车辆导航的稀疏地图
CN108475057A (zh) * 2016-12-21 2018-08-31 百度（美国）有限责任公司 基于车辆周围的情境预测车辆的一个或多个轨迹的方法和系统
CN110263847A (zh) * 2019-06-18 2019-09-20 腾讯科技（深圳）有限公司 轨迹获取方法、装置、计算机设备及存储介质
CN110834644A (zh) * 2019-10-30 2020-02-25 中国第一汽车股份有限公司 一种车辆控制方法、装置、待控制车辆及存储介质
CN111273668A (zh) * 2020-02-18 2020-06-12 福州大学 针对结构化道路的无人驾驶汽车运动轨迹规划系统及方法
US20210365750A1 (en) * 2016-01-05 2021-11-25 Mobileye Vision Technologies Ltd. Systems and methods for estimating future paths

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107438754A (zh) * 2015-02-10 2017-12-05 御眼视觉技术有限公司 用于自主车辆导航的稀疏地图
US20210365750A1 (en) * 2016-01-05 2021-11-25 Mobileye Vision Technologies Ltd. Systems and methods for estimating future paths
CN108475057A (zh) * 2016-12-21 2018-08-31 百度（美国）有限责任公司 基于车辆周围的情境预测车辆的一个或多个轨迹的方法和系统
CN110263847A (zh) * 2019-06-18 2019-09-20 腾讯科技（深圳）有限公司 轨迹获取方法、装置、计算机设备及存储介质
CN110834644A (zh) * 2019-10-30 2020-02-25 中国第一汽车股份有限公司 一种车辆控制方法、装置、待控制车辆及存储介质
CN111273668A (zh) * 2020-02-18 2020-06-12 福州大学 针对结构化道路的无人驾驶汽车运动轨迹规划系统及方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024081190A1 (en) * 2022-10-14 2024-04-18 Motional Ad Llc Ensemble-based vehicle motion planner
CN116560377A (zh) * 2023-05-31 2023-08-08 北京百度网讯科技有限公司 用于预测位置轨迹的自动驾驶模型及其训练方法
CN116499487A (zh) * 2023-06-28 2023-07-28 新石器慧通（北京）科技有限公司 一种车辆的路径规划方法、装置、设备及介质
CN116499487B (zh) * 2023-06-28 2023-09-05 新石器慧通（北京）科技有限公司 一种车辆的路径规划方法、装置、设备及介质
CN117775078A (zh) * 2024-02-28 2024-03-29 山西阳光三极科技股份有限公司 一种基于深度学习的矿内货运列车行驶方向判断方法
CN117775078B (zh) * 2024-02-28 2024-05-07 山西阳光三极科技股份有限公司 一种基于深度学习的矿内货运列车行驶方向判断方法

Also Published As

Publication number Publication date
CN113942524B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
US11726477B2 (en) Methods and systems for trajectory forecasting with recurrent neural networks using inertial behavioral rollout
CN113942524B (zh) 一种车辆行驶控制方法、系统及计算机可读存储介质
US11475675B2 (en) Systems and methods for identifying unknown instances
US9989964B2 (en) System and method for controlling vehicle using neural network
CN113165652B (zh) 使用基于网格的方法检验预测轨迹
US10324469B2 (en) System and method for controlling motion of vehicle in shared environment
Eidehall et al. Statistical threat assessment for general road scenes using Monte Carlo sampling
Apostoloff et al. Robust vision based lane tracking using multiple cues and particle filtering
Hoermann et al. Probabilistic long-term prediction for autonomous vehicles
CN113267199B (zh) 行驶轨迹规划方法及装置
JP7200371B2 (ja) 車両速度を決定する方法及び装置
Yoon et al. Interaction-aware probabilistic trajectory prediction of cut-in vehicles using gaussian process for proactive control of autonomous vehicles
CN114323054B (zh) 自动驾驶车辆行驶轨迹的确定方法、装置及电子设备
US11472444B2 (en) Method and system for dynamically updating an environmental representation of an autonomous agent
DE102020202476A1 (de) Verfahren und Vorrichtung zum Schätzen mindestens eines Objektzustandes eines beweglichen Objektes im Umfeld eines Fahrzeugs
US11938968B2 (en) Trajectory design for image data acquisition for object detection/recognition
CN115123291A (zh) 一种基于障碍物识别的行为预测方法及装置
CN114872735A (zh) 基于神经网络算法的自动驾驶物流车辆决策方法和装置
Chung et al. Collision detection system for lane change on multi-lanes using convolution neural network
Delp et al. Classifying and passing 3d obstacles for autonomous driving
CN113029155A (zh) 机器人自动导航方法及装置、电子设备、存储介质
CN112180913A (zh) 特种车辆识别方法
Yoon et al. Trajectory Prediction Using Graph-Based Deep Learning for Longitudinal Control of Autonomous Vehicles: A Proactive Approach for Autonomous Driving in Urban Dynamic Traffic Environments
CN113302108A (zh) 用于运行车辆的方法、装置、计算机程序和计算机程序产品
Guo et al. Toward human-like lane following behavior in urban environment with a learning-based behavior-induction potential map

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant