CN113954836A - 分段式导航换道方法及其系统、计算机设备、存储介质 - Google Patents

分段式导航换道方法及其系统、计算机设备、存储介质 Download PDF

Info

Publication number
CN113954836A
CN113954836A CN202010696462.7A CN202010696462A CN113954836A CN 113954836 A CN113954836 A CN 113954836A CN 202010696462 A CN202010696462 A CN 202010696462A CN 113954836 A CN113954836 A CN 113954836A
Authority
CN
China
Prior art keywords
lane
vehicle
steering wheel
adjacent target
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010696462.7A
Other languages
English (en)
Other versions
CN113954836B (zh
Inventor
闫春香
王玉龙
裴锋
周卫林
闵欢
谢鹏鹤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Automobile Group Co Ltd
Original Assignee
Guangzhou Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Automobile Group Co Ltd filed Critical Guangzhou Automobile Group Co Ltd
Priority to CN202010696462.7A priority Critical patent/CN113954836B/zh
Publication of CN113954836A publication Critical patent/CN113954836A/zh
Application granted granted Critical
Publication of CN113954836B publication Critical patent/CN113954836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/12—Lateral speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/803—Relative lateral speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/804—Relative longitudinal speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及分段式导航换道方法及其系统、计算机设备、存储介质，所述方法包括：利用LSTM网络根据当前时刻的本车车速、以及本车与周围车辆的速度差和距离等信息判断相邻目标车道是否满足换道条件，若不满足，则继续采集相关信息并输入LSTM网络；若满足，则获取相邻目标车道的车道中线，在车道中线上选取多个点，获取该多个点的位置信息；并获取本车与车道中线的距离信息；将多个点的位置信息、本车与车道中线的距离信息输入CNN网络进行卷积计算得到目标方向盘转角；最后，将目标方向盘转角发送至车辆的自动驾驶控制单元，以驱动自动驾驶控制单元根据方向盘转角控制车辆进行变道。实施本发明，能够换道过程更加智能和符合人类驾驶习惯。

Description

分段式导航换道方法及其系统、计算机设备、存储介质
技术领域
本发明涉及车辆驾驶技术领域，具体涉及一种分段式导航换道方法及其系统、计算机设备、存储介质。
背景技术
在自动驾驶领域，通常在整个换道过程中，可分为三个阶段：换道意图、换道决策、换道轨迹。换道意图可分为自由换道和强制换道。其中，自由换道往往是为了更好的驾驶速度或驾驶条件，主动绕开前方动态障碍物(一般是车辆)；而强制换道是指行驶在道路上的车辆，不因人的主观意图而必须发生的换道，比如前方有静止障碍物、路口导航要求换道等。
目前换道方法大都是基于规则、概率计算、博弈论等方法进行决策换道，换道轨迹采用线条拟合、多项式及搜索等方法，然后从换道轨迹到换道执行。其中，换道决策中规则法典型的如决策树二值选择，优点是建模简单，决策的变量少缺点是参数难调节，且输出值仅二值。概率计算获得最大益处，缺点是如何定义益处，这和博弈论有相同的问题存在。其中，换道轨迹中利用多项式等方法求出一条轨迹由轨迹再到控制，除了轨迹还要调试控制。此外，还有一些技术方案是端到端的换道方法，即从感知端直接到控制端，控制端根据感知信息进行换道决策和执行，而这种端到端的换道方法的链路过长，换道又是极为复杂的过程，换道效果很难得到保证。
发明内容
本发明旨在提出一种分段式导航换道方法及其系统、计算机设备、存储介质，将导航换道流程的换道决策和换道执行分别采用不同神经网络进行处理，避免链路过长而影响换道效果，也使得换道过程更加智能和符合人类驾驶习惯。
根据本发明的第一方面，提出一种分段式导航换道方法，包括如下步骤：
步骤S1、获取当前帧数据，所述帧数据包括当前时刻的本车车速、以及本车与周围车辆的速度差和距离；
步骤S2、将当前帧数据输入预先训练好的LSTM网络，当累计输入的帧数据的帧数等于预设帧数阈值时，LSTM网络根据输入的连续多帧数据判定相邻目标车道是否满足换道条件；
步骤S3、若LSTM网络判定相邻目标车道不满足换道条件，则返回所述步骤S1进行循环；若LSTM网络判定相邻目标车道满足换道条件，则执行以下步骤S4；
步骤S4、获取相邻目标车道的车道中线，在所述车道中线上选取多个点，获取该多个点的位置信息；并且，获取本车与所述车道中线的距离信息；
步骤S5、将所述多个点的位置信息、所述本车与所述车道中线的距离信息输入预先训练好的CNN网络，CNN网络根据所述多个点的位置信息、所述本车与所述车道中线的距离信息进行卷积计算得到目标方向盘转角；
步骤S6、将所述目标方向盘转角发送至车辆的自动驾驶控制单元，以驱动所述自动驾驶控制单元根据所述方向盘转角控制车辆进行变道。
优选地，所述获取相邻目标车道的车道中线，包括：
获取当前时刻的车辆周围环境图像；
根据所述车辆周围环境图像进行车道线识别，并将识别的车道线从图像坐标系转换至本车车辆坐标系，以获得本车车辆坐标系下的本车所在车道以及相邻目标车道的车道线；
基于本车的车辆坐标系，根据所述相邻目标车道的车道线进行计算获得相邻目标车道的车道中线。
优选地，所述多个点的位置信息、本车与所述车道中线的距离信息均为在本车的车辆坐标系下的所计算的信息。
优选地，所述方法还包括:
获取本车所在车道以及所述相邻目标车道的车道编码；
将本车所在车道以及所述相邻目标车道的车道编码进行对比；
判定本车方向盘是否回正；
如果本车所在车道与所述相邻目标车道的车道编码相同，且本车方向盘回正，则判定车辆变道成功，否则，判定车辆未变道成功。
优选地，所述判定本车方向盘是否回正，包括:
获取预设数量的连续多帧本车方向盘转角；
将所述连续多帧本车方向盘转角与预设角度范围进行对比；
如果所述连续多帧本车方向盘转角均位于预设角度范围内，则判定本车方向盘回正，否则，判定本车方向盘未回正。
根据本发明的第二方面，提出一种分段式导航换道系统，包括：
帧数据获取单元，用于获取当前帧数据，所述帧数据包括当前时刻的本车车速、以及本车与周围车辆的速度差和距离；
LSTM网络，用于接收所述当前帧数据输入预先训练好的LSTM网络，当累计输入的帧数据的帧数等于预设帧数阈值时，根据输入的连续多帧数据判定相邻目标车道是否满足换道条件；
换道执行单元，用于当所述LSTM网络判定相邻目标车道满足换道条件时，控制车辆的自动驾驶控制单元进行换道；
其中，所述换道执行单元包括：
网络输入量获取单元，用于获取相邻目标车道的车道中线，在所述车道中线上选取多个点，获取该多个点的位置信息；并且，获取本车与所述车道中线的距离信息；
CNN网络，用于接收并根据所述多个点的位置信息、所述本车与所述车道中线的距离信息进行卷积计算得到目标方向盘转角；以及
信号发送单元，用于将所述目标方向盘转角发送至车辆的自动驾驶控制单元，以驱动所述自动驾驶控制单元根据所述方向盘转角控制车辆进行变道。
优选地，所述换道执行单元还包括：
车道编码获取单元，用于获取本车所在车道以及所述相邻目标车道的车道编码；
车道编码对比单元，用于将本车所在车道以及所述相邻目标车道的车道编码进行对比；
方向盘回正判定单元，用于判定本车方向盘是否回正；以及
变道结果判定单元，用于如果本车所在车道与所述相邻目标车道的车道编码相同，且本车方向盘回正，则判定车辆变道成功，否则，判定车辆未变道成功。
优选地，所述方向盘回正判定单元具体包括:
方向盘转角获取单元，获取预设数量的连续多帧本车方向盘转角；
方向盘对比单元，用于将所述连续多帧本车方向盘转角与预设角度范围进行对比；以及
回正判断单元，用于如果所述连续多帧本车方向盘转角均位于预设角度范围内，则判定本车方向盘回正，否则，判定本车方向盘未回正。
根据本发明的第三方面，提出一种计算机设备，包括：根据第二方面所述的分段式导航换道系统；或者，存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行根据第一方面所述分段式导航换道方法的步骤。
根据本发明的第四方面，提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据第一方面所述分段式导航换道方法的步骤。
本发明的实施例提出一种分段式导航换道方法及其系统、计算机设备、存储介质，将导航换道过程分为两个阶段，即换道决策和换道执行，该两个阶段分别LSTM网络和CNN网络进行计算处理，避免链路过长而影响换道效果，并且，LSTM网络和CNN网络利用人类驾驶行为的样本数据进行预先训练，使得在进行换道决策和换道执行时，能够使得换道过程更加智能和符合人类驾驶习惯。再有，换道执行时，采用离散点作为CNN网络的输入，输出为方向盘转角，相对于采用原始图像作为CNN网络的输入的处理方式，本发明的实施例在CNN网络数据处理量相对较小，因此处理速度快，也便于缩小CNN网络的模型规模。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而得以体现。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例所述一种分段式导航换道方法的流程示意图。
图2为本发明一实施例中毫米波雷达数据示意图。
图3为本发明一实施例中换道前本车与周围车辆的位置关系示意图。
图4为本发明一实施例中LSTM网络结构示意图。
图5为本发明一实施例中车辆换道执行原理图。
图6是向左变道的测试结果示意图。
图7是向右变道的测试结果示意图。
图8为本发明另一实施例所述一种分段式导航换道系统的框架示意图。
具体实施方式
以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
另外，为了更好的说明本发明，在下文的具体实施例中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的手段未作详细描述，以便于凸显本发明的主旨。
本发明一实施例提出一种分段式导航换道方法，其适用于自动驾驶中因导航引起的强制型换道，图1为本实施例方法的流程图，参阅图1，本实施例方法包括以下步骤S1-S7：
步骤S1、获取当前帧数据，所述帧数据包括当前时刻的本车车速、以及本车与周围车辆的速度差和距离；
具体而言，步骤中根据预设采样时间间隔，周期性地获取当前帧数据，例如，1秒执行8帧。其中，本车车速、以及本车与周围车辆的速度差和距离为影响本车换道重要因素。示例性地，可以根据毫米波雷达及摄像头获取当前交通状态的数据。图2为毫米波雷达数据示意图，毫米波雷达获取周边移动物体的相对速度及位置，摄像头获取图像数据，根据毫米波所探测到的物体信息和图像数据信息进行融合。
需说明的是，相关信息的获取并不局限于本实施例所举例的方式，本车车速、本车与周围车辆的速度差和距离的检测属于车辆传感技术，本实施例方法旨在对相关信息进行运用，因此，此处不对相关传感信息的检测与融合进行详述。
步骤S2、将当前帧数据输入预先训练好的LSTM网络，当累计输入的帧数据的帧数等于预设帧数阈值时，LSTM网络根据输入的连续多帧数据判定相邻目标车道是否满足换道条件；
具体而言，LSTM(long short-term memory)网络主要处理和预测时间序列相关的问题。本实施例LSTM网络在应用之前，预先进行训练，训练包括：获取大量人类驾驶行为的样本数据，样本数据包括两种类型，其一为满足换道条件的样本数据，其二为不满足换道条件的样本数据，每一样本数据包括本车车速、以及本车与周围车辆的速度差和距离等数据，并为不同类型的样本数据给定识别结果，即满足换道条件或不满足换道条件，经过大量样本数据的训练过后，LSTM网络能够学习如何根据本车车速、以及本车与周围车辆的速度差和距离等数据输出相应的判定结果，即是否满足换道条件。
其中，若向左换道，必然有左边相邻车道；同理向右边换道，必然有右边相邻车道，至少包含两个车道，此处假设有三车道，即可向左或向右换道。当LSTM网络输入是左边相邻车道的信息时，预测的则是左边车道换道条件是否满足，LSTM网络输入右边车道相邻的信息时，预测的则是右边车道换道条件是否满足。
步骤S3、若LSTM网络判定相邻目标车道不满足换道条件，则返回所述步骤S1进行循环；若LSTM网络判定相邻目标车道满足换道条件，则执行以下步骤S4；
步骤S4、获取相邻目标车道的车道中线，在所述车道中线上选取多个点，获取该多个点的位置信息；并且，获取本车与所述车道中线的距离信息；
步骤S5、将所述多个点的位置信息、所述本车与所述车道中线的距离信息输入预先训练好的CNN网络，CNN网络根据所述多个点的位置信息、所述本车与所述车道中线的距离信息进行卷积计算得到目标方向盘转角；
具体而言，本实施例步骤S4-S5中，选用相邻目标车道的车道中线上的多个点的位置信息、以及本车与车道中线的距离信息作为CNN网络的输入，其输入的数据量为多个离散点位置信息与一个距离信息，数据量小，减少了CNN网络的计算负荷，使得CNN网络能够快速地进行卷积计算得到目标方向盘转角。
其中，CNN网络即卷积神经网络，本实施例CNN网络在应用之前，预先进行训练，训练包括：获取大量人类驾驶行为的样本数据，每一样本数据包括多个离散点位置信息与一个距离信息等数据，并为每一样本数据给定目标label，即目标方向盘转角，经过大量样本数据的训练过后，CNN网络能够学习如何根据相邻目标车道的车道中线上的多个点的位置信息、以及本车与车道中线的距离信息数据输出相应的目标方向盘转角。
步骤S6、将所述目标方向盘转角发送至车辆的自动驾驶控制单元，以驱动所述自动驾驶控制单元根据所述方向盘转角控制车辆进行变道。
具体地，对于配置有自动驾驶功能的车辆而言，其自动驾驶控制单元能够根据目标方向盘转角进行车辆自动换道，其为自动驾驶系统的常规操作，本实施例方法应用于能够进行自动换道的自动驾驶汽车，方法的目的在于输出一个目标方向盘转角至车辆的自动驾驶控制单元，以使得所述自动驾驶控制单元根据所述方向盘转角控制车辆进行变道。可以理解的是，变道为自动驾驶主控制的一个分支情况，变道时车速一般保持为变道前的车速，由此CNN网络设计时输出仅为目标方向盘转角。
基于以上实施例描述可知，本实施例方法将导航换道过程分为两个阶段，即换道决策和换道执行，该两个阶段分别LSTM网络和CNN网络进行计算处理，避免链路过长而影响换道效果，并且，LSTM网络和CNN网络利用人类驾驶行为的样本数据进行预先训练，使得在进行换道决策和换道执行时，能够使得换道过程更加智能和符合人类驾驶习惯。再有，换道执行时，采用离散点作为CNN网络的输入，输出为方向盘转角，相对于采用原始图像作为CNN网络的输入的处理方式，本实施例方法在CNN网络数据处理量相对较小，因此处理速度快，也便于缩小CNN网络的模型规模。
在一具体实施例中，参阅图3，所述本车与周围车辆的速度差和距离，具体包括：本车SV与前车PV的速度差、本车SV与前车PV的车头间距、本车SV与相邻目标车道后车FV的速度差、本车SV与相邻目标车道后车FV的车头间距、本车SV与相邻目标车道前车LV的速度差以及本车SV与相邻目标车道前车LV的车头间距。
示例性地，LSTM网络的输入为7种影响变量，表示为X＝{x1,x2,…x7}；
x1表示本车的车速Vsv；
x2表示本车车辆和前车辆PV(Previous-Vehicle)的速度差ΔVpv；
x3表示本车车辆和前车辆PV(Previous-Vehicle)的车头间距gap3；
x4表示本车车辆和相邻目标车道后方车辆FV(Follow-Vehicle)的速度差ΔVfv；
x5表示本车车辆和相邻目标车道后方车辆FV(Follow-Vehicle)的车头间距gap2；
x6表示本车车辆和相邻目标车道前方车辆LV(Lead-Vehicle)的速度差ΔVlv；
x7表示本车车辆和相邻目标车道前方车辆LV(Lead-Vehicle)车头间距gap1；
LSTM网络的输出为2个变量out＝[车道保持,可换道]，即out0＝1或0，out1＝0或1；
示例性地，LSTM网络的结构如图4所示，LSTM网络的隐藏层共2层，第一个隐藏层的神经元数量设置为7，第二个隐藏层的神经元设置为4，输入序列长度(即预设帧数阈值)为15，也就是连续输入15帧的信息再进行决策，batchsize设置为64.以上参数仅根据经验设置，在实际调试中可根据效果进行调参。
在一具体实施例中，所述步骤S3包括：
步骤S31、获取当前时刻的车辆周围环境图像；
具体而言，所述车辆周围环境图像可以通过车载摄像头采集得到，步骤仅接收摄像头的图像数据，不涉及图像的采集，因此不对图像采集过程进行详述。
步骤S32、根据所述车辆周围环境图像进行车道线识别，并将识别的车道线从图像坐标系转换至本车车辆坐标系，以获得本车车辆坐标系下的本车所在车道以及相邻目标车道的车道线；
具体而言，通过对所述车辆周围环境图像进行图像识别操作，即可以识别出图像中的车道线。图像识别的方式有很多，本实施例优选采用深度学习的方法，在此不做特别限制。
可以理解的是，本实施例中进一步考虑从本车车辆坐标系进行计算，因此将识别的车道线从图像坐标系转换至本车车辆坐标系，以获得本车车辆坐标系下的本车所在车道以及相邻目标车道的车道线。
具体地，将所得车道线转化为俯视图，转化俯视图的方法需要根据摄像头的安装位置进行标定，根据标定的坐标转换矩阵将其转换至局部世界坐标系下位置坐标(忽略高度方向Z)，根据理想状态下的小孔透视理论，在点的齐次坐标下采用矩阵形式可将上述投影几何规律表示为：
Figure BDA0002591249630000111
s—投影尺度因子；
u、v—像素坐标系下坐标值；
x、y、z—局部世界坐标系下三维坐标值；
M—坐标转换矩阵。
参阅图5，图5中(a)、(b)、(c)、(d)所示，(a)为图像原图，(b)是车道线检测的CNN网络，(c)是在原图上检测出的车道线，(d)是转化为俯视图的车道线。
步骤S33、基于本车的车辆坐标系，根据所述相邻目标车道的车道线进行计算获得相邻目标车道的车道中线。
具体而言，车道线包括左右边界线，根据左右边界线的坐标信息可以计算得到车道中线。
在一具体实施例中，所述多个点的位置信息、本车与所述车道中线的距离信息均为在本车的车辆坐标系下的所计算的信息。
具体而言，基于本车的车辆坐标系进行计算处理，能够更好地结合人类驾驶行为的特点进行换道执行，当本车车辆处于相邻目标车道时，本车与所述车道中线的距离为0。
在一具体实施例中，所述多个点优选但不限于为20个点，当位置点为20个时，能够最好地平衡数据计算速度和结果准确度。
示例性地，CNN网络选用全连接FC层做训练模型，全连接层中由许多神经元组成的平铺结构，仅一层的全连接没法解决非线性问题，CNN网络采用三层全连接，第一层将输入的21个点(即车道中线上20个点的坐标位置、本车与车道中线的距离)扩为100个神经元，第二层输出为50个神经元，第三层输出为10个神经元，激活函数采用relu；最后利用激活函数采用反正切atan回归为1个表示方向盘转角的值，输出为车辆控制量方向盘转向角。在模型训练时用方向盘转向角作为label值，该label值是采集人类在换道所作出的转向数据。
需说明的是，本实施例CNN网络训练速度极快，通常2小时内能训练完毕，图像输入的方法往往至少2天，并且，本实施例CNN网络训练出的模型非常小，按KB级字节计算，小于200K，而图像输入的方法所产生的模型大小至少在MB级(比如200MB)。由于本实施例CNN网络较为简单，模型小，执行效率极高。
在一具体实施例中，所述方法还包括:
步骤S7、获取本车所在车道以及所述相邻目标车道的车道编码；
具体而言，在识别得到车道后，对车辆所处的道路的车道进行编码，编码方式可以是从左到右，依次编码为车道1，车道2，车道3等等；本实施例方法实施过程中，相邻目标车道的车道编码从最开始便确定，而本车所在车道的车道编码是一个变化的过程，具体从最开始本车所处的车道，例如是车道2，向左变道至车道1时，最终变化为车道1。可以理解的是，车道的监测跟踪可以通过实时获取本次周围环境图像，并对周围环境图像进行车道识别来实现。
步骤S8、将本车所在车道以及所述相邻目标车道的车道编码进行对比；
步骤S9、判定本车方向盘是否回正；
步骤S10、如果本车所在车道与所述相邻目标车道的车道编码相同，且本车方向盘回正，则判定车辆变道成功，否则，判定车辆未变道成功。
在一具体实施例中，所述步骤S9包括:
步骤S91、获取预设数量的连续多帧本车方向盘转角；
步骤S92、将所述连续多帧本车方向盘转角与预设角度范围进行对比；
步骤S93、如果所述连续多帧本车方向盘转角均位于预设角度范围内，则判定本车方向盘回正，否则，判定本车方向盘未回正。
举例而言，车辆在正常行驶时向盘转角一般处于0值附近，方向盘转角区间为[-540,540]，此处定义本车方向盘回正为方向盘转角连续10帧在[-5,5]区间。优选地，步骤中1秒执行8帧左右，10帧接近2秒，若2秒方向盘都处于0值附近，可以认定为本车方向盘回正。
其中，为验证本实施例方法的技术效果，发明人左右变道离线测试，采集10秒内变道数据约100帧并做左右变道离线测试，图6是向左变道的测试结果示意图，图7是向右变道的测试结果示意图，act线为人工采集的轨迹，infer线为本实施例方法预测轨迹，可以看出基本吻合。
通过以上的实施例描述可知，本实施例整个换道过程是分阶段执行的，这和基于深度学习的端到端网络不同，链路切分后，能更精确的获取每个阶段的结果。换道决策采用了深度学习中LSTM模型，这和基于规则或机器学习之类的方法不同，不需要人为设置过多参数和规则，是根据大数据学习人类驾驶习惯所做决策，更智能。换道执行采用了深度学习的全连接层，三层全连接层来输出控制指令。直接学习人类在换道时的驾驶行为，和其他方法比，使得整个换道过程更加平顺、舒适。
本发明另一实施例提出一种分段式导航换道系统，用于实现上述实施例的分段式导航换道方法，如图8所示，所述系统包括：
帧数据获取单元1，用于获取当前帧数据，所述帧数据包括当前时刻的本车车速、以及本车与周围车辆的速度差和距离；
LSTM网络2，用于接收所述当前帧数据输入预先训练好的LSTM网络，当累计输入的帧数据的帧数等于预设帧数阈值时，根据输入的连续多帧数据判定相邻目标车道是否满足换道条件；
换道执行单元3，用于当所述LSTM网络判定相邻目标车道满足换道条件时，控制车辆的自动驾驶控制单元进行换道；
其中，所述换道执行单元3包括：
网络输入量获取单元31，用于获取相邻目标车道的车道中线，在所述车道中线上选取多个点，获取该多个点的位置信息；并且，获取本车与所述车道中线的距离信息；
CNN网络32，用于接收并根据所述多个点的位置信息、所述本车与所述车道中线的距离信息进行卷积计算得到目标方向盘转角；以及
信号发送单元33，用于将所述目标方向盘转角发送至车辆的自动驾驶控制单元，以驱动所述自动驾驶控制单元根据所述方向盘转角控制车辆进行变道。
在一具体实施例中，所述换道执行单元3还包括：
车道编码获取单元34，用于获取本车所在车道以及所述相邻目标车道的车道编码；
车道编码对比单元35，用于将本车所在车道以及所述相邻目标车道的车道编码进行对比；
方向盘回正判定单元36，用于判定本车方向盘是否回正；以及
变道结果判定单元37，用于如果本车所在车道与所述相邻目标车道的车道编码相同，且本车方向盘回正，则判定车辆变道成功，否则，判定车辆未变道成功。
在一具体实施例中，所述方向盘回正判定单元36具体包括:
方向盘转角获取单元，获取预设数量的连续多帧本车方向盘转角；
方向盘对比单元，用于将所述连续多帧本车方向盘转角与预设角度范围进行对比；以及
回正判断单元，用于如果所述连续多帧本车方向盘转角均位于预设角度范围内，则判定本车方向盘回正，否则，判定本车方向盘未回正。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
需说明的是，上述实施例所述系统与上述实施例所述方法对应，因此，上述实施例所述系统未详述部分可以参阅上述实施例所述方法的内容得到，此处不再赘述。
并且，上述实施例所述分段式导航换道系统如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
本发明另一实施例还提出一种计算机设备，包括：根据上述实施例所述的分段式导航换道系统；或者，存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行根据上述实施例所述分段式导航换道方法的步骤。
当然，所述计算机设备还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备还可以包括其他用于实现设备功能的部件，在此不做赘述。
示例性的，所述计算机程序可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述计算机设备中的执行过程。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机设备的控制中心，利用各种接口和线路连接整个所述计算机设备的各个部分。
所述存储器可用于存储所述计算机程序和/或单元，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或单元，以及调用存储在存储器内的数据，实现所述计算机设备的各种功能。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明另一实施例还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例所述分段式导航换道方法的步骤。
具体而言，所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种分段式导航换道方法，其特征在于，包括：
步骤S1、获取当前帧数据，所述帧数据包括当前时刻的本车车速、以及本车与周围车辆的速度差和距离；
步骤S2、将当前帧数据输入预先训练好的LSTM网络，当累计输入的帧数据的帧数等于预设帧数阈值时，LSTM网络根据输入的连续多帧数据判定相邻目标车道是否满足换道条件；
步骤S3、若LSTM网络判定相邻目标车道不满足换道条件，则返回所述步骤S1进行循环；若LSTM网络判定相邻目标车道满足换道条件，则执行以下步骤S4；
步骤S4、获取相邻目标车道的车道中线，在所述车道中线上选取多个点，获取该多个点的位置信息；并且，获取本车与所述车道中线的距离信息；
步骤S5、将所述多个点的位置信息、所述本车与所述车道中线的距离信息输入预先训练好的CNN网络，CNN网络根据所述多个点的位置信息、所述本车与所述车道中线的距离信息进行卷积计算得到目标方向盘转角；
步骤S6、将所述目标方向盘转角发送至车辆的自动驾驶控制单元，以驱动所述自动驾驶控制单元根据所述方向盘转角控制车辆进行变道。
2.如权利要求1所述的分段式导航换道方法，其特征在于，所述获取相邻目标车道的车道中线，包括：
获取当前时刻的车辆周围环境图像；
根据所述车辆周围环境图像进行车道线识别，并将识别的车道线从图像坐标系转换至本车车辆坐标系，以获得本车车辆坐标系下的本车所在车道以及相邻目标车道的车道线；
基于本车的车辆坐标系，根据所述相邻目标车道的车道线进行计算获得相邻目标车道的车道中线。
3.如权利要求2所述的分段式导航换道方法，其特征在于，所述多个点的位置信息、本车与所述车道中线的距离信息均为在本车的车辆坐标系下的所计算的信息。
4.如权利要求1所述的分段式导航换道方法，其特征在于，所述方法还包括:
获取本车所在车道以及所述相邻目标车道的车道编码；
将本车所在车道以及所述相邻目标车道的车道编码进行对比；
判定本车方向盘是否回正；
如果本车所在车道与所述相邻目标车道的车道编码相同，且本车方向盘回正，则判定车辆变道成功，否则，判定车辆未变道成功。
5.如权利要求4所述的分段式导航换道方法，其特征在于，所述判定本车方向盘是否回正，包括:
获取预设数量的连续多帧本车方向盘转角；
将所述连续多帧本车方向盘转角与预设角度范围进行对比；
如果所述连续多帧本车方向盘转角均位于预设角度范围内，则判定本车方向盘回正，否则，判定本车方向盘未回正。
6.一种分段式导航换道系统，用于实现权利要求1-3任一项的分段式导航换道方法，其特征在于，所述系统包括：
帧数据获取单元，用于获取当前帧数据，所述帧数据包括当前时刻的本车车速、以及本车与周围车辆的速度差和距离；
LSTM网络，用于接收所述当前帧数据输入预先训练好的LSTM网络，当累计输入的帧数据的帧数等于预设帧数阈值时，根据输入的连续多帧数据判定相邻目标车道是否满足换道条件；
换道执行单元，用于当所述LSTM网络判定相邻目标车道满足换道条件时，控制车辆的自动驾驶控制单元进行换道；
其中，所述换道执行单元包括：
网络输入量获取单元，用于获取相邻目标车道的车道中线，在所述车道中线上选取多个点，获取该多个点的位置信息；并且，获取本车与所述车道中线的距离信息；
CNN网络，用于接收并根据所述多个点的位置信息、所述本车与所述车道中线的距离信息进行卷积计算得到目标方向盘转角；以及
信号发送单元，用于将所述目标方向盘转角发送至车辆的自动驾驶控制单元，以驱动所述自动驾驶控制单元根据所述方向盘转角控制车辆进行变道。
7.如权利要求6所述的分段式导航换道系统，其特征在于，所述换道执行单元还包括：
车道编码获取单元，用于获取本车所在车道以及所述相邻目标车道的车道编码；
车道编码对比单元，用于将本车所在车道以及所述相邻目标车道的车道编码进行对比；
方向盘回正判定单元，用于判定本车方向盘是否回正；以及
变道结果判定单元，用于如果本车所在车道与所述相邻目标车道的车道编码相同，且本车方向盘回正，则判定车辆变道成功，否则，判定车辆未变道成功。
8.如权利要求7所述的分段式导航换道系统，其特征在于，所述方向盘回正判定单元具体包括:
方向盘转角获取单元，获取预设数量的连续多帧本车方向盘转角；
方向盘对比单元，用于将所述连续多帧本车方向盘转角与预设角度范围进行对比；以及
回正判断单元，用于如果所述连续多帧本车方向盘转角均位于预设角度范围内，则判定本车方向盘回正，否则，判定本车方向盘未回正。
9.一种计算机设备，包括：根据权利要求6-8任一项所述的分段式导航换道系统；或者，存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行根据权利要求1-5中任一项所述分段式导航换道方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现根据权利要求1-5中任一项所述分段式导航换道方法的步骤。
CN202010696462.7A 2020-07-20 2020-07-20 分段式导航换道方法及其系统、计算机设备、存储介质 Active CN113954836B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010696462.7A CN113954836B (zh) 2020-07-20 2020-07-20 分段式导航换道方法及其系统、计算机设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010696462.7A CN113954836B (zh) 2020-07-20 2020-07-20 分段式导航换道方法及其系统、计算机设备、存储介质

Publications (2)

Publication Number Publication Date
CN113954836A true CN113954836A (zh) 2022-01-21
CN113954836B CN113954836B (zh) 2023-08-04

Family

ID=79459457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010696462.7A Active CN113954836B (zh) 2020-07-20 2020-07-20 分段式导航换道方法及其系统、计算机设备、存储介质

Country Status (1)

Country Link
CN (1) CN113954836B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114454885A (zh) * 2022-02-28 2022-05-10 重庆长安汽车股份有限公司 一种主动创造换道条件的方法
CN115512540A (zh) * 2022-09-20 2022-12-23 中国第一汽车股份有限公司 车辆的信息处理方法、装置、存储介质和处理器

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2042399A2 (en) * 2007-09-27 2009-04-01 Hitachi Ltd. Drive assist system
CN105015545A (zh) * 2015-07-03 2015-11-04 内蒙古麦酷智能车技术有限公司 一种无人驾驶汽车的自主变道决策系统
US20160185388A1 (en) * 2014-12-30 2016-06-30 Mando Corporation Lane change control device and control method
CN107323450A (zh) * 2017-06-08 2017-11-07 广州汽车集团股份有限公司 车辆变道的控制方法及装置、存储介质
CN108572642A (zh) * 2017-12-15 2018-09-25 蔚来汽车有限公司 一种自动驾驶系统及其横向控制方法
CN108961839A (zh) * 2018-09-05 2018-12-07 奇瑞汽车股份有限公司 行车变道方法及装置
CN109835339A (zh) * 2019-03-21 2019-06-04 北京经纬恒润科技有限公司 一种换道决策方法及装置
US20190212749A1 (en) * 2018-01-07 2019-07-11 Nvidia Corporation Guiding vehicles through vehicle maneuvers using machine learning models
CN110001782A (zh) * 2019-04-29 2019-07-12 重庆长安汽车股份有限公司 自动换道方法、系统及计算机可读存储介质
CN110481551A (zh) * 2019-08-16 2019-11-22 中国第一汽车股份有限公司 一种自动换道的控制方法、装置及车辆
CN110597245A (zh) * 2019-08-12 2019-12-20 北京交通大学 基于二次型规划和神经网络的自动驾驶换道轨迹规划方法
CN110614994A (zh) * 2018-12-29 2019-12-27 长城汽车股份有限公司 车辆自动驾驶时换道的控制方法、控制系统及车辆
CN110843789A (zh) * 2019-11-19 2020-02-28 苏州智加科技有限公司 一种基于时序卷积网络的车辆换道意图预测方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2042399A2 (en) * 2007-09-27 2009-04-01 Hitachi Ltd. Drive assist system
US20160185388A1 (en) * 2014-12-30 2016-06-30 Mando Corporation Lane change control device and control method
CN105015545A (zh) * 2015-07-03 2015-11-04 内蒙古麦酷智能车技术有限公司 一种无人驾驶汽车的自主变道决策系统
CN107323450A (zh) * 2017-06-08 2017-11-07 广州汽车集团股份有限公司 车辆变道的控制方法及装置、存储介质
CN108572642A (zh) * 2017-12-15 2018-09-25 蔚来汽车有限公司 一种自动驾驶系统及其横向控制方法
US20190212749A1 (en) * 2018-01-07 2019-07-11 Nvidia Corporation Guiding vehicles through vehicle maneuvers using machine learning models
CN108961839A (zh) * 2018-09-05 2018-12-07 奇瑞汽车股份有限公司 行车变道方法及装置
CN110614994A (zh) * 2018-12-29 2019-12-27 长城汽车股份有限公司 车辆自动驾驶时换道的控制方法、控制系统及车辆
CN109835339A (zh) * 2019-03-21 2019-06-04 北京经纬恒润科技有限公司 一种换道决策方法及装置
CN110001782A (zh) * 2019-04-29 2019-07-12 重庆长安汽车股份有限公司 自动换道方法、系统及计算机可读存储介质
CN110597245A (zh) * 2019-08-12 2019-12-20 北京交通大学 基于二次型规划和神经网络的自动驾驶换道轨迹规划方法
CN110481551A (zh) * 2019-08-16 2019-11-22 中国第一汽车股份有限公司 一种自动换道的控制方法、装置及车辆
CN110843789A (zh) * 2019-11-19 2020-02-28 苏州智加科技有限公司 一种基于时序卷积网络的车辆换道意图预测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114454885A (zh) * 2022-02-28 2022-05-10 重庆长安汽车股份有限公司 一种主动创造换道条件的方法
CN114454885B (zh) * 2022-02-28 2024-03-08 重庆长安汽车股份有限公司 一种主动创造换道条件的方法
CN115512540A (zh) * 2022-09-20 2022-12-23 中国第一汽车股份有限公司 车辆的信息处理方法、装置、存储介质和处理器

Also Published As

Publication number Publication date
CN113954836B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN112528878B (zh) 检测车道线的方法、装置、终端设备及可读存储介质
CN111666921B (zh) 车辆控制方法、装置、计算机设备和计算机可读存储介质
CN111009153B (zh) 一种轨迹预测模型的训练方法、装置和设备
US20180157972A1 (en) Partially shared neural networks for multiple tasks
CN109726627B (zh) 一种神经网络模型训练及通用接地线的检测方法
CN112507862B (zh) 基于多任务卷积神经网络的车辆朝向检测方法及系统
CN112706785B (zh) 一种自动驾驶车辆行驶环境认知目标选择方法、装置及存储介质
CN113954836A (zh) 分段式导航换道方法及其系统、计算机设备、存储介质
CN111553242B (zh) 用于预测驾驶行为的生成对抗网络的训练方法和电子设备
CN114067292A (zh) 用于智能驾驶的图像处理方法和装置
CN114620059B (zh) 一种自动驾驶方法及其系统、计算机可读存储介质
CN114120266A (zh) 车辆变道检测方法、装置、电子设备及存储介质
CN115123291B (zh) 一种基于障碍物识别的行为预测方法及装置
CN116703979A (zh) 目标跟踪方法、装置、终端及存储介质
CN111144361A (zh) 一种基于二值化cgan网络的公路车道检测方法
Yang et al. A novel vision-based framework for real-time lane detection and tracking
Punagin et al. Analysis of lane detection techniques on structured roads using OpenCV
CN116070903A (zh) 通过障碍物区域的风险确定方法、装置以及电子设备
CN115416692A (zh) 一种自动驾驶方法、装置及电子设备
CN115320637A (zh) 一种自动驾驶方法、装置及存储介质
CN112654998B (zh) 一种车道线检测方法和装置
CN118015567B (zh) 适用于高速公路路侧监控的车道划分方法及相关装置
CN116434151B (zh) 路面异物识别方法、装置、计算机设备及存储介质
CN114779271B (zh) 目标检测方法和装置、电子设备和存储介质
CN114581887B (zh) 车道线的检测方法、装置、设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant