CN114019947B - 一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质 - Google Patents

一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质 Download PDF

Info

Publication number
CN114019947B
CN114019947B CN202010683232.7A CN202010683232A CN114019947B CN 114019947 B CN114019947 B CN 114019947B CN 202010683232 A CN202010683232 A CN 202010683232A CN 114019947 B CN114019947 B CN 114019947B
Authority
CN
China
Prior art keywords
feature vector
vehicle
driving
track
intersection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010683232.7A
Other languages
English (en)
Other versions
CN114019947A (zh
Inventor
刘文如
覃小艺
关倩仪
王玉龙
闵欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Automobile Group Co Ltd
Original Assignee
Guangzhou Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Automobile Group Co Ltd filed Critical Guangzhou Automobile Group Co Ltd
Priority to CN202010683232.7A priority Critical patent/CN114019947B/zh
Publication of CN114019947A publication Critical patent/CN114019947A/zh
Application granted granted Critical
Publication of CN114019947B publication Critical patent/CN114019947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明提供一种车辆在路口处的行驶控制方法、系统和计算机可读存储介质，其中，该方法包括：接收路口行驶指引指令并获取车辆当前行车图像、车辆历史行驶轨迹以及识别对象的历史行驶轨迹，将当前行车图像、车辆历史行驶轨迹以及识别对象的历史行驶轨迹输入已训练好的神经网络模型中进行处理，获得车辆在所述路口行驶指引指令控制下的预测行驶轨迹；根据预测行驶轨迹生成控制指令，将控制指令发送给车辆执行机构，以控制车辆执行机构执行控制指令。该方法通过输入车辆的当前行车图像、识别对象的历史行驶轨迹以及车辆的历史行驶轨迹，为车辆在路口处的行驶提供了更丰富的信息，提高了车辆在路口处行驶的准确率。

Description

一种车辆在路口处的行驶控制方法、系统及计算机可读存储 介质
技术领域
本发明涉及车辆驾驶控制技术领域，具体而言，主要涉及一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质。
背景技术
在自动驾驶领域，基于深度学习的学习方式是指使用深度学习网络技术对人类司机的驾驶行为进行模仿和学习的一种自动驾驶技术。这一技术的主要缺点体现在学习能力上，能够从数据中学习人类的驾驶行为，其缺点在于，该自动驾驶系统高度依赖输入信息，这是因为该系统是通过学习输入数据来进行驾驶功能所导致的。
目前的自动驾驶中，无人车按照导航指令做出行驶选择，但是其只使用了单一的车载摄像头，造成了系统输入数据所含信息量不足的问题。具体体现为，在路口转弯的场景下，现有的方案没有考虑到路口中行人和车辆等障碍物和自车的交互，没有考虑到自车的行驶趋势，而且不涉及自动驾驶车辆在路口区域中具体的行驶，因而采用现有技术的方案进行路口转弯的成功率很低。
发明内容
本发明的目的在于克服现有技术的缺陷，提供一种车辆在路口处的行驶控制方法、系统和计算机可读存储介质，该方法能够克服现有技术中车辆在路口转弯时没有考虑路口中行人和车辆等障碍物和自车的交互而导致转弯成功率低的缺陷。
为了实现上述目的，采用如下的技术方案：
第一方面，本发明提供一种车辆在路口处的行驶控制方法，包括：
接收路口行驶指引指令并获取车辆当前行车图像、车辆历史行驶轨迹以及识别对象的历史行驶轨迹，其中所述识别对象为对历史行车图像进行图像识别获得的对象；
将所述当前行车图像、车辆历史行驶轨迹以及识别对象的历史行驶轨迹输入已训练好的神经网络模型中进行处理，获得所述车辆在所述路口行驶指引指令控制下的预测行驶轨迹；
根据所述预测行驶轨迹生成控制指令，将所述控制指令发送给车辆执行机构，以控制车辆执行机构执行所述控制指令。
在一具体实施方式中，所述将所述当前行车图像、车辆历史行驶轨迹以及识别对象的历史行驶轨迹输入已训练好的神经网络模型中进行处理，获得所述车辆在所述路口行驶指引指令控制下的预测行驶轨迹具体包括：
将所述当前行车图像输入第一深度学习网络中，对所述当前行车图像进行特征提取获得第一特征向量；以及将所述识别对象的历史行驶轨迹输入第二深度学习网络中进行处理，获得所述识别对象的预测行驶轨迹的第二特征向量；以及将所述车辆的历史行驶轨迹输入第三深度学习网络中进行处理，获得所述车辆的预测行驶轨迹的第三特征向量；
对所述第一特征向量、第二特征向量和第三特征向量进行处理，获得第四特征向量；
根据所述路口行驶指引指令和所述第四特征向量计算获得所述车辆在所述路口行驶指引指令控制下的预测行驶轨迹。
在一具体实施方式中，所述将所述识别对象的历史行驶轨迹输入第二深度学习网络中进行处理，获得所述识别对象的预测行驶轨迹的第二特征向量具体包括：
将所述识别对象的历史行驶轨迹输入第一长短期记忆神经网络中进行处理，获得第二特征向量，其中，所述第二特征向量包括所述历史识别对象在设定的预测帧图像中的行驶轨迹点坐标；
其中，所述将所述车辆的历史行驶轨迹输入第三深度学习网络中进行处理，获得所述车辆的预测行驶轨迹的第三特征向量具体包括：
将所述车辆历史行驶轨迹输入第二长短期记忆神经网络中进行学习，获得所述第三特征向量，其中，所述第三特征向量包括所述车辆在设定的预测帧图像中的行驶轨迹点坐标。
在一具体实施方式中，所述对所述第一特征向量、第二特征向量和第三特征向量进行处理，获得第四特征向量具体包括：
分别对所述第一特征向量、所述第二特征向量和所述第三特征向量进行展平处理，对应得到第一展平特征向量、第二压展平征向量和第三展平特征向量；
对所述第一展平特征向量、所述第二展平特征向量和所述第三展平特征向量进行拼接，获得所述第四特征向量。
在一具体实施方式中，所述根据所述路口行驶指引指令和所述第四特征向量计算获得所述车辆在所述路口行驶指引指令控制下的预测行驶轨迹具体包括：
若所述路口行驶指引指令为左转，则将所述第四特征向量输入所述已训练好的神经网络模型的左转输出分支，对所述第四特征向量进行运算并输出车辆左转时的预测行驶轨迹点坐标，若所述路口行驶指引指令为直行，则将所述第四特征向量输入所述已训练好的神经网络模型的直行分支，对所述第四特征向量进行运算并输出直行时的预测行驶轨迹点坐标，若所述路口行驶指引指令为右转，则将所述第四特征向量输入所述已训练好的神经网络模型的右转分支，对所述第四特征向量进行运算并输出右转时的预测行驶轨迹点坐标。
在一具体实施方式中，所述方法还包括：
对所述历史行车图像进行图像识别，获得所述历史行车图像中的识别对象；
对所述识别对象进行标注，获得所述识别对象的历史行驶轨迹。
本发明还提供一种车辆在路口的行驶控制系统，包括：
路口行驶指引指令接收单元，用于接收路口行驶指引指令；
获取单元，用于获取车辆当前行车图像、车辆历史行驶轨迹以及从车辆历史行车图像中识别的对象的历史轨迹，所述识别对象为对历史行车图像进行图像识别获得的对象；
神经网络处理单元，用于对所述当前行车图像、车辆历史行驶轨迹以及识别对象的历史轨迹进行处理，获得所述车辆在所述路口行驶指引指令控制下的预测行驶轨迹；
控制指令生成单元，用于根据所述预测行驶轨迹生成控制指令，将所述控制指令发送给车辆执行机构，以控制车辆执行机构执行所述控制指令。
在一具体实施方式中，所述神经网络处理单元具体包括：
第一特征向量生成单元，用于对所述当前行车图像进行特征提取获得第一特征向量；
第二特征向量生成单元，用于对所述识别对象的历史轨迹进行处理，获得所述识别对象的预测行驶轨迹的第二特征向量；
第三特征向量生成单元，用于对所述车辆的历史行驶轨迹进行处理，获得所述车辆的预测行驶轨迹的第三特征向量；
特征融合单元，用于对所述第一特征向量、第二特征向量和第三特征向量进行处理，获得第四特征向量；
行驶路径输出单元，用于根据所述路口行驶指引指令和所述第四特征向量计算获得所述车辆在所述路口行驶指引指令控制下的预测行驶轨迹。
在一具体实施方式中，所述行驶路径输出单元具体用于：
若所述路口行驶指引指令为左转，则将所述第四特征向量输入所述已训练好的神经网络模型的左转输出分支，对所述第四特征向量进行运算并输出车辆左转时的预测行驶轨迹点坐标，若所述路口行驶指引指令为直行，则将所述第四特征向量输入所述已训练好的神经网络模型的直行分支，对所述第四特征向量进行运算并输出直行时的预测行驶轨迹点坐标，若所述路口行驶指引指令为右转，则将所述第四特征向量输入所述已训练好的神经网络模型的右转分支，对所述第四特征向量进行运算并输出右转时的预测行驶轨迹点坐标。
第三方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被计算机设备执行时实现前述方法步骤。
本发明的有益效果：本发明实施例的车辆在路口处的行驶控制方法，通过获取车辆当前行车图像、车辆的历史行驶轨迹以及识别对象的历史行驶轨迹，并将车辆当前行车图像、车辆的历史行驶轨迹以及识别对象的历史行驶轨迹和路口行驶指引指令输入已训练好的神经网络模型中进行学习处理，获得车辆在路口行驶指引指令控制下的车辆预测行驶轨迹。该方法通过输入识别对象的历史行驶轨迹，考虑了识别对象对车辆在路口处的行驶的影响，此外通过输入车辆的当前行车图像、识别对象的历史行驶轨迹以及车辆的历史行驶轨迹，为车辆在路口处的行驶提供了更丰富的信息，提高了车辆在路口处行驶的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一的一种车辆在路口处的行驶控制方法的流程示意图；
图2为本发明实施例二的一种车辆在路口处的行驶控制系统的结构示意图。
具体实施方式
以下各实施例的说明是参考附图，用以示例本发明可以用以实施的特定实施例。
本发明实施例一提供一种车辆在路口处的行驶控制方法，如图1所示，包括如下步骤：
S1、接收路口行驶指引指令并获取车辆当前行车图像、车辆历史行驶轨迹以及识别对象的历史行驶轨迹，其中所述识别对象为对历史行车图像进行图像识别获得的对象。
在一具体实施方式中，所述路口行驶指引指令包括车辆左转、车辆直行和车辆右转。
在一具体实施方式中，通过车辆前端安装的摄像头进行车辆行车图像采集，其中摄像头安装位置为车辆纵向对称轴线而且接近挡风玻璃上边缘，FOV角度为60度，采集频率为30Hz，图像尺寸不小于640*480。
在一具体实施方式中，对采集的历史行车图像，使用检测算法对历史行车图像中的对象进行识别和检测，对已识别的对象进行标注，得到识别对象的历史轨迹，具体地，该识别对象包括行人、车辆、车道线等。
在一具体实施方式中，利用自车的组合导航系统获取自车的定位，即自车的GPS经纬度点，以形成自车行驶的历史轨迹点。
S2、将所述当前行车图像、车辆历史行驶轨迹以及识别对象的历史行驶轨迹输入已训练好的神经网络模型中进行处理，获得所述车辆在所述路口行驶指引指令控制下的预测行驶轨迹。
在一具体实施方式中，对所述当前行车图像进行处理，使得当前行车图像的图像大小为224*224，图像类型为RGB三通道数据，将处理后的当前行车图像输入CNN深度学习网络中，处理后的当前行车图像经过ResNet-50卷积特征提取后可得到第一特征向量，该第一特征向量的维度为为[1，1，2048]。将所述第一特征向量展平为一维向量，得到长度为2048的特征向量。
在一具体实施方式中，将识别对象的历史行驶轨迹输入长短期记忆人工神经网络模型(LSTM，Long Short-Term Memory)中，获得所述识别对象在设定帧图像中的预测行驶轨迹的第二特征向量。其中，所述LSTM模型采用3层LSTM，每一层LSTM的神经元数量为(64,64,128)。
以下举例说明，假设以过去的10帧历史轨迹序列为一组，选定2个识别对象，该2个识别对象选取车视界的左侧邻向车道(x1，y1)，右侧邻向车道(x2，y2)，则LSTM网络的输入为X＝[xt-9，…，xt]，其中xt＝[xt 1，yt 1，xt 2，yt 2]，则输出的第二特征向量的尺寸为(10，128)，展平成为一维向量，长度为1280。
在一具体实施方式中，输入自车的历史轨迹，经过LSTM深度学习网络输出自车预测行驶轨迹的第三特征向量。其中，所述LSTM深度学习网络使用3层LSTM，每层的神经元数量为(64，64，128)。
以下举例说明，假设以过去10帧历史行车图像中的自车轨迹序列为一组，则输入向量为X＝[xt-9，…，xt]，其中xt＝[xt 0，yt 0]，则输出的第三特征向量的尺寸为(10，128)，展平成为一维向量，长度为1280。
在获得了第一特征向量、第二特征向量和第三特征向量后，对所述第一特征向量、第二特征向量和第三特征向量进行拼接形成第四特征向量，所述第四特征向量的尺寸为2048+1280+1280＝4608。
在一具体实施方式中，所述已训练好的神经网络模型包括三个输出分支，每一输出分支包括3个全连接层，每一层的神经元数量分别为128，512，10，最终输出层将会输出车辆未来的行驶轨迹点。假设输出结果为预测范围为未来的10帧图像的行驶轨迹点，则其输出为Y＝[yt+1,…,yt+10]，其中，yt＝[xt 0,yt 0]，当路口转向指令为左转时，则将第四特征向量输入左转输出分支，计算得到车辆左转行驶时对应的行驶轨迹点，当路口转向指引指令为直行时，则将第四特征向量输入直行输出分支，计算得到车辆直行行驶时对应的行驶轨迹点，当路口转向指引指令为右转时，则将第四特征向量输入右转输出分支，计算得到车辆右转行驶时对应的行驶轨迹点。
在一具体实施方式中，本实施例采用回归算法，其损失函数均使用均方误差，即其中，n为预测帧总数，ypredi为第i个预测帧中车辆行驶轨迹点的坐标，ytruei为第i个预测帧对应的车辆的真实行驶轨迹点的坐标值。
在一具体实施方式中，本实施例的神经网络模型采用ADAM优化训练，学习率为0.001。
S3、根据所述预测行驶轨迹生成控制指令，将所述控制指令发送给车辆执行机构，以控制车辆执行机构执行所述控制指令。
本发明实施例的车辆在路口处的行驶控制方法，通过获取车辆的多个车载摄像头采集的前方路口图像，根据所述前方路口图像生成特征向量，根据接收的路口行驶指引信息和特征向量计算获得路口行驶指引信息对应的方向盘转角。该方法可以解决基于深度学习的无人驾驶系统中，面对复杂场景，输入的视觉信息不足的问题，此外，该网络可以接收来自驾驶员或者自动驾驶系统的指令，完成相应指令下的驾驶任务，从而提高了端到端神经网络自动驾驶的能力。
基于本发明实施例一，本发明实施例二提供一种车辆在路口处的行驶控制系统，如图2所示，该系统100包括：路口行驶指引指令接收单元1、获取单元2、神经网络处理单元3和控制指令生成单元4，其中，所述路口行驶指引指令接收单元1用于接收路口行驶指引指令；所述获取单元2用于获取车辆当前行车图像、车辆历史行驶轨迹以及从车辆历史行车图像中识别的对象的历史轨迹，所述识别对象为对历史行车图像进行图像识别获得的对象；所述神经网络处理单元3用于对所述当前行车图像、车辆历史行驶轨迹以及识别对象的历史轨迹进行处理，获得所述车辆在所述路口行驶指引指令控制下的预测行驶轨迹；所述控制指令生成单元4用于根据所述预测行驶轨迹生成控制指令，将所述控制指令发送给车辆执行机构，以控制车辆执行机构执行所述控制指令。
在一具体实施方式中，所述神经网络处理单元3具体包括第一至第三特征向量生成单元、特征融合单元和行驶路径输出单元，其中所述第一特征向量生成单元用于对所述当前行车图像进行网络学习获得第一特征向量；第二特征向量生成单元用于对所述识别对象的历史轨迹进行网络学习获得第二特征向量；第三特征向量生成单元用于对所述车辆历史行驶轨迹进行网络学习获得第三特征向量；特征融合单元，用于对所述第一特征向量、第二特征向量和第三特征向量进行处理，获得第四特征向量；行驶路径输出单元用于根据所述路口行驶指引指令和所述第四特征向量计算获得与所述路口行驶指引指令对应的车辆行驶轨迹。
在一具体实施方式中，所述第一特征向量生成单元具体用于：将所述当前行车图像输入CNN深度学习网络中进行网络学习，获得所述第一特征向量；其中，所述第二特征向量生成单元具体用于将所述识别对象的历史行驶轨迹输入长短期记忆神经网络中进行学习，获得所述历史识别对象的预测行驶轨迹的第二特征向量；其中，所述第三特征向量生成单元具体用于将所述车辆历史行驶轨迹输入长短期记忆神经网络中进行学习，获得所述车辆的预测行驶轨迹的第三特征向量。
在一具体实施方式中，所述行驶路径输出单元具体用于若所述路口行驶指引指令为左转，则将所述第四特征向量输入所述已训练好的神经网络模型的左转输出分支，对所述第四特征向量进行运算并输出车辆左转时的预测轨迹，若所述路口行驶指引指令为直行，则将所述第四特征向量输入所述已训练好的神经网络模型的直行分支，对所述第四特征向量进行运算并输出直行时的预测轨迹，若所述路口行驶指引指令为右转，则将所述第四特征向量输入所述已训练好的神经网络模型的右转分支，对所述第四特征向量进行运算并输出右转时的预测轨迹。
基于本发明实施例一，本发明实施例三提供一种计算机可读存储介质，所述计算机程序被计算机设备执行时实现前述的方法步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)以及存储器总线动态RAM(RDRAM)等。
以上所述实施方式仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明范围的限制。应当指出的是，对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (8)

1.一种车辆在路口处的行驶控制方法，其特征在于，包括：
接收路口行驶指引指令并获取车辆当前行车图像、车辆历史行驶轨迹以及识别对象的历史行驶轨迹，其中所述识别对象为对历史行车图像进行图像识别获得的对象；
将所述当前行车图像、车辆历史行驶轨迹以及识别对象的历史行驶轨迹输入已训练好的神经网络模型中进行处理，获得所述车辆在所述路口行驶指引指令控制下的预测行驶轨迹；
根据所述预测行驶轨迹生成控制指令，将所述控制指令发送给车辆执行机构，以控制车辆执行机构执行所述控制指令；
所述将所述当前行车图像、车辆历史行驶轨迹以及识别对象的历史行驶轨迹输入已训练好的神经网络模型中进行处理，获得所述车辆在所述路口行驶指引指令控制下的预测行驶轨迹具体包括：
将所述当前行车图像输入第一深度学习网络中，对所述当前行车图像进行特征提取获得第一特征向量；以及将所述识别对象的历史行驶轨迹输入第二深度学习网络中进行处理，获得所述识别对象的预测行驶轨迹的第二特征向量；以及将所述车辆的历史行驶轨迹输入第三深度学习网络中进行处理，获得所述车辆的预测行驶轨迹的第三特征向量；
对所述第一特征向量、第二特征向量和第三特征向量进行处理，获得第四特征向量；
根据所述路口行驶指引指令和所述第四特征向量计算获得所述车辆在所述路口行驶指引指令控制下的预测行驶轨迹。
2.根据权利要求1所述的方法，其特征在于，所述将所述识别对象的历史行驶轨迹输入第二深度学习网络中进行处理，获得所述识别对象的预测行驶轨迹的第二特征向量具体包括：
将所述识别对象的历史行驶轨迹输入第一长短期记忆神经网络中进行处理，获得第二特征向量，其中，所述第二特征向量包括所述历史识别对象在设定数量帧的预测图像中的行驶轨迹点坐标；
其中，所述将所述车辆的历史行驶轨迹输入第三深度学习网络中进行处理，获得所述车辆的预测行驶轨迹的第三特征向量具体包括：
将所述车辆历史行驶轨迹输入第二长短期记忆神经网络中进行学习，获得所述第三特征向量，其中，所述第三特征向量包括所述车辆在设定数量帧的预测图像中的行驶轨迹点坐标。
3.根据权利要求2所述的方法，其特征在于，所述对所述第一特征向量、第二特征向量和第三特征向量进行处理，获得第四特征向量具体包括：
分别对所述第一特征向量、所述第二特征向量和所述第三特征向量进行展平处理，对应得到第一展平特征向量、第二展平特征向量和第三展平特征向量；
对所述第一展平特征向量、所述第二展平特征向量和所述第三展平特征向量进行拼接，获得所述第四特征向量。
4.根据权利要求3所述的方法，其特征在于，所述根据所述路口行驶指引指令和所述第四特征向量计算获得所述车辆在所述路口行驶指引指令控制下的预测行驶轨迹具体包括：
若所述路口行驶指引指令为左转，则将所述第四特征向量输入所述已训练好的神经网络模型的左转输出分支，对所述第四特征向量进行运算并输出车辆左转时的预测行驶轨迹点坐标，若所述路口行驶指引指令为直行，则将所述第四特征向量输入所述已训练好的神经网络模型的直行分支，对所述第四特征向量进行运算并输出直行时的预测行驶轨迹点坐标，若所述路口行驶指引指令为右转，则将所述第四特征向量输入所述已训练好的神经网络模型的右转分支，对所述第四特征向量进行运算并输出右转时的预测行驶轨迹点坐标。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
对所述历史行车图像进行图像识别，获得所述历史行车图像中的识别对象；对所述识别对象进行标注，获得所述识别对象的历史行驶轨迹。
6.一种车辆在路口的行驶控制系统，其特征在于，包括：
路口行驶指引指令接收单元，用于接收路口行驶指引指令；
获取单元，用于获取车辆当前行车图像、车辆历史行驶轨迹以及从车辆历史行车图像中识别的对象的历史轨迹，所述识别对象为对历史行车图像进行图像识别获得的对象；
神经网络处理单元，用于对所述当前行车图像、车辆历史行驶轨迹以及识别对象的历史轨迹进行处理，获得所述车辆在所述路口行驶指引指令控制下的预测行驶轨迹；
控制指令生成单元，用于根据所述预测行驶轨迹生成控制指令，将所述控制指令发送给车辆执行机构，以控制车辆执行机构执行所述控制指令；
所述神经网络处理单元具体包括：
第一特征向量生成单元，用于对所述当前行车图像进行特征提取获得第一特征向量；
第二特征向量生成单元，用于对所述识别对象的历史轨迹进行处理，获得所述识别对象的预测行驶轨迹的第二特征向量；
第三特征向量生成单元，用于对所述车辆的历史行驶轨迹进行处理，获得所述车辆的预测行驶轨迹的第三特征向量；
特征融合单元，用于对所述第一特征向量、第二特征向量和第三特征向量进行处理，获得第四特征向量；
行驶路径输出单元，用于根据所述路口行驶指引指令和所述第四特征向量计算获得所述车辆在所述路口行驶指引指令控制下的预测行驶轨迹。
7.根据权利要求6所述的系统，其特征在于，所述行驶路径输出单元具体用于：
若所述路口行驶指引指令为左转，则将所述第四特征向量输入已训练好的神经网络模型的左转输出分支，对所述第四特征向量进行运算并输出车辆左转时的预测行驶轨迹点坐标，若所述路口行驶指引指令为直行，则将所述第四特征向量输入已训练好的神经网络模型的直行分支，对所述第四特征向量进行运算并输出直行时的预测行驶轨迹点坐标，若所述路口行驶指引指令为右转，则将所述第四特征向量输入已训练好的神经网络模型的右转分支，对所述第四特征向量进行运算并输出右转时的预测行驶轨迹点坐标。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被计算机设备执行时实现前述权利要求1-5任一项的方法步骤。
CN202010683232.7A 2020-07-15 2020-07-15 一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质 Active CN114019947B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010683232.7A CN114019947B (zh) 2020-07-15 2020-07-15 一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010683232.7A CN114019947B (zh) 2020-07-15 2020-07-15 一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN114019947A CN114019947A (zh) 2022-02-08
CN114019947B true CN114019947B (zh) 2024-03-12

Family

ID=80053889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010683232.7A Active CN114019947B (zh) 2020-07-15 2020-07-15 一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114019947B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108364461A (zh) * 2018-01-05 2018-08-03 武汉中科通达高新技术股份有限公司 一种车辆行驶轨迹预测方法
CN109711557A (zh) * 2018-12-28 2019-05-03 西安航空学院 一种行车轨迹预测方法、系统、计算机设备及存储介质
CN109747659A (zh) * 2018-11-26 2019-05-14 北京汽车集团有限公司 车辆驾驶的控制方法和装置
CN109784254A (zh) * 2019-01-07 2019-05-21 中兴飞流信息科技有限公司 一种车辆违规事件检测的方法、装置和电子设备
CN110658820A (zh) * 2019-10-10 2020-01-07 北京京东乾石科技有限公司 无人驾驶车辆的控制方法及装置、电子设备、存储介质
CN110781774A (zh) * 2019-10-10 2020-02-11 江苏理工学院 基于深度学习的平交路口智能引导系统和方法
CN110852342A (zh) * 2019-09-26 2020-02-28 京东城市(北京)数字科技有限公司 一种路网数据的获取方法、装置、设备及计算机存储介质
CN111194287A (zh) * 2018-09-14 2020-05-22 广州汽车集团股份有限公司 用于控制车辆和自主驾驶车辆的方法和装置
KR102133342B1 (ko) * 2019-11-26 2020-07-13 한양대학교 산학협력단 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10656657B2 (en) * 2017-08-08 2020-05-19 Uatc, Llc Object motion prediction and autonomous vehicle control
EP3495219B1 (en) * 2017-12-11 2023-07-05 Volvo Car Corporation Path prediction for a vehicle

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108364461A (zh) * 2018-01-05 2018-08-03 武汉中科通达高新技术股份有限公司 一种车辆行驶轨迹预测方法
CN111194287A (zh) * 2018-09-14 2020-05-22 广州汽车集团股份有限公司 用于控制车辆和自主驾驶车辆的方法和装置
CN109747659A (zh) * 2018-11-26 2019-05-14 北京汽车集团有限公司 车辆驾驶的控制方法和装置
CN109711557A (zh) * 2018-12-28 2019-05-03 西安航空学院 一种行车轨迹预测方法、系统、计算机设备及存储介质
CN109784254A (zh) * 2019-01-07 2019-05-21 中兴飞流信息科技有限公司 一种车辆违规事件检测的方法、装置和电子设备
CN110852342A (zh) * 2019-09-26 2020-02-28 京东城市(北京)数字科技有限公司 一种路网数据的获取方法、装置、设备及计算机存储介质
CN110658820A (zh) * 2019-10-10 2020-01-07 北京京东乾石科技有限公司 无人驾驶车辆的控制方法及装置、电子设备、存储介质
CN110781774A (zh) * 2019-10-10 2020-02-11 江苏理工学院 基于深度学习的平交路口智能引导系统和方法
KR102133342B1 (ko) * 2019-11-26 2020-07-13 한양대학교 산학협력단 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치
WO2021107380A1 (ko) * 2019-11-26 2021-06-03 한양대학교 산학협력단 차량의 주변 지도 이미지를 활용하는 딥러닝 기반 차량 경로 예측 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于时间序列的目标车辆轨迹预测算法;孙影;王铁;;汽车实用技术(06);31-33 *

Also Published As

Publication number Publication date
CN114019947A (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
US10691962B2 (en) Systems and methods for rear signal identification using machine learning
US10628688B1 (en) Learning method and learning device, and testing method and testing device for detecting parking spaces by using point regression results and relationship between points to thereby provide an auto-parking system
EP3702230B1 (en) Method and apparatus for planning travelling path, and vehicle
CN111142557B (zh) 无人机路径规划方法、系统、计算机设备及可读存储介质
CN113942524B (zh) 一种车辆行驶控制方法、系统及计算机可读存储介质
Wang et al. End-to-end autonomous driving: An angle branched network approach
US10937176B2 (en) Object recognition apparatus
US20210078168A1 (en) Method for generating a training data set for training an artificial intelligence module for a control device of a vehicle
EP3690725A1 (en) Method and device for seamless parameter switch by using location-specific algorithm selection to achieve optimized autonomous driving in each of regions
CN110723072B (zh) 辅助驾驶方法、装置、计算机设备和存储介质
WO2022165614A1 (zh) 一种路径构建方法、装置、终端及存储介质
Nose et al. A study on a lane keeping system using CNN for online learning of steering control from real time images
CN114998856B (zh) 一种多相机图像的3d目标检测方法、装置、设备及介质
Yang et al. Autonomous lane keeping control system based on road lane model using deep convolutional neural networks
CN114019947B (zh) 一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质
WO2022006777A1 (zh) 对周围移动物体进行变道分类的方法、系统、计算机设备及存储介质
CN111210411B (zh) 图像中灭点的检测方法、检测模型训练方法和电子设备
Li et al. An end-to-end fully automatic bay parking approach for autonomous vehicles
DE102022121602A1 (de) Objektbewegungsbahnprognose
Yang et al. A novel vision-based framework for real-time lane detection and tracking
CN114379544A (zh) 一种基于多传感器前融合的自动泊车系统、方法及装置
Kwon et al. Framework for evaluating vision-based autonomous steering control model
CN113954835B (zh) 一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质
CN114018275A (zh) 一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质
KR102454878B1 (ko) 이동체의 이동 속성 획득 방법 및 이를 수행하는 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant