CN113954835A - 一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质 - Google Patents

一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质 Download PDF

Info

Publication number
CN113954835A
CN113954835A CN202010682627.5A CN202010682627A CN113954835A CN 113954835 A CN113954835 A CN 113954835A CN 202010682627 A CN202010682627 A CN 202010682627A CN 113954835 A CN113954835 A CN 113954835A
Authority
CN
China
Prior art keywords
feature vector
intersection
vehicle
steering wheel
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010682627.5A
Other languages
English (en)
Other versions
CN113954835B (zh
Inventor
刘文如
王玉龙
闵欢
黄明亮
王航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Automobile Group Co Ltd
Original Assignee
Guangzhou Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Automobile Group Co Ltd filed Critical Guangzhou Automobile Group Co Ltd
Priority to CN202010682627.5A priority Critical patent/CN113954835B/zh
Publication of CN113954835A publication Critical patent/CN113954835A/zh
Application granted granted Critical
Publication of CN113954835B publication Critical patent/CN113954835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18159—Traversing an intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)

Abstract

本发明提供一种车辆在路口处的行驶控制方法、系统和计算机可读存储介质，其中，该方法包括：接收路口行驶指引指令并获取多帧前方路口图像，其中所述多帧前方路口图像至少包括设置在车辆前方左侧的摄像头采集的第一前方路口图像、中间摄像头采集的第二前方路口图像和右侧摄像头采集的第三前方路口图像；将多帧图像和路口行驶指引指令输入已训练好的神经网络模型中进行处理，输出与路口行驶指引指令对应的方向盘转角；根据方向盘转角生成控制指令，将控制指令发送给车辆执行机构，以控制车辆执行机构执行控制指令。该方法能够解决基于深度学习的无人驾驶系统中，面对复杂场景，输入的视觉信息不足的缺陷，并提高端到端神经网络自动驾驶的能力。

Description

一种车辆在路口处的行驶控制方法、系统及计算机可读存储 介质
技术领域
本发明涉及车辆驾驶控制技术领域，具体而言，主要涉及一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质。
背景技术
在自动驾驶领域，基于深度学习的学习方式是指使用深度学习网络技术对人类司机的驾驶行为进行模仿和学习的一种自动驾驶技术。这一技术的主要缺点体现在学习能力上，其高度依赖输入信息。
目前的自动驾驶中，无人车按照导航指令做出行驶选择，但是其只使用了单一的车载摄像头，造成了系统输入数据所含信息量不足的问题。在路口转向这一问题上，无人车面对的是一个复杂的场景，需要关注前方场景，也包括侧方的场景，例如路口边缘等，而且不同的路口的转弯半径也不一样，使用的单一的前向车载摄像头无法获取车辆两侧的信息，输入信息的缺失导致自动驾驶系统在复杂场景下的学习能力受到限制。
发明内容
本发明的目的在于克服现有技术的缺陷，提供一种车辆在路口处的行驶控制方法、系统和计算机可读存储介质，该方法能够克服现有技术中输入信息不足而导致自动驾驶系统在复杂场景下的学习能力受限的缺陷。
为了实现上述目的，采用如下的技术方案：
第一方面，本发明提供一种车辆在路口处的行驶控制方法，包括：
接收路口行驶指引指令并获取多帧前方路口图像，其中所述多帧前方路口图像至少包括设置在车辆前方左侧的摄像头采集的第一前方路口图像、设置在车辆前方中间的摄像头采集的第二前方路口图像和设置在车辆前方右侧的摄像头采集的第三前方路口图像；
将所述多帧前方路口图像和路口行驶指引指令输入已训练好的神经网络模型中进行处理，获得与所述路口行驶指引指令对应的方向盘转角；
根据所述方向盘转角生成控制指令，将所述控制指令发送给车辆执行机构，以控制车辆执行机构执行所述控制指令。
其中，所述将所述前方路口图像和路口行驶指引指令输入已训练好的神经网络模型中进行处理，获得与所述路口行驶指引指令对应的方向盘转角具体包括：
将所述第一前方路口图像、第二前方路口图像和第三前方路口图像输入所述已训练好的神经网络模型中进行特征提取，获得对应第一特征向量、第二特征向量和第三特征向量；
对所述第一特征向量、第二特征向量和第三特征向量进行处理，获得第四特征向量；
根据所述路口行驶指引指令和所述第四特征向量计算获得所述路口行驶指引指令对应的方向盘转角。
其中，所述对所述第一特征向量、第二特征向量和第三特征向量进行处理，获得第四特征向量具体包括：
分别对所述第一特征向量、所述第二特征向量和所述第三特征向量进行展平和压缩处理，对应得到第一压缩特征向量、第二压缩特征向量和第三压缩特征向量；
对所述第一压缩特征向量、所述第二压缩特征向量和所述第三压缩特征向量进行拼接，获得所述第四特征向量。
其中，所述根据所述路口行驶指引指令和所述第四特征向量计算获得与所述路口行驶指引指令对应的方向盘转角具体包括：
若所述路口行驶指引指令为左转，则将所述第四特征向量输入所述已训练好的神经网络模型的左转输出分支，对所述第四特征向量进行运算并输出车辆左转时的方向盘转角，若所述路口行驶指引指令为直行，则将所述第四特征向量输入所述已训练好的神经网络模型的直行分支，对所述第四特征向量进行运算并输出直行时的方向盘转角，若所述路口行驶指引指令为右转，则将所述第四特征向量输入所述已训练好的神经网络模型的右转分支，对所述第四特征向量进行运算并输出右转时的方向盘转角。
其中，所述方法还包括在将所述前方路口图像和路口行驶指引指令输入已训练好的神经网络模型中进行处理，获得与所述路口行驶指引指令对应的方向盘转角前包括：
将所述已训练好的神经网络模型进行压缩，并移植到车辆的车载平台中。
本发明还提供一种车辆在路口的行驶控制系统，包括：
路口行驶指引指令接收单元，用于接收路口行驶指引指令；
前方路口图像获取单元，用于获取多帧前方路口图像，其中所述多帧前方路口图像至少包括设置在车辆前方左侧的摄像头采集的第一前方路口图像、设置在车辆前方中间的摄像头采集的第二前方路口图像和设置在车辆前方右侧的摄像头采集的第三前方路口图像；
神经网络处理单元，用于对所述多帧前方路口图像和所述路口行驶指引指令进行处理，输出与所述路口行驶指引指令对应的方向盘转角；
控制指令生成单元，用于根据所述方向盘转角生成控制指令，将所述控制指令发送给车辆执行机构，以控制车辆执行机构执行所述控制指令。
其中，所述前方路口图像获取单元具体包括：
第一前方路口图像获取单元，用于获取车辆的左端摄像头采集的第一前方路口图像；
第二前方路口图像获取单元，用于获取车辆的中间摄像头采集的前方第二路口图像
第三前方路口图像获取单元，用于获取车辆的右端摄像头采集的第三前方路口图像。
其中，所述神经网络处理单元具体包括：
第一特征向量生成单元，用于对所述第一前方路口图像进行特征提取，获得第一特征向量；
第二特征向量生成单元，用于对所述第二前方路口图像进行特征提取，获得第二特征向量；
第三特征向量生成单元，用于对所述第三前方路口图像进行特征提取，获得第三特征向量；
特征融合单元，用于对所述第一特征向量、第二特征向量和第三特征向量进行处理，获得第四特征向量；
方向盘转角输出单元，用于根据所述路口行驶指引指令和所述第四特征向量计算并输出与所述路口行驶指引指令对应的方向盘转角。
其中，所述方向盘转角输出单元具体用于：
若所述路口行驶指引指令为左转，则将所述第四特征向量输入所述已训练好的神经网络模型的左转输出分支，对所述第四特征向量进行运算并输出车辆左转时的方向盘转角，若所述路口行驶指引指令为直行，则将所述第四特征向量输入所述已训练好的神经网络模型的直行分支，对所述第四特征向量进行运算并输出直行时的方向盘转角，若所述路口行驶指引指令为右转，则将所述第四特征向量输入所述已训练好的神经网络模型的右转分支，对所述第四特征向量进行运算并输出右转时的方向盘转角。
第三方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被计算机设备执行时实现前述方法步骤。
本发明的有益效果：本发明实施例的车辆在路口处的行驶控制方法，通过获取车辆的多个车载摄像头采集的前方路口图像，根据所述前方路口图像生成特征向量，根据接收的路口行驶指引信息和特征向量计算获得路口行驶指引信息对应的方向盘转角。该方法可以解决基于深度学习的无人驾驶系统中，面对复杂场景，输入的视觉信息不足的问题，此外，该神经网络模型可以接收来自驾驶员或者自动驾驶系统的指令，完成相应指令下的驾驶任务，从而提高了端到端神经网络自动驾驶的能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一的一种车辆在路口处的行驶控制方法的流程示意图；
图2为本发明实施例二的一种车辆在路口处的行驶控制系统的结构示意图。
具体实施方式
以下各实施例的说明是参考附图，用以示例本发明可以用以实施的特定实施例。
本发明实施例一提供一种车辆在路口处的行驶控制方法，如图1所示，包括如下步骤：
S1、接收路口行驶指引指令并获取多帧前方路口图像，其中所述多帧前方路口图像至少包括设置在车辆前方左侧的摄像头采集的第一前方路口图像、设置在车辆前方中间的摄像头采集的第二前方路口图像和设置在车辆前方右侧的摄像头采集的第三前方路口图像。
在一具体实施方式中，获取车辆的左摄像头采集的第一前方路口图像、中间摄像头采集的第二前方路口图像和右摄像头采集的第三前方路口图像。其中，左摄像头安装在左后视镜下边缘，中间摄像头安装在车辆纵向对称轴线而且接近挡风玻璃上边缘，右摄像头安装在右后视镜下边缘，左右摄像头的FOV角度为120度，中间摄像头FOV的角度为60度，左、中、右摄像头的采集频率分别为30Hz。
在一具体实施方式中，所述路口行驶指引指令包括车辆左转、车辆直行和车辆右转。
S2、将所述前方路口图像和路口行驶指引指令输入已训练好的神经网络模型中进行处理，输出与所述路口行驶指引指令对应的方向盘转角。
在一具体实施方式中，将所述第一前方路口图像、第二前方路口图像和第三前方路口图像输入所述已训练好的神经网络模型中，分别对所述第一前方路口图像、第二前方路口图像和第三前方路口图像采用一个ResNet-50网络进行特征提取，对应获得第一特征向量、第二特征向量和第三特征向量。其中，所述第一特征向量、第二特征向量和第三特征向量的维度为[4，8，2048]，对所述第一特征向量、第二特征向量和第三特征向量进行展平，对应得到长度为65536的第一展平特征向量、第二展平特征向量和第三展平特征向量。为了降低对系统计算能力的要求，对所述第一展平特征向量、第二展平特征向量和第三展平特征向量进行压缩，对应获得长度为512维的第一压缩特征向量、第二压缩特征向量和第三压缩特征向量。对所述第一压缩特征向量、第二压缩特征向量和第三压缩特征向量进行连接，生成长度为1536的第四特征向量。
在一具体实施方式中，所述神经网络模型包括三个输出分支，每一输出分支包括3个全连接层，每一层的单元数量分别为512、256和1，最终输出层为一个单元，激活函数为反正切函数，输出范围为
Figure BDA0002586400410000061
当路口转向指令为左转时，则将第四特征向量输入左转输出分支，计算得到车辆左转行驶时对应的方向盘转角，当路口转向指引指令为直行时，则将第四特征向量输入直行输出分支，计算得到车辆直行行驶时对应的方向盘转角，当路口转向指引指令为右转时，则将第四特征向量输入右转输出分支，计算得到车辆右转行驶时对应的方向盘转角。车辆左转行驶时对应的方向盘转角为
Figure BDA0002586400410000071
车辆右转行驶时对应的方向盘转角为
Figure BDA0002586400410000072
在一具体实施方式中，所述训练好的神经网络模型的训练集为：将原始图像进行下采样获得新样本序列，图像样本不少于10万张，同时根据图像记录的时间点，获得采集的驾驶员驾驶行为信息，即方向盘转角，将图像和对应的方向盘转角进行归一化，其中，方向盘转角的缩放因子为1/780，方向盘向左的最大转角为-780度，中间位置为0，向右最大转角为780度，用于训练所述神经网络模型的图像尺寸大小统一缩放为224*224，图像像素缩放因子为1/225。
神经网络的本质是寻找从输入到输出的最佳函数表达式，用I表示图像输入，C表示指令输入，w表示网络中涉及的优化函数，ws表示不同指令共享的网络参数，wi表示不同指令下独立的网络参数，i＝1,2,3，分别表示左转、右转、直行，f表示网络的表达式，Y表示网络的输出，y表示图像对应的实际值，则网络可表示为Y＝F(I,W)，网络的优化则为寻找最优的参数使得∑(y-Y)2值最小，即：
Figure BDA0002586400410000073
由于在该实施方式中，涉及三种驾驶指令，对应三条分支输出，每一个驾驶指令都对应一个损失函数。
为了防止模型过拟合，通过对训练参数进行正则化，使得模型不能过拟合到训练数据中的随即噪音，在该实施例中采用L2正则化的方法。
为了对模型进行训练和优化，将采集得到的数据集分为训练集和测试集，其中，训练集比例为85％，测试集比例为15％。训练时采用adam优化算法，训练步数为100万步，学习率采用指数衰减发，即随着训练步数的增加逐渐减少学习率：
Figure BDA0002586400410000081
其中ldr为当前的学习率，lbr为基础的学习率，设为1e-4，rd为衰减系数，设为0.99，Cstep为当前训练的步数，Dstep为衰减速率，设为1万步。
S3、根据所述方向盘转角生成控制指令，将所述控制指令发送给车辆执行机构，以控制车辆执行机构执行所述控制指令。
在一具体实施方式中，该方法在将所述前方路口图像和路口行驶指引指令输入已训练好的神经网络模型中进行处理，输出与所述路口行驶指引指令对应的方向盘转角前还包括：将所述已训练好的神经网络模型进行压缩，并移植到车辆的车载平台中。
由于该方法使用了第一前方路口图像、第二前方路口图像和第三前方路口图像，并且对应的采用了3个Resnet-50网络来进行图像处理，所以对计算力有一定的要求，在进行时实车实验时，需要对模型进行压缩，以满足自动驾驶中实时计算的时间要求。在一具体实施方式中，使用TensorRT工具进行深度学习网络的压缩和迁移。具体方法如下：
1)冻结模型
在训练模型时，模型的结构和权重分开保存。压缩模型的第一步是将模型结构和权重数据合并在一个文件中，使用冻结模型的方式，即使用pb文件的格式，将模型结构和权重数据合并成一个文件，并且保存下来。
2)设置参数
在进行模型压缩时，需要明确以下参数：
·MODEL_DIR：冻结模型中生成的pb模型地址
·CHANNEL、HEIGHT、WIDTH：图片的通道、高和宽。根据模型的输入
大小参数确定为3，224，224.
·ENGINE_PATH：保存TensorRT引擎的地址
·INPUT_NODE：模型的输入节点
·OUTPUT_NODE：模型的输出节点
·INPUT_SIZE：输入图片的大小
·MAX_BATCH_SIZE：在推理的时候，每一次推理输入图片的数量，设置
为1
·MAX_WORKSPACE：显存的大小设置为，1<<30，也就是1GB的大小。
3)压缩模型
使用TensorRT工具，将模型冻结中冻结好的pb模型进行压缩。根据设置参数中的设置，创建TensorRT中的engine，即引擎，这个engine将负责模型的前向运算。在模型压缩后，使用.plan文件的格式保存压缩过的模型。
4)使用TensorRT模型实现推理
将压缩过的模型迁移到嵌入式车载平台中。调用之前保存的plan文件，启用引擎，开始使用TensorRT实现推理。
本发明实施例的车辆在路口处的行驶控制方法，通过获取车辆的多个车载摄像头采集的前方路口图像，根据所述前方路口图像生成特征向量，根据接收的路口行驶指引信息和特征向量计算获得路口行驶指引信息对应的方向盘转角。该方法可以解决基于深度学习的无人驾驶系统中，面对复杂场景，输入的视觉信息不足的问题，此外，该网络可以接收来自驾驶员或者自动驾驶系统的指令，完成相应指令下的驾驶任务，从而提高了端到端神经网络自动驾驶的能力。
基于本发明实施例一，本发明实施例二提供一种车辆在路口处的行驶控制系统，如图2所示，该系统100包括：路口行驶指引指令接收单元1、前方路口图像获取单元2、神经网络处理单元3和控制指令生成单元4，其中，路口行驶指引指令接收单元1用于接收路口行驶指引指令；前方路口图像获取单元2用于获取车辆的多个摄像头采集的前方路口图像；神经网络处理单元3用于对所述前方路口图像和所述路口行驶指引指令进行处理，输出与所述路口行驶指引指令对应的方向盘转角；控制指令生成单元4用于根据所述方向盘转角生成控制指令，将所述控制指令发送给车辆执行机构，以控制车辆执行机构执行所述控制指令。
其中，所述前方路口图像获取单元2包括第一前方路口图像获取单元、第二前方路口图像处理单元和第三前方路口图像处理单元，其中，所述第一前方路口图像处理单元用于获取车辆的左端摄像头采集的第一前方路口图像，第二前方路口图像获取单元用于获取车辆的中间摄像头采集的前方第二路口图像，第三前方路口图像获取单元，用于获取车辆的右端摄像头采集的第三前方路口图像。
其中，所述神经网络处理单元3具体包括：第一特征向量生成单元，用于对所述第一前方路口图像进行特征提取，获得第一特征向量；第二特征向量生成单元，用于对所述第二前方路口图像进行特征提取，获得第二特征向量；第三特征向量生成单元，用于对所述第三前方路口图像进行特征提取，获得第三特征向量；特征融合单元，用于对所述第一特征向量、第二特征向量和第三特征向量进行处理，获得第四特征向量；方向盘转角输出单元，用于根据所述路口行驶指引指令和所述第四特征向量计算获得与所述路口行驶指引指令对应的方向盘转角。
其中，所述方向盘转角输出单元具体用于：若所述路口行驶指引指令为左转，则将所述第四特征向量输入所述已训练好的神经网络模型的左转分支，对所述第四特征向量进行运算获得左转方向盘转角，若所述路口行驶指引指令为直行，则将所述第四特征向量输入所述已训练好的神经网络模型的直行分支，对所述第四特征向量进行运算获得直行方向盘转角，若所述路口行驶指引指令为右转，则将所述第四特征向量输入所述已训练好的神经网络模型的右转分支，对所述第四特征向量进行运算获得右转方向盘转角。
基于本发明实施例一，本发明实施例三提供一种计算机可读存储介质，所述计算机程序被计算机设备执行时实现前述的方法步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)以及存储器总线动态RAM(RDRAM)等。
以上所述实施方式仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明范围的限制。应当指出的是，对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (10)

1.一种车辆在路口处的行驶控制方法，其特征在于，包括：
接收路口行驶指引指令并获取多帧前方路口图像，其中所述多帧前方路口图像至少包括设置在车辆前方左侧的摄像头采集的第一前方路口图像、设置在车辆前方中间的摄像头采集的第二前方路口图像和设置在车辆前方右侧的摄像头采集的第三前方路口图像；
将所述多帧前方路口图像和路口行驶指引指令输入已训练好的神经网络模型中进行处理，获得与所述路口行驶指引指令对应的方向盘转角；
根据所述方向盘转角生成控制指令，将所述控制指令发送给车辆执行机构，以控制车辆执行机构执行所述控制指令。
2.根据权利要求1所述的方法，其特征在于，所述将所述多帧前方路口图像和路口行驶指引指令输入已训练好的神经网络模型中进行处理，获得与所述路口行驶指引指令对应的方向盘转角具体包括：
将所述第一前方路口图像、第二前方路口图像和第三前方路口图像输入所述已训练好的神经网络模型中进行特征提取，获得对应第一特征向量、第二特征向量和第三特征向量；
对所述第一特征向量、第二特征向量和第三特征向量进行处理，获得第四特征向量；
根据所述路口行驶指引指令和所述第四特征向量计算获得所述路口行驶指引指令对应的方向盘转角。
3.根据权利要求2所述的方法，其特征在于，所述对所述第一特征向量、第二特征向量和第三特征向量进行处理，获得第四特征向量具体包括：
分别对所述第一特征向量、所述第二特征向量和所述第三特征向量进行展平和压缩处理，对应得到第一压缩特征向量、第二压缩特征向量和第三压缩特征向量；
对所述第一压缩特征向量、所述第二压缩特征向量和所述第三压缩特征向量进行拼接，获得所述第四特征向量。
4.根据权利要求3所述的方法，其特征在于，所述根据所述路口行驶指引指令和所述第四特征向量计算获得与所述路口行驶指引指令对应的方向盘转角具体包括：
若所述路口行驶指引指令为左转，则将所述第四特征向量输入所述已训练好的神经网络模型的左转输出分支，对所述第四特征向量进行运算并输出车辆左转时的方向盘转角，若所述路口行驶指引指令为直行，则将所述第四特征向量输入所述已训练好的神经网络模型的直行分支，对所述第四特征向量进行运算并输出直行时的方向盘转角，若所述路口行驶指引指令为右转，则将所述第四特征向量输入所述已训练好的神经网络模型的右转分支，对所述第四特征向量进行运算并输出右转时的方向盘转角。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括在将所述前方路口图像和路口行驶指引指令输入已训练好的神经网络模型中进行处理，获得与所述路口行驶指引指令对应的方向盘转角前包括：
将所述已训练好的神经网络模型进行压缩，并移植到车辆的车载平台中。
6.一种车辆在路口的行驶控制系统，其特征在于，包括：
路口行驶指引指令接收单元，用于接收路口行驶指引指令；
前方路口图像获取单元，用于获取多帧前方路口图像，其中所述多帧前方路口图像至少包括设置在车辆前方左侧的摄像头采集的第一前方路口图像、设置在车辆前方中间的摄像头采集的第二前方路口图像和设置在车辆前方右侧的摄像头采集的第三前方路口图像；
神经网络处理单元，用于对所述多帧前方路口图像和所述路口行驶指引指令进行处理，输出与所述路口行驶指引指令对应的方向盘转角；
控制指令生成单元，用于根据所述方向盘转角生成控制指令，将所述控制指令发送给车辆执行机构，以控制车辆执行机构执行所述控制指令。
7.根据权利要求6所述的系统，其特征在于，所述前方路口图像获取单元具体包括：
第一前方路口图像获取单元，用于获取车辆的左端摄像头采集的第一前方路口图像；
第二前方路口图像获取单元，用于获取车辆的中间摄像头采集的前方第二路口图像
第三前方路口图像获取单元，用于获取车辆的右端摄像头采集的第三前方路口图像。
8.根据权利要求7所述的系统，其特征在于，所述神经网络处理单元具体包括：
第一特征向量生成单元，用于对所述第一前方路口图像进行特征提取，获得第一特征向量；
第二特征向量生成单元，用于对所述第二前方路口图像进行特征提取，获得第二特征向量；
第三特征向量生成单元，用于对所述第三前方路口图像进行特征提取，获得第三特征向量；
特征融合单元，用于对所述第一特征向量、第二特征向量和第三特征向量进行处理，获得第四特征向量；
方向盘转角输出单元，用于根据所述路口行驶指引指令和所述第四特征向量计算并输出与所述路口行驶指引指令对应的方向盘转角。
9.根据权利要求8所述的系统，其特征在于，所述方向盘转角输出单元具体用于：
若所述路口行驶指引指令为左转，则将所述第四特征向量输入所述已训练好的神经网络模型的左转输出分支，对所述第四特征向量进行运算并输出车辆左转时的方向盘转角，若所述路口行驶指引指令为直行，则将所述第四特征向量输入所述已训练好的神经网络模型的直行分支，对所述第四特征向量进行运算并输出直行时的方向盘转角，若所述路口行驶指引指令为右转，则将所述第四特征向量输入所述已训练好的神经网络模型的右转分支，对所述第四特征向量进行运算并输出右转时的方向盘转角。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被计算机设备执行时实现前述权利要求1-5任一项的方法步骤。
CN202010682627.5A 2020-07-15 2020-07-15 一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质 Active CN113954835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010682627.5A CN113954835B (zh) 2020-07-15 2020-07-15 一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010682627.5A CN113954835B (zh) 2020-07-15 2020-07-15 一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113954835A true CN113954835A (zh) 2022-01-21
CN113954835B CN113954835B (zh) 2023-05-30

Family

ID=79459228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010682627.5A Active CN113954835B (zh) 2020-07-15 2020-07-15 一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113954835B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0913751A1 (de) * 1997-11-03 1999-05-06 Volkswagen Aktiengesellschaft Autonomes Fahrzeug und Verfahren zur Steuerung eines autonomen Fahrzeuges
EP1065642A2 (en) * 1999-06-25 2001-01-03 Fujitsu Ten Limited Vehicle drive assist system
EP2578464A1 (en) * 2011-10-06 2013-04-10 Honda Research Institute Europe GmbH Video-based warning system for a vehicle
CN107628032A (zh) * 2017-08-09 2018-01-26 广东欧珀移动通信有限公司 自动驾驶控制方法、装置、车辆和计算机可读存储介质
CN109389838A (zh) * 2018-11-26 2019-02-26 爱驰汽车有限公司 无人驾驶路口路径规划方法、系统、设备及存储介质
CN109747659A (zh) * 2018-11-26 2019-05-14 北京汽车集团有限公司 车辆驾驶的控制方法和装置
CN110203197A (zh) * 2019-06-19 2019-09-06 厦门金龙联合汽车工业有限公司 一种车道识别及车道保持方法及终端设备
CN111351503A (zh) * 2018-12-20 2020-06-30 阿里巴巴集团控股有限公司 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0913751A1 (de) * 1997-11-03 1999-05-06 Volkswagen Aktiengesellschaft Autonomes Fahrzeug und Verfahren zur Steuerung eines autonomen Fahrzeuges
EP1065642A2 (en) * 1999-06-25 2001-01-03 Fujitsu Ten Limited Vehicle drive assist system
EP2578464A1 (en) * 2011-10-06 2013-04-10 Honda Research Institute Europe GmbH Video-based warning system for a vehicle
CN107628032A (zh) * 2017-08-09 2018-01-26 广东欧珀移动通信有限公司 自动驾驶控制方法、装置、车辆和计算机可读存储介质
CN109389838A (zh) * 2018-11-26 2019-02-26 爱驰汽车有限公司 无人驾驶路口路径规划方法、系统、设备及存储介质
CN109747659A (zh) * 2018-11-26 2019-05-14 北京汽车集团有限公司 车辆驾驶的控制方法和装置
CN111351503A (zh) * 2018-12-20 2020-06-30 阿里巴巴集团控股有限公司 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质
CN110203197A (zh) * 2019-06-19 2019-09-06 厦门金龙联合汽车工业有限公司 一种车道识别及车道保持方法及终端设备

Also Published As

Publication number Publication date
CN113954835B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN112270249B (zh) 一种融合rgb-d视觉特征的目标位姿估计方法
CN111652966B (zh) 一种基于无人机多视角的三维重建方法及装置
CN111696110B (zh) 场景分割方法及系统
US20180157972A1 (en) Partially shared neural networks for multiple tasks
CN109934119B (zh) 调整车辆行驶方向方法、装置、计算机设备及存储介质
DE102019115809A1 (de) Verfahren und system zum durchgehenden lernen von steuerbefehlen für autonome fahrzeuge
CN111666921A (zh) 车辆控制方法、装置、计算机设备和计算机可读存储介质
CN111062395B (zh) 一种实时的视频语义分割方法
CN112026782B (zh) 一种基于开关式深度学习网络模型的自动驾驶决策方法及系统
US11505187B2 (en) Unmanned lane keeping method and device, computer device, and storage medium
CN111832453A (zh) 基于双路深度神经网络的无人驾驶场景实时语义分割方法
CN114140672A (zh) 一种应用于雨雪天气场景下多传感器数据融合的目标检测网络系统及方法
DE112022001546T5 (de) Systeme und Verfahren zur Erzeugung von Objekterkennungs-Labels unter Verwendung fovealer Bildvergrößerung für autonomes Fahren
CN115063704A (zh) 一种立体特征融合语义分割的无人机监测目标分类方法
DE102020107339A1 (de) Objektverfolgung für fahrzeuge
CN113954835A (zh) 一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质
CN117593623A (zh) 基于改进YOLOv8n模型的轻量化车辆检测方法
CN114973181B (zh) 多目bev视角的环境感知方法、装置、设备及存储介质
CN112446292B (zh) 一种2d图像显著目标检测方法及系统
CN114639125B (zh) 基于视频图像的行人意图预测方法、装置及电子设备
CN114019947B (zh) 一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质
CN114429623A (zh) 一种车辆信息的检测方法、模型训练方法、装置及车辆
US20230230317A1 (en) Method for generating at least one ground truth from a bird&#39;s eye view
CN111695403B (zh) 一种基于深度感知卷积神经网络的2d与3d图像同步检测方法
DE102022214336A1 (de) Verfahren zur Erzeugung mindestens einer Darstellung aus der Vogelperspektive von mindestens einem Teil der Umgebung eines Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant