CN111923919A - 车辆控制方法、装置、计算机设备和存储介质 - Google Patents
车辆控制方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111923919A CN111923919A CN201910393916.0A CN201910393916A CN111923919A CN 111923919 A CN111923919 A CN 111923919A CN 201910393916 A CN201910393916 A CN 201910393916A CN 111923919 A CN111923919 A CN 111923919A
- Authority
- CN
- China
- Prior art keywords
- scene
- layer
- environment information
- branch
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
- B60W2050/0028—Mathematical models, e.g. for simulation
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及一种车辆控制方法、装置、计算机设备和存储介质,计算机设备将获取的车辆周围当前的环境信息输入到预设的多场景神经网络中,得到控制指令,并根据该控制指令控制车辆的行驶,由于该方法中,多场景神经网络中包括共享层和多个分支场景层,共享层包括至少一个卷积层,是用来从车辆周围的当前环境信息中提取环境公共特征信息,各分支场景层包括至少一个卷积层和一个全连接层,用来根据环境共有特征信息确定控制指令,这样,在一个神经网络中采用了分层分支的思想,实现了一个神经网络同时处理多种驾驶场景下的车辆驾驶,无需对每种驾驶场景定义一个神经网络,大大节省了更多的计算资源。
Description
技术领域
本申请涉及智能交通技术领域,特别是涉及一种车辆控制方法、装置、计算机设备和存储介质。
背景技术
自动驾驶技术领域一般涉及基于规则信息的自动驾驶和基于端到端神经网络的自动驾驶两种方法,由于基于规则信息的自动驾驶需要大量的人工标注及大量的人为规则,使得基于端到端神经网络的自动驾驶得到广泛的应用。
基于端到端神经网络的自动驾驶指的是以图片信息作为输入、决策信息作为输出的驾驶方法。通常,端到端的自动驾驶方法由于其单纯的驾驶行为模仿无法应对处理复杂的驾驶场景,例如,一个网络无法同时做到绕障、保持车道跟随,又同时做好换道等这种复杂场景下的操作,只可以做到绕开障碍物或者只处理车道保持的操作。且现有技术中每个场景定义一个网络模型,需要耗费较多的计算资源,使得自动驾驶实现的成本较高。
因此,如何使端到端的神经网络实现同时处理多种驾驶场景,以节省更多的计算资源成为亟待解决的技术问题。
发明内容
基于此,有必要针对上述如何使端到端的神经网络实现同时处理多种驾驶场景,以节省更多的计算资源成为亟待解决的技术问题,提供一种车辆控制方法、装置、计算机设备和存储介质。
第一方面,本申请实施例提供一种车辆控制方法,该方法包括:
获取车辆周围的当前环境信息;
将当前环境信息输入预设的多场景神经网络,得到控制指令;其中,多场景神经网络包括共享层和多个分支场景层;其中,共享层包括至少一个卷积层,用于从车辆周围的当前环境信息中提取环境公共特征信息;各分支场景层包括至少一个卷积层和一个全连接层,用于根据环境共有特征信息确定控制指令;
根据控制指令控制车辆行驶。
在其中一个实施例中,上述将当前环境信息输入预设的多场景神经网络,得到控制指令,包括:
根据当前环境信息确定待行驶的场景类型;
将当前环境信息和待行驶的场景类型,输入至共享层,得到环境公共特征信息;
将环境公共特征信息输入至待行驶的场景类型对应的分支场景层,得到所述控制指令。
在其中一个实施例中,上述将环境公共特征信息输入至待行驶的场景类型对应的分支场景层,得到控制指令,包括:
将环境公共特征信息输入至分支场景层中的卷积层,提取待行驶场景的环境特征信息;
将待行驶场景的环境特征信息输入至分支场景中的全连接层,得到待行驶场景的控制指令。
在其中一个实施例中,在上述将环境公共特征信息输入至分支场景层中的卷积层之前,该方法还包括:
获取各行驶场景类型与各分支场景层之间的映射关系;
根据映射关系,确定待行驶的场景类型对应的分支场景层。
在其中一个实施例中,该多场景神经网络的训练过程包括:
获取多个场景的样本环境信息,和各场景的样本环境信息对应的控制指令;
根据多个场景的样本环境信息,和各场景的样本环境信息对应的控制指令,训练初始多场景神经网络,得到多场景神经网络。
在其中一个实施例中,上述初始多场景神经网络包括预设的初始共享层、预设的多个初始分支场景层和缺醒层;缺醒层表示不限定场景的网络层;
则根据多个场景的样本环境信息,和各场景的样本环境信息对应的控制指令,训练初始多场景神经网络,包括:
根据多个场景的样本环境信息,和各场景的样本环境信息对应的控制指令训练初始共享层和缺醒层,得到共享层;
根据共享层和各场景的样本环境信息训练各初始分支场景层,得到各分支场景层。
在其中一个实施例中,上述根据共享层和各场景的样本环境信息训练各初始分支场景层,得到各分支场景层,包括:
根据各场景的样本环境信息,确定各场景的样本环境信息对应的待行驶场景类型;
根据待行驶场景类型确定各待行驶场景的控制指令;
将各场景的样本环境信息输入至冻结后的共享层中,得到各场景的样本环境信息的公共特征信息;
根据各场景的样本环境信息的公共特征信息、各场景的样本环境信息对应的待行驶场景类型、各待行驶场景的控制指令,训练各初始分支场景层,得到各分支场景层。
第二方面,本申请实施例提供一种车辆控制装置,该装置包括:
信息获取模块,用于获取车辆周围的当前环境信息;
指令确定模块,用于将当前环境信息输入预设的多场景神经网络,得到控制指令;其中,多场景神经网络包括共享层和多个分支场景层;其中,共享层包括至少一个卷积层,用于从车辆周围的当前环境信息中提取环境公共特征信息;各分支场景层包括至少一个卷积层和一个全连接层,用于根据环境共有特征信息确定控制指令;
控制模块,用于根据控制指令控制车辆行驶。
第三方面,本申请实施例提供一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述第一方面实施例提供的任一项方法的步骤。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述第一方面实施例提供的任一项方法的步骤。
本申请实施例提供的一种车辆控制方法、装置、计算机设备和存储介质,计算机设备将获取的车辆周围当前的环境信息输入到预设的多场景神经网络中,得到控制指令,并根据该控制指令控制车辆的行驶,由于该方法中,多场景神经网络中包括共享层和多个分支场景层,共享层包括至少一个卷积层,是用来从车辆周围的当前环境信息中提取环境公共特征信息,各分支场景层包括至少一个卷积层和一个全连接层,用来根据环境共有特征信息确定控制指令,这样,在一个神经网络中采用了分层分支的思想,实现了一个神经网络同时处理多种驾驶场景下的车辆驾驶,无需对每种驾驶场景定义一个神经网络,大大节省了更多的计算资源。
附图说明
图1为一个实施例提供的一种车辆控制方法的应用环境图;
图2为一个实施例提供的一种车辆控制方法的流程示意图;
图3为一个实施例提供的一种车辆控制方法的流程示意图;
图4为一个实施例提供的一种车辆控制方法的流程示意图;
图5为一个实施例提供的一种车辆控制方法的流程示意图;
图6为一个实施例提供的一种车辆控制方法的流程示意图;
图7为一个实施例提供的一种车辆控制方法的流程示意图;
图8为一个实施例提供的一种车辆控制方法的流程示意图;
图9为一个实施例提供的一种多场景神经网络训练和使用方法示意图;
图10为一个实施例提供的一种车辆控制装置的结构框图;
图11为一个实施例提供的一种车辆控制装置的结构框图;
图12为一个实施例提供的一种车辆控制装置的结构框图;
图13为一个实施例提供的一种车辆控制装置的结构框图;
图14为一个实施例提供的一种车辆控制装置的结构框图;
图15为一个实施例提供的一种车辆控制装置的结构框图;
图16为一个实施例提供的一种车辆控制装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的一种车辆控制方法,可以应用于如图1所示的可以应用于如图1所示的应用环境中,该车辆控制系统包括输入数据采集装置、计算机设备和车辆,其中,数据采集装置和计算机设备可以设置在车辆上,也可以设置在车辆以外,其中数据采集装置用于收集车辆周围当前环境信息,计算机设备用于根据数据采集装置收集的数据控制车辆驾驶,其中,该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储车辆控制数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车辆控制方法。
本申请实施例提供一种车辆控制方法、装置、计算机设备和存储介质,旨在解决如何使端到端的神经网络实现同时处理多种驾驶场景,以节省更多的计算资源的技术问题。下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。需要说明的是,本申请提供的一种车辆控制方法,图2-图8的执行主体为计算机设备,其中,其执行主体还可以是车辆控制装置,其中该装置可以通过软件、硬件或者软硬件结合的方式实现成为车辆控制方法的部分或者全部。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。
在一个实施例中,图2提供了一种车辆控制方法,本实施例涉及的是计算机设备根据车辆周围的当前环境信息,采用预设的多场景神经网络,得到控制指令,并根据该控制指令控制车辆行驶的具体过程,如图2所示,所述方法包括:
S101,获取车辆周围的当前环境信息。
本实施例中,车辆周围的环境信息表示的是车辆当前的行车状态数据,例如车辆周围的路况信息以及障碍物信息,其中该路况信息可以包括左右邻车道上的车流量、前方分叉路口,车道的规划信息等信息,其中障碍物信息可以包括路边障碍物的空间尺寸、位置、距离、状态等信息,本实施例对该环境信息中包括的内容不做具体限定。在实际应用中,计算机设备获取车辆周围的当前环境信息的方式可以是通过摄像头采集车辆周围的环境影像,再将采集的环境影像分为一帧一帧的图像信息,然后根据该图像信息确定具体的环境信息;还可以是通过雷达等其他环境传感器获取对周围环境信息或者融合信息,本实施例对此不做限定。
S102,将当前环境信息输入预设的多场景神经网络,得到控制指令;其中,多场景神经网络包括共享层和多个分支场景层;其中,共享层包括至少一个卷积层,用于从车辆周围的当前环境信息中提取环境公共特征信息;各分支场景层包括至少一个卷积层和一个全连接层,用于根据环境共有特征信息确定控制指令。
本步骤中,控制指令表示的是计算机设备控制车辆安全、规范行驶的指令,例如该控制指令可以是方向盘的转角、油门踏板的位置、刹车的力度、车辆转向半径,速度等,还可以是包括其他控制参数,本实施例对此不做限定。则基于上述S101步骤中计算机设备获取的车辆周围的当前环境信息,将该当前环境信息输入到预设的多场景神经网络,就可以得到该当前环境信息对应的控制指令,其中该多场景神经网络可以是Alexnet,Resnet,Inception或新搭建的模型,本实施例对此不做限定。可以理解的是,该控制指令是多场景神经网络根据当前环境信息对应的场景类型生成的车辆控制指令。其中,该多场景神经网络包括共享层和多个分支场景层;其中,共享层包括至少一个卷积层,用于从车辆周围的当前环境信息中提取环境公共特征信息;各分支场景层包括至少一个卷积层和一个全连接层,用于根据环境共有特征信息确定控制指令。这样,在实际应用中,计算机设备通过多场景神经网络中的共享层从车辆周围当前环境信息中提取环境的公共特征信息,例如车道线及交通环境特征等,然后计算机设备将提取的交通环境信息输入到多场景神经网络中的对应的分支场景层,从该环境的公共特征信息中更加精准的提取对应场景下的显著特征,并通过全连接层输出控制指令。
S103,根据控制指令控制车辆行驶。
基于上述S102步骤得到的控制指令,计算机设备根据该控制指令控制车辆行驶,示例地,以控制指令是方向盘转角、油门踏板位置以及刹车力度为例,计算机设备根据该控制指令,控制车辆的方向盘转角的度数与控制指令中给出的度数相同、油门踏板位置与控制指令中给出的位置相同以及刹车力度与控制指令中给出的力度相同即可。
本实施例提供的车辆控制方法,计算机设备将获取的车辆周围当前的环境信息输入到预设的多场景神经网络中,得到控制指令,并根据该控制指令控制车辆的行驶,由于该方法中,多场景神经网络中包括共享层和多个分支场景层,共享层包括至少一个卷积层,是用来从车辆周围的当前环境信息中提取环境公共特征信息,各分支场景层包括至少一个卷积层和一个全连接层,用来根据环境共有特征信息确定控制指令,这样,在一个神经网络中采用了分层分支的思想,实现了一个神经网络同时处理多种驾驶场景下的车辆驾驶,无需对每种驾驶场景定义一个神经网络,大大节省了更多的计算资源。
以上实施例的基础上,本申请实施例还提供了一种车辆控制方法,其涉及的是计算机设备通过多场景神经网络根据车辆周围当前环境信息生成控制指令的具体过程,如图3所示,上述S102步骤包括:
S201,根据当前环境信息确定待行驶的场景类型。
本实施例中,计算机设备基于S101步骤中获取的车辆周围的当前环境信息,根据该当前环境信息确定待行驶的场景类型,例如,计算机设备可以对当前环境信息中的道路信息、障碍物信息,车道线分布等将场景分类为车道保持场景(沿车道线行驶场景)、避让障碍物场景、换道场景、十字路口场景等,这些只是举例,本实施例对各种场景类型不做限定。
S202,将当前环境信息和待行驶的场景类型,输入至共享层,得到环境公共特征信息。
基于上述S201步骤中确定的待行驶的场景类型,计算机设备将当前环境信息和待行驶的场景类型,输入至共享层,得到该共享层输出的环境公共特征信息,需要说明的是,该共享层包括至少一个卷积层,具体卷积层的个数可根据实际情况而定,本实施例对此不做限定。
S203,将环境公共特征信息输入至待行驶的场景类型对应的分支场景层,得到控制指令。
本步骤中,基于上述共享层输出的环境公共特征信息,计算机设备将该环境公共特征信息输入至对应的分支场景层,得到控制指令,即得到该待行驶的场景对应的控制指令,例如:该待行驶场景的类型为绕障场景,则计算机设备将环境公共特征信息输入至绕障场景的分支场景层中,得到当前车辆进行绕障的方向盘的转角值,油门踏脚的位置以及刹车的力度等。这样
本实施例提供的车辆控制方法,由于得到的控制指令对应的是车辆当前待行驶的场景,可以保证该控制指令的准确性,这样计算机设备根据该控制指令控制车辆行驶,也大大保证车辆的安全和规范的行驶。
如图4所示,对于上述S203步骤中“计算机设备将环境公共特征信息输入至待行驶的场景类型对应的分支场景层,得到控制指令”的具体过程包括:
S301,将环境公共特征信息输入至分支场景层中的卷积层,提取待行驶场景的环境特征信息。
上述实施例有提及场景分支层包括至少一个卷积层和一个全连接层,其中分支场景层中的卷积层数量和全连接层数量均是举例说明,本实施例对此不做限定。则在本实施例中,计算机设备将环境公共特征信息输入至分支场景层中的卷积层,用于从环境公共特征信息中提取该待行驶场景的环境特征信息,即该待行驶场景的显著特征。
S302,将待行驶场景的环境特征信息输入至分支场景中的全连接层,得到待行驶场景的控制指令。
基于上述S301步骤中分支场景中卷积层提取的该待行驶场景的显著特征,将该显著特征输入至分支场景中的全连接层,得到全连接层输出的待行驶场景的控制指令,可以理解的是,上述S301步骤中提取的显著特征有助于全连接层对当前环境信息进行更精确的分析,这样输出的控制指令就更加精确,大大保证了车辆的规范和安全性。
可选地,如图5所示,在上述将环境公共特征信息输入至分支场景层中的卷积层之前,该方法还包括:
S401,获取各行驶场景类型与各分支场景层之间的映射关系。
本实施例中,各行驶场景类型与各分支场景层之间的映射关系表示预先定义以及存储的各种车辆行驶场景的类型与预先定义的各个分支场景层之间的对应关系,需要说明的,该多场景神经网络中分支场景层的数量不是一定等于各行驶场景类型的数量,在实际应用中,分支场景层的数量可以是大于行驶场景类型的数量,相当于可以留出一些待定义的分支层,以便后续再有新场景时,可以增加进行。
S402,根据映射关系,确定待行驶的场景类型对应的分支场景层。
基于上述S401步骤中的映射关系,计算机设备确定该当前环境所属的待行驶的场景类型对应的分支场景层,这样,可以保证计算机设备将当前环境的特征信息正确的输入至对应的分支场景层,以保证最后输出的控制指令可以规范安全的控制车辆行驶。
对于上述实施例中提及的多场景神经网络的训练过程,本申请提供几个实施例进行具体说明,如图6所示,本申请实施例提供的一种车辆控制方法,其涉及的是计算机根据根据多个样本数据训练初始多场景神经网络,得到上述多场景神经网络的过程,则该多场景神经网络的训练过程包括:
S501,获取多个场景的样本环境信息,和各场景的样本环境信息对应的控制指令。
本实施例中,计算机设备获取多个场景的样本环境信息,和各场景的样本环境信息对应的控制指令,其中各场景的样本环境信息可以通过摄像设备或者雷达等采集装置随机采集,其中,各场景的样本环境信息对应的控制指令为预先根据各场景的样本环境信息设置的理论控制指令。
S502,根据多个场景的样本环境信息,和各场景的样本环境信息对应的控制指令,训练初始多场景神经网络,得到多场景神经网络。
基于上述S501步骤中获取的多个场景的样本环境信息,和各场景的样本环境信息对应的控制指令,计算机设备训练初始多场景神经网络,即可得到上述多场景神经网络,其中,训练之前预设的初始多场景神经网络中包括预设的初始共享层、预设的多个初始分支场景层和缺醒层,其中,缺醒层表示不限定场景的网络层,则可选地,如图7所示,S502步骤包括:
S601,根据多个场景的样本环境信息,和各场景的样本环境信息对应的控制指令训练初始共享层和缺醒层,得到共享层。
本步骤为训练共享层的过程,其中,计算机设备将多个场景的样本环境信息,和各场景的样本环境信息对应的控制指令输出到初始共享层中,经过缺醒层输出其学习到的控制指令,这样使用大量的样本信息去训练初始共享层和缺醒层,直至训练好为止,得到训练好的共享层。
S602,根据共享层和各场景的样本环境信息训练各初始分支场景层,得到各分支场景层。
基于上述训练好的共享层,计算机设备根据该共享层和各场景的样本环境信息训练各初始分支场景层,得到各分支场景层。可以理解的是,计算机设备在训练多场景神经网络时是先训练分享层,基于训练好的共享层,再训练分支场景层,分支场景层的后续的各种训练,该共享层的参变量均不在变动,其中分支场景层的输入为共享层的输出,根据当前环境信息不同,触发不同的场景分支,例如,当前的环境信息表示需要做避让车辆,则计算机设备在检测到前方车辆达到需要避开的时机时,触发分支场景层即可得到该避让车辆的控制指令。
由于各分支场景层中包括了卷积层和全连接层,则对于分支场景层的具体训练过程,本申请也提供了一个实施例,可选地,如图8所示,上述S602包括:
S701,根据各场景的样本环境信息,确定各场景的样本环境信息对应的待行驶场景类型。
本实施例中,计算机设备根据获取的多个场景的样本环境信息,确定该各场景样本环境信息对应的待行驶场景类型,即每个样本环境信息都要确定一个对应的待行驶场景类型。
S702,根据待行驶场景类型确定各待行驶场景的控制指令。
基于上述S701步骤中确定的待行驶场景类型,计算机设备再根据各待行驶场景类型确定各待行驶场景的控制指令,这里的控制指令表示的各行驶场景对应的理论控制指令,即每个行驶场景均对应一种控制指令。
S703,将各场景的样本环境信息输入至冻结后的共享层中,得到各场景的样本环境信息的公共特征信息。
本步骤中,计算机设备将各场景的样本环境信息输入至冻结后的共享层中,其中,冻结共享层表示基于上述S601步骤中训练好的共享层,在实施例中训练分支场景层时将已训练好的共享层进行冻结,即将共享层的学习率设置为0,则本步骤中,计算机设备将各场景的样本环境信息输入至冻结后的共享层中,即得到各场景的样本环境信息的公共特征信息。
S704,根据各场景的样本环境信息的公共特征信息、各场景的样本环境信息对应的待行驶场景类型、各待行驶场景的控制指令,训练各初始分支场景层,得到各分支场景层。
本步骤中,对分支场景层训练的具体过程为,将上述S703步骤中得到的各场景的样本环境信息的公共特征信息,以及S701和S702步骤中确定的各场景的样本环境信息对应的待行驶场景类型、各待行驶场景的控制指令,输入至初始分支场景层中,训练初始分支场景层,以得到上述各分支场景层。需要说明的是,训练各分支场景层时,是以场景类型做区分,针对性的训练各分支的,这样可以大大保证各分支场景层训练的完整性和稳定性。可以理解的是,分支场景层中的卷积层可以是较少的层数,场景的大部分特征已在共享层处提取,分支的卷积层是为了更加精准的获取该场景下的显著特征,分支全连接层同分支卷积层一起参与训练,最后获得该场景下的控制指令。
另外,基于上述所有实施例,本申请实施例还提供一种多场景神经网络的训练方法,以模型方案用resnet50为例,以绕障场景和沿车道行驶场景这两个场景作为分支,则该网络训练和使用过程包括:
S1:采集绕障场景和沿车道线行驶场景的数据,并获取其对应的方向盘转角及速度的真值作为Label。
S2:根据端到端的方案,模型输入数据源为S1所采集数据,模型方案用resnet50,模型label值为方向盘转角和速度,训练模型。
S3:除去resnet50最后一个block层,冻结前面由S2所训练得到的模型的权重(即训练好的参数),得到共享层。
S4:根据步骤S3得出分支的结构为resnet50最后一个block层及一层FC层。假设定义绕障场景为指令1,沿车道线行驶场景定义为指令2,其他情况为缺省,则如图9所示,根据外部不同场景匹配不同分支。
S5:添加绕障场景数据训练绕障分支,其分支block层的输入为绕障场景数据经过冻结共享层的特征,输出为绕障场景对应的方向盘转角、速度等;或者添加沿车道线行驶数据训练沿车道线行驶分支,其分支block层的输入为沿车道行驶数据经过冻结共享层的特征,输出沿车道线行驶场景对应的方向盘转角、速度等。
S6:基于S5得到的已经训练完成的网络,在实际使用中,计算机设别根据不同行驶场景触发不同分支层,使用时,可设定默认状态为沿车道线行驶,则计算机设备一旦检测到前方有车辆且速度较慢,便发出指令触发分支1执行绕障行为,或者当前方空旷时,发出指令触发分支2继续执行沿车道线行驶。
本实施例中,通过场景分类使得一个模型可以处理多种场景,分支场景包括的卷积层能更好的提取当前场景的特征,在场景较多时,不会造成网络模型难以收敛,这样,利用一个网络较好的处理多个场景,相比于一个单一端到端模型处理一个单一的场景,大大降低了计算资源的消耗,且能得到较好的输出结果。
应该理解的是,虽然图2-8的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-8中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图10所示,提供了一种车辆控制装置,包括:信息获取模块10、指令确定模块11和控制模块12,其中,
信息获取模块10,用于获取车辆周围的当前环境信息;
指令确定模块11,用于将当前环境信息输入预设的多场景神经网络,得到控制指令;其中,多场景神经网络包括共享层和多个分支场景层;其中,共享层包括至少一个卷积层,用于从车辆周围的当前环境信息中提取环境公共特征信息;各分支场景层包括至少一个卷积层和一个全连接层,用于根据环境共有特征信息确定控制指令;
控制模块12,用于根据控制指令控制车辆行驶。
上述实施例提供的一种车辆控制装置,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,如图11所示,提供了一种车辆控制装置,上述指令确定模块11包括:类型确定单元111、信息提取单元112和指令确定单元113,其中,
类型确定单元111,用于根据当前环境信息确定待行驶的场景类型;
信息提取单元112,用于将当前环境信息和待行驶的场景类型,输入至共享层,得到环境公共特征信息;
指令确定单元113,用于将环境公共特征信息输入至待行驶的场景类型对应的分支场景层,得到所述控制指令。
上述实施例提供的一种车辆控制装置,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,如图12所示,提供了一种车辆控制装置,上述指令确定单元113包括:
信息提取子单元1131,用于将环境公共特征信息输入至分支场景层中的卷积层,提取待行驶场景的环境特征信息;
指令确定子单元1132,用于将待行驶场景的环境特征信息输入至分支场景中的全连接层,得到待行驶场景的控制指令。
上述实施例提供的一种车辆控制装置,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,如图13所示,提供了一种车辆控制装置,上述指令确定单元113还包括:
映射获取子单元1133,用于获取各行驶场景类型与各分支场景层之间的映射关系;
分支确定子单元1134,用于根据映射关系,确定待行驶的场景类型对应的分支场景层。
上述实施例提供的一种车辆控制装置,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,如图14所示,提供了一种车辆控制装置,该装置包括:
样本获取模块13,用于获取多个场景的样本环境信息,和各场景的样本环境信息对应的控制指令;
网络训练模块14,用于根据多个场景的样本环境信息,和各场景的样本环境信息对应的控制指令,训练初始多场景神经网络,得到多场景神经网络。
上述实施例提供的一种车辆控制装置,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,如图15所示,提供了一种车辆控制装置,上述网络训练模块14包括:共享层训练单元141和各分支层训练单元142,其中,
共享层训练单元141,用于根据多个场景的样本环境信息,和各场景的样本环境信息对应的控制指令训练初始共享层和缺醒层,得到共享层;
各分支层训练单元142,用于根据共享层和各场景的样本环境信息训练各初始分支场景层,得到各分支场景层。
上述实施例提供的一种车辆控制装置,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,如图16所示,提供了一种车辆控制装置,上述各分支层训练单元142,包括:
类型确定子单元1421,用于根据各场景的样本环境信息,确定各场景的样本环境信息对应的待行驶场景类型;
场景指令子单元1422,用于根据待行驶场景类型确定各待行驶场景的控制指令;
特征提取子单元1423,用于将各所述场景的样本环境信息输入至冻结后的共享层中,得到各场景的样本环境信息的公共特征信息;
分支训练子单元1424,用于根据各场景的样本环境信息的公共特征信息、各场景的样本环境信息对应的待行驶场景类型、各待行驶场景的控制指令,训练各初始分支场景层,得到各分支场景层。
上述实施例提供的一种车辆控制装置,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
关于车辆控制装置的具体限定可以参见上文中对于车辆控制方法的限定,在此不再赘述。上述车辆控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如上述图1中计算机设备内部框图所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车辆控制方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,上述图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取车辆周围的当前环境信息;
将当前环境信息输入预设的多场景神经网络,得到控制指令;其中,多场景神经网络包括共享层和多个分支场景层;其中,共享层包括至少一个卷积层,用于从车辆周围的当前环境信息中提取环境公共特征信息;各分支场景层包括至少一个卷积层和一个全连接层,用于根据环境共有特征信息确定控制指令;
根据控制指令控制车辆行驶。
上述实施例提供的一种计算机设备,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取车辆周围的当前环境信息;
将当前环境信息输入预设的多场景神经网络,得到控制指令;其中,多场景神经网络包括共享层和多个分支场景层;其中,共享层包括至少一个卷积层,用于从车辆周围的当前环境信息中提取环境公共特征信息;各分支场景层包括至少一个卷积层和一个全连接层,用于根据环境共有特征信息确定控制指令;
根据控制指令控制车辆行驶。
上述实施例提供的一种计算机可读存储介质,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种车辆控制方法,其特征在于,所述方法包括:
获取车辆周围的当前环境信息;
将所述当前环境信息输入预设的多场景神经网络,得到控制指令;所述多场景神经网络包括共享层和多个分支场景层;所述共享层包括至少一个卷积层,用于从所述车辆周围的当前环境信息中提取环境公共特征信息;各所述分支场景层包括至少一个卷积层和一个全连接层,用于根据所述环境共有特征信息确定所述控制指令;
根据所述控制指令控制所述车辆行驶。
2.根据权利要求1所述的方法,其特征在于,将所述当前环境信息输入预设的多场景神经网络,得到控制指令,包括:
根据所述当前环境信息确定待行驶的场景类型;
将所述当前环境信息和所述待行驶的场景类型,输入至所述共享层,得到所述环境公共特征信息;
将所述环境公共特征信息输入至所述待行驶的场景类型对应的分支场景层,得到所述控制指令。
3.根据权利要求2所述的方法,其特征在于,所述将所述环境公共特征信息输入至所述待行驶的场景类型对应的分支场景层,得到所述控制指令,包括:
将所述环境公共特征信息输入至所述分支场景层中的卷积层,提取所述待行驶场景的环境特征信息;
将所述待行驶场景的环境特征信息输入至所述分支场景中的全连接层,得到所述待行驶场景的控制指令。
4.根据权利要求3所述的方法,其特征在于,在所述将所述环境公共特征信息输入至所述分支场景层中的卷积层之前,所述方法还包括:
获取所述各行驶场景类型与各分支场景层之间的映射关系;
根据所述映射关系,确定所述待行驶的场景类型对应的分支场景层。
5.根据权利要求1所述的方法,其特征在于,所述多场景神经网络的训练过程包括:
获取多个场景的样本环境信息,和各所述场景的样本环境信息对应的控制指令;
根据所述多个场景的样本环境信息,和各所述场景的样本环境信息对应的控制指令,训练初始多场景神经网络,得到所述多场景神经网络。
6.根据权利要求5所述的方法,其特征在于,所述初始多场景神经网络包括预设的初始共享层、预设的多个初始分支场景层和缺醒层;所述缺醒层表示不限定场景的网络层;
则所述根据所述多个场景的样本环境信息,和各所述场景的样本环境信息对应的控制指令,训练初始多场景神经网络,包括:
根据所述多个场景的样本环境信息,和各所述场景的样本环境信息对应的控制指令训练所述初始共享层和所述缺醒层,得到所述共享层;
根据所述共享层和各所述场景的样本环境信息训练各所述初始分支场景层,得到各所述分支场景层。
7.根据权利要求6所述的方法,其特征在于,所述根据所述共享层和各所述场景的样本环境信息训练各所述初始分支场景层,得到各所述分支场景层,包括:
根据各所述场景的样本环境信息,确定各所述场景的样本环境信息对应的待行驶场景类型;
根据所述待行驶场景类型确定各待行驶场景的控制指令;
将所述各所述场景的样本环境信息输入至冻结后的共享层中,得到各所述场景的样本环境信息的公共特征信息;
根据各所述场景的样本环境信息的公共特征信息、所述各所述场景的样本环境信息对应的待行驶场景类型、各待行驶场景的控制指令,训练各所述初始分支场景层,得到各所述分支场景层。
8.一种车辆控制装置,其特征在于,所述装置包括:
信息获取模块,用于获取车辆周围的当前环境信息;
指令确定模块,用于将所述当前环境信息输入预设的多场景神经网络,得到控制指令;所述多场景神经网络包括共享层和多个分支场景层;所述共享层包括至少一个卷积层,用于从所述车辆周围的当前环境信息中提取环境公共特征信息;各所述分支场景层包括至少一个卷积层和一个全连接层,用于根据所述环境共有特征信息确定所述控制指令;
车辆控制模块,用于根据所述控制指令控制所述车辆行驶。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910393916.0A CN111923919B (zh) | 2019-05-13 | 2019-05-13 | 车辆控制方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910393916.0A CN111923919B (zh) | 2019-05-13 | 2019-05-13 | 车辆控制方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111923919A true CN111923919A (zh) | 2020-11-13 |
CN111923919B CN111923919B (zh) | 2021-11-23 |
Family
ID=73282583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910393916.0A Active CN111923919B (zh) | 2019-05-13 | 2019-05-13 | 车辆控制方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111923919B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112269827A (zh) * | 2020-11-17 | 2021-01-26 | 苏州智加科技有限公司 | 数据处理方法、装置、计算机设备及计算机可读存储介质 |
CN113264059A (zh) * | 2021-05-17 | 2021-08-17 | 北京工业大学 | 支持多驾驶行为的基于深度强化学习的无人车运动决策控制方法 |
WO2023087248A1 (zh) * | 2021-11-19 | 2023-05-25 | 华为技术有限公司 | 一种信息处理方法及装置 |
WO2023245823A1 (zh) * | 2022-06-22 | 2023-12-28 | 深圳市芯存科技有限公司 | 一种存算一体芯片和控制方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5285523A (en) * | 1990-09-25 | 1994-02-08 | Nissan Motor Co., Ltd. | Apparatus for recognizing driving environment of vehicle |
CN107944375A (zh) * | 2017-11-20 | 2018-04-20 | 北京奇虎科技有限公司 | 基于场景分割的自动驾驶处理方法及装置、计算设备 |
CN107972667A (zh) * | 2018-01-12 | 2018-05-01 | 合肥工业大学 | 一种车道偏离辅助系统的人机协调控制方法及其控制系统 |
CN108803604A (zh) * | 2018-06-06 | 2018-11-13 | 深圳市易成自动驾驶技术有限公司 | 车辆自动驾驶方法、装置以及计算机可读存储介质 |
CN109241880A (zh) * | 2018-08-22 | 2019-01-18 | 北京旷视科技有限公司 | 图像处理方法、图像处理装置、计算机可读存储介质 |
CN109376594A (zh) * | 2018-09-11 | 2019-02-22 | 百度在线网络技术(北京)有限公司 | 基于自动驾驶车辆的视觉感知方法、装置、设备以及介质 |
CN109407679A (zh) * | 2018-12-28 | 2019-03-01 | 百度在线网络技术(北京)有限公司 | 用于控制无人驾驶汽车的方法和装置 |
US20190092318A1 (en) * | 2017-09-22 | 2019-03-28 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for rear signal identification using machine learning |
CN109693672A (zh) * | 2018-12-28 | 2019-04-30 | 百度在线网络技术(北京)有限公司 | 用于控制无人驾驶汽车的方法和装置 |
CN109740735A (zh) * | 2018-12-29 | 2019-05-10 | 百度在线网络技术(北京)有限公司 | 多神经网络输出方法及装置、服务器、计算机可读介质 |
-
2019
- 2019-05-13 CN CN201910393916.0A patent/CN111923919B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5285523A (en) * | 1990-09-25 | 1994-02-08 | Nissan Motor Co., Ltd. | Apparatus for recognizing driving environment of vehicle |
US20190092318A1 (en) * | 2017-09-22 | 2019-03-28 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for rear signal identification using machine learning |
CN107944375A (zh) * | 2017-11-20 | 2018-04-20 | 北京奇虎科技有限公司 | 基于场景分割的自动驾驶处理方法及装置、计算设备 |
CN107972667A (zh) * | 2018-01-12 | 2018-05-01 | 合肥工业大学 | 一种车道偏离辅助系统的人机协调控制方法及其控制系统 |
CN108803604A (zh) * | 2018-06-06 | 2018-11-13 | 深圳市易成自动驾驶技术有限公司 | 车辆自动驾驶方法、装置以及计算机可读存储介质 |
CN109241880A (zh) * | 2018-08-22 | 2019-01-18 | 北京旷视科技有限公司 | 图像处理方法、图像处理装置、计算机可读存储介质 |
CN109376594A (zh) * | 2018-09-11 | 2019-02-22 | 百度在线网络技术(北京)有限公司 | 基于自动驾驶车辆的视觉感知方法、装置、设备以及介质 |
CN109407679A (zh) * | 2018-12-28 | 2019-03-01 | 百度在线网络技术(北京)有限公司 | 用于控制无人驾驶汽车的方法和装置 |
CN109693672A (zh) * | 2018-12-28 | 2019-04-30 | 百度在线网络技术(北京)有限公司 | 用于控制无人驾驶汽车的方法和装置 |
CN109740735A (zh) * | 2018-12-29 | 2019-05-10 | 百度在线网络技术(北京)有限公司 | 多神经网络输出方法及装置、服务器、计算机可读介质 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112269827A (zh) * | 2020-11-17 | 2021-01-26 | 苏州智加科技有限公司 | 数据处理方法、装置、计算机设备及计算机可读存储介质 |
CN112269827B (zh) * | 2020-11-17 | 2022-09-20 | 苏州智加科技有限公司 | 数据处理方法、装置、计算机设备及计算机可读存储介质 |
CN113264059A (zh) * | 2021-05-17 | 2021-08-17 | 北京工业大学 | 支持多驾驶行为的基于深度强化学习的无人车运动决策控制方法 |
WO2023087248A1 (zh) * | 2021-11-19 | 2023-05-25 | 华为技术有限公司 | 一种信息处理方法及装置 |
WO2023245823A1 (zh) * | 2022-06-22 | 2023-12-28 | 深圳市芯存科技有限公司 | 一种存算一体芯片和控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111923919B (zh) | 2021-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111923919B (zh) | 车辆控制方法、装置、计算机设备和存储介质 | |
CN111506980B (zh) | 对虚拟驾驶环境生成交通场景的方法及装置 | |
CN109991987B (zh) | 自动驾驶决策方法及装置 | |
US12099351B2 (en) | Operational testing of autonomous vehicles | |
CN112307978B (zh) | 目标检测方法、装置、电子设备及可读存储介质 | |
CN112163446B (zh) | 一种障碍物检测方法、装置、电子设备及存储介质 | |
CN113343461A (zh) | 自动驾驶车辆的仿真方法、装置、电子设备及存储介质 | |
CN109685898B (zh) | 点云数据的分层方法、装置、计算机设备和存储介质 | |
CN112712703A (zh) | 车辆视频的处理方法、装置、计算机设备和存储介质 | |
CN116403174A (zh) | 一种端到端自动驾驶方法、系统、仿真系统及存储介质 | |
CN113490940B (zh) | 基于深度学习的场景模拟器构建方法、装置和计算机设备 | |
Sato et al. | Towards driving-oriented metric for lane detection models | |
CN112507857B (zh) | 一种车道线更新方法、装置、设备及存储介质 | |
CN113609947A (zh) | 运动轨迹预测方法、装置、计算机设备和存储介质 | |
CN112765302A (zh) | 位置信息的处理方法、装置及计算机可读介质 | |
Ganesan et al. | A Comprehensive Review on Deep Learning-Based Motion Planning and End-To-End Learning for Self-Driving Vehicle | |
CN114782926B (zh) | 驾驶场景识别方法、装置、设备、存储介质和程序产品 | |
CN111143424B (zh) | 特征场景数据挖掘方法、装置和终端 | |
CN115782921A (zh) | 用于自动驾驶的环境感知方法、装置及电子设备 | |
CN116105712A (zh) | 道路地图的生成方法、回注方法、计算机设备及介质 | |
CN109472301A (zh) | 一种车辆长度计算方法、装置、系统及计算机设备 | |
WO2022133775A1 (zh) | 轨迹数据处理方法、装置、计算机设备和存储介质 | |
CN115342826A (zh) | 车辆自动驾驶的场景生成方法、装置及其控制方法 | |
CN114396963A (zh) | 行驶路径的规划方法、装置、车载终端及存储介质 | |
CN113836701A (zh) | 一种仿真场景构建方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |