CN109747659B - 车辆驾驶的控制方法和装置 - Google Patents

车辆驾驶的控制方法和装置 Download PDF

Info

Publication number
CN109747659B
CN109747659B CN201811420114.6A CN201811420114A CN109747659B CN 109747659 B CN109747659 B CN 109747659B CN 201811420114 A CN201811420114 A CN 201811420114A CN 109747659 B CN109747659 B CN 109747659B
Authority
CN
China
Prior art keywords
information
scene
data information
target
driving instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811420114.6A
Other languages
English (en)
Other versions
CN109747659A (zh
Inventor
孙学龙
陈新
杨海军
冯秋维
王化英
孙靓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Automotive Group Co Ltd
Beijing Automotive Research Institute Co Ltd
Original Assignee
Beijing Automotive Group Co Ltd
Beijing Automotive Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Automotive Group Co Ltd, Beijing Automotive Research Institute Co Ltd filed Critical Beijing Automotive Group Co Ltd
Priority to CN201811420114.6A priority Critical patent/CN109747659B/zh
Publication of CN109747659A publication Critical patent/CN109747659A/zh
Application granted granted Critical
Publication of CN109747659B publication Critical patent/CN109747659B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Abstract

本公开涉及一种车辆驾驶的控制方法和装置,该方法包括:获取目标车辆的第一数据信息,对第一数据信息进行融合处理,以将经过融合处理后的第一数据信息作为第二数据信息,根据预设的场景分类算法确定第二数据信息对应的目标场景,根据目标车辆当前的驾驶指令、目标场景和第二数据信息,利用预设的深度学习算法对控制模型进行训练,控制模型中包括至少一种场景,和至少一种场景对应的驾驶指令,控制目标车辆按照训练后的控制模型指示的驾驶指令行驶。本公开能够根据实时获取的车辆的驾驶数据,利用深度学习算法实时训练用于控制车辆行驶的控制模型,从而提高控制模型的适用性和准确性。

Description

车辆驾驶的控制方法和装置
技术领域
本公开涉及自动驾驶领域,具体地,涉及一种车辆驾驶的控制方法和装置。
背景技术
随着我国汽车保有量逐年递増,交通安全和交通拥堵问题日益严峻,在此背景下,自动驾驶技术得到了广泛关注。自动驾驶的关键问題包括环境感知和决策控制等。自动驾驶车辆的决策控制是根据当前的行驶状态、驾驶任务和道路环境等信息,确定适于车辆的驾驶指令,并将驾驶指令传递给车辆的控制系统以对车辆进行控制。现有技术中,自动驾驶的决策控制主要是基于规则系统的方式去判断和执行,这种方式的问题是:对于缺乏决策规则的情况无法处理,当有1000个应用场景时,就需要写1000条规则来应对,需要不断维护规则系统,规则系统中的规则会越来越多,无法适应复杂多变的交通场景,并且,规则系统的开发和维护成本很高。
发明内容
本公开的目的是提供一种车辆驾驶的控制方法和装置,用以解决现有技术中自动驾驶的决策控制方式复杂,成本高的问题。
为了实现上述目的,根据本公开实施例的第一方面,提供一种车辆驾驶的控制方法,应用于服务器,所述方法包括:
获取目标车辆的第一数据信息;
对所述第一数据信息进行融合处理,以将经过融合处理后的所述第一数据信息作为第二数据信息;
根据预设的场景分类算法确定所述第二数据信息对应的目标场景;
根据所述目标车辆当前的驾驶指令、所述目标场景和所述第二数据信息,利用预设的深度学习算法对控制模型进行训练,所述控制模型中包括至少一种场景,和所述至少一种场景对应的驾驶指令;
控制所述目标车辆按照训练后的所述控制模型指示的驾驶指令行驶。
可选地,所述第一数据信息包括:所述目标车辆在自动驾驶过程中采集的图像信息、位置信息、决策信息、指令信息和故障信息中的至少一种;
所述对所述第一数据信息进行融合处理,以将经过融合处理后的所述第一数据信息作为第二数据信息,包括:
将所述第一数据信息中包含的至少一个位置坐标中的每个所述位置坐标转换为预设的目标坐标系中的至少一个目标坐标;
将所述第一数据信息中包含的时间信息进行同步处理;
将包含了所述至少一个目标坐标和经过同步处理的所述时间信息的所述第一数据信息作为所述第二数据信息。
可选地,所述根据预设的场景分类算法确定所述第二数据信息对应的目标场景,包括:
根据所述第二数据信息包含的所述至少一个目标坐标,获取所述至少一个目标坐标所指示的位置在当前时刻和当前时刻之前预设时间段内的图像信息、点云数据;
将所述当前时刻和当前时刻之前预设时间段内的图像信息、点云数据作为所述场景分类算法的输入,将所述场景分类算法的输出作为所述目标场景。
可选地,所述根据所述目标车辆当前的驾驶指令、所述目标场景和所述第二数据信息,利用预设的深度学习算法对控制模型进行训练,包括:
将所述目标场景、所述第二数据信息和所述控制模型作为预设的卷积神经网络的输入,将所述卷积神经网络的输出作为推荐驾驶指令;
根据所述目标车辆当前的驾驶指令和所述推荐驾驶指令,修正所述卷积神经网络;
重复执行所述将所述目标场景、所述第二数据信息作为预设的卷积神经网络的输入,将所述卷积神经网络的输出作为推荐驾驶指令至所述根据所述目标车辆当前的驾驶指令和所述推荐驾驶指令,修正所述卷积神经网络的步骤,直至所述目标车辆当前的驾驶指令和所述推荐驾驶指令的误差满足预设条件,将所述控制模型中所述目标场景对应的驾驶指令更新为所述推荐驾驶指令。
可选地,所述方法还包括:
根据所述目标场景,确定场景模型,所述场景模型包括所述目标场景对应的道路信息、环境信息等;
将训练后的所述控制模型指示的驾驶指令作为所述场景模型的输入,根据所述场景模型输出的图像信息、位置信息、决策信息、指令信息和故障信息中的至少一种修正所述控制模型。
根据本公开实施例的第二方面,提供一种车辆驾驶的控制装置,应用于服务器,所述装置包括:
获取模块,用于获取目标车辆的第一数据信息;
融合模块,用于对所述第一数据信息进行融合处理,以将经过融合处理后的所述第一数据信息作为第二数据信息;
第一确定模块,用于根据预设的场景分类算法确定所述第二数据信息对应的目标场景;
训练模块,用于根据所述目标车辆当前的驾驶指令、所述目标场景和所述第二数据信息,利用预设的深度学习算法对控制模型进行训练,所述控制模型中包括至少一种场景,和所述至少一种场景对应的驾驶指令;
控制模块,用于控制所述目标车辆按照训练后的所述控制模型指示的驾驶指令行驶。
可选地,所述第一数据信息包括:所述目标车辆在自动驾驶过程中采集的图像信息、位置信息、决策信息、指令信息和故障信息中的至少一种;
所述融合模块包括:
转换子模块,用于将所述第一数据信息中包含的至少一个位置坐标中的每个所述位置坐标转换为预设的目标坐标系中的至少一个目标坐标;
同步子模块,用于将所述第一数据信息中包含的时间信息进行同步处理;
融合子模块,用于将包含了所述至少一个目标坐标和经过同步处理的所述时间信息的所述第一数据信息作为所述第二数据信息。
可选地,所述第一确定模块包括:
获取子模块,用于根据所述第二数据信息包含的所述至少一个目标坐标,获取所述至少一个目标坐标所指示的位置在当前时刻和当前时刻之前预设时间段内的图像信息、点云数据;
分类子模块,用于将所述当前时刻和当前时刻之前预设时间段内的图像信息、点云数据作为所述场景分类算法的输入,将所述场景分类算法的输出作为所述目标场景。
可选地,所述训练模块包括:
推荐子模块,用于将所述目标场景、所述第二数据信息和所述控制模型作为预设的卷积神经网络的输入,将所述卷积神经网络的输出作为推荐驾驶指令;
修正子模块,用于根据所述目标车辆当前的驾驶指令和所述推荐驾驶指令,修正所述卷积神经网络;
更新子模块,用于重复执行所述将所述目标场景、所述第二数据信息作为预设的卷积神经网络的输入,将所述卷积神经网络的输出作为推荐驾驶指令至所述根据所述目标车辆当前的驾驶指令和所述推荐驾驶指令,修正所述卷积神经网络的步骤,直至所述目标车辆当前的驾驶指令和所述推荐驾驶指令的误差满足预设条件,将所述控制模型中所述目标场景对应的驾驶指令更新为所述推荐驾驶指令。
可选地,所述装置还包括:
第二确定模块,用于根据所述目标场景,确定场景模型,所述场景模型包括所述目标场景对应的道路信息、环境信息等;
修正模块,用于将训练后的所述控制模型指示的驾驶指令作为所述场景模型的输入,根据所述场景模型输出的图像信息、位置信息、决策信息、指令信息和故障信息中的至少一种修正所述控制模型。
通过上述技术方案,本公开首先获取目标车辆的第一数据信息,然后对第一数据信息进行融合处理,并将经过融合处理的第一数据信息作为第二数据信息,再根据预设的场景分类算法来确定第二数据信息所对应的目标场景,之后根据目标车辆当前的驾驶指令、目标场景和第二数据信息,利用预设的深度学习算法对控制模型进行训练,其中,控制模型中包括至少一种场景,和至少一种场景中每种场景对应的驾驶指令,最后控制目标车辆按照训练后的控制模型指示的驾驶指令行驶。本公开能够解决现有技术中自动驾驶的决策控制方式复杂,成本高的问题,根据实时获取的车辆的驾驶数据,利用深度学习算法实时训练用于控制车辆行驶的控制模型,从而提高控制模型的适用性和准确性。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是根据一示例性实施例示出的一种车辆驾驶的控制方法的流程图。
图2是是图1所示实施例示出的一种步骤102的流程图。
图3是是图1所示实施例示出的一种步骤103的流程图。
图4是是图1所示实施例示出的一种步骤104的流程图。
图5是根据一示例性实施例示出的另一种车辆驾驶的控制方法的流程图。
图6是根据一示例性实施例示出的一种车辆驾驶的控制装置的框图。
图7是图6所示实施例示出的一种融合模块的框图。
图8是图6所示实施例示出的一种第一确定模块的框图。
图9是图6所示实施例示出的一种训练模块的框图。
图10是根据一示例性实施例示出的另一种车辆驾驶的控制装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在介绍本公开提供的车辆驾驶的控制方法和装置之前,首先对本公开各个实施例所涉及的应用场景进行介绍。该应用场景可以包括目标车辆和服务器,服务器和车辆之间能够通过互联网、WLAN(英文:Wireless Local Area Networks,中文:无线局域网)、Telematics(中文:汽车信息服务)或V2X(英文:Vehicle to Everything,中文:车联网)进行通信,以实现数据传输。其中服务器可以包括但不限于:实体服务器,服务器集群或云端服务器等,例如:TSP(英文:Telematics Service Provider,中文:汽车远程服务提供商)。目标车辆可以是任意一种车辆,例如汽车,该汽车不限于传统汽车、纯电动汽车或是混动汽车,除此之外还可以适用于其他类型的机动车,该车辆上可以设置有ECU(英文:ElectronicControl Unit,中文:电子控制单元)、BCM(英文:Body Control Module,中文:车身控制模块)和ESP(英文:Electronic Stability Program,中文:车身电子稳定系统)等电子控制部件,用于控制车辆的行驶,同时还设置有数据采集装置(例如:多种传感器、摄像头、雷达等装置)和数据存储模块,用于采集和存储车辆行驶过程中的图像信息、位置信息、决策信息、指令信息和故障信息等。
图1是根据一示例性实施例示出的一种车辆驾驶的控制方法的流程图。如图1所示,该方法应用于服务器,包括以下步骤:
在步骤101中,获取目标车辆的第一数据信息。
示例的,目标车辆在自动驾驶过程中,实时采集第一数据信息,并将第一数据信息上传至服务器,第一数据信息可以是通过目标车辆上设置的数据采集装置(例如:多种传感器、摄像头、雷达等装置)实时采集的图像信息、位置信息、决策信息、指令信息和故障信息中的至少一种。第一数据信息中包含的数据量比较大,目标车辆如果一次性将获取的完整的第一数据信息上传至服务器,对网络带宽、网络状态和服务器的承载率的要求较高,因此目标车辆可以先选取第一数据信息中重要的信息(例如:位置信息、指令信息等)实时发送给服务器,第一数据信息中其他信息可以先以bag文件包的形式存储在目标车辆的数据存储模块中,再定期将bag文件包上传至服务器。例如,目标车辆可以通过T-BOX(英文:Telematics BOX,中文:车载通信模块)将采集到的第一数据信息中重要的信息实时上传至服务器,同时以bag文件格式记录第一数据信息,再按照预设的周期(例如:30分钟)将bag文件包上传至服务器以实现数据的同步。
在步骤102中,对第一数据信息进行融合处理,以将经过融合处理后的第一数据信息作为第二数据信息。
在步骤103中,根据预设的场景分类算法确定第二数据信息对应的目标场景。
示例的,由于第一数据信息中的各种信息包含的位置坐标处于不同的坐标系中,并且由于各种数据采集装置的采集频率不同,所以第一数据信息中包含的时间信息也不同步,因此服务器在获取第一数据信息后,需要对第一数据信息进行融合处理,以使第一数据信息中的位置坐标转换为同一坐标系中的坐标,并将时间信息转换为同一个时间轴上的时间点,将经过融合处理的第一数据信息作为第二数据信息。之后,服务器根据预设的场景分类算法对第二数据信息进行识别,根据识别的结果来确定第二数据信息对应的目标场景。其中,场景分类算法可以通过对第二数据信息进行特征信息的提取,特征信息例如可以是图像信息中包含的车道线、指示灯、其他车辆,还可以是位置信息中指示的地理坐标,还可以是指令信息中的指令等,根据提取的特征信息与预设的场景库中包含的场景进行匹配,根据匹配的结果确定目标场景,目标场景例如可以是十字路口、纵向行驶和转向行驶等场景。
在步骤104中,根据目标车辆当前的驾驶指令、目标场景和第二数据信息,利用预设的深度学习算法对控制模型进行训练,控制模型中包括至少一种场景,和至少一种场景对应的驾驶指令。
在步骤105中,控制目标车辆按照训练后的控制模型指示的驾驶指令行驶。
示例的,服务器根据目标车辆当前的驾驶指令、目标场景和第二数据信息,利用预设的深度学习算法对控制模型进行训练,其中,深度学习算法例如可以是利用卷积神经网络(英文:Convolutional Neural Networks,缩写:CNN)来实现。其中,控制模型中包括至少一种场景,和至少一种场景中每种场景对应的驾驶指令。将目标场景和第二数据信息作为卷积神经网络的输入,将卷积神经网络的输出和目标车辆当前的驾驶指令做比较,以修正卷积神经网络的权值,经过多次迭代从而获得适用于目标车辆当前行驶状态的卷积神经网络,并确定训练后的控制模型,最后控制目标车辆按照训练后的控制模型指示的驾驶指令行驶。其中,控制模型是预先存储在服务器上的,驾驶指令例如可以是刹车指令、加速指令和转向指令等。例如,当目标场景为十字路口,第二数据信息中包含:目标车辆距离路口50m,目标车辆的速度为50km/h,十字路口的指示灯为红灯,目标车辆当前的驾驶指令为减速到30km/h,服务器通过ROS(英文:Robot Operating System,中文:机器人操作系统)利用卷积神经网络对控制模型进行训练,将控制模型中场景为十字路口时的驾驶指令调整为由30km/h逐渐减速到静止状态。
综上所述,本公开首先获取目标车辆的第一数据信息,然后对第一数据信息进行融合处理,并将经过融合处理的第一数据信息作为第二数据信息,再根据预设的场景分类算法来确定第二数据信息所对应的目标场景,之后根据目标车辆当前的驾驶指令、目标场景和第二数据信息,利用预设的深度学习算法对控制模型进行训练,其中,控制模型中包括至少一种场景,和至少一种场景中每种场景对应的驾驶指令,最后控制目标车辆按照训练后的控制模型指示的驾驶指令行驶。本公开能够解决现有技术中自动驾驶的决策控制方式复杂,成本高的问题,根据实时获取的车辆的驾驶数据,利用深度学习算法实时训练用于控制车辆行驶的控制模型,从而提高控制模型的适用性和准确性。
图2是是图1所示实施例示出的一种步骤102的流程图。如图2所示,第一数据信息包括:目标车辆在自动驾驶过程中采集的图像信息、位置信息、决策信息、指令信息和故障信息中的至少一种。
步骤102包括以下步骤:
在步骤1021中,将第一数据信息中包含的至少一个位置坐标中的每个位置坐标转换为预设的目标坐标系中的至少一个目标坐标。
在步骤1022中,将第一数据信息中包含的时间信息进行同步处理。
在步骤1023中,将包含了至少一个目标坐标和经过同步处理的时间信息的第一数据信息作为第二数据信息。
示例的,由于第一数据信息中的各种信息包含的位置坐标处于不同的坐标系中,并且由于各种数据采集装置的采集频率不同,所以第一数据信息中包含的时间信息也不同步,因此服务器在获取第一数据信息后,需要对第一数据信息进行融合处理,以使第一数据信息中的位置坐标转换为同一坐标系中的坐标,并将时间信息转换为同一个时间轴上的时间点,才能对第一数据信息中包含的各种信息进行处理。以第一数据信息中的图像信息为例,图像信息可能是由目标车辆上的多个摄像头采集的,每个摄像头的位置不同,采集到的图像信息的参考坐标系也不同,因此,服务器可以将图像信息中包含的每个位置坐标转换为预设的目标坐标系中的目标坐标,其中预设的目标坐标系可以是车辆的局部坐标系,例如以车头横向中心为原点,分别以车辆的纵轴和横轴作为局部坐标系的纵轴和横轴,也可以将每个位置坐标转换为GPS(英文:Global Positioning System,中文:全球定位系统)中的经纬度坐标。进一步的,还需要对第一数据信息中包含的时间信息进行同步处理。例如,目标车辆设置有两个激光雷达,一个用于检测前方道路信息,一个用于检测左侧道路信息,两个激光雷达都检测到了有障碍物,服务器通过ROS系统将两个激光雷达测得的每个位置坐标转换为预设的三维坐标系中的目标坐标,这样就可以将前方和左侧障碍物的形状和距离障碍物的距离等信息在统一的三维坐标系中表示出来。同样的,检测前方道路信息的激光雷达的采集频率为10kHz,检测左侧道路信息的激光雷达的采集频率为5kHz,两个激光雷达采集到的信息时间不同步,服务器可以通过ROS系统将两个激光雷达采集到的信息中包含的时间信息转换为同一个时间轴上的时间点,以实现同步处理。
图3是是图1所示实施例示出的一种步骤103的流程图。如图3所示,步骤103包括以下步骤:
在步骤1031中,根据第二数据信息包含的至少一个目标坐标,获取至少一个目标坐标所指示的位置在当前时刻和当前时刻之前预设时间段内的图像信息、点云数据。
在步骤1032中,将当前时刻和当前时刻之前预设时间段内的图像信息、点云数据作为场景分类算法的输入,将场景分类算法的输出作为目标场景。
举例来说,服务器通过ROS系统根据第二数据信息中的目标坐标,回放采集的bag包文件,获取目标坐标所指示的位置在当前时刻和当前时刻之前预设时间段内的图像信息、点云数据(英文:point cloud data),然后将得到的图像信息、点云数据作为场景分类算法的输入,进行特征信息的标记和提取,并将提取的数据存储为新的bag文件作为场景分类算法的输出,将场景分类算法的输出作为目标场景,从而确定第二数据信息对应的目标场景。其中,特征信息例如可以是图像信息中包含的车道线、指示灯、障碍物、人行道、其他车辆,还可以是位置信息中指示的地理坐标,还可以是指令信息中的指令(加速、刹车、转向等)等特征信息,根据提取的特征信息与预设的场景库中包含的场景进行匹配,根据匹配的结果确定目标场景,目标场景例如可以是掉头场景、十字路口场景(可以包括:转向、走走停停等场景)、横向场景(可以包括:侧向停车等场景)、纵向场景(可以包括:自由行驶、走走停停、跟车行驶、逐渐停车等场景)和紧急场景(可以包括:故障停车、临时障碍物等场景)等。
图4是是图1所示实施例示出的一种步骤104的流程图。如图4所示,步骤104包括以下步骤:
在步骤1041中,将目标场景、第二数据信息和控制模型作为预设的卷积神经网络的输入,将卷积神经网络的输出作为推荐驾驶指令。
在步骤1042中,根据目标车辆当前的驾驶指令和推荐驾驶指令,修正卷积神经网络。
示例的,服务器将目标场景、第二数据信息和控制模型输入到预设的卷积神经网络中,此时卷积神经网络中的权重可以是随机值,将卷积神经网络的输出作为推荐驾驶指令,比较推荐驾驶指令和目标车辆当前的驾驶指令,根据两者的差异情况来修正卷积神经网络,以使推荐驾驶指令更接近目标车辆当前的驾驶指令。以目标场景为十字路口场景中的转向场景、第二数据信息中包括目标车辆上采集的左侧、右侧、中间部分的图像信息(分别为目标车辆上的左摄像头、右摄像头和中摄像头采集的图像信息)为例,左侧、右侧、中间部分的图像信息能够显示远离车道中心的偏离程度以及不同道路方向上的转动。目标车辆的所有转动之间的额外偏移可以通过左侧、右侧、中间部分的图像信息中的视角变换进行模拟,变换后的图像信息中的转向标签会在短时间内被迅速调整到正确驾驶目标车辆时回到的期望位置和方向。将目标场景、第二数据信息和控制模型输入到预设的卷积神经网络,卷积神经网络输出推荐驾驶指令为方向盘向左转向90°的指令,而目标车辆当前的驾驶指令为方向盘向左转向60°,推荐驾驶指令和目标车辆当前的驾驶指令的差值为30°,将30°作为反向权重的调整参数,输入卷积神经网络,来调整卷积神经网络的权重。
在步骤1043中,重复执行步骤1041至步骤1042,直至目标车辆当前的驾驶指令和推荐驾驶指令的误差满足预设条件,将控制模型中目标场景对应的驾驶指令更新为推荐驾驶指令。
示例的,服务器重复执行步骤1041至步骤1042,直至目标车辆当前的驾驶指令和推荐驾驶指令的误差满足预设条件(预设条件例如可以是当前的驾驶指令和推荐驾驶指令的误差小于5%),将控制模型中目标场景对应的驾驶指令更新为推荐驾驶指令。以目标场景为目标车辆右转弯,控制指令为右转向指令为例,将目标场景、第二数据信息和控制模型输入到预设的卷积神经网络得到的输出为方向盘向右转向90°,而目标车辆当前的驾驶指令为方向盘向右转向60°,推荐驾驶指令和目标车辆当前的驾驶指令的差值为30°,将30°作为反向权重的调整参数,输入卷积神经网络,来修正卷积神经网络的权重,修正卷积神经网络后,再次将目标场景、第二数据信息和控制模型输入到修正后的卷积神经网络,对比修正后的卷积神经网络输出的转向角度和目标车辆当前的驾驶指令的转向角度,看两者转向角度的误差是否满足预设条件,如果不满足则继续进行以上修正卷积神经网络的步骤,直至修正后的卷积神经网络输出的转向角度和目标车辆当前的驾驶指令的转向角度的误差满足预设条件。
图5是根据一示例性实施例示出的另一种车辆驾驶的控制方法的流程图。如图5所示,该方法还包括以下步骤:
在步骤106中,根据目标场景,确定场景模型,场景模型包括目标场景对应的道路信息、环境信息等。
在步骤107中,将训练后的控制模型指示的驾驶指令作为场景模型的输入,根据场景模型输出的图像信息、位置信息、决策信息、指令信息和故障信息中的至少一种修正控制模型。
示例的,根据目标场景,确定场景模型,场景模型可以是根据大量的先验数据预先建立的,包括目标场景对应的道路信息、环境信息的模型。其中,道路信息可以包括车道线的位置、车道数量和车道类型(直行、左转、右转、掉头)等,环境信息可以包括指示灯、周围的车辆、障碍物、和道路指示标志等。将训练后的控制模型指示的驾驶指令输入到场景模型中,在场景模型中仿真车辆按照驾驶指令行驶的过程,并将车辆按照驾驶指令在场景模型中行驶时的图像信息、位置信息、决策信息、指令信息和故障信息作为场景模型的输出,以此根据场景模型输出的图像信息、位置信息、决策信息、指令信息和故障信息中的至少一种来修正控制模型。例如,根据目标场景确定的场景模型为目标车辆在单行道上向左偏离道路中心线1m,训练后的控制模型指示的驾驶指令为方向盘右转60°后转回初始位置,将训练后的控制模型指示的驾驶指令输入到场景模型中,场景模型输出的位置信息为目标车辆向右偏离道路中心线0.5m,说明方向盘的转角过大,可以根据位置信息重新修正控制模型中目标场景对应的驾驶指令为方向盘右转45°后转回初始位置。
需要说明的是,步骤106至步骤107可以放在步骤104之前,也可以放在步骤104之后,即步骤107中的训练后的控制模型,可以是当前时刻训练后的控制模型,也可以是上一次训练过程结束后得到的训练后的模型,对控制模型的修正可以在任意时刻进行,本公开对执行顺序不做限定。
综上所述,本公开首先获取目标车辆的第一数据信息,然后对第一数据信息进行融合处理,并将经过融合处理的第一数据信息作为第二数据信息,再根据预设的场景分类算法来确定第二数据信息所对应的目标场景,之后根据目标车辆当前的驾驶指令、目标场景和第二数据信息,利用预设的深度学习算法对控制模型进行训练,其中,控制模型中包括至少一种场景,和至少一种场景中每种场景对应的驾驶指令,最后控制目标车辆按照训练后的控制模型指示的驾驶指令行驶。本公开能够解决现有技术中自动驾驶的决策控制方式复杂,成本高的问题,根据实时获取的车辆的驾驶数据,利用深度学习算法实时训练用于控制车辆行驶的控制模型,从而提高控制模型的适用性和准确性。
图6是根据一示例性实施例示出的一种车辆驾驶的控制装置的框图。如图6所示,该装置200应用于服务器,包括:
获取模块201,用于获取目标车辆的第一数据信息。
融合模块202,用于对第一数据信息进行融合处理,以将经过融合处理后的第一数据信息作为第二数据信息。
第一确定模块203,用于根据预设的场景分类算法确定第二数据信息对应的目标场景。
训练模块204,用于根据目标车辆当前的驾驶指令、目标场景和第二数据信息,利用预设的深度学习算法对控制模型进行训练,控制模型中包括至少一种场景,和至少一种场景对应的驾驶指令。
控制模块205,用于控制目标车辆按照训练后的控制模型指示的驾驶指令行驶。
图7是图6所示实施例示出的一种融合模块的框图。如图7所示,第一数据信息包括:目标车辆在自动驾驶过程中采集的图像信息、位置信息、决策信息、指令信息和故障信息中的至少一种。
融合模块202包括:
转换子模块2021,用于将第一数据信息中包含的至少一个位置坐标中的每个位置坐标转换为预设的目标坐标系中的至少一个目标坐标。
同步子模块2022,用于将第一数据信息中包含的时间信息进行同步处理。
融合子模块2023,用于将包含了至少一个目标坐标和经过同步处理的时间信息的第一数据信息作为第二数据信息。
图8是图6所示实施例示出的一种第一确定模块的框图。如图8所示,第一确定模块203包括:
获取子模块2031,用于根据第二数据信息包含的至少一个目标坐标,获取至少一个目标坐标所指示的位置在当前时刻和当前时刻之前预设时间段内的图像信息、点云数据。
分类子模块2032,用于将当前时刻和当前时刻之前预设时间段内的图像信息、点云数据作为场景分类算法的输入,将场景分类算法的输出作为目标场景。
图9是图6所示实施例示出的一种训练模块的框图。如图9所示,训练模块204包括:
推荐子模块2041,用于将目标场景、第二数据信息和控制模型作为预设的卷积神经网络的输入,将卷积神经网络的输出作为推荐驾驶指令。
修正子模块2042,用于根据目标车辆当前的驾驶指令和推荐驾驶指令,修正卷积神经网络。
更新子模块2043,用于重复执行将目标场景、第二数据信息作为预设的卷积神经网络的输入,将卷积神经网络的输出作为推荐驾驶指令至根据目标车辆当前的驾驶指令和推荐驾驶指令,修正卷积神经网络的步骤,直至目标车辆当前的驾驶指令和推荐驾驶指令的误差满足预设条件,将控制模型中目标场景对应的驾驶指令更新为推荐驾驶指令。
图10是根据一示例性实施例示出的另一种车辆驾驶的控制装置的框图。如图10所示,装置200还包括:
第二确定模块206,用于根据目标场景,确定场景模型,场景模型包括目标场景对应的道路信息、环境信息等。
修正模块207,用于将训练后的控制模型指示的驾驶指令作为场景模型的输入,根据场景模型输出的图像信息、位置信息、决策信息、指令信息和故障信息中的至少一种修正控制模型。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
综上所述,本公开首先获取目标车辆的第一数据信息,然后对第一数据信息进行融合处理,并将经过融合处理的第一数据信息作为第二数据信息,再根据预设的场景分类算法来确定第二数据信息所对应的目标场景,之后根据目标车辆当前的驾驶指令、目标场景和第二数据信息,利用预设的深度学习算法对控制模型进行训练,其中,控制模型中包括至少一种场景,和至少一种场景中每种场景对应的驾驶指令,最后控制目标车辆按照训练后的控制模型指示的驾驶指令行驶。本公开能够解决现有技术中自动驾驶的决策控制方式复杂,成本高的问题,根据实时获取的车辆的驾驶数据,利用深度学习算法实时训练用于控制车辆行驶的控制模型,从而提高控制模型的适用性和准确性。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。

Claims (6)

1.一种车辆驾驶的控制方法,其特征在于,应用于服务器,所述方法包括:
获取目标车辆的第一数据信息;
对所述第一数据信息进行融合处理,以将经过融合处理后的所述第一数据信息作为第二数据信息;
根据预设的场景分类算法确定所述第二数据信息对应的目标场景;
根据所述目标车辆当前的驾驶指令、所述目标场景和所述第二数据信息,利用预设的深度学习算法对控制模型进行训练,所述控制模型中包括至少一种场景,和所述至少一种场景对应的驾驶指令;
控制所述目标车辆按照训练后的所述控制模型指示的驾驶指令行驶;
所述第一数据信息包括:所述目标车辆在自动驾驶过程中采集的图像信息、位置信息、决策信息、指令信息和故障信息中的至少一种;
所述对所述第一数据信息进行融合处理,以将经过融合处理后的所述第一数据信息作为第二数据信息,包括:
将所述第一数据信息中包含的至少一个位置坐标中的每个所述位置坐标转换为预设的目标坐标系中的至少一个目标坐标;
将所述第一数据信息中包含的时间信息进行同步处理;
将包含了所述至少一个目标坐标和经过同步处理的所述时间信息的所述第一数据信息作为所述第二数据信息;
所述方法还包括:
根据所述目标场景,确定场景模型,所述场景模型包括所述目标场景对应的道路信息、环境信息;
将训练后的所述控制模型指示的驾驶指令作为所述场景模型的输入,根据所述场景模型输出的图像信息、位置信息、决策信息、指令信息和故障信息中的至少一种修正所述控制模型。
2.根据权利要求1所述的方法,其特征在于,所述根据预设的场景分类算法确定所述第二数据信息对应的目标场景,包括:
根据所述第二数据信息包含的所述至少一个目标坐标,获取所述至少一个目标坐标所指示的位置在当前时刻和当前时刻之前预设时间段内的图像信息、点云数据;
将所述当前时刻和当前时刻之前预设时间段内的图像信息、点云数据作为所述场景分类算法的输入,将所述场景分类算法的输出作为所述目标场景。
3.根据权利要求1所述的方法,其特征在于,所述根据所述目标车辆当前的驾驶指令、所述目标场景和所述第二数据信息,利用预设的深度学习算法对控制模型进行训练,包括:
将所述目标场景、所述第二数据信息和所述控制模型作为预设的卷积神经网络的输入,将所述卷积神经网络的输出作为推荐驾驶指令;
根据所述目标车辆当前的驾驶指令和所述推荐驾驶指令,修正所述卷积神经网络;
重复执行所述将所述目标场景、所述第二数据信息作为预设的卷积神经网络的输入,将所述卷积神经网络的输出作为推荐驾驶指令至所述根据所述目标车辆当前的驾驶指令和所述推荐驾驶指令,修正所述卷积神经网络的步骤,直至所述目标车辆当前的驾驶指令和所述推荐驾驶指令的误差满足预设条件,将所述控制模型中所述目标场景对应的驾驶指令更新为所述推荐驾驶指令。
4.一种车辆驾驶的控制装置,其特征在于,应用于服务器,所述装置包括:
获取模块,用于获取目标车辆的第一数据信息;
融合模块,用于对所述第一数据信息进行融合处理,以将经过融合处理后的所述第一数据信息作为第二数据信息;
第一确定模块,用于根据预设的场景分类算法确定所述第二数据信息对应的目标场景;
训练模块,用于根据所述目标车辆当前的驾驶指令、所述目标场景和所述第二数据信息,利用预设的深度学习算法对控制模型进行训练,所述控制模型中包括至少一种场景,和所述至少一种场景对应的驾驶指令;
控制模块,用于控制所述目标车辆按照训练后的所述控制模型指示的驾驶指令行驶;
所述第一数据信息包括:所述目标车辆在自动驾驶过程中采集的图像信息、位置信息、决策信息、指令信息和故障信息中的至少一种;
所述融合模块包括:
转换子模块,用于将所述第一数据信息中包含的至少一个位置坐标中的每个所述位置坐标转换为预设的目标坐标系中的至少一个目标坐标;
同步子模块,用于将所述第一数据信息中包含的时间信息进行同步处理;
融合子模块,用于将包含了所述至少一个目标坐标和经过同步处理的所述时间信息的所述第一数据信息作为所述第二数据信息;
所述装置还包括:
第二确定模块,用于根据所述目标场景,确定场景模型,所述场景模型包括所述目标场景对应的道路信息、环境信息;
修正模块,用于将训练后的所述控制模型指示的驾驶指令作为所述场景模型的输入,根据所述场景模型输出的图像信息、位置信息、决策信息、指令信息和故障信息中的至少一种修正所述控制模型。
5.根据权利要求4所述的装置,其特征在于,所述第一确定模块包括:
获取子模块,用于根据所述第二数据信息包含的所述至少一个目标坐标,获取所述至少一个目标坐标所指示的位置在当前时刻和当前时刻之前预设时间段内的图像信息、点云数据;
分类子模块,用于将所述当前时刻和当前时刻之前预设时间段内的图像信息、点云数据作为所述场景分类算法的输入,将所述场景分类算法的输出作为所述目标场景。
6.根据权利要求4所述的装置,其特征在于,所述训练模块包括:
推荐子模块,用于将所述目标场景、所述第二数据信息和所述控制模型作为预设的卷积神经网络的输入,将所述卷积神经网络的输出作为推荐驾驶指令;
修正子模块,用于根据所述目标车辆当前的驾驶指令和所述推荐驾驶指令,修正所述卷积神经网络;
更新子模块,用于重复执行所述将所述目标场景、所述第二数据信息作为预设的卷积神经网络的输入,将所述卷积神经网络的输出作为推荐驾驶指令至所述根据所述目标车辆当前的驾驶指令和所述推荐驾驶指令,修正所述卷积神经网络的步骤,直至所述目标车辆当前的驾驶指令和所述推荐驾驶指令的误差满足预设条件,将所述控制模型中所述目标场景对应的驾驶指令更新为所述推荐驾驶指令。
CN201811420114.6A 2018-11-26 2018-11-26 车辆驾驶的控制方法和装置 Active CN109747659B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811420114.6A CN109747659B (zh) 2018-11-26 2018-11-26 车辆驾驶的控制方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811420114.6A CN109747659B (zh) 2018-11-26 2018-11-26 车辆驾驶的控制方法和装置

Publications (2)

Publication Number Publication Date
CN109747659A CN109747659A (zh) 2019-05-14
CN109747659B true CN109747659B (zh) 2021-07-02

Family

ID=66402510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811420114.6A Active CN109747659B (zh) 2018-11-26 2018-11-26 车辆驾驶的控制方法和装置

Country Status (1)

Country Link
CN (1) CN109747659B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102657326B1 (ko) * 2018-10-22 2024-04-12 현대모비스 주식회사 경보 발생 장치 및 방법
CN110032176A (zh) * 2019-05-16 2019-07-19 广州文远知行科技有限公司 无人驾驶汽车的远程接管方法、装置、设备和存储介质
CN112026782B (zh) * 2019-06-04 2022-05-03 广州汽车集团股份有限公司 一种基于开关式深度学习网络模型的自动驾驶决策方法及系统
CN110598637B (zh) * 2019-09-12 2023-02-24 齐鲁工业大学 一种基于视觉及深度学习的无人驾驶系统及方法
CN110705101A (zh) * 2019-09-30 2020-01-17 深圳市商汤科技有限公司 网络训练方法、车辆行驶方法及相关产品
CN110750311A (zh) * 2019-10-18 2020-02-04 北京汽车研究总院有限公司 数据分类方法、装置和设备
CN110717475A (zh) * 2019-10-18 2020-01-21 北京汽车集团有限公司 自动驾驶场景分类方法及系统
CN112698578B (zh) * 2019-10-22 2023-11-14 北京车和家信息技术有限公司 一种自动驾驶模型的训练方法及相关设备
CN110745143B (zh) * 2019-10-29 2021-08-24 广州文远知行科技有限公司 一种车辆的控制方法、装置、设备和存储介质
CN111079533B (zh) * 2019-11-14 2023-04-07 深圳大学 无人车驾驶决策方法、无人车驾驶决策装置及无人车
CN112863244B (zh) * 2019-11-28 2023-03-14 大众汽车股份公司 用于促进车辆的安全行驶的方法和装置
CN111026111A (zh) * 2019-11-29 2020-04-17 上海电机学院 一种基于5g网络的汽车智能驾驶控制系统
CN111178454A (zh) * 2020-01-03 2020-05-19 北京汽车集团有限公司 自动驾驶数据的标注方法、云端控制平台及存储介质
CN111428571B (zh) * 2020-02-28 2024-04-19 宁波吉利汽车研究开发有限公司 一种车辆引导方法、装置、设备及存储介质
CN111814667B (zh) * 2020-07-08 2022-10-14 山东浪潮云服务信息科技有限公司 一种智能路况识别方法
CN113954835B (zh) * 2020-07-15 2023-05-30 广州汽车集团股份有限公司 一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质
CN114019947B (zh) * 2020-07-15 2024-03-12 广州汽车集团股份有限公司 一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质
CN113954858A (zh) * 2020-07-20 2022-01-21 华为技术有限公司 一种规划车辆行驶路线的方法以及智能汽车
CN112099490B (zh) * 2020-08-19 2024-04-26 北京经纬恒润科技股份有限公司 远程驾驶车辆的方法以及远程驾驶系统
CN112238857B (zh) * 2020-09-03 2021-09-17 北京国家新能源汽车技术创新中心有限公司 自动驾驶车辆的控制方法
CN112052959B (zh) * 2020-09-04 2023-08-25 深圳前海微众银行股份有限公司 基于联邦学习的自动驾驶训练方法、设备及介质
CN112017438B (zh) * 2020-10-16 2021-08-27 宁波均联智行科技股份有限公司 一种行车决策生成方法及系统
CN113753063B (zh) * 2020-11-23 2023-05-09 北京京东乾石科技有限公司 一种车辆行驶指令确定方法、装置、设备及存储介质
CN112721909B (zh) * 2021-01-27 2022-04-08 浙江吉利控股集团有限公司 一种车辆的控制方法、控制系统及车辆
CN115291961A (zh) * 2021-05-27 2022-11-04 上海仙途智能科技有限公司 参数调整方法、装置、设备及计算机可读存储介质
CN113110526B (zh) * 2021-06-15 2021-09-24 北京三快在线科技有限公司 一种模型训练的方法、无人驾驶设备的控制方法及装置
CN113741459A (zh) * 2021-09-03 2021-12-03 阿波罗智能技术(北京)有限公司 确定训练样本的方法和自动驾驶模型的训练方法、装置
CN113792059A (zh) * 2021-09-10 2021-12-14 中国第一汽车股份有限公司 一种场景库更新方法、装置、设备及存储介质
CN114379581B (zh) * 2021-11-29 2024-01-30 江铃汽车股份有限公司 基于自动驾驶下的算法迭代系统及方法
CN116403174A (zh) * 2022-12-12 2023-07-07 深圳市大数据研究院 一种端到端自动驾驶方法、系统、仿真系统及存储介质
CN117002538B (zh) * 2023-10-07 2024-05-07 格陆博科技有限公司 一种基于深度学习算法的自动驾驶控制系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104835381A (zh) * 2015-04-20 2015-08-12 石洪瑞 一种用于驾驶训练的汽车模型障碍
CN107499262A (zh) * 2017-10-17 2017-12-22 芜湖伯特利汽车安全系统股份有限公司 基于机器学习的acc/aeb系统及车辆
CN107609602A (zh) * 2017-09-28 2018-01-19 吉林大学 一种基于卷积神经网络的驾驶场景分类方法
EP3272611A1 (en) * 2015-04-21 2018-01-24 Panasonic Intellectual Property Management Co., Ltd. Information processing system, information processing method, and program
CN108229366A (zh) * 2017-12-28 2018-06-29 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104835381A (zh) * 2015-04-20 2015-08-12 石洪瑞 一种用于驾驶训练的汽车模型障碍
EP3272611A1 (en) * 2015-04-21 2018-01-24 Panasonic Intellectual Property Management Co., Ltd. Information processing system, information processing method, and program
CN107609602A (zh) * 2017-09-28 2018-01-19 吉林大学 一种基于卷积神经网络的驾驶场景分类方法
CN107499262A (zh) * 2017-10-17 2017-12-22 芜湖伯特利汽车安全系统股份有限公司 基于机器学习的acc/aeb系统及车辆
CN108229366A (zh) * 2017-12-28 2018-06-29 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法

Also Published As

Publication number Publication date
CN109747659A (zh) 2019-05-14

Similar Documents

Publication Publication Date Title
CN109747659B (zh) 车辆驾驶的控制方法和装置
US11580754B2 (en) System and method for large-scale lane marking detection using multimodal sensor data
JP7070974B2 (ja) 自律車両ナビゲーションのための疎な地図
JP7020728B2 (ja) システム、方法およびプログラム
US20210080558A1 (en) Extended Object Tracking Using RADAR
EP3644294B1 (en) Vehicle information storage method, vehicle travel control method, and vehicle information storage device
CN112969622A (zh) 自主运载工具中的冗余
CN110673602B (zh) 一种强化学习模型、车辆自动驾驶决策的方法和车载设备
CN112650220B (zh) 一种车辆自动驾驶方法、车载控制器及系统
JP2021519720A (ja) 自律走行シミュレーションのための時間伸縮法
CN109540162A (zh) Adas地图数据的处理方法、获取方法、装置及车载设备
Guvenc et al. Connected and autonomous vehicles
US11670088B2 (en) Vehicle neural network localization
CN112729316A (zh) 自动驾驶车辆的定位方法、装置、车载设备、系统及车辆
US11568688B2 (en) Simulation of autonomous vehicle to improve safety and reliability of autonomous vehicle
US20220289198A1 (en) Automated emergency braking system
CN113892088A (zh) 一种测试方法和系统
CN111201420A (zh) 信息处理装置、自身位置推定方法、程序和移动体
CN110544389A (zh) 一种自动驾驶管控方法、装置及系统
US20230098688A1 (en) Advanced data fusion structure for map and sensors
CN115205311A (zh) 图像处理方法、装置、车辆、介质及芯片
DE102021133740A1 (de) Erlernen der identifikation sicherheitskritischer szenarien für ein autonomes fahrzeug
CN113092135A (zh) 一种自动驾驶车辆的测试方法、装置及设备
US20220289243A1 (en) Real time integrity check of gpu accelerated neural network
US20240054660A1 (en) Point cloud alignment systems for generating high definition maps for vehicle navigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant