CN113219968A - 自动驾驶控制方法及装置 - Google Patents

自动驾驶控制方法及装置 Download PDF

Info

Publication number
CN113219968A
CN113219968A CN202110428405.5A CN202110428405A CN113219968A CN 113219968 A CN113219968 A CN 113219968A CN 202110428405 A CN202110428405 A CN 202110428405A CN 113219968 A CN113219968 A CN 113219968A
Authority
CN
China
Prior art keywords
vehicle
target
state
reinforcement learning
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110428405.5A
Other languages
English (en)
Other versions
CN113219968B (zh
Inventor
陈龙权
贺颖
邹广源
潘微科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202110428405.5A priority Critical patent/CN113219968B/zh
Publication of CN113219968A publication Critical patent/CN113219968A/zh
Application granted granted Critical
Publication of CN113219968B publication Critical patent/CN113219968B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Acoustics & Sound (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Feedback Control In General (AREA)

Abstract

本申请适用于智能驾驶领域，具体公开了一种自动驾驶控制方法及装置，在该方法中，获取车辆传感参数；在强化学习模型所对应的环境状态集中，确定与所述车辆传感参数匹配的目标环境状态；调用所述强化学习模型的顶层策略模块，从多个预设的底层策略模块中确定与所述目标环境状态相匹配的目标底层策略模块；调用所述目标底层策略模块从所述目标环境状态所对应的状态动作集中确定目标状态动作，并控制所述车辆执行与所述目标状态动作相应的车辆控制操作，以保持车辆在车道驾驶。由此，提升了强化学习模型的泛化性，使得自动驾驶系统能在更广泛的场景中良好适用。

Description

自动驾驶控制方法及装置
技术领域
本申请属于智能驾驶领域，尤其涉及一种自动驾驶控制方法及装置。
背景技术
自动驾驶技术对于提升交通安全、提高交通效率以及提升驾驶体验方面具有至关重要的作用，并且联网自动驾驶车辆(automated vehicle,AV)将在未来的智能交通系统(Intelligent Transportation System，ITS)中扮演重要角色。
随着强化学习在游戏领域和机器人操作等领域取得了很好的应用成果，人们开始尝试着用强化学习来解决自动驾驶问题。但是，强化学习模型的泛化性较差，导致强化学习训练出来的模型只能在相同的环境下才能表现出很好的效果，即使在相似的环境下，自动驾驶系统的表现效果也不如人意。
因此，在自动驾驶如此复杂的、动态的环境中，利用强化学习来构建的自动驾驶系统面临着巨大的挑战。
发明内容
鉴于此，本申请实施例提供了一种自动驾驶控制方法及装置，以至少降低现有技术中因强化学习模型的泛化性较差而无法在自动驾驶的复杂环境中适用的问题。
本申请实施例的第一方面提供了一种自动驾驶控制方法，包括：获取车辆传感参数；其中，所述车辆传感参数包括车辆速度、轮胎转速、发动机转速、车辆相对于道路中线的距离、车辆与道路的夹角以及车辆与检测范围内的障碍物之间的距离；在强化学习模型所对应的环境状态集中，确定与所述车辆传感参数匹配的目标环境状态；调用所述强化学习模型的顶层策略模块，从多个预设的底层策略模块中确定与所述目标环境状态相匹配的目标底层策略模块；调用所述目标底层策略模块从所述目标环境状态所对应的状态动作集中确定目标状态动作，并控制所述车辆执行与所述目标状态动作相应的车辆控制操作，以保持车辆在车道驾驶。
本申请实施例的第二方面提供了一种自动驾驶控制装置，包括：获取单元，被配置为获取车辆传感参数；其中，所述车辆传感参数包括车辆速度、轮胎转速、发动机转速、车辆相对于道路中线的距离、车辆与道路的夹角以及车辆与检测范围内的障碍物之间的距离；状态确定单元，被配置为在强化学习模型所对应的环境状态集中，确定与所述车辆传感参数匹配的目标环境状态；策略确定单元，被配置为调用所述强化学习模型的顶层策略模块，从多个预设的底层策略模块中确定与所述目标环境状态相匹配的目标底层策略模块；车辆操作单元，被配置为调用所述目标底层策略模块从所述目标环境状态所对应的状态动作集中确定目标状态动作，并控制所述车辆执行与所述目标状态动作相应的车辆控制操作，以保持车辆在车道驾驶。
本申请实施例的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。
本申请实施例的第四方面提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备实现如上述方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：
通过本申请实施例，自动驾驶系统的强化学习模型中的策略是分层次的，通过顶层策略来选择适宜处理当前驾驶状态的底层策略，并执行所选择的底层策略来实现相应的车辆驾驶操作。由此，相对于单策略的强化学习模型，本申请实施例的强化学习模型中所选择的底层策略能够根据实际驾驶环境而进行调整，具有较强的泛化性，能够有效提升自动驾驶系统的安全性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了适于在本申请实施例中应用的一示例的强化学习模型的状态转移示意图；
图2示出了根据本申请实施例的自动驾驶控制方法的一示例的流程图；
图3示出了根据本申请实施例的采集车辆传感参数的示意图；
图4示出了根据本申请实施例的强化学习模型的一示例的结构示意图；
图5示出了根据本申请实施例的构建和优化强化学习模型的一示例的流程图；
图6示出了根据本申请实施例的对强化学习模型进行训练的一示例的结构示意图；
图7示出了根据本申请实施例的自动驾驶控制装置的一示例的结构框图；
图8是本申请实施例的电子设备的一示例的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
具体实现中，本申请实施例中描述的电子设备包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，上述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器)的计算机。
在接下来的讨论中，描述了包括显示器和触摸敏感表面的电子设备。然而，应当理解的是，电子设备可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。
可以在电子设备上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样，终端的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。
图1示出了适于在本申请实施例中应用的一示例的强化学习模型的状态转移示意图。
如图1所示，该状态转移示意图中涉及强化学习模型所对应的由多个环境状态f1～fn所组成的环境，在不同环境状态之间可能会发生状态转移，例如a1表示从f1到f2的状态转移动作，a2表示从f2到f1的状态转移动作，a3表示从f1到f3的状态转移动作，等等。这里，每个环境状态分别通过不同的状态转移动作集，以实现向相应环境状态的状态转移。
在一些实施方式中，每一状态转移具有对应的奖赏，且各个奖赏可以是基于预设的奖赏函数来确定的。通常情况下，若奖赏越大，则可认为相应的状态转移越有价值。示例性地，针对状态f1，能够发生从状态f1到状态f2和f3的状态转移，即，状态转移a1和a3。若状态转移a1所对应的奖赏大于a3所对应的奖赏，则表示状态转移a1更有价值。
另外，强化学习模型可以基于动作策略来从多个状态转移中进行选择。示例性地，可以选择对应奖赏最大化的状态转移，例如，在状态f1时，根据动作策略而优先实施状态转移a1。
在本申请实施例中，将强化学习模型应用在车辆驾驶领域，可以实现车辆驾驶过程中的自主决策，实现自动驾驶。
需说明的是，在自动驾驶系统中可以使用强化学习模型来进行智能决策操作，使得车辆能够保持在车道上行驶(即，不偏离车道)。然而，强化学习模型的泛化性较弱，难以在复杂的驾驶环境中适用。为了解决这一局限性，在本申请实施例中提出，应针对自动驾驶系统中的标准强化学习架构进行改进。
现在结合附图来描述本申请实施例的自动驾驶控制方法及装置。
图2示出了根据本申请实施例的自动驾驶控制方法的一示例的流程图。
如图2所示，在步骤210中，获取车辆传感参数。这里，可以暂不限制车辆传感参数的类型，例如其可以包含由车辆自身的传感系统所采集的参数，还可以包含在车辆上额外安装的其他传感模块所采集的参数。
在本申请实施例的一些示例中，车辆传感参数可以包括车辆速度、轮胎转速、发动机转速、车辆相对于道路中线的距离、车辆(例如，以车辆中线为基准)与道路(例如，以道路中线为基准)的夹角以及车辆与检测范围内的障碍物之间的距离。在一些实施方式中，可以通过车辆上所安装的一个或多个超声波传感器来采集或计算距离信息。
图3示出了根据本申请实施例的采集车辆传感参数的示意图。如图3所示，vx,vy,vz分别是车辆在x,y,z方向的速度，Scenter是车辆距离道路中心的位置，η是车辆与道路的夹角。此外，车辆可以发出超声波来探测离前方障碍物的距离。
在步骤220中，在强化学习模型所对应的环境状态集中，确定与车辆传感参数匹配的目标环境状态。
这里，强化学习模型的所对应的状态空间中的各个环境状态分别是由相应的车辆传感参数来定义的，例如可以利用各个不同类型的车辆传感参数来分别定义环境状态(例如，f1)的相应变量。另外，各个环境状态分别具有相应的状态动作集，例如环境状态f1所对应的状态动作集是{a1,a3}，以及环境状态所对应的状态动作集是{a2}。这里，各个状态动作(例如，a1,a2,a3)分别是通过相应的车辆控制操作信息来定义的，例如车辆的转向、油门操作信息等等。
在步骤230中，调用强化学习模型的顶层策略模块，从多个预设的底层策略模块中确定与目标环境状态相匹配的目标底层策略模块。
在步骤240中，调用目标底层策略模块从目标环境状态所对应的状态动作集中确定目标状态动作，并控制车辆执行与目标状态动作相应的车辆控制操作，以保持车辆在车道驾驶。
图4示出了根据本申请实施例的强化学习模型的一示例的结构示意图。
如图4所示，在基于MDP(Markov Decision Process,马尔科夫决策过程)的强化学习模型中，车辆传感参数所对应的状态S先通过顶层策略模块，顶层策略输出激活0,1,2这三个底层策略模块的一者，被激活的底层策略模块接收状态S，并输出相应的动作，以确定方向盘的实施角度和油门刹车的实施力度。
在本申请实施例的一些示例中，强化学习模型的奖赏可以分为两个部分，即针对顶层策略模块所设置的第一奖赏函数R1和针对各个底层策略模块所分别设置的第二奖赏函数{R2}。具体地，通过第一奖赏函数R1，顶层策略模块确定对应目标环境状态的奖赏最大化的目标底层策略模块，并运行目标底层策略模块。进而，通过目标底层策略模块所对应的第二奖赏函数R2，从目标环境状态所对应的状态动作集中确定具有奖赏最大化的目标状态动作，并实施相应的车辆控制操作，保障车辆不偏离车道行驶。由此，在自动驾驶系统中使用分层强化学习方法，使得系统具有较强的适用性。
在本申请实施例的一个示例中，运用到自动驾驶的分层强化学习方法中，顶层策略模块和底层策略模块可以是具有相同的步长时间尺度的。也就是说，系统在每次接收到一个观测时都会通过顶层策略模块选择一个底层策略模块，然后这个观测通过这个底层策略模块输出动作，控制车辆驾驶操作。
需说明的是，在本申请的发明人实践本申请的过程中发现：在实际自动驾驶过程中，底层策略的选择并不需要频繁调用，例如某一底层策略可以被连续应用几步。
鉴于此，在本申请实施例的另一示例，顶层策略模块的步长时间尺度大于底层策略模块的步长时间尺度。这样，在底层策略模块每执行N步之后才会执行一次顶层策略模块，使得顶层策略模块不会频繁地更换底层策略模块而使得自动驾驶操作更加稳定，车辆的稳定性更高，会产生更强的舒适性。
需说明的是，在强化学习模型中普遍存在着“采样效率低下”的问题，在游戏领域中可以忽略此问题，但是在将强化学习引用到自动驾驶中时，为了保障驾驶安全性，而无法忽视此问题。然而，自动驾驶的训练过程需要大量的样本，而采样效率低将导致训练自动驾驶需要消耗大量的时间来收集样本，使得自动驾驶的训练成本非常昂贵。
鉴于此，在本申请实施例的一些示例中，各个底层策略模块之间共享强化学习模型的强化训练样本集。这里，强化训练样本集中的每一训练样本均包括车辆传感参数、车辆控制操作信息和相应的奖赏。由此，同一训练样本可以在不同的底层策略模块中重复使用，从而提升样本利用率，解决强化学习模型的采样效率低下的问题。
图5示出了根据本申请实施例的构建和优化强化学习模型的一示例的流程图。图6示出了根据本申请实施例的对强化学习模型进行训练的一示例的结构示意图。
需说明的是，由于完整的自动驾驶涉及非常多不同的场景，导致利用强化学习模型来解决完整的自动驾驶任务是非常困难的。
鉴于此，本申请实施例提出了一种元分层强化学习的方法，可以解决自动驾驶环境下样本利用率低和泛化性差的问题。这里，将自动驾驶任务分解为多个子任务，针对每个子任务分别设定相应的底层策略模块，并分别进行学习训练，之后再统一由顶层策略模块控制性能更加优秀的底层策略模块，这样便可以应对自动驾驶的不同场景。
需说明的是，在针对底层策略模块的训练过程中，可以将强化学习模型分开多个不同的场景来分别学习不同的任务。但是，自动驾驶是一个完整的过程，其会涉及多个任务和场景的处理。故而，在本申请实施例提出，可以采用混合学习的方式来对各个底层策略模块进行训练优化，这样也可以最大限度的发挥强化学习的探索和试错的能力。
在本申请实施例的一些示例中，强化训练样本集包含多个强化训练样本子集，并且每一强化训练样本子集分别具有唯一对应的道路环境场景，例如在不同类型的城市道路和农村道路驾驶时所产生的参数和相应的奖赏。由此，通过强化训练操作得到各个底层策略模块所分别适用的道路环境场景，使得各个底层策略模块能够在不同的道路环境中公用。
需说明的是，针对城市道路所构建和优化的强化学习模型是无法较佳地在农村道路上适用的，而在以往的一般情况下，想要在农村道路上适用此模型，必须花费大量的成本重新去训练一个新的模型。例如，深圳的路跟武汉的路是有差异的，深圳训练好的模型是没方法符合武汉的道路情况的。
通过本申请实施例，当车辆行驶到一个新的地区时，只需要对顶层策略模块进行更新，以符合当前地区的道路情况，而无需对底层策略模块进行优化，可以应用以前训练好的底层策略模块，使得针对强化学习模型的训练操作更加快速和高效。
如图5所示，在步骤510中，创建一个顶层策略模块和三个底层策略模块。应理解的是，此处的“一个”或“三个”仅用于描述示例，而并不旨在对本申请的实施范围的限制，并且在一些变型的实施方式中，强化学习模型还可以采用其他数量的顶层策略模块和底层策略模块。
在步骤520中，分别收集左转弯、直行和右转弯的专家数据(或，先验知识)，并采用模仿学习的方式分别训练三个底层策略模块。此外，还可以利用上述专家数据来对顶层策略模块进行预训练。
在本申请实施例中，在进行针对强化学习模型的训练操作之前，每一底层策略模块分别利用各自的先验训练样本子集预先进行优化。这里，先验训练样本子集中的每一训练样本均包括车辆传感参数和相应的车辆控制操作信息。
这里，每一先验训练样本子集分别具有唯一对应的车辆控制操作类型。例如，先验训练样本子集G1可以是与“左转”相对应的，先验训练样本子集G2可以是与“右转”相对应的，而先验训练样本子集G3可以是与“直行”相对应的。
这样，在模型在训练之前，会先分别收集左转弯、右转弯、直行(非变道操作)的专家数据，先对三个底层策略分别用这些专家数据进行模仿学习。通过这种做法，可以给底层策略模块一定的先验知识，能够优化底层策略模块的学习效果。
需说明的是，在完全没有先验知识的情况下，智能体(agent)刚开始可能不知道该学习什么，会导致学习的很慢并且效果不好。因此，在本申请实施例中提出，加入模仿学习来给各个底层策略模块提供先验知识，使得智能体明白每个底层策略模块的训练优化方向，有利于提升各个底层策略模块的学习效果。另一方面，也可以利用专家数据对顶层策略模块进行模仿学习，有助于提高强化学习效率。
具体地，可以利用以下方式对顶层策略模块进行预训练的：
Figure BDA0003030470730000101
其中，π表示策略，a表示动作，s表示状态，θ代表策略的参数，u代表迭代更新次数，α是学习率，i表示第i个样本，以及B是样本集大小。
在步骤530中，采取元分层强化学习的方式联合训练顶层策略模块和底层策略模块。也就是说，顶层策略模块和底层策略模块是在强化学习模型中交替地进行训练的，例如先学顶层网络，再学底层3个底层网络，再学顶层网络…这样反复交替学习，使得两层网络逐渐进步。
需说明的是，虽然假定三个底层策略模块分别是利用左转弯、直行和右转弯的专家数据进行预训练的，而在本申请实施例中所采用的是联合更新的训练方式，可以较佳地发挥强化学习模型的探索和利用的能力。这样，经过联合训练之后的各个底层策略模块便不再是只能处理左转、右转和直行操作，而是交叉着的。至于三个底层策略分别学习了什么是黑盒的，在面对新的环境时，强化学习模型可以较佳地在这三种底层策略模块中进行切换，以适应当前场景。
具体地，可以从M个道路环境中随机采样一个环境状态空间，在这个环境状态空间下先利用下述公式更新顶层策略w次：
Figure BDA0003030470730000102
然后，结合下面公式来联合更新顶层策略和底层策略J次：
Figure BDA0003030470730000111
其中，TH和TL分别代表顶层策略模块和底层策略模块的步长时间尺度，t表示当前时刻，γ表示超参数，r是奖励。进而，通过迭代训练，直到模型收敛。
通过本申请实施例，利用了分层网络结构的强化学习模型，策略网络可以分为一个顶层网络和三个底层网络，顶层网络用于选择该激活哪个底层网络，被激活的底层网络根据当前输入的状态输出油门和方向盘的操作。此外，通过模仿学习获得先验知识，使得不同的底层网络先用模仿学习分别学习左转弯，直行和右转弯，然后才进行接下来的交替训练，有助于提高交替训练的效率。由此，通过重用底层策略提高了泛化性，并且由于顶层策略的动作空间减小和底层策略的重用使得样本利用率提高。
图7示出了根据本申请实施例的自动驾驶控制装置的一示例的结构框图。
如图7所示，自动驾驶控制装置700包括获取单元710、状态确定单元720、策略确定单元730和车辆操作单元740。
获取单元710被配置为获取车辆传感参数；其中，所述车辆传感参数包括车辆速度、轮胎转速、发动机转速、车辆相对于道路中线的距离、车辆与道路的夹角以及车辆与检测范围内的障碍物之间的距离。
状态确定单元720被配置为在强化学习模型所对应的环境状态集中，确定与所述车辆传感参数匹配的目标环境状态。
策略确定单元730被配置为调用所述强化学习模型的顶层策略模块，从多个预设的底层策略模块中确定与所述目标环境状态相匹配的目标底层策略模块。
车辆操作单元740被配置为调用所述目标底层策略模块从所述目标环境状态所对应的状态动作集中确定目标状态动作，并控制所述车辆执行与所述目标状态动作相应的车辆控制操作，以保持车辆在车道驾驶。
需要说明的是，上述装置/模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
图8是本申请实施例的电子设备的一示例的示意图。如图8所示，该实施例的电子设备800包括：处理器810、存储器820以及存储在所述存储器820中并可在所述处理器810上运行的计算机程序830。所述处理器810执行所述计算机程序830时实现上述自动驾驶控制方法实施例中的步骤，例如图2所示的步骤210至240。或者，所述处理器810执行所述计算机程序830时实现上述各装置实施例中各模块/单元的功能，例如图7所示单元710至740的功能。
示例性的，所述计算机程序830可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器820中，并由所述处理器810执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序830在所述电子设备800中的执行过程。例如，所述计算机程序830可以被分割成获取程序模块、状态确定程序模块、策略确定程序模块和车辆操作程序模块，各程序模块具体功能如下：
获取程序模块，被配置为获取车辆传感参数；其中，所述车辆传感参数包括车辆速度、轮胎转速、发动机转速、车辆相对于道路中线的距离、车辆与道路的夹角以及车辆与检测范围内的障碍物之间的距离；
状态确定程序模块，被配置为在强化学习模型所对应的环境状态集中，确定与所述车辆传感参数匹配的目标环境状态；
策略确定程序模块，被配置为调用所述强化学习模型的顶层策略模块，从多个预设的底层策略模块中确定与所述目标环境状态相匹配的目标底层策略模块；
车辆操作程序模块，被配置为调用所述目标底层策略模块从所述目标环境状态所对应的状态动作集中确定目标状态动作，并控制所述车辆执行与所述目标状态动作相应的车辆控制操作，以保持车辆在车道驾驶。
所述电子设备800可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备可包括，但不仅限于，处理器810、存储器820。本领域技术人员可以理解，图8仅是电子设备800的示例，并不构成对电子设备800的限定，可以包括比图示更多或少的部件，或组合某些部件，或不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器810可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器820可以是所述电子设备800的内部存储单元，例如电子设备800的硬盘或内存。所述存储器820也可以是所述电子设备800的外部存储设备，例如所述电子设备800上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器820还可以既包括所述电子设备800的内部存储单元也包括外部存储设备。所述存储器820用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述存储器820还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述单元既可以采用硬件的形式实现，也可以采用软件的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种自动驾驶控制方法，其特征在于，包括：
获取车辆传感参数；其中，所述车辆传感参数包括车辆速度、轮胎转速、发动机转速、车辆相对于道路中线的距离、车辆与道路的夹角以及车辆与检测范围内的障碍物之间的距离；
在强化学习模型所对应的环境状态集中，确定与所述车辆传感参数匹配的目标环境状态；
调用所述强化学习模型的顶层策略模块，从多个预设的底层策略模块中确定与所述目标环境状态相匹配的目标底层策略模块；
调用所述目标底层策略模块从所述目标环境状态所对应的状态动作集中确定目标状态动作，并控制所述车辆执行与所述目标状态动作相应的车辆控制操作，以保持车辆在车道驾驶。
2.如权利要求1所述的方法，其特征在于，所述顶层策略模块的步长时间尺度大于所述底层策略模块的步长时间尺度。
3.如权利要求1所述的方法，其特征在于，各个所述底层策略模块之间共享所述强化学习模型的强化训练样本集；其中，所述强化训练样本集中的每一训练样本均包括车辆传感参数、车辆控制操作信息和相应的奖赏。
4.如权利要求3所述的方法，其特征在于，所述强化训练样本集包含多个强化训练样本子集，并且每一所述强化训练样本子集分别具有唯一对应的道路环境场景。
5.如权利要求1或3所述的方法，其特征在于，所述顶层策略模块和所述底层策略模块是在所述强化学习模型中交替地进行训练的。
6.如权利要求5所述的方法，其特征在于，在进行针对所述强化学习模型的训练操作之前，每一所述底层策略模块分别利用各自的先验训练样本子集预先进行优化；其中，所述先验训练样本子集中的每一训练样本均包括车辆传感参数和相应的车辆控制操作信息。
7.如权利要求6所述的方法，其特征在于，每一所述先验训练样本子集分别具有唯一对应的车辆控制操作类型。
8.一种自动驾驶控制装置，其特征在于，包括：
获取单元，被配置为获取车辆传感参数；其中，所述车辆传感参数包括车辆速度、轮胎转速、发动机转速、车辆相对于道路中线的距离、车辆与道路的夹角以及车辆与检测范围内的障碍物之间的距离；
状态确定单元，被配置为在强化学习模型所对应的环境状态集中，确定与所述车辆传感参数匹配的目标环境状态；
策略确定单元，被配置为调用所述强化学习模型的顶层策略模块，从多个预设的底层策略模块中确定与所述目标环境状态相匹配的目标底层策略模块；
车辆操作单元，被配置为调用所述目标底层策略模块从所述目标环境状态所对应的状态动作集中确定目标状态动作，并控制所述车辆执行与所述目标状态动作相应的车辆控制操作，以保持车辆在车道驾驶。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如如权利要求1-7中任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述方法的步骤。
CN202110428405.5A 2021-04-21 2021-04-21 自动驾驶控制方法及装置 Active CN113219968B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110428405.5A CN113219968B (zh) 2021-04-21 2021-04-21 自动驾驶控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110428405.5A CN113219968B (zh) 2021-04-21 2021-04-21 自动驾驶控制方法及装置

Publications (2)

Publication Number Publication Date
CN113219968A true CN113219968A (zh) 2021-08-06
CN113219968B CN113219968B (zh) 2024-04-16

Family

ID=77088375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110428405.5A Active CN113219968B (zh) 2021-04-21 2021-04-21 自动驾驶控制方法及装置

Country Status (1)

Country Link
CN (1) CN113219968B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023083113A1 (en) * 2021-11-10 2023-05-19 International Business Machines Corporation Reinforcement learning with inductive logic programming

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110304045A (zh) * 2019-06-25 2019-10-08 中国科学院自动化研究所 智能驾驶横向换道决策方法、系统和装置
CN110647839A (zh) * 2019-09-18 2020-01-03 深圳信息职业技术学院 自动驾驶策略的生成方法、装置及计算机可读存储介质
CN111605565A (zh) * 2020-05-08 2020-09-01 昆山小眼探索信息科技有限公司 基于深度强化学习的自动驾驶行为决策方法
CN111845741A (zh) * 2020-06-28 2020-10-30 江苏大学 一种基于分层强化学习的自动驾驶决策控制方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110304045A (zh) * 2019-06-25 2019-10-08 中国科学院自动化研究所 智能驾驶横向换道决策方法、系统和装置
CN110647839A (zh) * 2019-09-18 2020-01-03 深圳信息职业技术学院 自动驾驶策略的生成方法、装置及计算机可读存储介质
CN111605565A (zh) * 2020-05-08 2020-09-01 昆山小眼探索信息科技有限公司 基于深度强化学习的自动驾驶行为决策方法
CN111845741A (zh) * 2020-06-28 2020-10-30 江苏大学 一种基于分层强化学习的自动驾驶决策控制方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赖俊 等: "分层强化学习综述" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023083113A1 (en) * 2021-11-10 2023-05-19 International Business Machines Corporation Reinforcement learning with inductive logic programming

Also Published As

Publication number Publication date
CN113219968B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
KR102335389B1 (ko) 자율 주행 차량의 lidar 위치 추정을 위한 심층 학습 기반 특징 추출
JP7060625B2 (ja) 自動運転車において３ｄｃｎｎネットワークを用いてソリューション推断を行うｌｉｄａｒ測位
CN106874597B (zh) 一种应用于自动驾驶车辆的高速公路超车行为决策方法
KR102350181B1 (ko) 자율 주행 차량에서 rnn 및 lstm을 사용하여 시간적 평활화를 수행하는 lidar 위치 추정
WO2021238303A1 (zh) 运动规划的方法与装置
US11132211B1 (en) Neural finite state machines
CN114845842A (zh) 触觉抓取策略的强化学习
CN108027243A (zh) 用于操作自动驾驶车辆的控制误差校正规划方法
CN110276345B (zh) 卷积神经网络模型训练方法、装置和计算机可读存储介质
US20230419113A1 (en) Attention-based deep reinforcement learning for autonomous agents
TW201921997A (zh) 行動設備的功率狀態控制
CN111553242B (zh) 用于预测驾驶行为的生成对抗网络的训练方法和电子设备
CN113219968B (zh) 自动驾驶控制方法及装置
JP7391125B2 (ja) 自動運転特徴の特定方法、装置、設備、媒体及びコンピュータプログラム
CN113619604B (zh) 自动驾驶汽车的集成式决控方法、装置及存储介质
CN116710974A (zh) 在合成数据系统和应用程序中使用域对抗学习的域适应
CN113799799A (zh) 一种安全补偿方法、装置、存储介质及电子设备
Dovgan et al. Optimization of End-to-End Deep Learning for Obtaining Human-Like Driving Models
Lam et al. Hardware-Based Lane Detection System Architecture for Autonomous Vehicles
CN111013147B (zh) 双轮载具的效果渲染方法、装置、存储介质及电子设备
Zhou Intelligent control and applications for robotics, volume II
Qiang et al. Random Prior Network for Autonomous Driving Decision-Making Based on Reinforcement Learning
JP2023526704A (ja) 車両制御方法、装置及び車両
Fang et al. A Deep Reinforcement Learning Method for Self-driving
CN116185030A (zh) 车辆的控制方法、装置、车辆及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant