CN114527737A - 用于自动驾驶的速度规划方法、装置、设备、介质和车辆 - Google Patents

用于自动驾驶的速度规划方法、装置、设备、介质和车辆 Download PDF

Info

Publication number
CN114527737A
CN114527737A CN202011231666.XA CN202011231666A CN114527737A CN 114527737 A CN114527737 A CN 114527737A CN 202011231666 A CN202011231666 A CN 202011231666A CN 114527737 A CN114527737 A CN 114527737A
Authority
CN
China
Prior art keywords
state
action
grid
interpolation
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011231666.XA
Other languages
English (en)
Inventor
秦文闯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Century Huayao Technology Co ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Priority to CN202011231666.XA priority Critical patent/CN114527737A/zh
Priority to EP21187624.8A priority patent/EP3896624A3/en
Priority to KR1020210098514A priority patent/KR102566603B1/ko
Priority to US17/393,794 priority patent/US11318938B2/en
Priority to JP2021164470A priority patent/JP7372296B2/ja
Publication of CN114527737A publication Critical patent/CN114527737A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/143—Speed control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/107—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0026—Lookup tables or parameter maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • B60W2530/10—Weight
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • B60W2530/18—Distance travelled
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B60W2720/106—Longitudinal acceleration

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本申请公开了一种用于自动驾驶的速度规划方法、装置、设备和介质，涉及自动驾驶和深度学习等人工智能技术。具体实现方案为：获取车辆的当前状态，所述当前状态至少包括剩余行驶距离和当前速度；根据所述当前状态和预先确定的状态表，对动作进行插值，得到所述当前状态的目标动作，其中，所述状态表是基于强化学习方法确定，包括多个状态和每个状态下执行的动作，所述动作至少包括加速度。本申请采用查表的方式替代神经网络，先离线确定状态表，然后通过在线查询的方式即可确定当前状态的目标动作，因此，在不占用大量计算资源的前提下，能够确保得到速度规划的全程最优解。

Description

用于自动驾驶的速度规划方法、装置、设备、介质和车辆
技术领域
本申请涉及人工智能技术领域，尤其涉及自动驾驶和深度学习技术，具体涉及一种用于自动驾驶的速度规划方法、装置、设备、介质和车辆。
背景技术
在自动驾驶领域，需要对自动驾驶车辆进行速度规划。现有技术中的速度规划算法通常分为单时刻控制和多时刻规划两种。
其中，单时刻控制是指根据当前时刻的距离和速度信息，计算需要达到的期望速度，但该方法无法保证速度的全程最优，存在终点附近刹车过猛等潜在风险；多时刻规划方法则需要使用优化算法或者在线筛选轨迹等算法，然而这些算法的计算量大，存在计算时间被限制的情况，同样会导致无法保证得到速度的全局最优解。
发明内容
本申请提供一种用于自动驾驶的速度规划方法、装置、设备、介质和车辆，以在不占用大量计算资源的前提下，保证得到速度规划的全局最优解。
第一方面，本申请提供了一种用于自动驾驶的速度规划方法，包括：
获取车辆的当前状态，所述当前状态至少包括剩余行驶距离和当前速度；
根据所述当前状态和预先确定的状态表，对动作进行插值，得到所述当前状态的目标动作，其中，所述状态表是基于强化学习方法确定，包括多个状态和每个状态下执行的动作，所述动作至少包括加速度。
第二方面，本申请还提供了一种用于自动驾驶的速度规划装置，包括：
状态获取模块，用于获取车辆的当前状态，所述当前状态至少包括剩余行驶距离和当前速度；
插值模块，用于根据所述当前状态和预先确定的状态表，对动作进行插值，得到所述当前状态的目标动作，其中，所述状态表是基于强化学习方法确定，包括多个状态和每个状态下执行的动作，所述动作至少包括加速度。
第三方面，本申请还提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任意实施例所述的用于自动驾驶的速度规划方法。
第四方面，本申请还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请任意实施例所述的用于自动驾驶的速度规划方法。
第五方面，本申请还提供了一种车辆，包括车体，所述车体上设置有本申请任意实施例所述的电子设备。
根据本申请的技术方案，采用查表的方式替代神经网络，先基于强化学习方法离线确定状态表，然后通过在线查询的方式即可确定当前状态的目标动作，因此，在不占用大量计算资源的前提下，能够确保得到速度规划的全程最优解。
应当理解，本部分所描述的内容并非旨在标识本申请的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解，上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请实施例的用于自动驾驶的速度规划方法的流程示意图；
图2是根据本申请实施例的用于自动驾驶的速度规划方法的流程示意图；
图3是根据本申请实施例的用于自动驾驶的速度规划装置的结构示意图；
图4是用来实现本申请实施例的用于自动驾驶的速度规划方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本申请实施例的用于自动驾驶的速度规划方法的流程示意图，本实施例可适用于为自动驾驶设备提供速度规划的情况，例如规划行进的加速度，涉及自动驾驶和深度学习等人工智能技术。该方法可由一种用于自动驾驶的速度规划装置来执行，该装置采用软件和/或硬件的方式实现，优选是配置于电子设备中，例如计算机设备等。如图1所示，该方法具体包括如下：
S101、获取车辆的当前状态，所述当前状态至少包括剩余行驶距离和当前速度。
自动驾驶的速度规划通常可以是指对加速度的规划，当进行加速度规划时，需要依据车辆的当前状态，也即剩余行驶距离和当前速度，从全局规划的角度来讲，不同的状态对应的速度规划也不相同。
其中，剩余行驶距离可以是自动驾驶车辆行驶至前方定点(目的地)的距离，此时状态中的速度是绝对速度，即自动驾驶车辆当前的行驶速度。此外，在对自动驾驶车辆前方障碍物进行感知的基础上，剩余行驶距离也可以是与前方障碍物之间的相对距离，当前方障碍物也是行驶中的车辆时，此时状态中的速度则是相对速度，即针对前方出现的障碍物车辆，自动驾驶车辆与该障碍物车辆之间的相对速度。因此，根据具体应用场景的不同，可以灵活确定自动驾驶车辆的当前状态。
此外，状态中还可以包括道路的坡度这一维度，根据剩余行驶距离、当前速度和坡度共同来进行后续的查表，以适用于具有坡度的路面，使得在具有坡度的路面上也能实现精确的速度规划。当然，根据应用场景的不同，在更加复杂的路况上行驶时，还可以根据实际情况在状态中增加其他的维度，对此，本申请实施例不做任何限定。
S102、根据当前状态和预先确定的状态表，对动作进行插值，得到当前状态的目标动作，其中，状态表是基于强化学习方法确定，包括多个状态和每个状态下执行的动作，动作至少包括加速度。
具体的，状态表可以是预先离线确定的，这样，线上进行实时的速度规划时，就可以避免占用过多的计算资源。状态表中包括多个状态和每个状态下执行的动作，也就是说，基于强化学习的方法，先确定出全局规划中不同状态下执行的最优动作，并形成状态表，该动作可以包括加速度，那么线上就可以实时通过查表的方式来确定当前状态下该选择的最优动作。
需要说明的是，由于实际场景中的状态是连续的，而离线确定的状态表中各个状态是离散的，因此，还需要通过插值的手段来确定目标动作。具体而言，可以是先通过查表，确定当前状态在状态表中的位置，然后确定当前状态的临近状态所对应的动作，最后通过对这些动作进行插值来确定当前状态对应的目标动作。
由此，本申请实施例替代了传统的神经网络，基于强化学习的方法离线计算出状态表，在线通过查表进行速度规划，这不仅降低了计算资源，而且避免了因神经网络训练不全而导致对预测结果无法预期的问题。同时，由于状态表是可见的，在实际应用中可解释性较强，便于技术人员随时进行修正，其可控性和可设计性都比较强，适用范围更广。
本申请实施例的技术方案，先基于强化学习方法离线确定全局规划的状态表，采用查表的方式替代传统方法中的神经网络，然后通过在线查表并对动作进行插值的方式即可确定当前状态的目标动作，因此，既不会占用过多的计算资源，也能够确保得到速度规划的全程最优解，同时还保证了可解释性，并且可量产化。
图2是根据本申请实施例的用于自动驾驶的速度规划方法的流程示意图，本实施例在上述实施例的基础上进一步进行优化。如图2所示，该方法具体包括如下：
S201、基于离散化的状态创建状态网格，其中，所述状态网格中包括多个子网格，每个子网格的顶点表示一种状态。
具体的，预先获取距离边界和速度边界，然后在该边界构成的距离区间和速度区间内，分别对距离和速度进行离散化，由这些离散化的距离和速度构成多个离散化的状态，然后由这些离散化的状态构成状态网格。例如，横轴表示距离，纵轴表示速度，离散化后，根据横轴和纵轴上的离散化的点就可以构成一个网格，网格内的每一个点都可以表示一种状态，每相邻的四个点就可以构成一个子网格。
另外，在实际使用中，为了算法计算的便利性，可以将状态网格处理成二维状态矩阵，一个维度是距离，另一个维度是速度。
S202、基于离散化的动作，对状态网格中的状态进行插值，得到状态插值信息，其中，所述状态插值信息表示对状态网格中的状态施加动作后得到的下一个状态。
具体的，同样可以预先获取动作边界，在该动作边界对应的动作区间内对动作进行离散化，得到多个离散化的动作。然后，对状态网格中的每一个离散状态分别施加所有离散动作，那么针对所施加的每一个离散动作，都可以得到状态网格中所有状态的下一个状态，该下一个状态则是通过对状态网格中的状态进行插值并确定状态插值信息的方式记录下来，因此，状态插值信息就可以表示对状态网格中的状态施加动作后得到的下一个状态，而且施加每个离散动作后都相应记录有状态插值信息。而对初始的离散化的状态网格进行插值，可以得到更加连续的状态，后续在此基础上再进行值迭代算法确定最优动作，则可以保证规划的动作的连续性，继而确保速度规划的准确性。
在一种实施方式中，可以基于离散化的动作，对状态网格中的状态进行重心插值，得到状态插值信息。而重心插值不需要计算插值多项式，计算复杂度低，而且插值精度高，能够保证插值的连续性。例如，施加某动作后得到的下一个状态，通常会落在状态网格内或状态网格上，也就是状态网格中的子网格内或子网格上，而一个子网格有四个顶点，那么基于重心插值，可以选择左上角三个顶点，按照这三个顶点的状态进行重心插值，得到下一个状态的状态插值信息，并且可以将这三个顶点的状态在全部状态中的索引和该下一个状态的点与这三个顶点之间的位置关系，记录在状态插值信息中。
S203、利用值迭代算法，根据预先设置的优化目标对应的目标代价函数，基于状态网格中的状态以及状态插值信息所表示的状态进行值迭代，确定状态网格中各状态对应的规划动作。
其中，值迭代的优化目标是指通过迭代得到状态网格中离散状态所对应的最优动作。目标代价函数包括状态代价函数和动作代价函数，例如可以将二者进行加权求和，得到最终的目标代价函数。而且，代价函数的设置不局限于二次，可以是高次或tanh等非线性的代价函数。
整体上，迭代过程中，对每一离散状态s(n)施加所有离散动作a(n)，得到所有状态的下一状态s(n+1)，并根据目标代价函数计算出下一状态的评价值，然后通过迭代，在所有评价值中选择最优值(例如最大值)所对应的动作a(n+1)，并使用a(n+1)替换更新a(n)。如果两次迭代中评价值相差小于1e-6，则认为得到最优的评价值及对应的动作。关于值迭代的具体算法和过程，此处不再详细赘述。
S204、将状态网格中的各状态及其对应的规划动作，作为状态表。
通过值迭代算法，可以得到全局规划的动作，也就是状态网格中每个状态下执行的最优动作。
S205、获取车辆的当前状态，所述当前状态至少包括剩余行驶距离和当前速度。
S206、在预先确定的状态表中确定当前状态所属的状态范围。
S207、对状态范围内各状态对应的动作进行重心插值，得到当前状态的目标动作。
由于状态表中的状态和动作是离散的，而实际应用中的状态是连续的，因此，需要对动作进行插值才能够确定每一个实时的状态对应的目标动作。具体的，可以通过查表确定当前状态在状态表中的位置，例如，确定当前状态落在状态表中的哪一个子网格，依据该子网格的四个顶点即可确定当前状态所属的状态范围。然后，根据当前状态在该子网格中的位置以及该子网格中左上角三个顶点状态对应的动作，对动作进行重心插值，即可得到当前状态下最优的目标动作。
本申请实施例的技术方案，摒弃了传统的基于网络模型的强化学习方法，采用查表的方式替代神经网络，离线计算出状态表，在线通过查表方式即可进行速度规划，因此，实现了在不占用大量计算资源的前提下，确保得到速度规划的全程最优解，同时还保证了可解释性，并且可量产化。此外，在执行值迭代算法时，将初始的状态网格进行插值，得到更加连续的状态，在此基础上再进行值迭代算法确定最优动作，则可以保证规划的动作的连续性，确保速度规划的准确性。
图3是根据本申请实施例的用于自动驾驶的速度规划装置的结构示意图，本实施例可适用于为自动驾驶设备提供速度规划的情况，例如规划行进的加速度，涉及自动驾驶和深度学习等人工智能技术。该装置可实现本申请任意实施例所述的用于自动驾驶的速度规划方法。如图3所示，该装置300具体包括：
状态获取模块301，用于获取车辆的当前状态，所述当前状态至少包括剩余行驶距离和当前速度；
插值模块302，用于根据所述当前状态和预先确定的状态表，对动作进行插值，得到所述当前状态的目标动作，其中，所述状态表是基于强化学习方法确定，包括多个状态和每个状态下执行的动作，所述动作至少包括加速度。
可选的，所述装置还包括状态表确定模块，该状态表确定模块具体包括：
状态网格创建单元，用于基于离散化的状态创建状态网格，其中，所述状态网格中包括多个子网格，每个子网格的顶点表示一种状态；
状态插值单元，用于基于离散化的动作，对所述状态网格中的状态进行插值，得到状态插值信息，其中，所述状态插值信息表示对所述状态网格中的状态施加动作后得到的下一个状态；
值迭代单元，用于利用值迭代算法，根据预先设置的优化目标对应的目标代价函数，基于所述状态网格中的状态以及所述状态插值信息所表示的状态进行值迭代，确定所述状态网格中各状态对应的规划动作；
状态表确定单元，用于将所述状态网格中的各状态及其对应的规划动作，作为所述状态表。
可选的，所述状态插值单元具体用于：
基于离散化的动作，对所述状态网格中的状态进行重心插值，得到状态插值信息。
可选的，所述目标代价函数包括状态代价函数和动作代价函数。
可选的，所述插值模块302包括：
查表单元，用于在预先确定的状态表中确定所述当前状态所属的状态范围；
动作插值单元，用于对所述状态范围内各状态对应的动作进行重心插值，得到所述当前状态的目标动作。
本申请实施例提供的用于自动驾驶的速度规划装置300可执行本申请任意实施例提供的用于自动驾驶的速度规划方法，具备执行方法相应的功能模块和有益效果。本实施例中未详尽描述的内容可以参考本申请任意方法实施例中的描述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图4所示，是根据本申请实施例的用于自动驾驶的速度规划方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图4所示，该电子设备包括：一个或多个处理器401、存储器402，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图4中以一个处理器401为例。
存储器402即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的用于自动驾驶的速度规划方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的用于自动驾驶的速度规划方法。
存储器402作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的用于自动驾驶的速度规划方法对应的程序指令/模块(例如，附图3所示的状态获取模块301和插值模块302)。处理器401通过运行存储在存储器402中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的用于自动驾驶的速度规划方法。
存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据实现本申请实施例的用于自动驾驶的速度规划方法的电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至实现本申请实施例的用于自动驾驶的速度规划方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现本申请实施例的用于自动驾驶的速度规划方法的电子设备还可以包括：输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接，图4中以通过总线连接为例。
输入装置403可接收输入的数字或字符信息，以及产生与实现本申请实施例的用于自动驾驶的速度规划方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置404可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
此外，本申请实施例还提供了一种车辆，例如自动驾驶车辆，包括车体，其中，所述车体上设置有本申请任意实施例所述的电子设备。通过该电子设备，本申请实施例的自动驾驶车辆可以按照本申请实施例的速度规划方法进行速度规划，例如，在执行点对点行驶任务中进行全局速度规划。此外，车体上还可设置用于车辆感知的任意一种或多种传感器和感知模块，通过对周围环境和障碍物的感知，结合本申请实施例的速度规划方法进行全局速度规划，实现自动驾驶车辆的安全驾驶。
根据本申请实施例的技术方案，摒弃了传统的基于网络模型的强化学习方法，采用查表的方式替代神经网络，离线计算出状态表，在线通过查表方式即可进行速度规划，因此，实现了在不占用大量计算资源的前提下，确保得到速度规划的全程最优解，同时还保证了可解释性，并且可量产化。此外，在执行值迭代算法时，将初始的状态网格进行插值，得到更加连续的状态，在此基础上再进行值迭代算法确定最优动作，则可以保证规划的动作的连续性，确保速度规划的准确性。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (13)

1.一种用于自动驾驶的速度规划方法，包括：
获取车辆的当前状态，所述当前状态至少包括剩余行驶距离和当前速度；
根据所述当前状态和预先确定的状态表，对动作进行插值，得到所述当前状态的目标动作，其中，所述状态表是基于强化学习方法确定，包括多个状态和每个状态下执行的动作，所述动作至少包括加速度。
2.根据权利要求1所述的方法，其中，所述状态表的确定方法包括：
基于离散化的状态创建状态网格，其中，所述状态网格中包括多个子网格，每个子网格的顶点表示一种状态；
基于离散化的动作，对所述状态网格中的状态进行插值，得到状态插值信息，其中，所述状态插值信息表示对所述状态网格中的状态施加动作后得到的下一个状态；
利用值迭代算法，根据预先设置的优化目标对应的目标代价函数，基于所述状态网格中的状态以及所述状态插值信息所表示的状态进行值迭代，确定所述状态网格中各状态对应的规划动作；
将所述状态网格中的各状态及其对应的规划动作，作为所述状态表。
3.根据权利要求2所述的方法，其中，所述基于离散化的动作，对所述状态网格中的状态进行插值，得到状态插值信息，包括：
基于离散化的动作，对所述状态网格中的状态进行重心插值，得到状态插值信息。
4.根据权利要求2所述的方法，其中，所述目标代价函数包括状态代价函数和动作代价函数。
5.根据权利要求1所述的方法，其中，所述根据所述当前状态和预先确定的状态表，对动作进行插值，得到所述当前状态的目标动作，包括：
在预先确定的状态表中确定所述当前状态所属的状态范围；
对所述状态范围内各状态对应的动作进行重心插值，得到所述当前状态的目标动作。
6.一种用于自动驾驶的速度规划装置，包括：
状态获取模块，用于获取车辆的当前状态，所述当前状态至少包括剩余行驶距离和当前速度；
插值模块，用于根据所述当前状态和预先确定的状态表，对动作进行插值，得到所述当前状态的目标动作，其中，所述状态表是基于强化学习方法确定，包括多个状态和每个状态下执行的动作，所述动作至少包括加速度。
7.根据权利要求6所述的装置，还包括状态表确定模块，该状态表确定模块具体包括：
状态网格创建单元，用于基于离散化的状态创建状态网格，其中，所述状态网格中包括多个子网格，每个子网格的顶点表示一种状态；
状态插值单元，用于基于离散化的动作，对所述状态网格中的状态进行插值，得到状态插值信息，其中，所述状态插值信息表示对所述状态网格中的状态施加动作后得到的下一个状态；
值迭代单元，用于利用值迭代算法，根据预先设置的优化目标对应的目标代价函数，基于所述状态网格中的状态以及所述状态插值信息所表示的状态进行值迭代，确定所述状态网格中各状态对应的规划动作；
状态表确定单元，用于将所述状态网格中的各状态及其对应的规划动作，作为所述状态表。
8.根据权利要求7所述的装置，其中，所述状态插值单元具体用于：
基于离散化的动作，对所述状态网格中的状态进行重心插值，得到状态插值信息。
9.根据权利要求7所述的装置，其中，所述目标代价函数包括状态代价函数和动作代价函数。
10.根据权利要求6所述的装置，其中，所述插值模块包括：
查表单元，用于在预先确定的状态表中确定所述当前状态所属的状态范围；
动作插值单元，用于对所述状态范围内各状态对应的动作进行重心插值，得到所述当前状态的目标动作。
11.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的用于自动驾驶的速度规划方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行权利要求1-5中任一项所述的用于自动驾驶的速度规划方法。
13.一种车辆，包括车体，其中，所述车体上设置有如权利要求11所述的电子设备。
CN202011231666.XA 2020-11-06 2020-11-06 用于自动驾驶的速度规划方法、装置、设备、介质和车辆 Pending CN114527737A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202011231666.XA CN114527737A (zh) 2020-11-06 2020-11-06 用于自动驾驶的速度规划方法、装置、设备、介质和车辆
EP21187624.8A EP3896624A3 (en) 2020-11-06 2021-07-26 Speed planning method and apparatus for self-driving, device, medium and vehicle
KR1020210098514A KR102566603B1 (ko) 2020-11-06 2021-07-27 자율 주행을 위한 속도 계획 방법, 장치, 설비, 매체 및 차량
US17/393,794 US11318938B2 (en) 2020-11-06 2021-08-04 Speed planning method and apparatus for self-driving, device, medium and vehicle
JP2021164470A JP7372296B2 (ja) 2020-11-06 2021-10-06 自動運転のための速度計画方法、装置、デバイス、媒体及び車両

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011231666.XA CN114527737A (zh) 2020-11-06 2020-11-06 用于自动驾驶的速度规划方法、装置、设备、介质和车辆

Publications (1)

Publication Number Publication Date
CN114527737A true CN114527737A (zh) 2022-05-24

Family

ID=77050886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011231666.XA Pending CN114527737A (zh) 2020-11-06 2020-11-06 用于自动驾驶的速度规划方法、装置、设备、介质和车辆

Country Status (5)

Country Link
US (1) US11318938B2 (zh)
EP (1) EP3896624A3 (zh)
JP (1) JP7372296B2 (zh)
KR (1) KR102566603B1 (zh)
CN (1) CN114527737A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113511222B (zh) * 2021-08-27 2023-09-26 清华大学 场景自适应式车辆交互行为决策与预测方法及装置
CN113715845A (zh) * 2021-09-07 2021-11-30 北京百度网讯科技有限公司 一种自动驾驶方法、装置及电子设备
CN113946155B (zh) * 2021-12-20 2022-04-05 深圳佑驾创新科技有限公司 一种自动驾驶速度规划方法、装置及存储介质
KR102461362B1 (ko) * 2021-12-28 2022-11-01 한국교통연구원 강화학습 기반의 교통 예측을 통해 경로 안내 데이터를 생성하는 관제 서버
CN114355948A (zh) * 2022-01-11 2022-04-15 大连海事大学 一种栅格图下的基于混合算法的无人船路径规划方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140309837A1 (en) * 2013-04-11 2014-10-16 Hyundai Mobis Co., Ltd. Automatic driving control system
CN108009587A (zh) * 2017-12-01 2018-05-08 驭势科技（北京）有限公司 一种基于强化学习和规则确定驾驶策略的方法与设备
US20180373245A1 (en) * 2017-06-21 2018-12-27 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous operation for an autonomous vehicle objective in a multi-vehicle environment
CN110466531A (zh) * 2019-08-30 2019-11-19 广州小鹏汽车科技有限公司 一种车辆的行驶控制方法、系统及车辆
CN110488861A (zh) * 2019-07-30 2019-11-22 北京邮电大学 基于深度强化学习的无人机轨迹优化方法、装置和无人机
CN110686906A (zh) * 2019-10-09 2020-01-14 清华大学 车辆自动驾驶测试方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8527121B2 (en) 2010-06-04 2013-09-03 GM Global Technology Operations LLC Method and system for calculating and displaying travel range information
ES2833674T3 (es) 2016-06-08 2021-06-15 Uisee Tech Beijing Ltd Método y aparato de planificación de velocidad y aparato de cálculo para la conducción automática de un vehículo
WO2018132608A2 (en) 2017-01-12 2018-07-19 Mobileye Vision Technologies Ltd. Navigation based on occlusion zones
WO2018211140A1 (en) 2017-05-19 2018-11-22 Deepmind Technologies Limited Data efficient imitation of diverse behaviors
US10816977B2 (en) 2018-01-26 2020-10-27 Baidu Usa Llc Path and speed optimization fallback mechanism for autonomous vehicles
WO2019167457A1 (ja) 2018-02-28 2019-09-06 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び移動体
US11231717B2 (en) 2018-11-08 2022-01-25 Baidu Usa Llc Auto-tuning motion planning system for autonomous vehicles
CN109712063B (zh) 2018-12-12 2023-03-14 中国航空工业集团公司西安航空计算技术研究所 一种图形处理器平面剪裁电路
CN109782766B (zh) * 2019-01-25 2023-01-03 北京百度网讯科技有限公司 用于控制车辆行驶的方法和装置
CN111845701B (zh) 2020-08-05 2021-03-30 重庆大学 一种跟车环境下基于深度强化学习的hev能量管理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140309837A1 (en) * 2013-04-11 2014-10-16 Hyundai Mobis Co., Ltd. Automatic driving control system
US20180373245A1 (en) * 2017-06-21 2018-12-27 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous operation for an autonomous vehicle objective in a multi-vehicle environment
CN108009587A (zh) * 2017-12-01 2018-05-08 驭势科技（北京）有限公司 一种基于强化学习和规则确定驾驶策略的方法与设备
CN110488861A (zh) * 2019-07-30 2019-11-22 北京邮电大学 基于深度强化学习的无人机轨迹优化方法、装置和无人机
CN110466531A (zh) * 2019-08-30 2019-11-19 广州小鹏汽车科技有限公司 一种车辆的行驶控制方法、系统及车辆
CN110686906A (zh) * 2019-10-09 2020-01-14 清华大学 车辆自动驾驶测试方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张浩杰;苏治宝;苏波;: "基于深度Q网络学习的机器人端到端控制方法", 仪器仪表学报, no. 10, 15 October 2018 (2018-10-15), pages 39 - 46 *
李国法 等: "智能汽车决策中的驾驶行为语义解析关键技术", 汽车安全与节能学报, vol. 10, no. 4, pages 391 - 412 *
汪波 等: "基于改进Q学习算法的储能系统实时优化决策研究", 电气技术, vol. 19, no. 2, pages 54 - 60 *

Also Published As

Publication number Publication date
US20210362714A1 (en) 2021-11-25
EP3896624A2 (en) 2021-10-20
EP3896624A3 (en) 2022-03-16
JP2022075526A (ja) 2022-05-18
US11318938B2 (en) 2022-05-03
JP7372296B2 (ja) 2023-10-31
KR102566603B1 (ko) 2023-08-14
KR20210101172A (ko) 2021-08-18

Similar Documents

Publication Publication Date Title
CN114527737A (zh) 用于自动驾驶的速度规划方法、装置、设备、介质和车辆
CN111231950B (zh) 规划车辆变道路径的方法、装置、设备及可读存储介质
JP7258078B2 (ja) 実景ナビゲーションアイコン表示方法、装置、機器及び媒体
CN111931286B (zh) 纵向动力学模型的训练方法、装置及设备
EP3932763A1 (en) Method and apparatus for generating route planning model, and device
CN110555061B (zh) 轨迹相似度确定方法和装置
CN111216738B (zh) 自动驾驶中车辆的控制方法、装置、电子设备及车辆
CN110879395B (zh) 障碍物位置预测方法、装置和电子设备
CN111767360B (zh) 路口虚拟车道标注的方法及装置
CN111625950A (zh) 自动驾驶仿真场景重建方法、装置、设备和介质
CN110794844B (zh) 自动驾驶方法、装置、电子设备及可读存储介质
CN113934205B (zh) 用于控制引导机器人的方法、装置、设备以及存储介质
CN111693059B (zh) 环岛的导航方法、装置、设备及存储介质
CN112859829B (zh) 一种车辆控制方法、装置、电子设备和介质
JP7274515B2 (ja) センサーソリューション決定方法、装置、機器及び記憶媒体
CN112880674A (zh) 一种行驶设备的定位方法、装置、设备及存储介质
CN111739005A (zh) 图像检测方法、装置、电子设备及存储介质
CN112529890A (zh) 用于处理轨迹的方法、装置、路侧设备以及云控平台
CN112578788A (zh) 车辆避障二次规划方法、装置、设备和可读存储介质
CN114506343A (zh) 轨迹规划方法、装置、设备、存储介质及自动驾驶车辆
CN111597287A (zh) 地图生成方法、装置及设备
CN114386599A (zh) 训练轨迹预测模型和轨迹规划的方法和装置
CN112528932A (zh) 用于优化位置信息的方法、装置、路侧设备和云控平台
CN111767844A (zh) 用于三维建模的方法和装置
CN112306091A (zh) 一种三维轨迹规划方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40065953

Country of ref document: HK

TA01 Transfer of patent application right

Effective date of registration: 20240329

Address after: 510000 No. 106 Fengze East Road, Nansha District, Guangzhou City, Guangdong Province

Applicant after: Guangzhou dinghang Information Technology Service Co.,Ltd.

Country or region after: China

Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing

Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

Country or region before: China

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240625

Address after: 727000, 3rd Floor, Jinyang New City Entrepreneurship Building, Yaozhou District, Tongchuan City, Shaanxi Province

Applicant after: Shaanxi Century Huayao Technology Co.,Ltd.

Country or region after: China

Address before: 510000 No. 106 Fengze East Road, Nansha District, Guangzhou City, Guangdong Province

Applicant before: Guangzhou dinghang Information Technology Service Co.,Ltd.

Country or region before: China