CN111123957B - 一种轨迹规划的方法及装置 - Google Patents
一种轨迹规划的方法及装置 Download PDFInfo
- Publication number
- CN111123957B CN111123957B CN202010239165.XA CN202010239165A CN111123957B CN 111123957 B CN111123957 B CN 111123957B CN 202010239165 A CN202010239165 A CN 202010239165A CN 111123957 B CN111123957 B CN 111123957B
- Authority
- CN
- China
- Prior art keywords
- planning
- state information
- action
- decision
- driving decision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000009471 action Effects 0.000 claims abstract description 272
- 230000002787 reinforcement Effects 0.000 claims description 87
- 238000012549 training Methods 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 9
- 230000007613 environmental effect Effects 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 230000006872 improvement Effects 0.000 description 9
- 238000005070 sampling Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Feedback Control In General (AREA)
Abstract
本说明书公开了一种轨迹规划的方法及装置，可获取无人设备轨迹规划所需的状态信息，并通过父规划模型确定状态信息对应的若干个待定行驶决策和每个待定行驶决策的决策价值，选择最大决策价值对应的待定行驶决策作为状态信息对应的行驶决策，并通过选择的行驶决策对应的子规划模型，可确定实现行驶决策的规划动作，根据规划动作，规划无人设备的轨迹。本说明书提供的轨迹规划方法适用于现有技术中的所有场景，并且无需确定所属的场景类型，解决了现有技术中场景划分不够准确合理的问题，达到了无人设备在实现最大决策价值对应的行驶决策时，规划出较好的轨迹的有益效果。
Description
技术领域
本申请涉及无人驾驶技术领域，尤其涉及一种轨迹规划的方法及装置。
背景技术
随着科技的不断进步，无人驾驶技术逐渐成熟，利用无人设备代替人工运输成为主流趋势。
无人设备在运行中需要作出轨迹规划。在无人设备的轨迹规划过程中，可预先将无人设备的运行环境划分为若干种场景，例如城市道路场景、园区场景等，其中，不同的场景对应不同的轨迹规划算法。无人设备根据传感器采集的数据，确定无人设备所在的位置以及周围的环境等信息，根据位置以及周围的环境信息，识别出无人设备的运行环境所属的场景类型，根据识别出的场景类型对应的轨迹规划算法，规划无人设备的轨迹。
然而，现有技术中，在对无人设备的运行环境划分场景时，由于现实环境的复杂性，导致场景划分不够准确合理，使得无人设备的轨迹规划比较困难。
发明内容
本说明书实施例提供一种轨迹规划的方法及装置，以部分解决现有技术存在的上述问题。
本说明书实施例采用下述技术方案：
本说明书提供的一种轨迹规划的方法，所述方法包括：
获取无人设备轨迹规划所需的状态信息，其中，所述状态信息包括所述无人设备周围的环境信息、所述无人设备的位姿信息；
根据所述状态信息，通过预先训练的父规划模型，确定所述状态信息对应的若干个待定行驶决策、以及每个待定行驶决策的决策价值；
在各待定行驶决策中，将最大决策价值对应的待定行驶决策作为所述状态信息对应的行驶决策，并且，在每个待定行驶决策对应的预先训练的子规划模型中，将所述行驶决策对应的子规划模型作为指定子规划模型；
根据所述状态信息以及所述行驶决策，通过所述指定子规划模型，确定实现所述行驶决策的规划动作；
根据所述规划动作，规划所述无人设备的轨迹。
可选地，所述父规划模型为分级强化学习模型中的父级强化学习模型；所述子规划模型为所述分级强化学习模型中的子级强化学习模型；
确定每个待定行驶决策的决策价值，具体包括：
针对每个待定行驶决策，根据所述状态信息以及该待定行驶决策，确定所述父级强化学习模型实现该待定行驶决策的外反馈总奖励；
根据所述外反馈总奖励，确定该待定行驶决策的决策价值。
可选地，确定所述父级强化学习模型实现该待定行驶决策的外反馈总奖励，具体包括：
在所述无人设备实现该待定行驶决策的情况下，针对该待定行驶决策对应的子级强化学习模型确定的每个规划动作，确定所述无人设备执行该规划动作的第一外反馈奖励；
根据该待定行驶决策对应的子级强化学习模型确定的每个规划动作的第一外反馈奖励，确定各规划动作的第一外反馈奖励的和值，作为该待定行驶决策的外反馈总奖励。
可选地，所述子规划模型为分级强化学习模型中的子级强化学习模型；
根据所述状态信息以及所述行驶决策，通过所述指定子规划模型，确定实现所述行驶决策的规划动作，具体包括：
通过所述指定子级强化学习模型，确定所述状态信息对应的若干个待定规划动作；
针对每个待定规划动作，根据所述状态信息、所述行驶决策以及该待定规划动作，确定该待定规划动作的动作价值；
将最大动作价值对应的待定规划动作，作为所述状态信息对应的规划动作；
在所述无人设备执行所述状态信息对应的规划动作的情况下，若未实现所述行驶决策，则根据所述状态信息对应的规划动作，预测所述无人设备执行所述状态信息对应的规划动作之后的状态信息作为更新状态信息，并确定所述更新状态信息对应的规划动作，直到实现所述行驶决策为止；
将所述状态信息对应的规划动作、以及若干个更新状态信息对应的规划动作，作为实现所述行驶决策的规划动作。
可选地，根据所述状态信息、所述行驶决策以及该待定规划动作，确定该待定规划动作的动作价值，具体包括：
根据所述状态信息、所述行驶决策以及该待定规划动作，确定该待定规划动作的内反馈奖励；
将所述更新状态信息对应的规划动作的动作价值，作为更新动作价值；
根据预设的衰减权重，确定所述衰减权重与所述更新动作价值的乘积与所述内反馈奖励的和值，作为该待定规划动作的动作价值。
可选地，预先训练父规划模型，具体包括：
获取样本状态信息，并初始化待训练父规划模型的近似参数；
根据所述样本状态信息，确定经验回放样本，以及所述经验回放样本对应的样本决策价值；
将所述样本状态信息输入所述待训练父规划模型，以使所述待训练父规划模型确定预测决策价值；
根据所述样本决策价值以及所述预测决策价值，确定损失；
以损失最小化为目标，更新所述待训练父规划模型的近似参数，对所述待训练父规划模型进行训练。
可选地，预先训练子规划模型，具体包括：
获取样本状态信息，并初始化待训练子规划模型的近似参数；
根据所述样本状态信息、所述待训练子规划模型对应的行驶决策，确定经验回放样本，以及所述经验回放样本对应的样本动作价值；
根据所述样本状态信息以及所述待训练子规划模型对应的行驶决策，通过所述待训练子规划模型，确定预测动作价值；
根据所述样本动作价值以及所述预测动作价值，确定损失；
以损失最小化为目标，更新所述待训练子规划模型的近似参数，对所述待训练子规划模型进行训练。
本说明书提供一种轨迹规划的装置，所述装置包括：
获取模块，用于获取无人设备轨迹规划所需的状态信息，其中，所述状态信息包括所述无人设备周围的环境信息、所述无人设备的位姿信息；
第一确定模块，用于根据所述状态信息，通过预先训练的父规划模型，确定所述状态信息对应的若干个待定行驶决策、以及每个待定行驶决策的决策价值；
选择模块，用于在各待定行驶决策中，将最大决策价值对应的待定行驶决策作为所述状态信息对应的行驶决策，并且，在每个待定行驶决策对应的预先训练的子规划模型中，将所述行驶决策对应的子规划模型作为指定子规划模型；
第二确定模块，用于根据所述状态信息以及所述行驶决策，通过所述指定子规划模型，确定实现所述行驶决策的规划动作；
规划模块，用于根据所述规划动作，规划所述无人设备的轨迹。
本说明书提供的一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述轨迹规划的方法。
本说明书提供的一种无人设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述轨迹规划的方法。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
本说明书可获取无人设备轨迹规划所需的状态信息，并通过父规划模型确定状态信息对应的若干个待定行驶决策和每个待定行驶决策的决策价值，选择最大决策价值对应的待定行驶决策作为状态信息对应的行驶决策，并通过选择的行驶决策对应的子规划模型，可确定实现行驶决策的规划动作，根据规划动作，规划无人设备的轨迹。本说明书提供的轨迹规划方法适用于现有技术中的所有场景，并且无需确定当前环境所属的场景类型，解决了现有技术中场景划分不够准确合理的问题，达到了无人设备在实现最大决策价值对应的行驶决策时，规划出较好的轨迹的有益效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本说明书实施例提供的一种轨迹规划的方法流程图；
图2为本说明书实施例提供的一种无人设备轨迹规划时的状态信息示意图；
图3为本说明书实施例提供的一种分级强化学习模型框架示意图；
图4为本说明书实施例提供的一种子级强化学习模型确定实现行驶决策的规划动作方法流程图；
图5为本说明书实施例提供的一种规划无人设备轨迹的示意图；
图6为本说明书实施例提供的一种预先训练父规划模型的方法流程图；
图7为本说明书实施例提供的一种预先训练子规划模型的方法流程图；
图8为本说明书实施例提供的一种轨迹规划的装置的结构示意图；
图9为本说明书实施例提供的对应于图1的无人设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
图1为本说明书实施例提供的一种轨迹规划的方法流程图，具体可包括以下步骤：
S100：获取无人设备轨迹规划所需的状态信息，其中，所述状态信息包括所述无人设备周围的环境信息、所述无人设备的位姿信息。
本说明书提供的轨迹规划的方法，可首先获取无人设备轨迹规划所需的状态信息。所述状态信息表征影响所述无人设备规划自身轨迹的信息。其中，状态信息可包括无人设备周围的环境信息、无人设备的位姿信息等规划无人设备自身轨迹的必不可少的信息，当然，状态信息也可以包括其他信息，例如，定位信息等。
具体的，无人设备可通过安装在无人设备自身的图像传感器、激光雷达等传感器采集数据，并对采集的数据进行数据处理，根据数据处理结果，确定无人设备周围的环境信息。无人设备的位姿信息可通过安装在无人设备上的惯性测量单元（Inertialmeasurement unit，IMU）等传感器采集的惯导信息确定。而定位信息可通过全球定位系统（Global Positioning System，GPS）或者视觉定位方法确定。
图2为本说明书实施例提供的一种无人设备轨迹规划时的状态信息示意图。在图2中，A表示为无人设备，B表示为无人设备A周围的环境中的障碍物，黑色实线箭头的方向表示无人设备A轨迹规划时的行驶方向，黑色实线箭头的长度表示无人设备A的行驶速度，L表示无人设备A与障碍物B之间的距离。根据图2所示，规划图2中的无人设备A轨迹时，可获取无人设备A周围的环境信息（与障碍物B的距离为L）、以及无人设备A的位姿信息（无人设备A的行驶方向、行驶速度）。
另外，无人设备还可在仿真环境下规划轨迹。在仿真环境下，可通过获取仿真数据来确定无人设备轨迹规划所需的状态信息。
S102：根据所述状态信息，通过预先训练的父规划模型，确定所述状态信息对应的若干个待定行驶决策、以及每个待定行驶决策的决策价值。
通过上述步骤S100获取状态信息之后，将所述状态信息输入预先训练的父规划模型，得到所述父规划模型输出的所述状态信息对应的若干个待定行驶决策以及每个待定行驶决策对应的决策价值。其中，所述父规划模型用于确定所述无人设备规划轨迹的过程中在所述状态信息下的行驶决策。
具体的，父规划模型可以是分级强化学习模型（hierarchical reinforcementlearning）中的父级强化学习模型，子规划模型可以是分级强化学习模型中的子级强化学习模型。分级强化学习模型的框架可如图3所示。图3为本说明书实施例提供的一种分级强化学习模型框架示意图。在图3中，父规划模型可根据获取的状态信息，确定行驶决策以及行驶决策对应的子规划模型，子规划模型可根据行驶决策、状态信息等确定规划动作，当无人设备执行规划动作后，状态信息将变为更新状态信息，通过子规划模型可确定内反馈奖励，通过父规划模型可确定第一外反馈奖励。
在父规划模型确定每个待定行驶决策的决策价值时，针对每个待定行驶决策，可首先根据状态信息以及该待定行驶决策，确定父级强化学习模型实现该待定行驶决策的外反馈总奖励，然后，根据外反馈总奖励，确定该待定行驶决策的决策价值。
具体的，在无人设备实现该待定行驶决策的情况下，针对该待定行驶决策对应的子级强化学习模型确定的每个规划动作，可确定无人设备执行该规划动作的第一外反馈奖励，根据该待定行驶决策对应的子级强化学习模型确定的每个规划动作的第一外反馈奖励，确定各规划动作的第一外反馈奖励的和值，作为该待定行驶决策的外反馈总奖励。确定所述无人设备在实现该待定行驶决策的情况下的状态信息作为第二状态信息，并确定所述第二状态信息对应的行驶决策的决策价值，根据预设的衰减权重，将所述衰减权重与所述第二状态信息对应的行驶决策的决策价值的乘积与所述外反馈总奖励的和值，作为该待定行驶决策的决策价值。
沿用上例，规划图2中的无人设备A的轨迹时，将获取的当前时刻的状态信息
输
入父级强化学习模型时，可得到父级强化学习模型确定的若干个待定行驶决策，待定行驶
决策可包括通过左边的车道实现超车、跟车行驶、通过右边的车道实现超车等决策。
另外，通过父级强化学习模型，还可确定每个待定行驶决策的决策价值。以通过左边的车道实现超车为例，无人设备A可通过一系列规划动作实现该待定行驶决策，一系列规划动作可包括向左变道、直行、向右变道等。针对一系列规划动作中的任意一个规划动作，无人设备A在执行该规划动作后，可通过父级强化学习模型确定该规划动作的第一外反馈奖励，则将一系列规划动作中各规划动作的第一外反馈奖励的和值，作为实现通过左边的车道实现超车的待定行驶决策的第一外反馈总奖励。根据第一外反馈总奖励可通过父级强化学习模型确定该待定行驶决策的决策价值。
若在
时刻获取的状态信息为
，在
时刻实现待定行驶决策
，第一外反馈
奖励以
表示，则第一外反馈总奖励
可如公式（1）所示，该待定行驶决策的决策价值
可如公式（2）所示。
其中，
为衰减权重，取值范围为[0,1]，表示为无人设备在实现该待定行驶决策的
时刻，根据该时刻的状态信息，规划的行驶决策的决策价值的权重。
表示
为在
时刻实现待定行驶决策
，状态信息
的情况下，行驶决策
的决策价
值。
表示为父级强化学习模型在
时刻选择的行驶决策
的策略。
另外，预先训练父规划模型将在下文中详细说明。
当然，父规划模型还可以是其他机器学习模型，本说明书主要涉及分级强化在无人设备规划轨迹中的应用，因此，通过其他机器学习模型规划无人设备的轨迹的过程，本说明书不再赘述。
S104：在各待定行驶决策中，将最大决策价值对应的待定行驶决策作为所述状态信息对应的行驶决策，并且，在每个待定行驶决策对应的预先训练的子规划模型中，将所述行驶决策对应的子规划模型作为指定子规划模型。
通过上述步骤S102得到父规划模型确定的状态信息对应的各待定行驶决策、以及
每个待定行驶决策的决策价值。在对无人设备进行轨迹规划时，可认为按照决策价值最大
的待定行驶决策规划出的轨迹最好，因此可在各待定行驶决策中，选择最大决策价值对应
的待定行驶决策作为无人设备规划轨迹的行驶决策（也即，获取的状态信息对应的行驶决
策）。若最大决策价值为
，则最大化决策价值可如公式（3）表示。
可确定公式（3）中的最大决策价值
，同时，确定最大决策价值
对
应的待定行驶决策
。也即，在各待定行驶决策中选择最大决策价值对应的待定行驶决策
作为获取的状态信息对应的行驶决策。
沿用上例，可将图2中的无人设备A规划轨迹的状态信息输入父规划模型，得到父规划模型确定的各待定行驶决策以及各待定行驶决策的决策价值，若待定行驶决策H（通过左边的车道实现超车）的决策价值，同时大于待定行驶决策I（跟车行驶）的决策价值与待定行驶决策J（通过右边的车道实现超车）的决策价值，则可将通过左边的车道实现超车作为无人设备A在规划自身轨迹时的状态信息对应的行驶决策。
在本说明书中，每个待定行驶决策均可对应一个预先训练的子规划模型，也即，针对各待定行驶决策，可通过该待定行驶决策对应的子规划模型，确定无人设备完成该待定行驶决策的一系列规划动作。其中，子规划模型可以是子级强化学习模型，也可以是其他机器学习模型，还可以是基于机理的轨迹规划模型。当子规划模型为子级强化学习模型时，针对实现行驶决策的一系列规划动作（也即规划动作集合），可确定该规划动作对应的状态信息，并根据该规划动作对应的状态信息，确定若干个待定规划动作以及每个待定规划动作的动作价值，选择最大动作价值对应的待定规划动作作为该规划动作。当子规划模型为其他机器学习模型时，可将状态信息输入其他机器学习模型，得到其他机器学习模型输出的规划动作集合。当子规划模型为基于机理的轨迹规划模型时，可在无人设备周围的环境中采样，得到若干个采样点，针对每个采样点，评估无人设备行驶至该采样点的安全性，若无人设备行驶至该采样点的过程中或在该采样点发生交通事故，则认为该采样点为不安全点，否则，认为该采样点为安全点，将各安全点进行连接，即可实现行驶决策。
另外，预先训练子规划模型将在下文中详细说明。
S106：根据所述状态信息以及所述行驶决策，通过所述指定子规划模型，确定实现所述行驶决策的规划动作。
在获取到状态信息、确定行驶决策以及行驶决策对应的指定子规划模型之后，可将所述状态信息以及所述行驶决策输入所述指定子规划模型，得到所述指定子规划模型输出的实现所述行驶决策的规划动作以及所述规划动作的动作价值。其中，所述指定子规划模型用于确定所述无人设备实现所述行驶决策的规划动作。
在图3中，在父规划模型确定行驶决策以及行驶决策对应的子规划模型之后，子规划模型可根据行驶决策、状态信息等确定实现行驶决策的规划动作。当无人设备执行规划动作后，状态信息将变为更新状态信息，通过子规划模型可确定内反馈奖励，根据更新状态信息以及内反馈奖励，确定更新状态信息对应的规划动作。父规划模型确定的行驶决策可由无人设备执行状态信息对应的规划动作以及若干个更新状态对应的规划动作实现。因此，可由状态信息对应的规划动作以及若干个更新状态对应的规划动作构成行驶决策对应的规划动作集合。
图4为本说明书实施例提供的一种子级强化学习模型确定实现行驶决策的规划动作方法流程图，具体可包括以下步骤：
S400：通过所述指定子级强化学习模型，确定所述状态信息对应的若干个待定规划动作。
具体的，将所述状态信息输入所述指定子级强化学习模型，得到所述指定子级强化学习模型输出的所述状态信息对应的若干个待定规划动作。可通过得到的若干个待定规划动作确定规划动作，这里确定的规划动作为实现行驶决策的一系列规划动作中的其中一个。
沿用上例，当图2中的无人设备A通过父级强化学习模型确定行驶决策为通过左边的车道实现超车，并将实现该行驶决策的子级强化学习模型作为指定子级强化学习模型。将状态信息输入指定子级强化学习模型，可得到指定子级强化学习模型输出的若干个待定规划动作。若干个待定规划动作可包括以偏离角度为15度向左行驶、以偏离角度为30度向左行驶、以偏离角度45度向左行驶等待定规划动作。
S402：针对每个待定规划动作，根据所述状态信息、所述行驶决策以及该待定规划动作，确定该待定规划动作的动作价值。
具体的，针对每个待定规划动作，首先，可根据状态信息、行驶决策以及该待定规
划动作，确定该待定规划动作的内反馈奖励。然后，将更新状态信息对应的规划动作的动作
价值，作为更新动作价值，最后，根据预设的衰减权重，确定衰减权重与更新动作价值的乘
积与内反馈奖励的和值，作为该待定规划动作的动作价值。其中，更新状态信息为无人设备
在按照该待定规划动作行驶后获取的状态信息，也即，无人设备在
时刻按照该待定规划动
作行驶，在
时刻的状态信息为更新状态信息。若在
时刻的内反馈奖励为
，预设的衰
减权重为
，则该规划动作的动作价值
可如公式（4）所示。
其中，
表示为无人设备为了实现行驶决策
，在
时刻执行该待
定规划动作
，在
时刻状态信息
（也即，更新状态信息）的情况下，规划动作
的动作价值。
表示为在行驶决策
时，子级强化学习模型选择的规划动作
的策略。
S404：将最大动作价值对应的待定规划动作，作为所述状态信息对应的规划动作。
在得到状态信息对应的各待定规划动作以及每个待定规划动作对应的动作价值
后，可认为按照动作价值最大的待定规划动作行驶的轨迹最好，因此，可在各待定规划动作
中，选择最大动作价值对应的待定规划动作作为无人设备实现行驶决策的规划动作（也即，
一系列规划动作构成的规划动作集合中的其中一个规划动作）。若最大动作价值为
，则最大化动作价值可如公式（5）所示。
可确定公式（5）中的最大动作价值
，同时，确定最大动作价值
对应的待定规划动作
。也即，在各待定规划动作中选择最大动作价值对应的
待定规划动作作为状态信息对应的规划动作。
沿用上例，可将图2中的无人设备A规划轨迹的状态信息输入子级强化学习模型，得到子级强化学习模型确定的各待定规划动作以及各待定规划动作的动作价值，若待定规划动作X（以偏离角度为15度向左行驶）的动作价值，同时大于待定规划动作Y（以偏离角度为30度向左行驶）的动作价值与待定规划动作Z（以偏离角度45度向左行驶）的动作价值，则可将以偏离角度15度向左行驶作为无人设备A在实现行驶决策时的状态信息对应的规划动作。
S406：在所述无人设备执行所述状态信息对应的规划动作的情况下，判断是否实现所述行驶决策。
S408：若判断结果为是，则将所述状态信息对应的规划动作、以及若干个更新状态信息对应的规划动作，作为实现所述行驶决策的规划动作。
S410：若判断结果为否，则根据所述状态信息对应的规划动作，预测所述无人设备执行所述状态信息对应的规划动作之后的状态信息作为更新状态信息，并重新通过所述指定子级强化学习模型，确定所述更新状态信息对应的若干个待定规划动作，也即，返回步骤S400。
具体的，沿用上例，当无人设备A执行规划动作以偏离角度为15度向左行驶的情况
下，判断无人设备A是否实现通过左边的车道实现超车的行驶决策，若是，则将确定出的规
划动作作为实现行驶决策的规划动作，否则，若在
时刻无人设备A执行规划动作以偏离角
度为15度向左行驶，预测在
时刻的状态信息作为更新状态信息，并将在
时刻的
更新状态信息、行驶决策、在
时刻执行规划动作的内反馈奖励输入子级强化学习模型，得
到子级强化学习模型输出的若干个待定规划动作以及每个待定规划动作对应的动作价值，
也即返回步骤S400。若判断未实现行驶决策，则按照上述内容进行迭代，每次迭代均可确定
一个更新状态信息以及该更新状态信息对应的规划动作，直到实现行驶决策为止，并将迭
代过程中的状态信息对应的规划动作以及若干个更新状态信息对应的规划动作作为实现
行驶决策的规划动作。
S108：根据所述规划动作，规划所述无人设备的轨迹。
在确定状态信息对应的行驶决策以及规划动作后，在无人设备执行规划动作以实现行驶决策的情况下，可确定无人设备的运行轨迹，并将确定的运行轨迹作为无人设备规划的轨迹。
沿用上例，若图2中的无人设备A实现行驶决策的规划动作包括规划动作X、X1、X2，可确定无人设备A按照规划动作X、X1、X2行驶的路线，作为无人设备规划自身的轨迹，可如图5所示。图5为本说明书实施例提供的一种规划无人设备轨迹的示意图，在图5中，虚线表示无人设备A规划自身的轨迹。黑色圆点X、X1、X2分别代表在不同的时刻无人设备A执行的规划动作。
本说明书还可预先训练父规划模型，图6为本说明书实施例提供的一种预先训练父规划模型的方法流程图，具体可以包括以下步骤：
S600：获取样本状态信息，并初始化待训练父规划模型的近似参数。
具体的，样本状态信息可以为历史真实状态信息，也可以是仿真环境中的仿真数据。父规划模型可为分级强化学习模型中的父级强化学习模型。
S602：根据所述样本状态信息，确定经验回放样本，以及所述经验回放样本对应的样本决策价值。
具体的，将样本状态信息输入待训练父级强化学习模型，得到父级强化学习模型输出的训练行驶决策以及外反馈奖励，将样本状态信息、样本状态信息对应的训练行驶决策、外反馈奖励等存储在经验回放（Experience replay）样本中。在无人设备实现训练行驶决策的情况下的样本状态信息作为更新样本状态信息，并确定更新样本状态信息的训练行驶决策以及更新外反馈奖励，以此确定若干个经验回放样本。选择若干个经验回放样本，计算选择的经验回放样本的样本决策价值，作为第一样本决策价值。
S604：将所述样本状态信息输入所述待训练父规划模型，以使所述待训练父规划模型确定预测决策价值。
将训练样本状态信息输入待训练父级强化学习模型，得到待训练父级强化学习模型输出的样本决策价值，作为第二样本决策价值。
S606：根据所述样本决策价值以及所述预测决策价值，确定损失。
具体的，可确定第一样本决策价值与第二样本决策价值的均方差作为损失。则损
失
可如公式（6）所示。
其中，
为第一样本决策价值，
为第二样本决策价值。
S608：以损失最小化为目标，更新所述待训练父规划模型的近似参数，对所述待训练父规划模型进行训练。
具体的，可以
为目标，更新待训练父级强化学习模型的近似参数，以使
父级强化学习模型输出的决策价值更精确。以外奖励最大化为目标，以使父级强化学习模
型输出的行驶决策更好，对待训练父级规划模型进行训练。
本说明书还可预先训练子规划模型，图7为本说明书实施例提供的一种预先训练子规划模型的方法流程图，具体可以包括以下步骤：
S700：获取样本状态信息，并初始化待训练子规划模型的近似参数。
S702：根据所述样本状态信息、所述待训练子规划模型对应的行驶决策，确定经验回放样本，以及所述经验回放样本对应的样本动作价值。
具体的，子规划模型可为分级强化学习模型中的子级强化学习模型，将样本状态信息以及待训练子规划模型对应的行驶决策输入待训练子级强化学习模型，得到子级强化学习模型输出的训练规划动作以及内反馈奖励，将样本状态信息、样本状态信息对应的训练规划动作、内反馈奖励等存储在经验回放样本中。在无人设备执行训练规划动作的情况下的样本状态信息作为更新样本状态信息，并确定更新样本状态信息的训练规划动作以及更新内反馈奖励，以此确定若干个经验回放样本。选择若干个经验回放样本，计算选择的经验回放样本的样本动作价值，作为第一样本动作价值。
S704：根据所述样本状态信息以及所述待训练子规划模型对应的行驶决策，通过所述待训练子规划模型，确定预测动作价值。
将训练样本状态信息输入待训练子级强化学习模型，得到待训练子级强化学习模型输出的样本动作价值，作为第二样本动作价值。
S706：根据所述样本动作价值以及所述预测动作价值，确定损失。
具体的，可确定第一样本动作价值与第二样本动作价值的均方差作为损失。则损
失
可如公式（7）所示。
其中，
为第一样本动作价值，
为第二样本动作价值。
S708：以损失最小化为目标，更新所述待训练子规划模型的近似参数，对所述待训练子规划模型进行训练。
具体的，可以
为目标，更新待训练子级强化学习模型的近似参数，以使
子级强化学习模型输出的动作策价值更精确。以内奖励最大化为目标，以使子级强化学习
模型输出的规划动作更好，对待训练子级规划模型进行训练。
本说明书在预先训练子规划模型以及子规划模型时，可对父规划模型与子规划模型进行单独训练。
具体的，在单独训练父规划模型与子规划模型时，可首先训练待训练子规划模型，待训练子规划模型对应的行驶决策，可作为父规划模型确定的最大决策价值对应的行驶决策，以内奖励最大化以及上文训练子规划模型内容中确定的损失最小化为目标，对待训练子规划模型进行训练。然后可训练待训练父规划模型，无人设备实现待训练父规划模型确定的行驶决策的规划动作，可作为子规划模型确定的最大动作价值对应的规划动作，以外奖励最大化以及上文训练父规划模型内容中确定的损失最小化为目标，对待训练父规划模型进行训练。
另外，本说明书在预先训练子规划模型以及子规划模型时，还可以将父规划模型与子规划模型作为分级强化学习模型整体进行训练。
具体的，首先，获取样本状态信息，并初始化待训练父规划模型的近似参数以及待训练子规划模型的近似参数。其次，根据所述样本状态信息，确定经验回放样本，以及所述经验回放样本对应的样本决策价值、样本动作价值。再次，将所述样本状态信息输入所述待训练父规划模型，以使所述待训练父规划模型确定预测决策价值，并且，将所述样本状态信息以及所述待训练父规划模型确定的预测行驶决策输入所述待训练子规划模型，得到所述子规划模型确定的预测动作价值。再次，根据所述样本决策价值以及所述预测决策价值，确定第一损失，根据所述样本动作价值以及所述预测动作价值，确定第二损失，根据所述第一损失以及所述第二损失，确定损失。最后，以损失最小化为目标，更新所述待训练父规划模型的近似参数以及所述待训练子规划模型的近似参数，对所述待训练父规划模型以及所述待训练子规划模型进行训练。
本说明书提供的上述轨迹规划的方法，具体可应用于使用无人设备进行配送的领域，例如，使用无人设备进行快递、外卖等配送的场景。具体的，在上述的场景中，可使用多个无人设备所构成的无人驾驶车队进行配送。
基于图1所示的轨迹规划的方法，本说明书实施例还对应提供一种轨迹规划的装置的结构示意图，如图7所示。
图8为本说明书实施例提供的一种轨迹规划的装置的结构示意图，所述装置包括：
获取模块801，用于获取无人设备轨迹规划所需的状态信息，其中，所述状态信息包括所述无人设备周围的环境信息、所述无人设备的位姿信息；
第一确定模块802，用于根据所述状态信息，通过预先训练的父规划模型，确定所述状态信息对应的若干个待定行驶决策、以及每个待定行驶决策的决策价值；
选择模块803，用于在各待定行驶决策中，将最大决策价值对应的待定行驶决策作为所述状态信息对应的行驶决策，并且，在每个待定行驶决策对应的预先训练的子规划模型中，将所述行驶决策对应的子规划模型作为指定子规划模型；
第二确定模块804，用于根据所述状态信息以及所述行驶决策，通过所述指定子规划模型，确定实现所述行驶决策的规划动作；
规划模块805，用于根据所述规划动作，规划所述无人设备的轨迹。
可选地，所述父规划模型为分级强化学习模型中的父级强化学习模型；所述子规划模型为所述分级强化学习模型中的子级强化学习模型；
所述第一确定模块802具体用于，针对每个待定行驶决策，根据所述状态信息以及该待定行驶决策，确定所述父级强化学习模型实现该待定行驶决策的外反馈总奖励；根据所述外反馈总奖励，确定该待定行驶决策的决策价值。
可选地，所述第一确定模块802具体用于，在所述无人设备实现该待定行驶决策的情况下，针对该待定行驶决策对应的子级强化学习模型确定的每个规划动作，确定所述无人设备执行该规划动作的第一外反馈奖励；根据该待定行驶决策对应的子级强化学习模型确定的每个规划动作的第一外反馈奖励，确定各规划动作的第一外反馈奖励的和值，作为该待定行驶决策的外反馈总奖励。
可选地，所述子规划模型为分级强化学习模型中的子级强化学习模型；
所述第二确定模块804具体用于，通过所述指定子级强化学习模型，确定所述状态信息对应的若干个待定规划动作；针对每个待定规划动作，根据所述状态信息、所述行驶决策以及该待定规划动作，确定该待定规划动作的动作价值；将最大动作价值对应的待定规划动作，作为所述状态信息对应的规划动作；在所述无人设备执行所述状态信息对应的规划动作的情况下，若未实现所述行驶决策，则根据所述状态信息对应的规划动作，预测所述无人设备执行所述状态信息对应的规划动作之后的状态信息作为更新状态信息，并确定所述更新状态信息对应的规划动作，直到实现所述行驶决策为止；将所述状态信息对应的规划动作、以及若干个更新状态信息对应的规划动作，作为实现所述行驶决策的规划动作。
可选地，所述第二确定模块804具体用于，根据所述状态信息、所述行驶决策以及该待定规划动作，确定该待定规划动作的内反馈奖励；将所述更新状态信息对应的规划动作的动作价值，作为更新动作价值；根据预设的衰减权重，确定所述衰减权重与所述更新动作价值的乘积与所述内反馈奖励的和值，作为该待定规划动作的动作价值。
可选地，所述装置还包括第一训练模块806、第二训练模块807；
所述第一训练模块806具体用于，获取样本状态信息，并初始化待训练父规划模型的近似参数；根据所述样本状态信息，确定经验回放样本，以及所述经验回放样本对应的样本决策价值；将所述样本状态信息输入所述待训练父规划模型，以使所述待训练父规划模型确定预测决策价值；根据所述样本决策价值以及所述预测决策价值，确定损失；以损失最小化为目标，更新所述待训练父规划模型的近似参数，对所述待训练父规划模型进行训练。
所述第二训练模块807具体用于，获取样本状态信息，并初始化待训练子规划模型的近似参数；根据所述样本状态信息、所述待训练子规划模型对应的行驶决策，确定经验回放样本，以及所述经验回放样本对应的样本动作价值；根据所述样本状态信息以及所述待训练子规划模型对应的行驶决策，通过所述待训练子规划模型，确定预测动作价值；根据所述样本动作价值以及所述预测动作价值，确定损失；以损失最小化为目标，更新所述待训练子规划模型的近似参数，对所述待训练子规划模型进行训练。
本说明书实施例还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的轨迹规划的方法。
基于图1所示的轨迹规划的方法，本说明书实施例还提出了图9所示的无人设备的示意结构图。如图9，在硬件层面，该无人设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的轨迹规划的方法。
当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（Programmable Logic Device, PLD）（例如现场可编程门阵列（Field Programmable GateArray，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（Hardware Description Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware DescriptionLanguage）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（RubyHardware Description Language）等，目前最普遍使用的是VHDL（Very-High-SpeedIntegrated Circuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。
Claims (8)
1.一种轨迹规划的方法，其特征在于，所述方法包括：
获取无人设备轨迹规划所需的状态信息，其中，所述状态信息包括所述无人设备周围的环境信息、所述无人设备的位姿信息；
根据所述状态信息，通过预先训练的父规划模型，确定所述状态信息对应的若干个待定行驶决策、以及每个待定行驶决策的决策价值；
在各待定行驶决策中，将最大决策价值对应的待定行驶决策作为所述状态信息对应的行驶决策，并且，在每个待定行驶决策对应的预先训练的子规划模型中，将所述行驶决策对应的子规划模型作为指定子规划模型；
根据所述状态信息以及所述行驶决策，通过所述指定子规划模型，确定实现所述行驶决策的规划动作；
根据所述规划动作，规划所述无人设备的轨迹；
其中，预先训练父规划模型以及子规划模型，包括：
获取样本状态信息，并初始化待训练父规划模型的近似参数以及待训练子规划模型的近似参数，根据所述样本状态信息，确定经验回放样本，以及所述经验回放样本对应的样本决策价值、样本动作价值，将所述样本状态信息输入所述待训练父规划模型，以使所述待训练父规划模型确定预测决策价值，将所述样本状态信息以及所述待训练父规划模型确定的预测行驶决策输入所述待训练子规划模型，得到所述子规划模型确定的预测动作价值，根据所述样本决策价值以及所述预测决策价值，确定第一损失，根据所述样本动作价值以及所述预测动作价值，确定第二损失，根据所述第一损失以及所述第二损失，确定损失，以损失最小化为目标，更新所述待训练父规划模型的近似参数以及所述待训练子规划模型的近似参数，对所述待训练父规划模型以及所述待训练子规划模型进行训练。
2.如权利要求1所述的方法，其特征在于，所述父规划模型为分级强化学习模型中的父级强化学习模型；所述子规划模型为所述分级强化学习模型中的子级强化学习模型；
确定每个待定行驶决策的决策价值，具体包括：
针对每个待定行驶决策，根据所述状态信息以及该待定行驶决策，确定所述父级强化学习模型实现该待定行驶决策的外反馈总奖励；
根据所述外反馈总奖励，确定该待定行驶决策的决策价值。
3.如权利要求2所述的方法，其特征在于，确定所述父级强化学习模型实现该待定行驶决策的外反馈总奖励，具体包括：
在所述无人设备实现该待定行驶决策的情况下，针对该待定行驶决策对应的子级强化学习模型确定的每个规划动作，确定所述无人设备执行该规划动作的第一外反馈奖励；
根据该待定行驶决策对应的子级强化学习模型确定的每个规划动作的第一外反馈奖励，确定各规划动作的第一外反馈奖励的和值，作为该待定行驶决策的外反馈总奖励。
4.如权利要求1所述的方法，其特征在于，所述子规划模型为分级强化学习模型中的子级强化学习模型；
根据所述状态信息以及所述行驶决策，通过所述指定子规划模型，确定实现所述行驶决策的规划动作，具体包括：
通过所述指定子级强化学习模型，确定所述状态信息对应的若干个待定规划动作；
针对每个待定规划动作，根据所述状态信息、所述行驶决策以及该待定规划动作，确定该待定规划动作的动作价值；
将最大动作价值对应的待定规划动作，作为所述状态信息对应的规划动作；
在所述无人设备执行所述状态信息对应的规划动作的情况下，若未实现所述行驶决策，则根据所述状态信息对应的规划动作，预测所述无人设备执行所述状态信息对应的规划动作之后的状态信息作为更新状态信息，并确定所述更新状态信息对应的规划动作，直到实现所述行驶决策为止；
将所述状态信息对应的规划动作、以及若干个更新状态信息对应的规划动作，作为实现所述行驶决策的规划动作。
5.如权利要求4所述的方法，其特征在于，根据所述状态信息、所述行驶决策以及该待定规划动作，确定该待定规划动作的动作价值，具体包括：
根据所述状态信息、所述行驶决策以及该待定规划动作，确定该待定规划动作的内反馈奖励；
将所述更新状态信息对应的规划动作的动作价值，作为更新动作价值；
根据预设的衰减权重，确定所述衰减权重与所述更新动作价值的乘积与所述内反馈奖励的和值，作为该待定规划动作的动作价值。
6.一种轨迹规划的装置，其特征在于，所述装置包括：
获取模块，用于获取无人设备轨迹规划所需的状态信息，其中，所述状态信息包括所述无人设备周围的环境信息、所述无人设备的位姿信息；
第一确定模块，用于根据所述状态信息，通过预先训练的父规划模型，确定所述状态信息对应的若干个待定行驶决策、以及每个待定行驶决策的决策价值；
选择模块，用于在各待定行驶决策中，将最大决策价值对应的待定行驶决策作为所述状态信息对应的行驶决策，并且，在每个待定行驶决策对应的预先训练的子规划模型中，将所述行驶决策对应的子规划模型作为指定子规划模型；
第二确定模块，用于根据所述状态信息以及所述行驶决策，通过所述指定子规划模型，确定实现所述行驶决策的规划动作；
规划模块，用于根据所述规划动作，规划所述无人设备的轨迹；
训练模块，用于预先获取样本状态信息，并初始化待训练父规划模型的近似参数以及待训练子规划模型的近似参数，根据所述样本状态信息，确定经验回放样本，以及所述经验回放样本对应的样本决策价值、样本动作价值，将所述样本状态信息输入所述待训练父规划模型，以使所述待训练父规划模型确定预测决策价值，将所述样本状态信息以及所述待训练父规划模型确定的预测行驶决策输入所述待训练子规划模型，得到所述子规划模型确定的预测动作价值，根据所述样本决策价值以及所述预测决策价值，确定第一损失，根据所述样本动作价值以及所述预测动作价值，确定第二损失，根据所述第一损失以及所述第二损失，确定损失，以损失最小化为目标，更新所述待训练父规划模型的近似参数以及所述待训练子规划模型的近似参数，对所述待训练父规划模型以及所述待训练子规划模型进行训练。
7.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-5任一所述的方法。
8.一种无人设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-5任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010239165.XA CN111123957B (zh) | 2020-03-31 | 2020-03-31 | 一种轨迹规划的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010239165.XA CN111123957B (zh) | 2020-03-31 | 2020-03-31 | 一种轨迹规划的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111123957A CN111123957A (zh) | 2020-05-08 |
| CN111123957B true CN111123957B (zh) | 2020-09-04 |
Family
ID=70493846
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010239165.XA Active CN111123957B (zh) | 2020-03-31 | 2020-03-31 | 一种轨迹规划的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111123957B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113298445B (zh) * | 2021-07-22 | 2022-07-15 | 北京三快在线科技有限公司 | 一种模型训练和调度无人设备的方法及装置 |
| CN113879339A (zh) * | 2021-12-07 | 2022-01-04 | 阿里巴巴达摩院(杭州)科技有限公司 | 自动驾驶的决策规划方法、电子设备及计算机存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106080590B (zh) * | 2016-06-12 | 2018-04-03 | 百度在线网络技术（北京）有限公司 | 车辆控制方法和装置以及决策模型的获取方法和装置 |
| CN107229973B (zh) * | 2017-05-12 | 2021-11-19 | 中国科学院深圳先进技术研究院 | 一种用于车辆自动驾驶的策略网络模型的生成方法及装置 |
| US20200004265A1 (en) * | 2018-06-28 | 2020-01-02 | Baidu Usa Llc | Autonomous driving vehicles with redundant ultrasonic radar |
| CN110646009B (zh) * | 2019-09-27 | 2022-03-01 | 北京邮电大学 | 一种基于dqn的车辆自动驾驶路径规划的方法及装置 |
| CN110895406B (zh) * | 2019-11-11 | 2021-02-02 | 北京三快在线科技有限公司 | 一种基于干扰物轨迹规划的无人设备的测试方法及装置 |
| CN110928329B (zh) * | 2019-12-24 | 2023-05-02 | 北京空间技术研制试验中心 | 一种基于深度q学习算法的多飞行器航迹规划方法 |
-
2020
- 2020-03-31 CN CN202010239165.XA patent/CN111123957B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111123957A (zh) | 2020-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111190427B (zh) | 一种轨迹规划的方法及装置 | |
| CN111208838B (zh) | 一种无人驾驶设备的控制方法及装置 | |
| CN110989636B (zh) | 一种障碍物的轨迹预测方法及装置 | |
| CN112364997B (zh) | 一种障碍物的轨迹预测方法及装置 | |
| CN112766468B (zh) | 一种轨迹预测方法、装置、存储介质及电子设备 | |
| CN112306059B (zh) | 一种控制模型的训练方法、控制方法以及装置 | |
| CN110262486B (zh) | 一种无人驾驶设备运动控制方法及装置 | |
| CN110488821B (zh) | 一种确定无人车运动策略的方法及装置 | |
| CN111076739A (zh) | 一种路径规划的方法及装置 | |
| CN113341941B (zh) | 一种无人驾驶设备的控制方法及装置 | |
| CN113110526B (zh) | 一种模型训练的方法、无人驾驶设备的控制方法及装置 | |
| CN111062372B (zh) | 一种预测障碍物轨迹的方法及装置 | |
| CN112949756B (zh) | 一种模型训练以及轨迹规划的方法及装置 | |
| CN111238523B (zh) | 一种运动轨迹的预测方法及装置 | |
| CN111123957B (zh) | 一种轨迹规划的方法及装置 | |
| CN112947495B (zh) | 模型训练的方法、无人驾驶设备的控制方法以及装置 | |
| CN111522245B (zh) | 用于控制无人设备的方法及装置 | |
| CN111126362A (zh) | 一种预测障碍物轨迹的方法及装置 | |
| CN112649012A (zh) | 一种轨迹规划方法、设备、介质及无人设备 | |
| CN113033527A (zh) | 一种场景识别方法、装置、存储介质及无人设备 | |
| CN113848913B (zh) | 一种无人驾驶设备的控制方法及控制装置 | |
| CN112925331B (zh) | 一种无人设备控制方法、装置、存储介质及电子设备 | |
| CN114019971B (zh) | 一种无人设备控制方法、装置、存储介质及电子设备 | |
| CN114019981B (zh) | 一种无人驾驶设备的轨迹规划方法及规划装置 | |
| CN114167857B (zh) | 一种无人驾驶设备的控制方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |