CN114019981A - 一种无人驾驶设备的轨迹规划方法及规划装置 - Google Patents

一种无人驾驶设备的轨迹规划方法及规划装置 Download PDF

Info

Publication number
CN114019981A
CN114019981A CN202111356621.XA CN202111356621A CN114019981A CN 114019981 A CN114019981 A CN 114019981A CN 202111356621 A CN202111356621 A CN 202111356621A CN 114019981 A CN114019981 A CN 114019981A
Authority
CN
China
Prior art keywords
node
time
unmanned
obstacle
unmanned equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111356621.XA
Other languages
English (en)
Other versions
CN114019981B (zh
Inventor
汤逸凡
邓建强
任冬淳
樊明宇
夏华夏
付圣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN202111356621.XA priority Critical patent/CN114019981B/zh
Publication of CN114019981A publication Critical patent/CN114019981A/zh
Application granted granted Critical
Publication of CN114019981B publication Critical patent/CN114019981B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本说明书公开了一种无人驾驶设备的轨迹规划方法，在无人驾驶设备的轨迹规划的过程中不仅考虑到无人驾驶设备对障碍物的交互影响，还考虑了无人驾驶设备实际所处的道路环境，进而使为无人驾驶设备规划出的轨迹，更加符合实际道路的行驶规则，并且安全性更高，综合的提高了无人驾驶设备的轨迹规划的合理性。

Description

一种无人驾驶设备的轨迹规划方法及规划装置
技术领域
本说明书涉及无人驾驶领域，尤其涉及一种无人驾驶设备的轨迹规划方法及规划装置。
背景技术
目前，无人驾驶设备对自车的行驶进行轨迹规划时，需要通过预测模块，根据周围车辆的历史轨迹来预测周围车辆的未来轨迹，进而基于预测的周围车辆的未来轨迹，规划得到一条无人驾驶设备的行驶轨迹。
但是，由于实际道路环境的复杂因素，以及车辆之间相互影响的因素，导致无人驾驶设备在进行轨迹规划时，存在行驶风险以及轨迹规划结果不够合理等问题。
因此，如何使无人驾驶设备能够规划出更合理、更安全的行驶轨迹，是一个亟待解决的问题。
发明内容
本说明书提供一种无人驾驶设备的轨迹规划方法及规划装置，以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案：
本说明书提供了一种无人驾驶设备的轨迹规划方法，包括：
获取无人驾驶设备的行驶数据以及周围障碍物的历史轨迹；
根据所述行驶数据以及所述历史轨迹，确定所述无人驾驶设备和所述障碍物之间的交互特征，所述交互特征用于表征在未来一段时间内，所述无人驾驶设备对所述障碍物行驶时产生的影响；
根据所述交互特征，以及所述障碍物所处的位置信息，确定所述障碍物受所述无人驾驶设备影响后的位置；
根据所述障碍物受所述无人驾驶设备影响后的位置，对所述无人驾驶设备在所述未来一段时间内的行驶轨迹进行规划。
可选地，根据所述行驶数据以及所述历史轨迹，确定所述无人驾驶设备和所述障碍物之间的交互特征，具体包括：
将根据所述无人驾驶设备的行驶数据，预测的所述无人驾驶设备在所述未来一段时间内的行驶轨迹，作为第一预测轨迹；
将根据所述障碍物的历史轨迹，预测的所述障碍物在所述未来一段时间内的行驶轨迹，作为第二预测轨迹；
根据所述第一预测轨迹和所述第二预测轨迹，得到所述无人驾驶设备与所述障碍物的交互特征。
可选地，根据所述障碍物受所述无人驾驶设备影响后的位置，对所述无人驾驶设备在所述未来一段时间内的行驶轨迹进行规划，具体包括：
通过预设的树结构搜索出所述无人驾驶设备在所述未来一段时间内的各备选轨迹；
基于所述障碍物受所述无人驾驶设备影响后的位置，从所述各备选轨迹中，选取出所述无人驾驶设备在所述未来一段时间内需要执行的行驶轨迹。
可选地，通过预设的树结构搜索出所述无人驾驶设备在所述未来一段时间内的各备选轨迹，具体包括：
针对所述树结构中包含的每个叶子节点，从预设的动作空间中，选取出在该叶子节点对应的时刻，所述无人驾驶设备执行的行驶动作，所述预设的动作空间包含有无人驾驶设备在行驶过程中可以执行的各行驶角度以及各加速度；
根据所述行驶动作以及确定出的所述无人驾驶设备在该叶子节点对应的时刻所处的位置，确定出所述无人驾驶设备在该叶子节点对应时刻的下一时刻所处的位置，作为目标位置；
将该叶子节点作为父节点，并在所述父节点下构建用于表征所述目标位置的子节点；
将所述子节点重新作为叶子节点，并继续从预设的动作空间中，选取所述无人驾驶设备需要执行的行驶动作，直到满足预设的搜索终止条件为止；
通过满足所述搜索终止条件后得到的树结构，确定所述无人驾驶设备在所述未来一段时间内的各备选轨迹。
可选地，基于所述障碍物受所述无人驾驶设备影响后的位置，从所述各备选轨迹中，选取出所述无人驾驶设备在所述未来一段时间内需要执行的行驶轨迹，具体包括：
针对每个备选轨迹，根据确定出的所述树结构中涉及该备选轨迹的各节点对应的奖励值，确定该备选轨迹对应的奖励值，所述树结构中涉及该备选轨迹的各节点对应的奖励值，是基于所述障碍物受所述无人驾驶设备影响后的位置确定出的；
根据每个备选轨迹对应的奖励值，从所述各备选轨迹中，选取出所述无人驾驶设备在所述未来一段时间内需要执行的行驶轨迹。
可选地，确定所述树结构中涉及该备选轨迹的各节点对应的奖励值，具体包括：
针对所述树结构中涉及该备选轨迹的每个节点，基于该节点对应的时刻，获取该节点对应的隐状态向量以及所述无人驾驶设备在该节点对应时刻所处的位置，该节点对应的隐状态向量中包含有用于表征所述障碍物在该节点对应的时刻受到所述无人驾驶设备影响后的位置的参数；
根据该节点对应的隐状态向量以及所述无人驾驶设备在该节点对应时刻所处的位置，确定所述障碍物在该叶子节点对应的时刻受所述无人驾驶设备的影响下，所述无人驾驶设备在该节点对应所处位置时的奖励值，作为该节点对应的奖励值。
可选地，获取该节点对应的隐状态向量，具体包括：
将该节点作为子节点时，该节点对应的父节点对应的时刻，作为目标时刻；
将所述神经网络模型针对所述目标时刻确定出的隐状态向量，所述无人驾驶设备在该节点对应时刻所处的位置，所述障碍物在该节点对应时刻所处的位置以及所述交互特征输入到所述神经网络模型中，以获取到针对该节点对应的时刻的隐状态向量。
可选地，获取到针对该节点对应的时刻的隐状态向量，具体包括：
将该节点作为子节点时，该节点对应的父节点对应的时刻，作为目标时刻；
将通过预设的神经网络模型针对所述目标时刻确定出的隐状态向量，所述无人驾驶设备在该节点对应时刻所处的位置，所述障碍物在该节点对应时刻所处的位置所述交互特征，以及确定出的所述无人驾驶设备在该节点对应时刻所处的位置周围的道路环境特征，输入到所述神经网络模型中，以获取到针对该节点对应的时刻的隐状态向量。
可选地，确定所述无人驾驶设备在该节点对应时刻所处的位置周围的道路环境特征，具体包括：
从预设的电子地图中，确定出当所述无人驾驶设备位于预测出的所述无人驾驶设备在该节点对应时刻所处的位置时，周围的道路环境信息，作为该节点对应时刻的道路环境信息；
从该节点对应时刻的道路环境信息提取出所述无人驾驶设备在该节点对应时刻所处的位置周围的道路环境特征。
可选地，根据该节点对应的隐状态向量以及所述无人驾驶设备在该节点对应时刻所处的位置，确定所述障碍物在该节点对应的时刻受所述无人驾驶设备的影响下，所述无人驾驶设备在该节点对应所处位置时的奖励值，作为该节点对应的奖励值，具体包括：
根据该节点对应的隐状态向量以及所述无人驾驶设备在该节点对应时刻所处的位置，确定所述无人驾驶设备在该节点对应时刻的偏离距离，所述偏离距离包括所述无人驾驶设备在该节点对应时刻所处的位置与道路中心线之间的距离，以及所述无人驾驶设备在该节点对应时刻所处位置与目的地之间的距离中的至少一种；
根据所述障碍物在该叶子节点对应的时刻受所述无人驾驶设备的影响的位置以及所述无人驾驶设备在该节点对应时刻的偏离距离，确定该节点对应的奖励值。
本说明书提供了一种无人驾驶设备的轨迹规划装置，所述装置包括：
获取模块，用于获取无人驾驶设备的行驶数据以及周围障碍物的历史轨迹；
特征提取模块，用于根据所述行驶数据以及所述历史轨迹，确定所述无人驾驶设备和所述障碍物之间的交互特征，所述交互特征用于表征在未来一段时间内，所述无人驾驶设备对所述障碍物产生的影响；
确定模块，用于根据所述交互特征，以及所述障碍物所处的位置信息，确定所述障碍物受所述无人驾驶设备影响后的位置；
规划模块，用于根据所述障碍物受所述无人驾驶设备影响后的位置，对所述无人驾驶设备在所述未来一段时间内的行驶轨迹进行规划。
本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述无人驾驶设备的轨迹规划方法。
本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述无人驾驶设备的轨迹规划方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果：
在本说明书提供的无人驾驶设备的轨迹规划方法，首先获取无人驾驶设备的行驶数据以及周围障碍物的历史轨迹，进而根据无人驾驶设备的行驶数据以及周围障碍物的历史轨迹，确定无人驾驶设备和障碍物之间的交互特征，再根据交互特征，以及障碍物所处的位置信息，确定障碍物受所述无人驾驶设备影响后的位置，进一步地，根据障碍物受无人驾驶设备影响后的位置，对无人驾驶设备在所述未来一段时间内的行驶轨迹进行规划。
从上述方法中可以看出，在无人驾驶设备的轨迹规划的过程中不仅考虑到无人驾驶设备对障碍物的交互影响，进而为无人驾驶设备规划出的轨迹，更加符合无人驾驶设备的行驶的实际道路环境，并且安全性更高，综合的提高了无人驾驶设备的轨迹规划的合理性。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书中提供的一种无人驾驶设备的轨迹规划方法的流程示意图；
图2为本说明书提供的树结构搜索第五次迭代后的示意图；
图3为本说明书提供的一种无人驾驶设备的轨迹规划装置的示意图；
图4为本说明书提供的一种对应于图1的电子设备的示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书中提供的一种无人驾驶设备的轨迹规划方法的流程示意图，包括以下步骤：
S101：获取无人驾驶设备的行驶数据以及周围障碍物的历史轨迹。
在无人驾驶设备的轨迹规划过程中，通常会根据障碍物的历史轨迹来预测出障碍物在未来一段时间内的行驶轨迹，并将预测出的障碍物在未来一段时间内的行驶轨迹，作为在无人驾驶设备的轨迹规划过程中的约束条件，从而为无人驾驶设备规划出可执行的无碰撞行驶轨迹。
但是，在无人驾驶设备的行驶过程中，由于无人驾驶设备的行驶轨迹往往会对障碍物的行驶轨迹产生影响，例如：当无人驾驶设备表现出向左变道的信号时，处于无人驾驶设备左后方的障碍物往往会受到无人驾驶设备的影响，出现选择减速的让行行为或者加速抢行的行为，所以无人驾驶设备需要充分考虑到障碍物受无人驾驶设备的行驶轨迹影响后的位置信息，规划出更合理的行驶轨迹。
基于此，本说明书提供了一种无人驾驶设备的轨迹规划方法，在对无人驾驶设备进行轨迹规划时能够将无人驾驶设备的行驶轨迹对障碍物的行驶轨迹的影响考虑到无人驾驶设备的轨迹规划中，进而为无人驾驶设备规划出一条更加合理的行驶轨迹。其中，无人驾驶设备可以通过自身装载的传感器，获取当前时刻的无人驾驶设备的行驶数据，以及获取无人驾驶设备周围的障碍物车的历史轨迹信息，以此来辅助规划无人驾驶设备的行驶轨迹，行驶数据可以包括：无人驾驶设备的位姿信息，无人驾驶设备的当前速度信息，无人驾驶设备正在执行的行驶轨迹。这里提到的传感数据可以包括诸如激光雷达、相机、惯性测量单元(Inertial Measurement Unit，IMU)，毫米波雷达(Millimeter Wave，MMW)等。
在本说明书中提到的无人驾驶设备可以包括：无人驾驶汽车，移动机器人，无人物流配送车等，本说明书中，用于实现无人驾驶设备的轨迹规划方法的执行主体，可以是指设置于无人驾驶设备的车端电子设备，也可以是诸如服务器等设备，为了便于描述，下面仅以无人驾驶设备是执行主体为例，对本说明书提供的无人驾驶设备的轨迹规划方法进行说明。
S102：根据所述行驶数据以及所述历史轨迹，确定所述无人驾驶设备和所述障碍物之间的交互特征，所述交互特征用于表征在未来一段时间内，所述无人驾驶设备对所述障碍物行驶时产生的影响。
无人驾驶设备根据无人驾驶设备的行驶数据，预测无人驾驶设备在未来一段时间内得的行驶轨迹的方式可以有多种，例如：无人驾驶设备可以根据无人驾驶设备的行驶数据，预测无人驾驶设备继续按照当前正在执行的行驶轨迹继续行驶，在未来一段时间内的行驶轨迹，作为第一预测轨迹。
再例如：无人驾驶设备也可以根据行驶数据中的无人驾驶设备的位姿信息，无人驾驶设备的当前速度信息，通过无人驾驶设备的速度模型，预测无人驾驶设备在未来一段时间内的行驶轨迹，作为第一预测轨迹，其中无人驾驶设备的当前速度信息可以是诸如：当前行驶速度，当前行驶加速度，当前行驶角速度等。
进一步地，无人驾驶设备可以使用多层感知机(Multi-Layer Perceptron,MLP)提取第一预测轨迹中，无人驾驶设备在每个时刻的位置特征向量，再通过池化层从多个时刻的位置特征向量中提取出当前时刻无人驾驶设备的第一预测轨迹的轨迹特征向量，其中，轨迹特征向量即能够表征对应的预测轨迹的特征向量，具体可以参考如下公式：
Figure BDA0003357419720000081
Figure BDA0003357419720000082
在上述公式中，t+k用于表示在当前时刻t之后的第k秒，e用于表示无人驾驶设备，
Figure BDA0003357419720000083
用于表示无人驾驶设备在t+k时刻对应的位置信息，
Figure BDA0003357419720000084
用于表示无人驾驶设备在t+k时刻的位置特征向量，Embedding用于表示通过MLP提取无人驾驶设备在t+k时刻对应的位置特征向量，Cat表示将各时刻对应的位置特征向量拼接，通过池化层Maxpooling得到当前时刻无人驾驶设备的第一预测轨迹的轨迹特征向量
Figure BDA0003357419720000085
其中，池化层可以是诸如：最大池化、平均池化、全局平均池化、全局最大池化等。
无人驾驶设备还可以根据障碍物的历史轨迹，预测的所述障碍物在所述未来一段时间内的行驶轨迹，作为第二预测轨迹。
具体地，无人驾驶设备可以使用MLP提取障碍物的历史轨迹特征，再通过门控循环单元(Gated Recurrent Unit，GRU)根据障碍物的历史轨迹特征，得到障碍物在未来一段时间内的行驶轨迹的特征向量，即，第二预测轨迹的轨迹特征向量，具体可以参考如下公式：
Figure BDA0003357419720000091
在上述公式中o表示障碍物，i表示用于标识不同障碍物的编号，
Figure BDA0003357419720000092
用于表示障碍物的历史轨迹特征，Go,i用于表示障碍物在未来一段时间内的行驶轨迹的特征向量。
当障碍物为多个时，无人驾驶设备可以先将各个障碍物在未来一段时间内的行驶轨迹的特征向量拼接，然后使用池化层得到全局障碍物在未来一段时间内的行驶轨迹的特征向量，得到全局障碍物在未来一段时间内的行驶轨迹的特征向量，其中，全局障碍物包含有无人驾驶设备所处的环境周围的全部障碍物，具体可以参考如下公式：
Figure BDA0003357419720000093
在上述公式中，
Figure BDA0003357419720000094
用于表示全局障碍物在未来一段时间内的行驶轨迹的特征向量，Ga,n用于表示不同障碍物在未来一段时间内的行驶轨迹的特征向量。
进一步地，无人驾驶设备可以通过使用MLP提取障碍物在t时刻的位置特征向量，结合第一预测轨迹的轨迹特征向量和第二预测轨迹的轨迹特征向量，得到无人驾驶设备与障碍物的交互特征。
由于全局障碍物在未来一段时间内的行驶轨迹的特征向量，实际上能够反映出位于无人驾驶设备周围的每个障碍物在未来一段时间内行驶轨迹的特征，所以，无人驾驶设备可以基于
Figure BDA0003357419720000095
结合上述的第一预测轨迹的轨迹特征向量，确定出任意一个障碍物与无人驾驶设备之间的交互特征。具体的，无人驾驶设备可以基于全局障碍物在未来一段时间内的行驶轨迹的特征向量，结合第一预测轨迹的轨迹特征向量以及编号为i的障碍物在t时刻的位置特征向量，得到无人驾驶设备与该障碍物的交互特征。具体可以参考如下公式：
Figure BDA0003357419720000096
Figure BDA0003357419720000101
在上述公式中，
Figure BDA0003357419720000102
是通过根据编号为i的障碍物在t时刻的位置信息
Figure BDA0003357419720000103
提取到的用于表示编号为i的障碍物在t时刻的位置特征，经过激活函数Sigmoid处理后的位置特征向量，Ct是通过将第一预测轨迹的轨迹特征向量和第二预测轨迹的轨迹特征向量拼接后的得到的，
Figure BDA0003357419720000104
用于表示无人驾驶设备与障碍物的交互特征对应的交互特征。
S103：根据所述交互特征，以及所述障碍物所处的位置信息，确定所述障碍物受所述无人驾驶设备影响后的位置。
S104：根据所述障碍物受所述无人驾驶设备影响后的位置，对所述无人驾驶设备在所述未来一段时间内的行驶轨迹进行规划。
无人驾驶设备可以将无人驾驶设备与障碍物的交互特征，以及障碍物所处的位置信息，输入到预设的神经网络模型中，从而得到包含有障碍物受无人驾驶设备影响后的位置参数的隐状态向量，进而确定出障碍物受无人驾驶设备影响后的位置。进而可以根据未来一段时间内的不同时刻对应的多个障碍物受无人驾驶设备影响后的位置，为无人驾驶设备规划一条可以在未来一段时间内执行的无碰撞的行驶轨迹。
当然，在本说明书中，无人驾驶设备也可以按照预设的树结构，不断的搜索出在未来一段时间内的行驶轨迹，其中，树结构中的每个节点可以用于代表无人驾驶设备在未来一段时间内一个时刻所处的位置。
具体的，无人驾驶设备可以根据基于所述无人驾驶设备当前的行驶数据，确定的所述无人驾驶设备在当前时刻对应的位置信息，创建树结构的根节点，此时该树结构的深度为0。
而后，可以将根节点作为目标节点，并判断目标节点是否为叶子节点，若目标节点为叶子节点，对目标节点进行模拟扩展，即，从预设的动作空间中，随机选取当前位置中无人驾驶设备可以执行的各动作进行模拟，根据下一时刻，无人驾驶设备执行完对应的动作后的位置信息，创建目标节点执行该动作后对应的子节点。
值得说明的是，在上述搜索过程中，针对同一时刻，无人驾驶设备执行不同的动作后，也将对应有不同的位置信息。而树的深度可以代表无人驾驶设备在不同时刻的位置，例如：在根节点对应无人驾驶设备在当前时刻t的位置，此时树的深度为0，与根节点相连的各子节点对应无人驾驶设备在t+1时刻的位置，此时树的深度为1。
其中，预设的动作空间包含有待规划无人驾驶设备在行驶过程中可能执行的各行驶角度以及各加速度，各动作可以是诸如：无人驾驶设备向15度角方向，以5的加速度行驶到下一时刻等。
进一步地，无人驾驶设备可以将无人驾驶设备执行该动作后得到的无人驾驶设备在该子节点对应时刻所处的位置信息、根据第二预测轨迹确定的障碍物在该子节点对应时刻所处的位置信息、无人驾驶设备与所述障碍物的交互特征、以及目标节点的隐状态向量，输入到预设的神经网络模型中，获取该节点对应的隐状态向量，其中，该子节点对应的隐状态向量中包含有用于表征所述障碍物在该节点对应的时刻受到所述无人驾驶设备影响后的位置的参数。
在本说明书中，根节点对应的隐状态向量的获取，可以通过将障碍物在当前时刻对应的位置信息，无人驾驶设备与所述障碍物的交互特征输入到预设的神经网络模型中，得到的隐状态向量作为根节点对应的隐状态向量。也就是说，由于根节点是起始的节点，根节点之前没有其他的节点，所以，在确定根节点对应的隐状态向量时，在输入端没有之前节点所确定出的隐状态向量。预设的神经网络模型可以是长短期记忆模型(Long short-termmemory,LSTM)等网络模型。
进一步地，无人驾驶设备可以根据隐状态向量中包含的用于表征所述障碍物在该子节点对应的时刻受到所述无人驾驶设备影响后的位置的参数，确定障碍物在该子节点对应的时刻，受无人驾驶设备轨迹影响后的位置，与目标节点对应的时刻的障碍物的位置的变化值，进而根据位置的变化值以及目标节点对应的时刻的障碍物的位置信息，确定子节点对应的时刻的障碍物受无人驾驶设备的轨迹影响后的位置信息，具体可以参考如下公式：
Figure BDA0003357419720000121
Figure BDA0003357419720000122
在上述公式中，
Figure BDA0003357419720000123
用于表示该子节点对应的隐状态向量，
Figure BDA0003357419720000124
用于表示障碍物的位置的变化值，
Figure BDA0003357419720000125
用于表示在子节点对应的时刻的障碍物受无人驾驶设备的轨迹影响后的位置。
无人驾驶设备可以根据该子节点对应的时刻的障碍物受无人驾驶设备的轨迹影响后的位置，确定该节点对应的奖励值，完成一次迭代，其中，子节点的奖励值会加到父节点中。
在本说明书中，如果不加限制的话，在树结构中进行搜索的过程中，可能会出现树的结构逐渐偏向于某一条分支的情况，导致最终获取的为无人驾驶设备规划的行驶轨迹仅仅为局部最优解，而并不是全局最优解。因此，在需要从目标节点的子节点选取一个节点作为目标节点时，可以添加一些限制条件。
具体地，当再次选择根节点作为目标节点时，需要判断目标节点是否为叶子节点，此时目标节点不再为叶子节点，根据目标节点的各子节点的上置信界算法(UpperConfidence Bound，UCB)值，选择各子节点中，UCB值最高的子节点作为目标节点，再次进行扩展模拟，得到目标节点对应的时刻的下一时刻的子节点，直到满足预设的搜索终止条件为止。
其中，预设的搜索终止条件可以是子节点对应的时刻的无人驾驶设备的位置达到终点或者迭代次数达到预设的最大值，UCB值的计算方法可以参考如下公式：
Figure BDA0003357419720000126
在上述公式中，V(N)为UCB值，Ri用于表示节点的累积奖励值，
Figure BDA0003357419720000127
用于表示节点的访问次数，c为常数，
Figure BDA0003357419720000128
根节点的访问次数，从公式中可以看出，针对各子节点，若该子节点多次访问的平均奖励值
Figure BDA0003357419720000131
越高，则该子节点的UCB值越大，若一个子节点的访问次数
Figure BDA0003357419720000132
为0，则
Figure BDA0003357419720000133
趋近于无穷大，所以在选择子节点作为目标节点时，优先选择一次都没有被访问过的节点作为目标节点，具体如图2所示：
图2为本说明书提供的树结构搜索第五次迭代后的示意图。
从图2中可以看出，节点S2，S3，S4都没有子节点，在树结构中，若一个节点不存在子节点，则我们认定这个节点为叶子节点，所以节点S2，S3，S4都为叶子节点。
结合图2来看，第一次迭代，先选择根节点S0作为目标节点，此时的根节点的奖励值R0为0，访问次数N0为0,当确认根节点S0没有子节点时，即S0为叶子节点时，对根节点S0进行模拟，值得说明的是，由于根节点为无人驾驶设备在当前时刻的位置，不存在执行的动作，所以此时的奖励值为0，更新节点，此时根节点S0对应的奖励值R0为0，访问次数N0为1。
第二次迭代，选择根节点作为目标节点，确定目标节点为叶子节点，并且访问次数为1，对目标节点进行扩展，得到目标节点S0的子节点S1，S2，此时S1和S2的访问次数和奖励值都为0，深度为1。
第三次迭代，选择根节点作为目标节点，确定目标节点不为叶子节点，从目标节点的子节点中选择UCB值最大的一个节点作为目标节点，由于S1和S2的访问次数和奖励值都为0，所以S1，S2的UCB值相同，从S1，S2中随机选取S1按照对应的动作进行模拟，确定S1模拟的奖励值R为20，将模拟的奖励值更新到目标节点S1以及目标节点S1的父节点S0中，更新后的根节点S0的奖励值为20，访问次数为2，目标节点S1的奖励值为20，访问次数为1，第三次迭代结束。
第四次迭代，选择根节点作为目标节点，确定目标节点不为叶子节点，从目标节点的子节点中选择UCB值最大的一个节点作为目标节点，由于S2节点的访问次数为0，所以S2节点的UCB值趋近于无穷大，选择S2节点按照对应的动作进行模拟，确定S2的奖励值R为15，将模拟的奖励值更新到目标节点S2以及目标节点S2的父节点S0中，更新后的根节点S0的奖励值为35，访问次数为3，目标节点S2的奖励值为15，访问次数为1，第四次迭代结束。
第五次迭代，选择选择根节点作为目标节点，确定目标节点不为叶子节点，从目标节点的子节点中选择UCB值最大的一个节点作为目标节点，由于S1和S2节点的访问次数相同，S1的奖励值大于S2，所以选择S1为目标节点，判断目标节点为叶子节点，并且访问次数为1，对目标节点进行扩展，得到目标节点的子节点S3，S4，此时S3和S4的访问次数和奖励值都为0，深度为2。
按照上述搜索方式，在上述树结构中不断的搜索出新的节点，直到达到预设的搜索终止条件，迭代结束，得到满足搜索终止条件的树结构。无人驾驶设备可以根据满足搜索终止条件后得到的树结构，确定无人驾驶设备在未来一段时间内的各备选轨迹。
无人驾驶设备可以根据各备选轨迹的各节点对应的奖励值，确定该备选轨迹对应的奖励值，进而在各备选轨迹中，选择奖励值最高的备选轨迹，作为无人驾驶设备在未来一段时间内需要执行的行驶轨迹。
通过上述方式，无人驾驶设备在为无人驾驶设备规划轨迹时，可以将无人驾驶设备的轨迹对障碍物的影响考虑到轨迹规划规程中，从而规划出一条更合理，更符合无人驾驶设备实际行驶条件的轨迹。但由于在上述方式中并没有考虑到无人驾驶设备实际所处的道路环境信息，导致规划出的轨迹可能存在不符合无人驾驶设备实际所处的道路的行驶规则的情况。
因此，在本说明书中，考虑到无人驾驶设备实际行驶的道路的复杂路况，无人驾驶设备还可以从预设的电子地图中，通过预设的神经网络模型，确定出当无人驾驶设备位于预测出的所述无人驾驶设备在该节点对应时刻所处的位置时，周围的道路环境信息，作为该节点对应时刻的道路环境信息，再通过MLP提取无人驾驶设备在该节点对应时刻所处的位置周围的道路环境特征，其中，预设的神经网络模型可以是残差神经网络模型(ResNet)，卷积神经网络模型(Convolutional Neural Network，CNN)等网络模型。
进一步地，无人驾驶设备可以将得到的无人驾驶设备在该节点对应时刻所处的位置信息、根据第二预测轨迹确定的障碍物在该节点对应时刻所处的位置信息、无人驾驶设备与所述障碍物的交互特征对应的交互特征、无人驾驶设备在该节点对应时刻所处的位置周围的道路环境特征，以及目标节点的隐状态向量，输入到预设的神经网络模型中，获取该节点对应的隐状态向量。此时，该节点对应的隐状态向量相比于上面提到的隐状态向量，除了包含有该节点对应时刻的障碍物受无人驾驶设备的影响后的位置的参数外，还包含有用于表示道路环境特征的参数。
无人驾驶设备可以根据获取到的隐状态向量，确定该节点对应的时刻的障碍物受无人驾驶设备的轨迹影响后的位置，并根据该节点对应的时刻的障碍物受无人驾驶设备的轨迹影响后的位置以及隐状态向量，确定无人驾驶设备在该节点对应时刻的偏离距离。最终，无人驾驶设备可以根据该偏离距离以及在该节点对应的时刻障碍物受无人驾驶设备的轨迹影响后的位置，确定该节点对应的奖励值，完成一次迭代。
其中，无人驾驶设备在该节点对应时刻的偏离距离可以包括：该节点对应的时刻的无人驾驶设备的位置与道路中心线的偏离值，无人驾驶设备在该节点对应时刻所处位置与目的地之间的距离中的至少一种若无人驾驶设备在该节点对应时刻所处位置与目的地之间的距离越远，则规划的轨迹实际作用的效果越差，奖励值越低。若该节点对应的时刻的无人驾驶设备的位置与道路中心线的偏离值越大，则无人驾驶设备的安全风险越高，奖励值越低。
当然，上述偏离距离还可以包括：该节点对应的时刻的障碍物受无人驾驶设备的轨迹影响后的位置，与该节点对应的时刻的无人驾驶设备的位置之间的距离。若该节点对应的时刻的障碍物受无人驾驶设备的轨迹影响后的位置与该节点对应的时刻的无人驾驶设备的位置之间的偏离距离越小，则在该节点对应的时刻的障碍物与无人驾驶设备的碰撞可能性越高，奖励值越低。
这样在最终的规划轨迹中，不仅可以考虑到无人驾驶设备的行驶轨迹对障碍物的行驶轨迹的影响，还可以考虑到无人驾驶设备与障碍物实际所处的道路环境特征对无人驾驶设备和障碍物的影响，进而规划出更加合理的路线。
还需说明的是，在本说明书中，也可以由服务器为无人驾驶设备进行轨迹规划，其中，无人驾驶设备可以将采集到的无人驾驶设备的行驶数据，以及无人驾驶设备周围的障碍物车的历史轨迹信息，发给服务器，由服务器根据这些数据，结合上述方式，来规划出无人驾驶设备在未来一段时间内的行驶轨迹，并将该行驶轨迹返回给无人驾驶设备，以使得无人驾驶设备按照该行驶轨迹，在未来一段时间内进行行驶。
以上为本说明书的一个或多个实施例提供的无人驾驶设备的轨迹规划方法，基于同样的思路，本说明书还提供了相应的无人驾驶设备的轨迹规划装置，如图3所示。
图3为本说明书提供的一种无人驾驶设备的轨迹规划装置的示意图，包括：
获取模块301，用于获取无人驾驶设备的行驶数据以及周围障碍物的历史轨迹；
特征提取模块302，用于根据所述行驶数据以及所述历史轨迹，确定所述无人驾驶设备和所述障碍物之间的交互特征，所述交互特征用于表征在未来一段时间内，所述无人驾驶设备对所述障碍物产生的影响；
确定模块303，用于根据所述交互特征，以及所述障碍物所处的位置信息，确定所述障碍物受所述无人驾驶设备影响后的位置；
规划模块304，用于根据所述障碍物受所述无人驾驶设备影响后的位置，对所述无人驾驶设备在所述未来一段时间内的行驶轨迹进行规划。
可选地，所述特征提取模块302具体用于，将根据所述无人驾驶设备的行驶数据，预测的所述无人驾驶设备在所述未来一段时间内的行驶轨迹，作为第一预测轨迹；将根据所述障碍物的历史轨迹，预测的所述障碍物在所述未来一段时间内的行驶轨迹，作为第二预测轨迹；根据所述第一预测轨迹和所述第二预测轨迹，得到所述无人驾驶设备与所述障碍物的交互特征。
可选地，所述规划模块304具体用于，通过预设的树结构搜索出所述无人驾驶设备在所述未来一段时间内的各备选轨迹；基于所述障碍物受所述无人驾驶设备影响后的位置，从所述各备选轨迹中，选取出所述无人驾驶设备在所述未来一段时间内需要执行的行驶轨迹。
可选地，所述规划模块304具体用于，针对所述树结构中包含的每个叶子节点，从预设的动作空间中，选取出在该叶子节点对应的时刻，所述无人驾驶设备执行的行驶动作，所述预设的动作空间包含有无人驾驶设备在行驶过程中可以执行的各行驶角度以及各加速度；根据所述行驶动作以及确定出的所述无人驾驶设备在该叶子节点对应的时刻所处的位置，确定出所述无人驾驶设备在该叶子节点对应时刻的下一时刻所处的位置，作为目标位置；将该叶子节点作为父节点，并在所述父节点下构建用于表征所述目标位置的子节点；将所述子节点重新作为叶子节点，并继续从预设的动作空间中，选取所述无人驾驶设备需要执行的行驶动作，直到满足预设的搜索终止条件为止；通过满足所述搜索终止条件后得到的树结构，确定所述无人驾驶设备在所述未来一段时间内的各备选轨迹。
可选地，所述规划模块304具体用于，针对每个备选轨迹，根据确定出的所述树结构中涉及该备选轨迹的各节点对应的奖励值，确定该备选轨迹对应的奖励值，所述树结构中涉及该备选轨迹的各节点对应的奖励值，是基于所述障碍物受所述无人驾驶设备影响后的位置确定出的；根据每个备选轨迹对应的奖励值，从所述各备选轨迹中，选取出所述无人驾驶设备在所述未来一段时间内需要执行的行驶轨迹。
可选地，所述规划模块304具体用于，针对所述树结构中涉及该备选轨迹的每个节点，基于该节点对应的时刻，获取该节点对应的隐状态向量以及所述无人驾驶设备在该节点对应时刻所处的位置，该节点对应的隐状态向量中包含有用于表征所述障碍物在该节点对应的时刻受到所述无人驾驶设备影响后的位置的参数；根据该节点对应的隐状态向量以及所述无人驾驶设备在该节点对应时刻所处的位置，确定所述障碍物在该叶子节点对应的时刻受所述无人驾驶设备的影响下，所述无人驾驶设备在该节点对应所处位置时的奖励值，作为该节点对应的奖励值。
可选地，所述规划模块304具体用于将该节点作为子节点时，该节点对应的父节点对应的时刻，作为目标时刻；将通过预设的神经网络模型针对所述目标时刻确定出的隐状态向量，所述无人驾驶设备在该节点对应时刻所处的位置，所述障碍物在该节点对应时刻所处的位置以及所述交互特征输入到所述神经网络模型中，以获取到针对该节点对应的时刻的隐状态向量。
可选地，所述规划模块304具体用于，将该节点作为子节点时，该节点对应的父节点对应的时刻，作为目标时刻；将所述神经网络模型针对所述目标时刻确定出的隐状态向量，所述无人驾驶设备在该节点对应时刻所处的位置，所述障碍物在该节点对应时刻所处的位置所述交互特征，以及确定出的所述无人驾驶设备在该节点对应时刻所处的位置周围的道路环境特征，输入到所述神经网络模型中，以获取到针对该节点对应的时刻的隐状态向量。
可选地，所述规划模块304具体用于，从预设的电子地图中，确定出当所述无人驾驶设备位于预测出的所述无人驾驶设备在该节点对应时刻所处的位置时，周围的道路环境信息，作为该节点对应时刻的道路环境信息；从该节点对应时刻的道路环境信息提取出所述无人驾驶设备在该节点对应时刻所处的位置周围的道路环境特征。
可选地，所述规划模块304具体用于，根据该节点对应的隐状态向量以及所述无人驾驶设备在该节点对应时刻所处的位置，确定所述无人驾驶设备在该节点对应时刻的偏离距离，所述偏离距离包括所述无人驾驶设备在该节点对应时刻所处的位置与道路中心线之间的距离，以及所述无人驾驶设备在该节点对应时刻所处位置与目的地之间的距离中的至少一种；根据所述障碍物在该叶子节点对应的时刻受所述无人驾驶设备的影响的位置以及所述无人驾驶设备在该节点对应时刻的偏离距离，确定该节点对应的奖励值。
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的一种无人驾驶设备的轨迹规划方法。
本说明书还提供了图4所示的一种对应于图1的电子设备的示意结构图。如图4所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的无人驾驶设备的轨迹规划方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (13)

1.一种无人驾驶设备的轨迹规划方法，其特征在于，包括：
获取无人驾驶设备的行驶数据以及周围障碍物的历史轨迹；
根据所述行驶数据以及所述历史轨迹，确定所述无人驾驶设备和所述障碍物之间的交互特征，所述交互特征用于表征在未来一段时间内，所述无人驾驶设备对所述障碍物行驶时产生的影响；
根据所述交互特征，以及所述障碍物所处的位置信息，确定所述障碍物受所述无人驾驶设备影响后的位置；
根据所述障碍物受所述无人驾驶设备影响后的位置，对所述无人驾驶设备在所述未来一段时间内的行驶轨迹进行规划。
2.如权利要求1所述的方法，其特征在于，根据所述行驶数据以及所述历史轨迹，确定所述无人驾驶设备和所述障碍物之间的交互特征，具体包括：
将根据所述无人驾驶设备的行驶数据，预测的所述无人驾驶设备在所述未来一段时间内的行驶轨迹，作为第一预测轨迹；
将根据所述障碍物的历史轨迹，预测的所述障碍物在所述未来一段时间内的行驶轨迹，作为第二预测轨迹；
根据所述第一预测轨迹和所述第二预测轨迹，得到所述无人驾驶设备与所述障碍物的交互特征。
3.如权利要求1所述的方法，其特征在于，根据所述障碍物受所述无人驾驶设备影响后的位置，对所述无人驾驶设备在所述未来一段时间内的行驶轨迹进行规划，具体包括：
通过预设的树结构搜索出所述无人驾驶设备在所述未来一段时间内的各备选轨迹；
基于所述障碍物受所述无人驾驶设备影响后的位置，从所述各备选轨迹中，选取出所述无人驾驶设备在所述未来一段时间内需要执行的行驶轨迹。
4.如权利要求3所述的方法，其特征在于，通过预设的树结构搜索出所述无人驾驶设备在所述未来一段时间内的各备选轨迹，具体包括：
针对所述树结构中包含的每个叶子节点，从预设的动作空间中，选取出在该叶子节点对应的时刻，所述无人驾驶设备执行的行驶动作，所述预设的动作空间包含有无人驾驶设备在行驶过程中可以执行的各行驶角度以及各加速度；
根据所述行驶动作以及确定出的所述无人驾驶设备在该叶子节点对应的时刻所处的位置，确定出所述无人驾驶设备在该叶子节点对应时刻的下一时刻所处的位置，作为目标位置；
将该叶子节点作为父节点，并在所述父节点下构建用于表征所述目标位置的子节点；
将所述子节点重新作为叶子节点，并继续从预设的动作空间中，选取所述无人驾驶设备需要执行的行驶动作，直到满足预设的搜索终止条件为止；
通过满足所述搜索终止条件后得到的树结构，确定所述无人驾驶设备在所述未来一段时间内的各备选轨迹。
5.如权利要求3所述的方法，其特征在于，基于所述障碍物受所述无人驾驶设备影响后的位置，从所述各备选轨迹中，选取出所述无人驾驶设备在所述未来一段时间内需要执行的行驶轨迹，具体包括：
针对每个备选轨迹，根据确定出的所述树结构中涉及该备选轨迹的各节点对应的奖励值，确定该备选轨迹对应的奖励值，所述树结构中涉及该备选轨迹的各节点对应的奖励值，是基于所述障碍物受所述无人驾驶设备影响后的位置确定出的；
根据每个备选轨迹对应的奖励值，从所述各备选轨迹中，选取出所述无人驾驶设备在所述未来一段时间内需要执行的行驶轨迹。
6.如权利要求5所述的方法，其特征在于，确定所述树结构中涉及该备选轨迹的各节点对应的奖励值，具体包括：
针对所述树结构中涉及该备选轨迹的每个节点，基于该节点对应的时刻，获取该节点对应的隐状态向量以及所述无人驾驶设备在该节点对应时刻所处的位置，该节点对应的隐状态向量中包含有用于表征所述障碍物在该节点对应的时刻受到所述无人驾驶设备影响后的位置的参数；
根据该节点对应的隐状态向量以及所述无人驾驶设备在该节点对应时刻所处的位置，确定所述障碍物在该叶子节点对应的时刻受所述无人驾驶设备的影响下，所述无人驾驶设备在该节点对应所处位置时的奖励值，作为该节点对应的奖励值。
7.如权利要求6所述的方法，其特征在于，获取该节点对应的隐状态向量，具体包括：
将该节点作为子节点时，该节点对应的父节点对应的时刻，作为目标时刻；
将通过预设的神经网络模型针对所述目标时刻确定出的隐状态向量，所述无人驾驶设备在该节点对应时刻所处的位置，所述障碍物在该节点对应时刻所处的位置以及所述交互特征输入到所述神经网络模型中，以获取到针对该节点对应的时刻的隐状态向量。
8.如权利要求6或7所述的方法，其特征在于，获取到针对该节点对应的时刻的隐状态向量，具体包括：
将该节点作为子节点时，该节点对应的父节点对应的时刻，作为目标时刻；
将所述神经网络模型针对所述目标时刻确定出的隐状态向量，所述无人驾驶设备在该节点对应时刻所处的位置，所述障碍物在该节点对应时刻所处的位置所述交互特征，以及确定出的所述无人驾驶设备在该节点对应时刻所处的位置周围的道路环境特征，输入到所述神经网络模型中，以获取到针对该节点对应的时刻的隐状态向量。
9.如权利要求8所述的方法，其特征在于，确定所述无人驾驶设备在该节点对应时刻所处的位置周围的道路环境特征，具体包括：
从预设的电子地图中，确定出当所述无人驾驶设备位于预测出的所述无人驾驶设备在该节点对应时刻所处的位置时，周围的道路环境信息，作为该节点对应时刻的道路环境信息；
从该节点对应时刻的道路环境信息提取出所述无人驾驶设备在该节点对应时刻所处的位置周围的道路环境特征。
10.如权利要求9所述的方法，其特征在于，根据该节点对应的隐状态向量以及所述无人驾驶设备在该节点对应时刻所处的位置，确定所述障碍物在该节点对应的时刻受所述无人驾驶设备的影响下，所述无人驾驶设备在该节点对应所处位置时的奖励值，作为该节点对应的奖励值，具体包括：
根据该节点对应的隐状态向量以及所述无人驾驶设备在该节点对应时刻所处的位置，确定所述无人驾驶设备在该节点对应时刻的偏离距离，所述偏离距离包括所述无人驾驶设备在该节点对应时刻所处的位置与道路中心线之间的距离，以及所述无人驾驶设备在该节点对应时刻所处位置与目的地之间的距离中的至少一种；
根据所述障碍物在该叶子节点对应的时刻受所述无人驾驶设备的影响的位置以及所述无人驾驶设备在该节点对应时刻的偏离距离，确定该节点对应的奖励值。
11.一种无人驾驶设备的轨迹规划装置，其特征在于，包括：
获取模块，用于获取无人驾驶设备的行驶数据以及周围障碍物的历史轨迹；
特征提取模块，用于根据所述行驶数据以及所述历史轨迹，确定所述无人驾驶设备和所述障碍物之间的交互特征，所述交互特征用于表征在未来一段时间内，所述无人驾驶设备对所述障碍物产生的影响；
确定模块，用于根据所述交互特征，以及所述障碍物所处的位置信息，确定所述障碍物受所述无人驾驶设备影响后的位置；
规划模块，用于根据所述障碍物受所述无人驾驶设备影响后的位置，对所述无人驾驶设备在所述未来一段时间内的行驶轨迹进行规划。
12.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～10任一项所述的方法。
13.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1～10任一项所述的方法。
CN202111356621.XA 2021-11-16 2021-11-16 一种无人驾驶设备的轨迹规划方法及规划装置 Active CN114019981B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111356621.XA CN114019981B (zh) 2021-11-16 2021-11-16 一种无人驾驶设备的轨迹规划方法及规划装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111356621.XA CN114019981B (zh) 2021-11-16 2021-11-16 一种无人驾驶设备的轨迹规划方法及规划装置

Publications (2)

Publication Number Publication Date
CN114019981A true CN114019981A (zh) 2022-02-08
CN114019981B CN114019981B (zh) 2023-12-22

Family

ID=80064605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111356621.XA Active CN114019981B (zh) 2021-11-16 2021-11-16 一种无人驾驶设备的轨迹规划方法及规划装置

Country Status (1)

Country Link
CN (1) CN114019981B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229730A (zh) * 2017-12-19 2018-06-29 同济大学 一种基于模糊奖励的无人驾驶车辆轨迹生成方法
US20200097015A1 (en) * 2018-09-20 2020-03-26 Imagry (Israel) Ltd. System and method for motion planning of an autonomous driving machine
CN112306059A (zh) * 2020-10-15 2021-02-02 北京三快在线科技有限公司 一种控制模型的训练方法、控制方法以及装置
CN112721929A (zh) * 2021-01-11 2021-04-30 成都语动未来科技有限公司 一种基于搜索技术的自动驾驶车辆变道行为决策方法
CN112766468A (zh) * 2021-04-08 2021-05-07 北京三快在线科技有限公司 一种轨迹预测方法、装置、存储介质及电子设备
CN112947495A (zh) * 2021-04-25 2021-06-11 北京三快在线科技有限公司 模型训练的方法、无人驾驶设备的控制方法以及装置
CN113485383A (zh) * 2021-09-02 2021-10-08 北京三快在线科技有限公司 一种无人驾驶设备的控制方法及控制装置
CN113593228A (zh) * 2021-07-26 2021-11-02 广东工业大学 一种高速公路瓶颈区域自动驾驶协同控制方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229730A (zh) * 2017-12-19 2018-06-29 同济大学 一种基于模糊奖励的无人驾驶车辆轨迹生成方法
US20200097015A1 (en) * 2018-09-20 2020-03-26 Imagry (Israel) Ltd. System and method for motion planning of an autonomous driving machine
CN112306059A (zh) * 2020-10-15 2021-02-02 北京三快在线科技有限公司 一种控制模型的训练方法、控制方法以及装置
CN112721929A (zh) * 2021-01-11 2021-04-30 成都语动未来科技有限公司 一种基于搜索技术的自动驾驶车辆变道行为决策方法
CN112766468A (zh) * 2021-04-08 2021-05-07 北京三快在线科技有限公司 一种轨迹预测方法、装置、存储介质及电子设备
CN112947495A (zh) * 2021-04-25 2021-06-11 北京三快在线科技有限公司 模型训练的方法、无人驾驶设备的控制方法以及装置
CN113593228A (zh) * 2021-07-26 2021-11-02 广东工业大学 一种高速公路瓶颈区域自动驾驶协同控制方法
CN113485383A (zh) * 2021-09-02 2021-10-08 北京三快在线科技有限公司 一种无人驾驶设备的控制方法及控制装置

Also Published As

Publication number Publication date
CN114019981B (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN111190427B (zh) 一种轨迹规划的方法及装置
JP2022516383A (ja) 自律型車両の計画
CN112766468B (zh) 一种轨迹预测方法、装置、存储介质及电子设备
CN110262486B (zh) 一种无人驾驶设备运动控制方法及装置
CN111079721A (zh) 一种障碍物的轨迹预测方法及装置
CN113805572A (zh) 运动规划的方法与装置
CN111076739B (zh) 一种路径规划的方法及装置
CN111208838B (zh) 一种无人驾驶设备的控制方法及装置
CN113341941B (zh) 一种无人驾驶设备的控制方法及装置
CN111238523B (zh) 一种运动轨迹的预测方法及装置
CN112306059B (zh) 一种控制模型的训练方法、控制方法以及装置
CN113110526B (zh) 一种模型训练的方法、无人驾驶设备的控制方法及装置
CN113968243B (zh) 一种障碍物轨迹预测方法、装置、设备及存储介质
CN111912423B (zh) 一种预测障碍物轨迹以及模型训练的方法及装置
CN112677993A (zh) 一种模型训练的方法及装置
CN111126362A (zh) 一种预测障碍物轨迹的方法及装置
CN111123957B (zh) 一种轨迹规划的方法及装置
CN112949756A (zh) 一种模型训练以及轨迹规划的方法及装置
CN113033527A (zh) 一种场景识别方法、装置、存储介质及无人设备
CN114019971B (zh) 一种无人设备控制方法、装置、存储介质及电子设备
CN110895406A (zh) 一种基于干扰物轨迹规划的无人设备的测试方法及装置
CN114167857B (zh) 一种无人驾驶设备的控制方法及装置
CN114280960A (zh) 一种自动驾驶仿真方法、装置、存储介质及电子设备
CN114019981A (zh) 一种无人驾驶设备的轨迹规划方法及规划装置
CN112925210B (zh) 一种模型训练和控制无人设备的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant