CN110843794A

CN110843794A - 驾驶场景理解方法、装置和轨迹规划方法、装置

Info

Publication number: CN110843794A
Application number: CN202010039506.9A
Authority: CN
Inventors: 丁曙光; 靳越翔; 樊明宇; 任冬淳
Original assignee: Beijing Sankuai Online Technology Co Ltd
Current assignee: Beijing Sankuai Online Technology Co Ltd
Priority date: 2020-01-15
Filing date: 2020-01-15
Publication date: 2020-02-28
Anticipated expiration: 2040-01-15
Also published as: CN110843794B; US20210213961A1

Abstract

本申请公开了驾驶场景理解方法、装置和轨迹规划方法、装置。所述驾驶场景理解方法包括：从人类驾驶员的驾驶行为中识别出应激性驾驶行为；确定识别出的各应激性驾驶行为的类别；根据所述应激性驾驶行为、应激性驾驶行为的类别以及与应激性驾驶行为对应的驾驶场景信息，确定与各类应激性驾驶行为对应的目标物；根据所述目标物完成驾驶场景理解。其有益效果在于，在场景理解时引入应激性的概念，从而在驾驶场景理解过程中，基于人类驾驶员对于驾驶设备的操控进行有效学习，具体地对应激性驾驶行为进行识别分析并对相应的目标物进行标注，提升了自动驾驶设备的驾驶场景的场景理解水平，有助于自动驾驶设备的轨迹规划，保障平稳安全的行驶。

Description

驾驶场景理解方法、装置和轨迹规划方法、装置

技术领域

本申请涉及场景理解领域，具体涉及驾驶场景理解方法、装置和轨迹规划方法、装置。

背景技术

场景理解（scene understanding）主要关注驾驶场景中的目标检索、检测、场景分割等，对实现自动驾驶设备的自动驾驶具有重要作用，可以将从多个传感器的场景感知数据转化为自主运动的决策依据。自动驾驶设备在场景理解的基础上可以做出行为决策、局部运动规划等，最终实现自动驾驶设备的自动智能驾驶。现有技术场景理解中无法针对有效目标进行标注，因而造成标注成本过高，算法过于复杂，场景理解难度大。

发明内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的驾驶场景理解方法、装置和轨迹规划方法、装置。

依据本申请的一个方面，提供了一种驾驶场景理解方法，包括：

从人类驾驶员的驾驶行为中识别出应激性驾驶行为；

确定识别出的各应激性驾驶行为的类别；

根据所述应激性驾驶行为、应激性驾驶行为的类别以及与应激性驾驶行为对应的驾驶场景信息，确定与各类应激性驾驶行为对应的目标物；所述驾驶场景信息包括如下的至少一种：参考轨迹，实际行驶轨迹，静态障碍物信息，动态障碍物信息，道路信息；

根据所述目标物完成驾驶场景理解。

可选地，所述从人类驾驶员的驾驶行为中识别出应激性驾驶行为包括：

获取具有时间序列的人类驾驶员的驾驶行为数据；所述驾驶行为数据包括车辆的速度和车辆的方向盘转角；

利用搜索网络从所述驾驶行为数据中搜索出具备第一特征的驾驶行为数据作为应激性驾驶行为数据。

可选地，所述确定识别出的各应激性驾驶行为的类别包括：

利用分类网络识别所述应激性驾驶行为数据的第二特征，依据识别出的第二特征为所述应激性驾驶行为数据打上类别标签；

所述类别标签包括如下的至少一种：停车，跟车，超车，避让。

可选地，所述根据所述应激性驾驶行为、应激性驾驶行为的类别以及与应激性驾驶行为对应的驾驶场景信息，确定与各类应激性驾驶行为对应的目标物包括：

根据应激性驾驶行为的类别，利用注意力网络对各应激性驾驶行为进行相应的注意力处理；

基于经过注意力处理后的应激性驾驶行为和应激性驾驶行为对应的驾驶场景信息确定目标物，并利用责任敏感安全模块对各目标物进行安全距离识别；

将安全距离小于预设值的目标物打上注意力标签。

可选地，所述根据应激性驾驶行为的类别，利用注意力网络对各应激性驾驶行为进行相应的注意力处理包括如下的至少一种：

对于停车类型的应激性驾驶行为，在车辆行驶方向上检索是否存在交通信号灯，若存在，则直接将交通信号灯作为目标物打上注意力标签，若不存在，则注意力加在车辆周围；

对于超车类型的应激性驾驶行为，注意力加在车辆的前方与侧方；

对于跟车类型的应激性驾驶行为，注意力加在车辆的前方；

对于避让类型的应激性驾驶行为，注意力加在车辆的后方与侧方。

可选地，所述驾驶场景信息至少包含图像帧形式的信息，所述根据所述目标物完成驾驶场景理解包括：

利用卷积神经网络对包含所述目标物的图像帧进行卷积处理，提取出与所述目标物对应的图像特征；

利用长短期记忆网络，基于所述图像特征为各图像帧分配权重，根据光流法和分配权重后的图像帧捕获所述目标物的动作特征；

基于所述目标物的动作特征，确定目标物的语义描述信息作为驾驶场景理解结果。

依据本申请的另一方面，提供了一种轨迹规划方法，应用于自动驾驶设备的轨迹规划模块中，包括：

获取驾驶场景信息，所述驾驶场景信息包括如下的至少一种：参考轨迹，实际行驶轨迹，静态障碍物信息，动态障碍物信息，道路信息；

利用轨迹规划模型和所述驾驶场景信息进行轨迹规划；其中，所述轨迹规划模型所使用的训练数据是利用如上述任一项所述的驾驶场景理解方法得到的驾驶场景理解结果进行分类和/或标注的。

依据本申请的又一个方面，提供了一种驾驶场景理解装置，包括：

识别单元，用于从人类驾驶员的驾驶行为中识别出应激性驾驶行为；

理解单元，用于确定识别出的各应激性驾驶行为的类别；根据所述应激性驾驶行为、应激性驾驶行为的类别以及与应激性驾驶行为对应的驾驶场景信息，确定与各类应激性驾驶行为对应的目标物；所述驾驶场景信息包括如下的至少一种：参考轨迹，实际行驶轨迹，静态障碍物信息，动态障碍物信息，道路信息；根据所述目标物完成驾驶场景理解。

可选地，所述识别单元，用于获取具有时间序列的人类驾驶员的驾驶行为数据；所述驾驶行为数据包括车辆的速度和车辆的方向盘转角；利用搜索网络从所述驾驶行为数据中搜索出具备第一特征的驾驶行为数据作为应激性驾驶行为数据。

可选地，所述理解单元，用于利用分类网络识别所述应激性驾驶行为数据的第二特征，依据识别出的第二特征为所述应激性驾驶行为数据打上类别标签；所述类别标签包括如下的至少一种：停车，跟车，超车，避让。

可选地，所述理解单元，用于根据应激性驾驶行为的类别，利用注意力网络对各应激性驾驶行为进行相应的注意力处理；基于经过注意力处理后的应激性驾驶行为和应激性驾驶行为对应的驾驶场景信息确定目标物，并利用责任敏感安全模块对各目标物进行安全距离识别；将安全距离小于预设值的目标物打上注意力标签。

可选地，所述理解单元，用于对于停车类型的应激性驾驶行为，在车辆行驶方向上检索是否存在交通信号灯，若存在，则直接将交通信号灯作为目标物打上注意力标签，若不存在，则注意力加在车辆周围；对于超车类型的应激性驾驶行为，注意力加在车辆的前方与侧方；对于跟车类型的应激性驾驶行为，注意力加在车辆的前方；对于避让类型的应激性驾驶行为，注意力加在车辆的后方与侧方。

可选地，所述驾驶场景信息至少包含图像帧形式的信息，所述理解单元，用于利用卷积神经网络对包含所述目标物的图像帧进行卷积处理，提取出与所述目标物对应的图像特征；利用长短期记忆网络，基于所述图像特征为各图像帧分配权重，根据光流法和分配权重后的图像帧捕获所述目标物的动作特征；基于所述目标物的动作特征，确定目标物的语义描述信息作为驾驶场景理解结果。

依据本申请的又一方面，提供了一种轨迹规划装置，应用于自动驾驶设备的轨迹规划模块中，包括：

获取单元，用于获取驾驶场景信息，所述驾驶场景信息包括如下的至少一种：参考轨迹，实际行驶轨迹，静态障碍物信息，动态障碍物信息，道路信息；

模型单元，用于利用轨迹规划模型和所述驾驶场景信息进行轨迹规划；其中，所述轨迹规划模型所使用的训练数据是利用如上任一项所述的驾驶场景理解装置得到的驾驶场景理解结果进行分类和/或标注的。

依据本申请的再一方面，提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的驾驶场景理解方法或自动驾驶设备的轨迹规划方法。

依据本申请的再一方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的驾驶场景理解方法或自动驾驶设备的轨迹规划方法。

由上述可知，本申请的技术方案，通过从人类驾驶员的驾驶行为中识别出应激性驾驶行为；确定识别出的各应激性驾驶行为的类别；根据所述应激性驾驶行为、应激性驾驶行为的类别以及与应激性驾驶行为对应的驾驶场景信息，确定与各类应激性驾驶行为对应的目标物；根据所述目标物完成驾驶场景理解。其有益效果在于，在场景理解时引入应激性的概念，从而在驾驶场景理解过程中，基于人类驾驶员对于驾驶设备的操控进行有效学习，具体地对应激性驾驶行为进行识别分析并对相应的目标物进行标注，提升了自动驾驶设备的驾驶场景的场景理解水平，有助于自动驾驶设备的轨迹规划，保障平稳安全的行驶。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本申请一个实施例的一种驾驶场景理解方法的流程示意图；

图2示出了根据本申请一个实施例的一种轨迹规划方法的流程示意图；

图3示出了根据本申请一个实施例的一种驾驶场景理解装置的结构示意图；

图4示出了根据本申请一个实施例的一种轨迹规划装置的结构示意图；

图5示出了根据本申请一个实施例的驾驶场景理解网络框架结构示意图；

图6示出了根据本申请一个实施例的电子设备的结构示意图；

图7示出了根据本申请一个实施例的计算机可读存储介质的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

在解决驾驶场景理解问题时，还尝试了如下的方式，但都存在一些弊端。下面简单进行介绍：

一种方式下，为实现自动化的对场景进行理解，可以采用针对自动驾驶设备周边目标物进行标注和分析。但是这种方式的弊端在于，标注过程中会将许多无用的、或者对无人车的驾驶行为并不会产生影响的目标信息进行标注，如可能会对在人行道中与车辆同向行进的行人同时进行标注。

另一种方式下，也可以针对结合交通规则来对自动驾驶设备驾驶视频中的驾驶行为决策进行理解。但是这种方式的弊端在于，在实际复杂的路况下可能无法基于纯逻辑化的规则进行场景理解。

再一种方式下，还可以通过基于注意力机制的自动驾驶场景理解，人为的对人类驾驶员驾驶过程中注意的目标进行标注，使无人车从人类驾驶员的关注方式来理解场景，但是这种方式的弊端在于，人类驾驶员的视野具有局限性，无法将无人车的传感器性能发挥到极致，而且存在人工标注的成本过大的问题。

结合上述分析，本申请提供了一种自动驾驶设备场景理解的方式，对人类驾驶员的停车，跟车，避让等应激性行为进行分析，仅对造成该行为的目标（原因）进行标注，可以显著降低目标标注的算法复杂度，可以根据驾驶行为去理解场景，自动驾驶设备不会被过于逻辑化的规则所限制，在面对复杂的道路情况下有较好的鲁棒性，可以在出现应激性驾驶行为时对该行为进行分类处理，并根据分类标注出造成该行为的原因，从而降低了人工标注的成本并且克服了人类视野的局限性问题。并且，得到的驾驶场景理解结果也可以用于训练数据的分类、标注，以训练轨迹规划模型，使得自动驾驶设备可以更好地应用于物流、外卖配送等业务领域中。以下结合具体实施例来对本申请的技术方案进行详细阐述。

图1示出了根据本申请一个实施例的一种驾驶场景理解方法的流程示意图。如图1所示，该驾驶场景理解方法包括：

步骤S110，从人类驾驶员的驾驶行为中识别出应激性驾驶行为。

应激性是指是指生物体能接受外界刺激产生合目的的反应，在本申请的实施例中，主要指人类驾驶员在驾驶汽车时，根据场景提供的信息刺激而产生的反应，例如停车、跟车、避让等，则相应的驾驶行为就是应激性驾驶行为。

人类驾驶员在正常的驾驶过程中，通常不会长时间处于应激性驾驶状态，因此驾驶行为的选取应当具有适当性，例如，早晚高峰期时，可能存在较长时间的堵车状态而造成较长时间的跟车状态，在高速路上驾驶时，可能出现车辆保持长时间直线行驶状态。这些状态下的驾驶行为单一，以此为基础可能识别不出应激性驾驶行为，或者效果较差，参考数据有可能造成处理效率的下降，因而在获取驾驶行为数据时可以排除此类驾驶行为数据，适当选取驾驶行为。

步骤S120，确定识别出的各应激性驾驶行为的类别。

停车，跟车，避让等应激性驾驶行为具有不同的行为特征，可以依据这些行为特征之间的区别将它们划分至不同的类别。这样，就可以便利于针对不同类别的应激性驾驶行为进行不同分析，以确定不同驾驶场景下需要关注的不同目标物。

步骤S130，根据应激性驾驶行为、应激性驾驶行为的类别以及与应激性驾驶行为对应的驾驶场景信息，确定与各类应激性驾驶行为对应的目标物；驾驶场景信息包括如下的至少一种：参考轨迹，实际行驶轨迹，静态障碍物信息，动态障碍物信息，道路信息。

这里，参考轨迹、实际行驶轨迹等信息是从驾驶场景信息的内容维度上进行举例说明，而具体的信息可以以不同的形式进行记载，例如，可以在图像中标注出障碍物，也可以以结构化数据记载道路信息具体为高速路还是城市道路等。

步骤S140，根据目标物完成驾驶场景理解。

根据应激性驾驶行为、应激性驾驶行为的所属类别，可以从与应激性驾驶行为对应的驾驶场景中识别出与各类应激性驾驶行为对应的目标物。例如，以倒车为例，可以从与倒车这一类别的应激性驾驶行为对应的倒车需要参考的前后车辆、障碍物等目标物。这些各类应激性驾驶行为对应的目标物对于自动驾驶设别来说是周边的驾驶场景。综合这些驾驶行为对应的目标物便可以全面反映出自动驾驶设备的驾驶场景。本申请实施例得到的驾驶场景理解结果可以是目标物在一段时间区间内的状态变化和对驾驶行为的影响等。

可见，如图1所示的驾驶场景理解方法，在场景理解时引入应激性的概念，从而在驾驶场景理解过程中，基于人类驾驶员对于驾驶设备的操控进行有效学习，具体地对应激性驾驶行为进行识别分析并对相应的目标物进行标注，提升了自动驾驶设备的驾驶场景的场景理解水平，有助于自动驾驶设备的轨迹规划，保障平稳安全的行驶，在物流、外卖配送等领域有较好的应用。

在本申请的一个实施例中，上述驾驶场景理解方法中，从人类驾驶员的驾驶行为中识别出应激性驾驶行为包括：获取具有时间序列的人类驾驶员的驾驶行为数据；驾驶行为数据包括车辆的速度和车辆的方向盘转角；利用搜索网络从驾驶行为数据中搜索出具备第一特征的驾驶行为数据作为应激性驾驶行为数据。

图5示出了根据本申请一个实施例的驾驶场景理解网络框架结构示意图。其中，驾驶场景的理解可以借助行为网络与理解网络共同实现，其中行为网络可以包括搜索网络、分类网络和注意力网络，理解网络可以通过长短期记忆网络实现。行为网络输入端可以输入驾驶行为数据具体包括车辆的速度、方向盘转角等，由于停车、换道等应激性驾驶行为对应的速度、方向盘转角具有较为明显的特征，因此可以基于这一特点进行搜索，得到应激性驾驶行为数据。

从数据化的角度来看，驾驶行为数据是按照时间先后顺序产生的，则驾驶行为B是具有时间序列的驾驶行为，具体可以包括自动驾驶设备的速度v，方向盘转向θ等，那么可以利用搜索网络从驾驶行为数据中搜索出速度v或是方向盘转向θ符合第一特征的驾驶行为数据作为应激性驾驶行为数据，第一特征具体可以是速度的变化量特征或是方向盘转向角变化量特征等。当输入驾驶行为B，搜索网络可以输出驾驶行为的一段区间内的驾驶行为。搜索网络可以根据驾驶行为中v和θ的变化特征，将驾驶时出现的应激性驾驶行为基于时间序列划分出来，即

。其中为应激性行为的起始时间，

为应激性行为的终止时间。

在本申请的一个实施例中，上述驾驶场景理解方法中，确定识别出的各应激性驾驶行为的类别包括：利用分类网络识别应激性驾驶行为数据的第二特征，依据识别出的第二特征为应激性驾驶行为数据打上类别标签；类别标签包括如下的至少一种：停车，跟车，超车，避让。

分类网络是可以根据数据特征对数据进行分类的节点网络。如图5所示，可以利用行为分类网络识别应激性驾驶行为数据的第二特征，第二特征可以是变化趋势特征，例如可以基于驾驶行为中v和θ的变化趋势，将应急性驾驶行为分为停车，跟车，超车，避让等类别并打上相应标签，如将具备v持续下降直至零的应激性驾驶行为特征的应激性驾驶行为确定为停车并打上停车标签，将具备v快速下降到一定值后变为较稳定行驶一段时间且θ不变的应激性驾驶行为特征确定为跟车，并打上跟车标签，将具备v与θ在短时间内先上升后下降的应激性驾驶行为特征的应激性驾驶行为特征确定为超车，并打上跟车标签超车，将具备v下降或者θ变化的应激性驾驶行为特征的应激性驾驶行为特征确定为避让，并打上避让标签。例如，当输入起始时间

到终止时间

区间的驾驶行为，则可以输出包含分类信息的驾驶行为区间

，其中class代表应激性驾驶行为的类别标签。这样，就实现了对各应激性驾驶行为根据第二特征不同进行相应的分类。

在本申请的一个实施例中，上述驾驶场景理解方法中，根据应激性驾驶行为、应激性驾驶行为的类别以及与应激性驾驶行为对应的驾驶场景信息，确定与各类应激性驾驶行为对应的目标物包括：根据应激性驾驶行为的类别，利用注意力网络对各应激性驾驶行为进行相应的注意力处理；基于经过注意力处理后的应激性驾驶行为和应激性驾驶行为对应的驾驶场景信息确定目标物，并利用责任敏感安全模块对各目标物进行安全距离识别；将安全距离小于预设值的目标物打上注意力标签。

注意力网络利用注意力机制的选择性地关注所有信息的一部分，同时忽略其他可见的信息而建立的网络节点。可以根据应激性驾驶行为的类别对驾驶数据D

做不同的注意力处理。注意力网络可以使用RSS安全模块，根据自动驾驶设备的当前速度v，转角θ来计算车辆与周围环境中各物体的安全距离。RSS模块 (Responsibility Sensitive Safety) 是责任敏感安全模块，是通过数学的方式来界定“安全状态”以避免事故的模型。将RSS模块输出的距离作为输入，将比车辆安全距离小的物体打上注意力标签Attention。为了更好的对应激性驾驶行为进行预警以及规避风险的操作处理，可以利用责任敏感安全模块、对经过注意力处理后的应激性驾驶行为、对与应激性驾驶行为对应的驾驶场景中的各目标物进行安全距离识别，预设一定的安全距离阈值，当安全距离小于预设阈值时，将对应的目标物打上注意力标签，以优化算法，提高场景理解的效率、准确性和可靠性。

在人类驾驶员驾驶过程中，当出现路况变化、驾驶周边车辆环境改变等情况时，人类驾驶员会根据具体情形做出应激行为从而迅速调整车辆驾驶状态，例如，在跟车状态下，如果距离前车距离过近，或者车辆相较于前车速度过快等情况时会做出减慢车速、拉大与前车距离以保持安全距离。本申请的技术方案，就是参照了人类驾驶环境做出应激性驾驶行为，引入利用注意力网络、责任安全模块对不同应激性驾驶行为的类别进行相应的处理，以实现场景理解的目的。

在本申请的一个实施例中，上述驾驶场景理解方法中，根据应激性驾驶行为的类别，利用注意力网络对各应激性驾驶行为进行相应的注意力处理包括如下的至少一种：对于停车类型的应激性驾驶行为，在车辆行驶方向上检索是否存在交通信号灯，若存在，则直接将交通信号灯作为目标物打上注意力标签，若不存在，则注意力加在车辆周围；对于超车类型的应激性驾驶行为，注意力加在车辆的前方与侧方；对于跟车类型的应激性驾驶行为，注意力加在车辆的前方；对于避让类型的应激性驾驶行为，注意力加在车辆的后方与侧方。

在停车时，注意力机制首先从车辆行驶方向探索交通灯信息，如果有交通灯则将交通信号灯作为目标物打上注意力标签；如果没有交通灯时，则注意力加在车辆周围可以将根据RSS模块判断车辆周边的障碍物，标注出安全距离内的物体。在超车时，注意力加在车辆的前方与侧方，注意力机制从车辆前方与侧方进行RSS模块的运算，可以标注出若干个基于安全距离最近的物体。在跟车时，注意力加在车辆的前方，注意力机制仅从车辆前方进行RSS模块的运算，可以标注出若干个基于安全距离最近的物体。在避让车辆时，注意力加在车辆的后方与侧方，可以从车辆后方与侧方进行RSS模块的运算，标注出若干个基于安全距离最近的物体。这样，就可以根据不同的应激性驾驶行为进行相应的注意力处理。

在本申请的一个实施例中，上述驾驶场景理解的方法中，驾驶场景信息至少包含图像帧形式的信息，根据目标物完成驾驶场景理解包括：利用卷积神经网络对包含目标物的图像帧进行卷积处理，提取出与目标物对应的图像特征；利用长短期记忆网络，基于图像特征为各图像帧分配权重，根据光流法和分配权重后的图像帧捕获目标物的动作特征；基于目标物的动作特征，确定目标物的语义描述信息作为驾驶场景理解结果。

为了更准确高效的对目标物的图像视频数据进行分析，可以利用卷积神经网络（CNN）对包含目标物的图像帧进行卷积处理。卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一，可以对像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程要求。卷积神经网络可以提取出与目标物对应的图像并对特征进行分析处理。

长短期记忆网络（简称LSTM，Long Short-Term Memory）是一种时间循环神经网络，适合于处理和预测时间序列中间隔和延迟非常长的重要事件可作为复杂的非线性单元，因此可以利用长短期记忆网络构造更大型深度神经网络。光流法可以用来描述相对于观察者的运动所造成的观测目标、表面或边缘的运动，在样型识别、计算机视觉以及其他影像处理领域中有重要作用，广泛用于运动检测、物件切割、碰撞时间与物体膨胀的计算、运动补偿编码，或者通过物体表面与边缘进行立体的测量等领域。因此可以利用长短期记忆网络，基于图像特征为各图像帧分配权重，根据光流法和分配权重后的图像帧捕获目标物的动作特征，基于目标物的动作特征确定出目标物的语义描述信息作为驾驶场景理解结果。如图5所示，经过行为网络中的搜索网络、分类网络，注意力网络处理后输出的数据，可以作为理解网络的输入。理解网络将行为网络的输出作为输入，卷积神经网络CNN对不同帧的进行并行卷积处理，提取出注意力机制Attention目标的特征作为长短期记忆网络LSTM的输入。长短期记忆网络LSTM基于这些特征以及在图像中的位置等信息给每帧分配不同的权重，并借助光流法捕获注意力机制Attention目标的动作特征。整个理解网络最终输出为不同注意力机制Attention目标的语义描述。

例如，卷积神经网络CNN对不同帧的进行并行卷积处理，提取出Attention目标的特征作为LSTM的输入，LSTM基于这些特征以及在图像中的位置等信息给每帧分配不同的权重，并借助光流法捕获注意力机制Attention目标的动作特征，最终输出为不同注意力机制Attention目标的语义描述。这样，就实现了对驾驶场景的理解。

图2示出了根据本申请一个实施例的一种轨迹规划方法的流程示意图，该轨迹规划方法可以应用于自动驾驶设备的轨迹规划模块中，如图2所示，该轨迹规划方法包括：

步骤S210，获取驾驶场景信息，驾驶场景信息包括如下的至少一种：参考轨迹，实际行驶轨迹，静态障碍物信息，动态障碍物信息，道路信息。

这里仍然是从内容的角度进行举例说明，并且各类信息也可以统一融合到指定地图格式中以便进行后续的轨迹规划。

例如，自动驾驶设备的传感器可以采集出自动驾驶设备周边各种物体的图像信息、视频信息、距离信息等，综合这些传感器采集的信息，可以反映出自动驾驶设备所处的场景，从而为自动驾驶设备的轨迹规划提供数据基础。

步骤S220，利用轨迹规划模型和驾驶场景信息进行轨迹规划；其中，轨迹规划模型所使用的训练数据是利用如上述任一实施例所述的驾驶场景理解方法得到的驾驶场景理解结果进行分类和/或标注的。

轨迹规划模型的训练可以参照现有技术实现，在此不再详述，而前述的驾驶场景理解为训练提供的助力在于对训练数据的分类以及标注。例如，不需要人工对目标物进行标注，避免了人类视野的局限性和降低人工成本；分类结果更考虑到了应激性，使得轨迹规划更加能够学习到人类驾驶员所做出的正向示范。

图3示出了根据本申请一个实施例的一种驾驶场景理解装置的结构示意图。如图3所示，驾驶场景理解装置300包括：

识别单元310，用于从人类驾驶员的驾驶行为中识别出应激性驾驶行为。

理解单元320，用于确定识别出的各应激性驾驶行为的类别；根据应激性驾驶行为、应激性驾驶行为的类别以及与应激性驾驶行为对应的驾驶场景信息，确定与各类应激性驾驶行为对应的目标物；驾驶场景信息包括如下的至少一种：参考轨迹，实际行驶轨迹，静态障碍物信息，动态障碍物信息，道路信息；根据目标物完成驾驶场景理解。

可见，如图3所示的驾驶场景理解装置，在场景理解时引入应激性的概念，从而在驾驶场景理解过程中，基于人类驾驶员对于驾驶设备的操控进行有效学习，具体地对应激性驾驶行为进行识别分析并对相应的目标物进行标注，提升了自动驾驶设备的驾驶场景的场景理解水平，有助于自动驾驶设备的轨迹规划，保障平稳安全的行驶，在物流、外卖配送等领域有较好的应用。

在本申请的一个实施例中，上述驾驶场景理解装置中，识别单元310，用于获取具有时间序列的人类驾驶员的驾驶行为数据；驾驶行为数据包括车辆的速度和车辆的方向盘转角；利用搜索网络从驾驶行为数据中搜索出具备第一特征的驾驶行为数据作为应激性驾驶行为数据。

在本申请的一个实施例中，上述驾驶场景理解装置中，理解单元320，用于利用分类网络识别应激性驾驶行为数据的第二特征，依据识别出的第二特征为应激性驾驶行为数据打上类别标签；类别标签包括如下的至少一种：停车，跟车，超车，避让。

在本申请的一个实施例中，上述驾驶场景理解装置中，理解单元320，用于根据应激性驾驶行为的类别，利用注意力网络对各应激性驾驶行为进行相应的注意力处理；基于经过注意力处理后的应激性驾驶行为和应激性驾驶行为对应的驾驶场景信息确定目标物，并利用责任敏感安全模块对各目标物进行安全距离识别；将安全距离小于预设值的目标物打上注意力标签。

在本申请的一个实施例中，上述驾驶场景理解装置中，理解单元320，用于对于停车类型的应激性驾驶行为，在车辆行驶方向上检索是否存在交通信号灯，若存在，则直接将交通信号灯作为目标物打上注意力标签，若不存在，则注意力加在车辆周围；对于超车类型的应激性驾驶行为，注意力加在车辆的前方与侧方；对于跟车类型的应激性驾驶行为，注意力加在车辆的前方；对于避让类型的应激性驾驶行为，注意力加在车辆的后方与侧方。

在本申请的一个实施例中，上述驾驶场景理解装置中，驾驶场景信息至少包含图像帧形式的信息，理解单元320，用于利用卷积神经网络对包含目标物的图像帧进行卷积处理，提取出与目标物对应的图像特征；利用长短期记忆网络，基于图像特征为各图像帧分配权重，根据光流法和分配权重后的图像帧捕获目标物的动作特征；基于目标物的动作特征，确定目标物的语义描述信息作为驾驶场景理解结果。

图4示出了根据本申请一个实施例的一种轨迹规划装置的结构示意图，该轨迹规划装置可以应用于自动驾驶设备的轨迹规划模块中。如图4所示，轨迹规划装置400包括：

获取单元410，用于获取驾驶场景信息，驾驶场景信息包括如下的至少一种：参考轨迹，实际行驶轨迹，静态障碍物信息，动态障碍物信息，道路信息。

模型单元420，用于利用轨迹规划模型和驾驶场景信息进行轨迹规划；其中，轨迹规划模型所使用的训练数据是利用如上任一项所述的驾驶场景理解装置得到的驾驶场景理解结果进行分类和/或标注的。

需要说明的是，上述各装置实施例的具体实施方式可以参照前述对应方法实施例的具体实施方式进行，在此不再赘述。

综上所述，本申请的技术方案，通过从人类驾驶员的驾驶行为中识别出应激性驾驶行为；确定识别出的各应激性驾驶行为的类别；根据所述应激性驾驶行为、应激性驾驶行为的类别以及与应激性驾驶行为对应的驾驶场景信息，确定与各类应激性驾驶行为对应的目标物；根据所述目标物完成驾驶场景理解。其有益效果在于，在场景理解时引入应激性的概念，从而在驾驶场景理解过程中，基于人类驾驶员对于驾驶设备的操控进行有效学习，具体地对应激性驾驶行为进行识别分析并对相应的目标物进行标注，提升了自动驾驶设备的驾驶场景的场景理解水平，有助于自动驾驶设备的轨迹规划，保障平稳安全的行驶。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本申请实施例的驾驶场景理解装置和轨迹规划装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

例如，图6示出了根据本申请一个实施例的电子设备的结构示意图。该电子设备600包括处理器610和被安排成存储计算机可执行指令（计算机可读程序代码）的存储器620。存储器620可以是诸如闪存、EEPROM（电可擦除可编程只读存储器）、EPROM、硬盘或者ROM之类的电子存储器。存储器620具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码631的存储空间630。例如，用于存储计算机可读程序代码的存储空间630可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码631。计算机可读程序代码631在实现自动驾驶设备的轨迹规划方法时，电子设备600可以具体是自动驾驶设备。计算机可读程序代码631可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘（CD）、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图7所述的计算机可读存储介质。图7示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质700存储有用于执行根据本申请的方法步骤的计算机可读程序代码631，可以被电子设备600的处理器610读取，当计算机可读程序代码631由电子设备600运行时，导致该电子设备600执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码631可以执行上述任一实施例中示出的方法。计算机可读程序代码631可以以适当形式进行压缩。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims

1.一种驾驶场景理解方法，包括：

从人类驾驶员的驾驶行为中识别出应激性驾驶行为；

确定识别出的各应激性驾驶行为的类别；

根据所述目标物完成驾驶场景理解。

2.如权利要求1所述的方法，其特征在于，所述从人类驾驶员的驾驶行为中识别出应激性驾驶行为包括：

3.如权利要求2所述的方法，其特征在于，所述确定识别出的各应激性驾驶行为的类别包括：

4.如权利要求1所述的方法，其特征在于，所述根据所述应激性驾驶行为、应激性驾驶行为的类别以及与应激性驾驶行为对应的驾驶场景信息，确定与各类应激性驾驶行为对应的目标物包括：

将安全距离小于预设值的目标物打上注意力标签。

5.如权利要求4所述的方法，其特征在于，所述根据应激性驾驶行为的类别，利用注意力网络对各应激性驾驶行为进行相应的注意力处理包括如下的至少一种：

对于跟车类型的应激性驾驶行为，注意力加在车辆的前方；

6.如权利要求1-5中任一项所述的方法，其特征在于，所述驾驶场景信息至少包含图像帧形式的信息，所述根据所述目标物完成驾驶场景理解包括：

7.一种轨迹规划方法，应用于自动驾驶设备的轨迹规划模块中，包括：

利用轨迹规划模型和所述驾驶场景信息进行轨迹规划；其中，所述轨迹规划模型所使用的训练数据是利用如权利要求1-6中任一项所述的方法得到的驾驶场景理解结果进行分类和/或标注的。

8.一种驾驶场景理解装置，包括：

9.一种轨迹规划装置，应用于自动驾驶设备的轨迹规划模块中，包括：

模型单元，用于利用轨迹规划模型和所述驾驶场景信息进行轨迹规划；其中，所述轨迹规划模型所使用的训练数据是利用如权利要求8所述的驾驶场景理解装置得到的驾驶场景理解结果进行分类和/或标注的。

10.一种电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1-6中任一项所述的方法，或者，使所述处理器执行如权利要求7所述的方法。

11.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1-6中任一项所述的方法，或者，实现如权利要求7所述的方法。