CN112829747A - 一种驾驶行为决策方法、装置及存储介质 - Google Patents

Abstract

本发明提供一种驾驶行为决策方法、装置及存储介质，其中，方法包括如下步骤：获取自动驾驶车辆行驶信息以及所述自动驾驶车辆目标范围内的其他车辆行驶信息；将所述自动驾驶车辆行驶信息以及所述自动驾驶车辆目标范围内的其他车辆行驶信息输入至预先训练好的第一驾驶决策模型，得到驾驶行为决策，所述驾驶行为决策包括车辆并线或者跟车行驶。通过实施本发明，可以使得自动驾驶车辆根据周围环境情况模拟人类驾驶员的驾驶逻辑，根据探测到的环境有利因素选择并线行驶或者跟车行驶，从而形成新的、更高效的驾驶路径，提高了自动驾驶车辆驾驶行为的灵活性。

Description

一种驾驶行为决策方法、装置及存储介质

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种驾驶行为决策方法、装置及存储介质。

背景技术

自动驾驶行为决策的研究是机器人运动路径规划研究的一个延展分支。路径规划问题最早出现于20世纪60年代末的人工智能机器人领域，特指考虑移动主体和障碍物之间的几何关系，找到一条不发生碰撞的静态路径，通常表示轮式移动机器人在笛卡尔坐标下位置和姿态的关系。但在自动驾驶车辆的场景应用中，由于场景环境复杂多变，障碍物分布变化频繁，运动轨迹规划概念萌生。运动轨迹规划是在静态路径规划的基础上考虑时间因素和车辆的运动学、动力学约束条件，并根据车辆当前位姿以及周围环境的状态信息，结合车辆内在约束条件和车辆运动学、动力学约束条件对轨迹生成的影响，规划出可行的参考轨迹。

相关技术中，当多个行车道进行同向行驶时，对于人类驾驶员，在发现相邻车道交通流更快时，会选择并线进行汇入，而自动驾驶车辆基于固定的宏观路径规划策略会选择在本车道内以跟车模式行驶。由此可见，自动驾驶车辆无法根据探测到的环境有利因素改变驾驶行为，从而形成新的、更高效的驾驶路径，因此亟需提出一种驾驶行为决策方法以解决自动驾驶车辆驾驶行为不够灵活的问题。

发明内容

有鉴于此，本发明实施例提供了一种驾驶行为决策方法、装置及存储介质，以解决现有技术中自动驾驶车辆驾驶行为不够灵活的缺陷。

根据第一方面，本发明实施例提供一种驾驶行为决策方法，包括如下步骤：获取自动驾驶车辆行驶信息以及所述自动驾驶车辆目标范围内的其他车辆行驶信息；将所述自动驾驶车辆行驶信息以及所述自动驾驶车辆目标范围内的其他车辆行驶信息输入至预先训练好的第一驾驶决策模型，得到驾驶行为决策，所述驾驶行为决策包括车辆并线或者跟车行驶，所述第一驾驶决策模型根据人类驾驶员的车辆行驶信息训练而成。

可选地，驾驶行为决策方法还包括：当所述驾驶行为决策为车辆并线，将所述自动驾驶车辆行驶信息以及所述自动驾驶车辆目标范围内的其他车辆行驶信息输入至预先训练好的第二驾驶决策模型，得到自动驾驶车辆进行并线驾驶的指导数据，所述第二驾驶决策模型根据人类驾驶员在进行并线过程中的车辆行驶信息训练而成。

可选地，所述预先训练好的第一驾驶决策模型的构建方式包括：获取多个驾驶场景下人类驾驶员的车辆行驶信息以及所述车辆目标范围内的其他车辆行驶信息；将所述多个驾驶场景下人类驾驶员的车辆行驶信息以及与所述车辆目标范围内的其他车辆行驶信息输入第一神经网络进行强化学习，得到第一驾驶决策模型。

可选地，所述预先训练好的第二驾驶决策模型的构建方式包括：获取多个驾驶场景下人类驾驶员采取并线的车辆行驶信息以及所述车辆目标范围内的其他车辆行驶信息；将所述车辆并线的车辆行驶信息以及所述车辆目标范围内的其他车辆行驶信息输入第二神经网络进行强化学习，得到第二驾驶决策模型。

可选地，所述预先训练好的第二驾驶决策模型的构建方式包括：获取车辆行驶信息以及所述车辆目标范围内的其他车辆行驶信息；划分所述车辆行驶信息中的平均加速度，得到不同的激进度标签；将采取并线的车辆行驶信息、所述车辆目标范围内的其他车辆行驶信息以及激进度标签输入第二神经网络模型进行训练，得到第二驾驶决策模型。

可选地，所述预先训练好的第一驾驶决策模型的构建方式包括：获取不同场景下人类驾驶员的车辆行驶信息，得到在不同场景下车辆驾驶进行并线操作的概率；将所述并线操作的概率作为第一神经网络的权值系数。

可选地，驾驶行为决策方法还包括：当自动驾驶车辆根据所述并线驾驶的指导数据执行并线行驶操作发生事故时，记录执行并线行驶操作时的车辆行驶信息以及所述车辆目标范围内的其他车辆行驶信息；将所述车辆行驶信息以及所述车辆目标范围内的其他车辆行驶信息，对事故原因进行分析；根据事故原因，确定事故数据集作为训练样本；将所述训练样本作为新的训练数据，重新对第一驾驶决策模型和第二驾驶决策模型进行训练。

根据第二方面，本发明实施例提供一种驾驶行为决策装置，包括：信息获取模块，用于获取自动驾驶车辆行驶信息以及所述自动驾驶车辆目标范围内的其他车辆行驶信息；驾驶行为决策模块，用于将所述自动驾驶车辆行驶信息以及所述自动驾驶车辆目标范围内的其他车辆行驶信息输入至预先训练好的第一驾驶决策模型，得到驾驶行为决策，所述驾驶行为决策包括车辆并线或者跟车行驶，所述第一驾驶决策模型根据人类驾驶员的车辆行驶信息训练而成。

根据第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面或第一方面任一实施方式所述的驾驶行为决策方法的步骤。

根据第四方面，本发明实施例提供一种存储介质，其上存储有计算机指令，该指令被处理器执行时实现第一方面或第一方面任一实施方式所述的驾驶行为决策方法的步骤。

本发明技术方案，具有如下优点：

本实施例提供的驾驶行为决策方法/装置，通过获取自动驾驶车辆行驶信息以及自动驾驶车辆目标范围内的其他车辆行驶信息，并将这些信息输入至预先根据人类驾驶员的驾驶数据训练好的驾驶决策模型中，使得自动驾驶车辆可以根据周围环境情况模拟人类驾驶员的驾驶逻辑，可以根据探测到的环境有利因素选择并线行驶或者跟车行驶，从而形成新的、更高效的驾驶路径，提高了自动驾驶车辆驾驶行为的灵活性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中驾驶行为决策方法的一个具体示例的流程图；

图2为本发明实施例中驾驶行为决策装置的一个具体示例原理框图；

图3为本发明实施例中电子设备的一个具体示例的原理框图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本实施例提供一种驾驶行为决策方法，如图1所示，包括如下步骤：

S101，获取自动驾驶车辆行驶信息以及自动驾驶车辆目标范围内的其他车辆行驶信息。

示例性地，自动驾驶车辆行驶信息包括车辆的行驶速度、加速度、坐标数据；目标范围可以是以自动驾驶为中心，前、后、左、右、前左、前右、后左、后右八个方向的相邻车辆所在的范围，自动驾驶车辆目标范围内的其他车辆行驶信息包括与自动驾驶车辆之间的车间距、速度、加速度、相邻车辆坐标数据等。获取自动驾驶车辆行驶信息的方式可以是从车载系统中采集行驶信息，获取自动驾驶车辆目标范围内的其他车辆行驶信息可以是通过自动驾驶车辆上自带的传感器获取，也可以是预先在道路中铺设构建车－路－云联网系统，通过车端、路端进行车辆动态信息实时监测，进行高速信息交互得到。本实施例对自动驾驶车辆行驶信息以及自动驾驶车辆目标范围内的其他车辆行驶信息的具体内容以及获取方式不做限定，本领域技术人员可以根据需要确定。

S102，将自动驾驶车辆行驶信息以及自动驾驶车辆目标范围内的其他车辆行驶信息输入至预先训练好的第一驾驶决策模型，得到驾驶行为决策，驾驶行为决策包括车辆并线或者跟车行驶，第一驾驶决策模型根据人类驾驶员的车辆行驶信息训练而成。

示例性地，在第一驾驶决策模型中可以预先存入人类常用的驾驶行为数据作为先验数据，驾驶行为数据包括：加速、匀速、减速、加速并线、匀速并线、减速并线、左转、右转八个基本驾驶行为。这八种驾驶行为的分类主要是为了区分人类驾驶员的基本驾驶习惯。驾驶行为的判别根据人类驾驶车辆的车辆行驶信息确定，车辆行驶信息包括：车辆速度、加速度(油门、刹车控制)、位置坐标(油门、刹车、方向盘转角控制)。根据某一个驾驶行为从开始到完成的时间段中速度、加速度和位置坐标的变换即可辨别出人类驾驶员的驾驶行为。对于驾驶行为选择固定采样点△t，假设驾驶行为从时间t0进行至tN，记录人类驾驶员车辆速度数据v1至vN、加速度数据a1至aN和坐标位置组合(x1，y1)至(xN，yN)。对于车辆行驶的坐标系，不采用大地坐标系，而采用依据车辆行驶道路的轨迹坐标系(自动驾驶车辆循迹算法常用坐标系)。即正x方向为道路指向方向，y轴为垂直于道路指向方向的轴。因此轨迹坐标系包含x坐标，y坐标，以及道路曲率三个数据。第一驾驶决策模型根据坐标数据可勾画出行驶路径从而初步判断驾驶行为(直行、转弯、并线)。根据加速度、速度数据可知道具体的驾驶行为。对于转向驾驶行为，一般来说，人类驾驶员会采取较为匀速的转向操作，因此对于转向操作中转向为主要驾驶行为的分类区别，而加速、减速、或匀速操作不纳入驾驶行为类别。下表1列出了基本的驾驶行为判别标准。若车辆直线行驶过程中，由于路面因素导致数据振动，则设置阈值上限以区别驾驶行为。例如车辆坐标信息中若垂直车道坐标y小半个车道宽度，则认为车辆仍进行直线行驶。

表1

由于不同的驾驶场景具有不同的特征，对于车辆在道路区域内的互动模式均存在较大差异，因此，在训练神经网络模型时，需要采集不同的驾驶场景下人类驾驶员在遵守交通规则情况下根据环境变化而自主选择道路时的车辆行驶信息，比如同向行驶时的车辆行驶信息、交叉路口混合行驶的车辆行驶信息、环岛交汇的车辆行驶信息、红绿灯路口车灯变黄后，车辆是否通过路口的车辆行驶信息、前车需进行左、右转弯，后车是否采取变道寻求其他通行道路行驶的的车辆行驶信息等等。第一驾驶决策模型的训练方法可以是获取多个驾驶场景下人类驾驶员的车辆行驶信息以及车辆目标范围内的其他车辆行驶信息；将多个驾驶场景下人类驾驶员的车辆行驶信息以及与车辆目标范围内的其他车辆行驶信息输入第一神经网络进行强化学习，得到第一驾驶决策模型。其中，人类驾驶员车辆行驶信息包括人类驾驶员所驾驶的速度、加速度等；其他车辆行驶信息包括其他车辆与人类驾驶员驾驶的车辆之间的车距、周围车辆的速度、加速度等等。第一驾驶决策模型能够根据上述数据自动识别出人类驾驶人员在各种环境，各种情况下的驾驶行为，并进行强化学习，得到驾驶行为决策，也即得到在何种情况下人类驾驶员会采取跟车，或者何种情况下人类驾驶员采取并线。

本实施例提供的驾驶行为决策方法，通过获取自动驾驶车辆行驶信息以及自动驾驶车辆目标范围内的其他车辆行驶信息，并将这些信息输入至预先根据人类驾驶员的驾驶数据训练好的驾驶决策模型中，使得自动驾驶车辆可以根据周围环境情况模拟人类驾驶员的驾驶逻辑，可以根据探测到的环境有利因素选择并线行驶或者跟车行驶，从而形成新的、更高效的驾驶路径，提高了自动驾驶车辆驾驶行为的灵活性。

作为本实施例一种可选的实施方式，驾驶行为决策方法还包括：当驾驶行为决策为车辆并线，将自动驾驶车辆行驶信息以及自动驾驶车辆目标范围内的其他车辆行驶信息输入至预先训练好的第二驾驶决策模型，得到自动驾驶车辆进行并线驾驶的指导数据，第二驾驶决策模型根据人类驾驶员在进行并线过程中的车辆行驶信息训练而成。

示例性地，第二驾驶决策模型进行训练的方法可以是随机获取多个驾驶场景下人类驾驶员在进行车辆并线的车辆行驶信息以及车辆目标范围内的其他车辆行驶信息；将车辆并线的车辆行驶信息以及车辆目标范围内的其他车辆行驶信息输入第二神经网络进行强化学习，得到第二驾驶决策模型。

人类驾驶员在进行车辆并线时的车辆行驶信息包括在采取并线驾驶行为操作整个过程中产生的自车坐标、速度、加速度数据；车辆目标范围内的其他车辆行驶信息包括相邻车辆的环境信息(车间距、邻车速度、加速度、坐标)等。第二驾驶决策模型可以根据这些信息学习人类驾驶员在不同情况下进行并线时采取的并线驾驶速度、加速度、并线路线等等，以指导自动驾驶车辆进行并线操作。

当自动驾驶车辆的驾驶行为决策是要进行车辆并线时，可以获取自动驾驶车辆行驶信息以及前、后、左、右、前左、前右、后左、后右八个方向的相邻车辆所在的范围内的其他车辆行驶信息，自动驾驶车辆行驶信息包括车辆本申的加速度、速度、车辆位置等；其他车辆的车辆行驶信息包括其他车辆与自动驾驶车辆之间的车间距、速度、加速度、相邻车辆的相对坐标数据等。自动驾驶车辆可以将这些数据输入第二驾驶决策模型，以得到自动驾驶车辆进行并线操作的指导数据，包括并线的速度、并线的轨迹等等。

本实施例提供的驾驶行为决策方法，通过获取自动驾驶车辆的车辆行驶信息以及周围的其他车辆的行驶数据，输入至预先训练好的第二驾驶决策模型中，对采取并线操作的车辆进行进一步地指导，使得车辆采取并线时更加智能，通过学习人类驾驶员的驾驶数据，能够提高自动驾驶车辆并线过程中的安全性。

作为本实施例一种可选的实施方式，所述预先训练好的第二驾驶决策模型的构建方式包括：

首先，获取车辆行驶信息以及所述车辆目标范围内的其他车辆行驶信息；具体获取方式见上述对应部分，此处不再赘述。

其次，划分车辆行驶信息中的平均加速度，得到不同的激进度标签；

示例性地，对于车辆并线驾驶行为可根据车辆在执行并线驾驶行为整个过程中的加速度变化曲线计算平均加速度。平均加速度为根据时间积分的加速度变化曲线与并线操作的总时间的比值。划分车辆行驶信息中的平均加速度，得到不同的激进度标签的方式可以是以不变道跟车情况下的平均加速度作为正常激烈程度，设置不同的阈值区分不同的激进度，比如，在高于平均加速度5％，则标记为较激进，高于平均加速度10％，则标记为激进，高于平均加速度15％，则标记为极度激进。本实施例对激进度标签的划分方式不做限定，本领域技术人员可以根据需要确定。

再次，将采取并线的车辆行驶信息、所述车辆目标范围内的其他车辆行驶信息以及激进度标签输入第二神经网络模型进行训练，得到第二驾驶决策模型。

示例性地，将采取并线的车辆行驶信息、车辆目标范围内的其他车辆行驶信息以及激进度标签输入第二神经网络模型进行训练的方式可以是根据梯度下降方法进行训练，当损失函数小于预定阈值，则得到第二驾驶决策模型，本实施例对具体的训练方式不做限定，本领域技术人员可以根据需要确定。该模型的输出包括激进度，以指导车辆根据激进度进行驾驶。

作为本实施例一种可选的实施方式，预先训练好的第一驾驶决策模型的构建方式包括：获取不同场景下人类驾驶员的车辆行驶信息，得到在不同场景下车辆驾驶进行并线操作的概率；将所述并线操作的概率作为第一神经网络的权值系数。

示例性地，在构建第一驾驶决策模型时，可以统计不同车辆在不同场景下的驾驶行为，构建人类驾驶员并线操作概率模型，根据并线操作概率模型，得到在何种相邻车辆与目标车辆的相对动态状态下，车辆有多大的概率选择并线。此概率值可作为第一神经网络隐藏层的权值系数，将并线操作的概率考虑进第一神经网络进行训练。

本实施例提供的驾驶行为决策方法，通过统计人类驾驶员在不同场景下的并线操作的概率，并将并线操作的概率作为影响驾驶行为决策的因素，使自动驾驶车辆的驾驶行为决策结果更加安全，更加拟人化。

作为本实施例一种可选的实施方式，驾驶行为决策方法，还包括：

首先，当自动驾驶车辆根据所述并线驾驶的指导数据执行并线行驶操作发生事故时，记录执行并线行驶操作时的车辆行驶信息以及所述车辆目标范围内的其他车辆行驶信息；

示例性地，为了对驾驶行为决策方法的效果进行验证，可以将该方法应用到自动驾驶车辆进行实际驾驶。当自动驾驶车辆在某一场景下，根据给出的并线驾驶决策以及进行并线驾驶的指导数据进行并线操作发生事故时，则记录进行并线行驶操作时的车辆行驶信息以及所述车辆目标范围内的其他车辆行驶信息。

在进行实际验证时，可以选取任意场景，在该场景下加入其他自动驾驶车辆进行驾驶环境的真实模拟，为了使验证过程更接近真实驾驶过程，可以在自动驾驶车辆中安装预先建立的拟人化的驾驶员避让模型。驾驶员避让模型的输入层数据包括避让的人类驾驶员的速度、加速度、坐标数据、与前车间距、插入车速度、加速度、坐标信息等等；输出层为前车插入过程中的避让驾驶员车辆加速度、速度。驾驶员避让模型根据插入车辆的插入行为(插入车辆动态数据)以及未插入时与前车的间距(环境信息)和对应的避让行为(刹车减速度数据)进行训练得到。

其次，根据所述车辆行驶信息以及所述车辆目标范围内的其他车辆行驶信息，对事故原因进行分析；根据事故原因，确定事故数据集作为训练样本；将所述训练样本作为新的训练数据，重新对第一驾驶决策模型和第二驾驶决策模型进行训练。

示例性地，针对于事故发生时，需分析事故车辆在整个驾驶行为过程中的车辆行驶信息以及车辆目标范围内的其他车辆行驶信息，找出事故原因，其中包括整个过程中两车的相对位置数据，两车各自的速度、加速度数据。比对自动驾驶车辆与相邻车辆动态状态和相对位置与训练第一驾驶决策模型和第二驾驶决策模型时所用的实际道路人类驾驶员车辆与相邻车辆动态状态和相对位置，以及比对人类驾驶员和引发事故车辆的驾驶行为可得知事故原因。分析的方式可以是预先建立的分析模型，本实施例对分析方式不做限定，本领域技术人员可以根据需要确定。当分析出原因，并确认在该情况下不应采取并线操作时，可以将该事故数据输入第一驾驶决策模型以及第二驾驶决策模型进行再次训练。

本实施例提供的驾驶行为决策方法，通过对事故数据的收集与分析，形成训练样本，能够反复训练驾驶决策模型，使其不断修正，优化，提高了驾驶决策模型的准确性，并且，在确定发生事故的训练样本时，对原因进行分析，可以有效避免由于其他车辆的失误导致事故发生，所产生的事故数据作为训练样本，进一步提高了模型的准确性。

本实施例提供一种驾驶行为决策装置，如图2所示，包括：

信息获取模块201，用于获取自动驾驶车辆行驶信息以及所述自动驾驶车辆目标范围内的其他车辆行驶信息；具体内容参见上述方法实施例对应部分，再次不再赘述。

驾驶行为决策模块202，用于将所述自动驾驶车辆行驶信息以及所述自动驾驶车辆目标范围内的其他车辆行驶信息输入至预先训练好的第一驾驶决策模型，得到驾驶行为决策，所述驾驶行为决策包括车辆并线或者跟车行驶，第一驾驶决策模型根据人类驾驶员的车辆行驶信息训练而成。具体内容参见上述方法实施例对应部分，再次不再赘述。

本实施例提供的驾驶行为决策装置，通过获取自动驾驶车辆行驶信息以及自动驾驶车辆目标范围内的其他车辆行驶信息，并将这些信息输入至预先根据人类驾驶员的驾驶数据训练好的驾驶决策模型中，使得自动驾驶车辆可以根据周围环境情况模拟人类驾驶员的驾驶逻辑，可以根据探测到的环境有利因素选择并线行驶或者跟车行驶，从而形成新的、更高效的驾驶路径，提高了自动驾驶车辆驾驶行为的灵活性。

作为本实施例一种可选的实施方式，所述驾驶行为决策装置，还包括：

并线指导数据确定模块，用于当所述驾驶行为决策为车辆并线，将所述自动驾驶车辆行驶信息以及所述自动驾驶车辆目标范围内的其他车辆行驶信息输入至预先训练好的第二驾驶决策模型，得到自动驾驶车辆进行并线驾驶的指导数据，第二驾驶决策模型根据人类驾驶员在进行并线过程中的车辆行驶信息训练而成。具体内容参见上述方法实施例对应部分，再次不再赘述。

作为本实施例一种可选的实施方式，所述驾驶行为决策模块202包括：

第一数据获取模块，用于获取多个驾驶场景下人类驾驶员的车辆行驶信息以及所述车辆目标范围内的其他车辆行驶信息；具体内容参见上述方法实施例对应部分，再次不再赘述。

第一驾驶决策模型训练模块，用于将所述多个驾驶场景下人类驾驶员的车辆行驶信息以及与所述车辆目标范围内的其他车辆行驶信息输入第一神经网络进行强化学习，得到第一驾驶决策模型。具体内容参见上述方法实施例对应部分，再次不再赘述。

作为本实施例一种可选的实施方式，并线指导数据确定模块包括：

第二数据获取模块，用于获取采取并线的车辆行驶信息以及所述车辆目标范围内的其他车辆行驶信息；具体内容参见上述方法实施例对应部分，再次不再赘述。

第二驾驶决策模型训练模块，用于将所述车辆并线的车辆行驶信息以及所述车辆目标范围内的其他车辆行驶信息输入第二神经网络进行强化学习，得到第二驾驶决策模型。具体内容参见上述方法实施例对应部分，再次不再赘述。

作为本实施例一种可选的实施方式，并线指导数据确定模块包括：

第三数据获取模块，用于获取车辆行驶信息以及所述车辆目标范围内的其他车辆行驶信息；具体内容参见上述方法实施例对应部分，再次不再赘述。

激进度划分模块，用于划分所述车辆行驶信息中的平均加速度，得到不同的激进度标签；具体内容参见上述方法实施例对应部分，再次不再赘述。

第二驾驶决策模型确定模块，将采取并线的车辆行驶信息、所述车辆目标范围内的其他车辆行驶信息以及激进度标签输入第二神经网络模型进行训练，得到第二驾驶决策模型。具体内容参见上述方法实施例对应部分，再次不再赘述。

作为本实施例一种可选的实施方式，所述驾驶行为决策模块202包括：

第四数据获取模块，用于获取不同场景下人类驾驶员的车辆行驶信息，得到在不同场景下车辆驾驶进行并线操作的概率；具体内容参见上述方法实施例对应部分，再次不再赘述。

权值系数确定模块，用于将所述并线操作的概率作为第一神经网络的权值系数。具体内容参见上述方法实施例对应部分，再次不再赘述。

作为本实施例一种可选的实施方式，驾驶行为决策装置还包括：

数据记录模块，用于当自动驾驶车辆根据所述并线驾驶的指导数据执行并线行驶操作发生事故时，记录执行并线行驶操作时的车辆行驶信息以及所述车辆目标范围内的其他车辆行驶信息；具体内容参见上述方法实施例对应部分，再次不再赘述。

原因分析模块，用于将所述车辆行驶信息以及所述车辆目标范围内的其他车辆行驶信息，对事故原因进行分析；具体内容参见上述方法实施例对应部分，再次不再赘述。

训练样本确定模块，用于根据事故原因，确定事故数据集作为训练样本；具体内容参见上述方法实施例对应部分，再次不再赘述。

再训练模块，用于将所述训练样本作为新的训练数据，重新对第一驾驶决策模型和第二驾驶决策模型进行训练。具体内容参见上述方法实施例对应部分，再次不再赘述。

本申请实施例还提供一种电子设备，如图3所示，处理器310和存储器320，其中处理器310和存储器320可以通过总线或者其他方式连接。

处理器310可以为中央处理器(Central Processing Unit，CPU)。处理器310还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器320作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的驾驶行为决策方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理。

存储器320可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器320可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器320中，当被所述处理器310执行时，执行如图1所示实施例中的驾驶行为决策方法。

上述电子设备的具体细节可以对应参阅图1所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

本实施例还提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例1中驾驶行为决策方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种驾驶行为决策方法，其特征在于，包括如下步骤：

获取自动驾驶车辆行驶信息以及所述自动驾驶车辆目标范围内的其他车辆行驶信息；

将所述自动驾驶车辆行驶信息以及所述自动驾驶车辆目标范围内的其他车辆行驶信息输入至预先训练好的第一驾驶决策模型，得到驾驶行为决策，所述驾驶行为决策包括车辆并线或者跟车行驶，所述第一驾驶决策模型根据人类驾驶员的车辆行驶信息训练而成。

2.根据权利要求1所述的方法，其特征在于，还包括：

当所述驾驶行为决策为车辆并线，将所述自动驾驶车辆行驶信息以及所述自动驾驶车辆目标范围内的其他车辆行驶信息输入至预先训练好的第二驾驶决策模型，得到自动驾驶车辆进行并线驾驶的指导数据，所述第二驾驶决策模型根据人类驾驶员在进行并线过程中的车辆行驶信息训练而成。

3.根据权利要求1所述的方法，其特征在于，所述预先训练好的第一驾驶决策模型的构建方式包括：

获取多个驾驶场景下人类驾驶员的车辆行驶信息以及所述车辆目标范围内的其他车辆行驶信息；

将所述多个驾驶场景下人类驾驶员的车辆行驶信息以及与所述车辆目标范围内的其他车辆行驶信息输入第一神经网络进行强化学习，得到第一驾驶决策模型。

4.根据权利要求2所述的方法，其特征在于，所述预先训练好的第二驾驶决策模型的构建方式包括：

获取多个驾驶场景下人类驾驶员采取并线的车辆行驶信息以及所述车辆目标范围内的其他车辆行驶信息；

将所述车辆并线的车辆行驶信息以及所述车辆目标范围内的其他车辆行驶信息输入第二神经网络进行强化学习，得到第二驾驶决策模型。

5.根据权利要求2所述的方法，其特征在于，所述预先训练好的第二驾驶决策模型的构建方式包括：

获取车辆行驶信息以及所述车辆目标范围内的其他车辆行驶信息；

划分所述车辆行驶信息中的平均加速度，得到不同的激进度标签；

将采取并线的车辆行驶信息、所述车辆目标范围内的其他车辆行驶信息以及激进度标签输入第二神经网络模型进行训练，得到第二驾驶决策模型。

6.根据权利要求3所述的方法，其特征在于，所述预先训练好的第一驾驶决策模型的构建方式包括：

获取不同场景下人类驾驶员的车辆行驶信息，得到在不同场景下车辆驾驶进行并线操作的概率；

将所述并线操作的概率作为第一神经网络的权值系数。

7.根据权利要求2所述的方法，其特征在于，还包括：

当自动驾驶车辆根据所述并线驾驶的指导数据执行并线行驶操作发生事故时，记录执行并线行驶操作时的车辆行驶信息以及所述车辆目标范围内的其他车辆行驶信息；

将所述车辆行驶信息以及所述车辆目标范围内的其他车辆行驶信息，对事故原因进行分析；

根据事故原因，确定事故数据集作为训练样本；

将所述训练样本作为新的训练数据，重新对第一驾驶决策模型和第二驾驶决策模型进行训练。

8.一种驾驶行为决策装置，其特征在于，包括：

信息获取模块，用于获取自动驾驶车辆行驶信息以及所述自动驾驶车辆目标范围内的其他车辆行驶信息；

驾驶行为决策模块，用于将所述自动驾驶车辆行驶信息以及所述自动驾驶车辆目标范围内的其他车辆行驶信息输入至预先训练好的第一驾驶决策模型，得到驾驶行为决策，所述驾驶行为决策包括车辆并线或者跟车行驶，所述第一驾驶决策模型根据人类驾驶员的车辆行驶信息训练而成。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1－7任一所述的驾驶行为决策方法的步骤。

10.一种存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1－7任一所述的驾驶行为决策方法的步骤。

Images