CN115185265A - 一种用于自动驾驶的控制系统及方法 - Google Patents

Abstract

本发明公开一种用于自动驾驶的控制系统，其包括多步控制信号预测模块、轨迹预测模块以及融合模块。其中，多步控制信号预测模块用于预测未来指定时间段内的每个时间步的第一控制信号，轨迹预测模块用于预测未来指定时间段内的行驶轨迹，并根据行驶轨迹得到对应的第二控制信号，融合模块则融合第一、第二控制信号，得到第三控制信号，作为最终控制信号。

Description

一种用于自动驾驶的控制系统及方法

技术领域

本发明涉及自动驾驶技术领域，特别涉及一种用于自动驾驶的控制系统及方法。

背景技术

作为人工智能领域的热点技术，近年来，自动驾驶技术发展迅速，其已经在量产车辆上得到普及。

目前，自动驾驶大多基于视觉方案实现，主要包括间接感知型方法、直接感知型方法、以及端到端控制方法。其中，端到端控制方法是指从车身视觉传感器等采集的信号提取出高维有效特征，然后基于所述高维有效特征预测轨迹信号或控制信号。相较于其他的自动驾驶方法，端到端控制方法可以避免级联误差和复杂的人为规则指定，其更接近于人的驾驶习惯，同时开发成本较低，因此应用较为广泛。

当前的端到端控制方法可以分为两大类：第一类是首先预测一条轨迹，然后通过下游的控制器将所述轨迹转换为控制信号，第二类则是直接输出控制信号。对于第一类控制方法而言，受限于下游控制器的精度，其得到的控制信号往往难以让车辆实际驾驶出与预测得到的轨迹完全契合的轨迹，而第二类控制方法则由于其仅关注当前时刻，因此可能会出现刹车不及时导致撞车的情况。

发明内容

针对现有技术中的部分或全部问题，本发明一方面提供一种用于自动驾驶的控制系统，包括：

多步控制信号预测模块，其用于形成第一控制信号，其中所述第一控制信号的形成包括：预测未来指定时间段内的每个时间步的第一控制信号；

轨迹预测模块，其用于形成第二控制信号，其中所述第二控制信号的形成包括：预测未来指定时间段内的行驶轨迹，以及根据所述行驶轨迹得到对应的第二控制信号；以及

融合模块，其用于融合所述第一、第二控制信号，得到第三控制信号。

进一步地，所述多步信号预测模块包括：

时序模块，用于计算各时间步的环境及车辆自身信息；以及

注意力模块，用于预测各时间步的控制信号。

进一步地，所述多步信号预测模块和/或所述轨迹预测模块基于门控递归神经网络实现。

进一步地，所述第一控制信号、第二控制信号及第三控制信号包括以下信号中的至少一个：方向盘控制信号、油门控制信号以及刹车控制信号。

进一步地，所述控制系统还包括信息编码模块，其用于将系统输入信号编码为特征向量，并发送给所述多步控制信号预测模块及轨迹预测模块。

基于如前所述的控制系统，本发明另一方面还提供一种用于自动驾驶的控制方法，包括：

通过轨迹预测模块，基于2D特征图以及车辆状态特征向量预测未来指定时间段内的轨迹，并根据所述轨迹形成第二控制信号；

通过多步信号预测模块，基于2D特征图以及车辆状态特征向量预测未来指定时间段内各时间步的第一控制信号；

通过融合模块融合所述第一、第二控制信号，得到第三控制信号；以及

根据所述第三控制信号控制车辆自动驾驶。

进一步地，所述2D特征图的形成包括：

通过卷积神经网络，将输入的RGB图片转换为2D特征图。

进一步地，所述车辆状态特征向量的形成包括：

拼接输入的当前车辆速度及导航信息，并通过多层感知机将所述当前车辆速度及导航信息转换为车辆状态特征向量。

进一步地，所述轨迹的预测包括：

将所述2D特征图进行全局平局池化，并与所述车辆状态特征向量拼接，得到拼接信息；

将所述拼接信息输入多层感知机；

将所述多层感知机的输出送入门控递归神经网络，以自回归的方式预测所述未来指定时间端内各时间步的坐标；以及

将所述各时间步的坐标合并为轨迹。

进一步地，所述根据所述轨迹形成第二控制信号包括：

将所述轨迹送入横向和纵向PID控制器中，以得到第二控制信号。

进一步地，所述第一控制信号的预测包括：

通过时序模块，基于所述2D特征图以及车辆状态特征向量，得到第一隐变量，所述第一隐变量包括下一时间步的环境及车辆自身信息；

将所述第一隐变量与轨迹预测模块中对应时间步的第二隐变量，输入多层感知机，得到注意力矩阵，所述第二隐变量包括下一时间步的环境及车辆自身信息；

根据所述注意力矩阵，重新聚合所述2D特征图，并与所述第一隐变量聚合，得到表征向量；以及

基于所述表征向量，通过多层感知机形成下一时间步的第一控制信号。

进一步地，所述第三控制信号的形成包括：

根据当前环境信息及车辆自身状态，确定所述第一控制信号及第二控制信号各自的融合比例，并根据所述融合比例，融合所述第一控制信号及第二控制信号，得到第三控制信号，其中，第一、第二控制信号的融合比例之和等于100％。

进一步地，根据当前环境信息及车辆自身状态，确定融合比例包括：

若当前车辆处于转弯状态，则所述第一控制信号的融合比例高于所述第二控制信号；以及

若当前车辆处于直行状态，则所述第一控制信号的融合比例低于所述第二控制信号。

本发明提供的一种用于自动驾驶的控制系统及方法，将轨迹预测以及直接控制预测结合在一起。一方面，通过融合两种控制信号，可以有效提高最终控制信号的准确度，进而使得根据所述最终控制信号得到的实际行驶轨迹与预测轨迹更为接近。另一方面，在本发明中，直接控制预测是通过轨迹引导实现的多步控制预测，因此，其可以解决现有的直接控制预测模型中仅关注当前时刻的问题。此外，还可以根据实际情况调整两种控制信号的融合方案，以取得更有的控制效果。经验证，基于所述控制系统及方法，可在仅使用单个单目相机作为输入的情况下就取得良好的驾驶效果，大大减少碰撞及违规现象。

附图说明

为进一步阐明本发明的各实施例的以上和其它优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。在附图中，为了清楚明了，相同或相应的部件将用相同或类似的标记表示。

图1示出本发明一个实施例的一种用于自动驾驶的控制系统的结构示意图；以及

图2示出本发明一个实施例的一种用于自动驾驶的控制方法的流程示意图。

具体实施方式

以下的描述中，参考各实施例对本发明进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法一起实施各实施例。在其它情形中，未示出或未详细描述公知的操作以免模糊本发明的发明点。类似地，为了解释的目的，阐述了特定配置，以便提供对本发明的实施例的全面理解。然而，本发明并不限于这些特定细节。

在本说明书中，对“一个实施例”或“该实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。在本说明书各处中出现的短语“在一个实施例中”并不一定全部指代同一实施例。

需要说明的是，本发明的实施例以特定顺序对方法步骤进行描述，然而这只是为了阐述该具体实施例，而不是限定各步骤的先后顺序。相反，在本发明的不同实施例中，可根据实际需求来调整各步骤的先后顺序。

现有的端到端控制方法中，轨迹预测模型后续还需要控制器将轨迹转换为控制信号，目前多采用较为简单的控制器，如PID控制器实现这一功能，然而简单的控制器在轨迹变换较大时表现不佳，并且需要大量调参。而直接预测控制信号的模型仅仅关注当前时刻，存在刹车不及时导致碰撞的现象，并且帧与帧之间相互独立，导致控制不连续，抖动较大。针对两种模型的不足，本申请一方面借助轨迹预测的信息结合时序模块实现多步控制信号预测，以缓解直接预测控制信号的模型的时效性问题，另一方面结合当前状态制定融合方案，将两种模型输出的控制信号融合，进而使得根据最终控制信号行驶的轨迹更接近预测轨迹。

下面结合实施例附图，对本发明的方案作进一步描述。

图1示出本发明一个实施例的一种用于自动驾驶的控制系统的结构示意图。

如图1所示，一种用于自动驾驶的控制系统，包括多步控制信号预测模块101、轨迹预测模块102以及融合模块103。其中，所述多步控制信号预测模块101用于预测未来指定时间段内的每个时间步的第一控制信号，所述轨迹预测模块102用于预测未来指定时间段内的行驶轨迹，并根据行驶轨迹得到对应的第二控制信号，所述融合模块103则用于融合第一、第二控制信号，得到第三控制信号，作为最终控制信号。

在本发明的实施例中，术语“控制信号”主要包括方向盘控制信号、油门控制信号以及刹车控制信号，因此，如前所述的第一控制信号、第二控制信号及第三控制信号包括以下信号中的至少一个：方向盘控制信号、油门控制信号以及刹车控制信号。根据所述控制信号，可以控制车辆的行驶方向以及行驶速度，具体而言，是通过所述方向盘控制信号控制方向盘的转动角度，进而控制车辆的行驶方向，通过所述油门控制信号以及刹车控制信号分别控制油门和刹车的踩下程度，进而控制车辆的行驶速度。

在本发明的一个实施例中，所述多步控制信号预测模块101、轨迹预测模块102根据2D特征图以及车辆状态特征向量进行轨迹和/或控制信号预测。其中，所述2D特征图以及车辆状态特征向量由信息编码模块104生成。具体而言，所述信息编码模块104例如可以包括一个卷积神经网络以及一个多层感知机。其中，所述卷积神经网络用于将输入的RGB图片转换为2D特征图，以及所述多层感知机可以将拼接的输入的当前车辆速度及导航信息转换为车辆状态特征向量。其中，所述RGB图片例如可仅由单个单目相机拍摄得到。所述导航信息至少包括一个导航点坐标和一个离散的导航指令，进而可根据所述导航信息得到车辆位置、方向等信息。

在本发明的一个实施例中，所述多步信号预测模块101包括时序模块以及注意力模块。其中，所述时序模块基于门控递归神经网络(GRU)实现，在未来的第t时间步，所述时序模块的输入为当前，及第t时间步的表征向量和当前预测的控制信号，所述时序模块基于所述表征向量和控制信号推演环境和自车的交互和变化过程，并最终输出一个包含t+1时刻的环境和车辆自身信息的第一隐变量。所述注意力模块则以所述轨迹预测模块得到的轨迹信息作为引导，具体而言，是将轨迹预测模块中对应时间步的第二隐变量与所述第一隐变量聚合，再通过多层感知机预测得到一个2D的注意力矩阵，以用于重新聚合从RGB图片得到的2D特征图，进而与第一隐变量聚合成t+1时间步的表征向量。每一个时间步对应的表征向量可通过一个共享的多层感知机得到对应的第一控制信号。在本发明中，术语“表征向量”是指对应时间步的环境和车辆自身信息所转换得到的特征向量。

在本发明的一个实施例中，所述轨迹预测模块102基于门控递归神经网络(GRU)实现。具体而言，所述轨迹预测模块102可以拼接全局平局池化后的2D特征图以及车辆状态特征向量，并将拼接结果经过多层感知机后送入一个门控递归神经网络(GRU)，以自回归地方式预测未来指定时间段内每个时间步的坐标，最终进行多步坐标合并，得到预测的行驶轨迹。在本发明的一个实施例中，所述轨迹预测模块102还可进一步地将所述行驶轨迹送入横向和纵向PID控制器中得到对应的第二控制信号。

基于如前所述的控制系统，图2示出本发明一个实施例的一种用于自动驾驶的控制方法的流程示意图。如图2所示，一种用于自动驾驶的控制方法，包括：

首先，在步骤101，特征提取。通过所述信息编码模块104，对输入的RGB图像、当前车辆速度、导航信息等进行信息编码，进而提取用于轨迹和/或控制信号预测的特征。在本发明的一个实施例中，是通过卷积神经网络将输入的RGB图片转换为2D特征图。同时，将输入的当前车辆速度、导航信息拼接在一起，并输入多层感知机得到车辆状态特征向量；应当理解的是，在本发明的其他实施例中，还可以采用其他网络替代所述卷积神经网络；此外，所述输入的RGB图片可以通过单个单目相机拍摄得到，也可以是一个或多个其他传感器拍摄得到，和/或通过一定图像融合处理后得到的图片；所述导航信息则例如可以包括导航点坐标以及离散的导航指令；

接下来，在步骤102，轨迹预测。通过所述轨迹预测模块，基于2D特征图以及车辆状态特征向量预测未来指定时间段内的行驶轨迹。在本发明的一个实施例中，所述轨迹预测包括：

将所述2D特征图进行全局平局池化，并与所述车辆状态特征向量拼接，得到拼接信息；

将所述拼接信息输入多层感知机；

将所述多层感知机的输出送入门控递归神经网络，以自回归的方式预测所述未来指定时间段内各时间步的坐标，在本发明的一个实施例中，所述未来指定时间段的时长为2s，每0.5s预测一个坐标，因此，共计输出4个坐标值，应当理解的是，在本发明的其他实施例中，所述未来制定时间段的时长可以更长或更短，时间步的选取也可以不同；以及

将所述各时间步的坐标合并为行驶轨迹；

接下来，在步骤103，形成第二控制信号。根据所述行驶轨迹，转换得到第二控制信号，在本发明的一个实施例中，是将所述行驶轨迹送入横向和纵向PID控制器中得到对应的第二控制信号；

同时，在步骤104，形成第一控制信号。通过所述多步信号预测模块，基于2D特征图以及车辆状态特征向量预测未来指定时间段内各时间步的第一控制信号。在本发明的一个实施例中，所述第一控制信号的形成包括：

通过时序模块，基于所述2D特征图以及车辆状态特征向量，得到第一隐变量，所述第一隐变量包括下一时间步的环境及车辆自身信息，具体而言，在初始时间步，所述时序模块的输入为通过所述信息编码模块得到的2D特征图以及车辆状态特征向量，而在未来的第t时间步，所述时序模块的输入则包括在前一时间步，即第t-1时间步时，通过多步信号预测模块得到表征向量和预测的第一控制信号，其中，所述表征向量是指预测得到的第t时间步的环境、车辆自身信息对应的特征向量；

将所述第一隐变量与轨迹预测模块中对应时间步的第二隐变量聚合，输入多层感知机，得到注意力矩阵，其中，所述第二隐变量是指通过所述轨迹预测模块得到的下一时间步的环境及车辆自身信息；

根据所述注意力矩阵，重新聚合所述2D特征图，并与所述第一隐变量聚合，得到表征向量；以及

基于所述表征向量，通过多层感知机形成下一时间步的第一控制信号。

在本发明的实施例中，通过所述多步信号预测模块预测得到的每一步的第一控制信号和表征向量都会受到专家模型的真值监督，从而使得所述多步信号预测模块在一个较短时间范围内具有一定时序关联推理能力，如当前要做出何种控制预测才能使未来环境和自车状态与专家模型相似；以及

最后，在步骤105，融合控制信号。通过融合模块融合所述第一、第二控制信号，得到第三控制信号，并根据所述第三控制信号控制车辆自动驾驶。在获得了分别来自轨迹预测模块和多步信号预测模块的第二、第一控制信号后，可根据当前状态判断当前更有优势的模块，并在结合二者时让优势模块所占比重更大。也就是说，可以根据当前环境信息及车辆自身状态，确定所述第一控制信号及第二控制信号各自的融合比例，并根据所述融合比例，融合所述第一控制信号及第二控制信号，得到第三控制信号，其中，第一、第二控制信号的融合比例之和等于100％。根据实验和先验知识，在车辆转弯时所述多部信号预测模块更占优势，而直行时轨迹预测模块更占优势，基于此，在本发明的一个实施例中，根据当前车辆方向盘角度判读是否正在转弯，若当前车辆处于转弯状态时，使得所述第一控制信号的融合比例高于所述第二控制信号，例如第一控制信号的融合比例为70％，而第二控制信号的融合比例为30％；以及若当前车辆处于直行状态，则使得所述第一控制信号的融合比例低于所述第二控制信号。

所述控制系统及方法将轨迹预测和直接控制预测结合在一个统一框架中，并提出了轨迹引导的多步控制预测方案，缓解了直接控制预测模型中只关注当前时刻的问题，并结合两个模块的结果，达到取长补短的效果。经验证，在仅使用单个单目相机作为输入的仿真驾驶环境，所述控制系统及方法仍可取得最好的驾驶效果，大大减少了碰撞和违规现象。通过在自动驾驶仿真器Carla中的大量测试实验验证了所述控制系统及方法的有效性，在Carla官方的自动驾驶榜单上取得了第一的驾驶分数。

尽管上文描述了本发明的各实施例，但是，应该理解，它们只是作为示例来呈现的，而不作为限制。对于相关领域的技术人员显而易见的是，可以对其做出各种组合、变型和改变而不背离本发明的精神和范围。因此，此处所公开的本发明的宽度和范围不应被上述所公开的示例性实施例所限制，而应当仅根据所附权利要求书及其等同替换来定义。

Claims (13)

1.一种用于自动驾驶的控制系统，其特征在于，包括：

多步控制信号预测模块，其被配置为预测未来指定时间段内的每个时间步的第一控制信号；

轨迹预测模块，其被配置为预测未来指定时间段内的行驶轨迹，并根据所述行驶轨迹得到对应的第二控制信号；以及

融合模块，其被配置为融合所述第一、第二控制信号以得到第三控制信号。

2.如权利要求1所述的控制系统，其特征在于，所述多步信号预测模块包括：

时序模块，其被配置为计算各时间步的环境及车辆自身信息；以及

注意力模块，其被配置为根据所述环境及车辆自身信息预测第二控制信号。

3.如权利要求1所述的控制系统，其特征在于，所述多步信号预测模块和/或所述轨迹预测模块基于门控递归神经网络实现。

4.如权利要求1所述的控制系统，其特征在于，所述第一控制信号、第二控制信号及第三控制信号包括以下信号中的至少一个：方向盘控制信号、油门控制信号以及刹车控制信号。

5.如权利要求1所述的控制系统，其特征在于，还包括信息编码模块，其被配置为将系统输入信号编码为特征向量，并发送给所述多步控制信号预测模块及轨迹预测模块，其中系统输入信号包括RGB图像以及当前车辆速度及导航信息。

6.一种用于自动驾驶的控制方法，其特征在于，包括步骤：

通过轨迹预测模块，基于2D特征图以及车辆状态特征向量预测未来指定时间段内的行驶轨迹，并根据所述行驶轨迹形成第二控制信号；

通过多步信号预测模块，基于2D特征图以及车辆状态特征向量预测未来指定时间段内各时间步的第一控制信号；

通过融合模块融合所述第一、第二控制信号，得到第三控制信号；以及

根据所述第三控制信号控制车辆自动驾驶。

7.如权利要求6所述的控制方法，其特征在于，所述2D特征图的形成包括：

通过卷积神经网络，将输入的RGB图片转换为2D特征图。

8.如权利要求6所述的控制方法，其特征在于，所述车辆状态特征向量的形成包括：

拼接输入的当前车辆速度及导航信息，并通过多层感知机将所述当前车辆速度及导航信息转换为车辆状态特征向量。

9.如权利要求6所述的控制方法，其特征在于，所述行驶轨迹的预测包括：

将所述2D特征图进行全局平局池化，并与所述车辆状态特征向量拼接，得到拼接信息；

将所述拼接信息输入多层感知机；

将所述多层感知机的输出送入门控递归神经网络，以自回归的方式预测所述未来指定时间段内各时间步的坐标；以及

将所述各时间步的坐标合并为行驶轨迹。

10.如权利要求6所述的控制方法，其特征在于，所述根据所述行驶轨迹形成第二控制信号包括：

将所述行驶轨迹送入横向和纵向PID控制器中，以得到第二控制信号。

11.如权利要求6所述的控制方法，其特征在于，所述第一控制信号的预测包括：

通过时序模块，基于所述2D特征图以及车辆状态特征向量，得到第一隐变量，所述第一隐变量包括下一时间步的环境及车辆自身信息；

将所述第一隐变量与轨迹预测模块中对应时间步的第二隐变量，输入多层感知机，得到注意力矩阵，所述第二隐变量包括下一时间步的环境及车辆自身信息；

根据所述注意力矩阵，重新聚合所述2D特征图，并与所述第一隐变量聚合，得到表征向量；以及

基于所述表征向量，通过多层感知机形成下一时间步的第一控制信号。

12.如权利要求6所述的控制方法，其特征在于，所述第三控制信号的形成包括：

根据当前环境信息及车辆自身状态，确定所述第一控制信号及第二控制信号各自的融合比例，并根据所述融合比例，融合所述第一控制信号及第二控制信号，得到第三控制信号，其中，第一、第二控制信号的融合比例之和等于100％。

13.如权利要求12所述的控制方法，其特征在于，根据当前环境信息及车辆自身状态，确定融合比例包括：

若当前车辆处于转弯状态，则所述第一控制信号的融合比例高于所述第二控制信号；以及

若当前车辆处于直行状态，则所述第一控制信号的融合比例低于所述第二控制信号。

Images