CN115761429A - 车辆轨迹预测方法和装置、轨迹预测模型训练方法和装置 - Google Patents

Abstract

公开了一种车辆轨迹预测方法和装置、轨迹预测模型训练方法和装置，涉及神经网络技术领域。该方法包括：获取前一帧图像的隐藏状态信息以及当前帧图像；基于轨迹预测模型中的第一特征融合层对当前帧图像和前一帧图像的隐藏状态信息进行融合得到第一特征图；基于轨迹预测模型中的第一卷积神经网络层对第一特征图处理得到重置信息；基于轨迹预测模型中的第二卷积神经网络层对第一特征图处理得到更新信息；基于轨迹预测模型中的预测层对重置信息和更新信息进行处理，得到预测帧图像。本公开通过运算量较小的卷积神经网络层得到重置信息和更新信息，再根据重置信息和更新信息得到预测图像帧，能够提高车辆轨迹预测的预测速度和预测效率。

Description

车辆轨迹预测方法和装置、轨迹预测模型训练方法和装置

技术领域

本申请涉及机器学习领域，尤其涉及一种车辆轨迹预测方法和装置、轨迹预测模型训练方法和装置。

背景技术

为了更好的实现自动驾驶，车辆的自动驾驶控制装置(例如车载电脑)需要对车辆的轨迹进行合理预测。在对车辆的轨迹进行预测时，需要对车辆的历史轨迹信息进行充分理解，才能保证预测出车辆轨迹的准确性。基于此，目前大多以长短期记忆网络(longshort-term memory，LSTM)作为模型基础，训练得到能够预测车辆轨迹的轨迹预测模型。但是，基于长短期记忆网络的设计，其计算量较大，轨迹预测效率较低。

发明内容

现有的车辆轨迹预测使用的是LSTM模型为基础训练得到的轨迹预测模型，计算量较大，轨迹预测效率较低。

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种车辆轨迹预测方法和装置、轨迹预测模型训练方法和装置。本申请提供的轨迹预测方案中，在基于前一帧图像的隐藏状态信息和当前帧图像进行车辆轨迹预测时，通过运算量较小的卷积神经网络层得到重置信息和更新信息，并根据重置信息和更新信息得到预测图像帧，因此能够提高车辆轨迹预测的预测速度和预测效率。

根据本申请的一个方面，提供了一种车辆轨迹预测方法，包括：首先获取前一帧图像的隐藏状态信息以及当前帧图像；然后，基于轨迹预测模型中的第一特征融合层对当前帧图像和前一帧图像的隐藏状态信息进行融合，得到第一特征图；之后，基于轨迹预测模型中的第一卷积神经网络层对第一特征图进行处理，得到重置信息；第一卷积神经网络层包括第一激活函数；同时，基于轨迹预测模型中的第二卷积神经网络层对第一特征图进行处理，得到更新信息，第二卷积神经网络层包括第二激活函数；最后，基于轨迹预测模型中的预测层对重置信息、更新信息、当前图像帧和前一帧图像的隐藏状态信息进行处理，得到预测帧图像。

基于上述方案，在基于前一帧图像的隐藏状态信息和当前帧图像进行车辆轨迹预测时，重置信息和更新信息均是通过卷积神经网络层得到的。与GRU的重置信息和更新信息是基于全连接网络层得到的相比，由于卷积神经网络层的运算量较全连接网络层的运算量小。因此在对车辆轨迹进行预测时，通过卷积神经网络层确定重置信息和更新信息，能够提高车辆轨迹预测的预测速度和预测效率。而GRU是在LSTM的基础上进行结构简化得到的，相比于LSTM，GRU的运算量更小。因此相比于LSTM，本申请提供的车辆轨迹预测方法在对车辆轨迹进行预测时，能够进一步提高车辆轨迹预测的预测速度和预测效率。

根据本申请的一个方面，提供了一种轨迹预测模型训练方法，包括：首先，获取多组样本图像和样本图像一一对应的第一轨迹图像。其中，样本图像包括第二轨迹图像的隐藏状态信息和第三轨迹图像；第二轨迹图像为车辆轨迹视频序列中第三轨迹图像的前一帧轨迹图像，第一轨迹图像为车辆轨迹视频序列中第三轨迹图像的下一帧轨迹图像。之后，基于初始轨迹预测模型中的第一特征融合层对第三轨迹图像和第二轨迹图像的隐藏状态信息进行融合，得到第一训练特征图。之后，基于初始轨迹预测模型中的第一卷积神经网络层对第一训练特征图进行处理，得到训练重置信息，第一卷积神经网络层包括第一激活函数。与此同时，基于初始轨迹预测模型中的第二卷积神经网络层对第一训练特征图进行处理，得到训练更新信息，第二卷积神经网络层包括第二激活函数。然后，基于初始轨迹预测模型中的预测层对训练重置信息、训练更新信息、第二轨迹图像的隐藏状态信息和第三轨迹图像进行处理，得到初始预测帧图像。最后，以初始预测帧图像作为初始轨迹预测模型的初始训练输出，第一轨迹图像作为监督信息，迭代训练初始轨迹预测模型得到训练后的轨迹预测模型。

基于上述技术方案，在训练轨迹预测模型时，由于训练重置信息和训练更新信息均是通过卷积神经网络层得到的，与GRU的重置信息和更新信息是基于全连接网络层得到的相比，由于卷积神经网络层的运算量较全连接网络层的运算量小，因此通过卷积神经网络层确定训练重置信息和训练更新信息，能够提高轨迹预测模型的训练速度和训练效率。而GRU是在LSTM的基础上进行结构简化得到的，相比于LSTM，GRU的运算量更小。因此相比于LSTM，本申请在对轨迹预测模型进行训练时，能够进一步提高轨迹预测模型的训练速度和训练效率。

根据本申请的一个方面，提供了一种车辆轨迹预测装置，包括：获取模块，用于获取前一帧图像的隐藏状态信息以及当前帧图像；前一帧图像为车辆轨迹视频序列中当前帧图像的前一帧图像；处理模块，用于基于轨迹预测模型中的第一特征融合层对获取模块获取的当前帧图像和前一帧图像的隐藏状态信息进行融合，得到第一特征图；处理模块，还用于基于轨迹预测模型中的第一卷积神经网络层对第一特征图进行处理，得到重置信息；第一卷积神经网络层包括第一激活函数；处理模块，还用于基于轨迹预测模型中的第二卷积神经网络层对第一特征图进行处理，得到更新信息，第二卷积神经网络层包括第二激活函数；处理模块，还用于基于轨迹预测模型中的预测模块对重置信息、更新信息、当前图像帧和前一帧图像的隐藏状态信息进行处理，得到预测帧图像。

根据本申请的一个方面，提供了一种轨迹预测模型训练装置，包括：获取模块，用于获取多组样本图像和样本图像一一对应的第一轨迹图像；样本图像包括第二轨迹图像的隐藏状态信息和第三轨迹图像；其中，第二轨迹图像为车辆轨迹视频序列中第三轨迹图像的前一帧轨迹图像，第一轨迹图像为第三轨迹图像的下一帧轨迹图像；训练模块，用于基于初始轨迹预测模型中的第一特征融合层对第三轨迹图像和第二轨迹图像的隐藏状态信息进行融合，得到第一训练特征图；训练模块还用于，基于初始轨迹预测模型中的第一卷积神经网络层对第一训练特征图进行处理，得到训练重置信息；第一卷积神经网络层包括第一激活函数；训练模块还用于，基于初始轨迹预测模型中的第二卷积神经网络层对第一训练特征图进行处理，得到训练更新信息，第二卷积神经网络层包括第二激活函数；训练模块还用于，基于初始轨迹预测模型中的预测层对训练重置信息、训练更新信息、第二轨迹图像的隐藏状态信息和第三轨迹图像进行处理，得到初始预测帧图像；训练模块还用于，以初始预测帧图像作为初始轨迹预测模型的初始训练输出，获取模块获取的第一轨迹图像作为监督信息，迭代训练初始轨迹预测模型得到训练后的轨迹预测模型。

根据本申请的一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一方面提供的方法。

根据本申请的一个方面，提供了一种电子设备，该电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述任一方面提供的方法。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是现有技术提供的一种LSTM的结构示意图。

图2是本申请提供的一种电子设备的结构示意图。

图3是本申请提供的一种车辆轨迹预测方法的流程示意图一。

图4是本申请提供的一种轨迹预测模型的结构示意图一。

图5是本申请提供的一种车辆轨迹预测方法的流程示意图二。

图6是本申请提供的一种轨迹预测模型的结构示意图二。

图7是本申请提供的一种车辆轨迹预测方法的流程示意图三。

图8是本申请提供的一种轨迹预测模型的结构示意图三。

图8A是本申请提供的一种轨迹预测模型的结构示意图四。

图9是本申请提供的一种轨迹预测模型训练方法的流程示意图一。

图10是本申请提供的一种轨迹预测模型训练方法的流程示意图二

图11是本申请提供的一种轨迹预测模型训练方法的流程示意图三。

图12是本申请提供的一种轨迹预测模型训练方法的流程示意图四。

图13是本申请提供的一种车辆轨迹预测装置的结构示意图一。

图14是本申请提供的一种车辆轨迹预测装置的结构示意图二。

图15是本申请提供的一种车辆轨迹预测装置的结构示意图三。

图16是本申请提供的一种轨迹预测模型训练装置的结构示意图一。

图17是本申请提供的一种轨迹预测模型训练装置的结构示意图二。

图18是本申请提供的一种轨迹预测模型训练装置的结构示意图三。

图19是本申请提供的一种轨迹预测模型训练装置的结构示意图四。

图20是本申请提供的另一种电子设备的结构示意图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。“A和/或B”，包括以下三种组合：仅A，仅B，及A和B的组合。

通常，车辆的轨迹预测是基于车辆在过去一段时间内的车辆轨迹图像进行预测的。基于此，相关技术中，轨迹预测大多是以长短期记忆网络(long short-term memory，LSTM)作为模型，训练得到能够预测车辆轨迹的轨迹预测模型。

长短期记忆网络由至少一个如图1所示的记忆模型构成。参照图1所示，该记忆模型包括三个门控模块，分别为遗忘门f_t、输入门i_t和输出门o_t。该记忆模型的输入包括：前一时刻的细胞状态信息c_t-1、前一时刻的隐藏状态信息h_t-1和当前时刻的输入信息x_t。该记忆模型的输入需要通过该记忆模型内部各个计算模块的处理，输出该记忆模型的细胞状态信息c_t和隐藏状态信息h_t。其中，遗忘门f_t、输入门i_t和输出门o_t中都需要通过全连接网络层处理得到，运算量较大，运算效率不高。

为了减小模型参数量，可以基于门控循环单元(gated recurrent unit,GRU)对车辆轨迹进行预测。但是基于GRU对车辆轨迹进行预测时，重置信息和更新信息也是基于全连接网络层得到的，因此计算量仍然较大，运算效率较低。

针对上述问题，本申请实施例提供了一种车辆轨迹预测方法。本申请提供的轨迹预测方案中，在基于前一帧图像的隐藏状态信息和当前帧图像进行车辆轨迹预测时，重置信息和更新信息均是通过卷积神经网络层得到的。与GRU的重置信息和更新信息是基于全连接网络层得到的相比，卷积神经网络层的运算量较全连接网络层的运算量小很多。因此在对车辆轨迹进行预测时，通过卷积神经网络层确定重置信息和更新信息，能够提高车辆轨迹预测的预测速度和预测效率。而GRU是在LSTM的基础上进行结构简化得到的，相比于LSTM，GRU的运算量更小。因此相比于LSTM，本申请提供的车辆轨迹预测方法在对车辆轨迹进行预测时，能够进一步提高车辆轨迹预测的预测速度和预测效率。

图2为根据一示例性实施例示出的一种电子设备的结构图，本申请实施例提供的车辆轨迹预测方法可以应用于图2所示的电子设备200，如图2所示，该电子设备200包括一个或多个处理器201和存储器202。

处理器201可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备200中的其他组件以执行期望的功能。

存储器202可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器201可以运行所述程序指令，以实现上文所述的本申请的各个实施例的车辆轨迹预测方法或轨迹预测模型训练方法以及/或者其他期望的功能。

在一个示例中，电子设备200还可以包括：输入装置203和输出装置1604，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

当然，为了简化，图2中仅示出了该电子设备200中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备200还可以包括任何其他适当的组件。

下面结合附图对本申请实施例提供的车辆轨迹预测方法进行描述。

图3为本申请实施例提供的一种车辆轨迹预测方法。参照图3所示，该方法可以包括S301-S305：

S301、获取前一帧图像的隐藏状态信息以及当前帧图像。

其中，前一帧图像为车辆轨迹视频序列中当前帧图像的前一帧图像。在本申请实施例中，这里的车辆轨迹视频序列可以是电子设备实时获取到的车辆的多个轨迹图像。

在本申请实施例中，因为车辆轨迹的预测是需要考虑到车辆行驶过程中的历史轨迹，所以这里的前一帧图像的隐藏状态信息不仅仅包含了前一帧图像的相关特征信息，还可以包括该车辆轨迹视频序列在当前帧图像之前的所有帧图像的相关特征信息，因此，基于当前帧图像之前的所有帧图像的相关特征信息预测得到的图像，大大提高了车辆行驶轨迹的预测精度。

示例性地，电子设备可以通过控制车辆上的各种传感器或图像采集装置获取当前帧图像，也可以根据车辆上的各种传感器或图像采集装置获取的数据分析得到当前帧图像。

S302、基于轨迹预测模型中的第一特征融合层对当前帧图像和前一帧图像的隐藏状态信息进行融合，得到第一特征图。

在本申请实施例中，轨迹预测模型用于基于历史轨迹图像信息和当前帧图像预测下一帧轨迹图像。参照图4所示，将获取到的当前帧图像x_t和前一帧图像的隐藏状态信息h_t输入轨迹预测模型后，轨迹预测模型中的第一特征融合层31首先会将当前帧图像x_t和前一帧图像的隐藏状态信息h_t进行融合。具体的，第一特征融合层31可以通过融合concat操作，将当前帧图像x_t和前一帧图像的隐藏状态信息h_t进行融合，从而得到第一特征图。

示例性的，本申请中的concat操作具体可以是指将x_t和h_t在通道层叠加。以(宽度width，高度height，通道数channels)来表示x_t和h_t为例，第一特征图则可以为(width，height，2*channels)。

S303、基于轨迹预测模型中的第一卷积神经网络层对第一特征图进行处理，得到重置信息。

其中，重置信息r_t用于决定遗忘程度。例如，重置信息r_t用于决定前一状态信息(即前一帧图像的隐藏状态信息h_t)有多少信息被写入到后续的候选隐藏状态信息h_t+1'中。该重置信息r_t是由电子设备基于第一卷积神经网络层对第一特征图进行处理得到的。在一些实施例中，重置信息r_t中各矩阵元素的数值为0到1之间的数值。

示例性地，第一卷积神经网络层包括第一激活函数。示例性的，第一激活函数可以为sigmoid函数，其表达式可以为下述公式(1)：

参照图4所示，第一特征融合层31在得到或输出第一特征图后，第一卷积神经网络层32(也可以称为重置门)可以接收该第一特征图，并对该第一特征图进行处理，得到重置信息r_t。

示例性的，第一卷积神经网络层的运算过程可以以下述公式(2)表示：

r_t＝sigmoid(conv(concat(h_t,x_t))) (2)

其中，conv()表示卷积操作，concat()表示融合操作。

可以理解的是，由于现有GRU的重置信息是基于全连接网络层对输入信息进行处理得到的，而全连接网络层在对输入信息进行处理时，每一个节点都要与下一层的每一个节点全部连接，每一个连接都有参数需要参与运算，因此全连接网络层的计算量较大，运算效率较低。而本申请中的重置信息是将第一特征图与第一卷积神经网络层32的卷积核进行卷积运算得到的，由于卷积神经网络层的运算只与卷积核大小以及输出特征图的通道数相关，可以进一步降低卷积神经网络层的运算量较全连接网络层的运算量，故大大提高了卷积神经网络层的运算速度和运算效率。

S304、基于轨迹预测模型中的第二卷积神经网络层对第一特征图进行处理，得到更新信息。

其中，更新信息z_t用于决定保留程度。例如，更新信息z_t用于决定前一状态信息(即前一帧图像的隐藏状态信息h_t)有多少信息要被结合至当前状态信息中，以及候选隐藏状态信息h_t+1'中有多少信息需要保留。该更新信息z_t是由电子设备基于第二卷积神经网络层对第一特征图进行处理得到的。在一些实施例中，更新信息z_t中各矩阵元素的数值为0到1之间的数值。

示例性地，第二卷积神经网络层包括第二激活函数。示例性的，第二激活函数与第一激活函数可以相同，即第二激活函数也可以为sigmoid函数，其表达式可以为上述公式(1)。

参照图4所示，第一特征融合层31在得到或输出第一特征图后，第二卷积神经网络层33(也可以称为更新门)可以接收该第一特征图，并对该第一特征图运算进行处理，得到更新信息z_t。

示例性的，第二卷积神经网络层的运算过程可以以下述公式(3)表示：

z_t＝sigmoid(conv(concat(h_t,x_t))) (3)

其中，conv()表示卷积操作，concat()表示融合操作。

可以理解的是，由于现有GRU的更新信息是基于全连接网络层对输入信息进行处理得到的，而全连接网络层在对输入信息进行处理时，每一个节点都要与下一层的每一个节点全部连接，每一个连接都有参数参与运算，因此全连接网络层的计算量较大，运算效率较低。而本申请中的更新信息是将第一特征图与第二卷积神经网络层33的卷积核进行卷积运算得到的，由于卷积神经网络层的运算只与卷积核大小以及输出特征图的通道数相关，可以进一步降低卷积神经网络层的运算量较全连接网络层的运算量，故大大提高了卷积神经网络层的运算速度和运算效率。

S305、基于轨迹预测模型中的预测层对重置信息、更新信息、当前图像帧和前一帧图像的隐藏状态信息进行处理，得到预测帧图像。

在S303获取到重置信息r_t，S304获取到更新信息z_t后，电子设备可以通过图4所示的轨迹预测模型中的预测层34对重置信息r_t、更新信息z_t、当前图像帧x_t和前一帧图像的隐藏状态信息h_t进行处理，从而完成对当前帧图像x_t的预测，得到预测帧图像y_t。

本申请实施提供的车辆轨迹预测方法在基于前一帧图像的隐藏状态信息和当前帧图像进行车辆轨迹预测时，重置信息和更新信息均是通过卷积神经网络层得到的。与现有GRU的重置信息和更新信息是基于全连接网络层得到的相比，由于卷积神经网络层的运算量较全连接网络层的运算量小。因此在对车辆轨迹进行预测时，通过卷积神经网络层确定重置信息和更新信息，能够提高车辆轨迹预测的预测速度和预测效率。而GRU是在LSTM的基础上进行结构简化得到的，相比于LSTM，GRU的运算量更小。因此相比于LSTM，本申请提供的车辆轨迹预测方法在对车辆轨迹进行预测时，不仅能够进一步提高车辆轨迹预测的预测速度和预测效率，而且车辆行驶轨迹的预测精度较高。

在一些实施例中，结合图2，参照图5所示，上述S305具体可以包括S3051-S3054：

S3051、基于预测层中的选择层将重置信息与前一帧图像的隐藏状态信息逐元素相乘，得到第二特征图。

参照图6所示，在轨迹预测模型的第一卷积神经网络层32得到重置信息r_t后，轨迹预测模型的预测层34中的选择层341可以根据该重置信息r_t对前一帧图像的隐藏状态信息h_t进行选择，进而确定出前一帧图像的隐藏状态信息h_t需要写入进候选隐藏状态信息h_t+1'中的内容，或者说确定出前一帧图像的隐藏状态信息h_t需要参与产生候选隐藏状态信息h_t+1'的内容。

在一些实施例中，预测层34中的选择层341可以将重置信息r_t与前一帧图像的隐藏状态信息h_t逐元素相乘，以对前一帧图像的隐藏状态信息h_t进行选择，得到第二特征图。

S3052、基于预测层中的第二特征融合层对第二特征图与当前图像帧进行融合，得到第三特征图。

参照图6所示，在轨迹预测模型的预测层34中的选择层341得到第二特征图后，轨迹预测模型的预测层34中的第二特征融合层342可以将第二特征图与当前帧图像x_t进行融合，得到第三特征图。如此一来，再根据第三特征图生成候选隐藏状态信息h_t+1'时，可以使得后续生成的候选隐藏状态信息h_t+1'能够结合当前图像帧x_t的信息。

示例性地，第二特征融合层342可以通过融合concat操作，将第二特征图与当前帧图像进行融合，从而得到第三特征图。本申请中的concat操作可以是指将要融合的两张图像(或者特征图)在通道层叠加。

S3053、基于预测层中的第三卷积神经网络层和激活函数层对第三特征图依次进行处理，得到候选隐藏状态信息。

参照图6所示，在轨迹预测模型的预测层34中的第二特征融合层342得到第三特征图后，预测层34中的第三卷积神经网络层343可以对第三特征图与第三卷积神经网络层343中的卷积核进行卷积运算处理，再将处理后的第三特征图输入激活函数层344。由激活函数层344对处理后的第三特征图再次进行处理，进而得到候选隐藏状态信息h_t+1'。

示例性地，激活函数层包括第三激活函数，该第三激活函数可以为tanh，其表达式可以为下述公式(4)：

示例性地，候选隐藏状态信息h_t+1'可以通过如下公式(5)计算得到。

h_t+1′＝tanh(conv(concat(r_t*h_t,x_t))) (5)

其中，conv()表示卷积操作，concat()表示融合操作，*表示逐元素相乘。

可以理解的是，由于卷积神经网络层的运算量较小，因此在将第三特征图输入激活函数层之前，通过第三卷积神经网络层343对第三特征图与卷积核进行卷积运算处理，可以进一步降低车辆轨迹预测过程中的运算量，从而能够进一步提升车辆轨迹预测的预测速度和预测效率。

S3054、基于预测层中的输出层对候选隐藏状态信息、更新信息和前一帧图像的隐藏状态信息进行处理，得到预测帧图像。

参照图6所示，在得到候选隐藏状态信息h_t+1'后，轨迹预测模型的预测层34中的输出层345可以结合更新信息z_t和前一帧图像的隐藏状态信息h_t，对当前帧图像x_t进行预测，得到预测帧图像y_t。

本申请实施提供的车辆轨迹预测方法在基于前一帧图像的隐藏状态信息和当前帧图像进行车辆轨迹预测时，由于重置信息和更新信息均是通过卷积神经网络层得到的，由于卷积神经网络层的运算量较全连接网络层的运算量小。因此相比于现有技术，本申请提供的车辆轨迹预测方法在对车辆轨迹进行预测时，通过卷积神经网络层确定重置信息和更新信息，能够提高车辆轨迹预测的预测速度和预测效率。而且在获取候选隐藏状态信息时，会先对第三特征图进行卷积处理，因此能够进一步降低车辆轨迹预测过程中的运算量，提高车辆轨迹预测的预测速度和预测效率。

在一些实施例中，结合图5，参照图7所示，上述S3054可以包括S1-S4：

S1、基于输出层中的选择记忆子层将候选隐藏状态信息和更新信息逐元素相乘，得到第四特征图。

更新信息z_t用于决定候选隐藏状态信息h_t+1'中有多少信息需要保留，即更新信息z_t可以对候选隐藏状态信息h_t+1'进行选择性保留。基于此，结合图6，参照图8所示，在预测层34中的激活函数层344输出候选隐藏状态信息h_t+1'后，输出层345中的选择记忆子层3451可以将更新信息z_t和候选隐藏状态信息h_t+1'逐元素相乘，以对候选隐藏状态信息h_t+1'进行选择性保留，得到第四特征图。

S2、基于输出层中的选择遗忘子层对更新信息中的每个元素进行减法处理，得到遗忘信息的权重，并将遗忘信息的权重与前一帧图像的隐藏状态信息逐元素相乘，得到第五特征图。

更新信息z_t还用于决定前一帧图像的隐藏状态信息h_t中有多少信息需要保留。由于在对车辆轨迹进行预测时，前一帧图像的隐藏状态信息h_t是需要去除/遗忘一部分的，因此可以对更新信息z_t中的每个元素进行减法处理，得到遗忘信息的权重，该遗忘信息的权重可以决定遗忘程度。

示例性地，基于输出层中的选择遗忘子层对更新信息中的每个元素进行减法处理，得到遗忘信息的权重包括：用1减去更新信息中的每个元素，得到遗忘信息的权重。

参照图8所示，在轨迹预测模型的第二卷积神经网络层33输出更新信息h_t后，输出层345中的选择遗忘子层3452可以用1减去更新信息z_t中的每个元素，进而得到遗忘信息的权重。然后，选择遗忘子层3452可以将遗忘信息的权重与前一帧图像的隐藏状态信息相乘，进而得到第五特征图。该第五特征图为前一帧图像的隐藏状态信息h_t遗忘一部分信息后的特征图。

S3、基于输出层中的综合子层将第四特征图与第五特征图逐元素相加，得到当前帧图像的隐藏状态信息。

参照图8所示，在轨迹预测模型的输出层345中的选择遗忘子层3452输出第五特征图，且输出层345中的选择记忆子层3451输出第四特征图后，输出层345中的综合子层3453可以将第四特征图和第五特征图逐元素相加。通过将第四特征图和第五特征图逐元素相加，从而可以将前一帧图像的隐藏状态信息h_t中不重要的信息进行遗忘后，加入当前帧图像中的重要信息，以得到当前帧图像的隐藏状态信息h_t+1。

示例性的，当前帧图像的隐藏状态信息h_t+1可以通过如下述公式(6)计算得到：

h_t+1＝(1-z_t)*h_t+z_t*h′ (6)

其中，*表示逐元素相乘。

需要说明的是，前述实施例中图4、图6和图8以轨迹预测模型包括一个卷积门控循环单元为例进行了示例说明。轨迹预测模型也可以包括多个卷积门控循环单元，参照图8A所示，卷积门控循环单元1输出的当前帧图像的隐藏状态信息则会作为下一卷积门控循环单元(如图8A所示的卷积门控循环单元2)输入的前一帧图像的隐藏状态信息。可以理解的是，当轨迹预测模型包括多个卷积门控循环单元时，该多个卷积门控循环单元的模型参数相同。实际应用中，轨迹预测模型通常包括一个卷积门控循环单元。

S4、基于输出层中的第四卷积神经网络层对当前帧图像的隐藏状态信息进行处理，得到预测帧图像。

参照图8所示，由于当前帧图像的隐藏状态信息h_t+1与真实图像存在一定差异(例如，当前帧图像的隐藏状态信息h_t+1是一些用户无法理解的featuremap)，因此在输出层345输出当前帧图像的隐藏状态信息h_t+1后，可以通过轨迹预测模型的输出层345中的第四卷积神经网络层3454对当前帧图像的隐藏状态信息h_t+1进行处理，得到预测帧图像y_t。可以理解的是，通过第四卷积神经网络层3454对当前帧图像的隐藏状态信息h_t+1进行处理，可以得到用户能够理解的图像信息，该图像信息即为预测帧图像y_t的信息。

示例性地，第四卷积神经网络层包括第四激活函数，该第四激活函数可以为relu，其表达式可以为下述公式(7)：

y＝max(0，x) (7)

在本申请实施例中，预测帧图像即对当前帧图像预测得到的下一帧图像的预测情况。

示例性的，预测帧图像y_t可以通过如下公式(8)计算得到。

y_t＝max(0,conv(h_t+1) (8)

其中，conv()表示卷积运算。

基于上述技术方案，便可以基于轨迹预测模型的预测层中的输出层对候选隐藏状态信息、更新信息和前一帧图像的隐藏状态信息进行处理，得到预测帧图像，从而实现对车辆轨迹的预测。

在本申请实施例中，为了提高车辆轨迹预测的准确度，可以提前(至少在S302之前)进行模型训练，以得到前述实施例中使用的轨迹预测模型。基于此，本申请实施例还提供一种轨迹预测模型的训练方法，参照图9所示，本申请提供的一种轨迹预测模型训练方法可以包括S901-S906：

S901、获取多组样本图像和样本图像一一对应的第一轨迹图像。

其中，样本图像包括第二轨迹图像的隐藏状态信息和第三轨迹图像；其中，第二轨迹图像为车辆轨迹视频序列中第三轨迹图像的前一帧轨迹图像，第一轨迹图像为车辆轨迹视频序列中第三轨迹图像的下一帧轨迹图像。

在一些实施例中，电子设备可以获取至少一个车辆轨迹视频序列，然后，从至少一个车辆轨迹视频序列中提取图像帧作为样本，并从样本中选择连续多帧图像作为初始样本。该初始样本包括多组样本图像，每组样本图像包括第二轨迹图像、第三轨迹图像和第一轨迹图像的样本对。

上述第二轨迹图像的隐藏状态信息可以是初始隐藏状态信息，也可以是将第二轨迹图像的前一帧图像的隐藏状态信息和第二轨迹图像输入初始轨迹预测模型得到的。

在获取多组样本图像和每组样本图像一一对应的第一轨迹图像之后，可以将每组样本图像中的第二轨迹图像的隐藏状态信息和第三轨迹图像输入初始轨迹预测模型，得到预测帧图像；然后，基于预测帧图像，以该组样本图像对应的第一轨迹图像作为监督信息，迭代训练初始轨迹预测模型得到训练后的轨迹预测模型。该训练后的轨迹预测模型能够较为准确的预测车辆轨迹。下面通过S902-S906对轨迹预测模型的训练过程进行介绍。

S902、基于初始轨迹预测模型中的第一特征融合层对第三轨迹图像和第二轨迹图像的隐藏状态信息进行融合，得到第一训练特征图。

在一些实施例中，初始训练时，初始轨迹预测模型中的参数可以设置为0。

可以理解的是，S902的具体实现可以参照前述实施例中S302的具体实现，此处不再赘述。

S903、基于初始轨迹预测模型中的第一卷积神经网络层对第一训练特征图进行处理，得到训练重置信息。

其中，第一卷积神经网络层包括第一激活函数。示例性的，第一激活函数为sigmoid。

S904、基于初始轨迹预测模型中的第二卷积神经网络层对第一训练特征图进行处理，得到训练更新信息。

其中，第二卷积神经网络层包括第二激活函数。示例性的，第二激活函数为sigmoid。

可以理解的是，S903和S904的具体实现可以参照前述实施例中S302和S303的具体实现，此处不再赘述。

S905、基于初始轨迹预测模型中的预测层对训练重置信息、训练更新信息、第二轨迹图像的隐藏状态信息和第三轨迹图像进行处理，得到初始预测帧图像。

在一些实施例中，结合图9，参照图10所示，S905具体可以包括S9051-S9054：

S9051、基于预测层中的选择层将训练重置信息与第二轨迹图像的隐藏状态信息逐元素相乘，得到第二训练特征图。

S9051的具体实现则可以参照前述实施例中的S3051，此处不再赘述。

S9052、基于预测层中的第二特征融合层对第二训练特征图与第三轨迹图像进行融合，得到第三训练特征图。

S9053、基于预测层中的第三卷积神经网络层和激活函数层对第三训练特征图依次进行处理，得到训练候选隐藏状态信息。

其中，激活函数层包括第三激活函数。示例性的，第三激活函数可以为tanh。

S9052和S9053的具体实现则可以参照前述实施例中的S3052和S3053，此处不再赘述。

S9054、基于预测层中的输出层对训练候选隐藏状态信息、训练更新信息和第二轨迹图像的隐藏状态信息进行处理，得到初始预测帧图像。

基于上述实现方案，在获取候选隐藏状态信息时，会先将第三特征图进行卷积处理，由于卷积神经网络层的运算量较小，因此能够减少轨迹预测模型训练过程中的参数量，提升轨迹预测模型的训练速度和训练效率。

一些实施例中，结合图10，参照图11所示，S9054具体可以包括X1-X4：

X1、基于输出层中的选择记忆子层将训练候选隐藏状态信息和训练更新信息逐元素相乘，得到第四训练特征图。

X2、基于输出层中的选择遗忘子层对训练更新信息中的每个元素进行减法处理，得到训练遗忘信息的权重，并将训练遗忘信息的权重与第二轨迹图像的隐藏状态信息逐元素相乘，得到第五训练特征图。

在S901的实现方式为前述S901后所述的一种可能的实现方式时，X2具体可以为：基于输出层中的选择遗忘子层对训练更新信息中的每个元素进行减法处理，得到训练遗忘信息的权重，并将训练遗忘信息的权重与初始隐藏状态信息逐元素相乘，得到第五训练特征图。

X3、基于输出层中的综合子层将第四训练特征图与第五训练特征图逐元素相加，得到第三轨迹图像的隐藏状态信息。

X4、基于输出层中的第四卷积神经网络层对第三轨迹图像的隐藏状态信息进行处理，得到初始预测帧图像。

其中，第四卷积神经网络层包括第四激活函数。示例性的，第四激活函数为relu。

X1-X4的具体实现可以参照前述实施例中的S1-S4，此处不再赘述。

S906、以初始预测帧图像作为初始轨迹预测模型的初始训练输出，第一轨迹图像作为监督信息，迭代训练初始轨迹预测模型得到训练后的轨迹预测模型。

在一些实施例中，结合图9，参照图12所示，S906具体可以包括：S9061和S9062：

S9061、根据初始预测帧图像和第一轨迹图像，确定损失值。

示例性的，S9061具体可以利用损失函数确定损失值。示例性的，损失函数具体可以如下公式(9)：

loss＝∑(x_t+1-y_t)² (9)

其中，loss为损失值，x_t+1为初始轨迹预测模型输入对应的下一帧轨迹图像，y_t为初始轨迹预测模型输出的预测帧图像。

S9062、根据损失值迭代更新初始轨迹预测模型，得到训练后的轨迹预测模型。

可以理解的，通过损失值不断的迭代优化，便可以得到能够准确实现车辆轨迹预测的轨迹预测模型。

基于前述S901-S906对应的技术方案，在训练轨迹预测模型时，由于训练重置信息和训练更新信息均是通过卷积神经网络层得到的，与现有GRU的重置信息和更新信息是基于全连接网络层得到的相比，由于卷积神经网络层的运算量较全连接网络层的运算量小，因此通过卷积神经网络层确定训练重置信息和训练更新信息，能够提高轨迹预测模型的训练速度和训练效率。而GRU是在LSTM的基础上进行结构简化得到的，相比于LSTM，GRU的运算量更小。因此相比于LSTM，本申请在对轨迹预测模型进行训练时，能够进一步提高轨迹预测模型的训练速度和训练效率。

可以理解的是，上述电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。

在采用对应各个功能划分各个功能模块的情况下，本申请实施例还提供一种车辆轨迹预测装置。如图13所示，为本申请实施例提供的一种车辆轨迹预测装置的结构示意图。该装置可以包括：获取模块1301和处理模块1302。

其中，获取模块1301，用于获取前一帧图像的隐藏状态信息以及当前帧图像；前一帧图像为车辆轨迹视频序列中当前帧图像的前一帧图像；处理模块1302，用于基于轨迹预测模型中的第一特征融合层对获取模块1301获取的当前帧图像和前一帧图像的隐藏状态信息进行融合，得到第一特征图；处理模块1302，还用于基于轨迹预测模型中的第一卷积神经网络层对第一特征图进行处理，得到重置信息；第一卷积神经网络层包括第一激活函数；处理模块1302，还用于基于轨迹预测模型中的第二卷积神经网络层对第一特征图进行处理，得到更新信息，第二卷积神经网络层包括第二激活函数；处理模块1302，还用于基于轨迹预测模型中的预测模块对重置信息、更新信息、当前图像帧和前一帧图像的隐藏状态信息进行处理，得到预测帧图像。

在一些实施例中，结合图13，参照图14所示，处理模块1302可以包括选择单元13021、融合单元13022、候选单元13023和处理单元13024。其中，选择单元13021，用于基于预测层中的选择层将重置信息与前一帧图像的隐藏状态信息逐元素相乘，得到第二特征图；融合单元13022，用于基于预测层中的第二特征融合层对选择单元13021得到的第二特征图与当前图像帧进行融合，得到第三特征图；候选单元13023，用于基于预测层中的第三卷积神经网络层和激活函数层对融合单元13022得到的第三特征图依次进行处理，得到候选隐藏状态信息，激活函数层包括第三激活函数；处理单元13024，用于基于预测层中的输出层对更新信息、前一帧图像的隐藏状态信息和候选单元13023得到的候选隐藏状态信息进行处理，得到预测帧图像。

在一些实施例中，结合图14，参照图15所示，处理单元13024具体可以包括第一子单元1501、第二子单元1502、第三子单元1503和第四子单元1504。其中，第一子单元1501，用于基于输出层中的选择记忆子层将更新信息和候选单元13023得到的候选隐藏状态信息逐元素相乘，得到第四特征图；第二子单元1502，用于基于输出层中的选择遗忘子层对更新信息中的每个元素进行减法处理，得到遗忘信息的权重，并将遗忘信息的权重与前一帧图像的隐藏状态信息逐元素相乘，得到第五特征图；第三子单元1503，用于基于输出层中的综合子层将第一子单元1501得到的第四特征图与第二子单元1502得到的第五特征图逐元素相加，得到当前帧图像的隐藏状态信息；第四子单元1504，用于基于输出层中的第四卷积神经网络层对第三子单元1503得到的当前帧图像的隐藏状态信息进行处理，得到预测帧图像，第四卷积神经网络层包括第四激活函数。

关于上述实施例中的车辆轨迹预测装置，其中各个模块执行操作的具体方式及相应的有益效果已经在前述中的车辆轨迹预测方法的实施例中进行了详细描述，此处将不再赘述。

在采用对应各个功能划分各个功能模块的情况下，本申请实施例还提供一种车辆轨迹预测装置。如图16所示，为本申请实施例提供的一种轨迹预测模型训练装置的结构示意图。该装置可以包括：获取模块1601和训练模块1602。

具体的，获取模块1601，用于获取多组样本图像和样本图像一一对应的第一轨迹图像；样本图像包括第二轨迹图像的隐藏状态信息和第三轨迹图像；第二轨迹图像为车辆轨迹视频序列中第三轨迹图像的前一帧轨迹图像，第一轨迹图像为车辆轨迹视频序列中第三轨迹图像的下一帧轨迹图像；训练模块1602，用于基于初始轨迹预测模型中的第一特征融合层对第三轨迹图像和第二轨迹图像的隐藏状态信息进行融合，得到第一训练特征图；训练模块1602还用于，基于初始轨迹预测模型中的第一卷积神经网络层对第一训练特征图进行处理，得到训练重置信息；第一卷积神经网络层包括第一激活函数；训练模块1602还用于，基于初始轨迹预测模型中的第二卷积神经网络层对第一训练特征图进行处理，得到训练更新信息，第二卷积神经网络层包括第二激活函数；训练模块1602还用于，基于初始轨迹预测模型中的预测层对训练重置信息、训练更新信息、第二轨迹图像的隐藏状态信息和第三轨迹图像进行处理，得到初始预测帧图像；训练模块1602还用于，以初始预测帧图像作为初始轨迹预测模型的初始训练输出，获取模块1601获取的第一轨迹图像作为监督信息，迭代训练初始轨迹预测模型得到训练后的轨迹预测模型。

在一些实施例中，结合图16，参照图17所示，训练模块1602包括训练选择单元16021、训练融合单元16022、训练候选单元16023和训练处理单元16024。其中，训练选择单元16021，用于基于预测层中的选择层将训练重置信息与第二轨迹图像的隐藏状态信息逐元素相乘，得到第二训练特征图；训练融合单元16022，用于基于预测层中的第二特征融合层对第三轨迹图像和训练选择单元16021得到的第二训练特征图进行融合，得到第三训练特征图；训练候选单元16023，用于基于预测层中的第三卷积神经网络层和激活函数层对训练融合单元16022得到的第三训练特征图依次进行处理，得到训练候选隐藏状态信息，激活函数层包括第三激活函数；训练处理单元16024，用于基于预测层中的输出层对训练更新信息、第二轨迹图像的隐藏状态信息和训练候选单元16023得到的训练候选隐藏状态信息进行处理，得到初始预测帧图像。

在一些实施例中，结合图17，参照图18所示，训练处理单元16024具体可以包括第一训练子单元1801、第二训练子单元1802、第三训练子单元1803和第四训练子单元1804。

其中，第一训练子单元1801，用于基于输出层中的选择记忆子层将训练更新信息和训练候选单元16023得到的训练候选隐藏状态信息逐元素相乘，得到第四训练特征图；第二训练子单元1802，用于基于输出层中的选择遗忘子层对训练更新信息中的每个元素进行减法处理，得到训练遗忘信息的权重，并将训练遗忘信息的权重与第二轨迹图像的隐藏状态信息逐元素相乘，得到第五训练特征图；第三训练子单元1803，用于基于输出层中的综合子层将第一训练子单元1801得到的第四训练特征图与第二训练子单元1802得到的第五训练特征图逐元素相加，得到第三轨迹图像的隐藏状态信息；第四训练子单元1804，用于基于输出层中的第四卷积神经网络层对第三训练子单元1803得到的第三轨迹图像的隐藏状态信息进行处理，得到初始预测帧图像，第四卷积神经网络层包括第四激活函数。

在一些实施例中，结合图16，参照图19所示，训练模块1602还包括损失单元1901和迭代单元1902。其中，损失单元1901，用于根据训练处理单元16024得到的初始预测帧图像和获取模块1601获取的第一轨迹图像，确定损失值；迭代单元1902，用于根据损失单元1901确定的损失值迭代更新初始轨迹预测模型，得到训练后的轨迹预测模型。

这里训练后的轨迹预测模型即为前述实施例中车辆轨迹预测方法中使用的轨迹预测模型。

关于上述实施例中的车辆座舱的控制装置，其中各个模块执行操作的具体方式及相应的有益效果已经在前述中的轨迹预测模型训练方法的实施例中进行了详细描述，此处将不再赘述。

图20是根据一示例性实施例示出的电子设备的一种可能的结构示意图，该电子设备可以是上述的轨迹预测模型训练装置或车辆轨迹预测装置，也可以是包括有该轨迹预测模型训练装置和/或车辆轨迹预测装置的终端或服务器。如图20所示，该电子设备包括处理器91和存储器92。其中，存储器92用于存储处理器91可执行的指令，处理器91则可以实现上述实施例中轨迹预测模型训练装置和/或车辆轨迹预测装置中各个模块的功能。其中，存储器92中存储有至少一条指令，至少一条指令由处理器91加载并执行以实现上述各个方法实施例提供的轨迹预测模型训练方法和/或车辆轨迹预测方法。

其中，在具体的实现中，作为一种实施例，处理器91(91-1和91-2)可以包括一个或多个CPU，例如图20中所示的CPU0和CPU1。且作为一种实施例，该电子设备可以包括多个处理器91，例如图20中所示的处理器91-1和处理器91-2。这些处理器91中的每一个CPU可以是一个单核处理器(Single-CPU)，也可以是一个多核处理器(Multi-CPU)。这里的处理器91可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

存储器92可以是只读存储器92(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘计算机存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器92可以是独立存在，通过通信总线93与处理器91相连接。存储器92也可以和处理器91集成在一起。

通信总线93，可以是工业标准体系结构(industry standard architecture，ISA)总线、外部设备互连(peripheral component interconnect，PCI)总线或扩展工业标准体系结构(extended industry standard architecture，EISA)总线等。该通信总线93可以分为地址总线、数据总线、控制总线等。为便于表示，图20中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

另外，为了方便电子设备与其他设备进行信息交互(例如电子设备为终端时与服务器进行信息交互，或者电子设备为服务器时与终端进行信息交互)，该电子设备包括通信接口94。通信接口94，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如控制系统、无线接入网(radio access network，RAN)，无线局域网(wireless local areanetworks，WLAN)等。通信接口94可以包括接收单元实现接收功能，以及发送单元实现发送功能。通信接口94和处理器91、存储器92通过通信总线93连接完成相互通信。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令。当计算机指令在电子设备上运行时，使得该电子设备执行上述方法实施例中的轨迹预测模型训练方法和/或车辆轨迹预测方法。

例如，该计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。

本申请实施例还提供了一种包含计算机指令的计算机程序产品，当该计算机指令在电子设备上运行时，使得该电子设备执行上述方法实施例中的轨迹预测模型训练方法和/或车辆轨迹预测方法。

其中，本申请实施例提供的电子设备、计算机可读存储介质或者计算机程序产品均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置(如，电子设备)的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置(如，电子设备)和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置(如，电子设备)和方法，可以通过其它的方式实现。例如，以上所描述的装置(如，电子设备)实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种车辆轨迹预测方法，包括：

获取前一帧图像的隐藏状态信息以及当前帧图像；所述前一帧图像为车辆轨迹视频序列中所述当前帧图像的前一帧图像；

基于轨迹预测模型中的第一连接层特征融合层对所述当前帧图像和所述前一帧图像的隐藏状态信息进行融合，得到第一特征图；

基于所述轨迹预测模型中的第一卷积神经网络层对所述第一特征图进行处理，得到重置信息；所述第一卷积神经网络层包括第一激活函数；

基于所述轨迹预测模型中的第二卷积神经网络层对所述第一特征图进行处理，得到更新信息，所述第二卷积神经网络层包括第二激活函数；

基于所述轨迹预测模型中的预测层对所述重置信息、所述更新信息、所述当前图像帧和所述前一帧图像的隐藏状态信息进行处理，得到预测帧图像。

2.根据权利要求1所述的方法，其中，所述基于所述轨迹预测模型中的预测层对所述重置信息、所述更新信息、所述当前图像帧和所述前一帧图像的隐藏状态信息进行处理，得到预测帧图像，包括：

基于所述预测层中的选择层将所述重置信息与所述前一帧图像的隐藏状态信息逐元素相乘，得到第二特征图；

基于所述预测层中的第二特征融合层对所述第二特征图与所述当前图像帧进行融合，得到第三特征图；

基于所述预测层中的第三卷积神经网络层和激活函数层对所述第三特征图依次进行处理，得到候选隐藏状态信息，所述激活函数层包括第三激活函数；

基于所述预测层中的输出层对所述候选隐藏状态信息、所述更新信息和所述前一帧图像的隐藏状态信息进行处理，得到所述预测帧图像。

3.根据权利要求2所述的方法，其中，所述基于所述预测层中的输出层对所述候选隐藏状态信息、所述更新信息和所述前一帧图像的隐藏状态信息进行处理，得到所述预测帧图像包括：

基于所述输出层中的选择记忆子层将所述候选隐藏状态信息和所述更新信息逐元素相乘，得到第四特征图；

基于所述输出层中的选择遗忘子层对所述更新信息中的每个元素进行减法处理，得到遗忘信息的权重，并将所述遗忘信息的权重与所述前一帧图像的隐藏状态信息逐元素相乘，得到第五特征图；

基于所述输出层中的综合子层将所述第四特征图与所述第五特征图逐元素相加，得到所述当前帧图像的隐藏状态信息；

基于所述输出层中的第四卷积神经网络层对所述当前帧图像的隐藏状态信息进行处理，得到所述预测帧图像，所述第四卷积神经网络层包括第四激活函数。

4.一种轨迹预测模型训练方法，包括：

获取多组样本图像和所述样本图像一一对应的第一轨迹图像；所述样本图像包括第二轨迹图像的隐藏状态信息和第三轨迹图像；其中，所述第二轨迹图像为车辆轨迹视频序列中所述第三轨迹图像的前一帧轨迹图像，所述第一轨迹图像为所述车辆轨迹视频序列中所述第三轨迹图像的下一帧轨迹图像；

基于初始轨迹预测模型中的第一特征融合层对所述第三轨迹图像和所述第二轨迹图像的隐藏状态信息进行融合，得到第一训练特征图；

基于所述初始轨迹预测模型中的第一卷积神经网络层对所述第一训练特征图进行处理，得到训练重置信息；所述第一卷积神经网络层包括第一激活函数；

基于所述初始轨迹预测模型中的第二卷积神经网络层对所述第一训练特征图进行处理，得到训练更新信息，所述第二卷积神经网络层包括第二激活函数；

基于所述初始轨迹预测模型中的预测层对所述训练重置信息、所述训练更新信息、所述第二轨迹图像的隐藏状态信息和所述第三轨迹图像进行处理，得到初始预测帧图像；

以所述初始预测帧图像作为所述初始轨迹预测模型的初始训练输出，所述第一轨迹图像作为监督信息，迭代训练所述初始轨迹预测模型得到训练后的轨迹预测模型。

5.根据权利要求4所述的方法，其中，所述基于所述初始轨迹预测模型中的预测层对所述训练重置信息、所述训练更新信息、所述第二轨迹图像的隐藏状态信息和所述第三轨迹图像进行处理，得到初始预测帧图像，包括：

基于所述预测层中的选择层将所述训练重置信息与所述第二轨迹图像的隐藏状态信息逐元素相乘，得到第二训练特征图；

基于所述预测层中的第二特征融合层对所述第二训练特征图与所述第三轨迹图像进行融合，得到第三训练特征图；

基于所述预测层中的第三卷积神经网络层和激活函数层对所述第三训练特征图依次进行处理，得到训练候选隐藏状态信息，所述激活函数层包括第三激活函数；

基于所述预测层中的输出层对所述训练候选隐藏状态信息、所述训练更新信息和所述第二轨迹图像的隐藏状态信息进行处理，得到所述初始预测帧图像。

6.根据权利要求5所述的方法，其中，所述基于所述预测层中的输出层对所述训练候选隐藏状态信息、所述训练更新信息和所述第二轨迹图像的隐藏状态信息进行处理，得到所述初始预测帧图像，包括：

基于所述输出层中的选择记忆子层将所述训练候选隐藏状态信息和所述训练更新信息逐元素相乘，得到第四训练特征图；

基于所述输出层中的选择遗忘子层对所述训练更新信息中的每个元素进行减法处理，得到训练遗忘信息的权重，并将所述训练遗忘信息的权重与所述第二轨迹图像的隐藏状态信息逐元素相乘，得到第五训练特征图；

基于所述输出层中的综合子层将所述第四训练特征图与所述第五训练特征图逐元素相加，得到所述第三轨迹图像的隐藏状态信息；

基于所述输出层中的第四卷积神经网络层对所述第三轨迹图像的隐藏状态信息进行处理，得到所述初始预测帧图像，所述第四卷积神经网络层包括第四激活函数。

7.根据权利要求4-6中任一项所述的方法，其中，所述以所述初始预测帧图像作为所述初始轨迹预测模型的初始训练输出，所述第一轨迹图像作为监督信息，迭代训练所述初始轨迹预测模型得到训练后的轨迹预测模型，包括：

根据所述初始预测帧图像和所述第一轨迹图像，确定损失值；

根据所述损失值迭代更新所述初始轨迹预测模型，得到所述训练后的轨迹预测模型。

8.一种车辆轨迹预测装置，包括：

获取模块，用于获取前一帧图像的隐藏状态信息以及当前帧图像；所述前一帧图像为车辆轨迹视频序列中所述当前帧图像的前一帧图像；

处理模块，用于基于轨迹预测模型中的第一特征融合层对所述获取模块获取的所述当前帧图像和所述前一帧图像的隐藏状态信息进行融合，得到第一特征图；

所述处理模块，还用于基于所述轨迹预测模型中的第一卷积神经网络层对所述第一特征图进行处理，得到重置信息；所述第一卷积神经网络层包括第一激活函数；

所述处理模块，还用于基于所述轨迹预测模型中的第二卷积神经网络层对所述第一特征图进行处理，得到更新信息，所述第二卷积神经网络层包括第二激活函数；

所述处理模块，还用于基于所述轨迹预测模型中的预测模块对所述重置信息、所述更新信息、所述当前图像帧和所述前一帧图像的隐藏状态信息进行处理，得到预测帧图像。

9.一种轨迹预测模型训练装置，包括：

获取模块，用于获取多组样本图像和所述样本图像一一对应的第一轨迹图像；所述样本图像包括第二轨迹图像的隐藏状态信息和第三轨迹图像；其中，所述第二轨迹图像为车辆轨迹视频序列中所述第三轨迹图像的前一帧轨迹图像，所述第一轨迹图像为所述第三轨迹图像的下一帧轨迹图像；

训练模块，用于基于初始轨迹预测模型中的第一特征融合层对所述第三轨迹图像和所述第二轨迹图像的隐藏状态信息进行融合，得到第一训练特征图；

所述训练模块还用于，基于所述初始轨迹预测模型中的第一卷积神经网络层对所述第一训练特征图进行处理，得到训练重置信息；所述第一卷积神经网络层包括第一激活函数；

所述训练模块还用于，基于所述初始轨迹预测模型中的第二卷积神经网络层对所述第一训练特征图进行处理，得到训练更新信息，所述第二卷积神经网络层包括第二激活函数；

所述训练模块还用于，基于所述初始轨迹预测模型中的预测层对所述训练重置信息、所述训练更新信息、所述第二轨迹图像的隐藏状态信息和所述第三轨迹图像进行处理，得到初始预测帧图像；

所述训练模块还用于，以所述初始预测帧图像作为所述初始轨迹预测模型的初始训练输出，所述获取模块获取的所述第一轨迹图像作为监督信息，迭代训练所述初始轨迹预测模型得到训练后的所述轨迹预测模型。

10.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-3任一项所述的车辆轨迹预测方法，或者，执行上述权利要求4-7任一项所述的轨迹预测模型训练方法。

11.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-3任一项所述的车辆轨迹预测方法，或者，执行上述权利要求4-7任一项所述的轨迹预测模型训练方法。

Images