CN110633598B - 用于确定环境图像中的行驶区域的方法和装置 - Google Patents

Abstract

本申请实施例公开了用于确定环境图像中的行驶区域的方法和装置。该方法的一具体实施方式包括：获取当前图像采集时段内采集的当前环境图像帧序列；提取当前环境图像帧序列中的至少两帧环境图像的特征图，得到特征图像帧序列，特征图像帧序列包括从当前环境图像帧序列中预先确定出的当前环境图像帧所对应的当前特征图像帧；将特征图像帧序列中的各特征图像帧顺序输入预先训练的第一循环神经网络，得到第一特征信息序列；基于对第一特征信息序列中与当前特征图像帧对应的第一特征信息反卷积得到的升维特征，确定当前帧环境图像中的行驶区域。该实施方式提高了所确定的当前环境图像帧的行驶区域的准确率。

Description

用于确定环境图像中的行驶区域的方法和装置

技术领域

本申请实施例涉及计算机技术领域，具体涉及自动驾驶技术领域，尤其涉及用于确定环境图像中的行驶区域的方法和装置。

背景技术

随着自动驾驶技术的发展，行驶环境中的行驶区域检测也逐渐成了自动驾驶领域中的一项关键技术。自动驾驶车辆的车载大脑可以利用行驶区域检测结果来生成驾驶决策。

目前对行驶区域检测的方法，通常是对自动驾驶车辆所采集的当前环境图像进行分析处理来确定当前环境图像中的行驶区域。

发明内容

本申请实施例提出了一种用于确定环境图像中的行驶区域的方法和装置。

第一方面，本申请实施例提供了一种用于确定环境图像中的行驶区域的方法，该方法包括：获取当前图像采集时段内采集的当前环境图像帧序列；提取当前环境图像帧序列中的至少两帧环境图像的特征图，得到特征图像帧序列，特征图像帧序列包括从当前环境图像帧序列中预先确定出的当前环境图像帧所对应的当前特征图像帧；将特征图像帧序列中的各特征图像帧顺序输入预先训练的第一循环神经网络，得到第一特征信息序列；基于对第一特征信息序列中与当前特征图像帧对应的第一特征信息反卷积得到的升维特征，确定当前环境图像帧中的行驶区域。

在一些实施例中，在基于对第一特征信息序列中与当前特征图像帧对应的第一特征信息反卷积得到的升维特征，确定当前环境图像帧中的行驶区域之前，该方法还包括：将特征图像帧序列中的各特征图像帧逆序输入预先训练的第二循环神经网络，得到第二特征信息序列；将第二特征信息序列中对应当前特征图像帧的第二特征信息合并至对应当前特征图像帧的第一特征信息中，得到当前特征图像帧的更新后第一特征信息；以及基于对第一特征信息序列中与当前特征图像帧对应的第一特征信息反卷积得到的升维特征，确定当前环境图像帧中的行驶区域，包括：对当前特征图像帧的更新后第一特征信息执行反卷积操作，得到升维特征。

在一些实施例中，第一循环神经网络和第二循环神经网络均为长短期记忆网络。

在一些实施例中，上述提取当前环境图像帧序列中的至少两帧环境图像的特征图，包括：对当前环境图像帧序列中的至少两帧环境图像中的任一帧环境图像执行卷积操作，得到该帧环境图像的特征图。

在一些实施例中，在将特征图像帧序列中的各特征图像帧顺序输入预先训练的第一循环神经网络之前，该方法还包括：使用多帧添加了行驶区域标注的环境图像各自对应的特征图对初始第一循环神经网络、初始第二循环神经网络进行训练，得到训练后的第一循环神经网络和训练后的第二循环神经网络。

第二方面，本申请实施例提供了一种用于确定环境图像中的行驶区域的装置，该装置包括：获取单元，被配置成获取当前图像采集时段内采集的当前环境图像帧序列；提取单元，被配置成提取当前环境图像帧序列中的至少两帧环境图像的特征图，得到特征图像帧序列，特征图像帧序列包括从当前环境图像帧序列中预先确定出的当前环境图像帧所对应的当前特征图像帧；输入单元，被配置成将特征图像帧序列中的各特征图像帧顺序输入预先训练的第一循环神经网络，得到第一特征信息序列；确定单元，被配置成基于对第一特征信息序列中与当前特征图像帧对应的第一特征信息反卷积得到的升维特征，确定当前环境图像帧中的行驶区域。

在一些实施例中，输入单元进一步被配置成：在确定单元基于对第一特征信息序列中与当前特征图像帧对应的第一特征信息反卷积得到的升维特征，确定当前环境图像帧中的行驶区域之前，将特征图像帧序列中的各特征图像帧逆序输入预先训练的第二循环神经网络，得到第二特征信息序列；将第二特征信息序列中对应当前特征图像帧的第二特征信息合并至对应当前特征图像帧的第一特征信息中，得到当前特征图像帧的更新后第一特征信息；以及确定单元进一步被配置成：对当前特征图像帧的更新后第一特征信息执行反卷积操作，得到升维特征。

在一些实施例中，第一循环神经网络和第二循环神经网络均为长短期记忆网络。

在一些实施例中，提取单元进一步被配置成：对当前环境图像帧序列中的至少两帧环境图像中的任一帧环境图像执行卷积操作，得到该帧环境图像的特征图。

在一些实施例中，该装置还包括训练单元，训练单元被配置成：在输入单元将特征图像帧序列中的各特征图像帧顺序输入预先训练的第一循环神经网络之前，使用多帧添加了行驶区域标注的环境图像各自对应的特征图对初始第一循环神经网络、初始第二循环神经网络进行训练，得到训练后的第一循环神经网络和训练后的第二循环神经网络。

第三方面，本申请实施例提供了一种服务器，该电子设备包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如第一方面中任一实现方式描述的方法。

第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。

本申请实施例提供的用于确定环境图像中的行驶区域的方法和装置，通过获取当前图像采集时段内采集的当前环境图像帧序列，而后提取当前环境图像帧序列中的至少两帧环境图像的特征图，得到特征图像帧序列，接着将特征图像帧序列中的各特征图像帧顺序输入预先训练的第一循环神经网络，得到第一特征信息序列；最后基于对第一特征信息序列中与当前特征图像帧对应的第一特征信息反卷积得到的升维特征，确定当前环境图像帧中的行驶区域，从而在确定当前环境图像帧所对应的行驶区域时，有效利用了在当前环境图像帧的采集时刻之前所采集的环境图像帧的特征信息，可以提高所确定的当前环境图像帧的行驶区域的准确率。

在一些实施例中，通过将特征图像帧序列中的各特征图像帧逆序输入预先训练的第二循环神经网络，得到第二特征信息序列。然后将第二特征信息序列中对应当前特征图像帧的第二特征信息合并至当前特征图像帧的第一特征信息中，得到当前特征图像帧的更新后第一特征信息，然后基于当前特征图像帧的更新后第一特征信息来确定当前环境图像帧的行驶区域。从而在确定当前环境图像帧的行驶区域时，结合了当前环境图像帧的特征信息以及在当前环境图像帧的采集时刻之前以及之后所采集的环境图像帧的特征信息，可以进一步提高所确定的当前环境图像帧的行驶区域的准确率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请的一个实施例可以应用于其中的示例性系统架构图；

图2是根据本申请的用于确定环境图像中的行驶区域的方法的一个实施例的流程图；

图3是根据本申请的用于确定环境图像中的行驶区域的方法的一个应用场景的示意图；

图4是根据本申请的用于确定环境图像中的行驶区域的方法的又一个实施例的流程图；

图5是根据本申请的用于确定环境图像中的行驶区域的装置的一个实施例的结构示意图；

图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了本申请的一个实施例可以应用于其中的示例性系统架构100。

如图1所示，系统架构100可以包括自动驾驶车辆101，网络102和服务器103。网络102用以在自动驾驶车辆101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

自动驾驶车辆101可以将由设置在其上的图像采集设备采集的环境图像通过网络102发送给服务器103。

服务器103可以提供各种服务，例如对自动驾驶车辆101发送的环境图像进行处理，并将处理结果(例如环境图像中的行驶区域)发送给自动驾驶车辆101。

需要说明的是，本申请实施例所提供的用于确定环境图像中的行驶区域的方法可以由服务器103执行，也可以由自动驾驶车辆101的车载终端设备执行。相应地，用于确定环境图像中的行驶区域的装置可以设置于服务器103中，也可以设置在自动驾驶车辆101的车载终端设备中。

需要说明的是，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。

应该理解，图1中的自动驾驶车辆、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的自动驾驶车辆、网络和服务器。

继续参考图2，其示出了根据本申请的用于确定环境图像中的行驶区域的方法的一个实施例的流程200。该用于确定环境图像中的行驶区域的方法，包括以下步骤：

步骤201，获取当前图像采集时段内采集的当前环境图像帧序列。

在本实施例中，用于确定环境图像中的行驶区域的方法的执行主体(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式从自动驾驶车辆(例如图1所示的自动驾驶车辆)中获取由设置在自动驾驶车辆上的图像采集设备在当前图像采集时段内采集的当前环境图像帧序列。

这里的环境图像是指包括自动驾驶车辆行驶过程中所处环境的图像。上述环境可以包括但不限于行车车道形状、车距、障碍物、路标、天空等。

通常，设置在自动驾驶车辆上的图像采集设备可以分时段来采集环境图像。在每一个环境图像采集时段(例如可以为1秒)内可以采集多帧环境图像(例如25帧环境图像)。这样一来，每一个图像采集时段将采集得到一个环境图像帧序列。任一图像采集时段内采集得到的环境图像帧序列包括在该图像采集时段内按采集时间先后顺序排列的多帧环境图像。

步骤202，提取当前环境图像帧序列中的至少两帧环境图像的特征图，得到特征图像帧序列。

在本实施例中，基于步骤201中得到的当前环境图像帧序列，上述执行主体(例如图1所示的服务器)可以采用各种分析方法提取当前环境图像帧序列中的至少两帧环境图像的特征图，得到特征图像帧序列。上述特征图像帧序列可以包括从当前环境图像帧序列中预先确定出的当前环境图像帧所对应的当前特征图像帧。

在一些应用场景中，上述执行主体可以使用图像分析处理方法来提取上述至少两帧环境图像中的任一帧环境图像的特征图。上述图像分析处理方法可以包括但不限于傅里叶变换法、窗口傅里叶变换法、小波变换法、最小二乘法、边界直方图法等中的至少一种。

上述傅里叶变换法、窗口傅里叶变换法、小波变换法、最小二乘法、边界直方图法是目前广泛研究和应用的公知技术，此处不再赘述。

这里的至少两帧环境图像可以包括预先确定出的当前环境图像帧，以及在预先确定出的当前环境图像帧的采集时刻之前所采集的至少一帧环境图像。此外，上述至少两帧环境图像还可以包括预先确定出的当前环境图像帧、在预先确定出的当前环境图像帧的采集时刻之前所采集的至少一帧环境图像以及在当前环境图像帧的采集时刻之后所采集的至少一帧环境图像。

在一些应用场景中，上述执行主体可以对当前环境图像帧序列中的至少两帧环境图像中的每一帧环境图像执行卷积操作，从而得到上述至少两帧环境图像中的每一帧环境图像对应的特征图。具体地，对于上述至少两帧环境图像中的任一帧环境图像，上述执行主体可以将其输入到预先训练的卷积神经网络中，从而可以提取该帧环境图像的特征图。在该卷积神经网络中可以包括多个卷积层和多个下采样层。卷积层可以包括预先训练的卷积核和激励函数。

需要说明的是，在由对上述环境图像帧序列中的各环境图像帧进行分析处理所得到的特征图像帧序列中，每一特征图的大小可以小于该特征图所对应的环境图像帧的大小。例如一帧环境图像的特征图的长度和宽度分别为该帧环境图像的长度和宽度的1/16。作为示例，当一帧环境图像的大小为640×480像素(也即环境图像在长度方向有640个像素，在宽度方向有480个像素)时，所提取的该帧环境图像的特征图的大小可以为40×30像素(也即特征图在长度方向有40个像素，在宽度方向有30个像素)。在本申请中可以假设所提到的像素的尺寸均相同。

在上述特征图中，每一个像素可以对应多个通道的特征，例如每一个像素可以对应512通道特征。每一个像素点所对应的通道的数量与为生成上述特征图所使用的卷积核的数量相关。

步骤203，将特征图像帧序列中的各特征图像帧顺序输入预先训练的第一循环神经网络，得到第一特征信息序列。

在本实施例中，用于确定环境图像中的行驶区域的方法的执行主体可以将上述特征图像帧序列中的各特征图像帧顺序输入到预先训练的第一循环神经网络，从而得到第一特征信息序列。

例如，假设上述自动驾驶车辆的图像采集设备在当前图像采集时段内所采集的当前环境图像帧序列为{A1，A2，A3，A4，A5}。其中，环境图像帧A1的采集时间要早于环境图像帧A2的采集时间。假设在步骤202中对上述当前环境图像帧序列中的每一帧环境图像均提取了特征图，则所得到的特征图像帧序列为{B1，B2，B3，B4，B5}。其中，B1、B2、B3、B4、B5分别为环境图像帧A1、A2、A3、A4、A5所对应的特征图。上述执行主体可以将特征图像帧序列中的各特征图像帧B1、B2、B3、B4、B5顺序输入预先训练的第一循环神经网络。也就说先将特征图像帧B1先输入到第一循环神经网络，然后将特征图像帧B2输入到第一循环神经网络，以此类推，最后将特征图像帧B5输入到第一循环神经网络中。在将特征图像帧序列中的各特征图像帧顺序输入到预先训练的第一循环神经网络后，可以得到第一特征信息序列。假设第一特征信息序列为{C1，C2，C3，C4，C5}。其中C1、C2、C3、C4和C5分别是对应将B1、B2、B3、B4、B5输入到第一循环神经网络时，第一循环神经网络所输出的第一特征信息。

上述第一循环神经网络可以包括输入层、隐含层和输出层。其中，隐含层可以包括多个记忆单元。上述记忆单元可以对历史时刻的信息进行记忆并保存。若当前时刻向第一循环神经网络的输入层输入一个特征图时，第一循环神经网络输出的当前的第一特征信息既与当前输入的特征图有关，还与第一循环神经网络之前输出的第一特征信息有关。因此，在第一循环神经网络中任一时刻所输出第一特征信息中，包括了在该时刻输入到第一循环神经网络中的特征图对应的特征信息，还包括了在该时刻之前第一循环神经网络所输出的第一特征信息。也即第一特征信息C2包括了特征图像帧B2自身的特征信息和第一特征信息C1中的特征信息；第一特征信息C3包括了特征图像帧B3自身的特征信息和第一特征信息C2、C1的特征信息；第一特征信息C4包括了特征图像帧B4自身的特征信息和第一特征信息C3、C2、C1的特征信息。第一特征信息C5包括了特征图像帧B5自身的特征信息和第一特征信息C4、C3、C2和C1的特征信息。

这样一来，在将当前特征图像帧序列顺序输入第一循环神经网络所得到的第一特征信息序列中，对应当前特征图像帧的第一特征信息中除了包括当前特征图中的特征信息之外，还包括了在当前环境图像帧采集时刻之前所采集的环境图像帧所对应的特征图中的特征信息。可以使用在当前环境图像帧采集时刻之前所采集的环境图像帧的特征信息来对当前环境图像帧的特征信息进行印证。从而使得根据包括当前环境图像帧的特征信息、以及在当前环境图像帧采集时刻之前采集的环境图像帧的特征信息的第一特征信息，来对当前环境图像帧对应的行驶区域进行判定时，可以提高判定结果准确率。

在本实施例的一些可选实现方式中，上述第一循环神经网络可以为长短期记忆网络(Long Short-Term Memory，LSTM)。长短期记忆网络是多种循环神经网络中的一种。与普通的循环神经网络类似，长短期记忆网络包括输入层、隐含层以及输出层。不同的是，长短期记忆网络的隐含层可以包括多个记忆单元。每一个记忆单元可以包括输入门、遗忘门和输出门。在上述输入门、遗忘门和输出门共同作用下，可以判断各历史时刻的输入信息能否通过记忆单元。

在本实施例的一些应用场景中，可以通过训练使得遗忘门将输入到长短期记忆网络中的当前特征图像帧中的、与之前输入到长短期记忆网络中的特征图像帧中差异较大的特征参数进行遗忘。同时保留与之前输入到长短期记忆网络中的特征图像帧中差异较小的特征参数。这样一来，可以利用长短期记忆网络将在当前环境图像帧采集时刻之前所采集到环境图像帧所对应的特征图与当前环境图像帧的特征图进行比对，从而来确定当前环境图像帧的特征图中某些特征信息的准确性。

在本实施例中，在步骤202中所得到的特征图像帧序列中的各个特征图的大小相同。也即各个特征图包括相同的像素点数量。

上述执行主体可以将上述特征图中的每一个像素点作为分析对象。当将特征图像帧序列中的各特征图像帧顺序输入预先训练的第一循环神经网络时，上述第一循环神经网络可以分别对由上述特征图像帧序列中的各特征图像中的每一像素点所对应的特征参数(这里的特征参数可以为多通道特征参数)形成的特征参数序列进行处理。因此，在第一特征信息序列中的任一第一特征信息中，包括与特征图相同的像素点数量。例如当特征图的大小为40×30像素(也即在长度方向有40个像素，在宽度方向有30个像素)时，上述第一特征信息所对应的图像的大小也为40×30像素。

对于第一特征信息中的每一个像素，该像素所对应的特征参数的通道数量与第一循环神经网络中的记忆单元的数量相等。例如当第一循环神经网络中的记忆单元的数量为256个时，第一特征信息中的每一个像素也包括256通道的特征参数。

步骤204，基于对第一特征信息序列中与当前特征图像帧对应的第一特征信息反卷积得到的升维特征，确定当前环境图像帧中的行驶区域。

在本实施例中，上述执行主体可以基于对第一特征信息序列中与当前特征图像帧对应的第一特征信息反卷积得到的升维特征，来确定当前环境图像中的行驶区域。

首先，上述执行主体可以对当前环境图像帧对应的第一特征信息执行反卷积操作。具体地，对于当前环境图像帧所对应的第一特征信息，将该第一特征信息中的每一个像素所对应的特征参数(特征参数可以为多通道特征参数)与预先训练的卷积核执行卷积操作。上述卷积核可以包括的元素数量例如可以为32×32(长度方向32个元素，宽度方向32个元素)。卷积核中的每一个元素可以对应多个通道的数值。每一个元素所对应的通道的数量与第一特征信息中的每一个像素所对应的通道数量相等。上述反卷积操作的步长可以根据具体的需要进行设定。作为示例，上述步长例如可以为16。在经过上述反卷积操作之后，可以将第一特征信息的像素的数量升维至与当前环境图像帧的像素的数量相同。例如，在将40×30像素的第一特征信息与上述32×32元素的反卷积核执行反卷积操作，步长为16，可以得到640×480像素的升维特征。此外，在经过上述反卷积操作之后所得到的升维特征中，每一个像素可以有一个特征值(该特征值例如可以是介于0～1之间的数值)。对于每一个像素可以根据该特征值与预设阈值之间的大小关系来判断该像素所对应的当前环境图像帧的区域是否为行驶区域。作为示例，当一个像素的特征值大于上述预设阈值时，可以判断该像素所对应的当前环境图像帧的区域为行驶区域，否则，该像素所对应的当前环境图像帧的区域为非行驶区域。

在一些应用场景中，在执行上述反卷积操作时，还可以采用两个预先训练的、包括相同元素(例如32×32元素)的卷积核与上述当前特征图像帧所对应的第一特征信息执行反卷积操作。这样一来，经过上述反卷积操作所得到的升维特征中，每一个像素可以对应两个特征值(每一个特征值均可以为0～1之间的数值)。可以通过比较两个特征值之间的大小关系来确定该像素所对应的环境图像中的区域是否为行驶区域。需要说明的是，上述两个卷积核中的一个卷积核可以由使用多个行驶区域图像对应的第一特征信息对一个初始卷积核进行训练得到；另一个卷积核可以由使用多个非行驶区域图像对应的第一特征信息对另一个初始卷积核进行训练得到。

继续参见图3，图3是根据本实施例的用于确定环境图像中的行驶区域的方法的应用场景的一个示意图300。在图3的应用场景中，服务器302从自动驾驶车辆301获取由设置在自动驾驶车辆301上的图像采集设备在当前图像采集时段内采集的当前环境图像帧序列303；之后，服务器302可以提取当前环境图像帧序列303中的至少两帧环境图像的特征图，得到特征图像帧序列304。其中，特征图像帧序列包括从当前环境图像帧序列中预先确定出的当前环境图像帧所对应的当前特征图像帧。然后，上述服务器302将特征图像帧序列中的各特征图像帧顺序输入预先训练的第一循环神经网络，得到第一特征信息序列305。接着，上述服务器302基于对第一特征信息序列中与当前特征图像帧对应的第一特征信息反卷积得到的升维特征，确定的当前环境图像帧中的行驶区域306。最后，服务器302向自动驾驶车辆301发送包括行驶区域标注的当前环境图像帧307，以使自动驾驶车辆的车载大脑参考当前环境图像帧中的行驶区域做出驾驶决策。

本申请的上述实施例提供的方法通过获取当前图像采集时段内采集的当前环境图像帧序列，而后提取当前环境图像帧序列中的至少两帧环境图像的特征图，得到特征图像帧序列，接着将特征图像帧序列中的各特征图像帧顺序输入预先训练的第一循环神经网络，得到第一特征信息序列；最后基于对第一特征信息序列中与当前特征图像帧对应的第一特征信息反卷积得到的升维特征，确定所述当前环境图像帧中的行驶区域，从而在确定当前环境图像帧对应的行驶区域时，有效利用了当前环境图像帧采集时刻之前所采集的环境图像帧的特征信息，从而提高了所确定的当前环境图像帧的行驶区域的准确率。

在本实施例的一些可选的实现方式中，在步骤203的将特征图像帧序列中的各特征图像帧顺序输入预先训练的第一循环神经网络之前，可以通过如下的方式对第一循环神经网络进行训练：

使用多帧添加了行驶区域标注的环境图像各自对应的特征图对初始第一循环神经网络进行训练，从而得到训练后的第一循环神经网络。在对第一循环神经网络进行训练时可以使用反向传播算法来训练第一循环神经网络；第一循环神经网络中的各个参数可以采用随机梯度下降方法来进行学习。

在一些应用场景中，可以使用连续采集的、添加了行驶区域标注的多帧环境图像各自对应的特征图对初始第一循环神经网络进行训练。

进一步参考图4，其示出了用于确定环境图像中的行驶区域的方法的又一个实施例的流程400。该用于确定环境图像中的行驶区域的方法的流程400，包括以下步骤：

步骤401，获取当前图像采集时段内采集的当前环境图像帧序列。

步骤401与图2所示实施例中的步骤201相同，此处不赘述。

步骤402，提取当前环境图像帧序列中的至少两帧环境图像的特征图，得到特征图像帧序列。

上述特征图像帧序列包括从当前环境图像帧序列中预先确定出的当前环境图像帧所对应的当前特征图像帧。

步骤402与图2所示实施例中的步骤202相同，此处不赘述。

步骤403，将特征图像帧序列中的各特征图像帧顺序输入预先训练的第一循环神经网络，得到第一特征信息序列。

步骤403与图2所示实施例中的步骤203相同，此处不赘述。

步骤404，将特征图像帧序列中的各特征图像帧逆序输入预先训练的第二循环神经网络，得到第二特征信息序列。

在本实施例中，用于确定环境图像中的行驶区域的方法的执行主体(例如图1所示的电子设备)可以将特征图像帧序列中的各特征图像帧逆序输入到预先训练的第二循环神经网络，从而得到第二特征信息序列。

当在将上述特征图像帧序列中的任意一个特征图像帧输入第二循环神经网络时，上述第二循环神经网络可以对应输出一个第二特征信息。

在本实施例中，上述第二循环神经网络的结构可以与第一循环神经网络的结构相同，此处不赘述。

由于上述第二循环神经网络的结构特征，在将上述特征图像帧序列中的各特征图像帧逆序输入第二循环神经网络后，第二循环神经网络所输出的当前环境图像帧的特征信息中包括了在当前环境图像帧之后采集的环境图像帧的特征信息。

例如，在当前图像采集时段内上述自动驾驶车辆的图像采集设备所采集的当前环境图像帧序列为{A1，A2，A3，A4，A5}。其中，环境图像帧A1的采集时间要早于环境图像帧A2的采集时间。假设在步骤402中对上述当前环境图像帧序列中的每一帧环境图像均提取了特征图，则所得到的特征图像帧序列为{B1，B2，B3，B4，B5}。其中，B1、B2、B3、B4、B5分别为环境图像帧A1、A2、A3、A4、A5的特征图。上述执行主体可以将特征图像帧序列中的各特征图像帧B1，B2，B3，B4，B5逆序输入到预先训练的第二循环神经网络。也就说将特征图像帧B5先输入到第二循环神经网络，然后将特征图像帧B4输入到第二循环神经网络，以此类推，最后将特征图像帧B1输入到第二循环神经网络中。在将特征图像帧序列中的各特征图像帧逆序输入到预先训练的第二循环神经网络后，可以得到第二特征信息序列。假设第二特征信息序列为{D5，D4，D3，D2，D1}。也就是说D5、D4、D3、D2和D1分别为对应将B5、B4、B3、B2和B1依次输入到第二循环神经网后得到的第二特征信息。其中，第二特征信息D4包括特征图像帧B4自身的特征信息和第二特征信息D5的特征信息。第二特征信息D3包括特征图像帧B3的特征信息和第二特征信息D4、D5的特征信息。第二特征信息D2包括特征图像帧B2的特征信息和第二特征信息D3、D4、D5的特征信息。第二特征信息D1包括了特征图像帧B1自身的特征信息和第二特征信息D2、D3、D4和D5的特征信息。

这样一来，对于任意一帧环境图像，由第二循环神经网络输出的与该帧环境图像对应的第二特征信息中包括了在该帧环境图像采集时刻之后采集的环境图像帧所对应的第二特征信息。也就是说，对于任一帧环境图像来说，由第二循环神经网络所输出的第二特征信息中，包括了未来采集的环境图像帧的特征信息。

在本实施例的一些可选的实现方式中，上述第二循环神经网络例如可以为长短期记忆网络。上述长短期记忆网络包括了输入门、遗忘门和输出门。在使用过程中，可以通过训练使得遗忘门将输入到长短期记忆网络中的当前特征图像帧中的、与之前输入到长短期记忆网络中的特征图像帧中差异较大的特征进行遗忘。同时保留与之前输入到长短期记忆网络中的特征图像帧中差异较小的特征。这样一来，可以利用长短期记忆网络将在当前环境图像采集时刻之后所采集到环境图像帧所对应的特征图与当前环境图像帧的特征图进行比对，从而来确定当前环境图像帧的特征图中的某些特征的准确性。

在本实施例中，在步骤402中所得到的特征图像帧序列中的各个特征图的大小相同。

上述执行主体可以将上述特征图中的每一个像素点作为分析对象。当将特征图像帧序列中的各特征图像帧逆序输入预先训练的第二循环神经网络时，上述第二循环神经网络可以分别对由上述特征图像帧序列中的各特征图像中的每一像素点所对应的特征参数(这里的特征参数可以为多通道特征参数)形成的特征参数序列进行处理。因此，在第二特征信息序列中的任一第二特征信息中，包括与特征图相同的像素点数量。

对于第二特征信息中的每一个像素，该像素所对应的特征参数的通道数量与第二循环神经网络中的记忆单元的数量相等。例如当第二循环神经网络中的记忆单元的数量为256个时，第二特征信息中的每一个像素也包括256通道的特征参数。

需要说明的是，在步骤403的将特征图像帧序列中的各特征图像帧顺序输入预先训练的第一循环神经网络之前，需要使用多帧添加了行驶区域标注的环境图像各自对应的特征图对初始第一循环神经网络和初始第二循环神经网络进行训练，从而得到训练后的第一循环神经网络和训练后的第二循环神经网络。

步骤405，将第二特征信息序列中对应当前特征图像帧的第二特征信息合并至对应当前特征图像帧的第一特征信息中，得到当前特征图像帧的更新后第一特征信息。

在步骤403和步骤404分别得到当前特征图像帧的第一特征信息序列和第二特征信息序列之后，上述执行主体可以将第二特征信息序列中对应当前特征图像帧的第二特征信息合并至第一特征信息序列中对应当前图像帧的第一特征信息中，得到当前特征图像帧的更新后第一特征信息。

上述执行主体可以将当前图像帧的第二特征信息中的任一像素对应的多通道特征参数与当前图像帧的第一特征信息中的对应像素的多通通特征参数进行合并，得到该像素对应的更新后第一特征信息。例如，假设当前图像帧的第二特征信息中的一个像素对应256通道特征参数，当前图像帧的第一特征信息中的对应像素对应256通道特征参数。该像素的更新后第一特征信息将包括512通道特征参。这样一来，可以得到当前特征图像帧多个像素的更新后第一特征信息。

对于当前特征图像帧的更新后第一特征信息而言，由于其合并了当前特征图像帧的第二特征信息，从而当前特征图像帧的更新后第一特征信息既包括了在当前环境图像帧采集时刻之前采集的环境图像帧的特征，又包括了在当前环境图像帧采集时刻之后采集的环境图像帧的特征。因此可以使用在当前环境图像帧采集时刻之前、之后所采集的环境图像帧的特征信息同时对当前环境图像帧的特征信息进行验证，可以进一步提高对当前环境图像帧所提取的特征的准确性。当基于包括了在当前环境图像帧的更新后第一特征信息来确定当前环境图像帧的行驶区域时，可以进一步提高所确定的行驶区域的准确率。

步骤406，基于对第一特征信息序列中与当前特征图像帧对应的更新后第一特征信息反卷积得到的升维特征，确定当前帧环境图像中的行驶区域。

在本实施例中，上述执行主体可以对第一特征信息序列中与当前特征图像帧对应的更新后第一特征信息执行反卷积操作，得到升维特征。并基于对与当前特征图像帧对应的更新后第一特征信息执行反卷积得到的升维特征，确定当前环境图像中的行驶区域。

上述步骤406与图2所示的步骤204相同，此处不赘述。

从图4中可以看出，与图2对应的实施例相比，本实施例中的用于确定环境图像中的行驶区域的方法的流程400突出了将特征图像帧序列逆序输入第二循环神经网络，得到第二特征信息序列，并将当前特征图像帧对应的第二特征信息合并至当前特征图像帧对应的第一特征信息中得到当前特征图像帧的更新后第一特征信息的步骤。由此，本实施例描述的方案可以在当前环境图像帧对应的第一特征信息中引入在当前环境图像帧采集时刻之后采集的环境图像帧的特征信息，从而可以进一步提高所确定的当前环境图像帧的行驶区域的准确率。

进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种用于确定环境图像中的行驶区域的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，本实施例的用于确定环境图像中的行驶区域的装置500包括：获取单元501、提取单元502、输入单元503和确定单元504。其中，获取单元501，被配置成获取当前图像采集时段内采集的当前环境图像帧序列；提取单元502，被配置成提取当前环境图像帧序列中的至少两帧环境图像的特征图，得到特征图像帧序列，特征图像帧序列包括从当前环境图像帧序列中预先确定出的当前环境图像帧所对应的当前特征图像帧；输入单元503，被配置成将特征图像帧序列中的各特征图像帧顺序输入预先训练的第一循环神经网络，得到第一特征信息序列；确定单元504，被配置成基于对第一特征信息序列中与当前特征图像帧对应的第一特征信息反卷积得到的升维特征，确定当前环境图像帧中的行驶区域。

在本实施例中，用于确定环境图像中的行驶区域的装置500的获取单元501、提取单元502、输入单元503和确定单元504的具体处理及其所带来的技术效果可分别参考图2对应实施例中步骤201、步骤202、步骤203步骤204的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，输入单元503进一步被配置成：在确定单元504基于对第一特征信息序列中与当前特征图像帧对应的第一特征信息反卷积得到的升维特征，确定当前环境图像帧中的行驶区域之前，将特征图像帧序列中的各特征图像帧逆序输入预先训练的第二循环神经网络，得到第二特征信息序列；将第二特征信息序列中对应当前特征图像帧的第二特征信息合并至对应当前特征图像帧的第一特征信息中，得到当前特征图像帧的更新后第一特征信息。以及确定单元504进一步被配置成：对当前特征图像帧的更新后第一特征信息执行反卷积操作，得到升维特征。

在本实施例的一些可选的实现方式中，上述第一循环神经网络和第二循环神经网络均为长短期记忆网络。

在本实施例的一些可选的实现方式中，提取单元502进一步被配置成：对当前环境图像帧序列中的至少两帧环境图像中的任一帧环境图像执行卷积操作，得到该帧环境图像的特征图。

在本实施例的一些可选的实现方式中，该装置还包括训练单元(图中未示出)。训练单元被配置成：在输入单元503将特征图像帧序列中的各特征图像帧顺序输入预先训练的第一循环神经网络之前，使用多帧添加了行驶区域标注的环境图像对应的特征图对初始第一循环神经网络、初始第二循环神经网络进行训练，得到训练后的第一循环神经网络和训练后的第二循环神经网络。

下面参考图6，其示出了适于用来实现本申请实施例的电子设备的计算机系统600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU，Central Processing Unit)601，其可以根据存储在只读存储器(ROM，Read Only Memory)602中的程序或者从存储部分608加载到随机访问存储器(RAM，Random Access Memory)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM602以及RAM 603通过总线604彼此相连。输入/输出(I/O，Input/Output)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT，Cathode Ray Tube)、液晶显示器(LCD，Liquid Crystal Display)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN(局域网，Local AreaNetwork)卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

此外，计算机系统600还可以包括图像处理单元(GPU，Graphics ProcessingUnit)612。上述计算机程序产品所包括的计算机程序还可以由图像处理单元(GPU)612执行。在该计算机程序被图像处理单元(GPU)612执行时，执行本申请的方法中限定的上述功能。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在本地计算机上执行、部分地在本地计算机上执行、作为一个独立的软件包执行、部分在本地计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到本地计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、提取单元、输入单元和确定单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取当前图像采集时段内采集的当前环境图像帧序列的单元”。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取当前图像采集时段内采集的当前环境图像帧序列；提取当前环境图像帧序列中的至少两帧环境图像的特征图，得到特征图像帧序列，特征图像帧序列包括从当前环境图像帧序列中预先确定出的当前环境图像帧所对应的当前特征图像帧；将特征图像帧序列中的各特征图像帧顺序输入预先训练的第一循环神经网络，得到第一特征信息序列；基于对第一特征信息序列中与当前特征图像帧对应的第一特征信息反卷积得到的升维特征，确定当前环境图像帧中的行驶区域。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种用于确定环境图像中的行驶区域的方法，包括：

获取当前图像采集时段内采集的当前环境图像帧序列；

提取所述当前环境图像帧序列中的至少两帧环境图像的特征图，得到特征图像帧序列，所述特征图像帧序列包括从所述当前环境图像帧序列中预先确定出的当前环境图像帧所对应的当前特征图像帧；

将所述特征图像帧序列中的各特征图像帧顺序输入预先训练的第一循环神经网络，得到第一特征信息序列；

基于对第一特征信息序列中与所述当前特征图像帧对应的第一特征信息反卷积得到的升维特征，确定所述当前环境图像帧中的行驶区域。

2.根据权利要求1所述的方法，其中，在所述基于对第一特征信息序列中与所述当前特征图像帧对应的第一特征信息反卷积得到的升维特征，确定所述当前环境图像帧中的行驶区域之前，所述方法还包括：

将所述特征图像帧序列中的各特征图像帧逆序输入预先训练的第二循环神经网络，得到第二特征信息序列；

将所述第二特征信息序列中对应当前特征图像帧的第二特征信息合并至对应当前特征图像帧的第一特征信息中，得到当前特征图像帧的更新后第一特征信息；以及

所述基于对第一特征信息序列中与所述当前特征图像帧对应的第一特征信息反卷积得到的升维特征，确定所述当前环境图像帧中的行驶区域，包括：对所述当前特征图像帧的更新后第一特征信息执行反卷积操作，得到升维特征。

3.根据权利要求2所述的方法，其中，所述第一循环神经网络和第二循环神经网络均为长短期记忆网络。

4.根据权利要求1所述的方法，其中，所述提取所述当前环境图像帧序列中的至少两帧环境图像的特征图，包括：

对所述当前环境图像帧序列中的至少两帧环境图像中的任一帧环境图像执行卷积操作，得到该帧环境图像的特征图。

5.根据权利要求2所述的方法，其中，在将所述特征图像帧序列中的各特征图像帧顺序输入预先训练的第一循环神经网络之前，所述方法还包括：

使用多帧添加了行驶区域标注的环境图像各自对应的特征图对初始第一循环神经网络、初始第二循环神经网络进行训练，得到训练后的第一循环神经网络和训练后的第二循环神经网络。

6.一种用于确定环境图像中的行驶区域的装置，包括：

获取单元，被配置成获取当前图像采集时段内采集的当前环境图像帧序列；

提取单元，被配置成提取所述当前环境图像帧序列中的至少两帧环境图像的特征图，得到特征图像帧序列，所述特征图像帧序列包括从所述当前环境图像帧序列中预先确定出的当前环境图像帧所对应的当前特征图像帧；

输入单元，被配置成将所述特征图像帧序列中的各特征图像帧顺序输入预先训练的第一循环神经网络，得到第一特征信息序列；

确定单元，被配置成基于对第一特征信息序列中与所述当前特征图像帧对应的第一特征信息反卷积得到的升维特征，确定所述当前环境图像帧中的行驶区域。

7.根据权利要求6所述的装置，其中，所述输入单元进一步被配置成：

在所述确定单元基于对第一特征信息序列中与所述当前特征图像帧对应的第一特征信息反卷积得到的升维特征，确定所述当前环境图像帧中的行驶区域之前，将所述特征图像帧序列中的各特征图像帧逆序输入预先训练的第二循环神经网络，得到第二特征信息序列；

将所述第二特征信息序列中对应当前特征图像帧的第二特征信息合并至对应当前特征图像帧的第一特征信息中，得到当前特征图像帧的更新后第一特征信息；以及

所述确定单元进一步被配置成：

对所述当前特征图像帧的更新后第一特征信息执行反卷积操作，得到升维特征。

8.根据权利要求7所述的装置，其中，所述第一循环神经网络和第二循环神经网络均为长短期记忆网络。

9.根据权利要求6所述的装置，其中，所述提取单元进一步被配置成：

对所述当前环境图像帧序列中的至少两帧环境图像中的任一帧环境图像执行卷积操作，得到该帧环境图像的特征图。

10.根据权利要求7所述的装置，其中，所述装置还包括训练单元，所述训练单元被配置成：

在所述输入单元将所述特征图像帧序列中的各特征图像帧顺序输入预先训练的第一循环神经网络之前，使用多帧添加了行驶区域标注的环境图像各自对应的特征图对初始第一循环神经网络、初始第二循环神经网络进行训练，得到训练后的第一循环神经网络和训练后的第二循环神经网络。

11.一种电子设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-5之一所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1-5之一所述的方法。

Images