CN109657523B - 一种可行驶区域检测方法和装置 - Google Patents

Abstract

本发明公开了一种可行驶区域检测方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：根据采集的当前时刻的区域图像生成所述当前时刻的特征图；根据所述当前时刻的特征图和所述当前时刻的前一时刻的时序特征图生成所述当前时刻的时序特征图；根据所述当前时刻的时序特征图生成带有特征值的区域图像特征图，然后根据所述特征值检测所述区域图像特征图中的可行驶区域。该实施方式能够把可行驶区域检测任务中的前后帧图像之间的时间依赖关系利用起来，使得能够基于更多的信息来检测可行驶区域，从而有效提高可行驶区域检测的效果。

Description

一种可行驶区域检测方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种可行驶区域检测方法和装置。

背景技术

可行驶区域检测(free space detection)是指对摄像头采集的图像进行分析，判断图像中的每个像素点属于可行驶区域还是非可行驶区域。现有的可行驶区域检测方法有两类，一类是把摄像头采集到的图像进行分块，比如4像素乘以4像素的小块，或者8像素乘以8像素的小块，每个小块有一个属于可行驶区域或者非可行驶区域的标签，再利用卷积神经网络对图像进行分析，判断每一块属于可行驶区域还是非可行使区域。另一类是引入反卷积的方法，先用卷积神经网络对图像进行分析，经过卷积和降采样，得到尺寸较小的特征图，再用反卷积把特征图还原到原图的大小，再判断每个像素点属于可行驶区域或者非可行驶区域。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

无论是对图像进行分块，还是引入反卷积的方法，都不能有效地提高可行驶区域检测的效果。

发明内容

有鉴于此，本发明实施例提供一种可行驶区域检测方法和装置，能够把可行驶区域检测任务中的前后帧图像之间的时间依赖关系利用起来，使得能够基于更多的信息来检测可行驶区域，从而有效提高可行驶区域检测的效果。

为实现上述目的，根据本发明实施例的一个方面，提供了一种可行驶区域检测方法。

一种可行驶区域检测方法，包括：根据采集的当前时刻的区域图像生成所述当前时刻的特征图；根据所述当前时刻的特征图和所述当前时刻的前一时刻的时序特征图生成所述当前时刻的时序特征图；根据所述当前时刻的时序特征图生成带有特征值的区域图像特征图，然后根据所述特征值检测所述区域图像特征图中的可行驶区域。

可选地，根据采集的当前时刻的区域图像生成所述当前时刻的特征图的步骤，包括：通过第一卷积神经网络对采集的当前时刻的区域图像进行卷积处理和降采样处理，以生成所述当前时刻的特征图。

可选地，根据所述当前时刻的特征图和所述当前时刻的前一时刻的时序特征图生成所述当前时刻的时序特征图的步骤，包括：将所述当前时刻的特征图中的特征向量作为循环神经网络的第一输入特征向量，将所述当前时刻的前一时刻的时序特征图中的特征向量作为所述循环神经网络的第二输入特征向量；通过所述循环神经网络处理所述第一输入特征向量和所述第二输入特征向量，以得到所述循环神经网络的输出特征向量，并根据所述输出特征向量生成所述当前时刻的时序特征图。

可选地，根据所述当前时刻的时序特征图生成带有特征值的区域图像特征图的步骤，包括：通过第二卷积神经网络的卷积层根据所述当前时刻的时序特征图生成带有特征值的两通道特征图；通过所述第二卷积神经网络的反卷积层将所述两通道特征图还原为所述当前时刻的区域图像的大小，以得到带有特征值的区域图像特征图。

可选地，所述带有特征值的区域图像特征图包括预设数量的图像位置，每个图像位置对应指示为可行驶区域的特征值和指示为非可行驶区域的特征值，根据所述特征值检测所述区域图像特征图中的可行驶区域的步骤，包括：比较每个图像位置对应的指示为可行驶区域的特征值和指示为非可行驶区域的特征值的大小，其中：如果所述指示为可行驶区域的特征值大于所述指示为非可行驶区域的特征值，则对应的图像位置为可行驶区域；如果所述指示为可行驶区域的特征值小于所述指示为非可行驶区域的特征值，则对应的图像位置为非可行驶区域；如果所述指示为可行驶区域的特征值等于所述指示为非可行驶区域的特征值，则检查由所述指示为可行驶区域的特征值和所述指示为非可行驶区域的特征值构成的数组的第一个数组下标，如果所述第一个数组下标对应的特征值指示为可行驶区域，则对应的图像位置为可行驶区域，如果所述第一个数组下标对应的特征值指示为非可行驶区域，则对应的图像位置为非可行驶区域。

根据本发明实施例的另一方面，提供了一种可行驶区域检测装置。

一种可行驶区域检测装置，包括：特征图生成模块，用于根据采集的当前时刻的区域图像生成所述当前时刻的特征图；时序特征图生成模块，用于根据所述当前时刻的特征图和所述当前时刻的前一时刻的时序特征图生成所述当前时刻的时序特征图；可行驶区域检测模块，用于根据所述当前时刻的时序特征图生成带有特征值的区域图像特征图，然后根据所述特征值检测所述区域图像特征图中的可行驶区域。

可选地，所述特征图生成模块还用于：通过第一卷积神经网络对采集的当前时刻的区域图像进行卷积处理和降采样处理，以生成所述当前时刻的特征图。

可选地，所述时序特征图生成模块还用于：将所述当前时刻的特征图中的特征向量作为循环神经网络的第一输入特征向量，将所述当前时刻的前一时刻的时序特征图中的特征向量作为所述循环神经网络的第二输入特征向量；通过所述循环神经网络处理所述第一输入特征向量和所述第二输入特征向量，以得到所述循环神经网络的输出特征向量，并根据所述输出特征向量生成所述当前时刻的时序特征图。

可选地，所述可行驶区域检测模块包括生成单元，用于：通过第二卷积神经网络的卷积层根据所述当前时刻的时序特征图生成带有特征值的两通道特征图；通过所述第二卷积神经网络的反卷积层将所述两通道特征图还原为所述当前时刻的区域图像的大小，以得到带有特征值的区域图像特征图。

可选地，所述带有特征值的区域图像特征图包括预设数量的图像位置，每个图像位置对应指示为可行驶区域的特征值和指示为非可行驶区域的特征值，所述可行驶区域检测模块包括检测单元，用于：比较每个图像位置对应的指示为可行驶区域的特征值和指示为非可行驶区域的特征值的大小，其中：如果所述指示为可行驶区域的特征值大于所述指示为非可行驶区域的特征值，则对应的图像位置为可行驶区域；如果所述指示为可行驶区域的特征值小于所述指示为非可行驶区域的特征值，则对应的图像位置为非可行驶区域；如果所述指示为可行驶区域的特征值等于所述指示为非可行驶区域的特征值，则检查由所述指示为可行驶区域的特征值和所述指示为非可行驶区域的特征值构成的数组的第一个数组下标，如果所述第一个数组下标对应的特征值指示为可行驶区域，则对应的图像位置为可行驶区域，如果所述第一个数组下标对应的特征值指示为非可行驶区域，则对应的图像位置为非可行驶区域。

根据本发明实施例的又一方面，提供了一种电子设备。

电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现可行驶区域检测方法。

根据本发明实施例的又一方面，提供了一种计算机可读介质。

一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现可行驶区域检测方法。

上述发明中的一个实施例具有如下优点或有益效果：根据采集的当前时刻的区域图像生成当前时刻的特征图，并根据当前时刻的特征图和当前时刻的前一时刻的时序特征图生成当前时刻的时序特征图，根据当前时刻的时序特征图生成带有特征值的区域图像特征图，然后根据该特征值检测区域图像特征图中的可行驶区域。能够把可行驶区域检测任务中的前后帧图像之间的时间依赖关系利用起来，使得能够基于更多的信息来检测可行驶区域，从而有效提高可行驶区域检测的效果。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的可行驶区域检测方法的主要步骤示意图；

图2是根据本发明实施例的可行驶区域检测方法的一个示例性网络结构示意图；

图3是根据本发明实施例的可行驶区域检测装置的主要模块示意图；

图4是本发明实施例可以应用于其中的示例性系统架构图；

图5是适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

目前的可行驶区域检测方法都是采用卷积神经网络对图像进行分析，比如GoogLeNet(一种卷积神经网络)。现有的可行驶区域检测方法没有把前后帧图像之间的时序依赖关系利用起来。本发明实施例基于在自动驾驶中摄像头采集到的前后帧图片具有时序依赖关系这一特性，将前后帧图像之间的时序依赖关系利用起来用于对可行驶区域的检测，使得能够基于更多的信息来检测可行驶区域，有助于有效地提高可行驶区域检测的效果。

图1是根据本发明实施例的可行驶区域检测方法的主要步骤示意图。

如图1所示，本发明实施例的可行驶区域检测方法主要包括如下的步骤S101至步骤S103。

步骤S101：根据采集的当前时刻的区域图像生成当前时刻的特征图。

具体地，可以通过第一卷积神经网络对采集的当前时刻的区域图像进行卷积处理和降采样处理，以生成当前时刻的特征图。

其中，第一卷积神经网络可以包括多个卷积层和多个降采样层，可以通过该多个卷积层中的一个或几个卷积层对该当前时刻的区域图像进行卷积处理，以提取图像特征，再通过一个降采样层对提取图像特征之后的区域图像进行降采样，以缩小特征图的尺寸从而减少计算量，然后，再通过该多个卷积层中的另外一个或几个卷积层对上述降采样处理后的当前时刻的区域图像进行再次卷积处理，并且根据需要可以对再次卷积处理后的该当前时刻的区域图像进行降采样，从而可以根据需要，通过多个卷积层和多个降采样层对采集的当前时刻的区域图像反复进行卷积处理和降采样处理，最后生成当前时刻的特征图。

生成的当前时刻的特征图包括第一预设数量的图像位置(图像位置也可简称位置)。

步骤S102：根据当前时刻的特征图和当前时刻的前一时刻的时序特征图生成当前时刻的时序特征图。

具体地，可以将当前时刻的特征图中的特征向量作为循环神经网络的第一输入特征向量，将当前时刻的前一时刻的时序特征图中的特征向量作为循环神经网络的第二输入特征向量，然后通过循环神经网络处理第一输入特征向量和第二输入特征向量，以得到循环神经网络的输出特征向量，并根据该输出特征向量生成当前时刻的时序特征图。

循环神经网络可以为LSTM(长短时记忆单元)循环神经网络。

步骤S103：根据当前时刻的时序特征图生成带有特征值的区域图像特征图，然后根据该特征值检测区域图像特征图中的可行驶区域。

根据当前时刻的时序特征图生成带有特征值的区域图像特征图，具体可以通过第二卷积神经网络的卷积层根据当前时刻的时序特征图生成带有特征值的两通道特征图，然后通过第二卷积神经网络的反卷积层将两通道特征图还原为当前时刻的区域图像的大小，以得到带有特征值的区域图像特征图。

其中，带有特征值的区域图像特征图可以包括第二预设数量的图像位置，每个图像位置对应指示为可行驶区域的特征值和指示为非可行驶区域的特征值。

根据该特征值检测区域图像特征图中的可行驶区域，具体可以比较每个图像位置对应的指示为可行驶区域的特征值和指示为非可行驶区域的特征值的大小，其中：如果指示为可行驶区域的特征值大于指示为非可行驶区域的特征值，则对应的图像位置为可行驶区域；如果指示为可行驶区域的特征值小于指示为非可行驶区域的特征值，则对应的图像位置为非可行驶区域；如果指示为可行驶区域的特征值等于指示为非可行驶区域的特征值，则检查由指示为可行驶区域的特征值和指示为非可行驶区域的特征值构成的数组的第一个数组下标，如果该第一个数组下标对应的特征值指示为可行驶区域，则对应的图像位置为可行驶区域，如果该第一个数组下标对应的特征值指示为非可行驶区域，则对应的图像位置为非可行驶区域。

图2是根据本发明实施例的可行驶区域检测方法的一个示例性网络结构示意图。

本发明实施例的可行驶区域检测方法的一个示例性网络结构包括第一卷积神经网络、LSTM(长短时记忆单元)循环神经网络、第二卷积神经网络。其中，第一卷积神经网络包括降采样层和卷积层，第二卷积神经网络包括卷积层和反卷积层。LSTM为循环神经网络的激活单元，本发明实施例可以适用于基于其他激活单元的循环神经网络。

如图2所示，把采集的当前时刻的区域图像(记作A1)输入第一卷积神经网络，以通过第一卷积神经网络提取图像特征，以A1的大小是480*640像素(其中：图像高度M1＝480像素、图像宽度N1＝640像素)为例，第一卷积神经网络(CNN)可以通过多个降采样层对A1进行降采样，得到30*40像素(其中：图像高度M2＝30像素、图像宽度N2＝40像素)的区域图像A2，并且在降采样的过程中第一卷积神经网络可以通过多个卷积层对区域图像进行卷积以提取图像特征。其中，该卷积和降采样的过程可以是交替的，即，可以根据需要通过第一卷积神经网络首先经过一个或几个卷积层对A1进行卷积以提取图像特征，然后通过一个降采样层对该卷积后的图像进行降采样，以缩小对A1进行卷积得到的特征图，再通过一个或几个卷积层对降采样后的图像进行再次卷积进一步提取图像特征，如此执行卷积和降采样多次，直到将A1的特征图缩小到需要的大小(如30*40像素)从而降低计算量，最终通过第一卷积神经网络卷积和降采样处理之后得到L*M2*N2的三维特征向量，其中L表示卷积核的数量，M2表示图像高度，N2表示图像宽度，假设该卷积层有256个卷积核，则最终通过第一卷积神经网络卷积和降采样处理之后得到256*30*40的三维特征向量，即得到256*30*40的当前时刻的特征图A3。在每一时刻，即每张采集的区域图像，通过第一卷积神经网络降采样并提取图像特征之后都会生成一个L*M2*N2的三维特征向量。

通过LSTM循环神经网络对当前时刻的L*M2*N2的三维特征向量进行处理，其中，将前后帧图像之间的时序依赖关系(其中每一时刻对应一帧区域图像)利用起来，即，LSTM循环神经网络在每一时刻把当前时刻的图像特征(L*M2*N2的三维特征向量)以及当前时刻的前一时刻循环神经网络的输出(X*M2*N2的三维特征向量)作为新的输入，以产生新的输出(X*M2*N2的三维特征向量)，进而该新的输出又可作为当前时刻的后一时刻的输入，从而LSTM循环神经网络可以把较长的历史信息利用起来。具体地，根据本例，将LSTM循环神经网络在当前时刻的前一时刻的输出(即当前时刻的前一时刻的时序特征图的三维特征向量)作为该LSTM循环神经网络当前时刻的一个输入，并将该256*30*40的当前时刻的特征图A3的三维特征向量作为该LSTM循环神经网络当前时刻的另一个输入，一起输入到该LSTM循环神经网络进行处理，以得到LSTM循环神经网络在当前时刻的输出，LSTM循环神经网络的输出为一个X*M2*N2(本例中即X*30*40)的三维特征向量，M2表示图像高度，N2表示图像宽度，X表示每个位置(对于一帧M2*N2的图像即有M2*N2个位置)上的特征的数量，该LSTM循环神经网络输出的X*M2*N2的三维特征向量构成当前时刻的时序特征图。本发明实施例利用循环神经网络对时序建模，LSTM循环神经网络的输入是一个L*M2*N2的三维特征向量，输出是一个X*M2*N2的三维向量，也就是对M2*N2个位置上的L维特征向量用LSTM循环神经网络建模，输出X维特征向量，得到X*M2*N2的三维特征向量。克服了现有技术的方案中在每一时刻只利用了当前的图像特征的缺陷，而通常情况下当前时刻的图像特征与当前时刻的前一时刻的图像特征具有一定的关联性或相似性，本发明实施例将前后帧图像之间的时序依赖关系利用起来，实现了既利用了当前时刻的信息，还利用了历史的信息，从而基于更多的信息来检测可行驶区域，可以提升可行驶区域检测的性能。

LSTM循环神经网络在当前时刻的输出即X*M2*N2的三维特征向量输入第二卷积神经网络，首先经过第二卷积神经网络的卷积层进行卷积处理，得到2*M2*N2的三维特征向量，其中，“2”表示特征值的数量，该2*M2*N2的三维特征向量构成带有特征值的两通道特征图，然后通过第二卷积神经网络的反卷积层将两通道特征图还原为当前时刻的区域图像的大小，即还原为2*M1*N1(本例中即2*480*640)的三维特征向量，该2*480*640的三维特征向量构成带有特征值的区域图像特征图。对于本发明实施例，带有特征值的区域图像特征图中包括480*640个图像位置，且每个图像位置与采集的当前时刻的区域图像A1(为480*640像素的图像，其包括480*640个图像位置)的各图像位置相对应。

带有特征值的区域图像特征图中每个图像位置分别对应一个指示为可行驶区域的特征值和一个指示为非可行驶区域的特征值，其中，指示为可行驶区域的特征值表示对应的图像位置属于可行驶区域的概率，指示为非可行驶区域的特征值表示对应的图像位置属于非可行驶区域的概率，指示为可行驶区域的特征值和一个指示为非可行驶区域的特征值组成一个数组，可通过比较每个图像位置对应的两个特征值的大小来检测当前时刻的区域图像中的可行驶区域，其中：如果指示为可行驶区域的特征值大于指示为非可行驶区域的特征值，则对应的图像位置为可行驶区域；如果指示为可行驶区域的特征值小于指示为非可行驶区域的特征值，则对应的图像位置为非可行驶区域；如果指示为可行驶区域的特征值等于指示为非可行驶区域的特征值，则检查由指示为可行驶区域的特征值和指示为非可行驶区域的特征值构成的数组的第一个数组下标，如果该第一个数组下标对应的特征值指示为可行驶区域，则对应的图像位置为可行驶区域，如果该第一个数组下标对应的特征值指示为非可行驶区域，则对应的图像位置为非可行驶区域。例如，某一个图像位置对应的指示为可行驶区域的特征值为0.7，且指示为非可行驶区域的特征值为0.3，则该图像位置属于可行驶区域，再如，某一个图像位置对应的指示为可行驶区域的特征值和指示为非可行驶区域的特征值均为0.5，则检查该两个特征值构成的数组的第一个数组下标，可以预先设置数组中特征值的顺序，假设设置数组下标为0对应的特征值为指示为非可行驶区域的特征值，数组下标为1对应的特征值为指示为可行驶区域的特征值，则该图像位置属于非可行驶区域。在确定每个图像位置属于可行驶区域或非可行驶区域之后，即使得带有特征值的区域图像特征图中的480*640个图像位置，每个图像位置都有一个属于可行驶区域以及非可行驶区域的概率分布，由于带有特征值的区域图像特征图中的图像位置与采集的当前时刻的区域图像A1的图像位置相对应，从而可以检测当前时刻的区域图像A1的各图像位置中的可行驶区域。还可以对A1中的各图像位置添加标签，例如当图像位置属于可行驶区域时，数组下标为0对应的特征值的标签值为0，数组下标为1对应的特征值的标签值为1，即该图像位置的二维标签为01；当图像位置属于非可行驶区域时，数组下标为0对应的特征值的标签值为1，数组下标为1对应的特征值的标签值为0，即该图像位置的二维标签为10，各图像位置的二维标签构成一个二维标签矩阵。

需要说明的是，本发明实施例的示例性网络结构为预先经过机器学习的网络结构，具体的学习方法可以采用通常神经网络的训练使用的反向传播算法(一种监督学习算法)和随机梯度下降算法等。

图3是根据本发明实施例的可行驶区域检测装置的主要模块示意图。

如图3所示，本发明实施例的可行驶区域检测装置300主要包括：特征图生成模块301、时序特征图生成模块302、可行驶区域检测模块303。

特征图生成模块301用于根据采集的当前时刻的区域图像生成当前时刻的特征图。

特征图生成模块301具体可通过第一卷积神经网络对采集的当前时刻的区域图像进行卷积处理和降采样处理，以生成当前时刻的特征图。

其中，第一卷积神经网络可以包括多个卷积层和多个降采样层，可以通过该多个卷积层中的一个或几个卷积层对该当前时刻的区域图像进行卷积处理，以提取图像特征，再通过一个降采样层对提取图像特征之后的区域图像进行降采样，以缩小特征图的尺寸从而减少计算量，然后，再通过该多个卷积层中的另外一个或几个卷积层对上述降采样处理后的当前时刻的区域图像进行再次卷积处理，并且根据需要可以对再次卷积处理后的该当前时刻的区域图像进行降采样，从而可以根据需要，通过多个卷积层和多个降采样层对采集的当前时刻的区域图像反复进行卷积处理和降采样处理，最后生成当前时刻的特征图。

生成的当前时刻的特征图包括第一预设数量的图像位置。

时序特征图生成模块302用于根据当前时刻的特征图和当前时刻的前一时刻的时序特征图生成当前时刻的时序特征图。

时序特征图生成模块302具体可将当前时刻的特征图中的特征向量作为循环神经网络的第一输入特征向量，将当前时刻的前一时刻的时序特征图中的特征向量作为循环神经网络的第二输入特征向量；通过循环神经网络处理第一输入特征向量和第二输入特征向量，以得到循环神经网络的输出特征向量，并根据输出特征向量生成当前时刻的时序特征图。

其中，循环神经网络可以为LSTM(长短时记忆单元)循环神经网络。

可行驶区域检测模块303用于根据当前时刻的时序特征图生成带有特征值的区域图像特征图，然后根据该特征值检测区域图像特征图中的可行驶区域。

可行驶区域检测模块303可包括生成单元，该生成单元可用于：通过第二卷积神经网络的卷积层根据当前时刻的时序特征图生成带有特征值的两通道特征图；通过第二卷积神经网络的反卷积层将两通道特征图还原为当前时刻的区域图像的大小，以得到带有特征值的区域图像特征图。

带有特征值的区域图像特征图可包括第二预设数量的图像位置，每个图像位置对应指示为可行驶区域的特征值和指示为非可行驶区域的特征值。

可行驶区域检测模块303还可包括检测单元，该检测单元可用于：比较每个图像位置对应的指示为可行驶区域的特征值和指示为非可行驶区域的特征值的大小，其中：如果指示为可行驶区域的特征值大于指示为非可行驶区域的特征值，则对应的图像位置为可行驶区域；如果指示为可行驶区域的特征值小于指示为非可行驶区域的特征值，则对应的图像位置为非可行驶区域；如果指示为可行驶区域的特征值等于指示为非可行驶区域的特征值，则检查由指示为可行驶区域的特征值和指示为非可行驶区域的特征值构成的数组的第一个数组下标，如果第一个数组下标对应的特征值指示为可行驶区域，则对应的图像位置为可行驶区域，如果第一个数组下标对应的特征值指示为非可行驶区域，则对应的图像位置为非可行驶区域。

另外，在本发明实施例中可行驶区域检测装置的具体实施内容，在上面所述可行驶区域检测方法中已经详细说明了，故在此重复内容不再说明。

图4示出了可以应用本发明实施例的可行驶区域检测方法或可行驶区域检测装置的示例性系统架构400。

如图4所示，系统架构400可以包括终端设备401、402、403，网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器405可以是提供各种服务的服务器，例如对用户利用终端设备401、402、403所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的可行驶区域检测请求等数据进行分析等处理，并将处理结果(例如检测结果)反馈给终端设备。

需要说明的是，本发明实施例所提供的可行驶区域检测方法一般由服务器405执行，相应地，可行驶区域检测装置一般设置于服务器405中。

应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图5，其示出了适于用来实现本申请实施例的电子设备的计算机系统500的结构示意图。图5示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本发明公开的实施例，上文参考主要步骤示意图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行主要步骤示意图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的主要步骤示意图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，主要步骤示意图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或主要步骤示意图中的每个方框、以及框图或主要步骤示意图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括特征图生成模块301、时序特征图生成模块302、可行驶区域检测模块303。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，设置模块301还可以被描述为“用于根据采集的当前时刻的区域图像生成当前时刻的特征图的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：根据采集的当前时刻的区域图像生成所述当前时刻的特征图；根据所述当前时刻的特征图和所述当前时刻的前一时刻的时序特征图生成所述当前时刻的时序特征图；根据所述当前时刻的时序特征图生成带有特征值的区域图像特征图，然后根据所述特征值检测区域图像特征图中的可行驶区域。

根据本发明实施例的技术方案，根据采集的当前时刻的区域图像生成当前时刻的特征图，并根据当前时刻的特征图和当前时刻的前一时刻的时序特征图生成当前时刻的时序特征图，根据当前时刻的时序特征图生成带有特征值的区域图像特征图，然后根据该特征值检测区域图像特征图中的可行驶区域。能够把可行驶区域检测任务中的前后帧图像之间的时间依赖关系利用起来，使得能够基于更多的信息来检测可行驶区域，从而有效提高可行驶区域检测的效果。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种可行驶区域检测方法，其特征在于，包括：

根据采集的当前时刻的区域图像生成所述当前时刻的特征图；

根据所述当前时刻的特征图和所述当前时刻的前一时刻的时序特征图生成所述当前时刻的时序特征图；

通过第二卷积神经网络的卷积层根据所述当前时刻的时序特征图生成带有特征值的两通道特征图，通过所述第二卷积神经网络的反卷积层将所述两通道特征图还原为所述当前时刻的区域图像的大小，以得到带有特征值的区域图像特征图，然后根据所述特征值检测所述区域图像特征图中的可行驶区域。

2.根据权利要求1所述的方法，其特征在于，根据采集的当前时刻的区域图像生成所述当前时刻的特征图的步骤，包括：

通过第一卷积神经网络对采集的当前时刻的区域图像进行卷积处理和降采样处理，以生成所述当前时刻的特征图。

3.根据权利要求1所述的方法，其特征在于，根据所述当前时刻的特征图和所述当前时刻的前一时刻的时序特征图生成所述当前时刻的时序特征图的步骤，包括：

将所述当前时刻的特征图中的特征向量作为循环神经网络的第一输入特征向量，将所述当前时刻的前一时刻的时序特征图中的特征向量作为所述循环神经网络的第二输入特征向量；

通过所述循环神经网络处理所述第一输入特征向量和所述第二输入特征向量，以得到所述循环神经网络的输出特征向量，并根据所述输出特征向量生成所述当前时刻的时序特征图。

4.根据权利要求1所述的方法，其特征在于，所述带有特征值的区域图像特征图包括预设数量的图像位置，每个图像位置对应指示为可行驶区域的特征值和指示为非可行驶区域的特征值，

根据所述特征值检测所述区域图像特征图中的可行驶区域的步骤，包括：

比较每个图像位置对应的指示为可行驶区域的特征值和指示为非可行驶区域的特征值的大小，其中：

如果所述指示为可行驶区域的特征值大于所述指示为非可行驶区域的特征值，则对应的图像位置为可行驶区域；

如果所述指示为可行驶区域的特征值小于所述指示为非可行驶区域的特征值，则对应的图像位置为非可行驶区域；

如果所述指示为可行驶区域的特征值等于所述指示为非可行驶区域的特征值，则检查由所述指示为可行驶区域的特征值和所述指示为非可行驶区域的特征值构成的数组的第一个数组下标，如果所述第一个数组下标对应的特征值指示为可行驶区域，则对应的图像位置为可行驶区域，如果所述第一个数组下标对应的特征值指示为非可行驶区域，则对应的图像位置为非可行驶区域。

5.一种可行驶区域检测装置，其特征在于，包括：

特征图生成模块，用于根据采集的当前时刻的区域图像生成所述当前时刻的特征图；

时序特征图生成模块，用于根据所述当前时刻的特征图和所述当前时刻的前一时刻的时序特征图生成所述当前时刻的时序特征图；

可行驶区域检测模块，用于通过第二卷积神经网络的卷积层根据所述当前时刻的时序特征图生成带有特征值的两通道特征图，通过所述第二卷积神经网络的反卷积层将所述两通道特征图还原为所述当前时刻的区域图像的大小，以得到带有特征值的区域图像特征图，然后根据所述特征值检测所述区域图像特征图中的可行驶区域。

6.根据权利要求5所述的装置，其特征在于，所述特征图生成模块还用于：

通过第一卷积神经网络对采集的当前时刻的区域图像进行卷积处理和降采样处理，以生成所述当前时刻的特征图。

7.根据权利要求5所述的装置，其特征在于，所述时序特征图生成模块还用于：

将所述当前时刻的特征图中的特征向量作为循环神经网络的第一输入特征向量，将所述当前时刻的前一时刻的时序特征图中的特征向量作为所述循环神经网络的第二输入特征向量；

通过所述循环神经网络处理所述第一输入特征向量和所述第二输入特征向量，以得到所述循环神经网络的输出特征向量，并根据所述输出特征向量生成所述当前时刻的时序特征图。

8.根据权利要求5所述的装置，其特征在于，所述带有特征值的区域图像特征图包括预设数量的图像位置，每个图像位置对应指示为可行驶区域的特征值和指示为非可行驶区域的特征值，

所述可行驶区域检测模块包括检测单元，用于：

比较每个图像位置对应的指示为可行驶区域的特征值和指示为非可行驶区域的特征值的大小，其中：

如果所述指示为可行驶区域的特征值大于所述指示为非可行驶区域的特征值，则对应的图像位置为可行驶区域；

如果所述指示为可行驶区域的特征值小于所述指示为非可行驶区域的特征值，则对应的图像位置为非可行驶区域；

如果所述指示为可行驶区域的特征值等于所述指示为非可行驶区域的特征值，则检查由所述指示为可行驶区域的特征值和所述指示为非可行驶区域的特征值构成的数组的第一个数组下标，如果所述第一个数组下标对应的特征值指示为可行驶区域，则对应的图像位置为可行驶区域，如果所述第一个数组下标对应的特征值指示为非可行驶区域，则对应的图像位置为非可行驶区域。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-4中任一所述的方法。

Images