CN106326810B - 道路场景识别方法及设备 - Google Patents

Abstract

提供了一种道路场景识别方法及设备，所述道路场景识别方法包括：将包含所述道路场景的视差图划分为多个子图像区域；对于每个子图像区域，提取基于其中的各个像素点在世界坐标系的各平面中的投影信息构造的特征向量；将所述视差图划分为预定大小的单元格，并基于各个所述子图像区域的特征向量确定每个所述单元格的对应的子特征向量；基于各个单元格的子特征向量，利用通过统计学习方法预先训练得到的道路场景分类器，识别所述道路场景。

Description

道路场景识别方法及设备

技术领域

本公开总体涉及图像处理领域，具体涉及道路场景识别方法及设备。

背景技术

可靠的3D道路环境理解对于车辆的自主驾驶十分重要。3D道路环境理解主要包括道路场景识别(道路分类)、路面估计、消失点计算、车辆检测、行人识别等。其中，道路场景识别是3D道路环境理解中很重要的一部分，其主要用于识别道路图像中显示的道路场景。图1例示了一些常见的道路场景类别。如图1所示，道路场景可以包括例如直道、弯道、十字路口等。通过道路场景识别所识别出的具体道路场景对于车道检测模型的选择、对可行驶区域的检测、行人及车辆的识别、ACC&AEB驾驶模式的选择等都提供了非常有用的信息。

当前的道路场景识别方法大致可以分为基于底层特征的方法、基于分割的方法和基于目标的方法三类。基于底层特征的方法通常采用诸如颜色、边缘、梯度等微观特征来进行像素或图像的分类；该方法由于缺乏足够的信息，导致识别的结果往往不够鲁棒。基于分割的方法通过结合一些识别过的图像区域来进行整个道路场景图像的识别；该方法由于仅提供了局部的信息，因此缺少全局信息的指导，导致识别结果不够准确。基于目标的方法利用检测到的目标(车辆、车道线等)作为线索来进行场景的识别；该方法在进行识别之前需要先检测多种目标，而这需要大量额外的计算，而且在复杂场景下检测多目标是较为困难的。

发明内容

鉴于以上问题而提出了本公开。

根据本公开的一个方面的实施例，提供了一种道路场景识别方法，该方法包括：将包含所述道路场景的视差图划分为多个子图像区域；对于每个子图像区域，提取基于其中的各个像素点在世界坐标系的各平面中的投影信息构造的特征向量；将所述视差图划分为预定大小的单元格，并基于各个所述子图像区域的特征向量确定每个所述单元格的对应的子特征向量；基于各个单元格的子特征向量，利用通过统计学习方法预先训练得到的道路场景分类器，识别所述道路场景。

根据本公开的另一个方面的实施例，提供了一种道路场景识别设备，该设备包括：处理器；存储器；和存储在所述存储器中的计算机程序指令。在所述计算机程序指令被所述处理器运行时执行以下步骤：将包含所述道路场景的视差图划分为多个子图像区域；对于每个子图像区域，提取基于其中的各个像素点在世界坐标系的各平面中的投影信息构造的特征向量；将所述视差图划分为预定大小的单元格，并基于各个所述子图像区域的特征向量确定每个所述单元格的对应的子特征向量；基于各个单元格的子特征向量，利用通过统计学习方法预先训练得到的道路场景分类器，识别所述道路场景。

根据本公开的另一个方面的实施例，提供了一种道路场景识别设备，该设备包括：图像分割装置，将所述包含道路场景的视差图划分为多个子图像区域；特征提取装置，对于每个子图像区域，提取基于其中的各个像素点在世界坐标系的各平面中的投影信息构造的特征向量；子特征确定装置，将所述视差图划分为预定大小的单元格，并基于各个所述子图像区域的特征向量确定每个所述单元格的对应的子特征向量；道路识别装置，基于各个单元格的子特征向量，利用通过统计学习方法预先训练得到的道路场景分类器，识别所述道路场景。

通过根据本公开的上述方面的道路场景识别方法和设备，一些对于道路场景识别有用的信息得到了增强并且还使得一些原本不容易区分的物体变得线性可分，由此使得道路场景识别具有较高的准确度。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1例示了一些常见的道路场景类别。

图2示出了根据本公开实施例的道路场景识别方法的流程图。

图3(a)示出了示例性的道路场景的视差图，图3(b)示出了将图3(a)中的视差图划分得到的多个子图像区域。

图4示出了根据本公开实施例的道路场景识别方法中、对于一个子图像区域提取基于其中的各个像素点在世界坐标系的各平面中的投影信息构造的特征向量的处理的示意性流程图。

图5(a)例示了一个子图像区域中的各个像素点在世界坐标系中的投影点，图5(b)例示了该投影点分别在XY、XZ和YZ平面中的投影点。

图6例示了对一个子图像区域中的各个像素点在XY、XZ和YZ平面中的投影点进行拟合得到的线段。

图7中示意性地例示了原始的道路场景视差图以及该视差图在XY平面上用线段重构表示的图像。

图8(a)示出了与图7中的视差图对应的、一个示例性道路场景的灰度图，图8(b)示出了该道路场景中的某些物体在一个示例特征子空间的投影；图8(c)示出了所述某些物体在另一个示例特征子空间的投影。

图9(a)示出了具有虚线型车道线的示例性道路场景的灰度图，图9(b)示出了图9(a)中的车道线在示例的2D特征子空间中的投影。

图10(a)示出了具有多条车道线的示例性道路场景的灰度图，图10(b)示出了图10(a)中的车道线在示例的2D特征子空间中的投影。

图11(a)示出了具有弯道车道线的示例性道路场景的灰度图，图11(b)示出了图11(a)中的弯道车道线在示例的2D特征子空间中的投影。

图12(a)示出了具有人行横道线的示例性道路场景的灰度图，图12(b)示出了图12(a)中的人行横道线在示例的3D特征子空间中的投影。

图13示出了根据本公开的实施例的道路场景识别设备的框图。

图14示出了可用于实现本公开实施例的道路场景识别的示例性计算设备的框图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

首先对本公开中涉及的技术术语进行简单的介绍。

众所周知，灰度图是一种具有从黑到白多个灰度色域或多个灰度等级的单色图像。该图像中的每个像素通常用8位数据表示，这样该图像可以有256种灰度。而彩色图则是每个像素通常是由红(R)、绿(G)、蓝(B)三个分量来表示的，分量介于0到255之间。尽管如此，灰度图和彩色图的形成方式和主要功能都是类似的(用来表示颜色信息)。因此，下文的描述中出现的灰度图均可以替换为对应的彩色图。

视差图则是以左右图像中的任一图像为参考图像，其尺寸为该参考图像的尺寸，并且其每个像素点的值为参考图像中对应点的视差的图像。视差图中的像素点的坐标可以表示为(x，y，d)，其中x为横坐标，y为纵坐标，d为该像素点的视差值。相比于灰度图(彩色图)，视差图具有物体的视差(距离)信息，因此适合于需要立体信息的各种应用。

下面参考图2对根据本公开实施例的道路场景识别方法进行描述。图2示出了根据本公开实施例的道路场景识别方法的流程图。

如图2所示，在步骤S210，将包含所述道路场景的视差图划分为多个子图像区域。

聚类和分割是进行图像划分的两大类方法，此处可以采用任何具体的聚类算法或分割方法将包含待识别道路场景的视差图划分为多个子图像区域。例如，图3(a)示出了示例性的道路场景的视差图，图3(b)示出了采用聚类算法中的连通域分析法(CCA)将图3(a)中的视差图划分得到的多个子图像区域。如图3(b)中的各个矩形框所示，经过聚类处理之后，具有相近的视差值且在水平和垂直方向上邻近的像素点被聚集在了一起，形成一个类，即成为一个子图像区域。需要说明的是，实际上每一个聚类得到的子图像区域都具有包络该类像素点的轮廓，而并非都具有矩形轮廓。而且，不同子图像区域的轮廓在3D空间中是非重叠的。此处采用矩形框来表示子图像区域仅仅是出于示意的目的而已。

能够理解，通过调整聚类或分割算法的准则及参数可以控制子图像区域的划分程度。可选的，可以将所述准则和参数调整为使得所述子图像区域被过分割。所谓子图像区域被过分割是指对于一个完整的物体，其可能跨多个子图像区域，但是一个图像子区域至多只能包含一个物体。可选的，也可以将所述准则和参数调整为使得所述子图像区域欠分割。所谓子图像区域欠分割是指多个相近的物体可能被划分到同一个子图像区域中。可选的，也可以将所述准则和参数调整为使得分割得到的每个子图像区域中恰好只包含一个完整物体，并且每个物体也存在于一个子图像区域中。本公开中对于上述子图像区域的划分程度不做限制，下文中仅仅是为了便于说明，将以子图像区域被过分割为例进行描述。

在步骤S220，对于每个子图像区域，提取基于其中的各个像素点在世界坐标系的各平面中的投影信息构造的特征向量。

下面将参考图4对该步骤中的处理进行详细描述。图4示出了根据本公开实施例的、对于一个子图像区域提取基于其中的各个像素点在世界坐标系的各平面中的投影信息构造的特征向量的处理的示意性流程图。

如图4所示，在步骤S2201，通过坐标变换，确定该子图像区域中的各个像素点在XY、XZ和YZ平面中的投影点。

众所周知，视差图中的每个像素点都表示3D空间中的一个位置。因此，可以通过公知的坐标变换确定子图像区域中的每个像素点在XZ平面与地面重合、Y轴与地面垂直的世界坐标系中的投影点，进而得到所述像素点在构成该世界坐标系的XY、XZ和YZ平面中的投影点。图5(a)例示了某一子图像区域中的各个像素点在世界坐标系中的投影点，图5(b)例示了该投影点分别在XY、XZ和YZ平面中的投影点。通过坐标变换确定图像区域中的各个像素点在XY、XZ和YZ平面中的投影点是本领域中的公知技术，为了避免不必要地混淆本发明的发明内容，此处省略对该变换投影过程的详细描述。

在步骤S2202，在XY、XZ和YZ平面中分别对所述投影点进行线段拟合。

可以采用诸如最小二乘法等任何直线拟合方法在各平面中分别对投影点进行线段拟合。图6例示了对某一子图像区域中的各个像素点在XY、XZ和YZ平面中的投影点进行拟合得到的线段。

能够理解，通过对于每个子图像区域中的各个像素点进行上述线段拟合处理，原始的道路场景视差图可以分别在各平面中用线段来表示，其中各平面中的线段对应于原始的道路场景视差图中用线段表示的物体。例如，图7中的左图示意性地示出了原始的道路场景视差图，右图示出了该视差图在XY平面上用线段重构表示的图像。

在步骤S2203，提取基于拟合得到的线段的参数构造的特征向量。

所述特征向量可以选取适当的线段参数来构造，以使得对于道路场景识别有用的信息得到增强，并使得图像中原本不容易区分的物体变得线性可分，由此提高对道路场景识别的准确度。

作为示例，所述线段的参数可以包括在XY、XZ和YZ平面中拟合得到的线段各自的极坐标表示。具体的，对于任一线段，可以如表达式(1)所示通过极坐标来表示:

ρ＝x·cos(θ)+y·sin(θ)……(1)

因此对于子图像区域中用于表示物体的任一线段，可以利用其在XY、XZ和YZ平面中对应的拟合得到的线段的极坐标表示构造如下特征向量：

f_line＝(θ_xy,θ_xz,θ_yz,ρ_xy,ρ_xz,ρ_yz)……(2)

其中ρ_xy,ρ_xz,ρ_yz分别表示XY平面、XZ平面和YZ平面中拟合得到的线段距极点的距离，θ_xy,θ_xz,θ_yz分别表示XY平面、XZ平面和YZ平面中垂直于拟合得到的线段的直线与极轴的夹角。

作为示例，所述线段的参数还可以包括XY、XZ和YZ平面中的拟合得到的线段各自的长度，以及XY、XZ和YZ平面中包含所述拟合得到的线段的直线与相应的消失线的交点坐标。具体的，对于子图像区域中用于表示物体的任一线段，可以构造如下特征向量：

f_line＝(θ_xy,θ_xz,θ_yz,ρ_xy,ρ_xz,ρ_yz,l_xy,l_xz,l_yz,v_xz,v_xy,v_yz)……(3)

其中l_xy,l_xz,l_yz分别表示XY、XZ和YZ平面中的拟合得到的线段各自的长度；v_xz,v_xy,v_yz分别表示XY、XZ和YZ平面中包含拟合得到的线段的直线与相应的消失线的交点坐标，其中v_xy表示在XY平面上与消失线交点的x坐标，v_xz表示在XZ平面上与消失线交点的x坐标，v_yz表示在YZ平面上与消失线交点的y坐标。

能够理解，表达式(2)和(3)所示的特征向量仅仅是示例，本领域技术人员也可以基于线段的参数构造其他适当的特征向量。例如，线段的极坐标表示并不仅限于上面描述的方式，而是可以采用诸如线段的两个端点的坐标、线段中点的坐标加上线段的斜率等其他方式作为线段的极坐标表示，并进而构造相应的特征向量。再比如，可以基于XY、XZ和YZ平面中拟合得到的线段各自的极坐标表示及长度构造特征向量，而不考虑XY、XZ和YZ平面中包含拟合得到的线段的直线与相应的消失线的交点坐标。

下面将结合附图，例举一些示例性的子图像区域及其对应的如表达式(2)或(3)所示的特征向量，以有助于理解本公开的内容。由于如表达式(2)或(3)所述的多维特征向量无法直接可视化，因此下面的例子中将把多维特征向量从高维特征空间映射到多个低维特征子空间来进行说明。

(示例1)

图8(a)示出了与图7中的视差图对应的、某一示例性道路场景的灰度图，其中的实线椭圆圈出了该道路场景中一些由线段表示的路面(道路平面上的)物体(如车道线、路面阴影等)，虚线椭圆圈出了该道路场景中一些由线段表示的非路面(垂直于路面的)物体(如车辆、行人等)。图8(b)示出了图8(a)中由实线和虚线椭圆圈出的物体在一个示例的3D特征空间(θ_xz,θ_zy,ρ_xz)中的投影。如图8(b)所示，由于路面物体都具有相同的倾斜角度θ_zy，因此这些路面物体会投影到一个具有相同θ_zy的平面(θ_xz,ρ_xz)上；同时，垂直于路面的物体都具有另一个相同的倾斜角度θ_zy，因此这些垂直于路面的物体会投影到具有另外一个相同θ_zy的平面(θ_xz,ρ_xz)上。

图8(c)示出了图8(a)中由实线和虚线椭圆圈出的物体在另外一个示例的2D特征子空间(θ_zy,ρ_zy)中的投影。由于所有路面物体都具有相同的倾斜角度θ_zy和距离ρ_zy，因此这些路面物体应当投影到2D特征子空间(θ_zy,ρ_zy)中的一点。事实上，由于噪声及线段拟合精度的影响，道路平面上的物体实际可能投影于一个小区域之内，如图8(c)所示。能够理解，由于所有路面物体都投影于该特征空间中一个小区域内(理想情况下投影于一个点)，因此有效的道路识别信息得到了增强。类似的，垂直于路面且纵向排列的物体都应具有相同的倾角θ_zy和不同的距离ρ_zy，其在2D特征子空间(θ_zy,ρ_zy)中的投影分布如图8(c)所示。能够理解，诸如图8(a)中道路尽头以最小的虚线椭圆圈出的物体(车辆)在图8(a)中可能难以与路面物体相区分，而通过投影到图8(c)中则可以清楚地与路面物体相区分，即原本不容易区分的物体变得线性可分了。

(示例2)

图9(a)示出了具有虚线型车道线的示例性道路场景的灰度图，其中的实线椭圆圈出了该道路场景中虚线型的车道线。图9(b)示出了图9(a)中由实线椭圆圈出的车道线在示例的2D特征子空间(θ_xy,ρ_xy)中的投影。

(示例3)

图10(a)示出了具有多条车道线的示例性道路场景的灰度图，其中的实线椭圆圈出了该道路场景中的多条车道线。这些车道线在XY平面中的投影点拟合得到的线段具有相同的特征值v_xy，即与消失线具有相同的交点。换言之，这些拟合线段所在的直线在XY平面中相交于一点(v_xy,y_xy)。另外，所有经过该点的直线方程为：ρ(θ)＝v_xy·cos(θ)+y_xy·sin(θ),其中，ρ为XY平面中直线距极点的距离，θ为XY平面中垂直于所述直线的直线与极轴的夹角。因此，根据Hough(霍夫)变换的原理可知，所有经过该点(v_xy,y_xy)的直线在特征子空间(θ_xy,ρ_xy)中的投影位于一条正余弦曲线上，如图10(b)所示。

(示例4)

图11(a)示出了具有弯道车道线的示例性道路场景的灰度图，其中的实线椭圆圈出了该道路场景中的弯道车道线。图11(b)示出了图11(a)中由实线椭圆圈出的弯道车道线在示例的2D特征子空间(θ_xy,ρ_xy)中的投影。

(示例5)

图12(a)示出了具有人行横道线的示例性道路场景的灰度图，其中的实线椭圆圈出了人行横道线长度方向的两条边。由于人行横道线具有相同的长度l_xz，因此图12(a)中的人行横道线在3D特征子空间(l_xz,θ_xz,ρ_xz)投影在同一平面上，如图12(b)所示。

通过上面的图8(a)-12(b)及对应的描述可以看出，通过采用如表达式(2)或(3)所例示的特征向量，使得对于道路场景识别有用的一些信息得到了增强，并使得原本不容易区分的物体变得线性可分了，由此能够提高对道路场景识别的准确度。

以上已经对根据本公开实施例的、针对一个子图像区域提取基于其中的各个像素点在XY、XZ和YZ平面中的投影信息构造的特征向量的处理进行了描述。能够理解，取决于子图像区域的划分程度，某一子图像区域中可能包含一条或多条用于表示物体的线段，相应的，针对该子图像区域可能提取出一个或多个特征向量。

需要说明的是，如前所述，在本公开中是利用视差图进行道路场景的识别，而各子图像区域也是视差图中划分得到的子图像区域。之所以在图8(a)、9(a)、10(a)、11(a)和12(a)中显示与视差图对应的灰度图而不显示视差图，仅仅是因为灰度图相比于视差图更加直观、更有助于理解本公开而已。

回到图2，在步骤S230，将所述视差图划分为预定大小的单元格，并基于各个所述子图像区域的特征向量确定每个所述单元格的对应的子特征向量。

单元格的大小可以根据具体情况预先设定，本公开对其具体值没有限制。下文中，为了便于描述，假设视差图被划分为M×N个预定大小的单元格。

每个单元格中可能包含有一个或多个物体或者一个或多个物体的一部分，也可能不包含任何物体。在本实施例中，对于每个单元格，基于最能代表该单元格的物体所在的子图像区域的特征向量来确定该单元格的子特征向量。

作为示例，对于M×N个单元格中的任一个单元格i，可以如表达式(4)所示确定其子特征向量：

其中，f_i,unit表示单元格i的子特征向量，f_j,line为单元格i中最长的线段j的特征向量，其可以基于该线段j所在的子图像区域的特征向量来确定。例如，假设特征向量采用表达式(2)所示的形式，则对于单元格i中的最长线段j，其特征向量f_j,line与该线段j所在的子图像区域针对包含该线段j的线段J(即所述线段j是线段J的一部分或全部)提取的特征向量相同。类似的，假设特征向量采用表达式(3)所示的形式，则对于单元格i中的最长线段j，其特征向量f_j,line中的特征θ_xy,θ_xz,θ_yz,ρ_xy,ρ_xz,ρ_yz,v_xz,v_xy,v_yz与该线段j所在的子图像区域针对包含该线段j的线段J提取的对应特征相同；而对于特征向量f_j,line中的特征l_xy,l_xz,l_yz，则可以基于线段j与线段J的长度的比例，根据与线段J对应的特征l_xy,l_xz,l_yz来确定。

表达式(4)所示的仅仅是一种示例，也可以采用其他方式来确定单元格i的子特征向量。例如，作为一种基本的替换方式，可以将单元格中最长的n条线段的特征向量的平均值作为单元格的子特征向量。

在步骤S240，基于各个单元格的子特征向量，利用通过统计学习方法预先训练得到的道路场景分类器，识别所述道路场景。

在本实施例中，采用如表达式(5)所示的、将各个单元格的子特征向量结合起来形成的高维特征向量作为用于描述整个道路场景的视差图的特征向量：

f_image＝[f_1,unit,f_2,unit,...,f_M×N,unit]……(5)

在得到用于描述整个道路场景的视差图的特征向量后，可以通过道路场景分类器对该特征向量进行分类，由此识别出道路场景。所述道路场景分类器是根据预先采样的对应于各个道路场景视差图的特征向量及相应的道路场景标签(如，直道、弯道、十字路口等)预先训练得到的，其中所采样的各个道路场景视差图的特征向量都采用如表达式(5)所示的形式。如何针对特征向量和道路场景标签来训练分类器是本领域中公知的，此处不再赘述。

以上已经参考附图描述了根据本公开实施例的道路场景识别方法。在该方法中，基于道路场景图像中的各个像素点在XY、XZ和YZ平面中的投影点拟合得到的线段的参数来构造特征向量，其较好地反映了图像中的各个像素点的空间分布，使得对于道路场景识别有用的信息得到了增强，并使得原本不容易区分的物体变得线性可分了，由此提高了对道路场景识别的准确度。

下面参考图13描述根据本公开实施例的道路场景识别设备。该设备可以放置于在道路上行驶的车辆上，并实时识别所拍摄的道路场景。由于该设备执行的各个操作的细节与在上文中针对图2描述的方法基本相同，因此为了避免重复，在下文中仅对所述设备进行简要的描述，而省略对相同细节的描述。

如图13所示，道路场景识别设备1300可以包括：立体相机1310，图像分割装置1320，特征提取装置1330，子特征确定装置1340以及道路识别装置1350。其中，图像分割装置1320，特征提取装置1330，子特征确定装置1340，道路识别装置1350可以由通用处理器、数字信号处理器、ASIC等处理器来实现。

立体相机1310可以在车辆行驶过程中实时拍摄要识别的道路场景。立体相机可以用于拍摄视差图，也可以用于拍摄普通的灰度图像。在本实施例中，利用立体相机拍摄的包含道路场景的视差图对道路场景进行识别。当然，也可以利用其他拍摄设备拍摄所述图像，并且将拍摄的图像发送给道路场景识别设备1300。在这种情况下，可以省略立体相机1310。

图像分割装置1320配置为将包含所述道路场景的视差图划分为多个子图像区域。聚类和分割是进行图像划分的两大类方法，此处图像分割装置1320可以采用任何具体的聚类算法或分割方法将包含待识别道路场景的视差图划分为多个子图像区域。能够理解，通过调整聚类或分割算法的准则及参数可以控制子图像区域的划分程度。例如，可以将所述准则和参数调整为使得所述子图像区域被过分割，也可以将所述准则和参数调整为使得所述子图像区域欠分割，也可以将所述准则和参数调整为使得分割得到的每个子图像区域中恰好只包含一个完整物体，并且每个物体也存在于一个子图像区域中。本公开中对于上述子图像区域的划分程度不做限制，下文中仅仅是为了便于说明，将以子图像区域被过分割为例进行描述。

特征提取装置1330配置为对于每个子图像区域提取基于其中的各个像素点在世界坐标系的各平面中的投影信息构造的特征向量。具体的，该特征提取装置1330包括变换单元、拟合单元和提取单元。

变换单元通过坐标变换确定该子图像区域中的各个像素点在XY、XZ和YZ平面中的投影点。众所周知，视差图中的每个像素点都表示3D空间中的一个位置。因此，变换单元可以通过公知的坐标变换确定子图像区域中的每个像素点在X-Z平面与地面重合、Y轴与地面垂直的世界坐标系中的投影点，进而得到所述像素点在构成该世界坐标系的XY、XZ和YZ平面中的投影点。在步骤S2202，在XY、XZ和YZ平面中分别对所述投影点进行线段拟合。

拟合单元采用诸如最小二乘法等任何直线拟合方法在各平面中分别对投影点进行线段拟合。能够理解，通过对于每个子图像区域中的各个像素点进行上述线段拟合处理，原始的道路场景视差图可以分别在各平面中用线段来表示，其中各平面中的线段对应于原始的道路场景视差图中用线段表示的物体。

提取单元提取基于拟合得到的线段的参数构造的特征向量。所述特征向量可以选取适当的线段参数来构造，以使得对于道路场景识别有用的信息得到增强，并使得图像中原本不容易区分的物体变得线性可分，由此提高对道路场景识别的准确度。

可选的，所述参数可以包括在XY、XZ和YZ平面中拟合得到的线段各自的极坐标表示。具体的，对于子图像区域中用于表示物体的任一线段，可以利用其在XY、XZ和YZ平面中对应的拟合得到的线段的极坐标表示构造特征向量f_line＝(θ_xy,θ_xz,θ_yz,ρ_xy,ρ_xz,ρ_yz)；其中ρ_xy,ρ_xz,ρ_yz分别表示XY平面、XZ平面和YZ平面中拟合得到的线段距极点的距离，θ_xy,θ_xz,θ_yz分别表示XY平面、XZ平面和YZ平面中垂直于拟合得到的线段的直线与极轴的夹角。

可选的，所述参数还可以包括XY、XZ和YZ平面中的拟合得到的线段各自的长度，以及XY、XZ和YZ平面中包含所述拟合得到的线段的直线与相应的消失线的交点坐标。具体的，对于子图像区域中用于表示物体的任一线段，可以构造特征向量f_line＝(θ_xy,θ_xz,θ_yz,ρ_xy,ρ_xz,ρ_yz,l_xy,l_xz,l_yz,v_xz,v_xy,v_yz)；其中l_xy,l_xz,l_yz分别表示XY、XZ和YZ平面中的拟合得到的线段各自的长度；v_xz,v_xy,v_yz分别表示XY、XZ和YZ平面中包含拟合得到的线段的直线与相应的消失线的交点坐标，其中v_xy表示在XY平面上与消失线交点的x坐标，v_xz表示在XZ平面上与消失线交点的x坐标，v_yz表示在YZ平面上与消失线交点的y坐标。

当然，上面所示的特征向量仅仅是示例，本领域技术人员也可以基于线段的参数构造其他适当的特征向量。另外，能够理解，取决于子图像区域的划分程度，某一子图像区域中可能包含一条或多条用于表示物体的线段，相应的，针对该子图像区域可能提取出一个或多个特征向量。

子特征确定装置1340将视差图划分为预定大小的单元格，并基于各个所述子图像区域的特征向量确定每个所述单元格的对应的子特征向量。单元格的大小可以根据具体情况预先设定，本公开对其具体值没有限制。下文中，为了便于描述，假设视差图被划分称为M×N个预定大小的单元格。每个单元格中可能包含有一个或多个物体或者一个或多个物体的一部分，也可能不包含任何物体。在本实施例中，对于每个单元格，基于最能代表该单元格的物体所在的子图像区域的特征向量来确定该单元格的子特征向量。例如，可以如上文中的表达式(4)所示，选取该单元格中最长的线段所在的子图像区域的特征向量来确定单元格的子特征向量。

道路识别装置1350基于各个单元格的子特征向量，利用通过统计学习方法预先训练得到的道路场景分类器，识别所述道路场景。在本实施例中，将各个单元格的子特征向量结合起来形成的高维特征向量作为用于描述整个道路场景的视差图的特征向量。在得到用于描述整个道路场景的视差图的特征向量后，道路识别装置1350利用道路场景分类器对该特征向量进行分类，由此识别出道路场景。所述道路场景分类器是根据预先采样的对应于各个道路场景视差图的特征向量及相应的道路场景标签(如，直道、弯道、十字路口等)预先训练得到的，其中所采样的各个道路场景视差图的特征向量都采用上述将各个单元格的子特征向量结合起来形成的高维特征向量的形式。如何针对特征向量和道路场景标签来训练分类器是本领域中公知的，此处不再赘述。

下面，参照图14来描述可用于实现本公开的实施例的示例性计算设备的框图。该计算设备可以放置于在道路上行驶的车辆上，并且例如是配备有立体相机的计算机。

如图14所示，计算设备1400包括一个或多个处理器1402、存储装置1404、立体相机1406和输出装置1408，这些组件通过总线系统1410和/或其它形式的连接机构(未示出)互连。应当注意，图14所示的计算设备1400的组件和结构只是示例性的，而非限制性的，根据需要，计算设备1400也可以具有其他组件和结构。

处理器1402可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制计算设备1400中的其它组件以执行期望的功能。

存储装置1404可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1402可以运行所述程序指令，以实现下文所述的本公开的实施例的功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如上述道路场景涉及的视差图、像素点在XY、XZ和YZ平面中的投影位置、线段的参数、各单元格中的最长线段、对应于视差图的特征向量、预先训练好的分类器等等。

立体相机1406用于拍摄用户期望的道路场景的视差图(例如图像、视频等)，并且将所拍摄的道路场景存储在存储装置1404中以供其它组件使用。当然，立体相机1406也可以根据需要拍摄道路场景的灰度图。输出装置1408可以向外部(例如用户或车辆)输出各种信息，例如图像信息、声音信息、道路场景识别结果，并且可以包括显示器、扬声器等中的一个或多个。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

本公开中的步骤流程图以及以上方法描述仅作为例示性的例子并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤，某些步骤可以并行、彼此独立或按照其他适当的顺序执行。另外，诸如“其后”、“然后”、“接下来”等等的词语不意图限制步骤的顺序；这些词语仅用于引导读者通读这些方法的描述。

还需要指出的是，在本公开的装置和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种道路场景识别方法，包括：

将包含所述道路场景的视差图划分为多个子图像区域；

对于每个子图像区域，确定其中的各个像素点在世界坐标系的各平面中的投影点，并在所述平面中分别对所述投影点进行线段拟合，提取基于拟合得到的线段的参数构造的特征向量；

将所述视差图划分为预定大小的单元格，并基于各个所述子图像区域的所述特征向量确定每个所述单元格的对应的子特征向量；

将各个单元格的子特征向量结合，以形成对应于所述视差图的高维特征向量；

基于所形成的高维特征向量，利用通过统计学习方法预先训练得到的道路场景分类器，识别所述道路场景。

2.如权利要求1所述的道路场景识别方法，其中将包含所述道路场景的视差图划分为多个子图像区域包括：

采用聚类或分割方法将包含所述道路场景的视差图划分为多个子图像区域。

3.如权利要求1所述的道路场景识别方法，其中每个所述子图像区域至多包含一个物体。

4.如权利要求1所述的道路场景识别方法，其中对于每个子图像区域，确定其中的各个像素点在世界坐标系的各平面中的投影点，并在所述平面中分别对所述投影点进行线段拟合包括：

通过坐标变换，确定所述子图像区域中的各个像素点在XY、XZ和YZ平面中的投影点；

在XY、XZ和YZ平面中分别对所述投影点进行线段拟合。

5.如权利要求4所述的道路场景识别方法，其中所述参数至少包括XY、XZ和YZ平面中的拟合得到的线段的极坐标表示。

6.如权利要求5所述的道路场景识别方法，其中所述参数还包括XY、XZ和YZ平面中的拟合得到的线段的长度，以及XY、XZ和YZ平面中包含所述拟合得到的线段的直线与消失线的交点坐标。

7.如权利要求1所述的道路场景识别方法，其中基于各个所述子图像区域的特征向量确定每个所述单元格的对应的子特征向量包括：

基于各个所述子图像区域的特征向量确定每个所述单元格中的最长线段的对应的特征向量，作为该单元格的子特征向量。

8.如权利要求1所述的道路场景识别方法，其中利用通过统计学习方法预先训练得到的道路场景分类器识别所述道路场景包括：

利用所述道路场景分类器对所述对应于视差图的特征向量进行分类，由此识别出道路场景，

所述道路场景分类器是根据对应于各个道路场景的特征向量及相应的道路场景标签预先训练得到的。

9.一种道路场景识别设备，包括：

处理器；

存储器；和

存储在所述存储器中的计算机程序指令，在所述计算机程序指令被所述处理器运行时执行以下步骤：

将包含所述道路场景的视差图划分为多个子图像区域；

对于每个子图像区域，确定其中的各个像素点在世界坐标系的各平面中的投影点，并在所述平面中分别对所述投影点进行线段拟合，提取基于拟合得到的线段的参数构造的特征向量；

将所述视差图划分为预定大小的单元格，并基于各个所述子图像区域的所述特征向量确定每个所述单元格的对应的子特征向量；

将各个单元格的子特征向量结合，以形成对应于所述视差图的高维特征向量；

基于所形成的高维特征向量，利用通过统计学习方法预先训练得到的道路场景分类器，识别所述道路场景。

10.如权利要求9所述的道路场景识别设备，其中对于每个子图像区域，确定其中的各个像素点在世界坐标系的各平面中的投影点，并在所述平面中分别对所述投影点进行线段拟合包括：

通过坐标变换，确定所述子图像区域中的各个像素点在XY、XZ和YZ平面中的投影点；

在XY、XZ和YZ平面中分别对所述投影点进行线段拟合。