CN103577790B - 道路转弯类型检测方法和装置 - Google Patents

Abstract

公开了道路转弯类型检测方法和装置，该方法包括：获得包括路面区域的第一U视差图；以视差值为零的点作为基本点，针对预定的各基本点，计算第一U视差图上经过每个基本点的各个直线存在的概率，其中一条直线存在的概率基于该直线上具有的视差非零点的数目来确定；基于经过每个基本点的各个直线存在的概率，得到表征每个基本点的直线存在的概率的分布的聚合程度的聚合度，由此得到基本点的聚合度分布；以及基于基本点的聚合度分布，确定该第一U视差图对应的道路的转弯类型。根据本发明实施例的道路转弯类型检测方法和装置能够检测各种道路转弯类型，同时不易受到非检测对象的干扰。

Description

道路转弯类型检测方法和装置

技术领域

本发明涉及图像处理，更具体地涉及道路转弯类型检测方法和装置。

背景技术

驾驶辅助系统的应用日渐普及。而道路或车道警告系统(Lane/Roaddetectionwarning,LDW/RDW)是驾驶辅助系统的子系统，可以避免碰撞，更准确地确定驾驶方向等。道路或车道检测对于LDW/RDW系统非常关键，只有在知道了道路信息的基础上才可能做进一步的处理，例如警告。

汽车辅助驾驶系统遇到的最复杂的交通情况之一，就是道路转弯的情况。在道路出现转弯时，对于驾驶员来说，路况十分复杂，也很容易出现事故。检测到道路转弯的类型，可以提高驾驶者和行人在这种情况下的安全，预防交通事故的发生，减少事故造成的伤亡数量。因此在汽车辅助驾驶系统中，比起其他路况，应该给道路转弯时的行人和车辆检测更大的权重。

道路转弯类型的检测对于无人驾驶也有重要作用，它可以预测行驶路线，提供自动刹车指导。

当前GPS定位系统广泛用于地图导航中，可以检测道路转弯。不过由于定位误差（一般在1米到30米之间）导致准确性不高。

美国专利No.US7289138B2提供了一种利用多个全景视频序列来检测十字路口的系统。它将全景视频序列中的图像分成各个条状带，每个条状带计算权重值，条状带与条状带之间计算距离度量。十字路口通过最小距离的图像得到。

美国专利No.US2009/0085913A1提出了如下技术，其中采用路边按一定次序排列的三维物体来检测道路的转弯情况。具体地，通过提取三维物体的特征值得到消失点，然后从所有通过消失点的直线中，得到一条最靠近左右车辆物体的直线，用来估计道路的转弯情况。

发明内容

道路转弯类型检测的难点在于：存在多种道路转弯类型，例如，左转弯、右转弯、T字路口、分岔路、十字路口等，各种道路转弯类型具有各自不同的特征；并非检测对象的物体，例如车辆等，会给道路转弯检测带来干扰。

需要一种适合于检测各种道路转弯、且不易被其他物体对象干扰的道路转弯类型检测方法。

为此，提出了本发明。

根据本发明的一个方面，提供了一种道路转弯类型检测方法，可以包括：获得包括路面区域的第一U视差图；以视差值为零的点作为基本点，针对预定的各基本点，计算第一U视差图上经过每个基本点的各个直线存在的概率，其中一条直线存在的概率基于该直线上具有的视差非零点的数目来确定；基于经过每个基本点的各个直线存在的概率，得到表征每个基本点的直线存在的概率的分布的聚合程度的聚合度，由此得到基本点的聚合度分布；以及基于基本点的聚合度分布，确定该第一U视差图对应的道路的转弯类型。

根据本发明的另一个方面，提供了一种道路转弯类型检测方法，可以包括：获得包括路面区域的时间上连续的多个U视差图；对于每个U视差图：以视差值为零的点作为基本点，针对预定的各基本点，计算第一U视差图上经过每个基本点的各个直线存在的概率，其中一条直线存在的概率基于该直线上具有的视差非零点的数目来确定；基于经过每个基本点的各个直线存在的概率，得到表征每个基本点的直线分布的聚合程度的每个基本点的聚合度，由此得到基本点的聚合度分布；以及基于该多个U视差图对应的聚合度分布，确定该多个U视差图对应的道路的转弯情况。

根据本发明的再一个方面，提供了一种道路转弯类型检测装置，可以包括：U视差图获得部件，获得包括路面区域的第一U视差图；经过基本点直线概率计算部件，以视差值为零的点作为基本点，针对预定的各基本点，计算第一U视差图上经过每个基本点的各个直线存在的概率，其中一条直线存在的概率基于该直线上具有的视差非零点的数目来确定；聚合度分布计算部件，基于经过每个基本点的各个直线存在的概率，得到表征每个基本点的直线分布的聚合程度的聚合度，由此得到基本点的聚合度分布；以及道路转弯类型确定部件，基于基本点的聚合度分布，确定该第一U视差图对应的道路的转弯类型。

根据本发明的再一个方面，提供了一种道路转弯类型检测装置，可以包括：多帧U视差图获得部件，获得包括路面区域的时间上连续的多个U视差图；聚合度分布获得部件，用于对于每个U视差图：以视差值为零的点作为基本点，针对预定的各基本点，计算第一U视差图上经过每个基本点的各个直线存在的概率，其中一条直线存在的概率基于该直线上具有的视差非零点的数目来确定；基于经过每个基本点的各个直线存在的概率，得到表征每个基本点的直线分布的聚合程度的每个基本点的聚合度，由此得到基本点的聚合度分布；以及道路转弯情况确定部件，基于该多个U视差图对应的聚合度分布，确定该多个U视差图对应的道路的转弯情况。

根据本发明实施例的道路转弯类型检测方法和装置利用不同道路转弯类型对应的U视差图上的基本点的聚合度分布不同的特性，来确定各种道路转弯类型，其能够检测各种道路转弯类型，同时不易受到非检测对象的干扰。

附图说明

图1示出了根据本发明一个实施例的车辆自动控制系统100的示意图；

图2示出了根据本发明一个实施例的可用于图1中所示的车辆自动控制系统100中的摄像头101和图像处理模块102的组成示例的示意图；

图3示出了根据本发明一个实施例的道路转弯类型检测部分300的基本功能组成示例；

图4示出了根据本发明一个实施例的道路转弯类型检测方法的总体流程图；

图5示意性地示出了包括路面区域的视差图和视差图变换得到的U视差图；

图6示意性示出U视差图上的基本点以及经过基本点的直线的表示；

图7（A）示意性地示出了所有基本点的所有直线的概率分布图；

图7(B)示出了图7（A）的概率分布图对应的基本点的聚合度分布曲线示意图；

图8(a)到8(e)示意性地示出了道路转弯的几种基本类型和其对应的聚合度分布曲线图；

图9示出了根据本发明一个实施例的道路转弯类型确定方法示例的流程图；

图10示出了根据本发明一个实施例的基于时间顺序的多帧图像确定道路转弯情况的方法的流程图；

图11示意性地示出了十字路口道路类型对应的道路基本类型的情况；

图12示出了根据本发明一个实施例的基于多帧连续图像的道路转弯类型的确定方法的流程图；

图13示出了根据本发明一个实施例的基于多帧的道路转弯类型检测装置的框图；以及

图14是示出按照本发明实施例的道路转弯类型检测系统的硬件配置的概念图。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

本发明各实施例中道路转弯类型检测以视差图和/或U视差图为操作对象，下面对视差图以及作为视差图的俯瞰图的U视差图进行简要介绍。

视差图(disparitymap)是以任一幅图像为基准，其大小为该基准图像的大小，元素值为视差值的图像。视差图包含了场景的距离信息。视差图可以从双目相机拍摄的左图像和右图像中计算得到，或者通过立体视图中的深度图计算得到。

普通二维视差图中的某点坐标一般以（u,v）表示，其中u为横坐标，v为纵坐标；点(u,v)处的像素的像素值用d(u,v)表示，表示该点(u,v)处的视差。

视差俯瞰图或U-视差图可以从视差图中计算得到。U-视差图中任意一点(u,d)的灰度值是对应视差图的横坐标为u的列中视差值等于d的点的个数。

有关视差图的概念、获得、以及如何从视差图获得U-视差图的详细介绍，可以在本申请人的另一篇题目为“道路分割物检测方法和装置”、申请号为No.201110409269.1的在先申请中得到。

下面，将按如下顺序进行描述：

<1、第一实施例>

<1.1、车辆自动控制系统>

<1.2、摄像头和图像处理模块>

<1.3、道路转弯类型检测装置>

<2、第二实施例>

<2.1、道路转弯类型检测方法的总体流程>

<2.1.1、U视差图的获得>

<2.1.2、经过基本点的直线存在的概率的计算>

<2.1.3、基本点的聚合度分布的获得>

<2.1.4、道路转弯类型的确定>

<2.1.4.1、基于规则的道路转弯类型的确定方法>

<2.1.4.2、基于特征向量匹配的道路转弯类型的确定方法>

<3、变形实施例>

<3.1、基于多帧连续图像的道路转弯类型的确定>

<3.1.1、基于多帧连续图像的道路转弯类型的确定方法示例1>

<3.1.2、基于多帧连续图像的道路转弯类型的确定方法示例2>

<3.2与其它道路转弯类型确定方法的结合>

<4、基于多帧的道路转弯类型检测装置>

<5、系统硬件配置>

<6、总结>

<1、第一实施例>

<1.1、车辆自动控制系统>

图1示出了根据本发明一个实施例的车辆自动控制系统100的示意图。车辆自动控制系统100安装在车辆之上。该车辆自动控制系统100包括例如两个摄像头101、图像处理模块102、车辆控制模块103。摄像头101可以安装在靠近车辆后视镜的位置，用于捕获车辆前方的场景。所捕获的车辆前方场景的图像将作为图像处理模块102的输入。图像处理模块102分析输入的视差图像，进行各种检测处理，例如本发明实施例的道路转弯类型检测，以及其他的路面检测处理、分道线检测处理、栅栏检测处理、行人检测处理等等。车辆控制模块103接收由图像处理模块102输出的信号，根据检测得到的当前道路转弯类型，以及路面、分道线、栅栏、行人等信息生成控制信号来控制车辆的行驶方向和行驶速度等。

图中所示的车辆自动控制系统100仅为示例，其还可以包括其他部件，例如GPS导航部分等。

<1.2、摄像头和图像处理模块>

图2示出了根据本发明一个实施例的可用于图1中所示的车辆自动控制系统100中的摄像头101和图像处理模块102的组成示例的示意图。

如图2所示，图中左侧示出了两个摄像头101，摄像头101包括图像传感器201和摄像头数字信号处理器（digitalsignalprocessing,DSP）202。图像传感器201将光信号转换为电子信号，将捕获的当前车辆前方的图像转换为模拟图像信号，再将结果传入摄像头DSP202。如果需要，摄像头101还可以进一步包括镜头，滤镜，等等。在本设备中，可以包括两个或多个（未示出）摄像头101，这些摄像头配准后可以同时捕获多幅图像，以便用于双目成像或多目成像。摄像头DSP202将模拟图像信号转换为数字图像信号，并发送到图像处理模块102。

如图像处理模块102的功能框图所示，图像处理模块102可以包括，例如，图像输入部分203、视差图成像部分204、路面检测部分204、分道线检测部分205、道路转弯类型检测部分206等。图像输入部分203可以按规定的时间间隔取得图像。视差图成像部分204利用双目视觉原理，将输入的一对数字图像转换为视差图。路面检测部分204可以例如基于来自视差图成像部分204的视差图而检测路面。分道线检测部分205可以例如基于来自视差图成像部分204的视差图而检测分道线。道路转弯类型检测部分206可以例如基于来自视差图成像部分204的视差图而检测道路转弯类型。

图2中所示的用于后续获得视差的双目摄像机成像仅为示例，也可以例如采用其他基于红外光飞行速度和基于纹理光的立体摄像机等等。设置，车辆上可以不配置摄像设备，而例如通过有线网络或者无线网络连接接收来自外部的图像数据等。

图2中所示的图像处理模块仅为示例，其可以省略其中的某些部分例如省略路面检测部分204，以及包括额外的其他部分，例如栅栏检测部分、U视差图获得部分、V视差图获得部分、基于灰度图的对象检测等。

下面将重点介绍本发明所关注的道路转弯类型检测部分的组成和操作过程。

<1.3、道路转弯类型检测装置>

下面将结合图3描述根据本发明一个实施例的道路转弯类型检测装置的基本功能组成示例。

图3示出了根据本发明一个实施例的道路转弯类型检测装置300的基本功能组成示例，该道路转弯类型检测装置300可用于图2中所示的道路转弯类型检测部分206.

如图3所示，根据本发明一个实施例的道路转弯类型检测装置300可以包括：U视差图获得部件310，用于获得包括路面区域的第一U视差图；经过基本点直线概率计算部件320，用于以视差值为零的点作为基本点，针对预定的各基本点，计算第一U视差图上经过每个基本点的各个直线存在的概率，其中一条直线存在的概率基于该直线上具有的视差非零点的数目来确定；聚合度分布计算部件330，用于基于经过每个基本点的各个直线存在的概率，得到表征每个基本点的直线存在的概率的分布的聚合程度的聚合度，由此得到基本点的聚合度分布；以及道路转弯类型确定部件340，用于基于基本点的聚合度分布，确定该第一U视差图对应的道路的转弯类型。

下面参考图4-9详细描述道路转弯类型检测装置300的各部件的功能和操作的示例。

<2、第二实施例>

<2.1、道路转弯类型检测方法的总体流程>

图4示出了根据本发明一个实施例的道路转弯类型检测方法400的总体流程图。

如图4所示，在步骤S410，U视差图获得部件310获得包括路面区域的第一U视差图。

<2.1.1、U视差图的获得>

如前所述，可以通过双目相机、多目相机、立体相机拍摄并计算得到包括道路区域的视差图，由视差图变换得到U视差图；或者从立体视图中获得深度图，根据深度图得到视差图，由视差图变换得到U视差图。

在首先获得包括路面区域的视差图，然后从视差图转换得到U视差图的情况下，关于如何从例如立体相机获得的图像中获得路面区域的视差图，可以采用例如下述几种途径：由手动指定路面区域；也可以例如采用预定高度阈值rh来将视差图中自路面起高度大于rh的所有点移除，因为，高度大于rh的点可能代表路上的车辆、骑自行车的人或者电线杆等噪声等；或者可以采用各种路面估计或检测方法来检测路面从而获得包括路面区域的视差图，例如采用本申请人的题目为“路面检测方法和装置”、申请号为No.201210194074.4中介绍的路面检测方法。

在获得包括路面区域的视差图后，可以获得视差图的俯瞰图，即U视差图。

图5示意性地示出了包括路面区域的视差图和视差图变换得到的U视差图。

此外，这里还可以对如此得到的U视差图进行一些后处理，例如去噪，其中一种实现方式是，将所有灰度值小于预定阈值的点都从视差俯瞰图中去除，也即将所有灰度值小于预定阈值的点的灰度值改为零。这是因为，噪声一般是离散点，在视差图的各列中，不会存在很多视差一样的噪声点。另外，为了避免无意地去除诸如白线的分道线，优选地，将预定阈值设置为较小值，例如设置为1。

前文描述的情形是先获得视差图，然后从视差图获得U视差图。不过这仅为示例，也可以通过对例如双目相机获得的图像进行处理或计算，直接获得U视差图。或者，也可以直接从外部通过有线网络或者无线网络通信来接收包括路面区域的U视差图。

<2.1.2、经过基本点的直线存在的概率的计算>

回到图4，在步骤S420中，经过基本点直线概率计算部件320以视差值为零的点作为基本点，针对预定的各基本点，计算第一U视差图上经过每个基本点的各个直线存在的概率，其中一条直线存在的概率基于该直线上具有的视差非零点的数目来确定。

本发明中从基本点出发，考察经过基本点的直线存在的概率是基于如下考虑：道路的情况，例如是直路、左转弯路、右转弯路、十字路口中的哪种，一定程度上可以由其上的道路分割物如栅栏、路肩石、白线等的特征来表征，直路上的道路分割物一般是相互平行的直线，而转弯路的道路分割物为相应的弯曲近似平行的线、十字路口的道路分割物一般会呈现为例如相互垂直的两组平行线等。由本领域技术人员公知的射影变换原理可知，原三维空间中相互平行的直线在U视差图中相交于视差值等于零（即d=0）的点，我们将此交点称为道路消失点。在视差俯瞰图中，视差值等于零的点位于一条横线上，我们将视差值等于零的点统称为基本点。如果考察经过各个基本点的各个直线存在的概率的话，那么应该是经过道路消失点的作为道路分割物的直线存在的概率最大，或者说最集中（即最不分散）。而本发明人发现，在不同的道路转弯情况下，经过各个基本点的分道线存在的概率的分布的聚合度分布明显不同，由此提出基于这样的聚合度分布的差异来判断道路转弯类型的构思和实现。

关于“计算第一U视差图上经过每个基本点的各个直线存在的概率”，需要说明的是，这里的概率并不一定是数学上严格意义上的概率，而只是一种可能性大小的表征手段。直观上而言，经过一个基本点的一个直线存在的概率反映了经过该基本点的一个方向上的视差非零点的多少。换一个视角看，经过一个基本点的一个直线存在的概率也可以从该基本点和该直线上的对应视差非零点确定的直线与等视差线之间的夹角的角度分布来考察，如本申请人的另一篇题目为“道路分割物检测方法和装置”、申请号为No.201110409269.1的在先申请所介绍的那样。

作为例子，下面具体描述如何计算经过一个基本点的各个直线存在的概率。

图6示意性示出U视差图上的基本点以及经过基本点的直线的表示。

如图6所示，设基本点以b(x,0)表示，其中x∈[0,w)，各个基本点所在的视差线以m表示（后文称之为基本线），U视差图中任一视差非零点表示为p(u,d)∈U，以及通过基本点b和p的直线以n表示，直线m和n之间的夹角以θ表示。

则通过基本点b(x,0)和任一视差非零点p(u,d)的直线可以用基本点b(x,0)和夹角角度θ表示。假设落在这条直线上的U视差图像上的非零点的个数记作C(θ,b)，因此这条直线的概率Dis(θ,b)可以利用下述公式(1)计算：

$\mathrm{Dis}(\mathrm{\&theta;},b)=\frac{C(\mathrm{\&theta;},b)}{N}---\left(1\right)$

其中N是U视差图像上全部非零点的个数。

当然，因为对于一副U视差图而言，N是固定的，因此从相对意义上而言，也可以直接用C(θ,b)来表征经过基本点b、角度为θ的直线存在的概率。

由此，可以求得经过预定的各基本点的各个直线存在的概率。需要说明的是，在实践中，可以按照预定长度间隔来对基本线上的基本点取样，对于每个取样基本点，可以按照预定角度间隔来确定各个直线，并基于直线上存在的视差非零点的数目来确定该直线存在的概率。

或者，也可以仅考虑基本线上预定区域内的基本点，只要该预定区域内最大可能性地覆盖了道路消失点即可，例如图6中的一对括号内的区域示意了预定区域的示例。例如，因为车辆行驶时，一般在两条分道线的中间行驶，因此消失点一般应该在基本线的中间。由此可以取基本线的中间点，然后取该中间点径向r范围内的基本线上的基本点作为将考察的基本点，有关r的取值可以根据经验确定或者通过学习获得。再比如，可以根据上一帧的聚合度分布曲线来预测下一帧消失点的位置和可能的区间范围。

对于一个考察的基本点，在考虑通过该基本点的各个直线存在的概率时，作为示例，一种方法时，以每个视差值非零点和该基本点确定直线，根据该直线上视差非零点数目来确定该直线存在概率。优选地，对于已经被确定为位于已考察直线上的视差非零点，后续考察直线时不再考虑该视差非零点，以便提高计算效率。

<2.1.3、基本点的聚合度分布的获得>

回到图4，在步骤S430中，聚合度分布计算部件330用于基于经过每个基本点的各个直线存在的概率，得到表征每个基本点的直线分布的聚合程度的聚合度，由此得到基本点的聚合度分布。

通过上述经过基本点直线概率计算部件320计算得到了经过各个基本点的各个直线的存在概率，可以形象地画出所有基本点的所有直线的概率分布图，图7(A)示意性地示出了所有基本点的所有直线的概率分布图，其中横坐标表示各个基本点b，纵坐标表示夹角角度θ，点(θ,b)处的取值是概率Dis(θ,b)，即表示由基本点b和夹角θ确定的直线存在的概率。

该概率分布图尚不能很直观地表现不同道路情况下的各个基本点的各个直线存在概率的特性。

为此，针对每个基本点b，可以计算其相关联的直线存在的概率分布的聚合程度。例如，用如下的公式(2)来表示基本点b的聚合度En(b)：

$En\left(b\right)=\underset{\mathrm{\&theta;}}{\&Sigma;}Dis(\mathrm{\&theta;},b).log\left(Dis\right(\mathrm{\&theta;},b\left)\right)---\left(2\right)$

其中，一个基本点b的聚合度En(b)越大，表示该基本点相关联的直线存在的概率分布的聚合程度越高，也即分散程度越低。

基于各个基本点的聚合度，就获得了基本点聚合度分布，图7(B)示出了图7(A)的概率分布图对应的基本点的聚合度分布曲线示意图，其中横坐标为各个基本点的位置，纵坐标表示各个基本点对应的聚合度。

需要说明的是上述计算基本点聚合度的公式(2)，即熵形式，仅为示例，可以采用其他反映分布的聚合程度的方式，例如一种简单方式是以表示聚合度，或者也可以采用信息墒聚类方法，如DBSCAN，OPTICS，DENCLUE等。

另外，需要说明的是，基本点的聚合度分布不需要一定用图7(B)的聚合度分布曲线形式表达，图7(B)的聚合度分布曲线只是一种直观的表示形式，也可以例如采用直方图等形式来表示基本点的聚合度分布。其实，只要得到了各个预定基本点的聚合度，也就表示得到了基本点的聚合度分布。

<2.1.4、道路转弯类型的确定>

回到图4，在步骤S440中，道路转弯类型确定部件340基于基本点的聚合度分布，确定该第一U视差图对应的道路的转弯类型。

下面参考图8-图9具体描述对于单帧图像，基于基本点的聚合度分布，确定该第一U视差图对应的道路的转弯类型的方法。

发明人发现，不同的道路转弯类型，对应着不同的聚合度分布。

图8(a)到8(e)示意性地示出了道路转弯的几种基本类型和其对应的聚合度分布曲线图。定义的这些基本类型用来判定一幅图像的道路转弯的基本类型。

其中图8(a)示意了直路和对应的聚合度分布曲线图。图8(b)示意了左转弯路和对应的聚合度分布曲线图。图8(c)示意了右转弯路和对应的聚合度分布曲线图。图8(d)示意了分岔路和对应的聚合度分布曲线图。图8(e)示意了T型路和对应的聚合度分布曲线图。

下面从原理上进行一下一般性解释。

如图8(a)所示，在直路的情况下，一般所有分道线都是平行的，因此在U视差图中所有这些分道线相交于一个且仅一个消失点，也即对应的聚合度分布曲线中聚合度最大值所对应的基本点，因此对应的聚合度分布曲线为单峰值，且峰位于居中位置。

如图8(b)所示，在左转弯路的情况下，此时各个分道线是向左弯的，弯路可以视为无数段直路的拟合，因此存在向左延伸的很多消失点，这也就对应于聚合度分布曲线中左侧平坦的较高区域。

如图8(c)所示，在右转弯路的情况下，此时各个分道线是向右弯的，弯路可以视为无数段直路的拟合，因此存在向右延伸的很多消失点，这也就对应于聚合度分布曲线中右侧平坦的较高区域。

如图8(d)所示，在分岔路的情况下，此图所示的的路可以一般性地视为Y字形状的上半部分，即相当于两部分道路，一是分岔后的左侧路（对应于Y字上部分的左叉）、一是分岔后的右侧路（对应于Y字上部分的右叉），这也就分别对应于聚合度分布曲线中的中间部分的两个波峰部分。

如图8(e)所示，在T型路的情况下，车载相机拍摄的图像上不存在在车辆前方的平行道路，即不存在明显的道路前方的消失点，因此反映在聚合度分布曲线上为基本不存在明显的聚合差别，表现为相对扁平的曲线。

从而，基于道路转弯类型和聚合度分布之前的对应性关系，可以基于基本点的聚合度来确定道路转弯路线。

<2.1.4.1、基于规则的道路转弯类型的确定方法>

例如，基于表征基本点的聚合度分布的聚合度分布曲线的形状特性和/或统计特性，来确定道路转弯类型。

例如，如果确定聚合度分布曲线存在一个居中明显峰值，则确定为直路。

再例如，如果确定聚合度分布曲线为左侧高且平坦然后向右下降的形状，则确定为左转弯路。

再例如，如果确定聚合度分布曲线为右侧高且平坦然后向左下降的形状，则确定为右转弯路。

再例如，如果确定聚合度分布曲线为存在多个波谷和多个波峰的形状，则确定为分岔路。

再例如，如果确定聚合度分布曲线为不存在明显波峰和波谷的扁平形状，则确定为T型路。

即，可以根据待检测道路相关联的图像的聚合度分布曲线，利用预定的道路转弯确定规则，来确定道路转弯类型。

<2.1.4.2、基于特征向量匹配的道路转弯类型的确定方法>

不过这种道路转弯类型确定方法仅为示例，作为替代，可以通过例如下述特征向量匹配法来进行道路转弯类型确定。

图9示出了根据本发明一个实施例的道路转弯类型确定方法示例440的流程图，其可以用于图4所示的步骤S440。

如图9所示，在步骤S441，获得与预定道路转弯类型对应的特征向量信息，该特征向量包括表征与该预定道路转弯类型相关联的聚合度分布的特性的特征。

在步骤S442，抽取第一U视差图相关联的表征基本点的聚合度分布的第一聚合度分布的特征向量。

所述与预定道路转弯类型对应的特征向量和表征基本点的聚合度分布的特征向量的分量可以包括如下特征中的一项或多项：聚合度分布曲线的均值、聚合度分布曲线的方差、聚合度分布曲线上的峰个数、聚合度分布曲线上的波峰的位置和值、聚合度分布曲线上的波谷的位置和值、聚合度分布曲线上的波峰之间的距离、聚合度分布曲线上的波谷之间的距离、聚合度分布曲线上的波峰和波谷之间的距离。不过上述特征向量的分量或特征描述子仅为示例，本发明并不局限于此，任何适合于刻画一个二维曲线的信息或特征描述子均可以用于本发明。

在步骤S443，通过比较对应于该第一聚合度分布曲线的特征向量和与预定道路转弯类型对应的特征向量，确定该第一U视差图对应的道路的转弯类型。

在一种实施方法中，定义的道路转弯的每种基本类型都限制了对应特征向量的取值范围，且这些范围之间没有交集，如果一幅图像的聚合度分布曲线特征满足其中的某一取值限制，就判定这幅图像属于这种基本类型。在另一种实施方法中，先选择标定了道路转弯基本类型的训练图像进行训练，得出每种基本类型的平均特征向量，对于输入的图像，计算其特征向量与各种基本类型的特征向量之间的距离，距离最小的，就是其所属的基本类型的类别。

上述基于规则的道路转弯类型确定方法和基于特征向量的道路转弯类型确定方法实际上均可以视为分类器的特例。总体概况起来，上述确定方法可以总结为如下步骤：首先获得用于将后续测试样本（这里的测试样本，即任何道路转弯类型未知的U视差图对应的聚合度分布）分类到各个预定转弯类型的分类器；然后抽取测试样本的特征向量；最后以该测试样本的特征向量作为分类器的输入，从而得到作为道路转弯类型的输出。关于获得分类器，可以由人工经验确定，或者如常见的通过训练样本来训练得到。本领域人员公知各种分类器，作为示例，诸如最近邻分类器、决策树分类器、神经网络分类器、支持向量机分类器等等。

上述基于规则的道路转弯类型确定方法和基于特征向量匹配的道路转弯类型确定方法仅为根据基本点的聚合度分布来确定道路转弯类型的方法的示例。本发明并不局限于此，例如前文描述的道路转弯类型确定方法没有涉及道路消失点的检测，也没有涉及分道线的检测，不过替代地，也可以基于基本点的聚合度分布来确定道路消失点，进而检测分道线，最后根据分道线的变化或分布情况来判定道路转弯类型。

综上，基于基本点的聚合度分布，可以得到单幅图像对应的道路转弯的基本类型。

<3、变形实施例>

<3.1、基于多帧连续图像的道路转弯类型的确定>

上文描述了根据一帧U视差图来检测该帧U视差图对应的道路转弯类型的装置和方法。因为一幅图像只表现了这一时刻的道路情况，具有局限性，因此有可能出现检测错误或者检测不能的情况。

为此，根据本发明一个实施例，提出了通过对一系列连续帧图像的道路转弯基本类型的组合进行判断，确定最终的道路转弯类型的方法。

<3.1.1、基于多帧连续图像的道路转弯类型的确定方法示例1>

图10示出了根据本发明一个实施例的基于时间顺序的多帧图像确定道路转弯情况的方法400’的流程图。

该方法接续图4的步骤S440，即已经关于第一U视差图，基于基本点的聚合度分布，确定该第一U视差图对应的道路的转弯类型。

在步骤S450中，获取另外的一张或多张按时间顺序的包括道路区域的第二U视差图。

在步骤S460中，例如按照图4所示的步骤S420到S430的操作，得到该另外的一张或多张第二U视差图对应的聚合度分布，并从而例如按照图4的步骤S440的操作，确定该另外的一张或多张第二U视差图对应的道路的转弯类型。

在步骤S470中，基于该第一U视差图对应的道路的转弯类型和该另外的一张或多张第二U视差图对应的道路的转弯类型，确定与第一U视差图和另外的一张或多张第二U视差图对应的整段道路的转弯情况。

具体地，例如，可以针对不同的预定道路转弯情况，确定对应的连续帧U图像应该满足的道路基本类型的组合规则。例如，针对道路转弯类型是十字路口的情况，连续帧图像的基本类型应该实质上总体满足如下顺序：直路，T字路口，直路。图11示意性地示出了十字路口道路类型对应的道路基本类型的情况，其中上面一行是连续帧的U视差图像，下面一行是对应的熵曲线图。再比如，针对道路转弯类型是分岔路的情况，连续帧图像的基本类型应该实质上总体满足如下顺序：直路，分岔路，直路。此外，针对道路转弯类型是左转弯路的情况，连续帧图像的基本类型应该实质上总体满足如下顺序：左弯路，左弯路，左弯路。类似地，此外，针对道路转弯类型是右转弯路的情况，连续帧图像的基本类型应该实质上总体满足如下顺序：右弯路，右弯路，右弯路。

在针对不同的预定道路转弯情况，确定了对应的连续帧U图像应该实质上整体满足的道路基本类型的组合规则之后，可以基于该多帧U视差图对应的道路的转弯类型，以及基于不同的预定道路转弯情况对应的连续帧U图像应该满足的道路基本类型的组合规则，来确定对应的整段道路的转弯情况。

上文采用了措辞“实质上整体满足”，这是因为，由于车速不同、摄像机拍摄的频率不同以及道路转弯的弧度等不同，因此很难精确定义在何时间范围或者在多少帧图像范围，多帧图像对应的道路基本类型的组合应满足预定组合规则。只能说，从整体上看，时间顺序上的连续帧图像对应的道路基本类型的变化组合应该满足预定组合规则。

另外，上文的“连续帧图像”或者“时间顺序上的连续帧图像”不要求是从摄像机拍摄角度时间上一帧接一帧的图像，而是可以按照预定时间间隔来根据时间顺序来选取多帧，分析对应道路转弯类型的组合情况，进而确定整体的道路转弯情况。

<3.1.2、基于多帧连续图像的道路转弯类型的确定方法示例2>

上文描述的基于多帧连续图像的道路转弯类型的确定方法示例1中，关于多帧图像，对于每帧图像，都确定该图像对应的道路转弯类型，然后基于该多帧图像的道路转弯类型的变化情况，来确定整体的道路转弯情况。

不过，可以不对于每帧图像，都确定该帧图像对应的道路转弯类型，而是对于每帧图像，均获得对应的聚合度分布，然后根据时间顺序的多帧图像的聚合度分布的变化情况，来确定道路转弯情况。

图12示出了根据本发明一个实施例的基于多帧连续图像的道路转弯类型的确定方法500的流程图。

如图12所示，在步骤S510中，获得包括路面区域的时间上连续的多个U视差图。关于此步骤的实现可以参考关于图4的步骤S410的描述。

在步骤S520中，对于每个U视差图：以视差值为零的点作为基本点，针对预定的各基本点，计算第一U视差图上经过每个基本点的各个直线存在的概率，其中一条直线存在的概率基于该直线上具有的视差非零点的数目来确定。

以及在步骤S530中，基于经过每个基本点的各个直线存在的概率，得到表征每个基本点的直线分布的聚合程度的每个基本点的聚合度，由此得到基本点的聚合度分布。

在步骤S540中，判断是否对所有U视差图都进行了步骤S520和S530的处理。

如果步骤S540的结果为否，则针对下一U视差图，返回到步骤S520继续操作。

如果步骤S540的结果为是，则前进到步骤S550。在步骤S550中，基于该多个U视差图对应的聚合度分布，确定该多个U视差图对应的道路的转弯情况。

关于步骤S550的实现方式，可以参考图4所描述的步骤S440的实现。作为示例，为简单起见，假如为三帧U视差图的情况，则可以对于每帧U视差图基于每帧U视差图的聚合度分布而抽取该帧U视差图对应的特征向量，然后将三帧U视差图的特征向量组合起来组成视差图组的特征向量。由此，即可以例如参考图9描述的基于特征向量匹配的道路转弯类型确定方法，所不同只不过在于本示例中特征向量是基于三帧图像得到的，而图9中的特征向量是基于一帧图像得到的。

<3.2、与其它道路转弯类型确定方法的结合>

参考本发明实施例描述的基于U视差图的聚合度分布来确定道路转弯情况的方法可以与其它道路转弯类型确定方法结合使用。

例如，可以基于全球定位系统GPS、或者其它确定道路转弯类型的方法确定道路转弯类型；然后基于GPS、或者其它确定道路转弯类型的方法确定的道路转弯类型和基于该第一聚合度分布确定的该第一U视差图对应的道路的转弯类型，来判定道路转弯类型。

<4、基于多帧的道路转弯类型检测装置>

图13示出了根据本发明一个实施例的基于多帧的道路转弯类型检测装置600的框图。

如图13所示，道路转弯类型检测装置600可以包括：多帧U视差图获得部件610，获得包括路面区域的时间上连续的多个U视差图；聚合度分布获得部件620，用于对于每个U视差图：以视差值为零的点作为基本点，针对预定的各基本点，计算第一U视差图上经过每个基本点的各个直线存在的概率，其中一条直线存在的概率基于该直线上具有的视差非零点的数目来确定；基于经过每个基本点的各个直线存在的概率，得到表征每个基本点的直线分布的聚合程度的每个基本点的聚合度，由此得到基本点的聚合度分布；以及道路转换情况确定部件630，用于基于该多个U视差图对应的各自聚合度分布，确定该多个U视差图对应的道路的转弯情况。关于基于多帧的道路转弯类型检测装置5000中各部件的操作可以参考结合图12所示的流程图进行的描述，这里不再赘述。

<5、系统硬件配置>

本发明还可以通过一种检测道路转弯类型的系统来实施。图14是示出按照本发明实施例的道路转弯类型检测系统7000的硬件配置的概念图。如图14所示，路面检测系统7000可以包括：输入设备7100，用于从外部输入将要处理的图像，例如双目相机拍摄的左右图像、立体相机拍摄的立体视频等，当然也可以直接输入包括道路区域的U视差图，该输入设备例如可以包括键盘、鼠标器、以及通信网络及其所连接的远程输入设备等等；处理设备7200，用于实施上述的按照本发明实施例的道路转弯类型检测方法，或者实施为上述的按照本发明实施例的道路转弯类型检测设备，例如可以包括计算机的中央处理器或其它的具有处理能力的芯片等等，可以连接到诸如因特网的网络（未示出），根据处理过程的需要而从网络获取数据例如左右图像等等；输出设备7300，用于向外部输出实施上述道路转弯类型检测过程所得的结果，例如可以包括显示器、打印机、以及通信网络及其所连接的远程输出设备等等；以及存储设备7400，用于以易失或非易失的方式存储上述道路转弯类型检测过程所涉及的图像、所得的结果、命令、中间数据等等，例如可以包括随机存取存储器（RAM）、只读存储器（ROM）、硬盘、或半导体存储器等等的各种易失或非易失性存储器。

<6、总结>

上文描述了道路转弯类型检测方法和装置，其中获得包括路面区域的第一U视差图；以视差值为零的点作为基本点，针对预定的各基本点，计算第一U视差图上经过每个基本点的各个直线存在的概率，其中一条直线存在的概率基于该直线上具有的视差非零点的数目来确定；基于经过每个基本点的各个直线存在的概率，得到表征每个基本点的直线存在的概率的分布的聚合程度的聚合度，由此得到基本点的聚合度分布；以及基于基本点的聚合度分布，确定该第一U视差图对应的道路的转弯类型。

另外上文还描述了一种基于多帧图像的道路转弯类型检测方法和装置，包括：获得包括路面区域的时间上连续的多个U视差图；对于每个U视差图：以视差值为零的点作为基本点，针对预定的各基本点，计算第一U视差图上经过每个基本点的各个直线存在的概率，其中一条直线存在的概率基于该直线上具有的视差非零点的数目来确定；基于经过每个基本点的各个直线存在的概率，得到表征每个基本点的直线分布的聚合程度的每个基本点的聚合度，由此得到基本点的聚合度分布；以及基于该多个U视差图对应的聚合度分布，确定该多个U视差图对应的道路的转弯情况。

不过前述描述仅为示例，本领域技术人员可以根据需要进行各种修改、替代或添加。

在前面的描述中提到，U视差图一般是从视差图转换得到的，不过，可以想见的是，也可以直接从特殊相机例如双目相机、多目相机、立体相机拍摄的左右图像中直接计算得出视差俯瞰图，或者直接通过立体视图中的深度图计算得到。

在上文结合具体实施例描述的基于基本点的聚合度分布来确定道路转弯类型的方法和设备中，并未涉及确定道路消失点和/或检测分道线，不过这仅为示例。也可以基于基本点的聚合度分布来确定道路消失点，并检测分道线，由此可以基于各帧的分道线变化情况，来确定道路的转弯类型。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行，例如，在图12的基于多帧检测道路转弯类型的方法中，顺序处理各帧，不过显然各帧之间的处理是独立的，可以并行或以任意先后顺序进行。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种道路转弯类型检测方法，包括：

获得包括路面区域的第一U视差图；

以视差值为零的点作为基本点，针对预定的各基本点，计算第一U视差图上经过每个基本点的各个直线存在的概率，其中一条直线存在的概率基于该直线上具有的视差非零点的数目来确定；

基于经过每个基本点的各个直线存在的概率，得到表征每个基本点的直线存在的概率的分布的聚合程度的聚合度，由此得到基本点的聚合度分布；以及

基于基本点的聚合度分布，确定该第一U视差图对应的道路的转弯类型。

2.根据权利要求1的道路转弯类型检测方法，其中：

基于表征基本点的聚合度分布的聚合度分布曲线的形状特性和/或统计特性，根据预定规则来确定道路转弯类型。

3.根据权利要求1的道路转弯类型检测方法，其中确定道路转弯类型包括：

获得与预定道路转弯类型对应的特征向量信息，该特征向量包括表征与该预定道路转弯类型相关联的聚合度分布的特性的特征；

抽取表征基本点的聚合度分布的特征向量；以及

通过比较对应于该聚合度分布的特征向量和与预定道路转弯类型对应的特征向量，确定该第一U视差图对应的道路的转弯类型。

4.根据权利要求3所述的道路转弯类型检测方法，其中所述特征向量的分量包括如下特征中的一项或多项：

聚合度分布的均值、聚合度分布的方差、聚合度分布上的峰个数、聚合度分布上的波峰的位置和值、聚合度分布上的波谷的位置和值、聚合度分布上的波峰之间的距离、聚合度分布上的波谷之间的距离、聚合度分布上的波峰和波谷之间的距离。

5.根据权利要求1的道路转弯类型检测方法，还包括：

获取另外的一张或多张按时间顺序的包括道路区域的第二U视差图；

得到该另外的一张或多张第二U视差图对应的聚合度分布，并确定该另外的一张或多张第二U视差图对应的道路的转弯类型；以及

基于该第一U视差图对应的道路的转弯类型和该另外的一张或多张第二U视差图对应的道路的转弯类型，确定与第一U视差图和另外的一张或多张第二U视差图对应的整段道路的转弯情况。

6.根据权利要求5的道路转弯类型检测方法，其中基于该第一U视差图对应的道路的转弯类型和该另外的一张或多张第二U视差图对应的道路的转弯类型，确定与第一U视差图和另外的一张或多张第二U视差图对应的整段道路的转弯情况包括：

针对不同的预定道路转弯情况，确定对应的连续帧U图像应该实质上整体满足的道路基本类型的组合规则；

基于该第一U视差图对应的道路的转弯类型和该另外的一张或多张第二U视差图对应的道路的转弯类型以及不同的预定道路转弯情况对应的连续帧U图像应该满足的道路基本类型的组合规则，确定与第一U视差图和另外的一张或多张第二U视差图对应的整段道路的转弯情况。

7.根据权利要求1的道路转弯类型检测方法，还包括：

基于全球定位系统GPS、或者其它确定道路转弯类型的方法确定道路转弯类型；

然后基于GPS、或者其它确定道路转弯类型的方法确定的道路转弯类型和基于该聚合度分布确定的该第一U视差图对应的道路的转弯类型，来判定道路转弯类型。

8.一种道路转弯类型检测方法，包括：

获得包括路面区域的时间上连续的多个U视差图；

对于每个U视差图：

以视差值为零的点作为基本点，针对预定的各基本点，计算第一U视差图上经过每个基本点的各个直线存在的概率，其中一条直线存在的概率基于该直线上具有的视差非零点的数目来确定；

基于经过每个基本点的各个直线存在的概率，得到表征每个基本点的直线分布的聚合程度的每个基本点的聚合度，由此得到基本点的聚合度分布；以及

基于该多个U视差图对应的聚合度分布，确定该多个U视差图对应的道路的转弯情况。

9.一种道路转弯类型检测装置，包括：

U视差图获得部件，获得包括路面区域的第一U视差图；

经过基本点直线概率计算部件，以视差值为零的点作为基本点，针对预定的各基本点，计算第一U视差图上经过每个基本点的各个直线存在的概率，其中一条直线存在的概率基于该直线上具有的视差非零点的数目来确定；

聚合度分布计算部件，基于经过每个基本点的各个直线存在的概率，得到表征每个基本点的直线分布的聚合程度的聚合度，由此得到基本点的聚合度分布；以及

道路转弯类型确定部件，基于基本点的聚合度分布，确定该第一U视差图对应的道路的转弯类型。

10.一种道路转弯类型检测装置，包括：

多帧U视差图获得部件，获得包括路面区域的时间上连续的多个U视差图；

聚合度分布获得部件，用于对于每个U视差图：

以视差值为零的点作为基本点，针对预定的各基本点，计算第一U视差图上经过每个基本点的各个直线存在的概率，其中一条直线存在的概率基于该直线上具有的视差非零点的数目来确定；

基于经过每个基本点的各个直线存在的概率，得到表征每个基本点的直线分布的聚合程度的每个基本点的聚合度，由此得到基本点的聚合度分布；以及

道路转弯情况确定部件，基于该多个U视差图对应的聚合度分布，确定该多个U视差图对应的道路的转弯情况。