CN109886064B - 确定可驾驶空间的边界的方法 - Google Patents

Abstract

本发明公开了确定可驾驶空间的边界的方法。一种确定车辆周围场景的特点的方法包括捕获场景的立体图像对200并处理图像210以产生场景的深度图220。深度图中的每个像素被指派与场景中对应区域的范围对应的值，像素以行和列的网格布置，其中网格中的每列像素与场景中垂直定向的区域集合对应，并且每行像素与场景中水平定向的区域集合对应。深度图中的一列或多列像素的值被分段，以形成对应的直方图230，直方图中的每个区段具有计数值，该计数值与具有指派给该区段的范围内的深度的列中的像素数量对应。处理所述或每个范围区段直方图，以针对所述或每个直方图确定最低范围区段，该最低范围区段指示表示不可驾驶区域的物体存在于位于指派给该区段的深度范围内的深度处，从而识别位于场景中可驾驶空间的边界上的一个或多个边界点的地点280。

Description

确定可驾驶空间的边界的方法

技术领域

本发明涉及图像处理，特别涉及处理图像以确定车辆周围空间区域的特点的方法，特别是识别车辆可以移入的可驾驶空间的边界。

背景技术

当在高速公路上或越野驾驶车辆时，车辆的驾驶员必须能够避免撞到其它物体。道路环境中的典型物体的示例是其它汽车和墙壁以及街道设施。对于训练有素的通过驾驶标准测试的驾驶员，这一般是一项简单的任务，因为人类一般具有出色的空间意识。

已知提供了一种驾驶员辅助装置，如果驾驶员正在接近不能被越过的物体，那么该驾驶员辅助装置会提醒驾驶员。这种驾驶员辅助装置的常见示例是停车辅助装置，其可以安装在车辆上并且使用超声来测量车辆与凸起物体之间的距离。如果驾驶员太靠近物体，那么可以发出可听的警告，并且在某些情况下也可以发出视觉警告。通过在车辆周围间隔开的地点处安装多个传感器，有可能提供向驾驶员示出物体的大致地点的视觉警告。这些驾驶辅助装置成本相对低且可靠，但是只能检测到将强信号反射回车辆的物体。这限制了它们对低速操纵和检测相对靠近车辆的物体的使用，并且虽然有用，但是不能完全依赖它们来识别所有物体，因为一些物体不会生成被指引回车辆的强反射。

技术的进步意味着正在开发自主驾驶车辆和半自主驾驶车辆，其在有限的情况下没有驾驶员或者可以自行驾驶，这依赖于安装在车辆上的传感器捕获的信息来确定车辆移动到何处是安全的。这些车辆必须能够在低速和高速下为车辆绘制安全路径，并且理想情况下应当能够在所有环境中工作。

因此，期望提供检测可驾驶空间的区域的通用装置和方法。在一些情况下，这可以在车辆在场景中移动时为车辆绘制行动路线时提供适合自主或半自主车辆使用的信息。

在本描述中，术语“可驾驶空间”用于指车辆通常在其上驾驶的基本上平坦的，通常是水平的表面(例如，诸如道路、停车场、车道之类的安全表面，以及相对平坦的越野空间)。术语“禁止空间”用于定义车辆周围的场景中超出正常驾驶性能的区域，因为存在垂直突出的物体，诸如停放的车辆或墙壁，这些物体对于车辆来说太高而无法通过，或者表示标记禁止区域的边缘的人造特征，诸如道路连接小路的凸起路缘。

发明内容

根据第一方面，本发明提供一种确定车辆周围场景的特点的方法，包括：

捕获场景的立体图像对，

处理图像以产生场景的深度图，其中深度图中的每个像素被指派与场景中的对应区域的范围对应的值，像素以行和列的网格布置，其中网格中的每列像素与场景中垂直定向的区域集合对应并且每行像素与场景中水平定向的区域集合对应，

将深度图中的一列或多列像素的值分段以形成对应的直方图，直方图中的每个区段具有与列中具有指派给该区段的范围内的深度的像素数量对应的计数值，

处理所述或每个范围区段直方图，以针对所述或每个直方图确定最低范围区段，该最低范围区段指示表示不可驾驶区域的物体存在于位于指派给该区段的深度范围内的深度处，从而识别位于场景中可驾驶空间的边界上的一个或多个边界点的地点。

通过识别边界点的地点，我们可以意味着识别场景的2D图像中的边界点的位置，其中2D图像可以是两个立体对图像之一或从它们导出的2D图像。这对于在场景的2D图像上产生边界的覆盖图是有用的。

通过仔细选择每个直方图中区段的数量和2D图像中要被覆盖的行数，有可能将区段映射到2D图像中的行上。

可替代地，通过识别地点的范围区段，我们可以意味着在3D笛卡尔空间中识别场景中的地点，以水平位置和边界点的范围来表示。这可以通过将区段关联回场景的2D图像或深度图或复合2D图像到3D平面上的投影并将区段映射到3D平面上来实现。

本发明的方法能够检测位于安装有经校准的立体相机的移动车辆前方的3D平面上方的物体。该方法不需要训练数据或任何形式的机器学习，因此它不限于给定的物体类，因此仅由系统应当识别出的物体的尺寸来定义。

为了给出最详细的边界，优选的是深度图中的每列像素都被分段以形成范围区段直方图。类似地，优选的是深度图包括深深度图，其中在生成深度图时处理立体图像对中的每个像素。

该方法可以包括从边界点集合确定在深度图中跨所有行延伸的完整边界，由此边界线表示场景中的安全可驾驶空间的边缘。

可以将像素计数的值选择成与存在物体边缘的区域对应，该区域对于车辆来说太高而不能越过。这个高度将因车辆而异，但通常高度在10cm至20cm之间。与这个高度对应的区段计数值将取决于立体相机的分辨率、相机的视场和每个直方图中区段的数量。

在方便的布置中，如果与区段对应的区域是平坦的水平面，那么范围区段计数超过那个区段预期计数的两倍。

由于场景中与更接近相机的平坦水平面对应的区域将包含比距离更远的区域更高的范围区段计数，因此与平坦水平面对应的绝对区段计数值将随区段而变化。

该方法可以包括构建场景的2D图像并将边界点或边界线标记到2D图像上，以及在显示屏幕上呈现具有标记的2D图像。

该方法可以包括生成查找表，该查找表将2D图像的图像行与对应的范围区段相关联。这可以在创建深度图期间执行。使用查找表，然后有可能通过使用列索引并从查找表中查找给定范围区段的对应图像行将范围直方图像中的点变换回相机空间。这允许在视觉上表示源图像上的地点。

可以在生成可驾驶空间的边界之后执行查找表的创建，其中仅位于可驾驶空间内的区域用于生成查找表。这种方法可以证明更可靠，特别是在图像中存在处于相同范围但在地平面上方不同高度处的多个特征的情况下。

该方法可以包括在车辆的显示屏幕上呈现覆盖的图像，其中车辆的驾驶员可以看到该重叠的图像。

可替代地，边界点可以与关于车辆的地点的信息以及可选地车辆的行进方向组合，以根据车辆距可驾驶空间的边界的距离来发出警报。该距离可以在车辆的行驶方向上测量，或者在车辆的前后方向上测量。这将确保不会因为车辆靠近边界但不能以撞到近边界的方式移动而引发警报。

产生深度图的步骤可以包括使用诸如半全局块匹配(SGBM)算法之类的密集立体算法来创建深度图。用于生成深度图的SGBM算法是众所周知的，并且可以在OpenCV开源计算机视觉软件库中找到合适的代码。

产生深度图的方法可以包括在第一步中从立体图像对创建视差图像，并且在第二步中将具有像素高度R(行)和像素宽度C(列)的视差图像(D)投影到3D点，以便生成R和C的相同维度的3D点(Pt3D)的3通道矩阵，使得D(r,c)＝>Pt3D(r,c,:)；

其中：

X深度值＝Pt3D(r,c,0)；

Y深度值＝Pt3D(r,c,1)；

Z深度值＝Pt3D(r,c,2)。

然后可以通过在视差图像的3D投影中绘制值Z的2D矩阵来形成深度图，其中变换基于Z轴与捕获立体图像对的相机视场的中心轴对准。

其它密集立体算法可以用于它们适当密集的附带条件(proviso)。

为了将视差图变换到真实世界3D空间中的深度图，3D投影可以使用关于相机配置的信息。该方法可以包括接收关于相机配置的信息以用于这种变换，特别是相机的焦距及其在可驾驶平面上方的高度。

生成范围区段直方图的步骤可以包括扫描深度图中每列的所有行并计数落在给定范围-区段内的值，从而有效地创建范围Z的直方图。

每个直方图可以包括宽度相等的区段的集合，但是它们可以具有不相等的宽度。优选的是使用相等的宽度，每个区段的宽度表示范围的设定范围。例如，每个区段可以覆盖1米或0.5米的范围。每个区段的尺寸的选择将取决于立体相机的分辨率，立体相机的分辨率进而设定捕获的立体图像中的行数和列数。

该直方图集合可以被呈现为直方图图像，其中每个直方图定义直方图图像中的一列的值，并且区段被布置成使得与最低范围对应的区段位于图像的顶部并且与最高范围对应的区段位于底部。当然，直方图可以在每列中以相反的方式布置。

处理每个范围区段直方图以确定哪个是表示不可驾驶空间的最近范围区段的步骤可以包括将指派给区段的计数值与指派给区段的预定阈值计数值进行比较，并且如果该值超过阈值，那么标记识别场景中不可驾驶的区域的区段。

由于确切的相机俯仰可能是未知的，因此代替基于已知相机参数(诸如视场、相机分辨率、相机高度和相机俯仰)集合计算给定范围-区段内的预期像素数的预定义值，该方法可以使函数拟合在数据中观察到的已知平面的范围-区段计数，并根据有多少值偏离该函数来识别与不可驾驶空间对应的区段。

例如，如果计数值大于指派的阈值的两倍，那么可以认为识别出不可驾驶空间。

因此，阈值可以被设置为每个区段的预定义阈值，其对于每个区段可以是唯一的，或者对于所有区段是相同的。阈值可以基于执行该方法的装置安装到的车辆的特点，特别是车辆的离地间隙，来预设。

可替代地，可以依据区段中的计数与指派给下一个最低范围区段的计数值之间的最大可允许差异来定义阈值。

可替代地或附加地，代替最大可允许差异，可以依据区段的计数与下一个最接近区段的最大可允许比率来定义。

在直方图中相邻区段之间进行比较的上述方法将使得能够确定区域的梯度，该梯度可以与关于执行该方法的装置安装到的车辆的能力的信息组合，以确定与区段相关联的区域是否表示可驾驶空间。能力可以包括离地间隙以及车辆的纵向通过角和接近角和离开角。

处理每个范围区段直方图以确定最接近的区段的步骤可以包括从表示最低范围的末端开始沿着直方图图像中的列扫描。例如，在与最低范围对应的区段位于顶部行并且更远处的区段被表示为较低的行的直方图图像中，该方法可以向下扫描那个直方图图像，直到识别出被认为识别出不可驾驶空间的第一区段为止。

在直方图图像中以最高范围处于顶部呈现直方图的情况下，这个步骤可以包括相同的扫描处理，但是通过向上扫描图像而不是向下扫描直方图图像。

一旦以这种方式识别出不可驾驶空间，就可以停止直方图的扫描并且可以开始扫描下一个直方图。不需要识别超出已经被识别为不可驾驶的空间的不可驾驶空间。这将重复进行，直到直方图图像中的所有列都被扫描。

从边界点生成边界的步骤可以包括插值，以确定边界点之间的附加边界点或确定连接图像中的相邻边界点的线的属性。

该方法可以包括对直方图范围区段中的计数值进行归一化，以考虑立体相机相对于平坦水平面的定向，并考虑相机的视场以及捕获的图像中场景的任何失真。

归一化步骤可以通过提供与范围区段图像相同维度的归一化图像并从范围区段图像中减去该归一化图像以在处理计数之前产生归一化的区段计数值来实现。

技术人员将认识到的是，可以连续地重复捕获立体图像对，从而允许在捕获新图像时随时间更新边界点。这是重要的，因为车辆可以正在移动并且这将造成相机查看的场景改变。捕获一系列图像以确保检测到移入先前可驾驶空间的物体也是重要的。

捕获图像的处理速率将取决于相机的帧速率和用于处理捕获的图像的任何信号处理电路的功率。在理想情况下，每个捕获的立体声对都被实时处理，很少或没有滞后。

该方法可以由信号处理器实现，该信号处理器从立体视频相机接收馈送以形成可驾驶空间检测器。

根据第二方面，本发明提供一种用于车辆的可驾驶空间检测装置，包括：

接收器，其从车辆周围的场景的立体部件相机接收立体对图像的馈送，

捕获场景的立体图像对，

第一处理级，被布置成用于处理立体图像对，以产生场景的深度图，其中深度图中的每个像素被指派与场景中的对应区域的范围对应的值，像素以行和列的网格布置，其中网格中的每列像素与场景中垂直定向的区域集合对应并且每行像素与场景中水平定向的区域集合对应，

直方图生成器，被布置成将深度图中的一列或多列像素的值分段以形成对应的直方图，直方图中的每个区段具有计数值，该计数值与列中具有指派给该区段的范围内的深度的像素数量对应，

以及第二处理级，被布置成用于处理每个范围区段直方图，以针对所述或每个直方图确定最低范围区段，该最低范围区段指示表示不可驾驶区域的物体存在于位于指派给该区段的深度范围内的深度处，从而识别位于场景中可驾驶空间的边界上的一个或多个边界点的地点。

该装置可以包括信号处理电路，并且第一和第二处理级可以包括由信号处理电路执行的计算机程序的功能块。直方图生成器还可以形成信号处理电路的一部分。

该装置可以包括提供图像馈送的立体对相机。

相机可以固定到车辆的前部，在这种情况下，边界确定车辆在前进时可以移入的空间。

相机可以固定到车辆的后部。

相机可以固定在车辆上提供车辆前部或后部的场景视图的任何位置。

该装置可以从两个立体相机接收馈送，一个提供馈送。

在存在两个馈送的情况下，每个馈送可以由信号处理装置处理，以确定由每个相机捕获的场景的相应边界。

该装置可以包括显示屏幕，在该显示屏幕上显示覆盖在由立体相机捕获的场景的图像上的、与边界点对应的边界。在存在两个相机的情况下，可以呈现具有对应覆盖图的两个图像，每个图像在屏幕的不同区域中。

在第三方面，本发明组合地提供立体相机和信号处理单元，该信号处理单元被布置成执行本发明第一方面的方法步骤。

技术人员将理解的是，本申请中使用的术语“图像”或“图”不限于可以由人查看的物理图像或图，而是旨在指被定义为任何2D像素阵列或二维矩阵的任何数字图像。同样，术语“像素”应广泛理解，并且每个像素由其在2D阵列中的(x，y)坐标及其值定义。每个数字图像的特征在于其由列数(c)和行数(r)确定的宽度和高度。

而且，技术人员将认识到的是，在本描述中使用的术语“深度”和术语“范围”是可互换的，并且可以指点、物体或表面距车辆上的既定点的距离，该距离可以是从捕获立体图像的相机的视点测得的距离或者，如果相机不是位于车辆的末端，那么距车辆末端的已知点的距离。例如，如果相机位于距车辆最前边缘1m的位置，那么在提供范围值时从图像处理确定的任何距离信息可以偏移-1m，以考虑相机在车辆上的定位。

附图说明

现在将仅通过举例的方式参考附图描述本发明的实施例，其中：

图1是可以安装到车辆的可驾驶空间检测装置的框图；

图2是详细示意图，示出了在图1的装置操作期间执行的、确定可驾驶空间的边界的方法中的关键步骤；

图3(a)和(b)是场景的立体图像对；

图4是根据图3(a)和3(b)的两个图像创建的密集视差图，根据该密集视差图，可以通过投影到3D空间并提取范围Z或每个区域的值来生成深度图；

图5是范围区段直方图集合作为2D图像的表示，其中每列像素与直方图对应，并且最低范围区段位于图像的顶部；

图6是以5度间隔标记有视场(FOV)线的范围区段的3D点分布的图，以示出导致平面上的非线性范围点的恒定线性分辨率；

图7是拟合到实际数据的示例性函数，以对用于对给定相机配置的预期范围-区段计数值进行建模；

图8是根据拟合函数创建的归一化掩模的2D图像；

图9是与图6对应的表示，其中范围区段计数已被归一化；

图10示出了向下扫描图9的图像中的直方图直到具有最低范围的范围区段，直到遇到与不可驾驶空间对应的阈值交叉的步骤，该交叉由点P表示；

图11示出了在根据立体图像对创建的场景的2D图像上标记的点P，其中点P标记可驾驶空间的边界上的点；以及

图12至14示出了四个可识别特征的地点，每个特征在归一化的范围区段直方图表示、密集视差图和最终覆盖的2D图像中标记可驾驶空间的边缘。

具体实施方式

图1是正常可驾驶空间检测装置100的实施例的概述，该装置100可以安装到车辆上。检测器的主要特征是处理单元110，该处理单元110定义各种处理级并且从安装到诸如客车之类的主车辆(未示出)的立体视频相机120接收馈送。在这个示例中，相机120面向前，以便捕获车辆前方的场景。在其它示例中，它可以面向车辆的后部。

相机120捕获车辆可以移入的车辆前方的场景的立体图像对，并且将每隔几秒或几分之一秒周期性地捕获新鲜图像。与深度对应的相机视场的Z轴与车辆的前后中心线对准，使得当车辆直线行驶时，它将沿着这个Z轴移动。存储器存储130程序指令，该程序指令使处理器处理来自馈送的图像，以确定可驾驶空间的边界。这个存储器130还用于临时存储正被处理的图像和在处理期间产生的中间图像。这个示例中的设备还包括显示器140，在该显示器上可以将图像呈现给车辆的驾驶员。当然，可以省略相机和显示器，其中处理器被形成另一个系统的一部分的相机馈送，并且同样，简单地输出可以馈送到另一个系统的显示器或用于某种其它功能的数据就足够了。

图2是示出在确定边界的地点并最终生成覆盖在场景的2D图像上并在显示屏上呈现给驾驶员的边界时由处理器执行的方法步骤的流程图。

相机最初获取共同场景的立体数字图像对200，每个数字图像对表示2D像素阵列。该对图像中的每个像素由其(x，y)坐标定义，并且具有0到255的值。图像具有相同的宽度和高度，并且照此具有相同的列数(c)和相同的行数(r)。图3(a)和3(b)中示出了道路场景的典型立体图像对。在这个示例中，图像是黑白的。

在捕获立体图像对之后，将它们馈送到信号处理单元的第一信号处理级，其使用半全局块匹配(SGBM)来创建210视差图。图具有高度R(行)和宽度C(列)的(D)，并且可以在视觉上表示为与图4中的立体图像具有相同数量的列和行的数字2D图像。视差与范围Z＝fB/Disp成反比，其中Z是范围(m)、f是焦距(px)、B是相机之间的基线(m)，并且Disp是视差(px)。视差被定义为左图像和右图像中的对应点的观察到的X位置的差异，即，Disp＝|X_L-X_R|。因此，对于平行相机，无限远的点具有0视差。

在示例性视差图图像中，较暗的像素表示距相机的距离具有低值，因为在场景中的那个点处在两个图像之间存在少量观察到的视差，并且较亮的像素由于观察到更大量的视差而具有较大的视差值。取决于立体图像中的相关联的视差，其它像素被表示为不同的灰度阴影。

在形成视差图之后，将该图投影到3D点。申请人提供了信号处理单元。这生成具有R和C的相同维度的3D点(Pt3D)的3通道矩阵，使得D(r,c)＝>Pt3D(r,c,:)；

其中：

X＝Pt3D(r,c,0)；

Y＝Pt3D(r,c,1)；

Z＝Pt3D(r,c,2)。

Z的值形成220场景中的区域的深度图，其中深度图中的范围中的每个像素被指派与场景中的对应区域的范围Z对应的值，像素布置在行和列的网格中，其中网格中的每列像素与由立体相机查看的场景的2D图像中的垂直定向的区域集合对应，并且每行像素与由立体相机查看的场景的2D图像中的水平定向的区域集合对应。

使用密集深度图的Z值，信号处理单元接下来扫描通过范围图像中每列的所有行，实际上是Z的2D矩阵，并计数落在给定范围-区段内的值，从而有效地创建230范围Z的完整直方图，其由直方图集合定义，每个直方图与范围图像中的一列对应。当然，如果对于形成边界图像是可接受的，那么仅需要处理所有列的子集，但是优选的是分析范围图像中的所有像素。

每个列直方图可以被视为另一个数字图像，同样具有相同的维度R和C。每列由一个直方图的区段定义，顶行与针对最小范围的区段对应并且沿着图像向下运行的行与增加范围的区段对应。因此，这个示例中的区段的数量与密集深度图中的行数R对应。

在图5中所示的样本2D直方图图像中，高计数被表示为阴影比由更深阴影表示的低计数更亮的像素。每当在相同范围或范围-区段内存在多个点时，它们就会在那个给定的范围-区段内累积。这在图6中示出，图6是针对图5中一列的到范围区段的3D点分布的图，该范围已经以5度间隔标记有视场(FOV)线，以示出范围区段的恒定线性分辨率导致平面上每个区段中的范围点的非线性计数。显而易见的是，对于具有恒定角分辨率的、从在车辆上在道路上方隔开的地点俯视道路的相机，存在更多“命中”更接近相机的范围和更少“命中”远离包括完全平坦和水平的可驾驶表面的场景的范围。

还要注意的是，在图6中，由垂直虚线表示的不可驾驶空间的边缘将导致对应的范围区段与相邻的平坦可驾驶空间相比具有高计数。在这种情况下，计数比针对平坦可驾驶空间高6倍。

在执行对每个区段的计数的任何分析之前，接下来移除相机地点和在表面上方的对准的影响，以便可靠地计数在相同范围处命中的发生。

在这个阶段，可以知道确切的相机间距，从而允许精确的函数拟合到与平面对应的范围区段计数。如果它是未知的，那么代替根据相机参数(视场、分辨率)和相机的俯仰计算给定范围-区段内的预期像素数量，我们只需将函数拟合到在数据中观察到的已知平面的范围-区段计数。这在图7中示出。

在下一步中，使用先前计算并在图7中示出的函数，可驾驶空间检测器生成2D掩模，该2D掩模表示使用观察平面的完美立体算法(无噪声)，范围-区段直方图像看起来将像什么。这在图8中示出。再次要注意的是，在图像中白色是高值而黑色是低值。图像在顶部具有更近的范围，而在底部具有更远的范围，其中每列与在原始立体图像中捕获的场景中的垂直像素条的直方图对应。

取图5的范围-区段直方图，并从其中减去240归一化图，图8，获得250归一化的范围-区段图像。这在图9中示出，其中有可能看到短范围-区段不再是图像中的特征。同样，这个图像表示直方图集合，每个直方图被可视化为一列。

在下一步260中，可驾驶空间检测器向下扫描图9的直方图图像中的一列像素，直到找到指示不可驾驶空间的区域的范围区段。这个扫描过程允许容易地检测超过设定阈值的像素(计数)，作为不可驾驶空间的简单且稳健的指示。可以为每个范围区段唯一地定义阈值，或者简单地将阈值设置为图7中所示的功能的最大可允许变化形式。在这里给出的这个示例中，可驾驶空间检测器可以使用阈值2，即，在那个范围-区段内必须有比平面所预期的多两倍的像素。范围-区段尺寸和阈值水平有效地设置检测器的灵敏度。大的范围-区段将平滑数据，但会错过较小的物体，因为它们按比例构成给定范围-区段中较小百分比的计数。应用于归一化的范围-区段直方图图像的较大阈值将导致仅检测到较高的物体。

然后可以从最低范围区段定义270边界点集合。范围直方图的每列直接映射到原始图像中的同一列。在从视差图创建范围直方图期间，可以创建将图像行与范围区段相关联的查找表。因此，通过使用列索引并从查找表中查找给定范围区段的对应图像行，将范围直方图像中的点变换回相机空间变得简单。这允许在视觉上表示源图像上的地点。

在最后一步中，边界点被拟合到边界280，然后边界在从立体相机的视点观看时在场景的2D图像上在显示器140上显示给驾驶员290。

确定上述可驾驶空间的方法被设计为检测位于安装有经校准的立体相机的移动车辆前方的3D平面上方的物体。它不需要训练数据或任何形式的机器学习，因此它不限于给定的一类物体，因此仅由系统应当识别出的物体的尺寸来定义。

在2D中对3D数据执行处理，即，每个像素的3D数据的2D矩阵表示，范围(Z坐标)，被用于确定给定像素是否落入给定尺寸的范围-区段内并且，如果那个像素有助于那个范围-区段的总和超过平面的预期可接受限度，那么它被识别为不能被越过的物体。未通过测试的范围-区段被标记为对象，并用于通过生成边界来说明可驾驶区域的限制。

在其它实施例中，边界点可以替代地被馈送到用于半自主或自主车辆的驾驶员控制系统的输入端。

为了进一步解释在详细实施例中根据本发明一方面执行的方法步骤，已经提供了图12至14，这些图在来自立体相机对的左相机的归一化的范围-区段直方图图像、视差深度图和源图像中突出显示具有场景的各种对象，其中边界在图14的最终覆盖2D图像中注释。

Claims (5)

1.一种确定车辆周围场景的特点的方法，包括：

捕获场景的立体图像对，

处理图像以产生场景的深度图，其中深度图中的每个像素被指派与场景中的对应区域的范围对应的值，像素以行和列的网格布置，其中网格中的每列像素与场景中垂直定向的区域集合对应并且每行像素与场景中水平定向的区域集合对应，

将深度图中的一列或多列像素的值分段以形成对应的直方图，直方图中的每个区段具有计数值，该计数值与列中具有指派给该区段的范围内的深度的像素数量对应，

将直方图集合表示为直方图图像，其中每个直方图定义所述直方图图像中的一列的值，

通过将函数拟合到在所获取的数据中观察到的已知平面的范围区段计数来提供与所述直方图图像具有相同维度的归一化图像，

从所述直方图图像中减去所述归一化图像以产生一组归一化范围区段直方图，

处理每个归一化范围区段直方图，以针对每个直方图确定最低范围区段，该最低范围区段指示表示不可驾驶区域的物体存在于位于指派给该区段的深度范围内的深度处，从而识别位于场景中可驾驶空间的边界上的一个或多个边界点的地点，其中处理每个范围区段直方图以确定哪个是指示表示不可驾驶区域的物体存在于位于指派给该区段的深度范围内的深度处的最低范围区段的步骤包括从最低范围区段开始沿着直方图中的列扫描，直到找到对应于不可驾驶空间的区段，从而一旦检测到边界点就停止扫描，并且扫描移动到下一个直方图，

从而所述边界点形成识别边界线的集合，所述边界线表示所述场景中的安全可驾驶空间的边缘。

2.如权利要求1所述的方法，还包括构建场景的2D图像并将边界点或场景中的可驾驶空间的边界标记到2D图像上，以及在显示屏幕上呈现具有标记的2D图像。

3.如权利要求2所述的方法，还包括生成查找表，该查找表将2D图像的图像行与对应的范围区段相关联。

4.如权利要求1所述的方法，其中产生深度图的步骤包括使用密集立体算法创建视差图像，基于Z轴与捕获立体图像对的相机视场的中心轴对准在视差的3D投影中绘制值Z的2D矩阵，并且随后通过扫描通过2D图像中每列的所有行并计数落在给定范围-区段内的值生成范围区段直方图，从而有效地创建范围Z的直方图。

5.如权利要求1所述的方法，其中处理所述范围区段直方图中的每个范围区段直方图以确定哪个是表示不可驾驶区域的最低范围区段的步骤包括将指派给区段的计数值与指派给区段的预定义阈值计数值进行比较，并且如果该计数值超过预定义阈值计数值，那么标记识别场景中不可驾驶的区域的区段。