CN104937608A - 道路区域检测 - Google Patents

Abstract

提供一种道路区域检测方法。所述方法包括：获取由摄像机在第一时间点捕捉的第一图像和由所述摄像机在第二时间点捕捉的第二图像(S101)；将所述第一图像和所述第二图像分别转换为第一顶视图和第二顶视图(S103)；获取运动向量矩阵，其大体上表示道路区域在所述第一时间点与所述第二时间点之间相对于所述摄像机的运动(S105)；以及通过确定候选点在所述第一顶视图与所述第二顶视图之间的位置变化是否符合所述运动向量矩阵来确定所述候选点是否属于所述道路区域。准确性和效率可得以提高。

Description

道路区域检测

技术领域

本公开大体上涉及道路区域检测。

背景

现今，各种基于图像的道路检测方法已出现在如车道偏离报警、自主驾驶、道路环境理解等应用中，其中条件随机场(Condition Random Field，CRF)模型和马尔可夫随机场(Markov Random Field，MRF)模型被广泛应用。在这些方法中，可在图像上、即在像素级别上识别道路区域。因此，这些方法的错误率超出可接受的范围。所以，需要一种用于检测道路区域的更稳健的方法。

概要

根据本公开的一个实施方案，提供一种用于检测道路区域的方法。所述方法可包括：获取由摄像机在第一时间点捕捉的第一图像和由摄像机在第二时间点捕捉的第二图像；将所述第一图像和所述第二图像分别转换为第一顶视图和第二顶视图；获取运动向量矩阵，其大体上表示道路区域在第一时间点与第二时间点之间相对于所述摄像机的运动；以及通过确定候选点在所述第一顶视图与所述第二顶视图之间的位置变化是否符合所述运动向量矩阵来确定所述候选点是否属于道路区域。使用运动向量矩阵作为标准可有效检测道路区域。

在一些实施方案中，所述第一顶视图图像和所述第二顶视图图像的尺度与现实世界大体上相同。因此，错误率可减小。

在一些实施方案中，所述运动向量矩阵可通过以下方式获取：获取大体上表示所述摄像机在所述第一时间点与所述第二时间点之间的运动的旋转矩阵R₁和平移矩阵T₁；以及基于R₁、T₁和摄像机的外在参数，获取包括旋转矩阵R₂和平移矩阵T₂的运动向量矩阵。存在用于获取表示摄像机运动的旋转矩阵和平移矩阵的各种解决方案，包括例如，特征点选择和跟踪、之后进行基本矩阵计算和分解。

在一些实施方案中，如果摄像机的俯仰角α等于零，那么R₂可等于-R₁，并且T₂可等于-T₁。

在一些实施方案中，如果摄像机的俯仰角α不等于零，那么R₂可等于-R₁，并且T₂可等于 $-\left(\begin{array}{ccc}cos\mathrm{\α}& 0& 0\\ 0& 1& 0\\ 0& 0& sin\mathrm{\α}\end{array}\right)*T_1.$

在一些实施方案中，运动向量矩阵可通过以下方式获取：在第一顶视图上识别一群特征点；在第二顶视图上跟踪这一群特征点；以及通过求解以下目标函数来计算包括旋转矩阵R₂和平移矩阵T₂的运动向量矩阵：

$\underset{R_2,T_2}{\arg min}\mathrm{\Σ}{\{I_2(X_{T2},Y_{T2})-I_1\[f(X_{T1},Y_{T1})\]\}}^2,$

其中“argmin”代表最小值的自变量，即，函数Σ{I₂(X_T2,Y_T2)-I₁[f(X_T1,Y_T1)]}²达到其最小值时的给定自变量的一群特征点，

其中I₂(X_T2,Y_T2)代表指示特征点在第二顶视图上的位置的一组坐标，

其中I₁[f(X_T1,Y_T1)]代表基于以下方程式(1)计算的一组坐标：

$f(X_{T1},Y_{T1})=\left(\begin{array}{cc}{R}_2& T_2\\ 0^T& 1\end{array}\right)\left(\begin{array}{c}{X}_{T1}\\ Y_{T1}\end{array}\right)$ 方程式(1)，

其中(X_T1,Y_T1)代表指示特征点在第一顶视图上的位置的一组坐标。

在一些实施方案中，确定候选点是否属于道路区域可包括：获取候选点在第一顶视图上的第一组坐标；获取候选点在第二顶视图上的第二组坐标；使用第一组坐标和运动向量矩阵来计算第三组坐标；计算第二组坐标与第三组坐标之间的距离；以及通过确定距离是否小于预先确定的阈值来确定候选点是否属于道路区域。

根据本公开的一个实施方案，提供一种用于检测道路区域的方法。所述方法可包括：获取由摄像机在第一时间点捕捉的第一图像和由摄像机在第二时间点捕捉的第二图像；将第一图像和第二图像分别转换为第一顶视图和第二顶视图；获取第一运动向量矩阵，其大体上表示摄像机在第一时间点与第二时间点之间的运动；基于第一运动向量矩阵和摄像机的外在参数来获取第二运动向量矩阵，其大体上表示道路区域在第一时间点与第二时间点之间相对于摄像机的运动；获取候选点在第一顶视图上的第一组坐标；获取候选点在第二顶视图上的第二组坐标；使用第一组坐标和运动向量矩阵来计算第三组坐标；计算第二组坐标与第三组坐标之间的距离；以及通过确定距离是否小于预先确定的阈值来确定候选点是否属于道路区域。

根据本公开的一个实施方案，提供一种用于检测道路区域的系统。所述系统可包括处理装置，所述处理装置被配置来：获取由摄像机在第一时间点捕捉的第一图像和由摄像机在第二时间点捕捉的第二图像；将第一图像和第二图像分别转换为第一顶视图和第二顶视图；获取运动向量矩阵，其大体上表示道路区域在第一时间点与第二时间点之间相对于摄像机的运动；以及通过确定候选点在第一顶视图与第二顶视图之间的位置变化是否符合运动向量矩阵来确定候选点是否属于道路区域。使用运动向量矩阵作为标准可有效检测道路区域。

在一些实施方案中，第一顶视图图像和第二顶视图图像的尺度与现实世界大体上相同。因此，错误率可减小。

在一些实施方案中，处理装置还可被配置来：获取大体上表示摄像机在第一时间点与第二时间点之间的运动的旋转矩阵R₁和平移矩阵T₁；并且基于R₁、T₁和摄像机的外在参数，获取包括旋转矩阵R₂和平移矩阵T₂的运动向量矩阵。

在一些实施方案中，如果摄像机的俯仰角α等于零，那么R₂可等于-R₁，并且T₂可等于-T₁。

在一些实施方案中，如果摄像机的俯仰角α不等于零，那么R₂可等于-R₁，并且T₂可等于 $-\left(\begin{array}{ccc}cos\mathrm{\α}& 0& 0\\ 0& 1& 0\\ 0& 0& sin\mathrm{\α}\end{array}\right)*T_1.$

在一些实施方案中，处理装置可被配置来：在第一顶视图上识别一群特征点；在第二顶视图上跟踪这一群特征点；并且通过求解以下目标函数来计算包括旋转矩阵R₂和平移矩阵T₂的运动向量矩阵：

$\underset{R_2,T_2}{\arg min}\mathrm{\Σ}{\{I_2(X_{T2},Y_{T2})-I_1\[f(X_{T1},Y_{T1})\]\}}^2,$

其中“argmin”代表最小值的自变量，即，函数Σ{I₂(X_T2,Y_T2)-I₁[f(X_T1,Y_T1)]}²达到其最小值时的给定自变量的一群特征点，

其中I₂(X_T2,Y_T2)代表指示特征点在第二顶视图上的位置的一组坐标，

其中I₁[f(X_T1,Y_T1)]代表基于以下方程式(1)计算的一组坐标：

$f(X_{T1},Y_{T1})=\left(\begin{array}{cc}{R}_2& T_2\\ 0^T& 1\end{array}\right)\left(\begin{array}{c}{X}_{T1}\\ Y_{T1}\end{array}\right)$ 方程式(1)，

其中(X_T1,Y_T1)代表特征点在第一顶视图上的位置的一组坐标。

在一些实施方案中，处理装置还可被配置来：获取候选点在第一顶视图上的第一组坐标；获取候选点在第二顶视图上的第二组坐标；使用第一组坐标和运动向量矩阵来计算第三组坐标；计算第二组坐标与第三组坐标之间的距离；并且通过确定距离是否小于预先确定的阈值来确定候选点是否属于道路区域。

根据本公开的一个实施方案，提供一种包括用于检测道路区域的计算机程序的非暂态计算机可读介质。当计算机程序由处理器执行时，其将命令处理器来：获取由摄像机在第一时间点捕捉的第一图像和由摄像机在第二时间点捕捉的第二图像；将第一图像和第二图像分别转换为第一顶视图和第二顶视图；获取运动向量矩阵，其大体上表示道路区域在第一时间点与第二时间点之间相对于摄像机的运动；并且通过确定候选点在第一顶视图与第二顶视图之间的位置变化是否符合运动向量矩阵来确定候选点是否属于道路区域。

根据本公开的一个实施方案，提供一种用于检测道路区域的系统。所述系统可包括：用于获取由摄像机在第一时间点捕捉的第一图像和由摄像机在第二时间点捕捉的第二图像的装置；用于将第一图像和第二图像分别转换为第一顶视图和第二顶视图的装置；用于获取运动向量矩阵的装置，运动向量矩阵大体上表示道路区域在第一时间点与第二时间点之间相对于摄像机的运动；以及用于通过确定候选点在第一顶视图与第二顶视图之间的位置变化是否符合运动向量矩阵来确定候选点是否属于道路区域的装置。

附图简述

结合附图，根据以下描述和所附权利要求书，本公开的上述和其它特征将变得更加完全清楚明白。要理解，这些附图仅描述根据本公开的几个实施方案，因此不应被认为是限制本公开的范围，本公开将通过使用附图用另外的特征和细节来描述。

图1示意性地示出根据本公开的一个实施方案的用于检测道路区域的方法100；

图2A和图2B分别示出第一图像和第二图像；

图3示意性地示出路面上的具有摄像机的车辆；

图4示意性地示出将图像转换为顶视图；

图5A和图5B示出分别从图2A和图2B转换的第一顶视图和第二顶视图；

图6A示出在第一图像上选择的特征点；

图6B示出在第二图像上识别的对应特征点；

图6C示出特征点的光流；

图7示意性地示出由摄像机的平移造成的点相对于摄像机的位置变化；

图8示出检测的道路区域；以及

图9示意性地示出根据本公开的一个实施方案的用于检测道路区域的系统300。

详细描述

在以下详细描述中，参照了形成本发明的一部分的附图。在附图中，类似符号通常识别类似部件，除非上下文另有所指。在详细描述、附图和权利要求书中描述的说明性实施方案并不是为了进行限制。在不脱离本文呈现的主题的精神或范围的情况下，可利用其它实施方案，并且可作出其它变化。将容易理解的是，如在本文中大体描述并在附图中示出的本公开的各方面可以各种各样的不同配置进行布置、取代、组合以及设计，所有这些配置都是明确预期的并组成本公开的一部分。

图1示意性地示出根据本公开的一个实施方案的用于检测道路区域的方法100。

参照图1，在S101中，获取由摄像机在第一时间点捕捉的第一图像和由摄像机在第二时间点捕捉的第二图像。

在一些实施方案中，可从由摄像机捕捉的帧序列中获取这两张图像。在一些实施方案中，这两张图像可为帧序列中两个相邻的帧。在一些实施方案中，可在预先确定的时间间隔(例如每1/30秒)内获取这两张图像。

图2A和图2B分别示出第一图像和第二图像。

在本领域中众所周知的是：针对用于捕捉图像的摄像机建立世界坐标系、摄像机坐标系和图像坐标系。现实世界中的静态对象、例如道路区域可具有固定的世界坐标，但是其摄像机坐标可随着摄像机的运动而变化。这些变化的摄像机坐标可基于只与摄像机的固定内在参数相关的恒定投影关系来转换为图像坐标。因此，静态对象可具有不同的图像坐标，即在不同图像中出现在不同位置上。可在图2A和图2B中见到：在两张图像中均示出道路区域，但是出现了轻微的位置变化，这可归因于摄像机的运动。

在S103中，分别将第一图像和第二图像转换为第一顶视图和第二顶视图。

将由摄像机捕捉的图像转换为顶视图是将图像投影到摄像机坐标系中的模拟平面上，其中在一些实施方案中，模拟平面可与实际的路面重合。所以看起来像是将第一图像和第二图像投影到真实路面上，从而形成两张顶视图。

图3示意性地示出在路面205上行驶、具有安置在其上的摄像机203的车辆201。摄像机203具有安装高度h和俯仰角α，其中安装高度可为从摄像机203到路面205的距离，而俯仰角α可为摄像机203的光轴(图3中示出为虚线)与路面205之间的角度。在路面205上并且在车辆201前面立着障碍物209。基于外在和内在变换，路面205和障碍物209的部分可被投影到摄像机203的图像平面207上。

图4示意性地示出将由摄像机203捕捉的图像转换为顶视图。

参照图4，建立了摄像机坐标系，这在本领域中众所周知。在图像平面207上、即在由摄像机203捕捉的图像上示出了路面205和障碍物209的部分。例如，路面205上的点A可对应于图像上的像素A’。在一些实施方案中，当将图像转换为顶视图时，像素A’可被投影到与路面205重合的模拟平面上。所以，看起来像是像素A’被投影回到点A上。再如，在路面上方并且在障碍物209上的点B可对应于图像上的像素B’。然而，当将图像转换为顶视图时，像素B’可被投影到点B”上。再如，高于摄像机203的光心的点C可对应于图像上的像素C’。然而，当将图像转换为顶视图时，像素C’可能并未出现在顶视图上，因为像素C’的投影向量将不会与模拟平面相交。

图5A和图5B示出分别从图2A和图2B转换的第一顶视图和第二顶视图。

从图5A和图5B中可看出：道路区域可理想地被投影，而其它对象被扭曲或者甚至消失。

具体地说，假设现实世界中的静态点具有一组世界坐标 $\left[\begin{array}{c}{X}_W\\ Y_W\\ Z_W\end{array}\right],$ 那么在随着摄像机运动的外在变换之后，静态点可具有不同组的摄像机坐标 $\left[\begin{array}{c}{X}_{C1}\\ Y_{C1}\\ Z_{C1}\end{array}\right]$ 和 $\left[\begin{array}{c}{X}_{C2}\\ Y_{C2}\\ Z_{C2}\end{array}\right].$ 随后在内在变换之后，在由摄像机捕捉的两张图像上，静态点可具有不同组的图像坐标 $\left[\begin{array}{c}{X}_{I1}\\ Y_{I1}\\ Z_{I1}\end{array}\right]$ 和 $\left[\begin{array}{c}{X}_{I2}\\ Y_{I2}\\ Z_{I2}\end{array}\right].$ 如果两张图像被转换为两张顶视图，那么在两张顶视图上，静态点可具有不同组的坐标 $\left[\begin{array}{c}{X}_{T1}\\ Y_{T1}\\ Z_{T1}\end{array}\right]$ 和 $\left[\begin{array}{c}{X}_{T2}\\ Y_{T2}\\ Z_{T2}\end{array}\right].$ 根据以上参照图4进行的描述，可得出结论：当静态点在路面上、即属于道路区域时， $\left[\begin{array}{c}{X}_{T1}\\ Y_{T1}\\ Z_{T1}\end{array}\right]$ 和 $\left[\begin{array}{c}{X}_{T2}\\ Y_{T2}\\ Z_{T2}\end{array}\right]$ 可等于 $\left[\begin{array}{c}{X}_{C1}\\ Y_{C1}\\ Z_{C1}\end{array}\right]$ 和 $\left[\begin{array}{c}{X}_{C2}\\ Y_{C2}\\ Z_{C2}\end{array}\right].$

存在几种用于将图像转换为顶视图的途径。在一些实施方案中，可基于以下方程式(1)将第一图像和第二图像分别转换为第一顶视图和第二顶视图：

$\left(\begin{array}{c}{X}_T\\ Y_T\\ Z_T\end{array}\right)=H*\left(\begin{array}{c}{X}_I\\ Y_I\\ Z_I\end{array}\right)$     方程式(1)，

其中 $\left(\begin{array}{c}{X}_T\\ Y_T\\ Z_T\end{array}\right)$ 代表像素在顶视图上的一组坐标， $\left(\begin{array}{c}{X}_I\\ Y_I\\ Z_I\end{array}\right)$ 代表对应像素在图像上的一组图像坐标，H代表图像平面到模拟平面的单应矩阵(Homography)。

在一些实施方案中，单应矩阵H可基于包括摄像机的安装高度、俯仰角和焦距的摄像机外在和内在参数来获取。在安装摄像机之后，摄像机的安装高度、俯仰角和焦距可以是固定的。所以，可提前计算并存储单应矩阵H，并在开始道路区域检测时调用单应矩阵H。

在一些实施方案中，单应矩阵H可使用校准基板来获取。通过将校准基板放在路面上并在其沿着路面运动时对其进行捕捉，可容易地获取代表从路面到图像平面的投影的单应矩阵H₁。如上文所示，在一些实施方案中，摄像机系统中的模拟平面可与现实路面重合并且单应矩阵是可逆的，因此单应矩阵H可等于。

在S105中，获取运动向量矩阵，其大体上表示道路区域在第一时间点与第二时间点之间相对于摄像机的运动。

因为摄像机可能在第一时间点与第二时间点之间运动，所以现实世界中的道路区域虽然不动，但相对于摄像机可具有运动变量，即：道路区域上的点可分别在第一时间点和第二时间点处具有两组摄像机坐标。所以，运动向量矩阵可为代表两组摄像机坐标之间的变换的矩阵。

另外，如上文所示，当点属于道路区域时，第一顶视图和第二顶视图上的点的坐标 $\left[\begin{array}{c}{X}_{T1}\\ Y_{T1}\\ Z_{T1}\end{array}\right]$ 和 $\left[\begin{array}{c}{X}_{T2}\\ Y_{T2}\\ Z_{T2}\end{array}\right]$ 可分别等于点的摄像机坐标 $\left[\begin{array}{c}{X}_{C1}\\ Y_{C1}\\ Z_{C1}\end{array}\right]$ 和 $\left[\begin{array}{c}{X}_{C2}\\ Y_{C2}\\ Z_{C2}\end{array}\right].$ 所以，运动向量矩阵可用作在顶视图上检测道路区域的标准。

在一些实施方案中，运动向量矩阵可基于摄像机的运动和摄像机的外在参数来获取。

具体地说，在一些实施方案中，可如下获取运动向量矩阵：

首先，在第一图像上选择特征点。

图6A示出在第一图像上选择的特征点。在一些实施方案中，Harris角点检测器因其旋转不变和几何尺度不变特性而可用于在第一图像中选择特征点。

此后，在第二图像上跟踪对应特征点。

图6B示出在第二图像上跟踪的对应特征点。两张图像中的一张上的点对应于另一张图像上的点意味着两个点表示现实世界中的同一个点。在一些实施方案中，可使用KLT光流跟踪器来在第一图像上跟踪特征点并在第二图像上识别对应特征点。图6C示出特征点的光流。

此后，基于特征点和对应特征点来计算基本矩阵F。

基本矩阵F代表特征点在第一图像与第二图像之间的位置变化。可基于以下方程式(3)来计算基本矩阵F：

X'^T*F*X＝0    方程式(2)，

其中X是表示特征点在第一图像上的位置的矩阵、X’是表示对应特征点在第二图像上的位置的矩阵，并且X’^T是X’的转置矩阵。在一些实施方案中，可使用随机抽样一致性(Random Sample Consensus，RANSAC)来计算基本矩阵F。

此后，基于基本矩阵F的奇异值分解(Singular Value Decomposition，SVD)来获取平移矩阵T₁和旋转矩阵R₁。SVD对本领域的技术人员来说是众所周知的并且本文将不会对其进行详细描述。

平移矩阵T₁和旋转矩阵R₁可表示摄像机在3D现实世界中从第一时间点到第二时间点的运动。

此后，基于T₁、R₁和摄像机的外在参数来获取运动向量矩阵。

在下文中将说明T₁、R₁和摄像机的外在参数对运动向量矩阵的影响。

在一些情况下，可将摄像机安置成使得其光轴与路面并行，即：摄像机的俯仰角α等于零。因为摄像机可安置在车辆上并随着车辆运动，所以摄像机的运动通常与路面平行。所以，道路区域上的点从第一时间点到第二时间点的运动可被认为是正好与摄像机的运动相反。所以，如果摄像机的俯仰角α等于零，那么运动向量矩阵还可包括旋转矩阵R₂和平移矩阵T₂，其中R₂可等于–R₁，并且T₂可等于–T₁。

在一些情况下，摄像机的光轴可能不与路面并行，即：摄像机的俯仰角α不等于零。可理解，道路区域从第一时间点到第二时间点的旋转仍然与摄像机的旋转相反。然而，道路区域的平移可不与摄像机的平移相反。

摄像机的平移矩阵T₁可表示为 $\left[\begin{array}{c}\mathrm{\Δ}X\\ \mathrm{\Δ}Y\\ \mathrm{\Δ}Z\end{array}\right],$ 其中ΔX、ΔY和ΔZ表示摄像机沿世界坐标系中的X、Y和Z轴从第一时间点到第二时间点的平移。并且道路区域的平移矩阵T₂可表示为 $\left[\begin{array}{c}\mathrm{\Δ}{X}_C\\ {\mathrm{\ΔY}}_C\\ {\mathrm{\ΔZ}}_C\end{array}\right],$ 其中ΔX_C、ΔY_C和ΔZ_C表示道路区域沿摄像机坐标系中的X、Y和Z轴从第一时间点到第二时间点的平移。在下文中将分析道路区域的平移。

关于ΔZ的影响，因为摄像机通常可与路面平行运动，所以ΔZ可等于零或极小值。所以，在一些实施方案中，ΔZ对运动向量矩阵的影响可忽略。

关于ΔY的影响，因为摄像机坐标系的Y轴与世界坐标系平行，所以在一些实施方案中，ΔY_C可等于-ΔY。

关于ΔX的影响，图7示意性地示出由于摄像机沿世界坐标系中的X轴平移所造成的点的X和Z摄像机坐标的变化。参照图7，可得出结论：ΔX_C可等于–cosα*ΔX，并且ΔZ_C可等于–sinα*ΔX。

所以，在一些实施方案中，如果俯仰角α不等于零，那么旋转矩阵R₂可仍然等于–R₁，而平移矩阵T2可基于以下方程式(3)来获取：

$T_2=\left[\begin{array}{c}\mathrm{\Δ}{X}_C\\ {\mathrm{\ΔY}}_C\\ {\mathrm{\ΔZ}}_C\end{array}\right]=\left[\begin{array}{c}-cos\mathrm{\α}*\mathrm{\Δ}X\\ -\mathrm{\Δ}Y\\ -sin\mathrm{\α}*\mathrm{\Δ}X\end{array}\right]=-\left(\begin{array}{ccc}cos\mathrm{\α}& 0& 0\\ 0& 1& 0\\ 0& 0& sin\mathrm{\α}\end{array}\right)*T_1$     方程式(3)。

上文描述了其中可基于摄像机的运动和外在参数来获取运动向量矩阵的实施方案，这些实施方案并不意图限制本公开的范围。在一些实施方案中，运动向量矩阵可使用“argmin”函数来获取。

具体地说，运动向量矩阵可通过以下方式来获取：在第一顶视图上识别一群特征点；在第二顶视图上跟踪这一群特征点；以及通过求解以下目标函数来计算旋转矩阵R₂和平移矩阵T₂：

$\underset{R_2,T_2}{\arg min}\mathrm{\Σ}{\{I_2(X_{T2},Y_{T2})-I_1\[f(X_{T1},Y_{T1})\]\}}^2,$ 目标函数，

其中“argmin”代表最小值的自变量，即，函数Σ{I₂(X_T2,Y_T2)-I₁[f(X_T1,Y_T1)]}²达到其最小值时的给定自变量的一群特征点，

其中I₂(X_T2,Y_T2)代表特征点在第二顶视图上的位置的一组坐标，

其中I₁[f(X_T1,Y_T1)]代表基于以下方程式(4)计算的一组坐标：

$f(X_{T1},Y_{T1})=\left(\begin{array}{cc}{R}_2& T_2\\ 0^T& 1\end{array}\right)\left(\begin{array}{c}{X}_{T1}\\ Y_{T1}\end{array}\right)$     方程式(4)，

其中(X_T1,Y_T1)代表指示特征点在第一顶视图上的位置的一组坐标。

因为属于道路区域的点可在第一顶视图和第二顶视图上具有与它们在第一时间点和第二时间点的摄像机坐标相同的坐标，并且通常选择的特征点可大多属于道路区域，所以从“argmin”函数求出的R₂和T₂可近似表示道路区域的运动。

在S107中，通过确定候选点在第一顶视图与第二顶视图之间的位置变化是否符合运动向量矩阵来确定候选点是否属于道路区域。使用运动向量矩阵作为标准可有效检测道路区域。

如上文所述，属于道路区域的点可在顶视图上具有等于它们的摄像机坐标 $\left[\begin{array}{c}{X}_{C1}\\ Y_{C1}\\ Z_{C1}\end{array}\right]$ 和 $\left[\begin{array}{c}{X}_{C2}\\ Y_{C2}\\ Z_{C2}\end{array}\right]$ 的坐标 $\left[\begin{array}{c}{X}_{T1}\\ Y_{T1}\\ Z_{T1}\end{array}\right]$ 和 $\left[\begin{array}{c}{X}_{T2}\\ Y_{T2}\\ Z_{T2}\end{array}\right],$ 而其它点可能没有。所以，属于道路区域的点可符合运动向量矩阵，而其它点可能不符合。

在一些实施方案中，确定候选点是否属于道路区域可包括：获取候选点在第一顶视图上的第一组坐标；获取候选点在第二顶视图上的第二组坐标；使用第一组坐标和运动向量矩阵来计算第三组坐标；计算第二组坐标与第三组坐标之间的距离；以及通过确定距离是否小于预先确定的阈值来确定候选点是否属于道路区域。

在一些实施方案中，可在约15厘米到25厘米的范围中选择阈值。阈值的范围可基于摄像机的参数和可接受的错误率来重新设定。

图8示出检测的道路区域。

在上述方法中，图像被转换为顶视图。顶视图的尺度与现实世界大体上相同或接近。因为所述确定是基于顶视图完成的，所以可在厘米级上选择阈值，这可允许有相对大的选择窗口并因此提高稳健性。

图9示意性地示出根据本公开的一个实施方案的用于检测道路区域的系统300。系统300包括摄像机301、处理装置303、存储装置305和显示装置307。系统300可安置在车辆、检测器或类似物上。

摄像机301被配置来捕捉图像。处理装置403可被配置来进行方法100的S101到S107。存储装置305可存储操作系统和程序指令。在一些实施方案中，存储装置305可存储用于进行S103的单应性。显示装置307被配置来显示检测的道路区域。

根据本公开的一个实施方案，提供一种包括用于检测道路区域的计算机程序的非暂态计算机可读介质。当计算机程序由处理器执行时，其将命令处理器实施用于检测道路区域的方法100的S101到S107。

系统各方面的硬件实现与软件实现之间几乎没有区别；使用硬件或软件一般是表示成本与效率折衷的设计选择。例如，如果实现者确定速度和准确性是最重要的，那么实现者可选择主要的硬件和/或固件车辆；如果灵活性是最重要的，那么实现者可选择主要的软件实现；或者，再一次可替代地，实现者可选择硬件、软件和/或固件的一些组合。

虽然本文已公开各个方面和实施方案，但其它方面和实施方案对本领域的技术人员来说将是显而易见的。本文公开的各个方面和实施方案是为了说明目的并且不意图进行限制，真正的范围和精神由以下权利要求书指示。

Claims (15)

1.一种用于检测道路区域的方法，其包括：

获取由摄像机在第一时间点捕捉的第一图像和由所述摄像机在第二时间点捕捉的第二图像；

将所述第一图像和所述第二图像分别转换为第一顶视图和第二顶视图；

获取运动向量矩阵，其大体上表示道路区域在所述第一时间点与所述第二时间点之间相对于所述摄像机的运动；以及

通过确定候选点在所述第一顶视图与所述第二顶视图之间的位置变化是否符合所述运动向量矩阵来确定所述候选点是否属于所述道路区域。

2.根据权利要求1所述的方法，其中所述第一顶视图图像和所述第二顶视图图像的尺度与现实世界大体上相同。

3.根据权利要求1所述的方法，其中所述运动向量矩阵是通过以下方式来获取：

获取大体上表示所述摄像机在所述第一时间点与所述第二时间点之间的运动的旋转矩阵R₁和平移矩阵T₁；以及

基于R₁、T₁和所述摄像机的外在参数，获取包括旋转矩阵R₂和平移矩阵T₂的所述运动向量矩阵。

4.根据权利要求3所述的方法，其中如果所述摄像机的俯仰角α等于零，那么R₂等于-R₁，并且T₂等于-T₁。

5.根据权利要求3所述的方法，其中如果所述摄像机的俯仰角α不等于零，那么R₂等于-R₁，并且T₂等于 $-\left(\begin{array}{ccc}cos\mathrm{\α}& 0& 0\\ 0& 1& 0\\ 0& 0& sin\mathrm{\α}\end{array}\right)*T_1.$

6.根据权利要求1所述的方法，其中所述运动向量矩阵是通过以下方式来获取：

在所述第一顶视图上识别一群特征点；

在所述第二顶视图上跟踪所述特征点；以及

通过求解以下目标函数来计算R₂和T₂：

$\underset{R_2,T_2}{\arg min}\mathrm{\Σ}{\{I_2(X_{T2},Y_{T2})-I_1\[f(X_{T1},Y_{T1})\]\}}^2,$

其中“argmin”代表最小值的自变量，即，所述函数∑{I₂(X_T2,Y_T2)-I₁[f(X_T1,Y_T1)]}²达到其最小值时的所述给定自变量的所述一群特征点，

其中I₂(X_T2,Y_T2)代表指示特征点在所述第二顶视图上的位置的一组坐标，

其中I₁[f(X_T1,Y_T1)]代表基于以下方程式(1)计算的一组坐标：

$f(X_{T1},Y_{T1})=\left(\begin{array}{cc}{R}_2& T_2\\ 0^T& 1\end{array}\right)\left(\begin{array}{c}{X}_{T1}\\ Y_{T1}\end{array}\right)$ 方程式(1)，

其中 $\left(\begin{array}{c}{X}_{T1}\\ Y_{T1}\end{array}\right)$ 代表指示所述特征点在所述第一顶视图上的位置的一组坐标。

7.根据权利要求1所述的方法，其中确定候选点是否属于所述道路区域包括：

获取所述候选点在所述第一顶视图上的第一组坐标；

获取所述候选点在所述第二顶视图上的第二组坐标；

使用所述第一组坐标和所述运动向量矩阵来计算第三组坐标；

计算所述第二组坐标与所述第三组坐标之间的距离；以及

通过确定所述距离是否小于预先确定的阈值来确定所述候选点是否属于所述道路区域。

8.一种用于检测道路区域的系统，其包括处理装置，所述处理装置被配置来：

获取由摄像机在第一时间点捕捉的第一图像和由所述摄像机在第二时间点捕捉的第二图像；

将所述第一图像和所述第二图像分别转换为第一顶视图和第二顶视图；

获取运动向量矩阵，其大体上表示道路区域在所述第一时间点与所述第二时间点之间相对于所述摄像机的运动；并且

通过确定候选点在所述第一顶视图与所述第二顶视图之间的位置变化是否符合所述运动向量矩阵来确定所述候选点是否属于所述道路区域。

9.根据权利要求8所述的系统，其中所述第一顶视图图像和所述第二顶视图图像的尺度与现实世界大体上相同。

10.根据权利要求8所述的系统，其中所述处理装置还被配置来：

获取大体上表示所述摄像机在所述第一时间点与所述第二时间点之间的运动的旋转矩阵R₁和平移矩阵T₁；并且

基于R₁、T₁和所述摄像机的外在参数，获取包括旋转矩阵R₂和平移矩阵T₂的所述运动向量矩阵。

11.根据权利要求10所述的系统，其中如果所述摄像机的俯仰角α等于零，那么R₂等于-R₁，并且T₂等于-T₁。

12.根据权利要求10所述的系统，其中如果所述摄像机的俯仰角α不等于零，那么R₂等于-R₁，并且T₂等于 $-\left(\begin{array}{ccc}cos\mathrm{\α}& 0& 0\\ 0& 1& 0\\ 0& 0& sin\mathrm{\α}\end{array}\right)*T_1.$

13.根据权利要求8所述的系统，其中所述处理装置还被配置来：

在所述第一顶视图上识别一群特征点；

在所述第二顶视图上跟踪所述一群特征点；并且

通过求解以下目标函数来计算R₂和T₂：

$\underset{R_2,T_2}{\arg \min }\mathrm{\Σ}{\{I_2(X_{T2},Y_{T2})-I_1\[f(X_{T1},Y_{T1})\]\}}^2,$

其中“argmin”代表最小值的自变量，即，所述函数∑{I₂(X_T2,Y_T2)-I₁[f(X_T1,Y_T1)]}²达到其最小值时的所述给定自变量的所述一群特征点，

其中I₂(X_T2,Y_T2)代表指示特征点在所述第二顶视图上的位置的一组坐标，

其中I₁[f(X_T1,Y_T1)]代表基于以下方程式(1)计算的一组坐标：

$f(X_{T1},Y_{T1})=\left(\begin{array}{cc}{R}_2& T_2\\ 0^T& 1\end{array}\right)\left(\begin{array}{c}{X}_{T1}\\ Y_{T1}\end{array}\right)$ 方程式(1)，

其中 $\left(\begin{array}{c}{X}_{T1}\\ Y_{T1}\end{array}\right)$ 代表指示所述特征点在所述第一顶视图上的位置的一组坐标。

14.根据权利要求8所述的系统，其中所述处理装置还被配置来：

获取所述候选点在所述第一顶视图上的第一组坐标；

获取所述候选点在所述第二顶视图上的第二组坐标；

使用所述第一组坐标和所述运动向量矩阵来计算第三组坐标；

计算所述第二组坐标与所述第三组坐标之间的距离；以及

通过确定所述距离是否小于预先确定的阈值来确定所述候选点是否属于所述道路区域。

15.一种用于检测道路区域的系统，其包括：

用于获取由摄像机在第一时间点捕捉的第一图像和由所述摄像机在第二时间点捕捉的第二图像的装置；

用于将所述第一图像和所述第二图像分别转换为第一顶视图和第二顶视图的装置；

用于获取运动向量矩阵的装置，所述运动向量矩阵大体上表示道路区域在所述第一时间点与所述第二时间点之间相对于所述摄像机的运动；以及

用于通过确定候选点在所述第一顶视图与所述第二顶视图之间的位置变化是否符合所述运动向量矩阵来确定所述候选点是否属于所述道路区域的装置。