CN101441076A - 一种检测障碍物的方法和装置 - Google Patents

Abstract

本发明公开了一种检测障碍物的方法，包括：获取T1时刻和T2时刻两帧图像，对T1时刻的图像帧进行特征检测，得到T1时刻图像的特征集，在T2时刻图像帧获得与所述T1时刻图像的特征集相匹配的特征对集；其中，T1时刻小于T2时刻；计算所述特征对集中每个特征对对应的道路面投影坐标的位移量PD_i，其中，i为特征对集内特征对的序号；计算T1到T2时刻相机光心的实际位移量；将所述特征对对应的道路面投影坐标的位移量PD_i与所述相机光心的实际位移量相比较，根据比较结果确定障碍物。应用本发明，具有计算简单、适用范围广，检测精度高等优点，而且，本发明所提供的检测方法不限定障碍物的类型，能够实现道路平面和任意类型障碍物的区别。

Description

一种检测障碍物的方法和装置

技术领域

本发明涉及障碍物检测技术领域，特别涉及一种检测障碍物的方法和装置。

背景技术

在基于视觉的障碍物检测领域中，障碍物通常是指高于地面的立体物。

通常，利用运动情况下的单目相机进行障碍物(含移动障碍物和静止障碍物)检测有三种方法：基于特征的障碍物检测方法、基于运动补偿的检测方法和光流检测方法。

基于特征的障碍物检测方法，通常是利用障碍物的特征进行检测，需要预先获知所要检测的障碍物的特征，因此仅适用于特定类型障碍物的检测，如利用车底阴影、车灯等特征对车辆进行检测，利用对称性和颜色特征检测行人等。

基于运动补偿的检测方法是基于单目视觉的障碍物检测常用方法之一。其原理是在道路平坦、短时间内光照条件不变前提下，道路平面的任一点在某两个时刻图像帧内所成对应像点的像素值不变。如果假设前一时刻图像中所有的点都是路面上的点的对应的成像点，则由相机运动参数和成像原理，能够计算出由前一时刻图像中所有的点在下一时刻相机发生运动后所组成的假想图像，则该假设图像与当前时刻实际拍摄到的图像的差异都是由于那些不是道路平面上的点所引起的。这些差异所对应的图像像素即可能是突出地面的障碍物。但是，当道路平坦和光照条件不变这两个假设前提不满足时，该方法会失效。

基于光流的方法计算量大，容易受噪声影响。

发明内容

本发明实施例提供一种利用运动情况下的单目相机检测障碍物的方法和装置，不限定障碍物的类型，能够实现道路平面和任意类型障碍物的区别，且计算简单、适用范围广，检测精度高。

本发明实施例提供了一种检测障碍物的方法，包括：

获取T1时刻和T2时刻两帧图像，对T1时刻的图像帧进行特征检测，得到T1时刻图像的特征集，在T2时刻图像帧获得与所述T1时刻图像的特征集相匹配的特征对集；其中，T1时刻不等于T2时刻；

计算所述特征对集中每个特征对对应的道路面投影坐标的位移量PD_i，其中，i为特征对集内特征对的序号；

计算T1到T2时刻相机光心的实际位移量；

将所述特征对对应的道路面投影坐标的位移量PD_i与所述相机光心的实际位移量相比较，根据比较结果确定障碍物。

其中，所述T1时刻图像的特征集中的特征是特征点，所述在T2时刻图像帧获得与所述T1时刻图像的特征集相匹配的特征对集中的特征对是特征点对；或者，所述T1时刻图像的特征集中的特征是特征线段；所述在T2时刻图像帧获得与所述T1时刻图像的特征集相匹配的特征对集中的特征对是特征线段对；或者，所述T1时刻图像的特征集中的特征是特征区域；所述在T2时刻图像帧获得与所述T1时刻图像的特征集相匹配的特征对集中的特征对是特征区域对。

其中，所述特征集中的特征是特征点，所述特征点为角点。

其中，当所述特征集中的特征是特征点，所述特征对集中的特征对是特征点对时，所述计算T1到T2时刻相机光心的实际位移量的步骤包括：

设所得的n个特征点对对应的道路面投影坐标位移量为PD_i，i＝1，…，n；

预先设定相机位移量的最大可能值为MaxT；将区间[0，MaxT]以t为步长分成l个小区间，表示为[0，t]，[t，2t]，…，[(i-1)t，it]，…，[(l-1)t，MaxT]；

记录每个小区间对应的PD_i的数目，设该数目为Num_i，i＝1，…，l；取Num_i，i＝1，…，l中最大的一个，设其为Num_k，k≤l；

若Num_k≥th，th为最小数目阈值，则对落入第k个小区间[(k-1)t，kt]中的所有PD_i求均值，将该均值作为T1到T2时刻相机光心的实际位移量。

其中，当所述特征集中的特征是特征点，所述特征对集中的特征对是特征点对时，所述计算T1到T2时刻相机光心的实际位移量的步骤包括：

T＝(V/Ct)*(n′+1)

其中，T表示T1到T2时刻相机光心的实际位移量，V表示以秒为单位的相机移动速度，Ct表示相机一秒内拍摄的图像帧数，n′表示T1时刻图像与T2时刻图像之间包含的帧数。

其中，所述将所述特征对对应的道路面投影坐标的位移量PD_i与所述相机光心的实际位移量相比较，根据比较结果确定障碍物的步骤包括：

根据所述相机光心的实际位移量获得第一障碍物阈值Th0；

若所述位移量PD_i小于等于第一障碍物阈值Th0，则所述位移量PD_i对应的特征属于非障碍物；

若所述位移量PD_i大于第一障碍物阈值Th0，则所述位移量PD_i对应的特征属于障碍物。

其中，根据所述相机光心的实际位移量获得第一障碍物阈值Th0的步骤包括：

Th0＝α×T；

其中，Th0表示第一障碍物阈值，α为大于1的常数，T表示T1到T2时刻相机光心的实际位移量。

其中，所述将所述特征对对应的道路面投影坐标的位移量PD_i与所述相机光心的实际位移量相比较，根据比较结果确定障碍物的步骤包括：

根据所述相机光心的实际位移量获得第二障碍物阈值Th1和第三障碍物阈值Th2，所述第二障碍物阈值Th1小于第三障碍物阈值Th2；

若所述位移量PD_i小于第二障碍物阈值Th1，则所述位移量PD_i对应的特征属于非障碍物；

若所述位移量PD_i大于第三障碍物阈值Th2，则所述位移量PD_i对应的特征属于障碍物；

若所述位移量PD_i大于等于第二障碍物阈值Th1且小于等于第三障碍物阈值Th2，则结合已有的障碍物识别方法确定所述位移量PD_i对应的特征是否属于障碍物。

其中，根据所述相机光心的实际位移量获得第二障碍物阈值Th1和第三障碍物阈值Th2的步骤包括：

Th1＝β×T；

Th2＝γ×T；

其中，Th1表示第二障碍物阈值，Th2表示第三障碍物阈值，T表示T1到T2时刻相机光心的实际位移量，γ为大于β的常数，β为大于等于1的常数。

本发明实施例还提供了一种检测障碍物的装置，包括：

特征对集获取单元，用于获取T1时刻和T2时刻两帧图像，对T1时刻的图像帧进行特征检测，得到T1时刻图像的特征集，在T2时刻图像帧获得与所述T1时刻图像的特征集相匹配的特征对集；其中，T1时刻小于T2时刻；

位移量计算单元，用于计算所述特征对集中每个特征对对应的道路面投影坐标的位移量PD_i，其中，i为特征对集内特征对的序号；并且，计算T1到T2时刻相机光心的实际位移量；

障碍物检测单元，将所述特征对对应的道路面投影坐标的位移量PD_i与所述相机光心的实际位移量相比较，根据比较结果确定障碍物。

其中，所述位移量计算单元包括：

特征对计算单元，用于计算所述特征对集中每个特征对对应的道路面投影坐标的位移量PD_i，其中，i为特征对集内特征对的序号；

相机光心的位移量计算单元，用于计算T1到T2时刻相机光心的实际位移量。

其中，所述相机光心的位移量计算单元包括：

预置单元，用于设所得的n个特征点对对应的道路面投影坐标位移量为PD_i，i＝1，…，n；预先设定相机位移量的最大可能值为MaxT；将区间[0，MaxT]以t为步长分成l个小区间，表示为[0，t]，[t，2t]，…，[(i-1)t，it]，…，[(l-1)t，MaxT]；

记录选取单元，用于记录每个小区间对应的PD_i的数目，设该数目为Num_i，i＝1，…，l；取Num_i，i＝1，…，l中最大的一个，设其为Num_k，k≤l；

判断计算单元，用于判断出若Num_k大于等于最小数目阈值th时，对落入第k个小区间[(k-1)t，kt]中的所有PD_i求均值，将该均值作为T1到T2时刻相机光心的实际位移量。

其中，所述相机光心的位移量计算单元包括：

计算单元，用于计算相机光心的实际位移量T，其中，T＝(V/Ct)*(n′+1)，其中，T表示T1到T2时刻相机光心的实际位移量，V表示以秒为单位的相机移动速度，Ct表示相机一秒内拍摄的图像帧数，n′表示T1时刻图像与T2时刻图像间隔的帧数。

其中，所述障碍物检测单元包括：

第一阈值计算单元，用于根据所述相机光心的实际位移量获得第一障碍物阈值Th0；

第一比较判定单元，用于确定所述位移量PD_i小于等于第一障碍物阈值Th0时，判定所述位移量PD_i对应的特征属于非障碍物；用于确定所述位移量PD_i大于第一障碍物阈值Th0，判定所述位移量PD_i对应的特征属于障碍物。

其中，所述障碍物检测单元包括：

第二阈值计算单元，用于根据所述相机光心的实际位移量获得第二障碍物阈值Th1和第三障碍物阈值Th2，所述第二障碍物阈值Th1小于第三障碍物阈值Th2；

第二比较判定单元，用于确定所述位移量PD_i小于第二障碍物阈值Th1，时，判定所述位移量PD_i对应的特征属于非障碍物；确定所述位移量PD_i大于第三障碍物阈值Th2时，判定所述位移量PD_i对应的特征属于障碍物；确定若所述位移量PD_i大于等于第二障碍物阈值Th1且小于等于第三障碍物阈值Th2时，结合已有的障碍物识别方法确定所述位移量PD_i对应的特征是否属于障碍物。

应用本发明，通过利用特征对集中每个特征对在道路面投影坐标内的位移量与相机光心的实际位移量进行比较，就能区分该特征对在道路面投影坐标内的位移量所对应的特征是否属于障碍物，具有计算简单、适用范围广，检测精度高等优点，而且，本发明所提供的检测方法不限定障碍物的类型，能够实现道路平面和任意类型障碍物的区别。

再有，当得到的T1时刻图像的特征集中的特征为角点特征，以及通过追踪匹配方式得到在T2时刻图像帧中与T1时刻图像的特征集相匹配的特征对集时，对光照变化不敏感。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的检测障碍物的方法流程图；

图2是根据本发明一实施例的道路面上的一点和障碍物上的一点分别在T1和T2时刻图像中的二维投影示意图；

图3是基于图2所示实施例的三维投影示意图；

图4是基于图3所示实施例的X_Z面的俯视图；

图5是T2时刻的相机坐标系的Z轴与T1时刻的相机坐标系Z轴不平行时的示意图；

图6是根据本发明一实施例的T1时刻图像上检测到的特征点示意图；

图7是基于图6所示实施例的T2时刻图像上跟踪得到的特征点示意图；

图8是基于图6和图7所示实施例的T1时刻图像上与T2时刻跟踪到的特征点相匹配的特征点示意图；

图9是根据本发明实施例的基于单阈值法检测匹配特征点对道路面投影坐标位移量划分示意图；

图10，其是根据本发明实施例的双阈值法匹配特征点对道路面投影坐标位移量划分示意图；

图11，其是根据本发明实施例的T2时刻图像上障碍物检测结果示意图；

图12是根据本发明实施例的检测障碍物的装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种检测障碍物的方法，包括：获取T1时刻和T2时刻两帧图像，对T1时刻的图像帧进行特征检测，得到T1时刻图像的特征集，在T2时刻图像帧获得与所述T1时刻图像的特征集相匹配的特征对集；其中，T1时刻小于T2时刻；计算所述特征对集中每个特征对在道路面投影坐标内的位移量PD_i，其中，i为特征对集内特征对的序号；计算T1到T2时刻相机光心的实际位移量；将所述特征对在道路面投影坐标的位移量PD_i与所述相机光心的实际位移量相比较，根据比较结果确定障碍物。应用本发明，利用特征对集中每个特征对在道路面投影坐标内的位移量与相机位移量进行比较，就能区分该特征对在道路面投影坐标内的位移量所对应的特征是否属于障碍物，具有计算简单、适用范围广，检测精度高等有点，而且，本发明所提供的检测方法不限定障碍物的类型，能够实现道路平面和任意类型障碍物的区别。再有，当得到的T1时刻图像的特征集中的特征为角点特征，以及通过追踪匹配方式得到在T2时刻图像帧中与T1时刻图像的特征集相匹配的特征对集时，对光照变化不敏感。

下面结合附图具体说明。

参见图1，其是根据本发明实施例的检测障碍物的方法流程图。

步骤101，获取T1时刻和T2时刻两帧图像，其中，本实施例中T1时刻小于T2时刻。将T1时刻的图像分别记为前帧即Im1，将T2时刻的图像记为当前帧即Im2。

需要说明的是，T1时刻可以大于T2时刻，即只要两个时刻不等即可，检测顺序可以互换。

步骤102，对T1时刻的图像帧进行特征检测，得到T1时刻图像的特征集。具体的，对Im1做特征检测，得到特征集，记得到的特征集为P0_ii＝1，…，m，其中m表示在Im1图像上检测到的特征个数。

上述特征集中的特征可以是特征点、或特征线段、或特征区域等。在本文中所提供的实施例中均以特征集中的特征为特征点为例进行说明，对于特征集中的特征为特征线段的情况与之类似，不再赘述。

可见，如果T1时刻图像的特征集中的特征是特征点，则在T2时刻图像帧获得与所述T1时刻图像的特征集相匹配的特征对集中的特征对也是特征点对；如果T1时刻图像的特征集中的特征是特征线段，则在T2时刻图像帧获得与所述T1时刻图像的特征集相匹配的特征对集中的特征对也是特征线段对；如果T1时刻图像的特征集中的特征是特征区域，则在T2时刻图像帧获得与所述T1时刻图像的特征集相匹配的特征对集中的特征对是特征区域对。

目前，常用的特征点检测算子有：哈里斯(Harris)角点检测算子、SUSAN角点检测算子和特征值的角点检测算子等。因而。上述对T1时刻的图像帧进行特征检测的方法包括：Harris角点检测算子方法、SUSAN角点检测算子方法或特征值的角点检测算子方法等。本实施例中使用Harris角点检测算子来检测Im1图像上的特征点，即本发明实施例中的特征点为角点。

参见图6，其是根据本发明一实施例的T1时刻图像上检测到的特征点示意图。图中深色三角和立柱表示障碍物，浅灰色平行四边形表示道路面，白色箭头属于道路面区域。本例中，共检测出了P0₁、P0₂、P0₃、P0₄P0₅、P0₆、P0₇、P0₈、P0₉共9个特征点。

以下均以特征点为例说明本发明是如何实现的。

步骤103，在T2时刻图像帧获得与T1时刻图像的特征集相匹配的特征对集。

具体的，在当前帧获得与前帧匹配的特征点：对步骤102所获得的Im1上的特征点P0_ii＝1，…，m使用匹配算法在Im2上获得到匹配的特征点对。记匹配特征点对集为(P1_j，P2_j)，j＝1，…n。其中：P1_j和P2_j分别表示Im1图像上的特征点和Im2图像上的特征点， $\left\{{P1}_j\right|j=1,\·\·\·n\}\⋐\left\{{P0}_i\right|1,\·\·\·m\}.$

常用的特征点匹配算法有模版匹配算法和光流追踪算法等。本例中采用光流追踪算法中的基于图像金字塔光流的特征跟踪方法(Lucas and Kanade’spyramid-based optical flow algorithm)来获得匹配特征点。

参见图7，其是基于图6所示实施例的T2时刻图像上跟踪得到的特征点示意图。图中深色三角和立柱表示障碍物，浅灰色平行四边形表示道路面，白色箭头属于道路面区域，本例中，P2₁、P2₂、P2₃、P2₄、P2₅、P2₆、P2₇是T2时刻跟踪得到的点。

参见图8，其是基于图6和图7所示实施例的T1时刻图像上与T2时刻跟踪到的特征点相匹配的特征点示意图。从图中可知，在T2时刻图像帧获得的与T1时刻图像的特征集相匹配的特征点对集包括P1₁、P1₂、P1₃、P1₄、P1₅、P1₆、P1₇。图中深色三角和立柱表示障碍物，浅灰色平行四边形表示道路面，白色箭头属于道路面区域。

下面计算各匹配的特征点对在各自世界坐标系中道路面上的投影坐标。

参见图2～图4，图2是根据本发明一实施例的道路面上的一点和障碍物上的一点分别在T1和T2时刻图像中的二维投影示意图，图3是基于图2所示实施例的三维投影示意图，图4是基于图3所示实施例的X_Z面的俯视图。

假设相机坐标系和世界坐标系是重合的，相机主光轴与道路面平行。其中，O₁、O₂分别表示T1和T2时刻相机的光心；P_G表示道路面上一点，P1_G、P2_G表示其在Im1和Im2上的映射；P_O表示障碍物上的一点，P1_O、P2_O表示其在图像Im1和Im2上的映射。而P1_OG和P2_OG分别表示P1_O、P2_O在道路面上的投影。用如下方法可以计算任意图像点在道路面上的投影坐标(如果图像点能投影到道路面上的话)，具体如下：

以图像中某一像素点P(r，c)为例，r，c分别为该点在图像中的行坐标和列坐标，P是道路平面上点P₀(X_W，Y_W，Z_W)的所成的像点。根据相机成像公式：

$Z_C\left[\begin{array}{c}r\\ c\\ 1\end{array}\right]=\left[\begin{array}{cccc}{\mathrm{\α}}_x& 0& u_0& 0\\ 0& {\mathrm{\α}}_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]---\left(1\right)$

可以计算出点P₀的世界坐标(X_W，Y_W，Z_W)。其中已知Y_w等于相机高度，α_x，α_y，u₀，v₀是相机内部参数，可由相机标定获得。Z_C是P₀的在相机坐标系中Z轴的坐标，可在相机成像公式计算过程中获得。

$R=\left(\begin{array}{ccc}\cos \mathrm{\γ}\cos \mathrm{\β}& \cos \mathrm{\γ}\sin \mathrm{\β}\sin \mathrm{\α}-\sin \mathrm{\γ}\cos \mathrm{\α}& \cos \mathrm{\γ}\sin \mathrm{\β}\cos \mathrm{\α}+\sin \mathrm{\γ}\sin \mathrm{\α}\\ \sin \mathrm{\γ}\cos \mathrm{\β}& \cos \mathrm{\α}\cos \mathrm{\γ}+\sin \mathrm{\γ}\sin \mathrm{\β}\sin \mathrm{\α}& \sin \mathrm{\γ}\sin \mathrm{\β}\cos \mathrm{\α}-\cos \mathrm{\γ}\sin \mathrm{\α}\\ -\sin \mathrm{\β}& \cos \mathrm{\β}\sin \mathrm{\α}& \cos \mathrm{\β}\sin \mathrm{\α}\end{array}\right)$ 为旋转矩阵，α，β，γ分别是摄像机坐标系绕世界坐标系X，Y，z轴的旋转角。平移向量 $t=\left[\begin{array}{c}{T}_x\\ T_y\\ T_z\end{array}\right],$ T_x，T_y，T_z为摄像机坐标系原点在世界坐标系下的位置，在本实施例中，T_x＝0，T_y＝0，T_z＝0，α，β，γ都为0值。

由公式(1)可知，当图像坐标(r，c)已知，相机高度已知时，可以求得该图像点对应的道路平面点的世界坐标，即该图像点在道路面上的投影坐标。由此，可以得到各匹配特征点对在各自世界坐标系即相机坐标系中道路面上的投影坐标。

由成像原理和图4，可以做如下推论：

1)由于(P1_G，P2_G)表示属于道路面区域的匹配特征点对，它们在道路面上的投影为P_G，P_G在O₁、O₂坐标系下的坐标值分别为(X1_G，Y1_G，Z1_G)和(X2_G，Y2_G，Z2_G)，从图4中可以看到

$\stackrel{\→}{O_1{O}_2}=\stackrel{\→}{O_2{P}_G}-\stackrel{\→}{O_1{P}_G},$

$\left|\right|\stackrel{\→}{O_1{O}_2}\left|\right|=\left|\right|\stackrel{\→}{O_2{P}_G}-\stackrel{\→}{O_1{P}_G}\left|\right|=\sqrt{{({X1}_G-{X2}_G)}^2+{({Y1}_G-{Y2}_G)}^2+{({Z1}_G-{Z2}_G)}^2}---\left(2\right)$

这里Y1_G＝Y2_G＝H，H为相机距地面高度。同时也可知

就是相机位移量；

2)由于(P1_O，P2_O)表示属于障碍物上的匹配特征点对，它们在道路面上的投影为P1_OG、P2_OG，P1_OG、P2_OG在以O₁、O₂为原点的坐标系下的坐标值分别为(X1_O，Y1_O，Z1_O)和(X2_O，Y2_O，Z2_O)。O₁、O₂距地面高度相等(假设相机高度H固定)，由成像几何关系可知，向量

和向量

的夹角是180°，且随着

的变化，

是以指数级变化的。有如下公式成立：

$\stackrel{\→}{O_1{O}_2}=\stackrel{\→}{O_1{P2}_{\mathrm{OG}}}-\stackrel{\→}{O_2{P2}_{\mathrm{OG}}}=(\stackrel{\→}{O_1{P1}_{\mathrm{OG}}}+\stackrel{\→}{{P1}_O{P2}_{\mathrm{OG}}})-\stackrel{\→}{O_2{P2}_{\mathrm{OG}}}$

$\⇒\stackrel{\→}{O_1{P1}_{\mathrm{OG}}}-\stackrel{\→}{O_2{P2}_{\mathrm{OG}}}=\stackrel{\→}{O_1{O}_2}-\stackrel{\→}{{P1}_{\mathrm{OG}}{P2}_{\mathrm{OG}}}$

$\⇒\left|\right|\stackrel{\→}{O_1{P1}_{\mathrm{OG}}}-\stackrel{\→}{O_2{P2}_{\mathrm{OG}}}\left|\right|=\left|\right|\stackrel{\→}{O_1{O}_2}-\stackrel{\→}{{P1}_{\mathrm{OG}}{P2}_{\mathrm{OG}}}\left|\right|$

$=\sqrt{{\left|\right|\stackrel{\→}{O_1{O}_2}\left|\right|}^2+{\left|\right|\stackrel{\→}{{P1}_{\mathrm{OG}}{P2}_{\mathrm{OG}}}\left|\right|}^2-2\left|\right|\stackrel{\→}{O_1{O}_2}\left|\right|\left|\right|\stackrel{\→}{{P1}_{\mathrm{OG}}{P2}_{\mathrm{OG}}}\left|\right|\cos \mathrm{\θ}}$

$=\sqrt{{\left|\right|\stackrel{\→}{O_1{O}_2}\left|\right|}^2+{\left|\right|\stackrel{\→}{{P1}_{\mathrm{OG}}{P2}_{\mathrm{OG}}}\left|\right|}^2+2\left|\right|\stackrel{\→}{O_1{O}_2}\left|\right|\left|\right|\stackrel{\→}{{P1}_{\mathrm{OG}}{P2}_{\mathrm{OG}}}\left|\right|}$

$=\left|\right|\stackrel{\→}{O_1{O}_2}\left|\right|+\left|\right|\stackrel{\→}{{P1}_{\mathrm{OG}}{P2}_{\mathrm{OG}}}\left|\right|>\left|\right|\stackrel{\→}{O_1{O}_2}\left|\right|$

$\left|\right|\stackrel{\→}{O_2{P2}_{\mathrm{OG}}}-\stackrel{\→}{O_1{P1}_{\mathrm{OG}}}\left|\right|=\sqrt{{({X1}_O-{X2}_O)}^2+{({Y1}_O-{Y2}_O)}^2+{({Z1}_O-{Z2}_O)}^2}---\left(3\right)$

这里Y1_O＝Y2_O＝H，H为相机距地面高度。

将由式(3)计算得到的结果称为匹配特征点对的道路面投影坐标位移量(The road surface displacement of projection coordinates)，并记为PD。这里，当所得特征点的道路面投影坐标的Z坐标值为非正数时，即该特征点在世界坐标系实际高度不低于相机高度，此时该特征点说对应的道路面投影坐标位移量直接设置为正无穷。

将由式(3)计算得到的结果

称为相机位移量(Cameradisplacement)，并记为T。

3)当T2时刻的相机坐标系的Z轴与T1时刻的相机坐标系Z轴不平行时，即有绕Y轴的旋转角φ时，参见图5。只要将T1时刻相机坐标系中的坐标值变换到与T2时刻的相机坐标系的Z轴平行的坐标系中的坐标值，再按照式(2)、(3)计算道路面投影坐标位移量即可。变换公式如下：

如图5所示，设P在

坐标系下的坐标为(X′，Z′)，在O₁坐标系下的坐标为(X，Z)，其中坐标系

相对于坐标系O₁有角度为φ的旋转角，则P在两坐标系下的坐标值有如下关系：

$\left\{\begin{array}{c}X=X\′\cos \mathrm{\φ}+Z\′\sin \mathrm{\φ}\\ Z=Z\′\cos \mathrm{\φ}-X\′\sin \mathrm{\φ}\end{array}\right.$

从上面的三个推论可以得到如下结论：无论T2时刻的相机坐标系的Z轴与T1时刻的相机坐标系Z轴是否平行，当匹配特征点对属于到路面上时，它们道路面上的投影坐标位移量等于相机光心的实际位移量，即对应时刻段相机的位移量；而立体物上的匹配特征点道路面上的投影坐标位移量大于相机光心的实际位移量。

利用上述结论进行障碍物检测，其原理是：

a)假设步骤103中所获得的特征对集中每个特征对均是道路面上的特征点对，由于道路面上的特征点对的位移量等于相机光心的实际位移量，这样，通过式(2)可得到步骤103中所获得的特征对集中每个特征对在道路面投影坐标内的位移量；

b)计算相机光心的实际位移量；

c)将通过步骤a)方式计算出的位移量与步骤b)计算的位移量进行比较，若步骤a)的位移量等于步骤b)的位移量，即道路面上的特征点对的位移量等于相机光心的实际位移量，则认为前述假设是正确的，即该特征对所对应的特征属于道路平面即非障碍物；若步骤a)的位移量大于步骤b)的位移量，即道路面上的特征点对的位移量大于相机光心的实际位移量，则认为前述假设是错误的，即该特征对所对应的特征属于障碍物。

基于上述原理，下面具体说明实现过程。

步骤104，计算步骤103中所述的特征对集中每个特征对在道路面投影坐标内的位移量PD_i，其中，i为特征对集内特征对的序号。具体的，

${\mathrm{PD}}_i=\sqrt{{({X1}_i-X{2}_i)}^2+{({Y1}_i-Y{2}_i)}^2+{({Z1}_i-{Z2}_i)}^2}$

其中，(X1_i，Y1_i，Z1_i)和(X2_i，Y2_i，Z2_i)分别表示特征点对(P1_i、P2_i)在以O₁、O₂为原点的坐标系下的坐标值；PD_i表示在以O₁、O₂为原点的坐标系下特征点对(P1_i、P2_i)在道路面投影坐标的位移量。

步骤105，计算T1到T2时刻相机光心的实际位移量。

当不能从外界获得相机移动速度(即相机相对于路面的移动速度)时，可以采用估计的方式计算相机光心的实际位移量。这是因为属于道路面上匹配特征点对的道路面投影坐标位移量大致相等，而属于障碍物上的匹配特征点对的道路面投影坐标位移量变化范围很大。

采用估计的方式计算相机光心实际位移量的具体步骤如下：

i)设所得的n个特征点对对应的道路面投影坐标位移量为PD_i，i＝1，…，n；

ii)预先设定相机位移量的最大可能值为MaxT；将区间[0，MaxT]以t为步长分成l个小区间，表示为[0，t]，[t，2t]，…，[(i-1)t，it]，…，[(l-1)t，MaxT]；

iii)记录每个小区间对应的PD_i的数目，设该数目为Num_i，i＝1，…，l；取Num_i，i＝1，…，l中最大的一个，设其为Num_k，k≤l；

iv)若Num_k≥th，th为最小数目阈值，则对落入第k个小区间[(k-1)t，kt]中的所有PD_i求均值，记为T′，将该均值T′作为T1到T2时刻相机光心的实际位移量T，即T＝T′。

当可以获得相机移动速度时，(如相机的移动速度可以来自于相机所在载体的速度传感器)，相机移动速度和相机位移量有如下关系：

T＝(V/Ct)*(n′+1)                     (4)

其中，T表示T1到T2时刻相机光心的实际位移量，V表示以秒为单位的相机移动速度，Ct表示相机一秒内拍摄的图像帧数，n′表示T1时刻图像与T2时刻图像间隔的帧数。

步骤106，将所述特征对对应的道路面投影坐标的位移量PD_i与所述相机光心的实际位移量相比较，根据比较结果确定障碍物。

具体的，可以采用以下两种方式：

方式一、二分法，也称为单阈值法

1)根据所述相机光心的实际位移量获得第一障碍物阈值Th0；

Th0＝α×T；

其中，Th0表示第一障碍物阈值，α为大于1的常数，T表示T1到T2时刻相机光心的实际位移量。

2)若所述位移量PD_i小于等于第一障碍物阈值Th0，则所述位移量PD_i对应的特征属于非障碍物；若所述位移量PD_i大于第一障碍物阈值Th0，则所述位移量PD_i对应的特征属于障碍物。

参见图9，其是根据本发明实施例的基于单阈值法检测匹配特征点对道路面投影坐标位移量划分示意图。图中纵坐标表示第i对特征点对道路面投影坐标位移量PD_i，横坐标表示特征点对的序号，其中，粗虚线表示第一障碍物阈值线Th0。

方式二、考虑到检测、追踪和反转透视投影变换等一系列环节中存在误差，为了更准确的区分道路面上的点和障碍物上的点，还可以采用双阈值法进行区分。

1)根据所述相机光心的实际位移量获得第二障碍物阈值Th1和第三障碍物阈值Th2，且Th1<Th2；具体的，

Th1＝β×T；

Th2＝γ×T；

其中，Th1表示第二障碍物阈值，Th2表示第三障碍物阈值，T表示T1到T2时刻相机光心的实际位移量，γ为大于β的常数，β为大于等于1的常数。

2)若所述位移量PD_i小于第二障碍物阈值Th1，则所述位移量PD_i对应的特征属于非障碍物；

若所述位移量PD_i大于第三障碍物阈值Th2，则所述位移量PD_i对应的特征属于障碍物；

3)若所述位移量PD_i大于等于第二障碍物阈值Th1且小于等于第三障碍物阈值Th2，则结合已有的障碍物识别方法确定所述位移量PD_i对应的特征是否属于障碍物。该已有的障碍物识别方法可以是现有的任何方法，如基于运动补偿的障碍物检测方法、基于垂直边缘特征的障碍物检测方法等。

参见图10，其是根据本发明实施例的双阈值法匹配特征点对道路面投影坐标位移量划分示意图。图中，纵坐标表示第i对特征点对道路面投影坐标位移量PD_i，横坐标表示特征点对的序号，其中粗实线表示第三障碍物阈值Th2，粗虚线表示第二障碍物阈值Th1，Th1<Th2。

参见图11，其是根据本发明实施例的T2时刻图像上障碍物检测结果示意图。图中实心圆点表示属于障碍物的特征点，即P2₁、P2₆和P2₇属于障碍物的特征点，空心圆点表示属于道路平面上的特征点，即P2₂、P2₃、P2₄和P2₅属于道路平面上的特征点。

至此，实现了障碍物的检测。

应用本发明所提供的检测障碍物的方法，利用特征对集中每个特征对在道路面投影坐标内的位移量与相机位移量进行比较，就能区分该特征对在道路面投影坐标内的位移量所对应的特征是否属于障碍物，具有计算简单、适用范围广，检测精度高等有点，而且，本发明所提供的检测方法不限定障碍物的类型，能够实现道路平面和任意类型障碍物的区别。再有，当得到的T1时刻图像的特征集中的特征为角点特征，以及通过追踪匹配方式得到在T2时刻图像帧中与T1时刻图像的特征集相匹配的特征对集时，对光照变化不敏感。

本发明实施例还提供了一种检测障碍物的装置，参见图12，包括：

特征对集获取单元1201，用于获取T1时刻和T2时刻两帧图像，对T1时刻的图像帧进行特征检测，得到T1时刻图像的特征集，在T2时刻图像帧获得与所述T1时刻图像的特征集相匹配的特征对集；其中，T1时刻小于T2时刻；

位移量计算单元1202，用于计算从T1到T2时刻所述特征对集中每个特征对在道路面投影坐标的位移量PD_i，其中，i为特征对集内特征对的序号；并且，用于计算T1到T2时刻相机光心的位移量相机光心的实际位移量；

障碍物检测单元1203，将所述特征对对应的道路面投影坐标的位移量PD_i与所述相机光心的位移量相机光心的实际位移量相比较，根据比较结果确定障碍物。

上述位移量计算单元1202可以包括：

特征对计算单元，用于计算所述特征对集中每个特征对对应的道路面投影坐标的位移量PD_i，其中，i为特征对集内特征对的序号；

相机光心的位移量计算单元，用于计算T1到T2时刻相机光心的实际位移量。

当不能从外界获得相机移动速度，需要采用估计的方式计算相机光心实际位移量时，上述相机光心的位移量计算单元还可以包括：

预置单元，用于设所得的n个特征点对对应的道路面投影坐标位移量为PD_i，i＝1，…，n；预先设定相机位移量的最大可能值为MaxT；将区间[0，MaxT]以t为步长分成l个小区间，表示为[0，t]，[t，2t]，…，[(i-1)t，it]，…，[(l-1)t，MaxT]；

记录选取单元，用于记录每个小区间对应的PD_i的数目，设该数目为Num_i，i＝1，…，l；取Num_i，i＝1，…，l中最大的一个，设其为Num_k，k≤l；

判断计算单元，用于判断出若Num_k大于等于最小数目阈值th时，对落入第k个小区间[(k-1)t，kt]中的所有PD_i求均值，将该均值作为T1到T2时刻相机光心的位移量相机光心的实际位移量。

当能够从外界获得相机移动速度时，上述相机光心的位移量计算单元还可以包括：

计算单元，用于计算相机光心的位移量相机光心的实际位移量T，其中，T＝(V/Ct)*(n′+1)，其中，T表示T1到T2时刻相机光心的位移量相机光心的实际位移量，V表示以秒为单位的相机移动速度，Ct表示相机一秒内拍摄的图像帧数，n′表示T1时刻图像与T2时刻图像间隔的帧数。

可以理解，上述相机光心的位移量计算单元可以包括预置单元、记录选取单元、判断计算单元以及计算单元，以支持两种相机光心实际位移量算法；或者，只包括预置单元、记录选取单元和判断计算单元，即仅支持不能获得相机移动速度的计算方法；或者，则仅包括计算单元，即仅支持能够获得相机移动速度的计算方法。

上述障碍物检测单元1203可以包括：

第一阈值计算单元，用于根据所述相机光心的位移量相机光心的实际位移量获得第一障碍物阈值Th0；

第一比较判定单元，用于确定所述位移量PD_i小于等于第一障碍物阈值Th0时，判定所述位移量PD_i对应的特征属于非障碍物；用于确定所述位移量PD_i大于第一障碍物阈值Th0，判定所述位移量PD_i对应的特征属于障碍物。

上述障碍物检测单元1203可以包括：

第二阈值计算单元，用于根据所述相机光心的位移量相机光心的实际位移量获得第二障碍物阈值Th1和第三障碍物阈值Th2，所述第二障碍物阈值Th1小于第三障碍物阈值Th2；

第二比较判定单元，用于确定所述位移量PD_i小于第二障碍物阈值Th1，时，判定所述位移量PD_i对应的特征属于非障碍物；确定所述位移量PD_i大于第三障碍物阈值Th2时，判定所述位移量PD_i对应的特征属于障碍物；确定若所述位移量PD_i大于等于第二障碍物阈值Th1且小于等于第三障碍物阈值Th2时，则结合已有的障碍物识别方法确定所述位移量PD_i对应的特征是否属于障碍物。该已有的障碍物识别方法可以是现有的任何方法，如基于运动补偿的障碍物检测方法、基于垂直边缘特征的障碍物检测方法等。

可以理解，上述障碍物检测单元1203可以包括：第一阈值计算单元、第一比较判定单元、第二阈值计算单元和第二比较判定单元，即可以支持单阈值或双阈值的检测方法；或者，只包括第一阈值计算单元和第一比较判定单元，即仅支持单阈值的检测方法；或者，只包括第二阈值计算单元和第二比较判定单元，即只支持双阈值的检测方法。

应用本发明所提供的检测障碍物的装置，利用特征对集中每个特征对在道路面投影坐标内的位移量与相机位移量进行比较，就能区分该特征对在道路面投影坐标内的位移量所对应的特征是否属于障碍物，具有计算简单、适用范围广，检测精度高等有点，而且，本发明所提供的检测方法不限定障碍物的类型，能够实现道路平面和任意类型障碍物的区别。再有，当得到的T1时刻图像的特征集中的特征为角点特征，以及通过追踪匹配方式得到在T2时刻图像帧中与T1时刻图像的特征集相匹配的特征对集时，对光照变化不敏感。

本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (15)

1、一种检测障碍物的方法，其特征在于，包括：

获取T1时刻和T2时刻两帧图像，对T1时刻的图像帧进行特征检测，得到T1时刻图像的特征集，在T2时刻图像帧获得与所述T1时刻图像的特征集相匹配的特征对集；其中，T1时刻不等于T2时刻；

计算所述特征对集中每个特征对对应的道路面投影坐标的位移量PD_i，其中，i为特征对集内特征对的序号；

计算T1到T2时刻相机光心的实际位移量；

将所述特征对对应的道路面投影坐标的位移量PD_i与所述相机光心的实际位移量相比较，根据比较结果确定障碍物。

2、根据权利要求1所述的方法，其特征在于，所述T1时刻图像的特征集中的特征是特征点，所述在T2时刻图像帧获得与所述T1时刻图像的特征集相匹配的特征对集中的特征对是特征点对；或者，

所述T1时刻图像的特征集中的特征是特征线段；所述在T2时刻图像帧获得与所述T1时刻图像的特征集相匹配的特征对集中的特征对是特征线段对；

或者，所述T1时刻图像的特征集中的特征是特征区域；所述在T2时刻图像帧获得与所述T1时刻图像的特征集相匹配的特征对集中的特征对是特征区域对。

3、根据权利要求2所述的方法，其特征在于，所述特征集中的特征是特征点，所述特征点为角点。

4、根据权利要求2所述的方法，其特征在于，当所述特征集中的特征是特征点，所述特征对集中的特征对是特征点对时，所述计算T1到T2时刻相机光心的实际位移量的步骤包括：

设所得的n个特征点对对应的道路面投影坐标位移量为PD_i，i＝1，…，n；

预先设定相机位移量的最大可能值为MaxT；将区间[0，MaxT]以t为步长分成l个小区间，表示为[0，t]，[t，2t]，…，[(i-1)t，it]，…，[(l-1)t，MaxT]；

记录每个小区间对应的PD_i的数目，设该数目为Num_i，i＝1，…，l；取Num_i，i＝1，…，l中最大的一个，设其为Num_k，k≤l；

若Num_k≥th，th为最小数目阈值，则对落入第k个小区间[(k-1)t，kt]中的所有PD_i求均值，将该均值作为T1到T2时刻相机光心的实际位移量。

5、根据权利要求2所述的方法，其特征在于，当所述特征集中的特征是特征点，所述特征对集中的特征对是特征点对时，所述计算T1到T2时刻相机光心的实际位移量的步骤包括：

T＝(V/Ct)*(n′+1)

其中，T表示T1到T2时刻相机光心的实际位移量，V表示以秒为单位的相机移动速度，Ct表示相机一秒内拍摄的图像帧数，n′表示T1时刻图像与T2时刻图像之间包含的帧数。

6、根据权利要求1所述的方法，其特征在于，所述将所述特征对对应的道路面投影坐标的位移量PD_i与所述相机光心的实际位移量相比较，根据比较结果确定障碍物的步骤包括：

根据所述相机光心的实际位移量获得第一障碍物阈值Th0；

若所述位移量PD_i小于等于第一障碍物阈值Th0，则所述位移量PD_i对应的特征属于非障碍物；

若所述位移量PD_i大于第一障碍物阈值Th0，则所述位移量PD_i对应的特征属于障碍物。

7、根据权利要求6所述的方法，其特征在于，根据所述相机光心的实际位移量获得第一障碍物阈值Th0的步骤包括：

Th0＝α×T；

其中，Th0表示第一障碍物阈值，α为大于1的常数，T表示T1到T2时刻相机光心的实际位移量。

8、根据权利要求1所述的方法，其特征在于，所述将所述特征对对应的道路面投影坐标的位移量PD_i与所述相机光心的实际位移量相比较，根据比较结果确定障碍物的步骤包括：

根据所述相机光心的实际位移量获得第二障碍物阈值Th1和第三障碍物阈值Th2，所述第二障碍物阈值Th1小于第三障碍物阈值Th2；

若所述位移量PD_i小于第二障碍物阈值Th1，则所述位移量PD，对应的特征属于非障碍物；

若所述位移量PD_i大于第三障碍物阈值Th2，则所述位移量PD_i对应的特征属于障碍物；

若所述位移量PD_i大于等于第二障碍物阈值Th1且小于等于第三障碍物阈值Th2，则结合已有的障碍物识别方法确定所述位移量PD_i对应的特征是否属于障碍物。

9、根据权利要求8所述的方法，其特征在于，根据所述相机光心的实际位移量获得第二障碍物阈值Th1和第三障碍物阈值Th2的步骤包括：

Th1＝β×T；

Th2＝γ×T；

其中，Th1表示第二障碍物阈值，Th2表示第三障碍物阈值，T表示T1到T2时刻相机光心的实际位移量，γ为大于β的常数，β为大于等于1的常数。

10、一种检测障碍物的装置，其特征在于，包括：

特征对集获取单元，用于获取T1时刻和T2时刻两帧图像，对T1时刻的图像帧进行特征检测，得到T1时刻图像的特征集，在T2时刻图像帧获得与所述T1时刻图像的特征集相匹配的特征对集；其中，T1时刻小于T2时刻；

位移量计算单元，用于计算所述特征对集中每个特征对对应的道路面投影坐标的位移量PD_i，其中，i为特征对集内特征对的序号；并且，计算T1到T2时刻相机光心的实际位移量；

障碍物检测单元，将所述特征对对应的道路面投影坐标的位移量PD_i与所述相机光心的实际位移量相比较，根据比较结果确定障碍物。

11、根据权利要求10所述的装置，其特征在于，所述位移量计算单元包括：

特征对计算单元，用于计算所述特征对集中每个特征对对应的道路面投影坐标的位移量PD_i，其中，i为特征对集内特征对的序号；

相机光心的位移量计算单元，用于计算T1到T2时刻相机光心的实际位移量。

12、根据权利要求11所述的装置，其特征在于，所述相机光心的位移量计算单元包括：

预置单元，用于设所得的n个特征点对对应的道路面投影坐标位移量为PD_i，i＝1，…，n；预先设定相机位移量的最大可能值为MaxT；将区间[0，MaxT]以t为步长分成l个小区间，表示为[0，t]，[t，2t]，…，[(i-1)t，it]，…，[(l-1)t，MaxT]；

记录选取单元，用于记录每个小区间对应的PD_i的数目，设该数目为Num_i，i＝1，…，l；取Num_i，i＝1，…，l中最大的一个，设其为Num_k，k≤l；

判断计算单元，用于判断出若Num_k大于等于最小数目阈值th时，对落入第k个小区间[(k-1)t，kt]中的所有PD_i求均值，将该均值作为T1到T2时刻相机光心的实际位移量。

13、根据权利要求11所述的装置，其特征在于，所述相机光心的位移量计算单元包括：

计算单元，用于计算相机光心的实际位移量T，其中，T＝(V/Ct)*(n′+1)，其中，T表示T1到T2时刻相机光心的实际位移量，V表示以秒为单位的相机移动速度，Ct表示相机一秒内拍摄的图像帧数，n′表示T1时刻图像与T2时刻图像间隔的帧数。

14、根据权利要求10所述的装置，其特征在于，所述障碍物检测单元包括：

第一阈值计算单元，用于根据所述相机光心的实际位移量获得第一障碍物阈值Th0；

第一比较判定单元，用于确定所述位移量PD_i小于等于第一障碍物阈值Th0时，判定所述位移量PD_i对应的特征属于非障碍物；用于确定所述位移量PD_i大于第一障碍物阈值Th0，判定所述位移量PD_i对应的特征属于障碍物。

15、根据权利要求10所述的装置，其特征在于，所述障碍物检测单元包括：

第二阈值计算单元，用于根据所述相机光心的实际位移量获得第二障碍物阈值Th1和第三障碍物阈值Th2，所述第二障碍物阈值Th1小于第三障碍物阈值Th2；

第二比较判定单元，用于确定所述位移量PD_i小于第二障碍物阈值Th1，时，判定所述位移量PD_i对应的特征属于非障碍物；确定所述位移量PD_i大于第三障碍物阈值Th2时，判定所述位移量PD_i对应的特征属于障碍物；确定若所述位移量PD_i大于等于第二障碍物阈值Th1且小于等于第三障碍物阈值Th2时，结合已有的障碍物识别方法确定所述位移量PD_i对应的特征是否属于障碍物。

Images