CN104949657A - 物体检测装置、物体检测方法、以及包括物体检测程序的计算机可读非瞬时性存储介质 - Google Patents

Abstract

本发明涉及物体检测装置、物体检测方法、以及包括物体检测程序的计算机可读非瞬时性存储介质。一种物体检测装置，包括：计算装置，用于计算在具有不同视点的多个图像之间匹配的第一位置的深度；第一设置控制器，用于将第一位置中的一个设置为基点；第二设置控制器，用于将第二位置设置为参考点，第二位置在图像中的一个图像上在垂直轴方向向上地与基点分离；第三设置控制器，用于在基点上方设置具有高度和深度的投票范围；执行控制器，用于执行对于在投票范围中的参考点的投票处理；和检测控制器，用于基于投票处理的结果检测路面上的目标物体。

Description

物体检测装置、物体检测方法、以及包括物体检测程序的计算机可读非瞬时性存储介质

相关申请的交叉引用

本申请基于2014年3月24日提交的日本专利申请No.2014-060961并要求其优先权；通过引用将其整体内容并入在此。

技术领域

这里描述的实施例通常涉及物体检测装置、物体检测方法、以及包括物体检测程序的计算机可读非瞬时性存储介质。

背景技术

安装在诸如车辆和机器人的移动物体上的拍摄装置被用于捕捉图像。该图像用于检测阻碍移动物体的运动的物体。这使得能够实现机器人的驱行支持和自动控制。为此，需要检测路面上的突起和潜在阻碍运动的物体(例如行人、其他汽车和道路结构)。

已知如下的用于估计三维信息的技术。以若干不同的视点获取多个图像。从多个图像之间对应的位置来确定视差。因此，对于图像中的每个位置的三维信息(三维位置)可以通过三角测量的原理来估计。这种三维信息可以用来检测在路面上存在的物体。

发明概述

根据本公开的一个实施例，提供了一种物体检测装置，包括：计算装置，用于计算在具有不同视点的多个图像之间匹配的第一位置的深度，所述具有不同视点的多个图像是通过安装于在路面上移动的移动物体上的捕捉装置捕捉的；第一设置控制器，用于将所述第一位置中的一个设置为基点；第二设置控制器，用于将第二位置设置为参考点，所述第二位置在所述图像中的一个图像上在垂直轴方向向上地与所述基点分离；第三设置控制器，用于在所述基点上方设置具有高度和深度的投票范围；执行控制器，用于执行对于在所述投票范围中的所述参考点的投票处理；和检测控制器，用于基于所述投票处理的结果检测路面上的目标物体。

根据本公开的另一实施例，提供了一种物体检测方法，包括：计算在具有不同视点的多个图像之间匹配的第一位置的深度，所述具有不同视点的多个图像是通过安装于在路面上移动的移动物体上的捕捉装置捕捉的；将所述第一位置中的一个设置为基点；在具有估计的深度的位置处设置第二位置作为参考点，所述第二位置在图像上在垂直轴方向向上地与所述基点分离；在所述基点上方设置具有高度和深度的投票范围；执行对于在所述投票范围中的所述参考点的投票处理；和基于所述投票处理的结果检测路面上的目标物体。

根据本公开的又一个实施例，提供了一种包括物体检测程序的计算机可读非瞬时性存储介质，所述物体检测程序使计算机执行操作用于以下的处理：计算在具有不同视点的多个图像之间匹配的第一位置的深度，所述具有不同视点的多个图像是通过安装于在路面上移动的移动物体上的捕捉装置捕捉的；将所述第一位置中的一个设置为基点；在具有估计的深度的位置处设置第二位置作为参考点，所述第二位置在图像上在垂直轴方向向上地与所述基点分离；在所述基点上方设置具有高度和深度的投票范围；执行对于在所述投票范围中的所述参考点的投票处理；和基于所述投票处理的结果检测路面上的目标物体。

附图说明

图1是示出第一实施例的物体检测装置的一个示例的框图；

图2是示出第一实施例的物体检测方法的一个示例的流程图；

图3A至3C是说明实施例的物体检测方法的示意图；

图4是示出图2中的流程图的步骤S20的详细流程图；

图5A至图10是说明实施例的物体检测方法的示意图；

图11是输入图像的图像示例；

图12是将估计的深度数据叠加在图11的图像上的图像示例；

图13是从图12的图像中提取深度数据的图像示例；

图14是叠加通过投票结果获得的Th的图像示例；

图15是物体的检测结果的图像示例；

图16是示出第二实施例的物体检测装置的一个示例的框图；

图17是示出第二实施例的物体检测方法的一个示例的流程图；和

图18是说明第二实施例的物体检测方法的示意图。

具体实施方式

根据一个实施例，一种物体检测装置包括：计算装置，用于计算在具有不同视点的多个图像之间匹配的第一位置的深度，所述具有不同视点的多个图像是通过安装于在路面上移动的移动物体上的捕捉装置捕捉的；第一设置控制器，用于将所述第一位置中的一个设置为基点；第二设置控制器，用于设置第二位置作为参考点，所述第二位置在所述图像中的一个图像上在垂直轴方向向上地与所述基点分离；第三设置控制器，用于在所述基点上方设置具有高度和深度的投票范围；执行控制器，用于执行在所述投票范围中的所述参考点的投票处理；和检测控制器，用于基于所述投票处理的结果检测路面上的目标物体。

现在将参照附图描述实施例。在附图中，用相同的参考数字标记相同的部件。

实施例涉及物体检测装置、物体检测方法、以及物体检测程序，其用于检测路面上潜在阻碍移动物体的移动的物体。所述物体具有三维几何特征，例如，所述物体是柱杆、道路交通标志、人、自行车、路上散布的盒形体、等等。

使用从具有不同视点的多个图像估计的捕捉物体的三维信息来(三维位置)来检测物体。通过安装于在路面上移动的移动物体上的捕捉装置(诸如，拍摄装置)来捕捉所述多个图像。

所述移动物体可以是，例如，汽车或机器人。所述路面可以是汽车在其上行进的表面。替代地，所述路面可以是机器人在其上行走或行进的室外或室内表面。

(第一实施例)

图1是示出第一实施例的物体检测装置10的配置的一个示例的框图。

第一实施例的物体检测装置10包括：捕捉部11、深度估计部12、基点设置部13、参考点设置部14、范围设置部15、投票部16、以及物体确定部17。

图3A示意性地示出了作为在路面104上行进的移动物体的汽车在不同(例如，两个)时刻的状态。

在图3A中，右方向是移动物体的行进方向。参考在第一时刻的移动物体101，在晚于第一时刻的第二时刻的移动物体103位于移动物体101的行进方向侧上。

移动物体101和移动物体103标记有不同的参考数字。然而，移动物体101和移动物体103只是在时间轴上位置不同，并且表示相同的移动物体。作为示例，一个捕捉装置安装在该同一移动物体上。

安装在位于第一时刻的位置处的移动物体101上的捕捉装置100被称为处于第一视点。安装在位于第二时刻的位置处的移动物体103上的捕捉装置102被称为处于第二视点。

移动物体103位于移动物体101已经沿路面104在行进方向侧上行进的位置处。因此，捕捉装置100和捕捉装置102捕捉在不同的时刻的图像。也就是说，根据本实施例，具有不同视点的多个图像被捕捉装置100、102捕捉。捕捉装置100和捕捉装置102只是在时间轴上位置不同，并且是指安装在同一移动物体上的同一捕捉装置。

所述多个图像不限于在时间序列中具有不同视点的图像。替代地，可以在移动物体上安装多个捕捉装置。具有不同视点的多个图像可以在相等同的时刻被相应的捕捉装置捕捉，并用于稍后描述的三维信息(深度)的估计。

图3B示出了在第一时刻被捕捉装置100捕捉的图像107。

图3C示出了在第二时刻被捕捉装置102捕捉的图像110。

路面图案105和物体106位于移动物体101、103在行进方向上的前方。图3B示出了被捕捉装置100捕捉的图像107。在图像107中，图3A中的物体106呈现为物体108，并且图3A中的路面图案105呈现为路面图案109。同样地，图3C示出了被捕捉装置102捕捉的图像110。在图像110中，图3A的物体106呈现为物体111，并且图3A中的路面图案105呈现为路面图案112。图像110是在相对于图像107移动物体在行进方向前进了的位置处被捕捉的。因此，图像110中的物体106和路面图案105以比图像107中大的尺寸呈现。

在图3A中，与捕捉装置100相关联的Z-轴代表光轴。捕捉装置被安装为使得垂直于光轴并且在路面104的向上方向延伸的轴(Y-轴)大致垂直于路面104。物体106具有在垂直于路面104的方向上的高度。因此，物体106在图像107、111中呈现为具有在垂直轴方向的长度的物体108、111。

捕捉装置100、102被安装成在移动物体101、103的行进方向上面朝前面。然而，安装不限于此。就像汽车的背向相机那样，捕捉装置100、102可以安装成在行进方向上面朝后面。替代地，捕捉装置100、102可以安装成在行进方向上面向侧面。

这足以能够获得以不同视点捕捉的多个图像。因此，可以将两个捕捉装置附接至移动物体，以构成立体相机。在这种情况下，没有移动物体的移动，移动物体也可以获得以不同视点捕捉的多个图像。

根据该实施例，在图3A至3C所示的情形下，检测路面图案105或物体106是否是从路面104突出的物体。

图2是示出使用第一实施例的物体检测装置10的物体检测方法的一个示例的流程图。

首先，在步骤S10中，通过捕捉装置100、102从多个不同的视点捕捉被作为目标物体检测的物体。图1中所示的捕捉部11获取由捕捉装置100、102以若干不同视点捕捉的图像107、110。

接下来，在步骤S20中，使用所述多个图像107、110来估计深度。图1所示的深度估计部12估计所述多个图像107、110之间对应的位置的深度。

图4是更详细地示出步骤S20的流程图。

首先，在步骤S200中，执行捕捉装置100和捕捉装置102之间的运动的估计。捕捉装置100、102在空间中移动。因此，通过运动的估计确定的参数是三维旋转矩阵和三维平移矢量。

由捕捉装置100捕捉的图像107和由捕捉装置102捕捉图像110被用于运动的估计。首先，从这些图像107、110检测特征点。用于检测特征点的方法可以是许多已提出的用于检测图像的亮度不同于周围的亮度的方法(例如，Harris、SUSAN和FAST)中的一种。

接下来，确定在图像107、110两者中的匹配的特征点。特征点之间的匹配可以基于诸如包围特征点的小窗口内的亮度的绝对差之和(SAD)、SIFT特征、SURF特征、ORB特征和BRISK特征的现有的方法来确定。

在图5A所示的图像107中，特征点200-204被提取。特征点200-204与图5B所示的图像110的特征点205-209匹配。例如，位于图像107的图像107的左壁30上的特征点200与图像110的特征点205匹配。如果有五个或更多个对应对的这些特征点，则图像之间的基本矩阵(essentialmatrix)E可以如由式1给出的来确定。

[式1]

${\tilde{x}}^{\′T}E\tilde{x}=\left[\begin{array}{ccc}{x}^{\′}& y^{\′}& 1\end{array}\right]\left[\begin{array}{ccc}0& -t_z& t_y\\ t_z& 0& -t_x\\ -t_y& t_x& 0\end{array}\right]R\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=0$

这里，齐次坐标(homogeneous coordinates)x(波浪线)’指的是在通过归一化的图像坐标表示的图像107中的特征点的位置。齐次坐标x(波浪线)指的是在通过归一化的图像坐标表示的图像110中的特征点的位置。这里，假设捕捉装置100、102的内部参数先前已被校准并且已知，以获得归一化的图像坐标。如果内部参数是未知的，那么也可以通过例如使用七个或更多个对应对来估计基本矩阵F。这里，所述内部参数包括透镜的焦距、捕捉装置的捕捉元件之间的有效像素间距、图像中心、以及透镜的畸变系数。基本矩阵E由旋转矩阵R和平移矢量t[t_x，t_y，t_z]组成。因此，可以计算捕捉装置之间的三维旋转矩阵和平移向量，作为通过分解基本矩阵E的运动的估计结果。

接下来，在步骤S201中，将在步骤S200中确定的运动的估计结果用作约束条件来确定图像107和图像110之间的相同位置的匹配。

通过运动估计确定基本矩阵E。因此，利用该约束条件来执行图像之间的匹配。点300设置在图6B所示的图像110上。确定图6A所示的图像107上的该点300对应的位置。为此，将点300的坐标代入式1的x(波浪线)中。基本矩阵E是已知的。因此，式1给出了表示对于x(波浪线)’的直线的公式。该直线被称为极线(epipolar line)，并且由图像107上的线302来指示。

与点300对应的位置位于这条极线302上。极线302上的匹配是通过围绕点300设置小窗口并搜索图像107的极线302以寻找在该小窗口中具有类似的亮度模式的点来实现的。这里，发现了点303。

同样地，确定对于点301的极线304。点305被确定为对应的位置。对于图像107、110中的其他位置类似地执行对应点的估计。这样，对于图像107、110中的每个位置确定了对应的位置。这里，极线302和极线304的交叉点306是极点(epipole)。

接下来，在步骤S202中，利用步骤S200中的运动的估计结果和步骤S201中对应位置的估计结果，基于三角测量的原理，来估计图像107、110之间匹配的每个位置的三维位置。

三维位置的齐次坐标由X(波浪线)＝[x y z 1]来表示。由捕捉装置的内部参数组成的捕捉装置102的透视投影矩阵由P₁₀₀₃来表示。由除内部参数之外还由步骤S201中估计的运动估计结果确定的捕捉装置100的透视投影矩阵由P₁₀₀₁来表示。于是，式2成立。

[式2]

$\left\{\begin{array}{c}{\tilde{x}}^{\′}=P_{1001}\tilde{X}=A\left[R\right|t]\tilde{X}\\ \tilde{x}=P_{1003}\tilde{X}=A\left[I\right|0]\tilde{X}\end{array}\right.$

这里，A代表内部参数。除了三维位置X之外的值是已知的。因此，三维位置可以通过使用例如最小二乘法求解X的方程来确定。

接下来，在图2所示的步骤S30中，在具有步骤S20中确定的三维位置信息的图像上的点(具有估计的深度的点)处设置基点和参考点。

图1所示的基点设置部13在例如亮度与周围不同的图像上的位置处设置基点。参考点设置部14在具有三维位置信息的图像上的点(具有估计的深度的点)处设置参考点。该点位于在图像上在垂直轴方向从基点向上分离的位置处。

根据该实施例，如图7A所示，捕捉装置400安装在移动物体401上。物体403和路面图案404位于行进方向的前方。图7B示出了在这种情况下捕捉的图像408。物体403和路面图案404被投射在图像408上。

这里，在图像408中，基点409设置在物体403上，而基点411设置在路面图案404上。接下来，将参考点410垂直设置在基点409上方。参考点412垂直设置在基点411上方。

如果基点409和基点411在图像上在垂直轴方向上位置相等，并且如果捕捉装置400的光轴与路面402平行设置，那么图7A所示的空间中的基点409和基点411两者的位置位于405处。

如果参考点410和参考点412在图像上在垂直轴方向上位置相等，那么参考点410和参考点412位于穿过捕捉装置400的光学中心的直线31上。参考点410位于图7A所示的空间上的位置406处。参考点412位于在图7A所示的空间上的位置407处。

连接位置405和位置406的方向垂直于路面402。连接位置405和位置407的方向平行于路面402。

在移动物体(车辆)401的行进期间，捕捉装置400相对于路面402的姿态是未知的。然而，在现实中，移动物体401和路面402之间的位置关系并不显著变化。因此，可以通过向在稍后描述的步骤S40中指定的投票范围提供裕量来抑制捕捉装置400相对于路面402的姿势变化的影响。

基点409、411和参考点410、412都是基于图像上的具有确定的三维信息(深度)的位置(条件A)。首先，基于条件A设置基点409、411。

接下来，在满足条件A的同时，在图像的垂直轴方向上远离基点409、411的位置处设置参考点410、412。优选地，为每个基点设置多个参考点。替代地，也可以在满足条件A的同时只在图像的亮度显著变化的边缘或角点处设置参考点。

参考点410、412设置在图像的垂直轴方向上在基点409、411上方。作为设置该参考点410、412的范围，例如，可以设置待检测物体的最小高度Y_min(位置413)。也就是说，可以将参考点设置在直至Ymin被投射在图7B的图像上的点414的高度的范围内。

具体来说，参考点的坐标由x(波浪线)_base 来表示。其三维位置由X(波浪线)_base 来表示。相对于基点的空间位置的物体的最小高度Y_min在图像上的投影位置x(波浪线)_r 利用空间透视投影矩阵P₄₀₀₁由式3给出。

[式3]

${\tilde{x}}_r=\left[\begin{array}{c}{x}_r\\ y_r\\ 1\end{array}\right]=P_{4001}({\tilde{X}}_{\mathrm{base}}+\left[\begin{array}{c}0\\ Y_{\min }\\ 0\\ 0\end{array}\right])$

${\tilde{x}}_{\mathrm{base}}=\left[\begin{array}{c}{x}_b\\ y_b\\ 1\end{array}\right]=P_{4001}{\tilde{X}}_{\mathrm{base}}$

参考点可以设置在从上面给出的y_r到y_b的范围内。

接下来，图1所示的范围设定部15使用在步骤S40中设置的基点和参考点来设置在基点上方的具有高度和深度的投票范围。

图8A中的物体106在图8C中被放大。物体106具有用参考数字106标记的实际形状。然而，如图8A和8C所示，物体106可能由于三角测量中的误差而被观察为变形的形状，诸如用参考数字106a和106b标记的形状。这是由例如在确定被以不同视点捕捉的多个图像之间对应的点中的误差所引起的。

如图8B中的放大视图所示，在捕捉装置100捕捉的图像502中真正的对应位置由503表示。对于位置503，设置具有误差的两个点504和505。穿过捕捉装置100的光学中心和点503、504、505的直线分别以506、507、508来表示。这里，由于附图上的空间限制，图8B和图8C之间的线506、507、508被描绘为曲线。然而，实际上，线506、507、508是直线。这些直线506、507、508和穿过捕捉装置100的光学中心的直线500的交叉点分别由509、510、511来表示。这些形成了与真实形状偏离的形状106a和106b。

在该步骤中，鉴于这样的测量误差设置投票范围。

图9A示出了其中设置了基点和参考点的图像600。

图9B示出了对于显示在图像600中的物体610的基点601的参考点602、603的三维位置。

图9C示出了对于显示在图像600中的路面图案620的基点606的参考点607、608的三维位置。

在9B和9C中，Z方向代表深度方向，Y方向代表高度方向。

图9A中所示的点601是为物体610设置的基点。点602和点603是与基点601对应的参考点。

考虑由于三维信息的测量误差导致的如图8C和9D所示的物体的变形，点509、510、511落在在范围605内。可以与范围605对应地设置投票范围604。于是，可以对位于投票范围604中并且属于物体610的参考点602、603的数量进行计数。

另一方面，在路面图案620上设置的基点606和参考点607、608位于路面630上。这样，这些点在深度Z方向分布得较长，如图9C所示。因此，对于路面图案620来说，即使投票范围609与物体的投票范围604相同，参考点607、608也没有被包括在投票范围609内。

接下来，描述用于设置投票范围的方法(即，用于设置如图9B所示的Δz和Δy的方法)的一个示例。Δz代表在在距基点601的任意高度Δy处投票范围604的深度方向Z上的宽度的一半。

鉴于由于三维信息的测量误差导致的物体的变形，一种方法是随着基点在Y方向的增加扩展投票范围的深度Z方向的宽度。也就是说，这可以表示为式4。

[式4]

$\frac{\mathrm{\Δz}}{\mathrm{\Δy}}=\tan \mathrm{\θ}$

这里，θ是从基点601起以扇形扩展的投票范围604的角度的一半。假设捕捉装置的光轴基本平行于路面放置。于是，随着tanθ的值的减小，属于垂直于路面的物体的参考点更可能会落在投票范围604内。也就是说，近乎垂直于路面的物体更容易被检测到。然而，相对于路面倾斜的物体较不容易被检测到。

相反，随着tanθ的增加，属于相对于路面倾斜的物体的参考点更可能会落在投票范围604内。这增加了检测到作为物体的路面图案的可能性。

用于设置tanθ的方法之一是使用固定值。道路的最大坡度是由法律规定的。在日本，最大坡度为约10°(θ为约90-10＝80°)。因此，θ被设置为小于80°。替代地，为了加快计算，Δz可被设置为容易计算的值而不管角度，诸如以Δy乘1、1/2和2。

另一种可能的方法是根据移动物体和检测目标之间的距离改变tanθ的值。在远距离处，由于例如起伏，道路的形状可能相对于车辆以大角度倾斜。然而，在车辆附近的区域，道路的坡度是小的。这样，捕捉装置相对于路面的倾斜在具有小深度Z的位置处不大。因此，增加tanθ以利于检测相对于路面倾斜的物体。

相反，在具有大深度Z的位置处，希望避免由于路面的坡度导致的错误地将路面图案识别为物体。因此，减小tanθ以利于仅检测近乎垂直于路面的物体。

替代地，投票范围可以根据三维信息的测量误差(深度估计误差)来设置。三维信息的测量误差(深度估计误差)参考式2通过式5来计算。

[式5]

$\left\{\begin{array}{c}{\tilde{x}}^{\′}+{\left[\begin{array}{ccc}{\mathrm{\ϵ}}_x& {\mathrm{\ϵ}}_y& 0\end{array}\right]}^T=P_{1001}{\tilde{X}}_e\\ \tilde{x}=P_{1003}\tilde{X}=A\left[I\right|0]{\tilde{X}}_e\end{array}\right.$

这里，εx和εy是假设的测量误差。x(波浪线)和x(波浪线)’是捕捉装置以不同视点捕捉的图像中基点或参考点的对应的位置。优选地，对于基点和参考点，εx²+εy²的绝对值是固定的，并且εx和εy沿着极线方向对齐。X(波浪线)_e＝[X_e Y_e Z_e 1]是包括齐次坐标系中呈现的测量误差的三维位置。

图10通过阴影示出了投票范围703。

ΔZ是例如利用在参考点700处三维位置的估计结果和包括测量误差的三维位置的估计结果的深度方向上的差的Ze-Z的绝对值。

y_offset是用于从投票范围排除路面图案的阈值。ΔZm是用于即使物体从路面倾斜也有利于检测的阈值。ΔZm可以如式4中那样根据高度变化而增加。ΔZ可以是基于参考点处的三维位置的估计结果的，或者基于包括测量误差的该三维位置的估计结果的。

在设置上述的投票范围后，在接下来的步骤S50中，图1所示的投票部16执行对于投票范围中的参考点的投票处理。

在该投票处理中，与图像上的基点的位置(坐标)相关联地保持两个投票值T1和T2。投票值T1是与每个基点对应的参考点的数量。投票值T2是落在投票范围内的参考点的数量。

对于更大的T1，则在基点上方收集更多的三维信息。对于更大的T2，则包括更多的在垂直于路面的方向上具有三维位置的参考点。

接下来，在步骤S60中，图1所示的物体确定部17使用例如在步骤S50中计算的投票值T1、T2来检测路面上的物体。

对于更大值的T2，在垂直于路面的方向上有更多的具有三维位置的参考点。然而，同时，当T1的值充分大时，由于噪声T2可以获得更大数量的投票。

Th被归一化为0或更大且为1或更小。当Th是1时，物体的可能性被最大化。相反，接近0的Th指示大多数的参考点属于路面图案。因此，对于T2/T1＝Th设置阈值。物体确定部17在Th大于阈值的位置处检测到物体。

基点被设置在假定路面和物体彼此接触的位置处。因此，所检测到的物体的下端位置常常位于与路面接触的位置处。在除了物体在图像上的位置之外还确定物体的三维位置的情况下，可以通过与在步骤S50中记录T1和T2同时地保持三维坐标来确定三维位置。该信息也可用于估计捕捉装置和路面之间的位置关系。

图11示出了例如通过安装在汽车上的捕捉装置以不同视点捕捉的两个图像的示例。

图12示出了在步骤S20中确定的三维位置被叠加在图11的图像上的图像。图13示出了通过从图12消除背景图像而仅提取深度信息的图像。这些图像可以以灰度或彩色来显示。

在灰度图像中，相对暗的点的位置比相对亮的点的位置更靠近车辆本身。彩色图像可以根据深度以若干颜色来显示。例如，红点的位置更靠近车辆本身，蓝色的点的位置更远离车辆本身。

替代地，如图14所示，该图像可以根据上面描述的Th(＝T2/T1)的大小来用若干颜色来显示。例如，红色与接近1的Th对应，指示作为物体的可能性。路面上的白线、井盖等用指示固定值的黑色来显示。可以确认，在物体周围Th的值增加。图像也可以用灰度来显示。白色的位置比黑色的位置具有更大的Th。

在图15中，其中分布有具有超过阈值的Th的位置的部分的下端位置被用不同的颜色来指示(例如，灰度图像中的白色，或彩色图像中的绿色)。许多物体在路面和物体之间的边界线上被检测到。也有漂浮在空气中的物体。然而，深度是已知的。因此，如果捕捉装置和路面之间的位置关系是已知的，那么图像上的投影位置也可以利用式2由路面与物体之间的三维空间中的边界位置来计算。

这里，描述作为比较示例提出的用于从三维信息检测路面和物体的方法。该方法基于所获得的三维信息而不假设路面是平的，局部地确定物体和路面。在该方法中，预先准备根据视差的大小而具有不同范围的块。然后，对于特定的块，对图像中的三维信息(视差)进行投票。路面和物体之间的分离是基于块中的投票值或偏差的。

在该方法中，对于特定的块，对每个像素地定义的范围内的视差进行投票。因此，在视差被要求具有亚像素量级(sub-pixel)的精度的情况下，不能在远距离或接近极点处检测物体。可以安装一个拍摄装置以便在行进的方向朝向前面。可以从在不同时刻捕捉的多个图像获得三维信息。在这种情况下，极点出现在图像的中心附近。具有亚像素量级的精度的视差的处理会造成大量的块的问题，这需要大量的存储器。

相反，根据本实施例，投票范围是鉴于为图像上的每个位置设置的基点和参考点之间的深度差而设置的。因此，即使在路面不平的情况下，或者在接近极点处或在远距离处视差被要求具有亚像素量级的精度的情况下，存储器使用是保持不变的。这使得能够利用固定量的存储器来检测物体。

(第二实施例)

图16是示出第二实施例的物体检测装置20的配置的一个示例的框图。

除了第一实施例的物体检测装置10的组件之外，第二实施例的物体检测装置20还包括时间序列信息反映部18。

时间序列信息反映部18将由在第一时刻捕捉的具有不同视点的多个图像确定的第一投票处理结果，加到由在晚于第一时刻的第二时刻捕捉的具有不同视点的多个图像确定的第二投票处理结果。

图17是示出使用第二实施例的物体检测装置20的物体的检测方法的一个示例的流程图。

步骤S10-S50和步骤S60如在第一实施例中一样地被处理。第二实施例的处理另外还包括步骤S55。

时间序列信息反映部18在步骤S55中的处理将投票结果在时间序列方向传播。这可以改善物体检测的稳定性。

图像之间的位置的正确匹配可能会由于图像中的亮度变化或遮挡(occlusion)而失败。于是，不能估计三维位置，并且不能获得足够数量的投票。这引起对关于物体的检测精确度的降低的担忧。相比之下，可以通过将投票的数量在时间方向传播而增加投票的数量。这可以提高物体检测的检测率。

例如，假设已经使用图18中所示的捕捉装置100和捕捉装置102的捕捉的图像，如在第一实施例中所描述的，完成了步骤S50的投票处理。从捕捉装置100和捕捉装置102捕捉的图像确定的投票处理结果被称为第一时刻的投票处理结果。

接下来，使用安装在从捕捉装置102的位置在行进方向上进一步前进的移动物体120上的捕捉装置121捕捉的图像，以及先前时刻的捕捉装置102的捕捉的图像，来执行步骤S10-S50。这样，得到了捕捉装置121的图像的投票结果。

在所述先前时刻，已经获得了捕捉装置102的图像的投票结果。捕捉装置121和捕捉装置102之间的运动已在上述步骤S200中被估计。因此，运动估计的结果和与先前时刻的投票结果相关联的基点的三维位置可被用于，通过基于运动估计结果的透视投影变换和坐标变换，确定捕捉装置121的图像对应的位置。

对于所确定的位置，先前时刻的T1和T2被加到捕捉装置121的图像的投票结果。

替代地，为了衰减过去的信息，以及防止投票的数目随着时间的推移而增加，先前时刻的T1和T2可以在被乘以小于1的权重后而被添加。在接下来的步骤S60中，所获得的新的投票结果被用来如第一实施例中那样检测物体。保存该投票结果以便在下一时刻处使用该投票结果。

实施例的物体检测程序被存储在存储装置中。实施例的物体检测装置读取程序并在程序的指令下执行上述处理(物体检测方法)。实施例的物体检测程序不限于存储在安装在移动物体上的存储装置中或用于远程控制的控制器侧单元中。该程序可以存储在便携式盘记录介质或半导体存储器中。

尽管已经描述了一些实施例，但是这些实施例仅作为示例呈现，并且并不意图限制本发明的范围。实际上，此处描述的新颖的实施例可以用多种其他形式来实施；此外，可以对在此描述的实施例的形式进行各种省略、替换和修改而不偏离本发明的精神。所附权利要求及其等同物旨在覆盖将落在本发明的范围和精神内的那些形式或修改。

Claims (20)

1.一种物体检测装置，包括：

计算装置，用于计算在具有不同视点的多个图像之间匹配的第一位置的深度，所述具有不同视点的多个图像是通过安装于在路面上移动的移动物体上的捕捉装置捕捉的；

第一设置控制器，用于将所述第一位置中的一个设置为基点；

第二设置控制器，用于将第二位置设置为参考点，所述第二位置在所述图像中的一个图像上在垂直轴方向向上地与所述基点分离；

第三设置控制器，用于在所述基点上方设置具有高度和深度的投票范围；

执行控制器，用于执行对于在所述投票范围中的所述参考点的投票处理；和

检测控制器，用于基于所述投票处理的结果检测路面上的目标物体。

2.根据权利要求1所述的装置，其中在所述投票范围的深度方向上的宽度随着距所述基点的高度的增加而扩展。

3.根据权利要求1所述的装置，其中所述投票范围根据所述移动物体和所述目标物体之间的距离而变化。

4.根据权利要求1所述的装置，其中所述投票范围根据所述深度的估计误差而变化。

5.根据权利要求1所述的装置，其中由在第一时刻捕捉的所述具有不同视点的多个图像确定的第一投票处理的结果，被加到由在晚于第一时刻的第二时刻捕捉的所述具有不同视点的多个图像确定的第二投票处理的结果。

6.根据权利要求1所述的装置，其中所述基点被设置为图像上的在亮度上与周围不同的位置。

7.根据权利要求1所述的装置，其中为所述基点设置多个所述参考点。

8.根据权利要求7所述的装置，其中

对于T2/T1设置阈值，其中T1是与所述基点对应的参考点的数量，T2是落在所述投票范围内的参考点的数量；以及

物体在T2/T1大于所述阈值的位置处被检测到。

9.根据权利要求8所述的装置，其中具有大于所述阈值的T2/T1的位置的分布被叠加到通过所述捕捉装置捕捉的所述图像上。

10.根据权利要求1所述的装置，其中所述具有不同视点的多个图像包括在不同时刻捕捉的多个图像。

11.根据权利要求1所述的装置，其中所述具有不同视点的多个图像包括通过安装在所述移动物体上的多个捕捉装置在相同的时刻分别捕捉的图像。

12.一种物体检测方法，包括：

计算在具有不同视点的多个图像之间匹配的第一位置的深度，所述具有不同视点的多个图像是通过安装于在路面上移动的移动物体上的捕捉装置捕捉的；

将所述第一位置中的一个设置为基点；

在具有估计的深度的位置处设置第二位置作为参考点，所述第二位置在图像上在垂直轴方向向上地与所述基点分离；

在所述基点上方设置具有高度和深度的投票范围；

执行对于在所述投票范围中的所述参考点的投票处理；和

基于所述投票处理的结果检测路面上的目标物体。

13.根据权利要求12所述的方法，其中在所述投票范围的深度方向上的宽度随着距所述基点的高度的增加而扩展。

14.根据权利要求12所述的方法，其中所述投票范围根据所述移动物体和检测目标之间的距离而变化。

15.根据权利要求12所述的方法，其中所述投票范围根据所述深度的估计误差而变化。

16.根据权利要求12所述的方法，其中将由在第一时刻捕捉的所述具有不同视点的多个图像确定的第一投票处理的结果，加到由在晚于第一时刻的第二时刻捕捉的所述具有不同视点的多个图像确定的第二投票处理的结果。

17.根据权利要求12所述的方法，其中所述基点被设置为图像上在亮度上与周围不同的位置。

18.根据权利要求12所述的方法，其中为所述基点设置多个所述参考点。

19.根据权利要求18所述的方法，其中

对于T2/T1设置阈值，其中T1是与所述基点对应的参考点的数量，T2是落在所述投票范围内的参考点的数量；以及

在T2/T1大于所述阈值的位置处检测到物体。

20.一种包括物体检测程序的计算机可读非瞬时性存储介质，所述物体检测程序使计算机执行操作用于以下的处理：

计算在具有不同视点的多个图像之间匹配的第一位置的深度，所述具有不同视点的多个图像是通过安装于在路面上移动的移动物体上的捕捉装置捕捉的；

将所述第一位置中的一个设置为基点；

在具有估计的深度的位置处设置第二位置作为参考点，所述第二位置在图像上在垂直轴方向向上地与所述基点分离；

在所述基点上方设置具有高度和深度的投票范围；

执行对于在所述投票范围中的所述参考点的投票处理；和

基于所述投票处理的结果检测路面上的目标物体。