CN1834583B - 车辆周边监视装置 - Google Patents

Abstract

车辆周边监视装置包括：安装在车辆前部或后部拍摄车辆的侧面观察图像的摄像机；在侧面图像中检测特征点并计算所检测的特征点的运动矢量的特征点检测部；根据所计算的特征点的运动矢量在侧面图像中检测作为趋近物体的趋近该车辆的多个特征点中的一组特征点的移动物体检测部；跟踪所检测的趋近物体的特征点的特征点跟踪部；以及从由所述特征点跟踪部跟踪的趋近物体的特征点计算该趋近物体经过该车辆前部或后部的时间的经过时间计算部。

Description

车辆周边监视装置

技术领域

本发明涉及根据由安装于车上的摄像机摄得的趋近物体监视车辆的周边的车辆周边监视装置。

背景技术

日本专利公开公报第2001-43494号(下称专利文献1)中揭示一例根据由安装于车上的摄像机摄得的图像监视车辆的周边的装置。在这种车辆周边监视装置中，如图1的概念图所示，装在车辆前部的摄像机(车头观察摄像机)拍摄车辆前部侧面视野FL和FR，这些视野有可能是从驾驶座看出去的盲点。摄得的侧面视野图像显示在车辆驾驶座内的监视器上，从而当例如车辆进入十字路口时驾驶员可确认行驶安全。

还有，近年来，在下列日本专利公开公报上提出了采用光通量法根据由安装在车辆上的摄像机摄得的图像检测运动物体的装置，例如日本专利公开公报第2004-198211号(下称专利文献2)，日本专利公开公报第2004-56763号(下称专利文献3)，日本专利公开公报第2005-276056号(下称专利文献4)，及日本专利公开公报第2001-39248号(下称专利文献5)。

专利文献2中揭示的运动物体周围情况监视装置的意图是，使用单个图像拍摄装置无误差积累且高精度地识别运动物体的位置和姿态，以保证运动物体的所要求的位置上的可观察性。该装置从由单图像拍摄装置在运动期间拍摄的周围区域的图像在特定平面中提取至少四个特征点。当运动物体从第一状态移动到第二状态时，该装置使特征跟踪装置跟踪所提取的特征点，并使运动状态识别装置根据在第一和第二状态中摄得的图像的特征点的平面坐标识别图像拍摄装置的相对位置和姿态。而且，该装置使三维坐标估算装置根据在第一和第二状态中图像拍摄装置的位置和姿态估算预定目标的特征点的三维坐标，在第一状态中摄得的图像中预定目标的特征点的平面坐标，以及在第二状态中摄得的图像中预定目标的特征点的平面坐标。

专利文献3中揭示的监视装置是采用光通量法检测趋近物体的车辆监视装置。该装置的意图是，即使装备该监视装置的车辆正在转弯时也以高精度检测趋近目标。该装置用多分辨率法或棱锥法计算所检测的趋近目标的特征点的光通量。在多分辨率法中，以相对于一个图像分层的方式准备不同分辨率的多个图像，通过从最粗略图像到最精细图像依次实行模式匹配获得光通量。

另一方面，专利文献4中揭示的车头观察监视装置计算相对于所提取特征点的光通量，并从左右视野图像的特征点中只选择具有趋近方向上的矢量的特征点作为趋近特征。

专利文献5中揭示的车辆摄像机装置采用距离传感器和摄像机的组合测量到运动物体的距离。

但是，在上述的常规监视装置中，摄像机摄得的图像基本上是单视野图像。为了从单视野图像中找出到运动物体的距离，需要几种假设或限制。作为这样的假设或限制的实例，有一种方法，其中假定图像中的道路平面以便从单视野图像中找出到运动物体的距离。此方法中，找到图像上运动物体的接地面，并从摄像机参数(位置、方向、焦距等)和图像上接地面的位置求出到运动物体的距离。但是，在图像上识别接地面一般是困难的。因此，待识别的接地面限于汽车在从前面或后面拍摄的图像上的接地面。但一般说，如上述车头观察监视装置那样，为了识别包括在视场中的趋近物体，以对角线方式观察目标以及识别接地面是困难的。

而且，不能否认，如专利文献5中揭示的车辆摄像机装置的情况那样使用距离传感器和摄像机的组合测量到运动物体的距离将使装置变得昂贵。

发明内容

本发明的一个方面是车辆周边监视装置，该车辆周边监视装置包括：安装在车辆前部或后部用于拍摄车辆的侧面观察图像的摄像机；用于检测侧面图像中的特征点并计算所检测的特征点的运动矢量的特征点检测装置；根据所计算的特征点的运动矢量在侧面图像中检测作为趋近物体的具有在趋近该车辆的方向上的矢量的物体的趋近物体检测装置；跟踪所检测的趋近物体的特征点的特征点跟踪装置；和从所述特征点跟踪装置跟踪的趋近物体的特征点计算该趋近物体经过该车辆前部或后部的时间的经过时间计算装置。

附图说明

从下文给出的详细说明并结合只以说明方式给出因而不是限制本发明的附图，本发明将更加完整地得以了解，这些附图是：

图1是显示装有周边监视装置的车辆和摄像机的拍摄方向的平面图；

图2是示意性地显示根据本发明的实施例的车辆周边监视装置的主要部分的配置的框图；

图3是显示控制图2的车辆周边监视装置的操作的主要程序的流程图；

图4是显示由图2的车辆周边监视装置执行的检测趋近物体的主要过程和计算趋近物体被预期经过车辆的时间的程序的流程图；

图5是显示由图2的车辆周边监视装置的摄像机拍摄的图像中包括的特征点被提取的实例的示意图；

图6是显示图2的车辆周边监视装置的摄像机的视场及摄像机的装置平面和趋近物体之间的关系的平面图；

图7是显示在用由图2的车辆周边监视装置的摄像机拍摄的图像数据上完成的弱透视投影中在摄像机、图像平面、及虚拟图像平面之间的关系的原理图；

图8是显示由图2的车辆周边监视装置计算的深度和真实深度之间的关系的示意图；

图9为从上面观看的重画图7得到的平面图。

具体实施方式

本发明将参照显示其优选实施例的附图详细说明。图2是示意性地显示根据本发明的实施例的周边监视装置的主要部分的配置的框图。图2中，标号1表示一对装在车辆前部的车头观察摄像机，用来拍摄车辆两侧的左右观察图像。车头观察摄像机1由如图1所示装在车辆前端两侧的例如CCD摄像机构成，并且设置来拍摄车辆A两侧预定的左右观察图像FL和FR。或者，车头观察摄像机1可装在车辆后部，用于拍摄车辆两侧的左右观察图像。

获得通过车头观察摄像机1拍摄的侧面图像(车头观察图像)的周边监视装置2包括电子控制单元(MPU)，该电子控制单元(MPU)主要由微机构成。在车头观察开关3接通(步骤S1)的条件下，当由车辆速度传感器4检测到的车辆A的车速减至10km/h或以下(步骤S2)时，或者当车辆A停止时，周边监视装置2能够实现在监示器5上显示由车头观察摄像机1拍摄的侧面图像(车头观察图像)(步骤S3)的车头观察功能。当上述条件不满足时，周边监视装置2不能实现车头观察功能，因此在监示器5上不显示车头观察图像(步骤S4)。

显示侧面图像(车头观察图像)的监示器5由装在驾驶座前面的中央面板中包括的多重显示器构成。监示器5通常用来显示有关采用GPS的车辆导航信息、设定车厢内环境的空调信息、有关设定各种音频设备的信息等。当然可专门设计监示器5用来显示车头观察图像。

基本上如上述配置的车辆周边监视装置的特征如图2所示，周边监视装置2包括：(a)作为特征点检测装置的特征点检测部11，用于在如上所述用车头观察摄像机1拍摄的侧面图像(车头观察图像)中检测多个特征点，并计算这些特征点的光通量以得到其运动矢量，(b)作为运动物体检测装置的移动物体检测部12，用于根据由特征点检测部11得到的特征点的运动矢量在侧面图像(车头观察图像)中检测作为趋近物体的具有在趋近自家车(车辆A)的方向上的矢量的物体，及(c)作为经过时间计算装置的经过时间计算部14，用于在侧面图像(车头观察图像)中识别并跟踪由移动物体检测部12检测的趋近物体的图像区域(作为特征点跟踪装置的特征点跟踪部13)，并根据所识别的特征点确定趋近物体经过车辆前部的时间。

具体地，由上述各部(功能)11、12、13和14实现的车头观察过程通过例如如图4所述以预定间隔顺序取得已经由车头观察摄像机1拍摄的车头观察图像的步骤(步骤S11)开始。该过程中，提取其图像信号水平(亮度)和/或色调显著不同于周围的特征点(步骤S12)，以及计算这些特征点的光通量以得到特征点的运动矢量(步骤S13)。虽然在例如上述专利文献4中有详细的说明，下面仍将简述计算光通量的方法。基本上，根据共同的特征点的坐标是否已经改变确定以预定间隔依次拍摄的多个车头观察图像共同的特征点是否已经移动。如果共同的特征点的坐标已经改变，则计算运动的方向和大小(即坐标改变)，取得共同特征点的运动矢量。

然后，移动物体检测部12根据包括在趋近物体移动方向的方向上的矢量分量的光通量矢量从图13得到的运动矢量中检测趋近物体(步骤S14)。在这种情况下，其运动矢量未被检测到的特征点被认为是诸如建筑物的固定物体(背景)并从识别中排除之。由特征点跟踪部13检测所检测的特征点中随时间的变化(步骤S14)。经过时间计算部14根据表示由特征点跟踪部13检测的特征点中随时间的变化的信息计算趋近物体经过车辆前部的时间(步骤S15)。

当在步骤S15中得到的估计的经过时间t_c早于预定的经过时间Th(t_c＜Th)，或车辆的速度V低于预定的车速Vh(V＜Vh)时，周边监视装置2检测趋近物体(步骤S16)，将监示器5的屏面视图切换为车头观察图像，并使显示控制部15在监示器5中突出显示趋近物体(步骤S17)。通过例如在矩形形状中切除上述的特征点和其周围来突出显示趋近物体。为了清楚地表示监示器5显示的车头观察图像中的经切除后的趋近物体，显示控制部15通过例如在图像区域周围画出矩形块的方法突出显示包括趋近物体的特定图像区域。

另一方面，当步骤S15得到的估计的经过时间t_c早于预定的经过时间Tm(t_c＜Tm)，且车速V低于预定的车速Vh(0＜V＜Vh)时(步骤S18)，周边监视装置2确定趋近物体正在进一步趋近，使警告设备发生声音警报，并使显示控制部15在监示器5上比上述步骤S17更显著地突出显示趋近物体(步骤S19)。显示控制部15通过在监示器5上例如对趋近物体加上红、黄等彩色来突出显示趋近物体。

另一方面，当步骤S15得到的估计的经过时间t_c早于预定的经过时间T1(t_c＜T1)，且车速V低于预定的车速Vh(0＜V＜Vh)时(步骤S20)，周边监视装置2向作为制动器控制装置的制动器控制部7输出命令使车辆停止以避免与趋近物体碰撞。在这种情况下，周边监视装置2通过在监示器5上比上述步骤S19更显著地突出显示趋近物体来警告驾驶员(步骤S21)。例如可通过在监示器5上放大、迭加趋近物体，或对它加引线来突出显示趋近物体。

在这种情况下，在监示器5上趋近物体被突出显示的同时，不仅使警报装置6产生声音警报，而且通知装置可通过声音信息通知驾驶员存在趋近物体。通过组合使用警报装置6和通知装置，由于车头观察图像和声音信息对眼睛和耳朵的作用，唤起驾驶员对趋近物体的注意。因此，由于当车辆进入视线受到阻碍的交叉路口等处时能更有效地帮助驾驶员确认安全，因此周边监视装置能非常有利于提高实际的观察事物的能力。

步骤S16中的预定经过时间Th例如是5至3秒，步骤S18中的预定经过时间Tm例如是3至2秒，步骤S20中的预定经过时间T1例如是2至1秒。另一方面，预定的车速Vh最大是约10km/h的前行低速，并事先在周边监视装置2中设定。

下文将更详细地说明根据本发明的车辆周边监视装置执行的特征点检测过程。假设摄像机拍摄的图像位于如图5所示横坐标为x、纵坐标为y、原点在图像数据的左上角的坐标系上。首先，特征点检测部11求得图像I对x轴和y轴的各个方向的偏微分

I/x和I/

y。然后，特征点检测部11用下面的等式(1)得到图像I所有像素的空间矩阵G(p)：

$G\left(p\right)=\left[\begin{array}{cc}\underset{q\∈D\left(p\right)}{\mathrm{\Σ}}{\left(\frac{\∂I\left(q\right)}{\∂x}\right)}^2& \underset{q\∈D\left(p\right)}{\mathrm{\Σ}}\frac{\∂I\left(q\right)}{\∂x}\·\frac{\∂I\left(q\right)}{\∂y}\\ \underset{q\∈D\left(p\right)}{\mathrm{\Σ}}\frac{\∂I\left(q\right)}{\∂x}\·\frac{\∂I\left(q\right)}{\∂y}& \underset{q\∈D\left(p\right)}{\mathrm{\Σ}}{\left(\frac{\∂I\left(q\right)}{\∂y}\right)}^2\end{array}\right]...\left(1\right)$

然后，特征点检测部11对空间矩阵G(p)计算本征值入min(p)和入max(p)，提取被认为具有特征的预定值，并将其定义为特征点。

其次，特征点跟踪部13然后跟踪已经以上述方式得到的车头观察图像的特征点随时间的变化。然后，经过时间计算部14根据由特征点跟踪部13跟踪的趋近物体的特征点计算趋近物体经过车辆A的前部的时间。

更具体地，如上所述，车头观察摄像机1大体上安装在与车辆(自家车)A前进方向成直角的方向，即观察车辆A周围的侧面区域(右侧FR和左侧FL)的位置上，如图6所示。在这种情况下，趋近物体B经过车辆A前部的时间可以认为是趋近物体B穿过在车头观察摄像机1的感光装置的表面方向上延伸的平面空间的时间。

为了得到这样的估计的经过时间，可设想几种方法；在本发明的实施例中，使用通过从多个特征点的跟踪得到多个帧提高抗噪声能力的计算方法。应指出，“噪声”是指特征点的经计算的轨迹与真实的轨迹之间的误差。

其次，将参照图7的原理图说明根据本发明的计算估计的经过时间的原理。

假设特征点i在时间t_f的坐标为(x_i(t_f)，y_i(t_f))。建立如下的矩阵W的行列式：

$W=\left[\begin{array}{ccc}{x}_1\left(t_1\right)& \mathrm{\Λ}& x_p\left(t_1\right)\\ M& O& M\\ x_1\left(t_F\right)& \mathrm{\Λ}& x_p\left(t_F\right)\\ y_1\left(t_1\right)& \mathrm{\Λ}& y_p\left(t_1\right)\\ M& O& M\\ y_1\left(t_F\right)& \mathrm{\Λ}& y_p\left(t_F\right)\end{array}\right]-\left[\begin{array}{c}\stackrel{\‾}{x}\left(t_1\right)\\ M\\ \stackrel{\‾}{x}\left(t_F\right)\\ \stackrel{\‾}{y}\left(t_1\right)\\ M\\ \stackrel{\‾}{y}\left(t_1\right)\end{array}\right]\left[\begin{array}{ccc}1& \mathrm{\Λ}& 1\end{array}\right]...\left(2\right)$

其中F是相对于特征点待跟踪的帧数(≥3)，P是所有特征点P(≥3)的数目，t₁是开始跟踪的时间，t_f是当前帧时间。

这里，

${[\stackrel{\‾}{x}\left(t_F\right),\stackrel{\‾}{y}\left(t_F\right)]}^T...\left(3\right)$

是在时间t_f所有特征点的中心，可通过下列等式表述：

$\stackrel{\‾}{x}\left(t_f\right)=\frac{1}{P}\underset{i=1}{\overset{P}{\mathrm{\Σ}}}{x}_i\left(t_f\right)...\left(4\right)$

$\stackrel{\‾}{y}\left(t_f\right)=\frac{1}{P}\underset{i=1}{\overset{P}{\mathrm{\Σ}}}{y}_i\left(t_f\right)...\left(5\right)$

本发明可不仅应用于弱透视投影模式和正交投影模式，而且可应用于类似于实际透视投影的平行透视投影模式。下面的说明中，本发明应用于弱透视投影模式。

首先假设在图7所示的三维真实空间中，车头观察摄像机1的位置用p(t_f)表示，车头观察摄像机1的光轴方向上的矢量用k(t_f)表示，车头观察摄像机1所在的空间中的垂直和水平方向上的矢量分别用垂直矢量j(t_f)和水平矢量i(t_f)表示。图7中，矢量i(t_f)、j(t_f)及k(t_f)是互相垂直的单位矢量。假设特征点固定在真实空间中，由摄像机的运动引起图像上的可观察到的变化，并用下列等式表示特征点i在真实空间中的位置：s_i＝(s_i，y_i，z_i)^T。

在弱透视投影中，真实空间转换到图像可用转换的等式线性地完成。弱透视投影是一种模拟与图像平面平行的虚拟图像平面的方法，如图7所示。当模拟虚拟图像平面时，特征点i首先垂直投影到虚拟图像平面上，然后从虚拟图像平面透视投影到图像平面上。

这种弱透视投影的在时间t_f图像上的特征点i的坐标由下列等式表示：

$x_i\left(t_f\right)=\frac{1}{z\left(t_f\right)}i{\left(t_f\right)}^T[s_i-p\left(t_f\right)]...\left(6\right)$

$y_i\left(t_f\right)=\frac{1}{z\left(t_f\right)}j{\left(t_f\right)}^T[s_i-p\left(t_f\right)]...\left(7\right)$

其中z(t_f)是表示摄像机与虚拟图像平面之间的距离的参数。

在上述弱透视投影模式的情况下，假设真实空间的原点在表示所有特征点的中心的矢量c上，真实空间的原点即所有特征点的中心在虚拟图像平面上。因此可建立下面的等式：

$c=\frac{1}{p}\underset{i=1}{\overset{P}{\mathrm{\Σ}}}{s}_{i}Z\left(t_f\right)=k{\left(t_f\right)}^T[c-p\left(t_f\right)]=0...\left(8\right)$

在这种情况下，重新定义z(t_f)作为所有特征点的中心与摄像机之间的深度。由上面的等式(2)表示的矩阵W的行列式可分解为由下列等式(9)与(10)表示的两个矩阵M和S，其中W＝MS：

$M=\left[\begin{array}{c}m{\left(t_1\right)}^T\\ M\\ m{\left(t_F\right)}^T\\ n{\left(t_1\right)}^T\\ M\\ n{\left(t_F\right)}^T\end{array}\right]...\left(9\right)$

S＝

s₁Λs _p

...(10)

这里，矢量m(t_f)由i(t_f)/z(t_f)表示，矢量n(t_f)由j(t_f)/z(t_f)表示。矢量i(t_f)和j(t_f)定义摄像机在时间t_f时的姿态，矢量z(t_f)定义所有特征点的中心与摄像机之间的深度。就是说，矩阵M表示有关物体与摄像机的相对运动的信息。矩阵S的矩阵元s₁表示真实空间中特征点的位置。因此，矩阵S表示有关真实空间中物体形状的信息。

这就是说，本发明的一个主要特征是，表示图像上的特征点的外形的矩阵W被输入并分解成表示真实空间中特征点与摄像机的相对运动的运动矩阵M和表示真实空间中特征点的位置的形状矩阵S，然后计算趋近物体被预期经过该车辆的时间。

现在进一步详细说明根据具有上述特征的本发明的实施例的车辆周边监视装置。应指出，根据本发明的实施例的车辆周边监视装置采用弱透视投影或平行透视投影，就矩阵可分解成运动矩阵M和形状矩阵S来说，其计算程序没有特别的限制。

当矩阵W分解成奇异值时，得到下列等式：

$W=\mathrm{U\Σ}{V}^T$

$=\left[\begin{array}{ccc}{u}_1& \mathrm{\Λ}& u_L\end{array}\right]\left[\begin{array}{ccccc}{\mathrm{\σ}}_1& 0& 0& \mathrm{\Λ}& 0\\ 0& {\mathrm{\σ}}_2& 0& O& M\\ 0& 0& {\mathrm{\σ}}_3& O& 0\\ M& O& O& O& 0\\ 0& \mathrm{\Λ}& 0& 0& {\mathrm{\σ}}_L\end{array}\right]\left[\begin{array}{c}{V_1}^T\\ M\\ {V_L}^T\end{array}\right]...\left(11\right)$

这里，矩阵U是2F×L正交矩阵，矩阵∑是L×L对角线矩阵，矩阵V^T是L×P正交矩阵，L取2F和P的较小的值。在对角线矩阵∑中以σ₁≥σ₂≥Λ≥σ_L的降序排列各个矩阵元。注意，F是帧数。

现在将说明矩阵M和S的大小。因为矢量i(t_f)和j(t_f)是在三维真实空间上，因此由矢量i(t_f)和j(t_f)形成的矢量m(t_f)和n(t_f)也是三维矢量。另一方面，由于如上所述帧数是F，每个矢量m(t_f)和n(t_f)上都有F个帧，由矢量m(t_f)和n(t_f)形成的矩阵M的大小是2F×3。类似地，表示三维真实空间上的位置的矢量s_i也是三维矢量。还有，由于特征点的数目是P，由矢量s_j形成的矩阵S的大小是3×P。另一方面，既然从上面的等式(7)和等式(8)知道矩阵W是矩阵M和矩阵S的乘积，考虑到矩阵M和S的大小，矩阵W的秩等于或小于3。

这里，如果等式(11)用等式(11)中作为矩阵U的头三列的2F×3矩阵U’，3×3对角线矩阵∑’，和作为矩阵V^T头三行的3×P矩阵V’^T的乘积来近似，则可得下列等式(12)：

$W=U^{\′}\mathrm{\Σ}V_{\′T}^{\′}$

$=\left[\begin{array}{ccc}{u}_1& u_2& u_L\end{array}\right]\left[\begin{array}{ccc}{\mathrm{\σ}}_1& 0& 0\\ 0& {\mathrm{\σ}}_2& 0\\ 0& 0& {\mathrm{\σ}}_3\end{array}\right]\left[\begin{array}{c}{V_1}^T\\ {V_2}^T\\ {V_L}^T\end{array}\right]...\left(12\right)$

一般说，矩阵W包括诸如奇异点的跟踪误差的噪声。因此，矩阵W的秩不能总是等于或小于3。但如上面的等式(12)表示，如果矩阵W用从σ₄起被看作为0的值来分解，则能得到如最小二乘方法中的最佳近似解。即，由于在分解成奇异点的模拟中事先消除了噪声分量，本发明具有能保证抗噪声能力的优点。

这里，通过利用等式(12)的分解结果，可得到下列分解结果：

$\hat{M}=U^{\′}...\left(13\right)$

$\hat{S}=\mathrm{\Σ}V_{\′T}^{\′}...\left(14\right)$

通过这样的分解，等式(12)可满足下面的等式：

$W=\hat{M}\hat{S}...\left(15\right)$

但是由等式(15)表示的分解并不是唯一的。具体说，分别由等式(13)、(14)表示的矩阵M和S一般互不相同。如果矩阵M和S建立如下，则可找到合适的与其连接的3×3矩阵A：

$M=\hat{M}A...\left(16\right)$

$S=A^{-1}\hat{S}...\left(17\right)$

这里注意形成如等式(9)所示的矩阵M的矢量m(t_f)和n(t_f)。矢量m(t_f)和n(t_f)分别由矢量i(t_f)和j(t_f)形成。矢量i(t_f)和j(t_f)如图7所示在直角坐标系统中互相正交。因此矢量m(t_f)和n(t_f)必须满足由下面的等式表示的条件：

$m{\left(t_f\right)}^{T}m\left(t_f\right)=n{\left(t_f\right)}^{T}n\left(t_f\right)=\frac{1}{z{\left(t_f\right)}^2}...\left(18\right)$

m(t_f)^Tn(t_f)＝0    ...(19)

如果满足由上列等式(18)和(19)表示的条件，就能得到分别由等式(16)和(17)表示的矩阵M和S。因为表示在时间t_f所有特征点的中心与摄像机之间的深度的z(t_f)是未知的，因此只满足由等式(18)和(19)表示的条件还不够。例如，甚至当矢量m(t_f)＝0和矢量n(t_f)＝0时，由等式(18)和(19)表示的条件就得到满足。为此原因，需要增加由下列等式表示的条件：

m(t_F)^Tm(t_F)＝n(t_F)^tn(t_F)＝1  ...(20)

式(20)意味着假设趋近物体和摄像机之间在时间t_f即当前帧中的深度为1。由于由等式(20)所表示的条件，最后得到的矩阵M和S表示与当前帧有关的相对数量。因此，不能例如用仪表将表示所有特征点的中心与摄像机之间的深度的z(t_f)计算为绝对值，但能如下文所述相对于估计的经过时间计算。

下面将说明根据本发明的车辆周边监视装置如何计算所述估计的经过时间。在将矩阵W分解成如由等式(7)表示的矩阵M和S后，分析运动矩阵M。特别通过注意到表示所有特征点的中心与摄像机之间的深度的z(t_f)，得到下面的等式：

$M=\left[\begin{array}{c}m{\left(t_1\right)}^T\\ M\\ m{\left(t_F\right)}^T\\ n{\left(t_1\right)}^T\\ M\\ n{\left(t_F\right)}^T\end{array}\right]...\left(21\right)$

其中，矢量m(t_f)＝i(t_f)/z(t_f)，矢量n(t_f)＝j(t_f)/z(t_f)，以及1≤f≤F。

矢量i(t_f)和j(t_f)是单位矢量。因此可容易地得到变量z(t_f)，如下列等式所示：

$z\left(t_f\right)=\frac{\left|\right|m\left(t_f\right)\left|\right|+\left|\right|\left(t_f\right)\left|\right|}{2},1<f<F...\left(22\right)$

上面计算中所用的等式(20)等效于下列等式：z(t_f)＝1。从式(22)得到的表示所有特征点的中心与摄像机之间的深度的时间系列数据意味着有关相对于在时间t_f的真实深度的相对数量的时间系列数据。具体说，为了得到所有特征点的中心与摄像机之间的真实深度，变量z(t_f)必须乘以一个常数，但该常数是未知的。因此考虑等式z(t_f)＝z’(t_f)/z’(t_F)和等式z’(t_f)＝α·z(t_f)，其中1≤f≤F。这些等式中，z’(t_f)是特征点的中心与摄像机之间的真实深度。另一方面，α是满足下列条件α＞0的未知常数。为得到该未知常数α，事先需获得一些参数(某一时间的实际深度)。但在实际道路环境中事先获得参数是极其困难的。

因此，考虑上述计算中得到的深度z(t)和真实深度z’(t)两者都等于0的时间，不管如上面的等式所示未知常数α为何值，如果深度z(t)等于0，则真实深度z’(t)一定等于0。反之，如果z(t)≠0，则真实深度z’(t)一定不等于0。这样，当计算的深度z(t)等于0时，就不管未知常数α为何值，真实深度z’(t)等于0。

另一方面，假设车辆周边监视装置中真实深度z(t)等于0。通过从上面观看重画图7得到图9。图9中，深度z(t)是由摄像机和所有特征点的中心形成的矢量和由摄像机光轴形成的矢量两者的内积。所以当z(t)＝0时，所有特征点的中心匹配摄像机的光轴。即，所有特征点的中心(即趋近物体的中心)位于摄像机的感光装置的平面上。换句话说，当深度z(t)＝0时，趋近物体正在通过摄像机的感光装置的平面。

在车辆周边监视装置中，当趋近物体正在通过自家车前面的区域(摄像机的感光装置的平面)时，可考虑深度z(t)＝0。就是说，该估计的经过时间是满足下列条件z(t_c)＝0的时间t_c。

更具体地，在所有特征点的中心与摄像机之间的深度上回归线z(t)＝at+b被指定到采用等式(22)得到的时间系列数据z(t_f)(1≤f≤F)，并且得到满足回归线z(t)＝0的作为估计的经过时间的时间t_c＝-(a/b)。这样得到的时间系列深度数据z(t_f)(1≤f≤F)可能包括上面说到的噪声。

但在得到回归线中，通过进行上述的最小二乘法消除噪声，因而估计的经过时间包括被抑制到最低可能水平的噪声。另外，在分解成奇异值中，噪声受到抑制。结果，根据本发明的车辆周边监视装置还可进一步抑制噪声的影响，因此能以较高的精度计算趋近物体被预期经过该车辆的前部的估计的经过时间。

如上所述，根据本发明的实施例的车辆周边监视装置包括：在由车头观察摄像机1拍摄的侧面图像中检测特征点，并计算所检测特征点的运动矢量的特征点检测部11；根据计算的特征点的运动矢量在所述侧面图像中检测作为趋近物体的具有在趋近车辆的方向上的矢量的物体的趋近物体检测部12；跟踪所检测的趋近物体的特征点的特征点跟踪部13；以及根据由特征点跟踪部13跟踪的趋近物体的特征点计算趋近物体经过车辆的前部的时间的经过时间计算部14。特别是特征点检测部11适合于计算侧面图像中特征点的光通量。

这样，根据本发明的周边监视装置从由车头观察摄像机1拍摄的侧面图像中提取趋近该车辆A的趋近物体的例如各个角的特征点，并根据特征点的轨迹计算趋近物体被预期经过该车辆前面的估计的经过时间。因此，根据本发明的车辆周边监视装置能以高精度从由车头观察摄像机1拍摄的侧面图像中估计趋近车辆或趋近行人经过自家车前部的时间。

根据本发明的车辆周边监视装置进一步包括例如通过根据以上述方式中得到的估计的经过时间产生声音警报通知驾驶员物体正在趋近的趋近通知装置(显示控制部15和警告装置6)。这样，根据本发明的车辆周边监视装置能通过根据由经过时间计算部计算出的估计的经过时间在安装在车中的监示器5上突出显示趋近物体，或使警报装置6产生声音警报而指出趋近物体的存在。

另外，根据本发明的车辆周边监视装置还包括作为检测车辆速度的速度检测装置的车辆速度传感器4。当由车辆速度传感器4检测的车辆速度等于或小于预定的速度，例如当车辆速度等于或小于约10km/h，并确定估计的经过时间将在预定的时间段内(例如几秒钟内)时，就可以控制制动器安全地停止车辆A，从而避免与趋近物体碰撞。

还有，在如上所述在监示器5上突出显示趋近物体以及警报装置6产生声音警报的同时，可将表示趋近物体存在的信息通过语音信息通知驾驶员。通过组合使用这样的通知装置，由于车头观察图像和警报声对眼睛和耳朵的作用，能唤起驾驶员对趋近物体的注意，因此，由于当车辆进入视线受到阻碍的交叉路口等处时能更有效地帮助驾驶员确认安全，车辆周边监视装置非常有利于提高实际的观察事物的能力。应该理解本发明不限于上述的实施例。例如，可以根据车辆所需要的技术要求确定视角(视线投射角)和车头观察摄像机1的图像拍摄方向。虽然在上述说明中，车头观察摄像机1被装在车辆的前部，但本发明不限于此，可将车头观察摄像机1装在车辆的后部。装在车辆后部的车头观察摄像机1有利于例如驾驶员从车库倒车。此外，放大显示于监示器5上的趋近物体的放大倍数可根据监示器5的屏幕尺寸和从车头观察图像检测的趋近物体的大小任意确定。

还有，应该理解根据本发明的车辆周边监视装置不限于上述实施例，可在上述实施例中或对上述实施例作各种改变而不背离本发明的精神。

通过对本发明作出如此说明，显然可以各种方式对本发明加以改变。这样的改变不认为是背离本发明的精神和范围，对本专业的熟练技术人员来说是明显的所有这样的修改均包括在附后的权利要求的范围中。

Claims (4)

1.一种车辆周边监视装置，其特征在于，包括：

安装在车辆前部或后部的摄像机，用于拍摄车辆的侧面观察图像；

特征点检测装置，用于检测侧面图像中的特征点并计算所检测的特征点的运动矢量；

趋近物体检测装置，用于根据所计算的特征点的运动矢量检测侧面图像中作为趋近物体的具有趋近该车辆的方向上的矢量的物体；

特征点跟踪装置，用于跟踪所检测的趋近物体的特征点；和

经过时间计算装置，用于从由所述特征点跟踪装置跟踪的趋近物体的特征点计算该趋近物体穿过在摄像机的感光装置的表面方向上延伸的平面空间的时间。

2.如权利要求1所述的车辆周边监视装置，其特征在于，所述特征点检测装置通过计算侧面图像中特征点的光通量得到运动矢量。

3.如权利要求1所述的车辆周边监视装置，其特征在于，进一步包括通过产生声音警报通知驾驶员趋近物体正在趋近的趋近通知装置，并且其中，当所述经过时间计算装置确定趋近物体被预期在预定时间段内经过该车辆的前部或后部时，所述趋近通知装置通知驾驶员趋近物体正在趋近。

4.权利要求1所述的车辆周边监视装置，其特征在于，进一步包括：

速度检测装置，用于检测所述车辆的速度；和

制动器控制装置，用于当由所述速度检测装置检测的速度等于或小于预定的速度，并且所述经过时间计算装置确定趋近物体被预期在预定时间段内经过该车辆的前部或后部时，控制车辆的制动器使车辆停止。

Images