CN1306452C

CN1306452C - 监视装置和监视方法

Info

Publication number: CN1306452C
Application number: CNB031236057A
Authority: CN
Inventors: 佐藤智; 中川雅通; 登一生
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-05-09
Filing date: 2003-05-09
Publication date: 2007-03-21
Anticipated expiration: 2023-05-09
Also published as: CN1963867A; US7266220B2; EP1361543B1; CN1457023A; KR20030087960A; EP1361543A3; US20030210807A1; EP1361543A2; KR100909741B1

Abstract

本发明涉及监视装置和监视方法，根据本发明，在用光流场检测接近物体的车辆用监视装置中，例如即便在曲线行进中，也可以高精度地检测接近物体。光流场检测部分(12)从由摄象机(11)拍摄的图象求得光流场(Vi)。背景光流场推定部分(15)，根据由自己车辆运动推定部分(13)推定的该车辆的运动、和由空间模型推定部分(14)推定的，使摄象机(11)拍摄的空间进行模型化的空间模型，求得作为假定背景时的摄象机图象的流场的背景流场(Vdi)。接近物体检测部分(16)比较光流场(Vi)和背景流场(Vdi)，检测在该车辆周围的物体的运动。

Description

监视装置和监视方法

技术领域

本发明涉及用摄象机监视车辆周围的状况，检测接近物体的车辆用监视技术。

背景技术

至今，关于监视车辆周围的状况，检测接近物体的车辆用监视装置，使用了种种方法。

其中之一是用雷达等的障碍物传感器。可是这种方法虽然能够确实地检测出障碍物，但是不适合于进行该障碍物正在接近还是正在远离这样的复杂判断。又，因为降雨等的影响也很大，检测范围也比较狭小，所以单独用障碍物传感器检测接近物体是困难的。

另一方面，也使用了用摄象机图象的方法。当用该方法时，其现状是不能够得到雷达那样的可靠性，但是因为容易进行数字化的图象信息的加工，所以可以进行该障碍物正在接近还是正在远离这样的复杂判断。又，因为检测范围由摄象机的画面视角和分辨率决定，所以能够监视非常广大的区域。

作为用摄象机图象的方法，用多个摄象机图象的立体法和用光流场的方法是众所周知的。立体法是利用摄象机之间的视差的方法，但是存在着因为摄象机之间的校准很复杂，需要用许多摄象机所以增加成本那样的问题。

例如，在专利文献1(第1个已有例)中已经揭示了用光流场的车辆用监视装置。即，向着车辆后方设置摄象机，在画面内设定在水平方向分割成的多个区域，在各个区域内，持有所定阈值以上的大小，并且提取持有与假定接近物体时的图象上的运动相同方向的光流场。而且，根据这个光流场，判别接近物体。

又，关于与曲线行进中的对应问题，已经提出了几种方法。

例如，在专利文献2(第2个已有例)中，从车辆的舵角和行进速度求得旋转矢量，从实际求得的光流场减去这个旋转矢量，对光流场进行校正。而且，在通过这个校正除去曲线的影响后，提取移动物体。

又，在专利文献3(第3个已有例)中，通过车速传感器和偏航速率传感器的输出、和预先测定的图象位置与距离的对应关系，对光流场进行校正，在除去曲线的影响后，提取移动物体。

又，利用图象内的无限远点(FOE)的方法(例如参照专利文献4)广泛地用于用光流场的接近物体的检测中，但是关于与曲线行进对应的方法，也已经提出了几个这种方法。

例如，在专利文献5(第4个已有例)中，用与FOE移动量相当的量对光流场进行校正。

又，在专利文献6(第5个已有例)中，将画面分割成多个，根据由白线决定装置求得的白线信息求得假想FOE。

又，在专利文献7(第6个已有例)中，揭示了用未受到曲线影响的光流场的接近物体检测的方法。在该方法中，用表示从图象检测出的移动矢量的可靠性的矢量r1i，r2i，通过下式计算从摄象机的运动参数理论地计算的移动矢量Vdi，和从图象检测出的移动矢量Vi之间的差异εi2，用这个差值检测正在移动的物体。

εi²＝((Vdi-Vi)·r1i)²+((Vdi-Vi)·r2i)²

[专利文献1]

日本2000年2月21日公布的特许第3011566号专利公报

[专利文献2]

日本2000年公布的2000-168442号专利公报

[专利文献3]

日本平成6年公布的6-282655号专利公报

[专利文献4]

日本平成7年公布的7-50769号专利公报

[专利文献5]

日本2000年公布的2000-251199号专利公报

[专利文献6]

日本2000年公布的2000-90243号专利公报

[专利文献7]

日本1999年4月12日公布的特许第2882136号专利公报

可是，在上述的已有技术中，存在着下列那样的问题。

首先，在第1个已有例中，假定自己车辆直线行进，难以用于曲线中的情形。即，利用“假定接近物体时的图象上的运动方向”，检测接近物体，但是在沿曲线行进时的情形中，不能够同样地求得这个“运动方向”。我们用图34说明这点。

当摄象机向着后方时，在车辆沿曲线行进时的情形中，拍摄图34(a)所示的图象。在第1个已有例中，如图34(a)所示，在水平方向分割并设定区域L和区域R。这里，如图34(b)所示，当假定在接近区域L内的区域AR1中存在接近车辆时，“假定的接近车辆的运动方向”如图中箭头所示向右下方向。另一方面，在同一区域L内，但是在垂直方向上的位置与区域AR1不同的区域AR2中，“假定的接近车辆的运动方向”如图中箭头所示向左下方向，与区域AR1中的运动方向完全同。这样，在车辆沿曲线行进时的情形中，即便在同一区域L内，由于这个位置“假定的接近车辆的运动方向”变得不同，所以，要检测接近车辆是困难的。

又，即便在车辆沿直线道路行进时的情形中，在画面的上部和下部，光流场的大小显著不同。即，在画面上部，因为拍摄从自己车辆远离的区域，所以能够检测出的光流场是非常小的。与此相反，在画面下部，因为拍摄与自己车辆非常接近的区域，所以能够检测出的光流场相对地非常大。

因此，关于画面的上部和下部，当用同一阈值进行处理时，使接近车辆的检测精度恶化的可能性很高。例如，当将画面上部的小的流场定为基准阈值时，因为阈值成为非常小的值，所以当根据这个阈值进行在画面下部的处理时，容易出现噪声。另一方面，当将画面下部的大的流场定为基准阈值时，因为阈值成为非常大的值，所以当根据这个阈值进行在画面上部的处理时，几乎所有的光流场都比阈值小，不能够检测接近物体。

进一步，在第1个已有例中，只用持有所定值以上大小的光流场，检测接近车辆。因此，关于与自己车辆大致等速度行进的并行的车辆，因为光流场的大小大致为0，所以不能够检测出来。

又，关于第2个已有例，由自己车辆旋转产生的旋转矢量，与来自与该旋转矢量有关的对象点的摄象机的3维相对位置有关，它的大小和方向是不同的。因此，当没有求得在摄象机图象上的点和现实世界3维上的点的对应关系时，就不能够推定旋转矢量。

我们用图35说明这点。图35是表示由摄象机2拍摄的摄象机图象和现实世界中的3维坐标的关系的图。取摄象机图象的水平方向为Xi轴，垂直方向为Yi轴，现实世界坐标系的Xw，Yw，Zw也如图35所示。即，平面Xw-Zw是与路面平行的平面，Xw方向是自己车辆的左右方向，Yw方向是对路面的垂直方向，Zw方向是自己车辆的前后方向。又，定义将摄象机焦点位置取为原点，摄象机的光轴方向取为Zc轴的摄象机坐标系(Xc，Yc，Zc)。当然，这些轴的方向不限于此。这些坐标系具有透视投影变换(公式1)和坐标变换(公式2)的关系。

[公式1)(见说明书的最后)

[公式2]

但是，f是摄象机的焦距，r是摄象机的内部参数，是由摄象机的设置位置即现实世界坐标系中的摄象机坐标系的位置关系决定的常数，是已知的。从这个关系式，可以看到虽然与摄象机图象上的任意点对应的现实世界的3维坐标系是在通过摄象机的焦点位置的直线上的，但是因为不能够得到除此之外的信息，所以不能够唯一地决定它的位置。

即，如图36所示，可以用透视投影变换(公式1)和坐标变换(公式2)进行从现实世界坐标系到摄象机图象上的点的变换，但是，相反地，不可能只用这些关系式进行从摄象机图象上的点到现实世界坐标系的变换。必须在摄象机坐标系的各个点上求得第2个已有例中的旋转矢量，但是如图36所示，如果没有其它条件，不可能进行这种变换。

关于第3个已有例，也与第2个已有例相同，不触及求图象位置和距离的对应关系，照样不能够实现。

又，关于第4个已有例，因为只在直线行进时存在FOE，在曲线中原来是不存在的，所以当用FOE校正光流场时，在不能近似直线进行那样的急剧的曲线中误差变得非常大，是不实用的。

又，关于第5个已有例，当然，不能用于沿没有白线的道路行进的情形。

又，关于第6个已有例，假定在图象内非移动物体起支配作用，当在摄象机近旁存在卡车那样的大的移动物体时，存在着不能够进行检测那样的问题。

发明内容

鉴于上述问题，本发明，将在用光流场检测接近物体的车辆用监视装置中，例如即便在曲线行进中，也可以高精度地检测接近物体作为课题。

为了解决上述课题，本发明监视装置是用摄像机拍摄车辆的周围的监视装置，其特征在于，包括：光流场检测部，其从上述摄像机拍摄的图像中求得光流场；背景流场推定部，其通过使用上述车辆的运动以及上述摄像机拍摄的空间被模型化后的空间模型，求得假定其为背景时的上述图像的光流场即背景流场；接近物检测部，其比较上述光流场和上述背景流场，检测在上述车辆周围的物体的接近运动。

根据本发明，因为背景流场是将摄象机图象假定为背景时的光流场，所以通过比较这个背景流场和从摄象机图象实际求得的光流场，能够高精度地检测车辆周围的物体的运动。又，例如即便车辆在曲线行进中，因为通过比较图象上的各个点上的背景流场和光流场进行检测，所以也能够正确地检测接近物体。又，即便关于从图象求得的光流场的大小变小那样的并行车辆和远方的接近物体，也因为这个光流场与图象上的这个点的背景流场具有很大的不同，所以可以容易地进行检测。

根据本发明的第2样态，上述空间模型是根据上述摄象机拍摄的各物体的距离数据生成的。

根据本发明的第3样态，由设置在该车辆上的障碍物传感器测定上述距离数据。

根据本发明的第4样态，上述空间模型至少包含使行进路面模型化的路面模型。

根据本发明的第5样态，上述空间模型至少包含假定对行进路面垂直的壁面的壁面模型。

根据本发明的第6样态，假定上述壁面是在车辆的后侧方。

根据本发明的第7样态，所述接近物检测部在比较光流场和背景流场时，判定上述光流场的大小是否比所定值大，当比所定值大时，用角度差进行比较，另一方面当不比所定值大时，不用角度差进行比较。

根据本发明的第8样态，根据图象上的该位置中的背景流场的大小来设定上述所定值。

根据本发明的第9样态，所述接近物检测部通过比较光流场和背景流场，从上述光流场中，指定接近物体候补流场；根据与在近旁的上述接近物体候补流场的关系，生成接近物体候补区域；上述接近物体候补区域的面积，当比所定值小时，判断与这个接近物体候补区域有关的接近物体候补流场是噪声。

根据本发明的监视装置是用摄像机拍摄车辆周围的监视装置，其特征在于，包括：光流场检测部，其从上述摄像机拍摄的图像中求得光流场；空间流场推定部，其根据上述光流场、该车辆的运动和上述摄像机拍摄的空间被模型化后的空间模型，求得作为上述图像上的点在现实世界坐标上的运动即空间流场；接近物检测部，其根据上述空间流场，检测在该车辆周围的物体的接近运动。

根据本发明的监视方法，其特征在于，包括：从由摄像机拍摄车辆周围得到的图像求得光流场的第一步骤；通过使用上述车辆的运动以及所述摄像机拍摄的空间被模型化后的空间模型，求得假定其为背景时的上述图像的光流场即背景流场的第二步骤；比较上述第一步骤中求得的光流场和在上述第二步骤中求得的背景流场，检测在上述车辆周围的物体的接近运动的第三步骤。

附图说明

图1是表示与本发明的第1实施形态有关的监视装置的构成的方框图。

图2是用于说明自己车辆运动的推定方法的图，是用于说明地面指令模型的概念图。

图3是用于说明自己车辆运动的推定方法的图，是表示2维上的车辆运动的概念图。

图4是表示背景流场推定处理的流程的操作程序图。

图5是用于说明背景流场的推定方法的图，是表示车辆旋转时的运动的概念图。

图6是概念地表示接近物体检测部分的构成的方框图。

图7是表示流场比较部分的工作的操作程序图。

图8是表示除去噪声部分的工作的操作程序图。

图9是用于说明除去噪声部分中的处理的概念图。

图10是用于说明背景流场的推定方法的概念图。

图11是表示背景流场推定的其它例子的处理流程的操作程序图。

图12是表示背景流场推定的其它例子的处理流程的操作程序图。

图13是表示与本发明有关的背景流场的摄象机图象的例子。

图14是表示与本发明的第2实施形态有关的监视装置的构成的方框图。

图15是表示与本发明有关的空间模型的一个例子的图。

图16是表示图15的空间模型中的距离L与背景流场的关系的图。

图17是表示与本发明有关的空间模型的其它例子的图。

图18是表示图17的空间模型中的宽度W与背景流场的关系的图。

图19是表示与本发明的第2实施形态有关的背景流场推定的处理流程的操作程序图。

图20是用于说明与本发明的第2实施形态有关的背景流场的推定方法的图。

图21是用于说明与本发明的第2实施形态有关的背景流场的推定方法的图。

图22是用于说明与本发明的第2实施形态有关的背景流场的推定方法的图。

图23是用于说明与本发明的第2实施形态有关的背景流场的推定方法的图。

图24是设置在车辆上的摄象机拍摄的图象的例子。

图25是根据第1个已有例从图24的摄象机图象检测接近物体的结果的图。

图26是表示根据本发明从图24的摄象机图象检测接近物体的结果的图。

图27是表示与本发明有关的硬件构成的例子的图。

图28是表示与本发明的第3实施形态有关的监视装置的构成的方框图。

图29是用于说明在阶层化图象中的问题点的概念图。

图30是表示与本发明的第4实施形态有关的监视装置的构成的方框图。

图31是用于说明与本发明的第4实施形态有关的处理的图。

图32是用于说明与本发明的第4实施形态有关的处理的图。

图33是表示本发明中的障碍物传感器的设置位置的例子的图。

图34是拍摄车辆后方的摄象机图象的例子，是用于说明第1个已有例的曲线行进中的问题的图。

图35是表示摄象机图象与现实世界的3维坐标的关系的图。

图36是表示已有例中的摄象机图象与现实世界坐标系的关系的图。

图37是表示本发明中的摄象机图象与现实世界坐标系的关系的图。

图38是在曲线行进中的摄象机图象上重叠显示接近车辆的光流场的例子。

图39是图38的图象的背景流场。

图40是在摄象机图象上重叠显示减去背景流场得到的流场的例子。

图41是用于说明用摄象机图象检测车辆运动的方法的概念图。

其中：

1——车辆

2——摄象机

11——摄象机

12，12A——光流场检测部分

13——自己车辆运动推定部分

14，14A——空间模型推定部分

15——背景流场推定部分

16，16A——接近物体检测部分

51，52——障碍物传感器

Vi——光流场

T——车辆运动矢量

MS——路面模型

MW，MW1，MW2——壁面模型

具体实施方式

下面，我们参照附图说明本发明的实施形态。

(实施形态1)

在本发明的第1实施形态中，如下所示地对车辆周围进行监视。首先，用由摄象机拍摄车辆周围的图象，求得光流场。其次，推定摄象机图象上的点和现实世界3维坐标的对应关系作为“空间模型”。如图37所示，通过将透视投影变换用于这个空间模型，能够正确地实现摄象机图象上的点和现实世界3维坐标的对应。而且用这个空间模型和推定的自己车辆运动信息，通过计算可以求得假定图象上的各点不是移动物体而是背景时的光流场。这样求得的光流场称为“背景流场”。比较这个背景流场与从图象实际求得的光流场，检测接近物体。

即，因为通过正确考虑摄象机图象上的点和现实世界3维坐标的对应计算背景流场，所以根据本实施形态，与已有例比较，能够高精度地检测车辆周围的物体的运动。又，即便在曲线行进中，因为通过比较图象上的各个点上的背景流场和光流场进行检测，所以也能够正确地检测接近物体。又，即便关于从图象求得的光流场的大小变小那样的并行车辆和远方的接近物体，也因为这个光流场与这个点的背景流场具有很大的不同，所以在本实施形态中可以容易地进行检测。

图1是概念地表示与本实施形态有关的车辆用监视装置的基本构成的方框图。与本实施形态有关的车辆用监视装置，用摄象机11拍摄车辆周围，检测该车辆周围的物体的运动。具体地说如图1所示，作为基本构成，备有从由摄象机11拍摄的图象算出光流场Vi的光流场检测部分12、检测该车辆的运动的自己车辆运动检测部分13、推定摄象机11拍摄的空间的模型的空间模型推定部分14、根据自己车辆运动和空间模型推定背景流场Vdi的背景流场推定部分15、通过比较光流场Vi和背景流场Vdi，检测接近物体的接近物体检测部分16。

摄象机11典型地设置在自己车辆上，传感该车辆的周围状况。又，也可以与设置在自己车辆上的摄象机一起地或单独地使用安装在道路上和信号机、建筑物等的构架上的摄象机和安装在周围车辆上的摄象机。这在不能一眼望尽的交叉点等，从自己车辆难以看见接近车辆的状况等中是有效的。

<检测光流场>

光流场检测部分12从由摄象机11在不同时间拍摄的2个图象，检测表示在图象上看到的运动的矢量，即“光流场”。在检测光流场时，用图象的时间空间微分的约束方程式的斜率法、和利用样板匹配的块匹配法是广为人知的(浅田稔著“ダイナミツクシ一ンの理解”、pp.12-21、電子情報通信学会(“动态场面的理解”浅田稔著，电子信息通信学会))。这里用块匹配法。

块匹配法，因为一般进行全面探索，所以需要很长的处理时间。因此，为了削减处理时间广泛使用所谓的图象阶层化的方法(除剛、辻三郎共著、“3次元ビジヨン”、pp.111-115、共立出版(“3维视觉”除刚、迁三郎共著，共立出版))。即，从给予的图象，制作分别在纵横方向压缩到1/2，1/4，1/8，…的阶层化图象。通过这个图象的阶层化，在分辨率高(尺寸大)的图象中成为远离的2点，而在分辨率低(尺寸小)的图象中成为接近的2点。因此首先，对于分辨率低的图象进行样板匹配，结果只在求得的光流场的近旁，其次对分辨率高的图象进行样板匹配。通过重复这样的处理，最终，能够求得分辨率高的原图象中的光流场。而且，因为只进行局部探索就可以了，所以能够大幅度地削减处理时间。

<推定自己车辆>

自己车辆运动推定部分13求得自己车辆的左右两车轮的旋转速度和方向盘的舵角，从而推定自己车辆的运动。我们用图2和图3说明这种推定方法。此外，这里，用与不发生轮胎的横向滑动近似的所谓的满操纵模型(2轮模型)。

图2是表示满操纵方向盘的模型的图。当假定没有轮胎的横向滑动时，当打方向盘时，车辆以后轮3b轴的延长线上的点O为中心旋转。后轮3b中央的旋转半径Rs用前轮3a的切向角β和轴距1如(公式3)所示。

[公式3]

图3是表示2维上的车辆运动的图。如图3所示，后轮3b的中央从Ct移动到Ct+1时，它的移动量h用左右车轮速度V1，Vr、或后轮3b中央的旋转半径Rs和移动旋转角γ如(公式4)所示。

[公式4]

用(公式3)和(公式4)，移动旋转角γ如(公式5)所示。

[公式5]

所以，对于车辆的平面的旋转量α由(公式6)表示。

[公式6]

又，从Ct到Ct+1的移动矢量T，当取车辆行进方向为X轴，垂直方向为Y轴时，由(公式7)表示。

[公式7]

用(公式6)和(公式7)，如果知道车辆的左右车轮速度V1，Vr和方向盘舵β，则能够推定车辆的运动。

当然，不仅是车轮速度和方向盘舵信息，也可以用车速传感器、偏航速率传感器直接求得车辆的运动。进一步，也可以用GPS和地图信息求得车辆的运动。

<推定空间模型>

空间模型推定部分14推定对摄象机正在拍摄的空间进行模型化的空间模型。如上所述为了求得摄象机图象上的点和现实世界3维坐标的对应关系可以用空间模型。即，摄象机图象上的任意点，用(公式1)和(公式2)，能够与通过摄象机焦点位置的现实世界空间上的某条直线对应。通过求得这个现实世界空间上的直线与推定的空间模型的交点，能够将摄象机图象上的任意点映射到现实世界的3维坐标中。

这里，根据摄象机11拍摄的各物体的距离数据，生成空间模型。这个距离数据的测定，例如，能够通过或者利用两眼观测、运动立体法，或者当在车辆上设置用激光、超声波、红外线、毫米波等的障碍物传感器时利用它们来实现。

又，当用固定在建筑物等的构架上的摄象机时，因为摄象机拍摄的建筑物等的形状只有极小的变化，所以摄象机拍摄的空间的3维信息是已知的。这时，不需要推定空间模型，可以对每台摄象机预先确定已知的空间模型。

进一步，即便车辆上设置着摄象机的情形中，因为能够用GPS等正确地知道它的位置，所以通过对照现在位置和详细的地图数据，也可以推定空间模型。例如，当从GPS和地图数据知道车辆在隧道中行进时，能够从该隧道的和长度等的形状信息生成空间模型。这种形状信息既可以是在地图信息中预先具有的，也可以保持在隧道等的构架一侧，通过通信得到。例如，通过设置在隧道入口等的DSRC等的通信装置将隧道形状信息发射给进入隧道的车辆。当然，这种方法不限于隧道，一般地说，也可以用于高速公路、住宅区或停车场等。

<推定背景流场>

背景流场推定部分15检测当假定与空间模型对应的点不动，即不是移动物体而是背景时的图象的运动(光流场)作为背景流场。

图4是表示背景流场推定部分15的工作的操作程序图，图5是假定车辆1沿曲线等旋转的状况的概念图。因为在图5中在车辆1上设置了摄象机2，所以摄象机2的运动和车辆1的运动是相等的。又，5是摄象机2拍摄的背景物体。

首先，用空间模型推定部分14推定的空间模型，将时刻t-1拍摄的摄象机图象上的任意点(PreXi，PreYi)映射到现实世界3维坐标(Xw，Yw，Zw)(S11)。这时，用(公式1)所示的透射投影变换式和(公式2)所示的坐标变换式。此外，在(公式2)中的现实世界坐标系中的摄象机的焦点位置是在时刻t-1的摄象机2的焦点位置。

其次，根据由自己车辆运动推定部分13推定的从时刻t-1到时刻t的车辆1的移动量h，求得在时刻t的现实世界中的自己车辆位置，即在现实世界坐标系中的摄象机2的焦点位置(步骤S12)。而且，根据在这个现实世界坐标系中的摄象机2的焦点位置，变更(公式2)的各常数r(步骤S13)。通过重复这种处理，在(公式2)中的现实世界坐标系中的摄象机的焦点位置不断被更新，总是表示正确的位置。

进一步，用(公式1)和经过更新的(公式2)，将在步骤S11求得的现实世界坐标(Xw，Yw，Zw)再次映射到摄象机图象上的点(NextXi，NextYi)(步骤S14)。这样求得的摄象机坐标(NextXi，NextYi)表示当假定是从时刻t-1到时刻t之间不动的背景物体5的一点时的时刻t的摄象机图象上的位置。因此，作为当假定时刻t-1的摄象机图象上的点(PreXi，PreYi)是背景的一部分时的背景流场，求得(NextXi-PreXi，NextYi-PreYi)(步骤S15)。

此外，这里为了说明简单起见，以车辆沿曲线运动的情形为例进行说明，但是即便在直线行进和停车时等，也能够用同样的方法，求得背景流场。

<检测接近物体>

图6是概念地表示接近物体检测部分16的构成的方框图。在图6中，流场比较部分16a比较由光流场检测部分12从摄象机图象实际求得的光流场Vi和由背景流场检测部分15求得的背景流场Vdi，检测接近物体候补流场。而且，除去噪声部分16b从由流场比较部分16a求得的接近物体候补流场除去噪声，只检测接近物体的流场。

图7是表示流场比较部分16a的工作的操作程序图。这里，比较光流场Vi和背景流场Vdi，原则上是用它们的度差进行的。可是，当光流场Vi的大小变小时，因为它的方向信息的可靠性降低，不能保持判别的精度。例如，与自己车辆大致等速度并行行进的其它车辆有关的光流场Vi，大小非常小，并且它的方向与拍摄定时相应向着自己车辆或者向着反对方向，时刻在变化着。因此，在本实施形态中，当光流场Vi的大小比所定值小时，不用度差，通过用别的比较基准(S43)，提高判别的可靠性。

具体地说，首先调查光流场Vi的大小(S41)。因为考虑到当光流场Vi十分大时(比所定值TH_Vi大时)，光流场Vi对于方向信息具有充分的可靠性，所以用度差进行与背景流场Vdi的比较(S42)。即，当光流场Vi与背景流场Vdi的度差的绝对值在所定值Th_Arg以上时，因为考虑到这个光流场Vi与背景流场Vdi不同，所以判别为接近物体的流场(S44)。又，当度差的绝对值十分小时(S42中“否”)，因为这个光流场Vi与背景流场Vdi接近，所以判别为不是接近物体的流场(S45)。此外，最好阈值TH_Vi约为0.1[Pixel]，阈值TH_Arg约为π/2。这里，当在步骤S41中判断为“是”时，只用度信息，不用大小信息，这是因为不将离开自己车辆的移动物体判别为接近物体。当然，也可以将流场的矢量差的绝对值用作判别基准。

又，当光流场Vi没有充分大的值时(S41中为“否”)，不能够用度差进行与背景流场的比较。因此，这时着眼于流场的大小。即，判定光流场Vi与背景流场Vdi的矢量差的绝对值是否在所定值TH_Vdi以上(S43)，当在所定值TH_Vdi以上时判别为接近物体的流场(S44)。当不是时判别为不是接近物体的流场(S45)。光流场Vi的大小小，并且作为它是接近物体的状况，考虑下面2种状况：

1.接近物体与自己车辆大致相等速度地并行行进，

2.接近车辆向远方行进，

但是因为在无论哪种状况中都能够正确地求得背景流场Vdi，所以能够高精度地判别接近物体。此外，最好阈值TH_Vdi约为0.1[Pixel]。

又，在步骤S43，着眼于光流场Vi的大小十分小，也可以不将光流场Vi与背景流场Vdi的矢量差的绝对值与所定值比较，而是只将背景流场Vdi的大小与所定值比较。这时，当背景流场Vdi十分大时，可以判别为接近物体的流场，如果十分小则可以判别为不是接近物体的流场。

又，也可以设定在这里的流场比较中用的阈值TH_Vi，TH_Arg，TH_Vdi作为图象上的位置的函数。例如，在背景流场Vdi小的位置，使阈值TH_Vi，TH_Vdi小，在背景流场Vdi大的位置，使阈值TH_Vi，TH_Vdi大。因此，一面能够抑制噪声的影响，并且一面即便在远方也能够进行正确的判断。

图8是表示除去噪声部分16b的工作的操作程序图。因为在由流场比较部分16a检测为接近物体流场的流场中包含噪声，所以当将这些都检测为接近物体时，引起检测精度的恶化。因此，除去噪声部分16b进行噪声和接近物体的模型化，通过将这个模型与由流场比较部分16a检测出的接近物体流场(接近物体候补流场)比较，只检测接近物体。

首先，当接近物体候补流场是噪声时，无论时间地还是空间地，都不应该连续地进行检测。可是，当接近物体候补流场不是噪声而是与实际接近物体有关的流场时，因为接近物体具有某种程度的大小，所以类似的接近物体候补流场应该在空间上占据与接近物体大小相当的区域。

因此，与在近旁的接近物体候补流场有关，连结与有关的接近物体候补流场有关的区域，将连结的区域作为接近物体候补区域Ai(S51)。而且，求得该接近物体候补区域Ai的面积Si(S52)，比较这个面积Si与所定值TH_Si(S53)。这里，当接近物体候补区域Ai远离摄象机时设定所定值TH_Si小，另一方面，当接近物体候补区域Ai接近摄象机时设定所定值TH_Si大。当面积Ai比所定值TH_Si小时(在S53中为“否”)，判断区域Ai是噪声(S54)。另一方面，当面积Si在所定值TH_Si以上时进行到步骤S55。

在步骤S55，进行由于接近物体的模型化引起的噪声的除去处理。当考虑在车辆上设置摄象机时，接近物体是汽车和摩托车、自行车等，但是无论什么样的接近物体都是在路面上行进的物体。因此，判定接近物体候补区域Ai是否存在于空间模型的路面上(S55)，当不存在时判断区域Ai为噪声(S54)，进行下一个帧的处理。另一方面，当接近物体候补区域Ai的至少一部分存在于路面上时，进行到步骤S56。

在步骤S56，进行时间方向的抽选运算处理。因为接近物体不能在画面上突然出现，或者突然消失，所以这个区域应该连续存在数个帧。图9是表示直线行进时其它车辆从后方接近的状况。在现在时刻t，如图9(a)的左图所示，因为拍摄到接近车辆，所以如图9(a)的右图所示检测出接近物体候补区域At。又，在比现在时刻t稍前一些的时刻t-1，t-2，…，t-N，分别如图9(b)，(c)，(d)所示检测出接近物体候补区域At-1，At-2，…，At-N。这里，当使时间间隔十分小时，因为接近车辆6在画面上没有大的运动，所以区域At-1，At-2，…，At-N的一部分与区域At重叠。与此相反，当接近物体候补区域是由摄象机的振动等引起而产生时，应该只能在短时间中检测出这个候补区域。

因此，在与接近物体区域候补Ai对应的它前面数个帧的区域中，比较接近物体区域候补存在的比例与所定值(S56)。而且，当这个比例比所定值低时，因为接近物体候补区域Ai是接近物体的可能性很小，所以保持这个接近物体候补区域Ai(S57)，进行下一个帧的处理。另一方面，当在它的前面数个帧中接近物体区域候补存在的比例比所定值高时，判断这个接近物体候补区域Ai是由接近物体引起的，进行下一个帧的处理(S58)。例如，当在前10个帧中检测出6次以上时，判断为接近物体。

又，当假定向车辆前方和后方设置摄象机，并且接近物体只是乘用车辆时，由摄象机拍摄的接近物体的图象只是从前方或后方看到乘用车辆的图象。因此，能够将接近物体区域的大小限定为宽度约2m，从路面算起的高度约1.5m。因此，也可以将接近物体候补区域设定在这个大小上，为了使区域内存在的接近物体流场的个数成为最大，而设定接近物体候补区域的位置。这时，根据接近物体候补区域中包含的接近物体流场的个数是否比所定值大，能够判定是接近物体还是噪声。也可以代替步骤S51～S53进行这样的处理。

当如上所述地根据本实施形态时，通过比较背景流场和从摄象机图象实际求得的光流场，能够高精度地检测车辆周围的物体的运动。

又，例如即便车辆在曲线行进中，因为通过比较在图象上的各点上的背景流场和光流场进行检测，所以，能够正确地检测出接近物体。又，即便关于从图象求得的光流场的大小变小那样的并行车辆和远方的接近物体，因为它的光流场与在图象上的该点的背景流场具有很大的不同，所以可以容易地进行检测。

<推定背景流场的其它例子>

(其一)

如图5所示，当摄象机2以旋转半径Rs和旋转γ运动，由摄象机2拍摄的物体5完全不动时，这时求得的光流场，如图10所示，与摄象机2不动，但是当由摄象机2拍摄的所有物体5以旋转γ运动时求得的光流场相等。即，摄象机在现实世界坐标系中只以矢量V移动时求得的光流场与由摄象机拍摄的所有物体只以矢量(-V)移动时求得的光流场相等。

因此，也可以不根据摄象机的运动求得背景流场，而通过假定摄象机固定不动，使空间模型运动求得背景流场。图11是表示这种情形的背景流场推定的处理的操作程序图。

首先，与图4的步骤S11相同，用由空间模型推定部分14推定的空间模型，将在时刻t-1拍摄的摄象机图象上的点(PreXi，PreYi)映射到现实世界3维坐标(PreXw，PreYw，PreZw)(S21)。这时，用(公式1)所示的透射投影变换式和(公式2)所示的坐标变换式。

其次，根据由自己车辆运动推定部分13推定的从时刻t-1到时刻t的车辆1的移动量h，使在步骤S21求得的现实世界坐标(PreXw，PreYw，PreZw)相对于车辆1移动。即，用与移动量h有关的旋转中心坐标O和旋转γ旋转现实世界坐标(PreXw，PreYw，PreZw)，求得现实世界坐标(NextXw，NextYw，NextZw)(S22)。进一步，用(公式1)和(公式2)，将在步骤S22中求得的现实世界坐标(NextXw，NextYw，NextZw)再映射到摄象机图象上的点(NextXi，NextYi)(步骤S23)。而且，与图4的步骤S15相同，求得(NextXi-PreXi，NextYi-PreYi)作为背景流场(步骤S24)。

此外，因为也可以说在步骤S22求得的(NextXw，NextYw，NextZw)是从时刻t-1的空间模型预测的在时刻t的空间模型，所以通过继续这种处理也可以更新空间模型。或者，也可以只对由接近物体检测部分16判定为背景的部分，进行这种空间模型的更新处理，关于除此以外的区域由上述方法重新求得空间模型。

(其二)

上述2种方法中的无论哪一个，将摄象机图象上的点变换到现实世界3维坐标，在现实世界坐标系中用假定的空间模型进行处理。与此相反，也可以在摄象机坐标系中进行所有的处理。图12是表示这种情形的背景流场推定的处理的操作程序图。这时，需要在摄象机坐标系中记述空间模型。因为摄象机坐标系与现实世界坐标系1对1地对应，所以在现实世界坐标系中假定的空间模型，按照(公式2)，能够容易地变换到摄象机坐标系。

首先，用在摄象机坐标系中记述的空间模型，将在时刻t-1拍摄的摄象机图象上的任意点(PreXi，PreYi)映射到摄象机坐标系中的3维位置(PreXc，PreYc，PreZc)(S31)。这时，用(公式1)所示的透射投影变换式。

其次，根据由自己车辆运动推定部分13推定的从时刻t-1到时刻t的车辆1的移动量h，使在步骤S31求得的摄象机坐标(PreXc，PreYc，PreZc)相对于车辆1移动。即，用与移动量h有关的摄象机图象系中的旋转中心坐标C和旋转γc旋转摄象机坐标(PreXc，PreYc，PreZc)，求得摄象机坐标(NextXc，NextYc，NextZc)(S32)。进一步，用(公式1)，将在步骤S32中求得的摄象机坐标(NextXc，NextYc，NextZc)再映射到摄象机图象上的点(NextXi，NextYi)(步骤S33)。而且，与图4的步骤S15相同，求得(NextXi-PreXi，NextYi-PreYi)作为背景流场(步骤S34)。

这样，为了从摄象机图象变换到现实世界3维坐标系，或者，从摄象机图象变换到摄象机坐标系，可以利用空间模型。因此，也可以记述空间模型，作为从摄象机图象变换到现实世界3维坐标系的变换式，或者，从摄象机图象变换到摄象机坐标系的变换式。

图13是用箭头表示与本发明有关的背景流场的摄象机图象的例子。如已经说明的那样，背景流场成为用于与实际从摄象机图象求得的光流场进行比较，成为接近物体的检测基准。如从图13看到的那样，背景流场成为考虑行进路面的曲线的背景流场。即，本发明，与已有技术比较，即便在曲线行进时也可以高精度地检测接近物体，这能够从图13直观地理解到。

当根据本发明时，只可以正确地检测接近自己车辆过来的物体。而且，用这个检测结果，例如，能够又显示只强调接近车辆的图象，又用声音和图象、方向盘和椅子的振动、点亮LED那样的危险警报灯等发出警报。进一步，也可以当发生危险状况时，自动控制方向盘的操纵和刹车，避免与接近车辆发生接触和碰撞。

这里，我们说明利用背景流场的强调显示。

图38是在曲线行进中的后方图象上只重叠显示与接近车辆对应的光流场的例子。在图38中，与自己车辆只离开大致等距离的车辆A，B正在以大致等速度地接近。如图38所示，关于曲线外侧的车A，根据重叠显示的光流场(箭头)，利用者能够认识到车A的接近。可是，关于曲线内侧的车B，光流场大致为0，利用者不能认识到车B的接近。这样，在曲线行进中，存在着只用简单地重叠显示光流场，不能认识到接近物体存在的情形。

其原因是由于自己车辆曲线行进产生的背景流场和由于接近车辆运动产生的流场相互抵消。图39是图38的图象的背景流场。在图39中，箭头A2，B2分别是与车A，B的位置对应的背景流场。如从图39看到的那样，车B的位置上的背景流场B2与车B的运动方向相反。

因此，为了只使接近车辆的运动很显著，从求得的光流场矢量地减去背景流场，将得到的流场重叠显示在摄象机图象上。图40是它的显示例。与图38不同，一起显示接近车辆A，B的流场，所以，利用者能够确实地认识到接近车的存在。

当然，如上所述与接近物体流场连结求得接近物体区域，如后述的图26(b)所示，也可以在接近物体区域上描画一个框进行强调显示。进一步，因为考虑到接近物体流场和接近物体区域越大，接近车辆越接近，危险程度越高，所以也可以与接近物体流场和接近物体区域的大小相应地，切换框的颜色和粗细，线的种类等。

又，也可以代替图象，或者与图象一起，用声音发出警报。这时，当能够听到来自接近物体存在的位置方向的声音是很有效的。又，也可以与危险程度相应地改变声音的大小和旋律、拍子、频率等。例如，最好当有车从右后方慢慢地接近时，从驾驶者的右后方发出小的声音，当有车从左后方急速地接近时，最好从左后方发出大的声音。

又在上述实施形态中，从车轮的旋转速度和方向盘的舵推定自己车辆的运动。与此相反，也可以用设置在车辆上的摄象机的图象，检测车辆(摄象机自身)的运动。下面我们说明这个方法。

这里，假定作为静止平面的路面的公式是已知的，并且车辆的运动是微小的，从路面上的点在图象上的运动，推定车辆(摄象机)的运动参数。假定即便在车辆高速移动时，通过提高拍摄时的帧速率，因为摄象机的运动在画面之间变得很微小，所以这个假定不会失去一般性。

图41是用于说明本方法的模式图。如图41所示，由于摄象机的运动，静止平面上的点P的摄象机坐标系中的坐标值从PE＝(x，y，z)变到PE’＝(x’，y’，z’)。摄象机2的运动由旋转R(wx，wy，wz)和平行移动T(Tx，Ty，Tz)表示。即，摄象机2的运动由下列公式表示。

[公式12]

这里，静止平面由z＝ax+by+c表示时，关于在图象坐标上的点P的移动(u，v)→(u’，v’)，下列公式成立。

[公式13]

这里，在图象坐标上的对应点(u，v)，(u’，v’)和静止平面公式的系数a，b，c是已知的，当汇集未知参数(wx，wy，wz，tx，ty，tz)时，上述公式成为下列形式。

[公式14]

[公式15]

当其中令AC＝R时，能够用最小二乘法求得作为车辆运动的旋转和平行移动的项。

C＝(A^tA)^-1A^tR

(第2实施形态)

图14是概念地表示与本发明的第2实施形态有关的车辆用监视装置的基本构成的方框图。在图14中，在与图1共同的构成要素上附加与图1相同的标号，这里我们省略对它们的详细说明。与第1实施形态不同之处是在空间模型推定部分14A用由自己车辆运动推定部分13推定的自己车辆运动信息，推定比较单纯的空间模型这点上。

一般地说，在车辆行进的状况中，在路面上，存在着建筑物和电线杆、告示板、柱子等各种东西。因此，在摄象机11中，拍摄到路面、建筑物、电线杆、告示板、柱子，进一步天空等各种东西。这里，考虑用单纯的空间模型假定摄象机11拍摄到的各种东西的方法。

摄象机拍摄到的东西是各种各样的东西，但是当将摄象机设置在车辆后方向下时，存在着大致没有错误地可以拍摄到的东西。它是“车辆行进的路面”。因此，首先作为空间模型，用对车辆行进的路面进行模型化的“路面模型”。因为路面模型是无限延长行进路面的模型，所以只要斜率没有急剧的变化，就能够推定正确的路面模型。又，即便如坡路和上下激烈变化的道路那样地路面的斜率发生变化的情形中，通过用陀螺仪那样的传感器，也可以生成考虑到路面斜率的影响的路面模型。

可是，路面模型不一定能够用于摄象机图象上的所有区域。这是因为考虑到通常将摄象机设置在大致接近水平的状态中，所以这时，在比摄象机图象内的地平线高的区域内，不能反映出路面。当然也可以为了在摄象机图象的所有区域内反应出路面而配置摄象机，但是这时，因为摄象机能够监视的范围变得狭窄，所以不实用。

因此，在本实施形态中，除了路面模型外，还假定对行进路面垂直的壁面作为空间模型。我们将这个空间模型称为“壁面模型”。

图15是表示壁面模型的一个例子的图。在图15中，1是车辆，2是设置在车辆1上的摄象机，由从摄象机2延伸的2条直线包围的区域VA是摄象机2的拍摄区域。如图15所示，在只离开车辆1距离为L的后方，假定对行进路面垂直的壁面的壁面模型MW是最简单的。这个壁面模型MW假定，在摄象机2的视野范围VA中，能够覆盖不能够由路面模型MS覆盖的全部区域那样地充分地大。在摄象机2的视野范围VA中，存在于摄象机2和壁面模型MW之间的区域成为路面模型MS的区域。因此，当车辆1直线行进时，由摄象机2拍摄到的摄象机图象，如图所示，上部由壁面模型MW占据，下部由路面模型MS占据。

当用图15那样的壁面模型时，如何决定到壁面模型MW的距离L成为一个问题。图16是表示在右曲线中的背景流场的例子的图，各箭头表示求得的背景流场，白线表示路面上的白线。又，MWA是由壁面模型MW求得背景流场的区域，MSA是由路面模型MS求得背景流场的区域。在图16中，(a)表示当L十分长时的情形，(b)表示当L十分短时的情形，通过比较(a)和(b)，我们可以看到与距离L的大小对应的背景流场的变化。

即，当比较图16(a)和(b)时，首先我们看到在壁面模型区域MWA中的背景流场的大小具有很大的不同。可是，如上所述，因为在接近物体检测处理中加上称谓“接近物体的一部分与路面接触”的条件，所以如果能够正确地求得在路面模型区域MSA中的背景流场，则不一定需要正确地求得在壁面模型区域MSA中的背景流场。

又，我们看到路面模型和壁面模型的边界附近的区域BA中的背景流场在图16(a)和(b)中具有相当大的不同。这个边界区域BA也是当判定路面时很重要的区域，所以，根据如何设定到壁面模型MW的距离L，可能导致检测精度的恶化。

因此，作为别的壁面模型，如图17所示，假定在车辆1的两侧具有壁(MW1，MW2)那样的空间模型。这可以称为在高度无限的隧道中行进的状况。在摄象机2的视野范围VA内存在于左右壁面模型MW1，MW2之间的区域成为路面模型MS的区域。因此，当车辆1直线行进时，由摄象机2拍摄到的摄象机图象，如图所示，上部由左右壁面模型MW1，MW2占据，下部由路面模型MS占据。此外，在图17中，为了说明简单起见，使车辆1直线行进，但是当车辆曲线行进时，最好使壁面模型也与这条曲线的曲率相符地弯曲。

下面我们详细述说将图17所示的空间模型作为从摄象机图象到现实世界3维坐标系的变换式进行记述的情形。

首先，我们说明路面模型。当假定行进路面是没有斜率的平的路面时，路面模型成为现实世界3维坐标系的Xw-Yw平面。因此，当将这个平面关系式

Zw＝0

代入(公式1)，(公式2)时，能够用下列公式，将摄象机图象上的点P(Xi，Yi)变换到现实世界3维坐标系Pw(xw，Yw，Zw)。

[公式8]

公式8成为从路面模型中的图象坐标系到现实世界3维坐标系的变换式。

其次，我们说明壁面模型。使车辆1从时刻t-1到时刻t之间以旋转半径R旋转行进。将时刻t的车辆1的后轮中央位置定为现实世界3维坐标系的原点，旋转中心为(R，0，0)。但是，旋转半径R的符号可以取正负两者，当车辆1反时钟旋转时为正，顺时钟旋转时为负。

这时，壁面模型，因为在现实世界3维坐标系中，在Xw-Zw平面中的截面的中心为点(R，0，0)，是与Xw-Zw平面垂直的半径(R±W/2)的圆筒的一部分，所以由下列公式表示。

(Xw-R)²+Zw²＝(R±W/2)²

用这个公式和(公式1)，(公式2)，能够通过下列公式将摄象机图象上的P(Xi，Yi)变换到现实世界3维坐标系Pw(Xw，Yw，Zw)。

[公式9]

进一步，通过加上

1)在摄象机2后面不存在(Ze＞0)在摄象机图象中拍摄的物体

2)空间模型在比路面高的位置上(Yw≥0)

这样的条件，能够唯一地决定Pw(Xw，Yw，Zw)。(公式9)是作为从图象坐标系到现实世界3维坐标系的变换式表现出来的壁面模型。

又，当用图17那样的壁面模型时，如何决定在车辆左右的假定的壁面MW1，MW2之间的距离W成为一个问题。图18是表示在右曲线中的背景流场的例子的图，各箭头表示求得的背景流场，白线表示路面上的白线。又，MW1A是从摄象机2观看时由左侧的壁面模型MW1求得背景流场的区域，MW2A是从摄象机2观看时由右侧的壁面模型MW2求得背景流场的区域，MSA是由路面模型MS求得背景流场的区域。在图18中，(a)表示当W十分小时的情形，(b)表示当W十分大时的情形，通过比较(a)和(b)，我们可以看到与距离W的大小对应的背景流场的变化。

即，当比较图18(a)和(b)时，我们看到在左右壁面模型的边界附近的区域BA1中的背景流场的大小具有很大的不同。可是，如上所述，因为在接近物体检测处理中加上称谓“接近物体的一部分与路面接触”的条件，所以如果能够正确地求得在路面模型区域MSA中的背景流场，则即便在壁面模型区域MW1A，MW1B内的背景流场中产生误差，对于接近物体检测也不会成为大的问题。

即，在图17所示的壁面模型中，与图15所示的在摄象机后方假定壁面的情形不同，在壁面模型和路面模型的边界区域中，因为与壁面的间隔W的大小有关，在背景流场中不产生那么大的差，所以能够高精度地检测接近物体。例如，最好壁面的间隔W约为10m。

当然，壁面间的间隔W，能够通过利用激光、超声波、红外线或毫米波等的各种障碍物检测传感器进行测定，也可以用两眼观测、运动立体法进行测定。又，也可以利用路面的结构信息，从摄象机图象提取路面以外的区域，将该区域假定为壁面。进一步，也能够用测距传感器只测定空间模型的一部分，如这里说明那样地用平面和曲面对除此以外的区域进行模型化。又，也可以用摄象机图象和通信，求得现在车辆正在行进的道路的车道数，利用这个结果决定壁面间的距离W。作为从摄象机图象决定车道数的方法，例如，存在进行白线检测，用求得的白线条数决定车道数的方法等。

此外，空间模型的形状，也可以根据汽车驾驶导向系统那样的GPS信息和地图数据、或者时钟等产生的时刻数据、和车辆的雨刷、头灯等的工作数据等进行切换。例如，当从GPS信息和地图数据，知道车辆现在正在隧道中行进时，也可以求得存在天井那样的空间模型。或者，也能够通过安装在隧道入口等的DSRC等的通信装置，得到车辆在隧道中行进的信息。又，因为在隧道中行进时通常都打开了头灯，所以与时间数据和雨刷数据、头灯数据联动，例如，尽管不在夜间(从时间数据推定)，也不下雨(从雨刷推定)，当打开头灯时，也能够判断在隧道中行进，切换空间模型。

图19是表示与本实施形态有关的自己车辆推定部分13、空间模型推定部分14A和背景流场推定部分15的工作的操作程序图。首先，通过测定从时刻t-1到时刻t的车辆的左右两车轮的旋转脉冲和方向盘切，求得在时刻t的自己车辆的左右的车轮速度V1，Vr和前轮的切β(S61)。而且，从这样求得的车轮速度V1，Vr、切β和已知的轮距1，用上述的地面指令模型，按照(公式7)推定车辆的运动矢量T(S62)。

可是，到此应该全部求得时刻t-1以前的运动矢量。因此，通过与到此的运动矢量的结合，求得到时刻t-1的自己车辆的轨迹(S63)。图20表示这样求得的到时刻t-1的轨迹的例子。在图20中，T表示现在的运动矢量，TR表示通过与到此的运动矢量的结合求得的轨迹。

其次，推定空间模型(S64)。这里，用如上述图17所示的路面模型和壁面模型。即如图21所示，可以求得包含轨迹TR的平面作为路面模型MS，能够求得与在轨迹TR的左右只离开长度W/2位置上的路面模型MS垂直的壁面，作为壁面模型MW1，MW2。

其次，推定背景流场(S65～68)。首先，将在时刻t-1的摄象机图象上的任意点PreCi(PreXi，PreYi)映射到现实世界3维坐标PreRi(PreXw，PreYw，PreZw)(S65)。图22是表示这种处理的图。度θ是摄象机2的画面。如上所述，只用(公式1)，(公式1)所示的透射投影变换式，只知道在通过摄象机2的焦点的直线LN上的对应关系，不能够将摄象机图象上的点PreCi映射到现实世界坐标系的一点上。但是当假定车辆1正在推定的空间模型内行进时，能够求得点PreRi，作为这条直线LN和空间模型(图22中MW2)的交点。

其次，通过只以现在的运动矢量T使车辆1运动，求得在时刻t的自己车辆的位置，为了与这个位置符合而更新坐标变换式(公式2)的参数(S66)。而且，在这个摄象机位置上计算现实世界坐标PreRi是否映射到摄象机图象上的哪个位置。从现实世界坐标到摄象机图象上的变换，能够通过用(公式1)和更新后的(公式2)来实现。将这样求得的摄象机图象上的点作为NextCi(NextXi，NextYi)(S67)。图23是模式地表示这里的处理的图。

这里求得的NextCi(NextXi，NextYi)表示当假定点PreRi在从时刻t-1到时刻t之间不动，即作为背景物体上的点时的，在时刻t的摄象机图象上的位置。因此，能够求得当假定时刻t-1的摄象机图象上的点PreCi是背景的一部分时的背景流场BFL，为(NextXi-PreXi，NextYi-PreYi)(S68)。通过对摄象机图象上的所有的点进行这样的处理，能够求得图13所示的背景流场。

与本实施形态有关的进行接近物体检测的例子如图24～图26所示。图24是由设置在车辆后方的摄象机拍摄的图象。车辆在交叉点右拐时，来自后方的白色乘用车VC1正在接近。此外，在图象上运动的物体只是白色乘用车VC1，乘用车VC2，VC3正在停止中。

这里，我们考虑上述的第1已有例。在第1已有例中，首先如图25(a)所示，在水平方向分割设定区域L和区域R。而且，在检测出的光流场中，在区域L检测向左或左下方向的东西，在区域R检测向右或右下方向的东西作为接近物体。

这里，在区域L内假定区域AR1，AR2。在区域AR1中包含作为接近物体的乘用车VC1，在区域AR2中包含正在静止中的乘用车VC2。但是，因为区域AR1内的乘用车VC1持有箭头所示的右下方向的光流场，所以不能作为接近物体检测出来。另一方面，区域AR2内的乘用车VC2，因为该车辆正在曲线上行进，所以具有箭头所示的左方向的光流场，因此能够作为接近物体检测出来。图25(b)表示进行这种处理的结果，由矩形包围的区域是作为接近物体检测出来的区域。这样，在第1已有例中，不能够很好地进行在曲线上的接近物体的检测。

另一方面，根据本实施形态，如图26(a)的箭头所示可以求得区域AR1，AR2中的背景流场。即，在包含作为接近物体的乘用车VC1的区域AR1中，光流场如图25(a)所示向右下方向，与此相对，背景流场如图26(a)所示向左方向，是完全不同的。因此，可以判别区域AR1是接近物体。另一方面，在包含正在静止中的乘用车VC2的区域AR2中，光流场如图25(a)所示向左方向，但是背景流场也同样如图26(a)所示向左方向，非常相似。因此，可以判别区域AR2不是接近物体，而是背景。图26(b)表示进行这种处理的结果，由矩形包围的区域是作为接近物体检测出来的区域。这样，根据本发明，与已有例不同，可以确实地检测即便在曲线上的接近物体。

此外，在日本2000年公布的2000-74645号专利公报和日本2001年公布的2001-266160号专利公报中记载着利用路面模型的车辆用监视装置。可是，在这些技术中，不能够如本发明那样，为了求得背景流场而用路面模型。又，不以检测曲线行进时的接近物体为目的，与本专利申请的发明的课题不同。

当具体地进行说明时，首先在前者，检测从监视区域内的其它车辆产生的光流场，用检测出的光流场监视自己车辆和周围其它车辆的相对关系。这种技术的特征是，为了缩短处理时间，限定检测光流场的区域，为了实现这一点，利用路面模型。即，如本发明那样不一定将空间模型用于检测接近物体流场。实际上，在这种技术中，因为将利用上述第5个已有例所示的假想的FOE的方法用于检测在曲线上的接近物体流场，所以具有与第5个已有例同样的问题。即，不能够在不是白线的曲线上正确地检测接近物体。

又，后者利用画面上各点的3维运动。即，首先，关于画面上各点，求得作为画面上的2维运动的光流场。而且，根据求得的光流场和车辆运动信息，计算各点的在现实世界中的3维运动。通过时间地追踪这个3维运动，推定实际上车辆行进的空间的空间模型。在这样推定的空间模型中，检测与路面运动不同的东西作为障碍物。但是，在这种技术中，存在着为了3维地完全求得各点的运动，需要非常高的计算成本那样的问题，很难实现。

<硬件构成例>

图27是表示用于实现本发明的硬件构成的一个例子的图。在图27中，例如在图象处理装置20中通过由图象输入部分21将由设置在车辆后方的摄象机2拍摄的图象变换成数字信号，存储在帧存储器22中。而DSP23从存储在帧存储器22中的经过数字化的图象信号检测光流场。通过总线43将检测出的光流场供给微型计算机30。另一方面，车速传感器41测定车辆的行进速度，舵传感器42测定车辆的行进舵。通过总线43将表示测定结果的信号供给微型计算机30。

微型计算机30备有CPU31、存储所定的控制用程序的ROM32和存储由CPU31计算的结果的RAM33，判定摄象机2拍摄的图象内是否存在接近物体。

即，CPU31首先从由车速传感器41和舵传感器42供给的行进速度信号和舵信号，推定车辆的运动。其次，根据推定的车辆运动，推定车辆至此行进的轨迹。因为将过去的轨迹信息存储在RAM33中，所以CPU31通过将推定的车辆运动与存储在RAM33中的过去的轨迹信息结合起来，求得直到该时刻的轨迹。将这个新的轨迹信息存储在RAM33中。

而且，CPU31用存储在RAM33中的轨迹信息，推定空间模型，求得背景流场。而且，通过比较求得的背景流场和从图象处理装置20供给的光流场，检测接近物体的流场，检测接近物体。

(第3实施形态)

图28是概念地表示与本发明的第3实施形态有关的车辆用监视装置的基本构成的方框图。在图28中，在与图1共同的构成要素上附加与图1相同的标号，这里我们省略对它们的详细说明。与第1实施形态不同之处是光流场检测部分12A用由背景流场推定部分15推定的背景流场检测光流场这点上。因此，能够达到削减光流场计算时间和提高精度的目的。

作为摄象机图象上的物体运动的光流场Vi，如下式所示，用由对象物体实际运动产生的运动Vb和由摄象机自身的运动产生的相对运动Vc之和表示。

Vi＝Vb+Vc

这里，当对象不动，即作为背景时，Vb为0，Vc等于背景流场。又，当对象是正在移动的物体时，Vb与对象物体的移动矢量有关，但是Vc大致等于背景流场。这表示，当对象物体的移动量不太大时，这个光流场存在于背景流场的近旁。因此，当求光流场时，通过只检索背景流场的近旁，能够达到使探索区域变得狭窄，削减计算时间的目的。

又，用同样的方法，也能够提高光流场的检测精度。这在将阶层化图象用于检测光流场的情形中特别有效。如上所述，为了削减计算时间用阶层化图象，但是阶层越在上面位置，图象分辨率越低，因此，在样板匹配中产生误差的可能性增大。而且如果在上面位置的阶层中产生误差，发生错误的检测时，该误差不被下面位置的阶层吸收，所以，检测出与实际不同的光流场。

图29是模式地表示在阶层化图象中的块匹配结果的图。在图29中，图象1是缩小作为原图象的图象0乘上LPF的图象，图象2是进一步缩小图象1乘上LPF的图象。图象内的各矩阵表示进行了匹配的矩阵，其中的数字表示该块G和样板块F的差分评价函数的值。即，当令块的大小为m×n，样板块F的各象素的亮度为f(i，j)，该块G的各象素的亮度为g(x，y，i，j)时，差分评价函数E(x，y)由(公式10)或(公式11)表示。

[公式10]

[公式11]

即，这个差分评价函数E(x，y)的值为最小的块是与样板块F对应的块，与这个图象中的光流场对应。

首先，在分辨率最低的图象2中进行块匹配。现在，当样板块F是向图象的右上方向移动的块时，按理与块G(1，-1)的匹配性最高，差分评价函数E(1，-1)应该成为最小。可是，由于阶层化引起分辨率降低和结构、开口问题等的影响，如图29所示，E(-1，1)成为最小。这样一来，在图象1中，设定与图象2的块G(-1，1)对应的块作为探索块，进一步其中设定与差分评价函数值成为最小的块对应的块作为图象2中的探索区域。但是，在这个探索区域内不存在与正确的光流场对应的块，所以，检测出错误的光流场。

这里在本实施形态中，当分辨率最高的原图象0中块匹配时，通过也将背景流场近旁的块加到探索区域中，解决这个问题。如上所述，在背景流场近旁存在光流场的可能性很大。又，对于接近物体流场检测，光流场与背景流场的不同变得很重要，但是换句话说，当在背景流场近旁不存在光流场时，将该光流场称为移动物体。即，通过使背景流场近旁进入探索区域，能够判别光流场是否是背景。例如，当在背景流场近旁存在差分评价函数值为最小的块时，与它有关的光流场是背景，但是当差分评价函数值比背景流场近旁小的块存在于背景流场近旁以外时，能够判别该光流场是移动物体。

(第4实施形态)

图30是概念地表示与本发明的第4实施形态有关的车辆用监视装置的基本构成的图。在图30中，在与图1共同的构成要素上附加与图1相同的标号，这里我们省略对它们的详细说明。与第1实施形态不同之处是省去背景流场推定部分15，接近物体检测部分16A求得对象物体的空间运动，检测接近物体这点上。在接近物体检测部分16A，3维运动推定部分16c用由光流场检测部分12从摄象机图象实际求得的光流场Vi、由自己车辆运动推定部分13求得的该车辆的运动矢量T和由空间模型推定部分14推定的空间模型，求得不是光流场那样的平面的运动而是对象物体的空间运动。

现在我们参照图31和图32，说明3维运动推定部分16c中的处理。图31是模式地表示时刻t-1的车辆1和空间模式的关系的图，假定与图17同样的空间模式MS，MW1，MW2。但是，空间模式是在现实世界的3维坐标系中表现出来的。又，摄象机2拍摄的摄象机图象也一起如图所示。这里如上所述，能够通过用透视投影变换式(公式1，公式2)和空间模式MS，MW1，MW2，求得将摄象机图象上的任意点Ci投影到现实世界3维坐标系上的点Ri。又，T是由自己车辆运动推定部分13求得的，从时刻t-1到时刻t的车辆1的运动矢量。

图32是模式地表示时刻t的车辆1和空间模式的关系的图。一般地说，当时刻变动时空间模式变化。这里，从光流场检测部分12，看到在时刻t-1的点Ci与在时刻t的点NextCi对应。这时，与对于点Ci的点Ri同样，能够求得将在时刻t的点NextCi投影到现实世界3维坐标上的点NextRi。因此，能够如下列公式所示地求得点Ri直到在时刻t运动的矢量VRi。

VRi＝NextRi-Ri

可是，因为求得从时刻t-1到时刻t的车辆1的运动作为矢量T，所以通过求得矢量(VRi-T)，能够求得摄象机图象上的点Ci的在现实世界3维坐标上的运动，即空间流场。通过对摄象机图象上的所有的点进行这种处理，能够求得摄象机图象上的所有的点的现实世界3维坐标上的运动。

当然，空间模型也可以如第1实施形态那样通过各种传感器和通信求得，也可以用其它的空间模型。

接近物体流场检测部分16d，根据由3维运动推定部分16c求得的摄象机图象上各点的现实世界3维坐标系中的运动，即空间流场，判断该点是否正在接近自己车辆。即，判定当矢量(VRi-T)向着车辆时，点Ci是接近物体的流场。当矢量(VRi-T)不向着车辆时，点Ci不是接近物体的流场。

进一步，通过由除去噪声部分16e，进行与第1实施形态有关的除去噪声部分16b同样的处理，能够检测接近物体。

在到此为止的说明中，假定空间模型是在现实世界3维坐标系中记述的，但是代替它，也可以在摄象机坐标系中表现出来。这时，摄象机图象上的点Ci，NextCi分别与摄象机坐标系中的点Ri，NextRi对应。摄象机坐标系的原点，因为只进行与从时刻t-1到时刻t之间车辆1的运动矢量T相当的运动，所以摄象机图象上的点Ci的运动矢量VRi能够如下地求得。

VRi＝NextRi-Ri-T

判定当这个矢量VRi向着原点时，点Ci是接近物体的流场，当这个矢量Vri不向着原点时，点Ci不是接近物体的流场。通过对摄象机图象上的所有的点进行这种处理，能够通过除去噪声部分16c进行除去噪声处理，检测接近物体。

<与障碍物传感器的兼用>

本发明是用图象信息检测接近物体。因此，当与利用激光、红外线、毫米波等的障碍物传感器的情形比较时，可以进行接近物体正在接近还是正在远离那样的复杂检测。可是，当车辆近旁存在障碍物时，与这种复杂的信息比较，最早地正确地检测出是否存在障碍物的单纯的信息很重要。

因此，也可以由障碍物传感器检测车辆近旁的区域，关于除此以外的广泛区域，用与本发明有关的方法检测障碍物。因此，可以高速并且正确地进行车辆周围的监视。

图33是表示障碍物传感器的设置例的图。在图33(a)中，将用激光、红外线、毫米波等的障碍物传感器51安装在车辆1的减震器和标志牌等等上。又，在图33(b)中，在碰撞事故可能性最大的车辆1的四个上设置障碍物传感器52。设置障碍物传感器52的位置也可以在减震器的下面和下面，或者组入减震器和车辆自身中。

又，障碍物传感器，因为受到下雨等气候的很大影响，所以当从方向指示灯的工作信息等认识到下雨时，也可以中止利用障碍物传感器，而用与本发明有关的方法。因此，可以提高检测精度。

又，关于用与本发明有关的方法检测出存在接近物体的区域，也可以再次由障碍物传感器进行检测。因此，能够提高接近物体的检测精度，

Xc = \frac{XiZc}{f}, Yc = - \frac{YiZc}{f}

公式1

(\begin{matrix} Xw \\ Yw \\ Zw \\ 1 \end{matrix}) = (\begin{matrix} r_{11} & r_{12} & r_{13} & t_{x} \\ r_{21} & r_{22} & r_{23} & t_{y} \\ r_{31} & r_{32} & r_{33} & t_{z} \\ 0 & 0 & 0 & 1 \end{matrix}) (\begin{matrix} Xc \\ Yc \\ Zc \\ 1 \end{matrix})

公式2

Rs = \frac{1}{\tan β}

公式3

h = &Integral; \frac{V 1 + Vr}{2} dt = Rs \cdot γ

公式4

γ = \frac{1}{Rs} &Integral; \frac{V 1 + Vr}{2} dt = \frac{\tan β}{1} &Integral; \frac{V 1 + Vr}{2} dt

公式5

α = γ = \frac{\tan β}{1} &Integral; \frac{V 1 + Vr}{2} dt

公式6

T = (Rs \sin γ, Rs (1 - \cos γ)) = \frac{1}{\tan β} (\sin γ, 1 - \cos γ)

公式7

(\begin{matrix} Xw \\ Yw \\ Zw \end{matrix}) = (\begin{matrix} - \frac{(\frac{Xi}{f} r_{11} - \frac{Yi}{f} r_{12} + r_{13}) t_{z}}{\frac{Xi}{f} r_{31} - \frac{Yi}{f} r_{32} + r_{33}} + t_{x} \\ - \frac{(\frac{Xi}{f} r_{21} - \frac{Yi}{f} r_{22} + r_{23}) t_{z}}{\frac{Xi}{f} r_{31} - \frac{Yi}{f} r_{32} + r_{33}} + t_{y} \\ 0 \end{matrix}), Zc = \frac{- t_{z}}{\frac{Xi}{f} r_{31} - \frac{Yi}{f} r_{32} + r_{33}}

公式8

(\begin{matrix} Xw \\ Yw \\ Zw \end{matrix}) = (\begin{matrix} aZc + t_{x} \\ bZc + t_{y} \\ cZc + t_{z} \end{matrix})

其中，

a = \frac{Xi}{f} r_{11} - \frac{Yi}{f} r_{12} + r_{13}, b = \frac{Xi}{f} r_{21} - \frac{Yi}{f} r_{22} + r_{23}, c = \frac{Xi}{f} r_{31} - \frac{Yi}{f} r_{32} + r_{33},

Zc = \frac{a (R - t_{x}) - c t_{z} &PlusMinus; \sqrt{{a (t_{x} - R) + c t_{z}}^{2} - (a^{2} + c^{2}) {{t_{x}}^{2} + {t_{z}}^{2} - {(\frac{W}{2})}^{2} - 2 R (t_{x} + \frac{W}{2})}}}{a^{2} + c^{2}}

公式9

E (x, y) = Σ_{i = 1}^{m} Σ_{j = 1}^{n} | g (x, y, i, j) - f (i, j) |

公式10

E (x, y) = Σ_{i = 1}^{m} Σ_{j = 1}^{n} {(g (x, y, i, j) - f (i, j))}^{2}

公式11

(\begin{matrix} x^{'} \\ y^{'} \\ z^{'} \\ 1 \end{matrix}) &cong; (\begin{matrix} 1 & wz & - wy & t_{x} \\ - wy & 1 & wx & t_{y} \\ wy & - wx & 1 & t_{z} \\ 0 & 0 & 0 & 1 \end{matrix}) (\begin{matrix} x \\ y \\ z \\ 1 \end{matrix}),

(\begin{matrix} t_{X} \\ t_{Y} \\ t_{Z} \end{matrix}) &cong; (\begin{matrix} 1 & wz & - wy \\ - wz & 1 & wx \\ wy & - wx & 1 \end{matrix}) (\begin{matrix} - Tx \\ - Ty \\ - Tz \end{matrix})

公式12

u^{'} = \frac{(1 - a^{'} t_{X}) u + (wz - b^{'} t_{X}) v + (- wy + c^{'} t_{X}) f}{\frac{1}{f} (wy - a^{'} t_{Z}) u + \frac{1}{f} (- wx - b^{'} t_{Z}) v + (1 + c^{'} t_{Z})}

v^{'} = \frac{(- wz - a^{'} t_{Y}) u + (1 - b^{'} t_{Y}) v + (wx + c^{'} t_{Y}) f}{\frac{1}{f} (wy - a^{'} t_{Z}) u + \frac{1}{f} (- wx - b^{'} t_{Z}) v + (1 + c^{'} t_{Z})}

公式13

a^{'} = \frac{a}{c}, b^{'} = \frac{b}{c}, c^{'} = \frac{1}{c}

(1 - a^{'} t_{X}) u + (wz - b^{'} t_{X}) v + (- wy + c^{'} t_{X}) f - (wy - a^{'} t_{Z}) \frac{u u^{'}}{f} - (- wx - b^{'} t_{Z}) \frac{v u^{'}}{f} - (1 + c^{'} t_{Z}) u^{'} = 0

(- wz - a^{'} t_{Y}) u + (1 - b^{'} t_{Y}) v + (wx + c^{'} t_{Y}) f - (wy - a^{'} t_{Z}) \frac{u v^{'}}{f} - (- wx - b^{'} t_{Z}) \frac{v v^{'}}{f} - (1 + c^{'} t_{Z}) v^{'} = 0

(\frac{v u^{'}}{f}) wx + (- f - \frac{u u^{'}}{f}) wy + (v) wz + (- a^{'} u - b^{'} v + c^{'} f) t_{X} + (\frac{a^{'} u}{f} + \frac{b^{'} v}{f} - c^{'}) u^{'} t_{Z} + (u - u^{'}) = 0

(f + \frac{v v^{'}}{f}) wx + (- \frac{u v^{'}}{f}) wy + (- u) wz + (- a^{'} u - b^{'} v + c^{'} f) t_{Y} + (\frac{a^{'} u}{f} + \frac{b^{'} v}{f} - c^{'}) v^{'} t_{Z} + (v - v^{'}) = 0

公式14

(\begin{matrix} \frac{v u^{'}}{f} & - f - \frac{u u^{'}}{f} & v & - a^{'} u - b^{'} v + c^{'} f & 0 & (\frac{a^{'} u}{f} + \frac{b^{'} v}{f} - c^{'}) u^{'} \\ f + \frac{v v^{'}}{f} & - \frac{u v^{'}}{f} & - u & 0 & - a^{'} u - b^{'} v + c^{'} f & (\frac{a^{'} u}{f} + \frac{b^{'} v}{f} - c^{'}) v^{'} \\ : \end{matrix}) (\begin{matrix} wx \\ wy \\ wz \\ t_{X} \\ t_{Y} \\ t_{Z} \end{matrix}) = (\begin{matrix} u^{'} - u \\ v^{'} - v \\ : \end{matrix})

公式15

Claims

1、一种监视装置，是用摄像机拍摄车辆的周围的监视装置，其特征在于，包括：

光流场检测部，其从上述摄像机拍摄的图像中求得光流场；

背景流场推定部，其通过使用上述车辆的运动以及上述摄像机拍摄的空间被模型化后的空间模型，求得假定其为背景时的上述图像的光流场即背景流场；

接近物检测部，其比较上述光流场和上述背景流场，检测在上述车辆周围的物体的接近运动。

2、如权利要求1所述的监视装置，其特征在于：

上述空间模型是根据上述摄像机拍摄的各物体的距离数据生成的。

3、如权利要求2所述的监视装置，其特征在于：

上述车辆设置了障碍物传感器，

上述距离数据是由上述障碍物传感器测定的。

4、如权利要求1所述的监视装置，其特征在于：

上述空间模型至少包含将行进路面模型化的路面模型。

5、如权利要求1所述的监视装置，其特征在于：

上述空间模型至少包含假定了对行进路面垂直的壁面的壁面模型。

6、如权利要求5所述的监视装置，其特征在于：

假定上述壁面是在车辆的后侧方。

7、如权利要求1所述的监视装置，其特征在于：

所述接近物检测部在比较光流场和背景流场时，判定上述光流场的大小是否比所定值大，当比所定值大时，用角度差进行比较，另一方面，当不比所定值大时，不用角度差进行比较。

8、如权利要求7所述的监视装置，其特征在于：

根据图像上的该位置中的背景流场的大小来设定上述所定值。

9、如权利要求1所述的监视装置，其特征在于：

所述接近物检测部通过比较光流场和背景流场，从上述光流场中，指定接近物体候补流场；通过使在近旁的上述接近物体候补流场相互有关系，生成接近物体候补区域；当上述接近物体候补区域的面积比所定值小时，则判断与这个接近物体候补区域有关的接近物体候补流场是噪声。

10、一种监视方法，其特征在于，包括：

从由摄像机拍摄车辆周围得到的图像求得光流场的第一步骤；

通过使用上述车辆的运动以及所述摄像机拍摄的空间被模型化后的空间模型，求得假定其为背景时的上述图像的光流场即背景流场的第二步骤；

比较上述第一步骤中求得的光流场和在上述第二步骤中求得的背景流场，检测在上述车辆周围的物体的接近运动的第三步骤。

11、如权利要求10所述的监视方法，其特征在于：用设置在上述车辆中的车速传感器和舵角传感器的输出，推定上述车辆的运动。