CN102187367A - 车辆周围监测装置 - Google Patents

Abstract

本发明提供一种车辆周围监测装置，由其从第1摄像机构在规定时刻所拍到的第1图像中抽取与在实际空间中被监测对象对应的第1影像，并从上述第2摄像机构在该规定时刻所拍到的第2图像中，抽取与上述第1影像具有相关性的第2影像。其具有：视差求出机构(22)，由其求出上述第1影像和上述第2影像之间的视差；视差梯度求出机构(23)，由上述视差求出机构求出上述被监测对象在不同时刻的视差，再由所述视差梯度求出机构求出视差梯度；车速传感器(4)，由其测出车辆的速度；第1距离求出机构(24)，其根据视差梯度和车辆的速度求出该车辆和被监测对象之间的距离。

Description

车辆周围监测装置

技术领域

本发明涉及一种车辆周围监测装置，其利用车载摄像机构拍到的图像监测该车辆周围情况。

背景技术

在现有技术中，人们提出了如下一种车辆周围监测装置，即，其具有搭载在车辆上且光轴相互平行的2个摄像头、即所谓的立体摄像头，该车辆周围监测装置能求出同一被监测对象在由右侧摄像头拍到的图像中的影像和由左侧摄像头拍到的图像中的影像之间的视差，并且利用该视差求出被监测对象和车辆之间的距离，再根据由上述方法求出的距离判断被监测对象以及车辆有无触碰的可能性(例如参照日本发明专利公开公报特开2001-6069号)。

当同一被监测对象在由右侧摄像头拍到的图像中抽出的第1影像和由左侧摄像头拍到的图像中抽出的第2影像之间的视差为dx时，可由下式(1)求出车辆和被监测对象之间的距离Z。

$Z=\frac{f}{p}\·\frac{D}{\mathrm{dx}}\·\·\·\·\·\left(1\right)$

其中，Z：被监测对象以及车辆之间的距离、f：摄像头的焦距、p：像素间隔、D：摄像头的中心距离、dx：视差。

但在实际情况中，车辆和被监测对象之间的实际间隔(实际距离)和根据上式(1)求出的间隔(求出距离)会在以下因素等的影响下产生差值，即，(a)车辆行驶时的振动带来的影响、(b)将摄像头搭载在车辆上时的对准精度、(c)抽出同一被监测对象的影像时的相关度运算精度等。

如下式(2)所示，上述实际距离和求出距离之间的差值在上式(1)中会作为视差错位量α而产生影响。

$Z=\frac{f}{p}\·\frac{D}{\mathrm{dx}+\mathrm{\α}}\·\·\·\·\·\left(2\right)$

而且，车辆和被监测对象之间的距离Z越长视差dx会变得越小，因此不能不考虑上式(2)中的视差错位量α的影响。所以在用距离判定被监测对象以及车辆之间产生触碰的可能性的判定时刻会产生偏差。从而出现判定产生触碰的可能性的判定精度下降的问题。

发明内容

鉴于上述情况，本发明的目的在于提供一种能解决上述技术问题的经改良的车辆周围监测装置，其利用搭载在车辆上的具有重叠拍摄范围的第1摄像机构和第2摄像机构所拍到的图像监测该车辆的周围情况。

为实现上述目的，本发明所述的车辆周围监测装置具有：被监测对象抽取机构，其用于从上述第1摄像机构在规定时刻所拍到的第1图像中抽取与在实际空间中的被监测对象对应的第1影像；对应图像抽取机构，其用于从上述第2摄像机构在上述规定时刻所拍到的第2图像中，抽取与上述第1影像具有相关性的第2影像；视差求出机构，其用来求出上述第1影像以及上述第2影像之间的视差；视差变化率求出机构，由上述视差求出机构求出上述被监测对象在不同时刻的上述视差，再由该视差变化率求出机构求出规定时间内的视差变化率；车速检测机构，其用来测出上述车辆的速度；第1距离求出机构，其根据上述视差变化率和上述车辆的速度求出上述车辆和上述被监测对象之间的距离。

采用本发明时，详细情况会在后面述及，但是即使在车辆行驶时因振动等因素的影响而使得同一被监测对象的由上述第1摄像机构所拍到的影像，和由上述第2摄像机构所拍到的影像之间产生视差错位，上述车辆以规定速度行驶而在规定时间内的视差变化率和没有产生视差错位时的视差变化率相同。

这里，可根据由上述视差变化率求出机构求出的上述视差变化率和由上述车速检测机构测出的上述车速，通过上述第1距离求出机构排除由视差错位量造成的影响而精准地求出上述车辆和被监测对象之间的距离。

另外，由上述第1距离求出机构从由上述车速检测机构测出的速度时的理论视差的时序数据中求出错开采样周期的理论视差变化率，并且该理论视差变化率与由上述视差变化率求出机构求出的视差变化率一致时，根据采样周期中的该理论视差的时序数据，求出上述车辆以及上述被监测对象之间的距离。其中，所述理论视差的时序数据是在假设上述第1摄像机构以及上述第2摄像机构搭载在上述车辆上的状态满足预先规定的条件，且上述车辆在以由上述车速检测机构测出的速度行驶的状态下求出的。

采用本发明时，由上述第1距离求出机构从理论视差的时序数据中求出错开采样周期的理论视差变化率，并且对该理论视差变化率和由上述视差变化率求出机构求出的视差变化率进行比较。还通过该比较结果确定对应于由上述视差变化率求出机构所求出的视差变化率的理论视差的时序数据，从而能容易地求出上述车辆以及上述被监测对象之间的距离。

上述车辆周围监测装置还具有：第2距离求出机构，由其根据经上述视差求出机构求出的一个视差，求出上述车辆和与求出该视差的上述第1影像对应的在实际空间中的被监测对象之间的距离；距离可靠性判定机构，对在实际空间中的同一被监测对象，由上述第1距离求出机构求出的与上述车辆之间的距离，和由上述第2距离求出机构求出的与上述车辆之间的距离之差在第1规定数值以上时，由该距离可靠性判定机构禁止根据由上述第1距离求出机构求出的与上述车辆之间的距离对被监测对象进行监测处理。

采用本发明时，由上述第2距离求出机构求出的与上述车辆之间的距离包含由上述第1摄像机构以及上述第2摄像机构所拍到的同一被监测对象的影像的视差错位量的影响而产生的差值。但是如上所述，由于经上述第1距离求出机构求出的上述车辆以及被监测对象之间的距离不受视差错位量的影响。因此，对于同一被监测对象，由上述第1距离求出机构求出的与上述车辆之间的距离，和由上述第2距离求出机构求出的与上述车辆之间的距离之差超过上述第1规定数值时，可判断为视差错位量变得较大。

而且当上述视差错位量变得较大时，上述第1摄像机构或者上述第2摄像机构的安装位置产生错位等异常的可能性较大。对此，若出现该情况时，由上述距离可靠性判定机构禁止对被监测对象进行监测处理，因此能在难以由上述第1摄像机构或上述第2摄像机构正常地测出被监测对象的状态下防止对被监测对象进行监测处理。

另外，上述车辆周围监测装置还具有：推定视差求出机构，其用来从由上述第1距离求出机构求出的距离中求出上述第1影像和上述第2影像的推定视差；距离可靠性判定机构，由上述视差求出机构求出的上述视差和上述推定视差之差在第2规定数值以上时，由该距离可靠性判定机构禁止根据由上述第1距离求出机构求出的与上述车辆之间的距离对被监测对象进行监测处理。

采用本发明时，由上述视差求出机构求出的视差包含由上述第1摄像机构和上述第2摄像机构所拍到的同一被监测对象的影像的视差错位量的影响而产生的差值。但是如上所述，从由上述第1距离求出机构求出的距离再求出的上述第1影像和上述第2影像的推定视差不受视差错位的影响。因此对同一被监测对象，由上述视差求出机构求出的视差和由上述推定视差求出机构求出的推定视差之差在上述第2规定数值以上时，可判断为视差错位量变得较大。

当上述视差错位量变得较大时，上述第1摄像机构或者上述第2摄像机构的安装位置产生错位等异常的可能性较大。对此，若出现该情况时，由上述距离可靠性判定机构禁止对被监测对象进行监测处理，因此能在难以由上述第1摄像机构或者上述第2摄像机构正常地测出被监测对象的状态下防止对被监测对象进行监测处理。

另外，只有当上述车辆的速度在规定速度以上时，才由上述第1距离求出机构根据上述视差变化率以及上述车辆的速度求出从上述车辆到上述被监测对象的距离。

采用本发明时，上述车辆的车速越快，越需要加长开始对驾驶员进行提醒的距离以告知其正在接近被监测对象。而且，车辆和被监测对象之间的距离越远时视差错位量的影响越大。因此，只限于在上述车辆的速度在上述规定速度以上时，由上述第1距离求出机构精准地求出车辆和被监测对象之间的距离，当上述车辆的速度低于上述规定速度时，由上述第2距离求出机构求出上述车辆和被监测对象之间的距离，而由该第2距离求出机构求出距离时的运算量少于由所述第1距离求出机构求出距离时的运算量。因此，本发明可以在上述车辆的速度低于上述规定速度时减少求出距离时的运算量。

附图说明

图1是本发明中车辆周围监测装置的结构图。

图2是说明将图1所示的车辆周围监测装置安装到车辆上的状态的示意图。

图3是表示图1所示的图像处理单元中的各处理步骤的流程图。

图4是说明用对应图像抽取机构进行抽取图像处理和图像之间的视差的示意图。

图5是说明视差错位量的影响的示意图，以及说明根据视差梯度求出理论视差的示意图。

图6是对视差的时序数据的可靠性进行判定并且求出视差梯度，再根据视差梯度对与被监测对象之间的推定距离的可靠性进行判定处理的流程图。

图7是根据视差梯度求出与被监测对象之间的距离的流程图。

图8是表示说明根据视差梯度求出与被监测对象之间的距离的示意图。

图9是表示说明根据视差梯度求出与被监测对象之间的距离的示意图。

具体实施方式

下面，参照图1～图9说明本发明的实施方式。图1是本发明中车辆周围监测装置的结构图，本发明的车辆周围监测装置由图像处理单元1构成。图像处理单元1与下述各元器件相连接，即、可以测出远红外线的红外线摄像头2R(相当于本发明的第1摄像机构)和2L(相当于本发明的第2摄像机构)、可测出车辆的偏航角速度的偏航角速度传感器3、用来测出车辆的行驶速度的车速传感器4(相当于本发明的车速检测机构)、用来测出驾驶员踩踏制动踏板的操作量的制动传感器5、用提示音进行提醒的扬声器6和既显示由红外线摄像头2R和2L所拍到的图像又将有可能产生触碰的被监测对象显示给驾驶员以使其觉察到该被监测对象的显示装置(例如平视显示器(Head Up Display)7。

参照图2可知，红外线摄像头2R、2L设置在车辆10的前部，位于与车辆10的车宽方向的中心部呈大致对象的位置。另外，2个红外线摄像头2R、2L以光轴相互平行并且与路面的距离相等的方式固定。还有，红外线摄像头2R、2L具有如下特性，即，被拍摄对象的温度越高其输出值越高(灰度变大)。另外，显示装置7中的显示画面7a设置在车辆10的前车窗的驾驶员一侧的前方位置。

参照图1可知，图像处理单元1是由微型计算机(未图示)等构成的电子装置，其用来将红外线摄像头2R、2L输出的模拟图像信号转换为数字信号，并存储在图像存储器(未图示)中。该微型计算机可对存储在上述图像存储器中的车辆前方的图像进行各种数字处理。

将车辆监测程序应用于上述微型计算机时，该微型计算机会起到如下机构的作用，即，被监测对象抽取机构20，由其从红外线摄像头2R所拍到的第1图像中抽取在实际空间中被监测对象的第1影像；对应图像抽取机构21，由其从红外线摄像头2L所拍到的第2图像中，抽取与上述第1影像具有相关性的第2影像；视差求出机构22，由其求出经被监测对象抽取机构20抽取的第1影像和经对应图像抽取机构21抽取的第2影像的视差；视差梯度求出机构23，由其从经过视差求出机构22求出的同一被监测对象的视差的时序数据中求出视差梯度，即、每隔单位时间时的视差变化率；第1距离求出机构24，其根据视差梯度求出被监测对象和车辆10之间的距离；第2距离求出机构25，其根据一个视差数据求出被监测对象和车辆10之间的距离；距离可靠性判定机构26，由其判定经第1距离求出机构24求出的距离的可靠性；触碰判定机构27，由其判定车辆10和被监测对象之间有无产生触碰的可能性。

下面根据图3所示的流程图，说明由图像处理单元1所进行的对车辆10的周围进行监测的各处理过程。

首先在STEP(步骤，下同)1中，由红外线摄像头2R、2L输出的红外线图像的模拟信号输入图像处理单元1中，接着在STEP2中，该模拟信号经A/D变换处理而成为被数字化的灰度图像并存储在图像存储器中。

另外，在STEP1～STEP2中可以获取由红外线摄像头2R所拍到的灰度图像(以下称为右侧图像，其相当于本发明的第1图像)以及由红外线摄像头2L所拍到的灰度图像(以下称为左侧图像，其相当于本发明的第2图像)。而且在右侧图像和左侧图像中，由于同一被监测对象的影像的水平位置会产生错位(视差)，所以能够根据该视差求出在实际空间中从车辆10到该被监测对象的距离。

接着在STEP3中，图像处理单元1以右侧图像为基准图像进行二值图像处理(将灰度在规定阈值以上的像素值当作“1”(白)，而将灰度在该阈值以下的像素值当作“0”(黑)的处理)而形成二值图像。接着在STEP4～STEP6中，由被监测对象抽取机构20进行相应的处理。在STEP4中，由被监测对象抽取机构20对包含在二值图像中各白色区域的影像进行游程编码数据(二值图像中沿x(水平)方向连续的白色像素线的数据)处理。

在STEP5中，由被监测对象抽取机构20对二值图像中在y(垂直)方向上具有重叠部分的线合起来作为1个影像进行标定，在STEP6中，将标定的影像作为被监测对象的候补图像而抽取出来。

在接下来的STEP7中，由图像处理单元1求出各候补图像的重心G、面积S以及其外接四边形的长宽比比值ASPECT。另外，对于具体求出方法，由于已在之前公开的日本发明专利公开公报特开2001-6096中详细说明过，所以在此省略其说明。之后，由图像处理单元1并行执行后续的STEP8～STEP9，STEP20～STEP22的处理。

在STEP8中，由图像处理单元1对经过红外线摄像头2R、2L所拍到的图像得来的二值图像在每隔规定的采样周期抽取出的影像进行同一性判定。之后再通过图像处理单元1将影像中判定为同一被监测对象的图像的位置(重心位置)的时序数据存储在存储器中(在不同时刻进行追踪处理)。另外，在STEP9中，由图像处理单元1读取经车速传感器4测出的车速VCAR和由偏航角速度传感器6测出的偏航角速度YR，以时间为参数对偏航角速度YR进行积分计算可以求出车辆10的方位角θr。

另外，STEP20～STEP21是由对应图像抽取机构21所进行的相应的处理。参照图4可知，在STEP20中，由对应图像抽取机构21从经被监测对象抽取机构20抽出的被监测对象的候补图像中选择其一。之后由对应图像抽取机构21从右侧图像的灰度图像30中抽出对应的搜索图像30a(由被选择的候补图像的外接四边形包围的整个区域的图像，其相当于本发明的第1影像)。

在接下来的STEP21中，由被监测对象抽取机构20在左侧图像的灰度图像31中设定用来搜索对应于搜索图像30a的图像的搜索区域32，并在搜索图像30a和该搜索区域32之间进行相间度运算而抽出对应图像31a(相当于本发明的第2影像)。

在接下来的STEP22中，由视差求出机构22进行相应的处理。由视差求出机构22求出搜索图像30a的重心位置以及对应图像31a的重心位置之差并将其作为视差dx，之后进入STEP10。

在STEP10中进行“距离求出处理”，即，由图像处理单元1求出对应于搜索图像30a和对应图像31a的被监测对象在实际空间中和车辆10之间的距离。关于“距离求出处理”将在后面进行描述。

在接下来的STEP11～STEP15和STEP30中，由触碰判定机构27进行相应的处理。在STEP11中，由触碰判定机构27将搜索图像30a的坐标(x、y)和在STEP10中求出的被监测对象和车辆10之间的距离z变换到实际空间坐标系(X、Y、Z)，由此求出对应于搜索图像10a的被监测对象在实际空间中的位置坐标。

另外，如图2所示，实际空间坐标系(X、Y、Z)为这样确定的一种坐标系，即，其以红外线摄像头2R和2L的安装位置的中间位置为原点O，以车辆10的车宽方向为X轴，铅垂方向为Y轴，车辆10的前方方向为Z轴。还有，图像中的坐标系为以下一种坐标系，即，其以图像的中心为原点，以水平方向为X轴，垂直方向为Y轴。

在接下来的STEP12中由触碰判定机构27进行方位角修正处理，以修正因车辆10方位变动所产生的图像位置变动。另外，在STEP13中，由触碰判定机构27从经方位角修正后的同一被监测对象在实际空间的时序数据中，求出被监测对象相对于车辆10产生移动的相对移动向量。其中，时序数据是从在规定的监测期间内所拍到的多个图像中获取的。

另外，对于被监测对象的实际空间坐标系(X、Y、Z)以及移动向量的具体求法，由于已在之前公开的日本发明专利公开公报特开2001-6096中详细说明过，所以在此省略其说明。

接下来在STEP14中由触碰判定机构27进行“提醒判定处理”，以判断车辆10和被监测对象之间有无产生触碰的可能性，并且据此判定判定是否有必要对驾驶员进行提醒，而且，通过“提醒判定处理”而判定为需要对驾驶员进行提醒时进入STEP30，以通过扬声器6输出提示音并由显示装置7显示提醒画面。另外，而且，经“提醒判定处理”而判定为不必对驾驶员进行提醒时返回STEP1，图像处理单元1不对驾驶员进行提醒。

在“提醒判定处理”中，由触碰判定机构27判定以下各种情况并根据其判定结果判定是否有必要对驾驶员进行提醒。需要进行判定的各种情况包括判定被监测对象还有较长的时间才有可能与自己的车辆10产生触碰，或是被监测对象存在于设定在自己的车辆周围的接近判定区域内，或是被监测对象有可能从接近判定区域外进入接近判定区域内而与自己的车辆10产生触碰，被监测对象是否是行人，被监测对象是否是人工建筑物等。

另外，对于“提醒判定处理”中具体处理内容，由于已在之前公开的日本发明专利公开公报特开2001-6069中作为“警报判定处理”详细说明过，所以在此省略其说明。

接下来参照图5～图9说明图3中STEP10的“距离求出处理”。如图4所示，对同一被监测对象，既从右侧图像中抽出搜索图像30a，又从左侧图像31中抽出对应图像31a，进而在已经求出视差dx时，可由下式(3)求出被监测对象和车辆之间的距离Z。

$Z=\frac{f}{p}\·\frac{D}{\mathrm{dx}}\·\·\·\·\·\left(3\right)$

其中，Z：被监测对象和车辆10之间的距离、f：红外线摄像头2R和2L的焦距、p：红外线摄像头2R和2L像素间隔、D：红外线摄像头2R和2L的中心距离、dx：视差。

但在实际情况中，车辆和被监测对象之间的实际间隔(实际距离)和根据上式(3)求出的间隔(求出距离)会在以下因素等的影响下产生差值，即，(a)车辆10在行驶时的振动带来的影响、(b)将红外线摄像头2R和2L搭载在车辆10上时的对准精度、(c)由对应图像抽取机构21抽取出同一被监测对象的影像时的相关度运算精度等。

如下式(4)所示，上述实际距离和求出距离之间的差值在上式(3)中会作为视差错位量α而产生影响。

$Z=\frac{f}{p}\·\frac{D}{\mathrm{dx}+\mathrm{\α}}\·\·\·\·\·\left(4\right)$

而且，车辆10和被监测对象之间的距离Z越长时视差dx会变得越小，因此不能不考虑上式(4)中的视差错位量α的影响。所以会出现使用求出距离的触碰判定机构27所判定的被监测对象和车辆10之间产生触碰的可能性的判定精度下降的问题。

在此，图5中(a)中表示了假定车辆10以72km/h的速度行驶时视差dx和距离Z之间的关系，其中，以纵轴为视差dx、横轴为车辆10与被监测对象之间的距离Z。图中的d1为视差错位量α＝0，d2为视差错位量α＝-2(像素)，d3为视差错位量α＝-4(像素)的情况。

从图5中(a)可知，距离与视差dx之间的关系会随着视差错位量α的发生而产生变化，所以根据视差计算距离时会产生计算误差。例如，实际上车辆10与被监测对象之间的距离为150m、视差错位量α＝-2(像素)时，距离的计算数值为205m，视差错位量α＝-4(像素)时，距离的计算数值为322m。

但即使有视差错位产生，视差梯度(物体运动时视差的变化率)不会产生变化。因此，由第1距离求出机构24根据视差的时序数据求出各图像间的视差梯度，再用视差梯度求出被监测对象和车辆10之间的距离时，可排除视差错位量α造成的影响。

第1距离求出机构24据图6所示的流程，用视差梯度求出车辆10和被监测对象之间的距离。在STEP50中，由第1距离求出机构24进行去除无法用于计算的数值的处理，即，从经由视差求出机构22求出的视差的时序数据中去除未能求出视差的数据(由对应图像抽取机构21进行的相关度运算失败时的数据等)或是视差数值与其他数据求出的数值严重偏离的数据。其中，视差的时序数据是按照预先设定的时序时间Ts(例如1秒钟)求得的。

另外，在STEP 51中，由第1距离求出机构24根据视差的时序数据的个数或求视差时相关度运算中的相关度等，对视差的时序数据的可靠性进行判定。当判定为视差的时序数据具有可靠性时，由下一个STEP52进入STEP53。另外，当判定为视差的时序数据不具有可靠性时，由STEP52进入STEP70，禁止根据此次视差的时序数据由触碰判定机构27进行相应的处理。

在STEP53中，由第1距离求出机构24从视差的时序数据中求出视差梯度，在STEP54中，根据视差梯度推定车辆10和被监测对象之间的距离。关于STEP54中的距离推定处理将在后面进行详述。

接下来在STEP55中，由距离可靠性判定机构26进行相应的处理。由距离可靠性判定机构26比较距离Z1和Z2。其中，距离Z1为利用视差梯度由第1距离求出机构24求出的车辆10和被监测对象之间的距离，距离Z2为例如利用视差的时序数据的中间数值由第2距离求出机构25根据上式(3)求出的车辆10和被监测对象之间的距离。

当Z1和Z2之差偏离规定范围内(因红外线摄像头2R、2L的安装精度或车辆的振动等而产生变化的车辆10的固有范围，其相当于本发明的第1规定数值以下)时，由距离可靠性判定机构26判定为视差错位量α较大而Z1的可靠性较低。当距离可靠性判定机构26判定为Z1的可靠性较低时，由STEP56进入STEP70，禁止进行此次触碰判定处理。另外，当判定为Z1的可靠性较高时，由STEP56进入STEP57，此时，由触碰判定机构27进行图3中的STEP11之后的触碰判定处理。

接下来参照图7来说明图6中STEP54的由第1距离求出机构24进行的“距离推定处理”。在STEP70中，将由车速传感器4测出的车辆10的速度VCAR输入第1距离求出机构24中。另外，在接下来的STEP71中，将在图6中STEP53求出的视差梯度的求出值Ia输入第1距离求出机构24中。在STEP72中，输入时序时间(视差的时序数据的采样时间)Ts(例如1秒)。

之后，反复循环进行STEP73～STEP76中的相应的处理，并求出与视差梯度的求出值Ia对应的视差。图5中的(b)表示视差错位量α＝0(相当于本发明的第1摄像机构和第2摄像机构搭载在车辆上的状态满足预先规定的条件时)、车辆10以100km/h的速度行驶时的视差和视差梯度之间的变化关系，其中，以左侧纵轴为视差dx、右侧纵轴为视差梯度、横轴为时间，并且针对处于静止状态的被监测对象。图中e1代表视差的时序数据(理论视差的时序数据)，e2代表视差梯度(理论视差梯度)。

在STEP73～STEP76循环的STEP73中，由第1距离求出机构24将视差采样周期Tw从图5中(b)所示的经过5秒时朝向0秒以逐渐错开采样时间T s(例如1秒)的方式设定(例如4～5秒、3.5～4.5秒、3.0～4.0秒、2.5～3.5秒、…)。另外，在STEP74中，由第1距离求出机构24根据车辆10的速度VCAR和采样周期Tw作成Tw中的视差的理论时序数据。

在接下来的STEP75中，由第1距离求出机构24从各采样周期Tw中的视差的理论时序数据中求出视差梯度的理论值It，在STEP76中，判断视差梯度的求出值Ia是否在理论值It以上。

当STEP76中的视差梯度的求出值Ia在理论值It以上时脱离该循环而进入STEP77，当视差梯度的求出值Ia小于理论值It时返回STEP73，设定下一个采样周期Tw而进行STEP74之后的各项处理。

在STEP77中，由第1距离求出机构24获取与在STEP73～STEP76循环中最后求出的启示梯度的理论值It对应的视差dx_t。例如，当视差梯度的求出值Ia为150，如图5中(b)所示，会获取视差梯度的求出值Ia在理论值It以上时的采样周期Tw(2.5～3.5秒)的中间数值3.0秒时理论时序数据的视差9.0。

在接下来的STEP78中，由第1距离求出机构24将视差9.0代入上式(3)而求出车辆和被监测对象之间的距离。

接下来参照图8～图9说明由启示梯度对车辆和被监测对象之间的距离进行推定处理的其他实施方式。

首先，图8中(a)和图8中(b)表示视差的时序数据的分布情况，纵轴为视差、横轴为时间。图8中(a)为由t₁₁～t₁₃的采样周期中的9个视差计算数据再求出直线Sa的情况。

图8中(b)表示视差错位量α＝0时代表理论视差梯度的直线处于不同的车辆和被监测对象之间的距离时的情况，S1为将距离设定为190m的直线，S2为将距离设定为180m的直线，Sn为将距离设定为100m的直线。

如图8中(a)所示，可以由第1距离求出机构24从图8中(b)的直线S1～Sn中选择具有与由视差的时序数据中作成的直线Sa相同的梯度的直线，并能将被选择的直线的设定距离作为车辆10和被监测对象之间的距离而求出。

接下来，图9表示预先准备好的根据车辆10的不同行驶速度(图9中为70km/h、95km/h、100km/h)的视差梯度和被监测对象的距离的相关度图表M1、M2、M3、…的情况。由第1距离求出机构24将从视差的时序数据中求出的视差梯度适用于与车辆10的行驶速度对应选择的相关度图表时，可求出车辆10和被监测对象之间的距离。

例如，车辆10的行驶速度为70km/h、从视差的时序数据中求出的视差梯度为Ia时，由第1距离求出机构24选择图9中的相关度图表M1并适用视差梯度为Ia时，可求出车辆10和被监测对象之间的距离Z1。

另外，在上述实施方式中，距离可靠性判定机构26通过比较Z1和Z2来判断Z1的可靠性，但也可采用其他方法判断Z1的可靠性。以下说明通过距离可靠性判定机构26判断Z1的可靠性的其他方法。其中，距离Z1为利用视差梯度由第1距离求出机构24求出的车辆10和被监测对象之间的距离，距离Z2为例如利用视差的时序数据的中间数值由第2距离求出机构25根据上式(3)求出的车辆10和被监测对象之间的距离。

在图6的STEP55中，由距离可靠性判定机构26来比较推定视差dx′和视差dx。其中，推定视差dx′是将由第1距离求出机构24用视差梯度求出的与车辆10之间的距离Z1，代入作为上式(3)的逆运算式的下式(5)中而求出的，其与距离Z1对应。视差dx是由视差求出机构22求出的。另外，由下式(5)求推定视差的方法，相当于本发明的推定视差求出机构。

${\mathrm{dx}}^{\′}=\frac{f}{p}\·\frac{D}{Z1}\·\·\·\·\·\left(5\right)$

其中，dx′：推定视差、f：红外线摄像头2R和2L的焦距、p：红外线摄像头2R和2L像素间隔、D：红外线摄像头2R和2L的中心距离、Z1：由第1距离求出机构24求出的被监测对象和车辆10之间的距离。

当视差dx和推定视差dx′之差偏离第2规定范围内(因红外线摄像头2R、2L的安装精度或车辆的振动等而产生变化的车辆10的固有范围，其相当于本发明的第2规定数值以下)时，由距离可靠性判定机构26判定为视差错位量α较大而Z1的可靠性较低。

当距离可靠性判定机构26判定为Z1的可靠性较低时，由接下来的STEP56进入STEP70。另外，当判定为Z1的可靠性不低时，由STEP56进入STEP70，此时，由触碰判定机构27进行图3中STEP11之后的触碰判定处理。

另外，在本实施方式中例示了拍摄车辆前方的情况，但是也可以拍摄车辆的后方或者侧方等其他方向来判断有无与被监测对象产生触碰的可能性。

还有，在本实施方式中，作为摄像机构，使用了红外线摄像头2R、2L，但是也可以使用能拍摄可见光图像的可见光摄像头。

【工业实用性】

如上所述，采用本发明的车辆周围监测装置时，由于可根据从2个摄像头拍到的图像中抽出的被监测对象的影像的视差变化率，精准地判别车辆和被监测对象之间的距离，所以本发明可以用来监测车辆周围的情况。

Claims (5)

1.一种车辆周围监测装置，其利用搭载在车辆上并且具有重叠拍摄范围的第1摄像机构和第2摄像机构所拍到的图像监测该车辆的周围情况，其特征在于，具有：

被监测对象抽取机构，由其从上述第1摄像机构在规定时刻所拍到的第1图像中抽取与在实际空间中的被监测对象对应的第1影像；

对应图像抽取机构，由其从上述第2摄像机构在上述规定时刻所拍到的第2图像中，抽取与上述第1影像具有相关性的第2影像；

视差求出机构，由其求出上述第1影像和上述第2影像之间的视差；

视差变化率求出机构，由上述视差求出机构求出上述被监测对象在不同时刻的上述视差，再由所述视差变化率求出机构求出规定时间内的视差变化率；

车速检测机构，由其测出上述车辆的速度；

第1距离求出机构，其根据上述视差变化率以及上述车辆的速度求出该车辆和上述被监测对象之间的距离。

2.根据权利要求1所述的车辆周围监测装置，其特征在于，

由上述第1距离求出机构从由上述车速检测机构测出的速度时的理论视差的时序数据求出错开采样周期的理论视差变化率，并且在该理论视差变化率与由上述视差变化率求出机构求出的视差变化率一致时，根据采样周期中的上述理论视差的时序数据，求出上述车辆以及上述被监测对象之间的距离，其中，所述理论视差的时序数据是在假设上述第1摄像机构和上述第2摄像机构搭载在上述车辆上的状态满足预先规定的条件，且上述车辆在以由上述车速检测机构测出的速度行驶的状态下求出的。

3.根据权利要求1所述的车辆周围监测装置，其特征在于，

还具有：第2距离求出机构，其根据由上述视差求出机构求出的一个视差，求出上述车辆和与求出该视差的上述第1影像对应的在实际空间中的被监测对象之间的距离；

距离可靠性判定机构，对于在实际空间中的同一被监测对象，由上述第1距离求出机构求出的与上述车辆之间的距离，和由上述第2距离求出机构求出的与上述车辆之间的距离之差在第1规定数值以上时，由所述距离可靠性判定机构禁止根据由上述第1距离求出机构求出的与上述车辆之间的距离对被监测对象进行监测处理。

4.根据权利要求1所述的车辆周围监测装置，其特征在于，

还具有：推定视差求出机构，其从由上述第1距离求出机构求出的距离中求出上述第1影像以及上述第2影像的推定视差；

距离可靠性判定机构，由上述视差求出机构求出的上述视差以及上述推定视差之差在第2规定数值以上时，由该距离可靠性判定机构禁止根据由上述第1距离求出机构求出的与上述车辆之间的距离对被监测对象进行监测处理。

5.根据权利要求1所述的车辆周围监测装置，其特征在于，

只有上述车辆的速度在规定速度以上时，才由上述第1距离求出机构根据上述视差变化率以及上述车辆的速度求出从该车辆到上述被监测对象的距离。

Images