CN103189905A - 车辆周围监测装置 - Google Patents
车辆周围监测装置 Download PDFInfo
- Publication number
- CN103189905A CN103189905A CN2011800527851A CN201180052785A CN103189905A CN 103189905 A CN103189905 A CN 103189905A CN 2011800527851 A CN2011800527851 A CN 2011800527851A CN 201180052785 A CN201180052785 A CN 201180052785A CN 103189905 A CN103189905 A CN 103189905A
- Authority
- CN
- China
- Prior art keywords
- monitored target
- mentioned
- image
- zone
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/161—Decentralised systems, e.g. inter-vehicle communication
- G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提供一种车辆周围监测装置,搭载在车辆上并拍摄该车辆的周围情况,在拍摄到的图像中抽出有可能相当于所希望种类的被监测对象的规定部位的图像区域,在抽出的该图像区域的下方设定规定区域。根据该规定区域抽出存在于车辆外的所希望种类的被监测对象的候选被监测对象,对抽出的各候选被监测对象判定该候选被监测对象是否是上述所希望种类的被监测对象。此时,在该规定区域内未拍到与背景不同的图像,并将该规定区域在左右方向上平分为第1和第2区域,只在该第1或第2区域拍到与背景不同的图像时,从上述所希望种类的被监测对象的候选被监测对象中,去除对应于该规定区域的上述图像区域内的被监测对象。这样区分并检测出如行人和像路灯这样的人造物体。
Description
技术领域
本发明涉及一种用于监测车辆周围情况的装置,更具体地讲,本发明涉及如下一种装置:对车辆周围情况进行监测时,该装置能容易且高效地区分并检测出所希望种类的被监测对象。
背景技术
在现有技术中,人们提出了一种用于抽取存在于车辆周围的各种被监测对象的装置。在下述专利文献1中记载有如下一种测定距离的方法:将1个摄像头搭载在车辆上,在该摄像头所拍到的图像中将被监测对象的动作较少的部分所存在的区域设定为局部区域,根据该局部区域的大小因时间而变化的变化率来测定从车辆到该被监测对象的距离。
专利文献1:日本发明专利特许第4486997号
在上述方法中,作为被监测对象的动作较少的部分所存在的区域,将包含头部的行人的上半身区域设定为局部区域。由于像行人那样的生物体的头部温度较高,所以很容易利用如远红外线摄像头这样的摄像装置检测出来。通过利用该局部区域,即使是1个摄像装置,也能很好地测定出到被监测对象的距离。
但是,由于车辆周围有可能存在像路灯这样形状类似行人头部的热源,所以有可能出现以下问题:即便使用上述远红外线摄像头,也可能将该路灯这样的人造物体误检为是行人这样的生物体。
发明内容
有鉴于此,本发明的目的在于提供如下一种车辆周围监测装置:其能降低将所希望种类以外的被监测对象误检为是该所希望种类的被监测对象的可能性,提高该所希望种类的被监测对象的检测精度。
采用本发明1个技术方案时,车辆周围监测装置具有:拍摄机构,其搭载在车辆上并且用于拍摄该车辆的周围情况;在拍摄到的图像中抽出有可能相当于所希望种类的被监测对象的规定部位的图像区域的机构;在抽出的上述图像区域的下方设定规定区域的机构;候选被监测对象抽出机构,其根据上述规定区域抽出存在于车辆外的上述所希望种类的被监测对象的候选被监测对象;判定机构,由其对抽出的各上述候选被监测对象判定该候选被监测对象是否是上述所希望种类的被监测对象。此时,在上述规定区域内没拍到与背景不同的图像,并且将上述规定区域在拍摄到的上述图像的左右方向上平分为第1和第2区域,只在该第1或第2区域拍到与背景不同的图像时,由候选被监测对象抽出机构从上述所希望种类的被监测对象的候选被监测对象中,去除对应于该规定区域的上述图像区域内的被监测对象。
所希望种类为行人时,当抽出有可能相当于该行人头部的图像区域时,该图像区域有可能是具有同样形状的像路灯这样的人造物体。但是,如果该图像区域是行人头部,头部下方的躯体部或脚部呈左右对称状态,相反,如果该图像区域是像路灯这样的人造物体,路灯下方的支柱等大多不呈左右对称状态。
本发明基于上述思路而做出,确认抽出的图像区域下方的规定区域,在该规定区域内没有拍到任何图像,或者只在该规定区域的左侧或右侧拍到某种图像时,从该所希望种类的被监测对象的候选被监测对象中去除该规定区域内的被监测对象。这样,能够通过较为简单的运算就能区分行人和像路灯这样的人造物体。
另外,最终判定抽出的候选被监测对象的种类,即判定候选被监测对象是行人还是其他建筑物等人造物体时,一般包含确认被监测对象的形状特征的图像处理或按时间序列对该被监测对象进行跟踪以确认其举动的图像处理,所以运算量较大。若对抽出的所有候选被监测对象都进行这样的种类判定处理,会产生运算量变大的问题。采用本发明时,由于进行过上述去除后再进行种类判定处理,所以能减少该种类判定处理的运算量。
采用本发明的1个实施方式时,上述拍摄机构为红外线摄像头,抽出的上述图像区域为拍到的上述图像的灰度值高于规定数值的高灰度区域。上述候选被监测对象抽出机构根据上述第1和第2区域的灰度值确认该第1和第2区域内的被监测对象的左右对称性,判定为该左右对称性较低时,从上述所希望种类的被监测对象的候选被监测对象中去除对应于该规定区域的上述图像区域内的被监测对象。这样,通过利用红外线摄像头,根据灰度值就能精准地并且经较为简单的运算而抽出所希望种类的被监测对象的候选被监测对象。
采用本发明的1个实施方式时,上述第1区域内的像素的灰度值总和以及该第2区域内的像素的灰度值总和的差值在规定数值以上,或该第1区域内的像素的灰度值方差以及该第2区域内的像素的灰度值方差的差值在规定数值以上时,上述候选被监测对象抽出机构判定为上述左右对称性较低。这样,能利用灰度值来判定第1和第2区域之间的左右对称性,因而能精准地并且经较为简单的运算而抽出所希望种类的被监测对象的候选被监测对象。
人们能从以下详细说明中了解本发明的其他特征和优点。
附图说明
图1是本发明一个实施方式中表示车辆周围监测装置的构成的框图。
图2是本发明一个实施方式中用于说明摄像头的安装位置的图。
图3是本发明一个实施方式中表示设定下部区域的例子的图。
图4是本发明一个实施方式中表示设定下部区域的其他例子的图。
图5是本发明一个实施方式中由图像处理单元运行的被监测对象判定处理的流程图。
图6是本发明一个实施方式中表示当前图像和之前图像的图。
具体实施方式
下面,参照附图说明本发明的实施方式。图1是本发明一个实施方式中表示用于监测车辆的周围情况的装置的构成的框图。所述装置具有:红外线摄像头1,其数量为1个,搭载在车辆上并且能检测出远红外线;图像处理单元2,其根据由摄像头1拍到的图像数据检测出车辆周围的被监测对象并对其进行种类判定;扬声器3,其根据该种类判定结果用声音发出警报;平视显示器(以下称为HUD)4,其既用于显示由摄像头1拍到的图像,还用于显示根据该种类判定结果做出的警报显示。还有,上述用于监测车辆的周围情况的装置还具有:横向角速度传感器6,其用于检测出车辆的横向角速度;车速传感器7,其用于检测出车辆的行驶速度(车速),这些传感器的检测结果输入图像处理单元2,根据需要进行规定的处理时要用到它们。
该实施例中,如图2所示,为了拍摄车辆10的前方,摄像头1被设置在车辆10的前部的通过车宽中心的中心轴上。红外线摄像头1具有如下特性:被监测对象的温度越高,其输出信号的强度越高(即,拍摄图像中的灰度越大)。
图像处理单元2具有:A/D变换电路,由其将输入的模拟信号变换为数字信号;图像存储器,由其存储数字形式的图像信号;中央运算处理装置(CPU),由其进行各种运算处理;RAM(随机存取存储器),其用于在CPU进行运算时存储数据;ROM(只读存储器),其用于存储CPU所执行的程序和使用的数据(包括表格、图表);输出电路,其用于输出扬声器3的驱动信号和HUD4的显示信号等。来自摄像头1的输出信号被变换为数字信号后输出给CPU。如图2所示,HUD4设置成在驾驶员前方的车辆10前车窗位置上显示出画面4a,从而使驾驶员能看到由HUD4显示的画面。
另外,例如能用安装在仪表板上的显示装置来代替HUD4。作为显示装置,例如可以利用所谓导航装置(未图示)的显示装置。众所周知,导航装置是这样一种装置,其不仅能检测出车辆的当前位置,还能计算到达目的地的最佳路径而在地图信息上显示该当前位置和该路径。
图3是用于说明本申请的基本思路的图。图3中(a)示意性地表示摄像头拍到的行人,图3中(b)和(c)示意性地表示摄像头拍到的路灯。由于图3中(a)用斜线区域表示的行人头部是人体各部位中露出较多的部位,所以作为高温被监测对象、即高灰度图像区域而能平稳地被抽出。另外,如图3中(b)和(c)的斜线区域所示,由于路灯为热源,所以被作为高温被监测对象、即高灰度图像区域而抽出的可能性较大。
这样,在该实施例中,以行人作为所希望种类的被监测对象抽出有可能相当于该行人头部的图像区域。通过利用红外线摄像头就能将灰度值高于规定数值的高灰度区域作为有可能相当于该行人头部的图像区域而抽出。但是,如上所述,抽出的图像区域(本实施例中为高灰度区域)有可能不是行人头部而是像路灯那样的人造物体。
对此,在本发明中,在抽出的高灰度区域的下方设定规定的下部区域31。下部区域31以抽出的高灰度区域的重心或中心在上下方向上延伸而成的基准线33为中心左右对称设定。即,下部区域31被平分为左侧(第1)区域31L和右侧(第2)区域31R。
行人头部的下部(躯体或脚)大体呈左右对称状态。因此,如图3中(a)所示,若用斜线表示的高灰度区域表示行人头部,则设定在其下的下部区域31的左侧区域31L和右侧区域31R中都应该能拍到包含行人躯体等的某种图像(与背景不同的某种被监测对象)。
相反,图中所示的路灯的热源部分(斜线部分)下部的支柱部分35不呈以基准线33为中心左右对称状态。如图3中(b)所示,只在左侧区域31L或右侧区域31R拍到图像,或如图3中(c)所示,在左侧区域31L和右侧区域31R都没有拍到图像。若是后者,被拍到下部区域31中的只有天空一样的背景部分。
因此,在本发明中,根据设定在高灰度区域下方的下部区域31中有无图像或图像的左右对称性,就能区分并检测出所希望种类的被监测对象(本实施例中为行人)和所希望种类的被监测对象以外的物体(本实施例中为像路灯那样的人造物体)。
如图所示,行人从躯体到脚以基准线33为中心大体呈左右对称状态,对于路灯而言,支柱35到与路面相接的部分为止不呈左右对称状态。因此,像上述那样设定的下部区域31只要位于高灰度区域的下方即可,无需非要与高灰度区域相接。例如如图4中(a)所示,可将高灰度区域之下到与路面相接的部分设定为下部区域31。此时,由于行人的脚或路灯的支柱与路面的连接点会被作为边缘而被抽出。所以能将从该边缘到高灰度区域的上下方向上的区域作为下部区域31。作为替代方案,如图4中(b)所示,也可以将离开高次度区域的与路面相接部分的区域设定为下部区域31。
另外,下部区域31在水平(左右)方向上的长度和在垂直(上下)方向上的长度可设定为任意合适的规定数值。在图3-图4中,该水平方向上的长度设定为大于行人的躯体宽度,但也可以设定为小于该躯体宽度。其原因在于,即使这样做,也可在下部区域31中呈现行人躯体的左右对称性。
图5是本发明一个实施方式中表示图像处理单元2运行时的处理流程的流程图。相隔规定的时间间隔来运行该处理流程。本实施例中,所设定的下部区域与作为高灰度区域而被抽出的区域相接。另外,如上所述,所希望种类的被监测对象为行人。
在步骤S11中,接收由远红外线摄像头1输出的输出信号(即拍摄图像的数据),对其进行A/D变换并存储在图像存储器中。所存储的图像数据为被监测对象的温度越高其灰度值越大的灰度图像。
在步骤S12中,对该灰度图像进行二值处理。具体地讲,进行将比灰度阈值ITH亮的区域作为“1”(白)而将暗的区域作为“0”(黑)的处理。可采用任意合适的方法来确定灰度阈值ITH。经过该二值处理,例如生物体或人造物体的热源这样的高于规定温度的被监测对象作为白色区域(高灰度区域)而抽出。
在步骤S13中,经过二值处理的图像数据被变换为游程编码数据。具体地讲,对于经过二值处理而变白的区域,用各像素行的该白色区域(称为线)的起点(各线左端的像素)的坐标以及从起点到终点(各线右端的像素)的长度(可用像素数来表示)来表示游程编码数据。这里,以图像中的垂直方向为y轴、水平方向为x轴。若y坐标为y1的像素行中的白色区域是从(x1、y1)到(x3、y1)的线,由于该线由3个像素构成,所以能用(x1、y1、3)这样的游程编码数据来表示。
在步骤S14中,对被监测对象进行标注处理以进行所希望种类的被监测对象的候选被监测对象的抽出处理。即,被游程编码数据化的线中,将在y方向上由重叠部分的线合起来作为1个被监测对象并且在其上标注标签。这样就能抽出(检测出)1个或多个候选被监测对象。
由于检测出的候选被监测对象为温度高于规定温度的被监测对象,所以除了人(行人)或动物等生物体以外,还有可能包含例如具有热源的像路灯那样的人造物体。图6中(a)示意性地表示有运行此次上述处理流程而获取的图像(称为当前图像)的一个例子。该例中,如用斜线所示的那样,行人的头部101和路灯102作为高温被监测对象(即高灰度区域)而被抽出。
在步骤S15中,进行被监测对象的追踪处理,即进行此次检测出的候选被监测对象与之前运行上述处理流程时检测出的候选被监测对象是否相同的判定处理。例如用k表示该处理流程的运行周期时,判定上次(时刻k-1)运行上述处理流程时在步骤S14中检测出的候选被监测对象和此次(时刻k)在步骤S14中检测出的候选被监测对象是否相同。该判定方法可采用任意合适的方法来进行。如日本发明专利公报特开2001-6096号所记载的那样,在时刻k的被监测对象和时刻k-1的被监测对象之间,重心位置坐标差值、面积差值、外接于被监测对象的四边形的长宽比差值在规定容许数值以下时,可将2个被监测对象是同一被监测对象。作为替代方案,也可以利用灰度图像,根据此次检测出的候选被监测对象在图像区域内的灰度分布和之前检测出的被监测对象在候选图像区域的灰度分布的相关性(类似度)来进行该相同与否判定。若两者的灰度的方差的差值在规定数值以下,由于相关性较大,所以能判定为两者相同。
图6中(b)示意性地表示有在图6中(a)之前(该例中为上次)获取的图像(称为之前图像)的一个例子。如用斜线所示的那样,行人的头部101和路灯102作为高温被监测对象(即高灰度区域)、即候选被监测对象而被抽出。它们分别被判定为与图6中(a)的被监测对象101和102相同。
在步骤S16中,如上所述,在此次抽出的高灰度区域101和102的下方设定下部区域31。下部区域31以基准线33为中心在左右方向上对称设定,该基准线33穿过检测出的高灰度区域、即检测出的高温被监测对象的重心或中心而在图像中沿上下方向延伸。因此,下部区域31由左侧区域31L和右侧区域31R构成。
在本实施例中,下部区域31被设定为具有规定大小,但是也可根据高灰度区域的大小改变下部区域31的大小。例如可在水平方向上具有大于高灰度区域的最长部分以上的长度而在垂直方向上具有规定长度。
在步骤S17中,对于在步骤S16中判定为相同的候选被监测对象,将图6中(a)所示的当前图像中设定的下部区域31用作选取框,在图6中(b)所示的之前图像中搜索类似度最高(相关性较大)的区域。如以图6的高灰度区域101为例,将图6中(a)设定的下部区域31用作选取框,在图6中(b)的图像的高灰度区域101的向下方向边重叠边移动该选取框,搜索与该选取框类似度最高的区域。如上所述,例如可以搜索选取框内的像素的灰度的方差和重叠的图像的像素的方差的差值大小最小的区域,可将该最小时的该方差值用作表示类似度的指标。图中将作为这样搜索到的结果的区域131表示在图6中(b)所示的之前图像中。对高灰度区域102也进行同样的过程。
虽然在图5中没有表示,优选将这样搜索到的区域131左右对称平分的线和根据之前图像的高灰度区域101设定的基准线33之间在水平方向上的偏差(差距)在规定数值以上时,不进入步骤S18而进入步骤S24而从行人候选中去除对应于该高灰度区域的被监测对象。之所以产生这么大的“偏差”,有可能是因为距离不同的被监测对象被重叠拍摄到当前图像或之前图像中,之后求出行人的位置(距离)的精度下降的缘故。
在步骤S18中,判断设定在当前图像中的下部区域31中是否存在某种图像。如上所述,若被监测对象为行人,由于头部的正下方具有躯体或脚,所以设定在高灰度区域之下的下部区域31中应该存在不同于背景的某种图像,因此要确认这一点。具体地讲。求出下部区域31中的像素的灰度值的方差,该方差在规定数值以上时,判断为存在不同于背景的图像,不足该规定数值时,判定为不存在不同于背景的图像。另外,将下部区域31左右平分时,只在一侧存在图像(有物体)时,也可判定为“不是行人”(例如电线杆)。
若是图3中(c)所示的路灯,由于下部区域31中不存在图像而只拍到天空等背景,灰度的方差值较小,若是行人,如图3中(a)和图6所示,由于下部区域31中拍到躯体,所以灰度的方差值较大。若判断为不存在图像,在步骤S24中,从行人候选中去除对应于该下部区域31的高灰度区域中的被监测对象。从行人候选中被去除的被监测对象不提供给之后的种类判定处理(步骤S26)。还有,在图6的例子中,由于高灰度区域101的下部区域31中拍到行人的躯体,高灰度区域102的下部区域31中拍到路灯的支柱,所以该步骤S18的判断结果为Yes,进入步骤S19。
在步骤S19中,对比设定在当前图像中的下部区域31和作为步骤S17的搜索结果的设定在之前图像中的下部区域131。
在步骤S20中,判断该对比结果、两者的类似度是否在规定数值以上。如上所述,可将灰度的方差用作表示类似度的指标。因此,在求出当前图像中下部区域31的像素的灰度值的方差的同时求出之前图像中下部区域131的像素的灰度值的方差,若两者的差值大小在规定数值以下,判定为两者的类似度(相关性)较大,进入步骤S21。若该差值大小大于规定数值,判定为两者的类似度较小,进入步骤S23。
在步骤S21中,以基准线33为中心左右平分当前图像中下部区域31。在步骤S22中,判断该下部区域31的左侧区域31L和右侧区域31R中是否存在不同于背景的图像。如上所述,若被监测对象为行人,由于下部区域31中拍到躯体,所以左侧区域31L和右侧区域31R中应该拍到不同于背景的某种图像。相反,若被监测对象为路灯,如图所示,即使被拍到,也只是左侧区域31L或右侧区域31R。因此,要对各下部区域31确认这一点。
具体地讲,求出左侧区域31L中的像素的灰度值的方差和右侧区域31R中的像素的灰度值的方差,确认两者的差值大小是否在规定数值以上。若在规定数值以上,如像路灯的支柱只被拍到一侧的区域中那样只在一侧的区域中拍到图像,判定为左侧区域31L和右侧区域31R之间的左右对称性较低。因此,此时进入步骤S24,从行人候选中去除对应于该下部区域31的高灰度区域中的被监测对象。相反,若两者的差值大小不足规定数值,判定为左侧区域31L和右侧区域31R中拍到某种图像,两者之间的左右对称性较高。因此,此时进入步骤S25,将该被监测对象判定为是行人候选。
作为替代方案,也可以用灰度值的总和替代灰度值的方差。求出左侧区域31L中的像素的灰度值的总和以及右侧区域31R中的像素的灰度值的总和,确认两者的差值大小是否在规定数值以上。若在规定数值以上,判定为只在一侧的区域中拍到图像,左右对称性较低,进入步骤S24,若两者的差值大小不足规定数值,判定为2个区域中拍到某种图像,左右对称性较高,进入步骤S25。还有,在判断对称性时,也可以用累积绝对值误差(SAD:Sum of Absolute Difference)替代方差或灰度值的总和,或者加入该累积绝对值误差。
返回步骤S20,若当前图像的下部区域31和之前图像的下部区域131之间的类似度不在规定数值以上,进入步骤S23,确认是否存在行人特有的特征。例如能从形状方面或步行周期性方面采用任意合适的方法来抽出行人特有的特征。例如,可确认抽出从高灰度区域到路面的图像区域并从中抽出认为是脚的形状特征(例如2根在垂直方向上延伸的部分),或者可确认对从之前到当前的从高灰度区域到路面的图像区域进行追踪而抽出基于步行的周期性特征(例如日本发明专利公报特开2007-264778号)。此时,抽出的图像区域在水平方向上宽度例如为在高灰度区域的最长部分的长度上加上规定余量而得。若没能抽出行人特有的特征,进入步骤S24,从行人候选中去除该被监测对象,若已抽出该特征,进入步骤S25,将该被监测对象判定为是行人候选。
在步骤S26中,对在步骤S25中被判定为是行人候选的每个最终进行是否是行人的种类判定处理。通过该种类判定处理,能更精准地确定行人候选是否是行人。
可利用已知的任意合适的方法进行种类判定处理,例如可以利用已知的图案匹配方法确认有关候选被监测对象的形状的特征,或通过确认该候选被监测对象在时间序列上的举动等来判定该候选被监测对象是否是行人。例如进行是否是行人的种类判定处理时,可采用记载在日本发明专利公报特开2007-241740号、日本发明专利公报特开2007-264778号、日本发明专利公报特开2007-334751号等中的方法。另外,在该种类判定处理中,也可结合行人判定而进行人造物体判定或动物判定。这样,对于没被判定为行人的候选被监测对象,能判定其为人造物体还是动物等种类。此时,对于人造物体种类判定处理,例如可利用日本发明专利公报特开2003-016429号、日本发明专利公报特开2008-276787号等中记载的方法。另外,对动物种类判定处理,例如可利用日本发明专利公报特开2007-310705号、日本发明专利公报特开2007-310706号等中记载的方法。
还有,也可求出在进行种类判定时被判定为是行人的被监测对象的距离。这可利用任意合适的方法来进行。如日本发明专利公报第4486997号所记载的那样,设定包含高灰度区域的局部区域(若被监测对象是行人,作为动作较少的区域而设定),求出之前图像的局部区域和当前图像的局部区域的大小的变化率,根据该变化率和由车速传感器7检测到的车速来求出被监测对象的距离。这样,能确定被监测对象与自己车辆的相对位置。
在步骤S27中,向驾驶员发出关于被判定为是行人的警报。例如可以发出提示像上述那样求出的距离的警报,也可在该距离值在规定数值以下时发出警报。还有,如日本发明专利公开公报特开2001-6096号所记载的那样,根据该距离值来确认被监测对象与车辆触碰可能性的大小,在判定为触碰可能性较大时发出警报。可经扬声器3用声音发出警报,还可经HUD4显示能看见的警报。
这样,在本发明中,所希望种类是行人时,通过确认有可能相当于该行人头部的图像区域(本实施例中为高灰度区域)的下部区域内是否存在不同于背景的某种图像,或者通过确认左右平分该下部区域而只在一侧的区域中是否存在不同于背景的某种图像,以从行人候选中去除像路灯那样的人造物体。因此,能通过较为简单的运算而提高抽出行人候选的精度。另外,该去除处理在种类判定处理之前进行,具有大体(粗略)过滤抽出的候选被监测对象的作用,能产生从后续种类判定处理中去除是所希望种类的可能性较低的候选被监测对象。这样,能够预先去除在种类判定处理中有可能成为噪音的候选被监测对象。由于在进行完该去除处理后再进行种类判定处理,所以能减小该种类判定处理的运算量。还有,搭载在车辆上的摄像头只需1台即可,所以还能降低成本。
在上述过程中,下部区域31设定成与高灰度区域相接的状态,但是如参照图4所说明的那样,还可将从高灰度区域路面的区域设定为下部区域31。另外也可以将离开高灰度区域的下方设定下部区域31。此时,例如在步骤S16中,由于脚或路灯的支柱与路面相接的部分作为边缘而出现在拍摄图像中,对高灰度区域向下方进行搜索而抽出该边缘。也可将从抽出的边缘到高灰度区域的下端的部分作为下部区域31(图4中(a)的情况),还可将从抽出的边缘向上具有规定长度的区域作为下部区域31(图4中(b)的情况)。
还有,在上述实施例中,例举了拍到行人时将头部作为高灰度区域而抽出的例子。即便只将行人的头部作为高灰度区域而抽出时,也能区分并检测出行人和像路灯这样具有类似于行人头部形状的热源的人造物体。还有,对于行人而言,不只是头部,即使包含躯体或脚部分并作为高灰度区域而抽出时,也可以进行同于上述的处理。例如,可将被抽出的高灰度区域中能够判定为大致圆形区域的部分判定为头部区域,在该头部区域的下方设定下部区域。
在上述实施例中,通过利用红外线摄像头而用灰度值较为容易地抽出有可能相当于行人头部的图像区域。但是,作为替代方案,例如也可利用可见光摄像头等其他摄像头。即便这样,也可采用任意已知方法抽出有可能相当于行人头部的图像区域(例如圆形图像区域),在其下设定下部区域即可。之后还可以利用该下部区域内的像素值来判断该下部区域内是否拍到不同于背景的图像,或者左右平分该下部区域而判断左侧和右侧区域中是否拍到不同于背景的图像。
另外,在上述实施例中,例示了以下内容:确认当前图像和之前图像之间的类似度,即使类似度较大,也能去除像路灯这样的人造物体而精准地抽出行人候选。但是,并非一定要确认这样的时间序列上的被监测对象的类似度,在其他实施方式中,也可不确认该类似度而在当前图像中设定下部区域,像上述那样经确认该下部区域而判定行人候选。此时,由于无需按时间序列追踪被监测对象,所以能够进一步减小运算量。
以上说明了本发明的实施方式,但是本发明并不局限于上述实施方式,在不脱离本发明的主旨的范围内,也可对其进行改变而应用。
【附图标记说明】
1红外线摄像头(拍摄机构);2图像处理单元;3扬声器;4HUD
Claims (3)
1.一种车辆周围监测装置,具有:
拍摄机构,其搭载在车辆上并且用于拍摄该车辆的周围情况;
在拍摄到的图像中抽出有可能相当于所希望种类的被监测对象的规定部位的图像区域的机构;
在抽出的上述图像区域的下方设定规定区域的机构;
候选被监测对象抽出机构,其根据上述规定区域抽出存在于车辆外的上述所希望种类的被监测对象的候选被监测对象;
判定机构,由其对抽出的各上述候选被监测对象判定该候选被监测对象是否是上述所希望种类的被监测对象,其特征在于,
在上述规定区域内没有拍到与背景不同的图像,或者将上述规定区域在拍摄到的上述图像的左右方向上平分为第1和第2区域,只在该第1或第2区域拍到与背景不同的图像时,由上述候选被监测对象抽出机构从上述所希望种类的被监测对象的候选被监测对象中,去除对应于该规定区域的上述图像区域内的被监测对象。
2.根据权利要求1所述的车辆周围监测装置,其特征在于,
上述拍摄机构为红外线摄像头,
抽出的上述图像区域为拍到的上述图像的灰度值高于规定数值的高灰度区域,
上述候选被监测对象抽出机构根据上述第1和第2区域的灰度值确认该第1和第2区域内的被监测对象的左右对称性,判定为该左右对称性较低时,从上述所希望种类的被监测对象的候选被监测对象中去除对应于该规定区域的上述图像区域内的被监测对象。
3.根据权利要求2所述的车辆周围监测装置,其特征在于,
上述第1区域内的像素的灰度值总和以及该第2区域内的像素的灰度值总和的差值在规定数值以上,或该第1区域内的像素的灰度值方差以及该第2区域内的像素的灰度值方差的差值在规定数值以上时,上述候选被监测对象抽出机构判定为上述左右对称性较低。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010256296 | 2010-11-16 | ||
JP2010-256296 | 2010-11-16 | ||
PCT/JP2011/006276 WO2012066751A1 (ja) | 2010-11-16 | 2011-11-09 | 車両の周辺監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103189905A true CN103189905A (zh) | 2013-07-03 |
CN103189905B CN103189905B (zh) | 2015-09-02 |
Family
ID=46083703
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180052785.1A Active CN103189905B (zh) | 2010-11-16 | 2011-11-09 | 车辆周围监测装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9160986B2 (zh) |
EP (1) | EP2642463A4 (zh) |
JP (1) | JP5530530B2 (zh) |
CN (1) | CN103189905B (zh) |
WO (1) | WO2012066751A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5480925B2 (ja) * | 2012-03-05 | 2014-04-23 | 本田技研工業株式会社 | 車両周辺監視装置 |
US9460354B2 (en) * | 2012-11-09 | 2016-10-04 | Analog Devices Global | Object detection |
JP6140478B2 (ja) * | 2013-03-04 | 2017-05-31 | 株式会社メガチップス | 物体検出装置、プログラムおよび集積回路 |
JP6273176B2 (ja) * | 2014-08-11 | 2018-01-31 | 株式会社 ゼネテック | 情報送信システム、サーバー、及び使用者側クライアント |
US9885784B2 (en) * | 2014-12-08 | 2018-02-06 | The United States Of America As Represented By The Secretary Of The Army | Method and system for detecting man-made objects using polarimetric, synthetic aperture radar imagery |
CN111247874B (zh) | 2018-04-27 | 2022-03-18 | 上海趋视信息科技有限公司 | 照明控制系统和方法 |
DE102018217840A1 (de) * | 2018-10-18 | 2020-04-23 | Volkswagen Aktiengesellschaft | Verfahren und System zum Bestimmen eines Umfeldmodells für ein Fahrzeug |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060126899A1 (en) * | 2004-11-30 | 2006-06-15 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus |
US20090066490A1 (en) * | 2006-11-29 | 2009-03-12 | Fujitsu Limited | Object detection system and method |
JP2009194542A (ja) * | 2008-02-13 | 2009-08-27 | Honda Motor Co Ltd | 車両周辺監視装置、車両、車両周辺監視プログラム |
EP2150053A1 (en) * | 2007-04-27 | 2010-02-03 | Honda Motor Co., Ltd. | Vehicle periphery monitoring system, vehicle periphery monitoring program and vehicle periphery monitoring method |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7983817B2 (en) * | 1995-06-07 | 2011-07-19 | Automotive Technologies Internatinoal, Inc. | Method and arrangement for obtaining information about vehicle occupants |
JP3515926B2 (ja) | 1999-06-23 | 2004-04-05 | 本田技研工業株式会社 | 車両の周辺監視装置 |
JP3828349B2 (ja) * | 2000-09-27 | 2006-10-04 | 株式会社日立製作所 | 移動体検出測定方法、その装置および移動体検出測定プログラムを記録した記録媒体 |
JP2003016429A (ja) | 2001-06-28 | 2003-01-17 | Honda Motor Co Ltd | 車両周辺監視装置 |
JP4060159B2 (ja) * | 2002-01-18 | 2008-03-12 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP4433887B2 (ja) * | 2003-07-01 | 2010-03-17 | 日産自動車株式会社 | 車両用外界認識装置 |
JP3987013B2 (ja) * | 2003-09-01 | 2007-10-03 | 本田技研工業株式会社 | 車両周辺監視装置 |
US7587064B2 (en) * | 2004-02-03 | 2009-09-08 | Hrl Laboratories, Llc | Active learning system for object fingerprinting |
GB0405014D0 (en) * | 2004-03-05 | 2004-04-07 | Qinetiq Ltd | Movement control system |
JP4069916B2 (ja) | 2004-09-14 | 2008-04-02 | 日産自動車株式会社 | 物体検出装置、および方法 |
US7248968B2 (en) * | 2004-10-29 | 2007-07-24 | Deere & Company | Obstacle detection using stereo vision |
JP4710539B2 (ja) | 2005-10-19 | 2011-06-29 | パナソニック株式会社 | ドラム式洗濯機 |
JP2007148835A (ja) * | 2005-11-28 | 2007-06-14 | Fujitsu Ten Ltd | 物体判別装置、報知制御装置、物体判別方法および物体判別プログラム |
JP4456086B2 (ja) | 2006-03-09 | 2010-04-28 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP4536674B2 (ja) | 2006-03-27 | 2010-09-01 | 本田技研工業株式会社 | 歩行者認識装置 |
JP4173902B2 (ja) | 2006-05-19 | 2008-10-29 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP4173901B2 (ja) | 2006-05-19 | 2008-10-29 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP2007328630A (ja) * | 2006-06-08 | 2007-12-20 | Fujitsu Ten Ltd | 物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置および車両制御装置 |
JP4203512B2 (ja) | 2006-06-16 | 2009-01-07 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP2008021034A (ja) * | 2006-07-11 | 2008-01-31 | Fujitsu Ten Ltd | 画像認識装置、画像認識方法、歩行者認識装置および車両制御装置 |
JP4777195B2 (ja) | 2006-09-11 | 2011-09-21 | 川崎重工業株式会社 | 運転支援装置、車両及び運転支援方法 |
US8233670B2 (en) * | 2007-09-13 | 2012-07-31 | Cognex Corporation | System and method for traffic sign recognition |
JP4486997B2 (ja) | 2008-04-24 | 2010-06-23 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP4567072B2 (ja) | 2008-05-14 | 2010-10-20 | 本田技研工業株式会社 | 車両周辺監視装置 |
US20100020170A1 (en) * | 2008-07-24 | 2010-01-28 | Higgins-Luthman Michael J | Vehicle Imaging System |
-
2011
- 2011-11-09 US US13/884,732 patent/US9160986B2/en active Active
- 2011-11-09 CN CN201180052785.1A patent/CN103189905B/zh active Active
- 2011-11-09 JP JP2012544099A patent/JP5530530B2/ja active Active
- 2011-11-09 EP EP11841502.5A patent/EP2642463A4/en not_active Ceased
- 2011-11-09 WO PCT/JP2011/006276 patent/WO2012066751A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060126899A1 (en) * | 2004-11-30 | 2006-06-15 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus |
US20090066490A1 (en) * | 2006-11-29 | 2009-03-12 | Fujitsu Limited | Object detection system and method |
EP2150053A1 (en) * | 2007-04-27 | 2010-02-03 | Honda Motor Co., Ltd. | Vehicle periphery monitoring system, vehicle periphery monitoring program and vehicle periphery monitoring method |
JP2009194542A (ja) * | 2008-02-13 | 2009-08-27 | Honda Motor Co Ltd | 車両周辺監視装置、車両、車両周辺監視プログラム |
Non-Patent Citations (2)
Title |
---|
M.BERTOZZI等: "A Symmetry-based Validator and Refinement System for Pedestrian Detection in far Infrared Image", 《INTELLIGENT TRANSPORTATION SYSTEMS CONFERENCE》 * |
M.BERTOZZI等: "Shaped-based pedestriandetection and localization", 《COMPUTATIONAL ENGINEERING IN SYSTEMS APPLICATIONS, IMACS MULTICONFERENCE ON 》 * |
Also Published As
Publication number | Publication date |
---|---|
JP5530530B2 (ja) | 2014-06-25 |
US20130229525A1 (en) | 2013-09-05 |
EP2642463A1 (en) | 2013-09-25 |
EP2642463A4 (en) | 2014-06-25 |
US9160986B2 (en) | 2015-10-13 |
WO2012066751A1 (ja) | 2012-05-24 |
JPWO2012066751A1 (ja) | 2014-05-12 |
CN103189905B (zh) | 2015-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103189905A (zh) | 车辆周围监测装置 | |
JP4733756B2 (ja) | 車両周辺監視装置 | |
CN104723991B (zh) | 用于车辆的停车支援系统及停车支援方法 | |
CN110275516A (zh) | 通过移除动态交通参与者的稳健的即时定位和地图构建 | |
CN103322974B (zh) | 多透镜摄像机系统、安装多透镜摄像机系统的交通工具,以及由多透镜摄像机系统执行的测距方法 | |
JP4410292B1 (ja) | 車両の周辺監視装置 | |
CN102985957A (zh) | 车辆周围监测装置 | |
JP4815488B2 (ja) | 車両周辺監視装置 | |
JP2020052694A (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
US20070274566A1 (en) | Pedestrian detector and pedestrian detecting method | |
WO2010047015A1 (ja) | 車両周辺監視装置 | |
CN101447019A (zh) | 图像识别装置以及图像识别程序 | |
JP2007334751A (ja) | 車両周辺監視装置 | |
JP4528283B2 (ja) | 車両周辺監視装置 | |
JP4775034B2 (ja) | 画像認識システムおよび画像認識方法 | |
JP3999088B2 (ja) | 障害物検出装置 | |
JPH03269314A (ja) | 追尾式車間距離検出装置 | |
JP4813304B2 (ja) | 車両周辺監視装置 | |
JP2006151300A (ja) | 車両周辺監視装置 | |
JP7131131B2 (ja) | 車両用ライン検出装置および該方法 | |
JP5276032B2 (ja) | 対象物の位置を算出するための装置 | |
JP4823753B2 (ja) | 車両の周辺監視装置 | |
JP4788399B2 (ja) | 歩行者検出方法、装置、およびプログラム | |
JP4567072B2 (ja) | 車両周辺監視装置 | |
JP2006155389A (ja) | 車両周辺監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20210512 Address after: Sweden Wajiada Patentee after: Vennell Sweden Address before: Tokyo, Japan Patentee before: HONDA MOTOR Co.,Ltd. |
|
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220830 Address after: Linkping Patentee after: Anzher software Co. Address before: Sweden Wajiada Patentee before: Vennell Sweden |
|
TR01 | Transfer of patent right |