CN102197418A - 车辆周围监测装置 - Google Patents

车辆周围监测装置 Download PDF

Info

Publication number
CN102197418A
CN102197418A CN200980142182.3A CN200980142182A CN102197418A CN 102197418 A CN102197418 A CN 102197418A CN 200980142182 A CN200980142182 A CN 200980142182A CN 102197418 A CN102197418 A CN 102197418A
Authority
CN
China
Prior art keywords
gray
temperature
scale value
monitored target
car
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200980142182.3A
Other languages
English (en)
Other versions
CN102197418B (zh
Inventor
松田幸大
长冈伸治
高津户泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN102197418A publication Critical patent/CN102197418A/zh
Application granted granted Critical
Publication of CN102197418B publication Critical patent/CN102197418B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/04—Recognition of patterns in DNA microarrays

Abstract

本发明提供一种车辆周围监测装置，其能从背景中精准地分离并抽出车辆周围的被监测对象。由车辆周围监测装置测出车外气温，再求出根据该车外气温推测到的被监测对象的表面温度和该车外气温的温差，然后根据图像中背景灰度值和对应于该温差的灰度差求出该被监测对象的灰度值，最后以该被监测对象的灰度值作为阈值对图像进行二值图像处理而抽出该被监测对象。由于根据车外气温和被监测对象的表面温度之间的关系设定二值图像处理时的阈值，所以能够从背景中精准地分离并抽出被监测对象。

Description

车辆周围监测装置
技术领域
本发明涉及一种车辆周围监测装置，其利用红外线摄像头拍到的图像监测车辆的周围情况。更具体地讲，本发明涉及一种对上述图像进行二值图像处理而抽出被监测对象的车辆周围监测装置。
背景技术
在现有技术中，有人提出以下一种装置：将红外线摄像头搭载在车辆上，对由上述红外线摄像头拍到的图像进行二值图像处理而抽出行人或其他动物等温度较高的被监测对象。在日本发明专利公报特开2003-216949号(专利文献1)中提出如下一种方法：制作由红外线摄像头拍到的图像的灰度值直方图，再根据该灰度值直方图确定用来划分成背景图像和被监测对象图像的阈值。用所述阈值进行二值图像处理时可区分出温度较高的被监测对象和背景并抽出该被监测对象。
专利文献1：日本发明专利公报特开2003-216949号
在车辆的周围除行人或其他动物等生物之外还可能存在电线杆或墙壁等人工构筑物。为了将行人或其他动物等生物作为温度较高的被监测对象而使其与背景分离并抽出时，在二值图像处理中须将上述人工构筑物分类为背景。但是，人工构筑物根据其种类或设置情况和周围温度等车辆周围环境的不同而有所差异，因此，有时人工构筑物的温度比除它以外的背景部分的温度高，这样即使采用上述现有技术中的方法，也有可能出现将人工构筑物分类为温度较高的被监测对象的问题。因此，人们希望提供一种被监测对象抽出方法，所述方法与车辆周围环境无关，能在二值图像处理时从背景中精准地分离并抽出该被监测对象。
发明内容
为实现上述目的，本发明的一个技术方案中所述的车辆周围监测装置，其用搭载在车辆上的红外线摄像头拍到的图像监测车辆的周围情况，由该车辆周围监测装置测出车外气温，再求出根据该车外气温推测到的被监测对象表面温度和该车外气温的温差，然后根据图像中背景灰度值和对应于上述温差的灰度差求出该图像中该被监测对象的灰度值，最后以该被监测对象的灰度值为阈值对由红外线摄像头拍到的图像进行二值图像处理而抽出该被监测对象。
被监测对象表面温度以及车外气温之间的关系是预先确定好的，因此可以根据车外气温推测该表面温度。本发明基于该构思而完成。求出根据测出的车外气温推测到的被监测对象表面温度和该车外气温的温差。由于考虑到背景灰度值应与车外气温对应，所以可根据该背景灰度值和对应于该温差的灰度值求出对应于被监测对象的灰度值。以求出的被监测对象的灰度值为阈值对图像进行二值图像处理时，可从除被监测对象之外的背景部分中精准地分离并抽出该被监测对象。因此，若以行人为被监测对象时，由于行人的表面温度和车外气温之间的关系是预先确定好的，所以本发明能够防止错误地将人工构筑物作为被监测对象而抽出的情况出现。
关于本发明的其他技术特征和优点，可以通过以下的详细说明来了解。
附图说明
图1是根据本发明的一个实施例表示车辆周围监测装置的结构的框图。
图2是根据本发明的一个实施例说明摄像头安装位置的示意图。
图3是根据本发明的一个实施例表示图像处理单元中的图像处理过程的流程图。
图4是根据本发明的一个实施例确定车外气温以及被监测对象的表面温度之间的关系的图(表)的示意图。
图5是根据本发明的一个实施例说明二值图像处理中的阈值设定方法的示意图。
图6是表示比较现有技术中的二值图像和由本发明的一个实施例所得的二值图像的示意图。
图7是根据本发明的一个实施例说明对图像中被监测对象的大小进行推测的示意图。
图8是根据本发明的一个实施例说明被监测对象区域设定和被监测对象判定的示意图。
图9是根据本发明的一个实施例说明被监测对象区域设定的其他方法的示意图。
图10是根据本发明的一个实施例说明根据路面温度来设定二值图像处理时阈值的设定方法的示意图。
具体实施方式
下面，参照附图说明本发明的实施方式。
图1是根据本发明的一个实施例表示车辆周围监测装置的结构的框图。该装置具有：2个红外线摄像头1R和1L，它们均搭载在车辆上，可测出远红外线；传感器5，由其测出车辆周围车外气体的温度(车外气温)；图像处理单元2，由其根据摄像头1R以及1L拍到的图像数据测出车辆前方的被监测对象；扬声器3，根据上述测出结果，由该扬声器3发出声音警报。平视显示装置(以下称为HUD)4，其既显示由摄像头1R或1L拍到的图像又进行可以使驾驶员察觉到在车辆前方存在被监测对象的显示。
如图2所示，摄像头1R和1L设置车辆10的前部，并且位于以通过车辆10的车辆宽度中心的中心轴呈轴对称的位置上。摄像头1R和1L的光轴呈互相平行状态且距离路面的高度相等，它们以此方式固定在车辆上。红外线摄像头1R和1L具有如下特性：相比背景温度，被监测对象的温度越高，其输出信号的强度越高(即，拍到的图像中的灰度值越大)。
图像处理单元2具有：A/D变换电路，由其将被输入的模拟信号变换为数字信号；图像存储器，由其存储经数字处理过的图像信号；中央处理器(CPU)，由其进行各种运算处理；RAM(随机存储器)，当CPU进行各种运算处理时，由该RAM(随机存储器)存储各种数据；ROM(只读存储器)，由其存储运行CPU时用到的程序和数据(包括表格、图(表))；输出电路，由其向扬声器3输出驱动信号以及向HUD4输出显示信号等。由摄像头1R和1L输出的信号以及传感器5输出的信号变换为数字信号而传送给CPU。如图2所示，HUD4设置在车辆10的前挡风玻璃上，其用来在驾驶员的前方位置显示画面4a。这样，驾驶员就可查看显示在HUD 4上的画面内容
图3是表示由图像处理单元2进行处理的流程图。所述处理每隔规定的时间间隔进行一次。
在步骤S11～S13中，接收由摄像头1R和1L输出的输出信号(即，拍到的图像数据)，并对其进行A/D变换且将其存储在图像存储器中。被存储的图像数据为包含灰度信息的灰度图像。
在以下步骤S14～S19中进行可在二值图像处理中从背景中分离并抽出所需要的被监测对象的处理。在本实施例中以行人作为所需要的被监测对象进行说明。
在步骤S14中，获取由车外气温传感器5测出的车外气温i(℃)。在步骤S15中确定背景灰度值Tb。可采用任何所需的合适的方法确定背景灰度值。在本实施例中根据灰度图像制作灰度值直方图，用最高度数的灰度值作为背景灰度值Tb。其原因在于图像中通常背景所占的面积最大。
在步骤S16中，根据测出的车外气温i对照如图4中所示的图(表)。这里对该图(表)进行说明。由于行人头部、主要是脸部皮肤暴露在空气中，所以该部位是阻碍热源较少的部位。因此，着眼于暴露在空气中的头部表面。通过实验或模拟实验等方法调查头部表面的温度(以下称为表面温度)fa(℃)和车外气温i(℃)之间的关系时，了解到两者之间具有图4所示的关系。在该图中，横轴表示车外气温i(℃)，纵轴表示表面温度fa(℃)。如该图(表)所示，可由车外气温i推测表面温度fa。
表面温度fa与车外气温i如曲线101般相关，车外气温i越高表面温度fa也越高。对于车辆所处的车外气温i，用曲线101和线103(其为表示fa＝i的直线)的差表示表面温度fa(i)与车外气温i的差，该差被称为表面温差并用F(i)表示。即，F(i)＝表面温度fa(i)-车外气温i。如图(表)所示，表面温差F(i)具有车外气温i的增高而减小的趋势。
为提高被监测对象的抽出精度，在本实施例中，以F(i)为中心设定规定的余量范围(界限)T(℃)。该余量范围的上限用虚线101U表示，该上限与车外气温i的差表示为F(i)max。该余量范围的下限用虚线101L表示，该下限与车外气温i的差表示为F(i)min。
图4所示的图(表)预先存储在图像处理单元2的存储器中，图像处理单元2根据测出的车外气温i(℃)对照图4中所示的图(表)求出与车外气温i对应的表面温度fa，再求出该表面温度fa和车外气温i之间的表面温差F(i)，最后用规定的余量范围T求出相对于该表面温差F(i)的上限值F(i)max和下限值F(i)min。这里，余量范围T可随车外气温i的不同而改变，也可以是恒定的。
也可用以下计算方法代替上述计算方法：将相对于各车外气温i的表面温差F(i)的上限值F(i)max以及下限值F(i)min存储在存储器中，跳过由车外气温i计算表面温度fa的步骤而直接由车外气温i计算上限值F(i)max以及下限值F(i)min。
返回图3，在步骤S17中，求出对应于表面温差F(i)的上限值F(i)max以及下限值F(i)min的灰度差。根据远红外线摄像头的规格的不同，其灰度值变化程度相对于温度变化程度的比值是确定的，用参数SiTF表示所述比值。这样，如下式(1)所示，可对应于表面温差F(i)的上限值F(i)max以及下限值F(i)min分别求出灰度差的上限值dTmax以及下限值dTmin。
dTmax＝SiTF×F(i)max
dTmin＝SiTF×F(i)min    (1)
在步骤S18中，求出用来进行二值图像处理的阈值。在此参照图5时，表示在步骤S13中获取的灰度图像的灰度值直方图的一个例子。如上所述，在步骤S15中，最高度数的灰度值(峰值灰度值)被设定为背景灰度值Tb。由于可考虑背景灰度值Tb应与车外气温i对应，所以如下式(2)所示，相对于车外气温i而具有表面温差F(i)的上限值F(i)max的表面温度，其灰度值Tcmax相对于背景灰度值Tb具有灰度差的上限值dTmax。同样，相对于车外气温i具有表面温差F(i)的上限值F(i)min的表面温度，其灰度值Tcmin相对于背景灰度值Tb具有灰度差的下限值dTmin。
Tcmax＝Tb+dTmax
Tcmin＝Tb+dTmin    (2)
上限灰度值Tcmax和下限灰度值Tcmin被设定为二值图像处理时的阈值。图5中表示有由这两个阈值划定的区域111，该区域111是用来抽出被监测对象的灰度区域。
在步骤S19中，用在步骤S18中设定的阈值对从步骤S13中获取的灰度图像(本实施例中用由摄像头1R拍到的图像，但也可以用由摄像头1L拍到的图像)进行二值图像处理。对于拍到的图像中的各像素，该像素的灰度值在灰度区域111内时判定为是应被抽出的被监测对象，并将该像素作为数值1的白色区域，该像素的灰度值在灰度区域111外时则判定为是背景，并将该像素作为数值0的黑色区域。
这里，参照图6时，其为模拟表示图像的示意图。图6中(a)表示灰度图像(由摄像头拍到的图像)，在该图中用所涂阴影种类的不同表示其灰度不同。图6中(b)表示采用现有技术中的方法进行二值图像处理后的图像。图6中(c)表示采用上述步骤S14～S19中的方法进行二值图像处理后的图像。图中的黑色区域表示涂过阴影的区域。
在灰度图像中，除拍到了行人121以外，还拍到了电线杆125或汽车127等人工构筑物。在现有技术中，如图6中(b)所示，出现过以下情况：根据用于二值图像处理的阈值，将这些人工构筑物125、127也作为与行人一样的被监测对象而抽出。即，将其作为白色区域而抽出。
相对于此，采用本发明中的上述方法时，其推测对应于车外气温的被监测对象(本实施例中是行人)的表面温度，并根据该推测到的表面温度与车外气温的差设定被监测对象的灰度区域。因此如图6中(c)白色区域131所示，可只抽出行人121的头部部分(以下将该区域称为头部区域)。因此，即使如图6中(a)所示人工构筑物125和行人121重叠时，也可像图6中(c)所示般容易地只抽出行人121。像这样，采用本发明时可从除被监测对象之外的背景部分中精准地分离并抽出该被监测对象。
返回图3，在步骤S20中，根据所抽出的头部区域的大小推测与图像中对应的行人的全身大小。该推测过程可采用任何所需的合适的方法来实现，在此具体说明其中的一个例子。
参照图7时，在图7中(a)中，用黑色区域表示二值图像中被抽出的头部区域，其宽度用w(由像素数表示)表示。例如可在头部区域设定外接四边形以求出该宽度w。用虚线表示行人的除头部以外的部分，该部分为尚未被抽出的部分。在步骤S20中，以推测行人在图像中的高度h(由像素数表示)为目的。
为完成上述推测工作，如图7中(b)所示，预先设定实际空间中的行人的一般尺寸、即设定头部宽度Wa和身高Ha。Wa和Ha例如可基于成年人的平均值数值来设定(例如Wa为20(cm)、Ha为160～170(cm)以内的数值)。
另外，图7中(c)是在平面XZ内表示摄像头1R和被监测对象的设置关系的示意图，图7中(d)是在平面YZ内表示摄像头1R和被监测对象的设置关系的示意图。这里，X表示车辆10的车宽方向，Y表示车辆10的车高方向，Z表示从车辆10朝向被监测对象的距离方向。摄像头1R具有摄像元件11R和镜头12R。符号f表示镜头12R的焦距。
参照图7中(c)，当到被监测对象的距离为Z(cm)时，可根据下式(3)求出距离Z。这里，式中的pcw为X方向上的像素间隔、即一个像素的长度(cm)。
Z＝Wa×f/(w×pcw)       (3)
如图7中(d)所示，可根据下式(4)并利用距离Z求出行人在图像中的高度h(cm)。这里，式中的pch为Y方向上的像素间隔、即一个像素的长度(cm)。
h＝(Ha/pch)×f/Z    (4)
这样就可推测出与图像中对应的行人的大小，即，其具有宽度w和高度h。另外，考虑到与头部宽度相比，由于一般情况下人们广泛使用身体宽度，所以可用头部区域的宽度w加上规定的余量数值而得的数值来代替上述宽度w。
返回图3，在步骤S21中，根据在步骤S20中推测到的行人大小数值，在图像(可以是灰度图像，也可以是二值图像)中设定被监测对象区域。这里，参照图8中(a)时，显示有如上所述的被抽出的头部区域131。如粗框部分所示，被监测对象区域141设定方法如下：其宽度为该头部区域131的宽度w，高度为从头部区域131的顶点(图中的y坐标值为yu)起的高度h。这样，可确定图像中与被监测对象对应的位置。
返回图3，在本实施方式中，通过运行步骤S22而完成对被设定的被监测对象区域141的被监测对象判定处理，以判定该被监测对象区域141中被拍到的被监测对象是否是行人。例如，可以采用公知的形状匹配法等任何所需的合适的被监测对象判定方法判定行人(例如日本专利公开公报特开2007-264778号)。用灰度图像进行上述处理。图8中(b)表示有根据上述形状判定法判定的行人151。
若在步骤S22中判定被监测对象为行人时进入步骤S23进行警报判定处理。在该处理中判定实际上是否要向驾驶员发出警报，如果该判断结果为是时则发出警报。
例如根据制动传感器(未图示)的输出信号来判别车辆的驾驶员是否操作了制动器。当未操作制动器时可发出警报。所发出的警报既包括由扬声器3发出的声音警报，又包括由HUD4的画面显示的如由摄像头1R拍到的图像，其中突出显示有行人。突出显示的方法可以采用任何所需的合适的方法，例如可由带颜色的框包围而突出显示。这样就能可靠地让驾驶员察觉到存在于车辆前方的行人。另外，也可采用警报或图像显示的其中任何一种方法来发出警报。
作为上述步骤S20的其他方法，也可用头部区域131的高度(可用外接于头部区域131的四边形的高度，用像素数表示)和头部与身高的比值求出与图像中对应的行人的高度。例如，头部区域131的高度为hb，成年人头部与身高的平均比值为1/7时，可推测为行人的高度为h＝7×hb。
另外，作为步骤S20和S21的其他方法，由头部区域131的下部区域的灰度值判定路面以确定被监测对象区域141。参照图9简单说明该方法，图9中(a)是灰度图像(图中省略了头部区域131以外的部分)，在被抽出的头部区域131的下面设定具有规定尺寸的遮掩部161，求出被该遮掩部覆盖的区域内的灰度值的方差(也可用作为方差的平方根的标准偏差来代替它)。因考虑到被拍到的路面为灰度值基本相同的图像区域，所以方差大于规定数值时可判定为由该遮掩部设定的区域不是路面。此时，如图9中(b)所示，使遮掩部161向下移动并再次计算方差。一边向下移动遮掩部161一边反复进行该处理。当由该遮掩部覆盖的区域中只有路面时显示较小的方差。如图9中(c)所示，若可求出方差低于规定数值时的遮掩部161的位置，将该遮掩部161位置和该遮掩部161的上次位置(用虚线表示)之间的分界线(y坐标值为yb)判断为被监测对象区域141的底边。这样就可抽出被监测对象区域141，其宽度为w，高度为从头部区域顶部(y坐标为yu)到该分界线之间的距离。
在上述实施例的灰度值直方图中，将最高度数的灰度值设定为背景灰度值Tb并使之与车外气温对应。也可用以下方法代替上述方法：区分车外气温和路面温度以确定背景灰度值Tb，即，摄像头如图2所示般设置在车辆前方时，由于拍到的图像中路面所占的面积较大，所以在一般情况下，可使最高度数的灰度值与路面温度对应。因此，预先以图(表)形式(未图示)确定路面温度和车外气温之间的关系并且将其存储在存储器中。该关系可通过实验或模拟实验等方法来获得。
根据测出的车外气温i并参照该图(表)而求出与之对应的路面温度R。再求出路面温度R与车外气温i的温差。用上述参数SiFT将该温差变换为灰度差dTi。在此，参照图10时其表示有同图5一样的灰度值直方图。最高度数的较高灰度值Tr与路面温度R对应。一般情况下由于路面温度R比车外气温i高，所以只需从路面灰度值Tr中减去求出的灰度差dTi部分就可求出对应于车外气温i的灰度值，并且将其作为图3的步骤S15中的背景灰度值Tb。另外，当车外气温i高于路面温度R时，只需将路面灰度值Tr加上灰度差dTi而求出对应于车外气温的灰度值Ti即可。对于背景灰度值Tb，可由具有灰度差dTmax和dTmin的灰度值Tcmax和Tcmin确定被监测对象的灰度区域。这样经区分车外气温和路面温度可更准确地求出背景灰度值。因此，可以更加适当地设定二值图像处理时所使用的阈值，从而能够提高被监测对象的抽出精度。
由于路面温度和车外气温之间的温差有可能出现以下问题：其随天气状况(是否是晴天、风速、降雨量等)或从日落开始随所经过的时间等外部环境参数值的变动而变化，所以也可优选根据预先设定的外部环境参数值分别制作成图(表)并存储起来，进而使用对应于出车日的外部环境参数值的图(表)。
同样，图4中的图(表)也可根据每个天气状况等外部环境参数值设定并存储在存储器中。例如分别制作对应于风速在规定数值以上的日子或不是该情况的日子的图(表)并存储起来，进而使用对应于出车日的风速的图(表)。
另外，如参照图4所说明的那样，对表面温差F(i)设定了用来确定余量范围T的上限值F(i)max以及下限值F(i)min。像这样设定余量范围时就可设定二值图像处理时的阈值，从而能可靠且精准地抽出被监测对象。但也可用以下方法代替上述方法：无需设定上述余量范围T，而是求出对应于表面温差F(i)的灰度差dT，并且用它加上背景灰度值Tb而求出被监测对象的灰度值Tc。可将灰度值Tc作为阈值进行二值图像处理。例如将具有与灰度值Tc一致的灰度值的像素判定为被监测对象并设定为白色区域，将具有与灰度值Tc不同的灰度值的像素判定为不是被监测对象并设定为黑色区域。另外，也可将以灰度值Tc为中心的规定范围设定为被监测对象的灰度区域。
还有，在上述实施例中，以经二值图像处理而应被抽出的被监测对象是行人为例进行了说明。但是被监测对象也可以是动物等其他生物。例如对规定的其他动物而言，通过实验或模拟实验等而预先制作成图3所示的图(表)，再利用该图(表)设定如上所述的二值图像处理时的阈值。当被监测对象是其他动物时，由于它们几乎整个身体暴露在空气中的情况较多，所以在图3的步骤S19中所进行的二值图像处理中它们的整个身体将会被抽出。因此也可进行如下处理：跳过步骤S20和S21，在步骤S22中在被抽出的区域中进行形状判定等处理，进而判定被监测对象是否是其他动物，如果判定为是其他动物则在步骤S23中进行警报判定处理。
另外，如图3所示，由于本发明可适用于具有表面温度的被监测对象，因此，本发明中的被监测对象并不局限于一定是人或其他动物等生物。其中，所述表面温度与车外气温之间的关系可预先经实验或模拟实验确定下来。
【附图标记说明】
1R、1L：红外线摄像头(摄像机构)；2：图像处理单元；3：扬声器；4：平视显示装置。
权利要求书(按照条约第19条的修改)
1.一种车辆周围监测装置，其用搭载在车辆上的红外线摄像头拍到的图像监测车辆的周围情况，其特征在于，具有：
车外气温检测机构，由其测出所述车辆的车外气温；
温差求出机构，由其求出根据所述车外气温推测到的被监测对象的表面温度和该车外气温之间的温差；
被监测对象灰度值求出机构，由其在所述被监测对象图像中的背景灰度值上加上对应于所述温差的灰度值而求出该图像中的该被监测对象的灰度值；
被监测对象抽出机构，其以所述被监测对象的灰度值为阈值对由所述红外线摄像头拍到的图像进行二值图像处理，进而抽出所述被监测对象。
2.根据权利要求1所述的车辆周围监测装置，其特征在于，具有：
路面温度推测机构，由其根据所述车外气温推测路面温度；
与车外气温对应的灰度值求出机构，由其根据对应于所述路面温度和所述车外气温的温差的灰度差，求出与该车外气温对应的灰度值，
将与所述车外气温对应的灰度值设定为所述背景灰度值。
3.根据权利要求1或2所述的车辆周围监测装置，其特征在于，
所述被检测对象物是生物体，
还具有生物体温度推测机构，由其根据车外气温来推测所述生物体的表面温度，
所述温差求出机构以所述推测到的生物体的表面温度和所述车外温度的温差作为所述被监测对象的表面温度和所述车外温度的温差，
所述推测到的生物体的表面温度和所述车外温度的温差随该车外温度的增高而变小。
4.根据权利要求3所述的车辆周围监测装置，其特征在于，
与该车外气温对应的灰度值求出机构根据对应于所述路面温度和所述车外气温的温差的灰度差，对所述图像中的灰度值直方图中最高度数的灰度值进行修正，从而求出与该车外气温对应的灰度值。

Claims (3)

1.一种车辆周围监测装置，其用搭载在车辆上的红外线摄像头拍到的图像监测车辆的周围情况，其特征在于，具有：
车外气温检测机构，由其测出所述车辆的车外气温；
温差求出机构，由其求出根据所述车外气温推测到的被监测对象的表面温度和该车外气温之间的温差；
被监测对象灰度值求出机构，由其根据所述图像中的背景灰度值和对应于所述温差的灰度值求出该图像中的该被监测对象的灰度值；
被监测对象抽出机构，其以所述被监测对象的灰度值为阈值对由所述红外线摄像头拍到的图像进行二值图像处理，进而抽出所述被监测对象。
2.根据权利要求1所述的车辆周围监测装置，其特征在于，
作为所述推测到的被监测对象的表面温度，具有上限表面温度和下限表面温度，
由所述温差求出机构既求出所述推测到的上限表面温度和所述车外气温之间的第一温差又求出所述推测到的下限表面温度和所述车外气温之间的第二温差，
由所述被监测对象灰度值求出机构既根据所述背景灰度值以及与所述求出的第一温差对应的灰度差求出所述图像中该被监测对象的上限灰度值，又根据所述背景灰度值以及与所述求出的第二温差对应的灰度差求出该图像中该被监测对象的下限灰度值，
由所述被监测对象抽出机构用作为所述阈值的所述上限灰度值和所述下限灰度值，再根据所述图像中的各个灰度值是否处于该下限灰度值和该上限灰度值之间的判定结果对该图像进行二值图像处理。
3.根据权利要求1或2所述的车辆周围监测装置，其特征在于，具有：
路面温度推测机构，由其根据所述车外气温推测路面温度；
灰度值求出机构，由其根据对应于所述路面温度和所述车外气温的温差的灰度差，对所述图像中的灰度值直方图中最高度数的灰度值进行修正，从而求出与该车外气温对应的灰度值，
将与所述车外气温对应的灰度值设定为所述背景灰度值。
CN200980142182.3A 2008-10-24 2009-10-08 车辆周围监测装置 Expired - Fee Related CN102197418B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008274483A JP4482599B2 (ja) 2008-10-24 2008-10-24 車両の周辺監視装置
JP2008-274483 2008-10-24
PCT/JP2009/005261 WO2010047055A1 (ja) 2008-10-24 2009-10-08 車両の周辺監視装置

Publications (2)

Publication Number Publication Date
CN102197418A true CN102197418A (zh) 2011-09-21
CN102197418B CN102197418B (zh) 2014-08-06

Family

ID=42119110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980142182.3A Expired - Fee Related CN102197418B (zh) 2008-10-24 2009-10-08 车辆周围监测装置

Country Status (5)

Country Link
US (1) US20110234805A1 (zh)
EP (1) EP2346015B1 (zh)
JP (1) JP4482599B2 (zh)
CN (1) CN102197418B (zh)
WO (1) WO2010047055A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103797528A (zh) * 2011-09-28 2014-05-14 本田技研工业株式会社 生物体识别装置
CN104335244A (zh) * 2012-06-26 2015-02-04 本田技研工业株式会社 对象物识别装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5137981B2 (ja) * 2010-02-01 2013-02-06 株式会社ビートソニック 車載用監視カメラ
US9105115B2 (en) * 2010-03-16 2015-08-11 Honeywell International Inc. Display systems and methods for displaying enhanced vision and synthetic images
WO2011155152A1 (ja) * 2010-06-07 2011-12-15 本田技研工業株式会社 車両の周辺監視装置
US20120013742A1 (en) * 2010-07-16 2012-01-19 Delphi Technologies, Inc. Vision system and method for displaying a field of view dependent upon detecting an object
US10046716B2 (en) 2011-02-10 2018-08-14 Denso Corporation In-vehicle camera and vehicle control system
JP6176028B2 (ja) 2013-09-26 2017-08-09 株式会社デンソー 車両制御システム、画像センサ
US9690997B2 (en) 2011-06-06 2017-06-27 Denso Corporation Recognition object detecting apparatus
JP5370413B2 (ja) 2011-06-06 2013-12-18 株式会社デンソー 認識対象検出装置
JP5782870B2 (ja) * 2011-07-05 2015-09-24 セイコーエプソン株式会社 検出装置及び検出方法
JP5774770B2 (ja) * 2012-03-12 2015-09-09 本田技研工業株式会社 車両周辺監視装置
JP6013884B2 (ja) * 2012-11-08 2016-10-25 日立オートモティブシステムズ株式会社 物体検出装置及び物体検出方法
JP6440115B2 (ja) * 2014-03-06 2018-12-19 パナソニックＩｐマネジメント株式会社 表示制御装置、表示制御方法、および表示制御プログラム
CN107107834A (zh) * 2014-12-22 2017-08-29 富士胶片株式会社 投影型显示装置、电子设备、驾驶者视觉辨认图像共享方法以及驾驶者视觉辨认图像共享程序
CN108909626A (zh) * 2017-10-16 2018-11-30 北京兴科迪电子技术研究院 一种厢式货车监控系统
DE102020104182A1 (de) 2020-02-18 2021-08-19 HELLA GmbH & Co. KGaA Verfahren zur Bestimmung der Fahrbahntemperatur aus einem Fahrzeug
JP2023062609A (ja) * 2021-10-21 2023-05-08 パナソニックＩｐマネジメント株式会社 人体領域検知システム、人体領域検知方法およびプログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001023095A (ja) * 1999-07-12 2001-01-26 Mazda Motor Corp 車両の周囲情報報知装置
US6327522B1 (en) * 1999-09-07 2001-12-04 Mazda Motor Corporation Display apparatus for vehicle
JP2003016458A (ja) * 2001-06-28 2003-01-17 Honda Motor Co Ltd 対象物抽出装置
JP2005043376A (ja) * 1999-01-14 2005-02-17 Matsushita Electric Ind Co Ltd 赤外線画像撮像装置およびこれを搭載した車両
US20050063565A1 (en) * 2003-09-01 2005-03-24 Honda Motor Co., Ltd. Vehicle environment monitoring device
JP2005128776A (ja) * 2003-10-23 2005-05-19 Nissan Motor Co Ltd 閾値設定装置及び閾値設定方法
CN1619584A (zh) * 2003-11-20 2005-05-25 日产自动车株式会社 车辆周围环境监控设备及其方法
JP2006101384A (ja) * 2004-09-30 2006-04-13 Nissan Motor Co Ltd 人物検出装置及び方法
JP2007264732A (ja) * 2006-03-27 2007-10-11 Mazda Motor Corp 車両用方向者検出装置
CN101185084A (zh) * 2005-05-31 2008-05-21 皇家飞利浦电子股份有限公司 用于夜间探测道路的方法和系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0481178A (ja) * 1990-07-24 1992-03-13 Fujitsu Ltd Ｉｒｃｃｄ検知器の直流オフセット補正方法
US5196703A (en) * 1991-09-27 1993-03-23 Texas Instruments Incorporated Readout system and process for IR detector arrays
US6700124B1 (en) * 1999-01-14 2004-03-02 Matsushita Electric Industrial Co., Ltd. Infrared imaging device, vehicle having the same installed therein, and infrared image adjustment device
JP2003009140A (ja) * 2001-06-26 2003-01-10 Mitsubishi Motors Corp 歩行者検出装置
JP3756452B2 (ja) * 2002-01-18 2006-03-15 本田技研工業株式会社 赤外線画像処理装置
JP2004067031A (ja) * 2002-08-08 2004-03-04 Nissan Motor Co Ltd 操作者判別装置およびこれを用いた車載装置
JP4536674B2 (ja) 2006-03-27 2010-09-01 本田技研工業株式会社 歩行者認識装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005043376A (ja) * 1999-01-14 2005-02-17 Matsushita Electric Ind Co Ltd 赤外線画像撮像装置およびこれを搭載した車両
JP2001023095A (ja) * 1999-07-12 2001-01-26 Mazda Motor Corp 車両の周囲情報報知装置
JP3900508B2 (ja) * 1999-07-12 2007-04-04 マツダ株式会社 車両の周囲情報報知装置
US6327522B1 (en) * 1999-09-07 2001-12-04 Mazda Motor Corporation Display apparatus for vehicle
JP2003016458A (ja) * 2001-06-28 2003-01-17 Honda Motor Co Ltd 対象物抽出装置
US20050063565A1 (en) * 2003-09-01 2005-03-24 Honda Motor Co., Ltd. Vehicle environment monitoring device
JP2005128776A (ja) * 2003-10-23 2005-05-19 Nissan Motor Co Ltd 閾値設定装置及び閾値設定方法
CN1619584A (zh) * 2003-11-20 2005-05-25 日产自动车株式会社 车辆周围环境监控设备及其方法
JP2006101384A (ja) * 2004-09-30 2006-04-13 Nissan Motor Co Ltd 人物検出装置及び方法
CN101185084A (zh) * 2005-05-31 2008-05-21 皇家飞利浦电子股份有限公司 用于夜间探测道路的方法和系统
JP2007264732A (ja) * 2006-03-27 2007-10-11 Mazda Motor Corp 車両用方向者検出装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103797528A (zh) * 2011-09-28 2014-05-14 本田技研工业株式会社 生物体识别装置
CN104335244A (zh) * 2012-06-26 2015-02-04 本田技研工业株式会社 对象物识别装置

Also Published As

Publication number Publication date
EP2346015B1 (en) 2014-06-18
EP2346015A4 (en) 2012-04-11
EP2346015A1 (en) 2011-07-20
US20110234805A1 (en) 2011-09-29
CN102197418B (zh) 2014-08-06
JP2010102572A (ja) 2010-05-06
WO2010047055A1 (ja) 2010-04-29
JP4482599B2 (ja) 2010-06-16

Similar Documents

Publication Publication Date Title
CN102197418B (zh) 车辆周围监测装置
CN104723991B (zh) 用于车辆的停车支援系统及停车支援方法
US10872419B2 (en) Method and apparatus for evaluating a vehicle travel surface
US8988597B2 (en) Imaging control device and program for controlling facial image taking apparatus which radiates infrared light toward the face
JP5299026B2 (ja) 車両用表示装置
CN106778534B (zh) 一种车辆行驶中周围环境灯光识别方法
JP5809751B2 (ja) 対象物認識装置
JP4528283B2 (ja) 車両周辺監視装置
KR101753928B1 (ko) Ｈｄｒ 카메라를 이용한 상대 운동 측정 방법
CN106295494B (zh) 车外环境识别装置
JP2008123113A (ja) 歩行者検知装置
JP5071198B2 (ja) 信号機認識装置，信号機認識方法および信号機認識プログラム
US11386867B2 (en) In-vehicle display control device
JP2016196233A (ja) 車両用道路標識認識装置
CN104008518B (zh) 对象检测设备
JP4813304B2 (ja) 車両周辺監視装置
JP2004086417A (ja) 横断歩道等における歩行者検出方法及び同装置
JP2008183933A (ja) 赤外線暗視装置
JP2008093131A (ja) 眩しさ評価装置
KR101360412B1 (ko) 머리 움직임 정보를 이용하는 산만/졸음 운전 감시 시스템
JP2011221630A (ja) 車両の周辺監視装置
EP4046373B1 (en) An image processing method
CN110235178B (zh) 驾驶员状态推定装置以及驾驶员状态推定方法
JP5383246B2 (ja) 車両の周辺監視装置
JP5149918B2 (ja) 車両の周辺監視装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140806

Termination date: 20151008

EXPY Termination of patent right or utility model