CN104160434A - 车辆周围监视装置 - Google Patents

车辆周围监视装置 Download PDF

Info

Publication number
CN104160434A
CN104160434A CN201380009353.1A CN201380009353A CN104160434A CN 104160434 A CN104160434 A CN 104160434A CN 201380009353 A CN201380009353 A CN 201380009353A CN 104160434 A CN104160434 A CN 104160434A
Authority
CN
China
Prior art keywords
mentioned
image
vehicle
candidate
pedestrian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380009353.1A
Other languages
English (en)
Inventor
长冈伸治
相村诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN104160434A publication Critical patent/CN104160434A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种能够精确辨别2个并排行走中的步行者(PCX)与亮灯(灯70a、70b)中的车辆(Car)的车辆周围监视装置(10)。标准图像生成部(102)既生成以具有至少2个头部候补(70a、70b)的步行者候补(PCY)中的一个头部候补(70a)的周围图像为内容的标准图像(Mcr)，且生成将标准图像(Mcr)左右翻转的翻转图像(Mci)。对象物判定部(103)将另一个头部候补(70b)的周围图像作为比较图像(Mcc)，依照比较图像(Mcc)分别与标准图像(Mcr)以及翻转图像(Mci)的一致程度，对头部候补(70a、70b)是步行者(PCX)群体还是车辆(Car)进行判定。

Description

车辆周围监视装置
技术领域
本发明涉及一种利用由车辆所搭载的红外线照相机获取到的图像对车辆周围进行监视的车辆周围监视装置，尤其涉及一种适用于在夜间或暗处等行驶时使用的车辆周围监视装置。 
背景技术
在现有技术中，为公众所公知的是日本发明专利公开公报特开2003-284057A号(以下称其为JP2003-284057A)所示车辆周围监视装置，该车辆周围监视装置由红外线照相机所捕捉到的自车辆周围的图像(灰度图像以及2值化图像)来检测出有可能与自车辆相撞的步行者等对象物，并将检测出的对象物提供给自车辆的驾驶员。 
在JP2003-284057A所涉及的车辆周围监视装置中，既检测出上述对象物，即，在由左右成对的红外线照相机(立体照相机)拍摄到的自车辆周围的图像中的高温部分，且由左右图像中对象物的视差来计算出自车辆与该对象物之间的距离，由该对象物的移动方向以及该对象物的位置来检测出可能对自车辆的行驶产生影响(可能相撞)的步行者等对象物并且发出警报(JP2003-284057A中的[0014]、[0018])。 
但是，使用左右成对的红外线照相机的车辆周围监视装置价格高昂，其现状是仅被一部分高级车所采用。 
为了降低成本，在日本发明专利特许JP4521642B号(以下称其为JP4521642B)所涉及的车辆周围监视装置中，利用车辆所搭载的单个红外线照相机，以规定的时间间隔对车辆周围的对象物至少进行两次(2帧)拍摄。对象物与搭载车辆周围监视装置的车辆的相对速度越高，与前一次所拍摄到的图像的大小(尺寸)相比较，这一次所拍摄的图像中对象物的图像的大小(尺寸)的变化越大。而且，存在 于车辆前方的对象物与车辆的相对速度越高，该对象物到达车辆的时间越短。如此，即便是单个的红外线照相机，也能够由规定时间间隔的同一对象物的图像的大小的变化率推测出其到达车辆的到达时间，即TTC(time to contact or time to collision,相撞富余时间)，从而对车辆周围进行监视(JP4521642B的[0019]、[0020])。 
在JP4521642B所涉及的技术中，在对不同时间点所拍摄到的同一对象物是人还是车辆进行判定时，预先分别以与对象物相对应的局部区域来对对象物进行分割，此种情况下为，以分别与人以及车辆相对应的局部区域来对上述对象物进行分割，在将不同时间所拍摄到的涉及同一对象物的图像设为同样大小的图像的基础之上，在上述局部区域的相关程度大于阈值时，判定其为上述人或上述车辆。 
搭载了上述JP2003-284057A以及JP4521642B的现有技术所涉及的车辆周围监视装置的车辆，在夜间行驶时，能够以影像来显示被作为驾驶员用眼睛不容易看到的监视对象而由红外线照相机所检测出的前方的步行者。 
夜间等时候对人(步行者)进行判定时，人的头部因暴露在外面所以表面温度高、并且呈圆形，故能容易地在由红外线照相机所获取到的图像中判定出上述头部形状。 
另一方面，由搭载着构成车辆周围监视装置的红外线照相机的车辆，在夜间从其他车辆前方对该其他车辆(对面车)进行拍摄时，容易识别出车宽方向两端的前大灯，此外，在夜间由其他车辆后方外对其他车辆(前行车)进行拍摄时，容易识别出车宽方向两端的尾灯。 
但是，存在的课题是：在步行者并排行走的情况下，在由红外线照相机所获取到的图像中，辨别并排行走的步行者的头部群体和其他车辆的前大灯(左右成对的前大灯)或尾灯(左右成对的尾灯)是困难的。 
发明内容
鉴于上述情况，本发明的目的在于，提供一种能够精确辨别至少 2个并排行走的步行者与亮灯的车辆的车辆周围监视装置。 
本发明所涉及的车辆周围监视装置，利用由搭载于车辆上的红外线照相机获取到的图像对周围的步行者进行监视，其特征在于，具有头部候补提取部、标准图像生成部、对象物判定部。上述头部候补提取部由上述图像中提取出存在于大致水平方向的至少2个头部候补；上述标准图像生成部以包含被提取出的至少2个上述头部候补中的一个头部候补在内的周围图像作为标准图像；上述对象物判定部以包含另一个头部候补在内的周围图像作为比较图像，依据上述比较图像与上述标准图像之间的对称性，对至少2个的上述头部候补是步行者群体还是车辆进行判定。 
采用本发明，依据作为比较图像的包含另一个头部候补在内的周围图像与作为标准图像的包含一个头部候补在内的周围图像之间的对称性，能够精确辨别步行者群体与车辆，如对称性高则为步行者，如对称性低则为车辆。 
其理由在于，步行者的头部大体上呈左右对称的圆形，包含实际的头部在内的周围图像的组(上述标准图像以及上述比较图像)中的各个图像的对称性高；于此相对应，具有容易被红外线照相机误认作步行者头部的灯的车辆的上述灯多呈非左右对称形状，并且，在包含实际的灯在内的周围图像的组(上述标准图像以及上述比较图像)中，考虑到其为车辆，由于挡泥板和车体柱等与灯相邻的部位材料的存在，所以很多时候被捕捉为非对称图像。 
此外，也可以通过以下方式对至少2个的上述头部候补是步行者群体还是车辆进行判定：上述标准图像生成部以只由上述一个头部候补构成的图像代替包含上述一个头部候补在内的周围图像来生成上述标准图像，上述对象物判定部以只由上述另一个头部候补构成的图像代替包含上述另一个头部候补在内的周围图像来生成上述比较图像，上述对象物判定部依据上述只由另一个头部候补构成的图像与上述只由一个头部候补构成的图像之间的对称性，对至少2个的上述头部候补是步行者群体还是车辆进行判定。 
在此，只由实际上为头部的头部候补构成的图像，其意思为，头部自身的图像或头部的外接四角形图像(由「1」值构成的区域的头部以外的部分为「0」值，所以归根到底其为只由头部构成的图像)，只由实际上为灯的头部候补构成的图像，其意思为，灯自身的图像或灯的外接四角形图像(由「1」值构成的区域的灯以外的部分为「0」值，所以归根到底其为只由灯构成的图像)。 
如上所述，头部呈接近于左右对称的圆形，灯多呈非左右对称的角形，所以在比较这样的形状组时，能够精确辨别其是步行者群体还是车辆。 
此外，也可以通过以下方式对至少2个的上述头部候补是步行者群体还是车辆进行判定：上述标准图像生成部生成以包含被提取出的至少2个上述头部候补中的一个头部候补在内的周围图像为内容的标准图像，且生成将上述标准图像进行左右翻转的翻转图像；上述对象物判定部以包含另一个头部候补在内的周围图像作为比较图像,依据上述比较图像分别与上述标准图像以及翻转图像的一致程度，对至少2个的上述头部候补是步行者群体还是车辆进行判定。 
采用本发明，依据涉及另一个头部候补的比较图像与涉及一个头部候补的标准图像以及翻转图像的一致程度，能够精确做出如下辨别：如一致程度高则为步行者群体，如一致程度低则为车辆。 
其理由在于，如上所述，步行者呈以将头部分为左右两部分的垂直线为对称轴的对称形状，而具有容易被红外线照相机误认为步行者头部的灯的车辆，多呈以将上述灯分为左右两部分的垂直线为对称轴的非对称形状。 
在此情况下，上述标准图像生成部以包含上述头部候补以及头部候补之外的其他特征部分在内的周围图像作为上述标准图像，能够进行更精确的辨别。 
在此情况下，上述其他特征部分为相对于上述头部候补向以上述头部候补左方或右方偏移的大致垂直方向的边缘部分，由此能够更准确地精确辨别步行者群体和车辆。 
此外，上述对象物判定部对至少2个的上述头部候补是上述步行者群体还是安装于上述车辆的左右的灯进行判定。 
采用本发明，能够精确地辨别至少2个并排行走的步行者和亮灯的车辆。其结果为，能够降低将车辆错误地检测为步行者的频率。 
附图说明
图1是表示本发明的一个实施方式所涉及的车辆周围监视装置的模块图。 
图2是搭载有图1所示车辆周围监视装置的车辆的模式图。 
图3是说明车辆周围监视装置的图像处理单元的运行流程图。 
图4是并排行走的步行者的2值图像模式图。 
图5是车辆的2值图像模式图。 
图6是说明图3所示流程图中的对象物判定处理的详细运行的流程图。 
图7是说明以一个步行者为标准，计算出另一个步行者与其一致程度的图。 
图8是说明以车辆的一侧的灯为标准，计算出另一侧的灯与其一致程度的图。 
图9是搭载了变形例所涉及的车辆周边监视装置的车辆的模式图。 
具体实施方式
下面参照附图对本发明的实施方式进行说明。 
图1为表示本发明的一个实施方式所涉及的车辆周围监视装置10的结构模块图。图2为搭载有图1所示车辆周围监视装置10的车辆(也称作自车辆)12的模式图。 
在图1及图2中，车辆周围监视装置10具有以下装置：控制该车辆周围监视装置10的图像处理单元14，与该图像处理单元相连接的单个(单眼反射)红外线照相机16(拍摄装置)，检测出车辆12 车速Vs的车速传感器18，检测出驾驶员对制动踏板所做操作量(刹车操作量)Br的刹车传感器20，检测出车辆12的偏航率Yr的偏航传感器22，用于发出声音警报等的扬声器24，以及图像显示装置26，该图像显示装置26包括HUD(平视显示器)26a等，其用于显示由红外线照相机所拍摄到的图像，并且让驾驶员意识到有相撞可能的高危的步行者等对象物(移动对象物，监视对象物)。 
图像显示装置26不仅限于HUD(平视显示器)26a，也可以利用车辆12所搭载的用于显示导航系统地图的显示器以及设置在仪表单元内部等用于显示耗油量等的显示器(多功能信息显示器)。 
图像处理单元14由车辆12周围的红外线图像和表示车辆行驶状态的信号(在此为车速Vs、刹车操作量Br以及偏航率Yr)来检测出车辆前方的步行者等监视对象物，然后在判定出与该监视对象物发生相撞的可能性很高时由扬声器24发出警报(例如嘀、嘀、嘀的声音)，并且将在拍摄图像中以灰度显示的监视对象物用黄色或红色等醒目颜色框圈起来作强调显示。如此，提醒驾驶员注意。 
在此，图像处理单元14具有以下几部分：将输入的模拟信号转换为数字信号的A/D转换回路等输入回路，存储数字化图像信号的图像存储器(存储部14m)，进行各种演算处理的CPU(中央处理器)14c，存储部14m，即，用于存储CPU14c在演算过程中的数据的RAM(随机存取存储器)以及用于存储CPU14c所实施的程序、表格、地图和模板{步行者(人体)形状模板等}等的ROM(只读存储器)等，时钟(时钟部)以及定时器(计时部)，用于输出扬声器24的驱动信号和图像显示装置26的显示信号等信号的输出回路。上述图像处理单元14采用将红外线照相机16、偏航传感器22、车速传感器18以及刹车传感器20的各输出信号转换为数字信号后输入CPU14c的结构。 
图像处理单元14的CPU14c读取上述数字信号并且一边参照表格、地图以及模板等一边执行程序，即，作为各种功能模块(也称功能部)，向扬声器24以及图像显示装置26发送驱动信号(声音信号 或显示信号)。这些功能也能够通过硬件来实现。 
在此实施方式中，图像处理单元14具有头部候补提取部101、标准图像生成部102、对象物判定部103、相撞可能性判定部106、以及提醒注意信号生成判定部108等上述功能部。在后面将分别对这些功能部进行详细叙述。 
此外，基本上，图像处理单元14将由红外线照相机16所拍摄到的图像与存放在存储部14m的人体形状、动物形状、车辆形状以及包含电线杆在内的支柱等人工构造物形状等的模式上的模板进行比较，执行识别(辨别)物体的物体识别(物体辨别)处理(物体检测处理)。 
如图2所示，红外线照相机16被设置在车辆12的前部保险杠上，其光轴与车轴平行，具有拍摄对象(物体)的温度越高其输出信号(拍摄信号)越强(辉度增加)的特性。 
另外，HUD26a被设置在车辆12的前挡风玻璃上，其显示画面将被显示在不妨碍驾驶员前方视野的位置。 
在此，图像处理单元14具有以下功能：每隔数十毫秒[ms]、例如每秒30帧[ms]的帧时钟间隔或者说每个周期将由红外线照相机输出的影像信号转换成数字数据存储到存储部14m，对存储在存储部14m中的车辆前方的图像进行各种演算处理。 
头部候补提取部101由存储在存储部14m的车辆前方的上述图像中提取出步行者以及车辆(其他车辆)等监视对象物的图像部分，依据提取出的图像部分，提取出在大致水平方向的至少两个头部候补。 
标准图像生成部102生成以由头部候补提取部101所提取出的至少2个上述头部候补中的一个头部候补的周围图像为内容的标准图像，且生成将上述标准图像进行左右翻转的翻转图像。 
对象物判定部103以至少2个上述头部候补中的另一个头部候补的周围图像作为比较图像，依据由一个上述头部候补所生成的上述标准图像以及上述翻转图像分别与上述比较图像的一致程度，对至少2个上述头部候补是步行者还是车辆做出判定。 
提醒注意信号生成判定部108计算出在以上述帧时钟间隔或周期 (规定时间间隔)所拍摄的图像中，同一监视对象物的图像部分的大小的变化率Rate，然后利用上述变化率Rate推测出监视对象物到达车辆12所需时间T，且计算出监视对象物的实际空间位置以及该监视对象物在实际空间中的移动向量。 
根据上述变化率Rate(由图像中求得)和规定时间间隔的拍摄间隔(帧时钟间隔)dT(已知)，监视对象物到达车辆12所需时间(也称相撞富余时间)TTC，换言之，车辆12与监视对象物相撞所需的时间TTC，在公知领域中能够利用以下公式求出。 
TTC＝dT×Rate/(1-Rate)   (1) 
此外，利用监视对象物前一次所被拍摄到的图像中的监视对象物的宽度或长度W0(分别以像素数存储)与这一次所被摄像到的图像中的同一监视物体的宽度或长度W1(像素数)的比(Rate＝W0/W1)可以求出变化率Rate。 
另外，通过在上述公式(1)的两边乘以车速Vs，即，由下面的公式(2)可以求出到监视对象物的距离Z。此外，车速Vs准确来说为监视对象物与车辆12间的相对速度。监视对象物停止时，相对速度与车速Vs相等。 
Z＝Rate×Vs×dT/(1-Rate)   (2) 
再者，依据所计算出的上述相撞富余时间TTC和所计算出的在以规定时间间隔所拍摄的上述图像中的同一监视对象物的图像部分的位置变化量(移动向量)Δx(水平方向)、Δy(垂直方向)，提醒注意信号生成判定部108对监视对象物与车辆12相撞的可能性进行判定。 
基本上，涉及这个实施方式的车辆周围监视装置10采取以上结构并且运行，下面参照图3的流程图对其详细运行进行说明。 
首先，在步骤S1中，图像处理单元14由车速传感器18所检测出的车速Vs等来判定车辆12的行驶状态(行驶中还是停车中)，停车中(步骤S1：否)的情况下，停止处理。 
在行驶中(步骤S1：是)的情况下，在步骤2中，图像处理单元 14获取由红外线照相机16在每帧所拍摄的、车辆前方的规定图像范围内每帧的作为输出信号的红外线图像，然后将其A/D转换后的灰度图像存储到图像存储器(存储部14)，且对存储的灰度图像进行2值化处理。 
进行2值化处理能够检测出(提取)步行者的头部候补、包含步行者的胳膊在内的躯体候补、以及腿候补。于是，可以以连接腿候补下端的大致水平线作为步行者与路面的接地点。此外，可以以不同阈值来进行2值化处理，从而进行将其分类为头部候补、躯体候补等头部候以外的人体部分、以及背景(环境温度)的3值化处理。 
因人的头部表面温度高、呈圆形，故能容易地从由红外线照相机16所获取到的灰度图像的2值化图像中提取出头部候补。 
在此，作为例子，将比第1辉度阈值Th1大的高辉度区域R2(单纯的称为区域R2)作为「2」，将比第1辉度阈值Th1小且比第2辉度阈值Th2(Th2<Th1)大的区域R1作为「1」进行2值化处理；进一步将比第2辉度小的区域R0作为「0」进行2值化处理，从而对灰度图像在整体上进行3值化图像的转换处理，将转换后的3值化图像分别对应上述各帧且按帧存放到存储部14m。 
图4表示存储于存储部14m的图像。这个依据2值化处理所做的3值化处理虽然因辉度阈值的选择方法而异，但在并排行走的步行者Pa、Pb(人体，人)的情况下，将辉度最高的头部50a、50b，即，画阴影线区域作为R2，接下来包含辉度高的胳膊在内的躯体52a、52b和腿54a、54b，即，白色区域作为R1，对应环境温度的辉度最低的背景作为区域R0。此外，由腿54a、54b的下端能检测出步行者Pa、Pb与路面56的接地点。即便是在步行者Pa、Pb的接地点组分别上下错开的情况下，也能够实施本发明。 
此外，在后面叙述的步骤S4中，在进行判定(判定其是否为步行者)前，因步行者Pa、Pb、头部50a、50b、躯体52a、52b、以及腿54a、54b分别为候补者，故称为步行者候补Pa、Pb、头部候补50a、50b、躯体候补52a、52b、以及腿候补54a、54b。 
接下来，在步骤S3中，因检测到的步行者候补Pa、Pb的头部候补50a、50b在路面56之上的规定高度范围内，并且头部候补50a、50b之间的距离在规定距离范围之内，故被推测为并排行走的步行者PCX候补，并分别作为行程长度数据被贴上标签进行存储(进行标签处理)。此种情况下，包含步行者候补PCX(由步行者Pa和步行者Pb组成)的外接四角形在内的有富余的大四角形图像作为处理对象图像被存储。而且，必要时，为易于图像处理，将各帧的包含步行者候补PCX的外接四角形在内的较大的四角形图像转换为同样大小。 
另一方面，如图5所示，在步骤S2的2值化处理中，在车辆Car的情况下，画阴影线的高辉度区域R2为：分别亮灯的前大灯(对面车)或尾灯(前行车)等存在于左右两端的灯70a、70b，车辆Car的前格栅(对面车)或排气管部(前行车)等的中下部72，左右轮胎74a、74b。 
其他车体部分虽因环境温度而异，但环境温度比车体部分温度低的情况下，以白色区域作为R1区域，背景为R0区域。 
实际上，在2值化处理中，在检测到水平方向排列的高辉度区域的灯70a、70b时，在灯70a、70b的上方，将向规定面积的水平方向延伸的四角形的掩膜范围进行上下移动，能够从该掩膜内的灰度图像中检测出作为车顶(以及车顶边缘)的辉度值相同的连续部分，在灯70a、70b的侧方，能够从向垂直方向延伸的四角形掩膜范围内的灰度图像中检测出作为车体柱(柱边缘)或挡泥板(板边缘)的辉度值相同的连续部分。 
由于被检测出来的灯70a、70b到路面56的距离在有可能被错误检测为上述头部50a、50b的规定高度范围内，并且灯70a、70b之间的距离在规定距离范围内，因此灯70a、70b被认为是头部候补(在步骤S4中，灯70a、70b在被判定为灯70a、70b前，也称为头部候补70a、70b)、被推测为并排行走的步行者PCY，并作为行程长度数据被贴上标签进行存储(进行标签处理)。 
即，实施步骤S3的标签处理。在此种情况下，包含步行者候补 PCY的外接四角形在内的大四角形图像被作为一张图像存储为被处理图像。在这种情况下，同样，为易于图像处理，将各帧的包含步行者候补PCX的外接四角形在内的较大的四角形图像转换为同样大小。 
依照在步骤S2以及步骤S3中的头部候补提取部101所做的处理，具有头部候补50a、50b的并排行走的步行者候补PCX(图4)以及具有头部候补70a、70b的并排行走中的步行者候补PCY(图5)被检测出来。 
接下来，在步骤S4中，对步行者候补PCX以及步行者候补PCY进行对象物判定处理，即，对步行者候补PCX以及步行者候补PCY是实际上并排行走中的步行者Pa、Pb，还是具有灯70a、70b的车辆Car进行判定。 
图6是表示步骤S4的对象物判定处理的详细流程图。 
首先，在步骤S4a中，由标准图像生成部102进行标准图像生成处理。 
如图7所示，在这个标准图像生成处理中，选择构成步行者候补PCX的步行者候补Pa、Pb中的任意一个，在这个实施方式中，选择左侧步行者候补Pa，即，包含左侧步行者候补Pa的头部候补50a、作为其他特征部分的躯体候补52a的垂直方向的一部分边缘58在内的规定范围的周围图像，来生成(截取)标准图像(标准掩膜)Mpr，同时，生成翻转图像(翻转掩膜)Mpi，即，由头部候补50a′和边缘58′构成的、将上述标准图像Mpr左右翻转后的标准图像。此外，标准图像Mpr也可以由2值化图像中生成。在该2值化图像中，将步行者候补Pa(50a、52a、54a)、Pb(50b、52b、54b)的整体作为高辉度区域「1」提取出来，将背景作为「0」。 
接下来，在步骤S4b中，对象物判定部103对步行者候补PCX是并排行走中的步行者群体还是车辆进行分辨{判定处理，一致程度(类似程度)算出处理}。 
在此步骤S4b中，如图7所示，以包含另一个步行者候补Pb的头部候补50b在内的周围图像为比较图像Mpc。比较图像Mpc的大 小与标准图像Mpr以及翻转图像Mpi的大小一致。 
而且，以包含另一个步行者候补Pb的头部候补50b在内且比标准图像Mpr更大的区域作为搜索范围(扫描范围)60，在此搜索范围60中，例如，由左上方开始到左下方为止，对标准图像Mpr以及翻转图像Mpi一像素一像素的一边移动(边扫描)一边进行比较计算，在各个比较计算位置中，算出比较图像Mpc与标准图像Mpr的一致程度，且算出比较图像Mpc与翻转图像Mpi的一致程度。一致程度，例如，在各个扫描位置中，计算出比较图像Mpc与标准图像Mpr(灰度图像组，2值图像组，或3值图像组)相对应的像素的像素值的差的平方的总和、以及比较图像Mpc与翻转图像Mpi(灰度图像组，2值图像组，或3值图像组)相对应的像素的像素值的差的平方的总和，或者计算出上述总和的倒数。 
在图7所示步行者候补PCX的情况下，步行者候补Pa与步行者Pb的头部候补50a、50b的形状极其类似，并且步行者候补Pa、Pb具有分别以将头部候补50a、50b分为左右两部分的垂直线为对称轴左右对称的形状，因此，存在以左侧步行者候补Pa所生成的标准图像Mpr以及翻转图像Mpi与由右侧步行者候补Pb中所截取的比较图像Mpc的一致程度均极其高的位置(比较位置或扫描位置)。 
在此种情况下，在步骤S4b的判定中，因对于标准图像Mpr以及翻转图像Mpi的两个图像，在搜索范围60内都存在与其一致程度(类似程度)比阈值变高(变大)的比较位置(步骤S4b:是)，故在步骤S4c中，步行者候补PCX被判定为并排行走中的步行者Pa、Pb。 
另一方面，在上述步骤S4a中，几乎同时，由标准图像生成部102对实际上是车辆Car的步行者候补PCY进行判定。 
如图8所示，在此标准图像生成处理中，选择构成步行者候补PCY的头部候补70a、70b中的任意一个，在这个实施方式中选择左侧的头部候补70a，即，包含左侧的头部候补70a、作为其他特征部分的车辆Car的后挡泥板(在此情况下，为左侧的后挡泥板)的垂直方向的一部分边缘62在内的规定范围的周围图像，生成(截取)标准图 像(标准掩膜)Mcr，且生成翻转图像(翻转掩膜)Mci，即，由头部候补70a′和边缘62′构成的、将上述标准图像Mcr左右翻转后的标准图像。 
此外，在步行者候补PCY的情况下，由2值图像生成标准图像Mcr的情况下，如上所述，例如，在检测出头部候补70a、70b时，在该水平方向的左侧或者右侧的规定范围内，将向与柱相对应的垂直方向延伸的呈长的直线状的部分作为灰度图像提取出来生成标准图像Mcr。 
接下来，在步骤S4b中，与对步行者候补PCX所做处理同样，对象判定部103对步行者候补PCY是并排行走中的2个并排的步行者还是车辆进行分辨{判定处理，一致程度(类似程度)算出处理}。 
在此步骤S4b中，如图8所示，以包含另一个头部候补70b在内的周围图像作为比较图像Mcc。比较图像Mcc的大小与上述标准图像Mcr以及翻转图像Mci的大小相同。 
而且，以包含另一个头部候补70b在内且比标准图像Mcr大的区域作为搜索区域(扫描区域)66，在此搜索区域66中，例如，由左上方开始到左下方为止，对标准图像Mcr以及翻转图像Mci一像素一像素的一边移动(边扫描)一边进行比较计算，在各个比较计算位置中，算出比较图像Mcc与标准图像Mcr的一致程度，且算出比较图像Mcc与翻转图像Mci的一致程度。一致程度，如上所述，例如，在各个扫描位置中，计算出比较图像Mcc与标准图像Mcr(灰度图像组，2值图像组，或3值图像组)相对应的像素的像素值的差的平方的总和、以及比较图像Mcc与翻转图像Mci(灰度图像组，2值图像组，或3值图像组)相对应的像素的像素值的差的平方的总和，或者计算出上述总和的倒数。 
在图8所示步行者候补PCY的情况下，头部候补70a与头部候补70b的形状没有那么类似，并且，头部候补70a与边缘62在标准图像中的关系在比较图像Mcc中并不成立，因此在搜索范围66中，虽然在翻转图像Mci与比较图像Mcc之间存在一致程度极其高的位置(比 较位置或扫描位置)，但是在标准图像Mcr与比较图像Mcc之间，搜索范围66的无论哪个位置的一致程度都没有那么高。 
因此，在步骤S4b的判定中，因为仅仅相对于标准图像Mcr以及翻转图像Mci中的一方，在搜索范围66中存在与其一致程度(类似程度)比阈值变高(变大)的位置(步骤S4b：否)，所以在步骤S4c中能够正确地判定步行者候补PCY为车辆Car。 
如此，由步骤S4a～S4d构成的步骤S4的对象物判定处理结束后，图3的步骤S5中，依据步骤S4c、S4d的判定结果，被判定为车辆Car的步行者候补PCY被认为不是并排行走的步行者，被从以后的处理对象中排除(步骤S5：否)。 
在步骤S6中，对于在步骤S5中被判定为步行者Pa、Pb(步骤S5:是)的步行者候补PCX，由相撞可能性判定部106对在步骤S4中所检测出的含有步行者候补者PCX的步行者Pa、Pb与车辆12(自车辆)相撞的可能性进行判定。 
即，如上所述，考虑到上述公式(1)中的针对步行者Pa、Pb的相撞富余时间TTC和步行者Pa、Pb的各移动向量(也可以考虑距离Z)，并进一步依据刹车操作量20、车速传感器18、以及偏航传感器22所分别输出的刹车操作量Br、车速Vs、偏航率Yr，判定出车辆12与步行者Pa、Pb有没有可能相撞，在判定出有可能相撞的情况下(步骤6：是)，在步骤S7中，生成提醒注意信号并提醒驾驶员注意(为驾驶员提供信息)。具体来说，既在HUD26a上将灰度图像中的步行者以醒目颜色框圈出以强调显示，且由扬声器24发出警报，提醒车辆12的驾驶员注意。 
在此，在HUD26a上显示的基础之上，提醒注意信号生成判定部108将步行者Pa、Pb用红色或黄色等上述醒目颜色框圈出来，生成督促提醒注意的信号。 
实施方式的总结以及变形例
如上所述，上述实施方式所涉及的车辆周边监视装置10利用由 车辆12搭载的单个红外线照相机16所获取到的灰度图像对车辆12周围的步行者Pa、Pb进行监视。 
头部候补提取部101从灰度图像中提取出存在于大致水平方向的至少2个头部候补50a、50b和2个的头部候补70a、70b。 
接下来，标准图像生成部102生成以具有至少2个头部候补50a、50b的步行者候补PCX中的一个头部候补50a的周围图像为内容的标准图像Mpr，且生成将标准图像Mpr左右翻转的翻转图像Mpi。此外，标准图像生成部102生成以具有至少2个的头部候补70a、70b的步行者候补PCY中的一个头部候补70a的周围图像为内容的标准图像Mcr，且生成将标准图像Mcr左右翻转的翻转图像Mci。 
而且，对象物判定部103将另一个头部候补50b的周围图像作为比较图像Mpc，依照比较图像Mpc分别与标准图像Mpr以及翻转图像Mpi的一致程度，对至少两个的头部候补50a、50b是步行者Pa、Pb还是车辆Car进行判定。 
此外，对象物判定部103将另一个头部候补70b的周围图像作为比较图像Mcc，依照比较图像Mcc分别与标准图像Mcr以及翻转图像Mci的一致程度，对至少两个的头部候补70a、70b是步行者Pa、Pb还是车辆Car进行判定。 
在此种情况下，依据涉及另一个头部候补50b的比较图像Mpc与涉及一个头部候补50a的标准图像Mpr以及翻转图像Mpi的一致程度，能够精确做出如下辨别：如一致程度高于阈值，则为步行者Pa、Pb，如一致程度较低，则为车辆Car。 
同样，依据涉及另一个头部候补70b的比较图像Mcc与涉及一个头部候补70a的标准图像Mcr以及翻转图像Mci的一致程度，能够精确做出如下辨别：如一致程度高于阈值，则为步行者Pa、Pb，如一致程度较低，则为车辆Car。 
因此，能够降低将车辆Car错误检测为步行中的步行者Pa、Pb的频率。 
此外，上述实施方式中，虽然标准图像生成部102既生成以由至 少2个的头部候补50a、50b(70a、70b)构成的头部候补PCX(PCY)中的一个头部候补50a(70a)的周围图像为内容的标准图像Mpr(Mcr)，也生成将标准图像Mpr(Mcr)左右翻转的翻转图像Mpi(Mci)，但并不局限于此，也可以像如下这样：标准图像生成部102止于生成以由至少2个的头部候补50a、50b(70a、70b)构成的头部候补PCX(PCY)中的一个头部候补50a(70a)的周围图像为内容的标准图像Mpr(Mcr)，对象物判定部103以包含另一个头部候补50b(70b)在内的周围图像作为比较图像Mpc(Mcc)，依据上述比较图像Mpc(Mcc)与上述标准图像Mpr(Mcr)之间的对称性，对至少2个步行者候补PCX(PCY)是步行者Pa、Pb群体还是车辆Car做出判定。 
如此，即便是在不生成标准图像Mpr(Mpc)的左右翻转图像Mpi(Mci)的情况下，因为头部呈接近于左右对称的圆形，而灯则多呈左右不对称的角形形状，所以在比较这样的形状组(一个的头部候补为左右对称，另一个的头部候补为非左右对称)的情况下，也能够由只判定其对称性来辨别其是步行者Pa、Pb还是车辆Car。 
从该层面上讲，作为其他的变形例，标准图像生成部102不以包含上述一个头部候补50a(70a)在内的周围图像作为标准图像Mpr(Mcr)，而以只由上述一个头部候补50a(70a)构成的图像来生成标准图像Mpr(Mcr)，对象物判定部103不以包含上述另一个头部候补50b(70b)在内的周围图像作为比较图像Mpc(Mcc)，而以只由上述另一个头部候补50b(70b)构成的图像来生成比较图像Mpc(Mcc)，依据只由另一个头部候补50b(70b)构成的图像与上述只由一个头部候补50a(70a)构成的图像之间的对称性，也能够对其是步行者Pa、Pb群体还是车辆Car来做出一定的辨别。 
此外，只由头部候补50a构成的图像，例如，在图7中，其意思为，头部50a自身的图像或头部50a的外接四角形图像(由「1」值构成的区域的头部50a以外的部分为「0」值，所以归根到底其为只由头部50a构成的图像)，在图8中，只由头部候补70a构成的图像 其意思为，灯70a自身的图像或灯70a的外接四角形图像(由「1」值构成的区域的灯70a以外的部分为「0」值，所以归根到底其为只由灯70a构成的图像)。 
在此种情况中，标准图像生成部102将包含头部候补50a(70a)和作为其他特征部分的边缘(轮廓)58(62)在内的上述周围图像作为标准图像Mpr(Mcr)，能够更精确地辨别出步行者Pa、Pb和车辆Car。相对于头部候补50a(70a)，边缘58(62)如为相对于头部候补50a(50b)向头部候补50a(50b)的左方或右方偏移的大致垂直方向的边缘部分，则可以选择步行者Pa的躯体52a的竖边缘、车辆的挡泥板板边缘或车体柱边缘。 
此外，本发明并不局限于上述实施方式，能够依据本说明书所记载的内容采用各种结构。 
例如，如图9所示，搭载于车辆12A的具有左右成对的红外线照相机16R、16L的车辆周围监视装置。所谓立体照相机的红外线摄像机16R、16L，被设置在车辆12A的前部保险杠的以车辆12A的车宽方向的中心为对称点的大致对称的位置，两个红外线照相机16R、16L的光轴相互平行，并且两者被固定于距路面高度相同的位置。在具有左右成对的红外线照相机16R、16L的此车辆周围监视装置中，如公知，在由左右成对的红外线照相机16R、16L所获取到的车辆12A周围的图像中，既把高温部分作为对象物，且利用左右图像中同一对象物的视差、利用三角测量的原理算出到上述对象物的距离，由上述对象物的移动方向(移动向量)以及上述对象物的位置来检测出可能对车辆(自车辆)12的行驶产生影响的对象物(有相撞可能的对象物)，然后输出提醒注意信息。 

Claims (6)

1.一种车辆周围监视装置(10)，其利用由安装在车辆(12)上的红外线照相机(16)所获取到的图像对周围的步行者(Pa、Pb)进行监视，其特征在于，
具有头部候补提取部(101)、标准图像生成部(102)、对象物判定部(103)，其中，
上述头部候补提取部(101)由上述图像中提取出存在于大致水平方向的至少2个头部候补((50a、50b)或(70a、70b))；
上述标准图像生成部(102)生成以包含被提取出的至少2个上述头部候补((50a、50b)或(70a、70b))中的一个头部候补(50a或70a)在内的周围图像为内容的标准图像(Mpr或Mcr)；
上述对象物判定部(103)以包含另一个头部候补(50b或70b)在内的周围图像作为比较图像(Mpc或Mcc)，依据上述比较图像(Mpc或Mcc)与上述标准图像(Mpr或Mcr)之间的对称性，对至少2个的上述头部候补((50a、50b)或(70a、70b))是步行者(Pa、Pb)群体还是车辆(Car)进行判定。
2.根据权利要求1所述的车辆周围监视装置(10)，其特征在于，
上述标准图像生成部(102)以只由上述一个头部候补(50a或70a)构成的图像代替包含上述一个头部候补(50a或70a)在内的周围图像来生成上述标准图像(Mpr或Mcr)；
以只由上述另一个头部候补(50b或70b)构成的图像代替上述包含另一个头部候补(50b或70b)在内的周围图像来生成上述比较图像(Mpc或Mcc),依据上述只由另一个头部候补(50b或70b)构成的图像与上述只由一个头部候补(50a或70a)构成的图像之间的对称性，上述对象物判定部(103)对至少2个的上述头部候补((50a、50b)或(70a、70b))是步行者(Pa、Pb)群体还是车辆(Car)进行判定。
3.根据权利要求1或权利要求2所述的车辆周围监视装置(10)，其特征在于，
上述标准图像生成部(102)，生成以包含被提取出的至少2个上述头部候补((50a、50b)或(70a、70b))中的一个头部候补(50a或70a)在内的周围图像为内容的标准图像(Mpr或Mcr)，且生成将上述标准图像(Mpr或Mcr)进行左右反转的翻转图像(Mpi或Mci)；
以包含另一个头部候补(50b或70b)在内的周围图像作为比较图像(Mpc或Mcc),依据上述比较图像(Mpc或Mcc)分别与上述标准图像(Mpr或Mcr)以及上述翻转图像(Mpi或Mci)的一致程度，上述对象物判定部(103)对至少2个的上述头部候补((50a、50b)或(70a、70b))是步行者(Pa、Pb)群体还是车辆(Car)进行判定。
4.根据权利要求1或权利要求3所述的车辆周围监视装置(10)，其特征在于，
上述标准图像生成部(102)以包含上述头部候补((50a、50b)或(70a、70b))以及上述头部候补((50a、50b)或(70a、70b))以外的特征部分在内的周围图像作为上述标准图像(Mpr或Mcr)。
5.根据权利要求4所述的车辆周围监视装置(10)，其特征在于，
上述其他特征部分为，相对于上述头部候补((50a、50b)或(70a、70b))向上述头部候补((50a、50b)或(70a、70b))的左方或右方偏移的大致垂直方向的边缘(58或62)部分。
6.根据权利要求1～5中任意一项所述的车辆周围监视装置(10)，其特征在于，
上述对象物判定部(103)对至少2个的上述头部候补((50a、50b)或(70a、70b))是上述步行者(Pa、Pb)群体还是安装在上述车辆(Car)上的左右的灯(70a、70b)进行判定。
CN201380009353.1A 2012-03-12 2013-01-10 车辆周围监视装置 Pending CN104160434A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012053960 2012-03-12
JP2012-053960 2012-03-12
PCT/JP2013/050312 WO2013136827A1 (ja) 2012-03-12 2013-01-10 車両周辺監視装置

Publications (1)

Publication Number Publication Date
CN104160434A true CN104160434A (zh) 2014-11-19

Family

ID=49160749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380009353.1A Pending CN104160434A (zh) 2012-03-12 2013-01-10 车辆周围监视装置

Country Status (5)

Country Link
US (1) US10565438B2 (zh)
EP (1) EP2827318A4 (zh)
JP (1) JP5774770B2 (zh)
CN (1) CN104160434A (zh)
WO (1) WO2013136827A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108604203A (zh) * 2016-02-24 2018-09-28 索尼公司 信号处理装置、信号处理方法和程序
CN110291416A (zh) * 2017-02-20 2019-09-27 三菱电机株式会社 停车辅助装置及停车辅助方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292735B2 (en) * 2011-09-28 2016-03-22 Honda Motor Co., Ltd. Living body recognizing device
CN106462962B (zh) * 2014-06-03 2020-08-04 住友重机械工业株式会社 施工机械用人检测系统以及挖土机
EP3413288A1 (en) * 2017-06-09 2018-12-12 Honda Research Institute Europe GmbH Method for assisting a person in acting in a dynamic environment and corresponding system
US11332146B2 (en) * 2017-08-18 2022-05-17 Sony Corporation Vehicle traveling control device, vehicle traveling control method, and program
TWI688502B (zh) * 2018-02-14 2020-03-21 先進光電科技股份有限公司 用於警告車輛障礙物的設備
US11206375B2 (en) 2018-03-28 2021-12-21 Gal Zuckerman Analyzing past events by utilizing imagery data captured by a plurality of on-road vehicles
US11062608B2 (en) 2018-05-11 2021-07-13 Arnold Chase Passive infra-red pedestrian and animal detection and avoidance system
US11294380B2 (en) 2018-05-11 2022-04-05 Arnold Chase Passive infra-red guidance system
US10467903B1 (en) 2018-05-11 2019-11-05 Arnold Chase Passive infra-red pedestrian detection and avoidance system
US10750953B1 (en) 2018-05-11 2020-08-25 Arnold Chase Automatic fever detection system and method
US11138418B2 (en) 2018-08-06 2021-10-05 Gal Zuckerman Systems and methods for tracking persons by utilizing imagery data captured by on-road vehicles
US10972649B2 (en) 2019-02-27 2021-04-06 X Development Llc Infrared and visible imaging system for device identification and tracking

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5257022A (en) * 1990-03-20 1993-10-26 Mitsubishi Denki K.K. Method and apparatus for following a vehicle
CN1619584A (zh) * 2003-11-20 2005-05-25 日产自动车株式会社 车辆周围环境监控设备及其方法
JP2007128460A (ja) * 2005-11-07 2007-05-24 Sumitomo Electric Ind Ltd 衝突判定システム、衝突判定方法、コンピュータプログラム及び判定装置
CN101933326A (zh) * 2008-02-13 2010-12-29 本田技研工业株式会社 车辆周围监测装置、车辆以及车辆周围监测程序
CN101933065A (zh) * 2008-02-04 2010-12-29 本田技研工业株式会社 车辆周围监测装置、车辆、车辆周围监测程序及车辆周围监测方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05296767A (ja) * 1992-04-20 1993-11-09 Mitsubishi Electric Corp 車間距離検出装置
JP4060159B2 (ja) 2002-01-18 2008-03-12 本田技研工業株式会社 車両周辺監視装置
JP3844750B2 (ja) * 2003-05-26 2006-11-15 本田技研工業株式会社 赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置
JP4134939B2 (ja) * 2004-04-22 2008-08-20 株式会社デンソー 車両周辺表示制御装置
US7671725B2 (en) * 2006-03-24 2010-03-02 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program
JP4171501B2 (ja) * 2006-04-25 2008-10-22 本田技研工業株式会社 車両の周辺監視装置
JP4173901B2 (ja) * 2006-05-19 2008-10-29 本田技研工業株式会社 車両周辺監視装置
JP4173902B2 (ja) * 2006-05-19 2008-10-29 本田技研工業株式会社 車両周辺監視装置
JP4203512B2 (ja) * 2006-06-16 2009-01-07 本田技研工業株式会社 車両周辺監視装置
JP4863791B2 (ja) * 2006-07-05 2012-01-25 アルパイン株式会社 車両周辺画像生成装置および画像切替方法
JP4263737B2 (ja) * 2006-11-09 2009-05-13 トヨタ自動車株式会社 歩行者検知装置
EP2141926A4 (en) * 2007-04-27 2010-08-11 Honda Motor Co Ltd VEHICLE PERIPHERAL MONITORING DEVICE, VEHICLE PERIPHERAL MONITORING PROGRAM, AND VEHICLE PERIPHERAL MONITORING METHOD
JP5083841B2 (ja) * 2007-04-27 2012-11-28 本田技研工業株式会社 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法
JP4325705B2 (ja) * 2007-06-15 2009-09-02 株式会社デンソー 表示システム及びプログラム
JP4887537B2 (ja) 2007-08-02 2012-02-29 本田技研工業株式会社 車両周辺監視装置
JP4644273B2 (ja) * 2008-07-15 2011-03-02 本田技研工業株式会社 車両周辺監視装置
JP4631096B2 (ja) * 2008-10-20 2011-02-16 本田技研工業株式会社 車両周辺監視装置
JP4410292B1 (ja) * 2008-10-20 2010-02-03 本田技研工業株式会社 車両の周辺監視装置
JP4482599B2 (ja) * 2008-10-24 2010-06-16 本田技研工業株式会社 車両の周辺監視装置
WO2010099416A1 (en) * 2009-02-27 2010-09-02 Magna Electronics Alert system for vehicle
JP5198346B2 (ja) * 2009-04-23 2013-05-15 本田技研工業株式会社 車両周辺監視装置
EP2506211B1 (en) * 2009-11-25 2014-05-07 Honda Motor Co., Ltd. Target-object distance measuring device and vehicle mounted with the device
CN102378998B (zh) * 2009-12-10 2014-12-10 松下电器产业株式会社 信息显示设备和信息显示方法
WO2011086807A1 (ja) * 2010-01-14 2011-07-21 本田技研工業株式会社 車両周辺監視装置
US9073484B2 (en) * 2010-03-03 2015-07-07 Honda Motor Co., Ltd. Surrounding area monitoring apparatus for vehicle
US9158738B2 (en) * 2010-07-09 2015-10-13 Honda Motor Co., Ltd. Apparatus for monitoring vicinity of a vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5257022A (en) * 1990-03-20 1993-10-26 Mitsubishi Denki K.K. Method and apparatus for following a vehicle
CN1619584A (zh) * 2003-11-20 2005-05-25 日产自动车株式会社 车辆周围环境监控设备及其方法
JP2007128460A (ja) * 2005-11-07 2007-05-24 Sumitomo Electric Ind Ltd 衝突判定システム、衝突判定方法、コンピュータプログラム及び判定装置
CN101933065A (zh) * 2008-02-04 2010-12-29 本田技研工业株式会社 车辆周围监测装置、车辆、车辆周围监测程序及车辆周围监测方法
CN101933326A (zh) * 2008-02-13 2010-12-29 本田技研工业株式会社 车辆周围监测装置、车辆以及车辆周围监测程序

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108604203A (zh) * 2016-02-24 2018-09-28 索尼公司 信号处理装置、信号处理方法和程序
CN108604203B (zh) * 2016-02-24 2022-03-18 索尼公司 信号处理装置、信号处理方法和存储介质
CN110291416A (zh) * 2017-02-20 2019-09-27 三菱电机株式会社 停车辅助装置及停车辅助方法

Also Published As

Publication number Publication date
US20150035962A1 (en) 2015-02-05
JP5774770B2 (ja) 2015-09-09
WO2013136827A1 (ja) 2013-09-19
US10565438B2 (en) 2020-02-18
EP2827318A4 (en) 2016-01-13
EP2827318A1 (en) 2015-01-21
JPWO2013136827A1 (ja) 2015-08-03

Similar Documents

Publication Publication Date Title
CN104160434A (zh) 车辆周围监视装置
JP5639283B2 (ja) 車両周辺監視装置
EP2759999B1 (en) Apparatus for monitoring surroundings of vehicle
JP5529910B2 (ja) 車両周辺監視装置
JP4410292B1 (ja) 車両の周辺監視装置
CN103858156B (zh) 车辆周围监测装置
JP4173901B2 (ja) 車両周辺監視装置
JP4456086B2 (ja) 車両周辺監視装置
CN102855774B (zh) 车辆周围监视装置
JP4173902B2 (ja) 車両周辺監視装置
US20110199197A1 (en) System for monitoring the area around a vehicle
US9165197B2 (en) Vehicle surroundings monitoring apparatus
CN105825495A (zh) 物体检测装置和物体检测方法
JP2010026601A (ja) 車両周辺監視装置
JP2010092353A (ja) 画像処理装置及び画像処理方法
JP5430633B2 (ja) 車両周辺監視装置
JP5559121B2 (ja) 対象物種別判定装置
JP5383246B2 (ja) 車両の周辺監視装置
JP5907849B2 (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20161214

C20 Patent right or utility model deemed to be abandoned or is abandoned