CN102415096B - 车辆周围监测装置 - Google Patents

车辆周围监测装置 Download PDF

Info

Publication number
CN102415096B
CN102415096B CN201080017912.XA CN201080017912A CN102415096B CN 102415096 B CN102415096 B CN 102415096B CN 201080017912 A CN201080017912 A CN 201080017912A CN 102415096 B CN102415096 B CN 102415096B
Authority
CN
China
Prior art keywords
image
vehicle
processing module
image processing
monitoring device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080017912.XA
Other languages
English (en)
Other versions
CN102415096A (zh
Inventor
相村诚
桥本英树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN102415096A publication Critical patent/CN102415096A/zh
Application granted granted Critical
Publication of CN102415096B publication Critical patent/CN102415096B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Abstract

本发明的目的在于，提供一种能够可靠地使驾驶员识别出应该引起驾驶员注意的对象物的形状的车辆周围监测装置。采用本发明的图像处理模块(1)(车辆周围监测装置)，例如，在由于对象物(Q)位于距车辆10较远的地方等原因而使得通过输出图像难以辨认对象物(Q)的形状这样的情况的盖然性较高的情况下，使该对象物(Q)的放大图像(Q’)重叠在输出图像上这样地显示在HUD(7)上。

Description

车辆周围监测装置
技术领域
本发明涉及一种车辆周围监测装置，由配备在车辆上的拍摄装置获得显示该车辆周围的情况的图像，并利用所获得的该图像对上述车辆的周围进行监测。
背景技术
现有技术中有这样一种技术，即，获取车辆前方的夜视图像，若识别出在该夜视图像中存在对象物，则将该夜视图像的显示区域放大，从而提醒驾驶员注意该对象物(参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本发明专利公开公报特开2007-159036号
发明内容
发明所要解决的技术问题
然而，仅仅是使夜视图像的显示区域放大的话有时难以使驾驶员清楚地认识到对象物的形状，这有可能导致驾驶员难以采取合适的措施驾驶车辆以避免车辆与对象物的接触(碰撞)。
因而，本发明的目的在于，提供一种能够可靠地使驾驶员识别出应该引起驾驶员注意的对象物的形状的车辆周围监测装置。
解决技术问题的技术方案
为解决上述问题，本发明的车辆周围监测装置为，包括：第1图像处理模块，由配备在车辆上的拍摄装置获得所述车辆的周围的图像，所述第1图像处理模块从该图像中提取出与对象物相当的图像区域以作为对象物区域；第2图像处理模块，所述第2图像处理 模块使根据所述图像而显示所述车辆的周围的情况的输出图像显示在所述车辆所配备的图像显示装置上。所述第2图像处理模块，以由所述第1图像处理模块提取出了所述对象物区域为条件，使所述对象物的放大图像显示在所述图像处理装置中，并且，该对象物的放大图像重叠在所述输出图像上，但不与包含在所述输出图像中的所述对象物重叠。
采用本发明的车辆周围监测装置，使包含在输出图像中的对象物的放大图像重叠显示在该输出图像上。另外，使对象物的放大图像与包含在输出图像中的对象物不重叠。通过输出图像使驾驶员识别对象物的位置与尺寸，从而能够使驾驶员识别在真实空间中的对象物的大致的位置。另外，即使在通过输出图像难以识别对象物的形状时，也能够通过该对象物的放大图像来使驾驶员切实地识别出对象物的形状。由于放大图像重叠在输出图像上这样地显示在图像显示装置上，因而能够使驾驶员一次就识别多个信息。
所述第2图像处理模块可以以满足第1条件为条件使所述对象物的放大图像显示在所述图像显示装置上，该第1条件包括下述三个条件中的至少一个：即，所述对象物距所述车辆的距离在第1基准距离以上；表示所述车辆的周围的情况的图像或者所述输出图像上的所述对象物的尺寸小于基准尺寸；所述车辆的速度在基准速度以上。
采用具有这样的结构的车辆周围监测装置，在由于对象物位于距车辆较远的地方等原因而使得通过输出图像难以辨认对象物的形状这样的情况的盖然性较高的情况下，使该对象物的放大图像重叠显示在该输出图像上。
所述第2图像处理模块可以使所述对象物放大到一定尺寸的放大图像显示在所述图像显示装置上。
采用具有这样的结构的车辆周围监测装置，不仅对象物的形状能够识别，而且放大图像在图像显示装置上所占有的空间被抑制在最小程度，从而能够有效地利用的图像显示空间。
所述第2图像处理模块可以使在所述输出图像上将所述对象物圈起来的线框显示在所述图像显示装置上，并且，根据所述车辆到所述对象物的距离、表示所述车辆的周围的情况的图像或者所述输出图像上的所述对象物的尺寸、以及所述车辆的速度这三者中的至少一个来调整所述线框的尺寸。
采用具有这样的结构的车辆周围监测装置，即使在对象物距车辆较远时，也可由根据实际情况而适当调整尺寸的线框来在输出图像上圈出对象物，从而进行突出显示以强调其存在。因而，能够使驾驶员通过输出图像切实地识别对象物的位置以及尺寸，从而使驾驶员能够识别对象物在真实空间中的大致位置。
在由所述第1图像处理模块提取出了多个所述对象物区域时，所述第2图像处理模块可以使分别对应于所述多个对象物区域的多个对象物中满足第2条件的对象物的放大图像显示在所述图像显示装置上，所述第2条件包括从所述车辆到所述对象物的距离最短以及与车辆的接触可能性最大这二者中的至少一个。
采用具有这样的结构的车辆周围监测装置，在提取出多个对象物的时候，优先对车辆需要采取避免接触措施的必要性较高的对象物的放大图像进行显示。因而，能够使驾驶员切实地认识到车辆需要采取避免接触措施的必要性较高的对象物的形状，从而有利于驾驶员做出判断以对车辆采用适当的驾驶方法以避免车辆与对象物产生接触。
所述第2图像处理模块可以使所述对象物的放大图像被配置在构成所述输出图像的多个图像区域中的、所述对象物所存在的那一个图像区域中，而显示在所述图像显示装置中。
采用具有这样的结构的车辆周围监测装置，能够使得，在输出图像上，对象物的位置与该对象物的放大图像的位置相靠近。因此，便于面对着的驾驶员集中注意力从而观察输出图像上的对象物与其放大图像，从而使驾驶员能够容易地识别出对象物在真实空间中的大致位置与形状。
所述第2图像处理模块可以使所述对象物的放大图像相对于所述输出图像上的所述对象物而言位于所述对象物的移动方向的相反侧而显示在所述图像显示装置上。
采用具有这样的结构的车辆周围监测装置，能够避免在输出图像上的对象物移动时，对象物的放大图像也跟着移动从而与该对象物重叠，因而能够使驾驶员容易地通过放大图像识别对象物的形状。
可以在对象物距车辆的距离在第2基准距离以下时，或者，在从现在这一时刻起到预测为车辆与对象物的距离为最短的那一时刻所需的时间在基准时间以下时，停止或者保留对象物的放大图像在所述图像显示装置上的显示。
采用具有这样的结构的车辆周围监测装置，在车辆与对象物之间的距离较小，驾驶员能够通过挡风玻璃识别对象物的盖然性或必要性较高的情况下，能够避免驾驶员的注意力分散在上所显示的对象物与其放大图像上。
附图说明
图1为拍摄装置与车辆周围监测装置配备在车辆上的形态的说明图；
图2为车辆周围监测装置的结构的说明图；
图3为表示车辆周围监测装置的整体功能的流程图；
图4为对提醒注意处理以及放大图像生成方法的说明图；
图5为对对象物的放大图像的显示形态的说明图。
具体实施方式
下面对本发明的车辆周围监测装置的具体实施方式进行详细的说明。
首先对本实施方式的车辆周围监测装置的结构进行说明。
如图1所示，车辆周围监测装置由配备在车辆10上的图像处理单元1构成。如图2所示，对车辆10的前方的图像进行拍摄的左右一对红外线照相机(相当于本发明中的拍摄装置)2R、2L与该图像处理单元1连接，并且，该图像处理单元1还与检测车辆10的行驶状态的传感器即检测车辆10的偏航角速度的偏航角速度传感器3、检测车辆10的行驶速度(车速)的车速传感器4、以及检测是否有对车辆10的制动操作的制动传感器5相连接。
此外，图像处理单元1还连接着用于通过发声的方式输出由听觉感知报知信息的扬声器6、以及用于显示由红外线照相机2R、2L所拍摄到的图像与由视觉感知报知信息的HUD(平视显示器，相当于本发明中的图像显示装置)7。作为图像显示装置，也可以不采用HUD，或者是在采用HUD的同时，采用显示车辆10的车速等行驶状态的显示面板或者构成配备在车辆10上的导航装置的图像显示器。
图像处理单元1由ECU(电子控制单元)构成，该ECU由A/D变换器、CPU、RAM、ROM等的存储器、由I/O电路(输入/输出电路)以及连接这些单元的共用线路等构成。
图像处理单元1包括第1图像处理模块11与第2图像处理模块12，这些各构成机构都由存储器与CPU构成，在存储器中安装有程序或存储有数据，CPU读取出安装在存储器中的程序和/或存储在存储器中的数据，并根据所读取出的内容进行运算处理。第1图像处理模块11与第2图像处理模块12可以分别由一个或多个硬件(一个或多个处理器或者运算处理电路)构成。此外，第1图像处理模块11与第2图像处理模块12可以由至少一部分共用的硬件构成，也可以分别由不同的硬件构成。
另外，作为系统构成单元的硬件被构成为能够进行运算处理。“被构成为能够进行运算处理”的意思是，该硬件能够通过程序从而执行该运算处理，或者能够从存储器中读取相应的程序并执行该程序从而执行该运算处理。
从红外线照相机2R、2L、偏航角速度传感器3、车速传感器4以及制动传感器5输出的模拟信号被A/D变换电路进行数字化处理，由CPU根据被数字化的数据检测出人(行人、骑自行车或摩托车的 人)、四脚动物(犬、马或鹿等)、人造物(墙壁与建筑物等)等的对象物，在检测出的对象物满足规定的报知条件时，通过扬声器6与HUD7向驾驶员报知对象物的存在或者车辆10与对象物接触(碰撞)可能性的高低。
如图2所示，红外线照相机2R、2L安装在车辆10的前部(图中为前部护栅的部分)以对车辆10的前方进行拍摄。此时，右侧的红外线照相机2R配置在偏离车辆10的宽度方向中心靠右的位置，左侧的红外线照相机2L配置在偏离车辆10的宽度方向中心靠左的位置。且二者的位置以车辆10的宽度方向中心为中心左右对称。红外线照相机2R、2L的光轴沿着车辆10的前后方向且相互平行，并且，二者的光轴距路面的高度相等。红外线照相机2R、2L对远红外区域的光的敏感度较高，因此其具有拍摄的物体的温度越高则所输出的映像信号的等级也越高(映像信号的辉度越高)这样的特性。
另外，在由雷达检测对象物与车辆的距离的情况下，也可以仅在车辆10上配备1台红外线照相机。
下面对具有上述结构的车辆周围检测装置的功能进行说明。另外，关于图像处理的详细内容，在日本发明专利公开公报特开2001-006096号以及特开2007-310705号中有披露，因而仅对其简单地进行说明。
由第1图像处理模块11进行如下的一系列处理。
首先进行“对象物提取处理”(图3，步骤002)。具体为，将来自于红外线照相机2R、2L的信号输入图像处理单元1中，对输入的信号进行A/D变换，基于经过A/D变换的红外线图像生成灰度图像，对作为基准图像的灰度图像(通过右侧的照相机2R所获得的灰度图像)进行二值化处理。接下来，从该二值化图像中提取出对象物存在的区域而作为对象物区域。
另外，将构成二值化图像的高辉度区域的像素群变换为行程编码数据，之后，给在基准图像的纵方向上具有重合部分的图像线群分别加上标签(标识符)，并且，提取出这些图像线群并将其作为对象物区域。从而，如图4中(a)所示，由一个或多个高辉度像素 (像素值为1的像素)构成的高辉度区域被作为对象物区域Q提取出来。
之后，计算出各对象物区域的重心位置(在基准图像上的位置)、面积以及外接四边形的横纵比。然后，对对象物进行时间跟踪处理，即，在图像处理单元1的每一运算处理周期对同一对象物进行识别。之后，读取车速传感器4以及偏航角速度传感器5的输出信号(车速的检测值以及偏航角速度的检测值)。另外，在计算上述外接四边形的横纵比以及进行对象物的时间跟踪处理同时，从基准图像中提取出对应于各对象物的区域(例如该对象物的外接四边形的区域)并将其作为探索图像
之后，通过进行相关的运算从左侧的红外线照相机2L所拍摄到的左侧图像中探索并提取出图像(对应图像)。并且计算出对象物到车辆10的实际距离(在车辆10前后方向上的距离)z。之后，计算出各对象物在真实空间中的位置(实际位置，相对于本车10的相对位置，图3中步骤004)。并且，根据转向角的时间序列数据来修正在对象物的真实空间位置(X，Y，Z)(参照图1)中的X方向分量。另外，计算对象物相对于车辆10的相对移动矢量(图3中步骤006)。
接下来由第2图像处理模块进行下述的一系列处理。
首先，判断对象物属于(1)人(行人或者骑自行车的人等)或四脚动物(马、鹿、犬等)等的提醒注意对象还是属于(2)人造物(墙壁、柱子、自动售货机等)等的提醒注意对象(图3中步骤008)。例如，可以根据灰度图像上的对象物区域(参照图4中(a))的形状、尺寸或辉度分布等特征量来判断对象物的种类。
若判断结果为对象物属于提醒注意对象(图3中步骤008...是)，则判断车辆与对象物接触的可能性的高低(图3中步骤010)。
该判断方法在日本发明专利公开公报特开2001-006096以及特开2007-310705号中有披露，因而仅对其简单地进行说明。首先，判断车辆10与对象物在真实空间中的距离是否在相对速度Vs与余量时 间T的乘积值以下。若判断结果为是在该乘积值以下，则判断对象物是否存在于接近判断区域中(第1接触判断处理)。接近判断区域位于车辆10的前方，在车辆10的左右方向上对称，其宽度为车辆10的宽度加上补偿值。若第1接触判断处理中的判断结果为是，则判定为对象物与车辆10的接触可能性较高。另一方面，若第1接触判断处理中的判断结果为否，则进一步判断，对象物是否存在于位于接近判断区域外侧的进入判断区域中并且对象物的相对移动矢量是否朝向接近判断区域(第2接触判断处理)。若在第2接触判断处理中的判断结果为是，则判定为对象物与车辆10的接触的可能性较高。
若判定为对象物与车辆10的接触的可能性较高(第1接触判断处理或第2接触判断处理中的判断结果为是，图3中步骤010...是)，则进行“提醒注意处理”(图3中步骤012)。从而，如图4中(a)所示，在HUD7上显示将对象物Q圈起来的矩形的线框F1。另外，也可以不采用线框F1这样的显示，或者在显示这样的线框F1的同时，由扬声器6发出“滴滴滴”这样的声音以提醒驾驶员注意对象物。
若判定为对象物不属于注意对象(图3中步骤008...否)或者判定为车辆10与对象物的接触的可能性较低时(图3中步骤010...否)，则不执行提醒注意处理，而是重复对象物提取处理之后的处理(参照图3中步骤002等)。
接下来，判断对象物是否满足“第1条件”(图3中步骤014)。作为“第1条件”，采用由红外线照相机2R、2L得到的拍摄图像(灰度图像)或者输出图像(显示在HUD7中的图像)中的对象物的尺寸不满足基准尺寸以及车辆10的速度在基准速度以上者二者中的至少一个。
若判断结果为对象物满足第1条件(图3中步骤014...是)，则判断该对象物是否满足第2条件(图3中步骤016)。关于是否满足第2条件的判断，可以仅在由第1图像处理模块11提取出了多个对象物区域的情况下进行。第2条件是指，该多个对象物区域所对应的多个对象物中相对于车辆的真实空间距离z最小。
另外，作为第2条件，也可以不采用真实空间距离z为最短这一条件，或者在采用其的基础上，采用多个对象物中与车辆10接触的可能性最高的这一条件。例如，在多个对象物中，从相对移动矢量(参照图3中步骤006)来预测出与车辆10的距离最早变为0的或者在一个阈值以下的那一个对象物，并判定该对象物与车辆10的接触可能性最高。
在判定为对象物满足第1条件也满足第2条件时(图3中步骤16...是)，生成该对象物的放大图像(图3中步骤018)。而，如图4中(b)所示，包含由线框F1圈起来的对象物Q的图像区域的长与宽都分别被放大，从而生成由矩形线框F2圈起来的对象物的放大图像Q’。放大图像的长宽比与原图像的长宽比可以相同也可以不同。在HUD7中的对象物的放大图像的尺寸(高度、宽度或者二者的乘积即面积)可以调节为一定尺寸。
以对象物Q与其放大图像Q’不重叠为前提条件，可以随意地调节放大图像Q’的位置而使其显示在HUD7中。而在本实施方式中，如下面所说明的，根据输出图像上的对象物Q的移动方向以及位置来调节放大图像Q’的配置。
接下来，判断输出图像上的对象物的移动矢量的横向分量是否超过规定速度(也可以是0)(图3中步骤020)。
在该判断结果为是时(图3中步骤020...是)，在HUD7上，使对象物的放大图像Q’被配置在对象物Q的移动方向的相反侧(图3中步骤022)。从而，例如如图5中(a)中的箭头所示，在对象物Q在输出图像上随着时间而向右移动时，在HUD7上，其放大图像Q’被配置在对象物Q的左侧且不与对象物Q重叠。
另外，若上述判断结果为否时(即，对象物在左右方向上几乎不会移动时)(图3中步骤020...否)，则判断输出图像上的对象物Q的位置(重心位置)被包含在构成输出图像的多个图像区域中的哪一个中(途3中步骤024)。
例如，判断对象物的位置是被包含在由图5中(b)中的虚线所分隔的左侧图像区域与右侧图像区域这二者中的哪一个中。虚线的位置可 以位于输出图像的中心，也可以从该中心向左或向右偏移对应于偏航角速度的量。另外，也可以将输出图像在左右方向上分割为3个以上的图像区域，根据对象物Q是被包含与哪一个区域中的情况来调节该对象物Q的放大图像Q’的配置。
若判断为对象物Q的位置位于左侧图像区域中(图3中步骤024...1)，则使被配置在左侧图像区域中且不与对象物Q重合的对象物的放大图像Q’显示在HUD7上(图3中步骤26，参照图5中(b))。若判断为对象物Q的位置位于右侧图像区域中(图3中步骤024...2)，则使被配置在右侧图像区域中且不与对象物Q重合的对象物的放大图像Q’显示在HUD7上(图3中步骤28，参照图5中(c))。
采用具有上述功能的图像处理单元1(车辆周围监测装置)，对象物Q的放大图像Q’被重叠在输出图像上这样地显示在HUD7上(参照图4中(a)、(b))。特别是，在对象物Q满足第1条件时，即，在由于对象物Q位于距车辆10较远的地方等原因而使得通过输出图像难以辨认对象物Q的形状这样的情况的盖然性较高的情况下，使该对象物Q的放大图像Q’重叠显示在该输出图像上(图3中步骤014，参照图5中(a)～(c))。
另外，对象物Q的放大图像Q’与输出图像中的对象物Q不相重叠。驾驶员通过输出图像能够识别对象物的位置以及尺寸，从而能够使驾驶员认识到对象物在真实空间中的大致位置。
另外，即使在通过输出图像难以识别对象物Q的形状时，也能够通过该对象物的放大图像Q’使驾驶员切实地识别出对象物的形状(参照图4中(a)、(b))。由于放大图像Q’重叠显示在输出图像上，因而能够使驾驶员通过HUD7一次就能识别较多的信息。
在提取出多个对象物的时候，仅对多个对象物中的满足第2条件的对象物即车辆10需要采取避免接触措施的必要性较高的对象物的放大图像进行显示(图3中步骤016，参照图5中(a)～(c))。
因而，能够使驾驶员切实地认识到车辆10需要采取避免接触措施的必要性较高的对象物的形状，从而有利于驾驶员做出判断以对车辆10采用适当的驾驶方法(转向优先或减速优先等)以避免车辆10与对象物Q产生接触。
另外，以一定尺寸将对象物Q的放大图像Q’显示在HUD7上(参照图5中(a)～(c))。因而，不仅对象物的形状能够识别，而且放大图像在HUD7上所占有的空间被抑制在最小程度，从而能够有效地利用HUD7的图像显示空间。
另外，将对象物的放大图像Q’配置在构成输出图像的左侧图像区域与右侧图像区域中的对象物Q所存在的那一个区域中(参照图3中步骤024、026、028，图5中(b)、(c))。从而使得，在输出图像上，对象物Q的位置与该对象物的放大图像Q’的位置相靠近。因此，便于面对着HUD7的驾驶员集中注意力从而观察输出图像上的对象物Q与其放大图像Q’，从而使驾驶员能够容易地识别出对象物Q在真实空间中的大致位置与形状。
另外，在输出图像上，对象物的放大图像Q’被配置在对象物Q的移动方向的相反侧(参照图3中步骤020、022、图5中(a))。从而避免了在输出图像上对象物Q移动时对象物的放大图像Q’也跟着移动从而与该对象物Q重叠，因而能够使驾驶员容易地通过放大图像Q’识别对象物Q的形状。
另外，可以将第2图像处理模块12构成为，根据在表示车辆10周围的情况的图像或者输出图像上的对象物的尺寸以及车辆10的速度这些条件中的至少一个来改变线框F1的尺寸(参照图4)。
采用具有这样的结构的车辆周围监测装置，即使在对象物Q距车辆10较远时，也可由根据实际情况而适当调整尺寸的线框F1来在输出图像上圈出对象物Q，从而进行突出显示以强调其存在。因而，能够使驾驶员通过输出图像切实地识别对象物Q的位置以及尺寸，从而使驾驶员能够识别对象物Q在真实空间中的大致位置。
在对象物距车辆的真实空间距离在第2基准距离(例如可以使其在上述第1基准距离以下)以下时，或者，在根据相对移动矢量预测的从现在这一时刻起到车辆10与对象物的距离为最短的那一时刻所需的时间在基准时间以下时，使对象物的放大图像在HUD7上的显示停止，或者保留。
采用具有这样的结构的车辆周围监测装置，在车辆10与对象物Q之间的距离较小，驾驶员能够通过挡风玻璃识别对象物的盖然性或必要性较高的情况下，能够避免驾驶员的注意力分散在HUD7上所显示的对象物Q与其放大图像Q’上。

Claims (7)

1.一种车辆周围监测装置，其包括：
第1图像处理模块，由配备在车辆上的拍摄装置获得所述车辆的周围的图像，所述第1图像处理模块从该图像中提取出与对象物相当的图像区域以作为对象物区域，
第2图像处理模块，所述第2图像处理模块使根据所述图像而显示所述车辆的周围的情况的输出图像显示在所述车辆所配备的图像显示装置上，
其特征在于，
在所述对象物属于作为提醒注意对象的人或者四脚动物时，所述第2图像处理模块，以由所述第1图像处理模块提取出了所述对象物区域并且所述对象物满足第1条件为条件，使所述对象物的放大图像显示在所述图像显示装置中，并且，该对象物的放大图像重叠在所述输出图像上，但不与包含在所述输出图像中的所述对象物重叠，
所述第1条件包括下述2个条件中的至少一个：即，所述对象物距所述车辆的距离在第1基准距离以上；由所述拍摄装置获得的表示所述车辆的周围的情况的图像或者所述输出图像上的所述对象物的尺寸小于基准尺寸。
2.根据权利要求1所述的车辆周围监测装置，其特征在于，
所述第2图像处理模块使所述对象物放大到一定尺寸的放大图像显示在所述图像显示装置上。
3.根据权利要求2所述的车辆周围监测装置，其特征在于，
所述第2图像处理模块使在所述输出图像上将所述对象物圈起来的线框显示在所述图像显示装置上，并且，根据所述车辆到所述对象物的距离、由所述拍摄装置获得的表示所述车辆的周围的情况的图像或者所述输出图像上的所述对象物的尺寸、以及所述车辆的速度这三者中的至少一个来调整所述线框的尺寸。
4.根据权利要求1所述的车辆周围监测装置，其特征在于，
在由所述第1图像处理模块提取出了多个所述对象物区域时，所述第2图像处理模块使分别对应于所述多个对象物区域的多个对象物中满足第2条件的对象物的放大图像显示在所述图像显示装置上，所述第2条件包括从所述车辆到所述对象物的距离最短以及与车辆的接触可能性最大这二者中的至少一个。
5.根据权利要求1所述的车辆周围监测装置，其特征在于，
所述第2图像处理模块使所述对象物的放大图像被配置在构成所述输出图像的多个图像区域中的、所述对象物所存在的那一个图像区域中，而显示在所述图像显示装置中。
6.根据权利要求1所述的车辆周围监测装置，其特征在于，
所述第2图像处理模块使所述对象物的放大图像相对于所述输出图像上的所述对象物而言位于所述对象物的移动方向的相反侧而显示在所述图像显示装置上。
7.根据权利要求1所述的车辆周围监测装置，其特征在于，
在对象物距车辆的距离在第2基准距离以下时，或者，在从现在这一时刻起到预测为车辆与对象物的距离为最短的那一时刻所需的时间在基准时间以下时，停止或者保留对象物的放大图像在所述图像显示装置上的显示。
CN201080017912.XA 2009-04-23 2010-01-28 车辆周围监测装置 Expired - Fee Related CN102415096B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009105567A JP5198346B2 (ja) 2009-04-23 2009-04-23 車両周辺監視装置
JP2009-105567 2009-04-23
PCT/JP2010/051111 WO2010122828A1 (ja) 2009-04-23 2010-01-28 車両周辺監視装置

Publications (2)

Publication Number Publication Date
CN102415096A CN102415096A (zh) 2012-04-11
CN102415096B true CN102415096B (zh) 2015-05-27

Family

ID=43010952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080017912.XA Expired - Fee Related CN102415096B (zh) 2009-04-23 2010-01-28 车辆周围监测装置

Country Status (5)

Country Link
US (1) US9067537B2 (zh)
EP (1) EP2416571A4 (zh)
JP (1) JP5198346B2 (zh)
CN (1) CN102415096B (zh)
WO (1) WO2010122828A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5617678B2 (ja) * 2011-02-17 2014-11-05 株式会社デンソー 車両用表示装置
JP5533766B2 (ja) * 2011-04-05 2014-06-25 株式会社デンソー 車両用表示装置
CN103797528A (zh) * 2011-09-28 2014-05-14 本田技研工业株式会社 生物体识别装置
JP5774770B2 (ja) * 2012-03-12 2015-09-09 本田技研工業株式会社 車両周辺監視装置
KR101916467B1 (ko) * 2012-10-30 2018-11-07 현대자동차주식회사 Ａｖｍ 시스템의 장애물 검출 장치 및 방법
US9122933B2 (en) * 2013-03-13 2015-09-01 Mighty Carma, Inc. After market driving assistance system
US9400564B2 (en) 2013-09-17 2016-07-26 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive vehicle window display system with a safe driving reminder system
US9387824B2 (en) * 2013-09-17 2016-07-12 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive vehicle window display system with user identification and image recording
US9760698B2 (en) 2013-09-17 2017-09-12 Toyota Motor Sales, U.S.A., Inc. Integrated wearable article for interactive vehicle control system
US9340155B2 (en) 2013-09-17 2016-05-17 Toyota Motor Sales, U.S.A., Inc. Interactive vehicle window display system with user identification
US9902266B2 (en) 2013-09-17 2018-02-27 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive vehicle window display system with personal convenience reminders
US9807196B2 (en) 2013-09-17 2017-10-31 Toyota Motor Sales, U.S.A. Automated social network interaction system for a vehicle
CN104573158A (zh) * 2013-10-24 2015-04-29 中兴通讯股份有限公司 一种拓扑图中图形的放大方法与装置
CN104057906A (zh) * 2013-11-19 2014-09-24 苏州天鸣信息科技有限公司 一种行车警示装置
CN104192065A (zh) * 2014-08-20 2014-12-10 刘健萍 一种可辨监控对象的汽车四周监控装置
WO2016092650A1 (ja) * 2014-12-10 2016-06-16 三菱電機株式会社 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム
JP6420657B2 (ja) * 2014-12-17 2018-11-07 日立建機株式会社 作業機械およびその周囲監視装置
JP6402684B2 (ja) * 2015-06-10 2018-10-10 トヨタ自動車株式会社 表示装置
CN107176161B (zh) * 2016-03-10 2021-11-23 松下电器（美国）知识产权公司 识别结果提示装置、识别结果提示方法以及自主移动体
CN106772397B (zh) * 2016-12-14 2019-12-10 深圳市歌美迪电子技术发展有限公司 车辆数据处理方法和车辆雷达系统
JP6433537B2 (ja) * 2016-12-22 2018-12-05 カルソニックカンセイ株式会社 画像表示制御装置
US11880909B2 (en) * 2017-03-17 2024-01-23 Maxell, Ltd. AR display apparatus and AR display method
DE102017206312A1 (de) * 2017-04-12 2018-10-18 Ford Global Technologies, Llc Unterstützung einer Handhabung eines innerhalb eines Fahrgastinnenraums befindlichen Gegenstands sowie Kraftfahrzeug
US10083547B1 (en) * 2017-05-23 2018-09-25 Toyota Jidosha Kabushiki Kaisha Traffic situation awareness for an autonomous vehicle
CN108357496A (zh) * 2018-02-12 2018-08-03 北京小马智行科技有限公司 自动驾驶控制方法及装置
JP6927167B2 (ja) * 2018-07-19 2021-08-25 株式会社デンソー 電子制御装置及び電子制御方法
WO2020059064A1 (ja) * 2018-09-20 2020-03-26 日本電気株式会社 算出装置、情報処理方法および記憶媒体
CN111225269B (zh) * 2020-01-17 2022-11-11 北京达佳互联信息技术有限公司 视频播放方法、装置、播放终端及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004212658A (ja) * 2002-12-27 2004-07-29 Sumitomo Electric Ind Ltd 画像表示システム、画像表示方法及び画像処理装置
JP2005123968A (ja) * 2003-10-17 2005-05-12 Mitsubishi Motors Corp ノーズビューモニタ装置
JP2006042147A (ja) * 2004-07-29 2006-02-09 Honda Motor Co Ltd 車両の認知支援装置
JP2007159036A (ja) * 2005-12-08 2007-06-21 Denso Corp 車両用表示装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3540005B2 (ja) * 1994-04-22 2004-07-07 株式会社デンソー 障害物検出装置
US6693524B1 (en) * 1998-06-02 2004-02-17 George R. Payne Vehicle backup monitoring and alarm system
JP3515926B2 (ja) 1999-06-23 2004-04-05 本田技研工業株式会社 車両の周辺監視装置
US6411204B1 (en) * 1999-11-15 2002-06-25 Donnelly Corporation Deceleration based anti-collision safety light control for vehicle
JP2004013466A (ja) * 2002-06-06 2004-01-15 Nissan Motor Co Ltd 車両周囲監視装置
JP3982504B2 (ja) * 2004-01-23 2007-09-26 日産自動車株式会社 車両用暗視カメラ装置および表示装置
JP3934119B2 (ja) * 2004-06-14 2007-06-20 本田技研工業株式会社 車両周辺監視装置
FR2884338B1 (fr) 2005-04-11 2007-10-19 Valeo Vision Sa Procede, dispositif et camera pour la detection d'objets a partir d'images numeriques
JP4744995B2 (ja) * 2005-09-08 2011-08-10 クラリオン株式会社 車両用障害物検出装置
JP4353162B2 (ja) 2005-09-26 2009-10-28 トヨタ自動車株式会社 車輌周囲情報表示装置
JP4173901B2 (ja) 2006-05-19 2008-10-29 本田技研工業株式会社 車両周辺監視装置
EP1912157A1 (en) 2006-10-09 2008-04-16 MAGNETI MARELLI SISTEMI ELETTRONICI S.p.A. Digital image processing system for automatically representing surrounding scenes to the driver of a vehicle for driving assistance, and corresponding operating method
JP4991384B2 (ja) * 2007-05-08 2012-08-01 株式会社日立製作所 接近物検知装置及び接近物検知プログラム
EP2401176B1 (en) * 2009-02-27 2019-05-08 Magna Electronics Alert system for vehicle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004212658A (ja) * 2002-12-27 2004-07-29 Sumitomo Electric Ind Ltd 画像表示システム、画像表示方法及び画像処理装置
JP2005123968A (ja) * 2003-10-17 2005-05-12 Mitsubishi Motors Corp ノーズビューモニタ装置
JP2006042147A (ja) * 2004-07-29 2006-02-09 Honda Motor Co Ltd 車両の認知支援装置
JP2007159036A (ja) * 2005-12-08 2007-06-21 Denso Corp 車両用表示装置

Also Published As

Publication number Publication date
EP2416571A4 (en) 2014-05-14
US20120044352A1 (en) 2012-02-23
EP2416571A1 (en) 2012-02-08
WO2010122828A1 (ja) 2010-10-28
CN102415096A (zh) 2012-04-11
JP2010258705A (ja) 2010-11-11
US9067537B2 (en) 2015-06-30
JP5198346B2 (ja) 2013-05-15

Similar Documents

Publication Publication Date Title
CN102415096B (zh) 车辆周围监测装置
EP2352136B1 (en) System for monitoring the area around a vehicle
JP5639283B2 (ja) 車両周辺監視装置
CN102057414B (zh) 车辆周围监视装置
JP5480925B2 (ja) 車両周辺監視装置
JP4173902B2 (ja) 車両周辺監視装置
JP4521642B2 (ja) 車両周辺監視装置、車両、車両周辺監視プログラム
CN102099842A (zh) 车辆周边监视装置
JP4615061B2 (ja) 車両周辺監視装置
JP2012156903A (ja) 車両周辺監視装置
JP2005309660A (ja) 車両用右左折支援装置
JP2012058999A (ja) 車両周辺監視装置
US11403948B2 (en) Warning device of vehicle and warning method thereof
JP4884806B2 (ja) 車両周辺監視システム
JP2007249324A5 (zh)
JP4975379B2 (ja) 車両周辺監視システム
JP4800078B2 (ja) 車両周辺監視システム
JP5903003B2 (ja) 車両周辺監視装置
JP5026398B2 (ja) 車両周辺監視装置
JP4590654B2 (ja) 車両周辺監視装置、車両、車両周辺監視プログラム
JP4815506B2 (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150527

Termination date: 20160128

EXPY Termination of patent right or utility model