CN102782740A - 车辆周围监测装置 - Google Patents

车辆周围监测装置 Download PDF

Info

Publication number
CN102782740A
CN102782740A CN2011800105262A CN201180010526A CN102782740A CN 102782740 A CN102782740 A CN 102782740A CN 2011800105262 A CN2011800105262 A CN 2011800105262A CN 201180010526 A CN201180010526 A CN 201180010526A CN 102782740 A CN102782740 A CN 102782740A
Authority
CN
China
Prior art keywords
animal
alarm
mentioned
pedestrian
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800105262A
Other languages
English (en)
Other versions
CN102782740B (zh
Inventor
相村诚
长冈伸治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN102782740A publication Critical patent/CN102782740A/zh
Application granted granted Critical
Publication of CN102782740B publication Critical patent/CN102782740B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/10Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种车辆周围监测装置,其具有搭载在车辆上,用于拍摄该车辆周围的情况的拍摄机构、根据拍摄机构拍到的图像来检测出上述车辆周围的被监测对象的检测机构、用于判定被检测出的被监测对象是行人还是动物的判定机构、当被判定的被监测对象在车辆周围的规定范围内时向该车辆的驾驶员发出警报的警报机构。被检测出的被监测对象被判定为动物且被判定为存在于规定范围内时,即使该动物离开该规定范围之后,警报机构也会在规定时间内继续发出上述警报。在动物中,有的具有成群行动的习性。即使动物离开车辆周围的规定范围之后,在车辆周围仍然可能存在动物。通过继续发出警报,能使驾驶员对潜在的危险提起注意。

Description

车辆周围监测装置
技术领域
本发明涉及一种用于对车辆周围进行监测的装置,更详细地讲,涉及一种检测出车辆周围的被监测对象并进行显示的装置。
背景技术
在下述专利文献1中,有人提出如下一种系统,即:设置平视显示器(HUD),利用红外线摄像头检测出车辆周围的被监测对象,对于存在于设定在车辆行进方向上的接近判定区域内的被监测对象,突出显示在平视显示器的显示画面的中央区域,对于存在于设定在接近判定区域的外侧的进入判定区域内的被监测对象,在上述显示画面的右侧区域或左侧区域中用图标进行显示。
专利文献1:日本发明专利公报特许第4334686号
发明内容
被监测对象若为动物,有的动物具有成群行动的习性。因此,如上所述,即使对被检测出的被监测对象进行突出显示而发出警报,在车辆周围还有可能存在跟在被检测出的被监测对象后面的动物。另外,一般来讲,与行人相比,比如像鹿等动物以较快的速度移动,还有,其行动方式有时也超出预想。因此,即使将其作为被监测对象而一时检测出来,车辆周围还有可能存在驾驶员当前没有注意到的危险,对于这样潜在的危险,人们也期望将其提示给驾驶员。
因此,被监测对象若为动物,考虑到动物的习性,人们期望提供一种以不同于行人的方式发出警报的方法。
在本发明的一个实施方式中,车辆周围监测装置具有:拍摄机构,其搭载在车辆上,用于拍摄该车辆周围的情况;检测机构,根据上述拍摄机构拍到的图像,由所述检测机构检测出上述车辆周围的被监测对象;判定机构,由其判定被检测出的上述被监测对象是行人还是动物;警报机构,当被判定为上述行人或动物的被监测对象存在于上述车辆周围的规定范围内时,由所述警报机构向该车辆的驾驶员发出警报。被检测出的被监测对象被判定为上述动物且被判定为存在于上述规定范围内时,即使该动物离开该规定范围之后,上述警报机构也会在规定时间内继续发出上述警报。
如上所述,在动物中,有的具有成群行动的习性。另外,一般来讲,与行人相比,有时动物以较快的速度移动,其行动方式也难以预测。因此,即使动物离开车辆周围的规定范围之后,在该车辆周围仍然可能存在该动物或其他动物。采用本发明时,由于即使动物离开规定范围之后也会在规定时间内继续发出警报,所以能够使驾驶员对潜在的危险持续提起注意,从而能够提高驾驶员对危险的预测程度。
在本发明的另一实施方式中,车辆周围监测装置还具有判断机构,当被检测出的上述被监测对象被判定为上述行人,该行人存在于上述规定范围内时,由所述判断机构判断该存在的行人是一个还是多个。该行人为一个或多个时,上述警报机构以不同方式发出警报。当被检测出的上述被监测对象被判定为上述动物,而且该动物还存在于上述规定范围内时,无论该存在的动物是一个还是多个,该警报机构都发出同一方式的警报。
一般来讲,行人没有像动物那样结群的习性,另外,行人的移动速度慢于动物的移动速度。如果存在多个行人,对于各个行人,例如用框等对其进行个别突出显示时,画面会变得难以看清,可能会产生使驾驶员难以意识到应该注意哪个被监测对象的问题。因此,优选检测到一个行人时进行个别突出显示,检测到多个行人时例如对整个画面进行一个突出显示,以代替上述的个别突出显示。另外,若为动物,如上所述,由于有结群的可能性,所以即使被检测出的动物为一个,也将其视为多个(成群),都以相同的方式发出警报。这样,对于行人,能向驾驶员呈现易于看懂的显示画面,另外,对于动物,还能使驾驶员觉察到可能存在的危险。
人们能从以下详细说明中了解本发明的其他特征和优点。
附图说明
图1为表示本发明的一个实施方式的车辆周围监测装置的结构的框图。
图2是为说明本发明一个实施方式的摄像头和HUD的安装位置的图。
图3为表示本发明的一个实施方式的图像处理单元的程序的流程图。
图4为表示本发明的一个实施方式的车辆的警报范围的图。
图5为表示本发明的一个实施方式的警报的显示方式的图。
图6为表示本发明的一个实施方式的警报的显示方式的图。
图7为表示本发明的另一实施方式的图像处理单元的程序的流程图。
图8为表示本发明的另一实施方式的警报的显示方式的图。
图9为表示本发明的另一实施方式的警报的显示方式的图。
具体实施方式
下面参照附图说明本发明的具体实施方式。
图1为表示本发明的一个实施方式的车辆周围监测装置的结构的框图。该装置搭载在车辆上,具有:两个红外线摄像头1R与1L,其能检测出远红外线;图像处理单元2,其用于根据由摄像头1R与1L拍摄到的图像数据检测车辆周围的被监测对象;扬声器3,根据该图像处理单元2的检测结果而用声响或声音发出警报;平视显示器4(以下称为HUD4),由其显示通过摄像头1R或1L而拍到的图像,并且进行显示以使驾驶员能觉察到车辆周围的被监测对象。还有,该周围监测装置还具有用于检测车辆的横向角速度的横向角速度传感器6和用于检测车辆行驶速度(车速)的车速传感器7。这些传感器的检测结果送到图像处理单元2中。
如图2所示,在本实施例中,摄像头1R与1L配置在车辆10的前部,并且相对于通过车辆的中心的中心轴互相对称,用于拍摄车辆10的前方情况。两个摄像头1R与1L固定在车辆上,两者的光轴互相平行,并且两者距地面的高度也相等。红外线摄像头1R与1L具有如下特性:被监测对象的温度越高其输出信号的值也越高(即拍摄图像中的灰度较大)。
图像处理单元2具有:A/D变换电路,由其将输入的模拟信号变换为数字信号;图像存储器,由其存储经数字化处理后的图像信号;中央运算处理装置(CPU),其用于进行各种运算处理;RAM(随机存储器),在CPU进行运算时其用于存储数据;ROM(只读存储器),其用于存储CPU所执行的程序和所使用的数据(含表、图);输出电路,其用于对扬声器3输出驱动信号和对HUD4输出显示信号。摄像头1R与1L的输出信号被变换为数字信号而输入到CPU中。如图2所示,HUD4用于在驾驶员前方的车前窗位置上显示出画面4a,从而使驾驶员能看到由HUD4显示的画面。
另外,例如也可以用安装在仪表板上的普通显示装置来代替HUD4。如果搭载有导航装置(未图示),也可以利用该导航装置的显示装置。该导航装置用于检测出车辆的当前位置,并求出到目的地的最佳路径,具有能显示地图信息、上述当前位置和最佳路径等的各种功能。
图3为表示由图像处理单元2所执行的程序的流程图。该程序按照规定的时间间隔执行。
在步骤S11~S13中,接收摄像头1R与1L的输出信号(即拍摄图像的数据),对其进行A/D变换并存储在图像存储器中。所存储的图像数据为包含灰度信息的灰度图像。
在步骤S14中,以摄像头1R拍到的右侧图像为基准图像(也可以以左侧图像代替右侧图像而作为基准图像),对该图像信号进行二值化处理。具体处理为:比灰度阈值ITH亮的区域为“1”(白)、暗的区域为“0”(黑)。通过进行二值化处理,能将比如像生物体那样比特定温度值高的被监测对象作为白色区域而抽出。能够用任何合适的方法来确定灰度阈值ITH。
在步骤S15中,将二值化处理后的图像数据变换为游程编码数据。具体处理为:对于二值化处理后变为白色的区域,用各个像素组的在该白色区域(称为线)中的起点(各线的左端的像素)的坐标、从起点到终点(各线的右端的像素)的长度(用像素数表示)表示游程编码数据。这里,在图像中的垂直方向上设y轴、在水平方向上设x轴。y坐标为y1的像素组的白色区域为从(x1,y1)到(x3,y1)的线时,由于该线由三个像素构成,因而能由(x1,y1,3)这一游程编码数据来表示。
在步骤S16与步骤S17中,给被监测对象附上标签,对被监测对象进行抽出处理。即,在被游程编码数据处理的线中,使在y方向上有重合部分的线合起来视为一个被监测对象并给它附上标签。这样能抽出1个或多个被监测对象。
在步骤S21中,对于采用上述方法抽出的每个被监测对象,判定是行人还是动物(较为典型的是鹿或熊等四肢动物,以下只称为动物)。若抽出的被监测对象为行人进入步骤S22,是动物时则进入步骤S23。
若抽出的所有被监测对象既非行人也非动物(例如为人工构筑物)时,步骤S21中的判定结果为否,进入步骤S24,不发出警报,进行将在步骤S13获得的灰度图像输出给显示装置4的通常显示处理。
这里,判定被监测对象是行人还是动物的处理可以利用任意的适当的方法来实现。例如,利用公知的图案匹配方法,求出采用上述方法所抽出的被监测对象和表示行人的规定图案之间的类似度,如果该类似度较大就判定为是行人。对于动物,也可以采用同样方法进行判定。作为上述判定处理的例子的是否是行人的判定处理,如记载在日本发明专利公开公报特开2007-241740号、日本发明专利公开公报特开2007-334751号中。是否是动物的判定处理,例如记载在日本发明专利公开公报特开2007-310705号、日本发明专利公开公报特开2007-310706号中。
在步骤S22中,对被判定为是行人的被监测对象,判定其是否位于车辆周围的规定警报范围内,在步骤S23中,对被判定为是动物的被监测对象,判定其是否位于该警报范围内。这里,作为规定警报范围的一个例子,表示在图4中。
区域AR0表示作为摄像头1R与1L能拍摄区域的拍摄范围。对于对应于拍摄范围AR0的拍摄图像,执行图3中的从步骤S11到步骤S17的处理。
区域AR1为对应于在车辆10的车宽α的两侧分别加上余量β(例如可以为50~100cm)的范围的区域,换言之,是宽度为车辆10的车宽方向的中心轴两侧具有(α/2+β)宽度的区域,其为接近判定区域,表示被监测对象若在此区域中不动,则发生碰撞的可能性较高。与接近判定区域相比,区域AR和AR3为x坐标的绝对值较大的(位于接近判定区域的横向方向上的外侧)的区域,其为进入判定区域,表示存在于该区域中的被监测对象有可能进入接近判定区域。用于确定区域AR1~AR3在距离方向上的大小的Z1,例如能设定为规定数值。
在本实施例中,以接近判定区域AR1为上述警报范围而进行步骤S22和S23的判定。这里,若被监测对象是行人,如果该行人的脚部、即图像中的该被监测对象的底部的至少一部分包含在该警报范围内,就判定为该被监测对象位于该警报范围内。对于动物也用同样方法判定。
也可以用以下方法来代替上述方法:求出被监测对象的重心位置,若该重心位置包含在该警报范围内,就判定为该被监测对象位于该警报范围内。
在步骤S22中,若判定为至少有一个行人位于警报范围内时(步骤S22的判定结果为是),在步骤S25中,将灰度图像显示在显示装置4上,以对位于图像中的该警报范围内的该行人发出警报。具体来讲,通过对图像中的每个该行人的位置进行个别突出显示以实现发出警报。下面将对每个被监测对象的位置进行个别突出显示的方式称为第1方式。
在步骤S22中,若不存在被判定为位于警报范围内的行人时(步骤S22的判定结果为否),表示在警报范围内不存在应该引起注意的被监测对象。因此,在步骤S26中,禁止发出警报,与步骤S24一样进行通常显示处理。
这样,被监测对象是行人时,只在其位于警报范围内时进行突出显示,在其离开该警报范围的时刻取消该突出显示。
另外,在步骤S23中,若判定为至少有一头动物位于警报范围内时(步骤S23的判定结果为是),在步骤S27中,将灰度图像显示在显示装置4上,以对位于图像中的该警报范围内的该动物发出警报。具体来讲,通过对所显示的整个灰度图像进行一个突出显示以实现发出警报。下面将对所显示的整个图像进行一个突出显示的方式称为第2方式。
在步骤S23中,若不存在被判定为位于警报范围内的动物时(步骤S23的判定结果为否),在步骤S30中,判断该动物离开该警报范围后是否经过了规定时间。若未经过规定时间(步骤S30的判定结果为否),在步骤S27中,继续发出警报。即,将此次获得的灰度图像显示在显示装置4上,对整个该图像进行一个突出显示。如果已经经过了上述规定时间(步骤S30的判定结果为是),在步骤S31中,禁止发出警报,与步骤S24一样进行通常显示处理。
例如通过跟踪被判定为动物的被监测对象,就能够判断该动物离开警报范围后是否经过了规定时间。例如通过跟踪该动物,在该动物离开警报范围时(例如在上次程序中存在于警报范围内而在此次程序中存在于警报范围外时)起动计时器,对该动物离开警报范围后的经过时间进行计时。通过参照该计时器就能判断是否经过了上述规定时间。另外,该跟踪方法如记载在日本发明专利公开公报特开2001-6096号中。
这样,在判定为动物存在于警报范围内之后,即使该动物离开该警报范围,也会从离开的时刻起在规定时间内继续发出警报。在经过规定时间之后解除警报。
如上所述,在动物中,有的成群行动。因此,即使被检测出的动物离开了警报范围,在车辆周围也有可能存在同类的其他动物。另外,由于动物的移动速度一般较快,且其行动方式有时也超出预想,所以即使判定为离开了警报范围,也可能存在于该警报范围的周围。对此,行人则没有上述习性。所以若为行人,只在其位于警报范围内时发出警报,若为动物,即使其离开警报范围,也在规定时间内继续发出警报。这样能使驾驶员觉察到潜在的危险。
在图3的程序的步骤S21中,有时会判定为抽出的被监测对象中包含行人和动物双方且两者都位于警报范围内。此时,在显示装置4上显示灰度图像外,还能发出组合了第1方式和第2方式的警报。即,对于行人,只在其位于警报范围内时进行个别突出显示,而对于动物,在其位于警报范围内以及离开警报范围后的规定时间内对整个显示图像进行一个突出显示。
图5是根据图4的程序大致按时间顺序在显示装置4上显示分别为行人或动物的画面的一个例子。由线101和线102围起来的区域表示警报范围。
还有,由于行人和动物都是生物体,所以在显示装置4上所显示的实际的灰度图像中会以高于背景的灰度进行显示(即发白),但是为了易于从图中看清,请注意并不上述实际的显示方式这一点(即在图中,行人或动物的被描画得比背景黑)。这种情况在以下的图中也是一样的。
在图5中(a)的时刻t1,因判定为有3个行人111~113位于警报范围内,所以按第1方式发出警报。即,在显示图像中,分别用框围起位于警报范围内的行人111~113而进行突出显示。
之后在图5中(b)的时刻t2,因2个行人111和112已经离开了警报范围而余下的1个行人113位于警报范围内,所以继续按第1方式发出警报。即,对位于警报范围内的行人113的位置用框进行突出显示。
之后在图5中(c)的时刻t3,因所有行人111~113都不在警报范围内,所以禁止发出警报。因此不进行任何突出显示。
相对于此,若为动物,在图5中(d)的时刻t1,因判定为有动物115存在于警报范围内,所以按第2方式发出警报。即在该实施方式中,在显示图像上重叠显示如用符号121所表示的1个图标图像。对于上述整个显示图像,该图标图像121是前者的一个突出显示。这里,用图标图像121表示周围有可能存在多个动物。此时优选显示图标图像121时能引起驾驶员的注意。例如将三角形显示为红色,或点亮该图标图像或使其闪灭。
之后在图5中(e)的时刻t2,虽然该动物115离开了警报范围,但是未经过上述规定时间。因此继续按第2方式发出警报。即用图标图像121继续进行整体的突出显示。
之后在图5中(f)的时刻t3,由于动物115离开了拍摄范围(图4中的区域AR0),未显示在显示装置4中。但是由于尚未经过上述规定时间,所以继续按第2方式发出警报、即用图标图像121继续进行整体的突出显示。这样,即使动物既离开警报范围又离开拍摄范围,直至经过规定时间之前,该动物或跟在它后面的其他动物仍有可能存在于车辆周围,所以继续发出警报。这样,能使驾驶员觉察到潜在的危险。
还有,对于动物,也可以这样发出警报:不仅用上述图标图像121进行整体的突出显示,在动物位于警报范围内的期间或该动物存在于拍摄范围内的期间,用框围起该动物以进行个别突出显示。
此时,生成如图6所示的显示图像。其与图5的不同之处是在动物115存在于拍摄范围内的期间用框进行突出显示。
上面叙述了通过显示来发出警报的方式,但是对于警报声,也能在个别警报和整体警报之间进行切换。例如在步骤S25中按第1方式发出警报时,在发出该警报的同时,对于各被监测对象,还能用声响或声音发出警报。因此,在警报范围内存在多个被监测对象时,用声响或声音发出警报,警报次数相当于该被监测对象的数量。另外,在步骤S27中按第2方式发出警报时,在发出该警报的同时,对于所有被监测对象(单个或多个),用1次声响或声音发出警报。还有,按第1方式发出的警报声和按第2方式发出的警报声之间也可根据种类和内容而不同。
图7为表示本发明的另一实施方式的由图像处理单元2执行的程序的流程图。该程序按照规定的时间间隔执行。下面只对不同于图3之处进行说明。
图7与图3的不同点是追加了步骤S41和S42。在步骤S41中,判断被判定为位于警报范围内的行人是否多于规定数量(例如为1)。若不多于规定数量(即在规定数量以下),在步骤S41中的判断为否。进入步骤S25,如上所述,按第1方式进行显示、即对各行人的位置进行个别突出显示。若多于规定数量,在步骤S41中的判断为是。进入步骤S42,按第2方式进行显示、即对整个显示图像进行一个突出显示。此时的突出显示,可以不同于步骤S27中的对动物所进行的突出显示。
如参照图3所叙述的那样,在图7所示的方式中,在步骤S21中,抽出的被监测对象中包含行人和动物双方时,也可以组合以下方法:对于行人采用步骤S25或S42发出警报而对于动物采用步骤S27发出警报。
这样,在本实施方式中,可以根据行人是否多于规定数量的判定结果,在用个别突出显示的第1方式和整体突出显示的第2方式之间进行切换。
进行上述切换的理由为,如果在警报范围内存在多个行人时,在第1方式中要用多个框进行突出显示。优选所发出的警报能使驾驶员在短时间内觉察到,例如用框等对其进行个别突出显示时,进行突出显示的部位的数量越多,画面会变得越加难以看清,驾驶员难以在短时间内觉察到应该注意哪个被监测对象。为避免出现这种情况,在本实施方式中,若在警报范围内存在较多的行人时,将警报方式从个别突出显示切换为整体突出显示。采用整体突出显示方法时,驾驶员能够在短时间内觉察到有多个行人存在于车辆周围。
对于行人,也能对警报声进行同样的切换。如上所述,在步骤S25中,对于各被监测对象,能用1次声响或声音发出警报。在步骤S42中,对于所有被监测对象,能用1次声响或声音发出警报。这里,可使步骤S42中的警报声和步骤S25中的警报声的种类和内容不同。另外,还可使步骤S42中的警报声和步骤S27(若为动物时按第2方式发出的警报)中发出的警报声的种类和内容不同。
图8是根据图7的程序大致按时间顺序在显示装置4上显示分别为行人或动物的画面的一个例子。由线101和线102围起来的区域表示警报范围。关于动物的图8中(d)~(f)中的显示是用于对比的,由于其与图6中的相同,所以省略其说明。另外,步骤S41中的规定数量为数值1。
在图8中(a)的时刻t1,判定为有3个行人111~113位于警报范围内。由于行人的数量为3,所以在步骤S42中,按第2方式发出警报,即进行整体突出显示。若为动物,如上所述,在显示图像上重叠显示如用符号123所表示的1个图标图像。对于上述整个显示图像,该图标图像123是前者的一个突出显示。这里,用图标图像123表示周围有可能存在多个行人。与图标图像121相同,优选显示图标图像123时能引起驾驶员的注意。例如将三角形显示为红色,或点亮该图标图像或使其闪灭。
还有,图标图像123的三角形中表示有人,这与三角形中表示有动物的图标图像121不同。这样,通过确认显示了哪一个图标图像,驾驶员能觉察到存在多个行人还是觉察到来自动物的危险性。
之后在图8中(b)的时刻t2,2个行人111和112已经离开了警报范围而余下的1个行人113位于警报范围内。由于警报范围内的行人的数量为1,所以在步骤S25中按第1方式对该行人进行显示,即用框进行个别突出显示。
之后在图8中(c)的时刻t3,因所有行人111~113都不在警报范围内,所以禁止发出警报。不进行任何突出显示。
这样,在本实施方式中,若为行人,通过判断其是否多于规定数量,在第1方式和第2方式之间对发出的警报进行切换。但是对于动物,即使其为单个,如上所述,由于周围还有可能存在其他动物,所以视为多个(结群),始终按第2方式发出警报。这样做,对于行人不仅能呈现易于看懂的显示,对于动物还能使驾驶员觉察到潜在的危险。
还有,若为行人,通过使步骤S41中的“规定数量”为数值1,能使显示在图像中的突出显示始终为1处。因此,驾驶员能够在短时间内觉察到显示在所显示的图像中的警报内容。虽然该规定数量并不局限于1,但是优选预先了解到进行若干个突出显示时画面变得不易看清,将其数量设定为比开始感到不易看清的突出显示数量小的数值。
另外,在上述实施方式中,通过将用符号121或123表示的图标图像与灰度图像进行重叠显示,相对于整个显示图像,能狗实现进行一个突出显示的第2方式。但是整体性的突出显示方法并不局限于上述方法,还可以采用其他方式。
例如,图9中表示有被监测对象为行人时采用其他方式进行整体性突出显示的例子。在图9中(a)中,通过显示外框131来按第2方式进行整体性突出显示,其中,由外框131来围起所显示的图像的外缘。可将该外框131的颜色设定为能使驾驶员引起注意的颜色(例如设定为红色或黄色),另外还能点亮该外框131或使其闪灭。
在图9中(b)中,如网格线部分所示,降低整个拍到的图像的灰度(例如使各像素的灰度值降低规定数值),以较低对比度的方式显示图像,并且使图标图像123与前者重叠显示。另外,在图9中(c)中,不显示拍到的图像而只显示图标图像123。对于图9中(b)和图9中(c)的图标图像123,能点亮该图标图像123或使其闪灭。如图9中(b)和图9中(c)所示,既显示图标图像123,又使拍到的图像变得不易看清,这样来提示驾驶员而使其注视前方。图9中的这些方式,能够等同于是动物时的按第2方式发出的警报。
还有,在上述实施方式中,将接近判定区域AR1作为车辆周围的规定警报范围,根据在该警报范围内是否存在规定的被监测对象而发出警报。也可以用以下方法来代替上述方法:不仅对存在于该警报范围内的被监测对象,对存在于进入判定区域AR2或AR3中并且被判定为有可能进入接近判定区域中的被监测对象也发出警报。另外,也可判定车辆是否有可能撞到该被监测对象,如果有产生碰撞的可能性时发出警报。这种判定方法如记载在日本发明专利公开公报特开2001-6096号中。
还有,上述实施方式中使用了远红外线摄像头,但本发明也适用于其他摄像头(例如可见光摄像头)。
以上说明了本发明的特定实施方式,但本发明申请并不局限于上述实施方式。
【附图标记说明】
1R、1L,红外线摄像头;2,图像处理单元;3,扬声器;4,HUD

Claims (2)

1.一种车辆周围监测装置,具有:拍摄机构,其搭载在车辆上,用于拍摄该车辆周围的情况;检测机构,根据上述拍摄机构拍到的图像,由所述检测机构检测出上述车辆周围的被监测对象;判定机构,由其判定被检测出的上述被监测对象是行人还是动物;警报机构,当被判定为上述行人或动物的被监测对象存在于上述车辆周围的规定范围内时,由所述警报机构向该车辆的驾驶员发出警报,其特征在于,
被检测出的被监测对象被判定为上述动物且被判定为存在于上述规定范围内时,即使该动物离开该规定范围之后,上述警报机构也在规定时间内继续发出上述警报。
2.根据权利要求1所述的车辆周围监测装置,其特征在于,
还具有判断机构,当被检测出的上述被监测对象被判定为上述行人,该行人存在于上述规定范围内时,由所述判断机构判断该存在的行人是一个还是多个,
该行人为一个或多个时,上述警报机构以不同方式发出警报,当被检测出的上述被监测对象被判定为上述动物,而且该动物还存在于上述规定范围内时,无论该存在的动物是一个还是多个,该警报机构都发出同一方式的警报。
CN201180010526.2A 2010-03-01 2011-02-21 车辆周围监测装置 Expired - Fee Related CN102782740B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-044475 2010-03-01
JP2010044475 2010-03-01
PCT/JP2011/000949 WO2011108218A1 (ja) 2010-03-01 2011-02-21 車両の周辺監視装置

Publications (2)

Publication Number Publication Date
CN102782740A true CN102782740A (zh) 2012-11-14
CN102782740B CN102782740B (zh) 2015-04-15

Family

ID=44541888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180010526.2A Expired - Fee Related CN102782740B (zh) 2010-03-01 2011-02-21 车辆周围监测装置

Country Status (5)

Country Link
US (1) US9321399B2 (zh)
EP (1) EP2544162B1 (zh)
JP (1) JP5577398B2 (zh)
CN (1) CN102782740B (zh)
WO (1) WO2011108218A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105075249A (zh) * 2013-03-28 2015-11-18 株式会社电装 车辆用周边监视控制装置
CN106240560A (zh) * 2015-06-05 2016-12-21 丰田自动车株式会社 车辆的碰撞规避辅助装置
CN107004363A (zh) * 2014-12-10 2017-08-01 三菱电机株式会社 图像处理装置及车载显示系统及显示装置及图像处理方法及图像处理程序
CN107004250A (zh) * 2014-12-09 2017-08-01 株式会社电装 图像生成装置及图像生成方法
CN107554472A (zh) * 2017-08-23 2018-01-09 中国科学院自动化研究所 一种车辆碰撞警示系统和方法
CN107924265A (zh) * 2016-01-25 2018-04-17 Jvc 建伍株式会社 显示装置、显示方法、程序
CN109690647A (zh) * 2016-09-08 2019-04-26 克诺尔商用车制动系统有限公司 用于提供车辆环境信息的装置
CN110015247A (zh) * 2017-12-28 2019-07-16 丰田自动车株式会社 显示控制装置和显示控制方法
CN110689760A (zh) * 2019-09-26 2020-01-14 浙江海洋大学 一种山区内保护道路安全的系统及方法
CN110956850A (zh) * 2018-09-27 2020-04-03 株式会社斯巴鲁 移动体监视装置、使用其的车辆控制系统及交通系统
CN111681455A (zh) * 2014-12-01 2020-09-18 星克跃尔株式会社 电子装置的控制方法、电子装置以及记录介质
CN112829677A (zh) * 2015-05-18 2021-05-25 御眼视觉技术有限公司 处理从车辆收到的报告的方法和系统

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2544161B1 (en) * 2010-03-03 2014-12-24 Honda Motor Co., Ltd. Surrounding area monitoring device for vehicle
JP5459154B2 (ja) * 2010-09-15 2014-04-02 トヨタ自動車株式会社 車両用周囲画像表示装置及び方法
JP5465223B2 (ja) * 2011-10-14 2014-04-09 本田技研工業株式会社 車両の運転支援装置
JP5547160B2 (ja) * 2011-10-27 2014-07-09 本田技研工業株式会社 車両周辺監視装置
JP5516561B2 (ja) * 2011-12-08 2014-06-11 株式会社デンソーアイティーラボラトリ 車両用運転支援装置
JP5903003B2 (ja) * 2012-06-26 2016-04-13 本田技研工業株式会社 車両周辺監視装置
JP6232759B2 (ja) * 2013-06-07 2017-11-22 ソニー株式会社 情報処理装置、接近対象物通知方法及びプログラム
US9827907B2 (en) * 2013-07-05 2017-11-28 Clarion Co., Ltd. Drive assist device
JP5842110B2 (ja) * 2013-10-10 2016-01-13 パナソニックIpマネジメント株式会社 表示制御装置、表示制御プログラム、および記録媒体
GB2521415B (en) * 2013-12-19 2020-03-04 Here Global Bv An apparatus, method and computer program for controlling a vehicle
JP6440115B2 (ja) * 2014-03-06 2018-12-19 パナソニックIpマネジメント株式会社 表示制御装置、表示制御方法、および表示制御プログラム
JP6325927B2 (ja) * 2014-07-18 2018-05-16 日立オートモティブシステムズ株式会社 物体検知装置及びそれを用いた車両制御システム
KR102287373B1 (ko) 2014-10-20 2021-08-05 한화테크윈 주식회사 경보 발생 장치 및 방법
DE102015002923B4 (de) 2015-03-06 2023-01-12 Mekra Lang Gmbh & Co. Kg Anzeigeeinrichtung für ein Fahrzeug insbesondere Nutzfahrzeug
US9718405B1 (en) 2015-03-23 2017-08-01 Rosco, Inc. Collision avoidance and/or pedestrian detection system
US9849784B1 (en) * 2015-09-30 2017-12-26 Waymo Llc Occupant facing vehicle display
DE102015118977A1 (de) * 2015-11-05 2017-05-11 Connaught Electronics Ltd. Erfassungsvorrichtung für ein Kraftfahrzeug, Fahrerassistenzsystem sowie Kraftfahrzeug
JP6516298B2 (ja) * 2016-05-06 2019-05-22 トヨタ自動車株式会社 情報表示装置
KR102581779B1 (ko) * 2016-10-11 2023-09-25 주식회사 에이치엘클레무브 교차로충돌방지시스템 및 교차로충돌방지방법
US11030468B2 (en) 2016-11-21 2021-06-08 Kyocera Corporation Image processing apparatus
JP6720063B2 (ja) * 2016-11-21 2020-07-08 京セラ株式会社 画像処理装置、撮像装置、および表示システム
CN106553655B (zh) * 2016-12-02 2019-11-15 深圳地平线机器人科技有限公司 危险车辆检测方法和系统以及包括该系统的车辆
WO2019039201A1 (ja) * 2017-08-23 2019-02-28 日本精機株式会社 車両用表示装置
JP7006235B2 (ja) * 2017-12-18 2022-01-24 トヨタ自動車株式会社 表示制御装置、表示制御方法および車両
US11431893B2 (en) * 2018-10-18 2022-08-30 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus
US20200342623A1 (en) * 2019-04-23 2020-10-29 Apple Inc. Systems and methods for resolving hidden features in a field of view
JP7518966B2 (ja) 2021-03-12 2024-07-18 本田技研工業株式会社 視線誘導装置、注意喚起システム、注意喚起方法、及びプログラム
JP7517252B2 (ja) 2021-06-04 2024-07-17 トヨタ自動車株式会社 車両用表示装置、車両用表示システム、車両用表示方法及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1181498A (zh) * 1996-11-04 1998-05-13 三星电子株式会社 告知车辆周围状况的导航装置和控制该装置的方法
CN1833934A (zh) * 2005-09-09 2006-09-20 中国科学院自动化研究所 汽车行驶安全监控系统及监控方法
CN1922641A (zh) * 2004-02-23 2007-02-28 瓦莱奥开关传感器有限公司 用于摄像机图像的图形处理的方法及报警装置
US20070211919A1 (en) * 2006-03-09 2007-09-13 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus
US20070291987A1 (en) * 2006-06-16 2007-12-20 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus
JP2008021035A (ja) * 2006-07-11 2008-01-31 Fujitsu Ten Ltd 画像認識装置、画像認識方法および車両制御装置
CN101201402A (zh) * 2006-12-15 2008-06-18 上海通运汽车科技有限公司 一种汽车行驶中检测危险接近物体的方法和装置
JP2008254710A (ja) * 2007-04-09 2008-10-23 Fujitsu Ten Ltd 障害物検知装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3515926B2 (ja) * 1999-06-23 2004-04-05 本田技研工業株式会社 車両の周辺監視装置
JP4334686B2 (ja) 1999-07-07 2009-09-30 本田技研工業株式会社 車両の画像表示装置
US6535242B1 (en) * 2000-10-24 2003-03-18 Gary Steven Strumolo System and method for acquiring and displaying vehicular information
CA2343493A1 (en) * 2001-04-09 2002-10-09 Harold Hykawy Roadside animal warning system
DE102006047777A1 (de) * 2006-03-17 2007-09-20 Daimlerchrysler Ag Virtuelles Spotlight zur Kennzeichnung von interessierenden Objekten in Bilddaten
JP4173901B2 (ja) * 2006-05-19 2008-10-29 本田技研工業株式会社 車両周辺監視装置
JP4173902B2 (ja) * 2006-05-19 2008-10-29 本田技研工業株式会社 車両周辺監視装置
JP4470067B2 (ja) * 2007-08-07 2010-06-02 本田技研工業株式会社 対象物種別判定装置、車両
US20100020170A1 (en) 2008-07-24 2010-01-28 Higgins-Luthman Michael J Vehicle Imaging System

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1181498A (zh) * 1996-11-04 1998-05-13 三星电子株式会社 告知车辆周围状况的导航装置和控制该装置的方法
CN1922641A (zh) * 2004-02-23 2007-02-28 瓦莱奥开关传感器有限公司 用于摄像机图像的图形处理的方法及报警装置
CN1833934A (zh) * 2005-09-09 2006-09-20 中国科学院自动化研究所 汽车行驶安全监控系统及监控方法
US20070211919A1 (en) * 2006-03-09 2007-09-13 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus
US20070291987A1 (en) * 2006-06-16 2007-12-20 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus
JP2008021035A (ja) * 2006-07-11 2008-01-31 Fujitsu Ten Ltd 画像認識装置、画像認識方法および車両制御装置
CN101201402A (zh) * 2006-12-15 2008-06-18 上海通运汽车科技有限公司 一种汽车行驶中检测危险接近物体的方法和装置
JP2008254710A (ja) * 2007-04-09 2008-10-23 Fujitsu Ten Ltd 障害物検知装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105075249A (zh) * 2013-03-28 2015-11-18 株式会社电装 车辆用周边监视控制装置
CN111681455B (zh) * 2014-12-01 2023-02-03 现代自动车株式会社 电子装置的控制方法、电子装置以及记录介质
CN111681455A (zh) * 2014-12-01 2020-09-18 星克跃尔株式会社 电子装置的控制方法、电子装置以及记录介质
CN107004250B (zh) * 2014-12-09 2020-10-23 株式会社电装 图像生成装置及图像生成方法
CN107004250A (zh) * 2014-12-09 2017-08-01 株式会社电装 图像生成装置及图像生成方法
CN107004363B (zh) * 2014-12-10 2020-02-18 三菱电机株式会社 图像处理装置及车载显示系统及显示装置及图像处理方法
CN107004363A (zh) * 2014-12-10 2017-08-01 三菱电机株式会社 图像处理装置及车载显示系统及显示装置及图像处理方法及图像处理程序
CN112829677A (zh) * 2015-05-18 2021-05-25 御眼视觉技术有限公司 处理从车辆收到的报告的方法和系统
CN106240560A (zh) * 2015-06-05 2016-12-21 丰田自动车株式会社 车辆的碰撞规避辅助装置
CN107924265A (zh) * 2016-01-25 2018-04-17 Jvc 建伍株式会社 显示装置、显示方法、程序
CN107924265B (zh) * 2016-01-25 2020-12-15 Jvc 建伍株式会社 显示装置、显示方法以及存储介质
CN109690647A (zh) * 2016-09-08 2019-04-26 克诺尔商用车制动系统有限公司 用于提供车辆环境信息的装置
US11030899B2 (en) 2016-09-08 2021-06-08 Knorr-Bremse Systeme Fuer Nutzfahrzeuge Gmbh Apparatus for providing vehicular environment information
CN107554472A (zh) * 2017-08-23 2018-01-09 中国科学院自动化研究所 一种车辆碰撞警示系统和方法
CN110015247A (zh) * 2017-12-28 2019-07-16 丰田自动车株式会社 显示控制装置和显示控制方法
CN110956850A (zh) * 2018-09-27 2020-04-03 株式会社斯巴鲁 移动体监视装置、使用其的车辆控制系统及交通系统
CN110689760A (zh) * 2019-09-26 2020-01-14 浙江海洋大学 一种山区内保护道路安全的系统及方法

Also Published As

Publication number Publication date
WO2011108218A1 (ja) 2011-09-09
US9321399B2 (en) 2016-04-26
EP2544162A1 (en) 2013-01-09
JPWO2011108218A1 (ja) 2013-06-20
US20120314074A1 (en) 2012-12-13
EP2544162B1 (en) 2015-04-29
EP2544162A4 (en) 2014-01-22
CN102782740B (zh) 2015-04-15
JP5577398B2 (ja) 2014-08-20

Similar Documents

Publication Publication Date Title
CN102782740A (zh) 车辆周围监测装置
US9067537B2 (en) Vehicle periphery monitoring device
CN107380164B (zh) 基于计算机视觉的驾驶员辅助系统和支持系统
US8766816B2 (en) System for monitoring the area around a vehicle
JP4173901B2 (ja) 車両周辺監視装置
CN102782741A (zh) 车辆周围监测装置
JP4173902B2 (ja) 車両周辺監視装置
US8160297B2 (en) System for processing an image of a surrounding of a vehicle
JP4988781B2 (ja) 車両の周辺監視装置
JP5345992B2 (ja) 車両周辺監視装置
JP5004919B2 (ja) 車両周辺監視装置
JP5291524B2 (ja) 車両周辺監視装置
JP4615061B2 (ja) 車両周辺監視装置
JP4943403B2 (ja) 車両の周辺監視装置
JP2015032107A (ja) 車両周辺監視装置
JP5383246B2 (ja) 車両の周辺監視装置
JP5885640B2 (ja) 車両周辺監視装置
JP4972073B2 (ja) 環境認識装置
JP5026398B2 (ja) 車両周辺監視装置
JP2008042779A (ja) 車両周辺監視システム、車両、車両周辺監視プログラム、車両周辺監視システムの構築システム
CN117622188A (zh) 一种驾驶辅助方法、装置、电子设备及存储介质
JP2019080125A (ja) 画像監視装置および画像監視システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150415

Termination date: 20160221