CN104854638B - 视觉辨认度估计装置及安全驾驶支持系统 - Google Patents
视觉辨认度估计装置及安全驾驶支持系统 Download PDFInfo
- Publication number
- CN104854638B CN104854638B CN201280077719.4A CN201280077719A CN104854638B CN 104854638 B CN104854638 B CN 104854638B CN 201280077719 A CN201280077719 A CN 201280077719A CN 104854638 B CN104854638 B CN 104854638B
- Authority
- CN
- China
- Prior art keywords
- visuognosis degree
- detection
- pavement marker
- visuognosis
- record
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 claims abstract description 228
- 239000003550 marker Substances 0.000 claims abstract description 132
- 238000009825 accumulation Methods 0.000 claims abstract description 64
- 230000008859 change Effects 0.000 claims abstract description 48
- 238000010191 image analysis Methods 0.000 claims abstract description 46
- 238000004458 analytical method Methods 0.000 claims description 38
- 230000007423 decrease Effects 0.000 claims description 20
- 230000009471 action Effects 0.000 claims description 17
- 230000004438 eyesight Effects 0.000 claims description 16
- 230000006399 behavior Effects 0.000 claims 2
- 238000000034 method Methods 0.000 description 53
- 230000033228 biological regulation Effects 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004043 responsiveness Effects 0.000 description 2
- 235000021167 banquet Nutrition 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3629—Guidance using speech or audio output, e.g. text-to-speech
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3655—Timing of guidance instructions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Mechanical Engineering (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Human Computer Interaction (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明的目的在于估计周围的视觉辨认度的变化。为了达到该目的,本发明的视觉辨认度估计装置具有:图像识别部(1),其通过对图像进行分析来检测道路标记;信息蓄积部(2),其将由图像识别部(1)检测出的道路标记的图像分析结果和图像识别部(1)检测出该道路标记时的检出位置,记录为过去的检出历史记录;视觉辨认度判定部(3),其在图像识别部(1)再次检测出与在信息蓄积部(2)中记录的检出历史记录对应的道路标记时,根据此时的检出位置与记录在信息蓄积部(2)中的过去的检出位置之间的比较,估计视觉辨认度的变化。
Description
技术领域
本发明涉及一种进行在对驾驶员和/或步行者等使用者通知各种信息时使得通知不至于过剩而妨碍驾驶和/或步行的控制的技术。
背景技术
近年来,研发了面向提高机动车驾驶时的安全性的各种安全驾驶支持技术。例如存在当接近前方车辆或周围的车辆时,在车内准备的显示设备上进行警报显示和/或用扬声器发出警报声音进行通知的系统,此外也存在通知路肩的步行者和/或标识等的存在,防止驾驶员漏看的系统。
但是,在导入这些各种安全驾驶支持技术时,需要注意到由于对驾驶员的信息通知过剩,而引起驾驶员的注意力下降。例如,当在大街上行驶时将有许多步行者,还有许多道路标识,因而将这些全部都通知给驾驶员将使驾驶员感觉厌烦,有可能引发本来应该积极通知的信息不能被正确地传递给驾驶员的问题。
为了避免这种问题,已经有以各种条件锁定要通知的信息的方法。例如有如下这样的方法:用摄像机拍摄道路标识及其周围,根据道路标识周边的边界数和/或道路标识的色彩信息,仅显示不易看到的标识(专利文献1)。
另外,也有如下这样的方法:预先在导航装置内同时记录地图信息和标识的信息(文字数据等),仅在行驶过程中用摄像机拍摄到的标识的信息与预先记录的信息不同的情况下显示该标识,由此抑制过剩的显示(专利文献2)。
现有技术文献
专利文献
专利文献1:日本特开2010-239448号公报
专利文献2:日本特开2005-300342号公报
发明内容
发明要解决的问题
但是,在专利文献1所记载的方法中,判定是否容易看到标识本身,仅显示融入在周围风景中使得视觉辨认度下降的标识,因而不是能够估计到周围的视觉辨认度变化的方法。另外,当存在多个视觉辨认度下降的标识时,相应地进行显示。尤其是在频繁利用的道路中即使是不易看清楚也能掌握该交通标识的显示内容的情况下等,每当在相同道路中通过时就反复显示这样的不易看清楚的标识,对于驾驶员而言是很烦的事情,存在导致注意力下降、不利于安全驾驶的问题。
另外,在专利文献2所记载的方法中,只不过是将与地图信息一起记录的标识与在行驶中检测出的标识进行比较来判定是否不同,不是能够判定视觉辨认度的变化的方法。另外,虽然能够避免反复显示在同一地点通过处的标识,但由于是专用于标识的显示,因此不具有例如对于前述的步行者那样的其它通知对象物不会进行过剩通知的控制效果。尤其是如步行者那样并非具有在任何时候都存在于相同位置这一性质的通知对象物的情况下,像该方式这样与地图关联起来进行记录,将不能根据有无变化来判定是否进行通知。
本发明正是为了解决上述问题而提出,其目的在于,通过监视标识等道路标记的容易看清程度如何变化,来估计视觉辨认度的变化。另外,本发明的目的在于,通过估计与过去相比的视觉辨认度的变化,来判定周围的视觉辨认度,即判定是否处于使用者能够从足够远的位置确认周围情况的状况,而抑制对使用者的过剩的信息提示。
用于解决问题的手段
本发明的视觉辨认度估计装置具有:图像识别部,其通过对图像进行分析来检测道路标记;信息蓄积部,其记录由所述图像识别部检测出的道路标记的图像分析结果和所述图像识别部检测出所述道路标记的检出位置,作为有关所述道路标记的过去的检出历史记录;以及视觉辨认度判定部,其在所述图像识别部再次检测出与所述检出历史记录对应的所述道路标记的情况下,根据该情况下的检出位置与记录在所述信息蓄积部中的过去的检出位置之间的比较,估计视觉辨认度的变化。
另外,本发明的另一种视觉辨认度估计装置具有:图像识别部,其通过对图像进行分析来检测道路标记;信息蓄积部,其记录由所述图像识别部检测出的道路标记的图像分析结果和所述图像识别部检测出所述道路标记时的检出位置,作为有关所述道路标记的过去的检出历史记录;以及视觉辨认度判定部,其根据所述图像识别部在记录于所述信息蓄积部中的过去的检出位置处再次分析出的所述道路标记的图像分析经过、与记录于所述信息蓄积部中的过去的图像分析结果之间的比较,估计视觉辨认度的变化。
另外,本发明的再一种视觉辨认度估计装置具有:图像识别部,其通过对图像进行分析来检测道路标记;信息蓄积部,其记录从所述图像识别部检测出所述道路标记的位置到所述道路标记为止的检出距离,作为有关所述道路标记的过去的检出历史记录;以及视觉辨认度判定部,其在所述图像识别部再次检测出与所述检出历史记录对应的所述道路标记的情况下,根据该情况下的检出距离与记录在所述信息蓄积部中的过去的检出距离之间的比较,估计视觉辨认度的变化。
另外,本发明的再一种视觉辨认度估计装置具有:图像识别部,其通过对图像进行分析来检测道路标记;信息蓄积部,其对从所述图像识别部能够检测出所述道路标记的位置到所述道路标记为止的基准检出距离进行记录;以及视觉辨认度判定部,其在所述图像识别部检测出所述道路标记的情况下,根据该情况下的检出距离与记录在所述信息蓄积部中的所述基准检出距离之间的比较,估计视觉辨认度的变化。
另外,本发明的安全驾驶支持系统具有:图像识别部,其通过对图像进行分析来检测道路标记;信息蓄积部,其记录由所述图像识别部检测出的道路标记的图像分析结果和所述图像识别部检测出所述道路标记的检出位置,作为有关所述道路标记的过去的检出历史记录;视觉辨认度判定部,其在所述图像识别部再次检测出与所述检出历史记录对应的所述道路标记的情况下,根据该情况下的检出结果与记录在所述信息蓄积部中的过去的检出历史记录之间的比较,估计视觉辨认度的变化;信息提示判断部,其在所述视觉辨认度判定部通过与过去的视觉辨认度进行比较而估计为当前的视觉辨认度下降时,降低用于判断是否需要对使用者提示周围的安全支持信息的阈值;以及信息提示部,其在所述信息提示判断部判定为要提示信息时对使用者提示信息。
发明效果
根据本发明的视觉辨认度估计装置及安全驾驶支持系统,能够估计视觉辨认度的变化、例如估计视觉辨认度是与通常一致还是低于通常情况。并且,通过这样估计视觉辨认度的变化,能够仅在视觉辨认度下降时向使用者传递周围的信息,能够抑制要提示的信息量。
附图说明
图1是示出本发明的实施方式1的视觉辨认度估计装置的图。
图2是示出本发明的实施方式1的视觉辨认度判定的流程的图。
图3是示出本发明的实施方式2的视觉辨认度估计装置的图。
图4是示出本发明的实施方式2的视觉辨认度判定的流程的图。
图5是示出本发明的实施方式3的视觉辨认度估计装置的图。
图6是示出本发明的实施方式5的视觉辨认度估计装置的图。
图7是示出本发明的实施方式7的视觉辨认度估计装置的图。
图8是示出本发明的实施方式8的视觉辨认度估计装置的图。
图9是示出本发明的实施方式9的安全驾驶支持系统的图。
具体实施方式
实施方式1
图1是示出本发明的实施方式1的视觉辨认度估计装置的图。作为视觉辨认度估计装置,除了对驾驶车辆的驾驶员的视觉辨认度进行估计的装置以外,也存在对步行者的视觉辨认度进行估计的装置,但在本实施方式1中对估计驾驶员的视觉辨认度的视觉辨认度估计装置进行说明。在以后的实施方式中也一样。如图所示,实施方式1的视觉辨认度估计装置由图像识别部1、信息蓄积部2和视觉辨认度判定部3构成。另外,图2示出视觉辨认度判定部3的视觉辨认度判定的流程。
图像识别部1安装于车辆,以拍摄行驶方向前方的车载摄像机的图像为输入,将其图像分析结果输出给信息蓄积部2和视觉辨认度判定部3。图像识别部1具有检测道路标识、交通信号灯、便利店的招牌等道路标记的功能,在检出时输出其类别和/或记载内容。例如,对于道路标识,输出“限速标识”“40(km/h)”这样的信息作为图像分析结果,在检测不到时输出“无检测结果”这样的信息或者不进行任何输出。
信息蓄积部2具有如下功能:以图像识别部1输出的图像分析结果和检测出该道路标记时的车辆位置信息为输入,将两者关联起来作为过去的检出历史记录记录在内部的HDD等存储介质(未图示)中。将在信息蓄积部2中记录的检出历史记录之一的过去的车辆位置信息,作为基准检出位置信息(过去的检出位置)用作视觉辨认度估计的判断基准。车辆位置信息是由在车载导航仪等中广泛使用的GPS(Global Positioning System,全球定位系统)生成的,是准确示出车辆的当前位置的信息。在车辆位置信息中除纬度和经度这样的坐标以外,也包括车辆的朝向的信息。该信息是由同样在车载导航仪等中广泛使用的陀螺仪传感器等生成的。另外,在车辆沿某个朝向行驶于某个坐标位置时,信息蓄积部2在记录了此时的车辆位置信息以及与该车辆位置信息相关联的图像分析历史记录的情况下,将这些信息作为检出历史记录进行输出。
视觉辨认度判定部3根据从图像识别部1取得的当前的图像分析结果、当前的车辆位置、从信息蓄积部2取得的检出历史记录、和判定阈值,最终判定视觉辨认度并输出判定结果。
下面,使用图1、图2说明视觉辨认度判定部3的动作。
例如,在车辆的行驶过程中,在接近过去检测出40km的速度限制标识的地点时,作为图像分析历史记录从信息蓄积部2输入“速度限制标识”“40(km/h)”这样的数据(S10),并输入与该图像分析历史记录相关联的过去的检出位置即基准检出位置信息(a)(S11)。
当图像识别部1在同一地点检测出相同的道路标识时,作为图像分析结果,从图像识别部1输入“速度限制标识”“40(km/h)”(S12),并输入此时的车辆位置信息(b)(S13)。在这种情况下,基准检出位置信息(a)和当前的车辆位置信息(b)相同,因而判定为车辆行驶方向的视觉辨认度没有变化,作为视觉辨认度判定结果,输出“视觉辨认度为通常”(S14、S16)。另外,实际上即使视觉辨认度几乎没有变化,也考虑了能够识别标识的位置多少存在偏差,因而进行将规定的范围内视为同一地点的控制。
另一方面,例如在产生了雾等的视场较差的情况下,如果不比平常靠近,则无法检测到标识。具体而言,在视觉辨认度判定部3中,在接近过去检测出交通标识的地点时,从信息蓄积部2通知图像分析历史记录和基准检出位置信息(S10、S11),与此相对,图像识别部1在该位置尚未检测到该交通标识,因而不进行从图像识别部1的图像分析结果的通知。另外,在车辆向行驶方向前方行进而能够完全检测到交通标识时,在该点首次通知图像分析结果(S12),并输入此时的车辆位置信息(b)(S13)。
在这种情况下,与同一交通标识对应的基准位置信息(a)和车辆位置信息(b)不相同,因而判定为视觉辨认度出现变化。在上述的例子中,由于是此时的车辆位置信息(b)的坐标比基准位置信息(a)的坐标在行驶方向上靠前方的位置,因而判定为视觉辨认度下降(S14、S15)。在此,关于在位置变化何种程度时判定为视觉辨认度下降的判定基准,是从外部输入判定阈值。例如,在设判定阈值为2m的情况下从通知了作为图像分析历史记录的标识的检出到通知了作为图像分析结果的标识的检出的期间中,当车辆行驶的距离为2m以下时,输出视觉辨认度没有变化即“视觉辨认度为通常”作为视觉辨认度判定结果。另一方面,在车辆超前行驶的距离超过2m例如是4m时,输出“视觉辨认度降低”作为视觉辨认度判定结果。
另外,在上述的说明中是从外部取得阈值,但也可以将阈值记录在视觉辨认度判定部3中。
另外,也可以是,每当从图像识别部1输入图像分析结果时,更新蓄积在信息蓄积部2中的图像分析历史记录和与其对应的基准检出位置信息;在前方存在遮挡物时等不能测定的情况下,可以不记录其分析结果,也可以通过多次的平均使其影响不易呈现。另外,也可以如下这样更新数据:将视觉辨认度良好时的图像分析结果作为图像分析历史记录,并与此时的车辆位置关联起来进行记录。至于视觉辨认度是否良好,也可以在车辆位置信息(b)的坐标相对于行驶方向比基准检出位置信息(a)的坐标靠后方的情况下判定为视觉辨认度良好,还可以根据明亮度等进行判断。另外,也可以仅将第一次检测出道路标记时的图像分析结果和那时的车辆位置信息记录为基准检出历史记录。
如上所述,本实施方式的驾驶员视觉辨认度估计装置通过将检测出标识等在道路的行进方向前方固定设置的物体(道路标记)的位置、与过去的检出位置进行比较,能够估计视觉辨认度的变化。另外,根据估计出的视觉辨认度的变化,能够判定是否需要提供在周围检测出的其它物体的信息,因而能够抑制对驾驶员提供过剩的信息。
实施方式2
图3是示出本发明的实施方式2的驾驶员视觉辨认度估计装置的图。与图1的不同之处在于,从图像识别部1a向视觉辨认度判定部3a输出图像分析经过而非图像分析结果、以及将该图像分析经过蓄积在信息蓄积部2a中。即,在实施方式1中,图像识别部1在能够完全检测出成为识别对象的交通标识等时输出其类别和记载内容,而本实施方式2的图像识别部1a即使在未能完全检测出这些信息的情况下,也在通过了规定的地点的时刻输出图像分析经过。其它方面相同,因而省略说明。图4示出视觉辨认度判定部3a的视觉辨认度判定的流程。
使用图3和图4说明实施方式2的驾驶员视觉辨认度估计的方法。首先,在行驶过程中,在图像识别部1a第一次完全识别出某个标识等时,在该地点将该图像分析结果输出给信息蓄积部2a,将其作为过去的图像分析结果进行蓄积。例如,当在行驶方向前方具有被描绘为“40(km/h)”的限制速度的交通标识的情况下,将能够完全识别出该交通标识的车辆位置和“速度限制标识”、“40(km/h)”这样的图像分析结果关联起来,作为过去的检出历史记录记录在信息蓄积部2a中。此时记录的检出历史记录之一的车辆位置从下一次起被用作图像识别部1a输出图像分析经过的基准位置。并且,同时记录的过去的图像分析结果从下一次起在通过同一地点时作为图像分析历史记录输出给视觉辨认度判定部3a,被用作视觉辨认度估计的判定基准。
以后,在车辆通过基准位置时,视觉辨认度判定部3a从信息蓄积部2a取得该地点处的图像分析历史记录(S20)。并且,将此时图像识别部1a分析的内容作为图像分析经过通知给视觉辨认度判定部3a(S21)。例如,图像识别部1a在能够检测出位于行驶方向前方的交通标识是“速度限制标识”但不能读取出该标识中描绘的具体数值的情况下,仅将“速度限制标识”作为图像分析经过输出给信息蓄积部2a和视觉辨认度判定部3a。
视觉辨认度判定部3a将作为图像分析经过从图像识别部1a输入的“速度限制标识”、和从信息蓄积部2输入的作为判定基准值的“速度限制标识”、“40(km/h)”进行比较(S22)。在该例中,比较的结果是,视觉辨认度判定部3a判定为图像分析经过的分析等级比过去的图像分析历史记录低,换言之判定为图像分析经过只能得到比过去的图像分析历史记录粗略的检测信息,而估计为车辆行驶方向的视觉辨认度下降,输出“视觉辨认度下降”作为视觉辨认度判定结果(S23)。相反,在判定为能够得到相同的分析等级的情况下,输出“视觉辨认度为通常”作为视觉辨认度判定结果(S24)。
如上所述,将同一地点处的过去的检出历史记录即图像分析历史记录和当前的图像分析经过进行比较,能够根据图像分析等级的变化判定视觉辨认度的变化,因而即使没有接近到能够进行分析的距离时,也能够判定出视觉辨认度下降。
另外,分析等级不限于根据标识的类别和有无写在其上的数值进行判定,也存在其它的判定基准。例如,对于交通信号灯的检出,也可以在过去于同一地点判断出交通信号灯的存在和交通信号灯的颜色而在以后仅检出交通信号灯的存在而未能识别出颜色的情况下,判定为分析等级下降。另外,也可以设置任意的其它阈值。
另外,在上述的说明中,将第一次完全识别出道路标记时的图像分析历史记录作为判定基准值,并作为与从下一次起的图像分析经过的比较对象,但也可以是,每当从图像识别部1a输出图像分析经过时就更新信息蓄积部2a的图像分析历史记录,将前一次的图像分析经过用作比较对象。根据这样的结构,能够通过与前一次比较来判定视觉辨认度的好坏与否。
另外,在上述的说明中,将第一次完全识别出道路标记时的车辆位置作为图像识别部1a输出图像分析经过的基准位置,但也可以更新该基准位置。例如,也可以在信息蓄积部2a中记录多次的完全识别出某个道路标记时的图像分析结果和检出位置,将视觉辨认度最好时的检出位置更新为基准位置。在此,关于视觉辨认度好坏与否的判定,也可以根据检出位置来进行(检出位置距离道路标记越远,判定为视觉辨认度越好),也可以根据周围的明亮度来进行。另外,也可以是,在第一次确定了基准位置后,在周围比此时明亮时,再次完全地检出道路标记,将此时的车辆位置更新为基准位置。
根据这样更新基准位置的结构,在第一次完全识别出道路标记时的天气变差而使得视觉辨认度变差的情况下,也能够逐渐校正基准位置,使视觉辨认度估计的性能变好。
实施方式3
在实施方式1中使用道路标记的检出位置的变化来进行视觉辨认度估计,在实施方式2中使用道路标记的图像分析等级的变化来进行视觉辨认度估计。与此相对,在本实施方式中,使用从道路标记的检出位置到道路标记的距离(检出距离)的变化来进行视觉辨认度估计。
图5是示出本实施方式3的驾驶员视觉辨认度估计装置的图。与图1的不同之处在于,在信息蓄积部2b内具有道路标记位置记录部21、检出距离记录部22,以及从信息蓄积部2b向视觉辨认度判定部3b传输多个与图1不同的数据。其它方面相同,因而省略说明。
在信息蓄积部2b内的道路标记位置记录部21中记录了交通标识和/或交通信号灯等道路标记的位置信息。例如,在地图信息中包含交通信号灯的信息,以便在车载导航仪等显示交叉路口的信号,因而利用这样的信息。
另外,在信息蓄积部2b内的检出距离记录部22中记录了从第一次检测出某个道路标记时的车辆的位置到该道路标记的距离,作为在视觉辨认度估计中使用的检出历史记录。将该距离用作与从下一次起的检出距离的比较对象即基准检出距离(过去的检出距离)。基准检出距离是按照以下所述计算的。检出距离记录部22在从图像识别部1第一次取得某个道路标记的图像识别结果时,在取得车辆位置信息的同时,从道路标记位置记录部21取得所检测出的道路标记实际存在的位置,通过比较两者来计算从车辆位置到道路标记的距离。例如,在图像识别部1检测出位于车辆的行驶方向上的交通标识而输出“速度限制标识”、“40km/h”的图像分析结果的情况下,检出距离记录部22从道路标记位置记录部21取得该交通标识的位置信息。并且,检出距离记录部22将所取得的交通标识的位置与当前的车辆位置进行比较,由此计算出例如“25m”这一距离。即,记录该车辆在近前25m处检测出该交通标识。
对视觉辨认度判定部3b的判定处理进行说明。在车辆接近某个道路标记、图像识别部1检测出该图像时,图像识别部1将其图像分析结果输出给视觉辨认度判定部3b,并且输出给信息蓄积部2b。信息蓄积部2b接收到图像分析结果时,根据该图像分析结果和车辆位置信息确定在道路标记位置记录部21中记录的该道路标记,将该道路标记位置信息输出给视觉辨认度判定部3b。并且,信息蓄积部2b将与所确定的道路标记对应的基准检出距离信息输出给视觉辨认度判定部3b。
视觉辨认度判定部3b在从图像识别部1接收到图像分析结果时,输入此时的车辆位置信息。视觉辨认度判定部3b使用所输入的车辆位置信息和道路标记位置信息,计算从车辆到道路标记的距离。即,计算表示此次在离开多远的距离处检测出该道路标记的检出距离。并且,将计算出的检出距离和从信息蓄积部2b取得的基准检出距离进行比较,判定是否比过去记录的基准检出距离短,即是否是更接近道路标记后检测出的。在进行比较时与实施方式1一样使用判定阈值。例如,在基准检出距离为“25m”、此次计算出的检出距离为“20m”、阈值为“3m”的情况下,基准检出距离与此次计算出的检出距离之差即接近道路标记的距离是5m,超过了阈值,因而判定为“视觉辨认度下降”。另一方面,例如在此次的检出距离是“23m”的情况下,接近标识的距离是2m,未超过阈值,因而判定为视觉辨认度判定结果是“视觉辨认度为通常”。
如上所述,在本实施方式中,每当图像识别部1检测出道路标记时,视觉辨认度判定部3b计算从此时的车辆到道路标记的检出距离,将计算出的检出距离与过去记录的基准检出距离进行比较,由此估计视觉辨认度。
另外,在上述的说明中,将第一次检测出某个道路标记时的检出距离作为基准值记录在检出距离记录部22中,但也可以是每当检测出道路标记时就更新在检出距离记录部22中记录的基准检出距离。根据这样的结构,能够通过与前一次比较来判定视觉辨认度的好坏与否。另外,也可以将多次的检出距离进行平均来作为基准检出位置。另外,也可以记录视觉辨认度良好时的检出距离,在估计为视觉辨认度不好时不进行更新。如果这样将视觉辨认度良好时的检出距离更新为基准检出距离,则在第一次检测出道路标记时的天气差而使得视觉辨认度不佳的情况下,也能够逐渐校正基准检出距离,使视觉辨认度估计的性能变好。
实施方式4
在上述实施方式1~3中,使用过去的位于同一位置的同一物体(道路标记)的检出历史记录进行视觉辨认度估计。与此相对,在本实施方式中,按照道路标记的每种类别记录表示能够在离开多远的距离处检测出的基准检出距离,使用该基准检出距离进行视觉辨认度估计。本实施方式4的驾驶员视觉辨认度估计装置的基本结构与实施方式3相同,因而使用图5说明本实施方式的动作。对于相同的结构省略说明。
在信息蓄积部2b内的检出距离记录部22中,按照道路标记的每种类别记录表示能够在离开多远的距离处检测出的基准检出距离。基准检出距离的计算方法与实施方式3相同。例如,记录了如下这样的基准检出距离:速度限制标识等交通标识为“25m”、交通信号灯为“30m”、连锁经营的便利店等具有统一的设计的店铺的招牌为“40m”。这样,检出距离记录部22对于各种类别的道路标记,按照其类别将第一次检测出的距离记录为基准检出距离。
对视觉辨认度判定部3b的判定处理进行说明。在车辆接近某种类别的道路标记、图像识别部1检测出其图像时,图像识别部1将其图像分析结果输出给视觉辨认度判定部3b,并且输出给信息蓄积部2b。信息蓄积部2b接收到图像分析结果时,根据该图像分析结果和车辆位置信息确定在道路标记位置记录部21中记录的该道路标记,将该道路标记位置信息输出给视觉辨认度判定部3b。并且,信息蓄积部2b根据所输入的图像分析结果确定道路标记的类别,将与在检出距离记录部22中记录的该类别的道路标记对应的基准检出距离信息输出给视觉辨认度判定部3b。
视觉辨认度判定部3b在从图像识别部1接收到图像分析结果时,输入此时的车辆位置信息。视觉辨认度判定部3b使用所输入的车辆位置信息和道路标记位置信息,计算从车辆到此次检测出的道路标记的距离。关于将计算出的检出距离和基准检出距离进行比较来判定视觉辨认度的变化,与实施方式3相同。
如上所述,在本实施方式中,每当图像识别部1检测出道路标记时,视觉辨认度判定部3b计算从此时的车辆到道路标记的距离,将计算出的距离与按照道路标记的每种类别记录的基准检出距离进行比较,由此判定视觉辨认度。因此,在上述实施方式1~3中,以过去检测出位于相同位置的同一道路标记为前提,而在本实施方式中,即使是在第一次通行的道路中也能够进行视觉辨认度估计。
另外,在上述的说明中,与实施方式1、3一样,图像识别部1在完全识别出道路标记时将图像分析结果输出给视觉辨认度判定部3b,但也可以如实施方式2那样,在规定的基准位置从图像识别部1输出图像分析经过。在这种情况下,将记录了基准检出距离时的完整的图像分析结果、与以后检测出相同类别的道路标记时的图像分析经过进行比较,根据分析等级的差异估计视觉辨认度。并且,基准位置成为比道路标记靠近前侧达对道路标记的每种类别记录的基准检出距离处的位置。这样,即使是过去未检出过位于相同位置的同一道路标记,只要检测出相同类别的道路标记,就能够得到在第一次通行的道路中也能够进行视觉辨认度估计的效果。
另外,在上述的说明中,将第一次检测出某种类别的道路标记时的检出距离作为基准检出距离记录在检出距离记录部22中,但也可以是,每当检测出相同类别的道路标记时就更新在检出距离记录部22中记录的基准检出距离。另外,也可以将多次的检出距离进行平均并记录。另外,也可以使用视觉辨认度良好时的检出距离来更新基准检出距离,在估计为视觉辨认度不好时不进行更新。
实施方式5
在上述实施方式1~4中,在信息蓄积部2中按照每个道路标记或者道路标记的每种类别记录各一个成为视觉辨认度估计的基准的过去的检出历史记录。例如,在实施方式1中,对每个道路标记记录一个检出位置(车辆位置信息),在实施方式2中,对每个道路标记记录一个图像分析历史记录,在实施方式3中,对每个道路标记记录一个检出距离,在实施方式4中,对道路标记的每种类别记录一个检出距离。在该实施方式5中,对按照使用状况区分使用多个检出历史记录的示例进行说明。作为使用状况,例如可以举出天气和/或明亮度等环境条件和/或使用者的个人差异。
图像识别部1的基于图像分析的对物体的检测性能根据天气和/或明亮度等环境条件而不同。因此,使用雨传感器和/或照度传感器等,按照对图像识别部1的检测性能带来影响的天气和/或明亮度等每种环境条件,准备不同的检出历史记录。例如,如图6所示在信息蓄积部2c设置日用检出历史记录记录部23和夜用检出历史记录记录部24。并且,例如,如实施方式1所述在日用检出历史记录记录部23中记录将白天检测到的图像分析结果和此时的车辆位置信息关联起来而得到的数据,在夜用检出历史记录记录部24中记录将夜间检测到的图像分析结果和此时的车辆位置信息关联起来而得到的数据。与实施方式1一样,将车辆位置信息作为基准检出位置信息并用作视觉辨认度估计的判定基准。
在车辆接近过去检测出道路标记的地点而开始视觉辨认度估计的判定时,根据照度传感器和/或时刻等判定为是白天时,将在日用检出历史记录记录部23中记录的图像分析结果和车辆位置信息作为检出历史记录输出给视觉辨认度判定部3c。在视觉辨认度判定部3c中,将此次检测出的车辆位置信息、与从日用检出历史记录记录部23取得的车辆位置信息即基准检出位置进行比较,来估计视觉辨认度。其它动作与实施方式1一样,因而省略说明。
关于在日用检出历史记录记录部23和夜用检出历史记录记录部24中记录的检出历史记录,也可以是如上所述将图像分析结果和车辆位置信息关联起来而得到的数据以外的数据。例如,也可以如实施方式2所述记录白天检测出的图像分析结果和夜间检测出的图像分析结果,也可以如实施方式3所述记录白天检测出道路标记时的检出距离和夜间检测出道路标记时的检出距离,也可以如实施方式4所述对每个道路标记记录日用的检出距离和夜用的检出距离。
另外,也可以按照由照度传感器检测的照度,设置3个以上的检出历史记录记录部。另外,还可以根据雨传感器设置雨天用的检出历史记录记录部和晴天用的检出历史记录记录部。
另外,由于作为使用者的驾驶员的技能和/或视力等,视觉辨认度存在个人差异,因而也可以使用任意的驾驶员识别单元对每个驾驶员单独准备在信息蓄积部2中记录的检出历史记录。例如,把将过去检测出的图像分析结果和此时的车辆位置信息关联起来而得到的数据划分为多个阶段进行记录。即,记录在视觉辨认度良好的状况下检测出的数据和在视觉辨认度不好的状况下检测出的数据。在视觉辨认度不好的状况下检测出时的车辆位置比在视觉辨认度良好的状况下检测出时的车辆位置靠近道路标记,因而对于视力良好的驾驶员,将在视觉辨认度不好的状况下检测出的数据用作基准值,由此降低被判定为“视觉辨认度下降”的概率,能够避免频繁地进行警报显示等。
这样,通过按照使用状况记录不同的检出历史记录,并按照使用状况将不同的检出历史记录作为比较对象,能够更准确地估计视觉辨认度的变化。
实施方式6
在上述实施方式5中说明了按照使用状况采用多个检出历史记录的示例,但也可以按照使用状况切换在视觉辨认度估计中使用的阈值。例如,白天的视觉辨认度比夜间好,因而将日用的阈值设定得大于夜用的阈值。在实施方式1的示例中,当在比基准检出位置接近道路标记达3m时检测出道路标记的情况下,如果阈值是2m,则判定为“视觉辨认度下降”,如果阈值是4m,则判定为“视觉辨认度为通常”。因此,如果将日用的阈值设为4m、将夜用的阈值设为2m,则在白天判定为“视觉辨认度下降”的概率下降,能够避免频繁地进行警报显示等。
与上述实施方式5一样,也可以按照天气和/或照度设定阈值。并且,能够对每个驾驶员设定阈值的情况也与上述实施方式5一样。例如,设置用于提高判定为视觉辨认度下降的阈值的按钮,感觉信息提供过多的驾驶员通过按下该按钮,能够使得不易被判定为视觉辨认度下降。另外,也可以是,设置用于降低判定为视觉辨认度下降的阈值的按钮,视力不好的驾驶员通过按下该按钮,在检出标识的位置少许变化时也能够判定为视觉辨认度下降。
实施方式7
图7是示出本实施方式7的驾驶员视觉辨认度估计装置的图。与图1的不同之处在于,准备了生成判定阈值的判定基准调节部4、以及在信息蓄积部2d中追加了车速信息的输入、车速历史记录的输出。其它方面相同,因而省略说明。
在上述的各个实施方式中,在进行视觉辨认度是否下降的判定时参照判定阈值,而本实施方式7的判定基准调节部4具有进行该阈值的调节的功能,本实施方式示出了其中提高阈值、即变为在视觉辨认度判定部3中不易判定为视觉辨认度下降的情况的动作。
在视觉辨认度判定结果是判定为视觉辨认度下降的情况下,判定基准调节部4推测作为使用者的驾驶员是否实际感觉到视觉辨认度下降。具体而言,在驾驶员感觉到视觉辨认度下降的情况下,估计为雨刮和/或车灯的使用、车速等产生变化,并监视这些因素的变化。即,监视驾驶员的行动的变化。
在采用雨刮的使用变化的情况下,判定基准调节部4从雨刮的控制设备取得雨刮动作信息(接通/断开、动作速度),并观测是否在进行如下的操作:在规定期间之中接通雨刮的开关来起动雨刮、或者加快雨刮的动作速度。在未进行这些操作的情况下,判定为驾驶员未感觉到视觉辨认度下降。
在采用车灯的使用变化的情况下,判定基准调节部4从头灯/雾灯的控制设备取得车灯动作信息(接通/断开),并观测是否在规定期间之中进行了接通车灯的开关的操作。在未进行接通车灯的开关的点亮操作的情况下,判定为驾驶员未感觉到视觉辨认度下降。
在采用车速的变化的情况下,例如结合实施方式1的视觉辨认度估计方法进行说明,信息蓄积部2d在将图像分析结果和车辆位置信息关联起来进行蓄积时,也一并将所取得的车速信息作为车速历史记录进行记录。在图像识别部1检测出相同的道路标记时,判定基准调节部4将当前的车速和从信息蓄积部2d取得的过去的车速历史记录进行比较,观测是否在以比过去通过同一地点时的车速慢的车速行驶。在未降低车速的情况下,判定为驾驶员未感觉到视觉辨认度下降。
在视觉辨认度判定结果是判定为视觉辨认度下降时判定基准调节部4根据上述的雨刮的使用、车灯的使用、车速的某种变化或者它们的组合判定为驾驶员未感觉到视觉辨认度下降时,增大通知给视觉辨认度判定部3的判定阈值。由此,在从下一次起检测相同的道路标记时,视觉辨认度判定部3将不易判定为视觉辨认度下降。例如,使用上述实施方式3的视觉辨认度判定方法的示例进行说明,在基准检出距离为“25m”、此次计算出的检出距离为“20m”、阈值为“3m”的情况下,基准检出距离与此次计算出的检出距离之差(5m)超过阈值,因而判定为“视觉辨认度下降”,但实际上驾驶员未感觉到视觉辨认度下降,因而从下一次起将阈值设为“6m”,使得不判定为“视觉辨认度下降”。
如上所述,由于设置了在输出了视觉辨认度下降的判定结果但是根据驾驶员的行动的变化而推测为驾驶员实际未感觉到视觉辨认度下降的情况下提高阈值的功能,因而能够避免在驾驶员未感觉到视觉辨认度下降时过剩地判定为视觉辨认度下降,而抑制随之产生的警报的过剩显示等。
实施方式8
图8是示出本实施方式8的驾驶员视觉辨认度估计装置的图。与图1的不同之处在于,准备了生成判定阈值的判定基准调节部4a。其它方面相同,因而省略说明。
上述的实施方式7示出了提高输入视觉辨认度判定部3的判定阈值的情况下的动作,而本实施方式8示出了判定基准调节部4a降低阈值、即使得视觉辨认度判定部3易于判定为视觉辨认度下降的情况下的动作。
在虽然视觉辨认度判定部3未判定为视觉辨认度下降、但是以后需要积极地进行障碍物的接近等警报显示的情况下,需要使视觉辨认度判定部3容易判定为视觉辨认度下降、即需要降低判定阈值。具体而言,在作为使用者的驾驶员未注意到视觉辨认度下降的状况下进行这些因素的检测,以便观测驾驶员对位于路肩的步行者等的发现迟缓这种行动的变化。
关于对位于路肩的步行者等的发现,首先取得前方的步行者等物体检出信息。这可以采用图像识别部1的图像分析结果,还可以从其它的车载摄像机或进行图像识别的设备取得。另一方面,关于驾驶员是否注意到前方的步行者等的判定,需要驾驶员的视线信息。该信息通过利用不朝向车外、而朝向车内的驾驶员坐席侧设置的摄像机影像等检测眼睛的动作等来取得。
对步行者的发现迟缓的动作是能够得到如下的视线信息的情况下的动作,即尽管作为物体检出信息的物体位置已通知给判定基准调节部4a,但是在超过规定期间时视线也未朝向该物体的位置的视线信息。在这种情况下,认为驾驶员未注意到视觉辨认度下降,因而降低通知给视觉辨认度判定部3的判定阈值。例如,使用上述实施方式3的视觉辨认度估计方法的示例进行说明,在基准检出距离为“25m”、此次计算出的检出距离为“22m”、阈值为“4m”的情况下,基准检出距离与此次计算出的检出距离之差(3m)未超过阈值,因而判定为“视觉辨认度为通常”,但能够推测到实际上驾驶员未注意到视觉辨认度下降,因而从下一次起将阈值设为“2m”,使判定为“视觉辨认度下降”。
另外,关于步行者突然从旁道出现的情况等,从将物体检出信息通知给判定基准调节部4a到视线朝向物体的位置的时间变短,因而并非视觉辨认度下降,所以不进行提高阈值的动作。
如上所述,由于设置了即使在视觉辨认度判定部3没有判定为视觉辨认度下降时,在驾驶员将视线移向在前方检测出的物体需要规定的时间的情况下等能够推测到驾驶员未注意到视觉辨认度下降时降低阈值的功能,因而容易判定为视觉辨认度下降,能够将随之产生的必要的警报的显示等提示给驾驶员。
实施方式9
上述各实施方式中的视觉辨认度估计装置的视觉辨认度判定结果例如被用于安全驾驶支持系统中。图9是示出安全驾驶支持系统的概要的图。在图中,5表示在上述各实施方式中说明的视觉辨认度估计装置,6表示使用视觉辨认度估计装置5的视觉辨认度判定结果判定是否对作为使用者的驾驶员提示有关周围的物体的信息的信息提示判断部,7表示根据信息提示判断部6的判断对驾驶员提示信息的信息提示部,包括利用图像进行提示的显示部71、和利用声音进行提示的扬声器72。
信息提示判断部6根据视觉辨认度判定结果切换对驾驶员的各种安全支持信息的提示基准即阈值。例如,在警报与前方车辆的车距比规定的距离短的情况下,在视觉辨认度估计装置5的视觉辨认度判定结果是“视觉辨认度下降”时,降低提示基准,在比通常远的情况下信息提示部7也利用显示或声音进行警报。通过这样进行控制,驾驶员能够精神上有余裕地进行行动。并且,在通知前方有步行者和/或自行车等的情况下,当视觉辨认度判定结果是“视觉辨认度下降”时、即特别需要注意时,通知驾驶员存在不易发现的步行者和/或自行车。
另外,例如在使用车载导航功能的过程中,在视觉辨认度估计装置5的视觉辨认度判定结果是“视觉辨认度下降”的情况下,也可以在比通常早的时刻利用声音提示下一个拐弯的位置,也可以配合视觉辨认度的下降而利用显示或声音催促车灯/雾灯的点亮或者可以使这些灯自动点亮。
这样,实施方式1~8的视觉辨认度估计装置的估计结果不仅是估计某个时刻的特定的道路标记的视觉辨认度,而且也估计与过去相比的视觉辨认度的变化,因而能够用作是否需要提示有关周围物体的安全支持信息的判断基准,能够抑制对驾驶员的过剩的信息提供。即,在视觉辨认度下降时,降低提示基准使得提示通常不提示的周围的安全支持信息,由此能够防止在观察性良好的状况下过剩地对驾驶员通知周围的信息。
标号说明
1图像识别部;2信息蓄积部;21道路标记位置记录部;22检出距离记录部;23日用检出历史记录;24夜用检出历史记录;3视觉辨认度判定部;4判定基准调节部;5视觉辨认度估计装置;6信息提示判断部;7信息提示部;71显示部;72扬声器。
Claims (12)
1.一种视觉辨认度估计装置,其特征在于,该视觉辨认度估计装置具有:
图像识别部,其通过对图像进行分析来检测道路标记;
信息蓄积部,其记录由所述图像识别部检测出的道路标记的图像分析结果和所述图像识别部检测出所述道路标记的检出位置,作为有关所述道路标记的过去的检出历史记录;以及
视觉辨认度判定部,其在所述图像识别部再次检测出与所述检出历史记录对应的所述道路标记的情况下,根据该情况下的检出位置与记录在所述信息蓄积部中的过去的检出位置之间的比较,估计视觉辨认度的变化。
2.一种视觉辨认度估计装置,其特征在于,该视觉辨认度估计装置具有:
图像识别部,其通过对图像进行分析来检测道路标记;
信息蓄积部,其记录由所述图像识别部检测出的道路标记的图像分析结果和所述图像识别部检测出所述道路标记时的检出位置,作为有关所述道路标记的过去的检出历史记录;以及
视觉辨认度判定部,其根据所述图像识别部在记录于所述信息蓄积部中的过去的检出位置处再次分析出的所述道路标记的图像分析经过、与记录于所述信息蓄积部中的过去的图像分析结果之间的比较,估计视觉辨认度的变化,其中,所述图像分析经过是所述图像识别部在所述检出位置处对所述道路标记进行分析而得到的内容。
3.一种视觉辨认度估计装置,其特征在于,该视觉辨认度估计装置具有:
图像识别部,其通过对图像进行分析来检测道路标记;
信息蓄积部,其记录从所述图像识别部检测出所述道路标记的位置到所述道路标记为止的检出距离,作为有关所述道路标记的过去的检出历史记录;以及
视觉辨认度判定部,其在所述图像识别部再次检测出与所述检出历史记录对应的所述道路标记的情况下,根据该情况下的检出距离与记录在所述信息蓄积部中的过去的检出距离之间的比较,估计视觉辨认度的变化。
4.根据权利要求1或3所述的视觉辨认度估计装置,其特征在于,
所述信息蓄积部按照道路标记的每种类别记录所述检出历史记录,
在所述图像识别部再次检测出和对应于所述检出历史记录的所述道路标记类别相同的道路标记的情况下,通过所述视觉辨认度判定部估计视觉辨认度的变化。
5.根据权利要求1~3中任意一项所述的视觉辨认度估计装置,其特征在于,
所述信息蓄积部对应于多种使用状况记录多个检出历史记录,
所述视觉辨认度判定部按照使用状况将不同的检出历史记录作为比较对象。
6.一种视觉辨认度估计装置,其特征在于,该视觉辨认度估计装置具有:
图像识别部,其通过对图像进行分析来检测道路标记;
信息蓄积部,其对从所述图像识别部能够检测出所述道路标记的位置到所述道路标记为止的基准检出距离进行记录;以及
视觉辨认度判定部,其在所述图像识别部检测出所述道路标记的情况下,根据该情况下的检出距离与记录在所述信息蓄积部中的所述基准检出距离之间的比较,估计视觉辨认度的变化。
7.根据权利要求6所述的视觉辨认度估计装置,其特征在于,
所述信息蓄积部按照道路标记的每种类别记录所述基准检出距离,
在所述图像识别部检测出道路标记的情况下,所述视觉辨认度判定部使用记录在所述信息蓄积部中的相同类别的道路标记的基准检出距离来估计视觉辨认度的变化。
8.根据权利要求1~3和6中任意一项所述的视觉辨认度估计装置,其特征在于,
所述视觉辨认度判定部在进行用于估计视觉辨认度的变化的比较时使用阈值,按照使用状况切换所述阈值。
9.根据权利要求1~3和6中任意一项所述的视觉辨认度估计装置,其特征在于,
所述视觉辨认度判定部在进行用于估计视觉辨认度的变化的比较时使用阈值,
所述视觉辨认度估计装置具有判定基准调节部,在所述视觉辨认度判定部估计出视觉辨认度的变化时,该判定基准调节部根据使用者的行动的变化来调节所述阈值。
10.根据权利要求9所述的视觉辨认度估计装置,其特征在于,
在所述视觉辨认度判定部估计为视觉辨认度下降时根据使用者的行动的变化推测为使用者未感觉到视觉辨认度下降的情况下,提高所述阈值。
11.根据权利要求9所述的视觉辨认度估计装置,其特征在于,
在所述视觉辨认度判定部没有估计为视觉辨认度下降时根据使用者的行动的变化推测为使用者未注意到视觉辨认度下降的情况下,降低所述阈值。
12.一种安全驾驶支持系统,其特征在于,该安全驾驶支持系统具有:
图像识别部,其通过对图像进行分析来检测道路标记;
信息蓄积部,其记录由所述图像识别部检测出的道路标记的图像分析结果和所述图像识别部检测出所述道路标记时的检出位置,作为有关所述道路标记的过去的检出历史记录;
视觉辨认度判定部,其在所述图像识别部再次检测出与所述检出历史记录对应的所述道路标记的情况下,根据该情况下的检出结果与记录在所述信息蓄积部中的过去的检出历史记录之间的比较,估计视觉辨认度的变化;
信息提示判断部,其在所述视觉辨认度判定部通过与过去的视觉辨认度进行比较而估计为当前的视觉辨认度下降时,降低用于判断是否需要对使用者提示周围的安全支持信息的阈值;以及
信息提示部,其在所述信息提示判断部判定为要提示信息时对使用者提示信息。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2012/008060 WO2014097347A1 (ja) | 2012-12-18 | 2012-12-18 | 視認性推定装置、視認性推定方法、及び安全運転支援システム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104854638A CN104854638A (zh) | 2015-08-19 |
CN104854638B true CN104854638B (zh) | 2017-07-11 |
Family
ID=50977737
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280077719.4A Expired - Fee Related CN104854638B (zh) | 2012-12-18 | 2012-12-18 | 视觉辨认度估计装置及安全驾驶支持系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20150310313A1 (zh) |
JP (1) | JP5930067B2 (zh) |
CN (1) | CN104854638B (zh) |
DE (1) | DE112012007236B4 (zh) |
WO (1) | WO2014097347A1 (zh) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5890803B2 (ja) * | 2013-07-01 | 2016-03-22 | 富士重工業株式会社 | 車両の運転支援制御装置 |
US9734425B2 (en) * | 2015-02-11 | 2017-08-15 | Qualcomm Incorporated | Environmental scene condition detection |
JP2018510373A (ja) * | 2015-02-10 | 2018-04-12 | モービルアイ ビジョン テクノロジーズ リミテッド | 自律車両ナビゲーションのための疎な地図 |
DE112016001839B4 (de) * | 2015-04-23 | 2022-03-24 | Mitsubishi Electric Corporation | Präsentationsplan-erzeugungsvorrichtung, informations-präsentationsvorrichtung und präsentationsplan-erzeugungsverfahren |
US10593255B2 (en) | 2015-05-14 | 2020-03-17 | Manufacturing Resources International, Inc. | Electronic display with environmental adaptation of display characteristics based on location |
US10607520B2 (en) | 2015-05-14 | 2020-03-31 | Manufacturing Resources International, Inc. | Method for environmental adaptation of display characteristics based on location |
US9924583B2 (en) | 2015-05-14 | 2018-03-20 | Mnaufacturing Resources International, Inc. | Display brightness control based on location data |
CN105374221B (zh) * | 2015-12-01 | 2017-10-24 | 上海斐讯数据通信技术有限公司 | 交通信号灯状态提醒系统及提醒方法 |
JP6563798B2 (ja) * | 2015-12-17 | 2019-08-21 | 大学共同利用機関法人自然科学研究機構 | 視覚認知支援システムおよび視認対象物の検出システム |
US10586508B2 (en) * | 2016-07-08 | 2020-03-10 | Manufacturing Resources International, Inc. | Controlling display brightness based on image capture device data |
CN106023622B (zh) * | 2016-07-22 | 2018-06-22 | 百度在线网络技术(北京)有限公司 | 一种确定红绿灯识别系统识别性能的方法和装置 |
US9952058B2 (en) * | 2016-08-29 | 2018-04-24 | Denso International America, Inc. | Driver visibility detection system and method for detecting driver visibility |
JP6548147B2 (ja) * | 2017-02-21 | 2019-07-24 | マツダ株式会社 | 車両用制御装置 |
US10578658B2 (en) | 2018-05-07 | 2020-03-03 | Manufacturing Resources International, Inc. | System and method for measuring power consumption of an electronic display assembly |
WO2019241546A1 (en) | 2018-06-14 | 2019-12-19 | Manufacturing Resources International, Inc. | System and method for detecting gas recirculation or airway occlusion |
US11656090B2 (en) | 2018-10-08 | 2023-05-23 | Here Global B.V. | Method and system for generating navigation data for a geographical location |
DE112018008107B4 (de) | 2018-11-26 | 2022-05-19 | Mitsubishi Electric Corporation | Informationsdarstellungssteuerungseinrichtung, informationsdarstellungseinrichtung, informationsdarstellungssteuerungsverfahren, programm und aufzeichnungsmedium |
DE102019208212A1 (de) * | 2019-06-05 | 2020-12-10 | Audi Ag | Verfahren zum Betrieb eines Kraftfahrzeugs, Computerprogrammprodukt und Kraftfahrzeug |
CN110853180B (zh) * | 2019-10-21 | 2021-11-09 | 中国第一汽车股份有限公司 | 一种识别交通标志牌发生变化的行车记录方法及系统 |
US11526044B2 (en) | 2020-03-27 | 2022-12-13 | Manufacturing Resources International, Inc. | Display unit with orientation based operation |
CN111579487B (zh) * | 2020-06-15 | 2021-12-21 | 长安大学 | 一种便于对图像进行对比分析的道路交通能见度检测装置 |
JP7384131B2 (ja) * | 2020-08-31 | 2023-11-21 | トヨタ自動車株式会社 | 車両の運転支援装置、車両の運転支援方法、およびプログラム |
JP2022059958A (ja) * | 2020-10-02 | 2022-04-14 | フォルシアクラリオン・エレクトロニクス株式会社 | ナビゲーション装置 |
KR20230154964A (ko) | 2021-03-15 | 2023-11-09 | 매뉴팩처링 리소시스 인터내셔널 인코포레이티드 | 전자 표시장치 조립체를 위한 팬 제어 |
US20220316906A1 (en) * | 2021-04-03 | 2022-10-06 | Naver Corporation | Apparatus and Method for Generating Navigational Plans |
US11766938B1 (en) * | 2022-03-23 | 2023-09-26 | GM Global Technology Operations LLC | Augmented reality head-up display for overlaying a notification symbol over a visually imperceptible object |
CN116030057B (zh) * | 2023-03-29 | 2023-06-09 | 中国电子科技集团公司第五十四研究所 | 一种基于注意力机制的遥感影像能见度估计方法 |
US12027132B1 (en) | 2023-06-27 | 2024-07-02 | Manufacturing Resources International, Inc. | Display units with automated power governing |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6766245B2 (en) * | 2002-03-14 | 2004-07-20 | Microsoft Corporation | Landmark-based location of users |
JP2005300342A (ja) * | 2004-04-12 | 2005-10-27 | Honda Motor Co Ltd | 道路情報表示制御装置 |
JP2007139425A (ja) * | 2005-11-14 | 2007-06-07 | Nagoya Institute Of Technology | ランドマーク視認地図及びそれを用いた歩行者ナビゲーション |
WO2007088915A1 (ja) * | 2006-02-02 | 2007-08-09 | Pioneer Corporation | 経路誘導装置、経路誘導方法、経路誘導プログラムおよび記録媒体 |
CN101211408B (zh) * | 2006-12-29 | 2011-05-25 | 东软集团股份有限公司 | 车辆侧面图像识别方法及装置、车灯误识别检测和行驶安全预测方法 |
JP4752836B2 (ja) * | 2007-12-25 | 2011-08-17 | 日本電気株式会社 | 道路環境情報通知装置及び道路環境情報通知プログラム |
CN101281142B (zh) * | 2007-12-28 | 2011-06-29 | 深圳先进技术研究院 | 一种测量大气能见度的方法 |
DE102008032747A1 (de) * | 2008-07-11 | 2010-01-14 | Siemens Aktiengesellschaft | Verfahren und Vorrichtung zur Bildanzeige |
CN101825472B (zh) * | 2009-03-04 | 2015-03-25 | 阿尔派株式会社 | 导航装置和导航方法 |
JP2010230551A (ja) * | 2009-03-27 | 2010-10-14 | Sony Corp | ナビゲーション装置及びナビゲーション方法 |
JP2010239448A (ja) * | 2009-03-31 | 2010-10-21 | Mitsubishi Electric Corp | 道路標識認識装置 |
US8629903B2 (en) * | 2009-04-02 | 2014-01-14 | GM Global Technology Operations LLC | Enhanced vision system full-windshield HUD |
US8233741B1 (en) * | 2009-11-17 | 2012-07-31 | Google Inc. | Reducing building lean in stitched images |
JP5255595B2 (ja) * | 2010-05-17 | 2013-08-07 | 株式会社エヌ・ティ・ティ・ドコモ | 端末位置特定システム、及び端末位置特定方法 |
CN101936900A (zh) * | 2010-06-12 | 2011-01-05 | 北京中科卓视科技有限责任公司 | 一种基于视频的能见度检测系统 |
CN102170558B (zh) * | 2010-12-30 | 2012-12-19 | 财团法人车辆研究测试中心 | 障碍物侦测警示系统及方法 |
US9341483B2 (en) * | 2013-03-11 | 2016-05-17 | Qualcomm Incorporated | Methods and apparatus for position estimation |
-
2012
- 2012-12-18 JP JP2014552747A patent/JP5930067B2/ja not_active Expired - Fee Related
- 2012-12-18 WO PCT/JP2012/008060 patent/WO2014097347A1/ja active Application Filing
- 2012-12-18 US US14/443,120 patent/US20150310313A1/en not_active Abandoned
- 2012-12-18 CN CN201280077719.4A patent/CN104854638B/zh not_active Expired - Fee Related
- 2012-12-18 DE DE112012007236.7T patent/DE112012007236B4/de active Active
Also Published As
Publication number | Publication date |
---|---|
JP5930067B2 (ja) | 2016-06-08 |
DE112012007236T5 (de) | 2015-09-24 |
JPWO2014097347A1 (ja) | 2017-01-12 |
US20150310313A1 (en) | 2015-10-29 |
WO2014097347A1 (ja) | 2014-06-26 |
CN104854638A (zh) | 2015-08-19 |
DE112012007236B4 (de) | 2021-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104854638B (zh) | 视觉辨认度估计装置及安全驾驶支持系统 | |
US11735037B2 (en) | Method and system for determining traffic-related characteristics | |
CN103707811B (zh) | 视线引导系统 | |
US11749112B2 (en) | Warning device, warning method, and warning program | |
CN114026611A (zh) | 使用热图检测驾驶员注意力 | |
KR102133913B1 (ko) | 딥러닝 기반의 객체인식을 이용한 객체별 맞춤 정보제공 안내전광판 시스템 및 그 제어 방법 | |
US20200286183A1 (en) | Information processing apparatus, and information processing method, and program | |
US11972616B2 (en) | Enhanced navigation instructions with landmarks under difficult driving conditions | |
CN105197011A (zh) | 车辆用驾驶员危险指数管理系统及其方法 | |
CN105074493A (zh) | 驾驶支持技术 | |
JP4988781B2 (ja) | 車両の周辺監視装置 | |
WO2012157015A1 (ja) | ナビゲーション装置 | |
CN114945802A (zh) | 用于识别和更新自动驾驶车辆的设计适用域的系统、设备和方法 | |
WO2013069110A1 (ja) | ナビゲーション装置及び操作制限方法 | |
CN111152792A (zh) | 用于确定车辆驾驶者的注意力需求水平的装置和方法 | |
JP5691967B2 (ja) | 眠気予測装置 | |
JP2018097398A (ja) | 視線推定システム | |
JP2006300571A (ja) | 夜間走行支援ナビゲーション装置 | |
JP2010224670A (ja) | 車両の周辺監視装置 | |
JP2008165326A (ja) | 地物認識装置・自車位置認識装置・ナビゲーション装置・地物認識方法 | |
CN110088572A (zh) | 对车辆驾驶员的针对即将到来的标志的提前警告 | |
JP2020008436A (ja) | 経路情報支援装置および経路情報支援システム | |
JP2012118804A (ja) | 警報装置 | |
KR20120078877A (ko) | 전자 기기 및 전자 기기의 차선 이탈 경보 방법 | |
US20190147264A1 (en) | Concentration determination apparatus, concentration determination method, and program for concentration determination |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170711 Termination date: 20211218 |