CN103522962A - 环境识别装置 - Google Patents

环境识别装置 Download PDF

Info

Publication number
CN103522962A
CN103522962A CN201310270801.5A CN201310270801A CN103522962A CN 103522962 A CN103522962 A CN 103522962A CN 201310270801 A CN201310270801 A CN 201310270801A CN 103522962 A CN103522962 A CN 103522962A
Authority
CN
China
Prior art keywords
luminous point
vehicle
image
stained
eyeglass
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310270801.5A
Other languages
English (en)
Inventor
宇田川玲
竹村雅幸
村松彰二
清原将裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Publication of CN103522962A publication Critical patent/CN103522962A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

提供一种环境识别装置,其具有:图像取得部,其取得使用摄像部拍摄的图像;光点特征量提取部,其从图像中提取光点的特征量;镜片污损判定部,其对附着于摄像部的镜片表面的污损进行判定;前照灯检测条件设定部,其将从基于镜片污损判定部的判定结果而由光点特征量提取部提取的光点之中判定为前照灯的检测条件,设定为预先具有关联的参数;接近前照灯判定部,其基于前照灯检测条件设定部所设定的参数而从光点之中将与参数相符的光点判定为接近前照灯;以及车辆报知信号输出部,其基于接近前照灯判定部的检测结果而输出车辆报知信号。

Description

环境识别装置
技术领域
本发明涉及一种用于识别在后侧方行驶的车辆的环境识别装置。
背景技术
在日本特开2000-11298号公报中,公开了如下内容:提供一种车辆用后侧方监视装置,其能够在基于车道检测的结果而需要向驾驶员警告车道变更的危险性的情况下发出警报。
此外,在日本特开平8-193831号公报中,公开了如下内容:正确地捕捉自身车辆与接近车辆之间的车间距离以及自身车辆与接近车辆之间的相对速度,可靠地检测出与自身车辆过度接近的车辆,发出适当的警报。
此外,在日本特开2005-346287号公报中,公开了如下内容:提供图像识别方法及装置,利用该图像识别方法,与距识别对象物的距离的变化无关地对识别对象物进行稳定地识别。
在车道变更时,在欲移动到的车道中存在有危险性较高的车辆的情况下给予警报的装置中,重要的是,尽可能稳定地检测车辆并向驾驶员给予警报。其被称为后侧方死角警报。为了利用摄像机等摄像装置对后方进行摄像而实现该功能,需要将摄像机设置在对摄像机来说不会形成死角的位置。即,需要将摄像机设置到左右的两侧后视镜部或保险杠部等车厢外,从而不会阻碍视野。在本发明中,着眼于使用设置于保险杠部的车厢外的后部摄像机而实现由图像识别进行的后侧方死角警报时的课题。
在使用摄像机而实现由图像识别进行的后侧方死角警报的情况下,需要留意的是,其识别性能基于影像而上下波动。在晴朗的白天在干燥的路面上行驶的情况与在雨天的夜晚在湿润的路面上行驶的情况下,在由摄像机获得的影像中存在较大差异,所必要的识别性能较大不同。在行驶的时间带是从傍晚到夜间的情况下,在与白天比较而影像的亮度不同,除此以外,在自身车辆及其他车辆点亮前照灯、尾灯而进行行驶这点;存在由路灯的有无而产生的影像上的差异这点;存在由路面上的反射板、护栏而产生的反射这点等,在白天与夜间影像上存在较大差异。
此外,在将摄像机设置到车厢外的情况下,担心在行驶中将路面上的沙砾、泥土、水滴等污损卷起而使其附着在摄像机的镜片表面。由于当向镜片表面附着污损时影像发生变化,因此若不除去该镜片表面的污损而行驶,则与实际的天气无关而与污损相应地使识别性能变化。为了使用设置在车厢外的摄像机而实现由图像识别产生的后侧方死角警报,需要一种能够尽可能地抑制由附着于镜片表面的污损产生的性能劣化的死角警报装置。
特别应着眼的课题是污损附着时的夜间的车辆检测性能。既然是由图像识别进行车辆检测,从基于影像的亮度、对比度、边缘的特征量来判断车辆的有无。当在镜片的表面上附着薄污损时,由于影像整体的对比度降低,因此与没有在镜片的表面上附着污损的情况相比较,使影像表现为整体模糊的形态。对于夜间的影像,由于车身的特征量较少,因此需要将其特征量与前照灯、尾灯的信息组合而进行车辆检测。另外,在向镜片附着有薄污损的情况下,在夜间的影像下,存在不能获得车身的特征量的情况。即,为了在向镜片附着有薄污损的情况下进行车辆夜间检测,由于不能识别车身,因此需要将前照灯从由高亮度区域构成的光点群之中提取,进行由前照灯检测进行的车辆检测。
在日本特开2000-11298号公报中,由于在夜间从后部摄像机看到的车道不一定是清楚的,因此难以判定是否接近于车道。此外,由于相对于附着于镜片的污损没有对策,因此发生由镜片污损产生的车辆的不检测或将车辆以外的东西判定为车辆的误检测。另外,在夜间的情况下,由于车身的可视性降低,因此检测精度大大降低。
此外,在日本特开平8-193831号公报中,由于未考虑摄像机的镜片污损,当因镜片污损使光点的大小发生变化时,其他车辆的位置的计算结果发生变化,因此不能在适当的时机发出警报。
此外,在日本特开2005-346287号公报中,不具备在与天气、时间段相依存地改变影像的情况下动态切换与各种状况相应的最优车辆判定模式的构造。此外,由于未考虑镜片污损状态,因此车辆判定模式在镜片污损时并非最优车辆判定模式。
发明内容
基于所述内容,本发明提供一种即使在夜间在摄像装置的镜片发生污损的情况下也能稳定地进行车辆检测的环境识别装置。
为了解决所述课题,本发明的第一技术方案的环境识别装置具有:图像取得部,其取得图像;光点特征量提取部,其从图像中提取光点的特征量;镜片薄污损判定部,其对附着于摄像部的镜片表面的污损进行判定;前照灯检测条件设定部,其将从基于所述镜片薄污损判定部的判定结果而由所述光点特征量提取部提取的光点之中判定为前照灯的检测条件,设定为预先具有关联的参数;接近前照灯判定部,其基于前照灯检测条件设定部所设定的参数,从光点之中将与参数相符的光点判定为接近前照灯;以及车辆报知信号输出部,其基于接近前照灯判定部的检测结果而输出车辆报知信号。
此外,本发明的第二技术方案的环境识别装置具有:图像取得部,其取得图像;光点特征量提取部,其从图像中提取光点的特征量;高亮度特征量解析部,其基于由光点特征量提取部提取的光点的特征量,获取所取得的图像状态;前照灯检测条件设定部,其将从基于由高亮度特征量解析部取得的图像状态而由光点特征量提取部提取的光点之中判定为前照灯的检测条件,设定为预先具有关联的参数;接近前照灯判定部,其基于前照灯检测条件设定部所设定的参数,从光点之中将与参数相符的光点判定为接近前照灯;以及车辆报知信号输出部,其基于接近前照灯判定部的检测结果而输出车辆报知信号。
此外,本发明的第三技术方案的环境识别装置具有:图像取得部,其取得图像;镜片污损判定部,其对附着于摄像部的镜片表面的污损进行判定;前照灯检测条件设定部,其基于镜片污损判定部的判定结果,将从图像中判定为前照灯的检测条件设定为预先具有关联的参数;光点特征量提取部,其从图像中提取光点的特征量;光流部,其由图像内的特征量的时间变化来检测其他车辆的位置和速度;接近车辆判定部,其基于由光点特征量提取部提取的光点的特征量、或光流部的检测结果,判定其他车辆是否正在接近;以及车辆报知信号输出部,其基于接近车辆判定部的检测结果而输出车辆报知信号,前照灯检测条件设定部基于镜片污损判定部的判定结果而对是执行光点特征量提取部的处理还是执行光流部的处理进行切换。
附图说明
图1是表示本发明的环境识别装置的一结构例的图。
图2是表示本发明的环境识别装置的其他结构例的图。
图3是表示本发明的光点特征量提取部的一结构例的图。
图4是表示图2的前照灯检测条件设定部的一结构例的图。
图5是表示本发明的环境识别装置的其他结构例的图。
图6是表示本发明的环境识别装置的其他结构例的图。
图7A、7B是表示本发明的后部摄像机所拍摄的图像的一例的图。
图8A~8D是说明本发明的光点特征量提取部的处理的图。
图9A~9C是说明本发明的前照灯检测条件设定部的处理的图。
具体实施方式
以下,使用附图来说明实施例。
实施例1
使用图1来说明本发明的环境识别装置10。
实施例1的环境识别装置10包括:图像取得部101,其取得图像(影像);光点特征量提取部102,其从取得的图像中提取亮度信息、时间变化、几何信息中的至少一个光点特征量;镜片污损判定部103,其对附着在设置于室外的摄像部的镜片表面上的薄污损进行评价及判定;前照灯检测条件设定部104,其将从基于所述镜片污损判定部103的判定结果而由所述光点特征量提取部102提取的光点之中判定为前照灯的检测条件,设定为预先赋予了关联的参数;接近前照灯判定部105,其基于所述前照灯检测条件设定部104设定的所述参数,从所述光点之中将与所述参数相符的光点判定为接近前照灯;以及车辆报知信号输出部106,其基于所述接近前照灯判定部105的检测条件向外部输出车辆报知信号。
该环境识别装置10的特征在于,基于所述镜片污损判定部103的判定结果,对从光点之中作为前照灯而检测出的参数进行变更。在镜片上附着有薄污损的情况下,由于降低了影像的对比度,因此不能充分获得影像所含有的车辆特征量。在使用夜间的影像的情况下,由于即使在镜片上没有附着薄污损,也使对比度降低,因此在镜片上附着有薄污损的情况下,车辆检测进一步变得困难。通过使用本发明,即使在镜片有薄污损时,通过调整前照灯检测条件,由此也能够正确进行车辆检测。以下,对各个构成要素进行说明。
所述镜片污损判定部103进行堆积在摄像部的镜片上的薄污损的判定。其方法存在多种,依次进行说明。
第一种方法是从由图像取得部101获得的图像中,使用图像处理技术来判定是否为在镜片上带有薄污损的影像。通过对在镜片上附着薄污损的情况下的影像上的特征量进行评价,从而能够进行判定。作为第二种方法,是从由车辆的信息、环境获得的信息推测薄污损状态的方法。例如,存在如下方法:当行驶时间变长时,附着于镜片的可能性变高,因此使用该信息,或取得越野行驶状态,对进一步易于附着污损的状态下的情况进行检测。当将其与第一种方法组合时,能够了解对应于行驶环境,何种污损易于附着,因此能够提高薄污损评价的精度。第三种方法是考虑使用外部传感器来物理性扫描镜片所带有的污损的方法。在以上的方法中,能够取得镜片薄污损状态。
镜片污损判定部103使用该薄污损状态而输出镜片污损的程度。所述镜片污损判定部103的输出是镜片薄污损的有/无这两值,或者是将镜片薄污损的程度与其污损的浓度相对应地阶段性表示的0~1的被标准化的镜片污损指数。与根据有/无这两值来变更前照灯检测条件的情况相比,当使用与每阶段的镜片污损指数相应的前照灯检测条件时,能够提高前照灯检测性能。对于镜片薄污损程度,可以在每个处理周期中对镜片上所附着的薄污损进行每次计算,也可以每隔数个周期来进行计算。在每个处理周期进行计算的情况下,由于能够立即反映出镜片薄污损状态,因此能够始终基于最新的镜片状态进行处理。即,在因雨天时、越野行驶中等来自路面的卷起物较多等理由,使镜片状态较大变动的情况下,也始终能够进行最优处理。另一方面,在每隔数个周期进行计算的情况下,作为产生滞后的补偿,能够降低负荷。由于在发明中成为对象的镜片薄污损是随着时间而堆积成的污损,因此也可以无须始终将最新状态作为对象。此外,也可以由每次的处理结果求得其时间平均,将该时间平均作为判定结果进行输出。在将长期的镜片污损作为评价对象的情况下,瞬间出现的极端值成为干扰,因此具有降低干扰的效果。此外,除污染程度以外,也可以输出附着有该薄污损的位置,或者取得薄污损的种类而将其与该信息一并输出。例如,若得知仅在左侧带有薄污损这样的情况,能够仅变更左侧的条件,因此能够降低右侧的误检测或不检测。
光点特征量提取部102能够从图像中提取车辆的前照灯/尾灯、路面的反射光、路灯、护栏的反射、路边的霓虹灯或广告板类等作为光点出现于图像中的物体。光点使用图像的亮度信息、边缘强度、与周边像素的亮度差中的至少一个特征量而作为具有相同特征量的像素的集合体而被提取。在提取的光点中添加图像上的位置或块的形状这样的几何信息、由过去帧获得的光点的移动速度或形状的变化、亮度的变化中的至少一个时间系列信息,所述信息用于对应于镜片污损判定部103的结果而动态提取必要的光点。
与所述薄污损判定结果相关联的前照灯检测条件设定部104从所述光点之中基于所述光点的特征量提取与预先设定的特征量条件相一致的光点,并将其视为前照灯。作为前照灯而进行判定的条件例如包括:图像中的光点的位置、面积、亮度、亮度分布、时间方向的位置变化等中的至少任一个条件。
所述接近前照灯判定部105基于所述前照灯检测条件设定部104的结果来生成前照灯判定信号。
所述车辆报知信号输出部106基于所述接近前照灯判定部105的判定结果而输出报知信号。
实施例2
在图2中表示实施例2的环境识别装置10,与图1比较时的差异在于,替代所述镜片污损判定部103和与所述薄污损判定结果相关联的前照灯检测条件设定部104,包括高亮度特征量解析部201和与解析部的结果相关联的前照灯检测条件设定部202。所述高亮度特征量解析部201使用从所述图像取得部101和所述光点特征量提取部102中的至少一方获得的图像信息和光点特征量,通过图像解析而取得与镜片薄污损相符的图像状态。采用该方法的效果在于,即使实际上在镜片上没有附着薄污损,判定夜间车辆检测困难的情况,也能够进行使用了最优的前照灯检测条件的车辆检测。例如在产生雾等实际上在镜片上没有附着薄污损的情况下,在以影像的可视性降低为起因而获得与镜片薄污损附着状态相同的图像时,也与在镜片上附着有薄污损的情况同样地,车辆检测性能下降。在该情况下,也能够与镜片薄污损的情况同样地检测出可视性的降低,因此能够实施由前照灯检测进行的最优的车辆检测。
具体地说明处理的内容。所述光点特征量提取部102例如能够由图3所示的形态构成。光点区域提取部301能够从取得的图像中提取光点区域,并输出该区域。标示处理部302对于所述区域信息,在每个区域中分配被称作标签号码的各区域特有的号码。光点几何信息选择部303计算重心的位置、区域的大小,基于计算了是否应保存该标签信息的几何信息(所述重心的位置、区域的大小)进行评价,从而能够防止不必要的光点信息被保存。使用保存的光点信息,在该光点俯视变换时计算其在实际世界中存在于何种位置。在光点重心位置取得部304,考虑光点在实际空间上存在于前照灯的高度而计算光点重心位置,能够将其与对应的标签号码一并进行保存。
使用图8A~图8D来说明由该图3的结构能够实现的功能。首先,所述光点特征量提取部102进行图8A那样的图像取得部101的输出、即输入包含自身车辆后侧方的路面、车辆以及其他东西在内的影像。在此,附图标记802表示其他车辆701所具备的前照灯704、705向路面反射时生成的反射光。附图标记801表示街灯或路面的广告牌或护栏、建筑物的照明等存在于路外的发光体或该发光体反射到路面而生成的反射光。光点区域提取部301从该影像之中提取包含作为高亮度区域的附图标记801、802等前照灯光以外在内的光点。接着使用图8B来说明标示处理部302。图8B表示对于利用光点区域提取部301提取的光点,分配用于区别各个光点的标签号码时的样子。此时,为了除去干扰,除去高亮度区域的面积非常小的部分,因此,在图8A的附图标记801中虽然存在四个高亮度区域,而在图8B中变为两个。使用图8C来说明光点几何信息选择部303。为了除去不需要的光点信息,进行使用了面积与几何信息的光点的选择。在此,在图8C中表示设置成前照灯近似圆形、反射光近似椭圆这样的假定的情况的处理。在处理中,对光点的面积与该光点的外切矩形的面积进行比较,能够进行如下判定:若光点的面积与外切矩形的面积相比为恒定以上的比率则判定为前照灯,若比其小则判定为反射光。光点几何信息选择部303进一步使用光点重心的俯视位置来计算。在图8D中表示其例子。图8D中的序号与图8C中的序号对应。在图中,附图标记803是远方的光点,因此在图8D中也描绘在后方。此外,附图标记807是存在于路边的光点,附图标记805、806是在相邻车道行驶的车辆的前照灯,因此将其描绘为被俯视变换为相邻车道的位置的光点。
所述高亮度特征量解析部201能够通过以下的方法实现。使用图7A及图7B来说明镜片薄污损状态时表现的影像上的特征。图7A及图7B是模拟表示由后部摄像机所拍摄的影像。
图7A是表示在镜片上未附着污损的清洁镜片时拍摄的自身车辆后方的夜间影像,图7B表示在镜片薄污损时拍摄的影像。附图标记702是白线。利用白线将路面划分为自身车辆行驶的车道、自身车辆的右侧的右邻接车道以及自身车辆左侧的左邻接车道。附图标记701是在左邻接车道行驶的车辆,使用箱形来表现描绘有该车辆的前端部分及车辆的右侧面的样子。附图标记704表示车辆前端的内侧前照灯,附图标记705表示外侧前照灯。附图标记703表示远方的车辆前照灯。图7A表示在镜片处于没有薄污损的状态的情况下,光点(在此为前照灯)的实际形状与影像上的形状大致一致。
另一方面,图7B表示在镜片薄污损状态的情况下,光点的实际形状与图像上的形状不同。图中的虚线表示前照灯的实际形状,在该影像中,以镜片薄污损为原因,与实际情况相比,图7A的附图标记703、704、705表现为如图7B的附图标记706、707、708那样看起来较大的样子。在镜片薄污损状态的情况下,从光点照射的光在入射到镜片之前,入射到薄污损中。而且,光通过薄污损而被扩散,因此入射到镜片的光变得比实际的光宽广。由于该效果,即使在车体原本可以显现在图像中的情况下,由于薄污损所产生的光的反射而引起光晕,因此作为图像而不能识别车身。若能够检测该影像上的特征,则能够判定欲检测的状态。例如,能够获得为了从光点的亮度分布设定薄污损时的光点条件所必要的高亮度特征量。能够将对从图像取得部101所取得的图像整体或其一部分获得的亮度的时间空间方向的变化进行计算时的高亮度区域的面积、空间方向的光的扩展作为该高亮度特征量进行输出。
与所述高亮度特征量解析部201的结果具有关联的前照灯检测条件设定部202能够由图4所示的结构来实现。与所述高亮度特征量解析部201的结果具有关联的前照灯检测条件设定部202包括:面积条件设定部401,在由所述高亮度特征量解析部201获得的结果是薄污损的状态下,根据光点在图像内所占的面积的大小而设定作为前照灯而应判定的面积的大小;移动方向条件设定部402,其设定在光点与前帧相比而在影像上以何种程度靠近或后退时应判定为前照灯;形状条件设定部403,其设定将光点中具有何种形状的光点判定为前照灯;以及位置条件设定部404,其设定在光点中光点的重心坐标或者外切矩形的四点坐标存在于何处时应判定为前照灯。
所述面积条件设定部401通过将污损时的光点的面积阈值设定得小于没有污损时的光点的面积阈值,从而能够减少污损时的不检测。或者通过将污损时的光点的面积阈值设定得大于无污损时的光点的面积阈值,从而能够减少污损时的误检测。
所述移动方向条件设定部402通过光点的移动方向及移动距离来进行是否为前照灯的判定。通常,影像上的光点是前照灯的情况下能够向任意方向移动,因此不能够通过光点是接近还是后退来判定是否为前照灯。在镜片薄污损时为了确保最低限度的性能而将正在靠近加入条件是有效的。后退的光点虽然有可能是路边的静止物,但接近的光点、并且以移动方向条件设定部402以外的条件符合的光点是接近的车辆的前照灯的可能性极高。因此,在所述移动方向条件设定部402中,将镜片薄污损时在规定速度以内在影像上接近这一情况设定为条件。当在镜片上没有附着污损的情况下将以低速移动者判定为前照灯时,存在着对行驶于相邻车道的外侧的车辆的前照灯反射光进行误检测的可能性。因此,将移动速度阈值设定为恒定以上而除去低速者即可。另一方面,由于在镜片附着薄污损的情况下误检测所述反射光的可能性较低,因此能够将移动速度阈值设定得低于在镜片上没有附着薄污损的情况。
所述形状条件设定部403着眼于在镜片薄污损时通过镜片表面的薄污损而使光点变宽的性质,能够将更接近圆形者确定为前照灯检测条件。但是,也可以与镜片的薄污损的有无无关地将接近圆形者确定为条件。其效果在于,利用路面反射光或护栏的反射表现为细长光的性质,降低误检测。此外,在镜片薄污损时,反射光因污损而降低亮度值,因此误检测的可能性降低。因此,当降低用于决定是否接近圆形的阈值时,能够减少不检测。
使用图9A~图9C来说明与所述高亮度特征量解析部201的结果具有关联的前照灯检测条件设定部202之中特别重要的点。使用图9A及图9B来说明所述移动方向条件设定部402的设定。图9A是在当前时刻的后部摄像机影像,图9B是在下一时刻的后部摄像机影像。附图标记901是在当前时刻的其他车辆内侧前照灯的重心位置,附图标记902是在下一时刻的其他车辆内侧前照灯的重心位置。由图9B中描绘的在当前时刻的光点重心位置901可知,下一时刻的光点重心位置902比当前时刻的光点重心位置901靠近自身车辆。将该光点的移动方向作为条件加以考虑。首先,大致划分为光点向后方、即远离自身车辆的情况与向前方、即靠近自身车辆的情况这两种。由于其他车辆的移动方向可以是任意方向,因此不能将远离的光点一概认为是车辆以外。此外,即使靠近自身车辆的光点存在于相邻车道,也考虑到其为相邻车道的外侧的其他车辆前照灯的反射光存在于相邻车道,因此不能将光点靠近这一情况一概认定是相邻车道的车辆。但是,在镜片上附着有薄污损的情况下,光点存在整体膨胀的倾向,不能获得车辆特征量,因此在影像上可以判定为危险性较高的情况下,将存在于相邻车道的接近光点认为是车辆也不会产生问题。这是因为,由于薄污损,难以见到多少反射光,因此即使将光点的接近看作是车辆也不会产生误检测增多的问题。
使用图9C来说明位置条件设定部404的动作。将右侧相邻车道宽度905、左侧相邻车道宽度906、附近位置907基于自身车辆后方右侧车辆检测框903与自身车辆后方左侧车辆检测框904设定在预先设定的位置上,其中自身车辆后方右侧车辆检测框903与自身车辆后方左侧车辆检测框904原则上是依照车道位置而设定的。为了减少镜片薄污损时的车辆的不检测,将右侧相邻车道宽度905、左侧相邻车道宽度906设定得比不具有镜片污损的情况宽,在抑制误检测的情况下设定得较窄即可。在使报知信号产生时机提前或推后的情况下,对附近位置907进行设定。
实施例3
作为实施例3,基于与薄污损判定具有关联的前照灯检测条件,切换光流(optical flow)与光点特征量提取。在图5中表示其构造。
在不是薄污损判定的情况下,推测为车辆的车身部分的可视性高,因此替代光点特征量,利用光流部501使用光流,使用根据图像内的特征量的时间变化而检测出其他车辆的位置与速度的车辆检测逻辑来提取车辆特征量。在是薄污损判定的情况下,推测为车辆的车身部分的可视性低,因此即使使用光流而欲提取特征量,也不能正确地获得结果。取而代之,利用光点特征量提取而提取车辆的前照灯的特征量。光流在夜间的情况下在特征量提取之后进行模式匹配(pattern matching)时由于镜片污损而难以正确地检测,光点提取通过薄污损而提取特征性的光点。即,通过切换使用所述光点特征量提取部102或光流部501,从而在没有判定镜片污损的情况下,能够将接近的车辆的车身的可视性看作很高,因此进行使用了光流的车辆检测。在判定镜片污损的情况下,由于车身的可视性较低,降低了使用光流的特征量检测的可靠性,因此,进行由基于光点提取的前照灯检测所带来的车辆检测,确保可靠性。即,通过基于镜片污损判定而切换使用光流和光点提取功能,由此能够与镜片污损无关地利用该装置单独进行车辆检测。接近车辆判定部502基于由光点特征量提取部102提取的光点的特征量或者光流部501的检测结果,判定其他车辆是否正在接近。基于该接近车辆判定部502的检测结果,车辆报知信号输出部106将车辆报知信号向外部输出。
实施例4
作为实施例4,说明能够进行与薄污损判定具有关联的模式匹配所带来的车辆检测的环境识别装置。在图6中表示其构造。
首先,对使用了模式匹配的车辆检测进行说明。模式匹配判定条件设定部601将以轿车、SUV、卡车、客车等典型车种的影像为基准而制成的特征量针对每一个车种预先存储为车辆数据。车辆检测条件设定部602提取在实际的行驶环境中取得的影像的一部分,对该提取的影像计算出与预先存储的车辆数据相同的特征量。而且,在与每一个车种的车辆数据进行比较而找出近似度最高的车辆数据的情况下,输出在相邻车道中存在该车种的车辆的可能性高这样的评价结果。基于该结果,取得基于对每一个车种预先设定的车辆的高度而获得的其他车辆的存在可能性最高的进深位置及横向位置、基于对每一个车种设定的车辆长度的警报的持续时间、警报强度(例如由于卡车比乘用车危险性高,因此警报强度升高等)、制动灯或方向指示灯信息等。基于所述信息,利用接近车辆判定部502决定报知的有无。其他车辆的横向位置能够在判定其他车辆是否位于相邻车道时使用。其他车辆的进深位置组合其他车辆的移动速度、制动灯、方向指示灯信息而使用。根据移动速度和进深,在原封不动地使自身车辆进行车道变更的情况、碰撞的危险性高的情况下需要进行报知。但是,在点亮制动灯或方向指示灯的情况下,能够使其危险性升高或降低。此外,危险强度能够决定在制动灯点亮时危险性的上升或者降低的程度。
接着,对与薄污损判定具有关联的模式匹配所带来的车辆检测进行说明。假若每一个车种的特征量数据不受镜片污损影响而设定的情况下,则形成从图像取得部101获得的图像所包含的车辆的特征量与预先保存的车辆的特征量数据即使在相同车种的情况下也会显著不同的结果,因此不能正确地进行车辆检测。因此,模式匹配判定条件设定部601通过对应于镜片薄污损程度来保存所述每一个车种的车辆数据,并将该数据与污损程度相应地进行切换使用,从而在镜片薄污损时能够正确地进行车辆检测。本实施方式能够对应于镜片薄污损而对模式匹配所使用的车辆的特征量数据进行切换使用,因此能够进行与镜片薄污损相应的最优的车辆检测。另外,本实施方式并不限于应用于前照灯,因此,即使在没有点亮前照灯的情况(白天等)或由于镜片薄污损的种类而仅通过前照灯特征量不能进行车辆检测的情况下,也能够稳定地进行车辆检测。
发明效果
由所述本发明的实施例可知,在夜间,即使摄像装置的镜片污损的情况下,也能够提供稳定地检测车辆的环境识别装置。
将所述在先申请的内容以引用的方式编入到本申请中:日本特愿2012-149865,申请于2012年7月3日。

Claims (3)

1.一种环境识别装置,具有:
图像取得部,其取得使用摄像部拍摄的图像;
光点特征量提取部,其从所述图像中提取光点的特征量;
镜片污损判定部,其对附着于所述摄像部的镜片表面的污损进行判定;
前照灯检测条件设定部,其将从基于所述镜片污损判定部的判定结果而由所述光点特征量提取部提取的所述光点之中判定为前照灯的检测条件,设定为预先具有关联的参数;
接近前照灯判定部,其基于所述前照灯检测条件设定部所设定的所述参数,从所述光点之中将与所述参数相符的光点判定为接近前照灯;以及
车辆报知信号输出部,其基于所述接近前照灯判定部的检测结果而输出车辆报知信号。
2.一种环境识别装置,其具有:
图像取得部,其取得使用摄像部拍摄的图像;
光点特征量提取部,其从所述图像中提取光点的特征量;
高亮度特征量解析部,其基于由所述光点特征量提取部提取的所述光点的特征量,获取所取得的图像状态;
前照灯检测条件设定部,其将从基于所述高亮度特征量解析部取得的所述图像状态而由所述光点特征量提取部提取的所述光点之中判定为前照灯的检测条件,设定为预先具有关联的参数;
接近前照灯判定部,其基于所述前照灯检测条件设定部所设定的所述参数,从所述光点之中将与所述参数相符的光点判定为接近前照灯;以及
车辆报知信号输出部,其基于所述接近前照灯判定部的检测结果而输出车辆报知信号。
3.一种环境识别装置,其具有:
图像取得部,其取得使用摄像部拍摄的图像;
镜片污损判定部,其对附着于所述摄像部的镜片表面的污损进行判定;
前照灯检测条件设定部,其基于所述镜片污损判定部的判定结果,将从所述图像中判定为前照灯的检测条件设定为预先具有关联的参数;
光点特征量提取部,其从所述图像中提取光点的特征量;
光流部,其由所述图像内的特征量的时间变化来检测其他车辆的位置和速度;
接近车辆判定部,其基于由所述光点特征量提取部提取的光点的特征量、或所述光流部的检测结果,来判定其他车辆是否正在接近;以及
车辆报知信号输出部,其基于所述接近车辆判定部的检测结果而输出车辆报知信号,
其中所述前照灯检测条件设定部基于所述镜片污损判定部的判定结果,对执行所述光点特征量提取部的处理还是执行所述光流部的处理进行切换。
CN201310270801.5A 2012-07-03 2013-07-01 环境识别装置 Pending CN103522962A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-149865 2012-07-03
JP2012149865A JP5883732B2 (ja) 2012-07-03 2012-07-03 環境認識装置

Publications (1)

Publication Number Publication Date
CN103522962A true CN103522962A (zh) 2014-01-22

Family

ID=48740929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310270801.5A Pending CN103522962A (zh) 2012-07-03 2013-07-01 环境识别装置

Country Status (4)

Country Link
US (1) US20140009617A1 (zh)
EP (1) EP2682899A3 (zh)
JP (1) JP5883732B2 (zh)
CN (1) CN103522962A (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5953658B2 (ja) 2011-05-25 2016-07-20 ソニー株式会社 ロボット制御装置及びロボット装置の制御方法、コンピューター・プログラム、プログラム記憶媒体、並びにロボット装置
JP5555735B2 (ja) * 2012-03-27 2014-07-23 富士重工業株式会社 車両のヘッドランプ調整装置
WO2014017602A1 (ja) * 2012-07-27 2014-01-30 日産自動車株式会社 立体物検出装置および立体物検出方法
IN2015KN00408A (zh) * 2012-07-27 2015-07-17 Nissan Motor
TW201410076A (zh) * 2012-08-27 2014-03-01 Hon Hai Prec Ind Co Ltd 燈具狀態檢測系統及方法
KR102159359B1 (ko) * 2014-09-05 2020-09-23 현대모비스 주식회사 Avm 시스템 및 그 동작방법
DE102013019138A1 (de) * 2013-11-12 2015-05-13 Application Solutions (Electronics and Vision) Ltd. Verfahren zum Erkennen eines verdeckten Zustands einer Kamera, Kamerasystem und Kraftfahrzeug
KR101601375B1 (ko) * 2013-12-17 2016-03-08 현대자동차주식회사 차량에 구비된 영상처리 장치 및 방법
US10192443B2 (en) * 2014-09-05 2019-01-29 The Yokohama Rubber Co., Ltd. Collision avoidance system and collision avoidance method
JP2016142647A (ja) * 2015-02-03 2016-08-08 クラリオン株式会社 画像処理装置、および車両システム
CN105260988B (zh) * 2015-09-09 2019-04-05 百度在线网络技术(北京)有限公司 一种高精地图数据的处理方法和装置
KR101587010B1 (ko) * 2015-10-30 2016-01-20 (주)경동하이테크 사물인터넷 기반의 발광 보도블록 제어장치 및 그 제어방법
DE102016213130A1 (de) * 2016-07-19 2018-01-25 Robert Bosch Gmbh Verfahren zum Ansteuern eines Personenschutzsystems eines Fahrzeugs und Steuergerät
EP3276588B1 (en) * 2016-07-28 2024-01-10 Continental Autonomous Mobility Germany GmbH Cross traffic detection system for a vehicle
US10339812B2 (en) 2017-03-02 2019-07-02 Denso International America, Inc. Surrounding view camera blockage detection
JP6772113B2 (ja) * 2017-08-02 2020-10-21 クラリオン株式会社 付着物検出装置、および、それを備えた車両システム
CN110020575B (zh) * 2018-01-10 2022-10-21 富士通株式会社 车辆检测装置及方法、电子设备
US10493900B2 (en) 2018-05-04 2019-12-03 International Business Machines Corporation Adaptive headlights for the trajectory of a vehicle
CN109492609B (zh) * 2018-11-27 2020-05-15 上海芯仑光电科技有限公司 一种检测车道线的方法和车辆、及计算设备
US11257375B2 (en) * 2018-12-31 2022-02-22 Ficosa Adas, S.L.U. Method and system for detecting objects in a vehicle blind spot
DE102022204362B3 (de) 2022-05-03 2023-07-06 Vitesco Technologies GmbH Verfahren zur Überprüfung einer Time-of-Flight Kamera zur Schmutzerkennung

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000011298A (ja) * 1998-06-22 2000-01-14 Yazaki Corp 車両用後側方監視装置
DE10322087A1 (de) * 2003-05-15 2004-12-02 Daimlerchrysler Ag Verfahren zur Erkennung und Lokalisierung von Verschmutzungen auf der Optik eines Kamerasystems
JP2005346287A (ja) * 2004-06-01 2005-12-15 Denso Corp 画像認識方法および装置
US20070221822A1 (en) * 2006-03-24 2007-09-27 Mobileye Technologies Ltd. Headlight, Taillight And Streetlight Detection
US20070263902A1 (en) * 2006-02-27 2007-11-15 Hitachi, Ltd. Imaging environment recognition device
CN101269635A (zh) * 2007-03-23 2008-09-24 株式会社电装 视场监视设备
CN101466583A (zh) * 2006-06-11 2009-06-24 沃尔沃技术公司 用于使用自动车道保持系统来维持横向车辆间距的方法和设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08193831A (ja) * 1995-01-13 1996-07-30 Nissan Motor Co Ltd 接近車両検出装置
JP5483535B2 (ja) * 2009-08-04 2014-05-07 アイシン精機株式会社 車両周辺認知支援装置
JP5760635B2 (ja) * 2011-04-20 2015-08-12 日産自動車株式会社 走行支援装置
JP5902049B2 (ja) * 2012-06-27 2016-04-13 クラリオン株式会社 レンズ白濁状態診断装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000011298A (ja) * 1998-06-22 2000-01-14 Yazaki Corp 車両用後側方監視装置
DE10322087A1 (de) * 2003-05-15 2004-12-02 Daimlerchrysler Ag Verfahren zur Erkennung und Lokalisierung von Verschmutzungen auf der Optik eines Kamerasystems
JP2005346287A (ja) * 2004-06-01 2005-12-15 Denso Corp 画像認識方法および装置
US20070263902A1 (en) * 2006-02-27 2007-11-15 Hitachi, Ltd. Imaging environment recognition device
US20070221822A1 (en) * 2006-03-24 2007-09-27 Mobileye Technologies Ltd. Headlight, Taillight And Streetlight Detection
CN101466583A (zh) * 2006-06-11 2009-06-24 沃尔沃技术公司 用于使用自动车道保持系统来维持横向车辆间距的方法和设备
CN101269635A (zh) * 2007-03-23 2008-09-24 株式会社电装 视场监视设备

Also Published As

Publication number Publication date
EP2682899A3 (en) 2015-03-04
EP2682899A2 (en) 2014-01-08
US20140009617A1 (en) 2014-01-09
JP2014013969A (ja) 2014-01-23
JP5883732B2 (ja) 2016-03-15

Similar Documents

Publication Publication Date Title
CN103522962A (zh) 环境识别装置
US9721169B2 (en) Image processing device for detecting vehicle in consideration of sun position
JP5851597B2 (ja) 車両の周辺区域の気象条件を認識する方法および制御装置
US9168861B2 (en) Method for controlling a headlamp system for a vehicle, and headlamp system
US20110074955A1 (en) Method and system for weather condition detection with image-based road characterization
CN108357418B (zh) 一种基于尾灯识别的前车驾驶意图分析方法
O'Malley et al. Vehicle detection at night based on tail-light detection
US9754172B2 (en) Three-dimenisional object detection device
JP2014515893A (ja) 車両のカメラによって撮影した画像を評価するための方法および画像評価装置
EP3480057A1 (en) Rear obstruction detection
CN106347204A (zh) 一种汽车大灯控制系统
US9483708B2 (en) Method and apparatus for recognizing object reflections
US9558546B2 (en) Three-dimensional object detection device, and three-dimensional object detection method
CN106934808A (zh) 一种视觉感知下汽车前灯尾灯识别跟踪方法
CN105393293A (zh) 车载装置
CN107045619A (zh) 车外环境识别装置
CN108037505A (zh) 一种夜间前方车辆检测方法及系统
US9764681B2 (en) Method and device for grouping illumination units
Lin et al. Adaptive IPM-based lane filtering for night forward vehicle detection
JP2013097885A (ja) ヘッドライト装置、及びヘッドライトシステム
JPH08193831A (ja) 接近車両検出装置
KR20080004833A (ko) 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법및 장치
US9376052B2 (en) Method for estimating a roadway course and method for controlling a light emission of at least one headlight of a vehicle
CN103057459A (zh) 车用灯具及其控制方法
US8379088B2 (en) Method and system for evaluating brightness values in sensor images of image-evaluating adaptive cruise control systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20170531