CN105393293B - 车载装置 - Google Patents

车载装置 Download PDF

Info

Publication number
CN105393293B
CN105393293B CN201480038677.2A CN201480038677A CN105393293B CN 105393293 B CN105393293 B CN 105393293B CN 201480038677 A CN201480038677 A CN 201480038677A CN 105393293 B CN105393293 B CN 105393293B
Authority
CN
China
Prior art keywords
mentioned
test section
coordinate
testing result
attachment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480038677.2A
Other languages
English (en)
Other versions
CN105393293A (zh
Inventor
竹村雅幸
清原将裕
村松彰二
入江耕太
秋山靖浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Publication of CN105393293A publication Critical patent/CN105393293A/zh
Application granted granted Critical
Publication of CN105393293B publication Critical patent/CN105393293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

车载装置，具备：图像取得部，其从经由照相机镜头拍摄车辆周围环境的照相机取得摄影图像；附着物检测部，其根据摄影图像分别检测附着在照相机镜头上的多种附着物；图像识别部，其从摄影图像识别存在于周围环境的预定物体图像；检测结果整合部，其根据基于附着物检测部的多种附着物的各个检测结果，计算出整合了多个检测结果的整合检测结果；以及动作控制部，其根据整合检测结果来控制图像识别部的动作。

Description

车载装置
技术领域
本发明涉及一种车载装置。
背景技术
公知一种车载装置，即通过设置在车辆上的照相机拍摄车辆前方，对该摄影图像在水平方向进行边缘检测，检测设置在路面上的车道标识(区划线)(专利文献1)。在该装置中，将与在水平方向上相邻的像素之间的亮度差的绝对值超过了阈值的像素作为边缘点来提取，根据该边缘点的测量数识别车道标识。
另外，公知一种方法，即根据车载照相机镜头的状态，尽管是正在移动也检测摄影图像中包括的不动区域，由此检测附着在镜头上的异物等(专利文献2)。另外，公知一种使用多个照相机的重复拍摄区域来判定附着了水滴的方法(专利文献3)。
现有技术文献
专利文献
专利文献1：日本国特开2010-244382号公报
专利文献2：日本国特开2012-38048号公报
专利文献3：日本国特开2011-223075号公报
发明内容
发明要解决的问题
虽然如上述专利文献2、3所记载那样存在检测镜头污垢的各个方法，但在例如混合了水滴和泥这样的复合污垢的情况中，有时会难以正确地检测为污垢，进行适当对应。
用于解决问题的手段
本发明的第一方式的车载装置具备：图像取得部，其从经由照相机镜头拍摄车辆周围环境的照相机取得摄影图像；附着物检测部，其根据摄影图像分别检测附着在照相机镜头上的多种附着物；图像识别部，其从摄影图像识别存在于周围环境的预定物体图像；检测结果整合部，其根据基于附着物检测部的多种附着物的各个检测结果，计算出整合了多个检测结果的整合检测结果；以及动作控制部，其根据整合检测结果来控制图像识别部的动作。
本发明的第二方式，最好在第一方式的车载装置中，检测结果整合部将附着物检测部的各检测结果分别投影到相同的坐标系，根据投影得到的多个坐标在坐标系上设定合成坐标，动作控制部根据合成坐标来控制图像识别部的动作。
本发明的第三方式，最好在第二方式的车载装置中，坐标系具有与附着物的镜头透过率相关的第一坐标轴、与在照相机镜头上附着的附着物的面积相关的第二坐标轴，通过附着物检测部得到的各检测结果是镜头透过率和附着物的面积，按照附着物检测部的每个种类分别设定通过这两个检测结果得到的坐标区域。
本发明的第四方式，最好在第三方式的车载装置中，动作控制部根据合成坐标离第一坐标轴和第二坐标轴的哪一个更近，决定对图像识别部进行的控制。
本发明的第五方式，最好在第三方式的车载装置中，动作控制部在合成坐标是位于第一坐标轴和第二坐标轴的范围内预先设定的动作决定区域的范围内的坐标时，中止图像识别部进行的预定物体图像的识别。
本发明的第六方式，最好在第三方式的车载装置中，动作控制部在合成坐标是位于第一坐标轴和第二坐标轴的范围内预先设定的动作决定区域的范围内的坐标时，使从照相机镜头清除附着物的清除装置动作。
本发明的第七方式，最好在第一～第六中的任意一个方式的车载装置中，附着物检测部还计算出与分别持续检测了多种附着物的时间对应的信赖度，检测结果整合部使用由附着物检测部计算出的各信赖度来计算整合检测结果。
本发明的第八方式，最好在第七方式的车载装置中还具备：环境检测部，其对于车辆周围的光源环境、车辆行驶的行驶路线、天气中的至少任意一个检测信赖度下降的环境；和信赖度修正部，其根据通过环境检测部检测到的环境，分别修正由附着物检测部计算出的各个信赖度。
本发明的第九方式，最好在第一～第六中的任意一个方式的车载装置中还具备：信息检测部，其取得至少包括车辆的速度或偏航角速度的与行驶状态相关的信息；和检测停止部，其根据信息检测部所取得的与行驶状态相关的信息，使附着物检测部停止多种附着物中的一部分附着物的检测，检测结果整合部根据多种附着物中通过检测停止部没有停止检测的附着物的检测结果来计算整合检测结果。
本发明的第十方式，最好在第九方式的车载装置中还具备：停车判定部，其根据与信息检测部所取得的车辆速度相关的信息，判定为车辆停车；初始化部，其在停车判定部判定为车辆持续停车了预定时间以上后进行发车时，将附着物检测部的检测结果初始化。
发明的效果
根据本发明，即使在复合污垢的情况下也能够准确地检测为污垢，并适当地控制图像识别部的动作。
附图说明
图1是表示本发明的一个实施方式的车载装置的结构框图。
图2是本发明的一个实施方式的车载装置的功能框图。
图3是用于水滴检测部的处理的说明的图。
图4是用于白浊检测部的处理的说明的图。
图5是用于投影转换部的处理的说明的图。
图6是用于合成坐标设定部处理的说明的图。
图7是用于动作抑制部的处理的说明的图。
图8是关于环境检测控制部的功能框图。
图9是关于光源环境检测部的处理的流程图。
图10是图示了光源环境检测部的处理区域的图。
图11是关于行驶路线环境检测部的处理的流程图。
图12是关于天气检测部的处理的流程图。
图13是关于环境检测控制部的处理的流程图。
图14是关于车道识别部的处理的流程图。
图15是用于车道识别部的处理的说明的图。
图16是关于车辆识别部的处理的流程图。
图17是关于车载装置的动作的流程图。
具体实施方式
图1是表示本发明的一个实施方式的车载装置1的结构框图。图1所示的车载装置1是搭载到车辆上的ECU(Electric Control Unit：电控单元)，具备CPU和存储器10。存储器10包括ROM和作为工作存储器、缓冲存储器而使用的RAM，ROM中存储通过车载装置1的CPU执行的程序和关于后面详细描述的控制地图(map)的信息。
车载装置1与照相机2a以及2b、警报输出部3、清除控制部4连接。另外，车载装置1与CAN(Controller Area Network：控制器局域网)连接，能够从导航装置、车载装置1的上位的ECU等取得信息。例如，车载装置1能够经由CAN取得车辆的行驶速度、偏航角速度、刮水器的动作状态等关于车辆的信息。
例如在车体、保险杠等车辆的各部分别设置照相机2a以及2b。照相机2a使照相机镜头面向车辆的前方，具有能够同时拍摄车辆前方的路面和设置在车辆前方的道路标识程度的视角。照相机2b使照相机镜头面向车辆的后方，具有能够同时拍摄车辆后方的路面和车辆后方的风景程度的视角。
车载装置1针对照相机2a以及2b的摄影图像执行图像识别处理，识别摄影图像中包括的车道标识、其他车辆、行人、道路标识、停车线等的图像。这里，车道标识表示通过涂料或道路柱标(ポッツドッツ)等形成的车道边界线、车道中央线、车道外侧线等。车载装置1根据图像识别处理的结果，检测例如车辆要脱离行使车道或车辆要与其他车辆碰撞等。
照相机2a以及2b的各个照相机镜头上会附着水滴、泥、融雪剂等。特别是在车辆正在行驶的情况下，路上的水、泥、融雪剂等会溅到车辆上，容易附着在照相机镜头上。附着在照相机镜头上的水滴是雨滴等，大多时候含有大量的杂质，如果干燥则会在照相机镜头上残留水滴痕迹。另外，由于在照相机镜头上附着水滴痕或泥水等照相机镜头会成为白浊的状态。以后将附着在照相机镜头上的水滴、水滴痕、泥等异物和白浊等照相机镜头的污垢等总称记载为附着物。
警报输出部3针对车辆的驾驶员输出基于警报灯、警报蜂鸣器、警报显示画面等的警报。清除控制部4控制未图示的气泵、清洗器泵、刮水器驱动部等用于从照相机2a以及2b的各照相机镜头清除附着物的清除装置。清除控制部4根据来自车载装置1的指令而控制清除装置，实施压缩空气和清洗液的喷射动作、镜头用刮水器进行的擦拭动作等，试着清除来自照相机2a以及2b的各照相机镜头的附着物。
图2是车载装置1的功能框图。车载装置1通过执行存储在存储器10中的程序，作为摄影图像取得部11、信息检测部12、附着物检测部13、检测结果整合部14、动作控制部15、图像识别部16以及警报控制部17发挥功能。
摄影图像取得部11通过预定的帧率分别从照相机2a以及2b取得摄影图像。摄影图像取得部11将按照每帧取得的各摄影图像输出给附着物检测部13、检测结果整合部14以及图像识别部16。
信息检测部12经由CAN从车载装置1的上位的ECU等取得自车辆的速度、偏航角速度、转向角、刮水器的动作状态、外部气温等信息。信息检测部12将取得的信息输出给检测结果整合部14。
附着物检测部13具有水滴检测部13、白浊检测部132、水滴痕检测部133以及泥检测部134，从由摄影图像取得部11输出的摄影图像中分别检测附着在照相机2a以及2b的各个照相机镜头上的水滴、白浊、水滴痕、泥等各种附着物。水滴检测部131、白浊检测部132、水滴痕检测部133以及泥检测部134将各自的检测结果输出给检测结果整合部14。在后面分别详细描述水滴检测部131、白浊检测部132、水滴痕检测部133以及泥检测部134。
检测结果整合部14具有投影转换部141、合成坐标设定部142以及环境检测控制部143。检测结果整合部14整合附着物检测部13的各检测结果，按照照相机2a以及2b的每个照相机镜头决定一个关于污浊状态的信息，并分别将这些信息输出给动作控制部15。后面详细描述投影转换部141、合成坐标设定部142以及环境检测控制部143。
动作控制部15根据从检测结果整合部14输出的关于照相机2a以及2b各自的照相机镜头的污浊状态的信息，控制图像识别部16的动作。图像识别部16具有车道识别部161、车辆识别部162、行人识别部163、标识识别部164以及停车线识别部165，从摄影图像取得部11输出的摄影图像中分别识别车道标识线、其他车辆、行人、道路标识以及停车线等物体图像。
动作控制部15决定针对图像识别部16执行容易识别各识别对象的不检测对策、难以识别各识别对象的误检测对策的哪一个。不检测对策和误检测对策分别被分为3个阶段。以后将不检测对策和误检测对策的各个阶段称为抑制模式。
在第一抑制模式中，调整与图像识别部16的识别灵敏度有关的控制参数。按照图像识别部16的各个部决定要调整的控制参数，并在后面描述。在第二控制模式中，进行以下控制，即比第一抑制模式还要大幅地调整与图像识别部16的识别灵敏度有关的控制参数的控制、将摄影图像中检测出附着物的区域从图像识别部16的处理区域排除的控制等。在第三抑制模式中，进行清除控制部4进行的附着物的清除、放弃图像识别部16进行的图像识别的控制。
从检测结果整合部14一个个输出关于各个照相机镜头与污浊状态相关的信息，因此动作控制部15能够无矛盾地执行图像识别部16的识别灵敏度的控制。
警报控制部17根据图像识别部16的识别结果，进行使用了警报输出部3的警报。例如，在判定为车辆脱离行驶车道的情况下，在判定为车辆可能会与其他车辆碰撞的情况下，在放弃图像识别部16进行的图像识别的情况下等，通过警报输出部3输出警报。
(水滴检测部131)
使用图3(a)和(b)说明水滴检测部131的动作。如图3(a)所示，水滴检测部131将摄影图像30的图像区域分割为多个块B(x，y)。各个块B(x，y)包括摄影图像的多个像素。
水滴检测部131按照各个块B(x，y)计算表示水滴的附着时间的比分S1(x，y)。比分S1(x，y)的初始值为零，通过以下说明的判定在每次判定为该块B(x，y)内附着水滴时增加预定值。
通过水滴检测部131进行的每个象素的比分计算如以下那样。图3(b)是将任意的像素31作为了着眼点的图。水滴检测部131将从该着眼点31在上方、右上方、右下方、左上方、左下方分别远离预定距离(例如3pix)的像素设定为内部参照点32，将在这5个方向进一步远离预定距离(例如3pix)的像素设为外部参照点33。接着，水滴检测部131对于各个内部参照点32和各个外部参照点33分别计算亮度。
水滴的中心部基于镜头效果比缘部更加明亮的可能性较大。因此，水滴检测部131对于5个方向的每一个方向判定内部参照点32的亮度是否比外部参照点33的亮度要高。换句话说，水滴检测部131判定着眼点31是否是水滴的中心部。水滴检测部131在各方向的内部参照点32的亮度比相同方向的外部参照点33的亮度高的情况下，将该着眼点31所属的B(x，y)的比分S1(x，y)增加预定值、例如1。
水滴检测部131在对摄影图像中的所有象素进行了上述判定后，从后述的环境检测控制部143取得将各个块B(x，y)的比分S1(x，y)进行初始化后的经过时间t1。并且，水滴检测部131将各个块B(x，y)的比分S1(x，y)除以其经过时间t1，计算比分S1(x，y)的时间平均S1(x，y)/t1。水滴检测部131计算所有块B(x，y)的时间平均S1(x，y)/t1的总和，将该总和除以摄影图像30中的所有块数，计算平均比分As1。
如果水滴继续附着在照相机镜头上，则按照每个帧平均比分As1增加。换句话说，在平均比分As1大的情况下，水滴长时间附着在照相机镜头上的概率高。水滴检测部131使用该平均比分As1生成水滴检测部131的检测结果信赖度R1。在水滴的情况下，即使在容易附着雨水的行驶状况中也会由于镜头上的水流下等影响而看到比分S1(x，y)的上下变动。因此，当前的镜头上的水滴附着量使用平均比分As1。关于信赖度R1，在雨滴的情况下，与泥或白浊的情况不同，无论怎样镜头状态的变化都会剧烈，即使是雨天比分S1(x，y)也会暂时地下降。因此使用平均比分As1超过了某个固定值TAs1的时间的计数Cs1。水滴检测部131即使在某个预定期间平均比分As1低于固定值As1也保留时间的计数Cs1，在持续预定期间以上下降了时，使比分S1(x，y)做减法。水滴检测部131决定阈值AS1THR，计算信赖度R1＝Cs1/AS1THR。水滴检测部131在时间的计数Cs1超过了AS1THR的情况下通过1表现信赖度R1。信赖度R1离1越近，越能够信赖检测到的水滴附着。
接着，水滴检测部131从所有块B(x，y)中检测出比分S1(x，y)为预定值以上的块，计算检测出的块的个数N1。水滴检测部131对于检测出的N1个块中包括的像素，计算内部参照点32和外部参照点33的亮度差，计算这些像素的亮度差的平均AD1。然后，水滴检测部131将信赖度R1、比分S1(x，y)为预定值以上的块的个数N1、亮度差的平均AD1作为检测结果输出到检测结果整合部14。
(白浊检测部132)
使用图4说明白浊检测部132的动作。如图4所示，白浊检测部132在对摄影图像中地平线映入的预定位置设定左上检测区域41、上检测区域42以及右上检测区域43。上检测区域42设置在能够包括与路面相互平行设置的2条车道标识的尽头的位置。图4中，在上检测区域42的内侧包括2条车道标识46的尽头47。左上检测区域41被设定在上检测区域42的左侧，右上检测区域43被设定在上检测区域42的右侧。另外，白浊检测部132在摄影图像中车道标识映入的预定位置设定左下检测区域44和右下检测区域45。
白浊检测部132对于左上检测区域41、上检测区域42、右上检测区域43、左下检测区域44以及右下检测区域45的各自区域内的像素进行水平方向的边缘检测处理。在针对左上检测区域41、上检测区域42以及右上检测区域43的边缘检测中，检测地平线等的边缘。另外，在针对左下检测区域44和右下检测区域45的边缘检测中，检测车道标识46等的边缘。白浊检测部131对于各个检测区域41～45所包括的各个像素分别计算边缘强度。然后，白浊检测部132按照检测区域41～45的每一个计算边缘强度的平均值AE2，判定该平均值AE2是否不足预定的阈值ε。白浊检测部132判断边缘强度的平均值AE2不足阈值ε的检测区域为白浊。
白浊检测部132计算在各个检测区域41～45中边缘强度的平均值AE2不足阈值ε的检测区域的个数，即检测为白浊的检测区域的个数N2。之后，白浊检测部132计算持续判断为各检测区域41～45为白浊的时间t2。然后，白浊检测部132将各个检测区域41～45的时间t2的总和除以检测区域的个数、即5个，来计算平均持续时间t3。白浊检测部132将该平均持续时间t3转换为白浊检测部132的检测结果信赖度R2。例如，白浊检测部132预先设定某个预定期间TTHR3，计算R2＝t3/TTHR3。信赖度R2表示白浊的平均持续时间t3越长，信赖度越高地发生白浊。另外，t3自身是5个检测区域41～45的平均白浊持续时间，因此5个检测区域41～45的所有持续时间变得越长，白浊的信赖度越上升。信赖度R2用0到1的数值表现，当TTHR3<T3时，全部表现为1，设为表示信赖度高地发生白浊的情况的数值。
另外，白浊检测部132将与检测为白浊的检测区域相关的边缘强度的平均值AE2的总和除以检测区域的个数、即5个，计算平均边缘强度AA2。白浊检测部132将信赖度R2、检测为白浊的检测区域的个数N2以及平均边缘强度AA2作为检测结果输出到检测结果整合部14。
(水滴痕检测部133)
说明水滴痕检测部133的动作。水滴痕检测部133和水滴检测部131同样，如图3(a)所示那样将摄影图像30的图像区域分割为多个块B(x，y)。
接着，水滴痕检测部133对摄影图像30整体进行水平方向的边缘检测处理，生成每个像素的边缘强度。然后，水滴痕检测部133按照各个块B(x，y)计算该块B(x，y)中包括的像素边缘强度的总和，将基于该边缘强度的总和的值加到块B(x，y)的比分S3(x，y)中。
水滴痕检测部133从环境检测控制部143取得各个块B(x，y)的比分S3(x，y)超过最佳阈值后的经过时间T8(x，y)。然后，水滴痕检测部133在各个像素提取经过时间T8(x，y)，通过计算其平均TA8，将其用于信赖度。
水滴痕检测部133以比分S3(x，y)的画面上平均比分AS3换算为不透过率。如果水滴痕持续附着在照相机镜头上，则平均比分AS3增加。另外，考虑了该持续时间的TA8越长，水滴痕长时间附着在照相机镜头上的概率越高。水滴痕检测部133决定阈值AS3THR，计算信赖度R3＝TA8/AS3THR。水滴痕检测部133作为画面上的水滴痕的平均比分AS3高的情况下以及在TA8超过了AS3THR的情况下，通过信赖度R3＝1来表现。信赖度R3越接近1，越能够信赖检测到的水滴痕的附着。进而，在平均比分AS3大的情况下，表示背景和水滴痕的亮度差大，表示难以看见背景。该值越大，则在后述的投影转换部141的水滴痕范围53的地图上越表示不透过率高的值地进行比分转换。
水滴痕检测部133从所有块B(x，y)中检测比分S3(x，y)在预定值以上的块，计算检测出的块的个数N3。该块个数N3被换算为污浊的附着面积。水滴痕检测部133将画面上的面积作为分母，设为N3/画面上的面积[pix]，由此转换为该附着面积而进行使用。水滴痕检测部133将信赖度R3、平均比分AA3、以及比分S3(x，y)为预定值以上的块的个数N3作为检测结果输出到检测结果整合部14。
(泥检测部134)
说明泥检测部134的动作。泥检测部134也和水滴检测部131同样，如图3(a)所示那样将摄影图像30的图像区域分割为多个块B(x，y)。
接着，泥检测部134检测摄影图像30各个像素的亮度。然后，泥检测部134按照各个块B(x，y)计算该块B(x，y)中包括的各个像素的亮度总和lt(x，y)。泥检测部134按照各个块B(x，y)计算对于当前帧的摄影图像计算出的lt(x，y)和对于前一帧的摄影图像同样计算出的lt-1(x，y)之间的差Δl(x，y)。
泥检测部134检测该Δl(x，y)小，并且lt(x，y)比周围的块小的块B(x，y)，将与该块B(x，y)对应的比分S3(x，y)增加预定值、例如1。
泥检测部134在对摄影图像中的所有像素进行了上述判定后，从环境检测控制部143取得各个块B(x，y)的比分S4(x，y)的某个预定期间t5间的比分累积值。然后，泥检测部134将各个块B(x，y)的比分S4(x，y)除以该预定期间t5，计算出比分S4(x，y)的时间平均S4(x，y)/t5。泥检测部134计算所有块B(x，y)的时间平均S4(x，y)/t5的总和，将其除以摄影图像30中的所有块数来计算平均比分ARs4。平均比分ARs4具有在某个预定期间中接近附着在镜头上的泥的量的含义。因此，泥检测部134求出Δl(x，y)的预定期间t5的平均值、根据周围的光源环境预测的画面上的亮度变化量的预测值，求出As4＝Δl(x，y)的预定期间t5的平均值/亮度变化量的预测值，将其设为透过率。
如果泥持续附着在照相机镜头上，则按照依次拍摄的每个帧增加平均比分ARs4。换句话说，在平均比分ARs4大的情况下，在照相机镜头上附着很多泥的概率要高。另外，作为表示透过率的指标，使用比分ARs4。另外，作为信赖度，使用比分ARs4比阈值TRs4大的时间。泥检测部134决定阈值AS4THR，计算信赖度R4＝TAs4/AS4THR。泥检测部134在TAs4超过了AS4THR的情况下用1表现信赖度R4。信赖度R4离1越近，越能够信赖检测到的泥附着。
泥检测部134从所有块B(x，y)中检测出比分S4(x，y)为预定值以上的块，计算检测出的块的个数N4。泥检测部134将信赖度R4、平均比分As4、比分S4(x，y)为预定值以上的块个数N4作为检测结果输出到检测结果整合部14。
如以上所说明的那样，在该实施方式中，通过水滴检测部131、白浊检测部132、水滴痕检测部133、泥检测部134来分别检测镜头的污浊状态。因此，为了根据拍摄得到的图像来高精度地执行白线检测等动作，如果采用单独使用各检测结果来修正控制动作的方式，则在指示了矛盾的修正的情况下难以执行正确的控制动作。
因此，在该实施方式中，通过以下说明的投影转换部141生成合成了多个检测结果的一个控制指令，通过该控制指令修正控制动作。根据多个检测结果生成一个控制指令，因此，在本实施方式中，将各检测结果进行正规化，作为在各检测结果中共通的物理量，计算镜头透过率和镜头表面的污浊物附着面积，求出与这些2个物理量对应的控制指令后修正控制动作。
(投影转换部141)
投影转换部141将附着物检测部13的各部的检测结果投影到图5所示的坐标空间。图5所示的坐标空间被作为控制地图50存储在存储器10中。控制地图50具有与镜头污浊的透过率相关的坐标轴、与在照相机镜头上附着附着物的附着面积相关的坐标轴。以后，将与镜头污浊的透过率相关的坐标轴的值称为p坐标，将与附着面积相关的坐标轴的值称为q坐标。在控制地图50中，关于镜头污垢的透过率，离原点越远越不透过。另外，关于附着面积，离原点越远越大。
另外，在控制地图50预先设定用虚线表示的长方形的水滴范围51以及泥范围54、用实线表示的长方形的白浊范围52以及水滴痕范围53。通过附着物检测部13的各部得到的多种附着物的各个检测结果是镜头透过率和附着物的面积，按照由附着物检测部13的各部检测的每个附着物种类分别设定通过这2个检测结果得到的坐标区域。
投影转换部141具有投影函数f1以及g1。这些投影函数f1以及g1将水滴检测部131的检测结果投影转换为各坐标轴上的坐标。投影函数f1在水滴检测部131的检测结果之一的亮度差的平均AD1为零时，将该亮度差的平均AD1转换为p＝0。即，投影函数f1将亮度差的平均AD1设定在与附着面积相关的坐标轴上。另一方面，投影函数f1在亮度差的平均AD1不是零时，将该亮度差的平均AD1转换为水滴范围51的范围内的p坐标p1。AD1越大，p1的值成为越大的值。
投影函数g1在水滴检测部131的检测结果之一的个数N1为零时，将该个数N1转换为q＝0。即，投影函数g1将个数N1设定在与透过率相关的坐标轴上。另一方面，投影函数g1在个数N1不是零时，将该个数N1转换为水滴范围51的范围内的q坐标q1。N1越大，q1的值成为越大的值。
投影转换部141可以将水滴检测部131的检测结果直接转换为水滴范围51等的范围内的坐标。即，根据通过水滴检测部131得到的检测结果求出镜头透过率和附着面积，可以将这些值直接转换为定义动作地图的XY坐标系的预定的坐标点。
另外，投影转换部141具有投影函数f2以及g2。投影函数f2以及g2将白浊检测部132的检测结果投影转换为各坐标轴上的坐标。投影函数f2在白浊检测部132的检测结果之一的平均边缘强度AA2为零时，将该平均边缘强度AA2转换为p＝0。另一方面，投影函数f2在平均边缘强度AA2不是零时，将该值转换为白浊范围52的范围内的p坐标p2。AA2越大，p2的值成为越大的值。
投影函数g2在白浊检测部132的检测结果之一的个数N2为零时，将该个数N2转换为q＝0。另一方面，投影函数g2在个数N2不是零时，将该个数N2转换为白浊范围52的范围内的q坐标q2。N2越大，q2的值成为越大的值。
投影转换部141可以将白浊检测部132的检测结果直接转换为水滴范围51的范围内的坐标。即，根据通过白浊检测部132得到的检测结果求出镜头透过率和附着面积，可以将这些值直接转换为定义动作地图的XY坐标系的预定的坐标点。
投影转换部141具有将水滴痕检测部133的检测结果进行投影转换的投影函数f3以及g3。这些投影函数f3以及g3也和上述的投影函数同样地将检测结果投影转换为各坐标轴上的坐标。投影函数f3在水滴痕检测部133的检测结果之一的平均比分AS3为零时，将该平均比分AS3转换为p＝0。另一方面，投影函数f3在该平均比分AS3不是零时，将该平均比分AS3转换为水滴痕范围53的范围内的p坐标p3。As3越大，p3的值成为越大的值。
投影函数g3在水滴痕检测部133的检测结果之一的个数N3为零时，将该个数N3转换为q＝0。另一方面，投影函数g3在个数N3不是零时，将该个数N3转换为水滴痕范围53的范围内的q坐标q3。N3越大，q3的值成为越大的值。
投影转换部141可以将白浊检测部132的检测结果直接转换为水滴范围51的范围内的坐标。即，根据通过白浊检测部132得到的检测结果求出镜头透过率和附着面积，可以将这些值直接转换为定义动作地图的XY坐标系的预定坐标点。
投影转换部141具有将泥检测部134的检测结果进行投影转换的投影函数f4以及g4。这些投影函数f4以及g4也和上述的投影函数同样地将检测结果投影转换为各坐标轴上的坐标。投影函数f4在泥检测部134的检测结果之一的平均比分AS4为零时，将该平均比分AS4转换为p＝0。另一方面，投影函数f4在该平均比分AS4不是零时，将该值转换为泥范围54的范围内的p坐标p4。As4越大，p4的值成为越大的值。
投影函数g4在泥检测部134的检测结果之一的个数N4为零时，将该个数N4转换为q＝0。另一方面，投影函数g4在个数N4不是零时，将该个数N4转换为泥范围54的范围内的q坐标q4。N4越大，q4的值成为越大的值。
投影转换部141可以将泥检测部134的检测结果直接转换为水滴范围51的范围内的坐标。即，根据通过泥检测部134得到的检测结果求出镜头透过率和附着面积，可以将这些值直接转换为定义动作地图的XY坐标系的预定坐标点。
(合成坐标设定部142)
合成坐标设定部142根据附着物检测部13的各部输出的信赖度R1、R2、R3以及R4，将通过投影转换部141对附着物检测部131的各部的检测结果进行投影转换而得的坐标(p1，q1)、坐标(p2，q2)、坐标(p3，q3)以及坐标(p4，q4)进行整合，计算一个合成坐标(P，Q)。以下表示用于计算合成坐标(P，Q)的公式。
P＝(p1×R1+p2×R2+p3×R3+p4×R4)/(R1+R2+R3+R4)
Q＝(q1×R1+q2×R2+q3×R3+q4×R4)/(R1+R2+R3+R4)
该合成坐标(P，Q)作为与照相机镜头的污浊状态相关的信息而被输出到动作控制部15。
图6是表示合成坐标设定部142的动作例的图。图6图示了将水滴检测部131的检测结果进行了投影转换后的坐标61、将白浊检测部132的检测结果进行了投影转换后的坐标62、将水滴痕检测部133的检测结果进行了投影转换后的坐标63、将泥检测部134的检测结果进行了投影转换后的坐标64。在图6的例子中，如果信赖度R1、R2、R3以及R4全部相等，则在坐标61、坐标62、坐标63以及坐标64的中心位置65设定合成坐标(P，Q)。该中心位置65是基于信赖度的坐标61、坐标62、坐标63以及坐标64的重心。
(动作控制部15)
动作控制部15根据合成坐标(P，Q)决定是对图像识别部16执行误检测对策和不检测对策的哪一个，还是通过哪个阶段的控制模式执行这些对策。
如图7所示，在控制地图50上设定六个动作决定区域71、72、73、74、75、76。图7图示了通过投影转换部141进行投影转换的坐标中离原点最远的坐标77，图示了以该坐标77为中心的三个1/4圆78、79、80。以后，将坐标77称为最严重污浊点77。各个1/4圆78、79、80的半径按照1/4圆78、79、80的顺序变小。另外，图7中，从最严重污浊点77延伸出将1/4圆78、79、80的每一个进行平分的线段81、平行于与透过率相关的坐标轴的线段82、平行于与附着面积相关的坐标轴的线段83。
(误检测对策)
动作决定区域71存在于相比于与附着面积相关的坐标轴而离与透过率相关的坐标轴近的位置，是由1/4圆78的圆周、1/4圆79的圆周、线段81以及线段83包围的区域。当合成坐标(P，Q)是动作决定区域71的范围内的坐标时，动作控制部15对图像识别部16输出基于误检测对策用第一抑制模式进行的处理的执行指令。
动作决定区域73存在于相比于与附着面积相关的坐标轴而离透过率相关的坐标轴近的位置，是由1/4圆79的圆周、1/4圆80的圆周、线段81以及线段83包围的区域。当合成坐标(P，Q)是动作决定区域73的范围内的坐标时，动作控制部15对图像识别部16输出通过误检测对策用第二抑制模式进行的处理的执行指令。
动作决定区域75存在于相比于与附着面积相关的坐标轴而离与透过率相关的坐标轴近的位置，是由1/4圆80的圆周、线段81以及线段83包围的区域。当合成坐标(P，Q)是动作决定区域75的范围内的坐标时，动作控制部15对图像识别部16输出通过误检测对策用第三抑制模式进行的处理的执行指令。
(不检测对策)
动作决定区域72存在于相比于与透过率相关的坐标轴而离与附着面积相关的坐标轴近的位置，是由1/4圆78的圆周、1/4圆79的圆周、线段81以及线段82包围的区域。当合成坐标(P，Q)是动作决定区域72的范围内的坐标时，动作控制部15对图像识别部16输出通过不检测对策即第一抑制模式进行的处理的执行指令。
动作决定区域74存在于相比于与透过率相关的坐标轴而离与附着面积相关的坐标轴近的位置，是由1/4圆79的圆周、1/4圆80的圆周、线段81以及线段82包围的区域。当合成坐标(P，Q)是动作决定区域74的范围内的坐标时，动作控制部15对图像识别部16输出通过不检测对策用第二抑制模式进行的处理的执行指令。
动作决定区域76存在于相比于与透过率相关的坐标轴而离与附着面积相关的坐标轴近的位置，是由1/4圆80的圆周、线段81以及线段82包围的区域。当合成坐标(P，Q)是动作决定区域76的范围内的坐标时，动作控制部15对图像识别部16输出通过不检测对策用第三抑制模式进行的处理的执行指令。
换句话说，动作控制部15根据合成坐标(P，Q)离与透过率相关的坐标轴和与附着面积相关的坐标轴的哪一个近这点，决定执行误检测对策和不检测对策的哪一个，并且动作控制部15根据从最严重污浊点77到合成坐标(P，Q)之间的距离，决定通过哪个阶段的抑制模式来执行这些对策。
(环境检测控制部143)
图8是与环境检测控制部143相关的控制框图。如图8所示，环境检测控制部143具备光源环境检测部144、行驶路线环境检测部145、天气检测部146、时间控制部147以及检测结果控制部148。
(光源环境检测部144)
光源环境检测部144检测附着物检测部13的检测结果的信赖度R1、R2、R3以及R4容易下降的光源环境。例如光源环境检测部144检测夕阳、路面反射光、后续车辆的大灯等针对照相机2a或2b位于逆光状态的状态。
使用图9和图10说明光源环境检测部144的动作。图9是光源环境检测部144的处理的流程图。在步骤S400中，光源环境检测部144从照相机2a以及2b取得摄影图像。在步骤S410中，光源环境检测部144在摄影图像上设定用于光源环境检测的处理区域。在步骤S420中，光源环境检测部144对于在步骤S410进行设定的处理区域内所包括的各个像素计算亮度，生成该亮度的直方图。
在步骤S430中，光源环境检测部144在由步骤S420所生成的直方图中，判定预定亮度值以上的频数总和是否超过了预定的阈值。光源环境检测部144对步骤S430进行了肯定判定时，即预定亮度值以上的频数总和超过预定阈值的情况下，进入步骤S440的处理。光源环境检测部144对步骤S430进行否定判定时，即预定亮度值以上的频数总和没有超过预定阈值的情况下，进入步骤S400的处理，取得下一帧的摄影图像。
在步骤S440，光源环境检测部144判定是否持续预定时间以上对步骤S430进行肯定判定。光源环境检测部144否定判定步骤S440直到对步骤S430持续预定时间进行肯定判定为止，进入步骤S400的处理，取得下一帧的摄影图像。并且，光源环境检测部144在对步骤S430持续预定时间以上进行肯定判定时，进入步骤S450的处理。
在步骤S450中，光源环境检测部144从摄影图像整体检测高亮度区域，调整附着物检测部13的检测结果的信赖度R1、R2、R3以及R4。然后，光源环境检测部144进入步骤S400的处理，取得下一帧的摄影图像。
图10是表示在步骤S410进行设定的处理区域的一例的图。光源环境检测部144所设定的处理区域根据是在白天检测光源环境还是在晚上检测光源环境而发生变化。图10中示例有针对摄影图像500在白天设定的处理区域501。处理区域501被设定为映照有天空。光源环境检测部144在晚上设定处理区域时，将处理区域设定为后续车辆的大灯进入的程度。
(行驶路线环境检测部145)
行驶路线环境检测部145检测附着物检测部13的检测结果的信赖度R1、R2、R3以及R4容易下降的行驶路线和背景等的环境。行驶路线环境检测部145检测例如车辆行驶在被淋湿的道路或越野等附着物容易附着在照相机镜头上的地方的情况。
图11是行驶路线环境检测部145的处理的流程图的一例。在步骤S500中，光源环境检测部144从照相机2a以及2b取得摄影图像。在步骤S510中，行驶路线环境检测部145从车道识别部161取得与车道标识的位置以及形状相关的信息。在步骤S520，行驶路线环境检测部145取得由光源环境检测部144检测出的与高亮度区域相关的信息。在步骤S530，行驶路线环境检测部145从信息检测部12取得外部气温、自车辆的速度、偏航角速度、转向角等信息。
在步骤S540中，行驶路线环境检测部145根据在步骤S510取得的与车道标识线的位置以及形状相关的信息、在步骤S520取得的与高亮度区域相关的信息以及在步骤S530检测出的外部气温、自车辆的速度、偏航角速度、转向角等信息，检测自车辆在被淋湿的路面上行驶的情况。例如，行驶路线环境检测部145根据与车道标识的位置以及形状相关的信息判断路面的图像区域，将从该路面的图像区域内检测出的高亮度区域推定为积水或路面冻结来检测被淋湿的路面。另外，行驶路线环境检测部145根据与自车辆速度相关的信息等，检测自车辆正在行驶。并且，行驶路线环境检测部145根据与外部气温相关的信息，在气温是冰点以下的情况下可以判断被淋湿的路面为结冰路面。
在步骤S550中，行驶路线环境检测部145根据在自车辆行驶期间不能够在步骤S550取得与车道标识的位置以及形状相关的信息的信息、在步骤S500取得的摄影图像中建筑物少的情况等，检测越野(off road)。然后，行驶路线环境检测部145进入步骤S500的处理，取得下一帧的摄影图像。
(天气检测部146)
天气检测部146取得自车辆周围的天气相关的信息。图12是天气检测部146的处理的流程图。在步骤S600，天气检测部146从信息检测部12取得刮水器的动作状态、外部气温等信息。在步骤S610中，天气检测部146取得由光源环境检测部144检测出的与高亮度区域相关的信息。
在步骤S620中，天气检测部146根据在步骤S600、步骤S610所取得的各种信息，检测自车辆周围的天气，作为检测结果输出天气相关的信息。例如，当自车辆前窗的刮水器在预定时间以内动作预定次数以上时，判断为天气是雨天。另外，例如当光源环境检测部144在预定时间以内以预定次数以上的频率从路面检测到高亮度区域时，判断为是晴天。天气检测部146在判断天气后，进入步骤S600的处理。
(时间控制部147)
时间控制部147进行以下各种时间的计时。
(a)图像识别部16的各部的动作时间
(b)图像识别部16通过各个阶段的抑制模式开始不检测对策或误检测对策后的经过时间
(c)清除控制部4开始附着物的清除后的经过时间
(d)图像识别部16的各部放弃图像识别后的经过时间
(e)附着物检测部13的检测结果被初始化(重置)后的经过时间t1、t2、t4以及t5
(f)停止附着物检测部13的检测后的经过时间
附着物检测部13的各部根据以自车辆为行驶中作为前提，在自车辆的速度为预定速度以下的状态下停止检测处理。如果附着物检测部13的检测处理停止后经过了预定时间以上，则附着物检测部13的各部检测结果的信赖度下降。例如，水滴有可能经过几个小时后变干消失，因此水滴检测部131的检测结果在停止水滴检测部131后经过几个小时后不能够信赖。车载装置1在由时间控制部147进行计时的经过时间t6到达预定时间时，将水滴检测部131的检测结果进行初始化。
(检测结果控制部148)
检测结果控制部148针对附着物检测部13各部的检测结果进行修正或初始化等的控制。图13是附着物检测部13的处理的流程图。在步骤S700中，检测结果控制部148从附着物检测部13的各部分别取得检测结果。
在步骤S710中，检测结果控制部148从光源环境检测部144、行驶路线环境检测部145以及天气检测部146取得处理结果。例如，检测结果控制部148取得由光源环境检测部144在步骤S450(图9)提取的与高亮度区域相关的信息、步骤S540(图11)以及步骤S550(图11)的行驶路线环境检测部145的检测结果、在步骤S620(图12)中由天气检测部146判断的与天气相关的信息等。
在步骤S720中，检测结果控制部148判定环境检测部144是否检测到高亮度区域。在对步骤S720进行了肯定判定的情况下，即光源环境检测部144检测到高亮度区域的情况下，检测结果控制部148进入步骤S730的处理，修正附着物检测部13各部的检测结果。光源环境检测部144在白天提取夕阳或朝阳等引起的来自后方的刺眼光源，在晚上则提取如后续车辆的大灯那样成为路面的反射原因并且成为刺眼原因的光源，检测结果控制部148根据这些光源进行与逻辑性质一致的信赖度的调整。首先，对于水滴检测的信赖度R1，有可能弄错路面反射区域而进行误检测，所以使信赖度下降到通常时候的例如2/3的程度。接着，在白浊检测的情况下，不使用对于白天的照相机来说成为逆光的夕阳或后续车辆的大灯等的高亮度区域的正后方的区域，由此调整比分和信赖度双方。不过，在光源大的情况下，白浊自身的比分也容易上升，因此当光源区域大到预定值以上时，例如使信赖度R2下降20％左右而使用。接着，在水滴痕检测的情况下，由于担心会把太阳映入的光或路面反射作为水滴痕而捕捉，因此延长设定用于测量的时间AS3THR，调整成如果没有更长时间检测水滴痕则信赖度R3不会变大。最后关于泥检测，实施设定成没有使用高亮度区域周边的对策，但是不直接调整信赖度。这是是因为，预想即使周围很亮，在不是高亮度的区域中亮度也不会极端地变化的情况是不能够接受任何附着物的影响来观测背景的情形。修正后，检测结果控制部148进入步骤S740的处理。当对步骤S720进行否定判定时，检测结果控制部148进入步骤S740的处理。
在步骤S740中，检测结果控制部148判定行使道路环境检测部145是否检测到被淋湿的路面或越野。当对步骤S740进行判定肯定时，即检测到了被淋湿的路面或越野时，检测结果控制部148进入步骤S750的处理，修正附着物检测部13各部的检测结果。例如，在检测到被淋湿的路面的情况下，使水滴检测部131的检测结果的信赖度R1例如增加50％，在检测到越野的情况下，使泥检测部134的检测结果的信赖度R4例如增加50％。修正后，检测结果控制部148进入步骤S760的处理。当对步骤S740进行否定判定时，检测结果控制部148进入步骤S760的处理。
在步骤S760中，检测结果控制部148根据天气检测部146的检测结果，修正附着物检测部13各部的检测结果。例如，在自车辆周围的天气是雨天的情况下，使水滴检测部131的检测结果的信赖度R1增加。另外，当自车辆周围的天气从雨天变化为晴天时，使水滴痕检测部133的检测结果的信赖度R3增加。另外，当天气检测部146的结果是雨天时，检测结果控制部148使水滴检测的信赖度R1例如增加50％，在判断为晴天时降低20％。在即使是雨天，气温也在0度以下的情况下，有可能是溅上的雪等不是水滴而附着背景不透明的雪等。这种情况下，相比水滴会检测为泥、水滴痕。因此，在0度以下的情况下，判断为雨天时，使水滴检测、泥检测、水滴痕检测的信赖度分别增加50％。
在步骤S770中，检测结果控制部148判定是否将附着物检测部13各部的检测结果初始化。步骤S770例如在由光源环境检测部144检测高亮度区域后经过预定时间以上时、判定为自车辆持续停车预定时间以上之后进行发车时(具体地说，是自车辆的行使速度例如以时速10km以下持续预定时间之后成为预定速度以上时)等，被进行肯定判定。检测结果控制部148在肯定判定步骤S770的情况下，进入步骤S780的处理，将附着物检测部13的各检测结果初始化，进入步骤S790的处理。检测结果控制部148在步骤S770被否定判定的情况下，进入步骤S790的处理。
在步骤S790中，检测结果控制部148判定车辆的速度是否在预定速度、例如时速10km以下。检测结果控制部148在肯定判定步骤S790的情况下，即车辆的速度在预定速度以下的情况下，进入步骤S810的处理。检测结果控制部148在否定判定步骤S790的情况下，进入步骤S800的处理。
在步骤S800中，检测结果控制部148判定车辆的偏航角速度是否在预定值以上。在检测结果控制部148肯定判定步骤S800的情况下，即车辆的偏航角速度在预定值以上的情况下，进入步骤S810的处理。在检测结果控制部148否定判定步骤S800的情况下，进入步骤S820的处理。
在步骤S810中，检测结果控制部148停止通过水滴检测部131和泥检测部134进行的附着物的检测。在步骤S820中，检测结果控制部148将实施了修正等的附着物检测部13的各检测结果输出给投影转换部141。另外，在步骤S810中，在停止了水滴检测部131以及泥检测部134的检测结果的情况下，不输出该检测结果。这时，投影转换部141仅将输出的检测结果投影到控制地图50，合成坐标设定部142使用其投影结果的分量来设定合成坐标(P，Q)。
(车道识别部161)
使用图14和图15说明既不执行误检测对策也不执行不检测对策时的车道识别部161的动作。
图14是关于车道识别部161的处理的流程图。在步骤S10中，车道识别部161从照相机2a以及2b取得摄影图像。在步骤S20中，车道识别部161从在步骤S10取得的摄影图像提取在路面上与在自车辆车道的左右进行描画的车道标识对应的特征点。车道识别部161例如在摄影图像内的预定部分设定提取区域，将在该提取区域内亮度变化为预定阈值以上的边缘点提取作为特征点。
图15图示了从摄影图像提取的特征点的一例。图15所示的摄影图像90被分为拍摄路面的路面图像区域92、拍摄背景的背景图像区域93。在图14的步骤S20中，车道识别部161如图15所示，针对该摄影图像90设定与自车辆右侧的分道线内侧对应的提取区域94、与自车辆左侧的分道线内侧对应的提取区域95。并且，通过分别比较在这些提取区域94和95中相邻的各像素的亮度来检测边缘点，并提取作为特征点96。这样，沿着左右车道标识内侧的轮廓线，每次分别提取多个特征点96。
在图14的步骤S30中，车道识别部161从在步骤S20提取的特征点中将在相同直线上排列预定个数Mth个以上的特征点群识别为车道标识。在图15的例子中，在提取区域94和95中11个特征点96分别排列成同一直线状。例如，如果预定个数Mth是5个，则将图15中例示的提取区域94以及95中的特征点群分别识别为车道标识。车道识别部161将在步骤S30所识别的与车道标识相关的信息输出到警报控制部17等。
在步骤S40中，车道识别部161计算在步骤S30被识别为车道标识的特征点群所包括的特征点个数的时间平均。例如，车道识别部161对于在以前的帧中被识别为车道标识的各个特征点群所包括的特征点个数分别将履历存储在存储器10中，使用该履历计算特征点个数的时间平均。
在步骤S50中，车道识别部161根据在步骤S40计算出的特征点个数的时间平均，计算表示车道标识的可视性的指标v。在步骤S60中，车道识别部161判定表示车道标识的可视性的指标v是否不足预定阈值Vth。在步骤S60被肯定判定的情况下，即指标v是不足预定阈值Vth的情况下，车道识别部161进入步骤S70的处理。另一方面，在步骤S60被否定判定的情况下，即指标v是在预定阈值Vth以上的情况下，车道识别部161进入步骤S10的处理，从照相机2a以及2b取得下一帧的摄影图像。
在步骤S70中，车道识别部161对警报控制部17输出指令，使得不从警报输出部3输出警报，之后进入步骤S10的处理。车道识别部161在步骤S10从照相机2a以及2b取得下一帧的摄影图像。
在第一抑制模式的误检测对策中，动作控制部15使预定个数Mth的设定值变大。这样，在步骤S30中，车道识别部161难以将排列在同一直线上的特征点群识别为车道标识。另外，使阈值Vth的设定值变大，难以输出错误的警报。也可以使预定个数Mth的设定值、阈值Vth的设定值根据合成坐标(P，Q)的位置而变化。
在第一抑制模式的不检测对策中，动作控制部15使预定个数Mth的设定值变小。这样，在步骤S30中，车道识别部161容易将排列在同一直线上的特征点群识别为车道标识。另外，使阈值Vth的设定值变小，警报控制部17容易使用警报输出部3来输出警报。也可以使预定个数Mth的设定值、阈值Vth的设定值根据合成坐标(P，Q)的位置而变化。
在第二抑制模式的错误检测对策中，动作控制部15使预定个数Mth的设定值比第一抑制模式还要大。这样，车道识别部161进而难以将排列在同一直线上的特征点群识别为车道标识。另外，车载装置1从步骤S20中作为特征点提取处理的对象的图像区域中排除检测到附着物的区域，或者从在步骤S20中提取的特征点中排除从检测到附着物的区域提取的特征点。
在第二抑制模式的不检测对策中，动作控制部15使预定个数Mth的设定值比第一抑制模式还要小。这样，车道识别部161进而容易将排列在同一直线上的特征点群识别为车道标识。
在第三抑制模式的误检测对策和第三抑制模式的不检测对策中，动作控制部15对清除控制部4输出从照相机镜头清除附着物的指令。在即使清除控制部4进行了附着物清除动作也不能改善照相机镜头的污浊状态的情况下，动作控制部15放弃由车道识别部161进行的车道识别。
另外，用于由停车线识别部165识别停车线的处理与使用图14说明的由车道识别部161识别车道标识的处理相同。并且，停车线识别部165在各抑制模式的误检测对策以及不检测对策中实施的对策可以是与车道识别部161在各抑制模式的误检测对策以及不检测对策中实施的对策相同的对策。
(车辆识别部162)
使用图16说明既不执行误检测对策也不执行不检测对策情况下的车辆识别部162的动作。图16是车辆识别部162的处理的流程图。
在步骤S110中，车辆识别部162从照相机2a以及2b取得摄影图像。在步骤S120中，车辆识别部162针对在步骤S110取得的摄影图像执行边缘检测处理，以预定的亮度差的阈值lth为基准生成进行了二进制后的边缘图像。在步骤S130中，车辆识别部162针对在步骤S120生成的边缘图像执行模式识别处理，检测推定为其他车辆的图像。
在步骤S140中，车辆识别部162判定是否在步骤S130中检测出了连续预定帧数Fth以上被推定为其他车辆的图像。在步骤S140被否定判定的情况下，即没有检测出连续预定帧数Fth以上被推定为其他车辆的图像的情况下，车辆识别部162进入步骤S110的处理，取得下一帧的摄影图像。在步骤S140被肯定判定的情况下，即检测出连续预定帧数Fth以上被推定为其他车辆的图像的情况下，车辆识别部162进入步骤S150的处理。在步骤S150中，车辆识别部162将连续预定帧数Fth以上被推定为其他车辆的图像识别为其他车辆。之后，车辆识别部162进入步骤S110的处理，取得下一帧的摄影图像。
在第一抑制模式的错误检测对策中，动作控制部15增大预定帧数Fth的设定值。通过增大预定帧数Fth的设定值，车辆识别部162难以将在步骤S120中被推定为其他车辆的图像识别为其他车辆，因此能够降低误检测其他车辆的情况。预定帧数Fth的设定值可以根据合成坐标(P，Q)的位置而变化。
在第一抑制模式的不检测对策中，动作控制部15减小预定亮度差的阈值lth的设定值。通过减小预定亮度差的阈值lth的设定值，容易检测出其他车辆的边缘，因此车辆识别部162不检测其他车辆的情况被降低。预定亮度差的阈值lth的设定值可以根据合成坐标(P，Q)的位置而变化。
在第二抑制模式的误检测对策中，动作控制部15从作为步骤S120、步骤S130的处理对象的图像区域中排除检测到附着物的区域。另外，动作控制部15能够将车辆识别部162设为检测对象的其他车辆缩小为对自车辆来说危险性较高的车辆，从检测对象排除其他的车辆。例如从照相机2a的摄影图像中将在自车辆的行驶车道上行驶的前方其他车辆设为检测对象。另外，例如从照相机2b的摄影图像将在自车辆的行车道上行驶并接近自车辆的其他车辆设为检测对象。
在第二抑制模式的不检测对策中，动作控制部15使预定亮度差的阈值lth的设定值变得比第一抑制模式还要小。或者，车辆识别部162即使在摄影图像的对比度低的情况下也使用能够检测其他车辆的特征量的其他车辆识别方法。
在第三抑制模式的误检测对策和第三抑制模式的不检测对策中，动作控制部15对清除控制部4输出从照相机镜头清除附着物的指令。在即使清除控制部4进行了附着物清除动作也不能改善照相机镜头的污浊状态的情况下，动作控制部15放弃由车道识别部161进行的车道识别。
另外，用于行人识别部163以及标志识别部164分别识别行人和道路标志的处理与使用图16说明的车辆识别部162识别其他车辆的处理相同。并且行人识别部163和标志识别部164在各抑制模式的误检测对策以及不检测对策中实施的对策可以是与车辆识别部162在各抑制模式的误检测对策以及不检测对策中实施的对策相同的对策。
(整体流程)
图17是表示车载装置1的处理内容的流程图。
在步骤S900中，车载装置1使用摄影图像取得部11从照相机2a以及2b取得摄影图像。在步骤S910中，车载装置1使用附着物检测部13检测分别附着在照相机2a以及2b的照相机镜头上的各种附着物，并输出检测结果。
在步骤S920中，车载装置1使用检测结果控制部148对于在步骤S910输出的检测结果进行修正或初始化等的控制。在步骤S930中，车载装置1使用投影转换部141将步骤S920中控制后的附着物检测部13的各检测结果投影到控制地图50上的坐标上。
在步骤S940中，车载装置1使用合成坐标设定部142将在步骤S840中进行了投影转换的坐标整合，而计算合成坐标(P，Q)。在步骤S950中，车载装置1使用动作控制部15，根据合成坐标(P，Q)决定实施误检测对策和不检测对策的哪一个，并且决定抑制模式。
在步骤S960中，车载装置1在进行了步骤S950决定的对策的基础上使用图像识别部16的各部，分别执行图像识别处理。在步骤S970中，车载装置1根据在步骤S960执行的图像识别处理的识别结果来控制警报控制部17。之后，车载装置1进入步骤S900的处理。
根据以上说明的实施方式，达到以下的作用效果。
(1)车载装置1具备：附着物检测部13，其根据从经由照相机镜头拍摄车辆周围环境的照相机取得的摄影图像，例如通过水滴检测部131、白浊检测部132、水滴痕检测部133以及泥检测部134来分别检测与镜头的污浊状态对应的多种附着物；图像识别部16，其从摄影图像识别存在于车辆周围环境的预定物体图像；检测结果整合部14，其根据附着物检测部13进行的多种附着物的各个检测结果，计算整合了多个检测结果的整合检测结果；以及动作控制部15，其根据整合检测结果来控制图像识别部16的动作。因此，能够防止图像识别部16根据多个检测结果进行矛盾的动作。
(2)检测结果整合部14将附着物检测部13的各检测结果分别投影到相同的坐标系，合成与各检测结果对应的多个坐标，在上述坐标系上设定合成坐标(P，Q)。动作控制部15根据所设定的合成坐标来控制图像识别部16的动作。即，通过检测结果整合部14设定合成了多个检测结果的一个合成坐标，根据该合成坐标来控制图像识别部16的动作。因此能够防止基于多个检测结果的矛盾的动作控制。
(3)坐标系具有与基于附着物的镜头透过率相关的第一坐标轴、与附着在照相机镜头上的附着物面积相关的第二坐标轴。通过附着物检测部13得到的各检测结果是镜头透过率和附着物的面积，按照附着物的每个种类分别设定通过这2个检测结果得到的坐标的区域。例如是水滴范围51、白浊范围52、水滴痕范围53以及泥范围54。因此，能够根据镜头污浊的状况正确地控制图像识别部16的图像识别动作。
镜头污垢的透过率是对图像识别部16各部的误检测紧密相关的项目，附着面积是对图像识别部16各部的不检测紧密相关的项目。通过将分别与错误检测和不检测有关的项目选择坐标轴，能够使用合成坐标(P，Q)高精度地进行图像识别部16的控制。
(4)动作控制部15根据合成坐标离第一坐标轴和第二坐标轴的哪一个更近来决定通过图像识别部16进行的控制。例如，动作控制部15根据合成坐标(P，Q)是位于离与透过率相关的坐标轴和与附着面积相关的坐标轴的哪一个更近的动作决定区域内，决定对图像识别部16进行的控制是不检测对策还是误检测对策。通过这样地分割控制，不会产生同时进行误检测对策和不检测对策双方的矛盾。
(5)动作控制部15在合成坐标位于表示照相机镜头的污浊在预定以上的的坐标区域时，中止图像识别部16进行的预定物体图像的识别。或者，动作控制部15在合成坐标位于表示照相机镜头的污浊在预定以上的坐标区域时，使从照相机镜头清除多种附着物的清除装置动作。
例如，动作控制部15在合成坐标(P，Q)位于动作决定区域75以及动作决定区域76时，将抑制模式决定为第三抑制模式并中止(放弃、绝念)图像识别部16进行的车道标识的识别，或者对于清除控制部4从照相机镜头清除附着物。这样，能够降低图像识别部16进行的误检测和不检测。
(6)附着物检测部13还计算与分别持续检测了多种附着物的时间对应的信赖度，检测结果整合部14也使用由附着物检测部13计算出的信赖度来计算整合检测结果。
例如，附着物检测部13各部根据持续检测分别对应的附着物的时间来计算信赖度。例如，水滴检测部131，在照相机镜头上持续附着水滴时，则根据按照每个帧增加的平均比分As1来计算信赖度R1。白浊检测部132根据平均持续时间t3计算信赖度R2。水滴痕检测部133，在照相机镜头上持续附着水滴痕时，则根据按照每个帧增加的平均比分As3来计算信赖度R3。泥检测部134，在照相机镜头上持续附着泥时，则根据按照每个帧增加的平均比分As4来计算信赖度R4。然后，合成坐标设定部142根据由附着物检测部13各部分别计算出的信赖度R1、R2、R3、R4来设定合成坐标(P，Q)。这样通过使用信赖度R1、R2、R3、R4来设定合成坐标(P，Q)，能够使用合成坐标(P，Q)高精度地表现照相机镜头的污浊状态。
(7)车载装置1具备：环境检测部，其对于车辆周围的光源环境、车辆行驶的行驶路线、天气中的至少任意一个检测信赖度下降的环境；环境检测控制部143，其根据通过环境检测部检测到的环境，作为分别修正由附着物检测部13计算出的各信赖度的信赖度修正部而发挥功能。
例如，车载装置1具有环境检测控制部143，环境检测控制部143具备作为环境检测部的光源环境检测部144、行驶路线环境检测部145以及天气检测部146和作为信赖度修正部的检测结果控制部148。并且，环境检测控制部143根据该光源环境检测部144和行驶路线环境检测部145以及天气检测部146的检测结果，通过检测结果控制部148来修正由附着物检测部13各部分别计算出的各个信赖度(图13的步骤S730、步骤S750)。这样，即使在车辆或照相机位于附着物检测部13的检测结果的信赖度R1、R2、R3以及R4容易下降的环境中的情况下，也能够使用合成坐标(P，Q)高精度地表现照相机镜头的污浊状态。
(8)车载装置1还具备：信息检测部12，其取得至少包括车辆速度或偏航角速度的与行驶状态相关的信息；和环境检测控制部143，其根据由信息检测部12取得的与行驶状态相关的信息，作为使附着物检测部停止多种附着物中一部分的附着物检测的检测停止部而发挥功能。并且，检测结果整合部14根据多种附着物中没有停止检测的附着物的检测结果来计算整合检测结果。
例如，在车载装置1中，环境检测控制部143根据由信息检测部12取得的与行驶状态相关的信息，停止水滴检测部131和泥检测部134分别进行的附着物的检测(图13的步骤S810)。并且，合成坐标设定部142根据附着物检测部13中没有停止附着物检测的白浊检测部132和水滴痕检测部133各自的附着物检测结果来设定合成坐标(P，Q)。通过这样，合成坐标设定部142能够抑制车辆的行驶状态造成的合成坐标(P，Q)精度的下降。
(9)车载装置1具备：停车判定部，其根据由信息检测部12取得的与车辆速度相关的信息来判定车辆停车；和环境检测控制部143，其作为初始化部发挥功能，在停车判定部判定为车辆持续预定时间以上停车的情况后进行发车时，将附着物检测部13的检测结果进行初始化。
例如，环境检测控制部143根据从信息检测部12取得的与车辆速度相关的信息，通过检测结果控制部148判定为车辆停车(图13的步骤S770)，在车辆持续预定时间以上停车(时速10km以下)后进行发车(时速10km以上)时，将附着物检测部130的各检测结果进行初始化(步骤S780)。这样，能够确保合成坐标(P，Q)的精度。
以上说明的实施方式能够如以下那样变形并实施。
照相机2a以及2b拍摄了车辆前方或后方的路面，不过也还可以拍摄车辆的左侧或右侧的路面。另外，只要能够拍摄车辆周围的路面，无论怎样设定照相机的设置位置和拍摄范围都可以。
在上述实施方式中，附着物检测部13的各部对每帧检测附着物并输出检测结果。但是，为了降低处理负荷，也可以在各个帧中通过执行了图像识别部16各部后的剩余时间来执行附着物检测部13的一部分。
环境检测控制部143具备光源环境检测部144、行驶路线环境检测部145、天气检测部146、时间控制部147以及检测结果控制部148，不过对于光源环境检测部144、行驶路线环境检测部145、天气检测部146，具备它们其中的至少任意一个即可。
控制地图50具有与透过率相关的坐标轴和与附着面积相关的坐标轴，不过控制地图50所具有的坐标轴不限定于这些组合。如果是与图像识别部16各部的误检测紧密相关的第一项目相关的坐标轴和与图像识别部16各部的不检测紧密相关的第二项目相关的坐标轴之间的组合，可以是其它项目相关的坐标轴的组合。另外，控制地图50的坐标轴可以不是2条。例如，还可以具有与信赖度相关的轴等。
计算水滴检测部131、白浊检测部132、水滴痕检测部133以及泥检测部134的检测结果的信赖度的方法不限定于上述所示的方法。
以上说明的实施方式或变形例只不过是一例，只要不损伤发明特征，本发明不限定于这些内容。另外，只要不损伤发明的特征，以上说明的实施方式和变形例能够组合来实施。
将接着的优先权基础申请的公开内容作为引用文组入这里。
日本国专利申请2013年第149747号(2013年7月18日申请)
附图标记的说明
1：车载装置；2a、2b：照相机；10：存储器；11：摄影图像取得部；12：信息检测部；13：附着物检测部；14：检测结果整合部；15：动作控制部；16：图像识别部；17：警报控制部；50：控制地图；51：水滴范围；52：白浊范围、53：水滴痕范围；54：泥范围；71、72、73、74、75、76：动作决定区域；77：最严重污浊点；131：水滴检测部；132：白浊检测部；133：水滴痕检测部；134：泥检测部；141：投影转换部；142：合成坐标设定部；143：环境检测控制部；144：光源环境检测部；145：行驶路线环境检测部；146：天气检测部；147：时间控制部；148：检测结果控制部；161：车道识别部；162：车辆识别部；163：行人识别部；164：标志识别部；165：停车线识别部。

Claims (8)

1.一种车载装置，其特征在于，具备：
图像取得部，其从经由照相机镜头拍摄车辆周围环境的照相机取得摄影图像；
附着物检测部，其根据上述摄影图像分别检测附着在上述照相机镜头上的多种附着物；
图像识别部，其从上述摄影图像识别存在于上述周围环境的预定物体图像；
检测结果整合部，其根据基于上述附着物检测部的上述多种附着物的各个检测结果，计算出整合了多个检测结果的整合检测结果；以及
动作控制部，其根据上述整合检测结果来控制上述图像识别部的动作，
上述检测结果整合部将上述附着物检测部的各检测结果分别投影到相同的坐标系，根据投影得到的多个坐标在上述坐标系上设定合成坐标，
上述动作控制部根据上述合成坐标来控制上述图像识别部的动作，
上述坐标系具有与上述附着物的镜头透过率相关的第一坐标轴和与在上述照相机镜头上附着的附着物的面积相关的第二坐标轴，
通过上述附着物检测部得到的各检测结果是上述镜头透过率和上述附着物的面积，按照上述附着物的每个种类分别设定通过这两个检测结果得到的坐标区域。
2.根据权利要求1所述的车载装置，其特征在于，
上述动作控制部根据上述合成坐标离上述第一坐标轴和上述第二坐标轴哪一个更近，决定对上述图像识别部进行控制。
3.根据权利要求1所述的车载装置，其特征在于，
上述动作控制部在上述合成坐标是位于上述第一坐标轴和上述第二坐标轴的范围内预先设定的动作决定区域的范围内的坐标时，中止上述图像识别部进行的上述预定物体图像的识别。
4.根据权利要求1所述的车载装置，其特征在于，
上述动作控制部在上述合成坐标是位于上述第一坐标轴和上述第二坐标 轴的范围内预先设定的动作决定区域的范围内的坐标时，使从上述照相机镜头清除上述附着物的清除装置动作。
5.根据权利要求1～4中的任意一项所述的车载装置，其特征在于，
上述附着物检测部还计算出与分别继续检测了上述多种附着物的时间对应的信赖度，
上述检测结果整合部使用由上述附着物检测部计算出的各信赖度来计算上述整合检测结果。
6.根据权利要求5所述的车载装置，其特征在于，
所述车载装置还具备：
环境检测部，其对于上述车辆周围的光源环境、上述车辆行驶的行驶路线、天气中的至少任意一个检测上述信赖度下降的环境；和
信赖度修正部，其根据通过上述环境检测部检测到的环境，分别修正由上述附着物检测部计算出的各个信赖度。
7.根据权利要求1～4中的任意一项所述的车载装置，其特征在于，
所述车载装置还具备：
信息检测部，其取得至少包括上述车辆的速度或偏航角速度的与行驶状态相关的信息；和
检测停止部，其根据上述信息检测部所取得的与上述行驶状态相关的信息，使上述附着物检测部停止上述多种附着物中的一部分附着物的检测，
上述检测结果整合部根据上述多种附着物中通过上述检测停止部没有停止检测的附着物的检测结果来计算上述整合检测结果。
8.根据权利要求7所述的车载装置，其特征在于，
所述车载装置还具备：
停车判定部，其根据上述信息检测部所取得的与上述车辆速度相关的信息，判定为上述车辆停车；和
初始化部，其在上述停车判定部判定为上述车辆持续停车了预定时间以上后进行发车时，将上述附着物检测部的检测结果初始化。
CN201480038677.2A 2013-07-18 2014-06-13 车载装置 Active CN105393293B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013149747 2013-07-18
JP2013-149747 2013-07-18
PCT/JP2014/065770 WO2015008566A1 (ja) 2013-07-18 2014-06-13 車載装置

Publications (2)

Publication Number Publication Date
CN105393293A CN105393293A (zh) 2016-03-09
CN105393293B true CN105393293B (zh) 2017-05-03

Family

ID=52346039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480038677.2A Active CN105393293B (zh) 2013-07-18 2014-06-13 车载装置

Country Status (5)

Country Link
US (1) US10095934B2 (zh)
EP (1) EP3023962B1 (zh)
JP (1) JP6163207B2 (zh)
CN (1) CN105393293B (zh)
WO (1) WO2015008566A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2015064095A1 (ja) * 2013-10-29 2017-03-09 京セラ株式会社 画像の補正パラメータ出力装置、カメラシステム、および補正パラメータ出力方法
JP6511283B2 (ja) * 2015-02-12 2019-05-15 日立オートモティブシステムズ株式会社 物体検知装置
EP3113477B1 (en) * 2015-06-30 2017-08-02 Axis AB Monitoring camera
JP6690955B2 (ja) * 2016-02-02 2020-04-28 株式会社デンソーテン 画像処理装置及び水滴除去システム
US10670418B2 (en) * 2016-05-04 2020-06-02 International Business Machines Corporation Video based route recognition
WO2018006261A1 (zh) * 2016-07-05 2018-01-11 驭势科技（北京）有限公司 自动驾驶汽车转向控制方法和控制系统
US10552706B2 (en) 2016-10-24 2020-02-04 Fujitsu Ten Limited Attachable matter detection apparatus and attachable matter detection method
JP6731071B2 (ja) * 2016-12-16 2020-07-29 本田技研工業株式会社 車両制御装置及び方法
JP6789151B2 (ja) * 2017-02-24 2020-11-25 京セラ株式会社 カメラ装置、検出装置、検出システムおよび移動体
DE102017207792A1 (de) * 2017-05-09 2018-11-15 Continental Automotive Gmbh Vorrichtung und Verfahren zum Prüfen einer Wiedergabe einer Videosequenz einer Spiegelersatzkamera
JP6830865B2 (ja) * 2017-07-03 2021-02-17 アルパイン株式会社 車線認識装置
US11479213B1 (en) * 2017-12-11 2022-10-25 Zoox, Inc. Sensor obstruction detection and mitigation
JP7210882B2 (ja) * 2018-01-30 2023-01-24 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP2019128797A (ja) * 2018-01-24 2019-08-01 株式会社デンソーテン 付着物検出装置および付着物検出方法
US10549723B2 (en) * 2018-05-04 2020-02-04 Ford Global Technologies, Llc Vehicle object-detection sensor assembly
JP2020013332A (ja) * 2018-07-18 2020-01-23 トヨタ自動車株式会社 画像認識装置
US10780861B2 (en) 2019-01-08 2020-09-22 Ford Global Technologies, Llc Liquid droplet path prediction
CN110532876A (zh) * 2019-07-26 2019-12-03 纵目科技（上海）股份有限公司 夜晚模式镜头付着物的检测方法、系统、终端和存储介质
US11673532B2 (en) * 2019-12-23 2023-06-13 Continental Automotive Systems, Inc. Automatic camera washer deactivation
JP7424582B2 (ja) * 2020-06-03 2024-01-30 株式会社ニフコ 車載機器用ブラケット
JP7319597B2 (ja) * 2020-09-23 2023-08-02 トヨタ自動車株式会社 車両運転支援装置
JP2022133156A (ja) * 2021-03-01 2022-09-13 トヨタ自動車株式会社 車両用周辺監視装置及び車両用周辺監視システム
US20230068848A1 (en) * 2021-08-25 2023-03-02 Argo AI, LLC Systems and methods for vehicle camera obstruction detection

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1209645A1 (en) * 2000-11-22 2002-05-29 Nissan Motor Company, Limited Apparatus and method for detecting road white lines for automotive vehicle
CN101014091A (zh) * 2006-02-02 2007-08-08 佳能株式会社 摄像设备及其控制方法
CN103043035A (zh) * 2011-10-14 2013-04-17 株式会社电装 用于摄像头镜头的摄像头清洗设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2552728B2 (ja) * 1989-05-31 1996-11-13 富士通株式会社 赤外線監視システム
US6681163B2 (en) * 2001-10-04 2004-01-20 Gentex Corporation Moisture sensor and windshield fog detector
DE10132681C1 (de) * 2001-07-05 2002-08-22 Bosch Gmbh Robert Verfahren zur Klassifizierung von einem Hindernis anhand von Precrashsensorsignalen
JP3987048B2 (ja) * 2003-03-20 2007-10-03 本田技研工業株式会社 車両周辺監視装置
WO2005022901A1 (ja) 2003-08-29 2005-03-10 Nikon Corporation 撮像系診断装置、撮像系診断プログラム、撮像系診断プログラム製品、および撮像装置
US8553088B2 (en) * 2005-11-23 2013-10-08 Mobileye Technologies Limited Systems and methods for detecting obstructions in a camera field of view
US7671725B2 (en) * 2006-03-24 2010-03-02 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program
JP2008064630A (ja) * 2006-09-07 2008-03-21 Hitachi Ltd 付着物検知機能付き車載用撮像装置
JP4784659B2 (ja) * 2009-02-16 2011-10-05 トヨタ自動車株式会社 車両用周辺監視装置
JP2010244382A (ja) 2009-04-08 2010-10-28 Honda Motor Co Ltd 車両走行支援装置
JP5269755B2 (ja) * 2009-12-10 2013-08-21 株式会社日立製作所 人横断支援車両システム及び人横断支援方法
DE102010002310A1 (de) 2010-02-24 2011-08-25 Audi Ag, 85057 Verfahren und Vorrichtung zur Freisichtprüfung einer Kamera für ein automobiles Umfeld
JP5546321B2 (ja) 2010-04-02 2014-07-09 アルパイン株式会社 複数カメラ画像使用車外表示装置
JP2012038048A (ja) 2010-08-06 2012-02-23 Alpine Electronics Inc 車両用障害物検出装置
RU2563534C1 (ru) * 2011-08-02 2015-09-20 Ниссан Мотор Ко., Лтд. Устройство обнаружения сплошных объектов и способ обнаружения сплошных объектов
JP5925314B2 (ja) 2012-07-03 2016-05-25 クラリオン株式会社 車両周囲監視装置
US9542605B2 (en) 2012-07-03 2017-01-10 Clarion Co., Ltd. State recognition system and state recognition method
RU2573110C1 (ru) 2012-07-27 2016-01-20 Ниссан Мотор Ко., Лтд. Бортовое устройство распознавания изображений

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1209645A1 (en) * 2000-11-22 2002-05-29 Nissan Motor Company, Limited Apparatus and method for detecting road white lines for automotive vehicle
CN101014091A (zh) * 2006-02-02 2007-08-08 佳能株式会社 摄像设备及其控制方法
CN103043035A (zh) * 2011-10-14 2013-04-17 株式会社电装 用于摄像头镜头的摄像头清洗设备

Also Published As

Publication number Publication date
US20160162740A1 (en) 2016-06-09
US10095934B2 (en) 2018-10-09
JPWO2015008566A1 (ja) 2017-03-02
EP3023962B1 (en) 2020-08-19
EP3023962A4 (en) 2017-03-22
CN105393293A (zh) 2016-03-09
WO2015008566A1 (ja) 2015-01-22
EP3023962A1 (en) 2016-05-25
JP6163207B2 (ja) 2017-07-12

Similar Documents

Publication Publication Date Title
CN105393293B (zh) 车载装置
CN104395156B (zh) 车辆周围监视装置
CN103529639B (zh) 镜头附着物检测装置、镜头附着物检测方法以及车辆系统
US8786697B2 (en) Apparatus for determining the presence of fog using image obtained by vehicle-mounted imaging device
CN103523013B (zh) 车道偏离警报装置
US8077921B2 (en) Apparatus for determining the presence of fog using image obtained by vehicle-mounted imaging device
Hautière et al. Towards fog-free in-vehicle vision systems through contrast restoration
US9956941B2 (en) On-board device controlling accumulation removing units
CN106489174B (zh) 通过相机系统跟踪车辆的方法、相机系统以及机动车辆
CN103523014B (zh) 车载装置
CN104823214B (zh) 车载图像处理装置
CN104011737B (zh) 用于探测雾的方法
CN103886757B (zh) 用于自动分类运动中的车辆的方法
JP4856612B2 (ja) 物体検出装置
US20130235202A1 (en) Vehicle periphery monitoring apparatus and method of determining type of object for use in vehicle periphery monitoring apparatus
CN105835880B (zh) 车道追踪系统
CN107202983A (zh) 基于图像识别和毫米波雷达融合的自动刹车方法和系统
JP6364797B2 (ja) 画像解析装置、および画像解析方法
US9965690B2 (en) On-vehicle control device
JP6755161B2 (ja) 付着物検出装置および付着物検出方法
WO2013009697A1 (en) Image-based vehicle detection and distance measuring method and apparatus
Cord et al. Detecting unfocused raindrops: In-vehicle multipurpose cameras
Kuo et al. Vision-based vehicle detection in the nighttime
JP7003972B2 (ja) 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム
JP2009211715A (ja) 車線位置検知システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant