CN116076078A - 车辆控制装置、车辆控制方法、车辆控制程序 - Google Patents

车辆控制装置、车辆控制方法、车辆控制程序 Download PDF

Info

Publication number
CN116076078A
CN116076078A CN202180055171.2A CN202180055171A CN116076078A CN 116076078 A CN116076078 A CN 116076078A CN 202180055171 A CN202180055171 A CN 202180055171A CN 116076078 A CN116076078 A CN 116076078A
Authority
CN
China
Prior art keywords
vehicle
image
pixel group
water
reflected light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180055171.2A
Other languages
English (en)
Inventor
福本晴继
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2021124655A external-priority patent/JP2022047499A/ja
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN116076078A publication Critical patent/CN116076078A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/52—Elements optimising image sensor operation, e.g. for electromagnetic interference [EMI] protection or temperature control by heat transfer or cooling elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S2007/4975—Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S2007/4975—Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen
    • G01S2007/4977—Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen including means to prevent or remove the obstruction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

控制搭载了通过对于光照射的反射光的感测获取反射光图像(Ior)的光学传感器(40)、和获取与光学传感器(40)重叠的感测区域中的外光强度对应的照相机图像(Ic)的感测照相机(41)的车辆的车辆控制装置(1)具备：提取部(100)，通过对反射光图像(Ior)与照相机图像(Ic)进行对比，提取不匹配的像素组(Po)；以及控制部(120)，向车辆发出与估计为与不匹配的像素组(Po)对应的水相关物质(Mw)对应的控制的指令。

Description

车辆控制装置、车辆控制方法、车辆控制程序
相关申请的交叉引用
本申请主张于2020年9月11日在日本申请的日本专利申请第2020－153238号、以及于2021年7月29日在日本申请的日本专利申请第2021－124655号的优先权，并在此引用其全部内容。
技术领域
本公开涉及车辆中的传感器系统利用的控制技术。
背景技术
已知在车辆的传感器系统的感测区域中，例如雨，雾，或者水蒸气等水相关物质的存在导致感测精度的降低。因此，水相关物质的存在判断影响车辆的控制。特别是近年，车辆的自动驾驶模式中的水相关物质的存在左右自动驾驶的持续性，所以成为重要的控制重要因素。
这里在专利文献1公开了用于在传感器系统中判定在光从感测区域射入的射入面附着的例如水滴等污垢的判定技术。在该公开技术中，通过基于对于光照射的反射光的强度变化，判定射入面的污垢。
专利文献1：日本特开2005－10094号公报
但是，在专利文献1的公开技术中，只要水相关物质不附着于射入面，则不能够判断该物质的存在。因此，有在水相关物质附着于射入面后，难以抑制由于传感器系统的感测精度的降低而车辆控制的适当性恶化的情况的担忧。
发明内容
本公开的课题在于提供提高车辆控制的适当性的车辆控制装置。本公开的其它的课题在于提供提高车辆控制的适当性的车辆控制方法。本公开的其它的课题在于提供提高车辆控制的适当性的车辆控制程序。
以下，对用于解决课题的本公开的技术方案进行说明。
本公开的第一方式是控制搭载了通过对于光照射的反射光的感测获取反射光图像的光学传感器、和获取与光学传感器重叠的感测区域中的外光强度对应的照相机图像的感测照相机的车辆的车辆控制装置，具备：
提取部，通过对反射光图像和照相机图像进行对比，提取不匹配的像素组；以及
控制部，向车辆发出与估计为与不匹配的像素组对应的水相关物质对应的控制的指令。
本公开的第二方式是控制搭载了通过对于光照射的反射光的感测获取反射光图像的光学传感器、和获取与光学传感器重叠的感测区域中的外光强度对应的照相机图像的感测照相机的车辆的车辆控制方法，包含：
提取工序，通过对反射光图像和照相机图像进行对比，提取不匹配的像素组；以及
控制工序，向车辆发出与估计为与不匹配的像素组对应的水相关物质对应的控制的指令。
本公开的第三方式是包含为了控制搭载了通过对于光照射的反射光的感测获取反射光图像的光学传感器、和获取与光学传感器重叠的感测区域中的外光强度对应的照相机图像的感测照相机的车辆，而使处理器执行的命令的车辆控制程序，
命令包含：
提取工序，使上述处理器通过对反射光图像和照相机图像进行对比，提取不匹配的像素组；以及
控制工序，使上述处理器向车辆发出与估计为与不匹配的像素组对应的水相关物质对应的控制的指令。
根据这些第一～第三方式，对通过对于光照射的反射光的感测由光学传感器获取的反射光图像、和根据与该传感器重叠的感测区域中的外光强度而通过感测照相机获取的照相机图像进行对比。能够正确地估计为通过这样的对比提取出的不匹配的像素组与容易感测反射光的水相关物质，即容易在反射光图像映有的水相关物质对应。因此，根据作为估计的结果向车辆发出与水相关物质对应的控制的指令，能够提高该车辆控制的适当性。
本公开的第四方式是控制搭载了通过对于光照射的反射光的感测获取反射光图像并且在光照射的停止中获取与外光强度对应的外光图像的光学传感器的车辆的车辆控制装置，具备：
提取部，通过对反射光图像与外光图像进行对比，提取不匹配的像素组；以及
控制部，向车辆发出与估计为与不匹配的像素组对应的水相关物质对应的控制的指令。
本公开的第五方式是控制搭载了通过对于光照射的反射光的感测获取反射光图像并且在光照射的停止中获取与外光强度对应的外光图像的光学传感器的车辆的车辆控制方法，包含：
提取工序，通过对反射光图像与外光图像进行对比，提取不匹配的像素组；以及
控制工序，向车辆发出与估计为与不匹配的像素组对应的水相关物质对应的控制的指令。
本公开的第六方式是包含为了控制搭载了通过对于光照射的反射光的感测获取反射光图像并且在光照射的停止中获取与外光强度对应的外光图像的光学传感器的车辆，而使处理器执行的命令的车辆控制程序，
命令包含：
提取工序，使上述处理器通过对反射光图像与外光图像进行对比，提取不匹配的像素组；以及
控制工序，使上述处理器向车辆发出与估计为与不匹配的像素组对应的水相关物质对应的控制的指令。
根据这些第四～第六方式，对通过对于光照射的反射光的感测由光学传感器获取的反射光图像、和在该光照射的停止中根据外光强度而由该传感器获取的外光图像进行对比。能够正确地估计为通过这样的对比提取出的不匹配的像素组与容易感测反射光的水相关物质，即容易在反射光图像映有的水相关物质对应。因此，根据作为估计的结果向车辆发出与水相关物质对应的控制的指令，能够提高该车辆控制的适当性。
附图说明
图1是表示第一实施方式的自动驾驶单元向车辆的搭载状态的侧视图。
图2是表示第一实施方式的自动驾驶单元的整体构成的横截面示意图。
图3是表示第一实施方式的车辆控制装置的功能构成的框图。
图4是表示第一实施方式的光学传感器以及感测照相机的感测范围的横截面示意图。
图5是用于说明第一实施方式的光学传感器的获取图像的示意图。
图6是用于说明第一实施方式的感测照相机的获取图像的示意图。
图7是用于说明第一实施方式的感测照相机的插值后图像的示意图。
图8是表示第一实施方式的车辆控制方法的流程图。
图9是表示第二实施方式的车辆控制装置的功能构成的框图。
图10是表示第二实施方式的车辆控制方法的流程图。
图11是表示第三实施方式的车辆控制装置的功能构成的框图。
图12是用于说明第三实施方式的光学传感器的获取图像的示意图。
图13是表示第三实施方式的车辆控制方法的流程图。
图14是表示第四实施方式的车辆控制装置的功能构成的框图。
图15是表示第四实施方式的车辆控制方法的流程图。
图16是表示第五实施方式的感测照相机的详细构成的示意图。
图17是表示第五实施方式的车辆控制装置的功能构成的框图。
图18是表示第五实施方式的车辆控制方法的流程图。
图19是表示变形例的车辆控制方法的流程图。
图20是表示变形例的车辆控制方法的流程图。
图21是表示变形例的车辆控制方法的流程图。
图22是表示变形例的车辆控制方法的流程图。
具体实施方式
以下，基于附图对多个实施方式进行说明。另外，有时通过对各实施方式中对应的构成要素附加相同的附图标记，省略重复的说明。另外，在各实施方式中仅说明构成的一部分的情况下，该构成的其它的部分能够应用先行说明的其它的实施方式的构成。并且，不仅是在各实施方式的说明中明示的构成的组合，只要组合并不特别产生妨碍，则即使未明示也能够部分地组合多个实施方式的构成彼此。
(第一实施方式)
如图1所示，具备第一实施方式的车辆控制装置1的自动驾驶单元ADU搭载于车辆2。车辆2在基于自主驾驶控制或者高度驾驶辅助控制的自动驾驶模式中，能够始终或者暂时地自动行驶。自动驾驶单元ADU构成为包含车辆控制装置1、壳体3、传感器系统4以及清洗系统5。另外，在以下的说明中，以水平面上的车辆2为基准定义前、后、左、右、上以及下。
如图1、2所示壳体3例如通过金属等形成为中空状的扁平箱形。壳体3设置在车辆2的车顶20上。在壳体3的壁30开有多个传感器窗31。各传感器窗31分别被板状的透光罩32覆盖。各透光罩32的外面构成光从车辆2的外界射入的射入面33。
如图2～4所示，传感器系统4具备光学传感器40。光学传感器40是获取在车辆2中能够利用于自动驾驶模式的光学信息的所谓的LiDAR(Light Detection and Ranging/Laser Imaging Detection and Ranging：光探测与测距/激光成像探测与测距)。光学传感器40具有发光元件400、拍摄元件401以及拍摄电路402。
发光元件400例如是激光二极管等产生指向性激光的半导体元件。发光元件400使朝向车辆2的外界的激光照射为断续的脉冲光束状。拍摄元件401例如是SPAD(SinglePhoton Avalanche Diode：单光子雪崩二极管)等对光高灵敏度的半导体元件。在拍摄元件401的外界侧(在本实施方式中为前侧)配置有光学传感器40专用的射入面33o。通过从外界中根据拍摄元件401的视角决定的感测区域Ao射入到射入面33o的光，对该元件401进行曝光。拍摄电路402是控制拍摄元件401中的多个像素的曝光以及扫描，并且对来自该元件401的信号进行处理进行数据化的集成电路。
在拍摄电路402通过来自发光元件400的光照射对拍摄元件401进行曝光的反射光模式中，感测区域Ao内的物点成为激光的反射点。其结果，在反射点进行了反射的激光(以下，称为反射光)通过射入面33o射入拍摄元件401。此时拍摄电路402通过对拍摄元件401的多个像素进行扫描，感测反射光。这里特别是拍摄电路402通过将根据如图4所示那样感测到的反射光的反射点距离dr按照多个像素的每一个获取的距离值作为各像素值进行三维数据化，获取图5所示那样的作为反射光图像Ior的距离图像Iord。
如图2～4所示传感器系统4除了这样的光学传感器40之外，也具备感测照相机41。感测照相机41是获取在车辆2中能够活用于自动驾驶模式的光学信息的所谓的外界照相机。感测照相机41具有拍摄元件411以及拍摄电路402。
拍摄元件411例如是CMOS等半导体元件。在拍摄元件411的外界侧(在本实施方式中是前侧)配置有感测照相机41专用的射入面33c。通过从外界中根据拍摄元件411的视角决定的感测区域Ac射入到射入面33c的光，对该元件411进行曝光。这里如图4所示感测照相机41的感测区域Ac与光学传感器40的感测区域Ao部分地重叠。感测区域Ac、Ao的重叠率，即在这些各区域Ac、Ao中重叠区域Aoc所占的比例例如在50％以上，优选在70％以上，更优选在90％以上。拍摄电路412是控制拍摄元件411中的多个像素的曝光以及扫描，并且对来自该元件411的信号进行处理进行数据化的集成电路。
在拍摄电路412对拍摄元件411进行曝光的曝光模式下，感测区域Ac内的物点成为外光的反射点。其结果，在反射点进行了反射的外光通过射入面33c并射入拍摄元件411。此时拍摄电路412通过对拍摄元件411的多个像素进行扫描，感测进行了反射的外光。这里特别是拍摄电路412通过将根据感测到的外光的强度按照多个像素的每一个获取的亮度值作为各像素值进行二维数据化，获取如图6所示那样的照相机图像Ic。
图1～3所示的清洗系统5清洗包含光学传感器40以及感测照相机41中光从感测区域Ao、Ac射入的射入面33o、33c的多个射入面33。清洗系统5对每个射入面33具备清洗模块50。各清洗模块50可以具有向射入面33例如喷射空气等清洗气体作为用于清洗射入面33的清洗流体的清洗喷嘴。各清洗模块50也可以具有向射入面33喷射清洗液作为用于清洗射入面33的清洗流体的清洗喷嘴。各清洗模块50也可以具有通过擦拭对射入面33进行清洗的清洗刮片。
图2、3所示的车辆控制装置1例如经由LAN(Local Area Network：局域网)、线束以及内部总线等中至少一种与自动驾驶单元ADU的电构成要素4、5连接。车辆控制装置1构成为包含至少一个专用计算机。构成车辆控制装置1的专用计算机可以是与车辆2内的ECU(Electronic Control Unit：电子控制单元)合作控制自动驾驶模式的驾驶控制ECU。构成车辆控制装置1的专用计算机也可以是独立地控制车辆2的行驶促动器的促动器ECU。构成车辆控制装置1的专用计算机也可以是估计包含自身位置的车辆2的状态量的定位器ECU。构成车辆控制装置1的专用计算机也可以是对车辆2的行驶路径进行导航的导航ECU。构成车辆控制装置1的专用计算机也可以是控制车辆2的信息提示系统的信息提示的HCU(HMI(Human Machine Interface：人机界面)Control Unit：HMI控制单元)。
车辆控制装置1通过构成为包含这样的专用计算机，至少各具有一个存储器10以及处理器12。存储器10是非暂时地存储能够通过计算机读取的程序以及数据等的例如半导体存储器、磁介质以及光学介质等中至少一种非迁移实体存储介质(non-transitorytangible storage medium)。处理器12例如包含CPU(Central Processing Unit：中央处理器)、GPU(Graphics Processing Unit：图形处理器)以及RISC(Reduced Instruction SetComputer：精简指令集计算机)－CPU等中至少一种作为核心。
处理器12执行存储于存储器10的车辆控制程序所包含的多个命令。由此车辆控制装置1构建多个用于控制车辆2的功能部(即，功能模块)。这样在车辆控制装置1中，为了控制车辆2而存储于存储器10的车辆控制程序使处理器12执行多个命令，从而构建多个功能部。如图3所示在通过车辆控制装置1构建的多个功能部包含有提取部100以及控制部120。
在每个控制周期在提取部100从光学传感器40输入有作为反射光图像Ior的距离图像Iord，并且从感测照相机41输入有照相机图像Ic。提取部100通过对距离图像Iord和照相机图像Ic进行对比，提取不匹配的像素组Po。为此提取部100具有像素插值部102、边缘检测部104以及匹配判定部106作为子功能部。
像素插值部102使作为反射光图像Ior的距离图像Iord、和照相机图像Ic中高分辨率侧与低分辨率侧对应地进行像素插值。这里在本实施方式中，设定为在照相机图像Ic中拍摄感测区域Ao、Ac中重叠区域Aoc的像素组的数目比距离图像Iord多。即，照相机图像Ic成为高分辨率侧，另一方面距离图像Iord成为低分辨率侧。因此像素插值部102根据距离图像Iord中的各像素坐标对照相机图像Ic中各像素坐标的像素值进行内插。作为插值的结果如图7所示像素插值部102关于重叠区域Aoc生成与距离图像Iord实质相同分辨率的照相机图像Ic。
边缘检测部104通过对进行了像素插值的照相机图像Ic实施至少一种边缘滤波处理，从该图像Ic检测边缘。边缘检测部104也通过对通过像素插值与照相机图像Ic实质成为相同分辨率的重叠区域Aoc的反射光图像Ior亦即距离图像Iord实施至少一种边缘滤波处理，从该图像Iord检测边缘。
匹配判定部106通过使作为反射光图像Ior的距离图像Iord、和照相机图像Ic中分别检测出的边缘彼此对比，判定这些图像Iord、Ic的匹配状态。此时匹配判定部106例如在通过使边缘的构成像素值相互标准化并运算差分，确认了该差分在匹配范围外的像素组的情况下等，进行不匹配的判定。这里特别是在第一实施方式中，例如通过基于图像Iord、Ic的过去与现在的对比、以及物体识别等中至少一种进行基于存在于距离图像Iord并且不存在于照相机图像Ic的水相关物质Mw(后面详述)的不匹配的判定。这是为了避免由于作为存在于照相机图像Ic并且不存在于距离图像Iord的物体的水相关物质Mw以外的例如黑色的车体等镜面反射物体而进行不匹配的判定。通过这样的判定匹配判定部106如图5那样提取距离图像Iord中与照相机图像Ic不匹配的边缘对应的像素组Po。另外，像素组是指多个像素的组，特别是判定为不匹配的情况下的像素组Po可以是相邻且连续的多个像素的组。另外为了方便说明，图5对粗实线的圆附加附图标记Po来示出不匹配的像素组Po。
如图3所示在控制部120输入有作为反射光图像Ior的距离图像Iord中通过匹配判定部106的不匹配判定提取出的像素组Po。在控制部120中如图5所示，估计为这样的不匹配的像素组Po对应于在有强度的激光的反射光中容易感测的水相关物质Mw的存在。这里水相关物质Mw例如是雨(包含水滴)、雾、水蒸气(也包含废气中的成分)、以及含有水分的污泥等中至少一种。另外，图5的例子为了方便，容易理解地示意性地示出作为水相关物质Mw的雾的存在。
在控制部120也从匹配判定部106输入成为距离图像Iord的不匹配的像素组Po上的像素值的反射点距离dr的值。因此控制部120通过与规定的设定范围的对比判定不匹配的像素组Po上的反射点距离dr的长短。这里设定范围规定为小于与反射点距离dr相关的阈值，或者在该阈值以下的范围。另外，规定设定范围的阈值例如在停止时设定为1～3m，在行驶时设定为3～10m等适当值。当然，规定设定范围的阈值也可以设定为这样的例示值的适当值。在这样的规定以及设定之下，在控制部120中，在反射点距离dr在设定范围内的情况下，预测到估计为与不匹配的像素组Po对应的水相关物质Mw附着于光学传感器40的射入面33o的可能性较高。在像这样预测为附着于射入面33o的水相关物质Mw中，作为上述的例示物质假定有雨、雾、水蒸气、以及污泥等。
由此，在判断为预测到估计为与不匹配的像素组Po对应的水相关物质Mw附着于光学传感器40的射入面33o的情况下，控制部120对自动驾驶模式中的车辆2的清洗系统5发出清洗控制的指令，以清洗光学传感器40的射入面33o。清洗系统5接受指令，通过对如图2那样与射入面33o对应的清洗模块50o进行驱动控制，执行该射入面33o的清洗处理。此时，与感测照相机41的射入面33c相关的清洗控制的指令并不必需，因此清洗模块50c也不是必需要素。但是，也可以在水相关物质Mw对光学传感器40的射入面33o的附着预测成立的情况下，视为在与该传感器40尽可能接近配置的感测照相机41的射入面33c上附着预测也成立，而发出与该面33c相关的清洗控制的指令。
以下根据图8对通过这样的功能部100、120的合作，车辆控制装置1控制车辆2的车辆控制方法的流程进行说明。另外，本流程中的各“S”分别表示通过车辆控制程序所包含的多个命令执行的多个步骤。
首先，在S101中提取部100的像素插值部102根据成为低分辨率侧的作为反射光图像Ior的距离图像Iord对高分辨率的照相机图像Ic进行像素插值。接下来，在S102中提取部100的边缘检测部104分别从距离图像Iord以及照相机图像Ic检测边缘。接着，在S103中提取部100的匹配判定部106通过使在距离图像Iord以及照相机图像Ic中检测出的边缘彼此进行对比，判定这些图像Iord、Ic的匹配状态。
在S103的结果是在作为反射光图像Ior的距离图像Iord中提取到判定为与照相机图像Ic不匹配的像素组Po的情况下，本流程移至S104。在S104中控制部120基于该不匹配的像素组Po的反射点距离dr判定是否能够预测到估计为与不匹配的像素组Po对应的水相关物质Mw附着于光学传感器40的射入面33o。
在S104的结果是由于不匹配的像素组Po的反射点距离dr在设定范围内，而能够预测到水相关物质Mw对射入面33o的附着的情况下，本流程移至S105。在S105中控制部120向清洗系统5发出执行对光学传感器40的射入面33o的清洗控制的指令，作为自动驾驶模式中的车辆2的控制。
另外，在S103的结果是未提取到判定为不匹配的像素组Po的完全匹配的情况、和S104的结果是未预测到水相关物质Mw的向射入面33o的附着的情况下，本流程移至S106。在S106中控制部120向清洗系统5发出清洗控制的停止的指令。根据以上在第一实施方式中，S101、S102、S103相当于提取工序，S104、S105、S106相当于控制工序。
(作用效果)
以下对以上说明的第一实施方式的作用效果进行说明。
根据第一实施方式，对通过对于光照射的反射光的感测由光学传感器40获取的反射光图像Ior、和根据在与该传感器40重叠的感测区域Ac的外光强度通过感测照相机41获取的照相机图像Ic进行对比。能够准确地估计为通过这样的对比提取出的不匹配的像素组Po与容易感测反射光的水相关物质Mw，即容易映在反射光图像Ior的水相关物质Mw对应。因此，根据作为估计的结果向车辆2发出与水相关物质Mw对应的控制的指令，能够提高该车辆控制的适当性。
根据第一实施方式，为了清洗光学传感器40中光从感测区域Ao射入的射入面33o，在车辆2搭载清洗系统5。据此，能够准确地估计为根据分别通过光学传感器40以及感测照相机41获取的反射光图像Ior以及照相机图像Ic的对比提取的不匹配的像素组Po与水相关物质Mw对应。因此，根据对于作为估计的结果预测为附着水相关物质Mw的可能性较高的射入面33o，向自动驾驶模式中的车辆2的清洗系统5发出清洗控制的指令，能够提高该清洗控制的适当性。
根据第一实施方式，作为与对于光照射的反射光的反射点距离dr对应的反射光图像Ior，将距离图像Iord与照相机图像Ic对比。能够准确地估计为通过这样的对比提取出的不匹配的像素组Po与容易感测反射点距离dr的水相关物质Mw，即容易映在距离图像Iord的水相关物质Mw对应。因此，作为估计的结果发出与水相关物质Mw对应的清洗控制的指令，能够提高该清洗控制的适当性。
根据第一实施方式，在不匹配的像素组Po中，特别是作为反射光图像Ior的距离图像Iord中的反射点距离dr在设定范围内的像素组Po能够准确地估计为与预测为位于该设定范围内且容易附着于光学传感器40的射入面33o的水相关物质Mw对应。因此，能够适当地发出指令控制附着水相关物质Mw的可能性较高的状况下的射入面33o的清洗。
根据第一实施方式那样的反射光图像Ior与照相机图像Ic的边缘彼此的对比，容易从这些边缘准确地捕捉并提取不匹配的像素组Po。因此，能够适当地发出指令并执行与估计为与不匹配的像素组Po对应的水相关物质Mw对应的控制。
根据第一实施方式，根据反射光图像Ior和照相机图像Ic中低分辨率侧对高分辨率侧进行像素插值，之后对这些图像Ior、Ic进行对比。根据这样的对比，能够抑制本来应该匹配的像素组由于分辨率的不同而被误提取的情况。因此，能够适当地发出指令并执行与估计为与不匹配的像素组Po对应的水相关物质Mw对应的控制。
(第二实施方式)
第二实施方式是第一实施方式的变形例。
如图9所示在第二实施方式的车辆2内搭载有行驶控制装置6。行驶控制装置6通过与自动驾驶单元ADU合作，基于传感器系统4的各种感测信息执行包含自动模式的车辆2的行驶控制。为此行驶控制装置6构成为例如包含在第一实施方式说明的车辆2内的ECU等至少一个专用计算机。另外，第二实施方式的清洗系统5并不是必需的，在图9中，省略该系统5的图示。
在第二实施方式的控制部2120中，不输入不匹配的像素组Po中的反射点距离dr，并省略该距离dr长短判定。因此控制部2120向车辆2的行驶控制装置6发出自动驾驶模式中的行驶控制的指令，以使估计为与水相关物质Mw对应的不匹配的像素组Po从作为障碍物的识别中排除。
在这样的第二实施方式的车辆控制方法的流程中，如图10所示，依照第一实施方式执行S101、S102、S103，另一方面代替S104、S105、S106而执行S205、S206。具体而言在S205中控制部2120向车辆2的行驶控制装置6发出自动驾驶模式中的行驶控制的指令，以使水相关物质Mw从作为障碍物的识别中排除。与此相对，在S206中控制部2120向行驶控制装置6发出使水相关物质Mw从障碍物识别排除的行驶控制的停止的指令。根据以上在第二实施方式中，S101、S102、S103相当于提取工序，S205、S206相当于控制工序。
(作用效果)
以下对以上说明的第二实施方式的作用效果进行说明。
根据第二实施方式，向车辆2发出自动驾驶模式中的行驶控制的指令，以使估计为与根据反射光图像Ior以及照相机图像Ic的对比提取出的不匹配的像素组Po对应的水相关物质Mw从作为障碍物的识别中排除。据此，通过抑制了将水相关物质Mw误识别为障碍物的情况的适当的行驶控制，能够确保自动驾驶模式的持续性。
(第三实施方式)
第三实施方式是第一实施方式的变形例。
如图11所示第三实施方式的光学传感器3040具有基于第一实施方式的光照射中的反射光图像Ior的获取功能，并且具有该光照射的停止中的图像获取功能。具体而言，拍摄电路3402在从发光元件400的断续的光照射的停止中对拍摄元件401进行曝光的外光模式下，感测区域Ao内的物点成为外光的反射点。其结果，在反射点进行了反射的外光通过射入面33o射入拍摄元件401。此时拍摄电路3402通过扫描拍摄元件401的多个像素，感测反射的外光。
这里特别是拍摄电路3402通过将根据感测到的外光的强度按照多个像素的每一个获取的亮度值作为各像素值进行二维数据化，获取图12所示那样的外光图像Ioo。此时，外光图像Ioo的获取功能中的外光的感测与反射光图像Ior的获取功能中的反射光的感测通过同一拍摄元件401实现。另外，第三实施方式的感测照相机41并不是必需的，在图11中，省略该照相机41的图示。
在第三实施方式的提取部3100中，在每个控制周期从光学传感器3040依次输入有作为反射光图像Ior的距离图像Iord、和外光图像Ioo。在提取部3100中，通过上述的同一元件401的感测，省略作为子功能部的像素插值部102。另外，提取部3100在代替照相机图像Ic的外光图像Ioo与反射光图像Ior之间根据第一实施方式实现边缘检测部104以及匹配判定部106的各功能。
在这样的第三实施方式的车辆控制方法的流程中，如图13所示，首先在S302中提取部3100的边缘检测部104分别从作为反射光图像Ior的距离图像Iord、和外光图像Ioo检测边缘。接下来，在S303中提取部3100的匹配判定部106通过使在距离图像Iord以及外光图像Ioo中检测到的边缘彼此进行对比，判定这些图像Iord、Ioo的匹配状态。
另外，S303后的S104、S105、S106根据第一实施方式执行。根据以上在第三实施方式中，S302、S303相当于提取工序，S104、S105、S106相当于控制工序。
(作用效果)
以下对以上说明的第三实施方式的作用效果进行说明。
根据第三实施方式，对通过对于光照射的反射光的感测由光学传感器3040获取的反射光图像Ior、和在该光照射的停止中根据外光强度而由该传感器3040获取的外光图像Ioo进行对比。能够准确地估计为通过这样的对比提取的不匹配的像素组Po与容易感测反射光的水相关物质Mw，即容易映在反射光图像Ior的水相关物质Mw对应。因此，根据作为估计的结果向车辆2发出与水相关物质Mw对应的控制的指令，能够提高该车辆控制的适当性。
根据第三实施方式，为了清洗光学传感器3040中光从感测区域Ao射入的射入面33o，在车辆2搭载清洗系统5。据此，能够准确地估计为根据通过光学传感器3040获取的反射光图像Ior以及外光图像Ioo的对比提取的不匹配的像素组Po与水相关物质Mw对应。因此，根据对于作为估计的结果预测到附着水相关物质Mw的可能性的射入面33o，向自动驾驶模式中的车辆2的清洗系统5发出清洗控制的指令，能够提高该清洗控制的适当性。
根据第三实施方式，作为与对于光照射的反射光的反射点距离dr对应的反射光图像Ior，将距离图像Iord与外光图像Ioo进行对比。能够准确地估计为通过这样的对比提取的不匹配的像素组Po与容易感测反射点距离dr的水相关物质Mw，即容易映在距离图像Iord的水相关物质Mw对应。因此，作为估计的结果发出与水相关物质Mw对应的清洗控制的指令，能够提高该清洗控制的适当性。
根据第三实施方式，在不匹配的像素组Po中，特别是作为反射光图像Ior的距离图像Iord中的反射点距离dr在设定范围内的像素组Po能够准确地估计为与预测为位于该设定范围内且容易附着于光学传感器3040的射入面33o的水相关物质Mw对应。因此，能够适当地发出指令控制附着水相关物质Mw的可能性较高的状况下的射入面33c的清洗。
根据第三实施方式，对于在光学传感器3040中与外光强度通过同一元件401感测到的反射点距离dr，能够抑制由于这些感测间的轴偏移而在与设定范围的内外判定中产生错误的情况。因此，能够适当地发出指令并控制与反射点距离dr在设定范围内的像素组Po对应地预料到水相关物质Mw的附着的射入面33o的清洗。
(第四实施方式)
第四实施方式是第三实施方式的变形例。
如图14所示在第四实施方式的车辆2内搭载有基于第二实施方式的行驶控制装置6。与此同时，第四实施方式的控制部4120具有基于第二实施方式的行驶控制的指令功能。另外，第四实施方式的清洗系统5也不是必需的，在图14中，省略该系统5的图示。
在这样的第四实施方式的车辆控制方法的流程中，如图15所示，根据第三实施方式执行S302、S303，另一方面代替S104、S105、S106而执行根据第二实施方式的S205、S206的S405、S406。即在S405中控制部4120向车辆2的行驶控制装置6发出自动驾驶模式中的行驶控制的指令，以使水相关物质Mw从作为障碍物的识别中排除。与此相对，在S406中控制部4120向行驶控制装置6发出使水相关物质Mw从障碍物识别中排除的行驶控制的停止的指令。根据以上在第四实施方式中，S302、S303相当于提取工序，S405、S406相当于控制工序。
(作用效果)
以下对以上说明的第四实施方式的作用效果进行说明。
根据第四实施方式，向车辆2发出自动驾驶模式中的行驶控制的指令，以使估计为与根据反射光图像Ior以及外光图像Ioo的对比提取出的不匹配的像素组Po对应的水相关物质Mw从作为障碍物的识别中排除。据此，通过抑制了将水相关物质Mw误识别为障碍物的情况的适当的行驶控制，能够确保自动驾驶模式的持续性。
(第五实施方式)
第五实施方式是第一实施方式的变形例。以下，在第五实施方式的说明中，将感测照相机41的射入面33c称为照相机射入面33c，另一方面将光学传感器40的射入面33o称为光学射入面33o。
如图16所示在应用于第五实施方式的第一实施方式的感测照相机41中，光从与光学传感器40重叠的感测区域Ac射入的照相机射入面33c与将该射入光成像到拍摄元件411的成像透镜系统413的外界侧焦点位置pf相比，在光轴L上配置在内界侧。即照相机射入面33c位于成像透镜系统413中的感测区域Ac侧的焦距df内。这里在焦距df内，在感测照相机41的照相机图像Ic中，即使通过边缘滤波处理也未检测到水相关物质Mw的边缘的可能性变高。
如图17所示第五实施方式的提取部5100除了像素插值部102、边缘检测部104以及匹配判定部106之外，还具有搜索部5108作为子功能部。搜索部5108搜索光学传感器40的距离图像Iord中反射点距离dr在设定范围Δd内的物标(以下，也称为设定范围内物标)。这是指搜索反射点距离dr在设定范围Δd内的光学射入面33o附近的物点。这里第五实施方式中的设定范围Δd根据成像透镜系统413中的感测区域Ac侧的焦距df，设定为在光学传感器40的距离图像Iord中通过边缘滤波处理能够检测水相关物质Mw的边缘的范围。
在这样的第五实施方式中，在分别对包含通过搜索部5108搜索的设定范围内物标的距离图像Iord、和通过像素插值部102进行了像素插值的照相机图像Ic进行基于边缘检测部104的边缘检测后，通过匹配判定部106使边缘彼此对比。由此进行匹配状态的判定的匹配判定部106能够提取距离图像Iord中表示设定范围内物标的边缘的像素组Po，作为与照相机图像Ic不匹配的像素组Po。
因此第五实施方式的控制部5120在提取了表示设定范围内物标的边缘的不匹配的像素组Po的情况下，判断为预测到估计为与该不匹配的像素组Po对应的水相关物质Mw附着于光学射入面33o。即，在不匹配的像素组Po中的反射点距离dr在与焦距df对应的设定范围Δd内的情况下，通过控制部5120预测为水相关物质Mw附着于光学射入面33o。
这样，由于不匹配的像素组Po中的反射点距离dr在设定范围Δd内，而判断为预料到水相关物质Mw附着于光学射入面33o的控制部5120向清洗系统5发出利用清洗气体的光学射入面33o的清洗控制的指令。在该清洗控制指令后控制部5120在通过提取部5100从距离图像Iord提取了成为设定范围Δd内的反射点距离dr的像素组Po的情况下，进一步对清洗系统5发出利用清洗液的光学射入面33o的清洗控制的指令。通过在成为利用清洗气体的清洗控制指令后的最新的距离图像Iord中也通过边缘检测部104对该指令前的距离图像Iord中的不匹配的像素组Po进行边缘检测来实现此时像素组Po的提取。另外，在利用清洗气体的清洗控制指令后，在距离图像Iord不存在成为设定范围Δd内的反射点距离dr的像素组Po的情况下，从控制部5120向清洗系统5发出清洗控制的停止的指令。
在这样的第五实施方式的车辆控制方法的流程中，如图18所示，在S500中提取部5100的搜索部5108搜索距离图像Iord中反射点距离dr在设定范围Δd内的物标，即设定范围内物标。其结果，在搜索到设定范围内物标的情况下，本流程移至S501。
在S501中提取部5100的像素插值部102根据成为低分辨率侧的作为反射光图像Ior的距离图像Iord对高分辨率的照相机图像Ic进行像素插值。接下来，在S502中提取部5100的边缘检测部104分别从距离图像Iord以及照相机图像Ic检测边缘。
接着，在S503中提取部5100的匹配判定部106通过使在距离图像Iord以及照相机图像Ic中检测出的边缘彼此进行对比，判定这些图像Iord、Ic的匹配状态。其结果，在提取了距离图像Iord中表示设定范围内物标的边缘的像素组Po作为与照相机图像Ic不匹配的像素组Po的情况下，本流程移至S504。
在S504中控制部5120估计为表示设定范围内物标的边缘的不匹配的像素组Po与预测到附着于光学射入面33o的水相关物质Mw对应。换句话说，预测到估计为与不匹配的像素组Po对应的水相关物质Mw附着于光学射入面33o。因此，在接下来的S505中控制部5120向清洗系统5发出利用清洗气体的对光学射入面33o的清洗控制的执行的指令，作为自动驾驶模式中的车辆2的控制。
在利用清洗气体的对光学射入面33o的清洗控制指令后的S506中判定提取部5100的边缘检测部104是否从距离图像Iord提取了成为设定范围Δd内的反射点距离dr的像素组Po。其结果，在边缘检测部104提取了成为设定范围Δd内的反射点距离dr的像素组Po的情况下，本流程移至S507。在S507中控制部5120向清洗系统5发出利用清洗液的对光学射入面33o的清洗控制的执行的指令，作为自动驾驶模式中的车辆2的控制。
另一方面在S506的结果是边缘检测部104未提取到成为设定范围Δd内的反射点距离dr的像素组Po的情况下，本流程移至S508，从而控制部5120向清洗系统5发出清洗控制的停止的指令。另外，在S500的结果是未搜索到设定范围内的物标的情况、和S503的结果是未提取到表示设定范围内物标的边缘的像素组Po的完全匹配的情况下，本流程也移至S508，从而控制部5120向清洗系统5发出清洗控制的停止的指令。根据以上在第五实施方式中，S500、S501、S502、S503、S506相当于提取工序，S504、S505、S507、S508相当于控制工序。
(作用效果)
以下对以上说明的第五实施方式的作用效果进行说明。
根据第五实施方式，感测照相机41中光从与光学传感器40重叠的感测区域Ac射入的照相机射入面33c位于将该射入光成像到拍摄元件411的成像透镜系统413中的该感测区域Ac侧的焦距df内。据此，在不匹配的像素组Po中的反射点距离dr在与焦距df对应的设定范围Δd内的情况下，预测为水相关物质Mw的附着的判断正确。因此，能够适当地发出指令并控制附着水相关物质Mw的可能性较高的状况下的射入面33o的清洗。
根据第五实施方式，在反射点距离dr在设定范围Δd内的情况下向清洗系统5发出利用清洗气体的清洗控制的指令，之后在提取部从距离图像Iord提取了成为设定范围Δd内的反射点距离dr的像素组Po的情况下，向清洗系统5发出利用清洗液的清洗控制的指令。据此，通过根据水相关物质Mw的种类或者附着状态分开使用清洗气体和清洗液，能够实现清洗液的节约。例如，若水相关物质Mw为雨，雾，或者水蒸气等，则即使是清洗气体也容易完成清洗，所以清洗液能够有效利用于作为水相关物质Mw的污泥等的清洗。
(其它的实施方式)
以上，对多个实施方式进行了说明，但本公开并不限定于这些实施方式进行解释，能够在不脱离本公开的主旨的范围内应用于各种实施方式以及组合。
在变形例中构成车辆控制装置1的专用计算机也可以是能够在与车辆2之间进行通信的至少一个外部中心计算机。在变形例中构成车辆控制装置1的专用计算机也可以包含数字电路以及模拟电路中至少一方作为处理器。这里数字电路例如是指ASIC(Application Specific Integrated Circuit：专用集成电路)、FPGA(FieldProgrammable Gate Array：现场可编程门阵列)、SOC(System on a Chip：芯片级系统)、PGA(Programmable Gate Array：可编程门阵列)以及CPLD(Complex Programmable LogicDevice：复杂可编程逻辑器件)等中至少一种。另外这样的数字电路也可以具有储存了程序的存储器。
在变形例中形成射入面33o的透光罩32也可以设置于光学传感器40、3040。在变形例中也可以通过光学传感器40、3040中的例如透镜等光学部件形成射入面33o。
在变形例中在光学传感器40、3040中，也可以获取将对多个像素的每一个根据反射光强度获取的亮度值作为各像素值进行了二维数据化的强度图像，作为反射光图像Ior。该情况下，在照相机图像Ic或者外光图像Ioo与作为反射光图像Ior的强度图像之间实现构成提取部100、3100的各子功能部的功能。但是，在这种情况下，第一以及第三实施方式的基于控制部120的反射点距离dr的判定功能既可以基于作为反射光图像Ior的距离图像Iord实施，也可以省略。
在变形例中如图19、20所示也可以省略第一以及第三实施方式的S104。即在车辆控制方法的流程中，也可以仅根据S103或者S303中的不匹配判定，预测水相关物质Mw的附着于射入面33o的可能性，而执行S105。
在变形例中也可以如图21所示组合实现第一实施方式和第二实施方式。即，也可以在作为S104的结果未预测到水相关物质Mw向射入面33o的附着的情况下，车辆控制方法的流程移至S205，并且在作为S103的结果完全匹配的情况下，该流程依次移至S106、S206。
在变形例中也可以如图22所示组合实现第三实施方式和第四实施方式。即，也可以在作为S104的结果未预测到水相关物质Mw向射入面33o的附着的情况下，车辆控制方法的流程移至S405，并且在作为S303的结果完全匹配的情况下，该流程依次移至S106、S406。
在变形例中也可以代替第五实施方式的清洗控制或者在该清洗控制的基础上执行基于第二实施方式的行驶控制。在变形例中也可以代替执行第五实施方式的S505～S507，而执行控制部5120向清洗系统5发出利用清洗气体以及清洗液的至少一方的清洗控制的指令的步骤。在变形例中在第五实施方式的S506中，也可以通过执行基于S500～S503的处理，通过提取部5100的边缘检测部104实现像素组Po的提取判定。在变形例中在第一以及第三实施方式的S105中，也可以执行基于第五实施方式的S506～S508的步骤(但是，设定范围是在第一实施方式中定义的范围)。

Claims (27)

1.一种车辆控制装置，控制车辆(2)，在该车辆搭载了通过对于光照射的反射光的感测获取反射光图像(Ior)的光学传感器(40)、和获取与上述光学传感器重叠的感测区域(Ac)中的外光强度对应的照相机图像(Ic)的感测照相机(41)，上述车辆控制装置具备：
提取部(100、5100)，通过对上述反射光图像与上述照相机图像进行对比，提取不匹配的像素组(Po)；以及
控制部(120、2120、5120)，向上述车辆发出与估计为与上述不匹配的像素组对应的水相关物质(Mw)对应的控制的指令。
2.根据权利要求1所述的车辆控制装置，其中，
在上述车辆搭载有清洗系统(5)，以清洗上述光学传感器中光从感测区域(Ao)射入的射入面(33o)，
上述控制部(120)在预测到与上述不匹配的像素组对应的上述水相关物质向上述射入面的附着的情况下，向自动驾驶模式中的上述车辆的上述清洗系统发出对上述射入面的清洗控制的指令。
3.根据权利要求2所述的车辆控制装置，其中，
上述提取部将与对于上述光照射的反射光的反射点距离(dr)对应的作为上述反射光图像的距离图像(Iord)与上述照相机图像进行对比，
上述控制部在上述不匹配的像素组中的上述反射点距离在设定范围内的情况下，判断为预测到上述水相关物质的附着。
4.根据权利要求3所述的车辆控制装置，其中，
在上述感测照相机中，光从与上述光学传感器重叠的感测区域(Ac)射入的射入面(33c)位于将该射入光成像到拍摄元件(411)的成像透镜系统(413)中的该感测区域(Ac)侧的焦距(df)内，
上述控制部(5120)在上述不匹配的像素组中的上述反射点距离在与上述焦距对应的上述设定范围内的情况下，判断为预测到上述水相关物质的附着。
5.根据权利要求3或者4所述的车辆控制装置，其中，
上述控制部(5120)在上述反射点距离在上述设定范围内的情况下，向上述清洗系统发出利用清洗气体的清洗控制的指令，之后在通过上述提取部(5100)从上述距离图像提取了成为上述设定范围内的上述反射点距离的像素组的情况下，向上述清洗系统发出利用清洗液的清洗控制的指令。
6.一种车辆控制装置，控制车辆(2)，在该车辆搭载了通过对于光照射的反射光的感测获取反射光图像(Ior)并且在上述光照射的停止中获取与外光强度对应的外光图像(Ioo)的光学传感器(3040)，上述车辆控制装置具备：
提取部(3100)，通过对上述反射光图像与上述外光图像进行对比，提取不匹配的像素组(Po)；以及
控制部(120、4120)，向上述车辆发出与估计为与上述不匹配的像素组对应的水相关物质(Mw)对应的控制的指令。
7.根据权利要求6所述的车辆控制装置，其中，
在上述车辆搭载有清洗系统(5)，以清洗上述光学传感器中光从感测区域(Ao)射入的射入面(33o)，
上述控制部(120)在预测到与上述不匹配的像素组对应的上述水相关物质向上述射入面的附着的情况下，向自动驾驶模式中的上述车辆的上述清洗系统发出对上述射入面的清洗控制的指令。
8.根据权利要求7所述的车辆控制装置，其中，
上述提取部将与对于上述光照射的反射光的反射点距离对应的作为上述反射光图像的距离图像(Iord)与上述外光图像进行对比，
上述控制部在上述不匹配的像素组中的上述反射点距离在设定范围内的情况下，判断为预测到上述水相关物质的附着。
9.根据权利要求1～8中任意一项所述的车辆控制装置，其中，
上述控制部(2120、4120)发出自动驾驶模式中的上述车辆的行驶控制的指令，以将估计为与上述不匹配的像素组对应的上述水相关物质从作为障碍物的识别中排除。
10.一种车辆控制方法，是控制车辆(2)的车辆控制方法，在该车辆搭载了通过对于光照射的反射光的感测获取反射光图像(Ior)的光学传感器(40)、和获取与上述光学传感器重叠的感测区域(Ac)中的外光强度对应的照相机图像(Ic)的感测照相机(41)，上述车辆控制方法包含：
提取工序(S101、S102、S103、S500、S501、S502、S503、S506)，通过对上述反射光图像与上述照相机图像进行对比，提取不匹配的像素组(Po)；以及
控制工序(S104、S105、S106、S205、S206、S504、S505、S507、S508)，向上述车辆发出与估计为与上述不匹配的像素组对应的水相关物质(Mw)对应的控制的指令。
11.根据权利要求10所述的车辆控制方法，其中，
在上述车辆搭载有清洗系统(5)，以清洗上述光学传感器中光从感测区域(Ao)射入的射入面(33o)，
上述控制工序(S104、S105、S106、S504、S505、S507、S508)在预测到与上述不匹配的像素组对应的上述水相关物质向上述射入面的附着的情况下，向自动驾驶模式中的上述车辆的上述清洗系统发出对上述射入面的清洗控制的指令。
12.根据权利要求11所述的车辆控制方法，其中，
上述提取工序将与对于上述光照射的反射光的反射点距离(dr)对应的作为上述反射光图像的距离图像(Iord)与上述照相机图像进行对比，
上述控制工序在上述不匹配的像素组中的上述反射点距离在设定范围内的情况下，判断为预测到上述水相关物质的附着。
13.根据权利要求12所述的车辆控制方法，其中，
在上述感测照相机中，光从与上述光学传感器重叠的感测区域(Ac)射入的射入面(33c)位于将该射入光成像到拍摄元件(411)的成像透镜系统(413)中的该感测区域(Ac)侧的焦距(df)内，
上述控制工序(S504、S505、S507、S508)在上述不匹配的像素组中的上述反射点距离在与上述焦距对应的上述设定范围内的情况下，判断为预测到上述水相关物质的附着。
14.根据权利要求12或者13所述的车辆控制方法，其中，
上述控制工序(S504、S505、S507、S508)在上述反射点距离在上述设定范围内的情况下，向上述清洗系统发出利用清洗气体的清洗控制的指令，之后在通过上述提取工序(S506)从上述距离图像提取了成为上述设定范围内的上述反射点距离的像素组的情况下，向上述清洗系统发出利用清洗液的清洗控制的指令。
15.一种车辆控制方法，是控制车辆(2)的车辆控制方法，在该车辆搭载了通过对于光照射的反射光的感测获取反射光图像(Ior)并且在上述光照射的停止中获取与外光强度对应的外光图像(Ioo)的光学传感器(3040)，上述车辆控制方法包含：
提取工序(S302、S303)，通过对上述反射光图像与上述外光图像进行对比，提取不匹配的像素组(Po)；以及
控制工序(S104、S105、S106、S405、S406)，向上述车辆发出与估计为与上述不匹配的像素组对应的水相关物质(Mw)对应的控制的指令。
16.根据权利要求15所述的车辆控制方法，其中，
在上述车辆搭载有清洗系统(5)，以清洗上述光学传感器中光从感测区域(Ao)射入的射入面(33o)，
上述控制工序(S104、S105、S106)在预测到与上述不匹配的像素组对应的上述水相关物质向上述射入面的附着的情况下，向自动驾驶模式中的上述车辆的上述清洗系统发出对上述射入面的清洗控制的指令。
17.根据权利要求16所述的车辆控制方法，其中，
上述提取工序将与对于上述光照射的反射光的反射点距离对应的作为上述反射光图像的距离图像(Iord)与上述外光图像进行对比，
上述控制工序在上述不匹配的像素组中的上述反射点距离在设定范围内的情况下，判断为预测到上述水相关物质的附着。
18.根据权利要求10～17中任意一项所述的车辆控制方法，其中，
上述控制工序(S205、S206、S405、S406)发出自动驾驶模式中的上述车辆的行驶控制的指令，以将与上述不匹配的像素组对应的上述水相关物质从作为障碍物的识别中排除。
19.一种车辆控制程序，是包含为了控制车辆(2)，而使处理器(12)执行的命令的车辆控制程序，在该车辆搭载了通过对于光照射的反射光的感测获取反射光图像(Ior)的光学传感器(40)、和获取与上述光学传感器重叠的感测区域(Ac)中的外光强度对应的照相机图像(Ic)的感测照相机(41)，
上述命令包含：
提取工序(S101、S102、S103、S500、S501、S502、S503、S506)，使上述处理器通过对上述反射光图像与上述照相机图像进行对比，提取不匹配的像素组；以及
控制工序(S104、S105、S106、S205、S206、S504、S505、S507、S508)，使上述处理器向上述车辆发出与估计为与上述不匹配的像素组对应的水相关物质(Mw)对应的控制的指令。
20.根据权利要求19所述的车辆控制程序，其中，
在上述车辆搭载有清洗系统(5)，以清洗上述光学传感器中光从感测区域(Ao)射入的射入面(33o)，
上述控制工序(S104、S105、S106、S504、S505、S507、S508)在预测到与上述不匹配的像素组对应的上述水相关物质向上述射入面的附着的情况下，使上述处理器向自动驾驶模式中的上述车辆的上述清洗系统发出对上述射入面的清洗控制的指令。
21.根据权利要求20所述的车辆控制程序，其中，
上述提取工序使上述处理器将与对于上述光照射的反射光的反射点距离(dr)对应的作为上述反射光图像的距离图像(Iord)与上述照相机图像进行对比，
上述控制工序使上述处理器在上述不匹配的像素组中的上述反射点距离在设定范围内的情况下，判断为预测到上述水相关物质的附着。
22.根据权利要求21所述的车辆控制程序，其中，
在上述感测照相机中，光从与上述光学传感器重叠的感测区域(Ac)射入的射入面(33c)位于将该射入光成像到拍摄元件(411)的成像透镜系统(413)中的该感测区域(Ac)侧的焦距(df)内，
上述控制工序(S504、S505、S507、S508)使上述处理器在上述不匹配的像素组中的上述反射点距离在与上述焦距对应的上述设定范围内的情况下，判断为预测到上述水相关物质的附着。
23.根据权利要求21或者22所述的车辆控制程序，其中，
上述控制工序(S504、S505、S507、S508)使上述处理器在上述反射点距离在上述设定范围内的情况下，向上述清洗系统发出利用清洗气体的清洗控制的指令，之后在通过上述提取工序(S506)从上述距离图像提取了成为上述设定范围内的上述反射点距离的像素组的情况下，向上述清洗系统发出利用清洗液的清洗控制的指令。
24.一种车辆控制程序，是包含为了控制车辆(2)，而使处理器(12)执行的命令的车辆控制程序，在该车辆搭载了通过对于光照射的反射光的感测获取反射光图像(Ior)并且在上述光照射的停止中获取与外光强度对应的外光图像(Ioo)的光学传感器(3040)，
上述命令包含：
提取工序(S302、S303)，使上述处理器通过对上述反射光图像与上述外光图像进行对比，提取不匹配的像素组；以及
控制工序(S104、S105、S106、S405、S406)，使上述处理器向上述车辆发出与估计为与上述不匹配的像素组对应的水相关物质(Mw)对应的控制的指令。
25.根据权利要求24所述的车辆控制程序，其中，
在上述车辆搭载有清洗系统(5)，以清洗上述光学传感器中光从感测区域(Ao)射入的射入面(33o)，
上述控制工序(S104、S105、S106)使上述处理器在估计为在上述射入面附着了与上述不匹配的像素组对应的上述水相关物质的情况下，向自动驾驶模式中的上述车辆的上述清洗系统发出对上述射入面的清洗控制的指令。
26.根据权利要求25所述的车辆控制程序，其中，
上述提取工序使上述处理器将与对于上述光照射的反射光的反射点距离对应的作为上述反射光图像的距离图像(Iord)与上述外光图像进行对比，
上述控制工序使上述处理器在上述不匹配的像素组中的上述反射点距离在设定范围内的情况下，判断为预测到上述水相关物质的附着。
27.根据权利要求19～26中任意一项所述的车辆控制程序，其中，
上述控制工序(S205、S206、S405、S406)发出自动驾驶模式中的上述车辆的行驶控制的指令，以将与上述不匹配的像素组对应的上述水相关物质从作为障碍物的识别中排除。
CN202180055171.2A 2020-09-11 2021-08-20 车辆控制装置、车辆控制方法、车辆控制程序 Pending CN116076078A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2020153238 2020-09-11
JP2020-153238 2020-09-11
JP2021-124655 2021-07-29
JP2021124655A JP2022047499A (ja) 2020-09-11 2021-07-29 車両制御装置、車両制御方法、車両制御プログラム
PCT/JP2021/030490 WO2022054532A1 (ja) 2020-09-11 2021-08-20 車両制御装置、車両制御方法、車両制御プログラム

Publications (1)

Publication Number Publication Date
CN116076078A true CN116076078A (zh) 2023-05-05

Family

ID=80631603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180055171.2A Pending CN116076078A (zh) 2020-09-11 2021-08-20 车辆控制装置、车辆控制方法、车辆控制程序

Country Status (3)

Country Link
US (1) US20230219532A1 (zh)
CN (1) CN116076078A (zh)
WO (1) WO2022054532A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022152402A (ja) * 2021-03-29 2022-10-12 本田技研工業株式会社 認識装置、車両システム、認識方法、およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3669320B2 (ja) * 2001-10-04 2005-07-06 日産自動車株式会社 車間距離計測装置
JP5879990B2 (ja) * 2011-12-06 2016-03-08 株式会社リコー 付着物検出装置及び付着物検出方法
JP6003396B2 (ja) * 2012-08-23 2016-10-05 マツダ株式会社 撮像装置、車載用監視装置および対象物検知方法
JP6942966B2 (ja) * 2016-03-16 2021-09-29 株式会社リコー 物体検出装置及び移動体装置
US10757320B2 (en) * 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
JP2020076589A (ja) * 2018-11-06 2020-05-21 日本電産モビリティ株式会社 対象物検出装置
US10921485B2 (en) * 2019-02-26 2021-02-16 Ford Global Technologies, Llc Illuminator obstruction detection to identify an obstruction on an optical window
US20240101073A1 (en) * 2019-10-18 2024-03-28 Koito Manufacturing Co., Ltd. Vehicle lamp system, foreign substance determination device, and foreign substance determination method

Also Published As

Publication number Publication date
WO2022054532A1 (ja) 2022-03-17
US20230219532A1 (en) 2023-07-13

Similar Documents

Publication Publication Date Title
US11270134B2 (en) Method for estimating distance to an object via a vehicular vision system
EP2682896B1 (en) In-vehicle apparatus
US20170030722A1 (en) Vehicle localization system
US9656691B2 (en) Method for performing an at least semi-autonomous parking process of a motor vehicle in a garage, parking assistance system and motor vehicle
US20170262716A1 (en) Object recognition apparatus
US20200177872A1 (en) Vehicle sensor calibration
CN104870256A (zh) 车载用控制装置
JP2008060874A (ja) 車載カメラ及び車載カメラ用付着物検出装置
CN113492851A (zh) 车辆控制装置、车辆控制方法以及车辆控制用计算机程序
CN113435237B (zh) 物体状态识别装置、识别方法和计算机可读的记录介质以及控制装置
US20210394761A1 (en) Method and Processing Unit for Determining Information With Respect to an Object in an Environment of a Vehicle
JP3612970B2 (ja) トンネル検出装置及びそれを用いた車両制御装置
US11657624B2 (en) Image processor and image processing method for parking frame estimation on a road surface
US20230219532A1 (en) Vehicle control device, vehicle control method, and computer program product
CN113650607B (zh) 一种低速场景自动驾驶方法、系统及汽车
CN113496617B (zh) 检测空置停车位的系统和方法
JP7484783B2 (ja) 車線境界検出装置、車線境界検出方法及び車線境界検出用コンピュータプログラム
JP2022047499A (ja) 車両制御装置、車両制御方法、車両制御プログラム
CN116133910A (zh) 清洗控制装置、清洗控制方法、清洗控制程序
JP2018169924A (ja) 学習データ収集装置、学習データ収集システムおよび学習データ収集方法
CN116547726A (zh) 在下雨、入射光线和脏污时对摄像装置的图像的修正
JP2022075247A (ja) 汚れ検出装置、汚れ検出方法、及び汚れ検出プログラム
US20230286467A1 (en) Vehicle control device, vehicle control method, and storage medium storing vehicle control program
JP7452374B2 (ja) 物体検知装置および物体検知プログラム
EP3480726B1 (en) A vision system and method for autonomous driving and/or driver assistance in a motor vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination