CN110920569A - 车辆传感器清洁 - Google Patents

车辆传感器清洁 Download PDF

Info

Publication number
CN110920569A
CN110920569A CN201910888194.6A CN201910888194A CN110920569A CN 110920569 A CN110920569 A CN 110920569A CN 201910888194 A CN201910888194 A CN 201910888194A CN 110920569 A CN110920569 A CN 110920569A
Authority
CN
China
Prior art keywords
vehicle
cleaning
priority
sensor
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910888194.6A
Other languages
English (en)
Inventor
大卫·迈克尔·赫尔曼
苏尼尔·帕蒂尔
文卡特什·克里希南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN110920569A publication Critical patent/CN110920569A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833—Optical rain sensor
    • B60S1/0844—Optical rain sensor including a camera
    • B60S1/0848—Cleaning devices for cameras on vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/46—Cleaning windscreens, windows or optical devices using liquid; Windscreen washers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833—Optical rain sensor
    • B60S1/0844—Optical rain sensor including a camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0006—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means to keep optical surfaces clean, e.g. by preventing or removing dirt, stains, contamination, condensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供了“车辆传感器清洁”。一种系统包括处理器和存储器。所述存储器存储指令，所述指令能够由所述处理器执行，以基于传感器图像数据的分割来检测车辆传感器光学路径中表面上的遮挡物，并基于所述检测到的遮挡物、地图数据和车辆路线数据来选择所述表面的清洁计划。

Description

车辆传感器清洁
技术领域
本发明涉及一种包括处理器和存储器的系统。所述存储器存储指令，所述指令能够由所述处理器执行，以基于传感器图像数据的分割来检测车辆传感器光学路径中表面上的遮挡物，并基于检测到的遮挡物、地图数据和车辆路线数据来选择所述表面的清洁计划。
背景技术
车辆的安全和舒适的操作可以取决于获取关于车辆环境的准确且及时的信息。车辆传感器可以提供关于在车辆环境中要行驶的路线和要避开的物体的数据。车辆的安全且有效的操作可以取决于当车辆正在道路上操作时获取关于车辆环境中的路线和对象的准确且及时的信息。车辆可以包括一个或多个光学或图像传感器，诸如相机传感器。通常，这种传感器包括透明表面，例如透镜，以保护观察车辆外部区域的成像传感器和/或将入射光束聚焦在成像传感器上。诸如相机透镜之类的透明表面通常受到环境条件的影响，例如灰尘、污迹、雨、雾等，这可能影响对车辆外部的可见度。此外，诸如透镜之类的透明表面的光学性质可能由于降级或损坏而改变，例如刮擦、点蚀等。
发明内容
一种系统包括处理器和存储器，所述存储器存储指令，所述指令能够执行，以基于传感器图像数据的分割来检测车辆传感器光学路径中表面上的遮挡物，并基于检测到的遮挡物、地图数据和车辆路线数据来选择所述表面的清洁计划。
指令可以包括用于基于被训练来检测包括至少一个遮挡物类别的多个特征类别的神经网络的输出来执行传感器图像数据的分割的指令。
多个特征类别可以包括道路、行人、汽车、建筑物、植被和天空类别中的至少一者。
表面可以包括透镜、透明盖和车辆挡风玻璃的一部分中的至少一者。
指令可以包括以下指令：基于传感器视野、车辆路线数据和地图数据来确定包括所述表面的外部上的一个或多个点的位置的预测的分割类别，以及至少部分地基于预测的分割类别来确定所述点的优先级。
所选择的清洁计划可以包括车辆清洁致动器的致动时间和预测的清洁持续时间。
指令可以包括以下指令：确定所述表面的外部上的遮挡物的位置；基于车辆路线来预测外表面上的位置的优先级的变化；以及基于预测的优先级变化和车辆速度来计划清洁时间。
指令可以包括以下指令：基于车辆速度来选择清洁的优先级阈值；以及在确定传感器外部上的位置的优先级超过所选择的优先级阈值时，致动车辆清洁致动器以清洁表面的外部。
指令可以包括以下指令：基于遮挡的位置的优先级、车辆速度、图像数据中的遮挡像素的数量和预测的清洁持续时间来确定清洁得分；以及基于所确定的得分来选择清洁计划。
指令可以包括执行所选择的清洁计划的指令。
所选择的清洁计划可以包括致动清洁致动器的时间、致动持续时间和操作清洁致动器的模式中的至少一者。
执行所选择的清洁计划的指令可以包括在致动清洁致动器的时间激活清洁致动器达致动持续时间的指令。
指令可以包括以下指令：确定从车辆路线的开始到结束的标准化得分；确定最大标准化得分的时间；以及基于最大标准化得分的时间来确定致动清洁致动器的时间。
一种系统包括具有光学路径的车辆相机传感器，以及处理器，所述处理器被编程为基于传感器图像数据的分割来检测车辆相机传感器的光学路径中表面上的遮挡物，并且基于检测到的遮挡物、地图数据和车辆路线数据来选择表面的清洁计划。
处理器可以被编程为基于被训练来检测包括至少一个遮挡物类别的多个特征类别的神经网络的输出来执行传感器图像数据的分割。
处理器可以被编程为基于传感器视野、车辆路线数据和地图数据来确定包括所述表面的外部上的一个或多个点的位置的预测的分割类别，并且至少部分地基于预测的分割类别来确定所述点的优先级。
一种方法包括：基于传感器图像数据的分割检测车辆相机传感器的光学路径中表面上的遮挡物，以及基于检测到的遮挡物、地图数据和车辆路线数据来选择表面的清洁计划。
所述方法可以包括基于被训练来检测包括至少一个遮挡物类别的多个特征类别的神经网络的输出来执行传感器图像数据的分割。
所述方法可以包括：基于传感器视野、车辆路线数据和地图数据来确定包括所述表面的外部上的一个或多个点的位置的预测的分割类别，以及至少部分地基于预测的分割类别来确定所述点的优先级。
所述方法可以包括执行所选择的清洁计划。
附图说明
图1是示出示例性车辆的框图。
图2A是示出示例性相机传感器和由车辆传感器观察的物体的图示。
图2B是示出图2A的相机的透镜的正视图的图示。
图3是由图2A的车辆传感器接收的示例性图像。
图4是图1的车辆的透视图，其上叠加有示例性取向向量。
图5示出了从具有传感器透明度上的遮挡的相机传感器接收的示例性图像。
图6示出了图5的示例性图像的语义分割。
图7示出了在第一时间图5的示例性图像的各种位置的第一示例性优先级分类。
图8示出了在第二时间图5的示例性图像的各种位置的第二示例性优先级分类。
图9示出了车辆速度、图像区域的优先级的变化和多个优先级阈值的示例性曲线图。
图10是清洁车辆传感器透明度的示例性过程的流程图。
具体实施方式
引言
本文公开了一种系统，所述系统包括处理器和存储器。所述存储器存储指令，所述指令能够由所述处理器执行，以基于传感器图像数据的分割来检测车辆传感器光学路径中表面上的遮挡物，并基于检测到的遮挡物、地图数据和车辆路线数据来选择所述表面的清洁计划。
指令还可以包括以下指令：基于被训练来检测包括至少一个遮挡物类别的多个特征类别的神经网络的输出来执行传感器图像数据的分割。
多个特征类别还可以包括道路、行人、汽车、建筑物、植被和天空类别中的至少一者。
表面可以包括透镜、透明盖和车辆挡风玻璃的一部分中的至少一者。
指令还可以包括以下指令：基于传感器视野、车辆路线数据和地图数据来确定包括所述表面的外部上的一个或多个点的位置的预测分割类别，以及至少部分地基于预测的分割类别来确定所述点的优先级。
所选择的清洁计划还可以包括车辆清洁致动器的致动时间和预测的清洁持续时间。
指令还可以包括以下指令：确定所述表面的外部上的遮挡物的位置；基于车辆路线来预测外表面上的位置的优先级的变化；以及基于预测的优先级变化和车辆速度来计划清洁时间。
指令还可以包括以下指令：基于车辆速度来选择清洁的优先级阈值；以及在确定传感器外部上的位置的优先级超过所选择的优先级阈值时，致动车辆清洁致动器以清洁表面的外部。
指令还可以包括以下指令：基于遮挡物的位置的优先级、车辆速度、图像数据中的被遮挡像素的数量和预测的清洁持续时间来确定清洁得分；以及基于所确定的得分来选择清洁计划。
指令还可以包括执行所选择的清洁计划的指令。
所选择的清洁计划还可以包括致动清洁致动器的时间、致动持续时间和操作清洁致动器的模式中的至少一者。
执行所选择的清洁计划的指令还可以包括在致动清洁致动器的时间激活清洁致动器达致动持续时间的指令。
指令还可以包括以下指令：确定从车辆路线的开始到结束的标准化得分；确定最大标准化得分的时间；以及基于最大标准化得分的时间来确定致动清洁致动器的时间。
本文还公开了一种系统，其包括具有光学路径的车辆相机传感器，以及处理器，所述处理器被编程为基于传感器图像数据的分割来检测车辆相机传感器的光学路径中表面上的遮挡物，并且基于检测到的遮挡物、地图数据和车辆路线数据来选择表面的清洁计划。
处理器还可以被编程为基于被训练来检测包括至少一个遮挡物类别的多个特征类别的神经网络的输出来执行传感器图像数据的分割。
处理器还可以被编程为基于传感器视野、车辆路线数据和地图数据来确定包括所述表面的外部上的一个或多个点的位置的预测的分割类别，并且至少部分地基于预测的分割类别来确定所述点的优先级。
本文还公开了一种方法，所述方法包括：基于传感器图像数据的分割来检测车辆相机传感器的光学路径中表面上的遮挡物，以及基于检测到的遮挡物、地图数据和车辆路线数据来选择表面的清洁计划。
所述方法还可以包括基于被训练来检测包括至少一个遮挡物类别的多个特征类别的神经网络的输出来执行传感器图像数据的分割。
所述方法还可以包括：基于传感器视野、车辆路线数据和地图数据来确定包括所述表面的外部上的一个或多个点的位置的预测的分割类别，以及至少部分地基于预测的分割类别来确定所述点的优先级。
所述方法还可以包括执行所选择的清洁计划。
还公开了一种被编程为执行上述方法步骤中的任一者的计算装置。
还公开了一种计算机程序产品，所述计算机程序产品包括存储指令的计算机可读介质，所述指令可由计算机处理器执行以执行以上方法步骤中的任一者。
系统元件
可以基于传感器图像数据的语义分割来检测车辆传感器光学路径中表面上的被遮挡区域(或遮挡物)。可以基于检测到的遮挡物、地图数据、车辆路线数据来选择表面的清洁计划。车辆传感器上(例如，透镜上)的遮挡物可能影响车辆计算机基于所接收的传感器数据检测物体的能力，并且因此可能影响车辆计算机操作车辆的能力。因此，本系统通过检测和/或修复车辆传感器透明度的被遮挡区域(例如，透镜)来改善车辆操作。在本公开的上下文中，关于诸如透镜之类的透明表面的“被遮挡”意味着防止或减少光通过的阻挡。在本上下文中，“减少光的通过”意味着在穿过时衰减(减少)和/或操纵(例如，散射半透明)光。在本上下文中，“减少”意味着由于穿过被遮挡区域(例如，雨滴)而导致的光强度的降低。半透明是允许光漫射穿过材料的物理性质。另外，阻挡可能导致环境的感知颜色从透明的彩色薄膜发生偏移。另外或替代地，阻挡可能导致图像模糊或局部失真。
图1示出了示例性车辆100，其可以包括计算机110、致动器120、传感器130(诸如(光检测和测距)激光雷达传感器130、相机传感器130、GPS传感器130、雷达传感器130、相机传感器130等)以及人机界面(HMI 140)。可以以多种方式给车辆100提供动力，例如，包括利用电动马达和/或内燃发动机。车辆100可以包括参考点150，例如，车辆100纵向轴线与横向轴线的交叉点(轴线可以限定车辆100的相应纵向和横向中心线，使得参考点150可以称为车辆100中心点)。在本上下文中，车辆100的位置是指车辆100的参考点150的位置坐标。
图1还示出了由X轴170、Y轴180和Z轴190定义的第一坐标系，例如笛卡尔坐标系，其独立于车辆100的位置和/或取向。所述第一坐标系可以称为“全局”坐标系，因为其独立于车辆100定义并典型地针对地理区域进行定义，诸如针对世界进行定义的全球定位系统(GPS)的坐标系。替代地或另外，所述第一坐标系可以包括提供地理坐标(即纬度、经度对)等的任何其他位置坐标系。
计算机110包括处理器和存储器。存储器包括一种或多种形式的计算机可读介质，并且存储可由计算机110执行以用于执行包括如本文所公开的各种操作的指令。
计算机110可以以自主、半自主或非自主模式操作车辆100。出于本公开的目的，将自主模式定义为由计算机110控制车辆100的推进、制动和转向中的每一者的模式；在半自主模式中，计算机110控制车辆100的推进、制动和转向中的一者或两者；在非自主模式中，人类操作员控制车辆的推进、制动和转向。
计算机110可以包括编程以操作以下一者或多者：车辆制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机、清洁致动器120等中的一者或多者来控制车辆100的加速)、转向、气候控制、内部灯和/或外部灯等，以及确定计算机110(而非人类操作员)是否以及何时控制此类操作。
计算机110可以包括或者例如经由如下面进一步描述的车辆通信总线通信地耦合到多于一个处理器，例如，包括在车辆中用于监测和/或控制各种车辆控制器的控制器等，所述各种车辆控制器例如动力传动系统控制器、制动控制器、转向控制器等。计算机110通常被布置用于经由车辆通信网络(诸如车辆中的总线，诸如控制器局域网络(CAN)等)通信。
经由车辆网络，计算机110可以向车辆100中的各种装置(例如，传感器130、致动器120等)传输消息和/或从各种装置接收消息。替代地或另外，在计算机110实际上包括多个装置的情况下，车辆通信网络可以用于在本公开中被表示为计算机110的装置之间通信。此外，如下文所提及，各种控制器和/或传感器130可以经由车辆100通信网络来向计算机110提供数据。
车辆100致动器120可以经由电路、芯片或其他电子部件实施，其可以根据已知的适当控制信号来致动各种车辆子系统。可以使用致动器120来控制车辆100的制动、加速和转向。作为示例，车辆100计算机110可以输出控制指令以控制致动器120。
另外，计算机110可以被编程为通过无线通信网络与例如远程计算机通信。可以包括车辆对车辆(V-to-V)和/或车辆对基础设施(V-to-I)通信网络的无线通信网络包括车辆100、远程计算机等可以彼此通信所借助的一个或多个结构，包括任何期望的无线(例如，蜂窝、无线、卫星、微波和射频)通信机构的组合和任何期望的网络拓扑结构(或在利用多个通信机构时的多个拓扑结构)。示例性V-to-V或V-to-I通信网络包括提供数据通信服务的蜂窝、蓝牙、IEEE 802.11、专用短程通信(DSRC)、和/或广域网(WAN)，所述广域网包括互联网。
车辆100可以包括一个或多个传感器130，所述传感器130提供来自从包含车辆100内部和/或外部中的至少一些的空间检测物理现象(例如，光、声、电、磁等)的数据。参考图1和图2A至图2B，车辆100可以包括一个或多个相机物体检测传感器130，例如激光雷达、雷达和/或相机传感器130。相机传感器130可以提供来自相机传感器130的视野290内的区域的图像数据。相机传感器130可以包括壳体210、图像传感器220和光学路径230。相机传感器130可以从传感器130的视野290内的区域接收光束，并且可以基于所接收的光束，例如以传统方式生成电信号。壳体210可以例如由塑料、金属等形成，所述壳体包围相机传感器130的部件。图像传感器220可以包括电子接收器，例如电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)，所述电子接收器接收光束(例如由物体260发射的光束)，并基于所接收的光束生成电信号。光学路径230可以包括一个或多个透镜240，所述一个或多个透镜240对光束(例如，对诸如人类可见光范围的特定波长范围内的光束)是透明的并将入射光束聚焦到图像传感器220上。光学路径230可以包括外表面250。外表面250可以包括透镜240、透明盖和车辆100挡风玻璃的一部分中的至少一者，例如挡风玻璃的外表面，其可以位于视野290内。
参考图3，计算机110可以被编程为基于来自图像传感器220的电信号生成图像300。在本上下文中，图像300是可存储在计算机110存储器中的数字图像。数字图像可以包括多个像素，并且图像数据可以包括诸如与像素中的每个像素相关联的图像强度和/或颜色的数据。透镜240可以由塑料和/或玻璃形成。此外，光学路径230可以包括一个或多个其他透明部件，诸如滤光器、保护盖等。在另一个示例中，光学路径230可以包括车辆100透明外盖的一部分，例如，位于前视相机传感器130的视野内的挡风玻璃的一部分，所述前视相机传感器130安装在车辆100挡风玻璃后面，提供来自车辆100外部的区域的图像数据。在本公开中，“透明度”包括光学路径230的任何透明部件。
参考图1至图3，计算机110可以被编程为从相机传感器130接收包括相机传感器130的视野290内的区域的图像300。图2B示出了由X’轴270和Y’轴280限定的二维笛卡尔坐标系，其指定透镜240和/或光学路径230内的任何透明部件的表面上的点的坐标。图3示出了从图2A的相机传感器130接收的示例性图像300，以及由X”轴320和Y”轴330限定的二维笛卡尔坐标系。从物体260上的点x、y、z发起(例如，反射和/或照射)的光束可以通过透镜240的点x’,y’并且产生在图像300中坐标为x”,y”的点(或像素)。计算机110可以被编程为基于位置坐标x”,y”和光学路径230的光学属性来识别位置坐标x’,y’。例如，透镜240可能导致通过透镜240的光束失真，从而导致由相机传感器130捕获的翘曲图像。透镜240的失真属性可以用数学模型指定，例如，基于透镜240规格来定义。计算机110可以基于透镜240的数学模型被编程为基于图像300中的坐标x”,y”来确定点x’,y’的坐标。
如果由传感器130的外部表面250上的坐标x’,y’指定的点被例如雨、雾等部分或完全阻挡，则相机传感器130的像素x”,y”的图像数据可能是不正确的(即，可能未反射从点x,y,z接收的光束)。在本上下文中，“部分阻挡”意味着遮挡物是半透明的，例如，雨滴允许光束通过，但是影响从传感器130接收的图像数据。外部表面250上(或光学路径230内的任何位置，例如，透镜240内部)的点的部分或完全阻挡可能导致计算机110对物体260的错误分类，计算机110被编程为基于从相机传感器130接收的图像数据来检测物体260。
参考图1，HMI 140可以被配置成在车辆100的操作期间从用户接收信息。此外，HMI140可以被配置成向用户呈现信息。因此，HMI140可以位于车辆100的乘客舱中。在一个示例中，计算机110可以被编程为向HMI 140输出消息，所述消息指示光学路径230被完全或部分遮挡，例如，由于雨、污迹、雾等等，和/或传感器130部件(诸如透镜240等)的降级。
参考图4，车辆100可以包括取向传感器130，取向传感器130提供指示车辆100的当前侧倾、俯仰、横摆和/或竖位置的数据。取向传感器130可以包括芯片和/或机械部件。车辆100相对于诸如地平面的参考的取向包括具有指定原点(例如，在车辆100参考点150处)的标量三维向量，其指示车辆100相对于参考三维坐标系(例如，上面讨论的全局坐标系)的方向。例如，取向可以包括各种独立向量的代数和，诸如已知的代数和，每个独立向量指示车辆相对于相应参考方向的方向(例如，车辆100的俯仰、横摆和侧倾)。另外或替代地，取向可以包括三维向量，包括参考X轴170、Y轴180、Z轴190的纵向、横向和竖直x,y,z坐标。
参考图2A至图2B、图3和图4，计算机110可以被编程为基于(i)第二点相对于X轴170、Y轴180的位置坐标，(ii)传感器130的取向和(iii)传感器130的透明度的数学模型，来估计作为视野290内的第二点的投影的图像300中的第一点的参考X”轴320、Y”轴330的位置坐标x”,y”。换句话说，计算机110可以被编程为基于车辆100的取向和光学路径230的数学属性，来估计作为具有位置坐标x,y,z(例如，GPS位置坐标)的第二点的投影的图像300中的第一点的位置坐标x”,y”。计算机110可以被编程为基于传感器130(即，基于车辆100设计固定)相对于车辆100的预定取向(例如，位置坐标)，来确定传感器130的取向，即传感器130相对于三维坐标系(诸如三维笛卡尔坐标系，其原点在车辆100参考点150处)的俯仰、横摆和/或侧倾。
图5示出了从车辆100相机传感器130接收的示例性图像500，所述相机传感器130在传感器130外部表面250上具有遮挡物510a、510b，例如水、雨滴、雾、昆虫撞击、鸟排泄物(bird byproduct)等。例如，图5示出了示例性雨滴遮挡物510a和示例性昆虫遮挡物510b。如上所述，示例性图像500中的遮挡物510a、510b是外部表面250上和/或传感器130的透明度内的遮挡物的投影。尽管图5示出了多个遮挡物，但是为方便起见，仅对遮挡物510a、510b进行编号。另外或替代地，遮挡物510a、510b可以是光学路径230的区域，例如，在透镜240、挡风玻璃等中和/或上，其中光学路径230的光学属性偏离指定的光学属性。如通常所理解的，材料的光学属性(或光学性质)定义其与光的相互作用。光学属性的示例可以包括折射、反射、半透明等。在光学路径230的上下文中，光学属性可以包括焦距、透镜240的失真模型参数、会聚等。光学属性的偏差可以是玻璃和/或塑料老化、物理损坏(例如刮擦)、光学路径230的物理部件(例如胶水)的降级导致光学路径230的未对准和/或离焦状况的结果。例如，计算机110可能无法基于从具有外部表面250的遮挡物510a、510b的车辆100传感器130接收的图像500数据来检测道路520、建筑物530、其他车辆540等。
计算机110可以被编程为基于传感器130图像500数据的语义分割来检测车辆100传感器130光学路径230的表面250上的遮挡物510a、510b，并基于检测到的遮挡物510a、510b、地图数据和/或车辆100路线数据来选择表面250的清洁计划。
在本上下文中，“清洁计划”指定用于致动清洁致动器120的参数，包括车辆100清洁致动器120(例如刮水器、喷雾器等)的致动时间tc和/或预测的清洁(即，致动)持续时间。另外，清洁计划可以包括一种类型的清洁致动器120，例如刮水器、喷雾器等，和/或致动器120的操作模式，即指定致动器120将被控制的量的参数。例如，刮水器致动器120的操作模式可以包括低速、高速等中的一者。作为另一个示例，喷雾器致动器120的操作模式可以包括高压致动、低压致动等中的一者。下面参考图9讨论清洁计划的选择。
参考图6，计算机110可以被编程为检测所接收的图像500数据中的特征，并基于指定的特征类别对特征进行分类。图6是叠加在示例性图像500上的特征分类的结果的可视化。另外或替代地，计算机110可以被编程为以任何其他合适的形式存储图像500的特征的分类，例如，指定图像500的每个像素的类别和/或子类的表格。另外或替代地，计算机110可以被编程为基于其他传感器130数据检测特征，例如，激光雷达传感器130、第二相机传感器130等。
Figure BDA0002207938450000141
表格1
在本上下文中，“特征”包括在图像500中找到的点、线、边、角、颜色、纹理和/或其他几何实体。可以使用预定特征(例如类似Haar的特征、取向梯度的直方图、小波特征、尺度不变特征变换等)来对这些特征进行编程。替代地或另外，可以基于标记的数据集来学习特征，在所述标记的数据集中机器学习算法(例如神经网络)被训练使得通过反向传播来调整网络的权重和偏差以减少预测误差(或通常称为网络预测的丢失)。根据形状、外观等将特征分为几个类别。参考表格1，类别可以包括建筑物、汽车、路面、行人、天空、植被、杆、标牌和/或遮挡物类别。一类特征可以分为两个或更多个子类。例如，汽车类别可以分为“移动”汽车和“非移动”汽车。在另一个示例中，遮挡物类别可以包括子类，诸如雨滴、雾、污迹等。示例性图像600示出了被分类为雨滴子类别的遮挡物510a、510b。
在本上下文中，“分割”(或语义分割)包括用于对图像500中的特征进行分类的图像处理技术。计算机110可以被编程为将类别和/或子类与图像500的一个或多个点(或像素)中的每一者相关联。在一个示例中，计算机110可以被编程为基于被训练来检测包括至少遮挡物类别的多个特征类别的神经网络的输出来执行图像500数据的分割。在本上下文中，遮挡物类别可以包括雨、雾、昆虫等。
“神经网络”(NN)是以软件和/或硬件实施的计算系统，其受到生物神经网络的启发。神经网络通常通过学习示例来学习执行任务，而不用编程有任何特定于任务的规则。神经网络可以是可以被加载在存储器中并且由包括在计算机(例如，计算机110)中的处理器执行的软件程序。神经网络可以包括n个输入节点，每个输入节点接收一组输入i(即，每组输入i可以包括一个或多个输入x)。神经网络可以包括m个输出节点(其中m和n可以是相同的数字，但通常不是相同的数字)，以提供多组输出o1...om。神经网络通常包括多个层(包括多个隐藏层)，每个层包括一个或多个节点。节点有时称为人工神经元，因为它们被设计成模拟生物(例如，人类)神经元。另外或替代地，神经网络可以具有如本领域已知的各种架构、层等。
例如，神经网络可以通过分析训练数据(例如，具有预定分类的地面实况图像数据)来学习对图像500中的特征进行分类。例如，地面实况数据可以包括图像500，图像500在实验室中进行分类，例如，基于由参考算法、用户等作出的确定。例如，可以训练神经网络以基于输入的地面实况图像500对遮挡物510a、510b(诸如雨滴、雾等)的各种子类进行分类。地面实况图像500可以包括指定特征(诸如雨滴)的位置坐标x”,y”的附加元数据。另外或替代地，可以实施其他机器学习技术，诸如SVM(支持向量机)、决策树、朴素贝叶斯(
Figure BDA0002207938450000161
-bayes)、集成方法等，以对从所接收的图像500数据中提取(或检测)的特征进行分类。另外或替代地，可以训练神经网络以确定与在图像500中确定的一组像素(或超像素或stixel)相关联的类别和/或子类。如通常所理解的，超像素是可以由图像处理算法在多个图像500帧内跟踪例如以确定移动车辆、行人等的速度、位置、方向等的一组像素。
图7示出了图像700，图像700示出了叠加在图像500上的示例性图像500的点的优先级。在本上下文中，点的“优先级”指定相应点中的图像数据对于车辆100的操作的重要性。如上所述，车辆100可以至少部分地基于传感器130数据以例如自主或半自主模式操作。计算机110可以致动车辆100致动器120，例如推进、转向和/或制动，以在通往目的地的路线上导航车辆100。计算机110可以在道路上导航车辆100，同时防止与诸如另一车辆100、行人、道路标志等的另一物体碰撞。因此，优先级可以基于图像500中的点处的数据对于操作车辆100的重要性。
计算机110可以被编程为基于在相应位置处观察的特征的分类来确定图像500中的位置(关于X”轴320、Y”轴330)的优先级。例如，计算机110可以被编程为确定行人类别、道路类别、移动车辆类别等的“高”优先级，路面类别、建筑物类别等的“中等”优先级，以及天空类别、植被类别等的“低”优先级。另外或替代地，图像500中的位置的优先级可以基于传感器130相对于车辆100(例如，相对于原点在参考点150处的3D坐标系)的位置坐标x”,y”以及取向。例如，可以从前向相机传感器130接收示例性图像500。因此，基本上位于图像500的中心的位置可以被识别为“高”优先级位置，因为通常可以在图像500的该区域中的车辆100的路径中检测到诸如汽车、行人等的其他物体。
计算机110可以被编程为基于传感器130的表面250上的位置的优先级来致动车辆100清洁致动器120。如上所述，外部表面250上的不同位置可以具有不同的优先级。例如，计算机110可以被编程为在确定与表面250上的遮挡物的位置坐标相关联的优先级超过指定的优先级阈值(例如，“中等”优先级)时选择清洁计划，例如，致动清洁致动器120。当遮挡物处于表面250的低优先级位置时，这可能导致阻止表面250的清洁，这可以减少能量消耗、清洗液消耗等。
在另一个示例中，计算机110可以被编程为基于车辆100的速度选择清洁的优先级阈值，并且在确定传感器130的外表面250上的位置的优先级超过所选择的优先级阈值时，致动车辆清洁致动器以清洁外表面250。例如，计算机110可以被编程为针对被确定为具有移动车辆类别、道路类别和/或行人类别的特征，(i)在确定自我意识车辆100速度超过速度阈值(例如，每小时50千米(kph))时，确定“高”优先级，以及(ii)在确定自我意识速度小于速度阈值时，确定“中等”优先级。换句话说，车辆100速度的增加可以改变特定特征类别的优先级。
参考图7至图8，与遮挡物510a的位置坐标相关联的优先级可以改变。例如，图7中的遮挡物510a的位置坐标位于“低”优先级，并且在图8中位于“非常高的”优先级。例如，图7中的遮挡物510a可以位于视野290的区域处，包括植被、天空等，而图8中的遮挡物510a可以位于视野290的区域中，包括快速路匝道。
如上面参考图1至图4所讨论的，计算机110可以被编程为基于传感器130相对于车辆100的取向、车辆100路线数据、地图数据、传感器130的视野290等来确定车辆100周围的特征(例如，道路、建筑物等)的投影。计算机110可以被编程为基于传感器130的视野、车辆100路线数据和地图数据来预测被预测在关于轴320、330的位置坐标x,y(包括在外部表面250上的位置(即，一个或多个点))处观察到的一个或多个特征的类别，并且至少部分地基于预测的类别来确定位置的优先级。换句话说，基于传感器130的视野290、地图数据、路线数据、车辆对车辆和/或车辆对基础设施的通信等，计算机110可以在车辆100导航到指定目的地时，预测哪个特征类别将在图像500的哪个位置坐标x,y。例如，参考图8，基于指定的路线和地图数据，计算机110可以预测遮挡物510a可以改变为图像500的“非常高的”优先级位置，尽管在汇入到快速路时。
图9示出了车辆100速度和表面250上的位置(例如，遮挡物510a的位置)的优先级的变化。示例性曲线图910示出了车辆100速度随时间的变化，而示例性曲线图920示出了遮挡物510a的位置x,y的优先级随时间的变化。计算机110可以被编程为确定外部表面250上的例如遮挡物510的位置，基于车辆100路线来预测外部表面250上的位置的优先级的变化，并且基于预测的优先级和车辆100速度来计划清洁时间。
示例性曲线图910可以示出当车辆100在道路上导航时车辆100速度的变化。例如，在时间t1，车辆100可以以初始速度(例如，20kph)导航。车辆100可以例如在时间t2处停在交通灯处，并且然后例如在时间t3处可以在快速路匝道处减小速度的同时导航到快速路，并且然后例如在时间t4处在汇入到快速路的同时增加速度。
参考图7和图9，例如在时间t3之前，车辆100传感器130可以在包括遮挡物510a的位置坐标的图像500的区域处接收包括例如植被等的图像500数据。参考图8至图9，在时间t3之后，传感器130可以接收遮挡物510a的位置，图像500数据包括快速路匝道。如上面参考图7至图8所讨论的，当车辆100在快速路匝道上导航时(例如，在时间t3之后)，计算机110可以确定遮挡物510a的位置的优先级的变化。另外或替代地，计算机110可以基于指定的车辆100路线来预测优先级的变化。例如，计算机110可以被编程为预测车辆100在时间t4可以在快速路匝道上导航以汇入快速路，基于预测的特征类别数据(例如，道路)来预测优先级增加到例如非常高的优先级。
计算机110可以被编程为基于遮挡物510a的位置的优先级、车辆100的速度、图像500数据中的被遮挡像素的数量和清洁持续时间来确定清洁得分s(x，y)，并基于所确定的得分s(x,y)来选择清洁计划。在本上下文中，清洁得分s(x，y)是一个量化项，其用例如百分比和/或在例如0(零)到1(一)的范围内的数字指定，指示在参考表面250的X”轴320、Y”轴330(参见图3)的位置坐标x,y进行清洁的必要性。在一个示例中，高分s(x，y)，例如，1(一)，可以指示表面250的清洁计划被批准(或是需要的)，而低分s(x，y)例如0(零)可以指示表面250的清洁计划可能不被批准(或不需要的)。
Figure BDA0002207938450000191
参考等式(1)，计算机110可以被编程为基于对于时间t在位置坐标x,y中的所确定和/或所预测的优先级P(x,y,t)、在时间t车辆100的速度V(t)和/或清洁致动的致动持续时间或清洁持续时间D(例如3秒)，来确定和/或预测对于时间t在参考X”轴320、Y”轴330的位置坐标x,y处的清洁得分s(x,y,t)。得分s(x,y,t)可能会在优先级P(x,y,t)增加、速度V(t)减小和/或持续时间D减小时增加。计算机110可以被编程为基于所确定的得分s(x,y,t)来选择清洁计划，例如，包括清洁时间tc和/或清洁持续时间D。清洁持续时间D可以是指定的固定持续时间，例如3秒，或多个指定持续时间D中的一个，例如，3、4、5秒。计算机110可以被编程为基于检测到的类别选择清洁持续时间D，例如，基于存储在计算机110存储器中的表格，所述表格将清洁持续时间D与每个类别和/或子类相关联。例如，与子类雨滴相关联的第一清洁持续时间D(例如，1秒)可以短于与子类昆虫、鸟排泄物等相关联的清洁持续时间D，例如3秒。
权重w1、w2、w3可以基于经验技术确定。在一个示例中，可以将地面实况数据输入到计算机110，并且权重w1、w2、w3可以基于优化技术确定。可以优化权重，使得被遮挡区域510的检测率最大化。在一个简化示例中，权重w1、w2、w3可能是1。如上所述，遮挡物510a、510b可以是半透明的，即部分地阻挡光束。在本上下文中，阻挡系数blockagecoeff是量化项，其指定表面250的位置坐标x，y处的阻挡量，例如，对于清洁表面250为0(零)，并且对于完全阻挡的表面250为1。计算机110可以被编程为确定图像500的一个或多个像素中的每一个的阻挡系数blockagecoeff。计算机110可以被编程为以矩阵形式存储所确定的阻挡系数blockagecoeff，例如，具有宽度和高度W,H的图像500的WxH矩阵。可以训练神经网络以估计遮挡物510a、510b中的每一者的阻挡系数blockagecoeff。例如，与昆虫、鸟排泄物等的阻挡系数blockagecoeff相比，雨滴可能具有较低阻挡系数blockagecoeff。在一个示例中，计算机110可以被编程为在确定位置坐标x,y处的阻挡系数blockagecoeff超过指定阈值(例如，0.1)时，确定表面250的位置坐标x,y处存在遮挡物510a、510b。
计算机110可以被编程为基于一个或多个得分阈值Th1、Th2、Th3来致动清洁致动器120。例如，计算机110可以被编程为在确定表面250上的至少一个位置的得分s(x,y,t)超过阈值Th1并且车辆100速度为0(零)时，致动清洁致动器120。计算机110可以被编程为在确定车辆100速度小于速度阈值(例如20kph)并且得分s(x,y,t)超过阈值Th2时，致动清洁致动器120达持续时间D。计算机110可以被编程为在确定得分s(x,y,t)超过阈值Th3时(在不考虑车辆100速度V的情况下)致动清洁致动器120达持续时间D。另外，计算机110可以被编程为预测得分s(x,y,t)使得可以基于预测的得分s(x,y,t)来调整清洁计划，例如，刮水器致动器120的速度。
Figure BDA0002207938450000201
计算机110可以被编程为进一步基于多个被遮挡像素的数量(即，被遮挡物510a、510b遮挡的图像500像素的数量)来选择清洁计划。参考示例性等式(2)，计算机110可以被编程为确定外部表面250的全局清洁得分S。宽度和高度W，H可以是关于X”轴320、Y”轴330包括在图像500中的点、像素等的数量。
P最大(x，y)＝最大(P(x，y，t0)，...，P(x，y，t最大))) (3)
Figure BDA0002207938450000211
如参考示例性曲线图920所讨论的，优先级P(x，y，t)可以基于速度V(t)、特征类别等变化。如曲线图920所示，优先级P(x，y，t)在时间t3之后基于在位置坐标x，y处预测快速路汇入匝道(道路特征类别)而增加。计算机110可以被编程为选择较早的时间，例如时间t2，其中车辆100停在交通灯处以清洁表面，而不是选择诸如时间t4的较晚时间，其中清洁致动器120的致动可能影响车辆100的操作(例如，部分地阻挡传感器130达清洁持续时间)。
Figure BDA0002207938450000212
参考等式(3)，计算机110可以被编程为确定指定的车辆100行程持续时间(例如，开始时间t0到结束时间t最大)内的最大优先级P最大(x，y)，并且基于最大优先级P最大(x，y)、速度V(t)和/或清洁致动的持续时间来确定位置坐标x(x，y)的标准化得分sn(x，y，t)。在本上下文中，与考虑时间t处的优先级P(x，y，t)的得分s(x，y，t)相比，“标准化得分sn(x，y，t)”是基于最大优先级P最大(x，y)的得分。时间t最大可以是到达目的地(即，车辆100路线的结束)的时间。参考等式(5)，计算机110可以被编程为基于确定的标准化得分sn(x，y)来确定全局清洁得分Sn。在本上下文中，全局标准化得分Sn指定整个外部表面250的清洁得分(与图像500的宽度和高度W，H相关联)。通常，相比于覆盖表面250的较小部分的较小遮挡物510a、510b，较大的遮挡物510a、510b可能需要更多的清洁持续时间D、空气压力和/或流体压力来进行清洁。在一个示例中，计算机110可以被编程为进一步基于以遮挡物510a、510b(例如昆虫)覆盖的连续(或接触)位置x，y的数量来确定标准化得分Sn。换句话说，计算机110可以被编程为进一步基于遮挡物510a、510b的表面，例如基于等式(5)中包括的另外的二阶表达式，来确定标准化得分Sn。在本上下文中，遮挡物510a、510b的表面是表面250的被遮挡物510a、510b(例如昆虫)覆盖的部分的表面。
参考等式(3)至(4)和图7至8中所示的遮挡物510a，计算机110可以基于在汇入快速路的时间t4预测的优先级P(x，y，t4)(如上文参考图8所讨论的)来确定P最大(x，y)“非常高”。换句话说，位置坐标x，y的最大优先级P最大(x，y)是路线期间的任何时间即从时间t0至t最大的位置坐标x，y相关联的优先级值P(x，y，t)的最大值。例如，参考图9，最大优先级P最大(x，y)是P(x，y，t)在时间t5处的值。因此，计算机110可以被编程为致动致动器120以在交通灯停止时间t2处清洁表面250，因此，防止在例如时间t4至t5处清洁外部表面250，该清洁可能影响车辆100的操作。
图10示出了清洁车辆100传感器130透明度的过程1000的流程图。计算机110可以被编程为执行过程1000的框。
过程1000在框1010中开始，其中计算机110接收车辆100路线数据。计算机110可以被编程为接收车辆地图数据、车辆100相对于轴170、180、190的位置坐标(例如GPS(全球定位系统)坐标)、车辆100路线、沿着车辆100路线的速度V(t)等。
接下来，在框1020中，计算机110接收图像500数据。计算机110可以被编程为从车辆100的相机传感器130接收图像500数据。
接下来，在决策框1030中，计算机110确定是否在传感器130的外表面250上检测到遮挡物510a、510b。计算机110可以被编程为基于训练的神经网络的输出来检测遮挡物510a、510b。如果计算机110检测到遮挡物510a、510b，则过程1000前进到框1040；否则，过程1000结束，或返回到框1010，尽管图10中未示出。
在框1040中，计算机110预测针对遮挡物510a、510b位置坐标x，y和时间t的清洁得分s(x,y,t)。另外或替代地，计算机110可以被编程为预测从时间t0至时间t最大车辆100的标准化得分sn(x,y)。另外或替代地，计算机110可以被编程为基于清洁得分s(x,y,t)和/或标准化清洁得分sn(x,y)来确定外部表面250的全局清洁得分S。另外或替代地，计算机110可以被编程为在确定车辆100路线改变(例如，经由车辆100HMI 140输入新目的地)时重新计算清洁得分S。
接下来，在决策框1050中，计算机110确定是否确定清洁计划。计算机110可以被编程为基于全局得分S和/或全局标准化得分Sn、得分阈值Th1、Th2、Th3等来确定清洁计划。在一个示例中，计算机110可以被编程为在确定在车辆100路线期间的得分的最大值超过阈值Th1时确定清洁计划。计算机110可以被编程为基于最大得分的时间，即在得分为最大(例如，在低速下)的时间，来确定清洁时间tc。如果计算机110确定批准清洁计划，则过程1000前进到框1060；否则，过程1000结束，或者替代地，返回到框1010，尽管图10中未示出。
在框1060中，计算机110执行所确定的清洁计划。计算机110可以被编程为在所确定的清洁时间tc致动清洁致动器120来清洁表面250达持续时间D。例如，计算机110可以被编程为从时间tc至tc+D致动刮水器致动器120和/或喷雾器致动器120。另外或替代地，清洁计划可以包括操作模式，例如，刮水器速度水平、刮水器间隔时间、喷雾器压力等。操作模式还可以包括气压、清洁致动器120选择、流体压力和/或超声振动属性(例如振动的频率和/或强度)。计算机110可以被编程为进一步基于操作模式来致动清洁致动器120。另外，在执行所确定的清洁计划期间，计算机110可以被编程为基于从例如车辆100的第二传感器130、第二车辆的传感器等接收的数据来操作车辆100。在框1060之后，过程1000结束，或返回到框1010。
计算机通常各自包括可由一个或多个计算装置(诸如上面识别的那些)执行并且用于实行上文所述的过程的框或步骤的指令。计算机可执行指令可以从使用多种编程语言和/或技术创建的计算机程序编译或解释，所述编程语言和/或技术包括但不限于以下单一形式或组合形式：Python、JavaTM、C、C++、Visual Basic、Java Script、Perl、HTML等。总体上，处理器(例如，微处理器)从例如存储器、计算机可读介质等接收指令，并且执行这些指令，从而执行一个或多个过程，包括本文所述的一个或多个过程。可以使用多种计算机可读介质来存储和传输此类指令和其他数据。计算机105中的文件通常是存储在诸如存储介质、随机存取存储器等计算机可读介质上的数据的集合。
计算机可读介质包括参与提供可以由计算机读取的数据(例如，指令)的任何介质。这种介质可以采用许多形式，包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘以及其他永久性存储器。易失性介质包括通常构成主存储器的动态随机存取存储器(DRAM)。计算机可读介质的常见形式包括例如软盘、软磁盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他光学介质、穿孔卡、纸带、任何其他具有孔图案的物理介质、选数管、磁鼓存储器、磁致伸缩延迟线、RAM、PROM、EPROM、快闪EEPROM、任何其他存储器芯片或盒式磁带、或计算机可从中读取的任何其他介质。
关于本文描述的介质、过程、系统、方法等，应当理解，尽管已经将此类过程等的步骤描述为根据某一有序顺序发生，但是此类过程可以用以与本文所述次序不同的次序执行的所描述步骤来实践。还应理解，可以同时执行某些步骤，可以添加其他步骤或者可以省略本文所述的某些步骤。例如，在过程400中，可以省略一个或多个步骤，或者可以与所示的不同的次序执行步骤。换句话说，本文对系统和/或过程的描述是为了示出某些实施方案而提供，而决不应当将其理解为对所公开的主题进行限制。
因此，应当理解，包括以上描述和附图以及随附权利要求的本公开意图是说明性的而非限制性的。在阅读以上描述时，除所提供的示例之外的许多实施例和应用对于本领域技术人员将是显而易见的。不应参考以上描述来确定本发明的范围，而应参考随附于此的权利要求连同这些权利要求赋予的等效物的全部范围来确定。本文所讨论的领域中预期并意图将出现未来发展，并且所公开的系统和方法将合并到此类未来实施例中。总而言之，应当理解，所公开的主题能够进行修改和变化。
除非另外说明或者上下文另有要求，否则修饰名词的冠词“一个”应当理解为意指一个或多个。短语“基于”涵盖部分地或全部地基于。
根据本发明，提供了一种系统，其具有处理器和存储器，所述存储器存储指令，所述指令能够由所述处理器执行，以基于传感器图像数据的分割来检测车辆传感器光学路径中表面上的遮挡物，并基于检测到的遮挡物、地图数据和车辆路线数据来选择所述表面的清洁计划。
根据一个实施例，指令还包括基于被训练来检测包括至少一个遮挡物类别的多个特征类别的神经网络的输出来执行传感器图像数据的分割的指令。
根据一个实施例，多个特征类别还包括道路、行人、汽车、建筑物、植被和天空类别中的至少一者。
根据一个实施例，表面包括透镜、透明盖和车辆挡风玻璃的一部分中的至少一者。
根据一个实施例，指令还包括以下指令：基于传感器视野、车辆路线数据和地图数据来确定包括所述表面的外部上的一个或多个点的位置的预测分割类别；以及至少部分地基于预测的分割类别来确定所述点的优先级。
根据一个实施例，所选择的清洁计划还包括车辆清洁致动器的致动时间和预测的清洁持续时间。
根据一个实施例，指令还包括以下指令：确定所述表面的外部上的遮挡物的位置；基于车辆路线来预测外部表面上的位置的优先级的变化；以及基于预测的优先级变化和车辆速度来计划清洁时间。
根据一个实施例，指令还包括以下指令：基于车辆速度来选择清洁的优先级阈值；以及在确定传感器外部上的位置的优先级超过所选择的优先级阈值时，致动车辆清洁致动器以清洁表面的外部。
根据一个实施例，指令还包括以下指令：基于遮挡物的位置的优先级、车辆速度、图像数据中的被遮挡像素的数量和预测的清洁持续时间来确定清洁得分；以及基于所确定的得分来选择清洁计划。
根据一个实施例，指令还包括执行所选择的清洁计划的指令。
根据一个实施例，所选择的清洁计划还包括致动清洁致动器的时间、致动持续时间和操作清洁致动器的模式中的至少一者。
根据一个实施例，执行所选择的清洁计划的指令还包括在致动清洁致动器的时间激活清洁致动器达致动持续时间的指令。
根据一个实施例，指令还包括以下指令：确定从车辆路线的开始到结束的标准化得分；确定最大标准化得分的时间；以及基于最大标准化得分的时间来确定致动清洁致动器的时间。
根据本发明，提供了一种系统，其具有：具有光学路径的车辆相机传感器；以及处理器，所述处理器被编程为基于传感器图像数据的分割来检测车辆相机传感器的光学路径中表面上的遮挡物，并且基于检测到的遮挡物、地图数据和车辆路线数据来选择表面的清洁计划。
根据一个实施例，处理器还被编程为基于被训练来检测包括至少一个遮挡物类别的多个特征类别的神经网络的输出来执行传感器图像数据的分割。
根据一个实施例，处理器还被编程为基于传感器视野、车辆路线数据和地图数据来确定包括所述表面的外部上的一个或多个点的位置的预测的分割类别；并且至少部分地基于预测的分割类别来确定所述点的优先级。
根据本发明，一种方法包括：基于传感器图像数据的分割检测车辆相机传感器的光学路径中表面上的遮挡物，以及基于检测到的遮挡物、地图数据和车辆路线数据来选择表面的清洁计划。
根据一个实施例，本发明的特征还在于，基于被训练来检测包括至少一个遮挡物类别的多个特征类别的神经网络的输出来执行传感器图像数据的分割。
根据一个实施例，本发明的特征还在于：基于传感器视野、车辆路线数据和地图数据来确定包括所述表面的外部上的一个或多个点的位置的预测的分割类别；以及至少部分地基于预测的分割类别来确定所述点的优先级。
根据一个实施例，本发明的特征还在于执行所选择的清洁计划。

Claims (15)

1.一种方法，其包括：
基于传感器图像数据的分割来检测车辆传感器光学路径中表面上的遮挡物；以及
基于所述检测到的遮挡物、地图数据和车辆路线数据来选择所述表面的清洁计划。
2.如权利要求1所述的方法，其还包括：基于被训练来检测包括至少一个遮挡物类别的多个特征类别的神经网络的输出来执行所述传感器图像数据的所述分割。
3.如权利要求2所述的方法，其中所述多个特征类别还包括平坦表面、人类、车辆、建筑物、物体、自然界和天空类别中的至少一者。
4.如权利要求1所述的方法，其中所述表面包括透镜、透明盖和车辆挡风玻璃的一部分中的至少一者。
5.如权利要求1所述的方法，其还包括：
基于传感器视野、所述车辆路线数据和所述地图数据来确定包括所述表面的外部上的一个或多个点的位置的预测的分割类别；以及
至少部分地基于所述预测的分割类别来确定所述点的优先级。
6.如权利要求1所述的方法，其中所选择的清洁计划还包括车辆清洁致动器的致动时间和预测的清洁持续时间。
7.如权利要求6所述的方法，其还包括：
确定所述表面的外部上的所述遮挡物的位置；
基于所述车辆路线来预测外表面上的所述位置的优先级的变化；以及
基于所述预测的优先级变化和车辆速度来计划所述清洁时间。
8.如权利要求7所述的方法，其还包括：
基于所述车辆速度来选择清洁的优先级阈值；以及
在确定所述传感器的外部上的所述位置的所述优先级超过所选择的优先级阈值时，致动车辆清洁致动器以清洁所述表面的外部。
9.如权利要求1所述的方法，其还包括：
基于所述遮挡物的位置的优先级、车辆速度、所述图像数据中的被遮挡像素的数量以及预测的清洁持续时间来确定清洁得分；以及
基于所确定的得分来选择所述清洁计划。
10.如权利要求1所述的方法，其还包括执行所选择的清洁计划。
11.如权利要求10所述的方法，其中选择清洁计划还包括致动清洁致动器的时间、致动持续时间和操作所述清洁致动器的模式中的至少一者。
12.如权利要求11所述的方法，其中执行所选择的清洁计划还包括在致动所述清洁致动器的所述时间激活所述清洁致动器达所述致动持续时间。
13.一种计算装置，其被编程为执行如权利要求1至12中任一项所述的方法。
14.一种计算机程序产品，其包括计算机可读介质，所述计算机可读介质存储指令，所述指令能够由计算机处理器执行以执行如权利要求1至12中任一项所述的方法。
15.一种地面车辆，其包括被编程为执行如权利要求1至12中任一项所述的方法的计算装置。
CN201910888194.6A 2018-09-20 2019-09-19 车辆传感器清洁 Pending CN110920569A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/136,629 US10829091B2 (en) 2018-09-20 2018-09-20 Vehicle sensor cleaning
US16/136,629 2018-09-20

Publications (1)

Publication Number Publication Date
CN110920569A true CN110920569A (zh) 2020-03-27

Family

ID=69725613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910888194.6A Pending CN110920569A (zh) 2018-09-20 2019-09-19 车辆传感器清洁

Country Status (3)

Country Link
US (1) US10829091B2 (zh)
CN (1) CN110920569A (zh)
DE (1) DE102019125303A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112758046A (zh) * 2021-01-27 2021-05-07 的卢技术有限公司 一种基于智能识别的挡风玻璃清晰度控制方法与系统
CN113200022A (zh) * 2021-04-28 2021-08-03 广州文远知行科技有限公司 一种传感器的清洁方法、装置、设备及存储介质
CN115311589A (zh) * 2022-10-12 2022-11-08 山东乾元泽孚科技股份有限公司 一种用于采光建筑的隐患处理方法及设备

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019073975A1 (ja) * 2017-10-10 2019-04-18 株式会社デンソー 車両用洗浄システム
US11772612B2 (en) * 2018-03-07 2023-10-03 Koito Manufacturing Co., Ltd. Vehicle cleaner system and vehicle system
US10922845B2 (en) * 2018-12-21 2021-02-16 Here Global B.V. Apparatus and method for efficiently training feature detectors
JP7243480B2 (ja) * 2019-06-25 2023-03-22 株式会社デンソー 車載センサ洗浄装置
JP7272226B2 (ja) * 2019-10-07 2023-05-12 株式会社デンソー 雨滴認識装置、車両制御装置、学習方法および学習済みモデル
CN110674805B (zh) * 2019-10-11 2022-04-15 杭州睿琪软件有限公司 昆虫识别方法及系统
FR3103764B1 (fr) * 2019-11-29 2022-08-26 Valeo Systemes Dessuyage Système de nettoyage d’une surface vitrée d’un véhicule automobile
US11077825B2 (en) 2019-12-16 2021-08-03 Plusai Limited System and method for anti-tampering mechanism
US11650415B2 (en) 2019-12-16 2023-05-16 Plusai, Inc. System and method for a sensor protection mechanism
US11724669B2 (en) 2019-12-16 2023-08-15 Plusai, Inc. System and method for a sensor protection system
US11754689B2 (en) 2019-12-16 2023-09-12 Plusai, Inc. System and method for detecting sensor adjustment need
US11738694B2 (en) 2019-12-16 2023-08-29 Plusai, Inc. System and method for anti-tampering sensor assembly
US11470265B2 (en) * 2019-12-16 2022-10-11 Plusai, Inc. System and method for sensor system against glare and control thereof
US11313704B2 (en) * 2019-12-16 2022-04-26 Plusai, Inc. System and method for a sensor protection assembly
US11328428B2 (en) * 2019-12-18 2022-05-10 Clarion Co., Ltd. Technologies for detection of occlusions on a camera
US11661038B2 (en) 2020-04-07 2023-05-30 Deere & Company Work machines incorporating camera cleaning systems and methods of operating same
JP7319597B2 (ja) * 2020-09-23 2023-08-02 トヨタ自動車株式会社 車両運転支援装置
KR20220053388A (ko) * 2020-10-22 2022-04-29 현대모비스 주식회사 객체 감지 센서의 세척 장치 및 방법
JP7283460B2 (ja) * 2020-11-17 2023-05-30 トヨタ自動車株式会社 車載センサ洗浄装置及び車載センサ洗浄方法
US11954894B2 (en) 2021-04-08 2024-04-09 Rivian Ip Holdings, Llc Systems and methods for determining camera blockage
DE102021207792A1 (de) 2021-07-21 2023-01-26 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Regeln eines Reinigungsvorgangs für einen optischen Weg eines Kamerasystems einer mobilen Plattform
US11772667B1 (en) 2022-06-08 2023-10-03 Plusai, Inc. Operating a vehicle in response to detecting a faulty sensor using calibration parameters of the sensor

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4128039C2 (de) 1991-08-23 1995-02-23 Ant Nachrichtentech Anordnung zum Erfassen von Niederschlag
US6198852B1 (en) 1998-06-01 2001-03-06 Yeda Research And Development Co., Ltd. View synthesis from plural images using a trifocal tensor data structure in a multi-view parallax geometry
DE10201522A1 (de) 2002-01-17 2003-07-31 Bosch Gmbh Robert Verfahren und Vorrichtung zur Erkennung von Sichtbehinderungen bei Bildsensorsystemen
US8180099B2 (en) 2002-07-16 2012-05-15 Trw Limited Rain detection apparatus and method
DE10322087A1 (de) 2003-05-15 2004-12-02 Daimlerchrysler Ag Verfahren zur Erkennung und Lokalisierung von Verschmutzungen auf der Optik eines Kamerasystems
US8553088B2 (en) 2005-11-23 2013-10-08 Mobileye Technologies Limited Systems and methods for detecting obstructions in a camera field of view
TW200816783A (en) 2006-09-29 2008-04-01 Altek Corp Lens-retractable digital camera and method of retraction thereof
EP2351351B1 (en) 2008-10-01 2015-09-16 Connaught Electronics Limited A method and a system for detecting the presence of an impediment on a lens of an image capture device to light passing through the lens of an image capture device
WO2010084521A1 (ja) 2009-01-20 2010-07-29 本田技研工業株式会社 ウインドシールド上の雨滴を同定するための方法及び装置
JP5241782B2 (ja) 2010-07-30 2013-07-17 株式会社日立製作所 カメラ異常検出装置を有する監視カメラシステム
WO2014017626A1 (ja) 2012-07-27 2014-01-30 日産自動車株式会社 カメラ装置、立体物検出装置及びレンズ洗浄方法
JP5666538B2 (ja) 2012-11-09 2015-02-12 富士重工業株式会社 車外環境認識装置
US9445057B2 (en) 2013-02-20 2016-09-13 Magna Electronics Inc. Vehicle vision system with dirt detection
US9126534B2 (en) 2013-03-14 2015-09-08 Ford Global Technologies, Llc Automated camera wash for vehicles
US9409549B2 (en) 2013-09-25 2016-08-09 Ford Global Technologies, Llc Autonomous vehicle window clearing
US9390329B2 (en) 2014-04-25 2016-07-12 Xerox Corporation Method and system for automatically locating static occlusions
EP3149656B1 (en) 2014-05-27 2020-01-15 Robert Bosch GmbH Detection, identification, and mitigation of lens contamination for vehicle mounted camera systems
EP2949520B1 (en) * 2014-05-27 2018-03-21 Fico Transpar, S.A. System for cleaning a vehicle-mounted optic lens
US9349068B2 (en) 2014-06-05 2016-05-24 Honeywell International Inc. Detecting camera conditions to initiate camera maintenance
US20160176384A1 (en) * 2014-12-19 2016-06-23 Continental Automotive Systems, Inc. Sensor cleaning system
US9607242B2 (en) 2015-01-16 2017-03-28 Ford Global Technologies, Llc Target monitoring system with lens cleaning device
JP6365477B2 (ja) 2015-09-16 2018-08-01 トヨタ自動車株式会社 物体認識装置及び汚れ検出方法
US9994175B2 (en) 2016-03-04 2018-06-12 Honda Motor Co., Ltd. System for preconditioning a vehicle and method thereof
DE102016104044A1 (de) 2016-03-07 2017-09-07 Connaught Electronics Ltd. Verfahren zum Erkennen einer Ablagerung auf einem optischen Element einer Kamera durch einen Merkmalsraum und eine Hyperebene, sowie Kamerasystem und Kraftfahrzeug
US10699305B2 (en) * 2016-11-21 2020-06-30 Nio Usa, Inc. Smart refill assistant for electric vehicles
US10399106B2 (en) 2017-01-19 2019-09-03 Ford Global Technologies, Llc Camera and washer spray diagnostic
CN107150662A (zh) * 2017-04-20 2017-09-12 郭泽华 一种用于雨刷的智能控制方法及系统
US10807569B2 (en) 2017-05-16 2020-10-20 Ford Global Technologies, Llc Vehicle washer fluid delivery diagnostics and cleaning
US10489934B2 (en) 2017-05-26 2019-11-26 Ford Global Technologies, Llc Vehicle exterior conditioning
US10558217B2 (en) 2017-08-28 2020-02-11 GM Global Technology Operations LLC Method and apparatus for monitoring of an autonomous vehicle
CN107605537A (zh) 2017-11-09 2018-01-19 河南理工大学 煤与瓦斯突出巷道灾情智能探测系统及探测方法
CN112118987A (zh) * 2018-04-23 2020-12-22 Dlh鲍尔斯公司 车辆传感器清洁系统和用于操作它的方法
US11176426B2 (en) * 2018-06-18 2021-11-16 Zoox, Inc. Sensor obstruction detection and mitigation using vibration and/or heat
US20200001830A1 (en) * 2018-06-27 2020-01-02 Geoffrey F. Deane Systems and methods for perception surface cleaning, drying, and/or thermal management with localized heating

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112758046A (zh) * 2021-01-27 2021-05-07 的卢技术有限公司 一种基于智能识别的挡风玻璃清晰度控制方法与系统
CN112758046B (zh) * 2021-01-27 2022-11-04 的卢技术有限公司 一种基于智能识别的挡风玻璃清晰度控制方法与系统
CN113200022A (zh) * 2021-04-28 2021-08-03 广州文远知行科技有限公司 一种传感器的清洁方法、装置、设备及存储介质
CN115311589A (zh) * 2022-10-12 2022-11-08 山东乾元泽孚科技股份有限公司 一种用于采光建筑的隐患处理方法及设备

Also Published As

Publication number Publication date
US10829091B2 (en) 2020-11-10
DE102019125303A1 (de) 2020-03-26
US20200094784A1 (en) 2020-03-26

Similar Documents

Publication Publication Date Title
CN110920569A (zh) 车辆传感器清洁
US20230347877A1 (en) Navigation Based on Detected Size of Occlusion Zones
US11897518B2 (en) Systems and methods for navigating with sensing uncertainty
US10591929B2 (en) Prioritized constraints for a navigational system
US11181926B2 (en) Trajectory selection for an autonomous vehicle
CN112930554A (zh) 用于确定车辆环境的语义网格的电子设备、系统和方法
US10836356B2 (en) Sensor dirtiness detection
JP7472832B2 (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
CN111409596A (zh) 液滴路径预测
US11702044B2 (en) Vehicle sensor cleaning and cooling
US11718290B2 (en) Methods and systems for safe out-of-lane driving
CN111452743A (zh) 疏水涂层特征化
CN116703966A (zh) 多对象跟踪
CN116071712A (zh) 车辆传感器遮挡检测
CN115546756A (zh) 提高车辆内的情境感知能力
KR20220068101A (ko) 고스트 포인트 필터링
EP4145398A1 (en) Systems and methods for vehicle camera obstruction detection
Memon et al. Self-driving car using lidar sensing and image processing
US20240123944A1 (en) Devices, systems, and methods for camera cleaning and flare reduction for vehicles
CN117710932A (zh) 使用反射表面的对象检测
CN118144670A (zh) 用于车辆的自适应远光灯控制的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination