CN111409596A - 液滴路径预测 - Google Patents

液滴路径预测 Download PDF

Info

Publication number
CN111409596A
CN111409596A CN202010008968.4A CN202010008968A CN111409596A CN 111409596 A CN111409596 A CN 111409596A CN 202010008968 A CN202010008968 A CN 202010008968A CN 111409596 A CN111409596 A CN 111409596A
Authority
CN
China
Prior art keywords
path
vehicle
droplet
computer
instructions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010008968.4A
Other languages
English (en)
Inventor
大卫·迈克尔·赫尔曼
阿什温·阿伦莫治
文卡特什·克里希南
苏尼尔·帕蒂尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN111409596A publication Critical patent/CN111409596A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833—Optical rain sensor
    • B60S1/0844—Optical rain sensor including a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/54—Cleaning windscreens, windows or optical devices using gas, e.g. hot air
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本公开提供“液滴路径预测”。一种系统包括处理器和存储指令的存储器，所述指令可由所述处理器执行以预测液滴在表面上的路径，然后基于所述路径来致动一个或多个车辆部件。

Description

液滴路径预测
技术领域
本公开总体上涉及车辆传感器。
背景技术
车辆可以使用来自光学传感器的图像数据进行操作。在光学传感器的视野中的表面上的液滴可能会降低图像数据对操作车辆的有用性。
发明内容
一种系统包括处理器和存储指令的存储器，所述指令可由所述处理器执行以预测液滴在表面上的路径，然后基于所述路径来致动一个或多个车辆部件。
所述指令还可以包括用于确定所述路径是从所述表面上的低优先级区域到所述表面上的高优先级区域的指令，其中所述高优先级区域与所述低优先级区域相比有更高概率包含可能干扰车辆操作的可检测对象。
所述指令还可以包括用于基于车速、风速、表面的倾斜角、车辆加速度、所述液滴的大小以及所述表面的疏水性中的至少一者来预测所述路径的指令。
所述指令还可以包括用于基于指示所述液滴的一个或多个先前位置的存储数据来预测所述路径的指令。
所述指令还可以包括通过致动清洁系统来致动所述一个或多个车辆部件的指令。
所述指令还可以包括用于在致动所述清洁系统之后预测所述液滴的第二路径的指令。
所述指令还可以包括用于通过致动转向系统、制动系统和推进系统中的至少一者来致动所述一个或多个车辆部件的指令。
所述指令还可以包括用于在预测所述路径之后等待一定的时间量、然后基于所述液滴的位置与所述路径的比较来更新所述预测的一个或多个参数的指令。
所述系统可以包括光学传感器，所述光学传感器限定视野并且与所述处理器进行通信，其中所述表面在所述视野中。
所述指令还可以包括用于识别所述液滴到达未来位置的时间量并确定到达所述未来位置的所述时间量大于阈值时间量的指令。
所述表面可以在透镜和挡风玻璃中的一者上。
一种方法包括预测液滴在表面上的路径，然后基于所述路径来致动一个或多个车辆部件。
可以基于车速、风速、表面的倾斜角、车辆加速度、所述液滴的大小以及所述表面的疏水性中的至少一者来预测所述路径。
所述方法可以包括在预测所述路径之后等待一定的时间量，然后基于所述液滴的位置与所述路径的比较来更新所述预测的一个或多个参数。
所述方法可以包括识别所述液滴到达未来位置的时间量并确定到达所述未来位置的所述时间量大于阈值时间量。
致动一个或多个车辆部件可以包括致动清洁系统，并且所述方法还可以包括在致动所述清洁系统之后预测所述液滴的第二路径。
可以基于指示所述液滴的一个或多个先前位置的存储数据来预测所述路径。
一种系统包括用于检测表面上的液滴的构件。所述系统包括用于预测所述液滴在所述表面上的路径的构件。所述系统包括用于基于所述路径使液滴相对于所述表面移动的构件。
所述系统可以包括用于基于所述路径导航车辆的构件。
所述系统可以包括用于确定所述路径是从所述表面上的低优先级区域到所述表面上的高优先级区域的构件，其中所述高优先级区域与所述低优先级区域相比有更高概率包含可能干扰车辆操作的可检测对象。
附图说明
图1是具有用于预测液滴的路径的系统的车辆的透视图。
图2是包括挡风玻璃和光学传感器的车辆的一部分的截面图。
图3是系统和车辆的部件的框图。
图4示出示例性深度神经网络(DNN)。
图5是由光学传感器捕获的示例性图像的图示。
图6是示出用于控制具有用于预测液滴的路径的系统的车辆的过程的流程图。
具体实施方式
参考附图，其中相同的附图标记在若干视图中指示相同的部分，用于车辆12的系统10包括用于检测表面16a、16b上的液滴14的构件。用于检测液滴14的示例性构件包括指向挡风玻璃20上的表面16a或透镜22上的表面16b的光学传感器18。系统10包括用于预测液滴14在表面16a、16b上的路径24的构件。用于预测路径的示例性构件包括计算机26，所述计算机具有处理器和存储指令的存储器，所述指令可由处理器执行以预测液滴14在表面16a、16b上的路径24，然后基于路径24来致动一个或多个车辆部件。系统10包括用于基于路径24使液滴14相对于表面16a、16b移动的构件。用于移动液滴14的示例性构件包括与计算机26进行通信的清洁系统28。
如本文所使用的，车辆部件是可由计算机26致动以执行物理功能(例如，致动清洁系统28、推进系统30、转向系统32和/或制动系统34)的车辆12的系统、总成、子总成和/或其他结构。
预测液滴14的路径24通过预测检测到的对象36何时可能被液滴14遮挡以及通过减少液滴14对有相对较高概率包括可检测对象36的区域视图的干扰来辅助车辆12的自主或半自主操作。例如，计算机26可以操作车辆12使得路径24相对于较高概率区域重新定位。预测液滴14的路径24允许在清洁表面16a、16b时有效地利用车辆资源。例如，当路径24指示液滴14将不会干扰光学传感器18在较高概率区域中收集的数据时，计算机26可以禁止致动清洁系统28。
车辆12可以是任何类型的乘用或商用汽车，诸如汽车、卡车、运动型多功能车辆、跨界车辆、货车、小型货车、出租车、公共汽车等。
挡风玻璃20保护车辆12的内部例如不受风、降水、碎屑等的影响。挡风玻璃20是透明的，例如使得车辆12的乘员可以通过挡风玻璃观看。挡风玻璃20可以被车辆12支撑在乘客舱的前向端、乘客舱的后向端等处。表面16a可以例如相对于挡风玻璃20远离乘客舱。换句话说，表面16a通常在乘客舱外部。
光学传感器18检测光。光学传感器18可以是扫描激光测距仪(scanning laserrange finder)、光探测和测距(LIDAR)装置、诸如相机的图像处理传感器或者检测光的任何其他传感器。车辆12可以支撑一个或多个光学传感器18，例如，立体相机对。例如，光学传感器18中的一者可以检测通过挡风玻璃20的光，而光学传感器18中的另一者可以检测通过透镜22的光。在另一个示例中，光学传感器18可能够测量对象的反射率及其距离两者，例如飞行时间相机。光学传感器18可能够检测诸如红色、蓝色、绿色、可见光、近红外等一个或多个波长。光学传感器18可以紧邻放置并且共享面向光学表面(例如，挡风玻璃)的相同外部，从而允许一个相机图像预测沿着每个光学传感器18的相应视野行进的同一液滴在另一相机中的未来阻塞。
光学传感器18具有视野38。视野38是相对于光学传感器18的空间，光学传感器18可检测来自所述空间的光。换句话说，由视野38内的对象产生的和/或反射的并朝向光学传感器18的光可被光学传感器18检测到，前提是这种光在到达光学传感器18之前没有被阻挡。表面16a、16b在视野38中，例如，这取决于光学传感器18的位置。
光学传感器18基于从视野38内检测到的光来产生图像数据。图像数据指示具有二维像素阵列(例如，具有多行和多列像素的网格)的检测到的图像。每个像素可以指示从视野38的特定部分检测到的光的颜色、亮度、色调等。在图5中示出了可以由来自光学传感器18的图像数据指示的示例性图像的图示。
车辆12可以包括其他传感器40。传感器40可以检测车辆12的内部状态，例如轮速、车轮定向以及发动机和变速器变量。传感器40可以检测车辆的位置或定向，所述传感器例如全球定位系统(GPS)传感器；加速度计，诸如压电或微机电系统(MEMS)传感器；陀螺仪，诸如速率陀螺仪、环形激光陀螺仪或光纤陀螺仪；惯性测量单元(IMU)；和磁力计。传感器40可以检测外部环境，所述传感器例如雷达传感器、扫描激光测距仪、光探测和测距(LIDAR)装置以及图像处理传感器(诸如相机)。车辆12还可以包括通信装置，例如，车辆对基础设施(V2I)或车辆对车辆(V2V)装置。
透镜22保护光学传感器18。透镜22可以将光聚焦在光学传感器18上。透镜22可以是部分或完全透明的。透镜22可以是塑料、玻璃等。表面16b可以例如相对于透镜22的其余部分远离传感器。透镜22可以是旋转对称的或非旋转对称的(自由形式透镜)。
例如，响应于来自计算机26的指令，清洁系统28从挡风玻璃20的表面16a、透镜22的表面16b等去除对象，诸如液滴14。清洁系统28可以包括指向表面16a、16b的喷嘴42。例如，当清洁系统28被致动到启动状态时，喷嘴42可以被提供流体流，例如来自鼓风机的空气、来自箱的压缩空气等。空气可以推动液滴14例如远离喷嘴42。附加的喷嘴42可以喷射清洁流体以帮助去除其他障碍物。可以利用其他技术，诸如超声振动。可以指定压力、速率、持续时间等提供来自喷嘴42的空气。清洁系统28可以与计算机26进行通信。
转向系统32例如响应于来自计算机26的指令、响应于诸如方向盘的操作员输入或在驾驶员辅助技术的情况下这两者的组合来控制车辆12的车轮的转向角。转向系统32可以是具有电动助力转向的齿条和小齿轮系统、线控转向系统或者用于控制车轮的转向角的任何其他合适的系统。转向系统32可以与计算机26进行通信。
制动系统34例如响应于来自计算机26的指令和/或响应于诸如制动踏板的操作员输入而阻止车辆12的运动，由此使车辆12减速和/或停止。制动系统34可以包括摩擦制动器，诸如盘式制动器、鼓式制动器、带式制动器等等；再生制动器；任何其他合适类型的制动器；或者组合。制动系统34可以与计算机26进行通信。
推进系统30例如响应于来自计算机26的指令和/或响应于诸如加速踏板的操作员输入而将能量转换成车辆12的运动。例如，推进系统30可以包括：常规的动力传动系统，所述动力传动系统具有联接到变速器的内燃发动机，所述变速器将旋转运动传递到车轮；电动动力传动系统，其具有电池、电动马达和将旋转运动传递到车轮的变速器；混合动力传动系统，其具有常规的动力传动系统和电动动力传动系统的元件；或用于向车辆12提供运动的任何其他类型的结构。推进系统30可以与计算机26进行通信。
车辆12可以包括可以确定车辆12的位置的导航系统44。经由电路、芯片或其他电子部件实施导航系统44。可以经由诸如全球定位系统(GPS)的基于卫星的系统来实施导航系统44。导航系统44可以基于从地球轨道上的各种卫星接收的信号来对车辆12的位置进行三角测量。导航系统44被编程为经由通信网络46将表示车辆12的位置的信号输出到例如计算机26。在一些情况下，导航系统44被编程为确定从当前位置到未来位置的路线。导航系统44可以访问存储在导航系统44和/或计算机26的存储器中的虚拟地图，并且根据虚拟地图数据来开发路线。虚拟地图数据可以包括车道信息，所述车道信息包括道路的车道数量、此类车道的宽度和边缘等。
通信网络46包括用于促进诸如计算机26、推进系统30、转向系统32、导航系统44、制动系统34、清洁系统28、光学传感器18和其他传感器40的车辆部件之间的通信的硬件，诸如通信总线。通信网络46可以根据诸如控制器局域网(CAN)、以太网、WiFi、局域互连网(LIN)和/或其他有线或无线机制等多种通信协议来促进车辆部件之间的有线或无线通信。
经由电路、芯片或其他电子部件实施的计算机26包括在系统10中以执行各种操作，包括本文所述的操作。计算机26是通常包括处理器和存储器的计算装置，所述存储器包括一种或多种形式的计算机可读介质并且存储可由处理器执行以用于执行包括本文公开的各种操作的指令。通常，计算机26的存储器还存储经由各种通信机制接收的远程数据；例如，计算机26通常被配置用于在通信网络46等上进行通信，和/或用于使用其他有线或无线协议(例如，蓝牙等)。计算机26还可以与车载诊断连接器(OBD-II)连接。经由通信网络46和/或其他有线或无线机制，计算机26可以将消息传输到车辆12中的各种装置(例如，转向系统32、制动系统34、推进系统30、光学传感器18、清洁系统28、导航系统44、传感器40等)和/或从各种装置接收消息。尽管图3为了便于说明而示出了一个计算机26，但是应当理解，计算机26可以包括一个或多个计算装置(包括远离车辆12并与其进行通信的计算装置)，并且本文所述的各种操作可以由一个或多个计算装置执行。
计算机26可以编程为(即，存储器可以存储可由处理器执行的指令以)在自主模式、半自主模式或非自主模式下操作车辆12。出于本公开的目的，自主模式被定义为计算机26控制推进系统30、制动系统34和转向系统32中的每一者的模式；在半自主模式下，计算机26控制推进系统30、制动系统34和转向系统32中的一者或两者；在非自主模式下，人类操作员控制推进系统30、制动系统34和转向系统32。
例如在自主模式和/或半自主模式下操作车辆12可以包括增加或降低车速、改变航向等。计算机12可以通过基于来自导航系统44、光学传感器18和其他传感器40的信息将指令传输到转向系统32、制动系统34和推进系统30来操作车辆12。例如，计算机26可以向转向系统32、制动系统34和/或推进系统30分别传输指示车轮角度变化、增加或减少对车辆12的移动的阻力和/或增加或减少功率输出的指令。计算机26可以操作车辆12在一条或多条道路上导航到目的地、维持和/或改变道路的车道、避开障碍物等。
计算机26可以被编程为识别表面16a、16b(诸如透镜22上的表面16b、挡风玻璃20上的表面16a等)上的液滴14。计算机26可以基于来自光学传感器18的图像数据识别液滴14。例如，计算机26可以根据例如已知的图像识别技术来分析图像数据以识别液滴14。
作为一个这样的示例，计算机26可以识别图像数据中具有某个形状、颜色、亮度、强度梯度、大小等的像素的分组。可以将形状与指定的并存储的阈值形状(例如，具有距像素分组中心+/-1毫米半径的圆度公差的圆圈)进行比较。可以将亮度与一个或多个指定的并存储的亮度阈值进行比较，例如，比1200勒克斯亮且比120勒克斯暗。可以将大小与一个或多个指定的并存储的阈值大小进行比较，例如，小于12毫米且大于2毫米。
阈值可以是预定的并且存储在计算机26的非易失性存储器中。可以基于经验测试(例如，对表面上一个或多个已知液滴的图像数据的分析)来预先确定亮度和/或大小阈值。计算机26可以例如基于当日时间、环境光量、对图像数据中像素的其余部分的分析等在一个或多个存储的阈值中进行选择。例如，在日光下，表面16a、16b上的液滴14的亮度可能小于图像的其余部分，而在夜间，即，在没有日光的情况下，表面16a、16b上的液滴14可能例如因反射另一车辆的前灯、路灯等而更亮。计算机26可以使用其他技术和过程来识别液滴14。
计算机26可以识别液滴14的位置。如本文所使用的，液滴14的位置是液滴14在表面16a、16b上的位置，如通过在图像数据中识别为液滴14的一组像素所指定的。例如，可以通过在图像数据中识别为液滴14的像素组的垂直和水平位置(例如，指示识别为液滴14的像素组所处的图像数据的列和行的x,y坐标等)来指定液滴14的位置。然后可以使用常规技术将为图像中的液滴14确定的x,y坐标映射到表面16a、16b的x,y坐标等，例如，图像可以包括基准标记，诸如表面16a、16b的边缘、边界或其他标记，然后可以使用所述基准标记将图像的坐标映射到液滴14在表面16a、16b上的坐标，即，位置。
计算机26可以识别液滴14处于所识别位置的时间。计算机26可以在存储器中存储液滴14的一个或多个位置以及相关时间，例如，跟踪液滴14随时间的移动。在图5中，在时间T0示出了液滴14的位置P0(即，图5示出了液滴14在当前时间T0的位置P0)；液滴14的其他存储位置和相关时间被示为P-1,T-1；P-2,T-2；等，即，示出液滴14随时间的移动。
计算机26可以被编程为预测液滴14在表面16a、16b上的路径24。液滴的路径24指示液滴14的一个或多个预测的未来位置。路径24可以指示预测液滴14在一个或多个预测的未来位置处的一个或多个未来时间。路径24可以包括例如相对于液滴14的识别位置、相对于图像数据的顶部和侧边缘等的一个或多个离散位置和时间。换句话说，路径24可以是指示一系列位置和时间的数据。例如，路径24可以包括例如指示作为时间函数的液滴14的预测未来位置(例如相对于液滴14的识别位置、相对于图像数据的顶部和侧边缘等)的公式或算法。所述公式或算法可以指示线性路径、弯曲路径和/或其组合。计算机26可以使用各种测量值和预定常数确定用于预测路径24的公式或算法，例如使用牛顿力学、流体动力学等。这种公式或算法可以利用已知的有限元或容积法进行液体路径预测，例如使用拉格朗日技术和/或奈维斯托克斯方程以及重要模型参数诸如液滴14的雷诺数、液滴14的韦伯数等。作为另一个示例，可以训练计算机26的深度神经网络200以预测路径24(下面进一步描述)。在图5中，预测的未来位置和相关时间被示为P1,T1；P2,T2；等。
计算机26可以被编程为基于车辆12的速度来预测路径24。车辆12的速度是车辆12相对于其上支撑有车辆12的地面的速度，例如以每小时英里为单位。车辆12的速度可以包括方向，例如，指南针航向、相对于车辆12的方向等。计算机26可以基于例如经由通信网络46从传感器40、导航系统44等接收的并指示轮速、车辆12的指南针航向、车辆12的位置随时间的变化等的信息来识别车辆12的速度。
车辆12的速度至少部分地通过影响环境空气相对于车辆12的相对速度而影响路径24。这种空气沿着表面16a、16b流动和/或行进，并推动液滴14例如平行于环境空气移动方向(例如，由环境空气的速度向量所指定)沿着表面16a、16b移动。例如，当车辆12的速度沿车辆前进方向时，液滴14可能被推向车辆12的后方。
计算机26可以被编程为基于风速来预测路径24。风速是环境空气相对于其上支撑有车辆12的地面的移动速度，例如以每小时英里为单位。风速可以包括方向，例如，指南针航向、相对于车辆12的方向等。计算机26可以例如通过组合车辆12的指南针航向与风速的指南针航向来确定车辆12的风速方向。计算机26可以基于来自传感器40的信息、从远程计算机接收的指示风速的信息等来确定风速。风速至少部分地通过影响环境空气相对于车辆12的相对速度来影响路径24(如上文针对车辆12的速度所论述的)。
计算机26可以被编程为基于表面16a、16b的倾斜角48来预测路径24。倾斜角48是表面16a、16b相对于地平线的角度，即，相对于水平轴线50(图2中所示)的角度。倾斜角48控制由表面16a、16b施加到液滴14的法向力。例如，当倾斜角48为0度时，法向力将液滴14直接向上推动，例如正好与重力相反，从而抑制液滴14向下移动。作为另一个示例，当倾斜角48为90度时，法向力垂直于重力，并且不抵消任何重力。倾斜角48以及法向力的方向和大小可以为基于存储在存储器中的车辆12的设计(例如，挡风玻璃20和/或透镜22的固定角度)的预定常数。
计算机26可以被编程为基于车辆12的加速度来预测路径24。车辆12的加速度是车辆12的速度的变化率，例如，增大或减小速度、改变航向等。计算机26可以基于例如经由通信网络46从传感器40、导航系统44等接收的信息来确定车辆12的加速度。当车辆12正在加速时，加速度基于液滴14与表面16a、16b之间的动量差而影响车辆12的路径24。例如，当制动系统34致动以使车辆12减速时，液滴14相对于减速车辆12的动量可以将液滴14推向车辆12的前方。
计算机26可以被编程为基于液滴14的大小来预测路径24。液滴14的大小可以是沿着表面16a、16b的液滴14的长度、沿着表面16a、16b的液滴14的宽度、液滴14的直径等。计算机26可以基于来自光学传感器18的信息来确定液滴14的大小。例如，计算机26可以确定被识别为液滴14的像素组的长度、宽度、直径等。
液滴14的大小改变其他因素对液滴14的路径24的影响。例如，与较小液滴相比，当车辆12加速时、响应于相对于车辆12的环境空气移动等，较大液滴更可能沿着表面16a、16b行进。例如，较大液滴可能具有影响由于车辆12的加速而引起的移动的增大动量、影响由于环境空气移动而对液滴14的力的大小的增大阻力等。
计算机26可以被编程为基于表面16a、16b的疏水性来预测路径24。表面16a、16b的疏水性是液滴14在表面16a、16b上的吸收/排斥量。表面的疏水性可以被称为润湿性。已知的疏水性是无单位质量，并且用提供疏水性的相对指示的各种标度(例如，界面标度、辛醇标度和辛醇界面标度)进行量化。疏水性可以通过液滴14与表面16a、16b的测量的和/或计算的接触角来指示。疏水性越高，使液滴14沿着表面16a、16b移动所需的力就越小。疏水性可以取决于表面16a、16b的纹理、表面16a、16b上的涂层等。疏水性可以用于确定在确定路径24时使用的常数，例如，基于经验测试确定的常数。换句话说，疏水性可以与其他因素结合使用，例如，与具有相对较低疏水性的表面16a、16b上的液滴14相比，当车辆12加速时、响应于相对于车辆12的环境空气移动等，液滴14更可能沿着具有相对较高的疏水性的表面16a、16b行进。计算机26可以例如基于液滴14在表面16a、16b上的检测到的和/或确定的接触角来确定疏水性。计算机26可以使用检测到的和/或确定的接触角例如利用查找表等来选择用于确定路径24的常数。
计算机26可以被编程为基于清洁系统28来预测路径24。例如，清洁系统28的致动可以产生气流，例如，来自喷嘴42并穿过表面16a、16b的气流。例如，计算机26可以存储当致动清洁系统28时施加到液滴14的力和这种力的方向。计算机26可以存储多个力和方向，例如，每个喷嘴42的方向和取决于从喷嘴42流出的各种气流速率的各种力。计算机26可以基于液滴14相对于喷嘴42的位置存储各种力，例如，与液滴14更远离喷嘴时相比，在液滴更靠近喷嘴42时，来自喷嘴42的空气可以向液滴14施加更大的力。
计算机26可以被编程为基于指示液滴14的一个或多个先前位置的存储数据来预测路径24。例如，液滴14的所存储的先前位置(P-1,T-1、P-2,T-2等)可以指示液滴14沿某个方向且以某个速度移动穿过表面16a、16b。方向可以由一个或多个向量指示，例如，从P-3,T-3延伸到P-2,T-2，从P-2,T-2延伸到P-1,T-1等。例如，当以规则的时间间隔捕获位置时，可以通过此类向量的长度来指示速度。换句话说，计算机26可以基于所存储数据中的位置变化以及相关时间变化来确定这种速度和方向。计算机26可以外推在未来时间处的附加位置以预测路径24，例如，计算机26可以确定与所存储位置的最佳拟合曲线，并且预测位置可以沿着这种最佳拟合曲线。
计算机26可以被编程为利用机器学习编程来预测路径24，所述机器学习编程例如是神经网络，诸如深度神经网络200(图4中所示)。例如，DNN 200可以是可以加载到存储器中并由包括在计算机26中的处理器执行的软件程序。DNN 200可以包括n个输入节点205，每个输入节点接受一组输入i(即，每组输入i可以包括一个或多个输入x)。DNN 200可以包括m个输出节点(其中m和n可以是但通常不是相同数量)提供输出o1...om的集合。DNN 200包括多个层，所述多个层包括数量k个隐藏层，每一层包括一个或多个节点205。每一层可以由特定类型组成，诸如完全连接、卷积、脱离、池化、softmax等。节点205有时被称为人工神经元205，因为它们被设计为模拟生物(例如人)神经元。神经元块210示出了示例性人工神经元205i的输入及其中的处理。每个神经元205的一组输入x1...xr各自乘以相应权重wi1...wir，加权输入然后在输入函数∑中相加以提供可能经偏差bi调整的净输入ai，所述净输入然后被提供给激活函数f，所述激活函数继而提供神经元205i输出yi。激活函数f可以是通常基于经验分析选择的各种合适的函数。相应神经元205可以是前馈或递归的，例如长短期记忆(LSTM)单元。
节点205的一组权重w一起是节点205的权重向量。DNN 200的同一层中的相应节点205的权重向量可以被组合以形成所述层的权重矩阵。DNN 200的同一层中的相应节点205的偏差值b可以被组合以形成所述层的偏差向量。然后可以在训练后的DNN 200中使用每一层的权重矩阵和每一层的偏差向量。训练可以是迭代操作。在一个示例中，计算机26可以被编程为执行迭代训练，直到误差(即，预期输出(基于例如从模拟或实验获得的训练数据)相对于来自训练后的DNN 200的输出之间的差值)小于指定阈值或损失(例如，10％)为止。
DNN 200可以利用包括车辆12的速度、车辆12的加速度、风速、一个或多个表面16a、16b的一个或多个倾斜角48、液滴14的大小、液滴14的位置(P0,T0)、指示液滴14的一个或多个先前位置(P-1,T-1；P-2,T-2等)的存储数据、表面16a、16b的疏水性、清洁系统28的致动等的输入来训练，并且输出液滴14的预测路径，包括预测位置和相关时间(P1,T1；P2,T2；等)。可以利用地面实况数据(即，关于真实世界或基准条件或状态的数据，诸如车速和风速、表面倾斜角、液滴大小、表面疏水性、空气温度、湿度、清洁系统致动等)来训练DNN200。例如，可以通过使用高斯分布来初始化权重w，并且可以将每个节点205的偏差b设定为零。训练DNN 200可以包括经由常规技术(诸如带优化的反向传播)来更新权重和偏差。数据可以与用于训练DNN 200的路径相关联，即，液滴的已知路径可以与输入地面实况数据相关联。
一旦DNN 200被训练，计算机26就可以输入车辆12的速度、车辆12的加速度、风速、表面16a、16b的倾斜角48、液滴14的大小、液滴14的位置、指示液滴14的一个或多个先前位置的所存储数据、表面16a、16b的疏水性以及清洁系统28的致动，并且可以输出液滴14的预测路径24。
计算机26可以被编程为识别液滴14到达未来位置的时间量。未来位置是沿着路径24的特定位置。例如，未来位置可以在由光学传感器18捕获的图像数据中的像素的边缘，即，外周边。当液滴14在边缘处(即，基本上在视野38之外)时，液滴不太可能干扰由光学传感器18收集的图像数据。换句话说，当液滴在边缘处时，液滴14的一部分将在视野38之外，并且路径24可以指示液滴14将移出视野38。作为另一个示例，未来位置可以相对于由计算机26在图像数据中识别的其他对象36，诸如汽车、行人等。计算机26可以将预测路径24与未来位置进行比较，其中预测路径24指示液滴14预测到达这种位置要多久。
计算机26可以被编程为确定到达未来位置的时间量大于阈值时间量。阈值时间量可以是预定的并且存储在计算机26的存储器中。阈值时间量可以基于对光学传感器18的数据收集要求来确定，例如，阈值时间量可以是例如当指示车辆12周围的环境的数据量受到液滴14的限制时计算机26可以基于来自光学传感器18的信息来操作车辆12的时间量。例如，当液滴14使对图像数据中的像素所表示的辅助车辆的检测变得模糊时计算机26可以操作车辆12多长时间。
计算机26可以被编程为确定路径24是从表面16a、16b上的低优先级区域52到表面16a、16b上的高优先级区域54，且反之亦然。高优先级区域54是视野38内与低优先级区域52相比有更高概率包含可能干扰车辆12的操作的可检测对象36的区域。例如，当光学传感器18的视野38在车辆前进方向上时，高优先级区域54可以在图像数据和/或视野38的下半部分和中心。图像数据的中心很可能在车辆12正在行驶的道路所处的位置。与道路一侧的对象36相比，道路上的对象36更可能干扰车辆12的操作。在图像数据中识别的对象36可能越靠近车辆12，他们在图像数据中就越低，且因此更可能干扰车辆12的导航。图像数据的下半部上方的对象36可能在地平线上方，例如高出道路，并且不太可能干扰车辆12的导航。
高优先级区域54和低优先级区域52可以是视野38中的固定区域并存储在存储器中。计算机26可以例如基于指示先前检测到的对象的所存储数据、基于行驶车道和/或道路的检测到的边缘(其中边缘包围高优先级区域54)、基于检测到的地平线(其中高优先级区域54低于地平线)等来确定高优先级区域54和低优先级区域52。例如，移动对象可以具有比非移动对象更高的优先级，朝向干扰车辆12的操作移动的对象36的优先级可以高于远离干扰车辆12导航移动的对象36等。
计算机26可以将视野38和图像数据分解为具有可能干扰车辆12的操作的对象36的更多离散概率水平，例如，非常低、低、中低、中、中高、高和非常高。
计算机26可以被编程为基于路径24来致动一个或多个车辆部件。车辆部件是可以由计算机26致动的车辆12的电气、机电、液压或其他部件。示例性车辆部件和致动包括：致动转向系统32以改变车辆12的转向角、致动推进系统30以改变车辆12的速度、致动制动系统34以使车辆12减速、致动清洁系统28以清洁表面16a、16b等。计算机26可以通过经由通信网络46传输一个或多个指令来致动车辆部件。
计算机26可以被编程为基于路径24来致动推进系统30、转向系统32和制动系统34。例如，计算机26可以致动转向系统32以使车辆12更靠近车道的右侧或左侧来操作以例如通过在视野38内移动检测到的车道的位置来改变在视野38中相对于路径24的优先级区域的位置。改变优先级区域的位置可以使得路径24和/或液滴14从位于例如覆盖车道的一部分的高优先级区域54变为例如车道旁边的低优先级区域52。作为另一个示例，计算机26可以使用路径24来预测在视野38中检测到的一个或多个对象36(诸如其他车辆)何时可能被液滴14遮挡。当此类对象36被路径24遮挡时，它们可能无法基于来自光学传感器18的图像数据进行检测。计算机26可以被编程为例如在自主模式和/或半自主模式下操作车辆12，就如同没有丢失对象36的检测一样。换句话说，计算机26可以基于以下假设来操作车辆12：随着液滴14沿着路径24行进当液滴14覆盖对象36时，在路径24中检测到的对象36仍处于相同位置、以相同轨迹移动等。在液滴14已经沿着路径24进一步移动并且不再覆盖对象36之后，计算机26可以进一步分析沿着路径24的图像数据以重新获取对象36的检测。
计算机26可以被编程为基于路径24将清洁系统28致动到例如启动状态。计算机26可以通过经由通信网络46传输指示其中空气被提供到喷嘴42并且吹过表面16a、16b的启动状态的指令来致动清洁系统28。使空气吹过表面16a、16b可以改变路径24。另外/可选地，计算机26可以传输指示清洁系统28的擦拭物的致动的指令。
计算机26可以被编程为在将清洁系统28致动到例如启动状态之后预测液滴14的第二路径24。在清洁系统28被致动之后可以是在清洁系统28被致动到启动状态之后，例如，在从喷嘴42向表面16a、16b提供空气时。在清洁系统28被致动之后可以是以下项之后：清洁系统28被致动到启动状态，例如吹扫或擦拭表面16a、16b，然后被致动到关闭状态，例如停止吹扫或擦拭表面16a、16b。计算机26还可以评估致动清洁系统28(例如气压)对预测的第二路径的影响。
计算机26可以被编程为在预测路径24之后等待一定的时间量，然后基于液滴14的随后识别位置与路径24的比较来更新所述预测的一个或多个参数。基于比较来更新参数提高了后续预测路径24的准确性。时间量可以是预定的，例如500毫秒，并且存储在计算机26的存储器中。预测的参数是计算机26在确定液滴14的预测路径24时使用的一个或多个值。例如，计算机26可以更新指示表面16a、16b的疏水性的常数，例如，使得先前预测路径24的位置与液滴14的随后识别位置匹配。
图6是示出用于操作系统10的示例性过程500的过程流程图。过程500开始于框505，其中计算机26例如经由通信网络46从光学传感器18、传感器40、导航系统44等接收数据。计算机26可以基本上连续地或以时间间隔(例如，每50毫秒)接收这种数据。计算机26可以将数据存储在例如存储器上。
在框510处，计算机26识别表面16a、16b上的液滴14。例如如本文所述，计算机26可以基于经由通信网络46从光学传感器18接收的图像数据来识别液滴14以及这种液滴14的位置(包括随时间变化的多个位置)。计算机26可以存储指示所识别液滴14的一个或多个检测到的位置的数据。在整个过程500中，计算机26可以继续识别并存储液滴14的一个或多个检测到的位置。
接下来在框515处，计算机26预测在框510处在表面16a、16b上识别的液滴14的路径24。例如如本文所述，计算机26可以基于车辆12的加速度、车辆12的速度、风速、表面16a、16b的倾斜角48、液滴14的大小、表面16a、16b的疏水性和/或指示液滴14的一个或多个先前检测到的位置的所存储数据中的一者或多者来预测液滴14的路径24。
接下来，在框520处，例如如本文所述，计算机26确定路径24是否指示液滴14被预测为在光学传感器18的视野38中从高优先级区域54移动到低优先级区域52。当计算机26确定液滴14被预测为将从高优先级区域54移动到低优先级区域52时，过程500移至框525。当计算机26确定液滴14未被预测为将从高优先级区域54移动到低优先级区域52时，过程500移至框535。
在框525处，计算机26例如基于预测路径24并且如本文所述识别液滴14到达低优先级区域52的时间量。
接下来，在框530处，例如如本文所述，计算机26确定在框525中识别的时间量是否大于阈值时间量。当计算机26确定时间量大于阈值时，过程500移至框540。当计算机26确定时间量不大于阈值时间量时，所述过程移至框545。
接下来，在框535处，例如如本文所述，计算机26确定路径24是否指示液滴14被预测为在光学传感器18的视野38中从低优先级区域52移动到高优先级区域54。当计算机26确定液滴14被预测为将从低优先级区域52移动到高优先级区域54时，过程500移至框540。当计算机26确定液滴14未被预测为将从低优先级区域52移动到高优先级区域54时，过程500移至框545。
在框540处，例如如本文所述，计算机26致动一个或多个车辆部件。例如，计算机26可以将指令传输到清洁系统28以致动到启动状态以使空气吹过表面16a、16b。在一定时间量(例如，2秒)之后，计算机26可以将清洁系统28致动到关闭状态。作为另一个示例，例如如本文所述，计算机26可以基于路径24来致动推进系统30、转向系统32和/或制动系统34。在框540之后，所述过程可以返回到框515，例如再次预测液滴14的路径24。可选地，过程500可以结束。
在框545处，例如如本文所述，计算机26等待一定的时间量。
接下来在框550处，计算机26识别液滴的位置，并基于在框550中识别的液滴14的位置与在框515中预测的路径24的比较来更新预测的(例如，用于确定路径24的算法的)一个或多个参数。在框550之后，过程500可以结束。可选地，过程500可以返回到框510。
结论
关于本文所述的过程500，应当理解，尽管已经将这种过程500的步骤描述为根据某个有序序列发生，但是这种过程500可以采用以本文所述顺序之外的顺序执行的所描述步骤来实践。还应当理解，可以同时执行某些步骤，可以添加其他步骤，或者可以省略本文所述的某些步骤。换句话说，本文对过程500的描述是为了示出某些实施例而提供，而决不应当将其理解为对公开的主题进行限制。
计算装置(诸如计算机26)通常包括计算机可执行指令，其中所述指令可以由诸如以上列出的那些计算装置等一个或多个计算装置来执行。计算机可执行指令可以由使用各种编程语言和/或技术创建的计算机程序来编译或解译，这些编程语言和/或技术单独地或组合地包括但不限于JavaTM、C、C++、Visual Basic、Java Script、Python、Perl等。这些应用中的一些可以在虚拟机(诸如Java虚拟机、Dalvik虚拟机等)上编译和执行。通常，处理器(例如，微处理器)例如从存储器、计算机可读介质等接收指令，并且执行这些指令，由此执行一个或多个过程，其包括本文所述的过程中的一个或多个。可以使用多种计算机可读介质来存储和传输此类指令和其他数据。
计算机可读介质(也被称为处理器可读介质)包括参与提供可以由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性的(例如，有形的)介质。这种介质可以采取许多形式，包括但不限于非易失性介质和易失性介质。非易失性介质可以包括例如光盘或磁盘和其他持久性存储器。易失性介质可以包括例如通常构成主存储器的动态随机存取存储器(DRAM)。此类指令可由一种或多种传输介质来传输，所述传输介质包括同轴电缆、铜线和光纤，包括构成耦接到计算机的处理器的系统总线的电线。常见形式的计算机可读介质包括(例如)软磁盘、软盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他光学介质、穿孔卡、纸带、带有孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储器芯片或盒式磁带或者计算机可读的任何其他介质。
在一些示例中，系统元件可以被实施为一个或多个计算装置(例如，服务器、个人计算机、计算模块等)上的、存储在与其相关联的计算机可读介质(例如，磁盘、存储器等)上的计算机可读指令(例如软件)。计算机程序产品可以包括存储在计算机可读介质上用于执行本文所描述的功能的此类指令。
已经以说明性方式描述了本公开，并且应当理解，已经使用的术语旨在具有描述而非限制的词语的性质。鉴于以上教导，本公开的许多修改和变化是可能的，并且本公开可以不同于具体描述的其他方式来实践。
根据本发明，提供了一种系统，所述系统具有处理器；以及存储指令的存储器，所述指令能够由所述处理器执行以：预测液滴在表面上的路径；然后基于所述路径来致动一个或多个车辆部件。
根据实施例，本发明的特征还在于用于确定所述路径是从所述表面上的低优先级区域到所述表面上的高优先级区域的指令，其中所述高优先级区域与所述低优先级区域相比有更高概率包含可能干扰车辆操作的可检测对象。
根据实施例，本发明的特征还在于用于基于车速、风速、表面的倾斜角、车辆加速度、所述液滴的大小以及所述表面的疏水性中的至少一者来预测所述路径的指令。
根据实施例，本发明的特征还在于用于基于指示所述液滴的一个或多个先前位置的存储数据来预测所述路径的指令。
根据实施例，本发明的特征还在于用于通过致动清洁系统来致动所述一个或多个车辆部件的指令。
根据实施例，本发明的特征还在于用于在致动所述清洁系统之后预测所述液滴的第二路径的指令。
根据实施例，本发明的特征还在于用于通过致动转向系统、制动系统和推进系统中的至少一者来致动所述一个或多个车辆部件的指令。
根据实施例，本发明的特征还在于用于在预测所述路径之后等待一定的时间量、然后基于所述液滴的位置与所述路径的比较来更新所述预测的一个或多个参数的指令。
根据实施例，本发明的特征还在于光学传感器，所述光学传感器限定视野并且与所述处理器进行通信，其中所述表面在所述视野中。
根据实施例，本发明的特征还在于用于识别所述液滴到达未来位置的时间量并确定到达所述未来位置的所述时间量大于阈值时间量的指令。
根据实施例，所述表面在透镜和挡风玻璃中的一者上。
根据本发明，一种方法包括预测液滴在表面上的路径；然后基于所述路径来致动一个或多个车辆部件。
根据实施例，基于车速、风速、表面的倾斜角、车辆加速度、所述液滴的大小以及所述表面的疏水性中的至少一者来预测所述路径。
根据实施例，本发明的特征还在于，在预测所述路径之后等待一定的时间量，然后基于所述液滴的位置与所述路径的比较来更新所述预测的一个或多个参数。
根据实施例，本发明的特征还在于，识别所述液滴到达未来位置的时间量并确定到达所述未来位置的所述时间量大于阈值时间量。
根据实施例，致动一个或多个车辆部件包括致动清洁系统，并且还包括在致动所述清洁系统之后预测所述液滴的第二路径。
根据实施例，基于指示所述液滴的一个或多个先前位置的存储数据来预测所述路径。
根据本发明，提供了一种系统，所述系统具有用于检测表面上的液滴的构件；用于预测所述液滴在所述表面上的路径的构件；以及用于基于所述路径使液滴相对于所述表面移动的构件。
根据实施例，本发明的特征还在于用于基于所述路径来导航车辆的构件。
根据实施例，本发明的特征还在于用于确定所述路径是从所述表面上的低优先级区域到所述表面上的高优先级区域的构件，其中所述高优先级区域与所述低优先级区域相比有更高概率包含可能干扰车辆操作的可检测对象。

Claims (15)

1.一种方法，其包括：
预测液滴在表面上的路径；以及
然后基于所述路径来致动一个或多个车辆部件。
2.如权利要求1所述的方法，其中基于车速、风速、所述表面的倾斜角、车辆加速度、所述液滴的大小以及所述表面的疏水性中的至少一者来预测所述路径。
3.如权利要求1所述的方法，其还包括在预测所述路径之后等待一定的时间量，然后基于所述液滴的位置与所述路径的比较来更新所述预测的一个或多个参数。
4.如权利要求1所述的方法，其还包括识别所述液滴到达未来位置的时间量并确定到达所述未来位置的所述时间量大于阈值时间量。
5.如权利要求1所述的方法，其中致动一个或多个车辆部件包括致动清洁系统。
6.如权利要求5所述的方法，其还包括在致动所述清洁系统之后预测所述液滴的第二路径。
7.如权利要求1所述的方法，其中基于指示所述液滴的一个或多个先前位置的存储数据来预测所述路径。
8.一种系统，其包括：处理器和存储指令的存储器，所述指令能够由所述处理器执行以执行如权利要求1-7中的任一项所述的方法。
9.如权利要求8所述的系统，所述指令还包括用于确定所述路径是从所述表面上的低优先级区域到所述表面上的高优先级区域的指令，其中所述高优先级区域与所述低优先级区域相比有更高概率包含可能干扰车辆操作的可检测对象。
10.如权利要求8所述的系统，所述指令还包括用于通过致动转向系统、制动系统和推进系统中的至少一者来致动所述一个或多个车辆部件的指令。
11.如权利要求8所述的系统，其还包括光学传感器，所述光学传感器限定视野并且与所述处理器进行通信，其中所述表面在所述视野中。
12.如权利要求8所述的系统，其中所述表面在透镜和挡风玻璃中的一者上。
13.一种系统，其包括：
用于检测表面上的液滴的构件；
用于预测所述液滴在所述表面上的路径的构件；以及
用于基于所述路径使所述液滴相对于所述表面移动的构件。
14.如权利要求13所述的系统，其还包括用于基于所述路径导航车辆的构件。
15.如权利要求13-14中任一项所述的系统，其还包括用于确定所述路径是从所述表面上的低优先级区域到所述表面上的高优先级区域的构件，其中所述高优先级区域与所述低优先级区域相比有更高概率包含可能干扰车辆操作的可检测对象。
CN202010008968.4A 2019-01-08 2020-01-06 液滴路径预测 Pending CN111409596A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/242,225 2019-01-08
US16/242,225 US10780861B2 (en) 2019-01-08 2019-01-08 Liquid droplet path prediction

Publications (1)

Publication Number Publication Date
CN111409596A true CN111409596A (zh) 2020-07-14

Family

ID=71104219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010008968.4A Pending CN111409596A (zh) 2019-01-08 2020-01-06 液滴路径预测

Country Status (3)

Country Link
US (1) US10780861B2 (zh)
CN (1) CN111409596A (zh)
DE (1) DE102020100255A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11308314B2 (en) * 2019-03-21 2022-04-19 Toyota Research Institute, Inc. Systems, devices, and methods for generating a pose estimate of an object
JP2020160914A (ja) * 2019-03-27 2020-10-01 株式会社豊田自動織機 物体検出装置
US11535158B2 (en) * 2019-03-28 2022-12-27 Magna Electronics Inc. Vehicular camera with automatic lens defogging feature
US11328428B2 (en) * 2019-12-18 2022-05-10 Clarion Co., Ltd. Technologies for detection of occlusions on a camera
US11532098B2 (en) * 2020-09-01 2022-12-20 Ford Global Technologies, Llc Determining multi-degree-of-freedom pose to navigate a vehicle
JP2022069330A (ja) * 2020-10-23 2022-05-11 トヨタ自動車株式会社 制御装置、制御方法、及び街灯
DE102022000235A1 (de) 2022-01-24 2023-07-27 Mercedes-Benz Group AG Verfahren zur Reinigung eines Sichtfensters eines Lidars

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09292656A (ja) 1996-02-27 1997-11-11 Fuji Photo Optical Co Ltd カメラレンズ部の水滴除去装置
EP1025702B9 (en) * 1997-10-30 2007-10-03 Donnelly Corporation Rain sensor with fog discrimination
JP4565460B2 (ja) * 2001-05-16 2010-10-20 ナイルス株式会社 付着物検出装置、およびそれを用いたワイパー制御装置
JP2006235476A (ja) * 2005-02-28 2006-09-07 Fuji Photo Film Co Ltd 光学素子、光学ユニット、および撮像装置
WO2010084521A1 (ja) * 2009-01-20 2010-07-29 本田技研工業株式会社 ウインドシールド上の雨滴を同定するための方法及び装置
US8362453B2 (en) * 2010-02-24 2013-01-29 Niles Co., Ltd. Rain sensor
TWI478834B (zh) * 2012-04-13 2015-04-01 Pixart Imaging Inc 雨刷控制裝置、光學雨滴偵測裝置及其偵測方法
WO2014010578A1 (ja) 2012-07-11 2014-01-16 日産自動車株式会社 車載カメラの洗浄装置及び車載カメラの洗浄方法
JP2014044196A (ja) * 2012-07-30 2014-03-13 Ricoh Co Ltd 付着物検出装置、移動装置用機器制御システム及び移動装置
US9707896B2 (en) 2012-10-15 2017-07-18 Magna Electronics Inc. Vehicle camera lens dirt protection via air flow
JP6328369B2 (ja) * 2012-11-27 2018-05-23 クラリオン株式会社 車載用制御装置
US9445057B2 (en) 2013-02-20 2016-09-13 Magna Electronics Inc. Vehicle vision system with dirt detection
JP6163207B2 (ja) 2013-07-18 2017-07-12 クラリオン株式会社 車載装置
US9217864B2 (en) 2014-03-28 2015-12-22 Richard Bell Automatic camera lens cleaning system
US10035498B2 (en) 2015-04-22 2018-07-31 Ford Global Technologies, Llc Vehicle camera cleaning system
US11034335B2 (en) * 2016-07-07 2021-06-15 Nio Usa, Inc. Low-profile imaging system with enhanced viewing angles
US10699305B2 (en) * 2016-11-21 2020-06-30 Nio Usa, Inc. Smart refill assistant for electric vehicles
WO2018132608A2 (en) * 2017-01-12 2018-07-19 Mobileye Vision Technologies Ltd. Navigation based on occlusion zones
US20190106085A1 (en) * 2017-10-10 2019-04-11 GM Global Technology Operations LLC System and method for automated decontamination of vehicle optical sensor lens covers

Also Published As

Publication number Publication date
DE102020100255A1 (de) 2020-07-09
US10780861B2 (en) 2020-09-22
US20200216033A1 (en) 2020-07-09

Similar Documents

Publication Publication Date Title
CN111409596A (zh) 液滴路径预测
US10981564B2 (en) Vehicle path planning
US20230069346A1 (en) Methods and Systems for Detecting Weather Conditions using Vehicle Onboard Sensors
US11783707B2 (en) Vehicle path planning
US10627245B2 (en) Vehicle service control
US10733510B2 (en) Vehicle adaptive learning
CN108688656B (zh) 车辆及用于控制车辆的方法
US9086481B1 (en) Methods and systems for estimating vehicle speed
US8781670B2 (en) Controlling vehicle lateral lane positioning
US9632210B2 (en) Methods and systems for detecting weather conditions using vehicle onboard sensors
US10759433B2 (en) Vehicle escape
CN116249947A (zh) 预测运动规划系统及方法
US11519840B2 (en) Hydrophobic coating characterization
US11055859B2 (en) Eccentricity maps
US20220063651A1 (en) Vehicle path planning
WO2022093948A1 (en) Methods and systems for tracking a mover's lane over time
CN110481556A (zh) 车辆逃离
CN117320945A (zh) 用于确定自主车辆控制中的运动预测的运动模型的方法和系统
CN116670609A (zh) 用于预测自主车辆的未来状态的系统
CN116324662B (zh) 用于跨自主车队执行结构化测试的系统
US11887317B2 (en) Object trajectory forecasting
US20230237793A1 (en) False track mitigation in object detection systems
US20230368541A1 (en) Object attention network
CN117733835A (zh) 动态边界框
KR20230151896A (ko) 교통 참가자 행동 예측 방법, 주행 시스템 및 차량

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination