CN112504996A - 光学表面劣化检测和补救 - Google Patents

光学表面劣化检测和补救 Download PDF

Info

Publication number
CN112504996A
CN112504996A CN202010976819.7A CN202010976819A CN112504996A CN 112504996 A CN112504996 A CN 112504996A CN 202010976819 A CN202010976819 A CN 202010976819A CN 112504996 A CN112504996 A CN 112504996A
Authority
CN
China
Prior art keywords
glare
veil
optical surface
vehicle
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010976819.7A
Other languages
English (en)
Inventor
大卫·迈克尔·赫尔曼
文卡特什·克里希南
阿什温·阿伦莫治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN112504996A publication Critical patent/CN112504996A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/4738—Diffuse reflection, e.g. also for testing fluids, fibrous materials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Geometry (AREA)

Abstract

本公开提供了“光学表面劣化检测和补救”。本文提供了光学表面劣化检测和补救系统、装置和方法。一种示例方法包括：在车辆移动期间跟踪由车辆的图像传感器在某一时间段内获得的目标区域的图像内的第一对象；跟踪所述目标区域内的光源；基于形成在所述光源与所述车辆中的光学表面的光学平面之间的光源角度，使用所述图像来确定所述第一对象的相对反射强度的变化，所述相对反射强度的变化指示所述光学表面的面纱眩光；以及响应于所述面纱眩光而启用补救措施。

Description

光学表面劣化检测和补救
技术领域
本公开涉及检测并在一些情况下补救因车辆中的光学表面的当前劣化状态产生的面纱眩光或镜头光晕的影响的系统和方法。
背景技术
面纱眩光被定义为已从最终到达图像平面的图像形成束中反射或散射出的光。面纱眩光可能不形成图像，但可能相当均匀地分布在图像平面上。因此，这产生了透过雾观看的表象(诸如镜头光晕)和降低图像对比度的效果。面纱眩光可能会降低安装在车辆上的相机成像系统以及感知算法的有效性。这种眩光可能是由在汽车光学器件的外光学表面(诸如挡风玻璃表面或相机镜头盖表面)上的障碍物引起的。在汽车应用中，此类障碍物可能会出现在其中灰尘和其他物质可能会覆盖光学表面并造成面纱眩光的操作环境中。另外，利用主动照明的其他传感器类型(诸如飞行时间(TOF)相机或光检测和测距(激光雷达))可能会经历因本底噪声增加而造成的光学性能的降低，从而造成最大检测在范围上减小或在估计距离时增大误差。光学性能的这种降低还可能会影响在系统(诸如高级驾驶员辅助系统(ADAS)或自主车辆(AV))中分辨暗的和/或远的对象的能力。
此外，存在造成面纱眩光挑战增加的许多常见的驾驶环境或使用案例，在该驾驶环境或使用案例中，由于光场的角度，面纱眩光的影响更明显。该驾驶环境或使用案例中的一些包括在挡风玻璃弄脏或刮花时进入隧道或夜间在路灯下驾驶。此类场景可能会造成难以检测到看起来比面纱眩光的强度暗的对象。
发明内容
本文提供了光学表面劣化检测和补救系统、装置和方法。一种示例方法包括：在车辆移动期间跟踪由车辆的图像传感器在某一时间段内获得的目标区域的图像内的第一对象；跟踪所述目标区域内的光源；基于形成在所述光源与所述车辆中的光学表面的光学平面之间的光源角度，使用所述图像来确定所述第一对象的相对反射强度的变化，所述相对反射强度的变化指示所述光学表面的面纱眩光；以及响应于所述面纱眩光而启用补救措施。
附图说明
参考附图阐述了具体实施方式。使用相同的附图标记可指示相似或相同的项。各种实施例可利用除了附图中示出的那些之外的元件和/或部件，并且一些元件和/或部件可能不存在于各种实施例中。附图中的元件和/或部件不一定按比例绘制。在整个本公开中，根据上下文，可能够互换地使用单数和复数术语。
图1示出了可实现用于提供本文中公开的系统、装置和方法的技术和结构的说明性架构。
图2A至图2C共同地示出了共同地示出面纱眩光或镜头光晕，以及对象检测的图像。
图3示意性地示出了在光学表面上产生面纱眩光或镜头光晕的变动的障碍物或碎屑。
图4A至图4C共同地示出了在夜间环境中根据本公开的镜头光晕检测的面纱眩光。
图5是本公开的包括面纱眩光或镜头光晕检测和补救的示例方法的流程图。
具体实施方式
综述
本文中公开的系统、装置和方法被配置为检测因车辆的光学表面的劣化而造成的面纱眩光或镜头光晕。当然，本文的实施例不仅仅限于面纱眩光检测，并且本公开可包括对面纱眩光和/或镜头光晕的检测和补救。一般而言，如果参考了面纱眩光，则将假设也可考虑镜头光晕，除非另外明确地指明。在一些实施例中，本文的系统、装置和方法可被配置为检测面纱眩光或镜头光晕并响应于此而启用补救动作，以便矫正光学表面劣化。
一般而言，本公开利用在光学表面与光源的入射角度(也被称为光源角度)之间的函数/物理关系的知识来改进对光学表面上的障碍物的检测和测量。术语障碍物应被理解为包括光学表面的任何暂时性或永久性劣化。劣化可能是由于表面缺陷(诸如刮擦或点蚀)而造成的，但也可能是由于外来物体物质(诸如水、灰尘、污垢、霉菌、昆虫和其他类似的外来物体物质)而造成的。当然，本文中公开的系统和方法还可用于量化存在于光学表面上的一般无法由人类观察检测到的障碍物的量。障碍物也可能会通过降解过程(诸如紫外光降解等)来产生。面纱眩光可能会影响由相机或车辆中的其他光传感器获得的图像，或者通常可能会模糊驾驶员能见度。
例如，面纱眩光可能是由挡风玻璃上的外来物质引起的。定位在挡风玻璃后方的相机可能会受到由挡风玻璃上的外来物质引起的面纱眩光的有害影响。在另一个示例中，在相机的镜头上可能会出现诸如灰尘的外来物质。
换句话说，在一些实施例中，本公开提供了对光学表面上在操作期间造成面纱眩光的障碍物(例如，挡风玻璃上的灰尘)的检测和量化。对面纱眩光的检测可用作致动清洁系统或修改ADAS/AV感知和规划算法，以及诸如停用ADAS特征的系统级响应的触发器或条件。
在一些实施例中，本文的系统、装置和方法可利用在车辆运动(诸如车辆进入/离开隧道或在路灯的附近进行前进运动)期间的目标区域的知识来帮助量化面纱眩光的量值。本文的系统、装置和方法可推断出面纱眩光的量值对光源和光学表面(由光学平面限定)的相对取向敏感。当然，光源可来自单一来源，或者可来自许多来源，包括但不限于天体反照、天穹、太阳、基础设施照明、反射照明等。
另外，车辆可基于在光源的相对取向的变化期间目标区域中随时间变化的对比度(例如，暗和亮对象)来跟踪对象。在一些实施例中，使用多个传感器输入来合成对比度确定。例如，可使用相机、红外传感器和其他类似的对比度检测传感器。
在光源的相对取向改变时，车辆可监测对象的原始和当前的相对反射强度，以检测面纱眩光水平并识别诸如标称或脏的挡风玻璃的状况。在检测到面纱眩光时，可致动一个或多个车辆系统以降低面纱眩光的影响或削弱面纱眩光的根本原因。
本文的系统、装置和方法可基于一个图像以及在某一时间段内获得的多个图像来确定面纱眩光，以改善检测和测量。在一些实施例中，本公开可涉及跟踪在某一时间段内获得的图像中的对象。可跟踪对象，并且可在该时间段内观察该对象的对比度(例如，对象的亮度对暗度)。此外，可跟踪光源，诸如路灯或太阳，并且可相对于光学表面的光学平面确定光源角度。可基于形成在光源与车辆中的光学表面的光学平面之间的光源角度从对象的相对反射强度的变化来确定面纱眩光。在一些实施例中，当检测到面纱眩光时，本文的系统、装置和方法可通过致动清洁总成来补救面纱眩光，诸如当光学表面包括车辆的前或后挡风玻璃时分配挡风玻璃擦拭器流体和致动挡风玻璃擦拭器。当然，在一些实施例中检测到的面纱眩光涉及从相机的有利视点定位面纱眩光。例如，相机具有固定且远的焦距，这导致障碍物通常会失焦。
在另一个示例中，可修改ADAS/AV车辆系统的参数、属性或动作以补救面纱眩光。例如，当识别出面纱眩光时，可降低车辆的速度。在一些实施例中，可检验补救操作(诸如挡风玻璃清洁)的功效。在其他实施例中，当使用来自多个图像传感器的图像时，可确定面纱眩光的根本原因。在一个或多个实施例中，可利用神经网络来识别或推断面纱眩光的根本原因。
说明性实施例
现在转到附图，图1示出了可实现本公开的技术和结构的说明性架构100。说明性架构100可包括车辆102、目标区域104、一个或多个对象(诸如对象106和108)、光源110、服务提供者112和网络115。一般而言，第一对象106可包括路面，并且第二对象108可包括车辆的保险杠。如本文所公开，可同样地识别和跟踪其他对象。
架构100的部件(诸如车辆102和服务提供者112)可通过网络115彼此通信。网络115可包括多个不同类型的网络，诸如有线网络、互联网、无线网络和其他专用和/或公共网络中的任一者或其组合。在一些情况下，网络115可包括蜂窝、Wi-Fi或Wi-Fi直连。
一般而言，车辆102可包括可包含光学表面114、传感器总成116、控制器118和通信接口120(对于一些实施例是任选的特征)的任何车辆。在各种实施例中，光学表面114包括车辆102的前或后挡风玻璃。出于简洁和清楚目的，本文中提供的示例可将光学表面114作为车辆102的前挡风玻璃进行参考。如将在本文中更详细地讨论的，光学表面可包括车辆102内的其他表面。
当由光源110发出的光束123与光学表面114上的外来物体或障碍物126相互作用并被该外来物体或障碍物散射时，可产生面纱眩光122。存在于光学表面114上的任何外来物体都可能会引起面纱眩光。外来物体/物质的示例可包括但不限于灰尘、裂缝、凹坑或其他类似的伪影。障碍物126的量、不透明度和/或反射率可产生不同量的面纱眩光。
在一些实施例中，传感器总成116包括第一图像传感器128和光传感器130。在任选的实施例中，传感器总成116可包括第二图像传感器131。下文更详细地提供了关于第二图像传感器131的使用的附加细节。由第一图像传感器128捕获的图像127包括对象106和108，其中因光学表面114上的外来物体或障碍物126而存在面纱眩光122。
在一些实施例中，第一图像传感器128可包括相机、飞行时间(TOF)相机、全光相机、激光雷达或可能受到面纱眩光的有害影响的其他类似的系统中的任一者。在相机在车辆操作期间获得目标区域104的图像时，面纱眩光可能会影响第一图像传感器128的镜头132。因此，在一些情况下，出于本公开的目的，镜头132可被理解为光学表面的示例。其他示例可包括滤波器、分束器或其他等效的结构。
在其他实施例中，第一图像传感器128可能因其位置在光学表面114后方而受到面纱眩光122的影响。也就是说，虽然在一些实施例中，面纱眩光可归因于第一图像传感器128的镜头132上的障碍物或伪影，但面纱眩光可出现在光学表面114上。在一些实施例中，面纱眩光可归因于第一图像传感器128的镜头132和车辆102的光学表面114两者上的障碍物/伪影。另外，本文的系统、装置和方法允许使用在本文中更详细地描述的补救和验证过程来确定面纱眩光是否是由于第一图像传感器128的镜头132和/或车辆102的光学表面114上的障碍物/伪影而造成的。
也可区分镜头光晕与面纱眩光。镜头光晕在光照射到光学部件(诸如复合镜头结构或传感器管芯封装)并且在光学部件内散射，直到最终被传感器吸收时发生。这可能会引起图像伪影，被称为面纱眩光，但它们因光学部件散射的对称性而被结构化，并且被表达为相机与光源角度而不是玻璃角度的角度函数。在一些应用中，它可为同一个角度。假设镜头光晕是固定的，而不是角度相关性的，则可针对给定的光学系统对影响进行建模以生成函数。然后反演函数来去除镜头光晕以仅隔离面纱眩光影响。在一些情况下，镜头光晕可能不是固定的。它引起的眩光与光源具有不同的几何关系，并且所产生的眩光显示比引起面纱眩光的灰尘层更多的结构。
在一个实施例中，第一图像传感器128获得照片或其他类似的图像，诸如图2A至图2C的照片。在这些照片中，存在因面纱眩光而造成的图像劣化。例如，在第一图像200(图2A)中，当车辆从目标区域中的桥202下方经过时，存在很少乃至不存在面纱眩光。可确定和跟踪对象204，诸如车辆。可从第一图像200确定对象204的对比度或暗度。在一些实施例中，可相对于预编程到控制器118(参见图1)中的基线或基准确定来确定对比度。也就是说，可相对于基准进行对比度的确定，以识别目标区域的图像中的亮对暗对象。在其他实施例中，使用随时间获得的多个图像来进行对比度区分，其中图像中的第一图像被用作相对于对比度的基准。可使用的用于对比度检测概率的示例方法包括在以下文献中：Geese、Marc、UlrichSeger和Alfredo Paolillo，“检测概率：自主车辆的传感器的性能预测(DetectionProbabilities：Performance Prediction for Sensors of Autonomous Vehicles)”，《电子成像》(Electronic Imaging)2018.17(2018)：1-14。
当车辆从桥下方离开时，如图2B的第二图像206和图2C的第三图像208所示，对象204的对比度或暗度发生改变。而且，面纱眩光210的区域存在于第二图像206中并且如第三图像208中所示那样增加。面纱眩光210因如上文所讨论的光源角度的变化而从图2B增加到图2C。可相对于对象204的相对反射率随时间(诸如在图2B和图2C的图像之间)的变化确定面纱眩光210的强度或量值。随着对象204的相对亮度增大，可推断出面纱眩光210已增加。这可通过识别光源的角度的相对变化来确认。
返回参考图1，控制器118可被配置为处理由传感器总成116获得的图像，计算光源角度，并且评估面纱眩光的存在，以及诸如镜头光晕的其他相关特征。控制器118可包括处理器134和存储器136。存储器136存储由处理器134执行以执行如全文中公开的面纱眩光检测和/或补救的方面的指令。当提及由控制器118执行的操作时，应理解，这包括由处理器134执行指令。
控制器118可被配置为从第一图像传感器128接收图像并处理图像以识别其中的对象。可基于对比度来相对于彼此评估对象。也就是说，控制器118可被配置为基于对象的相对暗度或亮度来检测和跟踪对象。示例对象可包括汽车、标牌、路面标记等。换句话说，在目标区域104中，可跟踪具有不同的相对强度的对象(诸如路面或黑色汽车)以识别它们的相对强度随时间的变化。
控制器118(或光传感器130的特定配置)还可确定光源110(诸如太阳)相对于车辆102的光学表面114的位置/定位。控制器可基于光源110相对于光学表面114的所确定或评估的定位/位置来确定光源角度LA。更具体地，光源角度LA被测量为在光束123与光学平面OP之间的角度，该光学平面位于与光学表面114共面的位置。在一些实施例中，诸如当光源110是太阳时，可基于已知的当日时间、车辆的航向以及车辆的位置、道路坡度、车辆倾斜度、太阳的位置来确定太阳相对于光学表面的位置。
在各种实施例中，光学表面114相对于地平面确定的安装角度可从制造商规范中已知。利用光学表面114的已知角度和光源110的定位/位置，控制器118可确定光源角度LA。在一些情况下，光学表面可具有曲率，使得相对于光源的角度可沿着光学表面变化。换句话说，可使用例如相机介导的对路灯的检测和/或被配置为执行对光源的间接确定的装置(诸如控制器118)来检测和跟踪一个或多个光源。例如，控制器118可利用定位(例如，实时定位)和高清晰度地图来识别光源110相对于光学表面114的相对位置。一些实施例可利用从某一资源获得的光场数据或天气数据。
控制器118可被配置为跨两个或更多个图像根据对象的相对强度(例如，亮度/暗度)对光源角度LA随时间的变化来计算或推断光学表面114上的面纱眩光的存在。根据一些实施例，可仅使用单个图像来进行面纱眩光确定。一般而言，控制器118可被配置为确定图像中的亮和暗对象的相对强度对光源角度LA随时间的变化。在与使用单个图像相关的实施例中，控制器118可利用场景的在先数据，例如像在光源的附近的街道标牌或昏暗天空的反射率。控制器118可利用相机的动态范围、光源几何形状(例如，图像边界)、光源强度和/或其他参数来估计在当前倾斜角度下，光源将会产生某一固定量的面纱眩光和镜头光晕(例如，光度/亮度的增加随面纱眩光的半径+随作为围绕光源的半径和角度的函数(由于相机对称性)的镜头光晕的半径而变化)。如果眩光/光晕的量(例如，强度/亮度增加的半径)较大，则指示光学劣化。控制器118还可被配置为同样因结构(例如，在转换成极坐标系之后对光晕区域进行FFT，即快速傅里叶变换)而在面纱眩光模式与镜头光晕模式之间进行区分。
在各种实施例中，控制器118可被配置为在车辆移动期间跟踪由车辆的图像传感器(例如，第一图像传感器128)在某一时间段内获得的目标区域的图像中包括的在目标区域内的第一对象。控制器118可跟踪目标区域内的光源。控制器118还可被配置为基于形成在光源与车辆中的光学表面的光学平面之间的光源角度来确定第一对象的相对反射强度的变化。当然，相对反射强度的变化指示光学表面的面纱眩光。在一些实施例中，控制器118还可区分被遮蔽的对象，诸如进入进入隧道或在立交桥下方的车辆。在对象上的照明可改变，因此控制器118可被配置为区分恒定照明条件和变化条件。
表1包括具有从随时间获得的单独图像确定的值的列。跨多个图像评估路面(例如，第一对象106)的对比度和汽车保险杠(例如，第二对象108)的对比度。同样提供了相对反射率，其被称为对比度的变化。对比度的这种变化可指示存在面纱眩光。因此，当确定对比度没有发生相对变化时，可推断出不存在面纱眩光。尽管表1中利用了8位图像强度值，但控制器118也可在已知相机/ISP属性和设置(例如，曝光度)的情况下计算对象的照度。
Figure BDA0002684319280000101
表1
在表1中，推断出的是，由于对比度的相对增加，在光学表面上存在面纱眩光。在两个对象的对比度都在改变时，可进一步确认在光学表面上存在面纱眩光。已发现在对象之间的相对对比度的变化在减小，这指示面纱眩光。具体地，深色汽车保险杠既没有变得更具反射性，也没有使保险杠的光子通量发生变化，而是，因在挡风玻璃上的灰尘而造成的光散射愈发促成了在场景中的测量的图像强度或照度。
另外地，除了相对于所提及的其他参数跟踪对象及其对应的图像强度之外，可使用用于确定面纱眩光的其他计算方法。其他示例可包括将图像转换为强度直方图并将其他参数提供到神经网络中。可选地，可向可能结合有卷积层、递归层、注意机制等的神经网络提供输入，诸如图像、强度、光源取向和其他先前描述的参数。这种神经网络可输出在图像上的面纱眩光量值的图。网络还可提供在图像中的镜头光晕量值的图、没有面纱眩光的校正图像，或者其他输出(例如，语义分割图)。在另一个示例中，镜头光晕参数可由神经网络输出来检测镜头或传感器光学器件的劣化，例如，抗反射薄膜的失效。
在另一个实施例中，控制器118可被配置为使用强度和/或强度梯度相对于光源相对角度的直方图来确定面纱眩光的作用。
一般而言，控制器118可被配置为跟踪在目标区域104中检测到的单个对象或多个对象的相对反射强度的变化。由控制器118执行的面纱眩光确定可为跨所有对象或仅对象的一部分的相对反射强度的平均值。再次，相对反射强度随时间的变化是相对于光源角度LA以及光源角度LA如何也随时间变化发生的。
在一些实施例中，控制器118可被配置为对由第一图像传感器128获得的图像执行像素级分析(作为示例，参见图3)。假设所有其他变量保持恒定，与因在光学表面114上的障碍物126而造成的漫射照明的量相对应的面纱眩光取决于灰尘/障碍物水平和光源角度LA。其他变量或因素可包括曝光度、增益、对象在空间中相对于照明源的取向、照明水平、动态范围、多曝光设置、LED闪烁的影响等。如果存在这些变量，则可能会需要一些校正。这些校正可包括将亮度值转换成在场景中的光度或估计的对象反射率。例如，对象，诸如深色保险杠，可能会因为车辆运动(例如，转弯)而改变在光源、该对象的表面和相机之间的相对角度。基于图像强度值或计算的光度，对象看起来会突然变亮。实际上，由于朗伯余弦定律，增加的亮度可得到充分地解释，在该定律中，从漫射表面观察到的辐射强度与在视角与表面角度之间的角度的余弦以及光子通量的变化(假设主点光源，诸如太阳)成正比。因此，反射率将保持恒定，并且由于前述物理效应，而不是由于因在光学器件表面上的灰尘的突然增加而造成的附加光散射，感知到的对象亮度增加可得到充分地解释。
当然，在图像帧内如由相机捕获的对象的局部位置可能是反映光学表面114上的不均匀的障碍物126的一个因素。例如，另一个车辆可相对于安装在车辆上的观察相机在垂直方向上行驶。光学器件表面可能在光学路径的一侧上具有灰尘，例如，挡风玻璃的右半部分在相机的光学路径的区域中。该局部化灰尘层可能无法容易地使用计算机视觉技术来直接地检测(这可能归因于许多原因，诸如缺少特征、实际上是半透明的，以及失焦)。对象的图像强度、计算的光度和估计的反射率可随着对象移动而变化，使得位置从图像的其中光学表面是清洁的左侧移动到图像的其中光学表面局部有灰尘的右侧。在深色车辆的情况下，假设其他因素保持恒定(例如，光源相对角度相对于相机的光学表面的位置)，在图像帧上从属于车辆的图像中的像素的强度和光度将会增大。该效果可能是由于因从光学表面上的灰尘层的光散射而检测到的光子的数量相对于从深色车辆表面反射的光子的数量来说更多而造成的。该局部位置可由控制器118使用来识别因空间上变化的面纱眩光而造成的平均和局部障碍物(诸如按每像素计)水平。例如，在图3(与图1相结合)中，面纱眩光300的区域存在于光学表面302上。这种面纱眩光300大体上可使用本文中描述的方法来识别(例如，对象的相对强度(例如，亮度/暗度)对光源角度LA随时间变化的函数)。为了确定关于面纱眩光的障碍物或其他原因的更精细的细节，可在像素级上进一步评估在图像上的面纱眩光300的区域。即，对比其中障碍物不太密集的区域306，控制器118可识别其中障碍物更密集的区域304。如上文所指出，这种差别造成空间上变化的面纱眩光。障碍物密度或厚度较大的区域可能会产生比其中障碍物不太密集的区域大的面纱眩光(例如，更多的光在光学表面上散射)。还应注意，即使没有障碍物并且没有劣化(诸如刮擦)时，所有光学表面也会相对于光源相对角度产生一定量的光散射。光学表面的附加的障碍物和劣化会增加该光散射。简而言之，控制器118可被配置为确定在光学表面上的面纱眩光的变动，以及基于该变动来识别障碍物在光学表面上的位置。控制器118可基于对象的相对反射强度的变化的偏移、量值或函数形式中的任一者的变化来确定变动。
在一些实施例中，当进行面纱眩光确定时，可能会考虑光学表面的曲率。即，由于面纱眩光是光源角度LA的函数，光源角度LA因在光学表面中的曲率而造成的差别可能会引起面纱眩光并非因障碍物量的变化而造成的变化。在一些实施例中，控制器118可对光源角度LA的这些变化进行补偿。
将理解，面纱眩光水平可具有特征曲率，其中障碍物水平可能会影响相对对象强度的变化的偏移、量值和/或函数形式。该曲线可在实验室中或在道路测试中在光学表面上有已知水平的障碍物(例如，灰尘)的情况下进行测量。因此，可由控制器118将性能的曲线或相对变化归一化到已知的障碍物水平。另外地，镜头光晕变化可与实验室测试相关。例如，镜头可在其标称状态下并在去除抗反射涂层之后进行测量来测量镜头光晕相对于光源相对取向的增加或变化。
根据一些实施例，面纱眩光可能会受到目标区域104中的雾的存在的影响。因此，在一些实施例中，车辆102可包括湿度传感器138，该湿度传感器获得可针对雾的存在进行分析的数据。在一些实施例中，还可利用温度传感器来指示有可能存在雾。在其他实施例中，目标区域104中的雾可由控制器118从天气服务144获得天气相关数据来确定。控制器118可经由其通信接口120通过网络115或者通过V2X(车辆对外界)连接来访问天气服务。
一旦已检测到面纱眩光，控制器118就可被配置为响应于面纱眩光而启用补救措施。补救措施可包括启用车辆102的清洁总成140。清洁总成140可包括例如车辆102的挡风玻璃擦拭器系统，以包括以下操作：分配挡风玻璃擦拭器流体，以及启用挡风玻璃擦拭器。该补救动作可通过去除在光学表面114上的障碍物126的至少一部分来减少面纱眩光。当然，任何剩余的障碍物都有可能会指示光学表面114的永久性劣化。
在另一个示例中，补救动作可包括控制器118修改高级驾驶员辅助系统142或自主车辆操作的属性或参数。举例来说，高级驾驶员辅助系统142可向车辆102的驾驶员输出如下警报或消息：检测到面纱眩光，并且驾驶员应手动地启用其挡风玻璃擦拭器来清洁光学表面。在另一个示例中，高级驾驶员辅助系统142可防止驾驶员朝向面纱眩光的方向会车。在另一个示例中，高级驾驶员辅助系统142可在检测到面纱眩光时自动地降低车辆102的速度。在一些场景中，车辆可基于面纱眩光的量值而停止。这些选项中的每一者也可通过自主车辆功能或控制器执行。而且，代替启用特征，控制器118可停用ADAS特征并向驾驶员提供这种变化的消息或警告。例如，控制器118可致使ADAS将车辆减慢或停止。
而且，控制器118可对图像使用面纱眩光和镜头光晕函数形式效应，以恢复一定程度的原始图像质量，以用于显示器(后倒车相机)中或用于ADAS中(去除镜头光晕重像效应以减少在计算机视觉中的误报)。
在一些实施例中，可利用确定面纱眩光的过程来检验清洁程序。例如，一旦控制器118已确定存在面纱眩光并所述面纱眩光已导致了清洁操作的发生，则控制器118就可在清洁操作之后重新评估光学表面上的面纱眩光的存在来确定面纱眩光的量值是否已发生变化。即，由控制器118在第一时间点上确定面纱眩光的量值。由控制器118在第二或更晚的时间点上确定该面纱眩光的量值。如上文所指出，任何剩余的面纱眩光都可能是由对光学表面的永久性损坏引起的。
一般来说，控制器可通过在从光学表面114去除污染物之后确定面纱眩光的变化来验证污染物/障碍物去除的功效。当面纱眩光的量值从第一时间点到第二时间点减小时，确定清洁程序已对面纱眩光产生影响。该影响的程度由面纱眩光的量值从第一时间点到第二时间点减小的百分比变化表示。如果面纱眩光的量值没有发生变化，则可由控制器118推断出在清洁总成中已发生错误(例如，挡风玻璃擦拭器不起作用或缺少清洗液)。
面纱眩光的量值没有变化还可指示面纱眩光是由于在第一图像传感器128的镜头132上的障碍物而造成的。可通过语音命令系统或其他人机界面向驾驶员呈现如下警报或消息：应检查和清洁第一图像传感器128的镜头132。在每个迭代步骤之后，可执行对面纱眩光的量值的变化的后续确定来确定是否已检测到面纱眩光的根本原因并对此进行了补救。在其中没有识别出根本原因或无法补救面纱眩光的情况下，控制器118可推断出造成面纱眩光的障碍物本质上是结构化的，并且与光学表面有关。例如，光学表面可能被刮花或有凹坑。警告消息也可为向驾驶员告知光学表面可能被损坏的警告消息。
根据一些实施例，面纱眩光可为涂层劣化或失效的指示。例如，在用水基喷雾进行清洁动作之后，将预期，行进的水滴可去除在镜头或挡风玻璃上的污垢。如果涂层失效，则液滴可能会形成浅水膜，该浅水膜不能有效地去除污染物。这表示了其中面纱眩光通过清洁过程并未减轻的另一种场景。
在一个示例使用案例中，本公开的系统、装置和方法可用于多种相机类型和配置，诸如安装在AV车顶(例如，在车辆的顶部上的壳体)上的相机、安装在挡风玻璃后方的前视相机、安装在车身外部位置的后视和侧视相机，或者甚至是内部/驾驶员监测相机。例如，用于监测驾驶员警觉性的相机可检测汽车/卡车/SUV的舱门的后玻璃表面的面纱眩光。当检测到时，面纱眩光的指示可用于自动地启用对后玻璃的清洁。
如上文所指出，控制器118可用使用对照或实验室测试获得的数据进行编程。这些数据可用作基准。例如，可使用实验室测试来使面纱眩光的严重性与污垢障碍物水平相关。这也可能与无显眼的负面影响相关，所述显眼的负面影响诸如模糊、信噪比(SNR)降低、对比度检测概率(CDP)降低和/或相对于相机的成像能力的调制传递函数(MTF)降低。
如上文所指出，车辆102可包括第一图像传感器128和第二图像传感器131。这些传感器的输出可用作由控制器118进行的交叉检查。即，面纱眩光的根本原因(诸如灰尘层)可定位在镜头或挡风玻璃上。通常，在AV应用中，存在执行对象检测和传感器融合的多个相机。而且，除了图像/照片之外或代替图像/照片，可使用检测光的其他传感器模态。当然，所公开的方法可适于以其中可对环境照明进行成像或可将所述环境照明包括到等式中以测量范围的其他传感器模式(激光雷达、TOF相机)使用的用途。而且，灰尘可用来减小传感器的范围或使激光雷达束偏转(主动照明)，从而测量在空间中引起深度估计误差的错误的角度位置。面纱眩光的存在会降低这些传感器的有效性。本文中公开的方法可用于使用一些激光雷达/TOF相机的环境成像模式来检测诸如在激光雷达壳体上有灰尘的失效模式。
将预期，面纱眩光会降低相机的视场的那一区域的信噪比或对比度检测概率，从而降低检测、正确检测分类或误分类的可能性。在相机的当前通过面纱眩光方法检测到灰尘层的视场中(相对于其他重叠图像传感器128/132)检测到或未检测到的对象可能会被折减(或在一些实施例中被消除)，并且其他传感器对对象的检测与在传感器融合期间的标称传感器操作相比较可有所提升。
即，第二图像传感器131可用于跟踪目标区域内的第一对象。控制器118可被配置为当在由第二图像传感器131产生的图像中未检测到第一对象但在由第一图像传感器128获得的目标区域的图像中检测到第一对象时，忽略由第二图像传感器131提供的图像。当存在更多的图像传感器时，可通过由多个图像传感器提供的多个图像来获得附加置信度。当对象仅存在于某些图像中时，控制器118可推断出图像传感器中的一些的位置使得对象不存在于由图像传感器产生的图像中，或者相对于图像传感器存在错误条件。
本公开的特征可应用于特定场景，诸如当图像传感器包括激光雷达时的场景。例如，当面纱眩光因在激光雷达壳体上的灰尘而增加时，与太阳的位置(例如，光源角度)相结合，可提高激光雷达传感器的本底噪声。这将会降低在更远距离处的信噪比(SNR)和检测能力。控制器118可被配置为根据本文中公开的任何方法(其他传感器或车辆取向、当日时间、太阳的位置等的知识)来确定照明源位置。可相对于光源的光源角度按激光雷达的壳体的每个位置来执行本底噪声确定。本公开的这种应用可检测在激光雷达壳体上的污染物(例如，灰尘)并允许启用清洁系统。
面纱眩光检测也可在夜间驾驶操作期间应用。现在转向图4A至图4C，这几个图共同地示出了其中可在夜间驾驶操作期间检测到面纱眩光的环境。在图4A中，车辆400在夜间沿着道路402行驶，其中存在昏暗天空区域404。存在路灯406(或其他类似的光源)并所述路灯对道路402的一部分进行照明。一般而言，路灯406因存在于车辆400的挡风玻璃上的镜头光晕和障碍物而产生眩光区域408。
当车辆400在图4B中接近路灯406时，路灯406的眩光区域408因在路灯406与车辆400的挡风玻璃之间的入射角度(例如，光源角度)的变化而变得更大。眩光区域408的增大也可能部分地是由于车辆400的挡风玻璃上的障碍物而造成的。当车辆400在图4C中越来越靠近路灯406时，眩光区域408进一步增大并且在形状上变得更不规则。眩光区域408的量值/形状的这种变化是基于在路灯406与车辆400的挡风玻璃之间的入射角度(例如，光源角度)的进一步变化。在一些实施例中，可按像素并相对于距路灯406的距离和入射角度(例如，光源角度)测量眩光区域408的梯度。
一些实施例公开了在控制器级上执行面纱眩光检测和补救过程。其他实施例可包括服务提供者112执行面纱眩光检测和/或补救过程。在一些实施例中，由服务提供者112执行本文中公开的面纱眩光检测方法，同时通过控制器118在车辆级上实现补救措施。概括地说，控制器118可获得图像并将其转发到服务提供者112。服务提供者112可处理图像以检测面纱眩光。当检测到面纱眩光时，服务提供者112可向控制器118传输消息/信号以启用补救措施。
图5是本公开的示例方法的流程图。该方法大体上包括在车辆移动期间跟踪由车辆的图像传感器在某一时间段内获得的目标区域的图像内的第一对象的步骤502。当然，可使用一个或多个图像传感器在同一时间段内跟踪多个对象。
接下来，该方法包括跟踪目标区域内的光源的步骤504。可使用图像或根据车辆的位置数据来完成对光源(诸如太阳或路灯)的跟踪。例如，在已知当日时间、车辆的航向和车辆的位置的情况下，可确定太阳的位置。
根据一些实施例，该方法可包括基于形成在光源与车辆中的光学表面的光学平面之间的光源角度来确定第一对象的相对反射强度的变化的步骤506。当然，该过程可包括确定在该时间段内形成在光源与光学平面之间的光源角度的变化。实际上，相对反射强度的变化指示光学表面的面纱眩光。响应于确定存在面纱眩光，该方法可包括响应于面纱眩光而启用补救措施的步骤508。如上文所指出，补救措施可包括启用车辆的清洁总成以通过从光学表面去除污染物来减少面纱眩光。
在以上公开内容中，已参考了形成以上公开内容的一部分的附图，所述附图示出了其中可实践本公开的具体实施方式。应理解，在不脱离本公开的范围的情况下，可利用其他实现方式，并且可进行结构改变。本说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用指示所描述的实施例可包括特定特征、结构或特性，但每个实施例可不一定包括所述特定特征、结构或特性。此外，此类短语不一定指代同一实施例。另外，当结合实施例描述特定特征、结构或特性时，无论是否明确地描述，本领域技术人员都将认识到结合其他实施例的此类特征、结构或特性。
本文中公开的系统、设备、装置和方法的实现方式可包括或利用专用或通用计算机，所述专用或通用计算机包括计算机硬件，例如像如本文所讨论的一个或多个处理器和系统存储器。在本公开的范围内的实现方式还可包括用于携载或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这种计算机可读介质可为可由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。携载计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开的实现方式可包括至少两种截然不同的计算机可读介质：计算机存储介质(装置)和传输介质。
计算机存储介质(装置)包括RAM、ROM、EEPROM、CD-ROM、固态驱动器(SSD)(例如，基于RAM)、快闪存储器、相变存储器(PCM)、其他类型的存储器、其他光盘存储装置、磁盘存储装置或其他磁性存储装置、或可用于存储呈计算机可执行指令或数据结构的形式的期望的程序代码工具并可由通用或专用计算机访问的任何其他介质。
本文中公开的装置、系统和方法的实现方式可通过计算机网络进行通信。“网络”被定义为使得能够在计算机系统和/或模块和/或其他电子装置之间传输电子数据的一个或多个数据链路。当通过网络或另一种通信连接(硬连线、无线或者硬连线或无线的任何组合)向计算机传递或提供信息时，所述计算机适当地将连接视为传输介质。传输介质可包括网络和/或数据链路，所述网络和/或数据链路可用于携载呈计算机可执行指令或数据结构的形式的期望的程序代码工具并且可由通用或专用计算机访问。上述的组合也应包括在计算机可读介质的范围内。
计算机可执行指令包括例如在处理器处执行时致使通用计算机、专用计算机或专用处理装置执行某个功能或某组功能的指令和数据。计算机可执行指令可为例如二进制指令、诸如汇编语言的中间格式指令或者甚至源代码。尽管已经用特定于结构特征和/或方法动作的语言描述了本主题，但应理解，在所附权利要求中限定的主题不必限于上文描述的特征或动作。而是，所描述的特征和动作被公开作为实现权利要求的示例形式。
本领域技术人员将了解，本公开可在具有许多类型的计算机系统配置的网络计算环境中实践，所述计算机系统配置包括内置式车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持式装置、多处理器系统、基于微处理器的或可编程的消费电子设备、网络PC、小型计算机、大型计算机、移动电话、PDA、平板计算机、寻呼机、路由器、交换机、各种存储装置等。本公开还可在分布式系统环境中实践，其中通过网络链接(通过硬连线数据链路、无线数据链路或者通过硬连线数据链路与无线数据链路的任何组合)的本地和远程计算机系统两者都执行任务。在分布式系统环境中，程序模块可位于局部存储器存储装置和远程存储器存储装置两者中。
另外，在适当的情况下，本文中描述的功能可在以下一者或多者中执行：硬件、软件、固件、数字部件或模拟部件。例如，一个或多个专用集成电路(ASIC)可被编程为实施本文中描述的系统和程序中的一者或多者。贯穿说明书和权利要求使用某些术语来指代特定系统部件。如本领域技术人员将了解，可用不同的名称指代部件。本文件不旨在区分名称不同但功能相同的部件。
应注意，上文所讨论的传感器实施例可包括计算机硬件、软件、固件或它们的任何组合以执行它们的功能的至少一部分。例如，传感器可包括被配置为在一个或多个处理器中执行的计算机代码，并且可包括由计算机代码控制的硬件逻辑/电路。在本文中提供这些示例装置以用于说明的目的而非旨在进行限制。如一个或多个相关领域的技术人员所知晓，本公开的实施例可在其他类型的装置中实现。
本公开的至少一些实施例涉及计算机程序产品，所述计算机程序产品包括(例如，以软件形式)存储在任何计算机可用介质上的这样的逻辑。这种软件在一个或多个数据处理装置中执行时致使装置如本文所描述那样进行操作。
尽管上文已描述了本公开的各种实施例，但应理解，仅通过示例而非限制的方式呈现本公开的各种实施例。对于相关领域的技术人员而言将显而易见的是，在不脱离本公开的精神和范围的情况下可作出形式和细节上的各种改变。因此，本公开的广度和范围不应受上文描述的示例性实施例中的任一者的限制，而是应仅根据所附权利要求及其等效物来限定。已经出于说明和描述目的呈现了前述描述。前述描述不意图是详尽的或将本公开限制于所公开的精确形式。根据上述教导，许多修改和变化是可能的。此外，应注意，前述可选实现方式中的任一者或全部可按任何所期望的组合使用，以形成本公开的附加混合实现方式。例如，相对于特定装置或部件描述的任何功能可通过另一个装置或部件来执行。此外，尽管已描述了具体的装置特性，但本公开的实施例可涉及许多其他装置特性。另外，尽管已用特定于结构特征和/或方法动作的语言描述了实施例，但应理解，本公开不一定受限于所描述的特定特征或动作。而是，将特定特征和动作公开为实现实施例的说明性形式。除非另外特别说明，或者在所使用的上下文中另外理解，否则尤其诸如“能够”、“可以”、“可能”或“可”等条件语言通常意图传达，某些实施例可包括某些特征、要素和/或步骤，而其他实施例可能不包括某些特征、要素和/或步骤。因此，此类条件语言一般并不意图暗示一个或多个实施例无论如何都需要各特征、要素和/或步骤。
根据本发明的一个实施例，传感器总成还被配置为检测目标区域内的雾。
根据一个实施例，处理器被配置为跟踪第二对象，所述第二对象具有与第一对象的相对反射强度不同的相对反射强度。
根据一个实施例，所述传感器总成还包括光检测和测距(激光雷达)装置，进一步地，其中所述处理器还被配置为相对于光源角度计算所述激光雷达装置的壳体的各种位置的本底噪声。
根据一个实施例，补救措施包括所述处理器还被配置为启用车辆的清洁总成以从光学表面去除污染物。
根据一个实施例，所述传感器总成还被配置为使用第一图像传感器来跟踪所述目标区域内的所述第一对象，进一步地，其中所述处理器被配置为当在由第二图像传感器提供的图像中未检测到所述第一对象而在由所述第一图像传感器获得的所述目标区域的图像中检测到所述第一对象时忽略由所述第二图像传感器提供的所述图像。

Claims (15)

1.一种方法，所述方法包括：
在车辆移动期间跟踪由车辆的图像传感器在某一时间段内获得的目标区域的图像内的第一对象；
跟踪所述目标区域内的光源；
基于形成在所述光源与所述车辆中的光学表面的光学平面之间的光源角度，使用所述图像来确定所述第一对象的相对反射强度的变化，所述相对反射强度的变化指示所述光学表面的面纱眩光或镜头光晕；以及
响应于所述面纱眩光或所述镜头光晕而启用补救措施。
2.根据权利要求1所述的方法，所述方法还包括确定所述光源角度在所述时间段内的变化。
3.根据权利要求1所述的方法，所述方法还包括检测所述目标区域内的雾。
4.根据权利要求1所述的方法，所述方法还包括跟踪第二对象，所述第二对象具有与所述第一对象的所述相对反射强度不同的相对反射强度。
5.根据权利要求4所述的方法，所述方法还包括：
确定所述光学表面上的所述面纱眩光的变动；以及
基于所述变动来识别障碍物在所述光学表面上的位置。
6.根据权利要求5所述的方法，其中基于所述第一对象和所述第二对象的所述相对反射强度的所述变化的偏移、量值或函数形式中的任一者的变化来确定所述变动。
7.根据权利要求1所述的方法，其中所述补救措施包括启用所述车辆的清洁总成以通过从所述光学表面去除污染物来减少所述面纱眩光。
8.根据权利要求1所述的方法，所述方法还包括通过在从所述光学表面去除污染物之后确定所述面纱眩光的变化来验证所述污染物去除的功效。
9.根据权利要求1所述的方法，其中所述补救措施包括更改高级驾驶员辅助系统或自主车辆操作的参数。
10.一种装置，所述装置包括：
处理器；以及
存储器，所述存储器用于存储指令，所述处理器被配置为执行所述指令以：
在车辆移动期间跟踪由车辆的图像传感器在某一时间段内获得的目标区域的图像内的第一对象；
跟踪所述目标区域内的光源；
基于形成在所述光源与所述车辆中的光学表面的光学平面之间的光源角度来确定所述第一对象的相对反射强度的变化，所述相对反射强度的变化指示所述光学表面的面纱眩光；以及
响应于所述面纱眩光而启用补救措施。
11.根据权利要求10所述的装置，其中所述处理器使用所述面纱眩光对镜头光晕进行建模。
12.根据权利要求10所述的装置，其中所述处理器还被配置为基于所述车辆的湿度传感器或通过网络从天气数据服务接收的天气数据中的任一者来检测所述目标区域内的雾。
13.根据权利要求10所述的装置，其中所述处理器还被配置为：
确定所述光学表面上的所述面纱眩光的变动；以及
基于所述变动来识别障碍物在所述光学表面上的位置。
14.根据权利要求13所述的装置，其中所述处理器基于所述第一对象和第二对象的相对反射强度的变化的偏移、量值或函数形式中的任一者的变化来确定变动。
15.一种系统，所述系统包括：
传感器总成，所述传感器总成：
在车辆移动期间跟踪由车辆的图像传感器在某一时间段内获得的目标区域的图像内的第一对象；
跟踪所述目标区域内的光源；以及
确定光源角度在所述时间段内的变化；以及
控制器，所述控制器具有处理器和存储器，所述处理器被配置为执行存储在所述存储器中的指令以：
基于形成在所述光源与所述车辆中的光学表面的光学平面之间的所述光源角度来确定所述第一对象的相对反射强度的变化，所述相对反射强度的变化指示所述光学表面的面纱眩光；以及
响应于所述面纱眩光而启用补救措施。
CN202010976819.7A 2019-09-16 2020-09-16 光学表面劣化检测和补救 Pending CN112504996A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/571,381 2019-09-16
US16/571,381 US11100616B2 (en) 2019-09-16 2019-09-16 Optical surface degradation detection and remediation

Publications (1)

Publication Number Publication Date
CN112504996A true CN112504996A (zh) 2021-03-16

Family

ID=74686686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010976819.7A Pending CN112504996A (zh) 2019-09-16 2020-09-16 光学表面劣化检测和补救

Country Status (3)

Country Link
US (1) US11100616B2 (zh)
CN (1) CN112504996A (zh)
DE (1) DE102020124044A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113312964A (zh) * 2021-04-15 2021-08-27 浙江理工大学 杂质检测模型的训练方法、检测方法、设备和介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11241721B2 (en) * 2019-10-15 2022-02-08 Toyota Motor Engineering & Manufacturing North America, Inc. Sensor cleaning system and sensor cleaning method for vehicle
US20220148221A1 (en) * 2020-11-12 2022-05-12 Argo AI, LLC Optical Device Validation
JP7472780B2 (ja) * 2020-12-23 2024-04-23 株式会社デンソー 画像処理装置
DE102021112236A1 (de) 2021-05-11 2022-11-17 Zf Cv Systems Global Gmbh Bewegungserkennungs-Verfahren zur Erkennung einer Bewegung bei einem Fahrzeug, Monitorverfahren mittels dem ein Zustand eines Monitorsensors überprüfbar ist und Fahrzeug
US11613234B1 (en) * 2022-01-05 2023-03-28 GM Global Technology Operations LLC System and method of automatically activating windshield wiper of a vehicle

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11172192B2 (en) * 2018-12-27 2021-11-09 Waymo Llc Identifying defects in optical detector systems based on extent of stray light

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113312964A (zh) * 2021-04-15 2021-08-27 浙江理工大学 杂质检测模型的训练方法、检测方法、设备和介质

Also Published As

Publication number Publication date
US20210082090A1 (en) 2021-03-18
DE102020124044A1 (de) 2021-03-18
US11100616B2 (en) 2021-08-24

Similar Documents

Publication Publication Date Title
US11100616B2 (en) Optical surface degradation detection and remediation
JP7280363B2 (ja) 迷光の範囲に基づく光検出器システムにおける欠陥の識別
US8797417B2 (en) Image restoration method in computer vision system, including method and apparatus for identifying raindrops on a windshield
US11714420B2 (en) System and method for detecting occluded objects based on image processing
US10106126B2 (en) Apparatus and method for detecting precipitation for a motor vehicle
US9445057B2 (en) Vehicle vision system with dirt detection
US8786697B2 (en) Apparatus for determining the presence of fog using image obtained by vehicle-mounted imaging device
US10735716B2 (en) Vehicle sensor calibration
Spinneker et al. Fast fog detection for camera based advanced driver assistance systems
US20140241589A1 (en) Method and apparatus for the detection of visibility impairment of a pane
JP2023510162A (ja) センサーの劣化検出および改善
US9398227B2 (en) System and method for estimating daytime visibility
US20240029444A1 (en) Correction of images from a panoramic-view camera system in the case of rain, incident light and contamination
JP2015187832A (ja) 画像処理装置、移動体機器制御システム及び画像処理用プログラム
KR101823655B1 (ko) 영상을 이용한 차량 침입 검출 시스템 및 방법
JP7448484B2 (ja) カメラ内部パラメータのオンライン評価
CN112752947A (zh) 用于抑制在机动车的环境传感设备的摄像机的至少一个摄像机图像中的反射的成像的方法以及相对应的环境传感设备
CN113632450B (zh) 摄影系统及图像处理装置
JP2023548127A (ja) 雨、侵入光および汚れがある場合のカメラの画像の補正
JP2014013452A (ja) 画像処理装置
Negru et al. Fog assistance on smart mobile devices
Tadjine et al. Optical Self Diagnostics for Camera Based Driver Assistance
JP6362945B2 (ja) 車載画像処理装置
US20130240735A1 (en) Method and Apparatus for Detecting Objects by Utilizing Near Infrared Light and Far Infrared Light and Computer Readable Storage Medium Storing Computer Program Performing the Method
JP2019091327A (ja) 立体物検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination