CN114189671A - 相机清洁系统的验证 - Google Patents

相机清洁系统的验证 Download PDF

Info

Publication number
CN114189671A
CN114189671A CN202111072867.4A CN202111072867A CN114189671A CN 114189671 A CN114189671 A CN 114189671A CN 202111072867 A CN202111072867 A CN 202111072867A CN 114189671 A CN114189671 A CN 114189671A
Authority
CN
China
Prior art keywords
camera
image
ssim
determining
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111072867.4A
Other languages
English (en)
Other versions
CN114189671B (zh
Inventor
D.R.尤茨
M.M.瓦格纳
E.K.索恩
C.N.圣约翰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ergo Artificial Intelligence Co ltd
Original Assignee
Ergo Artificial Intelligence Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ergo Artificial Intelligence Co ltd filed Critical Ergo Artificial Intelligence Co ltd
Publication of CN114189671A publication Critical patent/CN114189671A/zh
Application granted granted Critical
Publication of CN114189671B publication Critical patent/CN114189671B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B3/00—Cleaning by methods involving the use or presence of liquid or steam
    • B08B3/02—Cleaning by the force of jets or sprays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B5/00—Cleaning by methods involving the use of air flow or gas flow
    • B08B5/02—Cleaning by the force of jets, e.g. blowing-out cavities
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0006—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means to keep optical surfaces clean, e.g. by preventing or removing dirt, stains, contamination, condensation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B43/00—Testing correct operation of photographic apparatus or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Studio Devices (AREA)

Abstract

提供了用于相机的测试和验证的设备、系统和方法。一种设备可以使用相机捕获目标第一图像，其中相机处于清洁状态，并且其中目标在相机的视线中。该设备可以对相机的透镜的一部分应用障碍。该设备可以对相机的透镜应用相机清洁系统。该设备可以在应用相机清洁系统后捕获清洁后的图像。该设备可以基于将清洁后的图像与第一图像进行比较来确定清洁后的SSIM分数。该设备可以将清洁后的SSIM分数与验证阈值进行比较。该设备可以基于该比较确定相机清洁系统的验证状态。

Description

相机清洁系统的验证
技术领域
本公开一般涉及用于相机清洁系统的验证的设备、系统和方法。
背景技术
许多车辆出于各种目的使用一个或多个相机。例如，安装在车辆上的相机可以耦合到图像处理设备，该图像处理设备处理图像以检测在车辆附近的对象。相机在有一定量的障碍(obstruction)存在时的正确操作是该相机的一个重要方面。该相机不应该在有障碍存在的情况下从其正常功能中中断。这些障碍中的一些可以包含碎片、泥巴、雨水、虫子或其他可以妨碍相机正常操作的障碍。这些障碍在沉积在相机的透镜上之后可以更改相机的图像质量。因此，有必要增强相机的测试和验证，以确保障碍不会导致破坏相机正常操作的不一致的或不可靠的图像质量。
发明内容
在一个方面，一种方法包括：由一个或多个处理器使用相机捕获目标的第一图像，其中所述相机处于清洁状态，并且其中所述目标在所述相机的视线中；对所述相机的透镜的一部分应用障碍；对所述相机的透镜启动相机清洁系统；在应用所述相机清洁系统之后捕获清洁后的图像；基于将所述清洁后的图像与所述第一图像进行比较，来确定清洁后的结构相似性指数测量(SSIM)分数；将所述清洁后的SSIM分数与验证阈值进行比较；和基于所述比较来确定所述相机清洁系统的验证状态。
在另一方面，一种设备包括耦合到存储装置的处理电路，所述处理电路被配置为：使用相机捕获目标的第一图像，其中所述相机处于清洁状态，并且其中所述目标在所述相机的视线中；对所述相机的透镜的一部分应用障碍；对所述相机的透镜启动相机清洁系统；在应用所述相机清洁系统之后捕获清洁后的图像；基于将所述清洁后的图像与所述第一图像进行比较，来确定清洁后的结构相似性指数测量(SSIM)分数；将所述清洁后的SSIM分数与验证阈值进行比较；和基于所述比较来确定所述相机清洁系统的验证状态。
在又一方面，一种非暂时性计算机可读介质存储计算机可执行指令，所述指令在被一个或多个处理器执行时导致执行操作，所述操作包括：使用相机捕获目标的第一图像，其中所述相机处于清洁状态，并且其中所述目标在所述相机的视线中；对所述相机的透镜的一部分应用障碍；对所述相机的透镜启动相机清洁系统；在应用所述相机清洁系统之后捕获清洁后的图像；基于将所述清洁后的图像与所述第一图像进行比较，来确定清洁后的结构相似性指数测量(SSIM)分数；将所述清洁后的SSIM分数与验证阈值进行比较；和基于所述比较来确定所述相机清洁系统的验证状态。
附图说明
图1图示了与本公开的一个或多个示例实施例相一致的配备有多个相机的示例性车辆。
图2描绘了与本公开的一个或多个示例实施例相一致的用于相机清洁验证的说明性示意图。
图3A描绘了与本公开的一个或多个示例实施例相一致的用于相机清洁验证的说明性示意图。
图3B描绘了与本公开的一个或多个示例实施例相一致的用于相机清洁验证的说明性示意图。
图3C描绘了与本公开的一个或多个示例实施例相一致的用于相机清洁验证的说明性示意图。
图4图示了与本公开的一个或多个示例实施例相一致的用于相机清洁验证系统的说明性过程的流程图。
图5是图示了与本公开的一个或多个示例实施例相一致的计算设备或计算机系统的示例的框图，在该计算设备或计算机系统上可以执行一个或多个技术(例如，方法)中的任何技术。
现在将参照附图更充分地描述某些实施方案，其中示出了各种实施方案和/或方面。然而，各种方面可以以许多不同的形式实施，并且不应该被理解为限于本文所阐述的实施方案；相反，提供这些实施方案是为了使本公开内容彻底和完整，并且将向本领域的技术人员充分传达本公开内容的范围。贯穿全文，附图中的类似编号指的是类似元素。因此，如果一个特征在几个附图中使用，那么在第一次出现该特征的附图中用于标识该特征的编号将在以后续附图中使用。
具体实施方式
本文描述的示例实施例提供了用于增强性多光谱传感器校准的一些系统、方法和设备。
在一个或多个实施例中，相机清洁验证系统可以促进在障碍环境中设置相机，该相机在其所需设置(setup)以及其所处的环境两者中都受到约束。设备(例如，相机)不应该从其正常功能中中断。例如，如果障碍沉积在相机的透镜上，则应该应用相机清洁系统以便通过在一定程度上从相机透镜上清除掉该障碍来尝试使相机返回到其正常功能。
在一个或多个实施例中，相机清洁验证系统可以将标度不变(scale-invariant)的目标与独立于目标(target-independent)的相机度量进行结合，这允许在不需要特定于应用(application-specific)的行为情况下，从预期基线(baseline)中检测相机性能中各种各样的误差。特定于应用的行为可以捆绑于正在执行的测试类型，例如锐度测试、模糊线条测试、分辨率测试、调制传递函数(MTF)、色差测试、白平衡、颜色响应、颜色误差和任何其他特定测试。
在一个或多个实施例中，相机清洁验证系统可以促进对受测相机的验证测试。相机清洁验证系统可以提供一种机制，该机制允许在测试期间对受测相机进行通过或失败标准的实时判断，并且在实时应用中一起提供目标框架和后端处理框架。相机清洁验证系统可以允许一种测试和验证环境，该环境不必需要针对理想的照明状况、设置、距离等来调试相机，而这却是相机测试通常所要求的。也就是说，不必要确定像素大小或确定特定的调色板，其通常是用于执行图像质量测试的。不需要受控环境，但是相机清洁验证系统可以降低来自环境的噪声水平。事实上，相机清洁验证系统可以允许测试设置有更多的变化，以实现更高水平的可重复性和再现性，这继而允许更高的分辨率来区分“通过”和“失败”状况。
在一个或多个实施例中，相机清洁验证系统可以通过使用与相机系统的验证相关联的度量，来促进独立于应用的方法学(methodology)。也就是说，能够测量相机对所应用的障碍的灵敏度(不考虑实际的清洁性能)。在这种情况下，可以将多个受障碍状态与基线“正常”状态进行比较。可以用正常状态的概念、以及基于相机的透镜上障碍存在的中断或失败状态的概念，来描述该度量。例如，相机清洁验证系统可以促进：捕获的光学信号的质量独立于相机的分辨率、视场、取向、照明或相机数据的应用的特定知识。相机清洁验证系统可以促进在退化事件下的、独立于该度量的一般化的通过或失败标准，但仍然与广泛的一组应用相关(例如，识别面部、汽车等)。使用特定图像(例如，落币(spilled coin)图像)从退化事件中接收的信号独立于相机的应用，但是仍表示对于各种各样的相机应用的正确性。
因此，相机清洁验证系统将有助于之前判断和之后判断、以及使用特定指数(index)的概念，该指数将允许关于相机系统是否正执行到预定水平的之前分数和之后分数。可以通过使用特定的指数，使分数捆绑于图像质量。在一个或多个实施例中，相机清洁验证系统可以促进结构相似性指数测量(SSIM)以用作特定指数。SSIM可以是量化由处理图像导致的图像质量退化的感知度量。SSIM可以提供两个图像之间的感知差异的测量。SSIM允许更一般化的一组分数，其更广泛地应用于一大组图像应用。例如，传统的图像质量度量，例如倾斜边缘、比色图表或其他度量，需要对不同的度量进行分析以获得完整的图片，而SSIM提供了一种更简单的方式来捕获独立于应用的故障模式。SSIM使用一个分数而提供了与大量信息相关的指数。SSIM度量的好处是，它可以跨整个图像而连续地捕获图像退化，而倾斜边缘和锐度目标只能测量局部改变。跨图像而测量均匀改变很重要，因为：1)局部障碍可能不会精确地落在倾斜边缘或锐度标记区域上，以及2)它提供了障碍的均匀性的更广泛的图片。只要建立了已知的良好环境，就不需要在捕获SSIM分数之前校准比色图表或其他度量。在这种情况下，SSIM将提供一个通过或失败的分数，这是捕获故障状况的简单方式。SSIM帮助测量目标的噪声结构、亮度和其他因素，以了解脏传感器和清洁传感器之间的一般图像质量退化。SSIM还给出了整个目标或该目标的裁剪区域的总体分数。
在一个或多个实施例中，相机清洁验证系统可以使用与独立于应用的方法学相关联的特定图案，该特定图案被用来验证受测相机系统，其中障碍可能已经沉积在相机的透镜上。在之前判断和之后判断中，该特定图案可以与SSIM标度(scale)结合使用。该特定图案可以包括各种纹理和内容频率，这允许其被应用于不同的相机使用领域、不同的相机距离，并且与执行光学测试的其他方法相比，变得对于相机系统的设置不可知(agnostic)。特定图案可以是落币图像，其通常用于测量纹理锐度。落币图像是一种允许对锐度进行评估的图像处理图案。它具有内容频率图案，其允许它判断有各种额外的细节水平。其他类型的锐度目标没有那么好地进行捕获。
在一个或多个实施例中，相机清洁验证系统可以在对相机的透镜引入障碍的情况下，促进将度量(例如，SSIM)应用于相机系统的新颖链接。相机可以与宽视场相机、立体相机、自动相机、备用相机、彩色或单色相机、自主车辆相机或利用光学路径的任何东西之一相关。
在一个或多个实施例中，相机清洁验证系统可以促进判断车辆的处理电路是否在相机受到障碍时，会将由车辆的相机捕获的图像感知成该图像应该有的样子。测试和验证可以独立于判断标准而快速且毫不费力地执行，而该判断标准必须是从某些图像质量标准度量或某些图像质量规范(例如，锐度测试)中导出的。
在一个或多个实施例中，相机清洁验证系统可以促进多个样本上的SSIM分数的处理，以在应用相机清洁系统以通过清除相机的透镜的障碍来试图使相机返回到其正常功能之前和之后，确定相机系统的最差SSIM性能的区域。例如，基于与验证阈值的比较，具有最差SSIM(例如，最差性能)的区域被加框(box)，使得可以确定：相机的透镜的一个区域比加框的区域性能更好。可以基于以下处理来确定全局SSIM：捕获图像、对图像进行下采样、获取下采样图像的SSIM分数、以及多次重复该过程。可以通过观察每个单独像素的改变的平均值，来测量全局SSIM。全局SSIM使得能够在图像的局部区域对SSIM进行评估。这对于检测非常重要的但会从全局SSIM计算中移除的障碍的小的局部区域(例如，液滴、碎片或材料团)是有效的。下采样可以通过以下来实现：将参考图像信号和失真图像信号作为输入，系统迭代地应用低通滤波器，并对滤波后的图像进行2倍的下采样。这可以在清洁(clean)状态、脏(dirty)状态和清洁后(post-cleaning)状态下执行。对捕获的图像进行下采样，以移除由诸如距离、照明、分辨率、视场、取向等因素产生的噪声。在下采样之后，对下采样图像的各种区域进行SSIM评分。该过程可以重复多次，以最小化噪声(例如，障碍)的影响。可以基于对与每个下采样图像相关联的SSIM分数进行平均，来确定全局SSIM分数。这个全局SSIM分数具有以下好处，即，其独立于设置、照明质量、距离、分辨率、视场、取向或其他依赖于相机的状况。可以使用软件来执行下采样。
在一个或多个实施例中，相机清洁验证系统可以施加阈值，来创建与最差SSIM分数相关联的加框的区域。例如，任何高于阈值的局部SSIM分数与局部SSIM分数的视觉表示上的较亮颜色相关联，并且任何低于阈值的SSIM分数可以与局部SSIM分数的视觉表示上的较暗颜色相关联。此外，当较暗颜色的区域是相连接的并且连接的区域大于给定大小，例如10×10像素时，可以由围绕这些区域绘制的框来表示这些连接的区域。以10×10像素为例，连接在一起但小于10×10像素的区域可以被认为是无关紧要的缺陷。应该理解，全局SSIM分数中较暗的区域比较亮的区域具有较差的SSIM分数。
在一个或多个实施例中，相机清洁验证系统可以促进于：系统管理员可以对全局SSIM分数进行分析以确定被加框的且低于阈值的区域，从而得出没有使用相机清洁系统对相机的透镜的对应区域进行适当清洁的结论。这也可以指示清洁系统可以需要被调整来解决那些区域，以试图将相机的透镜恢复到其原始操作状态。该分析还可以指示相机清洁系统是否没有通过操作阈值，并且可以被认为是有缺陷的。然而，如果相机清洁系统能够通过从那些具有低SSIM分数的区域清除障碍而解决了加框的区域，那么相机清洁系统可以被认为通过了操作阈值并且是胜任的(adequate)。
阈值的以上描述是为了说明的目的，并不意味着限制。可以存在许多其他示例、配置、过程等，其中一些将在下面更详细地描述。现在将参考附图对示例实施例进行描述。
图1图示了装置有多个相机的示例性车辆100。车辆100可以是各种类型的车辆之一，例如汽油动力车辆、电动车辆、混合电动车辆或自主车辆，并且可以包含各种项，例如车辆计算机105和辅助操作计算机110。
车辆计算机105可以执行各种功能，例如控制引擎操作(燃料喷射、速度控制、排放控制、制动等)，管理气候控制(空调、供暖等)，启动安全气囊，以及发出警告(检查引擎灯、灯泡故障、轮胎气压低、车辆处于盲区等)。
辅助操作计算机110可以用于支持与本公开相一致的各种操作。在一些情况下，辅助操作计算机110的一些或全部组件可以集成到车辆计算机105中。因此，与本公开相一致的各种操作可以由辅助操作计算机110以独立的方式执行。例如，辅助操作计算机110可以在不与车辆计算机105交互的情况下施行与提供车辆中一个或多个相机的相机设置相关联的一些操作。辅助操作计算机110可以与车辆计算机105合作施行一些其他操作。例如，辅助操作计算机110可以使用通过处理来自相机的视频馈送而获得的信息，来通知车辆计算机105执行车辆操作，例如制动。
在图1所示的图示中，车辆100配备有五个相机。在其他场景下，可以提供更少或更多数量的相机。五个相机包含前向相机115、后向相机135、车顶安装的相机130、驾驶员侧后视镜相机120和乘客侧后视镜相机125。可以安装在车辆100前部的各种部位之一上(例如格栅或保险杠)的前向相机115产生图像，该图像可以被例如车辆计算机105和/或辅助操作计算机110使用以便与车辆100的自动制动系统交互。如果由前向相机115产生的图像指示车辆100离在车辆100前方行驶的另一车辆太近，则自动制动系统可以使车辆100减速。
各种相机(例如，相机115、相机120、相机125、相机130和相机135)中的任何相机都不应该在有障碍存在的情况下从其正常功能中中断，这些障碍主诸如碎片、泥巴、雨水、虫子或其他妨碍相机正常操作的障碍。由相机(例如，相机115、相机120、相机125、相机130和相机135)捕获的数据可以是原始数据，其被发送到车辆计算机105和/或由辅助操作计算机110发送，以便将光学图像转换成处理后的信号。因此，期望在现实世界应用(例如，正处于路上)之前增强这些各种相机的测试和验证，以确保它们不提供破坏这些正常操作的不一致或不可靠的图像质量。
后向相机135可以用于例如在信息娱乐系统111的显示屏上显示位于车辆100后方的对象的图像。当对车辆100执行倒车操作时，车辆100的驾驶员可以观看这些图像。
当车辆100是自主车辆时，车顶安装的相机130可以是自主驾驶系统的一部分。由车顶安装的相机130产生的图像可以由车辆计算机105和/或辅助操作计算机110处理，以用于检测和识别车辆前方和/或周围的对象。车顶安装的相机130可以具有广角视场和/或可以在安装基座上旋转。车辆100可以使用从图像处理获得的信息绕开障碍进行导航。
驾驶员侧后视镜相机120可以用于捕获车辆100的驾驶员侧的相邻车道中的车辆的图像，且乘客侧后视镜相机125可以用于捕获车辆100的乘客侧的相邻车道中的车辆的图像。在示例性应用中，由驾驶员侧后视镜相机120、乘客侧后视镜相机125和后向相机135捕获的各种图像可以由车辆计算机105和/或辅助操作计算机110组合，以产生计算机生成的图像，该图像提供车辆100周围的360度视野。计算机生成的图像可以显示在信息娱乐系统111的显示屏上，以协助驾驶员驾驶车辆100。
车辆100中提供的各种相机可以是各种类型的相机中的任何一种，并且可以结合各种类型的技术。例如，具有红外照明和传感器的夜视相机可以用于在弱照明状况下捕获图像。例如，当车辆100在夜间某个地点停车时，可能存在弱照明状况。夜视相机捕获的图像可以用于安全目的，例如防止故意破坏或盗窃。立体相机可用于捕获提供深度信息的图像，其可以用于确定车辆100运动时车辆100和其他车辆之间的分离距离。在另一个希望最小处理时延的应用中，一对相机可以配置为生成高帧率视频馈送。高帧率视频馈送可以通过交错两个相机的视频馈送来生成。在又一应用中，可以使用被配置为用于光检测和测距(LIDAR)应用的相机系统。LIDAR应用可以包含长距离成像和/或短距离成像。一些相机系统可以包含在某些环境中可以有用的节能特征。
在一个或多个实施例中，相机清洁验证系统可以促进在测试环境中对相机(例如，相机115、相机120、相机125、相机130或相机135)的设置，该相机可以在其所需的设置及其所处的环境两者中都受到约束。相机(例如，相机115、相机120、相机125、相机130和相机135)在被引入现实世界场景之前可能会受到障碍，在现实世界场景中，相机需要在最佳水平下操作，以确保以最小的误差捕获和处理高质量图像。在有障碍存在的情况下，相机(例如，相机115、相机120、相机125、相机130或相机135)可以从其正常功能中中断，这将更改相机捕获的图像质量。例如，障碍可以包括碎片、泥巴、雨水、虫子或其他妨碍相机正常工作的障碍。这些障碍可以导致对相机的图像质量的干扰和更改。重要的是要注意，障碍会以均匀障碍或单个或一系列局部障碍的任何组合的方式，降低图像质量。
在一个或多个实施例中，相机清洁验证系统可以提供一种机制，该机制允许在测试期间对受测相机(例如，相机115、相机120、相机125、相机130或相机135)上进行通过或失败标准的实时判断，并且由于实时应用，该机制一起提供目标框架和后端处理框架。相机清洁验证系统可以允许一种测试和验证环境，该环境不必需要针对理想的照明状况、设置、距离等来调试相机(例如，相机115、相机120、相机125、相机130或相机135)，而这却是相机测试通常所要求的。也就是说，不需要确定像素大小，确定特定的调色板，其通常是用于执行测试的。
在一个或多个实施例中，相机清洁验证系统可以促进结构相似性指数测量(SSIM)以用作特定指数。应当注意，基于相机应用，其他选项也可以用作特定指数。可以使用其他度量或目标来代替SSIM。例如，可以使用锐度或纹理或信噪比度量来代替SSIM。相机清洁验证系统的一个重要方面是，它促进：1)比较清洁(基线)和清洁后(样本)图像，以及2)评估全局和局部性能两者。SSIM可以是量化由处理图像导致的图像质量退化的感知度量。SSIM可以提供对两个图像之间的感知差异的测量。
在一个或多个实施例中，相机清洁验证系统可以使用与独立于应用的方法学相关联的特定图案，该特定图案被用来验证受测相机系统，其中障碍可能已经沉积在相机的透镜上。在之前判断和之后判断中，该特定图案可以与SSIM标度结合使用。该特定图案可以包括各种纹理和内容频率，这允许其被应用于不同的相机使用领域、不同的相机距离，并且与执行光学测试的其他方法相比，变得对于相机系统的设置不可知(agnostic)。特定图案可以是落币图像，其通常用于测量纹理锐度。落币图像是一种允许对锐度进行评估的图像处理图案。它具有内容频率图案，其允许它判断有各种额外的细节水平。其他类型的锐度目标没有那么好地进行捕获。
应当理解，以上描述是为了说明的目的，并不意味着限制。
图2描绘了与本公开的一个或多个示例实施例相一致的用于测试和验证的说明性示意图。
参考图2，示出了用于验证相机202的状态的相机清洁验证系统200。相机清洁验证系统200可以连接到计算机201。计算机201可以为系统管理员提供对相机清洁验证系统200的输入和输出的访问。计算机201还可以通过调整与相机清洁验证系统200的各种组件相关联的参数，来控制相机清洁验证系统200。相机202或在以下图中讨论的任何其他相机可以是在图1中描绘和讨论的任何相机。相机可以包含各种相机，例如宽视场相机、立体相机、备用相机、彩色或单色相机、自主车辆相机或任何利用光学路路径的相机。相机清洁验证系统200包括相机202、电源204和对象206、相机清洁系统207和障碍源208。相机202可以被放置于对象206的前方，以在正常状况和其他状况下捕获对象206的一个或多个图像。正常状况可以被认为是噪声、干扰或其他图像退化状况没有被引入相机202的状况。在其正常状况下，相机202从对象捕获光学图像作为输入数据。捕获的输入数据可以是原始数据，该原始数据被发送到与相机设备相关联的处理单元以将光学图像转换成处理后的信号。相机202可以连接到评分模块210，评分模块210通过对原始数据做出判断来确定相机是否通过验证阈值，从而提供相机验证。评分模块210可以利用结构相似性指数测量(SSIM)作为评分指数。SSIM评分指数可以是量化由处理图像导致的图像质量退化的感知度量。SSIM可以提供之前图像与之后图像之间的感知差异的测量。相机202可以捕获对象206的多个图像，并且使用评分模块210以使用SSIM来验证每个图像质量。评分模块210可以记录基于SSIM登记的值。在一个或多个实施例中，对象206可以是落币图像，其通常用于测量纹理清锐度。落币图像是一种允许对锐度进行评估的图像处理图案。它具有内容频率图案，其允许它判断有各种额外的细节水平。其他类型的锐度目标没有那么好地进行捕获。在一个或多个实施例中，障碍源208可以将相机202引入到各种强度和不同频率的辐射能。评分模块210可以提供与在障碍源208的影响下捕获的图像的图像质量相关联的分数。
评分模块210可以评估捕获的对象206的图像，以确定捕获的图像的不同区域的SSIM分数。例如，可以将SSIM分数指派给捕获的图像的不同区域。然后将这些SSIM分数与预定阈值(例如，大约0.9的SSIM分数)进行比较。基于该比较，评分模块210可以基于相机202在受到由障碍源208引入的障碍时捕获图像所产生的SSIM分数，来对相机202的正常功能是否已经被破坏做出判断。例如，可以首先在正常状况下(例如，没有障碍源208的影响的情况下)，由相机202捕获一图像，这可以被称为清洁状态。可以由评分模块210使用SSIM评分指数来对该图像评分，以确定清洁状态下SSIM分数的基线。
在一个或多个实施例中，在使用障碍源208将障碍应用于相机的透镜之后，相机清洁验证系统可以使用相机202来捕获图像。这种状态可以被认为是脏状态。该图像可以与已经使用障碍源208引入到相机202的障碍水平相关联。在应用相机清洁系统207之前捕获与脏透镜相关联的SSIM分数以便确保测试之间的一致性是重要的。也就是说，在相机202的透镜上引入一致的障碍水平确保了相机清洁系统207的验证在多个测试中是一致的。
可以在相机清洁验证系统在脏状态下捕获图像之后，应用相机清洁系统207。相机清洁系统207可以通过喷嘴或气流将流体应用于透镜，以试图移除由障碍源208引入的障碍。流体或气流的应用可以由相机清洁系统207控制，以便改变流体的浓度和压力、气流的速度和/或流体喷嘴或气流喷嘴的角度。此外，流体和气流的方向也可以由相机清洁系统207控制。此时，相机清洁验证系统的状态可以被认为是清洁后状态。
在一个或多个实施例中，相机清洁验证系统可以在应用了相机清洁系统207之后，捕获对象206的图像。评分模块210可以评估图像以确定图像上不同区域的SSIM分数。例如，可以将SSIM分数指派给捕获的图像的不同区域。然后，可以将这些SSIM分数与预定阈值(例如，大约0.9的SSIM分数)进行比较。
在一个或多个实施例中，相机清洁验证系统可以确定相机的操作是否已经被破坏到将相机清洁系统207分类为失败状态的点。例如，可以将清洁后状态下的SSIM分数与验证阈值进行比较。如果SSIM分数低于验证阈值，可以认为相机清洁系统207处于失败状态。然而，如果SSIM分数高于验证阈值，则可以认为相机清洁系统207处于通过状态。
应当理解，以上描述是为了说明的目的，并不意味着限制。
图3A描绘了与本公开的一个或多个示例实施例相一致的用于相机清洁系统的测试和验证的说明性示意图300。
参考图3A，示出了指向落币图像304的相机302。相机302可以连接到评分模块306。落币图像304包括各种内容频率，这使得它适合于捕获由于环境干扰(例如碎片、泥巴、雨水、虫子或其他妨碍相机正常操作的障碍)而导致的退化。图3A表示相机302工作的正常状况(例如，清洁状态)。可以存在最小量或没有量的障碍的正常状况可以表示基线，该基线是在比较在相机302受到障碍时对落币图像304捕获的图像时要使用的。
在图3A中，落币图像304可以包括多个区域(例如，区域301、区域303、区域305等)，其中这些区域中的每个都含有与其他区域不同的内容。例如，区域301、区域303和区域305的图像可以为这些区域中的每个产生相应的基线。在用相机302捕获图像之后，基线图像和捕获图像之间的比较可以产生与那些区域相关联的各种SSIM分数。也就是说，区域301可以具有与区域303和区域305不同的SSIM分数。在一些实施例中，可以对这些SSIM分数中的每个与验证阈值进行比较，以确定相机302的状态。例如，评分模块306可以为区域301、区域303和区域305中的每个生成SSIM分数，然后将相应SSIM评分中的每个与验证阈值进行比较，以确定这些区域中的任何区域是否低于验证阈值，这将指示相机302可以被判断为处于失败状态。例如，如果单个区域SSIM分数低于验证阈值(例如，0.9)，则可以确定相机处于失败状态，因为没有障碍被应用到相机，但是它却显示SSIM分数低于验证阈值。在一些其他示例中，可以确定：在确定相机已经故障之前，一定数量的区域SSIM分数必须低于验证阈值。考虑图3A表示相机302正在操作的正常状况，可以期望与落币图像304的各种区域相关联的SSIM分数高于验证阈值。SSIM是一种预测数字电视和电影画面以及其他类型的数字图像和视频的感知质量的方法。SSIM用于测量两幅图像之间的相似度。SSIM指数是全参考度量。换句话说，对图像质量的测量或预测基于作为参考的初始图像或无失真图像。可以在相机图像的正常状况(清洁状态)与在相机302受到阻碍之后(例如，脏状态)拍摄的图像之间生成SSIM分数。然后将这些分数与验证阈值进行比较，以确定SSIM分数是低于还是高于验证阈值。
应当理解，以上描述是为了说明的目的，并不意味着限制。
图3B描绘了与本公开的一个或多个示例实施例相一致的用于相机清洁系统的测试和验证的说明性示意图350。
图3B描绘了结果图像304’，其中相机302在使用障碍源308而应用了障碍之后捕获了图3A的落币图像304。在图3A中，测试和验证可以从已知在正常状况下操作的相机302开始，并确定对捕获已知目标的图像(例如，落币图像)的预期响应。在图3B中，通过使用障碍源308使相机302的透镜受到障碍，来中断正常状况。障碍可以包含碎片、泥巴、雨水、虫子或其他妨碍相机302正常操作的障碍。这种状态可以被认为是脏状态。可以使用使用障碍源308引入到相机302的预定障碍水平来捕获图像。在应用相机清洁系统307之前捕获与脏透镜相关联的SSIM分数以便确保测试之间的一致性是重要的。也就是说，在相机302的透镜上引入一致的障碍水平确保了相机清洁系统307的验证在多个测试中是一致的。
在图3B的环境中，当使用障碍源308而使相机302受到障碍时，相机302捕获的结果图像可以由于障碍而导致退化。可以将相机302连接到评分模块306。如以上所描述，图3A的落币图像304包括各种内容频率，这使得它适合于捕获由于障碍导致的退化。当相机302受到障碍310的影响时，相机302可以捕获光学信号作为与图3A的落币图像304中包括的各种区域相关联的原始数据。相机302可以将原始数据发送到与相机302相关联的处理单元，以将光学图像转换成经处理的信号。如图3A所示，落币图像304包括多个区域(例如，区域301、区域303、区域305等)。图3B示出了由于障碍源308引入的障碍而导致的失真图像304’。图像可以由在相机302受到阻碍时在相同区域中从落币图像304捕获光学信号期间捕获到的原始数据来表示，该些相同区域如区域301’、区域303’和区域305’中所表示的，其分别对应于图3A的区域301、区域303和区域305。区域301’、区域303’和区域305’的图像可以由于障碍而导致对这些区域中的每个的相应图像改变。评分模块306可以通过对原始数据进行分析，而独立于失真图像304’的应用，来确定与这些区域中的每个相关联的SSIM分数。也就是说，区域301’可以具有与区域303’和区域305’不同的SSIM分数。
可以在脏状态下捕获图像之后，应用相机清洁系统307。相机清洁系统307可以通过喷嘴或气流将流体应用于透镜，以试图移除由障碍源308引入的障碍。流体或气流的应用可以由相机清洁系统307控制，以便改变流体的浓度和压力以及气流的速度。此外，流体和气流的方向也可以由相机清洁系统307控制。此时，相机302的状态可以被认为是清洁后状态。在应用了相机清洁系统307之后，相机302可以捕获落币图像304的图像。评分模块306可以评估图像以确定捕获的图像上不同区域的SSIM分数。例如，可以将SSIM分数指派给捕获的图像的不同区域。然后可以将这些SSIM分数与预定阈值(例如，大约0.9的SSIM分数)进行比较。
在一个或多个实施例中，相机清洁验证系统可以确定相机的操作是否已经被破坏到将相机清洁系统307分类为失败状态的点。例如，可以将清洁后状态下的SSIM分数与验证阈值进行比较。如果SSIM分数低于验证阈值，可以认为相机清洁系统207处于失败状态。然而，如果SSIM分数高于验证阈值，则可以认为相机清洁系统207处于通过状态。
图3C描绘了与本公开的一个或多个示例实施例相一致的用于相机清洁系统的测试和验证的说明性示意图380。
参考图3C，示出了图像310和312，其示出了产生各种全局分数的一个或多个区域。例如，图像310示出了示出有颜色从亮到暗变化的各种区域，其对应于将障碍引入到相机302的透镜之后拍摄的图像。
在一个或多个实施例中，相机清洁验证系统可以促进捕获多个测试的SSIM分数，以在应用相机清洁系统307以试图通过清除相机透镜的障碍来使相机返回到其正常功能之前和之后，确定相机系统的最差SSIM性能的区域。
例如，基于与验证阈值的比较，将具有最差SSIM(例如，最差性能)的区域表示为加框的区域(例如，加框区域320、加框区域321和加框区域322，注意，不是所有加框区域都被标出)。可以基于以下处理来确定全局SSIM：捕获图像、对图像进行下采样、获取下采样图像的SSIM分数、以及多次重复该过程。对捕获的图像进行下采样以去除由诸如距离、照明、分辨率、视场、取向等因素产生的噪声。在下采样之后，对下采样图像的各种区域进行SSIM评分。该过程可以重复多次以最小化噪声的影响。可以基于将与每个下采样图像相关联的SSIM分数进行平均，来确定全局SSIM分数。这个全局SSIM分数具有独立于设置、照明质量、距离、分辨率、视场、取向或其他依赖于相机的状况的好处。因此，图像310示出了在相机的透镜已经受到阻碍之后拍摄的落币图像的结果图像。另外，该结果图像是在每次迭代处的多个图像下采样以及捕获SSIM分数、然后对这些SSIM分数进行平均以生成图像310的各种区域的全局SSIM分数的结果。
在一个或多个实施例中，相机清洁验证系统可以施加阈值来创建与最差SSIM分数相关联的加框的区域。例如，任何大于阈值的图像310的SSIM分数与全局SSIM分数上的较亮颜色相关联，并且任何低于阈值的图像310的SSIM分数可以与全局SSIM分数上的较暗颜色相关联。应当理解，图像310上的较暗区域表示具有相比于较亮区域较差的SSIM分数的全局SSIM分数。
在一个或多个实施例中，当较暗颜色的区域连接在一起并且连接的区域大于给定大小，例如10×10像素时，评分模块306可以通过确定这些连接的区域由围绕这些区域绘制的框表示，来将图像310转换成图像312。以10×10像素为例，连接在一起但小于10×10像素的区域可以被认为是无关紧要的缺陷。应当理解，10×10像素是一个示例，并且不应当是限制性的。可以选择其他区域大小进行考虑。
在一个或多个实施例中，相机清洁验证系统可以促进于：系统管理员可以对全局SSIM分数和加框的区域进行分析以确定它们低于阈值。系统管理员可以得出没有使用图3A的相机清洁系统307对相机透镜的对应区域进行适当清洁的结论。这也可以指示需要调整流体喷嘴压力或气流速度任一者来解决这些区域，以试图将相机透镜恢复到其原始操作状态。该分析还可以指示相机清洁系统307是否没有通过操作阈值，并且可以被认为是有缺陷的。然而，如果相机清洁系统307能够通过从那些具有低SSIM分数的区域清除障碍来校正加框的区域，则相机清洁系统可以被认为通过了操作阈值并且可以被认为处于操作状态。应当理解，以上描述是为了说明的目的，并不意味着限制。
图4图示了与本公开的一个或多个示例实施例相一致的用于相机清洁验证系统的说明性过程400的流程图。
在框402，设备可以使用相机捕获目标的第一图像，其中相机处于清洁状态，并且其中目标在相机的视线中。
在框404，设备可以将障碍应用于相机的透镜的一部分。
在框406，设备可以将相机清洁系统应用于相机的透镜。
在框408，设备可以在应用相机清洁系统之后，捕获清洁后的图像。
在框410，设备可以基于清洁后的图像与第一图像的比较，来确定清洁后SSIM分数。该设备可以基于对清洁后的图像进行下采样，来确定第一下采样图像。该设备可以基于将第一图像与清洁后下采样图像进行比较，来确定第一局部SSIM分数。该设备可以基于对第一下采样图像的下采样，来确定第二下采样图像。该设备可以基于将第一下采样图像和第二下采样图像进行比较，来确定第二局部SSIM分数。该设备可以确定全局SSIM分数，其中全局SSIM分数是第一局部SSIM分数和第二局部SSIM分数的平均值。该设备可以确定具有低于验证阈值的SSIM分数的、该清洁后的图像的第一区域。该设备可以确定具有低于验证阈值的SSIM分数的、该清洁后的图像的第二区域。该设备可以确定第一区域和第二区域连接在一起。该设备可以在第一区域和第二区域周围显示框。该设备可以将显示的框标记为退化区域，该退化区域具有比周围没有框的区域较差的SSIM分数。
在框412，设备可以将清洁后SSIM分数与验证阈值进行比较。
在框414，设备可以基于该比较，来确定相机清洁系统的验证状态。该设备可以对相机清洁系统执行一个或多个调整以缓解退化区域。
应当理解，以上描述是为了说明的目的，并不意味着限制。
图5是图示与本公开的一个或多个示例实施例相一致的计算设备或计算机系统500的示例的框图，在该计算设备或计算机系统500上可以执行一种或多种技术(例如，方法)中的任何技术。
例如，图5的计算系统500可以表示图1的车辆计算机105和/或辅助操作计算机110和/或图2的计算机201。计算机系统(系统)包含一个或多个处理器502至处理器506。处理器502至处理器506可以包含一个或多个内部级别的高速缓存(未示出)和总线控制器(例如，总线控制器522)或总线接口(例如，I/O接口520)单元，以指导与处理器总线512的交互。相机清洁验证设备509也可以与处理器502至处理器506进行通信，并且可以连接到处理器总线512。
处理器总线512，也称为主机总线或前端总线，可以用于将处理器502至处理器506和/或相机清洁验证设备509与系统接口524耦合。系统接口524可以连接到处理器总线512，以将系统500的其他组件与处理器总线512接合。例如，系统接口524可以包含用于将主存储器516与处理器总线512接合的存储器控制器518。主存储器516通常包含一个或多个存储器卡和控制电路(未示出)。系统接口524还可以包含输入/输出(I/O)接口520，以将一个或多个I/O桥525或I/O设备530与处理器总线512接合。如图所示，一个或多个I/O控制器和/或I/O设备(例如，I/O控制器528和I/O设备530)可以与I/O总线526连接。
I/O设备530还可以包含输入设备(未示出)，例如字母数字输入设备，其包含字母数字键和其他键,用于向处理器502至处理器506和/或相机清洁验证设备509通信传输信息和/或命令选择。另一种类型的用户输入设备包含光标控制，例如鼠标、轨迹球或光标方向键,用于向处理器502至处理器506和/或相机清洁验证设备509通信传输指导信息和命令选择，并用于控制显示设备上的光标移动。
系统500可以包含耦合到处理器总线512的动态存储设备(被称为主存储器516)或随机存取存储器(RAM)或其他计算机可读设备，以用于存储将由处理器502至处理器506和/或相机清洁验证设备509执行的信息和指令。主存储器516还可以用于在由处理器502至处理器506和/或相机清洁验证设备509执行指令期间存储临时变量或其他中间信息。系统500可以包含耦合到处理器总线512的只读存储器(ROM)和/或其他静态存储设备，以用于为处理器502至处理器506和/或相机清洁验证设备509存储静态信息和指令。图5中所概述的系统只是可以采用或被配置为与本公开的各个方面相一致的计算机系统的一个可能的示例。
根据一个实施例，以上技术可以由计算机系统500响应于处理器504执行主存储器516中含有的一个或多个指令的一个或多个序列来执行。这些指令可以从诸如存储设备的另一机器可读介质读入到主存储器516。主存储器516中含有的指令序列的执行可以使得处理器502至处理器506和/或相机清洁验证设备509执行本文所描述的过程步骤。在替代实施例中，可以使用电路来代替软件指令或者与软件指令相组合。因此，本公开的实施例可以包含硬件和软件组件两者。
各种实施例可以完全地或部分地在软件和/或固件中实施。该软件和/或固件可以采取非暂时性计算机可读存储介质中或其上含有的指令的形式。然后，这些指令可以由一个或多个处理器读取和执行，以使得本文所描述的操作能够执行。指令可以是任何合适的形式，例如但不限于源代码、编译代码、解释代码、可执行代码、静态代码、动态代码等。这种计算机可读介质可以包含用于以一个或多个计算机可读的形式来存储信息的任何有形的非暂时性介质，例如但不限于只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光学存储介质；闪存等。
机器可读介质包含用于以机器(例如，计算机)可读的形式(例如，软件、处理应用)来存储或传输信息的任何机制。这种介质可以采取但不限于非易失性介质和易失性介质的形式，并且可以包含可移动数据存储介质、不可移动数据存储介质和/或经由有线或无线网络架构与这种计算机程序产品一起可用的外部存储设备，该些计算机程序产品包含一个或多个数据库管理产品、网络服务器产品、应用服务器产品和/或其他附加软件组件。可移动数据存储介质的示例包含光盘只读存储器(CD-ROM)、数字多功能光盘只读存储器(DVD-ROM)、磁光盘、闪存驱动器等。不可移动数据存储介质的示例包含内部磁硬盘、SSD等。一个或多个存储器设备606(未示出)可以包含易失性存储器(例如，动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)等)和/或非易失性存储器(例如，只读存储器(ROM)、闪存等)。
含有实行与当前描述的技术相一致的系统和方法的机制的计算机程序产品可以驻留在主存储器516中，主存储器516可以被称为机器可读介质。应当理解，机器可读介质可以包含能够存储或编码指令以执行由机器执行的本公开的任何一个或多个操作的任何有形非暂时性介质，或者能够存储或编码由这样的指令使用或与这样的指令相关联的数据结构和/或模块的任何有形非暂时性介质。机器可读介质可以包含存储一个或多个可执行指令或数据结构的单个介质或多个介质(例如，集中式或分布式数据库，和/或相关联的高速缓存和服务器)。
本公开的实施例包含在本说明书中描述的各种步骤。这些步骤可以由硬件组件来执行，或者可以体现在机器可执行指令中，这些指令可以用于使得用指令编程的通用或专用处理器来执行这些步骤。替代地，这些步骤可以由硬件、软件和/或固件的组合来执行。
在不脱离本发明的范围的情况下，可以对所讨论的示例性实施例进行各种修改和添加。例如，尽管以上所描述的实施例涉及特定特征，但是本发明的范围还包含具有不同特征组合的实施例，以及不包含所有所描述的特征的实施例。因此，本发明的范围旨在涵盖所有这些替换、修改和变化以及其所有等同物。
以上所描述和示出的操作和过程可以按照各种实施方式中期望的任何合适的顺序来执行或施行。另外，在某些实施方式中，操作的至少一部分可以并行施行。此外，在某些实施方式中，可以执行少于或多于所描述的操作。
词语“示例性的”在本文用于表示“用作示例、实例或说明”。本文所描述为“示例性”的任何实施例不必被解释为比其他实施例优选或有优势。
除非另有说明，如本文所用，序数形容词“第一”、“第二”、“第三”等的使用来描述一个共同的对象，仅仅指示引用了同类对象的不同实例，并不旨在如此描述的对象在时间上、空间上、等级上或以任何其他方式必须处于给定的序列中。
应当理解，以上描述是为了说明的目的，并不意味着限制。
尽管已经描述了本公开的特定的实施例，但是本领域普通技术人员将认识到，许多其他修改和替代性实施例都在本公开的范围内。例如，关于特定设备或组件描述的任何功能和/或处理能力可以由任何其他设备或组件来执行。此外，尽管已经与本公开的实施例相一致地描述了各种说明性实施方式和架构，但是本领域普通技术人员将理解，对本文所描述的说明性实施方式和架构的许多其他修改也在本公开的范围内。
尽管已经用特定于结构特征和/或方法学动作的语言描述了实施例，但是应当理解，本公开不必限于所描述的特定特征或动作。相反，特定特征和动作被公开为实施实施例的说明性形式。条件语言，例如“能”、“会”、“可能”或“可以”等，除非另外特别声明，或者在所使用的上下文中另有理解，一般旨在传达某些实施例可以包含某些特征、元件和/或步骤，而其他实施例不包含这些特征、元件和/或步骤。因此，这种条件语言一般不旨在暗示一个或多个实施例以任何方式需要特征、元素和/或步骤，或者一个或多个实施例必须包含用于在有或没有用户输入或提示的情况下决定这些特征、元素和/或步骤是否包含在或将要在任何特定实施例中执行的逻辑。

Claims (20)

1.一种方法，包括：
由一个或多个处理器使用相机捕获目标的第一图像，其中所述相机处于清洁状态，并且其中所述目标在所述相机的视线中；
对所述相机的透镜的一部分应用障碍；
对所述相机的透镜启动相机清洁系统；
在应用所述相机清洁系统之后捕获清洁后的图像；
基于将所述清洁后的图像与所述第一图像进行比较，来确定清洁后的结构相似性指数测量(SSIM)分数；
将所述清洁后的SSIM分数与验证阈值进行比较；和
基于所述比较来确定所述相机清洁系统的验证状态。
2.根据权利要求1所述的方法，还包括：
基于对所述清洁后的图像进行下采样来确定第一下采样图像；
基于将所述第一图像与清洁后的下采样图像进行比较来确定第一局部SSIM分数；
基于对所述第一下采样图像进行下采样来确定第二下采样图像；和
基于将所述第一下采样图像与所述第二下采样图像进行比较来确定第二局部SSIM分数。
3.根据权利要求2所述的方法，还包括确定全局SSIM分数，其中所述全局SSIM分数是所述第一局部SSIM分数和所述第二局部SSIM分数的平均值。
4.根据权利要求1所述的方法，还包括：
确定具有低于验证阈值的SSIM分数的、所述清洁后的图像的第一区域；
确定具有低于所述验证阈值的SSIM分数的、所述清洁后的图像的第二区域；和
确定所述第一区域和所述第二区域连接在一起。
5.根据权利要求4所述的方法，还包括在所述第一区域和所述第二区域周围显示框。
6.根据权利要求5所述的方法，还包括将所显示的框标记为退化区域，所述退化区域具有比周围没有框的区域较差的SSIM分数。
7.根据权利要求6所述的方法，还包括对所述相机清洁系统执行一个或多个调整以缓解所述退化区域。
8.一种设备，所述设备包括耦合到存储装置的处理电路，所述处理电路被配置为：
使用相机捕获目标的第一图像，其中所述相机处于清洁状态，并且其中所述目标在所述相机的视线中；
对所述相机的透镜的一部分应用障碍；
对所述相机的透镜启动相机清洁系统；
在应用所述相机清洁系统之后捕获清洁后的图像；
基于将所述清洁后的图像与所述第一图像进行比较，来确定清洁后的结构相似性指数测量(SSIM)分数；
将所述清洁后的SSIM分数与验证阈值进行比较；和
基于所述比较来确定所述相机清洁系统的验证状态。
9.根据权利要求8所述的设备，其中所述处理电路还被配置为：
基于对所述清洁后的图像进行下采样来确定第一下采样图像；
基于将所述第一图像与清洁后的下采样图像进行比较来确定第一局部SSIM分数；
基于对所述第一下采样图像进行下采样来确定第二下采样图像；和
基于将所述第一下采样图像与所述第二下采样图像进行比较来确定第二局部SSIM分数。
10.根据权利要求9所述的设备，其中所述处理电路还被配置为：
确定全局SSIM分数，其中所述全局SSIM分数是所述第一局部SSIM分数和所述第二局部SSIM分数的平均值。
11.根据权利要求8所述的设备，其中所述处理电路还被配置为：
确定具有低于验证阈值的SSIM分数的、所述清洁后的图像的第一区域；
确定具有低于所述验证阈值的SSIM分数的、所述清洁后的图像的第二区域；和
确定所述第一区域和所述第二区域连接在一起。
12.根据权利要求11所述的设备，其中所述处理电路还被配置为在所述第一区域和所述第二区域周围显示框。
13.根据权利要求12所述的设备，其中所述处理电路还被配置为将所显示的框标记为退化区域，所述退化区域具有比周围没有框的区域较差的SSIM分数。
14.根据权利要求13所述的设备，其中所述处理电路还被配置为对所述相机清洁系统执行一个或多个调整以缓解所述退化区域。
15.一种存储计算机可执行指令的非暂时性计算机可读介质，所述计算机可执行指令在被一个或多个处理器执行时导致执行操作，所述操作包括：
使用相机捕获目标的第一图像，其中所述相机处于清洁状态，并且其中所述目标在所述相机的视线中；
对所述相机的透镜的一部分应用障碍；
对所述相机的透镜启动相机清洁系统；
在应用所述相机清洁系统之后捕获清洁后的图像；
基于将所述清洁后的图像与所述第一图像进行比较，来确定清洁后的结构相似性指数测量(SSIM)分数；
将所述清洁后的SSIM分数与验证阈值进行比较；和
基于所述比较来确定所述相机清洁系统的验证状态。
16.根据权利要求15所述的非暂时性计算机可读介质，其中所述操作进一步包括：
基于对所述清洁后的图像进行下采样来确定第一下采样图像；
基于将所述第一图像与清洁后的下采样图像进行比较来确定第一局部SSIM分数；
基于对所述第一下采样图像进行下采样来确定第二下采样图像；和
基于将所述第一下采样图像与所述第二下采样图像进行比较来确定第二局部SSIM分数。
17.根据权利要求16所述的非暂时性计算机可读介质，还包括确定全局SSIM分数，其中所述全局SSIM分数是所述第一局部SSIM分数和所述第二局部SSIM分数的平均值。
18.根据权利要求15所述的非暂时性计算机可读介质，其中所述操作还包括：
确定具有低于验证阈值的SSIM分数的、所述清洁后的图像的第一区域；
确定具有低于所述验证阈值的SSIM分数的、所述清洁后的图像的第二区域；和
确定所述第一区域和所述第二区域连接在一起。
19.根据权利要求18所述的非暂时性计算机可读介质，其中所述操作还包括在所述第一区域和所述第二区域周围显示框。
20.根据权利要求19所述的非暂时性计算机可读介质，其中，所述处理电路还被配置为将所显示的框标记为退化区域，所述退化区域具有比周围没有框的区域较差的SSIM分数。
CN202111072867.4A 2020-09-14 2021-09-14 相机清洁系统的验证 Active CN114189671B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/020,297 US11368672B2 (en) 2020-09-14 2020-09-14 Validation of a camera cleaning system
US17/020,297 2020-09-14

Publications (2)

Publication Number Publication Date
CN114189671A true CN114189671A (zh) 2022-03-15
CN114189671B CN114189671B (zh) 2024-10-11

Family

ID=78049139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111072867.4A Active CN114189671B (zh) 2020-09-14 2021-09-14 相机清洁系统的验证

Country Status (4)

Country Link
US (3) US11368672B2 (zh)
EP (1) EP3968276A1 (zh)
KR (1) KR20220035854A (zh)
CN (1) CN114189671B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11341682B2 (en) * 2020-08-13 2022-05-24 Argo AI, LLC Testing and validation of a camera under electromagnetic interference
JP7319597B2 (ja) * 2020-09-23 2023-08-02 トヨタ自動車株式会社 車両運転支援装置
US20220148221A1 (en) * 2020-11-12 2022-05-12 Argo AI, LLC Optical Device Validation

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100202700A1 (en) * 2009-02-11 2010-08-12 Rezazadeh Soroosh Method and system for determining structural similarity between images
US20130086765A1 (en) * 2011-10-05 2013-04-11 Hwan Ming Enterprise Co., Ltd Automatic clean device for a surveillance camera
CN105487430A (zh) * 2014-09-19 2016-04-13 中国科学院沈阳自动化研究所 一种水下云台自动清洁的方法与系统
US10185892B1 (en) * 2014-05-30 2019-01-22 Amazon Technologies, Inc. Automatic large-scale imaging device diagnostics
CN109525834A (zh) * 2017-09-18 2019-03-26 福特全球技术公司 车辆图像传感器清洁
WO2019144262A1 (en) * 2018-01-23 2019-08-01 Sony Mobile Communications Inc. Smudge detection method and apparatus and mobile electronic device
CN110889801A (zh) * 2018-08-16 2020-03-17 九阳股份有限公司 一种烟灶系统的摄像头去污优化方法以及烟灶系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9319637B2 (en) 2012-03-27 2016-04-19 Magna Electronics Inc. Vehicle vision system with lens pollution detection
JP5362878B2 (ja) 2012-05-09 2013-12-11 株式会社日立国際電気 画像処理装置及び画像処理方法
US9253375B2 (en) * 2013-04-02 2016-02-02 Google Inc. Camera obstruction detection
JP6245875B2 (ja) * 2013-07-26 2017-12-13 クラリオン株式会社 レンズ汚れ検出装置およびレンズ汚れ検出方法
US9008427B2 (en) 2013-09-13 2015-04-14 At&T Intellectual Property I, Lp Method and apparatus for generating quality estimators
WO2015183889A1 (en) 2014-05-27 2015-12-03 Robert Bosch Gmbh Detection, identification, and mitigation of lens contamination for vehicle mounted camera systems
EP3164831A4 (en) 2014-07-04 2018-02-14 Light Labs Inc. Methods and apparatus relating to detection and/or indicating a dirty lens condition
US10289940B2 (en) 2015-06-26 2019-05-14 Here Global B.V. Method and apparatus for providing classification of quality characteristics of images
US20170313288A1 (en) 2016-04-14 2017-11-02 Ford Global Technologies, Llc Exterior vehicle camera protection and cleaning mechanisms
EP3489892B1 (en) 2017-11-24 2022-01-05 Ficosa Adas, S.L.U. Determining clean or dirty captured images
US11064203B2 (en) 2018-03-12 2021-07-13 Nvidia Corporation SSIM-based rate distortion optimization for improved video perceptual quality
JP6933608B2 (ja) 2018-06-01 2021-09-08 ファナック株式会社 視覚センサのレンズまたはレンズカバーの異常検出システム
US11699207B2 (en) 2018-08-20 2023-07-11 Waymo Llc Camera assessment techniques for autonomous vehicles
DE102018214198A1 (de) 2018-08-22 2020-02-27 Robert Bosch Gmbh System zum Bewerten eines Bildes, Betriebsassistenzverfahren und Steuereinheit für eine Arbeitsvorrichtung sowie Arbeitsvorrichtung
JP7134807B2 (ja) * 2018-09-20 2022-09-12 キヤノン株式会社 清掃装置及び清掃方法
US10836356B2 (en) 2018-09-20 2020-11-17 Ford Global Technologies, Llc Sensor dirtiness detection
US10928819B2 (en) * 2018-10-29 2021-02-23 Here Global B.V. Method and apparatus for comparing relevant information between sensor measurements
US10943129B2 (en) * 2019-01-04 2021-03-09 Ford Global Technologies, Llc Low-light sensor cleaning
US11328428B2 (en) * 2019-12-18 2022-05-10 Clarion Co., Ltd. Technologies for detection of occlusions on a camera
US11276156B2 (en) * 2020-01-07 2022-03-15 GM Global Technology Operations LLC Gaussian image quality analysis tool and method for operation
US11458980B2 (en) * 2020-08-06 2022-10-04 Argo AI, LLC Enhanced sensor cleaning validation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100202700A1 (en) * 2009-02-11 2010-08-12 Rezazadeh Soroosh Method and system for determining structural similarity between images
US20130086765A1 (en) * 2011-10-05 2013-04-11 Hwan Ming Enterprise Co., Ltd Automatic clean device for a surveillance camera
US10185892B1 (en) * 2014-05-30 2019-01-22 Amazon Technologies, Inc. Automatic large-scale imaging device diagnostics
CN105487430A (zh) * 2014-09-19 2016-04-13 中国科学院沈阳自动化研究所 一种水下云台自动清洁的方法与系统
CN109525834A (zh) * 2017-09-18 2019-03-26 福特全球技术公司 车辆图像传感器清洁
WO2019144262A1 (en) * 2018-01-23 2019-08-01 Sony Mobile Communications Inc. Smudge detection method and apparatus and mobile electronic device
CN110889801A (zh) * 2018-08-16 2020-03-17 九阳股份有限公司 一种烟灶系统的摄像头去污优化方法以及烟灶系统

Also Published As

Publication number Publication date
US20220086423A1 (en) 2022-03-17
US11758121B2 (en) 2023-09-12
US20230353722A1 (en) 2023-11-02
US11368672B2 (en) 2022-06-21
KR20220035854A (ko) 2022-03-22
CN114189671B (zh) 2024-10-11
US20230007234A1 (en) 2023-01-05
EP3968276A1 (en) 2022-03-16
US11997252B2 (en) 2024-05-28

Similar Documents

Publication Publication Date Title
CN114189671B (zh) 相机清洁系统的验证
US11341682B2 (en) Testing and validation of a camera under electromagnetic interference
US20170270368A1 (en) Method for detecting a soiling of an optical component of a driving environment sensor used to capture a field surrounding a vehicle; method for automatically training a classifier; and a detection system
US10106126B2 (en) Apparatus and method for detecting precipitation for a motor vehicle
US10997451B2 (en) Method and apparatus for license plate recognition using multiple fields of view
CN103164708A (zh) 确定车辆承载检测的像素分类阈值
US20220148221A1 (en) Optical Device Validation
WO2014054328A1 (ja) 車両検知装置
Hasirlioglu et al. Raindrops on the windshield: Performance assessment of camera-based object detection
US11347974B2 (en) Automated system for determining performance of vehicular vision systems
CN115777196B (zh) 在电磁干扰下相机的测试和验证的系统和方法
US9942542B2 (en) Method for recognizing a band-limiting malfunction of a camera, camera system, and motor vehicle
CN110161523A (zh) 估计墙壁位置及激活机动车的矩阵式大灯系统的主动三角测量的方法
JP2002300573A (ja) 車載型映像監視装置の映像診断システム
Tadjine et al. Optical Self Diagnostics for Camera Based Driver Assistance
KR102716488B1 (ko) 패턴빔 레이저를 이용하여 도로 노면의 차선 상태를 인식하기 위한 방법 및 장치
US20230281777A1 (en) Method for Detecting Imaging Degradation of an Imaging Sensor
US20230410318A1 (en) Vehicle and method of controlling the same
US20230106188A1 (en) Vehicular vision system with object classification based on change in orientation of object
CN115909254B (zh) 一种基于摄像头原始图像的dms系统及其图像处理方法
JP2024507102A (ja) ステレオカメラの光路における障害を認識するための方法及び装置
KR101728670B1 (ko) 카메라 이물질 부착 확인 기능을 구비한 avm 시스템 및 카메라 이물질 부착 확인 방법
JP2022116400A (ja) 検出システム、検出装置及びプログラム
DE102019007120A1 (de) Verfahren zur Erkennung von Verdeckungen einer Kamera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant