CN106415598A - 用于车载式相机系统的镜头污染的检测、识别和缓解 - Google Patents

Abstract

呈现用于操作车辆相机系统以检测、识别和缓解相机镜头污染的系统和方法。从安装在车辆上的相机接收图像并且基于接收的图像计算一个或多个度量。系统基于一个或多个计算的度量确定相机镜头是否被污染，并且如果是这样，则确定污染类型。基于所确定的污染类型从多个缓解例程选择特定缓解例程，并且将其应用于接收的图像以创建增强的图像。分析增强的图像以确定在应用选择的缓解例程之后污染是否被可接受地缓解，并且当污染未被可接受地缓解时输出错误条件信号。

Description

用于车载式相机系统的镜头污染的检测、识别和缓解

相关申请

本申请要求2014年5月27日提交并且题为“SYSTEM AND METHOD FOR DETECTION ANDMITIGATION OF LENS CONTAMINATION FOR VEHICLE MOUNTED CAMERAS”的美国临时申请号62/003,303的权益，其完整内容通过引用被并入在本文中。

背景技术

相机正日益用于车辆应用中以改进驾驶员的态势感知并且支持车辆的各种安全相关功能（例如，车道偏离警告）。另外，用于车辆应用中的相机经常要求对捕获的图像进行数字处理。安装到车辆外部的相机易受积尘、灰尘、道路用盐残留物、昆虫和其它相机镜头上的污染物影响。

本发明涉及用于处理相机镜头的污染，特别是关于车载式相机系统中的相机镜头的污染的系统和方法。

发明内容

相机镜头可以变得被各种外来物体、材料或条件（包括例如，指纹、刮擦、凝结物（condensation）、冰或霜）污染（例如，被妨碍或弄脏）。因为这样的污染物妨碍相机系统的视野，所以图像质量受损失。在一些情况下，污染物由于其在镜头上的位置而未必被相机成像。例如，污染颗粒可能在镜头的焦点内部聚集，使得污染物在检测器阵列处未焦点对准。然而，这样的污染物仍然通过散射光负面地影响图像质量（即，使图像质量降级）。光散射可以创建降低的对比度和/或分辨率的图像区，以及失真。

当镜头被污染时，真实图像内容可能仍然在捕获的图像数据中可得到，但是可以是模糊的或以其它方式降级。另外，由于污染物其自身未被相机系统（例如，在检测器阵列上）清楚地成像，所以确定图像的哪些区被降级以及被降级到什么程度可以成为挑战。此外，在一些情形中，污染可以变得如此严重以致图像对于视觉或自动化使用而言不再是有用的并且相机应该因此被视为无功能的。

在各种实施例中，本发明提供用于在车辆中使用的相机镜头污染检测和缓解系统。系统检测相机镜头污染，并且使用软件来缓解由透镜污染引起的降低的图像质量。在一些实施例中，系统还估计可能的污染类型。另外，如果系统确定透镜污染太严重以致于不能够恢复图像质量（即，相机是“盲的”），则系统向驾驶员发布一个或多个警告。

在一个实施例中，本发明提供用于操作车辆相机系统的方法。从安装在车辆上的相机接收图像并且基于接收的图像计算一个或多个度量。系统基于一个或多个计算的度量来确定相机的镜头是否被污染，并且如果是这样，则确定污染类型。基于所确定的污染类型从多个缓解例程选择特定缓解例程并且将其应用于接收的图像以创建增强的图像。分析增强的图像以确定在应用选择的缓解例程之后污染是否被可接受地缓解，并且当污染未被可接受地缓解时输出错误条件信号。

在一些实施例中，错误条件信号使系统在车辆内部中的显示器上显示消息，所述消息通告操作者捕获的相机图像失真。在一些实施例中，当错误条件信号指示图像由于镜头污染而不可接受地失真时，错误条件信号部分或完全禁用一个或多个车辆辅助系统（例如，自动化停车系统或车道检测系统）。

通过考虑详细描述和附图，本发明的其它方面将变得显而易见。

附图说明

图1是包括相机的车辆系统的框图。

图2是来自图1的相机系统的图像输出。

图3A是来自具有镜头污染的图1的相机系统的未经更改的图像输出。

图3B是在缓解由镜头污染导致的图像失真之后的图3A的图像的增强版本。

图4是检测和缓解图1的系统中的镜头污染的方法的流程图。

图5是识别图1的系统中的污染的特定类型的方法的流程图。

图6是缓解由于图1的系统中的镜头凝结物所致的失真的方法的流程图。

具体实施方式

在详细解释本发明的任何实施例之前，要理解的是，本发明在其应用方面不被限制于在以下描述中阐述或在以下绘图中图示的组件的构造和布置的细节。本发明能够具有其它实施例，并且能够以各种方式来实践或实现。

图1图示车辆自动化和通信系统的示例。相机101安装在车辆上，具有包括例如在车辆后面的区域的视野。这样的相机系统可以用于在倒退中操作车辆的同时并且具体地在停车的同时辅助驾驶员。然而，在其它实现中，相机101可以安装在车辆上的其它位置上。类似地，一些实现可以包括被定位在车辆上的多于一个相机。

相机101捕获图像并且向处理器103发送图像数据。处理器103执行存储在非暂时性计算机可读存储器105（例如，闪速存储器、硬盘或其它类型的ROM或RAM存储器单元）上的指令以提供包括例如以下描述的方法的各种功能。处理器103还可以在存储器105上存储图像数据。处理器103可以将来自相机101的图像数据输出到用户接口/显示器107以用于向用户显示。另外，在一些实现中，处理器103向其它车辆辅助/自动化系统109（例如，自动化停车辅助系统、车道监视系统或自适应巡航控制系统）提供图像数据或其它信息。

图2图示由相机101捕获的图像的一个示例。如以下更加详细讨论的，处理器103执行存储在存储器105上的指令以将图像区域划分成子区A到I以供分析和处理。在图2的示例中，子区中的数个由于相机镜头污染而显示某种程度的图像失真。更具体地，子区B，D，G，H和I相对未失真。然而，子区A，C，E和F包括由于镜头凝结物所致的显著量的图像失真。

如以下更加详细描述的，处理器103应用检测算法以检测相机镜头上的污染物。在每一个子区内，确定图像质量度量的集合。在一些实现中，图像质量度量包括例如图像锐利度（例如，经由边缘检测或MTF估计）、颜色变化（例如，通过生成每一个色带的局部直方图）和空间均匀性（例如，通过分析对比率或光流）。处理器103确定所确定的度量的绝对值并且监视所确定的度量中的每一个中随时间的改变。通过监视所确定的度量中的每一个中随时间的改变（即，通过监视在某个时间帧内捕获的图像系列），系统可以标记（flag）其中可能有镜头污染的区。

例如，在图2中，在镜头大部分之上的镜头凝结物使多个子区中的许多像素值在空间和时间二者上缓慢地变化。由于车辆运动将通常使图像度量（即，像素值）以高频率改变，并且其中未被污染的图像中有显著空间变化，所以系统能够将缓慢变化的子区识别和标记为被污染。另外，如以下更加详细讨论的，当检测算法将图像（或图像子区）标记为被降级（即，被污染）时，可以识别图像降级的原因（例如，凝结物比对粉尘污染）。

图3A示出已被镜头上的雾或凝结物降级的图像的另一示例（即，在图像301的左侧上和在图像303的右侧上的图像模糊/光散射）。如以下更加详细讨论的，检测算法处理图像并且由于图像的最外边界上的其缓慢变化的像素值而将凝结物识别为图像降级的来源。

不同类型的镜头污染可以影响包括在降级图像中的真实图像内容的量。例如，在图3A的凝结物降级图像中，真实图像数据包括在输出图像中，但是通过镜头上的凝结物而模糊。相比之下，由于相机镜头上的粉尘或另一固体外来物体所致的污染可能完全妨碍和消除真实图像联系，使得受影响的区完全不随时间变化。

通过估计污染的类型，系统能够采用适当的补偿算法来恢复图像质量。例如，在图3A中，可以利用散射光的缓慢变化的性质来确定以与散射光图案相同的方式变化的掩膜（mask）图像。为了补偿由于凝结物所致的镜头污染并且缓解图像降级，处理器103从来自相机101的原始未处理图像数据减去（subtract）所确定的掩膜图像。作为结果，移除图3A的图像中的大部分模糊并且处理器103生成图3B的增强的图像。在图3B的增强的图像中，已恢复接近原始相机图像的被污染区并且道路在颜色方面更加均匀。另外，可以观察到在道路与停车线之间的更多对比。

缓解由于镜头污染所致的图像降级的基于掩膜的方法仅仅是可以由相机系统应用以缓解具体识别的镜头污染类型的图像增强技术的一个示例。在本文中描述的系统和方法不必被限制于针对凝结物或其它光散射污染的解决方案。相应地，其它方案和算法可以用于恢复其它类型的镜头污染。

尽管在本文中描述的系统和方法中的一些被配置成提供某种形式的图像增强以缓解镜头污染，但是在一些情况下，镜头污染可以变得如此严重以致补偿算法不能有效地恢复原始相机图像以用于实际使用。在这样的情况下，甚至增强的图像也不能被诸如停车辅助系统之类的车辆辅助/自动化系统有效地依赖。

在一些这样的情况下，处理器103可以被配置成识别其中污染如此严重以致输出图像不能被依赖的情形。在一些实现中，处理器103监视作为时间的函数的经恢复图像的图像度量（即，像素值）（即，与监视原始相机图像的度量相对）。在一些实现中，系统向增强的图像应用与应用于未处理图像数据相同的污染检测度量以初始地检测镜头污染。如果系统确定图像质量尚未改进得足够用于实际使用，则系统得出镜头污染太严重以致于不能有效地恢复图像质量的结论并且得出相机在输出图像的一个或多个子区中实际上是“盲的”的结论。

如以下更加详细描述的，当系统确定相机实际上是“盲的”时，处理器103向驾驶员发布警告（例如，在视觉上通过用户接口107或通过其它机制，包括例如触觉反馈或可听音调或消息）。在一些实现中，警告包括指示以下的信息：（a）相机由于过量且不可缓解的程度的镜头污染而不再是可操作的，（b）取决于相机的车辆辅助和自动化功能可能不再是可用的，以及（c）相机系统的“盲的”状态将持续直到驾驶员清洗或替换相机镜头。另外，在一些实现中，系统被配置成在非暂时性存储器105中保存系统确定相机系统是“盲的”的日期和时间，通知驾驶员，并且停止在用户接口/显示器107上显示视频输出。

图4图示监视来自相机101的图像输出数据以检测相机镜头污染并且当检测到镜头污染时提供缓解的方法。系统捕获新图像（步骤401）并且将图像划分成子区（步骤403），如在图2中所图示的。系统评价第一子区的图像数据并且确定针对子区的一个或多个度量（步骤405）。基于图像度量，系统确定是否在第一子区中检测到污染（步骤407）。如果没有检测到污染并且图像的附加子区剩余用于评价（步骤409），则系统移到下一子区上（步骤411）并且确定针对该子区的度量（步骤405）。这被重复直到图像中的每一个子区都已被评价并且然后捕获新图像（步骤401）并且对其进行划分以用于子区特定的评价。

如果在子区中的一个或多个中识别到污染（步骤407），则系统确定污染的类型（步骤413）并且应用适当的缓解技术来增强图像以移除由镜头污染导致的失真（步骤415）。系统然后确定针对增强的图像子区的一个或多个度量（步骤417）。如果恢复将图像带到可接受质量的水平（步骤419），则系统用增强的子区图像数据取代图像中的子区并且移到用于分析的下一子区上。然而，如果缓解技术不能够充分地改进图像质量并且增强的图像仍然未能满足可接受的水平（步骤419），则系统禁用或限制由依赖于图像数据的车辆系统提供的功能（步骤421）并且向用户发送指示相机镜头污染已使相机系统变得至少部分是“盲的”的通知（步骤423）。

图5图示用于确定是否存在镜头污染并且如果是这样则确定是什么污染类型的机制的示例。系统比较当前图像与相机捕获的一个或多个在先图像（步骤501）并且分析各个像素值中随时间的变化（步骤503）。如以上指出的，由于外来物体（例如，粉尘或道路用盐）所致的镜头污染可能完全妨碍在污染后面的图像。作为结果，被这样的污染影响的像素可能不展现随时间的改变或变化。如果系统确定在给定子区中的一个或多个像素展现随时间的近似零变化（步骤505），则系统可以得出相机镜头被用外来碎片污染的结论（步骤506）。

同样如以上所讨论的，如果相机镜头被用水或凝结物污染，则受影响的像素将展现随时间的某种变化。然而，该变化将缓慢改变。因此，如果系统确定给定子区中的一个或多个像素展现随时间的某种变化，但是变化程度在给定阈值以下（步骤509），则系统可以得出相机镜头被用凝结物污染的结论（步骤511）。

如以上讨论的，系统可以被配置有各种不同的图像处理技术，每一个基于所检测到的污染的特定类型而被优化以增强图像。图6图示用于在检测到凝结物污染之后增强图像的一个这样的方法的示例。当系统得出凝结物存在于相机镜头上并且负面地影响输出图像的质量的结论（步骤511）时，系统在时间段内监视图像系列以开发针对受影响子区的掩膜图案（步骤601）。然后从新的相机图像减去掩膜图案以增强图像质量（步骤603）。

系统然后分析增强的图像的质量以确定缓解是否实际上将图像质量恢复到可接受的水平。在该示例中，系统被配置成向增强的图像应用与应用于未处理图像数据相同的度量和评价。具体地，系统分析增强的图像内的各个像素随时间的变化（步骤605）。如果增强的图像满足可接受的图像质量标准（即，像素变化大于指示质量图像的阈值）（步骤607），则系统得出缓解可接受的结论（步骤609）。向用户显示增强的图像并且使其可用于其它车辆辅助和自动化系统。然而，如果增强的图像仍然未能满足可接受的图像质量标准（即，像素变化大于零，但是未能超过指示质量图像的阈值）（步骤607），则系统得出相机系统在给定子区中至少部分是盲的的结论（步骤611）。

各种实现可以被配置成取决于在车辆上采用的特定车辆自动化/辅助系统的要求和用户偏好而不同地响应于部分盲的图像数据。例如，在一些实现中，如果图像的一个或多个子区未能满足可接受的标准，图像仍然可以在用户接口/显示器107上向用户显示。然而，系统可以被配置成通过以不同颜色使（一个或多个）特定子区的边界突出来指示哪些子区未能满足质量标准。在其它实现中，系统可以被配置成从显示的图像数据省略“盲的”子区并且将仅显示满足最小质量标准的子区中的图像数据。

一些车辆辅助/自动化系统要求变化程度的图像质量以便有效地执行。例如，一些系统可以被配置成监视相邻车道并且当检测到附近车辆时向驾驶员提供警告。这些系统可以要求较小程度的图像质量，因为存在与不正确的确定相关联的较少风险。相比之下，一些系统被配置成自动操作车辆以执行针对驾驶员的平行停车。这些系统可以要求较大程度的图像质量，因为存在与这样的全自动车辆系统的不正确操作相关联的相当大的风险。照此，用于确定图像的特定子区是否是“盲的”的阈值可以针对将利用图像数据的各个系统而变化。换言之，给定子区可以被识别为“盲的”并且不能用于自动化停车系统，但是相同的子区可以被识别为对于车道监视/警告系统而言可接受的。照此，在一些情形中，一个车辆系统可能由于当前镜头污染量而被禁用而另一车辆系统被允许继续操作。

类似地，不同车辆系统和功能可以要求不同的视野。例如，车辆系统可以仅分析关于紧接在车辆后面的道路表面的信息。对于这样的系统，仅影响相机输出图像的上部子区的镜头污染将无关紧要。因此，一些系统可以被配置成取决于相机系统的哪些特定子区被确定为实际上是“盲的”而禁用某个特定功能。

因此，除其它许多东西之外，本发明的各种实施例提供一种相机系统，其分析图像数据以检测相机镜头污染，确定镜头污染的特定类型，应用图像增强例程以缓解特定类型的所检测到的镜头污染，并且如果镜头污染的程度不能被充分缓解则禁用某个车辆功能。在所附权利要求中阐述本发明的各种特征和优点。

Claims (17)

1.一种用于操作车辆相机系统的方法，所述方法包括：

从安装在车辆上的相机接收图像；

基于接收的图像计算一个或多个度量；

基于一个或多个计算的度量确定相机的镜头是否被污染；

确定污染的类型；

基于所确定的污染类型而选择多个缓解例程中的一个来增强图像；

应用选择的缓解例程来创建增强的图像；

分析增强的图像以确定在应用选择的缓解例程之后污染是否被可接受地缓解；以及

当在应用选择的缓解例程之后污染未被可接受地缓解时输出错误条件信号。

2.权利要求1的方法，还包括将接收的图像划分成多个子区，并且其中确定相机的镜头是否被污染以及确定污染的类型针对多个子区中的每一个被执行。

3.权利要求2的方法，其中输出错误条件信号包括输出识别其中在应用选择的缓解例程之后污染未被可接受地缓解的一个或多个特定子区的错误条件信号。

4.权利要求1的方法，还包括：

当没有输出错误条件信号时在安装在车辆内部中的显示器上显示增强的图像；以及

当输出错误条件信号时在显示器上显示指示从相机接收的图像被降级的通知。

5.权利要求4的方法，还包括当输出错误条件信号时防止显示器示出接收的图像和增强的图像。

6.权利要求1的方法，还包括向车辆辅助系统提供接收的图像或增强的图像，其中车辆辅助系统基于相机图像进行操作，并且其中当输出错误条件信号时车辆辅助系统被至少部分地禁用。

7.权利要求6的方法，还包括当输出错误条件信号时在显示器上显示指示车辆辅助系统被至少部分地禁用的通知。

8.权利要求6的方法，其中车辆辅助系统包括从包括自动化停车辅助系统和车道检测系统的组选择的至少一个。

9.权利要求6的方法，其中取决于由基于增强的图像计算的一个或多个度量指示的图像降级的程度，在输出错误条件信号时限制车辆辅助系统的某种功能并且使车辆辅助系统的其它功能可用。

10.权利要求6的方法，还包括将接收的图像划分成多个子区，

其中分析增强的图像以确定在应用选择的缓解例程之后污染是否被可接受地缓解包括识别其中污染未被可接受地缓解的任何单独子区，

其中输出错误条件信号包括向车辆辅助系统传输识别其中污染未被可接受地缓解的任何单独子区的消息，

其中车辆辅助系统被配置成基于来自仅多个子区的子集的图像数据进行操作，并且

其中仅在输出错误条件信号将来自子区的子集的子区中的一个或多个识别为被污染并且未被可接受地缓解时，响应于输出错误条件信号而禁用车辆辅助系统。

11.权利要求1的方法，

其中基于接收的图像计算一个或多个度量包括：

比较接收的图像与来自相机的至少一个在先接收的图像，以及

计算来自接收的图像的多个单独像素中的像素变化，并且

其中确定污染类型包括：

当针对多个单独像素中的一个或多个的像素变化大于零并且小于第一阈值时确定污染是凝结物。

12.权利要求11的方法，其中确定污染类型包括当多个单独像素中的一个或多个的像素变化近似为零时确定污染是相机镜头上的物理碎片。

13.权利要求11的方法，其中，当确定污染类型是凝结物时，应用选择的缓解例程包括：

基于多个接收相机图像确定指示图像失真的掩膜图案，以及

从来自相机的接收的图像减去掩膜图案。

14.权利要求11的方法，其中，当确定污染类型是凝结物时，分析增强的图像包括：

比较增强的图像与来自相机的至少一个在先增强的图像，

计算来自增强的图像的多个单独像素中的像素变化，以及

当来自增强的图像的计算的像素变化小于第二阈值时确定污染在应用选择的缓解例程之后未被可接受地缓解。

15.权利要求14的方法，其中第一阈值等于第二阈值。

16.权利要求1的方法，还包括：

确定当确定增强的图像未被可接受地缓解时的日期和时间；以及

将日期和时间存储到存储器。

17.一种用于操作车辆相机系统的方法，方法包括：

从安装在车辆上的相机接收图像；

基于接收的图像计算一个或多个度量；

基于一个或多个计算的度量确定相机镜头是否被污染；

确定污染类型；

确定污染是否使相机系统变得实际上是盲的；

当确定相机系统实际上是盲的时生成错误输出信号；

确定当确定增强的图像实际上是盲的时的日期和时间；以及

将日期和时间存储到存储器。