CN106462737A - 用于浑浊性检测的系统和方法 - Google Patents

Abstract

本发明描述一种通过电子装置执行的方法。所述方法包含基于多个模态确定浑浊性置信度水平。所述方法还包含基于所述浑浊性置信度水平确定是否执行动作。所述方法可包含执行所述动作，包含基于所述浑浊性置信度水平执行浑浊性降低。

Description

用于浑浊性检测的系统和方法

相关申请案

本申请案是2015年2月11日申请的标题为“环境场景条件检测(ENVIRONMENTALSCENE CONDITION DETECTION)”的美国专利申请案第14/619,354号的部分继续申请，且主张2014年5月20日申请的标题为“自动浑浊场景检测和使用来自多个模态的信息进行的去浊(AUTOMATIC HAZY SCENE DETECTION AND DE-HAZING USING INFORMATION FROMMULTIPLE MODALITIES)”的美国临时专利申请第62/000,856号的优先权，所述美国专利申请案和美国临时专利申请全部转让给本受让人且特此以引用的方式明确并入本文中。

技术领域

本发明大体上涉及电子装置。更具体来说，本发明涉及用于浑浊性检测的系统和方法。

背景技术

在最近几十年中，电子装置的使用已变得越来越普遍。特定来说，电子技术中的进步已减少了越来越复杂且有用的电子装置的成本。成本降低和消费者需求已使电子装置的使用剧增，使得其在现代社会中几乎随处可见。由于电子装置的使用已推广开来，因此具有对电子装置的新的且改进的特征的需求。更具体来说，人们常常寻求执行新功能和/或更快、更有效或以更高质量执行功能的电子装置。

一些电子装置(例如摄像机、视频摄录影机、数码摄像机、蜂窝式电话、智能电话、计算机、电视、汽车、个人摄像机、动作摄像机、监控摄像机、安裝的摄像机、连接的摄像机、机器人、遥控飞机、智能应用程序、医疗保健设备、机顶盒等)捕获和/或使用图像。举例来说，数码摄像机可以捕获数字图像。

在一些情况下，所捕获的图像可遭受降级的质量。举例来说，包含大气效应(例如霾和眩光)的环境场景条件可降低图像质量。如可从此论述观察到，改进图像使用率的系统和方法可为有益的。

发明内容

本发明描述一种通过电子装置执行的方法。所述方法包含基于多个模态确定浑浊性置信度水平。所述方法还包含基于所述浑浊性置信度水平确定是否执行动作。所述模态可提供图像模态信息以及位置模态信息、方向模态信息、一天中的时间模态信息、当地天气报告模态信息、远程装置图像模态信息、室内/室外指示符、用户超控指示符和/或温度模态信息。

所述方法可包含执行所述动作。执行所述动作可包含基于所述浑浊性置信度水平执行浑浊性降低。执行浑浊性降低可包含调整自动白平衡、自动聚焦、自动曝光、颜色、锐度以及局部色调映射曲线。执行所述动作可包含执行至少一个非图像处理动作。

确定所述浑浊性置信度水平可基于两阶段分类。所述两阶段分类可包含基于摄像机输入信号执行第一特征提取以产生第一组的一或多个所提取的特征，基于所述第一组所提取的特征和所述模态中的一或多者执行第一分类，以及确定所述第一分类指示检测到浑浊性。所述两阶段分类还可包含基于所述摄像机输入信号和所述模态中的一或多者执行第二特征提取以产生第二组的一或多个所提取的特征，以及基于所述第二组所提取的特征和所述模态中的一或多者执行第二分类。

所述第一组所提取的特征可包含暗通道特征、强度梯度特征和/或模糊/锐度特征。所述第二组所提取的特征可包含暗通道特征、梯度量值特征、梯度相位特征和/或梯度空间信息特征。

可通过检测器获得所述浑浊性置信度水平。所述检测器可基于所述模态中的一或多者获得所述浑浊性置信度水平。

可通过多个检测器获得所述浑浊性置信度水平。每一检测器可基于所述模态中的一或多者获得模态浑浊性置信度水平。所述模态浑浊性置信度水平可经组合以形成所述浑浊性置信度水平。

还描述一种电子装置。所述电子装置包含：处理器，其经配置以基于多个模态确定浑浊性置信度水平且基于所述浑浊性置信度水平确定是否执行动作。

亦描述一种设备。所述设备包含用于基于多个模态确定浑浊性置信度水平的装置。所述设备还包含用于基于所述浑浊性置信度水平确定是否执行动作的装置。

亦描述一种计算机程序产品。所述计算机程序产品包含具有指令的非暂时性计算机可读媒体。所述指令包含用于致使电子装置基于多个模态确定浑浊性置信度水平的代码。所述指令还包含用于致使所述电子装置基于所述浑浊性置信度水平确定是否执行动作的代码。

附图说明

图1是说明其中可实施用于基于多个模态进行浑浊性检测的系统和方法的电子装置的一个实例的框图；

图2是说明其中可实施用于浑浊性检测和/或浑浊性降低的系统和方法的电子装置的一个配置的实例的框图；

图3是说明其中可实施用于浑浊性检测和/或浑浊性降低的系统和方法的电子装置的配置的另一实例的框图；

图4是浑浊性检测器的一个配置的实例的框图；

图5是说明用于基于多个模态进行浑浊性检测的方法的一个配置的流程图；

图6是说明用于基于多个模态进行浑浊性检测的方法的更具体配置的流程图；

图7是说明浑浊性检测器的配置的另一实例的框图；

图8是说明并行地操作的多个浑浊性检测器的配置的实例的框图；

图9是说明图像信号处理器的一个配置的一个实例的框图；

图10包含说明局部色调映射(LTM)函数的各个方面的数个图表；

图11是说明浑浊性降低决策的图表。特定来说，所述图表说明随时间的浑浊性置信度水平；

图12A是空气污染指数地图的实例。

图12B是说明基于一种类别的模态信息(空气污染指数)执行浑浊性检测的方法的图式；

图13说明根据本文中所揭示的系统和方法的在浑浊性降低之前和在浑浊性降低之后的图像的实例；和

图14说明可包含在经配置以实施本文中所揭示的系统和方法的各种配置的电子装置内的特定组件。

具体实施方式

本文中所揭示的系统和方法的一些配置可涉及使用来自多个模态的信息进行的浑浊性检测和浑浊性降低。如本文中所使用，术语“浊度”和其衍生词(例如“浑浊”、“浑浊性”等)可指包含(例如)在所捕获图像中出现的空气传播的颗粒(例如霾、雾、蒸汽、水汽、空气污染(例如烟雾)、雨、雪、灰尘和/或烟)的环境场景条件。自动浑浊性检测和/或浑浊性降低(例如去浊)可为极复杂的，尤其是在浑浊性检测和/或浑浊性降低仅基于摄像机光学输入时。此困难的一些原因可包含光照条件、浑浊的颜色、浑浊区域的位置以及浑浊程度的较大变化。此外，场景组成(例如场景内的不同主题)可存在较大变化。可靠且快速浑浊性检测和/或浑浊性降低(例如，在具有摄像机的电子装置上)可极大地恢复场景内的对象的可视性且改良摄像机用户的感知。此外，浑浊性检测和/或浑浊性降低可改良计算机视觉处理，例如对象检测、对象跟踪、对象辨识等。举例来说，浑浊性检测和/或浑浊性降低可改良先进驾驶员辅助系统(ADAS)的性能。

可使用来自多个模态的信息以改良浑浊性检测。模态可为用于获得关于电子装置或场景的周围环境的信息(例如感测)的装置。在一些配置中，多个模态可易于用于电子装置(例如摄像机、视频摄录影机、数码摄像机、蜂窝式电话、智能电话、计算机、电视、汽车、个人摄像机、动作摄像机、监控摄像机、安裝的摄像机、连接的摄像机、机器人、遥控飞机、智能应用程序、医疗保健设备、机顶盒等)中。一或多个模态(例如，除摄像机输入之外还有的)可提供可用以改良浑浊性检测和/或浑浊性降低的准确性的信息。此类信息的实例包含全球定位系统(GPS)位置(例如城市与乡村、山区、沿海地区等)、来自指南针传感器的定向、一天中的时间、当地天气报告(例如预报)、远程装置图像(例如卫星图像、连接的摄像机图像、个人/动作摄像机图像等)、环境光、温度(例如，在一个位置处和/或两个位置或环境之间的温差)、气压、湿度、一年中的时间(例如日历天)等。此类信息的另一实例可为于在线服务(例如地图服务、社交网络等)中发布的同一位置处获取的图片，其可用作检测浑浊性和/或降低浑浊性的参考。

现在参考各图描述各种配置，其中相同的参考标号可以指示功能上类似的元件。可以多种不同配置来布置和设计如本文中在各图中大体描述和说明的系统和方法。因此，对如各图中所表示的数个配置的以下更详细描述并不希望限制如所主张的范围，而仅表示系统和方法。

图1是说明其中可实施用于基于多个模态进行浑浊性检测的系统和方法的电子装置102的一个实例的框图。电子装置102的实例包含智能电话、蜂窝式电话、计算机(例如桌上型计算机、膝上型计算机、服务器等)、平板计算机装置、媒体播放器、电视、游戏机、机顶盒、个人数字助理(PDA)、机器人、飞行器、无人驾驶的空中交通工具(UAV)、汽车等。电子装置102可包含一或多个组件或元件。所述组件或元件中的一或多者可在硬件(例如电路)或硬件与软件的组合(例如具有指令的处理器)中实施。在一些配置中，电子装置102可包含处理器104、存储器106、显示器108、图像传感器110、光学系统112、图像信号处理器132、通信接口114、时钟116和/或一或多个传感器118。处理器104可耦合到所述存储器106、显示器108、图像传感器110、光学系统112、图像信号处理器132、通信接口114、时钟116和/或一或多个传感器118(例如与其电子通信)。应注意，尽管图像传感器110和/或光学系统112之间的通信可经由图像信号处理器132传递，但处理器104可另外或替代地在一些配置中直接与图像传感器110和/或光学系统112通信。

通信接口114可使得电子装置102能够与一或多个其它电子装置通信。举例来说，通信接口114可为有线和/或无线通信提供接口。在一些配置中，通信接口114可耦合到一或多个天线120以用于发射和/或接收射频(RF)信号。另外或替代地，通信接口114可实现一或多种类别的有线(例如通用串行总线(USB)、以太网等)通信。

电子装置102可获得一或多个图像(例如数字图像、图像帧、视频等)。举例来说，电子装置102可包含图像传感器110和将位于光学系统112的视场内的对象的图像聚焦到图像传感器110上的光学系统112(例如镜头)。在一些配置中，图像传感器110可捕获一或多个图像。光学系统112可耦合到图像信号处理器132和/或处理器104和/或受图像信号处理器132和/或处理器104控制。另外或替代地，电子装置102可请求和/或接收来自另一装置(例如耦合到电子装置102的外部图像传感器、网络服务器、交通摄像机、液滴摄像机、汽车摄像机、网络摄像机等)的一或多个图像。在一些配置中，电子装置102可经由通信接口114请求和/或接收一或多个图像。举例来说，电子装置102可包含或可不包含摄像机(例如图像传感器110和/或光学系统112)且可从远程装置接收图像。

在一些配置中，电子装置102可包含图像数据缓存器(未示出)。图像数据缓存器可缓存(例如存储)来自图像传感器110的图像数据。所缓存的图像数据可提供到图像信号处理器132和/或处理器104。

在一些配置中，电子装置102可包含图像信号处理器(ISP)132。图像信号处理器132可自图像传感器110接收图像数据(例如原始传感器数据和/或经预处理的传感器数据)。图像信号处理器132可对图像数据执行一或多个操作。举例来说，图像信号处理器132可执行解压缩扩展、局部色调映射(LTM)、滤波、缩放和/或裁剪等。图像信号处理器132可将所得的图像数据提供到处理器104。举例来说，图像数据可为图像模态信息。

在一些配置中，电子装置102可包含摄像机软件应用程序和显示器108。当摄像机应用程序正在运行时，图像传感器110可记录位于光学系统112的视场内的对象的图像。图像传感器110正在记录的图像可在显示器108上呈现。在一些配置中，这些图像可以相对较高帧速率快速连续地显示，以使得在任何给定时刻，在显示器108上呈现位于光学系统112的视场内的对象。电子装置102所获得的一或多个图像可为一或多个视频帧和/或一或多个静态图像。术语视频帧和数字图像在本文中可互换使用。

处理器104可包含和/或实施自动场景检测器122、浑浊性检测器124和/或浑浊性降低器126。自动场景检测器122可控制图像捕获和/或处理的一或多个方面。举例来说，自动场景检测器122可控制自动白平衡、自动聚焦和/或自动曝光。举例来说，自动场景检测器122可控制光学系统112(例如镜头)聚焦、图像传感器110增益、图像传感器110曝光时间等。在一些配置中，自动场景检测器122可通过将信息经由通信接口发送到远程装置来控制远程电子装置(例如远程摄像机、网络装置等)的自动白平衡、自动聚焦和/或自动曝光。

浑浊性检测器124可基于多个模态130执行浑浊性检测以确定浑浊性置信度水平。模态130中的每一者可为用于获得关于电子装置102的周围环境的信息(例如感测)的装置。举例来说，图像传感器110和光学系统112(可被称为摄像机)可为用于捕获关于电子装置102的周围环境的图像信息的模态130的一个实例。

通信接口114可为用于请求和/或接收关于电子装置102(和/或远程电子装置)的周围环境的信息的模态130。举例来说，通信接口114可请求和/或接收关于电子装置的位置(例如经纬度信息、其它位置信息等)、一天中的当前时间、当地天气报告和/或预告、远程装置图像(例如卫星图像、连接的摄像机图像、个人/动作摄像机图像等)、当前温度、空气污染指数等的信息。在一些配置中，可实施和/或使用多个通信接口114。举例来说，一个通信接口114可为全球定位系统(GPS)接收器，另一通信接口114可为蜂窝式(例如3G、长期演进(LTE)、CDMA等)通信接口114，且又一通信接口114可为无线局域网(WLAN)接口(例如802.11接口)。

时钟116可为用于告知一天中的时间的模态130。举例来说，可使用除来自通信接口114之外还有或替代地时钟116来确定一天中的时间。

一或多个传感器118可为用于获得一或多种类型的信息的模态130。传感器118的实例包含温度传感器、气压传感器、湿度传感器、加速度计(其可用于例如惯性导航中)、环境光传感器、方向传感器(例如指南针传感器)等。

一或多个模态130可将信息提供到浑浊性检测器124。模态信息的实例包含图像信息(例如一或多个图像、帧等)、远程装置图像信息、位置信息、方向信息、一天中的时间、天气报告和/或预报信息、卫星信息(例如卫星图像、多普勒雷达、温度等)、光信息(其可例如用以确定电子装置102是在室内还是在室外)、温度、空气污染指数等。在一些配置中，电子装置102可另外或替代地请求和/或接收来自远程电子装置的一或多种类别的模态信息。举例来说，远程电子装置可包含前述模态中的一或多者(例如传感器)且可将对应模态信息经由通信接口114提供到电子装置102。

浑浊性检测器124可基于多个模态130确定浑浊性可信度。举例来说，浑浊性检测器124可基于多个模态执行浑浊性检测以确定浑浊性置信度水平。浑浊性置信度水平可为所捕获图像包含浑浊性和/或电子装置102周围环境浑浊的置信度的量度。举例来说，浑浊性检测器124可从图像提取一或多个特征。来自图像的一或多个特征和一或多种类别的(额外)模态信息可用以确定浑浊性置信度水平。在一些配置中，浑浊性检测器124可使用两阶段分类来确定浑浊性置信度水平。结合图4给出两阶段分类的实例。

在一些配置中，浑浊性检测器124可使用支持向量机(SVM)和/或神经网络分类器确定浑浊性置信度水平。举例来说，支持向量机分类器可为分离指示来自不指示浑浊性的向量的浑浊性的向量(例如所提取的特征和一或多种类型的额外模态信息)的预先训练的分类器。分类器可被称为决策边界。举例来说，分类器可为划分指示来自不指示浑浊性的向量的浑浊性的向量的超平面。向量与超平面之间的距离可反映浑浊性置信度水平。举例来说，如果向量在分类器的指示浑浊性的侧上且靠近分类器，那么浑浊性检测器124可指示检测浑浊性为低浑浊性置信度水平。在另一情况下，如果向量在分类器的指示浑浊性的侧上且远离分类器，那么浑浊性检测器124可指示检测浑浊性为高浑浊性置信度水平。

在一些配置中，分类器(例如决策边界)可经预先训练。举例来说，可使用预标记的浑浊场景和不浑浊场景图像(例如，通过梯度下降法)训练分类器(例如SVM边界)。举例来说，可使用训练数据集训练SVM分类器和/或神经网络分类器。在一些配置中，训练数据集的每一样品可包含来自每一模态的数据点(例如2D图像、GPS、一天中的时间、一年中的日期、在获取图像时所在位置的天气报告/预报、那天的空气污染指数等，以及指示图像是否浑浊的二进制注释)。训练数据集可用以通过反向传播产生SVM中的支持向量和/或神经网络中的每一层的权重/偏差。

在一些配置中，可如下实现确定浑浊性置信度水平。在SVM方法中，浑浊性置信度水平(例如浑浊得分)可计算为输入数据(例如图像或所提取的特征和/或一或多种类别的模态信息)与支持向量的内积。举例来说，浑浊性检测器124可计算支持向量与基于输入数据(例如(2D)图像、GPS、一天中的时间和/或一年中的日期等)的向量的内积。在神经网络方法中，浑浊性检测器124可将通过多层的输入数据与权重和偏差的组合放置在一起。来自最终层的输出可为浑浊性置信度水平(例如浑浊得分)。

处理器104可基于浑浊性置信度水平确定是否执行动作。举例来说，处理器104可确定在浑浊性置信度水平满足一或多个准则的情况下(例如，在浑浊性置信度水平大于或等于特定水平(例如浑浊性阈值水平)的情况下)执行动作。

基于浑浊性置信度水平的动作的实例可包含图像处理(例如浑浊性降低)和非浑浊性降低动作。在一些配置中，电子装置102(例如处理器104)可基于浑浊性置信度水平仅执行图像处理。在其它配置中，电子装置102可仅执行一或多个非图像处理动作(例如非浑浊性降低动作)。在又其它配置中，电子装置102可执行一或多个图像处理动作以及一或多个非图像处理动作。

举例来说，电子装置102(例如处理器104)基于浑浊性置信度水平处理图像。在一些配置中，处理图像可包含执行浑浊性降低。举例来说，处理器104可包含和/或实施浑浊性降低器126。浑浊性降低器126可在浑浊性置信度水平为低(例如低于浑浊性阈值)的情况下不执行浑浊性降低。如果浑浊性置信度水平足够高(例如符合或超过浑浊性阈值)，那么处理器104可执行浑浊性降低。在一些配置中，可基于浑浊性置信度水平确定所执行的浑浊性降低的程度。举例来说，可对于较大浑浊性置信度水平执行较大浑浊性降低。降低浑浊性可包含调整局部色调映射(LTM)、自动白平衡、自动聚焦、自动曝光、颜色校正和/或锐度。

应注意，可对当前图像(例如帧)和/或后续图像(例如帧)执行浑浊性降低。举例来说，电子装置102可对帧执行浑浊性检测。可通过调整(例如)颜色、曝光和/或锐度对帧执行浑浊性降低。另外或替代地，可通过调整后续帧的自动白平衡、自动聚焦和/或自动曝光(除从调整颜色、曝光和/或锐度之外还有或替代地)来执行浑浊性降低。

非图像处理动作的实例可包含以下各项中的一或多者：激活雾灯、激活提示灯、激活提示音、激活针对挡风玻璃上的浑浊性(例如起雾、冷凝等)的加热和/或冷却系统(例如加热、通风和空气调节(HVAC)系统)，以及(例如在平视显示器、挡风玻璃投影仪或其它显示器上)显示一或多个对象(例如车道标记物、车辆标记物、道路边缘标记物、阻障标记物等)等。在一些配置中，一或多个非图像处理动作可由ADAS和/或结合ADAS执行。非浑浊性降低动作的另一实例可包含将浑浊性信息(例如浑浊性置信度水平)发送到远程装置。举例来说，电子装置102可为从远程装置接收图像数据(以及任选地额外模态信息)的服务器。电子装置102可确定浑浊性信息并将浑浊性信息发送给远程装置。在一些配置中，远程装置可任选地基于浑浊性信息执行浑浊性降低。

存储器106可存储指令和/或数据。处理器104可存取(例如读取和/或写入到)存储器106。可由存储器106存储的指令和/或数据的实例可包含图像数据、模态信息、浑浊性置信度水平、自动场景检测器指令、浑浊性检测器指令、浑浊性降低器指令等。

在一些配置中，电子装置102可在显示器108上呈现用户接口128。举例来说，用户接口128可使得用户能够与电子装置102交互。在一些配置中，用户接口128可使得用户能够指示(例如，在环境中和/或在所捕获图像中)是否存在浑浊性。

在一些配置中，显示器108可为接收来自物理触摸(例如通过手指、触笔或其它工具)的输入的触摸屏。举例来说，触摸屏可为接收指示是否存在浑浊性的触摸式输入的输入接口。另外或替代地，电子装置102可包含另一输入接口或耦合到另一输入接口。举例来说，电子装置102可包含面向用户的摄像机且可检测用于指示是否存在浑浊性的用户示意动作(例如手部示意动作、臂部示意动作、眼睛跟踪、眼睑眨眼等)。在另一实例中，电子装置102可耦合到鼠标且可检测指示是否存在浑浊性的鼠标点击。因此，可用任何适合方式(例如，触摸输入、鼠标点击、所辨识的示意动作等)指示是否存在浑浊性。因此，在一些配置中，模态130可包含用于接收用户输入的装置。举例来说，传感器118可包含用于接收指示浑浊(或不浑浊)的用户输入的触摸屏显示器108(和/或用户接口128)。另外或替代地，模态130可包含用于接收指示浑浊性(或不浑浊)的用户输入的输入接口(例如输入装置(例如鼠标、触摸板、摄像机、麦克风等)的输入端口)。

应注意，在一些配置中可不必需用户输入。举例来说，电子装置102可自动检测浑浊性和/或降低一或多个图像中的浑浊性。

图2是说明其中可实施用于浑浊性检测和/或浑浊性降低的系统和方法的电子装置202的一个配置的实例的框图。图2的电子装置202可为图1的电子装置102的一个实例。电子装置202可包含获得图像(例如相片和/或视频)的摄像机镜头246。另外或替代地，电子装置202可获得来自远程装置的图像。

电子装置202可包含一或多个浑浊性检测器224。每一浑浊性检测器224可基于一或多个模态确定摄像机镜头246所观察的场景的浑浊性置信度水平。所述模态中的每一者可产生模态信息248。模态信息248的实例包含电子装置202的位置250a(和/或(例如)所拍照的场景的位置)、电子装置202的方向250b(例如电子装置202所指向的方向)、一天中的时间250c、当地天气报告250d(例如预报)、一或多个远程装置图像250e、室内/室外指示符250f、用户超控指示符250g，以及温度250h。应注意，可从图像传感器和/或光学系统(例如摄像机镜头246)获得的图像模态信息也可包含在模态信息248中。

所述模态中的每一者可易于用于电子装置202(例如移动电话)。举例来说，可使用电子装置202上的GPS功能性获得位置250a，以确定电子装置202是位于城市、乡村、山区还是位于沿海地区等中。在一些配置中，位置250a可用以确定海拔。方向250b可基于来自指南针(例如定向)传感器的信息以确定摄像机的方向(例如朝向海洋或远离海洋)。电子装置202也可容易地获得其它模态信息248。举例来说，在于地图网络服务和/或社交网络上发布的同一位置(例如位置250a)处获取的图片可用作检测浑浊性(例如霾、雾烟雾、等)以及执行浑浊性降低的参考(例如，先前具有霾情况的位置更可能在目前也有霾)。取决于电子装置202的具体位置(例如位置250a)，所述模态中的每一者可更多或更少地有用(例如更多或更少地指示浑浊性)。

可从电子装置202上的时钟和/或通过向远程电子装置(例如全球导航卫星系统(GNSS)、位置服务器、基站、接入点、网络服务器等)请求时间来获得一天中的时间250c。一天中的时间250c可与其它模态信息248中的一或多者组合使用。举例来说，一天中的时间250c可指示浑浊性以及电子装置202的位置250a和方向250b。举例来说，在电子装置202指向沿海地区冬季期间在早晨的几个小时的沿海场景(例如靠近码头或海滩)的情况下，电子装置202所捕获的图像可有可能含有霾。

可经由通信接口获得当地天气报告250d。举例来说，电子装置202可向远程电子装置(例如网络服务器)请求当地天气报告250d。当地天气报告250d可指示当地天气条件(例如雾、烟雾、霾、风、雨、雪、云量、可见度、透明度等)、温度、湿度、气压等，其可指示所述区中浑浊性的可能性。当地天气报告250d可与一个其它模态信息248或其它模态信息248中的一者组合使用。

可经由通信接口获得远程装置图像250e。远程装置图像250e可包含从一或多个远程装置接收的图像信息(例如一或多个图像)。举例来说，电子装置202可从一或多个网络装置(例如网络服务器)、一或多个卫星、一或多个交通工具(例如一或多个内部和/或外部交通工具摄像机)、基础设施(例如交通摄像机、监控摄像机等)、一或多个连接的摄像机(例如液滴摄像机)、一或多个个人/动作摄像机等获得远程装置图像250e。一些远程装置可不具有对于浑浊性检测和/或浑浊性降低足够的图像信号处理能力。另外或替代地，电子装置202在一些配置中可不包含集成的摄像机且可操作以检测远程装置所捕获的图像中(而非从(例如)集成的摄像机捕获的图像中)的浑浊性和/或降低所述浑浊性。

在一个实例中，电子装置202可向远程电子装置(例如网络服务器)请求卫星图像。举例来说，卫星图像可由天气服务、绘图服务或一些其它网络服务提供。在其它配置中，电子装置202可直接从卫星接收远程装置图像250e。远程装置图像250e可指示当地天气条件(例如雾、烟雾、霾、云量、降水等)。另外或替代地，当不存在霾时，远程装置图像250e可提供周围环境的颜色。因此，远程装置图像250e可指示所述地区中的浑浊性的可能性。举例来说，覆盖在一地区上方的云量可指示增加的浑浊可能性。

在一些配置中，远程装置图像250e可与其它模态信息248中的一或多者组合使用。举例来说，卫星图像可与从摄像机镜头246捕获的图像组合使用。可比较卫星图像的颜色与所捕获图像的颜色。如果所捕获图像与卫星图像相比具有暗淡或有色层的颜色，那么此可指示增加的浑浊可能性。

可经由环境光传感器获得室内/室外指示符250f。举例来说，电子装置202可检查环境光传感器所提供的环境光的亮度。超过亮度阈值的亮度可指示电子装置202在室外。另外或替代地，可从位置250a得出室内/室外指示符250f。举例来说，位置信息250a可指示电子装置202是有可能在建筑物中还是在室外。因此，室内/室外指示符250f可指示所述区中的浑浊可能性(例如，浑浊性可更有可能在室外发生)。室内/室外指示符250f可与一个其它模态信息248或其它模态信息248中的一者组合使用。举例来说，室内/室外指示符250f可与位置250a、方向250b以及当地天气报告250d组合使用。举例来说，如果室内/室外指示符250f指示电子装置202在室内，但位置250a指示电子装置202靠近建筑物的边缘，方向250b指示电子装置202摄像机从建筑物朝外指向且当地天气报告250d指示雾，那么此可为其中用户正在从窗口获取图片的具有增加的浑浊可能性的情境。然而，在其它情境中，如果室内/室外指示符250f指示电子装置202在室内，那么可存在降低的浑浊可能性。

可经由用户接口获得用户超控指示符250g。举例来说，电子装置202可检测用户接口对象(例如按钮、文字等)上的指示浑浊或不浑浊的触摸或点击事件。举例来说，电子装置202可接收指示浑浊或不浑浊的用户输入。用户超控指示符250g可指示在图像中存在或不存在浑浊性。用户超控指示符250g可与其它模态信息248中的一或多者组合使用。举例来说，即使电子装置202确定(从多个模态)检测到不浑浊(和/或低浑浊性置信度水平)，但用户超控指示符250g指示存在浑浊性，浑浊性检测器224可经超控以检测浑浊性。在一些配置中，用户超控指示符250g可用以更新分类器训练。

可经由温度传感器(例如热量传感器)和/或经由通信接口获得温度250h。举例来说，电子装置202可从包含在电子装置202中的温度传感器获得温度读数和/或可请求和/或接收来自远程电子装置(例如网络服务器)的温度读数。举例来说，在一些配置中，温度250h可为当地天气报告250d的一部分。温度250h可指示电子装置202的温度和/或室外温度。因此，温度250h可指示所述区中的浑浊可能性(例如，浑浊性可倾向于在特定温度范围内发生)。在一些配置中，可使用温度差。举例来说，浑浊性可更有可能在电子装置202的温度处于与室外温度的特定差时发生。举例来说，如果电子装置202在具有处于与室外温度的特定差下的温度的汽车中，那么浑浊性(例如冷凝、结霜等)可有可能在挡风玻璃上发生。温度250h可与其它模态信息248中的一或多者组合使用。举例来说，温度250h可与位置250a组合使用，其中特定位置(例如靠近水)可呈现特定温度下增加的浑浊可能性。

特定环境场景条件(例如天气、光照等)可致使图像中的特征看起来较不清晰。举例来说，交通工具可正在行驶穿过雾或穿过雨。另外，图像传感器撷取图像所通过的窗口(例如挡风玻璃)可归因于交通工具内部的温度与交通工具外部的温度之间的差异而为有雾的，或可以其它方式归因于冷凝或结霜而为不清楚的。当图像中的特征难以辨别(例如图像是“浑浊的”)时，所述图像可指示环境场景条件(例如雨、雾、有雾的挡风玻璃、烟雾、霾等)。在其中所述系统和方法与交通工具辅助应用程序(例如先进驾驶员辅助系统(ADAS)和/或扩增显示器)结合使用的配置中，浑浊图像可为交通工具的操作者可能无法看见交通工具外部的场景的的特征(例如交通标志、车道、行人、其它车辆、树等)的指示符。浑浊性检测器224可检测来自图像传感器的浑浊图像。

在一些实施方案中，浑浊性检测器224可确定图像传感器所面向的窗口(例如挡风玻璃)是否是有雾的或图像传感器的摄像机镜头246是湿的还是有雾的。为了说明，图像传感器可位于座舱(例如交通工具的乘客舱)内，且可经定位以通过交通工具的窗口捕获场景。浑浊性检测器224可接收相关联于和/或对应于多个温度250h(例如交通工具内部的第一温度和交通工具外部的第二温度)的传感器数据。浑浊性检测器224可经配置以确定第一温度与第二温度之间的温差。当所述温差指示第一温度(在交通工具内部)之间的差超过所述温度(交通工具外侧)时，浑浊性检测器224可确定图像传感器所捕获的图像部分地因为图像传感器所面向的窗口有雾而为浑浊的。响应于确定窗口有雾，浑浊性检测器224可基于浑浊性置信度水平执行图像处理(例如浑浊性降低)。在一些配置中，电子装置202起始一动作，例如作为说明性的非限制性实例，激活加热、通风或空气调节(HVAC)系统和/或挡风玻璃刮水器。

在另一实例中，浑浊性检测器224可确定浑浊性处于交通工具外部的场景中(例如，在窗口上无冷凝或挡风玻璃没有雾)。在此情况下，浑浊性检测可起始一或多个动作。这些动作可不同于针对有雾挡风玻璃起始的一或多个动作。举例来说，对于归因于交通工具外部的场景引起的浑浊性，所述动作可包含在抬头显示器中去雾和/或ADAS功能性(例如休息、减速、车道标记、听觉警报等)。

应注意，尽管在图2中说明一些模态信息248，可使用更少、更多和/或不同类别的模态信息248。举例来说，可使用气压、一年中的日期、湿度和/或其它类别的模态信息248。举例来说，可从电子装置202上的气压传感器和/或从通信接口(例如从远程网络服务器，其作为当地天气报告的一部分)获得气压。可从电子装置202上的日历应用程序和/或从通信接口(例如从远程网络服务器)获得一年中的日期。可从电子装置202上的湿度传感器和/或从通信接口(例如从远程网络服务器，其作为当地天气报告的一部分等)获得湿度。模态信息248的另一实例可为天气年历信息，其可从通信接口(例如从远程网络服务器)获得。模态信息248的另一实例可为空气污染信息(例如空气污染指数)，其可从通信接口(例如从远程网络服务器)获得。这些模态信息248中的一或多者可对发生浑浊的可能性具有影响。因此，一或多个浑浊性检测器224可使用多个模态确定浑浊性置信度水平。

在一些配置中，电子装置202可基于多个模态通过浑浊性降低器226执行浑浊性降低。浑浊性降低器226可提供对颜色240、曝光242和/或锐度244的调整，借此移除或降低对特定场景和/或相片的浑浊效应。应注意，浑浊性降低器226、自动场景检测器222或这两者可调整对比度以便执行浑浊性降低。浑浊性检测器224的结果还可用以调整自动场景检测器222(例如，3A模块)内的设置。举例来说，自动场景检测器222可包含对自动白平衡234、自动聚焦236和自动曝光238的设置和/或控制。应注意，电子装置202可另外或替代地通过控制(例如调整)自动白平衡234、自动聚焦236和/或自动曝光238来执行浑浊性降低。

图3是说明其中可实施用于浑浊性检测和/或浑浊性降低的系统和方法的电子装置302的配置的另一实例的框图。电子装置302可包含摄像机镜头346。摄像机镜头346可为结合图2描述的摄像机镜头246的一个实例。摄像机镜头346可将光聚焦于图像传感器310上。图像传感器310可为结合图1描述的图像传感器110的一个实例。图像传感器310可将原始摄像机信号352提供到图像信号处理器332。图像信号处理器332可为结合图1描述的图像信号处理器132的一个实例。图像信号处理器332可为用于通过电子装置302进行图像处理的专用数字信号处理器(DSP)。图像信号处理器332可将原始摄像机信号352转换成摄像机信号354。在一些配置中，图像信号处理器332或单独的大小调整器可调整图像的大小(例如调整红色-绿色-蓝色(RGB)平面的大小)。举例来说，图像信号处理器332或单独的大小调整器可将图像或帧的大小调整到四分之一视频图象阵列(QVGA)。调整大小可提供相当大的准确度以及较少计算。可在特征提取(例如所述浑浊性检测器324的特征提取)之前执行调整大小。摄像机信号354可提供到浑浊性检测器324。浑浊性检测器324可为结合图1描述的浑浊性检测器124的一个实例。

在一些配置中，电子装置(例如电子装置102、202、302)可包含图像信号处理器(例如图像信号处理器132、332)，但可不包含摄像机(例如可不包含摄像机镜头246、346、图像传感器110和/或光学系统112)。在这些配置中，电子装置(例如电子装置102、202、302)可从远程装置(例如从单独的摄像机)接收图像数据(例如摄像机信号)。举例来说，电子装置(例如电子装置102、202、302)可从远程电子装置(例如网络服务器、耦合到电子装置的单独的摄像机等)接收图像数据。因此，可在电子装置上执行浑浊性检测。可在电子装置上和/或与远程电子装置协作执行浑浊性降低。举例来说，电子装置302可将一或多个调整发送给远程图像传感器和/或摄像机镜头(例如对镜头焦点、图像传感器增益、图像传感器曝光时间等进行调整)。

浑浊性检测器324可确定在摄像机镜头346所观察的场景内是否检测到浑浊性。更具体来说，浑浊性检测器324可基于多个模态执行浑浊性检测以确定浑浊性置信度水平356。此可如结合图1和2中的一或多者所描述地实现。结合图4到9中的一或多者给出浑浊性检测的更多实例。举例来说，在一些配置中，浑浊性检测器324可使用两阶段分类降低计算复杂性。在一些实例中，分类器可使用线性支持向量机(SVM)，其中可不必将所有支持向量保存在模型中。浑浊性置信度水平356可反映浑浊性检测器324已检测到摄像机镜头346所观察的场景内的浑浊的相对置信度。举例来说，低浑浊性置信度水平356可指示场景中的任何浑浊最少和/或不大可能。在对于低浑浊性置信度水平356的情况下，可减少和/或不执行浑浊性降低处理。高浑浊性置信度水平356可指示场景包含显著的浑浊和/或浑浊是有可能。在对于高浑浊性置信度水平356的情况下，可使用增加的浑浊性降低来从场景移除和/或降低浑浊性。

浑浊性置信度水平356可提供到浑浊性降低器326。浑浊性降低器326可降低摄像机镜头346所观察的场景中的浑浊的量。举例来说，浑浊性降低器326可调整颜色、曝光和/或锐度设置以降低和/或移除所察觉的浑浊。结合图9到10中的一或多者给出浑浊性降低的的更具体实例。浑浊性置信度水平356也可提供到自动场景检测器322(例如3A模块)。自动场景检测器322(例如3A模块)可基于浑浊性置信度水平356调整自动白平衡、自动聚焦和/或自动曝光以从摄像机镜头346所观察的场景降低/移除浑浊性。

图4是浑浊性检测器424的一个配置的实例的框图。图4的浑浊性检测器424可为结合图1到3中的一或多者描述的浑浊性检测器124、224、324中的一或多者的一个配置。浑浊性检测器424可接收摄像机信号454。摄像机信号454可为经由摄像机镜头、图像传感器和/或图像信号处理器接收的信号。替代地，可从远程装置(例如远程摄像机)接收摄像机信号454。在一些配置中，可在将摄像机信号454提供到浑浊性检测器424之前使用图像信号处理器处理摄像机信号454。

在一些配置中，浑浊性检测器424可基于两阶段分类。应注意，更少或更多阶段可用于分类(例如多阶段分类系统)。分类系统的第一阶段可包含第一特征提取器458(例如，基于图像的)和第一分类器462。分类系统的第二阶段可包含第二特征提取器460(例如，基于图像和模态的)和第二分类器464。在一些配置中，分类器462、464中的一或多者可基于支持向量机(SVM)。

第一特征提取器458可执行特征提取。在一些配置中，第一特征提取器458与第二特征提取器460相比可使用较少计算功率。第一特征提取器458可接收摄像机信号454。第一特征提取器458接着可从摄像机信号454提取一或多个第一所提取的特征466。可提取的特征的实例包含颜色特征(例如暗通道特征470)和空间特征(例如强度梯度472、模糊/锐度指示符474和/或梯度的量值/相位)。第一特征提取器458可将一或多个第一所提取的特征466提供到第一分类器462。第一分类器462还可接收一或多种类别的模态信息448。如上文所论述，模态信息448可为与可用以电子装置(经由一或多个传感器、经由因特网等)的浑浊性有关的额外信息。

基于所提取的特征和模态信息448，第一分类器462可将霾/无霾决策468输出到第二特征提取器460。如果第一分类器462输出无霾决策468，那么可不执行关于浑浊性的额外计算，这是因为未检测到浑浊性。然而，如果第一分类器462输出霾决策468，那么已检测到至少一些浑浊，且第二特征提取器460可提取一或多个第二所提取的特征469。

在一些配置中，第二特征提取器460可使用在计算上更密集的特征提取以从摄像机信号454获得更具体的所提取的特征。举例来说，第二特征提取器460可从摄像机信号454获得基于图像和一或多个额外类别的模态信息448两者的一或多个第二所提取的特征469。第二特征提取器460所提取的特征的实例包含暗通道特征476、梯度量值478、梯度相位480和/或梯度空间信息482。因此，在一些配置中，与第一特征提取器458相比，第二特征提取器460可提供更先进的所提取的特征。此方法可允许在检测到无霾是通过要求较不高的提取的情况下节省计算资源。

第二特征提取器460可将第二所提取的特征469中的一或多者提供到第二分类器464。基于一或多个所提取的特征和一或多种类别的模态信息448，第二分类器464可输出浑浊性置信度水平456。浑浊性置信度水平456可反映浑浊性包含在摄像机信号454内的置信度。

在一些配置中，可从训练数据集在所提取的特征方面训练每一阶段中的SVM分类器以形成高维特征空间中的决策边界，从而区分浑浊场景与非浑浊场景。在检测中，SVM可应用于同一组特征。SVM可评估输入图像是落在决策边界的一侧还是另一侧。可选择每一SVM分类器的适合操作点以实现改良的(例如最优)精确度/效率权衡。举例来说，线性-核SVM可用于第一阶段和第二阶段两者(在两阶段配置中)。可在第一阶段基于一个操作点做出二进制决策。第二阶段可输出连续性浑浊性置信度水平456

图5是说明用于基于多个模态进行浑浊性检测的方法500的一个配置的流程图。方法500可由电子装置(例如电子装置102、202、302中的一或多者)执行。电子装置可经配置有浑浊性检测器(例如浑浊性检测器124、224、324、424)。

电子装置可任选地获得502摄像机输入信号(例如一或多个图像)。举例来说，可经由如上文结合图1到4中的一或多者所描述的镜头、图像传感器和/或图像信号处理器获得摄像机输入信号。替代地，可从远程装置(例如，耦合到电子装置的远程摄像机、与电子装置通信的网络服务器等)获得摄像机输入信号。这可如结合图1到4中的一或多者所描述地来实现。

电子装置可基于多个模态确定504浑浊性置信度水平。举例来说，电子装置可基于多个模态执行浑浊性检测以确定浑浊性置信度水平。此可如上文结合图1到4中的一或多者所描述地来实现。举例来说，电子装置可从一或多个图像(例如从摄像机输入信号)提取一或多个特征且基于所述特征和一或多种(额外)类别的模态信息来对所述图像进行分类。在一些配置中，可基于两阶段分类执行浑浊性检测。

电子装置可基于浑浊性置信度水平确定506是否执行动作。此可如结合图1到3中的一或多者所描述地来实现。举例来说，电子装置可确定506在浑浊性置信度水平满足一或多个准则的情况下(例如在浑浊性置信度水平大于或等于浑浊性阈值水平的情况下)执行动作。基于浑浊性置信度水平的动作的实例可包含图像处理(例如浑浊性降低)和非图像处理动作。举例来说，电子装置可如结合图1到3中的一或多者所描述地基于浑浊性置信度水平执行浑浊性降低。另外或替代地，电子装置可如结合图1所描述地基于浑浊性置信度水平执行非图像处理动作。

图6是说明用于基于多个模态进行浑浊性检测的方法600的更具体配置的流程图。方法600可由电子装置(例如电子装置102、202、302中的一或多者)执行。电子装置可经配置有浑浊性检测器(例如浑浊性检测器124、224、324、424)。

电子装置可获得602摄像机输入信号的帧(例如图像)。这可如上文结合图1到4中的一或多者所描述地来实现。举例来说，电子装置可经由镜头、图像传感器和/或图像信号处理器获得602一或多个图像。

电子装置可对所述帧执行604第一(例如基本)特征提取。这可如上文结合图4所描述地来实现。举例来说，电子装置可确定帧的暗通道特征、帧的强度梯度和/或帧的模糊/锐度指示符。

电子装置可基于第一所提取的特征和一或多个模态执行606第一分类。这可如上文结合图4所描述地来实现。在一些配置中，第一分类可使用支持向量机(SVM)确定在帧中是否检测到浑浊性。

电子装置可确定608第一分类是否指示在所述帧中检测到浑浊性。这可如上文结合图4所描述地来实现。举例来说，如果向量(基于第一所提取的特征和/或一或多种类别的模态信息)位于决策边界的一侧，那么第一分类可指示检测到霾。然而，如果向量落在决策边界的另一侧上，那么可能未检测到浑浊性。如果未检测到浑浊性，那么操作可结束610。

如果在帧中检测到浑浊性，那么电子装置对所述帧执行612第二(例如更密集)特征提取。这可如上文结合图4所描述地来实现。在一些配置中，第二特征提取可包含在计算上更密集的特征提取，例如梯度空间信息、梯度相位信息、梯度量值信息和/或额外暗通道特征。在一些配置中，举例来说，不同于第一特征提取，第二特征提取可基于一或多个模态。举例来说，第二特征提取可基于电子装置的位置、电子装置所面向的方向、一天中的时间等。

电子装置可基于第二所提取的特征和一或多个模态执行614第二分类以获得浑浊性置信度水平。这可如上文结合图4所描述地来实现。在一些配置中，第二分类可使用支持向量机(SVM)确定在所述帧中检测到浑浊性的浑浊性置信度水平。第二分类可基于第二所提取的特征和一或多个模态。

电子装置可任选地地基于浑浊性置信度水平执行616浑浊性降低。这可如上文结合图1到3中的一或多者所描述地来实现。举例来说，电子装置可调整自动白平衡、自动聚焦、自动曝光、颜色、锐度和/或局部对比度以降低/移除可见的浑浊性。因此，浑浊性降低可包含信号处理和调整摄像机的一或多个物理设置。

图7是说明浑浊性检测器724的配置的另一实例的框图。浑浊性检测器724可接收摄像机输入750a和一或多种额外类型的模态信息：位置750b、方向750c、一天中的时间750d、当地天气报告750e(例如预告)、远程装置图像750f、室内/室外指示符750g、用户超控指示符750h、温度750i、空气污染指数750j和/或一年中的日期750k。基于摄像机输入750a和一或多种额外类型的模态信息750b到k，浑浊性检测器724可确定浑浊性置信度水平756。举例来说，浑浊性检测器724可使用摄像机输入750a和一或多种额外类型的模态信息750b到k以直接确定单个浑浊性置信度水平。

图8是说明并行地操作的多个浑浊性检测器824a到h的配置的实例的框图。浑浊性检测器824a到h可为结合图1到4中的一或多者描述的浑浊性检测器124、224、324、424中的一或多者的实例。每一浑浊性检测器824可接收摄像机输入850i和一或多种类型的模态信息850a到850h。举例来说，浑浊性检测器A 824a可接收位置模态信息850a。浑浊性检测器A824a可输出位置模态浑浊性置信度水平884a(例如基于摄像机输入和位置模态信息的浑浊性置信度水平)。

作为另一实例，浑浊性检测器B 824b可接收方向模态信息850b。浑浊性检测器B824b可输出方向模态浑浊性置信度水平884b。

浑浊性检测器C 824c可接收一天中的时间模态信息850c且可输出一天中的时间模态浑浊性置信度水平884c。浑浊性检测器D 824d可接收当地天气报告(例如预告)模态信息850d且可输出当地天气报告模态浑浊性置信度水平884d。

浑浊性检测器E 824e可接收远程装置图像模态信息850e且可输出远程装置图像模态浑浊性置信度水平884e。浑浊性检测器F 824f可接收室内/室外指示符模态信息850f且可输出室内/室外模态浑浊性置信度水平884f。

浑浊性检测器G 824a可接收用户超控指示符模态信息850g且可输出用户超控模态浑浊性置信度水平884g。浑浊性检测器H 824h可接收温度模态信息850h且可输出温度模态浑浊性置信度水平884h。

所获得的模态浑浊性置信度水平884a到h中的每一者接着可经组合以获得总体浑浊性置信度水平856。举例来说，模态浑浊性置信度水平884a到h中的每一者可提供到置信度水平组合器886。举例来说，置信度水平组合器886可实施于电子装置102、202、302的一或多者中(例如处理器104中)。在一些配置中，置信度水平组合器886可通过平均化模态浑浊性置信度水平884a到h来组合模态浑浊性置信度水平884a到h。在一些配置中，置信度水平组合器886可确定模态浑浊性置信度水平884a到h的加权平均值以产生浑浊性置信度水平856。具有并行地运行的多个浑浊性检测器824a到h可提供在获得浑浊性置信度水平856时减少计算时间的优点。

应注意，可实施更少或更多浑浊性检测器824。举例来说，可实施用于一年中的日期模态信息的浑浊性检测器。另外或替代地，可实施用于空气污染指数的浑浊性检测器。如上文所描述，可组合来自检测器824中的一或多者的结果。

图9是说明图像信号处理器932的一个配置的一个实例的框图。图像信号处理器932可为结合图1和3中的一或多者描述的图像信号处理器132、332中的一或多者的一个实例。在浑浊性降低期间应满足的一些目标可包含增强图像处理和/或提高相关联应用程序(例如ADAS功能性、对象检测、对象跟踪、对象辨识、自动聚焦、深度绘图和/或3D模型化等)的准确度。举例来说，用于浑浊性降低的方法中的一或多者可实现在预览帧期间且在快照之间的一致性且无闪烁、无明显的假影(颜色、噪声和/或假轮廓)，且/或提高ADAS图像质量和检测准确度。在一些配置中，可控制摄像机图像信号处理器管线中的局部色调映射(LTM)硬件以降低浑浊性。

图像传感器910可捕获图像数据。结合图9描述的图像传感器910可为结合图1和3中的一或多者描述的图像传感器110、310中的一或多者的实例。图像数据可提供到任选的视频前端(VFE)988。视频前端988可执行一或多个预处理操作。举例来说，视频前端988可基于图像传感器输出产生图像。视频前端988可将经预处理的图像数据提供到图像信号处理器932和统计数据收集器996。

图像信号处理器932可包含任选的解压缩扩展器990、局部色调映射器(LTM)992和/或任选的缩放器/裁剪器994。应注意，可在图像信号处理器932中实施更多或更少处理元件。

解压缩扩展器990可对经预处理的图像数据执行解压缩扩展操作。应注意，解压缩扩展器990可包含在图像信号处理器932和/或视频前端988中(例如，由图像信号处理器932和/或视频前端988实施)。

局部色调映射器992可对图像数据执行局部色调映射。举例来说，局部色调映射可包含将一组颜色映射到不同组的颜色。举例来说，输入图像数据的第一动态范围(例如较高动态范围)可映射到第二动态范围(例如较低动态范围)。在一些配置中，第二动态范围可对应于显示器(例如显示器108)的动态范围。可执行局部色调映射，以致力于将输入图像中的对比度降低到可显示的范围内且保留颜色。在一些配置中，局部色调映射器992可将局部色调映射曲线应用于图像数据。特定来说，局部色调映射器992可增强图像数据的高强度区域中的局部对比度(例如，调整像素的强度值以增加相邻像素之间的差异，从而潜在地在图像中更清晰地显现对象)。结合图10给出关于局部色调映射的额外细节。

缩放器/裁剪器994可缩放和/或裁剪图像数据。图像信号处理器932可因此产生(经处理的)摄像机信号954。摄像机信号954可提供到浑浊性检测器924。

浑浊性检测器924可为结合图1到4和7到8中的一或多者描述的浑浊性检测器124、224、324、424、724、824中的一或多者的一个实例。如上文所描述，浑浊性检测器924可确定浑浊性置信度水平956。浑浊性置信度水平956可提供到局部色调映射器992。局部色调映射器992可控制(例如调整)局部色调映射以便执行浑浊性降低。控制局部色调映射可包含修改一或多个LTM曲线以增强高强度区域中的局部对比度。举例来说，局部色调映射器992可针对较高浑浊性置信度水平956增加LTM曲线的深度，且/或针对较低浑浊性置信度水平956减小LTM曲线的深度。结合图10提供LTM曲线的实例。

应注意，统计数据收集器996可收集经预处理的图像数据的统计数据998。统计数据998可提供到浑浊性检测器924。在一些配置中，浑浊性检测器924可使用统计数据998作为可用以训练分类器的输入向量。

图10包含说明局部色调映射(LTM)函数(例如曲线)的各个方面的数个图表1001a到f。举例来说，图表1001a到f可涉及输入和输出灰度级。可任选地用不同位数(例如256或1024)量化输入和输出的灰度级。图表A1001a和图表D 100d的相应纵轴1003、1073可表示应用于照度的调整值。图表B 1001b和图表E 1001e的相应纵轴1007、1077可表示应用于照度的调整量。图表A到B 1001a到b和图表D到E 1001d到e的水平轴1005、1009、1075、1079可表示照度值。图表C 1001c和图表F 1001f可表示从输入的照度值(在相应水平轴1013、1083上)到输出的照度值(在相应纵轴1011、1081上)的最终映射曲线。

举例来说，图像信号处理器132、332(例如局部色调映射器992)可使用LTM函数执行浑浊性降低。数字图像(例如来自图像传感器的图像数据、原始摄像机信号、经预处理的图像数据等)可由像素构成。每一像素可在一或多个通道(例如红色、绿色、蓝色等)中具有强度值。强度值可具有特定范围(例如，从0到255)。对于图像中的每一像素，图像信号处理器132、332(例如局部色调映射器992)可基于相邻像素的强度调整通道的一或多者中的像素的强度。图表A 1001a说明LTM主曲线的一个实例。LTM主曲线说明针对相邻像素的不同平均强度(沿着水平轴1005)应用于像素的强度(沿着垂直轴1003)的调整。如所说明，图像信号处理器132、332可增加低强度区中的像素的强度且可减小高强度区中的像素的强度。举例来说，LTM主曲线中的200附近的凹陷部可用以降低强度水平且增加200的照度水平附近的对比度。图表B 1001b说明主曲线缩放因子的一个实例，且图表C 1001c说明掩码纠正的一个实例。

图表D 1001d说明LTM移位曲线的一个实例。LTM移位曲线展示如何基于强度与相邻像素的平均强度之间的差(沿着水平轴1075)调整像素的强度(沿着垂直轴1073)。图表E1001e说明移位曲线缩放因子的一个实例，且图表F 1001f说明LTM主曲线的一个实例。

可基于浑浊性置信度水平控制LTM主曲线和LTM移位曲线中的一或多者。举例来说，可随着浑浊性置信度水平增加而增加对像素强度的调整。举例来说，降低浑浊性可包含增加一或多个LTM曲线的深度(例如，这是因为浑浊性置信度水平增加)。

图11是说明浑浊性降低决策的图表。特定来说，所述图表说明随时间1117(以帧为单位(例如，在30帧/秒(fps)下))的浑浊性置信度水平1115。具体来说，一个曲线图说明来自前一帧的浑浊性置信度水平1119和经平滑化的浑浊性置信度水平1121。举例来说，电子装置可平滑化随时间1117的浑浊性置信度水平。如图11中所说明，浑浊性降低决策1123可在浑浊性置信度水平1115足够高(例如大于或等于浑浊性置信度阈值)时发生。图11中的曲线图可说明从ADAS应用程序对经调整大小图像采取的浑浊性降低决策。

图12A是空气污染指数地图1235的实例。在一些配置中，电子装置(例如电子装置102、202、302)可请求和/或接收来自远程装置(例如远程服务器)的一或多个位置的空气污染指数。举例来说，电子装置可请求和/或接收电子装置所在地区的空气污染指数。空气污染指数可为可用以如本文所描述地确定浑浊性可信度值的一种类别的模态信息。空气污染指数地图1235说明具有空气污染指数的地图的一个实例。

图12B是说明基于一种类别的模态信息(空气污染指数)执行浑浊性检测的方法的图式。举例来说，所述框图说明用于确定空气污染指数浑浊性置信度水平1233的一种方法，其中空气污染指数浑浊性置信度水平1233是归一化的空气污染指数。空气污染指数浑浊性置信度水平1233可为如结合图8所描述的模态浑浊性置信度水平的一个实例。

在此实例中，空气污染指数1225(其可例如从远程服务器检索)可提供到归一化器1227。特定来说，空气污染指数地图1235提供可由电子装置获得的空气污染指数的实例。归一化器1227可归一化空气污染指数1225以产生原始空气污染指数浑浊性水平1229。在一些配置中，可根据以下等式确定原始空气污染指数浑浊性水平1229：其中Raw是原始空气污染指数浑浊性水平1229，AirPollutionIndex是空气污染指数1225，MinPollutionIndexThd是最小空气污染指数阈值，且MaxPollutionIndexThd是最大空气污染指数阈值。在一些配置中，原始空气污染指数浑浊性水平1229可提供到箝位器1231(函数)。箝位器1231可将原始空气污染指数浑浊性水平1229变换到给出范围(例如[0,1])内。箝位器1231可提供空气污染指数浑浊性置信度水平1233。

确定空气污染指数浑浊性置信度水平的另一方法可为机器学习方法：使用回归产生将空气污染指数连结到空气污染指数浑浊性置信度水平(例如可见浊度计分)的一维函数。可记录数据标记和空气污染指数以便训练回归因子。结合回归图表1245说明此方法。回归图表1245说明对空气污染指数1239的浊度计分1237。特定来说，回归图表1245说明浊度计分回归1241和线性浊度计分1243。

图13说明根据本文中所揭示的系统和方法的在浑浊性降低之前1347和在浑浊性降低之后1349的图像的实例。具体来说，顶部图像是浑浊性降低1347之前的图像的实例，具有大约50米(m)的可视性。下部图像说明在浑浊性降低之后1349的图像的实例，其说明能见度的显著改良。本文中所揭示的系统和方法的一些配置可应用于交通标志和/或车道检测。举例来说，汽车可与本文中所揭示的系统和方法一起实施。在浑浊情境中，本文中所揭示的系统和方法可提供浑浊性检测和浑浊性降低。经去浊的图像可使得电子装置(例如汽车)能够以更大准确度检测和/或跟踪街道标志和/或车道条纹。

图14说明可包含在经配置以实施本文中所揭示的系统和方法的各种配置的电子装置1402内的特定组件。电子装置1402可为接入终端、移动站、用户设备(UE)、基站、接入点、广播发射器、节点B(node B)、演进的节点B等。电子装置1402可根据本文中所描述的电子装置102、202、302中的一或多者实施。电子装置1402包含处理器1469。处理器1469可为通用单芯片或多芯片微处理器(例如ARM)、专用微处理器(例如数字信号处理器(DSP))、微控制器、可编程门阵列等。处理器1469可被称为中央处理单元(CPU)。尽管在电子装置1402中仅展示单个处理器1469，但在替代性配置中，可使用处理器的组合(例如ARM与DSP)。

电子装置1402还包含存储器1451。存储器1451可为能够存储电子信息的任何电子组件。存储器1451可体现为随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储媒体、光学存储媒体、RAM中的快闪存储器装置、随处理器包含的板上存储器、EPROM存储器、EEPROM存储器、寄存器等，包含所述装置的组合。

数据1453a和指令1455a可存储于存储器1451中。指令1455a可由处理器1469执行以实施本文中所揭示的方法500、600中的一或多者。执行指令1455a可涉及使用存储于存储器1451中的数据1453a。当处理器1469执行指令1455a时，指令1455b的各个部分可被加载到处理器1469上，且数据1453b的各个段可被加载到处理器1469上。

电子装置1402还可包含发射器1457和接收器1459以允许将信号发射到电子装置1402以及从电子装置1402接收信号。发射器1457和接收器1459可统称为收发器1461。多个天线1463a到b可电耦合到收发器1461。电子装置1402还可包含(未示出)多个发射器、多个接收器、多个收发器和/或额外的天线。

电子装置1402可包含数字信号处理器(DSP)1465。电子装置1402还可包含通信接口1467。通信接口1467可使得电子装置/无线装置1402能够与一或多个其它装置和/或用户通信。举例来说，通信接口1467可包含用于装置间通信的一或多个有线和/或无线接口。在一些配置中，收发器1461可包含在通信接口1467中。另外或替代地，通信接口1467可包含一或多个其它输入/输出接口(例如触摸屏、鼠标端口等)。

电子装置1402的各种组件可通过一或多个总线1471耦合在一起，所述一或多个总线可包含电力总线、控制信号总线、状态信号总线、数据总线等。为清楚起见，各种总线在图14中被说明为总线系统1471。

术语“确定”涵盖多种动作，且因此“确定”可包含计算、运算、处理、导出、调查、查找(例如，在表、数据库或另一数据结构中查找)、断定及类似者。并且，“确定”可包含接收(例如，接收信息)、存取(例如，在存储器中存取数据)及类似者。并且，“确定”可包括解析、选择、挑选、建立及类似者。

除非以其它方式明确地指定，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述“仅基于”与“至少基于”两者。

术语“处理器”应广义上解释为涵盖通用处理器、中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机等。在一些情况下，“处理器”可以指代专用集成电路(ASIC)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)等。术语“处理器”可指代处理装置的组合，例如DSP和微处理器的组合、多个微处理器的组合、一或多个微处理器结合DSP核心，或任何其它此类配置。

术语“存储器”应广义上解释为涵盖能够存储电子信息的任何电子组件。术语存储器可指各种类型的处理器可读媒体，例如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可抹除PROM(EEPROM)、快闪存储器、磁性或光学数据存储器、寄存器等。如果处理器可从存储器读取信息和/或将信息写入到存储器，那么存储器被称为与处理器电子通信。与处理器成一体的存储器与处理器电子通信。

术语“指令”和“代码”应该广义地解释为包含任何类型的计算机可读语句。举例来说，术语“指令”和“代码”可指代一或多个程序、例程、子例程、函数、过程等。“指令”和“代码”可以包括单个计算机可读语句或许多计算机可读语句。

本文中所描述的功能可在通过硬件执行的软件或固件中实施。所述功能可以存储为计算机可读媒体上的一或多个指令。术语“计算机可读媒体”或“计算机程序产品”指代计算机或处理器可存取的任何有形存储媒体。作为实例而非限制，计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于运载或存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。如本文所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及Blu-光盘，其中磁盘通常以磁性方式复制数据，而光盘用激光以光学方式复制数据。应注意，计算机可读媒体可为有形且非暂时性的。术语“计算机程序产品”是指计算装置或处理器，其与可由计算装置或处理器执行、处理或计算的代码或指令(例如，“程序”)组合。如本文中所使用，术语“代码”可指可由计算装置或处理器执行的软件、指令、代码或数据。

还可通过传输媒体传输软件或指令。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线路(DSL)或无线技术(例如，红外线、无线电及微波)从网站、服务器或其它远程源传输软件，那么同轴电缆、光纤电缆、双绞线、DSL或无线技术(例如，红外线、无线电及微波)包含在传输媒体的定义中。

本文中所揭示的方法包括用于达成所描述的方法的一或多个步骤或动作。在不偏离权利要求书的范围的情况下，所述方法步骤和/或动作可彼此互换。换句话说，除非正描述的方法的适当操作需要步骤或动作的特定次序，否则，在不脱离权利要求书的范围的情况下，可修改特定步骤及/或动作的次序及/或使用。

另外，应了解，用于执行本文中所描述的方法和技术(例如，图5和6所说明的那些方法和技术)的模块和/或其它适当装置可由装置下载和/或以其它方式获得。举例来说，装置可耦合到服务器以促进用于执行本文中所描述的方法的装置的传递。替代地，可经由存储装置(例如随机存取存储器(RAM)、只读存储器(ROM)、物理存储媒体，例如压缩光盘(CD)或软性磁盘等)提供本文中所描述的各种方法，使得在将存储装置耦合或提供到装置后，所述装置可即刻获得各种方法。

应理解，所附权利要求书不限于上文所说明的精确配置和组件。在不脱离权利要求书的范围的情况下，可在本文中所描述的系统、方法和设备的配置、操作和细节方面进行各种修改、改变和变化。

Claims (30)

1.一种电子装置，其包括：

处理器，其经配置以基于多个模态确定浑浊性置信度水平且基于所述浑浊性置信度水平确定是否执行动作。

2.根据权利要求1所述的电子装置，其中所述处理器经配置以基于所述浑浊性置信度水平执行浑浊性降低。

3.根据权利要求2所述的电子装置，其中所述处理器经配置以调整由以下各者组成的群组中的一或多者：自动白平衡、自动聚焦、自动曝光、颜色、锐度以及局部色调映射曲线。

4.根据权利要求1所述的电子装置，其中所述处理器经配置以执行至少一个非图像处理动作。

5.根据权利要求1所述的电子装置，其中所述处理器经配置以基于两阶段分类确定所述浑浊性置信度水平。

6.根据权利要求5所述的电子装置，其中所述处理器经配置以：

基于摄像机输入信号执行第一特征提取，以产生第一组的一或多个所提取的特征；

基于所述第一组所提取的特征和所述模态中的一或多者执行第一分类；

确定所述第一分类指示检测到浑浊性；

基于所述摄像机输入信号和所述模态中的一或多者执行第二特征提取，以产生第二组的一或多个所提取的特征；和

基于所述第二组所提取的特征和所述模态中的一或多者执行第二分类。

7.根据权利要求6所述的电子装置，其中所述第一组所提取的特征包括由以下各者组成的群组中的一或多者：暗通道特征、强度梯度特征以及模糊/锐度特征。

8.根据权利要求6所述的电子装置，其中所述第二组所提取的特征包括由以下各者组成的群组中的一或多者：暗通道特征、梯度量值特征、梯度相位特征以及梯度空间信息特征。

9.根据权利要求1所述的电子装置，其中所述处理器经配置以实施检测器，所述检测器经配置以基于所述模态中的一或多者获得所述浑浊性置信度水平。

10.根据权利要求1所述的电子装置，其中所述处理器经配置以实施多个检测器，其中每一检测器经配置以基于所述模态中的一或多者获得模态浑浊性置信度水平，且其中所述处理器经配置以组合所述模态浑浊性置信度水平以形成所述浑浊性置信度水平。

11.根据权利要求1所述的电子装置，其中所述模态经配置以提供图像模态信息和由以下各者组成的群组中的一或多者：位置模态信息、方向模态信息、一天中的时间模态信息、当地天气报告模态信息、远程装置图像模态信息、室内/室外指示符、用户超控指示符以及温度模态信息。

12.一种通过电子装置执行的方法，其包括：

基于多个模态确定浑浊性置信度水平；和

基于所述浑浊性置信度水平确定是否执行动作。

13.根据权利要求12所述的方法，其进一步包括执行所述动作，其中执行所述动作包括基于所述浑浊性置信度水平执行浑浊性降低。

14.根据权利要求13所述的方法，其中执行浑浊性降低包括调整由以下各者组成的群组中的一或多者：自动白平衡、自动聚焦、自动曝光、颜色、锐度以及局部色调映射曲线。

15.根据权利要求12所述的方法，其中执行所述动作包括执行至少一个非图像处理动作。

16.根据权利要求12所述的方法，其中确定所述浑浊性置信度水平是基于两阶段分类。

17.根据权利要求16所述的方法，其中所述两阶段分类包括：

基于摄像机输入信号执行第一特征提取以产生第一组的一或多个所提取的特征；

基于所述第一组所提取的特征和所述模态中的一或多者执行第一分类；

确定所述第一分类指示检测到浑浊性；

基于所述摄像机输入信号和所述模态中的一或多者执行第二特征提取，以产生第二组一或多个所提取的特征；和

基于所述第二组所提取的特征和所述模态中的一或多者执行第二分类。

18.根据权利要求17所述的方法，其中所述第一组所提取的特征包括由以下各者组成的群组中的一或多者：暗通道特征、强度梯度特征以及模糊/锐度特征。

19.根据权利要求17所述的方法，其中所述第二组所提取的特征包括由以下各者组成的群组中的一或多者：暗通道特征、梯度量值特征、梯度相位特征以及梯度空间信息特征。

20.根据权利要求12所述的方法，其中通过检测器获得所述浑浊性置信度水平，其中所述检测器基于所述模态中的一或多者获得所述浑浊性置信度水平。

21.根据权利要求12所述的方法，其中通过多个检测器获得所述浑浊性置信度水平，其中每一检测器基于所述模态中的一或多者获得模态浑浊性置信度水平，且其中所述模态浑浊性置信度水平经组合以形成所述浑浊性置信度水平。

22.根据权利要求12所述的方法，其中所述模态提供图像模态信息和由以下各者组成的群组中的一或多者：位置模态信息、方向模态信息、一天中的时间模态信息、当地天气报告模态信息、远程装置图像模态信息、室内/室外指示符、用户超控指示符以及温度模态信息。

23.一种设备，其包括：

用于基于多个模态确定浑浊性置信度水平的装置；和

用于基于所述浑浊性置信度水平确定是否执行动作的装置。

24.根据权利要求23所述的设备，其进一步包括用于执行所述动作的装置，其中所述用于执行所述动作的装置包括基于所述浑浊性置信度水平执行浑浊性降低。

25.根据权利要求23所述的设备，其中所述用于执行所述动作的装置包括用于执行至少一个非图像处理动作的装置。

26.根据权利要求23所述的设备，其中用于所述确定所述浑浊性置信度水平的装置是基于两阶段分类。

27.一种计算机程序产品，其包括其上具有指令的非暂时性计算机可读媒体，所述指令包括：

用于致使电子装置基于多个模态确定浑浊性置信度水平的代码；和

用于致使所述电子装置基于所述浑浊性置信度水平确定是否执行动作的代码。

28.根据权利要求27所述的计算机程序产品，其进一步包括用于致使所述电子装置执行所述动作的代码，包括用于致使所述电子装置基于所述浑浊性置信度水平执行浑浊性降低的代码。

29.根据权利要求27所述的计算机程序产品，其中所述用于致使所述电子装置执行所述动作的代码包括用于致使所述电子装置执行至少一个非图像处理动作的代码。

30.根据权利要求27所述的计算机程序产品，其中所述用于致使所述电子装置确定所述浑浊性置信度水平的代码是基于两阶段分类。