CN112598586B - 一种雾天图像显示方法及终端 - Google Patents

Abstract

本申请涉及图像处理技术领域，提供一种雾天图像显示方法及终端，用以提高雾天图像的清晰度。本申请实施例的终端包括：显示器以及存储器，存储器被配置为存储计算机指令；所述处理器，被配置为根据所述计算机指令执行以下操作：对图像进行检测；若确定所述图像为雾天图像，则根据所述雾天图像对应的第一系数和第二系数，对所述雾天图像进行去雾处理，得到去雾后的图像，从而提高雾天图像的清晰度。本申请实施例的去雾计算开销较小，过程简单。

Description

一种雾天图像显示方法及终端

技术领域

本申请涉及图像处理技术领域，尤其涉及一种雾天图像显示方法及终端。

背景技术

目前，移动终端没有雾天智能检测功能，用户在使用移动终端拍照时，也不易想到打开去雾模式，而且雾天拍摄的人像模糊不清，且细节不明显，即使去雾后也会造成色彩暗淡(泛白)，需要对人像进行补光处理。大多数用户可能会进入第三方图库调整雾天图像中的人像来提高人像清晰度，操作较为繁琐。

发明内容

本申请提供了一种雾天图像显示方法及终端，用以提高雾天图像的清晰度。

第一方面，本申请提供一种显示雾天图像的终端，包括：

显示器，与处理器连接，被配置为显示图像；

存储器，与所述处理器连接，被配置为存储计算机指令；

所述处理器，被配置为根据所述计算机指令执行以下操作：

对图像进行检测；

若确定所述图像为雾天图像，则根据所述雾天图像对应的第一系数和第二系数，对所述雾天图像进行去雾处理，得到去雾后的图像，其中，所述第一系数是根据所述雾天图像中每一像素点的各颜色通道的分量值中的最小值滤波后的均值确定的；所述第二系数是根据所述雾天图像中每一像素点的各颜色通道的分量值中的最大值，以及每一像素点的各颜色通道的分量值中的最小值滤波后的最大值确定的。

上述终端，开启自动模式时，对图像进行智能检测，当检测到图像为雾天图像时，根据雾天图像对应的第一系数和第二系数，对雾天图像进行去雾处理，处理过程中每一像素点的各颜色分量的分量值计算开销较小，去雾过程简单，且有效提高了雾天图像的清晰度。

在一种可选的实施方式中，所述处理器通过以下方式确定所述第一系数和所述第二系数：

对所述雾天图像中每一像素点的各颜色通道的分量值中的最小值进行滤波，并确定滤波后所有像素点的各颜色通道的分量值中的最小值的均值；

从所述均值的ρ倍和第一预设值中，选取最小的一个作为第一系数，其中ρ＞0；

确定所述雾天图像中每一像素点的各颜色通道的分量值中的最大值的最大值，以及滤波后每一像素点的各颜色通道的分量值中的最小值的最大值的和；

将所述和乘以第二预设值，得到所述第二系数。

上述终端，根据所述雾天图像中每一像素点的各颜色通道的分量值中的最小值滤波后的均值确定第一系数，以及根据所述雾天图像中每一像素点的各颜色通道的分量值中的最大值，和每一像素点的各颜色通道的分量值中的最小值滤波后的最大值确定第二系数，相对于其他去雾方式参数的计算，过程较为简单。

在一种可选的实施方式中，所述处理器根据所述雾天图像对应的第一系数和第二系数，对所述雾天图像进行去雾处理，具体被配置为：

针对所述雾天图像中的任一像素点，根据所述像素点的各颜色通道的分量值中的最小值和所述第一系数得到第一调整值，以及根据所述像素点的各颜色通道的分量值中的最小值、所述第一系数以及所述第二系数得到第二调整值；

针对所述像素点的每一颜色通道，根据所述像素点的颜色通道的分量值、第一调整值以及第二调整值，确定所述像素点调整后的颜色通道的分量值；或者

针对所述雾天图像中的任一像素点，根据滤波后的所述像素点的各颜色通道的分量值中的最小值、所述第一系数以及所述像素点的各颜色通道的分量值中的最小值，确定第三调整值，并根据所述第三调整值和所述第二系数确定第四调整值；

针对所述像素点的每一颜色通道，根据所述像素点的颜色通道的分量值、第三调整值以及第四调整值，确定所述像素点调整后的颜色通道的分量值。

上述终端，通过所述第一系数、第二系数和所述像素点的各颜色通道的分量值确定调整值，根据调整值调整所述像素点的颜色通道的分量值，从而提高雾天图像的清晰度。

在一种可选的实施方式中，所述处理器得到去雾后的图像后，还被配置为：

识别去雾后的图像中的人像区域；

调高所述人像区域内每一像素点的亮度值，并用调整后的人像区域替换去雾后的图像中的人像区域。

上述终端，对去雾后的图像中人像区域进行亮度调整，使得调整后的人像区域色彩艳丽，细节更加明显。

在一种可选的实施方式中，所述处理器调高所述人像区域内每一像素点的亮度值，具体被配置为：

确定所述人像区域内所有像素点的亮度值的均值；

针对所述人像区域内的任一像素点，根据所述像素点的亮度值、所述亮度值的均值以及第三预设值，确定第五调整值，并根据所述像素点的亮度值和所述第五调整值，确定所述像素点调整后的亮度值；或者

针对所述人像区域内的任一像素点，根据所述像素点的最大亮度值确定第六调整值，根据所述像素点的亮度值和所述第六调整值，确定所述像素点调整后的亮度值。

上述终端，通过第五调整值调整了图像亮度/对比度，在保证提升亮度的同时，提高了对比度，使得去雾后的图像色彩艳丽。为了不引起噪声，根据调整值对图像进行了滤色处理，进一步提升图像亮度，从而将亮度提升的幅度增大。

第二方面，本申请实施例提供一种显示雾天图像的方法，包括：

对图像进行检测；

若确定所述图像为雾天图像，则根据所述雾天图像对应的第一系数和第二系数，对所述雾天图像进行去雾处理，得到去雾后的图像，其中，所述第一系数是根据所述雾天图像中每一像素点的各颜色通道的分量值中的最小值滤波后的均值确定的；所述第二系数是根据所述雾天图像中每一像素点的各颜色通道的分量值中的最大值，以及每一像素点的各颜色通道的分量值中的最小值滤波后的最大值确定的。

在一种可选的实施方式中，通过以下方式确定所述第一系数和所述第二系数：

对所述雾天图像中每一像素点的各颜色通道的分量值中的最小值进行滤波，并确定滤波后所有像素点的各颜色通道的分量值中的最小值的均值；

从所述均值的ρ倍和第一预设值中，选取最小的一个作为第一系数，其中ρ＞0；

确定所述雾天图像中每一像素点的各颜色通道的分量值中的最大值的最大值，以及滤波后每一像素点的各颜色通道的分量值中的最小值的最大值的和；

将所述和乘以第二预设值，得到所述第二系数。

在一种可选的实施方式中，所述根据所述雾天图像对应的第一系数和第二系数，对所述雾天图像进行去雾处理，包括：

针对所述雾天图像中的任一像素点，根据所述像素点的各颜色通道的分量值中的最小值和所述第一系数得到第一调整值，以及根据所述像素点的各颜色通道的分量值中的最小值、所述第一系数以及所述第二系数得到第二调整值；

针对所述像素点的每一颜色通道，根据所述像素点的颜色通道的分量值、第一调整值以及第二调整值，确定所述像素点调整后的颜色通道的分量值；或者

针对所述雾天图像中的任一像素点，根据滤波后的所述像素点的各颜色通道的分量值中的最小值、所述第一系数以及所述像素点的各颜色通道的分量值中的最小值，确定第三调整值，并根据所述第三调整值和所述第二系数确定第四调整值；

针对所述像素点的每一颜色通道，根据所述像素点的颜色通道的分量值、第三调整值以及第四调整值，确定所述像素点调整后的颜色通道的分量值。

在一种可选的实施方式中，得到去雾后的图像后，还包括：

识别去雾后的图像中的人像区域；

调高所述人像区域内每一像素点的亮度值，并用调整后的人像区域替换去雾后的图像中的人像区域。

在一种可选的实施方式中，所述调高所述人像区域内每一像素点的亮度值，包括：

确定所述人像区域内所有像素点的亮度值的均值；

针对所述人像区域内的任一像素点，根据所述像素点的亮度值、所述亮度值的均值以及第三预设值，确定第五调整值，并根据所述像素点的亮度值和所述第五调整值，确定所述像素点调整后的亮度值；或者

针对所述人像区域内的任一像素点，根据所述像素点的最大亮度值确定第六调整值，根据所述像素点的亮度值和所述第六调整值，确定所述像素点调整后的亮度值。

第三方面，本申请提供一种显示雾天图像的终端，包括：

检测模块，对图像进行检测；

去雾处理模块，若确定所述图像为雾天图像，则根据所述雾天图像对应的第一系数和第二系数，对所述雾天图像进行去雾处理，得到去雾后的图像，其中，所述第一系数是根据所述雾天图像中每一像素点的各颜色通道的分量值中的最小值滤波后的均值确定的；所述第二系数是根据所述雾天图像中每一像素点的各颜色通道的分量值中的最大值，以及每一像素点的各颜色通道的分量值中的最小值滤波后的最大值确定的。

在一种可选的实施方式中，所述去雾处理模块具体用于：

对所述雾天图像中每一像素点的各颜色通道的分量值中的最小值进行滤波，并确定滤波后所有像素点的各颜色通道的分量值中的最小值的均值；

从所述均值的ρ倍和第一预设值中，选取最小的一个作为第一系数，其中ρ＞0；

确定所述雾天图像中每一像素点的各颜色通道的分量值中的最大值的最大值，以及滤波后每一像素点的各颜色通道的分量值中的最小值的最大值的和；

将所述和乘以第二预设值，得到所述第二系数。

在一种可选的实施方式中，所述去雾处理模块具体用于：

针对所述雾天图像中的任一像素点，根据所述像素点的各颜色通道的分量值中的最小值和所述第一系数得到第一调整值，以及根据所述像素点的各颜色通道的分量值中的最小值、所述第一系数以及所述第二系数得到第二调整值；

针对所述像素点的每一颜色通道，根据所述像素点的颜色通道的分量值、第一调整值以及第二调整值，确定所述像素点调整后的颜色通道的分量值；或者

针对所述雾天图像中的任一像素点，根据滤波后的所述像素点的各颜色通道的分量值中的最小值、所述第一系数以及所述像素点的各颜色通道的分量值中的最小值，确定第三调整值，并根据所述第三调整值和所述第二系数确定第四调整值；

针对所述像素点的每一颜色通道，根据所述像素点的颜色通道的分量值、第三调整值以及第四调整值，确定所述像素点调整后的颜色通道的分量值。

在一种可选的实施方式中，所述终端还包括亮度值调整模块，用于：

识别去雾后的图像中的人像区域；

调高所述人像区域内每一像素点的亮度值，并用调整后的人像区域替换去雾后的图像中的人像区域。

在一种可选的实施方式中，所述亮度值调整模块具体用于：

确定所述人像区域内所有像素点的亮度值的均值；

针对所述人像区域内的任一像素点，根据所述像素点的亮度值、所述亮度值的均值以及第三预设值，确定第五调整值，并根据所述像素点的亮度值和所述第五调整值，确定所述像素点调整后的亮度值；或者

针对所述人像区域内的任一像素点，根据所述像素点的最大亮度值确定第六调整值，根据所述像素点的亮度值和所述第六调整值，确定所述像素点调整后的亮度值。

第四方面，本申请还提供一种非易失性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第二方面所述方法的步骤。

另外，第二方面至第四方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果，此处不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种终端的硬件配置框图；

图2为本申请实施例提供的一种终端的软件结构框图；

图3示例性示出了本申请实施例提供的终端100的用户界面；

图4示例性示出了本申请实施例提供的终端显示雾天图像的方法流程图；

图5示例性示出了本申请实施例提供的终端对去雾后的图像进行补光显示的方法流程图；

图6示例性示出了本申请实施例提供的完整终端显示去雾图像的方法流程图；

图7示例性示出了本申请实施例提供的终端显示去雾图像的效果图；

图8示例性示出了本申请实施例提供的终端的功能结构框图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

下面对文中出现的一些词语进行解释：

1、本发明实施例中术语″和/或″，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符″/″一般表示前后关联对象是一种″或″的关系。

2、本发明实施例中术语″包括″和″具有″以及它们的变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

3、本发明实施例中属于″终端″为可以安装各类应用程序，并且具有显示功能的显示的设备，该终端设备可以是移动的，也可以是固定的。例如，手机、平板电脑、各类可穿戴设备、车载设备、个人数字助理(personal digital assistant，PDA)、销售终端(point ofsales，POS)或其它能够实现上述功能的终端设备等。

4、本发明实施例中的″雾天图像″是根据图像的对比度、清晰度、信息量的乘积与阈值的大小确定的，包括浓雾图像和薄雾图像。雾的浓度越大，对比度越低、清晰度越小、信息量越小。当对比度、清晰度、信息量的乘积小于某一阈值T1时，为浓雾，浓雾环境下拍摄的图像为浓雾图像；当对比度、清晰度、信息量的乘积小于某一阈值T2，大于某一阈值T1时，为薄雾，薄雾环境下拍摄的图像为薄雾图像，其中T1＜T2；当对比度、清晰度、信息量的乘积大于某一阈值T1时，为无雾，无雾环境下拍摄的图像为无雾图像。

对比度的评价指标为整幅图像的均方差，清晰度的评价指标是整幅图像的平均梯度，信息量的评价指标是整幅图像的信息熵。

图1示出了终端100的结构示意图。

下面以终端100为例对实施例进行具体说明。应该理解的是，图1所示终端100仅是一个范例，并且终端100可以具有比图1中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

图1中示例性示出了根据示例性实施例中终端100的硬件配置框图。如图1所示，终端100包括：射频(radio frequency，RF)电路110、存储器120、显示单元130、摄像头140、传感器150、音频电路160、无线保真(Wireless Fidelity，Wi-Fi)模块170、处理器180、蓝牙模块181、以及电源190等部件。

RF电路110可用于在收发信息或通话过程中信号的接收和发送，可以接收基站的下行数据后交给处理器180处理；可以将上行数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等器件。

存储器120可用于存储软件程序及数据。处理器180通过运行存储在存储器120的软件程序或数据，从而执行终端100的各种功能以及数据处理。存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器120存储有使得终端100能运行的操作系统。本申请中存储器120可以存储操作系统及各种应用程序，还可以存储执行本申请实施例所述方法的代码。

显示单元130可用于接收输入的数字或字符信息，产生与终端100的用户设置以及功能控制有关的信号输入，具体地，显示单元130可以包括设置在终端100正面的触摸屏131，可收集用户在其上或附近的触摸操作，例如点击按钮，拖动滚动框等。

显示单元130还可用于显示由用户输入的信息或提供给用户的信息以及终端100的各种菜单的图形用户界面(graphical user interface，GUI)。具体地，显示单元130可以包括设置在终端100正面的显示屏132。其中，显示屏132可以采用液晶显示器、发光二极管等形式来配置。显示单元130可以用于显示本申请中所述的各种图形用户界面。

其中，触摸屏131可以覆盖在显示屏132之上，也可以将触摸屏131与显示屏132集成而实现终端100的输入和输出功能，集成后可以简称触摸显示屏。本申请中显示单元130可以显示应用程序以及对应的操作步骤。

摄像头140可用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器180转换成数字图像信号。

终端100还可以包括至少一种传感器150，比如加速度传感器151、距离传感器152、指纹传感器153、温度传感器154。终端100还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。

音频电路160、扬声器161、麦克风162可提供用户与终端100之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出。终端100还可配置音量按钮，用于调节声音信号的音量。另一方面，麦克风162将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出至RF电路110以发送给比如另一终端，或者将音频数据输出至存储器120以便进一步处理。本申请中麦克风162可以获取用户的语音。

Wi-Fi属于短距离无线传输技术，终端100可以通过Wi-Fi模块170帮助用户收发电子邮件、浏览网页和访问流媒体等，它为用户提供了无线的宽带互联网访问。

处理器180是终端100的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器120内的软件程序，以及调用存储在存储器120内的数据，执行终端100的各种功能和处理数据。在一些实施例中，处理器180可包括一个或多个处理单元；处理器180还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器180中。本申请中处理器180可以运行操作系统、应用程序、用户界面显示及触控响应，以及本申请实施例所述的处理方法。另外，处理器180与显示单元130耦接。

蓝牙模块181，用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如，终端100可以通过蓝牙模块181与同样具备蓝牙模块的可穿戴电子设备(例如智能手表)建立蓝牙连接，从而进行数据交互。

终端100还包括给各个部件供电的电源190(比如电池)。电源可以通过电源管理系统与处理器180逻辑相连，从而通过电源管理系统实现管理充电、放电以及功耗等功能。终端100还可配置有电源按钮，用于终端的开机和关机，以及锁屏等功能。

图2是本发明实施例的终端100的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。

应用程序层可以包括一系列应用程序包。

如图2所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供终端100的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，终端振动，指示灯闪烁等。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如：MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

下面结合图1和图2所示的终端100的软件和硬件对雾天图像进行去雾处理。

由于在雾天拍摄的图像往往模糊不清，且细节不明显，色彩保真度下降，因此需要对雾天图像进行去雾处理。传统的去雾算法主要分为两类，基于大气光散射模型图像复原的去雾算法与基于图像增强理论的去雾算法，其中最为广泛的图像去雾算法是暗通道先验去雾算法。暗通道先验去雾算法在计算暗通道、大气光参数、精细化暗通道透射率等操作时计算开销较大，而且模型较复杂。而且，目前的移动终端没有雾天智能检测功能，无法自动对雾天图像进行去雾处理，用户体验较差。

为了解决上述问题，本申请实施例提供一种雾天图像显示方法及终端。该终端开启自动模式，对图像进行智能检测，当检测到图像为雾天图像时，根据雾天图像对应的第一系数和第二系数，对雾天图像进行去雾处理，其中，第一系数是根据雾天图像中每一像素点的各颜色分量中的最小值滤波后的均值确定的，第二系数是根据雾天图像中每一像素点的各颜色分量中的最大值，以及每一像素点的各颜色分量中的最小值滤波后的最大值确定的，计算开销较小，实现过程简单；并且，该终端对去雾后的图像中人像区域进行亮度调整，使得调整后的人像区域色彩艳丽，细节更加明显。

图3示例性示出了本申请实施例提供的终端100的用户界面。如图3所示，终端100提供去雾(defog)功能，去雾功能有三种设置模式，分别为自动、打开、关闭模式。开启自动模式，终端可根据预览图像，利用雾天检测模型实时检测雾天状态，雾天状态包括无雾、薄雾、浓雾三种状态，无雾状态时，对预览图像和拍摄图像不进行去雾处理，薄雾和浓雾状态时，对预览图像和拍摄图像进行去雾处理，用户通过用户界面可实时查看去雾效果，雾天检测模型检测得到的状态可在用户界面显示，比如图3中显示的是薄雾状态。开启打开模式，终端不进行雾天状态检测，直接对预览图像和拍摄图像进行去雾处理。开启关闭模式，终端对预览图像和拍摄图像均不进行去雾处理。用户可以通过触控显示屏上的″自动″、″打开″、″关闭″功能键开启相应的模式，选择开启的模式可用实线框选中或者其他方式(比如加粗或改变底纹颜色)选中。

本申请实施例提供的终端100，用户可以通过选择″自动″、″打开″设置模式一键直达去雾效果，省略在第三方图库(如图3中用女孩头像表示)中的去雾和人像调整步骤，简化去雾操作，提升用户体验。

需要说明的是本申请实施例中的终端100可以为手机、平板电脑、可穿戴设备、笔记本电脑以及电视等。

图4示例性示出了本申请实施例提供的终端显示雾天图像的方法流程图。如图4所示，主要包括以下步骤：

S401：对图像进行检测。

该步骤中，图像可以是用户点击终端100的相机图标在用户界面显示的预览图像，也可以是终端100实时拍摄的图像，还可以是本地图库中的图像。在一种可选的实施方式中，可使用训练好的雾天检测模型对图像进行检测，确定图像的状态，包括无雾状态、薄雾状态、浓雾状态。其中，雾天检测模型包括输入层、至少一个卷积层、至少一个全连接层。

具体实施时，基于已训练好的雾天检测模型的输入层对图像进行预处理，基于已训练的雾天检测模型的至少一个卷积层，从预处理后的图像中提取浅层图像特征和深层图像特征，基于已训练的雾天检测模型的至少一个全连接层，对提取的浅层图像特征和深层图像特征进行融合处理，得到用于表示图像分别属于各个预设状态(包括无雾状态、薄雾状态、浓雾状态)的概率的分类结果，并输出归一化处理后的分类结果，根据归一化处理后的分类结果，将概率最大值对应的预设状态确定为图像对应的状态。在不影响本申请实施例实质内容的基础上，对雾天检测模型的算法不做限制性要求，比如，雾天检测模型可为卷积神经网络(Convolutional Neural Networks，CNN)、BP神经网络、递归神经网络(Recurrentneural network，RNN)。

其中，雾天检测模型可通过下列方式训练得到：

雾天检测模型的输入层从网络图库或人工实时拍摄的图像库中获取多个训练样本，包括不同的场景、景深、能见度、光照、视角的图像，为扩充、完善数据集，对数据集中的图像进行裁剪、去噪声、颜色变化、以及旋转平移等处理，得到更多的训练样本；对获取的训练样本进行标准化处理，以提高雾天检测模型的收敛速度、减少训练的时长；并且可预先为获取到的多个训练样本标注状态标签，根据被标注样本中每个状态标签对应的样本比例调整训练样本数量，从而保证样本均衡，有利于雾天检测模型更好的学习；

将多个训练样本和每个训练样本对应的预先标注的状态标签输入初始的雾天检测模型；通过初始的雾天检测模型对训练样本的图像特征进行融合处理，得到每个训练样本对应的用于表示训练样本分别属于各个预设状态的概率的预测分类结果；

根据每个训练样本对应的预测分类结果以及预先标注的状态标签，确定分类损失值；具体的，针对每个训练样本，将预测分类结果中最大概率对应的状态标签确定为该训练样本的状态，根据确定的状态与预先标注的该训练样本的状态标签确定分类损失值；

根据分类损失值对初始的雾天检测模型的模型参数进行调整，对于检测错误的图像，重新归类、训练，直到确定出的分类损失值在预设范围内，得到训练好的雾天检测模型。

需要说明的是，将上述雾天检测模型移植到终端100，在首次使用时进行一次初始化操作，后续可直接利用该模型进行多次检测，且当相机关闭时，释放内存。为了提高检测速度，可每隔几帧检测一次，充分利用图形处理器(Graphic Processing Unit，GPU)、中央处理器(Central Processing Unit，CPU)的运算能力。

S402：确定图像是否为雾天图像，若是，执行S403，否则直接显示图像。

该步骤中，可根据检测到的图像状态确定图像是否为雾天图像，具体的，如果检测到的图像状态为薄雾状态或者浓雾状态，则确定为雾天图像，如果检测到的图像状态为无雾状态，则确定不是雾天图像。

S403：根据雾天图像对应的第一系数和第二系数，对雾天图像进行去雾处理，得到去雾后的图像。

该步骤中，第一系数是根据雾天图像中每一像素点的各颜色通道的分量值中的最小值滤波后的均值确定的；第二系数是根据雾天图像中每一像素点的各颜色通道的分量值中的最大值，以及每一像素点的各颜色通道的分量值中的最小值滤波后的最大值确定的。其中，第一系数α和第二系数β的具体确定方式如下：

针对雾天图像中的每一像素点，确定该像素点的各个颜色通道(包括红R通道、绿G通道、蓝B通道)的分量值中的最小值M(x)和最大值N(x)，公式如下：

M(x)＝min_{c∈{R、G、B}}(I_c(x)) 公式1

N(x)＝max_{c∈{R、G、B}}(I_c(x)) 公式2

其中，c表示R、G、B3个颜色通道，I_c(x)表示c颜色通道的分量值；

对雾天图像中每一像素点的各颜色通道的分量值中的最小值M(x)进行均值滤波，得到滤波后的值M_b(x)＝BoxFilter(M(x))；

确定滤波后所有像素点的各颜色通道的分量值中的最小值的均值

从均值

的ρ倍数和第一预设值中，选取最小的一个作为第一系数

其中，ρ＞0，ρ越大，去雾程度越大，ρ越小，去雾程度越小，用户可手动调节ρ的大小，p为第一预设值，，优选的p为0.9；

确定雾天图像中每一像素点的各颜色通道的分量值中的最大值N(x)的最大值N^max(x)，以及滤波后每一像素点的各颜色通道的分量值中的最小值M_b(x)的最大值

并计算N^max(x)和

的和；

将N^max(x)和

的和乘以第二预设值q，得到第二系数

其中，q大于1，优选的q＝2。

需要说明的是，本申请实施例对第一系数和第二系数的确定顺序不做限制性要求，还可先确定第二系数，在确定第一系数，或者同时确定。

确定第一系数和第二系数后，根据第一系数和第二系数对雾天图像进行去雾处理，具体包括以下两种方案：

方案一

针对雾天图像中的任一像素点，根据滤波后该像素点的各颜色通道的分量值中的最小值M_b(x)、第一系数α以及该像素点的各颜色通道的分量值中的最小值M(x)，确定第三调整值J(x)＝min(αM_b(x)，M(x))，即第三调整值为滤波后该像素点的各颜色通道的分量值中的最小值与第一系数乘积，和该像素点的各颜色通道的分量值中的最小值中的最小值；

根据第三调整值和第二系数确定第四调整值β·J(x)；

针对该像素点的每一颜色通道，根据该像素点的颜色通道的分量值I_c(x)、第三调整值J(x)以及第四调整值β·J(x)，确定该像素点调整后的颜色通道的分量值I′_c(x)：

对每一像素点进行上述处理后，得到去雾后的图像。

为了减少计算量，提高去雾处理的速度，可采用方案二的方式进行去雾处理。

方案二

针对所述雾天图像中的任一像素点，根据该像素点的各颜色通道的分量值中的最小值和第一系数得到第一调整值α·M(x)，以及根据像素点的各颜色通道的分量值中的最小值、第一系数以及第二系数得到第二调整值α·β·M(x)；

针对该像素点的每一颜色通道，根据该像素点的颜色通道的分量值I_c(x)、第一调整值αM(x)以及第二调整值α·β·M(x)，确定该像素点调整后的颜色通道的分量值I′_c(x)：

对每一像素点进行上述处理后，得到去雾后的图像。

需要说明的是，方案一和方案二的去雾效果相同。

在本申请的一些实施例中，由于雾天图像中的人像特别模糊，去雾后，细节虽然清晰，但整体亮度偏暗，可对去雾后的人像区域进行补光处理，提高去雾后图像中人像区域的色彩亮度。

图5示例性示出了本申请实施例提供的终端对去雾后的图像进行补光显示的方法流程图，该流程主要包括以下几步：

S501：识别去雾后的图像中的人像区域。

该步骤中，可使用人像分割模型识别人体轮廓，然后使用头发分割模型识别出人体头发区域。具体的，首先使用Deeplab-V3深度学习网络、Tensorflow-1.12.0训练人像分割模型，采用移动计算引擎(Mobile AI Compute Engine，MACE)推理框架分割出人像区域；然后使用MobileNet和uNet网络模型分割出头发区域；将人像区域和头发区域进行或操作，得到最终的人像区域。

S502～S503：调高人像区域内每一像素点的亮度值，并用调整后的人像区域替换去雾后的图像中的人像区域，显示去雾后的图像。

在一些实施例中，首先确定人像区域内所有像素点的亮度值H(x)的均值H^mean(x)，然后针对人像区域内的任一像素点，根据该像素点的亮度值H(x)、亮度值的均值H^mean(x)以及第三预设值r，确定第五调整值L(x)＝H(x)+r(H(x)-H^mean(x))。并根据该像素点的亮度值H(x)和第五调整值L(x)，确定像素点调整后的亮度值H‘(x)：

其中，单纯调节亮度或gamma变换调整后的图像泛白，使用L(x)调整图像亮度/对比度，在保证提升亮度的同时，提高了对比度，使得去雾后的图像色彩艳丽。为了不引起噪声，参数r通常较小。得到L(x)后使用公式5进行滤色处理，进一步提升图像亮度，从而将亮度提升的幅度增大。m为像素点的最大亮度值255。

为了提高计算速度，在另一些实施例中，针对人像区域内的任一像素点，根据该像素点的最大亮度值确定第六调整值255×r，根据该像素点的亮度值H(x)和第六调整值255×r，确定该像素点调整后的亮度值：

H‘(x)＝H(x)+255×r 公式6

本申请的上述实施例中，对去雾后图像中的人像区域内的像素点的亮度值进行调整，提高人像区域的亮度，时调整后的人像区域色彩艳丽。

需要说明的是，本申请实施例他提供的亮度调整方式不仅仅适用于人像区域的亮度调整，还适用于其他对象亮度的调整，比如汽车、数目、建筑物等。

基于图4和图5所示的流程，图6示例性示出了本申请实施例提供的完整终端显示去雾图像的方法流程图，该流程主要包括以下几步：

S601：开启″打开″模式，对图像进行检测。

S602：确定图像是否为雾天图像，若是，执行S603，否则直接显示图像。

S603：根据雾天图像对应的第一系数和第二系数，对雾天图像进行去雾处理，得到去雾后的图像。

S604：识别去雾后的图像中的人体轮廓。

S605：识别去雾后的图像中的头发区域。

S606：对人体轮廓和头发区域进行或操作，得到去雾后的图像中的人像区域。

S607：调高人像区域内每一像素点的亮度值。

S608：用调整后的人像区域替换去雾后的图像中的人像区域，并显示去雾后的图像。

图7示例性示出了本申请实施例提供的终端显示去雾图像的效果图，如图7所示，左边的图为去雾前的图，图像较为模糊，不清晰；中间的图为去雾后的图像，相对于去雾前的图像更加清晰，细节更加明显，右边的图为去雾后对图像中的人像区域进行了亮度调整后的图像，调整后人像的色彩更加艳丽。

基于相同的发明构思，本发明实施例中还提供了一种显示雾天图像的终端，由于该设备即是本发明实施例中的方法中的设备，并且该设备解决问题的原理与该方法相似，因此该设备的实施可以参见方法的实施，重复之处不再赘述。

如图8所示，本发明实施例还提供一种显示雾天图像的终端100，该终端包括：检测模块801和去雾处理模块802：

检测模块801，用于对图像进行检测；

去雾处理模块802，用于若确定图像为雾天图像，则根据雾天图像对应的第一系数和第二系数，对雾天图像进行去雾处理，得到去雾后的图像，其中，第一系数是根据雾天图像中每一像素点的各颜色通道的分量值中的最小值滤波后的均值确定的；第二系数是根据雾天图像中每一像素点的各颜色通道的分量值中的最大值，以及每一像素点的各颜色通道的分量值中的最小值滤波后的最大值确定的。

在一种可选的实施方式中，去雾处理模块802具体用于：

对雾天图像中每一像素点的各颜色通道的分量值中的最小值进行滤波，并确定滤波后所有像素点的各颜色通道的分量值中的最小值的均值；

从均值的ρ倍和第一预设值中，选取最小的一个作为第一系数，其中ρ＞0；

确定雾天图像中每一像素点的各颜色通道的分量值中的最大值的最大值，以及滤波后每一像素点的各颜色通道的分量值中的最小值的最大值的和；

将和乘以第二预设值，得到第二系数。

在一种可选的实施方式中，去雾处理模块802具体用于：

针对雾天图像中的任一像素点，根据像素点的各颜色通道的分量值中的最小值和第一系数得到第一调整值，以及根据像素点的各颜色通道的分量值中的最小值、第一系数以及第二系数得到第二调整值；

针对像素点的每一颜色通道，根据像素点的颜色通道的分量值、第一调整值以及第二调整值，确定像素点调整后的颜色通道的分量值；或者

针对雾天图像中的任一像素点，根据滤波后的像素点的各颜色通道的分量值中的最小值、第一系数以及像素点的各颜色通道的分量值中的最小值，确定第三调整值，并根据第三调整值和第二系数确定第四调整值；

针对像素点的每一颜色通道，根据像素点的颜色通道的分量值、第三调整值以及第四调整值，确定像素点调整后的颜色通道的分量值。

在一种可选的实施方式中，终端还包括人像调整模块803，用于：

识别去雾后的图像中的人像区域；

调高人像区域内每一像素点的亮度值，并用调整后的人像区域替换去雾后的图像中的人像区域。

在一种可选的实施方式中，人像调整模块803具体用于：

确定人像区域内所有像素点的亮度值的均值；

针对人像区域内的任一像素点，根据像素点的亮度值、亮度值的均值以及第三预设值，确定第五调整值，并根据像素点的亮度值和第五调整值，确定像素点调整后的亮度值；或者

针对人像区域内的任一像素点，根据像素点的最大亮度值确定第六调整值，根据像素点的亮度值和第六调整值，确定像素点调整后的亮度值。

本发明实施例还提供一种计算机可读非易失性存储介质，包括程序代码，当所述程序代码在计算终端上运行时，所述程序代码用于使所述计算终端执行上述本发明实施例对象行为习惯预测的方法的步骤。

以上参照示出根据本申请实施例的方法、装置(系统)和/或计算机程序产品的框图和/或流程图描述本申请。应理解，可以通过计算机程序指令来实现框图和/或流程图示图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器和/或其它可编程数据处理装置，以产生机器，使得经由计算机处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。

相应地，还可以用硬件和/或软件(包括固件、驻留软件、微码等)来实施本申请。更进一步地，本申请可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式，其具有在介质中实现的计算机可使用或计算机可读程序代码，以由指令执行系统来使用或结合指令执行系统而使用。在本申请上下文中，计算机可使用或计算机可读介质可以是任意介质，其可以包含、存储、通信、传输、或传送程序，以由指令执行系统、装置或设备使用，或结合指令执行系统、装置或设备使用。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种显示雾天图像的终端，其特征在于，包括：

显示器，与处理器连接，被配置为显示图像；

存储器，与所述处理器连接，被配置为存储计算机指令；

所述处理器，被配置为根据所述计算机指令执行以下操作：

对图像进行检测；

若确定所述图像为雾天图像，则根据所述雾天图像对应的第一系数和第二系数，对所述雾天图像进行去雾处理，得到去雾后的图像，其中，所述第一系数是根据所述雾天图像中每一像素点的各颜色通道的分量值中的最小值滤波后的均值确定的；所述第二系数是根据所述雾天图像中每一像素点的各颜色通道的分量值中的最大值，以及每一像素点的各颜色通道的分量值中的最小值滤波后的最大值确定的；

所述处理器根据所述雾天图像对应的第一系数和第二系数，对所述雾天图像进行去雾处理，具体被配置为：

针对所述雾天图像中的任一像素点，根据所述像素点的各颜色通道的分量值中的最小值和所述第一系数得到第一调整值，以及根据所述像素点的各颜色通道的分量值中的最小值、所述第一系数以及所述第二系数得到第二调整值；

针对所述像素点的每一颜色通道，根据所述像素点的颜色通道的分量值、第一调整值以及第二调整值，确定所述像素点调整后的颜色通道的分量值；或者

针对所述雾天图像中的任一像素点，根据滤波后的所述像素点的各颜色通道的分量值中的最小值、所述第一系数以及所述像素点的各颜色通道的分量值中的最小值，确定第三调整值，并根据所述第三调整值和所述第二系数确定第四调整值；

针对所述像素点的每一颜色通道，根据所述像素点的颜色通道的分量值、第三调整值以及第四调整值，确定所述像素点调整后的颜色通道的分量值。

2.如权利要求1所述的终端，其特征在于，所述处理器通过以下方式确定所述第一系数和所述第二系数：

对所述雾天图像中每一像素点的各颜色通道的分量值中的最小值进行滤波，并确定滤波后所有像素点的各颜色通道的分量值中的最小值的均值；

从所述均值的ρ倍和第一预设值中，选取最小的一个作为第一系数，其中ρ＞0；

确定所述雾天图像中每一像素点的各颜色通道的分量值中的最大值的最大值，以及滤波后每一像素点的各颜色通道的分量值中的最小值的最大值的和；

将所述和乘以第二预设值，得到所述第二系数。

3.如权利要求1或2所述的终端，其特征在于，所述处理器得到去雾后的图像后，还被配置为：

识别去雾后的图像中的人像区域；

调高所述人像区域内每一像素点的亮度值，并用调整后的人像区域替换去雾后的图像中的人像区域。

4.如权利要求3所述的终端，其特征在于，所述处理器调高所述人像区域内每一像素点的亮度值，具体被配置为：

确定所述人像区域内所有像素点的亮度值的均值；

针对所述人像区域内的任一像素点，根据所述像素点的亮度值、所述亮度值的均值以及第三预设值，确定第五调整值，并根据所述像素点的亮度值和所述第五调整值，确定所述像素点调整后的亮度值；或者

针对所述人像区域内的任一像素点，根据所述像素点的最大亮度值确定第六调整值，根据所述像素点的亮度值和所述第六调整值，确定所述像素点调整后的亮度值。

5.一种显示雾天图像的方法，其特征在于，包括：

对图像进行检测；

若确定所述图像为雾天图像，则根据所述雾天图像对应的第一系数和第二系数，对所述雾天图像进行去雾处理，得到去雾后的图像，其中，所述第一系数是根据所述雾天图像中每一像素点的各颜色通道的分量值中的最小值滤波后的均值确定的；所述第二系数是根据所述雾天图像中每一像素点的各颜色通道的分量值中的最大值，以及每一像素点的各颜色通道的分量值中的最小值滤波后的最大值确定的；

所述根据所述雾天图像对应的第一系数和第二系数，对所述雾天图像进行去雾处理，包括：

针对所述雾天图像中的任一像素点，根据所述像素点的各颜色通道的分量值中的最小值和所述第一系数得到第一调整值，以及根据所述像素点的各颜色通道的分量值中的最小值、所述第一系数以及所述第二系数得到第二调整值；

针对所述像素点的每一颜色通道，根据所述像素点的颜色通道的分量值、第一调整值以及第二调整值，确定所述像素点调整后的颜色通道的分量值；或者

针对所述雾天图像中的任一像素点，根据滤波后的所述像素点的各颜色通道的分量值中的最小值、所述第一系数以及所述像素点的各颜色通道的分量值中的最小值，确定第三调整值，并根据所述第三调整值和所述第二系数确定第四调整值；

针对所述像素点的每一颜色通道，根据所述像素点的颜色通道的分量值、第三调整值以及第四调整值，确定所述像素点调整后的颜色通道的分量值。

6.如权利要求5所述的方法，其特征在于，通过以下方式确定所述第一系数和所述第二系数：

对所述雾天图像中每一像素点的各颜色通道的分量值中的最小值进行滤波，并确定滤波后所有像素点的各颜色通道的分量值中的最小值的均值；

从所述均值的ρ倍和第一预设值中，选取最小的一个作为第一系数，其中ρ＞0；

确定所述雾天图像中每一像素点的各颜色通道的分量值中的最大值的最大值，以及滤波后每一像素点的各颜色通道的分量值中的最小值的最大值的和；

将所述和乘以第二预设值，得到所述第二系数。

7.如权利要求5或6所述的方法，其特征在于，得到去雾后的图像后，还包括：

识别去雾后的图像中的人像区域；

调高所述人像区域内每一像素点的亮度值，并用调整后的人像区域替换去雾后的图像中的人像区域。

8.如权利要求7所述的方法，其特征在于，所述调高所述人像区域内每一像素点的亮度值，包括：

确定所述人像区域内所有像素点的亮度值的均值；

针对所述人像区域内的任一像素点，根据所述像素点的亮度值、所述亮度值的均值以及第三预设值，确定第五调整值，并根据所述像素点的亮度值和所述第五调整值，确定所述像素点调整后的亮度值；或者

针对所述人像区域内的任一像素点，根据所述像素点的最大亮度值确定第六调整值，根据所述像素点的亮度值和所述第六调整值，确定所述像素点调整后的亮度值。

Images