CN115170443B - 一种图像处理方法、拍摄方法及电子设备 - Google Patents

Abstract

本申请提供一种图像处理方法、拍摄方法及电子设备，涉及图像处理技术领域。该方法可以利用参数矫正模型来更新大气光值和介质透射率，使更新后的大气光值和介质透射率更接近真实的大气光值和介质透射率，从而使还原后的无雾图像更真实准确。同时该方法不存在先验条件，应用场景广泛。该方法包括：获取第一图像；确定第一大气光值及第一介质透射率；将第一图像、第一大气光值及第一介质透射率输入参数矫正模型，得到第一矫正参数及第二矫正参数；根据第一大气光值及第一矫正参数确定第二大气光值；根据第一介质透射率及第二矫正参数确定第二介质透射率；基于第二大气光值及第二介质透射率对第一图像进行除雾处理，得到第二图像。

Description

一种图像处理方法、拍摄方法及电子设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、拍摄方法及电子设备。

背景技术

在自然界中，雾、霾、烟、雨等天气现象是常见的天气现象。这些天气现象会使得成像设备（例如手机）获取的图像出现模糊不清的情况，影响用户观感以及图像在各个领域的实用价值。

现有的除雾方法主要为通过暗通道先验的方法进行去雾。但由于暗通道先验需要满足暗通道假设，而在天气极端的场景下常常无法满足暗通道假设，导致计算误差较大，使得还原得到的无雾图像含有较多的伪纹理，无法让使用者满意。

可见，现有技术存在除雾效果不理想的问题。

发明内容

本申请实施例提供一种图像处理方法、拍摄方法及电子设备，用于解决除雾效果不理想的问题。

为达到上述目的，本申请的实施例采用如下技术方案：

第一方面，提供了一种图像处理方法，包括：获取第一图像；确定第一大气光值及第一介质透射率；将第一图像、第一大气光值及第一介质透射率输入参数矫正模型，得到第一矫正参数及第二矫正参数，参数矫正模型具备度量当前大气光值与实际大气光值的差值，以及当前介质透射率与实际介质透射率的差值的能力；根据第一大气光值及第一矫正参数确定第二大气光值；根据第一介质透射率及第二矫正参数确定第二介质透射率；基于第二大气光值及第二介质透射率对第一图像进行除雾处理，得到第二图像。

其中，通过参数矫正模型确定大气光值的更新值（即第一矫正参数）及介质透射率的更新值（即第二矫正参数），接着利用两个更新值更新相应的参数得到更新后的大气光值和更新后的介质透射率，使更新后的大气光值和更新后的介质透射率更接近真实的大气光值和介质透射率，从而得到真实的无雾图像。同时，这种方法无需满足任何先验假设，应用场景广泛，不存在在一些场景下还原的无雾图像不准确的问题。

在一种可能的实现方式中，参数矫正模型包括特征提取模块、特征分离模块、第一调制模块、第二调制模块、第一解码模块以及第二解码模块，将含雾图像、第一大气光值及第一介质透射率输入参数矫正模型，得到第一矫正参数及第二矫正参数，包括：将含雾图像输入特征提取模块，得到第一特征图像；将第一特征图像输入特征分离模块，得到第二特征图像、第三特征图像、第四特征图像及第五特征图像；将第二特征图像、第三特征图像及第一大气光值输入第一调制模块，得到第六特征图像；将第四特征图像、第五特征图像及第一介质透射率输入第二调制模块，得到第七特征图像；将第六特征图像输入第一解码模块得到第一矫正参数；将第七特征图像输入第二解码模块得到第二矫正参数。

在一种可能的实现方式中，方法还包括：获取拍摄地点以及第一图像的深度图像，深度图像包括第一图像上每个像素的深度；确定第一大气光值及第一介质透射率，包括：向服务器发送查询请求，查询请求包括拍摄地点；接收服务器发送的气象参数，气象参数包括第一大气光值以及散射系数；根据散射系数及第一图像的深度图像得到第一介质透射率。

通过参考拍摄地点来获取大气光值及介质透射率，可使获取的大气光值及介质透射率比较接近实际的大气光值及介质透射率，进而在基于更新值得到的大气光值及介质透射率也更加准确，从而得到更加真实的无雾图像。

在一种可能的实现方式中，方法还包括：获取含雾图像；获取多组训练气象参数，每组训练气象参数包括大气光值及介质透射率；根据含雾图像及多组训练气象参数对初始参数矫正模型进行迭代训练；在迭代过程中根据损失函数更新模型参数；当满足模型收敛条件时，停止迭代训练，得到参数矫正模型。

由于在训练参数校正模型的过程中，未进行任何先验假设，使得最后得到的参数校正模型也不存在场景上的限制，即在任何场景下该参数校正模型都可输出较为准确的更新值，从而使最终得到的无雾图像接近真实情况。

在一种可能的实现方式中，获取多个含雾图像，包括：获取无雾图像，利用不同的初始气象参数及大气散射模型为每一无雾图像合成不同浓度的含雾图像，初始气象参数包括大气光值及介质透射率。

在一种可能的实现方式中，获取多组训练气象参数，包括：随机生成多个偏移量；利用多个偏移量及初始气象参数得到多组训练气象参数。

在一种可能的实现方式中，散射系数、深度图像及第一介质透射率满足：

其中， t(x)为第一介质透射率，β为散射系数，d(x)为第一图像的深度图像，x为第一图像中的像素点。

在一种可能的实现方式中，大气散射模型满足：

其中，I(x)为含雾图像，J(x)为无雾图像，t(x)为介质透射率，A为大气光值。

第二方面，本申请提供了一种拍摄方法，所述方法包括：显示第一界面；响应于用户的拍摄操作，获取第一图像；采用第一方面中任意一项所述的图像处理方法对所述第一图像进行去雾处理，得到第二图像；显示所述第二图像。

可见，本申请实施例提供的拍摄方法，可以将用户拍摄的含雾图像自动还原成无雾图像，可以避免因天气原因导致拍摄效果不佳的问题，提升用户的拍摄体验。

在一种可能的实现方式中，方法包括：采用第一方面中任意一项所述的图像处理方法对所述第一图像进行去雾处理，得到多个所述第二图像；显示多个所述第二图像的缩略图；响应于用户在多个所述第二图像中的选择操作，显示用户选择的第二图像。这样一来，手机可以获得多个第二图像供用户进行选择，可使还原得到无雾图像更加贴合用户的喜好。

第三方面，本申请提供了一种电子设备，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时使得所述电子设备实现第一方面、第二方面中任一项所述的方法。

第四方面，本申请提供了一种计算机可读存储介质，包括计算机指令；当所述计算机指令在电子设备上运行时，使得所述电子设备执行如第一方面、第二方面中任一项所述的方法。

第五方面，本申请提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如第一方面、第二方面及其任一种可能的设计方式所述的方法。

第六方面，本申请提供一种芯片系统，该芯片系统包括一个或多个接口电路和一个或多个处理器。该接口电路和处理器通过线路互联。上述芯片系统可以应用于包括通信模块和存储器的电子设备。该接口电路用于从电子设备的存储器接收信号，并向处理器发送接收到的信号，该信号包括存储器中存储的计算机指令。当处理器执行该计算机指令时，电子设备可以执行如第一方面、第二方面及其任一种可能的设计方式所述的方法。

可以理解地，上述提供的第三方面所述的电子设备，第四方面所述的计算机可读存储介质，第五方面所述的计算机程序产品及第六方面所述的芯片系统所能达到的有益效果，可参考如第一方面及其任一种可能的实现方式中的有益效果，此处不再赘述。

附图说明

图1为本申请实施例提供的一种电子设备200的结构示意图；

图2为本申请实施例提供的一种图像处理方法的流程示意图；

图3为本申请实施例提供的确定第一大气光值及第一介质透射率的流程图；

图4为本申请实施例提供的一种参数矫正模型的结构示意图；

图5为本申请实施例提供的一种利用参数矫正模型得到矫正参数的流程图；

图6为本申请实施例提供的一种参数矫正模型的训练示意图；

图7为本申请实施例提供的一种参数矫正模型进一步的训练示意图；

图8为本申请实施例提供的一种拍摄方法的流程示意图；

图9为本申请实施例提供的一种界面图；

图10为本申请实施例提供的一种界面图；

图11为本申请实施例提供的一种界面图；

图12为本申请实施例提供的一种界面图；

图13为本申请实施例提供的一种芯片系统的结构示意图。

具体实施方式

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

首先，对本申请中的部分用语进行解释说明，以便于本领域技术人员理解。

深度图像：深度图像也可以称作距离图像，深度图像中每个像素值反映深度传感器距离物体的距离。

本申请主要涉及一种图像处理方法，可以先确定初始大气光值和初始介质透射率，利用参数矫正模型确定大气光值的更新值及介质透射率更新值，接着利用两个更新值更新相应的参数得到更新后的大气光值和更新后的介质透射率，使更新后的大气光值和更新后的介质透射率更接近真实的大气光值和介质透射率，从而得到真实的无雾图像。同时，这种方法无需满足任何先验假设，应用场景广泛。

图1为本申请实施例提供的一种电子设备200的结构示意图。

如图1所示，电子设备200可以包括：处理器210，外部存储器接口220，内部存储器221，通用串行总线（universal serial bus，USB）接口230，充电管理模块240，电源管理模块241，电池242，天线1，天线2，移动通信模块250，无线通信模块260，音频模块270，扬声器270A，受话器270B，麦克风270C，耳机接口270D，传感器模块280，按键290，马达291，指示器292，摄像头293，显示屏294，以及用户标识模块（subscriber identification module，SIM）卡接口295等。

其中，上述传感器模块280可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器和骨传导传感器等传感器。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器（application processor，AP），调制解调处理器，图形处理器（graphics processingunit，GPU），图像信号处理器（image signal processor，ISP），控制器，存储器，视频编解码器，数字信号处理器（digital signal processor，DSP），基带处理器，和/或神经网络处理器（neural-network processing unit，NPU）等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以是电子设备200的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器210中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器210的等待时间，因而提高了系统的效率。

在一些实施例中，处理器210可以包括一个或多个接口。接口可以包括集成电路（inter-integrated circuit，I2C）接口，集成电路内置音频（inter-integrated circuitsound，I2S）接口，脉冲编码调制（pulse code modulation，PCM）接口，通用异步收发传输器（universal asynchronous receiver/transmitter，UART）接口，移动产业处理器接口（mobile industry processor interface，MIPI），通用输入输出（general-purposeinput/output，GPIO）接口，用户标识模块（subscriber identity module，SIM）接口，和/或通用串行总线（universal serial bus，USB）接口等。

可以理解的是，本实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备200的结构限定。在另一些实施例中，电子设备200也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块240用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。充电管理模块240为电池242充电的同时，还可以通过电源管理模块241为终端设备供电。

电源管理模块241用于连接电池242，充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入，为处理器210，内部存储器221，外部存储器，显示屏294，摄像头293，和无线通信模块260等供电。在一些实施例中，电源管理模块241和充电管理模块240也可以设置于同一个器件中。

电子设备200的无线通信功能可以通过天线1，天线2，移动通信模块250，无线通信模块260，调制解调处理器以及基带处理器等实现。在一些实施例中，电子设备200的天线1和移动通信模块250耦合，天线2和无线通信模块260耦合，使得电子设备200可以通过无线通信技术与网络以及其他设备通信。

天线1和天线2用于发射和接收电磁波信号。电子设备200中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块250可以提供应用在电子设备200上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块250可以包括至少一个滤波器，开关，功率放大器，低噪声放大器（low noise amplifier，LNA）等。移动通信模块250可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。

移动通信模块250还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块250的至少部分功能模块可以被设置于处理器210中。在一些实施例中，移动通信模块250的至少部分功能模块可以与处理器210的至少部分模块被设置在同一个器件中。

无线通信模块260可以提供应用在电子设备200上的包括WLAN（如（wirelessfidelity，Wi-Fi）网络），蓝牙（bluetooth，BT），全球导航卫星系统（global navigationsatellite system，GNSS），调频（frequency modulation，FM），近距离无线通信技术（nearfield communication，NFC），红外技术（infrared，IR）等无线通信的解决方案。

无线通信模块260可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块260经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器210。无线通信模块260还可以从处理器210接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

电子设备200通过GPU，显示屏294，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏294和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏294用于显示图像，视频等。该显示屏294包括显示面板。

电子设备200可以通过ISP，摄像头293，视频编解码器，GPU，显示屏294以及应用处理器等实现拍摄功能。ISP用于处理摄像头293反馈的数据。摄像头293用于捕获静态图像或视频。在一些实施例中，电子设备200可以包括1个或N个摄像头293，N为大于1的正整数。

外部存储器接口220可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备200的存储能力。外部存储卡通过外部存储器接口220与处理器210通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器210通过运行存储在内部存储器221的指令，从而执行电子设备200的各种功能应用以及数据处理。例如，在本申请实施例中，处理器210可以通过执行存储在内部存储器221中的指令，内部存储器221可以包括存储程序区和存储数据区。

其中，存储程序区可存储操作系统，至少一个功能所需的应用程序（比如声音播放功能，图像播放功能等）等。存储数据区可存储电子设备200使用过程中所创建的数据（比如音频数据，电话本等）等。此外，内部存储器221可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器（universalflash storage，UFS）等。

电子设备200可以通过音频模块270，扬声器270A，受话器270B，麦克风270C，耳机接口270D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

按键290包括开机键，音量键等。按键290可以是机械按键。也可以是触摸式按键。马达291可以产生振动提示。马达291可以用于来电振动提示，也可以用于触摸振动反馈。指示器292可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口295用于连接SIM卡。SIM卡可以通过插入SIM卡接口295，或从SIM卡接口295拔出，实现和电子设备200的接触和分离。电子设备200可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口295可以支持Nano SIM卡，Micro SIM卡，SIM卡等。

以下实施例中的方法均可以在具有上述硬件结构的电子设备200中实现。

为了便于理解，以下结合附图对本申请实施例提供的方法进行具体介绍。

如图2所示，本申请实施例提供了一种图像处理方法，可以由电子设备200（例如手机）执行。该图像处理方法的流程如下：

S210，手机获取第一图像。

其中，第一图像为含雾图像。该第一图像可以为手机在雾、霾、烟、雨等天气现象下拍摄的图像。又或者，可以为其他设备拍摄后传输给手机的图像，在此不做具体限制。

S220，手机确定第一大气光值及第一介质透射率。

其中，第一大气光值可指大气光值的初始估计值。第一介质透射率可指介质透射率的初始估计值。

在一种可选的实施方式中，手机可根据获取第一图像的地点从当地气象局获取当地的大气散射系数以及大气光值。下面结合图3具体说明手机确定第一大气光值及第一介质透射率的过程，该过程包括：

S310，获取拍摄地点以及第一图像的深度图像。

其中，拍摄地点可以为电子设备拍摄第一图像时自动获取的。

电子设备可以包括双目摄像头，该双目摄像头可以分别获取图像1、图像2，然后根据图像1与图像2计算得到第一图像上每个像素点的深度值，然后基于每个像素点的深度值得到第一图像的深度图像。可见，第一图像的深度图像包括第一图像上每个像素点的深度值。

S320，向气象局服务器发送查询请求。

其中，该查询请求包括拍摄地点。气象局服务器接收到查询请求后，可根据该查询请求中携带的拍摄地点查询到相应地点的气象参数。其中，该气象参数包括拍摄所在地的大气光值以及散射系数。该散射系数为控制雾浓度的参数。

S330，接收气象局服务器发送的气象参数。

其中，关于气象参数的描述参见S320，在此不再赘述。

S340，将拍摄所在地的大气光值作为第一大气光值。

S350，根据散射系数和第一图像的深度图像得到第一介质透射率。

其中，散射系数、深度图像及第一介质透射率满足：

其中，t(x)为第一介质透射率，β为散射系数，d(x)为第一图像的深度图像，x为第一图像中的像素点。

需要说明的是，在本申请实施例中，大气光值也可以称为环境光、大气散射光等，在此不做具体限制。

S230，手机将第一图像、第一大气光值及第一介质透射率输入参数矫正模型，得到第一矫正参数及第二矫正参数。

其中，第一矫正参数为第一大气光值与实际大气光值之间的误差，第二矫正参数为第一介质透射率与实际介质透射率之间的误差。

该参数矫正模型具备度量当前大气光值（即第一大气光值）与实际大气光值的差值，以及当前介质透射率（即第一介质透射率）与实际介质透射率的差值的能力。

图4为本申请实施例提供的一种参数矫正模型的实现方式。

具体的，参数矫正模型包括特征提取模块、特征分离模块、第一调制模块、第二调制模块、第一解码模块以及第二解码模块。特征提取模块用于将输入给参数矫正模型的第一图像变换为第一特征图像，特征分离模块用于将第一特征图像分离为多个特征图像（例如，第二特征图像、第三特征图像、第四特征图像及第五特征图像）。第一调制模块用于利用输入的第一大气光值对第二特征图像、第三特征图像进行特征调制（也可以称为编码），得到第六特征图像。第二调制模块用于基于输入的第一介质透射率对第四特征图像及第五特征图像进行特征调制，得到第七特征图像。第一解码模块用于对第一调制模块输出的第六特征图像进行特征解码。第二解码器用于对第二调制模块输出的第七特征图像进行特征解码。

下面将对参数矫正模型的具体实现过程进行说明：

S11，将第一图像输入特征提取模块，得到第一特征图像。

该特征提取模块可至少由四层卷积层构成。特征提取模块对第一图像进行卷积处理，使该第一图像的通道数改变，而不改变尺寸。

例如，输入至参数矫正模型的第一图像为RGB格式，则该第一图像的通道数为3，分别为R（红色），G（绿色），B（蓝色）。例如，输入的第一图像的尺寸为h*w*3，其中h为第一图像的长度，w为第一图像的宽度，3为第一图像的通道数。经过特征提取模块处理后，输出的第一特征图像的尺寸为h*w*4。

可见，第一特征图像与第一图像的尺寸保持一致，通道数不同。

S12，将第一特征图像输入特征分离模块，得到第二特征图像、第三特征图像、第四特征图像及第五特征图像。

具体的，特征分离模块可按照第一特征图像的通道的顺序，将第一特征图像分为4个尺寸相同的特征图像。例如，将h*w*4的第一特征图像，分为4个h*w*1的特征图像（分别为第二特征图像、第三特征图像、第四特征图像及第五特征图像）。

其中，4个特征图像可分别作为介质透射率的方差偏移量、介质透射率的均值偏移量、大气光值的方差偏移量以及大气光值的均值偏移量。例如，第二特征图像、第三特征图像可以分别为大气光值的方差偏移量以及大气光值的均值偏移量，第四特征图像、第五特征图像可分别为介质透射率的方差偏移量、介质透射率的均值偏移量。

S13，将第二特征图像、第三特征图像及第一大气光值输入第一调制模块，得到第六特征图像。

具体的，第一调制模块可利用算式A=Ai*aA+bA对第二特征图像、第三特征图像进行调制，得到第六特征图像。其中，A为调制后的特征图像（即第六特征图像），Ai为输入的第一大气光值，aA为大气光值的方差偏移量（也可以称为第二特征图像），bA为大气光值的均值偏移量（也可以称为第三特征图像）。

该第一调制模块不改变特征图像的尺寸和通道数，即第六特征图像的尺寸也为h*w*1。

S14，将第四特征图像、第五特征图像及第一介质透射率输入第二调制模块，得到第七特征图像。

具体的，第二调制模块可利用算式t=ti*at+bt对第四特征图像、第五特征图像进行调制，得到第七特征图像。其中，t为调制后的特征图像（第七特征图像），ti为输入的第一介质透射率，at为介质透射率的方差偏移量（也可以称为第四特征图像），bt为介质透射率的均值偏移量（也可以称为第五特征图像）。

该第二调制模块不改变特征图像的尺寸和通道数，即第七特征图像的尺寸也为h*w*1。

S15，将第六特征图像输入第一解码模块，得到第一矫正参数。

该第一解码模块至少包括一个卷积层、一个下采样层和一个上采样层。首先，第六特征图像经过一个可以增加通道数的卷积层处理得到卷积后的输出特征图像，然后将卷积后产生的特征图像经过一个下采样层，得到下采样后的特征图像。接着，将下采样后输出的特征图像输入一个上采样层，以改变特征图像的尺寸但不改变特征图像的通道数。最后，将上采样后输出的特征图像经过实现通道降维的卷积层（例如，1*1的卷积层），得到第一矫正参数。

需要说明的是，第一解码模块的结构只是一种示例。实际应用过程中，解码模块内的卷积层数量、上采样系数和下采样系数不做具体限制。

示例性的，第一解码模块包括N个卷积层（例如，4个）、一个下采样层以及一个上采样层。其中，将第六特征图像输入N/2个卷积层，得到h*w*c的特征图像，再对h*w*c的特征图像进行下采样得到h/2*w/2*c的特征图像，接着对h/2*w/2*c的特征图像进行上采样得到h*w*c的特征图像，最后经过N/2个卷积层后，输出尺寸为h*w*1的第一矫正参数。

S16，将第七特征图像输入第二解码模块，得到第二矫正参数。

该第二解码模块至少包括一个卷积层、一个下采样层和一个上采样层。首先，第六特征图像经过一个可以增加通道数的卷积层处理得到卷积后的输出特征图像，然后将卷积后产生的特征图像经过一个下采样层，得到下采样后的特征图像。接着，将下采样后输出的特征图像输入一个上采样层，以改变特征图像的尺寸但不改变特征图像的通道数。最后，将上采样后输出的特征图像经过实现通道降维的卷积层（例如，1*1的卷积层），得到第一矫正参数。

需要说明的是，第二解码模块的结构只是一种示例。实际应用过程中，解码模块内的卷积层数量、上采样系数和下采样系数不做具体限制。

示例性的，第二解码模块包括N个卷积层（例如，4个）、一个下采样层以及一个上采样层。其中，将第七特征图像输入N/2个卷积层，得到h*w*c的特征图像，再对h*w*c的特征图像进行下采样得到h/2*w/2*c的特征图像，接着对h/2*w/2*c的特征图像进行上采样得到h*w*1的特征图像，最后经过N/2个卷积层后，输出尺寸为h*w*1的第二矫正参数。

S240，手机根据第一大气光值及第一矫正参数确定第二大气光值。

具体的，手机将第一大气光值与第一矫正参数的和作为第二大气光值。其中，第一矫正参数作为大气光值粗略值与大气光值实际值之间的误差，可使第二大气光值更接近真实值，从而使后续基于该第二大气光值还原得到的无雾图像更接近真实的无雾图像。

S250，手机根据第一介质透射率及第二矫正参数确定第二介质透射率。

具体的，手机将第一介质透射率与第二矫正参数的和作为第二介质透射率。其中，第二矫正参数作为介质透射率粗略值与介质透射率实际值之间的误差，可使第二介质透射率更接近真实值，从而使后续基于该第二介质透射率还原得到的无雾图像更接近真实的无雾图像。

S260，手机基于第二大气光值及第二介质透射率对第一图像进行除雾处理，得到第二图像。

具体的，手机可利用大气散射模型进行除雾处理。其中，大气散射模型满足算式：

其中，I(x)为含雾图像，J(x)为无雾图像，t(x)为介质透射率，A为大气光值。

如此，手机将第一图像作为I(x)、第二介质透射率、第二大气光值代入大气散射模型，即可得到还原后的无雾图像（即第二图像）。

由于经由校正后的第二介质透射率更接近介质透射率较的实际值，经过校正后的第二大气光值更接近大气光值的实际值，因此基于该第二介质透射率和第二大气光值进行去雾处理得到的第二图像，更接近真实的无雾图像。

可选的，手机可以利用该参数矫正模型得到多个介质透射率的矫正参数及多个大气光值的矫正参数。如图5所示，示出了手机利用该参数矫正模型得到校正参数（例如，多个介质透射率的矫正参数及多个大气光值的矫正参数）的过程。该过程包括：

S510，手机根据第一大气光值及第一矫正参数确定第二大气光值。

其中，第二大气光值为第一大气光值与第一矫正参数的和。

S520，手机根据第一介质透射率及第二矫正参数确定第二介质透射率。

其中，第二介质透射率为第一介质透射率与第二矫正参数的和。

S530，手机将第一图像、第二大气光值、第二介质透射率输入参数矫正模型，得到第三矫正参数及第四矫正参数。

其中，基于利用参数矫正模型、第一图像、第二大气光值、第二介质透射率得到第三矫正参数及第四矫正参数的过程可以参阅S230的相关描述，在此不再赘述。

也即，手机可利用迭代的方法获取多个介质透射率的矫正参数及多个大气光值的矫正参数，并分别得到对应的多个介质透射率及多个大气光值。其中，迭代次数越多，手机得到的介质透射率和大气光值则更接近真实的介质透射率和大气光值。

在这种实施方式中，手机可以利用多组介质透射率、大气光值分别对第一图像进行去雾处理，得到多个第二图像。

可选的，手机可以预先设置迭代次数，并将最后一次迭代得到的大气光值的矫正参数作为S230中的第一矫正参数，将最后一次迭代得到的介质透射率的矫正参数作为S230中的第二矫正参数。如此，基于该第一矫正参数更新第一大气光值得到的大气光值更接近真实的大气光值，基于该第二矫正参数更新第一介质透射率得到的介质透射率更接近真实的介质透射率，从而使基于更新后的介质透射率及更新后的大气光值得到的无雾图像更接近真实的无雾图像。

请参见图6、图7，图6、图7为本申请提供的一种参数矫正模型的训练示意图，该参数矫正模型可以是由上述手机执行的，也可以是由其他计算机设备执行的，本申请对此不予限定。这里以模型训练的过程是由手机执行为例进行说明。如图6及图7所示，该参数矫正模型的训练过程可以包括以下补充S610~S640。

S610，手机根据含雾图像及多组训练参数对初始参数矫正模型进行迭代训练。

可选的，手机可以获取无雾图像J，然后利用初始大气光值A1、初始介质透射率t1及大气散射模型为无雾图像J合成含雾图像I。手机可以获取该无雾图像J的拍摄地点以及深度图像，并从气象局获取该拍摄地点的大气光值和散射系数，将该大气光值作为初始大气光值A1，将基于散射系数和深度图像计算得到的介质透射率作为初始介质透射率t1。

可选的，手机可获取无雾图像J以及该无雾图像J的深度图像d（x）。接着，手机可随机生成大气散射系数，并基于深度图像和大气散射系数合成介质透射率，将该合成的介质透射率作为初始介质透射率t1。同时手机可随机生成大气光值，并将该大气光值作为初始大气光值A1。

最后，手机利用初始大气光值A1、初始介质透射率t1、该无雾图像J及大气散射模型合成含雾图像I。

每组训练参数包括第一训练参数（即A1-△A（real））及第二训练参数（即t1-△t（real））。第一训练参数为存在误差的大气光值，第二训练参数为存在误差的介质透射率。

具体的，手机可随机生成多组偏移量，利用初始大气光值A1、初始介质透射率t1及多组偏移量得到多组训练参数。其中，每组偏移量可包括第一偏移量（即△A（real））和第二偏移量（即△t（real））。手机可以利用第一偏移量对初始大气光值A1进行更新得到第一训练参数，利用第二偏移量对初始介质透射率t1进行更新得到第二训练参数，从而得到一组训练参数。

手机可将含雾图像J、第一训练参数（即A1-△A（real））及第二训练参数（即t1-△t（real））输入初始参数矫正模型，可得到介质透射率更新值（即△t（out））以及大气光更新值（即△A（out））。

S620，手机判断初始参数矫正模型是否收敛。

例如，手机可以依据大气光更新值（△A（out））和第一偏移量（即△A（real））计算第一损失函数，依据介质透射率更新值（即t1-△t（real））和第二偏移量（即△t（real））计算第二损失函数。手机可以将第一损失函数与第一预设值进行比对，将第二损失函数与第二预设值进行比对，确定该初始参数矫正模型是否收敛。

其中，损失函数可以为平均绝对误差（mean absolute error，MAE）、均方误差（mean square error，MSE）等，在此不做具体限制。

S630，当不满足模型收敛条件时，手机在迭代过程中根据损失函数更新模型参数。

其中，模型参数可以指初始参数矫正模型中各权重。

S640，当满足模型收敛条件时，手机停止迭代训练，得到参数矫正模型。

由于在训练参数校正模型的过程中，未进行任何先验假设，使得最后得到的参数校正模型也不存在场景上的限制，即在任何场景下该参数校正模型都可输出较为准确的更新值，从而使最终得到的无雾图像接近真实情况。

需要说明的是，上述实施例均以在手机上实现为例进行说明，实际上前述提供的图像处理方法、训练参数矫正模型的过程也可以由其他计算机设备（例如，个人电脑、服务器）执行，在此不做具体限制。另外，前述提供的图像处理方法、训练参数矫正模型也可以由不同的设备执行，例如该训练参数校正模型可以由其他计算机设备训练完成以后，再由手机使用。

在上述实施例所提供的图像处理方法的基础上，本申请还提供一种拍摄方法，如图8所示，图8为本申请提供的一种拍摄方法的流程示意图，该拍摄方法可以由手机实现。如图8所示，本申请实施例提供的拍摄方法包括以下步骤S810~S840。

S810，手机显示第一界面。

该第一界面可以为手机的拍摄界面。示例性的，如图9所示，手机可显示界面901，该界面901可以为第一界面。其中，界面901上显示有含雾的第一图像902。

S820，手机响应于用户的拍摄操作，获取第一图像。

其中，第一图像为手机通过摄像头拍摄的含雾图像。其中，手机在获取第一图像时，也可以同时获取该第一图像的深度图。

其中，用户的拍摄操作可以指用户对第一界面上的拍摄控件的操作。例如，该界面901包括控件903，该拍摄控件可以为控件903。当手机检测到用户对该控件903的操作后，手机可获取第一图像。

S830，手机对第一图像进行去雾处理，得到第二图像。

其中，手机可采用上述实施例中所提供的图像处理方法对第一图像进行去雾处理，得到第二图像，具体过程可参阅前文，在此不再赘述

S840，手机显示第二图像。

示例性的，手机所显示的第二图像可以如图10所示。如图10所示，手机显示第二界面904，该第二界面904上显示有第二图像905。对比图9和图10可知，第二图像905的雾浓度比第一图像902的雾浓度更低，第二图像905相对于第一图像902更加清晰。

本申请实施例提供的拍摄方法，可以将用户拍摄的含雾图像自动还原成无雾图像，可以避免因天气原因导致拍摄效果不佳的问题，提升用户的拍摄体验。

可选的，手机在对第一图像进行去雾处理后，可以得到多个含雾浓度不同的第二图像。在获得多个第二图像后，手机可以显示多个第二图像的缩略图。当手机检测手用户在多个第二图像中的选择操作时，手机可显示用户选择的第二图像。

示例性的，如图11所示，手机可以显示界面1101。该界面1101可包括第一区域1102及第二区域1103，该第一区域1102为预览区域，第二区域1103为选择区域。其中，第二区域1103包括图像1103a、图像1103b、图像1103c、图像1103d的缩略图，图像1103a、图像1103b、图像1103c、图像1103d的缩略图即为含雾浓度不同的第二图像。该第一区域1102用于显示被选中的图像。例如，第二区域1103中图像1103a处于被选中状态，则该第一区域1102显示图像1103a。若用户希望查看图像1103d，可点击图像1103d。如图12所示，手机检测到用户对图像1103d的操作后，可在第一区域1102显示图像1103d。对比图11和图12可知，图像1103a与图像1103d的清晰度并不相同（即含雾浓度不同）。

其中，界面1101上还包括删除按钮、保存按钮等，可供用户选择需要保存的第二图像。

这样一来，手机可以获得多个第二图像供用户进行选择，可使还原得到无雾图像更加贴合用户的喜好。

本申请实施例还提供一种芯片系统，如图13所示，该芯片系统包括至少一个处理器1301和至少一个接口电路1302。处理器1301和接口电路1302可通过线路互联。例如，接口电路1302可用于从其它装置（例如，电子设备的存储器）接收信号。又例如，接口电路1302可用于向其它装置（例如处理器1301）发送信号。

例如，接口电路1302可读取电子设备中存储器中存储的指令，并将该指令发送给处理器1301。当所述指令被处理器1301执行时，可使得电子设备执行上述实施例中的各个步骤。

当然，该芯片系统还可以包含其他分立器件，本申请实施例对此不作具体限定。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质包括计算机指令，当所述计算机指令在电子设备（如图1所示的电子设备200）上运行时，使得电子设备200执行上述方法实施例中电子设备执行的各个功能或者步骤。

本申请实施例还提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述方法实施例中电子设备执行的各个功能或者步骤。

通过以上实施方式的描述，所属领域的技术人员可以清楚地了解到，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种图像处理方法，其特征在于，包括：

获取第一图像；

确定第一大气光值及第一介质透射率；

将所述第一图像、所述第一大气光值及所述第一介质透射率输入参数矫正模型，得到第一矫正参数及第二矫正参数，所述参数矫正模型具备度量当前大气光值与实际大气光值的差值，以及当前介质透射率与实际介质透射率的差值的能力，其中，所述第一大气光值与所述当前大气光值对应，所述第一介质透射率与所述当前介质透射率对应；

其中，所述参数矫正模型包括特征提取模块、特征分离模块、第一调制模块、第二调制模块、第一解码模块以及第二解码模块，所述将所述第一图像、所述第一大气光值及所述第一介质透射率输入参数矫正模型，得到第一矫正参数及第二矫正参数，包括：

将所述第一图像输入所述特征提取模块，得到第一特征图像；

将所述第一特征图像输入所述特征分离模块，得到第二特征图像、第三特征图像、第四特征图像及第五特征图像；

将所述第二特征图像、所述第三特征图像及所述第一大气光值输入所述第一调制模块，得到第六特征图像；

将所述第四特征图像、所述第五特征图像及所述第一介质透射率输入所述第二调制模块，得到第七特征图像；

将所述第六特征图像输入所述第一解码模块得到所述第一矫正参数；

将所述第七特征图像输入所述第二解码模块得到所述第二矫正参数；

根据所述第一大气光值及所述第一矫正参数确定第二大气光值；

根据所述第一介质透射率及所述第二矫正参数确定第二介质透射率；

基于所述第二大气光值及所述第二介质透射率对所述第一图像进行除雾处理，得到第二图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取拍摄地点以及所述第一图像的深度图像，所述深度图像包括所述第一图像上每个像素的深度；

所述确定第一大气光值及第一介质透射率，包括：

向服务器发送查询请求，所述查询请求包括所述拍摄地点；

接收所述服务器发送的气象参数，所述气象参数包括所述第一大气光值以及散射系数；

根据所述散射系数及所述第一图像的深度图像得到所述第一介质透射率。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取含雾图像；

获取多组训练气象参数，每组训练气象参数包括大气光值及介质透射率；

根据所述含雾图像及所述多组训练气象参数对初始参数矫正模型进行迭代训练；

在迭代过程中根据损失函数更新模型参数；

当满足模型收敛条件时，停止迭代训练，得到所述参数矫正模型。

4.根据权利要求3所述的方法，其特征在于，所述获取含雾图像，包括：

获取无雾图像，利用初始气象参数及大气散射模型合成所述含雾图像，所述初始气象参数包括初始大气光值及初始介质透射率。

5.根据权利要求3所述的方法，其特征在于，所述获取多组训练气象参数，包括：

随机生成多个偏移量；

利用所述多个偏移量及初始气象参数得到所述多组训练气象参数。

6.根据权利要求2所述的方法，其特征在于，所述散射系数、所述深度图像及所述第一介质透射率满足：

其中， t(x)为所述第一介质透射率，β为所述散射系数，所述d(x)为所述第一图像的深度图像，x为所述第一图像中的像素点。

7.根据权利要求4所述的方法，其特征在于，所述大气散射模型满足：

其中，I(x)为含雾图像，J(x)为无雾图像，t(x)为介质透射率，A为大气光值。

8.一种拍摄方法，其特征在于，所述方法包括：

显示第一界面；

响应于用户的拍摄操作，获取第一图像；

采用权利要求1-7中任意一项所述的图像处理方法对所述第一图像进行去雾处理，得到第二图像；

显示所述第二图像。

9.根据权利要求8所述的方法，其特征在于，所述采用权利要求1-7中任意一项所述的图像处理方法对所述第一图像进行去雾处理，得到第二图像，包括：

采用权利要求1-7中任意一项所述的图像处理方法对所述第一图像进行去雾处理，得到多个所述第二图像；

所述方法还包括：

显示多个所述第二图像的缩略图；

响应于用户在多个所述第二图像中的选择操作，显示用户选择的第二图像。

10.一种电子设备，其特征在于，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时使得所述电子设备实现权利要求1-9中任一项所述的方法。

11.一种计算机可读存储介质，其特征在于，包括计算机指令；

当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-9中任一项所述的方法。

Images