CN114078097A - 图像去雾模型的获取方法、装置和电子设备 - Google Patents

Abstract

本公开提供了一种图像去雾模型的获取方法、装置和电子设备，涉及图像处理等人工智能技术领域。具体实现为：在获取图像去雾模型时，将多个图像样本对中各图像样本对中的雾气图像输入至初始图像去雾模型，根据各图像样本对中的雾气图像和各图像样本对对应的输出结果，构造各图像样本对对应的第一损失函数；根据各图像样本对中的预设清晰图像和各图像样本对对应的输出结果中的预测清晰图像，构造各图像样本对对应的第二损失函数；再结合各图像样本对对应的第一损失函数和第二损失函数，共同更新初始图像去雾模型的网络参数，这样可以提高图像去雾模型的准确度，使得后续基于图像去雾模型对雾气图像进行去雾处理时，可以提高处理结果的准确度。

Description

图像去雾模型的获取方法、装置和电子设备

技术领域

本公开涉及图像处理技术领域，尤其涉及图像处理等人工智能技术领域，具体涉及一种图像去雾模型的获取方法、装置和电子设备。

背景技术

图像去雾是指将一幅包含雾气的图像作为输入，通过对包括雾气的图像进行去雾处理，得到清晰图像的方法。

雾气经常存在于现实场景中，会对场景的物体造成遮挡，严重影响计算机视觉技术的应用，如物体检测和分割，物体跟踪等。因此，如何对雾气图像进行去雾处理是至关重要的。

发明内容

本公开提供了一种图像去雾模型的获取方法、装置和电子设备，可以通过训练获取图像去雾模型，这样可以基于图像去雾模型对雾气图像进行去雾处理，从而提高了获取到的清晰图像的准确度。

根据本公开的第一方面，提供了一种图像去雾模型的训练方法，该图像去雾模型的训练方法可以包括：

获取多个图像样本对，其中，各图像样本对包括雾气图像和所述雾气图像对应的预设清晰图像。

将所述各图像样本对中的雾气图像输入至初始图像去雾模型中，得到所述各图像样本对对应的输出结果；其中，所述输出结果包括所述雾气图像对应的光照信息图像、雾气成分图像、以及预测清晰图像。

根据各图像样本对中的雾气图像和所述各图像样本对对应的输出结果，构造所述各图像样本对对应的第一损失函数，并根据所述各图像样本对中的预设清晰图像和所述各图像样本对对应的输出结果中的预测清晰图像，构造所述各图像样本对对应的第二损失函数。

根据所述各图像样本对对应的第一损失函数和第二损失函数，更新初始图像去雾模型的网络参数。

根据本公开的第二方面，提供了一种图像去雾方法，该图像去雾方法可以包括：

获取待处理雾气图像。

将所述待处理雾气图像输入至图像去雾模型中，得到所述待处理雾气图像对应的清晰图像。

其中，所述图像去雾模型为根据各图像样本对中的雾气图像和各图像样本对对应的输出结果，构造的所述各图像样本对对应的第一损失函数，及根据所述各图像样本对中的预设清晰图像和所述各图像样本对对应的输出结果中的预测清晰图像，构造的所述各图像样本对对应的第二损失函数训练得到的。

根据本公开的第三方面，提供了一种图像去雾模型的训练装置，该图像去雾模型的训练装置可以包括：

获取单元，用于获取多个图像样本对，其中，各图像样本对包括雾气图像和所述雾气图像对应的预设清晰图像。

处理单元，用于将所述各图像样本对中的雾气图像输入至初始图像去雾模型中，得到所述各图像样本对对应的输出结果；其中，所述输出结果包括所述雾气图像对应的光照信息图像、雾气成分图像、以及预测清晰图像。

构造单元，用于根据各图像样本对中的雾气图像和所述各图像样本对对应的输出结果，构造所述各图像样本对对应的第一损失函数，并根据所述各图像样本对中的预设清晰图像和所述各图像样本对对应的输出结果中的预测清晰图像，构造所述各图像样本对对应的第二损失函数。

更新单元，用于根据所述各图像样本对对应的第一损失函数和第二损失函数，更新初始图像去雾模型的网络参数。

根据本公开的第四方面，提供了一种图像去雾装置，该图像去雾装置可以包括：

获取单元，用于获取待处理雾气图像。

处理单元，用于将所述待处理雾气图像输入至图像去雾模型中，得到所述待处理雾气图像对应的清晰图像。

其中，所述图像去雾模型为根据各图像样本对中的雾气图像和各图像样本对对应的输出结果，构造的所述各图像样本对对应的第一损失函数，及根据所述各图像样本对中的预设清晰图像和所述各图像样本对对应的输出结果中的预测清晰图像，构造的所述各图像样本对对应的第二损失函数训练得到的。

根据本公开的第五方面，提供了一种电子设备，该电子设备可以包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面所述的图像去雾模型的训练方法，或者，执行上述第二方面所述的图像去雾方法。

根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述第一方面所述的图像去雾模型的训练方法；或者，执行上述第二方面所述的图像去雾方法。

根据本公开的第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行上述第一方面所述的图像去雾模型的训练方法；或者，执行上述第二方面所述的图像去雾方法。

根据本公开的技术方案，可以通过训练获取图像去雾模型，这样可以基于图像去雾模型对雾气图像进行去雾处理，从而提高了获取到的清晰图像的准确度。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例提供的图像去雾模型的训练方法的流程示意图；

图2是根据本公开第二实施例提供的得到各图像样本对对应的输出结果的方法的流程示意图；

图3是本公开实施例提供的一种初始图像去雾模型的网络架构示意图；

图4是本公开实施例提供的一种下采样网络的结构示意图；

图5是本公开实施例提供的一种上采样网络的结构示意图；

图6是本公开实施例提供的一种特征增强处理的示意图；

图7是本公开实施例提供的一种像素级特征处理的示意图；

图8是根据本公开第三实施例提供的更新初始图像去雾模型的网络参数的方法的流程示意图；

图9是根据本公开第四实施例提供的图像去雾方法的流程示意图；

图10是根据本公开第五实施例提供的图像去雾模型的训练装置的结构示意图；

图11是根据本公开第六实施例提供的图像去雾装置的结构示意图；

图12是本公开实施例提供的一种电子设备的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在本公开的实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的访问关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A，B可以是单数或者复数。在本公开的文字描述中，字符“/”一般表示前后关联对象是一种“或”的关系。此外，在本公开实施例中，“第一”、“第二”、“第三”、“第四”、“第五”以及“第六”只是为了区分不同对象的内容而已，并无其它特殊含义。

本公开实施例提供的技术方案可以应用于图像处理场景中。以图像去雾处理场景为例，图像去雾是指将一幅包含雾气的图像作为输入，通过对包括雾气的图像进行去雾处理，得到清晰图像的方法。

在对雾气图像进行去雾处理时，现有技术中，通常是基于数据先验的方法，统计雾气图像的数值分布，并根据雾气图像的数值分布获取雾气的分布特征，再基于雾气的分布特征消除雾气图像中的雾气成分，从而得到对应的清晰图像。

但是，采用数据先验的方法对雾气图像进行去雾处理时，鉴于数据先验的方法比较依赖数据，使得该方法只能处理现有采集数据中的先验雾气图像，其泛化性比较受限。

为了可以较好地对雾气图像进行去雾处理，可以考虑训练基于深度学习的图像去雾模型，以采用图像去雾模型对雾气图像进行去雾处理。此外，为了使得训练得到的图像去雾模型更加准确，可以充分结合雾气图像中的成分信息，例如光照信息图像、雾气成分图像、以及清晰图像共同构建损失函数，以通过构建得到的损失函数，共同训练得到图像去雾模型，从而获取到图像去雾模型，这样后续可以基于图像去雾模型对雾气图像进行去雾处理，从而提高了获取到的清晰图像的准确度。

基于上述技术构思，本公开实施例提供了一种图像去雾模型的训练方法，下面，将通过具体的实施例对本公开提供的图像去雾模型的训练方法进行详细地说明。可以理解的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

实施例一

图1是根据本公开第一实施例提供的图像去雾模型的训练方法的流程示意图，该图像去雾模型的训练方法可以由软件和/或硬件装置执行，例如，该硬件装置可以为终端或者服务器。示例的，请参见图1所示，该图像去雾模型的训练方法可以包括：

S101、获取多个图像样本对。

其中，各图像样本对包括雾气图像和雾气图像对应的预设清晰图像。

示例的，该多个图像样本对，可以为基于真实场景采集的多个图像样本对；也可以基于仿真操作生成多个图像样本对；也可以一部分为真实场景采集的，一部分为基于仿真操作生成的，具体可以根据实际需要进行设置。

示例的，获取多个图像样本对时，可以直接接收用户输入的多个图像样本对，也可以接收其它电子设备发送的多个图像样本对，也可以从本地存储中获取多个图像样本对，也可以通过其它方式获取多个图像样本对，具体可以根据实际需要进行设置，在此，对于多个图像样本对的获取方法，本公开实施例不做具体限制。

在获取到多个图像样本对后，该多个图像样本对可以作为用于执行一次训练操作的图像样本对，将该多个图像样本对中各图像样本对中的雾气图像输入至初始图像去雾模型中，即执行下述S102：

S102、将各图像样本对中的雾气图像输入至初始图像去雾模型中，得到各图像样本对对应的输出结果。

其中，输出结果包括雾气图像对应的光照信息图像、雾气成分图像、以及预测清晰图像。

可以理解的是，针对各图像样本对中的雾气图像，在将其输入至初始图像去雾模型中后，通过该初始图像去雾模型对雾气处理进行去雾处理后，不仅可以得到该雾气图像对应的清晰图像，而且还可以得到该雾气图像对应的光照信息图像和雾气成分图像。为了区分上述图像样本对中的预设清晰图像，可将初始图像去雾模型输出的清晰图像记为预测清晰图像。

这样，将各图像样本对中的雾气图像输入至初始图像去雾模型中后，针对各图像样本对，均会得到该图像样本对对应的输出结果，且各图像样本对对应的输出结果均包括雾气图像对应的光照信息图像、雾气成分图像、以及预测清晰图像。

本公开实施例中，为了使得训练得到的图像去雾模型更加准确，可以充分结合雾气图像中的光照信息图像、雾气成分图像、以及清晰图像共同构建损失函数，以通过构建得到的损失函数，共同训练得到图像去雾模型，即执行下述S103和S104：

S103、根据各图像样本对中的雾气图像和各图像样本对对应的输出结果，构造各图像样本对对应的第一损失函数，并根据各图像样本对中的预设清晰图像和各图像样本对对应的输出结果中的预测清晰图像，构造各图像样本对对应的第二损失函数。

需要说明的是，本公开实施例在训练图像去雾模型时，使用了两种监督信号。其中，一个监督信号为：基于图像样本对中的雾气图像和该图像样本对对应的输出结果构成的监督信号；一个监督信号为图像样本对中的预设清晰图像和该图像样本对对应的输出结果中的预测清晰图像构成的监督信号，这样结合两种监督信号共同对初始图像去雾模型进行训练，可以提高图像去雾模型的准确度和鲁棒性。

基于图像样本对中的雾气图像和该图像样本对对应的输出结果构成的监督信号，对应的，可以根据各图像样本对中的雾气图像和各图像样本对对应的输出结果，构造各图像样本对对应的第一损失函数；并且，基于图像样本对中的预设清晰图像和该图像样本对对应的输出结果中的预测清晰图像构成的监督信号，对应的，可以根据各图像样本对中的预设清晰图像和各图像样本对对应的输出结果中的预测清晰图像，构造各图像样本对对应的第二损失函数，这样针对多个图像样本对中的各图像样本对，均会对应一个第二损失函数和第二损失函数。

在构造得到各图像样本对对应的第一损失函数和第二损失函数后，就可以执行下述S104：

S104、根据各图像样本对对应的第一损失函数和第二损失函数，更新初始图像去雾模型的网络参数。

示例的，根据各图像样本对对应的第一损失函数和第二损失函数，更新初始图像去雾模型的网络参数时，若更新后的图像去雾模型收敛，则直接将更新后的图像去雾模型确定为最终训练好的图像去雾模型；若更新后的图像去雾模型未收敛，则再次执行上述步骤，直至更新后的图像去雾模型收敛，并将收敛时的图像去雾模型确定为最终训练好的图像去雾模型，从而获取到最终的图像去雾模型，这样得到的图像去雾模型具有较好地去雾能力，从而有效地提高了图像去雾模型的鲁棒性。

可以看出，本公开实施例中，在获取图像去雾模型时，可以先获取包括雾气图像和雾气图像对应的预设清晰图像的多个图像样本对；将各图像样本对中的雾气图像输入至初始图像去雾模型中，并根据各图像样本对中的雾气图像和各图像样本对对应的输出结果，构造各图像样本对对应的第一损失函数；根据各图像样本对中的预设清晰图像和各图像样本对对应的输出结果中的预测清晰图像，构造各图像样本对对应的第二损失函数；再根据各图像样本对对应的第一损失函数和第二损失函数，共同更新初始图像去雾模型的网络参数，这样可以提高图像去雾模型的准确度，使得后续基于图像去雾模型对雾气图像进行去雾处理时，可以提高处理结果的准确度。

基于上述图1所示的实施例，为了便于理解在上述S102中，如何将各图像样本对中的雾气图像输入至初始图像去雾模型中，得到各图像样本对对应的输出结果，下面，将通过下述图2所示的实施例二进行详细描述。

实施例二

图2是根据本公开第二实施例提供的得到各图像样本对对应的输出结果的方法的流程示意图，该方法同样可以由软件和/或硬件装置执行，例如，该硬件装置可以为终端或者服务器。示例的，请参见图2所示，该得到各图像样本对对应的输出结果的方法可以包括：

S201、将各图像样本中的雾气图像输入至初始图像去雾模型中，通过下采样网络进行编码处理，得到各雾气图像对应的特征图。

其中，初始图像去雾模型中包括一个下采样网络和三个上采样网络，示例的，可参见图3所示，图3是本公开实施例提供的一种初始图像去雾模型的网络架构示意图。其中，初始图像去雾模型中包括的下采样网络用于对图像样本对中的雾气图像进行编码处理，得到雾气图像对应的特征图；三个上采样网络中，一个上采样网络用于对特征图进行解码处理，得到光照信息图像；一个上采样网络用于对特征图进行解码处理，得到雾气成分图像；一个上采用网络用于对特征图进行解码处理，得到预测清晰图像。

针对初始图像去雾模型包括的下采样网络，示例的，可参见图4所示，图4是本公开实施例提供的一种下采样网络的结构示意图，可以通过图4所示的下采样网络对雾气图像进行编码处理；针对初始图像去雾模型包括的上采样网络，示例的，可参见图5所示，图5是本公开实施例提供的一种上采样网络的结构示意图，可以通过图5所示的下采样网络对特征图进行解码处理。

在将各图像样本中的雾气图像输入至初始图像去雾模型中，会先通过初始图像去雾模型中的下采样网络进行编码处理，得到各雾气图像对应的特征图，之后，再分别通过三个上采样网络对各雾气图像对应的特征图进行解码处理，即执行下述S202：

S202、分别通过三个上采样网络对各雾气图像对应的特征图进行解码处理，得到各图像样本对对应的输出结果。

示例的，在分别通过三个上采样网络对各雾气图像对应的特征图进行解码处理时，可以直接通过三个上采样网络对各雾气图像对应的特征图进行解码处理；也可以先对特征图进行增强处理，得到目标特征图；再分别通过三个上采样网络对目标特征图进行解码处理，得到各图像样本对对应的输出结果，具体可以根据实际需要进行设置。

可以理解的是，本公开实施例中，在进行解码处理之外，通过对特征图进行增强处理，使得得到的目标特征图，相对于未进行增强处理的特征图而言，其特征信息更加明显，更有利于后续的解码处理。

示例的，对特征图进行增强处理，得到目标特征图时，可以先确定特征图中的通道特征和像素特征；并对通道特征和像素特征分别进行增强处理，得到目标特征图。

需要说明的是，本公开实施例中，在对特征图中的通道特征和像素级特征进行增强处理时，可以先对特征图中的通道特征进行增强处理，再对通道特征增强处理后的特征图的像素级特征进行增强处理；也可以先对特征图中的像素级特征进行增强处理，再对通道像素级增强处理后的特征图的通道特征进行增强处理，具体可以根据实际需要进行设置。

以先对特征图中的通道特征进行增强处理，再对通道特征增强处理后的特征图的像素级特征进行增强处理为例，示例的，可参见图6所示，图6是本公开实施例提供的一种特征增强处理的示意图，在对特征图中的通道特征进行增强处理时，可以将特征图记为F(C xH x W)，对应的增强处理过程包括：

(1)通过平均池化层对特征图F(C x H x W)进行转换处理，得到尺寸为C x 1x 1的特征图；

(2)通过n个卷积单元对转换得到的尺寸为C x 1x1的特征图进行卷积操作，得到尺寸为C x 1x 1的特征图H；

(3)通过sigmoid操作对特征图H进行转换处理，得到尺寸为C x 1x1的权重图Q；

(4)通过特征乘法操作获得Fh(C x H x W)＝Q*F；

(5)通过特征加法操作获得通道特征增强后的特征图Fo(C x H x W)＝Fh+F。

这样通过上述步骤(1)至步骤(5)，就可以实现对特征图的通道增强处理，从而得到通道特征增强处理后的特征图。

在得到通道特征增强处理后的特征图后，可以再对通道特征增强处理后的特征图的像素级特征进行增强处理。示例的，可参见图7所示，图7是本公开实施例提供的一种像素级特征处理的示意图，在对像素级特征进行增强处理时，可以将在对通道特征增强处理后的特征图Fo(C x H x W)作为输入，对应的增强处理过程包括：

(1)通过n个卷积单元对Fo(C x H x W)进行卷积操作，得到尺寸为1x H x W的特征图H’；其中，特征图H’的最后一层卷积的输出特征尺寸为1；

(2)通过sigmoid操作对特征图H’进行转换处理，得到尺寸为1x H x W的权重图Q’；

(3)通过特征乘法操作获得F’h(C x H x W)＝Q’*Fo

(4)通过特征加法操作获得增强后的特征F’o(C x H x W)＝Fo h+Fo。

这样通过上述步骤(1)至步骤(4)，就可以实现对通道特征增强处理后的特征图的像素级特征进行增强处理，得到通道特征和像素特征增强处理后的目标特征图。

可以看出，本公开实施例中，在获取各图像样本对对应的输出结果时，可以先将各图像样本中的雾气图像输入至初始图像去雾模型中，通过下采样网络进行编码处理，得到各雾气图像对应的特征图；再分别通过三个上采样网络对各雾气图像对应的特征图进行解码处理，得到各图像样本对对应的光照信息图像、雾气成分图像、以及清晰图像。充分考虑到光照信息图像、雾气成分图像、以及清晰图像对去雾处理操作的影响，使得后续可以结合雾气图像中的光照信息图像、雾气成分图像、以及清晰图像，共同训练图像去雾模型，这样可以提高图像去雾模型的准确度。

基于上述任一实施例，在将各图像样本对中的雾气图像输入至初始图像去雾模型中，得到各图像样本对对应的输出结果后，就可以根据各图像样本对和各图像样本对对应的输出结果，更新初始图像去雾模型的网络参数。为了便于理解在本公开实施例中，如何根据各图像样本对和各图像样本对对应的输出结果，更新初始图像去雾模型的网络参数，下面，将通过下述图8所示的实施例三。

实施例三

图8是根据本公开第三实施例提供的更新初始图像去雾模型的网络参数的方法的流程示意图，该方法同样可以由软件和/或硬件装置执行。示例的，请参见图8所示，该更新初始图像去雾模型的网络参数的方法可以包括：

S801、根据各图像样本对对应的输出结果中的光照信息图像、雾气成分图像、以及预测清晰图像，重构各图像样本对对应的重构雾气图像。

可以理解的是，鉴于各图像样本对对应的重构雾气图像的重构方法类似，因此，为了避免赘述，下面，将以重构其中任意一个图像样本对对应的重构雾气图像为例，对如何重构各图像样本对对应的重构雾气图像进行描述。

示例的，根据图像样本对对应的输出结果中的光照信息图像、雾气成分图像、以及预测清晰图像，重构对应的重构雾气图像时，可以根据I＝J*T+(1-T)*A重构对应的重构雾气图像，从而获取到重构雾气图像。

其中，I表示重构雾气图像，J表示预测清晰图像、T表示雾气成分图像、A表示光照信息图像。

在重构得到各图像样本对对应的重构雾气图像后，可以根据各图像样本对中的雾气图像和其对应的重构雾气图像，构造各图像样本对对应的第一损失函数，即执行下述S802：

S802、根据各图像样本对中的雾气图像和其对应的重构雾气图像，构造各图像样本对对应的第一损失函数。

示例的，第一损失函数可以为交叉熵损失函数，也可以为差值损失函数，也可以为其它损失函数，具体可以根据实际需要进行设置，在此，本公开实施例不做具体限制。

S803、根据各图像样本对中的预设清晰图像和各图像样本对对应的输出结果中的预测清晰图像，构造各图像样本对对应的第二损失函数。

示例的，第二损失函数可以为交叉熵损失函数，也可以为差值损失函数，也可以为其它损失函数，具体可以根据实际需要进行设置，在此，本公开实施例不做具体限制。

需要说明的是，在本公开实施例中，上述S801-S802和上述S803之间并无先后顺序，可以先执行S801-S802，再执行S803；也可以先执行S803，再执行S801-S802；也可以同时执行S801-S802和S803；具体可以根据实际需要进行设置，在此，对于S801-S802和S803的执行顺序，本公开实施例不做具体限制。

结合上述S802和S803中的描述，针对各图样样本对，均会得到其对应的一个第一损失函数和第二损失函数，之后，就可以根据各图像样本对对应的第一损失函数和第二损失函数，更新初始图像去雾模型的网络参数。示例的，在根据各图像样本对对应的第一损失函数和第二损失函数，更新初始图像去雾模型的网络参数时，可以先各图像样本对对应的第一损失函数和第二损失函数，确定各图像样本对对应的损失函数，即执行下述S804：

S804、根据各图像样本对对应的第一损失函数和第二损失函数，确定各图像样本对对应的损失函数。

可以理解的是，鉴于各图像样本对对应的损失函数的确定方法类似，因此，为了避免赘述，将以确定任意一个图像样本对对应的损失函数为例，对如何确定各图像样本对对应的损失函数进行描述。

示例的，根据图像样本对对应的第一损失函数和第二损失函数，确定该图像样本对对应的损失函数时，可以直接对第一损失函数和第二损失函数进行求和，并将损失和确定为图像样本对对应的损失函数；也可以对第一损失函数和第二损失函数进行加权处理，并将处理结果确定为图像样本对对应的损失函数，具体可以根据实际需要进行设置。

在得到各图像样本对对应的损失函数后，就可以执行下述S805：

S805、根据各图像样本对对应的损失函数，更新初始图像去雾模型的网络参数。

示例的，根据各图像样本对对应的损失函数，更新初始图像去雾模型的网络参数时，鉴于该多个图像样本对为执行一次训练操作的多个图像样本对，因此，可以先根据各图像样本对对应的损失函数，确定多个图像样本对对应的平均损失函数；并根据平均损失函数，更新初始图像去雾模型的网络参数，以对初始图像去雾模型进行训练。

可以理解的是，在根据平均损失函数，更新初始图像去雾模型的网络参数后，若更新后的图像去雾模型收敛，则直接将更新后的图像去雾模型确定为最终训练好的图像去雾模型；若更新后的图像去雾模型未收敛，则再次执行上述步骤，直至更新后的图像去雾模型收敛，并将收敛时的图像去雾模型确定为最终训练好的图像去雾模型，从而获取到最终的图像去雾模型，这样得到的图像去雾模型具有较好地去雾能力，从而有效地提高了图像去雾模型的鲁棒性。

可以看出，本公开实施例中，在更新初始图像去雾模型的网络参数时，可以根据各图像样本对中的雾气图像和其对应的重构雾气图像，构造各图像样本对对应的第一损失函数；并根据各图像样本对中的预设清晰图像和各图像样本对对应的输出结果中的预测清晰图像，构造各图像样本对对应的第二损失函数；再根据各图像样本对对应的第一损失函数和第二损失函数，共同更新初始图像去雾模型的网络参数，这样可以提高图像去雾模型的准确度，使得后续基于图像去雾模型对雾气图像进行去雾处理时，可以提高处理结果的准确度。

在通过上述任一实施例，训练得到用于进行去雾处理的图像去雾模型后，就可以采用该图像去雾模型对雾气图像进行去雾处理，即雾气图像的应用过程，具体可参见下述图9所示的实施例四。

实施例四

图9是根据本公开第四实施例提供的图像去雾方法的流程示意图，该图像去雾方法可以由软件和/或硬件装置执行，例如，该硬件装置可以为终端或者服务器。示例的，请参见图9所示，该图像去雾方法可以包括：

S901、获取待处理雾气图像。

示例的，在获取待处理雾气图像时，可以直接接收用户输入的待处理雾气图像，也可以接收其它电子设备发送的待处理雾气图像，也可以从本地存储中获取待处理雾气图像，也可以通过其它方式获取待处理雾气图像，具体可以根据实际需要进行设置，在此，对于待处理雾气图像的获取方法，本公开实施例不做具体限制。

在获取到待处理雾气图像后，就可以将该待处理雾气图像输入至图像去雾模型中，得到待处理雾气图像对应的清晰图像，即执行下述S902：

S902、将待处理雾气图像输入至图像去雾模型中，得到待处理雾气图像对应的清晰图像。

其中，图像去雾模型为根据各图像样本对中的雾气图像和各图像样本对对应的输出结果，构造的各图像样本对对应的第一损失函数，及根据各图像样本对中的预设清晰图像和各图像样本对对应的输出结果中的预测清晰图像，构造的各图像样本对对应的第二损失函数训练得到的。

需要说明的是，本公开实施例中，图像去雾模型的训练方法可参见上述任一实施例中的相关描述，在此，本公开实施例不再进行赘述。

可以理解的是，在将待处理雾气图像输入至图像去雾模型后，除了可以得到待处理雾气图像对应的清晰图像之外，还可以得到该雾气图像对应的光照信息图像和雾气成分图像，这样可以为用户提供更多的参考。

可以看出，本公开实施例中，在对雾气图像进行去雾处理时，可以先获取待处理雾气图像，将待处理雾气图像输入至图像去雾模型中，得到待处理雾气图像对应的清晰图像，这样通过图像去雾模型对待处理雾气图像进行去雾处理，可以提高处理结果的准确度。

实施例五

图10是根据本公开第五实施例提供的图像去雾模型的训练装置100的结构示意图，示例的，请参见图10所示，该图像去雾模型的训练装置100可以包括：

获取单元1001，用于获取多个图像样本对，其中，各图像样本对包括雾气图像和雾气图像对应的预设清晰图像。

处理单元1002，用于将各图像样本对中的雾气图像输入至初始图像去雾模型中，得到各图像样本对对应的输出结果；其中，输出结果包括雾气图像对应的光照信息图像、雾气成分图像、以及预测清晰图像。

构造单元1003，用于根据各图像样本对中的雾气图像和各图像样本对对应的输出结果，构造各图像样本对对应的第一损失函数，并根据各图像样本对中的预设清晰图像和各图像样本对对应的输出结果中的预测清晰图像，构造各图像样本对对应的第二损失函数。

更新单元1004，用于根据各图像样本对对应的第一损失函数和第二损失函数，更新初始图像去雾模型的网络参数。

可选的，初始图像去雾模型包括一个下采样网络和三个上采样网络；处理单元1002包括第一处理模块和第二处理模块。

第一处理模块，用于将各图像样本中的雾气图像输入至初始图像去雾模型中，通过下采样网络进行编码处理，得到各雾气图像对应的特征图。

第二处理模块，用于分别通过三个上采样网络对各雾气图像对应的特征图进行解码处理，得到各图像样本对对应的输出结果。

可选的，第二处理模块包括第一处理子模块和第二处理子模块。

第一处理子模块，用于对各雾气图像对应的特征图进行增强处理，得到各雾气图像对应的目标特征图。

第二处理子模块，用于分别通过三个上采样网络对各雾气图像对应的目标特征图进行解码处理，得到各图像样本对对应的输出结果。

可选的，第一处理子模块，具体用于确定各雾气图像对应的特征图中的通道特征和像素特征；并对各雾气图像对应的特征图中的通道特征和像素特征分别进行增强处理，得到各雾气图像对应的目标特征图。

可选的，构造单元1003包括第一构造模块和第二构造模块；

第一构造模块，用于根据各图像样本对对应的输出结果中的光照信息图像、雾气成分图像、以及预测清晰图像，重构各图像样本对对应的重构雾气图像。

第二构造模块，用于根据各图像样本对中的雾气图像和其对应的重构雾气图像，构造各图像样本对对应的第一损失函数。

可选的，更新单元1004包括第一更新模块和第二更新模块。

第一更新模块，用于根据各图像样本对对应的第一损失函数和第二损失函数，确定各图像样本对对应的损失函数。

第二更新模块，用于根据各图像样本对对应的损失函数，更新初始图像去雾模型的网络参数。

可选的，第二更新模块包括第一更新子模块和第二更新子模块。

第一更新子模块，用于根据各图像样本对对应的损失函数，确定多个图像样本对对应的平均损失函数。

第二更新子模块，用于根据平均损失函数，更新初始图像去雾模型的网络参数。

本公开实施例提供的图像去雾模型的训练装置100，可以执行上述任一实施例所示的图像去雾模型的训练方法的技术方案，其实现原理以及有益效果与图像去雾模型的训练方法的实现原理及有益效果类似，可参见图像去雾模型的训练方法的实现原理及有益效果，此处不再进行赘述。

实施例六

图11是根据本公开第六实施例提供的图像去雾装置110的结构示意图，示例的，请参见图11所示，该图像去雾装置110可以包括：

获取单元1101，用于获取待处理雾气图像。

处理单元1102，用于将待处理雾气图像输入至图像去雾模型中，得到待处理雾气图像对应的清晰图像。

其中，图像去雾模型为根据各图像样本对中的雾气图像和各图像样本对对应的输出结果，构造的各图像样本对对应的第一损失函数，及根据各图像样本对中的预设清晰图像和各图像样本对对应的输出结果中的预测清晰图像，构造的各图像样本对对应的第二损失函数训练得到的。

本公开实施例提供的图像去雾装置110，可以执行上述实施例所示的图像去雾方法的技术方案，其实现原理以及有益效果与图像去雾方法的实现原理及有益效果类似，可参见图像去雾方法的实现原理及有益效果，此处不再进行赘述。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。

图12是本公开实施例提供的一种电子设备120的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图12所示，设备120包括计算单元1201，其可以根据存储在只读存储器(ROM)1202中的计算机程序或者从存储单元1208加载到随机访问存储器(RAM)1203中的计算机程序，来执行各种适当的动作和处理。在RAM 1203中，还可存储设备120操作所需的各种程序和数据。计算单元1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。

设备120中的多个部件连接至I/O接口1205，包括：输入单元1206，例如键盘、鼠标等；输出单元1207，例如各种类型的显示器、扬声器等；存储单元1208，例如磁盘、光盘等；以及通信单元1209，例如网卡、调制解调器、无线通信收发机等。通信单元1209允许设备120通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1201的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1201执行上文所描述的各个方法和处理，例如图像去雾模型的训练方法或者图像去雾方法。例如，在一些实施例中，图像去雾模型的训练方法或者图像去雾方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1208。在一些实施例中，计算机程序的部分或者全部可以经由ROM1202和/或通信单元1209而被载入和/或安装到设备120上。当计算机程序加载到RAM 1203并由计算单元1201执行时，可以执行上文描述的图像去雾模型的训练方法或者图像去雾方法的一个或多个步骤。备选地，在其他实施例中，计算单元1201可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像去雾模型的训练方法或者图像去雾方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (19)

1.一种图像去雾模型的训练方法，包括：

获取多个图像样本对，其中，各图像样本对包括雾气图像和所述雾气图像对应的预设清晰图像；

将所述各图像样本对中的雾气图像输入至初始图像去雾模型中，得到所述各图像样本对对应的输出结果；其中，所述输出结果包括所述雾气图像对应的光照信息图像、雾气成分图像、以及预测清晰图像；

根据各图像样本对中的雾气图像和所述各图像样本对对应的输出结果，构造所述各图像样本对对应的第一损失函数，并根据所述各图像样本对中的预设清晰图像和所述各图像样本对对应的输出结果中的预测清晰图像，构造所述各图像样本对对应的第二损失函数；

根据所述各图像样本对对应的第一损失函数和第二损失函数，更新初始图像去雾模型的网络参数。

2.根据权利要求1所述的方法，其中，所述初始图像去雾模型包括一个下采样网络和三个上采样网络；

将所述各图像样本中的雾气图像输入至初始图像去雾模型中，得到所述各图像样本对对应的输出结果，包括：

将所述各图像样本中的雾气图像输入至所述初始图像去雾模型中，通过所述下采样网络进行编码处理，得到各雾气图像对应的特征图；

分别通过三个上采样网络对所述各雾气图像对应的特征图进行解码处理，得到所述各图像样本对对应的输出结果。

3.根据权利要求2所述的方法，其中，所述分别通过三个上采样网络对所述各雾气图像对应的特征图进行解码处理，得到所述各图像样本对对应的输出结果，包括：

对所述各雾气图像对应的特征图进行增强处理，得到所述各雾气图像对应的目标特征图；

分别通过所述三个上采样网络对所述各雾气图像对应的目标特征图进行解码处理，得到所述各图像样本对对应的输出结果。

4.根据权利要求3所述的方法，其中，所述对所述各雾气图像对应的特征图进行增强处理，得到所述各雾气图像对应的目标特征图，包括：

确定所述各雾气图像对应的特征图中的通道特征和像素特征；

对所述各雾气图像对应的特征图中的通道特征和像素特征分别进行增强处理，得到所述各雾气图像对应的目标特征图。

5.根据权利要求1-4任一项所述的方法，其中，所述根据各图像样本对中的雾气图像和所述各图像样本对对应的输出结果，构造所述各图像样本对对应的第一损失函数，包括：

根据所述各图像样本对对应的输出结果中的光照信息图像、雾气成分图像、以及预测清晰图像，重构所述各图像样本对对应的重构雾气图像；

根据所述各图像样本对中的雾气图像和其对应的重构雾气图像，构造所述各图像样本对对应的第一损失函数。

6.根据权利要求1-5任一项所述的方法，其中，所述根据所述各图像样本对对应的第一损失函数和第二损失函数，更新初始图像去雾模型的网络参数，包括：

根据所述各图像样本对对应的第一损失函数和第二损失函数，确定所述各图像样本对对应的损失函数；

根据所述各图像样本对对应的损失函数，更新所述初始图像去雾模型的网络参数。

7.根据权利要求6所述的方法，其中，所述根据所述各图像样本对对应的损失函数，更新所述初始图像去雾模型的网络参数，包括：

根据所述各图像样本对对应的损失函数，确定所述多个图像样本对对应的平均损失函数；

根据所述平均损失函数，更新所述初始图像去雾模型的网络参数。

8.一种图像去雾方法，包括：

获取待处理雾气图像；

将所述待处理雾气图像输入至图像去雾模型中，得到所述待处理雾气图像对应的清晰图像；

其中，所述图像去雾模型为根据各图像样本对中的雾气图像和各图像样本对对应的输出结果，构造的所述各图像样本对对应的第一损失函数，及根据所述各图像样本对中的预设清晰图像和所述各图像样本对对应的输出结果中的预测清晰图像，构造的所述各图像样本对对应的第二损失函数训练得到的。

9.一种图像去雾模型的训练装置，包括：

获取单元，用于获取多个图像样本对，其中，各图像样本对包括雾气图像和所述雾气图像对应的预设清晰图像；

处理单元，用于将所述各图像样本对中的雾气图像输入至初始图像去雾模型中，得到所述各图像样本对对应的输出结果；其中，所述输出结果包括所述雾气图像对应的光照信息图像、雾气成分图像、以及预测清晰图像；

构造单元，用于根据各图像样本对中的雾气图像和所述各图像样本对对应的输出结果，构造所述各图像样本对对应的第一损失函数，并根据所述各图像样本对中的预设清晰图像和所述各图像样本对对应的输出结果中的预测清晰图像，构造所述各图像样本对对应的第二损失函数；

更新单元，用于根据所述各图像样本对对应的第一损失函数和第二损失函数，更新初始图像去雾模型的网络参数。

10.根据权利要求9所述的装置，其中，所述初始图像去雾模型包括一个下采样网络和三个上采样网络；所述处理单元包括第一处理模块和第二处理模块；

所述第一处理模块，用于将所述各图像样本中的雾气图像输入至所述初始图像去雾模型中，通过所述下采样网络进行编码处理，得到各雾气图像对应的特征图；

所述第二处理模块，用于分别通过三个上采样网络对所述各雾气图像对应的特征图进行解码处理，得到所述各图像样本对对应的输出结果。

11.根据权利要求10所述的装置，其中，所述第二处理模块包括第一处理子模块和第二处理子模块；

所述第一处理子模块，用于对所述各雾气图像对应的特征图进行增强处理，得到所述各雾气图像对应的目标特征图；

所述第二处理子模块，用于分别通过所述三个上采样网络对所述各雾气图像对应的目标特征图进行解码处理，得到所述各图像样本对对应的输出结果。

12.根据权利要求11所述的装置，

所述第一处理子模块，具体用于确定所述各雾气图像对应的特征图中的通道特征和像素特征；并对所述各雾气图像对应的特征图中的通道特征和像素特征分别进行增强处理，得到所述各雾气图像对应的目标特征图。

13.根据权利要求9-12任一项所述的装置，其中，所述构造单元包括第一构造模块和第二构造模块；

所述第一构造模块，用于根据所述各图像样本对对应的输出结果中的光照信息图像、雾气成分图像、以及预测清晰图像，重构所述各图像样本对对应的重构雾气图像；

所述第二构造模块，用于根据所述各图像样本对中的雾气图像和其对应的重构雾气图像，构造所述各图像样本对对应的第一损失函数。

14.根据权利要求9-13任一项所述的装置，其中，所述更新单元包括第一更新模块和第二更新模块；

所述第一更新模块，用于根据所述各图像样本对对应的第一损失函数和第二损失函数，确定所述各图像样本对对应的损失函数；

所述第二更新模块，用于根据所述各图像样本对对应的损失函数，更新所述初始图像去雾模型的网络参数。

15.根据权利要求14所述的装置，其中，所述第二更新模块包括第一更新子模块和第二更新子模块；

所述第一更新子模块，用于根据所述各图像样本对对应的损失函数，确定所述多个图像样本对对应的平均损失函数；

所述第二更新子模块，用于根据所述平均损失函数，更新所述初始图像去雾模型的网络参数。

16.一种图像去雾装置，包括：

获取单元，用于获取待处理雾气图像；

处理单元，用于将所述待处理雾气图像输入至图像去雾模型中，得到所述待处理雾气图像对应的清晰图像；

其中，所述图像去雾模型为根据各图像样本对中的雾气图像和各图像样本对对应的输出结果，构造的所述各图像样本对对应的第一损失函数，及根据所述各图像样本对中的预设清晰图像和所述各图像样本对对应的输出结果中的预测清晰图像，构造的所述各图像样本对对应的第二损失函数训练得到的。

17.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的图像去雾模型的训练方法，或者，执行权利要求8所述的图像去雾方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的图像去雾模型的训练方法；或者，执行权利要求8所述的图像去雾方法。

19.一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-7中任一项所述的图像去雾模型的训练方法的步骤；或者，实现权利要求8所述的图像去雾方法的步骤。

Images