CN113393386B - 一种基于特征解耦的非成对图像对比去雾方法 - Google Patents

Abstract

本发明公开了一种基于特征解耦的非成对图像对比去雾方法，包括，采用提取特征并进行对比学习，能有效的在非成对场景下实现图像去雾。本发明方法能够在缺乏同场景下成对的雾天和清晰的户外图像作为训练样本的情况下，充分考虑单方向的图像生成，利用图像本身的自我监督信息来有效的提升非成对的图像去雾效果，提出了基于特征解耦的对比去雾方法来解决非成对去雾问题，它可以在非成对场景下有效地实现图像去雾。

Description

一种基于特征解耦的非成对图像对比去雾方法

技术领域

本发明涉及图像去雾技术领域，具体涉及一种基于特征解耦的非成对图像对比去雾方法，该方法可以在非成对雾天场景数据集下实现图像去雾。

背景技术

在雾天条件下，由于大气气溶胶粒子的散射，图像的能见度严重下降，雾因子除了会引起图像视觉观感的下降之外，同时被雾遮挡的图像往往会影响检测，分割等高级任务的精度，这极大地限制了图像的应用价值。另外在现实世界中，我们很难获取成对的有雾图片和清晰图片，由于缺乏同场景下成对的雾天和清晰的户外图像作为训练样本，导致基于学习的方法去除雾的能力有限，因此非成对单幅图像去雾在计算机视觉中至关重要。

现有的基于学习的去雾方法往往需要同场景下成对的雾天和清晰的户外图像作为训练样本，这在现实中是很难获取，现有的非成对去雾方法大多数利用循环一致性的方案使得数据集的有雾图片生成去雾图片，然后再利用去雾图片去生成有雾图片，对前后的有雾图片进行内容一致性约束，同时数据集中的清晰图片也进行相似的操作。这种双向领域的图像生成方法会造成训练成本的增加，另外循环一致性假设有雾领域和清晰领域之间的关系是一种双射关系，由于没有惩罚有雾图像和去雾图像之间的内容差异，循环一致性产生的结果可能会遭受到生成内容的扭曲。因此亟需在缺乏同场景下成对的雾天和清晰的户外图像作为训练样本，还能有效的提升非成对的图像去雾效果的方法。

发明内容

为解决现有技术中存在的问题，本发明提供了一种基于特征解耦的非成对图像对比去雾方法，充分考虑单方向的图像生成，利用图像本身的自我监督信息来有效的提升非成对的图像去雾效果，解决了上述背景技术中提到的问题。

为实现上述目的，本发明提供如下技术方案：一种基于特征解耦的非成对图像对比去雾方法，包括如下步骤：

S1、利用内容编码器HC和雾编码器HS对输入的有雾图片进行特征上的解耦，内容编码器HC输出的内容编码经过清晰编码器CD解码后输出去雾图片；

S2、通过内容编码器CC对输入的清晰图片进行内容编码，再利用雾编码器HS对输入的有雾图片进行雾分布编码，将清晰图片的内容编码和有雾图片的雾分布编码进行合并，通过雾解码器HD生成相应雾分布的有雾图片；

S3、采用生成对抗损失函数Adv1_loss，使生成的去雾图片和数据集中非成对的清晰图片的分布一致，再通过判别器1来判断，判断生成的去雾图片属于真的清晰图片还是假的清晰图片；

S4、采用生成对抗损失函数Adv2_loss，使生成的有雾图片和数据集中非成对的有雾图片的分布一致，再通过判别器2来判断，判断生成的有雾图片属于真的有雾图片还是假的有雾图片；

S5、利用内容编码器HC提取有雾图片和生成的有雾图片的特征，利用内容编码器CC提取清晰图片和生成的去雾图片的特征，对提取的相应特征进行内容对比学习，通过最大化输入输出图像对应块之间的内容互信息来约束有雾图片和去雾图片以及清晰图片和生成有雾图片内容的一致性；

S6、利用雾编码器HS提取有雾图片、去雾图片、清晰图片以及生成的有雾图片的特征，对提取的相应特征进行领域对比学习，通过最大化同一图片块之间的领域互信息来约束有雾图片和去雾图片以及清晰图片和生成有雾图片领域的差异性。

优选的，所述步骤S1中内容编码器HC输出的特征更关注于有雾图片的内容，雾编码器HS输出的特征关注于有雾图片的雾分布。

优选的，所述步骤S3和步骤S4中的对抗损失函数Adv1_loss和Adv2_loss表达式如下：

Adv1_loss(G₁,D₁,X,Y)＝E_y～Y(logD₁(y))+E_x～X(1-D₁(G₁(x)))，

Adv2_loss(G₂,D₂,X,Y)＝E_x～X(logD₂(x))+E_y～Y(1-D₂(G₂(y)))。

优选的，所述步骤S5中的提取特征和内容对比学习具体是指：采样去雾图片

中的某个图像块当成参考样本并用内容编码器CC提取相应特征v，用内容编码器HC提取有雾图片x上的相同位置上的图像块特征作为正样本v⁺，在有雾图片上其他位置随机采样N个图像块特征作为负样本v^-，采用内容对比学习损失函数Content1_contrast，最小化参考样本与正样本之间的距离，最大化参考样本和负样本的距离，在特征解耦的引导下，提供有雾图片和去雾图片相同位置内容一致的正则约束；同样的，对清晰图片和生成的有雾图片进行内容对比学习Content2_contrast，提供清晰图片和生成有雾图片相同位置内容一致的正则约束。

优选的，所述步骤S6中的提取特征和领域对比学习具体是指：采样去雾图片

中的某个图像块当成参考样本并用雾编码器HS提取相应特征z，同一张图片上的其他某个图像块的特征作为正样本z⁺，在有雾图片上随机采样N个图像块，利用雾编码器HS提取特征作为负样本z^-，针对有雾和去雾图片领域之间的差异，采用领域对比学习损失函数Domain1_contrast，最小化参考样本与正样本之间的距离，最大化参考样本和负样本的距离，使编码器可以对捕捉不同领域的差异，同时引导两个领域的内容特征进行更好的解耦；同样的，对清晰图片和生成的有雾图片用雾编码器HS提取相应特征并进行领域对比学习Domain2_contrast。

优选的，所述步骤S5的内容对比学习损失函数Content_contrast和步骤S6中的领域对比学习损失函数Domain_contrast表达式如下：

本发明的有益效果是：本发明方法能够在缺乏同场景下成对的雾天和清晰的户外图像作为训练样本的情况下，充分考虑单方向的图像生成，利用图像本身的自我监督信息来有效的提升非成对的图像去雾效果，提出了基于特征解耦的对比去雾方法来解决非成对去雾问题，它可以在非成对场景下有效地实现图像去雾。

附图说明

图1(a)和图1(b)为本发明方法流程示意图；

图2为本发明内容对比学习和领域对比学习示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种技术方案：一种基于特征解耦的非成对图像对比去雾方法整体流程如图1(a)和图1(b)所示，包括如下步骤：

步骤1、利用内容编码器HC和雾编码器HS对输入的有雾图片进行特征上的解耦,内容编码器HC输出的特征更关注于有雾图片的内容，雾编码器HS输出的特征关注于有雾图片的雾分布，内容编码器HC输出的内容编码经过清晰编码器CD解码后输出去雾图片。

步骤2、由于缺乏成对的数据作为训练样本，我们利用内容编码器CC对输入的清晰图片进行内容上编码，再利用雾编码器HS对输入的有雾图片进行雾分布编码，清晰图片的内容编码和有雾图片的雾分布编码进行合并，通过雾解码器HD生成相应雾分布的有雾图片。

步骤3、采用生成对抗损失函数Adv1_loss，使生成的去雾图片和数据集中非成对的清晰图片的分布一致，再通过判别器1来判断，判断生成的去雾图片属于真的清晰图片还是假的清晰图片。

步骤4、采用生成对抗损失函数Adv2_loss，使生成的有雾图片和数据集中非成对的有雾图片的分布一致，再通过判别器2来判断，判断生成的有雾图片属于真的有雾图片还是假的有雾图片。

对抗损失函数Adv1_loss和Adv2_loss表达式如下：

Adv1_loss(G₁,D₁,X,Y)＝E_y～Y(logD₁(y))+E_x～X(1-D₁(G₁(x)))，

Adv2_loss(G₂,D₂,X,Y)＝E_x～X(logD₂(x))+E_y～Y(1-D₂(G₂(y)))，

其中，X＝{x～X}表示有雾图片集合，Y＝{y～Y}表示清晰图片集合，G₁是内容编码器HC和清晰解码器CD组成的生成器，D₁表示判别器1，G₁(x)表示生成的去雾图片

G₂是内容编码器CC,雾编码器HS和雾解码器HD组成的生成器，D₂表示判别器2，G₂(y)表示生成的有雾图片

步骤5、利用内容编码器HC提取有雾图片和生成的有雾图片的特征，利用内容编码器CC提取清晰图片和生成的去雾图片的特征，对提取的相应特征进行内容对比学习，通过最大化输入输出图像对应块之间的内容互信息来约束有雾图片和去雾图片以及清晰图片和生成有雾图片内容的一致性。

内容对比学习如图2所示，提取特征和内容对比学习具体如下：内容对比学习利用去雾图片

和有雾图片x中的图像块之间的信息关系进行自监督学习，内容对比学习采样去雾图片

中的某个图像块当成参考样本并用内容编码器CC提取相应特征v，用内容编码器HC提取有雾图片x上的相同位置上的图像块特征作为正样本v⁺，在有雾图片上其他位置随机采样N个图像块特征作为负样本v^-，采用内容对比学习损失函数Content1_contrast，最小化参考样本与正样本之间的距离，最大化参考样本和负样本的距离。在特征解耦的引导下，提供有雾图片和去雾图片相同位置内容一致的正则约束。同样的，根据以上步骤，对清晰图片和生成的有雾图片进行内容对比学习Content2_contrast，提供清晰图片和生成有雾图片相同位置内容一致的正则约束。

步骤6、利用雾编码器HS提取有雾图片、去雾图片、清晰图片以及生成的有雾图片的特征，对提取的相应特征进行领域对比学习，通过最大化同一图片块之间的领域互信息来约束有雾图片和去雾图片以及清晰图片和生成有雾图片领域的差异性。

领域对比学习如图2所示，提取特征和领域对比学习具体如下：领域对比学习采样去雾图片

中的某个图像块当成参考样本并用雾编码器HS提取相应特征z，同一张图片上的其他某个图像块的特征作为正样本z⁺，在有雾图片上随机采样N个图像块，利用雾编码器HS提取特征作为负样本z^-，考虑到有雾和去雾图片领域之间的差异，本发明提出采用领域对比学习损失函数Domain1_contrast，最小化参考样本与正样本之间的距离，最大化参考样本和负样本的距离，使得编码器可以对捕捉不同领域的差异，同时引导两个领域的内容特征进行更好的解耦；同样的，根据以上步骤，对清晰图片和生成的有雾图片用雾编码器HS提取相应特征并进行领域对比学习Domain2_contrast。

内容对比学习损失函数Content_contrast和领域对比学习损失函数Domain_contrast表达式如下：

其中，sim(v,v⁺)＝v^Tv⁺/||v||*||v⁺||，表示v和v⁺余弦相似度，n为第n个负样本对，N为总的负样本对数量。τ表示温度调节参数用来缩放参考样本特征与其他样本特征的距离。

因此，总的损失函数Total_loss表达式为：

Total_loss＝α(Adv1_loss+Adv2_loss)+β(Domain1_contrast+Content1_contrast+Domain2_contrast+Content2_contrast)

其中，α，β分别表示相应的损失函数所占的权重值，且α为1，β为0.5。

本发明方法能够在缺乏同场景下成对的雾天和清晰的户外图像作为训练样本的情况下，充分考虑单方向的图像生成，利用图像本身的自我监督信息来有效的提升非成对的图像去雾效果，提出了基于特征解耦的对比去雾方法来解决非成对去雾问题，它可以在非成对场景下有效地实现图像去雾。

尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于特征解耦的非成对图像对比去雾方法，其特征在于，包括如下步骤：

S1、利用内容编码器HC和雾编码器HS对输入的有雾图片进行特征上的解耦，内容编码器HC输出的内容编码经过清晰编码器CD解码后输出去雾图片；

S2、通过内容编码器CC对输入的清晰图片进行内容编码，再利用雾编码器HS对输入的有雾图片进行雾分布编码，将清晰图片的内容编码和有雾图片的雾分布编码进行合并，通过雾解码器HD生成相应雾分布的有雾图片；

S3、采用生成对抗损失函数Adv1_loss，使生成的去雾图片和数据集中非成对的清晰图片的分布一致，再通过判别器1来判断，判断生成的去雾图片属于真的清晰图片还是假的清晰图片；

S4、采用生成对抗损失函数Adv2_loss，使生成的有雾图片和数据集中非成对的有雾图片的分布一致，再通过判别器2来判断，判断生成的有雾图片属于真的有雾图片还是假的有雾图片；

S5、利用内容编码器HC提取有雾图片和生成的有雾图片的特征，利用内容编码器CC提取清晰图片和生成的去雾图片的特征，对提取的相应特征进行内容对比学习，通过最大化输入输出图像对应块之间的内容互信息来约束有雾图片和去雾图片以及清晰图片和生成有雾图片内容的一致性；

S6、利用雾编码器HS提取有雾图片、去雾图片、清晰图片以及生成的有雾图片的特征，对提取的相应特征进行领域对比学习，通过最大化同一图片块之间的领域互信息来约束有雾图片和去雾图片以及清晰图片和生成有雾图片领域的差异性；

所述步骤S5中的提取特征和内容对比学习具体是指：采样去雾图片

中的某个图像块当成参考样本并用内容编码器CC提取相应特征v，用内容编码器HC提取有雾图片x上的相同位置上的图像块特征作为正样本v⁺，在有雾图片上其他位置随机采样N个图像块特征作为负样本v^-，采用内容对比学习损失函数Content1_contrast，最小化参考样本与正样本之间的距离，最大化参考样本和负样本的距离，在特征解耦的引导下，提供有雾图片和去雾图片相同位置内容一致的正则约束；同样的，对清晰图片和生成的有雾图片进行内容对比学习Content2_contrast，提供清晰图片和生成有雾图片相同位置内容一致的正则约束；

所述步骤S6中的提取特征和领域对比学习具体是指：采样去雾图片

中的某个图像块当成参考样本并用雾编码器HS提取相应特征z，同一张图片上的其他某个图像块的特征作为正样本z⁺，在有雾图片上随机采样N个图像块，利用雾编码器HS提取特征作为负样本z^-，针对有雾和去雾图片领域之间的差异，采用领域对比学习损失函数Domain1_contrast，最小化参考样本与正样本之间的距离，最大化参考样本和负样本的距离，使编码器可以对捕捉不同领域的差异，同时引导两个领域的内容特征进行更好的解耦；同样的，对清晰图片和生成的有雾图片用雾编码器HS提取相应特征并进行领域对比学习Domain2_contrast；

所述步骤S5的内容对比学习损失函数Content_contrast和步骤S6中的领域对比学习损失函数Domain_contrast表达式如下：

其中，sim(v,v⁺)＝v^Tv⁺/||v||*||v⁺||，表示v和v⁺余弦相似度，n为第n个负样本对，N为总的负样本对数量，τ表示温度调节参数用来缩放参考样本特征与其他样本特征的距离。

2.根据权利要求1所述的基于特征解耦的非成对图像对比去雾方法，其特征在于：所述步骤S1中内容编码器HC输出的特征更关注于有雾图片的内容，雾编码器HS输出的特征关注于有雾图片的雾分布。

3.根据权利要求1所述的基于特征解耦的非成对图像对比去雾方法，其特征在于：所述步骤S3和步骤S4中的对抗损失函数Adv1_loss和Adv2_loss表达式如下：

Adv1_loss(G₁,D₁,X,Y)＝E_y～Y(logD₁(y))+E_x～X(1-D₁(G₁(x)))，

Adv2_loss(G₂,D₂,X,Y)＝E_x～X(logD₂(x))+E_y～Y(1-D₂(G₂(y)))；

其中，X＝{x～X}表示有雾图片集合，Y＝{y～Y}表示清晰图片集合，G₁是内容编码器HC和清晰解码器CD组成的生成器，D₁表示判别器1，G₁(x)表示生成的去雾图片

G₂是内容编码器CC,雾编码器HS和雾解码器HD组成的生成器，D₂表示判别器2，G₂(y)表示生成的有雾图片

Images