CN116071268B - 基于对比学习的图像去光照模型及其训练方法 - Google Patents

Abstract

本发明公开了一种基于对比学习的图像去光照模型及其训练方法，属于图像处理技术领域。所述训练方法包括：基于对比学习损失函数，以对比学习的方式训练编码器；构建整体网络，并基于L1损失函数和频率损失函数对整体网络进行训练得到图像去光照装置；其中，所述整体网络包括特征提取网络和图像重建网络，所述特征提取网络由所述编码器构成，所述特征提取网络用于提取待去光照图像的图像特征，所述图像重建网络用于根据所述图像特征生成卷积内核、以及根据所述卷积内核重建图像。本发明将对比学习思想和频率损失函数应用于图像去光照领域，在保留正常图像频率的同时滤除无用的噪声。

Description

基于对比学习的图像去光照模型及其训练方法

技术领域

本发明属于图像处理技术领域，特别是涉及一种基于对比学习的图像去光照模型及其训练方法。

背景技术

在复杂光照环境下，摄像头捕捉到的图像存在曝光不足(或过度)、光照分布不均、细节丧失、对比度模糊、噪声过多等诸多缺陷。这些缺陷不仅会影响图像的视觉效果，还可能损害为正常光照图像设计的相关算法的性能，如目标检测、识别和跟踪等。基于深度学习的图像去光照技术可以修复复杂光照条件下受光照影响的图像，提高基于该图像的下游算法性能，是计算机视觉领域的重要预处理算法。

经过学术界和企业界人员的不懈努力，近年来光照增强技术已有显著进步。深度学习的方法被广泛运用于该领域，并得到了较好的增强结果。首先，在深度学习网络中，对复杂光照下图像的特征进行准确提取是十分重要的，准确的特征信息能够有针对性的指导图像高质量重建，但是当前广泛使用的方法对于特征提取不够准确。另外，当前主流的光照增强技术使用的像素级损失函数(L1、L2损失函数)无法准确的滤除图像噪声，这极大影响了重建图像的精度。最后，图像光照分布不均衡的现象也是影响光照增强的一个巨大难题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于对比学习的图像去光照模型及其训练方法。

本发明的目的是通过以下技术方案来实现的：

根据本发明的第一方面，基于对比学习的图像去光照模型的训练方法，包括：

基于对比学习损失函数，以对比学习的方式训练编码器；

构建整体网络，并基于L1损失函数和频率损失函数对整体网络进行训练得到图像去光照装置；

其中，所述整体网络包括特征提取网络和图像重建网络，所述特征提取网络由所述编码器构成，所述特征提取网络用于提取待去光照图像的图像特征，所述图像重建网络用于根据所述图像特征生成卷积内核、以及根据所述卷积内核重建图像。

进一步地，所述对比学习损失函数为：

式中，

表示对比学习损失函数，p是基础图像特征，k₊是正样本特征，k_queue代表队列中所有正负样本的特征，/>

为温度超参数，B为每批次输入网络模型中的图像数量。

进一步地，所述频率损失函数为：

式中，M为图像像素行数，N为列数；

其中，

式中，FFL表示频率损失函数，w(u,v)是权重系数，(x,y)表示像素在空间域中的坐标，（u，v）表示频谱上空间频率的坐标，F(u，v)为复频率值，e为Euler数，i为虚单位，

为生成图像的单个频域值，/>

为标签图像对应的单个频域值，α为缩放因子；/>

分别表示频域空间(u,v为横纵坐标轴)内的向量，即为频域空间内/>

和

的向量表达；/>

表示频域内重建图像和标准图像之间的向量距离。

进一步地，所述L1损失函数为：

式中，

表示L1损失函数，/>

为重建图像像素值，/>

为标准图像像素值。

进一步地，所述图像去光照模型的整体损失函数为：

式中，Loss表示整体损失函数，

表示对比学习损失函数，/>

表示L1损失函数，FFL表示频率损失函数，w₁为L1损失函数的权重，w₂为频率损失函数的权重。

进一步地，所述图像重建网络包括若干个残差组，所述残差组由若干个特征感知网络串联后加一个3*3的卷积层构成。

进一步地，所述图像重建网络具体用于对待去光照图像进行基于自感知权重机制的预处理，根据所述图像特征生成卷积内核，根据所述卷积内核重建图像，以及对重建图像进行基于自感知权重机制的预处理。

进一步地，所述基于自感知权重机制的预处理包括：

将待预处理的图像转化为灰度图；

利用255减去所述灰度图得到灰度权重图；

将灰度权重图乘以待预处理的图像得到预处理后的图像。

进一步地，将待预处理的图像转化为灰度图，包括：

利用浮点法将待预处理的图像转化为灰度图。

根据本发明的第二方面，基于对比学习的图像去光照模型，所述图像去光照模型由本发明的第一方面所述的训练方法训练得到。

本发明的有益效果是：本发明将对比学习思想和频率损失函数应用于图像去光照领域，使用对比学习可以更充分的利用数据本身的特性，实现对图像光照特征的准确表征；频率损失函数可以在重建图像过程中对深度学习网络进行约束，在保留正常图像频率的同时滤除无用的噪声，从而解决了像素级损失函数带来的无法滤除噪声的问题。同时，本发明还采用基于灰度图的自感知权重机制，缓解了图像中常见的光照分布不均衡的现象。

附图说明

图1为本发明中训练方法的一种实施例的流程图；

图2为本发明中图像去光照模型的一个实施例的架构图；

图3为本发明中特征提取网络中编码器的一个预训练实例的架构图；

图4为本发明中特征感知网络的一个实施例的架构图；

图5为本发明中自感知权重机制的操作原理图。

具体实施方式

下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1-图5，本实施例提供了一种基于对比学习的图像去光照模型及其训练方法：

本发明的第一方面提供了一种基于对比学习的图像去光照模型的训练方法。如图1所示，所述训练方法包括步骤S100和步骤S200，以下详细说明。

步骤S100.基于对比学习损失函数，以对比学习的方式训练编码器。

对比学习损失函数迫使特征提取网络中的正样本特征尽量相似，负样本特征尽量不同，以此训练出可以准确提取重建图像所需的图像特征的编码器。

对比学习需要在数据集中构建正负样本对，并在特征空间中对正负样本进行度量。本实施例在设定，同一张图像中光照特征基本相同，不同图像中的光照特征不同。因此，可在同一张受光照影响图像中截取两小张图像（图像块），一张作为基础图像，另一张作为正样本，其他图像截取的图像块全部作为负样本。将所有小块图像输入编码器(Encoder)中，将正负样本的特征存入一个队列中，其中正样本特征为k₊,负样本特征为k_1,k2, k3……(详见图3)。让同一张图像截取的两小张图像在特征空间中距离尽可能小，不同图像截取的图像块在特征空间中距离尽可能大，以此来提高网络模型对不同光照特征的敏感度，有利于学习到更泛化的光照特征。

在一些实施例中，所述对比学习损失函数为：

式中，

表示对比学习损失函数，p是基础图像特征，k₊是正样本特征，k_queue代表队列中所有正负样本的特征，/>

为温度超参数，温度超参数应用于softmax以影响特征乘积的概率大小，本实施例中温度超参数固定为0.07，B为每批次输入网络模型中的图像数量。

在本实施例中的对比学习损失函数中，分子为一个指数函数，指数函数的幂为基础图像特征和正样本特征相乘后除以温度超参数；分母为一系列指数函数求和，指数函数的幂为基础图像特征和队列中所有正负样本各自相乘后除以温度超参数，该对比学习损失函数越小说明在特征空间内基础图像特征与正样本特征越相似，与负样本特征差异越大，即表明编码器可以很好的提取泛化的图像光照特征。

步骤S200.构建整体网络，并基于L1损失函数和频率损失函数对整体网络进行训练得到图像去光照装置。

所述整体网络包括特征提取网络和图像重建网络，如图2所示。

如图3所示，所述特征提取网络由所述编码器构成，编码器的预训练网络如图3所示，所述特征提取网络用于提取待去光照图像的图像特征。在一些实施例中，所述编码器包含六个卷积层和一个平均池化层组成。

所述图像重建网络用于根据所述图像特征生成卷积内核、以及根据所述卷积内核重建图像。

在一些实施例中，所述图像重建网络包括若干个串联的残差组(ResidualGroup)，所述残差组由若干个特征感知网络串联后加一个3*3的卷积层构成。例如，图像重建网络由3个残差组串联构成，所述残差组由3个特征感知网络串联后加一个3*3的卷积层构成。

如图2所示，残差组是以残差结构组成，在三个残差组外仍然采用了残差组结构，即，图像重建网络运用了残差套残差的结构，这种结构可以显著提高深层网络的训练效果。

如图4所示，特征感知网络主要由特征感知卷积层组成，例如由两个卷积层嵌套串联两个3*3卷积层后以残差结构构成。特征感知网络主要有两个功能：1、将特征提取网络所提取的图像特征编码为3*3*C(C为通道)的卷积内核(如图4中的W)，每个卷积内核与待去光照图像(F0)卷积后可重建部分图像；2、将特征提取网络所提取的图像特征编码为1*1*C通道权重参数，用以调整重建图像各通道的权重。特征感知网络主要由线性层、激活函数和形变函数组成，线性层主要是对输入数据R进行线性变换，将输入向量映射到输出向量；激活函数具体采用Sigmoid函数，该函数是一种常用的非线性激活函数，它将输入值映射到0到1之间的输出值。此外，变形函数采用reshape函数重塑特征形状。

在图像重建网络中，特征感知子网络依次首尾相连，构成图像重建网络的主体结构，第一个特征感知网络（FA Network）的输入为特征提取网络所提取的图像特征(图4中的R)和经过处理后的复杂光照下图像(图4中F0)，其输出是部分重建后的特征(图4中F1)。

本实施例中，进行图像去光照模型的训练时，首先采用对比学习训练特征提取编码器(训练网络为图3所示网络)，训练好后保存编码器参数，并将其放入整体网络(图2中编码器位置)中进行端到端的训练。

本实施例中，L1损失函数主要作用为约束图像重建网络对图像进行像素重建。

在一些实施例中，所述L1损失函数为：

式中，

表示L1损失函数，/>

为重建图像像素值，/>

为标准图像像素值，n为图像像素总个数。

即，单个像素相减求模后再求取均值，即为L1损失函数，L1损失函数可以理解为重建图像和标准图像对应像素的平均绝对误差。

本实施例中，频率损失函数能够在图像频域上有效的滤除噪声频率，从而弥补了L1函数不能识别噪声的缺陷。

在一些实施例中，所述频率损失函数为：

式中，FFL表示频率损失函数，M为图像像素行数，N为列数，w(u,v)是权重系数，

为生成图像的单个频域值，/>

为标签图像对应的单个频域值。例如：像素为400*600的图像M=400，N=600。

本实施例中频率损失函数的求取方法为：图像的频率域是指对图像做二维离散傅里叶变换后图像由空间域转换到频域上的表达，二维离散傅里叶变换如公式(4)所示。

式中，(x, y)表示像素在空间域中的坐标，（u, v）表示频谱上空间频率的坐标，F(u, v)为复频率值，e为Euler数，i为虚单位。

基于公式(4)和欧拉公式可将生成图像的单个频域值

视作复频域内的一个二维向量，与标签图像对应的单个频域值 />

的差异可以用公式(5)表示。将所有的单个频率方差相加求均值后可得到频率损失(Focal Frequency Loss, FFL)函数，其中w(u,v)是权重系数，可由(6)求取, α为缩放因子，α用于根据训练结果调节权重w(u,v)的大小；/>

分别表示频域空间(u,v为横纵坐标轴)内的向量，即为频域空间内/>

和

的向量表达；/>

表示频域内重建图像和标准图像之间的向量距离。

本实施例中采用频域损失函数不仅可以有效消除复杂光照图像中的噪声，而且还可以补充细化图像所需的频率信号，从而得到高质量的正常光照图像。

因此，所述图像去光照模型的整体损失函数为：

式中，Loss表示整体损失函数，

表示对比学习损失函数，/>

表示L1损失函数，FFL表示频率损失函数，w₁为L1损失函数的权重，w₂为频率损失函数的权重。

在一些实施例中，所述图像重建网络具体用于对待去光照图像进行基于自感知权重机制的预处理，根据所述图像特征生成卷积内核，根据所述卷积内核重建图像，以及对重建图像进行基于自感知权重机制的预处理。

具体的，如图5所示，所述基于自感知权重机制的预处理包括：将待预处理的图像转化为灰度图；利用255减去所述灰度图得到灰度权重图；将灰度权重图乘以待预处理的图像得到预处理后的图像。

由于灰度图可以准确的表示图像的亮度，因此基于灰度图的灰度权重图在光照越强的位置值会越小，反之值越大。

由于图像中的颜色差异导致其像素值大小不一，颜色深的区域受到弱光的影响较小而受到强光的影响较大，颜色浅的区域受到强光的影响较小而受到弱光影响较大。因此，即使同一光照条件下，由于图像本身像素值的差异，导致其受到光照影响是不一样的，也就是说同一张图像，并非所有的区域受到同一光照影响都是一样的。本实施例通过在重构网络的输入和输出端各自增加自感知权重机制，有效的解决了复杂光照下图像常见的光照不均衡问题。

在一些实施例中，将待预处理的图像转化为灰度图，包括：利用浮点法将待预处理的图像转化为灰度图，转换公式为：

式中，R、G、B分别为图像三通道红、绿、蓝的像素值。

本发明的第二方面提供了一种基于对比学习的图像去光照模型，所述图像去光照模型由本发明的第一方面所述的训练方法训练得到。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (7)

1.基于对比学习的图像去光照模型的训练方法，其特征在于，包括：

基于对比学习损失函数，以对比学习的方式训练编码器；

构建整体网络，并基于L1损失函数和频率损失函数对整体网络进行训练得到图像去光照装置；

其中，所述整体网络包括特征提取网络和图像重建网络，所述特征提取网络由所述编码器构成，所述特征提取网络用于提取待去光照图像的图像特征，所述图像重建网络用于根据所述图像特征生成卷积内核、以及根据所述卷积内核重建图像；

所述对比学习损失函数为：

式中，

表示对比学习损失函数，p是基础图像特征，k₊是正样本特征，k_queue代表队列中所有正负样本的特征，/>

为温度超参数，B为每批次输入网络模型中的图像数量；

所述频率损失函数为：

式中，M为图像像素行数，N为列数；

其中，

式中，FFL表示频率损失函数，w(u,v)是权重系数，(x,y)表示像素在空间域中的坐标，（u，v）表示频谱上空间频率的坐标，F(u，v)为复频率值，e为Euler数，i为虚单位，

为生成图像的单个频域值，/>

为标签图像对应的单个频域值，α为缩放因子； />

分别表示频域空间内的向量，u,v为横纵坐标轴，即为频域空间内/>

和

的向量表达；/>

表示频域内重建图像和标准图像之间的向量距离。

2.根据权利要求1所述的基于对比学习的图像去光照模型的训练方法，其特征在于，所述L1损失函数为：

式中，

表示L1损失函数，/>

为重建图像像素值，/>

为标准图像像素值，n为一张图像中像素总数。

3.根据权利要求1所述的基于对比学习的图像去光照模型的训练方法，其特征在于，所述图像去光照模型的整体损失函数为：

式中，Loss表示整体损失函数，

表示对比学习损失函数，/>

表示L1损失函数，FFL表示频率损失函数，w₁ 为L1损失函数的权重，w₂ 为频率损失函数的权重。

4.根据权利要求1所述的基于对比学习的图像去光照模型的训练方法，其特征在于，所述图像重建网络包括若干个残差组，所述残差组由若干个特征感知网络串联后加一个3*3的卷积层构成。

5.根据权利要求1所述的基于对比学习的图像去光照模型的训练方法，其特征在于，所述图像重建网络具体用于对待去光照图像进行基于自感知权重机制的预处理，根据所述图像特征生成卷积内核，根据所述卷积内核重建图像，以及对重建图像进行基于自感知权重机制的预处理。

6.根据权利要求5所述的基于对比学习的图像去光照模型的训练方法，其特征在于，所述基于自感知权重机制的预处理包括：

将待预处理的图像转化为灰度图；

利用255减去所述灰度图得到灰度权重图；

将灰度权重图乘以待预处理的图像得到预处理后的图像。

7.根据权利要求6所述的基于对比学习的图像去光照模型的训练方法，其特征在于，将待预处理的图像转化为灰度图，包括：

利用浮点法将待预处理的图像转化为灰度图。

Images