CN117541489A - 一种物理驱动的用于低光图像增强的对比学习方法 - Google Patents

Abstract

本发明公开了一种物理驱动的用于低光图像增强的对比学习方法。一、构建低光图像增强模型，获取数据集。二、使用“曲线袋”方法生成对比学习的负样本，正常光照图片作为正样本。三、输入低光/过曝图像到增强网络，得到增强后的图像作为对比学习的锚点。四、提取图像特征使用特征提取模块。五、根据特征设计不同损失函数，通过反向传播更新网络参数。六、判断是否完成对所有样本的训练和训练轮次。七、输入低光图像，输出增强后的结果。本发明将物理驱动的对比学习方法应用于低光图像增强算法。通过设计“曲线袋”方法有效生成负样本。本发明提高低光图像增强算法效果，运行速度快，适用于移动设备。

Description

一种物理驱动的用于低光图像增强的对比学习方法

技术领域

本发明涉及低光图像增强领域，主要涉及一种物理驱动的用于低光图像增强的对比学习方法。

背景技术

在低光照条件下捕获图像仍然是相机成像中误差的一个重要来源，进一步导致图像细节丢失、颜色欠饱和度、低对比度/低动态范围和不均匀曝光等问题。这种退化严重阻碍了下游视觉任务(例如语义分割和对象检测等)在基于视觉的系统中顺利运行。现有方法将低光增强视为具有三个主要挑战的映射问题。

第一、现有的基于学习的方法通常通过强监督方式，使用严格的像素对应图像对(正常图像与低光图像)对低光图像增强模型进行训练。然而，在实践中，获取高质量的像素对应图像对是具有挑战性的。

其次，为了获取像素对应的图像对，一些研究引入了对比学习用于低光图像增强，将正常光照图像作为正样本，过/欠曝光图像作为负样本来指导训练。

这些方法主要通过调整亮度直方图、应用随机光照映射或其他手动方法来模拟过/欠曝光的负样本。这些解决方案可能会导致颜色偏差或信息丢失，并且不符合底层成像的物理规律。如果希望在解除对像素对应的图像对的依赖的同时，保持与使用严格图像对的低光图像增强模型一致的性能，负样本的质量和具体的对比学习策略对低光图像增强更为重要。

第三，在低光图像增强的算法中，背景和前景的增强策略应该是不同的。在其他方法中利用语义信息来区分增强区域，并在同一语义类别内保持亮度的一致性。然而，由于语义分割是一个需要大量像素级注释的全监督训练设置，因此引入语义分割破坏了方法的普适性和灵活性。

发明内容

发明目的：针对上述背景技术中存在的问题，本发明提供了一种物理驱动的用于低光图像增强的对比学习方法.，所述方法主要有以下两个贡献点：(i)本发明设计了一种名叫"曲线袋"的解决方案，通过将底层的物理成像原理引入对比学习，压缩特征空间，并优化锚点与正负样本之间的距离，生成多样化且代表性的负样本。(ii)本发明设计了一个无监督的区域分割模块，以保持区域亮度的一致性，同时消除对语义真实性的依赖。所提出的方法可以有效地从非配对的正负样本中学习，并且平滑地实现非语义区域增强，与现有的低光增强方法明显不同。本发明在语义分割和人脸检测等下游任务上也具有一定的优势。在现有公开数据上进行的训练和广泛的实验证明，本发明在六个独立的不同场景数据集上超越了最先进的低光增强模型。本发明在测试运行时具有合理的GFLOPs，运行速度快，易于在移动设备上使用。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种物理驱动的用于低光图像增强的对比学习方法，包括以下步骤：

步骤S1、获取数据集，所述数据集内包括低光和过曝图像I_L、正常光照图像I_P，将所述数据集划分为训练集和测试集，其中将所述训练集分为两部分，第一部分是低光和过曝图像I_L，第二部分是正常光照图像I_P；

步骤S2、利用第二部分的正常光照图像I_P结合“曲线袋”方法获取对比学习模块的负样本I_N，同时将第二部分的正常光照图像I_P作为对比学习模块的正样本；

步骤S3、构建低光图像增强网络模型，将第一部分的低光和过曝图像I_L输入到低光图像增强网络模型进行图像增强得到增强后的图像I_H，将增强后的图像I_H作为对比学习模块的锚点；

步骤S4、将对比学习模块的锚点、正样本和负样本送入特征提取模块来提取三者的特征；

步骤S5、根据提取的特征设计不同的损失函数计算方法，根据反向传播更新低光图像增强网络模型的参数；

步骤S6、判断是否完成低光和过曝图像I_L的训练，是否完成所有训练轮次，最终得到训练好的低光图像增强网络模型；

步骤S7、向训练好的低光图像增强网络模型输入低光图像，输出对低光图像进行增强后的结果。

优选的，步骤S2中，“曲线袋”方法包括：首先定义三种不同的曲线：伽马校正中的伽马曲线C_g，色调映射中的S形曲线C_s和对数曲线C_l，对比学习模块的负样本I_N和三种不同的曲线之间的关系为：

I_N∈BoC＝{C_g，C_s，C_l}

其中BoC为“曲线袋”方法的英文缩写；

其中，伽马曲线C_g的表达式为：

其中，I_p为正常光照图像I_P的亮度值，γ为伽马参数，取值为0.2或8：当γ的取值为8时，生成低光图像；当γ的取值为0.2时，生成过曝图像；

S形曲线C_s的表达式为：

其中，c代表S形曲线的偏移量：当c的值为0.3时，生成低光图像；当c的值为0.8时，生成过曝图像；

对数曲线C_l的表达式为：

{C_l}＝{m·log₂(1+I_p)}

参数m的取值为10或40：当m的取值为10时，生成低光图像；当m的取值为40时，生成过曝图像；

输入正常光照的图像I_P，正常光照的图像I_P的亮度值I_p经过伽马校正中的伽马曲线C_g，色调映射中的S形曲线C_s和对数曲线C_l三种表达式中的随机一种进行计算后，即得到低光图像或者过曝图像，由于是进行随机计算，所得到的负样本I_N具备多样性；

定义生成的过曝图像以及低光图像均为对比学习模块的负样本I_N。

优选的，步骤S3中，所述的低光图像增强网络模型包括7个依次串接的卷积层，前6层中每一个卷积层后均串接一个ReLU激活函数，第7个卷积层之后串接一个Tanh激活函数；

前6个卷积层中的每层均由32个大小为3×3、步幅为1的卷积核组成，第7个卷积层的卷积通道为24；

将低光和过曝图像I_L输入到所述的低光图像增强网络模型中，得到增强后的图像I_H；将增强后的图像I_H作为锚点送入对比学习模块，然后计算对比学习模块的损失，同时将增强后的图像I_H输入区域分割模块计算区域亮度一致性损失。

优选的，步骤S4中，将对比学习模块的锚点、正样本和负样本分别输入到预训练的VGG-16模型中，从预训练的VGG-16模型分别获取到锚点、正样本和负样本的Gram格拉姆矩阵矩阵，分别定义为和/>

优选的，步骤S5中，构造三种类型的损失函数：对比学习模块损失L_c，特征保持损失L_fp和区域亮度一致性损失L_rc；

首先通过三元组损失来处理锚点、正样本和负样本的Gram矩阵和/>目标是：

其中，和/>分别表示锚点、正样本和负样本的Gram矩阵；

使用InfoNCE损失来处理期望值E，目标是：

其中，和/>分别表示锚点、正样本和负样本的期望值，d表示特征之间的距离；

对比学习损失L_c的表达式如下所示：

特征保持损失L_fp是感知损失L_fr和颜色恒定性损失L_cc的总和，其中：

其中，f^l(I_l)表示VGG-16模型的层l中低光和过曝图像I_l的特征图，f^l(I_H)是VGG-16模型的层l中增强后的图像I_H的特征图，C_l、W_l、H_l分别表示低光和过曝图像I_l的通道数、宽度和高度；

另外，定义颜色恒定性损失L_cc，L_cc的表达式为：

其中，J^p表示增强后的图像I_H中p通道的平均强度值，J^q表示增强后的图像I_H中q通道的平均强度值，ξ表示{R，G，B}通道中的某一通道，(p，q)表示一对通道，M是迭代次数，参数m＝1，2，3，……，M；和/>分别表示水平和垂直梯度运算；A是与增强后的图像I_H尺寸大小相同的参数图；/>表示第m次迭代中p通道的参数图；λ为参数，实验中将参数λ设置为200；

区域亮度一致性损失L_rc定义如下：

其中，C表示增强后的图像I_H所包含超像素块的个数，参数c＝1，2，3，……，C，θ_c表示属于第c个超像素块的像素索引集合，表示增强图像I_H中第c个超像素块中第i个像素的亮度级别，B_c表示增强图像I_H中第c个超像素块中所有像素的亮度级别的平均值；

定义平均值B_c如下：

其中，n表示第c个超像素块中的所有的像素个数。

有益效果：

(1)本发明中的″曲线袋″是一种受物理启发的方法，使用更接近底层物理成像机制的原理生成对比学习的负样本。该方法提高了样本的有效性和多样性，使模型能够更好地区分正负样本之间的特征。

(2)本发明中的无监督的区域分割模块用于保持区域亮度一致性，实现区域判别增强，并摆脱对语义标签的依赖。

(3)本发明中的多任务联合学习使用三个约束条件——对比学习、区域亮度一致性和特征保持，同时确保曝光、纹理和颜色的一致性。本方法能够同时满足多个目标，实现综合的图像增强效果。

附图说明

图1是本发明提供的物理驱动的用于低光图像增强的对比学习方法的流程图；

图2是本发明提供的物理驱动的用于低光图像增强的对比学习方法的算法框架图；

图3是本发明提供的物理驱动的用于低光图像增强的对比学习方法中的曲线袋方法的算法框架图。

具体实施方式

下面结合附图对本发明作更进一步的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种物理驱动的用于低光图像增强的对比学习方法，包括以下步骤：

步骤S1、构建初始低光图像增强模型，获取数据集并将所述数据集划分为训练集和测试集，所述训练集包括两部分，第一部分是用于低光图像增强模型的输入的低光图像。第二部分是用于对比学习的正负样本的生成的图像集，在每次训练迭代中，正负样本是随机选择的，以增强模型的鲁棒性；

步骤S2、利用“曲线袋”方法产生对比学习的负样本，数据集中的正常光照的图片作为正样本；

选择合适的负样本对于对比学习的成功至关重要，因为它使模型能够有效地学习样本表示，捕捉到数据独特的特征。对于低光照图像增强任务，在对比学习中构建的负样本应尽可能贴近成像的物理规律，并模拟过曝光和欠曝光两种情况。

具体地，参考图3，所述的“曲线袋”方法包含三种不同类型的曲线，即伽马校正中的伽马曲线C_g，色调映射中的S形曲线C_s和对数曲线C_l：

I_N∈BoC＝{C_g，C_s，C_l}

对于低光增强任务，对比学习中负样本的构建应尽可能紧密地遵循成像的物理规律，并模拟过曝和欠曝两种情况。利用影像信号处理流程中的色调映射和伽马校正进行亮度调整，并利用这些先验知识调整图像的亮度，生成更符合物理成像规律的负样本。这样可以将I_P的亮度映射到一定范围，生成过曝/欠曝的图像作为负样本。具体来说，伽马曲线的表达式为：

在这个公式中γ＜1的γ被称为编码伽马，使用这种压缩的幂律非线性进行编码的过程被称为伽马压缩；相反，大于1的γ被称为解码伽马，应用这种扩展的幂律非线性被称为伽马扩展。设置γ＝0.2来生成过曝图像，设置γ＝8来生成欠曝图像。

S形曲线C_s是一个非线性函数曲线，公式如下所示：

其中，c代表S形曲线的偏移量。通过调整c的值，可以控制S形函数的形状，从而实现不同的亮度调整效果。对于曝光不足的情况，c的值可以设定为小于I_P的亮度值，设置中选择了0.3作为该值。同样地，对于曝光过度的情况，c的值为0.8。

对数曲线C_l接近于人类视觉系统对亮度的感知。对数曲线C_l的公式如下所示：

{C_l}＝{m·log₂(1+I_P)}

m的值越小，对数变换的效果越弱，图像的亮度越低。设置m为10和40，以分别生成曝光不足和曝光过度的负样本。

步骤S3、低光/过曝图像输入到图像增强网络进行图像增强得到增强后的图像作为对比学习的锚点；

具体的，所述的图像增强网络利用类似于U-Net的骨干网络生成重新映射每个像素的像素校正曲线，以调整每个像素的亮度值实现低光图像增强。生成的增强后的图像将作为对比学习中的锚点参与对比学习损失的计算以调整锚点和正负样本在特征空间中的距离。在本发明中低光图像增强网络的输入是低光图像，输出是对应高阶曲线的一组像素级曲线参数图。使用七个具有对称连接的卷积层的普通CNN。每一层由32个大小为3×3和步幅为1的卷积核组成，然后是ReLU激活函数。最后一个卷积层之后是Tanh激活函数，它为8次迭代生成24个参数图，其中每次迭代需要三个通道的曲线参数图。

步骤S4、使用特征提取模块提取图片的特征；

具体地，本发明使用预训练的VGG-16模型来提取特征图作为潜在特征空间。在层l中，/>表示特征图i和j之间的内积：

其中，k表示向量的长度。然后，从特征提取网络的层{G¹，G²，...，G^l}中得到一组Gram矩阵1，...，L。Gram矩阵G是对潜在图像特征的定量描述。对比学习的目标是学习一个特征空间，在该空间中，相同类别的样本应该更接近，而不同类别的样本应该更远离。

步骤S5、根据上述步骤提取到的特征设计不同的损失函数计算方法，根据反向传播更新网络参数；

在本方法中，采用了三种类型的损失函数，如图2所示，分别对应于框架的三个关键方面：对比学习损失L_c，特征保持损失L_fp和区域亮度一致性损失L_rc。

在潜在空间中，一个合理的对比损失能够将锚点拉向正样本并将锚点推离负样本。利用三元组损失来处理Gram矩阵G，目标是：

其中，d表示特征之间的距离。与Gram矩阵G不同，使用InfoNCE损失来处理期望值E，目标是：

希望特征I_H和I_P之间的距离d小于特征I_H和I_N之间的距离。根据上述目标，设计了L_cG和L_cE作为对比学习损失L_c的两个组成部分。对于Gram矩阵G，有：

对于期望值E，有：

因此，对比损失函数的表达式如下所示：

L_c＝L_cG+L_cE

许多低层次的视觉任务都使用感知损失来使期望的图像及其特征与真实图像在感知上保持一致。利用感知损失作为特征保持损失，以保留增强前后的图像特征。特征保持损失L_fp定义如下：

其中，f^l(I_L)表示层l中输入图像I_L的特征图f^l(I_H)是层l中增强图像I_H的特征图。

由于颜色自然性是低光图像增强的一个重要考虑因素，添加了一个颜色恒定性项L_cc。基于灰世界颜色恒定性假设，三个通道的像素平均值趋向于相同的值。L_cc限制了三个通道的比例，以防止增强图像中的潜在色差。此外，为了避免相邻像素之间的过于激进和锐利的变化，L_cc中还嵌入了一个光照平滑惩罚项。L_cc的表达式可以表示为：

其中，J^p表示增强图像中p通道的平均强度值，(p，q)表示一对通道，M是迭代次数，和/>分别表示水平和垂直梯度运算。A是与图像大小相同的参数图。每个像素在多次迭代中生成对应的高阶曲线参数。/>表示第m次迭代中p通道的参数图。在实验中将λ设置为200以获得最佳结果。特征保持损失L_fp是L_fr和L_cc的总和。

首先，使用超像素分割将图像划分为超像素块。然后，利用区域亮度一致性损失L_rc来保持每个区域内的亮度一致性。应用超像素分割摆脱了对语义ground-truth信息的依赖。定义每个超像素块c∈S中所有像素的亮度级别的平均值B如下：

其中，c表示第c个超像素块，可以获得表示各个超像素块的多个平均值{B₁,B₂,...}。n表示该超像素块中的像素数。用θ_c表示属于块c的像素索引集合，表示增强图像I_H中块c的亮度级别。区域亮度一致性损失L_rc定义如下：

步骤S6、判断是否完成对所有样本的训练，是否完成所有训练轮次；

步骤S7、输入低光图像，输出对低光图像进行增强后的结果。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种物理驱动的用于低光图像增强的对比学习方法，其特征在于，包括以下步骤：

步骤S1、获取数据集，所述数据集内包括低光和过曝图像I_L、正常光照图像I_P，将所述数据集划分为训练集和测试集，其中将所述训练集分为两部分，第一部分是低光和过曝图像I_L，第二部分是正常光照图像I_P；

步骤S2、利用第二部分的正常光照图像I_P结合“曲线袋”方法获取对比学习模块的负样本I_N，同时将第二部分的正常光照图像I_P作为对比学习模块的正样本；

步骤S3、构建低光图像增强网络模型，将第一部分的低光和过曝图像I_L输入到低光图像增强网络模型进行图像增强得到增强后的图像I_H，将增强后的图像I_H作为对比学习模块的锚点；

步骤S4、将对比学习模块的锚点、正样本和负样本送入特征提取模块来提取三者的特征；

步骤S5、根据提取的特征设计不同的损失函数计算方法，根据反向传播更新低光图像增强网络模型的参数；

步骤S6、判断是否完成低光和过曝图像I_L的训练，是否完成所有训练轮次，最终得到训练好的低光图像增强网络模型；

步骤S7、向训练好的低光图像增强网络模型输入低光图像，输出对低光图像进行增强后的结果。

2.根据权利要求1所述的一种物理驱动的用于低光图像增强的对比学习方法，其特征在于，步骤S2中，“曲线袋”方法包括：首先定义三种不同的曲线：伽马校正中的伽马曲线C_g，色调映射中的S形曲线C_s和对数曲线C_l，对比学习模块的负样本I_N和三种不同的曲线之间的关系为：

I_N∈BoC＝{C_g,C_s,C_l}

其中BoC为“曲线袋”方法的英文缩写；

伽马曲线C_g的表达式为：

其中，I_p为正常光照图像I_P的亮度值，γ为伽马参数，取值为0.2或8：当γ的取值为8时，生成低光图像；当γ的取值为0.2时，生成过曝图像；

S形曲线C_s的表达式为：

其中，c代表S形曲线的偏移量：当c的值为0.3时，生成低光图像；当c的值为0.8时，生成过曝图像；

对数曲线C_l的表达式为：

{C_l}＝{m·log₂(1+I_p)}

参数m的取值为10或40：当m的取值为10时，生成低光图像；当m的取值为40时，生成过曝图像；

输入正常光照的图像I_P，正常光照的图像I_P的亮度值I_p经过伽马校正中的伽马曲线C_g，色调映射中的S形曲线C_s和对数曲线C_l三种表达式中的随机一种进行计算后，即得到低光图像或者过曝图像，由于是进行随机计算，所得到的负样本I_N具备多样性；

定义生成的过曝图像以及低光图像均为对比学习模块的负样本I_N。

3.根据权利要求2所述的一种物理驱动的用于低光图像增强的对比学习方法，其特征在于，步骤S3中，所述的低光图像增强网络模型包括7个依次串接的卷积层，前6层中每一个卷积层后均串接一个ReLU激活函数，第7个卷积层之后串接一个Tanh激活函数；

前6个卷积层中的每层均由32个大小为3×3、步幅为1的卷积核组成，第7个卷积层的卷积通道为24；

将低光和过曝图像I_L输入到所述的低光图像增强网络模型中，得到增强后的图像I_H；将增强后的图像I_H作为锚点送入对比学习模块，然后计算对比学习模块的损失，同时将增强后的图像I_H输入区域分割模块计算区域亮度一致性损失。

4.根据权利要求3所述的一种物理驱动的用于低光图像增强的对比学习方法，其特征在于，步骤S4中，将对比学习模块的锚点、正样本和负样本分别输入到预训练的VGG-16模型中，从预训练的VGG-16模型分别获取到锚点、正样本和负样本的Gram格拉姆矩阵矩阵，分别定义为和/>

5.根据权利要求4所述的一种物理驱动的用于低光图像增强的对比学习方法，其特征在于，步骤S5中，构造三种类型的损失函数：对比学习模块损失L_C，特征保持损失L_fp和区域亮度一致性损失L_rc；

首先通过三元组损失来处理锚点、正样本和负样本的Gram矩阵和/>目标是：

其中，和/>分别表示锚点、正样本和负样本的Gram矩阵；

使用InfoNCE损失来处理期望值E，目标是：

其中，和/>分别表示锚点、正样本和负样本的期望值，d表示特征之间的距离；

对比学习损失L_c的表达式如下所示：

其中α表示超参数；

特征保持损失L_fp是感知损失L_fr和颜色恒定性损失L_cc的总和，其中：

其中，f^l(I_l)表示VGG-16模型的层l中低光和过曝图像I_l的特征图，f^l(I_H)是VGG-16模型的层l中增强后的图像I_H的特征图，C_l、W_l、H_l分别表示低光和过曝图像I_l的通道数、宽度和高度；

另外，定义颜色恒定性损失L_cc，L_cc的表达式为：

其中，J^p表示增强后的图像I_H中p通道的平均强度值，J^q表示增强后的图像I_H中q通道的平均强度值，ξ表示{R，G，B}通道中的某一通道，(p，q)表示一对通道，M是迭代次数，参数m＝1，2，3，……，M；和/>分别表示水平和垂直梯度运算；A是与增强后的图像I_H尺寸大小相同的参数图；/>表示第m次迭代中p通道的参数图；λ为参数，实验中将参数λ设置为200；

区域亮度一致性损失L_rc定义如下：

其中，C表示增强后的图像I_H所包含超像素块的个数，参数c＝1，2，3，……，C，θ_c表示属于第c个超像素块的像素索引集合，表示增强图像I_H中第c个超像素块中第i个像素的亮度级别，B_c表示增强图像I_H中第c个超像素块中所有像素的亮度级别的平均值；

定义平均值B_c如下：

其中，n表示第c个超像素块中的所有的像素个数。