CN115908155A - Nsst域结合gan及尺度相关系数的低照度图像增强及去噪方法 - Google Patents

Abstract

本发明提供了一种NSST域结合GAN及尺度相关系数的低照度图像增强及去噪方法，首先，收集弱光图像和正常光图像数据集，将图像从RGB空间转换到HSV空间，采用分解得到的低通子带图像构建训练集；其次，构建基于GAN的低频子带图像增强模型LF‑EnlightenGAN，并采用低频子带图像训练集对模型进行训练；然后，对待处理的低照度图像NSST分解，采用训练的LF‑EnlightenGAN模型增强低频子带图像，对各高频方向子带先采用尺度相关系数去除噪声；最后，对处理后的高、低频子带图像进行NSST重构，将图像还原到RGB空间，得到增强及去噪后的图像。应用本技术方案能够为后续的图像识别、图像分类、目标检测等任务奠定基础，不论从视觉效果还是图像质量客观评价指标上都有较大的提升。

Description

NSST域结合GAN及尺度相关系数的低照度图像增强及去噪方法

技术领域

本发明涉及图像处理技术领域，特别是一种NSST域结合GAN及尺度相关系数的低照度图像增强及去噪方法。

背景技术

场景中的光照条件是影响图像质量的重要因素之一，在图像采集的过程中，由于环境光照不足导致采集到的低照度图像存在识别度不高、亮度低、对比度低、分辨率低和信噪比低等特点，导致低照度图像的可用性较差，给后续的图像分析处理带来更严峻的挑战。而图像增强是图像处理的重要技术，可以改善图像的视觉效果，给进一步图像识别、图像分类、目标检测等任务奠定基础。

目前，国内外常见的低照度图像增强方法主要分为四种：第一种是基于直方图均衡化增强法，该算法对图像中的网格区域进行对比度限制增强，在原始图像上进行插值处理，从而显著改善图像的对比度；第二种是基于Retinex增强法，例如LIME增强法，该方法在图像的RGB通道中搜索最大值，以估计每个像素的照明，然后使用结构先验重建照明贴图，但是以上两种方法的泛化能力较差，对于真实的微光图像，往往会产生噪声；第三种是基于伪雾图增强法，该方法将低照度图像的反转图像用去雾算法进行增强，但是在应对复杂场景时，该方法易出现噪声和块效应；第四种是基于神经网络的增强法，例如，一种将学习到的全局特征和局部特征相结合转换到双边网络中，并加入局部仿射去引导双边网络做空间和颜色深度上插值的方法，但是该网络在色彩化，去雾等方面效果较差，因为该方法是基于学习的配对监督，在现实生活中，精确配对的训练集较少；随着生成式对抗网络的提出，图像增强技术有了突飞猛进的发展，EnlightenGAN采用双判别器去平衡全局和局部低光增强，消除了对成对训练数据的依赖，并提出一种自特征保留损失的方法来约束低光输入图像与增强图像之间的特征距离，利用低光输入的光照信息作为各深度特征层次的自正则注意图，对无监督学习正则化，在不依赖于精确配对图像的情况下，在低光和正常光图像空间之间建立非配对映射。

现有的低照度图像增强方法主要是基于学习的配对监督，但是在现实生活中，精确配对的训练集较少，并且常见的低照度图像增强方法主要在单尺度下进行，然而，由于低照度图像存在分辨率低、对比度低和信噪比低等缺陷，在单尺度下的增强精度不高。

发明内容

有鉴于此，本发明的目的在于提供一种NSST域结合GAN及尺度相关系数的低照度图像增强及去噪方法，能够为后续的图像识别、图像分类、目标检测等任务奠定基础，不论从视觉效果还是图像质量客观评价指标上都有较大的提升。

为实现上述目的，本发明采用如下技术方案：NSST域结合GAN及尺度相关系数的低照度图像增强及去噪方法，包括以下步骤：

Step1：收集来弱光图像和正常光图像数据集，将图像从RGB空间转换到HSV空间，保持H、S分量值不变，对亮度V分量进行NSST变换，分别得到1个低频子带图像和k个尺度高频子带，各尺度高频子带再分解为l个方向子带，用得到的低频子带图像构建训练集；

Step2：构建基于GAN的低频子带图像增强模型LF-EnlightenGAN，用构建的低频子带图像训练集训练LF-EnlightenGAN模型，生成低频子带图像的增强模型；

Step3：对待处理的低照度图像从RGB空间转换到HSV空间，保持H、S分量值不变，对亮度V分量进行NSST变换，分别得到1个低频子带图像和k个尺度高频子带，各尺度高频子带再分解为l个方向子带，对低频子带图像采用LF-EnlightenGAN增强模型进行增强，在提高整体亮度、清晰度和信息熵的同时保留更多纹理细节；

Step4：对各个高频方向子带系数，计算噪声系数阈值

和尺度相关系数

去除噪声系数和增强边缘系数；

Step5：对增强处理后的低频子带、高频子带图像进行NSST重构，得到增强后的V分量，用其替换原始的V分量，最后将图像从HSV空间还原到RGB空间，得到最终增强及去噪后图像。

在一较佳的实施例中：对图像进行k级非下采样金字塔NSP多尺度分解，得到1个低频图像和k个尺度不同的高频图像，高频图像再进行l级多方向分解，得到2l+2个方向子带图像，低频图像去除噪声，保留图像的轮廓信息和大部分能量信息，高频子带图像包含图像的边缘、纹理特征、梯度信息和噪声系数。

在一较佳的实施例中：图像经NSST分解后，低频子带图像包含图像的轮廓信息和能量信息；收集弱光图像和正常光图像数据集进行NSST多尺度分解，得到的弱光低频子带图像及正常光低频子带图像构建训练集，构建基于GAN的低频子带图像增强模型LF-EnlightenGAN，LF-EnlightenGAN模型包含以下模块：

(1)自正则引导的U-Net网络

LF-EnlightenGAN模型采用了＝自正则引导的U-Net网络作为生成器，共由8个卷积块组成，将U-Net网络作为生成器的骨干，并加入＝自正则注意力图做正则化；正则化取输入的亮度图像I，将其归一化，然后使用1-I作为自正则注意力图,最后调整注意力图的大小与U-Net上采样部分的所有特征图及输出图像相乘；

(2)全局-局部判别器

LF-EnlightenGAN模型采用全局-局部判别器结构；全局和局部判别器都采用PatchGAN进行真假鉴别，其中全局判别器利用相对论判别器结构估计真实数据比虚假数据更真实的概率，并指导生成器合成比真实图像更真实的伪图像，用LSGAN损失代替sigmoid函数，假设C为判别器网络，x_r和x_f分别表示真实数据和虚假数据的分布，σ表示sigmoid激活函数；D_Ra(x_r,x_f)和D_Ra(x_f,x_r)为相对论判别器的标准函数，则对于全局判别器，生成器G的损失函数为：

而局部判别器通过每次从输出图像和真实图像中随机裁剪5个局部小块，学习区分它们是真实的还是虚假的，用原LSGAN作为对抗性损失，则对于局部判别器，生成器G的损失函数定义为：

(3)自特征保留损失

LF-EnlightenGAN模型采用自特征保留损失，用预训练的VGG来对图像之间的特征空间距离进行建模，限制输入的低光图像与其增强的正常光输出图像之间的VGG特征距离；假设I^L表示输入的低光图像,G(I^L)表示生成器的增强输出，φ_i,j表示从ImageNet上预先训练的VGG-16模型中提取的特征图，i表示第i个最大池化，j表示第i个最大池化之后的第j个卷积层，W_i,j和H_i,j是提取的特征图维度，取i＝5，j＝1；则自特征保留损失L_SFP定义为:

对于局部判别器，从输入和输出图像中裁剪出的局部小块也通过定义的自特征保留损失

进行正则化；因此，该模型的总体损失函数为：

在一较佳的实施例中：假设

为子带在(m,n)处的系数，

为子带系数均值，L为第k尺度方向子带总数，

为第k尺度第l方向的子带系数能量，定义第k尺度第l方向的噪声阈值

为：

假设

为不同尺度在(m,n)位置处的系数乘积，

为第k尺度第l方向子带的

系数能量，

是归一化处理，便于后续进行系数比较，定义(m,n)在第k尺度第l方向子带上的尺度相关系数

为：

对大于

的边缘系数按增强函数进行调整，其中a为控制强度，这里取20，b为增强范围，在[0,1]之间，假设

为该子带的最大系数，定义增强函数为：

直接去除小于

的噪声系数，对大于

的边缘系数进行增强，当系数在

之间，结合尺度间相关系数增强弱边缘系数、去除噪声系数，

为第k尺度第l方向子带在点(m,n)调整后的系数，定义为：

与现有技术相比，本发明具有以下有益效果：本发明提出了一种NSST域结合GAN及尺度相关系数的低照度图像增强及去噪方法。在NSST域下计算噪声系数阈值和尺度相关系数对图像的噪声和边缘系数进行定位，在增强边缘系数的同时去除了噪声；对低频图像采用LF-EnlightenGAN增强模型进行增强，消除了需要成对训练数据集的局限性，在提高图像整体亮度、清晰度和信息熵的同时保留更多纹理细节，并且不会出现过曝的现象。与现有的几种低照度图像增强方法相比，本发明有较优的抗噪性能和边缘增强能力，不论从视觉效果还是图像质量客观评价指标上都有较大的提升，为后续的图像识别、图像分类、目标检测等任务奠定基础。

附图说明

图1为本发明优选实施例的低照度图像NSST多尺度分解示意图；

图2为本发明优选实施例的低频图像LF-EnlightenGAN增强模型结构示意图；

图3为本发明优选实施例的低照度图像增强及去噪实现流程示意图；

图4为本发明优选实施例的不同算法在合成低照度图像测试集上的主观视觉对比示意图；

图5为本发明优选实施例的不同算法在合成低照度图像测试集上的去噪效果和边缘检测效果对比示意图；

图6为本发明优选实施例的不同算法在真实低照度图像上的主观视觉对比示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式；如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

一种NSST域结合GAN及尺度相关系数的低照度图像增强及去噪方法，首先，收集弱光图像和正常光图像数据集，将图像从RGB空间转换到HSV空间，保持H、S分量值不变，对亮度V分量进行NSST多尺度分解，采用分解得到的低通子带图像构建训练集；其次，构建基于GAN的低频子带图像增强模型LF-EnlightenGAN，并采用低频子带图像训练集对模型进行训练；然后，对待处理的低照度图像NSST分解，采用训练的LF-EnlightenGAN模型增强低频子带图像，对各高频方向子带先采用尺度相关系数去除噪声，再通过非线性增益函数增强边缘系数；最后，对处理后的高、低频子带图像进行NSST重构，将图像还原到RGB空间，得到增强及去噪后的图像。本发明有较优的抗噪性能和边缘增强能力，不论从视觉效果还是图像质量客观评价指标上都有较大的提升，为后续的图像识别、图像分类、目标检测等任务奠定基础。

详细的技术方案如下：

低照度图像NSST多尺度分解

HSV颜色空间能很好地分离图像的色度(H)、饱和度(S)和亮度(V)，给彩色图像的增强带来了很大的便利，因此，将输入的低照度图像从RGB空间转换到HSV空间进行处理。由于人眼的视觉系统对亮度变化比对色调饱和度变化更敏感，所以提取V分量进行NSST多尺度分解，保持H，S分量值不变。

NSST分解包括多尺度分解和多方向分解两部分，如图1所示，对图像进行k级非下采样金字塔(NSP)多尺度分解，得到1个低频图像和k个尺度不同的高频图像，高频图像再进行l级多方向分解，得到2l+2个方向子带图像。低频图像去除了噪声，保留图像的轮廓信息和大部分能量信息，高频子带图像包含图像的边缘、纹理特征、梯度信息和噪声系数。

构建低频子带图像的LF-EnlightenGAN增强模型

图像经NSST分解后，低频子带图像主要包含图像的轮廓信息和大部分能量信息，可以通过提升低频子带图像的轮廓细节和亮度来改善低照度图像整体的对比度和清晰度。本发明收集弱光图像和正常光图像数据集进行NSST多尺度分解，将得到的弱光低频子带图像及正常光低频子带图像构建训练集，构建基于GAN的低频子带图像增强模型LF-EnlightenGAN，LF-EnlightenGAN的整体架构如图2所示，主要包含了以下三个模块：

(1)自正则引导的U-Net网络

为了使暗区域的增强大于亮区域的增强，且输出的图像既不会过曝也不会低曝，模型采用了自正则引导的U-Net网络作为生成器，共由8个卷积块组成，将U-Net网络作为生成器的骨干，并加入了自正则注意力图做正则化。正则化的实现是通过取输入的亮度图像I，将其归一化，然后使用1-I作为自正则注意力图,最后调整注意力图的大小与U-Net上采样部分的所有特征图及输出图像相乘。

(2)全局-局部判别器

为了在提高全局光照的同时自适应地增强局部区域，模型采用了全局-局部判别器结构，这种结构保证了增强图像的所有局部区域看起来都像真实的自然光，有效地避免局部过曝或低曝。

全局和局部判别器都采用了PatchGAN进行真假鉴别，其中全局判别器利用相对论判别器结构估计真实数据比虚假数据更真实的概率，并指导生成器合成比真实图像更真实的伪图像，用LSGAN损失代替了sigmoid函数，假设C为判别器网络，x_r和x_f分别表示真实数据和虚假数据的分布，σ表示sigmoid激活函数。D_Ra(x_r,x_f)和D_Ra(x_f,x_r)为相对论判别器的标准函数，则对于全局判别器，生成器G的损失函数为：

而局部判别器通过每次从输出图像和真实图像中随机裁剪5个局部小块，学习区分它们是真实的还是虚假的，用原LSGAN作为对抗性损失，则对于局部判别器，生成器G的损失函数定义为：

(3)自特征保留损失

为了使图像的内容特征在增强前后保持不变，模型采用了自特征保留损失，用预训练的VGG来对图像之间的特征空间距离进行建模，限制输入的低光图像与其增强的正常光输出图像之间的VGG特征距离。假设I^L表示输入的低光图像,G(I^L)表示生成器的增强输出，φ_i,j表示从ImageNet上预先训练的VGG-16模型中提取的特征图，i表示第i个最大池化，j表示第i个最大池化之后的第j个卷积层，W_i,j和H_i,j是提取的特征图维度，取i＝5，j＝1。则自特征保留损失L_SFP定义为:

对于局部判别器，从输入和输出图像中裁剪出的局部小块也通过定义的自特征保留损失

进行正则化。因此，该模型的总体损失函数为：

高频子带去噪及边缘增强

为避免噪声对后续处理的影响，在进行边缘增强前必须先去除噪声，结合高频域中能量特征计算阈值和尺度相关系数。假设

为子带在(m,n)处的系数，

为子带系数均值，L为第k尺度方向子带总数，

为第k尺度第l方向的子带系数能量，定义第k尺度第l方向的噪声阈值

为：

若是直接去除图像中小于阈值

的系数，则容易导致一些弱边缘系数被当作噪声消除，若是直接增强大于阈值

的系数，则容易导致一部分噪声被当作弱边缘系数增强。由于图像经过NSST分解后，随着分解尺度越来越精细，呈现出边缘系数强相关，噪声系数弱相关的特点，可以根据这一特点，进一步将弱相关的噪声系数去除，增强强相关的边缘系数。假设

为不同尺度在(m,n)位置处的系数乘积，

为第k尺度第l方向子带的

系数能量，

是归一化处理，便于后续进行系数比较，定义(m,n)在第k尺度第l方向子带上的尺度相关系数

为：

对大于

的边缘系数按增强函数进行调整，其中a为控制强度，这里取20，b为增强范围，在[0,1]之间，假设

为该子带的最大系数，定义增强函数为：

直接去除小于

的噪声系数，对大于

的边缘系数进行增强，当系数在

之间，结合尺度间相关系数增强弱边缘系数、去除噪声系数，

为第k尺度第l方向子带在点(m,n)调整后的系数，定义为：

具体实现流程与步骤

综上所述，本发明NSST域结合GAN及尺度相关系数的低照度图像增强及去噪方法实现流程如图3所示，具体实现步骤如下：

Step1：收集来弱光图像和正常光图像数据集，将图像从RGB空间转换到HSV空间，保持H、S分量值不变，对亮度V分量进行NSST变换，分别得到1个低频子带图像和k个尺度高频子带，各尺度高频子带再分解为l个方向子带，用得到的低频子带图像构建训练集；

Step2：构建基于GAN的低频子带图像增强模型LF-EnlightenGAN，用构建的低频子带图像训练集训练LF-EnlightenGAN模型，生成低频子带图像的增强模型；

Step3：对待处理的低照度图像从RGB空间转换到HSV空间，保持H、S分量值不变，对亮度V分量进行NSST变换，分别得到1个低频子带图像和k个尺度高频子带，各尺度高频子带再分解为l个方向子带，对低频子带图像采用LF-EnlightenGAN增强模型进行增强，在提高整体亮度、清晰度和信息熵的同时保留更多纹理细节；

Step4：对各个高频方向子带系数，根据式(7)、(8)计算噪声系数阈值

和尺度相关系数

再结合式(9)和式(10)去除噪声系数和增强边缘系数。

Step5：对增强处理后的低频子带、高频子带图像进行NSST重构，得到增强后的V分量，用其替换原始的V分量，最后将图像从HSV空间还原到RGB空间，得到最终增强及去噪后图像。

具体的实施例及说明

为评估本发明方法对低照度图像的增强效果，将本发明增强结果与常见的低照度图像增强方法结果作比较，包括MSRCR、LIME、MSRNet、RetinexNet、DUAL和EnlightenGAN，分别使用合成低照度图像测试集和真实低照度图像测试集进行对比实验分析，验证其性能。

1.合成低照度图像增强对比实验

分别选取一张水下图像、正常光图像和夜间图像作为合成低照度图像测试集，用本发明和常见的低照度图像增强方法增强，增强结果如图4所示，采用结构相似度(SSIM)和均方误差(MSE)作为衡量合成低照度图像测试结果的性能指标，各类方法的SSIM和MSE的统计结果如表1所示：MSRCR、MSRNet和RetinexNet虽然改善了照度问题，但是增强后的图像颜色严重失真，出现噪声和模糊效应；EnlightenGAN增强后亮度有明显提升，但是对水下图像的增强效果较差，且增强后的图像存在部分伪影；LIME虽然在对比度方面表现不错且对水下图像的增强效果较好，但是增强后的图像存在区域模糊现象。本发明增强后的图像在视觉效果方面与真实图像最为接近，客观评价指标较其他方法均为最佳，适用范围广，其中对水下图像的增强，本发明的SSIM平均提升了0.27，MSE平均降低了2.74％；对正常光图像的增强，本发明的SSIM平均提升了0.17，MSE平均降低了3.00％；对夜间图像的增强，本发明的SSIM平均提升了0.21，MSE平均降低了4.11％；对合成低照度图像测试集整体的增强，本发明的SSIM平均提升了0.22，MSE平均降低了3.29％。

为进一步客观验证本发明的抗噪声性能和边缘增强效果，对合成低照度图像叠加了均值为0、不同方差的高斯白噪声进行增强实验，用canny算子对增强后的低照度图像进行边缘检测，采用PSNR评估降噪性能，采用连续边缘像素比P来衡量边缘增强效果，P定义为：

P＝γ/η (12)

其中，γ为边缘图像中连续边缘像素总数，η为边缘图像中总的像素数。P越大说明检测的边缘连续性越好，边缘增强效果越好。

将本发明的增强结果与常用的低照度图像增强方法结果进行比较分析，各方法增强结果和边缘检测效果如图5所示，其中第一行为噪声方差10％的增强效果，第二行为噪声方差30％的增强效果，第三行为噪声方差10％增强后图像的边缘检测效果，PSNR和P的统计结果如表2所示，低照度图像原图因受噪声影响，检测到的边缘不连续且存在大量的噪声点，在噪声方差为10％的情况下：噪声图像的P值为84.57％，MSRCR、MSRNet和RetinexNet的PSNR值较低，降噪效果较差，图像上仍然存留大量散斑，算法增强后检测到的边缘虽然较为完整，但是过滤掉了许多边缘细节信息；LIME、DUAL虽较MSRCR、MSRNet和RetinexNet有较好的降噪性能，但是P值较低，检测到的边缘不完整，且存在少量噪点；EnlightenGAN较上述所提五种算法有较高的PSNR值和P值，但是增强后的图像存在伪影且边缘附近存在大量噪点；采用本发明增强后的图像获得最佳的PSNR值，有较优的降噪能力，检测到的边缘较为清晰、完整，并且噪点较少，有最佳的P值。在噪声方差为30％的情况下：噪声图像的P值为68.89％，其余六种算法的增强性能都大幅下降，但是本发明算法的PSNR值保持在20.9697，P值保持在87.02％，有较优的抗噪声和边缘增强能力。

表1 不同算法在合成低照度图像测试集上的客观评价指标对比

表2 不同算法在合成低照度图像测试集上和去噪效果和边缘检测效果

2.真实低照度图像增强对比实验

为验证本发明对真实低照度图像的增强效果，从常见的低照度图像数据库SICE、DICM和收集到的真实水下图像中选出100张图像构成真实低照度图像测试集，用本发明和常见的低照度图像增强方法增强，增强结果如图6所示，采用信息熵(Entropy)、基于空间域的无参考图像质量评估法(BRISQUE)、基于图像熵的无参考图像质量评估法(ENIQA)和基于自适应超网络的无参考图像质量评估法(HyperIQA)对真实低照度图像测试结果进行质量评价，各类方法的客观评价指标统计结果如表3所示：MSRCR方法的结果较为平滑，但是出现大量块效应和噪声，视觉和客观指标结果较差；LIME方法的结果色彩较为丰富，但是对暗区域增强效果欠佳且对局部色彩增强过度，对于光照不均匀的图像增强结果存在局部过曝现象；MSRNet方法的结果虽然提升了亮度，但是色彩还原较差，且对于光照不均匀的图像增强效果欠佳；RetinexNet方法的结果出现噪声、模糊效应、色彩偏差等现象；DUAL方法的结果亮度增强不足，特别是在光照不均匀的逆光区域；EnlightenGAN方法的结果在亮度和色彩还原方面表现较好且能很好的应对光照不均匀图像的增强，但是在细节处理方面效果欠佳；本发明的结果在客观评价指标上除了HyperIQA次于DUAL，其他指标均为最好，从视觉效果上看本发明能够有效改善亮度和对比度，色彩增强效果较好，细节增强方面优于其他算法，能很好的应对水下图像和光照不均匀图像的增强，适用范围广。

表3 不同算法在真实低照度图像上的客观评价指标对比

Claims (4)

1.NSST域结合GAN及尺度相关系数的低照度图像增强及去噪方法，其特征在于，包括以下步骤：

Step1：收集来弱光图像和正常光图像数据集，将图像从RGB空间转换到HSV空间，保持H、S分量值不变，对亮度V分量进行NSST变换，分别得到1个低频子带图像和k个尺度高频子带，各尺度高频子带再分解为l个方向子带，用得到的低频子带图像构建训练集；

Step2：构建基于GAN的低频子带图像增强模型LF-EnlightenGAN，用构建的低频子带图像训练集训练LF-EnlightenGAN模型，生成低频子带图像的增强模型；

Step3：对待处理的低照度图像从RGB空间转换到HSV空间，保持H、S分量值不变，对亮度V分量进行NSST变换，分别得到1个低频子带图像和k个尺度高频子带，各尺度高频子带再分解为l个方向子带，对低频子带图像采用LF-EnlightenGAN增强模型进行增强，在提高整体亮度、清晰度和信息熵的同时保留更多纹理细节；

Step4：对各个高频方向子带系数，计算噪声系数阈值

和尺度相关系数

去除噪声系数和增强边缘系数；

Step5：对增强处理后的低频子带、高频子带图像进行NSST重构，得到增强后的V分量，用其替换原始的V分量，最后将图像从HSV空间还原到RGB空间，得到最终增强及去噪后图像。

2.根据权利要求1所述的NSST域结合GAN及尺度相关系数的低照度图像增强及去噪方法，其特征在于：对图像进行k级非下采样金字塔NSP多尺度分解，得到1个低频图像和k个尺度不同的高频图像，高频图像再进行l级多方向分解，得到2l+2个方向子带图像，低频图像去除噪声，保留图像的轮廓信息和大部分能量信息，高频子带图像包含图像的边缘、纹理特征、梯度信息和噪声系数。

3.根据权利要求1所述的NSST域结合GAN及尺度相关系数的低照度图像增强及去噪方法，其特征在于：图像经NSST分解后，低频子带图像包含图像的轮廓信息和能量信息；收集弱光图像和正常光图像数据集进行NSST多尺度分解，得到的弱光低频子带图像及正常光低频子带图像构建训练集，构建基于GAN的低频子带图像增强模型LF-EnlightenGAN，LF-EnlightenGAN模型包含以下模块：

(1)自正则引导的U-Net网络

LF-EnlightenGAN模型采用了＝自正则引导的U-Net网络作为生成器，共由8个卷积块组成，将U-Net网络作为生成器的骨干，并加入＝自正则注意力图做正则化；正则化取输入的亮度图像I，将其归一化，然后使用1-I作为自正则注意力图,最后调整注意力图的大小与U-Net上采样部分的所有特征图及输出图像相乘；

(2)全局-局部判别器

LF-EnlightenGAN模型采用全局-局部判别器结构；全局和局部判别器都采用PatchGAN进行真假鉴别，其中全局判别器利用相对论判别器结构估计真实数据比虚假数据更真实的概率，并指导生成器合成比真实图像更真实的伪图像，用LSGAN损失代替sigmoid函数，假设C为判别器网络，x_r和x_f分别表示真实数据和虚假数据的分布，σ表示sigmoid激活函数；D_Ra(x_r,x_f)和D_Ra(x_f,x_r)为相对论判别器的标准函数，则对于全局判别器，生成器G的损失函数为：

而局部判别器通过每次从输出图像和真实图像中随机裁剪5个局部小块，学习区分它们是真实的还是虚假的，用原LSGAN作为对抗性损失，则对于局部判别器，生成器G的损失函数定义为：

(3)自特征保留损失

LF-EnlightenGAN模型采用自特征保留损失，用预训练的VGG来对图像之间的特征空间距离进行建模，限制输入的低光图像与其增强的正常光输出图像之间的VGG特征距离；假设I^L表示输入的低光图像,G(I^L)表示生成器的增强输出，φ_i,j表示从ImageNet上预先训练的VGG-16模型中提取的特征图，i表示第i个最大池化，j表示第i个最大池化之后的第j个卷积层，W_i,j和H_i,j是提取的特征图维度，取i＝5，j＝1；则自特征保留损失L_SFP定义为:

对于局部判别器，从输入和输出图像中裁剪出的局部小块也通过定义的自特征保留损失

进行正则化；因此，该模型的总体损失函数为：

4.根据权利要求1所述的NSST域结合GAN及尺度相关系数的低照度图像增强及去噪方法，其特征在于：假设

为子带在(m,n)处的系数，

为子带系数均值，L为第k尺度方向子带总数，

为第k尺度第l方向的子带系数能量，定义第k尺度第l方向的噪声阈值

为：

假设

为不同尺度在(m,n)位置处的系数乘积，

为第k尺度第l方向子带的

系数能量，

是归一化处理，便于后续进行系数比较，定义(m,n)在第k尺度第l方向子带上的尺度相关系数

为：

对大于

的边缘系数按增强函数进行调整，其中a为控制强度，这里取20，b为增强范围，在[0,1]之间，假设

为该子带的最大系数，定义增强函数为：

直接去除小于

的噪声系数，对大于

的边缘系数进行增强，当系数在

之间，结合尺度间相关系数增强弱边缘系数、去除噪声系数，

为第k尺度第l方向子带在点(m,n)调整后的系数，定义为：

Images