CN114972116A - 一种基于NASPE-net的低照度图像增强方法 - Google Patents
一种基于NASPE-net的低照度图像增强方法 Download PDFInfo
- Publication number
- CN114972116A CN114972116A CN202210752232.7A CN202210752232A CN114972116A CN 114972116 A CN114972116 A CN 114972116A CN 202210752232 A CN202210752232 A CN 202210752232A CN 114972116 A CN114972116 A CN 114972116A
- Authority
- CN
- China
- Prior art keywords
- layer
- convolution
- image
- illumination
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 168
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013507 mapping Methods 0.000 claims abstract description 53
- 238000010606 normalization Methods 0.000 claims description 68
- 230000004913 activation Effects 0.000 claims description 65
- 238000013528 artificial neural network Methods 0.000 claims description 55
- 230000006870 function Effects 0.000 claims description 53
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 39
- 238000010586 diagram Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 18
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 238000005096 rolling process Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 230000008485 antagonism Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 230000001902 propagating effect Effects 0.000 claims 1
- 238000013461 design Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于NASPE‑net的低照度图像增强方法，包括如下步骤：1）对数据集依照光照程度划分为低照度图像和正常照度图像；2）将低照度图像输入到NASPE‑net中提取参数映射图；3）生成RGB通道的注意力权重图；4）得到近似正常光照图像的增强图片；5）采用GAN方法进行对抗损失；6）设计损失函数反向训练NASPE‑net网络。这种方法不仅不需要成对的低/正常亮度图像数据集，而且参数量比较小，可以很好的对低照度图像进行增强。
Description
技术领域
本发明涉及神经架构搜索NAS(Neural Architecture Search，简称NAS)、生成对抗网络GAN(Generative Adversarial Networks,简称GAN)、低照度图像增强技术，具体是一种基于NASPE-net的低照度图像增强方法。
背景技术
高质量的图像对于大量的计算机视觉和机器学习应用是至关重要的，例如对目标检测、跟踪和图像分割等方面都有非常重要的作用，图像增强技术是计算机视觉领域一个非常重要的研究课题。
不幸的是，在弱光环境下拍摄的图像通常会遭受多种降级，包括但不限于低能见度、低对比度和意外噪声。因此，在进行进一步的处理和分析之前，有必要对低照度图像进行增强。
近年来，基于深度学习的增强模型设计取得了很大进展。在这些众所周知的方法中，大多数基于深度学习的解决方案依赖于成对数据进行监督训练，现有的基于CNN的方法在实际场景下，面对各种光照强度，往往会得到不理想的视觉效果。
发明内容
本发明的目的是针对现有技术的不足，而提供一种基于NASPE-net的低照度图像增强算法。这种方法不需要成对匹配的低/正常照度图像进行训练，采用线性拟合对低照度图像进行增强，以达到正常亮度的视觉效果。
实现本发明目的的技术方案是：
一种基于NASPE-net的低照度图像增强方法，包括如下步骤：
1)对所采用的数据集依照光照程度划分为低照度图像和正常照度图像：由于基于NASPE-net的低照度图像增强算法不需要成对的低/正常亮度的图像对进行训练，因此基于NASPE-net的低照度图像增强算法可以使用更大规模的未配对的数据集进行训练，从公开的数据集LOL、MIT和HOR源中共汇集了1964张图像，其中938张为低照度图像、1026张为正常照度图像，1964张图像中80％作为训练集、20％作为测试集，所有这些图像都被转换为PNG格式，并调整到600×400像素，数据集分布情况如表1所示，
表1
2)将低照度图像输入到NASPE-net中提取到8组，每组分别对应RGB三通道的参数映射图，包括以下步骤：
2-1)NASPE-net一共包含10层神经网络，先将大小为600×400的低照度图像按RGB格式输入到第一层，输出特征尺寸为600×400×64大小，然后经过8层输入尺寸为600×400×64，输出尺寸为600×400×64的神经网络，最后把第九层输出结果输入到最后一层、并进行Tanh激活，输出结果为600×400×24的参数映射图；
2-2)设计搜索空间：搜索空间一共包括5个卷积模块和3个残差模块，前3个卷积模块的输入特征尺寸为600×400×3、输出特征尺寸为600×400×64，后面2个卷积模块的输入特征尺寸为600×400×64、输出特征尺寸为600×400×24，3个残差的输入特征尺寸为600×400×64、输出特征尺寸为600×400×64；
2-3)构建NASPE-net：过程包括：
第一层神经网络：第一层神经网络由卷积块1、卷积块2和卷积块3这3个候选模块并联而成，将大小为600×400的低照度图像按RGB格式输入到第一层得到3个尺寸大小为600×400×64的特征图，将这3个输出结果进行加权平均得到大小为600×400×64的特征图作为下一层的输入，加权平均所用到的权重为a1到α3，权重都大于0而且加起来等于1，即如公式(1)所示：
a1+a2+a3＝1 (1)，
输出结果的计算公式为公式(2)所示：
其中fj(x)表示第j个卷积块卷积快输出的结果，x表示输入图像的像素点；
第二层到第九层神经网络：第二层到第九层神经网络由残差块1、残差块2和残差块3这3个候选模块并联而成，将上一层输出结果尺寸大小为600×400×64的特征图到下一层得到3个尺寸大小为600×400×64的特征图，把这3个输出结果进行加权平均得到大小为600×400×64的特征图作为下一层的输入，加权平均所用到的权重为a4到α27，每层神经网络采用3个权重，每层权重都大于0而且加起来等于1，第二层到第九层堆叠8个残差快使NASPE-net学到深层特征的同时兼顾浅层特征；
第十层神经网络：第十层神经网络由卷积块4和卷积块这2个候选模块并联而成，将第九层层输出结果尺寸大小为600×400×64的特征图输入到第十层得到2个尺寸大小为600×400×24的参数映射图，将这2个输出结果进行加权平均得到大小为600×400×24的参数映射图，加权平均所用到的权重为a28到α29，权重都大于0而且加起来等于1；
2-4)将24张参数映射图分成8组，每组分别对应RGB三通道的参数映射图；
2-5)寻找最优神经网络：NASPE-net由10层神经网络构成，每层网络都由不同的模块构成，其中每个模块中的参数都是不一致的，网络通过调整α来优化网络的输出，最终每一层只保留一个模块，剔除掉其余的模块，从而形成最优神经网络，对应的损失函数如公式(3)所示：
其中w是NASPE-net中的参数，yi表示正常光照的图像，p(xi；w)表示NASPE-net对第i张图片增强后的图像，然后对n个训练样本求平均，所增强后的图像的亮度尽可能接近于正常光照下的图像，所以公式(3)中的损失函数所得到的结果要尽可能小，Ltotal为总体损失函数，如公式(4)所示：
其中wi为先验权重，Lspa为空间一致性损失函数，Lcol为彩色恒常损失函数，
为全局鉴别器损失，
为局部鉴别器损失；
3)引入正则注意力引导机制，将低照度图像输入生成RGB通道的注意力权重图包括以下步骤：
3-1)将低照度图像以RGB的格式进行输入，并分别对RGB三个通道进行归一化处理；
3-2)采用1-i即逐像素相减作为注意力权重图，直观地说，在一个光线空间变化的微光图像中，总是希望增强暗区多于亮区，这样输出的图像就不会曝光过少，得到低照度图像RGB三通道的合成的注意力权重图R1(x)；
4)对原图进行8次迭代得到近似正常光照图像的增强图片，包括以下步骤：
4-1)将NASPE-net得到8组参数映射图分别标记为A1(x)到A8(x)；
4-2)将低光照图像增强作为一种采用深度网络进行图像线性映射估计的任务，假设低照度图像和正常照度图像的关系如公式(5)所示，其中Y表示的是正常照度下的图像，X表示的是低照度下的图像，γP(x)表示低照度和正常照度直接的区别，γ为权重参数：
Y＝X+γP(x) (5)，
4-3)将原图按照RGB格式进行读取，根据步骤4-2)中的假设，按照公式(5)将NASPE-net所得到的第1组参数映射图A1、低照度图像所得到的注意力权重图R1和低照度图像进行逐像素相乘，将结果与低照度图像进行相加，其中x代表一个像素点，I(x)表示原始图像，Rn代表注意力权重图，AΠ(x)表示参数映射图：
LE(I(x)；A1(x))＝I(x)+R1(x)A1(x)I(x) (6)；
4-4)将得到的结果LE(I(x)；A1(x))输入到正则注意力机制得到新的注意力权重图R2(x)，将LE(I(x)；A1(x))替换公式(6)中的第一个I(x)，重步骤4-3)中的操作；
4-5)重复步骤4-4)八次，每次迭代都减少低照度图像和正常照度图像之间的差异，第八次迭代的公式如公式(7)所示：
LE8(x)＝LE7(x)+R8(x)A8(x)I(x) (7)；
本步骤迭代过程中有：将低光照图像增强作为一种利用深度网络进行图像线性映射估计的任务，采用NASPE-net来估计低照度图像到正常照度图像间所需要的8组参数映射图，通过8组参数映射图学习低照度图像到正常照度图像间的映射关系；由于基于NASPE-net的低照度图像增强方法是线性映射过程，在经过一次线性映射增强处理后，所得到的增强结果往往与正常照度的图像存在很大的差距，其原因在于：通常情况下，低照度图像中光照强度存在着不均衡，即一张低照度图像中存在较亮和较暗的部分，较暗部分的像素值和期待增强后的像素值存在大于1的倍数关系，而参数映射图和注意力图都经过归一化处理，所以经过一次线性映射增强后，低照度图像中的较暗部分未能达到期待的增强效果，所以设置低照度图像到正常照度图像的线性映射增强过程为8次迭代过程，8次是设置的一个超参数，它可以满足大多数情况下的要求，当少于8次可能达不到增强的效果，多余8次可能会从低照度图像中学习大量噪声；
5)采用GAN方法进行对抗损失：包括以下步骤：
5-1)引入全局-局部判别器，全局-局部判别器作为基于NASPE-net的反馈网络，全局鉴别器用于对经过迭代增强的图像全局光照分布和正常照度下的图像全局光照分布进行鉴别，局部鉴别器用于对经过迭代增强的图像局部光照分布和正常照度下图像的局部光照分布进行鉴别，引入全局-局部判别器的目的为对NASPE-net进行反向传播，使迭代增强的图像全局-局光照分布部更接近正常照度下图像的全局-局部光照分布，使得基于NASPE-net的增强后的图像在照度上更接近于真实图像，其中，
全局鉴别器设有三个下采样卷积块和三层普通卷积块，具体结构如下：
第一下采样卷积块的卷积核大小为4×4、输入通道数为3、输出通道数为64、步长为2、填充为1，卷积之后为批归一化层和ReLU激活层；
第二下采样卷积块的卷积核大小为4×4、输入通道数为64、输出通道数为128、步长为2、填充为1，卷积之后为批归一化层和ReLU激活层；
第三下采样卷积块的卷积核大小为4×4、输入通道数为128、输出通道数为256、步长为2、填充为1，卷积之后为批归一化层和ReLU激活层；
第一普通卷积块的卷积核大小为4×4、输入通道数为256、输出通道数为512、步长为1、填充为3，卷积之后为批归一化层和ReLU激活层；
第二普通卷积块的卷积核大小为4×4、输入通道数为512、输出通道数为512、步长为1、填充为3，卷积之后为批归一化层和ReLU激活层；
第三普通卷积块的卷积核大小为4×4、输入通道数为512、输出通道数为1、步长为1、填充为3，卷积之后为批归一化层和ReLU激活层；
全局鉴别器结构如表3所示：
表3：
| 卷积块 | 卷积核大小 | 输入通道数 | 输出通道数 | 步长 | 填充 |
| 1 | 4×4 | 1 | 64 | 2 | 1 |
| 2 | 4×4 | 64 | 128 | 2 | 1 |
| 3 | 4×4 | 128 | 256 | 2 | 1 |
| 4 | 4×4 | 256 | 512 | 1 | 3 |
| 5 | 4×4 | 512 | 512 | 1 | 3 |
| 6 | 4×4 | 512 | 1 | 1 | 3 |
，全局判别器为输入尺寸大小为600×400的亮度通道Y,经过6层卷积层，输出通道数为75×50×1；
局部鉴别器设有两个下采样卷积块和三层普通卷积块，具体结构如下：
第一下采样卷积块的卷积核大小为4×4、输入通道数为3、输出通道数为64、步长为2、填充为1，卷积之后为批归一化层和ReLU激活层；
第二下采样卷积块的卷积核大小为4×4、输入通道数为64、输出通道数为128、步长为2、填充为1，卷积之后为批归一化层和ReLU激活层；
第一普通卷积块的卷积核大小为4×4、输入通道数为128、输出通道数为256、步长为1、填充为1，卷积之后为批归一化层和ReLU激活层；
第二普通卷积块的卷积核大小为4×4、输入通道数为256、输出通道数为512、步长为1、填充为3，卷积之后为批归一化层和ReLU激活层；
第三普通卷积块的卷积核大小为4×4、输入通道数为512、输出通道数为1、步长为1、填充为3，卷积之后为批归一化层和ReLU激活层；
局部鉴别器结构如表4所示：
表4：
| 卷积块 | 卷积核大小 | 输入通道数 | 输出通道数 | 步长 | 填充 |
| 1 | 4×4 | 1 | 64 | 2 | 1 |
| 2 | 4×4 | 64 | 128 | 2 | 1 |
| 3 | 4×4 | 128 | 256 | 1 | 1 |
| 4 | 4×4 | 256 | 512 | 1 | 3 |
| 5 | 4×4 | 512 | 1 | 1 | 3 |
局部判别器从尺寸大小为600×400的亮度通道Y中随机抽取5处尺寸大小为100×100的局部光照图作为局部判别器的输入，经过5层下采样层，输出通道数为25×25×1；
5-2)将迭代后生成的亮度通道Y和正常照度下的亮度通道Y输入到全局判别器和局部判别器，把判别器得到的矩阵特征图进行比较；
5-3)判别器的对抗性损失函数如公式(8)和公式(9)所示：
其中C表示判别器网络，xr，xf分别表示真实分布的正常亮度通道Y和伪分布的正常亮度通道Y，σ表示sigmoid激活函数，Ex表示均值；
5-4)将对抗损失
和
传入NASPE-net中进行反向传播；
6)设计损失函数反向训练增强网络，包括以下步骤：
6-1)空间一致性损失函数：采用空间一致性损失函数来保持增强后的图像保留原始图像的对比度信息，损失函数如公式(10)所示：
其中i表示图像中的像素点，j表示上下左右相邻的4个像素点，Y表示增强后的图像，I表示原始图像；
6-2)彩色恒常损失函数：设置Cb和Cr是无限接近的，损失函数如公式(11)所示：
Lcol＝∑(Cb，Cr)(JCb-JCr)2 (11)，
其中JCb表示Cb通道的像素值，JCr表示Cr通道的像素值；
6-3)总损失函数：总体损失函数如公式(4)所示：
每个损失都有对应的先验权重w，采用总损失函数反向传播训练NASPE-net，
为全局鉴别器损失，
为局部鉴别器损失。
步骤2-2)中所述的搜索空间中的卷积模块包括：
2-2-1)卷积块1、卷积块2和卷积块3三个模块的作用为改变通道数量，使网络泛化能力更强，其中，
卷积块1的卷积核大小为1×1、输入通道数为3、输出通道数为64、步长为1、填充为0，卷积之后为批归一化层和ReLU激活层；
卷积块2的卷积核大小为3×3、输入通道数为3、输出通道数为64、步长为1、填充为1，卷积之后为批归一化层和ReLU激活层；
卷积块3的卷积核大小为7×7、输入通道数为3、输出通道数为64、步长为1、填充为3，卷积之后为批归一化层和ReLU激活层；
2-2-2)残差块1、残差块2和残差块3三个模块为NASPE-net的主要网络结构，使用残差网络可以防止NASPE-net产生梯度爆炸，其中，
残差块1的卷积核大小为1×1、输入通道数为64、输出通道数为32、步长为1、填充为0，卷积之后为批归一化层和ReLU激活层，卷积核大小为3×3、输入通道数为32、输出通道数为64、步长为1、填充为1，卷积之后为批归一化层和ReLU激活层的残差网络；
残差块2的卷积核大小为3×3、输入通道数为64、输出通道数为32、步长为1、填充为0，卷积之后为批归一化层和ReLU激活层，卷积核大小为1×1、输入通道数为32、输出通道数为64、步长为1、填充为1，卷积之后为批归一化层和ReLU激活层的残差网络；
残差块3设有两个卷积核大小为3×3、输入通道数为64、输出通道数为64、步长为1、填充为1，卷积之后为批归一化层和ReLU激活层的残差网络；
2-2-3)卷积块4、卷积块5两个模块的作用为改变通道数量，使得网络生成24张参数映射图，其中，
卷积块4的卷积核大小为1×1、输入通道数为64、输出通道数为24、步长为1、填充为0，卷积之后为批归一化层和Tanh激活层；
卷积块5的卷积核大小为3×3、输入通道数为64、输出通道数为24、步长为1、填充为1，卷积之后为批归一化层和Tanh激活层。
步骤2-3)中所述的NASPE-net为：
2-3-1)NASPE-net对特征图的处理分为4个阶段进行，在阶段1中，在NASPE-net第1层神经网络上选择卷积块1到3中的其中一个模块来调整通道数；
2-3-2)第二阶段选择残差块1到残差块3放入到NASPE-net第2层到第9层的神经网络，输入通道数和输出通道数都不变，第二阶段的目的在于用堆叠八层残差块来学习到更深层次的语义信息，使得到的参数映射图更接近于现实世界中低照度图像和正常照度图像之间的差异；
2-3-3)第三阶段选择卷积块4或者卷积块5放入到NASPE-net第10层神经网络来调整通道数，具体结构如表2所示：
表2：NASPE-net网络结构
2-3-4)根据公式(3)中的损失函数优化每层神经网络中每个模块的权重，并在训练的时候不断更新权重a，训练结束后只保留每层神经网络中模块权重a最大的模块作为这一层神经网络的结构，最终生成每一层只含有一个模块的网络。
本技术方案采用NASPE-net网络进行8组参数映射图的生成，采用NASPE-net在搜索空间中搜索到最佳的网络，然后依据由NASPE-net网络生成的8组参数映射图对原始低照度图像进行逐像素的8次迭代去拟合线性映射过程，在迭代过程中引入注意力机制，使得低照度图像的视觉效果更接近正常照度下的图像，本技术方案采用GAN网络来进行对光照的生成对抗性损失，使得映射后的图像在光照亮度上接近正常亮度图像，并使用空间一致性损失函数和彩色恒常损失函数进行反向传播来优化NASPE-net，使得映射后的图像颜色分布接在近正常照度下的图像。
这种方法不需要成对匹配的低/正常照度图像进行训练，采用线性拟合对低照度图像进行增强，以达到正常亮度的视觉效果。
附图说明
图1为实施例方法的示意图；
图2为实施例中NASPE-net网络模型示意图；
图3为实施例中卷积块1-卷积块3网络结构示意图；
图4为实施例中残差块1-残差块3网络结构示意图；
图5为实施例中卷积块4和卷积块5网络结构示意图；
图6为实施例中注意力权重图生成过程示意图；
图7为实施例中图像迭代过程结构示意图；
图8为实施例中全局鉴别器结构示意图；
图9为实施例中局部鉴别器结构示意图。
具体实施方式
下面结合附图和实施例对本发明的内容作进一步的阐述，但不是对本发明的限定。
实施例：
如图1所示，一种基于NASPE-net的低照度图像增强方法，包括如下步骤：
1)对所采用的数据集依照光照程度划分为低照度图像和正常照度图像：由于基于NASPE-net的低照度图像增强算法不需要成对的低/正常亮度的图像对进行训练，因此基于NASPE-net的低照度图像增强算法可以使用更大规模的未配对的数据集进行训练，从公开的数据集LOL、MIT和HOR源中共汇集了1964张图像，其中938张为低照度图像、1026张为正常照度图像，1964张图像中80％作为训练集、20％作为测试集，所有这些图像都被转换为PNG格式，并调整到600×400像素，数据集分布情况如表1所示，
表1
2)将低照度图像输入到NASPE-net中提取到8组，每组分别对应RGB三通道的参数映射图，包括以下步骤：
2-1)如图2所示，NASPE-net一共包含10层神经网络，先将大小为600×400的低照度图像按RGB格式输入到第一层，输出特征尺寸为600×400×64大小，然后经过8层输入尺寸为600×400×64，输出尺寸为600×400×64的神经网络，最后把第九层输出结果输入到最后一层、并进行Tanh激活，输出结果为600×400×24的参数映射图；
2-2)设计搜索空间：搜索空间一共包括5个卷积模块和3个残差模块，如图3所示，前3个卷积模块的输入特征尺寸为600×400×3、输出特征尺寸为600×400×64，如图5所示，后面2个卷积模块的输入特征尺寸为600×400×64、输出特征尺寸为600×400×24，3个残差的输入特征尺寸为600×400×64、输出特征尺寸为600×400×64；
2-3)构建NASPE-net：过程包括：
第一层神经网络：第一层神经网络由卷积块1、卷积块2和卷积块3这3个候选模块并联而成，将大小为600×400的低照度图像按RGB格式输入到第一层得到3个尺寸大小为600×400×64的特征图，将这3个输出结果进行加权平均得到大小为600×400×64的特征图作为下一层的输入，加权平均所用到的权重为a1到α3，权重都大于0而且加起来等于1，即如公式(1)所示：
a1+a2+a3＝1 (1)，
输出结果的计算公式为公式(2)所示：
其中fj(x)表示第j个卷积块卷积快输出的结果，x表示输入图像的像素点；
第二层到第九层神经网络：第二层到第九层神经网络由残差块1、残差块2和残差块3这3个候选模块并联而成，将上一层输出结果尺寸大小为600×400×64的特征图到下一层得到3个尺寸大小为600×400×64的特征图，把这3个输出结果进行加权平均得到大小为600×400×64的特征图作为下一层的输入，加权平均所用到的权重为a4到α27，每层神经网络采用3个权重，每层权重都大于0而且加起来等于1，第二层到第九层堆叠8个残差快使NASPE-net学到深层特征的同时兼顾浅层特征；
第十层神经网络：第十层神经网络由卷积块4和卷积块这2个候选模块并联而成，将第九层层输出结果尺寸大小为600×400×64的特征图输入到第十层得到2个尺寸大小为600×400×24的参数映射图，将这2个输出结果进行加权平均得到大小为600×400×24的参数映射图，加权平均所用到的权重为a28到α29，权重都大于0而且加起来等于1；
2-4)将24张参数映射图分成8组，每组分别对应RGB三通道的参数映射图；
2-5)寻找最优神经网络：NASPE-net由10层神经网络构成，每层网络都由不同的模块构成，其中每个模块中的参数都是不一致的，网络通过调整α来优化网络的输出，最终每一层只保留一个模块，剔除掉其余的模块，从而形成最优神经网络，对应的损失函数如公式(3)所示：
其中w是NASPE-net中的参数，yi表示正常光照的图像，p(xi；w)表示NASPE-net对第i张图片增强后的图像，然后对n个训练样本求平均，所增强后的图像的亮度尽可能接近于正常光照下的图像，所以公式(3)中的损失函数所得到的结果要尽可能小，Ltotal为总体损失函数，如公式(4)所示：
其中wi为先验权重，Lspa为空间一致性损失函数，Lcol为彩色恒常损失函数，
为全局鉴别器损失，
为局部鉴别器损失；
3)引入正则注意力引导机制，将低照度图像输入生成RGB通道的注意力权重图，如图6所示，包括以下步骤：
3-1)将低照度图像以RGB的格式进行输入，并分别对RGB三个通道进行归一化处理；
3-2)采用1-i即逐像素相减作为注意力权重图，直观地说，在一个光线空间变化的微光图像中，总是希望增强暗区多于亮区，这样输出的图像就不会曝光过少，得到低照度图像R6B三通道的合成的注意力权重图R1(x)；
4)如图7所示，对原图进行8次迭代得到近似正常光照图像的增强图片，包括以下步骤：
4-1)将NASPE-net得到8组参数映射图分别标记为A1(x)到A8(x)；
4-2)将低光照图像增强作为一种采用深度网络进行图像线性映射估计的任务，假设低照度图像和正常照度图像的关系如公式(5)所示，其中Y表示的是正常照度下的图像，X表示的是低照度下的图像，γP(x)表示低照度和正常照度直接的区别，γ为权重参数：
Y＝X+γP(x) (5)，
4-3)将原图按照RGB格式进行读取，根据步骤4-2)中的假设，按照公式(6)将NASPE-net所得到的第1组参数映射图A1、低照度图像所得到的注意力权重图R1和低照度图像进行逐像素相乘，将结果与低照度图像进行相加，其中x代表一个像素点，I(x)表示原始图像，Rn代表注意力权重图，AΠ(x)表示参数映射图：
LE(I(x)；A1(x))＝I(x)+R1(x)A1(x)I(x) (6)；
4-4)将得到的结果LE(I(x)；A1(x))输入到正则注意力机制得到新的注意力权重图R2(x)，将LE(I(x)；A1(x))替换公式(6)中的第一个I(x)，重步骤4-3)中的操作；
4-5)重复步骤4-4)八次，每次迭代都减少低照度图像和正常照度图像之间的差异，第八次迭代的公式如公式(7)所示：
LE8(x)＝LE7(x)+R8(x)A8(x)I(x) (7)；
本步骤迭代过程中有：将低光照图像增强作为一种利用深度网络进行图像线性映射估计的任务，采用NASPE-net来估计低照度图像到正常照度图像间所需要的8组参数映射图，通过8组参数映射图学习低照度图像到正常照度图像间的映射关系；由于基于NASPE-net的低照度图像增强方法是线性映射过程，在经过一次线性映射增强处理后，所得到的增强结果往往与正常照度的图像存在很大的差距，其原因在于：通常情况下，低照度图像中光照强度存在着不均衡，即一张低照度图像中存在较亮和较暗的部分，较暗部分的像素值和期待增强后的像素值存在大于1的倍数关系，而参数映射图和注意力图都经过归一化处理，所以经过一次线性映射增强后，低照度图像中的较暗部分未能达到期待的增强效果，所以设置低照度图像到正常照度图像的线性映射增强过程为8次迭代过程，8次是设置的一个超参数，它可以满足大多数情况下的要求，当少于8次可能达不到增强的效果，多余8次可能会从低照度图像中学习大量噪声；
5)采用GAN方法进行对抗损失：包括以下步骤：
5-1)引入全局-局部判别器，全局-局部判别器作为基于NASPE-net的反馈网络，全局鉴别器用于对经过迭代增强的图像全局光照分布和正常照度下的图像全局光照分布进行鉴别，局部鉴别器用于对经过迭代增强的图像局部光照分布和正常照度下图像的局部光照分布进行鉴别，引入全局-局部判别器的目的为对NASPE-net进行反向传播，使迭代增强的图像全局-局光照分布部更接近正常照度下图像的全局-局部光照分布，使得基于NASPE-net的增强后的图像在照度上更接近于真实图像，其中，
如图8所示，全局鉴别器设有三个下采样卷积块和三层普通卷积块，具体结构如下：
第一下采样卷积块的卷积核大小为4×4、输入通道数为3、输出通道数为64、步长为2、填充为1，卷积之后为批归一化层和ReLU激活层；
第二下采样卷积块的卷积核大小为4×4、输入通道数为64、输出通道数为128、步长为2、填充为1，卷积之后为批归一化层和ReLU激活层；
第三下采样卷积块的卷积核大小为4×4、输入通道数为128、输出通道数为256、步长为2、填充为1，卷积之后为批归一化层和ReLU激活层；
第一普通卷积块的卷积核大小为4×4、输入通道数为256、输出通道数为512、步长为1、填充为3，卷积之后为批归一化层和ReLU激活层；
第二普通卷积块的卷积核大小为4×4、输入通道数为512、输出通道数为512、步长为1、填充为3，卷积之后为批归一化层和ReLU激活层；
第三普通卷积块的卷积核大小为4×4、输入通道数为512、输出通道数为1、步长为1、填充为3，卷积之后为批归一化层和ReLU激活层；
全局鉴别器结构如表3所示：
表3：
| 卷积块 | 卷积核大小 | 输入通道数 | 输出通道数 | 步长 | 填充 |
| 1 | 4×4 | 1 | 64 | 2 | 1 |
| 2 | 4×4 | 64 | 128 | 2 | 1 |
| 3 | 4×4 | 128 | 256 | 2 | 1 |
| 4 | 4×4 | 256 | 512 | 1 | 3 |
| 5 | 4×4 | 512 | 512 | 1 | 3 |
| 6 | 4×4 | 512 | 1 | 1 | 3 |
，全局判别器为输入尺寸大小为600×400的亮度通道Y,经过6层卷积层，输出通道数为75×50×1；
如图9所示，局部鉴别器设有两个下采样卷积块和三层普通卷积块，具体结构如下：
第一下采样卷积块的卷积核大小为4×4、输入通道数为3、输出通道数为64、步长为2、填充为1，卷积之后为批归一化层和ReLU激活层；
第二下采样卷积块的卷积核大小为4×4、输入通道数为64、输出通道数为128、步长为2、填充为1，卷积之后为批归一化层和ReLU激活层；
第一普通卷积块的卷积核大小为4×4、输入通道数为128、输出通道数为256、步长为1、填充为1，卷积之后为批归一化层和ReLU激活层；
第二普通卷积块的卷积核大小为4×4、输入通道数为256、输出通道数为512、步长为1、填充为3，卷积之后为批归一化层和ReLU激活层；
第三普通卷积块的卷积核大小为4×4、输入通道数为512、输出通道数为1、步长为1、填充为3，卷积之后为批归一化层和ReLU激活层；
局部鉴别器结构如表4所示：
表4：
| 卷积块 | 卷积核大小 | 输入通道数 | 输出通道数 | 步长 | 填充 |
| 1 | 4×4 | 1 | 64 | 2 | 1 |
| 2 | 4×4 | 64 | 128 | 2 | 1 |
| 3 | 4×4 | 128 | 256 | 1 | 1 |
| 4 | 4×4 | 256 | 512 | 1 | 3 |
| 5 | 4×4 | 512 | 1 | 1 | 3 |
局部判别器从尺寸大小为600×400的亮度通道Y中随机抽取5处尺寸大小为100×100的局部光照图作为局部判别器的输入，经过5层下采样层，输出通道数为25×25×1；
5-2)将迭代后生成的亮度通道Y和正常照度下的亮度通道Y输入到全局判别器和局部判别器，把判别器得到的矩阵特征图进行比较；
5-3)判别器的对抗性损失函数如公式(8)和公式(9)所示：
其中C表示判别器网络，xr，xf分别表示真实分布的正常亮度通道Y和伪分布的正常亮度通道Y，σ表示sigmoid激活函数，Ex表示均值；
5-4)将对抗损失
和
传入NASPE-net中进行反向传播；
6)设计损失函数反向训练增强网络，包括以下步骤：
6-1)空间一致性损失函数：采用空间一致性损失函数来保持增强后的图像保留原始图像的对比度信息，损失函数如公式(10)所示：
其中i表示图像中的像素点，j表示上下左右相邻的4个像素点，Y表示增强后的图像，I表示原始图像；
6-2)彩色恒常损失函数：设置Cb和Cr是无限接近的，损失函数如公式(11)所示：
Lcol＝∑(Cb，Cr)(JCb-JCr)2 (11)，
其中JCb表示Cb通道的像素值，JCr表示Cr通道的像素值；
6-3)总损失函数：总体损失函数如公式(4)所示：
每个损失都有对应的先验权重w，采用总损失函数反向传播训练NASPE-net，
为全局鉴别器损失，
为局部鉴别器损失。
步骤2-2)中所述的搜索空间中的卷积模块包括：
2-2-1)卷积块1、卷积块2和卷积块3三个模块的作用为改变通道数量，使网络泛化能力更强，其中，
卷积块1的卷积核大小为1×1、输入通道数为3、输出通道数为64、步长为1、填充为0，卷积之后为批归一化层和ReLU激活层；
卷积块2的卷积核大小为3×3、输入通道数为3、输出通道数为64、步长为1、填充为1，卷积之后为批归一化层和ReLU激活层；
卷积块3的卷积核大小为7×7、输入通道数为3、输出通道数为64、步长为1、填充为3，卷积之后为批归一化层和ReLU激活层；
2-2-2)如图4所示，残差块1、残差块2和残差块3三个模块为NASPE-net的主要网络结构，使用残差网络可以防止NASPE-net产生梯度爆炸，其中，
残差块1的卷积核大小为1×1、输入通道数为64、输出通道数为32、步长为1、填充为0，卷积之后为批归一化层和ReLU激活层，卷积核大小为3×3、输入通道数为32、输出通道数为64、步长为1、填充为1，卷积之后为批归一化层和ReLU激活层的残差网络；
残差块2的卷积核大小为3×3、输入通道数为64、输出通道数为32、步长为1、填充为0，卷积之后为批归一化层和ReLU激活层，卷积核大小为1×1、输入通道数为32、输出通道数为64、步长为1、填充为1，卷积之后为批归一化层和ReLU激活层的残差网络；
残差块3设有两个卷积核大小为3×3、输入通道数为64、输出通道数为64、步长为1、填充为1，卷积之后为批归一化层和ReLU激活层的残差网络；
2-2-3)卷积块4、卷积块5两个模块的作用为改变通道数量，使得网络生成24张参数映射图，其中，
卷积块4的卷积核大小为1×1、输入通道数为64、输出通道数为24、步长为1、填充为0，卷积之后为批归一化层和Tanh激活层；
卷积块5的卷积核大小为3×3、输入通道数为64、输出通道数为24、步长为1、填充为1，卷积之后为批归一化层和Tanh激活层。
步骤2-3)中所述的NASPE-net为：
2-3-1)NASPE-net对特征图的处理分为4个阶段进行，在阶段1中，在NASPE-net第1层神经网络上选择卷积块1到3中的其中一个模块来调整通道数；
2-3-2)第二阶段选择残差块1到残差块3放入到NASPE-net第2层到第9层的神经网络，输入通道数和输出通道数都不变，第二阶段的目的在于用堆叠八层残差块来学习到更深层次的语义信息，使得到的参数映射图更接近于现实世界中低照度图像和正常照度图像之间的差异；
2-3-3)第三阶段选择卷积块4或者卷积块5放入到NASPE-net第10层神经网络来调整通道数，具体结构如表2所示：
表2：NASPE-net网络结构
2-3-4)根据公式(3)中的损失函数优化每层神经网络中每个模块的权重，并在训练的时候不断更新权重a，训练结束后只保留每层神经网络中模块权重a最大的模块作为这一层神经网络的结构，最终生成每一层只含有一个模块的网络。
Claims (3)
1.一种基于NASPE-net的低照度图像增强方法，其特征在于,包括如下步骤：
1)对所采用的数据集依照光照程度划分为低照度图像和正常照度图像：从公开的数据集LOL、MIT和HOR源中共汇集了1964张图像，其中938张为低照度图像、1026张为正常照度图像，1964张图像中80％作为训练集、20％作为测试集，所有这些图像都被转换为PNG格式，并调整到600×400像素，数据集分布情况如表1所示，
表1
2)将低照度图像输入到NASPE-net中提取到8组，每组分别对应RGB三通道的参数映射图，包括以下步骤：
2-1)NASPE-net一共包含10层神经网络，先将大小为600×400的低照度图像按RGB格式输入到第一层，输出特征尺寸为600×400×64大小，然后经过8层输入尺寸为600×400×64，输出尺寸为600×400×64的神经网络，最后把第九层输出结果输入到最后一层、并进行Tanh激活，输出结果为600×400×24的参数映射图；
2-2)设计搜索空间：搜索空间一共包括5个卷积块和3个残差块，前3个卷积块的输入特征尺寸为600×400×3、输出特征尺寸为600×400×64，后面2个卷积块的输入特征尺寸为600×400×64、输出特征尺寸为600×400×24，3个残差的输入特征尺寸为600×400×64、输出特征尺寸为600×400×64；
2-3)构建NASPE-net：过程包括：
第一层神经网络：第一层神经网络由卷积块1、卷积块2和卷积块3这3个候选模块并联而成，将大小为600×400的低照度图像按RGB格式输入到第一层得到3个尺寸大小为600×400×64的特征图，将这3个输出结果进行加权平均得到大小为600×400×64的特征图作为下一层的输入，加权平均所用到的权重为a1到α3，权重都大于0而且加起来等于1，即如公式(1)所示:
a1+a2+a3＝1 (1)，
输出结果的计算公式为公式(2)所示：
其中fj(x)表示第j个卷积块卷积快输出的结果，x表示输入图像的像素点；
第二层到第九层神经网络：第二层到第九层神经网络由残差块1、残差块2和残差块3这3个候选模块并联而成，将上一层输出结果尺寸大小为600×400×64的特征图到下一层得到3个尺寸大小为600×400×64的特征图，把这3个输出结果进行加权平均得到大小为600×400×64的特征图作为下一层的输入，加权平均所用到的权重为a4到α27,每层神经网络采用3个权重，每层权重都大于0而且加起来等于1；
第十层神经网络：第十层神经网络由卷积块4和卷积块这2个候选模块并联而成，将第九层层输出结果尺寸大小为600×400×64的特征图输入到第十层得到2个尺寸大小为600×400×24的参数映射图，将这2个输出结果进行加权平均得到大小为600×400×24的参数映射图，加权平均所用到的权重为a28到α29，权重都大于0而且加起来等于1；
2-4)将24张参数映射图分成8组，每组分别对应RGB三通道的参数映射图；
2-5)寻找最优神经网络：NASPE-net由10层神经网络构成，每层网络都由不同的模块构成，其中每个模块中的参数都是不一致的，网络通过调整α来优化网络的输出，最终每一层只保留一个模块，剔除掉其余的模块，从而形成最优神经网络，对应的损失函数如公式(3)所示：
其中w是NASPE-net中的参数，yi表示正常光照的图像，p(xi；w)表示NASPE-net对第i张图片增强后的图像，然后对n个训练样本求平均，公式(3)中的损失函数所得到的结果要尽可能小，Ltotal为总体损失函数，如公式(4)所示：
其中wi为先验权重，Lspa为空间一致性损失函数，Lcol为彩色恒常损失函数，
为全局鉴别器损失，
为局部鉴别器损失；
3)引入正则注意力引导机制，将低照度图像输入生成RGB通道的注意力权重图，包括：
3-1)将低照度图像以RGB的格式进行输入，并分别对RGB三个通道进行归一化处理；
3-2)采用1-i即逐像素相减作为注意力权重图，得到低照度图像RGB三通道的合成的注意力权重图R1(x)；
4)对原图进行8次迭代得到近似正常光照图像的增强图片，包括以下步骤：4-1)将NASPE-net得到8组参数映射图分别标记为A1(x)到A8(x)；
4-2)将低光照图像增强作为一种采用深度网络进行图像线性映射估计的任务，假设低照度图像和正常照度图像的关系如公式(5)所示，其中Y表示的是正常照度下的图像，X表示的是低照度下的图像，γP(x)表示低照度和正常照度直接的区别，γ为权重参数：
Y＝X+γP(x) (5)，
4-3)将原图按照RGB格式进行读取，根据步骤4-2)中的假设，按照公式(6)将NASPE-net所得到的第1组参数映射图A1、低照度图像所得到的注意力权重图R1和低照度图像进行逐像素相乘，将结果与低照度图像进行相加，其中x代表一个像素点，I(x)表示原始图像，Rn代表注意力权重图，AΠ(x)表示参数映射图：
LE(I(x)；A1(x))＝I(x)+R1(x)A1(x)I(x) (6)；
4-4)将得到的结果LE(I(x)；A1(x))输入到正则注意力机制得到新的注意力权重图R2(x)，将LE(I(x)；A1(x))替换公式(6)中的第一个I(x)，重步骤4-3)中的操作；
4-5)重复步骤4-4)八次，每次迭代都减少低照度图像和正常照度图像之间的差异，第八次迭代的公式如公式(7)所示：
LE8(x)＝LE7(x)+R8(x)A8(x)I(x) (7)；
5)采用GAN方法进行对抗损失：包括以下步骤：
5-1)引入全局-局部判别器，全局-局部判别器作为基于NASPE-net的反馈网络，全局鉴别器用于对经过迭代增强的图像全局光照分布和正常照度下的图像全局光照分布进行鉴别，局部鉴别器用于对经过迭代增强的图像局部光照分布和正常照度下图像的局部光照分布进行鉴别，对NASPE-net进行反向传播，使迭代增强的图像全局-局光照分布部更接近正常照度下图像的全局-局部光照分布，使得基于NASPE-net的增强后的图像在照度上更接近于真实图像，其中，
全局鉴别器设有三个下采样卷积块和三层普通卷积块，具体结构如下：
第一下采样卷积块的卷积核大小为4×4、输入通道数为3、输出通道数为64、步长为2、填充为1，卷积之后为批归一化层和ReLU激活层；
第二下采样卷积块的卷积核大小为4×4、输入通道数为64、输出通道数为128、步长为2、填充为1，卷积之后为批归一化层和ReLU激活层；
第三下采样卷积块的卷积核大小为4×4、输入通道数为128、输出通道数为256、步长为2、填充为1，卷积之后为批归一化层和ReLU激活层；
第一普通卷积块的卷积核大小为4×4、输入通道数为256、输出通道数为512、步长为1、填充为3，卷积之后为批归一化层和ReLU激活层；
第二普通卷积块的卷积核大小为4×4、输入通道数为512、输出通道数为512、步长为1、填充为3，卷积之后为批归一化层和ReLU激活层；
第三普通卷积块的卷积核大小为4×4、输入通道数为512、输出通道数为1、步长为1、填充为3，卷积之后为批归一化层和ReLU激活层；
全局鉴别器结构如表3所示：
表3：
；
局部鉴别器设有两个下采样卷积块和三层普通卷积块，具体结构如下：
第一下采样卷积块的卷积核大小为4×4、输入通道数为3、输出通道数为64、步长为2、填充为1，卷积之后为批归一化层和ReLU激活层；
第二下采样卷积块的卷积核大小为4×4、输入通道数为64、输出通道数为128、步长为2、填充为1，卷积之后为批归一化层和ReLU激活层；
第一普通卷积块的卷积核大小为4×4、输入通道数为128、输出通道数为256、步长为1、填充为1，卷积之后为批归一化层和ReLU激活层；
第二普通卷积块的卷积核大小为4×4、输入通道数为256、输出通道数为512、步长为1、填充为3，卷积之后为批归一化层和ReLU激活层；
第三普通卷积块的卷积核大小为4×4、输入通道数为512、输出通道数为1、步长为1、填充为3，卷积之后为批归一化层和ReLU激活层；
局部鉴别器结构如表4所示：
表4：
；
5-2)将迭代后生成的亮度通道Y和正常照度下的亮度通道Y输入到全局判别器和局部判别器，把判别器得到的矩阵特征图进行比较；
5-3)判别器的对抗性损失函数如公式(8)和公式(9)所示：
其中C表示判别器网络，xr,xf分别表示真实分布的正常亮度通道Y和伪分布的正常亮度通道Y，σ表示sigmoid激活函数，Ex表示均值；
5-4)将对抗损失
和
传入NASPE-net中进行反向传播；
6)设计损失函数反向训练增强网络，包括以下步骤：
6-1)空间一致性损失函数：采用空间一致性损失函数来保持增强后的图像保留原始图像的对比度信息，损失函数如公式(10)所示：
其中i表示图像中的像素点，j表示上下左右相邻的4个像素点，Y表示增强后的图像，I表示原始图像；
6-2)彩色恒常损失函数：设置Cb和Cr是无限接近的，损失函数如公式(11)所示：
Lcol＝∑(Cb,Cr)(JCb-JCr)2 (11)，
其中JCb表示Cb通道的像素值，JCr表示Cr通道的像素值；
6-3)总损失函数：总体损失函数如公式(4)所示：
每个损失都有对应的先验权重w，采用总损失函数反向传播训练NASPE-net，
为全局鉴别器损失，
为局部鉴别器损失。
2.根据权利要求1所述的基于NASPE-net的低照度图像增强方法，其特征在于,步骤2-2)中所述的搜索空间中的卷积模块包括：
2-2-1)卷积块1、卷积块2和卷积块3三个模块的作用为改变通道数量，使网络泛化能力更强，其中，
卷积块1的卷积核大小为1×1、输入通道数为3、输出通道数为64、步长为1、填充为0，卷积之后为批归一化层和ReLU激活层；
卷积块2的卷积核大小为3×3、输入通道数为3、输出通道数为64、步长为1、填充为1，卷积之后为批归一化层和ReLU激活层；
卷积块3的卷积核大小为7×7、输入通道数为3、输出通道数为64、步长为1、填充为3，卷积之后为批归一化层和ReLU激活层；
2-2-2)残差块1、残差块2和残差块3三个模块为NASPE-net的主要网络结构，其中，
残差块1的卷积核大小为1×1、输入通道数为64、输出通道数为32、步长为1、填充为0，卷积之后为批归一化层和ReLU激活层，卷积核大小为3×3、输入通道数为32、输出通道数为64、步长为1、填充为1，卷积之后为批归一化层和ReLU激活层的残差网络；
残差块2的卷积核大小为3×3、输入通道数为64、输出通道数为32、步长为1、填充为0，卷积之后为批归一化层和ReLU激活层，卷积核大小为1×1、输入通道数为32、输出通道数为64、步长为1、填充为1，卷积之后为批归一化层和ReLU激活层的残差网络；
残差块3设有两个卷积核大小为3×3、输入通道数为64、输出通道数为64、步长为1、填充为1，卷积之后为批归一化层和ReLU激活层的残差网络；
2-2-3)卷积块4、卷积块5两个模块的作用为改变通道数量，使得网络生成24张参数映射图，其中，
卷积块4的卷积核大小为1×1、输入通道数为64、输出通道数为24、步长为1、填充为0，卷积之后为批归一化层和Tanh激活层；
卷积块5的卷积核大小为3×3、输入通道数为64、输出通道数为24、步长为1、填充为1，卷积之后为批归一化层和Tanh激活层。
3.根据权利要求1所述的基于NASPE-net的低照度图像增强方法，其特征在于,步骤2-3)中所述的NASPE-net为：
2-3-1)NASPE-net对特征图的处理分为4个阶段进行，在阶段1中，在NASPE-net第1层神经网络上选择卷积块1到3中的其中一个模块来调整通道数；
2-3-2)第二阶段选择残差块1到残差块3放入到NASPE-net第2层到第9层的神经网络，输入通道数和输出通道数都不变；
2-3-3)第三阶段选择卷积块4或者卷积块5放入到NASPE-net第10层神经网络来调整通道数，NASPE-net网络结构如表2所示：
表2：
2-3-4)根据公式(3)中的损失函数优化每层神经网络中每个模块的权重，并在训练的时候不断更新权重a，训练结束后只保留每层神经网络中模块权重a最大的模块作为这一层神经网络的结构，最终生成每一层只含有一个模块的网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210752232.7A CN114972116B (zh) | 2022-06-29 | 2022-06-29 | 一种基于NASPE-net的低照度图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210752232.7A CN114972116B (zh) | 2022-06-29 | 2022-06-29 | 一种基于NASPE-net的低照度图像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114972116A true CN114972116A (zh) | 2022-08-30 |
| CN114972116B CN114972116B (zh) | 2024-03-26 |
Family
ID=82967750
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210752232.7A Active CN114972116B (zh) | 2022-06-29 | 2022-06-29 | 一种基于NASPE-net的低照度图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114972116B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102134405B1 (ko) * | 2019-06-27 | 2020-07-15 | 중앙대학교 산학협력단 | 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법 |
| CN112614077A (zh) * | 2020-12-30 | 2021-04-06 | 北京航空航天大学杭州创新研究院 | 一种基于生成对抗网络的非监督低照度图像增强方法 |
| CN113313657A (zh) * | 2021-07-29 | 2021-08-27 | 北京航空航天大学杭州创新研究院 | 一种用于低光照图像增强的非监督学习方法和系统 |
| US20210342977A1 (en) * | 2020-04-29 | 2021-11-04 | Shanghai Harvest Intelligence Technology Co., Ltd. | Method And Apparatus For Image Restoration, Storage Medium And Terminal |
-
2022
- 2022-06-29 CN CN202210752232.7A patent/CN114972116B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102134405B1 (ko) * | 2019-06-27 | 2020-07-15 | 중앙대학교 산학협력단 | 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법 |
| US20210342977A1 (en) * | 2020-04-29 | 2021-11-04 | Shanghai Harvest Intelligence Technology Co., Ltd. | Method And Apparatus For Image Restoration, Storage Medium And Terminal |
| CN112614077A (zh) * | 2020-12-30 | 2021-04-06 | 北京航空航天大学杭州创新研究院 | 一种基于生成对抗网络的非监督低照度图像增强方法 |
| CN113313657A (zh) * | 2021-07-29 | 2021-08-27 | 北京航空航天大学杭州创新研究院 | 一种用于低光照图像增强的非监督学习方法和系统 |
Non-Patent Citations (3)
| Title |
|---|
| 江泽涛;覃露露;: "一种基于U-Net生成对抗网络的低照度图像增强方法", 电子学报, no. 02, 15 February 2020 (2020-02-15) * |
| 鞠铭烨;张登银;纪应天;: "基于雾气浓度估计的图像去雾算法", 自动化学报, no. 09, 31 December 2016 (2016-12-31) * |
| 黄?;陶海军;王海峰;: "条件生成对抗网络的低照度图像增强方法", 中国图象图形学报, no. 12, 16 December 2019 (2019-12-16) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114972116B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112288658B (zh) | 一种基于多残差联合学习的水下图像增强方法 | |
| CN110599409B (zh) | 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 | |
| Golts et al. | Unsupervised single image dehazing using dark channel prior loss | |
| CN112614077B (zh) | 一种基于生成对抗网络的非监督低照度图像增强方法 | |
| CN110210608B (zh) | 基于注意力机制和多层次特征融合的低照度图像增强方法 | |
| CN109829391B (zh) | 基于级联卷积网络和对抗学习的显著性目标检测方法 | |
| CN110570363A (zh) | 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法 | |
| CN112381897B (zh) | 基于自编码网络结构的低照度图像增强方法 | |
| CN110288550B (zh) | 基于先验知识引导条件生成对抗网络的单张图像去雾方法 | |
| CN112183637A (zh) | 一种基于神经网络的单光源场景光照重渲染方法及系统 | |
| CN112651917A (zh) | 一种基于生成对抗网络的空间卫星低照度图像增强方法 | |
| CN111861906A (zh) | 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法 | |
| CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
| CN114511480A (zh) | 一种基于分数阶卷积神经网络的水下图像增强方法 | |
| CN113284061A (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN114444679A (zh) | 二值化输入模型的量化方法及系统、计算机可读存储介质 | |
| CN113837191A (zh) | 基于双向无监督域适应融合的跨星遥感图像语义分割方法 | |
| CN115272072A (zh) | 一种基于多特征图像融合的水下图像超分辨率方法 | |
| CN118015123A (zh) | 一种基于循环生成对抗网络的灰度图像彩色化方法 | |
| CN117593235A (zh) | 基于深度CNN去噪先验的Retinex变分水下图像增强方法和装置 | |
| Titus et al. | Fast colorization of grayscale images by convolutional neural network | |
| CN117422653A (zh) | 一种基于权重共享和迭代数据优化的低光照图像增强方法 | |
| Chang et al. | Attention-based color consistency underwater image enhancement network | |
| CN117392036A (zh) | 基于照明幅度的低光图像增强方法 | |
| CN116823659A (zh) | 一种基于深度特征提取的微光图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |