CN117422653A - 一种基于权重共享和迭代数据优化的低光照图像增强方法 - Google Patents
一种基于权重共享和迭代数据优化的低光照图像增强方法 Download PDFInfo
- Publication number
- CN117422653A CN117422653A CN202311373830.4A CN202311373830A CN117422653A CN 117422653 A CN117422653 A CN 117422653A CN 202311373830 A CN202311373830 A CN 202311373830A CN 117422653 A CN117422653 A CN 117422653A
- Authority
- CN
- China
- Prior art keywords
- image
- low
- illumination
- light image
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000005457 optimization Methods 0.000 title claims abstract description 18
- 238000005286 illumination Methods 0.000 claims abstract description 98
- 238000012937 correction Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 17
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 14
- 238000006731 degradation reaction Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 230000000452 restraining effect Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 11
- 230000015556 catabolic process Effects 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 25
- 238000012360 testing method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004429 Calibre Substances 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 208000012868 Overgrowth Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于权重共享和迭代数据优化的低光照图像增强方法，所述方法包括：获取低光照图像，将低光照图像输入到训练好的低光照图像增强模型中，得到增强结果图像；其中，所述低光照图像增强模型包括权重共享的光照估计模块、光照校准模块和去噪模块；本发明提出的低光照图像增强方案通过伽马校正改变图像亮度，无需配对的明亮图像，只基于昏暗图像数据，模拟生成更昏暗图像数据，进而构建并训练网络模型，训练好的模型可对实际低光照图像进行图像增强。
Description
技术领域
本发明涉及一种基于权重共享和迭代数据优化的低光照图像增强方法，属于图像处理技术领域。
背景技术
由于环境和技术限制，在不理想的照明条件下拍摄的低光照图像通常有亮度低、对比度低、颜色失真和噪声较大等缺点。这些缺点不仅降低了观看者的体验效果，而且还影响了图像相关的计算机视觉任务。例如，人脸识别、目标检测等。大多数计算机视觉任务是为具有良好曝光度的目标图像而设立的，因此有必要对低光照图像进行增强以提高其质量。低光照图像增强技术不仅可以提高图像质量、恢复图像的重要信息，还可以降低噪声，经过低光照增强处理后的图像和视频更符合人类的视觉感受。
近年来，深度学习在许多计算机视觉任务中取得了巨大成功。端到端网络和对抗生成网络等强大的工具已被广泛应用在图像超分辨率、图像去噪和图像到图像的转换等领域。同时，还有应用于低光照图像增强的方法。LLNet(LLNet:Adeep autoencoder approachto natural low-light image enhancement)使用一个训练有素的深度自动编码器来学习低光图像的信号特征，自适应地增加曝光，并进行去噪。这种方法提高了局部对比度，以防止已经很亮的像素被过度放大，但只针对单通道灰度图，不适用于三通道彩色图。EnlightenGAN(EnlightenGAN:Deep Light Enhancement Without Paired Supervision)算法是一个高效的无监督生成对抗网络，它不需要使用成对的低光照和正常光图像进行训练，该算法使用输入图像本身提取的信息来正则化未配对训练，与现有的有监督训练方法相比更灵活，对真实的低光照图像具有更泛化的优点，这也开启了生成对抗网络应用在低光照图像增强领域的先河，但是输出的图像存在局部区域增强过度。基于Retinex理论，昏暗图像y和对应的明亮图像z之间存在联系：其中x表示光照分量，/>表示克罗内克积。通常，光照分量是需要估计和校正的目标，通过去除估计的光照或对光照分量进行校正就可以进一步获得增强的输出图像。但通常在训练深度学习网络时，与昏暗图像的成对的原始明亮图像不易获得。
发明内容
本发明的目的在于提供一种基于权重共享和迭代数据优化的低光照图像增强方法，以解决低光照图像存在的低对比度、色彩失真、大量细节信息不可见、噪声大的缺陷。
一种基于权重共享和迭代数据优化的低光照图像增强方法，所述方法包括：
获取低光照图像，将低光照图像输入到训练好的低光照图像增强模型中，得到增强结果图像；
其中，所述低光照图像增强模型包括权重共享的光照估计模块、光照校准模块和去噪模块；
所述权重共享的光照估计模块处理图像数据的过程为：图像xt-1依次经过2个带有ReLU激活函数的卷积层和1个带有Sigmoid激活函数的卷积层提取图像特征，特征经过3个卷积层，第一个卷积层的输出作为第二个卷积层的输入，同时第一个卷积层的输出与第二个卷积层的输出相加作为第三个卷积层的输入，第三个卷积层的输出与图像xt-1相加作为权重共享的光照估计模块的输出；
所述光照校准模块处理图像数据的过程为：图像X与权重共享的光照估计模块的输出相除的结果rt依次经过1个带有ReLU激活函数的卷积层、3个残差块和1个带有Sigmoid激活函数的卷积层提取图像特征；特征输入残差块通过一个跳跃连接与其残差块的第二个卷积层的输出相加作为残差块的输出；rt与最后一个卷积层的输出相减，再与图像X相加作为光照校准模块的输出；
所述去噪模块处理图像数据的过程为：图像X与最后的光照分量相除的结果输入到该模块进行去噪，输出去噪后的图像。
进一步地，所述低光照图像增强模型的训练方法包括：
采用初始图像数据集{Xi,Yi}训练低光照图像增强模型用/>对low图像Yi进行低光照增强得到/>再对/>做降质退化处理得到一组新的优化的数据集在新的数据集/>上迭代训练出低光照图像增强模型。
进一步地，所述初始图像数据集{Xi,Yi}的获取方法包括：
获取一组low图像数据集，并对数据集中的昏暗图像通过伽马校正的方法进行降质退化处理得到对应的更昏暗(lower)图像，以此构建初始图像训练数据集{Xi,Yi}，其中Xi为lower图像，Yi为对应的low图像，下标i表示lower或low图像中的第i个。
进一步地，所述降质退化处理的退化模型公式为：
其中，X为lower图像，Y为low图像，是Y的映射，A为常量，通常为1，γ为伽马值，取γ>1，使得图像变暗。
进一步地，所述构建权重共享的光照估计模块为：
其中，ut-1表示第t-1阶段(t＝1，…，T)的残差项，xt-1表示第t-1阶段的光照，是对xt-1的映射，X为lower图像，/>表示光照估计网络，θ为参数，/>与阶段数无关，即在每一阶段的光照估计网络中均保持结构/>与参数θ共享状态，在该模块中，第一阶段的输入为lower图像，之后每一阶段的输入都来源于前一阶段的输出。
进一步地，所述构建光照校准模块为：
其中t≥1，xt表示第t阶段的光照，X表示输入的lower图像，是对xt的映射，引入一个带有参数θ的映射/>来校准光照，/>表示光照校准网络，θ为参数。
进一步地，所述构建去噪模块的方法为：
采用非局部均值去噪(NLM：Non-Local Means)算法，公式为：
其中，rT(q)是图像rT＝X/xT的像素q的灰度值，是图像rT降噪后像素p的灰度值，w(p,q)是像素p和q之间的权重，B(p,r)是光照校准后的输出图像中以像素p为中心，宽为2r+1的区域，C(p)为权重归一化系数，计算公式为：
进一步地，所述低光照图像增强模型的基本单元为：
其中，X是lower图像，是低光照图像增强模型的第m个网络，共有T-1个/>映射和T个/>映射，NLM表示非局部均值去噪算法。
进一步地，所述低光照图像增强模型的总损失函数表示为：
其中代表迭代估计损失，/>代表保真度损失，/>代表平滑损失，/>代表噪声估计损失，α和β是两个正平衡参数，迭代估计损失用于约束每次迭代中网络模型的一致性，保真度损失用于约束估计光照和每个阶段输入的像素一致性，平滑损失用于约束光照分量的空间平滑性，噪声估计损失用估计的光照分量来指导图像去噪任务。
进一步地，迭代估计损失函数公式为：
其中n是low图像{Yi}的总数，i是low图像中的第i个，是低光照图像增强模型的第m个网络。
保真度损失函数公式为：
其中T是总阶段数，xt是t阶段的更昏暗图像lower的光照分量，用经过光照校正模块后的来约束光照估计阶段的输出光照xt；
平滑损失函数公式为：
其中N是像素的总数，i是第i个像素，N(i)是一个以i为中心的5×5窗口中的相邻像素，T是总阶段数，K是一个高斯核的权值；
噪声估计损失函数公式为：
其中rT(q)是图像rT＝X/xT的像素q的灰度值，是图像rT降噪后像素p的灰度值。
与现有技术相比，本发明所达到的有益效果：
1、本发明提出的低光照图像增强方案通过伽马校正改变图像亮度，无需配对的明亮图像，只基于昏暗图像数据，模拟生成更昏暗图像数据，进而构建并训练网络模型，训练好的模型可对实际低光照图像进行图像增强；
2、本发明提出了一个具有权重共享的光照学习模块和光照校准模块，以赋予每个阶段的结果之间的收敛性，提高曝光稳定性的同时大大减少计算负担；
3、本发明提出了一种迭代数据优化的模型，减少创建lower图像的数据集和理想的昏暗-明亮图像对数据集之间的数据偏差。
附图说明
图1是本发明迭代数据优化的流程框图；
图2是本发明低光照图像增强模型的整体流程框图；
图3是本发明中EnhanceNetwork的结构图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
如图1-图3所示，本发明公开了一种基于权重共享和迭代数据优化的低光照图像增强方法，所述方法包括：
获取低光照图像，将低光照图像输入到训练好的低光照图像增强模型中，得到增强结果图像；
其中，所述低光照图像增强模型包括权重共享的光照估计模块、光照校准模块和去噪模块；
所述权重共享的光照估计模块处理图像数据的过程为：图像xt-1依次经过2个带有ReLU激活函数的卷积层和1个带有Sigmoid激活函数的卷积层提取图像特征，特征经过3个卷积层，第一个卷积层的输出作为第二个卷积层的输入，同时第一个卷积层的输出与第二个卷积层的输出相加作为第三个卷积层的输入，第三个卷积层的输出与图像xt-1相加作为权重共享的光照估计模块的输出；
所述光照校准模块处理图像数据的过程为：图像X与权重共享的光照估计模块的输出相除的结果rt依次经过1个带有ReLU激活函数的卷积层、3个残差块和1个带有Sigmoid激活函数的卷积层提取图像特征；特征输入残差块通过一个跳跃连接与其残差块的第二个卷积层的输出相加作为残差块的输出；rt与最后一个卷积层的输出相减，再与图像X相加作为光照校准模块的输出；
所述去噪模块处理图像数据的过程为：图像X与最后的光照分量相除的结果输入到该模块进行去噪，输出去噪后的图像。
具体方法步骤如下：
步骤一：准备输入数据
获取用于训练和测试的公用数据集；本实施例中使用LOL公用数据集中的485幅昏暗图像(low)训练网络，15幅low图像用作测试；对数据集中的昏暗图像通过伽马矫正的方法进行降质退化处理得到对应的更昏暗(lower)图像，以此构建初始图像训练数据集{Xi,Yi}，其中Xi为lower图像，Yi为对应的low图像，下标i表示lower或low图像中的第i个。
降质退化处理的退化模型公式为：
其中，X为lower图像，Y为low图像，A为常量，通常为1，γ为伽马值，取γ>1，使得图像变暗。
步骤二：构建迭代数据优化低光照图像增强模型
如图1所示，首先基于初始图像数据集{Xi,Yi}训练低光照图像增强模型用/>对low图像Yi进行低光照增强得到/>再对/>做降质退化处理得到一组新的优化的数据集/>在新的数据集/>上训练一个更好的低光照图像增强模型/>
上述过程通过优化数据集和训练更好的低光照图像增强模型来交替迭代执行多次，即训练出一个低光照图像增强模型后，可以构建新的优化的数据集，进而再训练更好的模型/> 和构建新的优化的数据集。
步骤三：构建权重共享的光照估计模块、光照校准模块和去噪模块
所述构建权重共享的光照估计模块为：
其中，ut-1表示第t-1阶段(t＝1，…，T)的残差项，xt-1表示第t-1阶段的光照，是对xt-1的映射，X为lower图像，/>表示光照估计网络，θ为参数，/>与阶段数无关，即在每一阶段的光照估计网络中均保持结构/>与参数θ共享状态，在该模块中，第一阶段的输入为lower图像，之后每一阶段的输入都来源于前一阶段的输出。
所述构建光照校准模块为：
其中t≥1，xt表示第t阶段的光照，X表示输入的lower图像，是对xt的映射，引入一个带有参数θ的映射/>来校准光照，/>表示光照校准网络，θ为参数。
进一步地，所述构建去噪模块的方法为：
采用非局部均值去噪(NLM：Non-Local Means)算法，公式为：
其中，rT(q)是图像rT＝X/xT的像素q的灰度值，是图像rT降噪后像素p的灰度值，w(p,q)是像素p和q之间的权重，B(p,r)是光照校准后的输出图像中以像素p为中心，宽为2r+1的区域，C(p)为权重归一化系数，计算公式为：
步骤四：构建和训练该模型的网络，得到训练好的迭代数据优化低光照图像增强模型；
低光照图像增强模型的网络包括EnhanceNetwork和CalibrateNetwork两个网络，其中EnhanceNetwork为权重共享的光照估计模块的网络CalibrateNetwork为光照校准模块的网络/>
EnhanceNetwork模块处理图像数据的过程为：
输入xt-1，依次经过2个带有ReLU激活函数的卷积层和1个带有Sigmoid激活函数的卷积层提取图像特征；3个卷积层的输入通道为3，输出通道为3，卷积核大小为3x3，步长为1；第一个卷积层的输出作为第二个卷积层的输入，同时第一个卷积层的输出与第二个卷积层的输出相加作为第三个卷积层的输入，第三个卷积层的输出与xt-1相加作为EnhanceNetwork的输出。
CalibrateNetwork模块处理图像数据的过程为：
输入lower图像X与EnhanceNetwork的输出相除后的结果rt，依经过1个带有ReLU激活函数的卷积层、3个残差块和1个带有Sigmoid激活函数的卷积层提取图像特征；其中第一个卷积层的输入通道为3，输出通道为16，卷积核大小为3x3，步长为1；残差块中包含2个带有ReLU激活函数的卷积层，输入通道为16，输出通道为16，卷积核大小为3x3，步长为1；最后一个卷积层的输入通道为16，输出通道为3，卷积核大小为3x3，步长为1；残差块的输入通过一个跳跃连接与其第二个卷积层的输出相加作为残差块的输出；rt与最后一个卷积层的输出相减，再与X相加作为CalibrateNetwork的输出。
去噪模块DenoiseModel结构为：OpenCV中的fastNIMeansDenoisingColored函数，用于彩色图像去噪。该模块处理图像的过程为：将lower图像与最后的光照分量相除的结果输入到该模块进行去噪，输出去噪后的图像。
所述低光照图像增强模型的总损失函数表示为：
其中代表迭代估计损失，/>代表保真度损失，/>代表平滑损失，/>代表噪声估计损失，α和β是两个正平衡参数，迭代估计损失用于约束每次迭代中网络模型的一致性，保真度损失用于约束估计光照和每个阶段输入的像素一致性，平滑损失用于约束光照分量的空间平滑性，噪声估计损失用估计的光照分量来指导图像去噪任务；
利用损失函数式(7)约束每一阶段的迭代估计、光照估计和噪声估计。其中代表迭代估计损失，/>代表保真度损失，/>代表平滑损失，/>代表噪声估计损失，α和β是两个正平衡参数，迭代估计损失用于约束每次迭代中网络模型的一致性，保真度损失用于约束估计光照和每个阶段输入的像素一致性，平滑损失用于约束光照分量的空间平滑性，噪声估计损失用估计的光照分量来指导图像去噪任务。
迭代估计损失函数公式为：
其中n是low图像{Yi}的总数，i是low图像中的第i个，是低光照图像增强模型的第m个网络。
保真度损失函数公式为：
其中T是总阶段数，xt是t阶段的更昏暗图像lower的光照分量，用经过光照校正模块后的来约束光照估计阶段的输出光照xt；
平滑损失函数公式为：
其中N是像素的总数，i是第i个像素，N(i)是一个以i为中心的5×5窗口中的相邻像素，T是总阶段数，K是一个高斯核的权值；
噪声估计损失函数公式为：
其中rT(q)是图像rT＝X/xT的像素q的灰度值，是图像rT降噪后像素p的灰度值。
步骤五：将低光照图像输入到训练好的模型中，得到增强结果图像。
所述低光照图像增强模型的基本单元为：
其中，X是lower图像，是低光照图像增强模型的第m个网络，共有T-1个/>映射和T个/>映射，NLM表示非局部均值去噪算法。
下面结合表1，通过实施例的效果评价来进一步说明本发明。
在本实施例中，使用峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)和结构相似性(Structure Similarity，SSIM)作为结果的客观评价指标；
在本实施例中，使用LOL数据集中的low图像作为测试图像，从表1可以看出，本实施例方法得到的结果与其他方法的结果相比有显著提升。
表1列出了本实施例和其他先进的低光照图像增强方法得到的结果图像的平均PSNR和SSIM。从表1可以看出，本实施例方法得到的结果与其他方法的结果相比有显著提升。
表1在(lower，low)数据集上的测试比较
| Index | Retinex | MBLLEN | EnlightenGAN | ZeroDCE | Ours |
| PSNR | 10.533 | 18.755 | 18.967 | 23.704 | 26.378 |
| SSIM | 0.709 | 0.814 | 0.875 | 0.887 | 0.898 |
表1分别为一幅原始低光照图像和用Retinex、MBLLEN、ZeroDCE、EnlightenGAN算法和真实的正常光照图像以及本实施例方法处理得到的低光照增强结果测试表。从表中数据可以看出，Retinex方法的结果图像明显过度曝光颜色失真，MBLLEN方法的结果图像存在对比度过度，ZeroDCE方法的结果图像存在部分区域光照不强，EnlightenGAN方法的结果图像存在局部区域增强过度。本实施例无论在颜色和细节方面更优于其他方法，与真实图像更逼近。本实施例解决了光照不一致和严重的噪声的问题，在结果中，地面和叶子的色彩和自然细节恢复更加一致。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种基于权重共享和迭代数据优化的低光照图像增强方法，其特征在于，所述方法包括：
获取低光照图像，将低光照图像输入到训练好的低光照图像增强模型中，得到增强结果图像；
其中，所述低光照图像增强模型包括权重共享的光照估计模块、光照校准模块和去噪模块；
所述权重共享的光照估计模块处理图像数据的过程为：图像xt-1依次经过2个带有ReLU激活函数的卷积层和1个带有Sigmoid激活函数的卷积层提取图像特征，特征经过3个卷积层，第一个卷积层的输出作为第二个卷积层的输入，同时第一个卷积层的输出与第二个卷积层的输出相加作为第三个卷积层的输入，第三个卷积层的输出与图像xt-1相加作为权重共享的光照估计模块的输出；
所述光照校准模块处理图像数据的过程为：图像X与权重共享的光照估计模块的输出相除的结果rt依次经过1个带有ReLU激活函数的卷积层、3个残差块和1个带有Sigmoid激活函数的卷积层提取图像特征；特征输入残差块通过一个跳跃连接与其残差块的第二个卷积层的输出相加作为残差块的输出；rt与最后一个卷积层的输出相减，再与图像X相加作为光照校准模块的输出；
所述去噪模块处理图像数据的过程为：图像X与最后的光照分量相除的结果输入到该模块进行去噪，输出去噪后的图像。
2.根据权利要求1所述的基于权重共享和迭代数据优化的低光照图像增强方法，其特征在于，所述低光照图像增强模型的训练方法包括：
采用初始图像数据集{Xi,Yi}训练低光照图像增强模型用/>对low图像Yi进行低光照增强得到/>再对/>做降质退化处理得到一组新的优化的数据集在新的数据集/>上迭代训练出低光照图像增强模型。
3.根据权利要求2所述的基于权重共享和迭代数据优化的低光照图像增强方法，其特征在于，所述初始图像数据集{Xi,Yi}的获取方法包括：
获取一组low图像数据集，并对数据集中的昏暗图像通过伽马校正的方法进行降质退化处理得到对应的更昏暗(lower)图像，以此构建初始图像训练数据集{Xi,Yi}，其中Xi为lower图像，Yi为对应的low图像，下标i表示lower或low图像中的第i个。
4.根据权利要求3所述的基于权重共享和迭代数据优化的低光照图像增强方法，其特征在于，所述降质退化处理的退化模型公式为：
其中，X为lower图像，Y为low图像，是Y的映射，A为常量，通常为1，γ为伽马值，取γ>1，使得图像变暗。
5.根据权利要求1所述的基于权重共享和迭代数据优化的低光照图像增强方法，其特征在于，所述构建权重共享的光照估计模块为：
其中，ut-1表示第t-1阶段(t＝1，…，T)的残差项，xt-1表示第t-1阶段的光照，是对xt-1的映射，X为lower图像，/>表示光照估计网络，θ为参数，/>与阶段数无关，即在每一阶段的光照估计网络中均保持结构/>与参数θ共享状态，在该模块中，第一阶段的输入为lower图像，之后每一阶段的输入都来源于前一阶段的输出。
6.根据权利要求1所述的基于权重共享和迭代数据优化的低光照图像增强方法，其特征在于，所述构建光照校准模块为：
其中t≥1，xt表示第t阶段的光照，X表示输入的lower图像，是对xt的映射，引入一个带有参数θ的映射/>来校准光照，/>表示光照校准网络，θ为参数。
7.根据权利要求1所述的基于权重共享和迭代数据优化的低光照图像增强方法，其特征在于，所述构建去噪模块的方法为：
采用非局部均值去噪(NLM：Non-Local Means)算法，公式为：
其中，rT(q)是图像rT＝X/xT的像素q的灰度值，是图像rT降噪后像素p的灰度值，w(p,q)是像素p和q之间的权重，B(p,r)是光照校准后的输出图像中以像素p为中心，宽为2r+1的区域，C(p)为权重归一化系数，计算公式为：
8.根据权利要求1所述的基于权重共享和迭代数据优化的低光照图像增强方法，其特征在于，所述低光照图像增强模型的基本单元为：
其中，X是lower图像，是低光照图像增强模型的第m个网络，共有T-1个/>映射和T个/>映射，NLM表示非局部均值去噪算法。
9.根据权利要求1所述的基于权重共享和迭代数据优化的低光照图像增强方法，其特征在于，所述低光照图像增强模型的总损失函数表示为：
其中代表迭代估计损失，/>代表保真度损失，/>代表平滑损失，/>代表噪声估计损失，α和β是两个正平衡参数，迭代估计损失用于约束每次迭代中网络模型的一致性，保真度损失用于约束估计光照和每个阶段输入的像素一致性，平滑损失用于约束光照分量的空间平滑性，噪声估计损失用估计的光照分量来指导图像去噪任务。
10.根据权利要求9所述的基于权重共享和迭代数据优化的低光照图像增强方法，其特征在于，迭代估计损失函数公式为：
其中n是low图像{Yi}的总数，i是low图像中的第i个，是低光照图像增强模型的第m个网络。
保真度损失函数公式为：
其中T是总阶段数，xt是t阶段的更昏暗图像lower的光照分量，用经过光照校正模块后的来约束光照估计阶段的输出光照xt；
平滑损失函数公式为：
其中N是像素的总数，i是第i个像素，N(i)是一个以i为中心的5×5窗口中的相邻像素，T是总阶段数，K是一个高斯核的权值；
噪声估计损失函数公式为：
其中rT(q)是图像rT＝X/xT的像素q的灰度值，是图像rT降噪后像素p的灰度值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311373830.4A CN117422653A (zh) | 2023-10-23 | 2023-10-23 | 一种基于权重共享和迭代数据优化的低光照图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311373830.4A CN117422653A (zh) | 2023-10-23 | 2023-10-23 | 一种基于权重共享和迭代数据优化的低光照图像增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117422653A true CN117422653A (zh) | 2024-01-19 |
Family
ID=89524232
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311373830.4A Pending CN117422653A (zh) | 2023-10-23 | 2023-10-23 | 一种基于权重共享和迭代数据优化的低光照图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117422653A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117611486A (zh) * | 2024-01-24 | 2024-02-27 | 深圳大学 | 一种非正则自监督的低光图像增强方法 |
-
2023
- 2023-10-23 CN CN202311373830.4A patent/CN117422653A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117611486A (zh) * | 2024-01-24 | 2024-02-27 | 深圳大学 | 一种非正则自监督的低光图像增强方法 |
| CN117611486B (zh) * | 2024-01-24 | 2024-04-02 | 深圳大学 | 一种非正则自监督的低光图像增强方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112288658B (zh) | 一种基于多残差联合学习的水下图像增强方法 | |
| CN110599409B (zh) | 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 | |
| CN111028163A (zh) | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 | |
| CN107590779B (zh) | 一种基于图像块聚类字典训练的图像去噪去模糊方法 | |
| CN113052814B (zh) | 基于Retinex和注意力机制的暗光图像增强方法 | |
| CN110930327B (zh) | 基于级联深度残差网络的视频去噪方法 | |
| CN112465727A (zh) | 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法 | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| Liu et al. | Learning hadamard-product-propagation for image dehazing and beyond | |
| CN115393227B (zh) | 基于深度学习的微光全彩视频图像自适应增强方法及系统 | |
| CN117422653A (zh) | 一种基于权重共享和迭代数据优化的低光照图像增强方法 | |
| CN116797488A (zh) | 一种基于特征融合与注意力嵌入的低照度图像增强方法 | |
| KR102277005B1 (ko) | 비지도 학습을 이용한 저조도 영상 처리 방법 및 장치 | |
| CN111563854B (zh) | 用于水下图像增强处理的粒子群优化方法 | |
| Hua et al. | Low-light image enhancement based on joint generative adversarial network and image quality assessment | |
| CN116433516A (zh) | 一种基于注意力机制的低照度图像去噪增强方法 | |
| CN115760640A (zh) | 基于含噪Retinex模型的煤矿低光照图像增强方法 | |
| CN115797205A (zh) | 基于Retinex分数阶变分网络的无监督单张图像增强方法及系统 | |
| CN112907570B (zh) | 一种轻量级无监督暗光图像增强方法及装置 | |
| Xu et al. | Deep residual convolutional network for natural image denoising and brightness enhancement | |
| CN106952243A (zh) | Uuv近海面红外图像自适应归并直方图拉伸增强方法 | |
| Jia et al. | Detachable image decomposition and illumination mapping search for low-light image enhancement | |
| Chen et al. | GADO-Net: an improved AOD-Net single image dehazing algorithm | |
| CN115456903B (zh) | 一种基于深度学习的全彩夜视增强方法和系统 | |
| CN114066747B (zh) | 一种基于光照和反射互补性的低照度图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |