CN112614077B - 一种基于生成对抗网络的非监督低照度图像增强方法 - Google Patents
一种基于生成对抗网络的非监督低照度图像增强方法 Download PDFInfo
- Publication number
- CN112614077B CN112614077B CN202011612495.5A CN202011612495A CN112614077B CN 112614077 B CN112614077 B CN 112614077B CN 202011612495 A CN202011612495 A CN 202011612495A CN 112614077 B CN112614077 B CN 112614077B
- Authority
- CN
- China
- Prior art keywords
- image
- low
- generator
- illumination
- unsupervised
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000005286 illumination Methods 0.000 title claims abstract description 34
- 238000012549 training Methods 0.000 claims description 26
- 238000010586 diagram Methods 0.000 claims description 11
- 230000008602 contraction Effects 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 230000003042 antagnostic effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000001965 increasing effect Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims 1
- 238000007781 pre-processing Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 10
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 8
- 235000011941 Tilia x europaea Nutrition 0.000 description 8
- 239000004571 lime Substances 0.000 description 8
- 238000010276 construction Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 241000217776 Holocentridae Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Abstract
本发明公开了一种基于生成对抗网络的非监督低照度图像增强方法，属于图像处理领域，本发明通过构建生成对抗网络的生成器和判别器，利用训练集对生成对抗网络的生成器和判别器进行训练，使用训练后的生成对抗网络对待处理的低照度图像进行增强得到增强图像。本发明能够利用非监督图像数据训练模型，从而解决监督数据数量少且获取困难的问题；同时该方法能通过基于图像梯度和亮度设计的注意力图解决图像增强后的过曝问题。
Description
技术领域
本发明涉及一种基于生成对抗网络的非监督低照度图像增强方法，能够广泛适用于各种低照度环境下，需要通过增强图像或视频的亮度以提高能见度的场景。
背景技术
低照度图像增强是计算机视觉领域的一个经典问题，其目的在于增强在低光照环境下拍摄的图片或视频，以提高其能见度。该技术不仅在视频监控、视频拍摄等依靠人眼感知的领域具有大量的应用，同样能为依赖于图像或视频的智能化算法(如自动驾驶)提供高质量的输入。现有的低照度图像增强方法主要分为三类：直方图均衡化(HE)，Retinex理论，基于学习的方法。
直方图均衡化这类方法利用预先设计的先验知识或约束实现对图像的全局或局部的直方图均衡化。这类方法的优点是快速且稳定，缺点是仅考虑对比度，未考虑亮度，容易造成增强后的图像过曝或欠曝的问题。同时，该类方法并未考虑图像的语义信息，对不同属性但具有相同亮度直方图的区域仅能采用相同的增强方案，容易得到次优结果。
Retinex理论将图像分解为反射图和照度图，并通过不同的假设估计照度图来求解反射图，其中反射图即为增强后的图像；基于Retinex理论的方法可以看作一个照度图估计的问题，其中不同方法区别在于估计照度图的模型不同。然而，照度图估计的模型是手工建立并且依赖仔细的参数调整。实际效果中，基于Retinex理论的方法很容易产生过曝、颜色失真等问题。
基于学习的方法则从大量低光照图像(及正常光照图像)中学习从低光照图像Ilow到正常光照图像Inorm的映射，从而对未知低光照图像进行增强。随着数据量的提升以及深度学习技术的广泛运用，基于学习的方法取得了超越直方图均衡化或Retinex理论的效果。
基于学习的算法可进一步分为监督学习和非监督学习。监督学习需要依赖大量成对的训练数据(即Ilow及其对应的Inorm)，这样的数据通常通过合成或者控制不同曝光时间来获得，往往无法准确反映Ilow到Inorm的映射关系；非监督学习不受该限制，仅需要非成对的训练数据或仅低光照图像构成的训练集即可完成训练，因此容易通过大量真实场景下的数据学习出更好的模型。
基于学习的方法中，监督学习需要大量成对的数据(Ilow,Inorm)，这些数据通常通过如下方法获得：1)建立低光照图像生成模型并从Inorm生成Ilow；2)通过相机对同一场景采用不同曝光时间得到Inorm和Ilow；3)通过修图专家从Ilow生成Inorm。然而，方法1生成的Ilow并不能准确的模拟真实光照环境下图像，基于方法2生成的数据集所开发的模型仅适用于生成该数据集的相机，而方法3生成数据集的成本很高，难以生成大规模的数据集。
非监督学习因为缺少监督信息(即Ilow对应的Inorm)，而对算法建模提出更高的要求，即在增强亮度的同时保证图像色彩的自然和内容不被更改。现有方法中，EnlightenGAN算法利用生成对抗网络学习从一组Ilow到一组Inorm(非成对数据)亮度层面的映射，并通过感知损失(Perceptual Loss)保证增强前后图像内容的一致性。该模型运算速度较快，并且增强的图像色彩自然，但若原Ilow存在较亮的光源时，该算法增强后的图像很容易过曝；此外，该模型对噪声控制效果并不好。ZeroDCE算法仅需要Ilow作为训练数据，然后通过平均曝光期望、空间色彩一致性及光照平滑损失函数训练模型。该模型运算速度很快，但该模型损失函数所基于的假设过强，实际增强的图像很容易出现色彩异常的问题。
发明内容
本发明的目的在于克服现有技术的不足。考虑到生成对抗网络是一种深度学习模型，是非监督学习中最具前景的方法之一。本发明提出了一种基于生成对抗网络的非监督低照度图像增强算法方法，该发明包含非监督低照度图像增强数据集的构建，曝光控制算法，生成对抗网络模型的构建和训练在内的一整套建模方法，该方法能够利用非监督图像数据训练模型，从而解决监督数据数量少且获取困难的问题；同时该方法能通过基于图像梯度和亮度设计的注意力图解决图像增强后的过曝问题。
本发明提供了一种基于生成对抗网络的非监督低照度图像增强方法，其包括如下步骤：
构建生成对抗网络的生成器和判别器，利用训练集对生成对抗网络的生成器和判别器进行训练，使用训练后的生成对抗网络对待处理的低照度图像进行增强，得到增强图像；
其中，所述生成器具有收缩路径和扩展路径；
所述收缩路径由多个阶段组成，在一个阶段结束时，特征图被下采样，并且卷积滤波器的数量增加；所述扩展路径由多个阶段组成，在一个阶段结束时，特征图被上采样，并且卷积滤波器的数量减少；
所述收缩路径每一个阶段输出的特征图除了进入下一阶段外，还通过跳层连接与注意力图做点积，经过通道注意力模块与扩展路径中对应阶段输出的特征图相连接，以作为扩展路径下一阶段的输入；
扩展路径的最终输出经过卷积层将通道数降低后与注意力图作点积并通过跳层连接与输入图片相加，得到生成器的最终输出。
与现有技术相比，本发明利用非监督图像数据训练模型，从而解决监督数据数量少且获取困难的问题；同时本发明能通过基于图像梯度和亮度设计的注意力图解决图像增强后的过曝问题。将本发明所提出的模型与现有低光照图像增强算法/模型LIME、RetinexNet、EnlightenGAN、ZeroDCE等在MEF、LIME、NPE、VV、DICM五个数据集的NIQE指标上做对比(NIQE指标越低越好)，本发明所提出的模型在NIQE指标上显著优于其他对比方法。本发明所提出的模型增强后的图像在曝光控制、噪声控制以及色彩准确度上明显优于其他对比方法。
附图说明
图1为从互联网搜索引擎爬取的低光照图像和正常光照图像；
图2(a)为生成器网络结构图；
图2(b)为判别器网络结构图，左图为全局判别器Dg，右图为局部判别器Dl；
图3为非监督低光照图像增强模型构建流程示意图；
图4为模型增强后图像对比。
具体实施方式
下面结合具体实施方式对本发明做进一步阐述和说明。
本发明基于生成对抗网络的非监督低照度图像增强方法，可以描述为包括如下步骤：构建生成对抗网络的生成器和判别器，利用训练集对生成对抗网络的生成器和判别器进行训练，使用训练后的生成器对待处理的低照度图像进行增强，得到增强图像。
在本发明的一种可选实施方式中，本发明主要过程描述为：获取训练集，构建生成对抗网络，对网络进行训练，对待处理图像进行增强。本发明分别对训练数据集构建、生成对抗网络模型构建和在构建生成对抗网络时采用考虑梯度及亮度的自正则注意力图等方面进行了改进。
一、训练数据集构建
在本发明的一个具体实施例中，利用一种爬虫工具(如Scrapy)从互联网图像搜索引擎(如百度)中爬取关键字为“暗光图像”和“夜间图像”等的图像(图1(a))，并将其归类为Ilow；然后以同样的方式爬取关键字为“日间图像”和“白天图像”等的图像(图1(b))，并将其归类为Inorm。
在两类数据收集完毕后，需要对图像做筛选，以去掉明显不符合对应类别的图像。具体而言，本发明首先利用一种基于高斯分布的自适应阈值方法自动的筛选掉Ilow中明显偏亮，以及Inorm中明显偏暗的图像。以Ilow为例，以公式(1)，(2)，(3)分别求出每张低光照图像的亮度均值，整个数据集的亮度均值，以及标准差，
其中pj为图像i中第j个点的亮度，其值为RGB三通道的最大值；并将mi>mean(Ilow)+2*std(Ilow)的图像(即整体偏亮的图像)去除。同理，在Inorm中，将mi<mean(Inorm)-2*std(Inorm)的图像去除。
经过上述步骤处理后，可以去掉明显不符合对应类别的图像，若考虑更进一步的处理效果，还可以再通过人工筛选的方式或其它方式将依旧不适合的图片去除。
二、生成对抗网络模型构建
生成对抗网络(Goodfellow,Ian,et al."Generative adversarial nets."Advances in neural information processing systems.2014.)是一种非监督的机器学习模型，它可以有效的建立不同分布间的映射，从而使得生成的输出与目标难以被区分。GAN在训练的过程中由两部分组成：生成器(G)和判别器(D)。其中，判别器的目的在于判断输入数据是真实的还是由生成器生成的，而生成器的目的是将输入变化为会被判别器判断为真实的数据。在这样一个动态博弈的过程中，最终生成器所生成的数据与真实数据在分布上达到一致，使得判别器难以区分。在本发明中，生成器以Ilow为输入，生成Igen；判别器将区分输入的图像是来自于Igen还是来自于Inorm。
本发明所提出的模型中，生成器G的网络结构如图2(a)所示，该网络具有收缩路径和扩展路径。在本发明的一个具体实施例中，收缩路径由4个阶段组成，在每个阶段内，特征图保持相同的形状。在一个阶段结束时，特征图被下采样2倍，并且卷积滤波器的数量增加了一倍。每一个阶段都有两个卷积层且卷积核的大小均设置为3×3。扩展路径与收缩路径相反，收缩路径对特征图进行2倍上采样，并在阶段结束时将卷积滤波器的数量减半。每层中卷积滤波器的数量如图所示。收缩路径每一个阶段输出的特征图除了进入下一阶段外，还通过跳层连接与注意力图(在具体实施方式第三部分中介绍)做点积，经过通道注意力模块SEBlock并与扩展路径中对应阶段输出的特征图相连接，以作为下一阶段的输入。这样做的目的是通过组合注意力加持的模型浅层与深层的特征，提高模型的特征表达能力。于此同时，模型的输出经过卷积层将通道数降为3(与RGB图像通道数一致)，与注意力图作点积并通过跳层连接与输入图片相加，得到最终输出。判别器有两个：全局判别器Dg和局部判别器Dl，他们的网络结构如图2(b)所示，这两个网络均为普通的前向卷积网络，且输出层维数为1，用于判断输入图像来自于真实图像(真)还是生成器G。
接下来，本发明分别定义生成器和判别器用于优化的损失函数。其中，生成器的损失函数如公式(4)所示，
其中，
和
分别是生成器全局对抗损失和局部对抗损失，Lc代表内容损失，Lspa代表空间一致性损失。这些损失函数的公式如(5-8)所示，
其中Dg为全局判别器，G为生成器，I为输入图像；
其中P是图像局部区域的数量，且每个区域p尺寸为32*32，来自于从图像I中随机选取；
其中φl(·)在本实施例中代表预训练的VGG-16模型的第l层卷积层，W和H代表特征图的宽和高,该损失函数能够保证增强前后图像的语义信息不被更改；
其中K为局部区域数量，Ω(i)为区域i中心点上下左右四个像素点，该损失函数通过保留输入图像与其增强版本之间的相邻区域的差异来鼓励增强图像的空间一致性。
判别器的损失函数如公式(9)所示，
其中，
和
分别是判别器的全局对抗损失和局部对抗损失，他们的公式如(10-11)所示，
其中J是采自于正常光照图像；
三、考虑梯度及亮度的自正则注意力图
对于一张在空间上具有不同光照条件的低光照图像，期望增强模型能够更多的增强黑暗区域而较少地增强明亮区域，这样能使得生成的图像不会过曝或欠曝。因此，在本发明所提出的生成器模型中，设计了自正则注意力图M，利用双线性插值缩放到目标尺寸，用于和生成器指定隐藏层输出的特征图相乘(具体位置参见图2(a))，以让模型将更多注意力放在低光照区域，而较少地增强曝光正常区域。具体而言，参考方法EnlightenGAN，本发明取输入RGB图像的光照通道V(RGB三通道的最大值)，将其归一化为[0,1]，然后使用1-V(逐元素差)作为初始注意力图M0。在M0的基础上，进一步考虑到亮度高且纹理光滑的区域(块状光源，如灯芯)相比亮度高但纹理丰富的区域(如被灯光照亮的地面)存在更高过曝的风险，因此将图像每个像素的梯度大小亦考虑进M的生成。图像梯度G的计算公式如(12)所示，
其中⊙代表卷积。于是M的计算公式为，
其中M0右侧的项在G∈[0,2]的区间内为单调递增函数，这样梯度低的区域M值将进一步减低，以降低过曝的风险。
根据以上描述，以下结合图3和实施范例对本发明的可选实施方式做进一步的详细说明。本范例介绍如何构建集成模型并进行训练。该方法具体步骤如下：
步骤一：构建数据集。本范例首先利用Scrapy爬虫从互联网图像搜索引擎各爬取1500张低光照图像和正常光照图像，接着使用自适应阈值和手动筛选的方式将数据集缩减到各1000张图像作为训练集；接着，本范例使用MEF、LIME、NPE、VV、DICM这五个公开数据集作为测试集，测试集在训练过程中对于模型不可见。
步骤二：模型构建。本范例利用开源机器学习库Pytorch，首先建立生成器、全局判别器和局部判别器模型，然后按照按照公式(4)和(9)分别构建生成器和判别器的损失函数，接着定义数据加载函数用于加载训练数据。
步骤三：模型训练。本范例采用Adam同时作为生成器和判别器的优化器，初始学习率设置为1×10-4，模型共训练200轮，每个mini-batch大小为8。在每一步训练过程中，生成器G和判别器Dg、Dl轮流更新权重，即先计算LG对G模型参数的梯度并更新G，再计算LD对Dg、Dl模型参数的梯度并更新Dg、Dl。
步骤四：模型验证。在模型训练完毕后，本范例使用训练好的生成器G去增强每个验证集中的所有图像，并分别统计各个数据集的平均NIQE指标，最后与对比方法做比较。其中，测试集上的NIQE越低代表模型图像增强能力越好。
本实验将本发明所提出的模型与现有低光照图像增强算法/模型LIME、RetinexNet、EnlightenGAN、ZeroDCE等在MEF、LIME、NPE、VV、DICM五个数据集的NIQE指标上做对比(NIQE指标越低越好)，以体现其图像增强效果的优越性。其中如表1所示，本发明所提出的模型在NIQE指标上显著优于其他对比方法。如图4所示，本发明所提出的模型增强后的图像在曝光控制、噪声控制以及色彩准确度上明显优于其他对比方法。这些结果验证了所提出的模型的有效性。
表1不同方法在MEF、LIME、NPE、VV、DICM数据集上增强后图像NIQE指标对比
| 方法/数据集 | LIME | NPE | MEF | DICM | VV |
| LIME | 6.47717 | 5.48633 | 5.03709 | 5.58842 | 5.51116 |
| RetinexNet | 7.40644 | 5.73038 | 6.24922 | 5.97517 | 6.03490 |
| EnlightenGAN | 5.62702 | 5.48847 | 4.00929 | 5.09793 | 4.87998 |
| ZeroDCE | 5.91672 | 4.97524 | 4.52315 | 4.93066 | 4.93317 |
| 本发明模型 | 5.32460 | 4.72787 | 4.73304 | 4.79821 | 4.68300 |
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (6)
1.一种基于生成对抗网络的非监督低照度图像增强方法，其特征在于，包括如下步骤：
构建生成对抗网络的生成器和判别器，利用训练集对生成对抗网络的生成器和判别器进行训练，使用训练后的生成对抗网络对待处理的低照度图像进行增强，得到增强图像；所述的训练集包括低光照图像和正常光照图像，所述的训练集中的图像均通过基于高斯分布的自适应阈值方法进行预处理，筛选掉低光照图像Ilow中明显偏亮，以及正常光照图像Inorm中明显偏暗的图像；
所述的通过基于高斯分布的自适应阈值方法进行预处理，具体为：分别求出每张训练集中图像的亮度均值mi，所有低光照图像的亮度均值mean(Ilow)以及标准差std(Ilow)，所有正常光照图像的亮度均值mean(Inorm)以及标准差std(Inorm)；
其中pj为图像i中第j个点的亮度，其值为RGB三通道的最大值；对于低光照图像，将mi＞mean(Ilow)+2*std(Ilow)的图像去除，对于正常光照图像，将mi＜mean(Inorm)-2*std(Inorm)的图像去除；
其中，所述生成器具有收缩路径和扩展路径；
所述收缩路径由多个阶段组成，在一个阶段结束时，特征图被下采样，并且卷积滤波器的数量增加；所述扩展路径由多个阶段组成，在一个阶段结束时，特征图被上采样，并且卷积滤波器的数量减少；
所述收缩路径每一个阶段输出的特征图除了进入下一阶段外，还通过跳层连接与注意力图做点积，经过通道注意力模块与扩展路径中对应阶段输出的特征图相连接，以作为扩展路径下一阶段的输入；所述的注意力图为考虑梯度及亮度的自正则注意力图，利用双线性插值缩放到目标尺寸，用于和生成器收缩路径指定隐藏层输出的特征图相乘；
扩展路径的最终输出经过卷积层将通道数降低后与注意力图作点积并通过跳层连接与输入图片相加，得到生成器的最终输出。
2.根据权利要求1所述的基于生成对抗网络的非监督低照度图像增强方法，其特征在于，选取输入RGB图像三通道中最大值的通道为光照通道V，将其归一化为[0，1]，然后使用逐元素差1-V作为初始注意力图M0，在M0的基础上，将图像每个像素的梯度大小考虑进注意力图M的生成，图像梯度G的计算公式如下所示，
其中⊙代表卷积；于是最终注意力图M的计算公式为，
3.根据权利要求1所述的基于生成对抗网络的非监督低照度图像增强方法，其特征在于，所述判别器包括全局判别器Dg和局部判别器Dl，其网络结构均为前向卷积网络，且输出层通道数为1。
4.根据权利要求1所述的基于生成对抗网络的非监督低照度图像增强方法，其特征在于，生成器的损失函数如下式所示，
其中，
和
分别是生成器全局对抗损失和局部对抗损失，Lc代表内容损失，Lspa代表空间一致性损失。
5.根据权利要求4所述的基于生成对抗网络的非监督低照度图像增强方法，其特征在于，对于生成器全局对抗损失
其中Dg为全局判别器，G为生成器，I为输入图像；
对于生成器局部对抗损失
其中P是图像局部区域的数量，
代表生成图像R中第p块局部区域；
对于内容损失Lc，
其中φl(·)代表预训练的深度神经网络模型的第l层卷积层，W和H代表特征图的宽和高，x，y代表像素位置；
对于空间一致性损失Lspa，
其中K为非图像边缘的像素数量，Ω(i)为像素i上下左右四个相邻像素点的集合，j为其中一个像素点。
6.根据权利要求5所述的基于生成对抗网络的非监督低照度图像增强方法，其特征在于，判别器的损失函数如下式所示，
其中，
和
分别是判别器的全局对抗损失和局部对抗损失，
其中J是采自于正常光照图像；
Dg为全局判别器，Dl为局部判别器，P是图像局部区域的数量，
代表正常光照图像J中第p块局部区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011612495.5A CN112614077B (zh) | 2020-12-30 | 2020-12-30 | 一种基于生成对抗网络的非监督低照度图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011612495.5A CN112614077B (zh) | 2020-12-30 | 2020-12-30 | 一种基于生成对抗网络的非监督低照度图像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112614077A CN112614077A (zh) | 2021-04-06 |
| CN112614077B true CN112614077B (zh) | 2022-08-19 |
Family
ID=75249420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011612495.5A Active CN112614077B (zh) | 2020-12-30 | 2020-12-30 | 一种基于生成对抗网络的非监督低照度图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112614077B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113191995B (zh) * | 2021-04-30 | 2023-12-22 | 东北大学 | 一种基于深度学习的视频图像自动曝光校正方法 |
| CN113313684B (zh) * | 2021-05-28 | 2022-11-25 | 北京航空航天大学 | 一种暗光条件下基于视频的工业缺陷检测系统 |
| CN113313657B (zh) * | 2021-07-29 | 2021-12-21 | 北京航空航天大学杭州创新研究院 | 一种用于低光照图像增强的非监督学习方法和系统 |
| CN113744169A (zh) * | 2021-09-07 | 2021-12-03 | 讯飞智元信息科技有限公司 | 图像增强方法、装置、电子设备和存储介质 |
| CN115880162A (zh) * | 2021-09-28 | 2023-03-31 | 深圳市中兴微电子技术有限公司 | 图像增强模型训练的方法、图像增强的方法、可读介质 |
| CN114065838B (zh) * | 2021-10-22 | 2023-07-14 | 中国科学院深圳先进技术研究院 | 一种低光照障碍物检测方法、系统、终端以及存储介质 |
| CN114119422B (zh) * | 2021-12-03 | 2022-07-15 | 深圳大学 | 无参考低照度内窥镜图像质量增强方法、系统及相关组件 |
| CN114529484B (zh) * | 2022-04-25 | 2022-07-12 | 征图新视(江苏)科技股份有限公司 | 针对成像中直流分量变化的深度学习样本增强方法 |
| CN115115540A (zh) * | 2022-06-08 | 2022-09-27 | 大连海事大学 | 基于光照信息引导的无监督低光图像增强方法及装置 |
| CN114972116B (zh) * | 2022-06-29 | 2024-03-26 | 桂林电子科技大学 | 一种基于NASPE-net的低照度图像增强方法 |
| CN117541969B (zh) * | 2024-01-09 | 2024-04-16 | 四川大学 | 一种基于语义和图像增强的色情视频检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111062880A (zh) * | 2019-11-15 | 2020-04-24 | 南京工程学院 | 一种基于条件生成对抗网络的水下图像实时增强方法 |
| CN111696168A (zh) * | 2020-06-13 | 2020-09-22 | 中北大学 | 基于残差自注意力图像增强的高倍速采mri重建方法 |
| CN111798400A (zh) * | 2020-07-20 | 2020-10-20 | 福州大学 | 基于生成对抗网络的无参考低光照图像增强方法及系统 |
| CN111882489A (zh) * | 2020-05-15 | 2020-11-03 | 东北石油大学 | 用于水下图像同时增强的超分辨率图形恢复方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10424054B2 (en) * | 2015-06-26 | 2019-09-24 | Peking University Shenzhen Graduate School | Low-illumination image processing method and device |
-
2020
- 2020-12-30 CN CN202011612495.5A patent/CN112614077B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111062880A (zh) * | 2019-11-15 | 2020-04-24 | 南京工程学院 | 一种基于条件生成对抗网络的水下图像实时增强方法 |
| CN111882489A (zh) * | 2020-05-15 | 2020-11-03 | 东北石油大学 | 用于水下图像同时增强的超分辨率图形恢复方法 |
| CN111696168A (zh) * | 2020-06-13 | 2020-09-22 | 中北大学 | 基于残差自注意力图像增强的高倍速采mri重建方法 |
| CN111798400A (zh) * | 2020-07-20 | 2020-10-20 | 福州大学 | 基于生成对抗网络的无参考低光照图像增强方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| Attention-guided low-light image enhancement;Feifan Lv等;《Image and Video Processing》;20190802;第1-18页 * |
| 基于生成对抗网络的空间卫星低照度图像增强;陈榆琅 等;《中国空间科学技术》;20200922;第16-23页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112614077A (zh) | 2021-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112614077B (zh) | 一种基于生成对抗网络的非监督低照度图像增强方法 | |
| CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
| CN113313657B (zh) | 一种用于低光照图像增强的非监督学习方法和系统 | |
| CN111292264A (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| Yan et al. | Enhanced network optimized generative adversarial network for image enhancement | |
| CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
| CN109712165A (zh) | 一种基于卷积神经网络的同类前景图像集分割方法 | |
| CN114782298B (zh) | 一种具有区域注意力的红外与可见光图像融合方法 | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| Lepcha et al. | A deep journey into image enhancement: A survey of current and emerging trends | |
| CN115457249A (zh) | 红外图像与可见光图像融合匹配的方法及系统 | |
| CN113298744B (zh) | 一种端到端的红外与可见光图像融合方法 | |
| CN111275642B (zh) | 一种基于显著性前景内容的低光照图像增强方法 | |
| CN115018729B (zh) | 一种面向内容的白盒图像增强方法 | |
| Ko et al. | IceNet for interactive contrast enhancement | |
| CN116452431A (zh) | 基于多分支渐进式深度网络的弱光图像增强方法 | |
| CN112927164B (zh) | 一种基于深度卷积神经网络的无参考低照度图像增强方法 | |
| Gao et al. | Single image dehazing based on single pixel energy minimization | |
| CN107301625A (zh) | 基于亮度融合网络的图像去雾算法 | |
| CN114549343A (zh) | 基于双支残差特征融合去雾方法 | |
| Dixit et al. | Image Contrast Optimization using Local Color Correction and Fuzzy Intensification | |
| Kumar et al. | Underwater Image Enhancement using deep learning | |
| Zini et al. | Shallow camera pipeline for night photography rendering | |
| CN113222828A (zh) | 一种基于零参考的工业物联网监控平台图像增强方法 | |
| CN112541859A (zh) | 一种光照自适应的人脸图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |