CN115115540A - 基于光照信息引导的无监督低光图像增强方法及装置 - Google Patents
基于光照信息引导的无监督低光图像增强方法及装置 Download PDFInfo
- Publication number
- CN115115540A CN115115540A CN202210646447.0A CN202210646447A CN115115540A CN 115115540 A CN115115540 A CN 115115540A CN 202210646447 A CN202210646447 A CN 202210646447A CN 115115540 A CN115115540 A CN 115115540A
- Authority
- CN
- China
- Prior art keywords
- low
- enhancement
- light
- image
- illumination information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 119
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000012360 testing method Methods 0.000 claims abstract description 18
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000013480 data collection Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 206010034960 Photophobia Diseases 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G06T5/92—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于光照信息引导的无监督低光图像增强方法及装置，涉及低光图像增强技术领域，方法包括：收集训练数据集和测试数据集；构建基于光照信息引导的低光增强模型，并将训练数据集中的图像输入到低光增强模型中进行训练；基于光照信息引导的低光增强模型为包括生成器和判别器的生成式对抗网络；生成器包括光照估计模块和增强网络，光照估计模块生成单通道的光照信息图，用以指导所述增强网络的学习；增强网络以U‑net作为网络的基本块，在U‑net网络的不同层添加光照信息图指导；将测试数据集中的图像输入到训练好的低光增强模型中，得到增强后的正常光图像。本发明增强了模型的普适性；同时为模型的局部和全局信息融合建立了纽带。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及基于光照信息引导的无监督低光图像增强方法及装置。
背景技术
在低光照条件下拍摄的图像会因光照弱导致对比度低、噪声严重以及细节退化等问题，这会影响如图像识别、目标检测和图像分割等计算机视觉任务的执行，因此，低光图像增强对于计算机视觉任务至关重要。
现有的低光图像增强方法可分为两类，一类是基于直方图的传统方法，基于直方图的方法试图将整个图像的直方图映射为一个简单的数学分布，以增强图像的对比度；另一类是基于retinex的深度学习方法，将图像分解为反射图和光照图，保持反射图的一致性，增强光照图的亮度，然后将增强后的光照图和反射图相乘得到增强后的结果。
然而，由于原始图像的灰度分布不均匀，往往集中在亮度较低的区域，所以传统方法通常无法恢复图像的局部细节。现有的深度学习方法大多依赖于成对训练，然而现实的问题就是自然界中配对的高低光图像是难以获取的，在无法获取成对数据的情况下会导致增强效果不好，另外一点就是有监督学习训练的模型泛化能力差，不能有效处理其他类型的数据。
发明内容
针对低光图像出现的一系列退化问题，本发明提出基于光照信息引导的无监督低光图像增强方法、装置及存储介质，以提高低光图像增强效果。
为此，本发明提供了以下技术方案：
一方面，本发明提供了一种基于光照信息引导的无监督低光图像增强方法，所述方法包括：
收集训练数据集和测试数据集；所述训练数据集包括低光图像和正常光的非成对图像；所述测试数据集包括低光图像；
构建基于光照信息引导的低光增强模型，并将所述训练数据集中的图像输入到所述光照信息引导的低光增强模型中进行训练；所述光照信息引导的低光增强模型的输入是三通道的低光图像，输出是增强后的正常光图像；所述基于光照信息引导的低光增强模型为包括生成器和判别器的生成式对抗网络；所述生成器包括：用于估计原始图像中包含的光照信息的光照估计模块和用于低光增强的增强网络；所述光照估计模块生成单通道的光照信息图，用以指导所述增强网络的学习；所述增强网络以U-net作为网络的基本块，在U-net网络的不同层添加光照信息图指导；
将所述测试数据集中的图像输入到训练好的低光增强模型中，得到增强后的正常光图像。
进一步地，所述光照估计模块，包括：四层卷积层、三个残差块以及一个单通道提取操作。
进一步地，所述增强网络包括：
将单通道光照指导图与三通道低光图像拼接成四通道的特征融合图作为所述增强网络的输入；
在U-net的跳跃连接部分将编码器对应特征层融合调整过大小的光照指导图，融合指的是将编码层卷积的输出与不同尺度的光照信息相乘，跳跃连接5个不同尺度的相对应的编码层和解码层网络；
在U-net解码完成后将其结果与光照指导图相乘融合。
进一步地，所述判别器采用马尔科夫鉴别器。
进一步地，所述判别器包括全局判别器和局部判别器，所述全局判别器的输入为整张生成图像和真实正常光图像；所述局部判别器的输入为从生成图像上和真实正常光图像上随机裁剪的小块。
进一步地，所述判别器包括：5个卷积层以及LeakyReLu激活函数，最后一层是全连接层并连接Sigmoid激活函数得出真假判别概率。
进一步地，所述低光增强模型的训练过程中采用的损失函数，包括：
采用平滑损失来估计光照信息；
采用感知损失约束增强后的图像，使增强前后的图像内容特征保持不变；
采用对抗损失来来最小化真实图像与生成图像中光照分布的差异。
又一方面，本发明还提供了一种基于光照信息引导的无监督低光图像增强装置，所述方法包括：
数据收集单元，用于收集训练数据集和测试数据集；所述训练数据集包括低光图像和正常光的非成对图像；所述测试数据集包括低光图像；
模型构建单元，用于构建基于光照信息引导的低光增强模型，并将所述训练数据集中的图像输入到所述光照信息引导的低光增强模型中进行训练；所述光照信息引导的低光增强模型的输入是三通道的低光图像，输出是增强后的正常光图像；所述基于光照信息引导的低光增强模型为包括生成器和判别器的生成式对抗网络；所述生成器包括：用于估计原始图像中包含的光照信息的光照估计模块和用于低光增强的增强网络；所述光照估计模块生成单通道的光照信息图，用以指导所述增强网络的学习；所述增强网络以U-net作为网络的基本块，在U-net网络的不同层添加光照信息图指导；
图像增强单元，用于将所述测试数据集中的图像输入到训练好的低光增强模型中，得到增强后的正常光图像。
又一方面，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如上述基于光照信息引导的无监督低光图像增强方法。
本发明的优点和积极效果：
本发明中，为了解决成对的高低光图像难以获取的问题，选择使用无监督学习的方式，采用对抗生成网络来达成对低光图像的增强，拓展了传统低光增强的训练模式，增强了模型的普适性。为使得局部区域能够区别于整体进行局部调亮，与传统生成对抗网络不同的是，本发明使用局部全局双鉴别器结构来增强局部区域的光照和整体的光照。由于无监督的特性，缺少指导的约束虽然能够达到提亮的目的，但是图像还是有结构颜色的失真问题，由此，本发明设计了一个残差网络用于估计原始低光图像中的光照的先验信息，并用它指导低光增强的过程来避免结构缺失与颜色偏差。通过以光照信息多尺度地指导低光图像生成的方式，为模型的局部和全局信息融合建立了纽带；此外，本发明能够应用于图像识别、目标检测和图像分割等方面，推动相关的二维模型处理与应用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中一种基于光照信息引导的无监督低光图像增强方法的流程图；
图2是本发明实施例中低光图像增强模型中生成器的网络结构示意图；
图3是本发明实施例中低光图像增强模型中残差块示意图；
图4是本发明实施例中判别器结构示意图。
具体实施方式
本发明的目的是提出一种基于光照信息引导的无监督低光图像增强方法，并实现无成对低光数据集下正常光图像的生成以及应用。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示，其示出了本发明实施例中一种基于光照信息引导的无监督低光图像增强方法的流程图，该方法包括以下步骤：
S1、收集训练数据集；
其中，训练数据集包括低光图像和正常光的非成对图像。其中低光图像和正常光图像可以通过图像采集装置，例如摄像机、相机和监控摄像头等获取，也可以通过智能终端，例如手机、平板电脑和可穿戴式设备等获取。在具体采集时，可以先在正常光照的条件下拍摄，得到正常光图像，然后降低图像采集装置的曝光时间和感光度再次拍摄，得到低光图像。当然，也可以直接采用已公开的图像数据集中的低光图像和正常光图像。
S2、构建基于光照信息引导的低光增强模型以及损失函数，将训练集中的图像输入到低光增强模型中进行训练，反复迭代通过最小化生成器网络和判别器网络的损失函数值来训练模型；
S3、将测试集图像输入到训练好的网络中输出增强后的正常光图像。
为了便于理解，下面对本发明实施例中基于光照信息引导的低光增强模型进行详细说明。本发明实施例中基于光照信息引导的低光增强模型为包括生成器和判别器的生成式对抗网络。
其中，生成器的网络结构图如图2所示，原始低光图像和光照信息图拼接在一起传入生成器，并将网络的中间特征图和输出图像都与调整尺寸后的光照信息图相乘，最后将网络的输出与低光图像进行像素级别的加和得到最后增强结果。具体地，生成器主要包括：用于估计原始图像中包含的光照信息的光照估计模块和用于低光增强的增强网络。
由于光照是恢复低光图像的关键因素，引入了一种光照估计模块来直接估计原始图像中包含的光照信息，然后使用光照信息图来指导图像增强。在光照估计模块采用了卷积、残差块，残差块结构如图3所示。使用卷积用于提取图像的特征，使用残差块从输入图像中估计出平滑的光照信息并且去除一些微小的噪声。
具体地，光照估计模块由四层卷积层、三个残差块以及一个单通道提取操作组成，网络的输入是三通道的低光图像I，网络的输出是包含光照信息的三通道的图像S，光照估计模块的最终输出是单通道的光照信息图
单通道的光照信息图
是由S使用单通道提取变换得来的，单通道提取的做法是在每一个像素点处取S每个通道的最大值作为
在该像素点的值。光照估计模块整体操作为：
O1＝M1(I)
O2＝Resblock1(O1)
O3＝Resblock2(O2)
O4＝Resblock3(O3)
O5＝M2(O4)
O6＝M3(O1+O5)
S＝M4(O6)
其中，M1、M2、M3、M4分别代表不同的卷积块；Resblock1、Resblock2、Resblock3分别为不同的残差模块；operation为多通道转单通道操作。
增强网络中，选择U-net作为网络的基本块，在U-net网络的不同层添加光照信息图指导，进一步增强了U-net的特征提取和特征还原的能力，在生成过程中充分利用光照的信息，保持图像的结构特征和色彩特征。
光照指导在低光增强网络中具体是通过多尺度特征融合实现的，具体做法是如下：首先将单通道光照指导图与三通道低光图像拼接成四通道的特征融合图作为网络的输入。其次在U-net的跳跃连接部分将编码器对应特征层融合调整过大小的光照指导图，融合指的是将编码层卷积的输出与不同尺度的光照信息相乘，跳跃连接5个不同尺度的相对应的编码层和解码层网络。最后在U-net解码完成后将其结果与光照指导图相乘融合。
光照指导图调整大小：
U-net的编码器部分(
为下采样块，F为提取的特征)：
U-net的解码器部分(
为上采样块，Fr为提取的特征，C为级联操作)：
在判别器部分，采用了马尔科夫鉴别器来判断生成的图像是否接近真实正常光图像，判别器结构如图4所示。
由生成器生成的高光图像会经过判别器判断是否接近真实数据的图像，由此判断生成网络低光增强的效果。实际增强过程中，对低光图像每一部分的增强不能使用一样的程度，单靠一个作用于全局图像光照分布的判别器就不能提供图像局部区域所需的自适应能力，所以为了自适应增强局部区域的光照，采用了双判别器结构，除了全局判别器之外，还增加了一个局部判别器用于增加局部的光照，二者都采用马尔科夫判别器结构。判别器是由5个卷积层以及LeakyReLu激活函数连接而成，判别器网络最后一层是全连接层并连接Sigmoid激活函数得出真假判别概率。全局判别器和局部判别器采用同样的结构，唯一的区别就是局部判别器的输入是从生成图像上和真实正常光图像上随机裁剪的小块，全局判别器则是整张生成图像和真实正常光图像。
为了实现光照指导的低光图像的增强，本发明实施例中采用平滑损失来估计光照信息，采用感知损失约束增强后的图像，使增强前后的图像内容特征保持不变，采用对抗损失来来最小化真实图像与生成图像中光照分布的差异。具体地：
平滑损失为：
其中，S为正常光图像，I为输入图像；
感知损失为：
其中，
为VGG网络的不同层；
对抗损失为：
其中，G为生成器，D为判别器。
上述实施例中，通过无监督的实现方式，拓展了传统低光增强的训练模式，增强了模型的普适性；其次，通过以光照信息多尺度地指导低光图像生成的方式，为模型的局部和全局信息融合建立了纽带。
对应本发明中的一种基于光照信息引导的无监督低光图像增强方法，本发明还提供了一种基于光照信息引导的无监督低光图像增强装置，该装置包括：
数据收集单元，用于收集训练数据集和测试数据集；所述训练数据集包括低光图像和正常光的非成对图像；所述测试数据集包括低光图像；
模型构建单元，用于构建基于光照信息引导的低光增强模型，并将所述训练数据集中的图像输入到所述光照信息引导的低光增强模型中进行训练；所述光照信息引导的低光增强模型的输入是三通道的低光图像，输出是增强后的正常光图像；所述基于光照信息引导的低光增强模型为包括生成器和判别器的生成式对抗网络；所述生成器包括：用于估计原始图像中包含的光照信息的光照估计模块和用于低光增强的增强网络；所述光照估计模块生成单通道的光照信息图，用以指导所述增强网络的学习；所述增强网络以U-net作为网络的基本块，在U-net网络的不同层添加光照信息图指导；
图像增强单元，用于将所述测试数据集中的图像输入到训练好的低光增强模型中，得到增强后的正常光图像。
对于本发明实施例的一种基于光照信息引导的无监督低光图像增强装置而言，由于其与上面实施例中的一种基于光照信息引导的无监督低光图像增强方法相对应，所以描述的比较简单，相关相似之处请参见上面实施例中一种基于光照信息引导的无监督低光图像增强方法部分的说明即可，此处不再详述。
本发明实施例还公开了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如上文任一实施例所提供的一种基于光照信息引导的无监督低光图像增强方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (9)
1.一种基于光照信息引导的无监督低光图像增强方法，其特征在于，所述方法包括：
收集训练数据集和测试数据集；所述训练数据集包括低光图像和正常光的非成对图像；所述测试数据集包括低光图像；
构建基于光照信息引导的低光增强模型，并将所述训练数据集中的图像输入到所述光照信息引导的低光增强模型中进行训练；所述光照信息引导的低光增强模型的输入是三通道的低光图像，输出是增强后的正常光图像；所述基于光照信息引导的低光增强模型为包括生成器和判别器的生成式对抗网络；所述生成器包括：用于估计原始图像中包含的光照信息的光照估计模块和用于低光增强的增强网络；所述光照估计模块生成单通道的光照信息图，用以指导所述增强网络的学习；所述增强网络以U-net作为网络的基本块，在U-net网络的不同层添加光照信息图指导；
将所述测试数据集中的图像输入到训练好的低光增强模型中，得到增强后的正常光图像。
2.根据权利要求1所述的一种基于光照信息引导的无监督低光图像增强方法，其特征在于，所述光照估计模块，包括：四层卷积层、三个残差块以及一个单通道提取操作。
3.根据权利要求1所述的一种基于光照信息引导的无监督低光图像增强方法，其特征在于，所述增强网络包括：
将单通道光照指导图与三通道低光图像拼接成四通道的特征融合图作为所述增强网络的输入；
在U-net的跳跃连接部分将编码器对应特征层融合调整过大小的光照指导图，融合指的是将编码层卷积的输出与不同尺度的光照信息相乘，跳跃连接5个不同尺度的相对应的编码层和解码层网络；
在U-net解码完成后将其结果与光照指导图相乘融合。
4.根据权利要求1所述的一种基于光照信息引导的无监督低光图像增强方法，其特征在于，所述判别器采用马尔科夫鉴别器。
5.根据权利要求4所述的一种基于光照信息引导的无监督低光图像增强方法，其特征在于，所述判别器包括全局判别器和局部判别器，所述全局判别器的输入为整张生成图像和真实正常光图像；所述局部判别器的输入为从生成图像上和真实正常光图像上随机裁剪的小块。
6.根据权利要求4或5所述的一种基于光照信息引导的无监督低光图像增强方法，其特征在于，所述判别器包括：5个卷积层以及LeakyReLu激活函数，最后一层是全连接层并连接Sigmoid激活函数得出真假判别概率。
7.根据权利要求1所述的一种基于光照信息引导的无监督低光图像增强方法，其特征在于，所述低光增强模型的训练过程中采用的损失函数，包括：
采用平滑损失来估计光照信息；
采用感知损失约束增强后的图像，使增强前后的图像内容特征保持不变；
采用对抗损失来来最小化真实图像与生成图像中光照分布的差异。
8.一种基于光照信息引导的无监督低光图像增强装置，其特征在于，所述方法包括：
数据收集单元，用于收集训练数据集和测试数据集；所述训练数据集包括低光图像和正常光的非成对图像；所述测试数据集包括低光图像；
模型构建单元，用于构建基于光照信息引导的低光增强模型，并将所述训练数据集中的图像输入到所述光照信息引导的低光增强模型中进行训练；所述光照信息引导的低光增强模型的输入是三通道的低光图像，输出是增强后的正常光图像；所述基于光照信息引导的低光增强模型为包括生成器和判别器的生成式对抗网络；所述生成器包括：用于估计原始图像中包含的光照信息的光照估计模块和用于低光增强的增强网络；所述光照估计模块生成单通道的光照信息图，用以指导所述增强网络的学习；所述增强网络以U-net作为网络的基本块，在U-net网络的不同层添加光照信息图指导；
图像增强单元，用于将所述测试数据集中的图像输入到训练好的低光增强模型中，得到增强后的正常光图像。
9.一种计算机可读存储介质，其特征在于，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如权利要求1～7任一项所提供的一种基于光照信息引导的无监督低光图像增强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210646447.0A CN115115540A (zh) | 2022-06-08 | 2022-06-08 | 基于光照信息引导的无监督低光图像增强方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210646447.0A CN115115540A (zh) | 2022-06-08 | 2022-06-08 | 基于光照信息引导的无监督低光图像增强方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115115540A true CN115115540A (zh) | 2022-09-27 |
Family
ID=83325917
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210646447.0A Pending CN115115540A (zh) | 2022-06-08 | 2022-06-08 | 基于光照信息引导的无监督低光图像增强方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115115540A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115661001A (zh) * | 2022-12-14 | 2023-01-31 | 临沂大学 | 基于生成对抗网络的单通道煤岩图像增强方法 |
| CN116012258A (zh) * | 2023-02-14 | 2023-04-25 | 山东大学 | 一种基于循环生成对抗网络的图像和谐化方法 |
| CN117893449A (zh) * | 2024-03-15 | 2024-04-16 | 荣耀终端有限公司 | 图像处理方法及电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232661A (zh) * | 2019-05-03 | 2019-09-13 | 天津大学 | 基于Retinex和卷积神经网络的低光照彩色图像增强方法 |
| CN111913435A (zh) * | 2020-07-30 | 2020-11-10 | 浙江科技学院 | 一种基于堆积沙漏网络的单/多目标关键点定位方法 |
| CN112330788A (zh) * | 2020-11-26 | 2021-02-05 | 北京字跳网络技术有限公司 | 图像处理方法、装置、可读介质及电子设备 |
| CN112614077A (zh) * | 2020-12-30 | 2021-04-06 | 北京航空航天大学杭州创新研究院 | 一种基于生成对抗网络的非监督低照度图像增强方法 |
| CN113077471A (zh) * | 2021-03-26 | 2021-07-06 | 南京邮电大学 | 一种基于u型网络的医学图像分割方法 |
| CN113313657A (zh) * | 2021-07-29 | 2021-08-27 | 北京航空航天大学杭州创新研究院 | 一种用于低光照图像增强的非监督学习方法和系统 |
| CN114049264A (zh) * | 2021-09-27 | 2022-02-15 | 中国科学院自动化研究所 | 暗光图像增强方法、装置、电子设备及存储介质 |
-
2022
- 2022-06-08 CN CN202210646447.0A patent/CN115115540A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232661A (zh) * | 2019-05-03 | 2019-09-13 | 天津大学 | 基于Retinex和卷积神经网络的低光照彩色图像增强方法 |
| CN111913435A (zh) * | 2020-07-30 | 2020-11-10 | 浙江科技学院 | 一种基于堆积沙漏网络的单/多目标关键点定位方法 |
| CN112330788A (zh) * | 2020-11-26 | 2021-02-05 | 北京字跳网络技术有限公司 | 图像处理方法、装置、可读介质及电子设备 |
| CN112614077A (zh) * | 2020-12-30 | 2021-04-06 | 北京航空航天大学杭州创新研究院 | 一种基于生成对抗网络的非监督低照度图像增强方法 |
| CN113077471A (zh) * | 2021-03-26 | 2021-07-06 | 南京邮电大学 | 一种基于u型网络的医学图像分割方法 |
| CN113313657A (zh) * | 2021-07-29 | 2021-08-27 | 北京航空航天大学杭州创新研究院 | 一种用于低光照图像增强的非监督学习方法和系统 |
| CN114049264A (zh) * | 2021-09-27 | 2022-02-15 | 中国科学院自动化研究所 | 暗光图像增强方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 刘畅 等: "高速快门诱导的低照度图像弱参考视觉增强方法", 《重庆邮电大学学报(自然科学版)》, vol. 33, no. 5, 15 October 2021 (2021-10-15) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115661001A (zh) * | 2022-12-14 | 2023-01-31 | 临沂大学 | 基于生成对抗网络的单通道煤岩图像增强方法 |
| CN116012258A (zh) * | 2023-02-14 | 2023-04-25 | 山东大学 | 一种基于循环生成对抗网络的图像和谐化方法 |
| CN116012258B (zh) * | 2023-02-14 | 2023-10-13 | 山东大学 | 一种基于循环生成对抗网络的图像和谐化方法 |
| CN117893449A (zh) * | 2024-03-15 | 2024-04-16 | 荣耀终端有限公司 | 图像处理方法及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111798400B (zh) | 基于生成对抗网络的无参考低光照图像增强方法及系统 | |
| CN115115540A (zh) | 基于光照信息引导的无监督低光图像增强方法及装置 | |
| CN111738243B (zh) | 人脸图像的选择方法、装置、设备及存储介质 | |
| CN110188829B (zh) | 神经网络的训练方法、目标识别的方法及相关产品 | |
| CN110148088B (zh) | 图像处理方法、图像去雨方法、装置、终端及介质 | |
| CN112598579A (zh) | 面向监控场景的图像超分辨率方法、装置及存储介质 | |
| CN110689599A (zh) | 基于非局部增强的生成对抗网络的3d视觉显著性预测方法 | |
| CN112818955B (zh) | 一种图像分割方法、装置、计算机设备以及存储介质 | |
| CN111080746B (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN113239825B (zh) | 一种复杂场景下高精度烟草甲虫检测方法 | |
| CN111985281A (zh) | 图像生成模型的生成方法、装置及图像生成方法、装置 | |
| CN110378860B (zh) | 修复视频的方法、装置、计算机设备和存储介质 | |
| CN111583345B (zh) | 一种相机参数的获取方法、装置、设备及存储介质 | |
| CN113538254A (zh) | 图像恢复方法、装置、电子设备及计算机可读存储介质 | |
| CN110414593B (zh) | 图像处理方法及装置、处理器、电子设备及存储介质 | |
| CN113256643A (zh) | 一种人像分割模型的训练方法、存储介质及终端设备 | |
| CN114359009B (zh) | 基于视觉感知的鲁棒图像的水印嵌入方法、水印嵌入网络构建方法、系统及存储介质 | |
| CN112052863B (zh) | 一种图像检测方法及装置、计算机存储介质、电子设备 | |
| CN115700731A (zh) | 一种基于双通道卷积神经网络的水下图像增强方法 | |
| CN114882557A (zh) | 一种人脸识别方法和装置 | |
| CN115019138A (zh) | 视频字幕擦除、模型训练、交互方法、设备及存储介质 | |
| CN114299105A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN114694065A (zh) | 视频处理方法、装置、计算机设备及存储介质 | |
| CN113744158A (zh) | 图像生成方法、装置、电子设备和存储介质 | |
| CN113723310A (zh) | 基于神经网络的图像识别方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |