CN114372941B - 一种低光照图像增强方法、装置、设备及介质 - Google Patents
一种低光照图像增强方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN114372941B CN114372941B CN202111540414.XA CN202111540414A CN114372941B CN 114372941 B CN114372941 B CN 114372941B CN 202111540414 A CN202111540414 A CN 202111540414A CN 114372941 B CN114372941 B CN 114372941B
- Authority
- CN
- China
- Prior art keywords
- image
- low
- light
- denoising
- encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000005286 illumination Methods 0.000 claims abstract description 28
- 238000003062 neural network model Methods 0.000 claims abstract description 20
- 238000004088 simulation Methods 0.000 claims abstract description 20
- 238000012795 verification Methods 0.000 claims abstract description 10
- 238000011156 evaluation Methods 0.000 claims abstract description 7
- 238000012360 testing method Methods 0.000 claims abstract description 7
- 230000002708 enhancing effect Effects 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 25
- 238000013461 design Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000009826 distribution Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000005457 optimization Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000004925 denaturation Methods 0.000 description 1
- 230000036425 denaturation Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Game Theory and Decision Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种低光照图像增强方法、装置、设备及介质，该方法包括如下步骤：获取现场图像，对现场图像中高质量图像进行低光照模拟，生成多场景多光照条件的图像；将所述现场图像与多场景多光照条件的图像进行合并形成样本数据集，所述样本数据集分为训练集和验证集；构建编码器‑解码器架构的神经网络模型；将样本数据集输入所述神经网络模型中进行训练和测试，直至收敛，得到图像处理模型；对图像处理模型进行仿真实验，采用峰值信噪比作为评价指标，评价网络性能。本发明通过结合了传统算法与深度学习的算法进行了融合，尽可能的对变电站中的低光照情况的特点进行学习，从而可以做对后续所采集到的低光照图片进行图像增强。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种低光照图像增强方法、装置、设备及介质。
背景技术
近期随着人工智能技术的兴起以及企业用工成本的不断攀升，越来越多的行业对于生产或是制造环节中的流程进行自动化或是低人工介入的工作替换。由于自动化设备只需要保持设备的不断电及做定期的维护即可以持续运行，不需要像考虑人工一样进行排班或是关注工人的身心健康。因此使用自动化设备来代替人工进行某些环节的替换是一种更为廉价且稳定性更高的解决方案。
在变电站场景中，随着基于图像及视频类分析的场景越来越多，包括变电站场景中的缺陷检测、小动物闯入、设备位移分析等。但在实际的图像分析和判别的过程中，由于图像采集过程中由于光照条件的影响采集出来图像的清晰度会受到强光照及低光照条件的不同而呈现出不同的成像效果，另外由于天气的变化也会导致采集到的图像质量差距较大。如何辅助变电站的图像或视频类采集设备在光照条件不好的情况下，通过使用一系列的图像类算法提升图像的光照平衡类的优化，进而可以使得图像的可视层上有进一步的提升。相较于传统的光照平衡类算法的诸多缺点，如受限于输入及输出场景的局限性，即对于某种低质量的图片则需要根据具体的情况做相应的算法优化，包括但不限于对图像的亮度进行调节、颜色直方图上的均衡等等，但通过这种方式最大的问题是无法覆盖全场景，即对于已优化的场景可以正常的进行光照及图像质量类的处理，但对于未出现过的场景则对图像优化的效果大部分不够理想。
发明内容
为了解决上述技术问题，本发明提出一种低光照图像增强方法、装置、设备及介质，通过结合了传统算法与深度学习的算法进行了融合，尽可能的对变电站中的低光照情况的特点进行学习，从而可以做对后续所采集到的低光照图片进行图像增强。
为了达到上述目的，本发明的技术方案如下：
一种低光照图像增强方法，包括：
获取现场图像，对现场图像中高质量图像进行低光照模拟，生成多场景多光照条件的图像；
将所述现场图像与多场景多光照条件的图像进行合并形成样本数据集，所述样本数据集分为训练集和验证集；
构建编码器-解码器架构的神经网络模型；
将样本数据集输入所述神经网络模型中进行训练和测试，直至收敛，得到图像处理模型；
对图像处理模型进行仿真实验，采用峰值信噪比作为评价指标，评价网络性能。
优选地，所述低光照模拟包括高斯噪声添加和伽马光照处理。
优选地，所述伽马光照处理包括归一化处理、像素预补偿和像素值反归一化。
优选地，所述神经网络模型包括3个串联的去噪编码器和3个对应的解码器，其中第一个去噪编码器设计的输入图像尺寸为17×17大小，第一个去噪编码器设计了867个隐藏单元、第二个去噪编码器设计了578个隐藏单元、第三个去噪编码器设计了289个隐藏单元，并将第三个去噪编码器做为瓶颈层；在第三个去噪编码器之后串联了3个对应的解码器，分别是578个隐藏单元、867个隐藏单元及289个隐藏单元。
优选地，所述第一、二个去噪编码器的学习率均为0.1，第三个去噪编码器的学习率为0.01，其网络终止的条件是验证集上的错误率小于0.5％。
优选地，所述峰值信噪比的计算方式如下：
其中，MAXI表示I图像中的图像灰度级；MSE表示两张图像之间的均方差，计算方式如下：
其中，(m，n)分别表示图像的宽和高，I(i，j)表示I图像中的(i，j)位置的值，K(i，j)表示K图像中的(i，j)位置的值。
优选地，所述神经网络模型的损失函数为：
其中，N表示patch数量；θ＝{W,b,W′,b′}表示模型中的参数；又被称为KL散度，用于衡量两个概率分布的相似性，/>表示第j个隐藏层的均值；K表示隐藏单数目；/>表示重构后的图像；yi表示原始的图像；β、ρ和λ用于表示超参数，适用于后续的训练过程；F表示范数，为超参数；D表示输入的样本集。
一种低光照图像增强装置，包括：获取模块、合并模块、构建模块、训练模块和检验模块，其中，
所述获取模块，用于获取现场图像，对现场图像中高质量图像进行低光照模拟，生成多场景多光照条件的图像；
所述合并模块，用于将所述现场图像与多场景多光照条件的图像进行合并形成样本数据集，所述样本数据集分为训练集和验证集；
所述构建模块，用于构建编码器-解码器架构的神经网络模型；
所述训练模块，用于将样本数据集输入所述神经网络模型中进行训练和测试，直至收敛，得到图像处理模型；
所述检验模块，用于对图像处理模型进行仿真实验，采用峰值信噪比作为评价指标，评价网络性能。
计算机设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上述任一所述的一种低光照图像增强方法。
一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一所述的一种低光照图像增强方法。
基于上述技术方案，本发明的有益效果是：
1)本发明可有效提高图像处理的准确率：目前随着中国经济的发展，无论是工业化用电、商业商场用户或是居民用电均比之前有了较为明显的提升。随之而来的是特高压、高压及变电站的线路也越来越多，为了保障电力使用过程中的安全性、稳定性及及时的预警，基于图像检测或是视频分析的应用越来越多。但由于受到天气的影响或是特定设备摆放位置的影响，有些图像并不能够很好的将实际的内容呈现出来，这样会导致图像检测或是分析的准确率不能够有效的保证。因此通过本发明，将质量较低的图像进行基于深度学习的光照平衡处理则可以大概率的对图像进行转换为高质量图片，可以更好的辅助其它应用对于图像分析的准确率；
2)本发明具有较好的兼容能力：传统的机器学习算法往往需要针对不同的场景进行定制化的算法优化，但现在的场景是无法拿到所有的异常场景情况，包括已有的异常场景无法全获取，未知的异常场景不能提前预知。使用深度学习的技术进行光照平衡的优化方法，则可以通过对大量的样本进行学习，可以做到对已有的场景进行高质量的转换，同时对于未出现的场景也有着较好的泛化能力；
4)本发明具有易使用特性：本发明的初衷是为了改进图像的光照平衡，提升图像的质量。在与其它系统对接的过程中，不需要做任何额外的开发工作，只需要在之前的输入流程前添加本光照平衡的方法，然后将优化后的图像做为新的输入即可，可以做到非侵入式的流程优化。
附图说明
图1是一个实施例中一种低光照图像增强方法的应用环境图；
图2是一个实施例中一种低光照图像增强方法流程图；
图3是一个实施例中一种低光照图像增强方法中低光照的模拟处理过程图；
图4是一个实施例中一种低光照图像增强方法中图像处理前后效果展示对比图；
图5是一个实施例中一种低光照图像增强装置的原理框图；
图6是一个实施例中计算机设备的内部结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
本发明实施例提供的一种低光照图像增强方法，可以应用于如图1所示的应用环境中。如图1所示，该应用环境包括计算机设备110。计算机设备110包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得该处理器执行计算机程序时实现如下实施例中的一种低光照图像增强方法。其中，计算机设备110可以但不限于是各种个人计算机、笔记本电脑、机器人、平板电脑等。
如图2至4所示，提供一种低光照图像增强方法，具体包括如下步骤：
步骤S210，获取现场图像，对现场图像中高质量图像进行低光照模拟，生成多场景多光照条件的图像。
本实施例中，通过变电站的图像或视频类采集设备采集现场指针式仪表装置的表盘图像，由于现场图像中不一定能够收集到大量的待训练的低光照低质量的图片，本发明通过使用传统机器学习的算法来对图片进行低光照的模拟，如图3所示，分别操作如下，通过对图像进行高斯噪声(gauss noise)的添加及伽玛非线性调暗(gamma adjustment)等操作，则可以将原先质量较好的图像进行低光照的处理，有效的扩充了低光照条件下的图像样本数量，为后续在使用深度学习网络过程中的大量缺陷素材图片，可以大概率的对图像进行转换为高质量图片，可以更好的辅助其它应用对于图像分析的准确率，如提高计算指针式仪表装置中指针的读数的准确率。
步骤S220，将所述现场图像与多场景多光照条件的图像进行合并形成样本数据集，所述样本数据集分为训练集和验证集。
步骤S230，构建编码器-解码器架构的神经网络模型。
本实施例中，通过对低光照图像进行稀疏性自动编码器的设计，来确保可以使用无监督的方式学习嵌入到数据集中的一些不变特征。另外，考虑设计多个去噪的自动编码器堆叠在一起的分层方式，可以在训练的过程中，使得网络在反向传播的过程中可以更好的收敛。本发明中去噪自动编码器通过使用3个小的去噪编码器串行组成：第一个去噪编码器设计的输入尺寸为17×17的大小；第一个去噪编码器设计了867个隐藏单元、第二个去噪编码器设计了578个隐藏单元、第三个去噪编码器设计了289个隐藏单元，并将第三个去噪编码器做为瓶颈层；在第三个去噪编码器之后同样串联了3个对应的解码层，分别是578个隐藏单元、867个隐藏单元及289个隐藏单元。即保证了第一层网络的尺寸和最后一层的网络尺寸大小相同，即为289个隐藏单元。
采用的是卷积神经网络来实现网络的建立，另外对于前两个去噪编码器的学习率为0.1，第三个去噪编码器的学习率为0.01。网络终止的条件是验证集上的错误率小于0.5％。其中，卷积的表示形式如下：
式中，(x，y)分别表示图像的宽和高、(p，q)分别表示卷积核的宽和高、wi为权重位置i的值、vi表示图像中i位置的值。
通过训练完后的网络对现场场景中的图片可以有着较好的图像质量增强的效果。特别由于太阳光照的干扰，比如清晨及傍晚的阳光光线较弱，图像采集设备无法较为清晰的采集出设备的状态，尤其是表计类的仪表设备及一些油位油面类判定的设备。
步骤S240，将样本数据集输入所述神经网络模型中进行训练和测试，直至收敛，得到图像处理模型。
步骤S250，对图像处理模型进行仿真实验，采用峰值信噪比作为评价指标，评价网络性能。
本实施例中，引入峰值信噪比(Peak Signal to Noise Ratio)的度量方式来计算两张图片的质量差异，从而可以更加直观的对图片间的差异进行量化的显示。峰值信噪比的值越高，则表示压缩后的失真越小，反之则表示压缩后的失真越大。峰值信噪比的计算方式如下：
其中，MAXI表示I图像中的图像灰度级，一般为255；MSE表示两张图像之间的均方差，计算方式如下：
其中，(m，n)分别表示图像的宽和高，I(i，j)表示I图像中的(i，j)位置的值，K(i，j)表示K图像中的(i，j)位置的值；
此处，通过对原始图片与图像处理模型所产生的图片进行对比，则可以快速的、批量的对图片集进行验证，并可以通过对验证的结果按照从高到低的方式进行排序，从而可以快速直观的发现已训练的网络对于哪些场景支持性较好，哪些场景需要做进一步的优化，进而加速了网络的迭代速度和准确率的提升。
进一步地，在深度学习全流程中，模型训练的主要流程包括预定义一个适应的网络结构、训练的数据集整理及网络反向学习策略制定。损失函数为：
其中，N表示patch数量；θ＝{W,b,W′,b′}表示模型中的参数；又被称为KL散度，用于衡量两个概率分布的相似性，/>表示第j个隐藏层的均值；K表示隐藏单数目；/>表示重构后的图像；yi表示原始的图像；β、ρ和λ用于表示超参数，适用于后续的训练过程；F表示范数，为超参数；D表示输入的样本集。
在深度学习的训练过程中，前向传播用于计算出当前网络对于输入数据的处理结果，如果判定一个网络模型的优劣则需要使用损失函数来进行量度。因此，通过此处设计的损失函数可以很好的用于判定图片的光照质量与目标期望的图像质量之间的差异性，可以更好的帮忙网络模型在训练过程中进行收敛，同时也可以较好的增强网络模型的泛化能力。
在一个实施例的一种低光照图像增强方法中，还提供低光照模拟过程的具体实施步骤：
步骤S211，图像高斯噪声添加。
将高质量图像做为输入的信息源，传递给下一个伽玛校正的流程再次对图像进行光照方面的处理，则会与实际场景中的低光照场景所采集到的图像更加接近。
高斯噪声本质是指其概率密度较为服从高斯分布的一类噪声类处理手段，即处理的函数服从正态分布。由于高斯噪声的正态分布特性，所以高斯噪声可以对图像中的几乎每个像素点进行相应的处理，而且由于正态分布的特性，对于图像进行处理过程中，从待处理像素的中心位置到边缘位置会有一个较为平缓的处理过程，此操作会更加符合我们对图像进行降噪的处理。其高斯分布函数形式如下：
其中，μ为正态分布的期望值，用于决定整个正态分布的位置；σ为标准方差，决定正态分布曲线的幅度；
对于一幅图像的操作方式为，循环遍历每一个像素点，然后对其加上相应的高期的值做为该像素点的新的像素值。具体操作方式如下：
Pixout＝Pixin+f(x)
其中，Pixin为图片中的每个像素点，Pixout则为相对应的处理后的值；
步骤S212，图像伽马光照处理。
伽玛处理较为常用的使用领域是在摄像机拍摄的图像画面进行呈现时，由于较暗的区域所采集到的信号与亮光区域的差距比实际的差距更大，因此需要使用伽玛校正的方法来均衡图像。
伽玛校正的主要操作过程是对图像的伽玛曲线进行调整，使之可以达到我们预期望的变换效果。通过对原始的图像进行非线性的调整，将图像的亮色区域及暗色区域进行相应的比例增大，则可以有效的提高图像的对比度，同样通过对亮色和暗色区域进行减小亦可以用作图像的对比度降低。该步骤操作流程如下：
a、归一化处理：归一化的主要目的是把某一组数据进行(0，1)或是(-1，1)的变换。此种做法的好处是可以对数据进行更快的处理，或是可以将有量纲的表达式变成无量纲的表达。另外，由于归一化处理是一种线性变换，因此在压缩数据的同时并不会通数据有较大的分布或是失真上的影响。归一化的处理方式如下：
x′＝(x-xmin)/(xmax-xmin)
其中，x′为归一化后的值，x为输入值，xmax和xmin分别表示数据集中的最大值和最小值；
b、像素预补偿：由于图像采集设备在进行图像的数字采集时的物理特性，对于图像的亮区域及暗区域的变性是非线性的，造成的直接现象是图像采集的设备所采集到的图像的亮区域会比实际的亮度值更大，暗区域会比实际的亮度值更低。此处通过引入预补偿的方式来解决由于亮暗区域不同的非线性问题，具体操作为，对归一化后的每个像素除以预定的gamma值，形式如下：
其中，xg表示预补偿后的值，x′表示归一化后的值，gamma为超参数，需要根据实际的情况进行动态调整；
c、像素值的反归一化：反归一化的目的是将预补偿的像素值进行反向变换为0～255的区间，以方便后续流程的继续处理。具体的操作方式为，将预补偿后的值按一定的方式进行处理，具体操作方式如下：
x″＝xg*256-0.5
其中，x″表示反归一化后的像素值，xg表示预补偿后的值。
在一个实施例中，如图5所示，提供一种低光照图像增强装置300，包括：获取模块310、合并模块320、构建模块330、训练模块340和检验模块350，其中，
所述获取模块310，用于获取现场图像，对现场图像中高质量图像进行低光照模拟，生成多场景多光照条件的图像；
所述合并模块320，用于将所述现场图像与多场景多光照条件的图像进行合并形成样本数据集，所述样本数据集分为训练集和验证集；
所述构建模块330，用于构建编码器-解码器架构的神经网络模型；
所述训练模块340，用于将样本数据集输入所述神经网络模型中进行训练和测试，直至收敛，得到图像处理模型；
所述检验模块350，用于对图像处理模型进行仿真实验，采用峰值信噪比作为评价指标，评价网络性能。
上述实施例阐明的装置或模块，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种一种低光照图像增强方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的一种低光照图像增强方法。
本领域普通技术人员可以理解实现上述实施例一种低光照图像增强方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述本发明实施例的优选实施例而已，并非用于限定本说明书实施例的保护范围。凡在本说明书实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的保护范围之内。
Claims (6)
1.一种低光照图像增强方法，其特征在于，包括：
获取现场图像，对现场图像中高质量图像进行低光照模拟，生成多场景多光照条件的图像，所述低光照模拟包括高斯噪声添加和伽马光照处理，所述伽马光照处理包括归一化处理、像素预补偿和像素值反归一化；
将所述现场图像与多场景多光照条件的图像进行合并形成样本数据集，所述样本数据集分为训练集和验证集；
构建编码器-解码器架构的神经网络模型，所述神经网络模型包括3个串联的去噪编码器和3个对应的解码器，其中第一个去噪编码器设计的输入图像尺寸为17×17大小，第一个去噪编码器设计了867个隐藏单元、第二个去噪编码器设计了578个隐藏单元、第三个去噪编码器设计了289个隐藏单元，并将第三个去噪编码器做为瓶颈层；在第三个去噪编码器之后串联了3个对应的解码器，分别是578个隐藏单元、867个隐藏单元及289个隐藏单元；
将样本数据集输入所述神经网络模型中进行训练和测试，直至收敛，得到图像处理模型，所述神经网络模型的损失函数为：
其中，N表示patch数量；θ＝{W,b,W',b'}表示模型中的参数；又被称为KL散度，用于衡量两个概率分布的相似性，/>表示第j个隐藏层的均值；K表示隐藏单数目；/>表示重构后的图像；yi表示原始的图像；β、ρ和λ用于表示超参数，适用于后续的训练过程；F表示范数，为超参数；D表示输入的样本集；
对图像处理模型进行仿真实验，采用峰值信噪比作为评价指标，评价网络性能。
2.根据权利要求1所述的一种低光照图像增强方法，其特征在于，所述第一、二个去噪编码器的学习率均为0.1，第三个去噪编码器的学习率为0.01，其网络终止的条件是验证集上的错误率小于0.5％。
3.根据权利要求1所述的一种低光照图像增强方法，其特征在于，所述峰值信噪比的计算方式如下：
其中，MAXI表示I图像中的图像灰度级；MSE表示两张图像之间的均方差，计算方式如下：
其中，(m，n)分别表示图像的宽和高，I(i，j)表示I图像中的(i，j)位置的值，K(i，j)表示K图像中的(i，j)位置的值。
4.一种低光照图像增强装置，其特征在于，包括：获取模块、合并模块、构建模块、训练模块和检验模块，其中，
所述获取模块，用于获取现场图像，对现场图像中高质量图像进行低光照模拟，生成多场景多光照条件的图像，所述低光照模拟包括高斯噪声添加和伽马光照处理，所述伽马光照处理包括归一化处理、像素预补偿和像素值反归一化；
所述合并模块，用于将所述现场图像与多场景多光照条件的图像进行合并形成样本数据集，所述样本数据集分为训练集和验证集；
所述构建模块，用于构建编码器-解码器架构的神经网络模型，所述神经网络模型包括3个串联的去噪编码器和3个对应的解码器，其中第一个去噪编码器设计的输入图像尺寸为17×17大小，第一个去噪编码器设计了867个隐藏单元、第二个去噪编码器设计了578个隐藏单元、第三个去噪编码器设计了289个隐藏单元，并将第三个去噪编码器做为瓶颈层；在第三个去噪编码器之后串联了3个对应的解码器，分别是578个隐藏单元、867个隐藏单元及289个隐藏单元；
所述训练模块，用于将样本数据集输入所述神经网络模型中进行训练和测试，直至收敛，得到图像处理模型，所述神经网络模型的损失函数为：
其中，N表示patch数量；θ＝{W,b,W',b'}表示模型中的参数；又被称为KL散度，用于衡量两个概率分布的相似性，/>表示第j个隐藏层的均值；K表示隐藏单数目；/>表示重构后的图像；yi表示原始的图像；β、ρ和λ用于表示超参数，适用于后续的训练过程；F表示范数，为超参数；D表示输入的样本集；
所述检验模块，用于对图像处理模型进行仿真实验，采用峰值信噪比作为评价指标，评价网络性能。
5.计算机设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求1至3任一项所述的一种低光照图像增强方法。
6.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的一种低光照图像增强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111540414.XA CN114372941B (zh) | 2021-12-16 | 2021-12-16 | 一种低光照图像增强方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111540414.XA CN114372941B (zh) | 2021-12-16 | 2021-12-16 | 一种低光照图像增强方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114372941A CN114372941A (zh) | 2022-04-19 |
| CN114372941B true CN114372941B (zh) | 2024-04-26 |
Family
ID=81139724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111540414.XA Active CN114372941B (zh) | 2021-12-16 | 2021-12-16 | 一种低光照图像增强方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114372941B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116070816B (zh) * | 2023-02-01 | 2023-06-02 | 苏州海易泰克机电设备有限公司 | 一种基于物联网的飞行模拟训练管理方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110728643A (zh) * | 2019-10-18 | 2020-01-24 | 上海海事大学 | 一种基于卷积神经网络的低照度带噪声图像优化方法 |
| CN110796203A (zh) * | 2019-10-31 | 2020-02-14 | 国网河北省电力有限公司 | 电网运行断面的匹配方法和装置 |
| CN110930341A (zh) * | 2019-10-17 | 2020-03-27 | 杭州电子科技大学 | 一种基于图像融合的低光照图像增强方法 |
| CN111126361A (zh) * | 2019-11-19 | 2020-05-08 | 西安电子科技大学 | 基于半监督学习和特征约束的sar目标鉴别方法 |
| CN111401126A (zh) * | 2020-01-15 | 2020-07-10 | 国家能源集团谏壁发电厂 | 一种基于火焰图像和深度学习的燃烧工况监测方法和装置 |
| CN111968044A (zh) * | 2020-07-16 | 2020-11-20 | 中国科学院沈阳自动化研究所 | 基于Retinex和深度学习的低照度图像增强方法 |
| CN113487528A (zh) * | 2021-06-30 | 2021-10-08 | 展讯通信（上海）有限公司 | 图像处理方法及装置、计算机可读存储介质、终端 |
| CN113538312A (zh) * | 2021-07-22 | 2021-10-22 | 北京工业大学 | 实时低光照图像增强方法、系统、设备及存储介质 |
| CN113657651A (zh) * | 2021-07-27 | 2021-11-16 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 基于深度迁移学习的柴油车排放预测方法、介质及设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8179452B2 (en) * | 2008-12-31 | 2012-05-15 | Lg Electronics Inc. | Method and apparatus for generating compressed file, and terminal comprising the apparatus |
| WO2020108009A1 (en) * | 2018-11-26 | 2020-06-04 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method, system, and computer-readable medium for improving quality of low-light images |
-
2021
- 2021-12-16 CN CN202111540414.XA patent/CN114372941B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110930341A (zh) * | 2019-10-17 | 2020-03-27 | 杭州电子科技大学 | 一种基于图像融合的低光照图像增强方法 |
| CN110728643A (zh) * | 2019-10-18 | 2020-01-24 | 上海海事大学 | 一种基于卷积神经网络的低照度带噪声图像优化方法 |
| CN110796203A (zh) * | 2019-10-31 | 2020-02-14 | 国网河北省电力有限公司 | 电网运行断面的匹配方法和装置 |
| CN111126361A (zh) * | 2019-11-19 | 2020-05-08 | 西安电子科技大学 | 基于半监督学习和特征约束的sar目标鉴别方法 |
| CN111401126A (zh) * | 2020-01-15 | 2020-07-10 | 国家能源集团谏壁发电厂 | 一种基于火焰图像和深度学习的燃烧工况监测方法和装置 |
| CN111968044A (zh) * | 2020-07-16 | 2020-11-20 | 中国科学院沈阳自动化研究所 | 基于Retinex和深度学习的低照度图像增强方法 |
| CN113487528A (zh) * | 2021-06-30 | 2021-10-08 | 展讯通信（上海）有限公司 | 图像处理方法及装置、计算机可读存储介质、终端 |
| CN113538312A (zh) * | 2021-07-22 | 2021-10-22 | 北京工业大学 | 实时低光照图像增强方法、系统、设备及存储介质 |
| CN113657651A (zh) * | 2021-07-27 | 2021-11-16 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 基于深度迁移学习的柴油车排放预测方法、介质及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114372941A (zh) | 2022-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lv et al. | Attention guided low-light image enhancement with a large scale low-light simulation dataset | |
| US9292911B2 (en) | Automatic image adjustment parameter correction | |
| Zhang et al. | An adaptive bilateral filter based framework for image denoising | |
| US9070044B2 (en) | Image adjustment | |
| US10810721B2 (en) | Digital image defect identification and correction | |
| CN111079764B (zh) | 一种基于深度学习的低照度车牌图像识别方法及装置 | |
| US11836898B2 (en) | Method and apparatus for generating image, and electronic device | |
| CN112001399A (zh) | 基于局部特征显著化的图像场景分类方法和装置 | |
| CN114372941B (zh) | 一种低光照图像增强方法、装置、设备及介质 | |
| Liu et al. | Low-light image enhancement based on membership function and gamma correction | |
| CN112966754B (zh) | 样本筛选方法、样本筛选装置及终端设备 | |
| Lan et al. | An optimized GAN method based on the Que-Attn and contrastive learning for underwater image enhancement | |
| Cotogni et al. | Offset equivariant networks and their applications | |
| CN116612355A (zh) | 人脸伪造识别模型训练方法和装置、人脸识别方法和装置 | |
| CN116129417A (zh) | 一种基于低质量图像的数字仪表读数检测方法 | |
| CN110766153A (zh) | 神经网络模型训练方法、装置及终端设备 | |
| Sun et al. | Explore unsupervised exposure correction via illumination component divided guidance | |
| Sheth | Deep neural networks for HDR imaging | |
| Wu et al. | Fish Target Detection in Underwater Blurred Scenes Based on Improved YOLOv5 | |
| CN117893455B (zh) | 图像亮度和对比度调整方法 | |
| WO2023190644A1 (ja) | 性能指標化装置、性能指標化方法、及びプログラム | |
| CN112561818B (zh) | 一种图像增强方法、装置、电子设备及存储介质 | |
| Wei | Research of neural networks in image anomaly identification application | |
| Wu et al. | Enhancement of Mine Images through Reflectance Estimation of V Channel Using Retinex Theory | |
| Chen et al. | Guiding a Harsh-Environments Robust Detector via RAW Data Characteristic Mining |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |