CN116258653A - 一种基于深度学习的微光图像增强方法和系统 - Google Patents
一种基于深度学习的微光图像增强方法和系统 Download PDFInfo
- Publication number
- CN116258653A CN116258653A CN202310546806.XA CN202310546806A CN116258653A CN 116258653 A CN116258653 A CN 116258653A CN 202310546806 A CN202310546806 A CN 202310546806A CN 116258653 A CN116258653 A CN 116258653A
- Authority
- CN
- China
- Prior art keywords
- image
- low
- light
- light image
- image enhancement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000011156 evaluation Methods 0.000 claims abstract description 45
- 230000006870 function Effects 0.000 claims abstract description 32
- 238000005192 partition Methods 0.000 claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims description 20
- 230000007246 mechanism Effects 0.000 claims description 20
- 230000009467 reduction Effects 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000002708 enhancing effect Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 230000006872 improvement Effects 0.000 claims description 6
- 238000013441 quality evaluation Methods 0.000 claims description 6
- 230000001186 cumulative effect Effects 0.000 claims description 4
- 238000002156 mixing Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 18
- 238000012545 processing Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的微光图像增强方法和系统，包括获取数字多功能望远镜的微光图像信息，进行初步去噪预处理；计算微光图像中各个像素点的信息量，根据信息量将微光图像信息进行分区操作，提取各分区区域的局部特征，并生成微光图像的语义描述，利用局部特征及语义描述进行局部区域的图像评价；基于深度学习构建图像增强模型，通过微光图像信息中各局部区域的评价结果确定局部特征对应的自适应权重，确定图像增强模型的损失函数进行微光图像增强，将各局部区域进行图像融合合并。本发明针对数字多功能望远镜的微光图像进行图像增强，提高了图像亮度，有效地恢复了图像细，同时有效避免了图像增强过程中的信息丢失。
Description
技术领域
本发明涉及图像处理技术领域，更具体的，涉及一种基于深度学习的微光图像增强方法和系统。
背景技术
通过数字多功能天文望远镜观测遥远天体，是人类认识和研究浩瀚宇宙的主要途径。但是，受大气湍流等因素的影响，在数字多功能天文望远镜观测得到的天文数据中往往出现平均亮度较低，细节模糊，信噪比较大等状况。暗光场景下的图像由于其光照不足、细节信息缺失、先验信息不足等特点，对于这些数据，如果不加利用地丢弃，将会造成非常严重的数据浪费。而将获取的微光图像进行图像质量改善以获取有效的信息，传统的单波段图像处理技术在暗光场景下往往难以达到令人满意的效果。
微光图像具有的特征是灰度级动态范围集中在一个区间、相邻的像素具有很高的空间相关性、相邻位置的灰度值变化较小等，因此微光图像中的目标、背景、噪声等信息会集中在非常狭小的动态范围内，并且图像经过传送和转换等，图像质量将进一步降低，并夹杂一些噪声，将导致图像质量大幅降低，因此需要对图像进行增强，在突出目标的同时，提高对比度，进而使得图像中目标更加凸显。因此针对数字多功能望远镜获取的微光图像信息，如何提供一种高质量的图像增强方法以满足目标识别需求是亟不可待需要解决的问题。
发明内容
为了解决上述技术问题，本发明提出了一种基于深度学习的微光图像增强方法和系统。
本发明第一方面提供了一种基于深度学习的微光图像增强方法，包括：
在固定观测场景内获取数字多功能望远镜连续多帧的微光图像信息，将所述微光图像信息进行初步去噪预处理；
计算初步去噪预处理后微光图像中各个像素点的信息量，根据所述信息量将微光图像信息进行分区操作，将各分区区域进行标注；
提取各分区区域的局部特征，并生成微光图像的语义描述，利用所述局部特征及语义描述进行局部区域的图像评价；
基于深度学习构建图像增强模型，通过微光图像信息中各局部区域的评价结果确定局部特征对应的自适应权重，确定图像增强模型的损失函数，通过训练后的图像增强模型进行微光图像增强；
获取图像增强后的局部区域，将各局部区域基于亮度进行图像融合合并，获取增强后的微光图像。
本方案中，在固定观测场景内获取数字多功能望远镜连续多帧的微光图像信息，将所述微光图像信息进行初步去噪预处理，具体为：
获取固定观测场景中连续多帧的微光图像，将所述微光图像看作原始纯净图像与噪声混合的结果，噪声随机且不相关；
利用均值计算获取多帧微光图像的平均值，生成平均图像，并根据多帧微光图像的平均值获取平均图像的期望及标准差；
通过固定观测场景得到的平均图像期望减去所述标准差，获取初步去噪后的微光图像，将初步去噪后的微光图像转化为灰度图像，计算对应的灰度归一化直方图；
根据灰度归一化直方图获取微光图像在灰度级上的累积分布，利用直方图均衡对所有灰度级进行均衡化计算，完成微光图像的初步去噪预处理。
本方案中，计算初步去噪预处理后微光图像中各个像素点的信息量，根据所述信息量将微光图像信息进行分区操作，将各分区区域进行标注，具体为：
获取初步去噪预处理后的微光图像，利用图像信息熵衡量各个像素点的信息量，将各像素点的图像信息熵进行对比，并预设阈值区间范围；
分析微光图像中预设范围内任意两像素点之间的图像信息熵偏差，将所述偏差与预设阈值区间范围进行对比，判断偏差是否落在预设阈值范围中，若是，则划分为同一区域；
根据微光图像的局部区域划分进行图像分割生成若干图像块，获取图像块中的平均图像信息熵，利用所述平均图像信息熵生成图像块的初始权重，并对图像块进行数据标注。
本方案中，提取各分区区域的局部特征，并生成微光图像的语义描述，具体为：
获取微光图像中的图像块，基于注意力机制构建特征提取模型，将单独的图像块输入特征提取模型，通过预训练的Faster R-CNN提取各图像块的多尺度特征，根据所述多尺度特征作为图像块局部特征并生成初始特征描述；
通过通道注意力机制设置通道注意力模块，将图像块的多尺度特征输入注意力模块中输出对应通道的特征数据，根据不同的图像块初始权重分配不同的注意力权重，增加特征明显图像块所占的比例；
获取通道注意力模块输出图像块特征对应的初始特征描述，并引入上下文注意力将获取的初始特征描述进行权重分配，根据学习不断结合存在关联的初始特征描述生成微光图像的目标词集合，根据目标词集合获取微光图像的语义描述。
本方案中，利用所述局部特征及语义描述进行局部区域的图像评价，具体为：
将微光图像的各图像块转换到HSV色度空间，提取V通道的图像序列分量，对所述V通道的图像序列分量进行二次降噪，获取二次降噪后图像质量最佳的数据块作为参考图像；
根据非全局的图像质量评价对二次降噪后的图像块进行排序，获取各图像块与参考图像的偏差；
获取图像块局部特征对应的初始特征描述，并提取初始特征描述对应的词向量，将各图像块的初始特征描述词向量与微光图像的语义描述的词向量进行相似度计算；
根据相似度计算获取各图像块对微光图像全局语义的贡献度，通过各图像块与参考图像的偏差及所述贡献度对局部区域的图像评价，获取各个图像块的评价结果，根据评价结果表征局部区域的亮度及失真情况。
本方案中，基于深度学习构建图像增强模型，通过微光图像信息中各局部区域的评价结果确定局部特征对应的自适应权重，确定图像增强模型的损失函数，通过训练后的图像增强模型进行微光图像增强，具体为：
基于深度学习算法结合通道注意力机制的特征提取模型构建图像增强模型，通过大数据检索获取相应数据集生成图像增强模型的训练集；
通过微光图像中各图像块的评价结果确定局部特征对应的自适应权重，根据注意力机制的特征提取模型获取各图像块在不同通道的特征信息进对比度的提升和噪声的减小，并根据各图像块的自适应权重进行亮度增强；
根据各图像块的结构损失、颜色损失、亮度损失及噪声约束构建图像增强模型的损失函数，通过所述训练集训练到损失函数收敛后输出训练后的图像增强模型；
通过训练后的图像增强模型进行微光图像增强，将图像增强后的各图像块进行拼接，输出图像增强后的微光图像。
本发明第二方面还提供了一种基于深度学习的微光图像增强系统，该系统包括：存储器、处理器，所述存储器中包括一种基于深度学习的微光图像增强方法程序，所述一种基于深度学习的微光图像增强的方法程序被所述处理器执行时实现如下步骤：
在固定观测场景内获取数字多功能数字望远镜连续多帧的微光图像信息，将所述微光图像信息进行初步去噪预处理；
计算初步去噪预处理后微光图像中各个像素点的信息量，根据所述信息量将微光图像信息进行分区操作，将各分区区域进行标注；
提取各分区区域的局部特征，并生成微光图像的语义描述，利用所述局部特征及语义描述进行局部区域的图像评价；
基于深度学习构建图像增强模型，通过微光图像信息中各局部区域的评价结果确定局部特征对应的自适应权重，确定图像增强模型的损失函数，通过训练后的图像增强模型进行微光图像增强；
输出图像增强后的局部区域，将各局部区域进行图像融合合并，获取增强后的微光图像。
本发明公开了一种基于深度学习的微光图像增强方法和系统，包括获取数字多功能望远镜的微光图像信息，进行初步去噪预处理；计算微光图像中各个像素点的信息量，根据信息量将微光图像信息进行分区操作，提取各分区区域的局部特征，并生成微光图像的语义描述，利用局部特征及语义描述进行局部区域的图像评价；基于深度学习构建图像增强模型，通过微光图像信息中各局部区域的评价结果确定局部特征对应的自适应权重，确定图像增强模型的损失函数进行微光图像增强，将各局部区域进行图像融合合并。本发明针对数字多功能望远镜的微光图像进行图像增强，提高了图像亮度，有效地恢复了图像细，同时有效避免了图像增强过程中的信息丢失。
附图说明
图1示出了本发明一种基于深度学习的微光图像增强方法的流程图；
图2示出了本发明利用局部特征及语义描述进行局部区域的图像评价的方法流程图；
图3示出了本发明通过训练后的图像增强模型进行微光图像增强的方法流程图；
图4示出了本发明一种基于深度学习的微光图像增强系统的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种基于深度学习的微光图像增强方法的流程图。
如图1所示，本发明第一方面提供了一种基于深度学习的微光图像增强方法，包括：
S102，在固定观测场景内获取数字多功能望远镜连续多帧的微光图像信息，将所述微光图像信息进行初步去噪预处理；
S104，计算初步去噪预处理后微光图像中各个像素点的信息量，根据所述信息量将微光图像信息进行分区操作，将各分区区域进行标注；
S106，提取各分区区域的局部特征，并生成微光图像的语义描述，利用所述局部特征及语义描述进行局部区域的图像评价；
S108，基于深度学习构建图像增强模型，通过微光图像信息中各局部区域的评价结果确定局部特征对应的自适应权重，确定图像增强模型的损失函数，通过训练后的图像增强模型进行微光图像增强；
S110，输出图像增强后的局部区域，将各局部区域进行图像融合合并，获取增强后的微光图像。
需要说明的是，获取固定观测场景中连续多帧的微光图像，将所述微光图像看作原始纯净图像与噪声混合的结果，噪声随机且不相关；通过帧平均法利用均值计算获取多帧微光图像的平均值，生成平均图像，并根据多帧微光图像的平均值获取平均图像的期望及标准差；通过固定观测场景得到的平均图像期望减去所述标准差，获取初步去噪后的微光图像，将初步去噪后的微光图像转化为灰度图像，计算对应的灰度归一化直方图；根据灰度归一化直方图获取微光图像在灰度级上的累积分布，利用直方图均衡对所有灰度级进行均衡化计算，完成微光图像的初步去噪预处理，通过直方图均衡后微光图像整体亮度得到很大改善，但是往往图像中的噪声数据也被相应放大。
需要说明的是，获取初步去噪预处理后的微光图像，利用图像信息熵衡量各个像素点的信息量，若某像素点处的信息熵越高说明该像素点存在的细节特征越丰富，将各像素点的图像信息熵进行对比，并预设阈值区间范围；分析微光图像中预设范围内任意两像素点之间的图像信息熵偏差，将所述偏差与预设阈值区间范围进行对比，判断偏差是否落在预设阈值范围中，若是，则划分为同一区域；根据微光图像的局部区域划分进行图像分割生成若干图像块，获取图像块中的平均图像信息熵，利用所述平均图像信息熵生成图像块的初始权重，并对图像块进行数据标注。
图2示出了本发明利用局部特征及语义描述进行局部区域的图像评价的方法流程图。
根据本发明实施例，利用所述局部特征及语义描述进行局部区域的图像评价，具体为：
S202，将微光图像的各图像块转换到HSV色度空间，提取V通道的图像序列分量，对所述V通道的图像序列分量进行二次降噪，获取二次降噪后图像质量最佳的数据块作为参考图像；
S204，根据非全局的图像质量评价对二次降噪后的图像块进行排序，获取各图像块与参考图像的偏差；
S206，获取图像块局部特征对应的初始特征描述，并提取初始特征描述对应的词向量，将各图像块的初始特征描述词向量与微光图像的语义描述的词向量进行相似度计算；
S208，根据相似度计算获取各图像块对微光图像全局语义的贡献度，通过各图像块与参考图像的偏差及所述贡献度对局部区域的图像评价，获取各个图像块的评价结果，根据评价结果表征局部区域的亮度及失真情况。
需要说明的是，图像质量评价方法常用的有均方误差、峰值信噪比、信息熵、标准差及对比度等方法；
获取微光图像中的图像块，基于注意力机制构建特征提取模型，将单独的图像块输入特征提取模型，通过预训练的Faster R-CNN提取各图像块的多尺度特征，根据所述多尺度特征作为图像块局部特征并生成初始特征描述；通过通道注意力机制设置通道注意力模块，将图像块的多尺度特征输入注意力模块中输出对应通道的特征数据，根据不同的图像块初始权重分配不同的注意力权重，增加特征明显图像块所占的比例；
获取通道注意力模块输出图像块特征对应的初始特征描述，并引入上下文注意力将获取的初始特征描述进行权重分配，根据学习不断结合存在关联的初始特征描述生成微光图像的目标词集合，根据目标词集合获取微光图像的语义描述，所述初始特征描述为
，/>
表示上下文信息，上下文注意力的计算公式为：
其中，
表示第/>
个图像块的注意力权重，/>
表示图像块总数，/>
表示输入的初始特征描述，/>
表示上下文注意力向量。
图3示出了本发明通过训练后的图像增强模型进行微光图像增强的方法流程图。
根据本发明实施例，基于深度学习构建图像增强模型，通过微光图像信息中各局部区域的评价结果确定局部特征对应的自适应权重，确定图像增强模型的损失函数，通过训练后的图像增强模型进行微光图像增强，具体为：
S302，基于深度学习算法结合通道注意力机制的特征提取模型构建图像增强模型，通过大数据检索获取相应数据集生成图像增强模型的训练集；
S304，通过微光图像中各图像块的评价结果确定局部特征对应的自适应权重，根据注意力机制的特征提取模型获取各图像块在不同通道的特征信息进对比度的提升和噪声的减小，并根据各图像块的自适应权重进行亮度增强；
S306，根据各图像块的结构损失、颜色损失、亮度损失及噪声约束构建图像增强模型的损失函数，通过所述训练集训练到损失函数收敛后输出训练后的图像增强模型；
S308，通过训练后的图像增强模型进行微光图像增强，将图像增强后的各图像块进行拼接，输出图像增强后的微光图像。
需要说明的是，图像增强模型通过残差网络进行连接，缓解梯度消失的问题，同时减少参数的训练，根据各图像块的结构损失、颜色损失、亮度损失及噪声约束构建图像增强模型的损失函数；由于图像的结构在相邻图像块往往存在一致性，因此通过邻域图像块及目标图像块反应图像的结构性，其结构损失函数
为：
其中，
表示图像块数量，/>
表示目标图像块m的邻域图像块，m及n分别为目标图像块及邻域图像块的项数，/>
表示目标图像块的自适应权重，/>
表示增强图像中目标图像块m的均值，/>
表示增强图像中邻域图像块n的均值，/>
表示输入微光图像中目标图像块m的均值，/>
表示输入微光图像中邻域图像块n的均值；
将微光图像转换到HSV色度空间，通过H通道的图像序列分量构建颜色损失
，具体为：
对于亮度损失通过HSV色度空间中V通道的图像序列分量进行表示，亮度损失
具体为：/>
。
其中，
表示图像块数量，m表示图像块项数，/>
表示图像块中的像素，/>
表示增强图像中目标图像块的V通道的图像序列分量的均值，/>
表示输入微光图像中V通道的图像序列分量的均值；
将所述结构损失、颜色损失、亮度损失及噪声约束根据对应权重进行结合生成微光图像增强模型的损失函数
，具体为：
其中，
，/>
，/>
分别对应的结构损失、颜色损失、亮度损失的权重，/>
表示噪声约束，为泊松函数。
根据本发明实施例，构建数据库，存储相关图像增强参数，具体为：
构建数字多功能望远镜各观测场景微光图像增强数据库，将各观测场景获取微光图像、图像增强后的微光图像、图像增强后的微光图像的评价结果以及图像增强的补偿参数进行匹配存入所述数字多功能望远镜各观测场景微光图像增强数据库；
获取当前观测场景的成像视野及光照条件，并提取相关特征构建场景特征集，根据所述场景特征集构建检索标签，利用相似度计算在数据库中获取相似度符合预设相似度标准的数据；
在符合预设标准的数据中根据图像增强后微光图像的评价结果进行排序，根据排序结果筛选预设数量的数据；
获取筛选后数据对应的图像增强的补偿参数，根据所述图像增强的补偿参数对当前观测场景获取微光图像进行初步数据增强，获取初步数据增强后的微光图像进行图像评价；
判断图像质量是否大于预设图像质量阈值，若小于，则输入微光图像增强模型进行进一步增强，并根据观测场景特征的不断增加对数据库进行更新。
图4示出了本发明一种基于深度学习的微光图像增强系统的框图。
本发明第二方面还提供了一种基于深度学习的微光图像增强系统4，该系统包括：存储器41、处理器42，所述存储器中包括一种基于深度学习的微光图像增强方法程序，所述一种基于深度学习的微光图像增强的方法程序被所述处理器执行时实现如下步骤：
在固定观测场景内获取数字多功能望远镜连续多帧的微光图像信息，将所述微光图像信息进行初步去噪预处理；
计算初步去噪预处理后微光图像中各个像素点的信息量，根据所述信息量将微光图像信息进行分区操作，将各分区区域进行标注；
提取各分区区域的局部特征，并生成微光图像的语义描述，利用所述局部特征及语义描述进行局部区域的图像评价；
基于深度学习构建图像增强模型，通过微光图像信息中各局部区域的评价结果确定局部特征对应的自适应权重，确定图像增强模型的损失函数，通过训练后的图像增强模型进行微光图像增强；
输出图像增强后的局部区域，将各局部区域进行图像融合合并，获取增强后的微光图像。
需要说明的是，获取固定观测场景中连续多帧的微光图像，将所述微光图像看作原始纯净图像与噪声混合的结果，噪声随机且不相关；通过帧平均法利用均值计算获取多帧微光图像的平均值，生成平均图像，并根据多帧微光图像的平均值获取平均图像的期望及标准差；通过固定观测场景得到的平均图像期望减去所述标准差，获取初步去噪后的微光图像，将初步去噪后的微光图像转化为灰度图像，计算对应的灰度归一化直方图；根据灰度归一化直方图获取微光图像在灰度级上的累积分布，利用直方图均衡对所有灰度级进行均衡化计算，完成微光图像的初步去噪预处理，通过直方图均衡后微光图像整体亮度得到很大改善，但是往往图像中的噪声数据也被相应放大。
需要说明的是，获取初步去噪预处理后的微光图像，利用图像信息熵衡量各个像素点的信息量，若某像素点处的信息熵越高说明该像素点存在的细节特征越丰富，将各像素点的图像信息熵进行对比，并预设阈值区间范围；分析微光图像中预设范围内任意两像素点之间的图像信息熵偏差，将所述偏差与预设阈值区间范围进行对比，判断偏差是否落在预设阈值范围中，若是，则划分为同一区域；根据微光图像的局部区域划分进行图像分割生成若干图像块，获取图像块中的平均图像信息熵，利用所述平均图像信息熵生成图像块的初始权重，并对图像块进行数据标注。
根据本发明实施例，利用所述局部特征及语义描述进行局部区域的图像评价，具体为：
将微光图像的各图像块转换到HSV色度空间，提取V通道的图像序列分量，对所述V通道的图像序列分量进行二次降噪，获取二次降噪后图像质量最佳的数据块作为参考图像；
根据非全局的图像质量评价对二次降噪后的图像块进行排序，获取各图像块与参考图像的偏差；
获取图像块局部特征对应的初始特征描述，并提取初始特征描述对应的词向量，将各图像块的初始特征描述词向量与微光图像的语义描述的词向量进行相似度计算；
根据相似度计算获取各图像块对微光图像全局语义的贡献度，通过各图像块与参考图像的偏差及所述贡献度对局部区域的图像评价，获取各个图像块的评价结果，根据评价结果表征局部区域的亮度及失真情况。
需要说明的是，获取微光图像中的图像块，基于注意力机制构建特征提取模型，将单独的图像块输入特征提取模型，通过预训练的Faster R-CNN提取各图像块的多尺度特征，根据所述多尺度特征作为图像块局部特征并生成初始特征描述；通过通道注意力机制设置通道注意力模块，将图像块的多尺度特征输入注意力模块中输出对应通道的特征数据，根据不同的图像块初始权重分配不同的注意力权重，增加特征明显图像块所占的比例；
获取通道注意力模块输出图像块特征对应的初始特征描述，并引入上下文注意力将获取的初始特征描述进行权重分配，根据学习不断结合存在关联的初始特征描述生成微光图像的目标词集合，根据目标词集合获取微光图像的语义描述，所述初始特征描述为
，/>
表示上下文信息，上下文注意力的计算公式为：
其中，
表示第/>
个图像块的注意力权重，/>
表示图像块总数，/>
表示输入的初始特征描述，/>
表示上下文注意力向量。
根据本发明实施例，基于深度学习构建图像增强模型，通过微光图像信息中各局部区域的评价结果确定局部特征对应的自适应权重，确定图像增强模型的损失函数，通过训练后的图像增强模型进行微光图像增强，具体为：
基于深度学习算法结合通道注意力机制的特征提取模型构建图像增强模型，通过大数据检索获取相应数据集生成图像增强模型的训练集；
通过微光图像中各图像块的评价结果确定局部特征对应的自适应权重，根据注意力机制的特征提取模型获取各图像块在不同通道的特征信息进对比度的提升和噪声的减小，并根据各图像块的自适应权重进行亮度增强；
根据各图像块的结构损失、颜色损失、亮度损失及噪声约束构建图像增强模型的损失函数，通过所述训练集训练到损失函数收敛后输出训练后的图像增强模型；
通过训练后的图像增强模型进行微光图像增强，将图像增强后的各图像块进行拼接，输出图像增强后的微光图像。
需要说明的是，图像增强模型通过残差网络进行连接，缓解梯度消失的问题，同时减少参数的训练，根据各图像块的结构损失、颜色损失、亮度损失及噪声约束构建图像增强模型的损失函数；由于图像的结构在相邻图像块往往存在一致性，因此通过邻域图像块及目标图像块反应图像的结构性，其结构损失函数
为：
其中，
表示图像块数量，/>
表示目标图像块m的邻域图像块，m及n分别为目标图像块及邻域图像块的项数，/>
表示目标图像块的自适应权重，/>
表示增强图像中目标图像块m的均值，/>
表示增强图像中邻域图像块n的均值，/>
表示输入微光图像中目标图像块m的均值，/>
表示输入微光图像中邻域图像块n的均值；
将微光图像转换到HSV色度空间，通过H通道的图像序列分量构建颜色损失
，具体为：
其中，
表示增强图像中H通道的图像序列分量，/>
表示输入微光图像中H通道的图像序列分量，/>
表示像素数；
对于亮度损失通过HSV色度空间中V通道的图像序列分量进行表示，亮度损失
具体为：
其中，
表示图像块数量，m表示图像块项数，/>
表示图像块中的像素，/>
表示增强图像中目标图像块的V通道的图像序列分量的均值，/>
表示输入微光图像中V通道的图像序列分量的均值；
将所述结构损失、颜色损失、亮度损失及噪声约束根据对应权重进行结合生成微光图像增强模型的损失函数
，具体为：
其中，
，/>
，/>
分别对应的结构损失、颜色损失、亮度损失的权重，/>
表示噪声约束，为泊松函数。
本发明第三方面还提供一种计算机可读存储介质，所述计算机可读存储介质中包括基于深度学习的微光图像增强方法程序，所述一种基于深度学习的微光图像增强方法程序被处理器执行时，实现如上述任一项所述的一种基于深度学习的微光图像增强方法的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于深度学习的微光图像增强方法，其特征在于，包括以下步骤：
在固定观测场景内获取数字多功能望远镜连续多帧的微光图像信息，将所述微光图像信息进行初步去噪预处理；
计算初步去噪预处理后微光图像中各个像素点的信息量，根据所述信息量将微光图像信息进行分区操作，将各分区区域进行标注；
提取各分区区域的局部特征，并生成微光图像的语义描述，利用所述局部特征及语义描述进行局部区域的图像评价；
基于深度学习构建图像增强模型，通过微光图像信息中各局部区域的评价结果确定局部特征对应的自适应权重，确定图像增强模型的损失函数，通过训练后的图像增强模型进行微光图像增强；
输出图像增强后的局部区域，将各局部区域进行图像融合合并，获取增强后的微光图像。
2.根据权利要求1所述的一种基于深度学习的微光图像增强方法，其特征在于，在固定观测场景内获取数字多功能望远镜连续多帧的微光图像信息，将所述微光图像信息进行初步去噪预处理，具体为：
获取固定观测场景中连续多帧的微光图像，将所述微光图像看作原始纯净图像与噪声混合的结果，噪声随机且不相关；
利用均值计算获取多帧微光图像的平均值，生成平均图像，并根据多帧微光图像的平均值获取平均图像的期望及标准差；
通过固定观测场景得到的平均图像期望减去所述标准差，获取初步去噪后的微光图像，将初步去噪后的微光图像转化为灰度图像，计算对应的灰度归一化直方图；
根据灰度归一化直方图获取微光图像在灰度级上的累积分布，利用直方图均衡对所有灰度级进行均衡化计算，完成微光图像的初步去噪预处理。
3.根据权利要求1所述的一种基于深度学习的微光图像增强方法，其特征在于，计算初步去噪预处理后微光图像中各个像素点的信息量，根据所述信息量将微光图像信息进行分区操作，将各分区区域进行标注，具体为：
获取初步去噪预处理后的微光图像，利用图像信息熵衡量各个像素点的信息量，将各像素点的图像信息熵进行对比，并预设阈值区间范围；
分析微光图像中预设范围内任意两像素点之间的图像信息熵偏差，将所述偏差与预设阈值区间范围进行对比，判断偏差是否落在预设阈值范围中，若是，则划分为同一区域；
根据微光图像的局部区域划分进行图像分割生成若干图像块，获取图像块中的平均图像信息熵，利用所述平均图像信息熵生成图像块的初始权重，并对图像块进行数据标注。
4.根据权利要求1所述的一种基于深度学习的微光图像增强方法，其特征在于，提取各分区区域的局部特征，并生成微光图像的语义描述，具体为：
获取微光图像中的图像块，基于注意力机制构建特征提取模型，将单独的图像块输入特征提取模型，通过预训练的Faster R-CNN提取各图像块的多尺度特征，根据所述多尺度特征作为图像块局部特征并生成初始特征描述；
通过通道注意力机制设置通道注意力模块，将图像块的多尺度特征输入注意力模块中输出对应通道的特征数据，根据不同的图像块初始权重分配不同的注意力权重，增加特征明显图像块所占的比例；
获取通道注意力模块输出图像块特征对应的初始特征描述，并引入上下文注意力将获取的初始特征描述进行权重分配，根据学习不断结合存在关联的初始特征描述生成微光图像的目标词集合，根据目标词集合获取微光图像的语义描述。
5.根据权利要求1所述的一种基于深度学习的微光图像增强方法，其特征在于，利用所述局部特征及语义描述进行局部区域的图像评价，具体为：
将微光图像的各图像块转换到HSV色度空间，提取V通道的图像序列分量，对所述V通道的图像序列分量进行二次降噪，获取二次降噪后图像质量最佳的数据块作为参考图像；
根据非全局的图像质量评价对二次降噪后的图像块进行排序，获取各图像块与参考图像的偏差；
获取图像块局部特征对应的初始特征描述，并提取初始特征描述对应的词向量，将各图像块的初始特征描述词向量与微光图像的语义描述的词向量进行相似度计算；
根据相似度计算获取各图像块对微光图像全局语义的贡献度，通过各图像块与参考图像的偏差及所述贡献度对局部区域的图像评价，获取各个图像块的评价结果，根据评价结果表征局部区域的亮度及失真情况。
6.根据权利要求1所述的一种基于深度学习的微光图像增强方法，其特征在于，基于深度学习构建图像增强模型，通过微光图像信息中各局部区域的评价结果确定局部特征对应的自适应权重，确定图像增强模型的损失函数，通过训练后的图像增强模型进行微光图像增强，具体为：
基于深度学习算法结合通道注意力机制的特征提取模型构建图像增强模型，通过大数据检索获取相应数据集生成图像增强模型的训练集；
通过微光图像中各图像块的评价结果确定局部特征对应的自适应权重，根据注意力机制的特征提取模型获取各图像块在不同通道的特征信息进对比度的提升和噪声的减小，并根据各图像块的自适应权重进行亮度增强；
根据各图像块的结构损失、颜色损失、亮度损失及噪声约束构建图像增强模型的损失函数，通过所述训练集训练到损失函数收敛后输出训练后的图像增强模型；
通过训练后的图像增强模型进行微光图像增强，将图像增强后的各图像块进行拼接，输出图像增强后的微光图像。
7.一种基于深度学习的微光图像增强系统，其特征在于，该系统包括：存储器、处理器，所述存储器中包括一种基于深度学习的微光图像增强方法程序，所述一种基于深度学习的微光图像增强方法程序被所述处理器执行时实现如下步骤：
在固定观测场景内获取数字多功能望远镜连续多帧的微光图像信息，将所述微光图像信息进行初步去噪预处理；
计算初步去噪预处理后微光图像中各个像素点的信息量，根据所述信息量将微光图像信息进行分区操作，将各分区区域进行标注；
提取各分区区域的局部特征，并生成微光图像的语义描述，利用所述局部特征及语义描述进行局部区域的图像评价；
基于深度学习构建图像增强模型，通过微光图像信息中各局部区域的评价结果确定局部特征对应的自适应权重，确定图像增强模型的损失函数，通过训练后的图像增强模型进行微光图像增强；
输出图像增强后的局部区域，将各局部区域进行图像融合合并，获取增强后的微光图像。
8.根据权利要求7所述的一种基于深度学习的微光图像增强系统，其特征在于，提取各分区区域的局部特征，并生成微光图像的语义描述，具体为：
获取微光图像中的图像块，基于注意力机制构建特征提取模型，将单独的图像块输入特征提取模型，通过预训练的Faster R-CNN提取各图像块的多尺度特征，根据所述多尺度特征作为图像块局部特征并生成初始特征描述；
通过通道注意力机制设置通道注意力模块，将图像块的多尺度特征输入注意力模块中输出对应通道的特征数据，根据不同的图像块初始权重分配不同的注意力权重，增加特征明显图像块所占的比例；
获取通道注意力模块输出图像块特征对应的初始特征描述，并引入上下文注意力将获取的初始特征描述进行权重分配，根据学习不断结合存在关联的初始特征描述生成微光图像的目标词集合，根据目标词集合获取微光图像的语义描述。
9.根据权利要求7所述的一种基于深度学习的微光图像增强系统，其特征在于，利用所述局部特征及语义描述进行局部区域的图像评价，具体为：
将微光图像的各图像块转换到HSV色度空间，提取V通道的图像序列分量，对所述V通道的图像序列分量进行二次降噪，获取二次降噪后图像质量最佳的数据块作为参考图像；
根据非全局的图像质量评价对二次降噪后的图像块进行排序，获取各图像块与参考图像的偏差；
获取图像块局部特征对应的初始特征描述，并提取初始特征描述对应的词向量，将各图像块的初始特征描述词向量与微光图像的语义描述的词向量进行相似度计算；
根据相似度计算获取各图像块对微光图像全局语义的贡献度，通过各图像块与参考图像的偏差及所述贡献度对局部区域的图像评价，获取各个图像块的评价结果，根据评价结果表征局部区域的亮度及失真情况。
10.根据权利要求7所述的一种基于深度学习的微光图像增强系统，其特征在于，基于深度学习构建图像增强模型，通过微光图像信息中各局部区域的评价结果确定局部特征对应的自适应权重，确定图像增强模型的损失函数，通过训练后的图像增强模型进行微光图像增强，具体为：
基于深度学习算法结合通道注意力机制的特征提取模型构建图像增强模型，通过大数据检索获取相应数据集生成图像增强模型的训练集；
通过微光图像中各图像块的评价结果确定局部特征对应的自适应权重，根据注意力机制的特征提取模型获取各图像块在不同通道的特征信息进对比度的提升和噪声的减小，并根据各图像块的自适应权重进行亮度增强；
根据各图像块的结构损失、颜色损失、亮度损失及噪声约束构建图像增强模型的损失函数，通过所述训练集训练到损失函数收敛后输出训练后的图像增强模型；
通过训练后的图像增强模型进行微光图像增强，将图像增强后的各图像块进行拼接，输出图像增强后的微光图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310546806.XA CN116258653B (zh) | 2023-05-16 | 2023-05-16 | 一种基于深度学习的微光图像增强方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310546806.XA CN116258653B (zh) | 2023-05-16 | 2023-05-16 | 一种基于深度学习的微光图像增强方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116258653A true CN116258653A (zh) | 2023-06-13 |
| CN116258653B CN116258653B (zh) | 2023-07-14 |
Family
ID=86684755
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310546806.XA Active CN116258653B (zh) | 2023-05-16 | 2023-05-16 | 一种基于深度学习的微光图像增强方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116258653B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116912305A (zh) * | 2023-09-13 | 2023-10-20 | 四川大学华西医院 | 基于深度学习的脑部ct图像三维重建方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090041344A1 (en) * | 2007-08-08 | 2009-02-12 | Richard John Campbell | Methods and Systems for Determining a Background Color in a Digital Image |
| CN104537615A (zh) * | 2014-12-04 | 2015-04-22 | 大连理工大学 | 一种基于HSV色彩空间的局部Retinex增强算法 |
| CN106780417A (zh) * | 2016-11-22 | 2017-05-31 | 北京交通大学 | 一种光照不均图像的增强方法及系统 |
| CN111835978A (zh) * | 2019-04-15 | 2020-10-27 | 韩华泰科株式会社 | 图像处理设备和执行局部对比度增强的方法 |
| CN115396669A (zh) * | 2022-08-22 | 2022-11-25 | 上海工程技术大学 | 一种基于兴趣区域增强的视频压缩方法及装置 |
-
2023
- 2023-05-16 CN CN202310546806.XA patent/CN116258653B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090041344A1 (en) * | 2007-08-08 | 2009-02-12 | Richard John Campbell | Methods and Systems for Determining a Background Color in a Digital Image |
| CN104537615A (zh) * | 2014-12-04 | 2015-04-22 | 大连理工大学 | 一种基于HSV色彩空间的局部Retinex增强算法 |
| CN106780417A (zh) * | 2016-11-22 | 2017-05-31 | 北京交通大学 | 一种光照不均图像的增强方法及系统 |
| CN111835978A (zh) * | 2019-04-15 | 2020-10-27 | 韩华泰科株式会社 | 图像处理设备和执行局部对比度增强的方法 |
| CN115396669A (zh) * | 2022-08-22 | 2022-11-25 | 上海工程技术大学 | 一种基于兴趣区域增强的视频压缩方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| YANMING HUI ET.AL: "Low Light Image Enhancement Algorithm Based on Detail Prediction and Attention Mechanism", 《MDPI》, pages 1 - 22 * |
| 毕奇: "面向局部语义表达的 遥感场景分类深度学习方法", 《中国优秀所示学位论文全文数据库工程科技II辑》, no. 4, pages 1 - 109 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116912305A (zh) * | 2023-09-13 | 2023-10-20 | 四川大学华西医院 | 基于深度学习的脑部ct图像三维重建方法及装置 |
| CN116912305B (zh) * | 2023-09-13 | 2023-11-24 | 四川大学华西医院 | 基于深度学习的脑部ct图像三维重建方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116258653B (zh) | 2023-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shi et al. | Normalised gamma transformation‐based contrast‐limited adaptive histogram equalisation with colour correction for sand–dust image enhancement | |
| CN108229526B (zh) | 网络训练、图像处理方法、装置、存储介质和电子设备 | |
| CN111292264A (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| EP4198875A1 (en) | Image fusion method, and training method and apparatus for image fusion model | |
| CN109389569B (zh) | 基于改进DehazeNet的监控视频实时去雾方法 | |
| CN107911625A (zh) | 测光方法、装置、可读存储介质和计算机设备 | |
| CN107451969A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| CN110717868B (zh) | 视频高动态范围反色调映射模型构建、映射方法及装置 | |
| CN108616700B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| US10580122B2 (en) | Method and system for image enhancement | |
| CN116258653B (zh) | 一种基于深度学习的微光图像增强方法和系统 | |
| CN111079864A (zh) | 一种基于优化视频关键帧提取的短视频分类方法及系统 | |
| CN113962859A (zh) | 一种全景图生成方法、装置、设备及介质 | |
| CN110298796B (zh) | 基于改进Retinex与对数图像处理的低照度图像增强方法 | |
| CN110838088B (zh) | 一种基于深度学习的多帧降噪方法、装置及终端设备 | |
| CN112822413B (zh) | 拍摄预览方法、装置、终端和计算机可读存储介质 | |
| CN107424134B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| CN111861949A (zh) | 一种基于生成对抗网络的多曝光图像融合方法及系统 | |
| WO2023110880A1 (en) | Image processing methods and systems for low-light image enhancement using machine learning models | |
| Simone et al. | Survey of methods and evaluation of retinex-inspired image enhancers | |
| WO2015189369A1 (en) | Methods and systems for color processing of digital images | |
| CN115393901A (zh) | 一种跨模态行人重识别方法及计算机可读存储介质 | |
| Van Vo et al. | High dynamic range video synthesis using superpixel-based illuminance-invariant motion estimation | |
| CN114549386A (zh) | 一种基于自适应光照一致性的多曝光图像融合方法 | |
| CN115731115A (zh) | 一种数据处理方法以及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |