CN116433518A - 一种基于改进Cycle-Dehaze神经网络的火灾图像烟雾去除方法 - Google Patents
一种基于改进Cycle-Dehaze神经网络的火灾图像烟雾去除方法 Download PDFInfo
- Publication number
- CN116433518A CN116433518A CN202310378526.2A CN202310378526A CN116433518A CN 116433518 A CN116433518 A CN 116433518A CN 202310378526 A CN202310378526 A CN 202310378526A CN 116433518 A CN116433518 A CN 116433518A
- Authority
- CN
- China
- Prior art keywords
- image
- smoke
- dehaze
- exposure
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000779 smoke Substances 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 60
- 230000006870 function Effects 0.000 claims abstract description 84
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 19
- 238000006243 chemical reaction Methods 0.000 claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 230000007246 mechanism Effects 0.000 claims abstract description 12
- 238000005286 illumination Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 16
- 125000004122 cyclic group Chemical group 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 3
- 238000013178 mathematical model Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000003313 weakening effect Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 3
- 238000013461 design Methods 0.000 abstract description 2
- 230000002708 enhancing effect Effects 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000007547 defect Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 101000912561 Bos taurus Fibrinogen gamma-B chain Proteins 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000007687 exposure technique Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 235000002918 Fraxinus excelsior Nutrition 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000002956 ash Substances 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 235000019504 cigarettes Nutrition 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于改进Cycle‑Dehaze神经网络的火灾图像烟雾去除方法，该方法针对输入图像曝光过高和曝光过低的两种像素灰度值集合，采用两种亮度转换函数构造虚拟的曝光图像，再通过高低频信息进行多曝光图像融合，有效解决了火灾背景成像中所遇到的图像光照不匀、含鬼影等问题。此外，本发明在传统的Cycle‑Dehaze神经网络的基础上，设计针对烟雾特征增强的动态密集残差块，并引入CBAM注意力机制，提高了对图像有关域和无关域的划分精度。同时，为了更好的解决目前神经网络去烟雾图像重建中存在的颜色失真、纹理模糊问题，本发明在原有损失函数的基础上，引入颜色损失函数，增强了SF‑Cycle‑Dehaze生成器和判别器中的色彩辨识能力，改善了目前主流模型的去烟图像重建能力。
Description
技术领域
本发明涉及数字图像处理领域，尤其涉及一种基于改进Cycle-Dehaze神经网络的森林火灾单幅图像烟雾去除方法。
背景技术
森林火灾防控是环境治理和社会应急系统中极为重要的环节，不仅对森林环境影响极大，而且涉及人民生命和国家财产相关的重要利益。因此，精确掌握火灾的发展演化趋势，准确定位灾情范围和待救援人员位置能大幅提高对森林火灾的预警和应急效率，能为森林火灾防灾减灾提供更有效的辅助决策支持。
火灾发生的前期和中期往往伴随着大量烟雾的产生，伴随的热浪、湍流、烟雾颗粒对光线的吸收和反射都给无人机机载摄像头等摄影设备带来了巨大的成像困难，不仅造成了影像的亮度变暗，而且容易带来细节纹理不全和颜色失真等现象。此外，无人机飞行过程不稳定、相机抖动等其他因素容易造成图像的鬼影现象，产生模糊和阴影，进一步加大了图像处理和目标识别的难度。
目前主要采用的图像烟雾去除方法主要分为“基于物理模型”“基于传统图像处理技术”和“基于学习的方法”三大研究方向。基于物理模型的算法通过模拟烟雾在光学传输过程中的物理过程来进行反向烟雾去除，但这种方法往往需要大量的计算资源和对物理学的深入了解，并在多变复杂的林区场景下适应效果较差。而基于传统图像处理技术的算法包括有暗通道先验算法、ZHU提出的颜色衰减先验算法、Arigela等人设计的基于暗通道的非线性正弦函数改进算法等等，尽管各算法取得了一定的成功，但这类基于手工先验知识的方法并不能很好地解决所有问题，且不能有效解决去烟图像重建中所引发的图像失真、纹理模糊问题。基于学习的方法则常常利用卷积神经网络或生成对抗网络模型，通过大量的训练使其拥有去除烟雾的能力。如CAI提出了一种基于卷积神经网络的端对端去雾模型DehazeNet，而Yi采用了多尺度拓扑网络来重建无烟雾图像，ENGIN等人则提出了一种基于循环生成对抗网络的改进去雾网络Cycle-dehaze等等。然而以上神经网络模型均无法很好地解决森林火灾背景下图像所出现的光照不均和颜色失真情况，并对无人机航拍的抖动或连续飞行时造成的图像鬼影都不能很好地修正，严重影响了模型的训练和测试结果。由于林火行为的复杂性及摄影环境的不确定性，目前各主流去烟模型都还没有达到真正的普遍适用，仍存在诸多不足。
发明内容
本发明提供一种基于改进Cycle-Dehaze神经网络的单幅图像烟雾快速去除方法，用以解决现有技术中森林火灾监测中存在的烟雾遮挡范围大，火灾特征提取难、图像处理效率低等缺陷。
本发明的技术方案为：一种基于改进Cycle-Dehaze神经网络的火灾图像烟雾去除方法，包括如下步骤：
步骤1，收集具有信息相关性的类似室外场景火灾含烟图像和清晰无烟图像作为网络训练数据集，并对所有图像进行预处理；
步骤2，构建和训练火场图像去烟神经网络，具体包括如下步骤：
步骤2.1，将预处理后的含烟图像经连续双三次降尺度下采样操作，得到低分辨率含烟火场图F′；
步骤2.2，构建SF-Cycle-Dehaze神经网络，并将F′输入SF-Cycle-Dehaze神经网络；
所述SF-Cycle-Dehaze神经网络是基于Cycle-Dehaze神经网络的改进，由两个生成器(G、F)和两个判别器(Px、Py)组成，其中设置X为含烟图像，Y为清晰无烟图像，G实现从X→Y域映射的生成器，F实现从Y→X映射的生成器，(Px、Py)为对应域的鉴别器，用来判断图像是真是假，即鉴定网络的去烟效能；
步骤2.3，将含烟图像F′输入到生成器G生成无烟图像，然后通过判别器Px进行真实性判断；
步骤2.4，将预处理后的清晰无烟图像经过生成器F生成有烟图像，并经过判别器Py进行真实性判断，含烟图像样本和清晰无烟图像样本循环对抗训练，根据判别器结果不断调整神经网络参数，从而提高神经网络的最终去烟效能；
步骤3，在真实的处理过程中，将经过图像预处理后的含烟火场图像进行双三次向下缩放得低分辨率火场含烟图像，输入到训练好的SF-Cycle-Dehaze神经网络中，待图像经神经网络处理完成后，将对其进行拉普拉斯金字塔简单上采样，恢复为与原始图像分辨率大小的高分辨率火场无烟图像，并作为最终结果进行输出。
进一步的，步骤1中预处理的具体实现步骤如下；
步骤1.1，将输入的单张未处理图像由RGB颜色空间映射到HSV颜色空间，分离并获取图像的色调分量图像H、亮度分量图像V和饱和度分量图像S，并对亮度分量图像V进行虚拟多曝光处理，具体实现方式如下：
步骤1.1.1，获取输入亮度分量图像V中曝光过高和曝光不足的像素灰度值集合，并定义图中两种灰度值集合为：
Q1为图像中曝光过高的像素灰度值集合，Q2为图像中曝光过低的像素灰度值集合，V(x)代表输入图像的总像素集合，J(x)为图像V的光照分量图。σ1、σ2为森林火灾场景下区分曝光过度和曝光不足的灰度阈值；
步骤1.1.2，设m为图像曝光比，E为亮度分量图像V的原始曝光量，E′为不同曝光量，则有E′＝mE，针对亮度分量图像V，采用基于图像信息熵和平均梯度最大化的计算原则，分别计算亮区域和暗区域像素集合的两种最佳曝光比mchog和mchof；
图像信息熵：
平均梯度最大化：
最佳曝光比：
上述公式中J为图像灰度级总级数，pi表示图像I中某区域灰度出现的概率，M*N为图像大小，I(x，y)为图像在像素点(x，y)处的像素值；
步骤1.1.3，针对待处理亮度分量图像V中亮区域和暗区域像素灰度值集合，定义根据曝光比mchog和mchof生成虚拟曝光图像V1、V2的两种亮度转换函数g和f：
其中V1为增强曝光图像，V2为减弱曝光图像，考虑到亮度转换函数在输入图像亮度值较大时会产生截断而产生亮区丢失，而对输入图像亮度值较小区域进行盲目曝光会丢失原有的细节纹理特征，因而详细定义增强曝光亮度转换函数g和减弱曝光亮度转换函数f：
上述式中(γ，ε)为强曝曲线阈值分隔点，(γ′，ε′)为弱曝曲线阈值分割点，mchog与mchof为步骤1.1.2中所得的两种最佳曝光比；a，b为常规亮度转换曲线参数，参数a′和b′为亮度函数曲线经过(γ，ε)点和(1，1)两点联合求解所得；
步骤1.2，将未处理含烟火灾图像分别代入针对图像过曝元素集合和欠曝元素集合的两种亮度转换函数g和f，对亮度分量图像V进行增强曝光处理和减弱曝光处理，得到增强曝光影像V1和减弱曝光影像V2；
步骤1.3，对于输入的多曝光图像，先在空间上实现多曝光图像的对齐，再分别利用基于权值平均的方法和基于拉普拉斯金字塔的方法进行多图像低频和高频的信息融合；
步骤1.4，经过多虚拟曝光图像的融合后，得到经过图像预处理后的含烟图像。
进一步的，SF-Cycle-Dehaze中的两个生成器的结构相同，均由一个卷积核大小为9*9，步长为1的Layer1层；两个卷积核大小为3*3，步长为3的Layer2和Layer3层；两个含动态卷积核的SF特征增强密集残差块SRDB；一个卷积核大小为3*3，步长为1的Deconvolution层；一个卷积核大小为3*3，步长为3的Deconvolution层和一个卷积核大小为9*9，步长为1的Layer4层构成。
进一步的，SF-Cycle-Dehaze中的两个判别器的结构相同，均由两个“卷积和激活函数LeakREU”层、一个跳跃连接层、两个“卷积和激活函数LeakREU”层和一个“卷积和激活函数Sigmoid”层构成。
进一步的，SF特征增强密集残差块，采用动态密集残差块和CBAM注意力机制模块相耦合的机制，动态密集残差块由三个动态卷积子模块和一个动态卷积层组成，而CBAM注意力机制模块由CAM通道注意力模块和SAM空间注意力模块组成；
具体的，动态卷积子模块含有动态卷积层、BN层和ReLU激活函数层，动态卷积的过程可简单表示为：
Ai＝sigmoid(f(Si))
上述的A为权重获取操作，S为图像经过Layer3静态卷积后获取的张量，Si为张量的第i个位置的特征映射，f是采用全连接层实现的非线性变换函数，C为动态卷积操作，W(x)表示样本自适应生成的卷积核参数，K表示权重个数，Ak(x)表示第k个注意力权值，Wk表示第k个卷积核参数。
进一步的，循环对抗训练过程中采用的损失函数包括：对抗损失函数、循环一致性误差函数和颜色损失函数，数学模型为：
L′total＝LGAN(G，Py，X，Y)+LGAN(F，Px，Y，X)+θLcyc(G，F)+δLSSIM
上式中Lcyc(G，F)、LGAN(F，Px，X，Y)、LGAN(G，Py，X，Y)为传统cycle-dehaze神经网络的损失函数；其中LGAN(F，Px，X，Y)和LGAN(G，Py，X，Y)表示组成SF-Cycle-Dehaze两个对抗损失函数，Lcyc(G，F)是循环一致性误差函数，LSSIM表示颜色损失函数；其中损失函数中的X、Y表示的是真实图像集合，X为真实的含烟训练样本，而Y为真实的无烟训练样本，θ、δ为循环一致性损失和颜色损失函数的权重。
进一步的，颜色损失函数LSSIM的表示如下；
LSSIM＝((I(x，y))α*(C(x，y))β*(S(x，y))γ)
其中：
上述公式中μ代表均值，σ代表标准差，x、y为图像的像素坐标，σxy代表x和y的协方差，c1-c6均为防止分母为0的常数，I(x，y)、C(x，y)、S(x，y)分别为图像的亮度信息、对比度信息和结构信息，α、β、γ为权重系数，用于平衡亮度、对比度和结构的重要性。
进一步的，α＝0.8、β＝0.06、γ＝0.05。
进一步的，θ＝0.004，δ＝0.7。
本发明提供的基于SF-Cycle-Dehaze神经网络的火场去烟方法，融合了非学习图像处理技术和学习图像处理技术，由图像预处理单元和图像学习处理单元两部分组成。该方法针对输入图像曝光过高和曝光过低的两种像素灰度值集合，采用两种亮度转换函数构造虚拟的曝光图像，再通过高低频信息进行多曝光图像融合，有效解决了火场背景成像中所遇到的图像光照不匀、含鬼影等问题，大幅度提高图像学习处理单元的训练效能，并增强了图像去烟雾的效果。此外，本发明的图像学习处理单元在传统的Cycle-Dehaze神经网络的基础上，设计针对烟雾特征增强的动态密集残差块(SRDB)，并引入CBAM注意力机制，提高了对图像有关域和无关域的划分精度。同时，为了更好的解决目前神经网络去烟雾图像重建中存在的颜色失真、纹理模糊问题，本发明在原有损失函数的基础上，引入颜色损失函数，增强了SF-Cycle-Dehaze生成器和判别器中的色彩辨识能力，改善了目前主流模型的去烟图像重建能力。最后，为实现森林火灾预警应急背景下高速的响应需求，图像进入非学习处理单元前将经过双三次向下缩放，处理完成后又将经过拉普拉斯金字塔向上采样复原。以256*256的低分辨率进行图像学习处理，极大缩短了火场图像去烟时间，为火灾研判争取宝贵时间。
本发明实现了森林火灾灾情的实时获取，为火势分析模型的各项特征提取提供了有力支持，并有助于森林火灾发展趋势的精准把控和态势预测，以便进行火灾预防和抢险措施，最大化降低人员伤亡和财产损失。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于改进Cycle-Dehaze神经网络火场烟雾去除方法的流程示意图；
图2是本发明提供的“结合虚拟多曝光技术和金字塔高低频图像融合技术的图像预处理方法”示意图；
图3是本发明提供的SF-Cycle-Dehaze神经网络生成器网络结构示意图；
图4是本发明提供的SF-Cycle-Dehaze神经网络生成器网络参数示意图；
图5是本发明提供的SF-Cycle-Dehaze神经网络判别器网络结构示意图；
图6是本发明提供的特征增强密集残差块(SRDB)结构示意图；
图7是本发明的基于改进Cycle-Dehaze的图像生成方法与现有技术的图像生成效果对比图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对现有的火场图像去烟模型普遍存在颜色失真、光照不匀、纹理细节模糊等缺陷，本发明提供一种基于改进Cycle-Dehaze神经网络的单幅图像烟雾去除方法，用以解决现有技术中森林火灾监测中存在的烟雾遮挡范围大，火势特征提取效果差，图像处理效率低等缺陷。
本发明提供一种结合虚拟多曝光技术和金字塔高低频图像融合技术的图像预处理方法和一种基于改进Cycle-Dehaze神经网络的火场去烟模型(Smoke-Focused-Cycle-Dehaze，以下简称SF-Cycle-Dehaze)。图1为本发明总体流程示意图。第一方面，本发明提供一种结合虚拟多曝光技术和金字塔高低频图像融合技术的图像预处理方法，包括：
步骤1：利用无人机、森林高塔、光学遥感卫星等设备获取目标森林火灾实时含烟图，输入图像预处理单元。
步骤2：将输入的单张未处理图像由RGB颜色空间映射到HSV颜色空间，分离并获取图像的色调分量图像H、亮度分量图像V和饱和度分量图像S，并对亮度分量图像V进行自设计虚拟多曝光处理。具体实现包括以下子步骤：
步骤2.1：获取输入亮度分量图像V中曝光过高和曝光不足的像素灰度值集合，并定义图中两种灰度值集合为：
Q1为图像中曝光过高的像素灰度值集合，Q2为图像中曝光过低的像素灰度值集合。V(x)代表输入图像的总像素集合，J(x)为图像V的光照分量图。σ1、σ2为森林火灾场景下区分曝光过度和曝光不足的灰度阈值。经实验效果对比：σ1取0.8，σ2取0.25时像素的区分效果最好。
步骤2.2：设m为图像曝光比，E为亮度分量图像V的原始曝光量，E′为不同曝光量，则有E′＝mE。针对亮度分量图像V，采用基于图像信息熵和平均梯度最大化的计算原则，分别计算亮区域和暗区域像素集合的两种最佳曝光比mchog和mchof。
图像信息熵：
平均梯度最大化：
最佳曝光比：
上述公式中J为图像灰度级总级数，pi表示图像I中某区域灰度出现的概率，M*N为图像大小，I(x，y)为图像在像素点(x，y)处的像素值。
步骤2.3：针对待处理亮度分量图像V中较亮区域和较暗区域像素灰度值集合，定义根据曝光比mchog和mchof生成虚拟曝光图像V1、V2的两种亮度转换函数g和f：
其中V1为增强曝光图像，V2为减弱曝光图像。考虑到亮度转换函数在输入图像亮度值较大时会产生截断而产生亮区丢失，而对输入图像亮度值较小区域进行盲目曝光会丢失原有的细节纹理特征，因而详细定义增强曝光亮度转换函数g和减弱曝光亮度转换函数f：
上述式中(γ，ε)为强曝曲线阈值分隔点，(γ′，ε′)为弱曝曲线阈值分割点。mchog与mchof为步骤2.1.1中所得的两种最佳曝光比；a，b为常规亮度转换曲线参数，取值保留为-0.368和1.147。而参数a′和b′为该亮度函数曲线经过(γ，ε)点和(1，1)两点联合求解所得。步骤2.4：将未处理含烟火灾图像的亮度分量图V分别代入两种亮度映射函数g和f，进行增强曝光处理和减弱曝光处理，得到增强曝光影像V1和减弱曝光影像V2。
步骤3：对于产生的虚拟多曝光图像，先在空间上实现多曝光图像的对齐，再分别利用现有的基于权值平均的方法和基于拉普拉斯金字塔的方法进行多图像低频和高频的信息融合。
步骤4：经过多虚拟曝光图像的融合后，得到经过图像预处理后的含烟火场图像，此时图像的非均匀亮度问题、图像边缘含阴影问题、无人机图像鬼影问题均得到一定解决。上述提供的“结合虚拟多曝光技术和金字塔高低频图像融合技术的图像预处理方法”示意图如图2所示。
第二方面，本发明还提供一种基于改进Cycle-Dehaze(Smoke-Focused-Cycle-Dehaze，下述简称为：SF-Cycle-Dehaze)的火场图像去烟神经网络，神经网络的具体搭建过程包括：
步骤1：收集具有信息相关性的类似室外场景火灾含烟图和清晰无烟图片作为网络训练数据集，数据来源包括网上开源图片数据库以及自建图片数据集，并对所有图片做上述提及的非学习预处理过程，得到诸多待训练图像。
SF-Cycle-Dehaze神经网络由两个生成器(G、F)和两个判别器(Px、Py)组成。其中假设X为含烟图像区域，Y为清晰图像区域，G实现从X→Y域映射的生成器，F实现从Y→X映射的生成器，(Px、Py)为对应域的鉴别器，用来判断图像是真是假，即鉴定网络的去烟效能。本网络的训练过程由含烟图像和无烟图像对抗训练组成，由于含烟训练和无烟训练流程相同，所用判别器和生成器结构基本相同，仅是使用顺序有差别。因此，以下只针对含烟图像F训练过程作分析。
步骤2：将图像F经连续双三次降尺度下采样操作，得到分辨率为256*256大小的低分辨率含烟火场图F′，以降低图像在学习处理单元中的处理复杂度，为火灾研判争取宝贵时间。当输入图像的大小不确定时，SF-Cycle-Dehaze神经网络会先将其缩放到一个合适的大小，然后再进行三次下采样以得到256*256的大小。
具体的，当输入的图像大小大于256*256时，SF-Cycle-Dehaze会将其缩放到一个比256*256稍大的比例，例如512*512。然后，网络会进行自适应次数的下采样操作以得到256*256大小的图像。在这个过程中，网络使用的下采样方式是步长卷积，它可以有效地降低图像的分辨率并减小图像的尺寸。当输入的图像小于256*256时，网络会先将其进行上采样操作以得到一个稍大的图像，然后再进行自适应次数的下采样操作以得到256*256大小的图像。在这个过程中，SF-Cycle-Dehaze网络使用的上采样方式是双线性插值，它可以将图像的大小扩大到所需的大小。然后再使用步长卷积进行下采样操作，以得到256*256大小的目的图像。最后将F′输入SF-Cycle-Dehaze神经网络。
优选的，SF-Cycle-Dehaze神经网络生成器结构示意图如图3所示。SF-Cycle-Dehaze生成器由一个卷积核大小为9*9，步长为1的Layer1层；两个卷积核大小为3*3，步长为3的Layer2和Layer3层；两个含动态卷积核的SF特征增强密集残差块(SRDB)；一个卷积核大小为3*3，步长为1的Deconvolution层；一个卷积核大小为3*3，步长为3的Deconvolution层和一个卷积核大小为9*9，步长为1的Layer4层构成。生成器参数示意图如图4所示。
优选的，SF-Cycle-Dehaze神经网络判别器网络结构示意图如图5所示。SF-Cycle-Dehaze判别器由两个“Cov+LeakREU”层(卷积层和激活函数层)、一个跳跃连接层、两个“Cov+LeakREU”层(卷积层和激活函数层)和一个“Cov+Sigmoid”层(卷积层和激活函数层)构成。鉴别器用来判断输入图像是生成图像还是真实图像，从而促使图像更加真实。
步骤3：获取从图像预处理单元中输出的低分辨率的含烟图像F′，输入SF-Cycle-Dehaze的生成器G中，图像将分别经过步骤2所述Layerl、Layer2、和Layer3的卷积和激活操作，再输入SF特征增强密集残差块。
具体的，SF(Smoke-Focused)特征增强密集残差块(SRDB)为SF-Cycle-Dehaze的核心模块，其采用动态密集残差块和CBAM注意力机制模块相耦合的机制，实现了图像特征的跨层融合和图像烟雾无关域和有关域精准区分，特征增强密集残差块(SRDB)结构示意图如图6所示。动态密集残差块由三个动态卷积子模块和一个动态卷积层组成，而CBAM注意力机制模块由CAM通道注意力模块和SAM空间注意力模块组成。
更具体的，动态卷积子模块含有动态卷积层、BN层和ReLU激活函数层。其中动态卷积层操作在不增加网络深度和宽度的基础上，仅增加较少的模型复杂度，达到了对给定的不同样本动态调整卷积核，以适应样本多样性的目的。对于复杂多变的有烟场景，动态卷积可以对烟雾分布不均匀的有烟图像分配差异权重，自适应地生成和修正相应的卷积核大小，增强模型的灵活性和泛化能力，增强模型的灵活性和泛化能力，并减少了神经网络输入的参数数量，提高了网络的计算效率，节省了时间成本。动态卷积的过程可简单表示为：
动态卷积的过程可简单表示为：
Ai＝sigmoid(f(Si))
上述的A为权重获取操作，S为图像经过Layer3静态卷积后获取的张量，Si为张量的第i个位置的特征映射，f是采用全连接层实现的非线性变换函数，C为动态卷积操作，W(x)表示样本自适应生成的卷积核参数，K表示权重个数，Ak(x)表示第k个注意力权值，Wk表示第k个卷积核参数。
动态卷积层有效避免了传统卷积层依据输入调整映射关系的弊端，提高了特征提取性能。
步骤4：获取图像在动态密集残差块的输出，输入CBAM注意力机制模块中。
步骤5：获取图像在两个SF特征增强密集残差块(SRDB)的输出，输入两个Deconvolution层和一个Layer4层进行反卷积操作。完成后图像将输出生成器模块，此时图像为经生成器生成的无烟图像。
步骤6：图像进入判别器模块Px。判别器的第一、第二、第四、第五层使用卷积提取图像的输出图像特征，第六层用sigmoid函数输出判断结果。判断生成图像是否真实地符合真实样本分布，若是真实图像则输出为1，若是生成图像则输出为0，当网络达到动态平衡时输出为0.5；
以上为含烟图像样本的训练过程，使用的是生成器G和判别器Px。无烟图像的训练过程为：无烟图像经过生成器F生成有烟图像，并经过判别器Py进行真实性判断。总之，有烟样本和无烟样本循环对抗训练，根据判别器结果不断调整网络参数，从而提高神经网络的最终去烟效能。
步骤7：SF-Cycle-Dehaze的损失函数实现了对抗损失、循环一致性误差函数和颜色损失函数的结合。优选的，为更好地克服火场背景下高温热浪和湍流对图像颜色的影响以及传统Cycle-Dehaze网络图像重建时所带有的色彩失真问题，本发明在判别器中特别引入颜色损失函数LSSIM：
LSSIM＝((I(x，y))α*(C(x，y))β*(S(x，y))γ)
其中：
上述公式中μ代表均值，σ代表标准差，x、y为图像的像素坐标，σxy代表x和y的协方差，c1-c6均为防止分母为0的常数，I(x，y)、C(x，y)、S(x，y)分别为图像的亮度信息、对比度信息和结构信息，α、β、γ为权重系数，用于平衡亮度、对比度和结构的重要性。经过20000轮训练分批量结果对比，当α＝0.8、β＝0.06、γ＝0.05时颜色保留效果较好。
至此，SF-Cycle-Dehaze神经网络的整体损失函数由对抗损失函数、循环一致性误差函数和颜色损失函数构成，数学模型为：
L′total＝LGAN(G，Py，X，Y)+LGAN(F，Px，Y，X)+θLcyc(G，F)+δLSSIM
上式中Lcyc(G，F)、LGAN(F，Px，X，Y)、LGAN(G，Py，X，Y)为传统cycle-dehaze神经网络的损失函数。其中LGAN(F，Px，X，Y)和LGAN(G，Py，X，Y)表示组成SF-Cycle-Dehaze两个对抗损失函数，Lcyc(G，F)是循环一致性误差函数。其中损失函数中的X、Y表示的是真实图像集合，X为真实的含烟训练样本，而Y为真实的无烟训练样本。θ、δ为循环一致性损失和颜色损失函数的权重。损失函数参数取值为：θ＝0.004，δ＝0.7。
总之，在真实的处理过程中，SF-Cycle-Dehaze神经网络将获取经图像预处理后的含烟火场图像F，对其进行双三次向下缩放得到分辨率为256*256的低分辨率火场含烟图像，以提高图像处理速度，争取救援时间。待图像经神经网络处理完成后，将对其进行拉普拉斯金字塔简单上采样，恢复为与原始图像分辨率大小的高分辨率火场无烟图像，并作为最终结果进行输出。
更具体的，获取分辨率为256*256的低分辨率无烟图像F″，将其进行拉普拉斯金字塔的简单上采样操作。为了减少降尺度和升尺度过程中图像质量的下降，本发明沿用了传统Cycle-Dehaze利用了利用高分辨率朦胧图像创建的拉普拉斯金字塔。为了得到高分辨率去烟图像，采用去烟的低分辨率图像来改变拉普拉斯金字塔的顶层，并像往常一样进行了拉普拉斯升级处理。最后得到分辨率与原始图大小相等的高分辨率火场无烟图像。
第三方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时可完整实现如上所述的森林火灾图像去烟方法。
实验分析：
实验环境配置：
CPU：Intel Core i7-8700K@3.7GHz；GPU：NVIDIA GeForce GTX 1080 Ti 11GBGDDR5X；操作系统：Ubuntu 18.04 LTS；深度学习框架：PyTorch 1.9.0图像处理库：OpenCV4.5.2；其他依赖项：NumPy、SciPy、Matplotlib等。
实验数据集及训练参数：
采用使用公开的RESIDE SOTS室外雾霾图像数据集(共有1265张图像)、IHAZY公开数据集中的室外图像部分、OHAZY公开数据集中的室外图像部分和北亚利桑那大学开放的一个基于航拍图像的森林火情数据集FLAME共四个数据集进行网络训练，其中80％用于训练，10％用于验证，10％用于测试。
实验参数：训练参数：学习率为0.0001，动量为0.9，训练轮数为20000次，批量大小为16，模型结构：SF-Cycle-Dehaze神经网络模型；
实验结果比较：
本发明采用峰值信噪比(PSNR)和结构相似性(SSIM)评估去除烟雾后的图像质量。为评估本算法的性能，将其与一些主流的去雾算法模型进行比较，比较算法为：De-hazeNet、传统Cycle-Dehaze和Cycle-GAN。比较结果如下表所示。
表1为IHAZY数据集的PSNR/SSIM评价指标对比：
表2为OHAZY数据集的PSNR/SSIM评价指标对比：
表3为SOTS室外(Outdoor)部分的PSNR/SSIM评价指标对比：
表4为FLAME数据集的PSNR/SSIM评价指标对比：
实验总结：
所得De-hazeNet的室外去烟雾图像存在不同程度的烟雾残留，饱和度较原始图像较高；而传统的Cycle-dehaze算法虽然室内去烟雾效果较好，对于室外数据集的训练效果一般，仍存在少量烟雾残留，并存在颜色失真、边缘阴影现象；而Cycle-Gan去烟图像的饱和度过高，并在室外含大量天空的图像和含密集林叶的图像的训练中，存在图像失真和颜色失真现象。本发明算法将图像经图像预处理单元消除了阴影，并增强了光照不匀区域。经SF-Cycle-Dehaze神经网络去烟后，以上算法出现的问题均得到有效改善，无论纹理细节还是色彩保留均优于以上算法。基于SF-Cycle-Dehaze的图像生成方法与现有技术的图像生成效果对比图如图7所示。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种基于改进Cycle-Dehaze神经网络的火灾图像烟雾去除方法，其特征在于，包括如下步骤：
步骤1，收集具有信息相关性的类似室外场景火灾含烟图像和清晰无烟图像作为网络训练数据集，并对所有图像进行预处理；
步骤2，构建和训练火场图像去烟神经网络，具体包括如下步骤：
步骤2.1，将预处理后的含烟图像经连续双三次降尺度下采样操作，得到低分辨率含烟火场图F′；
步骤2.2，构建SF-Cycle-Dehaze神经网络，并将F′输入SF-Cycle-Dehaze神经网络；
所述SF-Cycle-Dehaze神经网络是基于Cycle-Dehaze神经网络的改进，由两个生成器(、F)和两个判别器(Px、Py)组成，其中设置X为含烟图像，Y为清晰无烟图像，G实现从X→Y域映射的生成器，F实现从Y→X映射的生成器，(Px、Py)为对应域的鉴别器，用来判断图像是真是假，即鉴定网络的去烟效能；
步骤2.3，将含烟图像F′输入到生成器G生成无烟图像，然后通过判别器Px进行真实性判断；
步骤2.4，将预处理后的清晰无烟图像经过生成器F生成有烟图像，并经过判别器Py进行真实性判断，含烟图像样本和清晰无烟图像样本循环对抗训练，根据判别器结果不断调整神经网络参数，从而提高神经网络的最终去烟效能；
步骤3，在真实的处理过程中，将经过图像预处理后的含烟火场图像进行双三次向下缩放得低分辨率火场含烟图像，输入到训练好的SF-Cycle-Dehaze神经网络中，待图像经神经网络处理完成后，将对其进行拉普拉斯金字塔简单上采样，恢复为与原始图像分辨率大小的高分辨率火场无烟图像，并作为最终结果进行输出。
2.如权利要求1所述一种基于改进Cycle-Dehaze神经网络的火灾图像烟雾去除方法，其特征在于：步骤1中预处理的具体实现步骤如下；
步骤1.1，将输入的单张未处理图像由RGB颜色空间映射到HSV颜色空间，分离并获取图像的色调分量图像H、亮度分量图像V和饱和度分量图像S，并对亮度分量图像V进行虚拟多曝光处理，具体实现方式如下：
步骤1.1.1，获取输入亮度分量图像V中曝光过高和曝光不足的像素灰度值集合，并定义图中两种灰度值集合为：
Q1为图像中曝光过高的像素灰度值集合，Q2为图像中曝光过低的像素灰度值集合，V(x)代表输入图像的总像素集合，J(x)为图像V的光照分量图。σ1、σ2为森林火灾场景下区分曝光过度和曝光不足的灰度阈值；
步骤1.1.2，设m为图像曝光比，E为亮度分量图像V的原始曝光量，E′为不同曝光量，则有E′＝mE，针对亮度分量图像V，采用基于图像信息熵和平均梯度最大化的计算原则，分别计算亮区域和暗区域像素集合的两种最佳曝光比mchog和mchof；
图像信息熵：
平均梯度最大化：
最佳曝光比：
上述公式中J为图像灰度级总级数，pi表示图像I中某区域灰度出现的概率，M*N为图像大小，I(x,y)为图像在像素点(,y)处的像素值；
步骤1.1.3，针对待处理亮度分量图像V中亮区域和暗区域像素灰度值集合，定义根据曝光比mchog和mchof生成虚拟曝光图像V1、V2的两种亮度转换函数g和f：
其中V1为增强曝光图像，V2为减弱曝光图像，考虑到亮度转换函数在输入图像亮度值较大时会产生截断而产生亮区丢失，而对输入图像亮度值较小区域进行盲目曝光会丢失原有的细节纹理特征，因而详细定义增强曝光亮度转换函数g和减弱曝光亮度转换函数f：
g：
f:
上述式中(,ε)为强曝曲线阈值分隔点，(′,′)为弱曝曲线阈值分割点，mchog与mchof为步骤1.1.2中所得的两种最佳曝光比；a，b为常规亮度转换曲线参数，参数a′和b′为亮度函数曲线经过(γ,ε)点和(1,1)两点联合求解所得；
步骤1.2，将未处理含烟火灾图像分别代入针对图像过曝元素集合和欠曝元素集合的两种亮度转换函数g和f，对亮度分量图像V进行增强曝光处理和减弱曝光处理，得到增强曝光影像V1和减弱曝光影像V2；
步骤1.3，对于输入的多曝光图像，先在空间上实现多曝光图像的对齐，再分别利用基于权值平均的方法和基于拉普拉斯金字塔的方法进行多图像低频和高频的信息融合；
步骤1.4，经过多虚拟曝光图像的融合后，得到经过图像预处理后的含烟图像。
3.如权利要求1所述一种基于改进Cycle-Dehaze神经网络的火灾图像烟雾去除方法，其特征在于：
SF-Cycle-Dehaze中的两个生成器的结构相同，均由一个卷积核大小为9*9，步长为1的Layer1层；两个卷积核大小为3*3，步长为3的Layer2和Layer3层；两个含动态卷积核的SF特征增强密集残差块SRDB；一个卷积核大小为3*3，步长为1的Deconvolution层；一个卷积核大小为3*3，步长为3的Deconvolution层和一个卷积核大小为9*9，步长为1的Layer4层构成。
4.如权利要求1所述一种基于改进Cycle-Dehaze神经网络的火灾图像烟雾去除方法，其特征在于：
SF-Cycle-Dehaze中的两个判别器的结构相同，均由两个“卷积和激活函数LeakREU”层、一个跳跃连接层、两个“卷积和激活函数LeakREU”层和一个“卷积和激活函数Sigmoid”层构成。
5.如权利要求3所述一种基于改进Cycle-Dehaze神经网络的火灾图像烟雾去除方法，其特征在于：
SF特征增强密集残差块，采用动态密集残差块和CBAM注意力机制模块相耦合的机制，动态密集残差块由三个动态卷积子模块和一个动态卷积层组成，而CBAM注意力机制模块由CAM通道注意力模块和SAM空间注意力模块组成；
具体的，动态卷积子模块含有动态卷积层、BN层和ReLU激活函数层，动态卷积的过程可简单表示为：
Ai＝sigmoid((i))
上述的A为权重获取操作，S为图像经过Layer3静态卷积后获取的张量，Si为张量的第i个位置的特征映射，f是采用全连接层实现的非线性变换函数，C为动态卷积操作，W(x)表示样本自适应生成的卷积核参数，K表示权重个数，Ak()表示第k个注意力权值，Wk表示第k个卷积核参数。
6.如权利要求1所述一种基于改进Cycle-Dehaze神经网络的火灾图像烟雾去除方法，其特征在于：循环对抗训练过程中采用的损失函数包括：对抗损失函数、循环一致性误差函数和颜色损失函数，数学模型为：
L′total＝LGAN(G,Py,X,Y)+LGAN(F,Px,Y,X)+θLcyc(G,F)+δLSSIM
上式中Lcyc(G,F)、LGAN(F,Px,X,Y)、LGAN(G,Py,X,Y)为传统cycle-dehaze神经网络的损失函数；其中LGAN(F,Px,X,Y)和LHAN(G,Py,X,Y)表示组成SF-Cycle-Dehaze两个对抗损失函数，Lcyc(G,F)是循环一致性误差函数，LSSIM表示颜色损失函数；其中损失函数中的X、Y表示的是真实图像集合，X为真实的含烟训练样本，而Y为真实的无烟训练样本，、δ为循环一致性损失和颜色损失函数的权重。
7.如权利要求6所述一种基于改进Cycle-Dehaze神经网络的火灾图像烟雾去除方法，其特征在于：颜色损失函数LSSIM的表示如下；
LSSIM＝((I(x,y))α*(C(x,y))β*(S(x,y))γ)
其中：
上述公式中μ代表均值，σ代表标准差，x、y为图像的像素坐标，σxy代表x和y的协方差，c1-c6均为防止分母为0的常数，I(x,y)、C(x,y)、S(x,y)分别为图像的亮度信息、对比度信息和结构信息，α、β、γ为权重系数，用于平衡亮度、对比度和结构的重要性。
8.如权利要求7所述一种基于改进Cycle-Dehaze神经网络的火灾图像烟雾去除方法，其特征在于：α＝0.8、β＝0.06、γ＝0.05。
9.如权利要求6所述一种基于改进Cycle-Dehaze神经网络的火灾图像烟雾去除方法，其特征在于：θ＝0.004，δ＝0.7。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310378526.2A CN116433518A (zh) | 2023-04-04 | 2023-04-04 | 一种基于改进Cycle-Dehaze神经网络的火灾图像烟雾去除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310378526.2A CN116433518A (zh) | 2023-04-04 | 2023-04-04 | 一种基于改进Cycle-Dehaze神经网络的火灾图像烟雾去除方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116433518A true CN116433518A (zh) | 2023-07-14 |
Family
ID=87092187
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310378526.2A Pending CN116433518A (zh) | 2023-04-04 | 2023-04-04 | 一种基于改进Cycle-Dehaze神经网络的火灾图像烟雾去除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116433518A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116612336B (zh) * | 2023-07-19 | 2023-10-03 | 浙江华诺康科技有限公司 | 内窥镜图像烟雾分类方法、装置、计算机设备和存储介质 |
| CN117173141A (zh) * | 2023-09-11 | 2023-12-05 | 山东博昂信息科技有限公司 | 一种基于火焰图像特征的冶炼观测系统 |
-
2023
- 2023-04-04 CN CN202310378526.2A patent/CN116433518A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116612336B (zh) * | 2023-07-19 | 2023-10-03 | 浙江华诺康科技有限公司 | 内窥镜图像烟雾分类方法、装置、计算机设备和存储介质 |
| CN117173141A (zh) * | 2023-09-11 | 2023-12-05 | 山东博昂信息科技有限公司 | 一种基于火焰图像特征的冶炼观测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2709661C1 (ru) | Обучение нейронных сетей для обработки изображений с помощью синтетических фотореалистичных содержащих знаки изображений | |
| Zhang et al. | Single image defogging based on multi-channel convolutional MSRCR | |
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN110675336A (zh) | 一种低照度图像增强方法及装置 | |
| CN112669242A (zh) | 基于改进图像增强算法与生成对抗网络的夜景复原方法 | |
| CN107798661B (zh) | 一种自适应的图像增强方法 | |
| CN110148088B (zh) | 图像处理方法、图像去雨方法、装置、终端及介质 | |
| Wang et al. | Enhancement for dust-sand storm images | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN116456183B (zh) | 一种事件相机引导下的高动态范围视频生成方法及系统 | |
| CN116596792B (zh) | 一种面向智能船舶的内河雾天场景恢复方法、系统及设备 | |
| Yuan et al. | Single image dehazing via NIN-DehazeNet | |
| CN115880177A (zh) | 聚合上下文和增强细节的全分辨率低照度图像增强方法 | |
| CN116433518A (zh) | 一种基于改进Cycle-Dehaze神经网络的火灾图像烟雾去除方法 | |
| Kaur | A review on image enhancement with deep learning approach | |
| CN111768326A (zh) | 一种基于gan扩增图像前景物体的高容量数据保护方法 | |
| Huang et al. | Single image desmoking via attentive generative adversarial network for smoke detection process | |
| Chen et al. | Improving dynamic hdr imaging with fusion transformer | |
| Kim et al. | Detail restoration and tone mapping networks for x-ray security inspection | |
| CN116452511B (zh) | 钻爆法隧道掌子面围岩级别智能判识方法、装置及介质 | |
| CN117058019A (zh) | 一种基于金字塔增强网络的低光照下目标检测方法 | |
| CN115358952B (zh) | 一种基于元学习的图像增强方法、系统、设备和存储介质 | |
| Kumar et al. | Underwater image enhancement using deep learning | |
| CN115908176A (zh) | 基于事件流和彩色图像融合的不均匀照明图像增强方法 | |
| CN113256528B (zh) | 基于多尺度级联深度残差网络的低照度视频增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |