CN112767275B - 一种基于人工稀疏标注信息引导的单张图像去雾方法 - Google Patents
一种基于人工稀疏标注信息引导的单张图像去雾方法 Download PDFInfo
- Publication number
- CN112767275B CN112767275B CN202110095446.7A CN202110095446A CN112767275B CN 112767275 B CN112767275 B CN 112767275B CN 202110095446 A CN202110095446 A CN 202110095446A CN 112767275 B CN112767275 B CN 112767275B
- Authority
- CN
- China
- Prior art keywords
- image
- defogging
- foggy
- images
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000012549 training Methods 0.000 claims abstract description 43
- 230000008569 process Effects 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 9
- 239000002131 composite material Substances 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 14
- 230000002452 interceptive effect Effects 0.000 abstract description 5
- 230000000694 effects Effects 0.000 description 9
- 238000002372 labelling Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于人工稀疏标注信息引导的单张图像去雾方法，包括步骤：一、构建图像训练样本集；二、设计去雾网络对单张的有雾图像去雾；三、计算去雾图像的损失目标函数；四、更新权重参数集合；五、调取新的一组样本图像，循环步骤二至四直到停止训练，确定去雾网络；六、单张实际有雾图像去雾。本发明利用人工稀疏标注作为先验信息，可针对不同场景提供不同类型的标注，使去雾网络可支持交互式的图像去雾，通过人工稀疏标注先验不仅可以减少对大量成对训练样本的需求，使去雾模型在人工先验的引导下更好地适应其他场景，增强模型的泛化性能，能够利用人工稀疏标注信息作为额外知识，并结合数据驱动学习引导实现单张图像去雾。
Description
技术领域
本发明属于单张图像去雾技术领域，具体涉及一种基于人工稀疏标注信息引导的单张图像去雾方法。
背景技术
在雾、霾之类的恶劣天气下采集的图像会由于大气散射的作用出现质量退化现象,使图像颜色偏灰白色,对比度降低,物体特征难以辨认,不仅使视觉效果变差,图像观赏性降低,还会导致图像内容的理解出现偏差。图像去雾就是指用特定的方法和手段,使空气中悬浮微粒对图像的不良影响降低甚至消除。单张图像去雾是指在只有一张有雾图像的条件下，对其进行去雾处理得到清晰的图像。本专利涉及的图像去雾方法是指通过人工输入的有雾图像显著颜色点或者雾霾程度的稀疏标注，并利用这些稀疏标注作为辅助信息引导生成无雾图像。
目前单张图像去雾方法主要分为三大类：第一类是基于图像增强的方法,第二类是基于物理模型的方法,第三类是基于深度学习的方法。
基于图像增强的方法的本质是对被降质的图像进行增强,改善图像的质量。比如常见的直方均衡、对数变换、幂律变换、锐化、小波变换等。通过这些方法增强图像的对比度或突出图像的特征。与常见的对比度增强方法不同，另一种常见的图像增强的方法是基于颜色恒常性和视网膜皮层理论的Retinex方法。该方法将图像分解为本质图像与照度图像的乘积，从而消除因为受雾霾遮挡的光照因素对图像成像的影响。Retinex方法比传统的对比度提升方法相比，其得到的去雾图像具有更好的局部对比度，颜色失真较小。但由于Retinex方法本身也是一个病态问题，只能进行近似估计，因而也在一定程度上影响了图像去雾效果。
基于物理模型的方法利用大气散射模型(I＝JT+(1-T)A，其中I表示有雾图像，J表示无雾图像)分别估计场景介质透视率T与全局大气光照A，从而得到清晰的无雾图像。然而在只有单张有雾图像条件下，估计T和A也是一个病态问题，只能进行近视估计。利用大气散射模型将有雾图像恢复到无雾图像的方法,总体上可以分为三类:第1类是基于深度信息的方法；第2类是基于大气光偏振特性的去雾算法；第3类是基于先验知识的方法。前两类方法通常都需要人工配合，才能得到较好的结果，而第3类方法是目前比较常见的方法，比如基于暗通道统计先验的方法，基于颜色统计先验的方法。这些方法由于是通过统计信息得到的知识，并不能适应所有场景，如基于暗通道先验知识的方法对天空等较亮的区域估计透视系统就会出现偏差，导致去雾后的图像整体偏暗。
基于深度学习的方法利用人工合成的有雾图像数据集和卷积神经网络等技术来实现去雾，具体分为两类：(1)是利用深度神经网络表示大气散射模型，自动学习并估计出对应的T和A。与基于先验知识等方法估计透视系数与大气光照不同，这类方法主要从数据进行学习，从而克服了部分先验知识的偏差，但这类方法通常需要已知场景深度才能合成得到T，以便进行监督学习；(2)在不对T和A作任何假设或者估计的基础上，直接将去雾过程视为图像的变换或者是图像合成。基于图像合成的方法通常利用对比度增强、白平衡等方法对有雾图像进行预处理，然后再通过神经网络学习权重函数，以便融合预处理之后的图像，从而实现去雾。但这种方法容易对预处理图像有较强的依赖性，并且单帧图像处理时间较长。基于图像变换的方法直接利用神经网络学习有雾图像与无雾图像之间的非线性变换函数，从而得到无雾图像。但这种方法因为缺乏真实场景的对照，因而对数据的依赖性非常强。上述方法在模型训练时，需要利用已知深度的图片合成训练数据集，但这些合成数据并不能覆盖实际应用中的各种有雾场景，因而应用于一些浓雾场景或没有相似训练数据的场景时效果比较差，其主要原因是去雾模型缺乏有效的先验信息引导。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于人工稀疏标注信息引导的单张图像去雾方法，利用人工稀疏标注作为先验信息，可针对不同场景提供不同类型的标注，使去雾网络可支持交互式的图像去雾，通过人工稀疏标注先验不仅可以减少对大量成对训练样本的需求，而且可以使去雾模型在人工先验的引导下更好地适应其他场景，增强模型的泛化性能，能够利用人工稀疏标注信息作为额外知识，并结合数据驱动学习引导实现单张图像去雾，便于推广使用。
为解决上述技术问题，本发明采用的技术方案是：一种基于人工稀疏标注信息引导的单张图像去雾方法，其特征在于，该方法包括以下步骤：
步骤一、构建图像训练样本集，过程如下：
步骤101、利用大气散射模型和清晰图像Xi合成不同雾霾程度的有雾图像Yi，其中，i为图像编号且i＝1,2,...,N，N为清晰图像的总数量且N不小于1000；
步骤102、对有雾图像Yi按照区域划分进行人工标识，以255表示雾霾最严重，0表示无雾霾，获取人工标识图像Mi；
步骤103、将清晰图像Xi、有雾图像Yi、人工标识图像Mi合并，形成图像训练样本集{Xi,Yi,Mi}，其中，图像训练样本集{Xi,Yi,Mi}中编号相同的清晰图像、有雾图像和人工标识图像为一组样本图像；
步骤二、设计去雾网络对单张的有雾图像去雾，过程如下：
步骤201、在步骤一中的图像训练样本集中随机提取一组样本图像，利用编码器对该组样本图像中有雾图像进行编码，得到有雾图像尺寸1/16的特征图f1/16，其中，有雾图像尺寸1/16的特征图f1/16的特征维度为512，所述编码器包括多个卷积块，所述卷积块包括卷积层、批归一化处理以及激活函数；
通过共享参数，利用编码器对该组样本图像中人工标识图像进行编码，得到人工标识图像尺寸1/16的特征图
其中，人工标识图像尺寸1/16的特征图
的特征维度为512；
步骤202、对有雾图像尺寸1/16的特征图f1/16和人工标识图像尺寸1/16的特征图
进行叠加得到复合特征fconcat，对复合特征fconcat进行1×1卷积降维，得到维度为512的融合特征
步骤203、对维度为512的融合特征
进行反卷积得到特征维度为256且分辨率为原图像尺寸1/8的反卷积特征图
步骤204、对有雾图像尺寸1/16的特征图f1/16进行反卷积得到特征维度为256的有雾图像尺寸1/8的特征图f1/8，对人工标识图像尺寸1/16的特征图
进行反卷积得到特征维度为256的人工标识图像尺寸1/8的特征图
将反卷积特征图
有雾图像尺寸1/8的特征图f1/8和人工标识图像尺寸1/8的特征图
进行叠加并反卷积，得到特征维度为128且分辨率为原图像尺寸1/4的反卷积特征图
步骤205、对有雾图像尺寸1/8的特征图f1/8进行反卷积得到特征维度为128的有雾图像尺寸1/4的特征图f1/4，对人工标识图像尺寸1/8的特征图
进行反卷积得到特征维度为128的人工标识图像尺寸1/4的特征图
将反卷积特征图
有雾图像尺寸1/4的特征图f1/4和人工标识图像尺寸1/4的特征图
进行叠加并反卷积，得到特征维度为64且分辨率为原图像尺寸1/2的反卷积特征图
步骤206、对有雾图像尺寸1/4的特征图f1/4进行反卷积得到特征维度为64的有雾图像尺寸1/2的特征图f1/2，对人工标识图像尺寸1/4的特征图
进行反卷积得到特征维度为64的人工标识图像尺寸1/2的特征图
将反卷积特征图
有雾图像尺寸1/2的特征图f1/2和人工标识图像尺寸1/2的特征图
进行叠加并反卷积，得到特征维度为32且分辨率为原图像尺寸的去雾图像Id；
步骤三、根据公式
计算去雾图像Id的损失目标函数L，其中，L1为去雾图像Id与本组样本图像中清晰图像X之间的均方差损失，λ1为L1的权重，LSSIM为去雾图像Id与本组样本图像中清晰图像X之间的结构相似性损失，λ2为LSSIM的权重，去雾图像Id与本组样本图像中清晰图像X的尺寸相等，A为清晰图像X的长度方向的像素总数，B为清晰图像X的宽度方向的像素总数，a为清晰图像X的长度方向的像素编号且a＝1,2,...,A，b为清晰图像X的宽度方向的像素编号且b＝1,2,...,B，Xa,b为清晰图像X上像素坐标(a，b)位置处像素点的像素值，
为去雾图像Id上像素坐标(a，b)位置处像素点的像素值，SSIM(X,Id)为去雾图像Id与本组样本图像中清晰图像X之间的结构相似性函数，uX为清晰图像X的图像均值，
为去雾图像Id的图像均值，C1为第一常数，σX为清晰图像X的标准方差，
为去雾图像Id的标准方差，
为清晰图像X和去雾图像Id的协方差，C2为第二常数；
步骤四、更新权重参数集合：将去雾图像Id的损失目标函数L送入Adam优化器，对步骤二的去雾网络训练优化，更新去雾网络的权重参数集合；
步骤五、调取新的一组样本图像，循环步骤二至步骤四，直到训练达到预设训练步数或者损失值不再下降或损失值小于0.001即停止训练，此时，得到去雾网络的最终权重参数集合，并确定最终的去雾网络；
步骤六、单张实际有雾图像去雾：对单张实际有雾图像按照区域划分进行人工标识，获取单张实际有雾图像的人工标识图像，以单张实际有雾图像和其对应的人工标识图像作为输入，送入最终的去雾网络中进行前向推理得到单张实际有雾图像的去雾图像。
上述的一种基于人工稀疏标注信息引导的单张图像去雾方法，其特征在于：步骤三中，λ1为L1的权重且λ1取0.85，λ2为LSSIM的权重且λ2取1.1；第一常数C1取6.5，第二常数C2取58.53。
上述的一种基于人工稀疏标注信息引导的单张图像去雾方法，其特征在于：步骤五中，所述预设训练步数为10000～20000。
上述的一种基于人工稀疏标注信息引导的单张图像去雾方法，其特征在于：步骤201中，在图像训练样本集中随机提取一组样本图像，利用编码器对该组样本图像中有雾图像进行编码之前，对该组样本图像中有雾图像进行左右翻转或上下翻转的图像增强操作；在通过共享参数，利用编码器对该组样本图像中人工标识图像进行编码之前，对该组样本图像中人工标识图像进行左右翻转或上下翻转的图像增强操作。
本发明与现有技术相比具有以下优点：
1、本发明首先通过人工标注出有雾图像不同区域的雾霾浓度，然后将标注结果与有雾图像、无雾图像一同作为训练样本，对深度去雾模型进行学习训练，从而将人工稀疏标注中蕴含的雾霾信息用于引导无雾图像的生成，最后利用该模型可结合人工循环标注得到视觉质量更好的去雾图像，该方法在训练过程中利用数据驱动学习人工稀疏标注信息，可针对不同的人工标注结果得到不同质量的去雾结果，此外，结合人工标注可使模型在实际的雾霾场景中得到更好的去雾效果，增强了模型的泛化性能，便于推广使用。
2、本发明利用人工稀疏标注作为额外的引导信息，结合数据驱动的方式提取其蕴含信息，从而指导单张图像的去雾恢复，具备图像去雾效果好、场景适应能力强，并且可以对同一场景输出不同质量的去雾结果，还可支持人工循环校正去雾，可靠稳定，使用效果好。
3、本发明方法步骤简单，利用人工稀疏标注信息作为额外的标记信息，通过构建有多尺度特征融合的去雾网络，并利用像素均方差损失和结构相似性损失作为目标函数进行优化和监督学习，是一种全新的单张图像去雾思路，可生成多种去雾结果，还可适用于多种场景下不同雾霾程度的图像增强，为了进一步增强人工标注信息的引导能力，通过参数共享的编码器提取有雾图像与标注结果的共性特征，并结合多尺度特征融合提高解码过程中恢复去雾图像细节信息的能力，从而有效提升图像去雾效果，增强了模型的泛化能力，适用于图像的交互式编辑等具体应用，便于推广使用。
综上所述，本发明利用人工稀疏标注作为先验信息，可针对不同场景提供不同类型的标注，使去雾网络可支持交互式的图像去雾，通过人工稀疏标注先验不仅可以减少对大量成对训练样本的需求，而且可以使去雾模型在人工先验的引导下更好地适应其他场景，增强模型的泛化性能，能够利用人工稀疏标注信息作为额外知识，并结合数据驱动学习引导实现单张图像去雾，便于推广使用。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的方法流程框图。
具体实施方式
如图1所示，本发明的一种基于人工稀疏标注信息引导的单张图像去雾方法，包括以下步骤：
步骤一、构建图像训练样本集，过程如下：
步骤101、利用大气散射模型和清晰图像Xi合成不同雾霾程度的有雾图像Yi，其中，i为图像编号且i＝1,2,...,N，N为清晰图像的总数量且N不小于1000；
步骤102、对有雾图像Yi按照区域划分进行人工标识，以255表示雾霾最严重，0表示无雾霾，获取人工标识图像Mi；
步骤103、将清晰图像Xi、有雾图像Yi、人工标识图像Mi合并，形成图像训练样本集{Xi,Yi,Mi}，其中，图像训练样本集{Xi,Yi,Mi}中编号相同的清晰图像、有雾图像和人工标识图像为一组样本图像；
需要说明的是，在利用大气散射模型和清晰图像合成有雾图像的基础上，通过人工对有雾图像在空间中的雾霾程度进行标注(标注时主要关注区域级的划分，属于稀疏型标注)，从而构成带标注信息的训练样本集，人工标注可以是常见的点对、线对、规则矩形区域、不规则区域等形式，但标注结果以图像表示；然后在此基础上，通过构建参数共享的编码器，多尺度特征融合的解码器进行图像去雾，并以像素均方差损失与结构相似性损失作为目标函数进行联合训练，得到单张图像的去雾网络。训练完之后，利用有雾图像、人工标注信息，经过去雾网络进行前向推理之后即可得到最终的去雾结果。
需要说明的是，利用人工标识图像的雾霾程度，并以图像形式表征标识结果，用于训练去雾网络；
步骤二、设计去雾网络对单张的有雾图像去雾，过程如下：
步骤201、在步骤一中的图像训练样本集中随机提取一组样本图像，利用编码器对该组样本图像中有雾图像进行编码，得到有雾图像尺寸1/16的特征图f1/16，其中，有雾图像尺寸1/16的特征图f1/16的特征维度为512，所述编码器包括多个卷积块，所述卷积块包括卷积层、批归一化处理以及激活函数；
通过共享参数，利用编码器对该组样本图像中人工标识图像进行编码，得到人工标识图像尺寸1/16的特征图
其中，人工标识图像尺寸1/16的特征图
的特征维度为512；
本实施例中，步骤201中，在图像训练样本集中随机提取一组样本图像，利用编码器对该组样本图像中有雾图像进行编码之前，对该组样本图像中有雾图像进行左右翻转或上下翻转的图像增强操作；在通过共享参数，利用编码器对该组样本图像中人工标识图像进行编码之前，对该组样本图像中人工标识图像进行左右翻转或上下翻转的图像增强操作。
步骤202、对有雾图像尺寸1/16的特征图f1/16和人工标识图像尺寸1/16的特征图
进行叠加得到复合特征fconcat，对复合特征fconcat进行1×1卷积降维，得到维度为512的融合特征
步骤203、对维度为512的融合特征
进行反卷积得到特征维度为256且分辨率为原图像尺寸1/8的反卷积特征图
步骤204、对有雾图像尺寸1/16的特征图f1/16进行反卷积得到特征维度为256的有雾图像尺寸1/8的特征图f1/8，对人工标识图像尺寸1/16的特征图
进行反卷积得到特征维度为256的人工标识图像尺寸1/8的特征图
将反卷积特征图
有雾图像尺寸1/8的特征图f1/8和人工标识图像尺寸1/8的特征图
进行叠加并反卷积，得到特征维度为128且分辨率为原图像尺寸1/4的反卷积特征图
步骤205、对有雾图像尺寸1/8的特征图f1/8进行反卷积得到特征维度为128的有雾图像尺寸1/4的特征图f1/4，对人工标识图像尺寸1/8的特征图
进行反卷积得到特征维度为128的人工标识图像尺寸1/4的特征图
将反卷积特征图
有雾图像尺寸1/4的特征图f1/4和人工标识图像尺寸1/4的特征图
进行叠加并反卷积，得到特征维度为64且分辨率为原图像尺寸1/2的反卷积特征图
步骤206、对有雾图像尺寸1/4的特征图f1/4进行反卷积得到特征维度为64的有雾图像尺寸1/2的特征图f1/2，对人工标识图像尺寸1/4的特征图
进行反卷积得到特征维度为64的人工标识图像尺寸1/2的特征图
将反卷积特征图
有雾图像尺寸1/2的特征图f1/2和人工标识图像尺寸1/2的特征图
进行叠加并反卷积，得到特征维度为32且分辨率为原图像尺寸的去雾图像Id；
步骤三、根据公式
计算去雾图像Id的损失目标函数L，其中，L1为去雾图像Id与本组样本图像中清晰图像X之间的均方差损失，λ1为L1的权重，LSSIM为去雾图像Id与本组样本图像中清晰图像X之间的结构相似性损失，λ2为LSSIM的权重，去雾图像Id与本组样本图像中清晰图像X的尺寸相等，A为清晰图像X的长度方向的像素总数，B为清晰图像X的宽度方向的像素总数，a为清晰图像X的长度方向的像素编号且a＝1,2,...,A，b为清晰图像X的宽度方向的像素编号且b＝1,2,...,B，Xa,b为清晰图像X上像素坐标(a，b)位置处像素点的像素值，
为去雾图像Id上像素坐标(a，b)位置处像素点的像素值，SSIM(X,Id)为去雾图像Id与本组样本图像中清晰图像X之间的结构相似性函数，uX为清晰图像X的图像均值，
为去雾图像Id的图像均值，C1为第一常数，σX为清晰图像X的标准方差，
为去雾图像Id的标准方差，
为清晰图像X和去雾图像Id的协方差，C2为第二常数；
本实施例中，步骤三中，λ1为L1的权重且λ1取0.85，λ2为LSSIM的权重且λ2取1.1；第一常数C1取6.5，第二常数C2取58.53。
步骤四、更新权重参数集合：将去雾图像Id的损失目标函数L送入Adam优化器，对步骤二的去雾网络训练优化，更新去雾网络的权重参数集合；
步骤五、调取新的一组样本图像，循环步骤二至步骤四，直到训练达到预设训练步数或者损失值不再下降或损失值小于0.001即停止训练，此时，得到去雾网络的最终权重参数集合，并确定最终的去雾网络；
本实施例中，步骤五中，所述预设训练步数为10000～20000。
步骤六、单张实际有雾图像去雾：对单张实际有雾图像按照区域划分进行人工标识，获取单张实际有雾图像的人工标识图像，以单张实际有雾图像和其对应的人工标识图像作为输入，送入最终的去雾网络中进行前向推理得到单张实际有雾图像的去雾图像。
需要说明的是，对实际有雾图像去雾时，可通过反复调节标识图像，得到不同的去雾结构，从而达到交互式去雾的目的。
实际使用中，图像去雾网络通过共享编码器参数和多尺度特征融合，实现雾霾先验引导的去雾模型。
本发明使用时，首先通过人工标注出有雾图像不同区域的雾霾浓度，然后将标注结果与有雾图像、无雾图像一同作为训练样本，对深度去雾模型进行学习训练，从而将人工稀疏标注中蕴含的雾霾信息用于引导无雾图像的生成，最后利用该模型可结合人工循环标注得到视觉质量更好的去雾图像，该方法在训练过程中利用数据驱动学习人工稀疏标注信息，可针对不同的人工标注结果得到不同质量的去雾结果，此外，结合人工标注可使模型在实际的雾霾场景中得到更好的去雾效果，增强了模型的泛化性能，利用人工稀疏标注作为额外的引导信息，结合数据驱动的方式提取其蕴含信息，从而指导单张图像的去雾恢复，具备图像去雾效果好、场景适应能力强，并且可以对同一场景输出不同质量的去雾结果，还可支持人工循环校正去雾；利用人工稀疏标注信息作为额外的标记信息，通过构建有多尺度特征融合的去雾网络，并利用像素均方差损失和结构相似性损失作为目标函数进行优化和监督学习，是一种全新的单张图像去雾思路，可生成多种去雾结果，还可适用于多种场景下不同雾霾程度的图像增强，为了进一步增强人工标注信息的引导能力，通过参数共享的编码器提取有雾图像与标注结果的共性特征，并结合多尺度特征融合提高解码过程中恢复去雾图像细节信息的能力，从而有效提升图像去雾效果，增强了模型的泛化能力，适用于图像的交互式编辑等具体应用。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。
Claims (4)
1.一种基于人工稀疏标注信息引导的单张图像去雾方法，其特征在于，该方法包括以下步骤：
步骤一、构建图像训练样本集，过程如下：
步骤101、利用大气散射模型和清晰图像Xi合成不同雾霾程度的有雾图像Yi，其中，i为图像编号且i＝1,2,...,N，N为清晰图像的总数量且N不小于1000；
步骤102、对有雾图像Yi按照区域划分进行人工标识，以255表示雾霾最严重，0表示无雾霾，获取人工标识图像Mi；
步骤103、将清晰图像Xi、有雾图像Yi、人工标识图像Mi合并，形成图像训练样本集{Xi,Yi,Mi}，其中，图像训练样本集{Xi,Yi,Mi}中编号相同的清晰图像、有雾图像和人工标识图像为一组样本图像；
步骤二、设计去雾网络对单张的有雾图像去雾，过程如下：
步骤201、在步骤一中的图像训练样本集中随机提取一组样本图像，利用编码器对该组样本图像中有雾图像进行编码，得到有雾图像尺寸1/16的特征图f1/16，其中，有雾图像尺寸1/16的特征图f1/16的特征维度为512，所述编码器包括多个卷积块，所述卷积块包括卷积层、批归一化处理以及激活函数；
通过共享参数，利用编码器对该组样本图像中人工标识图像进行编码，得到人工标识图像尺寸1/16的特征图
其中，人工标识图像尺寸1/16的特征图
的特征维度为512；
步骤202、对有雾图像尺寸1/16的特征图f1/16和人工标识图像尺寸1/16的特征图
进行叠加得到复合特征fconcat，对复合特征fconcat进行1×1卷积降维，得到维度为512的融合特征
步骤203、对维度为512的融合特征
进行反卷积得到特征维度为256且分辨率为原图像尺寸1/8的反卷积特征图
步骤204、对有雾图像尺寸1/16的特征图f1/16进行反卷积得到特征维度为256的有雾图像尺寸1/8的特征图f1/8，对人工标识图像尺寸1/16的特征图
进行反卷积得到特征维度为256的人工标识图像尺寸1/8的特征图
将反卷积特征图
有雾图像尺寸1/8的特征图f1/8和人工标识图像尺寸1/8的特征图
进行叠加并反卷积，得到特征维度为128且分辨率为原图像尺寸1/4的反卷积特征图
步骤205、对有雾图像尺寸1/8的特征图f1/8进行反卷积得到特征维度为128的有雾图像尺寸1/4的特征图f1/4，对人工标识图像尺寸1/8的特征图
进行反卷积得到特征维度为128的人工标识图像尺寸1/4的特征图
将反卷积特征图
有雾图像尺寸1/4的特征图f1/4和人工标识图像尺寸1/4的特征图
进行叠加并反卷积，得到特征维度为64且分辨率为原图像尺寸1/2的反卷积特征图
步骤206、对有雾图像尺寸1/4的特征图f1/4进行反卷积得到特征维度为64的有雾图像尺寸1/2的特征图f1/2，对人工标识图像尺寸1/4的特征图
进行反卷积得到特征维度为64的人工标识图像尺寸1/2的特征图
将反卷积特征图
有雾图像尺寸1/2的特征图f1 /2和人工标识图像尺寸1/2的特征图
进行叠加并反卷积，得到特征维度为32且分辨率为原图像尺寸的去雾图像Id；
步骤三、根据公式
计算去雾图像Id的损失目标函数L，其中，L1为去雾图像Id与本组样本图像中清晰图像X之间的均方差损失，λ1为L1的权重，LSSIM为去雾图像Id与本组样本图像中清晰图像X之间的结构相似性损失，λ2为LSSIM的权重，去雾图像Id与本组样本图像中清晰图像X的尺寸相等，A为清晰图像X的长度方向的像素总数，B为清晰图像X的宽度方向的像素总数，a为清晰图像X的长度方向的像素编号且a＝1,2,...,A，b为清晰图像X的宽度方向的像素编号且b＝1,2,...,B，Xa,b为清晰图像X上像素坐标(a，b)位置处像素点的像素值，
为去雾图像Id上像素坐标(a，b)位置处像素点的像素值，SSIM(X,Id)为去雾图像Id与本组样本图像中清晰图像X之间的结构相似性函数，uX为清晰图像X的图像均值，
为去雾图像Id的图像均值，C1为第一常数，σX为清晰图像X的标准方差，
为去雾图像Id的标准方差，
为清晰图像X和去雾图像Id的协方差，C2为第二常数；
步骤四、更新权重参数集合：将去雾图像Id的损失目标函数L送入Adam优化器，对步骤二的去雾网络训练优化，更新去雾网络的权重参数集合；
步骤五、调取新的一组样本图像，循环步骤二至步骤四，直到训练达到预设训练步数或者损失值不再下降或损失值小于0.001即停止训练，此时，得到去雾网络的最终权重参数集合，并确定最终的去雾网络；
步骤六、单张实际有雾图像去雾：对单张实际有雾图像按照区域划分进行人工标识，获取单张实际有雾图像的人工标识图像，以单张实际有雾图像和其对应的人工标识图像作为输入，送入最终的去雾网络中进行前向推理得到单张实际有雾图像的去雾图像。
2.按照权利要求1所述的一种基于人工稀疏标注信息引导的单张图像去雾方法，其特征在于：步骤三中，λ1为L1的权重且λ1取0.85，λ2为LSSIM的权重且λ2取1.1；第一常数C1取6.5，第二常数C2取58.53。
3.按照权利要求1所述的一种基于人工稀疏标注信息引导的单张图像去雾方法，其特征在于：步骤五中，所述预设训练步数为10000～20000。
4.按照权利要求1所述的一种基于人工稀疏标注信息引导的单张图像去雾方法，其特征在于：步骤201中，在图像训练样本集中随机提取一组样本图像，利用编码器对该组样本图像中有雾图像进行编码之前，对该组样本图像中有雾图像进行左右翻转或上下翻转的图像增强操作；在通过共享参数，利用编码器对该组样本图像中人工标识图像进行编码之前，对该组样本图像中人工标识图像进行左右翻转或上下翻转的图像增强操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110095446.7A CN112767275B (zh) | 2021-01-25 | 2021-01-25 | 一种基于人工稀疏标注信息引导的单张图像去雾方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110095446.7A CN112767275B (zh) | 2021-01-25 | 2021-01-25 | 一种基于人工稀疏标注信息引导的单张图像去雾方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112767275A CN112767275A (zh) | 2021-05-07 |
| CN112767275B true CN112767275B (zh) | 2021-10-22 |
Family
ID=75707008
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110095446.7A Active CN112767275B (zh) | 2021-01-25 | 2021-01-25 | 一种基于人工稀疏标注信息引导的单张图像去雾方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112767275B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115205135B (zh) * | 2022-05-20 | 2023-03-17 | 中国人民解放军火箭军工程大学 | 一种基于透射图引导的单幅图像多解码器去雾方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263706A (zh) * | 2019-06-19 | 2019-09-20 | 南京邮电大学 | 一种雾霾天气车载视频动态目标检测和识别的方法 |
| CN110288550A (zh) * | 2019-06-28 | 2019-09-27 | 中国人民解放军火箭军工程大学 | 基于先验知识引导条件生成对抗网络的单张图像去雾方法 |
| CN110363727A (zh) * | 2019-07-24 | 2019-10-22 | 中国人民解放军火箭军工程大学 | 基于多尺度暗通道先验级联深度神经网络的图像去雾方法 |
| CN110570371A (zh) * | 2019-08-28 | 2019-12-13 | 天津大学 | 一种基于多尺度残差学习的图像去雾方法 |
| CN111476739A (zh) * | 2020-04-17 | 2020-07-31 | 宁波大学科学技术学院 | 水下图像增强方法、系统及存储介质 |
| CN112184577A (zh) * | 2020-09-17 | 2021-01-05 | 西安理工大学 | 基于多尺度自注意生成对抗网络的单幅图像去雾方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10572979B2 (en) * | 2017-04-06 | 2020-02-25 | Pixar | Denoising Monte Carlo renderings using machine learning with importance sampling |
-
2021
- 2021-01-25 CN CN202110095446.7A patent/CN112767275B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263706A (zh) * | 2019-06-19 | 2019-09-20 | 南京邮电大学 | 一种雾霾天气车载视频动态目标检测和识别的方法 |
| CN110288550A (zh) * | 2019-06-28 | 2019-09-27 | 中国人民解放军火箭军工程大学 | 基于先验知识引导条件生成对抗网络的单张图像去雾方法 |
| CN110363727A (zh) * | 2019-07-24 | 2019-10-22 | 中国人民解放军火箭军工程大学 | 基于多尺度暗通道先验级联深度神经网络的图像去雾方法 |
| CN110570371A (zh) * | 2019-08-28 | 2019-12-13 | 天津大学 | 一种基于多尺度残差学习的图像去雾方法 |
| CN111476739A (zh) * | 2020-04-17 | 2020-07-31 | 宁波大学科学技术学院 | 水下图像增强方法、系统及存储介质 |
| CN112184577A (zh) * | 2020-09-17 | 2021-01-05 | 西安理工大学 | 基于多尺度自注意生成对抗网络的单幅图像去雾方法 |
Non-Patent Citations (2)
| Title |
|---|
| Fast Algorithms for Foggy Image Enhancement Based on Convolution;Chen Xianqiao，and etc;《2008 International Symposium on Computational Intelligence and Design》;20081222;第165-168页 * |
| 视觉信息损失先验的图像分层去雾方法;胡子昂等;《中国图象图形学报》;20160630;第21卷(第6期);第711-722页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112767275A (zh) | 2021-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111915531B (zh) | 一种多层次特征融合和注意力引导的神经网络图像去雾方法 | |
| CN110288550B (zh) | 基于先验知识引导条件生成对抗网络的单张图像去雾方法 | |
| CN109523480B (zh) | 一种海雾图像的去雾方法、装置、计算机存储介质及终端 | |
| CN110310241B (zh) | 一种融合深度区域分割的多大气光值交通图像去雾方法 | |
| CN110363727B (zh) | 基于多尺度暗通道先验级联深度神经网络的图像去雾方法 | |
| CN104217404A (zh) | 雾霾天视频图像清晰化处理方法及其装置 | |
| Li et al. | Underwater image enhancement using adaptive color restoration and dehazing | |
| CN112200746B (zh) | 一种雾天交通场景图像的去雾方法和设备 | |
| CN116311254B (zh) | 一种恶劣天气情况下的图像目标检测方法、系统及设备 | |
| CN112419163B (zh) | 一种基于先验知识和深度学习的单张图像弱监督去雾方法 | |
| CN111340718A (zh) | 一种基于渐进式导向强监督神经网络的图像去雾方法 | |
| CN110807744A (zh) | 一种基于卷积神经网络的图像去雾方法 | |
| CN113160286A (zh) | 一种基于卷积神经网络的近红外和可见光图像融合方法 | |
| CN112767275B (zh) | 一种基于人工稀疏标注信息引导的单张图像去雾方法 | |
| CN117152016A (zh) | 基于改进暗通道先验的图像去雾方法及其系统 | |
| CN116229404A (zh) | 一种基于距离传感器的图像去雾优化方法 | |
| CN114820395A (zh) | 一种基于多领域信息融合的水下图像增强方法 | |
| CN114140361A (zh) | 融合多级特征的生成式对抗网络图像去雾方法 | |
| CN115205135B (zh) | 一种基于透射图引导的单幅图像多解码器去雾方法 | |
| Zhou et al. | Single Underwater Image Restoration By Multi-Scale Fusion In Multi-Color Space | |
| CN114529878B (zh) | 一种基于语义感知的跨域道路场景语义分割方法 | |
| CN112907469B (zh) | 基于Lab域增强、分类及对比度提升的水下图像识别方法 | |
| CN115496694B (zh) | 基于改进图像形成模型对水下图像进行恢复和增强的方法 | |
| CN115272122B (zh) | 一种先验引导的单阶段蒸馏图像去雾方法 | |
| Guodong et al. | Underwater image enhancement and detection based on convolutional DCP and YOLOv5 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |