CN114841885B - 一种基于偏振图像数据的去雾融合处理方法 - Google Patents

一种基于偏振图像数据的去雾融合处理方法 Download PDF

Info

Publication number
CN114841885B
CN114841885B CN202210504895.7A CN202210504895A CN114841885B CN 114841885 B CN114841885 B CN 114841885B CN 202210504895 A CN202210504895 A CN 202210504895A CN 114841885 B CN114841885 B CN 114841885B
Authority
CN
China
Prior art keywords
defogging
polarization
image
network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210504895.7A
Other languages
English (en)
Other versions
CN114841885A (zh
Inventor
陈伟
毕朋帅
杨澜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology Beijing CUMTB
Original Assignee
China University of Mining and Technology Beijing CUMTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology Beijing CUMTB filed Critical China University of Mining and Technology Beijing CUMTB
Priority to CN202210504895.7A priority Critical patent/CN114841885B/zh
Publication of CN114841885A publication Critical patent/CN114841885A/zh
Application granted granted Critical
Publication of CN114841885B publication Critical patent/CN114841885B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于偏振图像数据的去雾融合处理方法，其方法如下：A、利用偏振相机采集相同区域的四张雾霾偏振图像并打包成偏振图像包，B、构建包含J‑Net子网络、T‑Net子网络、A‑Net子网络的去雾网络模型对偏振图像包进行处理；C、去雾网络模型按照如下公式输出去雾后的图像L(x)：
Figure DDA0003635549860000011
本发明采用偏振相机采集相同区域的四张雾霾偏振图像组成偏振图像包，构建去雾网络模型并进行训练以达到最小图像质量损失，并基于大气散射物理模型输出去雾后的图像，有效提高了雾霾图像的可见性和对比度，能恢复因雾霾而损失的图像信息，提升了图像质量。

Description

一种基于偏振图像数据的去雾融合处理方法
技术领域
本发明涉及偏振光学与雾霾图像处理领域，尤其涉及一种基于偏振图像数据的去雾融合处理方法。
背景技术
图像作为人类感知世界的视觉基础，是人类获取信息、表达信息和传递信息的重要方式。然而，雾霾粒子对光具有强散射和强吸收作用，会导致采集的图像颜色存在色差、图像退化、能见度降低等问题，给人们的日常生活和健康造成了极大困扰。雾霾图像恢复是图像视觉分析的基础，对获取图像信息至关重要。传统的方法主要是基于光强图像，传统方法缺乏足够的大气粒子散射信息，经过雾霾粒子散射后的低对比度成像环境，亟需引入强度和光谱以外的信息来恢复清晰图像。同时针对雾霾环境差别较大的情况，基于大气物理散射模型的方法，其大气传输具体过程和模型参数不一致，鲁棒性不强，因此亟需一种有效、稳定的去雾霾方法恢复清晰图像。
发明内容
针对现有技术存在的不足之处，本发明的目的在于提供一种基于偏振图像数据的去雾融合处理方法，采用偏振相机采集相同区域的四张雾霾偏振图像组成偏振图像包，构建去雾网络模型并进行训练以达到最小图像质量损失，并基于大气散射物理模型输出去雾后的图像，本发明有效提高了雾霾图像的可见性和对比度，能恢复因雾霾而损失的图像信息，提升了图像质量。
本发明的目的通过下述技术方案实现：
一种基于偏振图像数据的去雾融合处理方法，其方法如下：
A、偏振雾霾图像采集：利用偏振相机采集相同区域的四张雾霾偏振图像，雾霾偏振图像为RGB彩色图像，四张雾霾偏振图像的偏振角度依次为0°、45°、90°、135°且依次表示为I0、I45、I90、I145，将四张雾霾偏振图像打包成一组偏振图像包，根据斯托克斯参数按照如下公式得到偏振图像包的光强图像：
S0＝(I0+I45+I90+I145)/2；
B、搭建去雾网络模型，去雾网络模型包括J-Net子网络、T-Net子网络和A-Net子网络，将偏振图像包输入到去雾网络模型；
B1、J-Net子网络由五个卷积层组成，J-Net子网络的前四个卷积层均包括5*5的卷积层、BatchNorm层和LeakyReLU激活层，J-Net子网络的第五个卷积层包括5*5的卷积层和sigmoid激活层；J-Net子网络对偏振图像包进行处理并输出目标图像J(x)，J-Net子网络的输出通道为3；
B2、T-Net子网络与J-Net子网络结构相同，T-Net子网络对偏振图像包进行处理并输出透射图t(x)，T-Net子网络的输出通道为1；
B3、A-Net子网络对偏振图像包进行处理并输出大气光A；
C、去雾网络模型中具有大气散射物理模型，去雾网络模型按照如下公式输出去雾后的图像L(x)：
Figure BDA0003635549840000021
其中，S0表示偏振图像包的光强图像，A为A-Net子网络输出的大气光，t(x)为T-Net子网络输出的透射图。
本发明去雾网络模型可以采用迭代训练以提升输出去雾后的图像L(x)的质量；在步骤B、步骤C中的去雾网络模型包括迭代训练，去雾网络模型的迭代训练包括如下方法：
去雾网络模型采用如下重建公式重建输出图像O(x)：
O(x)＝J(x)*t(x)+A*(1-t(x))，其中，J(x)表示J-Net子网络输出的目标图像，A为A-Net子网络输出的大气光，t(x)为T-Net子网络输出的透射图；
去雾网络模型采用损失函数Ltot进行整个网络的损失约束，损失函数Ltot公式如下：
Ltot＝||O1(x)-I1(x)||F，其中，I1(x)表示去雾网络模型输入图像的像素值，O1(x)表示输出图像O(x)的像素值，|| ||F表示F-范数。
进一步的技术方案，本发明去雾网络模型还可以设置A-Net子网络模型训练的损失函数，方案如下：在步骤B、步骤C中，去雾网络模型中A-Net子网络模型训练的损失函数由LA和Lreg两部分组成；
LA＝||A(x)-Ax||F，LA表示大气光的损失，A(x)表示去雾网络模型输出图像的大气光，Ax表示去雾网络模型结合暗通道先验原理估算的输入图像的大气光，||||F表示F-范数；
Lreg是损失函数中的正则化项，公式如下：
Figure BDA0003635549840000031
其中λ表示平衡正则化项的参数，m表示去雾网络模型输入图像的像元数，|N(xi)|表示去雾网络模型输入图像的二阶邻域的范围，xi表示去雾网络模型输入图像的第i个像元；
Figure BDA0003635549840000032
表示：若yi在xi的二阶邻域的范围内对其计数累加。
进一步的技术方案，本发明去雾网络模型还可以设置J-Net子网络训练的损失函数，方案如下：在步骤B、步骤C中，去雾网络模型中J-Net子网络的训练包括损失函数Lcol及损失函数Lcon进行训练约束：
Lcol＝||VJ(x)-SJ(x)||P；
Lcon＝||VJ(x)-VI(x)||P；
VJ(x)表示J-Net子网络的输出图像J(x)的亮度，VI(x)表示去雾网络模型输入图像的亮度，SJ(x)表示J-Net子网络的输出图像J(x)的饱和度，||||P表示P-范数。
本发明优选的技术方案是：训练后的去雾网络模型采用损失函数Ltot迭代训练1000次停止迭代并输出去雾后的图像L(x)，即本发明可以采用上述训练后的去雾网络模型设置迭代训练1000次停止迭代并输出输出去雾后的图像L(x)。
优选地，所述偏振相机由彩色工业相机与偏振传感器组合而成。
优选地，本发明A-Net子网络中暗通道的公式表示为：
Jdark(x)＝miny∈Ω(x)(minc∈(r,g,b)Jc(y))，Jdark(x)→0；其中，Jdark(x)表示去雾网络模型输入图像的暗通道图，minc∈(r,g,b)Jc(y)表示对去雾网络模型输入图像每个像素取RGB三通道中的最小值并得到的单通道图，miny∈Ω(x)表示对单通道图做最小值滤波。
本发明较现有技术相比，具有以下优点及有益效果：
(1)本发明采用偏振相机采集相同区域的四张雾霾偏振图像组成偏振图像包，构建去雾网络模型并进行训练以达到最小图像质量损失，并基于大气散射物理模型输出去雾后的图像，本发明有效提高了雾霾图像的可见性和对比度，能恢复因雾霾而损失的图像信息，提升了图像质量。
(2)本发明对于不同雾霾获取的雾霾图像，在视觉效果和客观质量指标方面表现出很好的去雾霾性能，能够对重雾霾图像进行恢复，平均新增71％可见边，平均对比度总体提高31％，且很大程度的改善了图像质量；本发明能够满足特定场景需求、突出图像细节并增强图片质量的目的。
附图说明
图1为实施例三的流程示意图。
具体实施方式
下面结合实施例对本发明作进一步地详细说明：
实施例一
一种基于偏振图像数据的去雾融合处理方法，其方法如下：
A、偏振雾霾图像采集：利用偏振相机采集相同区域的四张雾霾偏振图像(本发明优选的偏振相机由彩色工业相机与偏振传感器组合而成，本发明采用一个相同区域的四张雾霾偏振图像并按照方法得到去雾的图像L(x)，同样也可以对其他的相同区域进行去雾融合处理)，雾霾偏振图像为RGB彩色图像，四张雾霾偏振图像的偏振角度依次为0°、45°、90°、135°且依次表示为I0、I45、I90、I145，将四张雾霾偏振图像打包成一组偏振图像包，根据斯托克斯参数按照如下公式得到偏振图像包的光强图像：
S0＝(I0+I45+I90+I145)/2；
B、搭建去雾网络模型，去雾网络模型包括J-Net子网络、T-Net子网络和A-Net子网络，将偏振图像包输入到去雾网络模型；
B1、J-Net子网络由五个卷积层组成，J-Net子网络的前四个卷积层均包括5*5的卷积层、BatchNorm层和LeakyReLU激活层，J-Net子网络的第五个卷积层包括5*5的卷积层和sigmoid激活层；J-Net子网络对偏振图像包进行处理并输出目标图像J(x)，J-Net子网络的输出通道为3；
B2、T-Net子网络与J-Net子网络结构相同(即T-Net子网络由五个卷积层组成，T-Net子网络的前四个卷积层均包括5*5的卷积层、Batch Norm层和LeakyReLU激活层，T-Net子网络的第五个卷积层包括5*5的卷积层和sigmoid激活层)，T-Net子网络对偏振图像包进行处理并输出透射图t(x)，T-Net子网络的输出通道为1；
B3、A-Net子网络结合暗通道先验原理对偏振图像包进行处理并输出大气光A；
C、去雾网络模型中具有大气散射物理模型，去雾网络模型按照如下公式输出去雾后的图像L(x)：
Figure BDA0003635549840000061
其中，S0表示偏振图像包的光强图像，A为A-Net子网络输出的大气光，t(x)为T-Net子网络输出的透射图。
实施例二
一种基于偏振图像数据的去雾融合处理方法，其方法如下：
A、偏振雾霾图像采集：利用偏振相机采集相同区域的四张雾霾偏振图像，雾霾偏振图像为RGB彩色图像，四张雾霾偏振图像的偏振角度依次为0°、45°、90°、135°且依次表示为I0、I45、I90、I145，将四张雾霾偏振图像打包成一组偏振图像包，根据斯托克斯参数(即stocks参数)按照如下公式得到偏振图像包的光强图像：
S0＝(I0+I45+I90+I145)/2；
在偏振光探测中，stocks分量中的V分量因为数值较小，故而在一般研究、探测、计算中会认为为0。这样的话，便认为所观测的光是由一束线偏振光与自然光的合成。假定自然光的光强为Ig，线偏振光在它的偏振方向上的光强为Imax。在实际探测时，可以使得观测光通过一个偏振片，得到它在0°、45°、90°、135°方向上的线偏振光的偏振光强。
因为自然光在各个方向上的光强都一样，则自然光通过各个方向的偏振片后的亮度均为I。根据马吕斯定律，设线偏振光的偏振方向与偏振片方向为α，则线偏振光通过偏振片后的光强为ImaxCOS2α。
这样便可以得到以下式子：
Ig+ImaxCOS2α＝I0
Ig+ImaxCOS2(α+45°)＝I45
Ig+ImaxCOS2(α+90°)＝I90
Ig+ImaxCOS2(α+135°)＝I135
通过这几个式子可以解出stocks各分量及偏振度、偏振方位角的值。其中：I＝0.5*(I0+I45+I90+I135)
B、搭建去雾网络模型，去雾网络模型包括J-Net子网络、T-Net子网络和A-Net子网络，将偏振图像包输入到去雾网络模型；
B1、J-Net子网络由五个卷积层组成，J-Net子网络的前四个卷积层均包括5*5的卷积层、Batch Norm层和LeakyReLU激活层，J-Net子网络的第五个卷积层包括5*5的卷积层和sigmoid激活层；J-Net子网络对偏振图像包进行处理并输出目标图像J(x)，J-Net子网络的输出通道为3；
B2、T-Net子网络与J-Net子网络结构相同，T-Net子网络对偏振图像包进行处理并输出透射图t(x)，T-Net子网络的输出通道为1；
B3、A-Net子网络结合暗通道先验原理对偏振图像包进行处理并输出大气光A；A-Net子网络中暗通道的公式表示为：
Jdark(x)＝miny∈Ω(x)(minc∈(r,g,b)Jc(y))，Jdark(x)→0；其中，Jdark(x)表示去雾网络模型输入图像的暗通道图，minc∈(r,g,b)Jc(y)表示对去雾网络模型输入图像每个像素取RGB三通道中的最小值并得到的单通道图，miny∈Ω(x)表示对单通道图做最小值滤波。
C、去雾网络模型中具有大气散射物理模型(大气散射物理模型为图像O(x)、图像L(x)均使用到的)，去雾网络模型包括迭代训练，去雾网络模型的迭代训练包括如下方法：
去雾网络模型采用如下重建公式重建输出图像O(x)：
O(x)＝J(x)*t(x)+A*(1-t(x))，其中，J(x)表示J-Net子网络输出的目标图像，A为A-Net子网络输出的大气光，t(x)为T-Net子网络输出的透射图；
去雾网络模型采用损失函数Ltot进行整个网络的损失约束，损失函数Ltot公式如下：
Ltot＝||O1(x)-I1(x)||F，其中，I1(x)表示去雾网络模型输入图像的像素值，O1(x)表示输出图像O(x)的像素值，||||F表示F-范数。
去雾网络模型按照如下公式输出去雾后的图像L(x)：
Figure BDA0003635549840000081
其中，S0表示偏振图像包的光强图像，A为A-Net子网络输出的大气光，t(x)为T-Net子网络输出的透射图。
本实施例对去雾网络模型进行训练，本实施例优选技术方案如下：通过训练后的去雾网络模型采用损失函数Ltot迭代训练1000次停止迭代并输出去雾后的图像L(x)。
实施例三
一种基于偏振图像数据的去雾融合处理方法，其方法如下：
A、偏振雾霾图像采集：利用偏振相机采集相同区域的四张雾霾偏振图像(偏振相机由彩色工业相机与偏振传感器组合而成)，雾霾偏振图像为RGB彩色图像，四张雾霾偏振图像的偏振角度依次为0°、45°、90°、135°且依次表示为I0、I45、I90、I145，将四张雾霾偏振图像打包成一组偏振图像包，根据斯托克斯参数(即stocks参数)按照如下公式得到偏振图像包的光强图像：
S0＝(I0+I45+I90+I145)/2；
B、搭建去雾网络模型，去雾网络模型包括J-Net子网络、T-Net子网络和A-Net子网络，去雾网络模型为三个子网络构成的端到端网络模型，将偏振图像包(偏振图像包包括四张雾霾偏振图像，雾霾偏振图像为RGB彩色图像，雾霾偏振图像就具有R、G、B三个通道，偏振图像包就具有12个通道)输入到去雾网络模型；
B1、J-Net子网络由五个卷积层组成，J-Net子网络的前四个卷积层均包括5*5的卷积层、BatchNorm层和LeakyReLU激活层，J-Net子网络的第五个卷积层包括5*5的卷积层和sigmoid激活层；J-Net子网络对偏振图像包进行处理并输出目标图像J(x)，J-Net子网络的输出通道为3；
B2、T-Net子网络与J-Net子网络结构相同，T-Net子网络对偏振图像包进行处理并输出透射图t(x)，T-Net子网络的输出通道为1；
B3、A-Net子网络结合暗通道先验原理对偏振图像包进行处理并输出大气光A；A-Net子网络中暗通道的公式表示为：
Jdark(x)＝miny∈Ω(x)(minc∈(r,g,b)Jc(y))，Jdark(x)→0；其中，Jdark(x)表示去雾网络模型输入图像的暗通道图，minc∈(r,g,b)Jc(y)表示对去雾网络模型输入图像每个像素取RGB三通道中的最小值并得到的单通道图，miny∈Ω(x)表示对单通道图做最小值滤波。根据暗通道先验原理(暗通道先验是基于统计意义上的观测得到的先验，通过总结大量的室外无雾的图像，发现了在无雾图像中局部区域存在一些像素，这些像素中至少有一个颜色通道的亮度值非常低，最低值通常趋向于0)，在无雾图像中局部区域存在一些像素，这些像素中至少有一个颜色通道的亮度值非常低，最低值通常趋向于0。颜色衰减先验也是统计上的发现，通过对很多雾霾图像的远景、中景、近景进行分析发现了雾霾的浓度与亮度和饱和度之差呈正比关系，雾的浓度越大，大气光成分的影响越大，而大气光成分会增强亮度值并且降低饱和度。公式表达为：d(x)∝c(x)∝v(x)-s(x)；其中，d(x)为景深，c(x)是雾霾浓度，v(x)和s(x)分别表示图像的亮度和饱和度。最大对比度即为清晰场景图片相比于受恶劣天气干扰的图片具有更高的对比度，原雾霾图像对比度确定，尽可能使去雾霾图像与原图像有最大对比度，Cmax＝max(VJ(x)-VI(x))；其中，VJ(x)、VI(x)分别代表去雾霾处理后图像和原始图像的亮度。
C、去雾网络模型中具有大气散射物理模型(大气散射物理模型为图像O(x)、图像L(x)均使用到的)，去雾网络模型包括迭代训练(每次迭代训练都是输入偏振图像包，训练目的是让损失函数Ltot降低到最小)，去雾网络模型的迭代训练包括如下方法：
去雾网络模型采用如下重建公式重建输出图像O(x)：
O(x)＝J(x)*t(x)+A*(1-t(x))，其中，J(x)表示J-Net子网络输出的目标图像，A为A-Net子网络输出的大气光，t(x)为T-Net子网络输出的透射图；
去雾网络模型采用损失函数Ltot进行整个网络的损失约束，损失函数Ltot公式如下：
Ltot＝||O1(x)-I1(x)||F，其中，I1(x)表示去雾网络模型输入图像的像素值，O1(x)表示输出图像O(x)的像素值，|| ||F表示F-范数。
去雾网络模型按照如下公式输出去雾后的图像L(x)：
Figure BDA0003635549840000111
其中，S0表示偏振图像包的光强图像，A为A-Net子网络输出的大气光，t(x)为T-Net子网络输出的透射图。
本实施例去雾网络模型还可以设置A-Net子网络模型训练的损失函数(每次迭代训练都是输入偏振图像包，训练目的是让损失函数降低到最小)，方案如下：A-Net子网络模型训练的损失函数由LA和Lreg两部分组成；
LA＝||A(x)-Ax||F，LA表示大气光的损失，A(x)表示去雾网络模型输出图像的大气光，Ax表示去雾网络模型输入图像的大气光，||||F表示F-范数；
Lreg是损失函数中的正则化项，公式如下：
Figure BDA0003635549840000112
其中λ表示平衡正则化项的参数，m表示去雾网络模型输入图像的像元数，|N(xi)|表示去雾网络模型输入图像的二阶邻域的范围，xi表示去雾网络模型输入图像的第i个像元；
Figure BDA0003635549840000121
表示：若yi在xi的二阶邻域的范围内对其计数累加。
本实施例去雾网络模型还可以设置J-Net子网络训练的损失函数，方案如下：去雾网络模型中J-Net子网络的训练包括减少近距离处场景信息的损失函数Lcol及损失函数Lcon进行训练约束(每次迭代训练都是输入偏振图像包，训练目的是让损失函数降低到最小)：
Lcol＝||VJ(x)-SJ(x)||P；
Lcon＝||VJ(x)-VI(x)||P；
VJ(x)表示J-Net子网络的输出图像J(x)的亮度，VI(x)表示去雾网络模型输入图像的亮度，SJ(x)表示J-Net子网络的输出图像J(x)的饱和度，|| ||P表示P-范数。
本实施例针对四个区域(其中H1、H2为轻雾霾环境，H3、H4为重雾霾环境)分别选择暗通道先验算法(DCP)、一般图形学习算法(YOLY)及本发明去雾融合处理方法(Our)分别得到图像，本实施例采用边缘可见边e和自然图像质量NIQE两个指标进行对比评估，详见下表；
Figure BDA0003635549840000122
边缘可见边e指标越大越好，而NIQE越小表示图像质量越好，如表所示，本发明方法定量指标优于其他算法的图像，本发明去雾的有效性及稳定性更佳。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于偏振图像数据的去雾融合处理方法，其方法如下：
A、偏振雾霾图像采集：利用偏振相机采集相同区域的四张雾霾偏振图像，雾霾偏振图像为RGB彩色图像，四张雾霾偏振图像的偏振角度依次为0°、45°、90°、135°且依次表示为I0、I45、I90、I145，将四张雾霾偏振图像打包成一组偏振图像包，根据斯托克斯参数按照如下公式得到偏振图像包的光强图像：
S0＝(I0+I45+I90+I145)/2；
B、搭建去雾网络模型，去雾网络模型包括J-Net子网络、T-Net子网络和A-Net子网络，将偏振图像包输入到去雾网络模型；
B1、J-Net子网络由五个卷积层组成，J-Net子网络的前四个卷积层均包括5*5的卷积层、BatchNorm层和LeakyReLU激活层，J-Net子网络的第五个卷积层包括5*5的卷积层和sigmoid激活层；J-Net子网络对偏振图像包进行处理并输出目标图像J(x)，J-Net子网络的输出通道为3；
B2、T-Net子网络与J-Net子网络结构相同，T-Net子网络对偏振图像包进行处理并输出透射图t(x)，T-Net子网络的输出通道为1；
B3、A-Net子网络对偏振图像包进行处理并输出大气光A；
C、去雾网络模型中具有大气散射物理模型，去雾网络模型包括迭代训练，去雾网络模型的迭代训练包括如下方法：
去雾网络模型采用如下重建公式重建输出图像O(x)：
O(x)＝J(x)*t(x)+A*(1-t(x))，其中，J(x)表示J-Net子网络输出的目标图像，A为A-Net子网络输出的大气光，t(x)为T-Net子网络输出的透射图；
去雾网络模型采用损失函数
Figure FDA0003959427890000011
进行整个网络的损失约束，损失函数
Figure FDA0003959427890000012
公式如下：
Figure FDA0003959427890000021
其中，I1(x)表示去雾网络模型输入图像的像素值，O1(x)表示输出图像O(x)的像素值，|| ||F表示F-范数；
训练后的去雾网络模型采用损失函数
Figure FDA0003959427890000022
迭代训练1000次停止迭代并输出去雾后的图像L(x)；
去雾网络模型按照如下公式输出去雾后的图像L(x)：
Figure FDA0003959427890000023
其中，S0表示偏振图像包的光强图像，A为A-Net子网络输出的大气光，t(x)为T-Net子网络输出的透射图；去雾网络模型中A-Net子网络模型训练的损失函数由
Figure FDA0003959427890000024
和
Figure FDA0003959427890000025
两部分组成；
Figure FDA0003959427890000026
Figure FDA0003959427890000027
表示大气光的损失，A(x)表示去雾网络模型输出图像的大气光，Ax表示去雾网络模型结合暗通道先验原理估算出输入图像的大气光，|| ||F表示F-范数；
Figure FDA0003959427890000028
是损失函数中的正则化项，公式如下：
Figure FDA0003959427890000029
其中λ表示平衡正则化项的参数，m表示去雾网络模型输入图像的像元数，|N(xi)|表示去雾网络模型输入图像的二阶邻域的范围，xi表示去雾网络模型输入图像的第i个像元；
Figure FDA0003959427890000031
表示：若yi在xi的二阶邻域的范围内对其计数累加。
2.按照权利要求1所述的一种基于偏振图像数据的去雾融合处理方法，其特征在于：在步骤B、步骤C中，去雾网络模型中J-Net子网络的训练包括损失函数
Figure FDA0003959427890000032
及损失函数
Figure FDA0003959427890000033
进行训练约束：
Figure FDA0003959427890000034
Figure FDA0003959427890000035
VJ(x)表示J-Net子网络的输出图像J(x)的亮度，VI(x)表示去雾网络模型输入图像的亮度，SJ(x)表示J-Net子网络的输出图像J(x)的饱和度，|| ||P表示P-范数。
3.按照权利要求1所述的一种基于偏振图像数据的去雾融合处理方法，其特征在于：所述偏振相机由彩色工业相机与偏振传感器组合而成。
4.按照权利要求1所述的一种基于偏振图像数据的去雾融合处理方法，其特征在于：A-Net子网络中暗通道的公式表示为：
Jdark(x)＝miny∈Ω(x)(minc∈(r，g，b)Jc(y))，Jdark(x)→0；其中，Jdark(x)表示去雾网络模型输入图像的暗通道图，minc∈(r，g，b)Jc(y)表示对去雾网络模型输入图像每个像素取RGB三通道中的最小值并得到的单通道图，miny∈Ω(x)表示对单通道图做最小值滤波。
CN202210504895.7A 2022-05-10 2022-05-10 一种基于偏振图像数据的去雾融合处理方法 Active CN114841885B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210504895.7A CN114841885B (zh) 2022-05-10 2022-05-10 一种基于偏振图像数据的去雾融合处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210504895.7A CN114841885B (zh) 2022-05-10 2022-05-10 一种基于偏振图像数据的去雾融合处理方法

Publications (2)

Publication Number Publication Date
CN114841885A CN114841885A (zh) 2022-08-02
CN114841885B true CN114841885B (zh) 2023-03-10

Family

ID=82568954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210504895.7A Active CN114841885B (zh) 2022-05-10 2022-05-10 一种基于偏振图像数据的去雾融合处理方法

Country Status (1)

Country Link
CN (1) CN114841885B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115293992B (zh) * 2022-09-28 2022-12-30 泉州装备制造研究所 基于无监督权重深度模型的偏振图像去雾方法及装置
CN116596805B (zh) * 2023-07-14 2023-09-29 山东大学 一种基于场景物体与大气光偏振态差异的偏振去雾方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574296A (zh) * 2014-12-24 2015-04-29 长春理工大学 一种用于偏振去雾霾的多小波融合处理图片的方法
CN106530246A (zh) * 2016-10-28 2017-03-22 大连理工大学 基于暗通道与非局部先验的图像去雾方法及系统
CN111861939A (zh) * 2020-07-30 2020-10-30 四川大学 一种基于无监督学习的单张图像去雾方法
CN112598777A (zh) * 2020-12-18 2021-04-02 南京邮电大学 一种基于暗通道先验的雾霾融合方法
CN113066028A (zh) * 2021-03-31 2021-07-02 山东师范大学 一种基于Transformer深度神经网络的图像去雾方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2740100A1 (en) * 2011-08-03 2014-06-11 Indian Institute Of Technology, Kharagpur Method and system for removal of fog, mist or haze from images and videos
CN112837233B (zh) * 2021-01-14 2022-09-09 昆明理工大学 一种基于差分偏振获取透射率的偏振图像去雾方法
CN113739913B (zh) * 2021-08-27 2022-03-11 长春理工大学 一种智能化透雾霾光学成像探测装置及其使用方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574296A (zh) * 2014-12-24 2015-04-29 长春理工大学 一种用于偏振去雾霾的多小波融合处理图片的方法
CN106530246A (zh) * 2016-10-28 2017-03-22 大连理工大学 基于暗通道与非局部先验的图像去雾方法及系统
CN111861939A (zh) * 2020-07-30 2020-10-30 四川大学 一种基于无监督学习的单张图像去雾方法
CN112598777A (zh) * 2020-12-18 2021-04-02 南京邮电大学 一种基于暗通道先验的雾霾融合方法
CN113066028A (zh) * 2021-03-31 2021-07-02 山东师范大学 一种基于Transformer深度神经网络的图像去雾方法

Also Published As

Publication number Publication date
CN114841885A (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN114841885B (zh) 一种基于偏振图像数据的去雾融合处理方法
US9811884B2 (en) Methods and systems for suppressing atmospheric turbulence in images
CN109472818A (zh) 一种基于深度神经网络的图像去雾方法
CN110544213B (zh) 一种基于全局和局部特征融合的图像去雾方法
EP2873058B1 (en) Methods and systems for suppressing noise in images
CN107292830B (zh) 低照度图像增强及评价方法
CN112837233B (zh) 一种基于差分偏振获取透射率的偏振图像去雾方法
CN110163807B (zh) 一种基于期望亮通道的低照度图像增强方法
CN105989583B (zh) 一种图像去雾方法
CN111582074A (zh) 一种基于场景深度信息感知的监控视频树叶遮挡检测方法
CN107277299A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN112070691A (zh) 一种基于U-Net的图像去雾方法
CN112686829A (zh) 基于角度信息的4d光场全聚焦图像获取方法
CN112712482B (zh) 一种基于线性学习模型的图像去雾方法
Ling et al. Learning deep transmission network for efficient image dehazing
CN103870847A (zh) 一种低照度环境下对地监控的运动目标检测方法
CN107295261A (zh) 图像去雾处理方法、装置、存储介质和移动终端
CN107454319A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN112184566B (zh) 一种针对附着水雾水珠去除的图像处理方法和系统
CN107886480A (zh) 基于v系统的图像去雾方法
WO2015179841A1 (en) Methods and systems for suppressing atmospheric turbulence in images
Pavethra et al. Deep Learning approaches for Image Dehazing
Unnikrishnan et al. Non-Local Retinex Based Dehazing and Low Light Enhancement of Images.
Siddiqua et al. MACGAN: an all-in-one image restoration under adverse conditions using multidomain attention-based conditional GAN
Trivedi et al. Dark Channel Prior and Global Contrast Stretching based Hybrid Defogging Image Technique

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant