CN115293992B - 基于无监督权重深度模型的偏振图像去雾方法及装置 - Google Patents

基于无监督权重深度模型的偏振图像去雾方法及装置 Download PDF

Info

Publication number
CN115293992B
CN115293992B CN202211186406.4A CN202211186406A CN115293992B CN 115293992 B CN115293992 B CN 115293992B CN 202211186406 A CN202211186406 A CN 202211186406A CN 115293992 B CN115293992 B CN 115293992B
Authority
CN
China
Prior art keywords
image
layer
weight
feature
polarization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211186406.4A
Other languages
English (en)
Other versions
CN115293992A (zh
Inventor
孙波
马铜伟
叶壮
李道胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanzhou Institute of Equipment Manufacturing
Original Assignee
Quanzhou Institute of Equipment Manufacturing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanzhou Institute of Equipment Manufacturing filed Critical Quanzhou Institute of Equipment Manufacturing
Priority to CN202211186406.4A priority Critical patent/CN115293992B/zh
Publication of CN115293992A publication Critical patent/CN115293992A/zh
Application granted granted Critical
Publication of CN115293992B publication Critical patent/CN115293992B/zh
Priority to PCT/CN2023/106584 priority patent/WO2024066654A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于无监督权重深度模型的偏振图像去雾方法及装置，涉及图像去雾处理领域，以解纠缠的表示学习思想为起点，根据stokes理论，直接解算光波的偏振信息，将第一图像与第二图像直接输入无监督权重深度模型，依次经过编码层、融合层和解码层，输出得到去雾后的偏振图像，在模型训练方法上，通过在权重测量层内设计两个权重，从而考虑了不同模态信息的保留方式，将两个权重计入损失函数中对无监督权重深度模型进行训练，最终实现远距离场景去雾。采用分焦平面型偏振成像系统采集不同雾霾条件下的偏振图像，通过无监督权重深度模型进行偏振去雾处理，以解决目前图像去雾时对远距离场景去雾效果不佳的问题。

Description

基于无监督权重深度模型的偏振图像去雾方法及装置
技术领域
本发明涉及图像去雾处理领域，具体涉及一种基于无监督权重深度模型的偏振图像去雾方法及装置。
背景技术
由于雾霾以及大气污染等因素，图像去雾是计算机视觉领域的一个具有挑战性的课题，如目标检测与识别，视觉导航，自动驾驶等。学者们提出了许多方法来克服雾霾造成的图像退化。Schechner等人首次系统的证明，可以通过偏振成像来提高在低能见度天气下拍摄的图像的质量。其中大气退化模型更是广泛用于描述雾霾图像的形成。针对去雾问题开发的方法主要分为基于先验的方法、基于融合的方法和基于学习的方法。
1)基于先验的方法：
这些方法也称为手工制作的去雾方法，例如暗通道先验、颜色衰减先验、固有边界约束、局部平滑先验、雾线先验等，它们都基于大气退化模型。尽管这些方法具有显著的去雾性能，由于假设是预先确定的，因此在某些情况下难以实现良好的性能。例如，假设在暗通道中，除天空区域外，清晰图像的至少一个颜色通道具有一些强度非常低甚至接近零的像素。当场景对象类似于大气光(例如天空或白色建筑物)时，该方法就会出现透射函数过度估计的问题。
2)基于融合的方法：
这些方法的特点是在不使用大气退化模型的情况下恢复雾图像。Galdran引入了一种人工多曝光图像融合策略来恢复雾霾图像。首先从原始雾霾图像中获得多个过度曝光的图像，然后使用拉普拉斯金字塔分解方法将这些图像合并为无雾霾结果。高等提出了一种基于尺度不变特征变换流的自构造图像融合方法来恢复单个雾图像。Li等提出通过拉普拉斯金字塔将雾霾和无雾图像分解为多个尺度，利用高斯金字塔将传输图分解为多个尺度，建立了一种新的多尺度模糊图像模型。利用图像中的分层搜索方法估计全局大气光，通过估计传输映射，采用不同的降噪方法来恢复金字塔不同级别的场景辐射。最终折叠生成的金字塔以恢复去雾图像。但是融合生成的图像都不能很好地反映场景的深度信息，导致在存在严重烟雾的情况下，图像的去雾效果较差。
3)基于学习的方法：
最近，基于学习的去雾方法受到了广泛关注。Cai等首先提出通过卷积神经网络估计透射图，然后通过基于先验的方法估计大气光，以利用大气退化模型恢复清晰图像。Li等使用cGAN或基于编码器-解码器结构的网络直接恢复图像。然而，基于学习的方法是数据驱动的。这些方法的训练数据几乎总是依赖于合成的雾图像，场景发生变化时，去雾效果往往会出现失真，尤其是真实的雾图像。
现有的图像去雾深度模型采用无雾图像与合成雾霾图像对进行网络训练，同时深度网络很少考虑了不同模态信息的保留方式，往往采用相同的网络结构提取图像特征，并且强度图像对环境的依赖性较强，若出现烟尘环境、低能见度(如雾霾天气、水体环境)状况，则会带来低信噪比情形下的光学观测困难，可应用场景有限。
发明内容
针对上述提到的目前图像去雾时对远距离场景去雾效果不佳等问题。本发明的目的在于提出了一种基于无监督权重深度模型的偏振图像去雾方法及装置，来解决以上背景技术部分提到的技术问题。
第一方面，本发明提供了一种基于无监督权重深度模型的偏振图像去雾方法，包括以下步骤：
获取微偏振阵列图像，根据微偏振阵列图像得到第一图像和第二图像；
构建无监督权重深度模型并进行训练，得到经训练的无监督权重深度模型，无监督权重深度模型包括编码层、融合层、解码层和权重测量层，编码层、融合层和解码层依次连接，编码层包括卷积层和DenseNet网络，第一图像和第二图像分别输入编码层，得到第一特征和第二特征，第一特征和第二特征输入融合层进行特征拼接，得到拼接特征，拼接特征输入解码层，输出得到去雾后的偏振图像，在训练过程中，权重测量层根据去雾后的偏振图像以及第一图像和第二图像进行无监督训练；
在应用中，将第一图像和第二图像输入经训练的无监督权重深度模型，经过编码层、融合层和解码层，得到去雾后的偏振图像。
作为优选，权重测量层包括特征提取部分、信息测量部分、信息保存度部分和损失函数部分，将第一图像和第二图像分别输入特征提取部分，得到第一特征图和第二特征图，第一特征图和第二特征图分别输入信息测量部分，对第一特征图和第二特征图的梯度进行评估，得到第一评估值和第二评估值，将第一评估值和第二评估值输入信息保存度部分，得到第一权重和第二权重，在损失函数部分，将第一权重和第二权重结合去雾后的偏振图像分别与第一图像和第二图像之间的结构相似性计算相似性损失，将第一权重和第二权重结合去雾后的偏振图像分别与第一图像和第二图像之间的均方误差计算均方误差损失。
作为优选，特征提取部分采用VGG19网络进行特征提取，将第一图像和第二图像分别输入VGG19网络，并将VGG19网络的最大池化层之前的卷积层的输出作为第一特征图和第二特征图。
作为优选，在信息测量部分中，对第一特征图和第二特征图的梯度进行评估的公式如下：
Figure GDA0003943170530000031
其中，
Figure GDA0003943170530000032
为第一特征图SD或第二特征图S0在VGG19网络中第j个最大池化层之前的卷积层的特征映射，k表示Dj通道的第k个通道的特征映射，||·||F表示Frobenius范数，
Figure GDA0003943170530000033
表示拉普拉斯算子，S为第一特征图SD或第二特征图S0，Hj表示第j个最大池化层之前的卷积层的特征映射的高度，Wj表示第j个最大池化层之前的卷积层的特征映射的宽度，得到第一评估值
Figure GDA0003943170530000034
和第二评估值
Figure GDA0003943170530000035
在信息保存度部分中，使用softmax函数映射权重
Figure GDA0003943170530000036
和
Figure GDA0003943170530000037
得到第一权重
Figure GDA0003943170530000038
和第二权重
Figure GDA0003943170530000039
公式如下：
Figure GDA00039431705300000310
其中，c表示预定义的正常数。
作为优选，在损失函数部分中，
采用以下公式计算相似性损失：
Figure GDA00039431705300000311
其中，θ表示网络主体的参数，D表示训练数据集，E表示对括号内部的输出进行平均，
Figure GDA0003943170530000041
和
Figure GDA0003943170530000042
分别表示去雾后的偏振图像If和第一图像I1之间的结构相似性以及去雾后的偏振图像If和第二图像I2之间的结构相似性；
同时将均方误差作为去雾后的偏振图像分别与第一图像和第二图像之间的强度分布约束，公式如下：
Figure GDA0003943170530000043
其中，
Figure GDA0003943170530000044
和
Figure GDA0003943170530000045
分别表示去雾后的偏振图像If和第一图像I1之间的结构相似性值以及去雾后的偏振图像If和第二图像之间的结构相似性值I2。
作为优选，融合层采用残差结构将第一特征和第二特征进行拼接，解码层包括4个卷积层，除最后一层外，其他层选择ReLU激活函数，每个卷积层的内核为3×3。
作为优选，根据微偏振阵列图像得到第一图像和第二图像，具体包括：
根据微偏振阵列图像分别求取0°、45°、90°和135°四个不同偏振方向的偏振图像信息，公式如下：
I0(x，y)＝Iorig(2x，2y)；
I45(x，y)＝Iorig(2x，2y+1)；
I90(x，y)＝Iorig(2x+1，2y+1)；
I135(x，y)＝Iorig(2x+1，2y)；
其中，x，y为像素位置索引，Iorig为微偏振阵列图像；
依据stokes理论，得到stokes参量S0、S1、S2，公式如下：
Figure GDA0003943170530000051
Figure GDA0003943170530000052
Figure GDA0003943170530000053
Figure GDA0003943170530000054
Figure GDA0003943170530000055
其中，θ’为偏振角度0°、45°、90°和135°，代入进而得到S0、S1、S2、偏振度DoP以及偏振角AoP，公式如下：
Figure GDA0003943170530000056
S1＝I(0)-I(90)
S2＝I(45)-I(135)
Figure GDA0003943170530000057
Figure GDA0003943170530000058
将偏振度图像DoP作为第一图像I1，将大气图像S0作为第二图像I2。
第二方面，本发明提供了一种基于无监督权重深度模型的偏振图像去雾装置，包括：
图像获取模块，被配置为获取微偏振阵列图像，根据微偏振阵列图像得到第一图像和第二图像；
模型构建训练模块，被配置为构建无监督权重深度模型并进行训练，得到经训练的无监督权重深度模型，无监督权重深度模型包括编码层、融合层、解码层和权重测量层，编码层、融合层和解码层依次连接，编码层包括卷积层和DenseNet网络，第一图像和第二图像分别输入编码层，得到第一特征和第二特征，第一特征和第二特征输入融合层进行特征拼接，得到拼接特征，拼接特征输入解码层，输出得到去雾后的偏振图像，在训练过程中，权重测量层根据去雾后的偏振图像以及第一图像和第二图像进行无监督训练；
应用模块，被配置为在应用中，将第一图像和第二图像输入经训练的无监督权重深度模型，经过编码层、融合层和解码层，得到去雾后的偏振图像。
第三方面，本发明提供了一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
相比于现有技术，本发明具有以下有益效果：
(1)本发明采用分焦平面型偏振成像系统采集不同雾霾条件下的偏振雾霾图像以及无雾图像，可以为无监督权重深度模型提供地面真值，同时利用光波的第三维偏振信息与大气光无光的特性，可以有效的解决目前主流的去雾方法无法对远距离场景去雾的问题。
(2)本发明在无监督权重深度模型中加入权重测量层，考虑了不同模态信息的保留方式，充分的利用不同模态信息的互补信息，不依赖图像必须包含天空区域的约束，极大的扩展了应用场景，可用于雨雾尘雪等复杂天气条件下的去雾任务。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的一个实施例可以应用于其中的示例性装置架构图；
图2为本发明的实施例的基于无监督权重深度模型的偏振图像去雾方法的流程示意图；
图3为本发明的实施例的基于无监督权重深度模型的偏振图像去雾方法的微偏振阵列图像的示意图；
图4为本发明的实施例的基于无监督权重深度模型的偏振图像去雾方法的无监督权重深度模型的框架图；
图5为本发明的实施例的基于无监督权重深度模型的偏振图像去雾方法的无监督权重深度模型的Densenet网络的示意图；
图6为本发明的实施例的基于无监督权重深度模型的偏振图像去雾方法的无监督权重深度模型的融合层的示意图；
图7为本发明的实施例的基于无监督权重深度模型的偏振图像去雾方法的大气图像；
图8为本发明的实施例的基于无监督权重深度模型的偏振图像去雾方法的去雾后的偏振图像；
图9为本发明的实施例的基于无监督权重深度模型的偏振图像去雾装置的示意图；
图10是适于用来实现本申请实施例的电子设备的计算机装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示出了可以应用本申请实施例的基于无监督权重深度模型的偏振图像去雾方法或基于无监督权重深度模型的偏振图像去雾装置的示例性装置架构100。
如图1所示，装置架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种应用，例如数据处理类应用、文件处理类应用等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上传的文件或数据进行处理的后台数据处理服务器。后台数据处理服务器可以对获取的文件或数据进行处理，生成处理结果。
需要说明的是，本申请实施例所提供的基于无监督权重深度模型的偏振图像去雾方法可以由服务器105执行，也可以由终端设备101、102、103执行，相应地，基于无监督权重深度模型的偏振图像去雾装置可以设置于服务器105中，也可以设置于终端设备101、102、103中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在所处理的数据不需要从远程获取的情况下，上述装置架构可以不包括网络，而只需服务器或终端设备。
图2示出了本申请的实施例提供的一种基于无监督权重深度模型的偏振图像去雾方法，包括以下步骤：
T1，获取微偏振阵列图像，根据微偏振阵列图像得到第一图像和第二图像。
在具体的实施例中，微偏振阵列图像通过分焦平面型偏振成像系统得到，参考图3，该微偏振阵列图像由具有0°、45°、90°和135°四个不同偏振方向的偏振图像信息组成，根据微偏振阵列图像得到第一图像和第二图像，具体包括：
根据微偏振阵列图像分别求取0°、45°、90°和135°四个不同偏振方向的偏振图像信息，公式如下：
I0(x，y)＝Iorig(2x，2y)；
I45(x，y)＝Iorig(2x，2y+1)；
I90(x，y)＝Iorig(2x+1，2y+1)；
I135(x，y)＝Iorig(2x+1，2y)；
其中，x，y为像素位置索引，Iorig为微偏振阵列图像；
依据stokes理论，得到stokes参量S0、S1、S2，公式如下：
Figure GDA0003943170530000091
Figure GDA0003943170530000092
Figure GDA0003943170530000093
Figure GDA0003943170530000094
Figure GDA0003943170530000095
其中，θ’为偏振角度0°、45°、90°和135°，代入进而得到S0、S1、S2、偏振度图像DoP以及偏振角图像AoP，公式如下：
Figure GDA0003943170530000096
S1＝I(0)-I(90)
S2＝I(45)-I(135)
Figure GDA0003943170530000097
Figure GDA0003943170530000098
将偏振度图像DoP作为第一图像I1，将大气图像S0作为第二图像I2。
T2，构建无监督权重深度模型并进行训练，得到经训练的无监督权重深度模型，无监督权重深度模型包括编码层、融合层、解码层和权重测量层，编码层、融合层和解码层依次连接，编码层包括卷积层和DenseNet网络，第一图像和第二图像分别输入编码层，得到第一特征和第二特征，第一特征和第二特征输入融合层进行特征拼接，得到拼接特征，拼接特征输入解码层，输出得到去雾后的偏振图像，在训练过程中，权重测量层根据去雾后的偏振图像以及第一图像和第二图像进行无监督训练。
在具体的实施例中，参考图4-6，编码层中的卷积层用于提取粗糙特征，再通过DenseNet网络提取对应于第一图像和第二图像的深度和高维特征，即第一特征和第二特征，可以保存更多的特征信息。具体的，图4中所有卷积核的大小均为3×3，将第一图像I1与第二图像I2分别输入到一层具有16个输出通道的卷积层C1，以提取整体轮廓特征，激活函数选择ReLU函数，输出分别表示为CI1与CI2；然后将CI1与CI2输入DenseNet，如图5所示，其中，DenseNet网络包含三个卷积层，卷积核的大小为3×3，输出通道为16，每层的激活函数选择ReLU函数，每层的输出级联为下一层的输入，经过DenseNet后得到的输出分别表示为DCI1与DCI2，特征映射为56×56×64。参考图6，融合层采用残差结构，残差结构的计算可以表示为：
Figure GDA0003943170530000101
其中，i∈{1，2，3，…，64}，
Figure GDA0003943170530000102
和
Figure GDA0003943170530000103
被相应的输入融合层中，残差结构由三层卷积层构成，卷积核为3×3，输出通道分别为2、2、1，得到的特征映射表示为Fusion，大小为56×56×64；融合层采用残差结构将第一特征和第二特征进行拼接，可以加速网络训练阶段的收敛速度。然后将Fusion输入到解码层Decode中，解码层由4层卷积层组成，卷积核的大小为3×3，输出通道分别为64、32、16、1，除最后一层外，其它层使用ReLU激活函数，得到的特征映射表示为If，大小为56×56×1，即为最终的输出。解码层可以保证最终输出的去雾后的偏振图像的分辨率与输入图像一致。
在具体的实施例中，权重测量层包括特征提取部分、信息测量部分、信息保存度部分和损失函数部分，将第一图像和第二图像分别输入特征提取部分，得到第一特征图和第二特征图，第一特征图和第二特征图分别输入信息测量部分，对第一特征图和第二特征图的梯度进行评估，得到第一评估值和第二评估值，将第一评估值和第二评估值输入信息保存度部分，得到第一权重和第二权重，在损失函数部分，将第一权重和第二权重结合去雾后的偏振图像分别与第一图像和第二图像之间的结构相似性计算相似性损失，将第一权重和第二权重结合去雾后的偏振图像分别与第一图像和第二图像之间的均方误差计算均方误差损失。
具体的，特征提取部分采用VGG19网络进行特征提取，将第一图像和第二图像分别输入VGG19网络，并将VGG19网络的最大池化层之前的卷积层的输出作为第一特征图和第二特征图。
具体的，在信息测量部分中，为了测量提取的特征图中包含的信息，对第一特征图和第二特征图的梯度进行评估的公式如下：
Figure GDA0003943170530000111
其中，
Figure GDA0003943170530000112
为第一特征图SD或第二特征图S0在VGG19网络中第j个最大池化层之前的卷积层的特征映射，k表示Dj通道的第k个通道的特征映射，||·||F表示Frobenius范数，
Figure GDA0003943170530000113
表示拉普拉斯算子，S为第一特征图SD或第二特征图S0，Hj表示第j个最大池化层之前的卷积层的特征映射的高度，Wj表示第j个最大池化层之前的卷积层的特征映射的宽度，得到第一评估值
Figure GDA0003943170530000114
和第二评估值
Figure GDA0003943170530000115
在信息保存度部分中，同时可以实现在计算和存储方面的高效性，为了尽可能保留输入图像中的有效信息，用信息保留度定义两个自适应权值，使用softmax函数映射权重
Figure GDA0003943170530000116
和
Figure GDA0003943170530000117
得到第一权重
Figure GDA0003943170530000118
和第二权重
Figure GDA0003943170530000119
公式如下：
Figure GDA00039431705300001110
其中，c表示预定义的正常数。本申请的实施例将softmax函数映射权重
Figure GDA00039431705300001111
和
Figure GDA00039431705300001112
转换为0到1之间的实数，并保证两个权重
Figure GDA00039431705300001113
和
Figure GDA00039431705300001114
之和为1，然后利用权重值控制输入图像的信息保存程度。
具体的，在损失函数部分中，损失函数主要用于保存重要信息和训练深度模型，使用结构相似性指标作为去雾后的偏振图像If分别与第一图像I1和第二图像I2之间的相似性损失。
采用以下公式计算相似性损失：
Figure GDA00039431705300001115
其中，θ表示网络主体的参数，D表示训练数据集，E表示对括号内部的输出进行平均，
Figure GDA0003943170530000121
和
Figure GDA0003943170530000122
分别表示去雾后的偏振图像If和第一图像I1之间的结构相似性以及去雾后的偏振图像If和第二图像I2之间的结构相似性；
同时将均方误差作为去雾后的偏振图像分别与第一图像和第二图像之间的强度分布约束，公式如下：
Figure GDA0003943170530000123
其中，
Figure GDA0003943170530000124
和
Figure GDA0003943170530000125
分别表示去雾后的偏振图像If和第一图像I1之间的结构相似性值以及去雾后的偏振图像If和第二图像I2之间的结构相似性值。
通过分焦平面型偏振成像系统采集不同雾霾条件下的偏振雾霾图像以及无雾图像，构成无监督权重深度模型的训练集，来实现利用地面真值对无监督权重深度模型的训练，进一步提高无监督权重深度模型在真实场景应用时的性能。具体的训练过程与常规训练过程一致，在此不再赘述。
T3，在应用中，将第一图像和第二图像输入经训练的无监督权重深度模型，经过编码层、融合层和解码层，得到去雾后的偏振图像。
具体的，参考图7和图8，图7为第二图像，图8为去雾后的偏振图像，经过本申请的实施例的无监督权重深度模型，可有效实现对偏振图像的去雾。
本申请的实施例以解纠缠的表示学习思想为起点，根据stokes理论，直接解算光波的偏振信息，将第二图像与第一图像直接输入编码层，在模型训练方法上，设计两个权重因子，从而考虑了不同模态信息的保留方式，将权重因子计入损失函数中对无监督权重深度模型进行训练，最终实现远距离场景去雾。采用分焦平面型偏振成像系统采集不同雾霾条件下的偏振图像，通过无监督权重深度模型进行偏振去雾处理，与目前主流的去雾算法进行对比，在峰值信噪比(PSNR)、结构相似性指标(SSIM)、均方根误差(RMSE)以及信息熵等评估指标下表现出良好的效果，不依赖对图像必须包含天空区域的约束，极大的扩展了应用场景。
进一步参考图9，作为对上述各图所示方法的实现，本申请提供了一种基于无监督权重深度模型的偏振图像去雾装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
本申请实施例提供了一种基于无监督权重深度模型的偏振图像去雾装置，包括：
图像获取模块1，被配置为获取微偏振阵列图像，根据微偏振阵列图像得到第一图像和第二图像；
模型构建训练模块2，被配置为构建无监督权重深度模型并进行训练，得到经训练的无监督权重深度模型，无监督权重深度模型包括编码层、融合层、解码层和权重测量层，编码层、融合层和解码层依次连接，编码层包括卷积层和DenseNet网络，第一图像和第二图像分别输入编码层，得到第一特征和第二特征，第一特征和第二特征输入融合层进行特征拼接，得到拼接特征，拼接特征输入解码层，输出得到去雾后的偏振图像，在训练过程中，权重测量层根据去雾后的偏振图像以及第一图像和第二图像进行无监督训练；
应用模块3，被配置为在应用中，将第一图像和第二图像输入经训练的无监督权重深度模型，经过编码层、融合层和解码层，得到去雾后的偏振图像。
下面参考图10，其示出了适于用来实现本申请实施例的电子设备(例如图1所示的服务器或终端设备)的计算机装置1000的结构示意图。图10示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图10所示，计算机装置1000包括中央处理单元(CPU)1001和图形处理器(GPU)1002，其可以根据存储在只读存储器(ROM)1003中的程序或者从存储部分1009加载到随机访问存储器(RAM)1004中的程序而执行各种适当的动作和处理。在RAM 1004中，还存储有装置1000操作所需的各种程序和数据。CPU 1001、GPU1002、ROM 1003以及RAM 1004通过总线1005彼此相连。输入/输出(I/O)接口1006也连接至总线1005。
以下部件连接至I/O接口1006：包括键盘、鼠标等的输入部分1007；包括诸如、液晶显示器(LCD)等以及扬声器等的输出部分1008；包括硬盘等的存储部分1009；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1010。通信部分1010经由诸如因特网的网络执行通信处理。驱动器1011也可以根据需要连接至I/O接口1006。可拆卸介质1012，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1011上，以便于从其上读出的计算机程序根据需要被安装入存储部分1009。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1010从网络上被下载和安装，和/或从可拆卸介质1012被安装。在该计算机程序被中央处理单元(CPU)1001和图形处理器(GPU)1002执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线或半导体的装置、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，也可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，该模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取微偏振阵列图像，根据微偏振阵列图像得到第一图像和第二图像；构建无监督权重深度模型并进行训练，得到经训练的无监督权重深度模型，无监督权重深度模型包括编码层、融合层、解码层和权重测量层，编码层、融合层和解码层依次连接，编码层包括卷积层和DenseNet网络，第一图像和第二图像分别输入编码层，得到第一特征和第二特征，第一特征和第二特征输入融合层进行特征拼接，得到拼接特征，拼接特征输入解码层，输出得到去雾后的偏振图像，在训练过程中，权重测量层根据去雾后的偏振图像以及第一图像和第二图像进行无监督训练；在应用中，将第一图像和第二图像输入经训练的无监督权重深度模型，经过编码层、融合层和解码层，得到去雾后的偏振图像。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (5)

1.一种基于无监督权重深度模型的偏振图像去雾方法，其特征在于，包括以下步骤：
获取微偏振阵列图像，根据所述微偏振阵列图像得到第一图像和第二图像；
构建无监督权重深度模型并进行训练，得到经训练的所述无监督权重深度模型，所述无监督权重深度模型包括编码层、融合层、解码层和权重测量层，所述编码层、融合层和解码层依次连接，所述编码层包括卷积层和DenseNet网络，所述第一图像和第二图像分别输入所述编码层，得到第一特征和第二特征，所述第一特征和第二特征输入所述融合层进行特征拼接，得到拼接特征，所述融合层采用残差结构将所述第一特征和第二特征进行拼接；所述拼接特征输入所述解码层，输出得到去雾后的偏振图像，所述解码层包括4个卷积层，除最后一层外，其他层选择ReLU激活函数，每个卷积层的内核为3×3；在训练过程中，所述权重测量层根据所述去雾后的偏振图像以及第一图像和第二图像进行无监督训练，所述权重测量层包括特征提取部分、信息测量部分、信息保存度部分和损失函数部分，所述第一图像和第二图像分别输入所述特征提取部分，得到第一特征图和第二特征图，所述特征提取部分采用VGG19网络进行特征提取，将所述第一图像和第二图像分别输入所述VGG19网络，并将所述VGG19网络的最大池化层之前的卷积层的输出作为所述第一特征图和第二特征图；将所述第一特征图和第二特征图分别输入所述信息测量部分，对所述第一特征图和第二特征图的梯度进行评估，得到第一评估值和第二评估值，在所述信息测量部分中，对所述第一特征图和第二特征图的梯度进行评估的公式如下：
Figure FDA0003943170520000011
其中，
Figure FDA0003943170520000012
为第一特征图SD或第二特征图S0在所述VGG19网络中第j个最大池化层之前的卷积层的特征映射，k表示Dj通道的第k个通道的特征映射，||·||F表示Frobenius范数，
Figure FDA0003943170520000013
表示拉普拉斯算子，S为第一特征图SD或第二特征图S0，Hj表示第j个最大池化层之前的卷积层的特征映射的高度，Wj表示第j个最大池化层之前的卷积层的特征映射的宽度，得到第一评估值
Figure FDA0003943170520000014
和第二评估值
Figure FDA0003943170520000015
将所述第一评估值和第二评估值输入所述信息保存度部分，得到第一权重和第二权重，在所述信息保存度部分中，使用softmax函数映射权重
Figure FDA0003943170520000021
和
Figure FDA0003943170520000022
得到第一权重
Figure FDA0003943170520000023
和第二权重
Figure FDA0003943170520000024
公式如下：
Figure FDA0003943170520000025
其中，c表示预定义的正常数；
在所述损失函数部分，将所述第一权重和第二权重结合所述去雾后的偏振图像分别与第一图像和第二图像之间的结构相似性计算相似性损失，将所述第一权重和第二权重结合所述去雾后的偏振图像分别与第一图像和第二图像之间的均方误差计算均方误差损失，采用以下公式计算相似性损失：
Figure FDA0003943170520000026
其中，θ表示网络主体的参数，D表示训练数据集，E表示对括号内部的输出进行平均，
Figure FDA0003943170520000027
和
Figure FDA0003943170520000028
分别表示所述去雾后的偏振图像If和第一图像I1之间的结构相似性以及所述去雾后的偏振图像If和第二图像I2之间的结构相似性；
同时将均方误差作为所述去雾后的偏振图像分别与第一图像和第二图像之间的强度分布约束，公式如下：
Figure FDA0003943170520000029
其中，
Figure FDA00039431705200000210
和
Figure FDA00039431705200000211
分别表示所述去雾后的偏振图像If和第一图像I1之间的结构相似性值以及所述去雾后的偏振图像If和第二图像I2之间的结构相似性值；
在应用中，将所述第一图像和第二图像输入经训练的所述无监督权重深度模型，经过编码层、融合层和解码层，得到去雾后的偏振图像。
2.根据权利要求1所述的基于无监督权重深度模型的偏振图像去雾方法，其特征在于，所述根据所述微偏振阵列图像得到第一图像和第二图像，具体包括：
根据所述微偏振阵列图像分别求取0°、45°、90°和135°四个不同偏振方向的偏振图像信息，公式如下：
I0(x，y)＝Iorig(2x，2y)；
I45(x，y)＝Iorig(2x，2y+1)；
I90(x，y)＝Iorig(2x+1，2y+1)；
I135(x，y)＝Iorig(2x+1，2y)；
其中，x，y为像素位置索引，Iorig为所述微偏振阵列图像；
依据stokes理论，得到stokes参量S0、S1、S2，公式如下：
Figure FDA0003943170520000031
Figure FDA0003943170520000032
Figure FDA0003943170520000033
Figure FDA0003943170520000034
Figure FDA0003943170520000035
其中，θ’为偏振角度0°、45°、90°和135°，代入进而得到S0、S1、S2、偏振度DoP以及偏振角AoP，公式如下：
Figure FDA0003943170520000041
S1＝I(0)-I(90)
S2＝I(45)-I(135)
Figure FDA0003943170520000042
Figure FDA0003943170520000043
将偏振度图像DoP作为第一图像I1，将大气图像S0作为第二图像I2。
3.一种基于无监督权重深度模型的偏振图像去雾装置，其特征在于，包括：
图像获取模块，被配置为获取微偏振阵列图像，根据所述微偏振阵列图像得到第一图像和第二图像；
模型构建训练模块，被配置为构建无监督权重深度模型并进行训练，得到经训练的所述无监督权重深度模型，所述无监督权重深度模型包括编码层、融合层、解码层和权重测量层，所述编码层、融合层和解码层依次连接，所述编码层包括卷积层和DenseNet网络，所述第一图像和第二图像分别输入所述编码层，得到第一特征和第二特征，所述第一特征和第二特征输入所述融合层进行特征拼接，得到拼接特征，所述融合层采用残差结构将所述第一特征和第二特征进行拼接；所述拼接特征输入所述解码层，输出得到去雾后的偏振图像，所述解码层包括4个卷积层，除最后一层外，其他层选择ReLU激活函数，每个卷积层的内核为3×3；在训练过程中，所述权重测量层根据所述去雾后的偏振图像以及第一图像和第二图像进行无监督训练，所述权重测量层包括特征提取部分、信息测量部分、信息保存度部分和损失函数部分，所述第一图像和第二图像分别输入所述特征提取部分，得到第一特征图和第二特征图，所述特征提取部分采用VGG19网络进行特征提取，将所述第一图像和第二图像分别输入所述VGG19网络，并将所述VGG19网络的最大池化层之前的卷积层的输出作为所述第一特征图和第二特征图；将所述第一特征图和第二特征图分别输入所述信息测量部分，对所述第一特征图和第二特征图的梯度进行评估，得到第一评估值和第二评估值，在所述信息测量部分中，对所述第一特征图和第二特征图的梯度进行评估的公式如下：
Figure FDA0003943170520000051
其中，
Figure FDA0003943170520000052
为第一特征图SD或第二特征图S0在所述VGG19网络中第j个最大池化层之前的卷积层的特征映射，k表示Dj通道的第k个通道的特征映射，||·||F表示Frobenius范数，
Figure FDA0003943170520000053
表示拉普拉斯算子，S为第一特征图SD或第二特征图S0，Hj表示第j个最大池化层之前的卷积层的特征映射的高度，Wj表示第j个最大池化层之前的卷积层的特征映射的宽度，得到第一评估值
Figure FDA0003943170520000054
和第二评估值
Figure FDA0003943170520000055
将所述第一评估值和第二评估值输入所述信息保存度部分，得到第一权重和第二权重，在所述信息保存度部分中，使用softmax函数映射权重
Figure FDA0003943170520000056
和
Figure FDA0003943170520000057
得到第一权重
Figure FDA0003943170520000058
和第二权重
Figure FDA0003943170520000059
公式如下：
Figure FDA00039431705200000510
其中，c表示预定义的正常数；
在所述损失函数部分，将所述第一权重和第二权重结合所述去雾后的偏振图像分别与第一图像和第二图像之间的结构相似性计算相似性损失，将所述第一权重和第二权重结合所述去雾后的偏振图像分别与第一图像和第二图像之间的均方误差计算均方误差损失，采用以下公式计算相似性损失：
Figure FDA00039431705200000511
其中，θ表示网络主体的参数，D表示训练数据集，E表示对括号内部的输出进行平均，
Figure FDA00039431705200000512
和
Figure FDA00039431705200000513
分别表示所述去雾后的偏振图像If和第一图像I1之间的结构相似性以及所述去雾后的偏振图像If和第二图像I2之间的结构相似性；
同时将均方误差作为所述去雾后的偏振图像分别与第一图像和第二图像之间的强度分布约束，公式如下：
Figure FDA0003943170520000061
其中，
Figure FDA0003943170520000062
和
Figure FDA0003943170520000063
分别表示所述去雾后的偏振图像If和第一图像I1之间的结构相似性值以及所述去雾后的偏振图像If和第二图像I2之间的结构相似性值；
应用模块，被配置为在应用中，将所述第一图像和第二图像输入经训练的所述无监督权重深度模型，经过编码层、融合层和解码层，得到去雾后的偏振图像。
4.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-2中任一所述的方法。
5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-2中任一所述的方法。
CN202211186406.4A 2022-09-28 2022-09-28 基于无监督权重深度模型的偏振图像去雾方法及装置 Active CN115293992B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211186406.4A CN115293992B (zh) 2022-09-28 2022-09-28 基于无监督权重深度模型的偏振图像去雾方法及装置
PCT/CN2023/106584 WO2024066654A1 (zh) 2022-09-28 2023-07-10 基于无监督权重深度模型的偏振图像去雾方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211186406.4A CN115293992B (zh) 2022-09-28 2022-09-28 基于无监督权重深度模型的偏振图像去雾方法及装置

Publications (2)

Publication Number Publication Date
CN115293992A CN115293992A (zh) 2022-11-04
CN115293992B true CN115293992B (zh) 2022-12-30

Family

ID=83834174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211186406.4A Active CN115293992B (zh) 2022-09-28 2022-09-28 基于无监督权重深度模型的偏振图像去雾方法及装置

Country Status (2)

Country Link
CN (1) CN115293992B (zh)
WO (1) WO2024066654A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115293992B (zh) * 2022-09-28 2022-12-30 泉州装备制造研究所 基于无监督权重深度模型的偏振图像去雾方法及装置
CN117911282B (zh) * 2024-03-19 2024-05-28 华中科技大学 一种图像去雾模型的构建方法及应用

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110544213A (zh) * 2019-08-06 2019-12-06 天津大学 一种基于全局和局部特征融合的图像去雾方法
CN110570371A (zh) * 2019-08-28 2019-12-13 天津大学 一种基于多尺度残差学习的图像去雾方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1977393A4 (en) * 2006-01-18 2013-05-08 Technion Res & Dev Foundation SYSTEM AND METHOD OF DEFLECTING
CN112419163B (zh) * 2019-08-21 2023-06-30 中国人民解放军火箭军工程大学 一种基于先验知识和深度学习的单张图像弱监督去雾方法
AU2020100274A4 (en) * 2020-02-25 2020-03-26 Huang, Shuying DR A Multi-Scale Feature Fusion Network based on GANs for Haze Removal
CN111738942A (zh) * 2020-06-10 2020-10-02 南京邮电大学 一种融合特征金字塔的生成对抗网络图像去雾方法
CN113674190B (zh) * 2021-08-20 2022-09-16 中国人民解放军国防科技大学 基于密集连接生成对抗网络的图像融合方法和装置
CN114004760A (zh) * 2021-10-22 2022-02-01 北京工业大学 图像去雾方法、电子设备、存储介质和计算机程序产品
CN114841885B (zh) * 2022-05-10 2023-03-10 中国矿业大学(北京) 一种基于偏振图像数据的去雾融合处理方法
CN115293992B (zh) * 2022-09-28 2022-12-30 泉州装备制造研究所 基于无监督权重深度模型的偏振图像去雾方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110544213A (zh) * 2019-08-06 2019-12-06 天津大学 一种基于全局和局部特征融合的图像去雾方法
CN110570371A (zh) * 2019-08-28 2019-12-13 天津大学 一种基于多尺度残差学习的图像去雾方法

Also Published As

Publication number Publication date
CN115293992A (zh) 2022-11-04
WO2024066654A1 (zh) 2024-04-04

Similar Documents

Publication Publication Date Title
CN115293992B (zh) 基于无监督权重深度模型的偏振图像去雾方法及装置
Wang et al. Fast image dehazing method based on linear transformation
CN111079764B (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN104217404A (zh) 雾霾天视频图像清晰化处理方法及其装置
WO2023082453A1 (zh) 一种图像处理方法及装置
CN112581409B (zh) 一种基于端到端的多重信息蒸馏网络的图像去雾方法
CN115272306B (zh) 利用梯度运算的太阳能电池板栅线增强方法
Hu et al. Single image dehazing algorithm based on sky segmentation and optimal transmission maps
CN116503709A (zh) 一种基于改进YOLOv5的雾霾天气下车辆检测方法
CN113393385B (zh) 基于多尺度融合的无监督去雨方法、系统、装置及介质
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
Wang et al. Afdn: Attention-based feedback dehazing network for UAV remote sensing image haze removal
CN115810112A (zh) 图像处理方法、装置及存储介质、电子设备
Nouduri et al. Deep realistic novel view generation for city-scale aerial images
CN116258756B (zh) 一种自监督单目深度估计方法及系统
CN112052863B (zh) 一种图像检测方法及装置、计算机存储介质、电子设备
CN113744152A (zh) 一种潮水图像去噪处理方法、终端及计算机可读存储介质
Gao et al. Air infrared small target local dehazing based on multiple-factor fusion cascade network
CN113920317A (zh) 基于可见光图像和低分辨率深度图像的语义分割方法
CN112734675A (zh) 一种基于金字塔模型和非局部增强密集块的图像去雨方法
Chen et al. Multi‐scale single image dehazing based on the fusion of global and local features
Yi et al. Progressive back-traced dehazing network based on multi-resolution recurrent reconstruction
Gao et al. CP-Net: Channel attention and pixel attention network for single image dehazing
CN116681625B (zh) 基于多尺度对比学习的无监督图像去雨方法、装置及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant