CN113808039B - 基于高斯过程映射的迁移学习去雾方法与系统 - Google Patents
基于高斯过程映射的迁移学习去雾方法与系统 Download PDFInfo
- Publication number
- CN113808039B CN113808039B CN202111053323.3A CN202111053323A CN113808039B CN 113808039 B CN113808039 B CN 113808039B CN 202111053323 A CN202111053323 A CN 202111053323A CN 113808039 B CN113808039 B CN 113808039B
- Authority
- CN
- China
- Prior art keywords
- encoder
- dimension
- matrix
- image
- hazy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000013508 migration Methods 0.000 title claims abstract description 36
- 230000005012 migration Effects 0.000 title claims abstract description 36
- 238000012367 process mapping Methods 0.000 title claims abstract description 22
- 238000010586 diagram Methods 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 27
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 122
- 230000009467 reduction Effects 0.000 claims description 33
- 230000009466 transformation Effects 0.000 claims description 24
- 238000013480 data collection Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000013526 transfer learning Methods 0.000 claims description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 8
- 238000012545 processing Methods 0.000 abstract description 3
- 238000013507 mapping Methods 0.000 abstract description 2
- 230000001419 dependent effect Effects 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 239000003595 mist Substances 0.000 description 2
- 235000008694 Humulus lupulus Nutrition 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于高斯过程映射的迁移学习去雾方法与系统。包括：数据集收集和处理，搭建去雾网络包括编码器模块和解码器模块，通过将有雾图和无雾图输入，获得相应的编码器、解码器参数，进行高斯迁移计算，得到预测值，最终得到去雾图。本发明提供一种能够通过基于高斯过程的迁移学习进行去雾的框架，解决数据域漂移带来的在合成数据上训练模型存在偏差的问题，同时通过迁移学习以及在隐空间中建立函数关系来实现有雾图和无雾图在神经网络上的重建，神经网络的参数可以视为将两个数据域参数化，同时将隐空间中的特征以向量形式储存。在隐空间中建立映射，解决卷积的特征空间难以建立函数关系的问题。
Description
技术领域
本发明涉及计算机视觉、图像处理、图像去雾领域，具体涉及基于高斯过程映射的迁移学习去雾方法、系统、设备及存储介质。
背景技术
雾霾是大气中常见的现象，它是由悬浮在空气中的微小水滴或颗粒对大气光和场景光的散射造成的。在有雾天气时，摄像头拍摄的图像和视频对比度降低和颜色褪化。而图像质量的降低会对视频监控、智能车辆等各种视觉应用产生不利影响。因此，单幅图像去雾在实践中具有重要意义。
目前，研究人员在去雾方面做出了很多努力。他们通过观察无雾和雾图像对之间的差异来提取特征或总结出一些统计规律，如暗通道先验(DCP)、雾线(HL)等。然而，由于现实世界的场景复杂多变，这些先验假设有时会失效。近年来，基于各种深度神经网络和学习策略，深度去雾方法大幅提高了去雾的性能。但是，神经网络训练过程需要大量成对数据，而现实中成对的数据几乎难以得到，虽然合成数据在一定程度上缓解了该问题。但是，由于域漂移问题的存在，从合成数据中学习到的模型通常对真世界的有雾图像失效。此外，隐空间对图像的生成具有决定性作用，目前的深度去雾模型使用的是将有雾图直接映射到无雾图，忽略了在隐空间中有雾图和无雾图之间可能存在的关系。因此，研究人员不得不设计特殊的网络结构或特定的注意力机制来避免性能的退化。
目前的现有技术之一是一个用于单幅图去雾的域适应框架，该框架包括两部分，即图像变换模块和两个与域相关的去雾模块(一个用于合成域，另一个用于真实域)。为了减少域之间的差异，该方法首先采用双向图像变换网络将图像从一个域变换到另一个域。由于雾是一种高度依赖于场景深度的噪声且非均匀分布，他们将深度信息纳入到变换网络中来引导合成到真实雾图。然后，域相关去雾网络将该域的图像(包括原始图像和变换后的图像)作为输入来执行图像去雾。此外，他们使用一致性损失来确保两个去雾网络产生一致的结果。在训练阶段，为了进一步提高网络在真实域中的泛化能力，将真实的有雾图像融入到训练中。希望真实有雾图的去雾结果可以具有清晰图像的一些特性，例如暗通道先验和图像梯度平滑。该方法以端到端的方式训练图像变换网络和去雾网络，以便它们可以相互改进。其缺点是：(1)依赖深度图作为引导，深度图通常难以获得，即便是通过深度学习估计的方式取得，会存在估计偏差的问题。这给续任务带来不确定性。(2)训练次数多，需要90个epoch，训练时间长。(3)使用合成数据去雾并不十分紧要，并不需要和真实去雾图来计算一致性损失，还带来了额外的计算量。(4)以深度图为输入，设计了一个空间特征变换结构(SFT)，需要额外的结构信息。如果深度图估计有偏差，则以深度图作为引导去雾，其训练模型必定有真实数据训练的模型有差别。
发明内容
本发明的目的是克服现有方法的不足，提出了基于高斯过程映射的迁移学习去雾方法。本发明解决的主要问题：一是通过迁移学习以及在隐空间中建立函数关系来训练，在有雾图和无雾图上使用神经网络进行重建，神经网络的参数可以视为将两个数据域参数化，同时将隐空间中的特征以向量形式储存，解决训练次数过多和时间太长问题以及深度图输入导致的训练模型真实性不高问题；二是使用有雾域编码器和无雾域解码器的迁移，保证数据域的不变性，解决目前技术使用合成数据导致的额外计算量问题；三是使用跳跃连接进行过滤操作，防止雾被传入后层，进一步提高去雾精度。
为了解决上述问题，本发明提出了基于高斯过程映射的迁移学习去雾方法，所述方法包括：
数据收集和预处理，将数据集统一裁剪尺寸，得到的每个有雾图对应一张无雾图；
搭建重建网络包括编码器和解码器，解码器与编码器对称，各包含五个模块；
将所述有雾图和所述有雾图对应的无雾图输入所述重建网络，所述编码器将输入图像压缩至固定维度，所述解码器负责重建图像，获得有雾图矩阵和无雾图矩阵，保存训练结束后重建损失最小时的有雾图数据集对应的模型参数和无雾图数据集对应的模型参数；
迁移所述编码器，记为新编码器，添加一个滤除模块，加载所述有雾图数据集对应的模型参数中编码器部分，保持该参数固定不更新；
从真实有雾图数据集中选取新的有雾图，输入所述新编码器中，得到一个新编码器输出结果，变换维度后得到一维向量；
迁移所述有雾图矩阵和所述无雾图矩阵，进行降维操作，得到降维后的有雾图矩阵和降维后的无雾图矩阵；
将所述新编码器输出结果、所述降维后的有雾图矩阵和所述降维后的无雾图矩阵，进行矩阵变换，输入高斯过程GPM模块，计算得到最终预测值；
迁移所述解码器，加载所述无雾图数据集对应的模型参数中解码器部分，保持该参数固定不更新，将所述预测值输入到解码器中，输出所述新的有雾图对应的去雾图；
优选地，所述数据收集和预处理，将数据集统一裁剪尺寸，得到的每个有雾图对应一张无雾图，具体为：
数据收集，数据来源于RESIDE dataset；
将其大小统一裁减为(256,256,3)，每个有雾图都对应一张无雾图。
优选地，所述搭建重建网络包括编码器和解码器，解码器与编码器对称，各包含五个模块，具体为：
编码器包括五个模块，第一个模块包括3*3的卷积核和一个残差块Residual2Block，简称RB，该块中卷积核大小皆为1*1；
RB块将输入特征图按通道均匀拆为4份RB1、RB2、RB3、RB4，RB1和RB2卷积后结果相加得RB21并向后传输，RB21和RB3卷积后的结果相加得RB31并向后传输，RB31和RB4卷积的结果相加得RB41，最终将输入与RB1、RB21、RB31、RB41按通道拼接输出；
第二个模块依次包括一个池化模块、一个RB块及一个卷积核为1*1的卷积模块，池化模块通过下采样将图像高宽缩小一倍，卷积核为1*1的卷积模块将通道压缩为原来的一半；
第三、四块和第二块相同，第五块包括RB块和两个卷积，卷积核大小分别为1*1和3*3，编码器输入一张图(3,256,256)，输出特征图维度为(32,32,32)，将该输出值变换成一维向量进行保存，维度为(1,32768)表示1行32768列；
解码器与编码器对称分布，包含五个模块，将编码器输出特征图维度(32,32,32)输入解码器，输出结果为重建图，重建图维度为(3,256,256)；
解码器第一块包括一个3*3卷积核，负责将通道数由32变为128，不改变特征尺寸，接着是RB块和核为1*1的卷积，第二块包括一个反卷积、RB块和核为1*1卷积，其中反卷积负责将特征图的高宽扩大至原来的两倍，采取类似于U-net中的跳跃连接操作，将编码器的第三模块输出结果与本模块输出按通道拼接，将拼接的结果输入RB和卷积；
编码器第三模块结构与第二模块相同，只是跳跃连接部分将编码器第二模块的输出拼接，编码器第四模块采取更多的跳跃拼接，将编码器第一模块输出和编码器第二模块输出与第三模块进行拼接，然后是RB和卷积将通道由160变为16；
解码器第五模块包括三个卷积，将16通道变3通道，最终输出维度为(3,256,256)的重建图。
优选地，所述将所述有雾图和所述有雾图对应的无雾图输入所述重建网络，所述编码器将输入图像压缩至固定维度，所述解码器负责重建图像，获得有雾图矩阵和无雾图矩阵，保存训练结束后重建损失最小时的有雾图数据集对应的模型参数和无雾图数据集对应的模型参数，具体为：
对于所述数据集中任一有雾图，其通道大小为3，尺寸为256*256，其重建流程为：将其输入到所述编码器，输出特征图维度变换成一维向量进行保存；
所述数据集中的有雾图共有N张，迭代将所有有雾图全部重建，最终得到维度为(N,32,32,32)的输出，变换为矩阵，其大小为N×32768，记为Zx，训练结束后保存重建损失最小时的有雾图数据集对应的模型参数wx；
无雾图重建输入为无雾图，与有雾图重建过程一致，输入、中间和输出过程的维度变化也一致，得到矩阵记为Zy，训练结束后保存重建损失最小时的无雾图数据集对应的模型参数wy。
优选地，所述迁移所述编码器，记为新编码器，添加一个滤除模块，加载所述有雾图数据集对应的模型参数中编码器部分，保持该参数固定不更新，具体为：
迁移所述编码器，记为新编码器；
添加一个滤除模块，该模块包括两模块卷积，卷积核大小为1，不改变输入大小和通道数；
加载所述有雾图数据集对应的模型参数wx对应的编码器部分，记为wxe，保持该参数固定不更新。
优选地，所述从真实有雾图数据集中选取新的有雾图，输入所述新编码器中，得到一个新编码器输出结果，变换维度后得到一维向量，具体为：
从真实有雾图数据集中选取新的有雾图，输入新编码器，得到一个维度为(32,32,32)的输出，记为zu；
将zu变换成一维向量记为zuv，维度为(1,32768)。
优选地，所述迁移所述有雾图矩阵和所述无雾图矩阵，进行降维操作，得到降维后的有雾图矩阵和降维后的无雾图矩阵，具体为：
所述有雾图矩阵Zx的每一行使用高斯核计算一个相似度，Zx有N行，所以可得到N个相似度值，将该相似度值排序，选择最大的前32个值，反向计算出这32个值在Zx的行号，记为n；
从Zx中根据行号n选择出对应的数据构成降维后的有雾图矩阵Zx′，维度为(32,32768)；
所述有无雾图矩阵Zy进行相同降维操作，根据行号n选择出对应的数据构成降维后的无雾图矩阵Zy′，维度为(32,32768)。
优选地，所述将所述新编码器输出结果、所述降维后的有雾图矩阵和所述降维后的无雾图矩阵，进行矩阵变换，输入高斯过程GPM模块，计算得到最终预测值，具体为：
将新编码器输出结果zu变换为(32,1024)的矩阵，记为
将Zx′和Zy′变换为(1024,1024)的矩阵；
将高斯过程GPM模块引入，依据如下公式进行计算：
其中K表示核计算，
为超参数，核函数使用高斯核，高斯核的计算公式如下为：
其中l为超参数，则
输出维度为(32,1024)，/>
表示先求核函数K(Zx′,Zx′)，再对K(Zx′,Zx′)的对角线上加上/>
然后再求逆，计算输出维度为(1024,1024)，/>
是三个矩阵相乘，输出的预测值zpre维度为(32,1024)，cov为方差，/>
计算输出维度为(32,32)，/>
的输出维度为(32,32)，所以cov的维度为(32,32)。
优选地，所述迁移所述解码器，加载所述无雾图数据集对应的模型参数中解码器部分，保持该参数固定不更新，将所述预测值输入到解码器中，输出所述新的有雾图对应的去雾图，具体为：
迁移解码器，加载所述无雾图数据集对应的模型参数wy对应的编码器部分，记为wyd，保持该参数固定不更新；
将预测值zpre输入到解码器中，输出所述新的有雾图对应的去雾图。
相应地，本发明还提供了基于高斯过程映射的迁移学习去雾系统，包括：
数据重建单元，用于数据收集和预处理，得到的每个有雾图对应一张无雾图，搭建重建网络包括编码器和解码器，解码器与编码器对称，各包含五个模块；
迁移学习单元，用于迁移编码器，迁移有雾图矩阵和无雾图矩阵，进行降维操作，进行矩阵变换，输入高斯过程GPM模块，计算得到最终预测值，迁移解码器；
去雾显示单元，用于将预测值输入到解码器中，输出新的有雾图对应的去雾图。
相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行上述基于高斯过程映射的迁移学习去雾方法的步骤。
相应地，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于高斯过程映射的迁移学习去雾方法的步骤。
实施本发明，具有如下有益效果：
第一，由于合成数据与真实数据之间的差异，在合成数据上训练的模型在真实雾图上性能不佳，本发明基于高斯过程的迁移学习网络有效解决数据域漂移问题，具有实际应用意义；第二，通过在有雾图和无雾图上使用神经网络进行重建，神经网络的参数可以视为将两个数据域参数化，同时将隐空间中的特征以向量形式储存；第三，隐空间的关系难以确定，卷积的特征空间难以建立函数关系，本发明从函数空间进行考虑，建立了一个函数分布。
附图说明
图1是本发明实施例的基于高斯过程映射的迁移学习去雾方法总体流程图；
图2是本发明实施例的编码器与解码器结构图；
图3是本发明实施例的编码解码器中的Res2Block操作图；
图4是本发明实施例的跳跃连接过滤模块(SKF)图；
图5是本发明实施例的基于高斯过程映射的迁移学习去雾系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术发明进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例的基于高斯过程映射的迁移学习去雾方法总体流程图，如图1所示，该方法包括：
S1数据收集和预处理，将数据集统一裁剪尺寸，得到的每个有雾图对应一张无雾图；
S2搭建重建网络包括编码器和解码器，解码器与编码器对称，各包含五个模块；
S3将所述有雾图和所述有雾图对应的无雾图输入所述重建网络，所述编码器将输入图像压缩至固定维度，所述解码器负责重建图像，获得有雾图矩阵和无雾图矩阵，保存训练结束后重建损失最小时的有雾图数据集对应的模型参数和无雾图数据集对应的模型参数；
S4迁移所述编码器，记为新编码器，添加一个滤除模块，加载所述有雾图数据集对应的模型参数中编码器部分，保持该参数固定不更新；
S5从真实有雾图数据集中选取新的有雾图，输入所述新编码器中，得到一个新编码器输出结果，变换维度后得到一维向量；
S6迁移所述有雾图矩阵和所述无雾图矩阵，进行降维操作，得到降维后的有雾图矩阵和降维后的无雾图矩阵；
S7将所述新编码器输出结果、所述降维后的有雾图矩阵和所述降维后的无雾图矩阵，进行矩阵变换，输入高斯过程GPM模块，计算得到最终预测值；
S8迁移所述解码器，加载所述无雾图数据集对应的模型参数中解码器部分，保持该参数固定不更新，将所述预测值输入到解码器中，输出所述新的有雾图对应的去雾图。
步骤S1，具体如下：
S1-1：数据收集和预处理。使用的数据集来源于RESIDE dataset，将其大小统一裁减为(256,256,3)，每个有雾图都对应一张无雾图。
步骤S2，具体如下：
S2-1：如图2、图3所示，将有雾数据输入网络进行重建，编码器负责将输入图压缩至固定维度，解码器负责重建的图片，要求重建图与输入图越像越好，使其能够将有雾数据域参数化。
编码器包括五模块，第一个模块包括3*3的卷积核和一个残差块Residual2Block(RB)，该块中卷积核大小皆为1*1，RB块将输入特征图按通道均匀拆为4份RB1、RB2、RB3、RB4，RB1和RB2卷积后结果相加得RB21并向后传输，RB21和RB3卷积后的结果相加得RB31并向后传输，RB31和RB4卷积的结果相加得RB41，最终将输入与RB1、RB21、RB31、RB41按通道拼接输出。若输入一张通道大小为3，尺寸为256*256的有雾图J，表示为(3,256,256)，则输入第一块后，输出数据大小为(16,256,256)和(32,256,256)。(16,256,256)表示输入图经卷积后通道由3变为16，尺寸为256*256。特征图(32,256,256)表示特征图(16,256,256)输入RB块后的输出，通道数加倍而尺寸不变；
第二个模块依次包括一个池化模块、一个RB块及一个卷积核为1*1的卷积模块，池化模块通过下采样将图像高宽缩小一倍。需要说明的是本专利中所有RB块结构都一样，作用相同。卷积核为1*1的卷积模块将通道压缩为原来的一半。因此，将第一模块的输出(32,256,256)输入第二模块，输出维度为(32,128,128)。可以看出，输入尺寸256*256经过池化后变为128*128，通道数由64降低为32；
第三、四块和第二块相同。将第二模块输出(32,128,128)输入第三模块，输出维度为(64,64,64)；将第三模块输出(64,64,64)输入第四模块，第四模块输出维度为(128,32,32)；
第五块包括RB块和两个卷积，卷积核大小分别为1*1和3*3，将通道输出变为32，则第五模块输出维度为(32,32,32)；
S2-2：将编码器第五模块的输出值(32,32,32)变换为一维向量进行保存，其维度为(1,32768)，即1行32768列。S1中的有雾图共N张，迭代将此数据集全部重建，则最终会得到维度为(N,32,32,32)的输出，变换为矩阵，其大小为N×32768，记为Zx，S2-2负责将该矩阵保存。
S2-3：解码器与编码器对称，也包含五个操作块，负责重建。将编码器的结果输入解码器，输入维度为(32,32,32)，输出结果为重建图，重建图维度为(3,256,256)。解码器也包含五个模块。第一块包括一个3*3卷积核，负责将通道数由32变为128，不改变特征尺寸；接着是RB块和核为1*1的卷积，第一块的输出维度为(128,32,32)。第二块包括一个反卷积、RB块和核为1*1卷积，其中反卷积负责将特征图的高宽扩大至原来的两倍。(128,32,32)输入反卷积后输出维度(64,64,64)，可以看出其尺寸由32变为64。然后将编码器的第三模块输出结果(64,64,64)与本输出(64,64,64)按通道进行拼接得(64+64,64,64)，这是采取类似于U-net中的跳跃连接操作，将拼接的结果输入RB和卷积，得到输出维度为(32,64,64)。第三模块结构与第二模块相同，只是跳跃连接部分将编码器第二模块的输出(32,128,128)拼接，拼接输出为(32+32,128,128)，该模块输出维度为(32,256,256)。第四模块的跳跃拼接要比之前的要多，将编码器第一模块输出(16,256,256)和编码器第二模块输出(32,256,256)与第三模块进行拼接(32+32+16,256,256)，然后是RB和卷积将通道由160变为16，输出维度为(16,256,256)。第五模块包括三个卷积，将16通道变3通道，最终输出为(3,256,256)。经过以上操作，完成对有雾图的重建，使得网络得以将整个有雾数据参数化。保存训练结束后的编码器参数，在将重建损失最小时，保存模型参数wx。
步骤S3，具体如下：
S3-1：负责对有雾图对应的无雾图进行重建，S3和S2的网络结构完全相同，操作与S2一样，将无雾数据参数化，使得网络可以表示该数据分布。因此，S3也包括三个步骤。S3-1负责使用编码器解码器对数据进行重建，操作与S2-1完全相同，输入、中间和输出维度变化也一致，只是输入输出的是无雾图。
S3-2：将训练过程中的矩阵Zy进行保存。由于在合成数据上进行重建，矩阵Zx和Zy的每行对应。S1中的无雾图共N张，迭代将此数据集全部重建，则最终会得到维度为(N,32，32，32)的输出，变换为矩阵，其大小为N×32768，记为Zy，S3-2负责将该矩阵保存，保存训练结束后的网络参数wy。通过以上步骤，可以得到两个矩阵Zx和Zy，以及两套参数wx和wy；以上完成了图像重建，接下来是基于高斯过程的迁移去雾模块。
步骤S4，具体如下：
S4-1：将S2中的编码器迁移过来，同时加载其训练的参数wx，由于我们只需要S2网络中的编码器部分，因此加载的参数只需要编码器部分的参数，记为wxe，保持该参数固定不更新。
S4-2：如图4所示，由于在S4的编码器中使用了跳跃连接，可能将一些有雾信息传入解码器中。因此设计了一个滤除模块，该模块包括两模块卷积，卷积核大小为1，不改变输入大小和通道数。
步骤S5，具体如下：
S5-1：表示从真实有雾图数据集中选取新的有雾图；选取一张有雾图，输入进S4的编码器中，可以得到一个维度为(32,32,32)的输出zu，将zu变换成向量记为zuv，维度为(1,32768)，将zu和zuv输入S6。
步骤S6，具体如下：
S6-1：将矩阵Zx和Zy迁移过来，由于后面高斯过程需要矩阵求逆，计算量大，若对全部数据进行计算，需要算力太大，需对Zx和Zy矩阵进行降维。将zuv与Zx的每一行使用高斯核计算一个相似度，Zx有N行，所以可得到N个相似度值，将该相似度值排序，选择最大的前32个值，反向计算出这32个值在Zx的行号，记为n。从Zx中根据行号n选择出对应的数据构成新矩阵Zx′，维度为(32,32768)，从Zx中根据行号n选择出对应的数据构成新数据Zy′，维度为(32,32768)。经过上面的操作，降维的目的达到。将Zx′和Zy′及zu输入步骤S7中。
步骤S7，具体如下：
S7-1：输入zu，Zx′和Zy′，输出一个预测值。将zu变换为(32,1024)的矩阵，记为
将Zx′和Zy′变换为(1024,1024)的矩阵。由于卷积过后的数据关系可能是线性的，也可能是非线性的，关系难以确定。而高斯过程(GPM)即可以拟合线性关系，也可以拟合非线性关系，且在未知点可以有无限种可能性，因此将GPM模块引入。依据如下公式进行计算
其中K表示核计算，
为超参数，一般设置为1。
S7-2：核函数可以使用高斯核或者余弦核等，本专利使用高斯核，高斯核的计算公式如下为
其中l为超参数，一般也为1。则
输出维度为(32,1024)，/>
表示先求核函数K(Z′x,Z′x)，再对K(Z′x,Z′x)的对角线上加上/>
然后再求逆，计算输出维度为(1024,1024)。
步骤S8，具体如下：
S8-1：将S3中的解码器迁移过来，同时加载其训练的参数wy，由于我们只需要S3网络中的解码器部分，因此加载的参数只需要解码器部分的参数，记为wyd，保持该参数固定不更新。将预测值zpre输入到解码器中，即可输出去雾图I，维度为(3,256,256)。
相应地，本发明还提供了基于高斯过程映射的迁移学习去雾系统，如图5所示，包括：
数据重建单元1，数据收集和预处理，得到的每个有雾图对应一张无雾图，搭建重建网络包括编码器和解码器，解码器与编码器对称，各包含五个模块。
具体地，数据收集和预处理，将数据集统一裁剪尺寸，得到的每个有雾图对应一张无雾图，搭建重建网络包括编码器和解码器，解码器与编码器对称，各包含五个模块，将所述有雾图和所述有雾图对应的无雾图输入所述重建网络，所述编码器将输入图像压缩至固定维度，所述解码器负责重建图像，获得有雾图矩阵和无雾图矩阵，保存训练结束后重建损失最小时的有雾图对应的模型参数和无雾图对应的模型参数。
迁移学习单元2，迁移编码器，迁移有雾图矩阵和无雾图矩阵，进行降维操作，进行矩阵变换，输入高斯过程GPM模块，计算得到最终预测值，迁移解码器。
具体地，迁移所述编码器，记为新编码器，添加一个滤除模块，加载所述有雾图对应的模型参数中编码器部分，保持该参数固定不更新，从真实有雾图数据集中选取新的有雾图，输入所述新编码器中，得到一个新编码器输出结果，变换维度后得到一维向量，迁移所述有雾图矩阵和所述无雾图矩阵，进行降维操作，得到降维后的有雾图矩阵和降维后的无雾图矩阵，将所述新编码器输出结果、所述降维后的有雾图矩阵和所述降维后的无雾图矩阵，进行矩阵变换，输入高斯过程GPM模块，计算得到最终预测值，迁移所述解码器，加载所述无雾图对应的模型参数中解码器部分，保持该参数固定不更新。
去雾显示单元3，将预测值输入到解码器中，输出新的有雾图对应的去雾图。
具体地，将有雾图输入迁移的编码器，得到对应的预测值，预测值输入到解码器中，输出新的有雾图对应的去雾图。
因此，本发明通过构建种能够通过基于高斯过程的迁移学习进行去雾的框架，解决现在技术中数据漂移的核心问题。本方法应用场景广泛，可以在任何有摄像头的地方预先布署。当有雾出现时，本发明可以快速得将摄像头等设备所获得的图像进行去雾，使得去雾图像清晰。在公共场所如车站、广场等人流密集地区出现雾天时，通过提出的方法可以有效的还原清晰图像，从而可以有效规避危险。在道路监控、汽车驾驶和行车记录等出行设备上，驾驶员可以观察去雾结果，可以有效降低车祸的发生，即便是发生车祸，可以根据记录仪去雾结果明确责任、降低损失。本方法亦可应用于室内去雾，室内场景安全事故时可利用本算法针对室内获取数据进行处理，从而可以准确救人挽回损失。本发明智能度高，采用了降维方法使得计算效率高，方便高效。
相应地，本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述基于高斯过程映射的迁移学习去雾方法的步骤。同时，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于高斯过程映射的迁移学习去雾方法的步骤。
以上对本发明实施例所提供的基于高斯过程映射的迁移学习去雾方法、系统、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.基于高斯过程映射的迁移学习去雾方法，其特征在于，所述方法包括：
数据收集和预处理，将数据集统一裁剪尺寸，得到的每个有雾图对应一张无雾图；
搭建重建网络包括编码器和解码器，解码器与编码器对称，各包含五个模块；
将所述有雾图和所述有雾图对应的无雾图输入所述重建网络，所述编码器将输入图像压缩至固定维度，所述解码器负责重建图像，获得有雾图矩阵和无雾图矩阵，保存训练结束后重建损失最小时的有雾图数据集对应的模型参数和无雾图数据集对应的模型参数；
迁移所述编码器，记为新编码器，添加一个滤除模块，加载所述有雾图数据集对应的模型参数中编码器部分，保持该参数固定不更新；
从真实有雾图数据集中选取新的有雾图，输入所述新编码器中，得到一个新编码器输出结果，变换维度后得到一维向量；
迁移所述有雾图矩阵和所述无雾图矩阵，进行降维操作，得到降维后的有雾图矩阵和降维后的无雾图矩阵；
将所述新编码器输出结果、所述降维后的有雾图矩阵和所述降维后的无雾图矩阵，进行矩阵变换，输入高斯过程GPM模块，计算得到最终预测值；
迁移所述解码器，加载所述无雾图数据集对应的模型参数中解码器部分，保持该参数固定不更新，将所述预测值输入到解码器中，输出所述新的有雾图对应的去雾图；
其中，所述将所述有雾图和所述有雾图对应的无雾图输入所述重建网络，所述编码器将输入图像压缩至固定维度，所述解码器负责重建图像，获得有雾图矩阵和无雾图矩阵，保存训练结束后重建损失最小时的有雾图数据集对应的模型参数和无雾图数据集对应的模型参数，具体为：
对于所述数据集中任一有雾图，其通道大小为3，尺寸为256*256，其重建流程为：将其输入到所述编码器，输出特征图维度变换成一维向量进行保存；
所述数据集中的有雾图共有N张，迭代将所有有雾图全部重建，最终得到维度为(N,32,32,32)的输出，变换为矩阵，其大小为N×32768，记为Zx，训练结束后保存重建损失最小时的有雾图数据集对应的模型参数wx；
无雾图重建输入为无雾图，与有雾图重建过程一致，输入、中间和输出过程的维度变化也一致，得到矩阵记为Zy，训练结束后保存重建损失最小时的无雾图数据集对应的模型参数wy；
其中，所述从真实有雾图数据集中选取新的有雾图，输入所述新编码器中，得到一个新编码器输出结果，变换维度后得到一维向量，具体为：
从真实有雾图数据集中选取新的有雾图，输入新编码器，得到一个维度为(32,32,32)的输出，记为zu；
将zu变换成一维向量记为zuv，维度为(1,32768)；
其中，所述迁移所述有雾图矩阵和所述无雾图矩阵，进行降维操作，得到降维后的有雾图矩阵和降维后的无雾图矩阵，具体为：
所述有雾图矩阵Zx的每一行使用高斯核计算一个相似度，Zx有N行，所以可得到N个相似度值，将该相似度值排序，选择最大的前32个值，反向计算出这32个值在Zx的行号，记为n；
从Zx中根据行号n选择出对应的数据构成降维后的有雾图矩阵Z′x，维度为(32,32768)；
所述有无雾图矩阵Zy进行相同降维操作，根据行号n选择出对应的数据构成降维后的无雾图矩阵Z′y，维度为(32,32768)；
其中，所述将所述新编码器输出结果、所述降维后的有雾图矩阵和所述降维后的无雾图矩阵，进行矩阵变换，输入高斯过程GPM模块，计算得到最终预测值，具体为：
将新编码器输出结果zu变换为(32,1024)的矩阵，记为
将Z′x和Z′y变换为(1024,1024)的矩阵；
将高斯过程GPM模块引入，依据如下公式进行计算：
其中K表示核计算，
为超参数，核函数使用高斯核，高斯核的计算公式如下为：
其中l为超参数，则
输出维度为(32,1024)，/>
表示先求核函数K(Z′x,Z′x)，再对K(Z′x,Z′x)的对角线上加上/>
然后再求逆，计算输出维度为(1024,1024)，/>
是三个矩阵相乘，输出的预测值zpre维度为(32,1024)，cov为方差，/>
计算输出维度为(32,32)，
的输出维度为(32,32)，所以cov的维度为(32,32)。
2.如权利要求1所述的基于高斯过程映射的迁移学习去雾方法，其特征在于，所述数据收集和预处理，将数据集统一裁剪尺寸，得到的每个有雾图对应一张无雾图，具体为：
数据收集，数据来源于RESIDE dataset；
将其大小统一裁减为(256,256,3)，每个有雾图都对应一张无雾图。
3.如权利要求1所述的基于高斯过程映射的迁移学习去雾方法，其特征在于，所述搭建重建网络包括编码器和解码器，解码器与编码器对称，各包含五个模块，具体为：
编码器包括五个模块，第一个模块包括3*3的卷积核和一个残差块Residual2Block，简称RB，该块中卷积核大小皆为1*1；
RB块将输入特征图按通道均匀拆为4份RB1、RB2、RB3、RB4，RB1和RB2卷积后结果相加得RB21并向后传输，RB21和RB3卷积后的结果相加得RB31并向后传输，RB31和RB4卷积的结果相加得RB41，最终将输入与RB1、RB21、RB31、RB41按通道拼接输出；
第二个模块依次包括一个池化模块、一个RB块及一个卷积核为1*1的卷积模块，池化模块通过下采样将图像高宽缩小一倍，卷积核为1*1的卷积模块将通道压缩为原来的一半；
第三、四块和第二块相同，第五块包括RB块和两个卷积，卷积核大小分别为1*1和3*3，编码器输入一张图(3,256,256)，输出特征图维度为(32,32,32)，将该输出值变换成一维向量进行保存，维度为(1,32768)表示1行32768列；
解码器与编码器对称分布，包含五个模块，将编码器输出特征图维度(32,32,32)输入解码器，输出结果为重建图，重建图维度为(3,256,256)；
解码器第一块包括一个3*3卷积核，负责将通道数由32变为128，不改变特征尺寸，接着是RB块和核为1*1的卷积，第二块包括一个反卷积、RB块和核为1*1卷积，其中反卷积负责将特征图的高宽扩大至原来的两倍，采取类似于U-net中的跳跃连接操作，将编码器的第三模块输出结果与本模块输出按通道拼接，将拼接的结果输入RB和卷积；
编码器第三模块结构与第二模块相同，只是跳跃连接部分将编码器第二模块的输出拼接，编码器第四模块采取更多的跳跃拼接，将编码器第一模块输出和编码器第二模块输出与第三模块进行拼接，然后是RB和卷积将通道由160变为16；
解码器第五模块包括三个卷积，将16通道变3通道，最终输出维度为(3,256,256)的重建图。
4.如权利要求1所述的基于高斯过程映射的迁移学习去雾方法，其特征在于，所述迁移所述编码器，记为新编码器，添加一个滤除模块，加载所述有雾图数据集对应的模型参数中编码器部分，保持该参数固定不更新，具体为：
迁移所述编码器，记为新编码器；
添加一个滤除模块，该模块包括两模块卷积，卷积核大小为1，不改变输入大小和通道数；
加载所述有雾图数据集对应的模型参数wx对应的编码器部分，记为wxe，保持该参数固定不更新。
5.如权利要求1所述的基于高斯过程映射的迁移学习去雾方法，其特征在于，所述迁移所述解码器，加载所述无雾图数据集对应的模型参数中解码器部分，保持该参数固定不更新，将所述预测值输入到解码器中，输出所述新的有雾图对应的去雾图，具体为：
迁移解码器，加载所述无雾图数据集对应的模型参数wy对应的编码器部分，记为wyd，保持该参数固定不更新；
将预测值zpre输入到解码器中，输出所述新的有雾图对应的去雾图。
6.基于高斯过程映射的迁移学习去雾系统，其特征在于，所述系统包括：
数据重建单元，用于数据收集和预处理，将数据集统一裁剪尺寸，得到的每个有雾图对应一张无雾图，搭建重建网络包括编码器和解码器，解码器与编码器对称，各包含五个模块；将所述有雾图和所述有雾图对应的无雾图输入所述重建网络，所述编码器将输入图像压缩至固定维度，所述解码器负责重建图像，获得有雾图矩阵和无雾图矩阵，保存训练结束后重建损失最小时的有雾图数据集对应的模型参数和无雾图数据集对应的模型参数；
迁移学习单元，用于迁移所述编码器，记为新编码器，添加一个滤除模块，加载所述有雾图数据集对应的模型参数中编码器部分，保持该参数固定不更新；从真实有雾图数据集中选取新的有雾图，输入所述新编码器中，得到一个新编码器输出结果，变换维度后得到一维向量；迁移所述有雾图矩阵和所述无雾图矩阵，进行降维操作，得到降维后的有雾图矩阵和降维后的无雾图矩阵；将所述新编码器输出结果、所述降维后的有雾图矩阵和所述降维后的无雾图矩阵，进行矩阵变换，输入高斯过程GPM模块，计算得到最终预测值；
去雾显示单元，用于迁移所述解码器，加载所述无雾图数据集对应的模型参数中解码器部分，保持该参数固定不更新，将所述预测值输入到解码器中，输出所述新的有雾图对应的去雾图；
其中，所述数据重建单元中将所述有雾图和所述有雾图对应的无雾图输入所述重建网络，所述编码器将输入图像压缩至固定维度，所述解码器负责重建图像，获得有雾图矩阵和无雾图矩阵，保存训练结束后重建损失最小时的有雾图数据集对应的模型参数和无雾图数据集对应的模型参数，具体为：
对于所述数据集中任一有雾图，其通道大小为3，尺寸为256*256，其重建流程为：将其输入到所述编码器，输出特征图维度变换成一维向量进行保存；
所述数据集中的有雾图共有N张，迭代将所有有雾图全部重建，最终得到维度为(N,32,32,32)的输出，变换为矩阵，其大小为N×32768，记为Zx，训练结束后保存重建损失最小时的有雾图数据集对应的模型参数wx；
无雾图重建输入为无雾图，与有雾图重建过程一致，输入、中间和输出过程的维度变化也一致，得到矩阵记为Zy，训练结束后保存重建损失最小时的无雾图数据集对应的模型参数wy；
其中，所述迁移学习单元中从真实有雾图数据集中选取新的有雾图，输入所述新编码器中，得到一个新编码器输出结果，变换维度后得到一维向量，具体为：
从真实有雾图数据集中选取新的有雾图，输入新编码器，得到一个维度为(32,32,32)的输出，记为zu；
将zu变换成一维向量记为zuv，维度为(1,32768)；
其中，所述迁移学习单元中迁移所述有雾图矩阵和所述无雾图矩阵，进行降维操作，得到降维后的有雾图矩阵和降维后的无雾图矩阵，具体为：
所述有雾图矩阵Zx的每一行使用高斯核计算一个相似度，Zx有N行，所以可得到N个相似度值，将该相似度值排序，选择最大的前32个值，反向计算出这32个值在Zx的行号，记为n；
从Zx中根据行号n选择出对应的数据构成降维后的有雾图矩阵Z′x，维度为(32,32768)；
所述有无雾图矩阵Zy进行相同降维操作，根据行号n选择出对应的数据构成降维后的无雾图矩阵Z′y，维度为(32,32768)；
其中，所述迁移学习单元中将所述新编码器输出结果、所述降维后的有雾图矩阵和所述降维后的无雾图矩阵，进行矩阵变换，输入高斯过程GPM模块，计算得到最终预测值，具体为：
将新编码器输出结果zu变换为(32,1024)的矩阵，记为
将Z′x和Z′y变换为(1024,1024)的矩阵；
将高斯过程GPM模块引入，依据如下公式进行计算：
其中K表示核计算，
为超参数，核函数使用高斯核，高斯核的计算公式如下为：
其中l为超参数，则
输出维度为(32,1024)，/>
表示先求核函数K(Z′x,Z′x)，再对K(Z′x,Z′x)的对角线上加上/>
然后再求逆，计算输出维度为(1024,1024)，/>
是三个矩阵相乘，输出的预测值zpre维度为(32,1024)，cov为方差，/>
计算输出维度为(32,32)，
的输出维度为(32,32)，所以cov的维度为(32,32)。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111053323.3A CN113808039B (zh) | 2021-09-09 | 2021-09-09 | 基于高斯过程映射的迁移学习去雾方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111053323.3A CN113808039B (zh) | 2021-09-09 | 2021-09-09 | 基于高斯过程映射的迁移学习去雾方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113808039A CN113808039A (zh) | 2021-12-17 |
| CN113808039B true CN113808039B (zh) | 2023-06-27 |
Family
ID=78894949
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111053323.3A Active CN113808039B (zh) | 2021-09-09 | 2021-09-09 | 基于高斯过程映射的迁移学习去雾方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113808039B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115131252B (zh) * | 2022-09-01 | 2022-11-29 | 杭州电子科技大学 | 基于二次编解码结构的金属物体表面高光去除方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108073905A (zh) * | 2017-12-21 | 2018-05-25 | 北京邮电大学 | 一种智能水尺读数的方法、系统和设备 |
| CN108447041A (zh) * | 2018-01-30 | 2018-08-24 | 中国航天电子技术研究院 | 一种基于增强学习的多源图像融合方法 |
| CN110097519A (zh) * | 2019-04-28 | 2019-08-06 | 暨南大学 | 基于深度学习的双监督图像去雾方法、系统、介质和设备 |
| CN110517203A (zh) * | 2019-08-30 | 2019-11-29 | 山东工商学院 | 一种基于参考图像重建的去雾方法 |
| CN110570371A (zh) * | 2019-08-28 | 2019-12-13 | 天津大学 | 一种基于多尺度残差学习的图像去雾方法 |
| CN110738605A (zh) * | 2019-08-30 | 2020-01-31 | 山东大学 | 基于迁移学习的图像去噪方法、系统、设备及介质 |
-
2021
- 2021-09-09 CN CN202111053323.3A patent/CN113808039B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108073905A (zh) * | 2017-12-21 | 2018-05-25 | 北京邮电大学 | 一种智能水尺读数的方法、系统和设备 |
| CN108447041A (zh) * | 2018-01-30 | 2018-08-24 | 中国航天电子技术研究院 | 一种基于增强学习的多源图像融合方法 |
| CN110097519A (zh) * | 2019-04-28 | 2019-08-06 | 暨南大学 | 基于深度学习的双监督图像去雾方法、系统、介质和设备 |
| CN110570371A (zh) * | 2019-08-28 | 2019-12-13 | 天津大学 | 一种基于多尺度残差学习的图像去雾方法 |
| CN110517203A (zh) * | 2019-08-30 | 2019-11-29 | 山东工商学院 | 一种基于参考图像重建的去雾方法 |
| CN110738605A (zh) * | 2019-08-30 | 2020-01-31 | 山东大学 | 基于迁移学习的图像去噪方法、系统、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113808039A (zh) | 2021-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110363716B (zh) | 一种基于条件生成对抗网络复合降质图像高质量重建方法 | |
| CN111429347A (zh) | 图像超分辨率重建方法、装置及计算机可读存储介质 | |
| CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及系统 | |
| CN113177882B (zh) | 一种基于扩散模型的单帧图像超分辨处理方法 | |
| CN111462013A (zh) | 一种基于结构化残差学习的单图去雨方法 | |
| CN113160177A (zh) | 一种基于超像素和图卷积网络的平面分割方法 | |
| CN116797787B (zh) | 基于跨模态融合与图神经网络的遥感影像语义分割方法 | |
| Qin et al. | Etdnet: An efficient transformer deraining model | |
| CN112529776A (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
| CN106600533B (zh) | 单图像超分辨率重建方法 | |
| CN114723630A (zh) | 基于空洞双残差多尺度深度网络的图像去模糊方法及系统 | |
| CN112598602A (zh) | 一种基于掩码的深度学习视频去摩尔纹方法 | |
| CN113808039B (zh) | 基于高斯过程映射的迁移学习去雾方法与系统 | |
| CN106910215A (zh) | 一种基于分数阶梯度插值的超分辨率方法 | |
| CN115546505A (zh) | 一种基于深度学习的无监督单目图像深度估计方法 | |
| CN113962905B (zh) | 基于多阶段特征互补网络的单幅图像去雨方法 | |
| CN112767277B (zh) | 一种基于参考图像的深度特征排序去模糊方法 | |
| CN113947538A (zh) | 一种多尺度高效卷积自注意力单幅图像除雨方法 | |
| CN114022356A (zh) | 基于小波域的河道流量水位遥感图像超分辨率方法与系统 | |
| Lu et al. | Underwater image enhancement method based on denoising diffusion probabilistic model | |
| CN113096032A (zh) | 一种基于图像区域划分的非均匀一致模糊去除方法 | |
| CN113808275B (zh) | 一种基于gcn与拓扑修改的单图像三维重建方法 | |
| CN114022371B (zh) | 基于空间和通道注意力残差网络的去雾装置及其去雾方法 | |
| CN116128768B (zh) | 一种带有去噪模块的无监督图像低照度增强方法 | |
| CN117853340B (zh) | 基于单向卷积网络和降质建模的遥感视频超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |