CN113450267A - 可快速获取多种自然退化图像复原模型的迁移学习方法 - Google Patents

可快速获取多种自然退化图像复原模型的迁移学习方法 Download PDF

Info

Publication number
CN113450267A
CN113450267A CN202110529381.2A CN202110529381A CN113450267A CN 113450267 A CN113450267 A CN 113450267A CN 202110529381 A CN202110529381 A CN 202110529381A CN 113450267 A CN113450267 A CN 113450267A
Authority
CN
China
Prior art keywords
data set
image
natural degradation
degradation
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110529381.2A
Other languages
English (en)
Other versions
CN113450267B (zh
Inventor
马峻
尹翔宇
陈寿宏
徐翠锋
郭玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202110529381.2A priority Critical patent/CN113450267B/zh
Publication of CN113450267A publication Critical patent/CN113450267A/zh
Application granted granted Critical
Publication of CN113450267B publication Critical patent/CN113450267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及基于深度学习的计算机视觉技术领域，尤其涉及一种可快速获取多种自然退化图像复原模型的迁移学习方法；包括如下步骤：人工合成自然退化图像通用数据集；利用自然退化图像通用数据集对深度卷积神经网络进行预训练，得到通用复原模型；采用针对特定退化现象的数据集对通用复原模型进行迁移学习，对其部分卷积层参数进行微调训练，得到特定自然退化现象的复原模型。从而可以通过重用一种预训练的通用自然退化图像复原模型，进行迁移学习，快速得到多种针对特定自然退化现象的复原模型。该方法不仅加快了训练特定复原模型的速度，节省了训练时间，减小了对大量退化数据的依赖，还能让复原模型更加鲁棒，复原效果更加稳定。

Description

可快速获取多种自然退化图像复原模型的迁移学习方法
技术领域
本发明涉及基于深度学习的计算机视觉技术领域，尤其涉及一种可快速获取多种自然退化图像复原模型的迁移学习方法。
背景技术
引起图像退化的自然现象有很多。例如雾霾、雨、雪等气候现象会导致获取的图像对比度下降或出现小块的景物遮挡，水下图像和沙尘烟雾图像中不仅会遭受雾状的模糊现象还可能存在场景光线颜色的畸变。为了改善捕获的图像视觉质量和后续机器人以及自动驾驶等应用技术的实际效果，近几年出现大量退化图像复原方法。传统的图像复原算法通常依赖于一些光学先验知识和物理模型，不仅准确率低，操作繁琐，尤其存在对不同应用场合中图像的泛化性能低的问题。基于深度学习的图像复原方法，需要对每种退化现象采集并制作大量成对的数据集(包含遭受退化现象后的图像和相同场景的未退化图像)。将退化后的数据作为一个神经网络的输入，而利用其对应的未退化的数据计算损失函数以优化网络参数。经过训练的神经网络即能具有对该特定退化现象的复原能力。但获取大量的自然退化图像作为训练数据集是很困难的，训练过程中也需要耗费大量的算力和训练时间。本发明将迁移学习技术结合到深度学习方法中，解决对大量成对数据集的需求，并能提升模型的训练速度。同时在一定程度上保证了复原模型的鲁棒性和泛化能力。
发明内容
本发明的目的在于提供一种可快速获取多种自然退化图像复原模型的迁移学习方法，通过重用一种自然现象的通用复原模型快速获取多种特定自然退化现象的图像复原模型。
为实现上述目的，本发明采用的一种可快速获取多种自然退化图像复原模型的迁移学习方法，包括如下步骤：
人工合成自然退化图像通用数据集；
利用所述自然退化图像通用数据集对深度卷积神经网络进行预训练，得到通用复原模型；
采用特定退化现象的数据集对所述通用复原模型进行迁移学习，对其部分卷积层参数进行微调训练，得到该种特定自然退化现象的图像复原模型。
首先生成一种人工合成的退化图像数据集，能模拟多种自然退化现象中共有的退化表现，即该数据集能作为各种自然退化图像共同的源域。然后利用该数据集训练一种深度卷积神经网络，得到对多种自然退化现象中共有特征的通用复原模型，即该网络能从各种自然退化现象共同的源域映射到其清晰的复原图像域。最后，用少量包含特定退化现象的图像数据，即目标域数据，对该通用复原网络中的某些层进行快速地微调训练，实现迁移学习，即可快速获得该特定退化现象的复原模型。
其中，人工合成自然退化图像通用数据集包括：
利用现有RGB-D数据集，根据退化图像生成模型和随机生成的模型参数人工合成包含自然退化现象的图像数据集。
其中，所述RGB-D数据集由清晰图像数据集及其深度信息构成。
清晰图像数据集及其深度信息共同构成所述RGB-D数据集。
其中，所述自然退化图像通用数据集能够模拟包括雾霾、烟雾、水下、雨雪在内的多种自然现象导致的退化图像中共同的退化表现。
其中，利用所述自然退化图像通用数据集对适用于图像转换任务的深度卷积神经网络进行端到端地预训练，具体为：
利用所述自然退化图像通用数据集对适用于图像转换任务的深度卷积神经网络进行端到端地预训练。
其中，经过预训练的深度卷积神经网络用于复原各种自然现象导致的退化图像中共有的退化表现，所述退化表现包括雾状模糊和光线散射现象，但不具备对诸如雨滴，雪花，浓雾的特定退化现象的复原能力。
其中，采用对应特定退化现象的数据集对所述通用复原模型进行迁移学习，具体为：所述特定退化现象的数据集为根据实际应用需要，选择雾图数据集、水下图像数据集、雪天图像数据集、雨中图像数据集、烟雾图像数据集中的一种。这些数据集中只需要包含少量数据，即可实现后续迁移学习。
其中，对所述通用复原模型进行迁移学习为对模型中的部分卷积层进行小学习率的微调训练，经过微调训练，网络模型具备快速学习复原特定自然退化现象的能力。
所述自然现象的通用复原网络，通常具有对称结构：比如先将输入图像下采样到一定特征空间，通过特征处理层后，经上采样层得到复原图像。微调可以只针对网络的输入端和输出端的前几层和最后几层卷积层(可以是下采样层和上采样层)，而冻结其他卷积层中的参数。从而保证最大程度的利用预训练好的特征处理层，并能快速地实现迁移学习，滤除特定退化现象中的特殊成分(例如雨图中的雨滴和水下图像中的颜色畸变等)。由于只针对部分卷积层参数进行训练，用少量特定退化现象的图像数据集，即可实现迁移学习而保证不会出现欠拟合。
本发明的一种可快速获取多种自然退化图像复原模型的迁移学习方法，通过生成一种人工合成的退化图像数据集，模拟各种自然退化图像共有的退化表现，即该数据集能作为各种自然退化图像共同的源域。然后利用该数据集训练一种深度卷积神经网络，得到对多种自然退化现象中共有特征的通用复原模型，即该网络能从各种自然退化现象共同的源域映射到其清晰的复原图像域。最后，用少量包含特定退化现象的图像数据，即目标域数据，对该通用复原网络中的某些层进行快速地微调训练，实现迁移学习，即可快速获得该特定退化现象的复原模型。以此能够快速获取多种自然退化现象的图像复原模型。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的提出的可快速获取多种自然退化图像复原模型的迁移学习方法对神经网络的训练流程图。
图2是本发明的由一个通用模型经过迁移学习得到各种针对不同退化现象的复原模型的示意图。
图3是本发明方法得到的针对雨图退化现象的复原效果展示图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
请参阅图1至图3，本发明提供了一种可快速获取多种自然退化图像复原模型的迁移学习方法，包括如下步骤：
S1：人工合成自然退化图像通用数据集；
S2：利用所述退化图像数据集对深度卷积神经网络进行预训练和参数更新，得到通用复原模型；
S3：采用特定退化现象的数据集对所述通用复原模型进行迁移学习，并对部分卷积层参数进行微调训练，得到自然退化图像复原模型。
在本实施方式中，通过生成一种人工合成的退化图像数据集，模拟各种自然退化图像共有的退化表现，即该数据集能作为各种自然退化图像共同的源域
Figure BDA0003066946870000041
。然后利用该数据集训练一种深度卷积神经网络，得到对多种自然退化现象中共有退化特征的通用复原模型，即该网络能从各种自然退化现象共同的源域映射到其清晰的复原图像域。最后，用少量包含特定退化现象的图像数据，即目标域数据
Figure BDA0003066946870000042
，对该通用网络中的某些层进行快速地微调训练，实现迁移学习，即可快速获得该特定退化现象的复原模型，以此能够能快速获取多种特定自然退化现象的图像复原模型。在训练针对特定退化现象的图像复原模型的过程中，通过重用一种预训练的通用复原模型并进行迁移学习，不仅加速了训练特定复原模型的速度，节省了训练时间，减小了对大量特定退化现象数据集的依赖。还能让复原模型更加鲁棒，复原效果更加稳定。
进一步地，生成退化图像数据集包括：
采用现有RGB-D数据集(由清晰图像数据和深度信息数据组成)，根据退化图像生成模型和随机生成的模型参数，人工合成包含多种自然退化现象的通用图像数据集。
所述自然退化图像通用数据集能够模拟包括雾霾、烟雾、水下、雨雪等自然现象导致的退化图像中共同的退化表现。
利用所述自然退化图像通用数据集对深度卷积神经网络进行预训练，具体为：
利用所述人工合成的自然退化图像数据集对适用于图像转换任务的深度卷积神经网络进行端到端地预训练。
经过预训练的深度卷积神经网络用于复原各种自然现象导致的退化图像中共有的退化表现，所述退化表现包括雾状模糊和光线散射现象，但不具备对诸如雨滴，雪花，浓雾的特定退化现象的复原能力。
采用对应特定退化现象的数据集对所述通用复原模型进行迁移学习，具体为：
所述特定退化现象的数据集为根据实际应用需要，选择雾图数据集、水下图像数据集、雪天图像数据集、雨中图像数据集、烟雾图像数据集中的一种。
所述对通用复原模型进行迁移学习为对模型中的部分卷积层进行小学习率的微调训练，通过微调训练，网络模型具备快速学习复原特定自然退化现象的能力。
在本实施方式中，在步骤S1中采用现有的RGB-D数据集，根据退化图像生成模型，式(1)，生成包含雾状模糊等退化现象的图像数据集，该数据集能模拟包括雾霾、烟雾、水下、雨雪等自然现象导致的退化图像中共有的退化表现。式(1)中，x表示像素坐标，c表示颜色通道R、G、B。Ac代表通道c的全局背景光，对每一通道为常量；Jc(x)表示退化前清晰图像，Ic(x)表示退化后图像。Tc(x)称作传输映射，其具体形式为式(2)，其中d(x)为深度图，pc为衰减系数。用于模拟各种烟雾和水下等场景中时常出现地不均匀背景光成分。η为N(x)的自适应权重参数。考虑到一些不存在不均匀背景光的场景，设置50％的合成图像中η＝0。
Ic(x)＝Jc(x)Tc(x)+Ac(1-Tc(x))+ηN(x) (1)
Figure BDA0003066946870000051
对于步骤S1，采用现有的RGB-D数据集根据退化图像生成模型(1)，生成包含各种自然退化现象中共有的退化特征(比如雾状模糊等)的数据集。本次实施数据集合成过程中，式(1)中的变量采用在一定范围内随机选取的数值。环境光Ac为对应三个颜色通道光强数值，使用三个常量表示。N(x)不均匀光线成分由随机生成的Perlin噪声及其分形噪声进行模拟。各变量的取值方式见表1所示。本次实施使用228张RGB-D数据，生成2736张合成退化数据。利用这些数据作为步骤S2的训练数据集。
表1本次实施中采用的合成数据集方法
Figure BDA0003066946870000061
进一步地，利用所述合成的退化图像通用数据集对深度卷积神经网络进行预训练，具体为：
利用所述退化图像数据集对适用于图像转换任务的深度卷积神经网络进行端到端地预训练。
在本实施方式中，步骤S2中，利用步骤S1中生成的图像数据集，训练一种适用于图像转换任务的深度卷积神经网络。用数据集中人工合成的退化图像作为网络输入，利用该图像合成退化之前的清晰版本和网络输出图像之间的差异计算网络损失函数并更新网络参数，对网络进行端到端的训练。通过训练并收敛后的网络能对多种自然退化图像具备基本的复原能力，可以作为多种自然退化现象中共有退化特征的通用复原模型，但不具备对诸如雨滴，雪花，浓雾等特定退化现象的复原能力。
对于步骤S2，利用步骤S1中生成的数据集，端到端地训练一种深度卷积神经网络。本次实施选取ResNet网络进行训练。该网络由下采样模块、残差模块以及上采样模块组成，能用于图像转换任务。采用L1损失函数(L1 loss)以及多尺度结构相似性损失函数(MSSSIMloss)的和作为本次训练的总损失函数。将步骤S1中的合成退化图像作为输入传递给ResNet，利用网络输出图像和退化图像对应的清晰版本计算损失函数。采用Adam优化器最小化损失函数，对网络参数进行优化更新。训练学习率取0.001，并在训练每20个epoch处将学习率减半。经过100个epoch的训练，网络能良好的收敛。即得到一种对多种自然退化现象具备基本的复原能力的通用复原模型。
进一步地，特定退化现象的数据集为根据实际应用需要选择的雾图数据集、水下图像数据集、雪天图像数据集、雨中图像数据集、烟雾图像数据集等中的一种。
在本实施方式，步骤S3中，根据需要，采用少量特定退化现象的数据集，对步骤S2中预训练的通用复原模型进行迁移学习，对其中部分卷积层参数进行微调训练，得到针对该特定退化现象的复原模型。
对于步骤S3，本次实施以雨中图像复原任务为例，仅采用1500张雨图数据集进行迁移学习，将步骤S2预训练的ResNet中所有残差模块参数固定，而只对上采样模块和下采样模块参数进行微调训练。同样使用L1 loss以及MSSSIM Loss的和作为微调过程中的总损失函数。训练学习率减小十倍，为0.0001，且只进行5个epoch的训练，即可得到针对雨图的复原模型。而传统的对网络随机初始化并从头开始训练的监督学习方法，则需要几十甚至上百个epoch的训练。
图2展示了由通用退化模型经迁移学习得到各种针对不同退化现象的复原模型。由于采用了端到端的方式训练神经网络，这些模型可以直接用于对退化图像进行复原处理，直接由左侧的退化图像得到右侧的复原图像。为了证明通过本发明获取的复原模型的有效性，在图3展示了其对雨图的复原效果示例。图3中(a)列为原始雨图，(b)列为步骤S2中通用复原模型对雨图的处理效果，(c)列为步骤S3中经过迁移学习后的复原模型的处理效果。可见步骤S2训练的通用复原模型能具备对图中雾状模糊等通用退化现象的初步复原能力，但不能消除图像中雨滴等特定退化现象。而经过步骤S3中的迁移学习之后，模型已经可以完好地复原雨图。
本发明提供一种可快速获取多种自然退化图像复原模型的迁移学习方法，能快速获取多种自然退化现象的图像复原模型。考虑到包括雾霾、烟雾、水下、雨和雪等多种自然退化现象导致的图像退化存在一些共同特征，比如都会造成图像中出现雾状模糊和低对比度。提出利用一种合成图像数据集，训练一种针对各种自然现象共同退化特征的通用复原模型。在该模型上，只需额外采用少量特定退化现象的数据进行迁移学习训练，即可获得针对该特定退化现象的复原模型。从而通过重用预训练的通用模型，避免分别训练新复原模型时对大量数据和算力的需求。不仅能节省大量的训练时间，还能保证复原模型的鲁棒性和泛化能力。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (8)

1.一种可快速获取多种自然退化图像复原模型的迁移学习方法，其特征在于，包括如下步骤：
人工合成自然退化图像通用数据集；
利用所述自然退化图像通用数据集对深度卷积神经网络进行预训练，得到通用复原模型；
采用特定退化现象的数据集对所述通用复原模型进行迁移学习，并对其部分卷积层参数进行微调训练，得到该种特定自然退化现象的复原模型。
2.如权利要求1所述的可快速获取多种自然退化图像复原模型的迁移学习方法，其特征在于，人工合成自然退化图像通用数据集包括：
利用现有的RGB-D数据集，根据退化图像生成模型和随机模型参数，人工合成包含自然退化现象的退化图像数据集。
3.如权利要求2所述的可快速获取多种自然退化图像复原模型的迁移学习方法，其特征在于，
所述RGB-D数据集由清晰图像数据集及其深度信息构成。
4.如权利要求3所述的可快速获取多种自然退化图像复原模型的迁移学习方法，其特征在于，
所述自然退化图像通用数据集能够模拟包括雾霾、烟雾、水下、雨雪在内的多种自然现象导致的退化图像中共有的退化表现。
5.如权利要求4所述的可快速获取多种自然退化图像复原模型的迁移学习方法，其特征在于，利用所述自然退化图像通用数据集对深度卷积神经网络进行预训练，具体为：
利用所述人工合成的自然退化图像数据集对适用于图像转换任务的深度卷积神经网络进行端到端地预训练。
6.如权利要求5所述的可快速获取多种自然退化图像复原模型的迁移学习方法，其特征在于，
经过预训练的深度卷积神经网络用于复原各种自然现象导致的退化图像中共有的退化表现，所述退化表现包括雾状模糊和光线散射现象。
7.如权利要求6所述的可快速获取多种自然退化图像复原模型的迁移学习方法，其特征在于，采用对应特定退化现象的数据集对所述通用复原模型进行迁移学习，具体为：
所述特定退化现象的数据集为根据实际应用需要，选择雾图数据集、水下图像数据集、雪天图像数据集、雨中图像数据集、烟雾图像数据集中的一种。
8.如权利要求7所述的可快速获取多种自然退化图像复原模型的迁移学习方法，其特征在于，
对所述通用复原模型进行迁移学习为对模型中的部分卷积层进行小学习率的微调训练，通过微调训练，网络模型具备快速学习复原特定自然退化现象的能力。
CN202110529381.2A 2021-05-14 2021-05-14 可快速获取多种自然退化图像复原模型的迁移学习方法 Active CN113450267B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110529381.2A CN113450267B (zh) 2021-05-14 2021-05-14 可快速获取多种自然退化图像复原模型的迁移学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110529381.2A CN113450267B (zh) 2021-05-14 2021-05-14 可快速获取多种自然退化图像复原模型的迁移学习方法

Publications (2)

Publication Number Publication Date
CN113450267A true CN113450267A (zh) 2021-09-28
CN113450267B CN113450267B (zh) 2022-08-19

Family

ID=77809889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110529381.2A Active CN113450267B (zh) 2021-05-14 2021-05-14 可快速获取多种自然退化图像复原模型的迁移学习方法

Country Status (1)

Country Link
CN (1) CN113450267B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114170108A (zh) * 2021-12-14 2022-03-11 哈尔滨工业大学 基于人脸退化模型迁移的自然场景图像盲复原系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056043A (zh) * 2016-05-19 2016-10-26 中国科学院自动化研究所 基于迁移学习的动物行为识别方法和装置
CN106709875A (zh) * 2016-12-30 2017-05-24 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
US20190325299A1 (en) * 2018-04-18 2019-10-24 Element Ai Inc. Unsupervised domain adaptation with similarity learning for images
CN110544218A (zh) * 2019-09-03 2019-12-06 腾讯科技（深圳）有限公司 一种图像处理方法、装置及存储介质
CN110705406A (zh) * 2019-09-20 2020-01-17 五邑大学 基于对抗迁移学习的人脸美丽预测方法及装置
CN110706173A (zh) * 2019-09-27 2020-01-17 中国计量大学 基于卷积神经网络的原子力显微镜图像盲复原方法
CN110738605A (zh) * 2019-08-30 2020-01-31 山东大学 基于迁移学习的图像去噪方法、系统、设备及介质
CN110930349A (zh) * 2018-09-18 2020-03-27 罗亚川 一种利用卷积神经网络的医学图像处理装置与方法
US20200150622A1 (en) * 2018-11-13 2020-05-14 Guangdong University Of Technology Method for detecting abnormity in unsupervised industrial system based on deep transfer learning
CN111462002A (zh) * 2020-03-19 2020-07-28 重庆理工大学 一种基于卷积神经网络的水下图像增强与复原方法
CN111784573A (zh) * 2020-05-21 2020-10-16 昆明理工大学 一种基于迁移学习的被动太赫兹图像超分辨率重构方法
CN111783831A (zh) * 2020-05-29 2020-10-16 河海大学 基于多源多标签共享子空间学习的复杂图像精确分类方法
CN111967266A (zh) * 2020-09-09 2020-11-20 中国人民解放军国防科技大学 中文命名实体识别模型及其构建方法和应用
US20210133932A1 (en) * 2019-11-01 2021-05-06 Lg Electronics Inc. Color restoration method and apparatus

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056043A (zh) * 2016-05-19 2016-10-26 中国科学院自动化研究所 基于迁移学习的动物行为识别方法和装置
CN106709875A (zh) * 2016-12-30 2017-05-24 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
US20190325299A1 (en) * 2018-04-18 2019-10-24 Element Ai Inc. Unsupervised domain adaptation with similarity learning for images
CN110930349A (zh) * 2018-09-18 2020-03-27 罗亚川 一种利用卷积神经网络的医学图像处理装置与方法
US20200150622A1 (en) * 2018-11-13 2020-05-14 Guangdong University Of Technology Method for detecting abnormity in unsupervised industrial system based on deep transfer learning
CN110738605A (zh) * 2019-08-30 2020-01-31 山东大学 基于迁移学习的图像去噪方法、系统、设备及介质
CN110544218A (zh) * 2019-09-03 2019-12-06 腾讯科技（深圳）有限公司 一种图像处理方法、装置及存储介质
CN110705406A (zh) * 2019-09-20 2020-01-17 五邑大学 基于对抗迁移学习的人脸美丽预测方法及装置
CN110706173A (zh) * 2019-09-27 2020-01-17 中国计量大学 基于卷积神经网络的原子力显微镜图像盲复原方法
US20210133932A1 (en) * 2019-11-01 2021-05-06 Lg Electronics Inc. Color restoration method and apparatus
CN111462002A (zh) * 2020-03-19 2020-07-28 重庆理工大学 一种基于卷积神经网络的水下图像增强与复原方法
CN111784573A (zh) * 2020-05-21 2020-10-16 昆明理工大学 一种基于迁移学习的被动太赫兹图像超分辨率重构方法
CN111783831A (zh) * 2020-05-29 2020-10-16 河海大学 基于多源多标签共享子空间学习的复杂图像精确分类方法
CN111967266A (zh) * 2020-09-09 2020-11-20 中国人民解放军国防科技大学 中文命名实体识别模型及其构建方法和应用

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
FUZHEN ZHUANG等: "Collaborative Dual-PLSA: Mining Distinction and Commonality across Multiple Domains for Text Classification", 《CIKM"10》, 31 December 2010 (2010-12-31), pages 1 - 10 *
JIE LU等: "Fuzzy Multiple-source Transfer Learning", 《IEEE TRANSACTIONS ON FUZZY SYSTEMS》, vol. 28, no. 12, 11 November 2019 (2019-11-11), pages 1 - 14, XP011823677, DOI: 10.1109/TFUZZ.2019.2952792 *
KEITH D. ANTHONY等: "Initial Investigation into the Effect of Image Degradation on the Performance of a 3-Category Classier Using Transfer Learning and Data Augmentation", 《SPIE》, vol. 10986, 14 May 2019 (2019-05-14), pages 109860, XP060122381, DOI: 10.1117/12.2519019 *
XIANGYU YIN等: "General Model-Agnostic Transfer Learning for Natural Degradation Image Enhancement", 《2021 INTERNATIONAL SYMPOSIUM ON COMPUTER TECHNOLOGY AND INFORMATION SCIENCE (ISCTIS)》, 19 November 2021 (2021-11-19), pages 250 - 257 *
XILUN CHEN等: "Multi-Source Cross-Lingual Model Transfer: Learning What to Share", 《ARXIV》, 5 June 2019 (2019-06-05), pages 1 - 15 *
YIFEI CHEN: "A transfer learning model with multi-source domains for biomedical event trigger extraction", 《BMC GENOMICS》, 7 January 2021 (2021-01-07), pages 1 - 18, XP021286146, DOI: 10.1186/s12864-020-07315-1 *
乔鹏: "基于可学习图像扩散的自然图像复原技术研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》, no. 01, 15 January 2021 (2021-01-15), pages 138 - 142 *
周亚斌: "面向水下机器人的图像增强与识别技术研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》, no. 04, 15 April 2021 (2021-04-15), pages 138 - 662 *
武鹏飞等: "非均匀大气中单幅退化图像复原", 《电子学报》, vol. 41, no. 10, 31 October 2013 (2013-10-31), pages 1895 - 1902 *
钱徽等: "大气退化的自然山体图像复原研究", 《计算机辅助设计与图形学学报》, vol. 14, no. 6, 30 June 2002 (2002-06-30), pages 526 - 529 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114170108A (zh) * 2021-12-14 2022-03-11 哈尔滨工业大学 基于人脸退化模型迁移的自然场景图像盲复原系统
CN114170108B (zh) * 2021-12-14 2024-04-12 哈尔滨工业大学 基于人脸退化模型迁移的自然场景图像盲复原系统

Also Published As

Publication number Publication date
CN113450267B (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
CN106910175B (zh) 一种基于深度学习的单幅图像去雾算法
CN109712083B (zh) 一种基于卷积神经网络的单幅图像去雾方法
CN111192219B (zh) 一种基于改进的逆大气散射模型卷积网络的图像去雾方法
CN110136075B (zh) 一种基于边缘锐化循环生成对抗网络的遥感影像去雾方法
CN110570381B (zh) 一种基于高斯总变差的半解耦图像分解暗光图像增强方法
CN112102179B (zh) 一种基于Retinex的深度网络单幅图像去雾方法
CN113284061A (zh) 一种基于梯度网络的水下图像增强方法
Qian et al. CIASM-Net: a novel convolutional neural network for dehazing image
CN113450267B (zh) 可快速获取多种自然退化图像复原模型的迁移学习方法
CN114283078B (zh) 一种基于双路卷积神经网络的自适应融合图像去雾方法
CN116228550A (zh) 一种基于生成对抗网络的图像自增强去雾算法
CN110097521B (zh) 一种面向反光金属视觉检测的卷积神经网络图像复原方法
CN113256538B (zh) 一种基于深度学习的无监督去雨方法
CN114881879A (zh) 一种基于亮度补偿残差网络的水下图像增强方法
CN113947538A (zh) 一种多尺度高效卷积自注意力单幅图像除雨方法
CN113191971A (zh) 一种基于yuv颜色空间的无人机图像去雾方法
CN117036189A (zh) 基于流明一致性与互补色矫正联合学习的水下图像复原模型
Goncalves et al. Guidednet: Single image dehazing using an end-to-end convolutional neural network
Dasari et al. Image Enhancement of Underwater Images Using Deep Learning Techniques
CN116152107A (zh) 一种基于细节恢复的单幅图像去雾方法
CN116433509A (zh) 一种基于cnn和卷积lstm网络的递进式图像去雾方法及系统
CN114331894B (zh) 一种基于潜在特征重构和掩模感知的人脸图像修复方法
CN115063304A (zh) 一种基于端到端的多尺寸融合的金字塔神经网络图像去雾方法及系统
CN115456891A (zh) 一种基于u型动态网络的屏下相机图像复原方法
CN114881875A (zh) 基于U-Net结构和残差网络的单幅图像去雾网络及其去雾方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant