CN113538258A - 基于掩码的图像去模糊模型及方法 - Google Patents
基于掩码的图像去模糊模型及方法 Download PDFInfo
- Publication number
- CN113538258A CN113538258A CN202110659150.3A CN202110659150A CN113538258A CN 113538258 A CN113538258 A CN 113538258A CN 202110659150 A CN202110659150 A CN 202110659150A CN 113538258 A CN113538258 A CN 113538258A
- Authority
- CN
- China
- Prior art keywords
- mask
- image
- mix
- deblurring
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000010586 diagram Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 16
- 241000282326 Felis catus Species 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000000137 annealing Methods 0.000 claims description 3
- 230000000750 progressive effect Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 description 17
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于掩码的图像去模糊模型及方法，其特征在于：其首先提出了一个掩码预测模型以实现对各种模糊核的准确预测。然后，提出了一个基于掩码的去模糊模型，该模型利用模糊估计模块和去模糊模块，以交替迭代的方式实现图像模糊掩码的去除。最后,本发明采用两阶段的训练方式，第一阶段单独进行掩码预测模型的实现，将得到的掩码图像送入第二阶段，第二阶段进行去模糊工作，实现图像模糊的准确去除。
Description
技术领域
本发明属于计算机视觉、图像处理技术领域，尤其涉及一种基于掩码的图像去模糊模型及方法。
背景技术
图像模糊是在图像捕获过程中发生的较常见和较明显的伪影之一。模糊图像主要通过估计未知模糊核类型实现去模糊，近几年随着深度学习的兴起，多种基于神经网络的算法被提出用于计算机视觉任务，如图像修复、目标检测等。目前，利用CNN进行图像去模糊的各种方算法已被提出，利用监督学习以端对端的方式训练去模糊网络显示出其优异性，编码器-解码器结构和多尺度结构网络在图像去模糊任务也展现出其有效性。
针对当前限制图像修复发展的种种问题，研究者将图像修复任务与计算机技术融合，研究方法可分为两大类：基于传统算法和基于深度学习算法。
传统方法通常对模糊图像的模糊核类型进行建模，即对模糊核估计进行约束，并且具有用于去除模糊的正则化项，但是这些方法无法概括复杂的实际模糊图像，导致泛化性不强，效果不佳。此外，基于总变化量，稀疏编码，自相似性，先验梯度等方法也常用于单张图像去模糊任务中，但均未实现较好的去模糊效果。
基于深度学习的去模糊算法采用编码器-解码器结构学习模糊图像与高清图像对之间的非线性映射关系，实现单张图像的模糊去除。早期的学习方法通常分为两个步骤：首先，使用深层神经网络估计模糊核，然后使用传统的反卷积方法获得清晰的图像。通过分类和回归分析对模糊核进行估计，并使用CNN代替传统方法来估计未知的模糊内核，这些方法始终遵循着传统框架。基于生成对抗网络的算法可以去除图像模糊，但是该方法无法很好的解决动态场景中的非均匀模糊问题，在去模糊结果中会造成模糊伪影。
近年来，研究者们提出无需估计模糊核的端到端单张图像去模糊。基于多尺度的方法以迭代的方式提取模糊图像的多尺度信息，从而还原出清晰的图像，但是该方法以相同的网络权重恢复模糊图像，缺少处理非均匀模糊图像的自适应机制。基于全卷积估计运动流的方法在实际情况中无法取得较好的估计效果，以至于无法正确的对现实世界的非均匀且复杂的模糊进行建模。
发明内容
当前现有的技术只能针对特定类型模糊的独有特征进行去除，没能充分利用上下文信息，泛化性弱，无法达到实际工程需求。有鉴于此，为了弥补现有技术的空白和不足，本发明的目的在于提供一种基于掩码的图像去模糊模型及方法，该算法可以有效预测模糊图像的掩码图像，有效实现单张图像的模糊去除，可以得到质量较高的去模糊图像。
由于图像模糊是图像捕获过程中发生的常见和较明显的伪影之一,本发明方案解决了无法准确预测各种类型模糊核的问题，利用掩码实现图像模糊的精确去除，提升了图像去模糊的质量效果，使其可以达到实际工业需求。其首先提出了一个掩码预测模型以实现对各种模糊核的准确预测。然后，提出了一个基于掩码的去模糊模型，该模型利用模糊估计模块和去模糊模块，以交替迭代的方式实现图像模糊掩码的去除。最后,本发明采用两阶段的训练方式，第一阶段单独进行掩码预测模型，将得到的掩码图像送入第二阶段，第二阶段进行去模糊工作，实现图像模糊的准确去除。
考虑到相机拍摄时抖动或者场景的变化等因素导致图像模糊是非常常见的问题，去除模糊图像中的模糊是图像修复工作中重要的一环。目前很多研究都已证实上述模糊图像均属于非均匀模糊图像,但是很少方法在确保精确模拟非均匀模糊的同时考虑到模型的复杂度。本发明所设计的方法可以准确预测模糊图像的模糊核，并且实现较好的去模糊效果，可达工业要求，泛化性好，可以适用于各种模糊类型。
本发明具体采用以下技术方案：
一种基于掩码的图像去模糊模型，其特征在于，包括：掩码生成网络和去伪影网络；
所述掩码生成网络为编码器-解码器结构，用于生成伪影掩码图像；
所述去伪影网络采用浅层特征与深层特征相融合的多分辨率去伪影网络结构，用于在生成的伪影掩码图像的基础上保留图像浅层信息获得去模糊图像。
进一步地，所述掩码生成网络包括第一编码器、特征提取层和第一解码器；
所述第一编码器为一个普通卷积；所述特征提取层由八个Resblock模块组成，所述第一解码器为一个普通卷积。
进一步地，所述去伪影网络包括第二编码器、非线性映射层和第二解码器；
所述第二编码器的结构为：
Ien1＝↓(conv(cat(Iinput，Imask)))
Ien2＝↓(conv(Ienc1))
Ien3＝conv(Ienc2)；
其中，Ien表示第二编码器结构中每一层的输出结果，Imask表示伪影掩码图像，cat(·)表示concatenate操作，conv(·)表示普通卷积操作，↓表示将特征图分辨率下采样为输入特征图分辨率的一半；
所述非线性映射层由多个Resblock模块组成，具体表示为：
F＝Res(Res(Res(…Res(Ienc3))))
其中，F表示特征图经过非线性映射层得到的输出结果，Res(·)表示Resblock 操作；
所述第二解码器的结构为：
Ide1＝↑(conv(F))
Ide2＝↑(cat(conv(Ide1)，Imix1))
Ide3＝cat(conv(Ide2)，Imix2)
Ioutput＝conv(Ide3)；
其中，Ide表示第二解码器每一层的输出结果，Ioutput表示去伪影网络最终输出的去除模糊的结果图，↑表示将特征图分辨率上采样为输入特征图分辨率的两倍，Imix表示特征图经mix(·)操作的输出结果，
其中，mix(·)具体如下式所示：
Imix-en＝↓(↓(Ien))
Imix-de1＝↓(Ide)
Imix-de2＝↓(Imix-de1)
Imix＝↑(Imix-de1+↑(Imix-de2+Imix-en))
其中，Imix-en表示第二编码器输出经由mix(·)操作所得特征图，Imix-de1与 Imix-de2分别表示第二解码器输出经过mix(·)操作所得中间特征图，Imix表示 mix(·)操作的最终输出结果。
进一步地，整个网络模型的损失函数表示为：
Lmask＝L1(Imask，Iclean-Iinput)
Ldebkur＝L1(Iinput，Ivlean)
L＝Ldeblur+β·Lmask；
其中，Lmask和Ldeblur分别表示掩码生成网络的损失函数和去伪影网络的损失函数,L1(·)表示L1损失函数，β表示掩码生成网络的损失函数的权重。
以及，根据基于掩码的图像去模糊模型的去模糊方法，其特征在于：第一阶段通过所述掩码生成网络对模糊图像的掩码进行预测；第二阶段将生成的掩码图像传递到去伪影网络与对应输入的模糊图像合并进行学习，实现模糊图像的去模糊。
基于掩码的图像去模糊模型的去模糊方法，其特征在于，包括：
步骤S1：获取清晰的高清图像和模糊图像的成对图像，进行数据增强，构建图像数据集；
步骤S2：将待处理的模糊图像与高清图像对逐对图像对输入由掩码生成网络和去伪影网络构成的去模糊网络模型，得到消除了模糊的去模糊图像。
进一步地，所述数据增强包括对图像进行随机剪裁、翻转和旋转操作。
进一步地，首先训练所述掩码生成网络，以准确预测掩码图像；之后交替式训练掩码生成网络与去伪影网络，以实现模糊去除效果。
进一步地，模型训练采用渐进式训练策略，将训练过程分为多个子训练周期，一次进行一个子训练周期的训练，训练开始时以大学习率开始训练，学习率衰减方式为余弦退火方式，当执行完一个子训练周期时，学习率增加以重启训练过程，直至迭代完成。
由于图像模糊在生活中是广泛存在的，图像去模糊问题从上个世纪起就得到了关注和研究。随着时间的发展，为了解决图像去模糊问题，去模糊问题已经衍生出许多的方法和类别，按照退化类型进行分类可以分为运动模糊，高斯模糊，散焦模糊，湍流模糊等。本发明的工作立足于解决图像成像过程中的模糊问题，可运用于各种类型模糊图像的模糊去除。
与现有技术相比，本发明及其优选方案，可以准确预测掩码并实现较好的图像去模糊效果，且该算法泛化性好，可以应用于多种场景的图像修复问题，可达到实际工业需求。
其将去模糊任务一分为二：模糊预测和去模糊双任务，利用对模糊情况的估计去除图像模糊有助于准确去除模糊图像的模糊；上述两个网络均堆叠多个 Resblock以充分学习图像深层特征。CNN浅层部分可获取浅层特征(如边缘和轮廓)，但随着网络深度的增加，浅层特征会逐渐退化，为了解决这一问题，本发明将网络中的浅层特征和深层特征结合，通过具有串联和跳跃链接等方式生成新的特征图。在去模糊网络中，下采样层和上采样层特征之间缺少连接，这会导致浅层信息的丢失，因此应用mix(·)操作融合编码器部分特征和解码器部分特征以保留图像信息。
此外，若第一阶段的掩码生成模型存在误差，会严重影响第二阶段的去模糊性能，故此本发明在第二阶段采取掩码生成网络与去伪影网络交替进行的方式，以减小第一阶段的不良影响，该模型结构有助于第二阶段去伪影模型性能的提升。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
图1为本发明实施例网络模型总体框架流程示意图。
图2为本发明实施例总体网络结构示意图。
图3为本发明实施例Resblock模块结构示意图。
图4为本发明实施例掩码生成网络结构示意图。
图5为本发明实施例去伪影网络结构示意图。
具体实施方式
为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：
如图1-图5所示，为了实现本发明目的，本实施例设计了两阶段的网络模型，总体框架流程图如图1所示：
首先第一阶段为伪影掩码生成模型，掩码生成网络研究了模糊图像掩码的形成，通过搭建掩码网络实现对模糊图像的掩码精确预测。其次，第二阶段为去伪影模型，掩码生成模型将生成的掩码图像传递到去伪影模型与对应输入模糊图像合并进行学习，实现模糊图像的准确去模糊。总体网络结构图如图2所示。
具体步骤如下：
1、数据集准备
收集模糊图像和高清图像的成对图像，并对数据进行增强，构建图像数据集。数据增强包括对图像进行旋转和翻转操作。
2、掩码建模
Imask＝Iblur-Iclean (1)
其中，Imask，Iblur和Iclean分别表示掩码图像、模糊图像和对应高清图像。
3、掩码生成模型
第一阶段首先构建掩码生成网络，并基于图像数据集进行第一阶段训练，得到掩码图像，掩码生成网络为编码器-解码器结构；
编码器部分为一个普通卷积，将训练集的模糊图像输入至编码器模型进行学习得到浅层特征；
将上述浅层特征传递到特征提取层进行充分的特征学习，特征提取层由八个Resblock模块组成，Resblock模块结构图如图3所示。
将上述特征图传递至解码器解码，上述解码器由单个普通卷积组成，最终上述特征图经过解码得到预期的对应掩码图像，掩码生成网络如图4所示。
4、去伪影网络
掩码生成网络将生成的掩码图像传递至第二阶段，与对应模糊图像合并输入至网络学习，最终得到消除了模糊的结果图像。如图5所示，去伪影网络包括编码器、非线性映射层和解码器部分；
编码器部分，将模糊图像和对应掩码图像合并输入编码器网络执行特征提取阶段，具体步骤详情如下：
Ien1＝↓(conv(cat(Iinput，Imask))) (2)
Ien2＝↓(conv(Ienc1)) (3)
Ien3＝conv(Ienc2) (4)
其中，Ien表示编码器结构中每一层的输出结果，Imask表示第一阶段输出模糊图像与输入模糊图像对应的掩码图像，cat(·)表示concatenate操作，conv(·) 表示普通卷积操作，↓表示将特征图分辨率下采样为输入特征图分辨率的一半。去伪影网络结构图如图5所示。
编码器输出特征图经由非线性映射层进行充分的特征学习，学习模糊图像的深层次特征，非线性映射层由多个Resblock模块组成，具体表示为：
F＝Res(Res(Res(…Res(Ienc3)))) (5)
F表示上述特征图经过非线性映射层得到的输出结果，Res(·)表示Resblock 操作。
输入图像经过编码器和非线性映射层的充分学习，最终传递到解码器部分，解码器由以下步骤组成：
Ide1＝↑(conv(F)) (6)
Ide2＝↑(cat(conv(Ide1)，Imix1)) (7)
Ide3＝cat(conv(Ide2)，Imix2) (8)
Ioutput＝conv(Ide3) (9)
其中，Ide表示解码器每一层的输出结果，Ioutput表示去伪影网络最终输出的去除模糊的结果图，↑表示将特征图分辨率上采样为输入特征图分辨率的两倍， Imix表示上述特征图经mix(·)操作的输出结果，mix(·)具体如下式所示：
Imix-en＝↓(↓(Ien)) (10)
Imix-de1＝↓(Ide) (11)
Imix-de2＝↓(Imix-de1) (12)
Imix＝↑(Imix-de1+↑(Imix-de2+Imix-en)) (13)
其中，Imix-en表示上述编码器输出经由mix(·)操作所得特征图，Imix-de1与 Imix-de2分别表示上述解码器输出经过mix(·)操作所得中间特征图，Imix表示 mix(·)操作的最终输出结果。该操作有助于将上述编码器输出特征与解码器输出特征充分融合，使去伪影网络充分学习多尺度信息。
5、损失函数
根据上述两阶段网络模型的要求，掩码生成网络和去伪影网络的损失函数表示为：
Lmask＝L1(Imask，Iclean-Iinput) (14)
Ldeblur＝L1(Iinput，Iclean) (15)
L＝Ldeblur+β·Lmask (16)
其中，Lmask和Ldeblur分别表示第一阶段的掩码生成网络的损失函数和第二阶段的去伪影网络的损失函数,L1(·)表示L1损失函数，β表示掩码生成网络的损失函数的权重，β＝0.05。
基于以上设计，本实施例实现过程如下：
步骤1：获取清晰的高清图像和模糊图像的成对图像，并对数据进行加强，构建图像数据集。
步骤2：构建两阶段的去模糊网络。
步骤3：将待处理的模糊图像与高清图像对逐对图像对输入去模糊网络模型，得到了消除了模糊的去模糊图像。
其中，数据增强包括对图像进行随机剪裁、翻转和旋转操作。
两阶段的网络模型即为第一阶段掩码生成模型和第二阶段去伪影模型。
以上模型训练方式首先训练第一阶段的所述掩码生成网络，以准确预测掩码图像；第二阶段交替式训练掩码生成网络与去伪影网络，以实现较好的模糊去除效果。上述模型训练采用渐进式训练策略，将训练过程分为多个子训练周期，一次进行一个子训练周期的训练，训练开始时以大学习率开始训练，学习率衰减方式为余弦退火方式，当执行完一个子训练周期时，学习率增加以重启训练过程，直至迭代完成。
本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于掩码的图像去模糊模型及方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。
Claims (9)
1.一种基于掩码的图像去模糊模型，其特征在于，包括：掩码生成网络和去伪影网络；
所述掩码生成网络为编码器-解码器结构，用于生成伪影掩码图像；
所述去伪影网络采用浅层特征与深层特征相融合的多分辨率去伪影网络结构，用于在生成的伪影掩码图像的基础上保留图像浅层信息获得去模糊图像。
2.根据权利要求1所述的基于掩码的图像去模糊模型，其特征在于：所述掩码生成网络包括第一编码器、特征提取层和第一解码器；
所述第一编码器为一个普通卷积；所述特征提取层由八个Resblock模块组成，所述第一解码器为一个普通卷积。
3.根据权利要求1所述的基于掩码的图像去模糊模型，其特征在于：所述去伪影网络包括第二编码器、非线性映射层和第二解码器；
所述第二编码器的结构为：
Ien1＝↓(conv(cat(Iinput，Imask)))
Ien2＝↓(conv(Ienc1))
Ien3＝conv(Ienc2)；
其中，Ien表示第二编码器结构中每一层的输出结果，Imask表示伪影掩码图像，cat(·)表示concatenate操作，conv(·)表示普通卷积操作，↓表示将特征图分辨率下采样为输入特征图分辨率的一半；
所述非线性映射层由多个Resblock模块组成，具体表示为：
F＝Res(Res(Res(…Res(Ienc3))))
其中，F表示特征图经过非线性映射层得到的输出结果，Res(·)表示Resblock操作；
所述第二解码器的结构为：
Ide1＝↑(conv(F))
Ide2＝↑(cat(conv(Ide1)，Imix1))
Ide3＝cat(conv(Ide2)，Imix2)
Ioutput＝conv(Ide3)；
其中，Ide表示第二解码器每一层的输出结果，Ioutput表示去伪影网络最终输出的去除模糊的结果图，↑表示将特征图分辨率上采样为输入特征图分辨率的两倍，Imix表示特征图经mix(·)操作的输出结果，
其中，mix(·)具体如下式所示：
Imix-en＝↓(↓(Ien))
Imix-de1＝↓(Ide)
Imix-de2＝↓(Imix-de1)
Imix＝↑(Imix-de1+T(Imix-de2+Imix-en))
其中，Imix-en表示第二编码器输出经由mix(·)操作所得特征图，Imix-de1与Imix-de2分别表示第二解码器输出经过mix(·)操作所得中间特征图，Imix表示mix(·)操作的最终输出结果。
4.根据权利要求1所述的基于掩码的图像去模糊模型，其特征在于：整个网络模型的损失函数表示为：
Lmask＝L1(Imask，Iclean-Iinput)
Ldeblur＝L1(Iinput，Iclean)
L＝Ldeblur+β·Lmask；
其中，Lmask和Ldeblur分别表示掩码生成网络的损失函数和去伪影网络的损失函数，L1(·)表示L1损失函数，β表示掩码生成网络的损失函数的权重。
5.根据权利要求1-4其中任一所述的基于掩码的图像去模糊模型的去模糊方法，其特征在于：第一阶段通过所述掩码生成网络对模糊图像的掩码进行预测；第二阶段将生成的掩码图像传递到去伪影网络与对应输入的模糊图像合并进行学习，实现模糊图像的去模糊。
6.根据权利要求1-4其中任一所述的基于掩码的图像去模糊模型的去模糊方法，其特征在于，包括：
步骤S1：获取清晰的高清图像和模糊图像的成对图像，进行数据增强，构建图像数据集；
步骤S2：将待处理的模糊图像与高清图像对逐对图像对输入由掩码生成网络和去伪影网络构成的去模糊网络模型，得到消除了模糊的去模糊图像。
7.根据权利要求6所述的基于掩码的图像去模糊模型的去模糊方法，其特征在于：所述数据增强包括对图像进行随机剪裁、翻转和旋转操作。
8.根据权利要求1-4其中任一所述的基于掩码的图像去模糊模型的去模糊方法，其特征在于：首先训练所述掩码生成网络，以准确预测掩码图像；之后交替式训练掩码生成网络与去伪影网络，以实现模糊去除效果。
9.根据权利要求8所述的基于掩码的图像去模糊模型的去模糊方法，其特征在于：模型训练采用渐进式训练策略，将训练过程分为多个子训练周期，一次进行一个子训练周期的训练，训练开始时以大学习率开始训练，学习率衰减方式为余弦退火方式，当执行完一个子训练周期时，学习率增加以重启训练过程，直至迭代完成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110659150.3A CN113538258B (zh) | 2021-06-15 | 2021-06-15 | 基于掩码的图像去模糊模型及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110659150.3A CN113538258B (zh) | 2021-06-15 | 2021-06-15 | 基于掩码的图像去模糊模型及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113538258A true CN113538258A (zh) | 2021-10-22 |
| CN113538258B CN113538258B (zh) | 2023-10-13 |
Family
ID=78095957
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110659150.3A Active CN113538258B (zh) | 2021-06-15 | 2021-06-15 | 基于掩码的图像去模糊模型及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113538258B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114842307A (zh) * | 2022-07-04 | 2022-08-02 | 中国科学院自动化研究所 | 掩码图像模型训练方法、掩码图像内容预测方法和设备 |
| CN114926338A (zh) * | 2022-05-25 | 2022-08-19 | 上海商汤智能科技有限公司 | 模型训练方法及装置、电子设备和存储介质 |
| CN117237235A (zh) * | 2023-11-13 | 2023-12-15 | 大连理工大学 | 图像散焦检测攻击的去模糊方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108510451A (zh) * | 2018-02-09 | 2018-09-07 | 杭州雄迈集成电路技术有限公司 | 一种基于双层卷积神经网络的重建车牌的方法 |
| CN109087346A (zh) * | 2018-09-21 | 2018-12-25 | 北京地平线机器人技术研发有限公司 | 单目深度模型的训练方法、训练装置和电子设备 |
| CN109359684A (zh) * | 2018-10-17 | 2019-02-19 | 苏州大学 | 基于弱监督定位和子类别相似性度量的细粒度车型识别方法 |
| WO2019066794A1 (en) * | 2017-09-27 | 2019-04-04 | Google Llc | END-TO-END NETWORK MODEL FOR HIGH-RESOLUTION IMAGE SEGMENTATION |
| WO2019079895A1 (en) * | 2017-10-24 | 2019-05-02 | Modiface Inc. | SYSTEM AND METHOD FOR IMAGE PROCESSING THROUGH DEEP NEURAL NETWORKS |
| CN110287960A (zh) * | 2019-07-02 | 2019-09-27 | 中国科学院信息工程研究所 | 自然场景图像中曲线文字的检测识别方法 |
| US20190311202A1 (en) * | 2018-04-10 | 2019-10-10 | Adobe Inc. | Video object segmentation by reference-guided mask propagation |
| CN111583152A (zh) * | 2020-05-11 | 2020-08-25 | 福建帝视信息科技有限公司 | 基于U-net结构的图像伪影检测与自动去除方法 |
-
2021
- 2021-06-15 CN CN202110659150.3A patent/CN113538258B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019066794A1 (en) * | 2017-09-27 | 2019-04-04 | Google Llc | END-TO-END NETWORK MODEL FOR HIGH-RESOLUTION IMAGE SEGMENTATION |
| WO2019079895A1 (en) * | 2017-10-24 | 2019-05-02 | Modiface Inc. | SYSTEM AND METHOD FOR IMAGE PROCESSING THROUGH DEEP NEURAL NETWORKS |
| CN108510451A (zh) * | 2018-02-09 | 2018-09-07 | 杭州雄迈集成电路技术有限公司 | 一种基于双层卷积神经网络的重建车牌的方法 |
| US20190311202A1 (en) * | 2018-04-10 | 2019-10-10 | Adobe Inc. | Video object segmentation by reference-guided mask propagation |
| CN109087346A (zh) * | 2018-09-21 | 2018-12-25 | 北京地平线机器人技术研发有限公司 | 单目深度模型的训练方法、训练装置和电子设备 |
| CN109359684A (zh) * | 2018-10-17 | 2019-02-19 | 苏州大学 | 基于弱监督定位和子类别相似性度量的细粒度车型识别方法 |
| CN110287960A (zh) * | 2019-07-02 | 2019-09-27 | 中国科学院信息工程研究所 | 自然场景图像中曲线文字的检测识别方法 |
| CN111583152A (zh) * | 2020-05-11 | 2020-08-25 | 福建帝视信息科技有限公司 | 基于U-net结构的图像伪影检测与自动去除方法 |
Non-Patent Citations (1)
| Title |
|---|
| 权宇;李志欣;张灿龙;马慧芳;: "融合深度扩张网络和轻量化网络的目标检测模型", 电子学报, no. 02 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114926338A (zh) * | 2022-05-25 | 2022-08-19 | 上海商汤智能科技有限公司 | 模型训练方法及装置、电子设备和存储介质 |
| CN114842307A (zh) * | 2022-07-04 | 2022-08-02 | 中国科学院自动化研究所 | 掩码图像模型训练方法、掩码图像内容预测方法和设备 |
| CN117237235A (zh) * | 2023-11-13 | 2023-12-15 | 大连理工大学 | 图像散焦检测攻击的去模糊方法 |
| CN117237235B (zh) * | 2023-11-13 | 2024-02-02 | 大连理工大学 | 图像散焦检测攻击的去模糊方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113538258B (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113538258A (zh) | 基于掩码的图像去模糊模型及方法 | |
| CN110782399A (zh) | 一种基于多任务cnn的图像去模糊方法 | |
| CN111462019A (zh) | 基于深度神经网络参数估计的图像去模糊方法及系统 | |
| CN111915530A (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN112164011A (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
| CN114187191B (zh) | 一种基于高频-低频信息融合的图像去模糊方法 | |
| CN111127354A (zh) | 一种基于多尺度字典学习的单图像去雨方法 | |
| CN111539885B (zh) | 一种基于多尺度网络的图像增强去雾方法 | |
| CN115272113A (zh) | 一种基于多尺度频率分离网络的图像去模糊方法 | |
| Yu et al. | Split-attention multiframe alignment network for image restoration | |
| CN113538245A (zh) | 基于退化模型的超分辨率图像重建方法及系统 | |
| CN115345791A (zh) | 一种基于注意力机制残差网络模型的红外图像去模糊算法 | |
| CN116596792A (zh) | 一种面向智能船舶的内河雾天场景恢复方法、系统及设备 | |
| Jalata et al. | Eqadap: Equipollent domain adaptation approach to image deblurring | |
| Li | A survey on image deblurring | |
| CN116721033A (zh) | 一种基于随机掩码卷积和注意力机制的单幅图像去雾方法 | |
| CN116664414A (zh) | 一种基于无监督学习的统一图像去雾和去噪方法 | |
| Islam et al. | Video deraining using the visual properties of rain streaks | |
| Jimenez et al. | Deep convolutional autoencoders for deblurring and denoising low-resolution images | |
| CN115311155A (zh) | 基于改进kpn网络图片去雨方法、系统及存储介质 | |
| Jadhav et al. | Image denoising using deep auto-encoder network for production monitoring in real-time | |
| CN115018726A (zh) | 一种基于U-Net的图像非均匀模糊核的估计方法 | |
| CN110415190B (zh) | 基于深度学习去除图像压缩噪声的方法、装置及处理器 | |
| CN112529815A (zh) | 一种雨后真实图像中雨滴去除方法及系统 | |
| Gao et al. | Blind deblurring of single image based on kernel estimation of texture image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |