CN111489304B - 一种基于注意机制的图像去模糊方法 - Google Patents
一种基于注意机制的图像去模糊方法 Download PDFInfo
- Publication number
- CN111489304B CN111489304B CN202010231638.1A CN202010231638A CN111489304B CN 111489304 B CN111489304 B CN 111489304B CN 202010231638 A CN202010231638 A CN 202010231638A CN 111489304 B CN111489304 B CN 111489304B
- Authority
- CN
- China
- Prior art keywords
- image
- edge
- discriminator
- generator
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000007246 mechanism Effects 0.000 title claims abstract description 14
- 230000003313 weakening effect Effects 0.000 claims abstract description 20
- 230000035945 sensitivity Effects 0.000 claims abstract description 4
- 230000002708 enhancing effect Effects 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 27
- 238000005070 sampling Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 7
- 238000001308 synthesis method Methods 0.000 claims description 7
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 238000011084 recovery Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 230000020411 cell activation Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于注意机制的图像去模糊方法，包括以下步骤：(1)准备数据，搭建生成对抗网络模型，设置参数；以合成的方式获得边缘弱化的图像ei∈Pdata(e)，并以此为契机引入边缘注意机制，设置网络结构框架；使生成器与判别器之间不断竞争学习，最终达到动态平衡；使得网络重建出具有清晰边缘和细节的标签图像；设置约束正则项；包括图像语义内容约束项Lcontent、图像边缘重建约束项Ledge和图像边缘判别的约束项Ladv；将模糊图像、标签图像以及边缘弱化图像作为输入输送到生成器中，判别器用需要完成两次判别任务，即生成图像GθG(b)和标签图像si∈Pdata(s)的判别与边缘弱化图像ei∈Pdata(e)和标签图像si∈Pdata(s)的判别；通过增强判别器在图像边缘层面判别的灵敏度，使得生成器能够得到边缘清晰的去模糊图像。
Description
技术领域
本发明属于图像处理、计算机视觉技术领域，具体涉及一种基于注意机制的图像去模糊方法。
背景技术
作为外界客观世界信息记录和传递的载体，图像一直是人类获取和辨别客观世界信息的主要来源和手段。然而，在图像的拍摄过程中会经常发生由相机抖动或物体运动引发的图像模糊问题。由于模糊的图像失去了清晰的边缘和丰富的纹理信息，使得人们很难从中获取清晰的内容和精细的信息。因此，如何清晰化运动模糊图像，使其可以更好的应用于高级图像处理(图像检测、图像识别)等领域已经成为了一个研究热点。
针对如何清晰化模糊图像这个问题，人们主要从以下两个方面展开研究：基于传统的方法和基于深度学习的图像去模糊方法。基于传统方法的图像去模糊方法依靠于从图像中手动提取先验或图像的统计信息，并在此基础上建模优化方程，通过迭代求解优化方程得到恢复后的图像。由于传统方法仅在有限的图像上提取先验，因此这类方法只在特定模糊图像上获得较好的去模糊结果，而在其他模糊图像上泛化性较低。此外，迭代求解优化函数需要耗费大量的时间，因而这类方法并不能很好的满足算法对实时性的要求。基于深度学习的图像去模糊问题通过在大量的数据集上提取特征，并在网络模型训练的过程中不断迭代选取更适合图像恢复的权值，从而恢复潜在的标签图像。虽然图像去模糊问题已经取得了一些成绩，但恢复得到的图像并不十分令人满意。例如，一些基于深度学习的方法中存在网络参数过多、网络模型过大的问题，而这无疑对网络训练在硬件配置方面提出了更高的要求；另外一些方法仅适用于合成的模糊图像，在实际的模糊图像中泛化性和鲁棒性较弱。
发明内容
本发明的目的是为了克服现有技术中的不足，通过综合利用对抗生成模型以及边缘注意机制，研究一种能够有效减少网络模型大小、满足图像去模糊实时处理需求，解决图像纹理和细节丢失等问题的图像去模糊方法。
本发明的目的是通过以下技术方案实现的：
一种基于注意机制的图像去模糊方法，包括以下步骤：
(1)准备数据，以及利用现有合成的方法，将标签图像作为输入生成一组清晰度略低于标签图像的图像，记作边缘弱化图像，搭建生成对抗网络模型并设置参数；
(2)设置生成器和判别器的网络结构框架；生成器的网络结构框架采用U型网络结构，包括编码器和解码器两部分，编码器用以下采样并提取图像中有用的细节特征进行编码，解码器用于上采样并解码图像；具体的：通过合成的方法得到与标签图像对应的边缘弱化图像，将边弱化图像引入到判别器的训练过程中，使得判别器在完成生成图像与标签图像判别任务的同时，还需将标签图像与边缘弱化图像进行判别，以提升判别器对图像边缘信息的判别学习能力；并对生成器增加生成图像和标签图像边缘一致性的约束，期望生成的图像与标签图像具有一致的边缘信息；判别器将判别的结果反馈给生成器，驱使生成器将模糊图像转换成边缘显著的去模糊图像，生成器根据判别器的反馈更新网络的参数进入下一次的迭代训练，生成器和判别器以上述描述的方式不断竞争训练，直到网络训练收敛；
(3)设置生成对抗网络模型的目标损失函数；生成器中的目标损失函数包括图像语义内容目标损失函数Lcontent、图像边缘重建目标损失函数Ledge；其中，Lcontent保证恢复前后的图像能保持相同的语义内容，Ledge约束生成图像的边缘和清晰的边缘具有一致的边缘信息；判别器中的目标损失函数Ladv，Ladv用于完成生成图像与标签图像的判别，以及标签图像与边缘弱化图像的判别，以提升判别器对图像边缘信息的判别学习能力；
(4)将模糊图像、标签图像以及边缘弱化图像作为输入输送到生成对抗网络模型中，判别器用以判别生成图像、标签图像以及边缘弱化图像；通过增强判别器在图像边缘层面判别的灵敏度，使得生成对抗网络模型的生成器能够得到边缘清晰的去模糊图像即生成图像。
进一步的，步骤(3)中，生成对抗网络模型的目标损失函数可加权地表示为：
L(G,D)＝βLcontent+λLedge+αLadv
其中，β，λ和α分别是Lcontent，Ledge和Ladv的权重系数；各约束项的权重系数约束如下：β＝10,λ＝12,α＝1，值越大代表该部分越重要。
进一步的，所述编码器包括一个卷积层用于将输入图像的维度映射到64×64；三个下采样层用以下采样并编码图像，每一个下采样层后面分别添加三个残差块，图像分辨率由256×256递减至64×64；对应的，解码器包括三个上采样层用以上采样并解码图像，每一个上采样层前面分别添加三个残差块，图像分辨率由64×64递减至256×256；最终，去模糊后的图像由一个Tanh层和一个卷积层重建得到。
进一步的，采用PatchGAN作为判别器的网络结构，包括一个平卷积层、三个下采样卷积层、一个特征重建块以及一个经过sigmoid激活函数激活的卷积层；所述下采样卷积层用于降低输入图像的分辨率和编码局部特征；一个经过sigmoid函数激活的卷积层用于得到最终的分类响应。每个卷积层后面都添加了样本标准化层和Leaky ReLU激活函数，并且每个卷积层的卷积核大小为4×4。
进一步的，本发明采用的生成对抗网络模型搭载在计算机上运行；其中batchsize(批量训练图像的个数)是2，生成器和判别器的学习率是0.0001；激活函数Leaky ReLU的坡度是0.2；网络使用Adam优化器，其动量参数分别是β1＝0.5和β2＝0.999。
与现有技术相比，本发明的技术方案所带来的有益效果是：
1)本发明方法与现有的图像去模糊算法相比，本方法恢复得到的图像具有更清晰的边缘以及更丰富的细节。相较以往从有限的图像中手动提取特征先验知识或的方法，本发明基于对抗生成网络的纯数据驱动的重构方式可以避免分开估计模型参数带来的累积误差，提高算法的准确性和鲁棒性。
2)本发明提出了一种基于图像边缘判别的判别机制，该方法与现有方法相比较，可以有效地提高生成器和判别器对边缘特征判别学习的灵敏度，有利于图像边缘以及细节方面的恢复。
附图说明
图1为本发明方法的流程框架示意图；
图2为生成器的网络布局和参数图；
图3为网络基本块(Basic block)的网络结构图；
图4为判别器的网络布局和参数图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
下面结合算法流程框图对本发明进行详细的描述。
如图1所示，本发明提供一种基于注意机制的图像去模糊方法的图像去模糊方法，其包括以下步骤：
步骤1：构建图像边缘判别机制
相较以往基于生成对抗网络的图像去模糊算法，判别器D的任务是判断输入图像是由生成器合成还是由来自于真实样本，其值表示生成器的输出图像在多大程度上像标签图像。然而，仅仅训练判别器D来分离生成的和真实的图像是不足以生成边缘清晰的去模糊图像的。这是因为显著的边缘是标签图像的一个重要特征，但图像边缘在整个图像中的比例通常很小。因此，如果输出的图像没有清晰的边缘，是很可能会混淆判别器并做出错误的判断。
因此，为了解决先前图像去模糊方法的弊端，利用现有的模糊图像合成方法对标签图像
进行处理，并得到图像清晰程度略低于标签图像的边缘弱化图像
其中S表示标签图像域，E表示边缘弱化的图像域，M代表训练集中的图像的个数，N代表边缘弱化图像的个数，si表示标签图像，ei表示边缘弱化图像。此处的模糊图像合成方法中的运动矢量参数设置为[0.01,0.009,0.008,0.007,0.005,0.003]。因此，可得到与标签图像对应的边缘弱化图像。并依此，在判别器训练的过程中，引入边缘弱化的图像、生成图像和标签图像，使得判别器能更敏锐的判别学习图像的边缘信息。此外，还通过设置生成器和判别器的目标损失函数来实现本发明提出的边缘判别机制，具体过程详见步骤3。
步骤2：构建生成器和判别器的网络结构
如图2和图4所示，其中生成器用于学习图像清晰化的过程，而判别器则对生成器学习得到的去模糊结果加以判别和反馈。
步骤2.1:构建生成器G网络结构
本发明采用U型网络作为生成器的网络结构，如图2所示。U型网络包括编码器和解码器两个部分，编码器阶段的主要作用是对图像进行空间压缩和编码，解码器阶段的主要作用是构建图像内容和域的特征。此外，在对应尺度的上采样层和下采样层之间建立跳变连接，将编码器中学习的低维度的特征与解码后的特征进行关联，指引对图像局部和细节的恢复，这对于图像结构和细节的学习十分关键。编码器部分包括一个卷积层将特征的维度映射到64×64；三个下采样层用以下采样并编码图像，每一个下采样层后面分别添加如图3所示的三个残差块，图像分辨率由256×256递减至64×64。对应的，解码器包括三个上采样层用以上采样并解码图像，每一个上采样层前面分别添加三个残差块，图像分辨率由64×64递减至256×256。最终，去模糊后的图像由一个Tanh层和一个卷积核是7×7的卷积层重建得到。
步骤2.2:构建判别器D网络结构
为了对真实的标签图像与生成器生成的图像进行区分，这里采用PatchGAN作为判别网络，如图4所示。该判别网络包括一个卷积层；三个下采样卷积层降低输入图像的分辨率和编码重要的局部特征用以分类，经过三个下采样卷积层的图像分辨率由256×256递减至32×32；一个经过sigmoid函数激活的卷积层用于得到最终的分类响应。每个卷积层后面都添加了样本标准化层和Leaky ReLU激活函数，并且所有卷积层的卷积核大小为4×4。生成器期望生成的图像以假乱真能够骗过判别器，使得判别器无法判别出相应图像是合成图像还是真实的标签图像；通过合成的方法得到与标签图像对应的边缘弱化图像，将边弱化图像引入到判别器的训练过程中，使得判别器在完成生成图像与标签图像判别任务的同时，还需要将标签图像与边缘弱化图像进行判别，从而提升判别器对图像边缘信息的判别学习能力。此外，对生成器也增加了生成图像和标签图像边缘一致性的约束，期望生成的图像与标签图像具有一致的边缘信息；判别器将判别的结果反馈给生成器，驱使生成器将模糊图像转换成边缘显著的去模糊图像，生成器根据判别器的反馈更新网络的参数进入下一次的迭代训练，生成器和判别器以上述描述的方式不断竞争训练，最终达到动态平衡，从而使生成网络重建出具有清晰边缘和细节的标签图像。
步骤3：构建生成对抗网络模型的目标损失函数
围绕着本发明的边缘判别机制，通过引进图像语义内容约束项Lcontent，图像边缘重建约束项Ledge以及图像边缘判别的约束项Ladv，分别对生成器G和判别器D的训练进行正则。因此，根据各部分的重要性，网络整体的目标损失函数可加权地表示为：
L(G,D)＝βLcontent+λLedge+αLadv
其中，β，λ和α分别是Lcontent，Ledge和Ladv的权重系数。各约束项的权重系数约束如下：β＝10,λ＝12,α＝1，更大的值代表相应对的部分更重要。
步骤3.1：构建图像语义内容约束项Lcontent
图像去模糊的目的在于保证恢复前后的图像能保持相同的语义内容。本实施中采用预训练好的VGG19模型，分别抽取生成图像和标签图像的高阶特征，期望两者之间的距离无限逼近，并通过求解二范数L2对生成图像的语义学习过程加以约束，语义约束函数的表示如下：
其中，Lcontent(s,GθG(b))表示生成图像和标签图像的语义相似度之间的差距，W和H分别代表输入图像的宽度和高度，φi,j代表从VGG19模型第i个池化层和第j个卷基层激活之后得到的特征，GθG表示生成网络以及全部参数，φi,j(s)x,y表示标签图像的语义内容，φi,j(GθG(b))x,y表示生成图像的语义内容。
步骤3.2：构建图像边缘重建约束项Ledge
清晰的边缘是衡量图像是否清晰的定性指标之一，同时也是传统方法中重要的先验之一。因此，本实施例中采用Canny边缘提取算子，分别抽取生成图像和标签图像的边缘信息，期望两者之间的距离无限逼近，并通过求解一范数L1对图像的边缘学习过程加以约束，边缘约束函数的表示如下：
其中，Lcontent(s,GθG(b))表示生成图像和标签图像在边缘一致性上的差距，W和H分别代表输入图像的宽度和高度，Canny代表Canny边缘检测算子提取到的边缘特征，Canny(GθG(b))x,y表示生成图像的边缘信息，Canny(s)x,y表示标签图像的边缘信息。
步骤3.3：构建图像边缘判别的约束项Ladv。
如步骤1所述，将模糊图像bi∈Pdata(b)输入到生成器中可得到清晰化后的图像GθG(b)，标签图像si∈Pdata(s)以及边缘弱化图像ei∈Pdata(e)，其中Pdata(b)表示模糊图像的数据分布，Pdata(s)表示标签图像的数据分布，Pdata(e)表示边缘弱化图像的数据分布。在本发明方法中，训练判别器D的目标是最大限度地将正确的标签分配给清晰化的图像GθG(b)，具有清晰边缘的标签图像si∈Pdata(s)以及边缘弱化图像ei∈Pdata(e)，指引生成器将模糊图像转换成标签图像。此外，本发明采用基于推土机距离和梯度惩罚项(WGAN-GP)作为判别器的优化架构。因此，边缘驱动的判别器的约束函数表示如下：
其中，
项是判别网络D判别标签图像si为真，
项是判别网络D判别生成图像G(bi)为假，
项是判别网络D判别标签图像ei为假，
表示梯度惩罚项，λ为系数项，
表示在标签图像si和生成数据G(bi)之间随机取值的连线上进行均匀采样得到的样本分布，
表示在标签图像si和边缘弱化图像ei之间随机取值的连线上进行均匀采样得到的样本分布。
步骤4：生成对抗网络模型的训练与测试
本实施例中选取GOPRO数据集中的2013对标签图像/模糊图像的训练集作为本发明的训练集，并使用合成的方式生成与标签图像对应的2013个边缘弱化图像ei∈Pdata(e)。本发明将模糊图像bi∈Pdata(b)，标签图像si∈Pdata(s)随机裁剪成256×256大小的图像输入到生成器中，学习图像的清晰化过程，并且此过程由目标损失函数Lcontent、Ledge进行约束。此外，在判别器的训练过程中引入同样大小256×256的边缘弱化图像ei∈Pdata(e)，判别器需要完成两次判别任务，即生成图像GθG(b)和标签图像si∈Pdata(s)的判别与边缘弱化图像ei∈Pdata(e)和标签图像si∈Pdata(s)的判别。生成器和判别器在整个训练的过程中都会有意识地对图像的边缘信息进行判别学习，直到网络训练收敛。当测试时，只需要将模糊图像输入到已经训练收敛的G中，即可得到边缘显著的去模糊图像。
本实施例中将生成对抗网络模型搭载在配置为一块Intel(R)Core(TM)i7 CPU(16GBRAM)3.60GHz的CPU和1块NVIDIA GeForce GTX 1080Ti GPU的台式电脑上运行。其中batch size(批量训练图像的个数)是2，G和D学习率是0.0001。激活函数Leaky ReLU的坡度是0.2。网络使用Adam优化器，其动量参数分别是β1＝0.5和β2＝0.999。
本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。
Claims (5)
1.一种基于注意机制的图像去模糊方法，其特征在于，包括以下步骤：
(1)准备数据，包括模糊图像和标签图像，以及利用现有合成的方法，将标签图像作为输入生成一组清晰度略低于标签图像的图像，记作边缘弱化图像；搭建生成对抗网络模型并设置参数；
(2)设置生成器和判别器的网络结构框架；生成器的网络结构框架采用U型网络结构，包括编码器和解码器两部分，编码器用以下采样并提取图像中有用的细节特征进行编码，解码器用于上采样并解码图像；具体的：
通过合成的方法得到与标签图像对应的边缘弱化图像，将边缘弱化图像引入到判别器的训练过程中，使得判别器在完成生成图像与标签图像判别任务的同时，还需将标签图像与边缘弱化图像进行判别，以提升判别器对图像边缘信息的判别学习能力；并对生成器增加生成图像和标签图像边缘一致性的约束，期望生成的图像与标签图像具有一致的边缘信息；判别器将判别的结果反馈给生成器，驱使生成器将模糊图像转换成边缘显著的去模糊图像，生成器根据判别器的反馈更新网络的参数进入下一次的迭代训练，生成器和判别器以上述描述的方式不断竞争训练，直到网络训练收敛；
(3)设置生成对抗网络模型的目标损失函数；生成器中的目标损失函数包括图像语义内容目标损失函数Lcontent、图像边缘重建目标损失函数Ledge；其中，Lcontent保证恢复前后的图像能保持相同的语义内容，Ledge约束生成图像的边缘和清晰的边缘具有一致的边缘信息；判别器中的目标损失函数Ladv，Ladv用于完成生成图像与标签图像的判别，以及标签图像与边缘弱化图像的判别，以提升判别器对图像边缘信息的判别学习能力；
(4)将模糊图像、标签图像以及边缘弱化图像作为输入输送到生成对抗网络模型中，判别器用以判别生成图像、标签图像以及边缘弱化图像；通过增强判别器在图像边缘层面判别的灵敏度，使得生成对抗网络模型的生成器能够得到边缘清晰的去模糊图像即生成图像。
2.根据权利要求1所述一种基于注意机制的图像去模糊方法，其特征在于，步骤(3)中，生成对抗网络模型的目标损失函数可加权地表示为：
L(G,D)＝βLcontent+λLedge+αLadv
其中，β，λ和α分别是Lcontent，Ledge和Ladv的权重系数；各约束项的权重系数约束如下：
β＝10,λ＝12,α＝1，值越大代表该部分越重要。
3.根据权利要求1所述一种基于注意机制的图像去模糊方法，其特征在于，所述编码器包括一个卷积层用于将输入图像的维度映射到64×64；三个下采样层用以下采样并编码图像，每一个下采样层后面分别添加三个残差块，图像分辨率由256×256递减至64×64；对应的，解码器包括三个上采样层用以上采样并解码图像，每一个上采样层前面分别添加三个残差块，图像分辨率由64×64递减至256×256；最终，去模糊后的图像由一个Tanh层和一个卷积层重建得到。
4.根据权利要求1所述一种基于注意机制的图像去模糊方法，其特征在于，采用基于块的生成对抗网络(PatchGAN)作为判别器的网络结构，包括一个平卷积层、三个下采样卷积层、一个特征重建块；所述下采样卷积层用于降低输入图像的分辨率和编码局部特征；每个卷积层后面都添加了样本标准化层和带泄露修正线性单元激活函数(Leaky ReLU)，并且每个卷积层的卷积核大小为4×4。
5.根据权利要求1所述一种基于注意机制的图像去模糊方法，其特征在于，本发明采用的生成对抗网络模型搭载在计算机上运行；其中batch size(批量训练图像的个数)是2，生成器和判别器的学习率是0.0001；激活函数Leaky ReLU的坡度是0.2；网络使用Adam优化器，其动量参数分别是β1＝0.5和β2＝0.999。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010231638.1A CN111489304B (zh) | 2020-03-27 | 2020-03-27 | 一种基于注意机制的图像去模糊方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010231638.1A CN111489304B (zh) | 2020-03-27 | 2020-03-27 | 一种基于注意机制的图像去模糊方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111489304A CN111489304A (zh) | 2020-08-04 |
| CN111489304B true CN111489304B (zh) | 2022-04-26 |
Family
ID=71798091
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010231638.1A Active CN111489304B (zh) | 2020-03-27 | 2020-03-27 | 一种基于注意机制的图像去模糊方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111489304B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112351196B (zh) * | 2020-09-22 | 2022-03-11 | 北京迈格威科技有限公司 | 图像清晰度的确定方法、图像对焦方法及装置 |
| CN112508991B (zh) * | 2020-11-23 | 2022-05-10 | 电子科技大学 | 一种前后景分离的熊猫照片卡通化方法 |
| CN112541877B (zh) * | 2020-12-24 | 2024-03-19 | 广东宜教通教育有限公司 | 基于条件生成对抗网络的去模糊方法、系统、设备及介质 |
| CN113269092A (zh) * | 2021-05-26 | 2021-08-17 | 中国石油大学(华东) | 基于多尺度条件对抗网络的海上溢油检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108416752A (zh) * | 2018-03-12 | 2018-08-17 | 中山大学 | 一种基于生成式对抗网络进行图像去运动模糊的方法 |
| CN108573479A (zh) * | 2018-04-16 | 2018-09-25 | 西安电子科技大学 | 基于对偶生成对抗式网络的人脸图像去模糊和恢复方法 |
| CN110197167A (zh) * | 2019-06-05 | 2019-09-03 | 清华大学深圳研究生院 | 一种视频动作迁移方法 |
| CN110378844A (zh) * | 2019-06-14 | 2019-10-25 | 杭州电子科技大学 | 基于循环多尺度生成对抗网络的图像盲去运动模糊方法 |
| CN110675329A (zh) * | 2019-08-06 | 2020-01-10 | 厦门大学 | 基于视觉语义引导的图像去模糊方法 |
-
2020
- 2020-03-27 CN CN202010231638.1A patent/CN111489304B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108416752A (zh) * | 2018-03-12 | 2018-08-17 | 中山大学 | 一种基于生成式对抗网络进行图像去运动模糊的方法 |
| CN108573479A (zh) * | 2018-04-16 | 2018-09-25 | 西安电子科技大学 | 基于对偶生成对抗式网络的人脸图像去模糊和恢复方法 |
| CN110197167A (zh) * | 2019-06-05 | 2019-09-03 | 清华大学深圳研究生院 | 一种视频动作迁移方法 |
| CN110378844A (zh) * | 2019-06-14 | 2019-10-25 | 杭州电子科技大学 | 基于循环多尺度生成对抗网络的图像盲去运动模糊方法 |
| CN110675329A (zh) * | 2019-08-06 | 2020-01-10 | 厦门大学 | 基于视觉语义引导的图像去模糊方法 |
Non-Patent Citations (2)
| Title |
|---|
| Edge Heuristic GAN for Non-Uniform Blind Deblurring;Shuai Zheng et al.;《IEEE Signal Processing Letters》;20190905;第26卷(第10期);全文 * |
| 融合感知损失的生成式对抗超分辨率算法;杨娟 等;《中国图象图形学报》;20190816;第24卷(第8期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111489304A (zh) | 2020-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111489304B (zh) | 一种基于注意机制的图像去模糊方法 | |
| Lei et al. | Coupled adversarial training for remote sensing image super-resolution | |
| CN111681188B (zh) | 基于结合图像像素先验和图像梯度先验的图像去模糊方法 | |
| CN112132959B (zh) | 数字岩心图像处理方法、装置、计算机设备及存储介质 | |
| Min et al. | Blind deblurring via a novel recursive deep CNN improved by wavelet transform | |
| CN115457568B (zh) | 一种基于生成对抗网络的历史文档图像降噪方法及系统 | |
| CN115984117B (zh) | 基于通道注意力的变分自编码图像超分辨率方法及系统 | |
| CN109859131A (zh) | 一种基于多尺度自相似性与共形约束的图像复原方法 | |
| CN115293966A (zh) | 一种人脸图像重建方法、装置以及存储介质 | |
| Cherian et al. | A Novel AlphaSRGAN for Underwater Image Super Resolution. | |
| CN114821434A (zh) | 一种基于光流约束的时空增强视频异常检测方法 | |
| CN114202473A (zh) | 一种基于多尺度特征和注意力机制的图像复原方法及装置 | |
| Guo et al. | Image blind deblurring using an adaptive patch prior | |
| CN116385281A (zh) | 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法 | |
| CN115760589A (zh) | 一种用于运动模糊图像的图像优化方法及装置 | |
| CN116681960A (zh) | 一种基于K8s的中尺度涡旋智能识别方法及系统 | |
| CN115601257A (zh) | 一种基于局部特征和非局部特征的图像去模糊方法 | |
| CN116402719A (zh) | 一种基于潜在扩散模型的人盲脸图像恢复系统及其方法 | |
| Zhang et al. | SE-DCGAN: a new method of semantic image restoration | |
| Shao et al. | SRWGANTV: image super-resolution through wasserstein generative adversarial networks with total variational regularization | |
| Wei et al. | FRGAN: a blind face restoration with generative adversarial networks | |
| CN114299590A (zh) | 人脸补全模型的训练方法、人脸补全方法及系统 | |
| CN115587941A (zh) | 一种基于并行处理的注意力模块的图像去模糊方法 | |
| Li et al. | Human detection via image denoising for 5G-enabled intelligent applications | |
| Tomar et al. | ENHANCING IMAGE SUPER-RESOLUTION WITH DEEP CONVOLUTIONAL NEURAL NETWORKS. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |