CN113012072A - 一种基于注意力网络的图像运动去模糊方法 - Google Patents
一种基于注意力网络的图像运动去模糊方法 Download PDFInfo
- Publication number
- CN113012072A CN113012072A CN202110339479.1A CN202110339479A CN113012072A CN 113012072 A CN113012072 A CN 113012072A CN 202110339479 A CN202110339479 A CN 202110339479A CN 113012072 A CN113012072 A CN 113012072A
- Authority
- CN
- China
- Prior art keywords
- convolution
- attention
- module
- image
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000005259 measurement Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 238000011084 recovery Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 5
- 238000011282 treatment Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 27
- 238000013135 deep learning Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Abstract
本发明提供了一种基于注意力网络的图像运动去模糊方法，包括S1，对待去模糊运动图像进行预处理；S2，将待去模糊运动图像输入至已训练好的注意力网络模型中，得到恢复图像；S3，将得到的恢复图像与真实清晰图像进行对比，计算衡量指标；本发明提出的端到端的注意力网络模型，将真实场景下图像运动模糊在空间域所表现的非一致性用空间域注意力机制进行刻画，并通过注意力权重引导模型对非一致运动模糊进行不同的处理，能够得到更好的效果。
Description
技术领域
本发明属于数字图像处理的技术领域，具体涉及一种基于注意力网络的图像运动去模糊方法，该方法能够将相机获得的带有失焦模糊的数字图像恢复成清晰的数字图像。
背景技术
图像作为视觉信息的载体，在日常生活中有着重要的作用。在信息化的时代，日常生活离不开图像及其传播，通过图像分享来沟通和联系。数字图像的获取一般是通过传感器如相机，手机等设备，在获取图像的过程中，很多因素都能造成图像的退化，例如设备的抖动或者拍摄物体的移动，就会导致获取的图像存在运动模糊。运动模糊的存在不仅影响图像的清晰度及美感，还降低了图像所表示信息的可理解程度。在这种情况下，如何将运动模糊的图像恢复到清晰图像，是一个不可缺少且具有价值的研究课题。
图像运动去模糊大致可以分为两类方法，其中第一类是基于模糊核估计的方法，该类方法会先估计模糊图像的模糊核，例如运动模糊的方向和幅度，然后根据估计得到的模糊核进行非盲的去模糊。其中估计模糊核又可以根据使用的方法分为优化学习方法和深度学习方法，前者通过对图像的一些自然先验，如稀疏假设，图像的边等对优化方法进行限制得到优化解，后者通过数据驱动学习模糊图像的模糊核。基于模糊核的方法往往假设运动模糊是一致的或者是局部一致的，这个假设往往在现实场景中是不存在的。所以另一类方法直接学习模糊图像到清晰图像的复原，该类方法一般是深度学习方法，通过数据驱动学习模糊图像到清晰图像的映射。该类方法能够解决与现实场景符合的非一致性运动去模糊。
现实场景的运动模糊往往表现为非一致性，即图像上不同位置的运动模糊表现不同，例如不同物体的运动模糊方向不一致，以及运动模糊幅度不一致。目前大部分深度学习的方法没有考虑将运动模糊在空间上的不一致性体现在网络结构设计中，这也使得目前方法对非一致性运动去模糊的表现没有达到较佳效果。
因此，行业内急需研发一种能对不同空间位置的运动模糊具有不同的处理能力的去模糊方法或者系统。
发明内容
本发明的主要目的是设计一种可以有效进行图像运动模糊恢复的端到端的基于注意力网络的图像运动去模糊方法。
为了达到上述目的，本发明采用以下技术方案：
一种基于注意力网络的图像运动去模糊方法，包括下述步骤：
S1，对待去模糊运动图像进行预处理；
S2，将待去模糊运动图像输入至已训练好的注意力网络模型中，得到恢复图像；
S3，将得到的恢复图像与真实清晰图像进行对比，计算衡量指标；
其中，注意力网络模型的训练包括下述步骤：
(1)获取运动模糊图像数据库；
(2)将数据库内的运动模糊图像进行预处理，将预处理后的运动模糊图像划分为训练集和验证集；
(3)利用训练集对注意力网络模型进行训练，保存训练完成的网络参数；
(4)利用验证集对注意力网络模型进行验证。
优选地，步骤(1)中包括：选择并下载在真实场景下采集的高分辨率运动模糊图像数据集。
优选地，步骤(2)中，在训练集中，清晰图像及对应的运动模糊图像为一组。
优选地，将数据库内的运动模糊图像的预处理包括：尺寸裁剪、随机翻转并进行归一化处理。
优选地，步骤(3)包括：将训练集的运动模糊图像输入已搭建好的注意力网络模型中，注意力网络模型输出恢复图像，并将恢复图像与对应的清晰图像进行对比，计算损失函数，根据损失函数计算梯度，利用梯度反向传播和梯度下降更新模型参数，通过多次迭代，模型收敛至对应的真实清晰图像。
优选地，注意力网络模型包括：编码器和解码器；编码器和解码器之间还采用跳跃连接来传递消息；编码器通过卷积和注意力模块不断减少特征图的分辨率并增加特征图个数，编码器为网络的前半部分，编码器包括3个卷积层及9个注意力模块；解码器通过将编码器得到的特征渐上采样和减少通道数来恢复清晰图像，解码器为网络后半部分，解码器包括3个卷积层和9个注意力模块。
优选地，注意力网络模型包括：
卷积层1：卷积核大小为5*5，卷积核个数为32，步长stride＝1，padding＝2；
注意力模块1-1：该模块卷积层的卷积核大小为5*5，卷积核个数为32；
注意力模块1-2：该模块卷积层的卷积核大小为5*5，卷积核个数为32；
注意力模块1-3：该模块卷积层的卷积核大小为5*5，卷积核个数为32；
卷积层2：卷积核大小为5*5，卷积核个数为64，步长stride＝2，padding＝2；
注意力模块2-1：该模块卷积层的卷积核大小为5*5，卷积核个数为64；
注意力模块2-2：该模块卷积层的卷积核大小为5*5，卷积核个数为64；
注意力模块2-3：该模块卷积层的卷积核大小为5*5，卷积核个数为64；
卷积层3：卷积核大小为5*5，卷积核个数为128，步长stride＝2，padding＝2；
注意力模块3-1：该模块卷积层的卷积核大小为5*5，卷积核个数为128；
注意力模块3-2：该模块卷积层的卷积核大小为5*5，卷积核个数为128；
注意力模块3-3：该模块卷积层的卷积核大小为5*5，卷积核个数为128；
注意力模块4-1：该模块卷积层的卷积核大小为5*5，卷积核个数为128；
注意力模块4-2：该模块卷积层的卷积核大小为5*5，卷积核个数为128；
注意力模块4-3：该模块卷积层的卷积核大小为5*5，卷积核个数为128；
上采样操作1：将特征图上采样到x2的分辨率；
卷积层4：卷积核大小为5*5，卷积核个数为64，步长stride＝1，padding＝2；
注意力模块5-1：该模块卷积层的卷积核大小为5*5，卷积核个数为64；
注意力模块5-2：该模块卷积层的卷积核大小为5*5，卷积核个数为64；
注意力模块5-3：该模块卷积层的卷积核大小为5*5，卷积核个数为64；
上采样操作2：将特征图上采样到x2的分辨率；
卷积层5：卷积核大小为5*5，卷积核个数为32，步长stride＝1，padding＝2；
注意力模块6-1：该模块卷积层的卷积核大小为5*5，卷积核个数为32；
注意力模块6-2：该模块卷积层的卷积核大小为5*5，卷积核个数为32；
注意力模块6-3：该模块卷积层的卷积核大小为5*5，卷积核个数为32；
卷积层6：卷积核大小为5*5，卷积核个数为3，步长stride＝1，padding＝2；
跳跃连接1：注意力模块2-3的输出与注意力卷积层4的输出级联，作为注意力模块5-1的输入；
跳跃连接2：注意力模块1-3的输出与注意力卷积层5的输出级联，作为注意力模块6-1的输入。
优选地，注意力网络模型的注意力模块由两个卷积层和一个注意力机制组成，其中注意力机制计算通过两个卷积核为1*1的卷积得到一个注意力权重。
优选地，注意力网络中的激活函数为ReLu函数，ReLu函数表达式为：f(x)＝max(0，x)，非线性激活函数用于增加模型的非线性，加快模型收敛。
优选地，损失函数为：
L＝Lccont+λ1Lcgrad
其中λ1＝0.85；Lccont为内容损失函数，Lcgrad为梯度损失函数；
内容损失函数为：
其中i代表每个像素的下标，
代表二范数的平方，M·N表示图像的大小，Cg是真实清晰的图像，C′是网络恢复的图像；
梯度损失函数为：
其中
和
分别表示图像上在特征图X方向及y方向上的梯度，
代表二范数的平方，M·N表示图像的大小，Cg是真实清晰的图像，C′是网络恢复图像。
本发明与现有的技术相比，具有以下优点：
本发明提出的端到端的注意力网络模型，将真实场景下图像运动模糊在空间域所表现的非一致性用空间域注意力机制进行刻画，并通过注意力权重引导模型对非一致运动模糊进行不同的处理，能够得到更好的效果。
本发明注意力网络模型的端到端训练，直接从输入经过模型得到输出，无须分阶段估计模糊核再进行非盲去模糊，网络可根据训练集的输入模糊图像和对应的清晰图像自动提取各种特征和学到输入到输出的映射，无须人为干预。
本发明相比于传统优化算法具有更低的时间复杂度，本发明训练好的网络模型能够很快地得到恢复结果，而传统方法需要进行迭代优化，需要更高的时间复杂度。本发明相对于其他深度学习方法，引入注意力机制，能够更好的处理非一致性运动模糊，去模糊效果更好。
附图说明
图1为本发明的基于注意力网络的图像运动去模糊方法的示意性流程图。
图2为本发明整体网络模型结构图。
图3为本发明采用的注意力机制结构图。
图4为本发明的注意力机制图。
具体实施方式
下面结合实例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
参见图1，一种基于注意力网络的图像运动去模糊方法，包括下述步骤：
S1，对待去模糊运动图像进行预处理；预处理包括：尺寸裁剪、随机翻转并进行归一化处理。
S2，将待去模糊运动图像输入至已训练好的注意力网络模型中，得到恢复图像；
S3，将得到的恢复图像与真实清晰图像进行对比，计算衡量指标(PSNR，SSIM)；
其中，注意力网络模型的训练包括下述步骤：
(1)获取运动模糊图像数据库；具体为，选择并下载在真实场景下采集的高分辨率运动模糊图像数据集。该数据集由高速相机拍摄自真实场景后合成得到模糊图像。本发明将数据划分为训练集，测试集。
(2)将数据库内的运动模糊图像进行预处理，预处理包括：尺寸裁剪、随机翻转并进行归一化处理。将预处理后的运动模糊图像划分为训练集和验证集，分别为70％，30％；本发明是通过有监督的学习进行端到端的图像运动去模糊恢复，所以本发明需要一个较大数量的待训练的运动模糊图像数据集，包含成对的运动模糊的图像及其对应的清晰图像。本发明对运动模糊图像进行预处理时，首先从训练集中随机选取图像。为了提高网络对于不同图像的鲁棒性，本发明还对图像进行了随机裁剪得到分辨率为256*256的图像，之后对图像进行了随机水平翻转和随机垂直翻转，最后将图像像素值归一化到[0，1]，才可以输入网络进行计算。
(3)利用训练集对注意力网络模型进行训练，保存训练完成的网络参数；
(4)利用验证集对注意力网络模型进行验证。
在本实施例，为了完成网络模型的端到端学习，让网络能够有效地学习到运动模糊图像到清晰图像的映射，本发明构建了适合其图像总体特征及内容的损失函数。
损失函数为：
L＝Lccont+λ1 Lcgrad
其中λ1＝0.85；Lccont为内容损失函数，内容损失函数能准确地衡量和有效训练网络模型，Lcgrad为梯度损失函数；梯度损失函数能更好的使恢复的图像保有清晰的边及减少恢复图像的响铃效应。
内容损失函数为：
其中i代表每个像素的下标，
代表二范数的平方，M·N表示图像的大小，Cg是真实清晰的图像，C′是网络恢复的图像；
梯度损失函数为：
其中
和
分别表示图像上在特征图X方向及y方向上的梯度，
代表二范数的平方，M·N表示图像的大小，Cg是真实清晰的图像，C′是网络恢复图像。
将训练集的运动模糊图像输入已搭建好的注意力网络模型中，注意力网络模型输出恢复图像，并将恢复图像与对应的清晰图像进行对比，计算损失函数，根据损失函数计算梯度，利用梯度反向传播和梯度下降更新模型参数，通过多次迭代，模型收敛至对应的真实清晰图像。参见图2，注意力网络模型包括：编码器和解码器；编码器和解码器之间还采用跳跃连接来传递消息，以保证解码器能够获取低层的图像特征，确保图像细节不会丢失。编码器通过卷积和注意力模块不断减少特征图的分辨率并增加特征图个数，编码器为网络的前半部分，编码器包括3个卷积层及9个注意力模块；解码器通过将编码器得到的特征渐上采样和减少通道数来恢复清晰图像，解码器为网络后半部分，解码器包括3个卷积层和9个注意力模块。注意力网络模型具体包括：
卷积层1：卷积核大小为5*5，卷积核个数为32，步长stride＝1，padding＝2；
注意力模块1-1：该模块卷积层的卷积核大小为5*5，卷积核个数为32；
注意力模块1-2：该模块卷积层的卷积核大小为5*5，卷积核个数为32；
注意力模块1-3：该模块卷积层的卷积核大小为5*5，卷积核个数为32；
卷积层2：卷积核大小为5*5，卷积核个数为64，步长stride＝2，padding＝2；
注意力模块2-1：该模块卷积层的卷积核大小为5*5，卷积核个数为64；
注意力模块2-2：该模块卷积层的卷积核大小为5*5，卷积核个数为64；
注意力模块2-3：该模块卷积层的卷积核大小为5*5，卷积核个数为64；
卷积层3：卷积核大小为5*5，卷积核个数为128，步长stride＝2，padding＝2；
注意力模块3-1：该模块卷积层的卷积核大小为5*5，卷积核个数为128；
注意力模块3-2：该模块卷积层的卷积核大小为5*5，卷积核个数为128；
注意力模块3-3：该模块卷积层的卷积核大小为5*5，卷积核个数为128；
注意力模块4-1：该模块卷积层的卷积核大小为5*5，卷积核个数为128；
注意力模块4-2：该模块卷积层的卷积核大小为5*5，卷积核个数为128；
注意力模块4-3：该模块卷积层的卷积核大小为5*5，卷积核个数为128；
上采样操作1：将特征图上采样到x2的分辨率；
卷积层4：卷积核大小为5*5，卷积核个数为64，步长stride＝1，padding＝2；
注意力模块5-1：该模块卷积层的卷积核大小为5*5，卷积核个数为64；
注意力模块5-2：该模块卷积层的卷积核大小为5*5，卷积核个数为64；
注意力模块5-3：该模块卷积层的卷积核大小为5*5，卷积核个数为64；
上采样操作2：将特征图上采样到x2的分辨率；
卷积层5：卷积核大小为5*5，卷积核个数为32，步长stride＝1，padding＝2；
注意力模块6-1：该模块卷积层的卷积核大小为5*5，卷积核个数为32；
注意力模块6-2：该模块卷积层的卷积核大小为5*5，卷积核个数为32；
注意力模块6-3：该模块卷积层的卷积核大小为5*5，卷积核个数为32；
卷积层6：卷积核大小为5*5，卷积核个数为3，步长stride＝1，padding＝2；
跳跃连接1：注意力模块2-3的输出与注意力卷积层4的输出级联，作为注意力模块5-1的输入；
跳跃连接2：注意力模块1-3的输出与注意力卷积层5的输出级联，作为注意力模块6-1的输入。
综上，注意力机制通过对输入图像特征进行处理计算得到一个空间域的注意力权重图，然后根据这个注意力权重图对图像特征在空间域进行重加权操作，从而引导模型具有处理非一致性模糊的能力。
在本实施例，注意力网络模型的注意力模块如图3所示，由两个卷积层和一个注意力机制组成，其中注意力机制计算如图4所示，通过两个卷积核为1*1的卷积得到一个注意力权重。
在本实施例，注意力网络中的激活函数为ReLu函数，ReLu函数表达式为：f(x)＝max(0,x)，非线性激活函数用于增加模型的非线性，加快模型收敛。
本发明训练注意力网络模型时，将训练集图像分批输入网络，得到恢复后的清晰图像，并将恢复图像与对应的清晰图像进行对比，计算损失函数，根据损失函数计算梯度，利用梯度反向传播和梯度下降更新模型参数，通过多次迭代，模型能够学习到越来越接近真实清晰图像的恢复结果。
本发明构建端到端的注意力网络模型，直接从输入经过模型得到输出，直接从运动模糊图像计算清晰图像，没有分阶段。该模型以三通道RGB彩色运动模糊图像作为输入，通过执行一系列卷积、池化和非线性激活操作提取特征，再通过一系列卷积、池化和非线性激活操作得到深度感知信息，最后利用深度感知信息辅助，通过一系列卷积、池化和非线性激活操作恢复得到清晰图像。
本发明可以运用到如下领域：
相机算法，本发明能够嵌入到相机算法以缓解相机获取的图像中的失焦模糊；
图像理解任务，更清晰的图像有助于其他图像理解任务的准确性。
本发明提出一种注意力网络的图像运动去模糊方法利用注意力机制，将运动模糊的空间不一致性通过一个空间域的注意力机制进行刻画，使得网络在对图像或特征图进行处理时能够具有不同幅度的表现，从而在一定程度上使得网络模型对不同空间位置的运动模糊具有不同的处理能力。
上述具体实施方式为本发明的优选实施例，并不能对本发明进行限定，其他的任何未背离本发明的技术方案而所做的改变或其它等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.一种基于注意力网络的图像运动去模糊方法，其特征在于，包括下述步骤：
S1，对待去模糊运动图像进行预处理；
S2，将待去模糊运动图像输入至已训练好的注意力网络模型中，得到恢复图像；
S3，将得到的恢复图像与真实清晰图像进行对比，计算衡量指标；
其中，注意力网络模型的训练包括下述步骤：
(1)获取运动模糊图像数据库；
(2)将数据库内的运动模糊图像进行预处理，将预处理后的运动模糊图像划分为训练集和验证集；
(3)利用训练集对注意力网络模型进行训练，保存训练完成的网络参数；
(4)利用验证集对注意力网络模型进行验证。
2.根据权利要求1所述的一种基于注意力网络的图像运动去模糊方法，其特征在于，步骤(1)中包括：选择并下载在真实场景下采集的高分辨率运动模糊图像数据集。
3.根据权利要求1所述的一种基于注意力网络的图像运动去模糊方法，其特征在于，步骤(2)中，在训练集中，清晰图像及对应的运动模糊图像为一组。
4.根据权利要求3所述的一种基于注意力网络的图像运动去模糊方法，其特征在于，将数据库内的运动模糊图像的预处理包括：尺寸裁剪、随机翻转并进行归一化处理。
5.根据权利要求1所述的一种基于注意力网络的图像运动去模糊方法，其特征在于，步骤(3)包括：将训练集的运动模糊图像输入已搭建好的注意力网络模型中，注意力网络模型输出恢复图像，并将恢复图像与对应的清晰图像进行对比，计算损失函数，根据损失函数计算梯度，利用梯度反向传播和梯度下降更新模型参数，通过多次迭代，模型收敛至对应的真实清晰图像。
6.根据权利要求5所述的一种基于注意力网络的图像运动去模糊方法，其特征在于，注意力网络模型包括：编码器和解码器；编码器和解码器之间还采用跳跃连接来传递消息；
编码器通过卷积和注意力模块不断减少特征图的分辨率并增加特征图个数，编码器为网络的前半部分，编码器包括3个卷积层及9个注意力模块；
解码器通过将编码器得到的特征渐上采样和减少通道数来恢复清晰图像，解码器为网络后半部分，解码器包括3个卷积层和9个注意力模块。
7.根据权利要求6所述的一种基于注意力网络的图像运动去模糊方法，其特征在于，注意力网络模型包括：
卷积层1：卷积核大小为5*5，卷积核个数为32，步长stride＝1，padding＝2；
注意力模块1-1：该模块卷积层的卷积核大小为5*5，卷积核个数为32；
注意力模块1-2：该模块卷积层的卷积核大小为5*5，卷积核个数为32；
注意力模块1-3：该模块卷积层的卷积核大小为5*5，卷积核个数为32；
卷积层2：卷积核大小为5*5，卷积核个数为64，步长stride＝2，padding＝2；
注意力模块2-1：该模块卷积层的卷积核大小为5*5，卷积核个数为64；
注意力模块2-2：该模块卷积层的卷积核大小为5*5，卷积核个数为64；
注意力模块2-3：该模块卷积层的卷积核大小为5*5，卷积核个数为64；
卷积层3：卷积核大小为5*5，卷积核个数为128，步长stride＝2，padding＝2；
注意力模块3-1：该模块卷积层的卷积核大小为5*5，卷积核个数为128；
注意力模块3-2：该模块卷积层的卷积核大小为5*5，卷积核个数为128；
注意力模块3-3：该模块卷积层的卷积核大小为5*5，卷积核个数为128；
注意力模块4-1：该模块卷积层的卷积核大小为5*5，卷积核个数为128；
注意力模块4-2：该模块卷积层的卷积核大小为5*5，卷积核个数为128；
注意力模块4-3：该模块卷积层的卷积核大小为5*5，卷积核个数为128；
上采样操作1：将特征图上采样到x2的分辨率；
卷积层4：卷积核大小为5*5，卷积核个数为64，步长stride＝1，padding＝2；
注意力模块5-1：该模块卷积层的卷积核大小为5*5，卷积核个数为64；
注意力模块5-2：该模块卷积层的卷积核大小为5*5，卷积核个数为64；
注意力模块5-3：该模块卷积层的卷积核大小为5*5，卷积核个数为64；
上采样操作2：将特征图上采样到x2的分辨率；
卷积层5：卷积核大小为5*5，卷积核个数为32，步长stride＝1，padding＝2；
注意力模块6-1：该模块卷积层的卷积核大小为5*5，卷积核个数为32；
注意力模块6-2：该模块卷积层的卷积核大小为5*5，卷积核个数为32；
注意力模块6-3：该模块卷积层的卷积核大小为5*5，卷积核个数为32；
卷积层6：卷积核大小为5*5，卷积核个数为3，步长stride＝1，padding＝2；
跳跃连接1：注意力模块2-3的输出与注意力卷积层4的输出级联，作为注意力模块5-1的输入；
跳跃连接2：注意力模块1-3的输出与注意力卷积层5的输出级联，作为注意力模块6-1的输入。
8.根据权利要求7所述的一种基于注意力网络的图像运动去模糊方法，其特征在于，注意力网络模型的注意力模块由两个卷积层和一个注意力机制组成，其中注意力机制计算通过两个卷积核为1*1的卷积得到一个注意力权重。
9.根据权利要求8所述的一种基于注意力网络的图像运动去模糊方法，其特征在于，注意力网络中的激活函数为ReLu函数，ReLu函数表达式为：f(x)＝max(0，x)，非线性激活函数用于增加模型的非线性，加快模型收敛。
10.根据权利要求5所述的一种基于注意力网络的图像运动去模糊方法，其特征在于，损失函数为：
L＝Lccont+λ1Lcgrad
其中λ1＝0.85；Lccont为内容损失函数，Lcgrad为梯度损失函数；
内容损失函数为：
其中i代表每个像素的下标，
代表二范数的平方，M·N表示图像的大小，Cg是真实清晰的图像，C′是网络恢复的图像；
梯度损失函数为：
其中
和
分别表示图像上在特征图X方向及y方向上的梯度，
代表二范数的平方，M·N表示图像的大小，Cg是真实清晰的图像，C′是网络恢复图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110339479.1A CN113012072A (zh) | 2021-03-30 | 2021-03-30 | 一种基于注意力网络的图像运动去模糊方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110339479.1A CN113012072A (zh) | 2021-03-30 | 2021-03-30 | 一种基于注意力网络的图像运动去模糊方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113012072A true CN113012072A (zh) | 2021-06-22 |
Family
ID=76409246
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110339479.1A Pending CN113012072A (zh) | 2021-03-30 | 2021-03-30 | 一种基于注意力网络的图像运动去模糊方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113012072A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998156A (zh) * | 2022-06-30 | 2022-09-02 | 同济大学 | 一种基于多补丁多尺度网络的图像运动去模糊方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919838A (zh) * | 2019-01-17 | 2019-06-21 | 华南理工大学 | 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法 |
| CN111275637A (zh) * | 2020-01-15 | 2020-06-12 | 北京工业大学 | 一种基于注意力模型的非均匀运动模糊图像自适应复原方法 |
| CN111709895A (zh) * | 2020-06-17 | 2020-09-25 | 中国科学院微小卫星创新研究院 | 基于注意力机制的图像盲去模糊方法及系统 |
-
2021
- 2021-03-30 CN CN202110339479.1A patent/CN113012072A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919838A (zh) * | 2019-01-17 | 2019-06-21 | 华南理工大学 | 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法 |
| CN111275637A (zh) * | 2020-01-15 | 2020-06-12 | 北京工业大学 | 一种基于注意力模型的非均匀运动模糊图像自适应复原方法 |
| CN111709895A (zh) * | 2020-06-17 | 2020-09-25 | 中国科学院微小卫星创新研究院 | 基于注意力机制的图像盲去模糊方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| YONG XU ET AL: ""Attentive deep network for blind motion deblurring on dynamic scenes"", 《COMPUTER VISION AND IMAGE UNDERSTANDING》 * |
| 孙进主编: "《智能制造装备设计与故障诊断》", 机械工业出版社 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998156A (zh) * | 2022-06-30 | 2022-09-02 | 同济大学 | 一种基于多补丁多尺度网络的图像运动去模糊方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112288658B (zh) | 一种基于多残差联合学习的水下图像增强方法 | |
| CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| CN110189260B (zh) | 一种基于多尺度并行门控神经网络的图像降噪方法 | |
| CN116152591B (zh) | 模型训练方法、红外小目标检测方法、装置及电子设备 | |
| CN113066034A (zh) | 人脸图像的修复方法与装置、修复模型、介质和设备 | |
| CN110570375B (zh) | 一种图像处理方法、装置、电子设置以及存储介质 | |
| CN109993701B (zh) | 一种基于金字塔结构的深度图超分辨率重建的方法 | |
| CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| CN114596233A (zh) | 基于注意引导和多尺度特征融合的低照度图像增强方法 | |
| CN112767277B (zh) | 一种基于参考图像的深度特征排序去模糊方法 | |
| CN107729885B (zh) | 一种基于多重残差学习的人脸增强方法 | |
| CN113012072A (zh) | 一种基于注意力网络的图像运动去模糊方法 | |
| CN113724134A (zh) | 一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法 | |
| CN112509144A (zh) | 人脸图像处理方法、装置、电子设备及存储介质 | |
| CN115358952B (zh) | 一种基于元学习的图像增强方法、系统、设备和存储介质 | |
| CN116977200A (zh) | 视频去噪模型的处理方法、装置、计算机设备和存储介质 | |
| CN113256528B (zh) | 基于多尺度级联深度残差网络的低照度视频增强方法 | |
| CN113627368B (zh) | 基于深度学习的视频行为识别方法 | |
| CN115511733A (zh) | 一种图像退化建模方法、神经网络训练方法和装置 | |
| CN115760589A (zh) | 一种用于运动模糊图像的图像优化方法及装置 | |
| CN115018726A (zh) | 一种基于U-Net的图像非均匀模糊核的估计方法 | |
| CN115049901A (zh) | 一种基于特征图加权注意力融合的小目标检测方法及设备 | |
| CN108596831B (zh) | 一种基于AdaBoost实例回归的超分辨率重建方法 | |
| CN114005157B (zh) | 一种基于卷积神经网络的像素位移向量的微表情识别方法 | |
| Wang et al. | Lightweight multi-attention fusion network for image super-resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |