CN114998156A - 一种基于多补丁多尺度网络的图像运动去模糊方法 - Google Patents
一种基于多补丁多尺度网络的图像运动去模糊方法 Download PDFInfo
- Publication number
- CN114998156A CN114998156A CN202210767745.5A CN202210767745A CN114998156A CN 114998156 A CN114998156 A CN 114998156A CN 202210767745 A CN202210767745 A CN 202210767745A CN 114998156 A CN114998156 A CN 114998156A
- Authority
- CN
- China
- Prior art keywords
- scale
- convolution
- patch
- image
- convolution kernel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000006870 function Effects 0.000 claims abstract description 88
- 230000007246 mechanism Effects 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000004913 activation Effects 0.000 claims description 66
- 230000009467 reduction Effects 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 8
- 238000013341 scale-up Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 4
- 230000017105 transposition Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 4
- 101150064138 MAP1 gene Proteins 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Complex Calculations (AREA)
Abstract
本发明公开了一种基于多补丁多尺度网络的图像运动去模糊方法。本发明首先预处理数据集；然后创建多补丁多尺度网络，包括结构自相似性处理模块和多尺度通道空间注意力机制的创建；接着定义损失函数；然后对多补丁多尺度网络进行训练直到网络收敛；最后送入运动模糊图像得出恢复后的图像。本发明深度利用图像的先验信息，并与深度学习结合，在定量和定性两个方面都取得很好的效果。
Description
技术领域
本发明属于数字图像处理技术领域，具体涉及一种基于多补丁多尺度网络的图像运动去模糊方法。
背景技术
运动模糊图像主要由成像过程中相机与物体之间的相对运动产生。运动模糊导致的图像质量下降会影响图像分割、聚类、估计和质量评估等高级语义任务的准确性。图像运动去模糊算法根据模糊核的性质可分为盲运动去模糊和非盲运动去模糊，盲和非盲的区别在于是否已知模糊核。图像运动去模糊算法还可以根据空间一致性分为均匀运动去模糊和非均匀运动去模糊，均匀和非均匀的区别在于运动模糊图像是否保持相同程度的空间性损失。然而，在真实环境中生成的运动模糊图像具有盲运动和非均匀运动的特点。因此，主流的运动去模糊算法一般都是非均匀盲运动去模糊，主要分为两类：基于先验的传统算法和基于深度学习的算法。
基于先验的传统算法存在一定的局限性，且该类算法的泛化能力也较弱。该类大多数算法都存在模糊核是否被合理估计的问题。例如，在复杂的动态场景中很难获得先验信息，从而难以有效地估计模糊核。
随着深度学习在计算机视觉各个领域的出色成就，基于深度学习的运动去模糊算法也逐渐发展起来并取得了突出的成就。公开号为CN113012072A的专利“一种基于注意力网络的图像运动去模糊方法”提供了一种结合注意力机制和深度学习的图像运动去模糊方法。但是该方法只是简单了将现有注意力机制和深度学习模型结合，并没有深度利用图像的一些先验信息和成像物理模型，例如图像的结构自相似性、空间特征、通道特征和尺度特征等。因此，该方法的运动去模糊效果不能达到最佳。公开号为CN112508817A的专利“一种基于循环生成对抗网络的图像运动盲去模糊方法”公开了一种结合循环生成对抗网络的图像运动去模糊方法，该方法同样存在将现有方法拼接，没有深度利用图像先验信息的问题。
发明内容
本发明针对现有技术的不足，提供了一种基于多补丁多尺度网络的图像运动去模糊方法。
为了实现以上目的，本发明的技术方案为：
一种基于多补丁多尺度网络的图像运动去模糊方法，包括如下步骤：
步骤1：准备公开运动模糊数据集，该数据集为GoPro数据集。
步骤2：预处理运动模糊数据集，预处理方法为：将GoPro数据集中的每一张图像随机裁剪为256×256大小。
步骤3：将预处理后的运动模糊数据集的训练集送入多补丁多尺度网络进行训练。
步骤4：多补丁多尺度网络输出恢复的图像，并与对应的真实图像进行比对，计算损失函数。经过多次训练迭代使得出的损失函数值趋小趋稳，达到网络收敛的目的，保存网络权重参数。
步骤5：将预处理后的运动模糊数据集的测试集送入已经训练好的网络中，得出恢复后的运动去模糊图像。
其中多补丁多尺度网络包括：多补丁多尺度编码器、多补丁多尺度解码器、结构自相似性处理模块和多尺度通道空间注意力机制。结构自相似性处理模块通过利用图像本身的结构自相似性来恢复运动模糊图像；多补丁多尺度编码器不断的增加特征图谱的补丁个数、减小特征图谱的补丁尺寸和增加特征图谱的个数。多补丁多尺度编码器位于网络的前半部分，多补丁多尺度编码器包含三个阶段，每个阶段处理不同补丁个数和不同补丁尺度的特征图谱，且每个阶段包括1个卷积层和一个ResBlock；多尺度通道空间注意力机制通过多尺度空间和多尺度通道信息提取感兴趣特征区域，充分利用尺度、空间和通道的融合信息；多补丁多尺度解码器通过不断的减少特征图谱的补丁个数、增大特征图谱的补丁尺寸和减少特征图谱的个数来恢复运动模糊图像，多补丁多尺度解码器位于网络的后半部分，多补丁多尺度解码器也包括三个阶段，每个阶段处理不同补丁个数的特征图谱，阶段二和阶段三处理相同补丁尺度的特征图谱，阶段一处理与阶段二和阶段三不同补丁尺度的特征图谱，且每个阶段包括1个卷积层和一个ResBlock。
本发明相较于现有技术，具有以下有益效果：
1.本发明设计了一种多补丁多尺度的模型框架，该框架不仅可以提取特征图谱的尺度信息，而且增强了特征图谱的相关信息和抑制了不相关信息。
2.本发明提出了一种结构自相似性处理模块，该模块充分利用了结构自相似性的先验信息，利用相似图像块之间的互补信息来恢复模糊的图像。
3.本发明提供了一种多尺度通道空间注意力机制，该机制通过多尺度空间和通道信息提取感兴趣区域，充分利用了尺度、空间和通道的融合信息。
附图说明
图1是本发明的实现流程；
图2是本发明的ResBlock结构图；
图3是本发明的结构自相似性处理模块的实现流程图；
图4是本发明的多尺度通道空间注意力机制的结构图；
图5是本发明的运动去模糊效果图，上行是输入的运动模糊图像，下行左列是选中区域的运动模糊图像，下行中间列为选中区域的恢复后的图像，下行右列是选中区域的真实值。
具体实施方式
下面结合附图和实施例对本发明进一步说明。如图1所示，一种基于多补丁多尺度网络的图像运动去模糊方法，包括如下步骤：
步骤1：准备公开运动模糊数据集，该数据集为GoPro数据集。
步骤2：预处理运动模糊数据集，预处理方法为：将GoPro数据集中的每一张图像随机裁剪为256×256大小的。
步骤3：将预处理后的运动模糊数据集的训练集送入多补丁多尺度网络进行训练。
步骤4：多补丁多尺度网络输出恢复的图像，并与对应的真实图像进行比对，计算损失函数。经过多次训练迭代使得出的损失函数值趋于稳定，达到网络收敛的目的，保存网络权重参数。
步骤5：将预处理后的运动模糊数据集的测试集送入已经训练好的网络中，得出恢复后的运动去模糊图像。
在本实施例中，多补丁多尺度网络包括：多补丁多尺度编码器、多补丁多尺度解码器、结构自相似性处理模块和多尺度通道空间注意力机制。结构自相似性处理模块通过利用图像本身的结构自相似性来恢复运动去模糊图像；多补丁多尺度编码器不断的增加特征图谱的补丁个数、减小特征图谱的补丁尺寸和增加特征图谱的个数。多补丁多尺度编码器位于网络的前半部分，多补丁多尺度编码器包含三个阶段，每个阶段处理不同补丁个数和不同补丁尺度的特征图谱，且每个阶段包括1个卷积层和一个ResBlock；多尺度通道空间注意力机制通过多尺度空间和通道信息提取感兴趣区域，充分利用尺度、空间和通道的融合信息；多补丁多尺度解码器通过不断的减少特征图谱的补丁个数、增大特征图谱的补丁尺寸和减少特征图谱的个数来恢复运动去模糊图像，多补丁多尺度解码器位于网络的后半部分，多补丁多尺度解码器也包括三个阶段，每个阶段处理不同补丁个数的特征图谱，阶段二和阶段三处理相同补丁尺度的特征图谱，阶段一处理与阶段二和阶段三不同补丁尺度的特征图谱，且每个阶段包括1个卷积层和一个ResBlock。多补丁多尺度网络具体包括：
结构自相似性处理模块；
多补丁多尺度编码器第一阶段(处理原尺度特征图谱)：
卷积层1：卷积核大小为3×3，卷积核个数为32，步长stride＝1，padding＝0和ReLU非线性激活函数；
ResBlock1：
尺度不变卷积运算子模块1-1：该子模块包括2个卷积核大小为3×3，卷积核个数为32，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU；
尺度减小卷积运算子模块1-1：该子模块包括1个卷积核大小为3×3，卷积核个数为32，步长stride＝1，padding＝0的卷积层、1个卷积核大小为3×3，卷积核个数为32，步长stride＝2，padding＝1的卷积层，且两个卷积层的激活函数都是ReLU；
尺度减小卷积运算子模块1-2：该子模块包括1个卷积核大小为3×3，卷积核个数为32，步长stride＝1，padding＝0的卷积层、1个卷积核大小为3×3，卷积核个数为32，步长stride＝2，padding＝1的卷积层，且两个卷积层的激活函数都是ReLU；
尺度不变卷积运算子模块1-2：该子模块包括2个卷积核大小为3×3，卷积核个数为32，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU；
尺度不变卷积运算子模块1-3：该子模块包括2个卷积核大小为3×3，卷积核个数为32，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU；
尺度增大转置卷积运算子模块1-1：该子模块包括1个卷积核大小为4×4，卷积核个数为32，步长stride＝2，padding＝1的转置卷积层、1个卷积核大小为3×3，卷积核个数为32，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU。
尺度增大转置卷积运算子模块1-2：该子模块包括1个卷积核大小为4×4，卷积核个数为32，步长stride＝2，padding＝1的转置卷积层、1个卷积核大小为3×3，卷积核个数为32，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU。
尺度不变卷积运算子模块1-4：该子模块包括2个卷积核大小为3×3，卷积核个数为32，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU；
跳跃连接1-1：尺度不变卷积运算子模块1-1的输入与尺度不变卷积运算子模块1-4的输出级联；
跳跃连接1-2：尺度不变卷积运算子模块1-1的输出与尺度增大转置卷积运算子模块1-2的输出级联；
跳跃连接1-3：尺度减小卷积运算子模块1-1的输出与尺度增大转置卷积运算子模块1-1的输出级联；
跳跃连接1-4：尺度减小卷积运算子模块1-2的输出与尺度不变卷积运算子模块1-3的输出级联。
多补丁多尺度编码器第二阶段(同时处理尺度为原尺度特征图谱1/2的2个特征图谱)：
卷积层2：卷积核大小为3×3，卷积核个数为64，步长stride＝1，padding＝0和ReLU非线性激活函数；
ResBlock2：
尺度不变卷积运算子模块2-1：该子模块包括2个卷积核大小为3×3，卷积核个数为64，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU；
尺度减小卷积运算子模块2-1：该子模块包括1个卷积核大小为3×3，卷积核个数为64，步长stride＝1，padding＝0的卷积层、1个卷积核大小为3×3，卷积核个数为64，步长stride＝2，padding＝1的卷积层，且两个卷积层的激活函数都是ReLU；
尺度减小卷积运算子模块2-2：该子模块包括1个卷积核大小为3×3，卷积核个数为64，步长stride＝1，padding＝0的卷积层、1个卷积核大小为3×3，卷积核个数为64，步长stride＝2，padding＝1的卷积层，且两个卷积层的激活函数都是ReLU；
尺度不变卷积运算子模块2-2：该子模块包括2个卷积核大小为3×3，卷积核个数为64，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU；
尺度不变卷积运算子模块2-3：该子模块包括2个卷积核大小为3×3，卷积核个数为64，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU；
尺度增大转置卷积运算子模块2-1：该子模块包括1个卷积核大小为4×4，卷积核个数为64，步长stride＝2，padding＝1的转置卷积层、1个卷积核大小为3×3，卷积核个数为64，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU。
尺度增大转置卷积运算子模块2-2：该子模块包括1个卷积核大小为4×4，卷积核个数为64，步长stride＝2，padding＝1的转置卷积层、1个卷积核大小为3×3，卷积核个数为64，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU。
尺度不变卷积运算子模块2-4：该子模块包括2个卷积核大小为3×3，卷积核个数为64，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU；
跳跃连接2-1：尺度不变卷积运算子模块2-1的输入与尺度不变卷积运算子模块2-4的输出级联；
跳跃连接2-2：尺度不变卷积运算子模块2-1的输出与尺度增大转置卷积运算子模块2-2的输出级联；
跳跃连接2-3：尺度减小卷积运算子模块2-1的输出与尺度增大转置卷积运算子模块2-1的输出级联；
跳跃连接2-4：尺度减小卷积运算子模块2-2的输出与尺度不变卷积运算子模块2-3的输出级联。
多补丁多尺度编码器第三阶段(同时处理尺度为原尺度特征图谱1/4的4个特征图谱)：
卷积层3：卷积核大小为3×3，卷积核个数为128，步长stride＝1，padding＝0和ReLU非线性激活函数；
ResBlock3：
尺度不变卷积运算子模块3-1：该子模块包括2个卷积核大小为3×3，卷积核个数为128，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU；
尺度减小卷积运算子模块3-1：该子模块包括1个卷积核大小为3×3，卷积核个数为128，步长stride＝1，padding＝0的卷积层、1个卷积核大小为3×3，卷积核个数为128，步长stride＝2，padding＝1的卷积层，且两个卷积层的激活函数都是ReLU；
尺度减小卷积运算子模块3-2：该子模块包括1个卷积核大小为3×3，卷积核个数为128，步长stride＝1，padding＝0的卷积层、1个卷积核大小为3×3，卷积核个数为128，步长stride＝2，padding＝1的卷积层，且两个卷积层的激活函数都是ReLU；
尺度不变卷积运算子模块3-2：该子模块包括2个卷积核大小为3×3，卷积核个数为128，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU；
尺度不变卷积运算子模块3-3：该子模块包括2个卷积核大小为3×3，卷积核个数为128，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU；
尺度增大转置卷积运算子模块3-1：该子模块包括1个卷积核大小为4×4，卷积核个数为128，步长stride＝2，padding＝1的转置卷积层、1个卷积核大小为3×3，卷积核个数为128，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU。
尺度增大转置卷积运算子模块3-2：该子模块包括1个卷积核大小为4×4，卷积核个数为128，步长stride＝2，padding＝1的转置卷积层、1个卷积核大小为3×3，卷积核个数为128，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU。
尺度不变卷积运算子模块3-4：该子模块包括2个卷积核大小为3×3，卷积核个数为128，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU；
跳跃连接3-1：尺度不变卷积运算子模块3-1的输入与尺度不变卷积运算子模块3-4的输出级联；
跳跃连接3-2：尺度不变卷积运算子模块3-1的输出与尺度增大转置卷积运算子模块3-2的输出级联；
跳跃连接3-3：尺度减小卷积运算子模块3-1的输出与尺度增大转置卷积运算子模块3-1的输出级联；
跳跃连接3-4：尺度减小卷积运算子模块3-2的输出与尺度不变卷积运算子模块3-3的输出级联。
多尺度通道空间注意力机制；
多补丁多尺度解码器第一阶段(同时处理尺度为原尺度特征图谱1/2的2个特征图谱)：
ResBlock4：
尺度不变卷积运算子模块4-1：该子模块包括2个卷积核大小为3×3，卷积核个数为128，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU；
尺度减小卷积运算子模块4-1：该子模块包括1个卷积核大小为3×3，卷积核个数为128，步长stride＝1，padding＝0的卷积层、1个卷积核大小为3×3，卷积核个数为128，步长stride＝2，padding＝1的卷积层，且两个卷积层的激活函数都是ReLU；
尺度减小卷积运算子模块4-2：该子模块包括1个卷积核大小为3×3，卷积核个数为128，步长stride＝1，padding＝0的卷积层、1个卷积核大小为3×3，卷积核个数为128，步长stride＝2，padding＝1的卷积层，且两个卷积层的激活函数都是ReLU；
尺度不变卷积运算子模块4-2：该子模块包括2个卷积核大小为3×3，卷积核个数为128，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU；
尺度不变卷积运算子模块4-3：该子模块包括2个卷积核大小为3×3，卷积核个数为128，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU；
尺度增大转置卷积运算子模块4-1：该子模块包括1个卷积核大小为4×4，卷积核个数为128，步长stride＝2，padding＝1的转置卷积层、1个卷积核大小为3×3，卷积核个数为128，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU。
尺度增大转置卷积运算子模块4-2：该子模块包括1个卷积核大小为4×4，卷积核个数为128，步长stride＝2，padding＝1的转置卷积层、1个卷积核大小为3×3，卷积核个数为128，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU。
尺度不变卷积运算子模块4-4：该子模块包括2个卷积核大小为3×3，卷积核个数为128，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU；
跳跃连接4-1：尺度不变卷积运算子模块4-1的输入与尺度不变卷积运算子模块4-4的输出级联；
跳跃连接4-2：尺度不变卷积运算子模块4-1的输出与尺度增大转置卷积运算子模块4-2的输出级联；
跳跃连接4-3：尺度减小卷积运算子模块4-1的输出与尺度增大转置卷积运算子模块4-1的输出级联；
跳跃连接4-4：尺度减小卷积运算子模块4-2的输出与尺度不变卷积运算子模块4-3的输出级联；
卷积层4：卷积核大小为3×3，卷积核个数为64，步长stride＝1，padding＝0和ReLU非线性激活函数。
多补丁多尺度解码器第二阶段(处理原尺度特征图谱)：
特征融合1：将ResBlock1的输出、ResBlock2的输出(级联为原尺度特征图谱)和ResBlock3的输出(级联为原尺度特征图谱)级联并经过卷积核大小为3×3，卷积核个数为64，步长stride＝1，padding＝0的卷积层，且该卷积层的激活函数为ReLU；
跳跃连接5-1：特征融合1的输出与卷积层4的输出级联并经过卷积核大小为1×1，卷积核个数为64，步长stride＝1，padding＝0的卷积层，且该卷积层的激活函数为ReLU；
ResBlock5：
尺度不变卷积运算子模块5-1：该子模块包括2个卷积核大小为3×3，卷积核个数为64，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU；
尺度减小卷积运算子模块5-1：该子模块包括1个卷积核大小为3×3，卷积核个数为64，步长stride＝1，padding＝0的卷积层、1个卷积核大小为3×3，卷积核个数为64，步长stride＝2，padding＝1的卷积层，且两个卷积层的激活函数都是ReLU；
尺度减小卷积运算子模块5-2：该子模块包括1个卷积核大小为3×3，卷积核个数为64，步长stride＝1，padding＝0的卷积层、1个卷积核大小为3×3，卷积核个数为64，步长stride＝2，padding＝1的卷积层，且两个卷积层的激活函数都是ReLU；
尺度不变卷积运算子模块5-2：该子模块包括2个卷积核大小为3×3，卷积核个数为64，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU；
尺度不变卷积运算子模块5-3：该子模块包括2个卷积核大小为3×3，卷积核个数为64，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU；
尺度增大转置卷积运算子模块5-1：该子模块包括1个卷积核大小为4×4，卷积核个数为64，步长stride＝2，padding＝1的转置卷积层、1个卷积核大小为3×3，卷积核个数为64，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU。
尺度增大转置卷积运算子模块5-2：该子模块包括1个卷积核大小为4×4，卷积核个数为64，步长stride＝2，padding＝1的转置卷积层、1个卷积核大小为3×3，卷积核个数为64，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU。
尺度不变卷积运算子模块5-4：该子模块包括2个卷积核大小为3×3，卷积核个数为64，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU；
跳跃连接5-2：尺度不变卷积运算子模块5-1的输入与尺度不变卷积运算子模块5-4的输出级联；
跳跃连接5-3：尺度不变卷积运算子模块5-1的输出与尺度增大转置卷积运算子模块5-2的输出级联；
跳跃连接5-4：尺度减小卷积运算子模块5-1的输出与尺度增大转置卷积运算子模块5-1的输出级联；
跳跃连接5-5：尺度减小卷积运算子模块5-2的输出与尺度不变卷积运算子模块5-3的输出级联；
卷积层5：卷积核大小为3×3，卷积核个数为32，步长stride＝1，padding＝0和ReLU非线性激活函数。
多补丁多尺度解码器第三阶段(处理原尺度特征图谱)：
特征融合2：将ResBlock1的输出、ResBlock2的输出(级联为原尺度特征图谱)和ResBlock3的输出(级联为原尺度特征图谱)级联并经过卷积核大小为3×3，卷积核个数为32，步长stride＝1，padding＝0的卷积层，且该卷积层的激活函数为ReLU；
跳跃连接6-1：特征融合2的输出与卷积层5的输出级联并经过卷积核大小为1×1，卷积核个数为32，步长stride＝1，padding＝0的卷积层，且该卷积层的激活函数为ReLU；
ResBlock6：
尺度不变卷积运算子模块6-1：该子模块包括2个卷积核大小为3×3，卷积核个数为32，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU；
尺度减小卷积运算子模块6-1：该子模块包括1个卷积核大小为3×3，卷积核个数为32，步长stride＝1，padding＝0的卷积层、1个卷积核大小为3×3，卷积核个数为32，步长stride＝2，padding＝1的卷积层，且两个卷积层的激活函数都是ReLU；
尺度减小卷积运算子模块6-2：该子模块包括1个卷积核大小为3×3，卷积核个数为32，步长stride＝1，padding＝0的卷积层、1个卷积核大小为3×3，卷积核个数为32，步长stride＝2，padding＝1的卷积层，且两个卷积层的激活函数都是ReLU；
尺度不变卷积运算子模块6-2：该子模块包括2个卷积核大小为3×3，卷积核个数为32，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU；
尺度不变卷积运算子模块6-3：该子模块包括2个卷积核大小为3×3，卷积核个数为32，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU；
尺度增大转置卷积运算子模块6-1：该子模块包括1个卷积核大小为4×4，卷积核个数为32，步长stride＝2，padding＝1的转置卷积层、1个卷积核大小为3×3，卷积核个数为32，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU。
尺度增大转置卷积运算子模块6-2：该子模块包括1个卷积核大小为4×4，卷积核个数为32，步长stride＝2，padding＝1的转置卷积层、1个卷积核大小为3×3，卷积核个数为32，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU。
尺度不变卷积运算子模块6-4：该子模块包括2个卷积核大小为3×3，卷积核个数为32，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU；
跳跃连接6-2：尺度不变卷积运算子模块6-1的输入与尺度不变卷积运算子模块6-4的输出级联；
跳跃连接6-3：尺度不变卷积运算子模块6-1的输出与尺度增大转置卷积运算子模块6-2的输出级联；
跳跃连接6-4：尺度减小卷积运算子模块6-1的输出与尺度增大转置卷积运算子模块6-1的输出级联；
跳跃连接6-5：尺度减小卷积运算子模块6-2的输出与尺度不变卷积运算子模块6-3的输出级联；
卷积层6：卷积核大小为3×3，卷积核个数为3，步长stride＝1，padding＝0和ReLU非线性激活函数。
在本实施例中，ResBlock的结构如图2所示，由尺度不变卷积运算子模块、尺度减小卷积运算子模块和尺度增大转置卷积运算子模块三个子模块组成；
尺度不变卷积运算子模块包括2个卷积核大小为3×3，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU；
尺度减小卷积运算子模块包括1个卷积核大小为3×3，步长stride＝1，padding＝0的卷积层、1个卷积核大小为3×3，步长stride＝2，padding＝1的卷积层，且两个卷积层的激活函数都是ReLU；
尺度增大转置卷积运算子模块包括1个卷积核大小为4×4，步长stride＝2，padding＝1的转置卷积层、1个卷积核大小为3×3，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU。
在本实施例中，结构自相似性处理模块的实施流程如图3所示，，具体步骤为：
s1，对图像执行超像素分割，超像素初始尺寸设置为8×8，最终分割为M个超像素。
s2，搜索相似超像素，在当前图像中搜索与当前超像素spi最相似的超像素
首先求解每个超像素的最大内接矩阵mi，求解如下：
式中i＝1,2,…,M代表第i个超像素，
表示超像素的中心像素坐标，lefti和upi为初始化最大内接矩阵左上角的像素坐标，righti和downi为初始化最大内接矩阵右下角的像素坐标，从下到上遍历upi，从上到下遍历downi，从右到左遍历lefti，从左到右遍历righti，直到所有四个边像素为0的点被发现，得到最大内接矩阵。
其次，比较所有内接矩阵，得到最短边长b；然后，在每个超像素的中心生成边长为b的中心像素矩阵pmi；最后，使用SSIM度量(如下式所示)超像素的中心像素矩阵之间的相似度，得到与当前超像素spi最相似的超像素；
其中i＝1,2,…,M代表第i个超像素，s代表相似度，pmi为超像素spi中边长为b的中心像素矩阵，
为超像素
中边长为b的中心像素矩阵，
是像素矩阵pmi中的像素，
是像素矩阵
中的像素，l＝1,2,…,N表示第l个像素，SSIM为测量准则。
s3，比较超像素的锐度，采用灰度方差积函数-SMD2比较超像素spi和超像素
的锐度，如下式所示：
其中
代表像素矩阵pmi中的像素坐标，
代表像素矩阵
的像素坐标。
s4，像素值替换，点对点计算超像素spi和
中心3×3区域中每个像素的平均值，低锐度超像素中心3×3区域中的每个像素用平均像素值逐点替换。
在本实施例中，多尺度通道空间注意力机制的结构如图4所示，多尺度通道空间注意力机制包括两个部分：多尺度空间注意力机制和多尺度通道注意力机制。
s1，多尺度空间注意力机制。具体处理步骤为：首先对输入的特征图谱En分别进行2×2、4×4和8×8MaxPool池化操作，生成三个空间尺度的特征图Fi；
然后，通过SE权重操作对三个空间尺度的特征图和原始空间尺度的特征图进行运算，得到四个1×1×c的通道维度的权重向量Si；
接下来，将这四个权重向量相加并通过Softmax进行归一化，得到最终的通道维度的权重向量Wc；
最后，通过将En与通道维度的权重向量Wc相乘，得到多尺度通道注意特征图谱X。
s2，多尺度通道注意力机制。具体处理步骤为：首先，特征图谱X沿通道维度分别经过MaxPool和AvgPool池化处理，生成两个w×h×1的特征图M和A；
然后，对M和A进行Concat操作，生成一个w×h×2的特征图谱F；
接下来，F分别进行卷积核大小为7×7、5×5、3×3和1×1的卷积操作，卷积产生的结果通过逐元素相加生成w×h×1的特征图谱Y；
然后，Y通过Sigmoid非线性激活函数生成空间维度的权重矩阵Z；
最后，X和Z相乘得到最终的多尺度通道空间注意力特征图
和En相加获得残差信息。
在本实施例中，为了更有效的学习运动模糊图像与真实值之间的映射，本发明设计了一种更加有效的损失函数。
该损失函数如下式所示：
Lentrie＝Lmae+αLssim+βLmsfr
其中Lmae代表平均绝对误差损失函数，Lssim代表结构自相似性损失函数，Lmsfr表示多尺度频率重建损失函数，α＝0.01和β＝0.1是控制因子；
平均绝对误差损失函数如下式所示：
其中H代表图像的高度，W表示图像的宽度，X表示被修复的图像，Y表示真实值，(i,j)代表像素坐标；
结构自相似性损失函数如下式所示：
其中μX表示X的均值，μY表示Y的均值，σX代表X的方差，σY代表Y的方差，σXY代表X和Y的协方差，C1＝(0.01×255)2和C2＝(0.03×255)2为常数；
多尺度频率重建损失函数如下式所示：
其中F表示快速傅里叶变换。
具体实施例：
使用步骤1定义的GoPro测试集对本发明的方法进行测试，测试定量结果如表1所示：
如表1所示，本实施例的实验结果度量采用了PSNR和SSIM指标，并与目前最先进的SRN、DMPHN、MT-RNN、MPRNet和MIMO-UNet++5种方法进行了对比，结果表明本发明的方法在两个指标上都达到了最优的结果。
图5为本实施例的定性实验结果，上行是输入的运动模糊图像，下行左列是选中区域的运动模糊图像，下行中间列为选中区域的恢复后的图像，下行右列是选中区域的真实值。可以明显发现本发明的方法获得的测试结果具有最好的去模糊效果和视觉感知质量。
Claims (7)
1.一种基于多补丁多尺度网络的图像运动去模糊方法，其特征在于包括如下步骤：
步骤1：准备公开运动模糊数据集；
步骤2：预处理运动模糊数据集；
步骤3：将预处理后的运动模糊数据集的训练集送入多补丁多尺度网络进行训练；
步骤4：多补丁多尺度网络输出恢复的图像，并与对应的真实图像进行比对，计算损失函数；经过多次训练迭代使得出的损失函数值趋于稳定，达到网络收敛的目的，保存网络权重参数；
所述多补丁多尺度网络包括多补丁多尺度编码器、多补丁多尺度解码器、结构自相似性处理模块和多尺度通道空间注意力机制；
所述结构自相似性处理模块通过利用图像本身的结构自相似性来恢复运动去模糊图像；
所述多补丁多尺度编码器不断的增加特征图谱的补丁个数、减小特征图谱的补丁尺寸和增加特征图谱的个数；多补丁多尺度编码器位于网络的前半部分，多补丁多尺度编码器包含三个阶段，每个阶段处理不同补丁个数和不同补丁尺度的特征图谱，且每个阶段包括1个卷积层和一个ResBlock；
所述多尺度通道空间注意力机制通过多尺度空间和通道信息提取感兴趣区域，充分利用尺度、空间和通道的融合信息；
所述多补丁多尺度解码器通过不断的减少特征图谱的补丁个数、增大特征图谱的补丁尺寸和减少特征图谱的个数来恢复运动去模糊图像，多补丁多尺度解码器位于网络的后半部分，多补丁多尺度解码器也包括三个阶段，每个阶段处理不同补丁个数的特征图谱，阶段二和阶段三处理相同补丁尺度的特征图谱，阶段一处理与阶段二和阶段三不同补丁尺度的特征图谱，且每个阶段包括1个卷积层和一个ResBlock；
步骤5：将预处理后的运动模糊数据集的测试集送入已经训练好的网络中，得出恢复后的运动去模糊图像。
2.据权利要求1所述的一种基于多补丁多尺度网络的图像运动去模糊方法，其特征在于，所述步骤1中的准备的公开数据集是GoPro数据集。
3.据权利要求1所述的一种基于多补丁多尺度网络的图像运动去模糊方法，其特征在于，所述步骤2中的预处理方法为：将准备的公开数据集中的每一张图像随机裁剪为256×256大小。
4.据权利要求1所述的一种基于多补丁多尺度网络的图像运动去模糊方法，其特征在于，ResBlock包括：尺度不变卷积运算子模块、尺度减小卷积运算子模块和尺度增大转置卷积运算子模块；
尺度不变卷积运算子模块包括2个卷积核大小为3×3，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU；尺度减小卷积运算子模块包括1个卷积核大小为3×3，步长stride＝1，padding＝0的卷积层、1个卷积核大小为3×3，步长stride＝2，padding＝1的卷积层，且两个卷积层的激活函数都是ReLU；
尺度增大转置卷积运算子模块包括1个卷积核大小为4×4，步长stride＝2，padding＝1的转置卷积层、1个卷积核大小为3×3，步长stride＝1，padding＝0的卷积层，且两个卷积层的激活函数都是ReLU。
5.据权利要求1所述的一种基于多补丁多尺度网络的图像运动去模糊方法，其特征在于，所述结构自相似性处理模块执行以下步骤：
s1，对图像执行超像素分割，超像素初始尺寸设置为8×8，最终分割为M个超像素；
s2，搜索相似超像素，在当前图像中搜索与当前超像素spi最相似的超像素
如公式(1)所示：
其中i＝1，2，…，M代表第i个超像素，s代表相似度，pmi为超像素spi中边长为b的中心像素矩阵，
为超像素
中边长为b的中心像素矩阵，
是像素矩阵pmi中的像素，
是像素矩阵
中的像素，l＝1，2，…，N表示第l个像素，SSIM为测量准则；
s3，比较超像素的锐度，采用灰度方差积函数-SMD2比较超像素spi和超像素
的锐度，如公式(2)所示：
其中
代表像素矩阵pmi中的像素坐标，
代表像素矩阵
的像素坐标；
s4，像素值替换，点对点计算超像素spi和
中心3×3区域中每个像素的平均值，低锐度超像素中心3×3区域中的每个像素用平均像素值逐点替换。
6.据权利要求1所述的一种基于多补丁多尺度网络的图像运动去模糊方法，其特征在于，多尺度通道空间注意力机制包括两个部分：多尺度空间注意力机制和多尺度通道注意力机制；
其中多尺度空间注意力机制处理步骤为：
首先对输入的特征图谱En分别进行2×2、4×4和8×8MaxPool池化操作，生成三个空间尺度的特征图Fi；
然后，通过SE权重操作对三个空间尺度的特征图和原始空间尺度的特征图进行运算，得到四个1×1×c的通道维度的权重向量Si；
接下来，将这四个权重向量相加并通过Softmax进行归一化，得到最终的通道维度的权重向量Wc；
最后，通过将En与通道维度的权重向量Wc相乘，得到多尺度通道注意特征图谱X；
其中多尺度通道注意力机制处理步骤为：
首先，特征图谱X沿通道维度分别经过MaxPool和AvgPool池化处理，生成两个w×h×1的特征图M和A；
然后，对特征图M和A进行Concat操作，生成一个w×h×2的特征图谱F；
接下来，特征图谱F分别进行卷积核大小为7×7、5×5、3×3和1×1的卷积操作，卷积产生的结果通过逐元素相加生成w×h×1的特征图谱Y；
然后，Y通过Sigmoid非线性激活函数生成空间维度的权重矩阵Z；
最后，X和Z相乘得到最终的多尺度通道空间注意力特征图
和En相加获得残差信息。
7.据权利要求1所述的一种基于多补丁多尺度网络的图像运动去模糊方法，其特征在于，所述步骤4中的损失函数如公式3所示：
Lentrie＝Lmae+αLssim+βLmsfr (3)
其中Lmae代表平均绝对误差损失函数，Lssim代表结构自相似性损失函数，Lmsfr表示多尺度频率重建损失函数，α＝0.01和β＝0.1是控制因子；
平均绝对误差损失函数如公式4所示：
其中H代表图像的高度，W表示图像的宽度，X表示被修复的图像，Y表示真实值，(i，j)代表像素坐标；
结构自相似性损失函数如公式5所示：
其中μX表示X的均值，μY表示Y的均值，σX代表X的方差，σY代表Y的方差，σXY代表X和Y的协方差，C1＝(0.01×255)2和C2＝(0.03×255)2为常数；
多尺度频率重建损失函数如公式6所示：
其中F表示快速傅里叶变换。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210767745.5A CN114998156B (zh) | 2022-06-30 | 2022-06-30 | 一种基于多补丁多尺度网络的图像运动去模糊方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210767745.5A CN114998156B (zh) | 2022-06-30 | 2022-06-30 | 一种基于多补丁多尺度网络的图像运动去模糊方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114998156A true CN114998156A (zh) | 2022-09-02 |
| CN114998156B CN114998156B (zh) | 2023-06-20 |
Family
ID=83019973
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210767745.5A Active CN114998156B (zh) | 2022-06-30 | 2022-06-30 | 一种基于多补丁多尺度网络的图像运动去模糊方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114998156B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10593021B1 (en) * | 2019-09-11 | 2020-03-17 | Inception Institute of Artificial Intelligence, Ltd. | Motion deblurring using neural network architectures |
| CN111028177A (zh) * | 2019-12-12 | 2020-04-17 | 武汉大学 | 一种基于边缘的深度学习图像去运动模糊方法 |
| CN111080656A (zh) * | 2019-12-10 | 2020-04-28 | 腾讯科技（深圳）有限公司 | 一种图像处理的方法、图像合成的方法以及相关装置 |
| CN111476745A (zh) * | 2020-01-13 | 2020-07-31 | 杭州电子科技大学 | 一种进行运动模糊超分辨的多分支网络及方法 |
| CN111709895A (zh) * | 2020-06-17 | 2020-09-25 | 中国科学院微小卫星创新研究院 | 基于注意力机制的图像盲去模糊方法及系统 |
| WO2020231210A1 (en) * | 2019-05-14 | 2020-11-19 | Samsung Electronics Co., Ltd. | Method and system for generation of a high-speed video with frames from a pre-recorded video sequence |
| CN113012072A (zh) * | 2021-03-30 | 2021-06-22 | 华南理工大学 | 一种基于注意力网络的图像运动去模糊方法 |
| CN113096032A (zh) * | 2021-03-18 | 2021-07-09 | 西北工业大学 | 一种基于图像区域划分的非均匀一致模糊去除方法 |
| CN113592736A (zh) * | 2021-07-27 | 2021-11-02 | 温州大学 | 一种基于融合注意力机制的半监督图像去模糊方法 |
| CN114494065A (zh) * | 2022-01-26 | 2022-05-13 | 武汉大学 | 图像去模糊方法、装置、设备及可读存储介质 |
-
2022
- 2022-06-30 CN CN202210767745.5A patent/CN114998156B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020231210A1 (en) * | 2019-05-14 | 2020-11-19 | Samsung Electronics Co., Ltd. | Method and system for generation of a high-speed video with frames from a pre-recorded video sequence |
| US10593021B1 (en) * | 2019-09-11 | 2020-03-17 | Inception Institute of Artificial Intelligence, Ltd. | Motion deblurring using neural network architectures |
| CN111080656A (zh) * | 2019-12-10 | 2020-04-28 | 腾讯科技（深圳）有限公司 | 一种图像处理的方法、图像合成的方法以及相关装置 |
| CN111028177A (zh) * | 2019-12-12 | 2020-04-17 | 武汉大学 | 一种基于边缘的深度学习图像去运动模糊方法 |
| CN111476745A (zh) * | 2020-01-13 | 2020-07-31 | 杭州电子科技大学 | 一种进行运动模糊超分辨的多分支网络及方法 |
| CN111709895A (zh) * | 2020-06-17 | 2020-09-25 | 中国科学院微小卫星创新研究院 | 基于注意力机制的图像盲去模糊方法及系统 |
| CN113096032A (zh) * | 2021-03-18 | 2021-07-09 | 西北工业大学 | 一种基于图像区域划分的非均匀一致模糊去除方法 |
| CN113012072A (zh) * | 2021-03-30 | 2021-06-22 | 华南理工大学 | 一种基于注意力网络的图像运动去模糊方法 |
| CN113592736A (zh) * | 2021-07-27 | 2021-11-02 | 温州大学 | 一种基于融合注意力机制的半监督图像去模糊方法 |
| CN114494065A (zh) * | 2022-01-26 | 2022-05-13 | 武汉大学 | 图像去模糊方法、装置、设备及可读存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| HONGGUANG ZHANG 等: "Deep Stacked Hierarchical Multi-patch Network for Image Deblurring", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, pages 5971 - 5979 * |
| YAOWEI LI 等: "Single Image Deblurring Using Bi-Attention Network", 《2020 25TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR)》, pages 5333 - 5339 * |
| 余璐璐: "基于残差密集网络的去运动模糊算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 2021, pages 138 - 514 * |
| 谢垠盈: "面向目标检测的运动模糊修复算法研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 2020, pages 138 - 888 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114998156B (zh) | 2023-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Learning affinity via spatial propagation networks | |
| Purohit et al. | Spatially-adaptive image restoration using distortion-guided networks | |
| Liang et al. | Details or artifacts: A locally discriminative learning approach to realistic image super-resolution | |
| Li et al. | Efficient and interpretable deep blind image deblurring via algorithm unrolling | |
| Hou et al. | NLH: A blind pixel-level non-local method for real-world image denoising | |
| Yair et al. | Multi-scale weighted nuclear norm image restoration | |
| Lefkimmiatis | Universal denoising networks: a novel CNN architecture for image denoising | |
| Lai et al. | Blur kernel estimation using normalized color-line prior | |
| CN111275643B (zh) | 基于通道和空间注意力的真实噪声盲去噪网络系统及方法 | |
| Yu et al. | A unified learning framework for single image super-resolution | |
| Ren et al. | Single image super-resolution via adaptive high-dimensional non-local total variation and adaptive geometric feature | |
| Sun et al. | Hybrid pixel-unshuffled network for lightweight image super-resolution | |
| CN111047544B (zh) | 一种基于非线性退化模型的饱和图像去模糊方法 | |
| CN109961407B (zh) | 基于人脸相似性的人脸图像修复方法 | |
| Qiu et al. | MB-TaylorFormer: Multi-branch efficient transformer expanded by Taylor formula for image dehazing | |
| US20230153946A1 (en) | System and Method for Image Super-Resolution | |
| Song et al. | Bayesian non-parametric gradient histogram estimation for texture-enhanced image deblurring | |
| Chen et al. | Attention-based Broad Self-guided Network for Low-light Image Enhancement | |
| CN113962905A (zh) | 基于多阶段特征互补网络的单幅图像去雨方法 | |
| Xu et al. | Affine non-local Bayesian image denoising algorithm | |
| CN111932472B (zh) | 一种基于软聚类的图像保边滤波方法 | |
| CN114742724B (zh) | 一种基于模型驱动的图像阴影去除方法 | |
| CN114418877B (zh) | 基于梯度幅度相似度的图像非盲去模糊方法及系统 | |
| CN114998156A (zh) | 一种基于多补丁多尺度网络的图像运动去模糊方法 | |
| Shi et al. | LCA-Net: A Context-Aware Light-Weight Network For Low-Illumination Image Enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |