CN112419191A - 基于卷积神经网络的图像运动模糊去除方法 - Google Patents
基于卷积神经网络的图像运动模糊去除方法 Download PDFInfo
- Publication number
- CN112419191A CN112419191A CN202011326166.4A CN202011326166A CN112419191A CN 112419191 A CN112419191 A CN 112419191A CN 202011326166 A CN202011326166 A CN 202011326166A CN 112419191 A CN112419191 A CN 112419191A
- Authority
- CN
- China
- Prior art keywords
- input
- module
- scale
- neural network
- fusion module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 58
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000007670 refining Methods 0.000 claims abstract description 14
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims abstract description 9
- 230000008447 perception Effects 0.000 claims abstract description 6
- 238000002360 preparation method Methods 0.000 claims abstract description 5
- 230000007246 mechanism Effects 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims abstract description 3
- 239000010410 layer Substances 0.000 claims description 30
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 15
- 230000002776 aggregation Effects 0.000 claims description 10
- 238000004220 aggregation Methods 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 230000010339 dilation Effects 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 230000002146 bilateral effect Effects 0.000 claims description 3
- 239000011229 interlayer Substances 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 6
- 230000003628 erosive effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 230000008439 repair process Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明属于数字图像处理技术领域，具体为一种基于卷积神经网络宽尺度模糊感知机制的图像运动模糊去除方法。本发明方法包括：首先运用三种创新的卷积神经网路的计算单元，即轻量级全局上下文精炼模块、多尺度分析融合模块以及可变形卷积微调模块，构建一个多尺度深度信息融合的深度神经网络系统；其次，进行数据准备与模型训练，当训练的目标函数降低至某可接受阈值，可认为网络收敛；最后，在应用阶段，将模糊图像输入系统，直接得到清晰图像。实验结果表明，给定一张运动模糊图片，本发明既能够清除越过边缘侵蚀的模糊模式，又能够合理地还原图像应有的细节，得到与其对应的清晰图片。
Description
技术领域
本发明属于数字图像处理技术领域，具体涉及为一种图像运动模糊去除方法。
背景技术
近年来，随着手持移动终端的普及，数字图片越来越多的来自于移动终端的拍摄。由于手持设备没有器械固定，容易晃动抖动，加之拍摄场景存在快速运动的物体，那么运动模糊极易被引入，导致图像质量降低。图像动态场景下的运动模糊去除，作为图像增强的一个研究分支，有着较高的科学研究价值与广泛的现实应用需求。
图片模糊是由相机或是拍摄物体在曝光时间内的相对运动所造成的。其成因可以概括为公式如下：IB＝K*IS+N，其中，IB为已知模糊的图像，IS为待求的清晰图像，K为运动模糊核，“*”表示卷积运算，N表示随机噪声。传统的非深度学习的算法，如Szeliski等人的工作，往往对卷积核K有着过多的假设，例如假定运动模式、假设全局统一运动等等，应用Weiner滤波，Richardson-Lucy算法等技术还原清晰图像。由于该类算法对运动核的约束过于强，导致传统算法在人工生成的模糊图片集上性能优良，但对于真实模糊图片的效果不好。接下来，例如Schuler等人、Chakrabarti等人的工作，集中于弱化、取消对于K的假设，从模糊图像IB中求得模糊核K，再定义能量函数并对其进行优化，实现模糊图像去卷积的过程，产生清晰的图片。虽然改进算法相比传统算法，在自然模糊图片下具有更强的泛化能力，但是自然照片模糊核K十分复杂，无法做到精准的估计，成为了该类算法的瓶颈。
最近，随着深度学习的日益发展完善，卷积神经网络(CNNs)在图像去模糊的领域也得到应用，取得了不错的效果。2018年，Tao等人利用循环神经网络的思想，提取三个尺度的特征，对模糊图进行修复；2019年，Zhang等人，对原图切不同大小的小块，送入不同的网络分支法，对不同尺度的模糊进行去除；2020年，Park等人，利用模糊图形成的特点，对不同程度的模糊图进行渐进式分阶段的修复。这些算法存在明显的局限，首先它们对于不同程度(连续)的模糊采用人工设定的离散手段处理，而不是让网络具有能感知连续的、程度不同的模糊的能力；其次，他们没有考虑非局部信息对于模糊修复部位的增益与帮助。本发明利用堆叠的多尺度分析融合模块，让网络的信息流中包含范围宽、不同大小的感受野获得的信息，有利于卷积网络自身对不同尺度模糊进行自适应的修复；本发明利用提出的轻量级全局上下文精炼模块，弥补了卷积网络的局部性的特点，利用非局部的周边信息对相关部位进行修复。
发明内容
本发明的目的在于提出一种去模糊性能好、泛化能力强、运行效率高的宽尺度模糊感知的图像运动模糊去除方法。
本发明提出的宽尺度模糊感知的图像运动模糊去除方法，是基于卷积神经网络的。其中包括采用首次提出的多尺度分析融合模块以及轻量级全局上下文精炼模块。本发明利用堆叠的多尺度分析融合模块，让网络的信息流中包含范围宽、不同大小的感受野获得的信息，有利于卷积网络自身对不同尺度模糊进行自适应的修复；本发明利用轻量级全局上下文精炼模块，弥补了卷积网络的局部性的特点，在较低的时空复杂度的前提下，分析得到非局部以致全局的信息，利用这些非局部的周边信息对相关部位进行修复，能够极大的提升去模糊的性能。
本发明提出的基于卷积神经网络的图像运动模糊去除方法，包括深度神经网络模型的构建、训练数据的准备与模型训练、深度神经网络模型的使用三个阶段；具体步骤如下：
(1)深度神经网络模型的构建
构建一个多尺度深度信息融合的深度神经网络模型，用以生成清晰图片；该模型由1个普通卷积层、6个残差单元、6个多尺度融合模块、3个可变形卷积微调模块以及1个轻量级全局上下文精炼模块构成；其拓扑结构为：普通卷积层0→残差单元0→多尺度分析融合模块0→下采样→残差单元1→多尺度分析融合模块1→下采样→残差单元2→多尺度分析融合模块2→轻量级全局上下文精炼模块0→残差单元3→多尺度分析融合模块3→可变形卷积微调模块0→上采样→残差单元4→多尺度分析融合模块4→拼接聚合多尺度分析融合模块1+4→可变形卷积微调模块1→上采样→残差单元5→多尺度分析融合模块5→拼接聚合多尺度分析融合模块0+5→可变形卷积微调模块2→普通卷积层1；
其中，“→”符号表示神经网络层间连接，“A→B”表示A层输出数据作为B层输入；“拼接聚合多尺度分析融合模块a+b”表示将“多尺度分析融合模块a”的结果与“多尺度分析融合模块b”的结果进行拼接聚合，二者一齐作为下一层的输入内容；
(2)训练数据的准备与模型训练
假设数据集含有n组清晰-模糊图像对，即S＝{(ISi,IBi)}，i＝1,2,…n；ISi表示第i张清晰图像，IBi表示第i张模糊图像；将每张图片裁剪出数个256×256的子图，得到子图集合T＝{(IS′ij,IB′ij)}，i＝1,2,…n，j＝1,2,…m，m为每张图片裁得子图数量；再将T的每一个子图进行左右对称、旋转90度、颜色通道混排；最终得到规模扩大24倍的子图集合T′，作为深度神经网络的训练集合，T′＝{(IS″ij,IB″ij)}，i＝1,2,…n，j＝1,2,…24×m；以此数据集作为监督信息训练网络；
(3)深度神经网络模型的使用
对于一张待处理的模糊图像IB，直接将其输入经过训练的深度神经网络，得到的网络输出IS，即为清晰结果。
步骤(1)中，所述残差单元中，进行如公式(1)所示的运算：
y＝Conv2D1(ReLU(Conv2D2(x)))+x (1)
其中，x表示输入残差单元的张量，Conv2Di(input),i＝1,2，表示第i个卷积层对input进行二维卷积运算，ReLU(input)表示对input进行激活函数的运算，它的定义如公式(2)所示：
步骤(1)中，所述可变形卷积微调模块中，进行如公式(3)所示的运算：
y＝Conv2D(ReLU(DeformConv(x)))+x (3)
其中，x表示输入可变形卷积微调模块的张量，Conv2D(input)表示对input进行卷积运算,DeformConv(x)表示对input进行可变性卷积的计算，ReLU(input)表示对input进行激活函数的运算；
步骤(1)中，所述多尺度融合模块中，进行如公式(4)所示的运算：
y＝Conv2D(Concat(Conv2D1(x),Conv2D2(x),Conv2D3(x)))+x (4)
其中，x表示输入多尺度融合模块的张量，Conv2D(input)表示对input进行二维卷积运算,Convj(x),j＝1,2,3，表示对input进行二维膨胀卷积运算，膨胀系数为j，Concat(input1,input2,input3)表示对输入input1,input2,input3三个张量按照通道维度进行拼接。
步骤(1)中，所述轻量级全局上下文精炼模块中，进行如公式(5)所示的运算：
其中，x表示输入轻量级全局上下文精炼模块的张量；averageH(input)表示对input沿其高度轴对其他所有维度取平均，得到长度为input高度的向量；averageW(input)表示对input沿其宽度轴对其他所有维度取平均，得到长度为input宽度的向量；averageC(input)表示对input沿其通道轴对其他所有维度取平均，得到长度为input通道数量的向量；
表示第j组的第i个一维卷积；Conv3D(x)表示三维卷积。
本发明步骤(1)中，一共有两处特征映射的拼接聚合，分别为：
(1)多尺度分析融合模块1与多尺度分析融合模块4聚合，送入可变形卷积微调模块1；
(2)多尺度分析融合模块0与多尺度分析融合模块5聚合，送入可变形卷积微调模块2；
本发明步骤(1)中，普通卷积层0输入为3通道，输出为64通道；普通卷积层0输入为64通道，输出为3通道，其他所有层或块，输入输出均为64通道。
本发明步骤(1)中，上采样采用的算法为Bicubic，倍数为2；下采样采用的算法为Bicubic，倍数为0.5。
附图说明
图1为本发明的流程图(整体网络)。
图2为多尺度分析融合模块示意图。
图3为轻量级全局上下文精炼模块示意图。
图4为本发明的处理结果对比图。其中，(a)模糊图片，(b)本发明处理结果，(c)清晰图片。
具体实施方式
基于卷积神经网络宽尺度模糊感知机制的图像运动模糊去除方法，流程如图1所示，其具体步骤如下：
(1)模型构建
首先构建一个多尺度深度信息融合的深度神经网络模型，用以生成清晰图片。该深度神经网络模型由1个普通卷积层、6个残差单元、6个多尺度融合模块、3个可变形卷积微调模块以及1个轻量级全局上下文精炼模块构成；其拓扑结构为：普通卷积层0→残差单元0→多尺度分析融合模块0→下采样→残差单元1→多尺度分析融合模块1→下采样→残差单元2→多尺度分析融合模块2→轻量级全局上下文精炼模块0→残差单元3→多尺度分析融合模块3→可变形卷积微调模块0→上采样→残差单元4→多尺度分析融合模块4→拼接聚合多尺度分析融合模块1+4→可变形卷积微调模块1→上采样→残差单元5→多尺度分析融合模块5→拼接聚合多尺度分析融合模块0+5→可变形卷积微调模块2→普通卷积层1。其中，“→”符号表示神经网络层间连接，“A→B”表示A层输出数据作为B层输入；“拼接聚合多尺度分析融合模块a+b”表示将“多尺度分析融合模块a”的结果与“多尺度分析融合模块b”的结果进行拼接聚合，二者一齐作为下一层的输入内容。该模型中，普通卷积层0输入为3通道，输出为64通道；普通卷积层0输入为64通道，输出为3通道，其他所有层或块，输入输出均为64通道。该模型中，上采样采用的算法为Bicubic，倍数为2；下采样采用的算法为Bicubic，倍数为0.5。
(2)训练数据的准备与模型训练
可以采用已公开的GoPro数据集中的训练集部分，对模型进行训练。假设训练集含有n组清晰-模糊图像对，即S＝{(ISi,IBi)}，i＝1,2,…n；ISi表示第i张清晰图像，IBi表示第i张模糊图像；将每张图片裁剪出数个256×256的子图，得到子图集合T＝{(IS′ij,IB′ij)}，i＝1,2,…n，j＝1,2,…m，m为每张图片裁得子图数量；再将T的每一个子图进行左右对称，旋转90度，颜色通道混排；最终得到规模扩大24倍的子图集合T′，作为深度神经网络的训练集合，T′＝{(IS″ij,IB″ij)}，i＝1,2,…n，j＝1,2,…24×m；以此数据集作为监督信息训练网络。优化网络时，采用批数量为8，学习率为0.0001的超参数设置，可采用网络预测结果与清晰图片之间的均方误差(MSE)作为损失函数。
(3)模型使用
输入一张待处理的模糊图像IB，如图4(a)所示，直接将其输入网络，得到的网络输出IS，即为清晰结果，如图4(b)所示。
图2是多尺度分析融合模块的示意图，具体步骤为
步骤(1)中，所述残差单元中，进行如公式(1)所示的运算：
y＝Conv2D1(ReLU(Conv2D2(x)))+x (1)
其中，x表示输入残差单元的张量，Conv2Di(input),i＝1,2，表示第i个卷积层对input进行二维卷积运算，ReLU(input)表示对input进行激活函数的运算，它的定义如公式(2)所示：
步骤(1)中，所述可变形卷积微调模块中，进行如公式(3)所示的运算：
y＝Conv2D(ReLU(DeformConv(x)))+x (3)
其中，x表示输入可变形卷积微调模块的张量，Conv2D(input)表示对input进行卷积运算,DeformConv(x)表示对input进行可变性卷积的计算，ReLU(input)表示对input进行激活函数的运算。
图2为多尺度融合模块，其中，进行如公式(4)所示的运算：
y＝Conv2D(Concat(Conv2D1(x),Conv2D2(x),Conv2D3(x)))+x (4)
其中，x表示输入多尺度融合模块的张量，Conv2D(input)表示对input进行二维卷积运算,Convj(x),j＝1,2,3，表示对input进行二维膨胀卷积运算，膨胀系数为j，Concat(input1,input2,input3)表示对输入input1,input2,input3三个张量按照通道维度进行拼接。
图3为轻量级全局上下文精炼模块，其中，进行如公式(5)所示的运算：
其中，x表示输入轻量级全局上下文精炼模块的张量；averageH(input)表示对input沿其高度轴对其他所有维度取平均，得到长度为input高度的向量；averageW(input)表示对input沿其宽度轴对其他所有维度取平均，得到长度为input宽度的向量；averageC(input)表示对input沿其通道轴对其他所有维度取平均，得到长度为input通道数量的向量；
表示第j组的第i个一维卷积；Conv3D(x)表示三维卷积。
图4是本发明处理结果与清晰图、模糊图之间的对比。组图从上到下分别为：(a)模糊图片，(b)本发明处理结果，(c)清晰图片。可以看出，本发明具有对不同程度不同尺度模糊进行感知与去除，即不仅能够对远处程度相对较轻的模糊区域进行修复，又可以对近处模糊程度较大的区域进行有效的修复。本发明既能够清除越过边缘侵蚀的模糊模式，又能够合理的还原图像细节，得到与其对应的清晰图片。
参考文献
[1]Zhang H,Dai Y,Li H,et al.Deep stacked hierarchical multi-patchnetwork for image deblurring[C]//Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition.2019:5978-5986.
[2]Tao X,Gao H,Shen X,et al.Scale-recurrent network for deep imagedeblurring[C]//Proceedings of the IEEE Conference on Computer Vision andPattern Recognition.2018:8174-8182.
[3]Park D,Kang D U,Kim J,et al.Multi-Temporal Recurrent NeuralNetworks For Progressive Non-Uniform Single Image Deblurring With IncrementalTemporal Training[J].arXiv preprint arXiv:1911.07410,2019.。
Claims (4)
1.一种基于卷积神经网络宽尺度模糊感知机制的图像运动模糊去除方法，其特征在于，具体步骤如下：
(1)深度神经网络模型的构建
构建一个多尺度深度信息融合的深度神经网络模型，用以生成清晰图片；该模型由1个普通卷积层、6个残差单元、6个多尺度融合模块、3个可变形卷积微调模块以及1个轻量级全局上下文精炼模块构成；其拓扑结构为：普通卷积层0→残差单元0→多尺度分析融合模块0→下采样→残差单元1→多尺度分析融合模块1→下采样→残差单元2→多尺度分析融合模块2→轻量级全局上下文精炼模块0→残差单元3→多尺度分析融合模块3→可变形卷积微调模块0→上采样→残差单元4→多尺度分析融合模块4→拼接聚合多尺度分析融合模块1+4→可变形卷积微调模块1→上采样→残差单元5→多尺度分析融合模块5→拼接聚合多尺度分析融合模块0+5→可变形卷积微调模块2→普通卷积层1；
其中，“→”符号表示神经网络层间连接，“A→B”表示A层输出数据作为B层输入；“拼接聚合多尺度分析融合模块a+b”表示将“多尺度分析融合模块a”的结果与“多尺度分析融合模块b”的结果进行拼接聚合，二者一齐作为下一层的输入内容；
(2)训练数据的准备与模型训练
假设数据集含有n组清晰-模糊图像对，即S＝{(ISi,IBi)}，i＝1,2,…n；ISi表示第i张清晰图像，IBi表示第i张模糊图像；将每张图片裁剪出数个256×256的子图，得到子图集合T＝{(IS′ij,IB′ij)}，i＝1,2,…n，j＝1,2,…m，m为每张图片裁得子图数量；再将T的每一个子图进行左右对称，旋转90度，颜色通道混排；最终得到规模扩大24倍的子图集合T′，作为深度神经网络的训练集合，T′＝{(IS″ij,IB″ij)}，i＝1,2,…n，j＝1,2,…24×m；以此数据集作为监督信息训练网络；
(3)深度神经网络模型的使用
对于一张待处理的模糊图像IB，直接将其输入经过训练的深度神经网络，得到的网络输出IS，即为清晰结果；
步骤(1)中所述的残差单元中，进行如公式(1)所示的运算：
y＝Conv2D1(ReLU(Conv2D2(x)))+x (1)
其中，x表示输入残差单元的张量，Conv2Di(input),i＝1,2，表示第i个卷积层对input进行二维卷积运算，ReLU(input)表示对input进行激活函数的运算，它的定义如公式(2)所示：
步骤(1)中所述的可变形卷积微调模块中，进行如公式(3)所示的运算：
y＝Conv2D(ReLU(DeformConv(x)))+x (3)
其中，x表示输入可变形卷积微调模块的张量，Conv2D(input)表示对input进行卷积运算,DeformConv(x)表示对input进行可变性卷积的计算，ReLU(input)表示对input进行激活函数的运算；
步骤(1)中所述的多尺度融合模块中，进行如公式(4)所示的运算：
y＝Conv2D(Concat(Conv2D1(x),Conv2D2(x),Conv2D3(x)))+x (4)
其中，x表示输入多尺度融合模块的张量，Conv2D(input)表示对input进行二维卷积运算,Convj(x),j＝1,2,3，表示对input进行二维膨胀卷积运算，膨胀系数为j，Concat(input1,input2,input3)表示对输入input1,input2,input3三个张量按照通道维度进行拼接；
步骤(1)中所述的轻量级全局上下文精炼模块中，进行如公式(1)所示的运算：
其中，x表示输入轻量级全局上下文精炼模块的张量；averageH(input)表示对input沿其高度轴对其他所有维度取平均，得到长度为input高度的向量；averageW(input)表示对input沿其宽度轴对其他所有维度取平均，得到长度为input宽度的向量；averageC(input)表示对input沿其通道轴对其他所有维度取平均，得到长度为input通道数量的向量；
表示第j组的第i个一维卷积；Conv3D(x)表示三维卷积。
2.根据权利要求1所述的基于卷积神经网络宽尺度模糊感知机制的图像运动模糊去除方法，其特征在于，步骤(1)中一共有两处特征映射的拼接聚合，分别为：
(1)多尺度分析融合模块1与多尺度分析融合模块4聚合，送入可变形卷积微调模块1；
(2)多尺度分析融合模块0与多尺度分析融合模块5聚合，送入可变形卷积微调模块2。
3.根据权利要求1所述的基于卷积神经网络的图像运动模糊去除方法，其特征在于，步骤(1)中，普通卷积层0输入为3通道，输出为64通道；普通卷积层0输入为64通道，输出为3通道，其他所有层或块，输入输出均为64通道。
4.根据权利要求1所述的基于卷积神经网络的图像运动模糊去除方法，其特征在于，步骤(1)中，上采样采用的算法为Bicubic，倍数为2；下采样采用的算法为Bicubic，倍数为0.5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011326166.4A CN112419191B (zh) | 2020-11-24 | 2020-11-24 | 基于卷积神经网络的图像运动模糊去除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011326166.4A CN112419191B (zh) | 2020-11-24 | 2020-11-24 | 基于卷积神经网络的图像运动模糊去除方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112419191A true CN112419191A (zh) | 2021-02-26 |
| CN112419191B CN112419191B (zh) | 2022-05-20 |
Family
ID=74777970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011326166.4A Active CN112419191B (zh) | 2020-11-24 | 2020-11-24 | 基于卷积神经网络的图像运动模糊去除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112419191B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113177896A (zh) * | 2021-05-20 | 2021-07-27 | 中国人民解放军国防科技大学 | 基于多路径精化融合神经网络的图像去除模糊方法 |
| CN113420770A (zh) * | 2021-06-21 | 2021-09-21 | 梅卡曼德（北京）机器人科技有限公司 | 图像数据处理方法、装置、电子设备和存储介质 |
| CN114359082A (zh) * | 2021-12-24 | 2022-04-15 | 复旦大学 | 一种基于自建数据对的胃镜图像去模糊算法 |
| TWI828185B (zh) * | 2022-06-09 | 2024-01-01 | 大陸商星宸科技股份有限公司 | 三維卷積運算裝置與三維卷積運算方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109903237A (zh) * | 2019-01-23 | 2019-06-18 | 复旦大学 | 一种基于分离低高频的多尺度人脸图像去模糊算法 |
| US20190304069A1 (en) * | 2018-03-29 | 2019-10-03 | Pixar | Denoising monte carlo renderings using neural networks with asymmetric loss |
| CN111199522A (zh) * | 2019-12-24 | 2020-05-26 | 重庆邮电大学 | 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法 |
-
2020
- 2020-11-24 CN CN202011326166.4A patent/CN112419191B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190304069A1 (en) * | 2018-03-29 | 2019-10-03 | Pixar | Denoising monte carlo renderings using neural networks with asymmetric loss |
| CN109903237A (zh) * | 2019-01-23 | 2019-06-18 | 复旦大学 | 一种基于分离低高频的多尺度人脸图像去模糊算法 |
| CN111199522A (zh) * | 2019-12-24 | 2020-05-26 | 重庆邮电大学 | 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法 |
Non-Patent Citations (2)
| Title |
|---|
| DONGWON PARK ET AL.: "Down-Scaling with Learned Kernels in Multi-Scale Deep Neural Networks for Non-Uniform Single Image Deblurring", 《ARXIV》 * |
| 郭业才等: "基于深度卷积神经网络的运动模糊去除算法", 《南京理工大学学报》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113177896A (zh) * | 2021-05-20 | 2021-07-27 | 中国人民解放军国防科技大学 | 基于多路径精化融合神经网络的图像去除模糊方法 |
| CN113177896B (zh) * | 2021-05-20 | 2022-05-03 | 中国人民解放军国防科技大学 | 基于多路径精化融合神经网络的图像去除模糊方法 |
| CN113420770A (zh) * | 2021-06-21 | 2021-09-21 | 梅卡曼德（北京）机器人科技有限公司 | 图像数据处理方法、装置、电子设备和存储介质 |
| CN114359082A (zh) * | 2021-12-24 | 2022-04-15 | 复旦大学 | 一种基于自建数据对的胃镜图像去模糊算法 |
| CN114359082B (zh) * | 2021-12-24 | 2023-01-06 | 复旦大学 | 一种基于自建数据对的胃镜图像去模糊算法 |
| TWI828185B (zh) * | 2022-06-09 | 2024-01-01 | 大陸商星宸科技股份有限公司 | 三維卷積運算裝置與三維卷積運算方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112419191B (zh) | 2022-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| Purohit et al. | Region-adaptive dense network for efficient motion deblurring | |
| Wang et al. | Blind2unblind: Self-supervised image denoising with visible blind spots | |
| CN108376392B (zh) | 一种基于卷积神经网络的图像运动模糊去除方法 | |
| CN112419191B (zh) | 基于卷积神经网络的图像运动模糊去除方法 | |
| CN111861894B (zh) | 基于生成式对抗网络的图像去运动模糊方法 | |
| CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及系统 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN111091503B (zh) | 基于深度学习的图像去失焦模糊方法 | |
| CN111462019A (zh) | 基于深度神经网络参数估计的图像去模糊方法及系统 | |
| CN112541877B (zh) | 基于条件生成对抗网络的去模糊方法、系统、设备及介质 | |
| CN112241939B (zh) | 一种基于多尺度和非局部的轻量去雨方法 | |
| CN115358932B (zh) | 一种多尺度特征融合的人脸超分辨率重构方法及系统 | |
| Li et al. | Dlgsanet: lightweight dynamic local and global self-attention networks for image super-resolution | |
| Goncalves et al. | Deepdive: An end-to-end dehazing method using deep learning | |
| CN112509144A (zh) | 人脸图像处理方法、装置、电子设备及存储介质 | |
| CN112598587A (zh) | 一种联合人脸去口罩和超分辨率的图像处理系统和方法 | |
| Wu et al. | Dcanet: Dual convolutional neural network with attention for image blind denoising | |
| CN110120009B (zh) | 基于显著物体检测和深度估计算法的背景虚化实现方法 | |
| CN112967296A (zh) | 一种点云动态区域图卷积方法、分类方法及分割方法 | |
| Guo et al. | Image blind deblurring using an adaptive patch prior | |
| CN116152128A (zh) | 基于注意力机制的高动态范围多曝光图像融合模型及方法 | |
| Tao et al. | LEGAN: A low-light image enhancement generative adversarial network for industrial internet of smart-cameras | |
| Tian et al. | A modeling method for face image deblurring | |
| Tian et al. | Blind image deblurring based on dual attention network and 2d blur kernel estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |