CN111199521A - 嵌入傅立叶聚合的视频去模糊三维卷积深度网络方法 - Google Patents

嵌入傅立叶聚合的视频去模糊三维卷积深度网络方法 Download PDF

Info

Publication number
CN111199521A
CN111199521A CN201911262011.6A CN201911262011A CN111199521A CN 111199521 A CN111199521 A CN 111199521A CN 201911262011 A CN201911262011 A CN 201911262011A CN 111199521 A CN111199521 A CN 111199521A
Authority
CN
China
Prior art keywords
fourier
network
layer
video
deblurring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911262011.6A
Other languages
English (en)
Other versions
CN111199521B (zh
Inventor
杨帆
肖亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201911262011.6A priority Critical patent/CN111199521B/zh
Publication of CN111199521A publication Critical patent/CN111199521A/zh
Application granted granted Critical
Publication of CN111199521B publication Critical patent/CN111199521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种嵌入傅立叶聚合的视频去模糊三维卷积深度网络方法，该方法通过三维卷积深度网络，学习窗口内视频帧的时空特征，并将编码器‑解码器卷积网络学习出的初始去模糊图像进行傅立叶变换，采用傅立叶聚合模块，进一步学习图像的傅立叶特征，通过三维卷积神经网络与傅立叶聚合模块的合成网络，训练深度网络，最终根据训练好的深度网络，生成去模糊视频。本发明依据三维卷积深度网络学习视频中的时空特征，避免了视频去模糊中复杂的配准过程，且无需运动矢量估计，并在网络中嵌入傅立叶聚合模块显著提升了去模糊效果，大幅降低了视频去模糊的处理时间，可广泛应用于手机拍摄、无人机拍摄、车载导航等多种类型的视频去模糊。

Description

嵌入傅立叶聚合的视频去模糊三维卷积深度网络方法
技术领域
本发明涉及视频去运动模糊技术，特别是一种嵌入傅立叶聚合的视频去模糊三维卷积深度网络方法。
背景技术
随着信息技术的快速发展，图像与视频渐渐成为了人们生活中信息传递的主要方式之一，许多领域都需要使用图像与视频，如道路监控视频有助于保证城市交通安全、遥感视频有助于监测环境变化、医学视频有助于分析判断病情等。然而，相机抖动、成像系统退化以及目标和背景之间的相对运动往往会造成视频图像模糊。视频模糊容易妨碍人们对这些视频的后续高层模式识别，例如目标跟踪、识别和模式分析等。
目前，已经有许多针对视频去模糊的方法，如公开号为CN110111282A的专利公开了一种基于运动矢量和卷积神经网络的视频去模糊方法，该方法将每一个视频帧分块处理，并通过基于运动矢量的目标函数在当前帧的相邻帧中寻找最优图像块，将模糊图像块与清晰图像块作为卷积神经网络的输入，训练得到去模糊的图像块，并替换原模糊图像块。公开号为CN104867111A的专利公开了一种基于分块模糊核集的非均匀视频盲去模糊方法，该方法根据视频帧图像梯度检测模糊帧与清晰帧，计算清晰帧与模糊帧之间的单应性变换，通过分块单应性变换的离散采样逼近模糊运动，最终利用反卷积计算清晰图像块，替换原模糊图像块，得到去模糊视频。
然而，基于运动矢量和卷积神经网络的视频去模糊方法对视频图像依旧采用二维卷积来构建网络，丢失了许多视频中的时域信息。基于分块模糊核集的非均匀视频盲去模糊方法中，分块计算单应性变换和运动矢量估计十分耗时，降低了视频去模糊的处理效率。
发明内容
本发明的目的在于提供一种嵌入傅立叶聚合的视频去模糊三维卷积深度网络方法。
实现本发明目的的技术解决方案为：一种嵌入傅立叶聚合的视频去模糊三维卷积深度网络方法，包括以下步骤：
步骤1、窗口化视频帧：假设观测到含有模糊的视频序列为:{It|t∈[1,N]}，其中N表示视频序列的帧数，对该视频序列采用窗口化处理，窗口大小设置为s，s∈[7,11]；
步骤2、预处理窗口帧：将窗口中的所有视频帧按照高度H，宽度W的大小随机裁剪，构成结构为H×W×C×N形式的数据，其中，C表示图像的信道数，N表示窗口长度，将第三维与第四维交换，形成H×W×N×C形式的数据；
步骤3、构造编码器-解码器模块：采用编码器-解码器形式的架构搭建卷积神经网络，第1层与第2层为三维卷积特征学习层，采用5×5×5三维卷积核学习图像的时空特征信息，第3层至第19层为全连接层，采用3×3×1三维卷积核学习特征参数，并在编码器-解码器网络中对应的卷积层增加连接，并初步输出去模糊的图像{Ot|t∈[1,P]}；
步骤4、相邻帧傅立叶变换：将编码器-解码器模块输出的P幅图像{O1,O2,O3,…,OP}采用傅立叶变换，得到P幅图像对应的傅立叶图像
Figure BDA0002311834880000021
其形式为H×W×3P，其中3P代表P帧图像RGB三通道对应的3P幅傅立叶图像，其中P≥3；
步骤5、构建傅立叶聚合模块：网络20层至23层采用全连接形式构建傅立叶聚合模块，将步骤4中N幅傅立叶图像采用5×5的二维卷积核学习图像的傅立叶聚合参数，将卷积的步长设为1，即特征映射过程中不采用下采样方式；
步骤6、逆傅立叶变换：将步骤5中傅立叶聚合模块输出的第i帧傅立叶图像
Figure BDA0002311834880000022
采用逆傅立叶变换，重新生成时空域图像作为网络的输出图像{Ot|t∈[1,P]}，P为相邻视频序列的帧数；
步骤7、训练三维深度卷积网络：网络采用步骤6中输出图像与真实锐像之间的均方误差作为损失函数，并选择自适应矩估计方法作为网络的优化器，不断更新网络参数，直到误差收敛；
步骤8、生成去模糊视频：训练结束后，利用训练得到的参数对不同模糊的视频数据进行去模糊处理，最终生成去模糊视频。
进一步的，步骤3构造编码器-解码器模块中，三维卷积层由卷积层、批标准化层和激活层构成；第j层三维卷积层有nj-1个输入特征块，每块大小为wj-1×wj-1×dj-1，该层有nj个大小为aj×aj×mj的滤波器组，并假定三个维度的步长为(s1,s1,s2)，可输出nj个大小为wj×wj×dj的特征块，其中，空间宽度
Figure BDA0002311834880000036
时间深度
Figure BDA0002311834880000037
则第j层第i个包含批标准化和激活函数的输出为
Figure BDA0002311834880000031
其中
Figure BDA0002311834880000032
表示第j层来自第(j-1)层的第k个输入特征，
Figure BDA0002311834880000033
为第j层特征块Vj的标准化输出，E(·)为期望函数，Var(·)为方差函数，Hij和bij分别表示第j层第i个滤波器组的参数和偏置；将标准化激活后的三维卷积变换表示为
Figure BDA0002311834880000034
为第j层第i个特征图(x,y,z)处的值，(aj,aj,mj)为第j层三维卷积核大小。
进一步的，步骤3构造编码器-解码器模块中，网络的具体配置如下表所示：
Figure BDA0002311834880000035
其中，输入层到第19层之间的连接仅仅使用了输入的中心帧。
进一步的，步骤5中构建傅里叶聚合模块时，采用如下公式进行多帧图像聚合：
Figure BDA0002311834880000041
其中，P为输入傅里叶图像个数，{M|M∈[1，5]}为傅里叶聚合模块的网络层数，wj(ζ)表示该模块第j层的网络参数，
Figure BDA0002311834880000042
为第i帧图像的傅里叶系数，则
Figure BDA0002311834880000043
为聚合后的第i帧的傅里叶系数。
进一步的，步骤5中构建傅立叶聚合模块时，采用4层全连接形式的网络结构，具体配置如下表所示：
Figure BDA0002311834880000044
其中，每层的步长为1，即特征映射过程中不采用下采样方式。
进一步的，步骤7采用均方误差作为损失函数，其形式为：
Figure BDA0002311834880000045
其中，v与f分别表示视频号与帧号，p和q分别训练集中视频的数量以及每一个视频中的帧数。
与现有技术相比，本发明的显著优点为：本发明提出了一种嵌入傅立叶聚合的视频去模糊三维卷积深度网络方法，该方法利用三维卷积核构建编码器-解码器网络，充分利用了视频中的时空信息，并在网络输出后添加傅立叶聚合模块，将傅立叶聚合权重转化为网络参数，相较于传统去模糊算法，避免了视频配准预处理和运动矢量估计，大大降低了视频去模糊的处理时间；实验结果显示，本发明在降低了视频去模糊处理时间的同时，仍然具有良好的去模糊效果。
下面结合附图对本发明作进一步描述。
附图说明
图1是本发明嵌入傅立叶聚合的视频去模糊三维卷积深度网络方法流程图。
图2是编码器-解码器模块的网络结构图。
图3是编码器-解码器模块联合傅立叶聚合模块的网络结构图。
图4是本发明与其他视频去模糊方法的定量对比结果图。
图5是本发明与其他图像去模糊与视频去模糊方法的定性对比结果图。
具体实施方式
本发明针对各种相机拍摄的视频，实现去除视频中的模糊效果，通过三维卷积核学习视频中的时空特征，并嵌入傅立叶聚合模块进一步去除视频模糊，提出了嵌入傅立叶聚合的视频去模糊三维卷积深度网络方法。结合图1，详细说明本发明的实施过程，步骤如下：
步骤1，窗口化视频帧：假设观测到含有模糊的视频序列为:{It|t∈[1,N]}，其中N表示视频序列的帧数，对该视频序列采用窗口化处理，窗口大小设置为s，s∈[7,11]。
步骤2，预处理窗口帧：将窗口中的所有视频帧按照高度H，宽度W的大小随机裁剪，构成结构为H×W×C×N形式的数据，其中，C表示图像的信道数，N表示窗口长度，将第三维与第四维交换，形成H×W×N×C形式的数据。
步骤3，构造编码器-解码器模块：采用编码器-解码器形式的架构搭建卷积神经网络，第1层与第2层为三维卷积特征学习层，采用5×5×5三维卷积核学习图像的时空特征信息，由于时间维度的减少，第3层至第19层为全连接层，采用3×3×1三维卷积核学习特征参数，并在编码器-解码器网络中对应的卷积层增加连接，以保证网络学习的参数主要是对应层之间的残差，加快网络的收敛，并初步输出去模糊的图像{Ot|t∈[1,P]}。图2显示了编码器-解码器模块的网络结构图了，19层网络中，L1与L2为学习层，L3-L19为全连接层，每层包含一个三维卷积，一个批标准化以及修正线性激活函数。
步骤3.1，构造编码器-解码器模块中，三维卷积层由卷积层、批标准化层和激活层构成。如第j层三维卷积层有nj-1个输入特征块，每块大小为wj-1×wj-1×dj-1，该层有nj个大小为aj×aj×mj的滤波器组，并假定三个维度的步长为(s1,s1,s2)，可输出nj个大小为wj×wj×dj的特征块，其中，空间宽度
Figure BDA0002311834880000051
时间深度
Figure BDA0002311834880000052
则第j层第i个包含批标准化和激活函数的输出为
Figure BDA0002311834880000061
其中
Figure BDA0002311834880000062
表示第j层来自第(j-1)层的第k个输入特征，
Figure BDA0002311834880000063
为第j层特征块Vj的标准化输出，E(·)为期望函数，Var(·)为方差函数，Hij和bij分别表示第j层第i个滤波器组的参数和偏置。更一般的，可以将标准化激活后的三维卷积变换表示为
Figure BDA0002311834880000064
Figure BDA0002311834880000065
为第j层第i个特征图(x,y,z)处的值，(aj,aj,mj)为第j层三维卷积核大小。
步骤3.2，构造编码器-解码器模块中，网络的具体细节如下表所示：
Figure BDA0002311834880000066
其中，输入层到第19层之间的连接仅仅使用了输入的中心帧。
步骤4，相邻帧傅立叶变换：将编码器-解码器模块输出的P幅图像{O1,O2,O3,…,OP}采用傅立叶变换，得到P幅图像对应的傅立叶图像
Figure BDA0002311834880000067
其形式为H×W×3P，其中3P代表P帧图像RGB三通道对应的3P幅傅立叶图像，其中P≥3。
步骤5，构建傅立叶聚合模块：将网络20层至23层采用全连接形式构建傅立叶聚合模块，将步骤4中5幅傅立叶图像采用5×5的二维卷积核学习图像的傅立叶聚合参数，为了保存傅立叶图像的细节信息，将卷积的步长设为1，即特征映射过程中不采用下采样方式，图3显示了L20-L23为傅立叶聚合模块，每层包含一个二维卷积，一个批标准化以及修正线性激活函数。
步骤5.1，构建傅立叶聚合模块时，采用4层全连接形式的网络结构，其设置细节如下表所示：
Figure BDA0002311834880000071
其中，每层的步长为1，即特征映射过程中不采用下采样方式。
步骤5.2，构建傅里叶聚合模块时，采用如下公式进行多帧图像聚合：
Figure BDA0002311834880000072
其中，P为输入傅里叶图像个数，{M|M∈[1，5]}为傅里叶聚合模块的网络层数，wj(ζ)表示该模块第j层的网络参数，
Figure BDA0002311834880000073
为第i帧图像的傅里叶系数，则
Figure BDA0002311834880000074
为聚合后的第i帧的傅里叶系数。
步骤6，逆傅立叶变换：将步骤5中傅立叶聚合模块输出的第i帧傅立叶图像
Figure BDA0002311834880000075
采用逆傅立叶变换，重新生成时空域图像作为网络的输出图像{Ot|t∈[1,P]}，P为相邻视频序列的帧数。
步骤7，训练三维深度卷积网络：网络采用步骤6中输出图像ti(x)与真实锐像
Figure BDA0002311834880000076
之间的均方误差作为损失函数，并选择自适应矩估计方法作为网络的优化器，不断更新网络参数，直到误差收敛。
网络采用均方误差作为损失函数，其形式为：
Figure BDA0002311834880000077
其中，v与f分别表示视频号与帧号，p和q分别训练集中视频的数量以及每一个视频中的帧数。
步骤8：生成去模糊视频：训练结束后，利用训练得到的参数对不同模糊的视频数据进行去模糊处理，最终生成去模糊视频。
本发明的效果可通过以下仿真实验进一步说明：
(1)仿真条件
仿真实验采用十组含有卷帘伪影的抖动视频数据，本仿真实验均在Windows 10操作系统下采用python 3.7完成。处理器为i7 7700CPU(3.6GHz)，显卡为RTX2080,内存为16GB。仿真实验中各个参数的初始化值为：网络输入的批大小设置为64，迭代次数为100000，每500次迭代更新一次参数，前20000次迭代中，学习率设置为0.001，以后每10000次迭代学习率缩减为当前学习率的一半，直到学习率达到10-5停止。第2、5、8层网络的步长设置为2，第11、14、17层网络的步长设为1/2，其他层步长设置为1,窗口长度为2s+1，且s＝4。
数据集采用Su.等人提供的公开数据集VideoDeblurring dataset，数据集包含模糊帧及其对应的真实锐像，采样设备包括iPhone 6s，GoPro Hero 4，Nexue 5x等。每一个视频持续时间3-5s，包含100帧，且每帧的分辨率为1280×720P。该数据集包含两个子集：定性数据集与定量数据集，定量数据集共有71个视频，一共含有6708对模糊帧与真实锐像，定性数据集仅有22个视频，每个视频帧数超过100，且没有模糊帧对应的真实锐像。因此本方法仅利用部分定量数据集(71个视频中的61个)训练网络，剩余10个定量视频与定性数据集用来实验分析。
本发明方法的性能通过网络输出图像与真实锐像之间的峰值信噪比衡量。
(2)仿真内容
本发明采用真实模糊视频数据检验算法的去模糊性能，测试视频为含有模糊视频。为测试本发明算法的性能，将提出的视频去模糊方法与目前国际上主流的视频去模糊与单幅图像去模糊方法对比。视频去模糊方法包括：Kim&Lee方法[T.H.Kim andK.M.Lee.Generalized video deblurring for dynamic scenes.In Proc.IEEEConf.Compt.Vis.Pattern Recognit.(CVPR),2015.2,4]，二维卷积神经网络方法[S.Su,M.Delbracio,J.Wang,G.Sapiro,W.Heidrich,and O.Wang,“Deep video deblurring forhand-held cameras,”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.(CVPR),Jul.2017,pp.2015–2024.]与傅立叶聚合方法[M.Delbracio and G.Sapiro,“Burstdeblurring:Removing camera shake through Fourier burstaccumulation,”inProc.IEEE Conf.Comput.Vis.PatternRecognit.(CVPR),Jun.2015,pp.2385,2393.]，单幅图像去模糊方法包括：PhotoShop去模糊方法，DMCNN方法[S.Nah,T.H.Kim,and K.M.Lee,“Deep multi-scale convolutional neural network for dynamic scene deblurring,”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.(CVPR),Jul.2017,pp.257–265.]，SRN方法[X.Tao,H.Gao,X.Shen,J.Wang and J.Jia,"Scale-Recurrent Network for DeepImage Deblurring,",ICCV,2018,pp.8174-8182.]。
(3)仿真实验结果分析
图4是本方法与其他视频去模糊方法的定量对比结果图，图5是本方法与其他图像去模糊与视频去模糊方法的定性对比结果图，表1是本方法与其他视频去模糊方法的峰值信噪比(PSNR)对比结果。
表1本发明与其他视频去模糊方法的峰值信噪比对比结果
Figure BDA0002311834880000091
为了验证本方法提出的联合三维卷与傅立叶聚合的网络无须计算繁琐、代价昂贵的配准预处理，将输入图像分别采用单应性矩阵配准、光流配准与无配准的方式，图4中采用定量对比的策略对去模糊结果进行可视化分析，从左至右依次是：输入输出帧、原始帧、PS去模糊、傅立叶聚合方法、二维卷积网络方法、本方法(单帧)、本方法(单应性)，本方法(光流)、本方法(无配准)以及真实锐像。可以看出本方法即使在无配准的情况下，也具有良好的去模糊效果，表1显示了多种视频去模糊方法得到的结果图与真实锐像之间的峰值信噪比(PSNR)，每帧图像的最好结果加粗显示。结果显示本发明方法在第1、3、7个测试视频上有最好的效果，并且平均PSNR最高，表明本发明方法在无配准的情况下依旧达到了极好的去模糊效果，避免了视频去模糊过程中繁琐的配准过程，大大提高了视频去模糊的处理效率。
图5显示了本方法与某些单幅图像去模糊与视频图像去模糊的定性对比，从左至右、第一层为输入帧、原始帧、PS去模糊、DMCNN多尺度方法、SRN循环网络方法、本方法(单帧)、本方法(单应性)，本方法(光流)、本方法(无配准)；第二层为输入帧、Kim&Lee方法、傅立叶聚合方法、二维卷积网络方法、本方法(单帧)、本方法(单应性)，本方法(光流)、本方法(无配准)。图5中显示了每种方法去模糊中的细节图，主观分析来看，本方法在无配准的情况下，也具有良好的去模糊效果。表2显示了多种视频去模糊方法处理100帧视频的平均时间，可以看出本方法在具有良好去模糊效果下，也具有较快的处理时间。
表2本发明与其他视频去模糊方法的处理时间对比结果
方法 处理时间(秒)
Kim&Lee的方法 ～60k(cpu)
傅立叶聚合方法 ～1.5k(cpu)
本方法(光流) ～470(gpu)
本方法(单应性) ～160(gpu)
本方法(无配准) ～15(gpu)
本发明通过三维卷积深度网络，学习窗口内视频帧的时空特征，并将编码器-解码器卷积网络学习出的初始去模糊图像进行傅立叶变换，采用傅立叶聚合模块，进一步学习图像的傅立叶特征，通过三维卷积神经网络与傅立叶聚合模块的合成网络，训练深度网络，最终根据训练好的深度网络，生成去模糊视频。与传统方法相比，本方法依据三维卷积深度网络学习视频中的时空特征，避免了视频去模糊中复杂的配准过程，且无需运动矢量估计，并在网络中嵌入傅立叶聚合模块显著提升了去模糊效果，大幅降低了视频去模糊的处理时间，可广泛应用于手机拍摄、无人机拍摄、车载导航等多种类型的视频去模糊。

Claims (5)

1.一种嵌入傅立叶聚合的视频去模糊三维卷积深度网络方法，其特征在于，包括以下步骤：
步骤1、窗口化视频帧：假设观测到含有模糊的视频序列为:{It|t∈[1,N]}，其中N表示视频序列的帧数，对该视频序列采用窗口化处理，窗口大小设置为s，s∈[7,11]；
步骤2、预处理窗口帧：将窗口中的所有视频帧按照高度H，宽度W的大小随机裁剪，构成结构为H×W×C×N形式的数据，其中，C表示图像的信道数，N表示窗口长度，将第三维与第四维交换，形成H×W×N×C形式的数据；
步骤3、构造编码器-解码器模块：采用编码器-解码器形式的架构搭建卷积神经网络，第1层与第2层为三维卷积特征学习层，采用5×5×5三维卷积核学习图像的时空特征信息，第3层至第19层为全连接层，采用3×3×1三维卷积核学习特征参数，并在编码器-解码器网络中对应的卷积层增加连接，并初步输出去模糊的图像{Ot|t∈[1,P]}；
步骤4、相邻帧傅立叶变换：将编码器-解码器模块输出的P幅图像{O1,O2,O3,…,OP}采用傅立叶变换，得到P幅图像对应的傅立叶图像
Figure FDA0002311834870000011
其形式为H×W×3P，其中3P代表P帧图像RGB三通道对应的3P幅傅立叶图像，其中P≥3；
步骤5、构建傅立叶聚合模块：网络20层至23层采用全连接形式构建傅立叶聚合模块，将步骤4中N幅傅立叶图像采用5×5的二维卷积核学习图像的傅立叶聚合参数，将卷积的步长设为1，即特征映射过程中不采用下采样方式；
步骤6、逆傅立叶变换：将步骤5中傅立叶聚合模块输出的第i帧傅立叶图像
Figure FDA0002311834870000012
采用逆傅立叶变换，重新生成时空域图像作为网络的输出图像{Ot|t∈[1,P]}，P为相邻视频序列的帧数；
步骤7、训练三维深度卷积网络：网络采用步骤6中输出图像与真实锐像之间的均方误差作为损失函数，并选择自适应矩估计方法作为网络的优化器，不断更新网络参数，直到误差收敛；
步骤8、生成去模糊视频：训练结束后，利用训练得到的参数对不同模糊的视频数据进行去模糊处理，最终生成去模糊视频。
2.根据权利要求1所述的嵌入傅立叶聚合的视频去模糊三维卷积深度网络方法，其特征在于：步骤3构造编码器-解码器模块中，三维卷积层由卷积层、批标准化层和激活层构成；第j层三维卷积层有nj-1个输入特征块，每块大小为wj-1×wj-1×dj-1，该层有nj个大小为aj×aj×mj的滤波器组，并假定三个维度的步长为(s1,s1,s2)，可输出nj个大小为wj×wj×dj的特征块，其中，空间宽度
Figure FDA0002311834870000028
时间深度
Figure FDA0002311834870000029
则第j层第i个包含批标准化和激活函数的输出为
Figure FDA0002311834870000021
其中
Figure FDA0002311834870000022
Figure FDA0002311834870000023
表示第j层来自第(j-1)层的第k个输入特征，
Figure FDA0002311834870000024
为第j层特征块Vj的标准化输出，E(·)为期望函数，Var(·)为方差函数，Hij和bij分别表示第j层第i个滤波器组的参数和偏置；将标准化激活后的三维卷积变换表示为
Figure FDA0002311834870000025
Figure FDA0002311834870000026
为第j层第i个特征图(x,y,z)处的值，(aj,aj,mj)为第j层三维卷积核大小。
3.根据权利要求1所述的嵌入傅立叶聚合的视频去模糊三维卷积深度网络方法，其特征在于：步骤3构造编码器-解码器模块中，网络的具体配置如下表所示：
Figure FDA0002311834870000027
Figure FDA0002311834870000031
其中，输入层到第19层之间的连接仅使用输入的中心帧。
4.根据权利要求1所述的嵌入傅立叶聚合的视频去模糊三维卷积深度网络方法，其特征在于：步骤5中构建傅里叶聚合模块时，采用如下公式进行多帧图像聚合：
Figure FDA0002311834870000032
其中，P为输入傅里叶图像个数，{M|M∈[1，5]}为傅里叶聚合模块的网络层数，wj(ζ)表示该模块第j层的网络参数，
Figure FDA0002311834870000033
为第i帧图像的傅里叶系数，则
Figure FDA0002311834870000034
为聚合后的第i帧的傅里叶系数。
5.根据权利要求1所述的嵌入傅立叶聚合的视频去模糊三维卷积深度网络方法，其特征在于：步骤5中构建傅立叶聚合模块时，采用4层全连接形式的网络结构，具体配置如下表所示：
Figure FDA0002311834870000035
其中，每层的步长为1，即特征映射过程中不采用下采样方式。
CN201911262011.6A 2019-12-10 2019-12-10 嵌入傅立叶聚合的视频去模糊三维卷积深度网络方法 Active CN111199521B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911262011.6A CN111199521B (zh) 2019-12-10 2019-12-10 嵌入傅立叶聚合的视频去模糊三维卷积深度网络方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911262011.6A CN111199521B (zh) 2019-12-10 2019-12-10 嵌入傅立叶聚合的视频去模糊三维卷积深度网络方法

Publications (2)

Publication Number Publication Date
CN111199521A true CN111199521A (zh) 2020-05-26
CN111199521B CN111199521B (zh) 2022-10-18

Family

ID=70746284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911262011.6A Active CN111199521B (zh) 2019-12-10 2019-12-10 嵌入傅立叶聚合的视频去模糊三维卷积深度网络方法

Country Status (1)

Country Link
CN (1) CN111199521B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465730A (zh) * 2020-12-18 2021-03-09 辽宁石油化工大学 一种运动视频去模糊的方法
CN112634163A (zh) * 2020-12-29 2021-04-09 南京大学 基于改进型循环生成对抗网络去图像运动模糊方法
CN113658062A (zh) * 2021-07-28 2021-11-16 上海影谱科技有限公司 一种视频去模糊方法、装置及计算设备
CN114066751A (zh) * 2021-10-29 2022-02-18 西北工业大学 基于普通摄像头采集条件下的车卡监控视频去模糊方法
CN114897741A (zh) * 2022-06-09 2022-08-12 华东师范大学 基于深度残差傅里叶变换的图像盲去模糊方法
CN116544146A (zh) * 2023-05-22 2023-08-04 浙江固驰电子有限公司 功率半导体器件真空烧结设备及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440624A (zh) * 2013-08-07 2013-12-11 华中科技大学 一种基于运动检测的图像去模糊方法及装置
CN108376387A (zh) * 2018-01-04 2018-08-07 复旦大学 基于聚合膨胀卷积网络的图像去模糊方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440624A (zh) * 2013-08-07 2013-12-11 华中科技大学 一种基于运动检测的图像去模糊方法及装置
CN108376387A (zh) * 2018-01-04 2018-08-07 复旦大学 基于聚合膨胀卷积网络的图像去模糊方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465730A (zh) * 2020-12-18 2021-03-09 辽宁石油化工大学 一种运动视频去模糊的方法
CN112634163A (zh) * 2020-12-29 2021-04-09 南京大学 基于改进型循环生成对抗网络去图像运动模糊方法
CN113658062A (zh) * 2021-07-28 2021-11-16 上海影谱科技有限公司 一种视频去模糊方法、装置及计算设备
CN114066751A (zh) * 2021-10-29 2022-02-18 西北工业大学 基于普通摄像头采集条件下的车卡监控视频去模糊方法
CN114066751B (zh) * 2021-10-29 2024-02-27 西北工业大学 基于普通摄像头采集条件下的车卡监控视频去模糊方法
CN114897741A (zh) * 2022-06-09 2022-08-12 华东师范大学 基于深度残差傅里叶变换的图像盲去模糊方法
CN116544146A (zh) * 2023-05-22 2023-08-04 浙江固驰电子有限公司 功率半导体器件真空烧结设备及方法
CN116544146B (zh) * 2023-05-22 2024-04-09 浙江固驰电子有限公司 功率半导体器件真空烧结设备及方法

Also Published As

Publication number Publication date
CN111199521B (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
CN111199521B (zh) 嵌入傅立叶聚合的视频去模糊三维卷积深度网络方法
CN109360171B (zh) 一种基于神经网络的视频图像实时去模糊方法
Kang et al. Incorporating side information by adaptive convolution
CN110599409B (zh) 基于多尺度卷积组与并行的卷积神经网络图像去噪方法
CN111539879A (zh) 基于深度学习的视频盲去噪方法及装置
CN111275637A (zh) 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN112381897B (zh) 基于自编码网络结构的低照度图像增强方法
CN107590779B (zh) 一种基于图像块聚类字典训练的图像去噪去模糊方法
CN111462019A (zh) 基于深度神经网络参数估计的图像去模糊方法及系统
CN110610467B (zh) 一种基于深度学习的多帧视频去压缩噪声方法
Liu et al. Learning hadamard-product-propagation for image dehazing and beyond
Min et al. Blind deblurring via a novel recursive deep CNN improved by wavelet transform
CN112116601A (zh) 一种基于线性采样网络及生成对抗残差网络的压缩感知采样重建方法及系统
CN116664450A (zh) 基于扩散模型的图像增强方法、装置、设备及存储介质
CN112270646B (zh) 基于残差密集跳跃网络的超分辨增强方法
Choi et al. Wavelet attention embedding networks for video super-resolution
CN114897728A (zh) 图像增强方法、装置、终端设备以及存储介质
Löhdefink et al. On low-bitrate image compression for distributed automotive perception: Higher peak snr does not mean better semantic segmentation
Chen et al. Image denoising via deep network based on edge enhancement
CN117422653A (zh) 一种基于权重共享和迭代数据优化的低光照图像增强方法
CN114549361B (zh) 一种基于改进U-Net模型的去图像运动模糊方法
CN113554567B (zh) 一种基于小波变换的鲁棒去重影系统及方法
CN112132757B (zh) 一种基于神经网络的通用图像复原方法
CN111553860B (zh) 水色遥感影像的深度学习非邻域均值化处理方法及系统
CN115311149A (zh) 图像去噪方法、模型、计算机可读存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Xiao Liang

Inventor after: Yang Fan

Inventor before: Yang Fan

Inventor before: Xiao Liang

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant