CN112837245A - 一种基于多模态融合的动态场景去模糊方法 - Google Patents

一种基于多模态融合的动态场景去模糊方法 Download PDF

Info

Publication number
CN112837245A
CN112837245A CN202110283173.9A CN202110283173A CN112837245A CN 112837245 A CN112837245 A CN 112837245A CN 202110283173 A CN202110283173 A CN 202110283173A CN 112837245 A CN112837245 A CN 112837245A
Authority
CN
China
Prior art keywords
network
fuzzy
image
deblurring
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110283173.9A
Other languages
English (en)
Other versions
CN112837245B (zh
Inventor
袁媛
苏伟
马单丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202110283173.9A priority Critical patent/CN112837245B/zh
Priority claimed from CN202110283173.9A external-priority patent/CN112837245B/zh
Publication of CN112837245A publication Critical patent/CN112837245A/zh
Application granted granted Critical
Publication of CN112837245B publication Critical patent/CN112837245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于多模态融合的动态场景去模糊方法，首先采集真实场景中各种条件下的高帧率视频和对应的相机传感器数据构建数据集，然后设计多模态融合模块，将从输入图片中提取的模糊特征和相机运动特征融合，生成更加准确的模糊表征，再设计特征反卷积模块，根据模糊表征自动调整感受野和权重，动态聚合输入图片的特征以生成去模糊之后的结果，最后对去模糊网络进行训练，得到训练好的模型用于实际动态场景中的去模糊任务。本发明的方法能够实现灵活且高效地动态场景去模糊的目的，并且由于模型计算量很小，方便将其移植到手机等嵌入式平台上。

Description

一种基于多模态融合的动态场景去模糊方法
技术领域
本发明属于图像处理技术领域，具体涉及一种动态场景去模糊方法。
背景技术
模糊是一种常见图像退化问题，经常发生在使用数码相机等设备采集图像的过程中。由于相机在拍照/录像的过程中存在一定的曝光时间，为了采集到清晰的图像需要在曝光时间内保持相机和景物之间相对静止，如果在曝光时间内相机和景物之间发生了相对移动就会导致图像中的像素点被其邻域像素点影响，使其采集到的图像/视频存在运动模糊。模糊使采集到的图像内容不清晰，造成目标结构和细节信息丢失，严重降低了图像的质量，影响了采集图像的应用。所以一些去模糊算法应运而生，以求将采集到的模糊图像/视频变清晰，但是这些去模糊方法只从图片中提取模糊特征，忽略了造成模糊的相机运动因素，如果可以将图片模糊特征和相机运动数据融合会得到更加精确的模糊表征，进而提升去模糊的性能。目前，按照求解方式的不同，可以将相关工作分为以下三类：
第一种为传统去模糊方法。该类方法将去模糊建模成一个能量模型，通过优化该模型可以恢复清晰图像和模糊核。这种算法的解空间往往很大，为了约束解空间并加速求解过程，需要在模型中添加关于清晰自然图片和模糊核的正则项，然后优化复杂的目标函数。常用的自然图片正则包括全变分、稀疏图像先验、重尾梯度先验、超拉普拉斯先验和暗通道先验等。动态场景中不同的目标往往有不同的运动状态，因此其对应的模糊核也形态各异。Kim等人在文献“H.Kim,and K.Lee,Segmentation-free dynamic scenedeblurring.CVPR,pp.2766-2773,2014”中提出了一种无分割的动态场景去模糊算法，该方法假定可以通过局部线性光流场对模糊核进行近似建模。这种假设并不总是成立，因为现实世界中的运动非常复杂。
第二种是传统结合深度学习的去模糊方法，该类方法尝试将深度学习引入传统去模糊框架中，替代部分求解模块，如直接预测模糊核，或使用深度神经网络学习清晰图片的先验，然后将其作为先验项加入求解过程。一些方法使用深度学习来估计不均匀的模糊内核，然后利用非盲去模糊算法在动态场景去模糊中获得清晰的图像。Sun等人在论文“J.Sun,W.Cao,Z.Xu,and J.Ponce,Learning a convolutional neural network fornon-uniform motion blur removal.CVPR,pp.769-777,2015”中提出了一个深层的CNN模型来估计每个图像块的运动模糊，然后使用马尔可夫随机场(MRF)获得密集运动场来近似模糊核，进而使用传统非盲去模糊算法求解。但是，由于网络是在图像块级别进行训练的，因此其无法充分利用来自较大区域的高级信息。Gong等人在论文“D.Gong,J.Yang,L.Liu,Y.Zhang,and I.Reid,From motion blur to motion flow:a deep learning solutionfor removing heterogeneous motion blur.CVPR,pp.2319-2328,2017”中提出了一个更深的CNN来估计稠密运动流，无需进行后处理。但是，此方法将模糊核简化为线形模糊核，这种假设在实际情况中并不总是成立，因此限制了其在复杂场景中的应用。
第三种是基于深度学习的端到端去模糊方法，这类方法通过训练神经网络实现直接根据输入的模糊图像预测清晰的图像，而不需要估计模糊核，避免了传统方法中因模糊核估计错误导致的问题。为了在网络中获得较大的感受野进行图像恢复，大多数算法都使用了多尺度策略或非常深的模型。Noroozi等人在论文“M.Noroozi,P.Chandramouli，andP.Favaro,Motion deblurring in the wild,GCPR,pp.65-77,2017”中采用残差学习的方式，使用网络拟合清晰图像相对于模糊图像的残差，减轻网络的重建难度。Nah等人在论文“S.Nah,T.Kim,and M.Lee,Deep multi-scale convolutional neural network fordynamic scene deblurring,CVPR,pp.3883-3891,2017”中提出了一个基于多尺度策略的去模糊网络，使用三个级联的残差网络逐级去除三个尺度上的模糊，每个尺度上有40个卷积层，总共120个卷积层，同时在网络中使用对抗损失以获得更加锐化的恢复结果。但是由于网络结构复杂，限制了该算法在一些实时场景中的应用。
发明内容
为了克服现有技术的不足，本发明提供了一种基于多模态融合的动态场景去模糊方法，首先采集真实场景中各种条件下的高帧率视频和对应的相机传感器数据构建数据集，然后设计多模态融合模块，将从输入图片中提取的模糊特征和相机运动特征融合，生成更加准确的模糊表征，再设计特征反卷积模块，根据模糊表征自动调整感受野和权重，动态聚合输入图片的特征以生成去模糊之后的结果，最后对去模糊网络进行训练，得到训练好的模型用于实际动态场景中的去模糊任务。本发明的方法能够实现灵活且高效地动态场景去模糊的目的，并且由于模型计算量很小，方便将其移植到手机等嵌入式平台上。
本发明解决其技术问题所采用的技术方案包括以下步骤：
步骤1：构建训练数据集；
步骤1-1：通过移动设备上的视频采集设备采集真实动态场景中不同天气、不同地点、不同时间下的高帧率视频和移动设备运动传感器数据；
步骤1-2：根据采集到的高帧率视频和移动设备运动传感器数据，采用如下方法生成模糊图片及定长运动向量：
步骤1-2-1：对高帧率视频进行插帧，并将A帧相邻视频帧取平均值来合成模糊图片；
步骤1-2-2：对移动设备运动传感器数据使用三次样条插值，生成每张模糊图片对应的定长运动向量；
由模糊图片、定长运动向量和高帧率视频中真实的清晰图像构成训练数据集；
步骤2：构建去模糊网络；
所述去模糊网络包括骨干特征提取网络、多模态融合模块和特征反卷积模块；
所述骨干特征提取网络为全卷积结构；骨干特征提取网络的输入为模糊图像，输出为图像模糊特征和图像结构特征；
所述多模态融合模块为卷积神经网络；将模糊图片对应的定长运动向量输入多模态融合模块的全连接网络，全连接网络生成多模态融合模块的先验特征映射网络的权重；先验特征映射网络根据模糊图像的像素坐标生成对应的模糊先验特征；模糊先验特征与骨干特征提取网络输出的图像模糊特征结合生成空间级注意力权重，最后使用空间级注意力权重对上述两者加权求和得到最终优化模糊特征；
所述特征反卷积模块的网络结构分为上层子网络和下层子网络；所述上层子网络使用卷积层将多模态融合模块输出的最终优化模糊特征映射为两组可变形卷积采样点的位置偏移量和权重；所述下层子网络包括两层可变形卷积，将上层子网络生成的两组可变形卷积采样点的位置偏移量和权重分别应用在对应的两层可变形卷积中，同时将骨干特征提取网络输出的图像结构特征输入下层自网络中的两层可变形卷积，最终输出预测的清晰图像；
步骤3：使用训练数据集训练去模糊网络；
采用随机梯度下降法进行训练，优化器采用Adam，并使用多项式学习率衰减策略，多任务损失函数为：
Lall＝Lpixel+λLpercep
Figure BDA0002979378260000041
Figure BDA0002979378260000042
其中Lall表示训练所采用的多任务损失函数，由像素级损失函数Lpixel和感知损失函数Lpercep组成；λ为权重因子，用于调整像素级损失Lpixel和感知损失Lpercep的重要性程度；Lpixel为像素级损失函数，采用均方差损失；L和S分别是预测的清晰图像和真实的清晰图像，Np表示L中的元素个数；Lpercep为感知损失函数；φi表示VGG16网络的第i层，Nc表示φi(L)中的元素个数；
步骤4：将模糊图片输入训练完成的去模糊网络，输出去模糊后的清晰图像。
优选地，所述移动设备为相机或手机摄像头。
优选地，所述A等于5或7。
优选地，所述λ＝0.01。
优选地，所述骨干特征提取网络为MobileNet或SqueezeNet或PSConv。
本发明的有益效果如下：
1、利用相机运动数据生成空间变化的模糊特征先验，并与从图片中提取的模糊特征融合得到更加精确的模糊表征，相比一般方法只使用图片中的模糊特征，融合之后的表征更加准确。
2、设计特征反卷积模块，其可以根据预测的模糊表征自动调整网络的感受野和参数，相比一般方法具有固定的网络结构和参数，本方法能够对输入自适应调整，因此只需很少的参数就能实现优异的去模糊性能。
3、传统方法只能处理特定模糊类型的图片。本发明全卷积以及端到端的设计实现，可以减少过程误差的累积，进一步提升去模糊的精度，同时能够统一处理不同模糊程度和类别的问题。
附图说明
图1为本发明方法流程图。
图2为本发明方法多模态融合模块示意图。
图3为本发明方法基于可变形卷积构建的特征反卷积模块示意图。
图4为本发明实施例去模糊结果的示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
为了提高当前动态场景去模糊网络的性能并降低网络的参数量和复杂度，本发明提出了一种融合相机运动数据和图片模糊特征的多模态融合模块和基于可变形卷积构建的特征反卷积模块，并基于以上模块构建去模糊网络。利用相机运动数据生成空间变化的模糊特征先验，并与从图片中提取的模糊特征融合得到更加精确的模糊表征；设计特征反卷积模块，可以根据预测的模糊表征自动调整网络的感受野和参数。
如图1所示，一种基于多模态融合的动态场景去模糊方法，包括以下步骤：
步骤1：构建训练数据集；
步骤1-1：通过移动设备上的视频采集设备采集真实动态场景中不同天气、不同地点、不同时间下的高帧率视频和移动设备运动传感器数据；
步骤1-2：根据采集到的高帧率视频和移动设备运动传感器数据，采用如下方法生成模糊图片及定长运动向量：
步骤1-2-1：对高帧率视频进行插帧，并将若干相邻视频帧取平均值来合成模糊图片；具体帧数可根据需要的模糊程度灵活调整，通常使用5或7帧；
步骤1-2-2：对移动设备运动传感器数据使用三次样条插值，生成每张模糊图片对应的定长运动向量；
由模糊图片、定长运动向量和高帧率视频中真实的清晰图像构成训练数据集；
步骤2：构建去模糊网络；
所述去模糊网络包括骨干特征提取网络、多模态融合模块和特征反卷积模块；
所述骨干特征提取网络为全卷积结构，具有分辨率可变的特性；骨干特征提取网络的输入为模糊图像，输出为图像模糊特征和图像结构特征；
如图2所示，所述多模态融合模块为卷积神经网络；将模糊图片对应的定长运动向量输入多模态融合模块的全连接网络，全连接网络生成多模态融合模块的先验特征映射网络的权重；先验特征映射网络根据模糊图像的像素坐标生成对应的模糊先验特征；模糊先验特征与骨干特征提取网络输出的图像模糊特征结合生成空间级注意力权重，最后使用生成的空间级注意力权重对上述两者加权求和得到最终优化模糊特征；
如图3所示，所述特征反卷积模块的网络结构分为上层子网络和下层子网络；所述上层子网络使用卷积层将多模态融合模块输出的最终优化模糊特征映射为两组可变形卷积采样点的位置偏移量和权重；所述下层子网络包括两层可变形卷积，将上层子网络生成的两组可变形卷积采样点的位置偏移量和权重分别应用在对应的两层可变形卷积中，同时将骨干特征提取网络输出的图像结构特征输入下层自网络中的两层可变形卷积，最终输出预测的清晰图像；
通过骨干特征提取网络从图片中提取模糊特征和图像结构特征，将图像模糊特征输入多模态融合模块与相机运动特征进行自适应地融合，生成更加精确的像素级模糊特征。特征反卷积模块根据模糊特征动态地调整采样点的分布，实现去模糊网络感受野和权重的自适应调整，动态聚合图像结构特征，生成预测的清晰图像。
步骤3：使用训练数据集训练去模糊网络；
采用随机梯度下降法进行训练，优化器采用Adam，并使用多项式学习率衰减策略，多任务损失函数为：
Lall＝Lpixel+λLpercep
Figure BDA0002979378260000061
Figure BDA0002979378260000062
其中Lall表示训练所采用的多任务损失函数，由像素级损失函数Lpixel和感知损失函数Lpercep组成；λ为权重因子，用于调整像素级损失Lpixel和感知损失Lpercep的重要性程度；Lpixel为像素级损失函数，采用均方差损失；L和S分别是预测的清晰图像和真实的清晰图像，Np表示L中的元素个数；Lpercep为感知损失函数；φi表示VGG16网络的第i层，Nc表示φi(L)中的元素个数；
步骤4：将模糊图片输入训练完成的去模糊网络，输出去模糊后的清晰图像。
具体实施例：
1、实验条件
本实施例是在显存12G的NVIDIA Geforce GTX 1080Ti GPU、i7-6800K CPU、Ubuntu操作系统中运行，使用Pytorch进行仿真实验。
实验中使用的训练和测试数据均来自于使用手机相机采集的真实动态场景中的高帧率视频序列，分辨率为1280×720,并对高帧率视频进行插帧和多帧合成生成模糊帧，最后共选取2000张图片组建训练集，1000张图片组建测试集。数据集采集自公园、街道、广场等场景，包含车辆、行人等目标。
2、实验内容
按照具体实施方式中给出的步骤，通过在训练集上训练去模糊模型，并在测试集上评估去模糊效果，去模糊结果示意图如图4所示，展示了对两张图片的去模糊结果，左侧为包含动态场景模糊的图像，右侧为去模糊的结果，可以看出对于复杂的动态场景模糊，本发明能够得到清晰锐利的复原结果，并且最后的模型大小仅为3.2MB，因此其具有较大的潜力部署在手机等计算和存储资源有限的嵌入式设备上。

Claims (5)

1.一种基于多模态融合的动态场景去模糊方法，其特征在于，包括以下步骤：
步骤1：构建训练数据集；
步骤1-1：通过移动设备上的视频采集设备采集真实动态场景中不同天气、不同地点、不同时间下的高帧率视频和移动设备运动传感器数据；
步骤1-2：根据采集到的高帧率视频和移动设备运动传感器数据，采用如下方法生成模糊图片及定长运动向量：
步骤1-2-1：对高帧率视频进行插帧，并将A帧相邻视频帧取平均值来合成模糊图片；
步骤1-2-2：对移动设备运动传感器数据使用三次样条插值，生成每张模糊图片对应的定长运动向量；
由模糊图片、定长运动向量和高帧率视频中真实的清晰图像构成训练数据集；
步骤2：构建去模糊网络；
所述去模糊网络包括骨干特征提取网络、多模态融合模块和特征反卷积模块；
所述骨干特征提取网络为全卷积结构；骨干特征提取网络的输入为模糊图像，输出为图像模糊特征和图像结构特征；
所述多模态融合模块为卷积神经网络；将模糊图片对应的定长运动向量输入多模态融合模块的全连接网络，全连接网络生成多模态融合模块的先验特征映射网络的权重；先验特征映射网络根据模糊图像的像素坐标生成对应的模糊先验特征；模糊先验特征与骨干特征提取网络输出的图像模糊特征结合生成空间级注意力权重，最后使用空间级注意力权重对上述两者加权求和得到最终优化模糊特征；
所述特征反卷积模块的网络结构分为上层子网络和下层子网络；所述上层子网络使用卷积层将多模态融合模块输出的最终优化模糊特征映射为两组可变形卷积采样点的位置偏移量和权重；所述下层子网络包括两层可变形卷积，将上层子网络生成的两组可变形卷积采样点的位置偏移量和权重分别应用在对应的两层可变形卷积中，同时将骨干特征提取网络输出的图像结构特征输入下层自网络中的两层可变形卷积，最终输出预测的清晰图像；
步骤3：使用训练数据集训练去模糊网络；
采用随机梯度下降法进行训练，优化器采用Adam，并使用多项式学习率衰减策略，多任务损失函数为：
Lall＝Lpixel+λLpercep
Figure FDA0002979378250000021
Figure FDA0002979378250000022
其中Lall表示训练所采用的多任务损失函数，由像素级损失函数Lpixel和感知损失函数Lpercep组成；λ为权重因子，用于调整像素级损失Lpixel和感知损失Lpercep的重要性程度；Lpixel为像素级损失函数，采用均方差损失；L和S分别是预测的清晰图像和真实的清晰图像，Np表示L中的元素个数；Lpercep为感知损失函数；φi表示VGG16网络的第i层，Nc表示φi(L)中的元素个数；
步骤4：将模糊图片输入训练完成的去模糊网络，输出去模糊后的清晰图像。
2.根据权利要求1所述的一种基于多模态融合的动态场景去模糊方法，其特征在于，所述移动设备为相机或手机摄像头。
3.根据权利要求1所述的一种基于多模态融合的动态场景去模糊方法，其特征在于，所述A等于5或7。
4.根据权利要求1所述的一种基于多模态融合的动态场景去模糊方法，其特征在于，所述λ＝0.01。
5.根据权利要求1所述的一种基于多模态融合的动态场景去模糊方法，其特征在于，所述骨干特征提取网络为MobileNet或SqueezeNet或PSConv。
CN202110283173.9A 2021-03-16 一种基于多模态融合的动态场景去模糊方法 Active CN112837245B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110283173.9A CN112837245B (zh) 2021-03-16 一种基于多模态融合的动态场景去模糊方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110283173.9A CN112837245B (zh) 2021-03-16 一种基于多模态融合的动态场景去模糊方法

Publications (2)

Publication Number Publication Date
CN112837245A true CN112837245A (zh) 2021-05-25
CN112837245B CN112837245B (zh) 2024-05-31

Family

ID=

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822824A (zh) * 2021-11-22 2021-12-21 腾讯科技（深圳）有限公司 视频去模糊方法、装置、设备及存储介质
CN113963200A (zh) * 2021-10-18 2022-01-21 郑州大学 模态数据融合处理方法、装置、设备及存储介质
CN114066751A (zh) * 2021-10-29 2022-02-18 西北工业大学 基于普通摄像头采集条件下的车卡监控视频去模糊方法
CN114066750A (zh) * 2021-10-22 2022-02-18 西北工业大学 一种基于域变换的自编码器去模糊方法
CN115063312A (zh) * 2022-06-14 2022-09-16 北京大学 基于事件相机辅助的卷帘门效应矫正方法及装置
CN116205822A (zh) * 2023-04-27 2023-06-02 荣耀终端有限公司 一种图像处理的方法、电子设备和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018045602A1 (zh) * 2016-09-07 2018-03-15 华中科技大学 一种基于深度学习的模糊核尺寸估计方法与系统
CN111199522A (zh) * 2019-12-24 2020-05-26 重庆邮电大学 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法
WO2020103171A1 (zh) * 2018-11-21 2020-05-28 北京大学深圳研究生院 用于图像去模糊的Bi-Level优化方法
CN112435187A (zh) * 2020-11-23 2021-03-02 浙江工业大学 一种基于聚集残差生成对抗网络的单图像盲去运动模糊方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018045602A1 (zh) * 2016-09-07 2018-03-15 华中科技大学 一种基于深度学习的模糊核尺寸估计方法与系统
WO2020103171A1 (zh) * 2018-11-21 2020-05-28 北京大学深圳研究生院 用于图像去模糊的Bi-Level优化方法
CN111199522A (zh) * 2019-12-24 2020-05-26 重庆邮电大学 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法
CN112435187A (zh) * 2020-11-23 2021-03-02 浙江工业大学 一种基于聚集残差生成对抗网络的单图像盲去运动模糊方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
袁媛;: "基于模糊神经网络的移动学习评价模型研究", 科技经济导刊, no. 10, 5 April 2020 (2020-04-05) *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963200A (zh) * 2021-10-18 2022-01-21 郑州大学 模态数据融合处理方法、装置、设备及存储介质
CN114066750A (zh) * 2021-10-22 2022-02-18 西北工业大学 一种基于域变换的自编码器去模糊方法
CN114066750B (zh) * 2021-10-22 2024-03-05 西北工业大学 一种基于域变换的自编码器去模糊方法
CN114066751A (zh) * 2021-10-29 2022-02-18 西北工业大学 基于普通摄像头采集条件下的车卡监控视频去模糊方法
CN114066751B (zh) * 2021-10-29 2024-02-27 西北工业大学 基于普通摄像头采集条件下的车卡监控视频去模糊方法
CN113822824A (zh) * 2021-11-22 2021-12-21 腾讯科技（深圳）有限公司 视频去模糊方法、装置、设备及存储介质
CN113822824B (zh) * 2021-11-22 2022-02-25 腾讯科技（深圳）有限公司 视频去模糊方法、装置、设备及存储介质
CN115063312A (zh) * 2022-06-14 2022-09-16 北京大学 基于事件相机辅助的卷帘门效应矫正方法及装置
CN115063312B (zh) * 2022-06-14 2023-03-10 北京大学 基于事件相机辅助的卷帘门效应矫正方法及装置
CN116205822A (zh) * 2023-04-27 2023-06-02 荣耀终端有限公司 一种图像处理的方法、电子设备和计算机可读存储介质
CN116205822B (zh) * 2023-04-27 2023-10-03 荣耀终端有限公司 一种图像处理的方法、电子设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
Zhang et al. Deep image deblurring: A survey
Chen et al. Real-world single image super-resolution: A brief review
Yue et al. Supervised raw video denoising with a benchmark dataset on dynamic scenes
CN108537746B (zh) 一种基于深度卷积网络的模糊可变图像盲复原方法
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
CN102576454B (zh) 利用空间图像先验的图像去模糊法
Yang et al. Real-world video super-resolution: A benchmark dataset and a decomposition based learning scheme
CN113992861B (zh) 一种图像处理方法及图像处理装置
CN111986084A (zh) 一种基于多任务融合的多相机低光照图像质量增强方法
CN113067979A (zh) 基于仿生式脉冲相机的成像方法、装置、设备及存储介质
CN114998141B (zh) 基于多分支网络的空间环境高动态范围成像方法
Zhang et al. Deep motion blur removal using noisy/blurry image pairs
CN112164011A (zh) 基于自适应残差与递归交叉注意力的运动图像去模糊方法
Zhong et al. Real-world video deblurring: A benchmark dataset and an efficient recurrent neural network
Rasheed et al. LSR: Lightening super-resolution deep network for low-light image enhancement
CN116612015A (zh) 模型训练方法、图像去摩尔纹方法、装置及电子设备
Yang et al. Motion aware double attention network for dynamic scene deblurring
Chang et al. Beyond camera motion blur removing: How to handle outliers in deblurring
Vitoria et al. Event-based image deblurring with dynamic motion awareness
Zhang et al. Optical flow reusing for high-efficiency space-time video super resolution
Zhou et al. Modular degradation simulation and restoration for under-display camera
Zhang et al. DarkVision: a benchmark for low-light image/video perception
CN112837245B (zh) 一种基于多模态融合的动态场景去模糊方法
CN114913095B (zh) 基于域适应的深度去模糊方法
CN116091337A (zh) 一种基于事件信号神经编码方式的图像增强方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant