CN112767277A - 一种基于参考图像的深度特征排序去模糊方法 - Google Patents

一种基于参考图像的深度特征排序去模糊方法 Download PDF

Info

Publication number
CN112767277A
CN112767277A CN202110107628.1A CN202110107628A CN112767277A CN 112767277 A CN112767277 A CN 112767277A CN 202110107628 A CN202110107628 A CN 202110107628A CN 112767277 A CN112767277 A CN 112767277A
Authority
CN
China
Prior art keywords
image
feature
reference image
correlation
blurred
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110107628.1A
Other languages
English (en)
Other versions
CN112767277B (zh
Inventor
路建伟
李耀维
罗烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202110107628.1A priority Critical patent/CN112767277B/zh
Publication of CN112767277A publication Critical patent/CN112767277A/zh
Application granted granted Critical
Publication of CN112767277B publication Critical patent/CN112767277B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于参考图像的深度特征排序去模糊方法。现有去模糊方法只应用于模糊图像，难以恢复结构及细节信息，本发明引入参考图像，利用参考图像中清晰的结构信息和丰富的细节信息辅助于去模糊过程得到潜在清晰图像。首先，将模糊图像和参考图像转变为对应特征空间的特征图，并计算参考图像特征中每一个元素与模糊图像特征的相关性；然后，该相关性特征图分别通过浅层神经网络与最大池化，对相关性特征图排序，其中，排序在前的特征图表示参考图像与模糊图像相关性强，反之亦然；最后，将排序后的特征图选取固定数量的特征图用于特征重建并将特征空间的特征图转化为图像空间的图像，得到潜在清晰图像。

Description

一种基于参考图像的深度特征排序去模糊方法
技术领域
本发明属于低水平视觉图像处理领域，尤其涉及一种基于参考图像的深度特征排序去模糊方法。
背景技术
随着智能设备(如：智能手机、监控设备等等)的普及和物联网的兴起，图像的获取方式愈发方便，而图像作为日常生活中重要的信息媒介，在成像设备获取图像过程中会受到各种干扰因素的影响，例如相机的抖动、图像中运动的物体、夜间灯光的作用以及各种复合因素形成的模糊图像，该模糊图像对人们的日常生活产生不利影响，因此，恢复潜在清晰边缘结构和丰富真实细节的图像是亟待解决的问题。
根据模糊的类型可以将模糊分为均匀模糊和非均匀模糊。日常生活中我们拍摄的模糊图像多为非均匀模糊，即模糊图像中模糊核不一致。将该图像模糊过程表示为：
B＝k*I+n
其中B表示模糊图像，k表示模糊核或点扩散函数，I表示潜在清晰图像，*表示卷积操作，n表示噪声。
研究者对该经典的复原问题做了大量的研究，并取得了显著成果。根据模糊核是否已知，可以将图像去模糊分为两种：非盲图像去模糊和盲图像去模糊。非盲图像去模糊是先通过某种技术得到模糊核，然后基于该模糊核反卷积得到潜在清晰图像。盲图像去模糊指模糊核未知的情况下，仅利用模糊图像得到潜在清晰图像与模糊核。早期对该问题的研究主要对潜在清晰图像和模糊核施加先验知识，并基于最大后验复原潜在清晰图像，该先验知识包括全变分、暗通道先验、L0范式梯度等等；随着深度学习的快速发展，基于深度神经网络以端到端的方式复原潜在清晰图像，并取得了最先进的去模糊视觉效果。
发明内容
本发明提出了一种基于参考图像的模糊图像复原方法广泛应用于低水平视觉任务中，例如超分辨率，借助参考图像的清晰结构信息辅助模糊图像的复原。然而，现有的基于参考图像的复原方法不能直接应用于图像去模糊，即模糊图像形成过程与其他低水平视觉图像的形成过程不同。基于此，需要设计一种新的基于参考图像的图像去模糊方法。
技术方案：
一种基于参考图像的深度特征排序去模糊方法，特征是，参考图像中含有清晰的结构信息和丰富的细节信息，通过计算参考图像与输入模糊图像的相关性，即参考图像每个元素与输入模糊图像得到相似性特征图，根据浅层神经网络和最大池化分别对该特征图的重要性进行排序并选取重要的特征图作为特征重建的依据，最后，通过特征重建模块得到潜在清晰图像。
附图说明
图1是实施例提供的基于参考图像的深度特征排序去模糊方法流程图。
图2实施例生成器网络结构示意图。
具体实施方式
本发明提出了一种基于参考图像的深度特征排序去模糊方法，参考图像中含有清晰的结构信息和丰富的细节信息，通过计算参考图像与输入模糊图像的相关性，即参考图像每个元素与输入模糊图像得到相似性特征图，根据浅层神经网络和最大池化分别对该特征图的重要性进行排序并选取重要的特征图作为特征重建的依据，最后，通过特征重建模块得到潜在清晰图像。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步信息说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面结合附图对本发明的应用原理做详细描述。
实施例
如图所示，本发明实施例提供的基于参考图像的深度特征排序去模糊方法包括如下步骤：
步骤1，构建去模糊神经网络模型。该模型主要包括特征提取模块和特征重建模块，特征提取模块用于提取输入模糊图像特征和参考图像特征，并且用于这两个特征提取模块共享参数；特征重建模块用于将选择后的图像特征重建为潜在清晰图像。其中，如图2所示，特征提取模块有四层，每一层中包括三个Resblock(如图2所示Resblock)；同理，特征重建模块也包括四层，每一层中也包括三个Resblock。
步骤2，构造神经网络模型训练数据集和测试数据集。该方法为监督学习下的图像去模糊算法，因此需要大量的数据(实施例选自公开的GOPRO数据集)对去模糊神经网络模型监督训练。
对于去模糊神经网络模型的训练集，采用模糊图像与对应的真实清晰图像组成的图像对作为训练集，但在训练模型的时候，在模糊图像中随机裁剪模糊图像块(256×256)作为训练模糊图像块，在真实清晰图像中随机裁剪同样大小的清晰图像做为参考图像块，并且参考图像块与模糊图像块的坐标位置不对应，即两个图像块中内容不一样，每次训练迭代时，使用同样的方式随机裁剪模糊图像块和清晰图像块输入模型进行训练。
对模型的测试，测试集中的每一张模糊图像，随机的在该数据集中选一张与其结构相似的清晰的图像作为参考图像，如图2所示，形成模糊图像-参考图像对用于模型测试。
步骤3，特征提取。利用步骤1中构建的特征提取模块分别将模糊图像与参考图像从图像空间转化为特征空间，将输入模糊图像I和参考图像R通过特征提取模块分别提取模糊图像特征和参考图像特征，该特征图用于计算模糊图像与参考图像的相关性(图2相关性)，即模糊图像特征
Figure BDA0002918117190000031
和参考图像特征
Figure BDA0002918117190000032
的相关性，其中，参考图像特征提取步骤与模糊图像特征提取步骤共享参数。
步骤4，计算模糊图像特征与参考图像特征的相关性。即参考图像特征中每一个元素特征块(如图2所示特征块)在整个模糊图像特征中的相关性特征图。为了计算参考图像特征中每一个元素与整个模糊图像特征相关性，首先，将参考图像特征
Figure BDA0002918117190000041
大小改变为
Figure BDA0002918117190000042
保持输入模糊图像特征FI大小不变，然后计算参考图像特征每一个元素
Figure BDA0002918117190000043
与输入模糊图像特征FI的相关性：
Corrj＝Qj*FI (1)
其中，
Figure BDA0002918117190000044
表示参考图像特征中的一个元素与输入图像特征的相关性特征图。将该相关性计算过程应用于参考图像特征中的每一个元素，可以得到Hr×Wr个相关性特征图Corr，每一个相关性特征图的大小为H×W。
步骤5，对步骤4计算得到的相关性特征图进行排序。为了选择重要性的相关性特征图，需要对相关性特征图的排序，采用了两种方式即：
浅层神经网络(图2三层网络结构)学习输出重要性向量(图2所示重要性向量)和特征图的最大池化(Maxpool，如图2所示maxpool)。
其一：
对于神经网络学习的方式，将该Hr×Wr个相关性特征图
Figure BDA0002918117190000045
输入浅层的神经网络中,通过神经网络学习Hr×Wr个特征图的重要性向量SN，且该向量的大小为1×1，即排序后的大小为Hr×Wr×1×1，该过程表示为：
SN＝Nrank(Corr) (2)
其中，Nrank表示神经网络排序，Corr表示所有的相关性特征图。
其二：
为了加强重要性排序，另一种采用相关性特征图最大池化(maxpool)，同样地，将Hr×Wr个相关性特征图
Figure BDA0002918117190000046
使用核大小为H×W的最大池化，得到排序后的重要性向量SM，且该向量的大小为1×1，即排序后重要性向量维度为Hr×Wr×1×1，该过程表示为：
SM＝Mrank(Corr) (3)
其中，Mrank表示最大池化排序相关性特征图，
Figure BDA0002918117190000051
表示所有的相关性特征图。
将以上两种排序后的特征图向量相加(如图2所示，
Figure BDA0002918117190000052
相加)，加强重要性向量信息，该过程表示为；
S＝SN+SM (4)
其中，
Figure BDA0002918117190000053
表示合并后的重要性向量。
步骤6，特征图选择。已知重要性向量
Figure BDA0002918117190000054
和所有相关性特征图
Figure BDA0002918117190000055
基于重要性向量，选择固定数量的特征图Corrs，该过程表示为；
Corrs＝CH(Corr|S) (5)
其中，CH表示选择操作(图2所示选择)，Corrs表示根据重要性向量选择后的特征图。
步骤7，特征重建。将选择后的特征图进行特征重建(图2所示特征重建)，根据参考图像R选择重要性特征图Corrs后，该特征图用于重建潜在清晰图像，因此，将选择后的特征图输入特征重建，得到最终的潜在清晰图像ID。
步骤8，计算损失函数并计算梯度更新模型参数。计算重建后潜在清晰图像ID与真实清晰图像I的内容损失(l1 loss)和对抗损失，反向传播训练网络模型，模糊图像经过神经网络输出潜在清晰图像后，将潜在清晰图像与真实清晰图像计算内容损失和对抗损失，基于该损失计算模型梯度，更新模型参数，重新输入模糊图像与参考图像对模型重新训练。其中，
内容损失函数表示为：
Lcon＝|ID-I| (6)
其中，Lcon表示内容损失，ID，I分别表示去模糊图像与真实清晰图像。
对抗损失中，生成器损失LG和判别器损失LD分别表示为：
Figure BDA0002918117190000061
Figure BDA0002918117190000062
其中，Pg和Pr分别表示去模糊图像与模糊图像分布。xf和xr分别表示去模糊图像实例与模糊图像实例。其中，
Figure BDA0002918117190000063
和
Figure BDA0002918117190000064
分别表示为：
Figure BDA0002918117190000065
Figure BDA0002918117190000066
其中，C(·)表示判别器的logit输出。
进一步的：
步骤3中的特征提取分别对模糊图像与参考图像提取特征：
为了将图像空间转化为特征空间，使用编码器结构的模型分别对模糊图像和参考图像提取特征，分别将模糊图像和参考图像的图像空间转化为模糊特征和参考特征的特征空间。其中，将编码器结构提取的模糊图像特征和参考图像特征用于相关性计算。
步骤5中关于浅层神经网络学习特征图的重要性的排序方法为：
已知相关性特征图
Figure BDA0002918117190000067
输入浅层神经网络中，该浅层神经网络包括两个卷积层(Conv)和一个残差网络块(Resblock)，通过神经网络特征维度中大小的变化，相关性特征图Corr的大小从Hr×Wr×(H×W)变为Hr×Wr×(1×1)，其中，1×1表示特征向量的长和宽，Hr×Wr表示特征向量的通道数。
步骤7中特征重建用于将选择后的特征图进行特征重建实现图像去模糊方法：
为了将特征空间转化为图像空间，采用解码器结构的模型，选择后的特征图经过解码器生成潜在清晰图像。其中，解码器与编码器具有对称的结构。
加注1：
Figure BDA0002918117190000071
表示模糊图像特征的维度，其中C表示特征通道数，H表示特征的高度，W表示特征宽度。同理，对于参考图像特征
Figure BDA0002918117190000072
表示参考图像特征的维度，C表示特征的通道数，Hr表示参考图像特征的高度，Wr表示参考图像特征的宽度。
加注2：所述对抗损失，包括生成器损失和判别器损失，定义的公式(7)生成器损失和公式(8)判别器损失。

Claims (2)

1.一种基于参考图像的深度特征排序去模糊方法，特征是，参考图像中含有清晰的结构信息和丰富的细节信息，通过计算参考图像与输入模糊图像的相关性，即参考图像每个元素与输入模糊图像得到相似性特征图，根据浅层神经网络和最大池化分别对该特征图的重要性进行排序并选取重要的特征图作为特征重建的依据，最后，通过特征重建模块得到潜在清晰图像。
2.如权利要求1所述的一种基于参考图像的深度特征排序去模糊方法，特征是，包括：
步骤1，构建去模糊神经网络模型
该模型主要包括特征提取模块和特征重建模块，特征提取模块用于提取输入模糊图像特征和参考图像特征，并且用于这两个特征提取模块共享参数；特征重建模块用于将选择后的图像特征重建为潜在清晰图像；其中，特征提取模块有四层，每一层中包括三个Resblock，同理，特征重建模块也包括四层，每一层中也包括三个Rasblock；
步骤2，构造神经网络模型训练数据集和测试数据集
该方法为监督学习下的图像去模糊算法，对去模糊神经网络模型监督训练；
对于去模糊神经网络模型的训练集，采用模糊图像与对应的真实清晰图像组成的图像对作为训练集，在模糊图像中随机裁剪模糊图像块(256×256)作为训练模糊图像块，在真实清晰图像中随机裁剪同样大小的清晰图像做为参考图像块，并且参考图像块与模糊图像块的坐标位置不对应，即两个图像块中内容不一样，每次训练迭代时，使用同样的方式随机裁剪模糊图像块和清晰图像块输入模型进行训练；
对模型的测试，测试集中的每一张模糊图像，随机的在该数据集中选一张与其结构相似的清晰的图像作为参考图像，形成模糊图像-参考图像对用于模型测试；
步骤3，特征提取
利用步骤1中构建的特征提取模块分别将模糊图像与参考图像从图像空间转化为特征空间，将输入模糊图像I和参考图像R通过特征提取模块分别提取模糊图像特征和参考图像特征，该特征图用于计算模糊图像与参考图像的相关性，即模糊图像特征
Figure FDA0002918117180000024
和参考图像特征
Figure FDA0002918117180000021
的相关性，其中，参考图像特征提取步骤与模糊图像特征提取步骤共享参数；
步骤4，计算模糊图像特征与参考图像特征的相关性
参考图像特征中每一个元素特征块在整个模糊图像特征中的相关性特征图；为了计算参考图像特征中每一个元素与整个模糊图像特征相关性，首先，将参考图像特征
Figure FDA0002918117180000022
大小改变为
Figure FDA0002918117180000023
保持输入模糊图像特征FI大小不变，然后计算参考图像特征每一个元素
Figure FDA0002918117180000025
与输入模糊图像特征FI的相关性：
Corrj＝Qj*FI (1)
其中，
Figure FDA0002918117180000026
表示参考图像特征中的一个元素与输入图像特征的相关性特征图；将该相关性计算过程应用于参考图像特征中的每一个元素，得到Hr×Wr个相关性特征图Corr，每一个相关性特征图的大小为H×W；
步骤5，对步骤4计算得到的相关性特征图进行排序
为了选择重要性的相关性特征图，需要对相关性特征图的排序，采用了两种方式即：
浅层神经网络学习输出重要性向量和特征图的最大池化；
其一：
对于神经网络学习的方式，将该Hr×Wr个相关性特征图
Figure FDA0002918117180000027
输入浅层的神经网络中,通过神经网络学习Hr×Wr个特征图的重要性向量SN，且该向量的大小为1×1，即排序后的大小为Hr×Wr×1×1，该过程表示为：
SN＝Nrank(Corr) (2)
其中，Nrank表示神经网络排序，Corr表示所有的相关性特征图；
其二：
为了加强重要性排序，另一种采用相关性特征图最大池化(maxpool)，同样地，将Hr×Wr个相关性特征图
Figure FDA0002918117180000035
使用核大小为H×W的最大池化，得到排序后的重要性向量SM，且该向量的大小为1×1，即排序后重要性向量维度为Hr×Wr×1×1，该过程表示为：
SM＝Mrank(Corr) (3)
其中，Mrank表示最大池化排序相关性特征图，
Figure FDA0002918117180000031
表示所有的相关性特征图；
将以上两种排序后的特征图向量相加，加强重要性向量信息，该过程表示为；
S＝SN+SM (4)
其中，
Figure FDA0002918117180000032
表示合并后的重要性向量；
步骤6，特征图选择
已知重要性向量
Figure FDA0002918117180000033
和所有相关性特征图
Figure FDA0002918117180000034
基于重要性向量，选择固定数量的特征图Corrs，该过程表示为；
Corrs＝CH(Corr|S) (5)
其中，CH表示选择操作，Corrs表示根据重要性向量选择后的特征图；
步骤7，特征重建
将选择后的特征图进行特征重建，根据参考图像R选择重要性特征图Corrs后，该特征图用于重建潜在清晰图像，将选择后的特征图输入特征重建，得到最终的潜在清晰图像ID；
步骤8，计算损失函数并计算梯度更新模型参数
计算重建后潜在清晰图像ID与真实清晰图像I的内容损失(l1 loss)和对抗损失，反向传播训练网络模型，模糊图像经过神经网络输出潜在清晰图像后，将潜在清晰图像与真实清晰图像计算内容损失和对抗损失，基于该损失计算模型梯度，更新模型参数，重新输入模糊图像与参考图像对模型重新训练；其中，
内容损失函数表示为：
Lcon＝|ID-I| (6)
其中，Lcon表示内容损失，ID，I分别表示去模糊图像与真实清晰图像；
对抗损失中，生成器损失LG和判别器损失LD分别表示为：
Figure FDA0002918117180000041
Figure FDA0002918117180000042
其中，Pg和Pr分别表示去模糊图像与模糊图像分布；xf和xr分别表示去模糊图像实例与模糊图像实例；其中，
Figure FDA0002918117180000043
和
Figure FDA0002918117180000044
分别表示为：
Figure FDA0002918117180000045
Figure FDA0002918117180000046
其中，C(·)表示判别器的logit输出。
CN202110107628.1A 2021-01-27 2021-01-27 一种基于参考图像的深度特征排序去模糊方法 Active CN112767277B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110107628.1A CN112767277B (zh) 2021-01-27 2021-01-27 一种基于参考图像的深度特征排序去模糊方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110107628.1A CN112767277B (zh) 2021-01-27 2021-01-27 一种基于参考图像的深度特征排序去模糊方法

Publications (2)

Publication Number Publication Date
CN112767277A true CN112767277A (zh) 2021-05-07
CN112767277B CN112767277B (zh) 2022-06-07

Family

ID=75705925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110107628.1A Active CN112767277B (zh) 2021-01-27 2021-01-27 一种基于参考图像的深度特征排序去模糊方法

Country Status (1)

Country Link
CN (1) CN112767277B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023185693A1 (zh) * 2022-03-31 2023-10-05 华为技术有限公司 图像处理方法、相关装置和系统
WO2023185305A1 (zh) * 2022-03-31 2023-10-05 华为技术有限公司 编码方法、装置、存储介质及计算机程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150147047A1 (en) * 2013-11-27 2015-05-28 Adobe Systems Incorporated Simulating tracking shots from image sequences
CN110111288A (zh) * 2019-04-15 2019-08-09 电子科技大学 基于深度辅助学习的图像增强及盲图质量评价网络
CN110490822A (zh) * 2019-08-11 2019-11-22 浙江大学 图像去运动模糊的方法和装置
CN110910330A (zh) * 2019-11-29 2020-03-24 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备和可读存储介质
CN111028177A (zh) * 2019-12-12 2020-04-17 武汉大学 一种基于边缘的深度学习图像去运动模糊方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150147047A1 (en) * 2013-11-27 2015-05-28 Adobe Systems Incorporated Simulating tracking shots from image sequences
CN110111288A (zh) * 2019-04-15 2019-08-09 电子科技大学 基于深度辅助学习的图像增强及盲图质量评价网络
CN110490822A (zh) * 2019-08-11 2019-11-22 浙江大学 图像去运动模糊的方法和装置
CN110910330A (zh) * 2019-11-29 2020-03-24 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备和可读存储介质
CN111028177A (zh) * 2019-12-12 2020-04-17 武汉大学 一种基于边缘的深度学习图像去运动模糊方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHIM G ET AL: ""Robust reference-based superresolution with similarity-aware deformable convolution"", 《CVPR》 *
ZHENG H ET AL: "" CrossNet: An end-to-end reference-based super resolution network using cross-scale warping"", 《ECCV》 *
刘平等: "残差分离卷积神经网络的图像去运动模糊技术", 《计算机与数字工程》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023185693A1 (zh) * 2022-03-31 2023-10-05 华为技术有限公司 图像处理方法、相关装置和系统
WO2023185305A1 (zh) * 2022-03-31 2023-10-05 华为技术有限公司 编码方法、装置、存储介质及计算机程序产品

Also Published As

Publication number Publication date
CN112767277B (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
CN110992275B (zh) 一种基于生成对抗网络的细化单幅图像去雨方法
CN108875935B (zh) 基于生成对抗网络的自然图像目标材质视觉特征映射方法
JP6395158B2 (ja) シーンの取得画像を意味的にラベル付けする方法
JP2020187721A (ja) 画像セグメンテーション方法、装置およびコンピュータプログラム
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN109558806A (zh) 高分遥感图像变化的检测方法和系统
CN113313173B (zh) 基于图表示和改进Transformer的人体解析方法
CN113962878B (zh) 一种低能见度图像去雾模型方法
CN112767277B (zh) 一种基于参考图像的深度特征排序去模糊方法
CN113870124B (zh) 基于弱监督的双网络互激励学习阴影去除方法
CN113988147B (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
CN110852199A (zh) 一种基于双帧编码解码模型的前景提取方法
He et al. Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks
CN117114984A (zh) 基于生成对抗网络的遥感图像超分辨率重建方法
CN114723630A (zh) 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
CN116630625A (zh) 一种基于双图推理的变电设备渗漏油分割方法
CN116740362A (zh) 一种基于注意力的轻量化非对称场景语义分割方法及系统
CN114022371B (zh) 基于空间和通道注意力残差网络的去雾装置及其去雾方法
CN112836755B (zh) 基于深度学习的样本图像生成方法及其系统
Zhou et al. Multi-scale network toward real-world image denoising
CN117253184B (zh) 一种雾先验频域注意表征引导的雾天图像人群计数方法
CN117036171A (zh) 单幅图像的蓝图可分离残差平衡蒸馏超分辨率重建模型及方法
CN109064430B (zh) 一种针对航拍区域含云图的除云方法和系统
CN116452900A (zh) 一种基于轻量级神经网络的目标检测方法
Zhu et al. HDRD-Net: High-resolution detail-recovering image deraining network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant