CN112767277B - 一种基于参考图像的深度特征排序去模糊方法 - Google Patents
一种基于参考图像的深度特征排序去模糊方法 Download PDFInfo
- Publication number
- CN112767277B CN112767277B CN202110107628.1A CN202110107628A CN112767277B CN 112767277 B CN112767277 B CN 112767277B CN 202110107628 A CN202110107628 A CN 202110107628A CN 112767277 B CN112767277 B CN 112767277B
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- reference image
- blurred
- correlation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012163 sequencing technique Methods 0.000 title abstract description 5
- 238000013528 artificial neural network Methods 0.000 claims abstract description 20
- 238000011176 pooling Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 239000000126 substance Substances 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 2
- 230000036039 immunity Effects 0.000 claims description 2
- 230000000644 propagated effect Effects 0.000 claims 1
- 230000000007 visual effect Effects 0.000 description 4
- 230000003042 antagnostic effect Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于参考图像的深度特征排序去模糊方法。现有去模糊方法只应用于模糊图像，难以恢复结构及细节信息，本发明引入参考图像，利用参考图像中清晰的结构信息和丰富的细节信息辅助于去模糊过程得到潜在清晰图像。首先，将模糊图像和参考图像转变为对应特征空间的特征图，并计算参考图像特征中每一个元素与模糊图像特征的相关性；然后，该相关性特征图分别通过浅层神经网络与最大池化，对相关性特征图排序，其中，排序在前的特征图表示参考图像与模糊图像相关性强，反之亦然；最后，将排序后的特征图选取固定数量的特征图用于特征重建并将特征空间的特征图转化为图像空间的图像，得到潜在清晰图像。
Description
技术领域
本发明属于低水平视觉图像处理领域，尤其涉及一种基于参考图像的深度特征排序去模糊方法。
背景技术
随着智能设备(如：智能手机、监控设备等等)的普及和物联网的兴起，图像的获取方式愈发方便，而图像作为日常生活中重要的信息媒介，在成像设备获取图像过程中会受到各种干扰因素的影响，例如相机的抖动、图像中运动的物体、夜间灯光的作用以及各种复合因素形成的模糊图像，该模糊图像对人们的日常生活产生不利影响，因此，恢复潜在清晰边缘结构和丰富真实细节的图像是亟待解决的问题。
根据模糊的类型可以将模糊分为均匀模糊和非均匀模糊。日常生活中我们拍摄的模糊图像多为非均匀模糊，即模糊图像中模糊核不一致。将该图像模糊过程表示为：
B＝k*I+n
其中B表示模糊图像，k表示模糊核或点扩散函数，I表示潜在清晰图像，*表示卷积操作，n表示噪声。
研究者对该经典的复原问题做了大量的研究，并取得了显著成果。根据模糊核是否已知，可以将图像去模糊分为两种：非盲图像去模糊和盲图像去模糊。非盲图像去模糊是先通过某种技术得到模糊核，然后基于该模糊核反卷积得到潜在清晰图像。盲图像去模糊指模糊核未知的情况下，仅利用模糊图像得到潜在清晰图像与模糊核。早期对该问题的研究主要对潜在清晰图像和模糊核施加先验知识，并基于最大后验复原潜在清晰图像，该先验知识包括全变分、暗通道先验、L0范式梯度等等；随着深度学习的快速发展，基于深度神经网络以端到端的方式复原潜在清晰图像，并取得了最先进的去模糊视觉效果。
发明内容
本发明提出了一种基于参考图像的模糊图像复原方法广泛应用于低水平视觉任务中，例如超分辨率，借助参考图像的清晰结构信息辅助模糊图像的复原。然而，现有的基于参考图像的复原方法不能直接应用于图像去模糊，即模糊图像形成过程与其他低水平视觉图像的形成过程不同。基于此，需要设计一种新的基于参考图像的图像去模糊方法。
技术方案：
一种基于参考图像的深度特征排序去模糊方法，特征是，参考图像中含有清晰的结构信息和丰富的细节信息，通过计算参考图像与输入模糊图像的相关性，即参考图像每个元素与输入模糊图像得到相似性特征图，根据浅层神经网络和最大池化分别对该特征图的重要性进行排序并选取重要的特征图作为特征重建的依据，最后，通过特征重建模块得到潜在清晰图像。
附图说明
图1是实施例提供的基于参考图像的深度特征排序去模糊方法流程图。
图2实施例生成器网络结构示意图。
具体实施方式
本发明提出了一种基于参考图像的深度特征排序去模糊方法，参考图像中含有清晰的结构信息和丰富的细节信息，通过计算参考图像与输入模糊图像的相关性，即参考图像每个元素与输入模糊图像得到相似性特征图，根据浅层神经网络和最大池化分别对该特征图的重要性进行排序并选取重要的特征图作为特征重建的依据，最后，通过特征重建模块得到潜在清晰图像。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步信息说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面结合附图对本发明的应用原理做详细描述。
实施例
如图所示，本发明实施例提供的基于参考图像的深度特征排序去模糊方法包括如下步骤：
步骤1，构建去模糊神经网络模型。该模型主要包括特征提取模块和特征重建模块，特征提取模块用于提取输入模糊图像特征和参考图像特征，并且用于这两个特征提取模块共享参数；特征重建模块用于将选择后的图像特征重建为潜在清晰图像。其中，如图2所示，特征提取模块有四层，每一层中包括三个Resblock(如图2所示Resblock)；同理，特征重建模块也包括四层，每一层中也包括三个Resblock。
步骤2，构造神经网络模型训练数据集和测试数据集。该方法为监督学习下的图像去模糊算法，因此需要大量的数据(实施例选自公开的GOPRO数据集)对去模糊神经网络模型监督训练。
对于去模糊神经网络模型的训练集，采用模糊图像与对应的真实清晰图像组成的图像对作为训练集，但在训练模型的时候，在模糊图像中随机裁剪模糊图像块(256×256)作为训练模糊图像块，在真实清晰图像中随机裁剪同样大小的清晰图像做为参考图像块，并且参考图像块与模糊图像块的坐标位置不对应，即两个图像块中内容不一样，每次训练迭代时，使用同样的方式随机裁剪模糊图像块和清晰图像块输入模型进行训练。
对模型的测试，测试集中的每一张模糊图像，随机的在该数据集中选一张与其结构相似的清晰的图像作为参考图像，如图2所示，形成模糊图像-参考图像对用于模型测试。
步骤3，特征提取。利用步骤1中构建的特征提取模块分别将模糊图像与参考图像从图像空间转化为特征空间，将输入模糊图像I和参考图像R通过特征提取模块分别提取模糊图像特征和参考图像特征，该特征图用于计算模糊图像与参考图像的相关性(图2相关性)，即模糊图像特征
和参考图像特征
的相关性，其中，参考图像特征提取步骤与模糊图像特征提取步骤共享参数。
步骤4，计算模糊图像特征与参考图像特征的相关性。即参考图像特征中每一个元素特征块(如图2所示特征块)在整个模糊图像特征中的相关性特征图。为了计算参考图像特征中每一个元素与整个模糊图像特征相关性，首先，将参考图像特征
大小改变为
保持输入模糊图像特征FI大小不变，然后计算参考图像特征每一个元素
与输入模糊图像特征FI的相关性：
Corrj＝Qj*FI (1)
其中，
表示参考图像特征中的一个元素与输入图像特征的相关性特征图。将该相关性计算过程应用于参考图像特征中的每一个元素，可以得到Hr×Wr个相关性特征图Corr，每一个相关性特征图的大小为H×W。
步骤5，对步骤4计算得到的相关性特征图进行排序。为了选择重要性的相关性特征图，需要对相关性特征图的排序，采用了两种方式即：
浅层神经网络(图2三层网络结构)学习输出重要性向量(图2所示重要性向量)和特征图的最大池化(Maxpool，如图2所示maxpool)。
其一：
对于神经网络学习的方式，将该Hr×Wr个相关性特征图
输入浅层的神经网络中,通过神经网络学习Hr×Wr个特征图的重要性向量SN，且该向量的大小为1×1，即排序后的大小为Hr×Wr×1×1，该过程表示为：
SN＝Nrank(Corr) (2)
其中，Nrank表示神经网络排序，Corr表示所有的相关性特征图。
其二：
为了加强重要性排序，另一种采用相关性特征图最大池化(maxpool)，同样地，将Hr×Wr个相关性特征图
使用核大小为H×W的最大池化，得到排序后的重要性向量SM，且该向量的大小为1×1，即排序后重要性向量维度为Hr×Wr×1×1，该过程表示为：
SM＝Mrank(Corr) (3)
其中，Mrank表示最大池化排序相关性特征图，
表示所有的相关性特征图。
将以上两种排序后的特征图向量相加(如图2所示，
相加)，加强重要性向量信息，该过程表示为；
S＝SN+SM (4)
其中，
表示合并后的重要性向量。
步骤6，特征图选择。已知重要性向量
和所有相关性特征图
基于重要性向量，选择固定数量的特征图Corrs，该过程表示为；
Corrs＝CH(Corr|S) (5)
其中，CH表示选择操作(图2所示选择)，Corrs表示根据重要性向量选择后的特征图。
步骤7，特征重建。将选择后的特征图进行特征重建(图2所示特征重建)，根据参考图像R选择重要性特征图Corrs后，该特征图用于重建潜在清晰图像，因此，将选择后的特征图输入特征重建，得到最终的潜在清晰图像ID。
步骤8，计算损失函数并计算梯度更新模型参数。计算重建后潜在清晰图像ID与真实清晰图像I的内容损失(l1 loss)和对抗损失，反向传播训练网络模型，模糊图像经过神经网络输出潜在清晰图像后，将潜在清晰图像与真实清晰图像计算内容损失和对抗损失，基于该损失计算模型梯度，更新模型参数，重新输入模糊图像与参考图像对模型重新训练。其中，
内容损失函数表示为：
Lcon＝|ID-I| (6)
其中，Lcon表示内容损失，ID，I分别表示去模糊图像与真实清晰图像。
对抗损失中，生成器损失LG和判别器损失LD分别表示为：
其中，Pg和Pr分别表示去模糊图像与模糊图像分布。xf和xr分别表示去模糊图像实例与模糊图像实例。其中，
和
分别表示为：
其中，C(·)表示判别器的logit输出。
进一步的：
步骤3中的特征提取分别对模糊图像与参考图像提取特征：
为了将图像空间转化为特征空间，使用编码器结构的模型分别对模糊图像和参考图像提取特征，分别将模糊图像和参考图像的图像空间转化为模糊特征和参考特征的特征空间。其中，将编码器结构提取的模糊图像特征和参考图像特征用于相关性计算。
步骤5中关于浅层神经网络学习特征图的重要性的排序方法为：
已知相关性特征图
输入浅层神经网络中，该浅层神经网络包括两个卷积层(Conv)和一个残差网络块(Resblock)，通过神经网络特征维度中大小的变化，相关性特征图Corr的大小从Hr×Wr×(H×W)变为Hr×Wr×(1×1)，其中，1×1表示特征向量的长和宽，Hr×Wr表示特征向量的通道数。
步骤7中特征重建用于将选择后的特征图进行特征重建实现图像去模糊方法：
为了将特征空间转化为图像空间，采用解码器结构的模型，选择后的特征图经过解码器生成潜在清晰图像。其中，解码器与编码器具有对称的结构。
加注1：
表示模糊图像特征的维度，其中C表示特征通道数，H表示特征的高度，W表示特征宽度。同理，对于参考图像特征
表示参考图像特征的维度，C表示特征的通道数，Hr表示参考图像特征的高度，Wr表示参考图像特征的宽度。
加注2：所述对抗损失，包括生成器损失和判别器损失，定义的公式(7)生成器损失和公式(8)判别器损失。
Claims (2)
1.一种基于参考图像的深度特征排序去模糊方法，特征是，参考图像中含有清晰的结构信息和丰富的细节信息，通过计算参考图像与输入模糊图像的相关性，即参考图像每个元素与输入模糊图像得到相似性特征图，根据浅层神经网络和最大池化分别对该特征图的重要性进行排序并选取重要的特征图作为特征重建的依据，最后，通过特征重建模块得到潜在清晰图像；
为了计算参考图像特征中每一个元素与整个模糊图像特征相关性，首先，将参考图像特征
大小改变为
保持输入模糊图像特征FI大小不变，然后计算参考图像特征每一个元素
与输入模糊图像特征FI的相关性：
Corrj＝Qj*FI (1)
其中，
表示参考图像特征中的一个元素与输入图像特征的相关性特征图；将该相关性计算过程应用于参考图像特征中的每一个元素，得到Hr×Wr个相关性特征图Corr，每一个相关性特征图的大小为H×W；
为了选择重要性的相关性特征图，需要对相关性特征图的排序，采用了两种方式即：
浅层神经网络学习输出重要性向量和特征图的最大池化；
其一：
对于神经网络学习的方式，将该Hr×Wr个相关性特征图
输入浅层的神经网络中,通过神经网络学习Hr×Wr个特征图的重要性向量SN，且该向量的大小为1×1，即排序后的大小为Hr×Wr×1×1，该过程表示为：
SN＝Nrank(Corr) (2)
其中，Nrank表示神经网络排序，Corr表示所有的相关性特征图；
其二：
为了加强重要性排序，另一种采用相关性特征图最大池化maxpool，同样地，将Hr×Wr个相关性特征图
使用核大小为H×W的最大池化，得到排序后的重要性向量SM，且该向量的大小为1×1，即排序后重要性向量维度为Hr×Wr×1×1，该过程表示为：
SM＝Mrank(Corr) (3)
其中，Mrank表示最大池化排序相关性特征图，
表示所有的相关性特征图；
将以上两种排序后的特征图向量相加，加强重要性向量信息，该过程表示为；
S＝SN+SM (4)
其中，
表示合并后的重要性向量。
2.如权利要求1所述的一种基于参考图像的深度特征排序去模糊方法，特征是，包括：
步骤1，构建去模糊神经网络模型
该模型主要包括特征提取模块和特征重建模块，特征提取模块用于提取输入模糊图像特征和参考图像特征，并且用于这两个特征提取模块共享参数；特征重建模块用于将选择后的图像特征重建为潜在清晰图像；其中，特征提取模块有四层，每一层中包括三个Resblock，同理，特征重建模块也包括四层，每一层中也包括三个Resblock；
步骤2，构造神经网络模型训练数据集和测试数据集
该方法为监督学习下的图像去模糊算法，对去模糊神经网络模型监督训练；
对于去模糊神经网络模型的训练集，采用模糊图像与对应的真实清晰图像组成的图像对作为训练集，在模糊图像中随机裁剪模糊图像块256×256作为训练模糊图像块，在真实清晰图像中随机裁剪同样大小的清晰图像做为参考图像块，并且参考图像块与模糊图像块的坐标位置不对应，即两个图像块中内容不一样，每次训练迭代时，使用同样的方式随机裁剪模糊图像块和清晰图像块输入模型进行训练；
对模型的测试，测试集中的每一张模糊图像，随机的在该数据集中选一张与其结构相似的清晰的图像作为参考图像，形成模糊图像-参考图像对用于模型测试；
步骤3，特征提取
利用步骤1中构建的特征提取模块分别将模糊图像与参考图像从图像空间转化为特征空间，将输入模糊图像I和参考图像R通过特征提取模块分别提取模糊图像特征和参考图像特征，该特征图用于计算模糊图像与参考图像的相关性，即模糊图像特征
和参考图像特征
的相关性，其中，参考图像特征提取步骤与模糊图像特征提取步骤共享参数；
步骤4，计算模糊图像特征与参考图像特征的相关性
步骤5，对步骤4计算得到的相关性特征图进行排序
步骤6，特征图选择
已知重要性向量
和所有相关性特征图
基于重要性向量，选择固定数量的特征图Corrs，该过程表示为；
Corrs＝CH(Corr|S) (5)
其中，CH表示选择操作，Corrs表示根据重要性向量选择后的特征图；
步骤7，特征重建
将选择后的特征图进行特征重建，根据参考图像R选择重要性特征图Corrs后，该特征图用于重建潜在清晰图像，将选择后的特征图输入特征重建，得到最终的潜在清晰图像ID；
步骤8，计算损失函数并计算梯度更新模型参数
计算重建后潜在清晰图像ID与真实清晰图像I的内容损失l1 loss和对抗损失，反向传播训练网络模型，模糊图像经过神经网络输出潜在清晰图像后，将潜在清晰图像与真实清晰图像计算内容损失和对抗损失，基于该损失计算模型梯度，更新模型参数，重新输入模糊图像与参考图像对模型重新训练；其中，
内容损失函数表示为：
Lcon＝|ID-I| (6)
其中，Lcon表示内容损失，ID，I分别表示去模糊图像与真实清晰图像；
对抗损失中，生成器损失LG和判别器损失LD分别表示为：
其中，Pg和Pr分别表示去模糊图像与模糊图像分布；xf和xr分别表示去模糊图像实例与模糊图像实例；其中，
和
分别表示为：
其中，C(·)表示判别器的logit输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110107628.1A CN112767277B (zh) | 2021-01-27 | 2021-01-27 | 一种基于参考图像的深度特征排序去模糊方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110107628.1A CN112767277B (zh) | 2021-01-27 | 2021-01-27 | 一种基于参考图像的深度特征排序去模糊方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112767277A CN112767277A (zh) | 2021-05-07 |
| CN112767277B true CN112767277B (zh) | 2022-06-07 |
Family
ID=75705925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110107628.1A Active CN112767277B (zh) | 2021-01-27 | 2021-01-27 | 一种基于参考图像的深度特征排序去模糊方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112767277B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114841870A (zh) * | 2022-03-31 | 2022-08-02 | 华为技术有限公司 | 图像处理方法、相关装置和系统 |
| CN116962715A (zh) * | 2022-03-31 | 2023-10-27 | 华为技术有限公司 | 编码方法、装置、存储介质及计算机程序产品 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110111288A (zh) * | 2019-04-15 | 2019-08-09 | 电子科技大学 | 基于深度辅助学习的图像增强及盲图质量评价网络 |
| CN110490822A (zh) * | 2019-08-11 | 2019-11-22 | 浙江大学 | 图像去运动模糊的方法和装置 |
| CN110910330A (zh) * | 2019-11-29 | 2020-03-24 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、电子设备和可读存储介质 |
| CN111028177A (zh) * | 2019-12-12 | 2020-04-17 | 武汉大学 | 一种基于边缘的深度学习图像去运动模糊方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9253415B2 (en) * | 2013-11-27 | 2016-02-02 | Adobe Systems Incorporated | Simulating tracking shots from image sequences |
-
2021
- 2021-01-27 CN CN202110107628.1A patent/CN112767277B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110111288A (zh) * | 2019-04-15 | 2019-08-09 | 电子科技大学 | 基于深度辅助学习的图像增强及盲图质量评价网络 |
| CN110490822A (zh) * | 2019-08-11 | 2019-11-22 | 浙江大学 | 图像去运动模糊的方法和装置 |
| CN110910330A (zh) * | 2019-11-29 | 2020-03-24 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、电子设备和可读存储介质 |
| CN111028177A (zh) * | 2019-12-12 | 2020-04-17 | 武汉大学 | 一种基于边缘的深度学习图像去运动模糊方法 |
Non-Patent Citations (3)
| Title |
|---|
| " CrossNet: An end-to-end reference-based super resolution network using cross-scale warping";Zheng H et al;《ECCV》;20181231;全文 * |
| "Robust reference-based superresolution with similarity-aware deformable convolution";Shim G et al;《CVPR》;20201231;全文 * |
| 残差分离卷积神经网络的图像去运动模糊技术;刘平等;《计算机与数字工程》;20200820(第08期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112767277A (zh) | 2021-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110992275B (zh) | 一种基于生成对抗网络的细化单幅图像去雨方法 | |
| JP6890345B2 (ja) | 画像セグメンテーション方法、装置およびコンピュータプログラム | |
| CN108537746B (zh) | 一种基于深度卷积网络的模糊可变图像盲复原方法 | |
| Remez et al. | Deep convolutional denoising of low-light images | |
| JP6395158B2 (ja) | シーンの取得画像を意味的にラベル付けする方法 | |
| CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
| CN112767277B (zh) | 一种基于参考图像的深度特征排序去模糊方法 | |
| CN113313173B (zh) | 基于图表示和改进Transformer的人体解析方法 | |
| CN113870124B (zh) | 基于弱监督的双网络互激励学习阴影去除方法 | |
| CN113988147B (zh) | 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置 | |
| CN114048822A (zh) | 一种图像的注意力机制特征融合分割方法 | |
| CN116152591B (zh) | 模型训练方法、红外小目标检测方法、装置及电子设备 | |
| He et al. | Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks | |
| CN110852199A (zh) | 一种基于双帧编码解码模型的前景提取方法 | |
| CN114723630A (zh) | 基于空洞双残差多尺度深度网络的图像去模糊方法及系统 | |
| CN113962878B (zh) | 一种低能见度图像去雾模型方法 | |
| CN112836755B (zh) | 基于深度学习的样本图像生成方法及其系统 | |
| Zhou et al. | Multi-scale network toward real-world image denoising | |
| CN117350927A (zh) | 一种基于深度学习的图像去雨方法 | |
| CN114022371B (zh) | 基于空间和通道注意力残差网络的去雾装置及其去雾方法 | |
| Su et al. | Recurrent network knowledge distillation for image rain removal | |
| Zhu et al. | HDRD-Net: High-resolution detail-recovering image deraining network | |
| CN114331894A (zh) | 一种基于潜在特征重构和掩模感知的人脸图像修复方法 | |
| CN113012072A (zh) | 一种基于注意力网络的图像运动去模糊方法 | |
| Guo et al. | A Novel Denoising Approach Based on Improved Invertible Neural Networks for Real-Time Conveyor Belt Monitoring |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |