CN114066750A - 一种基于域变换的自编码器去模糊方法 - Google Patents
一种基于域变换的自编码器去模糊方法 Download PDFInfo
- Publication number
- CN114066750A CN114066750A CN202111231774.1A CN202111231774A CN114066750A CN 114066750 A CN114066750 A CN 114066750A CN 202111231774 A CN202111231774 A CN 202111231774A CN 114066750 A CN114066750 A CN 114066750A
- Authority
- CN
- China
- Prior art keywords
- image
- domain
- self
- feature
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000009466 transformation Effects 0.000 title claims abstract description 6
- 238000006243 chemical reaction Methods 0.000 claims abstract description 44
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 239000013598 vector Substances 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 48
- 238000012360 testing method Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于域变换的自编码器去模糊方法，首先构建特征域提取模块，包括两个结构相同的自编码器网络，提取表征模糊图像和清晰图像的关键域信息的特征向量；然后构建由高阶ResNets融合模块和可变形卷积依次构成特征域转换模块，实现模糊域到清晰域的转换，输出清晰图像。本发明方法能够动态且高效地实现动态场景去模糊的效果，在降低模型求解难度的同时，提高图像去模糊的精度。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种自编码器去模糊方法。
背景技术
数字化成像设备的普及使得数据的获取变得简单快捷，图像数据的智能理解正在改变着人们的生活方式。然而，在日益丰富的移动场景中，摄像机镜头或场景物体的运动会导致图像产生不同程度的模糊，极大地降低了图像的质量。作为视觉任务的前端输入，运动模糊会造成图像中目标结构和细节纹理信息的丢失，严重地影响着目标检测、语义分割、文本识别等后续基础视觉任务的处理性能，进而阻碍自动驾驶、遥感侦察、场景理解等技术的应用落地。因此，研究去模糊算法以提升所采集到的模糊图像或视频质量变得非常重要。但是当前主流的去模糊方法存在效率低下、容易出现人造伪影，或是模型较大、运行较慢，且对数据集自身特性的依赖度较高等问题。如何平衡计算量和有效性之间的矛盾，降低数据集对模型的影响，成为动态场景中图像去模糊的重要课题。目前，按照求解方式的不同，可以将相关工作分为以下两类：
第一类是基于模型的传统方法，主要包括非盲去模糊和盲去模糊两种算法。非盲指的是已知模糊核：一种是将观测模糊图像从空间域转换为频域后进行反卷积操作，再通过傅里叶反变换得到空间域的复原图像；另一种则是基于贝叶斯理论，直接在空间域进行迭代求解。而盲去模糊算法的求解过程是建模一个最大后验概率模型，通过在模型中加入对清晰图像和模糊核的手工定义先验，比如相机在成像积分过程中所形成的图像透明度先验、基于模糊图像固有的暗通道稀疏性质的暗通道先验、基于概率统计的重尾分布先验、全变分模型、显式边缘预测、长短时曝光、局部最大梯度先验等，来约束解空间，并加速求解过程。这些算法主要关注于模糊核的估计，只要估计出点扩散函数，就可使用传统的非盲去卷积算法进行求解。随着深度神经网络在2012年再次引发热潮，有研究者立足于前人在先验估计方面的工作，提出依靠深度学习框架在小块区域，甚至像素级上，局部估计运动模糊先验，再根据所估计出的运动模糊核进行传统的非盲去卷积运算，以复原出清晰图像。比如Sun等人在论文“J.Sun,W.Cao,Z.Xu,and J.Ponce,Learning a convolutional neuralnetwork for non-uniform motion blur removal.CVPR,pp.769-777,2015”中提出通过建立模糊核候选集合来近似非线性运动模糊的算法，Gong等人在论文“D.Gong,J.Yang,L.Liu,Y.Zhang,and I.Reid,From motion blur to motion flow:a deep learningsolution for removing heterogeneous motion blur.CVPR,pp.2319-2328,2017”中提出基于全卷积深度神经网络的端到端运动流图估计算法等。这种方法只能估计局部线性的、小范围的模糊，而非真实的模糊运动轨迹，很难处理存在较大幅度运动模糊的图像。另外，局部像素大小的选择也会显著影响运行时间和计算内存。
第二类是基于数据的深度学习方法，不用直接地去估计显式模糊核，而是通过输入大量的模糊-清晰图像对来训练参数，并最终得到一个端到端的网络。比如Nah等人在论文“S.Nah,T.Kim,and M.Lee,Deep multi-scale convolutional neural network fordynamic scene deblurring,CVPR,pp.3883-3891,2017”中基于卷积神经网络和生成对抗网络提出的多尺度deep CNN算法，将原始模糊图像通过下采样得到尺度更小的图片，每一级的输出都经由类似于上采样的“上卷积层”来分享低频信息，学习合适的特征以减少冗余。并联合“由粗到细”的多尺度内容损失和对抗性损失来训练模型，大大增加了收敛性。然而该算法“多尺度逐级优化、各尺度参数独立”的特点，也导致了参数量较大、运行时间较长的问题。此外，深度学习模型是由数据驱动的，数据的数量和分布对模型训练的结果起到了决定性作用。这类方法普遍存在依赖训练所用数据集的情况，当输入其他类型的模糊图像时，效果通常无法令人满意，模型的鲁棒性较差。
发明内容
为了克服现有技术的不足，本发明提供了一种基于域变换的自编码器去模糊方法，首先构建特征域提取模块，包括两个结构相同的自编码器网络，提取表征模糊图像和清晰图像的关键域信息的特征向量；然后构建由高阶ResNets融合模块和可变形卷积依次构成特征域转换模块，实现模糊域到清晰域的转换，输出清晰图像。本发明方法能够动态且高效地实现动态场景去模糊的效果，在降低模型求解难度的同时，提高图像去模糊的精度。
本发明解决其技术问题所采用的技术方案包括如下步骤：
步骤1：从图像库中随机抽取模糊-清晰图像对，再将抽取的图像剪裁为多幅256×256像素的图像，然后将裁剪后的图像随机进行旋转，生成训练集和测试集；
步骤2：构建特征域提取模块，提取特征向量；
步骤2-1：所述特征域提取模块包括两个结构相同的自编码器网络，分别为第一自编码器网络和第二自编码器网络；
步骤2-2：将训练集中的模糊图像输入第一自编码器网络中，训练第一自编码器网络，使第一自编码器网络的输出与输入的差异最小；得到表征模糊图像的关键域信息的特征向量；
步骤2-3：将训练集中的清晰图像输入第二自编码器网络中，训练第二自编码器网络，使第二自编码器网络的输出与输入的差异最小；得到表征清晰图像的关键域信息的特征向量；
步骤3：构建特征域转换模块，实现模糊域到清晰域的转换；
步骤3-1：所述特征域转换模块由高阶ResNets融合模块和可变形卷积依次构成；
步骤3-2：将表征模糊图像的关键域信息的特征向量输入特征域转换模块，以表征清晰图像的关键域信息的特征向量为标签对特征域转换模块进行训练；
步骤3-3：训练完成的特征域转换模块输出隐含清晰特征，再经由第二自编码器网络中的解码器将图像清晰化，最终得到隐含清晰图像；
步骤4：特征域提取模块和特征域转换模块构成去模糊网络；将待处理模糊图像输入去模糊网络，输出待处理模糊图像对应的清晰图像。
进一步地，所述特征域提取模块中两个自编码器网络的损失函数采用均方误差。
进一步地，所述特征域转换模块的训练采用如下方法：
步骤5：采用样本级的自步学习对特征域转换模块进行训练；
步骤5-1：计算结构相似性指标S：
S＝SSIM(Iblur,Isharp)
其中，SSIM(.)表示结构相似性计算公式，Iblur表示输入的模糊图像，Isharp表示输入的清晰图像，两者是成对图像；
结构相似性指标S与输入的模糊图像的模糊度成负相关；在训练时，先按照结构相似性指标S值由大到小选取样本，随着迭代次数的增加，再随机选取样本，直至遍历所有样本；
步骤5-2：权重更新公式形如钟形曲线：
其中γ是一个非负常数，表示权重w能够得到的最大值；μ为SSIM的上界，即1；δ表示随训练迭代次数的增加而线性变化的变量：
δ＝α·epoch+β
其中，α和β分别控制钟形曲线的增长率和初值，epoch表示模型训练迭代次数；
步骤6：特征域转换模块的损失函数；
所述特征域转换模块的损失函数包括图像级损失函数和特征级损失函数；
所述图像级损失函数
由均方误差MSE和绝对值误差，即L1范数组成：
其中，
所述特征级损失函数
是先计算均方误差MSE的和，再除以一个比例系数进行缩放；特征域转换模块总的损失函数为：
其中，σ为系数，θ＝103·σ。
优选地，所述γ＝2，α＝0.2，β＝0.1，σ＝0.001。
本发明的有益效果如下：
1、本发明方法既不显式地估计模糊核，也不整张或分片地直接处理高维的模糊图像本身，而是通过损失引导学习关键低维特征信息，以有效表征模糊和清晰图像之间的差异，在降低模型求解难度的同时，提高图像去模糊的精度。
2、本发明设计了一个自定义损失函数作为训练约束，同时考虑数据集自身特性，引入样本级自步学习机制，逐步增加模型训练难度，引导其实现更为快速而有效的收敛，提高系统泛化性能和鲁棒性。
3、本发明方法建立了一个用于动态场景下图像去模糊问题的端到端的轻量化模型，能够较好地平衡计算量和有效性之间的矛盾，能够实时地对图像进行去模糊处理。
附图说明
图1为本发明方法流程图；
图2为本发明方法整体架构图；
图3为本发明方法特征域提取模块示意图；
图4为本发明方法特征域转换模块示意图。
图5为本发明实施例去模糊结果的示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
为了解决现有模型占用较大计算资源和内存空间，且对数据集自身特性的依赖度较高等问题，本发明提出了一种基于域变换的自编码器去模糊方法，主要设计了特征域提取模块和基于可变性卷积的特征域转换模块，并基于以上模块构建轻量级端到端去模糊网络。该方法的主要思想是：一方面，模糊图像和清晰图像在形状、颜色和位置上是严格对等的，缺少的只是纹理特征信息。因此，可以提取出表征模糊域和清晰域各自的关键特征映射，并搭建一个特征域之间的转换模块，来替代原始的由普通卷积层组成的特征提取网络，则可以在兼顾图像信息的同时，利用低维空间特征指导模型的训练；另一方面，针对动态场景中模糊核大小和方向各异的情况，引入可变性卷积，设计能够灵活地自适应特征形变的转换模块。使用本发明的方法，能够动态且高效地实现动态场景去模糊的效果，并且由于模型尺寸小、计算量少，有望能够方便地移植到手机等嵌入式平台中。
如图1和图2所示，一种基于域变换的自编码器去模糊方法，包括如下步骤：
步骤1：图像库中随机抽取模糊-清晰图像对，原始图像为720P，再将抽取的图像剪裁为多幅256×256像素的图像，然后将裁剪后的图像随机进行旋转，生成训练集和测试集；
步骤2：如图3所示，构建特征域提取模块，提取特征向量；
步骤2-1：所述特征域提取模块包括两个结构相同的自编码器网络，分别为第一自编码器网络和第二自编码器网络；
步骤2-2：将训练集中的模糊图像输入第一自编码器网络中，训练第一自编码器网络，使第一自编码器网络的输出与输入的差异最小；得到表征模糊图像的关键域信息的特征向量；
步骤2-3：将训练集中的清晰图像输入第二自编码器网络中，训练第二自编码器网络，使第二自编码器网络的输出与输入的差异最小；得到表征清晰图像的关键域信息的特征向量；
步骤3：如图4所示，构建特征域转换模块，实现模糊域到清晰域的转换；
步骤3-1：所述特征域转换模块由高阶ResNets融合模块和可变形卷积依次构成；通过可变性卷积，自适应地提取出不同模糊程度和方向的模糊核；高阶ResNets融合模块作为融合模块，对不同尺度下的输出特征进行融合，在感受野和网络权重进行自适应调整的同时，实现两个域之间的转换；
步骤3-2：将表征模糊图像的关键域信息的特征向量输入特征域转换模块，以表征清晰图像的关键域信息的特征向量为标签对特征域转换模块进行训练；
步骤3-3：训练完成的特征域转换模块输出隐含清晰特征，再经由第二自编码器网络中的解码器将图像清晰化，最终得到隐含清晰图像；
步骤4：特征域提取模块和特征域转换模块构成去模糊网络；将待处理模糊图像输入去模糊网络，输出待处理模糊图像对应的清晰图像。
进一步地，所述特征域提取模块中两个自编码器网络的损失函数采用均方误差。
进一步地，所述特征域转换模块的训练采用如下方法：
步骤5：采用样本级的自步学习对特征域转换模块进行训练；
步骤5-1：计算结构相似性指标S：
S＝SSIM(Iblur,Isharp)
其中，SSIM(.)表示结构相似性计算公式，Iblur表示输入的模糊图像，Isharp表示输入的清晰图像，两者是成对图像；
结构相似性指标S与输入的模糊图像的模糊度成负相关；在训练时，先按照结构相似性指标S值由大到小选取样本，将S值作为系数和损失函数相乘，较模糊的图像样本对应的S值较小，损失函数也较小，对模型训练的影响较小，可以认为模型不对该样本进行训练；训练开始时只训练模糊程度较轻的样本，随着训练迭代次数的增加，逐步增加训练难度，让模型训练模糊程度较高的样本。
随着迭代次数的增加，再随机选取样本，直至遍历所有样本；
步骤5-2：权重更新公式形如钟形曲线：
其中γ是一个非负常数，表示权重w能够得到的最大值，γ＝2；μ为SSIM的上界，即1；δ表示随训练迭代次数的增加而线性变化的变量：
δ＝α·epoch+β
其中，α和β分别控制钟形曲线的增长率和初值，α＝0.2，β＝0.1，epoch表示模型训练迭代次数；
步骤6：特征域转换模块的损失函数；
所述特征域转换模块的损失函数包括图像级损失函数和特征级损失函数；
所述图像级损失函数
由均方误差MSE和绝对值误差，即L1范数组成：
其中，
所述特征级损失函数
是先计算均方误差MSE的和，再除以一个比例系数进行缩放；
特征域转换模块总的损失函数为：
其中，σ表示系数，σ＝0.001，θ＝103·σ。
具体实施例：
1.实验条件
本实施例是在4张显存为11G的NVIDIA Geforce GTX 1080Ti GPU、i7-10700FCPU、Ubuntu操作系统中运行，使用Pytorch进行仿真实验。
实验中使用的训练和测试数据均来自于2017年Nah等人提出的GOPRO数据集，包含3214个模糊-清晰图像对，有33个场景，主要是具有砖块、台阶或明显纹理的街道或建筑、拥挤的人群、刻有字符的物品等。其中，2/3作为训练集，剩余1/3用作模型测试。
2.实验内容
按照具体实施方式中给出的步骤，通过在训练集上训练去模糊模型，并在测试集上评估去模糊效果。本实施例的实验评价标准由四部分组成，分别是峰值信噪比(PeakSignal-to-Noise Ratio,PSNR)、结构相似度(Structural Similarity Index Measure,SSIM)、模型尺寸大小和模型推理时间。表1中，以处理单张1280×720(720p)大小的图像所消耗的平均时间作为模型的推理时间，对现有模型进行定量比较。
由于本发明采用深度学习网络结构，因此选择同类工作作为验证算法，包括主流的基于多尺度金字塔模型的deep CNN、SRN、DMPHN、PSS-NSC、CA-PHN等方法、基于对抗生成网络的Deblur GAN方法、基于双向光流引导训练轻量级可变形卷积的OFG-CCN算法、基于循环神经网络的RNN算法等。
表1在GOPRO测试集上的定量比较结果
去模糊结果示意图如图5所示，展示了对三张图片的去模糊结果，第一行为包含动态场景模糊的图像，第三行为去模糊的结果。可以看出对于复杂的动态场景模糊，本发明方法能够得到清晰锐利的复原结果，并且最后的模型大小仅为5.12Mb，与PSNR指标相近的Deblur GAN_v2相比小了3倍。此外，该模型能够以每张0.0077s的速度处理1280×720(720p)大小的模糊图像，相比于CA-PHN和PSS-NSC这两种方法分别快了44倍和200倍。因此本发明具有较大的潜力部署于手机等计算和存储资源有限的嵌入式设备上，进行实时去模糊处理。
Claims (4)
1.一种基于域变换的自编码器去模糊方法，其特征在于，包括如下步骤：
步骤1：从图像库中随机抽取模糊-清晰图像对，再将抽取的图像剪裁为多幅256×256像素的图像，然后将裁剪后的图像随机进行旋转，生成训练集和测试集；
步骤2：构建特征域提取模块，提取特征向量；
步骤2-1：所述特征域提取模块包括两个结构相同的自编码器网络，分别为第一自编码器网络和第二自编码器网络；
步骤2-2：将训练集中的模糊图像输入第一自编码器网络中，训练第一自编码器网络，使第一自编码器网络的输出与输入的差异最小；得到表征模糊图像的关键域信息的特征向量；
步骤2-3：将训练集中的清晰图像输入第二自编码器网络中，训练第二自编码器网络，使第二自编码器网络的输出与输入的差异最小；得到表征清晰图像的关键域信息的特征向量；
步骤3：构建特征域转换模块，实现模糊域到清晰域的转换；
步骤3-1：所述特征域转换模块由高阶ResNets融合模块和可变形卷积依次构成；
步骤3-2：将表征模糊图像的关键域信息的特征向量输入特征域转换模块，以表征清晰图像的关键域信息的特征向量为标签对特征域转换模块进行训练；
步骤3-3：训练完成的特征域转换模块输出隐含清晰特征，再经由第二自编码器网络中的解码器将图像清晰化，最终得到隐含清晰图像；
步骤4：特征域提取模块和特征域转换模块构成去模糊网络；将待处理模糊图像输入去模糊网络，输出待处理模糊图像对应的清晰图像。
2.根据权利要求1所述的一种基于域变换的自编码器去模糊方法，其特征在于，所述特征域提取模块中两个自编码器网络的损失函数采用均方误差。
3.根据权利要求1所述的一种基于域变换的自编码器去模糊方法，其特征在于，所述特征域转换模块的训练采用如下方法：
步骤5：采用样本级的自步学习对特征域转换模块进行训练；
步骤5-1：计算结构相似性指标S：
S＝SSIM(Iblur,Isharp)
其中，SSIM(.)表示结构相似性计算公式，Iblur表示输入的模糊图像，Isharp表示输入的清晰图像，两者是成对图像；
结构相似性指标S与输入的模糊图像的模糊度成负相关；在训练时，先按照结构相似性指标S值由大到小选取样本，随着迭代次数的增加，再随机选取样本，直至遍历所有样本；
步骤5-2：权重更新公式形如钟形曲线：
其中γ是一个非负常数，表示权重w能够得到的最大值；μ为SSIM的上界，即1；δ表示随训练迭代次数的增加而线性变化的变量：
δ＝α·epoch+β
其中，α和β分别控制钟形曲线的增长率和初值，epoch表示模型训练迭代次数；
步骤6：特征域转换模块的损失函数；
所述特征域转换模块的损失函数包括图像级损失函数和特征级损失函数；
所述图像级损失函数
由均方误差MSE和绝对值误差，即L1范数组成：
其中，
所述特征级损失函数
是先计算均方误差MSE的和，再除以一个比例系数进行缩放；特征域转换模块总的损失函数为：
其中，σ为系数，θ＝103·σ。
4.根据权利要求3所述的一种基于域变换的自编码器去模糊方法，其特征在于，所述γ＝2，α＝0.2，β＝0.1，σ＝0.001。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111231774.1A CN114066750B (zh) | 2021-10-22 | 2021-10-22 | 一种基于域变换的自编码器去模糊方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111231774.1A CN114066750B (zh) | 2021-10-22 | 2021-10-22 | 一种基于域变换的自编码器去模糊方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114066750A true CN114066750A (zh) | 2022-02-18 |
| CN114066750B CN114066750B (zh) | 2024-03-05 |
Family
ID=80235190
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111231774.1A Active CN114066750B (zh) | 2021-10-22 | 2021-10-22 | 一种基于域变换的自编码器去模糊方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114066750B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114677304A (zh) * | 2022-03-28 | 2022-06-28 | 东南大学 | 一种基于知识蒸馏和深度神经网络的图像去模糊算法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102254309A (zh) * | 2011-07-27 | 2011-11-23 | 清华大学 | 一种基于近红外图像的运动模糊图像去模糊方法和装置 |
| US8861884B1 (en) * | 2011-11-21 | 2014-10-14 | Google Inc. | Training classifiers for deblurring images |
| CN110782399A (zh) * | 2019-08-22 | 2020-02-11 | 天津大学 | 一种基于多任务cnn的图像去模糊方法 |
| WO2020103171A1 (zh) * | 2018-11-21 | 2020-05-28 | 北京大学深圳研究生院 | 用于图像去模糊的Bi-Level优化方法 |
| CN112837245A (zh) * | 2021-03-16 | 2021-05-25 | 西北工业大学 | 一种基于多模态融合的动态场景去模糊方法 |
-
2021
- 2021-10-22 CN CN202111231774.1A patent/CN114066750B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102254309A (zh) * | 2011-07-27 | 2011-11-23 | 清华大学 | 一种基于近红外图像的运动模糊图像去模糊方法和装置 |
| US8861884B1 (en) * | 2011-11-21 | 2014-10-14 | Google Inc. | Training classifiers for deblurring images |
| WO2020103171A1 (zh) * | 2018-11-21 | 2020-05-28 | 北京大学深圳研究生院 | 用于图像去模糊的Bi-Level优化方法 |
| CN110782399A (zh) * | 2019-08-22 | 2020-02-11 | 天津大学 | 一种基于多任务cnn的图像去模糊方法 |
| CN112837245A (zh) * | 2021-03-16 | 2021-05-25 | 西北工业大学 | 一种基于多模态融合的动态场景去模糊方法 |
Non-Patent Citations (2)
| Title |
|---|
| 吴迪;赵洪田;郑世宝;: "密集连接卷积网络图像去模糊", 中国图象图形学报, no. 05, 16 May 2020 (2020-05-16) * |
| 陈中秋;: "基于非局部均值的彩色图像去模糊算法研究", 计算机时代, no. 02, 15 February 2017 (2017-02-15) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114677304A (zh) * | 2022-03-28 | 2022-06-28 | 东南大学 | 一种基于知识蒸馏和深度神经网络的图像去模糊算法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114066750B (zh) | 2024-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110363716B (zh) | 一种基于条件生成对抗网络复合降质图像高质量重建方法 | |
| WO2020238560A1 (zh) | 视频目标跟踪方法、装置、计算机设备及存储介质 | |
| CN110335290B (zh) | 基于注意力机制的孪生候选区域生成网络目标跟踪方法 | |
| CN113688723B (zh) | 一种基于改进YOLOv5的红外图像行人目标检测方法 | |
| CN109241982B (zh) | 基于深浅层卷积神经网络的目标检测方法 | |
| CN108537746B (zh) | 一种基于深度卷积网络的模糊可变图像盲复原方法 | |
| CN111861925B (zh) | 一种基于注意力机制与门控循环单元的图像去雨方法 | |
| CN112132149B (zh) | 一种遥感影像语义分割方法及装置 | |
| CN112837245B (zh) | 一种基于多模态融合的动态场景去模糊方法 | |
| CN110136162B (zh) | 无人机视角遥感目标跟踪方法及装置 | |
| CN114463218B (zh) | 一种基于事件数据驱动的视频去模糊方法 | |
| CN116758130A (zh) | 一种基于多路径特征提取和多尺度特征融合的单目深度预测方法 | |
| CN116596792B (zh) | 一种面向智能船舶的内河雾天场景恢复方法、系统及设备 | |
| CN115018888A (zh) | 一种基于Transformer的光流无监督估计方法 | |
| CN114140469A (zh) | 一种基于多层注意力的深度分层图像语义分割方法 | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| CN116993975A (zh) | 基于深度学习无监督领域适应的全景相机语义分割方法 | |
| CN114066750B (zh) | 一种基于域变换的自编码器去模糊方法 | |
| Zhou et al. | Underwater scene segmentation by deep neural network | |
| CN116597144A (zh) | 一种基于事件相机的图像语义分割方法 | |
| CN116452472A (zh) | 基于语义知识引导的低照度图像增强方法 | |
| CN114463176B (zh) | 基于改进esrgan的图像超分辨重建方法 | |
| CN115439738A (zh) | 一种基于自监督协同重构的水下目标检测方法 | |
| CN114612305A (zh) | 一种基于立体图建模的事件驱动视频超分辨率方法 | |
| Song et al. | Spatio-temporal learning for video deblurring based on two-stream generative adversarial network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |