CN117455808A - 一种轻量化图像去模糊方法及系统 - Google Patents

一种轻量化图像去模糊方法及系统 Download PDF

Info

Publication number
CN117455808A
CN117455808A CN202311623505.9A CN202311623505A CN117455808A CN 117455808 A CN117455808 A CN 117455808A CN 202311623505 A CN202311623505 A CN 202311623505A CN 117455808 A CN117455808 A CN 117455808A
Authority
CN
China
Prior art keywords
feature
convolution
unit
decoding
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311623505.9A
Other languages
English (en)
Inventor
赵志豪
潘金山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202311623505.9A priority Critical patent/CN117455808A/zh
Publication of CN117455808A publication Critical patent/CN117455808A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种轻量化图像去模糊方法及系统，涉及图像处理技术领域，该方法包括获取目标图像；将目标图像输入至训练好的图像去模糊模型中，得到目标图像对应的去模糊图像。训练好的图像去模糊模型包括第一卷积模块、编码器、中间模块、解码器、第二卷积模块、第一相加模块、第三卷积模块和第二相加模块，所述编码器和解码器包括Transformer单元，Transformer单元为改进的Transformer模型，Transformer单元包括第一归一化层、多空洞特征聚合子单元、第二归一化层、自注意力计算单元、第三归一化层和空洞前馈网络。本发明采用多空洞特征聚合子单元能够减少模型参数量、降低计算代价。

Description

一种轻量化图像去模糊方法及系统
技术领域
本发明涉及图像处理技术领域，特别是涉及一种轻量化图像去模糊方法及系统。
背景技术
近些年来，随着科技的快速发展，各种成像设备得到了更加广泛的普及，并被广泛的应用在人们的日常生活之中。然而，由于相机抖动或物体运动，在图像之中往往会出现模糊的现象，这极大的影响了图像的观感以及对内部细节信息的获取。因此，如何有效地处理图像之中的模糊来实现画质的增强得到了人们的广泛关注。
图像去模糊的研究关键是如何充分利用模糊图像中的信息作为引导，对其中的细节部分进行计算复原，进而获得高质量的清晰图像。通过对图像模糊现象进行解决，不仅可以获取高清图像，提升使用者的使用体验，同时也可以恢复图像中由于模糊所导致的有效信息丢失，便于进行进一步处理。一般来说，图像的模糊过程可以被建模为如下通用数学模型：
上式中，g(x,y)为模糊图像，f(x,y)为原始图像，d(x,y)是点扩散系数，是卷积操作，n(x,y)是加性噪声。
图像去模糊指的是对输入的模糊图像进行处理，去除其模糊的部分，最终重建出一张高质量的清晰图像的过程。由于模糊的种类和成因各不相同，因此想要得到一个良好的轻量化图像去模糊方法极具挑战性。之前的一些方法通过使用自然图像先验来重建清晰图像，然而在复杂场景下，这些方法往往会导致较复杂的优化问题，且对于部分模糊情况无法有效地建模。而基于深度学习的方法在这方面表现更加良好，其通过在大规模数据中学习一种泛化的先验知识和特征表示，能够处理更多不同情况下的模糊情况。
与此同时，随着深度学习的兴起，基于深度学习的图像去模糊技术发展越发迅速，许多研究人员提出了去模糊效果优异的Transformer方法。尽管这些方法有着良好的去模糊性能，但它们往往忽略了对于计算代价的控制，有着较大的参数量和计算代价，往往难以在端侧设备等计算资源受限的设备上进行部署和应用，限制了这些算法的实际应用场景。
发明内容
本发明的目的是提供一种轻量化图像去模糊方法及系统，可解决现有图像去模糊模型参数量大、计算代价大导致的难以在端侧设备进行部署的问题。
为实现上述目的，本发明提供了如下方案：
本发明提供一种轻量化图像去模糊方法，包括：
获取目标图像；
将所述目标图像输入至训练好的图像去模糊模型中，得到所述目标图像对应的去模糊图像；所述训练好的图像去模糊模型包括第一卷积模块、编码器、中间模块、解码器、第二卷积模块、第一相加模块、第三卷积模块和第二相加模块；
所述第一卷积模块用于对所述目标图像进行特征提取，得到第一卷积特征；
所述编码器包括若干编码子模块；所述编码子模块包括Transformer单元和下采样单元；所述Transformer单元包括第一归一化层、多空洞特征聚合子单元、第二归一化层、自注意力计算单元、第三归一化层和空洞前馈网络；所述多空洞特征聚合子单元包括若干个深度可分离空洞卷积块、一个卷积块和融合单元；所述深度可分离空洞卷积块包括深度可分离空洞卷积层和相乘子单元；所述深度可分离空洞卷积层用于对所述第一归一化层的输出进行特征提取，得到深度可分离空洞卷积特征；所述卷积块用于对所述第一归一化层的输出进行特征提取并处理，得到每一所述深度可分离空洞卷积特征对应的调整权重；所述相乘子单元用于对所述深度可分离空洞卷积特征和所述深度可分离空洞卷积特征对应的调整权重进行元素相乘操作，得到相乘特征；所述融合单元用于对所有所述相乘子单元输出的相乘特征进行融合，得到多空洞特征聚合特征；
所述中间模块用于对所述编码器中最后一个所述编码子模块的输出进行特征提取，得到中间特征；
所述解码器包括若干解码子模块；所述解码子模块包括上采样单元、解码相加单元和Transformer单元；
所述第二卷积模块用于对所述解码器的输出进行特征提取，得到第二卷积特征；
所述第一相加模块用于对所述第一卷积特征和所述第二卷积特征进行相加操作，得到相加卷积特征；
所述第二相加模块用于对所述目标图像和所述第三卷积模块的输出进行相加操作，得到所述目标图像对应的去模糊图像。
可选的，所述编码器包括第一编码子模块、第二编码子模块和第三编码子模块；
其中，所述第一编码子模块包括第一编码Transformer单元和第一下采样单元；所述第一编码Transformer单元用于对所述第一卷积特征进行特征提取，得到第一编码特征；所述第一下采样单元用于对所述第一尺度编码特征以第一尺度进行下采样操作，得到第一下采样特征；
所述第二编码子模块包括第二编码Transformer单元和第二下采样单元；所述第二编码Transformer单元用于对所述第二卷积特征进行特征提取，得到第二编码特征；所述第二下采样单元用于对所述第二尺度编码特征以第二尺度进行下采样操作，得到第二下采样特征；
所述第三编码子模块包括第三编码Transformer单元和第三下采样单元；所述第三编码Transformer单元用于对所述第三卷积特征进行特征提取，得到第三编码特征；所述第三下采样单元用于对所述第三尺度编码特征以第三尺度进行下采样操作，得到第三下采样特征；
所述中间模块用于对所述第三下采样特征进行特征提取，得到中间特征；
在对所述第三下采样特征进行特征提取，得到中间特征之后所述方法还包括：对所述中间特征以第四尺度进行上采样操作，得到第四编码特征。
可选的，所述训练好的图像去模糊模型还包括多尺度特征融合模块；所述多尺度特征融合模块用于对所述第一编码特征、所述第二编码特征、所述第三编码特征和所述第四编码特征进行融合，得到第一融合特征、第二融合特征和第三融合特征；所述第一融合特征的尺度与所述第一编码特征相同；所述第二融合特征的尺度与所述第二编码特征相同；所述第三融合特征的尺度与所述第三编码特征相同。
可选的，所述解码器包括第一解码子模块、第二解码子模块和第三解码子模块；
所述第一解码子模块包括第一上采样单元、第一解码相加单元和第一解码Transformer单元；所述第一上采样单元用于对所述中间特征进行上采样，得到第一上采样特征；所述第一上采样特征为所述第四编码特征；所述第一解码相加单元用于对所述第三融合特征和所述第一上采样特征进行相加操作，得到第一解码相加特征；所述第一解码Transformer单元用于对所述第一解码相加特征和所述第四编码特征进行特征提取，得到第一解码特征；
所述第二解码子模块包括第二上采样单元、第二解码相加单元和第二解码Transformer单元；所述第二上采样单元用于对所述第一解码特征进行上采样，得到第二上采样特征；所述第二解码相加单元用于对所述第二融合特征和所述第二上采样特征进行相加操作，得到第二解码相加特征；所述第二解码Transformer单元用于对所述第二解码相加特征和所述第二上采样特征进行特征提取，得到第二解码特征；
所述第三解码子模块包括第三上采样单元、第三解码相加单元和第三解码Transformer单元；所述第三上采样单元用于对所述第一解码特征进行上采样，得到第三上采样特征；所述第三解码相加单元用于对所述第一融合特征和所述第三上采样特征进行相加操作，得到第三解码相加特征；所述第三解码Transformer单元用于对所述第三解码相加特征和所述第三上采样特征进行特征提取，得到第三解码特征。
可选的，所述训练好的图像去模糊模型还包括Transformer模块，所述Transformer模块用于对所述相加卷积特征进行特征提取，得到Transformer特征；所述Transformer特征为所述第三卷积模块的输入；所述Transformer模块由Transformer单元构成。
可选的，所述卷积块包括卷积组和Softmax激活函数以及一个通道切分操作；所述卷积组包括若干个依次连接的卷积层。
可选的，所述空洞前馈网络包括第一卷积层、切分单元、第二卷积层、门控机制单元、第三卷积层、相乘子单元和第四卷积层；
所述第一卷积层用于对第三归一化层的输出进行特征提取，得到第一空洞特征；
所述切分单元用于对所述第一空洞特征沿通道维度进行切分，得到第一通道特征和第二通道特征；
所述第二卷积层为扩张率为2的3x3空洞卷积；所述第二卷积层用于对所述第一通道特征进行特征提取，得到非局部特征；
所述门控机制单元用于采用GELU激活函数对所述非局部特征进行处理，得到GELU激活特征；
所述第三卷积层为深度可分离卷积，所述第三卷积层用于对所述第二通道特征进行特征提取，得到局部特征；
所述相乘子单元用于对所述GELU激活特征和所述局部特征进行元素相乘操作，得到相乘融合特征；
所述第四卷积层用于对所述相乘融合特征进行特征提取，得到第二空洞特征。
可选的，在将所述目标图像输入至训练好的图像去模糊模型中之前，还包括：对去模糊模型进行训练，具体包括：
获取数据集；所述数据集包括若干张样本图像以及每一所述样本图像对应的样本去模糊图像；
采用所述数据集对所述去模糊模型进行训练，得到训练好的图像去模糊模型。
可选的，采用所述数据集对所述去模糊模型进行训练，具体包括：
利用平均绝对误差损失函数和快速傅里叶变换损失函数采用所述数据集对所述去模糊模型进行训练。
本发明还提供了一种轻量化图像去模糊系统，包括：
目标图像获取模块，用于获取目标图像；
图像去模糊模块，用于将所述目标图像输入至训练好的图像去模糊模型中，得到所述目标图像对应的去模糊图像；所述训练好的图像去模糊模型包括第一卷积模块、编码器、中间模块、解码器、第二卷积模块、第一相加模块、第三卷积模块和第二相加模块；
所述第一卷积模块用于对所述目标图像进行特征提取，得到第一卷积特征；
所述编码器包括若干编码子模块；所述编码子模块包括Transformer单元和下采样单元；所述Transformer单元包括第一归一化层、多空洞特征聚合子单元、第二归一化层、自注意力计算单元、第三归一化层和空洞前馈网络；所述多空洞特征聚合子单元包括若干个深度可分离空洞卷积块、一个卷积块和融合单元；所述深度可分离空洞卷积块包括深度可分离空洞卷积层和相乘子单元；所述深度可分离空洞卷积层用于对所述第一归一化层的输出进行特征提取，得到深度可分离空洞卷积特征；所述卷积块用于对所述第一归一化层的输出进行特征提取并处理，得到每一所述深度可分离空洞卷积特征对应的调整权重；所述相乘子单元用于对所述深度可分离空洞卷积特征和所述深度可分离空洞卷积特征对应的调整权重进行元素相乘操作，得到相乘特征；所述融合单元用于对所有所述相乘子单元输出的相乘特征进行融合，得到多空洞特征聚合特征；
所述中间模块用于对所述编码器中最后一个所述编码子模块的输出进行特征提取，得到中间特征；
所述解码器包括若干解码子模块；所述解码子模块包括上采样单元、解码相加单元和Transformer单元；
所述第二卷积模块用于对所述解码器的输出进行特征提取，得到第二卷积特征；
所述第一相加模块用于对所述第一卷积特征和所述第二卷积特征进行相加操作，得到相加卷积特征；
所述第二相加模块用于对所述目标图像和所述第三卷积模块的输出进行相加操作，得到所述目标图像对应的去模糊图像。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种轻量化图像去模糊方法及系统，首先获取目标图像；将目标图像输入至训练好的图像去模糊模型中，得到目标图像对应的去模糊图像。训练好的图像去模糊模型包括第一卷积模块、编码器、中间模块、解码器、第二卷积模块、第一相加模块、第三卷积模块和第二相加模块，所述编码器和解码器包括Transformer单元，Transformer单元为改进的Transformer模型，Transformer单元包括第一归一化层、多空洞特征聚合子单元、第二归一化层、自注意力计算单元、第三归一化层和空洞前馈网络。本发明采用多空洞特征聚合子单元能够减少模型参数量、降低计算代价，使得模型轻量化，解决了难以在端侧设备进行部署的问题，且采用改进的Transformer模型进行图像去模糊，提高了图像去模糊精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的轻量化图像去模糊方法流程示意图；
图2为本发明实施例1提供的图像去模糊模型结构示意图；
图3为本发明实施例1提供的多空洞特征聚合子单元结构示意图；
图4为本发明实施例1提供的空洞前馈网络结构示意图；
图5为本发明实施例1提供的多尺度特征融合模块结构示意图；
图6为本发明实施例1提供的自注意力计算单元结构示意图；
图7为本发明实施例2提供的轻量化图像去模糊系统框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种轻量化图像去模糊方法及系统，通过采用多空洞特征聚合子单元能够减少模型参数量、降低计算代价，使得模型轻量化，解决了难以在端侧设备进行部署的问题，且采用改进的Transformer模型进行图像去模糊，提高了图像去模糊精度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本实施例提供了一种轻量化图像去模糊方法，包括：
S1：获取目标图像。
S2：将所述目标图像输入至训练好的图像去模糊模型中，得到所述目标图像对应的去模糊图像；所述训练好的图像去模糊模型包括第一卷积模块、编码器、中间模块、解码器、第二卷积模块、第一相加模块、第三卷积模块和第二相加模块。训练好的图像去模糊模型的结构如图2所示。
所述第一卷积模块用于对所述目标图像进行特征提取，得到第一卷积特征(即浅层特征)。具体地，在本实施例中中，第一卷积模块为一个卷积核大小为3x3的卷积，采用该卷积核大小为3x3的卷积对输入的目标图像Iblur提取图像特征信息(即第一卷积特征)Fshallow，将目标图像从空域转换至特征领域。之后，提取到的原尺度的图像特征信息Fshallow将被输入到编码器阶段进行更深的特征提取。需要说明的是，本实施例中的目标图像可以是自然风景图像，也可以是包含人、物等的图像，此目标图像为普通相机和手机拍摄的图像。
所述编码器包括若干编码子模块；所述编码子模块包括Transformer单元和下采样单元；所述编码器包括第一编码子模块、第二编码子模块和第三编码子模块。具体地，所述第一编码子模块包括第一编码Transformer单元和第一下采样单元；所述第一编码Transformer单元用于对所述第一卷积特征进行特征提取，得到第一编码特征；所述第一下采样单元用于对所述第一尺度编码特征以第一尺度进行下采样操作，得到第一下采样特征。
所述第二编码子模块包括第二编码Transformer单元和第二下采样单元；所述第二编码Transformer单元用于对所述第二卷积特征进行特征提取，得到第二编码特征；所述第二下采样单元用于对所述第二尺度编码特征以第二尺度进行下采样操作，得到第二下采样特征。
所述第三编码子模块包括第三编码Transformer单元和第三下采样单元；所述第三编码Transformer单元用于对所述第三卷积特征进行特征提取，得到第三编码特征；所述第三下采样单元用于对所述第三尺度编码特征以第三尺度进行下采样操作，得到第三下采样特征。
所述中间模块用于对所述编码器中最后一个所述编码子模块的输出进行特征提取，得到中间特征。即所述中间模块用于对所述第三下采样特征进行特征提取，得到中间特征；在对所述第三下采样特征进行特征提取，得到中间特征之后所述方法还包括：对所述中间特征以第四尺度进行上采样操作，得到第四编码特征。
所述训练好的图像去模糊模型还包括多尺度特征融合模块；所述多尺度特征融合模块用于对所述第一编码特征、所述第二编码特征、所述第三编码特征和所述第四编码特征进行融合，得到第一融合特征、第二融合特征和第三融合特征；所述第一融合特征的尺度与所述第一编码特征相同；所述第二融合特征的尺度与所述第二编码特征相同；所述第三融合特征的尺度与所述第三编码特征相同。
所述解码器包括第一解码子模块、第二解码子模块和第三解码子模块。所述解码器包括若干解码子模块；所述解码子模块包括上采样单元、解码相加单元和Transformer单元。
所述第一解码子模块包括第一上采样单元、第一解码相加单元和第一解码Transformer单元；所述第一上采样单元用于对所述中间特征进行上采样，得到第一上采样特征；所述第一上采样特征为所述第四编码特征；所述第一解码相加单元用于对所述第三融合特征和所述第一上采样特征进行相加操作，得到第一解码相加特征；所述第一解码Transformer单元用于对所述第一解码相加特征和所述第四编码特征进行特征提取，得到第一解码特征。
所述第二解码子模块包括第二上采样单元、第二解码相加单元和第二解码Transformer单元；所述第二上采样单元用于对所述第一解码特征进行上采样，得到第二上采样特征；所述第二解码相加单元用于对所述第二融合特征和所述第二上采样特征进行相加操作，得到第二解码相加特征；所述第二解码Transformer单元用于对所述第二解码相加特征和所述第二上采样特征进行特征提取，得到第二解码特征。
所述第三解码子模块包括第三上采样单元、第三解码相加单元和第三解码Transformer单元；所述第三上采样单元用于对所述第一解码特征进行上采样，得到第三上采样特征；所述第三解码相加单元用于对所述第一融合特征和所述第三上采样特征进行相加操作，得到第三解码相加特征；所述第三解码Transformer单元用于对所述第三解码相加特征和所述第三上采样特征进行特征提取，得到第三解码特征。
具体地，第一卷积特征Fshallow经第一编码Transformer单元进行特征的进一步增强，并得到原尺度大小的图像特征F1，即图像特征F1与目标图像和第一卷积特征Fshallow的尺度相同。本实施例中的第一下采样单元、第二下采样单元和第三下采样单元均由一卷积层构成。因此图像特征F1经第一下采样单元空间分辨率减半，通道数量翻倍，作为下一个尺度寸编码器的输入，即输入第二编码子模块的第二编码Transformer单元，得到图像特征F2。
在后续的1/2尺度、1/4尺度阶段，将对应尺度的输入特征经过对应的编码器，得到对应尺度的图像特征F2，F3。同时将图像特征使用卷积层作为下采样对其进行处理，使其空间分辨率减半，通道数量翻倍，并作为下一个尺度编码器的输入。其中1/2尺度尺度阶段为第一下采样单元，空间分辨率减半，通道数量翻倍的第二下采样特征，即1/2尺度特征。同理，经第二下采样单元得到的第二下采样特征为1/4尺度特征，经第三下采样单元得到的第三下采样特征为1/8尺度特征。
使用一系列Transformer模块作为中间模块对输入图像的1/8尺度的输入特征(即第三下采样特征)进行特征的提取和增强，最终得到当前尺度下的图像特征F4。
同理，图像特征被输入不同尺度的解码器中进行特征重建。对于每个解码器而言，其输入包含有两部分：一部分是将上一个更小尺度使用转置卷积进行上采样得到空间分辨率翻倍，通道数减半的特征；另一部分则是通过提出的多尺度特征融合模块得到的对应尺度的特征(即第一融合特征、第二融合特征和第三融合特征)。通过解码器中的解码相加单元将两者相加，得到了每个解码Transformer单元的一部分输入特征(即第一解码相加特征、第二解码相加特征和第二解码相加特征)，每个解码Transformer单元的另一部分输入特征为上采样单元输出的上采样特征。例如，将第一解码相加单元输出的第一解码相加特征输入到同样由一系列Transformer模块组成的第一解码Transformer子单元中，并得到当前尺度下的图像特征F5。
多尺度特征融合模块的结构如图5所示，多尺度特征融合模块旨在对图像编码过程中得到的原图像不同尺度的图像特征进行动态融合，来为图像特征的重建过程提供更好的指导信息。图5展示了多尺度特征融合模块的具体结构。在模型的每个尺度的解码过程中，多尺度特征融合模块以网络处理过程中生成的原尺度、1/2尺度的编码器和中间模块生成的原尺度、1/2尺度、1/4尺度、1/8尺度的图像特征F1，F2，F3，F4作为输入，其中四个尺度的特征形状分别为B×C×H×W，B×2C×H/2×W/2，B×4C×H/4×W/4，B×8C×H/8×W/8。以原始尺度为例，首先对四个输入特征使用最近邻插值方法，将这四个图像特征扩大或缩小到当前尺度大小H×W(1/2尺度则为H/2×W/2)，之后将插值所得的四个图像特征沿通道维度将其拼接在一起，此时拼接在一起的特征形状为B×15C×H×W(1/2尺度则为B×15C×H/2×W/2)。之后，我们将拼接后的图像输入到1×1的卷积之中在实现通道上的特征融合的同时减少通道的个数至输入的对应尺度图像特征相同的数量B×C×H×W(对于1/2尺度则变为B×2C×H/2×W/2)；接着，我们使用GELU激活函数，对得到的特征进行非线性激活，提升特征的表达能力；之后，使用3×3的深度可分离卷积，在每一个通道上对空间上的局部信息进行进一步提取以学习残差，并与残差之前的输入特征相加获得增强后的特征信息；之后，我们再一次使用激活函数，并在激活后使用1×1的卷积和残差连接，对激活特征进行处理以实现更好的通道上的信息融合。多尺度特征融合模块的输出特征形状与当前尺度的输入特征形状完全相同，通过在通道维度和空间维度上进行特征提取、融合，融合了多个尺度的特征所包含的信息，包含着更加充分的信息。
上述多尺度特征融合模块可以用如下公式进行建模：
Fcon＝Concat(Nearest(Fi)),i＝1,2,3,4；
Fch＝GELU(Conv1×1(Fcon))；
Fsp＝GELU(Fch+DWConv3×3(Fch))；
Fout1＝Conv1×1(Fsp)+Fsp。
其中，Nearest表示最近邻插值方法；Concat表示沿通道的特征拼接操作；Fcon表示拼接后的特征信息；Fch表示经过通道维度上特征融合后的特征；Fsp表示经过空间信息提取和融合后的特征；Fout1表示经过整个多尺度特征融合模块的特征融合后的输出特征。
在后续的1/2尺度和原尺度的处理过程中，首先将前一个解码器得到的图像特征上采样得到的特征加上由多尺度特征融合模块得到的特征作为当前尺度的输入，并将输入特征经过对应的解码器进行特征重建。这两个尺度的解码过程得到对应尺度的图像特征为F6，F7。其中，F6为第二解码特征，F7为第三解码特征。
所述第二卷积模块用于对所述解码器的输出进行特征提取，得到第二卷积特征。所述第一相加模块用于对所述第一卷积特征和所述第二卷积特征进行相加操作，得到相加卷积特征。所述第二相加模块用于对所述目标图像和所述第三卷积模块的输出进行相加操作，得到所述目标图像对应的去模糊图像。所述训练好的图像去模糊模型还包括Transformer模块，所述Transformer模块用于对所述相加卷积特征进行特征提取，得到Transformer特征；所述Transformer特征为所述第三卷积模块的输入；所述Transformer模块由Transformer单元构成。
具体地：第二卷积模块和第三卷积模块均为一个卷积核大小为3x3的卷积层。将解码阶段得到的原尺度重建特征F7使用3x3的卷积层进行处理，得到第二卷积特征，并将第二卷积特征与图像的浅层特征(即第一卷积特征)相加，来融合浅层特征和深层特征得到融合特征Ffuse(即相加卷积特征)。之后，我们使用由一系列Transformer块(即Transformer模块)对融合特征进行处理和增强，得到Transformer特征，并使用一个3x3的卷积层(即第三卷积模块)将Transformer特征转换回空域并生成残差图像IR。最终，将残差图像IR与目标图像Iblur相加，得到生成的清晰图像(即目标图像对应的去模糊图像)Iout。
需要说明的是，图2中的所有TransformerBlock(Transformer单元)的结构均相同，Transformer单元包括第一归一化层、多空洞特征聚合子单元、第二归一化层、自注意力计算单元、第三归一化层和空洞前馈网络；所述多空洞特征聚合子单元包括若干个深度可分离空洞卷积块、一个卷积块和融合单元；所述深度可分离空洞卷积块包括深度可分离空洞卷积层和相乘子单元；所述深度可分离空洞卷积层用于对所述第一归一化层的输出进行特征提取，得到深度可分离空洞卷积特征；所述卷积块用于对所述第一归一化层的输出进行特征提取并处理，得到每一所述深度可分离空洞卷积特征对应的调整权重；所述相乘子单元用于对所述深度可分离空洞卷积特征和所述深度可分离空洞卷积特征对应的调整权重进行元素相乘操作，得到相乘特征；所述融合单元用于对所有所述相乘子单元输出的相乘特征进行融合，得到多空洞特征聚合特征。
下面对Transformer单元(即改进的Transformer模型)的结构进行具体介绍：
每个Transformer单元之中，会多次利用LayerNorm(LN)层(第一归一化层、第二归一化层、第三归一化层)进行归一化操作，该归一化操作旨在对每一个形状为B×C×H×W的特征，在C×H×W的维度上进行归一化操作。其中C表示通道的数量，H和W分别表示特征的高和宽。具体来说，首先对C×H×W维度的特征求取均值E[x]和方差Var[x]，同时引入γ和β这两个缩放变量和平移变量，获得归一化后的特征y。其可以被表示为：
其中，ε为大于0的极小值。
通过LayerNorm归一化操作，减小了特征之间的绝对差异，突出了特征之间的相对差异，能够让网络能够更好的学习到其分布情况。
对于一个Transformer单元的整体流程来说，首先将特征归一化，之后将归一化后的特征输入到多空洞特征聚合子单元MDFA之中来提取并聚合非局部信息；接着将特征再次归一化之后输入到局部窗口自注意力计算单元L-SA之中，通过运用自注意力机制，对输入特征计算动态权重并与之相乘，实现对特征的进一步调整；最后，我们将特征进行归一化，并输入到提出的空洞前馈网络DFFN之中，通过对局部以及非局部信息的提取和融合，实现更好的非局部信息建模，进而得到有着更多有效信息的特征并实现性能的提升。
1、多空洞特征聚合子单元MDFA，多空洞特征聚合子单元如图3所示。本实施例中，多空洞特征聚合子单元MDFA包含有5个分支。其中4个分支为深度可分离空洞卷积块，分别包括为1,2,3,4四个不同扩张率的3x3的深度可分离空洞卷积，另外1个分支为卷积块，所述卷积块包括卷积组和Softmax激活函数以及一个通道切分操作；所述卷积组包括若干个依次连接的卷积层。本实施例中卷积组为由2个3×3的卷积层和1个Softmax激活函数组成的选择分支。融合单元包括一个相加操作和1x1的卷积层。
具体来说，对于归一化后的输入特征Fin，我们首先将其输入到4个空洞分支之中，得到分支生成的特征D1，D2，D3，D4。由于扩张率不同的空洞卷积有着相比普通卷积更大且各不相同的关注区域，通过这些分支处理后的特征包含有不同区域的特征信息，且相比普通的卷积能够关注到更广泛的区域。同时，将Fin输入到选择分支(卷积块)之中。在该分支中，首先利用两个3x3的卷积提取特征并将通道数降低为4，之后使用一个Softmax激活函数对所得的特征进行处理，并通过通道切分操作(Split)在通道维度上进行拆分，可以得到4个总和为1的动态权重(即调整权重)W1，W2，W3，W4。通过这四个总和为1的动态权重，可以实现将上述的四个空洞分支进行动态组合。之后，将生成的4个动态权重与4个空洞分支得到的特征相乘，得到4个相乘特征，并将所有相乘特征结果相加，从而得到聚合非局部信息后的特征信息。最终，使用一个1x1的卷积对特征在通道维度进行进一步融合，最终得到多空洞特征聚合子单元的输出特征(多空洞特征聚合特征)。
对于多空洞特征聚合子单元的输出特征来说，其每个像素所包含的信息在经过多空洞特征聚合子单元的聚合后，包含有更广范围的信息。因此在后续的自注意力计算单元L-SA中，由于其要计算局部窗口内每一个像素与其他所有像素的特征相似度，而通过多空洞特征聚合子单元处理后的特征，每一个像素都包含有更广范围的特征信息，因此可以认为令自注意力计算作用在了更广的范围内，进而提升了特征的整体表示程度，进而在自注意力的计算过程中，可以更多地考虑整张图像的属性以生成对应与每个像素的权重，最终实现更好的图像恢复效果。
上述多空洞特征聚合子单元的特征提取和加强过程可以用于下式进行建模：
Di＝DDiConvi(Fin2),i＝1,2,3,4；
Wi＝Softmax(Conv3×3(Conv3×3(Fin)))；
＝
其中，Fout2为多空洞特征聚合子单元的输出，Fin2表示多空洞特征聚合子单元的输入特征，DDiConvi表示有着不同扩张率i的深度可分离空洞卷积；Conv3x3表示卷积核大小为3的卷积；Softmax表示Softmax激活操作；⊙表示逐像素乘法。
2、自注意力计算模块(light self-attention，L-SA)，其结构如图6所示，自注意力计算单元旨在通过计算特征与特征的相似性进行动态调整，进而实现更好的特征表示。自注意力计算单元的结构图如图6所示。自注意力计算单元使用基于窗口的自注意力计算单元，与对整张特征图计算自注意力的方式相比，基于窗口的计算方法有更小的计算代价。具体来说，将第二归一化层的输出进行窗口切分，得到多个窗口特征，对于形状为(B×N,Win,C)的切分好窗口的输入特征，使用3个独立的1×1卷积分别获得用于自注意力计算的Query，Key和Value(以下简称Q,K,V)。首先使用得到的Q和K的转置矩阵进行矩阵相乘，以计算窗口内每个像素点与其他像素点的特征相似性；接着使用Softmax对得到的特征图进行激活以生成对于每个像素值进行调整的动态权重；之后，将获得的动态权重与V进行矩阵相乘，获得调整后的特征表示。最后，使用1×1卷积充分融合调整后的特征，并使用残差连接将输入特征与融合所得特征相加，获得经过调整的、有着更优表示的图像特征。
使用得到的Q，K，V计算自注意力的过程可以用如下公式进行建模：
其中，用于对得到的注意力图进行归一化操作。
然而，由于其只会计算切分出来的局部窗口内部像素之间的自注意力，和全局自注意力计算单元相比，该方法对于特征的非局部信息的建模能力受到了限制。而如何在使用上述注意力机制下，令每个窗口内部有更广范围的信息是能够提升性能且目前等待被解决的问题。
3、空洞前馈网络DFFN，其结构如图4所示，所述空洞前馈网络包括第一卷积层、切分单元、第二卷积层、门控机制单元、第三卷积层、相乘子单元和第四卷积层。
所述第一卷积层用于对第三归一化层的输出进行特征提取，得到第一空洞特征。
所述切分单元用于对所述第一空洞特征沿通道维度进行切分，得到第一通道特征和第二通道特征。
所述第二卷积层为扩张率为2的3x3空洞卷积；所述第二卷积层用于对所述第一通道特征进行特征提取，得到非局部特征。
所述门控机制单元用于采用GELU激活函数对所述非局部特征进行处理，得到GELU激活特征。
所述第三卷积层为深度可分离卷积，所述第三卷积层用于对所述第二通道特征进行特征提取，得到局部特征。
所述相乘子单元用于对所述GELU激活特征和所述局部特征进行元素相乘操作，得到相乘融合特征。
所述第四卷积层用于对所述相乘融合特征进行特征提取，得到第二空洞特征。
具体地：空洞前馈网络DFFN旨在沿通道维度的交互过程中，进一步提取并融合局部信息和非局部信息。空洞前馈网络首先经过1×1卷积(第一卷积层)以扩张通道个数。之后，通过切分单元将特征沿通道维度进行等额切分，一部分特征输入到扩张率为2的3×3空洞卷积对非局部信息进行进一步提取；另一半特征输入到3×3的深度可分离卷积以提取局部信息。之后，我们引入门控机制进行动态激活，通过使用GELU激活函数对空洞分支所得的特征进行处理，并与另一分支所得到的特征结果进行像素相乘，从而实现局部信息和非局部信息在空间维度上的融合。最终，再使用一个1×1卷积(第四卷积层)以实现两者在通道维度上的充分融合。
空洞前馈网络可以用如下公式进行建模：
Fmid＝Conv1×1(Fin3)；
F1,F2＝Split(Fmid)；
Fdi＝DDiconv(F1)；
Fdw＝DWconv(F2)；
Fdw＝Fdw⊙GELU(Fdi)；
Fout3＝Conv1×1(Fdw)。
其中，Fin3表示输入特征；Fmid表示模块过程中生成的中间特征；Split表示沿通道切分的操作；DDiConv表示扩张率为2的3×3深度可分离空洞卷积；DWConv表示3×3深度可分离卷积；Fdi表示由3×3深度可分离空洞卷积生成的特征；Fdw表示由3×3深度可分离卷积生成的特征；GELU表示GELU激活函数；Fout3表示经过多尺度信息融合增强后的输出特征。
在本实施例中，在将所述目标图像输入至训练好的图像去模糊模型中之前，还包括：对去模糊模型进行训练，具体包括：
获取数据集；所述数据集包括若干张样本图像以及每一所述样本图像对应的样本去模糊图像；
采用所述数据集对所述去模糊模型进行训练，得到训练好的图像去模糊模型。
其中，采用所述数据集对所述去模糊模型进行训练，具体包括：
利用平均绝对误差损失函数和快速傅里叶变换损失函数采用所述数据集对所述去模糊模型进行训练。
具体地，为了对本实施例所涉及的深度学习模型进行求解，本实施例采用Adam作为网络的优化器。Adam全称为Adaptive Moment Estimation，其通过利用梯度的一阶矩和二阶矩估计以动态的调整每个参数的学习率。其优点主要在于经过调整之后，每一次迭代的学习率都存在一个确定的范围，进而使得参数变化较为平稳，适用于大多数场景之中，且该方法对于内存的需求不大，符合本实施例的初衷。
在训练数据集上，本实施例使用了GoPro数据集。GoPro数据集没有通过使用模糊核的方法来对清晰图像处理以获得模糊图像，而是使用了告诉摄像头快速记录下一连串的清晰图像，对这些间隔时间很短的清晰图像求平均的方式合成更加真实的模糊图像。该数据集包括有3214张大小为1280×720的模糊图像，其中包括有2103张训练图像和1111张测试图像。
在损失函数的约束上，本实施例采取了大部分图像去模糊方法都会使用的L1Loss(平均绝对误差损失函数)作为图像内容的损失函数。而最近的一些工作也指出在频域中进行处理也能很好的解决图像模糊的问题，因此，还额外使用了基于快速傅里叶变换的频域损失函数(快速傅里叶变换损失函数)来在频域上对复原的结果进行约束，具体定义如下：
LossFreq＝||FFT(IOut)-FFT(IGT)||*α。
总损失函数为：
Losszong＝L1+LossFreq。
其中，Losszong为总损失函数，FFT(·)表示的是快速傅里叶变换操作，IOut表示的是模型预测的输出图像，IGT表示的是相应的清晰图像，α表示的是用于调整损失函数的超参数。
本实施例具有以下效果：
1、提出了空洞特征聚合模块，并将其加在自注意力的计算过程之前，提升了模型的非局部信息建模能力，并获得了更好的图像去模糊效果。
2、提出了空洞前馈网络，通过在沿通道维度的特征交互过程中，提取、动态激活并融合局部特征和非局部特征，获得了更优的特征表示，提升了模型的整体去模糊性能。
3、提出了多尺度信息动态融合模块(多尺度特征融合模块)，通过将多尺度信息动态融合，并指导对应分辨率尺度下解码器的复原过程，实现了对图像去模糊性能的提升。
4、基于图像去模糊模型，其采用改进的Transformer模型，使用局部自注意力方法(自注意力计算单元)来动态计算窗口内的权重，同时使用基于空洞卷积的多空洞特征聚合子单元实现了窗口之间的信息交互，提升了模型的去模糊能力。此外，通过提出的空洞前馈网络，在特征交互过程中引入局部信息和非局部信息的动态激活和融合，并实现更好的特征表示。对于多尺度特征，通过使用提出的多尺度特征融合模块进行充分聚合，以充分获取图像的细节特征和结构特征。最终，使用平均绝对误差损失函数和快速傅里叶变换损失函数来优化网络。解决了模型参数量大、计算代价大导致的难以在端侧设备进行部署的问题。该图像去模糊模型具备有良好的去模糊能力、低参数量以及低浮点运算数的优点。
实施例2：
如图7所示，本发明还提供了一种轻量化图像去模糊系统，所述系统包括：
目标图像获取模块T1，用于获取目标图像。
图像去模糊模块T2，用于将所述目标图像输入至训练好的图像去模糊模型中，得到所述目标图像对应的去模糊图像；所述训练好的图像去模糊模型包括第一卷积模块、编码器、中间模块、解码器、第二卷积模块、第一相加模块、第三卷积模块和第二相加模块。
所述第一卷积模块用于对所述目标图像进行特征提取，得到第一卷积特征；所述编码器包括若干编码子模块；所述编码子模块包括Transformer单元和下采样单元；所述Transformer单元包括第一归一化层、多空洞特征聚合子单元、第二归一化层、自注意力计算单元、第三归一化层和空洞前馈网络；所述多空洞特征聚合子单元包括若干个深度可分离空洞卷积块、一个卷积块和融合单元；所述深度可分离空洞卷积块包括深度可分离空洞卷积层和相乘子单元；所述深度可分离空洞卷积层用于对所述第一归一化层的输出进行特征提取，得到深度可分离空洞卷积特征；所述卷积块用于对所述第一归一化层的输出进行特征提取并处理，得到每一所述深度可分离空洞卷积特征对应的调整权重；所述相乘子单元用于对所述深度可分离空洞卷积特征和所述深度可分离空洞卷积特征对应的调整权重进行元素相乘操作，得到相乘特征；所述融合单元用于对所有所述相乘子单元输出的相乘特征进行融合，得到多空洞特征聚合特征。
所述中间模块用于对所述编码器中最后一个所述编码子模块的输出进行特征提取，得到中间特征；所述解码器包括若干解码子模块；所述解码子模块包括上采样单元、解码相加单元和Transformer单元；所述第二卷积模块用于对所述解码器的输出进行特征提取，得到第二卷积特征；所述第一相加模块用于对所述第一卷积特征和所述第二卷积特征进行相加操作，得到相加卷积特征；所述第二相加模块用于对所述目标图像和所述第三卷积模块的输出进行相加操作，得到所述目标图像对应的去模糊图像。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种轻量化图像去模糊方法，其特征在于，所述方法包括：
获取目标图像；
将所述目标图像输入至训练好的图像去模糊模型中，得到所述目标图像对应的去模糊图像；所述训练好的图像去模糊模型包括第一卷积模块、编码器、中间模块、解码器、第二卷积模块、第一相加模块、第三卷积模块和第二相加模块；
所述第一卷积模块用于对所述目标图像进行特征提取，得到第一卷积特征；
所述编码器包括若干编码子模块；所述编码子模块包括Transformer单元和下采样单元；所述Transformer单元包括第一归一化层、多空洞特征聚合子单元、第二归一化层、自注意力计算单元、第三归一化层和空洞前馈网络；所述多空洞特征聚合子单元包括若干个深度可分离空洞卷积块、一个卷积块和融合单元；所述深度可分离空洞卷积块包括深度可分离空洞卷积层和相乘子单元；所述深度可分离空洞卷积层用于对所述第一归一化层的输出进行特征提取，得到深度可分离空洞卷积特征；所述卷积块用于对所述第一归一化层的输出进行特征提取并处理，得到每一所述深度可分离空洞卷积特征对应的调整权重；所述相乘子单元用于对所述深度可分离空洞卷积特征和所述深度可分离空洞卷积特征对应的调整权重进行元素相乘操作，得到相乘特征；所述融合单元用于对所有所述相乘子单元输出的相乘特征进行融合，得到多空洞特征聚合特征；
所述中间模块用于对所述编码器中最后一个所述编码子模块的输出进行特征提取，得到中间特征；
所述解码器包括若干解码子模块；所述解码子模块包括上采样单元、解码相加单元和Transformer单元；
所述第二卷积模块用于对所述解码器的输出进行特征提取，得到第二卷积特征；
所述第一相加模块用于对所述第一卷积特征和所述第二卷积特征进行相加操作，得到相加卷积特征；
所述第二相加模块用于对所述目标图像和所述第三卷积模块的输出进行相加操作，得到所述目标图像对应的去模糊图像。
2.根据权利要求1所述的一种轻量化图像去模糊方法，其特征在于，所述编码器包括第一编码子模块、第二编码子模块和第三编码子模块；
其中，所述第一编码子模块包括第一编码Transformer单元和第一下采样单元；所述第一编码Transformer单元用于对所述第一卷积特征进行特征提取，得到第一编码特征；所述第一下采样单元用于对所述第一尺度编码特征以第一尺度进行下采样操作，得到第一下采样特征；
所述第二编码子模块包括第二编码Transformer单元和第二下采样单元；所述第二编码Transformer单元用于对所述第二卷积特征进行特征提取，得到第二编码特征；所述第二下采样单元用于对所述第二尺度编码特征以第二尺度进行下采样操作，得到第二下采样特征；
所述第三编码子模块包括第三编码Transformer单元和第三下采样单元；所述第三编码Transformer单元用于对所述第三卷积特征进行特征提取，得到第三编码特征；所述第三下采样单元用于对所述第三尺度编码特征以第三尺度进行下采样操作，得到第三下采样特征；
所述中间模块用于对所述第三下采样特征进行特征提取，得到中间特征；
在对所述第三下采样特征进行特征提取，得到中间特征之后所述方法还包括：对所述中间特征以第四尺度进行上采样操作，得到第四编码特征。
3.根据权利要求2所述的一种轻量化图像去模糊方法，其特征在于，所述训练好的图像去模糊模型还包括多尺度特征融合模块；所述多尺度特征融合模块用于对所述第一编码特征、所述第二编码特征、所述第三编码特征和所述第四编码特征进行融合，得到第一融合特征、第二融合特征和第三融合特征；所述第一融合特征的尺度与所述第一编码特征相同；所述第二融合特征的尺度与所述第二编码特征相同；所述第三融合特征的尺度与所述第三编码特征相同。
4.根据权利要求3所述的一种轻量化图像去模糊方法，其特征在于，所述解码器包括第一解码子模块、第二解码子模块和第三解码子模块；
所述第一解码子模块包括第一上采样单元、第一解码相加单元和第一解码Transformer单元；所述第一上采样单元用于对所述中间特征进行上采样，得到第一上采样特征；所述第一上采样特征为所述第四编码特征；所述第一解码相加单元用于对所述第三融合特征和所述第一上采样特征进行相加操作，得到第一解码相加特征；所述第一解码Transformer单元用于对所述第一解码相加特征和所述第四编码特征进行特征提取，得到第一解码特征；
所述第二解码子模块包括第二上采样单元、第二解码相加单元和第二解码Transformer单元；所述第二上采样单元用于对所述第一解码特征进行上采样，得到第二上采样特征；所述第二解码相加单元用于对所述第二融合特征和所述第二上采样特征进行相加操作，得到第二解码相加特征；所述第二解码Transformer单元用于对所述第二解码相加特征和所述第二上采样特征进行特征提取，得到第二解码特征；
所述第三解码子模块包括第三上采样单元、第三解码相加单元和第三解码Transformer单元；所述第三上采样单元用于对所述第一解码特征进行上采样，得到第三上采样特征；所述第三解码相加单元用于对所述第一融合特征和所述第三上采样特征进行相加操作，得到第三解码相加特征；所述第三解码Transformer单元用于对所述第三解码相加特征和所述第三上采样特征进行特征提取，得到第三解码特征。
5.根据权利要求1所述的一种轻量化图像去模糊方法，其特征在于，所述训练好的图像去模糊模型还包括Transformer模块，所述Transformer模块用于对所述相加卷积特征进行特征提取，得到Transformer特征；所述Transformer特征为所述第三卷积模块的输入；所述Transformer模块由Transformer单元构成。
6.根据权利要求1所述的一种轻量化图像去模糊方法，其特征在于，所述卷积块包括卷积组和Softmax激活函数以及一个通道切分操作；所述卷积组包括若干个依次连接的卷积层。
7.根据权利要求1所述的一种轻量化图像去模糊方法，其特征在于，所述空洞前馈网络包括第一卷积层、切分单元、第二卷积层、门控机制单元、第三卷积层、相乘子单元和第四卷积层；
所述第一卷积层用于对第三归一化层的输出进行特征提取，得到第一空洞特征；
所述切分单元用于对所述第一空洞特征沿通道维度进行切分，得到第一通道特征和第二通道特征；
所述第二卷积层为扩张率为2的3x3空洞卷积；所述第二卷积层用于对所述第一通道特征进行特征提取，得到非局部特征；
所述门控机制单元用于采用GELU激活函数对所述非局部特征进行处理，得到GELU激活特征；
所述第三卷积层为深度可分离卷积，所述第三卷积层用于对所述第二通道特征进行特征提取，得到局部特征；
所述相乘子单元用于对所述GELU激活特征和所述局部特征进行元素相乘操作，得到相乘融合特征；
所述第四卷积层用于对所述相乘融合特征进行特征提取，得到第二空洞特征。
8.根据权利要求1所述的一种轻量化图像去模糊方法，其特征在于，在将所述目标图像输入至训练好的图像去模糊模型中之前，还包括：对去模糊模型进行训练，具体包括：
获取数据集；所述数据集包括若干张样本图像以及每一所述样本图像对应的样本去模糊图像；
采用所述数据集对所述去模糊模型进行训练，得到训练好的图像去模糊模型。
9.根据权利要求8所述的一种轻量化图像去模糊方法，其特征在于，采用所述数据集对所述去模糊模型进行训练，具体包括：
利用平均绝对误差损失函数和快速傅里叶变换损失函数采用所述数据集对所述去模糊模型进行训练。
10.一种轻量化图像去模糊系统，其特征在于，所述系统包括：
目标图像获取模块，用于获取目标图像；
图像去模糊模块，用于将所述目标图像输入至训练好的图像去模糊模型中，得到所述目标图像对应的去模糊图像；所述训练好的图像去模糊模型包括第一卷积模块、编码器、中间模块、解码器、第二卷积模块、第一相加模块、第三卷积模块和第二相加模块；
所述第一卷积模块用于对所述目标图像进行特征提取，得到第一卷积特征；
所述编码器包括若干编码子模块；所述编码子模块包括Transformer单元和下采样单元；所述Transformer单元包括第一归一化层、多空洞特征聚合子单元、第二归一化层、自注意力计算单元、第三归一化层和空洞前馈网络；所述多空洞特征聚合子单元包括若干个深度可分离空洞卷积块、一个卷积块和融合单元；所述深度可分离空洞卷积块包括深度可分离空洞卷积层和相乘子单元；所述深度可分离空洞卷积层用于对所述第一归一化层的输出进行特征提取，得到深度可分离空洞卷积特征；所述卷积块用于对所述第一归一化层的输出进行特征提取并处理，得到每一所述深度可分离空洞卷积特征对应的调整权重；所述相乘子单元用于对所述深度可分离空洞卷积特征和所述深度可分离空洞卷积特征对应的调整权重进行元素相乘操作，得到相乘特征；所述融合单元用于对所有所述相乘子单元输出的相乘特征进行融合，得到多空洞特征聚合特征；
所述中间模块用于对所述编码器中最后一个所述编码子模块的输出进行特征提取，得到中间特征；
所述解码器包括若干解码子模块；所述解码子模块包括上采样单元、解码相加单元和Transformer单元；
所述第二卷积模块用于对所述解码器的输出进行特征提取，得到第二卷积特征；
所述第一相加模块用于对所述第一卷积特征和所述第二卷积特征进行相加操作，得到相加卷积特征；
所述第二相加模块用于对所述目标图像和所述第三卷积模块的输出进行相加操作，得到所述目标图像对应的去模糊图像。
CN202311623505.9A 2023-11-30 2023-11-30 一种轻量化图像去模糊方法及系统 Pending CN117455808A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311623505.9A CN117455808A (zh) 2023-11-30 2023-11-30 一种轻量化图像去模糊方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311623505.9A CN117455808A (zh) 2023-11-30 2023-11-30 一种轻量化图像去模糊方法及系统

Publications (1)

Publication Number Publication Date
CN117455808A true CN117455808A (zh) 2024-01-26

Family

ID=89583762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311623505.9A Pending CN117455808A (zh) 2023-11-30 2023-11-30 一种轻量化图像去模糊方法及系统

Country Status (1)

Country Link
CN (1) CN117455808A (zh)

Similar Documents

Publication Publication Date Title
CN109905624B (zh) 一种视频帧插值方法、装置及设备
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
CN113139907A (zh) 视觉分辨率增强的生成方法、系统、装置及存储介质
Sun et al. Lightweight image super-resolution via weighted multi-scale residual network
CN113362250B (zh) 一种基于双树四元小波与深度学习的图像去噪方法及系统
CN114820341A (zh) 一种基于增强Transformer的图像盲去噪方法及系统
CN113808032A (zh) 多阶段渐进式的图像去噪算法
CN110189260B (zh) 一种基于多尺度并行门控神经网络的图像降噪方法
CN103136728B (zh) 基于字典学习和非局部总变差的图像超分辨方法
Kim et al. Deeply aggregated alternating minimization for image restoration
CN112422870B (zh) 一种基于知识蒸馏的深度学习视频插帧方法
CN112509144A (zh) 人脸图像处理方法、装置、电子设备及存储介质
CN111667401B (zh) 多层次渐变图像风格迁移方法及系统
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其系统
CN114723630A (zh) 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
Yu et al. A review of single image super-resolution reconstruction based on deep learning
CN116071748A (zh) 一种基于频域全局滤波的无监督视频目标分割方法
CN117593187A (zh) 基于元学习和Transformer的遥感图像任意尺度超分辨率重建方法
CN117058392A (zh) 一种基于卷积局部增强的多尺度Transformer图像语义分割方法
CN116128722A (zh) 基于频域-纹理特征融合的图像超分辨率重建方法及系统
CN117495935A (zh) 一种基于交叉特征提取窗口与动态特征融合窗口的深度补全方法
CN117455808A (zh) 一种轻量化图像去模糊方法及系统
CN115564655A (zh) 基于深度学习的视频超分辨率重建方法、系统及介质
CN116266336A (zh) 视频超分辨率重建方法、装置、计算设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination