CN116993630A - 基于残差图像的注意力特征的去运动模糊方法及装置 - Google Patents

基于残差图像的注意力特征的去运动模糊方法及装置 Download PDF

Info

Publication number
CN116993630A
CN116993630A CN202311262094.5A CN202311262094A CN116993630A CN 116993630 A CN116993630 A CN 116993630A CN 202311262094 A CN202311262094 A CN 202311262094A CN 116993630 A CN116993630 A CN 116993630A
Authority
CN
China
Prior art keywords
image
residual
motion blur
attention
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311262094.5A
Other languages
English (en)
Other versions
CN116993630B (zh
Inventor
李俊
高银
陈军希
陈有章
张世意
廖嵩缐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mindu Innovation Laboratory
Original Assignee
Mindu Innovation Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mindu Innovation Laboratory filed Critical Mindu Innovation Laboratory
Priority to CN202311262094.5A priority Critical patent/CN116993630B/zh
Publication of CN116993630A publication Critical patent/CN116993630A/zh
Application granted granted Critical
Publication of CN116993630B publication Critical patent/CN116993630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域，提供一种基于残差图像的注意力特征的去运动模糊方法及装置，该方法首先获取原始图像，并对原始图像进行下采样，得到不同尺度的多个待处理图像；然后将多个待处理图像分别输入至去运动模糊模型中对应尺度的支路，由去运动模糊模型中尺度最大的支路输出原始图像经去运动模糊后尺度最大的复原图像。该方法通过去运动模糊模型中不同尺度的支路实现多阶段的特征提取与融合，并在尺度最小和次小的支路中提取到水平方向的残差图像和垂直方向的残差图像，可以关注水平方向和垂直方向的不均匀模糊，使得去运动模糊模型的去模糊效果更为清晰显著，为后续原始图像中目标物体的准确识别定位提供强有力的基础。

Description

基于残差图像的注意力特征的去运动模糊方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于残差图像的注意力特征的去运动模糊方法及装置。
背景技术
图像是人们获取信息的重要途径。然而在成像过程中，常常由于相机的抖动、场景中物体的运动、相机失焦等不利因素的影响，导致获得的图像变得模糊，这极大的阻碍了图像的正常使用和后续处理。
图像去运动模糊是图像处理和计算机视觉中一个基本的图像恢复问题，其目标是将因相机的抖动、物体的运动等运动因素导致的模糊图像恢复为清晰图像。然而，这是一个高度不适定问题。现有的大多数图像去模糊方法通常是先确定模糊核，然后基于模糊核对采集的模糊图像进行去卷积处理以得到清晰的图像，该处理过程需耗费较长的计算时间，且通用性差，无法实现最大程度的图像恢复。
发明内容
本发明提供一种基于残差图像的注意力特征的去运动模糊方法及装置，用以解决现有技术中存在的缺陷。
本发明提供一种基于残差图像的注意力特征的去运动模糊方法，包括：
获取原始图像，并对所述原始图像进行下采样，得到不同尺度的多个待处理图像；
将所述多个待处理图像分别输入至去运动模糊模型中对应尺度的支路，由所述去运动模糊模型中尺度最大的支路输出所述原始图像经去运动模糊后尺度最大的复原图像；
其中，所述去运动模糊模型中尺度最小的支路用于对尺度最小的待处理图像进行特征提取，得到水平方向的第一残差图像和垂直方向的第二残差图像，并对所述第一残差图像和所述第二残差图像进行注意力特征的融合，得到第一残差注意力特征；
所述去运动模糊模型中尺度次小的支路用于将所述第一残差注意力特征与尺度次小的待处理图像进行相加，得到第一相加结果，并对所述第一相加结果进行特征提取，得到水平方向的第三残差图像和垂直方向的第四残差图像，对所述第三残差图像和所述第四残差图像进行注意力特征融合，得到第二残差注意力特征；
所述去运动模糊模型中尺度最大的支路用于将尺度最大的待处理图像进行特征提取，得到图像特征，并将所述第二残差注意力特征与所述图像特征进行相加，得到第二相加结果，基于所述第二相加结果，得到尺度最大的复原图像。
根据本发明提供的一种基于残差图像的注意力特征的去运动模糊方法，所述去运动模糊模型中尺度最小的支路包括第一残差提取模块、第一残差注意力融合模块和第一卷积模块；
所述第一残差提取模块用于对尺度最小的待处理图像进行特征提取，得到所述第一残差图像和所述第二残差图像；
所述第一卷积模块用于对尺度最小的待处理图像进行变换，得到第一变换图像；
所述第一残差注意力融合模块用于将所述第一变换图像分别与所述第一残差图像和所述第二残差图像的融合结果进行拼接，得到所述第一残差注意力特征。
根据本发明提供的一种基于残差图像的注意力特征的去运动模糊方法，所述去运动模糊模型中尺度最小的支路还包括第一相加模块；
所述第一相加模块用于将所述第一残差注意力特征与尺度最小的待处理图像进行相加操作，得到尺度最小的复原图像。
根据本发明提供的一种基于残差图像的注意力特征的去运动模糊方法，所述去运动模糊模型中尺度次小的支路包括第二相加模块、第二残差提取模块、第二残差注意力融合模块和第二卷积模块；
所述第二相加模块用于将尺度次小的待处理图像与所述第一残差注意力特征进行相加，得到所述第一相加结果；
所述第二残差提取模块用于对尺度次小的待处理图像进行特征提取，得到所述第三残差图像和所述第四残差图像；
所述第二卷积模块用于对尺度次小的待处理图像进行变换，得到第二变换图像；
所述第二残差注意力融合模块用于将所述第二变换图像分别与所述第三残差图像和所述第四残差图像的融合结果进行拼接，得到所述第二残差注意力特征。
根据本发明提供的一种基于残差图像的注意力特征的去运动模糊方法，所述去运动模糊模型中尺度次小的支路还包括第三相加模块；
所述第三相加模块用于将所述第二残差注意力特征与尺度次小的待处理图像进行拼接，得到尺度次小的复原图像。
根据本发明提供的一种基于残差图像的注意力特征的去运动模糊方法，所述去运动模糊模型中尺度最大的支路包括图像特征提取模块、第四相加模块和原始分辨率特征提取模块；
所述图像特征提取模块用于将尺度最大的待处理图像进行特征提取，得到所述图像特征；
所述第四相加模块用于将所述第二残差注意力特征与所述图像特征进行相加，得到所述第二相加结果；
所述原始分辨率特征提取模块用于提取所述第二相加结果的预设分辨率特征。
根据本发明提供的一种基于残差图像的注意力特征的去运动模糊方法，所述去运动模糊模型中尺度最大的支路还包括第五相加模块；
所述第五相加模块用于将所述预设分辨率特征与尺度最大的待处理图像进行拼接，得到尺度最大的复原图像。
根据本发明提供的一种基于残差图像的注意力特征的去运动模糊方法，所述去运动模糊模型基于如下步骤训练得到：
将图像样本输入至初始模型，得到所述初始模型中各尺度的支路输出的对应尺度的样本复原图像；
将所述图像样本进行下采样，得到所述图像样本对应的标签样本，并基于所述样本复原图像和所述标签样本，计算目标损失函数的取值；
基于所述目标损失函数的取值，对所述初始模型的结构参数进行更新，得到所述去运动模糊模型；
其中，所述目标损失函数基于Charbonnier损失、边缘损失和频率重构损失加权确定。
根据本发明提供的一种基于残差图像的注意力特征的去运动模糊方法，所述对尺度最小的待处理图像进行特征提取，得到水平方向的第一残差图像和垂直方向的第二残差图像，包括：
将尺度最小的待处理图像输入至第一编码器，得到第一编码结果，并将所述第一编码结果输入至第一解码器，得到所述第一解码器输出的所述第一残差图像；
将所述第一解码器的模型参数进行90°翻转，得到第一翻转结果，并基于所述第一翻转结果和所述第一残差图像，确定所述第二残差图像；
和/或，
将所述第一相加结果输入至第二编码器，得到第二编码结果，并将所述第二编码结果输入至第二解码器，得到所述第二解码器输出的所述第三残差图像；
将所述第二解码器的模型参数进行90°翻转，得到第二翻转结果，并基于所述第二翻转结果和所述第三残差图像，确定所述第四残差图像。
本发明还提供一种基于残差图像的注意力特征的去运动模糊装置，包括：
图像获取模块，用于获取原始图像，并对所述原始图像进行下采样，得到不同尺度的多个待处理图像；
去运动模糊模块，用于将所述多个待处理图像分别输入至去运动模糊模型中对应尺度的支路，由所述去运动模糊模型中尺度最大的支路输出所述原始图像经去运动模糊后尺度最大的复原图像；
其中，所述去运动模糊模型中尺度最小的支路用于对尺度最小的待处理图像进行特征提取，得到水平方向的第一残差图像和垂直方向的第二残差图像，并对所述第一残差图像和所述第二残差图像进行注意力特征的融合，得到第一残差注意力特征；
所述去运动模糊模型中尺度次小的支路用于将所述第一残差注意力特征与尺度次小的待处理图像进行相加，得到第一相加结果，并对所述第一相加结果进行特征提取，得到水平方向的第三残差图像和垂直方向的第四残差图像，对所述第三残差图像和所述第四残差图像进行注意力特征融合，得到第二残差注意力特征；
所述去运动模糊模型中尺度最大的支路用于将尺度最大的待处理图像进行特征提取，得到图像特征，并将所述第二残差注意力特征与所述图像特征进行相加，得到第二相加结果，基于所述第二相加结果，得到尺度最大的复原图像。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的基于残差图像的注意力特征的去运动模糊方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的基于残差图像的注意力特征的去运动模糊方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的基于残差图像的注意力特征的去运动模糊方法。
与现有技术相比，本发明具有如下有益效果：
本发明提供的基于残差图像的注意力特征的去运动模糊方法及装置，该方法首先获取原始图像，并对原始图像进行下采样，得到不同尺度的多个待处理图像；然后将多个待处理图像分别输入至去运动模糊模型中对应尺度的支路，由去运动模糊模型中尺度最大的支路输出原始图像经去运动模糊后尺度最大的复原图像。该方法通过去运动模糊模型中不同尺度的支路实现多阶段的特征提取与融合，并在尺度最小和次小的支路中提取到水平方向的残差图像和垂直方向的残差图像，可以关注水平方向和垂直方向的不均匀模糊，使得去运动模糊模型的去模糊效果更为清晰显著，为后续原始图像中目标物体的准确识别定位提供强有力的基础。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于残差图像的注意力特征的去运动模糊方法的流程示意图；
图2是本发明提供的基于残差图像的注意力特征的去运动模糊方法中去运动模糊模型的残差提取模块的结构示意图；
图3是本发明提供的基于残差图像的注意力特征的去运动模糊方法中去运动模糊模型的结构示意图；
图4是本发明提供的基于残差图像的注意力特征的去运动模糊方法中去运动模糊模型的残差注意力融合模块的结构示意图；
图5是本发明提供的基于残差图像的注意力特征的去运动模糊装置的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
由于现有的大多数图像去模糊方法的处理过程需耗费较长的计算时间，且通用性差，无法实现最大程度的图像恢复。因此，本发明实施例中提供了一种基于残差图像的注意力特征的去运动模糊方法。
图1是本发明实施例中提供的一种基于残差图像的注意力特征的去运动模糊方法的流程示意图，如图1所示，该方法包括：
S1，获取原始图像，并对所述原始图像进行下采样，得到不同尺度的多个待处理图像；
S2，将所述多个待处理图像分别输入至去运动模糊模型中对应尺度的支路，由所述去运动模糊模型中尺度最大的支路输出所述原始图像经去运动模糊后尺度最大的复原图像；
其中，所述去运动模糊模型中尺度最小的支路用于对尺度最小的待处理图像进行特征提取，得到水平方向的第一残差图像和垂直方向的第二残差图像，并对所述第一残差图像和所述第二残差图像进行注意力特征的融合，得到第一残差注意力特征；
所述去运动模糊模型中尺度次小的支路用于将所述第一残差注意力特征与尺度次小的待处理图像进行相加，得到第一相加结果，并对所述第一相加结果进行特征提取，得到水平方向的第三残差图像和垂直方向的第四残差图像，对所述第三残差图像和所述第四残差图像进行注意力特征融合，得到第二残差注意力特征；
所述去运动模糊模型中尺度最大的支路用于将尺度最大的待处理图像进行特征提取，得到图像特征，并将所述第二残差注意力特征与所述图像特征进行相加，得到第二相加结果，基于所述第二相加结果，得到尺度最大的复原图像。
具体地，本发明实施例中提供的基于残差图像的注意力特征的去运动模糊方法，其执行主体为基于残差图像的注意力特征的去运动模糊装置，该装置可以配置于计算机内，该计算机可以为本地计算机或云计算机，本地计算机可以是电脑、平板等，此处不作具体限定。
首先执行步骤S1，获取原始图像，该原始图像是指存在运动模糊、需要对其进行去运动模糊操作的模糊图像，可以是大尺寸基板图像，也可以是其他领域的图像，此处不作具体限定。该原始图像可以通过图像采集设备采集得到。
对原始图像进行下采样，得到不同尺度的多个待处理图像。待处理图像的数量可以根据需要进行设定，例如可以为3个，则待处理图像包括尺度最小的待处理图像、尺度次小的待处理图像和尺度最大的待处理图像。此处，尺度最大的待处理图像即为原始图像。
然后执行步骤S2，将多个待处理图像分别输入至去运动模糊模型中对应尺度的支路，由去运动模糊模型中尺度最大的支路输出原始图像经去运动模糊后尺度最大的复原图像。
若待处理图像包括3个，则去运动模糊模型包括3个支路，分别为尺度最小的支路、尺度次小的支路和尺度最大的支路。其中，尺度最小的支路对应于第一阶段，尺度次小的支路对应于第二阶段，尺度最大的支路对应于第三阶段。
其中，去运动模糊模型中尺度最小的支路用于对尺度最小的待处理图像进行特征提取，得到水平方向的第一残差图像和垂直方向的第二残差图像。去运动模糊模型中尺度次小的支路用于将第一残差注意力特征与尺度次小的待处理图像进行相加操作，得到第一相加结果，并对第一相加结果进行特征提取，得到水平方向的第三残差图像和垂直方向的第四残差图像。
本发明实施例中，残差图像r与不具有运动模糊的真实图像y之间的关系可以表示为r=y-x。其中，x为尺度最小的待处理图像，或者为第一相加结果。形式上，残差图像的估计可以通过所提出的具有可学习参数的残差提取（Residual Extraction，RE）模块实现，此时x作为残差提取模块的输入图像，/>作为残差提取模块的输出图像，即通过残差提取模块估计得到的残差图像。由此，去运动模糊模型中尺度最小的支路以及尺度次小的支路均可以包括残差提取模块，以实现残差图像的确定。
残差提取模块可以通过函数F表示，即有：
。
残差提取模块可以通过编码器对输入图像进行编码，得到编码结果z，并使用两个解码器，分别对编码结果z进行水平和垂直方向上的解码，可以得到：
；
；
其中，为输入图像对应的水平方向上的残差图像，若输入图像为尺度最小的待处理图像，则/>为第一残差图像，若输入图像为第一相加结果，则/>为第三残差图像。/>为输入图像对应的垂直方向上的残差图像，若输入图像为尺度最小的待处理图像，则/>为第二残差图像，若输入图像为第一相加结果，则/>为第四残差图像。/>为用于对编码结果z进行水平方向上的解码的第一解码器，/>为用于对编码结果z进行垂直方向上的解码的第二解码器，/>为第一解码器中的可学习参数，/>为第二解码器中的可学习参数。
如图2所示，为残差提取模块的结构示意图。该残差提取模块为一个编码器、两个解码器的架构，包括主干上依次连接的第一模块、第二模块和第三模块，第三模块分别与第一分支和第二分支连接。
第一模块包括第一卷积（Conv）层和第一半实例模块（Half Instance Module，HIModule），第二模块包括第二卷积层和第二半实例模块，第三模块包括第三卷积层和第三半实例模块。
第一分支包括依次连接的第四半实例模块、第一转置卷积层、第四卷积层、第五半实例模块、第二转置卷积（Transposed conv）层、第五卷积层、第六半实例模块和第六卷积层。
第二分支包括依次连接的第七半实例模块、第三转置卷积层、第七卷积层、第八半实例模块、第四转置卷积层、第八卷积层、第九半实例模块和第九卷积层。
第一模块还分别与第五卷积层和第八卷积层连接，第二模块还分别与第四卷积层和第七卷积层连接。
其中，第一卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第八卷积层和第九卷积层均执行步频为1的卷积操作，第二卷积层和第三卷积层均执行步频为2的卷积操作，且第二卷积层的通道数小于第三卷积层的通道数。第一半实例模块、第二半实例模块和第三半实例模块的通道数依次增大。
去运动模糊模型中尺度最小的支路在得到第一残差图像和第二残差图像之后，对第一残差图像和第二残差图像进行注意力特征的融合，得到第一残差注意力特征。去运动模糊模型中尺度次小的支路在得到第三残差图像和第四残差图像之后，对第三残差图像和第四残差图像进行注意力特征的融合，得到第二残差注意力特征。
第一残差注意力特征和第二残差注意力特征的确定过程，均可以通过残差注意力融合（Resdiual Attention Fusion，RAF）模块实现。
去运动模糊模型中尺度最大的支路可以对尺度最大的待处理图像进行特征提取，得到图像特征。然后，可以将第二残差注意力特征与图像特征进行相加操作，得到第二相加结果。最终，利用第二相加结果，得到尺度最大的复原图像。
本发明实施例中提供的基于残差图像的注意力特征的去运动模糊方法，首先获取原始图像，并对原始图像进行下采样，得到不同尺度的多个待处理图像；然后将多个待处理图像分别输入至去运动模糊模型中对应尺度的支路，由去运动模糊模型中尺度最大的支路输出原始图像经去运动模糊后尺度最大的复原图像。该方法通过去运动模糊模型中不同尺度的支路实现多阶段的特征提取与融合，并在尺度最小和次小的支路中提取到水平方向的残差图像和垂直方向的残差图像，可以关注水平方向和垂直方向的不均匀模糊，使得去运动模糊模型的去模糊效果更为清晰显著，为后续原始图像中目标物体的准确识别定位提供强有力的基础。
如图3所示，在上述实施例的基础上，本发明实施例中提供的基于残差图像的注意力特征的去运动模糊方法，所述去运动模糊模型中尺度最小的支路包括第一残差提取模块、第一残差注意力融合模块和第一卷积模块；
所述第一残差提取模块用于对尺度最小的待处理图像进行特征提取，得到所述第一残差图像和所述第二残差图像；
所述第一卷积模块用于对尺度最小的待处理图像进行变换，得到第一变换图像；
所述第一残差注意力融合模块用于将所述第一变换图像分别与所述第一残差图像和所述第二残差图像的融合结果进行拼接，得到所述第一残差注意力特征。
如图3所示，在上述实施例的基础上，本发明实施例中提供的基于残差图像的注意力特征的去运动模糊方法，所述去运动模糊模型中尺度最小的支路还包括第一相加（add）模块；
所述第一相加模块用于将所述第一残差注意力特征与尺度最小的待处理图像进行相加操作，得到尺度最小的复原图像。
如图3所示，在上述实施例的基础上，本发明实施例中提供的基于残差图像的注意力特征的去运动模糊方法，所述去运动模糊模型中尺度次小的支路包括第二相加模块、第二残差提取模块、第二残差注意力融合模块和第二卷积模块；
所述第二相加模块用于将尺度次小的待处理图像与所述第一残差注意力特征进行相加，得到所述第一相加结果；不仅可以保留第二阶段的详细信息，同时也可以获得第一阶段的丰富语义。
所述第二残差提取模块用于对尺度次小的待处理图像进行特征提取，得到所述第三残差图像和所述第四残差图像；
所述第二卷积模块用于对尺度次小的待处理图像进行变换，得到第二变换图像；
所述第二残差注意力融合模块用于将所述第二变换图像分别与所述第三残差图像和所述第四残差图像的融合结果进行拼接，得到所述第二残差注意力特征。
如图3所示，在上述实施例的基础上，本发明实施例中提供的基于残差图像的注意力特征的去运动模糊方法，所述去运动模糊模型中尺度次小的支路还包括第三相加模块；
所述第三相加模块用于将所述第二残差注意力特征与尺度次小的待处理图像进行拼接，得到尺度次小的复原图像。
如图4所示，在上述实施例的基础上，本发明实施例中提供的基于残差图像的注意力特征的去运动模糊方法，第一残差注意力融合模块和第二残差注意力融合模块均可以包括第三分支、第四分支和拼接（concat）层，第三分支可以包括第十卷积层、第一激活层和第一乘法层，第四分支可以包括第十一卷积层、第二激活层和第二乘法层。
首先，第一残差注意力融合模块和第二残差注意力融合模块为对应分支的残差图像的恢复提供有用的边缘信号。其次，在局部监督预测的帮助下，第一残差注意力融合模块和第二残差注意力融合模块均生成注意力映射，以抑制对应分支中信息量较少的特征，只允许有用的特征传播到下一分支。
第一残差注意力融合模块和第二残差注意力融合模块均执行如下过程：
首先，通过1×1的第十卷积层生成水平残差映射，其中/>表示空间维度，/>是通道数。使用第一激活层中的sigmoid函数激活，生成每像素的注意力掩模/>。这些注意力掩模/>用于重新校准经第一卷积模块变换得到的第一变换图像/>，将注意力掩模/>与第一变换图像/>通过第一乘法层进行相乘操作，从而产生被添加到映射路径的注意力引导特征/>。
同理，通过1×1的第十一卷积层生成垂直残差映射，采用第二激活层中的sigmoid函数激活，生成每像素的注意力掩模/>。将注意力掩模/>与经过第二乘法层进行相乘操作后获得被添加到映射路径的注意力引导特征。
通过拼接层对和/>进行拼接操作，第一残差注意力融合模块生成，第二残差注意力融合模块生成/>。
如图3所示，在上述实施例的基础上，本发明实施例中提供的基于残差图像的注意力特征的去运动模糊方法，所述去运动模糊模型中尺度最大的支路包括图像特征提取模块、第四相加模块和原始分辨率特征提取模块；
所述图像特征提取模块用于将尺度最大的待处理图像进行特征提取，得到所述图像特征；
所述第四相加模块用于将所述第二残差注意力特征与所述图像特征进行相加，得到所述第二相加结果；通过将第二残差注意力特征与尺度最大的待处理图像的图像特征进行相加操作，可以实现对第一阶段和第二阶段的特征信息的融合，进而可以提升去模糊的效果。
所述原始分辨率特征提取模块用于提取所述第二相加结果的预设分辨率特征。
如图3所示，在上述实施例的基础上，本发明实施例中提供的基于残差图像的注意力特征的去运动模糊方法，所述去运动模糊模型中尺度最大的支路中图像特征提取模块包括卷积层和通道注意力块（CBA），原始分辨率特征提取模块可以包括ORSNet子网和卷积层。
ORSNet子网中由n个原始分辨率块（ORB）构成，其不采用任何下采样操作，并生成空间富集的高分辨率特征。其中，每个原始分辨率块还包含CAB。
如图3所示，在上述实施例的基础上，本发明实施例中提供的基于残差图像的注意力特征的去运动模糊方法，所述去运动模糊模型中尺度最大的支路还包括第五相加模块；
所述第五相加模块用于将所述预设分辨率特征与尺度最大的待处理图像进行拼接，得到尺度最大的复原图像。
在上述实施例的基础上，本发明实施例中提供的基于残差图像的注意力特征的去运动模糊方法，所述对尺度最小的待处理图像进行特征提取，得到水平方向的第一残差图像和垂直方向的第二残差图像，包括：
将尺度最小的待处理图像输入至第一编码器，得到第一编码结果，并将所述第一编码结果输入至第一解码器，得到所述第一解码器输出的所述第一残差图像；
将所述第一解码器的模型参数进行90°翻转，得到第一翻转结果，并基于所述第一翻转结果和所述第一残差图像，确定所述第二残差图像；
和/或，
将所述第一相加结果输入至第二编码器，得到第二编码结果，并将所述第二编码结果输入至第二解码器，得到所述第二解码器输出的所述第三残差图像；
将所述第二解码器的模型参数进行90°翻转，得到第二翻转结果，并基于所述第二翻转结果和所述第三残差图像，确定所述第四残差图像。
具体地，由于模糊通常是由于目标物体在水平方向上的移动所造成，在不影响精度的情况下，可以将求解转化为对水平方向的残差图像翻转90°，可以降低残差提取模块的计算量，提升效率。这迫使解码器共享除沿着轴向方向的信息之外的其他信息，使残差提取模块的学习过程规则化。因此，残差提取模块可以仅专注于消除模糊分量。
其中，去运动模糊模型中尺度最小的支路中第一残差提取模块中可以仅包括第一编码器和第一解码器，将尺度最小的待处理图像输入至第一编码器可以得到第一编码结果，将该第一编码结果输入至第一解码器，可以得到第一残差图像。此后，可以将第一解码器的模型参数进行90°翻转，得到第一翻转结果，利用第一翻转结果和第一残差图像，即可确定第二残差图像。
去运动模糊模型中尺度次小的支路中第二残差提取模块中可以仅包括第二编码器和第二解码器，将尺度最小的待处理图像输入至第二编码器可以得到第二编码结果，将该第二编码结果输入至第二解码器，可以得到第三残差图像。此后，可以将第二解码器的模型参数进行90°翻转，得到第二翻转结果，利用第二翻转结果和第三残差图像，即可确定第四残差图像。
由此，的求解方法简化为：
；
其中，是对/>的90°进行翻转后得到的翻转结果。
在上述实施例的基础上，本发明实施例中提供的基于残差图像的注意力特征的去运动模糊方法，所述去运动模糊模型基于如下步骤训练得到：
将图像样本输入至初始模型，得到所述初始模型中各尺度的支路输出的对应尺度的样本复原图像；
将所述图像样本进行下采样，得到所述图像样本对应的标签样本，并基于所述样本复原图像和所述标签样本，计算目标损失函数的取值；
基于所述目标损失函数的取值，对所述初始模型的结构参数进行更新，得到所述去运动模糊模型；
其中，所述目标损失函数基于Charbonnier损失、边缘损失和频率重构损失加权确定。
具体地，在任何给定阶段S（S=1、2、3），代替直接预测样本复原图像，预测模型可以预测样本残差图像/>，因此图像样本可以表示为：/>，I为图像样本。
使用以下目标损失函数端到端优化初始模型：
；
其中，Y表示每个阶段经过下采样得到的标签样本，和/>均为权重值。
是Charbonnier损失，且有：
；
其中，可以设置为0.001。
表示边缘损失，用于恢复图像细节，且有：
；
其中，表示变化量。
表示频率重建损失，通过最小化频域中图像样本和地面实况之间的差异来从图像样本中恢复高频细节。/>可以定义为：
；
其中，是傅里叶变换。
综上所述，本发明实施例中提供的基于残差图像的注意力特征的去运动模糊方法，采用的运动去模糊模型，得益于水平方向和垂直方向不同的残差图像，以及对两个残差图像的合并和跨阶段特征融合，着重恢复产生模糊的像素点，使得复原图像的恢复效果更为逼真。相较于其他运动去模糊方法，该方法针对性强，对水平和垂直方向的运动模糊具有更好的去模糊效果。同时提高了画面真实性，使得复原图像在视觉效果上更好，进而可以提高复原图像中目标物体检测定位的准确性和鲁棒性。
如图5所示，在上述实施例的基础上，本发明实施例中提供了一种基于残差图像的注意力特征的去运动模糊装置，包括：
图像获取模块51，用于获取原始图像，并对所述原始图像进行下采样，得到不同尺度的多个待处理图像；
去运动模糊模块52，用于将所述多个待处理图像分别输入至去运动模糊模型中对应尺度的支路，由所述去运动模糊模型中尺度最大的支路输出所述原始图像经去运动模糊后尺度最大的复原图像；
其中，所述去运动模糊模型中尺度最小的支路用于对尺度最小的待处理图像进行特征提取，得到水平方向的第一残差图像和垂直方向的第二残差图像，并对所述第一残差图像和所述第二残差图像进行注意力特征的融合，得到第一残差注意力特征；
所述去运动模糊模型中尺度次小的支路用于将所述第一残差注意力特征与尺度次小的待处理图像进行相加，得到第一相加结果，并对所述第一相加结果进行特征提取，得到水平方向的第三残差图像和垂直方向的第四残差图像，对所述第三残差图像和所述第四残差图像进行注意力特征融合，得到第二残差注意力特征；
所述去运动模糊模型中尺度最大的支路用于将尺度最大的待处理图像进行特征提取，得到图像特征，并将所述第二残差注意力特征与所述图像特征进行相加，得到第二相加结果，基于所述第二相加结果，得到尺度最大的复原图像。
在上述实施例的基础上，本发明实施例中提供了一种基于残差图像的注意力特征的去运动模糊装置，所述去运动模糊模型中尺度最小的支路包括第一残差提取模块、第一残差注意力融合模块和第一卷积模块；
所述第一残差提取模块用于对尺度最小的待处理图像进行特征提取，得到所述第一残差图像和所述第二残差图像；
所述第一卷积模块用于对尺度最小的待处理图像进行变换，得到第一变换图像；
所述第一残差注意力融合模块用于将所述第一变换图像分别与所述第一残差图像和所述第二残差图像的融合结果进行拼接，得到所述第一残差注意力特征。
在上述实施例的基础上，本发明实施例中提供了一种基于残差图像的注意力特征的去运动模糊装置，所述去运动模糊模型中尺度最小的支路还包括第一相加模块；
所述第一相加模块用于将所述第一残差注意力特征与尺度最小的待处理图像进行相加操作，得到尺度最小的复原图像。
在上述实施例的基础上，本发明实施例中提供了一种基于残差图像的注意力特征的去运动模糊装置，所述去运动模糊模型中尺度次小的支路包括第二相加模块、第二残差提取模块、第二残差注意力融合模块和第二卷积模块；
所述第二相加模块用于将尺度次小的待处理图像与所述第一残差注意力特征进行相加，得到所述第一相加结果；
所述第二残差提取模块用于对尺度次小的待处理图像进行特征提取，得到所述第三残差图像和所述第四残差图像；
所述第二卷积模块用于对尺度次小的待处理图像进行变换，得到第二变换图像；
所述第二残差注意力融合模块用于将所述第二变换图像分别与所述第三残差图像和所述第四残差图像的融合结果进行拼接，得到所述第二残差注意力特征。
在上述实施例的基础上，本发明实施例中提供了一种基于残差图像的注意力特征的去运动模糊装置，所述去运动模糊模型中尺度次小的支路还包括第三相加模块；
所述第三相加模块用于将所述第二残差注意力特征与尺度次小的待处理图像进行拼接，得到尺度次小的复原图像。
在上述实施例的基础上，本发明实施例中提供了一种基于残差图像的注意力特征的去运动模糊装置，所述去运动模糊模型中尺度最大的支路包括图像特征提取模块、第四相加模块和原始分辨率特征提取模块；
所述图像特征提取模块用于将尺度最大的待处理图像进行特征提取，得到所述图像特征；
所述第四相加模块用于将所述第二残差注意力特征与所述图像特征进行相加，得到所述第二相加结果；
所述原始分辨率特征提取模块用于提取所述第二相加结果的预设分辨率特征。
在上述实施例的基础上，本发明实施例中提供了一种基于残差图像的注意力特征的去运动模糊装置，所述去运动模糊模型中尺度最大的支路还包括第五相加模块；
所述第五相加模块用于将所述预设分辨率特征与尺度最大的待处理图像进行拼接，得到尺度最大的复原图像。
在上述实施例的基础上，本发明实施例中提供了一种基于残差图像的注意力特征的去运动模糊装置，所述去运动模糊模型基于如下步骤训练得到：
将图像样本输入至初始模型，得到所述初始模型中各尺度的支路输出的对应尺度的样本复原图像；
将所述图像样本进行下采样，得到所述图像样本对应的标签样本，并基于所述样本复原图像和所述标签样本，计算目标损失函数的取值；
基于所述目标损失函数的取值，对所述初始模型的结构参数进行更新，得到所述去运动模糊模型；
其中，所述目标损失函数基于Charbonnier损失、边缘损失和频率重构损失加权确定。
在上述实施例的基础上，本发明实施例中提供了一种基于残差图像的注意力特征的去运动模糊装置，所述对尺度最小的待处理图像进行特征提取，得到水平方向的第一残差图像和垂直方向的第二残差图像，包括：
将尺度最小的待处理图像输入至第一编码器，得到第一编码结果，并将所述第一编码结果输入至第一解码器，得到所述第一解码器输出的所述第一残差图像；
将所述第一解码器的模型参数进行90°翻转，得到第一翻转结果，并基于所述第一翻转结果和所述第一残差图像，确定所述第二残差图像；
和/或，
将所述第一相加结果输入至第二编码器，得到第二编码结果，并将所述第二编码结果输入至第二解码器，得到所述第二解码器输出的所述第三残差图像；
将所述第二解码器的模型参数进行90°翻转，得到第二翻转结果，并基于所述第二翻转结果和所述第三残差图像，确定所述第四残差图像。
具体地，本发明实施例中提供的基于残差图像的注意力特征的去运动模糊装置中各模块的作用与上述方法类实施例中各步骤的操作流程是一一对应的，实现的效果也是一致的，具体参见上述实施例，本发明实施例中对此不再赘述。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器（Processor）610、通信接口（Communications Interface）620、存储器（Memory）630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行上述各实施例中提供的基于残差图像的注意力特征的去运动模糊方法，该方法包括：获取原始图像，并对所述原始图像进行下采样，得到不同尺度的多个待处理图像；将所述多个待处理图像分别输入至去运动模糊模型中对应尺度的支路，由所述去运动模糊模型中尺度最大的支路输出所述原始图像经去运动模糊后尺度最大的复原图像；其中，所述去运动模糊模型中尺度最小的支路用于对尺度最小的待处理图像进行特征提取，得到水平方向的第一残差图像和垂直方向的第二残差图像，并对所述第一残差图像和所述第二残差图像进行注意力特征的融合，得到第一残差注意力特征；所述去运动模糊模型中尺度次小的支路用于将所述第一残差注意力特征与尺度次小的待处理图像进行相加，得到第一相加结果，并对所述第一相加结果进行特征提取，得到水平方向的第三残差图像和垂直方向的第四残差图像，对所述第三残差图像和所述第四残差图像进行注意力特征融合，得到第二残差注意力特征；所述去运动模糊模型中尺度最大的支路用于将尺度最大的待处理图像进行特征提取，得到图像特征，并将所述第二残差注意力特征与所述图像特征进行相加，得到第二相加结果，基于所述第二相加结果，得到尺度最大的复原图像。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各实施例中提供的基于残差图像的注意力特征的去运动模糊方法，该方法包括：获取原始图像，并对所述原始图像进行下采样，得到不同尺度的多个待处理图像；将所述多个待处理图像分别输入至去运动模糊模型中对应尺度的支路，由所述去运动模糊模型中尺度最大的支路输出所述原始图像经去运动模糊后尺度最大的复原图像；其中，所述去运动模糊模型中尺度最小的支路用于对尺度最小的待处理图像进行特征提取，得到水平方向的第一残差图像和垂直方向的第二残差图像，并对所述第一残差图像和所述第二残差图像进行注意力特征的融合，得到第一残差注意力特征；所述去运动模糊模型中尺度次小的支路用于将所述第一残差注意力特征与尺度次小的待处理图像进行相加，得到第一相加结果，并对所述第一相加结果进行特征提取，得到水平方向的第三残差图像和垂直方向的第四残差图像，对所述第三残差图像和所述第四残差图像进行注意力特征融合，得到第二残差注意力特征；所述去运动模糊模型中尺度最大的支路用于将尺度最大的待处理图像进行特征提取，得到图像特征，并将所述第二残差注意力特征与所述图像特征进行相加，得到第二相加结果，基于所述第二相加结果，得到尺度最大的复原图像。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例中提供的基于残差图像的注意力特征的去运动模糊方法，该方法包括：获取原始图像，并对所述原始图像进行下采样，得到不同尺度的多个待处理图像；将所述多个待处理图像分别输入至去运动模糊模型中对应尺度的支路，由所述去运动模糊模型中尺度最大的支路输出所述原始图像经去运动模糊后尺度最大的复原图像；其中，所述去运动模糊模型中尺度最小的支路用于对尺度最小的待处理图像进行特征提取，得到水平方向的第一残差图像和垂直方向的第二残差图像，并对所述第一残差图像和所述第二残差图像进行注意力特征的融合，得到第一残差注意力特征；所述去运动模糊模型中尺度次小的支路用于将所述第一残差注意力特征与尺度次小的待处理图像进行相加，得到第一相加结果，并对所述第一相加结果进行特征提取，得到水平方向的第三残差图像和垂直方向的第四残差图像，对所述第三残差图像和所述第四残差图像进行注意力特征融合，得到第二残差注意力特征；所述去运动模糊模型中尺度最大的支路用于将尺度最大的待处理图像进行特征提取，得到图像特征，并将所述第二残差注意力特征与所述图像特征进行相加，得到第二相加结果，基于所述第二相加结果，得到尺度最大的复原图像。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于残差图像的注意力特征的去运动模糊方法，其特征在于，包括：
获取原始图像，并对所述原始图像进行下采样，得到不同尺度的多个待处理图像；
将所述多个待处理图像分别输入至去运动模糊模型中对应尺度的支路，由所述去运动模糊模型中尺度最大的支路输出所述原始图像经去运动模糊后尺度最大的复原图像；
其中，所述去运动模糊模型中尺度最小的支路用于对尺度最小的待处理图像进行特征提取，得到水平方向的第一残差图像和垂直方向的第二残差图像，并对所述第一残差图像和所述第二残差图像进行注意力特征的融合，得到第一残差注意力特征；
所述去运动模糊模型中尺度次小的支路用于将所述第一残差注意力特征与尺度次小的待处理图像进行相加，得到第一相加结果，并对所述第一相加结果进行特征提取，得到水平方向的第三残差图像和垂直方向的第四残差图像，对所述第三残差图像和所述第四残差图像进行注意力特征融合，得到第二残差注意力特征；
所述去运动模糊模型中尺度最大的支路用于将尺度最大的待处理图像进行特征提取，得到图像特征，并将所述第二残差注意力特征与所述图像特征进行相加，得到第二相加结果，基于所述第二相加结果，得到尺度最大的复原图像。
2.根据权利要求1所述的基于残差图像的注意力特征的去运动模糊方法，其特征在于，所述去运动模糊模型中尺度最小的支路包括第一残差提取模块、第一残差注意力融合模块和第一卷积模块；
所述第一残差提取模块用于对尺度最小的待处理图像进行特征提取，得到所述第一残差图像和所述第二残差图像；
所述第一卷积模块用于对尺度最小的待处理图像进行变换，得到第一变换图像；
所述第一残差注意力融合模块用于将所述第一变换图像分别与所述第一残差图像和所述第二残差图像的融合结果进行拼接，得到所述第一残差注意力特征。
3.根据权利要求2所述的基于残差图像的注意力特征的去运动模糊方法，其特征在于，所述去运动模糊模型中尺度最小的支路还包括第一相加模块；
所述第一相加模块用于将所述第一残差注意力特征与尺度最小的待处理图像进行相加操作，得到尺度最小的复原图像。
4.根据权利要求1所述的基于残差图像的注意力特征的去运动模糊方法，其特征在于，所述去运动模糊模型中尺度次小的支路包括第二相加模块、第二残差提取模块、第二残差注意力融合模块和第二卷积模块；
所述第二相加模块用于将尺度次小的待处理图像与所述第一残差注意力特征进行相加，得到所述第一相加结果；
所述第二残差提取模块用于对尺度次小的待处理图像进行特征提取，得到所述第三残差图像和所述第四残差图像；
所述第二卷积模块用于对尺度次小的待处理图像进行变换，得到第二变换图像；
所述第二残差注意力融合模块用于将所述第二变换图像分别与所述第三残差图像和所述第四残差图像的融合结果进行拼接，得到所述第二残差注意力特征。
5.根据权利要求4所述的基于残差图像的注意力特征的去运动模糊方法，其特征在于，所述去运动模糊模型中尺度次小的支路还包括第三相加模块；
所述第三相加模块用于将所述第二残差注意力特征与尺度次小的待处理图像进行拼接，得到尺度次小的复原图像。
6.根据权利要求1-5中任一项所述的基于残差图像的注意力特征的去运动模糊方法，其特征在于，所述去运动模糊模型中尺度最大的支路包括图像特征提取模块、第四相加模块和原始分辨率特征提取模块；
所述图像特征提取模块用于将尺度最大的待处理图像进行特征提取，得到所述图像特征；
所述第四相加模块用于将所述第二残差注意力特征与所述图像特征进行相加，得到所述第二相加结果；
所述原始分辨率特征提取模块用于提取所述第二相加结果的预设分辨率特征。
7.根据权利要求6所述的基于残差图像的注意力特征的去运动模糊方法，其特征在于，所述去运动模糊模型中尺度最大的支路还包括第五相加模块；
所述第五相加模块用于将所述预设分辨率特征与尺度最大的待处理图像进行拼接，得到尺度最大的复原图像。
8.根据权利要求1-5中任一项所述的基于残差图像的注意力特征的去运动模糊方法，其特征在于，所述去运动模糊模型基于如下步骤训练得到：
将图像样本输入至初始模型，得到所述初始模型中各尺度的支路输出的对应尺度的样本复原图像；
将所述图像样本进行下采样，得到所述图像样本对应的标签样本，并基于所述样本复原图像和所述标签样本，计算目标损失函数的取值；
基于所述目标损失函数的取值，对所述初始模型的结构参数进行更新，得到所述去运动模糊模型；
其中，所述目标损失函数基于Charbonnier损失、边缘损失和频率重构损失加权确定。
9.根据权利要求1-5中任一项所述的基于残差图像的注意力特征的去运动模糊方法，其特征在于，所述对尺度最小的待处理图像进行特征提取，得到水平方向的第一残差图像和垂直方向的第二残差图像，包括：
将尺度最小的待处理图像输入至第一编码器，得到第一编码结果，并将所述第一编码结果输入至第一解码器，得到所述第一解码器输出的所述第一残差图像；
将所述第一解码器的模型参数进行90°翻转，得到第一翻转结果，并基于所述第一翻转结果和所述第一残差图像，确定所述第二残差图像；
和/或，
将所述第一相加结果输入至第二编码器，得到第二编码结果，并将所述第二编码结果输入至第二解码器，得到所述第二解码器输出的所述第三残差图像；
将所述第二解码器的模型参数进行90°翻转，得到第二翻转结果，并基于所述第二翻转结果和所述第三残差图像，确定所述第四残差图像。
10.一种基于残差图像的注意力特征的去运动模糊装置，其特征在于，包括：
图像获取模块，用于获取原始图像，并对所述原始图像进行下采样，得到不同尺度的多个待处理图像；
去运动模糊模块，用于将所述多个待处理图像分别输入至去运动模糊模型中对应尺度的支路，由所述去运动模糊模型中尺度最大的支路输出所述原始图像经去运动模糊后尺度最大的复原图像；
其中，所述去运动模糊模型中尺度最小的支路用于对尺度最小的待处理图像进行特征提取，得到水平方向的第一残差图像和垂直方向的第二残差图像，并对所述第一残差图像和所述第二残差图像进行注意力特征的融合，得到第一残差注意力特征；
所述去运动模糊模型中尺度次小的支路用于将所述第一残差注意力特征与尺度次小的待处理图像进行相加，得到第一相加结果，并对所述第一相加结果进行特征提取，得到水平方向的第三残差图像和垂直方向的第四残差图像，对所述第三残差图像和所述第四残差图像进行注意力特征融合，得到第二残差注意力特征；
所述去运动模糊模型中尺度最大的支路用于将尺度最大的待处理图像进行特征提取，得到图像特征，并将所述第二残差注意力特征与所述图像特征进行相加，得到第二相加结果，基于所述第二相加结果，得到尺度最大的复原图像。
CN202311262094.5A 2023-09-27 2023-09-27 基于残差图像的注意力特征的去运动模糊方法及装置 Active CN116993630B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311262094.5A CN116993630B (zh) 2023-09-27 2023-09-27 基于残差图像的注意力特征的去运动模糊方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311262094.5A CN116993630B (zh) 2023-09-27 2023-09-27 基于残差图像的注意力特征的去运动模糊方法及装置

Publications (2)

Publication Number Publication Date
CN116993630A true CN116993630A (zh) 2023-11-03
CN116993630B CN116993630B (zh) 2023-12-15

Family

ID=88530653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311262094.5A Active CN116993630B (zh) 2023-09-27 2023-09-27 基于残差图像的注意力特征的去运动模糊方法及装置

Country Status (1)

Country Link
CN (1) CN116993630B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020100274A4 (en) * 2020-02-25 2020-03-26 Huang, Shuying DR A Multi-Scale Feature Fusion Network based on GANs for Haze Removal
CN114723630A (zh) * 2022-03-31 2022-07-08 福州大学 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
CN115170410A (zh) * 2022-06-17 2022-10-11 中国科学院自动化研究所 融合小波变换和注意力机制的图像增强方法及装置
CN115345791A (zh) * 2022-08-10 2022-11-15 南京理工大学 一种基于注意力机制残差网络模型的红外图像去模糊算法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020100274A4 (en) * 2020-02-25 2020-03-26 Huang, Shuying DR A Multi-Scale Feature Fusion Network based on GANs for Haze Removal
CN114723630A (zh) * 2022-03-31 2022-07-08 福州大学 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
CN115170410A (zh) * 2022-06-17 2022-10-11 中国科学院自动化研究所 融合小波变换和注意力机制的图像增强方法及装置
CN115345791A (zh) * 2022-08-10 2022-11-15 南京理工大学 一种基于注意力机制残差网络模型的红外图像去模糊算法

Also Published As

Publication number Publication date
CN116993630B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
CN111275626B (zh) 一种基于模糊度的视频去模糊方法、装置及设备
CN109636721B (zh) 基于对抗学习和注意力机制的视频超分辨率方法
JP2010238234A (ja) シーンの画像のぶれを低減するための方法、画像のぶれを低減するための方法、及び画像のぶれを低減するように構成されたカメラ
CN112053308B (zh) 一种图像去模糊方法、装置、计算机设备及存储介质
CN116681584A (zh) 一种多级扩散图像超分辨算法
CN115456914A (zh) 一种基于先验知识的散焦图像去模糊方法、装置及介质
CN113724136A (zh) 一种视频修复方法、设备及介质
Xu et al. Dual adversarial adaptation for cross-device real-world image super-resolution
Fan et al. An empirical investigation of efficient spatio-temporal modeling in video restoration
CN108122262B (zh) 基于主结构分离的稀疏表示单帧图像超分辨率重建算法
CN113096013B (zh) 基于成像建模和知识蒸馏的盲图像超分辨重建方法及系统
CN111612715B (zh) 图像修复方法、装置和电子设备
CN116993630B (zh) 基于残差图像的注意力特征的去运动模糊方法及装置
CN113096032A (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
TW202221639A (zh) 顯著圖產生方法及使用該方法的影像處理系統
CN117173232A (zh) 深度图像的获取方法、装置及设备
CN108898557B (zh) 图像恢复方法及装置、电子设备、计算机程序及存储介质
CN116309158A (zh) 网络模型的训练方法、三维重建方法、装置、设备和介质
CN114745545A (zh) 一种视频插帧方法、装置、设备和介质
US20230154140A1 (en) Neural network-based high-resolution image restoration method and system
CN114841870A (zh) 图像处理方法、相关装置和系统
CN113902647A (zh) 一种基于双闭环网络的图像去模糊方法
Su et al. Atmospheric turbulence degraded image restoration using a modified dilated convolutional network
Heinze et al. Joint multi-frame demosaicing and super-resolution with artificial neural networks
CN113888424A (zh) 文物历史照片色彩复原方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant