CN115908144A - 基于随机小波注意力的图像处理方法、装置、设备及介质 - Google Patents
基于随机小波注意力的图像处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN115908144A CN115908144A CN202310215782.XA CN202310215782A CN115908144A CN 115908144 A CN115908144 A CN 115908144A CN 202310215782 A CN202310215782 A CN 202310215782A CN 115908144 A CN115908144 A CN 115908144A
- Authority
- CN
- China
- Prior art keywords
- module
- feature
- wavelet
- image
- band
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 85
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000004364 calculation method Methods 0.000 claims description 57
- 230000008707 rearrangement Effects 0.000 claims description 54
- 238000000354 decomposition reaction Methods 0.000 claims description 42
- 230000004927 fusion Effects 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 20
- 238000009825 accumulation Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000005070 sampling Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供一种基于随机小波注意力的图像处理方法、装置、设备及介质，涉及数据处理技术领域，方法包括：获取待处理的图像作为初始输入图像；将初始输入图像输入至预先设置的卷积编码器，得到卷积编码器输出的高维特征；卷积编码器用于将初始输入图像中的特征转换为高维特征；将高维特征输入至预先设置的深层图像特征提取器，得到深层图像特征提取器输出的深层图像特征；深层图像特征提取器用于基于高维特征，通过小波变换方法提取初始输入图像中的深层图像特征；将高维特征和深层图像特征输入至预先设置的卷积解码器，得到卷积解码器输出的超分辨率后的高清图像；卷积解码器用于基于高维特征和深层图像特征，预测超分辨率后的高清图像。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于随机小波注意力的图像处理方法、装置、设备及介质。
背景技术
单张图像超分辨率是一种图像到图像的转换任务，具有一定的商业价值。老旧手机、摄像头采集的图像通常是低分辨率的，目标区域由于占比较小而模糊不清，图像质量较差，可以需要借助图像超分辨率技术增强图像质量。超分辨率技术在手机相机、城市监控、医学成像、生物特征识别、图像分类、目标检测等工业落地场景都有应用。
目前，通常利用非局部先验的方法对图像进行超分辨率处理。
但是，目前的非局部先验的方法，往往过于关注全局内容而忽略了局部相关关系的建模，导致图像超分辨率的效果差，图像质量低，例如，图像的清晰程度较低。
发明内容
本发明提供一种基于随机小波注意力的图像处理方法、装置、设备及介质，用以解决现有技术中图像超分辨率的效果差，图像质量低的问题。
本发明提供一种基于随机小波注意力的图像处理方法，包括：
获取待处理的图像作为初始输入图像；
将所述初始输入图像输入至预先设置的卷积编码器，得到所述卷积编码器输出的高维特征；其中，所述卷积编码器用于将所述初始输入图像中的特征转换为高维特征；
将所述高维特征输入至预先设置的深层图像特征提取器，得到所述深层图像特征提取器输出的深层图像特征；其中，所述深层图像特征提取器用于基于所述高维特征，通过小波变换方法提取所述初始输入图像中的深层图像特征；
将所述高维特征和所述深层图像特征输入至预先设置的卷积解码器，得到所述卷积解码器输出的超分辨率后的高清图像；其中，所述卷积解码器用于基于所述高维特征和所述深层图像特征，预测超分辨率后的高清图像。
根据本发明提供的一种基于随机小波注意力的图像处理，所述深层图像特征提取器包括交替设置的N+1个随机小波注意力模块和N个残差模块，N为大于1的整数。
根据本发明提供的一种基于随机小波注意力的图像处理，所述随机小波注意力模块包括小波分解模块、频带内注意力计算模块、频带间注意力计算模块、特征拼接模块和小波融合模块；
所述随机小波注意力模块用于：
将所述随机小波注意力模块的输入作为第一特征；
将所述第一特征输入至所述小波分解模块，得到所述小波分解模块输出的小波频带特征集合；其中，所述小波分解模块用于将所述第一特征分解为所述小波频带特征集合；
将所述小波频带特征集合输入至所述频带内注意力计算模块，得到所述频带内注意力计算模块输出的全局特征子频带集合；其中，所述全局特征子频带集合用于表征所述小波频带特征集合中各子频带之间的全局关系；
将所述小波频带特征集合输入至所述频带间注意力计算模块，得到所述频带间注意力计算模块输出的局部特征子频带集合；其中，所述局部特征子频带集合用于表征所述小波频带特征集合中各子频带之间的局部关系；
将所述全局特征子频带集合和所述局部特征子频带集合输入至所述特征拼接模块，得到所述特征拼接模块输出的随机小波注意力（Stochastic Wavelet Attention，SWA）子频带集合；其中，所述特征拼接模块用于拼接所述全局特征子频带集合和所述局部特征子频带集合，得到所述SWA子频带集合；
将所述SWA子频带集合输入至所述小波融合模块，得到所述小波融合模块输出的第二特征，作为所述随机小波注意力模块的输出；其中，所述小波融合模块用于融合所述SWA子频带集合，得到所述第二特征。
根据本发明提供的一种基于随机小波注意力的图像处理，所述频带内注意力计算模块包括：第一特征重排模块、个随机全局注意力SNLA模块和第二特征重排模块，所述频带间注意力计算模块包括：第三特征重排模块、个SNLA模块和第四特征重排模块，、为大于1的整数；
所述随机小波注意力模块具体用于：
将所述小波频带特征集合输入至所述第一特征重排模块，得到所述第一特征重排模块输出的第一频带特征集合；其中，所述第一特征重排模块用于将所述小波频带特征集合以第一序列重排成所述第一频带特征集合；
将所述第一频带特征集合中的个子频带，分别输入至所述个SNLA模块，得到所述个SNLA模块分别输出的子频带，组成第二频带特征集合；
将所述第二频带特征集合输入至所述第二特征重排模块，得到所述第二特征重排模块输出的所述全局特征子频带集合；其中，所述第二特征重排模块用于将所述第二频带特征集合以第二序列重排成所述全局特征子频带集合；
将所述小波频带特征集合输入至所述第三特征重排模块，得到所述第三特征重排模块输出的第三频带特征集合；其中，所述第三特征重排模块用于将所述小波频带特征集合以第三序列重排成所述第三频带特征集合；
将所述第三频带特征集合中的个子频带，分别输入至所述个SNLA模块，得到所述个SNLA模块分别输出的子频带，组成第四频带特征集合；
将所述第四频带特征集合输入至所述第四特征重排模块，得到所述第四特征重排模块输出的所述局部特征子频带集合；其中，所述第四特征重排模块用于将所述第四频带特征集合以第四序列重排成所述局部特征子频带集合。
根据本发明提供的一种基于随机小波注意力的图像处理，所述SNLA模块包括至少一个子模块，所述子模块包括：第一处理模块、第二处理模块、第三处理模块和第四处理模块；
所述SNLA模块用于：
将所述第一频带特征集合中的子频带输入至所述第一处理模块，得到所述第一处理模块输出的第一子空间的特征；
将所述输入至所述第二处理模块，得到所述第二处理模块输出的第二子空间的特征；
将所述输入至所述第三处理模块，得到所述第三处理模块输出的第三子空间的特征；
将所述、所述和所述输入至所述第四处理模块，得到所述第四处理模块输出的所述第二频带特征集合中的子频带；其中，所述第四处理模块用于采用公式（1）、（2）和（3），得到所述第二频带特征集合中的子频带：
（1）
（2）
（3）
其中，表征Gumbel-softmax函数，表征序列特征的维度，表征所述高维特征的数量，表征所述高维特征的维度，表征Gumbel分布中随机采样得到的参数值，表征温度系数。
根据本发明提供的一种基于随机小波注意力的图像处理，所述小波分解模块具体用于：将所述第一特征分解为级的小波频带特征集合；其中，表征所述高维特征的维度，表征所述初始输入图像的高，表征所述初始输入图像的宽，表征所述小波频带特征集合中的子频带的数目，。
根据本发明提供的一种基于随机小波注意力的图像处理，所述残差模块包括第一卷积Conv层、第二Conv层、第三Conv层、激活函数ReLU层和累加层；
所述第一Conv层的输入和所述第二Conv层的输入，均作为所述残差模块的输入，所述第一Conv层的输出作为所述ReLU层的输入，所述ReLU层的输出作为所述第三Conv层的输入，所述第三Conv层的输出作为所述累加层的第一输入，所述第二Conv层的输出作为所述累加层的第二输入，所述累加层的输出作为所述残差模块的输出。
本发明还提供一种基于随机小波注意力的图像处理装置，包括：
低分辨率图像获取模块，用于获取待处理的图像作为初始输入图像；
转换模块，用于将所述初始输入图像输入至预先设置的卷积编码器，得到所述卷积编码器输出的高维特征；其中，所述卷积编码器用于将所述初始输入图像中的特征转换为高维特征；
特征提取模块，用于将所述高维特征输入至预先设置的深层图像特征提取器，得到所述深层图像特征提取器输出的深层图像特征；其中，所述深层图像特征提取器用于基于所述高维特征，通过小波变换方法提取所述初始输入图像中的深层图像特征；
预测模块，用于将所述高维特征和所述深层图像特征输入至预先设置的卷积解码器，得到所述卷积解码器输出的超分辨率后的高清图像；其中，所述卷积解码器用于基于所述高维特征和所述深层图像特征，预测超分辨率后的高清图像。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于随机小波注意力的图像处理方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于随机小波注意力的图像处理方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于随机小波注意力的图像处理方法。
本发明提供的基于随机小波注意力的图像处理方法、装置、设备及介质，深层图像特征提取器可以基于卷积编码器输出的高维特征，通过小波变换方法提取初始输入图像中的深层图像特征，进而由卷积解码器基于高维特征和深层图像特征，预测超分辨率后的高清图像，其中，小波变换方法可以利用低频频带特征描述全局的内容信息，利用高频频带特征描述局部的纹理信息，即深层图像特征提取器既可以关注到全局内容约束，同时可以考虑局部纹理相关性，优化了对初始输入图像超分辨率的效果，提高了超分辨率后的高清图像的图像质量，使高清图像的细节更清晰，图像更逼真。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于随机小波注意力的图像处理方法的流程示意图之一；
图2是本发明提供的基于随机小波注意力的图像处理方法的流程示意图之二；
图3是本发明提供的基于随机小波注意力的图像处理方法中随机小波注意力模块的结构示意图；
图4是本发明提供的基于随机小波注意力的图像处理方法中小波分解模块的处理流程示意图；
图5是本发明提供的基于随机小波注意力的图像处理方法中频带内注意力和频带间注意力的计算流程示意图；
图6是本发明提供的基于随机小波注意力的图像处理方法中SNLA模块的结构示意图；
图7是本发明提供的基于随机小波注意力的图像处理方法中残差模块的结构示意图；
图8是本发明提供的基于随机小波注意力的图像处理方法的效果示意图；
图9是本发明提供的基于随机小波注意力的图像处理装置的结构示意图；
图10是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图描述本发明的基于随机小波注意力的图像处理方法、装置、设备及介质。
图1是本发明提供的基于随机小波注意力的图像处理方法的流程示意图之一，如图1所示，基于随机小波注意力的图像处理方法包括步骤101至步骤104；其中：
步骤101、获取待处理的图像作为初始输入图像；
步骤102、将所述初始输入图像输入至预先设置的卷积编码器，得到所述卷积编码器输出的高维特征；
其中，所述卷积编码器用于将所述初始输入图像中的特征转换为高维特征；
步骤103、将所述高维特征输入至预先设置的深层图像特征提取器，得到所述深层图像特征提取器输出的深层图像特征；
其中，所述深层图像特征提取器用于基于所述高维特征，通过小波变换方法提取所述初始输入图像中的深层图像特征；
步骤104、将所述高维特征和所述深层图像特征输入至预先设置的卷积解码器，得到所述卷积解码器输出的超分辨率后的高清图像；
其中，所述卷积解码器用于基于所述高维特征和所述深层图像特征，预测超分辨率后的高清图像。
相关技术中，随着近年来深度学习技术的蓬勃发展，研究者们提出了若干基于卷积神经网络的单张图像超分辨率算法。通过设计精巧的网络结构或者结合图像先验知识，现有方法在部分场景中取得了不错的效果。
在对于图像先验的利用方面，非局部先验广泛的被研究者们使用并展现出优越的性能，通过在全局特征空间搜索匹配的特征模式，非局部先验能够有效克服传统卷积算子的局部感受野带来的缺陷。
然而，非局部先验在实际应用中仍然面临两大问题。首先是计算量，因为非局部先验依赖全局搜索进行特征匹配，所以非局部先验模块的计算复杂度与图像大小成二次方正比关系。其次，非局部先验往往过于关注全局内容而忽略了局部相关关系的建模。为了减少非局部先验的计算复杂度，研究者们提出限制非局部算子的范围并通过利用哈希方法构建稀疏的非局部注意力机制。但是如何构建一种高效的非局部算子，使其既能够关注到全局内容约束，同时考虑局部纹理相关性，仍是图像超分辨率任务亟待解决的挑战之一。
不同于非局部算子，小波变换可以有效地捕捉局部感受野中的稀疏纹理变化。小波分解利用低频频带特征描述全局的内容信息，利用高频频带特征描述局部的纹理信息，可见，小波变换可以有效地捕捉局部感受野中的稀疏纹理变化。
本发明实施例针对超分辨率任务中常用的非局部算子，结合小波分解，可以有效地构建一种高效的非局部算子，既能够关注到全局内容约束，同时考虑局部纹理相关性，另外，还可以通过充分挖掘非局部算子中的不确定性，在不额外引入网络参数的情况下，对图像超分任务中的不确定性进行建模和优化，进一步提高发明方法的泛化性能。
本发明实施例中，获取待处理的图像作为初始输入图像，先将初始输入图像输入至卷积编码器，以由卷积编码器将初始输入图像中的特征转换为高维特征，再将高维特征输入至深层图像特征提取器，以由深层图像特征提取器基于高维特征，通过小波变换方法提取初始输入图像中的深层图像特征；之后再将高维特征和深层图像特征共同输入至卷积解码器，以由卷积解码器基于高维特征和深层图像特征，预测超分辨率后的高清图像。
在本发明实施例提供的基于随机小波注意力的图像处理方法中，深层图像特征提取器可以基于卷积编码器输出的高维特征，通过小波变换方法提取初始输入图像中的深层图像特征，进而由卷积解码器基于高维特征和深层图像特征，预测超分辨率后的高清图像，其中，小波变换方法可以利用低频频带特征描述全局的内容信息，利用高频频带特征描述局部的纹理信息，即深层图像特征提取器既可以关注到全局内容约束，同时可以考虑局部纹理相关性，优化了对初始输入图像超分辨率的效果，提高了超分辨率后的高清图像的图像质量，使高清图像的细节更清晰，图像更逼真。
可选地，所述深层图像特征提取器包括交替设置的N+1个随机小波注意力模块和N个残差模块，N为大于1的整数。
需要说明的是，N的数目越大，超分辨率的效果更好，例如高清图像的细节更清晰，图像更逼真，但同时深层图像特征提取器的复杂度会提高。
可选地，N可以为5，即有5个随机小波注意力模块和4个残差模块交替设置。以N等于5为例，图2是本发明提供的基于随机小波注意力的图像处理方法的流程示意图之二，如图2所示。
先将初始输入图像输入至卷积编码层，卷积编码层包括一个卷积（Conv）层，被配置为将输入图像转换为高维特征表达；
在卷积编码层输出高维特征后，将高维特征输入至交替设置有随机小波注意力模块（SWA）和残差模块（Res Blocks）的深层图像特征提取器。具体地，将高维特征先输入至图中第一SWA，将第一SWA的输出结果输入至第一残差模块，将第一残差模块的输出结果输入至第二SWA，将第二SWA的输出结果输入至第二残差模块，将第二残差模块的输出结果输入至第三SWA，将第三SWA的输出结果输入至第三残差模块，将第三残差模块的输出结果输入至第四SWA，将第四SWA的输出结果输入至第四残差模块，将第四残差模块的输出结果输入至第五SWA，将第五SWA的输出结果作为深层图像特征，用于提取低分辨率的初始输入图像中的深层图像特征，既关注到全局内容约束，同时考虑局部纹理相关性。
在第五SWA输出深层图像特征后，将深层图像特征和高维特征共同输入至卷积解码层，卷积解码层被配置为从由深层图像特征提取器输出的深层图像特征，和由卷积编码器跳层连接的高维特征，预测超分辨率结果，作为高清图像；
其中，卷积解码层包括上采样（upsample）层和一个Conv层，具体地，将深层图像特征和高维特征共同输入至upsample层，再将upsample层的输出结果输入至Conv层，得到Conv层的输出结果作为高清图像。
可选地，所述随机小波注意力模块包括小波分解模块、频带内注意力计算模块、频带间注意力计算模块、特征拼接模块和小波融合模块；
所述随机小波注意力模块用于：
将所述随机小波注意力模块的输入作为第一特征；
将所述第一特征输入至所述小波分解模块，得到所述小波分解模块输出的小波频带特征集合；其中，所述小波分解模块用于将所述第一特征分解为所述小波频带特征集合；
将所述小波频带特征集合输入至所述频带内注意力计算模块，得到所述频带内注意力计算模块输出的全局特征子频带集合；其中，所述全局特征子频带集合用于表征所述小波频带特征集合中各子频带之间的全局关系；
将所述小波频带特征集合输入至所述频带间注意力计算模块，得到所述频带间注意力计算模块输出的局部特征子频带集合；其中，所述局部特征子频带集合用于表征所述小波频带特征集合中各子频带之间的局部关系；
将所述全局特征子频带集合和所述局部特征子频带集合输入至所述特征拼接模块，得到所述特征拼接模块输出的SWA子频带集合；其中，所述特征拼接模块用于拼接所述全局特征子频带集合和所述局部特征子频带集合，得到所述SWA子频带集合；
将所述SWA子频带集合输入至所述小波融合模块，得到所述小波融合模块输出的第二特征，作为所述随机小波注意力模块的输出；其中，所述小波融合模块用于融合所述SWA子频带集合，得到所述第二特征。
具体地，图3是本发明提供的基于随机小波注意力的图像处理方法中随机小波注意力模块的结构示意图，如图3所示。
先将第一特征作为原始特征，输入至小波分解模块，得到小波分解模块输出的小波频带特征集合，小波频带特征集合中共有个子频带；再将小波频带特征集合分别输入至频带内注意力计算模块和频带间注意力计算模块，得到频带内注意力计算模块输出的用于表征小波频带特征集合中各子频带之间的全局关系的全局特征子频带集合，并得到频带间注意力计算模块输出的用于表征小波频带特征集合中各子频带之间的局部关系的局部特征子频带集合，其中，全局特征子频带集合中共有个子频带，局部特征子频带集合中共有个子频带，；
可选地，所述小波分解模块具体用于：将所述第一特征分解为级的小波频带特征集合；其中，表征所述高维特征的维度，表征所述初始输入图像的高，表征所述初始输入图像的宽，表征所述小波频带特征集合中的子频带的数目，。
以为例进行说明，图4是本发明提供的基于随机小波注意力的图像处理方法中小波分解模块的处理流程示意图，如图4所示。
在第1级（1-Level）分解中，通过高频频带特征Hhigh和低频频带特征Hlow，分别沿着纵列和沿着横排将第一特征分解成个子频带特征，即分解成4个子频带特征和；
再将子频带特征和进行第2级（2-Level）分解，具体通过Hhigh和Hlow，分别沿着纵列和沿着横排将子频带特征和分解成个子频带特征，即分解成16个子频带特征和。
在获取全局特征子频带集合和局部特征子频带集合后，将全局特征子频带集合和局部特征子频带集合共同输入至特征拼接模块，以拼接全局特征子频带集合和局部特征子频带集合，并通过一个的Conv层，得到SWA子频带集合，SWA子频带集合中共有个子频带；
可以再将小波分解模块输出的小波频带特征集合，和SWA子频带集合，共同输入至小波融合模块中，得到小波融合模块输出的第二特征（SWA特征）。
需要说明的是，对于深层图像特征提取器中的第一个随机小波注意力模块来说，第一特征为高维特征；对于深层图像特征提取器中的最后一个随机小波注意力模块来说，第二特征为深层图像特征；
可选地，在深层图像特征提取器只包括一个随机小波注意力模块的情况下，第一特征为高维特征，第二特征为深层图像特征。
可选地，小波分解模块和小波融合模块，可以被配置为3级分解及融合。
相较于相关技术中的非局部先验，本发明实施例可以通过随机小波注意力模块，减少计算复杂度。
可选地，所述频带内注意力计算模块包括：第一特征重排模块、个随机全局注意力（Stochastic Non-Local Attention，SNLA）模块和第二特征重排模块，所述频带间注意力计算模块包括：第三特征重排模块、个SNLA模块和第四特征重排模块，、为大于1的整数；
所述随机小波注意力模块具体用于：
将所述小波频带特征集合输入至所述第一特征重排模块，得到所述第一特征重排模块输出的第一频带特征集合；其中，所述第一特征重排模块用于将所述小波频带特征集合以第一序列重排成所述第一频带特征集合；
将所述第一频带特征集合中的个子频带，分别输入至所述个SNLA模块，得到所述个SNLA模块分别输出的子频带，组成第二频带特征集合；
将所述第二频带特征集合输入至所述第二特征重排模块，得到所述第二特征重排模块输出的所述全局特征子频带集合；其中，所述第二特征重排模块用于将所述第二频带特征集合以第二序列重排成所述全局特征子频带集合；
将所述小波频带特征集合输入至所述第三特征重排模块，得到所述第三特征重排模块输出的第三频带特征集合；其中，所述第三特征重排模块用于将所述小波频带特征集合以第三序列重排成所述第三频带特征集合；
将所述第三频带特征集合中的个子频带，分别输入至所述个SNLA模块，得到所述个SNLA模块分别输出的子频带，组成第四频带特征集合；
将所述第四频带特征集合输入至所述第四特征重排模块，得到所述第四特征重排模块输出的所述局部特征子频带集合；其中，所述第四特征重排模块用于将所述第四频带特征集合以第四序列重排成所述局部特征子频带集合。
如图3所示，对于频带内注意力计算模块，将小波频带特征集合输入至第一特征重排模块，以由第一特征重排模块将小波频带特征集合以第一序列重排成第一频带特征集合，也即，第一频带特征集合共包括个二维向量，每一个二维向量对应的是一个小波子频带；
再将个二维向量分别输入至个SNLA模块，得到个SNLA模块分别输出的子频带，组成第二频带特征集合；
在组成第二频带特征集合后，将第二频带特征集合输入至第二特征重排模块，以由第二特征重排模块将第二频带特征集合以第二序列重排成全局特征子频带集合。
图5是本发明提供的基于随机小波注意力的图像处理方法中频带内注意力和频带间注意力的计算流程示意图，如图5所示，频带内注意力对应的特征感受野为特征全局范围，体现在图中，就是右侧中一格的信息，是根据左侧的全局范围内的格子的信息得到的，可见，频带内注意力计算模块可以建模每个子频带中的长距离特征关系依赖。
对于频带间注意力计算模块，将小波频带特征集合输入至第三特征重排模块，以由第三特征重排模块将小波频带特征集合以第三序列重排成第三频带特征集合，也即，第三频带特征集合共包括个二维向量，每一个二维向量对应的是不同小波子频带的同一个空间位置；
再将个二维向量分别输入至个SNLA模块，得到个SNLA模块分别输出的子频带，组成第四频带特征集合；
在组成第四频带特征集合后，将第四频带特征集合输入至第四特征重排模块，以由第四特征重排模块将第四频带特征集合以第四序列重排成局部特征子频带集合。
如图5所示，频带间注意力对应的特征感受野为特征邻域范围，大小为，体现在图中，就是右侧中一格的信息，是根据左侧的局部范围内的格子（左上角的4个格子）的信息得到的，可见，频带间注意力计算模块可以建模任意空间位置的不同子频带的邻域信息。
需要说明的是，第一序列和第三序列通常是不相同的。
可选地，所述SNLA模块包括至少一个子模块，所述子模块包括：第一处理模块、第二处理模块、第三处理模块和第四处理模块；
所述SNLA模块用于：
将所述第一频带特征集合中的子频带输入至所述第一处理模块，得到所述第一处理模块输出的第一子空间的特征；
将所述输入至所述第二处理模块，得到所述第二处理模块输出的第二子空间的特征；
将所述输入至所述第三处理模块，得到所述第三处理模块输出的第三子空间的特征；
将所述、所述和所述输入至所述第四处理模块，得到所述第四处理模块输出的所述第二频带特征集合中的子频带；其中，所述第四处理模块用于采用公式（1）、（2）和（3），得到所述第二频带特征集合中的子频带：
（1）
（2）
（3）
其中，表征Gumbel-softmax函数，表征序列特征的维度，表征所述高维特征的数量，表征所述高维特征的维度，表征Gumbel分布中随机采样得到的参数值，表征温度系数。
具体地，图6是本发明提供的基于随机小波注意力的图像处理方法中SNLA模块的结构示意图，如图6所示，第一处理模块、第二处理模块和第三处理模块可以均为线性变换函数全连接层（Fully Connected Layer，FC），首先利用三个FC，将SNLA模块的输入投影到三个子空间，得到对应的三个特征、和，其中，具体可以为或者，将上述公式（2）和公式（3）代入中（1）中，即可计算得到SNLA模块的输出，也即为第二频带特征集合中的子频带。
需要说明的是，给定一个一维向量，属于，Gumbel-softmax函数的定义为：，其中，由Gumbel分布中随机采样得到，表示温度系数。
通过对进行多次随机采样，可以预测得到对应的超分辨率后的高清图像。通过对多次采样生成的图片逐像素的进行均值和方差建模，可以估计出逐像素的不确定度，并将多个高清图像的平均值作为不确定性消减后的结果。
可选地，在Gumbel-Softmax函数中，可以配置为温度参数等于1。
可选地，所述残差模块包括第一Conv层、第二Conv层、第三Conv层、激活函数（ReLU）层和累加层；
所述第一Conv层的输入和所述第二Conv层的输入，均作为所述残差模块的输入，所述第一Conv层的输出作为所述ReLU层的输入，所述ReLU层的输出作为所述第三Conv层的输入，所述第三Conv层的输出作为所述累加层的第一输入，所述第二Conv层的输出作为所述累加层的第二输入，所述累加层的输出作为所述残差模块的输出。
具体地，残差模块用于进一步提取图像特征。图7是本发明提供的基于随机小波注意力的图像处理方法中残差模块的结构示意图，如图7所示，残差模块的主分支上包含两个Conv层（第一Conv层和第三Conv层）和一个非线性激活层（ReLU层），以将输入特征由变换为；跳层连接支路包含一个Conv层（第二Conv层），以将输入特征变换为，之后通过累加层将两个特征逐像素相加得到输出特征。
下面举例说明本发明实施例提供的基于随机小波注意力的图像处理方法。
之前已有研究者将小波分解应用于现有的基于卷积神经网络的图像超分方法。然而，现有的基于小波分解的方法，对空域和频域中远距离的内容约束建模能力较弱，仍有较大的提升空间。
另外，由于单张低分辨率图像可能对应多个可能的高分辨率结果，所以图像超分辨任务还是一个不适定问题。之前的绝大多数图像超分辨率算法都忽略了这一问题，因而设计的是只能生成一种高分辨率结果的确定性模型。少数工作通过引入额外的网络模块，来估计图像中的特定区域产生多种高分辨率结果。如何在不引入额外网络模块的情况下，高效地估计超分任务中的不确定性，仍是一个较少被研究者们研究的问题。在本发明中，通过研究非局部算子中存在的不确定性，提出通过直接估计和降低不确定性的方法，而无需依赖额外的网络模块。
本发明实施例中，针对超分任务中常用的非局部算子，结合小波分解，可以有效地构建一种高效的非局部算子，既能够关注到全局内容约束，同时考虑局部纹理相关性，另外，通过充分挖掘非局部算子中的不确定性，可以在不引入额外网络参数的情况下，直接估计并降低不确定性，提高单张图像超分辨率的恢复效果，对图像超分任务中的不确定性进行建模和优化，进一步提高超分辨率方法的泛化性能。
一、本发明实施例提供了一种基于随机小波注意力的图像处理方法，包括：
步骤S1、获取待处理的图像作为初始输入图像；
步骤S2、将初始输入图像，通过串联的卷积编码器、深层图像特征提取器和卷积解码器，进行超分辨率处理，得到超分辨率后的高清图像：
其中，卷积编码器和卷积解码器通过由随机小波注意力模块和残差模块堆叠组成的深层图像特征提取器连接，并额外通过一条支路跳层连接；
上述卷积编码器，由一个卷积层组成，配置为将输入图像转换为高维特征表达。
上述由随机小波注意力模块和残差块堆叠组成的深层图像特征提取器，包含5个随机小波注意力模块和4个残差模块，用于提取低分辨率图像中的深层图像特征，关注到全局内容约束，同时考虑局部纹理相关性。
上述卷积解码器，配置为从由深层图像特征提取器输出的特征和由卷积编码器跳层连接的特征预测超分辨率后的高清图像，具体可以将两个特征进行像素级加法，作为卷积解码器的输入，先通过上采样层，提高图像特征的空间分辨率，再通过卷积层将高维特征映射回RGB图像空间，输出图像超分辨率后的高清图像。
可选地，串联的卷积编码器、深层图像特征提取器和卷积解码器的参数，可以通过监督训练的方式更新；
二、（1）卷积编码器
卷积编码器对输入图像的处理方法包括：
步骤S1-1、将输入通过卷积层，将图像特征映射为高维特征，卷积核的步长为1，卷积核大小为3。
（2）深层图像特征提取器
深层图像特征提取器，共包含5个随机小波注意力模块和4个残差模块。深层图像特征提取器对输入的高维特征的处理方法包括：
步骤S2-1、将图像特征通过随机小波注意力模块中的小波分解模块，将特征分解为小波频带特征集合；
具体地，级小波分解对应地将图像特征分解为个子频带特征，即。同时，空间分辨率（长和宽）均变为原来的，即，。通过对小波频带特征的最后两个维度即空间维度做展开，小波频带特征集合可以表示为，其中。利用小波分解将原始图像特征表达为不同频带的子特征集合后，可以结合频带间注意力计算模块和频带内注意力计算模块，对特征集合做不同方向上的分组，实现稀疏非局部注意力机制的建模过程。
步骤S2-2、将小波频带特征集合分别通过频带内注意力计算模块和频带间注意力计算模块。
步骤S2-3、将频带内注意力计算模块和频带间注意力计算模块计算得到的全局特征子频带集合和局部特征子频带集合进行特征拼接，然后利用小波融合算法，恢复得到图像特征。
步骤S2-4、将随机小波注意力模块输出的特征，输入残差模块，进一步提取图像特征；
步骤S2-5、由于深层图像特征提取器，共包含5个随机小波注意力模块（步骤S2-1至S2-3）和4个残差模块（步骤S2-4），按照模块顺序利用前述步骤逐步提取深层图像特征。
（3）卷积解码器
步骤S3-1、卷积解码器包含上采样层以及卷积层，并采用支路跳层连接，将卷积解码器中的深层图像特征和卷积编码器提取的浅层特征进行连接。具体解码过程可以表示为公式（4）：
（4）
其中，表征卷积层，表征上采样层，表征卷积解码器的输入特征，表征卷积编码器提取的浅层特征。
（4）网络训练过程
可以采用逐像素重建损失来约束超分网络模型的训练过程，生成的超分辨率的图像在像素空间上接近于ground-truth图像，表示为，其中，表征重建损失。
具体地，将图像数据库中的图像数据预处理，以通过训练得到超分网络模型，进而基于随机小波注意力学习，构造了一个条件生成的网络，即构造了一个基于条件信息的图像生成网络。它为真实感图像合成提供了一种有效的图像生成方法。
三、本发明实施例提供了一种图像超分方法，包括：
对待处理的初始输入图像进行预处理，包括将初始输入图像进行RGB通道均值归一化等；
利用卷积编码器提取图像的浅层特征，并将提取的特征通过后续深层图像特征提取器，提取深层图像特征；
将提取的深层图像特征输入后续的卷积解码器，输出预测图像，作为超分辨率后的高清图像。
四、本发明实施例还提供了一种基于随机小波注意力的图像处理系统，包括：低分辨率图像获取模块和图像超分辨率处理模块，图像超分辨率处理模块例如包括转换模块、特征提取模块和预测模块。
低分辨率图像获取模块，配置为获取待处理的低分辨率图像作为初始输入图像；
图像超分辨率处理模块，配置为将初始输入图像，通过卷积编码器、深层图像特征提取器和卷积解码器构建的超分网络模型，进行超分辨率处理，得到高分辨率图像；
其中，卷积编码器和卷积解码器另外通过一条支路跳层连接；
卷积编码器，配置为将输入映射到相关特征域，通过卷积层得到特征映射；
深层图像特征提取器，共包含5个随机小波注意力模块和4个残差模块，这些基本模块交替堆叠构成提取器的整体，以此来提取深层的图像特征，用于后续的超分辨率图像复原；随机小波注意力模块，配置为首先将图像特征进行小波分解，得到不同频率波段的图像特征，之后利用小波注意力模块提取图像特征，注意力模块包括频带内注意力计算模块和频带间注意力计算模块，分别用于提取不同尺度的图像特征；其中，频带内注意力计算模块可以提取图像全局特征，而频带间注意力计算模块可以有效提取局部细节纹理特征，两种注意力计算模块都采用了随机全局注意力机制建模特征之间的关系，所得到的两种不同的特征通过拼接融合，再经过小波融合，将特征由小波域变换回原始图像特征域。在小波域，经过注意力模块计算前后的特征采用支路跳层连接。
小波分解和小波融合，配置为利用小波分解函数及其逆函数，将图像特征变换到频域，并分为高、低频等不同频率波段，进行后续特征处理。
随机全局注意力机制，配置为首先计算特征图中任意两个特征的相似度，之后对相似度得分矩阵施加随机扰动的Gumbel-softmax函数，之后根据相似度得分矩阵，进行不同位置间的特征聚合。
频带内注意力计算模块，配置为针对单个小波频率波段所有空间位置的的特征计算自注意力过程。
频带间注意力计算模块，配置为针对不同小波频率波段特征相同空间位置的特征计算自注意力过程。
卷积解码器，配置为将提取的深层图像特征表达输入一系列叠加的基本卷积层和上采样层，将跳连过来的浅层图像特征和深层特征进行像素级加法操作，得到高分辨率图像特征，进而恢复出高分辨率图像。
五、图8是本发明提供的基于随机小波注意力的图像处理方法的效果示意图，如图8所示，从左至右，分别为待处理的初始输入图像、现有的超分辨率技术处理后的图像和本发明实施例的高清图像。
在本发明实施例中，存在以下有益效果：
（1）本发明提高了高分辨率图像的生成效果，保证了超分辨率质量的稳定性；
（2）本发明提出了一种新的稀疏非局部注意力机制，既能够提高基于卷积神经网络的超分网络模型的性能和效率，同时能够生成多样化的预测结果以及对预测过程进行不确定性估计；
（3）本发明提出了两种新的注意力计算机制，频带内注意力机制和频带间注意力机制，分别用于建模全局内容约束，和捕捉局部纹理相关性；
（4）本发明提出了一种基于不确定度消减的面向全局注意力机制的随机聚合策略，能够提高超分网络模型对于分布外数据的泛化能力。
下面对本发明提供的基于随机小波注意力的图像处理装置进行描述，下文描述的基于随机小波注意力的图像处理装置与上文描述的基于随机小波注意力的图像处理方法可相互对应参照。
图9是本发明提供的基于随机小波注意力的图像处理装置的结构示意图，如图9所示，基于随机小波注意力的图像处理装置900，包括：
低分辨率图像获取模块901，用于获取待处理的图像作为初始输入图像；
转换模块902，用于将所述初始输入图像输入至预先设置的卷积编码器，得到所述卷积编码器输出的高维特征；其中，所述卷积编码器用于将所述初始输入图像中的特征转换为高维特征；
特征提取模块903，用于将所述高维特征输入至预先设置的深层图像特征提取器，得到所述深层图像特征提取器输出的深层图像特征；其中，所述深层图像特征提取器用于基于所述高维特征，通过小波变换方法提取所述初始输入图像中的深层图像特征；
预测模块904，用于将所述高维特征和所述深层图像特征输入至预先设置的卷积解码器，得到所述卷积解码器输出的超分辨率后的高清图像；其中，所述卷积解码器用于基于所述高维特征和所述深层图像特征，预测超分辨率后的高清图像。
在本发明实施例提供的基于随机小波注意力的图像处理装置中，深层图像特征提取器可以基于卷积编码器输出的高维特征，通过小波变换方法提取初始输入图像中的深层图像特征，进而由卷积解码器基于高维特征和深层图像特征，预测超分辨率后的高清图像，其中，小波变换方法可以利用低频频带特征描述全局的内容信息，利用高频频带特征描述局部的纹理信息，即深层图像特征提取器既可以关注到全局内容约束，同时可以考虑局部纹理相关性，优化了对初始输入图像超分辨率的效果，提高了超分辨率后的高清图像的图像质量，使高清图像的细节更清晰，图像更逼真。
可选地，所述深层图像特征提取器包括交替设置的N+1个随机小波注意力模块和N个残差模块，N为大于1的整数。
可选地，所述随机小波注意力模块包括小波分解模块、频带内注意力计算模块、频带间注意力计算模块、特征拼接模块和小波融合模块；
所述随机小波注意力模块用于：
将所述随机小波注意力模块的输入作为第一特征；
将所述第一特征输入至所述小波分解模块，得到所述小波分解模块输出的小波频带特征集合；其中，所述小波分解模块用于将所述第一特征分解为所述小波频带特征集合；
将所述小波频带特征集合输入至所述频带内注意力计算模块，得到所述频带内注意力计算模块输出的全局特征子频带集合；其中，所述全局特征子频带集合用于表征所述小波频带特征集合中各子频带之间的全局关系；
将所述小波频带特征集合输入至所述频带间注意力计算模块，得到所述频带间注意力计算模块输出的局部特征子频带集合；其中，所述局部特征子频带集合用于表征所述小波频带特征集合中各子频带之间的局部关系；
将所述全局特征子频带集合和所述局部特征子频带集合输入至所述特征拼接模块，得到所述特征拼接模块输出的SWA子频带集合；其中，所述特征拼接模块用于拼接所述全局特征子频带集合和所述局部特征子频带集合，得到所述SWA子频带集合；
将所述SWA子频带集合输入至所述小波融合模块，得到所述小波融合模块输出的第二特征，作为所述随机小波注意力模块的输出；其中，所述小波融合模块用于融合所述SWA子频带集合，得到所述第二特征。
可选地，所述频带内注意力计算模块包括：第一特征重排模块、个随机全局注意力SNLA模块和第二特征重排模块，所述频带间注意力计算模块包括：第三特征重排模块、个SNLA模块和第四特征重排模块，、为大于1的整数；
所述随机小波注意力模块具体用于：
将所述小波频带特征集合输入至所述第一特征重排模块，得到所述第一特征重排模块输出的第一频带特征集合；其中，所述第一特征重排模块用于将所述小波频带特征集合以第一序列重排成所述第一频带特征集合；
将所述第一频带特征集合中的个子频带，分别输入至所述个SNLA模块，得到所述个SNLA模块分别输出的子频带，组成第二频带特征集合；
将所述第二频带特征集合输入至所述第二特征重排模块，得到所述第二特征重排模块输出的所述全局特征子频带集合；其中，所述第二特征重排模块用于将所述第二频带特征集合以第二序列重排成所述全局特征子频带集合；
将所述小波频带特征集合输入至所述第三特征重排模块，得到所述第三特征重排模块输出的第三频带特征集合；其中，所述第三特征重排模块用于将所述小波频带特征集合以第三序列重排成所述第三频带特征集合；
将所述第三频带特征集合中的个子频带，分别输入至所述个SNLA模块，得到所述个SNLA模块分别输出的子频带，组成第四频带特征集合；
将所述第四频带特征集合输入至所述第四特征重排模块，得到所述第四特征重排模块输出的所述局部特征子频带集合；其中，所述第四特征重排模块用于将所述第四频带特征集合以第四序列重排成所述局部特征子频带集合。
可选地，所述SNLA模块包括至少一个子模块，所述子模块包括：第一处理模块、第二处理模块、第三处理模块和第四处理模块；
所述SNLA模块用于：
将所述第一频带特征集合中的子频带输入至所述第一处理模块，得到所述第一处理模块输出的第一子空间的特征；
将所述输入至所述第二处理模块，得到所述第二处理模块输出的第二子空间的特征；
将所述输入至所述第三处理模块，得到所述第三处理模块输出的第三子空间的特征；
将所述、所述和所述输入至所述第四处理模块，得到所述第四处理模块输出的所述第二频带特征集合中的子频带；其中，所述第四处理模块用于采用公式（1）、（2）和（3），得到所述第二频带特征集合中的子频带：
（1）
（2）
（3）
其中，表征Gumbel-softmax函数，表征序列特征的维度，表征所述高维特征的数量，表征所述高维特征的维度，表征Gumbel分布中随机采样得到的参数值，表征温度系数。
可选地，所述小波分解模块具体用于：将所述第一特征分解为级的小波频带特征集合；其中，表征所述高维特征的维度，表征所述初始输入图像的高，表征所述初始输入图像的宽，表征所述小波频带特征集合中的子频带的数目，。
可选地，所述残差模块包括第一卷积Conv层、第二Conv层、第三Conv层、激活函数ReLU层和累加层；
所述第一Conv层的输入和所述第二Conv层的输入，均作为所述残差模块的输入，所述第一Conv层的输出作为所述ReLU层的输入，所述ReLU层的输出作为所述第三Conv层的输入，所述第三Conv层的输出作为所述累加层的第一输入，所述第二Conv层的输出作为所述累加层的第二输入，所述累加层的输出作为所述残差模块的输出。
图10是本发明提供的电子设备的结构示意图，如图10所示，该电子设备可以包括：处理器(processor)1010、通信接口(Communications Interface)1020、存储器(memory)1030和通信总线1040，其中，处理器1010，通信接口1020，存储器1030通过通信总线1040完成相互间的通信。处理器1010可以调用存储器1030中的逻辑指令，以执行基于随机小波注意力的图像处理方法，该方法包括：
获取待处理的图像作为初始输入图像；
将所述初始输入图像输入至预先设置的卷积编码器，得到所述卷积编码器输出的高维特征；其中，所述卷积编码器用于将所述初始输入图像中的特征转换为高维特征；
将所述高维特征输入至预先设置的深层图像特征提取器，得到所述深层图像特征提取器输出的深层图像特征；其中，所述深层图像特征提取器用于基于所述高维特征，通过小波变换方法提取所述初始输入图像中的深层图像特征；
将所述高维特征和所述深层图像特征输入至预先设置的卷积解码器，得到所述卷积解码器输出的超分辨率后的高清图像；其中，所述卷积解码器用于基于所述高维特征和所述深层图像特征，预测超分辨率后的高清图像。
此外，上述的存储器1030中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于随机小波注意力的图像处理方法，该方法包括：
获取待处理的图像作为初始输入图像；
将所述初始输入图像输入至预先设置的卷积编码器，得到所述卷积编码器输出的高维特征；其中，所述卷积编码器用于将所述初始输入图像中的特征转换为高维特征；
将所述高维特征输入至预先设置的深层图像特征提取器，得到所述深层图像特征提取器输出的深层图像特征；其中，所述深层图像特征提取器用于基于所述高维特征，通过小波变换方法提取所述初始输入图像中的深层图像特征；
将所述高维特征和所述深层图像特征输入至预先设置的卷积解码器，得到所述卷积解码器输出的超分辨率后的高清图像；其中，所述卷积解码器用于基于所述高维特征和所述深层图像特征，预测超分辨率后的高清图像。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于随机小波注意力的图像处理方法，该方法包括：
获取待处理的图像作为初始输入图像；
将所述初始输入图像输入至预先设置的卷积编码器，得到所述卷积编码器输出的高维特征；其中，所述卷积编码器用于将所述初始输入图像中的特征转换为高维特征；
将所述高维特征输入至预先设置的深层图像特征提取器，得到所述深层图像特征提取器输出的深层图像特征；其中，所述深层图像特征提取器用于基于所述高维特征，通过小波变换方法提取所述初始输入图像中的深层图像特征；
将所述高维特征和所述深层图像特征输入至预先设置的卷积解码器，得到所述卷积解码器输出的超分辨率后的高清图像；其中，所述卷积解码器用于基于所述高维特征和所述深层图像特征，预测超分辨率后的高清图像。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于随机小波注意力的图像处理方法，其特征在于，包括：
获取待处理的图像作为初始输入图像；
将所述初始输入图像输入至预先设置的卷积编码器，得到所述卷积编码器输出的高维特征；其中，所述卷积编码器用于将所述初始输入图像中的特征转换为高维特征；
将所述高维特征输入至预先设置的深层图像特征提取器，得到所述深层图像特征提取器输出的深层图像特征；其中，所述深层图像特征提取器用于基于所述高维特征，通过小波变换方法提取所述初始输入图像中的深层图像特征；
将所述高维特征和所述深层图像特征输入至预先设置的卷积解码器，得到所述卷积解码器输出的超分辨率后的高清图像；其中，所述卷积解码器用于基于所述高维特征和所述深层图像特征，预测超分辨率后的高清图像。
2.根据权利要求1所述的基于随机小波注意力的图像处理方法，其特征在于，所述深层图像特征提取器包括交替设置的N+1个随机小波注意力模块和N个残差模块，N为大于1的整数。
3.根据权利要求2所述的基于随机小波注意力的图像处理方法，其特征在于，所述随机小波注意力模块包括小波分解模块、频带内注意力计算模块、频带间注意力计算模块、特征拼接模块和小波融合模块；
所述随机小波注意力模块用于：
将所述随机小波注意力模块的输入作为第一特征；
将所述第一特征输入至所述小波分解模块，得到所述小波分解模块输出的小波频带特征集合；其中，所述小波分解模块用于将所述第一特征分解为所述小波频带特征集合；
将所述小波频带特征集合输入至所述频带内注意力计算模块，得到所述频带内注意力计算模块输出的全局特征子频带集合；其中，所述全局特征子频带集合用于表征所述小波频带特征集合中各子频带之间的全局关系；
将所述小波频带特征集合输入至所述频带间注意力计算模块，得到所述频带间注意力计算模块输出的局部特征子频带集合；其中，所述局部特征子频带集合用于表征所述小波频带特征集合中各子频带之间的局部关系；
将所述全局特征子频带集合和所述局部特征子频带集合输入至所述特征拼接模块，得到所述特征拼接模块输出的随机小波注意力SWA子频带集合；其中，所述特征拼接模块用于拼接所述全局特征子频带集合和所述局部特征子频带集合，得到所述SWA子频带集合；
将所述SWA子频带集合输入至所述小波融合模块，得到所述小波融合模块输出的第二特征，作为所述随机小波注意力模块的输出；其中，所述小波融合模块用于融合所述SWA子频带集合，得到所述第二特征。
4.根据权利要求3所述的基于随机小波注意力的图像处理方法，其特征在于，所述频带内注意力计算模块包括：第一特征重排模块、个随机全局注意力SNLA模块和第二特征重排模块，所述频带间注意力计算模块包括：第三特征重排模块、个SNLA模块和第四特征重排模块，、为大于1的整数；
所述随机小波注意力模块具体用于：
将所述小波频带特征集合输入至所述第一特征重排模块，得到所述第一特征重排模块输出的第一频带特征集合；其中，所述第一特征重排模块用于将所述小波频带特征集合以第一序列重排成所述第一频带特征集合；
将所述第一频带特征集合中的个子频带，分别输入至所述个随机全局注意力SNLA模块，得到所述个随机全局注意力SNLA模块分别输出的子频带，组成第二频带特征集合；
将所述第二频带特征集合输入至所述第二特征重排模块，得到所述第二特征重排模块输出的所述全局特征子频带集合；其中，所述第二特征重排模块用于将所述第二频带特征集合以第二序列重排成所述全局特征子频带集合；
将所述小波频带特征集合输入至所述第三特征重排模块，得到所述第三特征重排模块输出的第三频带特征集合；其中，所述第三特征重排模块用于将所述小波频带特征集合以第三序列重排成所述第三频带特征集合；
将所述第三频带特征集合中的个子频带，分别输入至所述个SNLA模块，得到所述个SNLA模块分别输出的子频带，组成第四频带特征集合；
将所述第四频带特征集合输入至所述第四特征重排模块，得到所述第四特征重排模块输出的所述局部特征子频带集合；其中，所述第四特征重排模块用于将所述第四频带特征集合以第四序列重排成所述局部特征子频带集合。
5.根据权利要求4所述的基于随机小波注意力的图像处理方法，其特征在于，所述SNLA模块包括至少一个子模块，所述子模块包括：第一处理模块、第二处理模块、第三处理模块和第四处理模块；
所述SNLA模块用于：
将所述第一频带特征集合中的子频带输入至所述第一处理模块，得到所述第一处理模块输出的第一子空间的特征；
将所述输入至所述第二处理模块，得到所述第二处理模块输出的第二子空间的特征；
将所述输入至所述第三处理模块，得到所述第三处理模块输出的第三子空间的特征；
将所述、所述和所述输入至所述第四处理模块，得到所述第四处理模块输出的所述第二频带特征集合中的子频带；其中，所述第四处理模块用于采用公式（1）、（2）和（3），得到所述第二频带特征集合中的子频带：
（1）
（2）
（3）
其中，表征Gumbel-softmax函数，表征序列特征的维度，表征所述高维特征的数量，表征所述高维特征的维度，表征Gumbel分布中随机采样得到的参数值，表征温度系数。
6.根据权利要求3所述的基于随机小波注意力的图像处理方法，其特征在于，所述小波分解模块具体用于：将所述第一特征分解为级的小波频带特征集合；其中，表征所述高维特征的维度，表征所述初始输入图像的高，表征所述初始输入图像的宽，表征所述小波频带特征集合中的子频带的数目，。
7.根据权利要求2至6任一项所述的基于随机小波注意力的图像处理方法，其特征在于，所述残差模块包括第一卷积Conv层、第二Conv层、第三Conv层、激活函数ReLU层和累加层；
所述第一卷积Conv层的输入和所述第二Conv层的输入，均作为所述残差模块的输入，所述第一卷积Conv层的输出作为所述ReLU层的输入，所述ReLU层的输出作为所述第三Conv层的输入，所述第三Conv层的输出作为所述累加层的第一输入，所述第二Conv层的输出作为所述累加层的第二输入，所述累加层的输出作为所述残差模块的输出。
8.一种基于随机小波注意力的图像处理装置，其特征在于，包括：
低分辨率图像获取模块，用于获取待处理的图像作为初始输入图像；
转换模块，用于将所述初始输入图像输入至预先设置的卷积编码器，得到所述卷积编码器输出的高维特征；其中，所述卷积编码器用于将所述初始输入图像中的特征转换为高维特征；
特征提取模块，用于将所述高维特征输入至预先设置的深层图像特征提取器，得到所述深层图像特征提取器输出的深层图像特征；其中，所述深层图像特征提取器用于基于所述高维特征，通过小波变换方法提取所述初始输入图像中的深层图像特征；
预测模块，用于将所述高维特征和所述深层图像特征输入至预先设置的卷积解码器，得到所述卷积解码器输出的超分辨率后的高清图像；其中，所述卷积解码器用于基于所述高维特征和所述深层图像特征，预测超分辨率后的高清图像。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于随机小波注意力的图像处理方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于随机小波注意力的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310215782.XA CN115908144B (zh) | 2023-03-08 | 2023-03-08 | 基于随机小波注意力的图像处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310215782.XA CN115908144B (zh) | 2023-03-08 | 2023-03-08 | 基于随机小波注意力的图像处理方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115908144A true CN115908144A (zh) | 2023-04-04 |
| CN115908144B CN115908144B (zh) | 2023-06-02 |
Family
ID=86491506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310215782.XA Active CN115908144B (zh) | 2023-03-08 | 2023-03-08 | 基于随机小波注意力的图像处理方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115908144B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709891A (zh) * | 2016-11-15 | 2017-05-24 | 哈尔滨理工大学 | 基于小波变换与自适应变换结合的图像处理方法 |
| CN111047541A (zh) * | 2019-12-30 | 2020-04-21 | 北京工业大学 | 一种基于小波变换注意力模型的图像修复方法 |
| AU2020100200A4 (en) * | 2020-02-08 | 2020-06-11 | Huang, Shuying DR | Content-guide Residual Network for Image Super-Resolution |
| CN111932460A (zh) * | 2020-08-10 | 2020-11-13 | 北京大学深圳医院 | Mr图像超分辨率重建方法、装置、计算机设备及存储介质 |
| CN112767251A (zh) * | 2021-01-20 | 2021-05-07 | 重庆邮电大学 | 基于多尺度细节特征融合神经网络的图像超分辨率方法 |
| CN112801883A (zh) * | 2019-11-14 | 2021-05-14 | 北京三星通信技术研究有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN113808034A (zh) * | 2021-08-09 | 2021-12-17 | 天津大学 | 一种结合全局阈值的局部自适应小波图像去噪方法 |
| CN114463183A (zh) * | 2022-02-14 | 2022-05-10 | 中南大学 | 基于频域和空域的图像超分辨率方法 |
| CN114926342A (zh) * | 2022-05-31 | 2022-08-19 | 武汉大学 | 图像超分辨率重建模型构建方法、装置、设备及存储介质 |
| CN115170410A (zh) * | 2022-06-17 | 2022-10-11 | 中国科学院自动化研究所 | 融合小波变换和注意力机制的图像增强方法及装置 |
-
2023
- 2023-03-08 CN CN202310215782.XA patent/CN115908144B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709891A (zh) * | 2016-11-15 | 2017-05-24 | 哈尔滨理工大学 | 基于小波变换与自适应变换结合的图像处理方法 |
| CN112801883A (zh) * | 2019-11-14 | 2021-05-14 | 北京三星通信技术研究有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN111047541A (zh) * | 2019-12-30 | 2020-04-21 | 北京工业大学 | 一种基于小波变换注意力模型的图像修复方法 |
| AU2020100200A4 (en) * | 2020-02-08 | 2020-06-11 | Huang, Shuying DR | Content-guide Residual Network for Image Super-Resolution |
| CN111932460A (zh) * | 2020-08-10 | 2020-11-13 | 北京大学深圳医院 | Mr图像超分辨率重建方法、装置、计算机设备及存储介质 |
| CN112767251A (zh) * | 2021-01-20 | 2021-05-07 | 重庆邮电大学 | 基于多尺度细节特征融合神经网络的图像超分辨率方法 |
| CN113808034A (zh) * | 2021-08-09 | 2021-12-17 | 天津大学 | 一种结合全局阈值的局部自适应小波图像去噪方法 |
| CN114463183A (zh) * | 2022-02-14 | 2022-05-10 | 中南大学 | 基于频域和空域的图像超分辨率方法 |
| CN114926342A (zh) * | 2022-05-31 | 2022-08-19 | 武汉大学 | 图像超分辨率重建模型构建方法、装置、设备及存储介质 |
| CN115170410A (zh) * | 2022-06-17 | 2022-10-11 | 中国科学院自动化研究所 | 融合小波变换和注意力机制的图像增强方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| HUAIBO HUANG: ""Wavelet-SRNrt:A Wavelet-based CNN for Multi-scale Face Super Resolution\"" * |
| 孙超: ""基于小波深层网络的图像超分辨率方法研究"" * |
| 邵旻昊: ""基于深度学习的遥感图像超分辨率重建算法研究"", 《中国优秀硕士论文电子期刊网》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115908144B (zh) | 2023-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111105352A (zh) | 超分辨率图像重构方法、系统、计算机设备及存储介质 | |
| CN111815516B (zh) | 一种弱监督红外遥感图像超分辨率重建方法 | |
| CN112102163B (zh) | 基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法 | |
| CN116152591B (zh) | 模型训练方法、红外小目标检测方法、装置及电子设备 | |
| CN113469884A (zh) | 基于数据仿真的视频超分辨方法、系统、设备及存储介质 | |
| CN111696038A (zh) | 图像超分辨率方法、装置、设备及计算机可读存储介质 | |
| Zhu et al. | Generative high-capacity image hiding based on residual CNN in wavelet domain | |
| Yang et al. | Variation learning guided convolutional network for image interpolation | |
| Amaranageswarao et al. | Residual learning based densely connected deep dilated network for joint deblocking and super resolution | |
| Yu et al. | Scale-aware frequency attention network for super-resolution | |
| US20240062347A1 (en) | Multi-scale fusion defogging method based on stacked hourglass network | |
| CN108550111B (zh) | 一种基于多级字典学习的残差实例回归超分辨重建方法 | |
| CN107133921A (zh) | 基于多层次邻域嵌入的图像超分辨率重建方法及系统 | |
| CN116563167A (zh) | 基于自适应纹理和频域感知的人脸图像重建方法、系统、装置及介质 | |
| Zhang et al. | Super-resolution reconstruction algorithms based on fusion of deep learning mechanism and wavelet | |
| CN115908144B (zh) | 基于随机小波注意力的图像处理方法、装置、设备及介质 | |
| CN113191947B (zh) | 一种图像超分辨率的方法及系统 | |
| CN114022356A (zh) | 基于小波域的河道流量水位遥感图像超分辨率方法与系统 | |
| CN114549300A (zh) | 图像字典的生成方法、图像重建方法及相关装置 | |
| Arezoomand et al. | Perceptually Optimized Loss Function for Image Super-Resolution | |
| Zhang et al. | Image Super-Resolution Using a Wavelet-based Generative Adversarial Network | |
| Xu et al. | FDSR: An Interpretable Frequency Division Stepwise Process Based Single-Image Super-Resolution Network | |
| CN115631115B (zh) | 基于递归Transformer的动态图像复原方法 | |
| CN117576402B (zh) | 一种基于深度学习的多尺度聚合Transformer遥感图像语义分割方法 | |
| CN117218005B (zh) | 基于全距离特征聚合的单帧图像超分辨率方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |