CN115953303B - 结合通道注意力的多尺度图像压缩感知重构方法及系统 - Google Patents

结合通道注意力的多尺度图像压缩感知重构方法及系统 Download PDF

Info

Publication number
CN115953303B
CN115953303B CN202310238326.7A CN202310238326A CN115953303B CN 115953303 B CN115953303 B CN 115953303B CN 202310238326 A CN202310238326 A CN 202310238326A CN 115953303 B CN115953303 B CN 115953303B
Authority
CN
China
Prior art keywords
image
scale
channel attention
channel
reconstructed image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310238326.7A
Other languages
English (en)
Other versions
CN115953303A (zh
Inventor
杨淑棉
向鑫鑫
仝丰华
赵大伟
徐丽娟
李鑫
陈川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Shandong Computer Science Center National Super Computing Center in Jinan
Original Assignee
Qilu University of Technology
Shandong Computer Science Center National Super Computing Center in Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology, Shandong Computer Science Center National Super Computing Center in Jinan filed Critical Qilu University of Technology
Priority to CN202310238326.7A priority Critical patent/CN115953303B/zh
Publication of CN115953303A publication Critical patent/CN115953303A/zh
Application granted granted Critical
Publication of CN115953303B publication Critical patent/CN115953303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理相关技术领域,本发明提出了结合通道注意力的多尺度图像压缩感知重构方法及系统,包括:将原始图像转换为灰度图像,对灰度图像进行多尺度分块采样得到采样值,对所述采样值通过第一通道注意力模块计算输出特征的多通道融合矩阵,将所述多通道融合矩阵与采样值运算处理得到初始重建图像;将初始重建图像经过特征提取后依次经过第二通道注意力模块、多尺寸残差模型进行特征的多尺度融合,得到深度重建图像;将所述初始重建图像和深度重建图像进行结合,得到重构图像。通过图像初始重建和深度重建,在提取深度特征的同时也考虑了浅层特征对重构的影响,使得重构效果好。

Description

结合通道注意力的多尺度图像压缩感知重构方法及系统
技术领域
本发明属于图像处理相关技术领域,尤其涉及结合通道注意力的多尺度图像压缩感知重构方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
压缩感知(Compressive Sensing,CS)是一种全新的信号采样技术,在采样过程中完成了数据压缩。CS理论表明,当原始信号是稀疏的或可被稀疏表示时,可以从远低于奈奎斯特
Figure SMS_1
香农采样定理要求的测量中高质量地恢复出原始信号。
图像含有大量冗余信息,在变换域中可以很好地被稀疏表示。因此,CS理论可以有效地实现图像的采样和重建。目前,CS已经广泛应用于图像处理中,包括但不限于单像素相机、磁共振成像、雷达成像。
在图像CS的研究中,两个主要的挑战是采样模式和重构方法的设计。在采样上,提出了不同类型的测量矩阵,例如结构化随机矩阵和高斯随机矩阵。然而,这些采样矩阵都需事先设定且与信号无关,忽略了信号特性。在重构上,依赖于信号在特定域的稀疏性,提出了多种重构方法,例如贪婪算法和凸松弛优化方法。然而,这些重构算法往往需要大量的迭代优化,时间复杂度高且低采样率时重构效果差。
近年来,深度学习技术在各个领域取得突破性进展,特别地,为计算机视觉带来了革命性的进步,提出了更多新的研究方向,例如图像去噪、超分辨率重建、图像分割等。基于深度学习的图像压缩感知以较低的计算复杂度获得比传统迭代算法更好的重构质量,然而,现有的方法在采样过程中通常使用一个卷积提取特征或多个相同的卷积提取深层特征,存在特征提取不全的问题。在重构过程中通常将重点放在深度特征的提取上,而忽略了浅层特征对重构的影响。
发明内容
为克服上述现有技术的不足,本发明提出了结合通道注意力的多尺度图像压缩感知重构方法及系统,通过图像初始重建和深度重建,在提取深度特征的同时也考虑了浅层特征对重构的影响,使得重构效果好。
为实现上述目的,本发明的一个或多个实施例提供了如下技术方案:结合通道注意力的多尺度图像压缩感知重构方法,包括:
将原始图像转换为灰度图像,对灰度图像进行多尺度分块采样得到采样值,对所述采样值通过第一通道注意力模块计算输出特征的多通道融合矩阵,将所述多通道融合矩阵与采样值运算处理得到初始重建图像;
将初始重建图像经过特征提取后依次经过第二通道注意力模块、多尺寸残差模型进行特征的多尺度融合,得到深度重建图像;其中,所述第一通道注意力模块与所述第二通道注意力模块相同;
将所述初始重建图像和深度重建图像进行结合,得到重构图像。
本发明的第二个方面提供结合通道注意力的多尺度图像压缩感知重构系统,包括:
初始重建模块:将原始图像转换为灰度图像,对灰度图像进行多尺度分块采样得到采样值,对所述采样值通过第一通道注意力模块计算输出特征的多通道融合矩阵,将所述多通道融合矩阵与采样值运算处理得到初始重建图像;
深度重建模块:将初始重建图像经过特征提取后通过多尺寸残差模型进行特征的多尺度融合,得到深度重建图像;
重构模块:将所述初始重建图像和深度重建图像进行结合,得到重构图像。
以上一个或多个技术方案存在以下有益效果:
在本发明中,通过图像初始重建和深度重建,在提取深度特征的同时也考虑了浅层特征对重构的影响,使得重构效果好。
在本发明中,多尺度分块采样中利用不同大小的卷积核对图像进行分解和采样,从而捕获多个尺度上不同级别的空间特征,解决采样时特征提取不足的问题。
在本发明中,引入通道注意力来计算多通道采样和重建图像的每个通道信息权重,从而解决所有通道一视同仁,不同通道特征缺乏区分学习的缺点。多尺度残差模型中使用局部残差学习可以很好地解决随着网络深度的增加所引发的梯度消失和网络退化等问题。
本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1为本发明实施例一中结合通道注意力的多尺度图像压缩感知重构方法的流程图;
图2为本发明实施例一中结合通道注意力的多尺度图像压缩感知重构方法的示意图;
图3为本发明实施例一中多尺度采样的流程图;
图4为本发明实施例一中上采样、整形拼接的流程图;
图5为本发明实施例一中通道注意力模块的结构示意图;
图6为本发明实施例一中多尺度残差块的结构示意图;
图7为本发明实施例一中多尺度残差重构示意图。
具体实施方式
应该指出,以下详细说明都是示例性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
实施例一
如图1所示,本实施例公开了结合通道注意力的多尺度图像压缩感知重构方法,包括:
将原始图像转换为灰度图像,对灰度图像进行多尺度分块采样得到采样值,对所述采样值通过第一通道注意力模块计算输出特征的多通道融合矩阵,将所述多通道融合矩阵与采样值运算处理得到初始重建图像;
将初始重建图像经过特征提取后依次经过第二通道注意力模块、多尺寸残差模型进行特征的多尺度融合,得到深度重建图像;其中,所述第一通道注意力模块与所述第二通道注意力模块相同;
将所述初始重建图像和深度重建图像进行结合,得到重构图像。
如图2所示,在本实施例中,结合通道注意力的多尺度图像压缩感知重构方法具体包括:
步骤1:获取原始图像进行处理,具体为:
步骤1-1:获取BSD500公开的数据集,选择其中400张图像作为训练集,同时对训练集进行预处理;
步骤1-2:对训练集的预处理为:将训练集数据裁剪成96×96的图像,对图像进行水平和垂直翻转,其中被翻转的概率p=0.5,将图像转换为灰度图像。
步骤2:对步骤1得到的图像进行多尺度分块采样,获得采样值;如图3所示,具体包括:
步骤2-1:多尺度分块采样中,B为分块大小,本实施例中设置B的大小为8。在采样前分别采用三个卷积层对灰度图像进行分解,三个卷积层分别是:两个5×5的卷积层和一个3×3的卷积层。其中,每个卷积层分别对灰度图像提取特征后每个卷积层的输出通道数为nB,通道维度为:
Figure SMS_2
,/>
Figure SMS_3
本实施例中均用来表示通道维度,N代表每次处理图像数,nB代表通道数、/>
Figure SMS_4
代表图像高度、/>
Figure SMS_5
代表图像宽度,nB=B×B×subrate,subrate代表采样率。
步骤2-2:将步骤2-1中每个卷积层的输出使用torch.cat()函数将特征进行拼接,拼接后得到的特征通道维度为
Figure SMS_6
,N代表每次处理图像数,nB代表通道数、
Figure SMS_7
代表图像高度、/>
Figure SMS_8
代表图像宽度,然后再使用1×1的卷积进行降维操作。
步骤2-3:将步骤2-2所得到的降维后的特征进行采样得到采样值
Figure SMS_9
,其中,N代表每次处理图像数,C代表采样点数,/>
Figure SMS_10
代表图像的行被划分的图像块数量、/>
Figure SMS_11
代表图像的列被划分的图像块数量。
具体的,分别利用卷积和平均池化运算进行采样,并将卷积和平均池化的结果相加作为采样值
Figure SMS_12
,此处卷积的卷积核和步长均设置为8,池化的窗口和步长均设置为8。
需要说明的是,C是步骤2-2中使用1×1的卷积进行降维的结果再进行采样后得到的采样点数,C=B×B×subrate,B为分块大小,subrate代表采样率。
如图5所示,步骤3:对采样值
Figure SMS_13
引入第一通道注意力模块,此处第一通道注意力设置的通道数为B×B×subrate,B为分块大小,subrate为采样率可根据实验或具体要求设置,比如0.1、0.2等。
具体的:步骤3-1:通过采样值
Figure SMS_14
计算通道注意矩阵
Figure SMS_15
,其中,/>
Figure SMS_16
代表批量大小即每次处理图像数、/>
Figure SMS_17
代表采样点数、/>
Figure SMS_18
代表图像的行被划分的图像块数量、/>
Figure SMS_19
代表图像的列被划分的图像块数量。
具体的:将采样值
Figure SMS_22
整形为第一整形矩阵/>
Figure SMS_24
和第二整形矩阵/>
Figure SMS_26
,其中,/>
Figure SMS_21
,/>
Figure SMS_23
代表批量大小即每次处理图像数、
Figure SMS_25
代表采样点数、/>
Figure SMS_27
代表图像的行被划分的图像块数量、/>
Figure SMS_20
代表图像的列被划分的图像块数量。
将第一整形矩阵a和第二整形矩阵
Figure SMS_28
进行矩阵乘法得到矩阵/>
Figure SMS_29
,/>
Figure SMS_30
代表批量大小即每次处理图像数、/>
Figure SMS_31
代表采样点数。将矩阵/>
Figure SMS_32
送入/>
Figure SMS_33
层即归一化层,获得通道注意力矩阵/>
Figure SMS_34
,计算公式表示为:
Figure SMS_35
(1)
其中,
Figure SMS_37
为通道注意力矩阵/>
Figure SMS_39
的第i行第j列的值,表示第/>
Figure SMS_42
个通道对第/>
Figure SMS_38
个通道的影响;公式中忽略批量大小,默认为1;/>
Figure SMS_40
为第/>
Figure SMS_41
个通道采样值,/>
Figure SMS_43
为第/>
Figure SMS_36
个通道的采样值,exp以自然常数e为底的指数函数。
步骤3-2:利用torch中的view函数将采样值
Figure SMS_47
整形为第三整形矩阵/>
Figure SMS_48
,/>
Figure SMS_52
和/>
Figure SMS_46
执行矩阵乘法得到/>
Figure SMS_49
, 并将结果/>
Figure SMS_53
整形为/>
Figure SMS_55
,其中/>
Figure SMS_44
,/>
Figure SMS_50
代表批量大小即每次处理图像数、/>
Figure SMS_51
代表采样点数、/>
Figure SMS_54
代表图像的行被划分的图像块数量、/>
Figure SMS_45
代表图像的列被划分的图像块数量。此步骤可描述为:使用torch.bmm(Z, d).view(batch_size, -1, H2,W2),其中,batch_size表示批量大小。
最后用
Figure SMS_57
乘以尺度参数/>
Figure SMS_60
并与采样值/>
Figure SMS_61
执行逐元素求和运算获得最终的输出/>
Figure SMS_58
,/>
Figure SMS_59
代表批量大小即每次处理图像数、
Figure SMS_62
代表采样点数、/>
Figure SMS_63
代表图像的行被划分的图像块数量、/>
Figure SMS_56
代表图像的列被划分的图像块数量。
Figure SMS_64
表示的是对整个图像采样后的维度,/>
Figure SMS_65
中第j个值的计算公式表示为:
Figure SMS_66
(2)
其中,
Figure SMS_68
为/>
Figure SMS_71
的第j个值,尺度参数/>
Figure SMS_74
表示从0开始逐步学习的一个权重,最终输出的每个通道的特征是所有含有权重的通道特征和原始特征的一个加权和,/>
Figure SMS_69
为第/>
Figure SMS_70
个通道的采样值,/>
Figure SMS_73
表示第/>
Figure SMS_76
个通道对第/>
Figure SMS_67
个通道的影响,/>
Figure SMS_72
为第/>
Figure SMS_75
个通道采样值,/>
Figure SMS_77
代表采样点数。
步骤4:对步骤3的输出
Figure SMS_78
执行上采样。
如图4所示,设置一个卷积层对
Figure SMS_79
完成上采样操作,其中卷积层输入通道数:B×B×subrate,输出通道数:B×B,卷积核大小:1×1×nB,卷积核数量B2,步长1×1。其中,B为分块大小,subrate代表采样率,nB为步骤2-1中的所描述的通道数。
步骤5:对步骤4上采样的结果进行整形和拼接,实现图像初始重建。
由于步骤4是对于每个图像块经过采样后输出的是1×1×nB的向量,然后经过上采样操作后得到的是1×1×B2的向量。其中,1×1×nB描述的是一张图像中每个分块采样后的维度。为了完成图像初始重建,对执行上采样后的每个图像块执行整形和拼接操作。
具体的,整形是指将每个1×1×B2的向量重新整形为一个B×B×1的块,拼接是指将所有整形的块进行拼接,从而得到初始重建图像,这个过程可以表示为:
Figure SMS_80
(3)
其中,
Figure SMS_86
、/>
Figure SMS_85
分别表示图像的行、列被划分的图像块数量;/>
Figure SMS_94
表示上采样操作;/>
Figure SMS_82
表示一幅图像分块后第/>
Figure SMS_92
行第/>
Figure SMS_84
列的块执行步骤4的上采样操作后得到的1×1×B2的向量;/>
Figure SMS_95
表示一幅图像分块后第/>
Figure SMS_89
行第/>
Figure SMS_96
列的块执行步骤4的上采样操作后得到的1×1×B2的向量;/>
Figure SMS_81
表示一幅图像分块后第1行第/>
Figure SMS_90
列的块执行步骤4的上采样操作后得到的1×1×B2的向量;/>
Figure SMS_83
表示一幅图像分块后第/>
Figure SMS_93
行第1列的块执行步骤4的上采样操作后得到的1×1×B2的向量;/>
Figure SMS_88
是整形函数;/>
Figure SMS_91
是拼接函数,/>
Figure SMS_87
是初始重建图像。
步骤6:将初始重建图像输入至卷积层进行特征提取,将卷积层的输出再输入至第二通道注意力模块。
具体的,步骤6中的卷积层的输入通道数:1,输出通道数:64,卷积核大小:3×3,步长:1,填充:1,并将所得结果输入至第二通道注意力模块中。此处的第二通道注意力模块输入是初始重建图像经过卷积层进行特征提取后的结果,输出是该输入执行通道注意力后的结果。第二通道注意力模块与步骤3中的第一通道注意力模块相同。
步骤7:将步骤6得到的结果基于多尺度残差模型进行图像深度重建,具体包括:
步骤7-1:多尺度残差模型包括八个串联的多尺度残差块即第一多尺度残差块~第八多尺度残差块,每个多尺度残差块由多尺度特征融合和局部残差学习构成。
如图6所示,对于多尺度特征融合:构建一个五旁路网络,其中右边三个旁路使用3×3、5×5、7×7的卷积层提取浅层图像特征,直接进行最后特征的融合。另外两个旁路使用3×3、5×5的卷积层提取深一层的图像细节,每个旁路的输出分别与下一层的旁路相连,其中的下一层的旁路为两个,分别是Concat层即连接层和3×3卷积层、Concat层即连接层和5×5卷积层。最后使用Concat层即连接层和一个1×1卷积层连接上面5个旁路,除最后一个1×1卷积层外,五旁路网络的其他卷积层后均跟有relu函数。
局部残差学习:
Figure SMS_97
,其中,/>
Figure SMS_98
代表/>
Figure SMS_99
的上一层的输出;/>
Figure SMS_100
代表每个多尺度残差块学习到的残差值,即经过多尺度残差块最后的Concat层即连接层和1×1卷积层后输出的结果。
需要说明的是,由于本实施例使用了八个多尺度残差块,因此对于第一个多尺度残差块来说,此时的
Figure SMS_101
是步骤6中第二通道注意力模块的输出,/>
Figure SMS_102
则为第一个多尺度残差块的输出;第二个多尺度残差块及往后的多尺度残差块的输入都是上一个多尺度残差块的输出。
如图7所示,将每个多尺度残差块都作为特征融合的一部分直接与后面的融合层Z连接,组合成多尺度残差模型。此处的融合层是由torch的cat函数实现的,目的是将图7中经过步骤6中的第二通道注意力模块的输出M0和步骤7中每个多尺度残差块的输出M1,M2,……,Mn-1,Mn进行拼接,以防止随着网络深度的增加而丢失部分特征。
步骤7-2:基于融合层维数过高,采用两个卷积层进行降维,第一个卷积层将维度降为64,第二个卷积层将维度降为1。融合层的输出为第一卷积层的输入,第一个卷积层的输出为第二个卷积层的输入。
具体的,第一个卷积层为:输入通道数:576;输出通道数:64;卷积核大小:1×1;卷积核数量64;步长:1×1;第二个卷积层为:输入通道数:64;输出通道数:1;卷积核大小:3×3。
步骤7-3:将步骤7-2得到的最终结果与步骤5得到初始重建图像进行相加得到最终重建图像。
表1、表2、表3和表4分别是本实施例中的方法与其他方法的对比情况,结果充分表明本实施例中的方法图像重构任务上的优越性。
如下表1在不同采样率的数据集Set5上,对不同代表性的CS算法进行了平均PSNR和SSIM比较:
Figure SMS_103
如下表2在不同采样率的数据集Set11上,对不同代表性的CS算法进行了平均PSNR和SSIM比较:
Figure SMS_104
如下表3在不同采样率的数据集Set14上,对不同代表性的CS算法进行了平均PSNR和SSIM比较:
Figure SMS_105
如下表4在不同采样率的数据集BSD100上,对不同代表性的CS算法进行了平均PSNR和SSIM比较:
Figure SMS_106
实施例二
本实施例提供结合通道注意力的多尺度图像压缩感知重构系统,包括:
初始重建模块:将原始图像转换为灰度图像,对灰度图像进行多尺度分块采样得到采样值,对所述采样值通过第一通道注意力模块计算输出特征的多通道融合矩阵,将所述多通道融合矩阵与采样值运算处理得到初始重建图像;
深度重建模块:将初始重建图像经过特征提取后依次经过第二通道注意力模块、多尺寸残差模型进行特征的多尺度融合,得到深度重建图像;其中,所述第一通道注意力模块与所述第二通道注意力模块相同;
重构模块:将所述初始重建图像和深度重建图像进行结合,得到重构图像。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.结合通道注意力的多尺度图像压缩感知重构方法,其特征在于,包括:
将原始图像转换为灰度图像,对灰度图像进行多尺度分块采样得到采样值,对所述采样值通过第一通道注意力模块计算输出特征的多通道融合矩阵,将所述多通道融合矩阵与采样值运算处理得到初始重建图像;
将初始重建图像经过特征提取后依次经过第二通道注意力模块、多尺寸残差模型进行特征的多尺度融合,得到深度重建图像;其中,所述第一通道注意力模块与所述第二通道注意力模块相同;
将所述初始重建图像和深度重建图像进行结合,得到重构图像;
其中,对所述采样值通过第一通道注意力模块计算输出特征的多通道融合矩阵,具体为:
根据图像的行、列被划分的数量将所述采样值整形为第一整形矩阵、第二整形矩阵和第三整形矩阵,其中,第二整形矩阵为第一整形矩阵的转置,所述第一整形矩阵、第三整形矩阵的通道维度相同;
将第二整形矩阵与第一整形矩阵相乘后输入至归一化层,得到通道注意力矩阵;
将通道注意力矩阵与所述第三整形矩阵相乘,将相乘后的矩阵整形为与所述采样值相同的通道维度,并与所述采样值逐元素求和得到第一通道注意力模块最终的输出结果;
将所得到的第一通道注意力模块最终的输出结果经过卷积层完成上采样操作,对上采样结果进行整形、拼接得到初始重建图像;
所述多尺寸残差模型包括8个依次连接的多尺度残差块,所述多尺度残差块由多尺度特征融合和局部残差学习构成;
所述多尺度特征融合包括5个旁路,以及与5个旁路的输出依次连接的连接层和1×1卷积层,其中三个旁路分别为3×3卷积层、5×5卷积层、7×7卷积层,用于提取浅层图像特征;
另外两个旁路分别为3×3卷积层、5×5卷积层,以及两个旁路的3×3卷积层、5×5卷积层还分别与并列的3×3卷积层、5×5卷积层进行连接,用于提取深层图像特征;
所述局部残差学习为:
Figure QLYQS_1
,其中,/>
Figure QLYQS_2
代表/>
Figure QLYQS_3
的上一层的输出,/>
Figure QLYQS_4
为所在多尺度残差块所连接的上一层结构的输出,/>
Figure QLYQS_5
为所在多尺度残差块的输出, />
Figure QLYQS_6
代表5个旁路的输出所依次连接的连接层、1×1 卷积层的输出结果。
2.如权利要求1所述的结合通道注意力的多尺度图像压缩感知重构方法,其特征在于,对灰度图像进行多尺度分块采样,具体为:
分别采用5×5卷积层、5×5卷积层和3×3的卷积层对灰度图像进行分解;
将分解的结果使用函数进行特征拼接;
对拼接后的结果采用1×1的卷积层进行降维操作;
将降维后的结果分别利用卷积、平均池化进行采样,并将采样的结果相加得到采样值。
3.如权利要求1所述的结合通道注意力的多尺度图像压缩感知重构方法,其特征在于,将第二通道注意力的输出与每一个多尺度残差块的输出通过融合层进行特征拼接。
4.如权利要求3所述的结合通道注意力的多尺度图像压缩感知重构方法,其特征在于,将所述融合层的输出依次经过两个卷积层进行降维操作,得到深度重建图像。
5.如权利要求1所述的结合通道注意力的多尺度图像压缩感知重构方法,其特征在于,将初始重建图像和深度重建图像进行相加,得到重构图像。
6.如权利要求1所述的结合通道注意力的多尺度图像压缩感知重构方法,其特征在于,在所述多尺度特征融合中,5个旁路中的所有卷积层后均有激活函数。
7.结合通道注意力的多尺度图像压缩感知重构系统,利用如权利要求1-6任一项所述的结合通道注意力的多尺度图像压缩感知重构方法,其特征在于,包括:
初始重建模块:将原始图像转换为灰度图像,对灰度图像进行多尺度分块采样得到采样值,对所述采样值通过第一通道注意力模块计算输出特征的多通道融合矩阵,将所述多通道融合矩阵与采样值运算处理得到初始重建图像;
深度重建模块:将初始重建图像经过特征提取后依次经过第二通道注意力模块、多尺寸残差模型进行特征的多尺度融合,得到深度重建图像;其中,所述第一通道注意力模块与所述第二通道注意力模块相同;
重构模块:将所述初始重建图像和深度重建图像进行结合,得到重构图像。
CN202310238326.7A 2023-03-14 2023-03-14 结合通道注意力的多尺度图像压缩感知重构方法及系统 Active CN115953303B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310238326.7A CN115953303B (zh) 2023-03-14 2023-03-14 结合通道注意力的多尺度图像压缩感知重构方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310238326.7A CN115953303B (zh) 2023-03-14 2023-03-14 结合通道注意力的多尺度图像压缩感知重构方法及系统

Publications (2)

Publication Number Publication Date
CN115953303A CN115953303A (zh) 2023-04-11
CN115953303B true CN115953303B (zh) 2023-05-23

Family

ID=85903345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310238326.7A Active CN115953303B (zh) 2023-03-14 2023-03-14 结合通道注意力的多尺度图像压缩感知重构方法及系统

Country Status (1)

Country Link
CN (1) CN115953303B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468812A (zh) * 2023-05-16 2023-07-21 山东省计算中心(国家超级计算济南中心) 一种基于多分支和多尺度的图像压缩感知重构方法及系统
CN116630700A (zh) * 2023-05-22 2023-08-22 齐鲁工业大学(山东省科学院) 基于引入通道-空间注意力机制的遥感图像分类方法
CN116452696B (zh) * 2023-06-16 2023-08-29 山东省计算中心(国家超级计算济南中心) 一种基于双域特征采样的图像压缩感知重构方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114331830A (zh) * 2021-11-04 2022-04-12 西安理工大学 一种基于多尺度残差注意力的超分辨率重建方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022059858A1 (en) * 2020-09-16 2022-03-24 Samsung Electronics Co., Ltd. Method and system to generate 3d audio from audio-visual multimedia content
CN114708173A (zh) * 2022-02-22 2022-07-05 北京旷视科技有限公司 图像融合方法、计算机程序产品、存储介质及电子设备
CN114926680B (zh) * 2022-05-13 2022-11-11 山东省计算中心(国家超级计算济南中心) 一种基于AlexNet网络模型的恶意软件分类方法及系统
CN114926557A (zh) * 2022-06-17 2022-08-19 广东工业大学 一种结合注意力机制的多尺度图像压缩重构方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114331830A (zh) * 2021-11-04 2022-04-12 西安理工大学 一种基于多尺度残差注意力的超分辨率重建方法

Also Published As

Publication number Publication date
CN115953303A (zh) 2023-04-11

Similar Documents

Publication Publication Date Title
CN115953303B (zh) 结合通道注意力的多尺度图像压缩感知重构方法及系统
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
US20240193723A1 (en) Channel attention-based swin-transformer image denoising method and system
CN108537733B (zh) 基于多路径深度卷积神经网络的超分辨率重建方法
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN110544205B (zh) 基于可见光与红外交叉输入的图像超分辨率重建方法
CN109949224B (zh) 一种基于深度学习的联级超分辨率重建的方法及装置
CN111652804B (zh) 基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法
CN110223304B (zh) 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质
CN111815516B (zh) 一种弱监督红外遥感图像超分辨率重建方法
CN110189260B (zh) 一种基于多尺度并行门控神经网络的图像降噪方法
CN113436076B (zh) 逐步融合特征的图像超分辨率重建方法及电子设备
CN111402128A (zh) 一种基于多尺度金字塔网络的图像超分辨率重建方法
CN110533591B (zh) 基于编解码器结构的超分辨图像重建方法
Yang et al. Image super-resolution based on deep neural network of multiple attention mechanism
CN113538246A (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN113128583B (zh) 基于多尺度机制和残差注意力的医学图像融合方法及介质
Cai et al. Binarized spectral compressive imaging
CN116029905A (zh) 一种基于渐进差值互补的人脸超分辨率重构方法及系统
CN116596809A (zh) 一种基于Residual-Unet网络的低照度图像增强方法
CN114529482B (zh) 基于小波多通道深度网络的图像压缩感知重建方法
CN116385454A (zh) 一种基于多阶段聚合的医学图像分割方法
CN114936977A (zh) 一种基于通道注意力和跨尺度特征融合的图像去模糊方法
Qiu et al. Nested Dense Attention Network for Single Image Super-Resolution
CN114757830B (zh) 基于通道-扩散双分支网络的图像超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20230411

Assignee: Shandong Geek Security Technology Co.,Ltd.

Assignor: SHANDONG COMPUTER SCIENCE CENTER(NATIONAL SUPERCOMPUTER CENTER IN JINAN)|Qilu University of Technology (Shandong Academy of Sciences)

Contract record no.: X2024980000068

Denomination of invention: A multi-scale image compression perception reconstruction method and system combining channel attention

Granted publication date: 20230523

License type: Common License

Record date: 20240104

EE01 Entry into force of recordation of patent licensing contract