CN117237190A - 用于边缘移动设备的轻量化图像超分辨率重建系统及方法 - Google Patents
用于边缘移动设备的轻量化图像超分辨率重建系统及方法 Download PDFInfo
- Publication number
- CN117237190A CN117237190A CN202311194024.0A CN202311194024A CN117237190A CN 117237190 A CN117237190 A CN 117237190A CN 202311194024 A CN202311194024 A CN 202311194024A CN 117237190 A CN117237190 A CN 117237190A
- Authority
- CN
- China
- Prior art keywords
- block
- feature
- features
- dffpa
- shallow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000004821 distillation Methods 0.000 claims abstract description 63
- 230000004927 fusion Effects 0.000 claims abstract description 40
- 238000000605 extraction Methods 0.000 claims abstract description 33
- 230000002776 aggregation Effects 0.000 claims abstract description 19
- 238000004220 aggregation Methods 0.000 claims abstract description 19
- 239000000284 extract Substances 0.000 claims abstract description 7
- 230000008707 rearrangement Effects 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 54
- 230000004913 activation Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 101100125012 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) ECM10 gene Proteins 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 6
- 238000007670 refining Methods 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 102100038023 DNA fragmentation factor subunit beta Human genes 0.000 claims 10
- 101000950965 Homo sapiens DNA fragmentation factor subunit beta Proteins 0.000 claims 10
- 239000010410 layer Substances 0.000 description 84
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Processing (AREA)
Abstract
本发明公开用于边缘移动设备的轻量化图像超分辨率重建系统及方法,属于图像超分辨率重建技术领域;包括输入模块、浅层特征提取层、多个堆叠蒸馏特征融合像素注意块模块、特征聚合模块、重建模块和输出模块;浅层特征提取层对低分辨率图像提取浅层特征;多个堆叠蒸馏特征融合像素注意块模块是m个以链的方式进行堆叠的DFFPA块,对浅层特征逐步细化提取深层特征;特征聚合模块聚合m个DFFPA块和浅层特征提取层的特征;重建模块经过卷积层和像素重排进行图像重建,得到超分辨率图像;本发明能够减少冗余信息,更加高效地提取图像中的高频信息,通过在像素级别上对不同尺度的特征进行加权融合,网络能够提供更优质的超分辨率重建结果。
Description
技术领域
本发明涉及用于边缘移动设备的轻量化图像超分辨率重建系统及方法,属于图像超分辨率重建技术领域。
背景技术
随着三星Galaxy S23 Ultra、iPhone 14Pro、华为P60 Pro等高清移动设备的快速发展,图像超分辨率(SR)问题变得越来越受关注。SR旨在从低分辨率图像恢复高分辨率图像,以提供更清晰、更详细的图像显示效果。自SRCNN将深度学习引入SR以来,由于其易用性和高性能,深度网络已成为SR算法的常用方法。然而,深度模型的设计使得网络需要依赖大量的参数,这使得网络对计算资源和内存的需求变得很高,难以在资源受限的移动设备上部署。因此,在实际应用中,需要开发轻量级的方法来进行超分辨率图像重建,以在资源受限的移动设备上实现良好的显示效果。目前,为了实现轻量化网络结构,研究人员采用了多种有效的方法,包括参数共享策略、带有分组卷积的级联网络、信息或特征蒸馏机制以及注意机制。但为了减少参数量和计算量,轻量化网络通常需要减少模型的复杂性,这可能导致网络的性能下降,无法达到与更大型的深度模型相同的重建质量,并且会限制网络的容量和表达能力,使得它们在重建复杂图像场景或包含细微纹理的图像上的质量降低。
如何在保证轻量化网络模型的前提下,实现合理性能是此课题所需要关注的问题。当前先进的SR模型RFDN就采用了信息蒸馏架构,利用所提出的残差特征蒸馏块,恢复层间的高频信息,在较低的计算和内存开销前提下,维持了一定的性能。但存在缺陷:第一,目前先进的轻量级SR模型RFDN中,蒸馏特征只是简单的在通道维度上连接,对每层蒸馏的信息都平等对待,未考虑到蒸馏层间特征的重要性差异,融合后SR效果差;第二,特征细化部分只使用简单的3×3卷积提取特征,网络在深层特征提取时并不能聚焦于关键区域和细节的特征。
因此设计一种在有限资源下实现合理性能的图像超分辨率网络成为一个非常有意义的课题。
发明内容
针对上述现有技术存在的问题,提供用于边缘移动设备的轻量化图像超分辨率重建系统及方法,对应的解决方案如下:
第一,提出蒸馏特征融合块(DFFB),将蒸馏特征分两路(每个DFFB块为一路)进行融合,并通过多大核像素注意力通路,对融合特征进行加权,高注意力权重的蒸馏特征将得到更多的关注,而低权重的蒸馏特征将被抑制或忽略,从而减少冗余信息,抑制不相关的噪声和干扰。使用大核像素注意力生成权重,模型可以在像素级别上对不同尺度的特征进行加权融合,使得模型能够更好地利用多尺度信息,提升对细节和整体结构的感知能力,提高SR效果。
第二,提出残差像素注意块(RPAB),块内使用堆叠3x3可分离卷积(SSC3)生成更准确地像素级注意力权重,提高3×3卷积的表达能力。引入像素注意力后的特征细化层可使网络动态地调整每个像素的重要性,从而更加聚焦于关键区域和细节的特征提取,提高对图像关键细节的关注和处理能力。
本发明是通过以下技术方案来实现的:
第一方面,本发明提供用于边缘移动设备的轻量化图像超分辨率重建系统,所述系统包括输入模块、浅层特征提取层、多个堆叠蒸馏特征融合像素注意块模块、特征聚合模块、重建模块和输出模块;
所述输入模块接收低分辨率图像ILR;
所述浅层特征提取层对低分辨率图像提取浅层特征;
所述多个堆叠蒸馏特征融合像素注意块模块是m个以链的方式进行堆叠的DFFPA块,对浅层特征逐步细化提取深层特征;
所述特征聚合模块聚合m个DFFPA块和浅层特征提取层的特征;
所述重建模块经过一个3×3卷积层和像素重排进行图像重建,得到超分辨率图像ISR;
所述输出模块输出超分辨率图像ISR。
进一步地,所述浅层特征提取层为3×3卷积层,从低分辨率图像ILR中提取浅层特征,具体为:
F0=h(ILR)
其中,h为浅层特征提取函数,F0为提取的浅层特征。
进一步地,所述多个堆叠蒸馏特征融合像素注意块模块具体为:提取的浅层特征输入到DFFPA块,经过处理后的特征输入到下一个DFFPA块,以此类推,此表示为:
Fk=Hk(Fk-1),k=1,...,m
其中,Hk为第k个DFFPA块函数,Fk为第k个DFFPA块的输出特征,Fk-1为第k-1个DFFPA块的输出特征和第k个DFFPA块的输入特征;当k=1时,F0为提取的浅层特征;
同时每块DFFPA块的输出特征在特征聚合模块中聚合。
进一步地,所述DFFPA块包括3个RPAB块、1个3×3卷积层,2个DFFB块,通道维度串联Concat操作、通道混洗Cshuffle操作、1个1×1卷积层、ESA块;3个RPAB块和1个3×3卷积层通过串联的方式连接在一起,且每经过一个PRAB块和3×3卷积层,输出特征都输入到DFFB块中,经由从上到下第一个RPAB块和第二个RPAB块处理的特征输入到第一个DFFB块中,第三个RPAB块和3×3卷积层处理的特征输入到第二个DFFB块中;最后将两个DFFB块的输出特征通过Concat操作连接在一起,以第k个DFFPA块为例,上述过程表示为:
Fd1,Fc1=R1(Fk-1),L1(Fk-1)
Fd2,Fc2=R2(Fc1),L2(Fc1),
Fd3,Fc3=R3(Fc2),L3(Fc2),
Fd4=R4(C3×3(Fc3))
Fk-1表示第k个DFFPA块的输入,经由RPAB块或3×3卷积层细化的特征由四条支路送入DFFB块,通过1×1卷积层将通道数减半进行特征蒸馏,Rj(j=1,2,3,4)是特征蒸馏函数,Li(i=1,2,3)是RPAB特征细化函数,C3×3是3×3卷积层特征细化函数,Fdj表示第j个被蒸馏的特征(j=1,2,3,4),Fci表示将由后续层处理的第i个粗特征(i=1,2,3);
F1=D1(Concat(Fd1,Fd2)),
F2=D2(Concat(Fd3,Fd4)),
Fk=Concat(F1,F2)
其中,D1、D2分别表示第一个、第二个DFFB块的特征融合函数,F1,F2分别表示第一、第二个DFFB块的输出,Fk是最终融合后的第k个DFFPA块的输出特征,Concat是沿通道维度的串联操作;
最后输入到通道混洗Cshuffle操作、1×1卷积层和ESA块串联的通路中并输出。
进一步地,所述RPAB块由1个3×3卷积层、残差连接、激活单元ReLU、1个堆叠3x3可分离卷积层SSC3、Sigmoid函数组成;其组成结构包括三个通路,输入的特征通过左边的通路连接到ReLU激活函数前和中间通路输出的结果相加;右边的通路由堆叠3x3可分离卷积和sigmoid函数串联组成,用于生成每个像素的注意力权重;中间通路由一个3×3卷积层和ReLU激活函数串联构成,3×3卷积层用于特征提取,其结果与右边的通路生成的像素注意力权重相乘并和输入的特征相加,最后通过ReLU函数激活。
进一步地,所述DFFB块由4个1×1卷积层、通道维度串联Concat操作、通道混洗Cshuffle操作、Sigmoid函数、1个5×5深度可分离卷积层、1个7×7深度可分离卷积层组成;上下两路并行的1×1卷积分别将两路输入的特征通道数变为原来的二分之一,完成对特征的蒸馏;将两路蒸馏特征沿通道维度串联并进行通道混洗Cshuffle操作,接着通过1×1卷积将通道数减半,即恢复到蒸馏特征通道数;经过融合后的蒸馏特征送入由1×1卷积层、5×5深度可分离卷积层、7×7深度可分离卷积层和sigmoid函数串联的通路,生成大核像素注意力权重并和融合后的蒸馏特征相乘,作为DFFB块的输出。
进一步地,所述特征聚合模块包括1×1卷积层和3×3卷积层,提取的深层特征通过1×1卷积层聚合,然后,使用3×3卷积层对聚合的特征进行平滑,其表达式为:
Fa=Ha(Concat(Fout1,...,Foutm))
其中,Ha表示紧接着1×1卷积层后的3×3卷积层特征提取函数,Fa是聚合后的特征,Fout1,...,Foutm表示第1个DFFPA块到第m个DFFPA块输出的中间特征;
最后,聚合m个DFFPA块和浅层特征提取层的特征。
进一步地,所述重建模块由一个3×3卷积层和一个亚像素卷积层组成,重建生成SR图像表达为:
ISR=R(Fa+F0)
其中,R表示重构函数,F0为提取的浅层特征,Fa是特征聚合模块聚合后的特征。
进一步地,所述系统的网络损失函数表示为:
其中,H表示提出的网络的函数,θ表示本网络的学习参数,||·||1是l1范数;N是样本数量。
第二方面,本发明提供用于边缘移动设备的轻量化图像超分辨率重建方法,所述方法具体如下:
步骤1,边缘移动设备获取低分辨率图像;
步骤2,输入低分辨率图像ILR;
步骤3,将低分辨率图像输入浅层特征提取层,通过3×3卷积层提取浅层特征;
步骤4,将步骤3提取的浅层特征输入多个堆叠蒸馏特征融合像素注意模块,逐步细化提取深层特征,多个堆叠蒸馏特征融合像素注意块是m个以链的方式进行堆叠的DFFPA块;
步骤5,将步骤4提取的深层特征输入特征聚合模块,聚合m个DFFPA块和浅层特征提取层的特征;
步骤6,将步骤5的输出特征输入到重建模块,经过一个3×3卷积层和像素重排进行图像重建;
步骤7,输出超分辨率图像ISR。
本发明具有以下有益效果:(1)本发明提出了蒸馏特征融合和像素注意机制相结合的方法。通过蒸馏特征的分两路融合以及多大核像素注意力通路的加权操作,本发明能够有效地减少冗余信息,更加高效地提取图像中的高频信息,通过在像素级别上对不同尺度的特征进行加权融合,网络能够提供更优质的超分辨率重建结果。
(2)本发明通过在浅层残差块中引入像素注意机制,动态地调整每个像素的重要性。这使得网络在图像处理任务中能够更好地捕捉图像的局部特征,提高对图像内容的理解和表示能力。
(3)相较于深度大模型,本发明通过引入较少的参数提高SR效果,能够部署在资源受限的移动设备上。
附图说明
图1为用于边缘移动设备的轻量化图像超分辨率重建系统的结构图;
图2为用于边缘移动设备的轻量化图像超分辨率重建方法的流程图;
图3为蒸馏特征融合像素注意块(DFFPA)的结构图;
图4为残差像素注意块(RPAB)的结构图;
图5为蒸馏特征融合块(DFFB)的结构图;
具体实施方式
下面结合附图详细说明本发明的优选实施例。
本发明提出了用于边缘移动设备的轻量化图像超分辨率重建系统及方法,其主要目的是通过蒸馏特征融合和像素注意机制相结合的方法,引入较少的参数,提升图像重建的效果,从而能在资源受限的移动设备上部署。该方法主要包括四部分:1.浅层特征提取层;2.多个堆叠蒸馏特征融合像素注意块模块(Distilled Feature Fusion with PixelAttention Block,DFFPA);3.特征聚合模块;4.重建模块。图1是本发明提出的用于边缘移动设备的轻量化图像超分辨率重建系统结构图。
第一部分:浅层特征提取层
通过3×3卷积实现浅层特征提取,从输入模块接收的低分辨率图像ILR中提取浅层特征,这个过程可以表示为:
F0=h(ILR)
其中h为浅层特征提取函数,F0为提取的浅层特征。
第二部分:多个堆叠蒸馏特征融合像素注意块模块
第一部分提取的浅层特征输入到多个以链的方式进行堆叠的DFFPA块,逐步细化提取深层特征。这个过程可以表示为:
Fk=Hk(Fk-1),k=1,...,m
其中,Hk为第k个DFFPA块函数,Fk为第k个DFFPA块的输出特征,Fk-1为第k-1DFFPA块的输出特征和第k个DFFPA块的输入特征,当k=1时,F0为提取的浅层特征。
图3为DFFPA块的组成示意图;DFFPA块包括3个RPAB块、1个3×3卷积层,2个DFFB块,通道维度串联Concat操作、通道混洗Cshuffle操作、1个1×1卷积层、ESA块。3个RPAB块和1个3×3卷积层通过串联的方式连接在一起,每经过一个PRAB块和3×3卷积层,输出特征都输入到DFFB块中,且经由从上到下第一个RPAB块和第二个RPAB块处理的特征输入到第一个DFFB块中,第三个RPAB块和最后一个3×3卷积层处理的特征输入到第二个DFFB块中;最后将两个DFFB块的输出特征通过Concat操作连接在一起,并输入到通道混洗Cshuffle操作,1×1卷积层,ESA块串联的通路中。它由与RFDN不同的是,本发明提出残差像素注意块(RPAB)来进行特征的细化,并将原来的四路蒸馏连接两两输入到蒸馏特征融合块(DFFB)中进行融合。DFFPA块的核心是信息蒸馏机制,它将前面提取到的特征分为两个部分,即保留一部分,通过RPAB块进一步细化另一部分;以第k个DFFPA块为例,上述过程表示为:
Fd1,Fc1=R1(Fk-1),L1(Fk-1)
Fd2,Fc2=R2(Fc1),L2(Fc1),
Fd3,Fc3=R3(Fc2),L3(Fc2),
Fd4=R4(C3×3(Fc3))
Fk-1表示第k个DFFPA块的输入,对应于图5,经由RPAB块或3×3卷积层细化的特征由四条支路送入DFFB块,通过1×1卷积层将通道数减半进行特征蒸馏,Rj(j=1,2,3,4)是特征蒸馏函数,Li(i=1,2,3)是RPAB特征细化函数,C3×3是3×3卷积层特征细化函数,Fdj表示第j个被蒸馏的特征(j=1,2,3,4),Fci表示将由后续层处理的第i个粗特征(i=1,2,3);
F1=D1(Concat(Fd1,Fd2)),
F2=D2(Concat(Fd3,Fd4)),
Fk=Concat(F1,F2)
DFFB块首先进行特征蒸馏,接着施加多大核像素注意,对融合特征进行加权,减少冗余信息,更高效的提取高频信息。蒸馏特征融合过程可以描述为:
F1=D1(Concat(Fd1,Fd2)),
F2=D2(Concat(Fd3,Fd4)),
Fk=Concat(F1,F2)
其中,D1、D2分别表示第一个、第二个DFFB块的特征融合函数,F1,F2分别表示第一、第二个DFFB块的输出,Fk是最终融合后的第k个DFFPA块的输出特征,Concat是沿通道维度的串联操作;
融合后的输出特征进行通道混洗Cshuffle操作,它将输入特征图的通道数分成两组,再对每个分组通道内的特征图进行重排,最后将所有分组内的通道合并得到新的特征图,该操作可以增加不同通道之间的信息交流,增强模型对于不同特征之间的表示能力。接着通过1×1卷积进行特征的聚合,恢复到输入通道数,并送入ESA块。ESA块是RFAN网络提出的一种增强的空间注意块,它足够轻量化并能生成注意权重使网络更加聚焦在图像关键的空间区域。
图4为RPAB的组成示意图。它由1个3×3卷积层、残差连接、激活函数ReLU、1个堆叠3x3可分离卷积(SSC3)层、Sigmoid函数组成。其组成结构包括三个通路,输入的特征通过左边的通路连接到ReLU激活函数前,并和上一步结果相加。这允许模型学习残差信息,即后续层相对于输入层的变化,而不是直接学习整个映射函数。最右边的通路由堆叠3x3可分离卷积和sigmoid串联组成,用于生成每个像素的注意力权重。中间通路由一个3×3卷积层和ReLU激活函数串联构成,3×3卷积层用于特征提取,其结果与右通路生成的像素注意力权重相乘并和输入特征相加,最后通过ReLU函数激活。由图4可以看到,我们保留RFDN提出的浅层残差块中的残差连接,即上文所述左通路,以实现更细粒度的残差学习。但原始浅层残差块中简单的3×3卷积并不能很好的提取图像关键像素的特征,尤其是对图像细微纹理的关注度不够,为此我们引入像素注意力来提高3×3卷积的表达能力。与PAN网络中使用1×1卷积来形成像素注意力权重不同,我们提出的SSC3包含了两次可分离卷积操作,其中使用了groups参数将通道进行分组,可以增强网络对空间信息的感知能力。通过在空间维度上分组卷积,SSC3模块可以更好地捕捉局部特征和细节,从而更准确地生成像素级的注意力权重。此外,SSC3进行分组卷积时,将输入通道和输出通道分为相同的组,每组中的卷积核是共享的。这样可以大大减少参数量,降低模型复杂度,适于轻量化的要求。将SSC3的输出通过Sigmoid函数形成像素注意力机制,可以提升模型对关键像素和细节的关注能力,减少冗余信息的影响,从而提高图像重建的质量。
图5为DFFB的组成示意图。它由4个1×1卷积层、通道维度串联Concat操作、通道混洗Cshuffle操作、Sigmoid函数、1个5×5深度可分离卷积层、1个7×7深度可分离卷积层组成。由前文所述DFFB接收RPAB块或3×3卷积的输出,接着由上下两路并行的1×1卷积分别将两路输入的特征通道数变为原来的二分之一,完成对特征的蒸馏。将两路蒸馏特征沿通道维度串联并进行通道混洗,接着通过1×1卷积将通道数减半,即恢复到蒸馏特征通道数。经过融合后的蒸馏特征送入由1×1卷积层、5×5深度可分离卷积层、7×7深度可分离卷积层和sigmoid函数串联的通路,生成大核像素注意力权重并和融合蒸馏特征图相乘,作为DFFB模块的输出。与RFDN网络不同的是,本发明并不是直接将四路细化后的特征在通道维度上连接,而是分两路,将临近细化层(即经由从上到下第一个RPAB块和第二个RPAB块处理的特征输入到第一个DFFB块中,第三个RPAB块和最后一个3×3卷积层处理的特征输入到第二个DFFB块中,输入同一个DFFB块的两个层)的蒸馏特征送入DFFB块中进行融合。先前的研究已经证明,较浅层的特征更加关注低频信息和细节恢复,而较深层的特征则更加关注高频信息和纹理增强。然而,RFDN的融合方法对每层蒸馏的信息都平等对待,没有考虑到这种层间特征的重要性差异。所以本发明先将临近的蒸馏信息进行通道方向上的连接,通过通道混洗操作,将不同通道的蒸馏特征进行混合,从而增加特征的多样性,通过1×1的卷积进行信息的聚合后,送入多大核像素注意通路。
在图像处理任务中,不同尺度的特征往往包含不同层次的细节和语义信息。通过使用大核像素注意力生成权重,模型可以在像素级别上对不同尺度的特征进行加权融合,使得模型能够更好地利用多尺度信息,提升对细节和整体结构的感知能力。此外,通过计算像素之间的注意力权重,模型可以自动学习到哪些像素对当前像素的预测更重要,从而抑制不相关的噪声和干扰,减少冗余信息。本发明使用5×5、7×7的深度可分离卷积作为大核卷积,由于深度卷积只在输入的每个通道上进行卷积,而逐点卷积则在输出通道之间进行卷积。这种分解使得深度可分离卷积具有更少的参数量。相比于标准卷积,它可以显著减少模型的参数数量,从而减少存储需求和计算成本。这在轻量级模型设计和部署到资源受限的设备上时特别有益。
经过处理后的融合蒸馏特征将使模型更关注图像细节和边缘部分,提升图像的清晰度和纹理细节,从而达到提升SR效果的目的。
第三部分:特征聚合模块
经过多个堆叠蒸馏特征融合像素注意块模块的逐步细化,所有中间特征(即每个DFFPA块的输出特征)由1×1的卷积层聚合而成。然后,使用3×3卷积层对聚集的特征进行平滑,如下所示:
Fa=Ha(Concat(Fout1,...,Foutm))
其中Ha表示紧接着1×1卷积层后的3×3卷积层特征提取函数,Fa是聚合后的特征,Fout1,...,Foutm表示第1个DFFPA块到第m个DFFPA块输出的中间特征。
第四部分:重建模块
最后通过如下方法重建生成SR图像:
ISR=R(Fa+F0)
其中R表示重构函数,ISR是网络的输出超分辨率图像。重建模块由一个3×3卷积和一个亚像素卷积层(Sub-pixel convolution layer)组成。我们采用超分辨率网络中常用的上采样方法,即像素重排(PixelShuffle)技术。其主要功能是将低分辨的特征图,通过卷积和多通道间的重组得到高分辨率的特征图。其工作过程可描述为:假设目标放大倍数为r,先通过3×3卷积将输入特征图的通道数变为r2,再将特征图像的每个像素的r2个通道重新排列成一个r×r的区域,对应高分辨图像中一个r×r大小的子块,从而大小为H×W×r2的特征图像被重新排列成rH×rW×1的高分辨率图像。
我们网络的损失函数可以表示为:
其中H表示我们提出的网络的函数,θ表示本网络的可学习参数,||·||1是l1范数,ILR和IHR分别是输入的LR图像和对应的真实高分辨率图像。
图2是本发明提出的用于边缘移动设备的轻量化图像超分辨率重建方法流程图。方法具体如下:
步骤1,边缘移动设备获取低分辨率图像;
步骤2,输入低分辨率图像ILR;
步骤3,将低分辨率图像输入浅层特征提取层,通过3×3卷积层提取浅层特征;
步骤4,将步骤3提取的浅层特征输入多个堆叠蒸馏特征融合像素注意模块,逐步细化提取深层特征,多个堆叠蒸馏特征融合像素注意块是m个以链的方式进行堆叠的DFFPA块;
步骤5,将步骤4提取的深层特征输入特征聚合模块,聚合m个DFFPA块和浅层特征提取层的特征;
步骤6,将步骤5的输出特征输入到重建模块,经过一个3×3卷积层和像素重排进行图像重建;
步骤7,输出超分辨率图像ISR。
尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.用于边缘移动设备的轻量化图像超分辨率重建系统,其特征在于,所述系统包括输入模块、浅层特征提取层、多个堆叠蒸馏特征融合像素注意块模块、特征聚合模块、重建模块和输出模块;
所述输入模块接收低分辨率图像ILR;
所述浅层特征提取层对低分辨率图像提取浅层特征;
所述多个堆叠蒸馏特征融合像素注意块模块是m个以链的方式进行堆叠的DFFPA块,对浅层特征逐步细化提取深层特征;
所述特征聚合模块聚合m个DFFPA块和浅层特征提取层的特征;
所述重建模块经过一个3×3卷积层和像素重排进行图像重建,得到超分辨率图像ISR;
所述输出模块输出超分辨率图像ISR。
2.根据权利要求1所述的用于边缘移动设备的轻量化图像超分辨率重建系统,其特征在于,所述浅层特征提取层为3×3卷积层,从低分辨率图像ILR中提取浅层特征,具体为:
F0=h(ILR)
其中,h为浅层特征提取函数,F0为提取的浅层特征。
3.根据权利要求1所述的用于边缘移动设备的轻量化图像超分辨率重建系统,其特征在于,所述多个堆叠蒸馏特征融合像素注意块模块具体为:提取的浅层特征输入到DFFPA块,经过处理后的特征输入到下一个DFFPA块,以此类推,此表示为:
Fk=Hk(Fk-1),k=1,...,m
其中,Hk为第k个DFFPA块函数,Fk为第k个DFFPA块的输出特征,Fk-1为第k-1个DFFPA块的输出特征和第k个DFFPA块的输入特征;当k=1时,F0为提取的浅层特征;
同时每块DFFPA块的输出特征在特征聚合模块中聚合。
4.根据权利要求1所述的用于边缘移动设备的轻量化图像超分辨率重建系统,其特征在于,所述DFFPA块包括3个RPAB块、1个3×3卷积层,2个DFFB块,通道维度串联Concat操作、通道混洗Cshuffle操作、1个1×1卷积层、ESA块;3个RPAB块和1个3×3卷积层通过串联的方式连接在一起,且每经过一个PRAB块和3×3卷积层,输出特征都输入到DFFB块中,经由从上到下第一个RPAB块和第二个RPAB块处理的特征输入到第一个DFFB块中,第三个RPAB块和3×3卷积层处理的特征输入到第二个DFFB块中;最后将两个DFFB块的输出特征通过Concat操作连接在一起,以第k个DFFPA块为例,上述过程表示为:
Fd1,Fc1=R1(Fk-1),L1(Fk-1)
Fd2,Fc2=R2(Fc1),L2(Fc1),
Fd3,Fc3=R3(Fc2),L3(Fc2),
Fd4=R4(C3×3(Fc3))
Fk-1表示第k个DFFPA块的输入,经由RPAB块或3×3卷积层细化的特征由四条支路送入DFFB块,将通道数减半进行特征蒸馏,Rj(j=1,2,3,4)是特征蒸馏函数,Li(i=1,2,3)是RPAB特征细化函数,C3×3是3×3卷积层特征细化函数,Fdj表示第j个被蒸馏的特征(j=1,2,3,4),Fci表示将由后续层处理的第i个粗特征(i=1,2,3);
F1=D1(Concat(Fd1,Fd2)),
F2=D2(Concat(Fd3,Fd4)),
Fk=Concat(F1,F2)
其中,D1、D2分别表示第一个、第二个DFFB块的特征融合函数,F1,F2分别表示第一、第二个DFFB块的输出,Fk是最终融合后的第k个DFFPA块的输出特征,Concat是沿通道维度的串联操作;
最后输入到通道混洗Cshuffle操作、1×1卷积层和ESA块串联的通路中并输出。
5.根据权利要求4所述的用于边缘移动设备的轻量化图像超分辨率重建系统,其特征在于,所述RPAB块由1个3×3卷积层、残差连接、激活单元ReLU、1个堆叠3x3可分离卷积层SSC3、Sigmoid函数组成;其组成结构包括三个通路,输入的特征通过左边的通路连接到ReLU激活函数前和中间通路输出的结果相加;右边的通路由堆叠3x3可分离卷积和sigmoid函数串联组成,用于生成每个像素的注意力权重;中间通路由一个3×3卷积层和ReLU激活函数串联构成,3×3卷积层用于特征提取,其结果与右边的通路生成的像素注意力权重相乘并和输入的特征相加,最后通过ReLU函数激活。
6.根据权利要求4所述的用于边缘移动设备的轻量化图像超分辨率重建系统,其特征在于,所述DFFB块由4个1×1卷积层、通道维度串联Concat操作、通道混洗Cshuffle操作、Sigmoid函数、1个5×5深度可分离卷积层、1个7×7深度可分离卷积层组成;上下两路并行的1×1卷积分别将两路输入的特征通道数变为原来的二分之一,完成对特征的蒸馏;将两路蒸馏特征沿通道维度串联并进行通道混洗Cshuffle操作,接着通过1×1卷积将通道数减半,即恢复到蒸馏特征通道数;经过融合后的蒸馏特征送入由1×1卷积层、5×5深度可分离卷积层、7×7深度可分离卷积层和sigmoid函数串联的通路,生成大核像素注意力权重并和融合后的蒸馏特征相乘,作为DFFB块的输出。
7.根据权利要求1所述的用于边缘移动设备的轻量化图像超分辨率重建系统,其特征在于,所述特征聚合模块包括1×1卷积层和3×3卷积层,提取的深层特征通过1×1卷积层聚合,然后,使用3×3卷积层对聚合的特征进行平滑,其表达式为:
Fa=Ha(Concat(Fout1,...,Foutm))
其中,Ha表示紧接着1×1卷积层后的3×3卷积层特征提取函数,Fa是聚合后的特征,Fout1,...,Foutm表示第1个DFFPA块到第m个DFFPA块输出的中间特征;
最后,聚合m个DFFPA块和浅层特征提取层的特征。
8.根据权利要求1所述的用于边缘移动设备的轻量化图像超分辨率重建系统,其特征在于,所述重建模块由一个3×3卷积层和一个亚像素卷积层组成,重建生成SR图像表达为:
ISR=R(Fa+F0)
其中,R表示重构函数,F0为提取的浅层特征,Fa是特征聚合模块聚合后的特征。
9.根据权利要求1所述的用于边缘移动设备的轻量化图像超分辨率重建系统,其特征在于,所述系统的网络损失函数表示为:
其中,H表示提出的网络的函数,θ表示本网络的学习参数,||·||1是l1范数;N是样本数量。
10.权利要求1-9任一项所述的系统用于边缘移动设备的轻量化图像超分辨率重建方法,其特征在于,所述方法具体如下:
步骤1,边缘移动设备获取低分辨率图像;
步骤2,输入低分辨率图像ILR;
步骤3,将低分辨率图像输入浅层特征提取层,通过3×3卷积层提取浅层特征;
步骤4,将步骤3提取的浅层特征输入多个堆叠蒸馏特征融合像素注意模块,逐步细化提取深层特征,多个堆叠蒸馏特征融合像素注意块是m个以链的方式进行堆叠的DFFPA块;
步骤5,将步骤4提取的深层特征输入特征聚合模块,聚合m个DFFPA块和浅层特征提取层的特征;
步骤6,将步骤5的输出特征输入到重建模块,经过一个3×3卷积层和像素重排进行图像重建;
步骤7,输出超分辨率图像ISR。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311194024.0A CN117237190B (zh) | 2023-09-15 | 2023-09-15 | 用于边缘移动设备的轻量化图像超分辨率重建系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311194024.0A CN117237190B (zh) | 2023-09-15 | 2023-09-15 | 用于边缘移动设备的轻量化图像超分辨率重建系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117237190A true CN117237190A (zh) | 2023-12-15 |
CN117237190B CN117237190B (zh) | 2024-03-15 |
Family
ID=89097889
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311194024.0A Active CN117237190B (zh) | 2023-09-15 | 2023-09-15 | 用于边缘移动设备的轻量化图像超分辨率重建系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117237190B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117173024A (zh) * | 2023-09-20 | 2023-12-05 | 中国矿业大学 | 一种基于整体注意力的矿井图像超分辨率重建系统及方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108830813A (zh) * | 2018-06-12 | 2018-11-16 | 福建帝视信息科技有限公司 | 一种基于知识蒸馏的图像超分辨率增强方法 |
CN110009565A (zh) * | 2019-04-04 | 2019-07-12 | 武汉大学 | 一种基于轻量化网络的超分辨率图像重建方法 |
CN110111256A (zh) * | 2019-04-28 | 2019-08-09 | 西安电子科技大学 | 基于残差蒸馏网络的图像超分辨重建方法 |
CN110111276A (zh) * | 2019-04-29 | 2019-08-09 | 西安理工大学 | 基于空-谱信息深度利用的高光谱遥感影像超分辨率方法 |
CN110458758A (zh) * | 2019-07-29 | 2019-11-15 | 武汉工程大学 | 一种图像超分辨率重建方法、系统及计算机存储介质 |
CN112330542A (zh) * | 2020-11-18 | 2021-02-05 | 重庆邮电大学 | 基于crcsan网络的图像重建系统及方法 |
CN112508794A (zh) * | 2021-02-03 | 2021-03-16 | 中南大学 | 医疗图像超分辨率重建方法及系统 |
CN112884650A (zh) * | 2021-02-08 | 2021-06-01 | 武汉大学 | 一种基于自适应纹理蒸馏的图像混合超分辨率方法 |
CN113592718A (zh) * | 2021-08-12 | 2021-11-02 | 中国矿业大学 | 基于多尺度残差网络的矿井图像超分辨率重建方法及系统 |
CN114372918A (zh) * | 2022-01-12 | 2022-04-19 | 重庆大学 | 基于像素级注意力机制的超分辨率图像重构方法及系统 |
CN115601236A (zh) * | 2022-09-27 | 2023-01-13 | 厦门大学(Cn) | 一种基于特征信息蒸馏网络的遥感图像超分辨重建方法 |
-
2023
- 2023-09-15 CN CN202311194024.0A patent/CN117237190B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108830813A (zh) * | 2018-06-12 | 2018-11-16 | 福建帝视信息科技有限公司 | 一种基于知识蒸馏的图像超分辨率增强方法 |
CN110009565A (zh) * | 2019-04-04 | 2019-07-12 | 武汉大学 | 一种基于轻量化网络的超分辨率图像重建方法 |
CN110111256A (zh) * | 2019-04-28 | 2019-08-09 | 西安电子科技大学 | 基于残差蒸馏网络的图像超分辨重建方法 |
CN110111276A (zh) * | 2019-04-29 | 2019-08-09 | 西安理工大学 | 基于空-谱信息深度利用的高光谱遥感影像超分辨率方法 |
CN110458758A (zh) * | 2019-07-29 | 2019-11-15 | 武汉工程大学 | 一种图像超分辨率重建方法、系统及计算机存储介质 |
CN112330542A (zh) * | 2020-11-18 | 2021-02-05 | 重庆邮电大学 | 基于crcsan网络的图像重建系统及方法 |
CN112508794A (zh) * | 2021-02-03 | 2021-03-16 | 中南大学 | 医疗图像超分辨率重建方法及系统 |
CN112884650A (zh) * | 2021-02-08 | 2021-06-01 | 武汉大学 | 一种基于自适应纹理蒸馏的图像混合超分辨率方法 |
CN113592718A (zh) * | 2021-08-12 | 2021-11-02 | 中国矿业大学 | 基于多尺度残差网络的矿井图像超分辨率重建方法及系统 |
CN114372918A (zh) * | 2022-01-12 | 2022-04-19 | 重庆大学 | 基于像素级注意力机制的超分辨率图像重构方法及系统 |
CN115601236A (zh) * | 2022-09-27 | 2023-01-13 | 厦门大学(Cn) | 一种基于特征信息蒸馏网络的遥感图像超分辨重建方法 |
Non-Patent Citations (4)
Title |
---|
JIAYI QIN ET AL.: "Lightweight hierarchical residual feature fusion network for single-image super-resolution", 《NEUROCOMPUTING》, vol. 478, 3 January 2022 (2022-01-03), pages 105 - 120 * |
WENFENG LI ET AL.: "Hierarchical Feature Aggregation Network for Deep Image Compression", 《ICASSP 2022 - 2022 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》, 27 April 2022 (2022-04-27), pages 1876 - 1878 * |
李艳等: "基于蓝图可分离卷积的轻量级水下图像超分辨率重建", 《计算机测量与控制》, vol. 31, no. 6, 25 June 2023 (2023-06-25), pages 192 - 196 * |
杨胜荣等: "多尺度信息蒸馏的轻量级图像超分辨率算法", 《厦门大学学报(自然科学版)》, vol. 62, no. 4, 13 July 2023 (2023-07-13), pages 655 - 662 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117173024A (zh) * | 2023-09-20 | 2023-12-05 | 中国矿业大学 | 一种基于整体注意力的矿井图像超分辨率重建系统及方法 |
CN117173024B (zh) * | 2023-09-20 | 2024-04-16 | 中国矿业大学 | 一种基于整体注意力的矿井图像超分辨率重建系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117237190B (zh) | 2024-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Hui et al. | Fast and accurate single image super-resolution via information distillation network | |
CN111325155B (zh) | 基于残差式3d cnn和多模态特征融合策略的视频动作识别方法 | |
CN112653899B (zh) | 一种基于联合注意力ResNeSt的复杂场景下网络直播视频特征提取方法 | |
CN117237190B (zh) | 用于边缘移动设备的轻量化图像超分辨率重建系统及方法 | |
CN112200724B (zh) | 一种基于反馈机制的单图像超分辨率重建系统及方法 | |
CN111242181B (zh) | 基于图像语义和细节的rgb-d显著性物体检测器 | |
CN108875900A (zh) | 视频图像处理方法和装置、神经网络训练方法、存储介质 | |
CN113837946B (zh) | 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法 | |
CN112819692B (zh) | 一种基于双重注意力模块的实时任意风格迁移方法 | |
CN113205096B (zh) | 一种基于注意力的联合图像与特征自适应的语义分割方法 | |
CN112017116B (zh) | 基于非对称卷积的图像超分辨率重建网络及其构建方法 | |
CN108989731A (zh) | 一种提高视频空间分辨率的方法 | |
Li et al. | DLGSANet: lightweight dynamic local and global self-attention networks for image super-resolution | |
CN116958534A (zh) | 一种图像处理方法、图像处理模型的训练方法和相关装置 | |
CN114841859A (zh) | 基于轻量神经网络和Transformer的单图像超分辨率重建方法 | |
CN116524180A (zh) | 基于轻量级主干结构的戏曲舞台场景分割方法 | |
CN111414988A (zh) | 基于多尺度特征自适应融合网络的遥感影像超分辨率方法 | |
CN116823647A (zh) | 基于快速傅里叶变换和选择性注意力机制的图像补全方法 | |
CN111489405A (zh) | 基于条件增强生成对抗网络的人脸草图合成系统 | |
Zhuo et al. | ISP-GAN: inception sub-pixel deconvolution-based lightweight GANs for colorization | |
CN113139899A (zh) | 高质量轻量级超分辨率重建网络模型设计方法 | |
CN113393377A (zh) | 一种基于视频编码的单帧图像超分辨率方法 | |
CN117173024B (zh) | 一种基于整体注意力的矿井图像超分辨率重建系统及方法 | |
Wang et al. | OSFFNet: Omni-Stage Feature Fusion Network for Lightweight Image Super-Resolution | |
CN113792862B (zh) | 基于级联注意力机制的改正单图生成对抗网络的设计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |