CN114677279A - 超分辨率轻量化的图像压缩感知重构系统及其方法 - Google Patents
超分辨率轻量化的图像压缩感知重构系统及其方法 Download PDFInfo
- Publication number
- CN114677279A CN114677279A CN202210355754.3A CN202210355754A CN114677279A CN 114677279 A CN114677279 A CN 114677279A CN 202210355754 A CN202210355754 A CN 202210355754A CN 114677279 A CN114677279 A CN 114677279A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- module
- reconstruction
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000005070 sampling Methods 0.000 claims abstract description 48
- 238000005259 measurement Methods 0.000 claims abstract description 27
- 230000009467 reduction Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims 1
- 238000003384 imaging method Methods 0.000 abstract description 6
- 230000006835 compression Effects 0.000 abstract description 5
- 238000007906 compression Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 3
- 239000002356 single layer Substances 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
Description
技术领域
本发明涉及图像成像与重建技术领域,尤其涉及一种超分辨率轻量化的图像压缩感知重构系统及其方法;详细地说,本发明是一种基于超分辨率与深度卷积网络,利用超分辨率技术减少网络复杂度的高性能图像压缩感知重构系统及其方法。
背景技术
压缩感知是一种新的信号采样理论。比较传统的香农采样,压缩感知证明了可实现对稀疏信号降维采样的准确重构,因此可大大减少采样的数据量,从而有效减少数据存储空间和数据传输带宽。压缩感知在图像成像中已得到广泛应用。图像压缩感知重构是压缩感知成像涉及的核心问题,自压缩感知理论提出至今一直是该领域关注的研究热点。近年来,随着深度学习在图像识别领域取得的成功应用,基于深度网络的压缩感知重构实现也得到了极大关注和飞速发展。【参见文献:[1]E.J.Candes and T.Tao,“Near-optimalsignal recovery from random projections:Universal encoding strategies?”IEEETransactions on Information Theory,vol.52,no.12,pp.5406–5425,2006;[2]W.Dong,G.Shi,X.Li,Y.Ma,and F.Huang,“Compressive sensing via nonlocal low-rankregularization,”IEEE Transactions on Image Processing,vol.23,no.8,pp.3618–3632,2014;[3]A.Mousavi,A.B.Patel,and R.G.Baraniuk,“A deep learning approachto structured signal recovery,”in Proceedings of IEEE Annual AllertonConference on Communication,Control,and Computing,2015,pp.1336–1343;[4]W.Shi,F.Jiang,S.Liu and D.Zhao,"Image Compressed Sensing Using Convolutional NeuralNetwork,"IEEE Transactions on Image Processing,vol.29,pp.375-388,2020】。
深度学习方法与传统方法比较,能够极大地提升压缩感知图像的重构质量,并且因为采用端对端映射,因此可以得到重构速度的极大提升。深度学习方法还可以实现压缩感知编码端的测量矩阵与重构网络的联合优化,因而可以更加有效地提升测量效率和重构性能。然而,图像的压缩感知因为图像的维度较高,面临的一个很重要的问题是如何减少采样及重构系统的复杂度。基于分块压缩感知的方案可以较好平衡重构性能和系统的复杂度。【参见文献:[6]L.Gan,“Block compressed sensing of natural images,”inProc.IEEE 15th Int.Conf.Digit.Signal Process.,Jul.2007,pp.403–406】。但是,如何在保证系统重构性能的同时,有效减少系统的参数规模及计算复杂度,以更好满足系统实时和低成本应用的需要,仍然是一个具有挑战性的问题。
发明内容
本发明的目的就在于克服上述背景技术的缺点和不足,提供一种超分辨率轻量化的图像压缩感知重构系统及其方法;具体地说,本发明是基于超分辨率与深度卷积网络,采用分组低分辨率初始重构与超分辨率深度重构策略的复杂度减少的图像压缩感知重构系统及其方法,通过引入分组机制,对输入的测量值进行分组后先重构出原始图像的降维估计,然后通过上采样和超分辨率深度重构,在有效降低重构系统复杂度的同时得到原始图像的高质量重建结果。
本发明的技术思路是:
首先采用分组策略对输入的图像测量值进行均等非重叠分解,得到测量值的多组分量表示;然后,利用多个并联的通路,每一通路分别对输入的一组分量表示进行变换,得到原始图像的降维重构表示;再对所有通路输出的降维重构表示联合进行上采样变换,得到原始图像的粗略估计,同时利用超分辨率深度卷积网络,得到原始图像的残差估计;最后通过相加运算得到原始图像的高质量重构结果。本发明通过采用分组低分辨率重构与上采样及超分辨率技术,有效降低重构系统的参数规模和计算复杂度,并通过引入卷积采样与重构网络的联合训练,保障了图像重构质量的有效提升。
具体地说,本发明的技术方案是:
一、超分辨率轻量化的图像压缩感知重构系统(简称系统)
本系统包括输入的图像测量值Y,设置有非重叠分组模块、多路并行的低分辨率图像重构模块、高分辨率图像上采样重构模块、残差图像超分辨率深度重构模块和加法器模块;
输入的图像测量值Y、非重叠分组模块和多路并行的低分辨率图像重构模块依次交互;多路并行的低分辨率图像重构模块分别与高分辨率图像上采样重构模块和残差图像超分辨率深度重构模块交互;高分辨率图像上采样重构模块和残差图像超分辨率深度重构模块分别与和加法器模块交互,加法器模块的输出为重构的图像
二、超分辨率轻量化的图像压缩感知重构方法(简称方法)
本方法包括下列步骤:
①非重叠分组
非重叠分组模块(10)接收输入的图像测量值Y,将对应所有块图像的测量值均等或近似均等地分成L等分,分别表示为Y1、Y2、…、YL;L为自然数,设定为4、8或16;
②多路并行的低分辨率图像重构
多路并行的低分辨率图像重构模块(20)内并行的L个低分辨率图像重构LRIR单元,对应第i低分辨率图像重构LRIRi单元接收输入Yi,生成原始图像X的维度减少的低分辨率图像xi,i=1、2、…、L,xi表示第i通道生成的第i幅图像,维度减少因子一般设定为S=2;
③高分辨率图像上采样重构与残差图像超分辨率深度重构
④相加运算
图像的卷积采样:非重叠分组模块输入的图像测量值Y,是采用一组共M个核大小为B×B的滤波器组,通过卷积运算生成的三维张量,一般设置B=32,M/B2定义为压缩感知的测量比率;
卷积采样与重构系统的联合优化:为了保证本系统生成高质量的最后重构,采用深度学习的网络训练方法,对卷积采样的滤波器组的系数和本系统的参数进行联合训练优化,所用的损失函数为原始图像X分别与粗略估计和最后重构的均方误差的加权和,即MSE()表示求均方误差运算,α为加权因子,设定α=0.01~1.0。
工作机理:
本发明的实现总体分为两个阶段:
第一阶段,采用非重叠分组模块、多路并行的低分辨率图像重构模块,由已知的图像的测量值得到原始图像的多幅低分辨率估计;
第二阶段,首先利用高分辨率图像上采样重构模块生成原始图像的粗略估计,同时利用残差图像超分辨率深度重构模块生成原始图像的残差估计,最后通过加法器模块进行相加运算,得到原始图像的高质量重建。
与现有技术相比,本发明具有下列优点和积极效果:
本发明在保证重构性能的同时,可显著降低重构系统的计算复杂度和资源消耗;适用于压缩成像等应用。
附图说明
图1是本系统的结构方框图;
图1中:
Y—输入的图像测量值;
10—非重叠分组模块;
20—多路并行的低分辨率图像重构模块,
21—第1低分辨率图像重构单元(LRIR1单元),
22—第2低分辨率图像重构单元(LRIR2单元),
…,
2L—第L低分辨率图像重构单元(LRIRL单元),
L在本发明中推荐设定为4,也可设置为其它如8或者16等;
30—高分辨率图像上采样重构模块;
40—残差图像超分辨率深度重构模块;
50—加法器模块。
图2是本方法与同类方法的系统复杂度比较表。
图3是本方法与同类方法的系统重构性能比较表。
具体实施方式
下面结合附图和实施例详细说明:
一、系统
1、总体
如图1,本系统包括输入的图像测量值Y,设置有非重叠分组模块10、多路并行的低分辨率图像重构模块20、高分辨率图像上采样重构模块30、残差图像超分辨率深度重构模块40和加法器模块50;
输入的图像测量值Y、非重叠分组模块10和多路并行的低分辨率图像重构模块20依次交互;多路并行的低分辨率图像重构模块20分别与高分辨率图像上采样重构模块30和残差图像超分辨率深度重构模块40交互;高分辨率图像上采样重构模块30和残差图像超分辨率深度重构模块40分别与和加法器模块50交互,加法器模块50的输出为重构的图像
详细地说:非重叠分组模块10有一个输入端、L个输出端,多路并行的低分辨率图像重构模块20有L个输入端和L个输出端,高分辨率图像上采样重构模块30有L个输入端和1个输出端,残差图像超分辨率深度重构模块40有L个输入端和一个输出端,加法器模块50有两个输入端和一个输出端;
非重叠分组模块10的输入端连接到系统的输入端,即输入的图像测量值Y;
多路并行的低分辨率图像重构模块20的第1、2…L低分辨率图像重构单元21、22…2L并行对应与非重叠分组模块10的L个输出端分别交互;
高分辨率图像上采样重构模块30的L个输入端并行对应与多路并行的低分辨率图像重构模块20的L个输出端分别交互;
残差图像超分辨率深度重构模块40的L个输入端并行对应与多路并行的低分辨率图像重构模块20的L个输出端分别交互;
L是自然数,推荐设定为4,也可设置为其它如8或者16等。
2、功能模块
1)非重叠分组模块10
如图1,非重叠分组模块10是一种数据分割模块,完成将输入的数据均匀分割成多组数据。
非重叠分组模块10接收输入的图像测量值Y,将对应图像的测量值均等或近似均等地分成L等分,分别表示为Y1、Y2…YL,L为自然数,设定为4、8或16等;
非重叠分组模块10和其它模块之间的关系:
非重叠分组模块10接收输入的图像测量值Y,将输入图像的测量值均等或近似均等地分成L等分Y1、Y2…YL,分别送入多路并行的低分辨率图像重构模块20的输入端。
2)多路并行的低分辨率图像重构模块20
如图1,多路并行的低分辨率图像重构模块20是一种图像生成模块,利用输入的图像测量值,通过简单的卷积运算,并行生成原始图像的分辨率减少的多幅低分辨率图像。
多路并行的低分辨率图像重构模块20包括并行的彼此独立的第1、2…L低分辨率图像重构单元21、22…2L,L设定为4、8或16等;
多路并行的低分辨率图像重构模块20和其它模块之间的关系:
多路并行的低分辨率图像重构模块20内并行的L个低分辨率图像重构(LRIR)单元21、22…2L,对应第i低分辨率图像重构(LRIRi)单元2i接收输入Yi,生成原始块图像X的维度减少的图像xi,i=1、2…L,xi表示第i通道生成的第i幅图像,维度减少因子一般设定为S=2;
多路并行的低分辨率图像重构模块20内并行的L个低分辨率图像重构(LRIR)单元21、22…2L的输出,同时分别对应送入高分辨率图像上采样模块30和残差图像超分辨率深度重构模块40的L个输入端。
3)高分辨率图像上采样模块30
高分辨率图像上采样模块30是一种图像上采样模块,根据输入的多幅低分辨率图像,通过简单的上采样运算,生成原始图像的低质量重构结果。
4)残差图像超分辨率深度重构模块40
残差图像超分辨率深度重构模块40是一种采用深度网络的超分辨率模块,根据输入的多幅低分辨率图像,首先利用多层卷积网络进行深度特征提取,然后对深度特征进行升维和变换,预测出原始图像的残差图像。
5)加法器模块50
加法器模块50是一种执行加法运算的模块,完成将输入的原始图像的低质量估计与残差图像的相加,生成原始图像的高质量重建结果。
二、方法
1、所述的步骤①
非重叠分组模块10对接收的图像测量值Y进行均等划分,得到原始图像测量值的L组表示Yi,i=1、2…L,数学公式表示为:
Yi=Ri(Y),
其中:
Ri()表示提取Y的第i段的运算。
2、所述的步骤②
多路并行的低分辨率图像重构模块20内的并行的L个单元,第i低分辨率图像重构单元2i对接收的图像测量值Yi,采用单层卷积网络,通过卷积运算与整形,得到原始图像X的维度减小的估计xi,维度减少因子一般设定为S=2;第i低分辨率图像重构单元功能的数学公式表示为:
xi=fLRIR(Yi,θi),i=1,2,…,L
其中:xi为输出,Yi为输入,fLRIR()代表单层卷积网络,θi为网络参数。
3、所述的步骤③
其中的fup()为图像上采样运算,θup为网络参数;
其中的fSR()表示超分辨率深度网络,θsr为网络参数。
4、所述的步骤④
5、其它
1)非重叠分组模块(10)输入的图像测量值Y,由卷积采样方法得到,数学表示为:
Y=fCS(X;θcs)
其中的fCS()表示卷积采样运算,θcs表示网络参数。
2)重构系统的参数与卷积采样网络的参数联合学习优化,在已知的图像集下,利用训练深度网络的方法,定义损失函数为 MSE()表示求均方误差运算,α为加权因子,设定α=0.01~1.0,训练网络使得损失函数Loss收敛到最小值。
三、实验评估
为了证明本发明实施例的有效性,发明人在pytorch深度学习框架下进行了实验评估。实验平台配置2张Nvidia GeForce GTX 1080Ti显卡。多路并行的低分辨率图像重构模块的参数L选取为L=4,降维因子设定为S=2。测试系统性能用平均PSNR指标度量图像重构质量,用参数规模度量系统复杂度。训练方法选用Adam法,相关参数设置为β1=0.9,β2=0.999和ε=10-8;学习率为0.0002,Batch size大小为64;α=0.1。
图2给出了本发明方法与同类方法的系统复杂度比较。
图3给出了本发明方法与同类方法的在不同测试数据集的重构性能比较。
由此可见:本发明在明显降低系统复杂度的同时,还得到了重构图像质量的进一步提升。
本领域的技术人员可以对本发明实施例进行各种修改和变型,倘若这些修改和变型在本发明权利要求及其等同技术的范围之内,则这些修改和变型也在本发明的保护范围之内。
说明书中未详细描述的内容为本领域技术人员公知的现有技术。
Claims (3)
1.一种超分辨率轻量化的图像压缩感知重构系统,其特征在于:
统包括输入的图像测量值Y,设置有非重叠分组模块(10)、多路并行的低分辨率图像重构模块(20)、高分辨率图像上采样重构模块(30)、残差图像超分辨率深度重构模块(40)和加法器模块(50);
2.按权利要求1所述的超分辨率轻量化的图像压缩感知重构系统,其特征在于:
所述的非重叠分组模块(10)是一种数据分割模块,完成将输入的数据均匀分割成多组数据;
所述的多路并行的低分辨率图像重构模块(20)是一种图像生成模块,利用输入的图像测量值,通过简单的卷积运算,并行生成原始图像的分辨率减少的多幅低分辨率图像;
所述的高分辨率图像上采样重构模块(30)是一种图像上采样模块,根据输入的多幅低分辨率图像,通过简单的上采样运算,生成原始图像的低质量重构结果;
所述的残差图像超分辨率深度重构模块(40)是一种采用深度网络的超分辨率模块,根据输入的多幅低分辨率图像,首先利用多层卷积网络进行深度特征提取,然后对深度特征进行升维和变换,预测出原始图像的残差图像;
所述的加法器模块(50)是一种执行加法运算的模块,完成将输入的原始图像的低质量估计与残差图像的相加,生成原始图像的高质量重建结果。
3.按权利要求1或2所述的一种超分辨率轻量化的图像压缩感知重构系统的方法,其特征在于包括下列步骤:
①非重叠分组
非重叠分组模块(10)接收输入的图像测量值Y,将对应图像的测量值均等或近似均等地分成L等分,分别表示为Y1、Y2、…、YL;L为自然数,设定为4、8或16;
②多路并行的低分辨率图像重构
多路并行的低分辨率图像重构模块(20)内并行的L个低分辨率图像重构LRIR单元,对应第i低分辨率图像重构LRIRi单元接收输入Yi,生成原始图像X的维度减少的低分辨率图像xi,i=1、2、…、L,xi表示第i通道生成的第i幅图像,维度减少因子一般设定为S=2;
③高分辨率图像上采样重构与残差图像超分辨率深度重构
④相加运算
图像的卷积采样:非重叠分组模块输入的图像测量值Y,是采用一组共M个核大小为B×B的滤波器组,通过卷积运算生成的三维张量,一般设置B=32,M/B2定义为压缩感知的测量比率;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210355754.3A CN114677279A (zh) | 2022-04-06 | 2022-04-06 | 超分辨率轻量化的图像压缩感知重构系统及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210355754.3A CN114677279A (zh) | 2022-04-06 | 2022-04-06 | 超分辨率轻量化的图像压缩感知重构系统及其方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114677279A true CN114677279A (zh) | 2022-06-28 |
Family
ID=82078911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210355754.3A Pending CN114677279A (zh) | 2022-04-06 | 2022-04-06 | 超分辨率轻量化的图像压缩感知重构系统及其方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114677279A (zh) |
-
2022
- 2022-04-06 CN CN202210355754.3A patent/CN114677279A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Tian et al. | Lightweight image super-resolution with enhanced CNN | |
CN109886871B (zh) | 基于通道注意力机制和多层特征融合的图像超分辨率方法 | |
CN108376387B (zh) | 基于聚合膨胀卷积网络的图像去模糊方法 | |
CN109978785B (zh) | 多级递归特征融合的图像超分辨率重构系统及其方法 | |
CN109920013B (zh) | 基于渐进式卷积测量网络的图像重构方法及装置 | |
CN110533591B (zh) | 基于编解码器结构的超分辨图像重建方法 | |
CN112070702B (zh) | 多尺度残差特征判别增强的图像超分辨率重构系统及方法 | |
CN112365554A (zh) | 基于多尺度残差神经网络的压缩感知图像重建方法 | |
Luo et al. | Lattice network for lightweight image restoration | |
CN113808032A (zh) | 多阶段渐进式的图像去噪算法 | |
CN111861884A (zh) | 一种基于深度学习的卫星云图超分辨率重建方法 | |
CN112819705B (zh) | 一种基于网状结构与长距离相关性的真实图像去噪方法 | |
Hui et al. | Two-stage convolutional network for image super-resolution | |
Yang et al. | Lightweight group convolutional network for single image super-resolution | |
CN109064407A (zh) | 基于多层感知机层的密集连接网络图像超分辨率方法 | |
CN115841420A (zh) | 一种基于深度学习的偏振图像超分辨率重建方法 | |
CN111951203A (zh) | 视点合成方法、装置、设备及计算机可读存储介质 | |
CN115578255A (zh) | 一种基于帧间亚像素块匹配的超分辨率重建方法 | |
CN115953303A (zh) | 结合通道注意力的多尺度图像压缩感知重构方法及系统 | |
CN113222812A (zh) | 一种基于信息流加强深度展开网络的图像重建方法 | |
CN113284202B (zh) | 一种基于内容自适应的可伸缩网络的图像压缩感知方法 | |
Yang et al. | MRDN: A lightweight Multi-stage residual distillation network for image Super-Resolution | |
CN113992920A (zh) | 一种基于深度展开网络的视频压缩感知重建方法 | |
CN112381746A (zh) | 学习采样与分组的图像压缩感知重构系统及其方法 | |
CN114677279A (zh) | 超分辨率轻量化的图像压缩感知重构系统及其方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |