CN110248190A - 一种基于压缩感知的多层残差系数图像编码方法 - Google Patents
一种基于压缩感知的多层残差系数图像编码方法 Download PDFInfo
- Publication number
- CN110248190A CN110248190A CN201910592629.2A CN201910592629A CN110248190A CN 110248190 A CN110248190 A CN 110248190A CN 201910592629 A CN201910592629 A CN 201910592629A CN 110248190 A CN110248190 A CN 110248190A
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- residual error
- denoted
- layers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于压缩感知的多层残差系数图像编码方法,将噪声分17层并训练;将新训练出来的17个去噪模型代入LDAMP迭代算法,完成压缩感知图像重建;通过每一层进行压缩感知重建并预测下层测量值的方法去求取残差,编码方法中采用同一量化位深的块自适应量化器进行量化;图像编码端当前层需要传输的信息为真实测量值的量化结果与该层前面所有层的测量值重建图像的预测测量值的量化结果的差值;图像解码端当前层接收编码端对应层的传输信息,经自适应算术解码后得到测量值或残差系数,解码端当前层的图像重建均利用之前所有层的接收恢复的图像测量值。本发明提供的基于压缩感知的多层残差系数图像编码方法可有效提升基于图像压缩感知重建的图像编码的率失真性能。
Description
技术领域
本发明属于图像压缩技术领域,具体涉及一种基于压缩感知的多层残差系数图像编码方法。
背景技术
压缩感知技术是指将信号或者图像在低于奈奎斯特采样率的情况下重建的技术,其在图像处理,图像检索,CT图像重建等领域有广泛的应用。而峰值信噪比(PSNR)是评判图像质量的重要指标,在图像压缩领域中,相同采样率下的图像恢复的PSNR越高,代表着图像恢复的越清晰,压缩算法的性能越好。当前基于压缩感知的图像编码技术基本仅是对测量值进行量化编码传输重建,这相较于传统图像编码技术(JPEG,JPEG2000,BPG),在率失真性能上有较大差距。因此,研究率失真性能高的压缩感知编码方案具有重要的意义。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于压缩感知的多层残差系数图像编码方法,利用层与层之间的预测减少了编解码器间的传输数据量,同时本发明提出了一种基于深度学习去噪的近似信息传递算法(LDAMP)的增强方法,提升了LDAMP算法的图像压缩感知重建性能,并利用该算法结合多层残差系数图像编码,解决了压缩感知图像编码方案率失真性能较低的问题。
本发明采用以下技术方案:
一种基于压缩感知的多层残差系数图像编码方法,首先将噪声分为17层;定义去噪器结构;再制备训练集;独立训练每个噪声等级范围内的去噪器;训练过程中采取Adam优化器,每经过10个epoch,学习率下降为原来的三分之一;训练60个epoch达到收敛,保存模型;将新训练出来的17个去噪模型代入LDAMP迭代算法,完成压缩感知图像重建;通过每一层进行压缩感知重建并预测下层测量值的方法去求取残差,编码方法中采用同一量化位深的块自适应量化器进行量化;图像编码端当前层需要传输的信息为真实测量值的量化结果与该层前面所有层的测量值重建图像的预测测量值的量化结果的差值;所有量化传输信息均经过自适应算术编码器进行编码传输;图像解码端当前层接收编码端对应层的传输信息,经自适应算术解码后得到测量值或残差系数,解码端当前层的图像重建均利用之前所有层的接收恢复的图像测量值。
具体的,数据编码端的处理步骤如下:
S201、选用17个噪声等级下的去噪器的一种作为图像预处理模型对输入图像进行预滤波处理;
S202、对经过预处理后的图像进行压缩感知随机测量,随机测量矩阵记为Φ,需要进行测量的图像记为x,测量过程表示为y=Φx;
S203、将随机测量矩阵按行分成大小相同、相互独立的N层,每层测量值数目一致,第i层测量矩阵记为Φi;
S204、将第i层压缩感知测量的真实值记为yi,第i层测量过程记为yi=Φix;
S205、对所有层进行图像压缩感知重建,重建算法记为CS-1(·),对所有层采用相同的量化器BAQ量化器与相同的量化位深,量化记为Q(·),反量化记为Q-1(·),自适应算术编码器记为AC(·),自适应算术编码器解码记为AC-1(·);
S206、假定当前层为第i层,对该层的随机测量结果yi进行量化编码,量化结果记为若i为1,转至步骤S207,否则转至步骤S208;
S207、对进行自适应算术编码后传到信道,同时利用反量化得到测量值yi经过量化损失的近似值并以其重建图像,记为
S208、利用当前层的测量矩阵Φi对进行随机测量得到yi的近似对其进行量化之后得到对与作差得到残差系数记为对残差系数进行自适应算术编码后传到信道,同时利用反量化得到测量值yi经过量化损失的近似值并以为测量值重建图像,记为其中
S209计算传输至信道的信息量总和,若达到传输信息量限定值则终止编码,否则另i=i+1,转入步骤S206。
具体的,数据解码端的具体步骤如下:
S301、对所有层进行图像压缩感知重建,重建算法记为CS-1(·),对所有层采用相同的量化器BAQ量化器与相同的量化位深,量化记为Q(·),反量化记为Q-1(·),自适应算术编码器记为AC(·),自适应算术编码器解码记为AC-1(·);
S302、假定当前层为第i层,若i为1,转至步骤S303,否则转至步骤S304;
S303、对编码端对应层的传输数据进行自适应算术编码器解码得到对其反量化得到测量值yi经过量化损失的近似值并以其重建图像,记为
S304、对编码端对应层的传输数据进行自适应算术编码器解码得到利用当前层的测量矩阵Φi对进行随机测量得到yi的近似对其进行量化之后得到通过计算可得利用反量化得到测量值yi经过量化损失的近似值并以为测量值重建图像其中
S305、当前层是否为最后一层,若是则解码终止,最终重建图像为S304中的若非最后一层,否则另i=i+1,转入步骤S302。
具体的,17层的噪声标准差等级为:第1级,标准差范围为0~5;第2级,标准差范围为5~10;第3级,标准差范围为10~15;第4级,标准差范围为15~20;第5级,标准差范围为20~30;第6级,标准差范围为30~40;第7级,标准差范围为40~50;第8级,标准差范围为50~60;第9级,标准差范围为60~70;第10级,标准差范围为70~80;第11级,标准差范围为80~90;第12级,标准差范围为90~100;第13级,标准差范围为100~125;第14级,标准差范围为125~150;第15级,标准差范围为150~300;第16级,标准差范围为300~500;第17级,标准差范围为500~1000。
具体的,去噪器使用2个残差组,每个残差组中包含8个残差块,每个残差块包含两个卷积层,一个relu层以及一个Channel Attention层,Channel Attention层中的通道减少参量为16;整个网络中正常卷积层的通道数均为64,最后一层与Channel Attention层除外,且在每个残差组中,残差块中除Channel Attention层皆为膨胀卷积,其膨胀参数dilation在每个残差块中依次为1,2,3,4,4,3,2,1;Channel Attention层中包含两个卷积层,涉及1x1卷积核卷积,前者由64通道卷为4通道,后者由4通道卷为64通道。
具体的,制备训练集具体为:
以高清数据集DIV2K,IMAGENET,BSD500,Urben100的灰度图为数据集,以其缩放,裁剪图为基准图,在训练过程中,按不同噪声等级产生对应范围的标准差以生成均值为0,标准差为噪声等级范围内的随机高斯矩阵,以基准图与高斯矩阵对应相加产生相应的训练集进行批量训练。
具体的,独立训练每个噪声等级范围内的去噪器具体为:
对去噪模型进行迭代训练,训练过程中采用均方误差作为损失函数,计算去噪器去噪后的图像与其对应的目标图像间的像素的均方误差,计算梯度并回传调整模型参数lossMSE如下:
lossMSE=MSE(Ir,In)
其中,Ir为制作的基准图为去噪目标,In为基准图与高斯矩阵的叠加为去噪的目标。
具体的,采取Adam优化器,设0.0001的学习率作为初始值,图像库中所有的图像数据训练一遍算作一个epoch,所有数据包含2万张,训练集采用随机裁剪训练集为192*192大小的灰度基准图,每个基准图送入网络前归一化至-1至+1范围内,训练batch大小选为16。
具体的,迭代LDAMP中,去噪迭代次数为15次,并在每层迭代后判断是否需要进行下一次迭代,若相邻两次迭代图像提升未达到设定的最低阈值或出现上下波动,则提前退出迭代。
进一步的,第t层的相关参数计算函数divDσt为:
第t-1层的计算中间量zt为:
第t层的估算标准差σt为:
产生尺寸为[1,N]的标准正态分布的数据b为:
b=rand(1,N)
其中,y为测量值,M为测量值的个数,N为图像的整体像素数,xt为第t-1层的重建数据向量,尺寸为(N,1),亦为第t层的输入,其初始值为全零向量;||x||∞代表x的无穷范数,bH为b的转置,A为测量矩阵,AH为测量矩阵的转置,代表去噪器模型。
与现有技术相比,本发明至少具有以下有益效果:
本发明一种基于压缩感知的多层残差系数图像编码方法,将压缩感知测量过程分为多层,利用重建-测量模型去除层间随机测量结果间的冗余信息。相比于原始的压缩感知随机测量值,本发明得到的压缩感知多层残差系数随着层级的增高,系数幅值逐渐减小,从而降低量化过程引入的噪声,提升方案的率失真性能。
进一步地,本发明首先对压缩感知不同层级同时进行测量,量化反量化,再量化,这部分工作不需要受之前层级限制,可提升运算速度。
进一步地,本发明对不同层的压缩感知多层残差系数采用相同的量化位深,之后再经过自适应算术编码后,层级越高,所占码流越小,层级越低,所占码流越大。从而使得量化器符合压缩感知多层残差系数幅值分布特性,提升本发明的率失真性能。
进一步地,本发明所提出的LDAMP增强算法,更加细致的噪声等级增强了每次迭代中的噪声图像与去噪模型的匹配度,同时更加完善的去噪模型也使得噪声图像的恢复效果得到了进一步的提升。
进一步的,加上适当的图像预滤波处理可以进一步提升压缩感知图像重建算法自身性能1~2dB。
进一步的,更加精细的网络结构以及膨胀卷积的应用,提高了去噪器的去噪性能,增强了去噪器对非局部相关性强的图像的去噪效果。
进一步的,以高清数据集DIV2K,IMAGENET,BSD500,Urben100的灰度图为数据集,以其缩放,裁剪图为基准图制备训练集,可以扩大模型的适用性,避免只针对小部分特殊图像具备去噪效果,且使用随机裁剪图为基准图,扩大了训练集,避免了模型过拟合的可能性。
进一步的,独立训练每个噪声等级范围内的去噪模型,使得每个去噪模型的任务单一,能够更加准确的对相应范围内的噪声进行去噪,同时独立的训练,可使得每个模型的训练不依赖其他模型,能够进行多模型并行训练。
进一步的,将训练模型植入LDAMP原有框架,利用其原有框架的迭代重建的高效算法充分发挥优化后模型的去噪性能,且迭代次数改为15可保证当前重建过程中可达到收敛,相较于原始的LDAMP算法,能够在相同采样率下的测量数据恢复中,得到显著的重建质量提升。
综上所述,本发明提供的基于压缩感知的多层残差系数图像编码方法可有效提升基于图像压缩感知重建的图像编码的率失真性能。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的基于图像压缩感知的多层残差系数编码的总流程图;
图2为LDAMP迭代结构图;
图3为本发明提出的LDAMP增强方法中优化后的去噪模型的结构图;
图4为本发明采用的两幅测试图像Lena与Parrot,其中(a)是Lena,(b)是Parrot;
图5给出了Lena采样率为5%的情况下,本发明的重建图像与LDAMP的重建图像的视觉质量对比,其中(a)是原始图像,(b)是LDAMP重建图像,(c)是LDAMP算法经适当预处理后采样重建结果,(d)是本发明所提出的增强后的LDAMP算法重建图像,(e)是本方法经适当预处理后采样重建的结果;
图6给出了Parrot在0.1bpp压缩码率下,重建图像的视觉质量;其中(a)是原始图像,(b)是JPEG2000标准重建图像,(c)是BPG标准重建图像,(d)是本文提出的基于LDAMP增强算法的多层残差系数图像编码重建图像。
具体实施方式
本发明提供了一种基于压缩感知的多层残差系数图像编码方法,通过分层并在下一层利用之前所有层信息进行图像重建预测计算残差的方式减少传输信息量达到提升率失真性能的目的,而图像编解码端的压缩感知图像重建方法均利用了本发明提出的基于LDAMP算法的增强方法。
基于LDAMP算法的增强方法实现步骤如下:
S101、噪声细致分层,将噪声分为17层(原LDAMP噪声分为10层);
以噪声标准差为分层依据,1-17层的分层范围见表1
表1优化后噪声标准差等级精细化分层示意表
表1(续)优化后噪声标准差等级精细化分层示意表
S102、定义去噪器结构;
请参阅图3,去噪器使用2个残差组,每个残差组中包含8个残差块,每个残差块包含两个卷积层,一个relu层以及一个Channel Attention(CA)层,CA层中的通道减少参量设为16;整个网络中正常卷积层的通道数均为64,最后一层与CA层除外,且在每个残差组中,残差块中除CA层皆为膨胀卷积,其膨胀参数dilation在每个残差块中依次为1,2,3,4,4,3,2,1。CA层中包含两个卷积层,涉及1x1卷积核卷积,前者由64通道卷为4通道,后者由4通道卷为64通道。
相较于原始的LDAMP的去噪器DnCNN,本发明中采取的去噪器增添了众多残差块结构且去掉了BN层。
S103、制备训练集;
以高清数据集DIV2K,IMAGENET(部分),BSD500,Urben100的灰度图为数据集,以其缩放,裁剪图为基准图。在训练过程中,按不同的噪声等级产生对应范围的标准差以生成均值为0,标准差为噪声等级范围内的随机高斯矩阵(作为噪声),以基准图与高斯矩阵对应相加产生相应的训练集进行批量训练。
S104、独立训练每个噪声等级范围内的去噪器;
设制作的基准图为去噪目标Ir,基准图与高斯矩阵的叠加为去噪的目标In,通过这样的方式构成图像对,对去噪模型进行迭代训练,训练过程中采用均方误差(MSE)作为损失函数,计算去噪器去噪后的图像与其对应的目标图像间的像素的均方误差,计算梯度并回传调整模型参数lossMSE如下:
lossMSE=MSE(Ir,In)
S105、训练过程中采取Adam优化器,并设0.0001的学习率作为初始值,每经过10个epoch,学习率下降为原来的三分之一;
一个epoch是指图像库中所有的图像数据都训练过一遍算作一个epoch,所有数据包含2万张,训练集采用随机裁剪训练集为192*192大小的灰度基准图,每个基准图送入网络前归一化至-1至+1范围内,训练batch大小选为16。
S106、按照以上设置训练60个epoch达到收敛,保存模型;待17个去噪模型训练完毕后,将其植入LDAMP框架中,进行整体方法的迭代去噪
S107、迭代LDAMP;
请参阅图2,y为测量值,M为测量值的个数,N为图像的整体像素数,xt为第t-1层的重建数据向量,尺寸为(N,1),亦为第t层的输入,其初始值为全零向量;||x||∞代表x的无穷范数,b=rand(1,N)代表产生尺寸为[1,N]的标准正态分布的数据,bH为b的转置,A为测量矩阵,AH为测量矩阵的转置,zt为第t-1层的计算中间量,与测量值尺寸相同,初始值为测量值y,代表去噪器模型,其具体结构见图1,σt为第t层的估算标准差,用以参照选择对应去噪模型,为第t层的相关参数计算函数,相关计算迭代公式如下:
b=rand(1,N)
由于噪声层数的增多(共17个噪声等级),LDAMP增强方法的去噪迭代次数更改为15次,并在每层迭代后判断是否需要进行下一次迭代,若达到相关条件(相邻两次迭代图像提升未达到设定的最低阈值或出现上下波动),则提前退出迭代。
请参阅图1,基于压缩感知的多层残差系数图像编码方法的数据编码端的具体步骤如下:
S201、选用改进的LDAMP方法中的17个噪声等级下的去噪器的一种作为图像预处理模型对输入图像(记为Ori)进行预滤波处理以适当地在采样前滤除图像的部分细节便于之后的图像重建恢复,选取的去噪器与码率有关,通常码率越高,能够恢复的图像越好,所需要去掉的细节越少,故而码率越高,选取的去噪器对应的方差越小,当码率高至一定程度,则取消图像预处理过程;
S202、对经过适当预处理后的图像进行压缩感知随机测量,随机测量矩阵记为Φ,需要进行测量的图像记为x,测量过程表示为y=Φx;
S203、将随机测量矩阵按行分成大小相同、相互独立的N层,每层测量值数目一致,第i层测量矩阵记为Φi;
S204、将第i层压缩感知测量的真实值记为yi,第i层测量过程记为yi=Φix;
S205、对所有层采用本文提出的LDAMP增强方法作为图像压缩感知重建算法,重建算法记为CS-1(·),对所有层采用相同的量化器BAQ量化器与相同的量化位深,量化位深与码率相关,码率越大,量化位深越大,量化记为Q(·),反量化记为Q-1(·),自适应算术编码器记为AC(·),自适应算术编码器解码记为AC-1();
S206、假定当前层为第i层,对该层的随机测量结果yi进行量化编码,量化结果记为若i为1,转至步骤S207,否则转至步骤S208;
S207、对进行自适应算术编码后传到信道,同时利用反量化得到测量值yi经过量化损失的近似值并以其重建图像,记为
S208、利用当前层的测量矩阵Φi对进行随机测量得到yi的近似对其进行量化之后得到对与作差得到残差系数记为对残差系数进行自适应算术编码后传到信道,同时利用反量化得到测量值yi经过量化损失的近似值并以为测量值重建图像,记为其中
S209计算传输至信道的信息量总和,若达到传输信息量限定值则终止编码,否则另i=i+1,转入步骤S206。
数据解码端的具体步骤如下:
S301、对所有层采用LDAMP增强方法作为图像压缩感知重建算法,重建算法记为CS-1(·),对所有层采用相同的量化器BAQ量化器与相同的量化位深,量化位深与码率相关,码率越大,量化位深越大,量化记为Q(·),反量化记为Q-1(·),自适应算术编码器记为AC(·),自适应算术编码器解码记为AC-1(·);
S302、假定当前层为第i层,若i为1,转至步骤S303,否则转至步骤S304;
S303、对编码端对应层的传输数据进行自适应算术编码器解码得到对其反量化得到测量值yi经过量化损失的近似值并以其重建图像,记为
S304、对编码端对应层的传输数据进行自适应算术编码器解码得到利用当前层的测量矩阵Φi对进行随机测量得到yi的近似对其进行量化之后得到通过计算可得利用反量化得到测量值yi经过量化损失的近似值并以为测量值重建图像其中
S305、当前层是否为最后一层,若是则解码终止,最终重建图像为S304中的若非最后一层,否则另i=i+1,转入步骤S302。
本发明将多层残差系数图像编码中的多层设定为了一个较大值而非固定值,通过每一层传输的信息量不断地累加达到设定信息量之后停止的方式进行图像编解码,在量化过程中采用相同量化位深的块自适应量化器(BAQ)进行量化,且熵编码采用的自适应算术编码器;在基于图像压缩感知的多层残差系数图像编码方案中,重新改进了基于深度学习去噪的近似信息传递算法(LDAMP)的增强方法,在基于更加细致的噪声等级的基础上,设计去噪性能更好的去噪模型结构,且采用了膨胀卷积的方式增大了感受野,使得模型对非局部相关性强的图像去噪更加友好,进一步提升了现有LDAMP的图像压缩感知重建性能,在图像的编码过程中利用图像预滤波处理,适当的图像预滤波可以极大地提升相同条件下的压缩感知图像重建质量。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明相对于现有的基于压缩感知的图像编码技术,改进在于:
本发明将压缩感知随机测量过程分为N个相互独立的部分,其中N设定为了一个较大值而非固定值,整体结构采用重建-测量模型,预测出当前层的残差系数,并用残差系数对下一层的压缩感知随机测量预测值进行更新,从而降低压缩感知随机测量值之间的冗余信息,提升方案的率失真性能。
本发明在编码器端,当前层的残差预测利用到了前面所有层的随机测量值,而在解码器端对应层的重建则利用了当前层与前面所有层的测量值的组合进行图像重建,从物理机制上减少了每一层的残差数据量,且在编码器端计算传输数据总量,通过每一层传输的信息量不断地累加达到设定信息量之后停止的方式进行图像编解码。
本发明中不同层均采用相同量化位深的块自适应量化器(BAQ)进行量化以实现整体量化重建最优。量化之后,层级越高,量化值分布越集中,且熵编码采用的自适应算术编码器,经过自适应算术编码之后所占码流越少层级越低,分布越分散,自适应算术编码之后所占码流越多。比特位深的选择和压缩比有关,压缩比越低比特位深越高。
本方法在基于图像压缩感知的多层残差系数图像编码方案中,本方案重新改进了基于深度学习去噪的近似信息传递算法(LDAMP)的增强方法,在基于更加细致的噪声等级的基础上,设计了去噪性能更好的去噪模型结构,且采用了膨胀卷积的方式增大了感受野,使得模型对非局部相关性强的图像去噪更加友好,也采用了CA层去自适应学习各自通道的重要性,进一步提升了现有LDAMP的图像压缩感知重建性能。
本方法在图像的编码过程中利用图像预滤波处理,适当的图像预滤波可以极大地提升相同条件下的压缩感知图像重建质量。
对比实验方案
为验证本发明提出的基于图像感知的多层残差系数编码的率失真性能以及本发明改进的基于LDAMP图像压缩感知重建算法的增强算法的性能,分别做以下两组实验。
实验一:本发明提出的LDAMP改进算法与LDAMP在相同条件下的图像重建质量对比。
实验二:本发明与传统图像压缩传输方案JPEG2000,BPG在不同压缩码率下,图像重建质量对比。
实验条件
1、去噪模型训练使用的数据库
以高清数据集DIV2K,IMAGENET(部分),BSD500,Urben100的灰度图为数据集,以其缩放,裁剪图为基准图。在训练过程中,按不同的噪声等级产生对应范围的标准差以生成均值为0,标准差为噪声等级范围内的随机高斯矩阵(作为噪声),以基准图与高斯矩阵对应相加产生相应的训练集进行批量训练。
2、去噪模型训练的参数设置
去噪模型训练采用Adam优化器,初始学习率设为0.0001,训练周期为60个epoch(训练数据全部过一遍是一个epoch),每训练10个epoch学习率降为原学习率的三分之一。训练集采用随机裁剪训练集为192*192大小的灰度基准图,每个基准图送入网络前归一化至-1至+1范围内,训练batch大小选为16。
3、对比实验中,测试图像为两幅8比特位深256*256大小图像,如图4所示,并以峰值信噪比(PSNR:Peak Signal to Noise Ratio)作为重建图像质量评价标准。
4、实验一中,对本发明中提出的基于LDAMP压缩感知图像重建算法的增强方法与LDAMP算法本身采取2%,5%,8%,10%四种采样率进行对比实验,包含是否采用最优预处理模型的实验对比,其中ELDAMP代表本发明提出的改进方法,前缀Pre代表采用了适当的图像预滤波处理。
5、实验二中,根据本发明中的具体操作步骤搭建基于图像压缩感知的多层残差系数图像编码框架对两张测试图像进行多码率下的测试,这里仅测试0.1bpp,0.2bpp,0.3bpp,0.4bpp,0.5bpp,0.6bpp六个码率,在实验过程中,分层总数采用50,可涵盖各个码率,量化位深、最优预处理模型以及每层测量值数由遍历寻找最优,并与相同码率下JPEG2000与BPG算法进行实验对比。
实验结果与分析
表2给出了实验一中Lena与Parrot在采样率2%,5%,10%下各个不同方法的图像重建质量指标,具体如下:
表2
其中,ELDAMP表示本发明;可以看出,本发明的重建图像PSNR,在相同采样率下,在各个采样率下均要比原始的LDAMP高出1dB左右,图5给出了5%采样率下,Lena图像在LDAMP与ELDAMP下的重建图像以及各自经最优预处理后的重建图像。
表3给出了实验二中Lena与Parrot经过本发明方法编码后在各码率下的重建图像PSNR指标与JPEG2000、BPG方法的对比,具体如下:
表3
可以看出,本发明方法所提供的基于图像压缩感知的多层残差系数图像编码在编码性能上可与BPG算法相当。图6给出了Parrot在0.2bpp压缩码率下,JPEG2000、BPG与本发明方法的重建图像。
以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。
Claims (10)
1.一种基于压缩感知的多层残差系数图像编码方法,其特征在于,首先将噪声分为17层;定义去噪器结构;再制备训练集;独立训练每个噪声等级范围内的去噪器;训练过程中采取Adam优化器,每经过10个epoch,学习率下降为原来的三分之一;训练60个epoch达到收敛,保存模型;将新训练出来的17个去噪模型代入LDAMP迭代算法,完成压缩感知图像重建;通过每一层进行压缩感知重建并预测下层测量值的方法去求取残差,编码方法中采用同一量化位深的块自适应量化器进行量化;图像编码端当前层需要传输的信息为真实测量值的量化结果与该层前面所有层的测量值重建图像的预测测量值的量化结果的差值;所有量化传输信息均经过自适应算术编码器进行编码传输;图像解码端当前层接收编码端对应层的传输信息,经自适应算术解码后得到测量值或残差系数,解码端当前层的图像重建均利用之前所有层的接收恢复的图像测量值。
2.根据权利要求1所述的基于压缩感知的多层残差系数图像编码方法,其特征在于,数据编码端的处理步骤如下:
S201、选用17个噪声等级下的去噪器的一种作为图像预处理模型对输入图像进行预滤波处理;
S202、对经过预处理后的图像进行压缩感知随机测量,随机测量矩阵记为Φ,需要进行测量的图像记为x,测量过程表示为y=Φx;
S203、将随机测量矩阵按行分成大小相同、相互独立的N层,每层测量值数目一致,第i层测量矩阵记为Φi;
S204、将第i层压缩感知测量的真实值记为yi,第i层测量过程记为yi=Φix;
S205、对所有层进行图像压缩感知重建,重建算法记为CS-1(·),对所有层采用相同的量化器BAQ量化器与相同的量化位深,量化记为Q(·),反量化记为Q-1(·),自适应算术编码器记为AC(·),自适应算术编码器解码记为AC-1(·);
S206、假定当前层为第i层,对该层的随机测量结果yi进行量化编码,量化结果记为若i为1,转至步骤S207,否则转至步骤S208;
S207、对进行自适应算术编码后传到信道,同时利用反量化得到测量值yi经过量化损失的近似值并以其重建图像,记为
S208、利用当前层的测量矩阵Φi对进行随机测量得到yi的近似对其进行量化之后得到对与作差得到残差系数记为对残差系数进行自适应算术编码后传到信道,同时利用反量化得到测量值yi经过量化损失的近似值并以为测量值重建图像,记为其中
S209计算传输至信道的信息量总和,若达到传输信息量限定值则终止编码,否则另i=i+1,转入步骤S206。
3.根据权利要求1所述的基于压缩感知的多层残差系数图像编码方法,其特征在于,数据解码端的具体步骤如下:
S301、对所有层进行图像压缩感知重建,重建算法记为CS-1(·),对所有层采用相同的量化器BAQ量化器与相同的量化位深,量化记为Q(·),反量化记为Q-1(·),自适应算术编码器记为AC(·),自适应算术编码器解码记为AC-1(·);
S302、假定当前层为第i层,若i为1,转至步骤S303,否则转至步骤S304;
S303、对编码端对应层的传输数据进行自适应算术编码器解码得到对其反量化得到测量值yi经过量化损失的近似值并以其重建图像,记为
S304、对编码端对应层的传输数据进行自适应算术编码器解码得到利用当前层的测量矩阵Φi对进行随机测量得到yi的近似对其进行量化之后得到通过计算可得利用反量化得到测量值yi经过量化损失的近似值并以为测量值重建图像其中
S305、当前层是否为最后一层,若是则解码终止,最终重建图像为S304中的若非最后一层,否则另i=i+1,转入步骤S302。
4.根据权利要求1所述的基于压缩感知的多层残差系数图像编码方法,其特征在于,17层的噪声标准差等级为:第1级,标准差范围为0~5;第2级,标准差范围为5~10;第3级,标准差范围为10~15;第4级,标准差范围为15~20;第5级,标准差范围为20~30;第6级,标准差范围为30~40;第7级,标准差范围为40~50;第8级,标准差范围为50~60;第9级,标准差范围为60~70;第10级,标准差范围为70~80;第11级,标准差范围为80~90;第12级,标准差范围为90~100;第13级,标准差范围为100~125;第14级,标准差范围为125~150;第15级,标准差范围为150~300;第16级,标准差范围为300~500;第17级,标准差范围为500~1000。
5.根据权利要求1所述的基于压缩感知的多层残差系数图像编码方法,其特征在于,去噪器使用2个残差组,每个残差组中包含8个残差块,每个残差块包含两个卷积层,一个relu层以及一个Channel Attention层,Channel Attention层中的通道减少参量为16;整个网络中正常卷积层的通道数均为64,最后一层与Channel Attention层除外,且在每个残差组中,残差块中除Channel Attention层皆为膨胀卷积,其膨胀参数dilation在每个残差块中依次为1,2,3,4,4,3,2,1;Channel Attention层中包含两个卷积层,涉及1x1卷积核卷积,前者由64通道卷为4通道,后者由4通道卷为64通道。
6.根据权利要求1所述的基于压缩感知的多层残差系数图像编码方法,其特征在于,制备训练集具体为:
以高清数据集DIV2K,IMAGENET,BSD500,Urben100的灰度图为数据集,以其缩放,裁剪图为基准图,在训练过程中,按不同噪声等级产生对应范围的标准差以生成均值为0,标准差为噪声等级范围内的随机高斯矩阵,以基准图与高斯矩阵对应相加产生相应的训练集进行批量训练。
7.根据权利要求1所述的基于压缩感知的多层残差系数图像编码方法,其特征在于,独立训练每个噪声等级范围内的去噪器具体为:
对去噪模型进行迭代训练,训练过程中采用均方误差作为损失函数,计算去噪器去噪后的图像与其对应的目标图像间的像素的均方误差,计算梯度并回传调整模型参数lossMSE如下:
lossMSE=MSE(Ir,In)
其中,Ir为制作的基准图为去噪目标,In为基准图与高斯矩阵的叠加为去噪的目标。
8.根据权利要求1所述的基于压缩感知的多层残差系数图像编码方法,其特征在于,采取Adam优化器,设0.0001的学习率作为初始值,图像库中所有的图像数据训练一遍算作一个epoch,所有数据包含2万张,训练集采用随机裁剪训练集为192*192大小的灰度基准图,每个基准图送入网络前归一化至-1至+1范围内,训练batch大小选为16。
9.根据权利要求1所述的基于压缩感知的多层残差系数图像编码方法,其特征在于,迭代LDAMP中,去噪迭代次数为15次,并在每层迭代后判断是否需要进行下一次迭代,若相邻两次迭代图像提升未达到设定的最低阈值或出现上下波动,则提前退出迭代。
10.根据权利要求9所述的基于压缩感知的多层残差系数图像编码方法,其特征在于,第t层的相关参数计算函数为:
第t-1层的计算中间量zt为:
第t层的估算标准差σt为:
产生尺寸为[1,N]的标准正态分布的数据b为:
b=rand(1,N)
其中,y为测量值,M为测量值的个数,N为图像的整体像素数,xt为第t-1层的重建数据向量,尺寸为(N,1),亦为第t层的输入,其初始值为全零向量;||x||∞代表x的无穷范数,bH为b的转置,A为测量矩阵,AH为测量矩阵的转置,代表去噪器模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910592629.2A CN110248190B (zh) | 2019-07-03 | 2019-07-03 | 一种基于压缩感知的多层残差系数图像编码方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910592629.2A CN110248190B (zh) | 2019-07-03 | 2019-07-03 | 一种基于压缩感知的多层残差系数图像编码方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110248190A true CN110248190A (zh) | 2019-09-17 |
CN110248190B CN110248190B (zh) | 2020-10-27 |
Family
ID=67890798
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910592629.2A Active CN110248190B (zh) | 2019-07-03 | 2019-07-03 | 一种基于压缩感知的多层残差系数图像编码方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110248190B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111079623A (zh) * | 2019-12-09 | 2020-04-28 | 成都睿沿科技有限公司 | 一种目标检测方法、装置及存储介质 |
CN111343458A (zh) * | 2020-01-15 | 2020-06-26 | 浙江工业大学 | 一种基于重建残差的稀疏灰度图像编解码方法及系统 |
CN111738956A (zh) * | 2020-06-24 | 2020-10-02 | 哈尔滨工业大学 | 一种基于特征调制的图像去噪系统 |
CN111898638A (zh) * | 2020-06-29 | 2020-11-06 | 北京大学 | 融合不同视觉任务的图像处理方法、电子设备及介质 |
EP3846478A1 (en) * | 2020-01-05 | 2021-07-07 | Isize Limited | Processing image data |
CN114882133A (zh) * | 2022-05-07 | 2022-08-09 | 西安交通大学 | 一种图像编解码方法、系统、设备及介质 |
CN116051408A (zh) * | 2023-01-06 | 2023-05-02 | 郑州轻工业大学 | 一种基于残差自编码的图像深度去噪方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103327326A (zh) * | 2013-05-30 | 2013-09-25 | 西安交通大学 | 基于压缩感知和信道自适应的sar图像传输方法 |
CN103347188A (zh) * | 2013-07-24 | 2013-10-09 | 南京邮电大学 | 一种分布式视频编码非关键帧压缩感知编解码方法 |
EP2846535B1 (fr) * | 2013-09-10 | 2016-03-09 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Dispositif et procédé d'acquisition compressive d'images |
CN107920250A (zh) * | 2017-11-15 | 2018-04-17 | 西安交通大学 | 一种压缩感知图像编码传输方法 |
CN109040757A (zh) * | 2018-07-20 | 2018-12-18 | 西安交通大学 | 一种压缩感知多层残差图像编码方法 |
US20190124346A1 (en) * | 2017-10-19 | 2019-04-25 | Arizona Board Of Regents On Behalf Of Arizona State University | Real time end-to-end learning system for a high frame rate video compressive sensing network |
-
2019
- 2019-07-03 CN CN201910592629.2A patent/CN110248190B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103327326A (zh) * | 2013-05-30 | 2013-09-25 | 西安交通大学 | 基于压缩感知和信道自适应的sar图像传输方法 |
CN103347188A (zh) * | 2013-07-24 | 2013-10-09 | 南京邮电大学 | 一种分布式视频编码非关键帧压缩感知编解码方法 |
EP2846535B1 (fr) * | 2013-09-10 | 2016-03-09 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Dispositif et procédé d'acquisition compressive d'images |
US20190124346A1 (en) * | 2017-10-19 | 2019-04-25 | Arizona Board Of Regents On Behalf Of Arizona State University | Real time end-to-end learning system for a high frame rate video compressive sensing network |
CN107920250A (zh) * | 2017-11-15 | 2018-04-17 | 西安交通大学 | 一种压缩感知图像编码传输方法 |
CN109040757A (zh) * | 2018-07-20 | 2018-12-18 | 西安交通大学 | 一种压缩感知多层残差图像编码方法 |
Non-Patent Citations (4)
Title |
---|
CHRISTOPHER A. METZLER, ALI MOUSAVI, RICHARD G. BARANIUK,: ""Learned D-AMP: Principled Neural Network Based Compressive Image Recovery"", 《31ST CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS》 * |
CHRISTOPHER A. METZLER: "《https://github.com/ricedsp/D-AMP_Toolbox/tree/master/Packages/DnCNN/BestNets_17》", 24 August 2017 * |
ZAN CHEN, XINGSONG HOU, LING SHAO, CHEN GONG: ""Compressive Sensing Multi-layer Residual Coefficient for Image Coding"", 《IEEE TRANSACTION ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 * |
黄寒冰: "《中国优秀硕士学位论文全文数据库》", 15 July 2017 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111079623A (zh) * | 2019-12-09 | 2020-04-28 | 成都睿沿科技有限公司 | 一种目标检测方法、装置及存储介质 |
US11172210B2 (en) | 2020-01-05 | 2021-11-09 | Isize Limited | Processing image data |
EP3846477A1 (en) * | 2020-01-05 | 2021-07-07 | Isize Limited | Preprocessing image data |
US11223833B2 (en) | 2020-01-05 | 2022-01-11 | Isize Limited | Preprocessing image data |
EP3846478A1 (en) * | 2020-01-05 | 2021-07-07 | Isize Limited | Processing image data |
US11252417B2 (en) | 2020-01-05 | 2022-02-15 | Size Limited | Image data processing |
EP3846476A1 (en) * | 2020-01-05 | 2021-07-07 | Isize Limited | Image data processing |
EP3846475A1 (en) * | 2020-01-05 | 2021-07-07 | iSize Limited | Preprocessing image data |
US11394980B2 (en) | 2020-01-05 | 2022-07-19 | Isize Limited | Preprocessing image data |
CN111343458A (zh) * | 2020-01-15 | 2020-06-26 | 浙江工业大学 | 一种基于重建残差的稀疏灰度图像编解码方法及系统 |
CN111343458B (zh) * | 2020-01-15 | 2022-03-01 | 浙江工业大学 | 一种基于重建残差的稀疏灰度图像编解码方法及系统 |
CN111738956A (zh) * | 2020-06-24 | 2020-10-02 | 哈尔滨工业大学 | 一种基于特征调制的图像去噪系统 |
CN111898638A (zh) * | 2020-06-29 | 2020-11-06 | 北京大学 | 融合不同视觉任务的图像处理方法、电子设备及介质 |
CN111898638B (zh) * | 2020-06-29 | 2022-12-02 | 北京大学 | 融合不同视觉任务的图像处理方法、电子设备及介质 |
CN114882133A (zh) * | 2022-05-07 | 2022-08-09 | 西安交通大学 | 一种图像编解码方法、系统、设备及介质 |
CN114882133B (zh) * | 2022-05-07 | 2024-04-26 | 西安交通大学 | 一种图像编解码方法、系统、设备及介质 |
CN116051408A (zh) * | 2023-01-06 | 2023-05-02 | 郑州轻工业大学 | 一种基于残差自编码的图像深度去噪方法 |
CN116051408B (zh) * | 2023-01-06 | 2023-10-27 | 郑州轻工业大学 | 一种基于残差自编码的图像深度去噪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110248190B (zh) | 2020-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110248190A (zh) | 一种基于压缩感知的多层残差系数图像编码方法 | |
CN110087092B (zh) | 基于图像重构卷积神经网络的低码率视频编解码方法 | |
CN109889839B (zh) | 基于深度学习的感兴趣区域图像编码、解码系统及方法 | |
WO2019213986A1 (zh) | 一种基于多角度自适应帧内预测的点云属性压缩方法 | |
US11494948B2 (en) | Point cloud geometric compression method based on depth auto-encoder | |
CN110225341A (zh) | 一种任务驱动的码流结构化图像编码方法 | |
CN107690070B (zh) | 基于无反馈码率控制的分布式视频压缩感知系统及方法 | |
CN102123278B (zh) | 基于分布式压缩感知技术的信源编解码的方法 | |
CN104010193B (zh) | 基于宏块划分方式扰动的视频隐写方法 | |
CN102186069B (zh) | 一种保持量测性能的遥感影像数据压缩方法 | |
CN102460513A (zh) | 编码/解码包括一个或多个组件的3d网格模型的方法 | |
CN111681293B (zh) | 一种基于卷积神经网络的sar图像压缩方法 | |
CN108093264B (zh) | 基于分块压缩感知的岩心图像压缩、解压方法和系统 | |
CN103037212B (zh) | 基于视觉感知的自适应块压缩传感图像编码方法 | |
CN110111266A (zh) | 一种基于深度学习去噪的近似信息传递算法改进方法 | |
CN111163314A (zh) | 一种图像压缩方法及系统 | |
CN114449276A (zh) | 一种基于学习的超先验边信息补偿图像压缩方法 | |
CN108111852A (zh) | 面向量化分块压缩感知编码的双测量参数率失真控制方法 | |
CN109040757B (zh) | 一种压缩感知多层残差图像编码方法 | |
CN110677644B (zh) | 一种视频编码、解码方法及视频编码帧内预测器 | |
CN109672885B (zh) | 一种用于矿井智能监控的视频图像编解码方法 | |
CN112702600B (zh) | 一种图像编解码神经网络分层定点化方法 | |
CN103646409B (zh) | 多元向量量化的高光谱图像压缩编码方法 | |
CN109743571B (zh) | 一种基于并行压缩感知多层残差系数的图像编码方法 | |
CN103716630B (zh) | 上采样滤波器的生成方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |