CN105392009B - 基于块自适应采样和超分辨率重建的低码率图像编码方法 - Google Patents

基于块自适应采样和超分辨率重建的低码率图像编码方法 Download PDF

Info

Publication number
CN105392009B
CN105392009B CN201510848755.1A CN201510848755A CN105392009B CN 105392009 B CN105392009 B CN 105392009B CN 201510848755 A CN201510848755 A CN 201510848755A CN 105392009 B CN105392009 B CN 105392009B
Authority
CN
China
Prior art keywords
image
sampling
jpeg
block
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510848755.1A
Other languages
English (en)
Other versions
CN105392009A (zh
Inventor
何小海
陈洪刚
马名浪
滕奇志
吴小强
陶青川
卿粼波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201510848755.1A priority Critical patent/CN105392009B/zh
Publication of CN105392009A publication Critical patent/CN105392009A/zh
Application granted granted Critical
Publication of CN105392009B publication Critical patent/CN105392009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明公布了一种基于块自适应采样和超分辨率重建的低码率图像编码方法。主要包括以下步骤：对图像分块，然后对图像块进行多模式的下采样；对采样后的图像块进行多量化模式的JPEG编码；用基于稀疏表示的超分辨率方法对JPEG解码图像块重建；通过率失真优化选择各图像块的采样及量化模式；根据选定的模式对各图像块进行采样、JPEG编码及超分辨率重建；将解码图像块组合成图像。本发明所述低码率图像编码方法可以明显提升JPEG在低中码率段的率失真性能，并能保证在高码率段性能与JPEG标准相当。此外,在相同码率下,本发明方法的解码图像比JPEG具有更好的视觉效果，尤其是在低码率段。本方法可应用于网络及无线通信等带宽受限领域中的图像压缩。

Description

基于块自适应采样和超分辨率重建的低码率图像编码方法
技术领域
本发明涉及图像压缩和图像超分辨率重建技术，具体涉及一种基于块自适应采样和超分辨率重建的低码率图像编码方法，属于图像通信领域。
背景技术
图像压缩的目的是减少图像数据之间的冗余性，减少数据量，从而更有效地存储和压缩。作为图像领域的基础技术之一，图像压缩一直受到广大研究者的关注。随着高分辨率图像及视频的普及，图像压缩技术更显得重要。目前，JPEG是在网络及无线通信等领域使用最广泛的静止图像压缩标准。但是，JPEG在低码率段压缩性能较差，解码图像存在严重的压缩人工效应，如块效应等，导致图像的主观视觉效果明显降低。
近年来，图像超分辨率重建技术得到了快速的发展，其主要目的是由观测的低分辨率图像重构对应的高分辨率图像，即提升观测图像的分辨率。图像超分辨率重建方法一般可以分为四类：基于插值的方法、基于样例的方法、基于重建的方法和基于稀疏表示的方法。随着稀疏表示理论的发展，基于稀疏表示的超分辨率方法成为该领域的研究热点，并取得了较好的研究成果。
为了提升现有图像压缩标准在低码率段的压缩性能，可以在编码端对待编码图像进行下采样，而在解码端将低分辨率的解码图像恢复到原始分辨率。但是，该方法仅适用于很低的码率，即在低码率段可以提升JPEG的压缩性能，而中高码率段的压缩性能会下降，并且性能提升的码率范围因图而异，因此在实际使用中有一定的局限性。
发明内容
本发明的目的是将基于稀疏表示的超分辨率重建方法应用于静止图像压缩，提升JPEG标准在中低码率段的率失真性能，并且保证在高码率段的性能与JPEG标准相当。为实现上述目的，本发明采用以下措施构成的技术方案来实现。
本发明提出的基于块自适应采样和超分辨率重建的低码率图像编码方法，主要包括以下操作步骤：
(1)对原始待压缩图像分块，然后对各图像块进行多模式的下采样；
(2)在编码端对采样后的图像块进行多量化模式的JPEG编解码；
(3)采用基于稀疏表示的超分辨率方法对JPEG解码图像块重建；
(4)通过自适应的率失真优化方法，选择各图像块最优的采样模式及量化模式；
(5)根据选定的采样模式及量化模式对各图像块进行JPEG编解码及基于稀疏表示的超分辨率重建；
(6)将最终的解码图像块按照原始顺序组合成图像。
附图说明
图1是本发明基于块自适应采样和超分辨率重建的低码率图像编码方法的框图
图2是基于稀疏表示的超分辨率重建方法的训练及重建过程的框图
图3是JPEG及本发明对‘Lena’测试图像的率失真性能比较
图4是JPEG及本发明对‘Peppers’测试图像的率失真性能比较
图5是JPEG及本发明在相同码率0.2bpp时，‘Lena’解码图像视觉效果比较：左-JPEG，右-本发明
图6是JPEG及本发明在相同码率0.3bpp时，‘Peppers’解码图像视觉效果比较：左-JPEG，右-本发明
具体实施方式
下面结合附图对本发明作进一步说明：
图1中，基于块自适应采样和超分辨率重建的低码率图像编码方法，包括以下步骤:
(1)对原始待压缩图像分块，然后对各图像块进行多模式的下采样；
(2)在编码端对采样后的图像块进行多量化模式的JPEG编解码；
(3)采用基于稀疏表示的超分辨率方法对JPEG解码图像块重建；
(4)通过自适应的率失真优化方法，选择各图像块最优的采样模式及量化模式；
(5)根据选定的采样模式及量化模式对各图像块进行JPEG编解码及基于稀疏表示的超分辨率重建；
(6)将最终的解码图像块按照原始顺序组合成图像。
具体地，所述步骤(1)中，我们首先将待编码的图像分为大小为16*16的图像块，图像块之间互不重叠；然后对每个16*16的图像块分别采用四种模式采样(采样模式的定义如表1)。
表1采样模式
所述步骤(2)中，对多模式采样得到的四组图像块分别利用JPEG标准编解码，并且编解码的过程中采用多种量化模式，其中各量化模式的参数定义如表2所示。其中，QF是JPEG标准对整图编码时采用的量化因子。因此，本发明中采用的量化因子QF′为
对应的量化步长QStep定义为量化因子QF′与预设的JPEG量化表QTable的乘积，即
QStep＝QTable*QF′
表2量化模式
所述步骤(3)中，采用基于稀疏表示的超分辨率重建方法，对步骤(2)得到的低分辨率解码图像块分别进行重建，各自得到一个对应的16*16的解码图像块。基于稀疏表示的超分辨率重建方法的主要包括两个阶段(如图2所示)，即字典训练阶段和重建阶段。
在训练阶段，我们首先将高分辨率自然图像Ih进行采样，采样模式如表1所示(采样模式0除外)，然后对采样后的图像进行JPEG压缩得到对应的低分辨率图像Il；利用KSVD方法训练高低分辨率字典Dh和Dl，使得对应的高低分辨率块组在高低分辨率字典上具有相同的稀疏表示系数。由于在本发明中，图像块进行了多模式采样，并且需要考虑JPEG编码的量化因子，因此在字典训练过程需要设定对应的降质过程来训练多组针对性的字典。在重建阶段，我们首先根据待重建图像块的采样模式及量化因子选择对应的高低分辨率字典对，然后利用OMP方法获得低分辨率图像块在低分辨率字典Dl上的稀疏表示系数α，进而通过稀疏系数α和高分辨率字典Dh重建高分辨率图像块。
对于一个16*16的图像块，预设四种采样模式，而每个采样图像块对应八种量化模式。所述步骤(4)中，我们首先计算出不同编码方式(即不同采样模式和量化模式)对应的编码码率及失真，然后通过率失真优化准则选择出当前图像块的最优采样模式及量化模式。率失真优化准则定义为
上式中，i和j分别代表当前解码图像块采用的采样模式和量化模式；MSEi,j是指编码过程采用i模式采样和j模式量化而得到的最终解码图像块与原始图像块之间的均方误差；Ratei,j是对应的编码码率；λ是拉格朗日乘子。为了减少计算量，我们采用量化后的非零DCT系数个数NZDi,j代替Ratei,j，从而得到本发明采用的率失真优化准则
其中，本发明中采用的拉格朗日乘子λ定义为
式中，QF′为当前图像块进行JPEG编码时使用的量化因子。
所述步骤(5)中，我们首先根据步骤(4)选择出的最优采样模式i和量化模式j对大小为16*16图像块进行采样及JPEG编解码，然后在解码端利用基于稀疏表示的超分辨率方法对解码图像块进行重建。
所述步骤(6)中，将经过编解码和超分辨率重建的所有图像块按原始顺序组合，得到最终解码图像。
用上述步骤对常用灰度测试图像‘Lena’和‘Peppers’进行测试，并与JPEG压缩标准比较率失真性能及解码图像的视觉效果。率失真性能比较如图3及图4所示，其中横轴是码率，单位是bpp；纵轴是峰值信噪比(PSNR)，单位是dB。在相同的码率下，PSNR越高，率失真性能越好。图5是在码率为0.2bpp时，利用JPEG及本发明对‘Lena’压缩结果的视觉效果对比图。图6是在码率为0.3bpp时，利用JPEG及本发明对‘Peppers’压缩结果的视觉效果对比图。在图5及图6中，左侧为JPEG的结果，右侧为本发明的结果。

Claims (1)

1.基于块自适应采样和超分辨率重建的低码率图像编码方法，其特征在于包括以下步骤：
步骤一：对原始待压缩图像分块，然后对各图像块进行多模式的下采样；
步骤二：在编码端对采样后的图像块进行多量化模式的JPEG编解码；
步骤三：采用基于稀疏表示的超分辨率方法对多种模式下的JPEG解码图像块重建，在稀疏表示的字典训练阶段，根据采样模式及JPEG量化因子，针对性地训练了多组高低分辨率字典对，以适用于不同的编码模式；在重建阶段，根据当前待重建的低分辨率块的采样模式和量化因子，选择对应的高低分辨率字典对进行重建；
步骤四：通过自适应的率失真优化方法，选择各图像块最优的采样模式及量化模式，其中率失真优化准则定义为
式中，i和j分别代表当前解码图像块采用的采样模式和量化模式；MSEi,j是指编码过程采用i模式采样和j模式量化而得到的最终解码图像块与原始图像块之间的均方误差；NZDi,j是指量化后非零DCT系数的个数；λ是拉格朗日乘子，定义为
式中，QF′为当前块进行JPEG编码时使用的量化因子；
步骤五：根据选定的采样模式及量化模式对各图像块进行JPEG编解码及基于稀疏表示的超分辨率重建；
步骤六：将最终的解码图像块按照原始顺序组合成图像。
CN201510848755.1A 2015-11-27 2015-11-27 基于块自适应采样和超分辨率重建的低码率图像编码方法 Active CN105392009B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510848755.1A CN105392009B (zh) 2015-11-27 2015-11-27 基于块自适应采样和超分辨率重建的低码率图像编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510848755.1A CN105392009B (zh) 2015-11-27 2015-11-27 基于块自适应采样和超分辨率重建的低码率图像编码方法

Publications (2)

Publication Number Publication Date
CN105392009A CN105392009A (zh) 2016-03-09
CN105392009B true CN105392009B (zh) 2019-04-16

Family

ID=55423776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510848755.1A Active CN105392009B (zh) 2015-11-27 2015-11-27 基于块自适应采样和超分辨率重建的低码率图像编码方法

Country Status (1)

Country Link
CN (1) CN105392009B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109218727B (zh) * 2017-06-30 2021-06-25 书法报视频媒体(湖北)有限公司 视频处理的方法和装置
CN107547898B (zh) * 2017-09-05 2020-04-14 东华大学 一种能耗-精度可控的传感器双参数分配系统
CN109922339A (zh) * 2017-12-12 2019-06-21 四川大学 结合多采样率下采样和超分辨率重建技术的图像编码框架
CN109167973A (zh) * 2018-10-24 2019-01-08 国网江苏省电力有限公司盐城供电分公司 一种智能安全帽的图像传输方法及装置
CN109495741B (zh) * 2018-11-29 2023-03-31 四川大学 基于自适应下采样和深度学习的图像压缩方法
CN111726638A (zh) * 2019-03-18 2020-09-29 四川大学 一种结合去压缩效应与超分辨率的hevc编码优化方法
CN110956671B (zh) * 2019-12-12 2022-08-02 电子科技大学 一种基于多尺度特征编码的图像压缩方法
CN114913072A (zh) * 2022-05-16 2022-08-16 中国第一汽车股份有限公司 图像的处理方法、装置、存储介质和处理器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629373A (zh) * 2012-02-27 2012-08-08 天津大学 基于稀疏表示理论的超分辨率图像获取方法
CN102714741A (zh) * 2009-10-14 2012-10-03 汤姆森特许公司 深度图处理的方法和设备
CN103607591A (zh) * 2013-10-28 2014-02-26 四川大学 结合超分辨率重建的图像压缩方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7447382B2 (en) * 2004-06-30 2008-11-04 Intel Corporation Computing a higher resolution image from multiple lower resolution images using model-based, robust Bayesian estimation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102714741A (zh) * 2009-10-14 2012-10-03 汤姆森特许公司 深度图处理的方法和设备
CN102629373A (zh) * 2012-02-27 2012-08-08 天津大学 基于稀疏表示理论的超分辨率图像获取方法
CN103607591A (zh) * 2013-10-28 2014-02-26 四川大学 结合超分辨率重建的图像压缩方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
集成超分辨率重建的图像压缩编码新型框架及其实现;何小海 等;《数据采集与处理》;20140131;第29卷(第1期);第37-38页

Also Published As

Publication number Publication date
CN105392009A (zh) 2016-03-09

Similar Documents

Publication Publication Date Title
CN105392009B (zh) 基于块自适应采样和超分辨率重建的低码率图像编码方法
CN107018422B (zh) 基于深度卷积神经网络的静止图像压缩方法
CN109495741B (zh) 基于自适应下采样和深度学习的图像压缩方法
CN110087092B (zh) 基于图像重构卷积神经网络的低码率视频编解码方法
WO2019210531A1 (zh) 一种基于删除量化矩阵中0元素的点云属性压缩方法
CN103607591A (zh) 结合超分辨率重建的图像压缩方法
CN105556962B (zh) 发送用于视频系统的无损模式的信号的方法
CN109922339A (zh) 结合多采样率下采样和超分辨率重建技术的图像编码框架
CN103096056B (zh) 矩阵编码方法与装置及解码方法与装置
CN103489203A (zh) 基于字典学习的图像编码方法及系统
CN105430416A (zh) 一种基于自适应稀疏域编码的指纹图像压缩方法
CN101883284B (zh) 基于背景建模和可选差分模式的视频编/解码方法及系统
CN111726614A (zh) 一种基于空域下采样与深度学习重建的hevc编码优化方法
CN104780383B (zh) 一种3d‑hevc多分辨率视频编码方法
CN111726638A (zh) 一种结合去压缩效应与超分辨率的hevc编码优化方法
CN112019854B (zh) 基于深度学习神经网络的环路滤波方法
Cagnazzo et al. A model-based motion compensated video coder with JPEG2000 compatibility
CN102333223A (zh) 视频数据编码方法、解码方法、编码系统和解码系统
CN103634608B (zh) 一种高性能视频编码无损模式的残差变换方法
CN109451323A (zh) 一种无损图像编码方法及装置
Taskin et al. An overview of image compression approaches
US20150016511A1 (en) Image compression apparatus and method
CN102724495A (zh) 基于率失真的Wyner-Ziv帧量化方法
CN106559668B (zh) 一种基于智能量化技术的低码率图像压缩方法
CN106251373B (zh) 一种融合超分辨率技术和jpeg2000标准的图像压缩编码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant