CN108737823A - 基于超分辨技术的图像编码方法和装置、解码方法和装置 - Google Patents

基于超分辨技术的图像编码方法和装置、解码方法和装置 Download PDF

Info

Publication number
CN108737823A
CN108737823A CN201810300187.5A CN201810300187A CN108737823A CN 108737823 A CN108737823 A CN 108737823A CN 201810300187 A CN201810300187 A CN 201810300187A CN 108737823 A CN108737823 A CN 108737823A
Authority
CN
China
Prior art keywords
image
residual
super
module
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810300187.5A
Other languages
English (en)
Other versions
CN108737823B (zh
Inventor
叶龙
张胜前
钟微
帖云
张勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Communication University of China
Original Assignee
Communication University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Communication University of China filed Critical Communication University of China
Priority to CN201810300187.5A priority Critical patent/CN108737823B/zh
Publication of CN108737823A publication Critical patent/CN108737823A/zh
Application granted granted Critical
Publication of CN108737823B publication Critical patent/CN108737823B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于超分辨技术的图像编码方法和装置、解码方法和装置。图像编码装置位于图像的发送端，包括：下采样模块，对原始图像进行下采样；第一压缩模块，对下采样后的图像进行第一次压缩；神经网络，对第一次压缩后的图像进行超分辨率重建，得到第一重建后的图像；第一加法模块，将所述原始图像与第一重建后的图像相减，得到第一残差图像；以及第二压缩模块，对第一残差图像进行第二次压缩；以及发送模块，将压缩后的第一残差图像和第一次压缩后的图像共同发送到图像的接收端。本发明大大减少了码率，同时深度学习技术的应用也可使得重建图像质量有一个非常好的提升。

Description

基于超分辨技术的图像编码方法和装置、解码方法和装置
技术领域
本发明涉及一种基于超分辨技术的图像编码方法和装置、解码方法和装置。
背景技术
图像是客观对象的一种近似并且生动的表示，极大程度的包含了表示对象的相关信息。统计数据表明，一个人获取的信息量大致有四分之三都来自于视觉。可以说，图像是人们获取信息很重要的来源。尤其是在近几年，互联网技术尤其是移动互联网技术飞速发展，在包括娱乐、教育等与人们生活密切相关领域带来了颠覆式的改变与创新。为了交付更好的用户体验，层出不穷的各类应用都在努力的让一切结果可视化从而满足人们的视觉体验，包括直播、社交、媒体等领域。而图像，作为媒介传播中最基本的视觉单元，便显得尤为重要。在许多应用场景之中，我们都需要得到高质量的图像或者视频信息，然而由于带宽或者存储资源的限制，实际获得的信息经常无法满足要求。因此不得不采用低码率编码技术来对图像进行压缩，随之造成的图像失真便会带来视觉上的不佳体验。
图像的超分辨率重建是一种特殊的图恢复技术，能够从一张低分辨率图像恢复出具有细节信息的高分辨率图像。通常来看，现有的超分辨率方法基本可以大致分为三类：基于插值、基于重构、基于学习的方法。
基于插值的方法主要是利用插值核来预测高分辨率图像中缺失的像素。经典的插值方法包括双线性插值法、双三次插值法以及最近邻插值法等。然而这些插值核所具有的各向同性导致其无法预测高分辨率的图像结构信息，因此重建图像会产生模糊效果。为了解决这一问题，一些基于结构适应的插值方法经常被应用于各类图像的结构信息重建。基于插值的方法具有简单、快速、便于实现的优点，但无法在重建图像中有效的减少模糊信息。
基于重构的方法主要利用在重建的过程中加入确定的先验信息(通常是一个或几个正则项)作为约束使得超分辨率重建这个不适定问题变得可解,主要包括全变分、双边全变分、梯度先验信息、边缘先验信息、Zernike矩、非局部相似性、转向内核先验信息以及反馈控制框架。尽管基于重构的超分辨率方法能够较好的保持锐利的边缘并且能够抑制噪声，但是这种方法依然难以实现高分辨率图像所必须的额外信息增加，导致了重建结果的过度平滑纹理。
基于学习的方法主要是通过学习低分辨率图像与高分辨率图像特征空间之间的映射关系来完成重建。根据映射的建立方式，可将基于学习的重建方法分为两类：基于编码的重建方法与基于回归的重建方法。
现有技术中公开了一种超分辨率重建用于视频压缩的方法，主要包括两部分:发送端的编码方法和接收端的解码方法。在发送端，对高分辨率图像序列进行基于区域的分割并在空域进行下采样，然后对低分辨率图像序列进行压缩。接收端在收到压缩数据后，先进行解压缩，然后对低分辨率图像序列进行上采样从而得到重建的高分辨率图像序列。然而，现有技术中没有公开超分辨率重建用于图像压缩的方法。
传统的图像编码主要是对图像进行分块变换、量化、熵编码等，这些方法是在与原图相同的分辨率维度进行各种操作，这就导致了码率无法进一步降低，或者说在码率低的时候解码图像质量很差。
发明内容
鉴于以上问题，本发明提供一种基于超分辨技术的图像编码方法和装置、解码方法和装置，创新性的采用了变换域的下采样技术，先将图像进行下采样，减小待压缩图像的大小，然后再通过神经网络进行图像编码，经过传输后，对图像进行超分辨率重建从而得到最终的解码结果，采用这种方法大大减少了码率，同时深度学习技术的神经网络的应用也可使得重建图像质量有一个非常好的提升。
为了实现上述目的，本发明采用以下技术方案：
本发明公开了一种基于超分辨技术的图像编码装置，位于图像的发送端，所述图像编码装置包括：下采样模块，对原始图像进行下采样；第一压缩模块，对下采样后的图像进行第一次压缩；神经网络，对第一次压缩后的图像进行超分辨率重建，得到第一重建后的图像；
第一加法模块，将所述原始图像与所述第一重建后的图像相减，得到第一残差图像；以及第二压缩模块，对所述第一残差图像进行第二次压缩；以及发送模块，将压缩后的第一残差图像和所述第一次压缩后的图像共同发送到图像的接收端。
优选地，所述下采样模块包括：变换模块，将所述原始图像从空域变换到变换域，所述变换域为离散余弦域或小波域；变换域下采样模块，对变换的图像在变换域进行下采样；以及反变换模块，将在变换域进行下采样的图像反变换到空域。
优选地，所述神经网络包括图像修复部分和超分辨率重建部分，其中，所述图像修复部分包括基于残差学习的图像修复神经网络和第二加法模块，所述图像修复神经网络将所述第一次压缩后的图像通过残差学习得到所述第一次压缩后的图像与第一修复图像的第二残差图像，所述第二加法模块将所述第二残差图像与所述第一次压缩后的图像相加得到所述第一修复图像；以及所述超分辨率重建部分包括插值模块、基于残差学习的超分辨率重建神经网络和第三加法模块，所述插值模块对所述第一修复图像进行插值，所述超分辨率重建神经网络将经过插值的图像通过残差学习得到所述经过插值的图像与所述第一重建后的图像之间的第三残差图像，所述第三加法模块将所述第三残差图像加上经过插值的图像以输出所述第一重建后的图像。
本发明还公开了一种基于超分辨技术的图像编码方法，在图像的发送端进行，包括如下步骤：S11：对原始图像进行下采样；S12：对下采样后的图像进行第一次压缩；S13：对第一次压缩后的图像进行超分辨率重建，得到第一重建后的图像；S14：将所述原始图像与第一重建后的图像相减，得到第一残差图像；S15：对所述第一残差图像进行第二次压缩；以及S16：将压缩后的第一残差图像和第一次压缩后的图像从图像的发送端共同发送到图像的接收端。
优选地，在S11中，对原始图像进行下采样的步骤包括：S111：将所述原始图像从空域变换到变换域，所述变换域为离散余弦域或小波域；S112：对变换后的图像在变换域进行下采样；以及S113：将在变换域进行下采样的图像反变换到空域。
优选地，S13包括：将所述第一次压缩后的图像通过残差学习得到所述第一次压缩后的图像与第一修复图像的第二残差图像，将所述第二残差图像与所述第一次压缩后的图像相加得到所述第一修复图像；然后对所述第一修复图像进行插值，然后将经过插值的图像通过残差学习得到所述经过插值的图像与所述第一重建后的图像之间的第三残差图像，将所述第三残差图像加上经过插值的图像以输出所述第一重建后的图像。
本发明还公开了一种基于超分辨技术的图像解码装置，位于图像的接收端，所述图像解码装置包括：接收模块，从图像的发送端接收压缩后的第一残差图像和第一次压缩后的图像；解压缩模块，将压缩后的第一残差图像进行解压缩，得到第一残差图像；神经网络，将所述第一次压缩后的图像进行超分辨率重建，得到第二重建后的图像；以及第四加法模块，将所述第二重建后的图像和所述第一残差图像相加，从而得到恢复的原始图像。
优选地，所述神经网络包括图像修复部分和超分辨率重建部分，其中，所述图像修复部分包括基于残差学习的图像修复神经网络和第五加法模块，所述图像修复神经网络将所述第一次压缩后的图像通过残差学习得到所述第一次压缩后的图像与第二修复图像的第四残差图像，所述第五加法模块将所述第四残差图像与所述第一次压缩后的图像相加得到所述第二修复图像；以及所述超分辨率重建部分包括插值模块、基于残差学习的超分辨率重建神经网络和第六加法模块，所述第二插值模块对所述第一修复图像进行插值，所述超分辨率重建神经网络将经过插值的图像通过残差学习得到所述经过插值的图像与所述第二重建后的图像之间的第三残差图像，所述第六加法模块将所述第三残差图像加上经过插值的图像以输出所述第二重建后的图像。
本发明还公开了一种基于超分辨技术的图像解码方法，在图像的接收端进行，包括如下步骤：S21：从图像的发送端接收压缩后的第一残差图像和第一次压缩后的图像；S22：将压缩后的第一残差图像进行解压缩，得到第一残差图像；S23：对所述第一次压缩后的图像进行超分辨率重建，得到第二重建后的图像；以及S24：将所述第二重建后的图像和所述第一残差图像相加，从而得到恢复的原始图像。
优选地，S23包括：将所述第一次压缩后的图像通过残差学习得到所述第一次压缩后的图像与第二修复图像的第四残差图像，将所述第四残差图像与所述第一次压缩后的图像相加得到所述第二修复图像；然后对所述第二修复图像进行插值，然后将经过插值的图像通过残差学习得到所述经过插值的图像与所述第二重建后的图像之间的第三残差图像，将所述第三残差图像加上经过插值的图像以输出所述第二重建后的图像。
与现有技术相比，本发明具有以下优点和有益效果：
本发明提出了基于超分辨技术的图像编码方法和装置、解码方法和装置，对于高码率的情况提出采用残差进行补偿，以进一步提高重建图像质量。并且，本发明比空域下采样方法能够更好的保存图像信息，获得了更高的峰值信噪比(PSNR)和结构相似性(SSIM)，同时对于下采样后经过压缩的图像，通过图像修复进行了伪影消除(artifactsreduction)处理，为后续的超分辨率重建步骤提供更好的输入图像。并且采用基于残差学习的神经网络，具有很强的泛化能力。
附图说明
图1是基于超分辨技术的图像编码装置和解码装置的示意图；
图2是下采样模块的示意图；
图3是神经网络的示意图。
具体实施方式
下面将参考附图，对本发明做进一步详细的说明，以便于本发明更加清楚和易于理解。本领域的普通技术人员可以认识到，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式或其组合对所描述的实施例进行修正。因此，附图和描述在本质上是说明性的，而不是用于限制权利要求的保护范围。此外，在本说明书中，附图未按比例画出，并且相同的附图标记表示相同的部分。
下面结合图1-图3详细说明本发明的实施例。
本发明公开了一种基于超分辨技术的图像编码装置，位于图像的发送端，图像编码装置包括：下采样模块，对原始图像进行下采样；第一压缩模块，对下采样后的图像进行第一次压缩；神经网络，对第一次压缩后的图像进行超分辨率重建，得到第一重建后的图像；第一加法模块，将原始图像与第一重建后的图像相减，得到第一残差图像；以及第二压缩模块，对第一残差图像进行第二次压缩；以及发送模块，将压缩后的第一残差图像和第一次压缩后的图像共同发送到图像的接收端。
优选地，下采样模块包括：变换模块，将原始图像从空域变换到变换域；变换域下采样模块，对变换的图像在变换域进行下采样；以及反变换模块，将在变换域进行下采样的图像反变换到空域。
优选地，本发明的变换域进行下采样的方法例如为基于离散余弦(DCT)域的下采样方法、基于小波域的下采样方法，从而保留更多的图像信息，为后续超分辨率重建提供更好的先验信息。
本发明还公开了一种基于超分辨技术的图像编码方法，在图像的发送端进行，包括如下步骤：S11：对原始图像进行下采样；S12：对下采样后的图像进行第一次压缩；S13：对第一次压缩后的图像进行超分辨率重建，得到第一重建后的图像；S14：将原始图像与第一重建后的图像相减，得到第一残差图像；S15：对第一残差图像进行第二次压缩；以及S16：将压缩后的第一残差图像和第一次压缩后的图像从图像的发送端共同发送到图像的接收端。
优选地，在S11中，对原始图像进行下采样的步骤包括：S111：将原始图像从空域变换到变换域，变换域为离散余弦域或小波域；S112：对变换后的图像在变换域进行下采样；以及S113：将在变换域进行下采样的图像反变换到空域。
本发明还公开了一种基于超分辨技术的图像解码装置，位于图像的接收端，图像解码装置包括：接收模块，从图像的发送端接收压缩后的第一残差图像和第一次压缩后的图像；解压缩模块，将压缩后的第一残差图像进行解压缩，得到第一残差图像；神经网络，将第一次压缩后的图像进行超分辨率重建，得到第二重建后的图像；以及第四加法模块，将第二重建后的图像和第一残差图像相加，从而得到恢复的原始图像。
本发明还公开了一种基于超分辨技术的图像解码方法，在图像的接收端进行，包括如下步骤：S21：从图像的发送端接收压缩后的第一残差图像和第一次压缩后的图像；S22：将压缩后的第一残差图像进行解压缩，得到第一残差图像；S23：对第一次压缩后的图像进行超分辨率重建，得到第二重建后的图像；以及S24：将第二重建后的图像和第一残差图像相加，从而得到恢复的原始图像。
优选地，在本发明中，发送端的神经网络和接收端的神经网络具有相同的结构。
如图3所示，每个神经网络为联合图像修复及超分辨率重建的神经网络，Conv代表卷积层，ReLU是指激活函数，BN是指批规范化，Bicubic是指双三次插值。在发送端的神经网络中，包括图像修复部分和超分辨率重建部分，因为被压缩了的低分辨率图像会有块效应、模糊等情况，图像修复部分包括基于残差学习的图像修复神经网络和第二加法模块，图像修复神经网络将第一次压缩后的图像通过残差学习得到第一次压缩后的图像与第一修复图像的第二残差图像，第二加法模块将第二残差图像与第一次压缩后的图像相加得到第一修复图像，修复图像为高质量的低分辨率图像，以修复图像的上述问题。
超分辨率重建部分包括插值模块、基于残差学习的超分辨率重建神经网络和第三加法模块，插值模块对第一修复图像进行插值，超分辨率重建神经网络将经过插值的图像通过残差学习得到经过插值的低分辨率图像与第一重建后的图像之间的第三残差图像，第三加法模块将第三残差图像加上经过插值的图像以输出第一重建后的图像(高分辨率图像)。插值优选为双三次插值。
此外，图3中示出的两个返回箭头均表示的是循环结构，可以视网络情况进行不同数目的循环。
接收端的经网络与发送端的神经网络的原理类似。接收端的神经网络包括图像修复部分和超分辨率重建部分，其中，图像修复部分包括基于残差学习的图像修复神经网络和第五加法模块，图像修复神经网络将第一次压缩后的图像通过残差学习得到第一次压缩后的图像与第二修复图像的第四残差图像，第五加法模块将第四残差图像与第一次压缩后的图像相加得到第二修复图像；以及超分辨率重建部分包括插值模块、基于残差学习的超分辨率重建神经网络和第六加法模块，插值模块对第一修复图像进行插值，超分辨率重建神经网络将经过插值的图像通过残差学习得到经过插值的图像与第二重建后的图像之间的第三残差图像，第六加法模块将第三残差图像加上经过插值的图像以输出第二重建后的图像。
本发明可以在保持解码图像质量的前提下有效减小码率，同时可以根据图像质量要求对于残差补偿部分进行码率控制。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于超分辨技术的图像编码装置，位于图像的发送端，所述图像编码装置包括：
下采样模块，对原始图像进行下采样；
第一压缩模块，对下采样后的图像进行第一次压缩；
神经网络，对第一次压缩后的图像进行超分辨率重建，得到第一重建后的图像；
第一加法模块，将所述原始图像与所述第一重建后的图像相减，得到第一残差图像；以及
第二压缩模块，对所述第一残差图像进行第二次压缩；以及
发送模块，将压缩后的第一残差图像和所述第一次压缩后的图像共同发送到图像的接收端。
2.根据权利要求1所述的基于超分辨技术的图像编码装置，其中，所述下采样模块包括：
变换模块，将所述原始图像从空域变换到变换域，所述变换域为离散余弦域或小波域；
变换域下采样模块，对变换的图像在变换域进行下采样；以及
反变换模块，将在变换域进行下采样的图像反变换到空域。
3.根据权利要求1所述的基于超分辨技术的图像编码装置，
其中，所述神经网络包括图像修复部分和超分辨率重建部分，
其中，所述图像修复部分包括基于残差学习的图像修复神经网络和第二加法模块，所述图像修复神经网络将所述第一次压缩后的图像通过残差学习得到所述第一次压缩后的图像与第一修复图像的第二残差图像，所述第二加法模块将所述第二残差图像与所述第一次压缩后的图像相加得到所述第一修复图像；以及
所述超分辨率重建部分包括插值模块、基于残差学习的超分辨率重建神经网络和第三加法模块，所述插值模块对所述第一修复图像进行插值，所述超分辨率重建神经网络将经过插值的图像通过残差学习得到所述经过插值的图像与所述第一重建后的图像之间的第三残差图像，所述第三加法模块将所述第三残差图像加上经过插值的图像以输出所述第一重建后的图像。
4.一种基于超分辨技术的图像编码方法，在图像的发送端进行，包括如下步骤：
S11：对原始图像进行下采样；
S12：对下采样后的图像进行第一次压缩；
S13：对第一次压缩后的图像进行超分辨率重建，得到第一重建后的图像；
S14：将所述原始图像与第一重建后的图像相减，得到第一残差图像；
S15：对所述第一残差图像进行第二次压缩；以及
S16：将压缩后的第一残差图像和第一次压缩后的图像从图像的发送端共同发送到图像的接收端。
5.根据权利要求4所述的基于超分辨技术的图像编码方法，其中，在S11中，对原始图像进行下采样的步骤包括：
S111：将所述原始图像从空域变换到变换域，所述变换域为离散余弦域或小波域；
S112：对变换后的图像在变换域进行下采样；以及
S113：将在变换域进行下采样的图像反变换到空域。
6.根据权利要求4所述的基于超分辨技术的图像编码方法，
其中，S13包括：将所述第一次压缩后的图像通过残差学习得到所述第一次压缩后的图像与第一修复图像的第二残差图像，将所述第二残差图像与所述第一次压缩后的图像相加得到所述第一修复图像；然后
对所述第一修复图像进行插值，然后将经过插值的图像通过残差学习得到所述经过插值的图像与所述第一重建后的图像之间的第三残差图像，将所述第三残差图像加上经过插值的图像以输出所述第一重建后的图像。
7.一种基于超分辨技术的图像解码装置，位于图像的接收端，所述图像解码装置包括：
接收模块，从图像的发送端接收压缩后的第一残差图像和第一次压缩后的图像；
解压缩模块，将压缩后的第一残差图像进行解压缩，得到第一残差图像；
神经网络，将所述第一次压缩后的图像进行超分辨率重建，得到第二重建后的图像；以及
第四加法模块，将所述第二重建后的图像和所述第一残差图像相加，从而得到恢复的原始图像。
8.根据权利要求7所述的基于超分辨技术的图像解码装置，
其中，所述神经网络包括图像修复部分和超分辨率重建部分，
其中，所述图像修复部分包括基于残差学习的图像修复神经网络和第五加法模块，所述图像修复神经网络将所述第一次压缩后的图像通过残差学习得到所述第一次压缩后的图像与第二修复图像的第四残差图像，所述第五加法模块将所述第四残差图像与所述第一次压缩后的图像相加得到所述第二修复图像；以及
所述超分辨率重建部分包括插值模块、基于残差学习的超分辨率重建神经网络和第六加法模块，所述插值模块对所述第一修复图像进行插值，超分辨率重建神经网络将经过插值的图像通过残差学习得到所述经过插值的图像与所述第二重建后的图像之间的第三残差图像，所述第六加法模块将所述第三残差图像加上经过插值的图像以输出所述第二重建后的图像。
9.一种基于超分辨技术的图像解码方法，在图像的接收端进行，包括如下步骤：
S21：从图像的发送端接收压缩后的第一残差图像和第一次压缩后的图像；
S22：将压缩后的第一残差图像进行解压缩，得到第一残差图像；
S23：对所述第一次压缩后的图像进行超分辨率重建，得到第二重建后的图像；以及
S24：将所述第二重建后的图像和所述第一残差图像相加，从而得到恢复的原始图像。
10.根据权利要求9所述的基于超分辨技术的图像解码方法，
其中，S23包括：将所述第一次压缩后的图像通过残差学习得到所述第一次压缩后的图像与第二修复图像的第四残差图像，将所述第四残差图像与所述第一次压缩后的图像相加得到所述第二修复图像；然后
对所述第二修复图像进行插值，然后将经过插值的图像通过残差学习得到所述经过插值的图像与所述第二重建后的图像之间的第三残差图像，将所述第三残差图像加上经过插值的图像以输出所述第二重建后的图像。
CN201810300187.5A 2018-04-04 2018-04-04 基于超分辨技术的图像编码方法和装置、解码方法和装置 Active CN108737823B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810300187.5A CN108737823B (zh) 2018-04-04 2018-04-04 基于超分辨技术的图像编码方法和装置、解码方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810300187.5A CN108737823B (zh) 2018-04-04 2018-04-04 基于超分辨技术的图像编码方法和装置、解码方法和装置

Publications (2)

Publication Number Publication Date
CN108737823A true CN108737823A (zh) 2018-11-02
CN108737823B CN108737823B (zh) 2021-05-25

Family

ID=63940749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810300187.5A Active CN108737823B (zh) 2018-04-04 2018-04-04 基于超分辨技术的图像编码方法和装置、解码方法和装置

Country Status (1)

Country Link
CN (1) CN108737823B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020093782A1 (en) * 2018-11-08 2020-05-14 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method, system, and computer-readable medium for improving quality of low-light images
CN111510739A (zh) * 2019-01-31 2020-08-07 华为技术有限公司 一种视频传输方法及装置
CN111565314A (zh) * 2019-02-13 2020-08-21 合肥图鸭信息科技有限公司 图像压缩方法、编解码网络训练方法、装置及电子设备
CN111565317A (zh) * 2019-02-13 2020-08-21 合肥图鸭信息科技有限公司 图像压缩方法、编解码网络训练方法、装置及电子设备
CN111586358A (zh) * 2020-05-09 2020-08-25 东华大学 基于5g传输和改进残差神经网络的海面视频压缩感知方法
CN112468830A (zh) * 2019-09-09 2021-03-09 阿里巴巴集团控股有限公司 视频图像处理方法、装置及电子设备
CN113574888A (zh) * 2019-01-22 2021-10-29 苹果公司 利用神经网络的预测性编码
CN114866782A (zh) * 2022-03-21 2022-08-05 上海工程技术大学 一种基于深度变维码率控制的视频图像处理方法
CN114866782B (zh) * 2022-03-21 2024-05-31 上海工程技术大学 一种基于深度变维码率控制的视频图像处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130016790A1 (en) * 2011-07-14 2013-01-17 Alcatel-Lucent Usa Inc. Method and apparatus for super-resolution video coding using compressive sampling measurements
CN103607591A (zh) * 2013-10-28 2014-02-26 四川大学 结合超分辨率重建的图像压缩方法
CN106683067A (zh) * 2017-01-20 2017-05-17 福建帝视信息科技有限公司 一种基于残差子图像的深度学习超分辨率重建方法
CN107018422A (zh) * 2017-04-27 2017-08-04 四川大学 基于深度卷积神经网络的静止图像压缩方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130016790A1 (en) * 2011-07-14 2013-01-17 Alcatel-Lucent Usa Inc. Method and apparatus for super-resolution video coding using compressive sampling measurements
CN103607591A (zh) * 2013-10-28 2014-02-26 四川大学 结合超分辨率重建的图像压缩方法
CN106683067A (zh) * 2017-01-20 2017-05-17 福建帝视信息科技有限公司 一种基于残差子图像的深度学习超分辨率重建方法
CN107018422A (zh) * 2017-04-27 2017-08-04 四川大学 基于深度卷积神经网络的静止图像压缩方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020093782A1 (en) * 2018-11-08 2020-05-14 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method, system, and computer-readable medium for improving quality of low-light images
US11887280B2 (en) 2018-11-08 2024-01-30 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method, system, and computer-readable medium for improving quality of low-light images
CN113574888A (zh) * 2019-01-22 2021-10-29 苹果公司 利用神经网络的预测性编码
CN111510739A (zh) * 2019-01-31 2020-08-07 华为技术有限公司 一种视频传输方法及装置
CN111510739B (zh) * 2019-01-31 2022-04-29 华为技术有限公司 一种视频传输方法及装置
CN111565314A (zh) * 2019-02-13 2020-08-21 合肥图鸭信息科技有限公司 图像压缩方法、编解码网络训练方法、装置及电子设备
CN111565317A (zh) * 2019-02-13 2020-08-21 合肥图鸭信息科技有限公司 图像压缩方法、编解码网络训练方法、装置及电子设备
CN112468830A (zh) * 2019-09-09 2021-03-09 阿里巴巴集团控股有限公司 视频图像处理方法、装置及电子设备
CN111586358A (zh) * 2020-05-09 2020-08-25 东华大学 基于5g传输和改进残差神经网络的海面视频压缩感知方法
CN114866782A (zh) * 2022-03-21 2022-08-05 上海工程技术大学 一种基于深度变维码率控制的视频图像处理方法
CN114866782B (zh) * 2022-03-21 2024-05-31 上海工程技术大学 一种基于深度变维码率控制的视频图像处理方法

Also Published As

Publication number Publication date
CN108737823B (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN108737823A (zh) 基于超分辨技术的图像编码方法和装置、解码方法和装置
CN107018422B (zh) 基于深度卷积神经网络的静止图像压缩方法
Gao et al. Implicit diffusion models for continuous super-resolution
CN106097251B (zh) 非均匀稀疏采样视频超分辨率方法
CN108022213A (zh) 基于生成对抗网络的视频超分辨率重建算法
Li et al. Learning a single model with a wide range of quality factors for JPEG image artifacts removal
CN102427527A (zh) 基于分布式视频压缩感知系统非关键帧的重构方法
CN109903351B (zh) 基于卷积神经网络和传统编码相结合的图像压缩方法
CN113516601A (zh) 基于深度卷积神经网络与压缩感知的图像恢复技术
WO2023000179A1 (zh) 视频超分辨网络及视频超分辨、编解码处理方法、装置
CN111510739B (zh) 一种视频传输方法及装置
Zebang et al. Densely connected AutoEncoders for image compression
CN109547784A (zh) 一种编码、解码方法及装置
CN105392009A (zh) 基于块自适应采样和超分辨率重建的低码率图像编码方法
CN109922339A (zh) 结合多采样率下采样和超分辨率重建技术的图像编码框架
López-Tapia et al. A single video super-resolution GAN for multiple downsampling operators based on pseudo-inverse image formation models
Feng et al. A dual-network based super-resolution for compressed high definition video
CN109146785A (zh) 一种基于改进稀疏自动编码器的图像超分辨率方法
KR20210056179A (ko) Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
Guleryuz et al. Sandwiched Image Compression: Increasing the resolution and dynamic range of standard codecs
CN108182712A (zh) 图像处理方法、装置及系统
Lakshminarayana et al. Random sample measurement and reconstruction of medical image signal using compressive sensing
Zhang et al. Dual-layer image compression via adaptive downsampling and spatially varying upconversion
CN116416216A (zh) 基于自监督特征提取的质量评价方法、存储介质及终端
CN113691792B (zh) 基于3d卷积的视频比特位深扩展方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant