CN111698508B - 基于超分辨率的图像压缩方法、设备及存储介质 - Google Patents

基于超分辨率的图像压缩方法、设备及存储介质 Download PDF

Info

Publication number
CN111698508B
CN111698508B CN202010514172.6A CN202010514172A CN111698508B CN 111698508 B CN111698508 B CN 111698508B CN 202010514172 A CN202010514172 A CN 202010514172A CN 111698508 B CN111698508 B CN 111698508B
Authority
CN
China
Prior art keywords
image
resolution
module
compressed
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010514172.6A
Other languages
English (en)
Other versions
CN111698508A (zh
Inventor
高伟
陶履方
周琳洁
杨丁豪
张晓玉
郭子轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN202010514172.6A priority Critical patent/CN111698508B/zh
Publication of CN111698508A publication Critical patent/CN111698508A/zh
Application granted granted Critical
Publication of CN111698508B publication Critical patent/CN111698508B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于超分辨率的图像压缩方法、设备及存储介质，该方法包括：输入待压缩图像，由压缩分辨率CR模块对所述待压缩图像的分辨率进行压缩，获得目标低分辨率图像；获取目标低分辨率图像的相位一致性特征；将相位一致性特征输入预先设置的编解码器，由编解码器输出初始压缩图像；将初始压缩图像输入超分辨率SR模块，由SR模块对所述初始压缩图像进行超分辨率处理，获得与待压缩图像尺寸一致的目标压缩图像。由此通过CR模块获得待压缩图像的低分辨率图像，并提取低分辨率图像的相位一致性特征，再通过编解码器获得初始压缩图像，并基于SR模块进行超分辨率处理，达到了提升压缩图像的质量，获的性能增益的效果。

Description

基于超分辨率的图像压缩方法、设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于超分辨率的图像压缩方法、设备及存储介质。
背景技术
随着互联网时代快速发展，社交媒体分享、自动驾驶、增强显示、卫星通信、高清电视或视频监控等应用场景对图片和视频有很强的需求，为了以更少的流量传输质量更高的图像，压缩算法不可或缺。
此外，深度学习近年来在图像视频处理领域展现出了强大的性能，从图片压缩角度来讲，相比于传统图像压缩技术如JPEG(Joint Photographic Experts Group，联合图像专家组)压缩、BPG(Better Portable Graphics，更好的可移植图形)压缩、深度学习压缩等，其中深度学习压缩技术的最大优势在于能够根据不同的应用进行针对性的设计和训练，可针对性的对主观或客观指标进行训练，但是基于这些图像压缩技术获得的压缩图像的质量和性能都有待提高。
发明内容
本发明提供一种基于超分辨率的图像压缩方法、设备及存储介质，旨在提升压缩图像的质量，获的性能增益。
为实现上述目的，本发明提供一种基于超分辨率的图像压缩方法，所述方法包括：
输入待压缩图像，由压缩分辨率CR模块对所述待压缩图像的分辨率进行压缩，获得目标低分辨率图像；
获取所述目标低分辨率图像的相位一致性特征；
将所述相位一致性特征输入预先设置的编解码器，由所述编解码器输出初始压缩图像；
将所述初始压缩图像输入超分辨率SR模块，由所述SR模块对所述初始压缩图像进行超分辨率处理，获得与所述待压缩图像尺寸一致的目标压缩图像。
优选地，所述CR模块包括CR卷积层、CR上采样单元、CR下采样单元；
所述SR模块包括SR卷积层、SR上采样单元、SR下采样单元。
优选地，所述输入待压缩图像，由压缩分辨率CR模块对所述待压缩图像的分辨率进行压缩，获得目标低分辨率图像的步骤包括：
将所述待压缩图像输入所述CR模块，由所述CR模块中的CR卷积层提取所述待压缩图像的第一低维特征图，由所述CR上采样单元和所述CR下采样单元基于所述低维特征图进行上采样和下采样获得预设尺寸的第二低维特征图，再通过所述CR卷积层将所述第二低维特征图重建为目标低分辨率图像。
优选地，所述输入待压缩图像，由压缩分辨率CR模块对所述待压缩图像的分辨率进行压缩，获得目标低分辨率图像的步骤之前还包括：
确定所述SR模块的初始函数参数，通过所述初始函数参数获取经过双三次插值压缩分辨率后的训练数据的初始预测标签，并基于所述初始预测标签和所述训练数据的实际标签计算损失函数，基于第一最小化损失函数对所述初始函数参数进行更新，获得新函数参数；
当获得使所述第一最小化损失函数收敛的新模型参数时，将所述新模型参数确定为最终的SR函数参数，并将所述SR函数参数对应的模型保存为SR模块；
将所述SR模块级联至所述CR模块，通过最小化第二损失函数获得所述CR模块的CR函数参数，并将所述CR函数参数对应的模型保存为CR模块。
优选地，所述编解码器包括主编码器、高维编码器、熵编码模块、高维解码器、上下文模型以及主解码器，其中，所示熵编码模块包括主熵编码模块和高维熵编码模块。
优选地，所述将所述相位一致性特征输入预先设置的编解码器，由所述编解码器输出初始压缩图像的步骤包括：
将所述相位一致性特征输入所述主编码器，由所述主编码器基于所述相位一致性获得所述分辨率压缩图像的第一特征图；
将所述第一特征图输入高维编码器，通过所述高维编码器基于所述第一特征图获得所述分辨率压缩图像的第二特征图；
分别将所述第一特征图和所述第二特征涂输入所述熵编码模块中的主熵编码模块和高维熵编码模块，通过所述主熵编码模块获取第一特征图的第一比特流，通过所述高维熵编码模块获取第二特征图的第二比特流；
将所述第二比特流输入所述高维解码器，由所述高维解码器所述第二比特流进行解码，获得高维特征图；
将所述高维特征图输入所述上下文模块，由所述上下文模型获得所述第一特征图量化输出的概率分布预测；
将所述第一比特流和所述概率分布预设输入所述主解码器，由所述主解码器根据所述概率分布预测对所述第一比特流和进行解码，获得初始压缩图像。
优选地，所述主编码器包括2维卷积、残差模块和非局部模块，所述非局部模块包括卷积层、多头机制、矩阵乘法、softmax激活函数以及元素级加法。
优选地，所述输入待压缩图像，由压缩分辨率CR模块对所述待压缩图像的分辨率进行压缩，获得目标低分辨率图像的步骤之前还包括：
基于所述主编码器的第一量化输出、所述高维编码器的第二量化输出以及加权混合失真标准确定目标函数，其中所述加权混合失真标准基于待压缩图像和压缩图像的均方误差、多尺度结构相似性确定。
此外，为实现上述目的，本发明实施例还提供一种基于超分辨率的图像压缩设备，所述基于超分辨率的图像压缩设备包括处理器，存储器以及存储在所述存储器中的基于超分辨率的图像压缩程序，所述基于超分辨率的图像压缩程序被所述处理器运行时，实现如上所述的基于超分辨率的图像压缩方法的步骤。
此外，为实现上述目的，本发明实施例还提供一种计算机存储介质所述计算机存储介质上存储有基于超分辨率的图像压缩程序，所述基于超分辨率的图像压缩程序被处理器运行时实现如上所述基于超分辨率的图像压缩方法的步骤。
相比现有技术，本发明提出的一种基于超分辨率的图像压缩方法、设备及存储介质输入待压缩图像，由压缩分辨率CR模块对所述待压缩图像的分辨率进行压缩，获得目标低分辨率图像；获取所述目标低分辨率图像的相位一致性特征；将所述相位一致性特征输入预先设置的编解码器，由所述编解码器输出初始压缩图像；将所述初始压缩图像输入超分辨率SR模块，由所述SR模块对所述初始压缩图像进行超分辨率处理，获得与所述待压缩图像尺寸一致的目标压缩图像。由此通过CR模块获得待压缩图像的低分辨率图像，并提取低分辨率图像的相位一致性特征，再通过编解码器获得初始压缩图像，并基于SR模块进行超分辨率处理，达到了提升压缩图像的质量，获的性能增益的效果。
附图说明
图1是本发明各实施例涉及的基于超分辨率的图像压缩设备的硬件结构示意图；
图2是本发明基于超分辨率的图像压缩方法第一实施例的流程示意图；
图3是本发明基于超分辨率的图像压缩方法第一实施例涉及的图像压缩模块的结构示意图；
图4是本发明基于超分辨率的图像压缩方法第一实施例涉及的CR模块和SR模块的结构示意图；
图5是本发明基于超分辨率的图像压缩方法第一实施例涉及的非局部模块的结构示意图；
图6是本发明基于超分辨率的图像压缩方法第一实施例涉及的编解码器输出初始压缩图像的细化流程示意图；
图7是本发明基于超分辨率的图像压缩方法第一实施例中验证实验的实验结果曲线图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例主要涉及的基于超分辨率的图像压缩设备是指能够实现网络连接的网络连接设备，所述基于超分辨率的图像压缩设备可以是服务器、云平台等。另外本发明实施例涉及的移动终端可以为手机、平板电脑等移动网络设备。
参照图1，图1是本发明各实施例涉及的基于超分辨率的图像压缩设备的硬件结构示意图。本发明实施例中，基于超分辨率的图像压缩设备可以包括处理器1001(例如中央处理器Central Processing Unit、CPU)，通信总线1002，输入端口1003，输出端口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；输入端口1003用于数据输入；输出端口1004用于数据输出，存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的硬件结构并不构成对本发明的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
继续参照图1，图1中作为一种可读存储介质的存储器1005可以包括操作系统、网络通信模块、应用程序模块以及基于超分辨率的图像压缩程序。在图1中，网络通信模块主要用于连接服务器，与服务器进行数据通信；而处理器1001可以调用存储器1005中存储的基于超分辨率的图像压缩程序，并执行本发明实施例提供的基于超分辨率的图像压缩方法。
本发明实施例提供了一种基于超分辨率的图像压缩方法，具体地，参照图2，图2是本发明基于超分辨率的图像压缩方法第一实施例的流程示意图。
本实施例中，所述基于超分辨率的图像压缩方法应用于基于超分辨率的图像压缩设备，所述方法包括：
步骤S101，输入待压缩图像，由压缩分辨率CR模块对所述待压缩图像的分辨率进行压缩，获得目标低分辨率图像；
步骤S102，获取所述目标低分辨率图像的相位一致性特征；
步骤S103，将所述相位一致性特征输入预先设置的编解码器，由所述编解码器输出初始压缩图像；
步骤S104，将所述初始压缩图像输入超分辨率SR模块，由所述SR模块对所述初始压缩图像进行超分辨率处理，获得与所述待压缩图像尺寸一致的目标压缩图像。
本实施例所述的基于超分辨率的图像压缩方法以自编码器为基础，设计了所述基于超分辨率的图像压缩方法的图像压缩模块，所述图像压缩模块的主要结构为主编码器、高维编码器、主解码器、高维解码器、并加入压缩分辨率(Compact Resolution，CR)模块和超分辨率(Super Resolution，SR)模块，上下文模型等模块。所述图像压缩模块的学习过程还集成了非局部注意(non-local)模块和相位一致性先验来提升效果。具体地，参照图3，图3是本发明基于超分辨率的图像压缩方法第一实施例涉及的图像压缩模块的结构示意图。如图3所示，所述图像压缩模块包括压缩分辨率模块、相位一致性、主编码器、高维编码器、熵编码模块、上下文模型、高维解码器、高维编码器、主解码器以及超分辨率模块。所示熵编码模块包括对应于所述主编码器的主熵编码模块和对应与所述高维编码器的高维熵编码模块。其中，将所述主编码器、所述高维编码器、所述熵编码模块、所述高维解码器、所述上下文模型以及所述主解码器统称为编解码器。所述主编码器包括2维卷积、非局部模块和2个残差模块，所述高维编码器包括2维卷积、残差模块和3个非局部模块。所述高维解码器包括2个残差模块、2个非局部模块以及2维卷积，所述主解码器包括2维卷积、非局部模块和2个残差模块。
进一步地，所述CR模块包括CR卷积层、CR上采样单元、CR下采样单元；所述SR模块包括SR卷积层、SR上采样单元、SR下采样单元。具体地，参照图4，图4是本发明基于超分辨率的图像压缩方法第一实施例涉及的CR模块和SR模块的结构示意图；如图4所示，所述CR模块包括依次连接的3×3第一CR卷积层、1×1第二CR卷积层、第一CR下采样单元、第一CR上采样单元、第二CR下采样单元、第二CR上采样单元、第三CR下采样单元以及3×3第三CR卷积层。此外，所述CR模块还包括多个连接。
所述SR模块与所述CR模块对称，所述SR模块包括依次连接的3×3第一SR卷积层、1×1第二SR卷积层、第一SR上采样单元、第一SR下采样单元、第二SR上采样单元、第二SR下采样单元、第三SR上采样单元以及3×3第三SR卷积层。所述CR模块还包括多个连接。
所述主编码器中的所述非局部模块包括卷积层、多头机制、矩阵乘法、softmax(柔性最大传递函数)激活函数以及元素级加法。具体地，参照与5，图5是本发明基于超分辨率的图像压缩方法第一实施例涉及的非局部模块的结构示意图。如图5所示，所述非局部模块包括3个子空间，每个子空间都包括一个1×1子Non-local卷积层和一个多头机制。第一子空间和第二子空间获得的子特征通过矩阵乘法得到第一聚合特征，再通过softmax激活函数获得注意力掩码，将所述注意力掩码与第三子空间获得的子特征相乘获得第二聚合特征，将所述第二聚合特征输入预设的1×1Non-local卷积层进行特征提取，获得非局部特征，最后将所述非局部特征与残差模块输入所述非局部模块的残差特征通过元素级(element-wise)加法运算获得最终的第一特征图。
基于所述图像压缩模块的结构，所述步骤S101的步骤之前还包括：构建所述CR模块和所述SR模块。具体地，包括如下步骤：
确定所述SR模块的初始函数参数，通过所述初始函数参数获取经过双三次插值压缩分辨率后的训练数据的初始预测标签，并基于所述初始预测标签和所述训练数据的实际标签计算损失函数，基于第一最小化损失函数对所述初始函数参数进行更新，获得新函数参数；
当获得使所述第一最小化损失函数收敛的新模型参数时，将所述新模型参数确定为最终的SR函数参数，并将所述SR函数参数对应的模型保存为SR模块；
将所述SR模块级联至所述CR模块，通过最小化第二损失函数获得所述CR模块的CR函数参数，并将所述CR函数参数对应的模型保存为CR模块。
本实施例中，将所述SR模块的第一最小化损失函数Lsr表示为：
Figure BDA0002529551780000071
其中，x为待压缩图像，fsr表示所述SR模块，g表示双三次差值。
由于CR的训练数据难以获得，我们利用SR模块来辅助CR模块的训练。
将训练好的所述SR模块级联在所述CR模块之后，固定所述SR模块的参数；将所述CR模块的第二最小化损失函数Lcr表示为:
Figure BDA0002529551780000081
其中，fcr表示所述CR模块，λ是用于平衡视觉质量和包含信息量的参数。
具体地，所述输入待压缩图像，由压缩分辨率CR模块对所述待压缩图像的分辨率进行压缩，获得目标低分辨率图像的步骤包括：
将所述待压缩图像输入所述CR模块，由所述CR模块中的CR卷积层提取所述待压缩图像的第一低维特征图，由所述CR上采样单元和所述CR下采样单元基于所述低维特征图进行上采样和下采样获得预设尺寸的第二低维特征图，再通过所述CR卷积层将所述第二低维特征图重建为目标低分辨率图像。
本实施例中，将所述待压缩图像表示为Hh×Wh×C，其中，H表示所述待压缩图像的高，W表示所述待压缩图像的宽，C为通道数。所述CR模块的3×3第一CR卷积层基于Hh×Wh×C的所述待压缩图像生成Hh×Wh×C1特征图，然后通过所述1×1第二CR卷积层将所述Hh×Wh×C1特征图降维至Hh×Wh×C2，其中C2＜C1。再通过所述CR模块的上采样单元和下采样单元进行投影，所述上采样单元和所述下采样单元都是基于残差的反投影形式构建，具有相同特征图尺寸的采样单元的输出作为下一个采样单元的输入。所述下采样单元基于Hh×Wh×(C2×n)的特征图中输出Hl×Wl×C2的特征图，所述上采样单元从Hl×Wl×(C2×n)的特征图中输出Hh×Wh×C2的特征图，其中n表示连接的个数。然后通过所述3×3第三CR卷积层将所述Hl×Wl×C2特征图重建至Hl×Wl×C的所述目标低分辨率图像。
获得所述目标低分辨率图像后，则执行步骤S102：获取所述目标低分辨率图像的相位一致性特征。本实施例采用相位一致性(phase congruency,PC)来提取图像边缘的锐化信息，进而得以有效地对图片纹理信息进行表示。
本实施例中，用p表示所述目标低分辨率图像，将所述目标低分辨率图像的相位一致性PC特征表示为：
Figure BDA0002529551780000082
其中，s表示所述目标低分辨率图像的尺度；r所述目标低分辨率图像的方向；Mr(p)表示频率传播的度量，Lsr(p)和ΔΘsr(p)表示所述目标第分辨率图像p的振幅和相位偏差；Nr用于矫正噪声影响；[]的含义为当其中的值为正数时，结果等于其本身；当其中的值不为正数时，结果等于零；ξ用于避免分母为零。
所述目标低分辨率图像通过卷积降采样获得与主编码器中各个模块相同的尺寸。多个尺度的相位一致性特征分别连接到所述主编码器中对应模块中，为各个模块提供边缘纹理信息。
进一步地，所述输入待压缩图像，由压缩分辨率CR模块对所述待压缩图像的分辨率进行压缩，获得目标低分辨率图像的步骤之前还包括：
基于所述主编码器的第一量化输出、所述高维编码器的第二量化输出以及加权混合失真标准确定目标函数，其中所述加权混合失真标准基于待压缩图像和压缩图像的均方误差、多尺度结构相似性确定。
本实施例中将所述主编码器的第一量化输出表示为
Figure BDA0002529551780000091
将所述高维编码器的第二量化输表示为出
Figure BDA0002529551780000092
用
Figure BDA0002529551780000093
和
Figure BDA0002529551780000094
分别表示
Figure BDA0002529551780000095
和
Figure BDA0002529551780000096
的比特率估计，用DW表示加权混合失真标准，基于此将所述目标函数L表示为：
Figure BDA0002529551780000097
其中，
Figure BDA0002529551780000098
其中，λ1和λ2表示权重系数，x表示待压缩图像，
Figure BDA0002529551780000099
表示压缩图像；MS-SSIM表示多尺度结构相似度(multi-scale structural similarity,MS-SSIM)。
进一步地，获得所述相位一致性特征后，则执行步骤S103：将所述相位一致性特征输入预先设置的编解码器，由所述编解码器输出初始压缩图像。
具体地，参照图6，图6是本发明基于超分辨率的图像压缩方法第一实施例涉及的编解码器输出初始压缩图像的细化流程示意图，如图6所示：所述步骤S103包括：
步骤S1031：将所述相位一致性特征输入所述主编码器，由所述主编码器基于所述相位一致性特征获得所述分辨率压缩图像的第一特征图；
步骤S1032：将所述第一特征图输入高维编码器，通过所述高维编码器基于所述第一特征图获得所述分辨率压缩图像的第二特征图；
步骤S1033：分别将所述第一特征图和所述第二特征涂输入所述熵编码模块中的主熵编码模块和高维熵编码模块，通过所述主熵编码模块获取第一特征图的第一比特流，通过所述高维熵编码模块获取第二特征图的第二比特流；
步骤S1034：将所述第二比特流输入所述高维解码器，由所述高维解码器所述第二比特流进行解码，获得高维特征图；
步骤S1035：将所述高维特征图输入所述上下文模块，由所述上下文模型获得所述第一特征图量化输出的概率分布预测；
步骤S1036：将所述第一比特流和所述概率分布预设输入所述主解码器，由所述主解码器根据所述概率分布预测对所述第一比特流和进行解码，获得初始压缩图像。
经过所述步骤S1031-步骤S1036的处理后，获得所述待压缩图像的初始压缩图像，然后执行步骤S104：将所述初始压缩图像输入超分辨率SR模块，由所述SR模块对所述初始压缩图像进行超分辨率处理，获得与所述待压缩图像尺寸一致的目标压缩图像。
所述SR模块对尺寸为Hl×Wl×C的初始压缩图像进行处理，最后输出与所述待压缩突出尺寸Hh×Wh×C一致的目标压缩图像。
为了验证所述基于超分辨率的图像压缩方法的效果，在图像压缩比赛CLIC2020的数据集上进行了验证实验，包括专业设备拍摄数据集和移动设备拍摄数据集。随机调整大小后，我们将输入图像裁剪成多个192×192的子图像，将输入所述CR模块的待压缩图像和所述SR模块输出的目标压缩图像的尺寸设置为Hh＝192,Wh＝192，CR模块输出的目标低分辨率图像和输入SR模块的初始压缩图像尺寸为Hl＝96,Wl＝96。将所述CR模块和所述SR模块的尺度设为2，参数C1定为32，C2定为16，将损失函数中的权重系数λ设置为0.7。在模型训练和模型测试阶段使用了两张NVIDIA Tesla V100显卡。验证实验中采用了Adam优化器，初始学习速率设置为10-4，数据的批处理大小(batch size)为64。
验证实验结果如图7所示，图7是本发明基于超分辨率的图像压缩方法第一实施例中验证实验的实验结果曲线图。如图7所示，图7中曲线a对应于用本实施例提出的基于超分辨率的图像压缩方法；曲线b是对照曲线，对应于本实施例提出的基于超分辨率的图像压缩方法但是未使用CR模块和SR模块；曲线c对应于现有的BPG压缩方法。
再参照表1，表1示出了CLIC 2020验证数据集的结果。由表1和图7可以清楚地获知在低码率范围内，本实施例提出的基于超分辨率的图像压缩方法的性能优于BPG。本实施例提出的基于超分辨率的图像压缩方法比BPG具有更高的平均、最大和最小MS-SSIM性能。同时，本实施例提出的基于超分辨率的图像压缩方法在102张验证图像上保持了一个较为稳定的MS-SSIM波动。
表1验证试验结果
Figure BDA0002529551780000111
本实施例通过上述方案，输入待压缩图像，由压缩分辨率CR模块对所述待压缩图像的分辨率进行压缩，获得目标低分辨率图像；获取所述目标低分辨率图像的相位一致性特征；将所述相位一致性特征输入预先设置的编解码器，由所述编解码器输出初始压缩图像；将所述初始压缩图像输入超分辨率SR模块，由所述SR模块对所述初始压缩图像进行超分辨率处理，获得与所述待压缩图像尺寸一致的目标压缩图像。由此通过CR模块获得待压缩图像的低分辨率图像，并提取低分辨率图像的相位一致性特征，再通过编解码器获得初始压缩图像，并基于SR模块进行超分辨率处理，达到了提升压缩图像的质量，获的性能增益的效果。
此外，本发明实施例还提供一种计算机存储介质，所述计算机存储介质上存储有基于超分辨率的图像压缩程序，所述基于超分辨率的图像压缩程序被处理器运行时实现如上所述基于超分辨率的图像压缩方法的步骤，此处不再赘述。
相比现有技术，本发明提出的一种基于超分辨率的图像压缩方法、设备及存储介质输入待压缩图像，由压缩分辨率CR模块对所述待压缩图像的分辨率进行压缩，获得目标低分辨率图像；获取所述目标低分辨率图像的相位一致性特征；将所述相位一致性特征输入预先设置的编解码器，由所述编解码器输出初始压缩图像；将所述初始压缩图像输入超分辨率SR模块，由所述SR模块对所述初始压缩图像进行超分辨率处理，获得与所述待压缩图像尺寸一致的目标压缩图像。由此通过CR模块获得待压缩图像的低分辨率图像，并提取低分辨率图像的相位一致性特征，再通过编解码器获得初始压缩图像，并基于SR模块进行超分辨率处理，达到了提升压缩图像的质量，获的性能增益的效果。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备执行本发明各个实施例所述的方法。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于超分辨率的图像压缩方法，其特征在于，所述方法包括：
输入待压缩图像，由压缩分辨率CR模块对所述待压缩图像的分辨率进行压缩，获得目标低分辨率图像；
获取所述目标低分辨率图像的相位一致性特征；
将所述相位一致性特征输入预先设置的编解码器，由所述编解码器输出初始压缩图像；
将所述初始压缩图像输入超分辨率SR模块，由所述SR模块对所述初始压缩图像进行超分辨率处理，获得与所述待压缩图像尺寸一致的目标压缩图像；
其中，所述CR模块包括CR卷积层、CR上采样单元、CR下采样单元；
所述输入待压缩图像，由压缩分辨率CR模块对所述待压缩图像的分辨率进行压缩，获得目标低分辨率图像的步骤包括：
将所述待压缩图像输入所述CR模块，由所述CR模块中的CR卷积层提取所述待压缩图像的第一低维特征图，由所述CR上采样单元和所述CR下采样单元基于所述低维特征图进行上采样和下采样获得预设尺寸的第二低维特征图，再通过所述CR卷积层将所述第二低维特征图重建为目标低分辨率图像；
所述编解码器包括主编码器、高维编码器、熵编码模块、高维解码器、上下文模型以及主解码器；
所述将所述相位一致性特征输入预先设置的编解码器，由所述编解码器输出初始压缩图像的步骤包括：
将所述相位一致性特征输入预先设置的编解码器，依次通过所述编解码器中的所述主编码器、所述高维编码器、所述熵编码模块、所述高维解码器、所述上下文模型以及所述主解码器对所述相位一致性特征进行处理，由所述编解码器输出初始压缩图像。
2.根据权利要求1所述的方法，其特征在于，所述SR模块包括SR卷积层、SR上采样单元、SR下采样单元。
3.根据权利要求1所述的方法，其特征在于，所述输入待压缩图像，由压缩分辨率CR模块对所述待压缩图像的分辨率进行压缩，获得目标低分辨率图像的步骤之前还包括：
确定所述SR模块的初始函数参数，通过所述初始函数参数获取经过双三次插值压缩分辨率后的训练数据的初始预测标签，并基于所述初始预测标签和所述训练数据的实际标签计算损失函数，基于第一最小化损失函数对所述初始函数参数进行更新，获得新函数参数；
当获得使所述第一最小化损失函数收敛的新模型参数时，将所述新模型参数确定为最终的SR函数参数，并将所述SR函数参数对应的模型保存为SR模块；
将所述SR模块级联至所述CR模块，通过最小化第二损失函数获得所述CR模块的CR函数参数，并将所述CR函数参数对应的模型保存为CR模块。
4.根据权利要求1所述的方法，其特征在于，所述熵编码模块包括主熵编码模块和高维熵编码模块。
5.根据权利要求4所述的方法，其特征在于，所述将所述相位一致性特征输入预先设置的编解码器，由所述编解码器输出初始压缩图像的步骤包括：
将所述相位一致性特征输入所述主编码器，由所述主编码器基于所述相位一致性获得所述分辨率压缩图像的第一特征图；
将所述第一特征图输入高维编码器，通过所述高维编码器基于所述第一特征图获得所述分辨率压缩图像的第二特征图；
分别将所述第一特征图和所述第二特征涂输入所述熵编码模块中的主熵编码模块和高维熵编码模块，通过所述主熵编码模块获取第一特征图的第一比特流，通过所述高维熵编码模块获取第二特征图的第二比特流；
将所述第二比特流输入所述高维解码器，由所述高维解码器对所述第二比特流进行解码，获得高维特征图；
将所述高维特征图输入所述上下文模块，由所述上下文模型获得所述第一特征图量化输出的概率分布预测；
将所述第一比特流和所述概率分布预设输入所述主解码器，由所述主解码器根据所述概率分布预测对所述第一比特流和进行解码，获得初始压缩图像。
6.根据权利要求1所述的方法，其特征在于，所述主编码器包括2维卷积、残差模块和非局部模块，所述非局部模块包括卷积层、多头机制、矩阵乘法、softmax激活函数以及元素级加法。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述输入待压缩图像，由压缩分辨率CR模块对所述待压缩图像的分辨率进行压缩，获得目标低分辨率图像的步骤之前还包括：
基于所述主编码器的第一量化输出、所述高维编码器的第二量化输出以及加权混合失真标准确定目标函数，其中所述加权混合失真标准基于待压缩图像和压缩图像的均方误差、多尺度结构相似性确定。
8.一种基于超分辨率的图像压缩设备，其特征在于，所述基于超分辨率的图像压缩设备包括处理器，存储器以及存储在所述存储器中的基于超分辨率的图像压缩程序，所述基于超分辨率的图像压缩程序被所述处理器运行时，实现如权利要求1-7中任一项所述的基于超分辨率的图像压缩方法的步骤。
9.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有基于超分辨率的图像压缩程序，所述基于超分辨率的图像压缩程序被处理器运行时实现如权利要求1-7中任一项所述基于超分辨率的图像压缩方法的步骤。
CN202010514172.6A 2020-06-08 2020-06-08 基于超分辨率的图像压缩方法、设备及存储介质 Active CN111698508B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010514172.6A CN111698508B (zh) 2020-06-08 2020-06-08 基于超分辨率的图像压缩方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010514172.6A CN111698508B (zh) 2020-06-08 2020-06-08 基于超分辨率的图像压缩方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111698508A CN111698508A (zh) 2020-09-22
CN111698508B true CN111698508B (zh) 2022-05-31

Family

ID=72479835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010514172.6A Active CN111698508B (zh) 2020-06-08 2020-06-08 基于超分辨率的图像压缩方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111698508B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114386595B (zh) * 2021-12-24 2023-07-28 西南交通大学 一种基于超先验架构的sar图像压缩方法
WO2024007977A1 (zh) * 2022-07-07 2024-01-11 维沃移动通信有限公司 图像处理方法、装置及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105247865A (zh) * 2013-04-08 2016-01-13 诺基亚技术有限公司 用于视频编码和解码的方法和技术设备
CN110225355A (zh) * 2019-06-22 2019-09-10 衢州光明电力投资集团有限公司赋腾科技分公司 基于感兴趣区域的高性能视频编码帧内预测优化方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140177706A1 (en) * 2012-12-21 2014-06-26 Samsung Electronics Co., Ltd Method and system for providing super-resolution of quantized images and video
US9774865B2 (en) * 2013-12-16 2017-09-26 Samsung Electronics Co., Ltd. Method for real-time implementation of super resolution

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105247865A (zh) * 2013-04-08 2016-01-13 诺基亚技术有限公司 用于视频编码和解码的方法和技术设备
CN110225355A (zh) * 2019-06-22 2019-09-10 衢州光明电力投资集团有限公司赋腾科技分公司 基于感兴趣区域的高性能视频编码帧内预测优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的图像超分辨率复原研究进展;孙旭;《自动化学报》;20170515;全文 *

Also Published As

Publication number Publication date
CN111698508A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN109886871B (zh) 基于通道注意力机制和多层特征融合的图像超分辨率方法
Zhang et al. NTIRE 2023 challenge on image super-resolution (x4): Methods and results
CN111698508B (zh) 基于超分辨率的图像压缩方法、设备及存储介质
CN111988609A (zh) 图像编码装置、概率模型生成装置和图像解码装置
CN110288524B (zh) 基于增强型上采样和辨别融合机制的深度学习超分辨率方法
CN112119408A (zh) 获取画质增强网络的方法、图像画质增强方法、装置、可移动平台、相机及存储介质
CN114612289A (zh) 风格化图像生成方法、装置及图像处理设备
Zheng et al. S-Net: a scalable convolutional neural network for JPEG compression artifact reduction
CN111355965B (zh) 一种基于深度学习的图像压缩还原方法及装置
CN111951203A (zh) 视点合成方法、装置、设备及计算机可读存储介质
Xing et al. Scale-arbitrary invertible image downscaling
CN115082306A (zh) 一种基于蓝图可分离残差网络的图像超分辨率方法
CN113658122A (zh) 图像质量评价方法、装置、存储介质与电子设备
Bai et al. Survey of learning based single image super-resolution reconstruction technology
CN116630131A (zh) 屏幕隐形水印的编码、解码系统及方法
CN116630152A (zh) 图像分辨率重建方法、装置、存储介质及电子设备
CN115601235A (zh) 一种图像超分辨率网络训练方法、装置、设备及存储介质
CN115375715A (zh) 目标提取方法、装置、电子设备及存储介质
CN114493971A (zh) 媒体数据转换模型训练、数字水印嵌入方法和装置
CN112634126A (zh) 人像减龄处理方法、训练方法、装置、设备及存储介质
CN115631115B (zh) 基于递归Transformer的动态图像复原方法
CN112053285B (zh) 图像处理方法、装置、计算机设备及存储介质
Hsin Compressed domain image resizing based on saliency histogram equalisation and seam carving
CN117332179B (zh) 一种超大量数据曲线的网页展示方法
CN112801919B (zh) 图像去雾模型训练方法、去雾处理方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant