CN113658282A - 一种图像压缩解压缩方法及其装置 - Google Patents

一种图像压缩解压缩方法及其装置 Download PDF

Info

Publication number
CN113658282A
CN113658282A CN202110713277.9A CN202110713277A CN113658282A CN 113658282 A CN113658282 A CN 113658282A CN 202110713277 A CN202110713277 A CN 202110713277A CN 113658282 A CN113658282 A CN 113658282A
Authority
CN
China
Prior art keywords
network
image
convolution
image processing
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110713277.9A
Other languages
English (en)
Inventor
马琪
刘凤山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Shangpin Information Technology Co ltd
Original Assignee
Shaanxi Shangpin Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Shangpin Information Technology Co ltd filed Critical Shaanxi Shangpin Information Technology Co ltd
Priority to CN202110713277.9A priority Critical patent/CN113658282A/zh
Publication of CN113658282A publication Critical patent/CN113658282A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种图像压缩解压缩方法及其装置，方法包括：获取待压缩图像并去噪；利用第一图像处理网络对去噪的待压缩图像进行压缩；响应于解压缩指令，利用第二图像处理网络对压缩图像数据进行解压缩以及图像信息的重建；其中，第一、第二图像处理网络构成端到端的深度神经网络；第一图像处理网络包括第一卷积网络和特征压缩网络；第二图像处理网络包括特征解压缩网络、残差网络、第二卷积网络，残差网络包括N个图像重建模块、一用于将残差网络的输入和最后一个图像重建模块的输出相加的加法模块；每个图像重建模块包括第一卷积子网络、全连接子网络、第二卷积子网络；全连接子网络中包含至少两个全连接层。本发明实现了高压缩率下的图像恢复。

Description

一种图像压缩解压缩方法及其装置
技术领域
本发明属于图像处理技术领域，具体涉及一种图像压缩解压缩方法及其装置。
背景技术
随着大数据时代的来临，数据压缩技术也在不断发展。因为存储设备的空间有限，而图片、游戏、音频、视频在计算机中应用越来越普遍，但它们又非常占据空间。为减少图片等的占用存储空间，便于图像的存储、传输等，常常需要对图像进行尺寸压缩，减小图像的尺寸，降低图像的分辨率。随着机器学习的大力发展和硬件的更新换代，机器学习在图像压缩处理中取得了巨大成功。
但是，目前基于机器学习的方法实现图像压缩的方案，只适用于实现图像低压缩率的场景，对于图像高压缩率的场景，由于压缩过程中会丢失很多图像信息，导致无法准确的恢复出图像。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种图像压缩解压缩方法及其装置。本发明要解决的技术问题通过以下技术方案实现：
本发明实施例提供了一种图像压缩解压缩方法，包括：
获取待压缩图像；
对所述待压缩图像进行去噪；
利用第一图像处理网络对去噪后的待压缩图像进行压缩，得到压缩图像数据；
响应于解压缩指令，利用第二图像处理网络对所述压缩图像数据进行解压缩以及图像信息的重建，得到解压缩图像；
其中，所述第一图像处理网络和所述第二图像处理网络构成端到端的深度神经网络；所述第一图像处理网络包括依次连接的第一卷积网络和特征压缩网络；所述第二图像处理网络包括依次连接的特征解压缩网络、残差网络以及第二卷积网络，所述残差网络包括依次连接的N个图像重建模块以及一个用于将所述残差网络的输入和最后一个图像重建模块的输出相加的加法模块，N为大于5的自然数；每个所述图像重建模块包括依次连接的第一卷积子网络、全连接子网络以及第二卷积子网络；所述全连接子网络中包含有至少两个依次连接的全连接层。
在本发明的一个实施例中，所述对所述待压缩图像进行去噪，包括：
采用高斯滤波去噪方法对所述待压缩图像进行去噪。
在本发明的一个实施例中，
所述特征压缩网络包括第一Reshape层和第一全连接层，其中，
所述第一Reshape层，用于将所述第一卷积网络的输出变换为一维的第一特征信息；所述第一全连接层，用于将所述一维的第一特征信息压缩为长度更短的所述压缩图像数据；
所述特征解压缩网络包括第二全连接层和第二Reshape层，其中，
所述第二全连接层，用于将输入所述第二图像处理网络的压缩图像数据解压为与所述一维的第一特征信息等长的第二特征信息；所述第二Reshape层，用于将所述第二特征信息变换为二维的第三特征信息。
在本发明的一个实施例中，所述第一卷积网络，包括依次连接的第一卷积单元和第二卷积单元，所述第一卷积单元和所述第二卷积单元中卷积层的卷积核大小均为7*7。
在本发明的一个实施例中，
所述第一卷积子网络，包括依次连接的第四卷积单元和第五卷积单元，所述第四卷积单元中卷积层的卷积核大小为7*7，所述第五卷积单元中卷积层的卷积核大小为5*5；
所述第二卷积子网络，包括第六卷积单元，所述第六卷积单元中卷积层的卷积核大小为3*3；
所述第二卷积网络，包括第三卷积单元，所述第三卷积单元中卷积层的卷积核大小为3*3。
在本发明的一个实施例中，所述全连接子网络，包括依次连接的第三Reshape层、第三全连接层、第四全连接层和第四Reshape层，其中，
所述第三Reshape层，用于将所述第一卷积子网络输出的二维特征信息变换为与所述第三全连接层的输入匹配的一维特征信息；
所述第四Reshape层，用于将所述第四全连接层输出的一维特征信息变换为与所述第二卷积子网络的输入匹配的二维特征信息；
所述第四全连接层神经元数量是所述第三全连接层神经元数量的2倍。
在本发明的一个实施例中，所述第一图像处理网络和所述第二图像处理网络是按照下述方式进行训练获得的：
获取原始样本图像；
将所述原始样本图像输入至未训练完成的第一图像处理网络，以使所述第一图像处理网络输出压缩样本图像数据；
将所述压缩样本图像数据输入至未训练完成的第二图像处理网络，以使所述第二图像处理网络输出重建样本图像；
根据所述重建样本图像和所述原始样本图像计算均方误差；
比较所述均方误差与预设阈值的大小，若所述均方误差大于或等于所述预设阈值，基于Adam优化算法调整当前的第一图像处理网络和第二图像处理网络的网络参数，继续训练；否则，结束训练，得到训练完成的第一图像处理网络和第二图像处理网络。
在本发明的一个实施例中，所述方法还包括：
在得到所述压缩图像数据之后，对所述压缩图像数据进行存储或传输。
本发明另一实施例提供了一种图像压缩解压缩装置，包括：
图像获取模块，用于获取待压缩图像；
图像去噪模块，用于对所述待压缩图像进行去噪；
图像压缩模块，用于利用第一图像处理网络对去噪后的待压缩图像进行压缩，得到压缩图像数据；
图像解压缩模块，用于响应于解压缩指令，利用第二图像处理网络对所述压缩图像数据进行解压缩以及图像信息的重建，得到解压缩图像；
其中，所述第一图像处理网络和所述第二图像处理网络构成端到端的深度神经网络；所述第一图像处理网络包括依次连接的第一卷积网络和特征压缩网络；所述第二图像处理网络包括依次连接的特征解压缩网络、残差网络以及第二卷积网络，所述残差网络包括依次连接的N个图像重建模块以及一个用于将所述残差网络的输入和最后一个图像重建模块的输出相加的加法模块，N为大于5的自然数；每个所述图像重建模块包括依次连接的第一卷积子网络、全连接子网络以及第二卷积子网络；所述全连接子网络中包含有至少两个依次连接的全连接层。
在本发明的一个实施例中，所述装置还包括：
图像处理模块，用于在得到所述压缩图像数据之后，对所述压缩图像数据进行存储或传输。
本发明的有益效果：
本发明提出的图像压缩解压缩方法，利用第一图像处理网络对图像进行压缩处理，再利用第二图像处理网络对压缩的图像进行解压缩实现图像的重建恢复，由于解压缩重建恢复过程中采用了多个图像重建模块，可以通过多个图像重建模块来减小原始图像和恢复图像的残差，且在每个图像重建模块中两个卷积网络之间至少包含有两个依次连接的全连接层，使得相邻层之间每个神经元都有连接，能够捕获更多的特征用于图像的重建恢复，实现在高压缩率场景下更好的图像恢复。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种图像压缩解压缩方法的流程示意图；
图2是本发明实施例提供的端对端的深度神经网络的网络结构示意图；
图3是本发明实施例提供的第一图像处理网络的具体网络结构示意图；
图4是本发明实施例提供的第二图像处理网络的具体网络结构示意图；
图5是本发明实施例提供的第一图像处理网络的示例网络结构示意图；
图6是本发明实施例提供的第二图像处理网络的示例网络结构示意图；
图7是本发明实施例提供的端对端的深度神经网络训练的流程示意图；
图8是本发明实施例提供的一种图像压缩解压缩装置的结构示意图；
图9是本发明实施例提供的另一种图像压缩解压缩装置的结构示意图。
附图标记说明：
10-第一图像处理网络；20-第二图像处理网络20；101-第一卷积网络；102-特征压缩网络；201-特征解压缩网络；202-残差网络；203-第二卷积网络；2021-图像重建模块；2022-加法模块；20211-第一卷积子网络；20212-全连接子网络；20213-第二卷积子网络；801-图像获取模块；802-图像去噪模块；803-图像压缩模块；804-图像解压缩模块；805-图像处理模块。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
为了实现高压缩率下图像的恢复，本实施例提出了一种图像压缩解压缩方法，请参见图1，图1是本发明实施例提供的一种图像压缩解压缩方法的流程示意图，该方法包括以下步骤：
S101、获取待压缩图像。
具体而言，本实施例待压缩图像的获取方式不限。
S102、对待压缩图像进行去噪。
具体而言，本实施例采用高斯滤波去噪方法对待压缩图像进行去噪，具体计算其与高斯滤波器的卷积，得到去噪后的压缩图像。其中，高斯滤波器是根据高斯函数来选择权值的线性平滑滤波器，对随机分布和服从正态分布的噪声有很好地滤除效果。在实际滤波时，可以根据需要选用不同的高斯滤波器，比如，3*3的高斯滤波器可以为：
Figure BDA0003133797300000061
当然，还有5*5的高斯滤波，等等。关于高斯滤波方法的具体实现过程请参见现有技术，在此不做详细说明。
S103、利用第一图像处理网络10对去噪后的待压缩图像进行压缩，得到压缩图像数据。
具体而言，本实施例第一图像处理网络10为一深度神经网络，用于从去噪后的待压缩图像数据中提取特征信息，从而实现图像的压缩。在得到压缩图像数据之后，对压缩图像数据可以进行存储或传输。
S104、响应于解压缩指令，利用第二图像处理网络20对压缩图像数据进行解压缩以及图像信息的重建，得到解压缩图像。
具体而言，本实施例第二图像处理网络20也为一深度神经网络，与第一图像处理网络10构成端到端的深度神经网络，用于对压缩图像数据进行解压缩以及图像信息的重建，实现图像的解压缩与恢复。其中，对压缩图像数据进行解压缩时触发的方式不限，可以为接收计算机内部发送的解压缩指令，也可以为端到端之间预先约定的触发方式。
当第一图像处理的压缩率比较低的时候，比如CR等于4的时候，压缩过程中不会丢失掉很多有用信息，因此使用一般的卷积神经网络是足够捕获特征并重建图像的。但是，当CR很高的时候，比如CR等于64的时候，压缩过程中丢失掉了很多的有用信息，使用一般的卷积神经网络难以实现信息的重建。
为了解决上述问题，本发明实施例提出了一种深度更深的神经网络来减少重建图像与原始待压缩图像的残差；这样，在高压缩率的情况下，即使第一图像处理网络10压缩过程中丢掉了很多信息，采用本发明实施例提出的深度神经网络也可以对图像进行有效的恢复与重建。其中，为了使残差网络202具有更强的图像恢复性能，本发明实施例在残差网络202的每个图像重建模块2021中设计了全连接子网络20212，该全连接子网络20212中包含有至少两个依次连接的全连接层；由于相邻的全连接层之间每个神经元都有连接，能够从输入到其中的特征信息里获取更为全面的有用图像信息，故而该全连接子网络20212可以使残差网络202具有更强的图像恢复性能。由此，本发明实施例在高压缩率场景下能够具有更高的恢复性能，可以使重建的图像与原始待压缩图像的均方误差被控制在较小的范围内。
下面对本发明实施例中使用的第一图像处理网络10和第二图像处理网络20分别进行详细说明：
首先，对第一图像处理网络10进行详细说明。请参见图2，本发明实施例第一图像处理网络10包括依次连接的第一卷积网络101和特征压缩网络102。各网络的网络结构请参见图3，具体地：
第一卷积网络101，包括依次连接的第一卷积单元和第二卷积单元。其中，第一卷积单元，用于从去噪后的待压缩图像中提取二维的第四特征信息；第二卷积单元，用于从二维的第四特征信息中再提取二维的第五特征信息；第一卷积单元和第二卷积单元中卷积层的卷积核大小均为7*7。
特征压缩网络102，包括第一Reshape层和第一全连接层。其中，第一Reshape层，用于将第一卷积网络101输出的二维的第五特征信息变换为一维的第一特征信息；第一全连接层，用于将一维的第一特征信息压缩为长度更短的一维的压缩图像数据。
本发明实施例使用第一卷积单元和第二卷积单元来捕获图像特征，第一卷积单元和第二卷积单元均采用7*7卷积核的卷积层，7*7卷积核相比于5*5卷积核、3*3卷积核，可以以更大的尺寸捕获图像中更多非零特征，从而提取更多有用的信息。再将第二卷积单元输出的二维的第五特征信息通过第一Reshape层变换为一维的第一特征信息，将其送入第一全连接层，第一全连接层的神经元数量小于输入的一维的第一特征信息的长度就实现了压缩，以达到压缩图像数据的目的。本实施例第一图像处理网络10的压缩率具体表示为：
Figure BDA0003133797300000091
其中，CR表示第一图像处理网络10的压缩率，M表示第一全连接层的神经元数，待压缩图像的大小为N1*N2。
本发明实施例中第一卷积单元和第二卷积单元均包括卷积层、BN层以及激活层，该激活层可以采用Relu函数作为激活函数，也可以采用swish函数作为激活函数，swish函数表示为：
Figure BDA0003133797300000092
第一全连接层后还可以接激活层，该激活层可以采用sigmoid函数作为激活函数。
需要说明的是，本发明实施例第一卷积单元和第二卷积单元还可以采用不同卷积核的卷积层，此时第一卷积单元的卷积核大小可以大于第二卷积单元的卷积核大小。
接下来，对第二图像处理网络20进行详细说明。请参见图2，第二图像处理网络20包括依次连接的特征解压缩网络201、残差网络202以及第二卷积网络203，残差网络202包括依次连接的N个图像重建模块2021以及一个用于将残差网络202的输入和最后一个图像重建模块2021的输出相加的加法模块2022，N为大于5的自然数，优选地，N取值为6；每个图像重建模块2021包括依次连接的第一卷积子网络20211、全连接子网络20212以及第二卷积子网络20213；全连接子网络20212中包含有至少两个依次连接的全连接层。各网络的网络结构请参见图4，具体地：
特征解压缩网络201包括第二全连接层和第二Reshape层。其中，第二全连接层，用于将输入第二图像处理网络20输出的一维的压缩图像数据解压为与一维的第一特征信息等长的一维的第二特征信息；第二Reshape层，用于将一维的第二特征信息变换为二维的第三特征信息。
第一卷积子网络20211，包括依次连接的第四卷积单元和第五卷积单元其中，第四卷积单元，用于从二维的第三特征信息提取二维的第六特征信息；第五卷积单元，用于从二维的第六特征信息中提取二维的第七特征信息；第四卷积单元中卷积层的卷积核大小为7*7，第五卷积单元中卷积层的卷积核大小为5*5。
第二卷积子网络20213，包括第六卷积单元，用于从全连接子网络20212的输出提取二维的第八特征信息；第六卷积单元中卷积层的卷积核大小为3*3。
全连接子网络20212，包括依次连接的第三Reshape层、第三全连接层、第四全连接层和第四Reshape层。其中，第三Reshape层，用于将第一卷积子网络输出的二维特征信息变换为与第三全连接层的输入匹配的一维特征信息，即也可以描述为将二维的第七特征信息变换为一维的第十特征信息；第三全连接层，用于将一维的第十特征信息压缩为长度更短的一维的第十一特征信息；第四全连接层，用于将一维的第十一特征信息恢复为与一维的第二特征信息等长的一维的第十二特征信息；第四Reshape层，用于将第四全连接层输出的一维特征信息变换为与第二卷积子网络的输入匹配的二维特征信息，即也可以描述为将一维的第十二特征信息变换为二维的第十三特征信息；第四全连接层神经元数量是第三全连接层神经元数量的2倍。
第二卷积网络203，包括第三卷积单元，用于从残差网络202的输出提取二维的第九特征信息；第三卷积单元中卷积层的卷积核大小为3*3。
本发明实施例为了提高第二图像处理网络20在高压缩率情况下的性能，使用了一个更深的残差网络202和更大的卷积核来减小待压缩图像和重建图像的残差，具体地：第二图像处理网络20通过一有N1*N2个神经元的第二全连接层解压缩接收到的一维的压缩图像数据，并通过第二Reshape层变换为二维待恢复图像；然后通过N个图像重建模块2021来计算恢复图像与待恢复图像之间的残差，再把最后一个图像重建模块2021输出的恢复图像与残差网络202输入的待恢复图像相加，得到经过残差网络调整的重建图像；最后由第一卷积网络提取经过残差网络调整的重建图像得到最终的解压缩图像，该解压缩图像即为最终的重建图像。此时，若CR很高，比如CR等于64，即使第一图像处理网络10在压缩过程中会丢失掉很多信息，但是本发明实施例在残差网络202中设计了全连接子网络20212，全连接子网络20212采用了至少两个依次连接的全连接层，使得相邻全连接层之间每个神经元都有连接，能够捕获更多的特征信息，从而能够具有更强的恢复性能。
本发明实施例第二图像处理网络20中第三卷积单元、第四卷积单元、第五卷积单元和第六卷积单元均包括卷积层、BN层以及激活层，该激活层可以采用Relu函数作为激活函数，也可以采用swish函数作为激活函数。这里，本发明实施例优先采用swish函数作为各卷积层的激活函数，主要是由于本发明实施例使用的第二图像处理网络20具有较大的深度，使用了N个图像重建模块2021来获得更好的对于残差的估计，但是随着神经网络的加深，激活函数对神经网络有很高的影响，此时使用常用的Relu函数作为激活函数时会产生梯度消失的情况，在尝试使用swish函数后发现这一影响可以有效降低，故而本发明实施例优先采用swish函数作为各卷积层的激活函数。
本发明实施例第二图像处理网络20中第二全连接层、第三全连接层、第四全连接层后均采用sigmoid函数作为激活函数。
下面对第一图像处理网络10和第二图像处理网络20的训练过程进行详细说明。为了无需对训练样本进行标注以及减小网络误差，本发明实施例采用端到端的训练方式来对第一图像处理网络10和第二图像处理网络20进行同步训练，请参见图7，具体的训练过程可以包括：
S701、获取原始样本图像。
S702、将原始样本图像输入至未训练完成的第一图像处理网络10，以使第一图像处理网络10输出压缩样本图像数据。
S703、将压缩样本图像数据输入至未训练完成的第二图像处理网络20，以使第二图像处理网络20输出重建样本图像。
S704、根据重建样本图像和原始样本图像计算均方误差。
本实施例均方误差(Mean Squared Error，简称MSE)计算公式如下：
Figure BDA0003133797300000121
其中，Hi表示第i个原始样本图像，
Figure BDA0003133797300000122
表示对第i个重建样本图像，
Figure BDA0003133797300000123
表示求欧几里得范数的平方，N表示当前已加入训练的原始样本图像总数。
比较均方误差与预设阈值的大小，预设阈值根据设计需要而设置。
若均方误差大于或等于预设阈值，表示当前训练过程中重建样本图像未达到对原始样本图像的重建要求，则进行如下处理：
S705、基于Adam优化算法调整当前的第一图像处理网络10和第二图像处理网络20的网络参数，继续训练。
这里，继续训练指的是重复S702～705，训练过程中输入未训练完成的第一图像处理网络10中的样本可以为原来的原始样本图像，也可以是获取的新的原始样本图像。
若均方误差小于预设阈值，表示当前训练过程中重建样本图像达到了对原始样本图像的重建要求，则进行如下处理：
S706、结束训练，得到训练完成的第一图像处理网络10和第二图像处理网络20。
需要说明的是，本实施例训练过程中，进行继续训练或结束训练的条件不局限于比较均方误差与预设阈值的大小，比如可以设置最大训练迭代次数，达到最大训练迭代次数，即可结束训练，得到训练完成的第一图像处理网络10和第二图像处理网络20，否则继续训练。
为了验证本发明实施例提出的图像压缩解压方法的有效性，通过以下实验进行说明：
请参见图5、图6，本实施例N取值6为例，输入的待压缩图像大小为1024*32；第一图像处理网络10结构如图5所示和第二图像处理网络20结构如图6所示。图5和6中，“Conv”代表的是卷积的含义，“Refine”代表的是图像重建模块2021；“FC”代表的是全连接层的含义；填充为灰色的矩形块代表的是输入到各层的特征信息，下边的数字代表的是特征信息的大小，具体地：
图5所示的第一图像处理网络10中，从左往右，第1个Conv块代表第一卷积单元，第2个Conv块代表第二卷积单元，第3个Reshape块代表第一Reshape层，第4个FC块代表第一全连接层。第1个Conv块、第2个Conv块中卷积核的大小均为7*7，采用的激活函数为Relu函数；FC块中采用的激活函数为sigmoid函数。
图6所示的第二图像处理网络20中，从右往左，第1个FC块代表第二全连接层，第2个Reshape块代表第二Reshape层，第3、4、5、6、7、8个Refine块分别为6个图像重建模块2021，
Figure BDA0003133797300000141
代表加法模块2022，第8个Conv块代表第三卷积单元；其中，对其中一图像重建模块2021的局部放大图中，从右往左，第1个Conv块代表第一卷积子网络20211中的第四卷积单元，第2个Conv块代表第一卷积子网络20211中的第五卷积单元；第3个Reshape块代表全连接子网络20212中的第三Reshape层，第4个FC块代表全连接子网络20212中的第三全连接层，第5个FC块代表全连接子网络20212中的第四全连接层，第6个Reshape块代表全连接子网络20212中的第四Reshape层；第7个Conv块代表第二卷积子网络20213中的第六卷积单元。每个图像重建模块2021中第1个Conv块卷积核的大小为7*7、第2个Conv块中卷积核的大小均为5*5、第7个Conv块中卷积核的大小均为3*3，第8个Conv块中卷积核的大小均为3*3，第二图像处理网络20中所有Conv块采用的激活函数均为Relu函数；第二图像处理网络20中所有FC块采用的激活函数为sigmoid函数。
本发明实施例提供的图像压缩解压缩方法对应的性能参见表1。
表1
CR(压缩率) NMSE(dB)
8 -11.78
16 -9.7
32 -8.42
64 -6.34
其中，表1中的归一化均方误差(Normalized Mean Squared Error，简称NMSE)的计算方式如下：
Figure BDA0003133797300000151
其中，E{·}代表求取期望，H表示待压缩图像，
Figure BDA0003133797300000152
表示解压缩图像，
Figure BDA0003133797300000153
表示求欧几里得范数的平方。
从表1可以看到，本发明实施例中，在不同压缩率的情况下，本发明实施例的NMSE始终保持在-5dB以下，尤其是在高压缩比64的时候，NMSE也可以达到-6.34dB。
综上所述，本发明实施例提出的图像压缩解压缩方法，利用第一图像处理网络10对图像进行压缩处理，再利用第二图像处理网络20对压缩的图像进行解压缩实现图像的重建恢复，由于解压缩重建恢复过程中采用了多个图像重建模块2021，可以通过多个图像重建模块2021来减小真实图像和恢复图像的残差，且在每个图像重建模块2021中两个卷积网络之间至少包含两个依次连接的全连接层，使得相邻层之间每个神经元都有连接，能够捕获更多的特征用于图像的重建恢复，实现在高压缩率场景下更好的图像恢复。
基于同一发明构思，本发明实施例还提供了一种图像压缩解压缩装置，请参见图8，包括：
图像获取模块801，用于获取待压缩图像；
图像去噪模块802，用于对待压缩图像进行去噪；
图像压缩模块803，用于利用第一图像处理网络10对去噪后的待压缩图像进行压缩，得到压缩图像数据；
图像解压缩模块804，用于响应于解压缩指令，利用第二图像处理网络20对压缩图像数据进行解压缩以及图像信息的重建，得到解压缩图像；
其中，第一图像处理网络10和第二图像处理网络20构成端到端的深度神经网络；第一图像处理网络10包括依次连接的第一卷积网络101和特征压缩网络102；第二图像处理网络20包括依次连接的特征解压缩网络201、残差网络202以及第二卷积网络203，残差网络202包括依次连接的N个图像重建模块2021以及一个用于将残差网络202的输入和最后一个图像重建模块2021的输出相加的加法模块2022，N为大于5的自然数；每个图像重建模块2021包括依次连接的第一卷积子网络20211、全连接子网络20212以及第二卷积子网络20213；全连接子网络20212中包含有至少两个依次连接的全连接层。
可选地，图像去噪模块802，具体包括：
采用高斯滤波去噪方法对待压缩图像进行去噪。
可选地，图像压缩模块803中第一图像处理网络10，具体包括：
特征压缩网络102包括第一Reshape层和第一全连接层，其中，
第一Reshape层，用于将第一卷积网络101的输出变换为一维的第一特征信息；第一全连接层，用于将一维的第一特征信息压缩为长度更短的压缩图像数据；
图像解压模块中第二图像处理网络20，具体包括：
特征解压缩网络201包括第二全连接层和第二Reshape层，其中，
第二全连接层，用于将输入第二图像处理网络20的压缩图像数据解压为与一维的第一特征信息等长的一维的第二特征信息；第二Reshape层，用于将一维的第二特征信息变换为二维的第三特征信息。
可选地，图像压缩模块803中第一图像处理网络10，具体包括：
第一卷积网络101，包括依次连接的第一卷积单元和第二卷积单元，第一卷积单元和第二卷积单元中卷积层的卷积核大小均为7*7。
可选地，图像解压缩模块804中第二图像处理网络20，具体包括：
第一卷积子网络20211，包括依次连接的第四卷积单元和第五卷积单元，第四卷积单元中卷积层的卷积核大小为7*7，第五卷积单元中卷积层的卷积核大小为5*5；
第二卷积子网络20213，包括第六卷积单元，第六卷积单元中卷积层的卷积核大小为3*3；
第二卷积网络203，包括第三卷积单元，第三卷积单元中卷积层的卷积核大小为3*3。
可选地，图像解压缩模块804中第二图像处理网络20，具体包括：
全连接子网络20212，包括依次连接的第三Reshape层、第三全连接层、第四全连接层和第四Reshape层，其中，
第三Reshape层，用于将第一卷积子网络输出的二维特征信息变换为与第三全连接层的输入匹配的一维特征信息；
第四Reshape层，用于将第四全连接层输出的一维特征信息变换为与第二卷积子网络的输入匹配的二维特征信息；
第四全连接层神经元数量是第三全连接层神经元数量的2倍。
可选地，图像压缩模块803中第一图像处理网络10和图像解压缩模块804中第二图像处理网络20是按照下述方式进行训练获得的：
获取原始样本图像；
将原始样本图像输入至未训练完成的第一图像处理网络10，以使第一图像处理网络10输出压缩样本图像数据；
将压缩样本图像数据输入至未训练完成的第二图像处理网络20，以使第二图像处理网络20输出重建样本图像；
根据重建样本图像和原始样本图像计算均方误差；
比较均方误差与预设阈值的大小，若均方误差小于预设阈值，基于Adam优化算法调整当前的第一图像处理网络10和第二图像处理网络20的网络参数，继续训练；否则，结束训练，得到训练完成的第一图像处理网络10和第二图像处理网络20。
可选地，请参见图9，本发明实施例提出的一种图像压缩解压缩装置还包括：
图像处理模块805，用于在得到压缩图像数据之后，对压缩图像数据进行存储或传输。
对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种图像压缩解压缩方法，其特征在于，包括：
获取待压缩图像；
对所述待压缩图像进行去噪；
利用第一图像处理网络对去噪后的待压缩图像进行压缩，得到压缩图像数据；
响应于解压缩指令，利用第二图像处理网络对所述压缩图像数据进行解压缩以及图像信息的重建，得到解压缩图像；
其中，所述第一图像处理网络和所述第二图像处理网络构成端到端的深度神经网络；所述第一图像处理网络包括依次连接的第一卷积网络和特征压缩网络；所述第二图像处理网络包括依次连接的特征解压缩网络、残差网络以及第二卷积网络，所述残差网络包括依次连接的N个图像重建模块以及一个用于将所述残差网络的输入和最后一个图像重建模块的输出相加的加法模块，N为大于5的自然数；每个所述图像重建模块包括依次连接的第一卷积子网络、全连接子网络以及第二卷积子网络；所述全连接子网络中包含有至少两个依次连接的全连接层。
2.根据权利要求1所述的图像压缩解压缩方法，其特征在于，所述对所述待压缩图像进行去噪，包括：
采用高斯滤波去噪方法对所述待压缩图像进行去噪。
3.根据权利要求1所述的图像压缩解压缩方法，其特征在于，
所述特征压缩网络包括第一Reshape层和第一全连接层，其中，
所述第一Reshape层，用于将所述第一卷积网络的输出变换为一维的第一特征信息；所述第一全连接层，用于将所述一维的第一特征信息压缩为长度更短的所述压缩图像数据；
所述特征解压缩网络包括第二全连接层和第二Reshape层，其中，
所述第二全连接层，用于将输入所述第二图像处理网络的压缩图像数据解压为与所述一维的第一特征信息等长的第二特征信息；所述第二Reshape层，用于将所述第二特征信息变换为二维的第三特征信息。
4.根据权利要求1所述的图像压缩解压缩方法，其特征在于，所述第一卷积网络，包括依次连接的第一卷积单元和第二卷积单元，所述第一卷积单元和所述第二卷积单元中卷积层的卷积核大小均为7*7。
5.根据权利要求1所述的图像压缩解压缩方法，其特征在于，
所述第一卷积子网络，包括依次连接的第四卷积单元和第五卷积单元，所述第四卷积单元中卷积层的卷积核大小为7*7，所述第五卷积单元中卷积层的卷积核大小为5*5；
所述第二卷积子网络，包括第六卷积单元，所述第六卷积单元中卷积层的卷积核大小为3*3；
所述第二卷积网络，包括第三卷积单元，所述第三卷积单元中卷积层的卷积核大小为3*3。
6.根据权利要求1所述的图像压缩解压缩方法，其特征在于，所述全连接子网络，包括依次连接的第三Reshape层、第三全连接层、第四全连接层和第四Reshape层，其中，
所述第三Reshape层，用于将所述第一卷积子网络输出的二维特征信息变换为与所述第三全连接层的输入匹配的一维特征信息；
所述第四Reshape层，用于将所述第四全连接层输出的一维特征信息变换为与所述第二卷积子网络的输入匹配的二维特征信息；
所述第四全连接层神经元数量是所述第三全连接层神经元数量的2倍。
7.根据权利要求1～6任一所述的图像压缩解压缩方法，其特征在于，所述第一图像处理网络和所述第二图像处理网络是按照下述方式进行训练获得的：
获取原始样本图像；
将所述原始样本图像输入至未训练完成的第一图像处理网络，以使所述第一图像处理网络输出压缩样本图像数据；
将所述压缩样本图像数据输入至未训练完成的第二图像处理网络，以使所述第二图像处理网络输出重建样本图像；
根据所述重建样本图像和所述原始样本图像计算均方误差；
比较所述均方误差与预设阈值的大小，若所述均方误差大于或等于所述预设阈值，基于Adam优化算法调整当前的第一图像处理网络和第二图像处理网络的网络参数，继续训练；否则，结束训练，得到训练完成的第一图像处理网络和第二图像处理网络。
8.根据权利要求1所述的图像压缩解压缩方法，其特征在于，所述方法还包括：
在得到所述压缩图像数据之后，对所述压缩图像数据进行存储或传输。
9.一种图像压缩解压缩装置，其特征在于，包括：
图像获取模块，用于获取待压缩图像；
图像去噪模块，用于对所述待压缩图像进行去噪；
图像压缩模块，用于利用第一图像处理网络对去噪后的待压缩图像进行压缩，得到压缩图像数据；
图像解压缩模块，用于响应于解压缩指令，利用第二图像处理网络对所述压缩图像数据进行解压缩以及图像信息的重建，得到解压缩图像；
其中，所述第一图像处理网络和所述第二图像处理网络构成端到端的深度神经网络；所述第一图像处理网络包括依次连接的第一卷积网络和特征压缩网络；所述第二图像处理网络包括依次连接的特征解压缩网络、残差网络以及第二卷积网络，所述残差网络包括依次连接的N个图像重建模块以及一个用于将所述残差网络的输入和最后一个图像重建模块的输出相加的加法模块，N为大于5的自然数；每个所述图像重建模块包括依次连接的第一卷积子网络、全连接子网络以及第二卷积子网络；所述全连接子网络中包含有至少两个依次连接的全连接层。
10.根据权利要求9所述的图像压缩解压缩装置，其特征在于，所述装置还包括：
图像处理模块，用于在得到所述压缩图像数据之后，对所述压缩图像数据进行存储或传输。
CN202110713277.9A 2021-06-25 2021-06-25 一种图像压缩解压缩方法及其装置 Pending CN113658282A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110713277.9A CN113658282A (zh) 2021-06-25 2021-06-25 一种图像压缩解压缩方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110713277.9A CN113658282A (zh) 2021-06-25 2021-06-25 一种图像压缩解压缩方法及其装置

Publications (1)

Publication Number Publication Date
CN113658282A true CN113658282A (zh) 2021-11-16

Family

ID=78489010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110713277.9A Pending CN113658282A (zh) 2021-06-25 2021-06-25 一种图像压缩解压缩方法及其装置

Country Status (1)

Country Link
CN (1) CN113658282A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116703786A (zh) * 2023-08-09 2023-09-05 天津工业大学 一种基于改进UNet网络的图像去模糊方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410114A (zh) * 2018-09-19 2019-03-01 湖北工业大学 基于深度学习的压缩感知图像重建算法
CN112348914A (zh) * 2020-11-12 2021-02-09 中国科学院合肥物质科学研究院 一种基于车联网的深度学习图像压缩感知算法及系统
US20210042887A1 (en) * 2019-08-07 2021-02-11 Electronics And Telecommunications Research Institute Method and apparatus for removing compressed poisson noise of image based on deep neural network
CN112365554A (zh) * 2020-10-26 2021-02-12 天津大学 基于多尺度残差神经网络的压缩感知图像重建方法
CN112634391A (zh) * 2020-12-29 2021-04-09 华中科技大学 一种基于压缩感知的灰度图像深度重建及故障诊断系统
CN112929664A (zh) * 2021-01-21 2021-06-08 复旦大学 一种可解释的视频压缩感知重建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410114A (zh) * 2018-09-19 2019-03-01 湖北工业大学 基于深度学习的压缩感知图像重建算法
US20210042887A1 (en) * 2019-08-07 2021-02-11 Electronics And Telecommunications Research Institute Method and apparatus for removing compressed poisson noise of image based on deep neural network
CN112365554A (zh) * 2020-10-26 2021-02-12 天津大学 基于多尺度残差神经网络的压缩感知图像重建方法
CN112348914A (zh) * 2020-11-12 2021-02-09 中国科学院合肥物质科学研究院 一种基于车联网的深度学习图像压缩感知算法及系统
CN112634391A (zh) * 2020-12-29 2021-04-09 华中科技大学 一种基于压缩感知的灰度图像深度重建及故障诊断系统
CN112929664A (zh) * 2021-01-21 2021-06-08 复旦大学 一种可解释的视频压缩感知重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YU ZHOU ET AL.: "A Two-Phase Evolutionary Approach for Compressive Sensing Reconstruction", 《IEEE TRANSACTIONS ON CYBERNETICS》, vol. 47, no. 9, 14 April 2017 (2017-04-14) *
刘玉红;刘树英;付福祥;: "基于卷积神经网络的压缩感知重构算法优化", 计算机科学, no. 03, 15 March 2020 (2020-03-15) *
杨春玲;裴翰奇;: "基于残差学习的多阶段图像压缩感知神经网络", 华南理工大学学报(自然科学版), no. 05, 15 May 2020 (2020-05-15) *
涂云轩;冯玉田;: "基于多尺度残差网络的全局图像压缩感知重构", 工业控制计算机, no. 07, 25 July 2020 (2020-07-25) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116703786A (zh) * 2023-08-09 2023-09-05 天津工业大学 一种基于改进UNet网络的图像去模糊方法和系统
CN116703786B (zh) * 2023-08-09 2023-10-20 天津工业大学 一种基于改进UNet网络的图像去模糊方法和系统

Similar Documents

Publication Publication Date Title
CN112884851B (zh) 基于展开迭代优化算法的深度压缩感知网络的构建方法
CN111667424B (zh) 一种基于无监督的真实图像去噪方法
CN109920013B (zh) 基于渐进式卷积测量网络的图像重构方法及装置
WO2016127271A1 (en) An apparatus and a method for reducing compression artifacts of a lossy-compressed image
CN111640059B (zh) 基于高斯混合模型的多字典图像超分辨方法
CN111553867A (zh) 一种图像去模糊方法、装置、计算机设备及存储介质
CN116485741A (zh) 一种无参考图像质量评价方法、系统、电子设备及存储介质
CN114926336A (zh) 视频超分辨率重建方法、装置、计算机设备及存储介质
CN105338219A (zh) 视频图像去噪处理方法和装置
CN113658282A (zh) 一种图像压缩解压缩方法及其装置
Amaranageswarao et al. Residual learning based densely connected deep dilated network for joint deblocking and super resolution
CN113962882A (zh) 一种基于可控金字塔小波网络的jpeg图像压缩伪影消除方法
CN113674172A (zh) 一种图像处理方法、系统、装置及存储介质
CN113256744B (zh) 一种图像编码、解码方法及系统
Alsayyh et al. A Novel Fused Image Compression Technique Using DFT, DWT, and DCT.
CN112906874A (zh) 卷积神经网络特征图数据压缩方法及装置
Qi et al. Subband adaptive image deblocking using wavelet based convolutional neural networks
CN112258394B (zh) 数据处理方法、船只跟踪方法、装置、设备及存储介质
CN113542780B (zh) 一种网络直播视频的压缩伪影去除方法及装置
CN111382764B (zh) 人脸识别或手势识别的神经网络模型建立方法、装置及计算机可读存储介质
Kadhim An advanced image compression technique by using a coupled compression algorithms depend on different wavelet methods
CN110708561A (zh) 基于压缩感知与信道编码的水下信息采集与传输方法
CN111246205B (zh) 基于方向双四元数滤波器组的图像压缩方法
KR100854726B1 (ko) 역 이산 웨이블릿 변환을 이용한 이미지 복원 방법 및 장치
CN114882133B (zh) 一种图像编解码方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination