CN114882133B - 一种图像编解码方法、系统、设备及介质 - Google Patents

一种图像编解码方法、系统、设备及介质 Download PDF

Info

Publication number
CN114882133B
CN114882133B CN202210493000.4A CN202210493000A CN114882133B CN 114882133 B CN114882133 B CN 114882133B CN 202210493000 A CN202210493000 A CN 202210493000A CN 114882133 B CN114882133 B CN 114882133B
Authority
CN
China
Prior art keywords
image
values
group
measurement
compressed sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210493000.4A
Other languages
English (en)
Other versions
CN114882133A (zh
Inventor
侯兴松
王榆森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202210493000.4A priority Critical patent/CN114882133B/zh
Publication of CN114882133A publication Critical patent/CN114882133A/zh
Application granted granted Critical
Publication of CN114882133B publication Critical patent/CN114882133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明公开了一种图像编解码方法、系统、设备及介质，方法包括：对原始图像进行预处理，之后进行压缩感知测量，将测量值划分为不同的部分，渐进地利用一部分测量值迭代使用梯度步进和高斯去噪来对原始图像重建获得预测图像，对预测图像进行压缩感知测量进而获得其它部分的预测测量值，对原始测量值和预测测量值的残差进行量化以及熵编码；利用基于深度卷积神经网络的高斯去噪器对原始图像进行降噪处理，能够高效地对捕获含噪图像像素之间的相关性；同时，将图像编码问题转换为在给定码率约束下图像高斯去噪问题，通过替换其中使用的高斯去噪器来实现对不同应用场景的适配，具有较强可扩展性。

Description

一种图像编解码方法、系统、设备及介质
技术领域
本发明属于图像压缩技术领域，特别涉及一种图像编解码方法、系统、设备及介质。
背景技术
图像和视频能够以直观的形式，对真实场景复现或对事物进行表达；随着图像数据及视频数据的体积越来越大，给图像或视频的存储空间和传输带宽带来了巨大的压力；同时，对现有的图像视频编码标准也提出了更高的要求；针对图像或视频的编码过程，一般选择一定的预测基准值进行量化和墒编码以获得码流；而决定编码器性能上限的关键在于对预测基准值的选择，以及以何种方式对原始数据进行恢复重建。
目前，传统的基于变换域系数对原始图像进行预测的编码方法，例如：JPEG或JPEG2000等依赖于图像的稀疏假设，但不同图像不一定符合人工设计变换基下稀疏的这一假设；而基于图像空域已编码邻域像素对当前像素进行预测的编码方法，例如MPEG-1/2/3、H.261/2/3、H.264/AVC、HEVC、VVC或AVS等方法，依赖于细致的空域模式划分，上述预测方法仅仅使用了图像的局部相关性；当图像较为复杂时，上述预测策略越来越难以提升压缩性能；因此，有必要针对于高效图像编码方法进行进一步研究，以突破目前编码框架中预测机制的固有缺陷。
发明内容
针对现有技术中存在的技术问题，本发明提供了一种图像编解码方法、系统、设备及介质，以解决现有的编码框架仅仅使用了图像的局部相关性，针对复杂的图像，其压缩性能较低的技术问题。
为达到上述目的，本发明采用的技术方案为：
本发明提供了一种图像编解码方法，所述方法包括：
利用预设的图像预处理模型，对原始图像进行去噪处理，得到预处理后的图像；其中，所述预设的图像预处理模型为基于深度卷积神经网络的高斯去噪器；
对所述预处理后的图像进行分块压缩感知测量，得到若干测量值；并根据预设的不同采样频率对所述若干测量值进行分组，得到若干组压缩感知测量真实值；
分别对所述若干组压缩感知测量真实值，进行分块自适应量化处理，得到若干组压缩感知测量真实值的量化值；
分别对所述若干组压缩感知测量真实值的量化值，进行反量化处理，得到若干组误差测量值；
对第1组压缩感知测量真实值的量化值，进行熵编码，得到基准量化测量值的二进制码流；
根据预设的压缩感知重建方法，对第1组至第i-1组的误差测量值进行压缩感知重建，得到原始图像的预测值
利用所述原始图像的预测值预测得到第i组的误差测量值的预测值/>
对所述第i组的误差测量值的预测值进行分块自适应量化处理，得到第i组的误差测量值的预测值/>的量化值；
根据第i组的压缩感知测量真实值的量化值与第i组的误差测量值的预测值的量化值，计算得到第i组的残差系数；
对所述第i组的残差系数进行熵编码，得到第i组的残差系数的二进制码流；
将所述基准量化测量值的二进制码流和第i组的残差系数的二进制码流，作为编码端的数据输出，即得到所述图像编码结果。
进一步的，所述基于深度神经网络的高斯去噪器，包括若干级去噪模型单元；每一级所述去噪模型单元的级别与待处理图像的噪声等级相适应；
每一级所述去噪模型单元，包括依次相连的第一卷积层、第一多相关性支路模块、第一离散小波正变换模块、第一1×1卷积层、第二多相关性支路模块、第二离散小波正变换、第二1×1卷积层、第三多相关性支路模块、第三离散小波正变换、第三1×1卷积层、第四多相关性支路模块、第四1×1卷积层、第一离散小波逆变换模块、第一通道拼接模块、第五1×1卷积层、第五多相关性支路模块、第六1×1卷积层、第二离散小波逆变换模块、第二通道拼接模块、第七1×1卷积层、第六多相关性支路模块、第八1×1卷积层、第三离散小波逆变换模块、第三通道拼接模块、第七多相关性支路模块、第二卷积层、第三卷积层及残差相加模块。
进一步的，对每一级去噪模型单元进行训练的过程，具体如下：
构建训练数据集；其中，所述训练数据集包括若干训练图像对；所述训练图像对包括含噪图像及去噪真实值图像；所述含噪图像作为训练输入，所述去噪真实值图像作为目标；所述含噪图像包括基准图和噪声数据；所述噪声数据为用于在所述基准图上添加预设噪声等级的高斯噪声；
将所述训练数据作为当前级去噪模型单元的输入，基于预设的损失函数，对当前级去噪模型单元进行迭代训练，当前去噪模型单元训练完成后，对下一级去噪模型单元进行训练；依此操作，完成所有去噪模型单元的训练。
进一步的，对所述预处理后的图像进行分块压缩感知测量，得到若干测量值，并根据预设的不同采样频率对所述若干测量值进行分组，得到若干组压缩感知测量真实值的过程，具体如下：
将所述预处理后的图像作为输入图像；
按照预设像素均匀置乱顺序，对所述输入图像进行像素均匀置乱处理，得到像素均匀置乱处理后的图像；
将所述像素均匀置乱处理后的图像，进行分块处理，得到若干个图像分块；
生成若干个测量矩阵；
将所述若干个测量矩阵分别与所述若干个图像分块相乘，得到若干个测量值；
根据预设的不同采样频率，从若干个测量值中选择不同数量的测量值合并作为一组，重复选择得到若干组压缩感知测量真实值。
进一步的，根据预设的压缩感知重建方法，对第1组至第i-1组的误差测量值进行压缩感知重建，得到原始图像的预测值的过程，具体如下：
对第1组至第i-1组的误差测量值，将这些测量值分配到原来所在的块，在每块内分别进行梯度投影，得到每块误差测量值中所有的含噪像素块；
将所有的含噪像素块进行拼接，得到置乱的含噪完整图像；
对所述置乱的含噪完整图像，进行均匀置乱的逆操作，得到正常的含噪完整图像；
利用所述基于深度卷积神经网络的高斯去噪器，对所述正常的含噪完整图像进行去噪处理，得到原始图像的预测值
进一步的，所述方法还包括图像解码操作；其中，所述图像解码操作，用于对编码端的数据输出进行解码操作；所述编码端的数据输出，包括基准量化测量值的二进制码流和第i组的残差系数的二进制码流；
其中，所述图像解码操作过程，具体如下：
对所述基准量化测量值的二进制码流，进行解码处理，得到第1组压缩感知测量真实值的量化值；
对所述第1组压缩感知测量真实值的量化值，进行反量化处理，得到第1组误差测量值；
对所述第i组的残差系数的二进制码流，进行解码处理，得到第i组的残差系数；
根据所述第i组的残差系数及所述第i组的误差测量值的预测值的量化值，计算得到第i组的压缩感知测量真实值的量化值；
对所述第i组的压缩感知测量真实值的量化值，进行反量化处理，得到第i组的误差测量值
根据预设的压缩感知重建方法，根据所述第1组至第i组的误差测量值，进行压缩感知重建，得到原始图像的重建值，即得到所述图像解码结果。
本发明还提供了一种图像编解码系统，所述系统包括：
预处理模块，用于利用预设的图像预处理模型，对原始图像进行去噪处理，得到预处理后的图像；其中，所述预设的图像预处理模型为基于深度卷积神经网络的高斯去噪器；
压缩感知测量模块，用于对所述预处理后的图像进行分块压缩感知测量，得到若干测量值；并根据预设的不同采样频率对所述若干测量值进行分组，得到若干组压缩感知测量真实值；
第一量化处理模块，用于分别对所述若干组压缩感知测量真实值，进行分块自适应量化处理，得到若干组压缩感知测量真实值的量化值；
反量化模块，用于分别对所述若干组压缩感知测量真实值的量化值，进行反量化处理，得到若干组误差测量值；
第一熵编码模块，用于对第1组压缩感知测量真实值的量化值，进行熵编码，得到基准量化测量值的二进制码流；
压缩感知重建模块，用于根据预设的压缩感知重建方法，对第1组至第i-1组的误差测量值进行压缩感知重建，得到原始图像的预测值
预测模块，用于利用所述原始图像的预测值预测得到第i组的误差测量值的预测值/>
第二量化处理模块，用于对所述第i组的误差测量值的预测值进行分块自适应量化处理，得到第i组的误差测量值的预测值/>的量化值；
残差模块，用于根据第i组的压缩感知测量真实值的量化值与第i组的误差测量值的预测值的量化值，计算得到第i组的残差系数；
第二编码模块，用于对所述第i组的残差系数进行熵编码，得到第i组的残差系数的二进制码流；
编码输出模块，用于将所述基准量化测量值的二进制码流和第i组的残差系数的二进制码流，作为编码端的数据输出，即得到所述图像编码结果。
进一步的，所述系统还包括图像解码操作模块；所述图像解码操作模块，用于对编码端的数据输出进行解码操作；所述编码端的数据输出，包括基准量化测量值的二进制码流和第i组的残差系数的二进制码流；
所述图像解码操作模块，包括：
第一解码单元，用于对所述基准量化测量值的二进制码流，进行解码处理，得到第1组压缩感知测量真实值的量化值；
第一反量化处理单元，用于对所述第1组压缩感知测量真实值的量化值，进行反量化处理，得到第1组误差测量值；
第二解码单元，用于对所述第i组的残差系数的二进制码流，进行解码处理，得到第i组的残差系数；
计算单元，用于根据所述第i组的残差系数及所述第i组的误差测量值的预测值的量化值，计算得到第i组的压缩感知测量真实值的量化值；
第二反量化处理单元，用于对所述第i组的压缩感知测量真实值的量化值，进行反量化处理，得到第i组的误差测量值
压缩感知重建单元，用于根据预设的压缩感知重建方法，根据所述第1组至第i组的误差测量值，进行压缩感知重建，得到原始图像的重建值，即得到所述图像解码结果。
本发明还提供了一种图像编解码设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述的图像编解码方法。
本发明还提供了种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的图像编解码方法。
与现有技术相比，本发明的有益效果为：
本发明提供了一种图像编解码方法及系统，利用基于深度卷积神经网络的高斯去噪器对原始图像进行降噪处理，能够高效地对捕获含噪图像像素之间的相关性，基于压缩感知分块测量重建的算法AMP，可以在采用相同去噪先验时与不分块重建算法LDAMP实现相当的性能，在采取本发明提出去噪先验时实现更佳的性能，同时分块可有效减少计算复杂度；同时，将图像编码问题转换为在给定码率约束下图像高斯去噪问题，可以通过替换其中使用的高斯去噪模块来实现对不同应用场景的适配，具有较强可扩展性。
进一步的，所述基于深度卷积审计网络的高斯去噪器，该网络结构考虑了图像的局部相关性、非局部相关性、方向特征、多尺度特征并设计了相应的网络结构来利用这些特性，从而使得网络可以更高效地含噪图像像素之间的捕获相关性，丰富网络的中间特征，进而实现更高效的去噪网络结构。
进一步的，基于压缩感知渐进重建预测的可扩展去噪器图像编码方法，相比于现有编码方案仅可利用图像稀疏性或局部相关性，该编码方案可以利用更多图像特性来进行预测，从而具有更高的编码性能上限。
附图说明
图1为实施例中去噪模型单元的网络结构图；
图2为实施例中可扩展去噪器图像编码方法中的编码解码流程图；
图3为压缩感知分块测量的流程图；
图4为实施例中实验二的测量图像结果曲线；
图5为实施例中实验二的测试图像结果。
具体实施方式
为了使本发明所解决的技术问题，技术方案及有益效果更加清楚明白，以下具体实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供了一种图像编解码方法，所述方法包括以下步骤：
步骤1、编码过程：
利用预设的图像预处理模型，对原始图像进行去噪处理，得到预处理后的图像；其中，所述预设的图像预处理模型为基于深度卷积神经网络的高斯去噪器。
对所述预处理后的图像进行分块压缩感知测量，得到若干测量值，并根据预设的不同采样频率对所述若干测量值进行分组，得到若干组压缩感知测量真实值；具体如下：
将所述预处理后的图像作为输入图像；按照预设像素均匀置乱顺序，对所述输入图像进行像素均匀置乱处理，得到像素均匀置乱处理后的图像；将所述像素均匀置乱处理后的图像，进行分块处理，得到若干个图像分块；生成若干个测量矩阵；将所述若干个测量矩阵分别与所述若干个图像分块相乘，得到若干个测量值；根据预设的不同采样频率，从若干个测量值中选择不同数量的测量值合并作为一组，重复选择得到若干组压缩感知测量真实值。
分别对所述若干组压缩感知测量真实值，进行分块自适应量化处理，得到若干组压缩感知测量真实值的量化值。
分别对所述若干组压缩感知测量真实值的量化值，进行反量化处理，得到若干组误差测量值。
对第1组压缩感知测量真实值的量化值，进行熵编码，得到基准量化测量值的二进制码流。
根据预设的压缩感知重建方法，对第1组至第i-1组的误差测量值进行压缩感知重建，得到原始图像的预测值其中，根据预设的压缩感知重建方法，对第1组至第i-1组的误差测量值进行压缩感知重建，得到原始图像的预测值/>的过程，具体如下：
对第1组至第i-1组的误差测量值，将这些测量值分配到原来所在的块，在每块内分别进行梯度投影，得到每块误差测量值中所有的含噪像素块；将所有的含噪像素块进行拼接，得到置乱的含噪完整图像；对所述置乱的含噪完整图像，进行均匀置乱的逆操作，得到正常的含噪完整图像；利用所述基于深度卷积神经网络的高斯去噪器，对所述正常的含噪完整图像进行去噪处理，得到原始图像的预测值
利用所述原始图像的预测值预测得到第i组的误差测量值的预测值/>
对所述第i组的误差测量值的预测值进行分块自适应量化处理，得到第i组的误差测量值的预测值/>的量化值。
根据第i组的压缩感知测量真实值的量化值与第i组的误差测量值的预测值的量化值，计算得到第i组的残差系数。
对所述第i组的残差系数进行熵编码，得到第i组的残差系数的二进制码流。
将所述基准量化测量值的二进制码流和第i组的残差系数的二进制码流，作为编码端的数据输出，即得到所述图像编码结果。
步骤2、解码过程：
对所述基准量化测量值的二进制码流，进行解码处理，得到第1组压缩感知测量真实值的量化值。
对所述第1组压缩感知测量真实值的量化值，进行反量化处理，得到第1组误差测量值。
对所述第i组的残差系数的二进制码流，进行解码处理，得到第i组的残差系数。
根据所述第i组的残差系数及所述第i组的误差测量值的预测值的量化值，计算得到第i组的压缩感知测量真实值的量化值。
对所述第i组的压缩感知测量真实值的量化值，进行反量化处理，得到第i组的误差测量值
根据预设的压缩感知重建方法，根据所述第1组至第i组的误差测量值，进行压缩感知重建，得到原始图像的重建值，即得到所述图像解码结果。
本发明中，所述基于深度卷积神经网络的高斯去噪器，包括若干级去噪模型单元；每一级所述去噪模型单元的级别与待处理图像的噪声等级相适应；其中，每一级所述去噪模型单元，包括依次相连的第一卷积层、第一多相关性支路模块、第一离散小波正变换模块、第一1×1卷积层、第二多相关性支路模块、第二离散小波正变换、第二1×1卷积层、第三多相关性支路模块、第三离散小波正变换、第三1×1卷积层、第四多相关性支路模块、第四1×1卷积层、第一离散小波逆变换模块、第一通道拼接模块、第五1×1卷积层、第五多相关性支路模块、第六1×1卷积层、第二离散小波逆变换模块、第二通道拼接模块、第七1×1卷积层、第六多相关性支路模块、第八1×1卷积层、第三离散小波逆变换模块、第三通道拼接模块、第七多相关性支路模块、第二卷积层、第三卷积层及残差相加模块。
对每一级去噪模型单元进行训练的过程，具体如下：
构建训练数据集；其中，所述训练数据集包括若干训练图像对；所述训练图像对包括含噪图像及去噪真实值图像；所述含噪图像作为训练输入，所述去噪真实值图像作为目标；所述含噪图像包括基准图和噪声数据；所述噪声数据为用于在所述基准图上添加预设噪声等级的高斯噪声；将所述训练数据作为当前级去噪模型单元的输入，基于预设的损失函数，对当前级去噪模型单元进行迭代训练，当前去噪模型单元训练完成后，对下一级去噪模型单元进行训练；依此操作，完成所有去噪模型单元的训练。
本发明还提供了一种图像编解码系统，包括图像编码模块及图像解码操作模块；其中，所述图像编码模块，包括：预处理模块，用于利用预设的图像预处理模型，对原始图像进行去噪处理，得到预处理后的图像；其中，所述预设的图像预处理模型为基于深度卷积神经网络的高斯去噪器；压缩感知测量模块，用于对所述预处理后的图像进行分块压缩感知测量，得到若干测量值；并根据预设的不同采样频率对所述若干测量值进行分组，得到若干组压缩感知测量真实值；第一量化处理模块，用于分别对所述若干组压缩感知测量真实值，进行分块自适应量化处理，得到若干组压缩感知测量真实值的量化值；反量化模块，用于分别对所述若干组压缩感知测量真实值的量化值，进行反量化处理，得到若干组误差测量值；第一熵编码模块，用于对第1组压缩感知测量真实值的量化值，进行熵编码，得到基准量化测量值的二进制码流；压缩感知重建模块，用于根据预设的压缩感知重建方法，对第1组至第i-1组的误差测量值进行压缩感知重建，得到原始图像的预测值预测模块，用于利用所述原始图像的预测值/>预测得到第i组的误差测量值的预测值/>第二量化处理模块，用于对所述第i组的误差测量值的预测值/>进行分块自适应量化处理，得到第i组的误差测量值的预测值/>的量化值；残差模块，用于根据第i组的压缩感知测量真实值的量化值与第i组的误差测量值的预测值/>的量化值，计算得到第i组的残差系数；第二编码模块，用于对所述第i组的残差系数进行熵编码，得到第i组的残差系数的二进制码流；编码输出模块，用于将所述基准量化测量值的二进制码流和第i组的残差系数的二进制码流，作为编码端的数据输出，即得到所述图像编码结果；所述图像解码操作模块，包括：第一解码单元，用于对所述基准量化测量值的二进制码流，进行解码处理，得到第1组压缩感知测量真实值的量化值；第一反量化处理单元，用于对所述第1组压缩感知测量真实值的量化值，进行反量化处理，得到第1组误差测量值；第二解码单元，用于对所述第i组的残差系数的二进制码流，进行解码处理，得到第i组的残差系数；计算单元，用于根据所述第i组的残差系数及所述第i组的误差测量值的预测值/>的量化值，计算得到第i组的压缩感知测量真实值的量化值；第二反量化处理单元，用于对所述第i组的压缩感知测量真实值的量化值，进行反量化处理，得到第i组的误差测量值/>压缩感知重建单元，用于根据预设的压缩感知重建方法，根据所述第1组至第i组的误差测量值，进行压缩感知重建，得到原始图像的重建值，即得到所述图像解码结果。
本发明还提供了一种图像编解码设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现图像编解码方法的步骤。
所述处理器执行所述计算机程序时实现上述图像编解码方法的步骤，或者，所述处理器执行所述计算机程序时实现上述系统中各模块的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成预设功能的一系列计算机程序指令段，所述指令段用于描述所述计算机程序在所述图像编解码设备中的执行过程。
所述图像编解码设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述图像编解码设备可包括，但不仅限于处理器、存储器。本领域技术人员可以理解，上述是图像编解码设备的示例，并不构成对图像编解码设备的限定，可以包括比上述更多的部件，或者组合某些部件，或者不同的部件，例如所述图像编解码设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者所述处理器也可以是任何常规的处理器等，所述处理器是所述图像编解码设备的控制中心，利用各种接口和线路连接整个图像编解码设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述图像编解码设备的各种功能。
所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SmartMediaCard,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(FlashCard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种图像编解码方法的步骤。
所述图像编解码系统集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
基于这样的理解，本发明实现上述图像编解码方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，所述计算机程序在被处理器执行时，可实现上述图像编解码方法的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或预设中间形式等。
所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、电载波信号、电信信号以及软件分发介质等。
需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
本发明所述的图像编解码方法，首先针对不同类型图像的特性和不同应用场景设计其中所使用的高斯去噪器的网络结构并构建多尺度训练数据集，然后针对不同强度噪声对其进行训练。在编码端对图像进行编码时首先利用上述的高斯去噪器对图像进行预处理，之后对预处理之后的图像按照固定采样率进行多次测量并获得均匀的多组测量值，测量时采用分块测量，然后渐进地利用越来越多组的测量值迭代使用梯度步进和高斯去噪的分块迭代梯度去噪重建算法来获得原始图像的预测图像，对预测图像进行压缩感知测量进而获得其它部分的预测测量值；之后采用固定量化位深的块自适应量化器对该部分原始测量值和预测测量值进行量化，对量化后原始测量值和预测测量值的做差，并采用自适应算法编码器对残差进行编码，对测量值残差进行累积直到达到设定的码率，编码端传输数据为一部分量化基准测量值以及其余部分量化原始测量值和预测测量值残差熵编码后的二进制码流；在解码端，对接收到数据经自适应算术解码后得到一组基准量化测量值及其他组的量化残差系数，基准测量值反量化后得到误差基准测量值并使用上述的迭代梯度去噪算法来对原始图像重建获得预测图像，对预测图像进行压缩感知测量进而获得其它部分的预测测量值，利用量化后的预测测量值和量化残差系数获得其它部分量化测量值，并对其反量化并获得其他部分误差原始测量值；上述方式渐进逐步恢复所有的原始测量值并利用所获的所有测量值完成对原始图像的最终重建。
实施例
本实施例提供了一种图像编解码方法，具体包括以下步骤：
步骤1、构建预设的图像预处理模型；其中，所述预设的图像预处理模型为基于深度卷积神经网络的高斯去噪器；所述基于深度神经网络的高斯去噪器，包括若干级去噪模型单元；每一级所述去噪模型单元的级别与待处理图像的噪声等级相适应；所述去噪模型单元为针对自然图像涉及的去噪网络结构。
如附图1所示，本实施例1中，每一级所述去噪模型单元，包括依次相连的第一卷积层、第一多相关性支路模块、第一离散小波正变换模块、第一1×1卷积层、第二多相关性支路模块、第二离散小波正变换、第二1×1卷积层、第三多相关性支路模块、第三离散小波正变换、第三1×1卷积层、第四多相关性支路模块、第四1×1卷积层、第一离散小波逆变换模块、第一通道拼接模块、第五1×1卷积层、第五多相关性支路模块、第六1×1卷积层、第二离散小波逆变换模块、第二通道拼接模块、第七1×1卷积层、第六多相关性支路模块、第八1×1卷积层、第三离散小波逆变换模块、第三通道拼接模块、第七多相关性支路模块、第二卷积层、第三卷积层及残差相加模块。
其中，所述第一卷积层，用于对输入含噪图像xn进行特征提取及维度扩展，得到初始特征图Fhead；所述第一多相关性支路模块，包括L1个多相关性支路块，每个多相关性支路块中包括三个不同支路，分别为方向相关性支路、非局部相关性支路和通道相关性支路；用于对初始特征图Fhead从不同角度相关性特征进行互补建模，得到中间特征Fe1；所述第一离散小波正变换模块，用于利用哈尔小波正变换对输入特征Fe1进行下采样，获得中间特征Fe2inw；所述第一1×1卷积层，用于通过1×1卷积减小输入特征Fe2inw通道维度的大小，得到中间特征Fe2in；所述第二多相关性支路模块包含L2个多相关性支路块，用于对输入特征图Fe2in从不同角度相关性特征进行互补建模，得到中间特征Fe2；所述第二离散小波正变换模块，用于对输入特征Fe2进行下采样，获得中间特征Fe3inw；所述第二1×1卷积层，用于减小输入特征Fe3inw通道维度的大小，得到中间特征Fe3in；所述第三多相关性支路模块，包含L3个多相关性支路块，用于对输入特征图Fe3in从不同角度相关性特征进行互补建模，得到中间特征Fe3；所述第三离散小波正变换模块，用于对输入特征Fe3进行下采样，获得中间特征Fe4inw；所述第三1×1卷积层，用于减小输入特征Fe4inw通道维度的大小，得到中间特征Fe4in；所述第四多相关性支路模块，包含L4个多相关性支路块，用于对输入特征图Fe4in从不同角度相关性特征进行互补建模，得到中间特征Fe4；所述第四1×1卷积层，用于通过1×1卷积扩展输入特征Fe4通道维度的大小，得到中间特征Fd3inw；所述第一离散小波逆变换模块，用于利用哈尔小波逆变换对输入特征Fd3inw进行上采样，获得中间特征Fd3inw2；所述第一通道拼接模块，用于将输入Fd3inw2和Fe3在通道维度进行拼接，获得中间特征Fd3inw3；所述第五1×1卷积层，用于通过1×1卷积减小输入特征Fd3inw3通道维度的大小，得到中间特征Fd3in；所述第五多相关性支路模块包含L3个多相关性支路块，用于对输入特征图Fd3in从不同角度相关性特征进行互补建模，得到中间特征Fd3；所述第六1×1卷积层，用于扩展输入特征Fd3通道维度的大小，得到中间特征Fd2inw；所述第二离散小波逆变换模块，用于利用哈尔小波逆变换对输入特征Fd2inw进行上采样，获得中间特征Fd2inw2；所述第二通道拼接模块，用于将输入Fd2inw2和Fe2在通道维度进行拼接，获得中间特征Fd2inw3；所述第七1×1卷积层，用于减小输入特征Fd2inw3通道维度的大小，得到中间特征Fd2in；所述第六多相关性支路模块，包含L2个多相关性支路块，用于对输入特征图Fd2in从不同角度相关性特征进行互补建模，得到中间特征Fd2；所述第八1×1卷积层，用于扩展输入特征Fd2通道维度的大小，得到中间特征Fd1inw；所述第三离散小波逆变换模块，用于利用哈尔小波逆变换对输入特征Fd1inw进行上采样，获得中间特征Fd1inw2；所述第三通道拼接模块，用于将输入Fd1inw2和Fe1在通道维度进行拼接，获得中间特征Fd1in；所述第七多相关性支路模块，包含L1个多相关性支路块，用于对输入特征图Fd1in从不同角度相关性特征进行互补建模，得到中间特征Fd1；所述第二卷积层，用于对输入特征Fd1进行特征提取和融合，得到中间特征Ftail1；所述第三卷积层，用于对输入特征Ftail1进行特征提取并减小特征维度，得到中间特征Ftail；所述第一残差相加模块，用于将输入特征Ftail和输入含噪图像xn点对点相加，得到最终输出去噪图像xclean；其中，输入含噪图像xn为待处理的原始图像，最终输出去噪图像xclean为预处理后的图像。
步骤2、构建训练数据集
所述训练数据集为多尺度训练数据集；其中，所述训练数据集包括若干训练图像对；所述训练图像对包括含噪图像及去噪真实值图像；所述含噪图像作为训练输入，所述去噪真实值图像作为目标；所述含噪图像包括基准图和噪声数据；所述噪声数据为用于在所述基准图上添加预设噪声等级的高斯噪声；其中，所述基准图为从DIV2K和Flickr2K公开数据中的800张和2650张共3450张高清图像；并将所述高清图像分别裁剪为1024×1024、512×512及256×256，再将分辨率大于256的图片缩放为256×256，共获得约32万张包含了不同尺度的图像；根据具体的应用场景，可以选择不同类型图像包括遥感图像、SAR图像、指纹图像或卡通图像等进行数据集的构建。
步骤3、针对不同强度高斯噪声训练对应级别的去噪模型单元
S301、设制作的训练集为去噪真实值目标Ir，基准图与高斯矩阵的叠加为去噪的输入In，通过上述方式构成图像对，对去噪模型单元进行迭代训练，训练过程中采用均方误差(MSE)作为损失函数，计算去噪器去噪后的图像与其对应的目标图像间的像素的均方误差；
其中，计算梯度并回传调整模型参数lossMSE如下：
lossMSE＝MSE(Ir,In)。
S302、训练数据的图像尺寸为256×256，训练图像送入网络前均除以255，批处理大小选为8，训练过程中采取Adam优化器，并设初始值学习率为0.0001，整个训练数据集迭代120轮次后学习率下降为原来的二分之一，之后每对训练数据集迭代60轮次将学习率减少二分之一；按照以上设置训练300轮后达到收敛，保存模型。
S303、为了处理不同强度噪声，在训练去噪器时给输入图像加上不同标准差范围的高斯噪声，共训练17个去噪器。
其中，输入的噪声标准差范围分别为：第1个，标准差范围为0～5；第2个，标准差范围为5～10；第3个，标准差范围为10～15；第4个，标准差范围为15～20；第5个，标准差范围为20～30；第6个，标准差范围为30～40；第7个，标准差范围为40～50；第8个，标准差范围为50～60；第9个，标准差范围为60～70；第10个，标准差范围为70～80；第11个，标准差范围为80～90；第12个，标准差范围为90～100；第13个，标准差范围为100～125；第14个，标准差范围为125～150；第15个，标准差范围为150～300；第16个，标准差范围为300～500；第17个，标准差范围为500～1000。
步骤4、图像编码过程：
如附图2所示，所述图像编码过程，采用基于压缩感知渐进重建预测的可扩展去噪器图像编码方法，具体如下：
S401、根据待处理原始图像的复杂程度和设定的编码码率，选用步骤3中训练的17个噪声强度下的去噪模型单元的一种作为预设的图像预处理模型；并利用所述预设的图像预处理模型对输入的待处理原始图像进行去噪以适当地在编码前滤除图像的部分细节便于之后的图像重建恢复；通常码率越高图像越简单，能够恢复的图像越好，所需要去掉的细节越少，故而码率越高、图像越简单，选取的去噪器对应的方差越小，当码率高至一定程度，则取消图像预处理过程。
S402、利用分块压缩感知测量方法，对预处理后的图像进行测量，将所获测量值分为均匀的N组，假设每组测量值对应采样率为r，则共有组，将获得第i组测量值的对应测量矩阵记为Φi，将第i组压缩感知测量真实值记为yi。
S403、将使用的分块自适应量化(BAQ)过程记为Q(·)，反量化记为Q-1(·)，将采用的压缩感知重建算法过程记为CS-1(·)；选择预设的量化位深，分别对所述若干组压缩感知测量真实值，进行分块自适应量化处理，得到若干组压缩感知测量真实值的量化值；其中，第i组的压缩感知测量真实值的量化值为：/>分别对所述若干组压缩感知测量真实值的量化值，进行反量化处理，得到若干组误差测量值；其中，第i组的误差测量值/>为：
S404、设当前为对第i组的测量值进行编码，若i为1，转至步骤S405，否则转至步骤S406；
S405、将采用的自适应算术编码器记为AC(·)，自适应算术编码器解码记为AC-1(·)；直接对第1组的压缩感知测量真实值的量化值进行熵编码后传到信道，计算此时传输至信道的信息量总和，若达到传输信息量限定值则终止编码，否则令i＝i+1，进入步骤S406。
S406、根据预设的压缩感知重建方法，对第1组至第i-1组的误差测量值进行压缩感知重建，得到原始图像的预测值即/>并利用所述原始图像的预测值/>预测得到第i组的误差测量值的预测值/>即/>对所述第i组的误差测量值的预测值/>进行分块自适应量化处理，得到第i组的误差测量值的预测值/>的量化值/>即/> 根据第i组的压缩感知测量真实值的量化值与第i组的误差测量值的预测值/>的量化值，计算得到第i组的残差系数，即/>对所述第i组的残差系数进行熵编码，得到第i组的残差系数的二进制码流，之后将第i组的残差系数的二进制码流传输到信道；计算此时传输至信道的信息量总和，若达到传输信息量限定值则终止编码，否则令i＝i+1，继续步骤S406。
步骤5、解码过程：
如附图2所示，所述图像编码过程，采用基于压缩感知渐进重建预测的可扩展去噪器图像解码方法，具体如下：
S501、将使用的分块自适应量化(BAQ)过程记为Q(·)，反量化记为Q-1(·)，将采用的压缩感知重建算法过程记为CS-1(·)，将采用的自适应算术编码器记为AC(·)，自适应算术编码器解码记为AC-1(·)，设当前处理第i部分传输数据，若i为1，转至步骤S502，否则转至步骤S503；
S502、对对所述基准量化测量值的二进制码流，进行解码处理，得到第1组压缩感知测量真实值的量化值对所述第1组压缩感知测量真实值的量化值，进行反量化处理，得到第1组误差测量值/>即/>利用第1组误差测量值/>重建原始图像，即判断是否完成全部数据解码，若是则解码终止，重建图像为/>否则进入S503。
S503、对所述第i组的残差系数的二进制码流，进行自适应算术解码，得到第i组的残差系数利用从第1组到第i-1组的误差测量值进行压缩感知重建，得到重建图像/>利用测量矩阵Φi对重建图像/>进行随机测量，获得重建图像/>的第i组的测量值的预测值/>即/>对第i组的测量值的预测值/>进行量化得到量化预测值/>即利用残差系数重建第i组的真实量化测量值，即/>将第i组的真实量化测量值/>反量化得到第i组的真实误差测量值/>即/>利用从第1组到第i-1组的所有误差测量值进行压缩感知重建，获得对原始图像的重建值/>即
S504、判断当前层是否为最后一层，若是则解码终止，最终重建图像为S503中的若非最后一层，否则令i＝i+1，转入步骤S503。
如附图3所示，本实施例中，分块压缩感知测量的过程，具体如下：
将输入图像记为x∈Rn，S∈Rn×n为一个行列均只有一个1的随机矩阵，将x与其相乘得到xs，这等效于将原始图像的像素按一定顺序打乱。然后将xs分为nb个块，将第j个块记为则/>然后生成一个测量矩阵Φ∈RM×M，利用测量矩阵与这些小块分别相乘，获得nb组测量值，记第j组测量值为yj∈Rm，共获得n个测量值，即：/>
之后根据采样率不同选择不同数量的测量值，若每组采样率为r(0<r<1)，那么在每个块中选择Mr个测量值，其中Mr＝M×r，共获得m个测量值，其中m＝n×r。将这m个测量值作为一组。按此方法，测量矩阵的大小由n×n减小为M×M，可大幅减小计算复杂度。
本实施例中，所述预设的压缩感知重建方法的操作步骤，具体如下：
将所述原始图像作为待重建图像，将所述分块测量值作为输入；其中，将待重建图像记为x∈Rn，将待重建图像的分块大小记为nb，将输入测量值还原到原来所在的块，记为yj∈Rm(j＝1,2…nb)，其中yj代表其属于第j块的测量值；
对每个块的测量值，分别进行梯度投影，得到每个块中每个像素的含噪近似值；其中，第t次迭代的计算公式如下：
其中，zj t为第j块迭代过程中重建图像测量值与真实测量值的矫正差；yj为第j块真实测量值；Φ为测量矩阵；为第j块重建置乱图像；bj t为第j块测量值的矫正项；为第j块置乱含噪图像；/>为归一化测量矩阵；
然后将这些含噪像素块拼接(B-1)起来并获得置乱的含噪完整图像
将其同分块测量中的置乱矩阵的逆S-1相乘即可获得正常的含噪完整图像
之后对含噪图像选择一个步骤3所述的去噪器进行去噪操作，获得一次迭代对原始图像的重建值xt+1：
上述的中的bj t称为Onsager校正项，通过Onsager校正项使得梯度映射后的图像噪声从理论上符合高斯分布，在此基础上使用高斯去噪器，可以实现更强的稳定性、更快的收敛速度和更好的重建性能。其计算过程是基于消息传递机制进行推导的，具体如下式：
R＝rand(1,n)
其中，R为均匀分布数据，维度为n，代表/>的无穷范数。
对比实验方案
为验证本实施例所述的图像编解码方法的率失真性能、本实施例中的去噪模型单元的性能以及分块测量重建的性能，分别做以下两组实验。
实验一：本实施例中去噪模型单元与与现有的高斯去噪器之间的去噪性能对比；其中，所述去噪模型单元为基于多支路先验的小波去噪网络。
实验二：本实施例与传统图像压缩传输方案JPEG2000，VVC在不同压缩码率下，图像重建质量对比。
实验条件：
1、实验测试环境为Python 3.7；Windows10系统；NVIDIA GTX 3090GPU；CUDA9.0；Pytorch1.1。
2、在实验一中，在噪声标准差为15，25，50下，对传统去噪算法BM3D以及基于深度神经网络的去噪器DnCNN，RCAN，MWCNN及本发明所提出的基于多支路先验的小波去噪网络进行测试，测试图像为Set12，以峰值信噪比(PSNR：Peak Signal to Noise Ratio)作为重建图像质量评价标准。
3、实验二中，在测试码率为0.1bpp，0.2bpp，0.3bpp，0.4bpp，0.5bpp，0.6bpp下，对JPEG2000、BPG算法、HEVC帧内编码以及本发明所提出的基于压缩感知渐进重建预测的可扩展去噪器图像编码方案进行测试，测试图像为八幅8比特位深256×256大小图像，如图5所示。实验中通过遍历寻找最优量化位深、最优预处理模型以及每层采样率的参数，以PSNR作为重建图像质量评价标准。
实验结果：
表1给出了实验一中不同去噪算法针对Set12测试集的去噪性能：
表1几种去噪算法针对Set12测试集的去噪性能对比表
可以看出，在PSNR指标下，本发明的网络结构在各个噪声等级下都优于常见的灰度图像去噪算法，在噪声标准差为15时，比别的网络高约0.3dB，比DnCNN网络高0.6dB左右。说明本发明提出网络结构的有效性。
如附图4所示，附图4中给出了在上述实验条件下的率失真性能对比，表2中给出了附图5中1和3两张图像的率失真性能。
表2几种去噪算法针对Set12测试集的去噪性能对比表
可以看出，本发明在各个码率下重建性能较BPG平均高1dB左右，针对1图像，其在各个码率下较BPG高约1dB以上，针对3图像，其在各个码率下较BPG高约2dB；由此说明了本实施例提出编码方案的高效性。
本实施例提供的一种图像编解码系统、设备及计算机可读存储介质中相关部分的说明可以参见本实施例所述的一种图像编解码方法中对应部分的详细说明，在此不再赘述。
本发明所述的图像编解码方法，包括对原始图像的梯度迭代去噪重建预测和测量值之间的渐进预测两方面；其中，通过渐进预测充分利用测量值之间的相关性，而通过梯度迭代去噪的压缩感知重建算法将图像编码问题最终转换为在给定码率约束下图像高斯去噪问题；在此基础上利用大数据集构建基于深度卷积神经网络的高斯去噪器，渐进重建预测机制可以综合利用图像的多尺度、多方向、局部相关性与非局部相关性，因此有潜力成为一种更佳的预测机制，进而大幅度提升图像编码器的压缩性能；通过直接替换针对不同图像类型设计训练的去噪器模块，这种编码方法也可以适应不同类型图像，具有很强的可扩展性。
本发明中，在高斯去噪器设计时通过充分利用各种图像先验的指导构建不同模块将其有机融合，并针对于数据集以及训练策略进行拓展与创新，从而实现高性能的去噪网络；本发明中首先对待压缩的图像进行预处理，之后对其进行压缩感知测量，将这些测量值分为不同的部分，渐进地利用一部分测量值迭代使用梯度步进和高斯去噪来对原始图像重建获得预测图像，对预测图像进行压缩感知测量进而获得其它部分的预测测量值，对原始测量值和预测测量值的残差进行量化以及熵编码；并需要根据针对不同的图像特性和不同应用场景设计其中所使用的高斯去噪器的网络结构及构建训练数据集，然后针对不同强度噪声对其进行训练；相比于现有的图像压缩算法，本发明中的编码方案在结构更简单的基础上实现了相当的率失真性能，相比于现有的高斯去噪网络，本发明中的去噪网络实现了更强的去噪性能。
上述实施例仅仅是能够实现本发明技术方案的实施方式之一，本发明所要求保护的范围并不仅仅受本实施例的限制，还包括在本发明所公开的技术范围内，任何熟悉本技术领域的技术人员所容易想到的变化、替换及其他实施方式。

Claims (8)

1.一种图像编解码方法，其特征在于，所述方法包括：
利用预设的图像预处理模型，对原始图像进行去噪处理，得到预处理后的图像；其中，所述预设的图像预处理模型为基于深度卷积神经网络的高斯去噪器；
对所述预处理后的图像进行分块压缩感知测量，得到若干测量值；并根据预设的不同采样频率对所述若干测量值进行分组，得到若干组压缩感知测量真实值；
分别对所述若干组压缩感知测量真实值，进行分块自适应量化处理，得到若干组压缩感知测量真实值的量化值；
分别对所述若干组压缩感知测量真实值的量化值，进行反量化处理，得到若干组误差测量值；
对第1组压缩感知测量真实值的量化值，进行熵编码，得到基准量化测量值的二进制码流；
根据预设的压缩感知重建方法，对第1组至第i-1组的误差测量值进行压缩感知重建，得到原始图像的预测值
利用所述原始图像的预测值预测得到第i组的误差测量值的预测值/>
对所述第i组的误差测量值的预测值进行分块自适应量化处理，得到第i组的误差测量值的预测值/>的量化值；
根据第i组的压缩感知测量真实值的量化值与第i组的误差测量值的预测值的量化值，计算得到第i组的残差系数；
对所述第i组的残差系数进行熵编码，得到第i组的残差系数的二进制码流；
将所述基准量化测量值的二进制码流和第i组的残差系数的二进制码流，作为编码端的数据输出，即得到所述图像编码结果；
对所述预处理后的图像进行分块压缩感知测量，得到若干测量值，并根据预设的不同采样频率对所述若干测量值进行分组，得到若干组压缩感知测量真实值的过程，具体如下：
将所述预处理后的图像作为输入图像；
按照预设像素均匀置乱顺序，对所述输入图像进行像素均匀置乱处理，得到像素均匀置乱处理后的图像；
将所述像素均匀置乱处理后的图像，进行分块处理，得到若干个图像分块；
生成若干个测量矩阵；
将所述若干个测量矩阵分别与所述若干个图像分块相乘，得到若干个测量值；
根据预设的不同采样频率，从若干个测量值中选择不同数量的测量值合并作为一组，重复选择得到若干组压缩感知测量真实值；
根据预设的压缩感知重建方法，对第1组至第i-1组的误差测量值进行压缩感知重建，得到原始图像的预测值的过程，具体如下：
对第1组至第i-1组的误差测量值，将这些测量值分配到原来所在的块，在每块内分别进行梯度投影，得到每块误差测量值中所有的含噪像素块；
将所有的含噪像素块进行拼接，得到置乱的含噪完整图像；
对所述置乱的含噪完整图像，进行均匀置乱的逆操作，得到正常的含噪完整图像；
利用所述基于深度卷积神经网络的高斯去噪器，对所述正常的含噪完整图像进行去噪处理，得到原始图像的预测值
2.根据权利要求1所述的一种图像编解码方法，其特征在于，所述基于深度神经网络的高斯去噪器，包括若干级去噪模型单元；每一级所述去噪模型单元的级别与待处理图像的噪声等级相适应；
每一级所述去噪模型单元，包括依次相连的第一卷积层、第一多相关性支路模块、第一离散小波正变换模块、第一1×1卷积层、第二多相关性支路模块、第二离散小波正变换、第二1×1卷积层、第三多相关性支路模块、第三离散小波正变换、第三1×1卷积层、第四多相关性支路模块、第四1×1卷积层、第一离散小波逆变换模块、第一通道拼接模块、第五1×1卷积层、第五多相关性支路模块、第六1×1卷积层、第二离散小波逆变换模块、第二通道拼接模块、第七1×1卷积层、第六多相关性支路模块、第八1×1卷积层、第三离散小波逆变换模块、第三通道拼接模块、第七多相关性支路模块、第二卷积层、第三卷积层及残差相加模块。
3.根据权利要求2所述的一种图像编解码方法，其特征在于，对每一级去噪模型单元进行训练的过程，具体如下：
构建训练数据集；其中，所述训练数据集包括若干训练图像对；所述训练图像对包括含噪图像及去噪真实值图像；所述含噪图像作为训练输入，所述去噪真实值图像作为目标；所述含噪图像包括基准图和噪声数据；所述噪声数据为用于在所述基准图上添加预设噪声等级的高斯噪声；
将所述训练数据作为当前级去噪模型单元的输入，基于预设的损失函数，对当前级去噪模型单元进行迭代训练，当前去噪模型单元训练完成后，对下一级去噪模型单元进行训练；依此操作，完成所有去噪模型单元的训练。
4.根据权利要求1所述的一种图像编解码方法，其特征在于，所述方法还包括图像解码操作；其中，所述图像解码操作，用于对编码端的数据输出进行解码操作；所述编码端的数据输出，包括基准量化测量值的二进制码流和第i组的残差系数的二进制码流；
其中，所述图像解码操作过程，具体如下：
对所述基准量化测量值的二进制码流，进行解码处理，得到第1组压缩感知测量真实值的量化值；
对所述第1组压缩感知测量真实值的量化值，进行反量化处理，得到第1组误差测量值；
对所述第i组的残差系数的二进制码流，进行解码处理，得到第i组的残差系数；
根据所述第i组的残差系数及所述第i组的误差测量值的预测值的量化值，计算得到第i组的压缩感知测量真实值的量化值；
对所述第i组的压缩感知测量真实值的量化值，进行反量化处理，得到第i组的误差测量值
根据预设的压缩感知重建方法，根据所述第1组至第i组的误差测量值，进行压缩感知重建，得到原始图像的重建值，即得到所述图像解码结果。
5.一种图像编解码系统，其特征在于，所述系统包括：
预处理模块，用于利用预设的图像预处理模型，对原始图像进行去噪处理，得到预处理后的图像；其中，所述预设的图像预处理模型为基于深度卷积神经网络的高斯去噪器；
压缩感知测量模块，用于对所述预处理后的图像进行分块压缩感知测量，得到若干测量值；并根据预设的不同采样频率对所述若干测量值进行分组，得到若干组压缩感知测量真实值；
第一量化处理模块，用于分别对所述若干组压缩感知测量真实值，进行分块自适应量化处理，得到若干组压缩感知测量真实值的量化值；
反量化模块，用于分别对所述若干组压缩感知测量真实值的量化值，进行反量化处理，得到若干组误差测量值；
第一熵编码模块，用于对第1组压缩感知测量真实值的量化值，进行熵编码，得到基准量化测量值的二进制码流；
压缩感知重建模块，用于根据预设的压缩感知重建方法，对第1组至第i-1组的误差测量值进行压缩感知重建，得到原始图像的预测值
预测模块，用于利用所述原始图像的预测值预测得到第i组的误差测量值的预测值/>
第二量化处理模块，用于对所述第i组的误差测量值的预测值进行分块自适应量化处理，得到第i组的误差测量值的预测值/>的量化值；
残差模块，用于根据第i组的压缩感知测量真实值的量化值与第i组的误差测量值的预测值的量化值，计算得到第i组的残差系数；
第二编码模块，用于对所述第i组的残差系数进行熵编码，得到第i组的残差系数的二进制码流；
编码输出模块，用于将所述基准量化测量值的二进制码流和第i组的残差系数的二进制码流，作为编码端的数据输出，即得到所述图像编码结果；
对所述预处理后的图像进行分块压缩感知测量，得到若干测量值，并根据预设的不同采样频率对所述若干测量值进行分组，得到若干组压缩感知测量真实值的过程，具体如下：
将所述预处理后的图像作为输入图像；
按照预设像素均匀置乱顺序，对所述输入图像进行像素均匀置乱处理，得到像素均匀置乱处理后的图像；
将所述像素均匀置乱处理后的图像，进行分块处理，得到若干个图像分块；
生成若干个测量矩阵；
将所述若干个测量矩阵分别与所述若干个图像分块相乘，得到若干个测量值；
根据预设的不同采样频率，从若干个测量值中选择不同数量的测量值合并作为一组，重复选择得到若干组压缩感知测量真实值；
根据预设的压缩感知重建方法，对第1组至第i-1组的误差测量值进行压缩感知重建，得到原始图像的预测值的过程，具体如下：
对第1组至第i-1组的误差测量值，将这些测量值分配到原来所在的块，在每块内分别进行梯度投影，得到每块误差测量值中所有的含噪像素块；
将所有的含噪像素块进行拼接，得到置乱的含噪完整图像；
对所述置乱的含噪完整图像，进行均匀置乱的逆操作，得到正常的含噪完整图像；
利用所述基于深度卷积神经网络的高斯去噪器，对所述正常的含噪完整图像进行去噪处理，得到原始图像的预测值
6.根据权利要求5所述的一种图像编解码系统，其特征在于，所述系统还包括图像解码操作模块；所述图像解码操作模块，用于对编码端的数据输出进行解码操作；所述编码端的数据输出，包括基准量化测量值的二进制码流和第i组的残差系数的二进制码流；
所述图像解码操作模块，包括：
第一解码单元，用于对所述基准量化测量值的二进制码流，进行解码处理，得到第1组压缩感知测量真实值的量化值；
第一反量化处理单元，用于对所述第1组压缩感知测量真实值的量化值，进行反量化处理，得到第1组误差测量值；
第二解码单元，用于对所述第i组的残差系数的二进制码流，进行解码处理，得到第i组的残差系数；
计算单元，用于根据所述第i组的残差系数及所述第i组的误差测量值的预测值的量化值，计算得到第i组的压缩感知测量真实值的量化值；
第二反量化处理单元，用于对所述第i组的压缩感知测量真实值的量化值，进行反量化处理，得到第i组的误差测量值
压缩感知重建单元，用于根据预设的压缩感知重建方法，根据所述第1组至第i组的误差测量值，进行压缩感知重建，得到原始图像的重建值，即得到所述图像解码结果。
7.一种图像编解码设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1-4任一项所述的图像编解码方法。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4任一项所述的图像编解码方法。
CN202210493000.4A 2022-05-07 2022-05-07 一种图像编解码方法、系统、设备及介质 Active CN114882133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210493000.4A CN114882133B (zh) 2022-05-07 2022-05-07 一种图像编解码方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210493000.4A CN114882133B (zh) 2022-05-07 2022-05-07 一种图像编解码方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN114882133A CN114882133A (zh) 2022-08-09
CN114882133B true CN114882133B (zh) 2024-04-26

Family

ID=82673211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210493000.4A Active CN114882133B (zh) 2022-05-07 2022-05-07 一种图像编解码方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN114882133B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730451A (zh) * 2017-09-20 2018-02-23 中国科学院计算技术研究所 一种基于深度残差网络的压缩感知重建方法和系统
CN107920250A (zh) * 2017-11-15 2018-04-17 西安交通大学 一种压缩感知图像编码传输方法
CN109040757A (zh) * 2018-07-20 2018-12-18 西安交通大学 一种压缩感知多层残差图像编码方法
CN110248190A (zh) * 2019-07-03 2019-09-17 西安交通大学 一种基于压缩感知的多层残差系数图像编码方法
CN112884851A (zh) * 2021-01-27 2021-06-01 武汉大学 一种展开迭代优化算法的深度压缩感知网络
CN113850741A (zh) * 2021-10-10 2021-12-28 杭州知存智能科技有限公司 图像降噪方法、装置、电子设备以及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11508037B2 (en) * 2020-03-10 2022-11-22 Samsung Electronics Co., Ltd. Systems and methods for image denoising using deep convolutional networks

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730451A (zh) * 2017-09-20 2018-02-23 中国科学院计算技术研究所 一种基于深度残差网络的压缩感知重建方法和系统
CN107920250A (zh) * 2017-11-15 2018-04-17 西安交通大学 一种压缩感知图像编码传输方法
CN109040757A (zh) * 2018-07-20 2018-12-18 西安交通大学 一种压缩感知多层残差图像编码方法
CN110248190A (zh) * 2019-07-03 2019-09-17 西安交通大学 一种基于压缩感知的多层残差系数图像编码方法
CN112884851A (zh) * 2021-01-27 2021-06-01 武汉大学 一种展开迭代优化算法的深度压缩感知网络
CN113850741A (zh) * 2021-10-10 2021-12-28 杭州知存智能科技有限公司 图像降噪方法、装置、电子设备以及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴从中 ; 陈曦 ; 詹曙 ; .结合残差编解码网络和边缘增强的遥感图像去噪.遥感学报.2020,(第01期),第27-36页. *

Also Published As

Publication number Publication date
CN114882133A (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN111641832B (zh) 编码方法、解码方法、装置、电子设备及存储介质
Li et al. Efficient and effective context-based convolutional entropy modeling for image compression
WO2020237646A1 (zh) 图像处理方法、设备及计算机可读存储介质
KR102299958B1 (ko) 다수의 상이한 비트레이트로 영상 압축을 하기 위한 시스템들 및 방법들
CN110248190B (zh) 一种基于压缩感知的多层残差系数图像编码方法
CN111641826B (zh) 对数据进行编码、解码的方法、装置与系统
CN110753225A (zh) 一种视频压缩方法、装置及终端设备
CN113747163B (zh) 基于上下文重组建模的图像编码、解码方法及压缩方法
Zhong et al. Channel-level variable quantization network for deep image compression
CN111669588B (zh) 一种超低时延的超高清视频压缩编解码方法
Zebang et al. Densely connected AutoEncoders for image compression
Li et al. Multiple description coding based on convolutional auto-encoder
Kabir et al. Edge-based transformation and entropy coding for lossless image compression
CN107231556B (zh) 一种图像云储存设备
KR102245682B1 (ko) 영상 압축 장치, 이의 학습 장치 및 방법
CN114882133B (zh) 一种图像编解码方法、系统、设备及介质
Akbari et al. Downsampling based image coding using dual dictionary learning and sparse representations
CN111107377A (zh) 深度图像压缩方法及其装置、设备和存储介质
Thakker et al. Lossy Image Compression-A Comparison Between Wavelet Transform, Principal Component Analysis, K-Means and Autoencoders
Gao et al. Volumetric end-to-end optimized compression for brain images
CN116916034B (zh) 基于safd的图像处理方法、装置、设备及存储介质
Jagadeesh et al. Linear adaptive global node-tree filters based SPIHT MR image codec
CN117425013B (zh) 一种基于可逆架构的视频传输方法和系统
CN117459737B (zh) 一种图像预处理网络的训练方法和图像预处理方法
Kuo et al. Image Compression Architecture with Built-in Lightweight Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant