CN115330635B - 一种图像压缩伪迹移除方法、装置及存储介质 - Google Patents

一种图像压缩伪迹移除方法、装置及存储介质 Download PDF

Info

Publication number
CN115330635B
CN115330635B CN202211027579.1A CN202211027579A CN115330635B CN 115330635 B CN115330635 B CN 115330635B CN 202211027579 A CN202211027579 A CN 202211027579A CN 115330635 B CN115330635 B CN 115330635B
Authority
CN
China
Prior art keywords
image
feature
stage
residual block
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211027579.1A
Other languages
English (en)
Other versions
CN115330635A (zh
Inventor
宋为刚
钟宝江
季家欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202211027579.1A priority Critical patent/CN115330635B/zh
Publication of CN115330635A publication Critical patent/CN115330635A/zh
Application granted granted Critical
Publication of CN115330635B publication Critical patent/CN115330635B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明提出了一种新的基于参考图像的图像压缩伪迹移除方法，利用高质量的参考图像来提供有用的信息，以便于去除伪迹和细节重建。首先将压缩后图像和参考图像作为输入，生成多尺度特征对作为输出。然后，在特征空间中全局匹配特征并将参考图像中的相关特征转换到压缩图像中，最后，从特征全局转换后的多尺度输出中重建图像信息，得到最终的目标图像，本发明所提供的方法更好地恢复了图像结构信息，有效提高了伪迹移除的效果，重建所得的目标图像质量更高。

Description

一种图像压缩伪迹移除方法、装置及存储介质
技术领域
本发明涉及有损图像压缩技术领域，尤其是指一种图像压缩伪迹移除方法、设备、装置及计算机存储介质。
背景技术
由于有损图像压缩中产生的信息损失是不可逆的，仅通过使用压缩图像本身来达到令人满意的伪迹移除效果是极具挑战性的。
现有有损图像压缩技术(例如使用广泛的JPEG算法)通过降低图像的质量来实现数据的快速传输或高效存储，这操作不可避免地会损失一部分的原始数据，将不需要的伪迹引入到压缩图像，例如块效应、振铃伪迹和颜色泄漏。为了消除图像有损压缩伪迹，近年来提出了许多基于深度学习的方法。虽然这些现有方法已经取得了显著的成就，但仅使用压缩图像来进一步提高伪迹移除效果变得越来越具有挑战性，尤其是对于高压缩率的情况。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中高压缩率情况下，伪迹移除效果差的问题。
为解决上述技术问题，本发明提供了一种图像压缩伪迹移除方法，包括：
获取与压缩图像内容相似度达到预设阈值的高质量图像，将其作为参考图像；
将所述压缩图像和所述参考图像作为原始图像对输入预训练好的图像压缩伪迹移除网络模型中；
在编码阶段，对所述原始图像对进行卷积后经过一个残差块组和多个带下采样层的残差块组处理，得到多级不同尺度的编码特征对；
分别计算每级编码特征对中，压缩图像每个像素点的特征向量相对于参考图像所有像素特征向量的相似度权重之和，得到多级不同尺度的全局转换特征；
在解码阶段，将最后一级全局转换特征卷积后经过多个带上采样层的残差块组和一个残差块组处理，得到多级解码特征，其中，解码阶段的第一残差块组的输入为卷积后的最后一级全局转换特征，解码阶段的其余残差块组的输入均为前一个残差块组的输出与对应尺度的全局转换特征串联后进行卷积获得的特征；
将最后一级解码特征卷积后得到目标图像。
优选地，分别计算每级编码特征对中，压缩图像每个像素点的特征向量相对于参考图像所有像素特征向量的相似度权重之和，得到多级不同尺度的全局转换特征包括：
利用卷积层将第i级编码特征对中的第i级压缩图像特征转换为第i级查询矩阵，将第i级参考图像特征/>转换为第i级键矩阵和第i级值矩阵；
对所述第i级键矩阵和第i级值矩阵进行下采样，并将下采样后的第i级键矩阵和第i级值矩阵以及所述第i级查询矩阵展平，得到第i级展平后的键矩阵Ki、查询矩阵Qi和值矩阵Vi；
根据所述第i级展平后的键矩阵Ki和查询矩阵Qi计算得到第i级跨特征的全局匹配相似度矩阵其中softmax为softmax激活函数，T为转置；
将所述第i级跨特征的全局匹配相似度矩阵和所述第i级展平后的值矩阵相乘后与所述第i级压缩图像特征进行残差连接和特征串联操作，得到第i级全局转换特征
优选地，所述残差块组中的残差块均为移除批次归一化层后的残差块。
优选地，所述对所述原始图像对进行卷积后经过一个残差块组和多个带下采样层的残差块组处理，得到多级不同尺度的编码特征对包括：
将所述原始图像对{X,R}经过3*3卷积层，得到浅层特征对，其中，X表示压缩图像，R表示参考图像；
将所述浅层特征对经过编码阶段的第一残差块组得到第0级编码特征对
将所述第0级编码特征对经过下采样后输入编码阶段的第二残差块组，得到第1级编码特征对
将所述第1级编码特征对经过下采样后输入编码阶段的第三残差块组，得到第2级编码特征对
优选地，所述将最后一级全局转换特征卷积后经过多个带上采样层的残差块组和一个残差块组处理，得到多级解码特征，其中，解码阶段的第一残差块组的输入为卷积后的最后一级全局转换特征，解码阶段的其余残差块组的输入均为前一个残差块组的输出与对应尺度的全局转换特征串联后进行卷积获得的特征包括：
将最后一级全局转换特征经过一个1*1卷积层后输入解码阶段的第一残差块组后进行上采样，得到第2级解码特征/>
将所述第2级解码特征与第1级全局转换特征串联后进行卷积并输入解码阶段的第二残差块组后进行上采样，得到第1级解码特征/>
将所述第1级解码特征与第0级全局转换特征串联后进行卷积并输入解码阶段的第三残差块组，得到第0级解码特征/>
优选地，所述将最后一级解码特征卷积后得到目标图像包括：
将最后一级解码特征经过一个3*3卷积层后得到目标图像。
优选地，所述图像压缩伪迹移除网络模型的训练步骤包括：
基于训练集，最小化模型输出的目标图像Y(n)与其对应的真值图像之间的损失值，得到所述训练好的图像压缩伪迹移除网络模型：
其中，Θ表示模型中的可训练参数，L(·)是绝对值损失函数，K为训练数据集中的图像集合的数量，n∈1...K。
本发明还提供了一种图像压缩伪迹移除的装置，包括：
参考图像获取模块，用于获取与压缩图像内容相似度达到预设阈值的高质量图像，将其作为参考图像；
输入模块，用于将所述压缩图像和所述参考图像作为原始图像对输入预训练好的图像压缩伪迹移除网络模型中；
共享特征编码模块，用于在编码阶段，对所述原始图像对进行卷积后经过一个残差块组和多个带下采样层的残差块组处理，得到多级不同尺度的编码特征对；
特征全局转换模块，用于分别计算每级编码特征对中，压缩图像每个像素点的特征向量相对于参考图像所有像素特征向量的相似度权重之和，得到多级不同尺度的全局转换特征；
图像解码重构模块，用于在解码阶段，将最后一级全局转换特征卷积后经过多个带上采样层的残差块组和一个残差块组处理，得到多级解码特征，其中，解码阶段的第一残差块组的输入为卷积后的最后一级全局转换特征，解码阶段的其余残差块组的输入均为前一个残差块组的输出与对应尺度的全局转换特征串联后进行卷积获得的特征；
目标图像获取模块，用于将最后一级解码特征卷积后得到目标图像。
本发明还提供了一种图像压缩伪迹移除的设备，包括：
存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种图像压缩伪迹移除方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种图像压缩伪迹移除方法的步骤。
本发明的上述技术方案相比现有技术具有以下优点：
本发明提出了一种新的基于参考图像的图像压缩伪迹移除方法，利用高质量的参考图像来提供有用的信息，以便于去除伪迹和细节重建。首先将压缩后图像和参考图像作为输入，生成多尺度特征对作为输出。然后，在特征空间中全局匹配特征并将参考图像中的相关特征转换到压缩图像中，最后，从特征全局转换后的多尺度输出中重建图像信息，得到最终的目标图像，本发明所提供的方法更好的恢复了图像结构信息，有效提高了伪迹移除的效果，重建所得的目标图像质量更高。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中：
图1是本发明一种图像压缩伪迹移除方法的实现流程图；
图2是图像压缩伪迹移除模型RARN模型结构图；
图3是本发明一种实施例提供的压缩图像；
图4是本发明一种实施例提供的参考图像；
图5是本发明一种实施例的离线训练与在线推理的整体运行流程图；
图6是在压缩质量因子为10的情况下，使用不同方法对伪迹移除的结果进行视觉比较示意图；
图7为本发明实施例提供的一种图像压缩伪迹移除的装置的结构框图。
具体实施方式
本发明的核心是提供一种图像压缩伪迹移除方法、装置、设备及计算机存储介质，更好的恢复了图像结构信息，有效提高了伪迹移除的效果。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明所提供的图像压缩伪迹移除方法的实现流程图；具体操作步骤如下：
S101：获取与压缩图像内容相似度达到预设阈值的高质量图像，将其作为参考图像；
由于数字技术的飞速发展，在我们的日常生活中很容易通过各种方式获得高质量的图像，例如使用互联网图像搜索引擎。这为我们提供了一个良好的机会找到与给定压缩图像内容相似度达到预设阈值的高质量图像，然后将其用作参考，以补偿在去除伪迹期间压缩图像的信息损失。基于这种基本思想，本文提出了一种基于参考的图像压缩伪迹移除网络模型(RARN)，其结构如图2所示。
S102：将所述压缩图像和所述参考图像作为原始图像对输入预训练好的图像压缩伪迹移除网络模型中；
S103：对所述原始图像对进行卷积后经过一个残差块组和多个带下采样层的残差块组处理，得到多级不同尺度的编码特征对；
所述残差块组中的残差块均为移除批次归一化层后的残差块。
将所述原始图像对{X,R}经过一个共享的包含64个3*3卷积核的卷积层，得到浅层特征对，其中，X表示压缩图像，R表示参考图像；
将所述浅层特征对经过编码阶段的第一残差块组得到最精细(最低)尺度的第0级编码特征对具有和原始图像一样的分辨率，Conv3×3(·)代表3×3卷积层；
然后，使用连续的图像分辨率降采样与特征提取操作获得两个更高尺度的特征对RBs表示一组残差网络块,/>代表使用步长为2的卷积层进行下采样操作：
将所述第0级编码特征对经过下采样后输入编码阶段的第二残差块组，得到第1级编码特征对
将所述第1级编码特征对经过下采样后输入编码阶段的第三残差块组，得到第2级编码特征对
S104：分别计算每级编码特征对中，压缩图像每个像素点的特征向量相对于参考图像所有像素特征向量的相似度权重之和，得到多级不同尺度的全局转换特征；
基于参考的图像压缩伪迹移除网络模型的核心为在参考图像和压缩图像之间建立特征匹配和转换机制，如图2和图3所示，两幅图像中的相似结构在位置和方向上可能有很大的不同，需要首先进行匹配，为了恢复图3所示的轨迹，我们需要将其与参考图像中的多个轨迹段进行匹配，如图4所示；
因此，我们需要将压缩图像和参考图像的特征在每个尺度的特征空间中进行全局的匹配和转换，具体如下:
原始的非局部方法(non-local)针对单一输入图像X，首先计算图像中点与点的相似度，然后得到每个点与其他点的相似度权重之和，也就是：其中，/>表示压缩图像中位置j的特征向量，/>表示压缩图像中位置i的特征向量，二元函数f(·)计算/>和/>的相似性，一元函数g(·)输出特征集合在位置j处的表示，Γ是归一化因子。输出MTi表示/>对图像特征集合FX中所有像素的相似度权重之和；
单幅图像内部的相似度权重不能满足我们的需要，将之改造成跨特征的全局特征匹配和转换机制，用表示参考图像R中位置j的特征向量，/>表示压缩图像X中位置i的特征向量；也就是：/>其中，二元函数f(·)计算/>和/>的相似性，一元函数g(·)输出参考特征集合在位置j处的表示，Γ是归一化因子。输出的MTi表示/>相对于参考图像特征集合FR中所有像素的相似度权重之和；
在实际计算中，通过考虑线性嵌入形式的g(·)、softmax形式的f(·)以及矩阵运算的形式，我们实例化了跨特征的全局特征匹配和转换机制，具体如下：
利用卷积层将第i级编码特征对中的第i级压缩图像特征/>转换为第i级查询矩阵Qi'，将第i级参考图像特征/>转换为第i级键矩阵Ki'和第i级值矩阵Vi'，其中，C、H和W分别表示通道数、空间高度和宽度，/>C′是新的通道数，为了降维，C′小于C；
为了降低计算复杂度，对所述第i级键矩阵和第i级值矩阵进行下采样，并将下采样后的第i级键矩阵和第i级值矩阵/>以及所述第i级查询矩阵Qi'展平，得到第i级展平后形状为C′×(H′×W′)的键矩阵Ki、形状为C′×(H×W)的查询矩阵Qi和形状为C′×(H′×W′)的值矩阵/>
根据所述第i级展平后的键矩阵Ki和查询矩阵Qi计算得到第i级跨特征的全局匹配相似度矩阵其中softmax为softmax激活函数，T为转置；
将所述第i级跨特征的全局匹配相似度矩阵和所述第i级展平后的值矩阵相乘后与所述第i级压缩图像特征进行残差连接和特征串联操作，得到第i级全局转换特征其中，/>将其转化为/>的矩阵，(·+·)为残差连接，[·,·]为特征串联。
S105：将最后一级全局转换特征卷积后经过多个带上采样层的残差块组和一个残差块组处理，得到多级解码特征，其中，解码阶段的第一残差块组的输入为卷积后的最后一级全局转换特征，解码阶段的其余残差块组的输入均为前一个残差块组的输出与对应尺度的全局转换特征串联后进行卷积获得的特征；
将最后一级全局转换特征经过一个1*1卷积层后输入解码阶段的第一残差块组后进行上采样，得到第2级解码特征/> 表示采用亚像素卷积层的上采样过程；
其余解码特征的计算公式为：
将所述第2级解码特征与第1级全局转换特征串联后进行1*1卷积并输入解码阶段的第二残差块组后进行上采样，得到第1级解码特征/>
将所述第1级解码特征与第0级全局转换特征串联后进行1*1卷积并输入解码阶段的第三残差块组，得到第0级解码特征/>
S106：将最后一级解码特征卷积后得到目标图像。
将最后一级解码特征经过一个3*3卷积层后得到目标图像/>
本发明提出了一种新的基于参考图像的图像压缩伪迹移除方法，利用高质量的参考图像来提供有用的信息，以便于去除伪迹和细节重建。首先将压缩后图像和参考图像作为输入，生成多尺度特征对作为输出。然后，在特征空间中全局匹配特征并将参考图像中的相关特征转换到压缩图像中，最后，从特征全局转换后的多尺度输出中重建图像信息，得到最终的目标图像，本发明所提供的方法更好的恢复了图像结构信息，有效提高了伪迹移除的效果，重建所得的目标图像质量更高。
基于以上实施例，本实施例对所述图像压缩伪迹移除网络模型的训练步骤具体说明:
深度学习依赖于模型训练，我们需要专门的带有参考图像的数据集。考虑一组图像集合其中X(n)是JPEG压缩图像，R(n)是其参考图像，/>表示其真值图像；
基于该训练集，最小化模型输出的目标图像Y(n)与其对应的真值图像之间的损失值，得到所述训练好的图像压缩伪迹移除网络模型：
其中，Θ表示模型中的可训练参数，L(·)是绝对值损失函数，K为训练数据集中的图像集合的数量，n∈1...K。
基于以上实施例，本实施例为具体实验，过程如下：
将图像压缩伪迹移除网络模型在CUFED5数据的训练集上训练，该数据集有11871个图像对，每个图像对由一个输入图像和一个参考图像组成，尺寸大小为160×160。为了进行测试，使用CUFED5测试集和Sun80。CUFED5测试集包含126个输入图像，每个图像有5个具有不同相似性的参考图像。Sun80有80个自然图像，每个图像都伴随着多个参考图像。考虑到在真实场景中的测试，我们将Set5数据集扩展到Set5_R，并在BSDS500测试集中选择20个图像并扩展到B20_R。具体来说，我们在Yandex图像搜索引擎中使用压缩质量因子(qualityfactor,QF)等于5的压缩图像来搜索参考图像。我们在实验中采用Python图像库(PIL)对所有图像进行JPEG压缩。
在训练期间，对训练图像执行随机翻转和旋转，以增加训练数据。每个训练批次包含9个JPEG压缩图像，以及9个真值图像GT和参考图像，尺寸大小为80×80。Adam方法被用作我们的优化器并使用默认参数。RBs中的残差块数量设置为32。我们对模型进行了90个回合的训练，初始学习率设置为0.0001。Pytorch框架用于实现我们的方法，并在具有32GB RAM的NVIDIA Tesla V100 GPU上运行。
整体的离线训练与在线推理的运行流程如图4所示。
我们使用几种基于RGB图像的深度学习方法对所提出的模型进行了评估，包括ARCNN，DnCNN、MemNet、IDCN、RNAN，QGCN、RDN、DRUNet；为了公平比较，以上方法均在CUFED5数据集上进行了训练。实验在QF值设置为5和10的两种情况下进行。利用三个指标进行定量评估，包括峰值信噪比PSNR、SSIM和PSNR-B。
定量评估结果记录在表1中：
表1RGB图像上不同JPEG压缩伪迹去除方法的定量比较
其中粗体数字表示最高分数。可以看出，在所有四个测试数据集上，我们的模型明显优于其他最先进(state-of-the-art,SOAT)的算法。此外，我们计算了在整个数据集的不同QF下，我们模型的峰值信噪比值相对于第二高值的平均差异。结果表明，当QF等于5时，峰值信噪比的平均差比QF等于10时高0.05dB，这表明信息损失越大，我们的模型从参考图像获得的好处越大。
不同方法的主观比较如图6所示。现有算法没有参考信息，恢复效果相对较差。相比之下，在学习到相似的图像特征的情况下，我们的模型不仅能够很好地恢复结构信息，而且在所有方法中产生了最高的峰值信噪比值。
为了评估我们的RARN的计算复杂度，同其他方法在CUFED5测试集上分析了参数数量、大小为80×80的输入上的乘法累加(multiply accumulate,MAC)操作的平均数量和平均运行时间。从表2可以看出，我们的RARN的参数明显少于RDN和DRUNet，MACs不到RDN的一半，并且在两个图像输入的情况下，运行时间仍然显著少于RNAN和RDN：
表2CUFED5测试集上不同方法的计算复杂度比较
Method ARCNN RNAN QGCN RDN DRUNet RARN
Params 0.12M 8.96M 12.31M 21.98M 32.64M 14.64M
MACs 0.75G 48.51G 8.27G 140.70G 14.03G 60.17G
Time 0.03s 2.44s 0.08s 0.61s 0.13s 0.31s
本发明提出了一种新的基于参考的图像压缩伪迹移除网络模型。与仅使用压缩图像本身去除伪影的现有方法不同，我们的模型中使用高质量图像作为参考，以帮助恢复图像信息。特别地，特征全局转换模块用于在压缩图像和参考图像之间执行全局的特征匹配和转换。大量实验表明，我们的RARN在定量和定性评估方面都优于最先进的方法。
请参考图7，图7为本发明实施例提供的一种图像压缩伪迹移除的装置的结构框图；具体装置可以包括：
参考图像获取模块100，用于获取与压缩图像内容相似度达到预设阈值的高质量图像，将其作为参考图像；
输入模块200，用于将所述压缩图像和所述参考图像作为原始图像对输入预训练好的图像压缩伪迹移除网络模型中；
共享特征编码模块300，用于在编码阶段，对所述原始图像对进行卷积后经过一个残差块组和多个带下采样层的残差块组处理，得到多级不同尺度的编码特征对；
特征全局转换模块400，用于分别计算每级编码特征对中，压缩图像每个像素点的特征向量相对于参考图像所有像素特征向量的相似度权重之和，得到多级不同尺度的全局转换特征；
图像解码重构模块500，用于在解码阶段，将最后一级全局转换特征卷积后经过多个带上采样层的残差块组和一个残差块组处理，得到多级解码特征，其中，解码阶段的第一残差块组的输入为卷积后的最后一级全局转换特征，解码阶段的其余残差块组的输入均为前一个残差块组的输出与对应尺度的全局转换特征串联后进行卷积获得的特征；
目标图像获取模块600，用于将最后一级解码特征卷积后得到目标图像。
本实施例的图像压缩伪迹移除装置用于实现前述的图像压缩伪迹移除方法，因此图像压缩伪迹移除装置中的具体实施方式可见前文图像压缩伪迹移除方法的实施例部分，例如，参考图像获取模块100，输入模块200，共享特征编码模块300，特征全局转换模块400，图像解码重构模块500，目标图像获取模块600，分别用于实现上述图像压缩伪迹移除方法中步骤S101，S102，S103，S104，S105和S106所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本方面提出了一种新的基于参考的图像压缩伪迹移除网络模型(reference-based artifacts removal network,RARN)，它利用高质量的参考图像来提供有用的信息，以便于去除伪迹和细节重建。在我们的RARN中，首先建立共享特征编码模块，该模块将压缩后图像和参考图像作为输入，生成多尺度特征对作为输出。然后，特征全局转换模块(feature transfer non-local block,FTNB)用于在特征空间中全局匹配特征并将参考图像中的相关特征转换到压缩图像中。最后，使用解码重构模块从FTNB的多尺度输出中重建图像信息。大量实验结果清晰表明我们提出的RARN可以提供优于许多最先进方法的性能。
本发明具体实施例还提供了一种图像压缩伪迹移除的设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种图像压缩伪迹移除方法的步骤。
本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种图像压缩伪迹移除方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种图像压缩伪迹移除方法，其特征在于，包括：
获取与压缩图像内容相似度达到预设阈值的高质量图像，将其作为参考图像；
将所述压缩图像和所述参考图像作为原始图像对输入预训练好的图像压缩伪迹移除网络模型中；
在编码阶段，对所述原始图像对进行卷积后经过一个残差块组和多个带下采样层的残差块组处理，得到多级不同尺度的编码特征对；
分别计算每级编码特征对中，压缩图像每个像素点的特征向量相对于参考图像所有像素特征向量的相似度权重之和，得到多级不同尺度的全局转换特征；
在解码阶段，将最后一级全局转换特征卷积后经过多个带上采样层的残差块组和一个残差块组处理，得到多级解码特征，其中，解码阶段的第一残差块组的输入为卷积后的最后一级全局转换特征，解码阶段的其余残差块组的输入均为前一个残差块组的输出与对应尺度的全局转换特征串联后进行卷积获得的特征；
将最后一级解码特征卷积后得到目标图像。
2.根据权利要求1所述的图像压缩伪迹移除方法，其特征在于，所述分别计算每级编码特征对中，压缩图像每个像素点的特征向量相对于参考图像所有像素特征向量的相似度权重之和，得到多级不同尺度的全局转换特征包括：
利用卷积层将第i级编码特征对中的第i级压缩图像特征转换为第i级查询矩阵，将第i级参考图像特征/>转换为第i级键矩阵和第i级值矩阵；
对所述第i级键矩阵和第i级值矩阵进行下采样，并将下采样后的第i级键矩阵和第i级值矩阵以及所述第i级查询矩阵展平，得到第i级展平后的键矩阵Ki、查询矩阵Qi和值矩阵Vi；
根据所述第i级展平后的键矩阵Ki和查询矩阵Qi计算得到第i级跨特征的全局匹配相似度矩阵其中soft max为soft max激活函数，T为转置；
将所述第i级跨特征的全局匹配相似度矩阵和所述第i级展平后的值矩阵相乘后与所述第i级压缩图像特征进行残差连接和特征串联操作，得到第i级全局转换特征
3.根据权利要求1所述的图像压缩伪迹移除方法，其特征在于，所述残差块组中的残差块均为移除批次归一化层后的残差块。
4.根据权利要求1所述的图像压缩伪迹移除方法，其特征在于，所述对所述原始图像对进行卷积后经过一个残差块组和多个带下采样层的残差块组处理，得到多级不同尺度的编码特征对包括：
将所述原始图像对{X,R}经过3*3卷积层，得到浅层特征对，其中，X表示压缩图像，R表示参考图像；
将所述浅层特征对经过编码阶段的第一残差块组得到第0级编码特征对
将所述第0级编码特征对经过下采样后输入编码阶段的第二残差块组，得到第1级编码特征对
将所述第1级编码特征对经过下采样后输入编码阶段的第三残差块组，得到第2级编码特征对
5.根据权利要求4所述的图像压缩伪迹移除方法，其特征在于，所述将最后一级全局转换特征卷积后经过多个带上采样层的残差块组和一个残差块组处理，得到多级解码特征，其中，解码阶段的第一残差块组的输入为卷积后的最后一级全局转换特征，解码阶段的其余残差块组的输入均为前一个残差块组的输出与对应尺度的全局转换特征串联后进行卷积获得的特征包括：
将最后一级全局转换特征经过一个1*1卷积层后输入解码阶段的第一残差块组后进行上采样，得到第2级解码特征/>
将所述第2级解码特征与第1级全局转换特征串联后进行卷积并输入解码阶段的第二残差块组后进行上采样，得到第1级解码特征/>
将所述第1级解码特征与第0级全局转换特征串联后进行卷积并输入解码阶段的第三残差块组，得到第0级解码特征/>
6.根据权利要求1所述的图像压缩伪迹移除方法，其特征在于，所述将最后一级解码特征卷积后得到目标图像包括：
将最后一级解码特征经过一个3*3卷积层后得到目标图像。
7.根据权利要求1所述的图像压缩伪迹移除方法，其特征在于，所述图像压缩伪迹移除网络模型的训练步骤包括：
基于训练集，最小化模型输出的目标图像Y(n)与其对应的真值图像之间的损失值，得到所述训练好的图像压缩伪迹移除网络模型：
其中，Θ表示模型中的可训练参数，L(·)是绝对值损失函数，K为训练数据集中的图像集合的数量，n∈1...K。
8.一种图像压缩伪迹移除的装置，其特征在于，包括：
参考图像获取模块，用于获取与压缩图像内容相似度达到预设阈值的高质量图像，将其作为参考图像；
输入模块，用于将所述压缩图像和所述参考图像作为原始图像对输入预训练好的图像压缩伪迹移除网络模型中；
共享特征编码模块，用于在编码阶段，对所述原始图像对进行卷积后经过一个残差块组和多个带下采样层的残差块组处理，得到多级不同尺度的编码特征对；
特征全局转换模块，用于分别计算每级编码特征对中，压缩图像每个像素点的特征向量相对于参考图像所有像素特征向量的相似度权重之和，得到多级不同尺度的全局转换特征；
图像解码重构模块，用于在解码阶段，将最后一级全局转换特征卷积后经过多个带上采样层的残差块组和一个残差块组处理，得到多级解码特征，其中，解码阶段的第一残差块组的输入为卷积后的最后一级全局转换特征，解码阶段的其余残差块组的输入均为前一个残差块组的输出与对应尺度的全局转换特征串联后进行卷积获得的特征；
目标图像获取模块，用于将最后一级解码特征卷积后得到目标图像。
9.一种图像压缩伪迹移除的设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述一种图像压缩伪迹移除方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述一种图像压缩伪迹移除方法的步骤。
CN202211027579.1A 2022-08-25 2022-08-25 一种图像压缩伪迹移除方法、装置及存储介质 Active CN115330635B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211027579.1A CN115330635B (zh) 2022-08-25 2022-08-25 一种图像压缩伪迹移除方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211027579.1A CN115330635B (zh) 2022-08-25 2022-08-25 一种图像压缩伪迹移除方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN115330635A CN115330635A (zh) 2022-11-11
CN115330635B true CN115330635B (zh) 2023-08-15

Family

ID=83927878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211027579.1A Active CN115330635B (zh) 2022-08-25 2022-08-25 一种图像压缩伪迹移除方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115330635B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992270A (zh) * 2019-12-19 2020-04-10 西南石油大学 基于注意力的多尺度残差注意网络图像超分辨率重建方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
US10909728B1 (en) * 2019-05-01 2021-02-02 Amazon Technologies, Inc. Learned lossy image compression codec
CN112365554A (zh) * 2020-10-26 2021-02-12 天津大学 基于多尺度残差神经网络的压缩感知图像重建方法
CN112509094A (zh) * 2020-12-22 2021-03-16 西安交通大学 一种基于级联残差编解码网络的jpeg图像压缩伪影消除算法
CN112801901A (zh) * 2021-01-21 2021-05-14 北京交通大学 基于分块多尺度卷积神经网络的图像去模糊算法
CN114331913A (zh) * 2022-01-06 2022-04-12 福州大学 基于残差注意力块的运动模糊图像复原方法
CN114359419A (zh) * 2021-11-02 2022-04-15 上海大学 一种基于注意力机制的图像压缩感知重建方法
CN114723630A (zh) * 2022-03-31 2022-07-08 福州大学 基于空洞双残差多尺度深度网络的图像去模糊方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10909728B1 (en) * 2019-05-01 2021-02-02 Amazon Technologies, Inc. Learned lossy image compression codec
CN110992270A (zh) * 2019-12-19 2020-04-10 西南石油大学 基于注意力的多尺度残差注意网络图像超分辨率重建方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN112365554A (zh) * 2020-10-26 2021-02-12 天津大学 基于多尺度残差神经网络的压缩感知图像重建方法
CN112509094A (zh) * 2020-12-22 2021-03-16 西安交通大学 一种基于级联残差编解码网络的jpeg图像压缩伪影消除算法
CN112801901A (zh) * 2021-01-21 2021-05-14 北京交通大学 基于分块多尺度卷积神经网络的图像去模糊算法
CN114359419A (zh) * 2021-11-02 2022-04-15 上海大学 一种基于注意力机制的图像压缩感知重建方法
CN114331913A (zh) * 2022-01-06 2022-04-12 福州大学 基于残差注意力块的运动模糊图像复原方法
CN114723630A (zh) * 2022-03-31 2022-07-08 福州大学 基于空洞双残差多尺度深度网络的图像去模糊方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《基于多尺度残差网络的全局图像压缩感知重构》;涂云轩 等;《工业控制计算机》;第33卷(第7期);第118-121页 *

Also Published As

Publication number Publication date
CN115330635A (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN108900848B (zh) 一种基于自适应可分离卷积的视频质量增强方法
Sun et al. Reduction of JPEG compression artifacts based on DCT coefficients prediction
CN114820341A (zh) 一种基于增强Transformer的图像盲去噪方法及系统
CN113808032A (zh) 多阶段渐进式的图像去噪算法
CN115953303B (zh) 结合通道注意力的多尺度图像压缩感知重构方法及系统
CN112270646B (zh) 基于残差密集跳跃网络的超分辨增强方法
CN112218094A (zh) 一种基于dct系数预测的jpeg图像去压缩效应方法
CN114723630A (zh) 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
CN113191983A (zh) 一种基于深度学习注意力机制的图像去噪方法及装置
CN116797456A (zh) 图像超分辨率重建方法、系统、设备和存储介质
CN114936977A (zh) 一种基于通道注意力和跨尺度特征融合的图像去模糊方法
CN115797176A (zh) 一种图像超分辨率重建方法
CN117333398A (zh) 一种基于自监督的多尺度图像去噪方法及装置
CN113962882B (zh) 一种基于可控金字塔小波网络的jpeg图像压缩伪影消除方法
CN115187455A (zh) 一种用于压缩图像的轻量级超分辨率重建模型及系统
CN112150356A (zh) 基于级联框架的单幅压缩图像超分辨率重建方法
CN115330635B (zh) 一种图像压缩伪迹移除方法、装置及存储介质
CN113240581A (zh) 一种针对未知模糊核的真实世界图像超分辨率方法
CN117314750A (zh) 一种基于残差生成网络的图像超分辨率重建方法
CN115131226B (zh) 一种基于小波张量低秩正则化的图像复原方法
CN115474048A (zh) 基于分裂四元数模型的快速彩色图像压缩方法
Zhang et al. Deep residual network based medical image reconstruction
CN108665412B (zh) 一种利用自然图像先验知识进行多帧图像超分辨重建的方法
CN113658282A (zh) 一种图像压缩解压缩方法及其装置
CN113627468B (zh) 基于无监督学习的非局部神经网络图像处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant