CN112927146A - 压缩图像复原方法、装置、设备和存储介质 - Google Patents
压缩图像复原方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN112927146A CN112927146A CN201911236576.7A CN201911236576A CN112927146A CN 112927146 A CN112927146 A CN 112927146A CN 201911236576 A CN201911236576 A CN 201911236576A CN 112927146 A CN112927146 A CN 112927146A
- Authority
- CN
- China
- Prior art keywords
- image
- compressed image
- compressed
- restoration
- restored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000012549 training Methods 0.000 claims abstract description 81
- 238000013139 quantization Methods 0.000 claims abstract description 54
- 230000006835 compression Effects 0.000 claims abstract description 41
- 238000007906 compression Methods 0.000 claims abstract description 41
- 238000013528 artificial neural network Methods 0.000 claims description 56
- 230000006870 function Effects 0.000 claims description 24
- 238000011084 recovery Methods 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请涉及一种压缩图像复原方法、装置、设备和存储介质，该方法包括：获取待复原的压缩图像；将所述待复原的压缩图像作为输入量输入预先训练得到的压缩图像复原模型，所述压缩图像复原模型输出所述待复原的压缩图像对应的复原图像；其中，所述压缩图像复原模型是根据训练样本进行训练得到的，所述训练样本包括：任意压缩质量的有损图像及对应的质量因子生成的量化表和原始未压缩图像。本申请可以对任意质量因子的压缩图像进行复原得到高清复原图像，避免了为每个质量因子分别训练质量模型，从而节省了资源提高了图像复原效率。
Description
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种压缩图像复原方法、装置、设备和存储介质。
背景技术
为了减小图像在传输时占用的带宽和存储容量，通常会提前将图像压缩编码，即减小原始数字图像的数据大小，图像的压缩程度由用户自己设定，比如，在JPEG图像有损压缩编码算法中，用户可以通过设置质量因子的值(从1到100)来决定图像压缩程度，质量因子的值越小图像压缩程度越大。然后传输压缩编码后的图像到客户端，客户端再对压缩图像进行解码，将解码后的图像呈现给客户。但经过有损压缩后的解码图像会产生失真现象，需要对压缩图像进行复原，提高图像质量。
目前，较为常用的压缩图像复原方法是基于深度学习的压缩图像复原方法，在空间域对图像进行复原，或者，同时在空间域和离散余弦变换(Discrete Cosine Transform，DCT)频域中进行图像复原，即，针对某个特定的质量因子的压缩图像进行模型训练得到该质量因子对应的质量模型，通过质量模型对压缩图像进行复原。
然而，这种质量模型只能对其对应质量因子的压缩图像进行复原，而对于其他质量因子的压缩图像的复原效果很差。因此，若要复原不同质量因子对应的压缩图像，需要单独为每个质量因子专门训练各自对应的质量模型，如此，需要耗费大量的时间与资源，大大降低了压缩图像复原的效率。
发明内容
本发明实施例提供一种压缩图像复原方法、装置、设备和存储介质，以解决现有技术中复原压缩图像消耗资源多、复原效率低的问题。
本发明实施例的第一方面提供一种压缩图像复原方法，包括：
获取待复原的压缩图像；
将所述待复原的压缩图像作为输入量输入预先训练得到的压缩图像复原模型，所述压缩图像复原模型输出所述待复原的压缩图像对应的复原图像；
其中，所述压缩图像复原模型是根据训练样本进行训练得到的，所述训练样本包括：任意压缩质量的有损图像及对应的质量因子生成的量化表和原始未压缩图像。
可选地，所述将所述待复原的压缩图像作为输入量输入预先训练得到的压缩图像复原模型之前，所述方法还包括：
根据所述训练样本训练压缩图像复原神经网络，得到所述压缩图像复原模型。
可选地，所述根据所述训练样本训练压缩图像复原神经网络，得到所述压缩图像复原模型，包括：
获取任意压缩质量的有损图像；
根据所述任意压缩质量的有损图像对应的质量因子，生成量化表；
将所述量化表在横向维度和纵向维度上进行拼接，得到量化特征图，所述量化特征图与所述有损图像尺寸相同；
将所述量化特征图和所述有损图像合并，得到组合式特征图；
根据所述组合式特征图、原始未压缩图像和预先确定的损失函数方程训练所述压缩图像复原神经网络，得到所述压缩图像复原模型。
可选地，所述获取任意压缩质量的有损图像，包括：
根据原始未压缩图像、随机设定的质量因子和压缩图像公式，确定任意压缩质量的有损图像；
其中，所述压缩图像公式为：
F表示图像压缩算法，
表示原始未压缩图像，QF表示质量因子，Y表示压缩后的有损图像，所述质量因子为整数且取值范围是[1，100]。
可选地，所述量化表是根据所述质量因子生成的m行m列的数字矩阵，所述将所述量化特征图和所述有损图像合并，包括：
对所述有损图像进行像素填补，并在所述有损图像的高度和宽度是m的整数倍时，将所述有损图像和所述量化特征图在通道维度上进行合并。
可选地，所述根据所述组合式特征图、原始未压缩图像和预先确定的损失函数方程训练所述压缩图像复原神经网络，得到所述压缩图像复原模型，包括：
将所述组合式特征图和所述原始未压缩图像作为输入量输入所述压缩图像复原神经网络，得到所述压缩图像复原神经网络输出的复原图像；
根据输出的复原图像和所述原始未压缩图像确定损失函数；
根据所述函数损失方程最小化所述损失函数，以得到所述压缩图像复原模型；
其中，所述损失函数为：
n表示图像中像素数量；||·||1表示计算1范数；
表示原始未压缩图像；X表示输出的复原图像；
所述损失函数方程为：
其中，G表示压缩图像复原神经网络，YQM表示组合式特征图，θg表示压缩图像复原神经网络的所有待求参数集合，
表示原始未压缩图像，L表示用于计算压缩图像复原神经网络输出的复原图像与原始未压缩图像之间的像素差值的损失函数；N表示训练样本的数量；
表示压缩图像复原模型。
可选地，所述将所述组合式特征图和所述原始未压缩图像作为输入量输入所述压缩图像复原神经网络，包括：
将所述组合式特征图和所述原始未压缩图像分别切分成不同尺寸的图像块；
按照所述图像块尺寸从小到大的顺序，依次将所述图像块作为输入量输入所述压缩图像复原神经网络。
可选地，所述方法还包括：建立压缩图像复原神经网络，所述压缩图像复原神经网络，包括：
输入层，用于输入待复原图像；
第一卷积模块，用于对所述待复原图像进行下采样处理，得到处理后的第一图像特征层；
残差网络单元模块，用于对所述第一图像特征层进行图像特征复原，得到特征复原之后的第二图像特征层；
第二卷积模块，用于对所述第二图像特征层进行上采样处理，以得到复原图像；
输出层，用于输出所述复原图像；
其中，所述残差网络单元模块包括多个残差网络单元组以及多个卷积层，所述卷积层位于每两个所述残差网络单元中间，且，每个残差网络单元组包括预设数量个依次串联的残差网络单元。
本发明实施例的第二方面提供一种压缩图像复原装置，包括：
图像获取模块，用于获取待复原的压缩图像；
图像输入模块，用于将所述待复原的压缩图像作为输入量输入预先训练得到的压缩图像复原模型，所述压缩图像复原模型输出所述待复原的压缩图像对应的复原图像；
其中，所述压缩图像复原模型是根据训练样本进行训练得到的，所述训练样本包括：任意压缩质量的有损图像及对应的质量因子生成的量化表和原始未压缩图像。
本发明实施例的第三方面提供一种压缩图像复原设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行本发明实施例第一方面所述的压缩图像复原方法。
本发明实施例的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现本发明实施例的第一方面所述的压缩图像复原方法。
本发明通过将任意压缩质量的有损图像及其对应的质量因子生成的量化表和原始未压缩图像作为训练样本，训练得到压缩图像复原模型，使得该训练模型可以对任意压缩质量的图像进行复原，并得到高清的复原图像，避免了为每个质量因子分别训练质量模型，从而节省了资源提高了图像复原效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一示例性实施例示出的压缩图像复原方法的应用场景图；
图2是本发明另一示例性实施例示出的压缩图像复原方法的流程示意图；
图3是本发明另一示例性实施例示出的训练压缩图像复原神经网络方法的流程示意图；
图4是本发明另一示例性实施例示出的训练压缩图像复原神经网络方法的流程示意图；
图5是本发明另一示例性实施例示出的压缩图像复原神经网络的结构示意图；
图6是本发明另一示例性实施例示出的压缩图像复原神经网络中残差网络单元的结构示意图；
图7是本发明另一示例性实施例示出的压缩图像复原装置的结构示意图；
图8是本发明另一示例性实施例示出的压缩图像复原设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
目前，较为常用的压缩图像复原方法是基于深度学习的压缩图像复原方法，在空间域对图像进行复原，或者，同时在空间域和离散余弦变换(Discrete Cosine Transform，DCT)频域中进行图像复原，即，针对某个特定的质量因子的压缩图像进行模型训练得到该质量因子对应的质量模型，通过质量模型对压缩图像进行复原。
然而，这种质量模型只能对其对应质量因子的压缩图像进行复原，而对于其他质量因子的压缩图像的复原效果很差。因此，若要复原不同质量因子对应的压缩图像，需要单独为每个质量因子专门训练各自对应的质量模型，如此，需要耗费大量的时间与资源，大大降低了压缩图像复原的效率。
针对此缺陷，本发明提供了一种压缩图像复原方法、装置、设备和存储介质，该方法通过将任意压缩质量的有损图像及其对应的质量因子生成的量化表和原始未压缩图像作为训练样本训练得到压缩图像复原模型，使得该压缩图像复原模型可以对任意质量因子对应的压缩图像进行复原，大大提高了压缩图像的复原效率和复原质量。
图1是本发明一示例性实施例示出的压缩图像复原方法的应用场景图。
如图1所示，本实施例中可以将所有待复原的压缩图像预先存储在数据库101中，然后从数据库101中获取待复原的压缩图像；并将获取到的待复原的压缩图像发送到服务器102中，服务器102将待复原的压缩图像作为输入量输入预先训练得到的压缩图像复原模型中，得到压缩图像复原模型输出的复原图像，然后将待复原的压缩图像和复原图像发送到显示终端103中显示，由于训练压缩图像复原模型的训练样本是任意压缩质量的有损图像及对应的质量因子生成的量化表和原始未压缩图像，因此，无论待复原的压缩图像对应的质量因子是多少，该压缩图像复原模型都可以将其复原得到复原后的高清图像。
图2是本发明另一示例性实施例示出的压缩图像复原方法的流程示意图。
如图2所示，本实施例提供的方法可以包括以下步骤：
S201，获取待复原的压缩图像；
本步骤中，待复原的压缩图像可以是任意质量因子对应的压缩图像。其中，质量因子的值(1到100中的任意整数)决定了图像的压缩程度，质量因子的值越小，表明图像压缩程度越大，压缩后的图像质量越差。
S202，将所述待复原的压缩图像作为输入量输入预先训练得到的压缩图像复原模型，所述压缩图像复原模型输出所述待复原的压缩图像对应的复原图像；
其中，所述压缩图像复原模型是根据训练样本进行训练得到的，所述训练样本包括：任意压缩质量的有损图像及对应的质量因子生成的量化表和原始未压缩图像。
本步骤中，压缩图像复原模型用于表征任意压缩质量的JPEG有损图像到高清复原图像的映射，即压缩图像复原模型输入的是任意压缩质量的JPEG有损图像，直接输出该压缩图像对应的复原高清图像。
可选地，所述将所述待复原的压缩图像作为输入量输入预先训练得到的压缩图像复原模型之前，所述方法还包括：
根据所述训练样本训练压缩图像复原神经网络，得到所述压缩图像复原模型。
具体的，参见图3，根据所述训练样本训练压缩图像复原神经网络，得到所述压缩图像复原模型，可以包括以下步骤：
S301，获取任意压缩质量的有损图像；
具体的，首先设定一个原始未压缩图像，本实施例中用
表示，其大小为H×W×C。其中，H和W分别表示图像的高度和宽度，C表示图像通道数，如果是彩色图像，则C为3；如果是灰度图像，则C为1。
设定完原始未压缩图像后，根据原始未压缩图像、随机设定的质量因子和压缩图像公式，确定任意压缩质量的有损图像；
其中，所述压缩图像公式为：
F表示图像压缩算法，
表示原始未压缩图像，Y表示压缩后的有损图像，QF表示质量因子，其取值为1≤QF≤100的随机整数。通过随机设定质量因子QF，获得各种不同压缩质量的JPRG有损图像。
在一个实施例中，根据图像压缩算法压缩图像的具体过程为：JPEG压缩算法将原始图像分为非重叠的大小为8×8的图像块。然后通过离散余弦变换对每个图像块进行变换操作，转化为频域中的64个DCT系数。然后将8×8的DCT系数逐个除以8×8量化表中的值，并将结果四舍五入为最接近的整数。经过此量化步骤，大多DCT系数变成很小的数字，甚至变为零，从而大量减少图像编码信息。压缩图像的主要目的是去除图像的高频信息，并节省存储空间。这也是图像质量降低、产生失真现象的主要原因。最后，通过使用无损编码算法(例如游程长度编码，霍夫曼编码等)进一步对系数进行编码，并形成数据比特流，保存为最终的JPEG图像文件。
从上述压缩图像的过程可知，量化表可以直接控制压缩图像的质量。而在JPEG图像中，质量因子的大小控制压缩图像的质量。因此，可以通过不同的质量因子的值来生成不同的量化表，以产生不同压缩级别的有损图像。由于量化表中包含图像压缩质量的信息(质量因子)，这些信息在对压缩图像进行消除失真时非常重要，因此，本实施例中将量化表与图像像素值一起作为训练压缩图像复原神经网络的训练数据。
一些实施例中，去除有损图像Y的失真现象，将其复原为和未压缩的原始图像
相似的高质量清晰图像，其公式表示为：
其中，G表示压缩图像复原算法。
本实施例中将算法G设计为一个卷积神经网络，采用训练样本集对卷积神经网络进行训练，得到压缩图像复原模型。
在具体实施时，训练压缩图像复原神经网络需要准备一个包含大量图像的训练数据集。每个训练样本包含一个输入数据以及一个标准数据。本实施例中，使用的训练输入数据是一种基于量化表的组合式特征图，标准数据是未压缩的原始图像。其中，组合式特征图的生成如下：
S302，根据所述任意压缩质量的有损图像对应的质量因子，生成量化表；
本步骤中，量化表是是根据质量因子生成的m行m列的数字矩阵，本实施例中，m值取8。如图4(a)所示，在彩色图像中，量化表的大小是8×8×2，表示有两个量化表，分别是亮度信息量化表和颜色信息量化表。在灰度图像中，量化表中只有一个亮度信息量化表。
S303，将所述量化表在横向维度和纵向维度上进行拼接，得到量化特征图，所述量化特征图与所述有损图像尺寸相同；
具体的，假如JPEG有损图像为彩色图像，如图4(c)所示，其大小为H×W×3，其中H和W分别表示图像的高度和宽度，并且该有损图像有3个颜色通道；那么，将步骤S302中生成的量化表分别在横向和纵向这两个维度上进行重复拼接扩展，扩展成为和该有损图像大小相同的量化特征图，其大小为H×W×2，扩展得到的量化特征图如图4(b)所示。
S304，将所述量化特征图和所述有损图像合并，得到组合式特征图；
包括：对所述有损图像进行像素填补，并在所述有损图像的高度和宽度是m的整数倍时，将所述有损图像和所述量化特征图在通道维度上进行合并。
具体的，将步骤S303中的到的量化特征图在通道维度上与JPEG有损图像合并，得到组合式特征图，其大小为H×W×5，如图4(d)所示。
需要说明的是，本实施例中，量化表的8×8×2，由其扩展拼接得到的量化特征图的高度和宽度肯定为8的倍数。因此，为了将量化特征图和JPEG有损图像完全合并，如果JPEG有损图像的高度和宽度不是8的整数倍，那么需要对该JPEG有损图像的右边缘和下边缘进行像素填补，使该有损图像的大小扩大为8的整数倍，填补的像素值取该有损图像边界最近的像素值。比如，JPEG有损图像的大小为20×18×3，那么，量化表需要在横向上重复拼接三个，在纵向上重复拼接三个，得到的量化特征图的大小为24×24×2，而JPEG有损图像的大小为20×18×3，因此，需要对该JPEG有损图像的右边缘和下边缘进行像素填补，使该JPEG有损图像的大小扩大为24×24×3，以使该JPEG有损图像和量化特征图完全合并。
本实施例中，通过将量化特征图与JPEG有损图像合并，使得量化表中的图像压缩信息被编码在JPEG压缩的有损图像中，即组合式特征图将JPEG有损图像的像素信息和量化表的压缩信息合并到一起，利用此组合式特征图进行压缩图像复原神经网络训练，可以充分利用两种信息，使训练得到的压缩图像复原模型可以学习到不同压缩质量图像的失真程度，能更好的对失真图像进行复原，并且可以利用单个模型即可对任意质量的压缩图像进行复原。
一些实施例中，如果JPEG有损图像为单通道的灰度图像，其大小为H×W×1，则其对应的量化表只有一张8×8的亮度信息量化表。合并后的组合式特征图的大小是H×W×2。
S305，根据所述组合式特征图、原始未压缩图像和预先确定的损失函数方程训练所述压缩图像复原神经网络，得到所述压缩图像复原模型。
具体的，所述根据所述组合式特征图、原始未压缩图像和预先确定的损失函数方程训练所述压缩图像复原神经网络，得到所述压缩图像复原模型，包括：
将所述组合式特征图和所述原始未压缩图像作为输入量输入所述压缩图像复原神经网络，得到所述压缩图像复原神经网络输出的复原图像；
根据输出的复原图像和所述原始未压缩图像确定损失函数；
根据所述函数损失方程最小化所述损失函数，以得到所述压缩图像复原模型；
其中，所述损失函数为：
n表示图像中像素数量；||·||1表示计算1范数，即向量所有元素的绝对值之和；
表示原始未压缩图像；X表示输出的复原图像；
所述损失函数方程为：
其中，G表示压缩图像复原神经网络，YQM表示组合式特征图，θg表示压缩图像复原神经网络的所有待求参数集合，
表示原始未压缩图像，L表示用于计算压缩图像复原神经网络输出的复原图像与原始未压缩图像之间的像素差值的损失函数；N表示训练样本的数量；
表示压缩图像复原模型。
本实施例通过训练压缩图像复原神经网络，得到单个压缩图像复原模型，可以对任意质量因子的压缩图像进行复原，消除图像的失真现象，得到清晰的高质量图像。
进一步的，所述将所述组合式特征图和所述原始未压缩图像作为输入量输入所述压缩图像复原神经网络，包括：
将所述组合式特征图和所述原始未压缩图像分别切分成不同尺寸的图像块；
按照所述图像块尺寸从小到大的顺序，依次将所述图像块作为输入量输入所述压缩图像复原神经网络。
具体的，训练神经网络的时间复杂度和训练样本中图像的大小高度有关，当训练样本中的图像变大时，时间复杂度会迅速增加。针对此问题，本实施例在训练压缩图像复原神经网络过程中逐步增大训练图像的尺寸。比如，首先将训练样本中的图像随机切割成尺寸为64×64的图像块，将图像块输入到压缩图像复原神经网络中进行训练，然后将图像块的大小逐渐增大到256×256输入到压缩图像复原神经网络中。
本实施例中，通过训练样本中的图像切割成不同大小的图像块，并按照图像块尺寸从小到大的顺序，依次将所述图像块作为输入量输入所述压缩图像复原神经网络进行训练，既减少了训练神经网络的计算量，同时还能够使训练得到的压缩图像复原模型达到更好的复原效果。
进一步的，所述方法还包括：建立压缩图像复原神经网络，如图5所示，所述压缩图像复原神经网络，包括：
输入层501，用于输入待复原图像；
第一卷积模块502，用于对所述待复原图像进行下采样处理，得到处理后的第一图像特征层；
残差网络单元模块503，用于对所述第一图像特征层进行图像特征复原，得到特征复原之后的第二图像特征层；
第二卷积模块504，用于对所述第二图像特征层进行上采样处理，以得到复原图像；
输出层505，用于输出所述复原图像。
其中，所述残差网络单元模块503包括多个残差网络单元组5031以及多个卷积层5032，所述卷积层位于每两个所述残差网络单元中间，且，每个残差网络单元组包括预设数量个依次串联的残差网络单元。
具体的，每个残差网络单元包括两个卷积层和一个ReLU激活层，以及一个缩放层，其结构如图6所示。缩放层本质上是一个乘法单元，将网络参数乘以一个常数0.1。参见图5，将Nres个残差网络单元串联在一起组成一个残差网络单元组5031，并将此残差网络单元组的开端到尾端用一个直连通道连接起来。将Ng个重复的残差网络单元组串联在一起，每两个残差网络单元组中间增加一层卷积层，这些串联起来的残差网络单元组和卷积层组成了压缩图像复原神经网络的主干部分，即残差网络单元模块503。
需要说明的是，本实施例提供的压缩图像复原神经网络中的卷积层参数设置成：内核大小为3×3，输出通道数为64，最后一个卷积层的输出通道数与输入图像通道数相同(如果是彩色图像，则通道数为3；如果是灰度图像，则通道数为1)。
为了更好的理解本申请，下面结合图5中的压缩图像复原神经网络模型对压缩图像的复原过程进行描述如下：
首先，将待复原的压缩图像通过输入层501输入到网络模型中，然后由第一卷积模块502对待复原的压缩图像进行下采样，该第一卷积模块包括一个步长为2的下采样卷积层，使得经过下采样的待复原的压缩图像的高度和宽度分别变为原始大小的一半。然后将下采样得到的压缩图像特征层传到残差网络单元模块503，由残差网络单元模块对下采样后的压缩图像特征层进行消除失真，得到特征复原之后的图像；然后将特征复原之后的图像特征层传到第二卷积模块504进行上采样，该第二卷积模块504为亚像素卷积层，上采样采用亚像素卷积层的放大方法得到原始大小的复原图像，最后，由输出层505输出原始大小的复原图像。
本实施例中，通过对压缩图像特征复原前后进行下采样和上采样处理，减少了神经网络的计算量，同时，亚像素卷积层的上采样方法能够避免转置卷积引起的棋盘失真现象，因此，进一步提高了压缩图像的复原质量。
图7是本发明另一示例性实施例示出的压缩图像复原装置的结构示意图；
如图7所示，本实施例提供的压缩图像复原装置，包括：
图像获取模块701，用于获取待复原的压缩图像；
图像输入模块702，用于将所述待复原的压缩图像作为输入量输入预先训练得到的压缩图像复原模型，所述压缩图像复原模型输出所述待复原的压缩图像对应的复原图像；
其中，所述压缩图像复原模型是根据训练样本进行训练得到的，所述训练样本包括：任意压缩质量的有损图像及对应的质量因子生成的量化表和原始未压缩图像。
本实施例中各个模块的详细功能描述请参考有关该方法的实施例中的描述，此处不做详细阐述说明。
图8为本发明实施例提供的压缩图像复原设备的硬件结构示意图。如图8所示，本实施例提供的压缩图像复原设备800包括：至少一个处理器801和存储器802。其中，处理器801、存储器802通过总线803连接。
在具体实现过程中，至少一个处理器801执行所述存储器802存储的计算机执行指令，使得至少一个处理器801执行上述方法实施例中的压缩图像复原方法。
处理器801的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
在上述的图8所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component Interconnect，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
本申请的另一实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述方法实施例中的压缩图像复原方法。
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (11)
1.一种压缩图像复原方法，其特征在于，包括：
获取待复原的压缩图像；
将所述待复原的压缩图像作为输入量输入预先训练得到的压缩图像复原模型，所述压缩图像复原模型输出所述待复原的压缩图像对应的复原图像；
其中，所述压缩图像复原模型是根据训练样本进行训练得到的，所述训练样本包括：任意压缩质量的有损图像及对应的质量因子生成的量化表和原始未压缩图像。
2.根据权利要求1所述的方法，其特征在于，所述将所述待复原的压缩图像作为输入量输入预先训练得到的压缩图像复原模型之前，所述方法还包括：
根据所述训练样本训练压缩图像复原神经网络，得到所述压缩图像复原模型。
3.根据权利要求2所述的方法，其特征在于，所述根据所述训练样本训练压缩图像复原神经网络，得到所述压缩图像复原模型，包括：
获取任意压缩质量的有损图像；
根据所述任意压缩质量的有损图像对应的质量因子，生成量化表；
将所述量化表在横向维度和纵向维度上进行拼接，得到量化特征图，所述量化特征图与所述有损图像尺寸相同；
将所述量化特征图和所述有损图像合并，得到组合式特征图；
根据所述组合式特征图、原始未压缩图像和预先确定的损失函数方程训练所述压缩图像复原神经网络，得到所述压缩图像复原模型。
4.根据权利要求3所述的方法，其特征在于，所述获取任意压缩质量的有损图像，包括：
根据原始未压缩图像、随机设定的质量因子和压缩图像公式，确定任意压缩质量的有损图像；
其中，所述压缩图像公式为：
F表示图像压缩算法，
表示原始未压缩图像，QF表示质量因子，Y表示压缩后的有损图像，所述质量因子为整数且取值范围是[1，100]。
5.根据权利要求3所述的方法，其特征在于，所述量化表是根据所述质量因子生成的m行m列的数字矩阵，
所述将所述量化特征图和所述有损图像合并，包括：
对所述有损图像进行像素填补，并在所述有损图像的高度和宽度是m的整数倍时，将所述有损图像和所述量化特征图在通道维度上进行合并。
6.根据权利要求3所述的方法，其特征在于，所述根据所述组合式特征图、原始未压缩图像和预先确定的损失函数方程训练所述压缩图像复原神经网络，得到所述压缩图像复原模型，包括：
将所述组合式特征图和所述原始未压缩图像作为输入量输入所述压缩图像复原神经网络，得到所述压缩图像复原神经网络输出的复原图像；
根据输出的复原图像和所述原始未压缩图像确定损失函数；
根据所述函数损失方程最小化所述损失函数，以得到所述压缩图像复原模型；
其中，所述损失函数为：
n表示图像中像素数量；||·||1表示计算1范数；
表示原始未压缩图像；X表示输出的复原图像；
所述损失函数方程为：
其中，G表示压缩图像复原神经网络，YQM表示组合式特征图，θg表示压缩图像复原神经网络的所有待求参数集合，
表示原始未压缩图像，L表示用于计算压缩图像复原神经网络输出的复原图像与原始未压缩图像之间的像素差值的损失函数；N表示训练样本的数量；
表示压缩图像复原模型。
7.根据权利要求6所述的方法，其特征在于，所述将所述组合式特征图和所述原始未压缩图像作为输入量输入所述压缩图像复原神经网络，包括：
将所述组合式特征图和所述原始未压缩图像分别切分成不同尺寸的图像块；
按照所述图像块尺寸从小到大的顺序，依次将所述图像块作为输入量输入所述压缩图像复原神经网络。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：建立压缩图像复原神经网络，所述压缩图像复原神经网络，包括：
输入层，用于输入待复原图像；
第一卷积模块，用于对所述待复原图像进行下采样处理，得到处理后的第一图像特征层；
残差网络单元模块，用于对所述第一图像特征层进行图像特征复原，得到特征复原之后的第二图像特征层；
第二卷积模块，用于对所述第二图像特征层进行上采样处理，以得到复原图像；
输出层，用于输出所述复原图像；
其中，所述残差网络单元模块包括多个残差网络单元组以及多个卷积层，所述卷积层位于每两个所述残差网络单元中间，且，每个残差网络单元组包括预设数量个依次串联的残差网络单元。
9.一种压缩图像复原装置，其特征在于，包括：
图像获取模块，用于获取待复原的压缩图像；
图像输入模块，用于将所述待复原的压缩图像作为输入量输入预先训练得到的压缩图像复原模型，所述压缩图像复原模型输出所述待复原的压缩图像对应的复原图像；
其中，所述压缩图像复原模型是根据训练样本进行训练得到的，所述训练样本包括：任意压缩质量的有损图像及对应的质量因子生成的量化表和原始未压缩图像。
10.一种压缩图像复原设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至8任一项所述的压缩图像复原方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至8任一项所述的压缩图像复原方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911236576.7A CN112927146A (zh) | 2019-12-05 | 2019-12-05 | 压缩图像复原方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911236576.7A CN112927146A (zh) | 2019-12-05 | 2019-12-05 | 压缩图像复原方法、装置、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112927146A true CN112927146A (zh) | 2021-06-08 |
Family
ID=76161023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911236576.7A Pending CN112927146A (zh) | 2019-12-05 | 2019-12-05 | 压缩图像复原方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112927146A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
| CN106934397A (zh) * | 2017-03-13 | 2017-07-07 | 北京市商汤科技开发有限公司 | 图像处理方法、装置及电子设备 |
| CN110519595A (zh) * | 2019-08-08 | 2019-11-29 | 浙江大学 | 一种基于频域量化损失估计的jpeg压缩图像复原方法 |
-
2019
- 2019-12-05 CN CN201911236576.7A patent/CN112927146A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
| CN106934397A (zh) * | 2017-03-13 | 2017-07-07 | 北京市商汤科技开发有限公司 | 图像处理方法、装置及电子设备 |
| CN110519595A (zh) * | 2019-08-08 | 2019-11-29 | 浙江大学 | 一种基于频域量化损失估计的jpeg压缩图像复原方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王永皎 等: "基于DCT变换的图像压缩技术研究", 河南城建学院学报, vol. 22, no. 1, 15 January 2013 (2013-01-15), pages 42 - 46 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20110038556A1 (en) | Digital image compression and decompression | |
| US10440360B2 (en) | Video processing system | |
| CN111738952B (zh) | 一种图像修复的方法、装置及电子设备 | |
| CN111429357B (zh) | 训练数据确定方法、视频处理方法、装置、设备及介质 | |
| CN109889846B (zh) | 一种Demura表数据的压缩与解压方法、装置及编解码系统 | |
| CN110136057B (zh) | 一种图像超分辨率重建方法、装置及电子设备 | |
| KR20210094054A (ko) | 데이터 어레이들의 비트 평면 인코딩 | |
| CN110753225A (zh) | 一种视频压缩方法、装置及终端设备 | |
| CN111510739A (zh) | 一种视频传输方法及装置 | |
| CN112868228A (zh) | 自适应dct锐化器 | |
| CN111355965B (zh) | 一种基于深度学习的图像压缩还原方法及装置 | |
| CN114897711A (zh) | 一种视频中图像处理方法、装置、设备及存储介质 | |
| KR19980081853A (ko) | 그래픽 이미지 압축 및 복원 방법 | |
| CN110730347A (zh) | 图像压缩方法、装置及电子设备 | |
| US8300967B2 (en) | Bit rate control circuit and method for image compression | |
| CN112927146A (zh) | 压缩图像复原方法、装置、设备和存储介质 | |
| CN110728726A (zh) | 一种基于用户交互与深度神经网络的图像压缩方法 | |
| CN112887722B (zh) | 一种图像无损压缩方法 | |
| EP1874057A2 (en) | Method of compressing an ultrasound image | |
| JPH07240845A (ja) | 画像のデータ圧縮および伸張 | |
| CN115423697A (zh) | 图像修复方法、终端及计算机存储介质 | |
| CN114463453A (zh) | 图像重建、编码解码方法、相关装置 | |
| US20230139962A1 (en) | Image upsampling | |
| CN111565317A (zh) | 图像压缩方法、编解码网络训练方法、装置及电子设备 | |
| JP3979020B2 (ja) | 圧縮画像のサンプリングを実行する画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |