CN111355965B - 一种基于深度学习的图像压缩还原方法及装置 - Google Patents

一种基于深度学习的图像压缩还原方法及装置 Download PDF

Info

Publication number
CN111355965B
CN111355965B CN202010130315.3A CN202010130315A CN111355965B CN 111355965 B CN111355965 B CN 111355965B CN 202010130315 A CN202010130315 A CN 202010130315A CN 111355965 B CN111355965 B CN 111355965B
Authority
CN
China
Prior art keywords
image
resolution
module
layer
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010130315.3A
Other languages
English (en)
Other versions
CN111355965A (zh
Inventor
邱宏旭
陆杰
吴海钢
朱泽丛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202010130315.3A priority Critical patent/CN111355965B/zh
Publication of CN111355965A publication Critical patent/CN111355965A/zh
Application granted granted Critical
Publication of CN111355965B publication Critical patent/CN111355965B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本申请提供了一种基于深度学习的图像压缩还原方法及装置,包括:将接收到的图像压缩后编码,得到图像的编码字符串;将编码字符串解码还原成初始还原图像;将初始还原图像输入预先构建的图像超分辨率模型获得高清还原图像。本申请解决了如何更有效地利用存储空间以降低存储成本以及如何在通信过程中更高效地传输这一关键性问题。

Description

一种基于深度学习的图像压缩还原方法及装置
技术领域
本申请属于深度学习和图像处理技术领域,具体地讲,设计一种基于深度学习的图像压缩还原方法及装置。
背景技术
现在,随着4K高分辨率图像与图像媒体数据的海量出现,人们对于存储空间的需求也与日俱增,并且,也给图像的高效传输带来了挑战。如何更有效地利用存储空间以降低存储成本以及如何在通信过程中更高效地传输是一个关键性问题。
发明内容
本申请提供了一种基于深度学习的图像压缩还原方法及装置,以至少解决现有的图像技术中,高清图像在传输及存储的时候占用了较大的空间导致传输效率下降的问题。
根据本申请的一个方面,提供了一种基于深度学习的图像压缩还原方法,包括:将接收到的图像压缩后编码,得到图像的编码字符串;
将编码字符串解码还原成初始还原图像;
将初始还原图像输入预先构建的图像超分辨率模型获得高清还原图像。
在一实施例中,将接收到的图像压缩后编码,得到图像的编码字符串,包括:
将接收到的图像按照JPEG标准进行压缩后进行下采样处理,获得处理图像;
将处理图像以字符串形式进行编码,得到编码字符串。
在一实施例中,将初始还原图像输入预先构建的图像超分辨率模型获得高清还原图像,包括:
在原始还原图像上划分若干通道,一个通道代表一个图像特征;
利用图像超分辨率模型对所述原始还原图像进行特征加工计算并维持梯度不发生弥散或爆炸现象;
扩大原始还原图像的分辨率,获得高清还原图像。
在一实施例中,图像超分辨率模型包括:
通道变换模块、残差模块、升采样模块、输出样模块和训练模块;
通道变换模块包括:第一卷积层、第一实例归一化层和第一激活层,用于提取图像特征;
残差模块包括:第二卷积层、第二激活层、捷径连接以及第二实例归一化层,用于解决图像特征的梯度弥散现象;
升采样模块包括:转置卷积层、第三实例归一化层和第三激活层,用于实现图像分辨率的扩大;
输出样模块包括:第四卷积层和第四激活层,用于控制图像数值;
训练模块包括:图像超分辨率网络和损失网络,用于训练图像超分辨率模型。
在一实施例中,图像超分辨率模型的训练方法具体为:
将训练图像通过图像超分辨率网络转换为高分辨率图像;
利用损失网络计算高分辨率图像与目标高清图像之间的欧几里得距离。
根据本申请的另一方面,还提供了一种基于深度学习的图像压缩还原的装置,包括:
压缩编码单元,用于将接收到的图像压缩后编码,得到图像的编码字符串;
初始还原单元,用于将编码字符串解码还原成初始还原图像;
高清还原单元,用于将初始还原图像输入预先构建的图像超分辨率模型获得高清还原图像。
在一实施例中,压缩编码单元包括:
压缩下采样处理模块,用于将接收到的图像按照JPEG标准进行压缩后进行下采样处理,获得处理图像;
编码模块,用于将处理图像以字符串形式进行编码,得到编码字符串。
在一实施例中,高清还原单元包括:
特征提取模块,用于在原始还原图像上划分若干通道,一个通道代表一个图像特征;
梯度维持模块,用于利用图像超分辨率模型对所述原始还原图像进行特征加工计算并维持梯度不发生弥散或爆炸现象;
分辨率扩大模块,用于扩大原始还原图像的分辨率,获得高清还原图像。
在一实施例中,图像超分辨率模型包括:
通道变换模块、残差模块、升采样模块、输出样模块和训练模块;
通道变换模块包括:第一卷积层、第一实例归一化层和第一激活层,用于提取图像特征;
残差模块包括:第二卷积层、第二激活层、捷径连接以及第二实例归一化层,用于解决图像特征的梯度弥散现象;
升采样模块包括:转置卷积层、第三实例归一化层和第三激活层,用于实现图像分辨率的扩大;
输出样模块包括:第四卷积层和第四激活层,用于控制图像数值;
训练模块包括:图像超分辨率网络和损失网络,用于训练图像超分辨率模型。
在一实施例中,图像超分辨率模型的训练装置具体包括:
图像超分辨率网络转换模块,用于将训练图像通过图像超分辨率网络转换为高分辨率图像;
损失网络计算模块,用于利用损失网络计算高分辨率图像与目标高清图像之间的欧几里得距离。
本申请通过下采样技术与JPEG标准相结合,将高清图像的分辨率大幅降低,并将分辨率降低后的图像使用编码技术进行压缩编码,以字符串的形式进行传输或保存,再利用深度学习技术构建图像超分辨率模型对图像进行还原,得到高分辨率的图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请提供的一种基于深度学习的图像压缩还原方法的流程图。
图2为本申请实施例中将接收到的图像压缩后编码的方法流程图。
图3为本申请实施例中图像超分辨率模型的结构图。
图4为本申请实施例中通道变换模块的结构图。
图5为本申请实施例中残差模块的结构图。
图6为本申请实施例中下采样模块的结构图。
图7为本申请实施例中输出模块的结构图。
图8为本申请实施例中训练模块的结构图。
图9为本申请提供的将初始还原图像输入预先构建的图像超分辨率模型获得高清还原图像的方法流程图。
图10为本申请提供的一种基于深度学习的图像压缩还原的结构框图
图11为本申请实施例中压缩编码单元的结构框图。
图12为本申请实施例中高清还原单元的结构框图。
图13为本申请实施例中图像超分辨率模型的训练装置的结构框图。
图14为本申请实施例中提供的一种电子设备的具体实施方式。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
鉴于背景技术中所提及的现有技术中的问题,本申请提供了一种基于深度学习的图像压缩还原方法,如图1所示,包括:
S101:将接收到的图像压缩后编码,得到图像的编码字符串。
在一具体实施例中,接收由终端发送的原始图像,对原始图像进行压缩后得到压缩图像,再对压缩图像采用算法进行编码,将图像转化为编码字符串的形式。
S102:将编码字符串解码还原成初始还原图像。
在一具体实施例中,当需要对图像进行还原时,将编码字符串从数据库中提取后,利用哈夫曼算法(Huffman Coding)解码还原成初始还原图像,此时的初始还原图像并不十分清晰,分辨率相比压缩前的原始图像而言也较低。
图1的执行主体可以为PC终端等,利用上述方法,实现了将图像进行编码以节省占用空间及利用深度学习技术将编码后的图像进行高清还原的效果。
S103:将初始还原图像输入预先构建的图像超分辨率模型获得高清还原图像。
在一具体实施例中,将S102中获得的初始还原图像输入基于深度学习技术构建的全卷积神经网络(即图像超分辨率模型)中,利用已训练完成的分类网络VGG16提取图像特征,构建图像特征之间的损失函数,实现了图像分辨率提升的同时保持图像的主观质量不降低的目的,达到了图像还原的功能。
在一实施例中,如图2所示,将接收到的图像压缩后编码,得到图像的编码字符串,包括:
S201:将接收到的图像按照JPEG标准进行压缩后进行下采样处理,获得处理图像。
在一具体实施例中,接收由终端发送的原始图像,对于JEG格式的原始图像,直接按JPG标准对原始图像进行压缩,对于非JPG格式的原始图像,按照JPEG标准对图像进行压缩以去除掉图像中的非重要信息,具体实施时,原始图像经过JPEG标准压缩后,压缩比可达1/8。然后,针对压缩后的图像进行下采样处理,在实际中,对压缩后的图像进行下采样处理可以使图像的分辨率下降为原来的1/4。
S202:将处理图像以字符串形式进行编码,得到编码字符串。
在一具体实施例中,可以通过将经过S201步骤处理后的图像使用哈夫曼算法进行编码,将图像编码为字符串形式,得到编码字符串。将图像转化为编码字符串使得图像在传输过程中能够提升传输效率。
在一实施例中,如图3所示,S103中所述的图像超分辨率模型包括:
通道变换模块100、残差模块200、升采样模块300、输出样模块400;
通道变换模块100包括:第一卷积层、第一实例归一化层和第一激活层,用于提取图像特征;
残差模块包括200:第二卷积层、第二激活层、捷径连接以及第二实例归一化层,用于解决图像特征的梯度弥散现象;
升采样模块包括300:转置卷积层、第三实例归一化层和第三激活层,用于实现图像分辨率的扩大;
输出样模块包括400:第四卷积层和第四激活层,用于控制图像数值;
在一具体实施例中,图像超分辨率模型还有一训练模块,训练模块包括:图像超分辨率网络和损失网络,用于训练图像超分辨率模型。
在一具体实施例中,图像超分辨率模型由3个通道变换模块100、5个残差模块200、2个升采样模块300、1个输出模块400和1个训练模块500构成。
如图4所示,为通道变换模块100的结构框图,通道变换模块100由卷积核大小为3×3、步长为1的卷积层101(第一卷积层)构成,如果使用hk表示卷积层的输入特征图,卷积层的卷积核Wk,偏置项为bk,那么该卷积层101的输出特征图为:
Figure BDA0002395603760000061
其中
Figure BDA0002395603760000062
为卷积操作。根据卷积层输出通道数量的不同可得到不同的特征图,一个通道数量对应一个特征图。假设输出通道数为32,输入一张大小为N×M×3的图像,经过卷积计算后,输出特征图大小为N×M×32。
为了加速深度神经网络的训练,提升网络性能,在卷积层后增加实例归一化层102(Instance Normalization,简称IN)。假设输入实例归一化层102(第一实例归一化层)的特征图x大小为H×W×C,C为通道数:
Figure BDA0002395603760000063
其中γ和β均为可训练的变量,μ(x)和σ(x)计算的是每个样本中每个单独通道的均值和标准差:
Figure BDA0002395603760000064
Figure BDA0002395603760000065
其中ε为极小值。
选用ReLU(Rectified Linear unit)103作为该模块的激活函数(第一激活层),归一化结果经激活函数计算后作为整个模块的输出:
f(x)=max(0,x)
本实施例中的图像超分辨率模型包含3个通道变换模块100,所以,各通道变换模块100的输出通道数量依次为32、64和128。
图5为残差模块200的结构框图,如图5所示,残差结构是为解决梯度弥散现象而提出的,残差模块200的输出为:
y=IN(F(x,{Wi})+x)
其中x和y分别表示模块的输入输出,F(x,{Wi})则为残差映射,残差映射由卷积层201、卷积层203(卷积层201和卷积层203均为第二卷积层)、ReLU激活层202(第二激活层)以及捷径连接204组成,残差映射的经过经实例归一化层205(第二实例归一化层)以及ReLU激活层206(第二激活层)处理后得到整个模块的输出,模块的输入输出特征图通道数保持128不变。残差模块与一般的卷积不同在于,模块的输入到输出之间多了一条捷径连接204,正因为这条捷径连接的存在,网络在反向传播时梯度能够通过这条捷径传播到更浅层的网络,使梯度不消失,解决梯度弥散的问题。
图6为升采样模块300的结构框图,如图6所示,升采样模块300与通道变换模块100类似,唯一不同的地方在于升采样模块300的卷积层的步长为1/2,即转置卷积301。转置卷积301的运算过程如图6右侧所示。转置卷积301卷积核大小为3×3,输入特征图大小为2×2,输出特征图大小为4×4,整个过程相当于对输入特征图使用0值进行填充,随后进行常规卷积,实现输出大小是输入的两倍,达到升采样的目的。随后紧跟实例归一化层302(第三实例归一化层)与ReLU激活层303(第三激活层)计算得到整个模块的输出。整个图像超分辨率网络共包含2个升采样模块,因此,两个升采样模块的输出通道数分别为64和32,从而实现了图像分辨率扩大4倍。
图7为输出模块400的结构框图,如图7所示,该模块由卷积核大小为3×3、步长为1、输出通道数为3的卷积层401(第四卷积层)构成,卷积层的输出经过tanh激活层402(第四激活层),经过计算后实现控制图像的输出值在0至255之间,符合图像数值的要求。计算过程如下:
y=[tanh(x)+1]×(255÷2)
其中,y表示模块的输出。
图8为本申请的训练模块500的结构框图,训练模块500用于对图像超分辨率模型进行训练。
如图8所示,整个训练系统由两部分构成,一部分是图像超分辨率网络fW(502),另一部分是用于定义损失函数的l的损失网络
Figure BDA0002395603760000071
其中损失网络为图像分类领域的预先训练好的VGG16网络。图像超分辨率网络505是权值W参数化的网络深度神经网络,它通过映射y=fW(x)将低分辨率图像x(501)转换为高分辨率图像y(504)。损失函数l(y,yt)用来衡量输出图像y与目标高清图像yt(503)之间的不同。图像超分辨率网络(502)使用随机梯度下降算法最小化损失函数的值,随机梯度下降算法如下所示:
Figure BDA0002395603760000081
损失函数的作用是使图像超分辨率网络的输出图像y与目标图像yt在损失网络
Figure BDA0002395603760000082
中具有相似的特征表示。使用
Figure BDA0002395603760000083
表示损失网络
Figure BDA0002395603760000084
在处理图像时ReLU2_2层的特征图,即第四个卷积层经过激活函数ReLU的输出特征图,其大小为C×H×W。因此,损失函数的值为损失网络(505)在处理输出图像y(504)
Figure BDA0002395603760000085
与目标图像yt(503)
Figure BDA0002395603760000086
时特征图之间的欧几里得距离:
Figure BDA0002395603760000087
针对训练集中的图像,切分成大小为288×288的图像块作为目标图像yt(503),对切分后的图像使用标准差为σ=1.0的高斯核(Gaussian kernel)进行模糊处理,再对模糊图像进行4倍降采样处理得到低分辨率图像,将该低分辨率图像作为图像超分辨率网络的S501输入图像x以此进行训练。
在一实施例中,如图9所示,将初始还原图像输入预先构建的图像超分辨率模型获得高清还原图像,包括:
S901:在原始还原图像上划分若干通道,一个通道代表一个图像特征。
在一具体实施例中,通道变换模块100用于增加图像的通道数,一个通道即代表一个特征,因此,通道越多,特征越多,提取的图像特征越细。通道变换模块100由卷积核大小为3×3、步长为1的卷积层101(第一卷积层)构成。根据卷积层输出通道数量的不同可得到不同的特征图,一个通道数量对应一个特征图,假设通道变换模块100在原始还原图像上划分出的通道数为32,那么会输出32个特征图。
S902:利用图像超分辨率模型对所述原始还原图像进行特征加工计算并维持梯度不发生弥散或爆炸现象。
在一具体实施例中,残差模块用于代替单一卷积层,可以维持深度学习网络的梯度,使深度学习网络的梯度不消失,解决深度学习网络发生梯度弥散或爆炸的问题,使图像超分辨率模型中的层数尽可能减少从而减少运算过程中涉及的参数,提升模型的运算效率,使模型更便于训练,从总体上提升模型的抽取能力。
S903:扩大原始还原图像的分辨率,获得高清还原图像。
在一具体实施例中,利用升采样模块扩大原始还原图像的分辨率,具体的扩大分辨率的方法详见图6中的实施例。
基于同一发明构思,本申请实施例还提供了一种基于深度学习的图像压缩还原的装置,可以用于实现上述实施例中所描述的方法,如下面实施例所述。由于该基于深度学习的图像压缩还原的装置解决问题的原理与基于深度学习的图像压缩还原方法相似,因此基于深度学习的图像压缩还原装置的实施可以参见基于深度学习的图像压缩还原方法的实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
如图10所示,一种基于深度学习的图像压缩还原的装置,包括:
压缩编码单元1001,用于将接收到的图像压缩后编码,得到图像的编码字符串;
初始还原单元1002,用于将编码字符串解码还原成初始还原图像;
高清还原单元1003,用于将初始还原图像输入预先构建的图像超分辨率模型获得高清还原图像。
在一实施例中,如图11所示,压缩编码单元1001包括:
压缩下采样处理模块1101,用于将接收到的图像按照JPEG标准进行压缩后进行下采样处理,获得处理图像;
编码模块1102,用于将处理图像以字符串形式进行编码,得到编码字符串。
在一实施例中,如图12所示,高清还原单元1003包括:
特征提取模块1201,用法语在原始还原图像上划分若干通道,一个通道代表一个图像特征;
梯度维持模块1202,用于利用图像超分辨率模型对所述原始还原图像进行特征加工计算并维持梯度不发生弥散或爆炸现象;
分辨率扩大模块1203,用于扩大原始还原图像的分辨率,获得高清还原图像。
在一实施例中,如图13所示,图像超分辨率模型的训练装置具体包括:
图像超分辨率网络转换模块1301,用于将训练图像通过图像超分辨率网络转换为高分辨率图像;
损失网络计算模块1302,用于利用损失网络计算高分辨率图像与目标高清图像之间的欧几里得距离。
本申请提供了一种基于深度学习的图像压缩还原方法及装置,相比于现有技术,本申请不仅通过图像以编码字符串的形式存在的方式降低了图像所需的存储空间,方便了图像的传输及存储,还利用深度学习技术建立了模型,还原压缩后的图像的分辨率,保证了图像的质量不因压缩而导致降低。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
本申请的实施例还提供能够实现上述实施例中的方法中全部步骤的一种电子设备的具体实施方式,参见图14,所述电子设备具体包括如下内容:
处理器(processor)1401、内存1402、通信接口(Communications Interface)1403、总线1404和非易失性存储器1405;
其中,所述处理器1401、内存1402、通信接口1403通过所述总线1404完成相互间的通信;
所述处理器1401用于调用所述内存1402和非易失性存储器1405中的计算机程序,所述处理器执行所述计算机程序时实现上述实施例中的方法中的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
S101:将接收到的图像压缩后编码,得到图像的编码字符串。
S102:将编码字符串解码还原成初始还原图像。
S103:将初始还原图像输入预先构建的图像超分辨率模型获得高清还原图像。
本申请的实施例还提供能够实现上述实施例中的方法中全部步骤的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
S101:将接收到的图像压缩后编码,得到图像的编码字符串。
S102:将编码字符串解码还原成初始还原图像。
S103:将初始还原图像输入预先构建的图像超分辨率模型获得高清还原图像。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于硬件+程序类实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。虽然本说明书实施例提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或终端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境,甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下,并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现,也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。以上所述仅为本说明书实施例的实施例而已,并不用于限制本说明书实施例。对于本领域技术人员来说,本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书实施例的权利要求范围之内。

Claims (10)

1.一种基于深度学习的图像压缩还原方法,其特征在于,包括:
将接收到的图像压缩后编码,得到图像的编码字符串;
将所述编码字符串解码还原成初始还原图像;
将所述初始还原图像输入预先构建的图像超分辨率模型获得高清还原图像;
所述图像超分辨率模型包括:
通道变换模块、残差模块、升采样模块、输出样模块和训练模块;
所述通道变换模块包括:第一卷积层、第一实例归一化层和第一激活层,用于提取图像特征;
所述残差模块包括:第二卷积层、第二激活层、捷径连接以及第二实例归一化层,用于解决图像特征的梯度弥散现象;
所述升采样模块包括:转置卷积层、第三实例归一化层和第三激活层,用于实现图像分辨率的扩大;
所述输出样模块包括:第四卷积层和第四激活层,用于控制图像数值;
所述训练模块包括:图像超分辨率网络和损失网络,用于训练所述图像超分辨率模型。
2.根据权利要求1所述的图像压缩还原方法,其特征在于,所述将接收到的图像压缩后编码,得到图像的编码字符串,包括:
将接收到的图像按照JPEG标准进行压缩后进行下采样处理,获得处理图像;
将所述处理图像以字符串形式进行编码,得到编码字符串。
3.根据权利要求1所述的图像压缩还原方法,其特征在于,所述将所述初始还原图像输入预先构建的图像超分辨率模型获得高清还原图像,包括:
在所述初始还原图像上划分若干通道,一个所述通道代表一个图像特征;
利用图像超分辨率模型对所述初始还原图像进行特征加工计算并维持梯度不发生弥散或爆炸现象;
扩大所述原始还原图像的分辨率,获得所述高清还原图像。
4.根据权利要求1所述的图像压缩还原方法,其特征在于,所述图像超分辨率模型的训练方法具体为:
将训练图像通过所述图像超分辨率网络转换为高分辨率图像;
利用所述损失网络计算所述高分辨率图像与目标高清图像之间的欧几里得距离。
5.一种基于深度学习的图像压缩还原装置,其特征在于,包括:
压缩编码单元,用于将接收到的图像压缩后编码,得到图像的编码字符串;
初始还原单元,用于将所述编码字符串解码还原成初始还原图像;
高清还原单元,用于将所述初始还原图像输入预先构建的图像超分辨率模型获得高清还原图像;所述图像超分辨率模型包括:
通道变换模块、残差模块、升采样模块、输出样模块和训练模块;
所述通道变换模块包括:第一卷积层、第一实例归一化层和第一激活层,用于提取图像特征;
所述残差模块包括:第二卷积层、第二激活层、捷径连接以及第二实例归一化层,用于解决图像特征的梯度弥散现象;
所述升采样模块包括:转置卷积层、第三实例归一化层和第三激活层,用于实现图像分辨率的扩大;
所述输出样模块包括:第四卷积层和第四激活层,用于控制图像数值;
所述训练模块包括:图像超分辨率网络和损失网络,用于训练所述图像超分辨率模型。
6.根据权利要求5所述的图像压缩还原装置,其特征在于,所述压缩编码单元包括:
压缩下采样处理模块,用于将接收到的图像按照JPEG标准进行压缩后进行下采样处理,获得处理图像;
编码模块,用于将所述处理图像以字符串形式进行编码,得到编码字符串。
7.根据权利要求5所述的图像压缩还原装置,其特征在于,所述高清还原单元包括:
特征提取模块,用于在所述初始还原图像上划分若干通道,一个所述通道代表一个图像特征;
梯度维持模块,用于利用图像超分辨率模型对所述初始还原图像进行特征加工计算并维持梯度不发生弥散或爆炸现象;
分辨率扩大模块,用于扩大所述原始还原图像的分辨率,获得所述高清还原图像。
8.根据权利要求7所述的图像压缩还原装置,其特征在于,图像超分辨率模型的训练装置具体包括:
图像超分辨率网络转换模块,用于将训练图像通过所述图像超分辨率网络转换为高分辨率图像;
损失网络计算模块,用于利用所述损失网络计算所述高分辨率图像与目标高清图像之间的欧几里得距离。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至4中任意一项所述基于深度学习的图像压缩还原方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至4中任一项所述基于深度学习的图像压缩还原方法。
CN202010130315.3A 2020-02-28 2020-02-28 一种基于深度学习的图像压缩还原方法及装置 Active CN111355965B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010130315.3A CN111355965B (zh) 2020-02-28 2020-02-28 一种基于深度学习的图像压缩还原方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010130315.3A CN111355965B (zh) 2020-02-28 2020-02-28 一种基于深度学习的图像压缩还原方法及装置

Publications (2)

Publication Number Publication Date
CN111355965A CN111355965A (zh) 2020-06-30
CN111355965B true CN111355965B (zh) 2022-02-25

Family

ID=71195897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010130315.3A Active CN111355965B (zh) 2020-02-28 2020-02-28 一种基于深度学习的图像压缩还原方法及装置

Country Status (1)

Country Link
CN (1) CN111355965B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112714313A (zh) * 2020-12-25 2021-04-27 创新奇智(合肥)科技有限公司 图像处理方法、装置、设备和存储介质
WO2023166621A1 (ja) * 2022-03-02 2023-09-07 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法、および、プログラム
WO2024007977A1 (zh) * 2022-07-07 2024-01-11 维沃移动通信有限公司 图像处理方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177015A (zh) * 2011-12-22 2013-06-26 腾讯科技(深圳)有限公司 网页图像展示方法和系统
CN109495741A (zh) * 2018-11-29 2019-03-19 四川大学 基于自适应下采样和深度学习的图像压缩方法
CN110246085A (zh) * 2019-05-21 2019-09-17 桂林电子科技大学 一种单图像超分辨率方法
JP2019204167A (ja) * 2018-05-21 2019-11-28 日本放送協会 画像超解像装置およびそのプログラム、ならびに、パラメータ学習装置およびそのプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10648924B2 (en) * 2016-01-04 2020-05-12 Kla-Tencor Corp. Generating high resolution images from low resolution images for semiconductor applications
US11024009B2 (en) * 2016-09-15 2021-06-01 Twitter, Inc. Super resolution using a generative adversarial network
US11010872B2 (en) * 2019-04-29 2021-05-18 Intel Corporation Method and apparatus for person super resolution from low resolution image
CN110020989B (zh) * 2019-05-23 2022-06-28 西华大学 一种基于深度学习的深度图像超分辨率重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177015A (zh) * 2011-12-22 2013-06-26 腾讯科技(深圳)有限公司 网页图像展示方法和系统
JP2019204167A (ja) * 2018-05-21 2019-11-28 日本放送協会 画像超解像装置およびそのプログラム、ならびに、パラメータ学習装置およびそのプログラム
CN109495741A (zh) * 2018-11-29 2019-03-19 四川大学 基于自适应下采样和深度学习的图像压缩方法
CN110246085A (zh) * 2019-05-21 2019-09-17 桂林电子科技大学 一种单图像超分辨率方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的图像超分辨率重建技术研究;崔顺;《中国优秀硕士学位论文全文数据库(电子期刊)》;20180415;全文 *

Also Published As

Publication number Publication date
CN111355965A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
CN111355965B (zh) 一种基于深度学习的图像压缩还原方法及装置
CN113014927B (zh) 图像压缩方法和图像压缩装置
CN109949222B (zh) 基于语义图的图像超分辨率重建方法
CN114581544A (zh) 图像压缩方法、计算机设备及计算机存储介质
CN111988609A (zh) 图像编码装置、概率模型生成装置和图像解码装置
CN107454412A (zh) 一种视频图像的处理方法、装置及系统
CN112802139A (zh) 一种图像处理方法、装置、电子设备及可读存储介质
CN111754405A (zh) 图像降分辨率及复原方法、设备及可读存储介质
CN111696026B (zh) 基于l0正则项的可逆灰度图算法、计算设备
CN112132158A (zh) 一种基于自编码网络的可视化图片信息嵌入方法
CN115661635A (zh) 基于Transformer融合卷积神经网络的高光谱图像重建方法
CN114598886A (zh) 一种图像编码的方法、解码的方法及相关装置
CN111698508B (zh) 基于超分辨率的图像压缩方法、设备及存储介质
CN116630131A (zh) 屏幕隐形水印的编码、解码系统及方法
CN116977169A (zh) 数据处理方法、装置、设备、可读存储介质及程序产品
CN115866252A (zh) 一种图像压缩方法、装置、设备及存储介质
CN115776571A (zh) 一种图像压缩方法、装置、设备及存储介质
CN115908205A (zh) 图像修复方法、装置、电子设备和存储介质
CN115294222A (zh) 图像编码方法及图像处理方法、终端及介质
CN113038134B (zh) 一种图片处理方法、智能终端及存储介质
CN112053285A (zh) 图像处理方法、装置、计算机设备及存储介质
CN113949867B (zh) 一种图像处理的方法及装置
CN114493971A (zh) 媒体数据转换模型训练、数字水印嵌入方法和装置
CN115187775A (zh) 一种遥感图像语义分割方法及装置
Shen et al. Itsrn++: Stronger and better implicit transformer network for continuous screen content image super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant