CN114979665A - 图像压缩方法、装置、电子设备和存储介质 - Google Patents

图像压缩方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN114979665A
CN114979665A CN202210515370.3A CN202210515370A CN114979665A CN 114979665 A CN114979665 A CN 114979665A CN 202210515370 A CN202210515370 A CN 202210515370A CN 114979665 A CN114979665 A CN 114979665A
Authority
CN
China
Prior art keywords
image
compressed
preset
image compression
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210515370.3A
Other languages
English (en)
Inventor
张墨琪
邓伟辉
李小成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202210515370.3A priority Critical patent/CN114979665A/zh
Publication of CN114979665A publication Critical patent/CN114979665A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开实施例公开了一种图像压缩方法、装置、系统、电子设备及存储介质,其中,方法包括:获取待压缩图像;将所述待压缩图像输入到预设图像压缩模型中,得到与所述待压缩图像对应的目标压缩图像;其中,所述预设图像压缩模型的模型训练样本对包括原始样本图像和压缩样本图像,其中,所述压缩样本图像是采用预设图像编解码器对所述原始样本图像进行压缩处理得到的图像。本公开实施例公开的技术方案,解决了图像编解码器进行图像压缩处理耗时长的问题,实现了图像编解码器的网络化,提高图像压缩的效率。

Description

图像压缩方法、装置、电子设备和存储介质
技术领域
本公开实施例涉及人工智能技术领域,尤其涉及一种图像压缩方法、装置、电子设备和存储介质。
背景技术
Guetzli编码器的算法实现过程是一个对目标处理图像进行迭代优化的过程,在对图像进行压缩的过程中尽量保留了视觉信息,能够得到质量损失小且压缩率在20-30%编码图像。
但是,Guetzli编码器在处理图像的过程中,需要在迭代过程中探索最优解,耗时较长,特别是对于偏大的图像,Guetzli的编解码过程对CPU需求较大,不仅耗时长还会占用较大的内存,导致在实际应用中,无法满足线上需求。
发明内容
本公开提供一种图像压缩方法、装置、电子设备和存储介质,以实现预设图像编解码器的网络化,更高效的实现预设图像编解码器的图像压缩效果。
第一方面,本公开实施例提供了一种图像压缩方法,该方法包括:
获取待压缩图像;
将所述待压缩图像输入到预设图像压缩模型中,得到与所述待压缩图像对应的目标压缩图像;
其中,所述预设图像压缩模型的模型训练样本对包括原始样本图像和压缩样本图像,其中,所述压缩样本图像是采用预设图像编解码器对所述原始样本图像进行压缩处理得到的图像。
第二方面,本公开实施例还提供了一种图像压缩装置,该装置包括:
图像获取模块,用于获取待压缩图像;
图像压缩模块,用于将所述待压缩图像输入到预设图像压缩模型中,得到与所述待压缩图像对应的目标压缩图像;
其中,所述预设图像压缩模型的模型训练样本对包括原始样本图像和压缩样本图像,其中,所述压缩样本图像是采用预设图像编解码器对所述原始样本图像进行压缩处理得到的图像。
第三方面,本公开实施例还提供了一种电子设备,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本公开实施例任一所述的图像压缩方法。
第四方面,本公开实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的图像压缩方法。
本公开实施例,通过在获取待压缩图像之后,将待压缩图像输入到预设图像压缩模型中,得到与待压缩图像对应的目标压缩图像;其中,预设图像压缩模型是基于各原始样本图像和各原始样本图像经过预设图像编解码器压缩处理后的压缩图像组成的样本对组成的样本集合训练生成的模型,那么预设图像压缩模型就相应的具有了预设图像编解码器的图像压缩功能,解决了图像编解码器进行图像压缩处理耗时长的问题,实现了预设图像编解码器的网络化,可以提高图像压缩的效率。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
图1是本公开实施例所提供的一种图像压缩方法流程示意图;
图2是本公开实施例所提供的一种图像压缩方法流程示意图;
图3是本公开实施例所提供的一种预设图像压缩网络结构示意图;
图4是本公开实施例所提供的一种预设图像压缩网络结构示意图;
图5是本公开实施例所提供的一种图像压缩方法流程示意图;
图6是本公开实施例所提供的一种图像压缩模型训练全过程示意图;
图7是本公开实施例所提供的一种图像压缩方法流程示意图;
图8是本公开实施例所提供的一种图像压缩后失真示意图;
图9是本公开实施例所提供的一种图像压缩模型训练全过程示意图;
图10是本公开实施例所提供的一种图像压缩装置结构示意图;
图11是本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
可以理解的是,本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
图1为本公开实施例所提供的一种图像压缩方法的流程示意图,本公开实施例适用于对图像进行压缩处理的情形,该方法可以由图像压缩装置来执行,该装置可以通过软件和/或硬件的形式实现,可选的,通过电子设备来实现,该电子设备可以是移动终端、PC端或服务器等。
如图1所示,所述图像压缩方法包括:
S110、获取待压缩图像。
其中,待压缩图像可以是在任意场景下有压缩需求的图像,例如,在社交媒体应用中,需要进行图像压缩后传输的情况,先要对待压缩图像进行图像压缩处理,直到满足预设的图像大小传输标准时,才能进一步的实现图像传输或交互。
S120、将所述待压缩图像输入到预设图像压缩模型中,得到与所述待压缩图像对应的目标压缩图像。
其中,预设图像压缩模型的模型训练样本对包括原始样本图像和压缩样本图像,而压缩样本图像是采用预设图像编解码器对原始样本图像进行压缩处理得到的图像。即预设图像压缩模型是基于预设的模型训练样本对组成的样本集合训练生成的模型,预设图像压缩模型是对预设图像编解码器的网络化结果,具备预设图像编码器的图像压缩功能,能够实现与预设图像编码器相同的图像压缩效果。从而,预设图像压缩模型可以快速高效地实现图像的压缩,克服了预设图像编解码器在线使用的时效性低以及内存需求高的缺点。具体的,预设图像编解码器可以是在图像压缩领域中的任意图像编解码器,如Guetzli、HEVC或Webp等图像编解码器。
在一种可选的实施方式中,预设图像压缩模型包括图像预处理模块、图像压缩模块以及图像整合模块。在预设图像压缩模型对待压缩图像进行压缩的过程中,首先,由图像预处理模块,对待压缩图像进行图像预处理,得到预设尺寸的多个子待压缩图像块。这是由于不同用户上传的待压缩图像的尺寸差异性较大,而且不同设备型号以及不同的图像压缩场景下没有固定的图像尺寸。因此,先通过图像的预处理过程对待处理图像进行边缘填充,得到目标尺寸图像,其中,目标尺寸是指能够按照预设尺寸进行整切的图像,也就是说目标尺寸于预设尺寸在对应维度上成整数倍关系,不同待处理图像的目标尺寸可能是相同的,也可能是不同的;再将经过边缘填充的目标尺寸图像按照预设尺寸进行切割,得到预设尺寸的一个或多个子待压缩图像块,可以使输入到图像压缩模块的图像是尺寸统一的子待压缩图像块。然后,在得到待压缩图像对应的一个或多个子待压缩图像块之后,便分别将各子待压缩图像块输入到图像压缩模块的预设图像压缩神经网络中进行图像压缩,得到对应的子图像压缩结果。最终,由图像整合模块将各子图像压缩结果进行图像拼接,得到与预设图像编码解码器的图像压缩效果相同的目标压缩图像。
可以理解的是,位图图像是像素的集合,其基本单元为像素,每个像素信息的表示格式通常采用RGB或YUV方式进行表述。不同的图像编解码器对图像进行编解码处理时,会基于不同表示格式的像素信息进行处理。因此,在使用预先训练好的预设图像压缩模型进行图像压缩时,要考虑到待压缩图像与该预设模型图像压缩模型所适配的图像像素信息表示格式是否一致。也就是说,在将待压缩图像输入到预设图像压缩模型之前,当待压缩图像的第一像素信息表示格式和与预设图像压缩模型适配的第二像素信息表示格式不同时,将待压缩图像的像素信息表示格式转换为第二像素信息表示格式;相应的,在得到目标压缩图像之后,还要将目标压缩图像的像素信息表示格式转换为第一像素信息表示格式;其中,第二像素信息表示格式为与预设图像编解码器适配的像素信息表示格式。示例性的,Guetzli编解码器是基于图像像素的YUV信息进行图像处理的,将Guetzli编解码器网络化得到的预设图像编解码器的输入图像则为通过YUV格式表示的像素信息。若待压缩图像的像素信息表示格式为RGB格式,则需要进行像素信息表示格式的转换。
本公开实施例的技术方案,通过在获取待压缩图像之后,将待压缩图像的像素表示格式转换为与预设图像编解码器对应的像素表示格式;然后,将经过格式转换的待压缩图像输入到预设图像压缩模型中,得到与待压缩图像对应的目标压缩图像;其中,预设图像压缩模型是基于各原始样本图像和各原始样本图像经过预设图像编解码器压缩处理后的压缩图像组成的样本对组成的样本集合训练生成的模型,那么预设图像压缩模型就相应的具有了预设图像编解码器的图像压缩功能,解决了图像编解码器进行图像压缩处理耗时长的问题,实现了预设图像编解码器的网络化,可以提高图像压缩的效率。
图2为本公开实施例所提供的又一图像压缩方法的流程示意图,在实现该方法流程的过程中,进一步的描述了图像压缩模型的训练过程,并对模型的结构进行了详细的介绍。该图像压缩方法的具体技术内容可以与上述的图像压缩方法进行结合。该方法可以由图像压缩装置来执行,该装置可以通过软件和/或硬件的形式实现,可选的,通过电子设备来实现,该电子设备可以是移动终端、PC端或服务器等。
如图2所示,所述图像压缩方法包括:
S210、获取多个原始样本图像,并将各所述原始样本图像分别输入到预设图像编解码器,得到对应的配对压缩图像,分别将各所述原始样本图像与对应的配对压缩图像作为一组样本对,得到第一样本集合。
原始样本图像可以是在各个应用场景下收集到的图像,如头像、视频封面图以及各种主题图集中的图像,各原始样本图像通常以无损压缩的格式(如PNG)进行存储。进一步的,分别将每一张原始样本图像输入到预设图像编解码器中,便可以得到对应的压缩图像,组成相应的样本对。其中,预设图像编解码器为进行网络化的目标图像编解码器。
S220、基于所述第一样本集合对图像压缩模型进行训练,得到第一图像压缩模型。
对图像压缩模型进行训练,即对图像压缩模型中的图像压缩模块的预设图像压缩神经网络进行训练。在一种可选的实施方式中,预设图像压缩神经网络的结构为图3所示的网络结构。
具体的,图3所示的网络结构,是在经典的图像分割模型U-net的基础上,加入多任务学习的结构。预设图像压缩神经网络的编码器部分为多个任务共享的上层特征学习的阶段,在解码部分不同的学习解耦为独立的任务。经过图像预处理的原始样本图像块输入初始图像压缩神经网络后,会经过三次上采样进行特征提取,得到样本编码特征。然后,样本编码特征分别输入到两个任务分支中分别进行学习。两个学习任务共享底层学习的编码器(特征提取部分),在顶层部分用单独的两个解码器分别学习不同的目标。这样的结构,可在训练阶段增大模型对于重要特征的权重,从而提高模型的特征提取能力。同时,因为共享底层,在提取特征时避免了过拟合的现象,提升模型的泛化能力。
进一步的,在此网络结构中的两个学习任务中,任务一为图像压缩的任务,以原始样本图像块对应的经过预设图像编解码器处理的压缩图像块作为期望输出,以均方误差(Mean Square Error,MSE)损失函数作为任务一的学习质量评估。任务二为辅助学习的任务,选取图像质量等于或高于原始样本图像的图像,即原图或经过超分辨率处理后的图像作为期望输出,同样选择MSE损失函数作为任务二的学习质量评估。在多任务学习的过程中,采用了残差学习机制,使每个下采样都后接一个尺寸填充的卷积层,每个上采样都接一个拼接层和两层同尺寸填充卷积层,可以减少下采样过程中的信息损失。可选的,所有卷积层的最后一层采用1x1卷积核,除最后一层之外的其他卷积层均采用3x3的卷积核。
该预设图像压缩神经网络的训练过程,具体包括:首先,将经过图像预处理的模型训练样本对中的原始样本图像块输入到初始图像压缩网络中的编码器中进行特征提取,得到样本编码特征;然后,基于第一预设解码器(任务一)对样本编码特征进行特征解码处理,得到初步压缩图像块,并基于初步压缩图像块和与原始样本图像块对应的经过预设图像编解码器压缩处理后的压缩图像块计算第一损失函数;同时,基于第二预设解码器(任务二)对样本编码特征进行特征解码处理,得到初步重建图像块,并基于初步重建图像块和原始样本图像块或与原始样本图像块对应的高分辨率原始图像块计算第二损失函数;进而根据第一损失函数和第二损失函数的结果迭代更新初始图像压缩网络,当第一损失函数和第二损失函数的加权和值满足预设收敛条件时,完成模型训练过程,得到预设图像压缩神经网络。
预设图像压缩神经网络的损失函数可表示为:L1=∑nnMES(I,Pn)),其中,n为多任务学习中的任务数,输入的原始图像为I,任务一的输出图像为P1,任务二的输出图像为P2,并采用反向梯度传播来学习压缩的像素点。P1将作为待压缩图像对应的压缩结果。预设图像压缩神经网络与图像预处理模块和图像整合模块组合即可得到第一图像压缩模型。
S230、获取待压缩图像,并将所述待压缩图像输入到所述第一图像压缩模型中,得到与所述待压缩图像对应的目标压缩图像。
在训练得到第一图像压缩模型的使用过程中,可以将获取到的待压缩图像直接输入到第一图像压缩模型中,得到对应的目标压缩图像。
S240、将所述目标压缩图像作为所述待压缩图像的预压缩图像,输入至所述预设图像压缩模型和/或与预设图像压缩格式对应的图像编解码器中进行图像压缩,得到最终压缩图像。
在一种优选的实施方式中,还可以将得到的目标压缩图像作为待压缩图像的预压缩图像,这是由于利用神经网络去学习像素点之间的关联,从而从根本意义上找到了像素点中的冗余,加之第一图像压缩模型输出的是以像素点为单位的多维数组。因此,目标压缩图像自身可以进行多次循环压缩,也可后接任意传统编解码器(HEVC/Webp等),做混合叠加压缩的处理可以在一定程度上解决了传统编解码器多次压缩无效,甚至质量劣化严重的问题。示例性的,可以将目标压缩图像作为待压缩图像输入到第一图像压缩模型中,得到新的图像压缩结果,甚至还可以将新的图像压缩结果再次作为待压缩图像输入到第一图像压缩模型中。此外,还可以将目标压缩图像作为待压缩图像输入到HEVC或Webp等非神经网络压缩模型的图像编解码器中,得到对应的图像压缩结果。
在另一种可选的实施方式中,在得到第一样本集合之后,还可以对各原始样本图像的配对压缩图像进行图像优化处理,得到压缩后优化图像,分别将各所述原始样本图像与对应的压缩后优化图像作为一组样本对,得到第二样本集合。进而,基于第二样本集合对图像压缩模型进行训练,得到第二图像压缩模型。因此,第二图像压缩模型输出的图像压缩结果为图像质量更高的目标压缩图像。其中,图像优化处理的方法可以采用任意单个或组合形式的图像优化方法,包括去压缩失真处理,如去噪、平滑及去马赛克,以及图像纹理强化、图像清晰度调整、图像锐化等操作,可以通过预设的图像质量评测标准,选择最优的处理方法。
特别的,在使用第二样本集合进行图像压缩模型训练时,可以采用更简单的网络结构,以减少模型中的参数量,降低算法复杂性,减少图像压缩过程中对运行内存的占用。因为图像压缩模型的期望输出本身就是经过优化的模型了,无需采用多任务学习网络进行辅助图像压缩学习。示例性的,在使用第二样本集合进行图像压缩模型训练时,可以采用如图4所示的网络结构。预设图像压缩模型中的预设图像压缩神经网络为设置有残差学习机制的网络,如U-net。即在经典的U-net模型中设置了三次上采样和下采样,并且在每次上采样后,都会与相同尺寸的特征图进行通道上的拼接。特征拼接可以弥补下采样时损失的纹理特征,帮助综合上下文的信息,将核心的低频特征和高频特征相结合,更有利于图像的学习。
本公开实施例的技术方案,通过采集到一定数量的原始图像样本之后,采用预设图像编解码器继续图像压缩处理,得到与之配对的压缩图像构建第一样本集合,还可以在第一样本集合上进一步的进行样本优化得到第二样本集合。可以采用第一或第二样本集合进行图像压缩模型的训练得到最终的图像压缩模型。在获取待压缩图像之后,将经过格式转换的待压缩图像输入到预设图像压缩模型中,得到与待压缩图像对应的目标压缩图像;还可以进一步的将目标压缩图像作为预压缩图像进行多次循环压缩以进一步减小图像尺寸,解决了图像编解码器进行图像压缩处理耗时长的问题,实现了预设图像编解码器的网络化,可以提高图像压缩的效率。
图5为本公开实施例所提供的又一种图像压缩方法的流程示意图,在实现该方法流程的过程中,进一步的描述了当预设图像编解码器为Guetzli编解码器时图像压缩方法,以及图像压缩模型的训练过程。该流程图中所示的图像压缩方法可以与上述的各个图像压缩方案进行结合,以形成更多的图像压缩方案。该方法可以由图像压缩装置来执行,该装置可以通过软件和/或硬件的形式实现,可选的,通过电子设备来实现,该电子设备可以是移动终端、PC端或服务器等。
如图5所示,所述图像压缩方法包括:
S310、获取多个原始样本图像,并将各所述原始样本图像分别输入到Guetzli编解码器,得到对应的Guetzli压缩图像,分别将各所述原始样本图像与对应的Guetzli压缩图像作为一组样本对,得到第一样本集合。
Guetzli编解码器的图像压缩算法可在编码图片质量损失很小的同时,图像大小减少20-30%。同时,因为Guetzli图像编解码器输出的图片格式为JPEG,有较高的兼容性,适用场景范围更广。而且,Guetzli图像编解码器在图像压缩过程中,使用亮度和色度量化表来削弱图像中的高频信息,保留了JPEG图像压缩的色彩空间变换,使输出的压缩图像有更佳的主观视觉效果。因此,在本实施例中选择Guetzli编解码器作为网络化的目标编解码器,从而可以得到一个图像压缩效率高且图像质量损失小,压缩结果图像又能够有更高兼容性的图像压缩网络。
在本步骤中,在获取到原始样本图像后,将各原始样本图像分别输入到Guetzli编解码器,得到对应的Guetzli压缩图像,构造样本对,从而得到第一样本集合,用于后续的图像压缩模型的训练。
S320、基于所述第一样本集合对图像压缩模型进行训练,得到第一图像压缩模型。
其中,第一图像压缩模型包括图像预处理模块、图像压缩模块以及图像整合模块。训练得到第一图像压缩模型的过程即对图像压缩模块的训练过程,可以采用上述实施例重的基于多任务学习的神经网络结构,如图3所示的网络结构,进行图像压缩网络的训练。
最终训练得到的第一图像压缩模型可以替代现有Guetzli编解码器,弥补它的时效性和内存高需求的缺点,在毫秒级别实现等同于Guetzli效果的图片压缩处理,甚至一定程度上得到质量略高于Guetzli处理的图片。第一图像压缩模型一定程度上减少Guetzli的压缩失真的情况,最终在不影响用户肉眼感知效果的情况下,提升图像的压缩比,减少图片码率,从而减少图片业务上带宽的消耗。
第一样本集合进行图像压缩模型训练的整体过程,可参考图6所示的整体训练流程。收集到的原始样本图像会以无损的PNG进行存储,在进行模型训练时,原始样本图像的像素表示格式若为RGB格式会被转换为YUV格式,输入到初始图像压缩模型中,由图像预处理模块对各样本对进行预处理,得到多个预设尺寸的子原始样本图像块对应的Guetzli压缩图像块。各原始样本图像块会被进一步输入到图像压缩模块的包含多任务学习模块的初始图像压缩神经网络中。其中,以图像压缩为任务的网络解码模块以对应的Guetzli压缩图像块作为期望输出,以辅助学习为任务的网络解码模块以对应的原始样本图像块或经过高分辨率处理的原始样本图像块作为期望输出。最终,将初始图像压缩模型输出的图像压缩结果与对应的Guetzli压缩图像块进行比较,计算均方误差损失函数。可以根据损失函数的结果反馈调节初始图像压缩模型的参数,当图像压缩模型的损失函数满足预设的收敛条件,或者达到预设的训练次数时,结束模型训练的过程,得到最终的第一图像压缩模型。
进一步的,在模型训练完成后可以通过预设的指标对第一图像压缩模型的图像压缩效果进行验证。例如,可以将原始样本图像以及第一图像压缩模型对原始样本图像进行压缩的图像压缩结果分别输入到HEVC或Webp图像编解码器中,进行图像的压缩,从图像大小(SIZE)、峰值信噪比(Peak Signal to Noise Ratio,PSNR)、结构相似性(structuralsimilarity index measurement,SSIM)以及视频质量评估(Video Quality Score,VQscore)等多个评价维度进行图像压缩效果的评价。经验证,本实施例训练得到第一图像压缩模型的输出结果在进行混合叠加压缩处理时,也能够有很好的图像压缩效果。
S330、获取待压缩图像,并将所述待压缩图像输入到第一图像压缩模型中,得到与所述待压缩图像对应的目标压缩图像。
S340、将所述目标压缩图像作为所述待压缩图像的预压缩图像,输入至所述第一图像压缩模型和/或与预设图像压缩格式对应的图像编解码器中进行图像压缩,得到最终压缩图像。
通过将目标压缩图像进一步的进行多次压缩,一定程度上避免了常规图像编解码器多次压缩后图像质量劣化明显的问题。而且,可以根据指定的图像格式选择再次压缩的图像编解码器,例如可以选择PNG格式,也可选择JPEG格式。
本公开实施例的技术方案,通过采集到一定数量的原始图像样本之后,采用预设图像编解码器继续图像压缩处理,得到与之配对的压缩图像构建第一样本集合,采用第一样本集合进行图像压缩模型的训练得到最终的图像压缩模型。在模型训练过程中,基于多任务学习,提升模型学习重要特征的能力,优化了图像压缩后的质量。实现了通过结合视觉模型和深度学习网络将Guetzli编解码器网络化,可以在毫秒级别实现等同于Guetzli效果的图片压缩。在获取待压缩图像之后,将经过格式转换的待压缩图像输入到预设图像压缩模型中,得到与待压缩图像对应的目标压缩图像,解决了图像编解码器进行图像压缩处理耗时长的问题,实现了预设图像编解码器的网络化,可以提高图像压缩的效率。此外,由于第一图像压缩模型的输入输出都为多维数组,可以进行多次压缩。同时,解决了多次压缩无效甚至图像质量严重劣化的问题。
图7为本公开实施例所提供的又一种图像压缩方法的流程示意图,在实现该方法流程的过程中,进一步的描述了当预设图像编解码器为Guetzli编解码器,且模型训练样本为经过Guetzli编解码器图像压缩后的压缩优化图像与原始样本图像组成的样本对时,图像压缩模型的训练过程。该方法可以由图像压缩装置来执行,该装置可以通过软件和/或硬件的形式实现,可选的,通过电子设备来实现,该电子设备可以是移动终端、PC端或服务器等。
如图7所示,所述图像压缩方法包括:
S410、获取多个原始样本图像,并将各所述原始样本图像分别输入到Guetzli编解码器,得到对应的Guetzli压缩图像。
S420、对所述Guetzli压缩图像进行图像优化处理,得到压缩后优化图像,分别将各所述原始样本图像与对应的压缩后优化图像作为一组样本对,得到第二样本集合。
通常来说,Guetzli编解码器更加适用于图像质量较高的图像,而对于质量略低的图像,其压缩效果不显著,且裂化明显。如图8所示的经过Guetzli编解码器处理过的图像,可以看到在脸的边缘和下巴附近有比较明显的压缩后失真的马赛克现象和一些颜色的突变。这些现象均是造成主观质量的下降的原因。在本实施例中,期望实现优化Guetzli编解码器压缩技术,弥补现有技术在低质图片上的缺陷,提升压缩后的图片质量,去除图片压缩失真的现象。因此,在上述是实施例方案的基础上,优化Guetzli压缩图像,以构造第二样本集合。
具体的,在构造第二样本集合时,可以采用去除块效应、去噪、平滑、去马赛克、图像锐化、图像纹理强化、图像清晰度调整等一种或多种图像处理方法的组合,来改善压Guetzli编解码器的图像压缩效果,提升图片的主观质量。进而将各原始样本图像与对应的压缩后优化图像组成样本对。
S430、基于所述第二样本集合对图像压缩模型进行训练,得到第二图像压缩模型。
其中,第二图像压缩模型同样包括图像预处理模块、图像压缩模块以及图像整合模块。图像预处理模块用于自适应的对待压缩处理的图像进行边缘补充和切割。训练得到第二图像压缩模型的过程即对图像压缩模块的训练过程,可以采用上述实施例重的基于多任务学习的神经网络结构,如图3所示的网络结构,进行图像压缩网络的训练,也可以采用图4中所示的网络结构作为图像压缩模块的网络结构,进行模型的训练。
在本实施例中,由于第二样本集合中样本对中与原始样本图像对应的压缩图像为Guetzli编解码器压缩后优化图像,在模型结构上可以采用图4中相对简单的结构,以降低模型的参数量以及模型在运行过程中的计算量。图像压缩模型为最终训练得到的第二图像压缩模型可以替代现有Guetzli编解码器,弥补它的时效性和内存高需求的缺点,在毫秒级别实现等同于Guetzli效果的图片压缩处理,得到质量高于Guetzli处理的图片。第二图像压缩模型一定程度上减少Guetzli的压缩失真的情况,最终在不影响用户肉眼感知效果的情况下,提升图像的压缩比,减少图片码率,从而减少图片业务上带宽的消耗。
第二样本集合进行图像压缩模型训练的整体过程,可参考图9所示的整体训练流程。收集到的原始样本图像会以无损的PNG进行存储,在进行模型训练时,原始样本图像的像素表示格式若为RGB格式会被转换为YUV格式,输入到初始图像压缩模型中,由图像预处理模块对各样本对进行预处理,得到多个预设尺寸的子原始样本图像块对应的Guetzli压缩图像块。各原始样本图像块会被进一步输入到图像压缩模块的初始图像压缩神经网络中,该神经网络的结果为典型的U-net,且设置有残差学习机制。具体为在U-net模型中设置了三次上采样和下采样,并且在每次上采样后,都会与相同尺寸的特征图进行通道上的拼接。特征拼接可以弥补下采样时损失的纹理特征,帮助综合上下文的信息,将核心的低频特征和高频特征相结合,更有利于图像的学习。其中,U-net的输出以原始样本图像块对应的Guetzli压缩后优化的图像块作为期望输出,计算均方误差损失函数。可以根据损失函数的结果反馈调节初始图像压缩模型的参数,当图像压缩模型的损失函数满足预设的收敛条件,或者达到预设的训练次数时,结束模型训练的过程,得到最终的第二图像压缩模型。图像整合模块会将原始样本图像的各个子原始样本图像块对应的压缩图像块进行拼接为完整的图像压缩模型图像压缩结果。
进一步的,在模型训练完成后可以通过预设的指标对第二图像压缩模型的图像压缩效果进行验证。例如,可以将原始样本图像以及第二图像压缩模型对原始样本图像进行压缩的图像压缩结果分别输入到HEVC或Webp图像编解码器中,进行图像的压缩,从图像大小(SIZE)、峰值信噪比(Peak Signal to Noise Ratio,PSNR)、结构相似性(structuralsimilarity index measurement,SSIM)以及视频质量评估(Video Quality Score,VQscore)等多个评价维度进行图像压缩效果的评价。经验证,本实施例训练得到第二图像压缩模型的输出结果在进行混合叠加压缩处理时,也能够有很好的图像压缩效果。
S440、获取待压缩图像,并将所述待压缩图像输入到所述第二图像压缩模型中,得到与所述待压缩图像对应的目标压缩图像。
S450、将所述目标压缩图像作为所述待压缩图像的预压缩图像,输入至所述第二图像压缩模型和/或与预设图像压缩格式对应的图像编解码器中进行图像压缩,得到最终压缩图像。
本公开实施例的技术方案,通过采集到一定数量的原始图像样本之后,采用Guetzli编解码器进行图像压缩处理,得到与之配对的压缩图像,并进一步的对压缩图像进行优化处理得到第二样本集合。进而采用第二样本集合进行图像压缩模型的训练得到最终的第二图像压缩模型。在获取待压缩图像之后,将经过格式转换的待压缩图像输入到第二图像压缩模型中,得到与待压缩图像对应的目标压缩图像。实现了通过结合视觉模型和深度学习网络将Guetzli编解码器网络化,可以在毫秒级别实现压缩效果高于Guetzli编解码器图像处理效果的图片压缩。在获取待压缩图像之后,将待压缩图像输入到第二图像压缩模型中,得到与待压缩图像对应的目标压缩图像,解决了图像编解码器进行图像压缩处理耗时长的问题,实现了预设图像编解码器的网络化,可以提高图像压缩的效率。此外,由于第二图像压缩模型的输入输出都为多维数组,可以进行多次压缩。同时,解决了多次压缩无效甚至图像质量严重劣化的问题。
图10为本公开实施例所提供的一种图像压缩装置结构示意图,该装置适用于对图像进行压缩处理的情形,可以通过软件和/或硬件的形式实现,可选的,通过电子设备来实现,该电子设备可以是移动终端、PC端或服务器等。
如图10所示,所述装置包括:图像获取模块510和图像压缩模块520。
其中,图像获取模块510,用于获取待压缩图像;图像压缩模块520,用于将所述待压缩图像输入到预设图像压缩模型中,得到与所述待压缩图像对应的目标压缩图像;其中,所述预设图像压缩模型的模型训练样本对包括原始样本图像和压缩样本图像,其中,所述压缩样本图像是采用预设图像编解码器对所述原始样本图像进行压缩处理得到的图像。
本公开实施例所提供的技术方案,通过在获取待压缩图像之后,将待压缩图像输入到预设图像压缩模型中,得到与待压缩图像对应的目标压缩图像;其中,预设图像压缩模型是基于各原始样本图像和各原始样本图像经过预设图像编解码器压缩处理后的压缩图像组成的样本对组成的样本集合训练生成的模型,那么预设图像压缩模型就相应的具有了预设图像编解码器的图像压缩功能,解决了图像编解码器进行图像压缩处理耗时长的问题,实现了预设图像编解码器的网络化,可以提高图像压缩的效率。
在一种可选的实施方式中,所述图像压缩模块520具体用于:
对所述待压缩图像进行图像预处理,得到预设尺寸的一个或多个子待压缩图像块;
分别将各所述子待压缩图像块输入到预设图像压缩神经网络中进行图像压缩,得到对应的子图像压缩结果;
将各所述子图像压缩结果进行图像拼接,得到所述目标压缩图像。
在一种可选的实施方式中,图像压缩装置还包括模型训练模块,用于对所述预设图像压缩神经网络进行训练过程,具体训练过程包括:
获取所述模型训练样本对经过所述图像预处理,得到的一个或多个原始样本图像块和压缩样本图像块,并将各所述原始样本图像块输入到初始图像压缩网络中的编码器中,进行特征提取,得到对应的样本编码特征;
基于第一预设解码器对所述样本编码特征进行特征解码处理,得到初步压缩图像块,并基于所述初步压缩图像块和对应的所述压缩样本图像块计算第一损失函数;
基于第二预设解码器对所述样本编码特征进行特征解码处理,得到初步重建图像块,并基于所述初步重建图像块和所述原始样本图像块或与所述原始样本图像块对应的高分辨率原始图像块,计算第二损失函数;
根据所述第一损失函数和所述第二损失函数的结果迭代更新所述初始图像压缩网络,当所述第一损失函数和所述第二损失函数的加权和值满足预设收敛条件时,完成模型训练过程。
在一种可选的实施方式中,所述图像压缩模块520进一步用于:
对所述待压缩图像进行边缘填充,得到目标尺寸图像;
将所述目标尺寸图像按照预设尺寸进行切割,得到预设尺寸的多个子待压缩图像块。
在一种可选的实施方式中,所述图像压缩装置还包括样本构建模块,用于:
获取多个原始样本图像,并将各所述原始样本图像分别输入到所述预设图像编解码器,得到对应的配对压缩图像;
分别将各所述原始样本图像与对应的配对压缩图像作为一组样本对,得到第一样本集合。
在一种可选的实施方式中,所述样本构建模块,还用于:
在得到所述配对压缩图像之后,对所述配对压缩图像进行图像优化处理,得到压缩后优化图像;
分别将各所述原始样本图像与对应的压缩后优化图像作为一组样本对,得到第二样本集合。
在一种可选的实施方式中,当以所述第二样本集合中的样本对作为所述预设图像压缩模型的训练样本时,所述预设图像压缩模型中的预设图像压缩神经网络为设置有残差学习机制的网络。
在一种可选的实施方式中,所述图像压缩装置还包括图像深度压缩模块,用于:
将所述目标压缩图像作为所述待压缩图像的预压缩图像,输入至所述预设图像压缩模型和/或与预设图像压缩格式对应的图像编解码器中进行图像压缩,得到最终压缩图像。
在一种可选的实施方式中,所述图像压缩装置还包括像素信息格式转换模块,用于:
在将所述待压缩图像输入到预设图像压缩模型之前,当所述待压缩图像的第一像素信息表示格式和与所述预设图像压缩模型适配的第二像素信息表示格式不同时,将所述待压缩图像的像素信息表示格式转换为所述第二像素信息表示格式;
相应的,在得到所述目标压缩图像之后,所述像素信息格式转换模块还用于:
将所述目标压缩图像的像素信息表示格式转换为所述第一像素信息表示格式;
其中,所述第二像素信息表示格式为与所述预设图像编解码器适配的像素信息表示格式。
在一种可选的实施方式中,所述预设图像编解码器为Guetzli编解码器。
本公开实施例所提供的图像压缩装置可执行本公开任意实施例所提供的图像压缩方法,具备执行方法相应的功能模块和有益效果。
值得注意的是,上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本公开实施例的保护范围。
图11为本公开实施例所提供的一种电子设备的结构示意图。下面参考图11,其示出了适于用来实现本公开实施例的电子设备(例如图11中的终端设备或服务器)600的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图11示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图11所示,电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。编辑/输出(I/O)接口605也连接至总线604。
通常,以下装置可以连接至I/O接口605:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607;包括例如磁带、硬盘等的存储装置608;以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图11示出了具有各种装置的电子设备600,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置609从网络上被下载和安装,或者从存储装置608被安装,或者从ROM 602被安装。在该计算机程序被处理装置601执行时,执行本公开实施例的方法中限定的上述功能。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
本公开实施例提供的电子设备与上述实施例提供的图像压缩方法属于同一发明构思,未在本实施例中详尽描述的技术细节可参见上述实施例,并且本实施例与上述实施例具有相同的有益效果。
本公开实施例提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述实施例所提供的图像压缩方法。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:
获取待压缩图像;
将所述待压缩图像输入到预设图像压缩模型中,得到与所述待压缩图像对应的目标压缩图像;
其中,所述预设图像压缩模型的模型训练样本对包括原始样本图像和压缩样本图像,其中,所述压缩样本图像是采用预设图像编解码器对所述原始样本图像进行压缩处理得到的图像。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例,【示例一】提供了一种图像压缩方法,该方法包括:
获取待压缩图像;
将所述待压缩图像输入到预设图像压缩模型中,得到与所述待压缩图像对应的目标压缩图像;
其中,所述预设图像压缩模型的模型训练样本对包括原始样本图像和压缩样本图像,其中,所述压缩样本图像是采用预设图像编解码器对所述原始样本图像进行压缩处理得到的图像。
根据本公开的一个或多个实施例,【示例二】提供了一种图像压缩方法,还包括:
在一些可选的实现方式中,所述预设图像压缩模型对所述待压缩图像进行图像压缩的过程,包括:
对所述待压缩图像进行图像预处理,得到预设尺寸的一个或多个子待压缩图像块;
分别将各所述子待压缩图像块输入到预设图像压缩神经网络中进行图像压缩,得到对应的子图像压缩结果;
将各所述子图像压缩结果进行图像拼接,得到所述目标压缩图像。
根据本公开的一个或多个实施例,【示例三】提供了一种图像压缩方法,包括:
在一些可选的实现方式中,所述预设图像压缩神经网络的训练过程,包括:
获取所述模型训练样本对经过所述图像预处理,得到的一个或多个原始样本图像块和压缩样本图像块,并将各所述原始样本图像块输入到初始图像压缩网络中的编码器中,进行特征提取,得到对应的样本编码特征;
基于第一预设解码器对所述样本编码特征进行特征解码处理,得到初步压缩图像块,并基于所述初步压缩图像块和对应的所述压缩样本图像块计算第一损失函数;
基于第二预设解码器对所述样本编码特征进行特征解码处理,得到初步重建图像块,并基于所述初步重建图像块和所述原始样本图像块或与所述原始样本图像块对应的高分辨率原始图像块,计算第二损失函数;
根据所述第一损失函数和所述第二损失函数的结果迭代更新所述初始图像压缩网络,当所述第一损失函数和所述第二损失函数的加权和值满足预设收敛条件时,完成模型训练过程。
根据本公开的一个或多个实施例,【示例四】提供了一种图像压缩方法,还包括:
在一些可选的实现方式中,所述将经过格式转换的待压缩图像进行图像预处理,得到预设尺寸的多个子待压缩图像块,包括:
对所述待压缩图像进行边缘填充,得到目标尺寸图像;
将所述目标尺寸图像按照预设尺寸进行切割,得到预设尺寸的多个子待压缩图像块。
根据本公开的一个或多个实施例,【示例五】提供了一种图像压缩方法,还包括:
在一些可选的实现方式中,所述模型训练样本对的构建过程包括:
获取多个原始样本图像,并将各所述原始样本图像分别输入到所述预设图像编解码器,得到对应的配对压缩图像;
分别将各所述原始样本图像与对应的配对压缩图像作为一组样本对,得到第一样本集合。
根据本公开的一个或多个实施例,【示例六】提供了一种图像压缩方法,还包括:
在一些可选的实现方式中,所述模型训练样本对的构建过程,还包括:
在得到所述配对压缩图像之后,对所述配对压缩图像进行图像优化处理,得到压缩后优化图像;
分别将各所述原始样本图像与对应的压缩后优化图像作为一组样本对,得到第二样本集合。
根据本公开的一个或多个实施例,【示例七】提供了一种图像压缩方法,还包括:
在一些可选的实现方式中,当以所述第二样本集合中的样本对作为所述预设图像压缩模型的训练样本时,所述预设图像压缩模型中的预设图像压缩神经网络为设置有残差学习机制的网络。
根据本公开的一个或多个实施例,【示例八】提供了一种图像压缩方法,还包括:
在一些可选的实现方式中,图像压缩方法还包括,将所述目标压缩图像作为所述待压缩图像的预压缩图像,输入至所述预设图像压缩模型和/或与预设图像压缩格式对应的图像编解码器中进行图像压缩,得到最终压缩图像。
根据本公开的一个或多个实施例,【示例九】提供了一种图像压缩方法,还包括:
在一些可选的实现方式中,在将所述待压缩图像输入到预设图像压缩模型之前,所述方法还包括:
当所述待压缩图像的第一像素信息表示格式和与所述预设图像压缩模型适配的第二像素信息表示格式不同时,将所述待压缩图像的像素信息表示格式转换为所述第二像素信息表示格式;
相应的,在得到所述目标压缩图像之后,所述方法还包括:
将所述目标压缩图像的像素信息表示格式转换为所述第一像素信息表示格式;
其中,所述第二像素信息表示格式为与所述预设图像编解码器适配的像素信息表示格式。
根据本公开的一个或多个实施例,【示例十】提供了一种图像压缩方法,还包括:
在一些可选的实现方式中,所述预设图像编解码器为Guetzli编解码器。
根据本公开的一个或多个实施例,【示例十一】提供了一种图像压缩装置,包括:
图像获取模块,用于获取待压缩图像;
图像压缩模块,用于将所述待压缩图像输入到预设图像压缩模型中,得到与所述待压缩图像对应的目标压缩图像;
其中,所述预设图像压缩模型的模型训练样本对包括原始样本图像和压缩样本图像,其中,所述压缩样本图像是采用预设图像编解码器对所述原始样本图像进行压缩处理得到的图像。
根据本公开的一个或多个实施例,【示例十二】提供了一种图像压缩装置,还包括:
在一种可选的实施方式中,所述图像压缩模块具体用于:
对所述待压缩图像进行图像预处理,得到预设尺寸的一个或多个子待压缩图像块;
分别将各所述子待压缩图像块输入到预设图像压缩神经网络中进行图像压缩,得到对应的子图像压缩结果;
将各所述子图像压缩结果进行图像拼接,得到所述目标压缩图像。
根据本公开的一个或多个实施例,【示例十三】提供了一种图像压缩装置,还包括:
在一些可选的实现方式中,图像压缩装置还包括模型训练模块,用于对所述预设图像压缩神经网络进行训练过程,具体训练过程包括:
获取所述模型训练样本对经过所述图像预处理,得到的一个或多个原始样本图像块和压缩样本图像块,并将各所述原始样本图像块输入到初始图像压缩网络中的编码器中,进行特征提取,得到对应的样本编码特征;
基于第一预设解码器对所述样本编码特征进行特征解码处理,得到初步压缩图像块,并基于所述初步压缩图像块和对应的所述压缩样本图像块计算第一损失函数;
基于第二预设解码器对所述样本编码特征进行特征解码处理,得到初步重建图像块,并基于所述初步重建图像块和所述原始样本图像块或与所述原始样本图像块对应的高分辨率原始图像块,计算第二损失函数;
根据所述第一损失函数和所述第二损失函数的结果迭代更新所述初始图像压缩网络,当所述第一损失函数和所述第二损失函数的加权和值满足预设收敛条件时,完成模型训练过程。
根据本公开的一个或多个实施例,【示例十四】提供了一种图像压缩装置,还包括:
在一些可选的实现方式中,所述图像压缩模块进一步用于:
对所述待压缩图像进行边缘填充,得到目标尺寸图像;
将所述目标尺寸图像按照预设尺寸进行切割,得到预设尺寸的多个子待压缩图像块。
根据本公开的一个或多个实施例,【示例十五】提供了一种图像压缩装置,还包括:
在一些可选的实现方式中,所述图像压缩装置还包括样本构建模块,用于:
获取多个原始样本图像,并将各所述原始样本图像分别输入到所述预设图像编解码器,得到对应的配对压缩图像;
分别将各所述原始样本图像与对应的配对压缩图像作为一组样本对,得到第一样本集合。
根据本公开的一个或多个实施例,【示例十六】提供了一种图像压缩装置,还包括:
在一些可选的实现方式中,所述样本构建模块,还用于:
在得到所述配对压缩图像之后,对所述配对压缩图像进行图像优化处理,得到压缩后优化图像;
分别将各所述原始样本图像与对应的压缩后优化图像作为一组样本对,得到第二样本集合。
根据本公开的一个或多个实施例,【示例十七】提供了一种图像压缩装置,还包括:
在一些可选的实现方式中,当以所述第二样本集合中的样本对作为所述预设图像压缩模型的训练样本时,所述预设图像压缩模型中的预设图像压缩神经网络为设置有残差学习机制的网络。
根据本公开的一个或多个实施例,【示例十八】提供了一种图像压缩装置,还包括:
在一些可选的实现方式中,所述图像压缩装置还包括图像深度压缩模块,用于:
将所述目标压缩图像作为所述待压缩图像的预压缩图像,输入至所述预设图像压缩模型和/或与预设图像压缩格式对应的图像编解码器中进行图像压缩,得到最终压缩图像。
根据本公开的一个或多个实施例,【示例十九】提供了一种图像压缩装置,还包括:
在一些可选的实现方式中,所述图像压缩装置还包括像素信息格式转换模块,用于:
在将所述待压缩图像输入到预设图像压缩模型之前,当所述待压缩图像的第一像素信息表示格式和与所述预设图像压缩模型适配的第二像素信息表示格式不同时,将所述待压缩图像的像素信息表示格式转换为所述第二像素信息表示格式;
相应的,在得到所述目标压缩图像之后,所述像素信息格式转换模块还用于:
将所述目标压缩图像的像素信息表示格式转换为所述第一像素信息表示格式;
其中,所述第二像素信息表示格式为与所述预设图像编解码器适配的像素信息表示格式。
根据本公开的一个或多个实施例,【示例二十】提供了一种图像压缩装置,还包括:
在一些可选的实现方式中,所述预设图像编解码器为Guetzli编解码器。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (13)

1.一种图像压缩方法,其特征在于,包括:
获取待压缩图像;
将所述待压缩图像输入到预设图像压缩模型中,得到与所述待压缩图像对应的目标压缩图像;
其中,所述预设图像压缩模型的模型训练样本对包括原始样本图像和压缩样本图像,其中,所述压缩样本图像是采用预设图像编解码器对所述原始样本图像进行压缩处理得到的图像。
2.根据权利要求1所述的方法,其特征在于,所述预设图像压缩模型对所述待压缩图像进行图像压缩的过程,包括:
对所述待压缩图像进行图像预处理,得到预设尺寸的一个或多个子待压缩图像块;
分别将各所述子待压缩图像块输入到预设图像压缩神经网络中进行图像压缩,得到对应的子图像压缩结果;
将各所述子图像压缩结果进行图像拼接,得到所述目标压缩图像。
3.根据权利要求2所述的方法,其特征在于,所述预设图像压缩神经网络的训练过程,包括:
获取所述模型训练样本对经过所述图像预处理,得到的一个或多个原始样本图像块和压缩样本图像块,并将各所述原始样本图像块输入到初始图像压缩网络中的编码器中,进行特征提取,得到对应的样本编码特征;
基于第一预设解码器对所述样本编码特征进行特征解码处理,得到初步压缩图像块,并基于所述初步压缩图像块和对应的所述压缩样本图像块计算第一损失函数;
基于第二预设解码器对所述样本编码特征进行特征解码处理,得到初步重建图像块,并基于所述初步重建图像块和所述原始样本图像块或与所述原始样本图像块对应的高分辨率原始图像块,计算第二损失函数;
根据所述第一损失函数和所述第二损失函数的结果迭代更新所述初始图像压缩网络,当所述第一损失函数和所述第二损失函数的加权和值满足预设收敛条件时,完成模型训练过程。
4.根据权利要求2所述的方法,其特征在于,所述对所述待压缩图像进行图像预处理,得到预设尺寸的多个子待压缩图像块,包括:
对所述待压缩图像进行边缘填充,得到目标尺寸图像;
将所述目标尺寸图像按照预设尺寸进行切割,得到预设尺寸的多个子待压缩图像块。
5.根据权利要求1所述的方法,其特征在于,所述模型训练样本对的构建过程包括:
获取多个原始样本图像,并将各所述原始样本图像分别输入到所述预设图像编解码器,得到对应的配对压缩图像;
分别将各所述原始样本图像与对应的配对压缩图像作为一组样本对,得到第一样本集合。
6.根据权利要求5所述的方法,其特征在于,所述模型训练样本对的构建过程,还包括:
在得到所述配对压缩图像之后,对所述配对压缩图像进行图像优化处理,得到压缩后优化图像;
分别将各所述原始样本图像与对应的压缩后优化图像作为一组样本对,得到第二样本集合。
7.根据权利要求6所述的方法,其特征在于,当以所述第二样本集合中的样本对作为所述预设图像压缩模型的训练样本时,所述预设图像压缩模型中的预设图像压缩神经网络为设置有残差学习机制的网络。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述目标压缩图像作为所述待压缩图像的预压缩图像,输入至所述预设图像压缩模型和/或与预设图像压缩格式对应的图像编解码器中进行图像压缩,得到最终压缩图像。
9.根据权利要求1-8中任一所述的方法,其特征在于,在将所述待压缩图像输入到预设图像压缩模型之前,所述方法还包括:
当所述待压缩图像的第一像素信息表示格式和与所述预设图像压缩模型适配的第二像素信息表示格式不同时,将所述待压缩图像的像素信息表示格式转换为所述第二像素信息表示格式;
相应的,在得到所述目标压缩图像之后,所述方法还包括:
将所述目标压缩图像的像素信息表示格式转换为所述第一像素信息表示格式;
其中,所述第二像素信息表示格式为与所述预设图像编解码器适配的像素信息表示格式。
10.根据权利要求1-8中任一所述的方法,其特征在于,所述预设图像编解码器为Guetzli编解码器。
11.一种图像压缩装置,其特征在于,包括:
图像获取模块,用于获取待压缩图像;
图像压缩模块,用于将所述待压缩图像输入到预设图像压缩模型中,得到与所述待压缩图像对应的目标压缩图像;
其中,所述预设图像压缩模型的模型训练样本对包括原始样本图像和压缩样本图像,其中,所述压缩样本图像是采用预设图像编解码器对所述原始样本图像进行压缩处理得到的图像。
12.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-10中任一所述的图像压缩方法。
13.一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-10中任一所述的图像压缩方法。
CN202210515370.3A 2022-05-11 2022-05-11 图像压缩方法、装置、电子设备和存储介质 Pending CN114979665A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210515370.3A CN114979665A (zh) 2022-05-11 2022-05-11 图像压缩方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210515370.3A CN114979665A (zh) 2022-05-11 2022-05-11 图像压缩方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN114979665A true CN114979665A (zh) 2022-08-30

Family

ID=82981050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210515370.3A Pending CN114979665A (zh) 2022-05-11 2022-05-11 图像压缩方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN114979665A (zh)

Similar Documents

Publication Publication Date Title
CN111681167B (zh) 画质调整方法和装置、存储介质及电子设备
CN108696761B (zh) 一种图片文件处理方法及其设备、系统
CN112991203B (zh) 图像处理方法、装置、电子设备及存储介质
WO2020237646A1 (zh) 图像处理方法、设备及计算机可读存储介质
CN110870310A (zh) 图像编码方法和装置
CN112102212A (zh) 一种视频修复方法、装置、设备及存储介质
CN113538287B (zh) 视频增强网络训练方法、视频增强方法及相关装置
CN111510739A (zh) 一种视频传输方法及装置
WO2022253249A1 (zh) 特征数据编解码方法和装置
CN109151503B (zh) 一种图片文件处理方法及其设备
WO2023132919A1 (en) Scalable framework for point cloud compression
WO2023050720A1 (zh) 图像处理方法、图像处理装置、模型训练方法
CN111738951A (zh) 图像处理方法及装置
US20230377208A1 (en) Geometry coordinate scaling for ai-based dynamic point cloud coding
EP4300958A1 (en) Video image encoding method, video image decoding method and related devices
WO2023225808A1 (en) Learned image compress ion and decompression using long and short attention module
CN115272132A (zh) 一种图像处理方法、装置、设备和存储介质
CN114979665A (zh) 图像压缩方法、装置、电子设备和存储介质
CN115499666A (zh) 视频的压缩方法、解压缩方法、装置、设备和存储介质
CN115294222A (zh) 图像编码方法及图像处理方法、终端及介质
CN114170082A (zh) 视频播放、图像处理和模型训练方法、装置以及电子设备
CN116918329A (zh) 一种视频帧的压缩和视频帧的解压缩方法及装置
CN116708793B (zh) 视频的传输方法、装置、设备及存储介质
CN117237259B (zh) 基于多模态融合的压缩视频质量增强方法及装置
WO2023246655A1 (zh) 一种图像编码、解码方法及编码、解码装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination