CN116684607A - 图像压缩和解压缩方法、装置、电子设备及存储介质 - Google Patents

图像压缩和解压缩方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116684607A
CN116684607A CN202310925810.7A CN202310925810A CN116684607A CN 116684607 A CN116684607 A CN 116684607A CN 202310925810 A CN202310925810 A CN 202310925810A CN 116684607 A CN116684607 A CN 116684607A
Authority
CN
China
Prior art keywords
texture
codebook
super
target
texture compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310925810.7A
Other languages
English (en)
Other versions
CN116684607B (zh
Inventor
蔡德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202310925810.7A priority Critical patent/CN116684607B/zh
Publication of CN116684607A publication Critical patent/CN116684607A/zh
Application granted granted Critical
Publication of CN116684607B publication Critical patent/CN116684607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/002Image coding using neural networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种图像压缩和解压缩方法、装置、电子设备及存储介质。本申请的实施例涉及人工智能的机器学习以及云技术等技术领域。该图像解压缩方法包括:获取纹理压缩结果;从多个预置超分辨网络中获取与目标纹理压缩码本的纹理压缩码本标识对应的目标超分辨网络;利用目标超分辨网络基于矢量量化结果的局部结构和纹理信息进行像素值预测,得到纹理图像中每个像素点各自对应的预测像素值;根据纹理图像中每个像素点各自对应的预测像素值,得到解压缩纹理图像。本申请中,目标超分辨网络可以准确的提取到矢量量化结果中的特征信息,使得解压缩纹理图像与原纹理图像的相似度极高,提高了对矢量量化结果的重构效果以及解压缩效果。

Description

图像压缩和解压缩方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域,更具体地,涉及一种图像压缩和解压缩方法、装置、电子设备及存储介质。
背景技术
随着互联网技术的发展和普遍应用,网络越来越影响人们的工作以及生活方式。由于图片信息具有直观性强,内容丰富等特点,因此在网站、网络游戏中都采用了大量的图片。为了提高图像的传输效率和处理效率,需要对图像进行压缩,因此,涌现了各种各样的图像压缩技术,例如纹理压缩技术。
纹理压缩是图像压缩技术中一种广泛使用的技术,它可以减小纹理贴图的存储空间和传输带宽,从而提高实时渲染的性能和效率。目前,通过纹理压缩技术对原始纹理图像进行纹理压缩后,可以通过插值算法来对纹理压缩结果进行解压缩,得到解压缩纹理图像。
然而,现有的纹理解压缩技术对图像解压缩效果较差,导致得到的解压缩纹理图像与原始纹理图像的差距较大。
发明内容
有鉴于此,本申请实施例提出了一种图像压缩和解压缩方法、装置、电子设备及存储介质。
第一方面,本申请实施例提供了一种图像解压缩方法,方法包括:获取纹理压缩结果,纹理压缩结果包括待压缩的纹理图像的矢量量化结果以及目标纹理压缩码本的纹理压缩码本标识;矢量量化结果是根据目标纹理压缩码本对纹理图像进行矢量量化后得到;目标纹理压缩码本包括不同像素值各自对应的量化值;从多个预置超分辨网络中获取与目标纹理压缩码本的纹理压缩码本标识对应的目标超分辨网络;利用目标超分辨网络基于矢量量化结果的局部结构和纹理信息进行像素值预测,得到纹理图像中每个像素点各自对应的预测像素值;根据纹理图像中每个像素点各自对应的预测像素值,得到解压缩纹理图像。
第二方面,本申请实施例提供了一种图像压缩方法,方法包括:确定待压缩的纹理图像对应的纹理复杂度;从纹理压缩码本集合中确定与纹理复杂度对应的目标纹理压缩码本;纹理压缩码本集合中的每个纹理压缩码本均包括不同像素值各自对应的量化值;根据目标纹理压缩码本对纹理图像进行矢量量化,确定纹理图像的矢量量化结果;根据纹理图像的矢量量化结果以及目标纹理压缩码本的纹理压缩码本标识,得到纹理图像的纹理压缩结果。
第三方面,本申请实施例提供了一种图像解压缩装置,装置包括:获取模块,用于获取纹理压缩结果,纹理压缩结果包括待压缩的纹理图像的矢量量化结果以及目标纹理压缩码本的纹理压缩码本标识;矢量量化结果是根据目标纹理压缩码本对纹理图像进行矢量量化后得到;目标纹理压缩码本包括不同像素值各自对应的量化值;网络获取模块,用于从多个预置超分辨网络中获取与目标纹理压缩码本的纹理压缩码本标识对应的目标超分辨网络;预测模块,用于利用目标超分辨网络基于矢量量化结果的局部结构和纹理信息进行像素值预测,得到纹理图像中每个像素点各自对应的预测像素值;解压缩模块,用于根据纹理图像中每个像素点各自对应的预测像素值,得到解压缩纹理图像。
可选地,装置还包括模型训练模块,用于根据纹理压缩码本集合中的纹理压缩码本,对样本图像进行矢量量化,得到纹理压缩码本对应的样本矢量量化结果;根据纹理压缩码本对应的样本矢量量化结果以及样本图像,对初始超分辨网络进行训练,得到纹理压缩码本对应的中间超分辨网络; 根据纹理压缩码本对应的中间超分辨网络的参数,对第一超分辨网络进行重参数化,得到纹理压缩码本对应的预置超分辨网络;建立纹理压缩码本对应的预置超分辨网络以及纹理压缩码本的纹理压缩码本标识之间的对应关系。
可选地,纹理压缩码本对应的中间超分辨网络包括至少一个卷积层组,每个卷积层组包括多个卷积层;第一超分辨网络包括至少一个融合卷积层,每个融合卷积层对应中间超分辨网络中的一个卷积层组;模型训练模块,还用于根据目标卷积层组中各个卷积层之间的目标线性运算关系,对目标卷积层组中多个卷积层的参数进行融合,得到目标融合卷积层对应的目标参数;目标卷积层组为纹理压缩码本对应的中间超分辨网络中的任意一个卷积层组;目标融合卷积层是指第一超分辨网络中与目标卷积层组对应的融合卷积层;根据第一超分辨网络中每个融合卷积层各自对应的目标参数,对第一超分辨网络中对应的融合卷积层进行参数配置,得到纹理压缩码本对应的预置超分辨网络。
可选地,模型训练模块,还用于根据纹理压缩码本集合中的纹理压缩码本,对样本图像进行矢量量化,得到纹理压缩码本对应的样本矢量量化结果;根据纹理压缩码本对应的样本矢量量化结果以及样本图像,对初始超分辨网络进行训练,得到纹理压缩码本对应的中间超分辨网络; 对纹理压缩码本对应的中间超分辨网络进行压缩,得到纹理压缩码本对应的预置超分辨网络;建立纹理压缩码本对应的预置超分辨网络以及纹理压缩码本的纹理压缩码本标识之间的对应关系。
可选地,模型训练模块,还用于对纹理压缩码本对应的中间超分辨网络中的卷积层进行网络剪枝处理,得到纹理压缩码本对应的预置超分辨网络;网络剪枝处理包括对纹理压缩码本对应的中间超分辨网络中的卷积层进行卷积层剪枝处理或通道剪枝处理;或,将纹理压缩码本对应的中间超分辨网络中的浮点类型的模型参数转换为整型类型的模型参数或定点数类型的模型参数,得到纹理压缩码本对应的预置超分辨网络。
可选地,模型训练模块,还用于获取模型体积小于初始超分辨网络的第二超分辨网络;将纹理压缩码本对应的样本矢量量化结果输入初始压缩超分辨网络,得到纹理压缩码本对应的第一预测结果;将纹理压缩码本对应的样本矢量量化结果输入纹理压缩码本对应的中间超分辨网络,得到纹理压缩码本对应的第二预测结果;根据纹理压缩码本对应的第一预测结果以及第二预测结果之间的差异,确定纹理压缩码本对应损失值;根据纹理压缩码本对应损失值对初始压缩超分辨网络进行训练,得到纹理压缩码本对应的预置超分辨网络。
第四方面,本申请实施例提供了一种图像压缩装置,装置包括:信息确定模块,用于确定待压缩的纹理图像对应的纹理复杂度;纹理压缩码本确定模块,用于从纹理压缩码本集合中确定与纹理复杂度对应的目标纹理压缩码本;纹理压缩码本集合中的每个纹理压缩码本均包括不同像素值各自对应的量化值;量化模块,用于根据目标纹理压缩码本对纹理图像进行矢量量化,确定纹理图像的矢量量化结果;结果获得模块,用于根据纹理图像的矢量量化结果以及目标纹理压缩码本的纹理压缩码本标识,得到纹理图像的纹理压缩结果。
可选地,信息确定模块,还用于识别纹理图像中的目标对象;根据纹理图像中目标对象的数量以及目标对象所在区域在纹理图像中的占比中的至少一者,确定纹理图像对应的纹理复杂度。
可选地,装置还包括纹理压缩码本获取模块,用于确定多个复杂度区间;根据每个复杂度区间分别对目标像素值区间进行聚类,得到每个复杂度区间对应的多个聚类结果;对每个复杂度区间下的每个聚类结果配置各自的量化值,聚类结果中的像素值的比特位大于聚类结果对应的量化值的比特位;根据每个复杂度区间下的每个聚类结果以及每个复杂度区间下的每个聚类结果各自的量化值,确定每个复杂度区间对应的纹理压缩码本;获取并汇总多个复杂度区间各自的纹理压缩码本,得到纹理压缩码本集合。
可选地,量化模块,还用于根据目标下采样倍数对纹理图像进行下采样,得到初始压缩结果;根据目标纹理压缩码本对初始压缩结果进行矢量量化,确定纹理图像的矢量量化结果。
第五方面,本申请实施例提供了一种电子设备,包括处理器以及存储器;一个或多个程序被存储在存储器中并被配置为由处理器执行以实现上述的方法。
第六方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,其中,在计算机程序被处理器运行时执行上述的方法。
第七方面,本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该电子设备执行上述的方法。
本申请实施例提供的一种图像压缩和解压缩方法、装置、电子设备及存储介质,从多个预置超分辨网络中获取与目标纹理压缩码本的纹理压缩码本标识对应的目标超分辨网络,目标超分辨网络可以准确的提取到矢量量化结果中的特征信息,使得根据目标超分辨网络提取到的特征信息所预测的纹理图像中每个像素点各自对应的预测像素值的准确率较高,从而使得得到的解压缩纹理图像与原纹理图像的相似度极高,进而提高了对矢量量化结果的重构效果以及解压缩效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1 示出了本申请实施例中纹理压缩前后的图像传输过程的示意图;
图2示出了相关技术中一种压缩格式的示意图;
图3示出了相关技术中又一种压缩格式的示意图;
图4示出了本申请实施例所适用的应用场景的示意图;
图5示出了本申请一个实施例提出的一种图像压缩方法的流程图;
图6示出了本申请实施例中一种量化值与像素值的对应关系图;
图7示出了本申请一个实施例提出的一种图像解压缩方法的流程图;
图8示出了本申请实施例中一种目标卷积层组的示意图;
图9示出了图8所示的目标卷积层组对应的调整后的目标卷积层组的示意图;
图10示出了图8中的目标卷积层组对应的目标融合卷积层的示意图;
图11示出了本申请实施例中一种图像处理过程的示意图;
图12示出了本申请实施例中一种图像解压缩过程的;
图13示出了本申请一个实施例提出的一种图像压缩装置的框图;
图14示出了本申请一个实施例提出的一种图像解压缩装置的框图;
图15示出了用于执行根据本申请实施例的图像压缩方法的电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。根据本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在以下的描述中,所涉及的术语“第一\第二”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
需要说明的是:在本文中提及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
考虑到电子设备中的芯片(CPU或GPU,CPU是指中央处理器(Central ProcessingUnit),GPU是指图形处理器(graphics processing unit))对图像的快速渲染,图像的纹理压缩通常需要满足快速读取、支持随机读取、支持非色彩类图像以及对硬件支持度较广等条件,因此,图像的纹理压缩的主要目标为减少存储大小、减少显存占用以及减少读取数据的带宽等。
如图1中的a所示,原始图像101不经过纹理压缩,其以图像的格式存储为图像数据102,在将图像数据102传输到GPU过程中总线带宽的占用较高,导致数据读取效率较低。如图1中的b所示,原始图像103经过纹理压缩,其以纹理格式存储为纹理数据104,由于,纹理数据的数据量较少,在将纹理数据104传输到GPU过程中可以减少总线带宽的占用,提高数据读取效率。
目前,为了取得显存占用和纹理质量的平衡,主要有两种纹理压缩的格式:原生纹理格式以及非原生纹理格式。
原生纹理格式是指在计算机图形学中使用的一种未经过压缩或编码的、原始的纹理数据存储格式。这种格式通常包括像素的颜色信息、透明度信息、法线信息、高度信息等,可以用于渲染3D场景中的各种物体和场景。图2示出了常见五种原生纹理格式的示意图。
201是指R5G6B5纹理格式,R是指红色通道,G是指绿色通道,B是指蓝色通道,R5G6B5是一种16比特位(5+6+5,代表红色通道、绿色通道以及蓝色通道分别占用5个比特位)的原生纹理格式,201中从左至右三种图案依次为红色通道、绿色通道以及蓝色通道对应的纹理示意。
202是指 A4R4G4B4纹理格式,A是指灰色通道,A4R4G4B4是一种16比特位(4+4+4+4,代表灰色通道、红色通道、绿色通道以及蓝色通道分别占用4个比特位)的原生纹理格式,202中从左至右四种图案依次为灰色通道、红色通道、绿色通道以及蓝色通道对应的纹理示意。
203是指A1R5G5B5纹理格式,A1R5G5B5是一种16比特位(1+5+5+5,代表灰色通道占用1个比特位,红色通道、绿色通道以及蓝色通道分别占用5个比特位)的原生纹理格式,203中从左至右四种图案依次为灰色通道、红色通道、绿色通道以及蓝色通道对应的纹理示意.
204是指R8G8B8纹理格式,R8G8B8纹理格式是一种24比特位(8+8+8,代表红色通道、绿色通道以及蓝色通道分别占用8个比特位)的原生纹理格式,204中从左至右三种图案依次为红色通道、绿色通道以及蓝色通道对应的纹理示意。
205是指A8R8G8B8纹理格式,A8R8G8B8是一种32比特位(8+8+8+8,代表灰色通道、红色通道、绿色通道以及蓝色通道分别占用8个比特位)的原生纹理格式,205中从左至右四种图案依次为灰色通道、红色通道、绿色通道以及蓝色通道对应的纹理示意。
以R5G6B5为例,它被广泛应用于计算机图形学中的2D和3D图像渲染。在这种格式中。相对于其他格式,R5G6B5格式具有比较小的文件大小和较高的渲染速度,这是因为它只需要16位的存储空间,而且不需要进行压缩或解压缩的操作。同时,在许多应用场景中,这种格式可以提供足够的图像质量和精度。对于一个512 * 512大小的图像,如果使用R5G6B5的纹理格式,其大小为512 * 512 * 2 = 512KB。总的来说,R5G6B5是一种比较常见和实用的原生纹理格式,它具有文件大小小、渲染速度快等优点,适用于许多不需要过高精度的应用场景。但在需要更高精度的应用场景下,需要采用其他更为先进的纹理格式。
非原生纹理格式主要包括S3TC、PVRTC、ETC等。以S3TC为例, S3TC又名DXTn或BCn系列。BCn系列中的BC5是一种常用的基于块的纹理压缩方法。它主要用于压缩法线贴图和光照贴图等需要高精度和大量数据的纹理贴图。BC5是双通道版本的BC4,在BC5压缩格式中采用了两个独立的压缩通道(RG,R是指红色通道纹理格式),每个通道分别对应红色分量和绿色分量。BC5压缩算法采用了基于块的压缩方法,将原始图像分成4×4像素块,然后对每个块进行纹理压缩。
BC5的压缩过程如图3所示,每个4×4的block(像素块)被压缩为128 bits(比特位),也就是每个红色像素和绿色像素编码为8 bits。对于每个像素块,BC5算法会首先计算出每个通道的最小值A和最大值B,然后将这些最小值和最大值用8 bits来表示。接着,算法会根据每个像素的值和最小值最大值的范围,计算出中间的插值点,并根据这些插值点去近似其他像素。直接存储两个end points(边界点,也就是图3中的A和B),通过下标存储8个插值点(占用3 bits)。因此,对于4×4的block总共存储的大小为2×(8+8+16×3)=128bits。
BC5压缩方法可以实现高压缩比和较好的图像质量,特别是在处理法线贴图和光照贴图等需要高精度的纹理时,效果尤为明显。
然而,采用上述原生纹理格式以及非原生纹理格式对待压缩的图像进行压缩时,存在图像压缩比较大导致压缩后的结果出现严重的信息丢失或图像压缩比较低导致的压缩后的结果占用体积依旧较大的问题。
基于此,发明人提出了本申请的图像压缩方法,通过纹理图像对应的纹理复杂度确定目标纹理压缩码本,再根据目标纹理压缩码本对纹理图像进行矢量量化得到纹理图像的矢量量化结果,纹理复杂度准确的指示了纹理图像的复杂度,由于采用不同的纹理压缩码本对纹理图像进行矢量量化后图像的质量和压缩比是存在差异的,在本申请中利用与纹理复杂度相对应的目标纹理压缩码本对纹理图像进行矢量量化,保证矢量量化后所得到的图像的质量和压缩比是与纹理图像的复杂度相契合的,实现了通过不同的纹理压缩码本对复杂度不同的图像进行针对性的压缩,避免了采用同一纹理压缩码本对不同的纹理图像进行压缩导致的图像信息丢失严重或压缩后的结果的体积依旧较大的情况发生,从而在保证压缩比的情况下兼顾图像压缩后的图像质量,以为后续重建图像提供较好的数据基础,提高了图像压缩效果。
本申请公开了一种图像压缩和解压缩方法、装置、电子设备及存储介质,涉及人工智能的机器学习以及云技术等。
人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning, ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。
云技术(Cloud technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。
云存储(cloud storage)是在云计算概念上延伸和发展出来的一个新的概念,分布式云存储系统 (以下简称存储系统)是指通过集群应用、网格技术以及分布存储文件系统等功能,将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作,共同对外提供数据存储和业务访问功能的一个存储系统。
如图4所示,本申请实施例所适用的应用场景包括终端20和服务端10,终端20和服务端10通过有线网络或者无线网络通信连接。终端20可以是智能手机、平板电脑、笔记本电脑、台式电脑、智能家电、车载终端、飞行器、可穿戴设备终端、虚拟现实设备以及其他可以进行页面展示的终端设备,或者运行其他可以调用页面展示应用的其他应用(例如即时通讯应用、购物应用、搜索应用、游戏应用、论坛应用、地图交通应用等)。
服务端10可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务端10可以用于为终端20运行的应用提供服务。
服务端10可以确定纹理图像对应的纹理复杂度;并从纹理压缩码本集合中确定与纹理复杂度对应的目标纹理压缩码本;之后,服务端10再根据目标纹理压缩码本对纹理图像进行矢量量化,确定纹理图像的矢量量化结果;然后,服务端10根据纹理图像的矢量量化结果以及目标纹理压缩码本的纹理压缩码本标识,得到纹理图像的纹理压缩结果,最后,服务端10将纹理图像的纹理压缩结果发送给终端20。
终端20接收到包括矢量量化结果以及目标纹理压缩码本的纹理压缩码本标识的纹理压缩结果后,可以从多个预置超分辨网络中获取与目标纹理压缩码本的纹理压缩码本标识对应的目标超分辨网络,之后,终端20将矢量量化结果输入目标超分辨网络进行图像重构,得到对应矢量量化结果的解压缩纹理图像,最后,终端20可以根据解压缩纹理图像进行图像渲染,以输出解压缩纹理图像对应的画面。
其中,服务端10可以根据不同纹理压缩码本对应的训练样本对初始超分辨网络进行训练,得到每个纹理压缩码本各自对应的预置超分辨网络,之后,服务端10可以建立纹理压缩码本对应的预置超分辨网络以及纹理压缩码本的纹理压缩码本标识的对应关系,并将多个纹理压缩码本的纹理压缩码本标识以及每个纹理压缩码本的纹理压缩码本标识对应的预置超分辨网络发送至终端20,由终端20存储多个纹理压缩码本的纹理压缩码本标识以及每个纹理压缩码本的纹理压缩码本标识对应的预置超分辨网络。
在一些可能的实现方式中,终端20可以根据纹理图像,得到纹理图像的纹理压缩结果,然后,终端20将纹理图像的纹理压缩结果发送给服务端10。服务端10接收到像压缩结果后,进行解压缩处理,得到解压缩纹理图像,最后,服务端10可以根据解压缩纹理图像进行图像渲染,以输出解压缩纹理图像对应的画面。
可选地,服务端10可以将获取到的多个纹理压缩码本的纹理压缩码本标识以及每个纹理压缩码本的纹理压缩码本标识对应的预置超分辨网络存储于云存储系统中,在执行本申请的图像压缩方法时,由终端20从云存储系统获取并存储多个纹理压缩码本的纹理压缩码本标识以及每个纹理压缩码本的纹理压缩码本标识对应的预置超分辨网络。
为了方便表述,下述各个实施例中,以图像压缩和解压缩由电子设备执行为例进行说明。
请参阅图5,示出了本申请一个实施例提出的一种图像压缩方法的流程图,该方法可以应用于电子设备,电子设备可以是图4中的终端20或服务端10,该方法包括:
S110、确定待压缩的纹理图像对应的纹理复杂度。
纹理图像可以是彩色图像或灰度图像,纹理图像的数据格式可以是纹理格式,例如,纹理图像为足球队在足球场踢球的彩色图像,又如,纹理图像为狗狗的灰度图像。作为一种实施方式,纹理图像可以是原图像中的一个图像块,也即,原图像可以被划分为多个图像块(block),每个block作为一个纹理图像。
纹理图像的复杂度指图像的内容的复杂程度,纹理图像的复杂度即为纹理复杂度。纹理图像的纹理复杂度可以是复杂度数值的形式,复杂度数值越大,纹理复杂度越大,反之,复杂度数值越低,纹理复杂度越低。一般而言,纹理图像中对象的对象类别越多,纹理复杂度越高,纹理图像中每个对象类别下的对象的数量越多,纹理复杂度越高。
在一些实施例中,可以识别纹理图像中的目标对象;根据纹理图像中目标对象的数量以及目标对象所在区域在纹理图像中的占比中的至少一者,确定纹理图像的复杂度,作为纹理图像对应的纹理复杂度。
其中,目标对象可以是指特定的对象,例如,目标对象可以是指人、建筑物户或者文字等。可以通过目标对象对应的目标对象识别模型对纹理图像进行识别,以识别纹理图像中各个对象属于目标对象的概率,确定概率达到概率阈值(例如0.5)的对象作为目标对象。
可以通过目标对象对应的样本图像、样本标签以及对象位置信息,对初始模型进行训练,得到目标对象识别模型。其中,初始模型可以是指二分类模型,例如初始模型可以通过多个卷积层构建的模型,对象位置信息用于指示目标对象在样本图像中的位置,对象位置信息可以是预测框的形式,也即,对象位置信息可以包括样本预测框的坐标以及样本预测框的尺寸。
识别纹理图像中的目标对象后,可以确定目标对象的数量以及目标对象所在的区域在纹理图像中的占比,然后根据纹理图像中目标对象的数量以及目标对象所在区域在纹理图像中的占比,确定复杂度,作为纹理复杂度。
可以确定目标对象的数量与纹理图像中的对象的总数量的比值,作为纹理复杂度;也可以确定目标对象所在区域在纹理图像中的占比,作为纹理复杂度;还可以目标对象的数量与纹理图像中的对象的总数量的比值作为第一结果,并确定目标对象所在区域在纹理图像中的占比作为第二结果,并对第一结果以及第二结果加权求和,得到纹理复杂度,其中,第一结果以及第二结果可以是基于需求设定的,例如,第一结果以及第二结果的权重均为1,又如,第一结果小于第二结果的权重。
在本实施例中,可以确定纹理图像中属于目标对象的所有像素点,作为目标对象所在的区域。若目标对象识别模型输出的结果包括目标对象的预测框时,还可以确定纹理图像中包括目标对象的预测框内的区域作为目标对象所在的区域。
S120、从纹理压缩码本集合中确定与纹理复杂度对应的目标纹理压缩码本。
纹理压缩码本集合包括多个纹理压缩码本,与前述纹理图像的纹理复杂度对应的纹理压缩码本即为目标纹理压缩码本。纹理压缩码本集合中的每个纹理压缩码本均包括不同像素值各自对应的量化值,且纹理压缩码本中像素值的比特位大于量化值的比特位。例如,像素值的取值为0-255时,像素值为8bits,像素值对应的量化值为4bits。
作为一种实施方式,纹理压缩码本集合可以包括多个复杂度区间各自的纹理压缩码本,可以确定纹理图像的纹理复杂度所在的复杂度区间作为目标复杂度区间,纹理压缩码本集合中目标复杂度区间对应的纹理压缩码本作为目标纹理压缩码本。例如,纹理压缩码本集合包括复杂度区间a1对应的纹理压缩码本、复杂度区间a2对应的纹理压缩码本以及复杂度区间a3对应的纹理压缩码本,确定纹理图像的纹理复杂度在区间a1内,获取复杂度区间a1对应的纹理压缩码本作为目标纹理压缩码本。
在一些实施例中,纹理压缩码本集合的获取方法可以包括:确定多个复杂度区间;根据每个复杂度区间分别对目标像素值区间进行聚类,得到每个复杂度区间对应的多个聚类结果;对每个复杂度区间下的每个聚类结果配置各自的量化值,聚类结果中的像素值的比特位大于聚类结果对应的量化值的比特位;根据每个复杂度区间下的每个聚类结果以及每个复杂度区间下的每个聚类结果各自的量化值,确定每个复杂度区间对应的纹理压缩码本;获取并汇总多个复杂度区间各自的纹理压缩码本,得到纹理压缩码本集合。
目标像素值区间可以是指图像中的像素点的像素值所可能涉及到的全部像素值构成的区间,例如,图像中的像素点的像素值范围为0-255时,目标像素值区间为[0,255]。
针对每个复杂度区间,可以确定聚类规则,根据每个复杂度区间的聚类规则,对目标像素值区间进行聚类,得到每个复杂度区间对应的多个聚类结果。其中,聚类规则可以是指对目标像素值区间进行划分,得到多个像素值子区间,每个像素值子区间作为一个聚类结果。其中,聚类规则可以包括目标像素值区间聚类后的聚类结果的数量以及划分方式(划分方式包括均匀划分和不均匀划分)。
均匀划分可以是指将目标像素值区间划分为多个像素值子区间,多个像素值子区间的区间长度相同。不均匀的划分可以是指将将目标像素值区间划分为多个像素值子区间,多个像素值子区间的区间长度不完全相同。
不均匀的划分过程可以包括:统计目标像素值区间中各个像素值在训练数据中的统计图像(可以是一个统计图像,也可以是多个统计图像,统计图像可以是指彩色图像)中的出现次数,确定出现次数高于预设次数(预设次数可以基于需求设定,一个统计图像对应的预设次数与多个统计图像对应的预设次数不同)的像素值自身作为一个聚类,出现次数不高于预设次数的多个相邻的像素值作为一个聚类。
例如,目标像素值区间为[0,255],聚类规则为聚类结果的数量128以及均匀划分,将目标像素值区间均匀划分为128个像素值子区间:{0,1}、{2,3}、…、{254,255},每个像素值子区间作为一个聚类结果。
又如,目标像素值区间为[0,255],聚类规则为聚类结果的数量64以及不均匀划分,将目标像素值区间划分为64个像素值子区间,其中,像素值120-160在统计图像中的出现次数高于预设次数,将像素值120-160中的每个像素值作为一个聚类,得到41个聚类结果,将其余像素值进行聚类,得到23个聚类结果,其中,像素值 {0,1,2,3}为一个聚类结果。
对于一个聚类结果可以配置一个量化值,且聚类结果中的像素值的比特位大于聚类结果对应的量化值的比特位。由于聚类结果的数量小于目标像素值区间中像素值的数量,因此,多个聚类结果对应的多个量化值的数量也是小于目标像素值区间中像素值的数量,在目标像素值区间中像素值的数量是聚类结果的倍(n为大于0的自然数)时,即可使得量化值占用的比特位小于像素值占用的比特位。
例如,对目标像素值区间为[0,255],像素值的比特位为8bits,聚类规则为聚类结果的数量64以及均匀划分,将目标像素值区间均匀划分为64个像素值子区间:{0,1,2,3}、…、{252,253,254,255},每个像素值子区间作为一个聚类结果,此时,聚类结果的数量为64,可以将1-64作为64个聚类结果的量化值,此时,通过6bits位的数据即可表示1-64。此时,像素值0-255与各自的量化值的对应关系如图6所示 {0,1,2,3}作为一个聚类结果,配置量化值1,{4,5,6,7}作为一个聚类结果,配置量化值2。
针对每个复杂度区间,完成对复杂度区间下的所有聚类结果的量化值的配置后,将所有聚类结果以及每个聚类结果各自的量化值汇总,得到复杂度区间的纹理压缩码本,纹理压缩码本包括不同像素值各自的量化值。纹理压缩码本中的数据格式可以是聚类结果以及聚类结果的量化值的形式,纹理压缩码本中的数据格式也可以像素值以及像素值的量化值的形式。
例如,对目标像素值区间为[0,255],聚类规则为聚类结果的数量64以及均匀划分,将目标像素值区间均匀划分为64个像素值子区间:{0,1,2,3}、…、{252,253,254,255},每个像素值子区间作为一个聚类结果,可以将1-64作为64个聚类结果的量化值,在数据格式可以是聚类结果以及聚类结果的量化值的形式时,得到的纹理压缩码本可以包括:({0,1,2,3},1)、({4,5,6,7},2)、…、({252,253,254,255},64);在数据格式也可以像素值以及像素值的量化值的形式,纹理压缩码本可以包括:(0,1)、(1,1)、(2,1)、(3,1)、(4,2)、(5,2)、(6,2)、(7,2)、…、(252,64)、(253,64)、(254,64)、(255,64)。
遍历全部的复杂度区间,得到各个复杂度区间各自的纹理压缩码本,汇总各个复杂度区间各自的纹理压缩码本,得到纹理压缩码本集合。
需要说明的是,通过纹理压缩码本将像素值映射为数据量较少的量化值,会造成量化后的矢量量化结果的图像质量降低,为了保证矢量量化结果的图像质量,可以通过调整纹理压缩码本中的量化值的数量和大小来在压缩比和图像质量之间的进行折中。例如,高压缩比的条件下,纹理压缩码本中的量化值的数量可以较低,从而矢量量化结果的图像质量相对较差。又如,高压图像质量的条件下,纹理压缩码本中的量化值的数量可以较大,从而矢量量化结果的图像质量相对较好,但是压缩比较低。
S130、根据目标纹理压缩码本对纹理图像进行矢量量化,确定纹理图像的矢量量化结果。
矢量量化又叫做图像向量量化(Image Vector Quantization, IVQ),用于对图像进行压缩,以减少图像的数据量。
针对纹理图像中的任意一个像素点,从目标纹理压缩码本中获取该像素点的像素值对应的量化值,作为该像素点的目标量化值,遍历纹理图像中的所有像素点,得到纹理图像中所有像素点各自的目标量化值,然后按照每个像素点的目标量化值对每个像素点的像素值进行数据替换,得到数据替换后的图像作为纹理图像的矢量量化结果,从而实现对纹理图像进行矢量量化(vector quantization)。
作为一种实施方式,纹理压缩码本中的数据格式可以是聚类结果以及聚类结果的量化值的形式,针对纹理图像中的任意一个像素点,确定目标纹理压缩码本中包括该像素点的像素值的聚类结果作为该像素点的目标聚类结果,根据该像素点对应的目标聚类结果对应的量化值作为该像素点的目标量化值。
作为又一种实施方式,纹理压缩码本中的数据格式也可以像素值以及像素值的量化值的形式,针对纹理图像中的任意一个像素点,直接确定目标纹理压缩码本中该像素点的像素值对应的量化值作为该像素点的目标量化值。
作为一种实施方式,S130之前,方法还可以包括:根据目标下采样倍数对纹理图像进行下采样,得到初始压缩结果;相应的,S130可以包括:根据目标纹理压缩码本对初始压缩结果进行矢量量化,确定纹理图像的矢量量化结果。
目标下采样倍数可以是指纹理图像的边长与采样后的初始压缩结果的边长的比值,目标下采样倍数可以是根据需求设定的倍数,可以是整倍数或小数倍数。原始的纹理图像,假设尺寸为H×W大小,下采样s倍后,得到的初始压缩结果的尺寸为(H/s)×(W/s),整体的压缩比为s^2。
在本申请中,下采样方法可以是指根据目标下采样倍数s将纹理图像划分为多个图像块,每个图像块的尺寸为s×s,针对每个图像块,根据该图像块中各像素点的像素值,确定一个像素值作为该图像块的目标像素值,然后按照各个图像块在纹理图像中的位置信息,将各个图像块的目标像素值融合为一个图像,作为纹理图像的初始压缩结果。其中,确定目标像素值的过程可以包括确定每个图像块中各个像素点的像素值的平均值、中位数、加权求和结果以及众数中的任意一者,作为图像块的目标像素值。
对纹理图像下采样,得到初始压缩结果,初始压缩结果包括多个像素点各自的像素值。针对初始压缩结果中的任意一个像素点,从目标纹理压缩码本中获取该像素点的像素值对应的量化值,作为该像素点的目标量化值,遍历初始压缩结果的所有像素点,得到初始压缩结果中所有像素点各自的目标量化值,然后按照每个像素点的目标量化值对初始压缩结果中每个像素点的像素值进行数据替换,得到数据替换后的图像作为矢量量化结果。
S140、根据纹理图像的矢量量化结果以及目标纹理压缩码本的纹理压缩码本标识,得到纹理图像的纹理压缩结果。
得到纹理图像的矢量量化结果之后,可以获取目标纹理压缩码本的纹理压缩码本标识,并以目标纹理压缩码本的纹理压缩码本标识作为矢量量化结果的压缩描述信息,将矢量量化结果和矢量量化结果对应的压缩描述信息合并,得到纹理图像的纹理压缩结果。
其中,纹理压缩码本的纹理压缩码本标识可以是指纹理压缩码本的编号、名称等信息,不同的纹理压缩码本的纹理压缩码本标识也不同。
本实施例的图像压缩方法是一种纹理压缩方法,可用于减少计算机图形中纹理图像数据存储和传输所需空间的技术。纹理压缩广泛应用于游戏、虚拟现实、计算机辅助设计等领域。在游戏开发中,该技术可以显著减少存储和传输成本,并提高游戏性能;在虚拟现实中,纹理压缩可以减少对计算机系统的要求,提高用户体验。在计算机辅助设计中,纹理压缩可以减少文件大小,加快文件传输速度,并提高渲染效率。
纹理压缩码本中的量化值的数量直接影响矢量量化结果的图像质量以及压缩后的图像的数据量,纹理压缩码本中的量化值的数量越多,纹理压缩码本中的量化值的比特位越高,通过纹理压缩码本对图像进行矢量量化后的矢量量化结果的数据量越大,从而矢量量化结果可以保存较多的信息,矢量量化结果的图像质量越高,压缩比越低;同理,纹理压缩码本中的量化值的数量越少,纹理压缩码本中的量化值的比特位越低,通过纹理压缩码本对图像进行矢量量化后的矢量量化结果的数据量越小,从而矢量量化结果可以保存较少的信息,矢量量化结果的图像质量越低,压缩比越高。
也就是说纹理压缩码本中的量化值的数量直接影响着量量化结果的图像质量以及的数据量,因此,本实施例中,可以针对纹理复杂度不同的纹理图像设置不同的纹理压缩码本,从而对纹理复杂度较高的纹理图像采用低圧缩比的纹理压缩码本,以保留较多的信息,实现提高矢量量化结果的图像质量的目标,同时,对纹理复杂度较低的纹理图像采用低圧缩比的纹理压缩码本,以降低矢量量化结果的数据量,实现高压缩比的压缩。
本实施例中,通过纹理图像对应的纹理复杂度确定目标纹理压缩码本,再根据目标纹理压缩码本对纹理图像进行矢量量化得到纹理图像的矢量量化结果,纹理复杂度准确的指示了纹理图像的复杂度,由于采用不同的纹理压缩码本对纹理图像进行矢量量化后图像的质量和压缩比是存在差异的,在本申请中利用与纹理复杂度相对应的目标纹理压缩码本对纹理图像进行矢量量化,保证矢量量化后所得到的图像的质量和压缩比是与纹理图像的复杂度相契合的,实现了通过不同的纹理压缩码本对复杂度不同的图像进行针对性的压缩,避免了采用同一纹理压缩码本对不同的纹理图像进行压缩导致的图像信息丢失严重或压缩后的结果的体积依旧较大的情况发生,从而在保证压缩比的情况下兼顾图像压缩后的图像质量,以为后续重建图像提供较好的数据基础,提高了图像压缩效果。
同时,本实施例中还结合了下采样以及矢量量化(vector quantization)两种方式对纹理图像进行压缩,实现了超分辨率压缩,可以进一步提高了压缩比,降低了纹理压缩结果的数据量,从而有效的提高了压缩效果。
请参阅图7,图7示出了本申请一个实施例提出的一种图像解压缩方法的流程图,该方法可以应用于电子设备,电子设备可以是图4中的终端20或服务端10,该方法包括:
S210、获取纹理压缩结果,纹理压缩结果包括待压缩的纹理图像的矢量量化结果以及目标纹理压缩码本的纹理压缩码本标识;矢量量化结果是根据目标纹理压缩码本对纹理图像进行矢量量化后得到;目标纹理压缩码本包括不同像素值各自对应的量化值。
其中,根据纹理图像得到纹理压缩结果的过程参照上文S110-S130的描述,此处不再赘述。
S220、从多个预置超分辨网络中获取与目标纹理压缩码本的纹理压缩码本标识对应的目标超分辨网络。
纹理压缩码本集合中的每个纹理压缩码本对应各自的纹理压缩码本标识,每个纹理压缩码本对应一个预置超分辨网络,可以通过纹理压缩码本的纹理压缩码本标识与预置超分辨网络之间的对应关系指示纹理压缩码本与预置超分辨网络之间的对应关系。例如,纹理压缩码本A1的纹理压缩码本标识为a1,纹理压缩码本A1对应的预置超分辨网络为S1,则纹理压缩码本标识a1对应的预置超分辨网络为S1。
在本实施例中,可以将纹理图像与通过纹理压缩码本对纹理图像进行矢量量化后的矢量量化结果的比值作为量化压缩比,不同的纹理压缩码本对应的量化压缩比可以不同。例如,纹理压缩码本中的像素值为8bits,纹理压缩码本中的像素值对应的量化值为6bits,则量化压缩比为的4/3。
可以理解的是,不同的纹理压缩码本对应的量化压缩比可能不同,若不同的量化压缩比共用同一个预置超分辨网络,则预置超分辨网络可能对某些量化压缩比下的矢量量化结果的重构效果尚可,对其他量化压缩比下的矢量量化结果的重构效果可能较差,因此,为了提高矢量量化结果的重构效果,通过不同的预置超分辨网络实现对不同纹理压缩码本量化后的矢量量化结果的准确重构。
可以理解的是,若不同多个纹理压缩码本的量化压缩比相同,则该多个纹理压缩码本的纹理压缩码本标识可以公用一个预置超分辨网络。不同多个纹理压缩码本的量化压缩比相同,若多个纹理压缩码本中的聚类规则中聚类结果的数量相同,聚类规则中的划分方式(划分方式为均匀划分或不均匀划分)不同,则多个纹理压缩码本对应的预置超分辨网络也可以不同。
作为一种实施方式,纹理压缩码本对应的预置超分辨网络的获取方法可以包括:根据纹理压缩码本集合中的纹理压缩码本,对样本图像进行矢量量化,得到纹理压缩码本对应的样本矢量量化结果;根据纹理压缩码本对应的样本矢量量化结果以及样本图像,对初始超分辨网络进行训练,得到纹理压缩码本对应的中间超分辨网络;根据纹理压缩码本对应的中间超分辨网络的参数,对第一超分辨网络进行重参数化,得到纹理压缩码本对应的预置超分辨网络;建立纹理压缩码本对应的预置超分辨网络以及纹理压缩码本的纹理压缩码本标识之间的对应关系。
样本图像可以是指用于训练初始超分辨网络的图像,针对每个纹理压缩码本,可以按照S110-S140的方式对样本图像进行处理,得到样本图像对应的矢量量化结果作为样本矢量量化结果。然后通过纹理压缩码本对应的样本矢量量化结果以及样本图像,对初始超分辨网络进行训练,得到纹理压缩码本对应的中间超分辨网络。
在一些实施例中,初始超分辨网络包括至少一个卷积层组,每个卷积层组包括多个卷积层,也即,训练后的纹理压缩码本对应的中间超分辨网络也包括至少一个卷积层组(中间超分辨网络中的一个卷积层组对应初始超分辨网络中的一个卷积层组,初始超分辨网络中的一个卷积层组训练后作为中间超分辨网络中的一个卷积层组)。
针对每个纹理压缩码本,得到纹理压缩码本的对应的中间超分辨网络之后,通过纹理压缩码本对应的中间超分辨网络的参数,对第一超分辨网络进行重参数化,得到纹理压缩码本对应的预置超分辨网络。第一超分辨网络包括至少一个融合卷积层,每个融合卷积层对应中间超分辨网络中的一个卷积层组。一个融合卷积层是指第一超分辨网络中与中间超分辨网络中的卷积层组等效的卷积层。在纹理压缩码本对应的中间超分辨网络包括独立卷积层时,第一超分辨网络也包括对应纹理压缩码本的中间超分辨网络中的独立卷积层的独立卷积层。可以理解的是,由于初始超分辨网络中的一个卷积层组训练后作为中间超分辨网络中的一个卷积层组,一个融合卷积层也对应初始超分辨网络中的一个卷积层组。
其中,针对每个纹理压缩码本,对第一超分辨网络进行重参数化的过程可以包括:根据目标卷积层组中各个卷积层之间的目标线性运算关系,对目标卷积层组中多个卷积层的参数进行融合,得到目标融合卷积层对应的目标参数;目标卷积层组为纹理压缩码本对应的中间超分辨网络中的任意一个卷积层组;目标融合卷积层是指第一超分辨网络中与目标卷积层组对应的融合卷积层;根据第一超分辨网络中每个融合卷积层各自对应的目标参数,对第一超分辨网络中对应的融合卷积层进行参数配置,得到纹理压缩码本对应的预置超分辨网络。
目标卷积层组中各个卷积层之间的线性运算关系作为目标线性运算关系,卷积层组中各个卷积层之间的线性运算关系可以是指卷积层组中各个卷积层中数据流的运算关系。其中,卷积层的参数可以包括权重矩阵以及偏置矩阵,也即,目标参数也包括权重矩阵以及偏置矩阵。
如图8所示,目标卷积层组包括三个卷积层,依次为卷积核1×1的卷积层j1、卷积核3×3的卷积层j2以及卷积核1×1的卷积层j3,三个卷积层的线性运算关系为:卷积层j1的输出作为卷积层j2的输入,卷积层j2的输出的作为卷积层3的输入。
为了实现对目标卷积层中卷积层的融合,需要根据目标卷积层组中各个卷积层的线性运算关系,对目标卷积层组进行调整,得到调整后的目标卷积层组,再对调整后的目标卷积层组中各个卷积层的参数进行融合,得到目标卷积层组对应的目标融合卷积层的目标参数。
图8所示的目标卷积层组对应的调整后的目标卷积层组如图9所示,卷积层组加入了1×1卷积层fj1以及1×1卷积层fj1,此时,调整后的目标卷积层组中各个卷积层的融合顺序为:卷积层fj1的参数与卷积层j2的参数融合得到融合后的卷积层rj1的参数,卷积层rj1的参数与卷积层j1的参数融合得到融合后的卷积层rj2的参数,卷积层rj2的参数与j3的参数融合得到融合后的卷积层rj3的参数,卷积层rj3的参数与卷积层fj2的参数融合得到目标融合卷积层的目标参数。
1×1的卷积核相当于一个特殊(卷积核中有很多0)的3×3卷积核,只需要把3×3卷积核的中心以外的其他元素填充为0即可得到与1×1的卷积核效果相同的3×3的卷积核。同理,可以根据原1×1的卷积核的参数,确定转换后得到的3×3卷积核的参数。此时,对1×1的卷积核的参数与3×3的卷积核的参数进行融合是指:将3×3卷积核的参数与1×1的卷积核转换后得到的3×3的卷积核的参数相加,即可融合之后的卷积层的参数。
例如,如图9所示,针对参数中的权重矩阵,首先将fj1的卷积核转换为3×3的卷积核,得到转换后的fj1,并根据fj1的权重矩阵得到转换后的fj1的权重矩阵,再将转换后的fj1的权重矩阵与j2的权重矩阵相加,得到rj1的权重矩阵。同理,针对参数中的偏置矩阵,首先将fj1的卷积核转换为3×3的卷积核,得到转换后的fj1,并根据fj1的偏置矩阵得到转换后的fj1的偏置矩阵,再将转换后的fj1的偏置矩阵与j2的偏置矩阵相加,得到rj1的偏置矩阵。
将图8所示的目标卷积层组按照图9所示的方式进行融合后,得到目标卷积层组对应的目标融合卷积层的目标参数,目标融合卷积层的结构如图10所示,为一个3×3卷积核的卷积层。可以通过目标融合卷积层的目标参数对目标融合卷积层进行参数配置。
针对每个纹理压缩码本对应的中间超分辨网络,遍历第一超分辨网络中的各个融合卷积层,得到第一超分辨网络中各个融合卷积层各自对应的目标参数,通过第一超分辨网络中各个卷积层各自对应的目标参数,对第一超分辨网络中各个卷积层进行参数配置,得到纹理压缩码本对应的预置超分辨网络。
可以理解的是,初始超分辨网络还可以包括第一独立卷积层(仅包括一个卷积层),同理,纹理压缩码本对应的中间超分辨网络也包括与第一独立卷积层对应的第二独立卷积层,第一超分辨网络也包括与第二独立卷积层对应的第三独立卷积层,直接根据中间超分辨网络中的第二独立卷积层的参数,对第二独立卷积层对应的第三独立卷积层进行参数配置。
在根据纹理压缩码本对应的中间超分辨网络的参数,完成对第一超分辨网络中的融合卷积层以及第三独立卷积层的参数配置后,得到纹理压缩码本对应的预置超分辨网络。
作为又一种实施方式,纹理压缩码本对应的预置超分辨网络的获取方法可以包括:根据纹理压缩码本集合中的纹理压缩码本,对样本图像进行矢量量化,得到纹理压缩码本对应的样本矢量量化结果;根据纹理压缩码本对应的样本矢量量化结果以及样本图像,对初始超分辨网络进行训练,得到纹理压缩码本对应的中间超分辨网络; 对纹理压缩码本对应的中间超分辨网络进行压缩,得到纹理压缩码本对应的预置超分辨网络。
在本实施例中,针对每个纹理压缩码本,可以对纹理压缩码本对应的中间超分辨网络中的卷积层进行网络剪枝处理,得到纹理压缩码本对应的预置超分辨网络;网络剪枝处理包括对纹理压缩码本对应的中间超分辨网络中的卷积层进行卷积层剪枝处理或通道剪枝处理;也可以将纹理压缩码本对应的中间超分辨网络中的浮点类型的模型参数转换为整型类型的模型参数或定点数类型的模型参数,得到纹理压缩码本对应的预置超分辨网络。
作为又一种可能的实现方式,针对每个纹理压缩码本,还可以获取模型体积小于初始超分辨网络的第二超分辨网络;将纹理压缩码本对应的样本矢量量化结果输入初始压缩超分辨网络,得到纹理压缩码本对应的第一预测结果(与样本图像尺寸相同的图像);将纹理压缩码本对应的样本矢量量化结果输入纹理压缩码本对应的中间超分辨网络,得到纹理压缩码本对应的第二预测结果(与样本图像尺寸相同的图像);根据纹理压缩码本对应的第一预测结果以及第二预测结果之间的差异,确定纹理压缩码本对应损失值;根据纹理压缩码本对应损失值对初始压缩超分辨网络进行训练,得到纹理压缩码本对应的预置超分辨网络。
其中,初始超分辨网络可以包括多个卷积层,而第二超分辨网络可以也可以包括多个卷积层,但第二超分辨网络的卷积层数量可以少于初始超分辨网络中的卷积层的数量,从而第二超分辨网络的模型体积小于初始超分辨网络。
其中,可以根据纹理压缩码本对应的第一预测结果以及第二预测结果之间的差异,确定交叉熵损失值或均方误差损失值,作为纹理压缩码本对应损失值。
在得到纹理压缩码本对应的预置超分辨网络之后,可以建立纹理压缩码本对应的预置超分辨网络以及纹理压缩码本的纹理压缩码本标识之间的对应关系,以实现通过纹理压缩码本的纹理压缩码本标识索引对应的预置超分辨网络。
S230、利用目标超分辨网络基于矢量量化结果的局部结构和纹理信息进行像素值预测,得到纹理图像中每个像素点各自对应的预测像素值。
确定出目标纹理压缩码本的纹理压缩码本标识对应的目标超分辨网络之后,可以将纹理图像的矢量量化结果输入目标超分辨网络,由目标超分辨网络基于矢量量化结果的局部结构和纹理信息进行像素值预测,以得到目标超分辨网络预测的纹理图像中每个像素点各自对应的像素值,作为述纹理图像中每个像素点各自对应的预测像素值。
例如,纹理图像包括1000个像素点,1000个像素点的纹理图像对应的矢量量化结果包括1000个量化值,根据矢量量化结果包括的1000个量化值所指示的局部结构和纹理信息,进行像素值预测,得到1000个像素点各自的预测像素值。
S240、根据纹理图像中每个像素点各自对应的预测像素值,得到解压缩纹理图像。
可以根据纹理图像中每个像素点各自的位置信息,将纹理图像中每个像素点各自对应的预测像素值融合为一个图像,得到解压缩纹理图像。例如,纹理图像包括1000个像素点,1000个像素点的纹理图像对应的矢量量化结果包括1000个量化值,根据矢量量化结果包括的1000个量化值所指示的局部结构和纹理信息,进行像素值预测,得到1000个像素点各自的预测像素值,按照1000个像素点各自的位置信息,将1000个像素点各自的预测像素值融合为1000个像素点的解压缩纹理图像。
本实施例中,通过目标超分辨网络对纹理图像的矢量量化结果进行重构,重构的结果作为矢量量化结果的解压缩纹理图像,目标超分辨网络能够实现图像的精准重构,使得解压缩纹理图像与纹理图像相似度极高,纹理图像的矢量量化结果的重构效果较好。其中,纹理图像、矢量量化结果、解压缩纹理图像的尺寸可以是相同。
作为一种实施方式,纹理图像进行矢量量化之前,还进行了下采样处理时(也即根据目标下采样倍数对纹理图像进行下采样,得到初始压缩结果;再根据目标纹理压缩码本对初始压缩结果进行矢量量化,确定纹理图像的矢量量化结果),纹理图像的矢量量化结果与初始压缩结果图像的尺寸是相同的,而矢量量化结果与纹理图像的尺寸不同,且纹理图像的尺寸与矢量量化结果的尺寸的比值为目标下采样倍数的平方。
然而,通过目标超分辨网络中的各个卷积层对矢量量化结果进行处理后,得到的处理结果的尺寸与矢量量化结果是相同的,难以得到与纹理图像尺寸相同的图像,因此,为了能够使得解压缩纹理图像与纹理图像的尺寸相同,目标超分辨网络还包括具上采样层,同理,任意一个预置超分辨网络也应该包括上采样层,且上采样层的采样倍数与目标下采样倍数相同。
本实施例中,上采样层中的采样方法可以包括最邻近插值法、双线性插值法、转置卷积法以及上池化法等。
可以理解的是,训练预置超分辨网络过程中,也是要对样本图像先进行目标下采样倍数的下采样,并在对下采样结果进行矢量量化,得到样本矢量量化结果,因此,获取的初始超分辨网络、第一超分辨网络以及第二超分辨网络也均包括上采样层,且上采样层的采样倍数与目标下采样倍数相同。
也就是是说,初始超分辨网络得到的样本矢量量化结果与样本图像的尺寸不同,且,样本图像的尺寸与样本矢量量化结果的尺寸的比值为目标下采样倍数的平方,同理,纹理压缩码本对应的第一预测结果与纹理压缩码本对应的样本矢量量化结果的尺寸不同,且纹理压缩码本对应的第一预测结果的尺寸与纹理压缩码本对应的样本矢量量化结果的尺寸的比值为目标下采样倍数的平方,同理,纹理压缩码本对应的第二预测结果与纹理压缩码本对应的样本矢量量化结果的尺寸不同,且纹理压缩码本对应的第二预测结果的尺寸与纹理压缩码本对应的样本矢量量化结果的尺寸的比值为目标下采样倍数的平方。
将矢量量化结果输入目标超分辨网络中的卷积层进行处理,得到卷积层输出的处理结果,再将卷积层的处理结果输入目标超分辨网络中的上采样层,得到目标超分辨网络中的上采样层输出的纹理图像中每个像素点各自对应的预测像素值,然后再根据纹理图像中每个像素点各自对应的预测像素值,得到解压缩纹理图像,通过目标超分辨网络中的卷积层的处理以及上采样层的处理,实现了对矢量量化结果的图像重构。
需要说明的是,在本实施例中,还可以将矢量量化结果划分成多个子块(block),对每个block单独进行图像重构,并将重构后的结果拼接为解压缩纹理图像,以实现对矢量量化结果的图像重构,每个block的图像重构过程如上文矢量量化结果的重构得到解压缩纹理图像的过程。
同时,矢量量化结果的图像重构过程支持基于block快速解压(也即支持对矢量量化结果划分后的每个block单独进行图像重构)、基于block并行随机(多个block可以并行处理,且多个block的处理顺序随机)以及非彩色模式(矢量量化结果为灰度图像对应的矢量量化结果),从而本申请的图像解压缩结果具有广泛的应用。
本实施例中,从多个预置超分辨网络中获取与目标纹理压缩码本的纹理压缩码本标识对应的目标超分辨网络,目标超分辨网络可以准确的提取到矢量量化结果中的特征信息,使得根据目标超分辨网络提取到的特征信息所预测的纹理图像中每个像素点各自对应的预测像素值的准确率较高,从而使得得到的解压缩纹理图像与原纹理图像的相似度极高,进而提高了对矢量量化结果的重构效果以及解压缩效果。
另外,目标超分辨网络还包括上采样层,使得目标超分辨网络进行图像重构后的解压缩纹理图像不仅还原了纹理图像中包括的信息,还将解压缩纹理图像的尺寸还原为与纹理图像相同的尺寸,使得目标超分辨网络的图像重构效果较好,提高了目标超分辨网络的图像重构准确率。
而且,目标超分辨网络经过模型压缩或基于可折叠卷积块(Collapsibleconvolution blocks)的重参数化,使得目标超分辨网络的体积较少,通过目标超分辨网络对矢量量化结果进行重建时的重建速度较快,提高了图像的解压缩效率。
为了更加清楚的解释本申请的技术方案,下面结合一示例性场景对本申请的图像压缩方法以及图像解压缩方法进行解释。
在该场景中,目标下采样倍数为2倍,初始超分辨网络包括3个卷积层组t1、t2以及t3,每个卷积层组包括三个卷积层,初始超分辨网络还包括独立卷积层r1,第一超分辨网络包括t1对应的融合卷积层t11、t2对应的融合卷积层t21以及t3对应的融合卷积层t31,第一超分辨网络还包括r1对应的独立卷积层r11,初始超分辨网络以及第一超分辨网络均包括上采样倍数为2倍的上采样层,第一超分辨网络的结构为t11、t21、t31以及上采样层依次连接,且,初始超分辨网络的结构为t1、t2、t3以及上采样层依次连接,也就是说,第一超分辨网络中的上采样层用于对t31输出的结果进行2倍的上采样,初始超分辨网络中的上采样层用于对t3输出的结果进行2倍的上采样。纹理压缩码本集合包括复杂度区间u1对应的纹理压缩码本1以及复杂度区间u2对应的纹理压缩码本2。
需要说明的是,本场景是针对游戏画面的渲染:服务器将原游戏画面作为纹理图像进行处理,得到纹理压缩结果,终端对纹理压缩结果进行解压缩,得到解压缩纹理图像;且,超分辨网络的训练过程是在服务器中进行,因此,需要GPU卡对超分辨网络进行计算和优化,因此,服务器需要设置有较高算力的GPU卡或者CPU,同时,为了采集游戏图像,服务器充当图像采集设备,用于游戏图像的采集和制作,同时,服务器还需要足够的存储空间来存储训练网络的数据,同时,终端也需要存储空间来存储纹理压缩结果以及解压缩纹理图像。
该场景中,图像的处理过程如图11所示,纹理图像通过超分辨率压缩(通过目标下采样倍数以及目标纹理压缩码本进行压缩的过程),得到纹理图像的矢量量化结果,在通过目标超分辨网络对目标矢量量化结果进行图像重构,得到解压缩纹理图像。
1.预置超分辨网络的训练
服务器获取样本图像,通过目标下采样倍数对样本图像进行采样,得到样本采样结果,并通过纹理压缩码本1对样本采样结果进行矢量量化,得到纹理压缩码本1对应的样本矢量量化结果,通过纹理压缩码本2对样本采样结果进行矢量量化,得到纹理压缩码本2对应的样本矢量量化结果。
然后,服务器通过纹理压缩码本1对应的样本矢量量化结果以及样本图像,对初始超分辨网络进行训练,得到纹理压缩码本1对应的中间超分辨网络,通过纹理压缩码本2对样本矢量量化结果以及样本图像,对初始超分辨网络进行训练,得到纹理压缩码本2对应的中间超分辨网络。
其中,纹理压缩码本1对应的中间超分辨网络中包括t1、t2以及t3各自对应的训练后的卷积层组t12、t22以及t32,纹理压缩码本1对应的中间超分辨网络中该包括r1对应的训练后的独立卷积层r12,此时,t12与融合卷积层t11相对应,t22与融合卷积层t21相对应,t32与融合卷积层t31相对应,r11与r12对应,根据卷积层组t12中3个卷积层之间的线性关系,确定融合卷积层t11对应的目标参数,根据卷积层组t22中3个卷积层之间的线性关系,确定融合卷积层t21对应的目标参数,根据卷积层组t32中3个卷积层之间的线性关系,确定融合卷积层t31对应的目标参数,之后,通过融合卷积层t11、t21以及t31对应的目标参数分别对融合卷积层t11、t21以及t31进行参数配置,并通过r12的参数对r11进行参数配置,得到纹理压缩码本1对应的预置超分辨网络w1,最后,建立纹理压缩码本1的纹理压缩码本标识e1与预置超分辨网络w1的对应关系。
同理,纹理压缩码本2对应的中间超分辨网络中包括t1、t2以及t3各自对应的训练后的卷积层组t13、t23以及t33,纹理压缩码本2对应的中间超分辨网络中该包括r1对应的训练后的卷积层r13,此时,t13与融合卷积层t11相对应,t23与融合卷积层t21相对应,t33与融合卷积层t31相对应,r11与r13对应,根据卷积层组t13中3个卷积层之间的线性关系,确定融合卷积层t11对应的目标参数,根据卷积层组t23中3个卷积层之间的线性关系,确定融合卷积层t21对应的目标参数,根据卷积层组t33中3个卷积层之间的线性关系,确定融合卷积层t31对应的目标参数,之后,通过融合卷积层t11、t21以及t31对应的目标参数分别对融合卷积层t11、t21以及t31进行参数配置,并通过r13的参数对r11进行参数配置,得到纹理压缩码本2对应的预置超分辨网络w2,最后,建立纹理压缩码本2的纹理压缩码本标识e2与预置超分辨网络w2的对应关系。
之后,服务器可以将预置纹理压缩码本标识e1对应的预置超分辨网络w1以及纹理压缩码本标识e2对应的预置超分辨网络w2发送至终端,由终端的GPU存储纹理压缩码本标识e1对应的预置超分辨网络w1以及纹理压缩码本标识e2对应的预置超分辨网络w2。
2.图像压缩过程
纹理图像为游戏画面,目标对象为虚拟人物,目标下采样倍数为2倍。
服务器识别纹理图像中的虚拟人物的数量以及虚拟人物所在区域在纹理图像中的占比,根据虚拟人物的数量以及虚拟人物所在区域在纹理图像中的占比确定纹理图像的纹理复杂度,纹理图像的纹理复杂度在复杂度区间u1中,确定目标纹理压缩码本为纹理压缩码本1。
服务器通过目标下采样倍数对纹理图像进行下采样,得到纹理图像对应的初始压缩结果,通过纹理压缩码本1对初始压缩结果进行矢量量化,得到纹理图像对应的矢量化结果,再将纹理压缩码本1对应的纹理压缩码本标识e1与纹理图像的量化结果合并,得到纹理图像的纹理压缩结果。
服务器得到纹理压缩结果之后,可以将纹理压缩结果发送给终端。
3.图像的解压缩
终端接收到服务器发送的获取包括纹理图像的矢量量化结果以及纹理压缩码本的纹理压缩码本标识(e1)的纹理压缩结果,终端将纹理压缩结果发送至终端的GPU。
如图12所示,终端的GPU根据纹理压缩码本标识e1确定目标超分辨网络为w1之后,将矢量量化结果输入w1,通过w1中的卷积层对矢量量化结果进行处理,再将卷积层处理的结果输入w1中的上采样层进行2倍的上采样,得到纹理图像中每个像素点各自对应的预测像素值;然后再根据所述纹理图像中每个像素点各自对应的预测像素值,得到最终的解压缩纹理图像,之后,终端的GPU渲染解压缩纹理图像,输出对应纹理图像的游戏画面。
将本场景的方法又叫做超分辨率压缩,超分辨率压缩相与BC5压缩的试验数据如表1所示,表1如下:
表1
其中,PSNR是指Peak signal-to-noise ratio(峰值信噪比)。可见,通过本申请的超分辨率压缩方法压缩比提高一倍,且峰值信噪比较低,具有良好的压缩效果,因此有很大的实际应用价值。
而且在该场景中,服务器发送的是压缩后的纹理压缩结果,减少了数据传输带宽,提高了纹理压缩结果的传输效率,大大降低了游戏的延迟。
请参阅图13,图13示出了本申请一个实施例提出的一种图像压缩装置的框图,装置1300包括:
信息确定模块1310,用于确定待压缩的纹理图像对应的纹理复杂度;
纹理压缩码本确定模块1320,用于从纹理压缩码本集合中确定与纹理复杂度对应的目标纹理压缩码本;
量化模块1330,用于根据目标纹理压缩码本对纹理图像进行矢量量化,确定纹理图像的矢量量化结果;
结果获得模块1340,用于根据纹理图像的矢量量化结果以及目标纹理压缩码本的纹理压缩码本标识,得到纹理图像的纹理压缩结果。
可选地,信息确定模块1310,还用于识别纹理图像中的目标对象;根据纹理图像中目标对象的数量以及目标对象所在区域在纹理图像中的占比中的至少一者,确定纹理图像对应的纹理复杂度。
可选地,装置还包括纹理压缩码本获取模块,用于确定多个复杂度区间;根据每个复杂度区间分别对目标像素值区间进行聚类,得到每个复杂度区间对应的多个聚类结果;对每个复杂度区间下的每个聚类结果配置各自的量化值,聚类结果中的像素值的比特位大于聚类结果对应的量化值的比特位;根据每个复杂度区间下的每个聚类结果以及每个复杂度区间下的每个聚类结果各自的量化值,确定每个复杂度区间对应的纹理压缩码本;获取并汇总多个复杂度区间各自的纹理压缩码本,得到纹理压缩码本集合。
可选地,量化模块1330,还用于根据目标下采样倍数对纹理图像进行下采样,得到初始压缩结果;根据目标纹理压缩码本对初始压缩结果进行矢量量化,确定纹理图像的矢量量化结果。
请参阅图14,图14示出了本申请一个实施例提出的一种图像解压缩装置的框图,装置1400包括:
获取模块1410,用于获取纹理压缩结果,纹理压缩结果包括待压缩的纹理图像的矢量量化结果以及目标纹理压缩码本的纹理压缩码本标识;矢量量化结果是根据目标纹理压缩码本对纹理图像进行矢量量化后得到;目标纹理压缩码本包括不同像素值各自对应的量化值;
网络获取模块1420,用于用于从多个预置超分辨网络中获取与目标纹理压缩码本的纹理压缩码本标识对应的目标超分辨网络;
预测模块1430,用于利用目标超分辨网络基于矢量量化结果的局部结构和纹理信息进行像素值预测,得到纹理图像中每个像素点各自对应的预测像素值;
解压缩模块1440,用于根据纹理图像中每个像素点各自对应的预测像素值,得到解压缩纹理图像。
可选地,装置还包括模型训练模块,用于根据纹理压缩码本集合中的纹理压缩码本,对样本图像进行矢量量化,得到纹理压缩码本对应的样本矢量量化结果;根据纹理压缩码本对应的样本矢量量化结果以及样本图像,对初始超分辨网络进行训练,得到纹理压缩码本对应的中间超分辨网络; 根据纹理压缩码本对应的中间超分辨网络的参数,对第一超分辨网络进行重参数化,得到纹理压缩码本对应的预置超分辨网络;建立纹理压缩码本对应的预置超分辨网络以及纹理压缩码本的纹理压缩码本标识之间的对应关系。
可选地,纹理压缩码本对应的中间超分辨网络包括至少一个卷积层组,每个卷积层组包括多个卷积层;第一超分辨网络包括至少一个融合卷积层,每个融合卷积层对应中间超分辨网络中的一个卷积层组;模型训练模块,还用于根据目标卷积层组中各个卷积层之间的目标线性运算关系,对目标卷积层组中多个卷积层的参数进行融合,得到目标融合卷积层对应的目标参数;目标卷积层组为纹理压缩码本对应的中间超分辨网络中的任意一个卷积层组;目标融合卷积层是指第一超分辨网络中与目标卷积层组对应的融合卷积层;根据第一超分辨网络中每个融合卷积层各自对应的目标参数,对第一超分辨网络中对应的融合卷积层进行参数配置,得到纹理压缩码本对应的预置超分辨网络。
可选地,模型训练模块,还用于根据纹理压缩码本集合中的纹理压缩码本,对样本图像进行矢量量化,得到纹理压缩码本对应的样本矢量量化结果;根据纹理压缩码本对应的样本矢量量化结果以及样本图像,对初始超分辨网络进行训练,得到纹理压缩码本对应的中间超分辨网络; 对纹理压缩码本对应的中间超分辨网络进行压缩,得到纹理压缩码本对应的预置超分辨网络;建立纹理压缩码本对应的预置超分辨网络以及纹理压缩码本的纹理压缩码本标识之间的对应关系。
可选地,模型训练模块,还用于对纹理压缩码本对应的中间超分辨网络中的卷积层进行网络剪枝处理,得到纹理压缩码本对应的预置超分辨网络;网络剪枝处理包括对纹理压缩码本对应的中间超分辨网络中的卷积层进行卷积层剪枝处理或通道剪枝处理;或,将纹理压缩码本对应的中间超分辨网络中的浮点类型的模型参数转换为整型类型的模型参数或定点数类型的模型参数,得到纹理压缩码本对应的预置超分辨网络。
可选地,模型训练模块,还用于获取模型体积小于初始超分辨网络的第二超分辨网络;将纹理压缩码本对应的样本矢量量化结果输入初始压缩超分辨网络,得到纹理压缩码本对应的第一预测结果;将纹理压缩码本对应的样本矢量量化结果输入纹理压缩码本对应的中间超分辨网络,得到纹理压缩码本对应的第二预测结果;根据纹理压缩码本对应的第一预测结果以及第二预测结果之间的差异,确定纹理压缩码本对应损失值;根据纹理压缩码本对应损失值对初始压缩超分辨网络进行训练,得到纹理压缩码本对应的预置超分辨网络。
需要说明的是,本申请中装置实施例与前述方法实施例是相互对应的,装置实施例中具体的原理可以参见前述方法实施例中的内容,此处不再赘述。
图15示出了用于执行根据本申请实施例的图像压缩方法的电子设备的结构框图。该电子设备可以是图4中的终端20或服务端10等,需要说明的是,图15示出的电子设备的计算机系统1200仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图15所示,计算机系统1500包括中央处理单元(Central Processing Unit,CPU)1501,其可以根据存储在只读存储器(Read-Only Memory,ROM)1502中的程序或者从存储部分1508加载到随机访问存储器(Random Access Memory,RAM)1503中的程序而执行各种适当的动作和处理,例如执行上述实施例中的方法。在RAM 1503中,还存储有系统操作所需的各种程序和数据。CPU1501、ROM1502以及RAM 1503通过总线1504彼此相连。输入/输出(Input/Output,I/O)接口1505也连接至总线1504。
以下部件连接至I/O接口1505:包括键盘、鼠标等的输入部分1506;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分1507;包括硬盘等的存储部分1508;以及包括诸如LAN(Local AreaNetwork,局域网)卡、调制解调器等的网络接口卡的通信部分1509。通信部分1509经由诸如因特网的网络执行通信处理。驱动器1510也根据需要连接至I/O接口1505。可拆卸介质1511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1510上,以使于从其上读出的计算机程序根据需要被安装入存储部分1508。
特别地,根据本申请的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中,该计算机程序可以通过通信部分1509从网络上被下载和安装,和/或从可拆卸介质1511被安装。在该计算机程序被中央处理单元(CPU)1501执行时,执行本申请的系统中限定的各种功能。
需要说明的是,本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读存储介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读存储介质承载计算机可读指令,当该计算机可读存储指令被处理器执行时,实现上述任一实施例中的方法。
根据本申请实施例的一个方面,提供了计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该电子设备执行上述任一实施例中的方法。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本申请实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台电子设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的实施方式后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (14)

1.一种图像解压缩方法,其特征在于,所述方法包括:
获取纹理压缩结果,所述纹理压缩结果包括待压缩的纹理图像的矢量量化结果以及目标纹理压缩码本的纹理压缩码本标识;所述矢量量化结果是根据所述目标纹理压缩码本对所述纹理图像进行矢量量化后得到;所述目标纹理压缩码本包括不同像素值各自对应的量化值;
从多个预置超分辨网络中获取与所述目标纹理压缩码本的纹理压缩码本标识对应的目标超分辨网络;
利用所述目标超分辨网络基于所述矢量量化结果的局部结构和纹理信息进行像素值预测,得到所述纹理图像中每个像素点各自对应的预测像素值;
根据所述纹理图像中每个像素点各自对应的预测像素值,得到解压缩纹理图像。
2.根据权利要求1所述的方法,其特征在于,所述从多个预置超分辨网络中获取与所述目标纹理压缩码本对应的目标超分辨网络之前,所述方法还包括:
根据纹理压缩码本集合中的纹理压缩码本,对样本图像进行矢量量化,得到所述纹理压缩码本对应的样本矢量量化结果;
根据所述纹理压缩码本对应的样本矢量量化结果以及所述样本图像,对初始超分辨网络进行训练,得到所述纹理压缩码本对应的中间超分辨网络;
根据所述纹理压缩码本对应的中间超分辨网络的参数,对第一超分辨网络进行重参数化,得到所述纹理压缩码本对应的预置超分辨网络;
建立所述纹理压缩码本对应的预置超分辨网络以及所述纹理压缩码本的纹理压缩码本标识之间的对应关系。
3.根据权利要求2所述的方法,其特征在于,所述纹理压缩码本对应的中间超分辨网络包括至少一个卷积层组,每个所述卷积层组包括多个卷积层;所述第一超分辨网络包括至少一个融合卷积层,每个所述融合卷积层对应所述中间超分辨网络中的一个卷积层组;所述根据所述纹理压缩码本对应的中间超分辨网络的参数,对第一超分辨网络进行重参数化,得到所述纹理压缩码本对应的预置超分辨网络,包括:
根据目标卷积层组中各个卷积层之间的目标线性运算关系,对所述目标卷积层组中多个卷积层的参数进行融合,得到目标融合卷积层对应的目标参数;所述目标卷积层组为所述纹理压缩码本对应的中间超分辨网络中的任意一个卷积层组;所述目标融合卷积层是指所述第一超分辨网络中与所述目标卷积层组对应的融合卷积层;
根据所述第一超分辨网络中每个所述融合卷积层各自对应的目标参数,对所述第一超分辨网络中对应的融合卷积层进行参数配置,得到所述纹理压缩码本对应的预置超分辨网络。
4.根据权利要求1所述的方法,其特征在于,所述从多个预置超分辨网络中获取与所述目标纹理压缩码本对应的目标超分辨网络之前,所述方法还包括:
根据纹理压缩码本集合中的纹理压缩码本,对样本图像进行矢量量化,得到所述纹理压缩码本对应的样本矢量量化结果;
根据所述纹理压缩码本对应的样本矢量量化结果以及所述样本图像,对初始超分辨网络进行训练,得到所述纹理压缩码本对应的中间超分辨网络;
对所述纹理压缩码本对应的中间超分辨网络进行压缩,得到所述纹理压缩码本对应的预置超分辨网络;
建立所述纹理压缩码本对应的预置超分辨网络以及所述纹理压缩码本的纹理压缩码本标识之间的对应关系。
5.根据权利要求4所述的方法,其特征在于,所述对所述纹理压缩码本对应的中间超分辨网络进行压缩,得到所述纹理压缩码本对应的预置超分辨网络,包括:
对所述纹理压缩码本对应的中间超分辨网络中的卷积层进行网络剪枝处理,得到所述纹理压缩码本对应的预置超分辨网络;所述网络剪枝处理包括对所述纹理压缩码本对应的中间超分辨网络中的卷积层进行卷积层剪枝处理或通道剪枝处理;或,
将所述纹理压缩码本对应的中间超分辨网络中的浮点类型的模型参数转换为整型类型的模型参数或定点数类型的模型参数,得到所述纹理压缩码本对应的预置超分辨网络。
6.根据权利要求4所述的方法,其特征在于,所述对所述纹理压缩码本对应的中间超分辨网络进行压缩,得到所述纹理压缩码本对应的预置超分辨网络,包括:
获取模型体积小于所述初始超分辨网络的第二超分辨网络;
将所述纹理压缩码本对应的样本矢量量化结果输入所述初始压缩超分辨网络,得到所述纹理压缩码本对应的第一预测结果;
将所述纹理压缩码本对应的样本矢量量化结果输入所述纹理压缩码本对应的中间超分辨网络,得到所述纹理压缩码本对应的第二预测结果;
根据所述纹理压缩码本对应的第一预测结果以及第二预测结果之间的差异,确定所述纹理压缩码本对应损失值;
根据所述纹理压缩码本对应损失值对所述初始压缩超分辨网络进行训练,得到所述纹理压缩码本对应的预置超分辨网络。
7.一种图像压缩方法,其特征在于,所述方法包括:
确定待压缩的纹理图像对应的纹理复杂度;
从纹理压缩码本集合中确定与所述纹理复杂度对应的目标纹理压缩码本;所述纹理压缩码本集合中的每个纹理压缩码本均包括不同像素值各自对应的量化值;
根据所述目标纹理压缩码本对所述纹理图像进行矢量量化,确定所述纹理图像的矢量量化结果;
根据所述纹理图像的矢量量化结果以及所述目标纹理压缩码本的纹理压缩码本标识,得到所述纹理图像的纹理压缩结果。
8.根据权利要求7所述的方法,其特征在于,所述确定待压缩的纹理图像对应的纹理复杂度,包括:
识别所述纹理图像中的目标对象;
根据所述纹理图像中目标对象的数量以及所述目标对象所在区域在纹理图像中的占比中的至少一者,确定所述纹理图像对应的纹理复杂度。
9.根据权利要求7所述的方法,其特征在于,所述从纹理压缩码本集合中确定与所述纹理复杂度对应的目标纹理压缩码本之前,所述方法还包括:
确定多个复杂度区间;
根据每个所述复杂度区间分别对目标像素值区间进行聚类,得到每个所述复杂度区间对应的多个聚类结果;
对每个所述复杂度区间下的每个聚类结果配置各自的量化值,所述聚类结果中的像素值的比特位大于所述聚类结果对应的量化值的比特位;
根据每个所述复杂度区间下的每个聚类结果以及每个所述复杂度区间下的每个聚类结果各自的量化值,确定每个所述复杂度区间对应的纹理压缩码本;
获取并汇总所述多个复杂度区间各自的纹理压缩码本,得到所述纹理压缩码本集合。
10.根据权利要求1所述的方法,其特征在于,所述根据所述目标纹理压缩码本对所述纹理图像进行矢量量化,确定所述纹理图像的矢量量化结果之前,所述方法还包括:
根据目标下采样倍数对所述纹理图像进行下采样,得到初始压缩结果;
所述根据所述目标纹理压缩码本对所述纹理图像进行矢量量化,确定所述纹理图像的矢量量化结果,包括:
根据所述目标纹理压缩码本对所述初始压缩结果进行矢量量化,确定所述纹理图像的矢量量化结果。
11.一种图像解压缩装置,其特征在于,所述装置包括:
获取模块,用于获取纹理压缩结果,所述纹理压缩结果包括待压缩的纹理图像的矢量量化结果以及目标纹理压缩码本的纹理压缩码本标识;所述矢量量化结果是根据所述目标纹理压缩码本对所述纹理图像进行矢量量化后得到;所述目标纹理压缩码本包括不同像素值各自对应的量化值;
网络获取模块,用于从多个预置超分辨网络中获取与所述目标纹理压缩码本的纹理压缩码本标识对应的目标超分辨网络;
预测模块,用于利用所述目标超分辨网络基于所述矢量量化结果的局部结构和纹理信息进行像素值预测,得到所述纹理图像中每个像素点各自对应的预测像素值;
解压缩模块,用于根据所述纹理图像中每个像素点各自对应的预测像素值,得到解压缩纹理图像。
12.一种图像压缩装置,其特征在于,所述装置包括:
信息确定模块,用于确定待压缩的纹理图像对应的纹理复杂度;
纹理压缩码本确定模块,用于从纹理压缩码本集合中确定与所述纹理复杂度对应的目标纹理压缩码本;所述纹理压缩码本集合中的每个纹理压缩码本均包括不同像素值各自对应的量化值;
量化模块,用于根据所述目标纹理压缩码本对所述纹理图像进行矢量量化,确定所述纹理图像的矢量量化结果;
结果获得模块,用于根据所述纹理图像的矢量量化结果以及所述目标纹理压缩码本的纹理压缩码本标识,得到所述纹理图像的纹理压缩结果。
13.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行如权利要求1-10中任一项所述的方法。
14.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质中存储有计算机程序,所述计算机程序可被处理器调用执行如权利要求1-10中任一项所述的方法。
CN202310925810.7A 2023-07-26 2023-07-26 图像压缩和解压缩方法、装置、电子设备及存储介质 Active CN116684607B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310925810.7A CN116684607B (zh) 2023-07-26 2023-07-26 图像压缩和解压缩方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310925810.7A CN116684607B (zh) 2023-07-26 2023-07-26 图像压缩和解压缩方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116684607A true CN116684607A (zh) 2023-09-01
CN116684607B CN116684607B (zh) 2023-11-14

Family

ID=87785783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310925810.7A Active CN116684607B (zh) 2023-07-26 2023-07-26 图像压缩和解压缩方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116684607B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1173958A (zh) * 1995-10-18 1998-02-18 菲利浦电子有限公司 基于区域的纹理编码方法及译码方法以及相应的系统
CN106056638A (zh) * 2016-05-18 2016-10-26 信阳师范学院 一种自适应纹理对比度的低复杂度压缩感知图像编码方法
CN111327950A (zh) * 2020-03-05 2020-06-23 腾讯科技(深圳)有限公司 一种视频转码方法及装置
WO2022021938A1 (zh) * 2020-07-30 2022-02-03 华为技术有限公司 图像处理方法与装置、神经网络训练的方法与装置
CN114399454A (zh) * 2022-01-18 2022-04-26 平安科技(深圳)有限公司 图像处理方法、装置、电子设备及存储介质
CN116228544A (zh) * 2023-03-15 2023-06-06 阿里巴巴(中国)有限公司 图像处理方法、装置及计算机设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1173958A (zh) * 1995-10-18 1998-02-18 菲利浦电子有限公司 基于区域的纹理编码方法及译码方法以及相应的系统
CN106056638A (zh) * 2016-05-18 2016-10-26 信阳师范学院 一种自适应纹理对比度的低复杂度压缩感知图像编码方法
CN111327950A (zh) * 2020-03-05 2020-06-23 腾讯科技(深圳)有限公司 一种视频转码方法及装置
WO2022021938A1 (zh) * 2020-07-30 2022-02-03 华为技术有限公司 图像处理方法与装置、神经网络训练的方法与装置
CN114399454A (zh) * 2022-01-18 2022-04-26 平安科技(深圳)有限公司 图像处理方法、装置、电子设备及存储介质
CN116228544A (zh) * 2023-03-15 2023-06-06 阿里巴巴(中国)有限公司 图像处理方法、装置及计算机设备

Also Published As

Publication number Publication date
CN116684607B (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
CN110751649B (zh) 视频质量评估方法、装置、电子设备及存储介质
CN116958534A (zh) 一种图像处理方法、图像处理模型的训练方法和相关装置
Zhu et al. A semantic-aware transmission with adaptive control scheme for volumetric video service
Khan et al. Sparse to dense depth completion using a generative adversarial network with intelligent sampling strategies
CN116630514A (zh) 图像处理方法、装置、计算机可读存储介质及电子设备
Noor et al. Orchestrating image retrieval and storage over a cloud system
CN113592709B (zh) 图像超分处理方法、装置、设备及存储介质
CN114598883A (zh) 点云属性的预测方法、编码器、解码器及存储介质
CN117560511A (zh) 基于图分割技术电力巡检的间隔棒图像压缩方法及系统
CN116684607B (zh) 图像压缩和解压缩方法、装置、电子设备及存储介质
CN116980604A (zh) 视频编码方法、视频解码方法及相关设备
CN114782249A (zh) 一种图像的超分辨率重建方法、装置、设备以及存储介质
CN114501031B (zh) 一种压缩编码、解压缩方法以及装置
CN113554719B (zh) 一种图像编码方法、解码方法、存储介质及终端设备
CN113111822A (zh) 用于拥堵识别的视频处理方法、装置与电子设备
CN115294429A (zh) 一种基于特征域网络训练方法和装置
WO2023024842A1 (zh) 点云编解码方法、装置、设备及存储介质
CN116708793B (zh) 视频的传输方法、装置、设备及存储介质
CN115474041B (zh) 点云属性的预测方法、装置及相关设备
Preethi et al. Quantization table selection using firefly with teaching and learning based optimization algorithm for image compression
CN116980603A (zh) 视频数据处理方法、装置、计算机设备和存储介质
CN117615136A (zh) 点云解码方法、点云编码方法、解码器、电子设备以及介质
Suresh et al. Approximate compression: Enhancing compressibility through data approximation
CN118052713A (zh) 人脸图像快速编码方法、装置、计算机设备及存储介质
CN115086716A (zh) 点云中邻居点的选择方法、装置及编解码器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40093785

Country of ref document: HK