CN116170596A - 编解码方法及电子设备 - Google Patents

编解码方法及电子设备 Download PDF

Info

Publication number
CN116170596A
CN116170596A CN202111407946.6A CN202111407946A CN116170596A CN 116170596 A CN116170596 A CN 116170596A CN 202111407946 A CN202111407946 A CN 202111407946A CN 116170596 A CN116170596 A CN 116170596A
Authority
CN
China
Prior art keywords
feature
feature map
decoded
channels
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111407946.6A
Other languages
English (en)
Inventor
师一博
王晶
赵寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202111407946.6A priority Critical patent/CN116170596A/zh
Priority to PCT/CN2022/125944 priority patent/WO2023093377A1/zh
Publication of CN116170596A publication Critical patent/CN116170596A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本申请实施例提供了一种编解码方法及电子设备。该编码方法包括:首先,获取待编码图像;然后基于待编码图像,生成第一特征图矩阵,其中,第一特征图矩阵包括c个通道的第一特征图;接着,对由k个通道的第一特征图组成的特征图组进行组内融合,得到特征图组对应的第一熵估计特征,k小于c;然后根据第一熵估计特征,确定第一特征图矩阵对应的概率分布,以及根据概率分布对第一特征图矩阵进行编码,得到码流。这样,通过采用部分通道的特征图组成的特征图组进行组内融合,来确定熵估计特征,相对于采用全通道的特征图进行融合确定熵估计特征而言,减少了无效信息的引入,进而减少编码算力,从而提高编码效率。

Description

编解码方法及电子设备
技术领域
本申请实施例涉及数据处理领域,尤其涉及一种编解码方法及电子设备。
背景技术
AI(Artificial Intelligence,人工智能)图像压缩算法,是基于深度学习来实现的,相对于传统图像压缩技术(如JPEG(Joint Photographic Experts Group,联合图像专家组)、 BPG(Better Portable Graphics,更好的可移植图形)等)而言,压缩效果更好。
目前,AI图像压缩算法是根据特征图矩阵所有通道的信息,来预测特征图矩阵中一个通道的熵估计特征。然而,在压缩中,为了保存更多的信息量,特征图矩阵各通道之间的相关性较低,因此将特征图矩阵所有通道信息进行融合,存在大量不可利用的信息,影响编解码效率。
发明内容
为了解决上述技术问题,本申请提供一种编解码方法及电子设备。
第一方面,本申请实施例提供一种编码方法,该方法包括:首先,获取待编码图像。接着,基于待编码图像,生成第一特征图矩阵,其中,第一特征图矩阵包括c个通道的第一特征图,c为正整数。随后,对由k个通道的第一特征图组成的特征图组进行组内融合,得到特征图组对应的第一熵估计特征,其中,k为小于c的正整数。接着,根据第一熵估计特征,确定第一特征图矩阵对应的概率分布,然后,根据概率分布对第一特征图矩阵进行编码,得到码流。这样,通过采用部分通道的特征图组成的特征图组进行组内融合,来确定熵估计特征,相对于采用全通道的特征图进行融合确定熵估计特征而言,减少了无效信息的引入,进而能够减少编码算力,提高编码效率。
示例性的,可以采用c个通道的第一特征图中,k个通道的第一特征图,组成一个特征图组,进而可以得到N个特征图组。其中,N为大于1的整数,N根据c和k确定。进而,可以得到N组第一熵估计特征。这样,通过分别采用各特征图组内的特征图进行融合,来确定各特征图组对应的熵估计特征,相对于采用全通道的特征图进行融合确定熵估计特征而言,能够减少无效信息的引入,进而减少编码算力,从而提高编码效率。此外,还能够提高重建图像的质量。
示例性的,将N组第一熵估计特征合并,得到第一特征图矩阵对应的第一熵估计特征;依据第一特征图矩阵对应的第一熵估计特征,确定第一特征图矩阵的概率分布。
示例性的,每个特征图组所包含的通道数k可以相同,也可以不相同,本申请对此不作限制。
示例性的,不同特征图组可以包含同一通道的第一特征图。
示例性的,不同特征图组可以包含不同通道的第一特征图。
根据第一方面,对由k个通道的第一特征图组成的特征图组进行组内融合,得到特征图组对应的第一熵估计特征,包括:采用特征图组对应的自回归权重矩阵,对特征图组进行局部空间信息提取,得到特征图组对应的第一熵估计特征。
示例性的,假设特征图组对应的输出通道数为Mi
Figure RE-GDA0003548646870000021
M为自回归模型的输出通道总数。此时,特征图组对应的自回归权重矩阵
Figure RE-GDA0003548646870000022
c1=ks1*ks2,其中,“ks1*ks2”表示自回归模型卷积核的尺寸,ks1可以等于ks2,也可以不等于ks2,本申请对此不作限制。也就是说,Mi个输出通道中,每个输出通道对应k个尺寸为ks1*ks2 的权重图。例如,k=2,Mi=1,则特征图组对应的输出通道数为1,该输出通道对应2 个尺寸为ks1*ks2的权重图。又例如,k=2,Mi=5,则特征图组对应的输出通道数为 5,这5个输出通道中每个输出通道对应2个尺寸为权重图。
根据第一方面,或者以上第一方面的任意一种实现方式,第一特征图矩阵包括:第二特征图矩阵和第三特征图矩阵,其中,第二特征图矩阵包括c个通道的第二特征图,第三特征图矩阵包括c个通道的第三特征图;对由k个通道的第一特征图组成的特征图组进行组内融合,得到特征图组对应的第一熵估计特征,包括:对由k个通道的第二特征图组成的特征图组进行组内融合,得到由k个通道的第三特征图组成的特征图组对应的第一熵估计特征;根据第一熵估计特征,确定第一特征图矩阵对应的概率分布,包括:根据由k个通道的第三特征图组成的特征图组对应的第一熵估计特征,确定第三特征图矩阵对应的概率分布;根据概率分布对第一特征图矩阵进行编码,得到码流,包括:根据第三特征图矩阵对应的概率分布,对第三特征图矩阵进行编码,得到码流。这样,仅需确定第一特征图中部分特征点对应的第一熵估计特征,能够进一步提高编码效率。
示例性的,可以通过对第一特征图矩阵进行空间划分,得到第二特征图矩阵和第三特征图矩阵。其中,每个通道的第二特征图和第三特征图相加,可以得到该通道的第一特征图。
根据第一方面,或者以上第一方面的任意一种实现方式,第一特征图矩阵包括第三特征图矩阵,第三特征图矩阵包括c个通道的第三特征图;对由k个通道的第一特征图组成的特征图组进行组内融合,得到特征图组对应的第一熵估计特征,包括:对由k个通道的第三特征图组成的特征图组进行组内融合,得到由k个通道的第三特征图组成的特征图组对应的第一熵估计特征;根据第一熵估计特征,确定第一特征图矩阵对应的概率分布,包括:根据由k个通道的第三特征图组成的特征图组对应的第一熵估计特征,确定第三特征图矩阵对应的概率分布;根据概率分布对第一特征图矩阵进行编码,得到码流,包括:根据第三特征图矩阵对应的概率分布,对第三特征图矩阵进行编码,得到码流。这样,仅需确定第一特征图中部分特征点对应的第一熵估计特征,能够进一步提高编码效率。
根据第一方面,或者以上第一方面的任意一种实现方式,该方法还包括:对第一特征图矩阵包括的第二特征图矩阵进行特征提取,得到第四特征图矩阵;根据第四特征图矩阵,确定第二熵估计特征;根据第二熵估计特征,确定第二特征图矩阵对应的概率分布。
根据第一方面,或者以上第一方面的任意一种实现方式,该方法还包括:对第四特征图矩阵进行编码,得到码流。这样,便于解码端从码流中解码出第二特征图矩阵。
第二方面,本申请实施例提供一种解码方法,该方法包括:获取码流,从码流中解码c个通道的特征点对应的特征值,得到第一特征图矩阵,其中,c为正整数;然后,基于第一特征图矩阵进行图像重建,输出重建图像。其中,针对码流中的第一待解码特征点:首先,确定第一待解码特征点对应的已解码信息组,其中,已解码信息组包括第一待解码特征点对应通道的已解码信息和其他k-1个通道的已解码信息,k为小于c的正整数;对已解码信息组进行组内融合,得到第一待解码特征点对应的第一熵估计特征。接着,根据第一待解码特征点对应的第一熵估计特征,确定第一待解码特征点对应的概率分布,然后根据概率分布对第一待解码特征点进行解码,得到对应的特征值,其中,第一待解码特征点为任一待解码特征点。这样,通过采用待解码特征点所在通道所属的已解码信息组内的已解码信息进行融合,来确定待解码特征点对应的熵估计特征,相对于采用全通道的已解码信息确定对应的熵估计特征而言,能够减少无效信息的引入,进而减少解码算力,从而提高解码效率。
示例性的,已解码信息包括已解码特征点对应的特征值。
根据第二方面,对已解码信息组进行组内融合,得到第一待解码特征点对应的第一熵估计特征,包括:采用已解码信息组对应的自回归权重矩阵,对已解码信息组进行局部空间信息提取,得到第一待解码特征点对应的第一熵估计特征。
根据第二方面,或者以上第二方面的任意一种实现方式,特征点包括位于第一预设位置的特征点和第二预设位置的特征点;第一待解码特征点为位于第一预设位置的特征点;该方法包括:从码流中解码出第四特征图矩阵,第四特征图矩阵包括通过对第一特征图矩阵中,位于第二预设位置的特征点对应的特征值进行特征提取得到的特征;针对位于第二预设位置的第二待解码特征点:基于第四特征图矩阵,确定第二待解码特征点对应的第二熵估计特征;根据第二熵估计特征,确定第二待解码点对应的概率分布;根据概率分布对第二待解码特征点进行解码,得到对应的特征值。相对于确定第二熵估计而言,确定第一熵估计特征的算力更大;因此仅确定部分待解码特征点对应的第一熵估计特征,能够进一步提高解码效率。
根据第二方面,或者以上第二方面的任意一种实现方式,已解码信息组包括第一待解码特征点对应通道中位于第二预设位置的已解码特征点对应的特征值,和其他k-1个通道中位于第二预设位置的已解码特征点对应的特征值。这样,能够对位于第一预设位置的第一待解码特征点进行并行解码,进而进一步提高解码效率。
根据第二方面,或者以上第二方面的任意一种实现方式,已解码信息组包括第一待解码特征点对应通道中位于第一预设位置的已解码特征点对应的特征值,和其他k-1个通道中位于第一预设位置的已解码特征点对应的特征值。
第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第三方面,本申请实施例提供一种编码器,用于执行第一方面或第一方面的任意可能的实现方式中的编码方法。
第三方面以及第三方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第三方面以及第三方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第四方面,本申请实施例提供一种解码器,用于执行第二方面或第二方面的任意可能的实现方式中的解码方法。
第四方面以及第四方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第四方面以及第四方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第五方面,本申请实施例提供一种电子设备,包括:存储器和处理器,存储器与处理器耦合;存储器存储有程序指令,当程序指令由处理器执行时,使得电子设备执行第一方面或第一方面的任意可能的实现方式中的编码方法。
第五方面以及第五方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第五方面以及第五方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第六方面,本申请实施例提供一种电子设备,包括:存储器和处理器,存储器与处理器耦合;存储器存储有程序指令,当程序指令由处理器执行时,使得电子设备执行第二方面或第二方面的任意可能的实现方式中的解码方法。
第六方面以及第六方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第六方面以及第六方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第七方面,本申请实施例提供一种芯片,包括一个或多个接口电路和一个或多个处理器;接口电路用于从电子设备的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行计算机指令时,使得电子设备执行第一方面或第一方面的任意可能的实现方式中的编码方法。
第七方面以及第七方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第七方面以及第七方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第八方面,本申请实施例提供一种芯片,包括一个或多个接口电路和一个或多个处理器;接口电路用于从电子设备的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行计算机指令时,使得电子设备执行第二方面或第二方面的任意可能的实现方式中的解码方法。
第八方面以及第八方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第八方面以及第八方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第九方面,本申请实施例提供一种计算机存储介质,计算机可读存储介质存储有计算机程序,当计算机程序运行在计算机或处理器上时,使得计算机或处理器执行第一方面或第一方面的任意可能的实现方式中的编码方法。
第九方面以及第九方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第九方面以及第九方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第十方面,本申请实施例提供一种计算机存储介质,计算机可读存储介质存储有计算机程序,当计算机程序运行在计算机或处理器上时,使得计算机或处理器执行第二方面或第二方面的任意可能的实现方式中的解码方法。
第十方面以及第十方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第十方面以及第十方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第十一方面,本申请实施例提供一种计算机程序产品,所述计算机程序产品包含软件程序,当所述软件程序被计算机或处理器执行时,使得第一方面或第一方面的任意可能的实现方式中方法的步骤被执行。
第十一方面以及第十一方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第十一方面以及第十一方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第十二方面,本申请实施例提供一种计算机程序产品,所述计算机程序产品包含软件程序,当所述软件程序被计算机或处理器执行时,使得第二方面或二方面的任意可能的实现方式中方法的步骤被执行。
第十二方面以及第十二方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第十二方面以及第十二方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果,此处不再赘述。
附图说明
图1为示例性示出系统框架结构示意图;
图2为示例性示出的编码流程示意图;
图3a为示例性示出的特征图组的示意图;
图3b为示例性示出的特征图组的示意图;
图3c为示例性示出的组内融合过程示意图;
图3d为示例性示出的组内融合过程示意图;
图4为示例性示出的解码流程示意图;
图5a为示例性示出的解码过程示意图;
图5b为示例性示出的已解码信息组的示意图;
图5c为示例性示出的组内融合过程示意图;
图5d为示例性示出的组内融合过程示意图;
图5e为示例性示出的压缩效果示意图;
图6为示例性示出的编解码框架结构示意图;
图7为示例性示出的编码流程示意图;
图8为示例性示出的特征图划分流程示意图;
图9为示例性示出的解码流程示意图;
图10为示例性示出的编码流程示意图;
图11a为示例性示出的解码流程示意图;
图11b为示例性示出的压缩效果示意图;
图12为示例性示出的装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一目标对象和第二目标对象等是用于区别不同的目标对象,而不是用于描述目标对象的特定顺序。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,除非另有说明,“多个”的含义是指两个或两个以上。例如,多个处理单元是指两个或两个以上的处理单元;多个系统是指两个或两个以上的系统。
图1为示例性示出系统框架结构示意图。应该理解的是,图1所示系统仅是一个范例,本申请的系统可以具有比图中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图1中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
参照图1,示例性的,图像的压缩过程可以如下:将待编码图像输入至AI编码单元,经过AI编码单元的处理,输出待编码特征点对应的特征值和概率分布。然后将待编码特征点对应的特征值和概率分布,输入至熵编码单元,由熵编码单元根据待编码特征点对应的概率分布,对待编码特征点的特征值进行熵编码,输出码流。
继续参照图1,示例性的,图像的解压过程可以如下:熵解码单元获取到码流后,可以根据AI解码单元针对码流中待解码特征点预测的概率分布,对待解码特征点进行熵解码,输出已解码特征点对应的特征值至AI解码单元。经由AI解码单元基于已解码特征点对应的特征值进行图像重建,输出重建图像。
示例性的,熵编码是指编码过程中按熵原理不丢失任何信息的编码,熵编码可以包括多种,如香农(Shannon)编码、哈夫曼(Huffman)编码和算术编码(arithmetic coding)等,本申请对此不作限制。
示例性的,输入至AI编码单元的待编码图像,可以是RAW(未加工)图像、RGB(RedGreenBlue,红绿蓝)图像和YUV(“Y”表示明亮度(Luminance、Luma),“U”和“V”则是色度、浓度(Chrominance、Chroma))图像中的任意一种,本申请对此不作限制。
示例性的,压缩过程和解压过程可以在同一个电子设备中进行,也可以在不同电子设备中进行,本申请对此不作限制。
示例性的,AI编码单元和AI解码单元,可以设置于NPU(NeuralnetworkProcessing Unit,嵌入式神经网络处理器)或GPU(Graphics Processing Unit,图形处理器)中。示例性的熵编码单元和熵解码单元,可以设置于CPU(Central ProcessingUnit,中央处理器) 中。
示例性的,本申请可以应用于对一张独立的图像进行压缩和解压,也可以应用于对视频序列中多帧图像进行压缩和解压,本申请对此不作限制。
示例性的,本申请可以应用于多种场景,例如,华为云存储(或传输)图像(或视频)的场景,又例如,视频监控场景,还例如,直播场景等等,本申请对此不作限制。
图2为示例性示出的编码流程示意图。
S201,获取待编码图像。
示例性的,编码端可以获取待编码图像,然后可以参照S202~S205,对待编码图像进行编码,得到对应的码流。
S202,基于待编码图像,生成第一特征图矩阵,第一特征图矩阵包括c个通道的第一特征图,c为正整数。
示例性的,可以对待编码图像进行空间变换,将待编码图像变换至另一个空间,以降低待编码图像的时间冗余和空间冗余,得到第一特征图矩阵。示例性的,第一特征图矩阵包括c个通道的第一特征图,c为正整数。
示例性的,第一特征图矩阵∈Rc*h*w,其中,“c”是指第一特征图矩阵的通道数,“h”表示每个通道输出的第一特征图的高,“w”表示每个通道输出的第一特征图的宽。其中,每个第一特征图可以包括h*w个特征点。
S203,对由k个通道的第一特征图组成的特征图组进行组内融合,得到特征图组对应的第一熵估计特征,k为小于c的正整数。
示例性的,可以采用自回归模型确定第一特征图矩阵对应的第一熵估计特征。示例性的,自回归模型的输入通道总数为c,输出通道总数为M;其中,M为正整数,M可以大于c,也可以小于c,还可以等于c,具体可以按照需求设置,本申请对此不作限制。示例性的,自回归模型的一个输入通道可以对应至少一个输出通道,自回归模型一个输出通道可以对应至少一个输入通道。
示例性的,第一特征图矩阵的通道与自回归模型的输入通道是一一对应的,这样,可以将第一特征图矩阵c个通道的第一特征图,分别作为c路输入,输入至自回归模型。
示例性的,自回归模型可以采用第一特征图矩阵中k个通道的第一特征图,组成一个特征图组;这样,可以得到N个特征图组,N为大于1的整数,具体可以根据k和c 确定。
示例性的,每个特征图组所包含的通道数k可以相同,也可以不同,本申请对此不作限制。
图3a为示例性示出的特征图组的示意图。其中,图3a中的一个矩形,表征一个第一特征图。其中,图3a中每个特征图组包含的通道数k相同。
参照图3a,示例性的,k=2,进而采用c个通道的第一特征图中,每2个通道的第一特征图,组成一个特征图组。假设,c=192,则N=96,也就是说,可以采用192个通道中每2个通道的第一特征图,组成一个特征图组,得到96个特征图组。其中,这192个特征图组中,每个特征图组包括2个第一特征图。
图3b为示例性示出的特征图组的示意图。其中,图3b中的一个矩形,表征一个第一特征图,图3b中每个特征图组包含的通道数k不同。
参照图3b,示例性的,可以采用c个通道的第一特征图中,1个通道的第一特征图,组成特征图组1;可以采用c个通道的第一特征图中,2个通道的第一特征图,组成特征图组2;可以采用c个通道的第一特征图中,3个通道的第一特征图,组成特征图组3;……
需要说明的是,图3a和图3b仅是本申请的一个示例,k还可以按照需求设置为其他数值,本申请对此不作限制。
需要说明的是,不同特征图组可以包含同一通道的第一特征图,例如,特征图组1包括通道1的第一特征图和通道2的第一特征图,特征图组2可以包括通道2的第一特征图、通道3的第一特征图和通道4的第一特征图。不同特征图组可以包含不同通道的第一特征图,如图3a和图3b所示;本申请对此不作限制。
示例性的,组内融合可以是指将特征图组内k个通道的特征图进行融合,这样,可以得到特征图组对应的第一熵估计特征。
示例性的,自回归模型可以分别对N个特征图组进行组内融合,得到N个特征图组分别对应的第一熵估计特征。以下确定第i个特征图组对应的第一熵估计特征为例进行示例性说明。其中,i为1~N之间的整数,i的取值可以为1和N。
示例性的,假设第i个特征图组对应的输出通道数为Mi
Figure RE-GDA0003548646870000091
此时,第i 个特征图组对应的自回归权重矩阵
Figure RE-GDA0003548646870000092
c1=ks1*ks2,其中,“ks1*ks2”表示自回归模型卷积核的尺寸,ks1可以等于ks2,也可以不等于ks2,本申请对此不作限制。也就是说,Mi个输出通道中,每个输出通道对应k个尺寸为ks1*ks2的权重图。例如, k=2,Mi=1,则第i个特征图组对应的输出通道数为1,该输出通道对应2个尺寸为ks1* ks2的权重图。又例如,k=2,Mi=5,则第i个特征图组对应的输出通道数为5,这5 个输出通道中每个输出通道对应2个尺寸为权重图。
示例性的,可以采用第i个特征图组对应的自回归权重矩阵,对第i个特征图组进行局部空间信息提取,得到第i个特征图组对应的第一熵估计特征。
示例性的,可以采用第i个特征图组对应的第j个输出通道的权重图,分别与第i个特征图组中k个通道的第一特征图进行卷积,得到k个卷积结果;将k个卷积结果进行融合,得到第i个特征图组对应在第j个输出通道的第一熵估计特征。将第i个特征图组对应在Mi个输出通道的第一熵估计特征合并,得到第i个特征图组对应的第一熵估计特征。其中,j为1~Mi之间的数,包括1和Mi
图3c为示例性示出的组内融合过程示意图。其中,图3c中用于说明组内融合过程的特征图组为图3a中特征图组1,特征图组1包含的通道数k=2;特征图组1中的通道1 和通道2分别对应自回归模型的输入通道1和输入通道2。
参照图3c(1),示例性的,图3c(1)中特征图组1对应的输出通道数为1,输出通道1对应2个权重图:权重图11和权重图12。针对特征图组1,可以采用权重图11与输入通道1的第一特征图进行卷积,得到卷积结果11,以及采用权重图12与输入通道2 的第一特征图进行卷积,得到卷积结果12。然后融合卷积结果11和卷积结果12,得到特征图组1对应在输出通道1的第一熵估计特征。这样,可以得到特征图组1对应的第一熵估计特征。
参照图3c(2),示例性的,图3c(2)中特征图组1对应的输出通道数为2,输出通道1对应2个权重图:权重图11和权重图12,输出通道2对应2个权重图:权重图21 和权重图22。针对特征图组1,可以采用权重图11与输入通道1的第一特征图进行卷积,得到卷积结果11,以及采用权重图12与输入通道2的第一特征图进行卷积,得到卷积结果12。然后融合卷积结果11和卷积结果12,得到特征图组1对应在输出通道1的第一熵估计特征。以及可以采用权重图21与输入通道1的第一特征图进行卷积,得到卷积结果13,以及采用权重图22与输入通道2的第一特征图进行卷积,得到卷积结果14。然后融合卷积结果13和卷积结果14,得到特征图组1对应在输出通道2的第一熵估计特征。接着,合并特征图组1对应在输出通道1的第一熵估计特征和特征图组1对应在输出通道2的第一熵估计特征,可以得到特征图组1对应的第一熵估计特征。
参照图3c(3),示例性的,图3c中特征图组1对应的输出通道数为3,输出通道1 对应2个权重图:权重图11和权重图12,输出通道2对应2个权重图:权重图21和权重图22,输出通道3对应2个权重图:权重图31和权重图32。针对特征图组1,可以采用权重图11与输入通道1的第一特征图进行卷积,得到卷积结果11,以及采用权重图 12与输入通道2的第一特征图进行卷积,得到卷积结果12。然后融合卷积结果11和卷积结果12,得到特征图组1对应在输出通道1的第一熵估计特征。可以采用权重图21 与输入通道1的第一特征图进行卷积,得到卷积结果13,以及采用权重图22与输入通道 2的第一特征图进行卷积,得到卷积结果14。然后融合卷积结果13和卷积结果14,得到特征图组1对应在输出通道2的第一熵估计特征。可以采用权重图31与输入通道1的第一特征图进行卷积,得到卷积结果15,以及采用权重图32与输入通道2的第一特征图进行卷积,得到卷积结果16。然后融合卷积结果15和卷积结果16,得到特征图组1对应在输出通道3的第一熵估计特征。接着,合并特征图组1对应在输出通道1的第一熵估计特征、特征图组1对应在输出通道2的第一熵估计特征和特征图组1对应在输出通道3 的第一熵估计特征,可以得到特征图组1对应的第一熵估计特征。
需要说明的是,本申请针对每个输出通道,不限制采用该输出通道的哪个权重图与特征图组内哪个通道的第一特征图进行卷积,得到特征图组1对应在该输出通道的第一熵估计特征。例如,针对特征图组1,也可以采用权重图12与输入通道1的第一特征图进行卷积,得到卷积结果11,以及采用权重图11与输入通道2的第一特征图进行卷积,得到卷积结果12;然后融合卷积结果11和卷积结果12,得到特征图组1对应在输出通道1的第一熵估计特征。以及可以采用权重图22与输入通道1的第一特征图进行卷积,得到卷积结果13,以及采用权重图21与输入通道2的第一特征图进行卷积,得到卷积结果14;然后融合卷积结果13和卷积结果14,得到特征图组1对应在输出通道2的第一熵估计特征。以及可以采用权重图32与输入通道1的第一特征图进行卷积,得到卷积结果15,以及采用权重图31与输入通道2的第一特征图进行卷积,得到卷积结果16;然后融合卷积结果15和卷积结果16,得到特征图组1对应在输出通道3的第一熵估计特征。
示例性的,可以采用第i个特征图组对应的第j个输出通道的权重图,分别对第i个特征图组中k个通道的第一特征图中,以(g1,g2)为中心的ks1*ks2区域进行空间信息提取,得到第i个特征图组中第g组特征点(由k个通道的第一特征图中位于(g1,g2)的特征点组成,其中,g1为1~h之间的整数(包括1和h),g2为1~w之间的整数(包括1和w), g为1~h*w之间的整数(包括1和h*w))对应在第j个输出通道的第一熵估计特征。其中,(g1,g2)为第一特征图的位置坐标整数索引,g1、g2分别表示水平、竖直方向坐标索引,第一特征图左上角的位置索引为(1,1)。
示例性的,可以采用第i个特征图组对应的第j个输出通道的权重图,分别与第i个特征图组中k个通道的第一特征图中,以(g1,g2)为中心的ks1*ks2区域内各特征点对应的特征值进行卷积,得到k个卷积结果;将k个卷积结果进行融合,得到第i个特征图组中第g组特征点对应在第j个输出通道的第一熵估计特征。将第i个特征图组中h*w组特征点对应在第j个输出通道的第一熵估计特征合并,得到第i个特征图组对应在第j个输出通道的第一熵估计特征。
图3d为示例性示出的组内融合过程示意图。其中,图3d中用于说明组内融合过程的特征图组为图3a中特征图组1,特征图组1包括的通道数k=2。其中,特征图组1中的通道1和通道2分别对应自回归模型的输入通道1和输入通道2,特征图组1对应的输出通道数为2。
参照图3d,示例性的,输入通道1和输入通道2的第一特征图尺寸h=w=5,每一个小方块,对应一个特征点。假设,g=13,则第13组特征点包括输入通道1的第一特征图中的特征点A1与输入通道2的第一特征图中的特征点A2。此外,假设ks1=ks2=3。
参照图3d,示例性的,可以采用输出通道1对应的一个3*3的权重图,与输入通道 1的第一特征图中以特征点A1为中心的3*3区域内的特征点(如图3d中灰色方块)对应的特征值进行卷积,得到卷积结果21;以及采用输出通道1对应的另一个3*3的权重图,与通道2的第一特征图中以特征点A2为中心的3*3区域内的特征点(如图3d中灰色方块)对应的特征值进行卷积,得到卷积结果22;然后将卷积结果21和卷积结果22 进行融合,得到第13组特征点对应在输出通道1的第一熵估计特征。
继续参照图3d,示例性的,可以采用输出通道2对应的一个3*3的权重图,与输入通道1的第一特征图中以特征点A1为中心的3*3区域内的特征点(如图3d中灰色方块) 对应的特征值进行卷积,得到卷积结果23;以及采用输出通道2对应的另一个3*3的权重图,与输入通道2的第一特征图中以特征点A2为中心的3*3区域内的特征点(如图 3d中灰色方块)对应的特征值进行卷积,得到卷积结果24;然后将卷积结果23和卷积结果24进行融合,得到第13组特征点对应在输出通道2的第一熵估计特征。
这样,按照上述方式,分别对N个特征图组进行组内融合,得到N个特征图组分别对应的第一熵估计特征,也就是得到N组第一熵估计特征。
需要说明的是,由于解码端在解码时,是根据已解码特征点对应的特征值,来预测待解码特征点的第一熵估计特征的。第一特征图中以待解码特征点对应位置为中心的ks1*ks2的区域内的特征点,包括已解码特征点和未解码特征点,而未解码特征点无法参与计算。为了保证编解码的一致性,每个输出通道的权重图中,与未解码特征点的位置所对应位置的权重值为0。示例性的,解码端针对每个通道的特征点按照预设解码顺序进行解码,因此可以确定权重图中哪些位置的权重值为0。示例性的,预设解码顺序可以按照需求设置,本申请对此不作限制。
S204,根据第一熵估计特征,确定第一特征图矩阵对应的概率分布。
示例性的,可以将N组第一熵估计特征合并,得到第一特征图矩阵对应的第一熵估计特征。其中,第一熵估计特征Rc2*h*w,c2=M。
一种可能的方式中,可以根据第一特征图矩阵对应的第一熵估计特征进行概率估计,得到第一特征图矩阵对应的概率分布。其中,概率分布Rc*h*w*P,也就是说,概率分布的通道数与第一特征图矩阵的通道数相同,第一特征图矩阵中每个特征点对应P个参数(如均值、方差等),P为大于0的整数,本申请对此不作限制。
一种可能的方式中,可以对第一特征图矩阵进行特征提取,得到第五特征图矩阵;然后根据第五特征图矩阵,确定第一特征图矩阵对应的第二熵估计特征。随后,可以结合第一特征图矩阵对应的第一熵估计特征和第一特征图矩阵对应的第二熵估计特征进行概率估计,得到第一特征图矩阵对应的概率分布。示例性的,可以将第一熵估计特征和第二熵估计特征进行聚合(如拼接),根据聚合结果进行概率估计,得到第一特征图矩阵对应的概率分布。
S205,根据概率分布对第一特征图矩阵进行编码,得到码流。
示例性的,可以根据第一特征图对应的概率分布,对第一特征图矩阵进行编码,得到待编码图像对应的码流。
示例性的,可以存储待编码图像对应的码流,也可以将待编码图像对应的码流传输至解码端。
示例性的,当确定了第五特征图矩阵,可以对第五特征图矩阵进行编码,得到第五特征图矩阵对应的码流。然后可以存储第五特征图矩阵对应的码流,也可以将待第五特征图矩阵对应的码流传输至解码端。
这样,通过分别采用各特征图组内的特征图进行融合,来确定各特征图组对应的熵估计特征,相对于采用全通道的特征图进行融合确定熵估计特征而言,能够减少无效信息的引入,进而减少编码算力,从而提高编码效率。此外,还能够提高重建图像的质量。
图4为示例性示出的解码流程示意图。
S401,获取码流。
示例性的,解码端可以获取码流,然后可以对码流进行解码,可以参照下述 S402~S403。
S402,从码流中解码c个通道的特征点对应的特征值,得到第一特征图矩阵。
示例性的,码流中可以包括c个通道的第一特征图中各特征点对应的编码信息,可以对各特征点对应的编码信息进行解码,得到各特征点对应的特征值;所有特征点对应的特征值可以组成第一特征图矩阵。
示例性的,解码端对不同通道的特征点可以是并行解码,也可以是串行解码。示例性的,解码端对同一通道的特征点可以是串行解码,也可以是并行解码,本申请对此不作限制。
图5a为示例性示出的解码过程示意图。图5a示出的是针对一个通道中特征点的一种预设解码顺序。
参照图5a,示例性的,图5a为第一特征图矩阵中一个通道的第一特征图的示例,第一特征图的尺寸为10*10,其中,每个方块表示一个特征点。示例性的,解码端可以按照图5a中的顺序依次对第一特征图中的每个特征点进行解码,即从第一行开始,从左到右依次对每个特征点进行解码,待第一行所有特征点均被解码后,可以开始对第二行各个特征点,从左到右进行解码,以此类推,直到完成第一特征图矩阵中所有特征点的解码为止。
需要说明的是,本申请也可以采用除图5a所示的预设解码顺序之外的其他预设解码顺序,对各特征点进行串行解码,具体可以按照需求设置,本申请对此不作限制。
示例性的,可以按照预设解码顺序,将第一特征图矩阵中所有特征点,依次确定为第一待解码特征点,然后可以参照S4021~S4024,针对第一待解码特征点进行解码。
S4021,确定第一待解码特征点对应的已解码信息组,已解码信息组包括第一待解码特征点对应通道的已解码信息和其他k-1个通道的已解码信息,其中,k为小于c的正整数。
示例性的,已解码信息可以包括已解码特征点对应的特征值。
示例性的,解码端每解码一个通道中的一个特征点后,可以将该特征点对应的特征值作为一路输入,输入至自回归模型。其中,同一通道的所有已解码特征点的特征值,从自回归模型的同一个通道输入。然后,针对每个第一待解码特征点,可以根据已解码特征点对应的特征值,确定对应的概率分布。
示例性的,自回归模型可以采用k(k为小于c的正整数)个通道的已解码信息(即已解码特征点对应的特征值),组成一个已解码信息组;这样,可以得到N个已解码信息组,N为大于1的整数,具体可以根据k和c确定。
示例性的,每个特征图组所包含的通道数k可以相同,也可以不同,本申请对此不作限制。
图5b为示例性示出的已解码信息组的示意图。其中,假设解码端对c个通道进行并行解码,针对每个通道的特征点按照图5a的预设解码顺序进行串行解码。图5b中的一个大方块,表征一个第一特征图,大方块中的小方块表征一个特征点,灰色矩形表征已解码特征点,白色矩形表征未解码特征点。图5b中每个已解码信息组所包含的通道数k 相同,每个已解码信息组所包含的通道数k=2。
参照图5b,示例性的,采用c个通道的已解码信息中,每2个通道的已解码信息,组成一个已解码信息组。假设,c=192,则N=96,也就是说,可以采用192个通道中每 2个通道的已解码信息,组成一个已解码信息组,得到96个已解码信息组。其中,这192 个已解码信息组中,每个已解码信息组包括2个通道的已解码信息。
需要说明的是,k还可以按照需求设置为其他数值如k=1,本申请对此不作限制。此外,每个已解码信息组所包含的通道数k也可以不同,本申请对此不作限制。
需要说明的是,解码端采用c个通道的已解码信息,组成N个已解码信息组的方式,与上述编码端采用c个通道的第一特征图,组成N个特征图组的方式相同。
示例性的,在确定N个已解码信息组后,可以确定第一待解码特征点所在通道,然后从N个已解码信息组中,确定第一待解码特征点所在通道所属的已解码信息组。为了便于描述,后续可以将第一待解码特征点所在通道所属的已解码信息组,称为第i个已解码信息组。
示例性的,第i个已解码信息组所包括的通道为:第一待解码特征点对应通道和其他k-1个通道;第i个已解码信息组包括第一待解码特征点对应通道的已解码信息和其他k-1个通道的已解码信息。
S4022,对已解码信息组进行组内融合,得到第一待解码特征点对应的第一熵估计特征。
示例性的,第i个已解码信息组对应的自回归权重矩阵
Figure RE-GDA0003548646870000141
c1=ks1*ks 2。也就是说,Mi个输出通道中,每个输出通道对应k个尺寸为ks1*ks2的权重图。需要说明的,第i个已解码信息组对应的自回归权重矩阵,和第i个特征图组对应的自回归权重矩阵相同。
示例性的,可以采用第i个已解码信息组对应的自回归权重矩阵,对第i个已解码信息组进行局部空间信息提取,得到第一待解码特征点对应的第一熵估计特征。
示例性的,可以采用第i个已解码信息组对应的第j个输出通道的权重图,分别与第 i个已解码信息组中k个通道的已解码信息进行卷积,得到k个卷积结果;将k个卷积结果进行融合,得到第i个已解码信息组对应在第j个输出通道的第一熵估计特征。将第i 个已解码信息组对应在Mi个输出通道的第一熵估计特征合并,得到第i个已解码信息组对应的第一熵估计特征。其中,j为1~Mi之间的数,包括1和Mi
示例性的,第i个已解码信息组对应的第一熵估计特征,也就是第一待解码特征点对应的第一熵估计特征。
图5c为示例性示出的组内融合过程示意图。其中,图5c中用于说明组内融合过程的已解码信息组为图5b中已解码信息组1,已解码信息组1所包含的通道数k=2;已解码信息组1中的通道1和通道2分别对应自回归模型的输入通道1和输入通道2。
参照图5c,示例性的,图5c中已解码信息组1对应的输出通道数为2,输出通道1 对应2个权重图:权重图11和权重图12,输出通道2对应2个权重图:权重图21和权重图22。针对已解码信息组1,可以采用权重图11与输入通道1的已解码信息进行卷积,得到卷积结果11,以及采用权重图12与输入通道2的已解码信息进行卷积,得到卷积结果12。然后融合卷积结果11和卷积结果12,得到第i个已解码信息组对应在输出通道1 的第一熵估计特征。以及可以采用权重图21与输入通道1的已解码信息进行卷积,得到卷积结果13,以及采用权重图22与输入通道2的已解码信息进行卷积,得到卷积结果 14。然后融合卷积结果13和卷积结果14,得到第i个已解码信息组对应在输出通道2的第一熵估计特征。接着,合并第i个已解码信息组对应在输出通道1的第一熵估计特征和第i个已解码信息组对应在输出通道2的第一熵估计特征,可以得到已解码信息组1 对应的第一熵估计特征,进而可以得到第一待解码特征点对应的第一熵估计特征。
需要说明的是,本申请针对每个输出通道,不限制采用该输出通道的哪个权重图,与已解码信息组内哪个通道的已解码信息进行卷积,得到该输出通道的第一熵估计特征。例如,针对已解码信息组1,也可以采用权重图12与输入通道1的已解码信息进行卷积,得到卷积结果11,以及采用权重图11与输入通道2的已解码信息进行卷积,得到卷积结果12;然后融合卷积结果11和卷积结果12,得到第i个已解码信息组对应在输出通道1 的第一熵估计特征。以及可以采用权重图22与输入通道1的已解码信息进行卷积,得到卷积结果13,以及采用权重图21与输入通道2的已解码信息进行卷积,得到卷积结果 14;然后融合卷积结果13和卷积结果14,得到第i个已解码信息组对应在输出通道2的第一熵估计特征。
示例性的,可以采用第i个已解码信息组对应的第j个输出通道的权重图,分别对第 i个已解码信息组的k个通道中,以(g1,g2)(第一待解码特征点对应的位置)为中心的ks1*ks2区域内已解码信息进行空间信息提取,得到第i个已解码信息组中第g组特征点(由第i个已解码信息组所包含的k个通道中位于(g1,g2)的未解码特征点组成,其中,g1 为1~h之间的整数(包括1和h),g2为1~w(包括1和w),g为1~h*w之间的整数(包括1和h*w))对应在第j个输出通道的第一熵估计特征。由于第g组特征点包含了第一待解码特征点,进而可以得到第i个已解码信息组中第一待解码特征点对应在第j个输出通道的第一熵估计特征。
示例性的,可以采用第i个已解码信息组对应的第j个输出通道的权重图,分别与第 i个已解码信息组的k个通道中,以(g1,g2)为中心的ks1*ks2区域内已解码信息进行卷积,得到k个卷积结果;将k个卷积结果进行融合,得到第i个已解码信息组中第一待解码特征点对应在第j个输出通道的第一熵估计特征。
图5d为示例性示出的组内融合过程示意图。其中,图5d中用于说明组内融合过程的已解码信息组为图5b中已解码信息组1,已解码信息组1所包含的通道数k=2。其中,已解码信息组1中的通道1和通道2分别对应自回归模型的输入通道1和输入通道2,已解码信息组1对应的输出通道数为2。
参照图5d,示例性的,第一特征图矩阵尺寸为h=w=5,每一个小方块,对应一个特征点。输入通道1和输入通道2中灰色方块是已解码特征点,白色方块是未解码特征点。假设,g=13,则第13组特征点包括输入通道1中的特征点A1与输入通道2中的特征点 A2,第一待解码特征点为特征点A1。此外,假设ks1=ks2=3。
参照图5d,示例性的,可以采用输出通道1对应的一个3*3的权重图,与输入通道 1的以特征点A1为中心的3*3区域(如图5d中的Area1)内的已解码特征点对应的特征值进行卷积,得到卷积结果21;以及采用输出通道1对应的另一个3*3的权重图,与输入通道2的以特征点A2为中心的3*3区域(如图5d中的Area2)内的已解码特征点对应的特征值进行卷积,得到卷积结果22;然后将卷积结果21和卷积结果22进行融合,得到第一待解码特征点A1对应在输出通道1的第一熵估计特征。
继续参照图5d,示例性的,可以采用输出通道2对应的一个3*3的权重图,与输入通道1的以特征点A1为中心的3*3区域(如图5d中的Area1)内的已解码特征点对应的特征值进行卷积,得到卷积结果23;以及采用输出通道2对应的另一个3*3的权重图,与输入通道2的以特征点A2为中心的3*3区域(如图5d中的Area2)内的已解码特征点对应的特征值进行卷积,得到卷积结果24;然后将卷积结果23和卷积结果24进行融合,得到第一待解码特征点A1对应在输出通道2的第一熵估计特征。
这样,按照上述方式,确定第一待解码特征点对应的第一熵估计特征。
S4023,根据第一待解码特征点对应的第一熵估计特征,确定第一待解码特征点对应的概率分布。
一种可能的方式中,可以根据第一待编码特征点对应的第一熵估计特征进行概率估计,得到第一待编码特征点对应的概率分布。其中,第一待编码特征点对应的概率分布对应一组概率分布参数。其中,每组概率分布参数可以包括至少一个参数,如均值、方差等,本申请对此不作限制。
一种可能的方式中,若编码端将第五特征图矩阵编码为码流,并将第五特征图矩阵的码流发送至解码端后,则解码端可以从码流中提取第五特征图矩阵。然后可以根据第五特征图矩阵,确定码流中所有特征点对应的第二熵估计特征。接着,可以从码流中所有特征点对应的第二熵估计特征中,确定第一待解码特征点对应的第二熵估计特征,然后可以结合第一待解码特征点对应的第一熵估计特征和第二熵估计特征进行概率估计,得到第一待解码特征点对应的概率分布。示例性的,可以将第一待解码特征点对应的第一熵估计特征和第二熵估计特征进行聚合(如拼接),根据聚合结果进行概率估计,得到第一待解码特征点对应的概率分布。
S4024,根据概率分布对第一待解码特征点进行解码,得到对应的特征值。
示例性的,可以根据第一待解码特征点对应的概率分布,对第一待解码特征点进行解码,得到第一待解码特征点对应的特征值,此时第一待解码特征点,即变成了已解码特征点。
S403,基于第一特征图矩阵进行图像重建,输出重建图像。
示例性的,解码端可以对第一特征图矩阵进行空间反变换,来进行图像重建,得到重建图像。
这样,通过采用待解码特征点所在通道所属的已解码信息组内的已解码信息进行融合,来确定待解码特征点对应的熵估计特征,相对于采用全通道的已解码信息确定对应的熵估计特征而言,能够减少无效信息的引入,进而减少解码算力,从而提高解码效率。
图5e为示例性示出的压缩效果示意图。
参照图5e,示例性的,图5e中的纵坐标为PSNR(Peak Signal to Noise Ratio,峰值信噪比),单位为dB(分贝),可以用于表征图像重建质量,PSNR越大,图像重建质量越高。横坐标为Bits perpixel(存储每个像素所用的位数,越小代表压缩码率越小),单位为BPP(位/像素)。图5e中,虚曲线为本申请图像重建质量与码流大小的关系曲线,实曲线为现有技术图像重建质量与码流大小,对比两个曲线可知,码流大小相同时,本申请的压缩/解压方案的图像重建质量越高。
以下以特征图矩阵Y2表示第一特征图矩阵,特征图矩阵Z2表示第五特征图矩阵,熵估计特征phi表示第一熵估计特征,熵估计特征psi表示第二熵估计特征为例,对编解码过程进行具体说明。
图6为示例性示出的编解码框架结构示意图。
参照图6,示例性的,编码网络、量化单元D1、自回归单元、聚合单元、超编码网络、量化单元D2、超解码网络和概率估计单元,属于图1中的AI编码单元。示例性的,解码网络、自回归单元、聚合单元、超解码网络和概率估计单元,属于图1中的AI解码单元。
示例性的,熵编码单元A1和熵编码单元B1,属于图1中的熵编码单元。
示例性的,熵解码单元A2和熵解码单元B2,属于图1中的熵解码单元。
示例性的,AI编码单元和AI解码单元,可以联合训练,以使AI编码单元和AI解码单元中的各网络和单元,学习到对应的参数。示例性的,AI编码单元中的自回归单元、聚合单元、超解码网络和概率估计单元,和AI解码单元中的自回归单元、聚合单元、超解码网络和概率估计单元,可以共享。
示例性的,编码网络,可以用于对待编码图像进行空间变换,将待编码图像变换到另一空间。示例性的,编码网络可以是卷积神经网络。
示例性的,超编码网络,可以用于提取特征。示例性的,超编码网络可以是卷积神经网络。
示例性的,量化单元(包括量化单元D1和量化单元D2),可以用于进行量化处理。
示例性的,聚合单元,可以用于基于熵估计特征进行概率估计,输出概率分布。示例性的,聚合单元可以是卷积神经网络。
示例性的,概率估计单元,可以用于概率估计,输出概率分布。可选地,概率估计单元C2可以是离散概率估计单元。
示例性的,熵编码单元A1,可以用于根据聚合单元确定的概率分布进行编码,降低输出特征的统计冗余。
示例性的,熵编码单元B1,可以用于根据概率估计单元确定的概率分布进行编码,降低输出特征的统计冗余。
示例性的,熵解码单元A2,可以用于根据聚合单元确定的概率分布进行解码。
示例性的,熵解码单元B2,可以用于根据概率估计单元确定的概率分布进行解码。
示例性的,解码网络,可以用于对熵解码得到的信息进行反空间变换,输出重建图像。示例性的,解码网络可以是卷积神经网络。
示例性的,超解码网络,可以用于确定与熵估计相关联的特征。示例性的。超解码网络可以是卷积神经网络。
示例性的,自回归单元,可以包括自回归模型,用于根据自回归权重矩阵,确定熵估计特征。
继续参照图6,编码过程可以如下:
示例性的,将待编码图像输入至编码网络,经由编码网络将待编码图像变换到另一个空间,输出特征图矩阵Y1。将特征图矩阵Y1输入至量化单元D1,经由量化单元D1 对特征图矩阵Y1进行量化处理,输出特征图矩阵Y2。其中,特征图矩阵Y1∈Rc*h*w
示例性的,量化单元D1可以对特征图矩阵Y1中每个特征点对应的特征值,按照预设量化步长进行量化处理,得到特征图矩阵Y2∈Rc*h*w
示例性的,一方面,将特征图矩阵Y2输入至超编码网络,经由超编码网络对特征图矩阵Y2进行特征提取,得到特征图矩阵Z1,然后将特征图矩阵Z1输入至量化单元D2。经由量化单元D2对特征图矩阵Z1进行量化处理后,输出特征图矩阵Z2。然后,一方面,将特征图矩阵Z2输入至概率估计单元,经由概率估计单元进行处理,输出特征图矩阵 Z2中各特征点的概率分布PB1至熵编码单元B1。另一方面,将特征图矩阵Z2输入至熵编码单元B1。熵编码单元B1根据概率分布PB1对特征图矩阵Z2进行编码,输出码流 SB至熵解码单元B2。接着,概率估计单元可以预测码流SB中待解码特征点的概率分布PB2,并将概率分布PB2输入至熵解码单元B2。随后,熵解码单元B2可以根据概率分布PB2对码流SB中待解码特征点进行解码,输出特征图矩阵Z2至超解码网络中。超解码网络获取到特征图矩阵Z2后,可以将特征图矩阵Z2转换为熵估计特征psi,并将熵估计特征psi输入至聚合单元。
示例性的,另一方面,可以将特征图矩阵Y2输入至自回归单元,经由自回归单元对特征图矩阵Y2进行处理,输出熵估计特征phi至聚合单元。这个过程可以参数上文的描述,在此不再赘述。
示例性的,聚合单元可以基于熵估计特征phi和熵估计特征psi进行概率估计,预测特征图矩阵Y2中各特征点对应的概率分布PA1,以及将概率分布PA1输入至熵编码单元A1。
示例性的,熵编码单元A1可以根据概率分布PA1,对特征图矩阵Y2中各特征点进行编码,输出码流SA,至此,完成了对待编码图像的编码。
需要说明的是,完成对待编码图像的编码后,可以将针对特征图矩阵Y2编码得到的码流SA和对特征图矩阵Z2编码得到的码流SB,均发送至熵解码单元A2。或者,在解码时,由熵解码单元A2,获取码流SA和码流SB。
继续参照图6,解码过程可以如下:
示例性的,熵解码单元A2先从码流SB中解码出特征图矩阵Z2,将特征图矩阵Z2 至超解码网络。然后,超解码网络将特征图矩阵Z2转换为熵估计特征psi,并输出至聚合单元。
示例性的,码流SA中包含了特征图矩阵Y2中各特征点的编码信息,熵解码单元 A2对码流SA中各特征点的编码信息进行解码,可以得到各特征点对应的特征值,从而得到特征图矩阵Y2。
示例性的,针对每个第一待解码特征点:熵解码单元A2可以将已解码特征点对应的特征值输入至自回归单元,经由自回归单元确定第一待解码特征点对应的熵估计特征phi,这可以参照上文中的描述,在此不再赘述;然后将熵估计特征phi输出至聚合单元。然后,经由聚合单元基于熵估计特征phi和熵估计特征psi进行概率估计,预测第一待解码特征点对应的概率分布PA2,以及将概率分布PA2输入至熵解码单元A2。接着,熵编码单元A2可以根据第一待解码特征点对应的概率分布PA2,对第一待解码特征点进行解码,得到对应的特征值。这样,重复上述步骤,熵解码单元A2可以对码流SA解码,输出特征图矩阵Y2至解码网络,经由解码网络对特征图矩阵Y2进行空间反变换,得到重建图像。
示例性的,熵解码单元A2对不同通道的特征点可以是并行解码,也可以是串行解码。示例性的,熵解码单元A2对同一通道的特征点可以是串行解码,也可以是并行解码,本申请对此不作限制。
需要说明的是,在编码过程中,也可以将特征图矩阵Y1输入至超编码网络,经由超编码网络、量化单元D2得到特征图矩阵Z2,本申请对此不作限制。
需要说明的是,图6中右侧虚线框中的网络、单元,也可以是其他网络、其他单元,具体可以按照需求设置,本申请对此不作限制。
需要说明的是,本申请的AI编码单元、AI解码单元、熵编码单元和熵解码单元中,还可以包括用于生成其他熵估计特征的其他网络和单元,然后将其他熵估计特征输入至聚合单元,由聚合单元根据熵估计特征phi、熵估计特征psi和其他熵估计特征进行概率估计,生成概率分布,本申请对此不作限制。
需要说明的是,本申请的AI编码单元、AI解码单元、熵编码单元和熵解码单元,也可以不包括图6右侧虚线框中的网络和单元,具体可以按照需求设置,本申请实施例对此不作限制。当AI编码单元、AI解码单元、熵编码单元和熵解码单元,不包括图6 右侧虚线框中的网络和单元时,在编解码过程中,均无需生成熵估计特征psi,且聚合单元仅根据熵估计特征phi进行概率估计即可。
图7为示例性示出的编码流程示意图。
S701,获取待编码图像。
S702,基于待编码图像,生成第一特征图矩阵,第一特征图矩阵包括c个通道的第一特征图,c为正整数。
示例性的,S701~S702,可以参照上述S201~S202的描述,在此不再赘述。
示例性的,第一特征图矩阵可以包括第二特征图矩阵和第三特征图矩阵,其中,所述第二特征图矩阵包括c个通道的第二特征图,所述第三特征图矩阵包括c个通道的第三特征图。
示例性的,每个通道的第二特征图和第三特征图相加,可以得到该通道的第一特征图。
一种可能的方式中,可以对第一特征图矩阵进行空间划分,得到第二特征图矩阵和第三特征图矩阵。应该理解的是,还可以采用其他方式,确定第二特征图矩阵和第三特征图矩阵,本申请对此不作限制。其中,本申请以对第一特征图矩阵进行空间划分,得到第二特征图矩阵和第三特征图矩阵为例进行示例性说明。
S703,将第一特征图矩阵进行空间划分,得到第二特征图矩阵和第三特征图矩阵,第二特征图矩阵包括c个通道的第二特征图,第三特征图矩阵包括c个通道的第三特征图。
示例性的,在得到第一特征图矩阵后,可以将第一特征图矩阵进行空间划分,得到第二特征图矩阵和第三特征图矩阵。示例性的,将第一特征图矩阵进行空间划分可以是指,按照预设划分规则,将每个通道的第一特征图划分为第二特征图和第三特征图。这样,可以得到包含c个通道的第二特征图的第二特征图矩阵,以及包含c个通道的第三特征图的第三特征图矩阵。
示例性的,预设划分规则可以按照需求设置,例如将第一特征图中位于第二预设位置的特征点,划分为第二特征图的特征点,将第一特征图中位于第一预设位置的特征点,划分为第三特征图的特征点,本申请对此不作限制。这样,第二特征图中,位于第二预设位置的特征点对应的特征值,为第一特征图中位于第二预设位置的特征点对应的特征值;第二特征图中,位于第一预设位置的特征点对应的特征值为0。第三特征图中,位于第一预设位置的特征点对应的特征值,为第一特征图中位于第一预设位置的特征点对应的特征值;第三特征图中,位于第二预设位置的特征点对应的特征值为0。
其中,第一预设位置和第二预设位置可以按照需求设置,例如,假设第一特征图矩阵中的一个特征点的位置为(wi,hi),则第二预设位置可以为:wi+hi等于奇数的位置,第一预设位置:wi+hi等于偶数的位置,本申请对此不作限制。又例如,假设第一特征图矩阵中的一个特征点的位置为(wi,hi),则第二预设位置可以为:wi为奇数的位置,第一预设位置:wi为偶数的位置,本申请对此不作限制。又例如,假设第一特征图矩阵中的一个特征点的位置为(wi,hi),则第二预设位置可以为:hi为奇数的位置,第一预设位置可以为:hi为偶数的位置,本申请对此不作限制。
图8为示例性示出的特征图划分流程示意图。
参照图8,示例性的,第一特征图的尺寸为5*5。若第一预设位置为:wi+hi为偶数的位置,第二预设位置:wi+hi为奇数的位置,则可以将第一特征图中第一行的第2个特征点和第4个特征点,第二行的第1个特征点、第3个特征点和第5个特征点,第三行的第2个特征点和第4个特征点,第四行的第1个特征点、第3个特征点和第5个特征点,以及第五行的第2个特征点和第4个特征点,确定为第二特征图。其中,第二特征图中,位于第一预设位置的特征点如图7中灰色方块所示。以及将第一特征图中第一行的第1个特征点、第3个特征点和第5个特征点,第二行的第2个特征点和第4个特征点,第三行的第1个特征点、第3个特征点和第5个特征点,第四行的第2个特征点和第4个特征点,第五行的第1个特征点、第3个特征点和第5个特征点,确定为第三特征图。其中,第三特征图中,位于第二预设位置的特征点如图7中灰色方块所示。
S704,确定第二特征图矩阵对应的概率分布。
示例性的,针对第二特征图矩阵,可以对第二特征图矩阵进行特征提取,得到的第四特征图矩阵;然后根据第四特征图矩阵,确定第二特征图矩阵对应的第二熵估计特征;再根据第二熵估计特征,确定第二特征图矩阵对应的概率分布。
此外,编码端还可以对第四特征图矩阵进行编码,得到第四特征图矩阵对应的码流。
示例性的,针对第三特征图矩阵,可以按照上述确定第一特征图矩阵对应概率分布的方式,来确定第三特征图矩阵对应的概率分布;可以参照S705:
S705,对由k个通道的第二特征图组成的特征图组进行组内融合,得到由k个通道的第三特征图组成的特征图组对应的第一熵估计特征,k为小于c的正整数。
示例性的,可以采用自回归模型确定第三特征图矩阵对应的第一熵估计特征。示例性的,可以将第二特征图矩阵c个通道的第二特征图,分别作为c路输入,输入至自回归模型。
示例性的,自回归模型可以采用第二特征图矩阵中k个通道的第二特征图,组成一个特征图组;这样,可以得到N个特征图组,N为大于1的整数,具体可以根据k和c 确定。示例性的,每个特征图组所包含的通道数k可以相同,也可以不同,本申请对此不作限制。具体的采用k个第二特征图组成特征图组方式,可以参照上文针对第一特征图的描述,在此不再赘述。
示例性的,由自回归模型对由k个通道的第二特征图组成的特征图组进行组内融合,得到由k个通道的第三特征图组成的特征图组对应的第一熵估计特征;进而确定第三特征图矩阵对应的第一熵估计特征。
示例性的,第三特征图矩阵可以无需输入至自回归模型,但是依然可以采用第三特征图矩阵中k个通道的第三特征图,组成一个特征图组;这样,可以得到N个特征图组, N为大于1的整数,具体可以根据k和c确定。示例性的,每个特征图组所包含的通道数k可以相同,也可以不同,本申请对此不作限制。
为了便于后续描述,可以将采用k个通道的第二特征图组成的特征图组,称为特征图组A,将采用k个通道的第三特征图组成的特征图组,称为特征图组B。
示例性的,N个特征图组A和N个特征图组B是一一对应的,也就是说,每个特征图组A和每个特征图组B包含的通道是相同的。
示例性的,假设第i个特征图组A对应的输出通道数为Mi
Figure RE-GDA0003548646870000211
此时,第 i个特征图组A对应的自回归权重矩阵
Figure RE-GDA0003548646870000212
c1=ks1*ks2,其中,“ks1*ks2”表示自回归模型卷积核的尺寸,ks1可以等于ks2,也可以不等于ks2,本申请对此不作限制。也就是说,Mi个输出通道中,每个输出通道对应k个尺寸为ks1*ks2的权重图。例如,k=2,Mi=1,则第i个特征图组A对应的输出通道数为1,该输出通道对应2个尺寸为ks1*ks2的权重图。又例如,k=2,Mi=5,则第i个特征图组A对应的输出通道数为5,这5个输出通道中每个输出通道对应2个尺寸为权重图。
一种可能的方式中,可以采用第i个特征图组A对应的自回归权重矩阵,对第i个特征图组A进行局部空间信息提取,得到第i个特征图组B对应的第一熵估计特征。
示例性的,可以采用第i个特征图组A对应的第j个输出通道的权重图,分别与第i个特征图组A中k个通道的第二特征图进行卷积,得到k个卷积结果;将k个卷积结果进行融合,得到第i个特征图组B对应在第j个输出通道的第一熵估计特征。将第i个特征图组B对应在Mi个输出通道的第一熵估计特征合并,得到第i个特征图组B对应的第一熵估计特征。其中,j为1~Mi之间的数,包括1和Mi。这可以参照上文所述的“确定第i个特征图组对应在第j个输出通道的第一熵估计特征”的描述,在此不再赘述。
示例性的,确定第i个特征图组B中的每组特征点在第j个输出通道的第一熵估计特征的方式,可以参照上文的描述,在此不再赘述。
S706,根据第一熵估计特征,确定第三特征图矩阵对应的概率分布。
一种可能的方式中,可以根据第三特征图矩阵对应的第一熵估计特征进行概率估计,得到第三特征图矩阵对应的概率分布。其中,概率分布Rc*h*w*P,也就是说,概率分布的通道数与第三特征图矩阵的通道数相同,第三特征图矩阵中每个特征点对应P个参数(如均值、方差等),P为大于0的整数,本申请对此不作限制。
一种可能的方式中,可以对第三特征图矩阵进行特征提取,得到第六特征图矩阵;然后根据第六特征图矩阵,确定第三特征图矩阵对应的第二熵估计特征。随后,可以结合第三特征图矩阵对应的第一熵估计特征和第三特征图矩阵对应的第二熵估计特征进行概率估计,得到第三特征图矩阵对应的概率分布。示例性的,可以将第一熵估计特征和第二熵估计特征进行聚合(如拼接),根据聚合结果进行概率估计,得到第三特征图矩阵对应的概率分布。
示例性的,当确定了第六特征图矩阵,可以对第六特征图矩阵进行编码,得到第六特征图矩阵对应的码流。
S707,根据第二特征图矩阵对应的概率分布对第二特征图矩阵进行编码,以及根据第三特征图矩阵对应的概率分布对第三特征图矩阵进行编码,得到码流。
示例性的,待编码得到待编码图像对应的码流、第四特征图矩阵对应的码流和第六特征图矩阵对应的码流后,可以存储待编码图像对应的码流、第四特征图矩阵对应的码流和第六特征图矩阵对应的码流,也可以将待编码图像对应的码流、第四特征图矩阵对应的码流和第六特征图矩阵对应的码流发送至解码端。
这样,不仅能够减少无效信息的引入,进而减少编码算力,从而提高编码效率以及提高重建图像的质量;而且相对于确定第二熵估计而言,确定第一熵估计特征的算力更大;因此仅确定第一特征图中部分特征点对应的第一熵估计特征,能够进一步提高编码效率。
图9为示例性示出的解码流程示意图。
S901,获取码流。
S902,从码流中解码c个通道的特征点对应的特征值,得到第一特征图矩阵。
S9021,从所述码流中解码出第四特征图矩阵。
示例性的,解码端接收到码流后,可以从码流中解码出第四特征图矩阵;然后根据第四特征图矩阵,从码流中解码出位于第二预设位置的待解码特征点对应的特征值,进而得到第二特征图矩阵。示例性的,可以按照预设解码顺序,将位于第二预设位置的所有特征点,依次确定为第二待解码特征点,然后针对第二待解码特征点进行解码。
S9022,基于第四特征图矩阵,确定第二待解码特征点对应的第二熵估计特征。
S9023,根据第二熵估计特征,确定第二待解码点对应的概率分布。
S9024,根据概率分布对第二待解码特征点进行解码,得到对应的特征值。
示例性的,针对第二待解码特征点:基于第四特征图矩阵,确定第二待解码特征点对应的第二熵估计特征;根据第二待解码特征点对应的第二熵估计特征,确定第二待解码点对应的概率分布;根据第二待解码特征点对应的概率分布对第二待解码特征点进行解码,得到对应的特征值。这样,可以得到所有位于第二预设位置的第二待解码特征点对应的特征值,进而得到第二特征图矩阵。
示例性的,可以按照预设解码顺序,将位于第一预设位置的所有特征点,依次确定为第一待解码特征点,然后针对第一待解码特征点进行解码;可以参照如下:S9025~S9028:
S9025,确定第一待解码特征点对应的已解码信息组,已解码信息组包括所述已解码信息组包括所述第一待解码特征点对应通道中位于所述第二预设位置的已解码特征点对应的特征值,和其他k-1个通道中位于所述第二预设位置的已解码特征点对应的特征值,其中,k为小于c的正整数。
示例性的,当编码端是对由k个通道的第二特征图组成的特征图组进行组内融合,得到由k个通道的第三特征图组成的特征图组对应的第一熵估计特征时,则可以将第二特征图矩阵输入至自回归模型,由自回归模型根据第二特征图矩阵,确定第一待解码特征点对应的第一熵估计特征。
示例性的,自回归模型可以采用k(k为小于c的正整数)个通道的位于第二预设位置的特征点对应的特征值(也就是c个通道的第二特征图),组成一个已解码信息组;这样,可以得到N个已解码信息组,N为大于1的整数,具体可以根据k和c确定。示例性的,在确定N个已解码信息组后,可以确定第一待解码特征点所在通道,然后从N个已解码信息组中,确定第一待解码特征点所在通道所属的已解码信息组。为了便于描述,后续可以将第一待解码特征点所在通道所属的已解码信息组,称为第i个已解码信息组。
示例性的,第i个已解码信息组所包括的通道为:第一待解码特征点对应通道和其他k-1个通道;第i个已解码信息组包括第一待解码特征点对应通道的第二特征图(位于第二预设位置的特征点对应的特征值),和其他k-1个通道的第二特征图(位于第二预设位置的特征点对应的特征值)。
S9026,对已解码信息组进行组内融合,得到第一待解码特征点对应的第一熵估计特征。
示例性的,可以采用第i个已解码信息组对应的第j个输出通道的权重图,分别与第 i个已解码信息组中k个通道的第二特征图进行卷积,得到k个卷积结果;将k个卷积结果进行融合,得到第i个已解码信息组对应在第j个输出通道的第一熵估计特征。将第i 个已解码信息组对应在Mi个输出通道的第一熵估计特征合并,得到第i个已解码信息组对应的第一熵估计特征,也就是第一待解码特征点对应的第一熵估计特征。其中,j为 1~Mi之间的数,包括1和Mi。具体可以参照上文确定第一特征图中第一待解码特征点的第一熵估计特征的描述,在此不再赘述。
示例性的,确定第i个已解码信息组中的每组特征点在第j个输出通道的第一熵估计特征的方式,可以参照上文的描述,在此不再赘述。
这样,能够对位于第一预设位置的第一待解码特征点进行并行解码,进而进一步提高解码效率。
S9027,根据第一待解码特征点对应的第一熵估计特征,确定第一待解码特征点对应的概率分布。
一种可能的方式中,可以根据第一待编码特征点对应的第一熵估计特征进行概率估计,得到第一待编码特征点对应的概率分布。其中,第一待编码特征点对应的概率分布对应一组概率分布参数。其中,每组概率分布参数可以包括至少一个参数,如均值、方差等,本申请对此不作限制。
一种可能的方式中,若编码端将第六特征图矩阵编码为码流,并将第六特征图矩阵的码流发送至解码端后,则解码端可以从码流中提取第六特征图矩阵。然后可以根据第六特征图矩阵,确定码流中所有特征点对应的第二熵估计特征。接着,可以从码流中所有特征点对应的第二熵估计特征中,确定第一待解码特征点对应的第二熵估计特征,然后可以结合第一待编码特征点对应的第一熵估计特征和第一待编码特征点对应的第二熵估计特征进行概率估计,得到第一待解码特征点对应的概率分布。示例性的,可以将第一熵估计特征和第二熵估计特征进行聚合(如拼接),根据聚合结果进行概率估计,得到第一待解码特征点对应的概率分布。
S9028,根据概率分布对第一待解码特征点进行解码,得到对应的特征值。
然后,可以根据第一待解码特征点对应的概率分布,对第一待解码特征点进行解码,得到对应的特征值,也就是第三特征图矩阵中特征点对应的特征值。待对所有第一待解码特征点进行解码后,可以得到第三特征图矩阵。
S903,基于第一特征图矩阵进行图像重建,输出重建图像。
示例性的,在解码出第二特征图矩阵和第三特征图矩阵后,可以将第二特征图矩阵和第三特征图按照通道进行叠加,得到第一特征图矩阵;然后可以基于第一特征图矩阵进行图像重建,得到重建图像。
这样,不仅能够减少无效信息的引入,进而减少解码算力以及提高解码效率;而且相对于确定第二熵估计而言,确定第一熵估计特征的算力更大;因此仅确定部分待解码特征点对应的第一熵估计特征,能够进一步提高解码效率。
图10为示例性示出的编码流程示意图。
S1001,获取待编码图像。
S1002,基于待编码图像,生成第一特征图矩阵,第一特征图矩阵包括c个通道的第一特征图,c为正整数。
S1003,将第一特征图矩阵进行空间划分,得到第二特征图矩阵和第三特征图矩阵,第二特征图矩阵包括c个通道的第二特征图,第三特征图矩阵包括c个通道的第三特征图。
S1004,确定第二特征图矩阵对应的概率分布。
示例性的,S1001~S1004,可以参照上述S701~S704的描述,在此不再赘述。
S1005,对由k个通道的第三特征图组成的特征图组进行组内融合,得到由k个通道的第三特征图组成的特征图组对应的第一熵估计特征,k为小于c的正整数。
一种可能的方式中,可以采用第i个特征图组B对应的自回归权重矩阵,对第i个特征图组进行局部空间信息提取,得到第i个特征图组B对应的第一熵估计特征。
示例性的,可以采用第i个特征图组B对应的第j个输出通道的权重图,分别与第i个特征图组中k个通道中,位于第一预设位置的已解码特征点对应的特征值进行卷积,得到k个卷积结果;将k个卷积结果进行融合,得到第i个特征图组B对应在第j个输出通道的第一熵估计特征。将第i个特征图组B对应在Mi个输出通道的第一熵估计特征合并,得到第i个特征图组B对应的第一熵估计特征。其中,j为1~Mi之间的数,包括1 和Mi。这可以参照上文“确定第i个特征图组对应的第j个输出通道的第一熵估计特征”的描述,在此不再赘述。
示例性的,确定第i个特征图组B中的每组特征点对应在第j个输出通道的第一熵估计特征的方式,可以参照上文的描述,在此不再赘述。
S1006,根据第一熵估计特征,确定第三特征图矩阵对应的概率分布。
S1007,根据第二特征图矩阵对应的概率分布对第二特征图矩阵进行编码,以及根据第三特征图矩阵对应的概率分布对第三特征图矩阵进行编码,得到码流。
示例性的,S1006~S1007,可以参照上述S706~S707的描述,在此不再赘述。
这样,不仅能够减少无效信息的引入,进而减少编码算力,从而提高编码效率以及提高重建图像的质量;而且相对于确定第二熵估计而言,确定第一熵估计特征的算力更大;因此仅确定第一特征图中部分特征点对应的第一熵估计特征,能够进一步提高编码效率。
图11a为示例性示出的解码流程示意图。
S1101,获取码流。
S1102,从码流中解码c个通道的特征点对应的特征值,得到第一特征图矩阵。
示例性的,针对每个待解码特征点,可以参照如下S11021~S11028,确定对应的特征值:
S11021,从所述码流中解码出第四特征图矩阵。
S11022,基于第四特征图矩阵,确定第二待解码特征点对应的第二熵估计特征。
S11023,根据第二熵估计特征,确定第二待解码点对应的概率分布。
S11024,根据概率分布对第二待解码特征点进行解码,得到对应的特征值。
示例性的,S11021~S11024,可以参照上文S9021~S9024,在此不再赘述。
S11025,确定第一待解码特征点对应的已解码信息组,已解码信息组包括所述已解码信息组包括所述第一待解码特征点对应通道中位于所述第一预设位置的已解码特征点对应的特征值,和其他k-1个通道中位于所述第一预设位置的已解码特征点对应的特征值,其中,k为小于c的正整数。
S11026,对已解码信息组进行组内融合,得到第一待解码特征点对应的第一熵估计特征。
示例性的,当编码端是对由k个通道的第三特征图组成的特征图组进行组内融合,得到由k个通道的第三特征图组成的特征图组对应的第一熵估计特征时,则可以将位于第一预设位置的已解码特征点对应的特征值输入至自回归模型,由自回归模型根据位于第一预设位置的已解码特征点对应的特征值,确定位于第一待解码特征点对应的第一熵估计特征。
示例性的,自回归模型可以采用k(k为小于c的正整数)个通道的位于第一预设位置的特征点对应的特征值,组成一个已解码信息组;这样,可以得到N个已解码信息组, N为大于1的整数,具体可以根据k和c确定。示例性的,在确定N个已解码信息组后,可以确定第一待解码特征点所在通道,然后从N个已解码信息组中,确定第一待解码特征点所在通道所属的已解码信息组。为了便于描述,后续可以将第一待解码特征点所在通道所属的已解码信息组,称为第i个已解码信息组。
示例性的,第i个已解码信息组所包括的通道为:第一待解码特征点对应通道和其他k-1个通道;第i个已解码信息组包括第一待解码特征点对应通道中位于第一预设位置的特征点对应的特征值,和其他k-1个通道中位于第一预设位置的特征点对应的特征值。
示例性的,对已解码信息组进行组内融合,得到第一待解码特征点对应的第一熵估计特征,具体可以参照上文的描述,在此不再赘述。
S11027,根据第一待解码特征点对应的第一熵估计特征,确定第一待解码特征点对应的概率分布。
S11028,根据概率分布对第一待解码特征点进行解码,得到对应的特征值。
示例性的,S11027~S11028,可以参照上文S9027~S9028,在此不再赘述。
S1103,基于第一特征图矩阵进行图像重建,输出重建图像。
这样,不仅能够减少无效信息的引入,减少解码算力以及提高解码效率;而且相对于确定第二熵估计而言,确定第一熵估计特征的算力更大;因此仅确定部分待解码特征点对应的第一熵估计特征,能够进一步提高解码效率。
图11b为示例性示出的压缩效果示意图。
参照图11b,示例性的,图11b中的纵坐标为PSNR(Peak Signal to Noise Ratio,峰值信噪比),单位为dB(分贝),可以用于表征图像重建质量,PSNR越大,图像重建质量越高。横坐标为Bits perpixel(存储每个像素所用的位数,越小代表压缩码率越小),单位为BPP(位/像素)。图11b中,虚曲线为本申请图像重建质量与码流大小的关系曲线,实曲线为现有技术图像重建质量与码流大小,对比两个曲线可知,码流大小相同时,本申请的压缩/解压方案的图像重建质量越高。
一个示例中,图12示出了本申请实施例的一种装置1200的示意性框图装置1200可包括:处理器1201和收发器/收发管脚1202,可选地,还包括存储器1203。
装置1200的各个组件通过总线1204耦合在一起,其中总线1204除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图中将各种总线都称为总线1204。
可选地,存储器1203可以用于前述方法实施例中的指令。该处理器1201可用于执行存储器1203中的指令,并控制接收管脚接收信号,以及控制发送管脚发送信号。
装置1200可以是上述方法实施例中的电子设备或电子设备的芯片。
其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
本实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的编解码方法。
本实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中的编解码方法。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的编解码方法。
其中,本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
本申请各个实施例的任意内容,以及同一实施例的任意内容,均可以自由组合。对上述内容的任意组合均在本申请的范围之内。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
结合本申请实施例公开内容所描述的方法或者算法的步骤可以硬件的方式来实现,也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成,软件模块可以被存放于随机存取存储器(Random Access Memory,RAM)、闪存、只读存储器(Read Only Memory,ROM)、可擦除可编程只读存储器(Erasable Programmable ROM,EPROM)、电可擦可编程只读存储器(Electrically EPROM,EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

Claims (19)

1.一种编码方法,其特征在于,所述方法包括:
获取待编码图像;
基于所述待编码图像,生成第一特征图矩阵,所述第一特征图矩阵包括c个通道的第一特征图,c为正整数;
对由k个通道的第一特征图组成的特征图组进行组内融合,得到所述特征图组对应的第一熵估计特征,k为小于c的正整数;
根据所述第一熵估计特征,确定所述第一特征图矩阵对应的概率分布;
根据所述概率分布对所述第一特征图矩阵进行编码,得到码流。
2.根据权利要求1所述的方法,其特征在于,
所述对由k个通道的第一特征图组成的特征图组进行组内融合,得到所述特征图组对应的第一熵估计特征,包括:
采用所述特征图组对应的自回归权重矩阵,对所述特征图组进行局部空间信息提取,得到所述特征图组对应的第一熵估计特征。
3.根据权利要求1所述的方法,其特征在于,所述第一特征图矩阵包括:第二特征图矩阵和第三特征图矩阵,其中,所述第二特征图矩阵包括c个通道的第二特征图,所述第三特征图矩阵包括c个通道的第三特征图;
所述对由k个通道的第一特征图组成的特征图组进行组内融合,得到所述特征图组对应的第一熵估计特征,包括:
对由所述k个通道的第二特征图组成的特征图组进行组内融合,得到由所述k个通道的第三特征图组成的特征图组对应的第一熵估计特征;
所述根据所述第一熵估计特征,确定所述第一特征图矩阵对应的概率分布,包括:
根据由所述k个通道的第三特征图组成的特征图组对应的第一熵估计特征,确定所述第三特征图矩阵对应的概率分布;
所述根据所述概率分布对所述第一特征图矩阵进行编码,得到码流,包括:
根据所述第三特征图矩阵对应的概率分布,对所述第三特征图矩阵进行编码,得到所述码流。
4.根据权利要求1所述的方法,其特征在于,所述第一特征图矩阵包括第三特征图矩阵,所述第三特征图矩阵包括c个通道的第三特征图;
所述对由k个通道的第一特征图组成的特征图组进行组内融合,得到所述特征图组对应的第一熵估计特征,包括:
对由所述k个通道的第三特征图组成的特征图组进行组内融合,得到由所述k个通道的第三特征图组成的特征图组对应的第一熵估计特征;
所述根据所述第一熵估计特征,确定所述第一特征图矩阵对应的概率分布,包括:
根据由所述k个通道的第三特征图组成的特征图组对应的第一熵估计特征,确定所述第三特征图矩阵对应的概率分布;
所述根据所述概率分布对所述第一特征图矩阵进行编码,得到码流,包括:
根据所述第三特征图矩阵对应的概率分布,对所述第三特征图矩阵进行编码,得到所述码流。
5.根据权利要求3或4所述的方法,其特征在于,所述方法还包括:
对所述第一特征图矩阵包括的第二特征图矩阵进行特征提取,得到第四特征图矩阵;
根据所述第四特征图矩阵,确定第二熵估计特征;
根据所述第二熵估计特征,确定所述第二特征图矩阵对应的概率分布;
依据所述第二特征图矩阵对应的概率分布,对所述第二特征图矩阵进行编码,得到码流。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
对所述第四特征图矩阵进行编码,得到码流。
7.一种解码方法,其特征在于,所述方法包括:
获取码流,从所述码流中解码c个通道的特征点对应的特征值,得到第一特征图矩阵,c为正整数;
其中,针对第一待解码特征点:确定所述第一待解码特征点对应的已解码信息组,其中,所述已解码信息组包括所述第一待解码特征点对应通道的已解码信息和其他k-1个通道的已解码信息,k为小于c的正整数;对所述已解码信息组进行组内融合,得到所述第一待解码特征点对应的第一熵估计特征;根据所述第一待解码特征点对应的第一熵估计特征,确定所述第一待解码特征点对应的概率分布;根据所述概率分布对所述第一待解码特征点进行解码,得到对应的特征值,其中,第一待解码特征点为任一待解码特征点;
基于所述第一特征图矩阵进行图像重建,输出重建图像。
8.根据权利要求7所述的方法,其特征在于,所述对所述已解码信息组进行组内融合,得到所述第一待解码特征点对应的第一熵估计特征,包括:
采用所述已解码信息组对应的自回归权重矩阵,对所述已解码信息组进行局部空间信息提取,得到所述第一待解码特征点对应的第一熵估计特征。
9.根据权利要求7所述的方法,其特征在于,所述特征点包括位于第一预设位置的特征点和第二预设位置的特征点;所述第一待解码特征点为位于所述第一预设位置的特征点;
所述方法还包括:
从所述码流中解码出第四特征图矩阵,所述第四特征图矩阵包括通过对所述第一特征图矩阵中,位于所述第二预设位置的特征点对应的特征值进行特征提取得到的特征;
针对位于所述第二预设位置的第二待解码特征点:基于所述第四特征图矩阵,确定所述第二待解码特征点对应的第二熵估计特征;根据所述第二熵估计特征,确定所述第二待解码点对应的概率分布;根据所述概率分布对所述第二待解码特征点进行解码,得到对应的特征值。
10.根据权利要求9所述的方法,其特征在于,
所述已解码信息组包括所述第一待解码特征点对应通道中位于所述第二预设位置的已解码特征点对应的特征值,和其他k-1个通道中位于所述第二预设位置的已解码特征点对应的特征值。
11.根据权利要求9所述的方法,其特征在于,
所述已解码信息组包括所述第一待解码特征点对应通道中位于所述第一预设位置的已解码特征点对应的特征值,和其他k-1个通道中位于所述第一预设位置的已解码特征点对应的特征值。
12.一种编码器,其特征在于,用于执行上述权利要求1至权利要求6中任一项所述的编码方法。
13.一种解码器,其特征在于,用于执行上述权利要求7至权利要求11中任一项所述的解码方法。
14.一种电子设备,其特征在于,包括:
存储器和处理器,所述存储器与所述处理器耦合;
所述存储器存储有程序指令,当所述程序指令由所述处理器执行时,使得所述电子设备执行权利要求1至权利要求6中任一项所述的编码方法。
15.一种电子设备,其特征在于,包括:
存储器和处理器,所述存储器与所述处理器耦合;
所述存储器存储有程序指令,当所述程序指令由所述处理器执行时,使得所述电子设备执行权利要求7至权利要求11中任一项所述的解码方法。
16.一种芯片,其特征在于,包括一个或多个接口电路和一个或多个处理器;所述接口电路用于从电子设备的存储器接收信号,并向所述处理器发送所述信号,所述信号包括存储器中存储的计算机指令;当所述处理器执行所述计算机指令时,使得所述电子设备执行权利要求1至权利要求6中任一项所述的编码方法。
17.一种芯片,其特征在于,包括一个或多个接口电路和一个或多个处理器;所述接口电路用于从电子设备的存储器接收信号,并向所述处理器发送所述信号,所述信号包括存储器中存储的计算机指令;当所述处理器执行所述计算机指令时,使得所述电子设备执行权利要求7至权利要求11中任一项所述的解码方法。
18.一种计算机存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,当所述计算机程序运行在计算机或处理器上时,使得所述计算机或所述处理器执行如权利要求1至11任一项所述的方法。
19.一种计算机程序产品,其特征在于,所述计算机程序产品包含软件程序,当所述软件程序被计算机或处理器执行时,使得权利要求1至11任一项所述的方法的步骤被执行。
CN202111407946.6A 2021-11-24 2021-11-24 编解码方法及电子设备 Pending CN116170596A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111407946.6A CN116170596A (zh) 2021-11-24 2021-11-24 编解码方法及电子设备
PCT/CN2022/125944 WO2023093377A1 (zh) 2021-11-24 2022-10-18 编解码方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111407946.6A CN116170596A (zh) 2021-11-24 2021-11-24 编解码方法及电子设备

Publications (1)

Publication Number Publication Date
CN116170596A true CN116170596A (zh) 2023-05-26

Family

ID=86411882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111407946.6A Pending CN116170596A (zh) 2021-11-24 2021-11-24 编解码方法及电子设备

Country Status (2)

Country Link
CN (1) CN116170596A (zh)
WO (1) WO2023093377A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024007753A1 (zh) * 2022-07-07 2024-01-11 华为技术有限公司 编解码方法及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10863206B2 (en) * 2018-11-08 2020-12-08 Alibaba Group Holding Limited Content-weighted deep residual learning for video in-loop filtering
CN111986278B (zh) * 2019-05-22 2024-02-06 富士通株式会社 图像编码装置、概率模型生成装置和图像压缩系统
CN111988629B (zh) * 2019-05-22 2024-02-09 富士通株式会社 图像编码装置和图像解码装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024007753A1 (zh) * 2022-07-07 2024-01-11 华为技术有限公司 编解码方法及电子设备

Also Published As

Publication number Publication date
WO2023093377A1 (zh) 2023-06-01

Similar Documents

Publication Publication Date Title
US11936884B2 (en) Coded-block-flag coding and derivation
WO2019055071A1 (en) CODING INDICATORS OF LAST SIGNIFICANT COEFFICIENT
CN111131828B (zh) 一种图像压缩方法、装置、电子设备和存储介质
US12088804B2 (en) Method and device for encoding/decoding video signal by using optimized conversion based on multiple graph-based model
CN114040205A (zh) 帧内色度预测模式的选择方法、图像处理设备及存储设备
CN115604485A (zh) 视频图像的解码方法及装置
WO2023093377A1 (zh) 编解码方法及电子设备
CN114584772A (zh) 一种基于视觉注意力的全视场视频编码方法与系统
KR101303503B1 (ko) 컬러 이미지들을 위한 조인트 스칼라 임베디드 그래픽 코딩
US20230396810A1 (en) Hierarchical audio/video or picture compression method and apparatus
CN118318441A (zh) 特征图编解码方法和装置
KR20190122479A (ko) 3차원 데이터를 프로세싱하기 위한 방법 및 장치
CN116939218A (zh) 区域增强层的编解码方法和装置
WO2024007753A1 (zh) 编解码方法及电子设备
WO2023082955A1 (zh) 编解码方法及电子设备
CN111669579B (zh) 进行编码和解码的方法、编码端、解码端和系统
Hu et al. Color image coding based on block truncation coding using quadtree segmentation
WO2024140683A1 (zh) 编解码方法及电子设备
WO2024149245A1 (zh) 一种解码、编码方法、装置及其设备
CN110099279B (zh) 一种基于硬件的可调节有损压缩的方法
WO2020000487A1 (zh) 变换方法、反变换方法及装置
CN118158425A (zh) 图像压缩系统、图像处理方法和编解码方法及电子设备
CN118433376A (zh) 图像编码方法、图像解码方法、装置和计算机设备
CN116797710A (zh) 编码方法及电子设备
WO2024213522A1 (en) Compression scheme for point cloud attributes with implicit inter-frame prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination