CN116112673A - 编解码方法及电子设备 - Google Patents

编解码方法及电子设备 Download PDF

Info

Publication number
CN116112673A
CN116112673A CN202111363953.0A CN202111363953A CN116112673A CN 116112673 A CN116112673 A CN 116112673A CN 202111363953 A CN202111363953 A CN 202111363953A CN 116112673 A CN116112673 A CN 116112673A
Authority
CN
China
Prior art keywords
matrix
weight
feature
autoregressive
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111363953.0A
Other languages
English (en)
Inventor
崔泽
冯义晖
王晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to PCT/CN2022/125947 priority Critical patent/WO2023082955A1/zh
Publication of CN116112673A publication Critical patent/CN116112673A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本申请实施例提供了一种编解码方法及电子设备。该编码方法包括：首先，获取待编码图像。随后，根据待编码图像，生成第一特征图矩阵；以及根据第一特征图矩阵，生成自回归权重矩阵。接着，根据自回归权重矩阵和第一特征图矩阵，确定第一特征图矩阵对应的概率分布；然后，依据概率分布对第一特征图矩阵进行编码，得到码流。这样，确定的第一特征图矩阵的概率分布，更接近第一特征图矩阵的真实分布，进而提高了概率估计的准确性，从而能够降低待编码图像对应的码流长度，提高样本的率失真性能。

Description

编解码方法及电子设备
本申请是以申请日为2021年11月10日、申请号为202111329486.X、名称为“编解码方法及电子设备”的中国专利申请为优先权基础提出的在后申请。
技术领域
本申请实施例涉及数据处理领域，尤其涉及一种编解码方法及电子设备。
背景技术
AI(Artificial Intelligence，人工智能)图像压缩算法，是基于深度学习来实现的，相对于传统图像压缩技术(如JPEG(Joint Photographic Experts Group，联合图像专家组)、BPG(Better Portable Graphics，更好的可移植图形)等)而言，压缩效果更好。
目前，实现AI图像压缩算法的各个模型预先训练后，各模型的模型参数是固定的，而待压缩的图像是存在差异的，使用相同模型参数进行特征提取势必会限制熵估计准确度，从而影响图像压缩的率失真性能。
发明内容
为了解决上述技术问题，本申请提供一种编解码方法及电子设备。在该编码方法中，根据待编码图像的特征图矩阵生成自回归权重矩阵，然后根据自回归权重矩阵确定特征图矩阵的概率分布，这样能够使得确定的特征图矩阵的概率分布，更接近特征图矩阵的真实分布，从而降低待编码图像对应的码流长度，提高样本的率失真性能。
第一方面，本申请实施例提供一种编码方法，该方法包括：首先，获取待编码图像；接着，根据待编码图像，生成第一特征图矩阵；以及根据第一特征图矩阵，生成自回归权重矩阵。然后，根据自回归权重矩阵和第一特征图矩阵，确定第一特征图矩阵对应的概率分布，随后，依据概率分布对第一特征图矩阵进行编码，得到码流。这样，确定的第一特征图矩阵的概率分布，更接近第一特征图矩阵的真实分布，进而提高了概率估计的准确性，从而能够降低待编码图像对应的码流长度，提高样本的率失真性能。
示例性的，第一特征图矩阵为对待编码图像进行空间变换得到的特征图像矩阵，具体地，对将待编码图像输入至编码网络输出的特征图矩阵进行量化得到的特征图矩阵，例如，第一特征图矩阵为特征图矩阵Y2。
示例性的，第一特征图矩阵包括对待编码图像进行空间变换得到的特征图矩阵，具体地，对将待编码图像输入至编码网络输出的特征图矩阵进行量化得到的特征图矩阵，(例如第一特征图矩阵为特征图矩阵Y2)；以及对待编码图像进行特征提取得到的特征图矩阵，具体地，将待编码图像输入至其他网络(包括其他编码网络和非编码网络)得到的特征图矩阵(如特征图矩阵Y6)。此时，依据概率分布进行编码得到码流的第一特征图矩阵为：对待编码图像进行空间变换得到的特征图矩阵；具体地，对将待编码图像输入至编码网络输出的特征图矩阵进行量化得到的特征图矩阵。
示例性的，特征图矩阵Y2∈Rc*h*w，其中，“c”是指特征图矩阵的通道数，“h”表示每个通道输出的特征图的高，“w”表示每个通道输出的特征图的宽。也就是说，特征图矩阵Y2可以包括c个尺寸为h*w的特征图，每个特征图可以包括多个特征点。
示例性的，自回归权重矩阵为自回归权重矩阵WM。
例如，自回归卷积核的尺寸为ks*ks，自回归权重矩阵
Figure BDA0003359912040000021
其中，“ks2”也就是“ks*ks”，“g”表示卷积核权重群组数，以及“ratio”表示卷积核通道放缩倍数，“ks2*g*ratio”表示自回归权重矩阵的通道数。也就是说，自回归权重矩阵WM对应“ks2*g*ratio”个通道，每个通道对应h*w个权重图，每个权重图的尺寸为ks*ks。其中，特征图矩阵Y2中一个通道的一个特征点，对应自回归权重矩阵WM中至少一个通道中该特征点对应位置的权重图；也就是说，特征图矩阵Y2中每个特征图的每个特征点对应一个或多个权重图。
例如，自回归卷积核的尺寸为ks1*ks2，自回归权重矩阵WM∈R(c1*g*ratio)*h*w，c1＝ks1*ks2。其中，“g”表示卷积核权重群组数，“ratio”表示卷积核通道缩放倍数，“c1*g*ratio”表示自回归权重矩阵的通道数。也就是说，自回归权重矩阵WM对应“c1*g*ratio”个通道，每个通道包括h*w个权重图，每个权重图的尺寸为ks1*ks2。其中，h*w为特征图矩阵Y2中每个通道对应特征图的尺寸，特征图矩阵Y2中一个通道的一个特征点，对应自回归权重矩阵WM中至少一个通道中该特征点对应位置的权重图；也就是说，特征图矩阵Y2中每个特征图的每个特征点对应一个或多个权重图。
示例性的，概率分布为概率分布PA1。
示例性的，码流为码流SA。
根据第一方面，根据第一特征图矩阵，生成自回归权重矩阵，包括：首先，对第一特征图矩阵进行特征提取，得到第二特征图矩阵；随后，依据第二特征图矩阵，生成权重参数矩阵；接着，采用权重参数矩阵对预设自回归权重矩阵进行更新，得到自回归权重矩阵。
示例性的，第二特征图矩阵为对特征图矩阵Y2进行特征提取得到的特征图矩阵，如特征图矩阵Z2。
示例性的，第二特征图矩阵为对特征图矩阵Y6进行特征提取得到的特征图矩阵。
示例性的，预设自回归权重矩阵为预设自回归权重矩阵RWM。
示例性的，权重参数矩阵为权重参数矩阵WP。
根据第一方面，或者以上第一方面的任意一种实现方式，根据第一特征图矩阵，生成自回归权重矩阵，包括：对第一特征图矩阵进行卷积，生成权重参数矩阵；采用权重参数矩阵对预设自回归权重矩阵进行更新，得到自回归权重矩阵。
根据第一方面，或者以上第一方面的任意一种实现方式，权重参数矩阵包括多个通道的权重参数，预设自回归权重矩阵包括多个通道的权重图；采用权重参数矩阵对预设自回归权重矩阵进行更新，得到自回归权重矩阵，包括：按照预设填充关系，采用多个通道的权重参数，填充多个通道的权重图，得到自回归权重矩阵。
示例性的，采用一个通道的权重参数，填充一个通道的权重图。
示例性的，采用一个通道的权重参数，填充多个通道的权重图。
示例性的，采用多个通道的权重参数，填充一个通道的权重图。
比如预设自回归权重矩阵一个通道的权重图的尺寸为ks*ks，ks*ks为自回归卷积核的尺寸。根据第一方面，或者以上第一方面的任意一种实现方式，权重参数矩阵一个通道的权重参数为N个，ks和N均为正整数，N小于或等于ks*ks；按照预设填充关系，采用多个通道的权重参数，填充多个通道的权重图，得到自回归权重矩阵，包括：按照预设填充关系，采用权重参数矩阵一个通道的N个权重参数，填充预设自回归权重矩阵一个通道的ks*ks的权重图中的N个位置，得到自回归权重矩阵。
示例性的，预设自回归权重矩阵
Figure BDA0003359912040000031
其中，“ks2”也就是“ks*ks”，“g”表示卷积核权重群组数，以及“ratio”表示卷积核通道放缩倍数，“ks2*g*ratio”表示预设自回归权重矩阵RWM的通道数。也就是说，预设自回归权重矩阵RWM对应“ks2*g*ratio”个通道，每个通道对应h*w个权重图，每个权重图的尺寸为ks*ks。其中，h*w为特征图矩阵Y2中每个通道对应特征图的尺寸，特征图矩阵Y2中一个通道的一个特征点，对应自回归权重矩阵WM中至少一个通道中该特征点对应位置的权重图；也就是说，特征图矩阵Y2中每个特征图的每个特征点对应一个或多个权重图。
示例性的，权重参数矩阵
Figure BDA0003359912040000032
其中，“(ks2/2)”取值为(ks2/2)向下取整得到的数值，“(ks2/2)*g*ratio”表示权重参数矩阵的通道数。其中，每个通道对应h*w个权重组，每个权重组包括N个权重参数，N为正整数，可以根据ks确定。其中，特征图矩阵Y2中一个通道的一个特征点，对应权重参数矩阵WP中至少一个通道中该特征点对应位置的权重组；也就是说，特征图矩阵Y2中每个特征点对应一个或多个权重组。
示例性的，自回归权重矩阵
Figure BDA0003359912040000033
示例性的，预设填充关系可以按照需求设置，本申请对此不作限制。
示例性的，当N小于ks*ks时，采用0填充权重图中其他位置。
比如预设自回归权重矩阵一个通道的权重图的尺寸为ks1*ks2，ks1*ks2为自回归卷积核的尺寸。根据第一方面，或者以上第一方面的任意一种实现方式，权重参数矩阵一个通道的权重参数为N个，ks和N均为正整数，N小于或等于ks*ks；按照预设填充关系，采用多个通道的权重参数，填充多个通道的权重图，包括：按照预设填充关系，采用权重参数矩阵一个通道的N个权重参数，填充预设自回归权重矩阵一个通道的ks*ks的权重图中的N个位置。其中，ks1与ks2可以相同，也可以不同，本申请对此不作限制。
示例性的，预设自回归权重矩阵RWM∈R(c1*g*ratio)*h*w，c1＝ks1*ks2。其中，“g”表示卷积核权重群组数，“ratio”表示卷积核通道缩放倍数，“c1*g*ratio”表示预设自回归权重矩阵的通道数。也就是说，预设自回归权重矩阵RWM对应“c1*g*ratio”个通道，每个通道包括h*w个权重图，每个权重图的尺寸为ks1*ks2。其中，h*w为特征图矩阵Y2中每个通道对应特征图的尺寸，特征图矩阵Y2中一个通道的一个特征点，对应预设自回归权重矩阵RWM中至少一个通道中该特征点对应位置的权重图。也就是说，特征图矩阵Y2中每个特征图的每个特征点对应一个或多个权重图。
示例性的，权重参数矩阵WP∈R(c2*g*ratio)*h*w，
Figure BDA0003359912040000041
向下取整。其中，“c2*g*ratio”表示权重参数矩阵的通道数。其中，每个通道包括h*w个权重组，每个权重组包括N个权重参数，N为正整数，可以根据ks1、ks2确定。其中，特征图矩阵Y2中一个通道的一个特征点，对应权重参数矩阵WP中至少一个通道中该特征点对应位置的权重组。也就是说，特征图矩阵Y2中每个特征点对应一个或多个权重组。
示例性的，自回归权重矩阵WM∈R(c1*g*ratio)*h*w。
示例性的，预设填充关系可以按照需求设置，本申请对此不作限制。
示例性的，当N小于ks1*ks2时，采用0填充权重图中其他位置。
根据第一方面，或者以上第一方面的任意一种实现方式，根据自回归权重矩阵和第一特征图矩阵，确定第一特征图矩阵对应的概率分布，包括：根据自回归权重矩阵和第一特征图矩阵，确定熵估计特征；依据熵估计特征，确定第一特征图矩阵对应的概率分布。
示例性的，熵估计特征为熵估计特征phi。
示例性的，根据自回归权重矩阵和第一特征图矩阵，确定第一特征图矩阵对应的概率分布，包括：根据自回归权重矩阵和第一特征图矩阵，确定第一熵估计特征；对第一特征图矩阵进行特征提取，得到第二特征图矩阵，以及依据第二特征图矩阵，生成第二熵估计特征；依据第一熵估计特征和第二熵估计特征，确定第一特征图矩阵对应的概率分布。其中，第一熵估计特征为熵估计特征phi，第二熵估计特征为熵估计特征psi。
根据第一方面，或者以上第一方面的任意一种实现方式，根据自回归权重矩阵和第一特征图矩阵，确定熵估计特征，包括：分别对自回归权重矩阵和第一特征图矩阵进行维度变换，其中，维度变换后的自回归权重矩阵的维度与维度变换后的第一特征图像矩阵的维度相对应；将维度变换后的自回归权重矩阵和维度变换后的第一特征图矩阵进行点乘，得到中间特征；对中间特征进行维度反变换，得到熵估计特征。这样，能够降低确定熵估计特征的计算复杂度，提高编码效率。
示例性的，维度变换后的自回归权重矩阵为自回归权重矩阵WM′。
示例性的，对第一特征图矩阵进行维度变换，可以包括：对第一特征图矩阵进行展开，然后对展开后的第一特征图矩阵进行维度变换，得到维度变换后的第一特征图矩阵。其中，维度变换后的第一特征图矩阵可以为特征图矩阵Y3。
示例性的，中间特征为中间特征phi′，熵估计特征为熵估计特征phi。
示例性的，维度变换和维度反变换，均可以是指在保证矩阵的元素个数不变的情况下，调整矩阵的行数、列数和维数，也可以称为矩阵变换。
根据第一方面，或者以上第一方面的任意一种实现方式，根据自回归权重矩阵和第一特征图矩阵，确定熵估计特征，包括：对自回归权重矩阵和第一特征图矩阵进行卷积，得到熵估计特征。
根据第一方面，或者以上第一方面的任意一种实现方式，该方法还包括：对第二特征图矩阵进行编码，得到码流。这样，解码端可以直接获取到用于生成自回归权重矩阵的特征，无需重新生成，能够提高解码效率。
示例性的，码流为码流SB。
第二方面，本申请实施例提供一种解码方法，该方法包括：获取码流，从码流中解码多个特征点对应的特征值，得到第一特征图矩阵；其中，针对当前待解码特征点：首先，基于已解码信息，生成当前待解码特征点对应的自回归权重矩阵；接着，根据自回归权重矩阵和已解码信息，确定当前待解码特征点对应的概率分布。然后，依据概率分布对当前待解码特征点进行解码，得到对应的特征值；基于第一特征图矩阵进行图像重建，输出重建图像。
示例性的，码流可以包括：码流SA。
示例性的，码流可以包括：码流SA和码流SB。
示例性的，第一特征图矩阵为特征图矩阵Y2。
示例性的，自回归权重矩阵为自回归权重矩阵WM。
示例性的，概率分布为概率分布PA2。
根据第二方面，当码流包括码流SA和码流SB时，该方法还包括：从码流中解码出第二特征图矩阵，第二特征图矩阵包括通过对第一特征图矩阵进行特征提取得到的特征；其中，已解码信息包括：第二特征图矩阵和已解码特征点对应的特征值。
示例性的，第二特征图矩阵为特征图矩阵Z2。
根据第二方面，或者以上第二方面的任意一种实现方式，已解码信息包括：第二特征图矩阵和已解码特征点对应的特征值。基于已解码信息，生成当前待解码特征点对应的自回归权重矩阵，包括：依据第二特征图矩阵，生成权重参数矩阵；采用权重参数矩阵对预设自回归权重矩阵进行更新，得到自回归权重矩阵。
根据第二方面，或者以上第二方面的任意一种实现方式，已解码信息包括：已解码特征点对应的特征值；基于已解码信息，生成当前待解码特征点对应的自回归权重矩阵，包括：对已解码特征点对应的特征值进行卷积，生成权重参数矩阵；采用权重参数矩阵对预设自回归权重矩阵进行更新，得到自回归权重矩阵。
根据第二方面，或者以上第二方面的任意一种实现方式，权重参数矩阵包括多个通道的权重参数，预设自回归权重矩阵包括多个通道的权重图；采用权重参数矩阵对预设自回归权重矩阵进行更新，得到自回归权重矩阵，包括：按照预设填充关系，采用多个通道的权重参数，填充多个通道的权重图，得到自回归权重矩阵。
比如预设自回归权重矩阵一个通道的权重图的尺寸为ks*ks，ks*ks为自回归卷积核的尺寸。根据第二方面，或者以上第二方面的任意一种实现方式，权重参数矩阵一个通道的权重参数为N个，ks和N均为正整数，N小于或等于ks*ks；按照预设填充关系，采用多个通道的权重参数，填充多个通道的权重图，得到自回归权重矩阵，包括：按照预设填充关系，采用权重参数矩阵一个通道的N个权重参数，填充预设自回归权重矩阵一个通道的ks*ks的权重图中的N个位置，得到自回归权重矩阵。
比如预设自回归权重矩阵一个通道的权重图的尺寸为ks1*ks2，ks1*ks2为自回归卷积核的尺寸。根据第二方面，或者以上第二方面的任意一种实现方式，权重参数矩阵一个通道的权重参数为N个，ks1、ks2和N均为正整数，N小于或等于ks1、ks2；按照预设填充关系，采用多个通道的权重参数，填充多个通道的权重图，包括：按照预设填充关系，采用权重参数矩阵一个通道的N个权重参数，填充预设自回归权重矩阵一个通道的ks1*ks2的权重图中的N个位置。
根据第二方面，或者以上第二方面的任意一种实现方式，根据自回归权重矩阵和已解码信息，确定当前待解码特征点对应的概率分布，包括：根据自回归权重矩阵和已解码特征点对应的特征值，确定熵估计特征；依据熵估计特征，确定当前待解码特征点对应的概率分布。
示例性的，根据自回归权重矩阵和已解码信息，确定当前待解码特征点对应的概率分布，包括：根据自回归权重矩阵和已解码特征点对应的特征值，确定第一熵估计特征；对第一特征图矩阵进行特征提取，得到第二特征图矩阵，以及依据第二特征图矩阵，生成第二熵估计特征；依据第一熵估计特征和第二熵估计特征，确定当前待解码特征点对应的概率分布。示例性的，第一熵估计特征为熵估计特征phi，第二熵估计特征为熵估计特征psi。
根据第二方面，或者以上第二方面的任意一种实现方式，根据自回归权重矩阵和已解码特征点对应的特征值，确定熵估计特征，包括：分别对自回归权重矩阵和已解码特征点对应的特征值进行维度变换，其中，维度变换后的自回归权重矩阵的维度与维度变换后的已解码特征点对应的特征值的维度相对应；将维度变换后的自回归权重矩阵和维度变换后的已解码特征点对应的特征值进行点乘，得到中间特征；对中间特征进行维度反变换，得到熵估计特征。
根据第二方面，或者以上第二方面的任意一种实现方式，根据自回归权重矩阵和已解码特征点对应的特征值，确定熵估计特征，包括：对自回归权重矩阵和已解码特征点对应的特征值进行卷积，得到熵估计特征。
第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。
第三方面，本申请实施例提供一种编码器，用于执行第一方面或第一方面的任意可能的实现方式中的编码方法。
第三方面以及第三方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第三方面以及第三方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。
第四方面，本申请实施例提供一种解码器，用于执行第二方面或第二方面的任意可能的实现方式中的解码方法。
第四方面以及第四方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第四方面以及第四方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果，此处不再赘述。
第五方面，本申请实施例提供一种电子设备，包括：存储器和处理器，存储器与处理器耦合；存储器存储有程序指令，当程序指令由处理器执行时，使得电子设备执行第一方面或第一方面的任意可能的实现方式中的编码方法。
第五方面以及第五方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第五方面以及第五方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。
第六方面，本申请实施例提供一种电子设备，包括：存储器和处理器，存储器与处理器耦合；存储器存储有程序指令，当程序指令由处理器执行时，使得电子设备执行第二方面或第二方面的任意可能的实现方式中的解码方法。
第六方面以及第六方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第六方面以及第六方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果，此处不再赘述。
第七方面，本申请实施例提供一种芯片，包括一个或多个接口电路和一个或多个处理器；接口电路用于从电子设备的存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令；当处理器执行计算机指令时，使得电子设备执行第一方面或第一方面的任意可能的实现方式中的编码方法。
第七方面以及第七方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第七方面以及第七方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。
第八方面，本申请实施例提供一种芯片，包括一个或多个接口电路和一个或多个处理器；接口电路用于从电子设备的存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令；当处理器执行计算机指令时，使得电子设备执行第二方面或第二方面的任意可能的实现方式中的解码方法。
第八方面以及第八方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第八方面以及第八方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果，此处不再赘述。
第九方面，本申请实施例提供一种计算机存储介质，计算机可读存储介质存储有计算机程序，当计算机程序运行在计算机或处理器上时，使得计算机或处理器执行第一方面或第一方面的任意可能的实现方式中的编码方法。
第九方面以及第九方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第九方面以及第九方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。
第十方面，本申请实施例提供一种计算机存储介质，计算机可读存储介质存储有计算机程序，当计算机程序运行在计算机或处理器上时，使得计算机或处理器执行第二方面或第二方面的任意可能的实现方式中的解码方法。
第十方面以及第十方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第十方面以及第十方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果，此处不再赘述。
第十一方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品包含软件程序，当所述软件程序被计算机或处理器执行时，使得第一方面或第一方面的任意可能的实现方式中方法的步骤被执行。
第十一方面以及第十一方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第十一方面以及第十一方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。
第十二方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品包含软件程序，当所述软件程序被计算机或处理器执行时，使得第二方面或二方面的任意可能的实现方式中方法的步骤被执行。
第十二方面以及第十二方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第十二方面以及第十二方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果，此处不再赘述。
附图说明
图1为示例性示出系统框架结构示意图；
图2a为示例性示出的编解码流程示意图；
图2b为示例性示出的编解码过程示意图；
图3为示例性示出的解码顺序示意图；
图4为示例性示出的编解码过程示意图；
图5为示例性示出的编解码过程示意图；
图6为示例性示出的卷积过程示意图；
图7为示例性示出的编解码过程示意图；
图8为示例性示出的压缩效果示意图；
图9为示例性示出的装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一目标对象和第二目标对象等是用于区别不同的目标对象，而不是用于描述目标对象的特定顺序。
在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。例如，多个处理单元是指两个或两个以上的处理单元；多个系统是指两个或两个以上的系统。
图1为示例性示出系统框架结构示意图。应该理解的是，图1所示系统仅是一个范例，本申请的系统可以具有比图中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图1中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
参照图1，示例性的，图像的压缩过程可以如下：将待编码图像输入至AI编码单元，经过AI编码单元的处理，输出待编码特征点对应的特征值和概率分布。然后将待编码特征点对应的特征值和概率分布，输入至熵编码单元，由熵编码单元根据待编码特征点对应的概率分布，对待编码特征点的特征值进行熵编码，输出码流。
继续参照图1，示例性的，图像的解压过程可以如下：熵解码单元获取到码流后，可以根据AI编码单元针对码流中待解码特征点预测的概率分布，对待解码特征点进行熵解码，输出已解码特征点对应的特征值至AI解码单元。经由AI解码单元基于已解码特征点对应的特征值进行图像重建，输出重建图像。
示例性的，熵编码是指编码过程中按熵原理不丢失任何信息的编码，熵编码包括多种，如香农(Shannon)编码、哈夫曼(Huffman)编码和算术编码(arithmetic coding)等，本申请对此不作限制。
示例性的，输入至AI编码单元的待编码图像，可以是RAW(未加工)图像、RGB(RedGreen Blue，红绿蓝)图像和YUV(“Y”表示明亮度(Luminance、Luma)，“U”和“V”则是色度、浓度(Chrominance、Chroma))图像中的任意一种，本申请对此不作限制。
示例性的，压缩过程和解压过程可以在同一个电子设备中进行，也可以在不同电子设备中进行，本申请对此不作限制。
示例性的，AI编码单元和AI解码单元，可以设置于NPU(Neural networkProcessing Unit，嵌入式神经网络处理器)或GPU(Graphics Processing Unit，图形处理器)中。示例性的熵编码单元和熵解码单元，可以设置于CPU(Central Processing Unit,中央处理器)中。
示例性的，本申请可以应用于对一张独立的图像进行压缩和解压，也可以应用于对视频序列中多帧图像进行压缩和解压，本申请对此不作限制。
示例性的，本申请可以应用于多种场景，例如，华为云存储(或传输)图像(或视频)的场景，又例如，视频监控场景，还例如，直播场景等等，本申请对此不作限制。
下述描述及附图中，采用特征图矩阵Y2表示第一特征图矩阵，特征图矩阵Z2表示第二特征图矩阵。
图2a为示例性示出的编解码流程示意图。
参照图2a(1)，示例性的，编码端获取待编码图像后，可以对待编码图像进行处理，得到特征图矩阵Y2；接着，可以基于特征图矩阵Y2，生成自回归权重矩阵WM。随后，根据特征图矩阵Y2和自回归权重矩阵WM，预测特征图矩阵Y2对应的概率分布PA1，再根据概率分布PA1，对特征图矩阵Y2进行编码，得到码流。
参照图2a(2)，示例性的，解码端获取到码流后，可以从码流中解码多个特征点对应的特征值，进而，这多个特征点对应的特征值可以构成特征图矩阵Y2，然后对特征图矩阵Y2进行重新重建，得到重建图像。其中，针对码流中当前待解码特征点的解码过程可以如下：可以根据在当前待解码特征点之前解码得到的已解码信息，生成当前待解码特征点对应的自回归权重矩阵WM。接着，根据已解码信息和自回归权重矩阵WM进行处理，预测当前待解码特征点对应的概率分布PA2；然后，根据当前待解码特征点对应的概率分布PA2，对当前待解码特征点进行解码，可以得到对应的特征值。按照这种方式对码流中每个特征点进行解码，可以得到每个特征点对应的特征值。
其中，图2a中编解码的实现过程，可以参照后续图2b、图4、图5和图7中描述的实现过程。
图2b为示例性示出的编解码过程示意图。
参照图2b，示例性的，AI编码单元可以包括：编码网络、量化单元D1、概率估计单元C1、自回归单元、聚合单元、超编码网络、量化单元D2、超解码网络和概率估计单元C2。
示例性的，AI解码单元包括：解码网络、概率估计单元C1、自回归单元、聚合单元、、超解码网络和概率估计单元C2。
示例性的，熵编码单元包括：熵编码单元A1和熵编码单元B1。
示例性的，熵解码单元包括：熵解码单元A2和熵解码单元B2。
示例性的，AI编码单元和AI解码单元，可以联合训练，以使AI编码单元和AI解码单元中的各网络和单元，学习到对应的参数。示例性的，AI编码单元中的概率估计单元C1、自回归单元、聚合单元、超解码网络和概率估计单元C2，和AI解码单元中的概率估计单元C1、自回归单元、聚合单元、超解码网络和概率估计单元C2，可以共享。示例性的，AI编码单元中的概率估计单元C1、自回归单元、聚合单元、超解码网络和概率估计单元C2学习到的参数，与AI解码单元中的概率估计单元C1、自回归单元、聚合单元、超解码网络和概率估计单元C2学习到的参数相同。示例性的，AI编码单元中的概率估计单元C1、自回归单元、聚合单元、超解码网络和概率估计单元C2对应的算力，与AI解码单元中的概率估计单元C1、自回归单元、聚合单元、超解码网络和概率估计单元C2对应的算力相同。
示例性的，编码网络，可以用于对待编码图像进行空间变换，将待编码图像变化到另一空间。示例性的，编码网络可以是卷积神经网络。
示例性的，超编码网络，可以用于提取特征。示例性的，超编码网络可以是卷积神经网络。
示例性的，量化单元(包括量化单元D1和量化单元D2)，可以用于进行量化处理。
示例性的，概率估计单元C1，可以用于概率估计，输出概率分布。可选地，概率估计单元C1可以是高斯概率估计单元。
示例性的，概率估计单元C2，可以用于概率估计，输出概率分布。可选地，概率估计单元C2可以是离散概率估计单元。
示例性的，熵编码单元A1，可以用于根据概率估计单元C1确定的概率分布进行编码，降低输出特征的统计冗余。
示例性的，熵编码单元B1，可以用于根据概率估计单元C2确定的概率分布进行编码，降低输出特征的统计冗余。
示例性的，熵解码单元A2，可以用于根据概率估计单元C1确定的概率分布进行解码。
示例性的，熵解码单元B2，可以用于根据概率估计单元C2确定的概率分布进行解码。
示例性的，解码网络，可以用于对熵解码得到的信息进行反空间变换，输出重建图像。示例性的，解码网络可以是卷积神经网络。
示例性的，超解码网络，可以用于确定与熵估计相关联的特征。示例性的。超解码网络可以是卷积神经网络。
示例性的，自回归单元，可以用于根据样本关联特征，生成自回归权重矩阵；然后根据自回归权重矩阵，确定熵估计特征。其中，若自回归单元为AI编码单元中的单元，则样本关联特征可以是指任意与待编码图像相关的特征。若自回归单元为AI解码单元中的单元，则样本关联特征可以包括任意与已解码信息相关的特征。
示例性的，聚合单元，用于将熵估计特征转换为估计参数。示例性的，聚合单元可以是卷积神经网络。可选地，估计参数可以为均值方差估计参数。
继续参照图2b，编码过程可以如下：
示例性的，将待编码图像输入至编码网络，经由编码网络将待编码图像变换到另一个空间，输出特征图矩阵Y1。将特征图矩阵Y1输入至量化单元D1，经由量化单元D1对特征图矩阵Y1进行量化处理，输出特征图矩阵Y2。
示例性的，特征图矩阵Y1∈Rc*h*w，“c”是指特征图矩阵的通道数，“h”表示每个通道输出的特征图的高，“w”表示每个通道输出的特征图的宽。也就是说，特征图矩阵Y1可以包括c个尺寸为h*w的特征图，每个特征图可以包括多个特征点。示例性的，特征图矩阵Y1中的一个特征点可以表示为E1(ci,hi,wi)。其中，ci表示特征点所在的通道，取值范围为1～c(包括1和c)，hi的取值范围为1～h(包括1和h)，wi的取值范围为1～w(包括1和w)，(hi,wi)表示特征点在特征图中的位置。
示例性的，量化单元D1可以对特征图矩阵Y1中每个特征点的特征值，按照预设量化步长进行量化处理，得到特征图矩阵Y2∈Rc*h*w。示例性的，特征图矩阵Y2可以包括多个特征点，特征图矩阵Y2中的一个特征点可以表示为E2(ci,hi,wi)。
示例性的，一方面，将特征图矩阵Y2输入至超编码网络，经由超编码网络对特征图矩阵Y2进行特征提取，得到特征图矩阵Z1，然后将特征图矩阵Z1输入至量化单元D2。经由量化单元D2对特征图矩阵Z1进行量化处理后，输出特征图矩阵Z2。然后，一方面，将特征图矩阵Z2输入至概率估计单元C2，经由概率估计单元C2进行处理，输出特征图矩阵Z2中各特征点的概率分布PB1至熵编码单元B1。另一方面，将特征图矩阵Z2输入至熵编码单元B1。熵编码单元B1根据概率分布PB1对特征图矩阵Z2进行编码，输出码流SB至熵解码单元B2。接着，概率估计单元C2可以预测码流SB中待解码特征点的概率分布PB2，并将概率分布PB2输入至熵解码单元B2。随后，熵解码单元B2可以根据概率分布PB2对码流SB中待解码特征点进行解码，输出特征图矩阵Z2至超解码网络中。超解码网络获取到特征图矩阵Z2后，可以将特征图矩阵Z2转换为熵估计特征psi，并将熵估计特征psi输入至聚合单元。
示例性的，另一方面，可以将特征图矩阵Y2输入至自回归单元，以及将样本关联特征输入至自回归单元，经由自回归单元对特征图矩阵Y2和样本关联特征进行处理，输出熵估计特征phi至聚合单元。
示例性的，聚合单元可以基于熵估计特征phi和熵估计特征psi进行转换，输出估计参数至概率估计单元C1。接着，概率估计单元C1可以基于估计参数，预测特征图矩阵Y2中各特征点对应的概率分布PA1，以及将概率分布PA1输入至熵编码单元A1。
示例性的，熵编码单元A1可以根据概率分布PA1，对特征图矩阵Y2中各特征点进行编码，输出码流SA，至此，完成了对待编码图像的编码。
需要说明的是，完成对待编码图像的编码后，可以将针对特征图矩阵Y2编码得到的码流SA和对特征图矩阵Z2编码得到的码流SB，均发送至熵解码单元A2。或者，在解码时，由熵解码单元A2，获取码流SA和码流SB。
继续参照图2b，解码过程可以如下：
示例性的，熵解码单元A2先从码流SB中解码出特征图矩阵Z2，将特征图矩阵Z2至超解码网络。然后，超解码网络将特征图矩阵Z2转换为熵估计特征psi，并输出至聚合单元。
示例性的，码流SA中包含了特征图矩阵Y2中各特征点的编码信息，熵解码单元A2对码流SA中各特征点的编码信息进行解码，可以得到各特征点对应的特征值，从而得到特征图矩阵Y2。
示例性的，针对每个当前待解码特征点：熵解码单元A2可以将已解码特征点对应的特征值输入至自回归单元，以及将样本关联特征输入至自回归单元，经由自回归单元对已解码特征点对应的特征值和样本关联特征进行处理，输出熵估计特征phi至聚合单元。然后，经由聚合单元基于熵估计特征phi和熵估计特征psi进行转换，输出估计参数至概率估计单元C1。接着，概率估计单元C1可以基于估计参数，预测当前待解码特征点对应的概率分布PA2，以及将概率分布PA2输入至熵解码单元A2。接着，熵编码单元A2可以根据待解码特征点对应的概率分布PA2，对当前待解码特征点进行解码，得到对应的特征值。这样，重复上述步骤，熵解码单元A2可以对码流SA解码，输出特征图矩阵Y2至解码网络，经由解码网络对特征图矩阵Y2进行反变换，得到重建图像。
示例性的，熵解码单元A2对不同通道的特征点可以是并行解码，也可以是串行解码。示例性的，熵解码单元A2对同一通道的特征点可以是串行解码，也可以是并行解码，本申请对此不作限制。本申请以熵解码单元A2对同一通道的特征点进行串行解码为例进行示例性说明。
图3为示例性示出的解码顺序示意图。
参照图3，示例性的，图3为特征图矩阵Y2中一个通道的特征图的示例，特征图的尺寸为10*10，其中，每个方块表示一个特征点。示例性的，熵解码单元A2可以按照图3中的顺序依次对特征图矩阵Y2中的每个特征点进行解码，即从第一行开始，从左到右依次对每个特征点进行解码，待第一行所有特征点均被解码后，可以开始对第二行各个特征点，从左到右进行解码，以此类推，直到完成特征图矩阵Y2中所有特征的解码为止。
需要说明的是，本申请中熵解码单元A2也可以采用除图3之外的其他解码顺序，对各特征点进行串行解码，具体可以按照需求设置，本申请对此不作限制。
需要说明的是，在编码过程中，也可以将特征图矩阵Y1输入至超编码网络，经由超编码网络、量化单元D2得到特征图矩阵Z2，本申请对此不作限制。
需要说明的是，图2b中右侧虚线框中的网络、单元，也可以是其他网络、其他单元，具体可以按照需求设置，本申请对此不作限制。
需要说明的是，本申请的AI编码单元、AI解码单元、熵编码单元和熵解码单元中，还可以包括用于生成其他熵估计特征的其他网络和单元，然后将其他熵估计特征输入至聚合单元，由聚合单元根据熵估计特征phi、熵估计特征psi和其他熵估计特征，生成估计参数，本申请对此不作限制。
需要说明的是，本申请的AI编码单元、AI解码单元、熵编码单元和熵解码单元，也可以不包括图2b右侧虚线框中的网络和单元，具体可以按照需求设置，本申请实施例对此不作限制。
图4为示例性示出的编解码过程示意图。
参照图4，示例性的，相对于图2b而言，图4不包含图2b右侧虚线框中的网络和单元。这样，在编解码过程中，均无需生成熵估计特征psi，且聚合单元仅根据熵估计特征phi生成估计参数即可。
本申请以图2b所示的系统框架为例进行示例性说明。
现以样本关联特征为超解码网络输出的特征为例进行示例性说明。
图5为示例性示出的编解码过程示意图。
参照图5，示例性的，自回归单元可以包括：特征变形单元、权重生成单元和聚合变形单元。应该理解的是，图5所示的自回归单元仅是自回归单元的一个范例，并且自回归单元可以具有比图中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图5中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
示例性的，特征变形单元，可以用于对特征的维度进行变换。具体地，可以用于对特征矩阵进行展开和维度变换。示例性的，维度变换可以是指在保证矩阵的元素个数不变的情况下，调整矩阵的行数、列数和维数。
示例性的，权重生成单元，可以用于生成自回归卷积核的自回归权重矩阵。
示例性的，聚合变形单元，可以用于对特征的维度进行变换。
示例性的，通道拆分单元，可以用于对超解码网络各个输出通道输出的特征，进行通道层面的拆分。
参照图5，示例性的，编码过程可以如下：
示例性的，待编码图像经过编码网络、量化单元D1处理后，输出特征图矩阵Y2至超编码网络；然后特征图矩阵Y2经过超编码网络、量化单元D2、概率估计单元C2、熵编码单元B1、熵解码单元B2和超解码网络处理后，可以输出熵估计关联特征。这可以参照上文编码过程的描述，在此不再赘述。
示例性的，超解码网络的输出通道数可以用cp表示，其中，cp为正整数。可以将熵估计关联特征输入至通道拆分单元，由通道拆分单元对熵估计关联特征进行通道拆分，输出熵估计特征psi和权重参数矩阵WP。其中，熵估计特征psi对应cp1个通道，权重参数矩阵WP对应cp2个通道，cp1+cp2＝cp，cp1和cp2均为正整数。
示例性的，cp1可以根据c确定，cp1＝n*c，n可以为正数，可以按照需求设置，本申请对此不作限制。例如，c＝192，n可以设置为2，则cp1＝384。
例如，自回归卷积核尺寸为ks*ks。自回归单元训练后，可以得到自回归单元的预设自回归权重矩阵
Figure BDA0003359912040000151
其中，“ks2”也就是“ks*ks”，“g”表示卷积核权重群组数，以及“ratio”表示卷积核通道放缩倍数，“ks2*g*ratio”表示预设自回归权重矩阵的通道数。也就是说，预设自回归权重矩阵RWM对应“ks2*g*ratio”个通道，每个通道对应h*w个权重图，每个权重图的尺寸为ks*ks。其中，特征图矩阵Y2中一个通道的一个特征点，对应预设自回归权重矩阵RWM中至少一个通道中该特征点对应位置的权重图；也就是说，特征图矩阵Y2中每个特征图的每个特征点对应一个或多个权重图。
示例性的，可以在对自回归单元进行训练之前，预先设置ks、g和ratio的值；然后按照预设的“ks”、“g”和“ratio”的值，对自回归单元进行训练。
示例性的，自回归单元可以根据权重参数矩阵WP，对预设自回归权重矩阵RWM进行更新，得到自回归权重矩阵WM；其中，预设自回归权重矩阵RWM与自回归权重矩阵WM的尺寸是相同的。然后可以通过将特征图矩阵Y2与自回归权重矩阵WM进行卷积，来生成熵估计特征phi。
示例性的，权重参数矩阵
Figure BDA0003359912040000161
其中，“(ks2/2)*g*ratio”表示超编码网络用于输出权重参数矩阵WP的输出通道数。其中，每个通道对应h*w个权重组，每个权重组包括N个权重参数，N为正整数，可以根据ks确定。其中，特征图矩阵Y2中一个通道的一个特征点，对应权重参数矩阵WP中至少一个通道中该特征点对应位置的权重组；也就是说，特征图矩阵Y2中每个特征图的每个特征点对应一个或多个权重组。
需要说明的是，权重参数矩阵WP的通道数，也可以是其他小于或等于ks2*g*ratio的数，具体可以按照需求设置，本申请对权重参数矩阵WP的通道数不作限制。其中，cp2越小，超解码网络的参数量越小、算力越小。
例如，自回归卷积核尺寸为ks1*ks2。自回归单元训练后，可以得到自回归单元的预设自回归权重矩阵RWM∈R(c1*g*ratio)*h*w，c1＝ks1*ks2。其中，“g”表示卷积核权重群组数，“ratio”表示卷积核通道缩放倍数，“c1*g*ratio”表示预设自回归权重矩阵的通道数。也就是说，预设自回归权重矩阵RWM对应“c1*g*ratio”个通道，每个通道包括h*w个权重图，每个权重图的尺寸为ks1*ks2。其中，特征图矩阵Y2中一个通道的一个特征点，对应预设自回归权重矩阵RWM中至少一个通道中该特征点对应位置的权重图；也就是说，特征图矩阵Y2中每个特征图的每个特征点对应一个或多个权重图。
示例性的，可以在对自回归单元进行训练之前，预先设置ks1、ks2、g和ratio的值；然后按照预设的“ks1”、“ks2”、“g”和“ratio”的值，对自回归单元进行训练。
示例性的，自回归单元可以根据权重参数矩阵WP，对预设自回归权重矩阵RWM进行更新，得到自回归权重矩阵WM；其中，预设自回归权重矩阵RWM与自回归权重矩阵WM的尺寸是相同的。然后可以通过将特征图矩阵Y2与自回归权重矩阵WM进行卷积，来生成熵估计特征phi。
示例性的，权重参数矩阵
Figure BDA0003359912040000162
Figure BDA0003359912040000163
向下取整。其中，“c2*g*ratio”表示权重参数矩阵WP的通道数，即c2*g*ratio＝cp2。其中，每个通道包括h*w个权重组，每个权重组包括N个权重参数，N为正整数，可以根据ks1、ks2确定。其中，特征图矩阵Y2中一个通道的一个特征点，对应权重参数矩阵WP中至少一个通道中该特征点对应位置的权重组；也就是说，特征图矩阵Y2中每个特征图的每个特征点对应一个或多个权重组。
需要说明的是，权重参数矩阵WP的通道数，也可以是小于c1*g*ratio的其他数，也可以等于c1*g*ratio，具体可以按照需求设置，本申请对权重参数矩阵WP的通道数不作限制。其中，cp2越小，超解码网络的参数量越小、算力越小。
图6为示例性示出的卷积过程示意图。
参照图6，示例性的，图6(1)为特征图矩阵Y2中一个通道的特征图，特征图的尺寸为10*10(也就是h＝10,w＝10)，图6(2)为一个权重图，权重图的尺寸为5*5(也就是ks1＝ks2＝ks＝5)。
示例性的，自回归单元将图6(1)中特征点A(如图6(1)中黑色方块所示)周围的24个特征点(如区域B内的24个方块所示)，与图6(2)中除中心位置C点(如图6(2)中黑色方块所示)之外的24个位置的权重进行卷积，来确定特征点A的熵估计特征phi。然而，在解码过程中，特征点A周围24个特征点中，可能存在部分特征点是在特征点A之前进行解码，另一部分特征点是在特征点A之后进行解码。因此，在卷积时，将特征点A周围24个特征点中已解码特征点，和权重图中与已解码特征点对应位置的权重进行卷积即可。
例如，自回归卷积核的尺寸为ks*ks，则特征图矩阵Y2中每个特征点对应的一个权重组中，所包含的权重参数的个数N，可以小于或等于ks*ks。示例性的，N可以是以该特征点为中心的ks*ks区域内部分或全部已解码特征点的数量。
例如，自回归卷积核的尺寸为ks1*ks2，则特征图矩阵Y2中每个特征点对应的一个权重组中，所包含的权重参数的个数N，可以小于或等于ks1*ks2。示例性的，N可以是以该特征点为中心的ks1*ks2区域内部分或全部已解码特征点的数量。
示例性的，通道拆分单元拆分出的权重参数矩阵WP输入至权重生成单元后，权重生成单元可以根据权重参数矩阵WP，对预设自回归权重矩阵RWM进行更新。
一种可能的方式中，特征图矩阵Y2中一个通道的一个特征点，对应预设自回归权重矩阵RWM中一个通道中的该特征点对应位置的权重图，以及对应权重参数矩阵WP中一个通道中该特征点对应位置的权重组(也就是说，特征图矩阵Y2中的一个特征点，对应一个权重图和一个权重组)。此时，针对特征图矩阵Y2中一个特征点，可以按照预设填充关系，采用该特征点对应的一个权重组中的N个权重参数，填充该特征点对应的一个权重图中的N个位置。若自回归卷积核的尺寸为ks*ks，则当N小于ks*ks时，采用0填充该权重图中的其他位置。若自回归卷积核的尺寸为ks1*ks2，则当N小于ks1*ks2时，采用0填充该权重图中的其他位置。
示例性的，预设填充关系可以按照需求设置，本申请对此不作限制。
例如，自回归卷积核的尺寸为ks*ks，预设填充关系可以包括：可以预先按照需求设置，针对特征图矩阵Y2中一个特征点，采用该特征点对应的一个权重组中第k(k为1～ks2/2之间的整数(包括1和ks2/2向下取整的整数))个权重参数，填充该特征点对应的一个权重图的第p((p为1～ks2/2之间的整数(包括1和ks2/2向下取整的整数))个位置，本申请对此不作限制。
例如，自回归卷积核的尺寸为ks1*ks2，预设填充关系可以包括：针对特征图矩阵Y2中一个特征点，采用该特征点对应的一个权重组中第k(k为1～c2之间的整数(包括1和c2))个权重参数，填充该特征点对应的一个权重图的第p(p为1～c1之间的整数(包括1和c1))个位置，本申请对此不作限制。
示例性的，假设熵解码单元A2是按照图3所示的顺序对特征点进行解码的，则针对特征图矩阵Y2中一个特征点，采用权重参数矩阵中该特征点对应的一个权重组中的N个权重参数，填充预设自回归权重矩阵RWM中该特征点对应的一个权重图中的N个位置的方式可以如下：由于熵解码单元A2是按照图3所示的顺序对特征点进行解码的，因此区域B内仅有特征点A之前的12个特征点(如图6(1)中灰色方块所示)是已解码特征点。因此，在预测特征点A的熵估计特征phi时，可以采用区域B内特征点A之前的12个特征点(如图6(1)中灰色方块所示)，与权重图中心位置C之前的12个位置的权重(如图6(2)的灰色方块所示)进行卷积即可。这种情况下，若自回归卷积核的尺寸为ks*ks，每个权重组可以包括ks2/2个权重参数，其中，当ks2/2不为整数时，可以向下取整。若自回归卷积核的尺寸为ks1*ks2，每个权重组可以包括包括c2个权重参数。
也就是说，当熵解码单元A2是按照图3所示的顺序对特征点进行解码时，可以采用特征图矩阵Y2中一个特征点对应的一个权重组中的N个权重参数，填充该特征点对应的权重图中心位置之前的N个位置，以及采用0填充该特征点对应的权重图中心位置之后的N个位置。
一种可能的方式中，特征图矩阵Y2中一个通道的一个特征点，对应预设自回归权重矩阵RWM中多个通道中该特征点对应位置的权重图，以及对应权重参数矩阵WP中一个通道中该特征点对应位置的权重组(也就是说，特征图矩阵Y2的一个特征点，对应多个权重图和一个权重组)。此时，针对特征图矩阵Y2中一个特征点，可以按照预设填充关系，采用该特征点对应的一个权重组，分别填充该特征点对应的多个权重图。示例性的，针对该特征点对应的每一个权重图，可以采用该特征点对应的一个权重组的N个权重参数进行填充。若自回归卷积核的尺寸为ks*ks，则当N小于ks*ks时，采用0填充该权重图中的其他位置。若自回归卷积核的尺寸为ks1*ks2，则当N小于ks1*ks2时，采用0填充该权重图中的其他位置。
一种可能的方式中，特征图矩阵Y2中一个通道的一个特征点，对应预设自回归权重矩阵RWM中一个通道中的该特征点对应位置的权重图，以及对应权重参数矩阵WP中多个通道中该特征点对应位置的权重组(也就是说，特征图矩阵Y2中一个特征点，对应一个权重图和多个权重组)。此时，针对特征图矩阵Y2中一个特征点，可以按照预设填充关系，采用该特征点对应的多个权重组，填充该特征点对应的一个权重图。示例性的，可以将该特征点对应的多个权重组，合并为一个权重组(包括N个权重参数)；例如，可以将多个权重组中对应位置的权重参数进行加权计算，得到每个位置的权重参数。再采用合并后的一个权重组中的N个权重参数，填充该特征点对应的一个权重图中的N个位置。若自回归卷积核的尺寸为ks*ks，则当N小于ks*ks时，采用0填充该权重图中的其他位置。若自回归卷积核的尺寸为ks1*ks2，则当N小于ks1*ks2时，采用0填充该权重图中的其他位置。
示例性的，为了对自回归单元计算量和参数量进行有效控制，可以对自回归权重矩阵WM进行维度变换，得到自回归权重矩阵WM′；以及对特征图矩阵Y2进行维度变换，得到特征图像矩阵Y3。其中，特征图像矩阵Y3和自回归权重矩阵WM′的维度相对应。然后将自回归权重矩阵WM′和特征图像矩阵Y3进行点乘，得到中间特征phi′，再对中间特征phi′进行维度反变换，得到所述熵估计特征phi。
例如，自回归卷积核的尺寸为ks*ks。示例性的，可以将特征图矩阵Y2输入至自回归单元的特征变形单元，由特征变形单元可以对特征图矩阵Y2进行维度变换，得到特征图矩阵
Figure BDA0003359912040000191
特征图矩阵Y3为五维矩阵。具体地，特征变形单元对特征图矩阵Y2进行展开，得到特征图矩阵
Figure BDA0003359912040000192
然后再对特征图矩阵Y4进行矩阵变换，得到特征图矩阵Y3。其中，特征图矩阵Y3中“g”对应一个维度，
Figure BDA0003359912040000193
对应一个维度，“1”对应一个维度，“ks2”对应一个维度，“h”对应一个维度，“w”对应一个维度。以及可以对自回归权重矩阵WM进行维度变换，得到自回归权重矩阵WM′，
Figure BDA0003359912040000194
自回归权重矩阵WM′为五维矩阵。其中，自回归权重矩阵WM′中“g”对应一个维度，“1”对应一个维度，“ratio”对应一个维度，“ks2”对应一个维度，“h”对应一个维度，“w”对应一个维度。
示例性的，特征图矩阵Y3的“g”这个维度，与自回归权重矩阵WM′的“g”这个维度对应。特征图矩阵Y3的
Figure BDA0003359912040000195
这个维度，与自回归权重矩阵WM′的“1”这个维度对应，也就是说，
Figure BDA0003359912040000196
个通道的特征图矩阵Y3，对应一个自回归权重矩阵WM′。特征图矩阵Y3的“1”这个维度，与自回归权重矩阵WM′的“ratio”这个维度对应。特征图矩阵Y3的“ks2”这个维度，与自回归权重矩阵WM′的“ks2”这个维度对应。特征图矩阵Y3的“h”这个维度，与自回归权重矩阵WM′的“h”这个维度对应。特征图矩阵Y3的“w”这个维度，与自回归权重矩阵WM′的“w”这个维度对应。
示例性的，可以将特征图矩阵Y3与自回归权重矩阵WM′进行点乘，得到中间特征phi′，
Figure BDA0003359912040000197
中间特征phi′为五维矩阵。由于特征图矩阵Y2通道间的特征点之间的相关性弱，这样能够去除通道间的耦合，可降低算力与参数量，同时不影响模型的熵估计特征的预测能力。
例如，自回归卷积核的尺寸为ks1*ks2。示例性的，可以将特征图矩阵Y2输入至自回归单元的特征变形单元，由特征变形单元可以对特征图矩阵Y2进行维度变换，得到特征图矩阵Y3，
Figure BDA0003359912040000201
特征图矩阵Y3为五维矩阵。具体地，特征变形单元可以对特征图矩阵Y2进行展开，得到特征图矩阵Y4∈Rc*c1*h*w；然后再对特征图矩阵Y4进行维度变换，得到特征图矩阵Y3，。其中，特征图矩阵Y3中“g”对应一个维度，
Figure BDA0003359912040000202
对应一个维度，“1”对应一个维度，“c1”对应一个维度，“h”对应一个维度，“w”对应一个维度。
示例性的，可以对自回归权重矩阵WM进行维度变换，得到自回归权重矩阵WM′，WM′∈Rg*1*ratio*c1*h*w，自回归权重矩阵WM′为五维矩阵。其中，自回归权重矩阵WM′中“g”对应一个维度，“1”对应一个维度，“ratio”对应一个维度，“c1”对应一个维度，“h”对应一个维度，“w”对应一个维度。
示例性的，特征图矩阵Y3的“g”这个维度，与自回归权重矩阵WM′的“g”这个维度对应。特征图矩阵Y3的
Figure BDA0003359912040000203
这个维度，与自回归权重矩阵WM′的“1”这个维度对应，也就是说，
Figure BDA0003359912040000204
个通道的特征图矩阵Y3，对应一个自回归权重矩阵WM′。特征图矩阵Y3的“1”这个维度，与自回归权重矩阵WM′的“ratio”这个维度对应。特征图矩阵Y3的“c1”这个维度，与自回归权重矩阵WM′的“c1”这个维度对应。特征图矩阵Y3的“h”这个维度，与自回归权重矩阵WM′的“h”这个维度对应。特征图矩阵Y3的“w”这个维度，与自回归权重矩阵WM′的“w”这个维度对应。
示例性的，可以将特征图矩阵Y3与自回归权重矩阵WM′进行点乘，得到中间特征
Figure BDA0003359912040000205
中间特征phi′为五维矩阵。由于特征图矩阵Y2通道间的特征点之间的相关性弱，这样能够去除通道间的耦合，可降低算力与参数量，同时不影响模型的熵估计特征的预测能力。
示例性的，可以将中间特征phi′输入至聚合变形单元进行聚合变形，也就是进行矩阵变换，得到熵估计特征phi∈R(c*ratio)*h*w，熵估计特征为3维矩阵(“c*ratio”为通道数)，以便于后续聚合单元、概率估计单元C1的处理，生成概率分布P1，概率分布P1为三维矩阵。
这样，针对不同的待编码图像，能够自适应地生成用于提取出熵估计特征的自回归权重矩阵，可使得针对特征图矩阵Y2中各特征点预测的概率分布更贴近真实分布，从而降低样本对应的码流长度，提高样本的率失真性能。
示例性的，可以将熵估计特征phi和熵估计特征psi输入至聚合单元，聚合单元对熵估计特征phi和熵估计单元psi进行通道拼接，得到拼接特征。其中，通道拼接可以是指将同一个通道的熵估计特征phi和熵估计特征psi进行拼接，每个通道存在对应的熵估计特征phi和熵估计特征psi。然后，聚合单元针对一个通道，对该通道对应的拼接特征进行卷积操作，输出该通道对应的估计参数如均值方差分布参数(μ,σ)。示例性的，(μ,σ)∈R(2*c)*h*w，其中，均值μ对应的通道数是c，方差σ对应的通道数是c。
示例性的，可以将估计参数输入至概率估计单元C1中，经过概率估计模型C1进行处理，输出特征图矩阵Y2中各个特征点对应的概率分布PA1至熵编码单元A1。熵编码单元A1根据特征图矩阵Y2的各个特征点对应的概率分布PA1，对特征图矩阵Y2进行编码，得到码流SA。
参照图5，示例性的，以对特征图矩阵Y2中的一个特征点Q(cj,hj,wj)为例，对解码过程进行说明。其中，(cj,hj,wj)表示特征点Q在特征图矩阵Y2中的位置。cj为1～c之间的整数，包括1和c。hj为1～h之间的整数，包括1和h。wj为1～w之间的整数，包括1和w。
示例性的，熵解码单元A2先从码流SB中解码出特征图矩阵Z2，然后将特征图矩阵Z2至超解码网络。超解码网络将特征图矩阵Z2转换为熵估计关联特征，并输出至通道拆分单元。经由通道拆分单元的拆分，输出熵估计特征psi至聚合单元，以及输出权重参数矩阵WP至自回归单元的权重生成单元。其中，通道拆分单元输出的熵估计特征psi包括特征图矩阵Y2中所有特征点对应的熵估计特征，通道拆分单元输出的权重参数矩阵WP包括特征图矩阵Y2中所有特征点对应的权重组。
示例性的，权重生成单元可以从权重参数矩阵WP中选取特征点Q(cj,hj,wj)对应的权重组，更新自回归单元的预设自回归权重矩阵RWM，得到自回归权重矩阵WM；以及对自回归权重矩阵WM进行维度变换，可以参照上述说明，在此不再赘述。需要说明的是，在采用一个权重组的权重参数，填充对应权重图时，采用权重参数填充的是权重图中已解码特征点对应的位置。
示例性的，在对特征图矩阵Y2中的一个当前待解码特征点Q(cj,hj,wj)进行解码之前，可以将已解码特征点对应的特征值，输入至自回归单元的特征变形单元。示例性的，可以生成一个与特征图矩阵Y2相同的，但是各特征点对应特征值为0的特征图矩阵Y5，Y5∈Rc*h*w。然后可以将已解码特征点对应的特征值，填充到特征图矩阵Y5的对应位置，来对特征图矩阵Y5进行更新。然后将更新后的特征图矩阵Y5，输入至自回归单元的特征变形单元中。经由特征变形单元的维度变换后，得到特征图矩阵Y3。然后可以将维度变换后的特征图矩阵Y3与自回归权重矩阵WM′进行点乘，得到中间特征phi′，再将对中间特征phi′进行聚合变形，得到熵估计特征phi。其中，熵估计特征phi为特征点Q(cj,hj,wj)对应的熵估计特征phi。
示例性的，将熵估计特征phi和熵估计特征psi输入至聚合单元，聚合单元可以选取出特征点Q(cj,hj,wj)对应的熵估计单元psi，然后对特征点Q(cj,hj,wj)对应的熵估计特征phi和特征点Q(cj,hj,wj)对应的熵估计单元psi进行通道拼接，得到拼接特征。然后，聚合单元针对一个通道，将该通道对应的拼接特征进行卷积操作，输出该通道对应的估计参数至概率估计单元C1中。
示例性的，经由概率估计单元C1对估计参数进行处理，输出概率分布PA2至熵解码单元A2中，然后熵解码单元A2可以根据概率分布PA2，对特征点Q(cj,hj,wj)进行解码。在得到Q(cj,hj,wj)对应的特征值后，可以将特征点Q(ci,hi,wi)的特征值添加到特征图矩阵Y5中的对应位置，对特征图矩阵Y5进行更新。然后按照上述方式对特征点Q(cj,hj,wj)的下一个特征点进行解码，直到解码所有特征点为止。这样，在对最后一个当前待解码特征点进行解码后，可以采用最后一个已解码特征点对应的特征值填充特征图矩阵Y5的对应位置，对特征图矩阵Y5进行更新，进而完成了对码流SA的解码，可以停止将更新后的特征图矩阵Y5输入至自回归单元。此时，更新后的特征图矩阵Y5与特征图矩阵Y2相同，也就是说，待熵解码单元A2解码出所有特征后，可以得到特征图矩阵Y2。然后将特征图矩阵Y2输入至解码网络，由解码网络进行图像重建，输出重建图像。
现以样本关联特征为特征图矩阵Y2为例进行示例性说明。
图7为示例性示出的编解码过程示意图。
参照图7，示例性的，图7的编解码过程可以按照上文针对图5的描述，在此不再赘述。其中，图7与图5的区别在于，图7中超解码网络仅输出熵估计特征phi，而未输出权重参数矩阵WP。
此外，图7与图5的区别还在于，输入至自回归单元的样本关联特征不同，对应的对样本关联特征的处理也存在区别，可以如下：
编码过程中：
示例性的，待编码图像经过编码网络和量化模块D1的处理后，可以将特征图矩阵Y2分为两路输入至自回归单元。示例性的，可以将一路特征图矩阵Y2输入至自回归单元的特征变形单元中，将另一路特征图矩阵Y2输入至卷积单元。其中，特征变形单元针对特征图矩阵Y2的处理，得到特征图矩阵Y3，这可以参照针对图4的描述，在此不再赘述。
例如，自回归卷积核的尺寸为ks*ks。示例性的，卷积单元，可以用于进行MaskConv
(掩膜卷积)操作。将特征图矩阵Y2输入至卷积单元后，卷积单元可以对特征图矩阵Y2进行Mask Conv，输出权重参数矩阵
Figure BDA0003359912040000221
其中，卷积单元输出的权重参数矩阵WP，与上文图4中通道拆分单元拆分出的权重参数矩阵WP的维度是相同的。然后卷积单元将权重参数矩阵WP输入至权重生成单元，由权重生成单元根据权重参数矩阵WP，生成自回归权重矩阵WM。其中，图7中权重生成单元和聚合变形单元的处理过程，可以参照上文针对图5的描述，在此不再赘述。
例如，自回归卷积核的尺寸为ks1*ks2。示例性的，卷积单元，可以用于进行MaskConv(掩膜卷积)操作。将特征图矩阵Y2输入至卷积单元后，卷积单元可以对特征图矩阵Y2进行Mask Conv，输出权重参数矩阵WP,WP∈R(c2*g*ratio)*h*w。其中，卷积单元输出的权重参数矩阵WP，与上文图4中通道拆分单元拆分出的权重参数矩阵WP的维度是相同的。然后卷积单元将权重参数矩阵WP输入至权重生成单元，由权重生成单元根据权重参数矩阵WP，生成自回归权重矩阵WM。其中，图7中权重生成单元和聚合变形单元的处理过程，可以参照上文针对图5的描述，在此不再赘述。
解码过程中：
示例性的，在对特征图矩阵Y2中的一个当前待解码特征点Q(ci,hi,wi)进行解码之前，可以将已解码特征点对应的特征值，输入至自回归单元的特征变形单元。示例性的，可以生成一个与特征图矩阵Y2相同的，且各特征点对应特征值为0的特征图矩阵Y5，Y5∈Rc *h*w。然后可以将已解码特征点对应的特征值，填充到特征图矩阵Y5的对应位置，来对特征图矩阵Y5进行更新。然后将更新后的特征图矩阵Y5，分别输入至自回归单元的特征变形单元和卷积单元中。经由特征变形单元对更新后的特征图矩阵Y5进行维度变换后，得到特征图矩阵Y3；以及经过卷积单元对更新后的特征图矩阵Y5进行Mask Conv操作后，输出权重参数矩阵WP至权重生成单元，由权重生成单元根据权重参数矩阵WP，生成自回归权重矩阵WM。然后可以将维度变换后的特征图矩阵3与自回归权重矩阵WM′进行点乘，得到中间特征phi′，再将对中间特征phi′进行维度反变换，得到熵估计特征phi。
需要说明的是，在编码过程中，样本关联特征可以是，通过对待编码图像进行特征提取得到的特征图矩阵Y6，具体的，可以通过将待编码图像输入至其他网络(包括其他编码网络和非编码网络)得到的特征图矩阵Y6。样本关联特征也可以是，将特征图矩阵Y6输入至图2b中右侧虚线框后，超解码网络输出的权重参数矩阵WP。样本关联特征还可以是，将特征图矩阵Y6输入至其他网络(除图2b中右侧虚线框内的网络)，由其他网络输出的权重参数矩阵WP；本申请对此不作限制。
图8为示例性示出的压缩效果示意图。
参照图8，示例性的，图8中的纵坐标为PSNR(Peak Signal to Noise Ratio，峰值信噪比)，单位为dB(分贝)，可以用于表征图像重建质量，PSNR越大，图像重建质量越高。横坐标为Bits per pixel(存储每个像素所用的位数，越小代表压缩码率越小)，单位为BPP(位/像素)。图8中，虚曲线为本申请图像重建质量与码流大小的关系曲线，实曲线为现有技术图像重建质量与码流大小，对比两个曲线可知，码流大小相同时，本申请的压缩/解压方案的图像重建质量越高。
一个示例中，图9示出了本申请实施例的一种装置900的示意性框图装置900可包括：处理器901和收发器/收发管脚902，可选地，还包括存储器903。
装置900的各个组件通过总线904耦合在一起，其中总线904除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图中将各种总线都称为总线904。
可选地，存储器903可以用于前述方法实施例中的指令。该处理器901可用于执行存储器903中的指令，并控制接收管脚接收信号，以及控制发送管脚发送信号。
装置900可以是上述方法实施例中的电子设备或电子设备的芯片。
其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
本实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的编解码方法。
本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的编解码方法。
另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的编解码方法。
其中，本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本申请各个实施例的任意内容，以及同一实施例的任意内容，均可以自由组合。对上述内容的任意组合均在本申请的范围之内。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
结合本申请实施例公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(Random Access Memory，RAM)、闪存、只读存储器(Read Only Memory，ROM)、可擦除可编程只读存储器(Erasable Programmable ROM，EPROM)、电可擦可编程只读存储器(Electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (26)

1.一种编码方法，其特征在于，所述方法包括：
获取待编码图像；
根据所述待编码图像，生成第一特征图矩阵；
根据所述第一特征图矩阵，生成自回归权重矩阵；
根据所述自回归权重矩阵和所述第一特征图矩阵，确定所述第一特征图矩阵对应的概率分布；
依据所述概率分布对所述第一特征图矩阵进行编码，得到码流。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征图矩阵，生成自回归权重矩阵，包括：
对所述第一特征图矩阵进行特征提取，得到第二特征图矩阵；
依据所述第二特征图矩阵，生成权重参数矩阵；
采用所述权重参数矩阵对预设自回归权重矩阵进行更新，得到所述自回归权重矩阵。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征图矩阵，生成自回归权重矩阵，包括：
对所述第一特征图矩阵进行卷积，生成权重参数矩阵；
采用所述权重参数矩阵对预设自回归权重矩阵进行更新，得到所述自回归权重矩阵。
4.根据权利要求2或3所述的方法，其特征在于，所述权重参数矩阵包括多个通道的权重参数，所述预设自回归权重矩阵包括多个通道的权重图；
所述采用所述权重参数矩阵对预设自回归权重矩阵进行更新，得到所述自回归权重矩阵，包括：
按照预设填充关系，采用所述多个通道的权重参数，填充所述多个通道的权重图，得到所述自回归权重矩阵。
5.根据权利要求4所述的方法，其特征在于，所述权重参数矩阵一个通道的权重参数为N个，所述预设自回归权重矩阵一个通道的权重图的尺寸为ks*ks，其中，ks*ks为自回归卷积核的尺寸，ks和N均为正整数，N小于或等于ks*ks；
所述按照预设填充关系，采用所述多个通道的权重参数，填充所述多个通道的权重图，得到所述自回归权重矩阵，包括：
按照预设填充关系，采用所述权重参数矩阵一个通道的N个权重参数，填充所述预设自回归权重矩阵一个通道的ks*ks的权重图中的N个位置，得到所述自回归权重矩阵。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述根据所述自回归权重矩阵和所述第一特征图矩阵，确定所述第一特征图矩阵对应的概率分布，包括：
根据所述自回归权重矩阵和所述第一特征图矩阵，确定熵估计特征；
依据所述熵估计特征，确定所述第一特征图矩阵对应的概率分布。
7.根据权利要求6所述的方法，其特征在于，所述根据所述自回归权重矩阵和所述第一特征图矩阵，确定熵估计特征，包括：
分别对所述自回归权重矩阵和所述第一特征图矩阵进行维度变换，其中，所述维度变换后的自回归权重矩阵的维度与所述维度变换后的第一特征图像矩阵的维度相对应；
将所述维度变换后的自回归权重矩阵和所述维度变换后的第一特征图矩阵进行点乘，得到中间特征；
对所述中间特征进行维度反变换，得到所述熵估计特征。
8.根据权利要求6所述的方法，其特征在于，所述根据所述自回归权重矩阵和所述第一特征图矩阵，确定熵估计特征，包括：
对所述自回归权重矩阵和所述第一特征图矩阵进行卷积，得到所述熵估计特征。
9.根据权利要求2所述的方法，其特征在于，所述方法还包括：
对所述第二特征图矩阵进行编码，得到码流。
10.一种解码方法，其特征在于，所述方法包括：
获取码流，从所述码流中解码多个特征点对应的特征值，得到第一特征图矩阵；
其中，针对当前待解码特征点：基于已解码信息，生成所述当前待解码特征点对应的自回归权重矩阵；根据所述自回归权重矩阵和所述已解码信息，确定所述当前待解码特征点对应的概率分布；依据所述概率分布对所述当前待解码特征点进行解码，得到对应的特征值；
基于所述第一特征图矩阵进行图像重建，输出重建图像。
11.根据权利要求10所述的方法，其特征在于，所述方法还包括：
从所述码流中解码出第二特征图矩阵，所述第二特征图矩阵包括通过对所述第一特征图矩阵进行特征提取得到的特征；
其中，所述已解码信息包括：所述第二特征图矩阵和已解码特征点对应的特征值。
12.根据权利要求11所述的方法，其特征在于，所述基于已解码信息，生成所述当前待解码特征点对应的自回归权重矩阵，包括：
依据所述第二特征图矩阵，生成权重参数矩阵；
采用所述权重参数矩阵对预设自回归权重矩阵进行更新，得到所述自回归权重矩阵。
13.根据权利要求10所述的方法，其特征在于，所述已解码信息包括：已解码特征点对应的特征值；
所述基于已解码信息，生成所述当前待解码特征点对应的自回归权重矩阵，包括：
对所述已解码特征点对应的特征值进行卷积，生成权重参数矩阵；
采用所述权重参数矩阵对预设自回归权重矩阵进行更新，得到所述自回归权重矩阵。
14.根据权利要求12或13所述的方法，其特征在于，所述权重参数矩阵包括多个通道的权重参数，所述预设自回归权重矩阵包括多个通道的权重图；
所述采用所述权重参数矩阵对预设自回归权重矩阵进行更新，得到所述自回归权重矩阵，包括：
按照预设填充关系，采用所述多个通道的权重参数，填充所述多个通道的权重图，得到所述自回归权重矩阵。
15.根据权利要求14所述的方法，其特征在于，所述权重参数矩阵每个通道的权重参数为N个，所述预设自回归权重矩阵每个通的权重图的尺寸为ks*ks，其中，ks*ks为自回归卷积核的尺寸，ks和N均为正整数，N小于或等于ks*ks；
所述按照预设填充关系，采用所述多个通道的权重参数，填充所述多个通道的权重图，得到所述自回归权重矩阵，包括：
按照预设填充关系，采用所述权重参数矩阵一个通道的N个权重参数，填充所述预设自回归权重矩阵一个通道的ks*ks的权重图中的N个位置，得到所述自回归权重矩阵。
16.根据权利要求11至15任一项所述的方法，其特征在于，所述根据所述自回归权重矩阵和已解码信息，确定所述当前待解码特征点对应的概率分布，包括：
根据所述自回归权重矩阵和所述已解码特征点对应的特征值，确定熵估计特征；
依据所述熵估计特征，确定所述当前待解码特征点对应的概率分布。
17.根据权利要求16所述的方法，其特征在于，所述根据所述自回归权重矩阵和所述已解码特征点对应的特征值，确定熵估计特征，包括：
分别对所述自回归权重矩阵和所述已解码特征点对应的特征值进行维度变换，其中，所述维度变换后的所述自回归权重矩阵的维度与所述维度变换后的所述已解码特征点对应的特征值的维度相对应；
将所述维度变换后的所述自回归权重矩阵和所述维度变换后的所述已解码特征点对应的特征值进行点乘，得到中间特征；
对所述中间特征进行维度反变换，得到所述熵估计特征。
18.根据权利要求16所述的方法，其特征在于，所述根据所述自回归权重矩阵和所述已解码特征点对应的特征值，确定熵估计特征，包括：
对所述自回归权重矩阵和所述已解码特征点对应的特征值进行卷积，得到所述熵估计特征。
19.一种编码器，其特征在于，用于执行上述权利要求1至权利要求9中任一项所述的编码方法。
20.一种解码器，其特征在于，用于执行上述权利要求10至权利要求18中任一项所述的解码方法。
21.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器与所述处理器耦合；
所述存储器存储有程序指令，当所述程序指令由所述处理器执行时，使得所述电子设备执行权利要求1至权利要求9中任一项所述的编码方法。
22.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器与所述处理器耦合；
所述存储器存储有程序指令，当所述程序指令由所述处理器执行时，使得所述电子设备执行权利要求10至权利要求18中任一项所述的解码方法。
23.一种芯片，其特征在于，包括一个或多个接口电路和一个或多个处理器；所述接口电路用于从电子设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括存储器中存储的计算机指令；当所述处理器执行所述计算机指令时，使得所述电子设备执行权利要求1至权利要求9中任一项所述的编码方法。
24.一种芯片，其特征在于，包括一个或多个接口电路和一个或多个处理器；所述接口电路用于从电子设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括存储器中存储的计算机指令；当所述处理器执行所述计算机指令时，使得所述电子设备执行权利要求10至权利要求18中任一项所述的解码方法。
25.一种计算机存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序运行在计算机或处理器上时，使得所述计算机或所述处理器执行如权利要求1至18任一项所述的方法。
26.一种计算机程序产品，其特征在于，所述计算机程序产品包含软件程序，当所述软件程序被计算机或处理器执行时，使得权利要求1至18任一项所述的方法的步骤被执行。
CN202111363953.0A 2021-11-10 2021-11-17 编解码方法及电子设备 Pending CN116112673A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2022/125947 WO2023082955A1 (zh) 2021-11-10 2022-10-18 编解码方法及电子设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111329486 2021-11-10
CN202111329486X 2021-11-10

Publications (1)

Publication Number Publication Date
CN116112673A true CN116112673A (zh) 2023-05-12

Family

ID=86262602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111363953.0A Pending CN116112673A (zh) 2021-11-10 2021-11-17 编解码方法及电子设备

Country Status (2)

Country Link
CN (1) CN116112673A (zh)
WO (1) WO2023082955A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10863206B2 (en) * 2018-11-08 2020-12-08 Alibaba Group Holding Limited Content-weighted deep residual learning for video in-loop filtering
CN111988629B (zh) * 2019-05-22 2024-02-09 富士通株式会社 图像编码装置和图像解码装置
US11405626B2 (en) * 2020-03-03 2022-08-02 Qualcomm Incorporated Video compression using recurrent-based machine learning systems
CN112702600B (zh) * 2020-12-29 2022-04-12 南京大学 一种图像编解码神经网络分层定点化方法

Also Published As

Publication number Publication date
WO2023082955A1 (zh) 2023-05-19

Similar Documents

Publication Publication Date Title
Cheng et al. Deep convolutional autoencoder-based lossy image compression
US10462476B1 (en) Devices for compression/decompression, system, chip, and electronic device
CN111641832B (zh) 编码方法、解码方法、装置、电子设备及存储介质
CN102369522B (zh) 计算引擎的并行流水线式集成电路实现
Setyaningsih et al. Survey of hybrid image compression techniques
WO2001050768A2 (en) Method and apparatus for video compression using sequential frame cellular automata transforms
CN111641826B (zh) 对数据进行编码、解码的方法、装置与系统
JP2011511592A (ja) 参照フレームの圧縮を伴うビデオ符号化システム
JP2008510349A (ja) グラフィックとビデオとの混合ソースを圧縮するシステムおよび方法
KR20200089635A (ko) 다수의 상이한 비트레이트로 영상 압축을 하기 위한 시스템들 및 방법들
CN113079378B (zh) 图像处理方法、装置和电子设备
CN110636313A (zh) 变换、二次变换矩阵训练方法、编码器及相关装置
US9948928B2 (en) Method and apparatus for encoding an image
WO2023093377A1 (zh) 编解码方法及电子设备
WO2001050769A1 (en) Method and apparatus for video compression using multi-state dynamical predictive systems
WO2012118569A1 (en) Visually optimized quantization
CN116112673A (zh) 编解码方法及电子设备
Huang et al. Multi-channel multi-loss deep learning based compression model for color images
CN111107377A (zh) 深度图像压缩方法及其装置、设备和存储介质
WO2001050767A2 (en) Method and apparatus for digital video compression using three-dimensional cellular automata transforms
CN114979711A (zh) 音视频或图像分层压缩方法和装置
CN116916034B (zh) 基于safd的图像处理方法、装置、设备及存储介质
WO2024084660A1 (ja) 画像符号化装置、画像復号装置、画像処理システム、モデル学習装置、画像符号化方法、画像復号方法、および、コンピュータ可読記憶媒体
CN117409091A (zh) 编解码方法及电子设备
US12022078B2 (en) Picture processing method and apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination