CN116168093A - 图像特征变换处理的方法、图像编码方法、图像解码方法 - Google Patents

Abstract

本申请公开了一种图像特征变换处理的方法、图像编码方法、图像解码方法、装置以及计算机存储介质，该图像特征变换处理的方法包括：获取待处理的原始图像特征；通过主图像处理网络的变换网络，依次对原始图像特征进行第一特征处理和第二特征处理得到第一图像特征，原始图像特征和第一图像特征的特征维度相同，第一特征处理和第二特征处理为逆操作；根据原始图像特征和第一图像特征确定损失值；利用损失值对目标图像特征进行处理，得到待处理的变换图像特征，目标图像特征基于原始图像特征确定。本申请通过采用损失值对目标图像特征进行反馈的机制，改善待处理的图像特征的特征表示，提高编解码性能。

Description

图像特征变换处理的方法、图像编码方法、图像解码方法

技术领域

本申请涉及特征处理技术领域，特别是涉及一种图像特征变换处理的方法、图像编码方法、图像解码方法、装置以及计算机存储介质。

背景技术

传统的图像编解码技术是针对人类视觉特性设计的，而随着深度神经网络在各项机器视觉任务中展现出的优越性能，例如图像分类、目标检测、语义分割等，涌现出大量基于机器视觉的人工智能应用。为了保证机器视觉任务的性能不因图像编码过程而受损，采取先分析后编码的模式应对机器视觉需求，即在图像获取端直接将无损的图像通过神经网络进行特征提取，然后对所提取的特征进行编码传输，解码端直接利用解码后的特征输入到后续网络结构中完成不同的机器视觉任务。因此，为了节省传输带宽资源，需要研究针对机器视觉的图像编码方法。

然而，目前的图像编解码过程中特征处理算法上存在一定的信息损失，导致无法提取最优的特征表示。

发明内容

本申请提供一种图像特征变换处理的方法、图像编码方法、图像解码方法、装置以及计算机存储介质。

本申请采用的一个技术方案是提供一种图像特征变换处理的方法，包括：

获取待处理的原始图像特征；

通过主图像处理网络的变换网络，依次对所述原始图像特征进行第一特征处理和第二特征处理得到第一图像特征，所述原始图像特征和所述第一图像特征的特征维度相同，所述第一特征处理和第二特征处理为逆操作；

根据所述原始图像特征和所述第一图像特征确定损失值；

利用所述损失值对目标图像特征进行处理，得到所述待处理的变换图像特征，所述目标图像特征基于所述原始图像特征确定。

其中，所述图像特征变换处理包括图像编码或图像解码中的变换、反变换、辅变换和辅反变换中的至少一种。

其中，所述通过主图像处理网络的变换网络，依次对所述原始图像特征进行第一特征处理和第二特征处理得到第一图像特征，包括：

对所述原始图像特征进行所述第一特征处理得到第二图像特征；

对所述第二图像特征进行所述第二特征处理得到所述第一图像特征。

其中，所述变换网络包括采样模块，所述第一特征处理为所述采样模块的特征降维操作或特征升维操作；

所述利用所述损失值对目标图像特征进行处理，得到所述待编码图像的变换图像特征，包括：

利用所述损失值对所述第二图像特征进行处理，得到变换图像特征。

其中，所述根据所述原始图像特征和所述第一图像特征确定损失值，包括：

根据所述原始图像特征和所述第一图像特征确定第一基础损失值；

对所述第一基础损失值进行第三特征处理，得到所述损失值。

其中，所述变换网络包括增强模块，所述第一特征处理为所述增强模块的特征降维操作、特征升维操作或特征池化操作；

利用所述损失值对目标图像特征进行处理，得到所述待编码图像的变换图像特征，包括：

利用所述损失值对所述原始图像特征进行处理，得到变换图像特征。

其中，所述利用所述损失值对所述原始图像特征进行处理，得到变换图像特征，包括：

对所述损失值进行特征变换，得到增强损失值；

利用所述增强损失值对所述原始图像特征进行处理，得到所述变换图像特征。

本申请采用的另一个技术方案是提供图像编码方法，所述图像编码方法包括：

通过上述的图像特征变换处理的方法，获取待编码图像的变换图像特征；

通过主编码网络的编码模块对所述变换图像特征进行编码，得到所述待编码图像编码的特征码流。

其中，所述通过主编码网络的编码模块对所述变换图像特征进行编码，得到所述待编码图像编码的特征码流，包括：

将所述变换图像特征，以及熵模型网络对所述变换图像特征的辅反变换结果输入所述熵模型网络的上下文预测器，获取所述变换图像特征的上下文信息；

将所述上下文信息输入所述熵模型网络的概率模型，获取所述概率模型输出的分布信息；

采用所述主编码网络的编码模块根据所述分布信息对所述变换图像特征进行编码，得到所述待编码图像编码的特征码流。

其中，所述将所述变换图像特征，以及熵模型网络对所述变换图像特征的辅反变换结果输入所述熵模型网络的上下文预测器，获取所述变换图像特征的上下文信息，包括：

获取所述变换图像特征的已编码图像特征；

利用前半部分激活卷积提取所述已编码图像特征的第一估计结果；

将所述变换图像特征输入所述熵模型网络，获取所述熵模型网络的辅反变换结果；

利用完整激活卷积或后半部分激活卷积提取所述辅反变换结果的第二估计结果；

将所述第一估计结果和所述第二估计结果进行融合，得到所述变换图像特征的邻域范围结果；

将所述辅反变换结果与所述邻域范围结果进行融合，输入所述熵模型网络的上下文预测器，得到所述变换图像特征的上下文信息。

其中，所述前半部分激活卷积的卷积中心点的前半部分权重不为0，后半部分权重为0；所述后半部分激活卷积的卷积中心点的前半部分权重为0，后半部分权重不为0；所述完整激活卷积的所有权重均不为0。

其中，所述辅反变换结果为第一辅反变换结果，或者所述第一辅反变换结果与第二辅反变换结果的融合结果；其中，所述第一辅反变换结果由第一熵模型网络输出，所述第二辅反变换结果由第二熵模型网络输出，所述第二熵模型网络的输入为所述第一熵模型网络的辅变换网络输出的图像特征。

其中，所述将所述变换图像特征输入所述熵模型网络，获取所述熵模型网络的辅反变换结果，包括：

将所述变换图像特征输入所述第一熵模型网络，获取所述第一熵模型网络的第一辅反变换结果；

将所述第一熵模型网络的第一辅变换结果输入所述第二熵模型网络，获取所述第二熵模型网络的第二辅反变换结果；

对所述第二辅反变换结果进行上采样变换，得到第三辅反变换结果，所述第三辅反变换结果的特征维度与所述第一辅反变换结果的特征维度相同；

将所述第一辅反变换结果与所述第三辅反变换结果进行拼接融合，得到所述辅反变换结果。

其中，所述将所述变换图像特征输入所述熵模型网络，获取所述熵模型网络的辅反变换结果，包括：

通过所述熵模型网络的变换网络依次对所述变换图像特征进行第三特征处理和第四特征处理得到第四图像特征；所述变换图像特征的特征维度和所述第四图像特征的特征维度相同，所述第三特征处理和第四特征处理为逆操作；

根据所述变换图像特征和所述第四图像特征确定变换损失值；

利用所述变换损失值对第一目标图像特征进行处理，得到所述变换图像特征的辅变换图像特征；

通过所述熵编码网络的编码模块对所述辅变换图像特征进行编码，得到辅特征码流；

通过所述熵编码网络的解码模块对所述辅特征码流进行解码，得到辅反变换图像特征；

通过所述熵模型网络的反变换网络依次对所述辅反变换图像特征进行第五特征处理和第六特征处理得到第五图像特征；所述辅反变换图像特征的特征维度和所述第六图像特征的特征维度相同，所述第三特征处理和第四特征处理为逆操作；

根据所述辅反变换图像特征和所述第六图像特征确定反变换损失值；

利用所述反变换损失值对第二目标图像特征进行处理，得到所述辅辅反变换图像特征的辅反变换结果。

本申请采用的另一个技术方案是提供一种图像解码方法，所述图像解码方法包括：

通过主解码网络的解码模块对特征码流进行解码，得到所述特征码流的解码图像特征；

通过上述的图像特征变换处理的方法，获取解码图像特征的变换图像特征；

根据所述变换图像特征得到所述特征码流对应的解码图像。

本申请采用的另一个技术方案是提供一种图像编码装置，所述图像编码装置包括存储器以及与所述存储器耦接的处理器；

其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的图像特征变换处理的方法，和/或图像编码方法。

本申请采用的另一个技术方案是提供一种图像解码装置，所述图像解码装置包括存储器以及与所述存储器耦接的处理器；

其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的图像特征变换处理的方法，和/或图像解码方法。

本申请采用的另一个技术方案是提供一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如上述的图像特征变换处理的方法，图像编码方法和/或图像解码方法。

本申请的有益效果是：图像特征变换处理装置获取待处理的原始图像特征；通过主图像处理网络的变换网络，依次对所述原始图像特征进行第一特征处理和第二特征处理得到第一图像特征，所述原始图像特征和所述第一图像特征的特征维度相同，所述第一特征处理和第二特征处理为逆操作；根据所述原始图像特征和所述第一图像特征确定损失值；利用所述损失值对目标图像特征进行处理，得到所述待处理的变换图像特征，所述目标图像特征基于所述原始图像特征确定。本申请通过采用损失值对目标图像特征进行反馈的机制，改善待处理的图像特征的特征表示，提高编解码性能。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请提供的图像端到端编解码器的简要结构示意图；

图2是本申请提供的图像端到端编解码器的具体结构示意图；

图3是本申请提供的图像特征变换处理的方法一实施例的流程示意图；

图4是本申请提供的基于误差反馈机制的变换网络的结构示意图；

图5是本申请提供的基于误差反馈机制的采样模块的结构示意图；

图6是本申请提供的基于误差反馈机制的增强模块的结构示意图；

图7是本申请提供的图像编码方法一实施例的流程示意图；

图8是图7所示图像编码方法步骤S22的具体流程示意图；

图9是本申请提供的结合边信息的上下文预测器的结构示意图；

图10是本申请提供的前半部分激活的mask卷积展开图；

图11是本申请提供的完整mask卷积展开图；

图12是本申请提供的后半部分(包括中心点)激活的mask卷积展开图；

图13是本申请提供的图像解码方法一实施例的流程示意图；

图14是本申请提供的图像编码装置一实施例的结构示意图；

图15是本申请提供的图像解码装置一实施例的结构示意图；

图16是本申请提供的计算机存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

具体请参阅图1和图2，图1是本申请提供的图像端到端编解码器的简要结构示意图，图2是本申请提供的图像端到端编解码器的具体结构示意图。

如图1和图2所示，本申请提供的图像端到端编解码器主要包括以下结构：主编解码网络和熵模型网络。在主编解码网络下，包含变换和反变换、量化和反量化、熵编码和熵解码；在熵模型网络下，包含辅变换和辅反变换、概率模型、上下文预测器。其中，

(1)变换主要采用卷积神经网络进行非线性下采样，其作用在于使用更紧凑的表达表述原始图像的主要特征，并减少图像的维度和数据量，而反变换则是从紧凑的表达中恢复出原始图像。

(2)量化则是有损编码的环节之一，将数据进行整型化，提高压缩率，而反量化(可选)则是相反操作，但也可以不做，因为通过神经网络的强大非线性能力，可以包含了反量化的作用。

(3)而熵编码是个无损过程，通过已构建概率模型，计算出每个特征中符号位的概率，并将其编码成二进制表示写进码流中，而熵解码是其反过程。

在熵模型网络，包括辅变换和辅反变换、量化和反量化、熵编码和熵解码，以及构建概率模型。其中，除了构建概率模型，其余模块功能与主编码网络类型。构建概率模型主要是通过神经网络学习模型参数，用来计算出主编码网络待图像特征的概率。

进一步地，如图2所示，本申请实施例的图像端到端编解码器还可以包括：多熵模型网络、上下文模型、前处理、熵编码加速和后处理增强等。其中，

(1)前处理，图像进行划分成512*512的分块，并对输入图像进行垂直翻转和旋转，生成8个副本，每个副本输入到网络框架中，计算其率失真RD，记录RD最小的索引。

(2)熵编码加速，只编码有效通道，即非全0的特征通道，将其索引进行编码。

(3)多熵模型网络，新增一个熵模型网络2，为熵模型网络1拟合概率模型。

(4)上下文预测器。该部分包含一个上下文模型和预测网络：

a)上下文模型。由于特征中每个待图像特征点，依赖于前一个已图像特征点，上下文模型可以学习其相关关系，减少冗余。

b)预测网络。记主编解码网络中变换网络的输出为主要潜在特征表示，则预测网络旨在估计出该潜在表示预测值，并与其求差值，其对残差进行编解码。

(5)预测器。仅包含预测网络，目的是为了估计出辅变换网络的潜在特征表示，以求残差进行编码，不包含上下文模型。

(6)后处理，通过预训练的基于神经网络的增强模块，消除重建后的块效应、伪影和振铃效应等。

在图1和图2所示的图像端到端编解码器中，变换、反变换、辅变换和/或辅反变换可以采用一种基于上下采样的误差反馈机制而设计的增强模块，和/或上下采样模块，通过模块里的纠错功能逐步改善特征信息，减少采样操作带来的信息损失，获取最优的特征表示，同时基于该特征表示能够重建出更优的图像，提高编解码性能。

基于图1和图2所示的图像端到端编解码器，本申请提出一种图像特征变换处理的方法，具体请参阅图3，图3是本申请提供的图像特征变换处理的方法一实施例的流程示意图。

其中，图3所示的图像特征变换处理的方法的主要改进点基于变换、反变换、辅变换、辅反变换至少一个中的增强模块和/或采样模块的改进，采用基于上下采样的误差反馈机制而设计的增强模块和/或采样模块，以便获取紧凑的特征表示进行编/解码和重建，即本申请实施例中可以基于上下采样的误差反馈机制单独设计的增强模块或采样模块，也可以同时基于上下采样的误差反馈机制设计的增强模块和采样模块。其中，

a)增强模块为改进的残差块，可应用在变换、反变换、辅变换以及辅反变换中，增强特征表示。

b)采样模块包含上采样和下采样模块，下采样模块可进行特征提取和降维，上采样模块可进行特征升维和图像重建。

(2)上下文预测器：结合边信息的上下文模型，使得待编/解码点能够同时参考其位置邻域范围内的上下文信息，提升编码性能。

a)待编/解码点之后的点为未编/解码点，无法获取，由边信息生成近似信息。

b)边信息即为辅助信息，由辅反变换结果获得。

下面结合图3所示的图像特征变换处理的方法实施例，对上述主要改进点进行详细阐述：

如图3所示，本申请实施例的图像特征变换处理的方法包括以下步骤：

步骤S11：获取待处理的原始图像特征。

步骤S12：通过主图像处理网络的变换网络，依次对原始图像特征进行第一特征处理和第二特征处理得到第一图像特征，原始图像特征和所述第一图像特征的特征维度相同，第一特征处理和第二特征处理为逆操作。

在本申请实施中，本申请实施例的图像特征变换处理应用于可以为图1和图2中所示的变换网络、反变换网络、辅变换网络以及辅反变换网络中的任意一者中。

具体地，在编码场景中，变换网络、辅变换网络以及辅反变换网络中的一者或多者均可以采用图像特征变换处理方法中所提及的网络结构以及网络逻辑，在此不一一列举各自组合的可能性。

在解码场景中，反变换网络、辅变换网络以及辅反变换网络中的一者或多者均可以采用图像特征变换处理方法中所提及的网络结构以及网络逻辑，在此不一一列举各自组合的可能性。

下面以编码场景作为例子，介绍主图像处理网络的具体处理过程：

主图像处理网络中的变换网络通过第一特征处理和第二特征处理获取原始图像特征的第一图像特征，其中，第一特征处理和第二特征处理为逆操作，且第一图像特征的特征维度。

其中，第一图像特征由原始图像特征通过非线性变换模块中的采样模块，和/或增强模块经过维度变换得到。

具体地，本申请实施例的图1和图2中的变换网络的具体结构如图4所示，图4是本申请提供的基于误差反馈机制的变换网络的结构示意图。需要说明的是，在后续的描述中以图4的结构为变换网络为例进行描述，但图4的结构同样适用于图1和图2所示中的反变换网络、辅变换网络以及辅反变换网络等，在此不再赘述。

如图4所示，图4所示的变换网络整体框架包含多个卷积、残差块和M个非线性变换模块。其中，每个非线性变换模块主要包含采样模块和N(N₁～N_M)个增强模块，每个采样模块和每个增强模块均有纠错功能的反馈机制，通过在变换网络/反变换网络叠加这些模块，逐步改善特征信息，以提取最优的特征表示进行编码。其中，每个非线性变换模块中的增强模块的数量可以相同，也可以不同；每个非线性变换模块可以包括采样模块和增强模块中的一者或全部。

变换网络输入的是待编码图像，通过前置的卷积和残差块等提取待编码图像的原始图像特征，然后通过若干非线性变换模块对原始图像特征进行处理，从而对原始图像特征实现采样或者增强。

其中，非线性变换模块的功能和效果包括但不限于：

1)采样模块主要进行特征提取和维度变换，可实现下采样和上采样的功能。

2)增强模块为增强的残差块，可应用于变换网络中进行非线性变换，增强特征表示。

步骤S13：根据原始图像特征和第一图像特征确定损失值。

步骤S14：利用损失值对目标图像特征进行处理，得到待处理的变换图像特征，目标图像特征基于原始图像特征确定。

在本申请实施例中，采样模块请参阅图5，增强模块请参阅图6，图5是本申请提供的基于误差反馈机制的采样模块的结构示意图，图6是本申请提供的基于误差反馈机制的增强模块的结构示意图。

本申请实施例的采样模块和增强模块均采用误差反馈机制，两者均通过原始图像特征和第一维度图像特征获取维度变换的损失值，然后根据损失值来反馈非线性变换模块以及变换网络输出的图像特征。

具体如图5所示的采样模块，第一特征处理为采样模块的特征降维操作或特征升维操作，对应地，第二特征处理为第一特征处理的逆操作，即特征降维操作或特征升维操作。

其中，采样模块中的变换模块起到非线性映射的作用，其方式包括但不限于多个卷积和残差块等。采样1和采样2互为相反操作，即采样1为降维采样时，采样2为升维采样；采样3中采样1操作一致。其中，采样1至采样3的采样方案包含但不限于卷积、子像素变换层和反卷积等。

本申请实施例的采样模块的主要设计思想或主要工作流程为：

a)输入进行变换1、维度变换1和维度变换2(2次维度变换)后，即降维到升维(在反变换网络中即升维到降维)后，获得一个和输入维度一致的预重建信息，即第一维度图像特征。

b)该预重建信息和输入经过变换6的特征求差值，得到2次维度变换引起的损失值(残差值)。

c)损失值经过维度变换3获得调整后的损失信息，即第一基础损失值。

将c)中的第一基础损失值和a)中维度变换1后的特征，即第二维度图像特征联合输入反馈模块，实现损失信息对维度变换1后特征的反馈、补偿和优化，获得输入进行维度变换1后的优化结果。反馈方式包含但不限于点对点相加和卷积网络(如图5，虚线表示可选的反馈方式)。

此时，在采样模块中，目标图像特征为第二图像特征。

例如，如图5的输入(H×W×C)，降维因子和升维因子均为s，经过采样模块采样处理后，输出结果的特征维度为H1×W1×C1，则存在关系：

或者H1＝H*s

或者W1＝W*s

即输出为输入的降维或者升维的结果，实现上采样或下采样功能。该采样模块可用在变换/反变换、辅变换/辅反变换和上采样变换中，实现维度变换和特征映射功能。

具体如图6所示的增强模块，其中，增强模块包含多个变换模块和采样模块。第一特征处理为增强模块的特征降维操作、特征升维操作或特征池化操作，而第二特征处理则为第一特征处理的逆操作。

其中，增强模块中的变换模块起到非线性映射或者通道维度调整的作用，方法包含但不限于多个卷积和残差块(或者省略)。采样1和采样2表示降维或者升维网络，包含但不限于卷积、池化、子像素变换层和反卷积等。

由于待编码图像的图像特征在经过升维或者降维后会有损失，因此该增强模块的主要设计思想是为：

a)输入经过变换0(可省略)得到输入1。输入1进行变换1、维度变换1和维度变换2(2次维度变换)后，即经过升维到降维(或降维到升维、或维度不变的池化到池化)后，获得一个和输入1维度一致的预重建信息。

b)该信息和输入1求差值，得到2次维度变换的损失值(残差值)。

c)损失值经过变换4的调整得到增强损失值再反馈到输入1中，即将增强损失值和输入1经过变换5的特征联合输入反馈模块，再经过变换6得到增强后的信息。反馈方式包含但不限于点对点相加和卷积网络(如图7，虚线表示可选的反馈方式)。

d)从输入引出一条跳跃连接，加上增强后的信息，构成一个残差块，促进信息的流动，得到最终的增强信息。

通过该方式，增强模块能够很好地降低图像特征在之后进行a)中类似的维度变换时的信息损失。

需要说明的是，本申请实施例中的非线性变换可以包括采样模块和增强模块，此时，采样模块的输出即为增强模块的输入。非线性变换也可以只包括采样模块，或只包括增强模块，其具体结构在此不再赘述。

下面通过具体的例子介绍非线性变换同时包括采样模块和增强模块的情况：

例如，一方面，将基于误差反馈机制的变换结构应用到图1或图2的变换网络中，则配置如下：

a)非线性变换模块数M＝4，即4次降维。

b)每个非线性变换模块中，采样模块选择图5中有下采样功能的采样模块，配置如下：

①变换1、变换6和变换5为1个残差块。

②变换2、变换3和变换4为2个残差块。

③采样1和采样3为卷积降维。

④采样2为反卷积。

⑤反馈模块：选择点对点相加的方式，见图5反馈模块中的实线部分。

c)每个非线性变换模块中，增强模块个数N(N₁～N_M)＝1，见图7，其配置如下：

①变换1、变换4和变换6为1个残差块。变换0省略，则输入即为输入1。

②变换2、变换3和变换5为2个残差块。

③由于变换网络通常为降维网络，因此采样1可为卷积下采样，采样2为上采样功能的反卷积。

④反馈：选择卷积网络的方式，见图6的虚线所示。

又例如，另一方面，将基于误差反馈机制的变换结构应用到图1或图2的反变换网络中，则配置如下：

a)非线性变换模块数M＝4，即4次升维.

b)每个非线性变换模块中，采样模块选择图5中有上采样功能的采样模块，配置如下：

①变换1、变换6和变换5为1个残差块。

②变换2、变换3和变换4为2个残差块。

③采样1和采样3为反卷积升维。

④采样2为卷积降维。

⑤反馈模块：选择点对点相加的方式，见图5反馈模块中的实线部分。

c)每个非线性变换模块中，增强模块个数N(N₁～N_M)＝1，其配置如下：

①变换1、变换4和变换6为1个残差块。

②变换2、变换3和变换5为2个残差块。

③由于变换网络中反变换网络通常用于升维和变换，因此采样1可为反卷积升维，采样2为相反功能的卷积降维。

④反馈：选择卷积网络的方式，见图6的虚线所示。

在本申请实施例中，图像编码装置/图像解码装置获取待处理的原始图像特征；通过主图像处理网络的变换网络，依次对原始图像特征进行第一特征处理和第二特征处理得到第一图像特征，原始图像特征和第一图像特征的特征维度相同，第一特征处理和第二特征处理为逆操作；根据原始图像特征和第一图像特征确定损失值；利用损失值对目标图像特征进行处理，得到待处理的变换图像特征，目标图像特征基于原始图像特征确定。本申请通过采用损失值对目标图像特征进行反馈的机制，改善待处理的图像特征的特征表示，提高编解码性能。

基于上述图像特征变换处理的方法，本申请进一步提出相应的图像编码方法，具体请参阅图7，图7是本申请提供的图像编码方法一实施例的流程示意图。

如图7所示，本申请实施例的图像编码方法包括以下步骤：

步骤S21：通过图像特征变换处理的方法，获取待编码图像的变换图像特征。

步骤S22：通过主编码网络的编码模块对变换图像特征进行编码，得到待编码图像编码的特征码流。

在本申请实施例中，图像编码装置利用主编码网络中的编码模块对图3所示的变换网络提取的变换图像特征进行编码，从而得到待编码图像的特征码流。

在上述实施例的基础上，本申请还提出尽可能利用到待编/解码点上下左右邻域范围内的信息(待编/解码点前为已待编/解码点，之后为未编/解码点)来预测该位置点的信息，提高编解码性能；提出待编/解码点之后邻域范围内的未编/解码点用由边信息生成，其中，边信息来源于辅反变换结果。

具体请继续参阅图8和图9，图8是图7所示图像编码方法步骤S22的具体流程示意图，图9是本申请提供的结合边信息的上下文预测器的结构示意图。

其中，上下文预测器中的上下文模型可以在熵编码时利用已编/解码的特征点来学习当前特征点。然而，由于样本点之间的依赖性，仅仅利用已编/解码点来预测当前特征点是远远不够的。若能同时利用当前特征点之后的邻域范围内(即完整感受野内)的像素点(即未编/解码点)辅助预测当前点，将能够有提高编解码性能。如图9所示。其中①②③为利用边信息的并行方案(三选一)，④⑤为获取边信息的并行方案(二选一)。

当进行编/解码时，当前点及其之后的点是无法获取的，只能通过其他方式取到近似信息。本申请提出从边信息(辅反变换结果)获得该近似值，即从边信息中通过一定方式获得近似信息或直接以边信息作为近似信息，提高编解码性能。

如图8所示，本申请实施例的图像编码方法包括以下步骤：

步骤S221：将变换图像特征，以及熵模型网络对变换图像特征的辅反变换结果输入熵模型网络的上下文预测器，获取变换图像特征的上下文信息。

在本申请实施例中，如图1和图2所示，图像编码装置将变换网络输出的变换图像特征以及熵模型网络(包括第一级熵模型网络，和/或第二级熵模型网络)输出的辅反变换结果同时输入上下文预测器，从而提取变换图像特征的上下文信息。

具体地，图9所示的上下文预测器提取变换图像特征的上下文信息的具体步骤如下：

获取边信息。如图1和图9所示，边信息包含但不限于第一级辅反变换结果(见图9的⑤方案)、两级辅反变换融合结果(见图9的④方案)。其中，两级辅反变换融合结果，由第二级辅反变换结果通过上采样变换后和第一级辅反变换结果进行拼接融合得到，上采样方式包含但不限于反卷积，子像素卷积层或本提案提出的基于误差反馈机制的采样模块。

针对已编/解码点。首先，对已编/解码点使用前半部分激活的K×K×K的mask卷积，具体请参阅图10的前半部分激活的mask卷积展开图，即只有卷积中心点的前半部分有权重(不为0)，后半部分为0，得到当前特征点的初步估计结果，即第一估计结果。

针对未编/解码点，即从边信息获取的近似信息。为充分利用该近似信息弥补1)中mask卷积的后半部分，方法包含但不限于完整卷积法和后半部分激活的mask卷积法。

a)完整卷积法：

对近似信息采用K×K×K的mask卷积，具体请参阅图11的完整mask卷积展开图，即卷积核感受野包含中心点邻域范围内的所有点，得到当前特征点第二个估计结果。

b)后半部分激活的mask卷积法：

确定当前特征点在近似信息(特征图)中的位置，并对该点后半邻域范围内使用后半部分的K×K×K的mask卷积，具体请参阅图12的后半部分(包括中心点)激活的mask卷积展开图，同上述相反，只有卷积中心点的后半部分和中心点有权重，前半部分为0，即只取了该点邻域的后半部分，获得当前特征点的第二个估计结果。

进一步地，图像编码装置将第一估计结果和第二估计结果进行融合，得到变换图像特征的邻域范围结果；将辅反变换结果与邻域范围结果进行融合，得到变换图像特征的上下文信息。融合方式包含但不限于相加、拼接+卷积融合等方法。这就相当于，当前点由其邻域范围内的像素(这些像素的前半部分来自已解码点，后半部分来自边信息)预测得到。

上述邻域范围内的融合结果进一步和边信息进行融合，获得概率模型的参数。见图9，①②①连接为并行方案，至少选择一种，①方案中变换网络包含但不限于残差块和卷积。当变换网络和预测网络共享参数时，①①方案的近似信息一致。

后续的求差/求和操作。图9的预测结果将和变换结果求差值(如图4所示)，对差值进行编码。同理，解码结果为差值，需要加上预测结果，再进行反变换得到解码图像。

其中，图像编码装置提取边信息的过程如下：

图像编码装置将变换图像特征输入熵模型网络，获取熵模型网络的辅反变换结果，将该辅反变换结果作为边信息。

当熵模型网络包括第一级熵模型网络和第二级熵模型网络时，图像编码装置将变换图像特征输入第一熵模型网络，获取第一熵模型网络的第一辅反变换结果；将第一熵模型网络的第一辅变换结果输入第二熵模型网络，获取第二熵模型网络的第二辅反变换结果；对第二辅反变换结果进行上采样变换，得到第三辅反变换结果，第三辅反变换结果的特征维度与第一辅反变换结果的特征维度相同；将第一辅反变换结果与第三辅反变换结果进行拼接融合，得到辅反变换结果。

下面通过具体的例子介绍结合边信息的上下文预测器的情况：

a)边信息获取：选择图9的④方式，即边信息为两级辅反变换结果的融合输出。

b)针对已编/解码点的mask卷积，选择3D mask卷积，核大小：K＝11。

c)针对未编/解码点，即从边信息获得近似信息。近似信息方式选择图9的②方案，即近似信息由边信息经过变换网络得到。变换网络选择4个残差块。选择后半部分(包括中心点)激活的3D mask卷积，核大小：K＝11。

d)图9的邻域范围融合方法为：点对点相加策略；第二个融合方法为：通道拼接和1×1的卷积融合。

步骤S222：将上下文信息输入熵模型网络的概率模型，获取概率模型输出的分布信息。

在本申请实施例中，图像编码装置将上下文预测器输出的上下文信息输入概率模型，概率模型根据上下文信息预测特征的分布情况，并输出分布信息。

步骤S223：采用主编码网络的编码模块根据分布信息对变换图像特征进行编码，得到待编码图像的特征码流。

在本申请实施例中，主编码网络利用第一熵模型网络输出的分布信息对变换图像特征进行编码，能够按照特征的分布情况提高编码准确性和编码效率。

在本申请实施例中，图像编码装置/图像解码装置提出在变换、反变换、辅变换以及辅反变换中，采用基于误差反馈机制的变换网络，其中的主要模块，即采样模块和增强模块，均基于误差反馈机制而设计。通过叠加这些模块，有利于逐步改善每一阶段的输入特征，降低维度变换引起的误差：

(1)采样模块：输入进行两次预设维度变换后，和输入求误差，该差值信息将进一步对输入的单次维度变换结果进行反馈、补偿和优化。可用于实现降维和升维功能。(2)增强模块：输入进行两次预设维度变换后，和输入求误差，该差值信息将进一步对输入进行反馈、补偿，增强输入特征。

图像编码装置/图像解码装置还提出结合边信息的上下文模型，同时考虑当前点上下左右邻域范围内的像素值(即已编/解码点和未编/解码点)，更加准确预测当前点的信息。其中，未编/解码点使用近似信息代替。

图像编码装置/图像解码装置还提出在结合边信息的上下文模型中，利用边信息更好地估计未编/解码点的近似信息。其中，边信息由辅反变换结果生成。

相对地，请继续参阅图13，图13是本申请提供的图像解码方法一实施例的流程示意图。

如图13所示，本申请实施例的图像解码方法包括以下步骤：

步骤S31：通过主解码网络的解码模块对特征码流进行解码，得到特征码流的解码图像特征。

步骤S32：通过图像特征变换处理的方法，获取解码图像特征的变换图像特征。

步骤S33：根据变换图像特征得到特征码流对应的解码图像。

需要说明的是，本申请实施例的图像解码方法实质上为上述实施例的图像编码方法的逆过程，因此，可以毫无疑义地将图像编码方法的所有技术方案应用到本实施例的图像解码方法中，可以通过简单的逆工程推导出相关的技术方案，在此不再赘述。

以上实施例，仅是对本申请的其中一种常见案例而已，并非对本申请的技术范围做任何限制，故凡是依据本申请方案的实质对以上内容所做的任何细微修改、等同变化或者修饰，均仍属于本申请技术方案的范围内。

请继续参见图14，图14是本申请提供的图像编码装置一实施例的结构示意图。本申请实施例的图像编码装置500包括处理器51、存储器52、输入输出设备53以及总线54。

该处理器51、存储器52、输入输出设备53分别与总线54相连，该存储器52中存储有程序数据，处理器51用于执行程序数据以实现上述实施例所述的图像特征变换处理的方法，和/或图像编码方法。

在本申请实施例中，处理器51还可以称为CPU(Central Processing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP，Digital Signal Process)、专用集成电路(ASIC，Application Specific Integrated Circuit)、现场可编程门阵列(FPGA，FieldProgrammable Gate Array)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器51也可以是任何常规的处理器等。

请继续参见图15，图15是本申请提供的图像解码装置一实施例的结构示意图。本申请实施例的图像解码装置600包括处理器61、存储器62、输入输出设备63以及总线64。

该处理器61、存储器62、输入输出设备63分别与总线64相连，该存储器62中存储有程序数据，处理器61用于执行程序数据以实现上述实施例所述的图像特征变换处理的方法，和/或图像编码方法。

本申请还提供一种计算机存储介质，请继续参阅图16，图16是本申请提供的计算机存储介质一实施例的结构示意图，该计算机存储介质700中存储有程序数据71，该程序数据71在被处理器执行时，用以实现上述实施例的图像特征变换处理的方法，图像编码方法和/或图像解码方法。

本申请的实施例以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，方式利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (18)

1.一种图像特征变换处理的方法，其特征在于，包括：

获取待处理的原始图像特征；

通过主图像处理网络的变换网络，依次对所述原始图像特征进行第一特征处理和第二特征处理得到第一图像特征，所述原始图像特征和所述第一图像特征的特征维度相同，所述第一特征处理和第二特征处理为逆操作；

根据所述原始图像特征和所述第一图像特征确定损失值；

利用所述损失值对目标图像特征进行处理，得到所述待处理的变换图像特征_，所述目标图像特征基于所述原始图像特征确定。

2.根据权利要求1所述的图像特征变换处理的方法，其特征在于，所述图像特征变换处理包括图像编码或图像解码中的变换、反变换、辅变换和辅反变换中的至少一种。

3.根据权利要求1或2所述的图像特征变换处理的方法，其特征在于，所述通过主图像处理网络的变换网络，依次对所述原始图像特征进行第一特征处理和第二特征处理得到第一图像特征，包括：

对所述原始图像特征进行所述第一特征处理得到第二图像特征；

对所述第二图像特征进行所述第二特征处理得到所述第一图像特征。

4.根据权利要求3所述的图像特征变换处理的方法，其特征在于，所述变换网络包括采样模块，所述第一特征处理为所述采样模块的特征降维操作或特征升维操作；

所述利用所述损失值对目标图像特征进行处理，得到所述待编码图像的变换图像特征，包括：

利用所述损失值对所述第二图像特征进行处理，得到变换图像特征。

5.根据权利要求4所述的图像特征变换处理的方法，其特征在于，

所述根据所述原始图像特征和所述第一图像特征确定损失值，包括：

根据所述原始图像特征和所述第一图像特征确定第一基础损失值；

对所述第一基础损失值进行第三特征处理，得到所述损失值。

6.根据权利要求3所述的图像特征变换处理的方法，其特征在于，

所述变换网络包括增强模块，所述第一特征处理为所述增强模块的特征降维操作、特征升维操作或特征池化操作；

利用所述损失值对目标图像特征进行处理，得到所述待编码图像的变换图像特征，包括：

利用所述损失值对所述原始图像特征进行处理，得到变换图像特征。

7.根据权利要求6所述的图像特征变换处理的方法，其特征在于，

所述利用所述损失值对所述原始图像特征进行处理，得到变换图像特征，包括：

对所述损失值进行特征变换，得到增强损失值；

利用所述增强损失值对所述原始图像特征进行处理，得到所述变换图像特征。

8.一种图像编码方法，其特征在于，所述图像编码方法包括：

通过权利要求1-7任一项所述的图像特征变换处理的方法，获取待编码图像的变换图像特征；

通过主编码网络的编码模块对所述变换图像特征进行编码，得到所述待编码图像编码的特征码流。

9.根据权利要求8所述的图像编码方法，其特征在于，

所述通过主编码网络的编码模块对所述变换图像特征进行编码，得到所述待编码图像编码的特征码流，包括：

将所述变换图像特征，以及熵模型网络对所述变换图像特征的辅反变换结果输入所述熵模型网络的上下文预测器，获取所述变换图像特征的上下文信息；

将所述上下文信息输入所述熵模型网络的概率模型，获取所述概率模型输出的分布信息；

采用所述主编码网络的编码模块根据所述分布信息对所述变换图像特征进行编码，得到所述待编码图像编码的特征码流。

10.根据权利要求9所述的图像编码方法，其特征在于，

所述将所述变换图像特征，以及熵模型网络对所述变换图像特征的辅反变换结果输入所述熵模型网络的上下文预测器，获取所述变换图像特征的上下文信息，包括：

获取所述变换图像特征的已编码图像特征；

利用前半部分激活卷积提取所述已编码图像特征的第一估计结果；

将所述变换图像特征输入所述熵模型网络，获取所述熵模型网络的辅反变换结果；

利用完整激活卷积或后半部分激活卷积提取所述辅反变换结果的第二估计结果；

将所述第一估计结果和所述第二估计结果进行融合，得到所述变换图像特征的邻域范围结果；

将所述辅反变换结果与所述邻域范围结果进行融合，输入所述熵模型网络的上下文预测器，得到所述变换图像特征的上下文信息。

11.根据权利要求10所述的图像编码方法，其特征在于，

所述前半部分激活卷积的卷积中心点的前半部分权重不为0，后半部分权重为0；所述后半部分激活卷积的卷积中心点的前半部分权重为0，后半部分权重不为0；所述完整激活卷积的所有权重均不为0。

12.根据权利要求10或11所述的图像编码方法，其特征在于，

所述辅反变换结果为第一辅反变换结果，或者所述第一辅反变换结果与第二辅反变换结果的融合结果；其中，所述第一辅反变换结果由第一熵模型网络输出，所述第二辅反变换结果由第二熵模型网络输出，所述第二熵模型网络的输入为所述第一熵模型网络的辅变换网络输出的图像特征。

13.根据权利要求12所述的图像编码方法，其特征在于，

所述将所述变换图像特征输入所述熵模型网络，获取所述熵模型网络的辅反变换结果，包括：

将所述变换图像特征输入所述第一熵模型网络，获取所述第一熵模型网络的第一辅反变换结果；

将所述第一熵模型网络的第一辅变换结果输入所述第二熵模型网络，获取所述第二熵模型网络的第二辅反变换结果；

对所述第二辅反变换结果进行上采样变换，得到第三辅反变换结果，所述第三辅反变换结果的特征维度与所述第一辅反变换结果的特征维度相同；

将所述第一辅反变换结果与所述第三辅反变换结果进行拼接融合，得到所述辅反变换结果。

14.根据权利要求10所述的图像编码方法，其特征在于，

所述将所述变换图像特征输入所述熵模型网络，获取所述熵模型网络的辅反变换结果，包括：

通过所述熵模型网络的变换网络依次对所述变换图像特征进行第三特征处理和第四特征处理得到第四图像特征；所述变换图像特征的特征维度和所述第四图像特征的特征维度相同，所述第三特征处理和第四特征处理为逆操作；

根据所述变换图像特征和所述第四图像特征确定变换损失值；

利用所述变换损失值对第一目标图像特征进行处理，得到所述变换图像特征的辅变换图像特征；

通过所述熵编码网络的编码模块对所述辅变换图像特征进行编码，得到辅特征码流；

通过所述熵编码网络的解码模块对所述辅特征码流进行解码，得到辅反变换图像特征；

通过所述熵模型网络的反变换网络依次对所述辅反变换图像特征进行第五特征处理和第六特征处理得到第五图像特征；所述辅反变换图像特征的特征维度和所述第六图像特征的特征维度相同，所述第三特征处理和第四特征处理为逆操作；

根据所述辅反变换图像特征和所述第六图像特征确定反变换损失值；

利用所述反变换损失值对第二目标图像特征进行处理，得到所述辅辅反变换图像特征的辅反变换结果。

15.一种图像解码方法，其特征在于，所述图像解码方法包括：

通过主解码网络的解码模块对特征码流进行解码，得到所述特征码流的解码图像特征；

通过权利要求1-7任一项所述的图像特征变换处理的方法，获取解码图像特征的变换图像特征；

根据所述变换图像特征得到所述特征码流对应的解码图像。

16.一种图像编码装置，其特征在于，所述图像编码装置包括存储器以及与所述存储器耦接的处理器；

其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1-7任一项所述的图像特征变换处理的方法，和/或权利要求8-14任一项所述的图像编码方法。

17.一种图像解码装置，其特征在于，所述图像解码装置包括存储器以及与所述存储器耦接的处理器；

其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1-7任一项所述的图像特征变换处理的方法，和/或权利要求15所述的图像解码方法。

18.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如权利要求1-7任一项所述的图像特征变换处理的方法，权利要求8-14任一项所述的图像编码方法，和/或权利要求15所述的图像解码方法。

Images