CN113163203A - 深度学习特征压缩和解压缩方法、系统及终端 - Google Patents

Abstract

本发明提供了一种深度学习特征压缩和解压缩方法、系统及终端，编码端对输入的原始特征进行紧凑空间变换，得到原始特征的紧凑特征表达；利用紧凑特征表达，计算特征中各通道的重要性系数，进行各通道的量化参数自适应分配；基于分配好的量化参数对不同通道进行非均匀量化，得到量化后的多通道特征图；对量化后的多通道特征图进行特征编码完成压缩。解码端解码得到反量化的多通道特征图；针对反量化的多通道特征图的不同量化级别进行性能自适应补偿；对补偿后的多通道特征图进行原始特征重建，完成对特征的解压缩。本发明编码端基于图像内容自适应分配量化参数，解码端基于量化级别自适应进行性能补偿，提升了非均匀量化对特征压缩的性能。

Description

深度学习特征压缩和解压缩方法、系统及终端

技术领域

本发明涉及图像处理及计算机视觉技术领域，具体地，涉及一种基于量化自适应分配与补偿的深度学习特征压缩和解压缩方法、系统及终端。

背景技术

传统的图像压缩技术是针对人类视觉特性设计的，而随着深度神经网络在各项机器视觉任务中展现出的优越性能，例如图像分类、目标检测、语义分割等，生活中涌现出大量基于机器视觉的人工智能应用。为了保证机器视觉任务的性能不因图像压缩过程而受损，采取先分析后压缩(Analysis-Then-Compression)的模式应对机器视觉需求，即在图像获取端直接将无损的图像通过神经网络进行特征提取，然后对所提取的特征进行编码传输，解码端直接利用解码后的特征输入到后续网络结构中完成不同的机器视觉任务。因此，为了节省传输带宽资源，需要研究针对机器视觉的特征压缩方法。由于神经网络中间层输出的中间级特征具有更高的泛化能力，不仅可以同时有效完成多项机器视觉任务，而且还能兼顾人类视觉完成高质量图像重建，因此中间级深度学习特征的压缩编码更具重要意义。

中间级深度学习特征表现为具有多个通道的二维特征图，对其进行压缩时，首先进行特征图量化，然后将量化后的特征图组合为一张单一的二维图像或者重组为一个类似视频的序列，最后采用常见的图像压缩方法(JPEG、PNG等)或视频压缩(HEVC等)方法进行有损/无损压缩。其中量化过程是特征压缩过程中必不可少的环节，因为神经网络的输出是32-bits的浮点数，若直接对其进行编码会造成严重的带宽资源浪费。基于神经网络的敏感特性，一种基于重要性指导的非均匀量化方法被提出，通过重要性估计将特征图划分为多个组，根据重要性程度对不同的组设置不同的量化参数，尽可能保留重要信息来保证任务性能，同时以损失一些不重要的信息来降低码率，从而从整体上提高压缩性能。而均匀量化方法则对所有通道以同一量化参数完成量化，在低码率时会导致任务性能受损严重，高码率时造成带宽浪费。首先，相较于常用的均匀量化方法，非均匀量化方法虽然从很大程度上提高了压缩性能，但是在进行特征图组划分时，通常按照重要性程度从高到低对特征通道进行排序，然后按照固定的比例完成划分，无法实现基于图像内容的自适应；其次，无论是均匀还是非均匀量化都会造成任务性能的损失，现有的压缩方法中没有相应的补偿机制，常见的方法是针对不同的量化参数分别来微调后续的任务网络，训练多个任务模型来适应不同的量化级别，缺乏灵活性。因此如何基于图像内容实现量化参数自适应分配以及如何根据量化参数实现性能自适应补偿，是本领域需要进一步解决的问题。

目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。

发明内容

本发明针对现有技术中存在的上述不足，提供了一种基于量化自适应分配与补偿的深度学习特征压缩和解压缩方法、系统、终端。

根据本发明的一个方面，提供了一种深度学习特征压缩方法，包括：

在编码端：

对输入的原始特征进行紧凑空间变换，得到所述原始特征的紧凑特征表达；

利用所述紧凑特征表达，计算特征中各通道的重要性系数，进行各通道的量化参数自适应分配；

基于分配好的量化参数对不同通道进行非均匀量化，得到量化后的多通道特征图；

对所述量化后的多通道特征图进行特征编码，完成对特征的压缩。

优选地，所述对输入的原始特征进行紧凑空间变换，得到所述原始特征的紧凑特征表达，包括：

通过间接的码率约束对输入的原始特征进行紧凑空间变换，即直接对量化后的多通道特征图进行码率约束，间接实现对输入的原始特征进行紧凑空间变换，得到所述原始特征的紧凑特征表达。

优选地，所述利用所述紧凑特征表达，计算特征中各通道的重要性系数，进行各通道的量化参数自适应分配，包括：

利用所述紧凑特征表达，获取特征中不同通道的重要性系数；

对所述重要性系数进行预处理后基于系数分布自动完成特征通道组划分；

基于从量化参数集中选择的量化参数值初始值对不同的通道组进行量化参数自适应分配。

优选地，所述基于分配好的量化参数可对不同通道进行非均匀量化，得到量化后的多通道特征图，包括：

以可学习的网络结构对量化时的取整过程进行模拟，基于已分配好的量化参数对不同通道进行不同级别的量化，即实现非均匀量化，获取逼近真实量化结果的近似量化结果，在训练过程中得到量化后的多通道特征图。

优选地，所述对所述量化后的多通道特征图进行特征编码，完成对特征的压缩，包括：

将量化后的多通道特征图组合为一张单一的图像，采用图像编码器进行有损或无损编码，完成对特征的压缩。

优选地，所述预处理包括：

对所述重要性系数进行×2和取整量化操作，使通道的量化级别划分基于图像内容自适应调整，从而实现量化参数的自适应分配。

根据本发明的另一个方面，提供了一种深度学习特征解压缩方法，包括：

在解码端：

对压缩后的特征解码并进行反量化操作，得到反量化的多通道特征图；

针对所述反量化的多通道特征图的不同量化级别进行性能自适应补偿；

对补偿后的多通道特征图进行原始特征重建，完成对特征的解压缩。

优选地，所述对压缩后的特征解码，包括：

采用图像解码器对编码后的特征进行解码，重新拆分为多通道的特征图序列；

优选地，所述针对所述反量化的多通道特征图的不同量化级别进行性能自适应补偿，包括：

基于所述反量化后的多通道特征图和量化参数进行补偿信息提取，并将提取到的所述补偿信息叠加到所述反量化后的多通道特征图上，完成对特征的性能自适应补偿。

根据本发明的第三个方面，提供了一种深度学习特征压缩系统，包括：设置于编码端的紧凑空间变换模块、敏感度估计模块、模拟量化模块以及特征编码模块；其中：

所述紧凑空间变换模块，对输入的原始特征进行紧凑空间变换，得到所述原始特征的紧凑特征表达；

所述敏感度估计模块，利用所述紧凑特征表达，计算特征中各通道的重要性系数；

所述模拟量化模块，基于重要性系数进行各通道的量化参数自适应分配，然后基于分配好的量化参数对不同通道进行非均匀量化，得到量化后的多通道特征图；

所述特征编码模块，对所述量化后的多通道特征图进行特征编码，完成对特征的压缩。

优选地，所述敏感度估计模块包括通道注意力单元和残差单元；其中，所述通道注意力单元包括全局平均池化层和全局最大池化层，所述全局平均池化层和全局最大池化层充分提取通道之间的依赖关系实现空间信息聚合，获取用于自适应分配的重要性系数。

优选地，所述模拟量化模块的输入包括原始特征的紧凑特征表达和量化参数值初始值，实现各种量化级别的模拟。

根据本发明的第四个方面，提供了一种深度学习特征解压缩系统，包括：设置于解码端的特征解码模块、模拟反量化模块、性能补偿模块以及特征恢复模块；其中：

所述特征解码模块，对压缩后的特征解码；

所述模拟反量化模块，对解码后的特征进行反量化操作，得到反量化的多通道特征图；

所述性能补偿模块，针对所述反量化的多通道特征图的不同量化级别进行性能自适应补偿；

所述特征恢复模块，对补偿后的多通道特征图进行原始特征重建，完成对特征的解压缩。

优选地，所述性能补偿模块的输入包括反量化后的多通道特征图和量化参数值初始值，根据不同的量化级别自适应提取补偿信息，实现不同量化级别下的性能补偿。

根据本发明的第五个方面，提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述任一项所述的方法，或，运行上述任一项所述的系统。

由于采用了上述技术方案，本发明与现有技术相比，具有如下至少一项的有益效果：

1、本发明提供的深度学习特征压缩和解压缩方法、系统、终端，基于量化自适应分配与补偿，在进行量化参数分配时，不是以固定比例对特征通道进行划分，而先对获取到的重要性系数进行预处理，通过一定的计算策略完成基于图像内容的自适应分配；在同时传输多图像特征时，这种方式具有更有利于节省传输带宽资源的优点。

2、本发明提供的深度学习特征压缩和解压缩方法、系统、终端，在解码端进行性能补偿时，将量化参数信息和反量化特征作为补偿模块的输入，使其根据量化的不同级别提取补偿信息来完成性能优化，只需训练一个模型就可以灵活应对不同码率条件，而不是针对多个的量化级别训练多个模型；这种方式在实现多码率编码时更具有灵活性的优点。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例中深度学习特征压缩和解压缩方法流程图。

图2为本发明一优选实施例中深度学习特征压缩及其相应的解压缩方法流程图；

图3为本发明一实施例中深度学习特征压缩及其相应的解压缩系统组成结构示意图；

图4为本发明一优选实施例中深度学习特征压缩及其相应的解压缩系统结构示意图，其中，实线表示编码端的操作，虚线表示解码端的操作；

图5为本发明一具体应用实例中深度学习特征压缩及其相应的解压缩系统中各模块对应的网络结构，其中黑色实线表示编码端的操作，黑色虚线表示解码端操作。

图6为本发明一具体应用实例中采用一种图像的紧凑特征表达以6bits的量化参数初始值并基于自适应分配进行非均匀量化后的结果和；其中，(a)分别为输入原图，(b)、(c)为所有特征值对应的真实量化结果和模拟量化结果；

图7为本发明一具体应用实例中采用另一种图像的紧凑特征表达以6bits的量化参数值初始值并基于自适应分配进行非均匀量化后的结果；其中，(a)、分别为输入原图＝，(b)、(c)为所有特征值对应的真实量化结果和模拟量化结果；

图8为本发明一具体应用实例中深度学习特征压缩及其相应的解压缩方法的压缩性能的P-R曲线，在图像重建任务上验证性能补偿的作用；其中，(a)为重建图像质量SSIM性能-码率(KBPI)曲线，(b)为重建图像质量PSNR性能-码率(KBPI)曲线；码率(KBPI,KbitsPer Image)表示每张图像的特征编码后的大小

图9中(a)～(h)表示特征经过压缩及其相应的解压缩后应用于不同任务时的可视结果；其中，每一行从左到右依次为原始输入图像、重建图像、目标检测结果，对应的测试值分别为码率、SSIM、PSNR。

具体实施方式

下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

图1为本发明一实施例提供的深度学习特征压缩及其相应的解压缩方法流程图。

如图1所示，本发明一实施例提供了一种深度学习特征压缩方法，可以包括如下步骤：

在编码端：

S100，对输入的原始特征进行紧凑空间变换，得到原始特征的紧凑特征表达；

S200，利用紧凑特征表达，计算特征中各通道的重要性系数，进行各通道的量化参数自适应分配；

S300，基于分配好的量化参数对不同通道进行非均匀量化，得到量化后的多通道特征图；

S400，对量化后的多通道特征图进行特征编码，完成对特征的压缩。

在该实施例的S100中，作为一优选实施例，对输入的原始特征进行紧凑空间变换，得到原始特征的紧凑特征表达，可以包括如下步骤：

通过间接的码率约束对输入的原始特征进行紧凑空间变换，即直接对量化后的多通道特征图进行码率约束，间接实现对输入的原始特征进行紧凑空间变换，得到原始特征的紧凑特征表达。

在该实施例的S200中，作为一优选实施例，利用紧凑特征表达，计算特征中各通道的重要性系数，进行各通道的量化参数自适应分配，可以包括如下步骤：

S201，利用紧凑特征表达，获取特征中不同通道的重要性系数；

S202，对重要性系数进行预处理后基于系数分布自动完成通道组划分；

S203，基于从量化参数集中选择的量化参数值初始值对不同通道组进行量化参数自适应分配。

进一步地，在该实施例的S202中，作为一优选实施例，预处理包括：

对重要性系数进行×2和取整量化操作，使通道的量化级别划分基于图像内容自适应调整，从而实现量化参数的自适应分配。

进一步地，在该实施例的S203中，作为一优选实施例，量化参数为量化的比特数，量化参数集为[3bits,4bits,5bits,6bits,7bits]，量化过程中可根据需求自行选择一个值作为初始值，然后基于初始值利用自适应分配方法为每一个通道的特征分配特定的量化参数。

在该实施例的S300中，作为一优选实施例，基于分配好的量化参数可对不同通道进行非均匀量化，得到量化后的多通道特征图，可以包括如下步骤：

以可学习的网络结构对量化时的取整过程进行模拟，基于已分配好的量化参数对不同通道进行不同级别的量化，即实现非均匀量化，获取逼近真实量化结果的量化级别，解决无法实现梯度反向传播的问题，使训练过程中可得到量化后的多通道特征图。

深度学习的训练过程就是基于损失函数的梯度来更新模型的参数，而反向传播算法是一个可以有效求解损失函数梯度的算法。通过链式求导法则一层一层向前求导。所以要求每一层的对应的函数都要是可导的，否则无法实现梯度的反向传播。该步骤中的量化函数涉及取整过程所以不可导，会导致梯度无法实现反向传播。

在该实施例的S400中，作为一优选实施例，对量化后的多通道特征图进行特征编码，完成对特征的压缩，可以包括如下步骤：

将量化后的多通道特征图组合为一张单一的图像，采用图像编码器进行有损或无损编码，完成对特征的压缩。

如图1所示，本发明一实施例提供了一种与上述实施例中深度学习特征压缩方法相对应的深度学习特征解压缩方法，可以包括如下步骤：

S500，对压缩后的特征解码并进行反量化操作，得到反量化的多通道特征图；

S600，针对反量化的多通道特征图的不同量化级别进行性能自适应补偿；

S700，对补偿后的多通道特征图进行原始特征重建，完成对特征的解压缩。

在该实施例的S500中，作为一优选实施例，对压缩后的特征解码，可以包括如下步骤：

采用传统图像解码器对编码后的图像进行解码，重新拆分为多通道的特征图序列。

在该实施例的S600中，作为一优选实施例，针对反量化的多通道特征图的不同量化级别进行性能自适应补偿，可以包括如下步骤：

基于反量化后的多通道特征图和量化参数进行补偿信息提取，并将提取到的补偿信息叠加到反量化后的多通道特征图上，完成对特征的性能自适应补偿。

在该步骤中，性能表示特征复原的保真度，保真度最终影响特征完成不同任务时任务的性能，包括：图像重建的图像质量性能指标PSNR、SSIM，目标检测任务的检测性能等。

在该实施例的S700中，作为一优选实施例，重建后的特征用于完成各项任务，例如图像处理以及计算机视觉技术中的目标识别、跟踪、测量等。

本发明上述实施例提供的深度学习特征压缩及其相应的解压缩方法，能有效的降低编码码率，显著提高机器视觉任务在低码率段的性能，以及重建图像的峰值信噪比(PSNR)和结构相似性(SSIM)，而且在主观视觉体验上也有很好的效果。

图2为本发明一优选实施例提供的深度学习特征压缩及其相应的解压缩方法流程图。

该优选实施例提供了一种深度学习特征压缩方法以及一种深度学习特征解压缩方法，基于量化参数自适应分配和性能自适应补偿，在编码端获取可衡量不同通道重要性程度的系数，根据重要性系数以一定策略实现基于图像内容的量化参数自适应分配，并且通过一个可学习的模型(例如模拟量化模块)，以量化参数作为输入对量化过程进行模拟(建模)，使量化过程可进行梯度回传，此时在量化后的特征图上进行码率约束，更进一步降低编码码率；在解码端同样以量化参数为输入，通过一个可学习的模型(例如性能补偿模块)，根据不同的量化级别进行不同程度的性能补偿。

如图2所示，该优选实施例提供的深度学习特征压缩方法，可以包括以下步骤：

在编码端：

S11：进行紧凑空间变换，得到紧凑特征表达；

S12：计算各通道的重要性系数，进行各通道的量化参数自适应分配；

S13：基于分配好的量化参数对不同通道进行非均匀量化；

S14：基于图像编码方法进行特征编码，完成对特征的压缩。

如图2所示，该优选实施例提供的上述深度学习特征压缩方法的解压缩方法，可以包括如下步骤：

在解码端：

S15：对压缩后的特征进行解码及反量化操作；

S16：针对不同量化级别进行性能自适应补偿；

S17：对特征复原，完成对特征的解压缩，并应用于不同任务。

作为一优选实施例，在S11中：进行紧凑空间变换，得到紧凑特征表达，可以包括如下步骤：

首先编码端对输入的原始特征进行紧凑化表达，可通过码率约束降低最终的编码码率。

进一步地，S11中的紧凑特征表达是通过间接的码率约束实现的，实际是直接对量化后的紧凑表达进行码率约束，降低编码码率。

作为一优选实施例，S12中：计算各通道的重要性系数，进行各通道的量化参数自适应分配，可以包括如下步骤：

基于紧凑特征表达获取特征中不同通道的重要性系数，对系数进行预处理后基于系数分布自动完成通道组划分，然后基于量化参数值初始值实现量化参数自适应分配，此处的重要性系数主要用于评估紧凑表达中不同通道对解码端进行特征恢复时的重要性程度。

进一步地，S12还可以包括如下步骤：

对得到的重要性系数进行×2和取整量化等预处理过程，使通道的量化级别划分基于图像内容自适应调整，从而实现量化参数的自适应分配。

作为一优选实施例，S13中：基于分配好的量化参数对不同通道进行非均匀量化，可以包括如下步骤：

以可学习的网络结构对量化时的取整过程模拟(建模)，基于已分配好的量化参数获取近似的量化结果，使量化过程可进行梯度反向传播，从而使量化和压缩-复原过程可进行联合训练，然后直接对量化后的特征进行码率约束，间接实现紧凑空间变化模块的特征紧凑化功能。

进一步地，S13还可以包括如下步骤：

通过可学习的网络结构对量化过程进行模拟，使得量化过程可进行梯度反向传播，可以参与训练。

更进一步地，同时基于紧凑特征表达和初始量化参数(即量化参数值初始值)，可以针对不同的量化级别逼近真实量化结果。

作为一优选实施例，S14中：基于图像编码方法进行特征编码，可以包括如下步骤：

编码端将量化后的多通道特征图组合为一张单一的图像，采用现有图像编码方法进行有损或无损编码；

作为一优选实施例，S15中：对压缩后的特征进行解码，可以包括如下步骤：

采用现有图像解码器完成解码，并重新拆分为多通道的特征图序列。

作为一优选实施例，S16中：针对不同量化级别进行性能自适应补偿，可以包括如下步骤：

解码端基于反量化操作后的特征和量化参数进行补偿信息提取，并将补偿信息叠加到反量化后的特征上，用于弥补量化操作导致的性能丢失。

进一步地，S16中，可以对量化过程造成的损失进行弥补，相当于一种后处理过程，提升最终重建特征在各项任务中的性能，并且性能补偿同时结合量化参数，可以针对不同量化级别进行自适应补偿，灵活应对不同的码率条件。

作为一优选实施例，S17中：特征复原并应用于不同任务，可以包括：

将补偿后的反量化特征进行原始特征重建，重建后的特征用于完成各项任务。

图3为本发明一实施例提供的深度学习特征压缩系统及其解压缩系统组成结构示意图。

该实施例所采用的技术方案的构思为：

首先，根据卷积神经网络自编码器结构设计中间级深度学习特征压缩-复原模型，包括编码端的紧凑空间变换模块、解码端的特征复原模块，用于实现编码端数据压缩与解码端数据恢复的目的；设计模拟量化器使量化过程可进行梯度反向传播，进而使量化参与特征压缩-复原模型的训练过程；设计性能补偿模块，用于提取采用不同量化级别量化时的补偿信息。然后，通过码率约束、特征失真、量化误差构成的混合损失函数，以随机梯度下降算法对构建的整体模型进行训练，得到一个特征压缩模型，即本文的量化自适应分配及补偿的特征压缩模型。最后，基于训练好的模型，完成特征的压缩-解压缩过程：编码端由紧凑空间变换模块对原始特征进行紧凑化表示，之后根据敏感度估计模块输出紧凑特征各通道的重要性系数，通过计算策略进行特征图的多组划分并完成量化参数分配，将量化后的特征图组合为一张图像并基于传统图像编码方法完成编码；解码端接收到特征流后通过图像解码、特征图拆分、反量化得到受损的紧凑特征表达，由性能补偿模块提取补偿信息完成特征补偿，再由特征复原模块恢复出原始特征并应用于不同的任务。

基于以上构思，如图3所示，本发明一实施例提供了一种深度学习特征压缩系统，可以包括：设置于编码端的紧凑空间变换模块、敏感度估计模块、模拟量化模块以及特征编码模块；其中：

紧凑空间变换模块，对输入的原始特征进行紧凑空间变换，得到原始特征的紧凑特征表达；

敏感度估计模块，利用紧凑特征表达，计算特征中各通道的重要性系数；

模拟量化模块，基于重要性系数进行各通道的量化参数自适应分配，然后基于分配好的量化参数对不同通道进行非均匀量化，得到量化后的多通道特征图；

特征编码模块，对量化后的多通道特征图进行特征编码，完成对特征的压缩。

作为一优选实施例，敏感度估计模块包括通道注意力单元和残差单元；其中，通道注意力单元包括全局平均池化层和全局最大池化层，全局平均池化层和全局最大池化层充分提取通道之间的依赖关系实现空间信息聚合，获取用于自适应分配的重要性系数。

作为一优选实施例，模拟量化模块的输入包括原始特征的紧凑特征表达和量化参数值初始值，实现各种量化级别的模拟。

基于以上构思，如图3所示，本发明一实施例提供了一种深度学习特征解压缩系统，可以包括：设置于解码端的特征解码模块、模拟反量化模块、性能补偿模块以及特征恢复模块；其中：

特征解码模块，对压缩后的特征解码；

模拟反量化模块，对解码后的特征进行反量化操作，得到反量化的多通道特征图；

性能补偿模块，针对反量化的多通道特征图的不同量化级别进行性能自适应补偿；

特征恢复模块，对补偿后的多通道特征图进行原始特征重建，完成对特征的解压缩。

作为一优选实施例，性能补偿模块的输入包括反量化后的多通道特征图和量化参数值初始值，根据不同的量化级别自适应提取补偿信息，实现不同量化级别下的性能补偿。

上述编码端的紧凑空间变换模块和解码端的特征恢复模块，共同构成了特征压缩-复原模型模块。

图4为本发明一优选实施例提供的深度学习特征压缩及其相应的解压缩系统结构示意图。

如图4所示，该优选实施例提供了一种深度学习特征压缩系统以及一种深度学习特征解压缩系统，是一种中间级深度学习压缩及解压缩系统，用于实现上述的深度学习特征压缩及解压缩方法，其包括构成特征压缩-复原模型的紧凑空间变换模块和特征恢复模块、敏感度估计模块、模拟量化模块、特征编码模块、特征解码模块、模拟反量化模块以及性能补偿模块；其中：

特征压缩-复原模型包括紧凑空间变换模块和特征恢复模块，紧凑特征表示模块在编码端将原始输入的待压缩特征变换到紧凑特征空间，通过码率约束达到降低码率的目的；特征恢复模块在解码端对解码后的特征从紧凑空间恢复到原始特征空间；

敏感度估计模块用于衡量紧凑特征表达对后续恢复模块的重要性程度，计算出各通道特征的重要性系数；

模拟量化模块用于解决模型训练时量化过程不可导的问题，使量化过程可以加入到在整个系统模型的训练，从而可以直接在量化后的紧凑特征上进行码率约束，提升整体系统的压缩性能；模拟反量化模块用于对解码后的特征进行反量化操作；

特征编码模块和特征解码模块分别对特征进行相应的编码和解码，完成压缩和解压缩；

性能补偿模块用于解码端的补偿信息提取，弥补量化过程造成的特征性能损失。

下面结合一具体应用实例，对本发明上述实施例提供的压缩方法及系统进一步详细描述。

该具体应用实例在Ubuntu 16.04,PyTorch环境下编程仿真实现上述方法及系统。

所述方法，包括：

在编码端：

S11中：进行紧凑空间变换，得到紧凑特征表达，可以包括如下步骤：

首先建立中间级特征压缩-复原模型，由紧凑空间变换和特征恢复两个模块组成，两个部分的网络结构是对称的，由卷积和残差块构成，如图5所示。由深度神经网络输出的中间级特征F,

作为紧凑表达模块的输入，经过紧凑空间变换之后得到紧凑特征表达

如下列公式所示，

表示紧凑空间变换模块的计算函数。

S12：计算各通道的重要性系数，进行各通道的量化参数自适应分配。

将紧凑特征表达输入到敏感度估计模块获取特征中不同通道的重要性系数，其中敏感度估计模块的设计基于通道注意力机制和残差模块，通道注意力模块中的空间信息聚合由全局平均池化和全局最大池化共同完成，能够充分提取各通道之间的依赖关系，获取重要性系数

为了提高压缩编码的性能，根据每个通道的重要性系数进行特征通道多组划分，对于重要性低的进行低级别量化、重要性高的进行高级别量化。由于图像内容的不同，重要性系数的分布会有差异，因此各级别的通道划分比例存在差异，最终导致量化参数的分配也存在差异。如果按照固定比例划分，无法达到最佳的压缩性能。为了实现基于图像内容的通道级别自适应划分和量化参数自适应分配，提出以下公式(2)(3)的分配策略，其中K表示量化分配指导系数，round表示取整计算，Q_i表示分配给第i个通道的量化参数，n_bits表示初始的量化参数值，W₀转换为一维向量得到W∈R^1×C。通过调整n_bits的值，可以实现码率控制，根据不同的带宽要求调节码率。

K＝round(2×W),K∈R^1×C (2)

Q_i＝n_bits+k_i,Q∈R^1×C，i∈[0,C-1] (3)

由于敏感度估计模块最后一层为Sigmoid激活函数，输出的重要性系数值w_i∈[0,1]，则根据(2)式计算出的量化分配指导系数中的值k_i∈{0,1,2}。基于此分配策略，可以根据图像内容的不同，自适应的实现一级、二级、三级通道划分，即可根据重要性系数将特征划分为一组、两组或三组，从而为不同的组分配不同的量化参数，并且每一组中分配的通道数也会根据图像内容自适应，即基于图像内容实现划分比例自适应，从整体上提升压缩性能。

S13：基于分配好的量化参数对不同通道进行非均匀量化：利用S12中分配好的量化参数Q，可根据公式(4)对每一个通道特征进行不同程度的量化，从而实现非均匀量化，其中round表示四舍五入取整操作。

为了提升压缩系统的整体压缩性能，将量化过程与特征压缩-复原模型进行联合训练。由于量化过程中的取整过程不可导，为了解决此问题，设计一个可学习的网络结构对取整过程进行模拟，如图3中的模拟量化器模块结构所示，最后一层的激活函数为tanh函数，其输出范围为[-1,1]，可有效模拟四舍五入过程。则在训练过程中，量化操作近似为：

其中r为模拟量化器输出的取整操作近似值，为了逼近真实的量化操作，训练过程中需要最小化近似量化值和真实量化值之间的误差，即训练损失函数包含量化误差项：

进一步地，为了实现紧凑空间变换模块的特征紧凑化功能，实现数据压缩，通常会对紧凑空间变换模块的输出进行码率约束，但由于最终的编码操作是在量化后的特征图上进行的，因此本发明上述实施例直接对量化后的紧凑特征进行码率约束，从而间接实现紧凑空间变换模块的特征紧凑化。因此用量化特征的L1范数表征码率，训练时损失函数包含码率约束项：

S14：基于图像编码方法进行特征编码：将量化后的特征以平铺的方式组合为一张单一的图像，然后利用现有的图像编码方法进行编码传输，例如有损的JPEG编码，无损的PNG编码。

在解码端：

S15：利用与图像编码器相应的图像解码器对特征解码，将特征图重新拆分为多通道特征序列后进行反量化操作。

S16：针对不同量化级别进行性能自适应补偿

由于量化过程是一个有损的过程，所以解码端反量化操作之后所得到的紧凑特征表达F_dequant与编码端紧凑空间变换模块输出的紧凑特征F_compact之间存在误差，会导致后续的特征复原模块所输出的重建特征与原始特征之间存在失真，从而导致重建特征用于不同任务时其性能受损。为了应对不同量化级别导致的不同程度损失，设计可学习的网络结构来提取针对不同初始量化参数的补偿信息I，对反量化结果进行初步修正得到补偿后的特征F_compensate，其结构与模拟量化器相同，如图5所示，最后一层的激活函数为tanh函数，其输出范围为[-1,1]，可根据实际情况实现正向补偿和负向补偿，补偿后的特征F_compensate再次输入到编码端和解码端共享的敏感度估计模块，利用得到的重要性系数W₁按权重进行加权，增强重要的特征。

S17：特征复原并应用于不同任务

将补偿后的反量化特征F_compensate×W₁输入到特征压缩-复原模型中的特征恢复模块，最终得到重建特征F_reconstruct，如下列公式(8)所示，

表示特征恢复模块的计算函数。

为实现特征的重建，以最小化重建特征与原始特征之间的误差来训练特征压缩-复原模型，因此训练损失函数包含重建误差：

在进行压缩流程之前，需要将对应上述步骤的各个模块进行联合训练，训练的混合损失函数为：

该具体应用实例中，通过在公开数据集上进行实验来评估本发明上述实施例提供的特征压缩方法及系统的有效性。本实验的实验环境为Ubuntu 16.04,Pytorch框架。实验的评价指标为多任务在不同码率条件下的性能，例如基于深度学习特征的图像重建任务性能用图像质量评价指标PSNR和SSIM。由性能-码率(Performance-Rate,P-R)曲线表示，曲线越靠向左上方说明压缩性能越好。实验过程中对量化后的特征图组合为一张图像后，分别采用了无损的PNG编码方法完成编码。

首先，与量化独立于训练过程、按固定比例分配量化参数且无性能补偿机制的特征压缩方法相比较，本发明上述实施例的技术方案中基于模拟量化器将量化加入训练过程，以及自适应量化分配和补偿的压缩方法具有良好的压缩性能。如表1所示，在图像重建任务上，当保持图像质量的SSIM值基本不变的条件下，特征压缩的码率得到大幅下降，并且对应的PSNR值均有提升。表1中的实验结果说明将量化过程加入训练，对量化后的紧凑特征直接进行码率约束有利于大幅降低最终的编码码率，而PSNR值均有提升验证了性能补偿模块的作用。图6中(a)～(c)和图7中(a)～(c)是对不同图像的96个通道特征以6bit初始量化参数进行量化的结果，可见，模拟的量化结果与真实的量化结果几乎重合，说明模拟量化器实现了对真实量化过程的近似。对于图中两张不同的图像，其量化结果有较大差异，其中pic1的量化特征存在两个集中分布范围，说明该图像的特征在进行非均匀量化时被分为了两组；而pic2则被分为了三组，说明进行量化参数分配时，根据不同的图像内容可自适应实现两组或三组划分，并且每组中的通道数也随图像内容的变化有所差异。表2统计了Kodak数据集中24张图像的自适应分配结果，出现3种差异性较大的情况，说明图像内容的差异会导致通道划分比例的差异。

表1

表2

其次，通过消融实验验证性能补偿模块对最终压缩性能的提升作用。训练两组压缩模型，且都基于模拟量化器将量化过程加入训练过程，同时实现自适应量化分配，其中一组模型没有性能补偿模块。测试两组模型在图像重建任务压缩性能，其结果如图8中(a)和(b)的P-R曲线所示，加入补偿模块的模型所对应的曲线始终在上方，验证了性能补偿模块对任务性能的提升作用。

图9中(a)～(h)为经过本发明上述实施例提供的技术方案进行压缩-解压缩后的特征完成不同任务的可视化结果，数值分别表示特征压缩后的码率(KB)和重建图像的质量指标SSIM及PSNR(dB)。由结果可得基于本发明上述实施例提供的技术方案进行特征压缩，虽然码率大幅降低，但基于深度学习特征重建出的图像具有良好的视觉感官质量，并且能有效的完成目标检测任务。

由上述实验可以看出，本发明上述实施例提供的技术方案可以实现基于图像内容的量化参数自适应分配、基于量化级别的性能自适应补偿，从而提升深度学习特征压缩的性能。

本发明一实施例提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时可用于执行本发明上述实施例中任一项的方法，或，运行本发明上述实施例中任一项的系统。

可选地，存储器，用于存储程序；存储器，可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)，如静态随机存取存储器(英文：static random-access memory，缩写：SRAM)，双倍数据率同步动态随机存取存储器(英文：Double Data Rate Synchronous Dynamic Random Access Memory，缩写：DDR SDRAM)等；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)。存储器用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。

上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。

处理器，用于执行存储器存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。

处理器和存储器可以是独立结构，也可以是集成在一起的集成结构。当处理器和存储器是独立结构时，存储器、处理器可以通过总线耦合连接。

本发明一实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行上述实施例中任一项的方法，或，运行本发明上述实施例中任一项的系统。

本发明上述实施例提供的深度学习特征压缩和解压缩方法、系统、终端及介质，基于量化自适应分配与补偿实现。其中：方法包括：原始特征的紧凑空间变换，得到特征的紧凑化表达；计算各通道的重要性系数，进行各通道的量化参数自适应分配；基于分配好的量化参数对不同通道进行非均匀量化；基于图像编码方法进行特征编码-解码；针对不同量化级别进行性能自适应补偿；特征复原并应用于不同任务；系统包括：特征压缩-复原模型中的特征紧凑表达模块和特征恢复模块、敏感度估计模块、模拟量化器及模拟反量化器(模块)、特征编码及解码模块、性能补偿模块。通过本发明上述实施例提供的技术方案，可以基于图像内容自适应分配量化参数，基于量化级别自适应进行性能补偿，进一步提升了非均匀量化对特征压缩系统性能提升的作用。

需要说明的是，本发明提供的方法中的步骤，可以利用系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照方法的技术方案实现系统的组成，即，方法中的实施例可理解为构建系统的优选例，在此不予赘述。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种深度学习特征压缩方法，其特征在于，包括：

在编码端：

对输入的原始特征进行紧凑空间变换，得到所述原始特征的紧凑特征表达；

利用所述紧凑特征表达，计算特征中各通道的重要性系数，进行各通道的量化参数自适应分配；

基于分配好的量化参数对不同通道进行非均匀量化，得到量化后的多通道特征图；

对所述量化后的多通道特征图进行特征编码，完成对特征的压缩。

2.根据权利要求1所述的深度学习特征压缩方法，其特征在于，还包括如下任意一项或任意多项：

-所述对输入的原始特征进行紧凑空间变换，得到所述原始特征的紧凑特征表达，包括：

通过间接的码率约束对输入的原始特征进行紧凑空间变换，即直接对量化后的多通道特征图进行码率约束，间接实现对输入的原始特征进行紧凑空间变换，得到所述原始特征的紧凑特征表达；

-所述利用所述紧凑特征表达，计算特征中各通道的重要性系数，进行各通道的量化参数自适应分配，包括：

利用所述紧凑特征表达，获取特征中不同通道的重要性系数；

对所述重要性系数进行预处理后基于系数分布自动完成特征通道组划分；

基于从量化参数集中选择的量化参数值初始值对不同的通道组进行量化参数自适应分配；

-所述基于分配好的量化参数可对不同通道进行非均匀量化，得到量化后的多通道特征图，包括：

以可学习的网络结构对量化时的取整过程进行模拟，基于已分配好的量化参数对不同通道进行不同级别的量化，即实现非均匀量化，获取逼近真实量化结果的近似量化结果，在训练过程中得到量化后的多通道特征图；

-所述对所述量化后的多通道特征图进行特征编码，完成对特征的压缩，包括：

将量化后的多通道特征图组合为一张单一的图像，采用图像编码器进行有损或无损编码，完成对特征的压缩。

3.根据权利要求2所述的深度学习特征压缩方法，其特征在于，所述预处理包括：

对所述重要性系数进行×2和取整量化操作，使通道的量化级别划分基于图像内容自适应调整，从而实现量化参数的自适应分配。

4.一种深度学习特征解压缩方法，其特征在于，包括：

在解码端：

对压缩后的特征解码并进行反量化操作，得到反量化的多通道特征图；

针对所述反量化的多通道特征图的不同量化级别进行性能自适应补偿；

对补偿后的多通道特征图进行原始特征重建，完成对特征的解压缩。

5.根据权利要求4所述的深度学习特征解压缩方法，其特征在于，还包括如下任意一项或任意多项：

-所述对压缩后的特征解码，包括：

采用图像解码器对编码后的特征进行解码，重新拆分为多通道的特征图序列；

-所述针对所述反量化的多通道特征图的不同量化级别进行性能自适应补偿，包括：

基于所述反量化后的多通道特征图和量化参数进行补偿信息提取，并将提取到的所述补偿信息叠加到所述反量化后的多通道特征图上，完成对特征的性能自适应补偿。

6.一种深度学习特征压缩系统，其特征在于，包括：设置于编码端的紧凑空间变换模块、敏感度估计模块、模拟量化模块以及特征编码模块；其中：

所述紧凑空间变换模块，对输入的原始特征进行紧凑空间变换，得到所述原始特征的紧凑特征表达；

所述敏感度估计模块，利用所述紧凑特征表达，计算特征中各通道的重要性系数；

所述模拟量化模块，基于重要性系数进行各通道的量化参数自适应分配，然后基于分配好的量化参数对不同通道进行非均匀量化，得到量化后的多通道特征图；

所述特征编码模块，对所述量化后的多通道特征图进行特征编码，完成对特征的压缩。

7.根据权利要求6所述的深度学习特征压缩系统，其特征在于，还包括如下任意一项或任意多项：

-所述敏感度估计模块包括通道注意力单元和残差单元；其中，所述通道注意力单元包括全局平均池化层和全局最大池化层，所述全局平均池化层和全局最大池化层充分提取通道之间的依赖关系实现空间信息聚合，获取用于自适应分配的重要性系数；

-所述模拟量化模块的输入包括原始特征的紧凑特征表达和量化参数值初始值，实现各种量化级别的模拟。

8.一种深度学习特征解压缩系统，其特征在于，包括：设置于解码端的特征解码模块、模拟反量化模块、性能补偿模块以及特征恢复模块；其中：

所述特征解码模块，对压缩后的特征解码；

所述模拟反量化模块，对解码后的特征进行反量化操作，得到反量化的多通道特征图；

所述性能补偿模块，针对所述反量化的多通道特征图的不同量化级别进行性能自适应补偿；

所述特征恢复模块，对补偿后的多通道特征图进行原始特征重建，完成对特征的解压缩。

9.根据权利要求8所述的深度学习特征解压缩系统，其特征在于，所述性能补偿模块的输入包括反量化后的多通道特征图和量化参数值初始值，根据不同的量化级别自适应提取补偿信息，实现不同量化级别下的性能补偿。

10.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求1-5中任一项所述的方法，或，运行权利要求6-9中任一项所述的系统。

Images