CN116939227A - 一种特征压缩方法、装置及电子设备 - Google Patents

一种特征压缩方法、装置及电子设备 Download PDF

Info

Publication number
CN116939227A
CN116939227A CN202310822913.0A CN202310822913A CN116939227A CN 116939227 A CN116939227 A CN 116939227A CN 202310822913 A CN202310822913 A CN 202310822913A CN 116939227 A CN116939227 A CN 116939227A
Authority
CN
China
Prior art keywords
compression
feature
size
original
recovery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310822913.0A
Other languages
English (en)
Inventor
陈云宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Technology Innovation Center
China Telecom Corp Ltd
Original Assignee
China Telecom Technology Innovation Center
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Technology Innovation Center, China Telecom Corp Ltd filed Critical China Telecom Technology Innovation Center
Priority to CN202310822913.0A priority Critical patent/CN116939227A/zh
Publication of CN116939227A publication Critical patent/CN116939227A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本申请提供了一种特征压缩方法、装置及电子设备，涉及图像视频编解码技术领域。在本申请中，获取原始图像，并对原始图像进行特征提取，得到原始图像对应的多个原始特征图；选择多个原始特征图中的任意一个待选原始特征图，对待选原始特征图进行尺寸压缩，得到第一压缩特征图；将第一压缩特征图按照残差网络中设定的卷积核数量逐个卷积，得到多个第二压缩特征图，融合第一压缩特征图和多个第二压缩特征图，得到第一融合压缩特征图；对第一融合特征图再次进行尺寸压缩，并在每次进行尺寸压缩之后插入设定数量的残差网络，得到目标融合压缩特征图，采用这种方式，能够降低传输待选原始特征图的比特率，提升网络的任务性能。

Description

一种特征压缩方法、装置及电子设备
技术领域
本申请涉及图像视频编解码技术领域，尤其涉及一种特征压缩方法、装置及电子设备。
背景技术
特征压缩是用数据量较小、特征密度较大的压缩数据来表达原始数据的数据特征的一种技术手段。用以在不丢失原始数据信息的前提下，缩减原始数据的数据量，进而减少原始数据的存储空间，提升原始数据的传输、处理效率。
在网络传输领域中，数据发送端通常需要对高分辨率，尺寸较大的图像或者视频等原始数据进行特征压缩。在对图像或视频等原始数据进行特征压缩时，首先利用特征提取网络提取图像或视频的特征；然后对图像或视频的特征进行量化和熵编码；将量化和熵编码后得到的压缩数据发送到服务器端，服务器端接收到数据发送端发送的压缩数据，将压缩数据进行熵解码和反量化，使压缩数据恢复为图像或视频的特征，或者恢复为图像或视频等原始数据。
然而，在现有技术中，为了降低传输上述压缩数据的比特率，通常采用高量化参数对原始数据进行压缩，但采用较高的量化参数对原始数据进行量化会遗失原始数据的部分特征信息，导致后续对原始数据的恢复效果差，影响网络的任务性能。
发明内容
本发明申请提供了一种特征压缩方法、系统及电子设备，用于降低传输待选原始特征图的比特率，提升网络的任务性能。具体技术方案如下：
第一方面，本申请提供了一种特征压缩方法，包括：
获取原始图像，并对所述原始图像进行特征提取，得到所述原始图像对应的多个原始特征图；
选择所述多个原始特征图中的任意一个待选原始特征图，对所述待选原始特征图进行尺寸压缩，得到第一压缩特征图；
将所述第一压缩特征图按照残差网络中设定的卷积核数量逐个卷积，得到与所述第一压缩特征图的尺寸大小相同的多个第二压缩特征图，融合所述第一压缩特征图和所述多个第二压缩特征图，得到第一融合压缩特征图；
对所述第一融合压缩特征图再次进行所述尺寸压缩，并在每次进行所述尺寸压缩之后插入设定数量的所述残差网络，得到目标融合压缩特征图。
通过上述的方法，能够尽可能的保留对待选原始特征图进行尺寸压缩后待选原始特征图中包含的特征，保证在对待选原始特征图进行多次尺寸压缩后能够更好的恢复待选原始特征图包含的特征信息，降低传输待选原始特征图(压缩数据)的比特率，并提升网络的任务性能。
在一种可能的实现中，所述对所述第一融合压缩特征图再次进行所述尺寸压缩，并在每次进行所述尺寸压缩之后插入设定数量的所述残差网络，得到目标融合压缩特征图，包括：
将所述第一融合压缩特征图再次进行所述尺寸压缩得到的第三压缩特征图按照所述残差网络中设定的卷积核数量逐个卷积，得到与所述第三压缩特征图的尺寸大小相同的多个第四压缩特征图；
融合所述第三压缩特征图和所述多个第四压缩特征图，得到第二融合压缩特征图；
对所述第二融合压缩特征图再次按照所述残差网络中设定的卷积核数量逐个卷积，得到与所述第二融合压缩特征图的尺寸大小相同的多个第五压缩特征图；
融合所述第二融合压缩特征图和所述多个第五压缩特征图，得到第三融合压缩特征图，对所述第三融合压缩特征图再次进行所述尺寸压缩，得到所述目标融合压缩特征图。
通过上述的方法，能够保证对待选原始特征图进行尺寸压缩后的特征恢复性能，在降低传输待选原始特征图的比特率的同时，提升网络的任务性能。
在一种可能的实现中，所述得到目标融合压缩特征图之后，还包括：
获取对所述多个原始特征图进行所述尺寸压缩后的多个目标融合压缩特征图；
对所述多个目标融合压缩特征图进行通道压缩，并在每次进行所述通道压缩之后插入设定数量的所述残差网络，得到N张目标压缩特征图，其中，所述N张目标压缩特征图中的每一张目标压缩特征图对应一个通道，N为大于或等于1的正整数。
基于上述的方法，对尺寸压缩后得到的多个目标融合特征图更进一步地进行通道压缩，能够在降低传输待选原始特征图的比特率的同时，提升网络的任务性能。
在一种可能的实现中，所述得到目标融合压缩特征图之后，还包括：
将所述目标融合压缩特征图进行尺寸恢复，得到第一恢复特征图；
将所述第一恢复特征图按照所述残差网络中设定的卷积核数量逐个卷积，得到与所述第一恢复特征图的尺寸大小相同的多个第二恢复特征图；
融合所述多个第二恢复特征图和所述第一恢复特征图，得到融合恢复特征图，对所述融合恢复特征图再次进行所述尺寸恢复，并在每次进行所述尺寸恢复之后插入设定数量的所述残差网络，将所述目标融合压缩特征图恢复为所述待选原始特征图。
通过上述的方法，能够将目标压缩特征图恢复为待选原始特征图，在尺寸恢复之后插入设定数量的残差网络能够保证对待选原始特征图的特征恢复性能，在降低传输待选原始特征图的比特率的同时，提升网络的任务性能。
第二方面，本申请提供了一种特征压缩装置，包括：
特征提取模块，用于获取原始图像，并对所述原始图像进行特征提取，得到所述原始图像对应的多个原始特征图；
数据压缩模块，用于选择所述多个原始特征图中的任意一个待选原始特征图，对所述待选原始特征图进行尺寸压缩，得到第一压缩特征图；
将所述第一压缩特征图按照残差网络中设定的卷积核数量逐个卷积，得到与所述第一压缩特征图的尺寸大小相同的多个第二压缩特征图，融合所述第一压缩特征图和所述多个第二压缩特征图，得到第一融合压缩特征图；
对所述第一融合压缩特征图再次进行所述尺寸压缩，并在每次进行所述尺寸压缩之后插入设定数量的所述残差网络，得到目标融合压缩特征图。
在一种可能的实现中，所述数据压缩模块，具体用于：
将所述第一融合压缩特征图再次进行所述尺寸压缩得到的第三压缩特征图按照所述残差网络中设定的卷积核数量逐个卷积，得到与所述第三压缩特征图的尺寸大小相同的多个第四压缩特征图；
融合所述第三压缩特征图和所述多个第四压缩特征图，得到第二融合压缩特征图；
对所述第二融合压缩特征图再次按照所述残差网络中设定的卷积核数量逐个卷积，得到与所述第二融合压缩特征图的尺寸大小相同的多个第五压缩特征图；
融合所述第二融合压缩特征图和所述多个第五压缩特征图，得到第三融合压缩特征图，对所述第三融合压缩特征图再次进行所述尺寸压缩，得到所述目标融合压缩特征图。
在一种可能的实现中，所述数据压缩模块，还用于：
获取对所述多个原始特征图进行所述尺寸压缩后的多个目标融合压缩特征图；
对所述多个目标融合压缩特征图进行通道压缩，并在每次进行所述通道压缩之后插入设定数量的所述残差网络，得到N张目标压缩特征图，其中，所述N张目标压缩特征图中的每一张目标压缩特征图对应一个通道，N为大于或等于1的正整数。
在一种可能的实现中，所述数据压缩模块，还用于：
将所述目标融合压缩特征图进行尺寸恢复，得到第一恢复特征图；
将所述第一恢复特征图按照所述残差网络中设定的卷积核数量逐个卷积，得到与所述第一恢复特征图的尺寸大小相同的多个第二恢复特征图；
融合所述多个第二恢复特征图和所述第一恢复特征图，得到融合恢复特征图，对所述融合恢复特征图再次进行所述尺寸恢复，并在每次进行所述尺寸恢复之后插入设定数量的所述残差网络，将所述目标融合压缩特征图恢复为所述待选原始特征图。
第三方面，本申请提供了一种电子设备，包括：
存储器，用于存放计算机程序；
处理器，用于执行所述存储器上所存放的计算机程序时，实现上述的特征压缩方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述的特征压缩方法的步骤。
上述第二方面至第四方面中的各个方面以及各个方面可能达到的技术效果请参照上述针对第一方面或第一方面中的各种可能方案可以达到的技术效果说明，这里不再重复赘述。
附图说明
图1为本申请提供的一种特征压缩方法的流程图；
图2为本申请提供的特征压缩系统架构示意图；
图3为本申请提供的一种压缩单元CBL的结构示意图；
图4为本申请提供的一种残差网络ResBlock的结构示意图；
图5为本申请提供的一种恢复单元UBL的结构示意图；
图6为本申请提供的一种1/8下采样，特征压缩和1/8上采样，特征恢复的流程图；
图7为本申请提供的一种特征压缩装置的结构示意图；
图8为本申请提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。需要说明的是，在本申请的描述中“多个”理解为“至少两个”。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。A与B连接，可以表示：A与B直接连接和A与B通过C连接这两种情况。另外，在本申请的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
下面结合附图，对本申请实施例进行详细描述。
特征压缩是用数据量较小、特征密度较大的压缩数据来表达原始数据的数据特征的一种技术手段。用以在不丢失原始数据信息的前提下，缩减原始数据的数据量，进而减少原始数据的存储空间，提升原始数据的传输、处理效率。
在网络传输领域中，数据发送端通常需要对高分辨率，尺寸较大的图像或者视频等原始数据进行特征压缩。在对图像或视频等原始数据进行特征压缩时，首先利用特征提取网络提取图像或视频的特征；然后对图像或视频的特征进行量化和熵编码；将量化和熵编码后得到的压缩数据发送到服务器端，服务器端接收到数据发送端发送的压缩数据，将压缩数据进行熵解码和反量化，使压缩数据恢复为图像或视频的特征，或者恢复为图像或视频等原始数据。
然而，在现有技术中，为了降低传输上述压缩数据的比特率，通常采用高量化参数对原始数据进行压缩，但采用较高的量化参数对原始数据进行量化会遗失原始数据的部分特征信息，导致后续对原始数据的恢复效果差，影响网络的任务性能。
鉴于此，为了尽最大可能地保留原始数据的特征信息，降低传输压缩数据的比特率，提升网络的任务性能，本申请提出了一种特征压缩方法，具体包括：首先获取原始图像，并对原始图像进行特征提取，得到原始图像对应的多个原始特征图；选择多个原始特征图中的任意一个待选原始特征图，对待选原始特征图进行尺寸压缩，得到第一压缩特征图；然后将第一压缩特征图按照残差网络中设定的卷积核数量逐个卷积，得到与第一压缩特征图的尺寸大小相同的多个第二压缩特征图，融合第一压缩特征图和多个第二压缩特征图，得到第一融合压缩特征图；最后对第一融合特征图再次进行尺寸压缩，并在每次进行尺寸压缩之后插入设定数量的残差网络，得到目标融合压缩特征图。
通过本申请所提供的方法，数据发送端对待选原始特征图进行尺寸压缩，得到第一压缩特征图，将第一压缩特征图按照残差网络中设定的卷积核数量逐个卷积，得到多个第二压缩特征图，融合第一压缩特征图和多个第二压缩特征图，得到第一融合压缩特征图，后续对第一融合压缩特征图再次进行尺寸压缩，上述方式相较于直接对待选原始特征图循环的进行尺寸压缩的方式，能够尽可能的保留对待选原始特征图进行尺寸压缩后待选原始特征图中包含的特征，保证在对待选原始特征图进行多次尺寸压缩后能够更好的恢复待选原始特征图包含的特征信息，降低传输待选原始特征图(压缩数据)的比特率，并提升网络的任务性能。
参照图1所示，其为本申请实施例提供的一种特征压缩方法的流程图，该方法包括：
S1，获取原始图像，并对原始图像进行特征提取，得到原始图像对应的多个原始特征图。
首先来讲，本申请所提供的方法可以应用于图2所示的系统构架中，在该系统构架中包括：数据采集设备、数据发送端和数据接收端(服务器端)，本申请所提供的方法可以在数据发送端或者数据接收端运行。
数据采集设备可以是图像采集类设备，图像采集类设备可以是能够获取图像信息，并将图像信息转换成数字信号输出的设备，例如相机、扫描仪等。
图像采集类设备在采集完图像或视频数据后，可以通过无线传输或者有线传输的方式将图像或视频发送到数据发送端，或者将图像或视频存储到设定的存储单元中。
数据发送端用于获取数据采集设备采集的原始图像或视频，利用特征提取网络，提取表征图像或视频的特征，对原始图像或者视频的特征按照设定的压缩方式进行压缩，去除原始图像或视频中的冗余；对原始图像或者视频的特征进行压缩后，将得到的压缩数据传输到数据接收端。
数据接收端用于接收数据发送端发送的压缩数据，可以将压缩数据进行熵解码和反量化后，将压缩数据恢复为原始图像或视频的特征，恢复的原始图像或者视频的特征可以继续用于运行其他人工智能任务，例如，目标识别或者目标检测任务等。
在一种可能的实施方式中，数据接收端同样可以直接获取数据采集设备采集的图像或视频数据，提取图像或视频的特征，将图像或视频的特征进行压缩后，将压缩数据发送到下一个数据接收端。
在本申请实施例中，数据发送端获取原始图像，并对原始图像进行特征提取，得到原始图像对应的多个原始特征图。例如，可以采用传统图像特征提取方法或者深度学习方法提取原始图像的特征，传统的特征提取方法是基于人类专家的先验知识设计图像的某些固有特征；深度学习方法是基于样本自动训练出区分图像的特征分类器，本申请对原始图像的特征提取方式不作具体限制。
数据发送端对原始图像进行特征提取后，可以得到原始图像对应的多个原始特征图。例如，256张高度H＝640pixel，宽度W＝640pixel的原始特征图。
S2，选择多个原始特征图中的任意一个待选原始特征图，对待选原始特征图进行尺寸压缩，得到第一压缩特征图。
在本申请实施例中，数据发送端在得到多个原始特征图后，可以选择多个原始特征图中的任意一个待选原始特征图，对待选原始特征图进行尺寸压缩，得到第一压缩特征图，具体地，可以通过一系列的卷积网络对待选原始特征图进行尺寸压缩，对待选原始特征图进行尺寸压缩的方式如下：
如图3所示，数据发送端确定压缩单元CBL中卷积核0(conv2d)对应的尺寸(kerner_size)、步长(stride)、以及填充(padding)的方式。示例性的，可以将卷积核0的尺寸(kerner_size)参数设置为3或者5；步长(stride)参数设置为2；填充(padding)参数设置为1或者2。
将上述卷积核0与待选原始特征图(图像特征矩阵)进行点乘运算，然后将得到的点乘运算结果进行归一化(BatchNorm2d)和非线性激活(LeakyRelu)处理后，得到第一压缩特征图，第一压缩特征图的尺寸压缩为高度H＝320pixel，宽度W＝320pixel。
通过上述方式，能够对待选原始特征图的尺寸进行初步的压缩，减少待选原始图像占用的存储空间，降低传输待选原始图像数据的比特率，并且通过对点乘运算结果进行归一化处理，能够减少梯度消失，加快收敛的速度，使对待选原始特征图的特征压缩更准确；将归一化处理的结果进行非线性激活能够使卷积网络从待选原始图像数据中学习到更为复杂的数据。
S3，将第一压缩特征图按照残差网络中设定的卷积核数量逐个卷积，得到与第一压缩特征图的尺寸大小相同的多个第二压缩特征图，融合第一压缩特征图和多个第二压缩特征图，得到第一融合压缩特征图。
在本申请实施例中，数据发送端为了进一步减小第一压缩特征图所占用的存储空间，降低传输待选原始特征图的比特率，还需对第一压缩特征图再次进行尺寸压缩，本申请对待选原始特征图进行尺寸压缩的次数不作具体限制。
在本申请实施例中，在对待选原始特征图每次进行尺寸压缩时，压缩单元中卷积核0(conv2d)的尺寸(kerner_size)、步长(stride)、以及填充(padding)的参数可以设置为相同的参数，或者根据实际的压缩需要，调节卷积核0(conv2d)的上述各项参数，在此不再赘述。
数据发送端在对待选原始特征图进行一次尺寸压缩后，会丢失待选原始特征图中的部分特征信息，因此，为了尽可能的保留待选原始特征图中的特征信息，需要在每一次对待选原始特征图进行尺寸压缩后插入残差网络，将尺寸压缩一次后的第一压缩特征图与残差网络中设定的卷积核数量逐个卷积，得到与第一压缩特征图的尺寸大小相同的多个第二压缩特征图，然后将第一压缩特征图和多个第二压缩特征图进行融合，对融合后的第一融合压缩特征图再次进行压缩。
具体地，如图4所示，数据发送端可以在残差网络(ResBlock)中设定多个卷积核，其中，多个卷积核均来源于压缩单元中。卷积核的数量可以是2个或者3个，可根据实际对第一压缩特征图进行尺寸压缩的需要进行选择。在对第一压缩特征图进行尺寸压缩的程度较大时，例如，若将第一压缩特征图的高度H＝320pixel，宽度W＝320pixel压缩到目标高度H＝40pixel，宽度W＝40pixel，优选的，可以在残差网络中设置3个卷积核；若将第一压缩特征图的高度H＝320pixel，宽度W＝320pixel压缩到目标高度H＝160pixel，宽度W＝160pixel，优选的，可以在残差网络中设置2个卷积核，本申请对残差网络中卷积核的数量不作具体限制。
数据发送端将第一压缩特征图按照残差网络中设定的卷积核数量逐个卷积，可以得到与第一压缩特征图的尺寸大小相同的多个第二压缩特征图，例如，将残差网络中的一个卷积核1(conv2d)的尺寸(kerner_size)、步长(stride)、以及填充(padding)参数分别设置为1、1、0，将第一压缩特征图与该卷积核1进行卷积运算，得到一个第二压缩特征图；同理可以将残差网络中的又一个卷积核2(conv2d)的尺寸(kerner_size)、步长(stride)、以及填充(padding)参数分别设置为3、1、1，得到又一个第二压缩特征图；将残差网络中的又一个卷积核3(conv2d)的尺寸(kerner_size)、步长(stride)、以及填充(padding)参数分别设置为1、1、0，得到又一个第二压缩特征图。
数据发送端在得到上述与第一压缩特征图和多个第二压缩特征图后，可以将第一压缩特征图与多个第二压缩特征图进行特征融合，得到第一融合压缩特征图，本申请对第一压缩特征图和多个第二压缩特征图进行融合的方式不作具体限制，可以直接将第一压缩特征图与多个第二压缩特征图之和作为第一融合压缩特征图，在此不再赘述。
通过将第一压缩特征图按照残差网络中设定的卷积核数量逐个卷积，将逐个卷积得到的多个第二压缩特征图与第一压缩特征图进行融合，能够尽可能的保留第一压缩特征图中的特征信息，减少后续对第一压缩特征图进行尺寸压缩后的特征信息丢失，在降低传输待选原始特征图的比特率的同时，提升对尺寸压缩后的待选原始特征图的特征恢复性能，并提升网络的任务性能。
S4，对第一融合压缩特征图再次进行尺寸压缩，并在每次进行尺寸压缩之后插入设定数量的残差网络，得到目标融合压缩特征图。
在本申请实施例中，数据发送端在得到第一融合压缩特征图后，可以进一步的对第一融合压缩特征图进行尺寸压缩，对第一融合压缩特征图进行尺寸压缩的方式如下：
数据发送端将第一融合压缩特征图再次按照上述压缩单元(CBL)中卷积核0(conv2d)，进行尺寸压缩，将该卷积核0与第一融合压缩特征图(图像特征矩阵)进行点乘运算，将得到的点乘运算结果进行归一化(BatchNorm2d)和非线性激活(LeakyRelu)处理后，得到第三压缩特征图；该卷积核0的尺寸(kerner_size)参数可设置为3或者5；步长(stride)参数可设置为2；填充(padding)参数可设置为1或者2，得到的第三压缩特征图的高度H＝160pixel，宽度W＝160pixel。
对第三压缩特征图按照上述残差网络中设定的卷积核数量逐个卷积，能够得到与第三压缩特征图的尺寸大小相同的多个第四压缩特征图；融合第三压缩特征图和多个第四压缩特征图，能够得到第二融合压缩特征图。
为了更尽可能的保留第一融合压缩特征图中的特征信息，数据发送端在获取第二融合压缩特征图后，对第二融合压缩特征图再次按照上述残差网络(ResBlock)中设定的卷积核数量逐个卷积，得到与第二融合压缩特征图的尺寸大小相同的多个第五压缩特征图，融合第二融合压缩特征图和多个第五压缩特征图，能够得到第三融合压缩特征图，对第三融合压缩特征图再次进行尺寸压缩，并在每次进行尺寸压缩之后插入设定数量的上述残差网络，能够得到目标融合压缩特征图，最终得到的目标融合压缩特征图的高度H可以是80pixel，宽度W可以是80pixel。
这里，需要指出的是，对第一融合压缩特征图再次进行尺寸压缩后，在其之后插入了上述两个残差网络。本申请在对第一融合压缩特征图进行尺寸压缩后插入残差网络的数量可以随着对第一融合压缩特征图进行尺寸压缩的次数的增大而增加，采用这种方式能够保证对第一融合压缩特征图进行尺寸压缩后的特征恢复性能。
通过上述方式，能够保证对待选原始特征图进行尺寸压缩后的特征恢复性能，在降低传输待选原始特征图的比特率的同时，提升网络的任务性能。
在本申请实施例中，数据发送端在得到目标融合压缩特征图后，根据上述对一个待选原始特征图进行尺寸压缩的步骤，可以获取对多个原始特征图分别进行尺寸压缩后的多个目标融合压缩特征图，为了更进一步地减少目标融合压缩特征图的数量，即减少目标融合压缩特征图的通道数。可以对得到的多个目标融合特征图进行通道压缩，并在每次进行通道压缩之后插入设定数量的上述残差网络，得到N张目标压缩特征图。
例如，将256张(通道数为256)高度H＝80pixel，宽度W＝80pixel的目标融合压缩特征图压缩为64张(通道数为256)高度H＝80pixel，宽度W＝80pixel的目标压缩特征图，其中，N张目标压缩特征图中的每一张目标压缩特征图对应一个通道，N为大于或等于1的正整数。
通过上述方式，对尺寸压缩后得到的多个目标融合特征图更进一步地进行通道压缩，能够在降低传输待选原始特征图的比特率的同时，提升网络的任务性能。
在本申请实施例中，数据发送端在得到目标融合压缩特征图(未经过通道压缩)或者目标压缩特征图(经过通道压缩)之后，可以将目标融合压缩特征图或者目标压缩特征图经过量化、编码、解码、反量化后，将目标压缩特征图发送到数据接收端，由数据接收端对目标压缩特征图进行特征恢复。
在本申请实施例中，对目标压缩特征图进行特征恢复的方式如下：
数据接收端接收目标压缩特征图，在对目标融合压缩特征图进行尺寸恢复之前，需要将64张(通道数为64)高度H＝80pixel，宽度W＝80pixel的目标压缩特征图恢复为256张(通道数为256)高度H＝80pixel，宽度W＝80pixel的目标融合压缩特征图，示例性地，可以将目标压缩特征图与设定的卷积核4进行卷积运算，将64张目标压缩特征图恢复为256张目标融合压缩特征图，其中，卷积核4的尺寸(kerner_size)参数可设置为3；步长(stride)参数可设置为1；填充(padding)参数可设置为1。
然后对目标融合压缩特征图按照上述残差网络中设定的卷积核数量逐个卷积，将卷积结果与目标融合压缩特征图进行融合后，再对目标融合压缩特征图进行尺寸恢复，得到第一恢复特征图。对目标融合压缩特征图进行尺寸恢复的具体过程如下：
如图5所示，数据接收端可以选择256张目标融合压缩特征图中的任意一张待选目标融合压缩特征图，然后对待选目标融合压缩特征图与恢复单元UBL中设定的卷积核5(ConvTranspose2d)进行卷积运算，将得到的卷积运算结果进行归一化(BatchNorm2d)和非线性激活(LeakyRelu)处理后，得到第一恢复特征图，得到的第一恢复特征图的高度H＝160pixel，宽度W＝160pixel。其中，卷积核5的尺寸(kerner_size)参数可设置为3；步长(stride)参数可设置为2；填充(padding)参数可设置为1。
将第一恢复特征图按照上述残差网络中设定的卷积核数量逐个卷积，能够得到与第一恢复特征图的尺寸大小相同的多个第二恢复特征图，融合多个第二恢复特征图和第一恢复特征图，能够得到融合恢复特征图，对融合恢复特征图再次进行尺寸恢复，并在每次进行尺寸恢复之后插入设定数量的上述残差网络，能够将目标压缩特征图恢复为待选原始特征图。上述在特征恢复的过程中，残差网络的设置方式可参照上述对待选原始特征图进行尺寸压缩后设置残差网络的方式进行设置，在此不再赘述。
为了对本发明申请的发明点进行充分阐述，下面结合附图6进行详细说明：
在本申请实施例中，数据发送端首先获取原始图像，然后对原始图像进行特征提取，得到原始图像对应的多个原始特征图，如图6所示的256张(通道数为256)、高度H为640pixel，宽度W为640pixel的原始特征图；
假设对256张原始特征图中的任意一张待选原始特征图进行1/8下采样，即将待选原始特征图的尺寸缩小为原始特征图的1/8，具体过程如下：
对待选原始特征图进行一次尺寸压缩，即将待选原始特征图与压缩单元CBL中的卷积核0进行点乘运算，对点乘运算的结果进行归一化、非线性激活后，得到高度H＝320pixel，宽度W＝320pixel的第一压缩特征图。
然后将第一压缩特征图按照残差网络中设定的卷积核1、卷积核2、卷积核3逐个进行卷积，将卷积后得到的多个第二压缩特征图与第一压缩特征图进行融合，得到第一融合压缩特征图，第一融合压缩特征图的高度H＝320pixel，宽度W＝320pixel。
进一步，将第一融合压缩特征图再次按照上述压缩单元(CBL)中卷积核0(conv2d)，进行第二次尺寸压缩，得到高度H＝160pixel，宽度W＝160pixel的第三压缩特征图，然后在得到第三压缩特征图之后插入两个上述残差网络，得到高度H＝160pixel，宽度W＝160pixel的第三融合压缩特征图。
对第三融合压缩特征图再次进行尺寸压缩，并在每次进行尺寸压缩之后插入设定数量的上述残差网络，这里进行的是对待选原始特征图的第三次尺寸压缩，在对第三融合压缩特征图再次进行尺寸压缩时，可以插入三个上述残差网络，得到高度H为80pixel，宽度W为80pixel的目标融合压缩特征图。
根据上述获取一个待选原始特征图对应的目标融合特征图的步骤，数据发送端可以得到多个原始图分别对应的多个目标融合压缩特征图，即256张高度H为80pixel，宽度W为80pixel的目标融合压缩特征图；为更进一步的压缩原始特征图，可以对得到的多个目标融合特征图进行通道压缩，并在每次进行通道压缩之后插入设定数量的上述残差网络，得到N张目标压缩特征图，其中，N为64。
这里，需要指出的是，每次对待选原始特征图进行尺寸压缩之后，待选原始特征图的尺寸变为原尺寸的1/2，本申请仅以对待选原始特征图进行三次尺寸压缩(对待选原始特征图进行1/8下采样)为例进行说明，具体可按照实际需要对待选原始特征图进行多次尺寸压缩，在此不再赘述。
在得到目标压缩特征图后，将目标压缩特征图经过编解码单元中的量化、编码、解码和反量化后，通过对目标压缩特征图进行1/8上采样，可以将目标压缩特征图恢复为上述待选原始特征图，具体的恢复过程如下：
数据接收端接收64张(通道数为64)高度H＝80pixel，宽度W＝80pixel的目标压缩特征图，选择任意一张待选目标压缩特征图，将待选目标压缩特征图与通道恢复CBL中设定的卷积核4进行卷积运算，将64张目标压缩特征图恢复为256张目标融合压缩特征图。
在得到目标融合压缩特征图之后插入上述残差网络，得到256张高度H＝80pixel，宽度W＝80pixel的融合恢复特征图；然后对融合恢复特征图再次进行尺寸恢复UBL(共3次)，并在每次进行尺寸恢复之后插入设定数量的上述残差网络，将64张高度H＝80pixel，宽度W＝80pixel目标压缩特征图恢复为256张高度H＝640pixel，宽度W＝640pixel待选原始特征图。
这里，需要指出的是，在第三次对融合恢复特征图进行尺寸恢复，并插入设定数量的上述残差网络后，还可以对尺寸恢复的特征图进行一次特征融合，将目标压缩特征图恢复待选原始特征图。
若还需进一步对原始特征图进行尺寸压缩或者通道压缩，即对原始特征图进行1/16下采样，同样能够基于上述对待选原始特征图进行尺寸压缩或尺寸恢复的步骤，得到相应的目标压缩特征图或将目标压缩特征图恢复为待选原始特征图，在此不再赘述。
综上所述，本申请通过在对待选原始特征图每次进行尺寸压缩之后插入设定数量的残差网络，能够尽可能的保留待选原始特征图中的特征信息，解决对待选原始特征图进行多次尺寸压缩后梯度消失的问题；通过每次对目标融合压缩特征图进行尺寸恢复时，在尺寸恢复之后插入设定数量的残差网络能够保证对待选原始特征图的特征恢复性能，在降低传输待选原始特征图的比特率的同时，提升网络的任务性能。
基于上述的实施例中所提供的方法，本申请实施例还提供了一种特征压缩装置，如图7所示为本申请实施例中一种特征压缩装置的结构示意图，该装置包括：
特征提取模块701，用于获取原始图像，并对所述原始图像进行特征提取，得到所述原始图像对应的多个原始特征图；
数据压缩模块702，用于选择所述多个原始特征图中的任意一个待选原始特征图，对所述待选原始特征图进行尺寸压缩，得到第一压缩特征图；
将所述第一压缩特征图按照残差网络中设定的卷积核数量逐个卷积，得到与所述第一压缩特征图的尺寸大小相同的多个第二压缩特征图，融合所述第一压缩特征图和所述多个第二压缩特征图，得到第一融合压缩特征图；
对所述第一融合压缩特征图再次进行所述尺寸压缩，并在每次进行所述尺寸压缩之后插入设定数量的所述残差网络，得到目标融合压缩特征图。
在一种可能的实现中，所述数据压缩模块702，具体用于：
将所述第一融合压缩特征图再次进行所述尺寸压缩得到的第三压缩特征图按照所述残差网络中设定的卷积核数量逐个卷积，得到与所述第三压缩特征图的尺寸大小相同的多个第四压缩特征图；
融合所述第三压缩特征图和所述多个第四压缩特征图，得到第二融合压缩特征图；
对所述第二融合压缩特征图再次按照所述残差网络中设定的卷积核数量逐个卷积，得到与所述第二融合压缩特征图的尺寸大小相同的多个第五压缩特征图；
融合所述第二融合压缩特征图和所述多个第五压缩特征图，得到第三融合压缩特征图，对所述第三融合压缩特征图再次进行所述尺寸压缩，得到所述目标融合压缩特征图。
在一种可能的实现中，所述数据压缩模块702，还用于：
获取对所述多个原始特征图进行所述尺寸压缩后的多个目标融合压缩特征图；
对所述多个目标融合压缩特征图进行通道压缩，并在每次进行所述通道压缩之后插入设定数量的所述残差网络，得到N张目标压缩特征图，其中，所述N张目标压缩特征图中的每一张目标压缩特征图对应一个通道，N为大于或等于1的正整数。
在一种可能的实现中，所述数据压缩模块702，还用于：
将所述目标融合压缩特征图进行尺寸恢复，得到第一恢复特征图；
将所述第一恢复特征图按照所述残差网络中设定的卷积核数量逐个卷积，得到与所述第一恢复特征图的尺寸大小相同的多个第二恢复特征图；
融合所述多个第二恢复特征图和所述第一恢复特征图，得到融合恢复特征图，对所述融合恢复特征图再次进行所述尺寸恢复，并在每次进行所述尺寸恢复之后插入设定数量的所述残差网络，将所述目标融合压缩特征图恢复为所述待选原始特征图。
基于同一发明构思，本申请实施例中还提供了一种电子设备，所述电子设备可以实现前述特征压缩装置的功能，参考图8，所述电子设备包括：
至少一个处理器801，以及与至少一个处理器801连接的存储器802，本申请实施例中不限定处理器801与存储器802之间的具体连接介质，图8中是以处理器801和存储器802之间通过总线800连接为例。总线800在图8中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线800可以分为地址总线、数据总线、控制总线等，为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。或者，处理器801也可以称为控制器，对于名称不做限制。
在本申请实施例中，存储器802存储有可被至少一个处理器801执行的指令，至少一个处理器801通过执行存储器802存储的指令，可以执行前文论述的特征压缩方法。处理器801可以实现图7所示的装置中各个模块的功能。
其中，处理器801是该装置的控制中心，可以利用各种接口和线路连接整个该控制设备的各个部分，通过运行或执行存储在存储器802内的指令以及调用存储在存储器802内的数据，该装置的各种功能和处理数据，从而对该装置进行整体监控。
在一种可能的设计中，处理器801可包括一个或多个处理单元，处理器801可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器801中。在一些实施例中，处理器801和存储器802可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
处理器801可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的特征压缩方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器802作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器802可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器802是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器802还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
通过对处理器801进行设计编程，可以将前述实施例中介绍的特征压缩方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行图1所示的实施例的特征压缩方法的步骤。如何对处理器801进行设计编程为本领域技术人员所公知的技术，这里不再赘述。
基于同一发明构思，本申请实施例还提供一种存储介质，该存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行前文论述的特征压缩方法。
在一些可能的实施方式中，本申请提供的特征压缩方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在装置上运行时，程序代码用于使该控制设备执行本说明书上述描述的根据本申请各种示例性实施方式的特征压缩方法中的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种特征压缩方法，其特征在于，包括：
获取原始图像，并对所述原始图像进行特征提取，得到所述原始图像对应的多个原始特征图；
选择所述多个原始特征图中的任意一个待选原始特征图，对所述待选原始特征图进行尺寸压缩，得到第一压缩特征图；
将所述第一压缩特征图按照残差网络中设定的卷积核数量逐个卷积，得到与所述第一压缩特征图的尺寸大小相同的多个第二压缩特征图，融合所述第一压缩特征图和所述多个第二压缩特征图，得到第一融合压缩特征图；
对所述第一融合压缩特征图再次进行所述尺寸压缩，并在每次进行所述尺寸压缩之后插入设定数量的所述残差网络，得到目标融合压缩特征图。
2.如权利要求1所述的方法，其特征在于，所述对所述第一融合压缩特征图再次进行所述尺寸压缩，并在每次进行所述尺寸压缩之后插入设定数量的所述残差网络，得到目标融合压缩特征图，包括：
将所述第一融合压缩特征图再次进行所述尺寸压缩得到的第三压缩特征图按照所述残差网络中设定的卷积核数量逐个卷积，得到与所述第三压缩特征图的尺寸大小相同的多个第四压缩特征图；
融合所述第三压缩特征图和所述多个第四压缩特征图，得到第二融合压缩特征图；
对所述第二融合压缩特征图再次按照所述残差网络中设定的卷积核数量逐个卷积，得到与所述第二融合压缩特征图的尺寸大小相同的多个第五压缩特征图；
融合所述第二融合压缩特征图和所述多个第五压缩特征图，得到第三融合压缩特征图，对所述第三融合压缩特征图再次进行所述尺寸压缩，得到所述目标融合压缩特征图。
3.如权利要求1所述的方法，其特征在于，所述得到目标融合压缩特征图之后，还包括：
获取对所述多个原始特征图进行所述尺寸压缩后的多个目标融合压缩特征图；
对所述多个目标融合压缩特征图进行通道压缩，并在每次进行所述通道压缩之后插入设定数量的所述残差网络，得到N张目标压缩特征图，其中，所述N张目标压缩特征图中的每一张目标压缩特征图对应一个通道，N为大于或等于1的正整数。
4.如权利要求1所述的方法，其特征在于，所述得到目标融合压缩特征图之后，还包括：
将所述目标融合压缩特征图进行尺寸恢复，得到第一恢复特征图；
将所述第一恢复特征图按照所述残差网络中设定的卷积核数量逐个卷积，得到与所述第一恢复特征图的尺寸大小相同的多个第二恢复特征图；
融合所述多个第二恢复特征图和所述第一恢复特征图，得到融合恢复特征图，对所述融合恢复特征图再次进行所述尺寸恢复，并在每次进行所述尺寸恢复之后插入设定数量的所述残差网络，将所述目标融合压缩特征图恢复为所述待选原始特征图。
5.一种特征压缩装置，其特征在于，所述装置包括：
特征提取模块，用于获取原始图像，并对所述原始图像进行特征提取，得到所述原始图像对应的多个原始特征图；
数据压缩模块，用于选择所述多个原始特征图中的任意一个待选原始特征图，对所述待选原始特征图进行尺寸压缩，得到第一压缩特征图；
将所述第一压缩特征图按照残差网络中设定的卷积核数量逐个卷积，得到与所述第一压缩特征图的尺寸大小相同的多个第二压缩特征图，融合所述第一压缩特征图和所述多个第二压缩特征图，得到第一融合压缩特征图；
对所述第一融合压缩特征图再次进行所述尺寸压缩，并在每次进行所述尺寸压缩之后插入设定数量的所述残差网络，得到目标融合压缩特征图。
6.如权利要求5所述的装置，其特征在于，所述数据压缩模块，具体用于：
将所述第一融合压缩特征图再次进行所述尺寸压缩得到的第三压缩特征图按照所述残差网络中设定的卷积核数量逐个卷积，得到与所述第三压缩特征图的尺寸大小相同的多个第四压缩特征图；
融合所述第三压缩特征图和所述多个第四压缩特征图，得到第二融合压缩特征图；
对所述第二融合压缩特征图再次按照所述残差网络中设定的卷积核数量逐个卷积，得到与所述第二融合压缩特征图的尺寸大小相同的多个第五压缩特征图；
融合所述第二融合压缩特征图和所述多个第五压缩特征图，得到第三融合压缩特征图，对所述第三融合压缩特征图再次进行所述尺寸压缩，得到所述目标融合压缩特征图。
7.如权利要求5所述的装置，其特征在于，所述数据压缩模块，还用于：
获取对所述多个原始特征图进行所述尺寸压缩后的多个目标融合压缩特征图；
对所述多个目标融合压缩特征图进行通道压缩，并在每次进行所述通道压缩之后插入设定数量的所述残差网络，得到N张目标压缩特征图，其中，所述N张目标压缩特征图中的每一张目标压缩特征图对应一个通道，N为大于或等于1的正整数。
8.如权利要求5所述的装置，其特征在于，所述数据压缩模块，还用于：
将所述目标融合压缩特征图进行尺寸恢复，得到第一恢复特征图；
将所述第一恢复特征图按照所述残差网络中设定的卷积核数量逐个卷积，得到与所述第一恢复特征图的尺寸大小相同的多个第二恢复特征图；
融合所述多个第二恢复特征图和所述第一恢复特征图，得到融合恢复特征图，对所述融合恢复特征图再次进行所述尺寸恢复，并在每次进行所述尺寸恢复之后插入设定数量的所述残差网络，将所述目标融合压缩特征图恢复为所述待选原始特征图。
9.一种电子设备，其特征在于，包括：
存储器，用于存放计算机程序；
处理器，用于执行所述存储器上所存放的计算机程序时，实现权利要求1-4中任一项所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一项所述的方法步骤。
CN202310822913.0A 2023-07-05 2023-07-05 一种特征压缩方法、装置及电子设备 Pending CN116939227A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310822913.0A CN116939227A (zh) 2023-07-05 2023-07-05 一种特征压缩方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310822913.0A CN116939227A (zh) 2023-07-05 2023-07-05 一种特征压缩方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN116939227A true CN116939227A (zh) 2023-10-24

Family

ID=88393353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310822913.0A Pending CN116939227A (zh) 2023-07-05 2023-07-05 一种特征压缩方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN116939227A (zh)

Similar Documents

Publication Publication Date Title
US10834415B2 (en) Devices for compression/decompression, system, chip, and electronic device
EP3777207B1 (en) Content-specific neural network distribution
EP3583777A1 (en) A method and technical equipment for video processing
US10880566B2 (en) Method and device for image encoding and image decoding
US9462152B2 (en) System and method for hiding reversible information
CN101690226A (zh) 统计性图像改善方法、图像编码方法以及图像解码方法
CN113596473B (zh) 视频压缩方法及装置
CN107454412A (zh) 一种视频图像的处理方法、装置及系统
US20070064275A1 (en) Apparatus and method for compressing images
Löhdefink et al. Focussing learned image compression to semantic classes for V2X applications
CN112714313A (zh) 图像处理方法、装置、设备和存储介质
CN112702607A (zh) 一种基于光流决策的智能视频压缩方法及装置
CN110730277B (zh) 一种信息编码及获取编码信息的方法和装置
CN116939227A (zh) 一种特征压缩方法、装置及电子设备
CN105163124A (zh) 一种图像编码方法、图像解码方法及装置
CN112954456B (zh) 一种视频数据处理方法、终端及计算机可读存储介质
CN115643406A (zh) 视频解码方法、视频编码方法、装置、存储介质及设备
CN113422965A (zh) 一种基于生成对抗网络的图像压缩方法及装置
CN115250351A (zh) 用于图像数据的压缩方法、解压方法及相关产品
CN114584781A (zh) 视频压缩方法及装置、计算机可读存储介质
CN116668702B (zh) 一种视频编码方法、装置、终端设备及存储介质
CN113691818B (zh) 视频目标检测方法、系统、存储介质、计算机视觉终端
US20230269380A1 (en) Encoding method, decoding method, encoder, decoder and storage medium
JP3123797B2 (ja) 予測符号化方式の符号化装置および復号化装置
CN114627143A (zh) 一种图像处理方法、装置、终端设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination