CN111918071A - 数据压缩的方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种数据压缩的方法、装置、设备及存储介质，包括：将数据从高语义冗余的域压缩到低语义冗余的域，得到以自然语义形式表述的压缩数据，对所述压缩数据进行有损编码或无损编码，得到编码后的压缩数据，对所述编码后的压缩数据进行解码，得到可用自然语义形式表述的低语义冗余数据，对所述可用自然语义形式表述的低语义冗余数据进行解压，得到高语义冗余数据。本发明公开的数据压缩方法，将高语义冗余的数据压缩到低语义冗余的数据，不仅实现数据的压缩，而且重点优化数据的语义层面的保真，得到的压缩数据是以自然语义形式表述的人可以理解的数据，可以面向一个或多个机器分析任务，还可以应用于语义监控的场景中。

Description

数据压缩的方法、装置、设备及存储介质

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据压缩的方法、装置、设备及存储介质。

背景技术

传统的数据压缩框架主要是信号层面的保真和人眼观看的主观保真，但是，近些年来逐渐增多的机器分析的应用场景主要要求数据的语义层面的保真，因此，随着近些年机器分析任务逐渐应用到生产生活中，传统的压缩框架不能在机器分析的应用场景下达到最优。

现有技术中提出的面向机器分析的压缩框架包括终层特征压缩框架和中间层特征压缩框架，终层特征压缩框架压缩和传输神经网络最终层的特征，使用先分析，再压缩传输的方式，在摄像机前端进行几乎所有的分析计算，然后将分析层前一层的特征向量压缩传输到计算中心，在计算中心得到最终的分析结果，这种压缩方式的好处在于，大大减轻了计算中心的负载，将分析任务的负载分布式的放在了前端设备上，这种压缩方式也有严重的缺点，它使用的特征向量是任务特异的，只能在计算中心应用于一个任务。当我们希望在计算中心得到多个分析结果时，就需要压缩传输多个特征向量。

中间层特征压缩使用网络的中间层特征，而不是最终层，利用中间层特征任务特异性较弱的特点，使得压缩和传输的特征向量可以在计算中心得到多个任务的分析结果，同时，可以通过调整特征向量所在中间层的位置，可以合理分配分析任务在前端和计算中心的负载，这种压缩方式的缺点是，特征向量不是人可以理解的。在语义监控场景中，即我们需要实时监控数据的某些语义信息，而不是原始数据，这种中间层特征压缩方式将无法满足需求。

发明内容

本公开实施例提供了一种数据压缩的方法、装置、设备及存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

第一方面，本公开实施例提供了一种数据压缩的方法，包括：

将数据从高语义冗余的域压缩到低语义冗余的域，得到以自然语义形式表述的压缩数据。

进一步地，得到以自然语义形式表述的压缩数据之后，还包括：

对压缩数据进行有损编码或无损编码，得到编码后的压缩数据。

进一步地，得到编码后的压缩数据之后，还包括：

对编码后的压缩数据进行解码，得到可用自然语义形式表述的低语义冗余数据；

对可用自然语义形式表述的低语义冗余数据进行解压，得到高语义冗余数据。

进一步地，将数据从高语义冗余的域压缩到低语义冗余的域，得到以自然语义形式表述的压缩数据，包括：

根据预先训练的自然语义描述模型，将数据从高语义冗余的域压缩到低语义冗余的域，得到以自然语义形式表述的压缩数据。

进一步地，高语义冗余的域，包括以下中的一种或多种：

图像域、视频域以及点云数据域。

进一步地，低语义冗余的域，包括以下中的一种或多种：

文本域、边缘图域、语义图域以及属性表域。

第二方面，本公开实施例提供了一种数据压缩的装置，包括：

跨模态编码器，用于将数据从高语义冗余的域压缩到低语义冗余的域，得到以自然语义形式表述的压缩数据。

进一步地，还包括：

压缩域内编码器，用于对低语义冗余域内数据进行有损编码或无损编码，得到编码后的压缩数据。

第三方面，本公开实施例提供了一种数据压缩设备，包括处理器和存储有程序指令的存储器，处理器被配置为在执行程序指令时，执行上述实施例提供的数据压缩方法。

第四方面，本公开实施例提供了一种计算机可读介质，其上存储有计算机可读指令，计算机可读指令可被处理器执行以实现上述权利要求提供的一种数据压缩方法。

本公开实施例提供的技术方案可以包括以下有益效果：

本公开实施例提供的一种数据压缩方法，是一种跨模态的数据压缩方法，可以将数据从高语义冗余的域压缩到低语义冗余的域，得到的是用自然语义形式描述的人可理解的压缩数据，而且该方法重点优化数据的语义层面的保真，可以应用于机器分析和语义监控的应用场景中。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种数据压缩方法的流程示意图；

图2是根据一示例性实施例示出的一种数据压缩方法的示意图；

图3是根据一示例性实施例示出的一种将图像数据压缩到文本数据的示意图；

图4是根据一示例性实施例示出的一种将视频数据压缩到语义图数据的示意图；

图5是根据一示例性实施例示出的一种数据压缩装置的结构示意图；

图6是根据一示例性实施例示出的一种数据压缩设备的结构示意图；

图7是根据一示例性实施例示出的一种计算机存储介质的示意图。

具体实施方式

为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或一个以上实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。

本公开实施例提供了一种跨模态的数据压缩方法，可以将数据从高语义冗余的域压缩到低语义冗余的域，得到以自然语义形式表述的便于人理解的压缩数据，还可以将数据从低语义冗余的域解压到高语义冗余的域，将数据恢复过来，例如将图像数据压缩到可用文字描述的文本数据，将可用文字描述的文本数据恢复到图像数据，该方法重点优化数据的语义层面的保真，可以应用于机器分析和语义监控的应用场景中。

下面将结合附图1-附图7，对本申请实施例提供的数据压缩的方法、装置、设备及存储介质进行详细介绍。

参见图1，该方法具体包括以下步骤；

S101、将数据从高语义冗余的域压缩到低语义冗余的域，得到以自然语义形式表述的压缩数据。

其中，高语义冗余的域包括图像域、视频域以及点云数据域中的一种或多种，低语义冗余的域，包括文本域、边缘图域、语义图域以及属性表域中的一种或多种。

在一些可能的实现方式中，将图像数据压缩成文本数据、边缘图数据、语义图数据或者属性表数据，将视频数据压缩成文本数据、边缘图数据、语义图数据或者属性表数据，将点云数据压缩成文本数据、边缘图数据、语义图数据或者属性表数据。压缩成的文本数据、边缘图数据、语义图数据或者属性表数据都是以自然语义形式表述的便于人理解的压缩数据。

具体地，将数据从高语义冗余的域压缩到低语义冗余的域，包括，根据预先训练的自然语义描述模型，提取高语义冗余数据的语义，将提取出来的语义用文本、边缘图、语义图或者属性表中的一种或多种形式描述出来，得到便于人理解的压缩数据，实现跨模态压缩。

在一种可能的实现方式中，将高语义冗余的图像数据压缩到低语义冗余的文本数据，图3是根据一示例性实施例示出的一种将图像数据压缩到文本数据的示意图，如图3所示，图像数据是一只鸟，将图像数据输入跨模态编码器，利用预先训练的自然语义描述模型，提取图像数据的语义，将提取出来的语义用文本描述出来，得到用文本描述的压缩数据。

可选地，可用卷积神经网络将输入的图像数据编码为一个语义特征，然后通过循环神经网络从该语义特征中逐字生成文本描述，如图3所示，该跨模态编码器将输入的图像数据压缩成“A bird is with a gray back and yellow belly”的文本数据，翻译成中文为“小鸟的背是灰色的，腹部是黄色的”，该文本数据是用自然语义形式表述的便于人理解的压缩数据，是对图像内容的描述。

可选地，还可以将图像数据压缩成语义图，通过卷积神经网络提取图像数据中的语义序列，并将提取到的语义序列用语义图的形式表述出来。

可选地，还可以将图像数据压缩成边缘图，通过卷积神经网络提取图像数据中的语义序列，并将提取到的语义序列用边缘图的形式表述出来。

在一些可能的实现方式中，将高语义冗余的视频数据压缩到低语义冗余的语义图数据，图4是根据一示例性实施例示出的一种将视频数据压缩到语义图数据的示意图，如图4所示，将一段视频图像输入跨模态解码器，利用人体骨架提取模型提取人体的语义序列，根据提取到的人体的语义序列生成语义图，因为人体的语义序列只包含人体的骨架信息，不包含视频的背景信息，所以是低语义冗余的表示形式，生成的语义图清晰直观，便于理解。

可选地，将高语义冗余的视频数据压缩到低语义冗余的文本数据，可用基于卷积神经网络和循环神经网络的视频描述模型生成文本描述，得到用自然语义形式表述的便于人理解的压缩数据，是对视频内容的描述。

可选地，还可以将高语义冗余的点云数据压缩成低语义冗余的文本数据、边缘图数据、语义图数据或者属性表数据，本领域技术人员可以通过针对点云数据的自然语义描述模型，提取点云数据的语义，然后用文本、边缘图、语义图或者属性表中的一种或多种形式描述出来，得到便于人理解的压缩数据，实现跨模态压缩。

本领域技术人员可以根据需要，采用合适的压缩方法，本公开实施例不做具体限定。

通过该步骤，可以将高语义冗余的数据压缩到低语义冗余的数据，得到可用自然语义形式描述的压缩数据，该压缩数据可用于语义监控场景，该压缩数据可以面向一个或多个机器分析任务。

进一步地，得到以自然语义形式表述的压缩数据之后，还包括：

S102、对压缩数据进行有损编码或无损编码，得到编码后的压缩数据。

进一步地，得到压缩数据之后，还可以对压缩数据进行域内编码，其中，可以对压缩数据进行有损编码或无损编码，得到编码后的压缩数据，在对压缩数据进行有损编码时，损失率不能超过预设损失率阈值，否则会发生失真，具体的损失率阈值本领域人员可自行设定。

在一种可能的实现方式中，通过面向文本的Huffman编码器对文本压缩数据进行编码，得到二进制码流，首先在训练集上统计不同字符的概率，根据概率构建Huffman树，根据Huffman树对字符进行编码，Huffman编码器是一个无损编码器，可以无损的将文本从二进制流恢复出来。

如图3所示，根据Huffman编码器对压缩后的文本数据“A bird is with a grayback and yellow belly”进行编码，得到二进制码流。

可选地，可以采用二进制编码器，也可以采用非二进制编码器。

在一种可能的实现方式中，可以采用基于传统视频编码器的语义图编码器，将数据从语义图序列压缩为二进制码流，由于语义图序列不包含背景信息，编码语义图序列只耗费较少的码率。

如图4所示，采用语义图编码器对得到的语义图压缩数据进行编码，得到二进制码流。

可选地，还可以采用其他编码器，本公开实施例不做具体限定，得到的二进制码流可以用于数据的存储和传输。

进一步地，得到编码后的压缩数据之后，还包括：

S103、对编码后的压缩数据进行解码，得到可用自然语义形式表述的低语义冗余数据；

具体地，当需要将数据从低语义冗余的域恢复到高语义冗余的域的时候，首先，将压缩域内的二进制码流数据恢复到以自然语义形式表述的低语义冗余数据。

在一种可能的实现方式中，通过Huffman解码器将二进制码流恢复成文本数据，具体的，利用编码过程中生成的Huffman树，对Huffman码流进行解码，即可无损恢复原始数据。如图3所示，通过Huffman解码器又将二进制码流恢复成“A bird is with a gray backand yellow belly”文本数据。

在一种可能的实现方式中，通过语义图解码器将数据从二进制码流恢复成语义图。

可选地，还可以采用其他解码器，本公开实施例不对解码器做具体限定，解码器和编码器可以成对存在。

S104、对可用自然语义形式表述的低语义冗余数据进行解压，得到高语义冗余数据。

具体地，得到用自然语义形式表述的低语义冗余数据之后，对低语义冗余数据进行解压，得到高语义冗余数据。

在一种可能的实现方式中，利用预先训练的基于文本的图像生成模型，利用文本中的语义信息作为条件，生成图像，然后使用基于注意力的多级条件生成对抗网络来生成高分辨率的图像，达到将数据从压缩域中解码出来的目的，具体的，我们使用多个阶段的渐进式生成网络，先生成较低分辨率的图像，然后逐渐增加生成图像的分辨率，补充高分辨率图像的细节，最终生成高分辨率的清晰图像。如图3所示，生成器第一次生成的图像分辨率较低，然后逐级增加生成图像的分辨率，最终得到高分辨率的清晰图像，在一种示例性场景中，得到分辨率为256x256的清晰图像。

在一种可能的实现方式中，根据预先训练的人体视频生成模型，基于人体的语义序列，使用对抗生成网络，逐帧生成人体的动作视频。如图4所示，根据人体视频生成模型，将解码到的语义图序列，逐帧生成人体的动作视频，实现数据的解压。

基于本公开实施例提供的一种数据压缩方法，可以将数据从高语义冗余的域压缩到低语义冗余的域，得到的是用自然语义形式描述的人可理解的压缩数据，而且该方法重点优化数据的语义层面的保真，可以应用于机器分析和语义监控的应用场景中。

为了便于理解本公开实施例提供的数据压缩方法，下面结合附图2进行说明，如图2所示，该数据压缩方法，包括：

将视频数据或图像数据通过跨模态编码器压缩成文本、素描图、语义图、边缘图或属性表，该压缩数据是人可以理解的，可以用于语义监控的应用场景中，然后通过熵编码器将上述文本、素描图、语义图、边缘图或属性表编码为二进制码流，进行数据存储和传输，当需要进行数据恢复的时候，通过熵解码器将存储的二进制码流恢复成文本、素描图、语义图、边缘图或属性表，然后通过跨模态解码器将文本、素描图、语义图、边缘图或属性表数据解压成原始的视频数据或图像数据。

第二方面，本公开实施例提供了一种数据压缩的装置，图5是根据一示例性实施例示出的一种数据压缩装置的结构示意图，如图5所示，该压缩装置包括：

501跨模态编码器，用于将数据从高语义冗余的域压缩到低语义冗余的域，得到以自然语义形式表述的压缩数据。

进一步地，还包括：

502压缩域内编码器，用于对压缩数据进行有损编码或无损编码，得到编码后的压缩数据。

503压缩域内解码器，用于对编码后的压缩数据进行解码，得到可用自然语义形式表述的低语义冗余数据

504跨模态解码器，用于对可用自然语义形式表述的低语义冗余数据进行解压，得到高语义冗余数据。

基于本公开实施例提供的一种数据压缩装置，可以将数据从高语义冗余的域压缩到低语义冗余的域，得到的是用自然语义形式描述的人可理解的压缩数据，而且该方法重点优化数据的语义层面的保真，可以应用于机器分析和语义监控的应用场景中。

需要说明的是，上述实施例提供的数据压缩装置在执行数据压缩方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的数据压缩装置与数据压缩方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

第三方面，本公开实施例还提供一种与前述实施例所提供的数据压缩方法对应的电子设备，以执行上述数据压缩方法。

请参考图6，其示出了本申请的一些实施例所提供的一种电子设备的示意图。如图6所示，电子设备包括：处理器600，存储器601，总线602和通信接口603，处理器600、通信接口603和存储器601通过总线602连接；存储器601中存储有可在处理器600上运行的计算机程序，处理器600运行计算机程序时执行本申请前述任一实施例所提供的数据压缩方法。

其中，存储器601可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口603(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。

总线602可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。其中，存储器601用于存储程序，处理器600在接收到执行指令后，执行程序，前述本申请实施例任一实施方式揭示的数据压缩方法可以应用于处理器600中，或者由处理器600实现。

处理器600可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器600中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器600可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器601，处理器600读取存储器601中的信息，结合其硬件完成上述方法的步骤。

本申请实施例提供的电子设备与本申请实施例提供的数据压缩方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

第四方面，本申请实施例还提供一种与前述实施例所提供的数据压缩方法对应的计算机可读存储介质，请参考图7，其示出的计算机可读存储介质为光盘700，其上存储有计算机程序(即程序产品)，计算机程序在被处理器运行时，会执行前述任意实施例所提供的数据压缩方法。

需要说明的是，计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的数据压缩方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种数据压缩的方法，其特征在于，包括：

将数据从高语义冗余的域压缩到低语义冗余的域，得到以自然语义形式表述的压缩数据。

2.根据权利要求1所述的方法，其特征在于，所述得到以自然语义形式表述的压缩数据之后，还包括：

对所述压缩数据进行有损编码或无损编码，得到编码后的压缩数据。

3.根据权利要求2所述的方法，其特征在于，所述得到编码后的压缩数据之后，还包括：

对所述编码后的压缩数据进行解码，得到可用自然语义形式表述的低语义冗余数据；

对所述可用自然语义形式表述的低语义冗余数据进行解压，得到高语义冗余数据。

4.根据权利要求1所述的方法，其特征在于，所述将数据从高语义冗余的域压缩到低语义冗余的域，得到以自然语义形式表述的压缩数据，包括：

根据预先训练的自然语义描述模型，将数据从高语义冗余的域压缩到低语义冗余的域，得到以自然语义形式表述的压缩数据。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述高语义冗余的域，包括以下中的一种或多种：

图像域、视频域以及点云数据域。

6.根据权利要求1-4任一项所述的方法，其特征在于，所述低语义冗余的域，包括以下中的一种或多种：

文本域、边缘图域、语义图域以及属性表域。

7.一种数据压缩的装置，其特征在于，包括：

跨模态编码器，用于将数据从高语义冗余的域压缩到低语义冗余的域，得到以自然语义形式表述的压缩数据。

8.根据权利要求7所述的装置，其特征在于，还包括：

压缩域内编码器，用于对所述低语义冗余域内数据进行有损编码或无损编码，得到编码后的压缩数据。

9.一种数据压缩设备，其特征在于，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在执行所述程序指令时，执行如权利要求1至6任一项所述的数据压缩方法。

10.一种计算机可读介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1至6任一项所述的一种数据压缩方法。

Images