CN104735459B - 视频局部特征描述子的压缩方法、系统及视频压缩方法 - Google Patents

Abstract

本发明公开了一种视频局部特征描述子的压缩方法、系统和视频压缩方法，所述视频局部特征描述子的压缩方法包括联合视频内容的重构帧预测、量化、熵编码，而后计算预测信号的残差系数，对残差系数进行量化得到量化系数，再对量化系数进行熵编码，输出熵编码后形成的码流，完成对视频的局部特征描述子的压缩。通过本发明对视频局部特征描述子进行压缩，在联合视频内容的基础上，使压缩后的视频数据得到紧凑的表示，达到高的压缩比，从而提高视频数据的传输速率、存储效率及压缩效率，同时提高了视频数据的检索效率。

Description

视频局部特征描述子的压缩方法、系统及视频压缩方法

技术领域

本发明属于数据处理技术领域，具体涉及一种视频局部特征描述子的压缩方法、压缩系统及视频压缩方法。

背景技术

随着互联网的广泛应用，在网络的传输和存储过程中，视频数据的数据越来越庞大。对视频数据的压缩则显得尤为重要。而局部特征描述子，在图像/视频数据处理以及计算机视觉领域得到了广泛的应用，描述子的压缩也是提高视频数据检索等视频数据应用的关键技术。例如，对128维的SIFT局部特征描述子而言，将每个维度量化到8比特，一帧图像包含1000个SIFT特征点，则一个300帧的视频包含的SIFT特征数据量为300*1000*128*8bits＝292.97Mb，无论对于存储还是传输都是需要付出巨大的代价，在实际应用中是难以承受的。

在对视频数据处理的现有技术中，大多单独对描述子进行压缩，限制了描述子的压缩比，不利于数据检索效率的提高，同时也阻碍了视频检索技术的发展。

发明内容

本发明实施例的目的是提供一种视频局部特征描述子的压缩方法、系统及视频压缩方法，以提高视频局部特征描述子的压缩效率，从而提高视频压缩数据的传输速率和存储效率。

根据本发明的一个方面，提供了一种视频局部特征描述子的压缩方法，所述方法包括如下步骤：

联合视频内容对当前局部特征描述子进行重构帧预测得到预测信号；

计算所述预测信号的残差系数；

对所述残差系数进行量化得到量化系数；

对所述量化系数进行熵编码，输出码流。

上述方案中，所述计算残差系数之后，得到量化系数之前，所述方法还包括：

对所述残差系数进行变换得到变换系数；

对所述残差系数进行量化得到量化系数，进一步为，对所述变换系数进行量化并得到量化系数。

上述方案中，所述联合视频内容对当前局部特征描述子进行重构帧预测得到预测信号，进一步包括：在所述当前局部特征描述子所在帧的重构帧对应位置提取对应的已编码局部特征描述子，作为预测信号。

上述方案中，所述量化为标量量化或矢量量化。

根据本发明的另一个方面，还提供了一种视频局部特征描述子的压缩系统，所述系统包括：预测模块、残差系数计算模块、量化模块、编码模块

所述预测模块用于联合视频内容对当前局部特征描述子进行重构帧预测得到预测信号；

所述残差系数计算模块与所述预测模块相连，用于计算所述预测信号的残差系数；

所述量化模块与所述残差系数计算模块相连，用于对所述残差系数进行量化得到量化系数；

所述编码模块与所述量化模块相连，用于对所述量化系数进行熵编码，输出码流。

上述方案中，所述系统还包括变换模块，所述变换模块与所述残差系数计算模块和量化模块相连，用于对所述残差系数进行变换得到变换系数；

所述量化模块还用于对所述变换系数进行量化并得到量化系数。

上述方案中，所述预测模块进一步用于在所述当前局部特征描述子所在帧的重构帧对应位置提取对应的已编码局部特征描述子，作为预测信号。

根据本发明的再一个方面，还提供了一种视频压缩方法，所述方法包括：

对视频原始数据进压缩，得到视频自身码流，并得到重构帧组成的视频重构数据；

联合所述视频重构数据中的重构帧的内容，采用上述视频局部特征描述子的压缩方法，对视频原始数据中的局部特征描述子进行压缩，得到熵编码后的描述子码流；

将所述描述子码流输出到视频自身码流中，输出视频码流。

本发明实施例提供了一种视频局部特征描述子的压缩方法、系统和视频压缩方法，所述视频局部特征描述子的压缩方法包括预测、量化、熵编码，其中预测为联合视频内容的重构帧预测得到预测信号，而后计算预测信号的残差系数，对残差系数进行量化得到量化系数，再对量化系数进行熵编码，输出码流，完成对视频的局部特征描述子的压缩。通过本发明实施例的方法对视频局部特征描述子进行压缩，在联合视频内容的基础上，使压缩后的视频数据得到紧凑的表示，达到高的压缩比，从而提高视频数据的传输速率和存储效率，同时提高了视频数据的检索效率。

附图说明

图1是本发明第一实施方式的视频局部特征描述子的压缩方法流程示意图；

图2是本发明第二实施方式的视频局部特征描述子的压缩方法流程示意图；

图3是本发明第二实施方式具体实施例的压缩方法流程图；

图4是本发明第三实施方式的视频局部特征描述子的压缩系统结构示意图；

图5是本发明第四实施方式的视频局部特征描述子的压缩系统结构示意图；

图6是本发明第五实施方式的视频压缩方法流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

本发明实施例以局部特征描述子在计算机视觉领域的广泛应用为基础，对视频局部特征描述子进行压缩，将重构后的视频内容本身应用在压缩过程中，即联合视频内容，指导局部特征描述子的压缩，提出了视频局部特征描述子的压缩方法、系统及视频压缩方法。以下结合实施方式及附图，对本发明作详细说明。

图1是本发明第一实施方式的视频局部特征描述子的压缩方法流程示意图。本实施方式对于视频局部特征描述子的压缩方法的框架，包括联合视频内容的预测、量化、熵编码。

如图1所示，本实施例的视频局部特征描述子的压缩方法，包括如下步骤：

步骤S101，联合视频内容对当前局部特征描述子进行重构帧预测得到预测信号。

本步骤中，对所述当前局部特征描述子进行重构帧预测，具体为，在所述当前局部特征描述子所在帧的重构帧对应位置提取局部特征描述子作为预测信号。在视频数据的处理中，首先需要对视频数据进行压缩编码得到重构视频数据，视频数据由帧构成，也即首先得到视频数据的重构帧。这里重构帧预测，即通过视频数据的重构帧进行，即联合视频内容，在重构帧中对应位置处提取局部特征描述子作为预测信号，这里的提取，可以是直接提取，也可以是带有附加条件的提取。

步骤S102，计算所述预测信号的残差系数。

优选的，本步骤中计算预测残差，通过作差的方法进行。

步骤S104，对所述残差系数进行量化得到量化系数。

本步骤中的量化方式，可以为标量量化，也可以为矢量量化。

步骤S105，对所述量化系数进行熵编码，输出码流。

本步骤中的熵编码，优选的，编码模型采用视频编码标准中常用的上下文自适应的二进制熵编码方法(CABAC,Context-Adaptive Binary Arithmetic Coding)，最终形成二值化码流。

通过本实施例所述的视频局部特征描述子压缩方法，对视频局部特征描述子进行压缩，在联合视频内容的基础上，使压缩后的视频数据得到紧凑的表示，达到的很高的压缩比，从而提高了视频数据的传输速率和存储效率，同时提高了视频数据的检索效率。

图2是本发明第二实施方式的视频局部特征描述子的压缩方法流程示意图。

如图2所示，本实施方式中的步骤S201、S202、S205与第一实施方式中的步骤S102、S102、S104、S105基本相同，不同的是，本实施方式对局部特征描述子的压缩方法中，在步骤S202之后、步骤S204之前还包括步骤S203，同时相应的步骤S204有所不同，具体的：

步骤S203，对所述残差系数进行变换得到变换系数。

优选的，本步骤中的变换方式为DCT变换或KLT变换或DST变换变换，从而得到变换系数。这里的变换可以采用一维系数矩阵，也可以采用二维系数矩阵。

步骤S204，对所述变换系数进行量化并得到量化系数。这里的量化可以为标量量化，也可以为矢量量化。

图3是本发明第二实施方式具体实施例的压缩方法流程图。

本实施例以一个视频数据的128维SIFT局部特征描述子为例，详细说明本发明的压缩方法。

如图3所示，本实施例的基于视频的局部特征描述子的压缩方法，包括如下步骤：

步骤S301，首先对原始视频帧所携带的视频内容通过视频编码器进行编码。

步骤S302，编码器输出的所述编码后的数据进行重构图像，从而得到重构帧，并将所述重构帧进行缓存。

步骤S303，从原始视频帧中提取局部特征描述子，具体的：

假设当前正在编码的第i帧的第j个局部特征描述子为其中是描述子的空间位置信息，是局部特征描述子向量。

步骤S304，对所述提取的局部特征描述子进行重构帧预测，重构帧预测，在所述当前局部特征描述子所在帧的重构帧对应位置处，直接提取局部特征描述子，作为重构预测信号即预测信号

步骤S305，将原始信号和预测信号做差得到残差系数

步骤S306，对残差系数进行如步骤S306A1～S306C1的变换：

步骤S306A1，将128维的划分为两个8x8的二维矩阵；

步骤S306B1，分别用两个8x8的DCT变换作用于这两个变换矩阵，得到两个变换后的系数矩阵；

步骤S306C1，将两个8x8的系数矩阵合并成一个128维的变换系数

或者，对残差系数进行如步骤S306A2～S306C2的变换：

步骤S306A2，将128维的按照8个不同方向划分成8个4x4的二维矩阵，即将每个方向的16个元素，按照位置排列成4x4的矩阵；

步骤S306B2，分别用8个4x4的DCT变换作用于这8个变换矩阵，得到8个变换后的系数矩阵；

步骤S306C2，将8个4x4的系数矩阵合并成一个128维的变换系数

步骤S306还可以包括：

步骤S306D，通过率失真选择决定是否进行变换，如果跳过变换，那么残差系数就是此时进行量化的变换系数。当跳过变换直接对残差系数进行量化时，即为第一实施方式的具体实施例。

步骤S307，通过设定的量化步长(Qs,Quantization step)，对变换系数进行标量量化得到量化后的量化系数这里的量化也可以是矢量量化，本实施例优选为标量量化。

步骤S308，通过熵编码器对量化系数进行熵编码，编码模型采用视频编码标准中常用的上下文自适应的二进制熵编码方法(CABAC,Context-Adaptive BinaryArithmetic Coding)，最终形成二值化码流，熵编码中的二值化的处理过程具体步骤包括：

步骤S308A，输出一个bin表示是否为全零系数，如果是算法结束；

步骤S308B，输出一个二值向量，其中每个bin表示中对应系数是否为零；

步骤S308C，对于每一个非零系数，首先输出一个符号位，接着输出一个bin表示这个系数的绝对值是否为1；如果不是再输出一个bin表示系数绝对值是否为2；如果还不是，将这个系数绝对值减去3之后的指数哥伦布码输出。编码完成后得到重构描述子，输出码流。

需要说明的是，步骤S308中进行熵编码时，同时对变换控制标识也进行熵编码，将所做的变换过程记录在编码中。这里的变换控制标识，指的是，是否进行了步骤S306的变换。

本实施例所述的基于视频的局部特征描述子的压缩方法，对视频局部特征描述子进行压缩，在联合视频内容的基础上，使压缩后的视频数据得到紧凑的表示，达到的很高的压缩比，从而提高了视频数据的传输速率和存储效率，同时提高了视频数据的检索效率。

图4是本发明第三实施方式的基于视频的局部特征描述子的压缩系统结构示意图。

如图4所示，本实施方式的基于视频的局部特征描述子的压缩系统，包括：预测模块11、残差系数计算模块12、量化模块14、编码模块15；其中，

所述预测模块11用于联合视频内容对当前局部特征描述子进行重构帧预测得到预测信号。

预测模块11对所述当前局部特征描述子进行重构帧预测，具体为，在所述当前局部特征描述子所在帧的重构帧对应位置提取局部特征描述子作为预测信号。在视频数据的处理中，首先需要对视频数据进行压缩编码得到重构视频数据，视频数据由帧构成，也即首先得到视频数据的重构帧。这里重构帧预测，即通过视频数据的重构帧进行，即联合视频内容，在重构帧中对应位置处提取局部特征描述子作为预测信号，这里的提取，可以是直接提取，也可以是带有附加条件的提取。

所述残差系数计算模块12与所述预测模块11相连，用于计算所述预测信号的残差系数。优选的，本步骤中计算预测信号的残差系数，通过作差的方法进行。

所述量化模块14与所述预测选择模块12相连，用于接收所述预测模块12所输出的残差系数，并用于对所述残差系数进行量化得到并输出量化系数。量化模块14对所述残差系数进行标量量化，或矢量量化。

所述编码模块15与所述量化模块14相连，用于接收所述量化模块14输出的量化系数，并用于对所述量化系数进行熵编码，输出码流。

通过本实施例所述的视频局部特征描述子压缩系统，对视频局部特征描述子进行压缩，在联合视频内容的基础上，使压缩后的视频数据得到紧凑的表示，达到的很高的压缩比，从而提高了视频数据的传输速率和存储效率，同时提高了视频数据的检索效率。

图5是本发明第四实施方式的基于视频的局部特征描述子的压缩系统结构示意图。

如图5所示，本实施方式所述描述子的压缩系统与第三实施方式所述的局部特征描述子的压缩系统包括相同的预测模块11、残差系数计算模块12、编码模块15，不同的是，本实施方式还包括变换模块13，同时在量化模块14的连接关系上有所不同，具体的：

所述变换模块13与所述残差系数计算模块12和量化模块14相连，用于接收所述残差系数计算模块12输出的残差系数，并用于对所述残差系数进行变换得到并输出变换系数。

所述量化模块14用于接收所述变换模块13所输出的变换系数，并用于对所述变换系数进行量化得到量化系数。

图6是本发明第五实施方式的视频压缩方法流程示意图。

如图6所示，本实施方式所述的视频压缩方法包括：

步骤S400，对视频原始数据进压缩，得到视频自身码流，并得到重构帧组成的视频重构数据。

步骤S401，联合视频内容对当前局部特征描述子进行重构帧预测得到预测信号。本步骤与图1所示步骤S101相同。

步骤S402，计算所述预测信号的残差系数。优选的，本步骤中计算预测信号的残差系数，通过作差的方法进行。

步骤S403，对所述残差系数进行变换得到变换系数。

本步骤中，优选的，变换方式为DCT作用于二维矩阵的方式得到系数矩阵，从而得到变换系数。

步骤S404，对所述残差系数变换后的所述变换系数进行量化并得到量化系数。优选的，这里的量化为标量量化。

步骤S405，对所述量化系数进行熵编码，完成对视频原始数据中的局部特征描述子的压缩，得到熵编码后的描述子码流。本步骤中的熵编码，优选的，编码模型采用视频编码标准中常用的上下文自适应的二进制熵编码方法(CABAC,Context-Adaptive BinaryArithmetic Coding)，最终形成二值化的描述子码流。

步骤S406，将所述描述子码流输出到视频自身码流中，输出视频码流。

通过本实施方式所述的视频压缩方法，对视频进行压缩，在联合视频内容的基础上压缩视频局部特征描述子，使压缩后的视频数据得到紧凑的表示，达到的很高的压缩比，从而提高了视频数据的传输速率和存储效率，同时提高了视频数据的检索效率。

本领域普通技术人员可以理解实现本发明所述方法和系统的全部或部分步骤和模块可以通过硬件来完成，或通过程序指令硬件来完成，该程序可以存储于计算机可读存储介质中，如磁盘、存储器等。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (4)

1.一种视频局部特征描述子的压缩方法，其特征在于，所述方法包括如下步骤：

联合视频内容,在当前局部特征描述子所在帧的重构帧对应位置提取对应的已编码局部特征描述子，作为预测信号；

计算所述预测信号的残差系数；

对所述残差系数进行变换得到变换系数；

对所述变换系数进行量化得到量化系数；

对所述量化系数进行熵编码，输出码流。

2.根据权利要求1所述的视频局部特征描述子的压缩方法，其特征在于，所述量化为标量量化或矢量量化。

3.一种视频局部特征描述子的压缩系统，其特征在于，所述系统包括：预测模块、残差系数计算模块、变换模块、量化模块、编码模块；

所述预测模块用于联合视频内容，在当前局部特征描述子所在帧的重构帧对应位置提取对应的已编码局部特征描述子，作为预测信号；

所述残差系数计算模块与所述预测模块相连，用于计算所述预测信号的残差系数；

所述变换模块与所述残差系数计算模块和量化模块相连，用于对所述残差系数进行变换得到变换系数；

所述量化模块与所述残差系数计算模块相连，用于对所述变换系数进行量化得到量化系数；

所述编码模块与所述量化模块相连，用于对所述量化系数进行熵编码，输出码流。

4.一种视频压缩方法，其特征在于，所述方法包括：

对视频原始数据进压缩，得到视频自身码流，并得到重构帧组成的视频重构数据；

联合所述视频重构数据中的重构帧的内容，采用权利要求1或2所述的视频局部特征描述子的压缩方法，对视频原始数据中的局部特征描述子进行压缩，得到熵编码后的描述子码流；

将所述描述子码流输出到视频自身码流中，输出视频码流。