CN112437311A - 一种视频序列压缩编码方法及装置 - Google Patents

Abstract

本发明公开一种视频序列压缩编码方法，包括以下步骤：将视频序列中的待编码图像作为自编码器的训练输入，获得低维隐藏神经元参数；对待编码图像运用低维隐藏神经元参数进行运算处理，获得待编码图像的降维编码表示；对待编码图像的降维编码表示进行压缩处理，获得压缩编码结果。本发明对同一序列的待编码图像进行降维编码表示共用了相同维度的低维隐藏神经元参数，使得部分具有一定相关性的降维编码表示能够再进行进一步压缩，提升了视频的压缩比。也可以将序列中的图像(或将图像分块)根据其不同内容的相关性采用几组不同维度的隐藏神经元参数。

Description

一种视频序列压缩编码方法及装置

【技术领域】

本发明涉及视频压缩技术领域，尤其涉及一种视频序列压缩编码方法及装置。

【背景技术】

自从1986年Rumelhart提出自动编码器的概念，并将其用于高维复杂数据处理，促进了神经网络的发展。自编码神经网络是一种无监督学习算法，它使用了反向传播算法，并让输出值等于输入值。其中，自编码器就是将原始数据进行编码，进行降低维度，发现数据之间的规律的过程。举例来说，假设某个自编码神经网络的输入x是一张10×10图像(共100个像素)的像素灰度值，于是n＝100，其隐藏层中有50个隐藏神经元，要求其输出也是100维。由于只有50个隐藏神经元，我们迫使自编码神经网络去学习输入数据的压缩表示，也就是说，它必须从50维的隐藏神经元激活度向量中重构出100维的像素灰度值输入x。从而使得压缩后的视频经解压后获得接近原图的解压缩图像。

然而，在视频压缩的自编码神经网络算法训练过程中，如果网络的输入数据是完全随机的，比如每一个输入都是一个跟其它特征完全无关的独立同分布高斯随机变量，那么这一压缩表示将会导致自编码器非常难学习。从而导致自编码器的训练过程较长及困难，影响视频压缩的效率。

鉴于此，实有必要提供一种视频序列压缩编码方法及装置以克服上述缺陷。

【发明内容】

本发明的目的是提供一种视频序列压缩编码方法及装置，旨在解决现有的视频压缩自编码学习中因相关性较低而导致自编码器训练过程较为困难的问题，提供一种简单的自编码神经网络学习方法，使得视频压缩的效率提升。

为了实现上述目的，本发明一方面是提供一种视频序列压缩编码方法，包括以下步骤：

将视频序列中的待编码图像作为自编码器的训练输入，获得低维隐藏神经元参数；

对所述待编码图像运用所述低维隐藏神经元参数进行运算处理，获得所述待编码图像的降维编码表示；

对所述待编码图像的降维编码表示进行压缩处理，获得压缩编码结果。

在一个优选实施方式中，在所述将视频序列中的待编码图像作为自编码器的训练输入，获得低维隐藏神经元参数步骤之前还包括步骤：

将所述视频序列中的所述待编码图像按照预设的规则进行预处理，从而提升所述待编码图像的相关性。

在一个优选实施方式中，在所述对所述待编码图像运用所述低维隐藏神经元参数进行运算处理，获得所述待编码图像的降维编码表示步骤后还包括步骤：

判断所述待编码图像的降维编码表示的相关性是否超过预设的相关性阈值，若结果为是，则继续训练所述自编码器，从而对所述低维隐藏神经元参数进行调整。

在一个优选实施方式中，所述对所述待编码图像的降维编码表示进行压缩处理，获得压缩编码结果步骤中包括以下子步骤：

将所述待编码图像的降维编码表示分成多个待编码块；

对每个待编码块进行DCT变换，并在变换空间中仅保留其中的低频分量；

对所述每个待编码块进行基于DCT变换的反变换，获得仅含低频分量的待编码块；

将所述每个待编码块减去对应的所述仅含低频分量的待编码块，获得仅含有高频分量的待编码块；

将所述待编码块的低频分量与高频分量进行分别压缩。

在一个优选实施方式中，所述将所述待编码块的低频分量与高频分量进行分别压缩步骤中还包括步骤：

选定一个当前待编码块，通过运动搜索的方式搜索一个最接近的所述仅含有高频分量的待编码块，并设为所述当前待编码块的高频预测块；

根据所述高频预测块对所述当前待编码块进行预测。

本发明第二方面是提供一种视频序列压缩编码装置，包括：

参数训练模块，用于将视频序列中的待编码图像作为自编码器的训练输入，获得低维隐藏神经元参数；

降维运算模块，用于对所述待编码图像运用所述低维隐藏神经元参数进行运算处理，获得所述待编码图像的降维编码表示；

图像压缩模块，用于对所述待编码图像的降维编码表示进行压缩处理，获得压缩编码结果。

在一个优选实施方式中，所述视频序列压缩编码装置还包括：

预处理模块，用于将所述视频序列中的所述待编码图像按照预设的规则进行预处理，从而提升所述待编码图像的相关性。

在一个优选实施方式中，所述视频序列压缩编码装置还包括：

相关性判断模块，用于判断所述待编码图像的降维编码表示的相关性是否超过预设的相关性阈值，若结果为是，则继续训练所述自编码器，从而对所述低维隐藏神经元参数进行调整。

在一个优选实施方式中，所述图像压缩模块包括：

编码块分割单元，用于将所述待编码图像的降维编码表示分成多个待编码块；

编码块变换单元，用于对每个待编码块进行DCT变换，并在变换空间中仅保留其中的低频分量；

低频编码块获得单元，用于对所述每个待编码块进行基于DCT变换的反变换，获得仅含低频分量的待编码块；

高频编码块获得单元，用于将所述每个待编码块减去对应的所述仅含低频分量的待编码块，获得仅含有高频分量的待编码块；

编码块压缩单元，用于将所述待编码块的低频分量与高频分量进行分别压缩。

在一个优选实施方式中，所述图像压缩模块还包括：

高频预测块确定单元，用于选定一个当前待编码块，通过运动搜索的方式搜索一个最接近的所述仅含有高频分量的待编码块，并设为所述当前待编码块的高频预测块；

高频预测块预测单元，用于根据所述高频预测块对所述当前待编码块进行预测。

本发对同一序列的待编码图像进行降维编码表示共用了相同维度的低维隐藏神经元参数，使得部分具有一定相关性的降维编码表示能够再进行进一步压缩，为了提升了视频的压缩比，也可以将序列中的图像(或将图像分块)根据其不同内容的相关性采用几组不同维度的隐藏神经元参数。

【附图说明】

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明提供的视频序列压缩编码方法的流程图；

图2为图1所示的视频序列压缩编码方法中一个优选实施例的流程图；

图3为图2所示的视频序列压缩编码方法中又一优选实施例的流程图；

图4为本发明提供的视频序列压缩编码装置的框架图；

图5为图4所示的视频序列压缩编码装置中一个优选实施例的框架图；

图6为图5所示的视频序列压缩编码装置中又一优选实施例的框架图。

【具体实施方式】

为了使本发明的目的、技术方案和有益技术效果更加清晰明白，以下结合附图和具体实施方式，对本发明进行进一步详细说明。应当理解的是，本说明书中描述的具体实施方式仅仅是为了解释本发明，并不是为了限定本发明。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

在本发明的实施例中，一方面是提供一种视频序列压缩编码方法，如图1所示，包括以下步骤S101-S103。

在步骤S101中，将视频序列中的待编码图像作为自编码器的训练输入，获得低维隐藏神经元参数。

在自编码学习的过程中，先对无标注的数据进行自编码器的训练，然后将有标注的数据第一步输入自编码器，自编码器的输出输入到神经网络之中，达到提升网络输出精度的目的。具体的，先设计一个编码函数与一个解码函数，然后设计一个损失函数，让编码器的输入和输出尽可能相似。其中损失函数的设计可参考现有技术，本发明在此不做限定。

由于在本步骤中，自编码器的训练输入为视频序列中的一系列待编码图像，而这些待编码图像的某些输入特征是彼此相关的，因此自编码训练在将稀疏数据到稠密的一个映射过程中，可将具有相关性的输入数据进行最大化互信息(两个随机变量的相关性度量)的重构，即，这些具有相关性的输入数据可以用一个最大化的互信息来表征，从而有利于使得编码空间更加规整，甚至有利于解耦特征，便于后续学习。因此，通过输入具有相关性的输入数据，降低了自编码学习的难度，从而获得自编码算法隐藏层中的低维隐藏神经元参数。

进一步的，在步骤S101之前还包括步骤：将视频序列中的待编码图像按照预设的规则进行预处理，从而提升待编码图像的相关性。其中，该预设的规则只需与后续的解码器进行约定即可，从而进一步的降低自编码学习的难度。

在步骤S102中，对待编码图像运用低维隐藏神经元参数进行运算处理，获得待编码图像的降维编码表示。

举例来说，待编码图像为28*28像素(二维)，将图片向量化之后的得到一个长度为784的向量(一维)。在自编码网络训练的过程中，网络只用到该向量之中少量元素，其中的大部分元素对于神经网络来说是没有用的，自编码器通过无监督学习来提取有用的信息，对于手写数字图片来说可能是颜色为黑色的像素点，将图片中的很大一部分白色像素舍弃，只提取对神经网络有用的信息，到达降低数据维度的目的。其中，具体的降维编码表示算法可参考现有技术，本发明在此不做限定。

在步骤S103中，对待编码图像的降维编码表示进行压缩处理，获得压缩编码结果。

在本步骤中，由于对同一视频序列的所有待编码图像共用相同维度的低维隐藏神经元参数，使得部分图像的降维编码表示仍然具有一定的相关性，即该部分图像可继续进一步的压缩，去除冗余信息。对于这部分图像，可以采用传统的视频压缩算法，如h.264、h.265等标准进行压缩，也可采用其他方式进行压缩。

因此，在一个实施例中，在步骤S103之后还包括步骤：判断待编码图像的降维编码表示的相关性是否超过预设的相关性阈值，若结果为是，则继续训练自编码器，从而对低维隐藏神经元参数进行调整。首先需要说明的是，图像的相关性的表达式可参考现有技术，本发明在此不做限定。判断该相关性是否超过预设的阈值，若超过，说明自编码神经网络的数据降维未达到最优，可继续调整网络目标维数，即对低维隐藏神经元参数进行进一步的更新。

进一步的，在一个实施例中，如图2所示，步骤S103中包括一下子步骤S1031-S1035。

需要先说明的是，视频编码中，平坦区域或与前帧图像接近的区域由于与之前传输区域的相关性较高，可以采用相关性强的预测块进行预测，进而压缩比也较高。而与可预测图像数据相关程度弱的块由于预测之后的高频分量较多，变换之后不能把能量集中在低频部分，而难以获得高压缩比。因此，本实施例提出将视频图像中的图像块分解为低频分量和高频分量，再对高频分量进行独立预测的方法步骤。

在步骤S1031中，将待编码图像的降维编码表示分成多个待编码块。当然，这其中也可将整个待编码图像作为一个待编码块。

在步骤S1032中，对每个待编码块进行DCT(Discrete Cosine Transform)变换(离散余弦变换)，并在变换空间中仅保留其中的低频分量。

在本步骤中，待编码块经DCT变换后，把图像重要的信息聚集在一块，包括低频分量(即细节较少、比较平坦的区域)与高频分量(细节较多的区域)。将高频分量清零后即得待编码块在DCT变换空间中的低频分量部分。

在步骤S1033中，对每个待编码块进行基于DCT变换的反变换，获得仅含低频分量的待编码块。能够理解的，由于待编码块的变换空间中只剩下低频分量，因此经过反变换后得到的待编码块仅含低频分量。

在步骤S1034中，将每个待编码块减去对应的仅含低频分量的待编码块，获得仅含有高频分量的待编码块。从而实现了对高频分量进行独立预测的效果。

其中，高频分量部分码字中包含高频分量进行预测之后的残差的变换数据，以及预测用的块索引(如果采用的是编码块的优选预测块，还需要传送优选预测块的块索引)。该高频分量在编码过程中需要保存以供后续编码块的高频预测分量进行预测。

在步骤S1035中，将待编码块的低频分量与高频分量进行分别压缩。因为高频分量和低频分量包含了不同的信息，所以可以采用不同的压缩比。例如高频分量采用高压缩比。

需要说明的是，如果待编码块几乎完全由低频信息构成，可以不对其进行高低频分量的拆分，直接进行编码块变换，从而压缩。因此，在压缩过程中可以增加是否选中文中所述编码模式的指示位。

进一步的，如图3所示，步骤S103还包括子步骤S1036-S1037。

在步骤S1036中，选定一个当前待编码块，通过运动搜索的方式搜索一个最接近的仅含有高频分量的待编码块，并设为当前待编码块的高频预测块(预测方式可以包括旋转，尺度变换等)；

在步骤S1037中，根据高频预测块对当前待编码块进行预测。

通过对高频分量的独立预测，进而获得了高压缩比。

能够理解的是，无论是自编码器的降维编码表示以及视频的压缩编码过程，均可通过对应的编码规则与方式进行逆过程(即解码)。对于本领域技术人员来说，当获知编码规则时，获得解码规则是显而易见的，因此，解码过程此处不再赘述。同时，上述各个步骤的逆过程(即解码过程)也在本发明的保护范围之内。

综上所述，本发明对同一序列的待编码图像进行降维编码表示共用了相同维度的低维隐藏神经元参数，使得部分具有一定相关性的降维编码表示能够再进行进一步压缩，提升了视频的压缩比。也可以将序列中的图像(或将图像分块)根据其不同内容的相关性采用几组不同维度的隐藏神经元参数。

本发明第二方面是提供一种视频序列压缩编码装置100，用于对视频序列进行降维编码表示及视频压缩，其实现原理与实施方式可参考上述的视频序列压缩编码方法，故在此不再赘述。

如图4所示，视频序列压缩编码装置100包括：

参数训练模块10，用于将视频序列中的待编码图像作为自编码器的训练输入，获得低维隐藏神经元参数；

降维运算模块20，用于对待编码图像运用低维隐藏神经元参数进行运算处理，获得待编码图像的降维编码表示；

图像压缩模块30，用于对待编码图像的降维编码表示进行压缩处理，获得压缩编码结果。

进一步的，视频序列压缩编码装置100还包括：

预处理模块，用于将所述视频序列中的所述待编码图像按照预设的规则进行预处理，从而提升所述待编码图像的相关性。

进一步的，视频序列压缩编码装置100还包括：

相关性判断模块，用于判断所述待编码图像的降维编码表示的相关性是否超过预设的相关性阈值，若结果为是，则继续训练所述自编码器，从而对所述低维隐藏神经元参数进行调整。

进一步的，在一个实施例中，如图5所示，图像压缩模块30包括：

编码块分割单元31，用于将待编码图像的降维编码表示分成多个待编码块；

编码块变换单元32，用于对每个待编码块进行DCT变换，并在变换空间中仅保留其中的低频分量；

低频编码块获得单元33，用于对每个待编码块进行基于DCT变换的反变换，获得仅含低频分量的待编码块；

高频编码块获得单元34，用于将每个待编码块减去对应的仅含低频分量的待编码块，获得仅含有高频分量的待编码块；

编码块压缩单元35，用于将待编码块的低频分量与高频分量进行分别压缩。

更进一步的，在一个实施例中，如图6所示，图像压缩模块30还包括：

高频预测块确定单元36，用于选定一个当前待编码块，通过运动搜索的方式搜索一个最接近的仅含有高频分量的待编码块，并设为当前待编码块的高频预测块；

高频预测块预测单元37，用于根据高频预测块对所述当前待编码块进行预测。

本发明一方面是提供一种终端(图中未示出)，终端包括存储器、处理器以及存储在存储器并可在处理器上运行的视频序列压缩编码程序，视频序列压缩编码程序被所述处理器执行时实现如上述实施方式任一项所述的视频序列压缩编码方法的各个步骤。

本发明还提供一种计算机可读存储介质(图中未示出)，计算机可读存储介质存储有视频序列压缩编码程序，视频序列压缩编码程序被处理器执行时实现如上述实施方式任一项所述的视频序列压缩编码方法的各个步骤。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的系统或装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的系统或装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本发明并不仅仅限于说明书和实施方式中所描述，因此对于熟悉领域的人员而言可容易地实现另外的优点和修改，故在不背离权利要求及等同范围所限定的一般概念的精神和范围的情况下，本发明并不限于特定的细节、代表性的设备和这里示出与描述的图示示例。

Claims (10)

1.一种视频序列压缩编码方法，其特征在于，包括以下步骤：

将视频序列中的待编码图像作为自编码器的训练输入，获得低维隐藏神经元参数；

对所述待编码图像运用所述低维隐藏神经元参数进行运算处理，获得所述待编码图像的降维编码表示；

对所述待编码图像的降维编码表示进行压缩处理，获得压缩编码结果。

2.如权利要求1所述的视频序列压缩编码方法，其特征在于，在所述将视频序列中的待编码图像作为自编码器的训练输入，获得低维隐藏神经元参数步骤之前还包括步骤：

将所述视频序列中的所述待编码图像按照预设的规则进行预处理，从而提升所述待编码图像的相关性。

3.如权利要求1所述的视频序列压缩编码方法，其特征在于，在所述对所述待编码图像运用所述低维隐藏神经元参数进行运算处理，获得所述待编码图像的降维编码表示步骤后还包括步骤：

判断所述待编码图像的降维编码表示的相关性是否超过预设的相关性阈值，若结果为是，则继续训练所述自编码器，从而对所述低维隐藏神经元参数进行调整。

4.如权利要求1所述的视频序列压缩编码方法，其特征在于，所述对所述待编码图像的降维编码表示进行压缩处理，获得压缩编码结果步骤中包括以下子步骤：

将所述待编码图像的降维编码表示分成多个待编码块；

对每个待编码块进行DCT变换，并在变换空间中仅保留其中的低频分量；

对所述每个待编码块进行基于DCT变换的反变换，获得仅含低频分量的待编码块；

将所述每个待编码块减去对应的所述仅含低频分量的待编码块，获得仅含有高频分量的待编码块；

将所述待编码块的低频分量与高频分量进行分别压缩。

5.如权利要求4所述的视频序列压缩编码方法，其特征在于，将所述待编码块的低频分量与高频分量进行分别压缩步骤中还包括步骤：

选定一个当前待编码块，通过运动搜索的方式搜索一个最接近的所述仅含有高频分量的待编码块，并设为所述当前待编码块的高频预测块；

根据所述高频预测块对所述当前待编码块进行预测。

6.一种视频序列压缩编码装置，其特征在于，包括：

参数训练模块，用于将视频序列中的待编码图像作为自编码器的训练输入，获得低维隐藏神经元参数；

降维运算模块，用于对所述待编码图像运用所述低维隐藏神经元参数进行运算处理，获得所述待编码图像的降维编码表示；

图像压缩模块，用于对所述待编码图像的降维编码表示进行压缩处理，获得压缩编码结果。

7.如权利要求6所述的视频序列压缩编码装置，其特征在于，所述视频序列压缩编码装置还包括：

预处理模块，用于将所述视频序列中的所述待编码图像按照预设的规则进行预处理，从而提升所述待编码图像的相关性。

8.如权利要求6所述的视频序列压缩编码装置，其特征在于，所述视频序列压缩编码装置还包括：

相关性判断模块，用于判断所述待编码图像的降维编码表示的相关性是否超过预设的相关性阈值，若结果为是，则继续训练所述自编码器，从而对所述低维隐藏神经元参数进行调整。

9.如权利要求6所述的视频序列压缩编码装置，其特征在于，所述图像压缩模块包括：

编码块分割单元，用于将所述待编码图像的降维编码表示分成多个待编码块；

编码块变换单元，用于对每个待编码块进行DCT变换，并在变换空间中仅保留其中的低频分量；

低频编码块获得单元，用于对所述每个待编码块进行基于DCT变换的反变换，获得仅含低频分量的待编码块；

高频编码块获得单元，用于将所述每个待编码块减去对应的所述仅含低频分量的待编码块，获得仅含有高频分量的待编码块；

编码块压缩单元，用于将所述待编码块的低频分量与高频分量进行分别压缩。

10.如权利要求9所述的视频序列压缩编码装置，其特征在于，所述图像压缩模块还包括：

高频预测块确定单元，用于选定一个当前待编码块，通过运动搜索的方式搜索一个最接近的所述仅含有高频分量的待编码块，并设为所述当前待编码块的高频预测块；

高频预测块预测单元，用于根据所述高频预测块对所述当前待编码块进行预测。

Images