CN105578183A - 一种基于高斯混合模型的压缩传感视频编解码方法 - Google Patents

Abstract

本发明提出了一种基于高斯混合模型的压缩传感视频编解码方法，首先利用高斯混合模型对压缩传感视频进行建模，在此基础上设计了一种基于乘积量化器的GMM有损压缩方法，提出了压缩传感视频编码器与解码器。对于压缩传感视频的时域冗余，采用了DPCM差分编码技术进行消除，进一步采用算术编码去除数据冗余得到输出码流，用于存储和传输。本发明利用高斯混合模型针对具有随机特性的压缩传感视频进行建模，同时对压缩传感视频进行时域冗余消除，能够节省系统的能量和计算资源，并提高压缩效率。本发明可以满足对视频编码系统有能量、计算复杂度限制的应用环境，如无线多媒体传感网络、空间视频获取、移动终端视频获取等。

Description

一种基于高斯混合模型的压缩传感视频编解码方法

技术领域

本发明属于视频编解码领域，具体涉及一种基于高斯混合模型的压缩传感视频编解码方法。

背景技术

基于压缩传感的视频编解码技术改变了传统视频编解码的方式——编码端复杂/解码端简单的系统模式，大大的降低了编码端对能量、计算资源的消耗，并将此能量、计算资源的负担转移到资源相对丰富的解码端，扩展了视频编解码技术在多媒体传感网络、空间视频获取、移动终端视频获取等领域的应用。传统的数字视频获取系统包含两个级联的模块：1)用于采集场景视频的相机，2)数据编码处理器，用于将采集到的视频数据的数据量降低。然而，这种系统结构并不能满足一些应用场景的需求。首先一些应用场景中，数字视频编解码系统具有有限的计算资源和能量供给；其次在一些应用场景中，系统的造价与复杂度随着视频空域和时域分辨率的增大而大大增加。为此，基于压缩传感技术的视频获取与编解码系统通过联合场景视频采样与数据压缩过程解决这些问题，然而，在压缩传感视频获取以及后续数据压缩方面，以及此系统对能量消耗和计算复杂度的要求，如何利用现有的系统框架，结合压缩传感视频的分布特点，实现数字视频的高效获取与编解码成为目前系统设计的突出问题。

发明内容

本发明的目的在于克服上述不足，提供一种基于高斯混合模型的压缩传感视频编解码方法，能够依据压缩传感视频的分布特性对压缩传感视频利用高斯混合模型进行建模，并根据所得到的模型参数设计一种GMM有损压缩方法，从而实现对压缩传感视频的高效压缩。

为了达到上述目的，本发明包括以下步骤：

1、一种基于高斯混合模型的压缩传感视频编解码方法，其特征在于：包括以下步骤：

步骤一：在压缩传感视频发送端，场景视频X的每一帧通过孔径调制的方式与随机掩模H进行哈达码乘积运算得到调制帧S，在一个相机曝光周期内的T个调制帧S经过叠加得到压缩传感视频的一帧Y，压缩传感相机将观测到的压缩传感视频的一帧Y以模拟信号的形式输出；

步骤二：压缩传感视频帧Y被送入基于GMM有损压缩算法、DPCM差分编码以及算术编码的压缩传感视频编码器，进行编码流程，最终得到可以用于存储或者传输的二进制发送码流SBS；

步骤三：在压缩传感视频接收端，由存储或者传输介质得到的二进制接收码流SBS被送入基于GMM有损解压缩算法、DPCM差分解码以及算术解码为压缩传感视频解码器，进行解码流程，得到解码的压缩传感视频Yd；

步骤四：解码的压缩传感视频Yd被送入压缩传感视频重建模块得到重建的原始输入视频Xd。

所述步骤二中，每一个输入编码器的视频帧首先被划分为不重叠的8x8图像块，然后将图像块分解为均值和系数两部分；对于图像块的均值，用一个标量量化器进行量化，其中量化码本的码率为6比特～8比特；对于图像块的系数，用GMM压缩算法对其进行压缩，其中对此模块分配的码率由用户根据应用情况通常设定在32比特～180比特之间，然后将压缩所得的符号：包括均值符号、系数符号、GMM符号，送入DPCM差分编码和算术编码模块,最后，将得到的二进制码流加入头信息，组成可以用于存储和传输的二进制发送码流。

所述的GMM有损压缩算法由K个PVQ量化器组成，其中每个PVQ量化器的最优码流B_k的分配算法如下：

其中B_tot是GMM有损压缩算法的总码率，p为图像块系数的维度，为GMM为高斯混合模型中第k个高斯分量的协方差Σ_k的特征值的几何平均值。

所述的PVQ量化器由一个K-L变换U，p个标量量化器，一个逆K-L变换U^-1组成，其中K-L变换U由Σ_k的特征值分解得到如下：

L＝U^TΣ_kU＝diag(g₁,g₂,...,g_p)

其中，L是对角线矩阵，g₁是第k个高斯分量的协方差Σ_k的第i个特征值。

每个标量量化器的码率分配方法如下

b_i＝B_k/p+log₂(g_i/s²)/2

其中，B_k是分配给当前(第k个)PVQ量化器的比特数，b_i是分给第i个标量量化器的比特数，s²是第k个高斯分量的协方差Σ_k的特征值的几何平均值；

每个标量量化器的码本设计如下，设第i个标量量化器的码本为C_i，在这里利用C_i表示基于x_i的分布函数设计的一个最优b_i比特的标量量化器，得到PVQ的总的码本P表示为

P＝{y|y＝U^-1x+u_k,xC}

其中x＝{x₁,x₂,...x_p}，C＝C₁创C₂LC_i是p个标量量化器码本的笛卡尔积。

所述的压缩传感视频解码器是由码流分割算法，熵解码算法，DPCM差分解码算法，标量反量化器，GMM解压缩算法与块合并算法组成。

所述的压缩传感视频重构模块能够通过标准的l₁范数最优化压缩传感重构算法实现，或者基于高斯混合模型的压缩传感重构算法实现。

与现有技术相比，本发明利用高斯混合模型，针对压缩传感视频的分布特性进行建模，并根据训练获得的高斯混合模型参数，设计一个GMM有损压缩算法用于压缩传感视频的压缩；同时再结合DPCM差分编码技术与算术熵编码技术，我们设计了压缩传感视频编解码器框架，用于实现压缩传感视频的编解码应用。本发明与现有的用于压缩传感视频编解码方法相比，能够平均提高压缩传感视频编解码率失真性能BD-PSNR达8.84dB～11.81dB，同时系统的运算复杂度只有H.264/AVCInter的36％。

附图说明

图1为本发明的压缩传感视频获取与编解码系统示意图；

图2为本发明的压缩传感视频编码器框架图

图3为本发明的GMM有损压缩算法示意图

图4为本发明的PVQ算法的示意图

图5为本发明的压缩传感视频解码器框架图

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

参见图1，本发明包括以下步骤：

步骤一：在压缩传感视频发送端，场景视频X的每一帧通过孔径调制的方式与随机掩模H进行哈达码乘积运算得到调制帧S，在一个相机曝光周期内的T个调制帧S经过叠加得到压缩传感视频的一帧Y，压缩传感相机将观测到的压缩传感视频的一帧Y以模拟信号的形式输出；

步骤二：压缩传感视频帧Y被送入基于GMM有损压缩算法、DPCM差分编码以及算术编码为主要模块的压缩传感视频编码器，进行编码流程，最终得到可以用于存储或者传输的二进制发送码流SBS；

步骤三：在压缩传感视频接收端，由存储或者传输介质得到的二进制接收码流SBS被送入基于GMM有损解压缩算法、DPCM差分解码以及算术解码为主要模块的压缩传感视频解码器，进行解码流程，得到解码的压缩传感视频Yd；

步骤四：解码的压缩传感视频Yd被送入压缩传感视频重建模块得到重建的原始输入视频Xd。

一、压缩传感视频编码器的实现

如图2所示，压缩传感视频编码器主要包括以下几个模块：GMM压缩算法模块、标量量化模块、DPCM差分编码与算术编码模块。每一个输入编码器的视频帧首先被划分为不重叠的8x8图像块，然后将图像块分解为均值和系数两部分；对于图像块的均值，我们采用一个标量量化器对其进行量化，其中量化码本的码率为6比特～8比特，且量化器的码本由训练集经LBG算法训练得到；对于图像块的系数，我们采用GMM压缩算法对其进行压缩，其中分配的码率B_coef由用户根据应用情况通常设定在32比特～180比特之间。在对图像块的均值和系数压缩完成后，我们将压缩符号：包括均值符号、系数符号、GMM符号，送入DPCM差分编码模块中进行消除时域冗余的过程。时域冗余的消除是通过将时域相邻视频帧中相同位置图像块的压缩符号进行插值预测，这样就能以使用较少的码流对压缩符号进行编码。为了消除压缩符号中存在的数据冗余，我们采用了算术编码对压缩符号进行熵编码，从而得二进制码流。最后，我们将每一视频帧的压缩符号的二进制码流按帧顺序组合起来，并加入头信息，包括：视频帧的水平分辨率，竖直分辨率，帧率，块大小，总码流大小等信息，将组合的二进制码流和头信息结合起来成为可以用于存储和传输的二进制发送码流。

二、基于高斯混合模型的GMM压缩算法的实现

如图3所示，GMM压缩算法模块由K个PVQ模块和一个最小误差选择模块组成。每个输入GMM压缩算法模块的图像块系数被同时输入K个PVQ模块进行矢量量化，其中每个PVQ模块的最优码率分配如下，首先设图像块的系数的分布服从高斯混合模型

$x~{\mathrm{\Σ}}_{k=1}^K{w}_k\·N\left(x\right|u_k,{\mathrm{\Σ}}_k)$ 公式1

其中，模型参数w_k,u_k,Σ_k分别代表第k个高斯分量的权重，均值，协方差，高斯混合模型的参数可由EM算法在训练集上进行学习得到。设GMM压缩算法总的码率为B_tot，则每个PVQ的最优码率分配B_k如下

公式2

其中，p为图像块系数的维度，为Σ_k特征值的几何平均值。

每个PVQ模块的设计实现采用了乘积矢量量化的形式，如图4所示。设当前的PVQ模块是为第k个高斯分量所设计的。这个PVQ量化器包括一个K-L变换模块U，p个标量量化器，一个逆K-L变换模块U^-1。每个输入PVQ模块的向量x首先减去第k个高斯分量的均值u_k，然后得到p个标量并利用K-L变换U去除这p个标量的相关性，得到去相关的标量。将这些去相关的标量{x₁,x₂,...x_p}分别通过其所对应的标量量化器，最终的到量化的结果{xq₁,xq₂,...xq_p}，对量化的结果首先进行逆K-L变换模块U^-1，然后加上均值u_k，就得到输出的结果xq。

在这个PVQ模块中，K-L变换U的设计可以由Σ_k的特征值分解得到如下

L＝U^TΣ_kU＝diag(g₁,g₂,...,g_p)公式3

其中，L是对角线矩阵，g₁是Σ_k的第i个特征值。

每个标量量化器的码率分配方法如下

b_i＝B_k/p+log₂(g_i/s²)/2公式4

其中，B_k是分配给第k个PVQ模块的比特数，b_i是分给第i个标量量化器的比特数，s²是Σ_k的特征值的几何平均值。

每个标量量化器的码本设计如下，设第i个标量量化器的码本为C_i，在这里利用C_i表示基于x_i的分布函数设计的一个最优b_i比特的标量量化器。最后我们可以得到PVQ的总的码本P表示为

P＝{y|y＝U^-1x+u_k,xC}公式5

其中x＝{x₁,x₂,...x_p}，C＝C₁创C₂LC_i是p个标量量化器码本的笛卡尔积。

三、压缩传感视频解码器的实现，如图5所示。在解码端得到二进制接收码流后，解码端将此码流的头信息部分首先解码得到：视频帧的水平分辨率，竖直分辨率，帧率，块大小，总码流大小等信息；然后将此码流的其他部分按照帧顺序依次进行算术熵解码，DPCM差分解码流程，解码的结果包括：均值符号、系数符号、GMM符号；对于均值符号，采用标量反量化器得到重建的均值；利用GMM反压缩器，我们可以将系数符号与GMM符号解压缩成为重建的系数；将重建的均值与重建的系数结合，我们得到一个重建的图像块。最后将所有的重建图像块组合在一起得到重建的压缩传感视频帧。

压缩传感视频重构模块能够通过标准的l₁范数最优化压缩传感重构算法实现，或者可以利用基于高斯混合模型的压缩传感重构算法实现。

本发明通过针对压缩传感视频分布特性的高斯混合模型建模；并根据高斯混合模型参数设计了一种GMM有损压缩方法用于压缩传感视频帧的压缩，并加入标量量化模块以及DPCM差分编码和算术编码模块等构成了压缩传感视频编解码器的实现框架。本设计能够减少压缩传感视频的编解码码复杂度，提高编解码的率失真性能，满足视频系统对于环境对能量和计算复杂度有限制时的需求。

Claims (6)

1.一种基于高斯混合模型的压缩传感视频编解码方法，其特征在于：包括以下步骤：

步骤一：在压缩传感视频发送端，场景视频X的每一帧通过孔径调制的方式与随机掩模H进行哈达码乘积运算得到调制帧S，在一个相机曝光周期内的T个调制帧S经过叠加得到压缩传感视频的一帧Y，压缩传感相机将观测到的压缩传感视频的一帧Y以模拟信号的形式输出；

步骤二：压缩传感视频帧Y被送入基于GMM有损压缩算法、DPCM差分编码以及算术编码的压缩传感视频编码器，进行编码流程，最终得到可以用于存储或者传输的二进制发送码流SBS；

步骤三：在压缩传感视频接收端，由存储或者传输介质得到的二进制接收码流SBS被送入基于GMM有损解压缩算法、DPCM差分解码以及算术解码为压缩传感视频解码器，进行解码流程，得到解码的压缩传感视频Yd；

步骤四：解码的压缩传感视频Yd被送入压缩传感视频重建模块得到重建的原始输入视频Xd。

2.根据权利要求1所述的一种基于高斯混合模型的压缩传感视频编解码方法，其特征在于：所述步骤二中，每一个输入编码器的视频帧首先被划分为不重叠的8x8图像块，然后将图像块分解为均值和系数两部分；对于图像块的均值，用一个标量量化器进行量化，其中量化码本的码率为6比特～8比特；对于图像块的系数，用GMM有损压缩算法对其进行压缩，其中对此模块分配的码率由用户根据应用情况通常设定在32比特～180比特之间，然后将压缩所得的符号：包括均值符号、系数符号、GMM符号，送入DPCM差分编码和算术编码模块,最后，将得到的二进制码流加入头信息，组成用于存储和传输的二进制发送码流。

3.根据权利要求1或2所述的基于高斯混合模型的压缩传感视频编解码方法，其特征在于：所述的GMM有损压缩算法，由K个PVQ量化器组成，其中每个PVQ量化器的最优码流B_k的分配算法如下：

其中B_tot是GMM有损压缩算法的总码率，p为图像块系数的维度，为GMM为高斯混合模型中第k个高斯分量的协方差Σ_k的特征值的几何平均值。

4.根据权利要求3所述的基于高斯混合模型的压缩传感视频编解码方法，其特征在于：所述的PVQ量化器，由一个K-L变换U，p个标量量化器，一个逆K-L变换U^-1组成，其中K-L变换U由Σ_k的特征值分解得到如下：

L＝U^TΣ_kU＝diag(g₁,g₂,...,g_p)

其中，L是对角线矩阵，g₁是第k个高斯分量的协方差Σ_k的第i个特征值；

每个标量量化器的码率分配方法如下

b_i＝B_k/p+log₂(g_i/s²)/2

其中，B_k是分配给当前(第k个)PVQ量化器的比特数，b_i是分给第i个标量量化器的比特数，s²是第k个高斯分量的协方差Σ_k的特征值的几何平均值；

每个标量量化器的码本设计如下，设第i个标量量化器的码本为C_i，利用C_i表示基于x_i的分布函数设计的一个最优b_i比特的标量量化器，得到PVQ的总的码本P表示为

P＝{y|y＝U^-1x+u_k,xC}

其中x＝{x₁,x₂,...x_p}，C＝C₁创C₂LC_i是p个标量量化器码本的笛卡尔积。

5.根据权利要求1所述的一种基于高斯混合模型的压缩传感视频编解码方法，其特征在于：所述的压缩传感视频解码器是由码流分割算法，熵解码算法，DPCM差分解码算法，标量反量化器，GMM解压缩算法与块合并算法组成。

6.根据权利要求1所述的一种基于高斯混合模型的压缩传感视频编解码方法，其特征在于：所述的压缩传感视频重构模块能够通过标准的l₁范数最优化压缩传感重构算法实现，或者基于高斯混合模型的压缩传感重构算法实现。