CN105578183B - 一种基于高斯混合模型的压缩传感视频编解码方法 - Google Patents

Abstract

本发明提出了一种基于高斯混合模型的压缩传感视频编解码方法，首先利用高斯混合模型对压缩传感视频进行建模，在此基础上设计了一种基于乘积量化器的GMM有损压缩方法，提出了压缩传感视频编码器与解码器。对于压缩传感视频的时域冗余，采用了DPCM差分编码技术进行消除，进一步采用算术编码去除数据冗余得到输出码流，用于存储和传输。本发明利用高斯混合模型针对具有随机特性的压缩传感视频进行建模，同时对压缩传感视频进行时域冗余消除，能够节省系统的能量和计算资源，并提高压缩效率。本发明可以满足对视频编码系统有能量、计算复杂度限制的应用环境，如无线多媒体传感网络、空间视频获取、移动终端视频获取等。

Description

一种基于高斯混合模型的压缩传感视频编解码方法

技术领域

本发明属于视频编解码领域，具体涉及一种基于高斯混合模型的压缩传感视频编解码方法。

背景技术

基于压缩传感的视频编解码技术改变了传统视频编解码的方式——编码端复杂/解码端简单的系统模式，大大的降低了编码端对能量、计算资源的消耗，并将此能量、计算资源的负担转移到资源相对丰富的解码端，扩展了视频编解码技术在多媒体传感网络、空间视频获取、移动终端视频获取等领域的应用。传统的数字视频获取系统包含两个级联的模块：1)用于采集场景视频的相机，2)数据编码处理器，用于将采集到的视频数据的数据量降低。然而，这种系统结构并不能满足一些应用场景的需求。首先一些应用场景中，数字视频编解码系统具有有限的计算资源和能量供给；其次在一些应用场景中，系统的造价与复杂度随着视频空域和时域分辨率的增大而大大增加。为此，基于压缩传感技术的视频获取与编解码系统通过联合场景视频采样与数据压缩过程解决这些问题，然而，在压缩传感视频获取以及后续数据压缩方面，以及此系统对能量消耗和计算复杂度的要求，如何利用现有的系统框架，结合压缩传感视频的分布特点，实现数字视频的高效获取与编解码成为目前系统设计的突出问题。

发明内容

本发明的目的在于克服上述不足，提供一种基于高斯混合模型的压缩传感视频编解码方法，能够依据压缩传感视频的分布特性对压缩传感视频利用高斯混合模型进行建模，并根据所得到的模型参数设计一种高斯混合模型的有损压缩方法，从而实现对压缩传感视频的高效压缩。

为了达到上述目的，本发明包括以下步骤：

1、一种基于高斯混合模型的压缩传感视频编解码方法，其特征在于：包括以下步骤：

步骤一：在压缩传感视频发送端，场景视频X的每一帧通过孔径调制的方式与随机掩模H进行哈达码乘积运算得到调制帧S，在一个相机曝光周期内的T个调制帧S经过叠加得到压缩传感视频的一帧Y，压缩传感相机将观测到的压缩传感视频的一帧Y以模拟信号的形式输出；

步骤二：压缩传感视频帧Y首先被送入基于高斯混合模型的有损压缩算法编码得到码流YS，再将码流YS送入差分脉冲编码得到码流YP，最后对码流YP进行算术编码，可得到可以用于存储或者传输的二进制发送码流SBS；

步骤三：在压缩传感视频接收端，由存储或者传输介质得到的二进制接收码流SBS被送入基于高斯混合模型的有损解压缩算法得到码流YPd，再将YPd送入差分脉冲解码得到码流YSd，最后对码流YSd进行算术解码，可得到解码的压缩传感视频Yd；

步骤四：解码的压缩传感视频Yd被送入压缩传感视频重建模块得到重建的原始输入视频Xd。

所述步骤二中，每一个输入编码器的视频帧首先被划分为不重叠的8x8图像块，然后将图像块分解为均值和图像块减去均值所得残差系数两部分；对于图像块的均值，用一个标量量化器进行量化，其中量化码本的码率为6比特～8比特；对于图像块的残差系数，用高斯混合模型的有损压缩算法对其进行压缩，其中对此图像块分配的码率由用户根据应用情况通常设定在32比特～180比特之间，然后将压缩所得的符号：包括均值符号、残差系数符号、高斯混合模型的符号，送入差分脉冲编码，再送入算术编码模块,最后，将得到的二进制码流加入头信息，组成用于存储和传输的二进制发送码流。所述的高斯混合模型的有损压缩算法由K个PVQ量化器组成，其中每个PVQ量化器的最优码流B_k的分配算法如下：

其中B_tot是高斯混合模型的有损压缩算法的总码率，p为图像块残差系数的维度，为高斯混合模型的为高斯混合模型中第k个高斯分量的协方差矩阵的特征值的几何平均值，参数w_k是第k个高斯分量的权重。

所述的PVQ量化器由一个K-L变换U，p个标量量化器，一个逆K-L变换U^-1组成，其中K-L变换U由Σ_k的特征值分解得到如下：

Λ＝U^TΣ_kU＝diag(γ₁,γ₂,...,γ_p)

其中，Λ是对角线矩阵，γ₁是第k个高斯分量的协方差矩阵Σ_k的第i个特征值。

每个标量量化器的码率分配方法如下

b_i＝B_k/p+log₂(γ_i/σ²)/2

其中，B_k是分配给当前(第k个)PVQ量化器的比特数，b_i是分给第i个标量量化器的比特数，σ²是第k个高斯分量的协方差矩阵Σ_k的特征值的几何平均值；

然后得到PVQ的总的码本P表示为

P＝{y|y＝U^-1x+u_k,x∈C₁×C₂×…×C_p}

其中，U^-1是逆K-L变换矩阵；x＝{x₁,x₂,...x_p}；μ_k是第k个高斯分量的均值；C_i,i＝1,2,3...,p表示第i个标量量化器的码本，码本C_i的构造是依据针对x_i分布函数所设计的具有b_i比特码率的最优标量量化器；C₁×C₂×…×C_p表示p个标量量化器码本C₁,C₂…,C_p的笛卡尔积。

所述的压缩传感视频解码器是由码流分割算法，算术解码算法，差分脉冲解码算法，标量反量化器，高斯混合模型的解压缩算法与块合并算法组成。

所述的压缩传感视频重建模块能够通过标准的l₁范数最优化压缩传感重建算法实现，或者基于高斯混合模型的压缩传感重建算法实现。

与现有技术相比，本发明利用高斯混合模型，针对压缩传感视频的分布特性进行建模，并根据训练获得的高斯混合模型参数，设计一个高斯混合模型的有损压缩算法用于压缩传感视频的压缩；同时再结合差分脉冲编码技术与算术编码技术，我们设计了压缩传感视频编解码器框架，用于实现压缩传感视频的编解码应用。本发明与现有的用于压缩传感视频编解码方法相比，能够平均提高压缩传感视频编解码率失真性能BD-PSNR达8.84dB～11.81dB，同时系统的运算复杂度只有H.264/AVC Inter的36％。

附图说明

图1为本发明的压缩传感视频获取与编解码系统示意图；

图2为本发明的压缩传感视频编码器框架图

图3为本发明的高斯混合模型的有损压缩算法示意图

图4为本发明的PVQ算法的示意图

图5为本发明的压缩传感视频解码器框架图

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

参见图1，本发明包括以下步骤：

步骤一：在压缩传感视频发送端，场景视频X的每一帧通过孔径调制的方式与随机掩模H进行哈达码乘积运算得到调制帧S，在一个相机曝光周期内的T个调制帧S经过叠加得到压缩传感视频的一帧Y，压缩传感相机将观测到的压缩传感视频的一帧Y以模拟信号的形式输出；

步骤二：压缩传感视频帧Y首先被送入基于高斯混合模型的有损压缩算法编码得到码流YS，再将码流YS送入差分脉冲编码得到码流YP，最后对码流YP进行算术编码，可得到可以用于存储或者传输的二进制发送码流SBS；

步骤三：在压缩传感视频接收端，由存储或者传输介质得到的二进制接收码流SBS被送入基于高斯混合模型的有损解压缩算法得到码流YPd，再将YPd送入差分脉冲解码得到码流YSd，最后对码流YSd进行算术解码，可得到解码的压缩传感视频Yd；

步骤四：解码的压缩传感视频Yd被送入压缩传感视频重建模块得到重建的原始输入视频Xd。

一、压缩传感视频编码器的实现

如图2所示，压缩传感视频编码器主要包括以下几个模块：高斯混合模型的压缩算法模块、标量量化模块、差分脉冲编码与算术编码模块。每一个输入编码器的视频帧首先被划分为不重叠的8x8图像块，然后将图像块分解为均值和图像块减去均值所得残差系数两部分；对于图像块的均值，我们采用一个标量量化器对其进行量化，其中量化码本的码率为6比特～8比特，且量化器的码本由训练集经LBG算法训练得到；对于图像块的残差系数，我们采用高斯混合模型的压缩算法对其进行压缩，其中分配的码率B_coef由用户根据应用情况通常设定在32比特～180比特之间。在对图像块的均值和残差系数压缩完成后，我们将压缩符号：包括均值符号、残差系数符号、高斯混合模型的符号，送入差分脉冲编码模块中进行消除时域冗余的过程。时域冗余的消除是通过将时域相邻视频帧中相同位置图像块的压缩符号进行插值预测，这样就能以使用较少的码流对压缩符号进行编码。为了消除压缩符号中存在的数据冗余，我们采用了算术编码进一步对压缩符号进行熵编码，从而得二进制码流。最后，我们将每一视频帧的压缩符号的二进制码流按帧顺序组合起来，并加入头信息，包括：视频帧的水平分辨率，竖直分辨率，帧率，块大小，总码流大小等信息，将组合的二进制码流和头信息结合起来成为可以用于存储和传输的二进制发送码流。

二、基于高斯混合模型的高斯混合模型的压缩算法的实现

如图3所示，高斯混合模型的压缩算法模块由K个PVQ模块和一个最小误差选择模块组成。每个输入高斯混合模型的压缩算法模块的图像块残差系数被同时输入K个PVQ模块进行矢量量化，其中每个PVQ模块的最优码率分配如下，首先设图像块的残差系数的分布服从高斯混合模型

其中，模型参数w_k,u_k,Σ_k分别代表第k个高斯分量的权重，均值，协方差矩阵，高斯混合模型的参数可由EM算法在训练集上进行学习得到。设高斯混合模型的压缩算法总的码率为B_tot，则每个PVQ的最优码率分配B_k如下

其中B_tot是高斯混合模型的有损压缩算法的总码率，p为图像块残差系数的维度，为高斯混合模型的为高斯混合模型中第k个高斯分量的协方差矩阵的特征值的几何平均值，参数w_k是第k个高斯分量的权重。

每个PVQ模块的设计实现采用了乘积矢量量化的形式，如图4所示。设当前的PVQ模块是为第k个高斯分量所设计的。这个PVQ量化器包括一个K-L变换模块U，p个标量量化器，一个逆K-L变换模块U^-1。每个输入PVQ模块的向量x首先减去第k个高斯分量的均值u_k，然后得到p个标量并利用K-L变换U去除这p个标量的相关性，得到去相关的标量。将这些去相关的标量{x₁,x₂,...x_p}分别通过其所对应的标量量化器，最终的到量化的结果{xq₁,xq₂,...xq_p}，对量化的结果首先进行逆K-L变换模块U^-1，然后加上均值u_k，就得到输出的结果xq。

在这个PVQ模块中，K-L变换U的设计可以由Σ_k的特征值分解得到如下

Λ＝U^TΣ_kU＝diag(γ₁,γ₂,...,γ_p) 公式3

其中，Λ是对角线矩阵，γ₁是Σ_k的第i个特征值。

每个标量量化器的码率分配方法如下

b_i＝B_k/p+log₂(γ_i/σ²)/2 公式4

其中，B_k是分配给第k个PVQ模块的比特数，b_i是分给第i个标量量化器的比特数，σ²是Σ_k的特征值的几何平均值。

然后得到PVQ的总的码本P表示为

P＝{y|y＝U^-1x+u_k,x∈C₁×C₂×…×C_p} 公式5

其中，U^-1是逆K-L变换矩阵；x＝{x₁,x₂,...x_p}；μ_k是第k个高斯分量的均值；C_i,i＝1,2,3...,p表示第i个标量量化器的码本，码本C_i的构造是依据针对x_i分布函数所设计的具有b_i比特码率的最优标量量化器；C₁×C₂×…×C_p表示p个标量量化器码本C₁,C₂…,C_p的笛卡尔积。

三、压缩传感视频解码器的实现，如图5所示。在解码端得到二进制接收码流后，解码端将此码流的头信息部分首先解码得到：视频帧的水平分辨率，竖直分辨率，帧率，块大小，总码流大小等信息；然后将此码流的其他部分按照帧顺序依次进行算术解码，差分脉冲解码流程，解码的结果包括：均值符号、残差系数符号、高斯混合模型的符号；对于均值符号，采用标量反量化器得到重建的均值；利用基于高斯混合模型的解压缩器，我们可以将残差系数符号与高斯混合模型的符号解压缩成为重建的残差系数；将重建的均值与重建的残差系数相加，我们得到一个重建的图像块。最后将所有的重建图像块组合在一起得到重建的压缩传感视频帧。

压缩传感视频重建模块能够通过标准的l₁范数最优化压缩传感重建算法实现，或者可以利用基于高斯混合模型的压缩传感重建算法实现。

本发明通过针对压缩传感视频分布特性的高斯混合模型建模；并根据高斯混合模型参数设计了一种高斯混合模型的有损压缩方法用于压缩传感视频帧的压缩，并加入标量量化模块以及差分脉冲编码和算术编码模块等构成了压缩传感视频编解码器的实现框架。本设计能够减少压缩传感视频的编解码复杂度，提高编解码的率失真性能，满足视频系统对于能量和计算复杂度有限制的需求。

Claims (6)

1.一种基于高斯混合模型的压缩传感视频编解码方法，其特征在于：包括以下步骤：

步骤一：在压缩传感视频发送端，场景视频X的每一帧通过孔径调制的方式与随机掩模H进行哈达码乘积运算得到调制帧S，在一个相机曝光周期内的T个调制帧S经过叠加得到压缩传感视频的一帧Y，压缩传感相机将观测到的压缩传感视频的一帧Y以模拟信号的形式输出；

步骤二：压缩传感视频帧Y首先被送入基于高斯混合模型的有损压缩算法编码得到码流YS，再将码流YS送入差分脉冲编码得到码流YP，最后对码流YP进行算数编码，可得到可以用于存储或者传输的二进制发送码流SBS；

步骤三：在解码端得到二进制接收码流后，解码端将此码流的头信息部分首先解码得到：视频帧的水平分辨率，竖直分辨率，帧率，块大小，总码流大小信息；然后将此码流的其他部分按照帧顺序依次进行算数解码，差分脉冲解码流程，解码的结果包括：均值符号、残差系数符号、高斯混合模型的符号；对于均值符号，采用标量反量化器得到重建的均值；利用基于高斯混合模型的解压缩器，将残差系数符号与高斯混合模型的符号解压缩成为重建的残差系数；将重建的均值与重建的残差系数相加，得到一个重建的图像块，最后将所有的重建图像块组合在一起得到重建的压缩传感视频帧；

步骤四：解码的压缩传感视频Yd被送入压缩传感视频重建模块得到重建的原始输入视频Xd。

2.根据权利要求1所述的一种基于高斯混合模型的压缩传感视频编解码方法，其特征在于：所述步骤二中，每一个输入编码器的视频帧首先被划分为不重叠的8x8图像块，然后将图像块分解为均值和图像块减去均值所得残差系数两部分；对于图像块的均值，用一个标量量化器进行量化，其中量化码本的码率为6比特～8比特；对于图像块的残差系数，用高斯混合模型的有损压缩算法对其进行压缩，其中对此图像块分配的码率由用户根据应用情况通常设定在32比特～180比特之间，然后将压缩所得的符号：包括均值符号、残差系数符号、高斯混合模型的符号，送入差分脉冲编码，再送入算数编码模块,最后，将得到的二进制码流加入头信息，组成用于存储和传输的二进制发送码流。

3.根据权利要求1或2所述的基于高斯混合模型的压缩传感视频编解码方法，其特征在于：所述的高斯混合模型的有损压缩算法，由K个PVQ量化器组成，其中每个PVQ量化器的最优码流B_k的分配算法如下：

其中B_tot是高斯混合模型的有损压缩算法的总码率，p为图像块残差系数的维度，为高斯混合模型的第k个高斯分量的协方差矩阵特征值的几何平均值，参数w_k是第k个高斯分量的权重。

4.根据权利要求3所述的基于高斯混合模型的压缩传感视频编解码方法，其特征在于：所述的PVQ量化器，由一个K-L变换U，p个标量量化器，一个逆K-L变换U^-1组成，其中K-L变换U由∑_k的特征值分解得到如下：

Λ＝U^TΣ_kU＝diag(γ₁,γ₂,...,γ_p)

其中，Λ是对角线矩阵，γ₁是第k个高斯分量的协方差矩阵∑_k的第i个特征值；

每个标量量化器的码率分配方法如下

其中，B_k是分配给第k个PVQ量化器的比特数，b_i是分给第i个标量量化器的比特数，是为高斯混合模型中第k个高斯分量的协方差矩阵∑_k特征值的几何平均值；

然后得到PVQ的总的码本P表示为

P＝{y|y＝U^-1x+u_k，x∈C}

其中x＝{x₁,x₂,...x_p}，C＝C₁×C₂×…×C_p，是p个标量量化器码本的笛卡尔积，C_i,i＝1,2,3...,p表示第i个标量量化器的码本，标量量化器i是基于x_i的分布函数所设计的一个最优b_i比特的标量量化器。

5.根据权利要求1所述的一种基于高斯混合模型的压缩传感视频编解码方法，其特征在于：所述的压缩传感视频解码器是由第一步码流分割算法，将码流分割为均值码流AS、残差系数码流SS、高斯混合模型码流GS；第二步将均值码流AS和残差系数码流SS以及高斯混合模型的码流GS送入算数解码算法，分别得到解码结果AH和SH以及GH，然后将AH和SH以及GH送入差分脉冲解码算法，分别得到解码结果均值符号Af和残差系数符号Sf以及高斯混合模型符号Gf，第三步将均值符号Af送入标量反量化器得到均值A，同时将残差系数符号Sf和高斯混合模型符号Gf送入高斯混合模型的解压缩算法得到残差系数SG，第四步将均值A与残差系数SG相加得到图像块B，第五步将解码得到的所有图像块B合并得到重建的视频帧F。

6.根据权利要求1所述的一种基于高斯混合模型的压缩传感视频编解码方法，其特征在于：所述的压缩传感视频重建模块能够通过标准的l₁范数最优化压缩传感重建算法实现，或者基于高斯混合模型的压缩传感重建算法实现。