CN103826122B - 一种复杂度均衡的视频编码方法及其解码方法 - Google Patents

Abstract

本发明公开了一种复杂度均衡的视频编码方法，包括步骤01：将原始视频序列按GOP分为K帧和W帧；步骤02：对于K帧，采用帧内编码方法进行编码;步骤03：对于W帧，采用LDPC进行编码；步骤04：对于每一帧W帧，同时计算出相应的偏移量、拉普拉斯算子和信息熵。本发明同时公开了其解码方法。本发明的复杂度均衡的视频编解码方法，将计算偏移量与信息熵的运算从解码端转移到编码端，能够减少解码端的运算量，提高编码端的运算量，从而使得编、解码端的复杂度得以均衡。

Description

一种复杂度均衡的视频编码方法及其解码方法

技术领域

本发明涉及视频编码领域，具体涉及一种复杂度均衡的视频编码方法及其解码方法。

背景技术

视频编码是指通过特定的压缩技术，将某个视频格式的文件转换成另一种视频格式文件的方式。分布式视频编码(Distributed Video Coding，DVC)是基于Slepian-Wolf理论和Wyner-Ziv理论，对两个或多个独立同分布的信源进行独立编码，然后由单一解码器利用信源之间的相关性对所有编码的信源进行联合解码。分布式视频编码的理论研究始自20世纪70年代建立的信息理论，即Slepian-Wolf建立的分布式无损编码理论以及Wyner-Ziv建立的使用解码端边信息(Side Information)的有损编码理论。根据这两种理论建立的编解码的应用统称为分布式编码方法，其中Wyner-Ziv理论是分布式视频编码技术的主要理论依据。分布式编码涉及的两个相关码源之一可以是另一个码源经过一个虚拟的“相关信道”传输后产生的，所以目前的分布式信源编码源自信道编码。Slepian-Wolf和Wyner-Ziv理论表明对两个统计相关的信源，若用分布式的方式(独立编码、联合解码)进行压缩编码，编码后的速率与传统视频编码后的速率相当，需要说明的是，对Wyner-Ziv理论，上述结论的前提是信源X，Y为联合高斯信源且失真度量为均方差。

在众多的现有的分布式视频编码技术方案中，斯坦福大学的A.Aaron等提出的Wyner-Ziv编码器得到广泛的关注，并且很多应用都是在此基础上进行设计的。其中，一种是基于像素域的Wyner-Ziv视频编解码，如图1所示，在编码器端，视频帧被分成两种类型：关键帧K和Wyner-Ziv帧S。对于关键帧K，采用传统的帧内编码方式对其进行编码处理；对于S帧，采用帧内编码、帧间解码的技术对其进行处理。在解码端，对K帧进行传统的帧内解码即可得到解码后的关键帧K′；对于帧，解码器利用相邻已解码的K′帧或者S′帧，通过运动补偿插值(内插或外推)，形成插值帧Y，Y为初步估计得到的Wyner-Ziv帧X，也称其为边信息。Turbo解码器使用编码端发送过来的校验码对边信息Y进行“纠错”解码，如果码平面解码成功，则经格雷反编码及码平面重组得到解码后的符号流q^′；否则向缓存器的缓冲区请求更多的校验位进行重新解码，直到误码率在指定的误码门限P_ε之内。得到q^′后，解码器中的重建模块根据q^′和边信息Y重建每个像素值，从而得到重建后的Wyner-Ziv帧S′。

另一种是基于变换域的Wyner-Ziv视频编解码器，结构如图2所示，与基于像素域的视频编解码器相同，编码器端视频帧被分成两种类型：关键帧K和Wyner-Ziv帧W。关键帧K使用传统的帧内编解码方式对其进行处理；两个关键帧间的w帧则采用帧内编码、帧间解码的技术对其进行处理。与基于像素域的Wyner-Ziv视频编码器相比，变换域的Wyner-Ziv视频编码器获得了更高的压缩比和更好的图像质型。

然而，上述两种视频编解码器的弊端在于解码端的运算复杂度远远大于编码端的复杂度，这种极端方式使得解码端的运算量远远大于编码端，并不适用于点对点的通信方式。因此有必要提供一种复杂度均衡的视频编解码方法来解决现有技术的缺陷。

发明内容

本发明的目的是提供一种复杂度均衡的视频编码方法和解码方法，使编码端与解码端复杂度相对均衡，提高运算性能及通信性能。

因此，本发明首先提供了一种复杂度均衡的视频编码方法，包括以下步骤：步骤01：将原始视频序列按GOP(Group ofPictures，画面组)分为K帧和W帧;步骤02：对于K帧，采用帧内编码方法进行编码；步骤03：对于W帧，采用LDPC(Low-density parity-checkcodes，低密度奇偶校验码)进行编码；步骤04：对于每一帧W帧，同时计算出相应的偏移量、拉普拉斯算子和信息熵。

较佳地，所述步骤02的统帧内编码方法为JPEG(Joint Photographic ExpertsGroup，联合图像专家小组)编码。

较佳地，所述步骤03之前还包括：将每一W帧数据分割成6部分进行处理，其中，Y分量占4份，U、V分量各占一份，对每一部分先进行离散余弦变换，然后经过均匀量化后再进行LDPC编码。

较佳地，所述步骤04之前还包括：将每一W帧数据先进行离散余弦变换，然后进行均匀量化。具体地，所述步骤04进一步包括：对于每一帧W帧，分别根据当前帧跟前一帧的数据，先进行运动估计算出两者之间的对于每一像素点的X、Y偏移量，然后计算出经过离散余弦变换和均匀量化后两者之间每一像素点的冗余，根据所述冗余计算出相应的拉普拉斯算子和信息熵，并将计算出来的X偏移量、Y偏移量、拉普拉斯算子和信息熵数据按每一帧一个文件保存起来。

相应地，本发明同时提供了一种如上所述的复杂度均衡的视频编码方法的解码方法，包括以下步骤：步骤11：采用与编码端相同的GOP进行帧分类，分为已编码K帧和已编码W帧；步骤12：对于已编码K帧数据，采用对应的帧内解码方法进行解码，得到解码后的K帧数据；步骤13：向编码端请求偏移量数据、拉普拉斯算子数据和信息熵数据；步骤14：利用已接收的信息熵来估计请求的已编码W帧的码率；步骤15：利用解码后的K帧数据计算出当前W帧的边信息；步骤16：按估计的已编码W帧码率向编码端请求已编码的W帧数据，联合边信息、拉普拉斯算子和偏移量数据进行LDPC解码得到解码后的W帧数据。

较佳地，所述步骤12的帧内解码方式为JPEG解码。

较佳地，所述步骤16中进行LDPC解码后，再通过反离散余弦变换和反量化进行图像重构得到解码后的W帧数据。

较佳地，所述步骤15进一步包括：对已解码的K帧数据进行帧间内插或外推，然后进行离散余弦变换，再计算边信息。

较佳地，所述步骤16中解码过程中，先用偏移量数据进行初始化，然后用边信息和拉普拉斯算子通过联合位平面解码和信息传递位解码计算出对数似然比率，再根据对数似然比率进行软判决解码，如果软判决解码不成功，解码端就会增大请求码率通过反馈信道向编码端请求更多的增量已编码W帧数据，解码请求过程一直重复下去，直到软判决解码成功。

与现有技术相比，本发明的复杂度均衡的视频编码方法及解码方法，将计算偏移量与信息熵的运算从解码端转移到编码端，能够减少解码端的运算量，提高编码端的运算量，从而使得编、解码端的复杂度得以均衡。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是现有技术的基于像素域的Wyner-Ziv视频编解码器的编解码流程图；

图2是现有技术的基于变换域的Wyner-Ziv视频编解码器的编解码流程图；

图3是本发明复杂度均衡的视频编码方法的流程图；

图4是图3所示的复杂度均衡的视频编码方法的解码方法的流程图；

图5是本发明实施例的复杂度均衡的视频编解码方法的流程图；

图6是本发明实施例的基于置信传播的联合位平面的LDPC解码流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

参考图3，本发明提供了一种复杂度均衡的视频编码方法，包括以下步骤：

步骤S01：将原始视频序列按GOP分为K帧和W帧；

步骤S02：对于K帧，采用帧内编码方法进行编码；

步骤S03：对于W帧，采用LDPC进行编码；

步骤S04：对于每一帧W帧，同时计算出相应的偏移量、拉普拉斯算子和信息熵。

较佳地，所述步骤S02的统帧内编码方法为JPEG编码。

参考图4，相应地，本发明同时提供了一种上述复杂度均衡的视频编码方法的解码方法，包括以下步骤：

步骤S11：采用与编码端相同的GOP进行帧分类，分为已编码K帧和已编码W帧；

步骤S12：对于已编码K帧数据，采用对应的帧内解码方法进行解码，得到解码后的K帧数据；

步骤S13：向编码端请求偏移量数据、拉普拉斯算子数据和信息熵数据；

步骤S14：利用已接收的信息熵来估计请求的已编码W帧的码率；

步骤S15：利用解码后的K帧数据计算出当前W帧的边信息；

步骤S16：按估计的已编码W帧码率向编码端请求已编码的W帧数据，联合边信息、拉普拉斯算子和偏移量数据进行LDPC解码得到解码后的W帧数据。

较佳地，所述步骤S12的帧内解码方式为JPEG解码。

较佳地，所述步骤S16中进行LDPC解码后，再通过反离散余弦变换和反量化进行图像重构得到解码后的W帧数据。

较佳地，所述步骤S15进一步包括：对已解码的K帧数据进行帧间内插或外推，然后进行离散余弦变换，再计算边信息。

较佳地，解码端与编码端采用可靠地面向连接的TCP通信方式。

配合参考图5，作为本发明的实施例，具体编码时，首先对于原始视频序列的每一帧，按GOP来划分成K帧和W帧，例如当GOP=n时，在一个GOP周期内，就有1帧K帧和n-1帧W帧。对于K帧，采用传统的帧内编码方法进行JPEG编码；对于W帧，本发明实施例的原始视频序列格式为176*144的QCIF格式，其中采样格式为YCbCr4：2：0，所以在进行数据处理时，本发明实施例将一帧数据分割成6部分进行处理，即将Y分量划分成4份，U、V分量各1份的88*72大小的数据，对每一部分先进行离散余弦变换(Discrete Cosine Transform，DCT)，然后经过量化后再进行LDPC编码，这种编码方式是基于变换域的编码方式，编码完成后的数据按每一帧一个文件在缓冲区保存起来；对于每一帧W帧，需要根据当前帧跟前一帧的数据，先通过三步法进行运动估计算出两者之间的对于每一像素点的X、Y偏移量，然后计算算出经过离散余弦变换和量化后两者之间每一像素点的冗余，利用这个冗余计算出相应得拉普拉斯算子和信息熵，然后再将计算出来X偏移量、Y偏移量、拉普拉斯算子和信息熵数据按每一帧一个文件保存起来。

其中，LDPC编码器由LDPC校正子连接生成一个累加器构成。信源比特位(x₁，...，x₈)根据LDPC的因子图在校验节点端进行模2和，生成校验位(s₁，...，s₈)，校验位依次模2和产生累积校验位(a₁，...，a₈)。编码器将所述累积校验位存储缓在冲器中，逐次递增地传递给解码端。最初只传递符合最小理论速率的一小部分校正子，如果解码失败，则接着增加所需传递的校正子。

在W帧的解码过程中，运用到的拉普拉斯的计算公式为：

其中T(u，v)表示像素点(u，v)在变换域的DCT系数的相关噪声，而模型参数α是在线估计的。

其中b是直流系数带和交流系数带，是在b中的相关噪声的绝对方差值，而D_|b|(u，v)是b中像素点(u，v)的相关噪声值绝对值与平均值之差。

图像的二维信息熵的计算公式为：

其中P_i,j=f(i，j)／N²，f(i，j)为特征二元组(i，j)出现的频数，N为图像的尺寸大小，选择图像的邻域灰度均值作为灰度分布的空间特征量，与图像的像素灰度组成特征二元组，记为(i，j)，其中i表示像素的灰度值(0<=i<=255)，j表示邻域灰度均值(0<=j<=255)。在本发明的实施例中，由于图像数据经过了DCT变换和均匀量化，所以选择进过变换和量化后的数据来进行计算。需要说明地，其他计算信息熵的方法也可以应用到本发明的技术方案中。

继续参考图5，具体解码时，首先采用跟编码端相同的GOP进行帧分类；对于K帧，向编码端请求已编码的K帧数据，等待接收完成后，采用相应的传统帧内解码技术进行JPEG解码；对于W帧，先向编码端请求运动估计信息，等待接收完成后，将X偏移量、Y偏移量、拉普拉斯算子和信息熵数据用对应的数组保存起来，然后利用已接收的信息熵来估计已编码的W帧数据请求码率，其中，该请求码率是用于向编码端请求已编码W帧数据时不是请求所用的数据，而是按比例请求其中的部分数据用于解码，以达到数据压缩的作用；在进行W帧解码时，先利用前一帧的解码数据计算出边信息，前一帧的解码数据可以是W帧解码成功后的数据，也可以是K帧解码成功后的数据，所以在进行编码是第一帧一定是K帧，这样才有可能为后续帧提供数据，然后根据估计码率向编码端请求部分的已编码W帧数据，等待接收完成，联合之前计算出来的边信息、编码端计算好的X、Y偏移量和拉普拉斯算子进行LDPC的解码。解码过程中，先用X、Y偏移量进行初始化，然后进行最大期望(Expectation Maximization，EM)迭代法的迭代解码，包括用边信息和拉普拉斯算子通过联合位平面解码和信息传递位解码计算出对数似然比率，然后根据对数似然比率进行软判决解码，如果软判决解码不成功，解码端就会增大请求码率通过反馈信道向编码端请求更多的增量已编码W帧数据，“解码一一请求”过程一直重复下去，知道软判决解码成功；软判决成功后通过反离散余弦变换IDCT和反量化进行图像重构。

其中，LDPC码解码时，当每次接收到增加的校正子，解码器通过更改其相应的因子图来达到速率自适应的目的。假定接收端收到了所有的校正子，通过对这些校正子进行连续的模2差来生成校正子(s₁，...，s₈)，接下来的解码过程就是基于置信传播(BP，BeliefPropagation)的LDPC迭代解码过程。概率域BP解码方法就可以根据模2差得到的校正子的二分图来进行迭代解码。

参考图6，作为本发明的一实施例，联合位平面的LDPC解码过程可用如图6中所示的置信传播，解码时，沿着图中的线传播比特置信度的对数似然比率(LLR，log likehoodratios)，根据综合节点设置的限制来解析比特节点。所述对数似然比率是一个特定比特为“1”的似然率与为“0”的似然率的对数值。不同之处在于边信息Ψ不再直接提供给比特节点，而是传输到一个新的节点上，符号节点。如图6中所示，每一个符号节点(代表一个像素)收集Ψ_pixel和从每个和该像素有关的比特节点g∈{1，...d}传来的对数似然比率经过运算后，符号节点为h∈{1,...d}发送对数似然比率到每个这些比特节点上，同时输出该像素点的软判决θ_pixel。

在图6中，符号节点为3个，所以边信息的分布有8个值，也就是：

Ψ_pixel=(p₀₀₀，p₀₀₁，p₀₁₀，p₀₁₁，p₁₀₀，p₁₀₁，p₁₁₀，p₁₁₁)

然后发送到比特节点的LLR是通过和积算法计算出来的，例如，对于比特节点

比特节点将对数似然比率转发给综合节点，然后就可以根据LDPC综合译码的方法将所需信息返回给比特节点。这样轮流更新着发送符号节点的对数似然比率

同样地，通过像素的所有三个比特节点值的二元分布(α₁，1-α₁)，(α₂，1-α₂)，(α₃，1-α₃)跟Ψ_pixel的乘积的索引就可得出软判决θ_pixel：

θ_pixel=(q₀₀₀，q₀₀₁，q₀₁₀，q₀₁₁，q₁₀₀，q₁₀₁，q₁₁₀，q₁₁₁)

其中：q₀₀₀∝p₀₀₀(1-α₁)(1-α₂)(1-α₃)，q₀₀₁∝p₀₀₀(1-α₁)(1-α₂)α₃，

q₀₁₀∝p₀₀₀(1-α₁)(1-α₂)(1-α₃)，q₀₁₁∝p₀₀₀(1-α₁)α₂(1-α₃)，

q₁₀₀∝p₀₀₀(1-α₁)α₂α₃，q₁₀₁∝p₀₀₀α₁(1-α₂)(1-α₃)，

q₁₁₀∝p₀₀₀α₁α₂(1-α₃)，q₁₁₁∝p₀₀₀α₁α₂α₃。

综上，与现有技术相比，本发明的复杂度均衡的视频编码方法及解码方法，将计算偏移量与信息熵的运算从解码端转移到编码端，能够减少解码端的运算量，提高编码端的运算量，从而使得编、解码端的复杂度得以均衡；与此同时，也消除了现有技术的分布式视频编解码技术中在解码端需要原始视频序列的弊端，进一步降低复杂度，提高编解码性能。

以上对本发明实施例所提供的复杂度均衡的视频编码方法及其解码方法，进行了详细介绍，其中部分步骤中运用了现有的技术手段进行处理，如JPEG编解码、LDPC编解码、运动估计、离线余弦变换、量化、EM迭代法、信息传递位解码、帧重构等等，这些技术方法都为本领域技术人员所熟知，因此没有一一展开描述，可以理解地，本发明的复杂度均衡的视频编码方法及其解码方法可以适用于各种视频编解码方法，通过将计算偏移量与信息熵的运算从解码端转移到编码端，能够减少解码端的运算量，从而使视频编解码的编、解码端的复杂度得以均衡。本发明中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种复杂度均衡的视频编码方法，其特征在于，包括以下步骤：

步骤01：将原始视频序列按GOP分为K帧和W帧；

步骤02：对于K帧，采用帧内编码方法进行编码；

步骤03：对于W帧，采用LDPC进行编码；

步骤04：对于每一帧W帧，同时计算出相应的偏移量、拉普拉斯算子和信息熵。

2.如权利要求1所述的复杂度均衡的视频编码方法，其特征在于，所述步骤02的帧内编码方法为JPEG编码。

3.如权利要求1所述的复杂度均衡的视频编码方法，其特征在于，所述步骤03之前还包括：将每一W帧数据分割成6部分进行处理，其中，Y分量占4份，U、V分量各占一份，对每一部分先进行离散余弦变换，然后经过均匀量化后再进行LDPC编码。

4.如权利要求1所述的复杂度均衡的视频编码方法，其特征在于，所述步骤04之前还包括：将每一W帧数据先进行离散余弦变换，然后进行均匀量化。

5.如权利要求4所述的复杂度均衡的视频编码方法，其特征在于，所述步骤04进一步包括：对于每一帧W帧，分别根据当前帧跟前一帧的数据，先进行运动估计算出两者之间的对于每一像素点的X、Y偏移量，然后计算出经过离散余弦变换和均匀量化后两者之间每一像素点的冗余，根据所述冗余计算出相应的拉普拉斯算子和信息熵，并将计算出来的X偏移量、Y偏移量、拉普拉斯算子和信息熵数据按每一帧一个文件保存起来。

6.一种如权利要求1所述的复杂度均衡的视频编码方法的解码方法，其特征在于，包括以下步骤：

步骤11：采用与编码端相同的GOP进行帧分类，分为已编码K帧和已编码W帧；

步骤12：对于已编码K帧数据，采用对应的帧内解码方法进行解码，得到解码后的K帧数据；

步骤13：向编码端请求偏移量数据、拉普拉斯算子数据和信息熵数据；

步骤14：利用已接收的信息熵来估计请求的已编码W帧的码率；

步骤15：利用解码后的K帧数据计算出当前W帧的边信息；

步骤16：按估计的已编码W帧码率向编码端请求已编码的W帧数据，联合边信息、拉普拉斯算子和偏移量数据进行LDPC解码得到解码后的W帧数据。

7.如权利要求6所述的复杂度均衡的视频编码方法的解码方法，其特征在于，所述步骤12的帧内解码方式为JPEG解码。

8.如权利要求6所述的复杂度均衡的视频编码方法的解码方法，其特征在于，所述步骤16中进行LDPC解码后，再通过反离散余弦变换和反量化进行图像重构得到解码后的W帧数据。

9.如权利要求6所述的复杂度均衡的视频编码方法的解码方法，其特征在于，所述步骤15进一步包括：对已解码的K帧数据进行帧间内插或外推，然后进行离散余弦变换，再计算边信息。

10.如权利要求6所述的复杂度均衡的视频编码方法的解码方法，其特征在于，所述步骤16中解码过程中，先用偏移量数据进行初始化，然后用边信息和拉普拉斯算子通过联合位平面解码和信息传递位解码计算出对数似然比率，再根据对数似然比率进行软判决解码，如果软判决解码不成功，解码端就会增大请求码率通过反馈信道向编码端请求更多的增量已编码W帧数据，解码请求过程一直重复下去，直到软判决解码成功。