CN102833536A - 一种面向无线传感器网络的分布式视频编解码方法 - Google Patents

Abstract

一种面向无线传感器网络的分布式视频编解码方法，整体框架基于像素域的残差编解码方案，它采用在W帧编码端增加基于像素域区分的感兴趣区域模块并将预测残差编码应用到非感兴趣区域中，避免了残差编码应用的局限性，进一步获得了更好的率失真性能。同时针对基于像素域的编解码方案未能充分挖掘原始信息的空间相关性以至于其性能低于基于DCT域的方案这一问题，将原始图像看成符合MRF模型的信息源，在解码端采取LDPC算法和Baum-Welch算法交替迭代解码的方案。主要用于满足无线传感器节点对图像传输的要求：低复杂度的信息源端，较低的传输码率，较好的率失真特性，降低传感器节点能耗，实现面向无线传感器网络的应用。

Description

一种面向无线传感器网络的分布式视频编解码方法

技术领域

本发明是一种面向无线传感器网络的分布式视频编解码的改进方案，具体是一种基于像素域的联合LDPC（Low Density Parity Check Code，低密度奇偶校验码）和Baum-Welch（鲍姆-韦尔奇）迭代算法的残差视频编解码方法，属于无线多媒体传感器网络领域。

背景技术

近年来，伴随着无线多媒体通信技术的迅速发展，一些新的视频应用需求开始出现，如：无线PC（Personal Computer，个人计算机）摄像机、移动可视电话、无线视频监控、无线多媒体传感器网络等。在这些新的视频应用中，由于受限于电源电量、存储容量、计算能力、通信能力，无线视频终端不仅需要较低复杂度的编码，而且需要视频信号实时编码和传输。传统的视频编码标准（如MPEG（Moving Pictures Experts Group，动态图像专家组）、H.26X）都采用了混合编码框架，编码采用运动估计，充分挖掘视频序列的时间和空间相关性信息，一般情况下，编码复杂度是解码复杂度的5~10倍，不再适用于这些新的视频应用场合中，必须寻找新的编码压缩方法。

为了解决传统视频编码复杂度高、和容错能力差等问题，一种以Slepian和Wolf提出的Slepian-Wolf无损信源编码，以及Wyner-Ziv提出的在解码端获得边信息（Side Information，SI）的Wyner-Ziv有损信源编码为理论基础的全新分布式视频编码（Distributed Video Coding）方法被引入，用于解决无线多媒体传感器网络中的视频编码问题。

分布式视频编码具有编码简单、解码复杂的特点，与传统的视频编码标准复杂编码、简单解码具有良好的互补性。发送方采用分布式视频编码并将编码的视频流发送至基站或网络中心节点，在基站或网络中心结点设置码流转换器，将分布式码率转换为H.26X/MPEG码流，然后由基站或网络中心结点将转换后的视频流传送给客户端。该编码方案将分布式复杂的解码和传统视频的复杂编码转移到了基站或网络中心，利用了基站或网络中心较强的计算和存储能力，这样对于发送方和接收终端而言，仅需要进行较低复杂度的编码和解码，从而适用于电源电量、存储能力、运算能力和通信能力都受限的无线多媒体传感器网络。

斯坦福大学A.Aaron等人提出了基于RCPT（Rate Compatible Punctured Turbo Code）分布式视频编码系统，UC伯克利分校的R.Puri和K.Ramchandran设计了PRISM（Power-efficient Robust high-compression Syndrome-base Multimedia）分布式视频编码系统。分布式编码对多个相关信源独立编码，在解码端进行联合解码，仅在解码时使用到了多个信源的信息，因此将计算的负担从编码端转移到解码端，编码端的复杂度可以很低，这符合了无线多媒体传感器网络节点计算能力有限的特点。在Wyner-Ziv视频编码中，解码端的运动估计技术是根据帧间的相关性进行运动矢量预测实现的。当解码端边信息和Wyner-Ziv帧（W帧）之间的相关性较弱时，就不能准确的进行运动估计，进而影响解码的效果。

基于像素域的分布式编码系统是将Wyner-Ziv帧帧的每个像素值采用                                                

级别的统一尺度量化，

∈｛2,4,8,16｝，将每帧图像量化后的符号流进行位平面提取，然后对每个位平面独立编码。在解码端，关键帧（K 帧）采用传统的帧内解码方法解码。解码时，Wyner-Ziv帧优先解码最重要的位平面，已经解码的位平面可以用来解码未解码的位平面，直到位平面全部解码。但是对整个图像的像素进行编码处理，数据量较大。

基于离散余弦变化（DCT）编码的分布式视频编码方案，可以实现图像信息量很大程度上的压缩。降低了码率，提高了整体性能，适用于无线传感器网络。DCT变换是一种数字处理方法，经常用于数据处理。它把空间域图像变换到频率域进行分析。在空间域看来，图像内容千差万别，但在频率域，经过大量图像的统计分析发现，图像经过DCT变换，其频率系数的主要成分集中于比较小的范围，且主要位于低频部分。可以采取一些措施把频谱中能量较小的部分丢弃，尽量保留传输频谱中主要的频率分量，就能够达到图像数据压缩目的。

虽然DCT变换可以实现编码端较低的码率，但是在编码端进行DCT变换本身就带了了编码端复杂度的提升。同时由于对DCT系数进行量化时，如果量化步长选取不当，也会造成解码图像出现块效应。

引进数字图像处理中的Markov（马尔科夫）模型理论。

一维Markov随机过程：设有随机过程

，若对于任意整数

和任意的，满足

就称

为马尔科夫（Markov）过程，该随机过程的统计特性完全由条件概率所决定。一维Markov随机场很好的描述了随机过程中某点的状态只与该点之前的一个点的状态有关系。二维Markov的平面网格结构可以较好的表现图像中像素之间的空间相关性。对于定义在二维空间的图像，可以将它看成是一个二维随机场，自然也存在二维Markov随机场。马尔科夫随机场（MRF）理论可以根据图像中像素之间的相关模式确定先验概率。MRF理论在实际应用中常常与统计决策和估计理论(常使用Baum-Welch（鲍姆-韦尔奇）算法)相结合，根据一定的最优化准则来确定目标函数。

对于含有冗余的信源，可以用Markov模型来描述。模型中的状态转移概率可以用Baum-Welch算法估计实现。在解码端交替使用LDPC（Low Density Parity Check Code，低密度奇偶校验码）和Baum-Welch迭代算法，充分利用原始图像的像素之间的空间相关性。实现了将去空间相关性的工作转移到解码端，降低了编码端的复杂度，整体性能较好。

Aaron和Girod等在编码端对W帧进行残差预测，再对预测残差进行LDPC编码；在解码端，通过运动估计可以生成更好的边信息，以用于重构解码帧。利用视频序列的时域相关性进行编码，虽增加了编码端帧的存储和帧间相减的计算量，却提高了率失真性能。

残差编码的优点：利用帧间宏块的相关性，去除时间冗余度。缺点：在视频流有较大变化的时候，即对应图形的运动剧烈区域。对此区域进行残差编码反而会使得图像压缩效果变差。基于感兴趣区域提取方法即将运动剧烈和运动对象边缘区域，作为ROI（Region Of Interest，感兴趣区域）提取出来，采用熵编码方式，对非ROI区域采取残差编码，可以避免残差编码应用的局限性，从而提高编码端的效率和解码图像的质量。

我们综合考虑了基于像素域编码残差编码及DCT变化编码的优缺点，提出一种充分利用像素域编码的优点的残差编解码方案，使之充分利用残差编码的优势，降低编码端复杂度，同时获得整体性能的提升。

发明内容

技术问题：本发明的目的是提供一种面向无线传感器网络分布式视频编解码方法，传统的基于像素域的残差编码性能相较于仅仅基于像素域的编码，性能有所提升，但是总体上还是逊于DCT变换编解码方案，然而基于DCT域的残差编码方案，编码端复杂度较高，且解码图像易出现块效应。依据以上所述，我们提出一种基于像素域的联合LDPC和Baum-Welch迭代算法的残差视频编解码方法，将DCT方案在编码端进行空间相关性挖掘的工作转移到解码端，以解决以上问题。

技术方案：基于像素域的联合LDPC和Baum-Welch迭代算法的残差编解码的视频编解码的具体算法框架：将待编码的视频流分为关键帧（K 帧）和Wyner-Ziv帧（W 帧），K帧采用传统的编码方案，W帧采用基于像素域的ROI判断准则将宏块区分为ROI宏块和非ROI宏块，对ROI宏块采取熵编解码，对非ROI宏块采取LDPC编码、LDPC+Baum-Welch算法交替迭代解码。

将Baum-Welch算法应用到该编码框架中，为了避免残差编码在运动剧烈区域应用的局限性，我们采用ROI块提取方案。当非ROI宏块

和前一关键帧相同位置的宏块

相减得残差块，对所产生残差块进行LDPC编码。解码端通过运动估计插值生成X的边信息块Y，使

复制到解码端，得残差边信息块

。利用LDPC和Baum-Welch算法交替迭代解码出残差块

，最后在重建非ROI宏块的时候加上参考块

。

一、体系结构   

    本发明所用到的分布式视频编码的体系结构的主体是基于像素域Wyner-Ziv残差视频编码体系，编码端对运动剧烈区域进行提取，进行LDPC编码，解码端使用的是LDPC+Baum-Welch交替迭代算法。

二、方法流程

本发明的面向无线传感器网络分布式视频编解码方法对基于像素域的残差编码方案，采用在Wyner-Ziv帧-W帧编码端增加基于像素域的感兴趣区域模块并将预测残差编码应用到非感兴趣区域中，同时将原始图像看成符合马尔科夫随机场MRF（Markov Random Field，）模型的信息源，在解码端采取低密度奇偶校验码LDPC（Low Density Parity Check Code，）算法和鲍姆-韦尔奇Baum-Welch算法交替迭代解码的方案；主要用于满足无线传感器节点对图像传输的要求：低复杂度的信息源端，较低的传输码率，较好的率失真特性，降低传感器节点能耗，实现面向无线传感器网络的应用，具体方法为：

步骤1）. 划分出视频序列的关键帧-K帧和Wyner-Ziv帧-W 帧；

步骤2）. 对关键帧进行基于H.264标准的帧内编解码；

步骤3）. 选择一种基于像素域的感兴趣区域提取算法区分出W帧中的感兴趣区域ROI（Region Of Interest，）宏块和非ROI宏块，记为

；

步骤4）. 对感兴趣区域ROI宏块采用熵编解码；

步骤5）. 对非感兴趣区域ROI宏块采取残差编解码；

步骤6）. 根据解码出的K帧和W帧，恢复视频序列，完成分布式编解码。

所述的步骤5）中，将Baum-Welch解码算法应用到残差块的解码当中，具体步骤为：

步骤５1）. 计算W帧中非感兴趣区域ROI宏块和关键帧中相同位置宏块的差值

；

步骤５2）. 对上一步的差值进行LDPC编码；

步骤５3）. 通过对K帧和重构出的W帧进行运动估计，插值操作获得LDPC解码的边信息Y；LDPC解码器和Baum-Welch解码器利用边信息Y和相互交替的信息迭代解码，直到恢复原始信息；

步骤５4）. 根据差值边信息Y及恢复的残差块的信息，重构出残差块

；

步骤５5）. 将重构的残差块加上参考块

，即得到重构的非ROI宏块

。      

有益效果：本发明提出了一种面向无线传感器网络的分布式残差视频编解码方法，主要用于提升分布式编解码体系的率失真特性，最终实现降低传感器节点的能耗。

基于turbo或LDPC对Wyner-Ziv帧的所有区域不加区别的编码处理，对于运动比较剧烈的区域和运动对象的边缘区域，运动估计技术不能够准确预测，解码时需要向编码端请求较多的反馈信息，这样不仅增加了码率，而且解码的部分图像仍不够精确。而通过ROI判定准则提取运动剧烈区域并基于熵编码压缩，其余区域则基于LDPC分布式编解码，可以增强运动剧烈区域和运动对象的边缘区域编码的效率，从而在降低码率的同时提高解码图像质量，最终降低传感器节点能耗。

残差编码可以充分利用帧间宏块的相关性，去除时间冗余度。但是在视频流有较大的内容变化时，进行残差编码操作反而会是的编码图像更为复杂，压缩效果受到很大损失。

基于像素域的残差编码框架，虽然性能较基于像素域的编解码方案有所提升，但是仍然逊于基于DCT域的编解码方案，原因在于基于像素域的采用LDPC编码、解码方案未能充分利用编码端图像的空间相关性信息。

考虑基于像素域残差编解码方案的优点：基于像素域方案使得编码端简单、基于残差编码方案降低了编码端码率，并可以获得较好的率失真特性；同时考虑其缺点：编码端放弃了对信源空间相关性的挖掘且对图像所有区域不加区别的残差编码可能导致运动剧烈区域解码图像失真严重。本发明提了一种创新的残差编解码方案：这种方案实现了保存原始方案的优点，并克服其缺点的功能。具体框架体系将Wyner-Ziv帧划分成块，提取其中的感兴趣区域宏块即运动激烈区域宏块进行熵编码，宏块的提取也是基于像素域的，较基于DCT变换方案简单。而非感兴趣区域正是图像视频序列中运动不激烈的区域，所以对这部分宏块采取残差编码方案进行LDPC编码。解码端利用Baum-Welch算法挖掘原始图像的空间相关性，与LDPC算法交替迭代解码，达到充分发挥残差编码体系的优越性。

因此，本发明的有益效果主要包括降低编码端复杂度，降低码率，提升整体率失真特性，提升图像质量，最终降低传感器节点的能耗。

附图说明

图1是基于像素域的分布式残差视频编解码的体系框图。

图2是基于像素域的宏块区分分布式视频编解码体系框图。

图3是基于像素域联合ROI宏块区分算法的分布式残差视频编解码体系框图。

图4 是本发明的分布式残差编解码体系框图。

图5是基于像素域的残差编解码算法流程图。

图6是基于像素域联合ROI区分模块的算法流程图。

图7是本发明的算法流程图。

具体实施方式

本发明的基本框架是基于像素域的分布式残差编码体系，改进的地方在于，使用MRF（Markov Random Field，马尔科夫随机场）模型，将编码端图像看成符合Markov随机过程的信源，具体实现是在解码端使用Baum-Welch估计算法，该方案使在编码端去除空间相关性的工作转移到解码端，同时联合感兴趣区域提取方案，进一步提升系统性能。该体系的具体运行步骤如下：

步骤1. 将待编码的视频图像序列分为关键帧（K）和Wyner-Ziv帧（W）。关键帧采用传统的H.264帧内编解方案。W帧在编码端配置ROI（感兴趣区域）宏块提取模块。

步骤2. Wyner-Ziv帧根据基于像素域的ROI区分算法，采用简单有效的ROI判断准则将图像分成感兴趣区域块和非感兴趣区域块。

步骤3. 对感兴趣区域宏块采取熵编解码。

步骤4. 取参考块：当前ROI宏块

和前一关键帧相同位置的宏块

。

步骤5. 当前感兴趣区域宏块

和前一关键帧相同位置的宏块

相减得残差块

。

步骤6. 编码端对所产生的残差块进行LDPC编码器进行编码。

步骤7. 在解码端，ROI宏块采取熵编解码的方式，对由非ROI宏块与前一关键帧相同位置宏块作差所得残差块进行LDPC+Baum-Welch交替迭代解码。

步骤8. 最后将重构的非感兴趣区域块加上残差块

就可以得到重构的非感兴趣区域宏块，融合通过熵解码的感兴趣区域块，最后重构出原始Wyner-Ziv帧。

 

为了方便描述，我们假定有如下应用实例，如图4所示：系统包括关键帧帧内编解码，Wyner-Ziv帧图像宏块区分模块，运动剧烈宏块熵编解码模块，对非运动剧烈宏块进行残差编码，使用LDPC编码器，使用LDPC+Baum-Welch算法交替迭代解码。

编码端，传感器节点传输一系列视频图像序列，系统运行后的具体步骤为：

步骤1. 按一定的关键帧（K）帧和Wyner-Ziv(W)帧的区分规则，划分出视频序列的K帧和W帧。

步骤2. 对关键帧采用传统的H.264标准进行帧内编解码。

步骤3. 对W帧图像运动剧烈和非剧烈宏块区分模块的操作包括：首先选择采用基于像素域的区分准则进行ROI宏块区分，得到ROI宏块和非ROI宏块。设当前帧为

，前一参考帧为

，采取的区分准则为：

，

为每一个宏块, (i , j)为像素点位置。为当前帧当前位置的像素值，对应的为参考帧相应点的像素值。根据计算得到的SAD（ROI宏块的像素差值和），将SAD值和阈值T相比较。如果SAD>T,则为ROI宏块，否则为非ROI宏块。

步骤4. 对ROI宏块采用熵编解码。

步骤5. 计算W帧中非ROI宏块和关键帧中相同位置宏块的像素差值和。

步骤6. 对该差值进行LDPC编码。

步骤7. 通过对K帧和重构出的W帧进行运动估计，插值等操作获得LDPC解码的边信息Y。首先使用LDPC解码器进行解码，接下来使用Baum-Welch解码器接收LDPC解码的关于信息源的某个比特平面的内部信息，加上边信息Y进行解码，之后LDPC解码器接受由Baum-Welch解码器输出的信息，结合边信息Y和传输过来的综合信息流，迭代产生原始图像的外部信息。如此反复，LDPC解码器和Baum-Welch解码器交替解码，并相互交换信息，直到恢复原始信息。

步骤8. 根据差值边信息Y及恢复的残差块的信息，重构出残差非ROI块。

步骤9. 将重构的残差块加上参考块，即得到非ROI宏块的重构图。

步骤10. 将恢复的非ROI块与熵解码得到的ROI块融合，即重构出当前Wyner-Ziv帧。

步骤11. 根据解码出的关键帧和Wyner-Ziv帧，恢复出原始视频图像序列，完成分布式编解码。

Claims (2)

1.一种面向无线传感器网络分布式视频编解码方法，其特征在于该方法对基于像素域的残差编码方案，采用在Wyner-Ziv帧-W帧编码端增加基于像素域的感兴趣区域模块并将预测残差编码应用到非感兴趣区域中，同时将原始图像看成符合马尔科夫随机场MRF模型的信息源，在解码端采取低密度奇偶校验码LDPC算法和鲍姆-韦尔奇Baum-Welch算法交替迭代解码的方案；主要用于满足无线传感器节点对图像传输的要求：低复杂度的信息源端，较低的传输码率，较好的率失真特性，降低传感器节点能耗，实现面向无线传感器网络的应用，具体方法为：

步骤1）. 划分出视频序列的关键帧-K帧和Wyner-Ziv帧-W 帧；

步骤2）. 对关键帧进行基于H.264标准的帧内编解码；

步骤3）. 选择一种基于像素域的感兴趣区域提取算法区分出W帧中的感兴趣区域ROI宏块和非ROI宏块，记为                                               

；

步骤4）. 对感兴趣区域ROI宏块采用熵编解码；

步骤5）. 对非感兴趣区域ROI宏块采取残差编解码；

步骤6）. 根据解码出的K帧和W帧，恢复视频序列，完成分布式编解码。

2. 根据权利要求1所述的面向无线传感器网络分布式视频编解码方法，其特征在于所述的步骤5）中，将Baum-Welch解码算法应用到残差块的解码当中，具体步骤为：

步骤５1）. 计算W帧中非感兴趣区域ROI宏块和关键帧中相同位置宏块的差值；

步骤５2）. 对上一步的差值进行LDPC编码；

步骤５3）. 通过对K帧和重构出的W帧进行运动估计，插值操作获得LDPC解码的边信息Y；LDPC解码器和Baum-Welch解码器利用边信息Y和相互交替的信息迭代解码，直到恢复原始信息；

步骤５4）. 根据差值边信息Y及恢复的残差块的信息，重构出残差块；

步骤５5）. 将重构的残差块

加上参考块

，即得到重构的非ROI宏块

。

Images