CN103002283A - 多视角分布式视频压缩的边信息生成方法 - Google Patents

Abstract

面向无线多媒体传感网多视角分布式视频压缩的边信息生成方法是一种针对无线多媒体传感器网络中多媒体多视角数据压缩的技术方案，该方法将主视角中非关键帧（Wyner-Zivframe，WZ）的ROI宏块中DCT（离散余弦变换）低频系数提取出来进行熵编解码，对ROI宏块解码端利用接收到的DCT低频系数进行双向运动估计内插生成ROI宏块时间边信息，而对非ROI（感兴趣区域）区域使用解码出的帧进行运动补偿帧内插（或外推）生成非ROI宏块时间边信息，进而生成最佳非关键帧时间边信息；空间边信息的生成是采用单应性矩阵方法。最终将时间边信息与空间边信息进行融合。通过以上改进可以降低码率，提高解码图像的质量，降低传感器节点能耗，延长无线传感器网络生存周期。

Description

多视角分布式视频压缩的边信息生成方法

技术领域

本发明是一种针对无线多媒体传感器网络（Wireless Multimedia Sensor Networks, WMSN）中多媒体多视角数据压缩的技术方案。主视角采用基于DCT hash的分布式视频编码方法，辅助视角采用传统的视频编码方法，尽可能降低节点的能耗同时提高解码图像的质量，属于计算机无线通信技术领域。

背景技术

随着无线多媒体传感器技术的发展，人们对数字视频要求也日益提高，希望看到自然表征物体更加清晰，更加真实的画面，而传统的单视角视频网络只能提供二维的平面视觉，不能提供更好的立体视觉感官，于是便产生了多视角视频网络。然而，这种多视角视频网络数据量巨大，这个数据压缩带了新的挑战。传统的视频编码标准（如MPEG、H.26X）都采用了混合编码框架，编码采用运动估计，充分挖掘视频序列的时间和空间相关性信息，一般情况下，编码复杂度是解码复杂度的5~10倍，不再适用于这些新的视频应用场合中，必须寻找新的编码压缩方法。一种全新的视频编解码框架—分布式视频编码（Multiview Distributed Video Coding，DVC）已经受到了学者的广泛关注，这种视频编码突破了传统视频编码的束缚，采用帧内编码和帧间解码技术，通过在解码端发掘视频信号的相关性进行帧间预测解码，从而去掉了编码端复杂的帧间预测，具有低复杂编码的特性，并且具有很好的编码鲁棒性特点，能较好地满足这些新的视频应用需求。

目前典型的分布式编解码算法主要有斯坦福大学Girod和Aaron等提出的Wyner-Ziv视频编码，主要基于信道编码技术；加州大学伯克利分校的Ramchandran等提出的PRISM（Power-efficient Robust high-compression Syndrome-base Multimedia）视频编码，编码器基于当前帧和先前帧之间的帧能量差选择编码模式，解码器的灵活性是受限的；Zixiang Xiong等提出的分层Wyner-Ziv视频编码，将视频流分为基本层和增强层，基本层采用标准的H.26L视频编码，增强层采用基于LDPC码的分布式视频编码；Sehgal等提出的state-free分布式视频编码，用陪集解决Wyner-Ziv理论中关于预测编码不匹配的问题；基于小波编码的分布式视频编码专门为任意形状图像编码设计的编码器；文献提出的多视角分布式视频编码基于Turbo或LDPC对多视角分布式视频编码中Wyner-Ziv帧的所有区域不加区别的编码，这种方式的编码处理，对于运动比较剧烈的区域，运动估计技术不能够准确预测，不能较准确的生成时间边信息。并且，对时间和空间边信息进行完全融合生成融合边信息用来解码Wyner-Ziv帧。针对此问题，本发明提出了一种改进的多视角分布式编码算法，在主视角通过ROI判定准则得到运动剧烈区域和非运动剧烈区域。对于运动剧烈区域，边信息由时间边信息和空间边信息融合而成，该时间边信息生成算法采用基于DCT hash运动估计法，本文提取DCT低频系数作为DCT hash；而对于非运动剧烈区域，采用传统的运动内插算法生成的时间边信息与空间边信息融合而成。本放法可增强运动剧烈区域效率，从而在降低码率的同时提高解码图像质量，最终降低传感器节点能耗。

发明内容    

    技术问题：本发明的目的是提出面向无线多媒体传感网多视角分布式视频编解码的边信息生成方法，解决视频应用中数据量大的问题。通过使用本发明提出的方法在降低码率的同时可以得到最佳边信息，进而提高了解码图像的质量，最终降低传感器节点能耗，延长了无线传感网络生存周期。 

技术方案：本发明的方法是一种改进性的方法，该方法将主视角中非关键帧（Wyner-Ziv frame，WZ）的ROI（Region of Interest，感兴趣区域）宏块中DCT（离散余弦变换）低频系数提取出来进行熵编解码，对ROI（Region of Interest，感兴趣区域）宏块解码端利用接收到的DCT（离散余弦变换）低频系数进行双向运动估计内插生成ROI（Region of Interest，感兴趣区域）宏块时间边信息，而对非ROI（Region of Interest，感兴趣区域）区域使用解码出的帧进行运动补偿帧内插（或外推）生成非ROI（Region of Interest，感兴趣区域）宏块时间边信息，进而生成最佳非关键帧时间边信息；空间边信息的生成是采用单应性矩阵方法。最终将时间边信息与空间边信息进行融合。通过以上改进可以降低码率，提高解码图像的质量，降低传感器节点能耗，延长无线传感器网络生存周期。

    本发明的面向多媒体传感网多视角分布式编解码的边信息生成方法是一种基于离散余弦变换部分低频系数的边信息融合生成方法，加强对运动剧烈区域编码，进

一步提高解码图像的主观质量，该方法具体如下： 

    1）在编码端

    a) 帧分离器：主视角中视频序列被分为关键帧和非关键帧，其中关键帧周期性的插入，取决于图像组的大小，帧分离器将视频序列分为不同的帧，每两个关键帧之间所分配的非关键帧的数目不同，关键帧采用帧内编码，非关键帧采用低密度奇偶校验码编码；

    b) 离散余弦变换：基于块的变换，特别地把离散余弦变换应用到每个非关键帧上，非关键帧被划分为互不重叠的块，依据每个块的离散余弦变换系数所处的位置，形成不同的离散余弦变换系数集；

    c) 量化：每个离散余弦变换集被统一的量化，这些量化级依赖于所要得到图像的质量，对于一个给定的集合，量化信号的位流被一起分组，形成位平面，然后独立地进行编码；

    d）编码：主视角中对于关键帧，使用传统的联合图像专家组进行编码，利用感兴趣区域区分方法将非关键帧分为感兴趣区域和非感兴趣区域：对于感兴趣区域中的离散余弦变换低频系数采用霍夫曼编码，对于感兴趣区域的其余部分以及非感兴趣区域采用低密度奇偶校验码编码，辅助视角采用传统的帧内编解码；

    2）在解码端

    a）生成融合边信息：主视角中对于感兴趣区域，使用解码出的帧采用基于离散余弦变换低频系数运动内插生成感兴趣宏块时间边信息，而对非感兴趣区域使用解码出的帧进行运动补偿帧内插或外推生成非感兴趣宏块时间边信息，进而得到非关键帧的时间边信息；辅助视角采用单应性矩阵方法生成空间边信息；将时间边信息和空间边信息进行融合，每个非关键帧的融合边信息被当作原始非关键帧的估计值，估计值的质量越好，低密度奇偶校验码解码端需要改正的“错误”越少，并且向缓冲器所请求的奇偶校验位或位流越少；

    b）相关噪声模型：主视角非关键帧和融合边信息中对应的离散余弦变换系数的残差统计被假定为一个服从拉普拉斯分布的模型，其参数使用离线的训练模式进行初始化估计；

    c）低密度奇偶校验码解码：主视角中关键帧使用传统的联合图像专家组技术进行解码；非关键帧的感兴趣区域中离散余弦变换低频系数使用霍夫曼进行解码复原；对于非关键帧感兴趣其余部分以及非感兴趣区域，只要得到边信息离散余弦变换系数和一个给定离散余弦变换系数的残差统计，每个位平面可以进行低密度奇偶校验码解码，从最重要的位平面开始解码；在低密度奇偶校验码解码器的请求下，编码器通过反馈信道发送一些奇偶校验消息，为了判定解码某个特定的位平面是否需要更多的校验位，解码器采用一个请求停止标准，当低密度奇偶校验码正确地解码一个离散余弦变换集的最重要位平面之后，低密度奇偶校验码解码器将以统一的方式处理其余相关的集合，当所有的离散余弦变换集合的位平面都被低密度奇偶校验码正确地解码时，解码器则开始解码下一个集合；

    d）重构：在低密度奇偶校验码解码后，所有的位平面及每个离散余弦变换集合被一起分组，以形成解码的量化信号流和集合，一旦可以获得所有的解码量化信号，在相应的边信息系数的辅助下，便可重构所有的离散余弦变换系数，对于所传输的不含非关键帧位流的离散余弦变换系数集合，由融合边信息对应的离散余弦变换集合来代替；

    e）反变换：当所有的离散余弦变换集被重建以后，执行反离散余弦变换，由此便可得到解码的非关键帧；

    3）帧混合

    对于已经正确解码的主视角各帧，即利用传统的联合图像专家组编解码的关键帧和利用低密度奇偶校验码及霍夫曼混合编解码的非关键帧，根据在编码端所采用的编码图像组的大小，将关键帧和非关键帧按图像组的相应次序混合成视频流，进而恢复成解码后的视频序列，至此，视频编解码压缩处理结束。

所述主视角中感兴趣区域中离散余弦变换低频系数采用霍夫曼编码的过程如下：将待编码的灰度级按出现的次数排序，出现次数多的在前面，次数少的在后面；取出现次数最少的两个数的次数相加，之和作为一个新的出现次数的集合元素并重新排序，新出现的次数在新集合中仍遵循降序规则以确定所处的位置，相加的两个次数最少所对应的灰度级成为霍夫曼树的一个叶结点，这两个结点构造一个双亲结点，重复该步骤，直到所有的灰度级都被用来构造霍夫曼树为止；设所有结点的左孩子为“0”，右孩子为“1”，则从根开始，经各中间结点到叶结点的路径代码即是该叶结点的霍夫曼码；对于非感兴趣区域的每个离散余弦变换集合，从最重要的位平面进行低密码奇偶校验码编码；对于每个位平面，所生成的奇偶检验信息被存储在缓冲器中，在解码端的请求下，通过反馈机制，不断地发送校验信息。

主视角中的关键帧，使用传统的联合图像专家组进行编码，利用感兴趣区域区分方法将非关键帧分为感兴趣区域和非感兴趣区域：对于感兴趣区域中离散余弦变换低频系数采用霍夫曼编解码，对于感兴趣区域其余部分以及非感兴趣区域采用低密度奇偶校验码进行编解码，辅助视角采用传统的编解码，具体步骤如下：

    步骤1）：将主视角中每帧分成大小相等且互不重叠的8×8宏块；

    步骤2）：计算主视角中关键帧和非关键帧相同位置宏块的绝对差值之和； 

    步骤3）：根据主视角中感兴趣区域宏块的判定准则，对非关键帧每个宏块进行感兴趣区域区分；

步骤4）：提取主视角中非关键帧中感兴趣宏块的离散余弦变换低频系数进行霍夫曼编解码压缩；

步骤5）：对主视角中非关键帧中感兴趣宏块的其余部分以及非感兴趣宏块则采用低密度奇偶校验码编解码压缩；

   步骤6）：在解码端对主视角中非关键帧的感兴趣宏块利用已得到的离散余弦变换低频系数进行双向运动估计内插生成感兴趣宏块时间边信息；

步骤7）：在解码端对主视角中非关键帧的非感兴趣宏块进行运动补偿帧内插或外推生成非感兴趣宏块时间边信息；

步骤8）：利用生成的感兴趣宏块边信息和非感兴趣宏块边信息得到非关键帧的最佳时间边信息。

步骤 9）：辅助视角采用单应性矩阵生成空间边信息，将时间边信息和空间边信息进行融合得到融合边信息，进而对主视角中非关键帧进行解码。

有益效果：本发明方法提出了一种改进的多视角分布式视频压缩方法，主要是用来解决无线多媒体传感器网络中视频数据量大所带来的网络节点能耗大，网络生存周期短的问题，并满足人们对解码图像质量以及视频实时性的需求。对应实现方案有如下优点：

1.编码简单：相对于传统的视频编码标准（如MPEG系列，H.26x），本发明由于采用Wyner-Ziv分布式视频编码方案，编码端简单，解码端复杂。分布式视频编码将运动估计和及运动补偿所带来的编码端的高复杂性、大计算量转移到解码端，而解码端一般位于汇聚节点或网络中心，充分利用汇聚节点和网络中心计算能力强、存储能力大、持续供电的优点，完成对视频的压缩编码。

2.低码率：本发明可以设置图像的GOP的大小，并对主视角中WZ帧采用了LDPC和Huffman相结合的编解码方式生成最佳时间边信息；辅助视角采用单应性矩阵方法生成空间边信息。最终融合成最佳边信息，向缓冲器所请求的奇偶校验位较少，从而大大降低了编码的码率。

3.能耗低：本发明由于可以改变主视角中Key帧之间WZ帧的数量，减少了待处理的视频流的数据量，从而降低了每个传感器节点的编码处理能耗，进而延长了整个网络的生命周期。

4.实时性：本发明由于对视频数据的压缩率高，压缩编码后的数据量小，因此减少了传输的数据量，优化了实时传输，进而保证了视频流传输的实时性。

5.可靠性：本发明由于主视角采用了ROI提取方法，将WZ帧分为ROI区域和非ROI区域，对ROI区域中的低频系数采用Huffman编解码方式，能更准确的对ROI区域进行解码，提高了解码的准确性，进而实现了对视频编码压缩可靠性的要求。

附图说明

图1是分布式视频编码示意图。如图，分布式视频编码框架包括低复杂度编码器和高复杂度解码器。

图2是分布式编解码示意图。如图，采用帧内编码和帧间解码相结合的方式，在编码端，采用帧内编码技术相互独立地编码两个或者多个相关的信源，将编码位流发送到接收端；在解码端，利用各个信源间的相关性，进行联合预测解码。

图3是本发明基于DCT hash（离散余弦变换低频系数）的多视角分布式视频编码示意图。主视角利用ROI区分方法将WZ帧区分为ROI区域和非ROI区域，然后对ROI区域的低频系数进行Huffman编解码，ROI区域的其余部分以及非ROI区域进行LDPC编解码。辅助视角采用传统的帧内编解码方法。

图4是本发明方法的整个流程图。如图所示，描述了基于DCT hash（离散余弦变换低频系数）的多视角分布式视频编解码的全过程。

具体实施方式

体系结构

本方法在多视角分布式视频编码方案的基础上，在主视角通过ROI判定准则提取运动剧烈区域并提取该区域的DCT低频系数进行Huffman解码压缩，解码端利用已解码的DCT低频系数进行双向运动估计，进行DCT hash（离散余弦变换低频系数）运动内插生成最佳边信息，其余区域则基于LDPC分布式编解码；辅助视角采用传统的编解码方法。进而在降低码率的同时提高解码图像质量，降低节点的处理和传输能耗，实现视频的优化传输，延长整个网络的生存周期。

本方法基于多视角分布式视频编码方案，将主视角中的视频序列分为两种不同的帧：关键字（Key Frame，K）和非关键帧（Wyner-Ziv frame，WZ）。对关键帧采用传统的JPEG编码方式，利用ROI区分方法将Wyner-Ziv帧分为ROI区域和非ROI区域，对Wyner-Ziv帧的ROI区域提取其DCT低频系数采用熵编解码的方式，ROI区域其余部分以及非ROI区域采用LPDC的编解码方式；辅助视角采用传统的帧内编解码方法。

具体步骤如下：（1）在编码端：a) 帧分离器：将主视角编码端输入的视频序列分为关键帧（Key帧）和Wyner-Ziv帧（WZ帧）；b) DCT（Discrete Cosine Transform）变换：对W帧进行基于块的离散余弦变换（Discrete Cosine Transform，DCT）；c) 量化：对每个DCT变换后的系数进行量化；d) 编码：主视角使用传统的JPEG技术编码Key帧，利用ROI提取方法将Wyner-Ziv帧区分为ROI区域和非ROI区域：对ROI区域提取其DCT低频系数进行Huffman解码，对ROI的其余部分以及非ROI区域采用LDPC编码。辅助视角采用传统的帧内编码方法进行解码；（2）在解码端：a）生成边信息：对于主视角中ROI区域，使用解码出的帧采用基于DCT hash运动估计内插生成时间边信息。而对非ROI区域使用解码出的帧进行运动补偿帧内插（或外推）生成时间边信息。空间边信息的产生是由辅助视角经过单应性矩阵生成。最后将时间边信息和空间边信息融合得到最佳边信息；b）相关噪声模型：WZ帧和边信息之间对应的DCT系数的残差统计当作一个拉普拉斯分布进行建模；c）解码：对主视角中Key帧，使用传统的JPEG技术解码，对Wyner-Ziv帧的ROI区域的DCT低频系数采用Huffman解码，ROI区域其余部分以及非ROI区域采用LDPC解码。辅助视角采用传统的帧内解码对帧进行解码；d）重构：在融合边信息的辅助下，重建主视角中所有的DCT系数；e）反变换：对重建后的系数执行反离散余弦变换（Inverse Discrete Cosine Transform，IDCT）；（3）帧混合：将解码后的Key帧和WZ帧整合为视频流。

二、方法流程

   本方法包括以上所述4个步骤，详细论述如下：

    （一）：在编码端：

    a) 帧分离器：主视角中视频序列被分为Wyner-Ziv帧（WZ帧）和关键帧（Key帧），其中关键帧周期性的插入，取决于GOP（Group of Pictures）大小。利用帧分离器将视频序列分为不同的帧，对于每个不同的视频序列，由于编码结构的不同，每帧被赋予的属性不同，因而，采用的编码处理方式也不同。

    b) 空间变换：主视角中基于块的变换，特别地把DCT变换应用到每个WZ帧。依据每个块的DCT系数所处的位置，将整个WZ帧的DCT系数被分为不同的组，从而形成不同的DCT系数集。

    c) 量化：主视角中每个DCT集被统一的量化，这些量化级依赖于所要得到图像的质量。对于一个给定的集合，量化信号的位流被一起分组，形成位平面，然后独立地进行编码。

    d）编码：主视角对于Key帧，使用传统的JPEG技术编码，利用ROI区分方法将Wyner-Ziv帧分为ROI区域和非ROI区域：对于ROI区域的低频DCT系数采用Huffman编码，对于ROI区域的其余部分以及非ROI区域采用LDPC编码。ROI区域的低频系数采用Huffman编码的过程如下：将待编码的灰度级按出现的次数排序，出现次数多的在前面，次数少的在后面；取出现次数最少的两个数的次数相加，之和作为一个新的出现次数的集合元素并重新排序，新出现的次数在新集合中仍遵循降序规则以确定所处的位置，相加的两个次数最少所对应的灰度级成为Huffman树的一个叶结点，这两个结点构造一个双亲结点，重复该步骤，直到所有的灰度级都被用来构造Huffman树为止；设所有结点的左孩子为“0”，右孩子为“1”，则从根开始，经各中间结点到叶结点的路径代码即是该叶结点的Huffman码。对于ROI区域的其余部分以及非ROI区域的每个DCT集，从最重要的位平面（Most Significant Bit-plane，MSB）进行LDPC编码。对于每个位平面（bit-plane），所生成的奇偶检验信息被存储在缓冲中，在解码端的请求下，通过反馈机制，不断地发送校验信息。辅助视角采用传统的JPEG技术编码。

    （二）：在解码端：

    a）生成边信息：主视角中对于ROI区域，使用解码出的帧采用基于DCT hash（离散余弦变换低频系数）运动内插生成ROI宏块时间边信息。而对非ROI区域使用解码出的帧进行运动补偿帧内插（或外推）生成非ROI宏块时间边信息；辅助视角采用单应性矩阵方法生成WZ帧的空间边信息（Spatial Side Information，SSI）。然后进行融合，进而得到每个WZ帧的融合边信息（Temporal Side Information，TSI）。每个WZ帧的融合边信息被当作原始WZ帧的一种估计值。估计值的质量越好，LDPC解码端需要改正的“错误”越少，并且向缓冲器所请求的奇偶校验位（或位流）越少。

    b）相关噪声模型：在WZ帧和融合边信息中对应的DCT系数的残差统计被假定当作一个服从拉普拉斯分布的模型，其参数使用离线（off-line）的训练阶段进行初始化估计。

    c）LDPC解码：主视角中关键帧使用传统的JPEG技术进行解码；WZ帧的ROI区域中DCT低频系数使用Huffman进行解码复原；对于WZ帧的ROI区域的其余部分以及非ROI区域，只要得到融合边信息DCT系数和一个给定DCT系数的残差统计，每个位平面可以进行LDPC解码（从MSB解码）。在LDPC解码器的请求下，编码器通过反馈信道发送一些奇偶校验消息。为了判定正确的解码某个特定的位平面是否需要更多的校验位，解码器采用一个请求停止标准。当成功地LDPC解码一个DCT集的MSB位平面之后，LDPC解码器以一个统一的的方式处理其余相关的集。一旦所有的DCT集的位平面被成功地LDPC解码，LDPC解码器开始解码下一个集。

d）重构：在LDPC解码后，所有的位平面及每个DCT集被一起分组，以形成解码的量化信号流和每个集。一旦可以获得所有的解码量化信号，在相应的边信息系数的辅助下，便可重构所有的DCT系数。对于所传输的不含WZ位流的DCT系数集由融合边信息对应的DCT集来代替。

e）反变换：当所有的DCT集被重建以后，执行IDCT，由此便可得到解码的WZ帧。

（三）：帧混合：最后，对于已经正确解码的各帧，即利用传统JPEG编解码Key帧和利用LDPC及Huffman混合编解码的WZ帧，根据在编码端所采用的编码结构GOP的大小，将主视角中的Key帧和WZ帧按GOP次序混合成视频流，恢复成解码后的视频序列。至此，视频编解码压缩处理结束。

方法在多视角分布式视频编码方案的基础上，通过ROI判定准则提取主视角中运动剧烈区域并提取该区域的DCT低频系数进行Huffman解码压缩，解码端利用已解码的DCT低频系数进行双向运动估计，进行DCT hash（离散余弦变换低频系数）运动内插生成最佳边信息，其余区域则基于LDPC分布式编解码；而辅助视角采用传统的帧内编解码方法，辅助主视角进行解码。进而在降低码率的同时提高解码图像质量，降低节点的处理和传输能耗，实现视频的优化传输，延长整个网络的生存周期。

本方法基于多视角分布式视频编码方案，将主视角视频序列分为两种不同的帧：关键帧（Key Frame，K帧）和Wyner-Ziv帧（WZ帧）。对关键帧采用传统的JPEG编码方式，利用ROI区分方法将Wyner-Ziv帧分为ROI区域和非ROI区域，对于Wyner-Ziv帧的ROI区域中DCT低频系数采用Huffman编解码的方式，ROI区域的其余部分以及非ROI区域采用LPDC的编解码方式；辅助视角采用传统的帧内编解码方法。本方法的实施分为4个阶段：ⅰ）在编码端；ⅱ）在解码端；ⅲ）帧混合，具体描述如下：  

    第一阶段： 在编码端

    该阶段分为以下几个处理过程：

    a) 帧分离器：主视角视频序列被分为Wyner-Ziv帧（WZ帧）和关键帧（Key帧），其中关键帧周期性的插入，取决于GOP（Group of Pictures）大小。利用帧分离器将视频序列分为不同的帧，对于每个不同的视频序列，由于编码结构的不同，每帧的被赋予的属性不同，因而，采用的编码处理方式也不同。

    b) 空间变换：主视角基于块的变换，特别地把DCT变换应用到每个WZ帧。依据每个块的DCT系数所处的位置，将整个WZ帧的DCT系数被分为不同的组，从而形成不同的DCT系数集。

    c) 量化：主视角每个DCT集被统一的量化，这些量化级依赖于所要得到图像的质量。对于一个给定的集合，量化信号的位流被一起分组，形成位平面，然后独立地进行编码。

    d）编码：主视角对于Key帧，使用传统的JPEG技术编码，利用ROI区分方法将Wyner-Ziv帧分为ROI区域和非ROI区域：对于ROI区域低频系数采用Huffman编码，对于ROI区域其余以及非ROI区域采用LDPC编码。ROI区域的DCT低频系数采用Huffman编码。对于ROI区域的其余部分以及非ROI区域的每个DCT集，从最重要的位平面（Most Significant Bit-plane，MSB）开始进行LDPC编码。对于每个位平面（bit-plane），所生成的奇偶检验信息被存储在缓冲器中，在解码端的请求下，通过反馈机制，不断地发送校验信息。

    第二阶段：在解码端

    该阶段分为以下几个处理过程：

    a）生成边信息：主视角对于ROI区域，使用解码出的帧采用基于DCT hash运动内插生成ROI宏块边信息；而对非ROI区域使用解码出的帧进行运动补偿帧内插（或外推）生成非ROI宏块边信息。辅助视角采用单应性矩阵生成空间边信息。将时间边信息和空间边信息融合，进而得到每个WZ帧的融合边信息（Fusion Side Information，FSI）。每个WZ帧的边信息被当作原始WZ帧的一种估计值。估计值的质量越好，LDPC解码端需要改正的“错误”越少，并且向缓冲器所请求的奇偶校验位（或位流）越少。

    b）相关噪声模型：在主视角中WZ帧和融合边信息中对应的DCT系数的残差统计被假定当作一个服从拉普拉斯分布的模型，其参数使用离线（off-line）的训练阶段进行初始化估计。

    c）LDPC解码：主视角中关键帧使用传统的JPEG技术进行解码；主视角中WZ帧的ROI区域使用Huffman进行解码复原；对于WZ帧的非ROI区域，只要得到了融合边信息DCT系数和一个给定DCT系数的残差统计，每个位平面可以进行LDPC解码（从MSB解码）。在LDPC解码器的请求下，编码器通过反馈信道发送一些奇偶校验消息。为了判定正确的解码某个特定的位平面是否需要更多的校验位，解码器采用一个请求停止标准。当成功地LDPC解码一个DCT集的MSB位平面之后，LDPC解码器以一个统一的的方式处理其余相关的集。一旦所有的DCT集的位平面被成功地LDPC解码，LDPC解码器开始解码下一个集。

    d）重构：在LDPC解码后，所有的位平面及每个DCT集被一起分组，以形成解码的量化信号流和每个集。一旦可以获得所有的解码量化信号，在相应的边信息系数的辅助下，便可重构所有的DCT系数。对于所传输的不含WZ位流的DCT系数集由边信息对应的DCT集来代替。

    e）反变换：当所有的DCT集被重建以后，执行IDCT，由此便可得到解码的WZ帧。

    通过以上几个处理过程，完成了对Key帧和WZ帧的正确解码。 

    第四阶段：帧混合

       最后，对于已经正确解码的主视角各帧，即利用传统JPEG编解码Key帧和利用LDPC及Huffman混合编解码的WZ帧，根据在编码端所采用的编码结构GOP的大小，将Key帧和WZ帧按GOP次序混合成视频流，恢复成解码后的视频序列。视频编解码压缩处理结束。

Claims (3)

1.一种多视角分布式视频压缩的边信息生成方法，其特征是：该方法是一种基于离散余弦变换部分低频系数的边信息融合生成方法，加强对运动剧烈区域编码，进一步提高解码图像的主观质量，该方法具体如下： 

    1）在编码端

    a) 帧分离器：主视角中视频序列被分为关键帧和非关键帧，其中关键帧周期性的插入，取决于图像组的大小，帧分离器将视频序列分为不同的帧，每两个关键帧之间所分配的非关键帧的数目不同，关键帧采用帧内编码，非关键帧采用低密度奇偶校验码编码；

    b) 离散余弦变换：基于块的变换，特别地把离散余弦变换应用到每个非关键帧上，非关键帧被划分为互不重叠的块，依据每个块的离散余弦变换系数所处的位置，形成不同的离散余弦变换系数集；

    c) 量化：每个离散余弦变换集被统一的量化，这些量化级依赖于所要得到图像的质量，对于一个给定的集合，量化信号的位流被一起分组，形成位平面，然后独立地进行编码；

    d）编码：主视角中对于关键帧，使用传统的联合图像专家组进行编码，利用感兴趣区域区分方法将非关键帧分为感兴趣区域和非感兴趣区域：对于感兴趣区域中的离散余弦变换低频系数采用霍夫曼编码，对于感兴趣区域的其余部分以及非感兴趣区域采用低密度奇偶校验码编码，辅助视角采用传统的帧内编解码；

    2）在解码端

    a）生成融合边信息：主视角中对于感兴趣区域，使用解码出的帧采用基于离散余弦变换低频系数运动内插生成感兴趣宏块时间边信息，而对非感兴趣区域使用解码出的帧进行运动补偿帧内插或外推生成非感兴趣宏块时间边信息，进而得到非关键帧的时间边信息；辅助视角采用单应性矩阵方法生成空间边信息；将时间边信息和空间边信息进行融合，每个非关键帧的融合边信息被当作原始非关键帧的估计值，估计值的质量越好，低密度奇偶校验码解码端需要改正的“错误”越少，并且向缓冲器所请求的奇偶校验位或位流越少；

    b）相关噪声模型：主视角非关键帧和融合边信息中对应的离散余弦变换系数的残差统计被假定为一个服从拉普拉斯分布的模型，其参数使用离线的训练模式进行初始化估计；

    c）低密度奇偶校验码解码：主视角中关键帧使用传统的联合图像专家组技术进行解码；非关键帧的感兴趣区域中离散余弦变换低频系数使用霍夫曼进行解码复原；对于非关键帧感兴趣其余部分以及非感兴趣区域，只要得到边信息离散余弦变换系数和一个给定离散余弦变换系数的残差统计，每个位平面可以进行低密度奇偶校验码解码，从最重要的位平面开始解码；在低密度奇偶校验码解码器的请求下，编码器通过反馈信道发送一些奇偶校验消息，为了判定解码某个特定的位平面是否需要更多的校验位，解码器采用一个请求停止标准，当低密度奇偶校验码正确地解码一个离散余弦变换集的最重要位平面之后，低密度奇偶校验码解码器将以统一的方式处理其余相关的集合，当所有的离散余弦变换集合的位平面都被低密度奇偶校验码正确地解码时，解码器则开始解码下一个集合；

    d）重构：在低密度奇偶校验码解码后，所有的位平面及每个离散余弦变换集合被一起分组，以形成解码的量化信号流和集合，一旦可以获得所有的解码量化信号，在相应的边信息系数的辅助下，便可重构所有的离散余弦变换系数，对于所传输的不含非关键帧位流的离散余弦变换系数集合，由融合边信息对应的离散余弦变换集合来代替；

    e）反变换：当所有的离散余弦变换集被重建以后，执行反离散余弦变换，由此便可得到解码的非关键帧；

    3）帧混合

    对于已经正确解码的主视角各帧，即利用传统的联合图像专家组编解码的关键帧和利用低密度奇偶校验码及霍夫曼混合编解码的非关键帧，根据在编码端所采用的编码图像组的大小，将关键帧和非关键帧按图像组的相应次序混合成视频流，进而恢复成解码后的视频序列，至此，视频编解码压缩处理结束。

2.根据权利要求1所述的多视角分布式视频压缩的边信息生成方法，其特征是所述感兴趣区域中的离散余弦变换低频系数采用霍夫曼编码的过程如下：将待编码的灰度级按出现的次数排序，出现次数多的在前面，次数少的在后面；取出现次数最少的两个数的次数相加，之和作为一个新的出现次数的集合元素并重新排序，新出现的次数在新集合中仍遵循降序规则以确定所处的位置，相加的两个次数最少所对应的灰度级成为霍夫曼树的一个叶结点，这两个结点构造一个双亲结点，重复该步骤，直到所有的灰度级都被用来构造霍夫曼树为止；设所有结点的左孩子为“0”，右孩子为“1”，则从根开始，经各中间结点到叶结点的路径代码即是该叶结点的霍夫曼码；对于非感兴趣区域的每个离散余弦变换集合，从最重要的位平面进行低密码奇偶校验码编码；对于每个位平面，所生成的奇偶检验信息被存储在缓冲器中，在解码端的请求下，通过反馈机制，不断地发送校验信息。

3.根据权利要求1所述的多视角分布式视频压缩的边信息生成方法，其特征是对于主视角中的关键帧，使用传统的联合图像专家组进行编码，利用感兴趣区域区分方法将非关键帧分为感兴趣区域和非感兴趣区域：对于感兴趣区域中离散余弦变换低频系数采用霍夫曼编解码，对于感兴趣区域其余部分以及非感兴趣区域采用低密度奇偶校验码进行编解码，辅助视角采用传统的编解码，具体步骤如下：

    步骤1）：将主视角中每帧分成大小相等且互不重叠的8×8宏块；

    步骤2）：计算主视角中关键帧和非关键帧相同位置宏块的绝对差值之和； 

    步骤3）：根据主视角中感兴趣区域宏块的判定准则，对非关键帧每个宏块进行感兴趣区域区分；

步骤4）：提取主视角中非关键帧中感兴趣宏块的离散余弦变换低频系数进行霍夫曼编解码压缩；

步骤5）：对主视角中非关键帧中感兴趣宏块的其余部分以及非感兴趣宏块则采用低密度奇偶校验码编解码压缩；

   步骤6）：在解码端对主视角中非关键帧的感兴趣宏块利用已得到的离散余弦变换低频系数进行双向运动估计内插生成感兴趣宏块时间边信息；

步骤7）：在解码端对主视角中非关键帧的非感兴趣宏块进行运动补偿帧内插或外推生成非感兴趣宏块时间边信息；

步骤8）：利用生成的感兴趣宏块边信息和非感兴趣宏块边信息得到非关键帧的最佳时间边信息；

步骤 9）：辅助视角采用单应性矩阵生成空间边信息，将时间边信息和空间边信息进行融合得到融合边信息，进而对主视角中非关键帧进行解码。

Images