CN108769675A - 基于两阶多假设预测的分布式视频自适应重构方法 - Google Patents

Abstract

本发明公开了一种基于两阶多假设预测的分布式视频自适应重构方法，在两阶多假设预测的基础上，在第一阶段重构中选取前向重构的关键帧作为前向参考帧；在二次重构中添加了自适应算法，将前向参考帧、后向参考帧以及双向运动补偿算法生成的边信息作为候选参考帧，将所有候选参考帧整合进相同的假设集合中，执行像素域的多假设预测算法得到权重向量；然后计算权重向量的L1范数，通过最大L1范数自适应的选择最终参考帧。本发明充分考虑现有两阶多假设预测的方案，在像素域重构中自适应选择参考帧，解决了由于传统方法选择参考帧所导致的不同类型视频效果不稳定的问题。

Description

基于两阶多假设预测的分布式视频自适应重构方法

技术领域

本发明涉及一种基于两阶多假设预测的分布式视频自适应的重构方法，属于视频图像处 理技术领域。

背景技术

随着信息社会的发展，视频感知的需求日益增长，对视频处理与通信提出了新的挑战。 无线视频传感器网络(Wireless Video Sensor Networks，WVSN)由许多视频传感器节点组成， 为资源受限场景下的视频传感提供了一种可行性方案。

传统的视频编码体系结构，如H.26X等，在编码端进行了复杂运动估计(ComplexMotion Estimation，ME)和运动补偿(Motion Compensation，MC)，增加了编码端的负担，因此不 适用于资源受限的场景下。针对这种资源受限的场景，B Girod提出了分布式视频编码 (Distributed Video Coding，DVC)，将ME和MC转移到了解码端，大大减小了编码端的负担。此外，Candes提出了压缩感知(Compressed Sensing，CS)，打破了奈奎斯特采样理论，在编码端通过采样矩阵同时采样与压缩信号，在解码端通过求解优化方程重构信号，为资源 受限场景下的信号处理提供了一种新的方案。整合CS和DVC的各自特性，分布式压缩视频 传感(Distributed compressive video sensing,DCVS)引起当下较多关注。通常，视频帧被分割 成许多图片组(Group Of Pictures，GOP)，其中第一帧被定义为关键帧，而其他帧是非关键 帧。关键帧和非关键帧在编码端独立编码，在解码端联合重构。作为DCVS中主流算法，多 假设(Multi-hypothesis，MH)预测因为较小的复杂度与较好的重构效果，近年来得到了学者 广泛的研究。然而，现有的MH预测算法被用于测量域，限制了MH的性能。为了突破这个 限制，Ou提出了一个两阶MH重建(Two-stage Multi-hypothesisReconstruction，2sMHR)方 案，它第一阶段在测量域进行多假设预测重构，第二阶段在像素域进行多假设预测重构。此 外，还提出了两种2sMHR的实现方案：(1)基于GOP的方案，即在像素域重构中使用第一 阶段重构的双向参考帧。通过挖掘视频平移特性，该方案在具有平移特性的视频序列上取得 了不错的重构效果；(2)基于帧的方案，即在像素域重构中采用第二阶段重构的前一帧作为 参考帧，该方案受益于高质量的参考帧。这两种方案各有其优点，但它们非自适应的选择了 参考帧，导致的方案对不同类型的视频序列效果不稳定，视频重构效果受到影响。

中国专利CN201410555088.3，公开了一种基于CS测量值多描述的视频编解码方法，将 视频图像序列分为关键帧和CS帧：对关键帧采用基于块的测量、量化、熵编码；对CS帧利 用多描述的思想将基于块的测量值分两路描述，分别进行量化、熵编码。解码方法包括：接 收关键帧数据后先进行熵解码反量化得到测量值，对关键帧的块初始重构、帧内多假设预测 重构；接收CS帧多描述码流后，熵解码反量化；基于多描述的测量值生成；CS帧多描述自 适应帧间多假设重构。该发明在不增加编码端复杂度的情况下，提高视频图像重构质量及鲁 棒性。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于两阶多假设预测的分 布式视频自适应重构方法，本发明充分考虑现有两阶多假设预测的方案，在两阶多假设预测 的基础上，在二次重构中，将前向参考帧、后向参考帧以及双向运动补偿算法生成的边信息 作为候选参考帧，将所有候选参考帧整合进相同的假设集合中，执行像素域的多假设预测算 法得到权重向量。然后计算权重向量的L1范数，通过最大L1范数自适应的选择最终参考帧， 并进行像素域的多假设预测算法。本发明在像素域的二次重构中自适应选择参考帧，解决了 传统方法中选择参考帧所导致的不同类型视频效果不稳定的问题。在采样率相同的情况下， 本发明能够提高视频序列的重构质量，在重构的稳定性方面更具有效性，为两阶多假设预测 方案提高视频重构质量与稳定性提供了可能。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于两阶多假设预测的分布式视频自适应重构方法，在两阶多假设预测的基础上， 在第一阶段重构中选取前向重构的关键帧作为前向参考帧。在二次重构中添加了自适应算法， 将前向参考帧、后向参考帧以及双向运动补偿算法生成的边信息作为候选参考帧，将所有候 选参考帧整合进相同的假设集合中，执行像素域的多假设预测算法得到权重向量。然后计算 权重向量的L1范数，通过最大L1范数自适应的选择最终参考帧。

具体包括以下步骤：

步骤1，设置画面组GOP分组大小，将原始视频帧序列拆分为关键帧和非关键帧，画面 组GOP组内第一帧为关键帧，其余帧为非关键帧。

步骤2，在编码端，对关键帧与非关键帧按B×B大小分块并进行测量，得到对应的块测 量向量。

步骤3，在解码端，根据关键帧块的测量向量进行重构得到重构的关键帧块进 行块重组得到重构的关键帧

步骤4，在解码端，根据非关键帧的测量向量进行测量域的帧间多假设预测算法：

步骤41，设置搜索窗大小w，选取前向重构的关键帧作为前向参考帧记为构成当前 预测块的前向字典

步骤42，利用如下公式得到预测的非关键帧块

其中，表示字典的权重向量，λ₁为正则参数，为测量域正则化矩阵，h_{j＝1,2,...,k}是的列向量。

步骤43，根据预测的非关键帧块和非关键帧的测量向量进行残差重构，得到测 量域多假设预测的最终输出

步骤5，选取后向重构的关键帧作为后向参考帧记为结合前向参考帧采用双 向运动补偿算法生成边信息

步骤6，在解码端，根据非关键帧的测量向量进行采样域的帧间多假设预测算法：

步骤61，设置搜索窗大小w，分别选取前向参考帧后向参考帧和边信息作为 参考帧，构成当前预测块的前向字典后向字典和边信息字典合并成综合字典

步骤62，利用如下公式得到预测的非关键帧块的权重向量

其中，λ₂为正则参数，为像素域正则化矩阵，d_{j＝1,2,...,k}是 的列向量。

步骤63，对应将分割为分别计算和的 L1范数，算法自适应选取最大L1范数所对应的字典作为新的进行步骤62得到新的非 关键帧块的权重向量然后得到新的预测块

步骤64，根据新的预测块和非关键帧的测量向量进行残差重构，得到测量域多假 设预测的最终输出

步骤7，将所有重构的非关键帧块重组输出重构的非关键帧

优选的：所述步骤2中的块测量向量如下式所示：

其中，和分别表示非关键帧和关键帧中第i个块的测量向量，Φ_NK和Φ_K分别表示 非关键帧块和关键帧块的测量矩阵，和分别表示非关键帧和关键帧中第i个块的列向量 形式。

优选的：步骤3中采用帧内MH-BCS-SPL算法进行独立重构，得到重构的关键帧块

优选的：所述步骤43中采用SPL算法进行残差重构。

优选的：所述步骤43中的测量域多假设预测的最终输出为：

其中，SPL表示SPL算法。

优选的：所述步骤64中采用SPL算法进行残差重构。

优选的：所述步骤64中测量域多假设预测的最终输出

其中，SPL表示SPL算法。

优选的：根据画面组GOP分组大小，将原始视频帧序列拆分为关键帧和非关键帧分别进 行处理，关键帧帧内独立重构，非关键帧帧间联合重构。

优选的：所述步骤2-步骤7都是基于视频帧块进行处理。

本发明相比现有技术，具有以下有益效果：

本发明在两阶多假设预测的基础上，在第二阶段重构中，将前向参考帧，后向参考帧以 及双向运动补偿算法生成的边信息作为候选参考帧，将所有候选参考帧整合进相同的假设集 合中，执行像素域的多假设预测算法得到权重向量。然后通过计算权重向量的L1范数，自适 应选择最终的参考帧进行像素域的多假设预测算法。在采样率相同的情况下，能够提高视频 序列的重构质量以及有效性，为两阶多假设预测方案提高视频重构质量与稳定性提供了可能。

附图说明

图1为本发明一种基于两阶多假设预测的分布式视频自适应方法的框架图；

图2-5为本发明与现有方法在不同测试视频序列(Coastguard(海岸近卫队)，Container (容器)，Foreman(工头)，Hall(大厅))上的重构性能对比图；其中，图2为本发明与现 有方法在Coastguard(海岸近卫队)测试视频序列上的重构性能对比图，图3为本发明与现 有方法在Container(容器)测试视频序列上的重构性能对比图，图4为本发明与现有方法在 Foreman(工头)测试视频序列上的重构性能对比图，图5为本发明与现有方法在Hall(大厅) 测试视频序列上的重构性能对比图。

图6为本发明与现有方法，在采样率为0.5时，Foreman序列第1个非关键帧的重构效果 主观视觉对比图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而 不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式 的修改均落于本申请所附权利要求所限定的范围。

一种基于两阶多假设预测的分布式视频自适应重构方法，如图1所示，在两阶多假设预 测的基础上，在第一阶段重构中选取前向重构的关键帧作为前向参考帧。在二次重构中添加 了自适应算法，将前向参考帧、后向参考帧以及双向运动补偿算法生成的边信息作为候选参 考帧，将所有候选参考帧整合进相同的假设集合中，执行像素域的多假设预测算法得到权重 向量。然后计算权重向量的L1范数，通过最大L1范数自适应的选择最终参考帧。

具体包括以下步骤：

步骤1，设置画面组GOP分组大小，将原始视频帧序列拆分为关键帧和非关键帧，画面 组GOP组内第一帧为关键帧，其余帧为非关键帧。

步骤2，在编码端，对关键帧与非关键帧按B×B大小分块并进行测量，得到对应的块测 量向量：

其中，和分别表示非关键帧和关键帧中第i个块的测量向量，Φ_NK和Φ_K分别表示 非关键帧块和关键帧块的测量矩阵，和分别表示非关键帧和关键帧中第i个块的列向量 形式。

步骤3，在解码端，根据关键帧块的测量向量采用帧内MH-BCS-SPL算法进行独立 重构，得到重构的关键帧块进行块重组得到重构的关键帧

步骤4，在解码端，根据非关键帧的测量向量进行测量域的帧间多假设预测算法：

步骤41，设置搜索窗大小w，选取前向重构的关键帧作为前向参考帧记为构成当前 预测块的前向字典

步骤42，利用如下公式得到预测的非关键帧块

其中，表示字典的权重向量，λ₁为正则参数，为测量域正则化矩阵，h_{j＝1,2,...,k}是的列向量。

步骤43，根据预测的非关键帧块和非关键帧的测量向量采用SPL算法进行残 差重构，得到测量域多假设预测的最终输出

其中，SPL表示SPL算法。

步骤5，选取后向重构的关键帧作为后向参考帧记为结合前向参考帧采用双 向运动补偿算法生成边信息

步骤6，在解码端，根据非关键帧的测量向量进行采样域的帧间多假设预测算法：

步骤61，设置搜索窗大小w，分别选取前向参考帧后向参考帧和边信息作为 参考帧，构成当前预测块的前向字典后向字典和边信息字典合并成综合字典

步骤62，利用如下公式得到预测的非关键帧块的权重向量

其中，λ₂为正则参数，为像素域正则化矩阵，d_{j＝1,2,...,k}是 的列向量。

步骤63，对应将分割为分别计算和的 L1范数，算法自适应选取最大L1范数所对应的字典作为新的进行步骤62得到新的非 关键帧块的权重向量然后得到新的预测块

步骤64，根据新的预测块和非关键帧的测量向量采用SPL算法进行残差重构， 得到测量域多假设预测的最终输出

其中，SPL表示SPL算法。

步骤7，将所有重构的非关键帧块重组输出重构的非关键帧

根据画面组GOP分组大小，将原始视频帧序列拆分为关键帧和非关键帧分别进行处理， 关键帧帧内独立重构，非关键帧帧间联合重构。

所述步骤2-步骤7都是基于视频帧块进行处理，减轻了存储和计算的负担。步骤43和步 骤6 4中都进行了残差重构。先进行步骤4的测量域多假设预测重构，再进行步骤7的像素 域多假设预测重构。

下面结合附图对本发明方法的效果作进一步说明：

以Coastguard，Container，Foreman和Hall视频序列作为测试序列。分块大小B＝16，图 像组大小GOP＝2。采用双向运动补偿算法为每个非关键帧生成边信息。将所有非关键帧的平 均峰值信噪比(PSNR)指定为测量重建性能的客观标准。

图2-5显示了所有测试序列实验对比，可以观察到基于GOP的方案在Hall视频序列上效 果优于基于帧的方案，但在其他视频序列上效果不大理想，原因在于基于GOP的方案对视频 的类别十分敏感。平移特性可以带来更好的重构质量，反之亦然。本发明结合了这两种方案 的优点，通过自适应算法来选择参考框架，显示了其在重构质量和稳定性方面的有效性。

图6显示了本发明与现有方法在采样率为0.5时，Foreman序列第一个非关键帧的重构效 果主观视觉对比。与基于帧的方案和基于GOP的方案相比，本发明所提出的方案分别增加 0.13dB和2.39dB。在不同测试序列上，尽管本发明在重建质量方面只取得了轻微的改善，但 却展现了很好的稳定性。

本发明方法基于两阶多假设预测算法，通过在像素域多假设预测重构中自适应地选择参 考帧，解决了由于非自适应选择参考帧所导致的不同类型视频效果不稳定的问题。因此本发 明充分考虑现有两阶多假设预测的方案，在像素域重构中自适应选择参考帧，解决了由于传 统方法选择参考帧所导致的不同类型视频效果不稳定的问题。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说， 在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发 明的保护范围。

Claims (10)

1.一种基于两阶多假设预测的分布式视频自适应重构方法，其特征在于：在两阶多假设预测的基础上，在第一阶段重构中选取前向重构的关键帧作为前向参考帧；在二次重构中添加了自适应算法，将前向参考帧、后向参考帧以及双向运动补偿算法生成的边信息作为候选参考帧，将所有候选参考帧整合进相同的假设集合中，执行像素域的多假设预测算法得到权重向量；然后计算权重向量的L1范数，通过最大L1范数自适应的选择最终参考帧。

2.根据权利要求1所述基于两阶多假设预测的分布式视频自适应重构方法，其特征在于，包括以下步骤：

步骤1，设置画面组GOP分组大小，将原始视频帧序列拆分为关键帧和非关键帧，画面组GOP组内第一帧为关键帧，其余帧为非关键帧；

步骤2，在编码端，对关键帧与非关键帧按B×B大小分块并进行测量，得到对应的块测量向量；

步骤3，在解码端，根据关键帧块的测量向量进行重构得到重构的关键帧块进行块重组得到重构的关键帧

步骤4，在解码端，根据非关键帧的测量向量进行测量域的帧间多假设预测算法：

步骤41，设置搜索窗大小w，选取前向重构的关键帧作为前向参考帧记为构成当前预测块的前向字典

步骤42，利用如下公式得到预测的非关键帧块

其中，表示字典的权重向量，λ₁为正则参数，为测量域正则化矩阵，h_{j＝1,2,...,k}是的列向量；

步骤43，根据预测的非关键帧块和非关键帧的测量向量进行残差重构，得到测量域多假设预测的最终输出

步骤5，选取后向重构的关键帧作为后向参考帧记为结合前向参考帧采用双向运动补偿算法生成边信息

步骤6，在解码端，根据非关键帧的测量向量进行采样域的帧间多假设预测算法：

步骤61，设置搜索窗大小w，分别选取前向参考帧后向参考帧和边信息作为参考帧，构成当前预测块的前向字典后向字典和边信息字典合并成综合字典

步骤62，利用如下公式得到预测的非关键帧块的权重向量

其中，λ₂为正则参数，为像素域正则化矩阵，d_{j＝1,2,...,k}是的列向量；

步骤63，对应将分割为分别计算和的L1范数，算法自适应选取最大L1范数所对应的字典作为新的进行步骤62得到新的非关键帧块的权重向量然后得到新的预测块

步骤64，根据新的预测块和非关键帧的测量向量进行残差重构，得到测量域多假设预测的最终输出

步骤7，将所有重构的非关键帧块重组输出重构的非关键帧

3.根据权利要求2所述基于两阶多假设预测的分布式视频自适应重构方法，其特征在于：所述步骤2中的块测量向量如下式所示：

其中，和分别表示非关键帧和关键帧中第i个块的测量向量，Φ_NK和Φ_K分别表示非关键帧块和关键帧块的测量矩阵，和分别表示非关键帧和关键帧中第i个块的列向量形式。

4.根据权利要求2所述基于两阶多假设预测的分布式视频自适应重构方法，其特征在于：步骤3中采用帧内MH-BCS-SPL算法进行独立重构，得到重构的关键帧块

5.根据权利要求2所述基于两阶多假设预测的分布式视频自适应重构方法，其特征在于：所述步骤43中采用SPL算法进行残差重构。

6.根据权利要求2所述基于两阶多假设预测的分布式视频自适应重构方法，其特征在于：所述步骤43中的测量域多假设预测的最终输出为：

其中，SPL表示SPL算法。

7.根据权利要求2所述基于两阶多假设预测的分布式视频自适应重构方法，其特征在于：所述步骤64中采用SPL算法进行残差重构。

8.根据权利要求2所述基于两阶多假设预测的分布式视频自适应重构方法，其特征在于：所述步骤64中测量域多假设预测的最终输出

其中，SPL表示SPL算法。

9.根据权利要求2所述基于两阶多假设预测的分布式视频自适应重构方法，其特征在于：根据画面组GOP分组大小，将原始视频帧序列拆分为关键帧和非关键帧分别进行处理，关键帧帧内独立重构，非关键帧帧间联合重构。

10.根据权利要求2所述基于两阶多假设预测的分布式视频自适应重构方法，其特征在于：所述步骤2-步骤7都是基于视频帧块进行处理。