CN107682701B - 基于感知哈希算法的分布式视频压缩感知自适应分组方法 - Google Patents

Abstract

本发明公开了基于感知哈希算法的分布式视频压缩感知自适应分组方法，针对在分布式视频压缩感知系统中当视频序列变化剧烈或发生场景切换时，采用固定的图像分组将导致参考帧选择的不准确进而严重影响非关键帧的重构质量，如果非关键帧与相邻关键帧的重构质量相差过大，解码端将产生视频闪烁效应的问题，本发明首先利用感知哈希算法评估图像的时域相关性大小，并根据时域相关性大小将图像分级，然后进行自适应图像分组；在自适应图像分组基础上，采用一种新的帧采样率分配模型进一步提高总体重构质量。本发明在保持总采样率不变的前提下，有效降低了解码视频中视频闪烁程度，为分布式视频压缩感知系统进一步提高提高服务质量和用户体验提供了可能。

Description

基于感知哈希算法的分布式视频压缩感知自适应分组方法

技术领域

本发明属于视频图像处理技术领域，具体涉及一种基于感知哈希算法的分布式视频压缩感知自适应图像分组方法。

背景技术

无线传感网(WSN)是由大量具有通信和计算能力的视频传感器节点通过自组织方式组成，能够实时采集、处理现场信息，经过节点间多跳转发传输到汇聚节点。由于传感节点本身存在能量受限和传输能力有限的问题，加之无线传感器网络的信道存在时变特性，无线传感网的应用一直是研究热点之一。随着采用视频传感器构建的无线传感器网络(WVSN)来实现实时视频感知应用的增加，人们对视频传输的质量和速度提出了更高的要求和期待，如何利用无线视频传感网进行实时视频感知并保证视频质量满足用户体验(QOE)是一个亟待解决的问题。

传统的视频压缩编码系统在编码端进行复杂的运动估计(ME)与运动补偿(MC)技术进行压缩编码，与之相比，由于无线视频传感网络(WVSN)由大量视频传感器节点构成，并且传感节点本身存在能量受限和传输能力有限的问题，移动终端不能处理复杂运算的问题。为了满足新视频应用场景下的新需求,分布式视频编码(DVC)应运而生。分布式视频编码(DVC)采用“编码端各帧独立编码，解码端联合重构”的思想，将复杂的运动估计(ME)与运动补偿(MC)技术转移到了解码端，大大减轻了编码端的负担，十分适用于无线视频传感网(WVSN)。由于传统视频编码技术，例如H.26/MPEG-X编码过于复杂，为了进一步减少编码负担，整合分布式编码(DVC)与压缩感知(CS)的分布式视频压缩感知编码(DCVS)应运而生。

在分布式视频压缩感知编码中，视频帧序列被分一个个视频帧组(GOP)。帧组中的第一帧为关键帧，其余的为非关键帧。关键帧的采样率往往高于非关键帧，以获得高质量的重构的关键帧用来生成边信息(非关键帧的预测)辅助非关键帧的重构。边信息的准确与否直接影响非关键帧的重构质量，因此编码系统总是采用固定的小帧组来选择合适的参考帧来获得准确的边信息，比如GOP＝2、4、8、16。但是对于运动剧烈、场景切换的视频帧序列，即使是最小的分组大小GOP＝2,相邻关键帧差异性太大所导致的边信息不准确会严重影响非关键帧的重构质量。关键帧与非关键帧的重构质量若相差太多，重构的视频帧序列会表现出闪烁的问题，会严重影响用户体验与服务质量。

发明内容

本发明目的在于提出了一种基于感知哈希算法的分布式视频压缩感知自适应图像分组方法，该方法解决了传统分布式视频压缩感知系统中视频闪烁的问题。本发明首先利用感知哈希算法评估图像的时域相关性大小，并根据时域相关性大小将图像分级，然后进行自适应图像分组；在自适应图像分组基础上，采用一种新的帧采样率分配模型进一步提高总体重构质量。本发明在总采样率不变的前提下，有效降低了解码视频中视频闪烁程度，提高服务质量与用户体验，并且提高了整体重视频构质量，为分布式视频压缩感知系统进一步提高提高服务质量和用户体验提供了可能。

本发明解决其技术问题所采取的技术方案为基于感知哈希算法的分布式视频压缩感知自适应分组方法，

设输入视频序列为X＝{x₁，x₂，…，x_i，…，x_N}；

参数定义：x_i为第i帧视频图像，i为帧的序号，N为视频序列长度；T₁和T₂为阈值；R_min和R_max分别为允许的最小帧采样率和最大帧采样率；λ₁和λ₂分别为关键帧和非关键帧的信息率；R₁和R₂分别为关键帧和非关键帧的采样率；

所述方法具体包含以下步骤：

(1)将视频序列的第一帧和最后一帧直接设为关键帧；

(2)用感知哈希算法计算每两个连续帧的相关度RD，计算公式为：

RD_i＝HD(PHash(x_i,x_i-1)) (1)

x_i,x_i-1为两个连续的视频图像帧，PHash(.)代表感知哈希算法，HD(.)代表汉明距离；

(3)根据RD将各视频图像帧进行图像分组等级分级，记为GOP_level，即该图像所允许的最大分组的大小，分级准则如下：

其中T₁、T₂为设定 的阈值；

(4)根据视频图像分组等级，对各视频图像帧进行适应性分组；

(5)根据帧采样率模型计算关键帧的采样率R₁和非关键帧的采样率R₂，构建模型。

进一步，作为优选，上述步骤(3)所述的根据各相邻两帧的RD值，进行图像分组等级分级的分级准则，其中T₁＝1,T₂＝2。

进一步，上述步骤(4)所述的根据视频图像分组等级，对各视频图像帧进行适应性分组的具体步骤如下：

步骤1：令k＝1，转向步骤2；

步骤2：用公式(1)计算每个RD_i，转向步骤3；

步骤3：用公式(2)计算每个GOP_level_i，转向步骤4；

步骤4：令a＝3，转向步骤5；

步骤5：计算最小值，计算方式如下：

c＝min{GOP_level_k，……,GOP_level_k+a} (3)

步骤6：如果k+a>N，将N-k赋值给a，转向步骤5；否则转向步骤7；

步骤7：如果c≥a，将x_k+a帧设为关键帧，并将k+a赋值给k，转向步骤4；否则将a-1赋值给a，转向步骤5，

当k＝N时，终止该算法，得到关键帧x_k+a。

进一步，上述步骤(5)所述的帧采样率模型如下：

其中，λ₁代表关键帧的测量矢量的信息率，λ₂代表非关键帧的测量矢量的信息率，设定λ₁>λ₂，N₁为关键帧的数量，N₂为非关键帧的数量，n为每一帧的像素数，

s.t.N₁R₁n+N₂R₂n＝M (6)

R_min≤R₂≤R₁≤R_max (7)

λ₂<λ₁ (8)

其中M为总测量数，N₁为关键帧的数量，N₂为非关键帧的数量，n为每一帧的像素数，λ₁为关键帧的信息率，λ₂为非关键帧的信息率。

进一步，作为优选，上述允许的最小帧采样率R_min＝0.1，允许的最大帧采样率R_max＝0.9。

与现有技术相比，本发明具有如下优点：

第一，本发明充分利用视频序列的时域相关性，通过感知哈希算法衡量相邻两帧的相关度大小，并根据时域相关性大小将图像分级，然后进行自适应图像分组。改善了视频闪烁问题，提高了服务质量与用户体验

第二，本发明在自适应图像分组的基础上，设计了帧采样率分配模型，改善了整个视频序列的重构质量。

附图说明

图1为本发明一种基于感知哈希算法的分布式视频压缩感知自适应图像分组方法的流程图。

图2为本发明针对的分布式视频压缩感知系统框架图(阴影部分为本发明改进部分)。

图3为本发明方法与现有技术的Foreman视频序列重构性能对比图(key帧采样率为0.4，non-key帧采样率为0.2)。

图4为本发明方法与现有技术的Tennis视频序列重构性能对比图(key帧采样率为0.4，non-key帧采样率为0.2)。

具体实施方式

下面结合说明书附图对本发明作进一步的详细描述。

如图1所示，本发明涉及一种基于感知哈希算法的分布式视频压缩感知自适应图像分组方法，该方法具体步骤如下：

输入：视频序列为X＝{x₁，x₂，……，x_n}；

参数设定：阈值T₁、T₂，允许的最小帧采样率R_min，允许的最大帧采样率R_max，关键帧的信息率λ₁，非关键帧的信息率λ₂；

(1)将视频序列的第一帧和最后一帧直接设为关键帧；

(2)用感知哈希算法计算每两个连续帧的相关度RD，计算公式为：

RD_i＝HD(PHash(x_i,x_i-1)) (1)

x_i,x_i-1分别代表两个连续的视频图像帧，i代表帧数，PHash(.)代表感知哈希算法，HD(.)代表汉明距离公式；

(3)根据RD将各视频图像帧进行图像分组等级分级GOP_level，即该图像所允许的最大分组的大小，分级准则如下：

其中T₁,T₂为设定阈值。

(4)根据视频图像分组等级，对各视频图像帧进行适应性分组，步骤如下：

步骤1：令k＝1，转向步骤2。

步骤2：用公式(1)计算每个RD_i，转向步骤3。

步骤3：用公式(2)计算每个GOP_level_i，转向步骤4。

步骤4：令a＝3，转向步骤5。

步骤5：计算最小值，计算方式如下：

c＝min{GOP_level_k，……,GOP_level_k+a} (3)

步骤6：如果k+a>N，将N-k赋值给a，转向步骤5；否则转向步骤7。

步骤7：如果c≥a，将x_k+a帧设为关键帧，并将k+a赋值给k，转向步骤4；否则将a-1赋值给a，转向步骤5。

当k＝N时，终止该算法，得到关键帧x_k+a。

(5)根据帧采样率模型计算关键帧的采样率R₁和非关键帧的采样率R₂，模型如下：

其中，λ₁代表关键帧的测量矢量的信息率，λ₂代表非关键帧的测量矢量的信息率。设定λ₁>λ₂，N₁为关键帧的数量，N₂为非关键帧的数量，n为每一帧的像素数。

s.t.N₁R₁n+N₂R₂n＝M (6)

R_min≤R₂≤R₁≤R_max (7)

λ₂<λ₁ (8)

其中M为总测量数，N₁为关键帧的数量，N₂为非关键帧的数量，为n每一帧的像素数，λ₁为关键帧的信息率，λ₂为非关键帧的信息率。

下面结合附图对本发明方法的效果做进一步说明：

以foreman视频序列和tennis视频序列作为测试序列，其中foreman视频序列的格式为cif格式(352×288)，tennis视频序列的格式为cif格式(352×240)。实验组稀疏变换采用小波变换，测量矩阵采用局部哈达玛矩阵，重构采用GPSR算法，边信息采用双边运动补偿算法。对比组采用GOP＝2，除此之外，进行与实验组相同的操作。此外，为了评估解码视频闪烁的问题，额外定义了一些评估参数，计算方式如下：

ΔPSNR_i＝|PSNR_i-PSNR_i-1| (9)

ΔPSNR_max＝max{ΔPSNR₁，……，ΔPSNR_n} (10)

其中n代表帧总数，i代表帧号。

图3和图4是当设置key帧采样率为0.4，non-key帧采样率为0.2时，测试视频序列的性能对比图，分别对比了PSNR和ΔPSNR分布情况。可以观察到，相比于现有方法foreman从0到16剧烈浮动，而在改进的方法则相对稳定在一个较低的数值。可以看出，减缓了解码端视频闪烁的问题。

表1

表1为本发明方法与现有技术关键帧的重构性能对比数据(key帧采样率为0.4，non-key帧采样率为0.2)。以foreman视频序列为例，采用本发明方法，视频序列的ΔPSNR_average从3.6077dB降低到1.1769dB，ΔPSNR_max从15.2319dB降低到4.5463dB。Tennis序列同样如此。同时，本发明方法相比于现有方法，视频序列的整体重构质量维持在同一水平。在foreman视频序列上，改进效果在第190帧key帧上最为明显，现有方法重构图像的PSNR值为22.4450dB，本发明方法重构图像的PSNR值为36.8307dB，提升了14.3875dB；在tennis视频序列上，改进效果在第68帧key帧上最为明显，现有方法重构图像的PSNR值为17.4498dB，本发明方法重构图像的PSNR值为25.4976dB，提升了8.0478dB。可以看出本发明方法大大缓解了解码端视频因相邻图像帧重构质量相差过大而引起的视频闪烁问题，提高了服务质量与用户体验。

本发明方法通过自适应图像分组方法，实现了自适应图像分组和自适应的采样率分配，改善了视频场景快速变化时视频闪烁的问题，提高了服务质量与用户体验。

Claims (4)

1.基于感知哈希算法的分布式视频压缩感知自适应分组方法，

设输入视频序列为X＝{x₁，x₂，...，x_i，...，x_N}；

参数定义：x_i为第i帧视频图像，i为帧的序号，N为视频序列长度；T₁和T₂为阈值；R_min和R_max分别为允许的最小帧采样率和最大帧采样率；λ₁和λ₂分别为关键帧和非关键帧的信息率；R₁和R₂分别为关键帧和非关键帧的采样率；

其特征在于包含以下步骤：

(1)将视频序列的第一帧和最后一帧直接设为关键帧；

(2)用感知哈希算法计算每两个连续帧的相关度RD，计算公式为：

RD_i＝HD(PHash(x_i,x_i-1)) (1)

x_i,x_i-1为两个连续的视频图像帧，PHash(.)代表感知哈希算法，HD(.)代表汉明距离；

(3)根据RD将各视频图像帧进行图像分组等级分级，记为GOP_level，即该图像所允许的最大分组的大小，分级准则如下：

其中T₁、T₂为设定的阈值；

(4)根据视频图像分组等级，对各视频图像帧进行适应性分组；

(5)根据帧采样率模型计算关键帧的采样率R₁和非关键帧的采样率R₂，构建模型。

2.根据权利要求1所述的基于感知哈希算法的分布式视频压缩感知自适应分组方法，其特征在于：步骤(3)根据各相邻两帧的RD值，进行图像分组等级分级的分级准则，其中T₁＝1,T₂＝2。

3.根据权利要求1所述的基于感知哈希算法的分布式视频压缩感知自适应分组方法，其特征在于：步骤(4)所述的根据视频图像分组等级，对各视频图像帧进行适应性分组的具体步骤如下：

步骤1：令k＝1，转向步骤2；

步骤2：用公式(1)计算每个RD_i，转向步骤3；

步骤3：用公式(2)计算每个GOP_level_i，转向步骤4；

步骤4：令a＝3，转向步骤5；

步骤5：计算最小值，计算方式如下：

c＝min{GOP_level_k，......,GOP_level_k+a} (3)

步骤6：如果k+a>N，将N-k赋值给a，转向步骤5；否则转向步骤7；

步骤7：如果c≥a，将x_k+a帧设为关键帧，并将k+a赋值给k，转向步骤4；否则将a-1赋值给a，转向步骤5，

当k＝N时，终止该算法，得到关键帧x_k+a。

4.根据权利要求1所述的基于感知哈希算法的分布式视频压缩感知自适应分组方法，其特征在于：允许的最小帧采样率R_min＝0.1，允许的最大帧采样率R_max＝0.9。

Images