CN107358590B - 基于超像素分割和相似组稀疏表示的立体视频误码掩盖方法 - Google Patents

Abstract

本发明公开了一种基于超像素分割和相似组稀疏表示的立体视频误码掩盖方法，可以对降质的立体视频进行较高质量的重建。本发明的方法首先对立体视频的含有丢失块的当前图像、同一时刻另一视角的图像和同一视角的前一帧图像进行超像素分割；其次，分别在三幅图像中构建相似组；再次，利用相似组稀疏表示生成学习字典；最后，通过相似组的稀疏表示模型的最优化迭代对含有丢失块图像进行误码掩盖，得到掩盖后的立体视频。本发明提出的方法充分利用了立体视频的相邻帧间和视间的相似性，因此对立体视频的误码掩盖有较好的效果。

Description

基于超像素分割和相似组稀疏表示的立体视频误码掩盖方法

技术领域

本发明属于图像复原技术领域，涉及一种基于超像素分割和相似组稀疏表示的立体视频误码掩盖方法，适用于信道传输中因丢包导致解码降质的立体视频的复原。

背景技术

近年来，由于在自由视点电视、视频监控和视频会议等诸多交互式多媒体领域具有广泛的应用前景，立体视频技术受到人们越来越多的关注。立体视频技术拥有传统视频传输所缺少的交互性和沉浸感，用户可以更加充分的参与到视频应用当中。这对实现用户的个性化需求起着显著的作用。由于拥有庞大的数据量，如何对立体视频数据进行有效地压缩编码成为研究的热点。此外，在有传输出错倾向的网络中，鲁棒性视频传输是一个重要应用，在解码端进行误码掩盖是解决该任务的主要方法。

尽管立体视频传输技术有着广泛的前景，但其也存在一些如实时性要求、宽带制约、差错控制等亟需解决的问题。其中，差错控制是一个非常关键的问题。立体视频传输采用高效的编码标准进行数据压缩，特别是帧间预测和变长编码的存在，使得压缩后的码流抵抗误码的能力非常脆弱。传输中一旦出现误码，错误数据将会在时域与空域上迅速蔓延和扩散，造成视频质量的急剧下降。尽管传输信道采用了前向纠错和自动重传请求等机制来抑制或减少错误，某些错误仍是不可避免的，一旦错误传播到解码端，这时就需要采用误码掩盖机制。误码掩盖并非重构出错前的原始码流，只是基于原始图像或视频的一些特性研究，同时结合人眼的某些视觉特性，对受损或丢失的数据进行最大程度的恢复，使之在主观视觉上不可见，从而使视频画面在解码端得到更好的再现。误码掩盖技术只在解码端实现，不需要编码端提供任何额外支持，也不会增加信道开销，具有广泛的网络适应性和平台移植性。

发明内容

为解决高效编码进行数据压缩后经过复杂信道传输的立体视频丢包后如何有效重建的问题，本发明提出一种基于超像素分割和相似组稀疏表示的立体视频误码掩盖方法，使立体视频得到有效的复原。

为了解决上述问题，本发明采用的技术方案为基于超像素分割和相似组稀疏表示的立体视频误码掩盖方法，包括超像素分割标签与SSIM(Structure Similarity，结构相似性指数)结合的图像块相似性的评价指标，立体视频含有丢失块的图像及其相关图像的相似组的构建策略，相似组稀疏表示模型对含有丢失块的图像误码掩盖的策略，以此有效提高立体视频的复原效果。具体步骤包括：

步骤1，对解码后的立体视频的含有丢失块的图像及其相关图像进行超像素分割。

步骤2，分别在三幅图像中构建相似组。

步骤3，对相似组进行奇异值分解生成学习字典。

步骤4，利用相似组稀疏表示对含有丢失块的图像误码掩盖，得到复原的立体视频。

在步骤1中，超像素分割采用SLIC(Simple Linear Iterative Clustering，简单线性迭代聚类)算法实现。对含有丢失块的当前图像、同一时刻另一视角的图像和同一视角的前一帧图像共三幅图像分别进行超像素分割后，得到这三幅图像的超像素标签。

在步骤2中，以步骤1中所得超像素标签结合SSIM指数作为评价指标，分别在三幅图像中获取到丢失块附近区域的相似图像块集合。将相似图像块集合用矩阵的形式表示即为相似组。

在步骤3中，分别对三幅图像的相似组进行SVD(Singular Value Decomposition，奇异值分解)分解，并融合形成一个丢失块附近区域相似组的学习字典。

在步骤4中，将相似组用学习字典中原子的线性组合表示即为相似组的稀疏表示。利用该稀疏表示模型的最优化方案对含有丢失块图像进行误码掩盖得到复原的立体视频。

与现有的技术相比，本发明具有以下优点：

1、本发明中相似图像块的评价指标区别于已有的一些方法。已有的一些方法的评价指标单纯依靠基于像素或基于内容。而在本发明中，采用的是基于像素的SSIM指数和基于内容的超像素标签相结合的评价指标。

2、大部分已有的视频误码掩盖方案都是基于传统单目视频的，这些方案利用了视频前后帧间的相关性但没有利用立体视频两个视角间的相关性。本发明充分利用了立体视频两个视角间的相关性和视频前后帧间的相关性，使生成的字典更加准确有效。

附图说明

图1是本发明的流程图；

图2是本发明中对图像进行超像素分割的效果图；

图3是本发明中构建丢失块附近区域相似组的示意图。

具体实施方式

现结合附图对本发明作进一步详细的说明。

本发明针对采用高效编码进行数据压缩后，经过复杂信道传输的立体视频的帧内丢包问题，提出了基于超像素分割和相似组稀疏表示的立体视频误码掩盖方法，该方法能有效地提高立体视频的重建质量，其流程如图1所示。

本发明的对立体视频的超像素分割方法如下：

假设立体视频中的某一帧发生丢包，其前一帧和同一帧另一视图的图像都正确传输。超像素分割采用SLIC算法。SLIC算法在K-means聚类算法的基础上扩展而来，是一种简单而高效的构建超像素的方法。对于每个超像素，其中心采用CIELAB颜色空间的三维颜色特征及二维位置信息进行描述。SLIC算法只需控制一个参数k(在本发明中设置为4000)，表示希望产生的超像素的近似个数。如图2所示，SLIC算法以亮度和距离等特征的相似度为衡量标准，将图像的轮廓、纹理和亮度等特征相关联，将高相似度像素聚类为超像素块，并为每个超像素块赋予唯一的标签，用以识别各个超像素块。

对含有丢失块的当前图像、同一时刻另一视角的图像和同一视角的前一帧图像共三幅图像分别进行超像素分割后，得到三幅图像的超像素标签集合。每一个标签为每个超像素在该幅图像中的唯一标识。

本发明相似组的构建及学习字典的生成的方法如下：

选定丢失块的上下左右四个方向与丢失块大小相等的四个区域，作为误码掩盖的参考区域。选定只有与参考区域内的超像素标签种类相等的图像块进入计算SSIM指数的候选集中。预先设定阈值H，大于该阈值的图像块认为是参考图像块的相似图像块。SSIM定义如下：

其中，i和j是两个图像块，α_i和α_j是亮度均值，β_i和β_j是标准差，β_ij是协方差，C₁和C₂是用于维持稳定的常数。SSIM越大表明i和j之间越相似。而超像素分割的标签则相当于给SSIM增加了新的约束。分别在三幅图像中获取丢失块附近区域的相似图像块集合，将相似图像块集合用矩阵的形式表示即为相似组，如图3所示：

S_k＝L_k(I) (2)

I为图像，L_k(*)为对图像提取相似组的操作，S_k为相似组。

分别对三幅图像的相似组进行SVD分解，并融合形成一个丢失块附近区域相似组的学习字典。充分利用了立体视频多视角间的相关性和视频前后帧间的相关性。

本发明通过相似组稀疏表示模型对视频误码掩盖的方法如下：

(1)稀疏表示。相似组中的任何一个向量都可以由学习字典的原子的线性组合表示。则相似组S_k可由下式得到：

其中，

为稀疏系数向量。d_k,x为字典D中的原子，其矩阵大小与S_k相等。

(2)对图像的所有候选集合中的相似组进行上述稀疏表示，使包括四个参考区域和丢失块区域的矩形图像区域Z可由D中少量原子的线性组合表示

其中，

为L_k(*)逆操作，表示将相似组

放入图像对应位置。

(3)由于μ_k是稀疏的，则基于相似组稀疏表示模型的误码掩盖问题即为最优化问题，如下式：

其中，M为模板矩阵(代表图像降质操作)，F为丢包图像。通过求解(5)式可得N个稀疏向量{μ_k|k＝1,2,···,N}(即μ)。由于(5)式为组合优化问题，不能直接求解，本发明采用SBI(Split Bregman Iteration)算法来进行迭代优化求得N个稀疏向量的最优估计。将这些稀疏向量的最优估计值代入(4)式，并将(4)式所得矩形区域替换到F中的对应位置即可得到掩盖后的图像I_ec，进而得到掩盖后的立体视频。

Claims (5)

1.基于超像素分割和相似组稀疏表示的立体视频误码掩盖方法，其特征在于，包含以下步骤：

步骤1，对解码后的立体视频的含有丢失块的当前图像、同一时刻另一视角的图像和同一视角的前一帧图像进行超像素分割；

步骤2，分别从含有丢失块的当前图像、同一时刻另一视角的图像和同一视角的前一帧图像中，获取丢失块附近上下左右四个方向与丢失块大小相等的四个区域图像块，作为误码掩盖的参考区域，选定只有与参考区域内的超像素标签种类相等的图像块进入计算SSIM指数的候选集中，作为相似图像块集合，进而分别构建相似组；

步骤3，对上述相似组进行奇异值分解生成学习字典；

步骤4，利用相似组稀疏表示对含有丢失块的当前图像进行误码掩盖，得到掩盖后的立体视频。

2.根据权利要求1所述的基于超像素分割和相似组稀疏表示的立体视频误码掩盖方法，其特征在于，在步骤1中，对立体视频含有丢失块的当前图像、同一时刻另一视角的图像和同一视角的前一帧图像共三幅图像分别采用简单线性迭代算法进行超像素分割。

3.根据权利要求1或2所述的基于超像素分割和相似组稀疏表示的立体视频误码掩盖方法，其特征在于，在步骤2中，利用超像素分割结果与结构相似性指数结合的评价指标提取丢失块附近区域的相似图像块集合，将相似图像块集合表示成矩阵形式得到相似组。

4.根据权利要求3所述的基于超像素分割和相似组稀疏表示的立体视频误码掩盖方法，其特征在于，在步骤3中，对含有丢失块的当前图像、同一时刻另一视角的图像和同一视角的前一帧图像的相似组分别进行奇异值分解生成丢失块附近区域的学习字典。

5.根据权利要求4所述的基于超像素分割和相似组稀疏表示的立体视频误码掩盖方法，其特征在于，在步骤4中，将相似组用学习字典的原子的线性组合进行稀疏表示，通过相似组的稀疏表示模型的最优化方案，对丢包图像进行误码掩盖，进而获得误码掩盖后的复原图像。

Images