CN102300098B - 一种基于可逆信息隐藏和冗余技术的视频容错编码方法 - Google Patents

Abstract

一种基于可逆信息隐藏和冗余技术的视频容错编码方法，包括编码端信息嵌入和解码端信息提取两大步骤。编码端信息嵌入步骤为，对视频序列中奇数帧自适应添加冗余片，偶数帧不加；将偶数帧关键区域的运动矢量提出取出来并转换成二进制序列；提出一种易扩展双边可逆信息隐藏方案，统计冗余片中运动矢量分布函数，通过双边可逆信息隐藏方案将该偶数帧运动矢量的信息嵌入到前一帧冗余片的运动矢量中。解码端信息提取步骤为，根据编码端的提取算法与冗余片运动矢量的分布函数特征，将嵌入的信息提取出来，转换成运动矢量以供错误隐藏使用；根据网络状况，如果奇数帧发生丢包现象，则启用冗余片，如果偶数帧出现运动矢量丢失，则使用提取的运动矢量信息进行错误隐藏。该方法提供一种可分级、大容量、低码率扩张的视频容错编码解决方案。

Description

一种基于可逆信息隐藏和冗余技术的视频容错编码方法

技术领域

本发明涉及视频编码、多媒体通信以及信息隐藏，特别涉及一种基于可逆信息隐藏和冗余技术的视频容错编码方法。

背景技术

视频编码的一个显著优点是可以得到非常高的压缩比。然而，许多通信系统中存在着传输错误。由于采用了预测编码，传输错误不仅会影响当前帧的解码质量，还会传播到后续的预测编码帧中。如果不对帧间的错误传播进行控制，图像质量将会严重下降甚至完全崩溃。

H.264常用的视频容错编码方法有以下几种：1)帧内更新：在视频序列中插入帧内预测图像可以减少帧间的错误传播，但帧内编码往往需要更多的比特，过多的插入帧内预测图像会导致额外的延时，并且帧内数据本身由于编码比特位过大对错误会变得更加敏感，因此不具有鲁棒性。2)参考帧选择：无论是对一幅图像，一个片，或者是一个宏块，参考帧选择都是一个不错的容错方法。在反馈环境下，编码端发送给解码端一些图像丢失或损坏的信息，解码端灵活地选择正确的参考帧，取代了帧内更新过多比特位的缺点。但是对于无反馈系统，这种方法不适用。3)灵活宏块排序：灵活的宏块排序FMO(flexible macroblockordering)是H.264的一大特色，适用于H.264的基本档次和扩展档次的应用。FMO通过宏块分配映射技术，把每个宏块分配到不按扫描顺序排列的片中。FMO技术采用多种划分图像的模式，重要的有棋盘模式、矩形模式等。4)冗余片：冗余片技术可实现对某帧产生一个或多个冗余片。需要注意的是这些冗余片的编码参数与非冗余片的编码参数有所不同，例如主片可用较小的量化参数(Quantization Parameter，QP，较小的QP意味着较高的质量)来编码，而冗余信息中用较高的QP(低质量)来编码，这样质量稍差但码率更低。解码器在重构时，首先使用主片，如果它可用就抛弃冗余片；而如主片丢失或发生错误(比如因为包的丢失)冗余片也能被用于重构。冗余片主要用于支持高误码的移动环境。

基于信息隐藏的视频容错编码方法是一种新兴的思路，通过信息隐藏实现视频的容错编码，就是把视频的重要信息嵌在视频的不重要信息里面，引入“冗余”。这样，如果视频的重要信息传输出错，就可以利用这些冗余信息进行纠错。这么做的代价是：会对视频的视觉质量造成失真。而且可能会引起部分解码出错和失同步，而失同步可能会引起大片的连续错误，尤其需要妥善处理。这类算法主要是修改DCT(Discrete cosine transform)量化系数，其运算复杂，且这类方法信息嵌入量是受约束的，因此能保护的信息量也是有限的。

发明内容

本发明的目的在于提供一种可分级、大容量、低码率扩张的视频容错编码解决方案。

为达到目的，本发明提出一种基于可逆信息隐藏和冗余技术的视频容错编码方法的新方案，主要包括编码端信息嵌入与解码端的信息提取两大步骤，所述的处理步骤为：

步骤a，在编码端对奇数帧产生冗余片RS(Redundant Slice)，偶数帧不加冗余；

步骤b，根据偶数帧的平均运动矢量，自适应选取该偶数帧中运动矢量较大的一块区域A，并将该区域中的运动矢量转换成二进制序列b_n；其中，b_n是由长度为L_{RDH_RS}序列组成，其中R_range是运动矢量的搜索范围，L_p是奇偶校验位的位数，用于识别序列正确与否。

步骤c，统计奇数帧冗余片的运动矢量分布函数F_N，M；

步骤d，利用双边可逆信息隐藏规则，通过将运动矢量分布函数F_N，M与阈值l比较，修改冗余片原始运动矢量分布函数，将改后的运动矢量分布函数记为

当F_N，M＞l时，F_N，M向右平移(l+1/2)×Δ单位，即

其中Δ平移步长；

当F_N，M＜-l时，F_N，M向左平移(l+1/2)×Δ单位，即

当-l≤F_N，M≤l时，不对F_N，M做修改，即

步骤e，将偶数帧的运动矢量信息嵌入到其前一帧的冗余片中，根据双边可逆信息隐藏嵌入方案，通过修改奇数帧冗余片的运动矢量分布函数

将下一帧(偶数帧)待嵌入的信息序列嵌入冗余片中，嵌入信息后的冗余片的运动矢量分布函数为

嵌入过程为：

当b_n＝0时，若 $-l\≤{\hat{F}}_{N,M}\≤l,$ 则将

改为 ${\hat{F}}_{N,M}\×(1+\mathrm{\Δ}),$ 即 ${\tilde{F}}_{N,M}={\hat{F}}_{N,M}\×(1+\mathrm{\Δ});$

当b_nb_n+1＝10时，若 $-l\≤{\hat{F}}_{N,M}\≤l,$ 则将改为 ${\hat{F}}_{N,M}\×(1+\mathrm{\Δ})+\mathrm{\Δ}/2,$ 即 ${\tilde{F}}_{N,M}={\hat{F}}_{N,M}\×(1+\mathrm{\Δ})+\mathrm{\Δ}/2;$

当b_nb_n+1＝11时，若 $-l\≤{\hat{F}}_{N,M}\≤l,$ 则将

改为 ${\hat{F}}_{N,M}\×(1+\mathrm{\Δ})-\mathrm{\Δ}/2,$ 即 ${\tilde{F}}_{N,M}={\hat{F}}_{N,M}\×(1+\mathrm{\Δ})-\mathrm{\Δ}/2.$

信息提取步骤如下：

步骤f，在解码端根据信息提取算法和冗余片标志，定位嵌入信息的位置；

步骤g，根据双边可逆信息隐藏规则修改后的运动矢量的分布函数特征，将

改为

过程中提取嵌入载体信息序列b_n，提取过程为：当 ${\tilde{F}}_{N,M}={\hat{F}}_{N,M}\×(1+\mathrm{\Δ})+\mathrm{\Δ}/2,$ 则b_nb_n+1＝10；当 ${\tilde{F}}_{N,M}={\hat{F}}_{N,M}\×(1+\mathrm{\Δ}),$ 则b_n＝0；当

则b_nb_n+1＝11；并将信息序列b_n转换成运动矢量；

步骤h，根据双边可逆信息隐藏规则，将运动矢量分布函数修改回原始分布，即将

改为F_N，M；具体过程如下：

当

时，向左平移(l+1/2)×Δ单位，即 $F_{N,M}={\tilde{F}}_{N,M}-(l+1/2)\×\mathrm{\Δ},$ 其中Δ平移步长；

当 ${\tilde{F}}_{N,M}<-(3l/2+1/2)\&times;\mathrm{\&Delta;}$ 时，向右平移(l+1/2)×Δ单位，即 $F_{N,M}={\tilde{F}}_{N,M}-(l+1/2)\&times;\mathrm{\&Delta;};$

当 $-(3l/2+1/2)\&times;\mathrm{\&Delta;}\&le;{\tilde{F}}_{N,M}\&le;(3l/2+1/2)\&times;\mathrm{\&Delta;}$ 时， $F_{N,M}=({\tilde{F}}_{N,M}+k\&times;\frac{\mathrm{\&Delta;}}{2})/(1+\mathrm{\&Delta;});$ 其中k取值如下：

当b_n＝0时，k＝0；

当b_nb_n+1＝10时，k＝-1；

当b_nb_n+1＝11时，k＝1。

步骤i，根据网络状况，如果奇数帧发生丢包现象，将自动启用冗余，否则冗余自动丢弃；如果偶数帧发生丢包，则启用解码端提取的运动矢量信息进行视频错误隐藏。

本发明的有益效果在于，提供一种可分级、大容量、低码率扩张的视频容错编码方案，与现有的技术相比较，其优点在于：

1)本发明提出一种易扩展双边可逆信息隐藏方案，提高了信息的嵌入量，且对视频载体本身不会造成任何损害，实现容错的同时保证视觉质量。

2)本发明提出基于运动矢量的可逆信息隐藏方案，通过统计冗余片中运动矢量分布函数，利用1)中的双边可逆信息隐藏方案将该偶数帧运动矢量的信息嵌入到前一帧冗余片的运动矢量中。由于信息是在嵌入冗余片中，因此该方案不会视频的基本层带来任何影响，减少错误传播；同时，运算复杂度低，可以有效减少解码端运算压力；

3)本发明是信息隐藏与冗余片有机结合点，因此在具备两者优点同时，与只使用冗余片相比，本发明的方法可大大降低码率扩张，而且可实现分级保护。与只使用信息隐藏的方法相比，本发明的方法大大拓宽受保护信息的种类与数量，达到更好的保护效果。

附图说明

图1为应用本发明基于可逆信息隐藏和冗余技术的视频容错编码的视频系统示意图；

图2将冗余片分配与嵌入示意图；

图3自适应的选取嵌入区域的运动矢量；

图4a冗余片运动矢量的原始分布图；

图4b将信息嵌入载体“0”上的修改过程；

图4c将信息嵌入载体“-1”、“0”、“1”上的修改过程；

图5解码端提取的信息的使用；

图6a原始视频视觉效果；

图6b丢包率为10％时只使用信息隐藏的效果；

图6c丢包率为10％时本发明的方法的效果；

图7a编码端信息嵌入流程；

图7b解码端信息的提取流程；

图8a对于测试序列“Foreman”，本发明方法(BRDH-RS)与可逆信息隐藏(RDH)在丢包率为10％的条件下码率扩张与PSNR值之间的关系；

图8b对于测试序列“carphone”，本发明方法(BRDH-RS)与可逆信息隐藏(RDH)在丢包率为10％的条件下码率扩张与PSNR值之间的关系；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为应用本发明基于可逆信息隐藏和冗余技术的视频容错编码的视频系统示意图；图2将冗余片分配与嵌入示意图；图3自适应的选取嵌入区域的运动矢量；图4a奇数帧冗余片的运动矢量分布函数示意图；

图4b将信息嵌入载体“0”上的修改过程；我们以将信息嵌入“0”载体为例，阐述嵌入算法的核心思想：首先把所有大于零的运动矢量向右平移一个单位，所有小于零的向左平移一个单位，得到如图4b所示分布，“-1”和“1”即可以用来嵌入信息；其次，如果b_n为“0”时，“0”载体的值保持不变，否则将进一步扫描b_n+1的值，如果b_nb_n+1＝10，则把“0”改成“1”，如果b_nb_n+1＝11，则把“0”改成“-1”，如图4b中的红线所示。更进一步可以把“0”载体扩展为“-1”“0”“1”载体，则嵌入过程如图4c所示。

下面对信息的嵌入与提取过程进行详细说明，实施的具体步骤简述如下：

步骤101，在编码端对奇数帧产生冗余片RS(Redundant Slice)，偶数帧不加冗余；

步骤102，根据偶数帧的平均运动矢量，自适应选取该偶数帧中运动矢量较大的一块区域A，并将该区域中的运动矢量转换成二进制序列b_n；其中，b_n是由长度为L_{RDH_RS}序列组成，

其中R_range是运动矢量的搜索范围，L_p是奇偶校验位的位数，用于识别序列正确与否。在本实施过程A＝16个宏块，每个宏块大小为16×16像素；设定R_range＝15，L_p＝1；

步骤103，统计奇数帧冗余片的运动矢量分布函数F_N，M；

步骤104，利用双边可逆信息隐藏规则，通过将运动矢量分布函数F_N，M与阈值l比较，修改冗余片原始运动矢量分布函数，将改后的运动矢量分布函数记为当F_N，M＞l时，F_N，M向右平移(l+1/2)×Δ单位，即

其中Δ平移步长；当F_N，M＜-l时，F_N，M向左平移(l+1/2)×Δ单位，即

当-l≤F_N，M≤l时，不对F_N，M做修改，即其中，本实施案例中l＝1，Δ＝2；修改的过程如图4c所示；

步骤105，根据双边可逆信息隐藏嵌入方案，通过修改

将待嵌入的信息序列嵌入冗余片中，嵌入信息后的冗余片的运动矢量分布函数为

嵌入过程为：当b_n＝0时，若 $-l\&le;{\hat{F}}_{N,M}\&le;l,$ 则将

改为 ${\hat{F}}_{N,M}\&times;(1+\mathrm{\&Delta;}),$ 即 ${\tilde{F}}_{N,M}={\hat{F}}_{N,M}\&times;(1+\mathrm{\&Delta;});$ 当b_nb_n+1＝10时，若 $-l\&le;{\hat{F}}_{N,M}\&le;l,$ 则将

改为 ${\hat{F}}_{N,M}\&times;(1+\mathrm{\&Delta;})+\mathrm{\&Delta;}/2,$ 即 ${\tilde{F}}_{N,M}={\hat{F}}_{N,M}\&times;(1+\mathrm{\&Delta;})+\mathrm{\&Delta;}/2;$ 当b_nb_n+1＝11时，若 $-l\&le;{\hat{F}}_{N,M}\&le;l,$ 则将改为 ${\hat{F}}_{N,M}\&times;(1+\mathrm{\&Delta;})-\mathrm{\&Delta;}/2,$ 即 ${\tilde{F}}_{N,M}={\hat{F}}_{N,M}\&times;(1+\mathrm{\&Delta;})-\mathrm{\&Delta;}/2.$

信息提取步骤如下：

步骤201，在解码端根据信息提取算法和冗余片标志，定位嵌入信息的位置；

步骤202，根据双边可逆信息隐藏规则修改后的运动矢量的分布函数特征，将改为

过程中提取嵌入载体信息序列b_n，提取过程为：当 ${\tilde{F}}_{N,M}={\hat{F}}_{N,M}\&times;(1+\mathrm{\&Delta;})+\mathrm{\&Delta;}/2,$ 则b_nb_n+1＝10；当 ${\tilde{F}}_{N,M}={\hat{F}}_{N,M}\&times;(1+\mathrm{\&Delta;}),$ 则b_n＝0；当 ${\tilde{F}}_{N,M}={\hat{F}}_{N,M}\&times;(1+\mathrm{\&Delta;})-\mathrm{\&Delta;}/2,$ 则b_nb_n+1＝11；并将信息序列b_n转换成运动矢量；

步骤203，根据双边可逆信息隐藏规则，将运动矢量分布函数修改回原始分布，即将

改为F_N，M；过程如下：当 ${\tilde{F}}_{N,M}>(3l/2+1/2)\&times;\mathrm{\&Delta;}$ 时，

向左平移(l+1/2)×Δ单位，即其中Δ平移步长；当

时，向右平移(l+1/2)×Δ单位，即 $F_{N,M}={\tilde{F}}_{N,M}-(l+1/2)\&times;\mathrm{\&Delta;};$ 当 $-(3l/2+1/2)\&times;\mathrm{\&Delta;}\&le;{\tilde{F}}_{N,M}\&le;(3l/2+1/2)\&times;\mathrm{\&Delta;}$ 时，

其中k取值如下：当b_n＝0时，k＝0；当b_nb_n+1＝10时，k＝-1；当b_nb_n+1＝11时，k＝1。

步骤204，根据网络状况，如果奇数帧发生丢包现象，将自动启用冗余，否则冗余自动丢弃；如果偶数帧发生丢包，则启用解码端提取的运动矢量信息进行视频错误隐藏。

为了检测本发明的效果，对四个视频序列进行测试，如下表

表1测试序列

图6a原始视频视觉效果；图6b丢包率为10％时只使用信息隐藏的效果；图6c丢包率为10％时本发明的方法的效果；如表2所示经过10％丢包后用本发明的方法后的视频PSNR值，可以看出本发明方法明显优于只使用信息隐藏的方法。

为了研究码率扩张与PSNR之间的关系，在实验中我们设置冗余片的量化参数分别为34、38、42、46、50；在对比算法RDH方法实现中设置I帧周期为6、7、8；图8a和图8b分别是本发明(BRDH-RS)在不同码率扩张下所能达到的PSNR值，本发明的方法无论在码率扩展上还是视频的PSNR都好明显犹豫信息隐藏的方法(RDH)。

表2实验结果比较

实验表明，本发明的基于可逆信息隐藏和冗余技术的视频容错编码方法，与单纯使用冗余相比，本发明的方法可大大降低码率扩张，而且可实现分级保护。与单纯使用信息隐藏的方法相比，本发明的方法大大拓宽受保护信息的种类与数量，达到更好的保护效果；同时在解码端运算复杂度，减少终端的运算压力；本发明提供一种可分级、大容量、低码率扩张的视频容错编码解决方案。

以上对本发明的描述是说明性的，而非限制性的，本专业技术人员理解，在权利要求限定的精神与范围之内可对其进行许多修改、变化或等效，但是它们都将落入本发明的保护范围内。

Claims (3)

1.一种基于可逆信息隐藏和冗余技术的视频容错编码方法，其主要包括编码端信息嵌入与解码端的信息提取两大步骤，其特征在于，所述的编码端信息嵌入步骤为：

步骤a，在编码端对奇数帧产生冗余片RS(Redundant Slice)，偶数帧不加冗余；

步骤b，根据偶数帧的平均运动矢量，自适应选取该偶数帧中运动矢量较大的一块区域A，并将该区域中的运动矢量转换成二进制序列b_n；

步骤c，统计奇数帧冗余片的运动矢量分布函数F_N，M，该函数自变量为运动矢量的大小，函数值为某一数值的运动矢量出现的频次；

步骤d，利用双边可逆信息隐藏规则，对奇数帧冗余片的原始运动矢量分布函数F_N，M(步骤c所述)修改，将改后的运动矢量分布函数记为

具体修改规则如下，通过将运动矢量分布函数F_N，M与阈值l比较：

当F_N，M＞l时，F_N，M向右平移(l+1/2)×Δ单位，即

其中Δ平移步长；

当F_N，M＜-l时，F_N，M向左平移(l+1/2)×Δ单位，即

当-l≤F_N，M≤l时，不对F_N，M做修改，即

步骤e，将偶数帧的运动矢量信息嵌入到其前一帧的冗余片中，根据双边可逆信息隐藏嵌入方案，通过修改奇数帧冗余片的运动矢量分布函数将待嵌入的信息序列嵌入冗余片中，嵌入信息后的冗余片的运动矢量分布函数为

双边可逆信息隐藏嵌入过程如下：

当b_n＝0时，若则将

改为

即 ${\tilde{F}}_{N,M}={\hat{F}}_{N,M}\&times;(1+\mathrm{\&Delta;});$

当b_nb_n+1＝10时，若 $-l\&le;{\hat{F}}_{N,M}\&le;l,$ 则将

改为 ${\hat{F}}_{N,M}\&times;(1+\mathrm{\&Delta;})+\mathrm{\&Delta;}/2,$ 即 ${\tilde{F}}_{N,M}={\hat{F}}_{N,M}\&times;(1+\mathrm{\&Delta;})+\mathrm{\&Delta;}/2;$

当b_nb_n+1＝11时，若 $-l\&le;{\hat{F}}_{N,M}\&le;l,$ 则将

改为 ${\hat{F}}_{N,M}\&times;(1+\mathrm{\&Delta;})-\mathrm{\&Delta;}/2,$ 即 ${\tilde{F}}_{N,M}={\hat{F}}_{N,M}\&times;(1+\mathrm{\&Delta;})-\mathrm{\&Delta;}/2.$

信息提取步骤如下：

步骤f，在解码端根据信息提取算法和冗余片标志，定位嵌入信息的位置；

步骤g，根据双边可逆信息隐藏规则修改后的运动矢量的分布函数特征，将

改为

过程中提取嵌入载体信息序列b_n，并将信息序列b_n转换成运动矢量，提取规则如下：

当 ${\tilde{F}}_{N,M}={\hat{F}}_{N,M}\&times;(1+\mathrm{\&Delta;})+\mathrm{\&Delta;}/2,$ 则b_nb_n+1＝10；

当 ${\tilde{F}}_{N,M}={\hat{F}}_{N,M}\&times;(1+\mathrm{\&Delta;}),$ 则b_n＝0；

当 ${\tilde{F}}_{N,M}={\hat{F}}_{N,M}\&times;(1+\mathrm{\&Delta;})-\mathrm{\&Delta;}/2,$ 则b_nb_n+1＝11。

步骤h，根据双边可逆信息隐藏规则，将运动矢量分布函数修改回原始分布，即将

改为F_N，M，修改规则为：

当时，

向左平移(l+1/2)×Δ单位，即 $F_{N,M}={\tilde{F}}_{N,M}-(l+1/2)\&times;\mathrm{\&Delta;},$ 其中Δ平移步长；

当 ${\tilde{F}}_{N,M}<-(3l/2+1/2)\&times;\mathrm{\&Delta;}$ 时，

向右平移(l+1/2)×Δ单位，即 $F_{N,M}={\tilde{F}}_{N,M}-(l+1/2)\&times;\mathrm{\&Delta;};$

当 $-(3l/2+1/2)\&times;\mathrm{\&Delta;}\&le;{\tilde{F}}_{N,M}\&le;(3l/2+1/2)\&times;\mathrm{\&Delta;}$ 时， $F_{N,M}=({\tilde{F}}_{N,M}+k\&times;\frac{\mathrm{\&Delta;}}{2})/(1+\mathrm{\&Delta;});$ 其中k取值如下：

当b_n＝0时，k＝0；

当b_nb_n+1＝10时，k＝-1；

当b_nb_n+1＝11时，k＝1。

步骤i，根据网络状况，如果奇数帧发生丢包现象，将自动启用冗余，否则冗余自动丢弃；如果偶数帧发生丢包，则启用解码端提取的运动矢量信息进行视频错误隐藏。

2.根据权利要求1所述的一种基于可逆信息隐藏和冗余技术的视频容错编码方法，其特征在于，所述步骤b中的二进制序列b_n是由长度为L_{RDH_RS}序列组成，

其中R_range是运动矢量的搜索范围，L_p是奇偶校验位的位数，用于识别序列正确与否。

3.根据权利要求1所述的一种基于可逆信息隐藏和冗余技术的视频容错编码方法，其特征在于，所述步骤e中是将偶数帧的运动矢量信息嵌入到其前一帧的冗余片中。

Images