CN103124357A - 基于参考帧的多视点视频信息隐藏方法 - Google Patents

Abstract

本发明属于信息安全技术领域，涉及一种基于参考帧的多视点视频信息隐藏方法，对于每个候选宏块或其子块，首先计算相似度函数，判断是否需要嵌入，若需要信息嵌入，进行前向、后向和双向预测，预测时，以Lagrangian代价函数最小的帧为最优参考帧；从前向预测、后向预测和双向预测中选择Lagrangian代价函数最小的一种进行编码，嵌入信息，形成携带有隐秘信息的视频压缩文件。本发明以多视点立体视频为载体，通过在编码端调制参考帧序号的方式嵌入隐秘信息，嵌入信息后不影响多视点视频的主客观质量，码率的增长也被控制在较小的范围内，是一种安全、隐秘性强的信息隐藏方法。

Description

基于参考帧的多视点视频信息隐藏方法

所属技术领域

本发明涉及一种面向信息安全领域的多视点视频信息隐藏方法，可以用于秘密通信、多媒体资源的版权保护等领域。本发明以多视点立体视频为载体，通过在编码端调制参考帧序号的方式嵌入隐秘信息。嵌入信息后不影响多视点视频的主客观质量，码率的增长也被控制在较小的范围内，是一种安全、隐秘性强的信息隐藏方法。

背景技术

信息隐藏与密码学同为信息安全中的重要研究领域。密码学研究的重点是如何对信息进行转换，其原理是将信息转换为第三方无法理解的形式，只有合法的信息接受者才能通过密钥和解密算法得到原始信息。信息隐藏则将秘密信息隐藏于图像、视频、文档等载体中，第三方甚至无法得知载体中是否存在隐秘信息。加密技术对信息本身做了掩盖，但没有掩盖信息的存在性。信息隐藏则掩盖了信息的存在性，使得攻击和破解更具难度。

信息隐藏可用于军事情报领域、信息的匿名传送、多媒体制品的版权保护等。由于多媒体信息大多具有较大的冗余性，且人类的视觉和听觉具有掩盖效应，对一定范围内的误差无法察觉，这就为基于媒体的信息隐藏提供了广阔的空间。3D视频能够为人们带来立体的、更逼真的视觉体验，是视频处理领域追求的目标。多视点视频指的是由不同视点的多个摄像机从不同角度拍摄同一场景得到的视频，通过多个视点再现立体场景，是3D视频的有效实现方法。近年来许多研究机构和企业均投入很大精力对其相关技术展开研究，以将其推向市场应用。ITU-T和MPEG组成的联合视频组（JVT，joint video team）联合提出了多视点视频编码（MVC，multi video coding）标准，主要研究基于H.264/AVC的MVC方法。H.264/AVC是目前最新的视频压缩标准，具有良好的视频压缩效率。JVT已决定将MVC作为H.264/AVC的第四个扩展标准。

随着多视点视频逐步成熟，市面上会出现越来越多的多视点视频媒体，而相应的信息安全问题也就更加突出。因此研究针对多视点视频的信息隐藏技术就成了当务之急。现有的基于视频的信息隐藏技术存在以下问题：

当前的信息隐藏技术主要针对单视点视频，针对多视点视频的信息隐藏方法研究目前还非常少；现有的基于H.264/AVC的单视点视频的信息隐藏技术主要将信息嵌入点集中在运动矢量、DCT系数、宏块的预测模式或划分模式等位置，利用参考帧实现信息隐藏的研究尚处于起步阶段；在现有的基于参考帧的嵌入方法中，嵌入方式过于简单，主要方法是将信息比特与参考帧序号的奇偶性做简单的映射，这种方式容易造成码率的明显上升，且嵌入过程破坏了最优参考帧的概率分布规律。

发明内容

本发明的目的在于克服现有技术的上述不足，提供一种针对多视点视频的信息隐藏方法。本发明通过调制多视点视频码流中的参考帧序号实现信息嵌入，提取端采用视频编码压缩文件提取得到隐秘信息，无需原始视频文件。本发明的技术方案如下：

一种基于参考帧的多视点视频信息隐藏方法，包括信息嵌入部分和信息提取部分，在信息嵌入部分，对于每个宏块，按照下列步骤进行：

（1）判断该宏块是否为候选宏块，若不需要嵌入信息，则按正常流程执行编码，候选宏块需满足三个条件：

a)宏块位于奇数视点；

b)宏块位于奇数帧；

c)宏块采用16x16、16x8或8x16预测模式；

（2）对候选宏块或其子块计算相似度函数：设待编码的候选宏块或者其子块为B_c，前向参考帧列表的第0帧中与B_c位置相同的块记为B₀，后向参考帧列表的第0帧中与B_c位置相同的块记为B₁，则B_c的相似度函数f(B_c)的值等于B₀和B₁中亮度分量的绝对误差和，若B_c的相似度函数f(B_c)大于预设的阈值T，则不进行嵌入，按正常流程执行编码；

（3）每个待编码的候选宏块或者其子块可嵌入1至2个比特，设待嵌入比特为b₀和b₁，对B_c进行前向、后向和双向预测，预测时，以Lagrangian代价函数最小的帧为最优参考帧，方法如下：

首先进行前向预测，若待嵌入比特b₀=0，则在前向参考帧列表的偶数帧中寻找最优前向参考帧。若待嵌入比特b₀=1，则在前向参考帧列表的奇数帧中寻找最优前向参考帧；

然后进行后向预测，若待嵌入比特b₀=0，则在后向参考帧列表的奇数帧中寻找最优后向参考帧。若待嵌入比特b₀=1，则在后向参考帧列表的偶数帧中寻找最优后向参考帧；

再进行双向搜索，若待嵌入比特b₀=0，则在前向参考帧列表的偶数帧中寻找最优前向参考帧，若b₀=1，则在前向参考帧列表的奇数帧中寻找最优前向参考帧；若待嵌入比特b₁=0，则在后向参考帧列表的偶数帧中寻找最优后向参考帧；若b₁=1，则在后向参考帧列表的奇数帧中寻找最优后向参考帧；

最后，从前向预测、后向预测和双向预测中选择Lagrangian代价函数最小的一种进行编码；若选择前向或后向编码，则嵌入信息比特b₀，若选择双向编码，则嵌入信息比特b₀和b₁；

（4）根据所选择的参考帧，完成后续编码，形成携带有隐秘信息的视频压缩文件；

（5）对每个宏块执行以上第（1）至第（4）步，完成多视点视频的编码，形成压缩码流。

在多视点视频的编码过程中，宏块有多个参考帧可供选择，最终选择一个或两个最优的参考帧进行编码，本发明根据待嵌入的隐秘信息调制参考帧序号，使其与隐秘信息形成特定的映射关系。本发明可以在多视点视频中有效地嵌入信息，进而实现隐秘通信或视频的版权保护。本发明有以下实质性特点和技术效果：

（1）隐蔽性：隐蔽性是信息隐藏技术最为关键的指标。本发明选择奇数视点中的奇数帧进行信息的嵌入，在编码时该帧不作为其他帧的参考帧，可以避免对视频编码造成扩散性的影响。在嵌入前，使用相似度函数进行预判，选择恰当的块进行嵌入，块的前向和后向参考帧较为相似，经过参考帧序号调制后对编码造成的影响相对有限。另外，对信息比特与参考帧之间的映射关系进行了优化，使得嵌入信息后的参考帧序号保持原有的概率分布规律，并有效地抑制码率增加。嵌入信息前后峰值信噪比只有10^-2数量级的微小下降，同时码率上升量控制在较小范围，对多视点视频没有造成主客观质量的明显下降。

（2）隐藏量大：与单视点视频相比，多视点视频的数据量随视点数量线性增加，拥有更多适合嵌入的位置。因此，本发明能够嵌入的信息量相对较大。

（3）新颖性：目前基于多视点视频的信息隐藏的研究非常少，大部分信息隐藏方法都针对静止图像或传统的单视点视频。本发明将隐秘信息调制在多视点视频的参考帧序号中，通过相似度预判和映射规则的优化，有效地实现了隐秘信息的秘密通信。

附图说明

图1是本发明的整个信息嵌入、提取全过程的流程图；

图2是本发明的信息嵌入模块流程图；

图3是本发明的信息嵌入模块中的相似度预判模块原理图；

图4是本发明的信息嵌入模块中的参考帧选择模块流程图；

图5是本发明的信息提取模块流程图。

具体实施方式

下面结合附图和实施例对本发明进行说明。

图1描述了整个信息嵌入、提取的全过程。在步骤A,信息嵌入模块判断是否在编码块进行信息嵌入，若进行嵌入，则根据特定映射规则确定与信息比特对应的参考帧子集。在步骤B，编码器在该参考帧子集中寻找最优参考帧，按正常的流程完成编码，得到携带隐秘信息的压缩视频。该视频可以与普通多视点视频一样正常播放，不影响视频的主观质量。在步骤C，解码器对码率进行解码。在步骤D，首先根据视点序号、帧序号和预测模式判断是否为候选宏块，若为候选宏块，则根据步骤C的解码结果计算其相似度函数，判断块中是否包含隐秘信息。若包含隐秘信息，则根据与嵌入端相同的映射规则将信息比特提取出来，完成整个信息嵌入、提取的过程。

图2描述了信息嵌入模块和编码器的流程，对应图1中的步骤A、B。

在步骤A1，对每一个宏块判断是否可以进行嵌入，若可以嵌入，则该宏块为候选宏块，否则跳过。候选宏块的判定有三个条件：（1）该宏块位于奇数视点。（视点从0开始编号）；（2）该宏块位于奇数帧。（帧从0开始编号）；（3）该宏块采用16x16、16x8或8x16预测模式。若同时满足以上三个条件，则该宏块为侯选宏块。

在步骤A2，对候选宏块或其中的子块进行相似度预判，以决定是否嵌入信息。16x16模式的宏块对整个宏块进行判断；16x8和8x16的宏块分为两个子块，对这两个子块分别进行判断。图3是相似度预判的示意图。设

为第m个参考帧列表中的第n帧，其中m=0,1;n=0,1,…在运动估计时，前向参考帧列表L₀存放本视点中的前向参考帧和前一视点中的参考帧，后向参考帧列表L₁存放本视点中的后向参考帧和后一视点中的参考帧。L₀和L₁中的各帧按照距离当前帧的距离从近到远排列。L₀中离当前帧最近的参考帧为

L₁中离当前帧最近的参考帧为

记当前待编码的块为B_c，分别取

和

中与B_c相同位置的块，记为B₀和B₁，计算B₀和B₁中亮度分量的SAD（绝对误差和），作为相似度函数的值。设B_c为M×N块，则计算公式可表示如下：

$f\left(B_c\right)=\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}|B_0(i,j)-B_1(i,j)|$

最后将相似度与事先规定的阈值T进行比较，若f(B_c)≤T，则该块可以用于信息嵌入，这样的块称为候选块。否则不进行嵌入。

在步骤A3，对步骤A2中选出的候选块进行信息嵌入，如图4所示。在步骤A31、A32和A33中分别对该候选块进行前向预测、后向预测和双向预测，然后由步骤A34选出三者中Lagrangian代价函数值最小的一种，并完成后续的编码，结束整个编码流程。步骤A31、A32和A33均在原有参考帧列表的一个子集中寻找最优参考帧。

设r=0,1,2…为参考帧序号，定义以下参考帧子集：

$S_0^0=\left\{r\right|r\mathrm{mod}2=0,r\∈L_0\}$

$S_0^1=\left\{r\right|r\mathrm{mod}2=1,r\∈L_0\}$

$S_1^0=\left\{r\right|(r+1)\mathrm{mod}2=0,r\∈L_1\}=\{r|r\mathrm{mod}2=1,r\∈L_1\}$

$S_1^1=\left\{r\right|(r+1)\mathrm{mod}2=1,r\∈L_1\}=\{r|r\mathrm{mod}2=0,r\∈L_1\}$

在步骤A31中进行前向搜索，若待嵌入比特b₀=0，则在参考帧子集

中寻找最优前向参考帧。若待嵌入比特b₀=1，则在参考帧子集

中寻找最优前向参考帧。

在步骤A32中进行后向搜索，若待嵌入比特b₀=0，则在参考帧子集

中寻找最优后向参考帧。若待嵌入比特b₀=1，则在参考帧子集中寻找最优后向参考帧。

在步骤A33中进行双向搜索。双向搜索需要前向、后向两个参考帧，在前向参考帧序号和后向参考帧序号中各嵌入一个比特。若待嵌入比特b₀=0，则双向搜索的前向搜索部分在参考帧集合

中进行；若b₀=1，则在参考帧集合

中进行搜索。

若待嵌入比特b₁=0，则双向搜索的后向搜索部分在参考帧集合中进行，若b₁=1，则在参考帧集合

中进行搜索。

在步骤A34中，从前向预测、后向预测和双向预测中选择Lagrangian代价函数值最小的一个，作为实际的编码方式。若选择前向或后向编码，则嵌入了信息比特b₀，若选择双向编码，则嵌入了信息比特b₀和b₁。

在步骤B中，按照正常的编码流程进行预测编码，并完成后续的量化、变换编码及熵编码，形成携带有隐秘信息的视频压缩文件。

图5描述了解码器和信息提取模块的流程，对应图1中的步骤C、D。

在步骤C中，对码流进行解码，解码结果用于相似度预判。在步骤D1,判断当前解码的宏块是否包含隐秘信息，即判断该宏块是否属于候选宏块。若宏块满足：（1）该宏块位于奇数视点（视点从0开始编号），（2）该宏块位于奇数帧（帧从0开始编号），（3）该宏块采用16x16、16x8或8x16预测模式，则该宏块为候选宏块。

在步骤D2中，对候选宏块或其中的子块进行相似度判断，以确定是否包含隐秘信息。对16x16模式的宏块和16x8、8x16宏块中的两个子块分别进行判断。判断的方法与步骤A2类似，采用下式计算相似度：

$f\left(B_c\right)=\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}|B_0(i,j)-B_1(i,j)|$

若f(B_c)≤T，则该块中包含隐秘信息，进入步骤D3进行比特信息提取，否则过程结束。T为事先规定的阈值。

在步骤D3中，根据映射规则提取参考帧序号中包含的信息。设r=0,1,2…为参考帧序号，若该块采用前向预测，则提取的比特为

b₀=r mod 2

若该块采用后向预测，则提取的比特为

b₀=(r+1)mod 2

若该块采用双向预测，则可提取两个信息比特b₀、b₁。设双向预测的前向和后向参考帧序号分别为r₀和r₁，则

b₀=r₀ mod 2

b₁=r₁ mod 2。

Claims (1)

1.一种基于参考帧的多视点视频信息隐藏方法，包括信息嵌入部分和信息提取部分，在信息嵌入部分，对于每个宏块，按照下列步骤进行：

（1）判断该宏块是否为候选宏块，若不需要嵌入信息，则按正常流程执行编码，候选宏块需满足三个条件：

a)宏块位于奇数视点；

b)宏块位于奇数帧；

c)宏块采用16x16、16x8或8x16预测模式；

（2）对候选宏块或其子块计算相似度函数：设待编码的候选宏块或者其子块为B_c，前向参考帧列表的第0帧中与B_c位置相同的块记为B₀，后向参考帧列表的第0帧中与B_c位置相同的块记为B₁，则B_c的相似度函数f(B_c)的值等于B₀和B₁中亮度分量的绝对误差和，若B_c的相似度函数f(B_c)大于预设的阈值T，则不进行嵌入，按正常流程执行编码；

（3）每个待编码的候选宏块或者其子块可嵌入1至2个比特，设待嵌入比特为b₀和b₁，对B_c进行前向、后向和双向预测，预测时，以Lagrangian代价函数最小的帧为最优参考帧，方法如下：

首先进行前向预测，若待嵌入比特b₀=0，则在前向参考帧列表的偶数帧中寻找最优前向参考帧。若待嵌入比特b₀=1，则在前向参考帧列表的奇数帧中寻找最优前向参考帧；

然后进行后向预测，若待嵌入比特b₀=0，则在后向参考帧列表的奇数帧中寻找最优后向参考帧。若待嵌入比特b₀=1，则在后向参考帧列表的偶数帧中寻找最优后向参考帧；

再进行双向搜索，若待嵌入比特b₀=0，则在前向参考帧列表的偶数帧中寻找最优前向参考帧，若b₀=1，则在前向参考帧列表的奇数帧中寻找最优前向参考帧；若待嵌入比特b₁=0，则在后向参考帧列表的偶数帧中寻找最优后向参考帧；若b₁=1，则在后向参考帧列表的奇数帧中寻找最优后向参考帧；

最后，从前向预测、后向预测和双向预测中选择Lagrangian代价函数最小的一种进行编码；若选择前向或后向编码，则嵌入信息比特b₀，若选择双向编码，则嵌入信息比特b₀和b₁；

（4）根据所选择的参考帧，完成后续编码，形成携带有隐秘信息的视频压缩文件；

（5）对每个宏块执行以上第1）至第4）步，完成多视点视频的编码，形成压缩码流。

Images