CN101651837B - 一种基于帧间预测误差直方图修改的可逆视频水印方法 - Google Patents

Abstract

一种基于帧间预测误差直方图修改的可逆视频水印方法，包括水印嵌入和水印检测，水印嵌入过程按照视频逆序进行，首先利用前一帧进行运动估计得到帧间预测误差，然后对帧间预测误差进行直方图修改以嵌入水印。提取过程按照视频顺序方式进行，同样利用前一帧进行运动估计得到预测误差，然后从预测误差中提取水印并修改直方图进行帧图像还原。本发明采用逆序嵌入顺序提取的方式，嵌入后的视频帧能够在提取水印后进行还原，实现了视频水印的可逆性；根据相邻帧间的内容关系使用运动估计进行预测，使预测误差直方图具有高度的集中性，实现了较大的嵌入容量；在嵌入过程中使用直方图修改使得对帧图像影响很小，嵌水印视频具有良好的视觉质量。

Description

一种基于帧间预测误差直方图修改的可逆视频水印方法

技术领域

本发明涉及一种多媒体数字水印嵌入和检测方法，特别涉及一种基于帧间预测误差直方图修改的可逆视频水印方法。

背景技术

数字信息革命给人类的社会和生活带来了深刻的变化，同时也带来了新的挑战和创新机遇。由于数字多媒体作品容易被复制或者修改，数字版权保护及内容完整性验证等安全问题成为迫切需要解决的问题。数字水印技术是一种保护数字多媒体安全的有效手段，它将一些信息隐藏在数字图像、视频或者音频信号中，用于声明版权或验证内容的完整性。在现有的大多数数字水印方法中，由于水印信号的引入，宿主媒体会被永久的改变并无法还原到嵌入水印前的状态。虽然水印引入的失真通常很小并不容易被人的感知系统所察觉，但在一些对数据保真度要求极高的特殊领域中，如医学诊断、卫星遥感或者法律证据等，媒体中任何微小的失真都是不被允许的。因此数字水印技术在这些领域的应用受到了很大的限制。为了解决该问题，人们提出了可逆数字水印的概念，这种水印方案可以保证在提取端将宿主媒体精确还原到其未被嵌入水印时的原始状态。

最早的可逆水印方法是由Barton在1997年提出(参见Barton，J.，Method and apparatusfor embedding authentication information within digital data U.S.Patent 5 646 997，1997.)，该方法除具有对载体数据进行认证的能力之外，还能从载体中移除水印并还原原始的载体数据。近年来学者们提出大量的可逆水印算法，并可大致分为如下三类(参见Jen-bang Feng，I.-c.L.，Chwei-shyong Tsai，Yen-ping Chu，Reversible watermarking：current statusand key issues.International Journal of Network Security 2006.2(3)：p.161-170.)：使用数据压缩的水印方法、基于直方图修改的水印方法和基于差值扩展(DifferenceExpansion，DE)的水印方法。在这几类方法中，第一类方法具有较高的算法复杂度，而其容量十分有限。而其它两类方法在这些方面都有所改进。

直方图修改是一种实现可逆水印的有效策略。Vleeschouwer等人(参见C.DeVleeschouwer，J.F.Delaigle，and B.Macq，″Circular interpretation of bijectivetransformations in lossless watermarking for media asset management，″Multimedia，IEEE Transactions on，vol.5，pp.97-105，2003.)通过将直方图随机划分成两个部分，并根据这两个部分具有统计上的相似特性，将水印嵌入到其中一个部分中。在提取时可根据未嵌水印部分的直方图分布来对水印信号进行识别。Ni等人提出使用直方图中的峰值和零值对进行嵌入的可逆水印方法(参见N.Zhicheng，S.Yun-Qing，N.Ansari，and S.Wei，″Reversible data hiding，″Circuits and Systems for Video Technology，IEEETransactions on，vol.16，pp.354-362，2006.)。该方法在水印嵌入时，将峰值附近的像素向零值方向移动一个像素，并以修改或保持峰值像素值的方式嵌入水印比特位。之后，Lin和Hsueh使用Ni等人提出的方法对三像素块中的差值进行扩展(参见C.-C.Lin and N.-L.Hsueh，″A lossless data hiding scheme based on three-pixel block differences，″Pattern Recognition，vol.41，pp.1415-1425，2008.)，实现了更大的嵌入容量及更小的失真。

利用差值扩展的可逆水印方法由Tian于2003年第一次提出(参见T.Jun，″Reversible data embedding using a difference expansion，″Circuits and Systems forVideo Technology，IEEE Transactions on，vol.13，pp.890-896，2003.)。通过使用移位操作，对两个邻近像素之间的差值进行扩展，并将水印比特嵌入到扩展后的差值的最低有效位。该方法使用嵌入位置表(location map)记录被扩展的像素，以避免像素溢出。这种方法利用邻近的像素对间存在的冗余信息来进行水印的嵌入，具有高嵌入容量和低失真的特点。随后，Alattar扩展了Tian的DE算法(参见A.M.Alattar，″Reversible watermarkusing difference expansion of triplets，″2003，pp.I-501-4 vol.1.，在临近像素差值扩展向量中嵌入多个比特的水印。DE方法中的嵌入位置表由于记录了每个像素是否用于嵌入的状态，通常具有较大的数据量，会降低实际的水印容量。针对该问题，Lin等人提出了一种不使用嵌入位置表的DE算法(参见C.-C.Lin，S.-P.Yang，and N.-L.Hsueh，″LosslessData Hiding Based on Difference Expansion without a Location Map，″in Image and SignalProcessing，2008.CISP’08.Congress on，2008，pp.8-12.)。

近年来，学者们又提出了一类使用预测误差扩展的可逆水印方法。该类方法是基于DE的改进，通常具有较大的嵌入容量和较低的图像失真。这类方法主要不同于DE的部分在于其使用像素预测值与原始值的差值(预测误差)进行扩展，而非相邻像素的差值。2004年，Thodi等人首次提出了使用预测误差扩展的可逆水印方法(参见D.M.Thodi and J.J.Rodriguez，″Prediction-error based reversible watermarking，″in Image Processing，2004.ICIP’04.2004 International Conference on，2004，pp.1549-1552 Vol.3.)。在该方法中，预测误差值使用与DE中相同的移位扩展，并同样使用了嵌入位置表以避免像素值溢出。在此之后，学者们已提出多种策略以提高此类方法的性能(D.M.Thodi and J.J.Rodriguez，″Expansion Embedding Techniques for Reversible Watermarking，″ImageProcessing，IEEE Transactions on，vol.16，pp.721-730，2007.；M.Kuribayashi，M.Morii，and H.Tanaka，″Reversible Watermark with Large Capacity Based on thePrediction Error Expansion，″IEICE Trans.Fundam.Electron.Commun.Comput.Sci.，vol.E91-A，pp.1780-1790，2008.；C.C.Chang，C.C.Lin，and Y.H.Chen，″Reversibledata-embedding scheme using differences between original and predicted pixelvalues，″Information Security，IET，vol.2，pp.35-46，2008.；Z.Y.WENG ShaoWei，NI RongRong，PAN Jeng-Shyang，″Lossless data hiding based on prediction-erroradjustment，″Science in China Series F：Information Sciences，vol.52，pp.269-275，2009.)。最近，Tsai等人提出一种将直方图修改与预测误差扩展结合的可逆水印算法(参见P.Tsai，Y.-C.Hu，and H.-L.Yeh，″Reversible image hiding scheme using predictivecoding and histogram shifting，″Signal Processing，vol.89，pp.1129-1143，2009.)，由于使用了直方图操作而非移位操作，使得对像素值的修改至多为1，因此，该方法较其它方法具有更好的嵌水印图像质量。

以上的可逆水印算法都是针对静态图像提出的，而除了图像，视频也是一种在各个领域中具有广泛应用的多媒体形式。然而在现阶段，针对视频载体的可逆水印技术还不是很多。为了在视频中嵌入可逆水印，通常的做法是在视频帧中使用可逆图像水印的方法(参见S.D.Lin，M.Hsiang-Cheng，and S.Yu-Lung，″A novel error resilience using reversibledata embedding in H.264/AVC，″Information，Communications & Signal Processing，20076th International Conference on，pp.1-5，2007.)。但视频具有图像所没有的时间维度，即视频是由一组连续的图像所组成的序列。因此将视频帧完全按照静态图像的方法进行处理并不是最有效的方式。在基于预测误差扩展的可逆水印方法中，预测器的预测效果决定了水印容量及嵌水印载体的视觉质量，因此为了提高基于预测误差扩展的可逆水印应用于视频时的性能，本发明采用帧间预测方法来提高预测器的精度。

发明内容

本发明要解决的技术问题是：克服现有技术的不足，提供一种基于帧间预测误差直方图修改的可逆视频水印方法，该方法使用逆序嵌入顺序提取的方式保证了视频水印的可逆性；利用帧间运动估计提高了预测器精度，获得更大的水印嵌入容量。

本发明的技术解决方案：一种基于帧间预测误差直方图修改的可逆视频水印方法，包括水印嵌入和水印提取两大部分，所述水印嵌入过程采用逆序嵌入的方式，即如果视频帧是第一帧则使用帧内预测方式嵌入，如果不是，则使用帧间预测水印嵌入方式嵌入；所述帧间预测水印嵌入方式包括使用运动估计得到帧间预测误差、利用直方图修改方式嵌入水印和头信息的生成；所述水印提取过程采用顺序提取的方式，如果视频帧是第一帧则使用帧内预测方式提取水印并还原，如果不是，则采用帧间预测方式提取水印并还原；

视频水印嵌入的过程如下：

(1)按照逆序从最后一帧向前进行水印嵌入；

(2)判断是否为第一帧，如果是第一帧，则采用静态图像可逆水印方法，即帧内预测及直方图修改以嵌入水印，并结束水印嵌入操作；如果不是第一帧，则继续后面的步骤；

(3)读取当前帧F_i，读取其前一帧为F_i-1，利用块匹配运动估计算法得到预测误差和相应的运动向量并保存当前帧头信息H_i；

(4)对预测误差进行直方图修改以嵌入数据，其中嵌入数据由上一帧的头信息H_i+1和水印组成；

(5)将运动向量与原始直方图峰值和零值对组合为当前帧的头信息H_i；

(6)重复步骤(2)至(6)直到全部水印嵌入完成。

视频水印的提取过程如下：

(1)按照顺序从第一帧向后进行水印提取；

(2)判断是否为第一帧，如果是第一帧，则采用静态图像可逆水印方法，即帧内预测与直方图修改提取水印和第二帧的头信息H₂，转至步骤(4)；

(3)如果不是第一帧，则读取当前帧F_i以及其其前一帧F_i-1。结合F_i-1和前一帧提取过程得到当前帧头信息H_i中的运动向量，得到当前帧对应的预测误差；

(4)利用H_i中记录的原始直方图峰值和零值对，使用预测误差直方图修改的方法提取水印和下一帧的头信息H_i+1，并还原当前帧；

(5)重复过程(2)至(5)直到全部水印提取完成。

所述的视频第一帧所采用的图像可逆水印方法采用基于帧内数据压缩的可逆水印方式。

在所述的视频水印嵌入过程中，利用块匹配运动估计算法得到预测误差和运动向量的过程如下：

a.对于使用帧间预测的帧，即除第一帧以外的所有帧F_i，将其划分成大小为16×16大小的不相交块，作为目标块并记录下其行列坐标x，y；

b.对于每个目标块，在参考帧F_i-1中与其相同位置附近3个像素的范围内，寻找与其相同像素数量最多的并且大小相同的像素块作为预测块，并记录下其位置行列坐标x’，y’；

c.将目标块与预测块相减得到预测误差，将目标块的位置与预测块的位置相减得到运动向量dx和dy(其中dx＝x-x’，dy＝y-y’)。

在所述的视频水印嵌入过程中，利用对预测误差进行直方图修改的方法嵌入水印过程如下：

a.在预测误差直方图中寻找两个峰值和零值对并记录，其中峰值表示拥有最大频率的预测误差值，零值表示频率为零的预测误差值；

b.判断零值点位于峰值点的左侧还是右侧，如果位于左侧，则将位于零值点和峰值点之间(不包含峰值点)的所有像素值预测误差减1；如果位于右侧，则将位于零值点和峰值点之间(不包含峰值点)的所有像素值预测误差加1；

c.将水印信息比特位嵌入直方图平移前的峰值点，对于右侧峰值点，如果嵌入水印的比特位为1，则将预测误差加1，否则保持预测误差值不变；对于左侧峰值点，如果嵌入水印的比特位为1，则将预测误差减1，否则保持预测误差值不变。

d.计算修改后的预测误差与像素预测值之和，获得嵌水印的像素值。

在所述的视频水印嵌入过程中，当前帧头信息包含所选峰值和零值对、运动向量、边界表长度和边界表四个部分。

本发明与现有技术相比所具有的优点是：

(1)本发明所述的基于帧间预测误差直方图修改的可逆视频水印算法在相邻帧间运用运动估计算法进行预测得到预测误差，充分利用了视频内容的相关性，显著提高了预测器的预测精度，进而提高了水印的嵌入容量。

(2)本发明所述的基于帧间预测误差直方图修改的可逆视频水印算法利用对预测误差进行直方图修改的方法嵌入水印信息，在嵌入过程中像素修改的幅度较小，对原始视频视觉质量影响很小。

(3)本发明所述的基于帧间预测误差直方图修改的可逆视频水印算法采用逆序嵌入、顺序提取的方法，保证了视频水印的可逆性。

(4)在进行自恢复水印的生成过程中，将视频分为16×16的宏块进行运动估计，这里使用的运动估计算法可以根据实际需要采用任何一种已知的运动估计算法，具有较好的适应性。在匹配标准上使用相同预测误差的像素最多的原则进行匹配。

(5)本发明所述的基于帧间预测误差直方图修改的可逆视频水印算法在嵌入水印时对于头信息的压缩可采用任何一种无损压缩算法，减少了头信息所占用的数据量，提高了嵌入有效水印的数据量，具有较好的适应性。

附图说明

图1为本发明方法整体框架结构图；

图2为本发明中的可逆视频水印嵌入过程示意图；

图3为本发明中的运动估计过程示意图；

图4为本发明中的直方图修改示意图；

图5为本发明中的运动估计示意图，其中图5a是原始直方图，图5b是平移后的直方图，图5c是嵌入水印后的直方图；

图6为本发明中的边界表生成示意图；

图7为本发明中的可逆视频水印提取顺序示意图；

图8为本发明中的可逆视频水印提取过程示意图。

具体实施方式

本发明方法的整体框架图如图1所示。整体流程包括水印嵌入和水印提取两大部分。水印嵌入过程如图中左侧虚线框部分所示，按照逆序方式进行，首先利用前一帧进行运动估计得到帧间预测误差，然后对帧间预测误差进行直方图修改从而嵌入水印。水印提取过程如图右侧虚线框部分所示，按照顺序方式进行，同样利用前一帧进行运动估计得到预测误差，然后根据预测误差提取水印并修改直方图进行帧图像还原。

本发明方法中的水印嵌入过程如图2所示，对于其中需要嵌入水印的目标I帧按照如下方法嵌入水印。

步骤1：按照逆序从最后一帧向前进行水印嵌入操作；

步骤2：判断是否为第一帧，如果是第一帧，则采用图像可逆水印方法嵌入水印，结束水印嵌入操作；如果不是第一帧继续后面的步骤；

步骤3：读取当前帧F_i，读取其前一帧为F_i-1，利用块匹配运动估计算法由进行运动估计得到预测误差和运动向量；生成和保存当前帧头信息H_i；

步骤4：利用对预测误差进行直方图修改的方法嵌入水印和上一帧的头信息H_i+1；

步骤5：将运动向量与原始直方图峰值和零值对组合为本帧的头信息H_i；

步骤6：重复步骤2至步骤6直到全部水印嵌入完成。

本发明的基于帧间预测误差直方图修改的可逆视频水印方法的可逆视频水印的嵌入过程中，使用的倒序嵌入过程如图3所示：

为了保证可逆性，需要按照与视频本身相反的方向进行水印嵌入，即先在最后一帧中嵌入，倒序遍历，最后嵌入水印到首帧中。在此过程中，由运动向量等组成的头信息与需要嵌入的水印组合起来嵌入到参考帧中，以便在提取某帧的水印前能够获得。对于视频的最后一帧F_L，由于其不作为别的任何帧的参考帧，因此仅在其中嵌入真实的水印；而对于视频的第一帧，由于使用的是帧内预测，所以可以把头信息(无运动向量)嵌入到自身，此过程可使用任何一种已知的可逆图像水印方法。

在可逆视频水印的嵌入过程中，步骤3将视频分块并利用前一帧作为参考帧进行块匹配运动估计，其运动估计得到预测误差和运动向量过程如图4所示：

为了获得预测误差，先使用运动估计对原始的视频帧进行预测。帧F_i(1＜i≤L，其中L为视频中帧的个数)使用其前面的邻近帧F_i-1作为预测的参考帧。根据公式(1)，可获得每个帧所对应的预测帧F_i’，其中包含了当前帧中所有像素的对应的预测值。在公式(1)中，Inter-predict(.)表示使用帧间的运动估计进行预测，并输出预测帧Fi’及相应的运动向量；而Intra-predict(.)表示仅使用帧内预测。由于视频的第一个帧不具有参考帧，因此它只能使用帧内预测。在本专利中，对于第一个帧，使用可逆图像水印算法进行嵌入和提取。

${F_i}^{\&prime;}=\left\{\begin{array}{cc}\mathrm{Inter}-\mathrm{predict}(F_i,F_{i-1})& 1<i\&le;L\\ \mathrm{Intra}-\mathrm{predict}\left(F_i\right),& i=1\end{array}\right.---\left(1\right)$

对于使用帧间预测的帧(即除第一帧以外的所有帧)，F_i将被划分成大小为w×h的不相交块，然后分别处理每个块，以在参考帧F_i-1中寻找与其内容最相近的并且相同大小的像素块，即预测块。为了搜索匹配的预测块，定义一个大小为w×h的搜索窗口(其中，w表示搜索窗口的行像素数，h表示搜索窗口的列像素数，在本发明中w和h的取值均为16)，该搜索窗口可在一个大小为(w+g)×(h+g)的搜索区域中移动(其中，g表示搜索窗口行列移动的范围，在本发明中，参数g取值为3)。搜索窗口从搜索区域的左上角逐像素移动到右下角，并且将每个位置所覆盖的像素值与F_i中的当前块进行比较以衡量它们的相似度。搜索过程如图4所示，其中搜索范围的中心位置与当前块的中心位置一致。如果搜索区域为整个帧，由于所有参考像素都参与了比较，则可以获得最优的搜索结果；但同时因为比较次数过多而导致过长的搜索时间。由于在视频中，同样的场景通常出现在邻近帧的相似位置上，因此，将搜索区域选择为比块尺寸略大的区域已经能获得较优的搜索结果，并大大缩短搜索所需的计算时间。

搜索窗口每移动一个像素，将计算它所覆盖的像素块blk_src与当前块blk_cur内容的相似度。SAD(Sum of Absolute Difference)被用于计算两个块的像素差异以衡量它们的相似度，其计算方法如公式(2)所示，其中x和y表示与块左上角位置的偏移量。

$\mathrm{SAD}=\underset{x=1,y=1}{\overset{w,h}{\mathrm{\&Sigma;}}}|{\mathrm{blk}}_{\mathrm{cur}}(x,y)-{\mathrm{blk}}_{\mathrm{srch}}(x,y)|---\left(2\right)$

比较搜索窗口每一次移动所计算得到的SAD值，当SAD具有最小值时表示找到与当前块最为接近的参考块，此时搜索窗口所覆盖的区域则是当前块最匹配的预测块，而该位置的中心坐标(x_p，y_p)与当前块的中心坐标(x_c，y_c)之差将被作为运动向量而记录，表示为(dx，dy)。当F_i中所有的块都经过运动估计计算并确定其匹配的预测块后，所有的预测块将被组合成为一个完整的预测帧F_i’。通过计算F_i与F_i’中对应位置的像素差值，可以获得当前帧的预测误差帧E_i，如公式(3)所示，其中F_i(m，n)和F_i’(m，n)分别是大小为M×N的原始帧和预测帧在m行n列处的像素值。预测帧中的每一个元素e代表其对应位置像素的预测误差值，其取值范围为[-255，255]。

E_i(m，n)＝F_i(m，n)-F_i′(m，n)，1≤m≤M，1≤n≤N                 (3)

M为视频帧像素总行数，N为视频帧像素总列数；m表示视频帧第m行，n表示视频帧第n列。

在可逆视频水印的嵌入过程中，步骤4使用的直方图修改过程说明如下：

为了嵌入水印，需要在预测误差直方图中寻找两个峰值和零值对。峰值即表示拥有最大频率的预测误差值；而零值表示频率为零的预测误差值。预测误差值方图的一个简单例子如图5(a)所示。在该图中，两个峰值点分别为0和1，即hist(0)＞hist(1)＞hist(e≠0or1)。因此，可以确定其峰值和零值对分别为(0，-3)和(1，4)。在本发明算法中，位于左方的峰值和零值对称为LP(Left Pair)，其区间内的像素将会向直方图横轴的左方移动；而位于右方的称为RP(Right Pair)，其区间内的像素将会向直方图横轴的右方移动。其中，在LP中的峰值点表示为LM、零值点表示为LZ；在RP中的峰值点表示为RM、零值点表示为RZ。

当确定了峰值和零值对以后，需要对直方图按照公式(4)进行调整，以便腾出用于水印嵌入的空间。经过调整的直方图如图5(b)所示。

$e^{\&prime;}=\left\{\begin{array}{cc}e-1& e\&Element;(\mathrm{LZ},\mathrm{LM})\\ e+1& e\&Element;(\mathrm{RM},\mathrm{RZ})\end{array}\right.---\left(4\right)$

在经过调整后的直方图中，最靠近峰值点的预测误差频率将会变为0。此时即可通过修改处于峰值点的预测误差值以嵌入水印，嵌入方法如公式(5)所示，其中b为需要嵌入的水印比特位，值为0或者1。嵌入水印后的直方图如图5(c)所示。

$e^{\&prime;}=\left\{\begin{array}{cccc}e-1& e=\mathrm{LM}& \mathrm{and}& b=1\\ e+1& e=\mathrm{RM}& \mathrm{and}& b=1\\ e,& b=0& & \end{array}\right.---\left(5\right)$

通过修改预测误差直方图，得到了嵌水印的预测误差帧，并可以通过公式(6)对视频帧进行重构(其中M、N分别为视频帧行、列像素数)，从而获得嵌水印的视频帧F_i”。

F_i″(m，n)＝F_i(m，n)+E_i′(m，n)，1≤m≤M，1≤n≤N                (6)

在可逆视频水印的嵌入过程中，步骤3中生成和保存当前帧头信息过程说明如下：

在本发明的方法中，头信息需要被记录以在提取水印和还原视频帧时使用。头信息是在运动估计和嵌水印过程中产生的一些信息。一个帧对应的头信息由三个部分组成，分别是峰值和零值对、运动向量和边界表。

在嵌入水印过程中，由于预测误差被修改，因此在重构后可能导致嵌水印帧存在像素溢出的问题。例如，值为0或255的像素在扩展后可能变为-1或256。为了解决该问题，采用边界表的方法来避免这种溢出。在水印嵌入时，原始边界像素未参与直方图计算，而在嵌入水印后，会生成一些新的边界像素。因此在提取水印时，需要识别在所有的边界像素中哪些是原始的那些是嵌入时生成的，以保证产生正确的直方图。为了能够识别嵌水印帧中的原始边界像素，定义了一个二进制向量作为边界表，它记录了所有原始的边界像素(不参与直方图计算，标记为1)和由于嵌入水印而产生的边界像素(标记为0)。在水印提取端结合边界表和嵌水印帧中的边界像素，即可分辨哪些边界像素是可用于直方图计算的。图6给出了一个边界表的例子。在该例中，原始帧包含有3个边界像素，而嵌水印帧包含有5个边界像素。边界表的长度为5，其内容为(11010)，意味着在嵌水印帧中有两个边界像素是由于直方图修改而产生的。在提取水印的时候，通过边界表可以得知，第1、2和4个边界像素是原始帧本身具有的，不能参与直方图计算；而第3个和第5个边界像素是由于直方图修改而产生的，因此计算预测误差直方图时应该包括它们所对应的预测误差值。对于大多数自然图像和视频帧而言，边界像素的个数都非常少，因此边界表的长度通常较短甚至为零。在实验部分将对边界表占用的数据空间进行测试。

头信息将与水印信号一起嵌入到前一帧(参考帧)中，如图3所示。因此，实际嵌入到参考帧的数据可由公式(7)表示。水印提取操作将按照与嵌入相反的帧序进行，这样可保证在提取某帧水印之前已获得其必要的头信息数据。

$\mathrm{embedded\; data\; in}{F_i}^{\&prime;\&prime;}=\left\{\begin{array}{cc}{\mathrm{watermark}}_i,& i=L\\ \mathrm{head\; informatio}{n}_{i+1}\&CirclePlus;{\mathrm{watermark}}_i,& 1\&le;i<L\end{array}\right.---\left(7\right)$

本发明的基于帧间预测误差直方图修改的可逆视频水印方法的水印提取过程如图7所示，对于其中需要提取水印的目标I帧按照如下方法提取水印。

步骤1：按照顺序从第一帧向后进行水印提取操作；

步骤2：判断是否为第一帧，如果是第一帧，则采用图像可逆水印方法提取水印并保存第二帧的头信息H₂，转至步骤4；

步骤3：如果不是第一帧则读取当前帧F_i，读取其前一帧为F_i-1。同时由前一帧提取过程得到当前帧头信息H_i，结合F_i-1和H_i得到当前帧预测误差；

步骤4：利用对预测误差进行直方图修改的方法提取水印和下一帧的头信息H_i+1并对当前帧视频进行还原操作；

步骤5：重复步骤2至步骤5直到全部水印提取完成。

在视频水印提取过程中的头信息提取和视频还原过程说明如下：

对于F_i(1＜i≤L，其中L为进行水印提取操作的视频的总帧数)，其水印提取和还原过程如图7所示。在F_i进行提取处理之前，已经完成对其参考帧F_i-1的提取和还原操作。解析从F_i-1中提取到的水印，可获得F_i对应的头信息。通过使用运动向量、还原得到的参考帧以及当前的嵌水印帧，可以采用分块计算的方式得出当前帧对应的带有水印信号的预测误差。每个块的预测误差可按照公式(8)进行计算，其中(dx，dy)表示当前块blk_cur所对应的运动向量。

blk_e(x，y)＝blk_cur(x，y)-blk_ref(x-dx，y-dy)                           (8)

在获得所有块的预测误差后，将它们组合成为预测误差帧E_i’并计算其直方图。利用头信息中的边界表中可识别出对应于原始边界像素的预测误差，这些预测误差不参与直方图计算。以图5(c)所示的嵌水印直方图为例，由头信息可知其峰值和零值对分别为(0，-3)和(1，4)，并按照公式(9)进行水印提取。在图5(c)中，由于LM和RM分别为0和1，因此可以得知所有值为0和1的预测误差都携带有水印比特0，而值为-1和2的预测误差携带的水印比特为1。

$b=\left\{\begin{array}{cccc}0,& e^{\&prime;}=\mathrm{LM}& \mathrm{or}& \mathrm{RM}\\ 1& e^{\&prime;}=\mathrm{LM}-1& \mathrm{or}& \mathrm{RM}+1\end{array}\right.---\left(9\right)$

当提取出预测误差帧中的所有水印后，则可以按照公式(10)还原原始的预测误差。利用还原后的预测误差帧E_i中的每个分块blk_e，以及参考帧F_i-1中对应位置的分块blk_ref，按照公式(11)进行运算即可获得还原后的当前帧的所有分块，将其组合便得到还原后的当前帧。

$e=\left\{\begin{array}{cccc}{e}^{\&prime;}-1& e^{\&prime;}\&Element;(\mathrm{RM},\mathrm{RZ}]& & \\ e^{\&prime;}+1& e^{\&prime;}\&Element;[\mathrm{LZ},\mathrm{LM})& & \\ e,& e^{\&prime;}=\mathrm{LM}& \mathrm{or}& \mathrm{RM}\end{array}\right.---\left(10\right)$

blk_cur(x，y)＝blk_e(x，y)+blk_ref(x-dx，y-dy)                (11)

本发明的可逆视频水印的提取过程中，使用的顺序提取过程如图8所示：

为了保证本算法的可逆性，需要按照与视频本身相同的方向进行水印提取，即先在第一帧中提取，顺序遍历，最后提取最后一帧的水印。在此过程中，水印提取端按照视频序列的帧序处理每一帧，该顺序与嵌入顺序相反。对于第一帧，提取时采用完全的帧内预测，而其它所有帧在提取时都需要采用帧间预测。当从第一帧F₁中提取出水印后，对提取出的水印信号进行解析，可获得纯水印信号及在第二帧F₂中提取水印所必需的头信息。在本过程中第一帧提取时采用的帧内预测可以采用任何一种已知的图像可逆水印算法。

总之，本发明采用逆序嵌入顺序提取的方式，嵌入的水印信息能够在提取过程中进行还原，实现了视频水印的可逆性；根据相邻帧间的内容关系使用运动估计进行预测，使预测误差直方图具有高度的集中性，实现了较大的嵌入容量；在嵌入过程中使用直方图修改使得对帧图像影响很小，嵌水印视频具有良好的视觉质量。

本发明未详细阐述的部分属于本领域公知技术。

Claims (4)

1.一种基于帧间预测误差直方图修改的可逆视频水印方法，包括水印嵌入和水印提取两大部分，其特征在于：所述水印嵌入过程采用逆序嵌入的方式，即如果视频帧是第一帧则使用帧内预测方式嵌入，如果不是，则使用帧间预测水印嵌入方式嵌入；所述帧间预测水印嵌入方式包括使用运动估计得到帧间预测误差、利用直方图修改方式嵌入水印和头信息的生成；所述水印提取过程采用顺序提取的方式，如果视频帧是第一帧则使用帧内预测方式提取水印并还原，如果不是，则采用帧间预测方式提取水印并还原；

视频水印嵌入的过程如下：

(1)按照逆序从最后一帧向前进行水印嵌入；

(2)判断是否为第一帧，如果是第一帧，则采用静态图像可逆水印方法，即帧内预测及直方图修改以嵌入水印，并结束水印嵌入操作；如果不是第一帧，则继续后面的步骤；

(3)读取当前帧F_i，读取其前一帧为F_i-1，F_i-1作为参考帧，利用块匹配运动估计算法得到预测误差和相应的运动向量并保存当前帧头信息H_i；

(4)对预测误差进行直方图修改以嵌入数据，其中嵌入数据由后一帧的头信息H_i+1和水印组成；

(5)将预测直方图所选峰值和零值对、运动向量、边界表长度和边界表四个部分组合为当前帧的头信息H_i，其中边界表长度和边界表记录了所有原始的边界像素和由于嵌入水印而产生的边界像素；

(6)重复步骤(2)至(6)直到全部水印嵌入完成；

视频水印的提取过程如下：

(1)按照顺序从第一帧向后进行水印提取；

(2)判断是否为第一帧，如果是第一帧，则采用静态图像可逆水印方法，即帧内预测与直方图修改提取水印，转至步骤(4)；

(3)如果不是第一帧，则读取当前帧F_i以及其前一帧F_i-1，结合F_i-1和前一帧F_i-1提取过程得到当前帧头信息H_i中的运动向量，得到当前帧对应的预测误差；

(4)利用H_i中记录的原始直方图峰值和零值对，使用预测误差直方图修改的方法提取水印和下一帧的头信息H_i+1，并还原当前帧；

(5)重复过程(2)至(5)直到全部水印提取完成。

2.根据权利要求1所述的基于帧间预测误差直方图修改的可逆视频水印方法，其特征在于：所述的视频第一帧所采用的静态图像可逆水印方法采用基于帧内像素预测产生预测误差，并使 用预测误差直方图修改进行嵌入。

3.根据权利要求1所述的基于帧间预测误差直方图修改的可逆视频水印方法，其特征在于：在所述的视频水印嵌入过程中，利用块匹配运动估计算法得到预测误差和运动向量的过程如下：

a.对于使用帧间预测的帧，即除第一帧以外的所有帧F_i，将其划分成大小为16×16大小的不相交块，作为目标块并记录下其行列坐标x，y；

b.对于每个目标块，在参考帧F_i-1中与其相同位置附近3个像素的范围内，寻找与其相同像素数量最多的并且大小相同的像素块作为预测块，并记录下其位置行列坐标x’，y’；

c.将目标块与预测块相减得到预测误差，将目标块的位置与预测块的位置相减得到运动向量dx和dy，其中dx＝x-x’，dy＝y-y’。

4.根据权利要求1所述的基于帧间预测误差直方图修改的可逆视频水印方法，其特征在于：在所述的视频水印嵌入过程中，利用对预测误差进行直方图修改的方法嵌入水印的过程如下：

a.在预测误差直方图中寻找两个峰值和零值对并记录，其中峰值表示拥有最大频率的预测误差值，零值表示频率为零的预测误差值；

b.判断零值点位于峰值点的左侧还是右侧，如果位于左侧，则将位于零值点和峰值点之间，不包含峰值点的所有像素值预测误差减1；如果位于右侧，则将位于零值点和峰值点之间，不包含峰值点的所有像素值预测误差加1；

c.将水印信息比特位嵌入直方图平移前的峰值点，对于右侧峰值点，如果嵌入水印的比特位为1，则将预测误差加1，否则保持预测误差值不变；对于左侧峰值点，如果嵌入水印的比特位为1，则将预测误差减1，否则保持预测误差值不变；

d.计算修改后的预测误差与像素预测值之和，获得嵌水印的像素值。 

Images