CN102801977A - H.264中基于视频复杂度分析的鲁棒数字水印嵌入方法 - Google Patents

Abstract

本发明公开了一种H.264中基于视频复杂度分析的鲁棒数字水印嵌入方法，首先在图像复杂度分析的基础上，利用视频水印具有不同于图像水印的丰富的时间维度信息的特点，提出视频复杂度分析概念，选择具有高密度，复杂纹理、剧烈运动等特征的图像宏块作为特征宏块，由于人眼视觉系统不易察觉视频帧中这些特征区域的变化，在这些区域内嵌入水印信息，算法的透明性更高。基于视频复杂度分析，本发明提出在H.264帧内通过调整残差块分层DCT系数来嵌入水印信息，帧间通过调整“十字区域”宏块的运动矢量来完成标识信息嵌入的混合鲁棒水印算法，有效缓解视频质量与水印算法鲁棒性之间的矛盾。

Description

H.264中基于视频复杂度分析的鲁棒数字水印嵌入方法

技术领域

本发明涉及视频水印方法领域，具体为一种H.264中基于视频复杂度分析的鲁棒数字水印嵌入方法。

背景技术

国内外学者和研究机构对图像水印的研究已经趋于完善，但对视频数字水印的研究还相对滞后，尚未建立统一的评价标准，仍有待成熟。而现有的视频水印算法大部分仍然采用图像水印的技术，即在空域或变换域内加载水印，而数字视频文件除了继承数字图像文件二维的所有特征，还具有数字图像所没有的第三维的特征——时间域特征。这也就导致这类直接应用图像水印技术的视频水印算法造成极大的资源浪费，同时对时间域上的攻击（帧插入、帧删除等）毫无鲁棒性。如何利用视频区别于图像的时间特性，结合亮度、纹理、运动参数进行视频序列复杂度分析，有针对性的选择目标宏块完成鲁棒水印的嵌入，同时达到视觉质量与算法鲁棒性之间的平衡，是一个亟待解决的问题。

H.264标准基础上视频水印算法的发展还很缓慢，现有文献的数量不多，其中郑振东等人在H.264标准基础上提出了一种基于运动矢量(Motion Vector, MV)域与DCT域的混合视频水印方案。在DCT域内通过二值水印的状态调整DCT系数的零状态。在运动矢量内，将视频帧沿中线划分为左右两个区域，根据水印状态与子块的横向运动矢量的符号状态，及该子块所处的左右区域相匹配，来实现水印的嵌入与提取。

曹华等提出一种一种基于H.264低比特率视频流的半脆弱盲水印方法，通过在H.264特有的的帧内预测和运动向量预测中分别嵌入鲁棒水印和脆弱水印，达到版权保护和内容完整性认证的双重目的。

总结以往的鲁棒水印算法，不难发现，现有算法都是通过在水印算法的复杂性上做工作来提高算法鲁棒性，而忽略了对载体文件进行分析，水印在载体各部分均匀分布。而对于载体文件而言，各部分对于水印信息的包容性是不同的，也就是说，如果在不适合嵌入水印的部分强行加载水印信息，可能会导致算法灾难性的结果。原则上说，水印算法的鲁棒性与透明性之间存在着此消彼长的矛盾，其性能需要在这二者之间进行折中。要想在保证鲁棒性的基础上，达到优质的视觉效果，需要对水印嵌入的载体文件进行合适的分析，找出适宜嵌入水印的部分，再对其进行鲁棒算法的研究，在此基础上嵌入水印势才能够达到了令人满意的效果。

发明内容

本发明目的是提供一种H.264中基于视频复杂度分析的鲁棒数字水印嵌入方法，以解决现有技术鲁棒水印算法会在不适合嵌入水印的视频部分强行加载水印的问题。

为了达到上述目的，本发明所采用的技术方案为：

H.264中基于视频复杂度分析的鲁棒数字水印嵌入方法，在进行H.264编码操作的数字视频中，数字视频包含多帧图像，每帧图像在H.264编码操作时被分解成多个宏块，每个宏块再次被按4×4分解成16个子块，其特征在于：包括以下步骤：

（1）求得宏块的图像复杂度：将数字视频每帧图像中每个宏块的各个子块进行DCT变换后再进行zigzag扫描，得到每帧图像中每个宏块的各个子块的DC系数、AC系数，根据每帧图像中每个宏块的各个子块的DC系数计算得到每帧图像中每个宏块的图像复杂度；

（2）求得宏块的像素变化速率均方差：根据数字视频每帧图像中每个宏块各个子块的像素变化速率，计算得到每帧图像中每个宏块的像素变化速率均方差，所述像素变化速率指单位时间内相同位置上像素的变化量；

（3）确定特征宏块：根据经验分别设定数字视频图像复杂度和像素变化速率均方差的阈值，将如步骤（1）、（2）得到的数字视频每帧图像中每个宏块的图像复杂度、像素变化速率均方差分别与对应的阈值比较，如果其中一个宏块的图像复杂度、像素变化速率均方差中任意一个大于其对应的阈值，则认为该宏块视频复杂度高，选取该宏块为数字视频的特征宏块；

（4）帧内嵌入水印：在特征宏块中，按与斜对角线平行的多个线条将子块的DCT系数划分为7个能量子带，选出中频AC系数所在的4个能量子带用于水印的嵌入，将4个能量子带的中频AC系数分为三组，比较每组中各个子块的中频AC系数的最大值和最小值，再对三组中频AC系数的最大值取最小后记为相对最大值，同时对三组中频AC系数的最小值取最大记为相对最小值，最后通过调制特征宏块中各个子块中频AC系数的大小来改变所述相对最大值和相对最小值的大小，进而完成水印的嵌入。

（5）帧间嵌入水印：从特征宏块的16个子块中选取对角的两个子块，将选取的两个子块周围的子块分成水平和竖直方向两组，计算各子块运动矢量的模值后，得到水平和竖直方向两组子块运动矢量的模值，再分别找出每组中子块运动矢量模值的最大值与最小值，然后分别对两组运动矢量模值的最大值取最小，记为相对最大值，同时对两组两组运动矢量模值的最小值取最大记为相对最小值，相对最大值与相对最小值的差值记为比较差，相对最大值与比较差的差值记为比较最大值，比较差与相对最小值的差值记为比较最小值，通过加权视频复杂度并选取合适的阈值确定嵌入点子块，运动矢量的模值来改变比较差、比较最大值和比较最小值之间的大小，进而完成水印的嵌入。

本发明在选取的特征宏块中嵌入水印，能有效缓解视频质量与水印算法鲁棒性之间的矛盾，并且不会破坏视频的视觉效果。

附图说明

图1为中频AC系数所在的4个能量子带

图2为嵌入位置示意图，其中：

图2a为某子块与其周围4个子块的位置，图2b为宿主宏块中两种水印嵌入位置。

图3为foreman.qcif视频水印嵌入前后图像对比示意图，其中：

图3a为原始视频帧，图3b为嵌入水印后视频帧，图3c为数字水印。

图4为不同压缩比的JPEG压缩对视频水印算法的影响，其中：

图4a为压缩比为10~80时，NC值的比较，图4b为压缩比为80时提取出的水印图像。

图5为噪声密度对对视频水印算法的影响，其中：

图5a为椒盐噪声密度为0.005~0.05时，NC值的比较，图5b为椒盐噪声密度为0.05时提取出的水印图像。

图6为受攻击帧数对视频水印算法的影响，其中：

图6a为受到帧平均攻击为1~10帧时，NC值的比较，图6b为受到帧平均攻击为10帧时提取出的水印图像。

图7为子块的7个能量子带分布示意图。

图8为选定嵌入水印的子块运动矢量的调制区间示意图。

具体实施方式

(1)视频复杂度分析

设一段数字视频中包含ｆ帧图像，每一帧图像包含m×n个像素。F_i为第ｉ帧，i∈{0, f-1}。F_i在进行H.264编码操作时被分解为若干互不重叠的尺寸为16×16的宏块，MB_i,j为第i帧中的第j个宏块，

。C_i,j,k为第ｉ帧中的第j个宏块的第ｋ个像素，k∈{0, p×q-1}。每个宏块MB_i,j再按4×4细分为16个子块b_i,j,n进行DCT变换，b_i,j,n表示第ｉ帧中的第j个宏块的第n个子块。然后对变换后的子块进行zigzag扫描，这样每个子块中就产生了如图7所示的7个子带的DCT系数。

(a)图像复杂性度量

本发明定义像素宏块的图像复杂度为其背景亮度和纹理复杂度的综合考量。并对像素宏块复杂度设定一个阈值，复杂度值超出此阈值约束即表示在该宏块纹理复杂、背景亮度高，适合加载水印信息；复杂度值小于此阈值的，说明此宏块区域平缓而不适合嵌入水印信息。在解码端根据纹理复杂度的理论方法，确定水印嵌入的位置来提取水印图像。

H.264对每个宏块中16个子块进行DCT变换后的产生的DC系数集中了子块的大部分能量，且具有压缩不变性，因此，本发明通过每个宏块内部的16个DC系数来进行纹理复杂度度量。

算法用局部图像复杂度因子来度量局部图像的纹理复杂度，并将该局部图像复杂度因子与载体文件直流分量共同构造复合函数，即为图像复杂度。

$\mathrm{IC}(i,j)={\mathrm{\α}}_1{\mathrm{\σ}}_{i,j}^2+{\mathrm{\α}}_2{e}_{i,j}---\left(5\right)$

式中：α₁，α₂为比例因子，介于0和1 之间。选择局部图像复杂度比较大的像素宏块嵌入水印，设视频帧尺寸为N₁×N₂，DC_i,j,k为视频图像中的第i帧图像F_i的第j个宏块MB_i,j的第k个子块在进行DCT变换后的DC系数。

宏块MB_i,j的纹理复杂度参数为:

${\mathrm{\σ}}_{i,j}^2=\frac{1}{16}\underset{k=0}{\overset{15}{\mathrm{\Σ}}}p\left(e_{i,j}\right)\frac{|{\mathrm{DC}}_{i,j,k}-e_{i,j}|}{e_{i,j}}---\left(6\right)$

$p\left(e_{i,j}\right)={(1/e_{i,j})}^{\mathrm{\β}}---\left(7\right)$

式中: e_i,j为宏块内部的16个DC系数的平均值；p(e_i,j)为加权系数，β为加权因子，取值范围为（0.6,0.7）。图像复杂度IC(i,j)的值随α₁,α₂以及β的变化而改变，由此显示出各子块不同的图像纹理复杂度，进一步提升水印算法的安全性。

(b)运动特征度量

本发明应用视频序列帧间相关宏块的差异，简单地描述视频帧中目标的运动参数。H.264处理单元的宏块尺寸为16×16，每个宏块在细分为16个互不重叠的规格为4×4的子块，

为第i帧中第j个宏块中第k个子块的(m,n)点的像素值，

表示在时间轴t上像素变化速率，

$V_t^{i,j,k}(m,n)=\frac{C_t^{i,j,k}(m,n)-C_t^{i-1,j,k}}{t_i-t_{i-1}}---\left(8\right)$

这里，0≤m，n≤3，0≤n_j≤3，，0≤k≤15。

子块的像素中各点像素值沿时间轴变换的绝对值的最大值为

$V_{\max }^{i,j,k}=\underset{m,n}{\max }\left\{\right|V_t^{i,j,k}(m,n)\left|\right\}---\left(9\right)$

第i帧中第j个宏块的速率最大化均值为

$V_{\mathrm{average}\_\max }^{i,j}=\frac{1}{16}\underset{k=0}{\overset{15}{\mathrm{\Σ}}}{V}_{\max }^{i,j,k}---\left(10\right)$

第i帧中第j个宏块的像素变化速率均方差为

$V_{\mathrm{MSE}}^{i,j}=\sqrt{\frac{1}{16}\underset{k=0}{\overset{15}{\mathrm{\Σ}}}{(V_{\max }^{i,j,k}-V_{\mathrm{average}\_\max }^{i,j})}^2}---\left(11\right)$

宏块的运动特征可以通过运动参数

来度量。

(c)视频复杂度量

最后，本发明采用式(12)所示的加权视频复杂度VC(i,j)来判定子块是否具有运动特征：

$\mathrm{ME}(i,j)=\{\mathrm{IC}(i,j),V_{\mathrm{MSE}}^{i,j}\}---\left(12\right)$

i为帧序号，ｊ为子块序号，由多个样本训练得到的经验值作为两个阈值分别与这些能量分量相对应，即为TH_T和TH_M。如果子宏块的两个能量分量至少有一个大于其相对应的阈值，该宏块即被判定为视频复杂宏块，可以用来嵌入水印信号。

（2）帧内残差DCT系数域的水印算法

水印嵌入规则

（I）按照视频复杂度度量方法判断当前宏块是否适合嵌入水印。如果宏块的具有高度的视频复杂度，进行下一步操作。如果宏块的纹理或运动趋势较平缓，即转到下一宏块，重新从这一步判断。

（II）按照式(13)~(15)将子块内部（每个子块有16个DCT系数，其中1个为DC系数，其余15个为AC系数，选出其中12个中频AC系数用来嵌入水印信息）的中频AC系数分为如图1所示的三组Row1，Row2，Row3，

${\mathrm{Row}}_k=\left\{{\mathrm{AC}}_{i_n}\right\}---\left(13\right)$

$\underset{n=1}{\overset{4}{\mathrm{\Σ}}}{i}_n=\frac{N\×(N+1)}{2},n=\mathrm{1,2,3,4}---\left(15\right)$

N为所选AC系数的数目，这里选择AC1~AC12共12个AC系数，因此，N=12。

（III）比较得出Row1，Row2，Row3中AC系数的最大值Max_k和最小值Min_k

$\left\{\begin{array}{c}{\mathrm{Min}}_k=\min \left\{{\mathrm{Row}}_k\right\}\\ {\mathrm{Max}}_k=\max \left\{{\mathrm{Row}}_k\right\}\end{array}\right.---\left(16\right)$

（IV）按照下式得出各组系数中的相对最大值Amax和相对最小值Amin

$\left\{\begin{array}{c}A\max =\min \left\{{\mathrm{Max}}_k\right\}\\ A\min =\max \left\{{\mathrm{Min}}_k\right\}\end{array}\right.---\left(17\right)$

（V）按照下式的规则嵌入水印信息

$\left\{\begin{array}{c}A\max >A\min ,w=1\\ A\max \≤A\min ,w=0\end{array}\right.---\left(18\right)$

当水印位为1时，调整子块内部的若干个AC系数，使得Amax>Amin；而当水印位为0时，调整子块内部的若干个AC系数，使得Amax≤Amin。

水印提取规则

提取规则为嵌入规则的逆过程，具体步骤如下

（I）按照视频复杂度度量方法判断当前宏块是否嵌入了水印。如果宏块的具有高度的视频复杂度，即表示该宏块内部嵌入了水印信息。进行下一步操作提取水印信息。如果宏块的纹理或运动趋势较平缓，即表示该宏块没有隐藏水印信息，即转到下一宏块，重新从这一步判断。

（II）按照式(13)~(15)将子块内内部的中频AC系数分为如图2-5所示的三组Row1，Row2，Row3，

（III）按照式(17)得出各组系数中的相对最大值Amax和相对最小值Amin

（IV）按照式(19)的规则嵌入水印信息

$\left\{\begin{array}{c}w=1,A\max >A\min \\ w=0,A\max \≤A\min \end{array}\right.---\left(19\right)$

（3）帧间“十字交叉”运动矢量区域内的水印算法

水印嵌入规则：

（I）按照视频复杂度度量方法判断当前宏块是否适合嵌入水印。如果宏块具有高度的视频复杂度，进行下一步操作。如果宏块的纹理或运动趋势较平缓，即转到下一宏块，重新从这一步判断。

（II）对于选定的特征宏块，边缘12个子块依据宏块的中轴线分为左右两组，计算左右两组运动参数均值V_Right和V_leftt。按照式(20)选择如图2中的嵌入点位置：

$\left\{\begin{array}{c}p1\mathrm{and\; p}2\mathrm{is\; chosen},{\stackrel{\&OverBar;}{V}}_{\mathrm{right}}<{\stackrel{\&OverBar;}{V}}_{\mathrm{left}}\\ p3\mathrm{and\; p}4\mathrm{is\; chosen},{\stackrel{\&OverBar;}{V}}_{\mathrm{right}}\&GreaterEqual;{\stackrel{\&OverBar;}{V}}_{\mathrm{left}}\end{array}\right.---\left(20\right)$

（III）按照图2(a)所示选择嵌入点周围的4个子块的运动矢量，分别按式(21)计算它们以及嵌入点子块的运动适量的模值P_V,

,

,

,

。并将它们按横向和竖向分为2组

和

。

$P_V=\sqrt{{P_{V_x}}^2+{P_{V_y}}^2}---\left(21\right)$

（IV）按照下式分别求得Row_H和Row_V的最大值和最小值：

$\left\{\begin{array}{c}{\mathrm{Row}}_{H_{\max }}=\max \{P_{V_2},P_V,P_{V_4}\}\\ {\mathrm{Row}}_{H_{\min }}=\min \{P_{V_2},P_V,P_{V_4}\}\\ {\mathrm{Row}}_{V_{\max }}=\max \{P_{V_1},P_V,P_{V_3}\}\\ {\mathrm{Row}}_{V_{\min }}=\min \{P_{V_1},P_V,P_{V_3}\}\end{array}\right.---\left(22\right)$

（V）按照下式得出各组系数中的相对最大值Amax和相对最小值Amin

$\left\{\begin{array}{c}A\max =\min \{{\mathrm{Row}}_{H_{\max }},{\mathrm{Row}}_{V_{\max }}\}\\ A\min =\max \{{\mathrm{Row}}_{H_{\min }},{\mathrm{Row}}_{V_{\min }}\}\end{array}\right.---\left(23\right)$

（VI）按下式计算相对差值D、相对较大差值Dmax和相对较小差值Dmin

$\left\{\begin{array}{c}D=A\max -A\min \\ D_{\max }=A\max -P_V\\ D_{\min }=P_V-A\min \end{array}\right.---\left(24\right)$

（VII）其中，Amin<Amax，Amin到Amax之间的范围可以分成4个部分（如图8所示），按式(25)的规则嵌入水印信息。

水印提取规则：

提取规则为嵌入规则的逆过程，具体步骤如下

（I）按照视频复杂度度量方法判断当前宏块是否嵌入了水印。如果宏块的具有高度的视频复杂度，即表示该宏块内部嵌入了水印信息。进行下一步操作提取水印信息。如果宏块的纹理或运动趋势较平缓，即表示该宏块没有隐藏水印信息，即转到下一宏块，重新从这一步判断。

（II）对于选定的宿主宏块，边缘12个子块依据宏块的中轴线分为左右两组，计算左右两组运动参数均值V_Right和V_leftt。按照下式确定的嵌入点位置：

$\left\{\begin{array}{c}{\stackrel{\&OverBar;}{V}}_{\mathrm{right}}<{\stackrel{\&OverBar;}{V}}_{\mathrm{left}},p1\mathrm{and\; p}2\mathrm{is\; embedding\; position}\\ {\stackrel{\&OverBar;}{V}}_{\mathrm{right}}\&GreaterEqual;{\stackrel{\&OverBar;}{V}}_{\mathrm{left}},p3\mathrm{and\; p}4\mathrm{is\; embedding\; position}\end{array}\right.---\left(26\right)$

（III）如嵌入方法(IV)~(VI)，计算出相对差值D、相对较大差值Dmax和相对较小差值Dmin

（IV）按下式的规则提出水印信息。

$\left\{\begin{array}{c}w=1,D\min <D\max \\ w=0,D\min \&GreaterEqual;D\max \end{array}\right.---\left(27\right)$

Claims (1)

1.H.264中基于视频复杂度分析的鲁棒数字水印嵌入方法，在进行H.264编码操作的数字视频中，数字视频包含多帧图像，每帧图像在H.264编码操作时被分解成多个宏块，每个宏块再次被按4×4分解成16个子块，其特征在于：包括以下步骤：

（1）求得宏块的图像复杂度：将数字视频每帧图像中每个宏块的各个子块进行DCT变换后再进行zigzag扫描，得到每帧图像中每个宏块的各个子块的DC系数、AC系数，根据每帧图像中每个宏块的各个子块的DC系数计算得到每帧图像中每个宏块的图像复杂度；

（2）求得宏块的像素变化速率均方差：根据数字视频每帧图像中每个宏块各个子块的像素变化速率，计算得到每帧图像中每个宏块的像素变化速率均方差，所述像素变化速率指单位时间内相同位置上像素的变化量；

（3）确定特征宏块：根据经验分别设定数字视频图像复杂度和像素变化速率均方差的阈值，将如步骤（1）、（2）得到的数字视频每帧图像中每个宏块的图像复杂度、像素变化速率均方差分别与对应的阈值比较，如果其中一个宏块的图像复杂度、像素变化速率均方差中任意一个大于其对应的阈值，则认为该宏块视频复杂度高，选取该宏块为数字视频的特征宏块； 

（4）帧内嵌入水印：在特征宏块中，按与斜对角线平行的多个线条将子块的DCT系数划分为7个能量子带，选出中频AC系数所在的4个能量子带用于水印的嵌入，将4个能量子带的中频AC系数分为三组，比较每组中各个子块的中频AC系数的最大值和最小值，再对三组中频AC系数的最大值取最小后记为相对最大值，同时对三组中频AC系数的最小值取最大记为相对最小值，最后通过调制特征宏块中各个子块中频AC系数的大小来改变所述相对最大值和相对最小值的大小，进而完成水印的嵌入；

（5）帧间嵌入水印：从特征宏块的16个子块中选取对角的两个子块，将选取的两个子块周围的子块分成水平和竖直方向两组，计算各子块运动矢量的模值后，得到水平和竖直方向两组子块运动矢量的模值，再分别找出每组中子块运动矢量模值的最大值与最小值，然后分别对两组运动矢量模值的最大值取最小，记为相对最大值，同时对两组运动矢量模值的最小值取最大记为相对最小值，相对最大值与相对最小值的差值记为比较差，相对最大值与比较差的差值记为比较最大值，比较差与相对最小值的差值记为比较最小值，通过加权视频复杂度并选取合适的阈值确定嵌入点子块运动矢量的模值来改变比较差、比较最大值和比较最小值之间的大小，进而完成水印的嵌入。

Images