CN111787422A

CN111787422A - 一种基于时间因子矩阵的视频水印方法

Info

Publication number: CN111787422A
Application number: CN202010680610.6A
Authority: CN
Inventors: 张善卿; 李辉; 李黎; 陆剑锋; 郭小云
Original assignee: Shaoxing Conglomerate Data Technology Co ltd; Hangzhou Dianzi University
Current assignee: Shaoxing Conglomerate Data Technology Co ltd; Hangzhou Dianzi University
Priority date: 2020-07-15
Filing date: 2020-07-15
Publication date: 2020-10-16
Anticipated expiration: 2040-07-15
Also published as: CN111787422B

Abstract

本发明提出了一种基于时间因子矩阵的视频水印方法。目前大多数基于张量的视频水印算法都是将水印信息嵌入在核心张量中。算法通过对视频张量进行Tucker分解获得核心张量和三个因子矩阵。算法将蕴含时间轴信息的因子矩阵称为时间因子矩阵，时间因子矩阵第一列的值表示的是视频张量各个帧的主要相关系数。由于对视频进行几何形变或裁剪攻击时，视频相邻帧之间的相关系数并不会发生明显的变化。因此，算法通过修改时间因子来嵌入水印信息。实验结果表明，本算法相较于其余基于张量的视频水印算法，对于裁剪、缩放、旋转等攻击都具有更强的鲁棒性，以及对帧删除、视频压缩等视频特有的攻击也同样具有较强的抵抗能力。

Description

一种基于时间因子矩阵的视频水印方法

技术领域

本发明研究的是视频水印这一领域，提出了一种基于时间因子矩阵的视频水印算法。

背景技术

在过去短短的数十年间，视频水印技术已经成为一项最为有效的保护视频所有权的方法。由于视频可以看作一系列连续的图像，因此视频水印算法与图像水印算法具有一定程度上的相似性。一个好的视频水印算法必须同时兼顾算法的透明性与鲁棒性。实际上，由于视频在获取和传输的过程中经常会受到各式各样的攻击或篡改，这就要求视频水印算法在保证透明性的情况下，尽可能地提高算法对于常见视频攻击的鲁棒性。

除了缩放、旋转、裁剪、加噪、滤波等常见的图像攻击外，视频往往会面临更多形式的攻击，例如帧删除、帧率改变、以及视频压缩等[3]。为了提高算法对于视频特有攻击的鲁棒性，这就需要利用视频不同于图像的特性，即视频相邻帧之间的相关性和冗余性。因此近年来，越来越多的学者将张量应用于数字水印领域，提出了大量的基于高阶奇异值分解的水印算法[4-6]。由于张量可以直观表示视频的结构特征，与传统的水印算法相比，基于张量的视频水印算法可以更好利用视频相邻帧之间的相关性和冗余性，从而进一步提高算法的鲁棒性。

目前大多数基于张量的水印算法都是利用核心张量的稳定性，直接将水印信息嵌入在核心张量中来提高水印算法的鲁棒性。在文献[7]中，Zhang等人将灰度视频表示为三阶张量，对视频张量进行张量分解得到核心张量后，通过对核心张量最大值的量化来嵌入水印。文中利用视频相邻帧之间的相关性和冗余性将视频封装为张量，从而提高了算法的鲁棒性。但是算法的透明性却是以算法的容量为代价的，由于一个张量中只嵌了一位水印信息，所以往往需要数千帧视频才能嵌入一个完整的水印。Xu等人在文献[8]中为了充分利用RGB通道之间的相关性，将彩色图像表示为一个张量，同样通过对核心张量进行奇偶量化来嵌入水印，使算法更具鲁棒性。然而，这两个算法对于裁剪攻击的鲁棒性仍有待提高。

发明内容

为了提高算法对帧删除、视频压缩等特有视频攻击的鲁棒性，以及进一步提高算法对常见视频攻击的鲁棒性。首先将视频根据场景分隔成多段，其次将同场景下的四帧灰度视频片段表示为三阶张量，并使用张量分解获得蕴含时间轴信息的时间因子矩阵。最后，通过修改时间因子矩阵的第一列值来嵌入水印。

本发明的技术方案步骤如下：

一种基于时间因子矩阵的视频水印方法，其具体步骤如下：

S1：对大小m×m的待嵌入二值水印B进行t次Arnold置乱，得到置乱后的水印图像为B′，并保存t作为密钥用作水印提取过程；

S2：将目标视频根据场景相似性分割成多段，每段场景中的所有视频帧属于同一场景,从每段场景中提取4张连续的灰度视频帧构成三阶视频张量；

S3：对S2中每段场景下的视频张量

进行Tucker分解，获得核心张量以及三个因子矩阵核心张量

以及三个因子矩阵

和

其中：

为4×4的时间因子矩阵W_i，其中的行信息表示视频张量不同帧之间的相关性；

S4：计算每个场景下的视频张量对应的时间因子矩阵W_i是否满足|p-q|≤T，若满足则保留该场景作为水印嵌入场景，若不满足则将该场景不作为水印嵌入场景；其中p为W_i的第一列中第一行和第二行两个元素值之和，q为W_i的第一列中第三行和第四行两个元素值之和，T为预设的阈值；顺次提取m²个水印嵌入场景，构成嵌入场景集合；

S5：将置乱后的水印图像B′中的m²位水印信息对应嵌入所述嵌入场景集合的m²个水印嵌入场景中，其中第i位水印信息b′通过修改第i个场景对应的时间因子矩阵W_i的第一列的值来实现水印嵌入，1≤i≤m²，嵌入过程如S51～S52：

S51：根据下式计算预设中间量p′、q′的大小：

若b_i′＝0且p-q<T,则

若b_i′＝1且p-q>-T,则

其中：avg＝(p+q)/2；

S52：计算p和q的改变量分别为Δp＝p'-p和Δq＝q'-q，然后对时间因子矩阵W_i第一列的四个元素值进行修改，使第一行和第二行两个元素值的改变量之和为Δp但两个元素值的改变量绝对值之和最小，第三行和第四行两个元素值的改变量之和为Δq但两个元素值的改变量绝对值之和最小，由此得到修改后的时间因子矩阵W_i′；

S6：利用修改后的时间因子矩阵W_i′重构出嵌入水印后的视频张量

生成水印视频：

作为优选，还包括从嵌入水印后的视频中提取原始水印B的方法，提取过程如下：

S7：将所述的水印视频根据场景相似性分割成多段，每段场景中的所有视频帧属于同一场景,从每段场景中提取4张连续的灰度视频帧构成三阶视频张量

S8：将S7中每段场景下的水印视频张量

沿时间轴方向展开成矩阵

并对矩阵

进行奇异值分解，得到的左奇异矩阵

即为嵌入水印信息的时间因子矩阵W_i′；

S9：计算每个场景下的视频张量对应的时间因子矩阵W_i是否满足|p′-q′|≤T，若满足则保留该场景作为水印提取场景，若不满足则将该场景不作为水印提取场景；其中p'为W_i′的第一列中第一行和第二行两个元素值之和，q'为W_i′的第一列中第三行和第四行两个元素值之和，T为预设的阈值；顺次提取m²个水印提取场景，构成提取场景集合；

S10：对于m²个水印提取场景对应的每个时间因子矩阵W_i′，1≤i≤m²，根据W_i′对应的p′和q′的大小来提取水印图像B′中第i位水印信息b_i′：

S11：根据密钥t，对水印图像B′进行t次Arnold逆变换反置乱，还原得到原始水印B。

在上述两种技术方案基础上，本发明的各步骤还可以进一步采用如下优选方式实现。

进一步的，所述S1中，Arnold置乱方法为：

其中(x,y)为原始水印像素的坐标，(x′,′)为(x,y)经Arnold变换后的坐标，m为水印图像的高或宽，a、b、m均为正整数。

进一步的，置乱次数t＝8，a、b均取值为1。

进一步的，所述S2中，对目标视频进行场景相似性分割的方法为：

S21：计算视频中任意两帧相邻帧之间的相似度：

式中，X、Y分别表示视频相邻的前后两帧；X(i,j)、Y(i,j)分别表示视频帧图像X、Y中(i,j)位置的像素值；

分别表示视频帧图像X、Y中所有像素的均值，M、N分别为视频帧图像的高和宽；

S22：根据预设的相似度阈值ST，当r ≥ST时，认为相邻视频帧属于同一个场景，否则认为相邻视频帧属于不同场景。

进一步的，优选设置ST＝0.8。

进一步的，预设的阈值优选设置为T＝0.01。

进一步的，所述S52中，时间因子矩阵W_i第一列中第一行、第二行、第三行、第四行元素值的改变量分别为Δp₁、Δp₂、Δq₁、Δq₂，其确定公式如下：

进一步的，所述S11中，Arnold逆变换反置乱方法为：

相对于现有技术而言，本发明的有益效果如下：

本发明在考虑视频相邻帧之间的相关性和冗余性基础上，将同场景下的四帧灰度视频片段表示为三阶张量，提出了一种基于时间因子矩阵的视频水印算法。本发明通过对视频张量进行Tucker分解获得核心张量和三个因子矩阵，三个因子矩阵分别表示视频帧的行信息，列信息以及时间轴方向的信息。算法将蕴含时间轴信息的因子矩阵称为时间因子矩阵，时间因子矩阵第一列的值表示的是视频张量各个帧的主要相关系数。由于对视频进行几何形变或裁剪攻击时，视频相邻帧之间的相关系数并不会发生明显的变化，因此本发明通过修改时间因子矩阵第一列的各个值来嵌入水印信息。实验结果表明，本算法相较于其余基于张量的视频水印算法，对于裁剪、缩放、旋转等攻击都具有更强的鲁棒性，以及对帧删除、视频压缩等视频特有的攻击也同样具有较强的抵抗能力。

附图说明

图1为本发明的算法流程图。

图2为算法示例图。

图3为水印置乱后图像比较。

图4为阈值T与水印NC的关系。

图5为阈值T与视频平均PSNR的关系。

图6为水印视频示例。

图7为帧删除攻击结果图。

图8为缩放比例与水印NC值的关系。

图9为几何形变以及裁剪攻击后的时间因子矩阵

图10为旋转攻击结果表。

图11为裁剪攻击结果表。

图12为压缩攻击结果表

图13为不同攻击的结果展示

具体实施方式

下面结合附图，对本发明的具体实施方案作进一步详细描述。

张量本质上是一种多维数据的表现形式，数据的维度被称为张量的阶。例如向量和矩阵分别可以看作是一阶张量和二阶张量，通常情况下高阶张量指的是三阶及三阶以上的张量。高阶张量在结构上便于直观表示高维数据的特征信息，如将灰度视频表示为三阶张量可以最大程度地保留原始视频的结构特征，进而充分利用视频相邻帧之间的相关性和冗余性。但随着数据的维度越高，数据处理带来的计算量往往也越大。

本发明给定一段分辨率为M×N的视频V，设水印B的大小为m×m，目标是将水印嵌入该视频中并能够重新提取。本发明的方法在考虑视频相邻帧之间的相关性和冗余性基础上，将同场景下的四帧灰度视频片段表示为三阶张量，则视频张量A_i(1≤i≤m²)的大小为M×N×4。其具体步骤描述如图1所示。

为了充分利用视频相邻帧之间的相关性和冗余性，本文从视频张量中提取表征时间轴信息的时间因子矩阵，图1中表示从480×640×4大小的视频张量中提取出的时间因子矩阵，其大小为4×4。本发明通过对数千个480×640×4大小的视频张量进行实验分析，发现4×4大小的时间因子矩阵第一列值之间具有强相似性。从实验视频中随机抽取出若干个时间因子矩阵，将每个时间因子矩阵第一列的第i个元素组成新的矩阵W_i,1(1≤i≤4)，任意两个新矩阵之间的归一化相关系数如表1所示。从中可以看出表中的值大多都接近1，这就意味着对于4×4大小的时间因子矩阵，其第一列的任意两个值之间都具有强相似性，其中(W_1,1,W_2,1)和(W_3,1,W_4,1)的归一化相；关系数更是几乎达到了1。

表1.时间因子矩阵第一列值的相似性

因此，利用这一特性可以在实现水印在时间因子矩阵中的嵌入的同时，保证了算法的透明性。

下面对本发明提出的基于时间因子矩阵的视频水印方法的具体步骤进行详细描述，过程如下：

S1：为了消除二进制水印像素之间的空间相关性，对大小m×m的待嵌入二值水印B进行t次Arnold置乱，得到置乱后的水印图像为B′，并保存t作为密钥用作水印提取过程。

Arnold置乱方法为：

其中(x,y)为原始水印像素的坐标，(x′,′)为(x,y)经Arnold变换后的坐标，m为水印图像的高或宽，a、b、m均为正整数。置乱次数可根据需要进行调整，在本实施例中，置乱次数t＝8，a、b均取值为1。

S2：为了充分利用视频相邻帧之间的相关性和冗余性，本发明将同个场景下的一段灰度视频片段表示为三阶张量，并从视频张量中提取出蕴含时间轴信息的时间因子矩阵。由于时间因子矩阵第一列的值表示的是视频张量各个帧的主要相关系数，并且在视频受到几何形变或裁剪攻击时，视频相邻帧之间的相关系数并不会发生明显的变化。其具体做法为：

将目标视频根据场景相似性分割成多段，每段场景中的所有视频帧属于同一场景，从每段场景中提取4张连续的灰度视频帧构成三阶视频张量。其中，对目标视频进行场景相似性分割的方法为：

S21：计算视频中任意两帧相邻帧之间的相似度：

S22：根据预设的相似度阈值ST，当r≥ST时，认为相邻视频帧属于同一个场景，否则认为相邻视频帧属于不同场景。

本实施例中，优选设置ST＝0.8。

S3：对S2中每段场景下的视频张量

进行Tucker分解，获得核心张量以及三个因子矩阵核心张量

以及三个因子矩阵

和

其中：

S4：计算每个场景下的视频张量对应的时间因子矩阵W_i是否满足|p-q|≤T，若满足则保留该场景作为水印嵌入场景，若不满足则将该场景不作为水印嵌入场景；其中p为W_i的第一列中第一行和第二行两个元素值之和，q为W_i的第一列中第三行和第四行两个元素值之和，T为预设的阈值。T的取值对最终的嵌入效果有影响，后续将通过具体数据进行展示。

当计算完每个场景后，即可顺次提取m²个水印嵌入场景，构成嵌入场景集合，用于进行后续的水印嵌入。

S5：将置乱后的水印图像B′中的m²位水印信息对应嵌入S4中得到的嵌入场景集合的m²个水印嵌入场景中，其中第i位水印信息b′通过修改第i个场景对应的时间因子矩阵W_i的第一列的值来实现水印嵌入，1≤i≤m²，嵌入过程如S51～S52：

S51：根据下式计算预设中间量p′、q′的大小：

若b_i′＝0且p-q<T,则

若b_i′＝1且p-q>-T,则

其中：avg＝(p+q)/2；

S52：计算p和q的改变量分别为Δp＝p'-p和Δq＝q'-q，然后对时间因子矩阵W_i第一列的四个元素值进行修改，使第一行和第二行两个元素值的改变量之和为Δp但两个元素值的改变量绝对值之和最小，第三行和第四行两个元素值的改变量之和为Δq但两个元素值的改变量绝对值之和最小，由此得到修改后的时间因子矩阵W_i′。

假定时间因子矩阵W_i第一列中第一行、第二行、第三行、第四行元素值的改变量分别为Δp₁、Δp₂、Δq₁、Δq₂，则通过求解如下优化问题可确定时间因子矩阵第一列中各个值的具体改变量：

该步骤是为了降低水印的嵌入对视频质量造成的影响，将p、q的改变量分配到时间因子矩阵第一列的各个值上，并使每个值的变化幅度最小化。

生成水印视频：

经过上述S1～S6步骤，即可将水印图像嵌入视频中。在实际应用过程中，还需要进行水印提取，水印的提取是其嵌入的逆过程。从嵌入水印后的视频中提取原始水印B的方法，提取过程如下：

S7：将水印视频根据场景相似性分割成多段，每段场景中的所有视频帧属于同一场景，从每段场景中提取4张连续的灰度视频帧构成三阶视频张量

该步骤中，对目标视频进行场景相似性分割的方法如S21和S22所示。

S8：将S7中每段场景下的水印视频张量

沿时间轴方向展开成矩阵

并对矩阵

进行奇异值分解，得到的左奇异矩阵

即为嵌入水印信息的时间因子矩阵W_i′：

其中，

分别为左奇异矩阵和右奇异矩阵，

为奇异值。

S9：计算每个场景下的视频张量对应的时间因子矩阵W_i是否满足|p′-q′|≤T，若满足则保留该场景作为水印提取场景，若不满足则将该场景不作为水印提取场景；其中p'为W_i′的第一列中第一行和第二行两个元素值之和，q'为W_i′的第一列中第三行和第四行两个元素值之和，T为预设的阈值。当所有场景均计算完毕后，顺次提取m²个水印提取场景，构成提取场景集合。

这些提取的m²个水印提取场景中，含有嵌入的水印信息，因为虽然在S5步骤中时间因子矩阵W_i的第一列被修改了，但是其采用的修改规则保证了原本|p-q|>T的时间因子矩阵依然是|p-q|>T的。因此，提取的m²个水印提取场景依然是原本用于嵌入水印的m²个水印提取场景。

对于m²个时间因子矩阵W_i′中提取到的m²位水印信息b_i′，按照视频顺序顺次拼接，得到水印图像B′。

其中，Arnold逆变换反置乱方法为：

由此，完成本发明的视频水印的提取过程。

为了验证本发明所提出的视频水印算法的性能，采用以下指标来衡量算法的鲁棒性和不可感知性：

水印的不可感知性的客观评价采用峰值信噪比(Peak Signal to Noise Ration，PSNR)和平均误差均值(Mean Square Error，MSE)。MSE的计算公式：

式中M和N分别为单帧图像的高和宽，I和I′分别为原始视频帧和水印视频帧。MSE的值越小，说明单帧水印图像的质量与原始图像的差距越小。利用MSE值能方便计算出PSNR值，如下公式所示：

对嵌入水印后的视频帧与原始视频帧计算得到的PSNR值越小说明单帧图像在嵌水印后的失真度越大。另外，本发明采用比特错误率(BER)和归一化相关系数(NC)对水印的鲁棒性进行评价，公式如下：

式中m为水印的大小，B和B′分别为原始水印和提取的水印。NC值越大，说明水印算法的鲁棒性越强。

测试视频的大小为480×640，水印大小为16×16。图2为使用本发明提出的水印算法的示例，图3为原始水印图和置乱后水印图像的对比。

图4为阈值T与水印NC的关系图，图5为阈值T与视频平均PSNR的关系。在算法不被攻击的情况下，阈值T分别与水印的NC值，视频的平均PSNR值的关系。从中可以看出水印的NC值随着阈值T的增大而增大，视频的平均PSNR值则随着阈值T的增大而减小。当T≥0.008时，提取的水印的NC值为1，且视频的平均PSNR值也整体在40dB以上。在同时考虑算法的鲁棒性和透明性的情况下，本发明优选取T＝0.01。图6为水印视频示例的截图和平均PSNR，其列举了使用本发明水印算法的一些示例。显然，原始视频和水印视频之间的差异对观察者而言并不明显。

本发明还通过实验来验证本发明算法对于常见视频攻击的鲁棒性。图7为帧删除攻击结果图，展示了对于每个大小为480×640×4的张量，分别删除其中的25％至50％帧后所提取的水印图像及其NC值。从中可以看出，即使删除50％的视频帧，所提取的水印的NC值依然很高。

图8为缩放比例与水印NC值的关系，从中可以看出使用本算法时，不管是对水印视频进行放大还是缩小，所提取的水印的NC值都为1。这是由于在对水印视频进行缩放攻击时，视频相邻帧之间的相关系数只发生非常微小的变化，即视频的缩放攻击操作对视频张量的时间因子矩阵造成的影响微乎其微。本发明的效果明显优于对比算法，对比算法具体参见CN201910375565.0。

图9为几何形变以及裁剪攻击后的时间因子矩阵，给出了同一段视频分别受到缩放、旋转和裁剪攻击后所提取的时间因子矩阵，其第一列的值与该视频在没有受到任何攻击的情况下所提取的时间因子矩阵第一列的值几乎一致。

图10为旋转攻击结果表，图11为裁剪攻击结果表，结果表明随着水印视频裁剪比例的不同，视频相邻帧之间的相关系数也会发生相应的变化，因此在不同的裁剪比例下所提取的水印的NC值也不尽相同，但是不管对水印视频裁剪10％，30％甚至是50％，本算法都能较为完整地提取出水印图像。

图12为压缩攻击结果表，本实验采用H.264压缩标准对水印视频进行压缩，结果表明，本算法对于压缩攻击具有较强的鲁棒性，即使压缩比为20％时也能较为完整地提取出水印图像。

图13为不同攻击下的水印提取结果展示，表明不管是对水印视频进行噪声攻击还是滤波攻击，本算法都能完全正确地提取出水印图像。从上述的实验结果可以看出，本章算法对于常见的视频攻击都具有较强的鲁棒性。

以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。