CN114900701A

CN114900701A - 一种基于深度学习的视频数字水印嵌入与提取方法及系统

Info

Publication number: CN114900701A
Application number: CN202210493547.4A
Authority: CN
Inventors: 李翔
Original assignee: Beijing Yingshu Technology Co ltd
Current assignee: Beijing Yingshu Technology Co ltd
Priority date: 2022-05-07
Filing date: 2022-05-07
Publication date: 2022-08-12

Abstract

本发明公开了一种基于深度学习的视频数字水印嵌入与提取方法及系统，采用编码器‑解码器(Encoder‑decoder)的基本框架，引入一种对抗攻击模块从物理存储的角度去模拟H264等编码攻击，能够对抗H264等编码攻击，以提高视频数字水印的鲁棒性与不可见性，并基于“投票法”设计了一种水印信息解码成功率的计算方式。实验结果表明，本发明提供的基于深度学习的视频数字水印嵌入与提取方法可以大大提高水印信息嵌入之后的不可见性与水印解码的成功率，对于实现数字水印技术的落地具有重大意义。

Description

一种基于深度学习的视频数字水印嵌入与提取方法及系统

技术领域

本发明涉及数字水印嵌入与提取技术领域，具体涉及一种基于深度学习的视频数字水印嵌入与提取方法及系统。

背景技术

数字水印是数字内容版权保护、来源追踪和认证的关键技术。数字水印的目标是将消息嵌入到另一种媒体中，例如图像、视频或3D，并且即使在复制、编辑或扭曲带水印的媒体后也能够对消息进行解码。传统的数字水印算法应用范围较窄，特定技术对某些有限的任务很有用，而水印去除和降级攻击的日益复杂意味着这些算法的有效性在不久的将来可能会受到影响。深度学习方法的优势在于可以重新训练网络以抵抗新型攻击，或强调特定目标，例如有效载荷容量或不可察觉性，而无需为每个新应用程序创建专门的算法。

与传统方法相比，基于深度学习的方法不仅更安全、更适用于不同的应用程序，而且还对对抗性攻击和扭曲提供了增强的鲁棒性，它们还能够实现更不易察觉的数据嵌入形式。另外，深度学习作为一种表示学习方法，通过其拟合和概括复杂特征的能力，使计算机视觉得到了显著改进。这也使得用于图像水印的深度学习方法可以通过动态学习算法以更加自适应的方式来执行图像水印，从而在多实例大数据中提取图像水印的高级和低级特征。

但对于大多数基于深度学习方法的数字水印技术在模拟诸如Resize、Dropout、Crop、压缩、视频编码等水印攻击时，往往只是对一些可微的噪声进行了模拟，例如Resize、Dropout等，并取得了不错的效果。然而对于JPEG压缩与视频编码这些不可微的情况是很难通过模拟噪声攻击的方式来提高数字水印的鲁棒性，尤其对于目前视频编码中最常用的H264编码方式，采用了不同于JPEG压缩的编码方式。所以，即使是通过模拟JPEG压缩噪声训练出的数字水印网络，在对抗H264编码时，其鲁棒性依然会大打折扣。

发明内容

为此，本发明提供一种基于深度学习的视频数字水印嵌入与提取方法及系统，以解决现有基于深度学习方法的数字水印技术对于JPEG压缩与视频编码这些不可微的情况数字水印的鲁棒性差的问题。

为了实现上述目的，本发明提供如下技术方案：

根据本发明实施例的第一方面，提出了一种基于深度学习的视频数字水印嵌入与提取方法，所述方法包括：

构建训练集和水印信息库，所述训练集中包含多段视频数据，所述水印信息库中包含批量水印信息码；

基于所述训练集和水印信息库对预先构建的水印编码器网络模型和水印解码器网络模型同时进行迭代训练，得到训练后的水印编码器和解码器网络；

所述水印编码器网络模型的输入为经过抽帧的所述视频的帧图像和水印信息码，输出为嵌入有水印信息码的视频图像序列帧，将得到的图像序列帧按照预设编码方式编码为包含水印信息的编码视频并存储；

所述水印解码器网络模型的输入为经过抽帧的所述编码视频的帧图像，输出为解码后的水印信息。

进一步地，所述水印编码器网络模型包括掩码模块和编码模块；

将原始的视频图像帧输入到掩码模块生成掩码信息；

然后将原始水印信息与得到的掩码信息通过卷积得到一个与输入图像大小相同的包含水印的紧凑张量矩阵；

最后将得到的张量矩阵与原始的输入图像矩阵进行连接融合，并送入编码模块，使水印信息能够嵌入到图像的每个像素中，从而生成嵌入水印的图像帧。

进一步地，所述水印解码器网络模型包括掩码模块和解码模块；

将含水印的视频图像帧输入到掩码模块生成掩码信息；

然后将包含水印的视频图像帧送入到解码模块，计算出包含水印信息的张量矩阵；

最后将得到的张量矩阵与得到的掩码信息做卷积，从而预测出水印信息。

进一步地，对预先构建的水印编码器网络模型和水印解码器网络模型进行同时迭代训练，具体包括：

采用交叉熵损失来表示原始水印与提取到水印之间的差异，定义为水印重建损失；采用L1损失来表示原始图像与嵌入水印之后图像之间的差异，定义为图像重建损失；

对水印重建损失和图像重建损失进行加权求和得到总的损失函数，使用总的损失函数对水印编码器网络模型和水印解码器网络模型进行同时迭代训练，当损失函数值不再下降时，停止训练。

进一步地，所述编码方式包括H264、MPEG编码方式。

进一步地，所述方法还包括：

对得到的水印编码器网络模型通过投票法计算水印解码的成功率。

进一步地，水印解码的成功率的获取过程具体为：

将包含水印信息的视频进行抽帧，将抽取到的n个图像帧输入到水印解码器网络模型，对应输出提取到的n个水印信息码；

将n个水印信息码逐个与原水印库中的所有水印进行对比，计算位错误率，找到水印库中与第i个水印位错误率最小的水印作为候选匹配水印，选中即为对该候选匹配水印进行了投票；

从水印库中选择得票数最高的水印码，并确定该水印码对应ID是否满足在嵌入水印时所记录的视频与原水印ID之间的对应关系，如果满足，则认为该水印即为对应的原始水印信息，水印提取成功，否则，水印提取失败；

记录m个视频中提取水印成功的视频个数m'，则

即为所有视频的水印解码成功率。

根据本发明实施例的第二方面，提出了一种基于深度学习的视频数字水印嵌入与提取系统，所述系统包括：

训练集构建模块，用于构建训练集和水印信息库，所述训练集中包含多段视频数据，所述水印信息库中包含批量水印信息码；

模型训练模块，用于基于所述训练集和水印信息库对预先构建的水印编码器网络模型和水印解码器网络模型同时进行迭代训练，得到训练后的水印编码器和解码器网络；

本发明具有如下优点：

本发明提出的一种基于深度学习的视频数字水印嵌入与提取方法及系统，采用编码器-解码器(Encoder-decoder)的基本框架，引入一种对抗攻击模块从物理存储的角度去模拟H264等编码攻击，能够对抗H264等编码攻击，以提高视频数字水印的鲁棒性与不可见性，并基于“投票法”设计了一种水印信息解码成功率的计算方式。实验结果表明，本发明提供的基于深度学习的视频数字水印嵌入与提取方法可以大大提高水印信息嵌入之后的不可见性与水印解码的成功率，对于实现数字水印技术的落地具有重大意义。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

图1为本发明实施例1提供的一种基于深度学习的视频数字水印嵌入与提取方法的流程示意图；

图2为本发明实施例1提供的一种基于深度学习的视频数字水印嵌入与提取方法中网络模型架构示意图；

图3为本发明实施例1提供的一种基于深度学习的视频数字水印嵌入与提取方法中水印编码器网络结构示意图；

图4为本发明实施例1提供的一种基于深度学习的视频数字水印嵌入与提取方法中水印解码器网络结构示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1所示，本实施例提出了一种基于深度学习的视频数字水印嵌入与提取方法，该方法包括：

S100、构建训练集和水印信息库，训练集中包含多段视频数据，水印信息库中包含批量水印信息码；

S200、基于训练集和水印信息库对预先构建的水印编码器网络模型和水印解码器网络模型进行同时迭代训练，得到训练后的水印编码器和解码器网络；

水印编码器网络模型的输入为经过抽帧的视频的帧图像和水印信息码，输出为嵌入有水印信息码的视频图像序列帧，将得到的图像序列帧按照预设编码方式编码为包含水印信息的编码视频并存储；

水印解码器网络模型的输入为经过抽帧的编码视频的帧图像，输出为解码后的水印信息。

本实施例提出的一种基于深度学习的视频数字水印嵌入与提取方法，该方法引入一种对抗攻击模块来提高视频数字水印的鲁棒性与不可见性，并基于“投票法”设计了一种水印信息解码成功率的计算方式。具体步骤如下：

1.获取视频数据的训练集和测试集，数据集中包含多段任意普通短视频数据，这里主要使用时长为10秒～10分钟的视频，也可以为长视频。

2.通过产生32位随机数的方式批量生成水印信息码，并保存至水印库中；

3.基于神经网络模型，分别设计水印编码器(Encoder)网络与水印解码器(Decoder)模网络以实现数字水印的嵌入与提取，具体步骤为：

3.1编码器网络主要包含掩码模块与编码模块，如图3所示，两种模块均通过连接多个3D卷积层设计实现；

3.2在进行水印的嵌入时，首先将原始的视频图像帧输入到掩码模块生成掩码信息Mask；

3.3然后将原始水印信息W与3.2得到的掩码信息Mask做卷积得到一个与输入图像大小相同的紧凑张量矩阵V；

3.4最后将3.3中得到的张量矩阵V与原始的输入图像矩阵进行连接融合，并送入编码模块，使水印信息能够嵌入到图像的每个像素中，从而生成嵌入水印后的图像；

3.5同样的，解码器网络主要包含掩码模块与解码模块，如图4所示，两种模块均通过连接多个3D卷积层设计实现；

3.6类似于水印嵌入的过程，在进行水印的提取时，先将含水印的视频图像帧输入到掩码模块生成掩码信息Mask'；

3.6然后将包含水印的视频图像帧送入到解码模块，计算出包含水印信息的张量矩阵V'；

3.7最后将3.6中解出的张量矩阵V'与3.5中得到的掩码信息Mask'做卷积，从而预测出水印信息W'；

4.将训练集中的每个小批量视频数据表示为D＝{x_i}_i＝1～m,将水印库中的每个小批量水印信息表示为W＝{w_i}_i＝1～m，其中m表示批量数，x_i指第i个视频，w_i指第i个水印码；

5.利用FFmpeg函数抽取每个视频的所有图像帧，用n表示每个视频的帧数，并将其与水印信息同时送入编码器网络，进行迭代训练，并记录水印ID与视频名的对应关系(每个视频的所有图像帧嵌入的是同一个水印码)；

6.将不同的水印信息嵌入到每个视频的所有图像帧中，然后输出每个视频嵌入水印之后的图像序列帧；

7.将嵌入水印后的图像序列帧送入对抗攻击模块，以对抗H264编码方式，主要包括以下步骤：

(1)利用OpenCV函数，将步骤5中输出的图像序列帧以H264编码的方式编码为视频；(Opencv为通用函数库，涵盖了各种成熟的图像处理算法，例如图像灰度图转换、边缘特征提取等，这里直接采用opencv库中将图像序列帧编码成视频的函数实现此功能，H264编码方式为该函数的可选参数，也可选择MPEG编码方式等)

(2)将编码后的含水印视频以avi的格式保存至本地磁盘的临时文件夹中；

(3)从磁盘中读回编码后的含水印视频；

8.通过FFmpeg函数抽取含水印视频的所有图像帧，共n帧，并将其输入解码器网络，进行迭代训练，然后输出解码后的水印信息；

9.采用交叉熵损失来表示原始水印w与提取到水印w'之间的差异，定义为水印重建损失，以此来优化水印信息的鲁棒性，其函数表达式为：

这里，H(w_i,w'_i)＝-∑_xp(x)log(q(x))，其中，p(x)表示原始水印信息的真实概率分布，q(x)表示解码器输出的提取水印信息的概率分布，x指输入的水印数据，在p(x)中表示原始水印，q(x)中表示提取的水印，m指先前定义过的视频小批量数；

10.采用L1损失来表示原始图像d与嵌入水印之后图像d'之间的差异,定义为图像重建损失，以此来优化水印信息的不可见性，其函数表达式为：

其中，

表示对单独的两张图像计算平均绝对方差MAE，这里，X与Y分别表示图像的两个维度，即图像的宽与高，而L_mae公式计算的多个视频中多帧图像的MAE，是个迭代计算的过程，对应的MAE(d_ij,d'_ij)指的是第i个视频的第j帧图像；m指先前定义过的视频小批量数，即每个迭代输入到网络的视频数量，n在步骤8中提过，表示每个视频包含的图像帧数量。

11.将步骤8与步骤9中的损失函数进行加权求和，即总的损失函数表示为:

L＝(1-α)L_ce+αL_mae

其中，α是用来控制两项损失之间平衡的超参数。基于此损失函数，对数字水印编码器网络与解码器网络同时进行迭代训练，如图2所示；

12.当损失函数值不再下降时，停止训练，输出视频数字水印的编码器网络模型与解码器网络模型；

13.基于步骤11中得到的编解码网络模型，通过“投票法”的方式计算水印解码的成功率，以验证数字水印的鲁棒性，其具体步骤为：

(1)将包含水印信息的视频通过FFmpeg函数抽取所有图像帧；

(2)将抽取到的n个图像帧输入到解码器网络，对应输出提取到的n个水印信息码；

(3)将n个水印信息码逐个与原水印库中的所有水印进行对比，计算位错误率，找到水印库中与第i个水印位错误率最小的水印作为候选匹配水印，选中即对该候选匹配水印进行了投1票，总共是将n票投给水印库中的所有水印码，然后记录水印库中每个水印码的得票数，这里以32位水印码为例，将位错误率计算公式定义如下：

其中，x与x'分别表示原始水印与提取到的水印，每个水印码均包含32个比特位，每个比特位上可以是0或1两种情况，则

表示原始水印与提取到水印所有32个比特位中数字对应相同的比特位数量。

投票法说明：例如水印库中有50个水印码，假设针对某个视频的100帧图像嵌入了其中1个水印，也就是将该水印重复嵌入了100次，所以在对该视频提取水印时同样会提取到100个水印，由于算法存在一定的误差性，不能保证提取到的100个水印完全相同并且是正确的，但是大部分水印肯定会和水印库中的某一个水印特别接近或相同。因此需要将提取到的100个水印逐一与水印库中的50个水印对比并计算位错误率，即每个水印都会在水印库中找到一个与其位错误率最小的水印码，然后对该水印投票，也就是将100票投给水印库中的50个水印码，对于水印库中得票(出现次数)最高的水印码即确定为原始嵌入的水印码。

(4)从水印库中选择得票数最高的水印码，并确定该水印码对应ID是否满足在嵌入水印时所记录的视频与原水印ID之间的对应关系，如果满足，则认为该水印即为对应的原始水印信息，水印提取成功，否则，水印提取失败。

(5)记录m个视频中提取水印成功的视频个数m',则

即为所有视频的水印解码成功率。

测试例：

在包含100个视频的数据集上，首先通过本实施例得到编码器网络对所有视频进行水印嵌入操作，然后以H264编码的方式存储嵌入水印后的视频，接着将这100个嵌入水印的视频输入本实施例得到解码器网络，输出提取到水印信息并计算水印解码的成功率。

实验结果表明，本实施例得到的编解码网络模型在100个视频数据集中，解码成功率可以达到100％。由此可见，本实施例得到数字水印嵌入与提取网络模型在对抗H264编码时具有较高的鲁棒性，同时在水印的不可见性方面也表现出了优越的性能。

实施例2

与上述实施例1相对应的，本实施例提出了一种基于深度学习的视频数字水印嵌入与提取系统，该系统包括：

训练集构建模块，用于构建训练集和水印信息库，训练集中包含多段视频数据，水印信息库中包含批量水印信息码；

模型训练模块，用于基于训练集和水印信息库对预先构建的水印编码器网络模型和水印解码器网络模型进行同时迭代训练，得到训练后的水印编码器和解码器网络；

本发明实施例提供的一种基于深度学习的视频数字水印嵌入与提取系统中各部件所执行的功能均已在上述实施例1中做了详细介绍，因此这里不做过多赘述。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims

1.一种基于深度学习的视频数字水印嵌入与提取方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种基于深度学习的视频数字水印嵌入与提取方法，其特征在于，所述水印编码器网络模型包括掩码模块和编码模块；

将原始的视频图像帧输入到掩码模块生成掩码信息；

3.根据权利要求1所述的一种基于深度学习的视频数字水印嵌入与提取方法，其特征在于，所述水印解码器网络模型包括掩码模块和解码模块；

将含水印的视频图像帧输入到掩码模块生成掩码信息；

4.根据权利要求1所述的一种基于深度学习的视频数字水印嵌入与提取方法，其特征在于，对预先构建的水印编码器网络模型和水印解码器网络模型进行同时迭代训练，具体包括：

5.根据权利要求1所述的一种基于深度学习的视频数字水印嵌入与提取方法，其特征在于，所述编码方式包括H264、MPEG编码方式。

6.根据权利要求1所述的一种基于深度学习的视频数字水印嵌入与提取方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的一种基于深度学习的视频数字水印嵌入与提取方法，其特征在于，水印解码的成功率的获取过程具体为：

记录m个视频中提取水印成功的视频个数m'，则

即为所有视频的水印解码成功率。

8.一种基于深度学习的视频数字水印嵌入与提取系统，其特征在于，所述系统包括：