CN110727928B - 一种基于深度强化学习优化的3d视频版权综合保护方法 - Google Patents

Abstract

本发明公开了一种基于深度强化学习优化的3D视频版权综合保护方法，具体包括以下步骤：在一般强化学习框架基础上建立用于2D图像版权保护的WMNET学习框架；训练WMNET框架；深度图版权注册；深度图版权识别；合成含版权信息的3D视频。该方法针对2D图像设计了一个自适应域，不需要针对每种攻击的详细算法或专家知识来对抗它们，并能自由地控制水印的不可见性；该方法对于深度图保护不再对原图像数据修改，有效降低了嵌入水印后合成的3D视频失真度；该方法不仅有效的平衡了视频水印不可见性和鲁棒性之间的矛盾，性能上也优于现有基于QDFT和DCT域最新水印方法，而且能在3D视频的2D图像帧和深度图源自不同版权所有人时分别保护两者的版权。

Description

一种基于深度强化学习优化的3D视频版权综合保护方法

技术领域

本发明涉及深度学习、强化学习，信息安全，图像识别领域，特别涉及一种基于深度强化学习优化的3D视频版权综合保护方法。

背景技术

数字水印技术作为知识产权保护和版权防伪的有效手段，近些年来已经引起了国内外研究者的高度重视，研究能应对不同强度不同种类图形处理攻击仍然具有很高稳健性的水印嵌入与提取算法是广大学者的目标。但是现有的技术依然具有不少痛点：主要包括抗几何攻击能力不足、无法同时应对所有类型攻击，只在某些类型攻击下保持稳健性、难以平衡水印不可见性和鲁棒性之间的矛盾等。

以电影《阿凡达》为代表的立体电影的成功预示着3D视频技术大众化应用的广阔前景，VR技术和VR设备迅猛发展也体现了人类对视觉体验的追求提高，然而电脑和移动终端设备普遍化程度越来越高，促使3D视频的数量呈爆炸式的增长，3D视频的产生、传播、存储的自由度也越来越高。对3D视频的版权保护对数字水印技术提出了新的挑战：应该区分3D视频与普通2D视频和一般图片在技术处理上的不同，数字水印技术融入3D视频版权保护还要考虑所合成3D视频失真度的影响，同时还要兼顾水印的鲁棒性。

针对上述的问题很多文献都给出了相应的解决方案。这些方案在一定程度上有效保护了图像，视频的版权，然而忽略了嵌入水印对图像、所合成3D视频失真的影响；或者完美避免了失真问题的零水印方案这类，却仍然需要针对每种攻击的详细算法或专家知识来对抗它们，再通过重复攻击实验和调整参数来获得稳健性，实际上仍然只是缓解了不可兼顾所有类型攻击的难点而已，无法根治。

因此考虑到上述两个问题，本发明提出了一种基于深度强化学习优化的3D视频版权综合保护方法，首次将深度强化学习用于优化2D图像水印域与深度图采用零水印嵌入方案两者结合起来，分别独立地保护2D视频帧和深度图的版权。

发明内容

为克服相关技术中存在的问题，本发明提供一种基于深度强化学习优化的3D视频版权综合保护方法。

本发明的目的是提供一种能有效降低所合成3D视频失真度到肉眼无法发觉、能应对所有类型图像攻击保持版权信息的稳健性的3D视频版权保护方法。

本发明采用的技术方案为一种基于深度强化学习优化的3D视频版权综合保护方法，包括如下步骤：

步骤1：在一般强化学习框架基础上建立用于2D图像版权保护的WMNET学习框架；

步骤2：训练WMNET框架；

步骤3：深度图版权注册；

步骤4：深度图版权识别；

步骤5：合成含版权信息的3D视频；

其中，所建立的用于2D图像版权保护的WMNET框架应当在训练后成为作为优化的水印嵌入器(Embedder)和探测器(Detector)；

其中，训练WMNET框架，包括以下步骤：

水印嵌入；

攻击模拟；

权重更新；

其中，水印嵌入包括以下步骤：

接受大小M×N的图像并生成带水印的图像(本实施例以下所有M×N皆特指320×180)；

使用探测器网络逐渐改变像素；

重复此图像修改，直到探测器正确检测到图像中的版权水印消息；

其中，接受大小M×N的图像并生成带水印的图像使用改进的自动编码器嵌入方法；

其中，攻击模拟包括以下步骤：

水印图像被上采样到M×N大小；

应用于封面图像相同的类型和参数进行攻击训练；

将水印图像下采样为原始大小；

此阶段接受带水印的图像和消息图像以产生受攻击的图像，消息映像受到攻击后，它将在更新阶段用作标签，模拟攻击集可以包括任何类型的攻击，对于每个图像和消息，攻击图像的创建次数与攻击次数一样多；

其中，权重更新包括以下步骤：

调整受攻击图像大小回到M×N尺寸；

每个失真块B′的消息位m′由其坐标决定，如果消息图像块的均值大于0.5，设置消息位m′为1，否则将其设置为0；

从输入B′中预测m′，包括以下公式：

当更新通过重复上式等式完成时，探测器就能成功地从输入B′中预测m′，式中，W^t是迭代t的权重，η是学习率，损失函数L与嵌入阶段的损失函数L相同，一个低的损失表明即使在攻击下，CNN也可以更准确地提取消息比特。换句话说，可以确保抵御各种攻击的鲁棒性；

其中，深度图版权注册包括以下步骤：

批量标准化处理；

获取时域信息代表图像(TIRI)；

基于内容特征的提取；

基于水印特征的提取；

生成主份额和所有权份额；

其中，获取时域信息代表图像(TIRI)，公式如下：

w_k＝a^k (3)

式中，F_k是第k个视频帧，w_k是与第k个视频帧相关联的权重，l视频序列的长度，a取值0,1之间，当a近0时，生成的TIRI将包含更多空间信息和较少的时间信息，当a接近1时，生成的TIRI将包含更多时间信息和少量空间信息，此处a选择1；

其中，基于内容特征的提取，包括以下步骤：

标准化深度图的尺寸，即w×h×s→320×180×30，式中，w为图片宽度，h为高度，s为帧数，表示为F_normdepth；

均化F_normdepth以生成其TIRI图像，公式如下：

执行2D离散余弦变化，得到DCT_depth；

从DCT_depth的低频分量中选择系数Coeff_depth，公式如下：

Coeff_depth(i-1,j-1)＝DCT_depth(i,j) (5)

式中，2≤i≤9,2≤j≤9。DCT_depth的DC系数被排除在增强所提取特征的可区分性之外；

二进制系数Coeff_depth及它的中位数值以分别确保基于内容的特征f_depth的最大可区分度，公式如下：

f_depth(i,j)＝0,if Coeff_depth(i,j)≤t_depth (6)

f_depth(i,j)＝1,if Coeff_depth(i,j)＞t_depth (7)

式中，其中1≤i≤8,1≤j≤8，t_depth是Coeff_depth的中值；

其中，基于水印特征的提取包括以下步骤：

在水印图像上执行2D-DCT来提取基于水印的特征W_depth用作所有权的版权信息；

在没有DC系数的情况下对低频分量进行二值化，在2D-DCT域中，参考上步骤：基于内容特征的提取；

其中，生成主份额和所有权份额，包括以下步骤：

设置深度图的主要份额的大小，表示为M_depth，为16×16，将M_depth分成64个非重叠的2×2块，表示为m_depth(i,j)，产生主份额公式如下：

式中，1≤i≤8，1≤j≤8；

设置深度图的所有权份额的大小，表示为O_depth，为16×16，将O_depth分成64个非重叠的2×2块，表示为o_depth(i,j)，产生所有权份额公式如下：

式中，1≤i≤8，1≤j≤8；

将生成的O_depth存储在相关的版权识别数据库中；

其中，深度图版权识别包括以下步骤：

基于内容的特征提取；

恢复版权信息；

识别版权所有权；

其中，基于内容的特征提取，包括以下步骤：

标准化所查询的3D视频的深度图的尺寸，选择其亮度分量；

平均归一化深度图的亮度分量以生成它的TIRI；

提取查询的基于内容的特征f′_depth；

其中，恢复版权信息，包括以下步骤：

从f′_depth中生成查询的主份额M′_depth；

堆栈查询的主份额和其相关的所有权份额来获取中间版权信息矩阵S_depth，插入表图7；

将S_depth分成64个非重叠的2×2块，表示为

其中1≤i≤8，1≤j≤8；

恢复深度图基于版权的特征W′_depth，公式如下：

式中，1≤i≤8，1≤j≤8，1≤x≤2，1≤y≤2；

其中，识别版权所有权，包括以下步骤：

计算原始基于水印的特征与恢复的基于水印的特征之间的归一化相关系数(NC)，公式如下：

式中，1≤i≤8，1≤j≤8，一旦计算的NC_depth大于经验上预定义的阈值T，那么该深度图就会被认定为非法副本，其版权所有权会根据它原始的基于水印的特征确认；

本发明公开了一种基于深度强化学习优化的3D视频版权综合保护方法，该方法针对2D图像设计了一个自适应域，不需要针对每种攻击的详细算法或专家知识来对抗它们，不用再通过重复攻击实验和调整参数来获得稳健性，并能自由地控制水印的不可见性；该方法对于深度图保护不再对原图像数据修改有效降低了嵌入水印后合成的3D视频失真度；该方法不仅有效的平衡了视频水印不可见性和鲁棒性之间的矛盾，性能上优于现有基于QDFT和DCT域最新水印方法，而且能在3D视频的2D图像帧和深度图源自不同版权所有人时分开独立地保护两者的版权。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1示出了根据本发明的总原理流程图；

图2示出了根据本发明实施例的WMNET框架图；

图3示出了根据本发明实施例的使用自动编码器进行水印嵌入与提取过程流程图；

图4示出了根据本发明实施例的自动编码器的工作原理图；

图5示出了根据本发明实施例的深度图版权注册流程图；

图6示出了根据本发明实施例的深度图版权识别流程图；

图7示出了根据本发明实施例的深度图主份额和所有权份额生成算法VSS；

具体实施方式

下面结合附图对本发明进行详细描述，本部分的描述仅是示范性和解释性，不应对本发明的保护范围有任何的限制作用。此外，本领域技术人员根据本文件的描述，可以对本文件中实施例中以及不同实施例中的特征进行相应组合。

图2、图3、图4示出了根据本发明实施例的WMNET框架图流程图及其具体实现原理流程，包括以下步骤：

步骤1：在一般强化学习框架基础上建立用于2D图像版权保护的WMNET学习框架；

步骤2：训练WMNET框架；

其中，所建立的用于2D图像版权保护的WMNET框架应当在训练后成为作为优化的水印嵌入器(Embedder)和探测器(Detector)；

其中，训练WMNET框架，包括以下步骤：

水印嵌入；

攻击模拟；

权重更新；

其中，水印嵌入包括以下步骤：

接受大小M×N(以下所有M×N皆为320×180)的图像并生成带水印的图像；

使用探测器网络逐渐改变像素；

重复此图像修改，直到探测器正确检测到图像中的版权水印消息；

其中，接受大小M×N的图像并生成带水印的图像使用改进的自动编码器嵌入方法；

其中，攻击模拟包括以下步骤：

水印图像被上采样到M×N大小；

应用于封面图像相同的类型和参数进行攻击训练；

将水印图像下采样为原始大小；

此阶段接受带水印的图像和消息图像以产生受攻击的图像，消息映像受到攻击后，它将在更新阶段用作标签，模拟攻击集可以包括任何类型的攻击，对于每个图像和消息，攻击图像的创建次数与攻击次数一样多；

其中，权重更新包括以下步骤：

调整受攻击图像大小回到M×N尺寸；

每个失真块B′的消息位m′由其坐标决定，如果消息图像块的均值大于0.5，设置消息位m′为1，否则将其设置为0；

从输入B′中预测m′，包括以下公式：

当更新通过重复上式等式完成时，探测器就能成功地从输入B′中预测m′，式中，W^t是迭代t的权重，η是学习率，损失函数L与嵌入阶段的损失函数L相同，一个低的损失表明即使在攻击下，CNN也可以更准确地提取消息比特。换句话说，我们可以确保抵御各种攻击的鲁棒性；

图5示出了根据本发明实施例的深度图版权注册流程图，包括以下步骤：

批量标准化处理；

获取时域信息代表图像(TIRI)；

基于内容特征的提取；

基于水印特征的提取；

生成主份额和所有权份额；

其中，获取时域信息代表图像(TIRI)，公式如下：

w_k＝a^k

式中，F_k是第k个视频帧，w_k是与第k个视频帧相关联的权重，l视频序列的长度，a取值0,1之间，当a近0时，生成的TIRI将包含更多空间信息和较少的时间信息，当a接近1时，生成的TIRI将包含更多时间信息和少量空间信息，此处a选择1；

其中，基于内容特征的提取，包括以下步骤：

标准化深度图的尺寸，即w×h×s→320×180×30，式中，w为图片宽度，h为高度，s为帧数，表示为F_normdepth；

均化F_normdepth以生成其TIRI图像，公式如下：

执行2D离散余弦变化，得到DCT_depth；

从DCT_depth的低频分量中选择系数Coeff_depth，公式如下：

Coeff_depth(i-1,j-1)＝DCT_depth(i,j)

式中，2≤i≤9,2≤j≤9。DCT_depth的DC系数被排除在增强所提取特征的可区分性之外；

二进制系数Coeff_depth及它的中位数值以分别确保基于内容的特征f_depth的最大可区分度，公式如下：

f_depth(i,j)＝0,if Coeff_depth(i,j)≤t_depth

f_depth(i,j)＝1,if Coeff_depth(i,j)＞t_depth

式中，其中1≤i≤8,1≤j≤8，t_depth是Coeff_depth的中值；

其中，基于水印特征的提取包括以下步骤：

在水印图像上执行2D-DCT来提取基于水印的特征W_depth用作所有权的版权信息；

在没有DC系数的情况下对低频分量进行二值化，在2D-DCT域中，参考上步骤：基于内容特征的提取；

其中，生成主份额和所有权份额，包括以下步骤：

设置深度图的主要份额的大小，表示为M_depth，为16×16，将M_depth分成64个非重叠的2×2块，表示为m_depth(i,j)，产生主份额公式如下：

式中，1≤i≤8，1≤j≤8；

设置深度图的所有权份额的大小，表示为O_depth，为16×16，将O_depth分成64个非重叠的2×2块，表示为o_depth(i,j)，产生所有权份额公式如下：

式中，1≤i≤8，1≤j≤8；

将生成的O_depth存储在相关的版权识别数据库中；

图6示出了根据本发明实施例的深度图版权识别流程图，包括以下步骤：

基于内容的特征提取；

恢复版权信息；

识别版权所有权；

其中，基于内容的特征提取，包括以下步骤：

标准化所查询的3D视频的深度图的尺寸，选择其亮度分量；

平均归一化深度图的亮度分量以生成它的TIRI；

提取查询的基于内容的特征f′_depth；

其中，恢复版权信息，包括以下步骤：

从f′_depth中生成查询的主份额M′_depth；

堆栈查询的主份额和其相关的所有权份额来获取中间版权信息矩阵S_depth，插入表图7；

将S_depth分成64个非重叠的2×2块，表示为

其中1≤i≤8，1≤j≤8；恢复深度图基于版权的特征W′_depth，公式如下：

式中，1≤i≤8，1≤j≤8，1≤x≤2，1≤y≤2；

其中，识别版权所有权，包括以下步骤：

计算原始基于水印的特征与恢复的基于水印的特征之间的归一化相关系数(NC)，公式如下：

式中，1≤i≤8，1≤j≤8，一旦计算的NC_depth大于经验上预定义的阈值T，那么该深度图就会被认定为非法副本，其版权所有权会根据它原始的基于水印的特征确认；

表图7示出了根据本发明实施例的深度图主份额和所有权份额生成算法(VSS)；

最后，将含版权信息的2D图像与其深度图重新合成3D视频；

与现有技术相比，本发明上述实施例的优点在于：

本发明为基于深度强化学习和特征提取的3D视频版权综合保护方法，该方法采用深度强化学习优化2D图像帧水印域来平衡视频水印不可见性和鲁棒性之间的矛盾，保证了水印作为2D图像帧版权信息载体能应对几乎所有类型图像处理攻击的强大稳健性；该方法将3D视频的深度图独立出来采用零水印方案，对于深度图保护不再对原图像数据修改，有效降低了嵌入水印后合成的3D视频失真度；

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (1)

1.一种基于深度强化学习优化的3D视频版权综合保护方法，其特征在于，包括以下步骤：

步骤1：在一般强化学习框架基础上建立用于2D图像版权保护的WMNET学习框架；

步骤2：训练WMNET框架；

步骤3：深度图版权注册；

步骤4：深度图版权识别；

步骤5：合成含版权信息的3D视频；

其中，所建立的用于2D图像版权保护的WMNET框架应当在训练后成为作为优化的水印嵌入器(Embedder)和探测器(Detector)；

其中，训练WMNET框架，包括以下步骤：

水印嵌入；

攻击模拟；

权重更新；

其中，水印嵌入包括以下步骤：

接受大小M×N的图像并生成带水印的图像；

使用探测器网络逐渐改变像素；

重复此图像修改，直到探测器正确检测到图像中的版权水印消息；

其中，攻击模拟包括以下步骤：

水印图像被上采样到M×N大小；

应用于封面图像相同的类型和参数进行攻击；

将水印图像下采样为原始大小；

其中，权重更新包括以下步骤：

调整受攻击图像大小回到M×N尺寸；

设置每个失真块B′的水印消息位m′的值，根据以下策略设置：

每个失真块B′的消息位m′由其坐标决定，如果消息图像块的均值大于0.5，设置消息位m′为1，否则将其设置为0；

从输入失真块B′中预测m′，包括以下公式：

重复上式等式完成权重更新，探测器就能成功地从输入B′中预测m′，式中，W^t是迭代t的权重，η是学习率，损失函数L与嵌入阶段的损失函数L相同；

其中，深度图版权注册包括以下步骤：

批量标准化处理；

获取时域信息代表图像TIRI(temporally informative representative images)；

基于内容特征的提取；

基于水印特征的提取；

生成主份额和所有权份额；

其中，基于内容特征的提取包括以下步骤：

标准化深度图的尺寸，即w×h×s→320×180×30，式中，w为图片宽度，h为高度，s为帧数，表示为F_normdepth；

均化F_normdepth以生成其TIRI图像；

执行2D离散余弦变化，得到DCT_depth；

从DCT_depth的低频分量中选择系数Coeff_depth；

依据二进制系数Coeff_depth及它的中位数值t_depth以分别确保基于内容的特征f_depth的最大可区分度；

其中，基于水印特征的提取包括以下步骤：

标准化水印图像的尺寸，即w×h×s→320×180×30，式中，w为图片宽度，h为高度，s为帧数，表示为F_wnormdepth；

均化F_wnormdepth以生成其TIRI图像，公式如下：

执行2D离散余弦变化，得到DCT_wdepth；

从DCT_wdepth的低频分量中选择系数Coeff_wdepth，公式如下：

Coeff_wdepth(i-1,j-1)＝DCT_wdepth(i,j)

式中，2≤i≤9,2≤j≤9；DCT_wdepth的DC系数被排除在增强所提取特征的可区分性之外；

二进制系数Coeff_wdepth及它的中位数值以分别确保基于水印的特征W_depth的最大可区分度，公式如下：

W_depth(i,j)＝0,if Coeff_wdepth(i,j)≤t_wdepth

W_depth(i,j)＝1,if Coeff_wdepth(i,j)＞t_wdepth

式中，其中1≤i≤8,1≤j≤8，t_wdepth是Coeff_wdepth的中值；

其中，生成主份额和所有权份额，包括以下步骤：

设置深度图的主份额M_depth的大小为16×16，将M_depth分成64个非重叠的2×2块，表示为m_depth(i,j)；

设置深度图的所有权份额O_depth的大小为16×16，将O_depth分成64个非重叠的2×2块，表示为o_depth(i,j)；

将生成的O_depth存储在相关的版权识别数据库中；

其中，深度图版权识别包括以下步骤：

基于内容的特征提取；

恢复版权信息；

识别版权所有权；

其中，基于内容的特征提取，包括以下步骤：

标准化所查询的3D视频的深度图的尺寸；

平均归一化深度图，生成它的TIRI；

提取所查询的基于内容的特征f′_depth；

其中，恢复版权信息，包括以下步骤：

从f′_depth中生成所查询的深度图的主份额M′_depth；

堆栈查询主份额和其相关的所有权份额来获取中间版权信息矩阵S_depth；

将S_depth分成64个非重叠的2×2块，表示为

其中1≤i≤8，1≤j≤8；

恢复深度图基于版权的特征W′_depth，公式如下：

式中，1≤i≤8，1≤j≤8，1≤x≤2，1≤y≤2；

其中，识别版权所有权，包括以下步骤：

计算原始基于水印的特征与恢复的基于水印的特征之间的归一化相关系数(NC)，公式如下：

式中，1≤i≤8，1≤j≤8，一旦计算的NC_depth大于经验上预定义的阈值T，那么该深度图就会被认定为非法副本，其版权所有权会根据它原始的基于水印的特征确认。

Images