CN117241104A - 一种dibr-3d视频版权保护的零水印方法及系统 - Google Patents
一种dibr-3d视频版权保护的零水印方法及系统 Download PDFInfo
- Publication number
- CN117241104A CN117241104A CN202311469866.2A CN202311469866A CN117241104A CN 117241104 A CN117241104 A CN 117241104A CN 202311469866 A CN202311469866 A CN 202311469866A CN 117241104 A CN117241104 A CN 117241104A
- Authority
- CN
- China
- Prior art keywords
- video
- feature
- dibr
- invariant component
- watermark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000000605 extraction Methods 0.000 claims abstract description 80
- 238000013519 translation Methods 0.000 claims abstract description 62
- 230000000739 chaotic effect Effects 0.000 claims abstract description 59
- 230000004927 fusion Effects 0.000 claims abstract description 47
- 238000013507 mapping Methods 0.000 claims abstract description 28
- 230000006870 function Effects 0.000 claims description 41
- 230000007246 mechanism Effects 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 16
- 238000009792 diffusion process Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 10
- 238000012952 Resampling Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 5
- 238000013075 data extraction Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000011084 recovery Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 13
- 238000013461 design Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 9
- 238000000354 decomposition reaction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000012512 characterization method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 238000007500 overflow downdraw method Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000002427 irreversible effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种DIBR‑3D视频版权保护的零水印方法及系统，本方法通过对2D视频水平平移不变分量和深度图噪声不变分量进行预处理；采用训练好的特征提取网络模型对预处理后的2D视频水平平移不变分量和预处理后的深度图噪声不变分量进行特征提取；若2D视频和深度图的版权所有者一样，则将第一特征和第二特征进行特征融合；采用混沌映射系统对融合特征进行加密和二值化得到混沌序列，并将混沌序列和融合特征进行异或操作，得到加密特征；基于加密特征和原始二值水印，生成从共享，并根据从共享恢复水印；根据原始二值水印和恢复的水印进行版权鉴别。本发明能够确保DIBR‑3D视频版权鉴别的灵活性、协同性、可靠性和鲁棒性。
Description
技术领域
本发明涉及数字水印技术领域，尤其是涉及一种DIBR-3D视频版权保护的零水印方法及系统。
背景技术
随着数字媒体处理技术的发展，基于深度渲染技术（Depth image basedrendering，DIBR）的三维（Three dimension，3D）视频在网络上被广泛发布和传播。三维（Three dimension，3D）视频技术基于双目视差的原理，将视频的纵深、层次和位置全部显现，从而给观众身临其境的感觉和更震撼的沉浸式立体视觉体验。随着5G网络通信技术的推出和发展，3D视频技术也将从电影端、电视端向移动端转化，未来用户端设备将普遍适用3D视频显示，3D影视、3D游戏、3D直播、3D社交、3D医疗和3D教育等将全面实现，从而形成一个完整的3D互联网生态环，具有巨大的发展前景。
数字媒体处理技术以及网络传输技术突破性的进展在丰富数字媒体传输途径和增值数字媒体内容的同时，也使得数字媒体易被攻击者编辑、拷贝和传播造成数字内容载体的版权和信息安全问题日益突出。和其他数字内容一样，DIBR-3D视频受到版权侵害的风险也日益增加。一方面，相比2D视频以及其他数字内容，3D视频的制作成本要高得多，非法复制和非法使用3D视频将给版权所有者带来的损失更加严重。另一方面，DIBR-3D视频包含多模态数字内容，其版权保护方法对其他多模态数字内容的版权保护具有重要的理论借鉴意义。如何有效保护DIBR-3D视频的版权，已成为近年来数字媒体版权保护领域的热点问题，对确保3D视频产业乃至整个文化产业的健康发展都至关重要。
现有的2D frame-based watermarking方法是将版权水印信息嵌入到3D视频的2D视频帧中来确保对各种攻击的鲁棒性，因此会造成2D视频不可逆转的失真，而且由于DIBR操作后合成的帧相对于原始2D视频帧发生了像素的水平移动，原始视频和合成视频在空间上不完全同步。现有的depth map-based watermarking方法则是将水印信息嵌入到深度图中，使得基于DIBR技术合成的3D视频左右视图内容可以确保内容无失真，但是由于深度图往往比较平滑，对强信号攻击和几何攻击的鲁棒性不足。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种DIBR-3D视频版权保护的零水印方法及系统，能够确保DIBR-3D视频版权鉴别的灵活性、协同性、可靠性和鲁棒性，以实现DIBR-3D视频版权保护。
第一方面，本发明实施例提供了一种DIBR-3D视频版权保护的零水印方法，所述DIBR-3D视频版权保护的零水印方法包括：
提取DIBR-3D视频中2D视频水平平移不变分量和深度图噪声不变分量；
对所述2D视频水平平移不变分量和所述深度图噪声不变分量进行预处理，得到预处理后的2D视频水平平移不变分量和预处理后的深度图噪声不变分量；
采用训练好的特征提取网络模型对所述预处理后的2D视频水平平移不变分量进行特征提取得到第一特征，对所述预处理后的深度图噪声不变分量进行特征提取得到第二特征；
若2D视频和深度图的版权所有者一样，则将所述第一特征和所述第二特征进行特征融合，得到融合特征；
采用混沌映射系统对所述融合特征进行加密和二值化，得到混沌序列，并将所述混沌序列和所述融合特征进行异或操作，得到加密特征；
基于所述加密特征和原始二值水印，生成从共享，并根据所述从共享恢复水印；
根据所述原始二值水印和恢复的水印进行版权鉴别，以保护所述DIBR-3D视频的版权。
与现有技术相比，本发明第一方面具有以下有益效果：
本方法通过提取DIBR-3D视频中2D视频水平平移不变分量和深度图噪声不变分量，能够确保DIBR转换的鲁棒性和提高噪声攻击的鲁棒性；通过对2D视频水平平移不变分量和深度图噪声不变分量进行预处理，能够提高对尺度攻击和时序攻击的鲁棒性；通过判断2D视频和深度图的版权所有者是否一样，决定是否将第一特征和第二特征进行特征融合，能够确保版权鉴别的灵活性、协同性、可靠性和鲁棒性；通过采用混沌映射系统对融合特征进行加密和二值化，将得到的混沌序列和融合特征进行异或操作，并基于得到的加密特征和原始二值水印，生成从共享，以及根据从共享恢复水印，根据原始二值水印和恢复的水印进行版权鉴别，以保护DIBR-3D视频的版权，提高了DIBR-3D视频版权保护的安全性。
根据本发明的一些实施例，所述提取DIBR-3D视频中2D视频水平平移不变分量和深度图噪声不变分量，包括：
采用双树复小波变换提取所述DIBR-3D视频中的2D视频水平平移不变分量；
采用基于扩散模型的深度去噪网络提取所述DIBR-3D视频中的深度图噪声不变分量。
根据本发明的一些实施例，所述对所述2D视频水平平移不变分量和所述深度图噪声不变分量进行预处理，得到预处理后的2D视频水平平移不变分量和预处理后的深度图噪声不变分量，包括：
将所述2D视频水平平移不变分量和所述深度图噪声不变分量依次采用时空平滑、重采样和归一化进行预处理，得到预处理后的2D视频水平平移不变分量和预处理后的深度图噪声不变分量。
根据本发明的一些实施例，通过如下方式训练所述特征提取网络模型：
采用对抗监督机制增强所述DIBR-3D视频，得到增强后的视频数据；
将所述增强后的视频数据输入至基于3D-CNN模型和视频Transformer模型构建的特征提取网络模型中，并采用损失函数训练所述特征提取网络模型，得到训练好的特征提取网络模型。
根据本发明的一些实施例，所述采用对抗监督机制增强所述DIBR-3D视频，得到增强后的视频数据，包括：
采用多种攻击对原始DIBR-3D视频进行增广，得到攻击后的DIBR-3D视频；
将所述原始DIBR-3D视频和所述攻击后的DIBR-3D视频进行自监督标注，得到增强的视频数据。
根据本发明的一些实施例，所述采用损失函数训练所述特征提取网络模型，得到训练好的特征提取网络模型，包括：
构建对比损失函数和特征对齐损失函数；
将所述对比损失函数和所述特征对齐损失函数进行加权求和，得到总损失函数；
根据所述总损失函数训练所述特征提取网络模型，得到训练好的特征提取网络模型。
根据本发明的一些实施例，在采用训练好的特征提取网络模型对所述预处理后的2D视频水平平移不变分量进行特征提取得到第一特征，对所述预处理后的深度图噪声不变分量进行特征提取得到第二特征之后，所述DIBR-3D视频版权保护的零水印方法还包括：
若所述2D视频和所述深度图的版权所有者不一样，则采用混沌映射系统对所述第一特征进行加密和二值化，得到第一混沌序列，并将所述第一混沌序列和所述第一特征进行异或操作，得到第一加密特征；采用混沌映射系统对所述第二特征进行加密和二值化，得到第二混沌序列，并将所述第二混沌序列和所述第二特征进行异或操作，得到第二加密特征；
基于所述第一加密特征和原始二值水印，生成第一从共享，并根据所述第一从共享恢复第一水印；
基于所述第二加密特征和原始二值水印，生成第二从共享，并根据所述第二从共享恢复第二水印；
根据所述原始二值水印、恢复的第一水印和恢复的第二水印进行版权鉴别，以保护所述DIBR-3D视频的版权。
第二方面，本发明实施例还提供了一种DIBR-3D视频版权保护的零水印系统，所述DIBR-3D视频版权保护的零水印系统包括：
数据提取单元，用于提取DIBR-3D视频中2D视频水平平移不变分量和深度图噪声不变分量；
数据处理单元，用于对所述2D视频水平平移不变分量和所述深度图噪声不变分量进行预处理，得到预处理后的2D视频水平平移不变分量和预处理后的深度图噪声不变分量；
特征提取单元，用于采用训练好的特征提取网络模型对所述预处理后的2D视频水平平移不变分量进行特征提取得到第一特征，对所述预处理后的深度图噪声不变分量进行特征提取得到第二特征；
特征融合单元，用于若2D视频和深度图的版权所有者一样，则将所述第一特征和所述第二特征进行特征融合，得到融合特征；
特征加密单元，用于采用混沌映射系统对所述融合特征进行加密和二值化，得到混沌序列，并将所述混沌序列和所述融合特征进行异或操作，得到加密特征；
水印恢复单元，用于基于所述加密特征和原始二值水印，生成从共享，并根据所述从共享恢复水印；
版权鉴别单元，用于根据所述原始二值水印和恢复的水印进行版权鉴别，以保护所述DIBR-3D视频的版权。
第三方面，本发明实施例还提供了一种电子设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如上所述的一种DIBR-3D视频版权保护的零水印方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上所述的一种DIBR-3D视频版权保护的零水印方法。
可以理解的是，上述第二方面至第四方面与相关技术相比存在的有益效果与上述第一方面与相关技术相比存在的有益效果相同，可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一实施例的一种DIBR-3D视频版权保护的零水印方法的流程图；
图2是本发明一实施例的版权鉴别整体流程图；
图3是本发明一实施例的双树复小波分解子带结构和图像分解示例的示意图；
图4是本发明一实施例的扩散去噪模型流程图；
图5是本发明一实施例的基于跨模型对抗对比学习的版权鉴别特征提取流程图；
图6是本发明一实施例的跨模型对比学习网络架构示意图；
图7是本发明一实施例的视频Transformer特征提取网络示意图；
图8是本发明一实施例的特征对齐损失计算示意图；
图9是本发明一实施例的基于跨模态注意力机制的特征融合示意图；
图10是本发明一实施例的一种DIBR-3D视频版权保护的零水印系统的结构图；
图11是本发明一实施例的一种电子设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，如果有描述到第一、第二等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
本发明的描述中，需要说明的是，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
现有的2D frame-based watermarking方法是将版权水印信息嵌入到3D视频的2D视频帧中来确保对各种攻击的鲁棒性，因此会造成2D视频不可逆转的失真，而且由于DIBR操作后合成的帧相对于原始2D视频帧发生了像素的水平移动，原始视频和合成视频在空间上不完全同步。现有的depth map-based watermarking方法则是将水印信息嵌入到深度图中，使得基于DIBR技术合成的3D视频左右视图内容可以确保内容无失真，但是由于深度图往往比较平滑，对强信号攻击和几何攻击的鲁棒性不足。
为解决上述问题，本发明通过提取DIBR-3D视频中2D视频水平平移不变分量和深度图噪声不变分量，能够确保DIBR转换的鲁棒性和提高噪声攻击的鲁棒性；通过对2D视频水平平移不变分量和深度图噪声不变分量进行预处理，能够提高对尺度攻击和时序攻击的鲁棒性；通过判断2D视频和深度图的版权所有者是否一样，决定是否将第一特征和第二特征进行特征融合，能够确保版权鉴别的灵活性、协同性、可靠性和鲁棒性；通过采用混沌映射系统对融合特征进行加密和二值化，将得到的混沌序列和融合特征进行异或操作，并基于得到的加密特征和原始二值水印，生成从共享，以及根据从共享得到恢复的水印，根据原始二值水印和恢复的水印进行版权鉴别，以保护DIBR-3D视频的版权，提高了DIBR-3D视频版权保护的安全性。
参照图1，本发明实施例提供了一种DIBR-3D视频版权保护的零水印方法，本DIBR-3D视频版权保护的零水印方法包括但不限于步骤S100至步骤S700，其中：
步骤S100、提取DIBR-3D视频中2D视频水平平移不变分量和深度图噪声不变分量；
步骤S200、对2D视频水平平移不变分量和深度图噪声不变分量进行预处理，得到预处理后的2D视频水平平移不变分量和预处理后的深度图噪声不变分量；
步骤S300、采用训练好的特征提取网络模型对预处理后的2D视频水平平移不变分量进行特征提取得到第一特征，对预处理后的深度图噪声不变分量进行特征提取得到第二特征；
步骤S400、若2D视频和深度图的版权所有者一样，则将第一特征和第二特征进行特征融合，得到融合特征；
步骤S500、采用混沌映射系统对融合特征进行加密和二值化，得到混沌序列，并将混沌序列和融合特征进行异或操作，得到加密特征；
步骤S600、基于加密特征和原始二值水印，生成从共享，并根据从共享恢复水印；
步骤S700、根据原始二值水印和恢复的水印进行版权鉴别，以保护DIBR-3D视频的版权。
在本实施例中，为了确保DIBR转换的鲁棒性和提高噪声攻击的鲁棒性，本实施例通过提取DIBR-3D视频中2D视频水平平移不变分量和深度图噪声不变分量；为了提高对尺度攻击和时序攻击的鲁棒性，本实施例通过对2D视频水平平移不变分量和深度图噪声不变分量进行预处理，得到预处理后的2D视频水平平移不变分量和预处理后的深度图噪声不变分量；为了确保版权鉴别的灵活性、协同性、可靠性和鲁棒性，本实施例通过采用训练好的特征提取网络模型对预处理后的2D视频水平平移不变分量进行特征提取得到第一特征，对预处理后的深度图噪声不变分量进行特征提取得到第二特征，若2D视频和深度图的版权所有者一样，则将第一特征和第二特征进行特征融合，得到融合特征；为了提高DIBR-3D视频版权保护的安全性，本实施例通过采用混沌映射系统对融合特征进行加密和二值化，得到混沌序列，并将混沌序列和融合特征进行异或操作，得到加密特征，基于加密特征和原始二值水印，生成从共享，并根据从共享恢复水印，根据原始二值水印和恢复的水印进行版权鉴别，以保护DIBR-3D视频的版权。
在一些实施例中，提取DIBR-3D视频中2D视频水平平移不变分量和深度图噪声不变分量，包括：
采用双树复小波变换提取DIBR-3D视频中的2D视频水平平移不变分量；
采用基于扩散模型的深度去噪网络提取DIBR-3D视频中的深度图噪声不变分量。
在本实施例中，采用双树复小波变换提取DIBR-3D视频中的2D视频水平平移不变分量，能够提高对DIBR转换的鲁棒性，采用基于扩散模型的深度去噪网络提取DIBR-3D视频中的深度图噪声不变分量，能够提高噪声攻击的鲁棒性。
在一些实施例中，对2D视频水平平移不变分量和深度图噪声不变分量进行预处理，得到预处理后的2D视频水平平移不变分量和预处理后的深度图噪声不变分量，包括：
将2D视频水平平移不变分量和深度图噪声不变分量依次采用时空平滑、重采样和归一化进行预处理，得到预处理后的2D视频水平平移不变分量和预处理后的深度图噪声不变分量。
在本实施例中，采用时空平滑、重采样和归一化进行预处理后，能够提高对尺度攻击和时序攻击的鲁棒性。
在一些实施例中，通过如下方式训练特征提取网络模型：
采用对抗监督机制增强DIBR-3D视频，得到增强后的视频数据；
将增强后的视频数据输入至基于3D-CNN模型和视频Transformer模型构建的特征提取网络模型中，并采用损失函数训练特征提取网络模型，得到训练好的特征提取网络模型。
在本实施例中，通过将增强后的视频数据输入至基于3D-CNN模型和视频Transformer模型构建的特征提取网络模型中，并采用损失函数训练特征提取网络模型，得到训练好的特征提取网络模型，能够表征相似视频之间的细微区别，提高深度特征的可区分性。
在一些实施例中，采用对抗监督机制增强DIBR-3D视频，得到增强后的视频数据，包括：
采用多种攻击对原始DIBR-3D视频进行增广，得到攻击后的DIBR-3D视频；
将原始DIBR-3D视频和攻击后的DIBR-3D视频进行自监督标注，得到增强的视频数据。
在本实施例中，通过引入对抗学习的思想，对DIBR-3D视频进行增广处理来满足2D视频帧和深度图版权保护的共性需求，确保后续的特征提取网络模型提取版权鉴别特征的鲁棒性和可区分性。
在一些实施例中，采用损失函数训练特征提取网络模型，得到训练好的特征提取网络模型，包括：
构建对比损失函数和特征对齐损失函数；
将对比损失函数和特征对齐损失函数进行加权求和，得到总损失函数；
根据总损失函数训练特征提取网络模型，得到训练好的特征提取网络模型。
在本实施例中，基于对比损失函数，确保特征对攻击的鲁棒性和对不同视频的可区分性，基于特征对齐损失函数，实现3D-CNN模块和视频Transformer模块提取的特征对齐，充分融合3D-CNN模块在局部上下文和视频Transformer模块在全局信息建模方面的互补优势，提高版权鉴别特征的表征能力，提高版权鉴别特征的可区分性。
在一些实施例中，在采用训练好的特征提取网络模型对预处理后的2D视频水平平移不变分量进行特征提取得到第一特征，对预处理后的深度图噪声不变分量进行特征提取得到第二特征之后，DIBR-3D视频版权保护的零水印方法还包括：
若2D视频和深度图的版权所有者不一样，则采用混沌映射系统对第一特征进行加密和二值化，得到第一混沌序列，并将第一混沌序列和第一特征进行异或操作，得到第一加密特征；
采用混沌映射系统对第二特征进行加密和二值化，得到第二混沌序列，并将第二混沌序列和第二特征进行异或操作，得到第二加密特征；
基于第一加密特征和原始二值水印，生成第一从共享，并根据第一从共享得到恢复的第一水印；
基于第二加密特征和原始二值水印，生成第二从共享，并根据第二从共享得到恢复的第二水印；
根据原始二值水印、恢复的第一水印和恢复的第二水印进行版权鉴别，以保护DIBR-3D视频的版权。
在本实施例中，当2D视频和深度图的版权拥有者不同时，对两个模态内容独立提取的特征进行分别保护，提高DIBR-3D视频版权保护的安全性。
为方便本领域人员理解，以下提供一组最佳实施例：
本实施例提出了一种基于对比学习的DIBR-3D视频版权保护的零水印算法，以提高版权保护算法的整体性能，增强算法的鲁棒性和可区分性。下面将介绍本实施例所使用的版权保护算法，主要分为两个阶段：版权注册阶段和版权鉴别阶段。在版权注册阶段，本实施例将视频的版权信息与相关秘密消息注册存储起来；在版权鉴别阶段，本实施例将验证视频的版权归属。参照图2，接下来将分别介绍这两个阶段的详细步骤。
1、版权注册阶段。
步骤一：预处理DIBR-3D视频。
针对DIBR-3D视频中深度图版权保护的对噪声攻击的强鲁棒性特性需求，基于信号处理和图像去噪领域知识，设计合适的信号变换方法提取2D视频水平平移不变分量，确保基于对比学习的DIBR-3D视频版权保护的零水印算法对DIBR转换的鲁棒性；设计基于扩散模型的深度图去噪模型，提高基于对比学习的DIBR-3D视频版权保护的零水印算法对噪声攻击的鲁棒性，具体技术如下：
（1）2D视频水平平移不变分量提取模块设计。
参照图3，其中图3（a）为子带结构，图3（b）为分解示例，本实施例基于双树复小波变换（Dual-Tree Complex Wavelet Transform，DT-CWT）提取2D视频水平平移不变分量，提高对DIBR转换的鲁棒性。DT-CWT变换是小波变换的变种，在小波分解的多分辨率特性的基础上还具有两个优点：首先，DT-CWT变换具有更多的方向选择特性：传统小波分解只能表征垂直、水平、以及对角三个方向，如图3（a）所示，双树复小波分解有六个方向子带，其中/>表示双树复小波变换的层数，/>表示方向索引且/>，分别对应方向滤波器的六个角度，即+15，+45，+75，-75，-45和-15，因此, 基于双树复小波变换提取的特征描述图像的纹理和边缘信息能力要优于传统小波。图3（b）展示了一个环形图像的双树复小波变换实例，可以清楚地看到，每个子带在它们所属的滤波角的边缘都有更多的能量；其次，DT-CWT变换具有良好的平移不变性。双树复小波利用了对偶数分解结构，使用一对滤波器（低通和高通）对不用频率的系数分别求各自的均值，排除了相互间的干扰项，确保了双树复小波变换的平移不变性。由于DT-CWT的平移不变性和良好的方向选择性，输入信号中的微小平移量对DT-CWT系数的能量的影响很小，所以其对与平移相关的几何失真具有鲁棒性。由于在DIBR变换中像素进行了水平移动，垂直边缘比水平边缘更容易在DIBR变换过程中被扭曲，基于DT-CWT方向选择性而精细地选择水平平移不变子带具有水平边缘的分量，即/>和子带，提高对DIBR转换的鲁棒性，满足2D视频帧版权保护鲁棒性特性需求。
（2）基于扩散模型的深度图去噪模块设计。
本实施例设计了基于扩散模型的深度去噪网络，具体方法如图4所示，具体为：
先在真实带噪深度图中通过扩散过程，加入适量的高斯噪声以覆盖真实深度图噪声并使深度图中的噪声分布接近高斯分布，接着分轮次对深度图进行重构，每一轮中使用扩散模型网络预测出对应轮次应从深度图中去除的噪声，再结合特定采样方法生成新的深度图，作为下一轮扩散模型的深度去噪网络的输入，最终还原出清晰深度图，实现深度图去噪任务。
基于扩散模型的深度去噪网络架构方面采用Resnet为基础模块组成的U-Net网络，再于特定分辨率的网络层上引入全局自注意力模块作为辅助，提高U-Net网络对图像全局信息的控制能力。网络损失函数方面，使用扩散模型预测输出的噪声和扩散过程加入的噪声残差进行相似性计算。重构图像采样方面，设计结合条件引导方式，在深度网络预测出图像噪声后，通过计算出上一轮重构图像与真实带噪深度图之间的结构相似性指数（Structural Similarity，SSIM），在预测噪声上添加额外的条件梯度，引导生成重构图像分布适度接近真实带噪深度图，实现去噪的同时保留较多原图细节。
对于提取的2D视频水平平移不变分量和去噪后的深度图（即深度图噪声不变分量），本实施例采用时空平滑和重采样技术后，再归一化成固定的长、宽和帧数，最后作为后续深度特征提取网络（即特征提取网络模型）的输入，提高对尺度攻击和时序攻击的鲁棒性。
步骤二：基于跨模型对抗对比学习的版权鉴别特征提取。
将视频版权保护抽象为二分类问题，将版权保护中鲁棒性和可区分性这些共性需求抽象为多目标优化问题，将DIBR-3D视频版权保护转变为基于多目标优化的DIBR-3D视频二分类问题。设计对抗监督机制，引入对抗学习的思想，确保后续模型提取版权鉴别特征的鲁棒性和可区分性；设计基于跨模型对比学习的深度特征提取网络架构，表征相似视频之间的细微区别，提高深度特征的可区分性；设计合理的对比损失函数，同时兼顾可区分性和鲁棒性的共性需求。具体技术方案如图5所示，具体为：
（1）对抗监督机制设计。
基于各种攻击包括信号处理攻击（如视频压缩、对比度和亮度调整、噪声添加、滤波、直方图均衡等）、几何攻击（如缩放、裁剪、平移、旋转、翻转、仿射等）以及时序攻击（如帧率修改、随机加帧、丢帧、换帧等）对DIBR-3D视频进行增广处理来满足2D视频帧和深度图版权保护的共性需求。对2D视频帧部分额外添加DIBR转换攻击进行增广，对深度图部分额外添加强噪声攻击进行增广来满足两者版权保护特性需求。
再将攻击后的视频和原始视频配对进行自监督标注，原始视频和受到攻击后的视频/>被认为是相同视频对，标注为正例；不同攻击后的视频/>和/>被认为是相同视频对，标注为正例；原始视频/>和原始视频/>被认为是不同视频对，标注为负例。
（2）跨模型对比学习网络架构设计。
本实施例设计提出的跨模型对比学习网络架构通过结合一个3D-CNN特征提取网络G和一个视频Transformer特征提取网络T，利用前者局部上下文和后者全局信息建模方面的互补性，提高版权鉴别特征的表征能力。具体结构如图6所示：选取一个原始视频数据，使用上述的对抗监督机制中两种不同的攻击进行视频增强处理，增强后的视频数据分别定义为/>和/>。分别使用3D-CNN模型和视频Transformer模型提取两个增强后的视频的版权鉴别特征，得到相应的四个向量表征/>，这四个表征互为正例。使用MoCo的动量编码器和队列，将列中为历史批次的不同视频数据作为负例样本。定义一个batch的大小为/>，那么在一个iteration中包含/>个不同样本，对于任意一个样本而言，正例样本对由该样本的两种不同攻击增强后的视频构成，当前批次的其余/>个样本都是它的负例样本。
其中，3D-CNN的特征提取网络可以采用C3D，R3D以及R（2+1）D等骨干网络结构；视频Transformer特征提取网络包含一个2D-CNN，如Resnet-50，Resnet-101等图像特征提取网络和一个时序Transformer模型。如图7所示，其通过2D-CNN网络提取视频帧的特征，并通过全连接层将其投影为帧级别token，将帧级别token按时间顺序依次连接，结合可学习的位置编码，作为视频Transformer模型的输入，基于多层多头的Transformer深度网络学习得到视频序列版权鉴别特征。
（3）损失函数的设计
本发明同时设计对比损失函数和特征对齐损失函数/>，基于对比损失函数同时确保特征对攻击的鲁棒性和对不同视频的可区分性，基于特征对齐损失函数实现3D-CNN模块和视频Transformer模块提取的特征对齐，充分融合3D-CNN模块在局部上下文和视频Transformer模块在全局信息建模方面的互补优势，提高版权鉴别方面性能。总体的损失由对比损失函数/>和特征对齐损失函数/>加权求和，加权系数作为超参数通过实验确定。
采用的对比损失函数如公式（1）所示：
（1）
其中，表示队列中的负样本，队列大小为m，n是在训练过程中，每个批次使用个不同视频数据数目。/>表示计算的是不同模型提取正例对特征之间的相似性，计算方法如公式（2）所示：
（2）
其中，表示向量/>和向量/>的相似度度量，/>表示超参数，/>计算方法如公式（3）所示：
（3）
将记忆队列中的所有样本视为负样本。最小化/>一方面可以最大化正例视频对之间的相似度/>，确保特征对攻击的鲁棒性，另一方面可以最小化负例视频对之间的相似度（/>），确保特征对不同视频的可区分性，从而满足本实施例版权保护问题的优化目标。
在特征对齐损失方面，如图8所示，使用视频Transformer模块提取的，/>特征计算特征相似矩阵/>，使用3D CNN提取的/>，/>计算/>。根据公式（4）计算得出融合的特征相似矩阵/>，用于引导跨模型特征的对齐。然后，将/>，/>和/>，/>跨模型特征两两组合计算出特征相似矩阵/>和/>。最后，将/>和/>四个特征相似矩阵分别和/>做均方误差（MSE），并最小化均方误差，计算方式如公式（5）所示，其中/>表示求均值符号，/>表示求解矩阵的迹。
（4）
（5）
步骤三：基于特征融合的DIBR-3D视频版权保护架构设计。
对于提取和优化后的深度版权鉴别特征，设计安全的特征映射方法，确保无嵌入水印方法的安全。设计特征融合方法，建立版权注册以及可变鉴别机制，从而确保版权鉴别的灵活性、协同性、可靠性和鲁棒性。
可变鉴别机制为：当2D视频帧和深度图两个模态的版权所有者不同时，基于各自内容提取的深度特征，基于混沌映射系统的安全映射方式还原水印信息，设计各自的版权鉴别分类器，对两者进行独立的版权保护；当两个模态版权相同时，设计特征层面融合方法，充分利用两个模态在信息内容和攻击鲁棒性的互补性进行协同版权鉴别。
特征融合方法为：如图9所示，基于跨模态注意力机制模拟2D视频帧特征和深度图特征之间的依赖关系以及它们之间的互补性。将来自2D视频帧和深度图的特征分别记作F rgb和F depth，其中，/>。本实施例使用两个不同卷积核将F depth映射到两个分量。其中一个分量表示深度图中的特征相关信息，记作Value，其中/>，另一个分量记作Key，其中/>，用来度量2D视频帧特征与深度图特征之间的相关性。其中r是一个标量，它降低了Key的通道维数，以提高计算效率。同时，本实施例使用将来自2D视频帧的特征映射到分量/>中。接着计算出2D视频帧和深度图特征的相似度作为注意力权重，用该权重值和来自深度图特征的分量做加权，得到与2D视频帧相加权的深度图特征F fusion，/>。最后将2D视频帧特征和加权的深度图特征进行特征融合，得到最终输出的注意力融合特征。
步骤四：生成主共享和从共享。
在提取到视频的特征之后，首先应用混沌映射系统对特征进行加密，混沌映射系统输出一个二值化的混沌序列BC。生成规则如下：
（1）按照双逻辑斯蒂（logistic-logistic）映射系统生成一个长度为1600位的混沌序列
：
(6)
(7)
其中，，/>和/>表示控制参数，/>表示人为设置的初始值，参数t的作用是保证序列是经过充分的迭代得到的。与单逻辑斯蒂映射系统相比，双逻辑斯蒂映射系统具有更好的加密性能。
（2）再将进行二值化操作，求得/>：
(8)
其中，表示序列/>的均值。
（1）得到混沌序列之后，通过对视频特征向量与混沌序列执行异或操作运算来生成加密特征，具体为：
(9)
在得到1600维的加密特征后，将特征排列成40×40的特征矩阵/>。然后按照VSS算法，利用原始的二值化水印（尺寸为40×40）生成主共享/>和从共享/>。
（2）主共享是一个80×80的矩阵，中的每一个像素都对应/>中的一个2×2大小的矩阵，具体转换规则如下：
(10)
（3）接着再使用M与水印信息像素矩阵W，生成从共享，转换规则如下：
(11)
其中，。
最后将得到的从共享以及混沌映射系统的安全密钥一起存储到数据库当中。
2、版权鉴别阶段。
版权鉴别阶段的步骤一至步骤三与版权注册阶段发步骤一至步骤三是相同的，这里不再重复描述。
步骤四：恢复水印。
首先，从数据库中取出混沌映射系统的安全密钥，生成二值化的混沌序列BC，与公式（9）一样对视频特征向量与混沌序列执行异或操作运算来生成加密的特征。接着，参照版权注册阶段生成主共享的方法，求出待鉴别视频的主共享/>。然后从数据库中取出在版权注册阶段储存好的从共享/>，采用（2,2）VSS 视觉加密技术，将主共享与从共享叠加，得到中间矩阵/>。
得到中间矩阵之后，就可以根据如下公式恢复出水印：
(12)
其中，每个代表矩阵S当中非重叠的2×2块，/> 。
计算BER，并分别计算原始水印W与恢复的水印之间的误码率，记为/>。BER计算方法如下：
(13)
其中，表示水印的尺寸大小，/>和/>分别表示原始水印和恢复水印的像素，/>。
若BER小于所设阈值则说明该DIBR-3D视频侵权。
在本实施例中，针对2D视频和深度图特有鲁棒性的需求，分别设计2D视频和深度图各自专用的预处理模块，从深度模型数据输入层面，满足DIBR-3D视频对于版权保护性能特性需求。其中：
（1）针对2D视频帧版权保护对DIBR转换的强鲁棒性特性需求，结合小波变换领域知识，基于具有方向选择性的信号变换，提取2D视频水平平移不变分量作为后续特征提取深度模型的输入，从而确保后续提取特征对DIBR转换过程中进行的视频帧像素水平平移具有良好的不变性。
（2）针对深度图版权保护的对噪声攻击的强鲁棒性特性需求，结合信号去噪领域知识，设计基于扩散模型的噪声去除模块，提取深度图噪声不变分量作为后续特征提取深度模型的输入。
面向版权鉴别应用的深度特征提取专用机制，无嵌入水印方法性能的关键在于提取具有高鲁棒性和强可区分性的特征。本时候说了从数据标注方式、深度网络结构和损失函数全方位设计面向版权鉴别的深度特征提取新机制，兼顾提取特征的对多种攻击鲁棒性和对不同视频的可区分性。具体为：
（1）设计专用的数据监督机制，引入对抗对比学习的思想，对DIBR-3D视频加以信号处理、几何变换以及时序处理等多种类型攻击进行攻击对抗增广，将原始视频及其不同攻击后的视频相互之间的配对标注为正例对确保后续模型提取版权鉴别特征的鲁棒性，将不同视频相互之间的配对标注为负例对，确保后续模型提取版权鉴别特征的可区分性。
（2）设计专用的深度学习模型架构，一方面基于对比学习机制更好的学习相似DIBR-3D视频之间的细微区别，一方面设计CNN-Transformer跨模型架构，利用前者局部上下文和后者全局信息建模方面的互补性，提高版权鉴别特征的表征能力，提高版权鉴别特征的可区分性。
（3）设计专用的损失函数，结合对比学习-特征对齐混合损失。一方面基于对比学习损失函数约束项，同时拉近正例对特征距离和拉大负例对特征距离，兼顾版权鉴别特征的鲁棒性和可区分性。一方面基于特征对齐损失函数对齐CNN和Transformer两种模型提取的特征，最大化利用不同模型特征的互补表征能力。
面向DIBR-3D视频多模态内容的版权保护架构，基于提取和优化的版权鉴别深度特征，设计面向DIBR-3D视频多模态内容的版权鉴别机制，对视频平台中DIBR-3D视频进行版权保护，确保版权鉴别的安全性、灵活性、可区分性和鲁棒性。具体为：
（1）设计了基于混沌密码的安全的特征映射方式，在继承版权鉴别特征的鲁棒性和可区分性的同时，在基于混沌密码结果和对特征进行置乱，将置乱后特征和水印信息建立安全的一一映射，提高无嵌入水印算法的安全性。
（2）设计了特征融合的可变版权鉴别机制，当2D视频和深度图版权拥有者相同时，设计基于特征的融合方法，对两者进行协同保护，基于特征融合基于有效利用两个模态内容在信息内容互补性。当2D视频和深度图版权拥有者不同时，对两个模态内容独立提取特征进行分别保护。
参照图10，本申请实施例还提供了一种DIBR-3D视频版权保护的零水印系统，本DIBR-3D视频版权保护的零水印系统包括数据提取单元100、数据处理单元200、特征提取单元300、特征融合单元400、特征加密单元500、水印恢复单元600和版权鉴别单元700，其中：
数据提取单元100，用于提取DIBR-3D视频中2D视频水平平移不变分量和深度图噪声不变分量；
数据处理单元200，用于对2D视频水平平移不变分量和深度图噪声不变分量进行预处理，得到预处理后的2D视频水平平移不变分量和预处理后的深度图噪声不变分量；
特征提取单元300，用于采用训练好的特征提取网络模型对预处理后的2D视频水平平移不变分量进行特征提取得到第一特征，对预处理后的深度图噪声不变分量进行特征提取得到第二特征；
特征融合单元400，用于若2D视频和深度图的版权所有者一样，则将第一特征和第二特征进行特征融合，得到融合特征；
特征加密单元500，用于采用混沌映射系统对融合特征进行加密和二值化，得到混沌序列，并将混沌序列和融合特征进行异或操作，得到加密特征；
水印恢复单元600，用于基于加密特征和原始二值水印，生成从共享，并根据从共享恢复水印；
版权鉴别单元700，用于根据原始二值水印和恢复的水印进行版权鉴别，以保护DIBR-3D视频的版权。
需要说明的是，由于本实施例中的一种DIBR-3D视频版权保护的零水印系统与上述的一种DIBR-3D视频版权保护的零水印方法基于相同的发明构思，因此，方法实施例中的相应内容同样适用于本系统实施例，此处不再详述。
参照图11，本申请实施例还提供了一种电子设备，本电子设备包括：
至少一个存储器；
至少一个处理器；
至少一个程序；
程序被存储在存储器中，处理器执行至少一个程序以实现本公开实施上述的DIBR-3D视频版权保护的零水印方法。
该电子设备可以为包括手机、平板电脑、个人数字助理（Personal DigitalAssistant，PDA）、车载电脑等任意智能终端。
下面对本申请实施例的电子设备进行详细介绍。
处理器1600，可以采用通用的中央处理器(Central Processing Unit，CPU)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本公开实施例所提供的技术方案；
存储器1700，可以采用只读存储器（Read Only Memory，ROM）、静态存储设备、动态存储设备或者随机存取存储器(Random Access Memory，RAM)等形式实现。存储器1700可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1700中，并由处理器1600来调用执行本公开实施例的DIBR-3D视频版权保护的零水印方法。
输入/输出接口1800，用于实现信息输入及输出；
通信接口1900，用于实现本设备与其他设备的通信交互，可以通过有线方式（例如USB、网线等）实现通信，也可以通过无线方式（例如移动网络、WIFI、蓝牙等）实现通信；
总线2000，在设备的各个组件（例如处理器1600、存储器1700、输入/输出接口1800和通信接口1900）之间传输信息；
其中处理器1600、存储器1700、输入/输出接口1800和通信接口1900通过总线2000实现彼此之间在设备内部的通信连接。
本公开实施例还提供了一种存储介质，该存储介质是计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令用于使计算机执行上述DIBR-3D视频版权保护的零水印方法。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本公开实施例描述的实施例是为了更加清楚的说明本公开实施例的技术方案，并不构成对于本公开实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本公开实施例提供的技术方案对于类似的技术问题，同样适用。
本领域技术人员可以理解的是，图中示出的技术方案并不构成对本公开实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory， ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序的介质。上面结合附图对本申请实施例作了详细说明，但本申请不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下作出各种变化。
Claims (10)
1.一种DIBR-3D视频版权保护的零水印方法，其特征在于，所述DIBR-3D视频版权保护的零水印方法包括：
提取DIBR-3D视频中2D视频水平平移不变分量和深度图噪声不变分量；
对所述2D视频水平平移不变分量和所述深度图噪声不变分量进行预处理，得到预处理后的2D视频水平平移不变分量和预处理后的深度图噪声不变分量；
采用训练好的特征提取网络模型对所述预处理后的2D视频水平平移不变分量进行特征提取得到第一特征，对所述预处理后的深度图噪声不变分量进行特征提取得到第二特征；
若2D视频和深度图的版权所有者一样，则将所述第一特征和所述第二特征进行特征融合，得到融合特征；
采用混沌映射系统对所述融合特征进行加密和二值化，得到混沌序列，并将所述混沌序列和所述融合特征进行异或操作，得到加密特征；
基于所述加密特征和原始二值水印，生成从共享，并根据所述从共享恢复水印；
根据所述原始二值水印和恢复的水印进行版权鉴别，以保护所述DIBR-3D视频的版权。
2.根据权利要求1所述的DIBR-3D视频版权保护的零水印方法，其特征在于，所述提取DIBR-3D视频中2D视频水平平移不变分量和深度图噪声不变分量，包括：
采用双树复小波变换提取所述DIBR-3D视频中的2D视频水平平移不变分量；
采用基于扩散模型的深度去噪网络提取所述DIBR-3D视频中的深度图噪声不变分量。
3.根据权利要求1所述的DIBR-3D视频版权保护的零水印方法，其特征在于，所述对所述2D视频水平平移不变分量和所述深度图噪声不变分量进行预处理，得到预处理后的2D视频水平平移不变分量和预处理后的深度图噪声不变分量，包括：
将所述2D视频水平平移不变分量和所述深度图噪声不变分量依次采用时空平滑、重采样和归一化进行预处理，得到预处理后的2D视频水平平移不变分量和预处理后的深度图噪声不变分量。
4.根据权利要求1所述的DIBR-3D视频版权保护的零水印方法，其特征在于，通过如下方式训练所述特征提取网络模型：
采用对抗监督机制增强所述DIBR-3D视频，得到增强后的视频数据；
将所述增强后的视频数据输入至基于3D-CNN模型和视频Transformer模型构建的特征提取网络模型中，并采用损失函数训练所述特征提取网络模型，得到训练好的特征提取网络模型。
5.根据权利要求4所述的DIBR-3D视频版权保护的零水印方法，其特征在于，所述采用对抗监督机制增强所述DIBR-3D视频，得到增强后的视频数据，包括：
采用多种攻击对原始DIBR-3D视频进行增广，得到攻击后的DIBR-3D视频；
将所述原始DIBR-3D视频和所述攻击后的DIBR-3D视频进行自监督标注，得到增强的视频数据。
6.根据权利要求4所述的DIBR-3D视频版权保护的零水印方法，其特征在于，所述采用损失函数训练所述特征提取网络模型，得到训练好的特征提取网络模型，包括：
构建对比损失函数和特征对齐损失函数；
将所述对比损失函数和所述特征对齐损失函数进行加权求和，得到总损失函数；
根据所述总损失函数训练所述特征提取网络模型，得到训练好的特征提取网络模型。
7.根据权利要求1所述的DIBR-3D视频版权保护的零水印方法，其特征在于，在采用训练好的特征提取网络模型对所述预处理后的2D视频水平平移不变分量进行特征提取得到第一特征，对所述预处理后的深度图噪声不变分量进行特征提取得到第二特征之后，所述DIBR-3D视频版权保护的零水印方法还包括：
若所述2D视频和所述深度图的版权所有者不一样，则采用混沌映射系统对所述第一特征进行加密和二值化，得到第一混沌序列，并将所述第一混沌序列和所述第一特征进行异或操作，得到第一加密特征；采用混沌映射系统对所述第二特征进行加密和二值化，得到第二混沌序列，并将所述第二混沌序列和所述第二特征进行异或操作，得到第二加密特征；
基于所述第一加密特征和原始二值水印，生成第一从共享，并根据所述第一从共享恢复第一水印；
基于所述第二加密特征和原始二值水印，生成第二从共享，并根据所述第二从共享恢复第二水印；
根据所述原始二值水印、恢复的第一水印和恢复的第二水印进行版权鉴别，以保护所述DIBR-3D视频的版权。
8.一种DIBR-3D视频版权保护的零水印系统，其特征在于，所述DIBR-3D视频版权保护的零水印系统包括：
数据提取单元，用于提取DIBR-3D视频中2D视频水平平移不变分量和深度图噪声不变分量；
数据处理单元，用于对所述2D视频水平平移不变分量和所述深度图噪声不变分量进行预处理，得到预处理后的2D视频水平平移不变分量和预处理后的深度图噪声不变分量；
特征提取单元，用于采用训练好的特征提取网络模型对所述预处理后的2D视频水平平移不变分量进行特征提取得到第一特征，对所述预处理后的深度图噪声不变分量进行特征提取得到第二特征；
特征融合单元，用于若2D视频和深度图的版权所有者一样，则将所述第一特征和所述第二特征进行特征融合，得到融合特征；
特征加密单元，用于采用混沌映射系统对所述融合特征进行加密和二值化，得到混沌序列，并将所述混沌序列和所述融合特征进行异或操作，得到加密特征；
水印恢复单元，用于基于所述加密特征和原始二值水印，生成从共享，并根据所述从共享恢复水印；
版权鉴别单元，用于根据所述原始二值水印和恢复的水印进行版权鉴别，以保护所述DIBR-3D视频的版权。
9.一种电子设备，其特征在于，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1至7任一项所述的DIBR-3D视频版权保护的零水印方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的DIBR-3D视频版权保护的零水印方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311469866.2A CN117241104B (zh) | 2023-11-07 | 2023-11-07 | 一种dibr-3d视频版权保护的零水印方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311469866.2A CN117241104B (zh) | 2023-11-07 | 2023-11-07 | 一种dibr-3d视频版权保护的零水印方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117241104A true CN117241104A (zh) | 2023-12-15 |
| CN117241104B CN117241104B (zh) | 2024-01-16 |
Family
ID=89082828
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311469866.2A Active CN117241104B (zh) | 2023-11-07 | 2023-11-07 | 一种dibr-3d视频版权保护的零水印方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117241104B (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004201004A (ja) * | 2002-12-18 | 2004-07-15 | Nippon Telegr & Teleph Corp <Ntt> | ３次元映像表示装置、プログラム、及び記録媒体 |
| EP2194726A1 (en) * | 2008-12-04 | 2010-06-09 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating depth, and method and apparatus for converting 2D video to 3D video |
| CN101990081A (zh) * | 2010-11-11 | 2011-03-23 | 宁波大学 | 一种虚拟视点图像的版权保护方法 |
| CN103198449A (zh) * | 2013-04-18 | 2013-07-10 | 山东大学 | 一种三维图像的数字水印方法 |
| KR101361108B1 (ko) * | 2013-02-05 | 2014-02-13 | 한국과학기술원 | Ｄｉｂｒ ３ｄ영상 저작권 보호를 위한 워터마킹 시스템 및 그 방법 |
| US20170109858A1 (en) * | 2015-10-15 | 2017-04-20 | Ningbo University | Zero-watermarking registration and detection method for HEVC video streaming against requantization transcoding |
| US20170249715A1 (en) * | 2016-02-29 | 2017-08-31 | Korea Advanced Institute Of Science And Technology | Template-based watermarking method for depth-image-based rendering based 3d image and apparatus thereof |
| KR20170101429A (ko) * | 2016-02-29 | 2017-09-06 | 한국과학기술원 | Dibr 3차원 영상을 위한 특징점 기반 워터마킹 방법 및 장치 |
| CN107222750A (zh) * | 2017-06-21 | 2017-09-29 | 北京工业大学 | 一种面向立体视频的频域视差相干水印方法 |
| KR20180031904A (ko) * | 2016-09-21 | 2018-03-29 | 광운대학교 산학협력단 | 깊이변화지도를 이용한 dibr 공격의 강인성 블라인드 워터마킹 방법 |
| CN110727928A (zh) * | 2019-10-12 | 2020-01-24 | 湘潭大学 | 一种基于深度强化学习优化的3d视频版权综合保护方法 |
| CN110889798A (zh) * | 2019-12-11 | 2020-03-17 | 中南大学 | 面向三维视频中二维视频帧和深度图版权保护的鲁棒性零水印方法 |
| CN111984942A (zh) * | 2020-07-23 | 2020-11-24 | 西安理工大学 | 基于极复指数变换和残差神经网络的鲁棒视频零水印方法 |
| CN114677257A (zh) * | 2022-03-28 | 2022-06-28 | 中南大学 | 基于3d视频的水印嵌入、提取和对比方法及系统 |
| CN115499668A (zh) * | 2022-11-16 | 2022-12-20 | 中南大学 | 音视频零水印生成、注册、版权鉴别方法及相关系统 |
-
2023
- 2023-11-07 CN CN202311469866.2A patent/CN117241104B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004201004A (ja) * | 2002-12-18 | 2004-07-15 | Nippon Telegr & Teleph Corp <Ntt> | ３次元映像表示装置、プログラム、及び記録媒体 |
| EP2194726A1 (en) * | 2008-12-04 | 2010-06-09 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating depth, and method and apparatus for converting 2D video to 3D video |
| CN101990081A (zh) * | 2010-11-11 | 2011-03-23 | 宁波大学 | 一种虚拟视点图像的版权保护方法 |
| KR101361108B1 (ko) * | 2013-02-05 | 2014-02-13 | 한국과학기술원 | Ｄｉｂｒ ３ｄ영상 저작권 보호를 위한 워터마킹 시스템 및 그 방법 |
| CN103198449A (zh) * | 2013-04-18 | 2013-07-10 | 山东大学 | 一种三维图像的数字水印方法 |
| US20170109858A1 (en) * | 2015-10-15 | 2017-04-20 | Ningbo University | Zero-watermarking registration and detection method for HEVC video streaming against requantization transcoding |
| US20170249715A1 (en) * | 2016-02-29 | 2017-08-31 | Korea Advanced Institute Of Science And Technology | Template-based watermarking method for depth-image-based rendering based 3d image and apparatus thereof |
| KR20170101429A (ko) * | 2016-02-29 | 2017-09-06 | 한국과학기술원 | Dibr 3차원 영상을 위한 특징점 기반 워터마킹 방법 및 장치 |
| KR20180031904A (ko) * | 2016-09-21 | 2018-03-29 | 광운대학교 산학협력단 | 깊이변화지도를 이용한 dibr 공격의 강인성 블라인드 워터마킹 방법 |
| CN107222750A (zh) * | 2017-06-21 | 2017-09-29 | 北京工业大学 | 一种面向立体视频的频域视差相干水印方法 |
| CN110727928A (zh) * | 2019-10-12 | 2020-01-24 | 湘潭大学 | 一种基于深度强化学习优化的3d视频版权综合保护方法 |
| CN110889798A (zh) * | 2019-12-11 | 2020-03-17 | 中南大学 | 面向三维视频中二维视频帧和深度图版权保护的鲁棒性零水印方法 |
| CN111984942A (zh) * | 2020-07-23 | 2020-11-24 | 西安理工大学 | 基于极复指数变换和残差神经网络的鲁棒视频零水印方法 |
| CN114677257A (zh) * | 2022-03-28 | 2022-06-28 | 中南大学 | 基于3d视频的水印嵌入、提取和对比方法及系统 |
| CN115499668A (zh) * | 2022-11-16 | 2022-12-20 | 中南大学 | 音视频零水印生成、注册、版权鉴别方法及相关系统 |
Non-Patent Citations (7)
| Title |
|---|
| XIYAO LIU ET AL: "DIBR_Zero-Watermarking_Based_on_Invariant_Feature_and_Geometric_Rectification", 《DIGITAL OBJECT IDENTIFIER》 * |
| XIYAO LIU ET AL: "Discriminative_and_Geometrically_Robust_Zero-Watermarking_Scheme_for_Protecting_DIBR_3D_Videos", 2021IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO(ICME) * |
| YANG GUAN ET AL: "A_digital_blind_watermarking_scheme_based_on_quantization_index_modulation_in_depth_map_for_3D_video", 2014 13TH INTERNATIONAL CONFERENCE ON CONTROL，AUTOMATION，ROBOTICS& VISION（ICARCV 2014） * |
| 左力文;骆挺;蒋刚毅;郁梅;高巍;: "基于多视点视频特征的3D-HEVC深度视频信息隐藏算法", 光电子・激光, no. 05 * |
| 张晓鹏;童小华;刘妙龙;: "一种基于混沌变换和小波变换的零水印算法", 测绘与空间地理信息, no. 01 * |
| 王佳钰: "DIBR_3D视频版权保护算法研究", 《中国优秀硕士学位论文全文数据库（电子期刊）》 * |
| 田敏;刘琚;万文博;刘永康;王锋;: "零视差点重组在三维图像数字水印中的应用", 信号处理, no. 12 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117241104B (zh) | 2024-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wan et al. | A comprehensive survey on robust image watermarking | |
| Yan et al. | A survey of quantum image representations | |
| CN110084733A (zh) | 文本图像水印的嵌入方法及系统、提取方法及系统 | |
| CN112560753A (zh) | 基于特征融合的人脸识别方法、装置、设备及存储介质 | |
| Agilandeeswari et al. | RST invariant robust video watermarking algorithm using quaternion curvelet transform | |
| Jeevitha et al. | Effective payload and improved security using HMT Contourlet transform in medical image steganography | |
| CN117437108B (zh) | 一种针对图像数据的水印嵌入方法 | |
| Singh et al. | A robust information hiding algorithm based on lossless encryption and NSCT-HD-SVD | |
| Rinki et al. | A novel matrix multiplication based LSB substitution mechanism for data security and authentication | |
| CN110889798B (zh) | 三维视频中二维视频帧和深度图版权保护的零水印方法 | |
| Fan et al. | A novel zero watermark optimization algorithm based on Gabor transform and discrete cosine transform | |
| Cao et al. | Screen-shooting resistant image watermarking based on lightweight neural network in frequency domain | |
| CN102956025B (zh) | 一种图像水印检测方法及其系统 | |
| Mali et al. | Non-redundant shift-invariant complex wavelet transform and fractional gorilla troops optimization-based deep convolutional neural network for video watermarking | |
| Thilagavathi et al. | A survey of reversible watermarking techniques, application and attacks | |
| Al-Otum | Dual image watermarking using a multi-level thresholding and selective zone-quantization for copyright protection, authentication and recovery applications | |
| Kukreja et al. | Extended visual cryptography-based copyright protection scheme for multiple images and owners using LBP–SURF descriptors | |
| Aberna et al. | Optimal semi-fragile watermarking based on maximum entropy random walk and swin transformer for tamper localization | |
| CN117241104B (zh) | 一种dibr-3d视频版权保护的零水印方法及系统 | |
| Sharma et al. | Robust image watermarking using LWT and stochastic gradient firefly algorithm | |
| CN110430333B (zh) | 一种分数阶Tchebichef变换域的双图像主动认证方法 | |
| Kaur et al. | Robust multimedia watermarking: characteristics, applications, and attacks | |
| Ziabari et al. | The optimized image watermarking using genetic algorithm | |
| Su et al. | A fusion-domain intelligent blind color image watermarking scheme using graph-based transform | |
| CN117036145B (zh) | 元宇宙光场图像鲁棒零水印方法、系统、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |