CN111984942B - 基于极复指数变换和残差神经网络的鲁棒视频零水印方法 - Google Patents
基于极复指数变换和残差神经网络的鲁棒视频零水印方法 Download PDFInfo
- Publication number
- CN111984942B CN111984942B CN202010719213.5A CN202010719213A CN111984942B CN 111984942 B CN111984942 B CN 111984942B CN 202010719213 A CN202010719213 A CN 202010719213A CN 111984942 B CN111984942 B CN 111984942B
- Authority
- CN
- China
- Prior art keywords
- video
- watermark
- sequence
- robust
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000009466 transformation Effects 0.000 title claims abstract description 28
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 19
- 238000003062 neural network model Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000012795 verification Methods 0.000 claims abstract description 8
- 230000000739 chaotic effect Effects 0.000 claims description 61
- 239000013598 vector Substances 0.000 claims description 35
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 15
- 108010076504 Protein Sorting Signals Proteins 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 10
- 238000009792 diffusion process Methods 0.000 claims description 9
- 230000001174 ascending effect Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 6
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 241001334134 Rugopharynx epsilon Species 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims 1
- 150000001875 compounds Chemical class 0.000 claims 1
- 230000006870 function Effects 0.000 description 10
- 239000002131 composite material Substances 0.000 description 6
- 238000011084 recovery Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/16—Program or content traceability, e.g. by watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
- G06T1/0071—Robust watermarking, e.g. average attack or collusion attack resistant using multiple or alternating watermarks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0065—Extraction of an embedded watermark; Reliable detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computer Hardware Design (AREA)
- Technology Law (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computer Security & Cryptography (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种基于极复指数变换和残差神经网络的鲁棒视频零水印方法，包括对视频进行预处理，选取出每组镜头的关键帧；对视频的原始水印进行加密处理，借助极复指数变换得到关键帧的不变矩，将不变矩送入预训练的深度残差神经网络模型中，提取关键帧的鲁棒内容特征，将鲁棒内容特征与加密后的水印进行异或运算，生成视频独有的鲁棒零水印信号，从待验证视频中选取关键帧，提取关键帧的鲁棒内容特征，将鲁棒内容特征与待验证视频对应的鲁棒零水印信号进行异或运算，获得原始水印，实现视频的版权验证。本发明鲁棒视频零水印方法解决了鲁棒性和不可感知性之间的平衡问题，提高了抵抗去同步化攻击能力，能够有效地保护视频媒体的版权。
Description
技术领域
本发明属于多媒体内容保护和防伪技术领域，涉及一种基于极复指数变换和残差神经网络的鲁棒视频零水印方法。
背景技术
随着移动互联网技术的迅速普及和各种短视频应用的兴起，网络视频数据量急剧增加，视频数据的安全引起了人们更多的注意。尤其在近几年，各种盗版视频充斥着网络，视频媒体的版权保护是一个亟待解决的问题。
数字水印是一种有效的版权保护方式。传统的水印方法通过修改原始视频数据来实现水印的嵌入，但这必然会导致原始视频视觉质量的降低。另外，在水印嵌入时其鲁棒性和不可感知性之间的均衡也不易实现。很显然，在视觉质量要求较高(不允许对视频媒体进行信息嵌入操作而引起视觉质量的畸变等，例如医学、军事、司法、遥感等特殊领域)环境下，传统数字水印的使用受到很大限制。为了应对这些问题，不修改原始视频的零水印嵌入模式应运而生。通过构造需要保护视频媒体的独特零水印信号，并注册在公开的知识产权库以备版权认证需要时查验。
现有的视频零水印方法普遍存在抵抗去同步化攻击能力弱的缺陷，以及未充分考虑均衡性和差异性等性能，从而难以有效地保护视频媒体的版权。
发明内容
本发明的目的是提供一种基于极复指数变换和残差神经网络的鲁棒视频零水印方法，解决了现有视频水印抵抗去同步化攻击能力弱，难以有效保护视频媒体版权的问题。
本发明所采用的技术方案是，基于极复指数变换和残差神经网络的鲁棒视频零水印方法，包括对视频进行预处理，选取出每组镜头的关键帧；对原始水印进行加密处理，获得加密后的水印；零水印构造，借助极复指数变换得到关键帧的不变矩，将不变矩送入预训练的深度残差神经网络模型中，提取关键帧的鲁棒内容特征，将鲁棒内容特征二值化后与加密后的水印进行异或运算，生成视频独有的鲁棒零水印信号；零水印检测，从待验证视频中选取关键帧，提取关键帧的鲁棒内容特征，将提取的鲁棒内容特征二值化后与待验证视频对应的鲁棒零水印信号进行异或运算，获得原始水印，实现视频的版权验证。
本发明的技术特征还在于，
对视频进行预处理，包括利用相关系数对原始视频V进行镜头边界检测和镜头分割，并通过极大熵选取每组镜头的关键帧，得到原始视频V的关键帧序列Vkeyframe＝{f1，f2，…，fM}；
对视频进行预处理，具体包括以下步骤：
步骤1.1，将原始视频V转换成连续的视频帧序列V＝{I1，I2，…}，从第1帧开始，选择相邻的两帧图像，即第i帧图像Ii和第i+1帧图像Ii+1，将它们分割成R、G、B三个颜色通道，分别为Ii(R)、Ii(G)、Ii(B)和Ii+1(R)、Ii+1(G)、Ii+1(B)；
步骤1.2，根据公式(1)分别计算第i帧Ii和第i+1帧Ii+1不同颜色通道之间的三个相关系数ρ(Ii(R)，Ii+1(R))，ρ(Ii(G)，Ii+1(G))和ρ(Ii(B)，Ii+1(B))，并将三个颜色通道之间相关系数的平均值ρavg作为连续两视频帧Ii和Ii+1之间的相似度，其中，
式(1)中，和/>分别是矩阵U和V的均值，m×n是矩阵的尺寸大小；
步骤1.3，根据相似度ρavg判断两视频图像帧Ii和Ii+1是否属于同一组镜头，若相似度ρavg小于阈值λ，则说明连续两视频图像帧Ii和Ii+1不相似，则判定视频帧Ii+1为镜头切换帧；否则，判定两视频帧Ii+1和Ii属于同一组镜头；
步骤1.4，重复步骤1.1-1.3处理原始视频的所有帧，得到镜头集合S＝{S1，S2，…，Sl，…，SL}，其中镜头组具有αl+1个视频帧，且/>r∈{1，2，…，L-1}；按照每组镜头中的帧数从大到小进行排序，选取前M组镜头集合S＝{S1，S2，…，SM}，M为镜头组的数量；
为了提高水印的鲁棒性，在每一组镜头的一个关键帧中嵌入水印信号，根据公式(3)，镜头组数量M由原始水印W的比特量决定，即
其中，P为原始水印的长度，Q为原始水印的宽度；
步骤1.5，计算每组镜头中所有帧的信息熵Hri
其中，表示第r组镜头Sr中第i帧Ii的k颜色通道灰度级j出现的概率，可以通过灰度直方图得到；Hri表示第r组镜头Sr中第i帧Ii的信息熵，是R、G、B三个颜色通道信息熵的均值；
步骤1.6，按照公式(5)在每组镜头中选择信息熵值最大的帧作为对应镜头组的关键帧，公式(5)如下：
其中，fr表示第r镜头组Sr中的关键帧；
步骤1.7，按照步骤1.6处理原始视频V的所有镜头集合S＝{S1，S2，…，Sl，…，SL}，最终得到原始视频V的M个关键帧集合，即关键帧序列Vkeyframe＝{f1，f2，…，fM}。
阈值λ是利用所有相邻帧之间相似度的最大值max(ρavg)、最小值min(ρavg)和平均值average(ρavg)进行计算得到，即
mean1＝[max(ρavg)+min(ρavg)]/2 (7)
mean2＝average(ρavg) (8)
对视频的原始水印进行加密处理，包括采用复合混沌映射生成的混沌序列对原始水印进行置乱和扩散二级加密处理，获得加密水印序列WE。
对视频的原始水印进行加密处理，具体包括以下步骤：
步骤2.1，利用密钥Key2和Key3作为复合混沌系统的初始值(x0，y0)和控制参数α与β，借助公式(9)通过迭代生成二个长度均为P×Q×2的混沌序列，分别取它们的后P×Q个值作为混沌序列Y2和Y3，P×Q为原始水印的比特数，公式(9)如下：
步骤2.2，根据公式(10)，将混沌序列Y2进行二值化处理，生成二值混沌序列BY2，公式(10)如下：
BY2(i)＝floor(Y2×105)mod2 (10)
式(10)中，floor表示四舍五入取整函数，mod表示取模运算；
步骤2.3，根据公式(11)将混沌序列Y3按升序排序，得到排序后的序列索引值index2，公式(11)如下：
[index2，Y3S]＝sort(Y3) (11)
式中，sort表示排序函数，Y3S表示Y3排序后的信号序列，index2表示Y3排序后的序列索引值；
步骤2.4，将原始水印W按照先行后列由矩阵转换为序列，然后利用索引值index2对原始水印W按照公式(12)进行置乱，得到置乱水印WS，即
Ws＝W(index2) (12)
步骤2.5，利用二值混沌序列BY2对置乱水印WS进行扩散处理，即在二值混沌序列BY2与置乱水印WS上按照公式(13)进行异或运算，得到加密水印序列WE，即
其中，表示逻辑异或操作。
零水印构造，输入包括原始视频V的M个关键帧{f1，f2，…，fM}，大小为P×Q的加密水印序列WE和密钥Key1，输出是零水印信号ZW。
零水印构造具体包括以下步骤：
步骤3.1，关键帧的二值特征向量提取并置乱
按照公式(14)计算所有关键帧亮度分量的极复指数变换PCET的不变矩Mnl，再依据公式(15)选择精确矩系数
其中，空域关键帧亮度分量图像f(x，y)先从笛卡尔坐标转换到极坐标(r，θ)，然后进行极复指数变换，n为阶数，l为重复度，|n|+|l|≤K，K为最高阶，m为非负整数；
步骤3.2，根据公式(16)将精确矩系数规范化到[0，255]
其中，表示规范化后的精确矩系数；
步骤3.3，通过在ImageNet图像库上预训练的残差神经网络模型ResNet-50对规范后的PCET精确矩进行二次特征提取，将规范化的PCET精确系数重构为224×224×3的矩阵，然后作为预训练的残差神经网络模型ResNet-50的输入，选择'avg_pool'作为特征提取层，可以得到2048维帧特征向量FF，所有关键帧最终可以得到2048×M维视频特征向量VF；
步骤3.4，根据公式(17)和(18)，将视频特征向量VF中的每个分量VF(i)的绝对值与其整体均值Avg比较大小，生成二值化视频特征向量VFB，即
式中：abs表示取绝对值函数，Avg表示视频特征向量VF的整体均值；
步骤3.5，利用密钥Key1作为混合混沌系统的初始值(x0，y0)和控制参数α与β，借助公式(9)迭代生成长度为P×Q×2的混沌序列，取所述混沌序列后P×Q个值作为混沌序列Y1，即Y1＝{y1，y2，…，yP×Q}；
步骤3.6，根据公式(19)对混沌序列Y1进行升序排列，并记录排序后序列的索引值index1，即
[index1，Y1S]＝sort(Y1) (19)
其中，sort表示排序函数，Y1S表示Y1排序后的信号序列，index1表示Y1排序后得到的序列索引值；
步骤3.7，利用索引值index1对二值视频特征向量VFB按照公式(20)进行置乱，得到置乱二值视频特征向量VFBs，
VFBs＝VFB(index1) (20)
步骤3.8，按照公式(21)将置乱的二值视频特征向量VFBs与加密后的水印序列WE进行异或运算，生成原始视频V对应的零水印信号ZW，即
零水印检测，具体包括将待验证视频转换为一系列图像帧，按照相似度进行镜头分割，依据图像帧的信息熵值选取每组镜头的关键帧，对关键帧二值特征向量进行提取与置乱，然后将得到的二值视频特征向量VFBs与待验证视频对应的零水印信号ZW进行异或运算，生成对应的加密水印信号序列WE，对加密水印信号序列WE进行反扩散和反置乱，获得原始水印WO，实现视频的版权验证。
本发明的有益效果是，采用零水印模式保护视频媒体的版权，有效解决了鲁棒性和不可感知性之间的平衡问题，提高了抵抗去同步化攻击能力，能够有效地保护视频媒体的版权，同时也提高了视觉质量；视频媒体在镜头分割基础上选择关键帧，借助极复指数变换得到关键帧的不变矩，送入预训练过的深度残差神经网络模型(ResNet-50)利用深度学习提取关键帧的鲁棒内容特征，并与通过复合混沌映射(Composite chaotic map，CCM)加密后的原始水印进行异或运算，最终生成视频媒体独有的零水印信号，注册和存储起来以备未来版权识别时查验；采用的复合混沌映射由逻辑斯谛(Logistic)映射和正弦映射(Sine)混合而成，具有较好的超混沌性；本发明结合极复指数变换(PCET)和残差神经网络模型(ResNet)提取视频关键帧的鲁棒且独有特征，保证本发明视频零水印的高可靠性和辨识度；利用复合混沌映射加密原始水印和置乱关键帧特征，既提高了本发明的安全性，也有效增强了零水印信号的随机性；本发明结合深度学习和信号不变矩双层特征提取方法，有效解决了视频媒体鲁棒特征的提取问题，不但具有极佳的视觉质量，没有视频质量失真，而且能够鲁棒抵抗去同步化攻击(例如帧内的几何旋转和缩放变换、帧间的掉帧、帧交换、帧平均等攻击)，从而有效地实现视频媒体的版权保护。
附图说明
图1是本发明基于极复指数变换和残差神经网络的鲁棒视频零水印方法的流程示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于极复指数变换和残差神经网络的鲁棒视频零水印方法，参照图1，包括先对视频进行预处理，选取出每组镜头的关键帧；对视频的原始水印进行加密处理，获得加密后的水印；零水印构造，借助极复指数变换得到关键帧的不变矩，将不变矩送入预训练的深度残差神经网络模型中，提取关键帧的鲁棒内容特征，将鲁棒内容特征二值化后与加密后的水印进行异或运算，生成视频独有的鲁棒零水印信号；零水印检测，从待验证视频中选取关键帧，提取关键帧的鲁棒内容特征，将提取的鲁棒内容特征二值化后与待验证视频对应的鲁棒零水印信号进行异或运算，获得原始水印，实现视频的版权验证。
具体包括以下步骤：
步骤1，视频预处理
利用相关系数对原始视频V进行镜头边界检测和镜头分割，并通过极大熵选取每组镜头的关键帧，得到原始视频V的关键帧序列Vkeyframe＝{f1，f2，…，fM}，具体步骤如下：
步骤1.1，将原始视频V转换成连续的视频帧序列V＝{I1，I2，…，Ii}，从第1帧开始，选择相邻的两帧图像，即第i帧图像Ii和第i+1帧图像Ii+1，将它们分割成R、G、B三个颜色通道，分别为Ii(R)、Ii(G)、Ii(B)和Ii+1(R)、Ii+1(G)、Ii+1(B)；
步骤1.2，根据公式(1)分别计算第i帧Ii和第i+1帧Ii+1不同颜色通道之间的三个相关系数ρ(Ii(R)，Ii+1(R))，ρ(Ii(G)，Ii+1(G))和ρ(Ii(B)，Ii+1(B))，并将三个颜色通道之间相关系数的平均值ρavg作为连续两视频帧Ii和Ii+1之间的相似度，其中，
式(1)中，和/>分别是矩阵U和V的均值，m×n是矩阵的尺寸大小；
步骤1.3，根据相似度ρavg判断两视频图像帧Ii和Ii+1是否属于同一组镜头，若相似度ρavg小于阈值λ，则说明连续两视频图像帧Ii和Ii+1不相似，则判定视频帧Ii+1为镜头切换帧；否则，判定两视频帧Ii+1和Ii属于同一组镜头；
其中，阈值λ是利用所有相邻帧之间相似度的最大值max(ρavg)、最小值min(ρavg)和平均值average(ρavg)进行计算得到，即
mean1＝[max(ρavg)+min(ρavg)]/2 (4)
mean2＝average(ρavg) (5)
步骤1.4，重复步骤1.1-1.3处理原始视频的所有帧，得到镜头集合S＝{S1，S2，…，Sl，…，SL}，其中镜头组具有αl+1个视频帧，且/>r∈{1，2，…，L-1}；按照每组镜头中的帧数从大到小进行排序，选取前M组镜头集合S＝{S1，S2，…，SM}，M为镜头组的数量；
为了提高水印的鲁棒性，在每一组镜头的一个关键帧中嵌入水印信号，根据公式(6)，镜头组数量M(或关键帧的数目)由原始水印W的比特量决定，即
其中，P为原始水印的长度，Q为原始水印的宽度；
步骤1.5，计算每组镜头中所有帧的信息熵Hri
其中，表示第r组镜头Sr中第i帧Ii的k颜色通道灰度级j出现的概率，其可以通过灰度直方图得到；Hri表示第r组镜头Sr中第i帧Ii的信息熵，它是R、G、B三个颜色通道信息熵的均值；
步骤1.6，按照公式(8)在每组镜头中选择信息熵值最大的帧作为对应镜头组的关键帧，公式(8)如下：
其中，fr表示第r镜头组Sr中的关键帧；
步骤1.7，按照步骤1.6处理原始视频V的所有镜头集合S＝{S1，S2，…，Sl，…，SL}，最终得到原始视频V的M个关键帧集合，即关键帧序列Vkeyframe＝{f1，f2，…，fM}。
步骤2，原始水印加密
为了提升本发明中鲁棒视频零水印的安全性，采用复合混沌映射生成的混沌序列对原始水印进行置乱和扩散二级加密处理，获得加密水印序列WE，具体步骤如下：
步骤2.1，利用密钥Key2和Key3作为复合混沌系统的初始值(x0，y0)和控制参数α与β，借助公式(9)迭代生成二个长度均为P×Q×2的混沌序列，分别取它们的后P×Q个值作为混沌序列Y2和Y3，P×Q为原始水印的比特数，公式(9)如下：
步骤2.2，根据公式(10)，将混沌序列Y2进行二值化处理，生成二值混沌序列BY2，公式(10)如下：
BY2(i)＝floor(Y2×105)mod2 (10)
式(10)中，floor表示四舍五入取整函数，mod表示取模运算。
步骤2.3，根据公式(11)将混沌序列Y3按升序排序，得到排序后的序列索引值index2，公式(11)如下：
[index2，Y3S]＝sort(Y3) (11)
式中，sort表示排序函数，Y3S表示Y3排序后的信号序列，index2表示Y3排序后的序列索引值；
步骤2.4，将原始水印W按照先行后列由矩阵转换为序列，然后利用索引值index2对原始水印W按照公式(12)进行置乱，得到置乱水印WS，即
Ws＝W(index2) (12)
步骤2.5，利用二值混沌序列BY2对置乱水印WS进行扩散处理，即在二值混沌序列BY2与置乱水印WS上按照公式(13)进行异或运算，得到加密水印序列WE，即
其中，表示逻辑异或操作。
步骤3，零水印构造
首先利用极复指数变换(PCET)矩和残差神经网络(ResNet)提取关键帧亮度分量的二值特征向量。然后，将得到的二值特征向量与加密后的水印进行异或运算获得零水印信号。在零水印构造过程中，输入包括原始视频V的M个关键帧{f1，f2，…，fM}，大小为P×Q的加密水印序列WE和密钥Key1，输出是零水印信号ZW，具体步骤如下：
步骤3.1，关键帧的二值特征向量提取并置乱
按照公式(14)计算所有关键帧亮度分量的极复指数变换PCET的不变矩Mnl，再依据公式(15)选择精确矩系数
其中，空域关键帧亮度分量图像f(x，y)先从笛卡尔坐标转换到极坐标(r，θ)，然后进行极复指数变换，n为阶数，l为重复度，|n|+|l|≤K，K为最高阶，m为非负整数；通常情况下，可用的精确极复指数矩的数量Num取决于最高矩阶数K，即Num＝(K+1)2+K2。在本方法中，提取关键帧亮度分量的精确矩系数的数量为224×224。
步骤3.2，根据公式(16)将精确矩系数规范化到[0，255]
其中，表示规范化后的精确矩系数，/>表示规范化后的精确矩系数，min表示最小值函数，max表示最大值函数；
步骤3.3，选择残差神经网络ResNet50作为帧特征提取器，通过在ImageNet图像库上预训练的残差神经网络模型ResNet-50对规范后的PCET精确矩进行二次特征提取，将规范化的PCET精确系数重构为224×224×3的矩阵，然后作为预训练的残差神经网络模型ResNet-50的输入，选择'avg_pool'作为特征提取层，可以得到2048维帧特征向量FF，所有关键帧最终可以得到2048×M维视频特征向量VF；
步骤3.4，根据公式(17)和(18)，将视频特征向量VF中的每个分量VF(i)的绝对值与其整体均值Avg比较大小，生成二值化视频特征向量VFB，即
式中：abs表示取绝对值函数，Avg表示视频特征向量VF的整体均值；
步骤3.5，利用密钥Key1作为复合混沌系统的初始值(x0，y0)和控制参数α与β，借助公式(9)迭代生成长度为P×Q×2的混沌序列，取所述混沌序列后P×Q个值作为混沌序列Y1，即Y1＝{y1，y2，…，yP×Q}；
步骤3.6，根据公式(19)对混沌序列Y1进行升序排列，并记录排序后序列的索引值index1，即
[index1，Y1S]＝sort(Y1) (19)
其中，sort表示排序函数，Y1S表示Y1排序后的信号序列，index1表示Y1排序后得到的序列索引值；
步骤3.7，利用索引值index1对二值视频特征向量VFB按照公式(20)进行置乱，得到置乱二值视频特征向量VFBs，
VFBs＝VFB(index1) (20)
步骤3.8，按照公式(21)将置乱的二值视频特征向量VFBs与加密后的水印序列WE进行异或运算，生成原始视频V对应的零水印信号ZW，即
将零水印信号ZW进一步转换为零水印信号矩阵，再将零水印信号ZW在第三方公开库中注册，以供后期水印检测过程调用。
步骤4，零水印信号检测
零水印检测过程包括视频预处理、关键帧二值特征提取、原始水印恢复等。检测过程中的待验证视频V预处理与第一部分视频预处理类似，包括将待验证视频转换为一系列的图像帧，按照相似度进行镜头分割，依据图像帧的信息熵值选取每组镜头的关键帧。关键帧二值特征向量提取与零水印构造过程的相应部分类似，包括PCET精确矩的计算、规范化、利用深度残差神经络提取特征、二值化及置乱等。原始水印恢复包括加密水印恢复、水印反扩散、水印反置乱以及原始水印恢复等过程。
零水印检测过程的输入包括待验证视频V及其对应的在公开库中注册的零水印信号ZW，三个密钥Key1、Key2、Key3，输出是原始水印WO。
零水印检测的详细步骤如下：
步骤4.1，视频预处理，与步骤1中的视频预处理方法相同，获得每组镜头的关键帧；
步骤4.2，关键帧亮度分量二值特征提取与置乱，该过程与步骤2中“关键帧的二值特征向量提取并置乱”的过程相类似；
步骤4.3，原始水印恢复
步骤4.3.1，加密水印恢复
按照计算公式(22)，将得到的关键帧二值特征向量VFBs与公开库中存储的与待验证视频V对应的零水印信号ZW进行异或运算，生成对应的加密水印信号序列WE，即
其中，表示逻辑异或操作，ZW表示零水印信号序列。
步骤4.3.2，混沌序列生成
利用密钥Key2和Key3作为复合混沌系统的初始值(x0，y0)和控制参数α与β，借助系统公式(9)生成二个混沌序列，长度均为P×Q×2，分别选取它们的后P×Q序列值作为混沌序列Y2和Y3；
步骤4.3.3，混沌序列二值化
根据公式(10)，将混沌序列Y2进行二值化，生成二值混沌序列BY2。
步骤4.3.4，水印反扩散
利用二值混沌序列BY2对加密水印序列WE进行反扩散，即在二值混沌序列BY2与加密水印序列WE上按照公式(23)进行异或运算，得到置乱水印序列WS，即
其中，表示逻辑异或操作；
步骤4.3.5，水印反置乱
根据公式(11)将混沌序列Y3按升序排序，得到排序后的序列索引值index2，利用索引值index2对置乱水印序列WS按照公式(24)进行反置乱，得到原始水印序列WO，进一步转换为原始水印矩阵，最终依据获得的具有丰富语义的原始水印实现视频的版权验证，即
WO＝WS([index2)-1) (24)。
Claims (9)
1.基于极复指数变换和残差神经网络的鲁棒视频零水印方法，其特征在于，包括对视频进行预处理，选取出每组镜头的关键帧；对视频的原始水印进行加密处理，获得加密后的水印；零水印构造，借助极复指数变换得到关键帧的不变矩，将不变矩送入预训练的深度残差神经网络模型中，提取关键帧的鲁棒内容特征，将鲁棒内容特征二值化后与加密后的水印进行异或运算，生成视频独有的鲁棒零水印信号；零水印检测，从待验证视频中选取关键帧，提取关键帧的鲁棒内容特征，将提取的鲁棒内容特征二值化后与待验证视频对应的鲁棒零水印信号进行异或运算，获得原始水印，实现视频的版权验证。
2.根据权利要求1所述的基于极复指数变换和残差神经网络的鲁棒视频零水印方法，其特征在于，对视频进行预处理，包括利用相关系数对原始视频V进行镜头边界检测和镜头分割，并通过极大熵选取每组镜头的关键帧，得到原始视频V的关键帧序列Vkeyframe＝{f1，f2，…，fM}。
3.根据权利要求2所述的基于极复指数变换和残差神经网络的鲁棒视频零水印方法，其特征在于，对视频进行预处理，具体包括以下步骤：
步骤1.1，将原始视频V转换成连续的视频帧序列V＝{I1，I2，…}，从第1帧开始，选择相邻的两帧图像，即第i帧图像Ii和第i+1帧图像Ii+1，将它们分割成R、G、B三个颜色通道，分别为Ii(R)、Ii(G)、Ii(B)和Ii+1(R)、Ii+1(G)、Ii+1(B)；
步骤1.2，根据公式(1)分别计算第i帧Ii和第i+1帧Ii+1不同颜色通道之间的三个相关系数ρ(Ii(R)，Ii+1(R))，ρ(Ii(G)，Ii+1(G))和ρ(Ii(B)，Ii+1(B))，并将三个颜色通道之间相关系数的平均值ρavg作为连续两视频帧Ii和Ii+1之间的相似度，其中，
式(1)中，和/>分别是矩阵U和V的均值，m×n是矩阵的尺寸大小；
步骤1.3，根据相似度ρavg判断两视频图像帧Ii和Ii+1是否属于同一组镜头，若相似度ρavg小于阈值λ，则说明连续两视频图像帧Ii和Ii+1不相似，则判定视频帧Ii+1为镜头切换帧；否则，判定两视频帧Ii+1和Ii属于同一组镜头；
步骤1.4，重复步骤1.1-1.3处理原始视频的所有帧，得到镜头集合S＝{S1，S2，…，Sl，…，SL}，其中镜头组具有αl+1个视频帧，且/>r∈{1，2，…，L-1}；按照每组镜头中的帧数从大到小进行排序，选取前M组镜头集合S＝{S1，S2，…，SM}，M为镜头组的数量；
为了提高水印的鲁棒性，在每一组镜头的一个关键帧中嵌入水印信号，根据公式(3)，镜头组数量M由原始水印W的比特量决定，即
其中，P为原始水印的长度，Q为原始水印的宽度；
步骤1.5，计算每组镜头中所有帧的信息熵Hri
其中，表示第r组镜头Sr中第i帧Ii的k颜色通道灰度级j出现的概率，可以通过灰度直方图得到；Hri表示第r组镜头Sr中第i帧Ii的信息熵，是R、G、B三个颜色通道信息熵的均值；
步骤1.6，按照公式(5)在每组镜头中选择信息熵值最大的帧作为对应镜头组的关键帧，公式(5)如下：
其中，fr表示第r镜头组Sr中的关键帧；
步骤1.7，按照步骤1.6处理原始视频V的所有镜头集合S＝{S1，S2，…，Sl，…，SL}，最终得到原始视频V的M个关键帧集合，即关键帧序列Vkeyframe＝{f1，f2，…，fM}。
4.根据权利要求3所述的基于极复指数变换和残差神经网络的鲁棒视频零水印方法，其特征在于，所述阈值λ是利用所有相邻帧之间相似度的最大值max(ρavg)、最小值min(ρavg)和平均值average(ρavg)进行计算得到，即
mean1＝[max(ρavg)+min(ρavg)]/2 (7)
mean2＝average(ρavg) (8)。
5.根据权利要求1或4所述的基于极复指数变换和残差神经网络的鲁棒视频零水印方法，其特征在于，对视频的原始水印进行加密处理，包括采用复合混沌映射生成的混沌序列对原始水印进行置乱和扩散二级加密处理，获得加密水印序列WE。
6.根据权利要求5所述的基于极复指数变换和残差神经网络的鲁棒视频零水印方法，其特征在于，对视频的原始水印进行加密处理，具体包括以下步骤：
步骤2.1，利用密钥Key2和Key3作为复合混沌系统的初始值(x0,y0)和控制参数α与β，借助公式(9)迭代生成二个长度均为P×Q×2的混沌序列，分别取它们的后P×Q个值作为混沌序列Y2和Y3，P×Q为原始水印的比特数，公式(9)如下：
步骤2.2，根据公式(10)，将混沌序列Y2进行二值化处理，生成二值混沌序列BY2，公式(10)如下：
BY2(i)＝floor(Y2×105)mod2 (10)
式(10)中，floor表示四舍五入取整函数，mod表示取模运算；
步骤2.3，根据公式(11)将混沌序列Y3按升序排序，得到排序后的序列索引值index2，公式(11)如下：
[index2，Y3S]＝sort(Y3) (11)
式中，sort表示排序函数，Y3S表示Y3排序后的信号序列，index2表示Y3排序后的序列索引值；
步骤2.4，将原始水印W按照先行后列由矩阵转换为序列，然后利用索引值index2对原始水印W按照公式(12)进行置乱，得到置乱水印WS，即
Ws＝W(index2) (12)
步骤2.5，利用二值混沌序列BY2对置乱水印WS进行扩散处理，即在二值混沌序列BY2与置乱水印WS上按照公式(13)进行异或运算，得到加密水印序列WE，即
其中，⊕表示逻辑异或操作。
7.根据权利要求6所述的基于极复指数变换和残差神经网络的鲁棒视频零水印方法，其特征在于，所述零水印构造，输入包括原始视频V的M个关键帧{f1，f2，…，fM}，大小为P×Q的加密水印序列WE和密钥Key1，输出是零水印信号ZW。
8.根据权利要求7所述的基于极复指数变换和残差神经网络的鲁棒视频零水印方法，其特征在于，所述零水印构造具体包括以下步骤：
步骤3.1，关键帧的二值特征向量提取并置乱
按照公式(14)计算所有关键帧的极复指数变换PCET的不变矩Mnl，再依据公式(15)选择精确矩系数
其中，空域关键帧亮度分量图像f(x，y)先从笛卡尔坐标转换到极坐标(r，θ)，然后进行极复指数变换，n为阶数，l为重复度，|n|+|l|≤K，K为最高阶，m为非负整数；
步骤3.2，根据公式(16)将精确矩系数规范化到[0，255]
其中，表示规范化后的精确矩系数；
步骤3.3，通过在ImageNet图像库上预训练的残差神经网络模型ResNet-50对规范后的PCET精确矩进行二次特征提取，将规范化的PCET精确系数重构为224×224×3的矩阵，然后作为预训练的残差神经网络模型ResNet-50的输入，选择'avg_pool'作为特征提取层，可以得到2048维帧特征向量FF，所有关键帧最终可以得到2048×M维视频特征向量VF；
步骤3.4，根据公式(17)和(18)，将视频特征向量VF中的每个分量VF(i)的绝对值与其整体均值Avg比较大小，生成二值化视频特征向量VFB，即
式中：abs表示取绝对值函数，Avg表示视频特征向量VF的整体均值；
步骤3.5，利用密钥Key1作为初始值(x0，y0)和控制参数α与β，借助复合混沌系统公式(9)生成长度为P×Q×2的混沌序列，取所述混沌序列后P×Q个值作为混沌序列Y1，即Y1＝{y1，y2，…，yP×Q}；
步骤3.6，根据公式(19)对混沌序列Y1进行升序排列，并记录排序后序列的索引值index1，即
[index1，Y1S]＝sort(Y1) (19)
其中，sort表示排序函数，Y1S表示Y1排序后的信号序列，index1表示Y1排序后得到的序列索引值；
步骤3.7，利用索引值index1对二值视频特征向量VFB按照公式(20)进行置乱，得到置乱二值视频特征向量VFBs，
VFBs＝VFB(index1) (20)
步骤3.8，按照公式(21)将置乱的二值视频特征向量VFBs与加密后的水印序列WE进行异或运算，生成原始视频V对应的零水印信号ZW，即
9.根据权利要求1所述的基于极复指数变换和残差神经网络的鲁棒视频零水印方法，其特征在于，所述零水印检测，具体包括将待验证视频转换为一系列图像帧，按照相似度进行镜头分割，依据图像帧的信息熵值选取每组镜头的关键帧，对关键帧二值特征向量进行提取与置乱，然后将得到的二值视频特征向量VFBs与待验证视频对应的零水印信号ZW进行异或运算，生成对应的加密水印信号序列WE，对加密水印信号序列WE进行反扩散和反置乱，获得原始水印WO，实现视频的版权验证。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010719213.5A CN111984942B (zh) | 2020-07-23 | 2020-07-23 | 基于极复指数变换和残差神经网络的鲁棒视频零水印方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010719213.5A CN111984942B (zh) | 2020-07-23 | 2020-07-23 | 基于极复指数变换和残差神经网络的鲁棒视频零水印方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111984942A CN111984942A (zh) | 2020-11-24 |
| CN111984942B true CN111984942B (zh) | 2023-10-27 |
Family
ID=73438494
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010719213.5A Active CN111984942B (zh) | 2020-07-23 | 2020-07-23 | 基于极复指数变换和残差神经网络的鲁棒视频零水印方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111984942B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112770116B (zh) * | 2020-12-31 | 2021-12-07 | 西安邮电大学 | 用视频压缩编码信息提取视频关键帧的方法 |
| CN113379584B (zh) * | 2021-06-10 | 2023-10-31 | 大连海事大学 | 一种基于残差学习的不可感知水印攻击方法、存储介质及电子装置 |
| CN113361426A (zh) * | 2021-06-11 | 2021-09-07 | 爱保科技有限公司 | 车辆定损图像获取方法、介质、装置和电子设备 |
| CN114862704B (zh) * | 2022-04-25 | 2023-03-24 | 陕西西影数码传媒科技有限责任公司 | 影像色彩修复的镜头自动划分方法 |
| CN117241104B (zh) * | 2023-11-07 | 2024-01-16 | 中南大学 | 一种dibr-3d视频版权保护的零水印方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6675174B1 (en) * | 2000-02-02 | 2004-01-06 | International Business Machines Corp. | System and method for measuring similarity between a set of known temporal media segments and a one or more temporal media streams |
| CN106028175A (zh) * | 2016-06-21 | 2016-10-12 | 中国农业大学 | 一种视频零水印的实现方法及装置 |
| CN111160335A (zh) * | 2020-01-02 | 2020-05-15 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像水印处理方法、装置及电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105263024B (zh) * | 2015-10-15 | 2018-06-29 | 宁波大学 | 一种抗量化转码的hevc视频流零水印的注册和检测方法 |
-
2020
- 2020-07-23 CN CN202010719213.5A patent/CN111984942B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6675174B1 (en) * | 2000-02-02 | 2004-01-06 | International Business Machines Corp. | System and method for measuring similarity between a set of known temporal media segments and a one or more temporal media streams |
| CN106028175A (zh) * | 2016-06-21 | 2016-10-12 | 中国农业大学 | 一种视频零水印的实现方法及装置 |
| CN111160335A (zh) * | 2020-01-02 | 2020-05-15 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像水印处理方法、装置及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 基于自嵌入鲁棒双水印的图像认证算法;张琳琳;杨亮;高铁杠;;光电子・激光(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111984942A (zh) | 2020-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111984942B (zh) | 基于极复指数变换和残差神经网络的鲁棒视频零水印方法 | |
| Zhang et al. | Reference sharing mechanism for watermark self-embedding | |
| Swaminathan et al. | Robust and secure image hashing | |
| MaungMaung et al. | A protection method of trained CNN model with a secret key from unauthorized access | |
| El-sayed et al. | Adaptive difference expansion-based reversible data hiding scheme for digital images | |
| Ying et al. | From image to imuge: Immunized image generation | |
| Mansour et al. | Steganography-Based Transmission of Medical Images Over Unsecure Network for Telemedicine Applications. | |
| Shi et al. | A Blind Watermarking Technique for Color Image based on SVD with Circulation. | |
| Chen et al. | Multi-layer mini-sudoku based high-capacity data hiding method | |
| Kumar et al. | Image steganography using index based chaotic mapping | |
| Sun et al. | High‐Capacity Data Hiding Method Based on Two Subgroup Pixels‐Value Adjustment Using Encoding Function | |
| CN114549271A (zh) | 一种基于DCFERNet的零水印生成以及提取方法 | |
| Meryem et al. | A short survey on image zero-watermarking techniques based on visual cryptography | |
| El Bakrawy et al. | A rough k-means fragile watermarking approach for image authentication | |
| Haref et al. | Categorization of spatial domain techniques in image steganography: A revisit | |
| Lee et al. | Data Hiding Scheme Based on A Flower-Shaped Reference Matrix. | |
| Zhu et al. | A novel fragile watermarking scheme for image tamper detection and recovery | |
| CN113034335B (zh) | 水印嵌入方法、系统及含水印图像的水印提取方法、系统 | |
| Chinniyan et al. | Image Steganography Using Deep Neural Networks. | |
| Aminuddin et al. | AuSR3: A new block mapping technique for image authentication and self-recovery to avoid the tamper coincidence problem | |
| CN115134142B (zh) | 一种基于文件分割的信息隐藏方法及系统 | |
| Hosseini et al. | Image content dependent semi-fragile watermarking with localized tamper detection | |
| Kich et al. | New image steganography method based on k-means clustering | |
| CN117670636A (zh) | 一种基于改进的vgg16的医学图像零水印算法 | |
| Qu et al. | A Novel Improved Reversible Visible Image Watermarking Algorithm Based on Grad‐CAM and JND |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |