CN106878827B - 一种高鲁棒性音视频交叉水印算法 - Google Patents
一种高鲁棒性音视频交叉水印算法 Download PDFInfo
- Publication number
- CN106878827B CN106878827B CN201710173321.5A CN201710173321A CN106878827B CN 106878827 B CN106878827 B CN 106878827B CN 201710173321 A CN201710173321 A CN 201710173321A CN 106878827 B CN106878827 B CN 106878827B
- Authority
- CN
- China
- Prior art keywords
- watermark
- video
- audio
- frame
- embedded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 13
- 230000004438 eyesight Effects 0.000 claims abstract description 5
- 238000003780 insertion Methods 0.000 claims description 50
- 230000037431 insertion Effects 0.000 claims description 50
- 238000000605 extraction Methods 0.000 claims description 22
- 238000009432 framing Methods 0.000 claims description 12
- 238000013139 quantization Methods 0.000 claims description 11
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000005236 sound signal Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 4
- 229910002056 binary alloy Inorganic materials 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000001727 in vivo Methods 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 24
- 230000000694 effects Effects 0.000 abstract description 8
- 230000006378 damage Effects 0.000 abstract description 3
- 238000012217 deletion Methods 0.000 description 5
- 230000037430 deletion Effects 0.000 description 5
- 239000006002 Pepper Substances 0.000 description 4
- 238000012952 Resampling Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013432 robust analysis Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/835—Generation of protective data, e.g. certificates
- H04N21/8358—Generation of protective data, e.g. certificates involving watermark
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computer Security & Cryptography (AREA)
- Editing Of Facsimile Originals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种高鲁棒性音视频交叉水印算法，其特征是，解码视频码流，利用视频的帧间相关性生成视频水印；解码音频码流，利用音频码流的低通幅值统计特性生成音频水印；通过视觉显著模型将音频水印嵌入到视频关键帧中；通过叠加的方式将视频水印嵌入到音频码流的低频系数中。本发明所达到的有益效果：1)利用音视频码流特征生成水印，且水印都是在载体视频解码过程中实时动态生成的，嵌入水印的不确定性提高了算法的安全性；2)选择在音频码流和视频码流中均嵌入水印，即使其中之一码流受到破坏导致水印无法提取时，仍可以从另一码流中提取水印，更加全面有效地保护了载体视频，大大提高了水印的鲁棒性。
Description
技术领域
本发明涉及一种视频水印方法，具体涉及一种高鲁棒性音视频交叉水印算法。
背景技术
互联网的发展使得人们可以轻易获取各种数字资源(音频、视频、文本等)，数字水印作为一种鲁棒性和不可见性兼备的信息隐藏技术可以很好的保护各种多媒体数字资源的版权，维护正常的市场秩序，打击非法传播、盗版等各种不良行为。
数字水印技术分为嵌入和提取两个过程，嵌入过程将具有版权认证信息的图像、文字等通过数字内嵌的方法隐藏在音频、文本、视频等多媒体数字资源中，使其成为原始载体数据的一部分；提取则是嵌入的逆过程，从包含水印的载体数据中将水印提取出来，从而确定信息内容完整性、版权拥有者、真伪鉴别等。如今，数字水印技术在版权保护、数字内容篡改鉴定、视频监控、视频会议等方面都有着广泛的应用。
如今，常见的多媒体数据都至少包含视频和音频两部分，而且很多应用领域都是将二者作为一个整体进行处理。然而不法分子对多媒体数字作品的拷贝、篡改等可能只是针对其中视频序列、音频或字幕的某一部分进行，破坏数字作品的完整性、使音视频在时空上变得不同步，影响使用效果。因此，仅针对某一种媒体数据的水印算法并不能保证其包含的另外媒体数据的安全或是满足更高级别的版权要求。
多媒体数据中包含的不同数据内容(视频、音频、字幕)在时间和空间上有很强的关联性，彼此制约。现有的视频水印算法多数都是只对视频码流做嵌入提取处理，没有利用音视频之间的关联性，或是根本就没有考虑到音频数据的存在。如果可以将音视频数据之间的关联性应用到视频水印算法的研究中，会使得视频水印算法研究工作取得更大的进步，版权保护和数字内容鉴定将取得更好的效果。
发明内容
为解决现有技术的不足，本发明的目的在于提供一种高鲁棒性音视频交叉水印算法，将音频低通幅值统计特征作为水印嵌入到视频码流中，视频帧间相关性特征作为水印嵌入到音频码流中，有效地实现了音视频码流之间的交叉保护，即使是音频码流、视频码流其中之一被破坏导致水印无法提取，仍可以从另一码流中提取水印完成版权保护，且对各种常见的音视频攻击具有较强的鲁棒性。
为了实现上述目标，本发明采用如下的技术方案：
一种高鲁棒性音视频交叉水印算法，其特征是，包括如下步骤：
步骤1)解码载体视频，获取音频码流和视频码流；
步骤2)利用音频码流的低通幅值统计特性，生成待嵌的音频水印文件；
步骤3)利用视频码流的帧间相关性特征生成待嵌的视频水印文件；
步骤4)对视频的关键帧进行显著性分析，将音频水印Wa(i)量化嵌入至其亮度分量非显著区域离散余弦变换的直流系数上；
步骤5)对音频帧进行离散小波变换，将扩频之后的视频水印Wv(i)通过叠加的方式嵌入到其低频系数中；
步骤6)以Ta帧为周期重复嵌入多次音频水印，以Tv帧为周期重复嵌入多次视频水印；当所有水印嵌入完成，重新编码输出含有水印的视频载体；
步骤7)解码包含水印的视频载体，得到已嵌水印的音频码流和视频码流；
步骤8)对包含水印的视频帧进行显著区域划分，根据量化索引调制的特点，从亮度分量的DCT直流系数中提取视频水印；
步骤9)对包含水印的音频帧进行离散小波变换，通过相应的逆过程从低频系数中提取音频水印。
进一步地，所述步骤2)包括如下步骤：
步骤21)根据A(i)＝Al(i)+Ar(i)，对左声道码流Al(i)和右声道码流Ar(i)处理得到A(i)；
步骤22)对音频数据A(i)进行分帧操作，且帧与帧之间没有重叠，并对分帧后的音频数据做低通滤波后得到A'm(i)，m表示第m帧；
步骤23)对滤波后的音频帧数据A'm(i)求均值μm和标准差σm，并根据对其进行二进制编码得到音频水印Wa(i)。
进一步地，所述步骤22)中低通滤波采用500HZ。
进一步地，所述步骤3)具体包括如下步骤：
步骤31)在视频帧序列中依次选择两个相邻的视频帧，对其Y分量做绝对差值运算得到V'(i,j)；
步骤32)对所有的V'(i,j)进行分块降采样处理，按顺序分块成K×L块；
步骤33)对分成的K×L块中的每块采样信息做均值处理，对于每块采样信息合并每块中的均值得到粗略的绝对差值图像其中Δ(m1,n1)表示第m1×n1个采样信息数据，X和Y表示分块后每块的大小，Qv(k,l)表示对应第k×l块的最终得到的绝对差值图像；
步骤34)对得到的绝对差值图像Qv(k,l)进行二进制编码，从而得到水印比特。
进一步地，所述步骤34)具体步骤如下：
a)利用密钥随机生成K×L大小的0-1均值分布矩阵R(k,l)；
b)求得每个随机矩阵的均值Δ，并从R(k,l)中减去该值得到R′(k,l)。
c)对Qv(k,l)和R'(k,l)进行如下处理，
d)选取合适的阈值th对H(k,l)进行分类二进制编码，求得最终的二进制视频水印
进一步地，所述步骤4)具体包括如下步骤：
步骤41)对视频关键帧采用Itti视觉显著模型进行显著性分析，划分显著区域，通过注意焦点转移策略选取前三个圆形视觉显著区域；
步骤42)对关键帧亮度分量进行8×8分块DCT变换，对步骤41)中得到的显著区域以外的分块，求其DCT直流系数DCT0(m0,n0)，m0×n0表示8×8分块后对应的分块；
步骤43)对直流系数DCT0(m0,n0)采用二进制奇偶量化调制算法，以固定步长Δ将其量化至不同的索引区间，实现水印的嵌入，使其满足Wa(i)＝floor(DCT0(m0,n0)/Δ)mod2；
若当前直流系数已经满足上述公式，则调整后的DCT系数为：DCTw(m0,n0)＝floor(DCT0(m0,n0)/Δ)×Δ+Δ/2；
否则，根据下述公式对系数做调整：
步骤44)将量化后的系数作为新的直流系数，进行逆DCT变换，得到嵌入水印后的视频帧。
进一步地，所述步骤5)具体包括如下步骤：
步骤51)视频水印预处理：对Wv(k,l)进行降维操作，得到一维序列Bv(i)；通过密钥生成一个与Bv(i)大小相同的伪随机序列P(i)，利用P(i)对Bv(i)进行扩频调制得到水印序列Wv(i)，其中Wv(i)＝Bv(i)P(i)；
步骤52)视频水印嵌入过程主要包括以下步骤：
a)对音频码流左声道数据Al(i)进行非重叠分帧操作；
b)对音频帧数据做离散小波变换，得到能量较小的低频分量和能量较大的高频分量；选择低频系数中能量最大的前八个系数作为水印嵌入位置，并记下相应的位置信息；
c)通过修改选定的低频系数嵌入水印，其中，为这八个低频系数位置所对应的音频帧原始数据，m表示第m帧，α为水印嵌入强度，为嵌入水印后的相应位置低频系数，Wv(k)表示视频水印数据；
d)当前音频帧完成水印嵌入工作之后，对其做DWT逆变换，得到嵌入水印的音频信号。
进一步地，所述步骤6)具体内容为：
以Ta帧为周期重复嵌入多次音频水印，若一个水印没有全部嵌完，则选择下一个相邻音频帧继续嵌入；若一个水印已嵌完，则根据周期Ta，搜索下一个周期的音频帧，重新开始嵌入水印；
以Tv帧为周期重复嵌入多次视频水印，当一个水印嵌入完成，根据周期Tv，搜索下一个周期的关键帧，重新开始嵌入水印。
进一步地，所述步骤8)具体包括如下步骤：
步骤81)对包含水印的视频关键帧的亮度分量进行Itti显著性分析，求得前三个显著值最高的圆形显著区域；
步骤82)避开步骤81)提取的视觉显著区域，对其余部分进行8×8分块DCT变换，获取其直流系数DCT0′(m0,n0)，根据W(i)＝floor(DCT0′(m0,n0)/Δ)mod2进行模2运算提取当前帧嵌入的水印；
步骤83)当一帧水印提取完成，根据设置的视频水印嵌入周期，重复上述步骤直至所有水印提取完成。
进一步地，所述步骤9)具体包括如下步骤：
步骤91)对包含水印的音频码流进行分帧操作，帧长与嵌入时相同，并对音频帧做离散小波变换；
步骤92)根据水印嵌入时记下的低频系数位置信息，选择相应的低频系数对其进行解调得到序列S(k)，其中为相应位置的音频帧原始数据，
步骤93)通过将序列S(k)转化为二进制水印；
步骤94)当完成一个水印的提取之后，根据设置的音频水印嵌入周期，重复上述步骤直至所有水印提取完成。
本发明所达到的有益效果：1)利用音视频码流特征生成水印，且水印都是在载体视频解码过程中实时动态生成的，嵌入水印的不确定性提高了算法的安全性；2)选择在音频码流和视频码流中均嵌入水印，使得即使其中之一码流受到破坏导致水印无法提取时，仍可以从另一码流中提取水印，更加全面有效地保护了载体视频，大大提高了水印的鲁棒性。
附图说明
图1是音频水印生成流程图；
图2是视频水印生成流程图；
图3是视频帧嵌入水印过程；
图4是音频帧嵌入水印过程；
图5(a)是原始视频关键帧；
图5(b)是嵌入水印后的视频关键帧；
图6(a)是原始音频码流；
图6(b)是嵌入水印后的音频码流。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本发明将音频特征生成水印嵌入到视频码流中，视频特征生成水印嵌入到音频码流中，音频和视频码流都得到了保护，在它们其中之一的水印被严重破坏时仍能从另一码流中提取水印从而完成论证。
本发明在具体实施时，对于嵌入音频水印的视频信号采用峰值信噪比PSNR来衡量水印的不可进行，采用误码率BER来衡量水印的鲁棒性；对于嵌入视频水印的音频信号采用信噪比SNR来衡量水印的不可感知性，采用误码率BER来衡量水印的鲁棒性。实验数据表明本发明具有较好的鲁棒性，同时也保证了水印的不可见性。
本方法的具体步骤如下：
步骤1)解码载体视频，获取音频码流和视频码流。
步骤2)利用音频码流的低通幅值统计特性，生成待嵌的音频水印文件，具体步骤为：
步骤21)根据A(i)＝Al(i)+Ar(i)，对左声道码流Al(i)和右声道码流Ar(i)处理得到A(i)；
步骤22)对音频数据A(i)进行分帧操作，且帧与帧之间没有重叠，并对分帧后的音频数据做500HZ低通滤波后得到A'm(i)，m表示第m帧；
步骤23)对滤波后的音频帧数据A'm(i)求均值μm和标准差σm，并根据对其进行二进制编码得到音频水印Wa(i)。
步骤3)利用视频码流的帧间相关性特征生成待嵌的视频水印文件，具体包括如下步骤：
步骤31)在视频帧序列中选择两个相邻的视频帧Vn(i,j)和Vn+1(i,j)，对其Y分量做绝对差值运算得到V'(i,j)。
步骤32)对V'(i,j)进行分块降采样处理。
步骤33)对分成的K×L块中的每块采样信息做均值处理，对于每块采样信息合并每块中的均值得到粗略的绝对差值图像其中Δ(m1,n1)表示第m1×n1个采样信息数据，X和Y表示分块后每块的大小，Qv(k,l)表示对应第k×l块的最终得到的绝对差值图像。
步骤34)对得到的绝对差值图像Qv(k,l)采用进行二进制编码，从而得到水印比特，具体步骤如下：
34-a)利用密钥随机生成K×L大小的0-1均值分布矩阵R(k,l)。
34-b)求得每个随机矩阵的均值Δ，并从R(k,l)中减去该值得到R'(k,l)。
34-c)对Qv(k,l)和R'(k,l)进行如下处理，
35-d)选取合适的阈值th对H(k,l)进行分类二进制编码，求得最终的二进制视频水印
步骤4)对视频的关键帧进行显著性分析，将音频水印Wa(i)量化嵌入至其亮度分量非显著区域离散余弦变换的直流系数上，具体包括如下步骤：
步骤41)对视频关键帧采用Itti视觉显著模型进行显著性分析，划分显著区域，通过注意焦点转移策略选取前三个圆形视觉显著区域；
步骤42)对关键帧亮度分量进行8×8分块DCT变换，对步骤41)中得到的显著区域以外的分块，求其DCT直流系数DCT0(m0,n0)，m0×n0表示8×8分块后对应的分块；
步骤43)对直流系数DCT0(m0,n0)采用二进制奇偶量化调制算法，以固定步长Δ将其量化至不同的索引区间，实现水印的嵌入，使其满足Wa(i)＝floor(DCT0(m0,n0)/Δ)mod2；
若当前直流系数已经满足上述公式，则调整后的DCT系数为：DCTw(m0,n0)＝floor(DCT0(m0,n0)/Δ)×Δ+Δ/2；
否则，根据下述公式对系数做调整：
步骤44)将量化后的系数作为新的直流系数，进行逆DCT变换，得到嵌入水印后的视频帧。
步骤5)对音频帧进行离散小波变换，将扩频之后的视频水印Wv(i)通过叠加的方式嵌入到其低频系数中，具体包括如下步骤：
步骤51)视频水印预处理：对Wv(k,l)进行降维操作，得到一维序列Bv(i)；通过密钥生成一个与Bv(i)大小相同的伪随机序列P(i)，利用P(i)对Bv(i)进行扩频调制得到水印序列Wv(i)，其中Wv(i)＝Bv(i)P(i)。
步骤52)视频水印嵌入过程主要包括以下步骤：
52-a)对音频码流左声道数据Al(i)进行非重叠分帧操作；
52-b)对音频帧数据做离散小波变换，得到能量较小的低频分量和能量较大的高频分量；选择低频系数中能量最大的前八个系数作为水印嵌入位置，并记下相应的位置信息；
52-c)通过修改选定的低频系数嵌入水印，其中，为这八个低频系数位置所对应的音频帧原始数据，m表示第m帧，α为水印嵌入强度，为嵌入水印后的相应位置低频系数，Wv(k)表示视频水印数据；
52-d)当前音频帧完成水印嵌入工作之后，对其做DWT逆变换，得到嵌入水印的音频信号。
步骤6)以Ta帧为周期重复嵌入多次音频水印，以Tv帧为周期重复嵌入多次视频水印；当所有水印嵌入完成，重新编码输出含有水印的视频载体，具体内容为：以Ta帧为周期重复嵌入多次音频水印，若一个水印没有全部嵌完，则选择下一个相邻音频帧继续嵌入；若一个水印已嵌完，则根据周期Ta，搜索下一个周期的音频帧，重新开始嵌入水印。以Tv帧为周期重复嵌入多次视频水印，当一个水印嵌入完成，根据周期Tv，搜索下一个周期的关键帧，重新开始嵌入水印。
步骤7)解码包含水印的视频载体，得到已嵌水印的音频码流和视频码流；
步骤8)对包含水印的视频帧进行显著区域划分，根据量化索引调制的特点，从亮度分量的DCT直流系数中提取视频水印，具体包括如下步骤：
步骤81)对包含水印的视频关键帧的亮度分量进行Itti显著性分析，求得前三个显著值最高的圆形显著区域。
步骤82)避开步骤81)提取的视觉显著区域，对其余部分进行8×8分块DCT变换，获取其直流系数DCT0′(m0,n0)，根据W(i)＝floor(DCT0′(m0,n0)/Δ)mod2进行模2运算提取当前帧嵌入的水印。
步骤83)当一帧水印提取完成，根据设置的视频水印嵌入周期，重复上述步骤直至所有水印提取完成。
步骤9)对包含水印的音频帧进行离散小波变换，通过相应的逆过程从低频系数中提取音频水印，具体包括如下步骤：
步骤91)对包含水印的音频码流进行分帧操作，帧长与嵌入时相同，并对音频帧做离散小波变换；
步骤92)根据水印嵌入时记下的低频系数位置信息，选择相应的低频系数对其进行解调得到序列S(k)，其中为相应位置的音频帧原始数据，
步骤93)通过将序列S(k)转化为二进制水印。
步骤94)当完成一个水印的提取之后，根据设置的音频水印嵌入周期，重复上述步骤直至所有水印提取完成。
为了进一步对本发明的效果进行说明，本实施例中采用MPEG-2编码，视频帧大小为1024×576，长度为33秒，帧率为29.97fps，分离出的音频码流采样率为44.1KHZ，16位量化比特，MPEG Layer 3编码格式的双声道文件。对于音频水印，选择在视频关键帧中嵌入水印，其中Itti显著模型在划分圆形显著区域时，显著半径为25，水印嵌入周期Ta为300帧，在视频码流中一共嵌入三帧水印；对于视频水印，选择在左声道数据中实现水印的嵌入提取，音频共分为1267帧，每帧时长26毫秒，包含1152比特数据，嵌入8比特的水印，因为生成的视频水印大小为72比特，所以需要9帧音频才能完成一个水印的嵌入，设置水印嵌入周期Tv为300帧，整个音频码流共嵌入5个水印。
如图5(a)是截取的原始视频关键帧，图5(b)是嵌入水印后的该关键帧。水印的嵌入基本不影响视觉效果，所有嵌入水印关键帧的平均PSNR值为39.9614dB。
如图6(a)是原始音频码流，图6(b)是嵌入水印之后的音频码流文件。信噪比SNR值为48.6152dB。
本发明中在未添加外部攻击的情况下，提取的水印已经受到了压缩编码攻击，所以在验证本发明的鲁棒性时，对嵌完水印的音视频码流施加各种常见外部攻击，得到的实验结果均是编码压缩和外部攻击双重攻击下的实验结果。
下面分三种情况讨论对实施例中结果的鲁棒性，以此来对本发明的效果进行阐明。
1)音频水印鲁棒性：
对包含水印的音频信号进行以下几项攻击，得到提取水印误码率如表1所示：
(1)噪声攻击：随机生成信噪比为5dB的高斯白噪声，并将其添加到水印音频信号中。
(2)重量化攻击：实验时将嵌入水印的音频信号的量化位数从16bit降为8bit，之后在升至16bit。
(3)重采样攻击：将水印音频信号的采样率从原始的44.1KHZ降至16KHZ，之后在采样为原始的44.1KHZ。
(4)幅度攻击：将水印音频信号的幅值提升为原始幅值的1.8倍。
| 攻击方式 | BER(％) |
| 噪声(5dB) | 6.944 |
| 重量化(16/8/16) | 13.889 |
| 重采样(44.1/16/44.1) | 12.500 |
| 幅度(1.8倍) | 5.472 |
表1不同攻击下提取音频水印的BER
上述数据表明音频水印算法对于MP3压缩、幅度攻击、白噪声具有不错的抵抗能力，提取水印的BER值在4％-7％之间，提取的五个水印中平均每个水印有3-5个比特的错误，当噪声强度达到15dB时，只有一个水印能够提取出来，但是误码率达到16.221％，对于重量化和重采样攻击，由于攻击对音频数据整体改变的增大，五个水印中都只有两个能够提取出来，且提取水印的BER值均大于12％，效果较差。
2)视频水印鲁棒性：
(1)乘性噪声攻击：
对嵌入水印的视频帧分别添加强度为0.005，0.01，0.04的乘性噪声，表2是提取水印的误码率。
| 噪声强度 | 0.005 | 0.01 | 0.04 |
| BER值(％) | 0.868 | 3.906 | 5.208 |
表2乘性噪声攻击下的提取水印误码率
(2)高斯噪声攻击：
对嵌入水印的视频帧分别添加均值为0，方差为0.01，0.02，0.04的高斯噪声，表3是提取水印的误码率。
| 方差 | 0.01 | 0.02 | 0.04 |
| BER值(％) | 0.347 | 2.604 | 6.163 |
表3高斯噪声攻击的提取水印误码率
(3)椒盐噪声攻击：
对嵌入水印的视频帧分别添加0.005，0.01，0.03密度的椒盐噪声，表4是提取水印的误码率。
| 密度 | 0.005 | 0.01 | 0.03 |
| BER值(％) | 2.431 | 5.382 | 8.681 |
表4椒盐噪声攻击的提取水印误码率
(4)饱和度攻击：
用视频编辑软件对包含水印的视频进行饱和度调节，调节幅度为+10、-10、+20，表4.4为提取水印的误码率。
| 幅度 | +10 | -10 | +20 |
| BER值(％) | 0.954 | 0.954 | 0.954 |
表5饱和度攻击的提取水印误码率
(5)均值滤波攻击：
当对视频进行均值滤波攻击时，视频帧的像素块与周边像素块发生平均处理，视觉显著区域被平均，变得模糊，注意焦点变得不明显，从而使得Itti模型划分的前三个显著区域发生偏差。当对视频帧进行3×3半径的均值滤波时，本章算法仍能有效地提取水印，BER值为5.295％。当滤波半径为5×5的时候，BER值为30.382％，视频画面产生明显的模糊现象，视觉显著区域的识别发生较大偏差，水印不能被正确完整地提取出来。
(6)帧删除、帧插入：
算法将水印嵌在视频独立编码的I帧上，作为B、P帧编码的参考帧，在一般视频处理过程中，I帧不会被删除。在帧删除过程中，因为水印嵌入算法循环了三次，只要有一帧嵌入帧没被删除，就能完整正确地提取水印。
在帧插入过程中，若插入的是B、P帧，对水印的提取不会产生影响；当插入帧为I关键帧，且处在被嵌入水印帧的位置时，嵌入水印帧位置发生偏移，影响当前帧水印的正常提取。
结果表明，视频水印能够完全抵抗MPEG-2压缩，对于MPEG-2压缩和高斯噪声，椒盐噪声，乘性噪声，饱和度调节，帧插入，帧删除等双重攻击具有很好的鲁棒性，大多数攻击下的BER值都在5％以内。
3)综合鲁棒性：
对于算法的整体鲁棒性，分以下三种情况讨论：
(1)视频码流整个被破坏删除无法提取水印，此时对从音频码流左声道数据中提取到的水印做鲁棒性分析，求得BER值如表6。
| 攻击方式 | BER(％) |
| 无攻击(仅音频编解码) | 3.245 |
| 噪声(5dB) | 7.120 |
| 重量化(16/8/16) | 14.875 |
| 重采样(44.1/16/44.1) | 15.675 |
| 幅度(1.8倍) | 5.536 |
表6视频码流无法提取水印时音频码流提取水印的BER
当视频码流被破坏导致水印无法提取时，本发明仍然可以从音频码流中提取正确的水印，且在未遭受针对音频的外部攻击的情况下，嵌入的五个水印均可以正确提取，每个平均有2个比特的错误，算法对于白噪声和幅度攻击依然具有较好的鲁棒性，BER值维持在5％-8％之间，提取的五个水印，噪声攻击中共有39比特错误，幅度攻击中共有26比特的错误，对于量化和采样攻击，提取水印BER值明显变大，嵌入的水印分别仅有3个和2个能提取出来，且都大于14％。
(2)音频码流整个被删除破坏，此时对视频码流提取水印做鲁棒性分析求得各种攻击下的BER值如表7。
表7音频码流无法提取水印时视频码流提取水印的BER
由表7可以看出，当音频码流整个被删除破坏时，本章算法仍能够有效地从视频码流中提取水印，对于MPEG编码压缩、乘性噪声、高斯噪声、椒盐噪声、饱和度攻击，本发明提取水印的BER值多数都在5％左右。
(3)随机生成1到979之间的若干个随机数，并将对应的视频帧从视频码流中删除。在不考虑外部攻击的情况下对提取的水印计算误码率，结果如表8。综合误码率是通过计算求得的，其中error_audio_bit表示提取音频水印的错误比特数，error_video_bit表示提取视频水印的错误比特数，audio_bit和video_bit分别表示嵌入的音频水印和视频水印总比特数。
表8随机删除视频帧时提取水印的BER值
因为水印在视频码流中是循环嵌入的，对于视频码流，水印是嵌在关键帧上的，在删除码流时，只要包含水印的关键帧没有都被删除，水印就可以正确提取。
当随机删除10帧和30帧时，包含水印的关键帧没有被删除，嵌入的三个视频水印都可以正确地提取出来。
当删除帧数达到100帧时，只有一帧视频水印能够提取出来，仅就视频水印来看，本发明提取水印具有较好辨识度，在视频帧被删除的情况下，本发明依然可以正确地提取音频水印，使得综合误码率得到大大提高，可以看出在随机删除10帧、30帧、80帧、100帧的情况下，本发明的综合BER值均在1％以内。
当删除300帧视频帧时，所有包含水印的关键帧都被删除，此时虽然本发明的综合误码率为94.403％，但是因为音频水印和视频水印在本发明中是两个独立的文件，各自均具有标识性，单就音频水印来看，提取的水印误码率只有4.861％，平均每个水印只有3.5个比特的错误，依然可以具有很好的鲁棒性。
实验结果表明，本发明对于针对音视频码流的常见攻击均具有较好的鲁棒性，且在音视频码流之一受到破坏导致水印无法提取时，仍然可以从另一码流中提取水印完成验证，大大提高了算法的鲁棒性，保证了多媒体数据的安全。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (6)
1.一种高鲁棒性音视频交叉水印算法，其特征是，包括如下步骤：
步骤1)解码载体视频，获取音频码流和视频码流；
步骤2)利用音频码流的低通幅值统计特性，生成待嵌的音频水印文件：
步骤21)根据A(i)＝Al(i)+Ar(i)，对左声道码流Al(i)和右声道码流Ar(i)处理得到A(i)；
步骤22)对音频数据A(i)进行分帧操作，且帧与帧之间没有重叠，并对分帧后的音频数据做低通滤波后得到A'm(i)，m表示第m帧；
步骤23)对滤波后的音频帧数据A'm(i)求均值μm和标准差σm，并根据对其进行二进制编码得到音频水印Wa(i)；
步骤3)利用视频码流的帧间相关性特征生成待嵌的视频水印文件：
步骤31)在视频帧序列中依次选择两个相邻的视频帧，对其Y分量做绝对差值运算得到V'(i,j)；
步骤32)对所有的V'(i,j)进行分块降采样处理，按顺序分块成K×L块；
步骤33)对分成的K×L块中的每块采样信息做均值处理，对于每块采样信息合并每块中的均值得到粗略的绝对差值图像其中Δ(m1,n1)表示第m1×n1个采样信息数据，X和Y表示分块后每块的大小，Qv(k,l) 表示对应第k×l块的最终得到的绝对差值图像；
步骤34)对得到的绝对差值图像Qv(k,l)进行二进制编码，从而得到水印比特；
步骤4)对视频的关键帧进行显著性分析，将音频水印Wa(i)量化嵌入至其亮度分量非显著区域离散余弦变换的直流系数上：
步骤41)对视频关键帧采用Itti视觉显著模型进行显著性分析，划分显著区域，通过注意焦点转移策略选取前三个圆形视觉显著区域；
步骤42)对关键帧亮度分量进行8×8分块DCT变换，对步骤41)中得到的显著区域以外的分块，求其DCT直流系数DCT0(m0,n0)，m0×n0表示8×8分块后对应的分块；
步骤43)对直流系数DCT0(m0,n0)采用二进制奇偶量化调制算法，以固定步长Δ将其量化至不同的索引区间，实现水印的嵌入，使其满足Wa(i)＝floor(DCT0(m0,n0)/Δ)mod 2；
若当前直流系数已经满足上述公式，则调整后的DCT系数为：DCTw(m0,n0)＝floor(DCT0(m0,n0)/Δ)×Δ+Δ/2；
否则，根据下述公式对系数做调整：
步骤44)将量化后的系数作为新的直流系数，进行逆DCT变换，得到嵌入水印后的视频帧；
步骤5)对音频帧进行离散小波变换，将扩频之后的视频水印Wv(i)通过叠加的方式嵌入到其低频系数中：
步骤51)视频水印预处理：对Wv(k,l)进行降维操作，得到一维序列Bv(i)；通过密钥生成一个与Bv(i)大小相同的伪随机序列P(i)，利用P(i)对Bv(i)进行扩频调制得到水印序列Wv(i)，其中Wv(i)＝Bv(i)P(i)；
步骤52)视频水印嵌入过程主要包括以下步骤：
a)对音频码流左声道数据Al(i)进行非重叠分帧操作；
b)对音频帧数据做离散小波变换，得到能量较小的低频分量和能量较大的高频分量；选择低频系数中能量最大的前八个系数作为水印嵌入位置，并记下相应的位置信息；
c)通过修改选定的低频系数嵌入水印，其中，为这八个低频系数位置所对应的音频帧原始数据，m表示第m帧，α为水印嵌入强度，为嵌入水印后的相应位置低频系数，Wv(k)表示视频水印数据；
d)当前音频帧完成水印嵌入工作之后，对其做DWT逆变换，得到嵌入水印的音频信号；
步骤6)以Ta帧为周期重复嵌入多次音频水印，以Tv帧为周期重复嵌入多次视频水印；当所有水印嵌入完成，重新编码输出含有水印的视频载体；
步骤7)解码包含水印的视频载体，得到已嵌水印的音频码流和视频码流；
步骤8)对包含水印的视频帧进行显著区域划分，根据量化索引调制的特点，从亮度分量的DCT直流系数中提取视频水印；
步骤9)对包含水印的音频帧进行离散小波变换，通过相应的逆过程从低频系数中提取音频水印。
2.根据权利要求1所述的一种高鲁棒性音视频交叉水印算法，其特征是，所述步骤22)中低通滤波采用500HZ。
3.根据权利要求1所述的一种高鲁棒性音视频交叉水印算法，其特征是，所述步骤34)具体步骤如下：
a)利用密钥随机生成K×L大小的0-1均值分布矩阵R(k,l)；
b)求得每个随机矩阵的均值Δ，并从R(k,l)中减去该值得到R′(k,l)；
c)对Qv(k,l)和R'(k,l)进行如下处理，
d)选取合适的阈值th对H(k,l)进行分类二进制编码，求得最终的二进制视频水印
4.根据权利要求1所述的一种高鲁棒性音视频交叉水印算法，其特征是，所述步骤6)具体内容为：
以Ta帧为周期重复嵌入多次音频水印，若一个水印没有全部嵌完，则选择下一个相邻音频帧继续嵌入；若一个水印已嵌完，则根据周期Ta，搜索下一个周期的音频帧，重新开始嵌入水印；
以Tv帧为周期重复嵌入多次视频水印，当一个水印嵌入完成，根据周期Tv，搜索下一个周期的关键帧，重新开始嵌入水印。
5.根据权利要求1所述的一种高鲁棒性音视频交叉水印算法，其特征是，所述步骤8)具体包括如下步骤：
步骤81)对包含水印的视频关键帧的亮度分量进行Itti显著性分析，求得前三个显著值最高的圆形显著区域；
步骤82)避开步骤81)提取的视觉显著区域，对其余部分进行8×8分块DCT变换，获取其直流系数DCT0′(m0,n0)，根据W(i)＝floor(DCT0′(m0,n0)/Δ)mod2进行模2运算提取当前帧嵌入的水印；
步骤83)当一帧水印提取完成，根据设置的视频水印嵌入周期，重复上述步骤直至所有水印提取完成。
6.根据权利要求1所述的一种高鲁棒性音视频交叉水印算法，其特征是，所述步骤9)具体包括如下步骤：
步骤91)对包含水印的音频码流进行分帧操作，帧长与嵌入时相同，并对音频帧做离散小波变换；
步骤92)根据水印嵌入时记下的低频系数位置信息，选择相应的低频系数对其进行解调得到序列S(k)，其中为相应位置的音频帧原始数据，
步骤93)通过将序列S(k)转化为二进制水印；
步骤94)当完成一个水印的提取之后，根据设置的音频水印嵌入周期，重复上述步骤直至所有水印提取完成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710173321.5A CN106878827B (zh) | 2017-03-22 | 2017-03-22 | 一种高鲁棒性音视频交叉水印算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710173321.5A CN106878827B (zh) | 2017-03-22 | 2017-03-22 | 一种高鲁棒性音视频交叉水印算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106878827A CN106878827A (zh) | 2017-06-20 |
| CN106878827B true CN106878827B (zh) | 2019-08-06 |
Family
ID=59173404
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710173321.5A Expired - Fee Related CN106878827B (zh) | 2017-03-22 | 2017-03-22 | 一种高鲁棒性音视频交叉水印算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106878827B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107222750A (zh) * | 2017-06-21 | 2017-09-29 | 北京工业大学 | 一种面向立体视频的频域视差相干水印方法 |
| CN108766449B (zh) * | 2018-05-30 | 2020-10-27 | 中国科学技术大学 | 一种音频信号的可逆水印实现方法 |
| CN109309869B (zh) * | 2018-09-11 | 2021-01-26 | 东方网力科技股份有限公司 | 一种水印嵌入方法、装置及存储介质 |
| CN109102814B (zh) * | 2018-09-13 | 2020-12-01 | 河海大学 | 一种dct变换下面向相位的音频水印方法 |
| CN111028850B (zh) * | 2018-10-10 | 2022-09-06 | 中国移动通信集团浙江有限公司 | 一种音频水印的嵌入方法和提取方法 |
| CN110619883B (zh) * | 2019-08-23 | 2023-05-23 | 平安科技（深圳）有限公司 | 音乐的信息嵌入方法、提取方法、装置、终端及存储介质 |
| CN113453039B (zh) * | 2020-03-24 | 2023-04-18 | 阿里巴巴集团控股有限公司 | 视频文件处理与水印提取的方法和装置 |
| CN111755018B (zh) * | 2020-05-14 | 2023-08-22 | 华南理工大学 | 基于小波变换及量化嵌入密钥的音频隐藏方法及装置 |
| CN112132158A (zh) * | 2020-09-04 | 2020-12-25 | 华东师范大学 | 一种基于自编码网络的可视化图片信息嵌入方法 |
| CN114168908A (zh) * | 2020-09-11 | 2022-03-11 | 四川大学 | 基于音视频分析的版权保护技术 |
| CN114501128B (zh) * | 2020-11-12 | 2023-11-03 | 中国移动通信集团浙江有限公司 | 混合多媒体信息流的安全防护方法、篡改检测方法及装置 |
| CN115499668B (zh) * | 2022-11-16 | 2023-03-24 | 中南大学 | 音视频零水印生成、注册、版权鉴别方法及相关系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103745725A (zh) * | 2013-12-25 | 2014-04-23 | 河海大学 | 一种基于常数q变换的音频水印嵌入方法 |
| CN104168484A (zh) * | 2014-08-19 | 2014-11-26 | 河海大学 | 一种基于视觉注意机制的视频水印方法 |
| CN105072453A (zh) * | 2015-07-21 | 2015-11-18 | 河海大学 | 一种面向移动终端的视频水印方法 |
-
2017
- 2017-03-22 CN CN201710173321.5A patent/CN106878827B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103745725A (zh) * | 2013-12-25 | 2014-04-23 | 河海大学 | 一种基于常数q变换的音频水印嵌入方法 |
| CN104168484A (zh) * | 2014-08-19 | 2014-11-26 | 河海大学 | 一种基于视觉注意机制的视频水印方法 |
| CN105072453A (zh) * | 2015-07-21 | 2015-11-18 | 河海大学 | 一种面向移动终端的视频水印方法 |
Non-Patent Citations (5)
| Title |
|---|
| audio video watermark;Puja Agrawal，Aleefia Khurshid;《International Conference in Swarm Intelligence》;20141020;全文 |
| Combined video and audio watermarking: Embedding content information in multimedia data;Jana Dittmann，et al.;《PROCEEDINGS OF SPIE》;20000509;第3971卷;全文 |
| 基于DCT系数的量化音频水印;潘洋绪，刘猛;《电子测量技术》;20151231;第38卷(第12期);全文 |
| 基于扩频的音频数字水印系统设计;张 亮;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170315(第3期);全文 |
| 基于音视频特征的数字水印技术研究;林晓丹;《中国优秀硕士学位论文全文数据库 信息科技辑》;20080615(第6期);全文 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106878827A (zh) | 2017-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106878827B (zh) | 一种高鲁棒性音视频交叉水印算法 | |
| Chu | DCT-based image watermarking using subsampling | |
| Kasmani et al. | A new robust digital image watermarking technique based on joint DWT-DCT transformation | |
| Phadikar et al. | Region based QIM digital watermarking scheme for image database in DCT domain | |
| Maity et al. | Perceptually adaptive spread transform image watermarking scheme using Hadamard transform | |
| Divecha et al. | Implementation and performance analysis of DCT-DWT-SVD based watermarking algorithms for color images | |
| Dhar et al. | Digital watermarking scheme based on fast Fourier transformation for audio copyright protection | |
| Fan et al. | A Robust Watermarking Technique Resistant JPEG Compression. | |
| JP4696777B2 (ja) | デジタルデータにウォータマークを付す方法及び装置 | |
| Wang et al. | Robust image watermark with wavelet transform and spread spectrum techniques | |
| Wong et al. | A blind watermarking technique in JPEG compressed domain | |
| Amirtharajan et al. | Info Hide–A Cluster Cover Approach | |
| Taherinia et al. | A robust image watermarking using two level DCT and wavelet packets denoising | |
| CN110047495B (zh) | 基于2级奇异值分解的大容量音频水印算法 | |
| CN114630130A (zh) | 一种基于深度学习的换脸视频溯源方法及系统 | |
| Taherinia et al. | A robust spread spectrum watermarking method using two levels DCT | |
| Kim et al. | A watermarking scheme for both spatial and frequency domain to extract the seal image without the original image | |
| Lancini et al. | A robust video watermarking technique for compression and transcoding processing | |
| Ma et al. | A robust watermarking scheme based on dual quantization of wavelet significant difference | |
| Phadikar et al. | Multibit QIM watermarking using M-ary modulation and lifting | |
| Taherinia et al. | A new spread spectrum watermarking method using two levels DCT | |
| Seo et al. | QIM Watermarking for Image with Two Adaptive Quantization Ste-sizes | |
| Venugopala et al. | An approach for bitstream video watermarking on mobile device | |
| Maodong et al. | Time-axis based video watermarking resisting to geometrical attacks | |
| Cruz-Ramos et al. | A novel verification scheme for watermarking based image content authentication systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190806 |