CN1529246A - 基于听觉特性与整型提升小波的数字音频水印嵌入与检测方法 - Google Patents

Abstract

本发明所述的基于听觉特性与整型提升小波的数字音频水印嵌入与检测方法是一种将灰度图像(或彩色图像)嵌入到原始数字音频作品的新数字水印方法，属于信息安全、多媒体信息处理领域。本发明首先利用静态图像压缩编码技术，将水印图像(灰度图像或彩色图像)编码成一维二进制序列并进行置乱加密；然后对数字音频信号进行分段处理，并依据人类听觉系统的时域掩蔽特性自适应选择音频段做整型提升小波变换；再依据人类听觉系统的频域掩蔽特性自适应确定小波系数，并通过量化处理过程将水印信息嵌入到小波变换后的听觉重要系数中；最后通过逆整型提升小波变换及音频数据段重新组合得到嵌入水印信息的数字音频作品；并利用嵌入过程的逆过程进行数字水印检测。

Description

基于听觉特性与整型提升小波的数字音频水印嵌入与检测方法

所属技术领域

本发明所述的基于听觉特性与整型提升小波的数字音频水印嵌入与检测方法是一种将灰度图像(或彩色图像)嵌入到原始数字音频作品的新数字水印方法，属于信息安全、多媒体信息处理领域。

背景技术

作为数字音频作品(例如MP3音乐、MIDI音乐等)知识产权保护的一种有效手段，数字音频水印(Digital Audio Watermarking)技术得到了广泛关注，并已成为国际学术界的一个研究热点。所谓数字音频水印技术，就是将一种特殊标志信息(伪随机序列或可识别图案文字)嵌入到原始数字音频作品中，用以辨识音频作品的版权、合法使用者，从而认证或控制音频数据的使用。数字音频水印技术是一门综合的高新技术，它是信号处理技术、通信技术、信息安全技术、计算机技术、音频处理技术等相关学科综合发展的产物。目前，数字音频水印嵌入方法主要可以划分为两种不同类型，即空间域水印嵌入方法和变换域水印嵌入方法。

(1)空间域数字音频水印嵌入方法

这是最早也是最简单的数字音频水印嵌入方法，其原理就是通过在空间域内直接修改音频信号的选定采样数据值来加入数字水印信息，再通过记录提取这些信息来检测水印。总体来说，空间域数字音频水印方法普遍具有算法简单、速度快、容易实现的特点，而且它几乎可以无损地恢复水印信息，这对于某些应用是必要的。但因其基本原理限制，它抵抗加噪、压缩、滤波等攻击的能力较差，而且可嵌入的水印容量也受到了限制。

(2)变换域数字音频水印嵌入方法

所谓变换域数字音频水印嵌入方法，就是首先对音频信号的采样数据进行适当变换(全局变换或者分段局部变换)，然后将数字水印信息嵌入到变换域选定的系数上，最后再通过相应的反变换恢复出含有水印的数字音频信号。其中，所采用的变换包括傅里叶变换(DFT或FFT)、离散余弦变换(DCT)及小波变换(WT)等等。变换域数字音频水印嵌入方法具有如下优点：(1)在变换域中嵌入的水印的信号能量可以分布到所有的音频采样值上，有利于保证水印的透明性；(2)在变换域中，可以利用人类听觉系统(Human Auditory System)的某些特性，更方便、更有效地进行水印的编码；(3)变换域的方法可与国际数据压缩标准兼容，从而实现在压缩域内的水印编码。但由于变换和反变换过程有损且计算量较大，故对于一些精确应用场合或需要快速应用的场合不太合适。

相关文献如下：

1.C.I.Podichuk，E.J.Delp.Digital watermarking：Algorithms and applications[J].IEEE Signal Processing Magazine，2001，18(4)：33-46.

2.I.J.Cox，Matt L.Miller.The first 50 years of electronic watermarking[J].Journal of Applied Signal Processing，2002，(2)：126-132.

3.C.S.Lu，H.Y.M.Liao.Multipurpose watermarking for image authenticationand protection[J].IEEE Trans.on image processing，2001，10(10)：1579-1592.

4.Emilia Gomez，Pedro Cano，et al. Mixed watermarking-fingerprintingapproach for integrity verification of audio recordings[A]. InternationalTelecommunications Symposium-ITS2002，Natal，Brazil，2002.

近年来，数字音频水印嵌入方法的研究取得了很大进展，陆续提出了诸如空间域、变换域等多种数字水印算法。其中，基于小波理论的变换域数字音频水印嵌入方法因其具有良好的多分辨率表示、时频局部分析等特性，且易于兼容MPEG-4压缩标准等特点，引起了人们的高度重视。然而，理论分析和实验结果表明，现有小波域数字音频水印嵌入方法普遍存在如下不足：

1、提取水印信息时直接或间接需要原始音频载体；

2、被嵌入的水印信息一般是伪随机序列(或二值标志图像)，数字水印容量太小；

3、未能充分考虑人类听觉系统(HAS)的感知特性，数字水印的透明性与鲁棒性有待进一步提高；

4、多采用快速小波变换(即Mallat算法)，不仅计算繁杂、所需内存空间较大，不利于硬件实现，而且存在较为严重的舍入误差(因为浮点运算)。

显然，克服现有音频水印技术之不足而设计一种全新的数字音频水印方法(并应用于音频作品版权保护)是十分必要的。

发明内容

鉴于上述现有技术所存在的问题，本发明设计了一种全新的数字音频水印嵌入与检测方法，本发明以整型提升小波变换、静态图像压缩编码、人类听觉系统(HAS)为基础，提出了将灰度图像(或彩色图像)嵌入到原始数字音频作品的新水印嵌入与检测方法。该方法具有以下特点：(1)应用静态图像压缩编码技术，实现了以灰度图像(或彩色图像)作为水印信号的数字音频水印方法；(2)充分利用人类听觉系统(HAS)的掩蔽特性，实现了水印嵌入位置的自适应确定，增强了算法的透明性和鲁棒性；(3)采纳了基于人类听觉系统的自适应量化策略，克服了现有技术存在的量化规则不完善及检测率较低等缺点，实现了水印嵌入深度的智能调节；(4)灰度水印图像(或彩色水印图像)的提取不需要原始音频信号；(5)采用整型提升小波变换，有效克服了现有小波域数字音频水印嵌入方法普遍存在的舍入误差问题。

本发明所述的基于听觉特性与整型提升小波的数字音频水印嵌入与检测方法，包括如下具体步骤：

设原始数字音频信号为A＝{a(i)，0≤i＜N}。其中，N为数据个数，a(i)∈{0，1，2，Λ，(2^p-1)}是第i个音频数据的幅度值，p为表示每个数据所使用的比特数。

设数字水印为256级灰度图像(或24位真彩色图像)W＝{w(i，j)，0≤i＜P，0≤j＜Q}，其中，w(i，j)代表数字水印图像的第i行、第j列象素的灰度值(或颜色值)；

数字水印的嵌入过程为：

(1)数字水印图像的压缩编码与置乱加密

当数字水印为256级灰度图像时，数字水印图像的压缩编码与置乱加密过程为：

本发明首先采用DCT(离散余弦变换)静态图像压缩技术，将数字水印图像W编码为一维的二进制序列V。工作步骤为：

(a)将数字水印图像(灰度图像)W划分成8×8的图像子块；

(b)对每个图像子块进行DCT变换，并量化所得到的DCT系数。量化矩阵根据如下规则设计：

1)系数选择：按照JPEG标准所采纳的Zig-Zag顺序，仅选取保留前10个DCT系数(即1个DC分量和9个低频AC分量)，其余舍弃；

2)量化：在保留下来的系数中，只有DC分量和前4个低频AC分量量化成8位，其余5个AC分量量化成4位。

于是，可得到压缩编码后的一维二进制序列

V＝{v(k)，0≤k＜N_w，v(k)∈{0，1}， $N_w=\frac{15(P\×Q)}{16}\};$

其中， $N_w=\frac{P\×Q}{8\×8}\×((1+4)\×8+5\×4)=\frac{15(P\×Q)}{16}.$

为了进一步消除数字水印图像的象素空间相关性，提高数字水印算法的鲁棒性，确保含水印音频信号某一部分受到破坏后仍能全部或部分地恢复水印，宜对上面得到的一维二进制序列V进行置乱加密(例如可采用随机置乱加密方法，由密钥K生成由1到N_w的随机排列，然后根据随机排列重新调整V中向量元素的位置)，以得到由V转换而来的新一维二进制序列X＝{x(k)，0≤k＜N_w，x(k)∈{0，1}}。

注：当数字水印为24位真彩色图像时，数字水印图像的压缩编码与置乱加密过程为：

(a)将彩色水印图像W分解为R、G、B三个彩色分量；

(b)将彩色分量R划分成8×8的子块；

(c)对每个子块进行DCT变换，并量化所得到的DCT系数。量化矩阵根据如下规则设计：

1)系数选择：按照JPEG标准所采纳的Zig-Zag顺序，仅选取保留前10个DCT系数(即1个DC分量和9个低频AC分量)，其余舍弃；

2)量化：在保留下来的系数中，只有DC分量和前4个低频AC分量量化成8位，其余5个AC分量量化成4位。

于是，可得到压缩编码后的一维二进制序列

          V_R＝{v^R(K)，0≤k＜N_w′，v^R(k)∈{0，1}， $N_w^{\′}=\frac{15(P\×Q)}{16}\};$ 这里， $N_w^{\′}=\frac{P\×Q}{8\×8}\×((1+4)\×8+5\×4)=\frac{15(P\×Q)}{16}.$

(d)对于彩色分量G、B实施步骤(b)和(c)的相同操作，即可得到彩色水印图像W的压缩编码后一维二进制序列V＝{v(k)，0≤k＜N_w，N_w＝3N_w′v(k)∈{0，1}}。

另外，为了进一步消除数字水印图像的象素空间相关性，提高数字水印算法的鲁棒性，确保含水印音频信号某一部分受到破坏后仍能全部或部分地恢复水印，宜对上面得到的一维二进制序列V进行置乱加密(例如可采用随机置乱加密方法，由密钥K生成由1到N_w的随机排列，然后根据随机排列重新调整V中向量元素的位置)，以得到由V转换而来的新一维二进制序列X＝{x(k)，0≤k＜N_w，x(k)∈{0，1}}。

(2)音频信号的分段处理及重要音频段的自适应选取

本发明将采用对数字音频信号进行分段的方法嵌入水印信息，即首先将整个音频信号划分为若干个音频数据段，进而依据人类听觉系统(HAS)自适应选取重要音频数据段用于嵌入水印(每个音频段仅嵌入1个比特的水印信息)。

设每个音频段含有L个数据(为了保证数字水印的透明性与鲁棒性，音频段长度L的取值以大于等于8为宜)，则可将整个音频信号划分成 个音频段，即

$A=\{A\left(K\right),0\&le;k</_L^N\},$ A(k)＝{a(kL+i)，0≤i＜L}

为了提高数字水印的透明性和鲁棒性，本发明仅在每个音频段嵌入1个比特的水印信息，因此需充分结合人类听觉系统(HAS)选取N_w个听觉重要音频段A_e＝{A_e(k)，0≤k＜N_w}用于水印嵌入。

由人类听觉系统(HAS)模型知，人的听觉具有掩蔽效应，即一种频率声音阻碍听觉系统感受另一种频率声音的现象，听觉掩蔽可分成时域掩蔽和频域掩蔽。其中，时域掩蔽是指高能量信号前后短时间发生的少量畸变难以被察觉，且超前掩蔽区(Pre-masking)持续时间较短(大约5～20ms)，而滞后掩蔽区(Post-masking)持续时间较长(大约50～200ms)。频域掩蔽是指频域中大幅度频率分量两侧的成分不易被感知，在高频侧尤其如此。可见，应根据听觉时域掩蔽特性，结合音频信号内容选取能量较大的音频段作为水印嵌入的候选段。频域掩蔽特性将在后面选取小波系数被利用。

下面给出基于内容的听觉重要音频段自适应选取方法。

首先，计算每个音频段的样本能量E(k)(0≤k＜N/L)：

$E\left(k\right)=\underset{i=0}{\overset{L-1}{\mathrm{\&Sigma;}}}{a}^2(\mathrm{kL}+i)$

然后，对所求取的N/L个音频段样本能量值进行降序排序，并选择能量较大的前N_w个音频段A_e＝{A_e(k)，0≤k＜N_w}作为水印嵌入的候选段。

(3)整型提升小波变换及小波系数的选取

对所选取的每个音频数据段A_e(k)(0≤k＜N_w)分别进行3级整型提升小波变换(ILWT)

CD_e(k)＝ILWT₃(A_e(k))＝{C_e(k)(3)，D_e(k)(3)，D_e(k)(2)，D_e(k)(1)}式中，C_e(k)(3)为第k音频段A_e(k)3级小波变换后的逼近信号，而{D_e(k)(3)，D_e(k)(2)，D_e(k)(1)}为第k音频段A_e(k)3级小波变换后的细节信号。

由于细节系数对应于音频信号的高频分量(不易被察觉)，逼近系数对应于音频信号的低频分量，因此在细节系数中嵌入水印信息有利于保证透明性，而嵌入在逼近系数中有利于提高鲁棒性。考虑到人类听觉系统(HAS)的频域掩蔽特性，本算法从第k音频段A_e(k)3级小波变换细节信号D_e(k)(3)中选取绝对值大的小波系数(听觉重要系数)C(k)用于水印序列元素x(k)的嵌入。

(4)数字水印的嵌入

水印嵌入是通过对所选择的小波系数C(k)进行特殊量化完成的。设C(k)表示待量化小波系数，C′(k)表示量化处理后的小波系数，x(k)为待嵌入水印比特，Δ表示量化间隔。与现有数字音频水印嵌入方法普遍采用均匀量化(Δ为常数)不同，本发明将量化间隔选取为基于人类听觉系统而计算出的可感知噪声阈值(JND)，即Δ＝JND(C(k))，以便于进一步提高数字水印的透明性与鲁棒性。则量化修改系数嵌入数字水印过程(步骤)如下：

首先定义量化规则。本文将量化函数定义为用量化间隔JND(C(k))对待量化小波系数C(k)进行二次取模求余运算，即

            Q(C(k))＝[C(k)mod(JND(C(k))]mod(2)

其量化规则为：如果C(k)mod(JND(C(k))为奇数，则Q(C(k))取1，即C(k)归于1类；如果C(k)mod(JND(C(k))为偶数，则Q(C(k))取0，即C(k)归于0类。

然后量化系数嵌入水印信息，即对所选小波系数C(k)进行适当修改并赋予二值信息的过程。本发明所采用的量化嵌入方案为：

如果Q(C(k))不等于x(k)，则

如果x(k)＝0，则

否则

否则

不对C(k)做任何处理；

其中，

(5)整型提升小波逆变换及音频段的重新组合

为了得到含水印的数字音频信号，要对含有水印信息的小波系数进行3级整型提升小波逆变换，即用含有水印信息的小波系数C′(k)代替C(k)并对小波系数CD′e进行3级整型提升小波逆变换(Inverse Integer Lifting Wavelet Transform，IILWT)，即

A_e′＝IILWT₃(CD_e′)

将A′_e代替A_e，再结合未被选用(嵌入水印)的音频数据段，即可最终得到含有水印的数字音频信号A′。

值得注意的是，本发明在嵌入数字水印过程中生成了抽取数字水印的密钥，即用于嵌入数字水印的候选音频段位置信息及小波系数位置信息。

本发明所提出的数字音频水印检测算法属于目标检测算法，即在检测数字水印图像时不需要原始的音频信号。

数字水印的检测过程如下：

(1)将待检测数字音频信号A′划分成 个音频段(每个音频段含有L个数据)，根据水印嵌入过程所生成的候选段位置信息选择听觉重要音频数据段A_e′＝{A_e′(k)，0≤k＜N_w}并对其分别进行3级整型提升小波变换(采纳嵌入过程所使用的小波基)。

(2)根据嵌入水印过程中所生成的用于嵌入水印的小波系数位置信息，确定出含有水印序列元素x′(k)信息的小波系数C′(k)(k＝0，1，Λ，N_w-1)，并利用前面所定义的量化规则提取水印。即

(3)按照数字水印嵌入算法的相反操作，利用密钥K对数字水印信息X′进行逆置乱加密，以得到原始水印的一维二进制序列V′＝{v′(k)，0≤k＜N_w，v′(k)∈{0，1}}。

(4)对所得到的一维二进制序列V′进行解压缩，便可恢复嵌入的数字水印图像W′＝{w′(i，j)，0≤i＜P，0≤j＜Q}。

此外，为了消除观测者的经验、身体条件、实验条件和设备等主、客观因素的影响，需采用归一化相关系数(Normalized Cross-Correlation，NC)对抽取的水印和原始水印的相似性进行定量评价，其定义为

$\mathrm{NC}(W^{\&prime;},W)=\frac{\underset{i=0}{\overset{P-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{Q-1}{\mathrm{\&Sigma;}}}w(i,j)\&CenterDot;w^{\&prime;}(i,j)}{\sqrt{\underset{i=0}{\overset{P-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{Q-1}{\mathrm{\&Sigma;}}}{w}^2(i,j)}\sqrt{\underset{i=0}{\overset{P-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{Q-1}{\mathrm{\&Sigma;}}}{w}^{\&prime;2}(i,j)}}$

其中，W′是待判决的数字水印，W是嵌入的原始数字水印。如果该归一化相关系数NC超过某一阈值T，我们就判定数字音频信号中存在此数字水印图像(阈值T是用户根据数字水印的具体应用背景而确定的)。

本发明所述的基于听觉特性与整型提升小波的数字音频水印嵌入与检测方法与现有数字音频水印方法比较具有以下优点：

(1)应用静态图像压缩编码技术，实现了以灰度图像(或彩色图像)作为水印信号的数字音频水印嵌入方法；

(2)充分利用人类听觉系统(Human Auditory System)的掩蔽特性，实现了水印嵌入位置的自适应确定，增强了算法的透明性和鲁棒性；

(3)采纳了基于人类听觉系统的自适应量化策略，克服了现有技术存在的量化规则不完善及检测率较低等缺点，实现了水印嵌入深度的智能调节；

(4)灰度水印图像(或彩色水印图像)的提取不需要原始音频信号；

(5)采用整型提升小波变换，有效克服了现有小波域数字音频水印嵌入方法普遍存在的舍入误差问题。

本发明可使各种形式的数字音频作品获得保护。

附图说明

本发明共有三张附图：其中，

图1：基于听觉特性与整型提升小波的数字音频水印嵌入方法原理框图

图2：基于听觉特性与整型提升小波的数字音频水印检测方法原理框图

图3(a)：原始数字音频信号波形图(流行音乐)

图3(b)：嵌入水印后的数字音频信号波形图(信噪比：SNR＝45.7dB)

图3(c)：原始灰度水印图像

图3(d)：压缩编码后的水印图像

图3(e)：提取出的数字水印图像(未受到任何攻击)

具体实施方式

本发明所述的基于听觉特性与整型提升小波的数字音频水印嵌入与检测方法的具体实施方式如附图1、附图2所示，本发明所述的基于听觉特性与整型提升小波的数字音频水印嵌入与检测方法，包括如下具体步骤：

设原始数字音频信号为A＝{a(i)，0≤i＜N}。其中，N为数据个数，a(i)∈{0，1，2，Λ，(2^p-1)}是第i个音频数据的幅度值，p为表示每个数据所使用的比特数。

设数字水印为256级灰度图像(或24位彩色图像)W＝{w(i，j)，0≤i＜P，0≤j＜Q}，其中，w(i，j)代表数字水印图像的第i行、第j列象素的灰度值(或颜色值)；

数字水印的嵌入过程为：

(1)数字水印图像的压缩编码与置乱加密

当数字水印为256级灰度图像时，数字水印图像的压缩编码与置乱加密过程为：

本发明首先采用DCT(离散余弦变换)静态图像压缩技术，将数字水印图像W编码为一维的二进制序列V。工作步骤为：

(a)将数字水印图像(灰度图像)W划分成8×8的图像子块；

(b)对每个图像子块进行DCT变换，并量化所得到的DCT系数。量化矩阵根据如下规则设计：

1)系数选择：按照JPEG标准所采纳的Zig-Zag顺序，仅选取保留前10个DCT系数(即1个DC分量和9个低频AC分量)，其余舍弃；

2)量化：在保留下来的系数中，只有DC分量和前4个低频AC分量量化成8位，其余5个AC分量量化成4位。

于是，可得到压缩编码后的一维二进制序列

       V＝{v(k)，0≤k＜N_w，v(k)∈{0，1}， $N_w=\frac{15(P\&times;Q)}{16}\};$

其中， $N_w=\frac{P\&times;Q}{8\&times;8}\&times;((1+4)\&times;8+5\&times;4)=\frac{15(P\&times;Q)}{16}.$

为了进一步消除数字水印图像的象素空间相关性，提高数字水印算法的鲁棒性，确保含水印音频信号某一部分受到破坏后仍能全部或部分地恢复水印，宜对上面得到的一维二进制序列V进行置乱加密(例如可采用随机置乱加密方法，由密钥K生成由1到N_w的随机排列，然后根据随机排列重新调整V中向量元素的位置)，以得到由V转换而来的新一维二进制序列X＝{x(k)，0≤k＜N_w，x(k)∈{0，1}}。

注：当数字水印为24位真彩色图像时，数字水印图像的压缩编码与置乱加密过程为：

(a)将彩色水印图像W分解为R、G、B三个彩色分量；

(b)将彩色分量R划分成8×8的子块；

(c)对每个子块进行DCT变换，并量化所得到的DCT系数。量化矩阵根据如下规则设计：

1)系数选择：按照JPEG标准所采纳的Zig-Zag顺序，仅选取保留前10个DCT系数(即1个DC分量和9个低频AC分量)，其余舍弃；

2)量化：在保留下来的系数中，只有DC分量和前4个低频AC分量量化成8位，其余5个AC分量量化成4位。

于是，可得到压缩编码后的一维二进制序列

V_R＝{v^R(k)，0≤k＜N_w′v^R(k)∈{0，1}， $N_w^{\&prime;}=\frac{15(P\&times;Q)}{16}\}.$ 这里， $N_w^{\&prime;}=\frac{P\&times;Q}{8\&times;8}\&times;((1+4)\&times;8+5\&times;4)=\frac{15(P\&times;Q)}{16}.$

(d)对于彩色分量G、B实施步骤(b)和(c)的相同操作，即可得到彩色水印图像W的压缩编码后一维二进制序列V＝{v(k)，0≤k＜N_w，N_w＝3N_w′v(k)∈{0，1}}。

另外，为了进一步消除数字水印图像的象素空间相关性，提高数字水印算法的鲁棒性，确保含水印音频信号某一部分受到破坏后仍能全部或部分地恢复水印，宜对上面得到的一维二进制序列V进行置乱加密(例如可采用随机置乱加密方法，由密钥K生成由1到3N_w的随机排列，然后根据随机排列重新调整V中向量元素的位置)，以得到由V转换而来的新一维二进制序列X＝{x(k)，0≤k＜N_w，x(k)∈{0，1}}。

(2)音频信号的分段处理及重要音频段的自适应选取

本发明将采用对数字音频信号进行分段的方法嵌入水印信息，即首先将整个音频信号划分为若干个音频数据段，进而依据人类听觉系统(HAS)自适应选取重要音频数据段用于嵌入水印(每个音频段仅嵌入1个比特的水印信息)。

设每个音频段含有L个数据(为了保证数字水印的透明性与鲁棒性，音频段长度L的取值以大于等于8为宜)，则可将整个音频信号划分成

个音频段，即

$A=\{A\left(k\right),0\&le;k</_L^N\},$ A(k)＝{a(kL+i)，0≤i＜L}

为了提高数字水印的透明性和鲁棒性，本发明仅在每个音频段嵌入1个比特的水印信息，因此需充分结合人类听觉系统(HAS)选取N_w个听觉重要音频段A_e＝{A_e(k)，0≤k＜N_w}用于水印嵌入。

由人类听觉系统(HAS)模型知，人的听觉具有掩蔽效应，即一种频率声音阻碍听觉系统感受另一种频率声音的现象，听觉掩蔽可分成时域掩蔽和频域掩蔽。其中，时域掩蔽是指高能量信号前后短时间发生的少量畸变难以被察觉，且超前掩蔽区(Pre-masking)持续时间较短(大约5～20ms)，而滞后掩蔽区(Post-masking)持续时间较长(大约50～200ms)。频域掩蔽是指频域中大幅度频率分量两侧的成分不易被感知，在高频侧尤其如此。可见，应根据听觉时域掩蔽特性，结合音频信号内容选取能量较大的音频段作为水印嵌入的候选段。频域掩蔽特性将在后面选取小波系数被利用。

下面给出基于内容的听觉重要音频段自适应选取方法。

首先，计算每个音频段的样本能量E(k)(0≤k＜N/L)：

$E\left(k\right)=\underset{i=0}{\overset{L-1}{\mathrm{\&Sigma;}}}{a}^2(\mathrm{kL}+i)$

然后，对所求取的N/L个音频段样本能量值进行降序排序，并选择能量较大的前N_w个音频段A_e＝{A_e(k)，0≤k＜N_w}作为水印嵌入的候选段。

(3)整型提升小波变换及小波系数的选取

对所选取的每个音频数据段A_e(k)(0≤k＜N_w)分别进行3级整型提升小波变换(ILWT)

CD_e(k)＝ILWT3(A_e(k))＝{C_e(k)(3)，D_e(k)(3)，D_e(k)(2)，D_e(k)(1)}式中，C_e(k)(3)为第k音频段A_e(k)3级小波变换后的逼近信号，而{D_e(k)(3)，D_e(k)(2)，D_e(k)(1)}为第k音频段A_e(k)3级小波变换后的细节信号。

由于细节系数对应于音频信号的高频分量(不易被察觉)，逼近系数对应于音频信号的低频分量，因此在细节系数中嵌入水印信息有利于保证透明性，而嵌入在逼近系数中有利于提高鲁棒性。考虑到人类听觉系统(HAS)的频域掩蔽特性，本算法从第k音频段A_e(k)3级小波变换细节信号D_e(k)(3)中选取绝对值大的小波系数(听觉重要系数)C(k)用于水印序列元素x(k)的嵌入。

(4)数字水印的嵌入

水印嵌入是通过对所选择的小波系数C(k)进行特殊量化完成的。设C(k)表示待量化小波系数，C′(k)表示量化处理后的小波系数，x(k)为待嵌入水印比特，Δ表示量化间隔。与现有数字音频水印嵌入方法^[1-4]普遍采用均匀量化(Δ为常数)不同，本发明将量化间隔选取为基于人类听觉系统而计算出的可感知噪声阈值(JND)，即Δ＝JND(C(k))，以便于进一步提高数字水印的透明性与鲁棒性。则量化修改系数嵌入数字水印过程(步骤)如下：

首先定义量化规则。本文将量化函数定义为用量化间隔JND(C(k))对待量化小波系数C(k)进行二次取模求余运算，即

           Q(C(k))＝[C(k)mod(JND(C(k))]mod(2)

其量化规则为：如果C(k)mod(JND(C(k))为奇数，则Q(C(k))取1，即C(k)归于1类；如果C(k)mod(JND(C(k))为偶数，则Q(C(k))取0，即C(k)归于0类。

然后量化系数嵌入水印信息，即对所选小波系数C(k)进行适当修改并赋予二值信息的过程。本发明所采用的量化嵌入方案为：

如果Q(C(k))不等于x(k)，则

如果x(k)＝0，则

否则

否则

不对C(k)做任何处理；

其中，

(5)整型提升小波逆变换及音频段的重新组合

为了得到含水印的数字音频信号，要对含有水印信息的小波系数进行3级整型提升小波逆变换，即用含有水印信息的小波系数C′(k)代替C(k)并对小波系数CD′_e进行3级整型提升小波逆变换(Inverse Integer Lifting Wavelet Transform，IILWT)，即

A_e′＝IILWT₃(CD_e′)

将A_e′代替A_e，再结合未被选用(嵌入水印)的音频数据段，即可最终得到含有水印的数字音频信号A′。

值得注意的是，本发明在嵌入数字水印过程中生成了抽取数字水印的密钥，即用于嵌入数字水印的候选音频段位置信息及小波系数位置信息。

本发明所提出的数字音频水印检测算法属于目标检测算法，即在检测数字水印图像时不需要原始的音频信号。

数字水印的检测过程如下：

(1)将待检测数字音频信号A′划分成 个音频段(每个音频段含有L个数据)，根据水印嵌入过程所生成的候选段位置信息选择听觉重要音频数据段A_e′＝{A_e′(k)，0≤k＜N_w}并对其分别进行3级整型提升小波变换(采纳嵌入过程所使用的小波基)。

(2)根据嵌入水印过程中所生成的用于嵌入水印的小波系数位置信息，确定出含有水印序列元素x′(k)信息的小波系数C′(k)(k＝0，1，Λ，N_w-1)，并利用前面所定义的量化规则提取水印。即

(3)按照数字水印嵌入算法的相反操作，利用密钥K对数字水印信息X′进行逆置乱加密，以得到原始水印的一维二进制序列V′＝{v′(k)，0≤k＜N_w，v′(k)∈{0，1}}。

(4)对所得到的一维二进制序列V′进行解压缩，便可恢复嵌入的数字水印图像W′＝{w′(i，j)，0≤i＜P，0≤j＜Q}。

此外，为了消除观测者的经验、身体条件、实验条件和设备等主、客观因素的影响，需采用归一化相关系数(Normalized Cross-Correlation，NC)对抽取的水印和原始水印的相似性进行定量评价，其定义为

$\mathrm{NC}(W^{\&prime;},W)=\frac{\underset{i=0}{\overset{P-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{Q-1}{\mathrm{\&Sigma;}}}w(i,j)\&CenterDot;w^{\&prime;}(i,j)}{\sqrt{\underset{i=0}{\overset{P-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{Q-1}{\mathrm{\&Sigma;}}}{w}^2(i,j)}\sqrt{\underset{i=0}{\overset{P-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{Q-1}{\mathrm{\&Sigma;}}}{w}^{\&prime;2}(i,j)}}$

其中，W′是待判决的数字水印，W是嵌入的原始数字水印。如果该归一化相关系数NC超过某一阈值T，我们就判定数字音频信号中存在此数字水印图像(阈值T是用户根据数字水印的具体应用背景而确定的)。

以下我们结合实验数据说明本发明带来的积极效果。

仿真实验选取了蓝调、流行、古典、乡村、民歌等5种普遍存在的音乐形式进行测试，这5种不同类型的音乐形式具有不同的频谱特性，它能够有效地测试本发明的有效性。每一段测试音乐(即原始数字音频信号)都是单声道，采样频率为44.1kHz，分辨率为16比特，取400000个采样点，数字水印选用了64×64的256级灰度图像Cat。整型提升小波变换采用了常见的Haar小波基。由于采用的水印在感觉上是可视的，所以提取的水印信息很容易辨别。另外，仿真实验还采用归一化相关系数(NC)定量分析了提取水印与原始水印的相似度，采用信噪比(SNR)评价了原始数字音频信号与含水印数字音频信号之间的差别，并与Emilia Gomez和Pedro Cano所提出的数字音频水印方法(文[4]法)进行了对比。

(1)数字音频的主观质量度量

数字音频的主观质量度量采纳了主观平均判分方法(Mean Opinion Score，MOS)，即召集若干个实验者，由他们对数字音频质量的好坏进行评分，再求出平均值作为对数字音频质量的评价。目前，对数字音频主观质量度量比较通用的标准是5分制，各档次的评分标准见表1。

仿真实验中，共挑选了10名具有不同音乐背景的实验者(其中，4名实验者为专业音乐人士，5名实验者具有一定音乐背景)，他们要仔细倾听原始音乐作品和含水印音乐作品并指出二者之间是否存在差异。测试时，首先将10名实验者安置在音乐实验室内并佩带高质量耳机，再分别播放原始音乐作品和含水印音乐作品(进行听力测试)，然后分别给出音乐质量的主观评分，最后将10名实验者的平均得分作为对音乐作品的主观质量评价。表2给出了5种音乐作品(蓝调音乐、流行音乐、古典音乐、乡村音乐、民歌)的主观质量度量结果。

表1  数字音频质量的评分标准                        表2  音频作品的主观质量度量

分数      质量等级        失真级别            音频作品     本发明          文[4]法

5.0       优              无察觉              蓝调音乐     4.94            4.56

4.0       良              (刚)察觉但不讨厌    流行音乐     4.96            4.38

3.0       中              (察觉)有点讨厌      古典音乐     4.91            4.61

2.0       差              讨厌但不反感        乡村音乐     4.95            4.33

1.0       劣              极讨厌(令人反感)    民歌         4.96            4.40

水印后的数字音频信号波形图(信噪比：SNR＝45.7dB)、原始灰度水印图像、压缩编码后的水印图像和提取出的数字水印图像(NC＝0.9990)(未受到任何攻击)。

(3)抗攻击能力测试

通常，对含水印数字音频信号的攻击方式主要包括低通滤波、叠加噪声、重新采样、重新量化、有损压缩等。为了检测本发明之数字音频水印嵌入方法的鲁棒性，仿真实验对含水印音频信号分别进行了以上处理，表3给出了本发明及文献[4]方法对常见信号处理与攻击的抵抗能力(归一化相关系数)。其中

(1)低通滤波。采用长度为6阶，截止频率为22.05kHz的巴特沃兹低通滤波器。

(2)叠加噪声。对数字音频信号在时域中加入高斯白噪声。

(3)重新采样。将音频信号采样频率提升为48kHz，再还原为原采样频率44.1kHz。

(4)重新量化。先将音频信号从16比特量化为8比特，再量化为16比特。

(5)有损压缩。先对音频信号进行压缩(压缩比为12∶1)，再解压缩。

                   表3  数字水印对常见攻击的抵抗能力

                              归一化相关系数

攻击方式           蓝调音乐               流行音乐                 古典音乐                  乡村音乐              民歌

             本发明       文[4]法      本发明      文[4]法     本发明     文[4]法      本发明      文[4]法   本发明    文[4]法

低通滤波     0.8950        0.8105      0.9015      0.8087      0.9018      0.8123      0.9001      0.8098    0.9010    0.8129

叠加噪声     0.9027        0.7981      0.8984      0.7869      0.8858      0.7873      0.8854      0.7797    0.8958    0.7814

重新采样     0.7834        0.7056      0.7801      0.7113      0.7986      0.7136      0.7985      0.7082    0.8005    0.7089

重新量化     0.8903        0.7513      0.8928      0.7640      0.9070      0.7604      0.9009      0.7613    0.9034    0.7673

有损压缩     0.8520        0.8014      0.8524      0.7997      0.8506      0.8040      0.8770      0.7983    0.8595    0.7948

以上仿真实验结果表明：本发明所提出的数字音频水印嵌入与检测方法不仅具有较好的透明性，而且对诸如叠加噪声、有损压缩、低通滤波、重新采样、重新量化等攻击均具有较好的鲁棒性，整体性能优于现有数字音频水印方法。

Claims (1)

1、一种基于听觉特性与整型提升小波的数字音频水印嵌入与检测方法，其特征在于包括如下具体步骤：

设原始数字音频信号为A＝{a(i)，0≤i＜N}，其中，N为数据个数，a(i)∈{0，1，2，Λ，(2^p-1)}是第i个音频数据的幅度值，p为表示每个数据所使用的比特数；

设数字水印为256级灰度图像(或24位真彩色图像)W＝{w(i，j)，0≤i＜P，0 ≤j＜Q}，其中，w(i，j)代表数字水印图像的第i行、第j列象素的灰度值(或颜色值)；

数字水印的嵌入过程为：

(1)数字水印图像的压缩编码与置乱加密

当数字水印为256级灰度图像时，数字水印图像的压缩编码与置乱加密过程为：

首先采用DCT(离散余弦变换)静态图像压缩技术，将数字水印图像W编码为一维的二进制序列V，工作步骤为：

(a)将数字水印图像(灰度图像)W划分成8×8的图像子块；

(b)对每个图像子块进行DCT变换，并量化所得到的DCT系数；

于是，可得到压缩编码后的一维二进制序列

$V=\{v\left(k\right),0\&le;k<N_w,v\left(k\right)\&Element;\{\mathrm{0,1}\},N_w=\frac{15(P\&times;Q)}{16}\};$

其中： $N_w=\frac{P\&times;Q}{8\&times;8}((1+4)\&times;8+5\&times;4)=\frac{15(P\&times;Q)}{16};$

然后对上面得到的一维二进制序列V进行置乱加密，得到新的一维二进制序列X＝{x(k)，0≤k＜N_w，x(k)∈{0，1}}；

注：当数字水印为24位真彩色图像时，数字水印图像的压缩编码与置乱加密过程为：

(a)将彩色水印图像W分解为R、G、B三个彩色分量；

(b)将彩色分量R划分成8×8的子块；

(c)对每个子块进行DCT变换，并量化所得到的DCT系数；

于是，可得到压缩编码后的一维二进制序列

$V_R=\{v^R\left(k\right),0\&le;k<N_w^{\&prime;},v^R\left(k\right)\&Element;\{\mathrm{0,1}\},N_w^{\&prime;}=\frac{15(P\&times;Q)}{16}\};$

这里， $N_w^{\&prime;}=\frac{P\&times;Q}{8\&times;8}\&times;((1+4)\&times;8+5\&times;4)=\frac{15(P\&times;Q)}{16};$

(d)对于彩色分量G、B实施步骤(b)和(c)的相同操作，即可得到彩色水印图像W的压缩编码后一维二进制序列

$V=\{v\left(k\right),0\&le;k<N_w,N_w=3N_w^{\&prime;},v\left(k\right)\&Element;\{\mathrm{0,1}\left\}\right\};$

对上面得到的一维二进制序列V进行置乱加密，得到新的一维二进制序列X＝{x(k)，0 ≤k＜N_w，x(k)∈{0，1}}；

(2)音频信号的分段处理及重要音频段的自适应选取

采用对数字音频信号进行分段的方法嵌入水印信息，即首先将整个音频信号划分为若干个音频数据段，进而依据人类听觉系统(HAS)自适应选取重要音频数据段用于嵌入水印，每个音频段仅嵌入1个比特的水印信息；

设每个音频段含有L个数据，为了保证数字水印的透明性与鲁棒性，音频段长度L的取值以大于等于8为宜，则可将整个音频信号划分成 个音频段，即 $A=\{A\left(k\right),0\&le;k<N/L\},$ A(k)＝{α(kL+i)，0≤i＜L}；

根据听觉时域掩蔽特性，结合音频信号内容选取能量较大的音频段作为水印嵌入的候选段；

下面给出基于内容的听觉重要音频段自适应选取方法；

首先，计算每个音频段的样本能量E(k)(0≤k＜N/L)：

$E\left(k\right)=\underset{l=0}{\overset{L-1}{\mathrm{\&Sigma;}}}{a}^2(\mathrm{kL}+i)$

然后，对所求取的N/L个音频段样本能量值进行降序排序，并选择能量较大的前N_w个音频段A_e＝{A_e(k)，0≤k＜N_w}作为水印嵌入的候选段；

(3)整型提升小波变换及小波系数的选取

对所选取的每个音频数据段A_e(k)(0≤k＜N_w)分别进行3级整型提升小波变换(ILWT)

       CD_e(k)＝ILWT₃(A_e(k))＝{C_e(k)(3)，D_e(k)(3)，D_e(k)(2)，D_e(k)(1)}式中，C_e(k)(3)为第k音频段A_e(k)3级小波变换后的逼近信号，而{D_e(k)(3)，D_e(k)(2)，D_e(k)(1)}为第k音频段A_e(k)3级小波变换后的细节信号；

根据人类听觉系统(HAS)的频域掩蔽特性，本算法从第k音频段A_e(k)3级小波变换细节信号D_e(k)(3)中选取绝对值大的小波系数(听觉重要系数)C(k)用于水印序列元素x(k)的嵌入；

(4)数字水印的嵌入

水印嵌入是通过对所选择的小波系数C(k)进行特殊量化完成的；设C(k)表示待量化小波系数，C′(k)表示量化处理后的小波系数，x(k)为待嵌入水印比特，Δ表示量化间隔；将量化间隔选取为基于人类听觉系统而计算出的可感知噪声阈值(JND)，即Δ＝JND(C(k))；

则量化修改系数嵌入数字水印过程(步骤)如下：

首先定义量化规则，将量化函数定义为用量化间隔JND(C(k))对待量化小波系数C(k)进行二次取模求余运算，即

            Q(C(k))＝[C(k)mod(JND(C(k))]mod(2)其量化规则为：如果C(k)mod(JND(C(k))为奇数，则Q(C(k))取1，即C(k)归于1类；如果C(k)mod(JND(C(k))为偶数，则Q(C(k))取0，即C(k)归于0类；

然后量化系数嵌入水印信息，即对所选小波系数C(k)进行适当修改并赋予二值信息的过程，所采用的量化嵌入方案为：

如果Q(C(k))不等于x(k)，则

如果x(k)＝0，则

否则

否则

不对C(k)做任何处理；

其中，

(5)整型提升小波逆变换及音频段的重新组合

为了得到含水印的数字音频信号，要对含有水印信息的小波系数进行3级整型提升小波逆变换，即用含有水印信息的小波系数C′(k)代替C(k)并对小波系数CD_e′进行3级整型提升小波逆变换(Inverse Integer Lifting Wavelet Transform，IILWT)，即

$A_e^{\&prime;}=\mathrm{IILW}{T}_3\left(C{D}_e^{\&prime;}\right)$

将A_e′代替A_e，再结合未被选用(嵌入水印)的音频数据段，即可最终得到含有水印的数字音频信号A′；

数字水印的检测过程如下：

(1)将待检测数字音频信号A′划分成

个音频段(每个音频段含有L个数据)，根据水印嵌入过程所生成的候选段位置信息选择听觉重要音频数据段 $A_e^{\&prime;}=\{A_e^{\&prime;}\left(k\right),0\&le;k<N_w\}$ 并对其分别进行3级整型提升小波变换(采纳嵌入过程所使用的小波基)；

(2)根据嵌入水印过程中所生成的用于嵌入水印的小波系数位置信息，确定出含有水印序列元素x′(k)信息的小波系数C′(k)(k＝0，1，Λ，N_w-1)，并利用前面所定义的量化规则提取水印，即

(3)按照数字水印嵌入算法的相反操作，对数字水印信息X′进行逆置乱加密，以得到原始水印的一维二进制序列V′＝{v′(k)，0≤k＜N_w，v′(k)∈{0，1}}；

(4)对所得到的一维二进制序列V′进行解压缩，便可恢复嵌入的数字水印图像W′＝{w′(i，j)，0≤i＜P，0≤j＜Q}。

Images