CN1961352A - 在媒体信号中嵌入辅助信息的方法和装置 - Google Patents

Abstract

本发明涉及一种在媒体信号如视听信号中嵌入辅助信息的系统。一种装置包括通过媒体信号的量化索引调制来产生修正信号的量化索引调制器(103)。该修正信号具有取决于辅助信息的相对于媒体信号的失真。该装置还包括产生表明媒体信号对失真的感知灵敏度的感知特性的感知处理器(107)。将该量化索引调制器(103)和感知处理器(107)耦合到补偿处理器(105)，该补偿处理器通过响应感知特性来修正该修正信号的失真强度从而产生输出信号。本发明将量化索引调制加水印与感知模型相结合，以便在水印的不可感知性与检测可靠性之间提供改进的权衡。

Description

在媒体信号中嵌入辅助信息的方法和装置

发明领域

本发明涉及一种在媒体信号中嵌入辅助信息的方法和装置，尤其是涉及使用量化索引调制将辅助信息嵌入到媒体信号中。

发明的背景

数字水印涉及在视听对象中嵌入辅助信息。数字水印具有很多应用，包括版权保护、版税跟踪、商业验证、增值内容，交互式玩具等等。数字加水印的经典方法基本上是受控的噪声添加，其中将已知的类似噪声的信号添加到原始信号中。这种技术的例子被称为扩展频谱加水印。对添加的水印的水印检测通常是基于接收的信号和参考水印之间的相关性。最后得到的相关值包含了想要得到的项和干扰项。该干扰项是基于噪声添加的水印技术获得的性能比最佳性能要差的主要原因。

在与加水印有关的文献中，越来越多的注意力都集中到将主信息作为水印嵌入器的副信息来处理的水印方案上。这种信息理论方法导致加水印方案具有非常高的能力。

例如，近期出版物显示：假设某些攻击模型，可以通过量化实现最佳加水印。实质上量化加水印相当于：在主信号s的空间S中，选择N组码点C_n，其中N等于嵌入的消息的数量(该水印的有效载荷)。将主信号s变成信号s嵌入了消息m，这使得s和s相接近，并且使得s比任何其它代码组C_n中其它任何点都更接近C_m中的特定点c，其中n不同于m。把水印解码相当于找到码点组集合中最接近的各点c，以及在并且只在该点c属于该代码组C_m时对该消息m作出决定。这种加水印的类型通常称作量化索引解调(QIM)。

QIM进一步的细节例如可以在Chen，B.和Womell，G.W.的“Quantizationindex modulation：a class of provably good methods for digital watermarking andinformation embedding”(量化索引调制：一种用于数字水印和信息嵌入的可证明为良好的方法的类型)，Transactions on Information Theory，IEEE，Volume：47Issue：4，May 2001，Page(s)：1423-1443以及Chou，J.Ramchandram，k.和Ortega，A的“Next generation techniques for robust and imperceptible audio data hiding”(用于可靠和不可见的音频数据隐藏的下一代技术)，IEEE International Conference onAcoustics，Speech，and Signal Processing，Proceedings，2001 Volume：3，Page(s)：1349-1352中找到。

通常由该方法产生的实际方案是基于(抖动的)矢量量化和失真补偿的。这两种技术的结合可以嵌入大量的信息。使用这些技术的方案通常称作失真补偿的量化索引调制加水印(DC-QIM)。

DC-QIM方案的问题在于比较难以适合本地图象特性。特别是，很难控制该水印的可见性。从专利合作条约(PCT)WO03/053064得知一种使QIM水印适应本地信号特性的方法。WO03/053064公开了一种量化步长的本地修正，它被作为改进该水印的鲁棒性和可见性之间的方法。

当前的控制QIM水印的可感知性和检测可靠性的方法使用过分简单的模型，并且特别是基于评定该主信号和水印之间的信噪比。虽然这种模型对于分析目的来说非常有用，但是会导致该水印的不可感知性和检测可靠性之间的次优权衡。

因此，一种改进的系统用于将辅助信息嵌入媒体信号将是有益的，特别是一种提供改进了的检测可靠性、增加的灵活性、易于实施、改进了的不可感知性和/或改进了的性能的系统将是有益的。

发明概要

因此，本发明优选地寻求单独或者以任何组合的方式减轻、缓和或消除一个或多个上述缺点。

根据本发明的第一个方面，提供一种在媒体信号中嵌入辅助信息的装置，包括：用于通过对该媒体信号的量化索引调制来产生修正信号的装置；该修正信号具有取决于辅助信息的相对于该媒体信号的失真；用于产生表明该媒体信号对该失真的感知灵敏度的感知特性的装置；以及用于通过响应该感知特性来修正该修正信号的失真强度以便产生输出信号的装置。

本发明的发明人认识到：可以通过修正由响应于感知特性的量化索引调制引入的失真强度而实现改进的量化索引调制性能。改进的性能得以实现，特别是可以减少该失真的可感知性，和/或可以增加该辅助信息的检测可靠性。

该媒体信号例如可以是视频和/或音频信号。该媒体信号例如可以是流信号，或者是包括数字数据的文件。该辅助信息特别可以是数字水印。该感知特性可以是一个指示在该媒体信号和修正信号之间的用户感知差异的特性。

根据本发明的优选特征，该失真强度可用于通过修正失真补偿参数来修正该强度。这提供特别有利的性能。可选地或附加地，由于实现了简单、有效和/或灵活的用于修正该失真强度的装置，实施可以得到简化。特别是，该特征适用于现有的量化索引调制方法。

根据本发明的优选特征，该用于修正失真强度的装置可用于响应本地的媒体信号对该失真的本地感知灵敏度来动态调整该失真强度。

优选地要动态地控制该强度以反映当前正在修正的一部分媒体信号的特定条件。因此，可以动态地使不可感知性和检测可靠性之间有最佳权衡，以反映该信号的变化特性。

根据本发明的优选特征，该用于产生输出信号的装置可用于响应该感知特性来定标该失真。这提供了修正该强度的有利方式，并且可以允许简单而且实际的实施。

根据本发明的优选特征，该用于产生输出信号的装置可用于为递减的感知灵敏度而增加该强度。这允许该失真的不可感知性和该辅助信息的检测可靠性之间改进了的权衡。特别是，可以尽可能地增加该强度，而不使用户可察觉到最后信号的失真。

根据本发明的优选特征，该用于产生修正信号的装置可用于将该失真w_j实质上确定如下：

${\underset{\‾}{s}}_j=(\mathrm{Round}\left(\frac{(\frac{s_j+v_j}{D}+b_j)}{2}\right)\·2-b_j)*D-v_j$

其中s_j是该媒体信号的样本j，D是量化区间，v_j是样本j的抖动值，以及b_j是该辅助信息的位j。这提供了具有高性能、低复杂性的实施。

根据本发明的优选特征，该用于产生输出信号的装置可用于确定该输出信号s_out，j，它包括实质上如下的信号：

s_out，j＝s_j+α·w_j

其中s_j是该媒体信号的样本j，w_j是通过该媒体信号的量化索引调制确定的样本j的失真，和α是失真补偿参数；以及该用于产生输出信号的装置可用于响应该感知特性来修正该失真补偿参数α。

这提供了一种特别简单的实施、分析和/或控制该失真强度的技术。

根据本发明的优选特征，该媒体信号是可视信号，并且该感知特性表示图像区域的纹理程度。该可视信号例如可以是视频信号或图片文件。优选地对于增加的纹理程度，该强度将增加。通常，对于增加的纹理程度会增加对媒体信号的感知失真，并且该特征允许利用其在不可感知性和检测性能之间提供改进的权衡。

根据本发明的优选特征，该媒体信号是音频信号，并且该感知特性是音频片断的音频电平的表示。该音频信号例如可以是数字编码的音乐信号。优选地，对于增加的音频电平，该强度将增加。通常，对于增加音频电平，将增加对音频媒体信号的感知失真，并且该特征允许利用其在不可感知性和检测性能之间提供改进的权衡。

根据本发明的优选特征，该用于产生感知特性的装置可用于响应包括拉普拉斯算子滤波器的感知模型以产生该感知特性。这提供了适当的确定感知特性的方式，该感知特性对控制许多类型的媒体信号的失真强度都是有用的。

根据本发明的优选特征，该用于产生感知特性的装置可用于响应一个包括Girod的W模型的感知模型以产生该感知特性。这提供了适当的确定感知特性的方式，该感知特性对控制许多类型的媒体信号的失真强度都是有用的。

根据本发明的第二个方面，提供一种在媒体信号中嵌入辅助信息的方法，该方法包括以下步骤：通过该媒体信号的量化索引调制来产生修正信号；该修正信号具有取决于该辅助信息的相对于该媒体信号的失真；产生表明该媒体信号对该失真的感知灵敏度的感知特性；以及通过响应该感知特性而修正该修正信号的失真强度来产生输出信号。

本发明的这些和其它方面、特征和优点是显而易见的，并且参照下文中描述的实施方式阐明。

附图说明

参照附图，仅通过举例的方式描述本发明的实施方式，其中

附图1表示根据本发明的实施方式嵌入水印的装置的方框图。

具体实施方式

下面的描述集中于适用于将数字水印嵌入数字编码的视听信号中的本发明的实施方式。

附图1表示根据本发明的实施方式嵌入水印的装置的方框图。

在该例中，该装置包括产生媒体信号本地信号源101。该媒体信号例如可以是包括数字编码的视频和/或音频的剪辑的数据文件。可以理解，在其它实施方式中，该媒体信号可以从其它源例如外部源接收。还可以理解，该媒体信号可以具有任何适当的形式，例如可以是流信号。

将本地信号源101连接到供给了该媒体信号的量化索引调制器103。特别是，该量化索引调制器103被提供了作为若干此后由s_j表示的样本的媒体信号，其中j表示样本数。

量化索引调制器103可用于嵌入辅助信息的样本b_j，因而通过该媒体信号的量化索引调制产生修正信号。因此，产生具有相对于该媒体信号的失真的修正信号 s_j 。该失真取决于该辅助信息。然而，与添加噪声的水印技术相反，该失真不会直接对应于该辅助信息，而是将该辅助信息包含在施加到该媒体信号的量化中以及因此包含在该信号与失真的组合中。

更详细地，通过举例，在考虑信号样本值的标量量化的情况下可以最容易地理解该量化索引调制。选择量化区间D，并且将其用于构造如下两个代码组C₀和C₁：代码组C₀由所有D的偶倍数构成，而代码组C₁由所有D的奇倍数构成。在其最简单的形式中，实现一个具有长度为k的位串(水印)b＝(b₁，b₂，....b_k)的长度k的信号s＝(s₁，s₂，....s_k)的加水印，这是通过对每个j，当b_j＝0时将s_j舍入为D的最近的偶倍数以及当b_j＝1时将s_j舍入为D的最近的奇倍数来实现的。因此，量化索引调制将输入样本s_j映射成修正的输出样本 s _j，它与水印位b_j有关。

通过将该结果信号舍入成被D跨越的网格，并且如果该舍入产生D的偶倍数的值则将位值设置成0，如果该舍入产生D的奇倍数的值则将该位值设置成1，可以恢复该位串b。

在许多实际的系统中，通过将抖动值v_j添加到每个样本来抖动该信号样本，以便提高安全性，以及使引入的量化噪声分散和随机化。该抖动值v_j优选是实数。这防止了样本s_j总是在被D跨越的网格上而由此遮掩了水印的存在。

具体说，量化索引调制器103可以执行下面称作“抖动的均匀标量量化”的操作。

将该抖动值v_j表示为该量化步骤的分数值，特别地-1＜v_j＜1。对于给定偏移量v_j，可以假定输出样本 s _j的离散电平是：

${\underset{\‾}{s}}_j=(2m+b_j)\·D+v_j\·D---\left(1\right)$

其中m是整数值。

输出值 s _j必须尽可能地接近输入值s_j。可以将其表示为

$s_j\≅{\underset{\‾}{s}}_j---\left(2\right)$

$s_j\≅(2m+b_j)\·D+v_j\·D---\left(3\right)$

$m\≅\frac{s_j-(v_j+b_j)\·D}{2D}---\left(4\right)$

通过下面的设定，该条件得以符合

$m=\mathrm{Round}\left(\frac{s_j-(v_j+b_j)\·D}{2D}\right)---\left(5\right)$

将(5)代入(1)得到：

${\underset{\‾}{s}}_j=(\mathrm{Round}\left(\frac{(\frac{s_j}{D}+v_j+b_j)}{2}\right)\·2-v_j-b_j)*D---\left(6\right)$

可以通过下面的方式解释公式6。首先，对样本值s_j来说，计算“量化索引”s_j/D。其次，将该量化索引舍入成与偶或奇整数值对应的移位型式(偏移v_j)，这取决于b_j是1还是0。因此，取决于b_j的值，该量化索引调制的信号样本处在两个截然不同的子组。最后，将该结果乘以D，以便恢复该样本值s_j的原始尺度。

因此，在所述的实施方式中，量化索引调制器103产生修正信号 s _j。该修正信号包括由下面的公式给出的相对于原始信号s_j的失真w_j：

$w_j=s_j-(\mathrm{Round}\left(\frac{(\frac{s_j}{D}+v_j+b_j)}{2}\right)*2-v_j-b_j)*D---\left(7\right)$

因此该失真取决于水印数据。然而，与典型的噪声添加的加水印相反，该失真不是直接与水印相关联的。而是将该水印信息包含在该信号和失真的组合中。

可以理解，该量化索引调制不是必需限于二进制数据符号，而是也可以应用于更高阶的数据符号。

如在本领域中公知的，可以通过计算量化索引、考虑抖动值以及检查该量化索引的奇偶来执行被量化索引调制嵌入的信息的检测。在二进制的情况下，水印检测器可以根据下式简单计算该水印的位值 b _j：

${\underset{\‾}{b}}_j=\mathrm{Mod}(\mathrm{Round}\left(\frac{s_j}{D}\right)+v_j,2)---\left(8\right)$

为了改变修正的媒体信号呈现的水印对用户的影响和可感知性，可以应用失真补偿。因此，附图1的装置包括补偿处理器105，它通过修正该修正的信号的失真强度产生输出信号。

特别是，补偿处理器105产生由下面的公式给出的输出信号s_out：

s_out，j＝s_j+α·w_j(9)

其中s_j是媒体信号的样本j，w_j是由量化索引调制器103确定的样本j的失真。因此，在所述的实施方式中，通过失真补偿参数α来定标失真w。

因此，可以把通过量化索引调制器103引入的失真w考虑为原始样本和水印样本之间的差异，并且可以将w解释为由量化索引调制器103引入的修正或误差。可以使用失真补偿参数α的附加参数控制该修正的幅度和强度。失真参数值α＝1对应于原始量化索引调制，而α＝0对应于没有对该原始媒体信号进行修正。

在附图1的实施方式中，补偿处理器105从信号源101接收原始信号s_j，并且从量化索引调制器103接收修正信号 s _j。然后计算每个样本的失真w_j，将该失真乘以失真补偿参数α，并且将该结果添加到原始信号s_j。因此，补偿处理器105通过执行下面的操作来修正该修正信号的失真强度从而产生输出信号：

s_out，j＝s_j+α·(s_j- s _j) (10)

可以理解，失真补偿不需要不同的水印检测算法，并且可以使用相同的检测器，而与失真补偿参数α的值无关。

根据所述的实施方式，附图1的装置进一步包括感知处理器107。感知处理器107产生表明该媒体信号对该失真的感知灵敏度的感知特性。特别是，该感知处理器107可以确定一个感知特性，它表明对用户而言该原始媒体信号的失真或修正的可觉察的程度。例如，对视频信号来说，该感知特性可以表示该媒体信号对变成视觉上可觉察的失真的灵敏程度。

在附图1的装置中，将感知处理器107耦合到补偿处理器105，并且可用来控制失真补偿参数α。因此，响应于该感知特性来控制该修正信号的失真强度。

这可以使该失真对该信号特性来说是最佳的，特别是可以在该失真的不可感知性和该嵌入水印的检测可靠性之间提供改进的权衡。

优选地，随着感知灵敏度的降低要增加该失真的强度。因此，当失真不易觉察时，就增加失真补偿参数α，这导致增加的检测可靠性，同时保证水印嵌入不会导致不可接受的质量降低。当感知灵敏度增加时，较小的失真就可以觉察，因此要减少该失真补偿参数α，由此保证质量降低不会变成不可接受的。

在所述的实施方式中，感知处理器107实施一个感知模型，其处理该媒体信号以确定感知特性。该感知模型优选产生表明本地感知灵敏度的本地感知特性。特别是，可以基于该样本周围的一组样本产生每个样本的感知特性。

作为视频应用的特例，感知处理器107可以实施包括拉普拉斯算子滤波器的感知模型。该拉普拉斯算子滤波器是一个高通滤波器，它产生表明图像或视频帧中的区域是平淡的还是纹理的信号。对平淡的区域来说，其中即使很小的失真也容易看到，则该滤波器具有微弱的响应。在纹理区域中，其中失真不易看见，则该滤波器具有强响应。因此，该拉普拉斯算子滤波器的输出表明感知灵敏度，并且因此可以用于控制该失真补偿参数α。

因此，所述实施方式提供了一种将高性能加水印算法的量化索引调制使用与感知评定相结合的方式。基于该感知模型的结果，相对于默认值增加(当该感知模型表示即使相对大的修正也是不可觉察时)或减少(当该感知模型表示需要小的修正以保证不可觉察性)该失真补偿参数α。

在数学术语中，让s_i成为要加上水印的信号样本，让(s_i-N，....，s_i+M)成为s_i环境中的样本。假设当大失真仍然是不可觉察时该视觉模型返回大的值，并且当失真必须小到不可觉察时则返回小的值。让P(s_k-N，....s_s+M)成为感知模型，让g()成为适当选择的单调递增函数，取区间[0，1]的值。然后该感知自适应嵌入可以是：

$\underset{\‾}{s_i}=s_i+a_i\·w_i,$ 其中

a_k＝g(P(s_i-N...，s_i+M))                 (11)

并且其中w_i在公式(7)中限定。

一个使用拉普拉斯算子滤波器作为感知模型P和线性函数g(z)＝γz+b的对灰度图像加水印(由象素亮度X_r，c给出)的例子，可以使用下面的项来确定失真补偿参数a_r，c：

a_r，c＝b+γ·(-x_r-1，c-1-x_r-1，c-x_r-1，c+1-x_r，c-1+8_xr，c-x_r，c+1-x_r+1，c-1-x_r+1，c-x_r+1，c+1)

可以理解，可以使用其它确定感知特性的装置，特别可以选择或另外使用其它的感知模型。

例如，感知处理器107可以响应于一个包括Girod的W模型的感知模型产生该感知特性。

该模型估计“刚好觉察不到”的噪声量作为(均匀的)背景亮度的函数。这适应于韦伯定律(Weber’s law)，它说明两个激励之间最小的可觉察的差异与该激励的强度成比例。关于Girod的W模型的进一步信息可以在Bernd Girod的“The information theoretical significance of spatial and temporal masking in videosignals”(视频信号中空间和时间掩膜的信息理论意义)，“Human vision，Visualprocessing ad digital display”(人类视觉、可见处理的数字显示)，volume 1077 ofProceedings of SPIE(the international society for optical engineering)第178-187页，1989中找到。

还可以理解，本发明不限于可视信号，而是可以应用于许多不同类型的媒体信号。例如，该媒体信号可以是音频信号如数字取样的以及PCM(脉冲编码调制)编码音频剪辑。在该例中，该感知特性可以表明音频的音频电平，并且该失真补偿参数α可以为了增加音频电平而增加，这是由于这些增加的音频电平对应于失真不易被收听者觉察的那些更高的信号值。

本发明可以以任何适当的形式实施，包括硬件，软件，固件或这些的任意组合。然而，优选地，本发明是作为在一个或多个数据处理起和/或数字信号处理器上运行的计算机软件而实施的。本发明实施方式的元件和组件可以以任何适当的方式在物理上、功能上和逻辑上实施。实际上该功能性可以在单个单元、多个单元或者作为其它功能单元的一部分中实施。因此，本发明可以在单个单元中实施，或者可以物理上或功能上分布在不同的单元和处理器之间。

虽然已经连同优选的实施方式描述了本发明，但是不是为了将其限定于其中所述的特定形式。相反，本发明的范围仅通过附属的权利要求限定。在该权利要求中，术语“包括”不排除其它元件或步骤的存在。而且，虽然单独列出，但是可以通过例如单个单元或处理器实施多个器件、元件或方法步骤。此外，虽然不同的权利要求中包括单独的特征，但是可以将这些特征有利地结合，并且包含在不同的权利要求中的特征不暗示这些特征的组合不可行和/或不利。此外，单数标记不排除复数标记。因此“一个”、“第一”、“第二”等标记不排除复数标记。权利要求中的标记符号仅作为阐明的例子提供，而不应当理解为以任何方式限定权利要求的范围。

Claims (14)

1、一种在媒体信号中嵌入辅助信息的装置，包括：

用于通过对所述媒体信号的量化索引调制来产生修正信号的装置(103)；所述修正信号具有取决于所述辅助信息的相对于该媒体信号的失真；

用于产生表明所述媒体信号对所述失真的感知灵敏度的感知特性的装置(107)；以及

用于通过响应于所述感知特性来修正所述修正信号的失真强度以便产生输出信号的装置(105)。

2、根据权利要求1所述的装置，其中所述用于产生输出信号的装置(105)可用于通过修正失真补偿参数而修正所述强度。

3、根据权利要求1所述的装置，其中所述用于产生输出信号的装置(105)可用于响应本地的媒体信号对所述失真的本地感知灵敏度而动态地调整所述失真的强度。

4、根据权利要求1所述的装置，其中所述用于产生输出信号的装置(105)可用于响应所述感知特性来定标所述失真。

5、根据权利要求1所述的装置，其中所述用于产生输出信号的装置(105)可用于对递减的感知灵敏度增加所述强度。

6、根据权利要求1所述的装置，其中用于产生修正信号的装置(103)可用于将所述失真w_j实质上确定如下：

$w_j=s_j-(\mathrm{Round}\left(\frac{(\frac{s_j}{D}+v_j+b_j)}{2}\right)*2-v_j-b_j)*D$

其中s_j是所述媒体信号的样本j，D是量化区间，v_j是样本j的抖动值，以及b_j是所述辅助信息的位j。

7、根据权利要求1所述的装置，其中所述用于产生输出信号的装置(105)可用于确定所述输出信号s_out，j，包括实质上如下的信号：

s_out，j＝s_j+α·w_j

其中s_j是所述媒体信号的样本j，w_j是通过所述媒体信号的量化索引调制而确定的样本j的失真，和α是失真补偿参数；以及

所述产生输出信号的装置(105)可用于响应所述感知特性来修正所述失真补偿参数α。

8、根据权利要求1所述的装置，其中所述媒体信号是可视信号，而所述感知特性表明图像区域的纹理程度。

9、根据权利要求1所述的装置，其中所述媒体信号是音频信号，而所述感知特性表明音频分段的音频电平。

10、根据权利要求1所述的装置，其中所述产生感知特性的装置(103)可用于响应于一个包括拉普拉斯算子滤波器的感知模型而产生所述感知特性。

11、根据权利要求1所述的装置，其中所述产生感知特性的装置(103)可用于响应于一个包括Girod的W模型的感知模型而产生所述感知特性。

12、一种在媒体信号中嵌入辅助信息的方法，所述方法包括以下步骤：

通过所述媒体信号的量化索引调制来产生修正信号；所述修正信号具有取决于所述辅助信息的相对于媒体信号的失真；

产生表明所述媒体信号对所述失真的感知灵敏度的感知特性；以及

通过响应于所述感知特性来修正所述修正信号的失真强度从而产生输出信号。

13、一种能够实现根据权利要求12所述的方法的计算机程序。

14、一种包括根据权利要求13所述的计算机程序的记录载体。

Images