CN102461066B - 鉴别内容信号的方法 - Google Patents

Abstract

以各种方式组合内容指纹和水印以便用于内容鉴别应用场合。使用指纹来一般地鉴别内容，同时水印提供内容内的各部分的更详细的定位，反之亦然。还使用指纹技术进行信号同步和其它预处理步骤以便帮助进行数字水印解码。各种指纹/水印技术从内容样本鉴别内容的通道特性。

Description

鉴别内容信号的方法

相关申请数据

在美国，本申请要求2009年5月21日提交的美国临时申请61/180,415的优先权。

技术领域

本发明一般涉及信号处理，并且更具体地涉及多媒体信号处理，包括隐写术(steganography)、数字水印法、内容信号鉴别、识别、分类以及基于内容信号属性的数据库搜索和检索。

背景技术

在一些应用场合(诸如视频和音频内容分发(例如广播、互联网等)的监视和跟踪)中，以精细粒度鉴别媒体的不同部分是合乎需要的。粒度是指可被可靠鉴别的媒体信号的最小时间单位(或部分)。例如，这可能是TV节目、广告、电影或歌曲中的特定点。

考虑具有嵌入水印的视频信号。假定相同的水印有效载荷被重复嵌入每个视频帧中。在噪声条件(压缩、D/A/D转换等)下，由于有效载荷相同，因此水印检测处理可以合计跨越若干个帧的水印信号。合计可以改善信噪比并提供改善的鲁棒性。然而，在该实例中，水印信号不能提供在视频信号的不同部分之间区分的能力。

现在考虑在每个视频帧中嵌入有唯一水印有效载荷的视频信号。在此情况下，水印信号提供精细粒度——鉴别视频信号的每个单独帧的能力。然而，在噪声条件下，由于唯一有效载荷不一定允许水印信号的合计，因此水印鲁棒性会下降。

类似间题存在于通过对媒体信号的每个部分提取唯一指纹来实现粒度的指纹法系统中。粒度越精细，指纹的数量越大并且指纹数据库的规模越大。增大指纹数据库的规模会增大指纹搜索和匹配处理的计算成本(和系统成本)。

水印提供把媒体内容串行化的能力，即同一媒体信号的多个相同拷贝可以嵌入有各不相同的水印有效载荷，而指纹法不能够在相同拷贝之间区分。水印法涉及向媒体信号引入改变，并且会提出水印信号的可感知性的问题。另一方面，指纹法不涉及向媒体信号引入任何改变。

发明内容

水印法和指纹法的组合可以解决粒度、鲁棒性和可感知性的问题，并且可以允许在内容鉴别系统的设计中有更大自由度。利用水印法和指纹法的互补优点的组合方法将在下面描述。

用于内容鉴别及相关应用的水印和指纹的组合被记述在本受让人的美国专利公开20060031684中，据此通过引用将其结合在本文中。水印法、指纹法和内容识别技术也被记述在本受让人的美国专利公开20060280246以及专利6,122,403、7,289,643和6,614,914中，据此通过引用将其结合在本文中。

音频和/或视频识别的另外实例被记述在美国专利7,174,293号、7,346,512号、6,990,453号和美国专利公开20020178410中，据此通过引用将其结合在本文中。为了本公开，这些专利文献提供了可以如下面进一步解释的那样与水印法技术组合的指纹技术的描述。

对于视频识别技术的另外实例。参见例如Bhat，D.N.和Nayar，S.K.的“Ordinal measures for image correspondence”，IEEE Trans.Pattern Ana.Mach.Intell.，vol.20，no.4，pp.415-423，1998年4月。Mohan，R.的“Video sequence matching”，Proc.Int.Conf.Acoust.，Speech and Signal Processing(ICASSP)，vol.6，pp.3697-3700，1998年1月。Oostveen，J.、Kalker，T.和Haitsma，J.的“Feature extraction and a database strategy for video fingerprinting”，Proc.5th Int.Conf.Recent Advance in Visual Information Systems，pp.117-128，2002。Kim，C.和Vasudev B.的“Spatiotemporal sequence matching for efficient video copy detection”，IEEE Trans.Circuits Syst.Video Technol.，vol.15，no.1，pp.127-132，2005年1月。Lu，J.的“Video fingerprinting for copy identification：from research to industry applications”，Proceedings of SPIE，Media Forensics  and Security，Vol.7254，2009年2月。

附图说明

图1是示出使用指纹和水印的内容识别系统的创建的框图。

图2是示出内容鉴别处理的框图。

图3是可在一些内容识别系统中使用的蜂窝电话的图。

具体实施方式

1.1使用水印法减小指纹匹配的搜索空间

Kalker和Oostveen(Kalker，A.、Oostveen，J.的美国专利7,168,083，2007年1月23日)描述了把水印嵌入具有表示指纹数据库中的位标的有效载荷的媒体信号中的方案。他们设想一相对小的有效载荷，该有效载荷传送关于将在其内搜索媒体内容的数据库区段的信息。在检测到水印时，该有效载荷可以用作位标(index)来限制用指纹数据库搜索和匹配所需要的数据库搜索。

1.2使用水印法进行鉴别、使用指纹法进行定位

在1.1节中讨论的该方案可以进一步扩展成采用完整有效载荷对嵌入水印进行编码，所述完整有效载荷传送关于媒体信号的全部相关鉴别信息。有效载荷于是可以鉴别特定媒体信号自身，而不是鉴别数据库区段。另外，有效载荷还可以包括允许媒体信号的多个相同拷贝被唯一鉴别(例如为了跟踪分发或使用)的串行化信息。该水印的任务是可靠且鲁棒地鉴别视频。水印信号的信噪比可以通过在整个媒体信号的范围内重复嵌入相同水印有效载荷来改善。该方法还允许媒体信号的任何特定区域中的水印信号的强度得到适应使得水印信号无法被察觉到。在检测期间，水印信号分量于是跨越媒体信号的不同区域或时间段被合计以提供足够的鲁棒性。在该方法中，水印不能够提供定位信息(即，水印是从媒体信号的哪个部分检测到的)。定位可以通过指纹法提供。如在Kalker和Oostveen(Kalker，A.、Oostveen，J.的美国专利7,168,083，2007年1月23日)的方法中那样，水印有效载荷被用作位标来在指纹数据库中鉴别与媒体信号相关联的指纹。该步骤 减小了数据库搜索范围(由此保持系统低成本)。然后使提取的指纹与在数据库中鉴别的媒体信号的指纹匹配可以提供定位信息。

1.3使用指纹法进行鉴别、使用水印法进行定位

与1.2节中概述的方法相反，内容鉴别可以使用指纹法执行，同时定位可以通过水印法实现。内容鉴别应用场合可能需要鉴别以极精细的粒度执行。例如，假定视频序列的每个帧必须被唯一地鉴别。使用指纹法技术来唯一地鉴别每个帧是不实际的，因为对应的指纹数据库将是巨大的并且把该数据库搜索一遍在计算上将是昂贵的。作为替代，可以使用指纹法技术来实现初始鉴别。然后可以使用水印法技术实现定位。例如，唯一水印有效载荷可以嵌入每个视频帧中。该有效载荷精确定位视频内的帧的位置，但是不能够鉴别视频自身。例如，水印有效载荷可以由每个帧都变化的时间码构成。然后可以利用用于在水印有效载荷内携带时间码的高效编码方案来改善水印信号的鲁棒性或降低其强度。这样的方案在第4节中描述。

1.4使用指纹法和识别技术来为水印恢复提供同步

读取水印有效载荷经常需要媒体信号的内容的同步，使得媒体信号回复到水印信息比特被嵌入时的形式。通常，同步是通过嵌入分立的同步信号来实现的。不可感知性要求所施加的约束会限制可被嵌入的水印信号(和同步信号)的强度。结果，仅能够在对媒体信号的一定范围的变换上实现同步。在该范围之外，同步被丢失并且使水印有效载荷变得无法读取。

如果可以采用指纹法技术来鉴别媒体信号，那么鉴别的信号可以用来恢复同步信号。例如，SIFT技术从图像中提取一组特征点，以便通过与数据库中的对应图像匹配来识别图像中的对象。SIFT技术可以通过与数据库中的图像进行比较来确定应用于图像的几何变换。可以使用取得的几何信息来相对于原始媒体信号实现同步。这消除了对明确同步信号的需要。水印有效载荷的读取经常需要媒体信号内容的同步，使得其被回复到水印信息比特被嵌入时的形式。经常，同步是通过嵌入分立的同步信号实现的。如果内容可以通过指纹法得到鉴别， 那么同步信息可以通过比较原始媒体和变换后的媒体来恢复。该方法可以用来扩展变换的范围，其中水印可以在该范围下得到恢复。例如，假定图像水印的同步方案对尺度缩小到50％是鲁棒的。图像识别技术然后可以用于小于50％的缩小。

可替换地，使用指纹法或识别技术进行同步可以对一些应用场合消除对明确同步信号的需要。同步信号的消除可以减小水印的可感知性并且可以提高鲁棒性。

SIFT描述

SIFT是尺度不变特征变换的首字母缩写词，是一种由David Lowe开创的计算机视觉技术并且被记述在他的各种论文(包括：“Distinctive Image Features from Scale-Invariant Keypoints”，International Journal of Computer Vision，60，2(2004)，pp.91-110；以及“Object Recognition from Local Scale-Invariant Features”，International Conference on Computer Vision，Corfu，希腊(1999年9月)，pp.1150-1157)和专利6,711,293中。

SIFT通过识别和描述局部图像特征并随后检测局部图像特征来工作。SIFT特征是局部的，并且基于对象在特定兴趣点的外观，并且相对于图像缩放比例、旋转和仿射变换不会发生改变。SIFT特征对于照明变化、噪声以及一些视点变化也有鲁棒性。除了这些特性之外，SIFT特征还有独特性，相对易于提取，允许以低错误匹配概率进行正确对象识别，并且能够直接对照局部特征的(大型)数据库进行匹配。通过SIFT特征集合进行的对象描述还对局部遮蔽有鲁棒性；来自对象的少到3个SIFT特征就足以能够计算位置和姿势。

本技术通过识别参考图像中的被称为关键点的局部图像特征而开始。这是通过在不同缩放比例(分辨率)下将图像与高斯模糊滤波器卷积并确定相继的高斯模糊图像之间的差值来完成的。关键点是具有在多个缩放比例下产生的高斯差分的最大值或最小值的那些图像特征。(将高斯差分帧中的每个像素与其相同缩放比例下的八个相邻者进行比较，并且与每个相邻缩放比例(例如九个其它缩放比例)下的对应像素进行比较。如果像素值是所有这些像素中的最大值或最小值，则将其选为候选关键点。

(应认识到的是，刚刚描述的程序是一种污点检测方法，其检测图像的尺度局部化的拉普拉斯变换的空间尺度极值。高斯差分方法是以金字塔设置形式表达的这样的拉普拉斯运算的近似。)

上述程序典型地会识别出例如由于具有低对比度(因而对噪声敏感)或者由于具有沿着边缘的确定得较差的位置(高斯差分函数沿边缘具有强烈的响应，从而产生许多候选关键点，但是这些点中的许多点对噪声没有鲁棒性)而不适合的许多关键点。通过对候选关键点进行详细拟合从而拟合到附近数据以便获得准确位置、缩放比例和主曲率比，来将这些不可靠关键点筛除。这会除去具有低对比度或沿边缘定位较差的关键点。

更特别地，该过程通过对每个候选关键点进行附近数据的内插以便更准确地确定关键点位置来开始。这通常是通过以关键点作为原点进行泰勒展开来完成的，以便确定最大/最小位置的精确估算值。

也可以使用二阶泰勒展开的值来识别低对比度关键点。如果对比度小于阈值(例如0.03)，则丢弃该关键点。

为了消除具有强烈的边缘响应但是定位较差的关键点，应用角点检测程序的变型。简要地说，这包括计算跨越该边缘的范围的主曲率，并将其与沿着边缘的主曲率进行比较。这是通过解出二阶海森矩阵的特征值来完成的。

一旦丢弃了不适合的关键点，就通过局部图像梯度函数评估保留下来的关键点的方向。对于高斯模糊图像中的关键点周围的邻近区域中的每个像素，(在该关键点的缩放比例下)计算梯度的量值和方向。于是编辑出具有36个柄的方向直方图，其中每个柄包含十度的方向。邻近区域中的每个像素都对该直方图有贡献，该贡献通过其梯度的量值以及σ为该关键点的缩放比例的1.5倍的高斯函数加权。该直方图中的峰值定义关键点的主方向。该方向数据允许SIFT实现旋转鲁棒性，因为可以相对于该方向来表示关键点描述符。

根据上文，识别了不同缩放比例下的多个关键点，每个关键点具有相应的方向。该数据相对于图像平移、缩放比例和旋转不会发生改变。然后对每个关键点产生128个元素描述符，从而允许对照明和3D视点具有鲁棒性。

该运算类似于刚刚回顾的方向评估程序。关键点描述符被计算为(4×4)像素相邻区域上的一组方向直方图。方向直方图与关键点方向相关，并且方向数据来自于在缩放比例上最接近关键点缩放比例的高斯图像。如上所述，每个像素的贡献通过梯度量值以及σ为关键点的缩放比例的1.5倍的高斯函数加权。每个直方图包含8个柄，并且每个描述符包含该关键点周围的4×4阵列的16个直方图。这导致SIFT特征向量具有(4×4×8＝128个元素)。对该向量进行归一化以提高对照明变化的不变性。

将上述程序应用于训练图像以便编辑出参考数据库。然后如上所述那样处理未知图像以便产生关键点数据，并且通过类似欧几里得距离的度量来识别数据库中最匹配的图像。(典型地使用“最优柄优先”算法来代替纯欧几里得距离计算，以便实现几个数量级的速度提高。)为了避免错误肯定，如果最佳匹配的距离得分接近下一个最佳匹配的距离得分(例如相差25％)，则产生“无匹配”输出。

为了进一步提高性能，可以通过聚类来匹配图像。这能够识别属于同一参考图像的特征，从而允许非聚类的结果作为假的结果被丢弃。可以使用霍夫变换，从而识别体现相同对象姿势的特征的聚类。

详述适合于在下一代蜂窝电话中实现的用于执行SIFT程序的特定硬件实施例的论文是Bonato等人的“Parallel Hardware Architecture for Scale and Rotation Invariant Feature Detection”，IEEE Trans on Circuits and Systems for Video Tech，Vol.18，No.12，2008。

用于执行SIFT技术的替代硬件架构被详述在Se等人的“Vision Based Modeling and Localization for Planetary Exploration Rovers”，Proc.of Int.Astronautical Congress(IAC)，2004年10月中。

尽管SIFT或许是用于产生鲁棒局部描述符的最众所周知的技术，但是也存在着其它技术，它们取决于应用场合而可能更适合或较不适合。这些技术包括GLOH(参看Mikolajczyk等人的“Performance Evaluation of Local Descriptors”，IEEE Trans.Pattern Anal.Mach.Intell.，Vol.27，No.10，pp.1615-1630，2005)以及SURF(参看Bay等人的“SURF：Speeded Up Robust Features”，Eur.Conf.on Computer Vision(1)，pp.404-417，2006；Chen等人的“Efficient Extraction of Robust Image  Features on Mobile Devices”，Proc.of the 6^th IEEE and ACM Int.Symp.On Mixed and Augmented Reality，2007；以及Takacs等人的“Outdoors Augmented Reality on Mobile Phone Using Loxel-Based Visual Feature Organization”，ACM Int.Conf.on Multimedia Information Retrieval，2008年10月)。

1.5使用指纹法和识别技术来去除主体内容(host content)

可以通过使用指纹法或识别技术鉴别媒体信号样本中的内容，使媒体信号样本同步使得其与存储在数据库中的参考拷贝对准，然后使用参考信号去除(减去)媒体信号样本中的主体内容使得仅水印信号得到保留，来进一步扩展在1.4节中描述的方法。主体信息(原始图像)的去除通过提高信噪比来改善鲁棒性。有效地，该方法将水印检测转变成非盲方法(即有信检测(informed detection))。这种情况下的水印有效载荷可以用来传送诸如用于串行化或跟踪的信息比特。

2.从媒体信号样本取得通道特性

内容鉴别典型地涉及鉴别媒体信号的样本。内容鉴别技术通常被设计成忽视(或甚至克服)媒体信号样本可能已经经历的变换。尽管在一些应用场合中，确定媒体信号已经经历的变换的性质可能是有用的。例如，样本是低分辨率视频、高清晰度视频吗或者信号中的内容已经受到尺寸调整(缩放)或旋转操作了吗？在其它应用场合中，可能必需确定样本的分发路径。例如，视频是原始媒体的移动版本吗，或者视频是广播版本吗？

水印法所提供的信息承载能力可以用来对水印有效载荷中的分发路径进行编码。此外，在视频信号的情况下，水印可以被嵌入信号的音频和视频部分两者中。音频或视频被改变或被来自另一视频的片段替换这样的变换，可以通过检验从信号的每个部分恢复的水印有效载荷的完整性和一致性来检测。例如，视频部分中的水印有效载荷的一部分可以被编码成使得其向音频部分中的有效载荷提供线索(反之亦然)。在最简单的情况下，音频和视频水印可以是相同的。检验也可以通过检查作为时间的函数的有效载荷一致性和完整性来执行。因此， 可以鉴别各种变化诸如视频帧的合成或音轨的替换。水印信号的同步分量可以直接提供关于对媒体进行的其它变换的信息。例如，同步处理可以确定图像已经经历过仿射几何变换，或者音频信号的时间标度已经被修改。

指纹法和识别技术一般被设计成忽视或丢弃对媒体信号进行的变换，特别是在感知方面与鉴别任务无关的那些变换。然而，一旦已经鉴别出媒体信号样本，就可以执行进一步的分析来确定样本已经经历的变换，或者确定借以分发样本的通道的特性。这与在语音识别和说话者鉴别的领域中执行的处理类似。在语音识别中，忽略各个单独的说话者的特性以便聚焦于识别说话的内容。在说话者鉴别中，重点在于，在忽视说话的内容的同时提取各个单独的说话者的特性。然而，确定说话的内容可以有利地用来锁定说话者特性。下面，我们描述使用指纹法和识别技术取得通道特性的一些方法。

在下面的各节中，我们讨论不同类别的指纹技术：1.用来鉴别a)与通道独立的、以及b)依赖于通道的内容信号的技术。2.信号特性提取，其是分发内容信号的通道的特性(例如，压缩格式、传输通道等)，与特定内容信号相反(其依赖于通道，但是不依赖于内容信号)。典型地对于基本识别，指纹技术被设计成用于类别1.a)。在此情况下，识别自身不会使通道能够得到鉴别，但是它确实使系统能够检索内容信号的参考版本，该参考版本然后可以与接收到的信号进行比较以便确定畸变(包括借以确定通道的通道畸变)。在类别1.b)中，指纹数据库被分段成不同的多组指纹，每组指纹都依赖于特定通道。这种分段使通道能够得到鉴别，和/或使系统能够跨越不同的通道来鉴别信号(例如，通过跨越不同的组来搜索匹配)。优选地，通过确定通道特性，然后至少在存储有与那些特性相关联的依赖于通道的内容指纹的数据库分段上区分数据库匹配处理的优先次序，来最优化内容识别。在类别2中，系统提取与通道相关联的特性(例如，反映由通道引入的畸变的可与不同通道的畸变区分开的特别属性)。这些系统可以被整合以实现最优化的识别或期望的应用结果(例如，高效的数据库搜索以便进行内容识别、内容和通道识别、通道鉴别、畸变分析等)。例如，通道特性的提取被用来使用类别2的方法鉴别通道(参见2.2节)，然后 使用类别1b的方法搜索该通道的依赖于内容信号的指纹(参见2.2.1节)。

2.1在鉴别内容之后鉴别通道(畸变)

在该方法中，使用识别或指纹法技术(或者甚至使用水印法)按照通常那样鉴别媒体信号样本。一旦鉴别媒体样本，就可以利用存储在参考数据库中的关于该媒体的参考信号执行比较分析。该分析可以包括：比较信号带宽以便确定压缩的有无和压缩量，或者通过将信号样本的保真度与参考信号的保真度进行比较来估计信号质量。对于图像或视频帧，可以使用图像配准技术(L.G.Brown，A survey of image registration techniques，ACM.Computing Surveys 24(1992)326-376)将样本与参考信号进行比较以便确定几何变换(旋转变化、缩放、仿射变换、裁切、纵横比变化等)。

如果初始鉴别表明在样本信号中存在多个媒体信号，那么样本可以与对应于所存在的每个身份的参考信号进行比较。媒体样本的一部分可以与参考信号的一部分相关联，以便确定诸如视频帧替换、图像区域替换或者音频部分的替换或复制(dubbing)之类的操作。

对样本和参考信号的详细分析可以使样本信号所采用的可能分发路径被明白地显现出来。例如，考虑视频已经通过3个不同的通道分发，即高清晰度版本(诸如通过蓝光盘)、标准清晰度版本(诸如通过DVD)以及用于在移动电话上消费的移动(低分辨率)版本。分析样本信号的质量和带宽以及与来自三个分发路径中的每个分发路径的信号进行比较和关联，可以帮助确定样本信号最可能的分发路径。

2.2在鉴别通道之后鉴别内容

在某些情况下，可以鉴别通道而不鉴别媒体信号样本自身。考虑(例如以MP3或AAC格式)压缩的音频样本。该样本的比特率可以从比特流自身确定而无需鉴别音频内容。我们也可以通过分析信号衰减来推断通道特性，例如帧尺寸较小的模糊视频不可能形成高清晰度源。这样的信息可以用来改善诸如指纹法或识别之类的鉴别技术的鲁棒性。例如，指纹数据库可以分段成低分辨率部分和高分辨率部分。 对于音频样本，可以把鉴别限制于数据库的相关部分。一旦鉴别出样本，就可以如2.1节中所述的那样执行进一步的分析。

2.2.1指纹数据库的分段

如上面提到的那样，指纹数据库查找可以基于信号特性或通道的鉴别来定制。指纹数据库可以分段或分割成不同的区域，以便使内容鉴别任务集中在通道的鉴别上。作为进一步的改进，指纹数据库可以包含对同一内容的多个变种的引用(reference)。例如，音频指纹数据库的64kbps区段可以存储64kbp上的相关特性，而更高比特率区段可以存储该比特率上的相关特性。

3.指纹法和水印法之间的连续性

指纹法(识别)和水印法可以被认为是用于鉴别信号的技术的连续谱的两个末端。这两个末端之间存在着从强内容衍生鉴别(或基于内容的鉴别)到弱内容衍生鉴别到不依赖内容的鉴别的一组技术。我们在下面进一步详述这些技术中的一些技术的实例。

3.1指纹法

指纹法和识别技术从内容中取得(以图案、特征、比特或指纹的形式表示的)信息以便表征内容。通过与存储在参考数据库中的参考图案、特征、比特或指纹匹配来执行鉴别。在这些技术中，如果样本信号的指纹以高概率匹配参考数据库中的指纹，那么获得匹配。媒体的在感知方面相似的多个拷贝会导致匹配的指纹或特征。这组技术不具有信息承载能力(即，信号不能传送独立于信号自身的任何额外信息)。还应注意的是，先前没有被分析并存储在参考数据库中的信号不能够得到鉴别。参考数据库的大小与需要鉴别的媒体信号的数量成比例地增长。

3.2利用先验信息的指纹法

在这组技术中，指纹法或识别技术可以区分媒体的(预先已知的)某些变换。例如，从媒体的预先畸变的版本提取的指纹可以用于在之 后鉴别每个不同的预先畸变的版本。先验信息包括关于可被应用的可能的预先畸变的类型的知识。这里，所应用的畸变可以在感知上是显著的或者可以在感知上是不显著的。该方法的实例包括在2.2.1节中描述的那些方法。用于这些技术的鉴别处理可以沿着在2.1节中描述的路线进行。例如，初始鉴别可以忽略预先的畸变，而在初始鉴别之后，可以对信号进行进一步的检查以便确定与其匹配的不同的预先畸变的版本。

3.3利用后验信息的指纹法

在利用后验信息的指纹法中，以与传统指纹法相同的方式执行鉴别部分。一旦鉴别出媒体样本，就使用后验信息来推断媒体信号样本的另外的特性。这些特性包括关于借以分发或传输该样本的通道的信息，以及信号可能已经经历的衰减和操作。后验信息包括通过分析媒体信号在通过各种通道时如何表现和衰减而获得的知识，以及衰减和操作对媒体信号属性的影响的知识。该知识可以不直接从该特定媒体信号取得，而是可以是在一组相关媒体信号上观察到的表现的一般化归纳。在2.1节中描述的技术归入该类别。

3.4组合的指纹法和水印法

在该类别的技术中，采用指纹法和水印法以便利用每种技术所提供的互补优势并克服它们各自的局限和弱点。组合的指纹法和水印法的一些实例在第1节中描述。另外，组合的技术对于处理旧式媒体和系统成本而言特别有用。例如，尚未添加有水印的旧式媒体可以使用指纹法技术得到鉴别。此外，为了降低鉴别期间的系统成本，首先执行水印检测。如果水印检测失败，那么提取指纹以便搜索参考数据库并与参考数据库匹配。首先执行水印检测和指纹提取这两者所共用的信号处理操作以避免重复。

3.5整合的水印法和指纹法

在这类技术中，从内容取得的特性信息(即指纹)被存储在水印有效载荷内。参见美国专利7,519,819号。内容衍生信息因此紧密地耦 合在水印内。这些技术主要在认证型应用场合中使用。

3.6有信的水印法

在该类技术中，在水印法中使用关于媒体信号的信息，尽管该信息并不直接编码到水印有效载荷中。在有信编码(informed coding)中，包含水印信号(或有效载荷)的代码字受到有关主媒体信号的知识的影响。在有信嵌入中，水印信号基于有关主媒体信号的知识而被修改或成形。在有信检测(非盲检测)中，向水印检测处理提供有关原始主媒体信号的信息(I.J.Cox，M.L.Miller和J.A.Bloom，“Digital watermarking”，Morgan Kaufmann，2001)。

通过使用指纹匹配来鉴别媒体信号内容，指纹法可以用来帮助有信检测。一旦得到鉴别，就可以从数据库中检索原始媒体信号并使其可用于水印检测处理。该原始信号可以从媒体信号中减去以便去除由于主信号引起的对水印信号的干扰。可替换地，指纹法技术可以仅用来提供同步信息。这样的技术在1.4节和1.5节中描述。

3.7利用辅助识别的水印法

在该类别的技术中，水印有效载荷独立于主媒体信号内容。然而，指纹法和识别技术被用来从内容自身中提取辅助信息。这样的辅助信息可以包括媒体信号的属性(例如主色是蓝色或主纹理是沙状等)和甚至语义信息(驾驶红色汽车的人)。这样的信息然后可以用来促进智能搜索和检索能力(而无需预先对内容进行分析)。

3.8水印法

在常规水印法中，由水印信号(有效载荷)承载的信息独立于嵌入有水印的主体内容。通过检测水印信号的存在、并对编码的消息进行解码并恢复有效载荷信息比特来执行鉴别。恢复有效载荷不需要参考数据库。通常，水印以察觉不到的方式被嵌入主媒体内容中。通过使用水印法，一媒体信号的多个相同拷贝可以通过在这些相同拷贝中嵌入各不相同的有效载荷而被赋予各不相同的身份。在媒体内容在水印法系统中变得有用之前，媒体内容必须被添加水印。

3.9自适应系统

自适应方法从一种技术无缝地切换到另一种技术，并且基于诸如可用处理功率、电池电力、网络连接性、带宽、检测成本、搜索和匹配成本、连接成本之类的参数而自适应，并且确定应该在客户机上执行检测还是在服务器上执行检测。例如，考虑被添加了水印并且也在指纹数据库中被引用的媒体信号。为了在移动装置上检测该信号的样本，我们可以使用水印法或指纹法。如果水印检测可以在本地在装置自身上容易地执行，那么我们可以从水印检测开始。如果没有发现水印，那么系统可以寻求从样本中提取指纹并与参考数据库匹配。如果装置能力(处理)不支持本地指纹提取、但是带宽和连接性不受限制，那么装置可以传输样本(或该样本的某种削减版本)到远程服务器以便进行指纹提取和匹配。如果电池电力受到限制，那么系统在传输之前在本地执行大多数处理步骤(假定传输比在本地CPU上进行处理需要更多的电力)。上面通过引用结合在本文中的美国专利公开20060031684描述了基于各种因素而使内容识别得到自适应的装置。

4 水印有效载荷中的时间码的高效编码和恢复

通过利用时间码的性质，这些时间码可以被高效地编码在水印有效载荷中并随后在检测期间被解码。时间信息可以以多种方式被包含在水印有效载荷内。一种方法是把时间码作为字符串对待，例如DD:MM:YYYY表示日、月和年、或者HH:MM:SS表示小时、分钟和秒。另一种方法是以整数码(例如32位或64位代码)的形式编码时间信息。整数码从预定起始点开始对时钟节拍的数量进行计数。该类型代码的实例是UNIX操作系统，在该操作系统中时间被计算为自从1970年1月1日以来逝去的秒数。

该类型的时间码适合于水印有效载荷中的编码并且可以在检测期间被利用。考虑媒体信号(例如视频、音频或随时间变化的任何信号)将被嵌入有基于整数的时间码水印，所述时间码每T秒就发生改变。假定现在T＝1。那么包含有效载荷的时间码整数每秒改变1比特(如果时间码更新间隔也是1秒)。在检测期间，在大于1秒的时间间隔上 累积水印有效载荷可以改善整数时间码的与该间隔相应的公共部分的鲁棒性，即使一些时间分辨率将会丢失。这里应注意的要点是，对于随时间推移缓慢变化的有效载荷，选择性地累积信号的一部分可能会是值得的策略。除了该改进之外，特别设计的编码方案、纠错和错误检测方案可以进一步利用该类型的水印。

考虑基于卷积码的纠错方案。假定在每1秒时间间隔期间有效载荷受到1/3速率卷积码的操作。于是任意相继的两组编码比特之间的差值将是最后三个比特。任意相继的三组编码比特之间的差值将是最后6比特，等等。可以在检测期间利用该配置来改善检测的鲁棒性。改善的鲁棒性可以通过组合(累积)相邻水印片段之间共有的编码比特来实现。应注意的是，累积意味着时间分辨率的可能损失，例如如果两个相邻片段被累积并通过卷积解码器而被取得(忽略最后3个编码比特)，那么关于时间码中最后一秒的信息将会丢失。所使用的累积量于是就是鲁棒性的改善和时间分辨率的丢失之间的折衷。在极限情况下，在严重弱的信号状况下，我们可以在媒体信号的整个长度上累积编码比特，以便尽可能多地恢复时间码的共有部分。应注意的是，即使在时间分辨率丢失的情况下(准确性降至最后一秒)，也可以通过内插来自时间准确性高的片段的丢失数据来恢复该信息。

该概念的变种可以被设计成改善鲁棒性而仍然保留时间分辨率和准确性。考虑上面提到的整数时间码，其具有表示与1秒相对应的时钟节拍的每个整数增量值。该整数的最低有效位(LSB)每1秒都发生改变。通常，与该整数码相对应的比特会被输入到首先从最高有效位(MSB)开始并以LSB结束的卷积码。现在考虑与该整数相对应的比特受到采用颠倒的比特顺序的卷积码的纠错。即，各比特被输入到首先从LSB开始并以MSB结束的卷积码。利用该比特倒序编码方法，相邻的纠错编码的水印片段在朝向编码序列末端的方向上将具有相同的编码比特(特别是对于较长的输入比特序列)，并且在编码序列的开头具有相异的编码比特。这允许在解码之前共有部分被组合并且独特的部分照原样得到保留。实际上，这种组合与卷积码协力实现了加权重复方案。在加权重复方案中，某些编码比特接收比其它比特更高的重复率(或权重)。对于卷积码，处于尾部的编码比特被加以更高的权 重以便改善鲁棒性。参见据此通过引用结合在本文中的美国专利7,412,072号和美国专利公开2002/0159614。与时间码的加权组合允许卷积码比特的尾部远比头部更可靠。尾部比特的更高可靠性直接转化为解码和纠正较早的比特的过程中的更大成功。该方案将会实现更高的鲁棒性而无需牺牲时间准确性(由于较早的比特在错误的情况下远远更可能得到纠正)。

通过累积相邻片段的共有编码比特而创建的上面提到的隐式加权重复代码可以通过使用显式加权重复代码而被进一步加强。在该特定情况下，显式加权重复代码被设计成向有效载荷比特的开头给予更高重复权重(即，与在上面参考的传统加权重复方案中所做的相反)。然后可以使用隐式加权来对有效载荷的后面部分进行加权。

应注意的是，早先描述的基于日、月、年的编码也可以被修改从而利用这里提到的方法。例如顺序可以改变为年、月和日以使其随时间推移而缓慢变化。如果时间被编码成使得时间码展现出缓慢变化特性，那么可以应用全部上述改进。这里描述的方法可以应用于缓慢变化的任何水印信号，例如具有以不同速率变化的比特或其它消息符号的序列的任何水印有效载荷。在内容之内的一定间隔上重复的有效载荷的分量在小于或等于重复间隔(该分量在其上保持相同的时间间隔)的时间间隔上被选择性地累积。

图1是示出使用指纹和水印的内容识别系统的创建的框图。数字化的输入图像/视频/音频信号100被输入至指纹计算器/水印嵌入器102，该指纹计算器/水印嵌入器102为每个内容项目计算多个指纹以使其被唯一识别，并且还对内容项目添加水印。在数据库输入处理102中，所述多个指纹与诸如内容项目的元数据之类的附加信息、根据需要而使用的数字原版拷贝(参见涉及原始内容的使用的上述技术)一起被输入并存储在数据库中。数据库系统中的数据库组织处理106以一种数据结构(诸如树结构)分类和排列所述多个指纹以便使快速搜索和匹配能够得到实现。该数据库自身被分布在鉴别网络中的一群计算机上(108)。该网络接收基于来自请求装置(诸如用户的手持移动装置或其它计算装置(监视装置网络中的节点))的指纹和/或水印流来鉴别或识别内容项目的询问。

图2是示出内容鉴别处理的框图。输入信号109在接收器110中被捕捉。这包括用类似摄像机或其它图像捕捉装置的图像传感器捕捉图像并对图像进行数字化的静止或视频图像捕捉，以及通过麦克风进行的环境音频捕捉。这也包括接收含广播流或文件传送在内的广播或传输通道中的音频、图像或视频内容。识别处理可以作为内容信号的系统性互联网监视或广播监视的一部分、在家庭受众测量中、在批数据库搜索和内容索引编制中、或者在对内容识别和元数据搜索的用户请求中被调用。指纹计算器/水印提取器112为输入的内容项目计算指纹和/或水印，并将这些指纹和/或水印发给数据库以便进行搜索匹配指纹的数据库搜索以及查找基于标识符的水印的数据查找(114)。在搜索处理中发现的指纹匹配者和水印标识符提供内容鉴别(用于进行元数据查找的编号或某种其它形式的索引)，这继而使得能够在一个或更多元数据数据库中查找与内容鉴别相对应的元数据。元数据然后被返回给装置116以供显示/输出或进一步处理。这可以包括将元数据返回给请求数据库搜索的装置或搜索结果所涉及的一些其它装置(例如用户的家庭装置或监视系统的数据收集数据库，在该数据收集数据库中元数据和识别事件被汇集和编辑以便生成电子报告)。

可以预见的是，上述处理、系统和系统组件可以在各种计算环境和装置中实现。特别预期到的是，处理和组件在装置内实现以及跨越多个装置实现。例如，信号捕捉、签名计算以及数据库输入和组织在一组装置上执行以便构造识别系统，并且信号捕捉、签名计算以及数据库搜索和检索在另一组装置上执行，这两者可以相互不同或者可以有重叠。

用来实现处理和系统组件的计算环境包含从通用、可编程计算装置到专用电路，以及包括这两者的组合的装置的宽广范围。处理和系统组件可以实现为用于计算装置的指令，包括用于各种可编程处理器的通用处理器指令，所述可编程处理器包括微处理器、数字信号处理器等。这些指令可以实现为软件、固件等。这些指令也可以转换为各种形式的处理器电路，包括可编程逻辑器件、专用电路，该专用电路包括数字、模拟和混合模/数电路。指令的执行可以分布在各处理器之间，和/或指令可以跨越装置内的多个处理器或跨越装置网络被并行地 执行。内容信号数据的变换也可以分布在不同处理器和存储装置之间。

根据需要，计算装置包括一个或更多处理器、一个或更多存储器(包括计算机可读介质)、输入装置、输出装置以及这些组件之间的通信装置(在一些情况下被称为总线)。对于软件/固件而言，指令经由通信总线、接口电路或网络从计算机可读介质(诸如光、电子或磁存储介质)读取并在一个或更多处理器上执行。

内容信号的上述处理包括将这些信号以各种物理形式进行变换。图像和视频(穿过实体空间传播并描绘实体对象的电磁波形式)可使用摄像机或其它拍摄设备从实体对象拍摄，或者由计算装置生成。类似地，可使用音频换能器(例如麦克风)捕捉穿过实体介质传播的声压波，并将其转换为电子信号(数字形式或模拟形式)。尽管这些信号典型地以电子和数字形式处理以实现上述组件和处理，但是这些信号也可以以包括电子、光学、磁、和电磁波形式在内的其它物理形式被捕捉、处理、发送和存储。在处理期间对内容信号进行变换以便计算签名，包括如上面解释的签名的各种数据结构表示形式。继而，对存储器中的数据结构信号进行变换以便在搜索、分类、读取、写入和检索过程中进行操作。这些信号还可以被变换以便被捕捉、发送、存储并经由显示器或音频换能器(例如扬声器)输出。

尽管参考(类似蜂窝电话的)移动装置和嵌入系统进行描述，但应认识到的是，本技术能够在各种装置(既包括便携式装置又包括固定装置)中得到利用。PDA、管理器、便携式音乐播放器、桌上型计算机、可佩戴式计算机、服务器等全都可以利用在此详述的原理。特别预期到的蜂窝电话包括苹果iPhone以及遵循Google的Android规范的蜂窝电话(例如由HTC公司为T-Mobile制造的G1电话)。术语“蜂窝电话”应被解释为包含所有这样的装置，即使这些装置不是严格来说的蜂窝式的或者不是电话机。

(包括触摸界面在内的iPhone的细节在已公开的专利申请20080174570中有提供。)

可以用来实践本公开的方法的蜂窝电话和其它计算机的设计是本领域技术人员所熟悉的。概括地说，各自包括一个或更多处理器、一个或更多内存(例如，RAM)、存储装置(例如，磁盘或闪存)、用户 界面(其可包括例如键区、TFT LCD或OLED显示屏、触摸或其它姿态传感器、摄像机或其它光学传感器、麦克风等，以及用于提供图形用户界面的软件指令)、电池、以及用于与其它装置通信的接口(其可以是无线的，诸如GSM、CDMA、W-CDMA、CDMA2000、TDMA、EV-DO、HSDPA、WiFi、WiMax或蓝牙，和/或可以是有线的，诸如通过以太局域网、T-1因特网连接等)。可以用于实践部分或全部所详述的配置的示例性蜂窝电话在图3中示出。

处理器可以是专用硬件装置，或者可以通过执行从内存或存储装置读取的软件指令的可编程装置来实现，或者通过其组合实现。(使用由Arm有限公司开发的32位RISC架构的ARM系列的CPU被用在许多蜂窝电话中。)因此对“处理器”的提及应被理解为是指功能性，而不是指任何特定的实现形式。

除了通过专用硬件或由软件控制的可编程硬件来实现之外，处理器还可以包括现场可编程门阵列，诸如Xilinx Virtex系列装置。可替换地，处理器可以包括一个或更多数字信号处理核，诸如德州仪器公司的TMS320系列装置。

用于实现所详述的功能性的软件指令可由本领域技术人员根据在此提供的说明、参考文献、结论以及上述的其它确定来容易地编写。

典型地，用于实践所详述的方法的装置包括提供对硬件装置的接口和通用功能的操作系统软件，并且还包括可被选择性地调用以执行用户期望的特定任务的应用软件。已知的浏览器软件、通信软件和媒体处理软件可以被修改以适应在此详述的用途。一些实施例可以实现为嵌入系统，即一种专用计算机系统，其中操作系统软件和应用软件对用户而言无法区分(例如，基本的蜂窝电话通常就是这种情况)。本说明书中详述的功能性可以以操作系统软件、应用软件和/或嵌入系统软件实现。

不同的功能可以实现在不同的装置上。例如，在蜂窝电话与远程服务提供商处的服务器通信的系统中，不同的任务可以专门由一个装置或另一装置执行，或者执行操作可以分配在多个装置之间。例如，在蜂窝电话上执行从测试图像提取签名的操作、而在远程服务器上执行在数据库中搜索对应的参考图像的操作仅是一种架构，但是还存在 着许多其它架构。例如，关于参考图像的信息可以存储在蜂窝电话上，从而允许蜂窝电话捕捉测试图像、产生签名、并对照所存储的关于参考图像的签名数据结构进行比较，这些全都不依赖外部装置。因此，应理解的是，将一操作描述为由特定装置(例如，蜂窝电话)执行并不是限制性的，而是示例性的；由另一装置(例如，远程服务器)执行操作或者在多个装置之间分担操作也是明显可预期到的。(此外，多于两个装置可被共同采用。例如，服务提供商可以把一些任务、功能或操作提交给专用于这些任务的服务器。)

以类似的方式，数据可以存储在任何地方：存储在本地装置中，存储在远程装置中，存储在云中，被分布式存储，等等。

操作不需要专门由可明确识别的硬件执行。相反，一些操作可以向外提交给其它服务(例如，云计算)，这些其它服务通过另外的通常是匿名的系统来完成它们的执行任务。这样的分布式系统可以是大型的(例如，包含全球范围的计算资源)，或者是本地的(例如，当便携式装置通过蓝牙通信识别附近的装置，并且将一个或更多附近装置牵涉到一操作中时)。

结束语

尽管已经参考特定实现方案描述和举例说明了本技术的原理，但是应认识到的是，本技术可以以许多其它不同的形式实现。为了提供全面的公开而不会过度地加长本说明书，申请人通过引用把上面提及的专利和专利申请结合在本文中。

上面详述的实施例中的元素和特征的特定组合仅是示例性的；这些教导与本申请和通过引用而结合在本文中的专利/申请中的其它教导的互换和置换也是可预期到的。

Claims (7)

1.一种鉴别内容信号的方法，包括：

使用编程的处理器执行以下动作：

为所述内容信号的接收到的一部分计算指纹；

使用所述指纹来鉴别所述内容信号；和

从所述内容信号的所述接收到的一部分中提取数字水印，以便确定在所述接收到的一部分内的关于内容的定位信息。

2.如权利要求1所述的方法，其中所述内容信号包括与所述内容信号内的位置相对应的多个唯一数字水印，并且所述定位信息是从与所述内容信号内的位置相对应的所述提取的数字水印中的唯一信息确定的。

3.如权利要求2所述的方法，其中所述唯一信息包括所述内容信号中的提供时间位置的时间码。

4.如权利要求1所述的方法，包括：

使用编程的处理器执行以下动作：

为内容信号的接收到的一部分计算指纹；

将所述指纹发送给参考数据库以鉴别所述内容信号，所述参考数据库通过将所述指纹与所述数据库中的参考指纹匹配来提供身份；

基于所述身份，获得所述内容信号的参考拷贝；和

基于所述接收到的一部分和所述参考拷贝之间的比较分析，确定所述内容信号的所述接收到的一部分的畸变。

5.如权利要求4所述的方法，其中使用所述参考拷贝和所述接收到的一部分来确定所述接收到的一部分相对于所述参考拷贝的几何变换。

6.如权利要求5所述的方法，包括应用所述几何变换以使所述接收到的一部分与所述参考拷贝同步，以便从所述接收到的一部分中提取数字水印。

7.如权利要求4所述的方法，其中使用所述畸变来确定所述接收到的一部分的分发通道。